CN113971667B - 一种仓储环境手术器械目标检测模型训练及优化方法 - Google Patents

一种仓储环境手术器械目标检测模型训练及优化方法 Download PDF

Info

Publication number
CN113971667B
CN113971667B CN202111286701.2A CN202111286701A CN113971667B CN 113971667 B CN113971667 B CN 113971667B CN 202111286701 A CN202111286701 A CN 202111286701A CN 113971667 B CN113971667 B CN 113971667B
Authority
CN
China
Prior art keywords
yolo
loss
model
training
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111286701.2A
Other languages
English (en)
Other versions
CN113971667A (zh
Inventor
黄鹏
蒋文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Keming Technology Co ltd
Original Assignee
Shanghai Keming Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Keming Technology Co ltd filed Critical Shanghai Keming Technology Co ltd
Priority to CN202111286701.2A priority Critical patent/CN113971667B/zh
Publication of CN113971667A publication Critical patent/CN113971667A/zh
Application granted granted Critical
Publication of CN113971667B publication Critical patent/CN113971667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种仓储环境手术器械目标检测模型训练及优化方法，属于深度学习目标检测技术领域。一种仓储环境手术器械目标检测模型训练及优化方法，以YOLO v5网络结构为基础，对网络结构进行优化，更具体说，包括有手术器械数据集的构建方法、目标检测模型YOLOV5网络结构的改进、引入新的计数损失函数；本发明能够有效的对目标检测模型YOLO v5的结构和损失函数进行优化，有效提高了目标检测模型对手术器械数量的识别和清点功能。

Description

一种仓储环境手术器械目标检测模型训练及优化方法
一种仓储环境手术器械目标检测模型训练及优化方法
技术领域
本发明涉及深度学习目标检测技术领域，尤其涉及一种仓储环境手术器械目标检测模型训练及优化方法。
背景技术
手术器械在从仓储环境中打包时需要对每一类器械进行准确的计数以核实清单并完成打包，该清点任务目前主要由人工进行作业。人工负责清点工作的缺点在于劳动成本高、不能进行长时间工作、清点的效率较低。从而引入深度学习目标检测技术替换人工清点具有高效、准确、降低成本等优点，具有广阔的应用前景。
目标检测技术属于计算机视觉技术的一个子分支。近年在目标检测领域以深度学习方法为主流，尤其是以YOLO系列为代表的一阶段算法具有快速准确的特点，已经在工程领域的众多方面有所应用。但是根据查阅的文献资料所得，YOLO系列的SOTA级模型YOLO v5的网络结构是面对公共数据集进行测验的，在面对实际仓储环境手术器械目标检测时，其表现存在许多的不足,如漏检、多检等，并不能够实际应用于手术器械清点任务，需要进行特定的网络结构优化，以满足实际作业要求。
深度学习目标检测模型训练的效果好坏很大一部分是来自于数据集质量的好坏，YOLO v5模型也是一种由大量数据集才能够进行周期训练从而对训练参数进行学习的一种目标检测模型。根据查阅工程应用类文献资料，暂时并未存在针对于仓储环境手术器械目标检测任务的数据集构建方法。
发明内容
本发明的目的是保证手术器械目标检测数据集的质量，对模型的结构进行优化，从以上内容实现对仓储环境手术器械目标检测模型训练及优化。
为了实现上述目的，本发明采用了如下技术方案：
一种仓储环境手术器械目标检测模型训练及优化方法，以YOLO v5网络结构为基础，对网络结构进行优化，具体包括以下步骤：
S1、配置实验环境，对拍摄环境进行处理，在处理后的环境下，将手术器械按照通用手术器械和专用手术器械两类进行分类；
S2、根据手术器械的数量、摆放位置以及排列组合关系分为简单场景和复杂场景两类数据集，结合S1中所得手术器械按照通用手术器械和专用手术器械两类数据集，分别在简单场景和复杂场景下进行手术器械源图片的获取，形成手术器械图片数据集；
S3、针对YOLO v5网络结构器械清点能力不足的情况，对目标监测模型YOLO v5的结构进行优化，从目标监测模型YOLO v5中引出一条新的技术分支，加以重新训练从而得到技术更为准确的新结构模型；
S4、针对经典YOLO v5网络结构并无损失函数能够反应训练图片中器械的正确数量与预测数量之间偏移距离的问题，对损失函数进行优化，在目标监测模型YOLO v5中引入新的损失函数，拉紧预测值与真值之间的距离。
优选地，所述S1中提到的对拍摄环境进行处理，具体包括有：
A1、控制拍摄位置周围的环境光与工作环境保持一致；
A2、拍摄用摄像机的相机平面与拍摄平面保持平行；
A3、拍摄背景与工作环境保持一致性；
A4、保证相机的高度可根据需要进行调节。
优选地，所述S2中提到的手术器械源图片的获取，拍摄过程中需注意：
B1、简单场景下进行拍摄时，将手术器械从少到多进行排列组合，直至所有种类器械都能得到组合并保证各种类的数据保持平衡；
B2、复杂场景下进行拍摄时，每一张图片都需要包含所有手术器械，且保证不存在严重重叠的现象；
B3、收集图像时，根据实际需要改变器械的相对位置和聚拢程度，确保场景的丰富程度。
优选地，所述S3中提到的目标监测模型YOLO v5的优化，具体包括以下步骤：
C1、得到目标监测模型YOLO v5的版本源码，复制源码中的YOLO v5s.yaml文件；
C2、在C1中复制所得的原yaml文件的Backbone和head后新加一个count结构，其来源是来自于原网络第20层的输出，按照预定的格式在count中添加[20,1,Conv,[256,1,1]]代表引出第20层的输出,该层的重复次数为1，使用的网络基础结构为卷积层，输出通道数量256层，卷积核大小为1,步长为1；
C3、完成C2中所述操作后，对得到的特征图进行由特征图转换到密度图的操作；
C4、完成C3所述操作后，再加上一层卷积层进行提取特征，之后再经过一层卷积核大小为1的卷积层输出至预测头，得到密度预测图，从密度预测图中得到的图片中器械的数量根据为密度图中的像素值；
C5、在yaml文件中完成模型结构的更改操作之后，进一步在yolo.py中更改模型的输出；
C6、更改前向传播函数，保证模型的前向传播函数能够同时输出计数预测头的输出。
优选地，所述S4中提到的对损失函数进行优化，具体包括以下步骤：
D1、将经过优化的目标监测模型YOLO v5中的第24层的输出重新接入原计算函数中，得到损害计算函数，保证原损失计算的顺利进行；
D2、在损失计算函数中引入新的计数损失，利用新得到的损失函数根据实验性经验得出结论，选用均方差损失函数，利用均方差损失函数判断总预测数量与真值之间的距离，并且拉近两者之间的距离；
D3、得到计数损失之后将计数损失与种类损失、置信度损失、回归框损失进行相加，再把总损失在反向传播函数中进行参数的更新；
D4、重复D1～D3所述操作进行迭代训练，加强模型对器械数量的清点能力。
与现有技术相比，本发明提供了一种仓储环境手术器械目标检测模型训练及优化方法，具备以下有益效果：
本发明提出了一种仓储环境下手术器械实例分割模型的训练及优化方法，能够有效的对目标检测模型YOLO v5的结构和损失函数进行优化，有效提高了目标检测模型对手术器械数量的识别和清点功能。
附图说明
图1为本发明提出的一种仓储环境手术器械目标检测模型训练及优化方法数据集构建示意图；
图2为本发明提出的一种仓储环境手术器械目标检测模型训练及优化方法改进后的网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1：
请参阅图1-2；
1.一种仓储环境手术器械目标检测模型训练及优化方法，其特征在于，以YOLO v5网络结构为基础，对网络结构进行优化，具体包括以下步骤：
S1、配置实验环境，对拍摄环境进行处理，在处理后的环境下，将手术器械按照通用手术器械和专用手术器械两类进行分类；
所述S1中提到的对拍摄环境进行处理，具体包括有：
A1、控制拍摄位置周围的环境光与工作环境保持一致；
A2、拍摄用摄像机的相机平面与拍摄平面保持平行；
A3、拍摄背景与工作环境保持一致性；
A4、保证相机的高度可根据需要进行调节；
S2、根据手术器械的数量、摆放位置以及排列组合关系分为简单场景和复杂场景两类数据集，结合S1中所得手术器械按照通用手术器械和专用手术器械两类数据集，分别在简单场景和复杂场景下进行手术器械源图片的获取，形成手术器械图片数据集；
所述S2中提到的手术器械源图片的获取，拍摄过程中需注意：
B1、简单场景下进行拍摄时，将手术器械从少到多进行排列组合，直至所有种类器械都能得到组合并保证各种类的数据保持平衡；
B2、复杂场景下进行拍摄时，每一张图片都需要包含所有手术器械，且保证不存在严重重叠的现象；
B3、收集图像时，根据实际需要改变器械的相对位置和聚拢程度，确保场景的丰富程度；
S3、针对YOLO v5网络结构器械清点能力不足的情况，对目标监测模型YOLO v5的结构进行优化，从目标监测模型YOLO v5中引出一条新的技术分支，加以重新训练从而得到技术更为准确的新结构模型；
所述S3中提到的目标监测模型YOLO v5的优化，具体包括以下步骤：
C1、得到目标监测模型YOLO v5的版本源码，复制源码中的YOLO v5s.yaml文件；
C2、在C1中复制所得的原yaml文件的Backbone和head后新加一个count结构，其来源是来自于原网络第20层的输出，按照预定的格式在count中添加[20,1,Conv,[256,1,1]]代表引出第20层的输出,该层的重复次数为1，使用的网络基础结构为卷积层，输出通道数量256层，卷积核大小为1,步长为1；
C3、完成C2中所述操作后，对得到的特征图进行由特征图转换到密度图的操作；
C4、完成C3所述操作后，再加上一层卷积层进行提取特征，之后再经过一层卷积核大小为1的卷积层输出至预测头，得到密度预测图，从密度预测图中得到的图片中器械的数量根据为密度图中的像素值；
C5、在yaml文件中完成模型结构的更改操作之后，进一步在yolo.py中更改模型的输出；
C6、更改前向传播函数，保证模型的前向传播函数能够同时输出计数预测头的输出；
S4、针对经典YOLO v5网络结构并无损失函数能够反应训练图片中器械的正确数量与预测数量之间偏移距离的问题，对损失函数进行优化，在目标监测模型YOLO v5中引入新的损失函数，拉紧预测值与真值之间的距离；
所述S4中提到的对损失函数进行优化，具体包括以下步骤：
D1、将经过优化的目标监测模型YOLO v5中的第24层的输出重新接入原计算函数中，得到损害计算函数，保证原损失计算的顺利进行；
D2、在损失计算函数中引入新的计数损失，利用新得到的损失函数根据实验性经验得出结论，选用均方差损失函数，利用均方差损失函数判断总预测数量与真值之间的距离，并且拉近两者之间的距离；
D3、得到计数损失之后将计数损失与种类损失、置信度损失、回归框损失进行相加，再把总损失在反向传播函数中进行参数的更新；
D4、重复D1～D3所述操作进行迭代训练，加强模型对器械数量的清点能力。
本发明提出了一种仓储环境下手术器械实例分割模型的训练及优化方法，能够有效的对目标检测模型YOLO v5的结构和损失函数进行优化，有效提高了目标检测模型对手术器械数量的识别和清点功能。
实施例2：
请参阅图1-2，基于实施例1但有所不同之处在于，
本实施案例中涉及一种仓储环境手术器械目标检测模型训练及优化方法，包括：手术器械数据集的构建方法、目标检测模型YOLO v5网络结构的改进、引入新的计数损失函数。
对于手术器械数据集的构建，在到手术器械样本后需要对其进行分类成通用手术器械与专用手术器械两类器械。分别在简单场景与复杂场景下进行源图片的获取。
在开始拍摄之前需要将拍摄环境进行处理，需要达到以下的要求：
1.周围的环境光需要与工作环境保持一致性；
2.摄像头的相机平面需要与拍摄平面保持平行；
3.拍摄背景需要与工作环境保持一致性；
4.可以保证相机的高度是可调节的；
因此具体的步骤中采用了无影灯源作为拍摄中的光源，纯绿背景布平摊在工作桌上作为拍摄背景，使用D435深度学习摄像头作为相机拍摄图片，使用高度可调节支架作为相机支架进行固定，拍摄过程注意相机是否倾斜。
实验环境配置完成之后首先进行简单场景下的数据集制作。简单场景数集需要根据器械种类的数量进行排列组合直至所有种类的器械都能互相搭配到，每一种情况拍摄2~3张即可，每张需要保证图片中的器械相对位置发生变化。即位置变换不能以挪动器械在相机平面中的位置的形式出现，如左上角的器械挪动到右下角，其角度姿势并未发生改变。
复杂场景下的数据集中每张图片都需要保证含有所有种类的器械，不可包含有严重重叠情况，可有轻微重叠的情况出现。通过控制器械之间相对位置以及聚拢程度控制数据集的丰富程度。以16个器械种类为例，需要组合出2000张复杂场景下的数据集。
同时不管是简单场景下的数据集还是复杂场景下的数据集都需要注意的是其数据集的图片不能存在模糊的情况、只含有部分的情况出现，在得到所有的数据集之后对其进行检查，查看是否出现该类情况，如果有，则将其剔除，以保证质量。
对于YOLO v5模型结构的更改，具体步骤如下：
首先是得到YOLO v5(V2.0)版本源码,复制其yolov5s.yaml文件。YOLO v5网络结构的模型根据该yaml文件进行模型的建立，所以改动其网络结构首先需要对该结构继续改动。在原yaml文件的Backbone和head后新加一个count结构，其来源是来自于原网络第20层的输出，按照预定的格式[from, number, module, args]在count中添加[20,1,Conv,[256,1,1] ]代表引出第20层的输出,该层的重复次数为1,使用的网络基础结构为卷积层,输出通道数量256层,卷积核大小为1,步长为1。应该注意，这里的卷积后面默认跟有LeakRelu激活层与BN层操作，以下同理。
引出输出后需要对得到的特征图进行由特征图转换到密度图的操作，在这一步使用了3*3大小的卷积核进行卷积操作，在yaml文件应该添加如下数据[-1,3,Conv,[256,3,1] ]，-1表示该层的输入来自于上一层，其他参数的含义同上。
一层卷积层经过实验发现对特征图的提取效果并不够明显，所以后续需要再加上一层卷积层进行提取特征，之后再经过一层卷积核大小为1的卷积层输出至预测头，为了完成这一步操作需要在yaml文件中的count层添加如下的操作：
[-1,3,Conv,[256,3,1 ] ],[-1,1,Conv,[1,1,1] ]。之后得到密度预测图，大小为40*40，从密度图中得到图片中器械的数量根据为密度图中的像素值。
yaml文件中完成模型结构的更改之后需要在yolo.py中更改模型的输出，因为原yolo.py文件其输出是与原yolo结构耦合的。新的结构更改之后其输出格式与原输出格式并不相同，会导致网络不能完成训练。具体的操作如下说明：
在parse_model（）函数中对save操作，如果网络的深度已经大于24层，则将第28层网络的输出作为计数预测头的输出，并进行保存。同时考虑到YOLO结构的根据不同大小会扩张网络的宽度与深度，所以需要在该函数中保证第28层的输出通道为1，即深度大于24层时，网络的深度与宽度将不再进行扩张。
为了保证模型的前向传播函数能够同时输出计数预测头的输出，需要在前向传播函数中进行更改，即将新结构的网络第24层的输出与第28层的输出同时输出。第24层的输出为原网络结构的输出，用以进行对目标进行种类以及位置预测，第28层的输出为输入图片中器械的数量密度图，用以回归总数量。
解决完前向传播函数的输出问题后，需要utils包中的general.py中的损失计算函数进行更改,因为原网络结构最后一层输出形式为list[tensor1,tensor2,tensor3]的形状,新结构的最后一层输出格式为B*1*40*40,需要将改进后的网络结构第24层的输出重新接入原计算函数中从而保证原损失计算。同时需要引入新的lcnt(counting loss)损失,该损失函数根据实验性经验得出结论,选用均方差损失函数效果较好。可以判断总预测数量与真值之间的距离，并且拉近两者之间的距离。总预测数量的得到方法为将密度图中的像素值根据阈值进行选拔，将大于阈值的像素点进行计数，再与GT进行均方差计算。
得到计数损失之后将计数损失与种类损失、置信度损失、回归框损失进行相加，再把总损失在反向传播函数中进行参数的更新。
以此进行迭代训练，加强模型对器械数量的清点能力。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，应涵盖在本发明的保护范围之内。

Claims (4)

1.一种仓储环境手术器械目标检测模型训练及优化方法，其特征在于，以YOLO v5网络结构为基础，对网络结构进行优化，具体包括以下步骤：
S1、配置实验环境，对拍摄环境进行处理，在处理后的环境下，将手术器械按照通用手术器械和专用手术器械两类进行分类；
S2、根据手术器械的数量、摆放位置以及排列组合关系分为简单场景和复杂场景两类数据集，结合S1中所得手术器械按照通用手术器械和专用手术器械两类数据集，分别在简单场景和复杂场景下进行手术器械源图片的获取，形成手术器械图片数据集；
S3、针对YOLO v5网络结构器械清点能力不足的情况，对目标监测模型YOLO v5的结构进行优化，从目标监测模型YOLO v5中引出一条新的技术分支，加以重新训练从而得到技术更为准确的新结构模型；
其中，所述目标监测模型YOLO v5的结构的优化，具体包括以下步骤：
C1、得到目标监测模型YOLO v5的版本源码，复制源码中的YOLO v5s.yaml文件；
C2、在C1中复制所得的原yaml文件的Backbone和head后新加一个count结构，其来源是来自于原网络第20层的输出，按照预定的格式在count中添加[20,1,Conv,[256,1,1] ]代表引出第20层的输出,该层的重复次数为1，使用的网络基础结构为卷积层，输出通道数量256层，卷积核大小为1,步长为1；
C3、完成C2中所述操作后，对得到的特征图进行由特征图转换到密度图的操作；
C4、完成C3所述操作后，再加上一层卷积层进行提取特征，之后再经过一层卷积核大小为1的卷积层输出至预测头，得到密度预测图，从密度预测图中得到的图片中器械的数量根据为密度图中的像素值；
C5、在yaml文件中完成模型结构的更改操作之后，进一步在yolo.py中更改模型的输出；
C6、更改前向传播函数，保证模型的前向传播函数能够同时输出计数预测头的输出；
S4、针对经典YOLO v5网络结构并无损失函数能够反应训练图片中器械的正确数量与预测数量之间偏移距离的问题，对损失函数进行优化，在目标监测模型YOLO v5中引入新的损失函数，拉紧预测值与真值之间的距离。
2.根据权利要求1所述的一种仓储环境手术器械目标检测模型训练及优化方法，其特征在于，所述S1中提到的对拍摄环境进行处理，具体包括有：
A1、控制拍摄位置周围的环境光与工作环境保持一致；
A2、拍摄用摄像机的相机平面与拍摄平面保持平行；
A3、拍摄背景与工作环境保持一致性；
A4、保证相机的高度可根据需要进行调节。
3.根据权利要求1所述的一种仓储环境手术器械目标检测模型训练及优化方法，其特征在于，所述S2中提到的手术器械源图片的获取，拍摄过程中需注意：
B1、简单场景下进行拍摄时，将手术器械从少到多进行排列组合，直至所有种类器械都能得到组合并保证各种类的数据保持平衡；
B2、复杂场景下进行拍摄时，每一张图片都需要包含所有手术器械，且保证不存在严重重叠的现象；
B3、收集图像时，根据实际需要改变器械的相对位置和聚拢程度，确保场景的丰富程度。
4.根据权利要求1所述的一种仓储环境手术器械目标检测模型训练及优化方法，其特征在于，所述S4中提到的对损失函数进行优化，具体包括以下步骤：
D1、将经过优化的目标监测模型YOLO v5中的第24层的输出重新接入原计算函数中，得到损失 计算函数，保证原损失计算的顺利进行；
D2、在损失计算函数中引入新的计数损失，利用新得到的损失函数根据实验性经验得出结论，选用均方差损失函数，利用均方差损失函数判断总预测数量与真值之间的距离，并且拉近两者之间的距离；
D3、得到计数损失之后将计数损失与种类损失、置信度损失、回归框损失进行相加，再把总损失在反向传播函数中进行参数的更新；
D4、重复D1～D3所述操作进行迭代训练，加强模型对器械数量的清点能力。
CN202111286701.2A 2021-11-02 2021-11-02 一种仓储环境手术器械目标检测模型训练及优化方法 Active CN113971667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111286701.2A CN113971667B (zh) 2021-11-02 2021-11-02 一种仓储环境手术器械目标检测模型训练及优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111286701.2A CN113971667B (zh) 2021-11-02 2021-11-02 一种仓储环境手术器械目标检测模型训练及优化方法

Publications (2)

Publication Number Publication Date
CN113971667A CN113971667A (zh) 2022-01-25
CN113971667B true CN113971667B (zh) 2022-06-21

Family

ID=79589246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111286701.2A Active CN113971667B (zh) 2021-11-02 2021-11-02 一种仓储环境手术器械目标检测模型训练及优化方法

Country Status (1)

Country Link
CN (1) CN113971667B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202277385U (zh) * 2011-10-14 2012-06-20 上海理工大学 手术器械自动识别与计数系统
CN109800712A (zh) * 2019-01-21 2019-05-24 成都快眼科技有限公司 一种基于深度卷积神经网络的车辆检测计数方法及设备
WO2020064253A1 (en) * 2018-09-24 2020-04-02 Siemens Aktiengesellschaft Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium
CN111626120A (zh) * 2020-04-24 2020-09-04 南京理工大学 工业环境下基于改进的yolo-6d算法的目标检测方法
CN112347908A (zh) * 2020-11-04 2021-02-09 大连理工大学 一种基于空间分组注意力模型的外科手术器械图像识别方法
CN112566540A (zh) * 2019-03-27 2021-03-26 Hoya株式会社 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法
CN112700508A (zh) * 2020-12-28 2021-04-23 广东工业大学 一种基于深度学习的多对比度mri图像重建方法
CN112766344A (zh) * 2021-01-12 2021-05-07 南京信息工程大学 一种基于YOLOv5优化器改进的违禁物品检测方法
CN112915539A (zh) * 2021-04-01 2021-06-08 腾讯科技（深圳）有限公司 一种虚拟对象检测方法、装置以及可读存储介质
CN112990065A (zh) * 2021-03-31 2021-06-18 上海海事大学 一种基于优化的YOLOv5模型的车辆分类检测方法
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019241224A1 (en) * 2018-06-11 2019-12-19 Raytheon Company Architectures for vehicle tolling
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法
CN110018524B (zh) * 2019-01-28 2020-12-04 同济大学 一种基于视觉-属性的x射线安检违禁品识别方法
US20220172456A1 (en) * 2019-03-08 2022-06-02 Google Llc Noise Tolerant Ensemble RCNN for Semi-Supervised Object Detection
CN110765865B (zh) * 2019-09-18 2022-06-28 北京理工大学 基于改进的yolo算法的水下目标检测方法
CN111598158B (zh) * 2020-05-14 2023-05-12 汇鼎数据科技(上海)有限公司 一种基于ai分析技术的仓储库存状态感知方法
CN111832489A (zh) * 2020-07-15 2020-10-27 中国电子科技集团公司第三十八研究所 一种基于目标检测的地铁人群密度估计方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202277385U (zh) * 2011-10-14 2012-06-20 上海理工大学 手术器械自动识别与计数系统
WO2020064253A1 (en) * 2018-09-24 2020-04-02 Siemens Aktiengesellschaft Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium
CN109800712A (zh) * 2019-01-21 2019-05-24 成都快眼科技有限公司 一种基于深度卷积神经网络的车辆检测计数方法及设备
CN112566540A (zh) * 2019-03-27 2021-03-26 Hoya株式会社 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法
CN111626120A (zh) * 2020-04-24 2020-09-04 南京理工大学 工业环境下基于改进的yolo-6d算法的目标检测方法
CN112347908A (zh) * 2020-11-04 2021-02-09 大连理工大学 一种基于空间分组注意力模型的外科手术器械图像识别方法
CN112700508A (zh) * 2020-12-28 2021-04-23 广东工业大学 一种基于深度学习的多对比度mri图像重建方法
CN112766344A (zh) * 2021-01-12 2021-05-07 南京信息工程大学 一种基于YOLOv5优化器改进的违禁物品检测方法
CN112990065A (zh) * 2021-03-31 2021-06-18 上海海事大学 一种基于优化的YOLOv5模型的车辆分类检测方法
CN112915539A (zh) * 2021-04-01 2021-06-08 腾讯科技（深圳）有限公司 一种虚拟对象检测方法、装置以及可读存储介质
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
Automatic Detection and Counting of Small Yellow Thrips on Lotus Leaf Back Based on YOLO Combined with VDSR and DPSR Network;Cheng-Hsuan Lin等;《Thirteenth International Conference on Digital Image Processing》;20210630;第1-9页 *
Design of Efficient Human Head Statistics System in the Large-Angle Overlooking Scene;An Wang等;《Electronics》;20210731;第10卷(第15期);第1-10页 *
Towards Real-time Traffic Flow Estimation using YOLO a nd SORT from Surveillance Video Footage;Nilani Algiriyage等;《AI and Intelligent Systems for Crises and Risks Proceedings of the 18th ISCRAM Conference》;20210531;第39-48页 *
基于Inception-SSD算法的零件识别;余永维等;《光学精密工程》;20200814;第28卷(第08期);第1799-1809页 *
基于改进YOLOv5算法的轨面缺陷检测;李浪怡等;《五邑大学学报（自然科学版）》;20210831;第35卷(第3期);第43-48、54页 *
基于深度学习YOLOV5网络模型的金枪鱼延绳钓电子监控系统目标检测应用;王书献等;《大连海洋大学学报》;20211031;第36卷(第5期);第842-850页 *
基于深度学习的对虾剥壳识别与计数方法研究;刘雄;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210531(第（2021）05期);I138-1100 *
基于轻量化改进YOLOv5的苹果树产量测定方法;李志军等;《智慧农业（中英文）Smart Agriculture》;20210630;第3卷(第2期);第100-114页 *
完善手术室纱布器械计数作业流程及应用体会;罗丽嫦;《医学信息》;20110630;第24卷(第6期);第321-322页 *

Also Published As

Publication number Publication date
CN113971667A (zh) 2022-01-25

Similar Documents

Publication Publication Date Title
CN102497489B (zh) 图像压缩方法、图像压缩装置和移动终端
US20190228529A1 (en) Image Segmentation Method, Apparatus, and Fully Convolutional Network System
KR101785982B1 (ko) 모자이크 이미지 생성 방법 및 장치
CN103209326B (zh) 一种png图片的压缩方法
CN110689539B (zh) 一种基于深度学习的工件表面缺陷检测方法
EP2947627A1 (en) Light field image depth estimation
CN105872393A (zh) 高动态范围图像的生成方法和装置
CN112837282A (zh) 一种基于云边协同和深度学习的小样本图像缺陷检测方法
US20160323505A1 (en) Photographing processing method, device and computer storage medium
CN111982933B (zh) 一种涂覆缺陷检测系统及装置
CN109785252A (zh) 基于多尺度残差密集网络夜间图像增强方法
US20220375186A1 (en) Method and apparatus for generating bounding box, device and storage medium
CN105550181A (zh) 文件分类保存的方法、装置及终端
CN105701809A (zh) 一种基于线阵相机扫描的平场校正方法
CN110766711A (zh) 一种视频镜头分割方法、系统、装置和存储介质
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
US20090021595A1 (en) Low Memory Auto-Focus and Exposure System for Large Multi-Frame Image Acquisition
CN113971667B (zh) 一种仓储环境手术器械目标检测模型训练及优化方法
CN104978734A (zh) 前景图像的提取方法及装置
CN109685802A (zh) 一种低延迟的视频分割实时预览方法
CN117575931A (zh) 一种超高清可见光与红外图像的匹配融合方法及装置
CN105893578A (zh) 一种照片选择的方法及装置
CN113012074B (zh) 一种适用于低照度环境的智能图像处理方法
CN109993079A (zh) 一种室内设计图片识别和筛选方法及其装置
CN106296580A (zh) 一种图像拼接的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant