CN117670755B - 一种吊钩防脱装置检测方法、装置、存储介质及电子设备 - Google Patents
一种吊钩防脱装置检测方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117670755B CN117670755B CN202410132101.8A CN202410132101A CN117670755B CN 117670755 B CN117670755 B CN 117670755B CN 202410132101 A CN202410132101 A CN 202410132101A CN 117670755 B CN117670755 B CN 117670755B
- Authority
- CN
- China
- Prior art keywords
- lifting hook
- module
- layer
- convolution
- full
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims description 52
- 238000000605 extraction Methods 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 101100441252 Caenorhabditis elegans csp-2 gene Proteins 0.000 claims description 15
- 101100222092 Caenorhabditis elegans csp-3 gene Proteins 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 230000002265 prevention Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010000372 Accident at work Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请揭示了一种吊钩防脱装置检测方法、装置、存储介质及电子设备，所述方法包括：S100：获取吊钩输入图像；S200：对所述输入图像进行数据增强，以获得数据增强后的输入图像；S300：构建吊钩防脱装置检测模型并训练；S400：将所述数据增强后的输入图像输入训练好的吊钩防脱装置检测模型，以检测所述吊钩输入图像中是否存在防脱装置以及防脱装置是否失效。本申请能够识别出输入图像中吊钩和防脱装置的关键点信息，从而能够提高图像检测精度。
Description
技术领域
本申请属于智能识别技术领域，具体涉及一种吊钩防脱装置检测方法、装置、存储介质及电子设备。
背景技术
吊装作业是指使用起重设备进行物品吊装、搬运和安装的一种工程活动。在现代工业生产和建筑施工中，吊装作业是一项非常常见的任务，它对于保证工程进度、提高生产效率和确保施工安全都具有十分重要的意义。
在大型建筑工程、油田等行业中，吊装作业是不可或缺的一项重要工作。吊装作业需要借助吊装机械来完成，而在吊装过程中，存在着各类安全隐患。其中最常见的就是物体掉落，而物体掉落很大方面是由于吊机中吊钩防脱装置失效导致的。
吊装作业不合规，吊机吊钩防脱失效不仅给工厂带来巨大损失，还会造成重大人员伤亡。每年都有因为吊装作业中各类操作不规范而引起的工业事故。
对于传统吊装作业中吊装防脱装置的检查，通常只能依靠人工观察甄别。这样不仅浪费人力物力，而且由于吊装作业现场人员繁杂，实施作业过程中难免存在漏检，再加上人为主观影响，非常容易形成违规吊装作业。
为减少吊装作业事故发生，响应工厂构建统一的数字化、智能化管理服务，发明一种快速，高精度，高鲁棒性的自动吊机吊钩防脱装置检测方法具有非常重要的现实意义。
发明内容
针对现有技术中的不足，本申请的目的在于提供一种吊钩防脱装置检测方法，本方法不仅能够检测出输入图像中的防脱装置，还能够检测出防脱装置的关键点信息，进而能够基于关键点信息判断防脱装置是否失效。
为实现上述目的，本申请提供以下技术方案：
一种吊钩防脱装置检测方法，其特征在于，所述方法包括以下步骤：
S100：获取吊钩输入图像；
S200：对所述输入图像进行数据增强，以获得数据增强后的输入图像；
S300：构建吊钩防脱装置检测模型并训练；
其中，所述吊钩防脱装置检测模型包括主干网络，所述主干网络中通过引入注意力模块，以用于提高对输入图像中吊钩和防脱装置关键点的识别率；
S400：将所述数据增强后的输入图像输入训练好的吊钩防脱装置检测模型，以检测所述吊钩输入图像中是否存在防脱装置以及防脱装置是否失效。
优选的，步骤S200中，对输入图像进行数据增强包括以下步骤：
S201：对输入图像进行包括旋转、缩放、模糊、拼接、偏色和添加噪声在内的初步增强处理；
S202：对初步增强处理后的输入图像通过Mixup算法进行混类或通过Mosaic算法进行拼接。
优选的，步骤S300中，对吊钩防脱装置检测模型进行训练包括以下步骤：
S301：获取多张包含防脱装置的吊钩图像，对每张吊钩图像中的吊钩和防脱装置进行标注，以获得标注好的吊钩图像集；
S302：对标注好的吊钩图像集进行数据增强，以获得数据增强后的吊钩图像集；
S303：将数据增强后的吊钩图像集划分为训练集和测试集；
S304：设置训练参数，利用训练集对吊钩防脱装置检测模型进行训练，在训练过程中，当损失函数收敛，模型训练完成；
S305：利用测试集对训练后的吊钩防脱装置检测模型进行测试，在测试过程中，通过评估指标AP对模型进行评价，若评估指标满足阈值0.95，模型测试通过；否则返回步骤S304，修改训练参数重新对模型进行训练，直至模型通过测试为止。
本申请还提供一种吊钩防脱装置检测装置，所述装置包括：
获取单元，用于获取吊钩输入图像；
预处理单元，用于对输入图像预处理，以获得预处理后的输入图像；
模型构建及训练单元，用于构建吊钩防脱装置检测模型并训练；其中，所述吊钩防脱装置检测模型包括主干网络，所述主干网络中通过引入注意力模块，以用于提高对输入图像中吊钩和防脱装置关键点的识别率；
检测单元，用于将预处理后的输入图像输入训练好的吊钩防脱装置检测模型，以检测所述吊钩输入图像中是否存在防脱装置以及防脱装置是否失效。
优选的，所述装置还包括：
预警模块，用于当所述检测单元在吊钩图像中没有检测到防脱装置以及防脱装置失效后进行预警。
本申请还提供一种电子设备，所述电子设备包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，
所述处理器执行所述程序时实现如前任一所述的方法。
本申请还提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如前任一所述的方法。
与现有技术相比，本申请带来的有益效果为：
1、本申请通过添加注意力机制，能够在不增加模型复杂度的情况下提高对吊钩和防脱装置关键点的识别率；
2、本申请通过在每个类别上添加对应关键点检测，不仅能够检测出目标，还能够检测出目标关键点信息；
3、本申请所述模型不仅能够检测到输入图像是否有防脱装置，还能够检测到防脱装置是否失效，进一步排除吊装作业现场安全隐患。
附图说明
图1是本申请一个实施例提供的一种吊钩防脱装置检测方法的流程图；
图2是本申请另一个实施例提供的吊钩防脱装置检测模型的结构示意图；
图3是本申请另一个实施例提供的注意力模块的结构示意图；
图4是本申请另一个实施例提供的注意力模块的特征示意图；
图5是本申请另一个实施例提供的吊钩防脱装置检测模型的训练过程示意图；
图6是本申请另一个实施例提供的模型评估P-R曲线示意图；
图7（a）是本申请另一个实施例提供的标注前的原始输入图像；
图7（b）是本申请另一个实施例提供的标注后的原始输入图像；
图8是本申请另一个实施例提供的模型输出特征图；
图9是本申请另一个实施例提供的防脱装置失效的输入特征图；
图10（a）是本申请另一个实施例提供的引入注意力模块前检测模型输出的特征图；
图10（b）是本申请另一个实施例提供的引入注意力模块后检测模型输出的特征图。
具体实施方式
下面将参照附图1至图10（b）详细地描述本申请的具体实施例。虽然附图中显示了本申请的具体实施例，然而应当理解，可以通过各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异作为区分组件的方式，而是以组件在功能上的差异作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
为便于对本申请实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本申请实施例的限定。
一个实施例中，如图1所示，本申请提供一种吊钩防脱装置检测方法，包括以下步骤：
S100：获取待测吊钩输入图像；
S200：对所述输入图像预处理，以获得预处理后的输入图像；
S300：构建吊钩防脱装置检测模型并训练；
S400：将所述预处理后的输入图像输入训练好的吊钩防脱装置检测模型，以检测所述待测吊钩输入图像中是否存在防脱装置以及防脱装置是否失效。
另一个实施例中，步骤S200中，对输入图像进行数据增强包括以下步骤：
S201：对输入图像进行包括旋转、缩放、模糊、拼接、偏色和添加噪声在内的初步增强处理；
S202：对初步增强处理后的输入图像通过Mixup算法进行混类或通过Mosaic算法进行拼接。
本实施例中，Mixup增强是对两个(图像，标签)数据组按比例相加后形成的新的数据组，具体过程如下：
其中，分别表示随机抽取的第/>张和第/>张图像数据组样本，/>表示第/>张图像，/>表示第/>张图像，/>表示与/>对应的标签值，/>表示与/>对应的标签值，/>表示输出图像，/>表示与/>对应的输出标签值，/>表示概率值服从参数/>的Beta分布，。
Mosaic增强是对4张不同图片通过随机缩放，随机裁剪，随机排布等方式进行拼接，该方法具有以下优点：
丰富数据集：通过随机操作4张图像再进行随机拼接，丰富了数据集，同时通过随机缩放增加了小目标，提升了模型对小目标的识别；
减少内存需求：Mosaic增强训练时，直接一次计算4张图片数据，降低了内存需求。
另一个实施例中，步骤S300中，所述吊钩防脱装置检测模型包括：
输入层，用于输入吊钩图像；
特征提取网络，用于提取吊钩图像中吊钩和防脱装置的特征信息；
区域候选网络，用于基于由特征提取网络提取到的特征信息初步获取吊钩图像中吊钩和防脱装置的位置信息；
全连接预测网络，用于对由区域候选网络输出的吊钩和防脱装置的位置信息进行精细化处理，以获取吊钩和防脱装置的关键点信息。
下面，本实施例参照图2对以上所述各网络的具体结构进行详细描述：
1、特征提取网络：
如图2所示，特征提取网络从左至右包括依次连接的：
第一卷积模块CSP_2（320*320*32）（长*宽*高）；
第二卷积模块CSP_2（160*160*64）；
第三卷积模块CSP_3（80*80*128）；
第四卷积模块CSP_3（40*40*256）；
第五卷积模块CS_3（40*40*512）；
注意力模块SE（40*40*512）。
其中，
第一卷积模块CSP_2和第二卷积模块CSP_2结构相同，均由两个CS层（CSP_2中的参数2表示CS层的个数为2）和一个池化层（Pooling）组成，是特征提取网络的基础层；其中，CS层由卷积层Conv和激活函数SiLU组成。
第三卷积模块和第四卷积模块CSP_3结构相同，均由三个CS层（CSP_3中的参数3表示CS层的个数为3）和一个池化层（Pooling）组成。
第五卷积模块CS_3由三个CS层组成。
注意力模块SE是本特征提取网络在现有特征提取网络的基础上额外引进的，如图3所示，注意力模块SE包括残差结构层Residual，作为注意力模块SE的输入，第五卷积模块CS_3的输出首先输入残差结构层Residual，残差结构层Residual的输出分为两路，其中一路由上至下包括依次连接的全局池化层（Global pooling）、第一全连接层FC、ReLU激活函数层、第二全连接层FC和Sigmoid激活函数层，然后输出至矩阵全乘操作层Scale；另一路则直接输入矩阵全乘操作层Scale；且矩阵全乘操作层Scale的输出和第五卷积模块CS_3的输出叠加。具体的，第五卷积模块CS_3的输出首先通过全局池化层进行全局池化，以将输入特征图压缩为1*1*通道数，将高维度特征图压缩为低维度向量，这样可以达到全局上下文信息融合；然后通过第一和第二全连接层对每个通道单独赋予权重，通过第一和第二全连接层间的ReLU激活函数添加模型复杂度，达到确定不同通道间权重的作用。最后将权重值与直接经过残差结构层的原有特征图通过矩阵全乘操作层Scale做乘法运算并与直接输入注意力模块SE的特征图进行叠加，即可得到不同权重下的特征图。
通过引入具有上述结构特点的该注意力模块SE，首先能够以高权重对特征提取网络在特征提取过程中的重要信息进行聚焦，同时以低权重忽略不相关的信息，并且可以通过不断调整权重（在训练过程中，注意力模块权重是通过训练学习得到的，所以可以通过调整算法训练参数，如学习率，迭代次数等影响权重的更新，达到调整权重的目的），使得该注意力模块SE能够对每个不同的特征图都能动态的调整权重，以达到在不同情况下选取重要信息的目的，即该注意力模块SE会根据输入特征向量计算出一个权重向量，该向量表示了每个特征通道在当前情况下的重要程度，因此使得特征提取网络具有较好的可扩展性和鲁棒性。
其次，引入该注意力模块SE能够解决在卷积池化过程中因特征图的不同通道所占重要性不同而带来的损失问题。在传统的卷积池化过程中，默认特征图的每个通道是同等重要的，但是在实际问题中，不同通道的重要性是有差异的，需要根据不同情况来分开对待，以图4为例，特征图的通道数为512，以其中某3个通道为例，引入注意力模块SE后，3个通道的权重分别设置为0.519、0502和0.491（引入注意力模块SE前，每个通道的权重均为0.5），则权重为0.519的特征图能够得到更多特征信息，权重为0.502的特征图和引入注意力模块SE前几乎无变化，权重为0.491的特征图去除了一些干扰，可见，通过引入注意力模块SE，能够解决在卷积池化过程中特征图的不同通道权重因相同带来的损失问题（如图4所示，特征图的通道数为512，有些通道是比较重要的，因此需要赋予一个较高的权重值；而对那些不重要的通道，则要减少它的影响，因此就需要赋予较低的权重值。而如果每个通道赋予的权重都相同的话，就相当于没有对这些通道的重要性进行区分，而注意力模块SE的作用就是找出这512个通道中每个通道的不同重要性）。
经过消融实验，引入该注意力模块SE后，模型的最终总mAP由95.9%提升到了96.5%。
图10（a）为引入注意力模块SE前模型所输出的特征图，图10（b）为引入注意力模块SE后模型所输出的特征图，通过比对可以看出，相比图10（a）、图10（b）中不仅能够识别出吊钩关键点，还能够在被吊钩遮挡的情况下进一步识别出吊钩上的防脱装置以及防脱装置关键点，显然，通过引入该注意力模块SE，能够增强模型对于输入图像进一步的识别能力。
2、区域候选网络：
如图2所示，区域候选网络包括第六卷积模块CS，第六卷积模块CS后连接并列的第一卷积层Conv（1,1）、第二卷积层Conv（1,1）和第三卷积层Conv（1,1），第三卷积层Conv（1,1）后连接有特征变换模块RSR（由第一矩阵变换函数Reshape、归一化指数函数Softmax和第二矩阵变换函数Reshape构成，其中，第一矩阵变换函数用于对第三卷积层Conv（1,1）的输出进行维度变换，便于归一化指数函数计算前景和背景概率，再通过第二矩阵变换函数将维度还原）。
所述区域候选网络用于计算由所述特征提取网络提取到的特征图中目标的前景和背景概率，也就是初步分析特征图中的目标是属于需要检测的目标，还是属于不需要的背景。
所述前景和背景概率计算过程为：
对由特征提取网络输出的特征图中的每个像素点，先预设9个不同尺寸大小的锚点（anchor）框，通过计算这些预设的框与真实框的IOU（交并比，两个框交集面积：并集面积），当IOU的值大于0.7时，认定为前景（目标）；当IOU的值小于0.3时，则认定为背景，其他情况不参与训练。
需要说明的是，所述区域候选网络只进行前景和背景的计算，不区分具体类别，即不区分是‘吊钩’还是‘防脱装置’。采用前景和背景计算，一方面是将检测任务由难度较大的同时【识别每种目标及目标上的关键点】拆分为两个部分，第一部分只执行单纯的目标检测任务，即只检测【识别出的是否为检测目标】，即只识别图像中是否存在吊钩或防脱装置，但具体是其中的哪一个不进行判定；第二部分执行由第一部分识别出的目标具体是【哪一种目标及对应的关键点】，即判定目标具体是吊钩还是防脱装置，以及在该目标区域基础上检测出吊钩或防脱装置上的关键点，由于目标区域是已知的，所以在目标区域小范围内执行关键点检测能极大提高关键点的识别精度。相对现有算法既识别目标又识别关键点，本实施例所述模型中的区域候选网络将检测任务拆分为两部分，从而就能将复杂的任务简单化，进而能够提高模型检测精度。
其中，区域候选网络所引入的特征变换模块RSR主要用于区分特征图中的目标是属于前景还是背景，属于二分类任务。具体的，该二分类任务是由RSR中的归一化指数函数Softmax实现的，所以第一矩阵变换函数Reshape主要是将特征图进行维度变换，使得其有一个单独的2维度，即将40*40*18转换为40*40*9*2，再通过Softmax函数进行前景和背景概率计算，第二矩阵变换函数Reshape的作用是将特征图恢复原状，即整个过程中特征图的特征尺寸是不变的。
3、全连接预测网络：
全连接预测网络包括感兴趣区域池化模块（POI Pooling）（该模块用于收集区域候选网络的特征输出，这部分输出即可认为是初步筛选出的目标区域（感兴趣区域），并将所有特征大小统一，便于输入后续的全连接模块）。感兴趣区域池化模块的输出包括两个分支，第一分支包括第一全连接模块FCS（由全连接层FC和激活函数SiLU构成），第一全连接模块FCS后连接第一全连接层FC；第二分支包括第二全连接模块（同样由全连接层FC和激活函数SiLU构成），第二全连接模块FCS后连接并列的第二全连接层FC和第三全连接层FC。
所述全连接预测网络的每个特征输出能够接收上一层所有神经元（特征）的输出，并与对应权重进行线性组合。
全连接层在网络中起到‘分类’的作用，也就是将全连接层前的各种卷积层、池化层、激活函数等操作输出的特征映射为适合的特征表示。
添加SiLU激活函数进行非线性变换之后，有助于模型提取出更高级别的抽象特征，从而提高模型的表达能力。
下面，本实施例结合图5对所述吊钩防脱装置检测模型对于输入图像的处理过程进行详细描述。
1、将输入图像缩放到640*640*3（第一个640表示宽度，第二个640表示高度，3表示通道数），将缩放后的输入图像输入特征提取网络的第一卷积模块CSP_2，卷积操作后输出尺寸为320*320*32的特征图；
2、将尺寸为320*320*32的特征图输入特征提取网络的第二卷积模块CSP_2，卷积操作后输出尺寸为160*160*64的特征图。
3、将尺寸为160*160*64的特征图输入特征提取网络的第三卷积模块CSP_3，卷积操作后输出尺寸为80*80*128的特征图。
4、将尺寸为80*80*128的特征图输入特征提取网络的第四卷积模块CSP_3，卷积操作后输出尺寸为40*40*256的特征图。
5、将尺寸为40*40*256的特征图输入特征提取网络的第五卷积模块CS_3，卷积操作后输出尺寸为40*40*512的特征图。
6、将尺寸为40*40*512的特征图输入特征提取网络的注意力模块SE，输出尺寸为40*40*512的特征图，则尺寸为40*40*512特征图即为特征提取网络所最终输出的特征图。
7、将尺寸为40*40*512的特征图输入区域候选网络的第六卷积模块CS中，输出尺寸为40*40*256的特征图。
8、将尺寸为40*40*256的特征图经第六卷积模块CS后连接的第一卷积层Conv（1,1）、第二卷积层Conv（1,1）和第三卷积层Conv（1,1）分别进行卷积操作，分别获得尺寸为40*40*27、40*40*36、40*40*18的特征输出，其中，尺寸为40*40*27的特征为关键点特征，尺寸为40*40*36的特征为目标框特征，尺寸为40*40*18的特征为目标类别特征。
9、将目标类别特征40*40*18输入特征变换模块RSR，特征尺度不变；再将尺寸为40*40*27、40*40*36、40*40*18的特征与特征提取网络输出的尺寸为40*40*512的特征图输入感兴趣区域池化模块POI Pooling，以初步筛选出目标候选框，获得尺寸为7*7*512*N的特征输出，其中，N表示筛选出的目标候选框个数。
10、将尺寸为7*7*512*N的特征输出经过第一和第二全连接模块FCS后分别得到尺寸为N*4096的关键点特征和尺寸为N*4096的目标框特征；关键点特征经过第一全连接层FC后输出尺寸为N*3*2（参数N表示筛选出的目标个数，参数3表示关键点的x，y坐标及v（点是否可见）标识，参数2表示其是属于吊钩或防脱装置上的点）的最终预测的关键点信息points；目标框特征经过第二全连接层FC和第三全连接层FC后分别输出尺寸为N*3（N表示筛选出的目标个数，具体数值为每张图中检测出的目标数量；3表示目标的类别属性【背景，吊钩，防脱装置】）的目标类别cls以及尺寸为N*4（N表示筛选出的目标个数，4表示目标的坐标信息，即【中心x坐标，中心y坐标，长，宽】）的目标框坐标bbox。
通过以上操作，不仅能够获得吊钩、防脱装置的目标框坐标信息，而且能够进一步获得包括吊钩与防脱装置接触的关键点坐标信息和防脱装置末梢关键点坐标信息在内的精细化特征，具体如图8所示。
进一步的，在检测出输入图像的吊钩与防脱装置接触的关键点坐标信息和防脱装置末梢关键点坐标信息后，还需要进一步判断防脱装置是否失效，即需要判断防脱装置与吊钩是否形成闭环，具体判断方法如下：
计算吊钩与防脱装置接触的关键点坐标信息和防脱装置末梢关键点坐标信息的距离；
将所述距离与阈值进行比对，其中，阈值一般设定为防脱装置宽度的二分之一（阈值的选取在不同吊机、不同图像采集设备，不同设备的安装距离上有一定的可调空间，需要根据实际情况进行选择）；若所述距离大于阈值，则认为防脱装置失效，即防脱装置与吊钩难以形成闭环，此时，就需要进行预警；若所述距离小于阈值，则认为防脱装置有效，即防脱装置与吊钩能够形成闭环。
示例性的，如图9所示，通过上述模型检测，可得到防脱装置的宽和高，可得到防脱装置的宽度为35像素；而通过检测得到吊钩与防脱装置接触的关键点及防脱装置末梢关键点（即图9中的黑色圆点），计算获得吊钩关键点与防脱装置末梢关键点的间距为33像素。此处，两个关键点间的距离33大于35/2=17.5，即可判断防脱装置未能与吊钩接触形成闭环，即防脱装置失效。
综上所述，与传统检测模型只能检测到输入图像中的目标框相比，本申请所述模型通过在区域候选网络添加第一卷积层Conv（1,1），以获得尺寸为40*40*27的关键点特征，以及在全连接预测网络中增加第一全连接层FC，以获得尺寸为N*3*2的关键点信息points，不仅能够保证目标框的高准确率，而且能够实现目标关键点的检测，即实现吊钩与防脱装置接触的关键点坐标信息和防脱装置末梢关键点坐标信息的检测（传统检测模型仅通过目标框检测难以对防脱装置是否失效作出判断，而本申请所述模型通过关键点信息检测能够实现对防脱装置是否失效进行判断），从而实现了对于输入图像的特征精细化检测。
另一个实施例中，步骤S300中，对吊钩防脱装置检测模型进行训练包括以下步骤：
S301：获取多张包含防脱装置的吊钩图像，对每张吊钩图像中的吊钩和防脱装置进行标注（示例性的，图7（a）为原始输入图像，图7（b）为标注后的输入图像），以获得标注好的吊钩图像集；
该步骤中，标注内容包括【目标类别，目标框中心坐标，目标框宽高，关键点信息】，其中，
目标类别包括【‘吊钩’，‘防脱装置’】，吊钩关键点选择与防脱装置的接触点；防脱装置的关键点选择防脱装置末梢一点。
关键点标注格式为【x，y，v】，x、y分别为横坐标和纵坐标，v表示关键点是否可见，0表示不可见，1表示可见。
S302：对标注好的吊钩图像集进行数据增强，以获得数据增强后的吊钩图像集；
S303：将数据增强后的吊钩图像集划分为训练集和测试集；
S304：设置训练参数，例如，训练次数设置为300次，学习率设置为0.001，利用训练集对吊钩防脱装置检测模型进行训练，在训练过程中，当损失函数收敛，模型训练完成；
该步骤中，共采用两种损失函数，分别是分类预定义锚框的属于前景还是背景的损失函数，及用于关键点及目标框信息的修正预定义锚框坐标的损失函数/>，/>和/>计算如下：
总的损失函数L计算如下：
其中，=256，表示最小批次；/>=2400，表示预定义锚框的数量；参数；/>表示第/>个预定义锚框是目标框的概率；/>表示与/>对应的真实概率值，即当第/>个预定义锚框与真实目标框的交并比大于0.7，则/>=1，交并比小于0.3，则/>=0，其余情况不参与训练；/>=3，表示R(x)函数的超参数，用于控制函数平滑区域；/>表示参数化坐标向量，表示预测值与预定义锚框间的偏移量；/>表示与/>对应的真实偏移量；x表示/>和的误差；/>用于区分预测值和真实值；R(x)表示绝对损失函数（L1函数），用于目标框的回归预测，因为其函数表现是随着误差线性增长，对误差的惩罚相对较低，更适合本算法的损失的计算。
S305：利用测试集对训练后的吊钩防脱装置检测模型进行测试，在测试过程中，通过评估指标AP对模型进行评价，若评估指标满足阈值，模型测试通过；否则返回步骤S304，修改训练参数（例如将训练次数修改为350次，学习率修改为0.05）重新对模型进行训练，直至模型通过测试为止。
该步骤中，当损失函数收敛，通过测试集对模型检测能力进行评估，评估公式如下：
其中，TP表示预测值为正实际为正的样本数；FN表示预测为负实际为正的样本数；FP表示预测为负实际为负的样本数；再画出Precision-Recall（准确率-召回率）曲线，如图7（a）、图7（b）所示，P-R曲线上通过计算每一个recall值对应的Precision值的平均值可以获得一个数值形式的评估指标AP，可以用于衡量训练出来模型检测能力的好坏，再结合人眼对结果的观察即可判断最终模型准确率是否合格，如果不合格则需要采用修改训练参数，添加针对性数据等方法再重新训练。
如图6所示，吊钩及防脱装置在测试集上的AP均在95%以上，即可认为模型通过测试。
另一个实施例中，本申请还提供一种吊钩防脱装置检测装置，所述装置包括：
获取单元，用于获取待测吊钩输入图像；
预处理单元，用于对输入图像预处理，以获得预处理后的输入图像；
模型构建及训练单元，用于构建吊钩防脱装置检测模型并训练；其中，所述吊钩防脱装置检测模型包括主干网络，所述主干网络中通过引入注意力模块，以用于提高对输入图像中吊钩和防脱装置关键点的识别率；
检测单元，用于将预处理后的输入图像输入训练好的吊钩防脱装置检测模型，以检测所述待测吊钩输入图像中是否存在防脱装置以及防脱装置是否失效。
另一个实施例中，所述装置还包括：
预警模块，用于当所述检测单元在吊钩图像中没有检测到防脱装置以及防脱装置失效后进行预警。
另一个实施例中，本申请还提供一种电子设备，所述电子设备包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，
所述处理器执行所述程序时实现如前任一所述的方法。
另一个实施例中，本申请还提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如前任一所述的方法。
虽然，上文中已经用一般性说明及具体实施例对本申请作了详尽的描述，但在本申请基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本申请精神的基础上所做的这些修改或改进，均属于本申请要求保护的范围。
Claims (6)
1.一种吊钩防脱装置检测方法，其特征在于，所述方法包括以下步骤：
S100：获取吊钩输入图像；
S200：对所述输入图像进行数据增强，以获得数据增强后的输入图像；
对输入图像进行数据增强包括以下步骤：
S201：对输入图像进行包括旋转、缩放、模糊、拼接、偏色和添加噪声在内的初步增强处理；
S202：对初步增强处理后的输入图像通过Mixup算法进行混类或通过Mosaic算法进行拼接；
Mixup增强是对两个数据组按比例相加后形成的新的数据组，具体过程如下：
，
其中，分别表示随机抽取的第i张和第j张图像数据组样本，x i 表示第i张图像，x j 表示第j张图像，y i 表示与x i 对应的标签值，y j 表示与x j 对应的标签值，/>表示输出图像，/>表示与/>对应的输出标签值，/>表示概率值服从参数α的Beta分布，；
S300：构建吊钩防脱装置检测模型并训练；
其中，所述吊钩防脱装置检测模型包括主干网络，所述主干网络中通过引入注意力模块，以实现对输入图像中吊钩和防脱装置关键点进行识别；
具体的，所述吊钩防脱装置检测模型包括：
输入层，用于输入吊钩图像；
特征提取网络，用于提取吊钩图像中吊钩和防脱装置的特征信息；
区域候选网络，用于基于由特征提取网络提取到的特征信息初步获取吊钩图像中吊钩和防脱装置的位置信息；
全连接预测网络，用于对由区域候选网络输出的吊钩和防脱装置的位置信息进行精细化处理，以获取吊钩和防脱装置的关键点信息；
所述特征提取网络包括依次连接的：
第一卷积模块CSP_2；
第二卷积模块CSP_2；
第三卷积模块CSP_3；
第四卷积模块CSP_3；
第五卷积模块CS_3；
注意力模块SE；
其中，
第一卷积模块CSP_2和第二卷积模块CSP_2结构相同，均由两个CS层和一个池化层组成，是特征提取网络的基础层；其中，CS层由卷积层Conv和激活函数SiLU组成；
第三卷积模块和第四卷积模块CSP_3结构相同，均由三个CS层和一个池化层组成；
第五卷积模块CS_3由三个CS层组成；
注意力模块SE包括残差结构层Residual，残差结构层Residual的输出分为两路，其中一路由上至下包括依次连接的全局池化层、第一全连接层FC、ReLU激活函数层、第二全连接层FC和Sigmoid激活函数层，然后输出至矩阵全乘操作层Scale；另一路则直接输入矩阵全乘操作层Scale；且矩阵全乘操作层Scale的输出和第五卷积模块CS_3的输出叠加；
所述区域候选网络包括第六卷积模块CS，第六卷积模块CS后连接并列的第一卷积层Conv、第二卷积层Conv和第三卷积层Conv，第三卷积层Conv后连接有特征变换模块RSR，特征变换模块RSR由第一矩阵变换函数Reshape、归一化指数函数Softmax和第二矩阵变换函数Reshape构成，其中，第一矩阵变换函数用于对第三卷积层Conv的输出进行维度变换，便于归一化指数函数计算前景和背景概率，再通过第二矩阵变换函数将维度还原；
所述全连接预测网络包括感兴趣区域池化模块，感兴趣区域池化模块的输出包括两个分支，第一分支包括第一全连接模块FCS，第一全连接模块FCS由全连接层FC和激活函数SiLU构成，第一全连接模块FCS后连接第一全连接层FC；第二分支包括第二全连接模块，第二全连接模块同样由全连接层FC和激活函数SiLU构成，第二全连接模块FCS后连接并列的第二全连接层FC和第三全连接层FC；
S400：将所述数据增强后的输入图像输入训练好的吊钩防脱装置检测模型，以检测所述吊钩输入图像中是否存在防脱装置以及防脱装置是否失效。
2.根据权利要求1所述的方法，其特征在于，步骤S300中，对吊钩防脱装置检测模型进行训练包括以下步骤：
S301：获取多张包含防脱装置的吊钩图像，对每张吊钩图像中的吊钩和防脱装置进行标注，以获得标注好的吊钩图像集；
S302：对标注好的吊钩图像集进行数据增强，以获得数据增强后的吊钩图像集；
S303：将数据增强后的吊钩图像集划分为训练集和测试集；
S304：设置训练参数，利用训练集对吊钩防脱装置检测模型进行训练，在训练过程中，当损失函数收敛，模型训练完成；
S305：利用测试集对训练后的吊钩防脱装置检测模型进行测试，在测试过程中，通过评估指标AP对模型进行评价，若评估指标满足阈值0.95，模型测试通过；否则返回步骤S304，修改训练参数重新对模型进行训练，直至模型通过测试为止。
3.一种用于实施如权利要求1所述检测方法的吊钩防脱装置检测装置，其特征在于，所述装置包括：
获取单元，用于获取吊钩输入图像；
预处理单元，用于对输入图像预处理，以获得预处理后的输入图像；
模型构建及训练单元，用于构建吊钩防脱装置检测模型并训练；其中，所述吊钩防脱装置检测模型包括主干网络，所述主干网络中通过引入注意力模块，以用于提高对输入图像中吊钩和防脱装置关键点的识别率；
具体的，所述吊钩防脱装置检测模型包括：
输入层，用于输入吊钩图像；
特征提取网络，用于提取吊钩图像中吊钩和防脱装置的特征信息；
区域候选网络，用于基于由特征提取网络提取到的特征信息初步获取吊钩图像中吊钩和防脱装置的位置信息；
全连接预测网络，用于对由区域候选网络输出的吊钩和防脱装置的位置信息进行精细化处理，以获取吊钩和防脱装置的关键点信息；
所述特征提取网络包括依次连接的：
第一卷积模块CSP_2；
第二卷积模块CSP_2；
第三卷积模块CSP_3；
第四卷积模块CSP_3；
第五卷积模块CS_3；
注意力模块SE；
其中，
第一卷积模块CSP_2和第二卷积模块CSP_2结构相同，均由两个CS层和一个池化层组成，是特征提取网络的基础层；其中，CS层由卷积层Conv和激活函数SiLU组成；
第三卷积模块和第四卷积模块CSP_3结构相同，均由三个CS层和一个池化层组成；
第五卷积模块CS_3由三个CS层组成；
注意力模块SE包括残差结构层Residual，残差结构层Residual的输出分为两路，其中一路由上至下包括依次连接的全局池化层、第一全连接层FC、ReLU激活函数层、第二全连接层FC和Sigmoid激活函数层，然后输出至矩阵全乘操作层Scale；另一路则直接输入矩阵全乘操作层Scale；且矩阵全乘操作层Scale的输出和第五卷积模块CS_3的输出叠加；
所述区域候选网络包括第六卷积模块CS，第六卷积模块CS后连接并列的第一卷积层Conv、第二卷积层Conv和第三卷积层Conv，第三卷积层Conv后连接有特征变换模块RSR，特征变换模块RSR由第一矩阵变换函数Reshape、归一化指数函数Softmax和第二矩阵变换函数Reshape构成，其中，第一矩阵变换函数用于对第三卷积层Conv的输出进行维度变换，便于归一化指数函数计算前景和背景概率，再通过第二矩阵变换函数将维度还原；
所述全连接预测网络包括感兴趣区域池化模块，感兴趣区域池化模块的输出包括两个分支，第一分支包括第一全连接模块FCS，第一全连接模块FCS后连接第一全连接层FC；第二分支包括第二全连接模块，第二全连接模块FCS后连接并列的第二全连接层FC和第三全连接层FC；
检测单元，用于将预处理后的输入图像输入训练好的吊钩防脱装置检测模型，以检测所述吊钩输入图像中是否存在防脱装置以及防脱装置是否失效。
4.根据权利要求3所述的装置，其特征在于，所述装置还包括：
预警模块，用于当所述检测单元在吊钩图像中没有检测到防脱装置以及防脱装置失效后进行预警。
5.一种电子设备，其特征在于，所述电子设备包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，
所述处理器执行所述程序时实现权利要求1和2任一所述的方法。
6.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1和2任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410132101.8A CN117670755B (zh) | 2024-01-31 | 2024-01-31 | 一种吊钩防脱装置检测方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410132101.8A CN117670755B (zh) | 2024-01-31 | 2024-01-31 | 一种吊钩防脱装置检测方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117670755A CN117670755A (zh) | 2024-03-08 |
| CN117670755B true CN117670755B (zh) | 2024-04-26 |
Family
ID=90068332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410132101.8A Active CN117670755B (zh) | 2024-01-31 | 2024-01-31 | 一种吊钩防脱装置检测方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117670755B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580646A (zh) * | 2020-12-08 | 2021-03-30 | 北京农业智能装备技术研究中心 | 番茄果实成熟度分割方法及采摘机器人 |
| CN114429598A (zh) * | 2021-12-22 | 2022-05-03 | 浙江省特种设备科学研究院 | 一种基于yolov3算法的门机歪拉斜吊检测方法 |
| WO2022111352A1 (zh) * | 2020-11-30 | 2022-06-02 | 展讯通信（上海）有限公司 | 目标检测方法及装置、存储介质、终端 |
| CN114612735A (zh) * | 2020-12-03 | 2022-06-10 | 中国石油化工股份有限公司 | 基于深度学习的吊钩防脱装置检测方法 |
| CN115546565A (zh) * | 2022-11-09 | 2022-12-30 | 上海朗驰佰特智能技术有限公司 | 基于yolocbf电厂关键区域管道油液泄漏检测方法 |
| CN117011932A (zh) * | 2023-06-30 | 2023-11-07 | 海信集团控股股份有限公司 | 一种奔跑行为检测方法、电子设备及存储介质 |
| CN117058517A (zh) * | 2023-07-31 | 2023-11-14 | 广东电网有限责任公司广州供电局 | 一种基于YOLOv5优化模型的安全帽检测方法、装置和介质 |
| CN117115722A (zh) * | 2023-10-20 | 2023-11-24 | 四川泓宝润业工程技术有限公司 | 施工场景检测的方法、装置、存储介质及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210370993A1 (en) * | 2020-05-27 | 2021-12-02 | University Of South Carolina | Computer vision based real-time pixel-level railroad track components detection system |
-
2024
- 2024-01-31 CN CN202410132101.8A patent/CN117670755B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022111352A1 (zh) * | 2020-11-30 | 2022-06-02 | 展讯通信（上海）有限公司 | 目标检测方法及装置、存储介质、终端 |
| CN114612735A (zh) * | 2020-12-03 | 2022-06-10 | 中国石油化工股份有限公司 | 基于深度学习的吊钩防脱装置检测方法 |
| CN112580646A (zh) * | 2020-12-08 | 2021-03-30 | 北京农业智能装备技术研究中心 | 番茄果实成熟度分割方法及采摘机器人 |
| CN114429598A (zh) * | 2021-12-22 | 2022-05-03 | 浙江省特种设备科学研究院 | 一种基于yolov3算法的门机歪拉斜吊检测方法 |
| CN115546565A (zh) * | 2022-11-09 | 2022-12-30 | 上海朗驰佰特智能技术有限公司 | 基于yolocbf电厂关键区域管道油液泄漏检测方法 |
| CN117011932A (zh) * | 2023-06-30 | 2023-11-07 | 海信集团控股股份有限公司 | 一种奔跑行为检测方法、电子设备及存储介质 |
| CN117058517A (zh) * | 2023-07-31 | 2023-11-14 | 广东电网有限责任公司广州供电局 | 一种基于YOLOv5优化模型的安全帽检测方法、装置和介质 |
| CN117115722A (zh) * | 2023-10-20 | 2023-11-24 | 四川泓宝润业工程技术有限公司 | 施工场景检测的方法、装置、存储介质及电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| A Deep Learning Network for Individual Tree Segmentation in UAV Images with a Coupled CSPNet and Attention Mechanism;Lujin Lv 等;《Remote Sensing》;20230908;第15卷(第18期);1-19 * |
| Object Detection Using Deep Learning, CNNs and Visio Transformers: A Review;AYOUB BENALI AMJOUD 等;《IEEE Access》;20230410;第11卷;35479-35516 * |
| 基于CNN的卫星图像下舰船目标检测与识别;胡凯旋;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20230215(第2期);C036-610 * |
| 表面缺陷检测的机器视觉技术研究进展;程锦锋 等;《计算机应用研究》;20230430;第40卷(第4期);967-977 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117670755A (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112465748B (zh) | 基于神经网络的裂缝识别方法、装置、设备及存储介质 | |
| CN107123131B (zh) | 一种基于深度学习的运动目标检测方法 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| CN109285139A (zh) | 一种基于深度学习的x射线成像焊缝检测方法 | |
| WO2022236876A1 (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
| CN111401418A (zh) | 一种基于改进Faster r-cnn的员工着装规范检测方法 | |
| CN112419299A (zh) | 一种螺栓缺失检测方法、装置、设备及存储介质 | |
| CN113435407B (zh) | 一种输电系统的小目标识别方法及装置 | |
| CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
| CN111896540A (zh) | 一种基于区块链的水质在线监测系统 | |
| CN116229052B (zh) | 一种基于孪生网络的变电站设备状态变化检测方法 | |
| CN116843999A (zh) | 一种基于深度学习的动火作业中气瓶检测方法 | |
| CN114529839A (zh) | 一种面向无人机巡检的输电线金具异常检测方法及系统 | |
| CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
| CN116029979A (zh) | 一种基于改进Yolov4的布料瑕疵视觉检测方法 | |
| CN112561885B (zh) | 基于YOLOv4-tiny的插板阀开度检测方法 | |
| CN114331961A (zh) | 用于对象的缺陷检测的方法 | |
| CN117670755B (zh) | 一种吊钩防脱装置检测方法、装置、存储介质及电子设备 | |
| CN116152191A (zh) | 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备 | |
| CN116385758A (zh) | 基于YOLOv5网络对传送带表面损伤的检测方法 | |
| CN117218606B (zh) | 一种逃生门检测方法、装置、存储介质及电子设备 | |
| CN111985541A (zh) | 一种改进Faster-RCNN模型的模糊目标检测方法 | |
| Li et al. | Machine Vision-Based Hook Defect Detection | |
| Liang et al. | FARLut: a two-stage tobacco foreign body detection model incorporating color information and attention mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |