CN112819804A - 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法 - Google Patents
一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法 Download PDFInfo
- Publication number
- CN112819804A CN112819804A CN202110200871.8A CN202110200871A CN112819804A CN 112819804 A CN112819804 A CN 112819804A CN 202110200871 A CN202110200871 A CN 202110200871A CN 112819804 A CN112819804 A CN 112819804A
- Authority
- CN
- China
- Prior art keywords
- insulator
- yolov5
- convolutional neural
- neural network
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 132
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 230000007547 defect Effects 0.000 title claims abstract description 65
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000012216 screening Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 230000005764 inhibitory process Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000005303 weighing Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 abstract description 7
- 230000006872 improvement Effects 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 239000011521 glass Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000000919 ceramic Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 241000512668 Eunectes Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 101150053100 cls1 gene Proteins 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003989 dielectric material Substances 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法，首先从减少误检相似物体、加快推理速度两个方面对YOLOv5的网络结构进行改进，提出基于注意力机制和深度可分离卷积的改进YOLOv5卷积神经网络；然后针对漏检遮挡绝缘子问题对算法损失函数和后处理进行优化，采用CIoU损失函数计算边界框回归损失以及DIoU非极大值抑制筛选预测框，并进一步提出基于面积比的抑制ARS算法以减少缺陷目标的多检现象；最后对改进YOLOv5卷积神经网络进行训练，得到最终的检测网络。本发明方法在保持推理速度不减的前提下，不仅可以正确分辨目标与相似物体，还能避免漏检遮挡的绝缘子。
Description
技术领域
本发明属于机器学习技术领域，具体涉及一种绝缘子缺陷检测方法。
背景技术
输电线路作为电力网络中的重要组成部分，决定了整个电力系统是否能够安全稳定运行。然而，输电线路长期暴露在野外，受高温、雨雪等外界因素的影响，容易引起输电线路部件的老化、腐蚀、破损等故障问题；同时，输电线路高空架设易受到机械负荷产生的内部压力，增加线路部件老化、损坏的可能性，这将给电力系统的安全稳定造成隐患，一旦发生将导致经济损失惨重，因此迫切需要对输电线路进行故障巡检。绝缘子以其优越的绝缘性能在输电线路中负责固定载流导体、防止电流回地、起着导线支撑和绝缘的作用，是输电线路中必不可少的装置。然而，绝缘子受气候、温度等自然因素的影响，易出现掉片、自爆等故障现象，很容易中断输电线路的供电，对居民用户的安全用电带来极大的影响，对电力系统的稳定运行造成巨大的威胁，因此，检测绝缘子是否存在缺陷是电网检修的首要任务。
随着经济的快速发展，电力网络为响应社会需求，日益趋于复杂化、大规模化，输电线路上的绝缘子所经地域复杂、环境恶劣、距离跨度大，传统的人工巡检方式难以满足检测要求。智慧电力的快速发展，推动了巡检方式的变更，人们开始使用载人直升机对绝缘子进行缺陷检测，但由于存在主观因素，检测误差仍然较大，且无法满足大规模的电网巡检任务。而如今，无人机可以完成范围巡视、定点巡视、塔杆精细化巡视等多种高难度任务，并广泛应用于低空测量、特种设备微摄、油田巡检等领域。因此，相关研究人员将无人机技术引入到了绝缘子与缺陷检测中，并逐渐从“人巡为主，机巡为辅”的传统模式转向了“机巡为主，人巡为辅”的智能化模式。
深度学习在目标检测中的广泛应用，为航拍绝缘子图像的检测与识别提供了新的技术支持。该技术利用卷积神经网络(Convolutional Neural Networks,CNN)具有提取图像特征的特点，通过训练使模型具有自主识别目标的能力，将其应用在工业中，可以大大地降低工作量、提高目标检测的准确性。
目前基于深度学习的目标检测算法丰富多样，最瞩目的两个方向为两阶段(Two-stage)和单阶段(One-stage)。Faster R-CNN和YOLOv3分别作为经典的两阶段和单阶段目标检测算法，被广泛应用于输电线路上的电力部件检测研究。文献1“基于绝缘子图像的缺陷检测方法研究[D].华中科技大学,2019.”、文献2“基于深度学习的输电线路绝缘子故障检测[D].华北电力大学(北京),2019.”以及文献3“基于深度学习的电力绝缘子故障检测方法研究[D].陕西科技大学,2019.”将Faster-RCNN算法引入到绝缘子故障检测中，实现了故障的定位与识别，但研究表明该算法的准确率并没有达到理想要求，此外，其推理速度无法达到实时性；文献4“航拍图像中绝缘子目标检测的研究[J].电测与仪表,2019,56(05):119-123.”、文献5“基于YOLOv3的电力线关键部件实时检测[J].电子测量技术,2019,42(23):173-178.”和文献6“输电线路无人机巡检图像中电力部件识别方法研究[D].重庆理工大学,2020.”使用YOLOv3实现高精度实时检测，并通过实验数据证明其平均精度均值与Faster R-CNN相差不大，且在检测速度上提升不多。2020年，YOLOv5算法诞生，YOLOv5综合了非常优秀的技巧(Tricks)，在公开数据集上的效果提升显著，是YOLO系列的重大改进。
发明内容
为了克服现有技术的不足，本发明提供了一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法，首先从减少误检相似物体、加快推理速度两个方面对YOLOv5的网络结构进行改进，提出基于注意力机制和深度可分离卷积的改进YOLOv5卷积神经网络；然后针对漏检遮挡绝缘子问题对算法损失函数和后处理进行优化，采用CIoU损失函数计算边界框回归损失以及DIoU非极大值抑制筛选预测框，并进一步提出基于面积比的抑制ARS算法以减少缺陷目标的多检现象；最后对改进YOLOv5卷积神经网络进行训练，得到最终的检测网络。本发明方法在保持推理速度不减的前提下，不仅可以正确分辨目标与相似物体，还能避免漏检遮挡的绝缘子。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1：采集绝缘子图像，对采集的绝缘子图像进行数据增强，用以扩展数据集样本数；
然后对绝缘子图像样本进行标注，使用矩形框标注绝缘子及其缺陷的位置，并标注图像类别为绝缘子或缺陷；
完成以上操作构成绝缘子图像数据集；
步骤2：构造改进YOLOv5卷积神经网络；
引入注意力机制，在YOLOv5卷积神经网络的骨干网络后面添加并联的通道注意力模块和空间注意力模块，骨干网络的输出分别进入通道注意力模块和空间注意力模块，再将通道注意力模块和空间注意力模块分别输出的特征图相加后与骨干网络的输出特征图进行通道叠加，然后再采用深度可分离卷积对特征图降维，降维之后的特征图输入YOLOv5卷积神经网络的Neck层；
步骤3：优化损失函数和预测框筛选方法；
步骤3-1：采用CIoU损失函数作为改进YOLOv5算法的预测框回归损失函数LCIoU，定义为：
LCIoU＝1-IoU+RCIoU+αv
式中，IoU为交并比，RCIoU为惩罚项；αv是一个影响因子，其中α是用于做权衡的参数，v是用来衡量长宽比一致性的参数；Bgt表示类别是缺陷的预测框；B表示类别是绝缘子的预测框，b和bgt分别表示B和Bgt的中心点；ρ为欧氏距离；c表示目标最小外接矩形的对角线距离；
α和v参数的表达式如式(2)：
其中，w和h分别为预测框的宽度和高度；wgt和hgt分别为真实框的宽度和高度；
步骤3-2：对YOLOv5卷积神经网络的预测框筛选方法，即非极大值抑制方法进行优化；
根据回归损失函数原理，采用DIoU NMS算法对置信度较低的预测框进行抑制，损失函数LDIoU定义如式(3)所示：
LDIoU＝1-IoU+RCIoU (3)
步骤3-3：采用基于面积比的抑制算法进一步对缺陷目标进行筛选，具体算法流程如下：
步骤3-3-1：按照缺陷预测框的置信度大小进行排序，选出置信度低于置信度阈值的缺陷预测框，并将其坐标、类别和置信度信息保存到bbox_list1列表中，而大于等于置信度阈值的预测框保存在real_bbox中；
步骤3-3-2：求解bbox_list1中的预测框与bbox_list0中的预测框的相交面积，其中bbox_list0存放绝缘子预测框标签的坐标、类别和置信度信息；
步骤3-3-3：计算步骤3-3-2得到的相交面积与缺陷预测框的面积比IoD；面积比IoD定义为：
步骤3-3-4：设定IoD阈值，将面积比IoD大于IoD阈值的缺陷预测框放入real_bbox中，输出real_bbox的最终结果；
步骤4：训练改进YOLOv5卷积神经网络；
设置训练参数：批量大小、冲量大小、学习率、权重衰减和最大迭代次数；
采用绝缘子图像数据集，并使用步骤3的优化后损失函数和预测框筛选方法对改进YOLOv5卷积神经网络进行训练；训练完成得到最终的改进YOLOv5卷积神经网络；
步骤5：将待测试绝缘子图像输入最终的改进YOLOv5卷积神经网络，输出绝缘子检测结果和目标位置信息。
优选地，所述数据增强的方法包括：
采用旋转和水平镜像的方法增加不同角度的绝缘子图像；
在绝缘子图像中添加噪声；
对绝缘子图像采用自适应的亮度校正和直方图均衡化方法；
使用CutMix方法组合两幅绝缘子图像，提高对遮挡物体的识别能力。
优选地，所述步骤2中的深度可分离卷积包含两个步骤：
步骤2-1：对于输入为一张3通道的绝缘子图像，进行深度卷积处理，每一个卷积核负责一个通道，所以一个三通道的图像经过深度卷积处理后生成3个特征图，特征图数量与输入层的通道数保持一致；
步骤2-2：采用逐点卷积运算，并在深度方向上进行加权组合步骤2-1得到的特征图，生成新的特征图，新特征图数量与卷积核的数量一致。
优选地，所述设置训练参数：批量大小为8的倍数、冲量大小为0.9、学习率为0.001、最大迭代次数为117000。
本发明的有益效果如下：
1、针对模型误检率较高的问题，本发明方法通过添加通道和空间注意力机制以及调整参数阈值的方式改善该问题。
2、本发明引入深度可分离卷积减少网络参数量和计算量，在保持推理速度不减的前提下，不仅可以正确分辨目标与相似物体，还能避免漏检遮挡的绝缘子。
3、本发明能够提高缺陷检测的准确率，降低漏检率和误检率，有助于缺陷绝缘子智能化检测水平的提高，完全能够满足无人机在线巡检的实时性要求。
附图说明
图1为本发明方法流程图。
图2为本发明方法中两个边界框的示意图。
图3为本发明方法中ARS算法流程图。
图4为本发明方法改进YOLOv5卷积神经网络结构示意图。
图5为本发明实施例中YOLOv5卷积神经网络改进前后算法处理结果对比图，其中图5(a1)为YOLOv5检测图，图5(a2)为AMDSC-YOLOv5检测图，图5(b1)为YOLOv5检测图，图5(b2)为AMDSC-YOLOv5检测图。
图6为本发明实施例中算法改进前后的绝缘子热力图，其中图6(a)为原始图像，图6(b)为YOLOv5结果，图6(c)为AMDSC-YOLOv5结果。
图7为本发明实施例中基于损失函数和后处理的YOLOv5改进前后算法处理结果对比图，其中图7(a1)为改进前的检测图，图7(a2)为改进后的检测图，图7(b1)为改进前的检测图，图7(b2)为改进后的检测图，图7(c1)为改进前的检测图，图7(c2)为改进后的检测图，图7(d1)为改进前的检测图，图7(d2)为改进后的检测图。
图8为本发明实施例中阈值对MAP的影响示意图。
图9为本发明实施例中训练指标变化图
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明将基于深度学习的目标检测算法应用到绝缘子检测与缺陷识别上，在YOLOv5算法的基础上结合绝缘子与缺陷检测的任务特点进行优化和改进，从而代替工作人员完成检测任务。
如图1所示，一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法，包括以下步骤：
步骤1：采集绝缘子图像，对采集的绝缘子图像进行数据增强，用以扩展数据集样本数；针对绝缘子图像数据不足的问题，充分考虑实际检测场景的特点，采用旋转、水平镜像、加噪、自适应亮度校正、自适应直方图均衡化以及CutMix对绝缘子图像数据进行扩增。针对航拍视频不断变换角度的特点，选用旋转和水平镜像的方法增加不同角度的绝缘子图像，其中在图像旋转过程中，为了避免旋转后的图像在训练时被调整大小，因此结合裁剪的方式，以保证图像在旋转后没有使目标尤其使缺陷区域再次被缩小尺寸；考虑到无人机在拍摄和传输图像中会产生噪声，采取添加噪声的方式对绝缘子图像进行预处理；同时为了使模型能够较好的检测光照不均和前景与背景差异较小的绝缘子视频图像，采用自适应的亮度校正和直方图均衡化方法；此外使用CutMix方法来组合两个绝缘子图像样本，从而提高模型对遮挡物体的识别能力。
然后对绝缘子图像样本进行标注，使用矩形框标注绝缘子及其缺陷的位置，并标注图像类别为绝缘子或缺陷；采用colabeler软件标注目标的位置以及类别信息。打开绝缘子文件，然后使用矩形框标注绝缘子及其缺陷的位置，并在“标注信息”处选择目标的类别。
按照VOC格式制作绝缘子数据集，将文件下的所有图像标注完成后，以pascal-voc的格式导出标签文件。
完成以上操作构成绝缘子图像数据集；
步骤2：构造改进YOLOv5卷积神经网络；
在准备好数据集后，针对原YOLOv5算法的不足，将从减少误检相似物体、加快推理速度两个方面改进YOLOv5算法的网络结构，对此提出基于注意力机制和深度可分离卷积的YOLOv5(Attention Mechanism and Depth Separable Convolution YOLOv5,AMDSC-YOLOv5)改进算法。
首先采用注意力机制使网络模型更加关注目标物体的特征，从而达到提高模型性能和降低误检率的目的，即在保证召回率较高的情况下，尽可能地提高精确率，其基本思想是关注感兴趣的细节信息并抑制其他无用信息。
注意力机制主要分为通道注意力模块、空间注意力模块、空间和通道混合注意力模块三种。具体网络结构如附图4，在YOLOv5卷积神经网络的骨干网络后面添加并联的通道注意力模块和空间注意力模块，骨干网络的输出分别进入通道注意力模块和空间注意力模块，再将通道注意力模块和空间注意力模块分别输出的特征图相加后与骨干网络的输出特征图进行通道叠加，然后再采用深度可分离卷积对特征图降维，降维之后的特征图输入YOLOv5卷积神经网络的Neck层；
注意力机制应用到绝缘子图像的检测中，首先需要处理输入特征向量序列a，其表示如下：
式中：L表示特征向量的数量；D表示维度空间。
此外需要获取t时刻的每个特征向量ai的权重at，i，计算如下式所示：
lti＝fatt(ai，ht-1)
式中：lti是中间变量；k是特征向量的序号；fatt(.)表示多层感知机；ht-1表示t-1时刻的状态。
得到权重之后，模型就具有筛选输入特征向量序列a的能力了，经过筛选后，得到项序列为：
其中，当注意力机制为软注意力时，Φ为线性加权函数；当注意力机制为硬注意力时，中表示特征向量是离散的。
由于在网络结构中添加注意力机制模块，同时也增加了网络参数量，因此还需要引入深度可分离卷积。深度可分离卷积通过拆分空间维度和通道维度的相关性，以达到减少参数量的效果。其结构主要分为Depthwise(DW)和Pointwise(PW)两个部分。与标准卷积操作相比，深度可分离卷积的参数量和运算成本比较低。
深度可分离卷积有两个重要步骤。对于输入为一张3通道的绝缘子图像，首先进行深度卷积(Depthwise Convolution，DWC)处理，每一个卷积核负责一个通道，所以一个三通道的图像经过运算后生成3个特征图。深度卷积完成后的特征图数量与输入层的通道数保持一致，无法扩展特征图数量，而且这种运算对输入层的每个通道独立进行卷积运算，并没有有效利用不同通道在相同空间位置上的特征信息，因此需要逐点卷积(PointwiseConvolution，PWC)运算并组合这些特征图，逐点卷积运算会将上一步的特征图在深度方向上进行加权组合，生成新的特征图，其数量与卷积核的数量一致。
步骤3：优化损失函数和预测框筛选方法；
步骤3-1：遮挡是目标检测中较为棘手的问题。在航拍绝缘子视频中，不可避免存在铁塔遮挡绝缘子的现象，然而YOLOv5检测器难以检测此种情形下的绝缘子，对此，在损失函数和预测框筛选上做出了改进。
IoU算法是使用最广泛的算法，如附图2，而YOLOv5选择采用GIoU计算回归损失，GIoU继承了IoU的优点，同时弥补了IoU无法衡量无重叠框之间的距离的缺点。但是当两个预测框都包含于真实框且它们的面积大小一致时，GIoU损失函数就与IoU损失函数效果一样，无法区分相对位置关系。基于此问题，在充分地考虑重叠面积、中心点距离和长宽比三个重要几何因素后，采用CIoU损失函数作为改进YOLOv5算法的预测框回归损失函数LCIoU，定义为：
LCIoU＝1-IoU+RCIoU+αν
式中，IoU为交并比，RCIoU为惩罚项；αv是一个影响因子，其中α是用于做权衡的参数，v是用来衡量长宽比一致性的参数；Bgt表示类别是缺陷的预测框；B表示类别是绝缘子的预测框，b和bgt分别表示B和Bgt的中心点；ρ为欧氏距离；c表示目标最小外接矩形的对角线距离；
α和v参数的表达式如式(2)：
其中，w和h分别为预测框的宽度和高度；wggt和hgt分别为真实框的宽度和高度；
步骤3-2：对YOLOv5卷积神经网络的预测框筛选方法，即非极大值抑制方法进行优化；
为了进一步提高算法对遮挡目标的检测，还将对YOLOv5的预测框筛选方法，即非极大值抑制(Non-Maximum Suppression，NMS)进行优化。
为解决由于不同绝缘子距离太近，导致后处理过程中对绝缘子发生漏检问题，并且充分考虑到后处理阶段没有真实框信息，只涉及重叠面积、中心点距离两个因素。
根据回归损失函数原理，采用DIoU NMS算法对置信度较低的预测框进行抑制，损失函数LDIoU定义如式(3)所示：
LDIoU＝1-IoU+RCIoU (3)
步骤3-3：由于绝缘子上的缺陷具有面积较小、特征不明显且背景比较复杂的特点，在训练模型时，不能很好的提取缺陷的特征信息，导致获得的模型容易将绝缘子以外的无关背景错误检测为缺陷目标。
为解决上述问题，提出了基于面积比的抑制(Area Ratio Suppression,ARS)算法进一步对缺陷目标进行筛选，该算法充分考虑缺陷与绝缘子串的位置关系。采用基于面积比的抑制算法进一步对缺陷目标进行筛选，算法流程如图3所示，具体算法流程如下：
首先按照缺陷预测框的置信度大小进行排序，选出置信度低于置信度阈值的缺陷(目标类别为缺陷时，记作cls＝1)预测框，并将其坐标、类别和置信度信息保存到bbox_list1列表中，而大于阈值的预测框保存在real_bbox中；求解bbox_list1中的预测框与bbox_list0中的预测框的相交面积，其中bbox_list0存放绝缘子(目标类别为绝缘子，记作cls＝0)预测框的坐标、类别和置信度信息；然后计算相交面积与缺陷预测框的面积比(Intersection over Defect,IoD)；最后设定一个IoD阈值，将IoD大于IoD阈值的缺陷预测框放入real_bbox中，输出real_bbox的最终结果，其中图中的len(bbox_list0)和len(bbox_list1)分别表示绝缘子预测框和缺陷预测框的个数。
IoD定义为：
步骤4：训练改进YOLOv5卷积神经网络；
改进后的网络模型在训练之前，需要针对不同数据集的特点对涉及到的参数进行调整，找到最佳参数值，这对于检测模型的性能以及训练的速度非常重要。通常在卷积神经网络中，卷积层和全连接层存在需要训练的参数和超参数；激活函数和池化层没有参数，不过池化层中有超参数。
(1)设置批量大小
批量大小(Batch Size，BS)是指每一次迭代的样本数量，其决定了梯度下降的方向。通常，较大的BS，其网络收敛快，但是容易陷入局部最优解，导致模型泛化性较差；较小的BS，其随机性大，损失函数极易产生振荡且难以收敛。因此在模型训练时，一般根据GPU内存大小设置为8的倍数。
(2)设置冲量大小
冲量(Momentum)作为一种模型训练的加速技巧，可以有效的避免网络陷入局部最优的情况，并且可以加快网络收敛。不过冲量是一个试验参数，需要多次试错才能找到较好值，一般初始化为0.9。
(3)设置学习率
学习率(Learning rate)作为模型训练中至关重要的超参数，用以更新权重的步伐大小，同时权衡收敛速度和是否收敛。学习率太小导致梯度下降的步伐小，网络收敛速度慢；学习率太大，损失函数会振荡。通常，将其初始化为0.001，并采用可变的学习率对模型进行训练。
(4)设置权重衰减
权重衰减(weight decay)是一种常用的防止过拟合的方法，其等价于L2范数正则化。正则化通过为模型的损失函数添加惩罚项，使得学出的模型参数较小，通常接近于0。L2范数正则化在原来的损失函数基础上增加L2范数惩罚项，从而得到训练所需要的损失函数。L2范数惩罚项是指模型参数中每个元素的平方和与一个正的常数的乘积。
(5)设置最大迭代次数
最大迭代次数(Max batches)是指模型训练时，可以迭代的最大次数。超过最大迭代次数后，模型训练终止，且不再更新权重。一般根据数据集的大小设置迭代次数，本文设为117000。
采用绝缘子图像数据集，并使用步骤3的优化后损失函数和预测框筛选方法对改进YOLOv5卷积神经网络进行训练；训练完成得到最终的改进YOLOv5卷积神经网络；
步骤5：将待测试绝缘子图像输入最终的改进YOLOv5卷积神经网络，输出绝缘子检测结果和目标位置信息。
通过训练得到权重best.pt和算法网络结构yolov5-2cls.cfg，并在在测试过程中加载训练权重和算法网络结构得到改进后的YOLOv5模型，进一步检测绝缘子视频，随机选择检测框的颜色，将识别出的目标类别以及定位到的坐标信息显示在原图像上。
具体实施例：
1.实验条件
实验环境为Intel(R)Core(TM)i3-8350 CPU@3.4GHz，内存为16GB，GPU处理器为NVIDA GeForce GTX 1080 Ti，使用anaconda 3-5.2.0作为编程环境。但是由于数据的商业机密等原因，通过网络等途径难以有充足有效的数据来满足电力绝缘子训练任务要求，例如本次所研究的绝缘子图像，通过网络爬虫、无人机航拍、电网公司提供以及GitHub上公开的CPLID数据集等多种途径，通过检索噪声样本和丢弃小于48*48像素的图片的方法对绝缘子数据清洗后，共获取4283张图像，其中缺陷绝缘子图像有1141张，远远不能满足算法对数据的需求。针对绝缘子图像数据不足的问题，充分考虑实际检测场景的特点，采用旋转、水平镜像、加噪、自适应亮度校正、自适应直方图均衡化以及CutMix对绝缘子图像数据进行扩增。针对航拍视频不断变换角度的特点，选用旋转和水平镜像的方法增加不同角度的绝缘子图像，其中在图像旋转过程中，为了避免旋转后的图像在训练时被调整大小，因此这里结合了裁剪的方式，以保证图像在旋转后没有使目标尤其使缺陷区域再次被缩小尺寸；考虑到无人机在拍摄和传输图像中会产生噪声，采取添加噪声的方式对训练数据进行预处理；同时为了使模型能够较好的检测光照不均和前景与背景差异较小的绝缘子视频图像，采用自适应的亮度校正和直方图均衡化方法；此外使用CutMix方法来组合两个样本，从而提高模型对遮挡物体的识别能力。得到大量的图像数据之后，还需要对样本进行标注，并按照VOC格式制作绝缘子图像数据集，才能用于模型训练。
2.实验内容
本实施例首先从减少误检相似物体(即与绝缘子外观比较相似的物体)、加快推理速度两个方面对YOLOv5的网络结构进行改进，提出基于注意力机制和深度可分离卷积的YOLOv5(Attention Mechanism and Depth Separable Convolution YOLOv5,AMDSC-YOLOv5)改进网络，网络结构如图4所示；然后针对漏检遮挡绝缘子问题对算法损失函数和后处理进行优化，采用CIoU损失函数(CIoU Loss)计算边界框回归损失以及DIoU非极大值抑制(DIoU NMS)筛选预测框，并进一步提出基于面积比的抑制(Area Ratio Suppression,ARS)算法以减少缺陷目标的多检现象。
为了验证AMDSC-YOLOv5算法的泛化性和鲁棒性，采用陶瓷和玻璃两种类型的绝缘子图像对改进算法进行实验。为进一步验证AMDSC模块的可行性和有效性，采用热力图可视化玻璃绝缘子。为了验证基于损失函数和后处理的YOLOv5改进算法的泛化性和鲁棒性，采用陶瓷和玻璃两种类型的绝缘子图像对改进算法进行实验。图像的输入尺寸是608*608。
3.分类评价指标
目标检测算法的性能评价在检测领域中占有重要的地位。常见的有精确率(Precision,P)、召回率(Recall,R)、F1值、平均精度均值(mean Average Precision,mAP)等。
二分类的结果如表1所示，实际类别包括正样本(Positive)和负样本(Negative)，预测类别同样包括正样本和负样本，TP表示正样本被正确识别为正样本，FN表示正样本被错误识别为负样本，FP表示负样本被错误识别为正样本，TN表示负样本被正确识别为负样本。
表1二分类结果的四种情形
精确率是指在识别出来的图像中，TP所占的比例，它体现了分类器能够正确识别的能力，也称作查准率，如下式所示
式中：N表示测试集样本数。
召回率是指测试集中所有正样本样例，被正确识别为正样本的比例，主要表现分类器找全目标的能力，也称作查全率，其定义如下：
F1值是精确率和召回率的综合体现，当F1值比较高时，说明分类器是比较有效的，计算公式如下：
精确率、召回率、F1值三个指标综合考虑了正样本和负样本的预测结果，能够比较准确地体现分类算法的性能，而在目标检测算法中还需要考虑定位的问题，所以有了判断检测模型好坏的mAP评价指标。
在VOC2010及以后，平均精度(Average-Precision,AP)就是P-R曲线下面的面积。一般情况，AP值越高，检测器精度越高。mAP表示所有类别的AP平均值。
式中：P和R分别是精确率和召回率；M表示类别数量，i∈(1,M)。
目标检测算法的另一个重要评价指标是速度，只有速度满足实时性要求，才能走向工业应用，这对于实现无人机在线巡检意义重大。常用的度量指标是每秒处理帧数(Frame Per Second,FPS)，即每秒可以处理的图像数量，其定义如下：
式中：Tot表示对图像或者视频进行检测时所耗费的总时间；FC是指处理的图像帧数。通常，使用的硬件配置不同，得到的FPS存在较大差异。
4.仿真测试
为了验证AMDSC-YOLOv5算法的泛化性和鲁棒性，采用陶瓷和玻璃两种类型的绝缘子图像对改进算法进行实验。如图5所示，图5(a1)(a2)是包含正常陶瓷绝缘子的图像；图5(b1)(b2)是包含正常和缺陷玻璃绝缘子的图像；图5(a1)(b1)表示YOLOv5的检测图；图5(a2)(b2)表示改进算法的检测图。由图5(a1)(a2)可以看到YOLOv5检测器将粉色屋顶(红色箭头所指向的地方)错误识别为绝缘子目标，而改进后的检测器可以正确将该处判断为背景；由图5(b1)(b2)可以看到被高压线遮挡了单片玻璃绝缘子的区域(红色箭头所指向的地方)，YOLOv5检测器将其错误识别为缺陷目标，而改进后的检测器正确分辨出该区域不是缺陷目标。
为进一步验证AMDSC模块的可行性和有效性，采用热力图可视化玻璃绝缘子，得到图6的效果。图6(a)是输入的原始图像，图6(b)(c)分别是YOLOv5算法和AMDSC-YOLOv5算法得到的绝缘子热力图。由图6(b)可以看到位于下方的单串绝缘子有较大面积呈现蓝色，而实际上这部分是重要区域，说明YOLOv5并没有较好的提取图6(a)中的绝缘子特征信息；而在图6(c)中，绝缘子区域几乎呈现红色或黄色，只有图像边缘处的绝缘子特征信息提取效果不理想。整体而言，改进后的算法可以较好的提取绝缘子图像中的目标特征信息。
表2给出了YOLOv5算法和AMDSC-YOLOv5算法的评价指标值，其中加粗的数值表示最优指标。从表2中可以发现，AMDSC-YOLOv5算法在精确率上提高了6.5％，召回率降低了1.5％，mAP提高了3.2％，F1提高了3％，速度增加了5.8FPS。综合来看，改进后的算法在精度和速度上都具有较明显地优势。
表2 YOLOv5算法和AMDSC-YOLOv5算法的评价指标
为了验证基于损失函数和后处理的YOLOv5改进算法的泛化性和鲁棒性，采用陶瓷和玻璃两种类型的绝缘子图像对改进算法进行实验。如图7所示，图7(a1)(a2)是陶瓷绝缘子图像；图7(b1)到(d2)是玻璃绝缘子图像；左边一列表示YOLOv5的检测图；右边一列表示改进算法的检测图。由图7(a1)到(c2)可以看到YOLOv5检测器没有检测到被遮挡的绝缘子和竖立悬挂的绝缘子(图中红色和黄色箭头指向的地方)，而改进后的检测器可以正确检测出这两种目标；由图7(d1)(d2)可以看到YOLOv5检测器将铁塔上的标志错误识别为缺陷目标(红色箭头指向的地方)，而改进后的检测器能够根据缺陷与绝缘子目标的位置关系正确筛选缺陷预测框。综合而言，改进后的算法有助于提高模型的准确性。
表3给出了YOLOv5算法、三种改进方法(CIoU Loss、DIoU NMS和ARS)以及结合以上三种改进点的算法的评价指标值。其中，打勾表示使用了相应的改进方法；加粗的数值表示最优指标。从表3中可以看出，采用CIoU Loss的改进方法使精确率提高了1.8％，召回率提高了0.4％，mAP提高了1.9％，F1提高了1.3％，速度减少了1.3FPS；采用DIoU NMS的改进方法使精确率提高了0.6％，召回率提高了了1.5％，mAP提高了1.2％，F1提高了1.1％，速度减少了0.7FPS；加入ARS的改进方法使准确率提高了0.9％，召回率提高了0.1％，mAP提高了0.7％，速度减少了3.1FPS。将上述三种改进方法进行结合，可以发现结合后的改进算法效果最佳，其所有精度指标表现最优，虽然推理速度减少了5.2FPS，但仍然可以满足绝缘子视频图像的实时检测要求。
表3不同改进点的评价指标
通过比较不同大小的阈值对mAP的影响，从而得到最佳阈值。如图8所示，DIoU阈值为0.6时，得到的mAP指标最优，即0.905；在ARS算法中，IoD阈值为0.7时，得到的mAP指标最优，即0.9。因此，基于损失函数与后处理的YOLOv5改进算法采用了0.6的DIoU阈值和0.7的IoD阈值。
表4给出了YOLOv5网络、改进网络的评价指标值。其中加粗的数值表示最优指标。从表4中可以看出，无论是在精度还是速度上，改进网络都优于YOLOv5网络，其mAP提高了5.2％，速度加快了0.3FPS。该方法完全能够满足绝缘子视频图像的检测要求。
表4改进网络的评价指标
图9使用折线图进一步对算法的mAP进行分析，它是模型在训练过程中，算法的mAP指标随着训练轮数(一共150轮)变化的折线图。其中，蓝色折线表示YOLOv5算法，橙色折线表示综合改进算法。由图9可以清楚地看到，综合改进算法的mAP指标明显高于YOLOv5算法。因此，在后面的电力绝缘子检测软件设计中将使用该算法完成绝缘子与缺陷的检测工作。
Claims (4)
1.一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法，其特征在于，包括以下步骤：
步骤1：采集绝缘子图像，对采集的绝缘子图像进行数据增强，用以扩展数据集样本数；
然后对绝缘子图像样本进行标注，使用矩形框标注绝缘子及其缺陷的位置，并标注图像类别为绝缘子或缺陷；
完成以上操作构成绝缘子图像数据集；
步骤2：构造改进YOLOv5卷积神经网络；
引入注意力机制，在YOLOv5卷积神经网络的骨干网络后面添加并联的通道注意力模块和空间注意力模块，骨干网络的输出分别进入通道注意力模块和空间注意力模块，再将通道注意力模块和空间注意力模块分别输出的特征图相加后与骨干网络的输出特征图进行通道叠加，然后再采用深度可分离卷积对特征图降维，降维之后的特征图输入YOLOv5卷积神经网络的Neck层；
步骤3：优化损失函数和预测框筛选方法；
步骤3-1：采用CIoU损失函数作为改进YOLOv5算法的预测框回归损失函数LCIoU，定义为：
LCIoU＝1-IoU+RCIoU+αv
式中，IoU为交并比，RCIoU为惩罚项；αv是一个影响因子，其中α是用于做权衡的参数，v是用来衡量长宽比一致性的参数；Bgt表示类别是缺陷的预测框；B表示类别是绝缘子的预测框，b和bgt分别表示B和Bgt的中心点；ρ为欧氏距离；c表示目标最小外接矩形的对角线距离；
α和v参数的表达式如式(2)：
其中，w和h分别为预测框的宽度和高度；wgt和hgt分别为真实框的宽度和高度；
步骤3-2：对YOLOv5卷积神经网络的预测框筛选方法，即非极大值抑制方法进行优化；
根据回归损失函数原理，采用DIoU NMS算法对置信度较低的预测框进行抑制，损失函数LDIoU定义如式(3)所示：
LDIoU＝1-IoU+RCIoU (3)
步骤3-3：采用基于面积比的抑制算法进一步对缺陷目标进行筛选，具体算法流程如下：
步骤3-3-1：按照缺陷预测框的置信度大小进行排序，选出置信度低于置信度阈值的缺陷预测框，并将其坐标、类别和置信度信息保存到bbox_list1列表中，而大于等于置信度阈值的预测框保存在real_bbox中；
步骤3-3-2：求解bbox_list1中的预测框与bbox_list0中的预测框的相交面积，其中bbox_list0存放绝缘子预测框标签的坐标、类别和置信度信息；
步骤3-3-3：计算步骤3-3-2得到的相交面积与缺陷预测框的面积比IoD；面积比IoD定义为：
步骤3-3-4：设定IoD阈值，将面积比IoD大于IoD阈值的缺陷预测框放入real_bbox中，输出real_bbox的最终结果；
步骤4：训练改进YOLOv5卷积神经网络；
设置训练参数：批量大小、冲量大小、学习率、权重衰减和最大迭代次数；
采用绝缘子图像数据集，并使用步骤3的优化后损失函数和预测框筛选方法对改进YOLOv5卷积神经网络进行训练；训练完成得到最终的改进YOLOv5卷积神经网络；
步骤5：将待测试绝缘子图像输入最终的改进YOLOv5卷积神经网络，输出绝缘子检测结果和目标位置信息。
2.根据权利要求1所述的一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法，其特征在于，所述数据增强的方法包括：
采用旋转和水平镜像的方法增加不同角度的绝缘子图像；
在绝缘子图像中添加噪声；
对绝缘子图像采用自适应的亮度校正和直方图均衡化方法；
使用CutMix方法组合两幅绝缘子图像，提高对遮挡物体的识别能力。
3.根据权利要求1所述的一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法，其特征在于，所述步骤2中的深度可分离卷积包含两个步骤：
步骤2-1：对于输入为一张3通道的绝缘子图像，进行深度卷积处理，每一个卷积核负责一个通道，所以一个三通道的图像经过深度卷积处理后生成3个特征图，特征图数量与输入层的通道数保持一致；
步骤2-2：采用逐点卷积运算，并在深度方向上进行加权组合步骤2-1得到的特征图，生成新的特征图，新特征图数量与卷积核的数量一致。
4.根据权利要求1所述的一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法，其特征在于，所述设置训练参数：批量大小为8的倍数、冲量大小为0.9、学习率为0.001、最大迭代次数为117000。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110200871.8A CN112819804A (zh) | 2021-02-23 | 2021-02-23 | 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110200871.8A CN112819804A (zh) | 2021-02-23 | 2021-02-23 | 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112819804A true CN112819804A (zh) | 2021-05-18 |
Family
ID=75865054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110200871.8A Pending CN112819804A (zh) | 2021-02-23 | 2021-02-23 | 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819804A (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990391A (zh) * | 2021-05-20 | 2021-06-18 | 四川大学 | 基于特征融合的卷积神经网络的缺陷分类识别系统 |
| CN113282088A (zh) * | 2021-05-21 | 2021-08-20 | 潍柴动力股份有限公司 | 工程车的无人驾驶方法、装置、设备、存储介质及工程车 |
| CN113298024A (zh) * | 2021-06-11 | 2021-08-24 | 长江大学 | 一种基于轻量化神经网络的无人机对地小目标识别方法 |
| CN113344886A (zh) * | 2021-06-11 | 2021-09-03 | 长江存储科技有限责任公司 | 晶圆表面缺陷检测方法和设备 |
| CN113362285A (zh) * | 2021-05-21 | 2021-09-07 | 同济大学 | 一种钢轨表面伤损细粒度图像分类与检测方法 |
| CN113378748A (zh) * | 2021-06-22 | 2021-09-10 | 上海中通吉网络技术有限公司 | 基于改进算法的目标检测方法 |
| CN113449691A (zh) * | 2021-07-21 | 2021-09-28 | 天津理工大学 | 一种基于非局部注意力机制的人形识别系统及方法 |
| CN113610050A (zh) * | 2021-08-26 | 2021-11-05 | 齐鲁工业大学 | 一种基于YOLOv5的口罩佩戴实时检测方法 |
| CN113763569A (zh) * | 2021-08-30 | 2021-12-07 | 之江实验室 | 一种在三维仿真中使用的图像标注方法及装置、电子设备 |
| CN113807450A (zh) * | 2021-09-23 | 2021-12-17 | 怀化学院 | 一种基于超高分辨率图片的无人机电力巡线故障检测方法 |
| CN113888513A (zh) * | 2021-09-30 | 2022-01-04 | 电子科技大学 | 一种基于深度神经网络模型的钢筋检测计数方法 |
| CN113989487A (zh) * | 2021-10-20 | 2022-01-28 | 国网山东省电力公司信息通信公司 | 一种面向实景调度的故障缺陷检测方法及系统 |
| CN114022432A (zh) * | 2021-10-28 | 2022-02-08 | 湖北工业大学 | 基于改进的yolov5的绝缘子缺陷检测方法 |
| CN114240885A (zh) * | 2021-12-17 | 2022-03-25 | 成都信息工程大学 | 一种基于改进的Yolov4网络的布匹瑕疵检测方法 |
| CN114300099A (zh) * | 2021-11-24 | 2022-04-08 | 大连工业大学 | 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法 |
| CN114359281A (zh) * | 2022-03-17 | 2022-04-15 | 南方电网数字电网研究院有限公司 | 基于层次化集成学习的电力部件识别方法和装置 |
| CN114359286A (zh) * | 2022-03-21 | 2022-04-15 | 湖南应超智能计算研究院有限责任公司 | 一种基于人工智能的绝缘子缺陷识别方法、设备及介质 |
| CN114399799A (zh) * | 2021-11-22 | 2022-04-26 | 电子科技大学 | 一种基于YOLOv5网络的口罩佩戴检测方法 |
| CN114550069A (zh) * | 2022-03-01 | 2022-05-27 | 华南农业大学 | 一种基于深度学习的仔猪乳头计数方法 |
| CN114677362A (zh) * | 2022-04-08 | 2022-06-28 | 四川大学 | 基于改进YOLOv5的表面缺陷检测方法 |
| CN114821022A (zh) * | 2022-06-27 | 2022-07-29 | 中国电子科技集团公司第二十八研究所 | 融合主观逻辑和不确定性分布建模的可信目标检测方法 |
| CN114972225A (zh) * | 2022-05-16 | 2022-08-30 | 上海可明科技有限公司 | 一种基于深度学习的两阶段光伏板缺陷检测方法 |
| CN115115590A (zh) * | 2022-06-23 | 2022-09-27 | 华南理工大学 | 基于旋转RetinaNet的复合绝缘子过热缺陷检测方法 |
| CN115311542A (zh) * | 2022-08-25 | 2022-11-08 | 杭州恒胜电子科技有限公司 | 一种目标检测方法、装置、设备和介质 |
| CN117496475A (zh) * | 2023-12-29 | 2024-02-02 | 武汉科技大学 | 一种应用于自动驾驶的目标检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389160A (zh) * | 2018-09-27 | 2019-02-26 | 南京理工大学 | 基于深度学习的电力绝缘端子缺陷检测方法 |
| US20200175352A1 (en) * | 2017-03-14 | 2020-06-04 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| CN111401148A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于改进的多级YOLOv3的道路多目标检测方法 |
| CN112036267A (zh) * | 2020-08-14 | 2020-12-04 | 珠海格力电器股份有限公司 | 一种目标检测方法、装置、设备和计算机可读存储介质 |
-
2021
- 2021-02-23 CN CN202110200871.8A patent/CN112819804A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200175352A1 (en) * | 2017-03-14 | 2020-06-04 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| CN109389160A (zh) * | 2018-09-27 | 2019-02-26 | 南京理工大学 | 基于深度学习的电力绝缘端子缺陷检测方法 |
| CN111401148A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于改进的多级YOLOv3的道路多目标检测方法 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| CN112036267A (zh) * | 2020-08-14 | 2020-12-04 | 珠海格力电器股份有限公司 | 一种目标检测方法、装置、设备和计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 睢丙东等: "一种改进YOLOv3的手势识别算法", 《河北科技大学学报》, 23 December 2020 (2020-12-23) * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990391A (zh) * | 2021-05-20 | 2021-06-18 | 四川大学 | 基于特征融合的卷积神经网络的缺陷分类识别系统 |
| CN113282088A (zh) * | 2021-05-21 | 2021-08-20 | 潍柴动力股份有限公司 | 工程车的无人驾驶方法、装置、设备、存储介质及工程车 |
| CN113362285A (zh) * | 2021-05-21 | 2021-09-07 | 同济大学 | 一种钢轨表面伤损细粒度图像分类与检测方法 |
| CN113362285B (zh) * | 2021-05-21 | 2023-02-07 | 同济大学 | 一种钢轨表面伤损细粒度图像分类与检测方法 |
| CN113298024A (zh) * | 2021-06-11 | 2021-08-24 | 长江大学 | 一种基于轻量化神经网络的无人机对地小目标识别方法 |
| CN113344886A (zh) * | 2021-06-11 | 2021-09-03 | 长江存储科技有限责任公司 | 晶圆表面缺陷检测方法和设备 |
| CN113378748A (zh) * | 2021-06-22 | 2021-09-10 | 上海中通吉网络技术有限公司 | 基于改进算法的目标检测方法 |
| CN113449691A (zh) * | 2021-07-21 | 2021-09-28 | 天津理工大学 | 一种基于非局部注意力机制的人形识别系统及方法 |
| CN113610050A (zh) * | 2021-08-26 | 2021-11-05 | 齐鲁工业大学 | 一种基于YOLOv5的口罩佩戴实时检测方法 |
| CN113763569A (zh) * | 2021-08-30 | 2021-12-07 | 之江实验室 | 一种在三维仿真中使用的图像标注方法及装置、电子设备 |
| CN113807450A (zh) * | 2021-09-23 | 2021-12-17 | 怀化学院 | 一种基于超高分辨率图片的无人机电力巡线故障检测方法 |
| CN113888513A (zh) * | 2021-09-30 | 2022-01-04 | 电子科技大学 | 一种基于深度神经网络模型的钢筋检测计数方法 |
| CN113989487A (zh) * | 2021-10-20 | 2022-01-28 | 国网山东省电力公司信息通信公司 | 一种面向实景调度的故障缺陷检测方法及系统 |
| CN114022432A (zh) * | 2021-10-28 | 2022-02-08 | 湖北工业大学 | 基于改进的yolov5的绝缘子缺陷检测方法 |
| CN114022432B (zh) * | 2021-10-28 | 2024-04-30 | 湖北工业大学 | 基于改进的yolov5的绝缘子缺陷检测方法 |
| CN114399799A (zh) * | 2021-11-22 | 2022-04-26 | 电子科技大学 | 一种基于YOLOv5网络的口罩佩戴检测方法 |
| CN114300099A (zh) * | 2021-11-24 | 2022-04-08 | 大连工业大学 | 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法 |
| CN114240885A (zh) * | 2021-12-17 | 2022-03-25 | 成都信息工程大学 | 一种基于改进的Yolov4网络的布匹瑕疵检测方法 |
| CN114240885B (zh) * | 2021-12-17 | 2022-08-16 | 成都信息工程大学 | 一种基于改进的Yolov4网络的布匹瑕疵检测方法 |
| CN114550069A (zh) * | 2022-03-01 | 2022-05-27 | 华南农业大学 | 一种基于深度学习的仔猪乳头计数方法 |
| CN114550069B (zh) * | 2022-03-01 | 2022-10-21 | 华南农业大学 | 一种基于深度学习的仔猪乳头计数方法 |
| CN114359281A (zh) * | 2022-03-17 | 2022-04-15 | 南方电网数字电网研究院有限公司 | 基于层次化集成学习的电力部件识别方法和装置 |
| CN114359286A (zh) * | 2022-03-21 | 2022-04-15 | 湖南应超智能计算研究院有限责任公司 | 一种基于人工智能的绝缘子缺陷识别方法、设备及介质 |
| CN114677362A (zh) * | 2022-04-08 | 2022-06-28 | 四川大学 | 基于改进YOLOv5的表面缺陷检测方法 |
| CN114677362B (zh) * | 2022-04-08 | 2023-09-12 | 四川大学 | 基于改进YOLOv5的表面缺陷检测方法 |
| CN114972225A (zh) * | 2022-05-16 | 2022-08-30 | 上海可明科技有限公司 | 一种基于深度学习的两阶段光伏板缺陷检测方法 |
| CN115115590A (zh) * | 2022-06-23 | 2022-09-27 | 华南理工大学 | 基于旋转RetinaNet的复合绝缘子过热缺陷检测方法 |
| CN115115590B (zh) * | 2022-06-23 | 2024-03-08 | 华南理工大学 | 基于旋转RetinaNet的复合绝缘子过热缺陷检测方法 |
| CN114821022A (zh) * | 2022-06-27 | 2022-07-29 | 中国电子科技集团公司第二十八研究所 | 融合主观逻辑和不确定性分布建模的可信目标检测方法 |
| CN115311542A (zh) * | 2022-08-25 | 2022-11-08 | 杭州恒胜电子科技有限公司 | 一种目标检测方法、装置、设备和介质 |
| CN117496475A (zh) * | 2023-12-29 | 2024-02-02 | 武汉科技大学 | 一种应用于自动驾驶的目标检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112819804A (zh) | 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法 | |
| CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
| CN109584221B (zh) | 一种基于监督式生成对抗网络的异常图像检测方法 | |
| CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
| CN113344475B (zh) | 基于序列模态分解的变压器套管缺陷识别方法及系统 | |
| Jiang et al. | A machine vision-based realtime anomaly detection method for industrial products using deep learning | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN110378221A (zh) | 一种电网线夹自动检测与缺陷识别方法及装置 | |
| CN112861635A (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
| CN114399719B (zh) | 一种变电站火灾视频监测方法 | |
| CN115359054B (zh) | 一种基于伪缺陷空间生成的电力设备缺陷检测方法 | |
| Tan | Automatic insulator detection for power line using aerial images powered by convolutional neural networks | |
| CN112417981A (zh) | 基于改进FasterR-CNN的复杂战场环境目标高效识别方法 | |
| CN111382709A (zh) | 一种基于无人机巡检的绝缘子图像检测方法 | |
| CN112419243B (zh) | 一种基于红外图像分析的配电房设备故障识别方法 | |
| CN112837281B (zh) | 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备 | |
| CN110618129A (zh) | 一种电网线夹自动检测与缺陷识别方法及装置 | |
| CN114219763A (zh) | 基于Faster RCNN算法的配电设备异常发热点红外图片检测方法 | |
| Zhang et al. | Improved YOLOv8 Insulator Fault Detection Algorithm Based on BiFormer | |
| CN117173526A (zh) | 一种自适应特征融合与轻量化YOLOv5s的绝缘子缺陷检测方法 | |
| CN113538351A (zh) | 一种融合多参数电信号的外绝缘设备缺陷程度评估方法 | |
| Gu et al. | Object detection of overhead transmission lines based on improved YOLOv5s | |
| CN110135239A (zh) | 一种光学遥感影像港口舰船目标的识别方法 | |
| Jiao et al. | A Defective Bolt Detection Model with Attention-based RoI Fusion and Cascaded Classification Network | |
| Mao et al. | YOLO-Banana: An Effective Grading Method for Banana Appearance Quality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |