CN115239710A - 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法 - Google Patents

基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法 Download PDF

Info

Publication number
CN115239710A
CN115239710A CN202211149254.0A CN202211149254A CN115239710A CN 115239710 A CN115239710 A CN 115239710A CN 202211149254 A CN202211149254 A CN 202211149254A CN 115239710 A CN115239710 A CN 115239710A
Authority
CN
China
Prior art keywords
senet
feature
feature map
input
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211149254.0A
Other languages
English (en)
Inventor
陈江丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202211149254.0A priority Critical patent/CN115239710A/zh
Publication of CN115239710A publication Critical patent/CN115239710A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明公开了一种基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，通过对YOLOv5的网络结构进行改进，采用UPID公共数据集对其进行数据增强，用于输电线路绝缘子缺陷检测，首次在YOLOv5中将注意力反馈嵌入到骨干的BottleneckCSP中，首次利用一组比例因子和两种池化方式构建了双空间金字塔来替代SPP模块，并在上采样后融合多个全局上下文信息，本发明不仅能准确地检测出复杂背景图像中的绝缘子缺陷，而且能准确地识别出受遮挡的绝缘子，实现输电线路绝缘子的定位与分类，快速而精确的检测绝缘子缺陷。

Description

基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法
技术领域
本发明涉及计算机视觉技术领域，具体是基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法。
背景技术
绝缘子是一种特殊的绝缘控制装置，是输电线路的必要组成部分，它起着支撑导线和防止电流回地的作用，所以它是否存在缺陷对于输电安全与供电稳定至关重要。在烈日、暴雨、大风、雷电等恶劣的外部环境下，绝缘子往往容易受损，导致绝缘子串帽脱落，进而威胁电力系统的安全和供电供应。在这种情况下，如何有效地设计绝缘子缺陷检测算法，及时监测输电线路绝缘子的状态，成为电力相关部门的迫切需求。
目前主流的目标检测算法可分为一阶段方法和两阶段方法，两阶段方法的代表算法是R-CNN系列，尤其是Faster R-CNN，一阶段的方法包括YOLO(You Only Look Once)和SSD(Single Shot Multi Box Detector)等算法。实时的算法YOLO问世以来，在工业领域得到广泛应用。特别是YOLOv5 在运行速度上有明显优势，同时在检测较小的目标时具有更好的性能。目前，最新版本的YOLOv5 (YOLOv5m)可以在COCO (Common Objects in COntext)数据集上实现64.1%的mAP 0.5。基于YOLOv5的检测算法对输电线路的绝缘子及绝缘子缺陷在检测精度上还有较大的提升空间。可提升的空间尤其体现在实现复杂背景下的多尺度绝缘子及缺陷和受遮挡的绝缘子的高精度检测。
发明内容
本发明的目的在于提供基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，以解决上述背景技术中提出的问题。
本发明的技术方案是：基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，包括以下步骤：
S1、首次引入注意力反馈，将注意力反馈嵌入到骨干网络的所有的BottleneckCSP结构中，具体嵌入在其N个Bottleneck模块中；
S2、在S1骨干网络中，首次引入双空间金字塔替换SPP结构，融合不同的全局上下文信息，然后FPN网络获得具有低级语义信息和丰富细节信息的高分辨率特征图，最后利用PAN网络进行特征融合，输出三种尺度的特征图；
S3、对改进的YOLOv5网络模型进行训练，获取到训练最优的结果，保存训练最优的权重文件和最后一轮训练的权重文件；
S4、采用划分好的测试集图像对YOLOv5网络模型进行测试，输出绝缘子检测的评价指标数据，以及绝缘子目标与缺陷的位置信息，做检测结果可视化，实现输电线路绝缘子的缺陷检测。
优选的，所述注意力反馈的实现包括：首先，在BottleneckCSP中，输入特征图进行一次卷积操作作为Bottleneck的输入；在Bottleneck结构中，首先会进行一次卷积，得到的特征图作为注意力反馈在SENet阶段的输入特征图；接着注意力反馈的输出特征图再进行一次卷积操作，与Bottleneck的输入进行特征融合，这表示完成一次完整的含注意力反馈的Bottleneck结构的特征提取；
SENet的Squeeze操作原理为：
Figure 538006DEST_PATH_IMAGE001
（1）
式（1）中，
Figure 743859DEST_PATH_IMAGE002
表示一次全局平均池化，C个通道的特征数值分布进行平均池化，将注意力反馈在SENet阶段的输入特征图作为输入，通过平均池化，转换成C×1×1的输出张量，每个通道的空间特征编码为一个全局特征，使得特征图X能通过激励操作提取通道间的关系；
SENet的Excitation操作原理为：
Figure 532824DEST_PATH_IMAGE003
（2）
式（2）中，采用带有sigmoid形式的gating机制，gating机制起到控制神经网络中信息的传递的作用，Ffc 采用sigmoid门控机构。该门控机制的作用是充分利用SENet的优势控制信息的传输。H表示图像的长度，W表示图像的宽度；
其中，
Figure 149619DEST_PATH_IMAGE004
，
Figure 532189DEST_PATH_IMAGE005
，r是全连接层默认值为16的降维超参数，
Figure 525422DEST_PATH_IMAGE006
表示ReLU激活；
最后通过
Figure 168893DEST_PATH_IMAGE007
将学习到的各个通道的激活值乘以
Figure 707322DEST_PATH_IMAGE008
上的原始特征, 恢复原始的维度：
Figure 357615DEST_PATH_IMAGE009
（3）
经过1x 1卷积和sigmoid激活后，选择添加反馈路径来更新SENet输出信息；构造块中的反馈路径定义为：
Figure 905271DEST_PATH_IMAGE010
（4）
式（4）中，X是SENet的输入，Y是SENet的输出，
Figure 796391DEST_PATH_IMAGE011
表示第i层的权重，函数
Figure 505721DEST_PATH_IMAGE012
则表示一个线性投影，它是采用
Figure 987518DEST_PATH_IMAGE013
卷积来改变Y的维度，函数
Figure 322553DEST_PATH_IMAGE014
是一个sigmoid激活函数。
优选的，所述注意力反馈包括分支一、分支二和分支三。
优选的，所述分支一是SENet阶段的输入特征图，未做任何操作。
优选的，所述分支二是SENet阶段的输入特征图经过Squeeze操作和Excitation操作，Squeeze操作采用全局平均池化，获得大小为C×1×1的张量，之后进行Excitation操作，即先采用1×1卷积，再使用sigmoid激活函数进行激活获得带有权重的C×1×1的张量；该张量与SENet阶段的输入特征图进行权重融合后获得SENet阶段的输出特征图，这表示SENet阶段的整个特征提取操作的结束。
优选的，所述分支三是注意力反馈基于SENet的创新部分；SENet阶段的输出特征图进行1×1卷积和sigmoid激活得到大小为1×H×W的特征图，与SENet阶段的输入特征图进行权重融合，得到空间信息增强后的特征图，其携带新的空间关系去更新SENet阶段的输入特征图。
优选的，所述双空间金字塔的实现包括：双空间金字塔通过两种方式聚合基于不同区域的上下文信息：其一是采用全局平均池化和全局最大池化；其二是采用金字塔池化；在采用全局平均池化的路径中，金字塔的三个层级将输入特征图划分成若干个不同的子区域，并对每个子区域进行全局平均池化以及融合后得到三种不同尺度下的特征；采用全局最大池化的路径同理；然后采用1×1卷积将上下文表示减少到原始的1 ⁄ N ；为了将六个不同层级的特征图进行Concat，先采用双线性插值的方法进行上采样至特征图大小为
Figure 815983DEST_PATH_IMAGE015
再进行后续的融合。
本发明通过改进在此提供基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，与现有技术相比，具有如下改进及优点：
其一：本发明通过首次创新性的提出一种注意反馈层结构，嵌入YOLOv5主干网络的BottleneckCSP结构中，该结构将SENet学习到的辨别性的通道特征进行反馈，使得SENet上被压缩的空间特征得到强化，使用增强的空间特征再一次进行SENet的压缩和激励操作，进一步提高辨别性通道特征的注意能力，在网络层间提取特征时，加强了复杂背景区域与目标区域的图像本质属性差异，保证了图像本质属性特征的判别更加明显，检测性能得到进一步提高；
其二：本发明方法通过首次采用最大池化和平均池化构建双空间金字塔池化，融合不同的全局上下文信息，通过两种池化方式获得的响应值是不同的，融合后能大大丰富全局上下文信息，进一步提高了神经网络对图像中复杂背景的理解和目标的推理能力。
附图说明
下面结合附图和实施例对本发明作进一步解释：
图1是本发明一个实施例基于反馈注意力机制的输电线路绝缘子缺陷检测方法流程图；
图2是本发明一个实施例基于注意力反馈和双空间金字塔的电力线绝缘子缺陷检测方法的网络结构图；
图3是本发明一个实施例应用的注意力反馈的结构图；
图4是本发明一个实施例应用的双空间金字塔的结构图；
图5中的（a）、（b）是本发明一个实施例的部分测试集上的检测效果对比图。
具体实施方式
下面对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明通过改进在此提供基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，本发明的技术方案是：
本申请提供一种基于注意力反馈和双空间金字塔的电力线绝缘子缺陷检测方法，如图1所示，包括如下步骤：
1)基于统一电力线路绝缘子检测和故障分类的公共数据集UPID，充分考虑实际检测场景的特点，采用自适应亮度校正、Mosaic数据增强、Cutout等方法对绝缘子图像进行数据增强。Mosaic数据增强的主要思想是将四张图像进行随机裁剪，再拼接到另一张图像上并把它作为训练数据。这样做的优点是增加图像背景的丰富度，提高对小目标的检测性能。使用Cutout方法随机地将样本中的某部分区域裁剪掉，然后将该区域填充0像素值，从而提高算法模型对受遮挡的目标的识别能力。采用自适应亮度校正可以模拟无人机拍摄的亮度的图像，使模型对极暗和曝光条件下的图像的检测性能更具鲁棒性。
2)对绝缘子图像样本进行标注，使用矩阵框标注绝缘子及其缺陷的位置，并标注图像类别为缺陷绝缘子(defect)和正常绝缘子(insulator)；
3)将标注好的数据集按8:2的比例划分为训练集和测试集；
4)在BottleneckCSP中，输入特征图进行一次卷积操作作为Bottleneck的输入。在Bottleneck结构中，首先会进行一次卷积，得到的特征图作为注意力反馈的输入特征图。如参考图3所示，该模块共分为三个分支，分支一是SENet阶段的输入特征图，未做任何操作；分支二是SENet阶段的输入特征图经过Squeeze操作和Excitation操作。Squeeze操作采用全局平均池化，获得大小为C×1×1的张量，之后进行Excitation操作，即先采用1×1卷积，再使用sigmoid激活函数进行激活获得带有权重的C×1×1的张量。该张量与SENet阶段的输入特征图进行权重融合后获得SENet阶段的输出特征图，这表示SENet阶段的整个特征提取操作的结束；分支三是注意力反馈基于SENet的创新部分。SENet阶段的输出特征图进行1×1卷积和sigmoid激活得到大小为1×H×W的特征图，与SENet阶段的输入特征图进行权重融合，得到空间信息增强后的特征图，其携带新的空间关系去更新SENet阶段的输入特征图。提出注意力反馈，其区别于现有的空间注意力与通道注意力的串行或者并行的结合方式。本发明提出的方法不再是分别增强空间上和通道上重要信息，而是利用SENet学习到的辨别性的通道特征进行反馈，使得SENet上被压缩的空间特征得到强化。使用增强的空间特征再一次进行SENet的压缩和激励操作，进一步增强辨别性通道特征的注意能力。在网络层间提取特征时，保证了图像本质属性特征的判别更加明显。
5)注意力反馈的输出特征图再进行一次卷积操作，与Bottleneck的输入进行特征融合，这表示完成一次完整的含注意力反馈的Bottleneck结构的特征提取。
SENet的Squeeze操作原理为：
Figure 945481DEST_PATH_IMAGE016
(1)
式（1）中，
Figure 648995DEST_PATH_IMAGE017
表示一次全局平均池化，C个通道的特征数值分布进行平均池化，将注意力反馈在SENet阶段的输入特征图作为输入，通过平均池化，转换成C×1×1的输出张量，每个通道的空间特征编码为一个全局特征，使得特征图X能通过激励操作提取通道间的关系。
SENet的Excitation操作原理为：
Figure 272875DEST_PATH_IMAGE018
(2)
式（2）中，采用带有sigmoid形式的gating机制，gating机制起到控制神经网络中信息的传递的作用，Ffc 采用sigmoid门控机构。该门控机制的作用是充分利用SENet的优势控制信息的传输。H表示图像的长度，W表示图像的宽度；其中，
Figure 135657DEST_PATH_IMAGE019
，
Figure 186790DEST_PATH_IMAGE020
，r是全连接层默认值为16的降维超参数，
Figure 555761DEST_PATH_IMAGE021
表示ReLU激活。
最后通过
Figure 717752DEST_PATH_IMAGE022
将学习到的各个通道的激活值乘以
Figure 310408DEST_PATH_IMAGE023
上的原始特征, 恢复原始的维度：
Figure 47289DEST_PATH_IMAGE024
(3)
经过1x 1卷积和sigmoid激活后，选择添加反馈路径来更新SENet输出信息。构造块中的反馈路径定义为：
Figure 335182DEST_PATH_IMAGE025
(4)
式（4）中，X是SENet的输入，Y是SENet的输出。
Figure 815710DEST_PATH_IMAGE026
表示第i层的权重，函数
Figure 262872DEST_PATH_IMAGE027
则表示一个线性投影，它是采用
Figure 921387DEST_PATH_IMAGE028
卷积来改变Y的维度。函数
Figure 211423DEST_PATH_IMAGE029
是一个sigmoid激活函数。
6)首次构建的DSP借鉴了金字塔场景解析网络（PSPNet）并加以改进。如参考图4所示，DSP采用双空间金字塔来获取全局上下文信息，即分别对金字塔层级进行全局最大池化和全局平均池化，然后做特征拼接，即拼接输入特征图和两种池化方式的特征。为了划分金字塔层级，同时为了兼顾模型性能和权衡模型复杂性与准确性，使用一组比例因子，即
Figure 980795DEST_PATH_IMAGE030
。不同区域的上下文信息主要通过两种方式来聚合：(1)采用全局平均池化和全局最大池化；(2)采用金字塔池化。在采用全局平均池化的路径中，金字塔的三个层级将输入特征图划分成若干个不同的子区域，并对每个子区域进行全局平均池化以及融合后得到三种不同尺度下的特征。采用全局最大池化的路径同理。然后采用1×1卷积将上下文表示减少到原始的1 ⁄ N 。进一步地，为了将六个不同层级的特征图进行Concat，先采用双线性插值的方法进行上采样至特征图大小为
Figure 206765DEST_PATH_IMAGE031
再进行后续的融合。
7)在开始训练之前，需要进行自适应图片缩放。自适应图片缩放是将原始的输入图像缩放到一个固定的尺寸，再将其送入训练网络中进行训练。对于需要填充边界的图像，如果填充的像素过多，则会造成大量的无关信息冗余，从而影响网络整体的训练与推理速度。因此，为进一步提升速度，则根据原始输入图像的宽高与训练网络的输入图像的宽高计算缩放比例，然后计算缩放后的图像宽高，计算黑边填充数值。
8)训练模型，优化损失函数，对结果采用非极大值抑制方法进行预测框筛选优化。最后将训练得到最佳训练权重保存在best.pt文件中。将GIoU作为YOLOv5算法的BoundingBox损失函数。GIoU不仅考虑预测框与真实框的重叠区域，还考虑其他的非重合区域，因此能更好的反映预测框与真实框的重合度。
GIoU的公式为：
Figure 98498DEST_PATH_IMAGE032
(5)
在预测框筛选时，需要对非极大值抑制(Non-Maximum Suppression，NMS)进行优化。NMS顾名思义就是抑制非极大值的元素，保留局部的极大值，其近几年广泛应用于很多最先进的检测器中，为每个预测框做类别分类概率以获得最终预测结果，大大减少了误检的数量。NMS算法流程大致描述如下：(1)根据置信度分数对列表中的所有预测框从高到低排序（为方便计算，排序前可以剔除极小概率的预测框，即把它们的概率设置为0）；(2)记录当前置信度分数最大的预测框；(3)计算最大置信度分数对应的预测框与剩余的所有的预测框的IOU,移除所有大于IOU阈值的预测框，(4)对剩余的预测框，循环执行(1)至(3)步骤直到所有的预测框均满足要求为止（即无法再移除预测框）。
训练模型时，输入图像尺寸为640×640，在模型大小为depth_multipl＝0.67，width_multiple＝0.75的YOLOv5m上进行训练。设置模型训练的Batch_Size为16，Momentum为0.937，初始学习率为0.01，权重衰减为0.0005。参数更新方式为随机梯度下降(SGD)方法，每次由BN层进行正则化，更新模型的权值。色相(H)、饱和度(S)和亮度(V)的增强系数分别设为0.015、0.7和0.4。训练总轮次设置为100次。
9)保存训练后的模型和获得的权值文件，分别保存最后的训练权重和最佳训练权重在last.pt与best.pt中。并利用测试集对模型的性能进行评价。网络的最终输出是检测出绝缘子及其缺陷的位置框和对应类别的置信度分数，以及输出各评价指标精确度(Precision)、召回率(Recall)、F1分数、平均精度均值(mAP)的结果。
(一)性能评价指标
本发明的检测类别分别是缺陷绝缘子(defect)和正常绝缘子(insulator)，属于二分类问题。TP(True Positive)表示正样本(Positive)被正确识别为正样本，FN(FalseNegative)表示正样本被错误识别为负样本(Negative)，FP(False Positive)表示负样本被错误识别为正样本，TN(True Negative)表示负样本被正确识别为负样本。精确率、召回率、F1分数、mAP四个指标综合考虑了模型的预测性能。精确率是针对预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本，即TP所占的比例，它体现了分类器能够正确检测目标的能力，也称作查准率，如下式(6)所示; 召回率是针对原始的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正样本预测成正样本(TP)，另一种就是把原来的正样本预测为负样本(FN)。主要指分类器找全目标的能力，也称作查全率，如下式(7)所示；F1分数同时兼顾了分类模型的准确率和召回率，可以看作是模型准确率和召回率的一种加权平均，它的最大值是1，最小值是0，值越大意味着模型性能越好，如下式(8)所示；平均精度AP指P-R曲线下面的面积。一般情况，AP值越高，检测器精度越高。根据训练集的类别分布情况，不同类别的AP值可能会出现较大差异（训练数据较好的类别AP值较高，训练数据不好的类别AP值较低。所以以所有类别的AP平均值，即mAP来衡量可能更能体现AP的稳健性。如下式(9)所示。
Figure 423300DEST_PATH_IMAGE033
(6)
Figure 183314DEST_PATH_IMAGE034
(7)
Figure 542751DEST_PATH_IMAGE035
(8)
Figure 605385DEST_PATH_IMAGE036
(9)
(二)仿真测试
为了验证基于注意力反馈和双空间金字塔的电力线绝缘子缺陷检测方法，本发明对改进算法进行实验。如图5所示，图5中的(a)是本算法在植被、河流、电力塔和建筑等四种复杂背景下的检测效果；图5中的(a)的第一行表示标记的Ground Turth的绝缘子的图像；图5中的(b)表示不同场景下输电线路绝缘子缺陷检测结果。每一列都展示了检测场景，包括因为邻接关系导致小的绝缘子被较大的绝缘子遮挡和绝缘子被电力塔遮挡的场景，曝光的、黑暗的、模糊的场景等五种情况。值得注意的是，这些图像都经过了数据增强处理，如调整对比度和亮度，添加高斯噪声等。算法模型能精确地识别并定位到被遮挡的绝缘子，对极暗、曝光和模糊的图像的检测结果具有鲁棒性。
表1在UPID数据集上与先进的目标检测方法的对比：
Figure 666751DEST_PATH_IMAGE037
表1给出了YOLOv5算法和本发明的算法的评价指标结果，其中加粗的数值表示最优指标结果。从表1中可以看出，若不与该模型进行比较，对于绝缘子的检测，检测结果为94.1%的SSD具有精度的优势，然而召回率不如Faster R-CNN，其达到96.8%的精度。对于缺陷绝缘子的检测，EfficientDet在精度和召回率上均优于其他算法模型，分别为95.8%和99.8%。然而，从精度、召回率、F1-Score以及mAP四个评价指标综合判断，总体上，YOLOv5检测算法模型不仅实现了对绝缘子及其缺陷的高精度的检测，其在模型检测的稳定性方面更胜一筹。这证明，将YOLOv5作为基线模型是正确的选择。根据实验结果，该优化算法模型的绝缘子的精度和召回率分别达到95.5%和95.6%，缺陷检测的精度和召回率分别达到98.9%和99.5%。无论是检测绝缘子或者是绝缘子缺陷，本发明的方法具有最好的检测精度，虽然召回率略微逊色于Faster R-CNN和EfficientDet，但是对绝缘子缺陷仍能保持非常低的漏检水平和非常高的精确度。该模型检测绝缘子及其缺陷的F1-Score分别以95.0%和99.0%的优势均高于其他算法模型，mAP可以达到97.1%，高于较高的EfficientDet，其mAP为95.2%。因此，可以说明本发明的方法是先进的。这得益于该反馈注意层加强了注意复杂背景区域与目标区域的图像本质属性差异，提高了深度神经网络的学习能力；其次，提出的双空间金字塔又进一步提高了深度神经网络对图像中复杂背景的理解和目标的推理能力。这两个改进方法相辅相成地完成了在复杂背景下的多尺度绝缘子及其缺陷的高精度检测，实现了受遮挡的绝缘子的精确识别与定位。在检测速度方面，本发明的方法在batchsize为16时，可以将检测速度提高到约163张/s，即检测一副图像所需时间约为6.1ms。
上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，其特征在于：包括以下步骤：
S1、首次引入注意力反馈，将注意力反馈嵌入到骨干网络的所有的BottleneckCSP结构中，具体嵌入在其N个Bottleneck模块中；
S2、在S1骨干网络中，首次引入双空间金字塔替换SPP结构，融合不同的全局上下文信息，然后FPN网络获得具有低级语义信息和丰富细节信息的高分辨率特征图，最后利用PAN网络进行特征融合，输出三种尺度的特征图；
S3、对改进的YOLOv5网络模型进行训练，获取到训练最优的结果，保存训练最优的权重文件和最后一轮训练的权重文件；
S4、采用划分好的测试集图像对YOLOv5网络模型进行测试，输出绝缘子检测的评价指标数据，以及绝缘子目标与缺陷的位置信息，做检测结果可视化，实现输电线路绝缘子的缺陷检测。
2.根据权利要求1所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，其特征在于：所述注意力反馈的实现包括：首先，在BottleneckCSP中，输入特征图进行一次卷积操作作为Bottleneck的输入；在Bottleneck结构中，首先会进行一次卷积，得到的特征图作为注意力反馈在SENet阶段的输入特征图；接着注意力反馈的输出特征图再进行一次卷积操作，与Bottleneck的输入进行特征融合，这表示完成一次完整的含注意力反馈的Bottleneck结构的特征提取；
SENet的Squeeze操作原理为：
Figure 350818DEST_PATH_IMAGE001
（1）
式（1）中，
Figure 548450DEST_PATH_IMAGE002
表示一次全局平FGAP均池化，C个通道的特征数值分布进行平均池化，将注意力反馈在SENet阶段的输入特征图作为输入，通过平均池化，转换成C×1×1的输出张量，每个通道的空间特征编码为一个全局特征，使得特征图X能通过激励操作提取通道间的关系；
SENet的Excitation操作原理为：
Figure 454089DEST_PATH_IMAGE003
（2）
式（2）中，采用带有sigmoid形式的gating机制，gating机制起到控制神经网络中信息的传递的作用，Ffc 采用sigmoid门控机构，该门控机制的作用是充分利用SENet的优势控制信息的传输，H表示图像的长度，W表示图像的宽度；
其中，
Figure 474522DEST_PATH_IMAGE004
，
Figure 123809DEST_PATH_IMAGE005
，r是全连接层默认值为16的降维超参数，
Figure 707106DEST_PATH_IMAGE006
表示ReLU激活；
最后通过
Figure 783646DEST_PATH_IMAGE007
将学习到的各个通道的激活值乘以
Figure 288446DEST_PATH_IMAGE008
上的原始特征, 恢复原始的维度：
Figure 69320DEST_PATH_IMAGE009
（3）
经过1x 1卷积和sigmoid激活后，选择添加反馈路径来更新SENet输出信息；构造块中的反馈路径定义为：
Figure 992277DEST_PATH_IMAGE010
（4）
式（4）中，X是SENet的输入，Y是SENet的输出，
Figure 488986DEST_PATH_IMAGE011
表示第i层的权重，函数
Figure 497393DEST_PATH_IMAGE012
则表示一个线性投影，它是采用
Figure 943943DEST_PATH_IMAGE013
卷积来改变Y的维度，函数
Figure 721406DEST_PATH_IMAGE014
是一个sigmoid激活函数。
3.根据权利要求1所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，其特征在于：所述注意力反馈包括分支一、分支二和分支三。
4.根据权利要求3所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，其特征在于：所述分支一是SENet阶段的输入特征图，未做任何操作。
5.根据权利要求3所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，其特征在于：所述分支二是SENet阶段的输入特征图经过Squeeze操作和Excitation操作，Squeeze操作采用全局平均池化，获得大小为C×1×1的张量，之后进行Excitation操作，即先采用1×1卷积，再使用sigmoid激活函数进行激活获得带有权重的C×1×1的张量；该张量与SENet阶段的输入特征图进行权重融合后获得SENet阶段的输出特征图，这表示SENet阶段的整个特征提取操作的结束。
6.根据权利要求3所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，其特征在于：所述分支三是注意力反馈基于SENet的创新部分；SENet阶段的输出特征图进行1×1卷积和sigmoid激活得到大小为1×H×W的特征图，与SENet阶段的输入特征图进行权重融合，得到空间信息增强后的特征图，其携带新的空间关系去更新SENet阶段的输入特征图。
7.根据权利要求1所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法，其特征在于：所述双空间金字塔的实现包括：双空间金字塔通过两种方式聚合基于不同区域的上下文信息：其一是采用全局平均池化和全局最大池化；其二是采用金字塔池化；在采用全局平均池化的路径中，金字塔的三个层级将输入特征图划分成若干个不同的子区域，并对每个子区域进行全局平均池化以及融合后得到三种不同尺度下的特征；采用全局最大池化的路径同理；然后采用1×1卷积将上下文表示减少到原始的1 ⁄ N ；为了将六个不同层级的特征图进行Concat，先采用双线性插值的方法进行上采样至特征图大小为
Figure 185754DEST_PATH_IMAGE015
再进行后续的融合。
CN202211149254.0A 2022-09-21 2022-09-21 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法 Pending CN115239710A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211149254.0A CN115239710A (zh) 2022-09-21 2022-09-21 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211149254.0A CN115239710A (zh) 2022-09-21 2022-09-21 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115239710A true CN115239710A (zh) 2022-10-25

Family

ID=83682270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211149254.0A Pending CN115239710A (zh) 2022-09-21 2022-09-21 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115239710A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503398A (zh) * 2023-06-26 2023-07-28 广东电网有限责任公司湛江供电局 绝缘子污闪检测方法、装置、电子设备及存储介质
CN116612124A (zh) * 2023-07-21 2023-08-18 国网四川省电力公司电力科学研究院 一种基于双分支串行混合注意力的输电线路缺陷检测方法
CN116664558A (zh) * 2023-07-28 2023-08-29 广东石油化工学院 一种钢铁表面缺陷检测方法、系统及计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920107A (zh) * 2021-10-29 2022-01-11 西安工程大学 一种基于改进yolov5算法的绝缘子破损检测方法
CN114283117A (zh) * 2021-11-24 2022-04-05 广西大学 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920107A (zh) * 2021-10-29 2022-01-11 西安工程大学 一种基于改进yolov5算法的绝缘子破损检测方法
CN114283117A (zh) * 2021-11-24 2022-04-05 广西大学 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱傥等: "一种轻量化网络的火焰烟雾检测算法", 《应用科技》 *
田庆等: "基于SE-YOLOv5s的绝缘子检测", 《智能科学与技术学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503398A (zh) * 2023-06-26 2023-07-28 广东电网有限责任公司湛江供电局 绝缘子污闪检测方法、装置、电子设备及存储介质
CN116503398B (zh) * 2023-06-26 2023-09-26 广东电网有限责任公司湛江供电局 绝缘子污闪检测方法、装置、电子设备及存储介质
CN116612124A (zh) * 2023-07-21 2023-08-18 国网四川省电力公司电力科学研究院 一种基于双分支串行混合注意力的输电线路缺陷检测方法
CN116612124B (zh) * 2023-07-21 2023-10-20 国网四川省电力公司电力科学研究院 一种基于双分支串行混合注意力的输电线路缺陷检测方法
CN116664558A (zh) * 2023-07-28 2023-08-29 广东石油化工学院 一种钢铁表面缺陷检测方法、系统及计算机设备
CN116664558B (zh) * 2023-07-28 2023-11-21 广东石油化工学院 一种钢铁表面缺陷检测方法、系统及计算机设备

Similar Documents

Publication Publication Date Title
CN112232349B (zh) 模型训练方法、图像分割方法及装置
CN110827251B (zh) 一种基于航拍图像的输电线路锁紧销缺陷检测方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN107316066B (zh) 基于多通路卷积神经网络的图像分类方法及系统
CN115239710A (zh) 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法
CN109671071B (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN115731164A (zh) 基于改进YOLOv7的绝缘子缺陷检测方法
CN112287899A (zh) 基于yolo v5的无人机航拍图像河流排污口检测方法及系统
CN114627360A (zh) 基于级联检测模型的变电站设备缺陷识别方法
CN113392960B (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN112163628A (zh) 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN115294473A (zh) 一种基于目标检测与实例分割的绝缘子故障识别方法及系统
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN115063648A (zh) 一种绝缘子缺陷检测模型构建方法及系统
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN112257793A (zh) 一种基于改进YOLO v3算法的远距离交通标志检测方法
CN110084284A (zh) 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN113807450A (zh) 一种基于超高分辨率图片的无人机电力巡线故障检测方法
CN113052006A (zh) 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
CN115984543A (zh) 一种基于红外与可见光图像的目标检测算法
CN112861646A (zh) 复杂环境小目标识别场景下的卸油工安全帽级联检测方法
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN115346135A (zh) 一种基于卷积神经网络的光学遥感影像舰船目标识别方法
CN117437201A (zh) 一种基于改进YOLOv7的道路裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221025