CN114677357A - 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质 - Google Patents

航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质 Download PDF

Info

Publication number
CN114677357A
CN114677357A CN202210357883.6A CN202210357883A CN114677357A CN 114677357 A CN114677357 A CN 114677357A CN 202210357883 A CN202210357883 A CN 202210357883A CN 114677357 A CN114677357 A CN 114677357A
Authority
CN
China
Prior art keywords
insulator
defect
convolution
characteristic
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210357883.6A
Other languages
English (en)
Inventor
贾晓芬
于业齐
郭永存
黄友锐
赵佰亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN202210357883.6A priority Critical patent/CN114677357A/zh
Publication of CN114677357A publication Critical patent/CN114677357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质，检测模型包括主干网络D‑Darknet53、特征挖掘模块以及四尺度预测层；主干网络D‑Darknet53，用于提取绝缘子缺陷图像的不同尺度、不同层级的图像特征信息；特征挖掘模块，用于对绝缘子缺陷图像的不同尺度、不同层级的图像特征信息进行融合，得到特征信息丰富的绝缘子缺陷特征图像；四尺度预测层，用于对特征融合后的四种尺度绝缘子缺陷特征图像进行预测，得到绝缘子缺陷的最佳预测框。本发明能精准识别、定位架空输电线路中航拍绝缘子串的自爆缺陷，能解决现有的借助深度学习进行绝缘子自爆缺陷时的检测速度慢、检测精度低的问题。

Description

航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质
技术领域
本发明属于图像处理技术领域，涉及一种航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质。
背景技术
随着计算机、自动化等技术的快速发展，智能电网是电网技术发展的必然趋势。输电线路作为电网的重要组成部分，其安全稳定运行对国民经济的平稳发展具有重要作用。绝缘子是输电线路中常见电气设备之一，其长期处于相对恶劣的自然环境，容易出现自爆、锈蚀、污秽等问题。因此，绝缘子定期巡检对电力系统的正常运行具有重要意义。
传统的人工绝缘子巡检方式危险系数高、效率低。随着近些年来深度学习在计算机领域的快速发展，利用深度学习算法搭载无人机的巡检方式已成为主流趋势。目前学者所研究的绝缘子自爆缺陷检测方法主要分为两类，一种是级联网络结构检测方法，另一种是单阶段网络结构检测。
在级联网络结构检测方法的研究中，Tao等人针对绝缘子的定位和缺陷检测提出了一种新的深度卷积神经网络级联结构,将缺陷检测转化为两级目标检测问题,同时针对数据集过少的问题采用多种数据增强算法混合使用的方法,该种方法检测精度高，但检测速度慢，难以满足实际应用的需求，详见“Tao X,Zhang D,Wang Z,et al.Detectionofpower line insulator defects using aerial images analyzed withconvolutional neural networks[J].IEEE Transactions on Systems,Man,andCybernetics:Systems,2018,50(4):1486-1498”；在单阶段网络结构检测方法研究中，Gao等人通过改进YOLOv4的训练策略，采用多阶段迁移学习和余弦退火学习率衰减法提高网络检测性能，并结合小目标图像超分辨率生成网络，提高网络识别小目标的能力，该种方法虽检测速度较快，但面对背景复杂，缺陷处较小的绝缘子图像，检测效果欠佳，详见“Gao Wei,Zhou Chen,Guo Mou FA Research on insulator defect identification based onimproved yolov4 and sr-gan[J]Journal of motor and control,2021,25(11):93-104”。
由以上可知，目前学者们研究的绝缘子缺陷检测方法，在面对背景复杂，缺陷较小的环境下，在检测精度或者检测速度上依旧存在短板，从而难以满足实际无人机巡检的要求，随着嵌入式设备技术的不断发展，目标检测算法部署投入实际应用中的研究越来越受到人们的关注，而算法轻量化是目标检测算法部署的关键，如何有效的降低模型参数量的同时，保证网络能够精准快速的检测背景复杂、目标较小的绝缘子缺陷。是目前亟待解决的问题。
发明内容
为了解决上述问题，本发明提供一种航拍绝缘子自爆缺陷的检测模型，它能精准识别、定位架空输电线路中航拍绝缘子串的自爆缺陷，提高深度学习技术对绝缘子自爆缺陷的检测速度和检测精度。
本发明的第二目的是，提供一种航拍绝缘子自爆缺陷的检测方法。
本发明的第三目的是，提供一种电子设备。
本发明的第四目的是，提供一种计算机存储介质。
本发明所采用的技术方案是，一种航拍绝缘子自爆缺陷的检测模型，包括
主干网络D-Darknet53，用于提取绝缘子缺陷图像的不同尺度、不同层级的图像特征信息；
特征挖掘模块，用于对绝缘子缺陷图像的局部特征与总体特征信息进行融合，得到特征信息丰富的绝缘子缺陷特征图像；
四尺度预测层，用于对不同尺度、不同层级特征信息融合后的四种尺度绝缘子缺陷特征图像进行预测，得到绝缘子缺陷的最佳预测框。
进一步的，所述主干网络D-Darknet53有5个残差模块Resdx(x＝1、2、8、8、4)和下采样卷积组成，每个残差模块之前有一个下采样卷积，输入的绝缘子缺陷图像通过3×3卷积将输入尺寸调整为608×608后，依次经过下采样卷积和残差模块Resdx(x＝1、2、8、8、4)；
所述残差模块Resdx，用于在不同感受野下提取绝缘子缺陷图像中物体的纹理、边缘信息，得到不同尺度的特征图，采用深度可分离卷积，降低网络模型的参数量；
所述残差模块Resdx由x个残差单元Resdunit组成；
所述残差单元采用深度可分离卷积，深度可分离卷积由卷积核大小为3×3的深度卷积和1×1的点卷积构成；
所述深度可分离卷积是将卷积分为深度卷积和点卷积两部分进行操作，深度卷积是将每一通道作为一组，卷积核分别对每个通道进行卷积，然后再对输出特征图进行1×1的点卷积，点卷积即为卷积核大小为1×1的普通卷积，深度可分离卷积与常规卷积参数量的比例为：
Figure BDA0003582608090000031
其中，DK×DK×1×M为深度卷积的参数量，DK×DK×1为深度卷积的卷积核大小，M为卷积核个数，1×1×M×N为点卷积的参数量，1×1×M为点卷积的卷积核大小，DK×DK×M×N为普通卷积的参数量，DK×DK×M为普通卷积的卷积核大小，N为普通卷积的卷积核个数；
深度可分离卷积卷积核大小为3×3，且N的值远远大于DK，所以深度可分离卷积参数量约为常规卷积的1/9；
所述残差单元输入端与点卷积的输出端进行相加操作后，作为残差单元的输出；
所述5个残差模块中的后四个残差模块Resdx(x＝2、8、8、4)的输出分别为L1、L2、L3、L4，前一层的特征图大小均为后一层的2倍；
所述主干网络D-Darknet53的输出端与特征挖掘模块的输入端相连。
进一步的，所述特征挖掘模块依次由三个卷积层、密集空间金字塔池化Dense-SPP及三个卷积层组成；
所述卷积层，用于对主干网络的输出特征图进行卷积操作，提高绝缘子缺陷特征图的特征表达能力；
所述密集空间金字塔池化Dense-SPP，用于对卷积层输出的绝缘子缺陷特征图进行不同尺度的池化操作，加强局部特征与总体特征的融合，得到特征信息丰富绝缘子缺陷特征图；
所述特征挖掘模块的输入为主干网络D-Darknet的输出L4，L4经过3个卷积核大小分别为1×1、3×3、1×1的卷积，不改变特征图的大小，提取特征得到绝缘子缺陷特征图L5；L5作为密集空间金字塔池化Dense-spp的输入，将L5送入4条并行分支，其中一条分支为跳跃连接，其余3条均由级联、最大池化层和1×1卷积层构成，3个池化核大小分别为5×5、9×9、13×13；最后对四条支路的输出进行拼接操作得到Dense-SPP挖掘出的特征L6；L6再经过三个依次相连的卷积核大小分别1×1、3×3、1×1的卷积获得特征L7，即为特征挖掘模块的最终输出。
进一步的，所述四尺度预测层由四支预测特征层组成，后三支特征层经过上采样和拼接后得到四尺度预测特征图；
所述上采样操作，在原有绝缘子缺陷特征图的基础上在各个像素之间采用合适的插值算法插入新元素，将原特征图扩大2倍，从而与上一层的特征图进行拼接操作；
所述四尺度预测层的尺度大小分别为19*19、38*38、76*76、152*152，小尺度预测层的感受野较大，用于检测大目标，大尺度预测层的感受野较小，用于检测小目标；
所述四尺度预测层的输入为特征挖掘模块的输出L7与主干网络的三个残差模块的输出Li(i＝1,2,3)，152*152、76*76、38*38三支路的输入分别由上一层经过1×1卷积和上采样操作后与Li(i＝1,2,3)拼接，再经过5个卷积特征提取得到输出Ai(i＝1,2,3)，Ai(i＝1,2,3,4)经过两个卷积核大小分别为3×3、1×1卷积操作后，最终得到包含四个不同尺度预测特征图Bi(i＝1,2,3,4)的输出L8；
所述A4＝L7；
所述尺度大小为152×152的预测特征层B4，是将特征网络输出A3经过2倍上次采样操作，与主干网络的残差模块Resd2输出L1进行拼接，再经过卷积操作后所得到的；预测特征图B4将浅层特征L1的位置、细节信息与深层特征A3的语义信息融合，减少了在特征提取过程中绝缘子缺陷处的特征信息丢失，从而提高网络检测绝缘子缺陷的精度。
一种航拍绝缘子自爆缺陷的检测方法，其检测过程按照以下步骤进行：
步骤S1、采集绝缘子缺陷图像，构建绝缘子缺陷数据集；
步骤S2、训练MDD-YOLOv3网络，获取绝缘子缺陷检测模型；
步骤S3、无人机航拍采集图像，测试绝缘子缺陷检测模型；
步骤S4、输出绝缘子缺陷检测模型检测结果，识别与定位绝缘子缺陷。
进一步的，所述步骤S1中构建绝缘子缺陷数据集，对采集的绝缘子缺陷图片标注以及数据扩充；
所述绝缘子缺陷图片标注，采用标注工具LabelImg对图片中绝缘子和绝缘子缺陷处进行标注，标注类别为insulator和defect，每张图片生成相应标注位置信息和类别的xml文件；
所述绝缘子缺陷数据集扩充，采集的图片数量较少，网络训练容易过拟合，对原有图片进行翻转、随机裁剪、旋转、平移、噪声扰动以及亮度对比度变换，对扩充的数据集按照比例8:2划分为训练集和测试集。
进一步的，所述步骤S2中训练MDD-YOLOv3网络过程如下:
步骤S2.1、将待检测的绝缘子缺陷图像输入主干网络D-Darknet53中提取特征输出L4；
步骤S2.2、L4作为特征挖掘模块的输入，经过三个卷积特征层后，将提取的特征L5输入Dense-SPP模块，得到Dense-SPP挖掘出的特征L6，L6经过三个依次相连的卷积特征层获得特征L7，即为特征挖掘模块的最终输出；
步骤S2.3、特征挖掘模块的输出L7与主干网络的三个残差模块的输出Li(i＝1,2,3)作为四尺度预测层的输入；大尺度的三支路分别由上一层经过卷积上采样操作与Li(i＝1,2,3)进行拼接操作后，再经过5个卷积特征提取得到输出Ai(i＝1,2,3)；
步骤S2.4、Ai(i＝1,2,3,4)经过两个卷积操作后，得到四个不同尺度预测特征图Bi(i＝1,2,3,4)；
步骤S2.5、将Bi(i＝1,2,3,4)的集合记为L8，对L8使用非极大值抑制算法NMS后剔除冗余框，得到的绝缘子自爆缺陷检测结果。
所述步骤S2.5的具体过程如下：
首先，预测特征层输出四种尺度19×19、38×38、76×76、152×152的预测特征图；
其次，在训练之前，使用k-means聚类算法聚类出4类先验框，从小到大分为四组，分配四个不同尺度的预测特征图，每个预测特征图被分为N×N个单元，每个特征图的每一个单元内预测三个边界框，每个边界框会预测存在目标的置信度C、目标中心坐标和框的宽高4个值以及每个目标类别的概率交并；
置信度计算公式为：
Figure BDA0003582608090000051
其中Pr(Object)表示单元格是否包含物体，若目标中心点在单元格内，则为1，否则为0，
Figure BDA0003582608090000052
表示预测框与真实框的比，以此来表示预测框与真实框的重合程度；
最后，若单元格内包含目标，则还需通过该目标类别的概率与置信度的乘积得到类别置信度，选出类别置信度最高的预测框并使用非极大抑制(Non-MaximumSuppression，NMS)进行筛选，再通过解码将中心点偏值转换为边界框的中点坐标，得到最终的预测框位置与类别，计算公式如下所示：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0003582608090000053
Figure BDA0003582608090000054
其中bx、by、bw、bh分别为预测框的中心点坐标以及宽高；t为偏差值；cx、cy为单元格左上点坐标；Pw、Ph为边界框的宽高；σ为激活函数。
所述S2.5中，非极大值抑制算法NMS的过程如下：
(1)将输出的边界框根据相应类别按照置信度得分进行排序，得到边界框列表；
(2)选择置信度最高的边界框添加到最终输出列表中，将其从边界框列表删除；
(3)计算所有边界框与置信度最大的边界框的
Figure BDA0003582608090000061
(4)将
Figure BDA0003582608090000062
大于阈值的边界框从列表中删除；
(5)重复上述过程，直至边界框列表为空，输出列表的边界框则为最终预测框。
一种电子设备，其特征在于，采用上述的方法实现绝缘子自爆缺陷的检测。
一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现上述的绝缘子自爆缺陷的检测方法。
本发明实施例的有益效果是，在主干网络中采用深度可分离卷积替换常规卷积，建立新的主干网络D-Darknet53，在检测精度略微降低的情况下，有效地减少了网络模型参数量，提高网络的检测速度。提出一种密集空间金字塔池化模块Dense-SPP，实现特征图局部特征和全局特征的融合，丰富特征图的表达能力，有效地提升网络的检测精度。构建四尺度预测层，充分利用预测特征层的浅层特征信息，提升网络对小目标的检测性能。解决了无人机巡检时绝缘子缺陷处检测精度低、速度慢、漏检以及错检等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种航拍绝缘子自爆缺陷的检测模型的结构示意图。
图2是本发明实施例的一种航拍绝缘子自爆缺陷的检测模型的主干网络D-Darknet53的结构示意图。
图3是本发明实施例的一种航拍绝缘子自爆缺陷的检测模型的密集金字塔池化模块Dense-SPP的结构示意图。
图4是本发明实施例的一种航拍绝缘子自爆缺陷的检测模型的四尺度预测层的结构示意图。
图5是本发明实施例的一种航拍绝缘子自爆缺陷的检测方法的流程图。
图6是本发明实施例的一种航拍绝缘子自爆缺陷的检测方法与原YOLOv3算方法的检测效果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，
一种航拍绝缘子自爆缺陷的检测模型，其结构如图1所示，包括依次连接的主干网络D-Darknet53、特征挖掘模块以及四尺度预测层；
其中主干网络D-Darknet53，用于提取绝缘子缺陷图像的不同尺度、不同层级的图像特征信息。
如图2所示，主干网络D-Darknet53有5个残差模块Resdx(x＝1、2、8、8、4)和下采样卷积组成，每个残差模块之前有一个下采样卷积，输入的绝缘子缺陷图像通过3×3卷积将输入尺寸调整为608×608后，依次经过下采样卷积和残差模块Resdx(x＝1、2、8、8、4)；
残差模块Resdx，用于在不同感受野下提取绝缘子缺陷图像中物体的纹理、边缘信息，得到不同尺度的特征图，采用深度可分离卷积，降低网络模型的参数量；残差模块Resdx由x个残差单元Resdunit组成；
残差单元Resdunit采用深度可分离卷积，深度可分离卷积由卷积核大小为3×3的深度卷积和1×1的点卷积构成；残差单元输入端与点卷积的输出端进行相加操作后，作为残差单元的输出；
5个残差模块中的后四个残差模块Resdx(x＝2、8、8、4)的输出分别为L1、L2、L3、L4，前一层的特征图大小均为后一层的2倍；主干网络D-Darknet53的输出端与特征挖掘模块的输入端相连。
特征挖掘模块由三个卷积层、密集空间金字塔池化Dense-SPP及三个卷积层组成，用于对绝缘子缺陷图像的局部特征与总体特征信息进行融合，得到特征信息丰富的绝缘子缺陷特征图像；
如图3所示，
密集空间金字塔池化Dense-SPP，用于对卷积层输出的绝缘子缺陷特征图进行不同尺度的池化操作，加强局部特征与总体特征的融合，得到特征信息丰富绝缘子缺陷特征图；
特征挖掘模块的输入为主干网络D-Darknet的输出L4，L4经过3个卷积核大小分别为1×1、3×3、1×1的卷积，不改变特征图的大小，提取特征得到绝缘子缺陷特征图L5；L5作为密集空间金字塔池化Dense-spp的输入，将L5送入4条并行分支，其中一条分支为跳跃连接，其余3条均由级联、最大池化层和1×1卷积层构成，3个池化核大小分别为5×5、9×9、13×13；最后对四条支路的输出进行拼接操作得到Dense-SPP挖掘出的特征L6；L6再经过三个依次相连的卷积核大小分别1×1、3×3、1×1的卷积获得特征L7，即为特征挖掘模块的最终输出。
四尺度预测层，用于对不同尺度、不同层级特征信息融合后的四种尺度绝缘子缺陷特征图像进行预测，得到绝缘子缺陷的最佳预测框。
如图4所示，
四尺度预测层由四支预测特征层组成，后三支特征层经过上采样和拼接后得到四尺度预测特征图；上采样操作，在原有绝缘子缺陷特征图的基础上在各个像素之间采用合适的插值算法插入新元素，将原特征图扩大2倍，从而与上一层的特征图进行拼接操作；
四尺度预测层的尺度大小分别为19*19、38*38、76*76、152*152，小尺度预测层的感受野较大，用于检测大目标，大尺度预测层的感受野较小，用于检测小目标；
四尺度预测层的输入为特征挖掘模块的输出L7与主干网络的三个残差模块的输出Li(i＝1,2,3)，152*152、76*76、38*38三支路的输入分别由上一层经过1×1卷积和上采样操作后与Li(i＝1,2,3)拼接，再经过5个卷积特征提取得到输出Ai(i＝1,2,3)，Ai(i＝1,2,3,4)经过两个卷积核大小分别为3×3、1×1卷积操作后，最终得到包含四个不同尺度预测特征图Bi(i＝1,2,3,4)的输出L8；A4＝L7；
尺度大小为152×152的预测特征层B4，是将特征网络输出A3经过2倍上次采样操作，与主干网络的残差模块Resd2输出L1进行拼接，再经过卷积操作后所得到的；预测特征图B4将浅层特征L1的位置、细节信息与深层特征A3的语义信息融合，减少了在特征提取过程中绝缘子缺陷处的特征信息丢失，从而提高网络检测绝缘子缺陷的精度。
实施例2，
一种航拍绝缘子自爆缺陷的检测方法，其检测步骤如图5所示，
步骤S1、采集绝缘子缺陷图像，构建绝缘子缺陷数据集；
绝缘子缺陷图片标注，采用标注工具LabelImg对图片中绝缘子和绝缘子缺陷处进行标注，标注类别为insulator和defect，每张图片生成相应标注位置信息和类别的xml文件；
所述绝缘子缺陷数据集扩充，采集的图片数量较少，网络训练容易过拟合，对原有图片进行翻转、随机裁剪、旋转、平移、噪声扰动以及亮度对比度变换，对扩充的数据集按照比例8:2划分为训练集和测试集。
步骤S2、训练MDD-YOLOv3网络，获取绝缘子缺陷检测模型；
首先，将待检测的绝缘子缺陷图像输入主干网络D-Darknet53中提取特征输出L4；
然后，L4作为特征挖掘模块的输入，经过三个卷积特征层后，将提取的特征L5输入Dense-SPP模块，得到Dense-SPP挖掘出的特征L6，L6经过三个依次相连的卷积特征层获得特征L7，即为特征挖掘模块的最终输出；
接着，特征挖掘模块的输出L7与主干网络的三个残差模块的输出Li(i＝1,2,3)作为四尺度预测层的输入；大尺度的三支路分别由上一层经过卷积上采样操作与Li(i＝1,2,3)进行拼接操作后，再经过5个卷积特征提取得到输出Ai(i＝1,2,3)；
再接着，Ai(i＝1,2,3,4)经过两个卷积操作后，得到四个不同尺度预测特征图Bi(i＝1,2,3,4)；
最后，将Bi(i＝1,2,3,4)的集合记为L8，对L8使用非极大值抑制算法NMS后剔除冗余框，得到的绝缘子自爆缺陷检测结果。
步骤S3、无人机航拍采集图像，测试绝缘子缺陷检测模型；
步骤S4、输出绝缘子缺陷检测模型检测结果，识别与定位绝缘子缺陷。
为了评估本实施例中所述改进方法的有效性，本发明在绝缘子缺陷数据集上进行消融实验，如表1所示
表1消融实验结果
Figure BDA0003582608090000091
由表1数据可知，实验1是未加入改进策略的YOLOv3网络，其模型参数量为23.47M，绝缘子缺陷检测的mAP为92.4％，实验4是采用了上述三种改进策略的MDD-YOLOv3，其模型参数量为13.61M，比YOLOv3下降了42％，mAP值较比YOLOv3上升了3.7％。实验1和4证明MDD-YOLOv3不仅降低了模型参数，满足了实际应用中实时性，同时提升模型的检测精度。
实验2、3、4验证了三个改进策略均有效果。实验2中D-Darknet53在原YOLOv3的主干网络中使用深度可分离卷积代替普通卷积，由表可以看出，网络的mAP值相比于原网络降低了0.6％，网络的模型参数下降了44％，以牺牲较小的检测精度为代价，大幅度降低了网络模型参数，验证了此策略具有较好的效果。实验3在实验2的基础上加入了Dense-SPP模块，网络模型的参数量略微增加，mAP值较实验2提升了2.3％，该效果主要源于Dense-SPP模块充分利用了同一特征图的多尺度信息，丰富了特征图的语义信息。实验4在实验3的基础上加入四尺度预测层，在原网络3支预测特征层的基础上，加入一支尺度为152×152的预测特征层，提升网络对小目标的检测精度，可以看出mAP与实验3相比增加了2.0％。通过上述可以验证本文所提出的3种改进策略均具有较好的检测效果
为了验证本实施例所提出的MDD-YOLOv3算法与其他主流目标检测算法的检测性能对比，本实施例选用当前主流的目标检测网络Faster R-CNN算法(Ren S,He K,GirshickR,et al.Faster r-cnn:Towards real-time object detection with region proposalnetworks[J].Advances in neural information processing systems,2015,28:91-99)；SSD算法(Liu W,Anguelov D,Erhan D,et al.Ssd:Single shot multibox detector[C]//European conference on computer vision.Springer,Cham,2016:21-37.)；RetinaNet算法(Lin T Y,Goyal P,Girshick R,et al.Focal loss for dense object detection[C]//Proceedings of the IEEE international conference on computer vision2017:2980-2988)在绝缘子缺陷数据集上进行对比实验，实验结果如表2所示。
表2不同目标检测网络对比实验
Figure BDA0003582608090000101
由表2可知，与经典的目标检测算法Faster R-CNN、SSD、RetinaNet相比，MDD-YOLOv3的检测速度、平均准确率均为最高。以Resnet50+FPN为主干网络的两阶段目标检测网络Faster R-CNN相比于传统的单阶段目标检测网络SSD、RetinaNet、YOLOv3，其检测精度为94.2％，但其检测速度为6fps，难以满足实际应用需求。在单阶段目标检测网络中，以Resnet50+FPN为主干网络的RetinaNet的检测精度最高，检测速度为11fps，相较SSD、YOLOv3两种检测网络速度较慢。可见，MDD-YOLOv3在提升网络的检测精度的同时，提高了网络的检测速度，能满足对绝缘子缺陷的实时检测需求。
如图6所示，为了直观的展示改进网络的检测效果，本实施例对YOLOv3和MDD-YOLOv3网络进行测试，图6给出了YOLOv3和MDD-YOLOv3的检测结果，其中①、②分别为正常和含自爆缺陷的两个横向绝缘子，③为含自爆缺陷的纵向绝缘子。可见，YOLOv3对2个横向绝缘子的检测置信度均小于0.9，对纵向绝缘子的检测置信度仅为0.37。且存在漏检问题，YOLOv3没有检测出②中的自爆缺陷，对③中自爆缺陷的检测置信度仅为0.64。MDD-YOLOv3对三个绝缘子的检测置信度依次为0.91、0.97和0.97，它不仅准确检测出了②和③中的自爆缺陷，且检测置信度分别达到了0.96和0.92。相比YOLOv3，MDD-YOLOv3对检测难度较大的纵向绝缘子及其自爆缺陷的检测置信度分别提高了162.16％和43.75％。综上可以验证本实施例所提及的改进策略不仅能高精度检测出各种角度的绝缘子，还能有效避免对自爆缺陷的漏检问题。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种航拍绝缘子自爆缺陷的检测模型，其特征在于，包括：主干网络D-Darknet53、特征挖掘模块以及四尺度预测层；
所述主干网络D-Darknet53，用于提取绝缘子缺陷图像的不同尺度、不同层级的图像特征信息；
所述特征挖掘模块，用于对绝缘子缺陷图像的局部特征与总体特征信息进行融合，得到特征信息丰富的绝缘子缺陷特征图像；
所述四尺度预测层，用于对不同尺度、不同层级特征信息融合后的四种尺度绝缘子缺陷特征图像进行预测，得到绝缘子缺陷的最佳预测框。
2.根据权利要求1所述的一种航拍绝缘子自爆缺陷的检测模型，其特征在于，所述主干网络D-Darknet53有5个残差模块Resdx(x＝1、2、8、8、4)和下采样卷积组成，每个残差模块之前有一个下采样卷积，输入的绝缘子缺陷图像通过3×3卷积将输入尺寸调整为608×608后，依次经过下采样卷积和残差模块Resdx(x＝1、2、8、8、4)；
所述残差模块Resdx，用于在不同感受野下提取绝缘子缺陷图像中物体的纹理、边缘信息，得到不同尺度的特征图，采用深度可分离卷积，降低网络模型的参数量；
所述残差模块Resdx由x个残差单元Resdunit组成；
所述残差单元采用深度可分离卷积，深度可分离卷积由卷积核大小为3×3的深度卷积和1×1的点卷积构成；
所述残差单元输入端与点卷积的输出端进行相加操作后，作为残差单元的输出；
所述5个残差模块中的后四个残差模块Resdx(x＝2、8、8、4)的输出分别为L1、L2、L3、L4，前一层的特征图大小均为后一层的2倍；
所述主干网络D-Darknet53的输出端与特征挖掘模块的输入端相连。
3.根据权利要求1所述的一种航拍绝缘子自爆缺陷的检测模型，其特征在于，所述特征挖掘模块依次由三个卷积层、密集空间金字塔池化Dense-SPP及三个卷积层组成；
所述卷积层，用于对主干网络的输出特征图进行卷积操作，提高绝缘子缺陷特征图的特征表达能力；
所述密集空间金字塔池化Dense-SPP，用于对卷积层输出的绝缘子缺陷特征图进行不同尺度的池化操作，加强局部特征与总体特征的融合，得到特征信息丰富绝缘子缺陷特征图；
所述特征挖掘模块的输入为主干网络D-Darknet的输出L4，L4经过3个卷积核大小分别为1×1、3×3、1×1的卷积，不改变特征图的大小，提取特征得到绝缘子缺陷特征图L5；L5作为密集空间金字塔池化Dense-spp的输入，将L5送入4条并行分支，其中一条分支为跳跃连接，其余3条均由级联、最大池化层和1×1卷积层构成，3个池化核大小分别为5×5、9×9、13×13；最后对四条支路的输出进行拼接操作得到Dense-SPP挖掘出的特征L6；L6再经过三个依次相连的卷积核大小分别1×1、3×3、1×1的卷积获得特征L7，即为特征挖掘模块的最终输出。
4.根据权利要求1所述的一种航拍绝缘子自爆缺陷的检测模型，其特征在于，所述四尺度预测层由四支预测特征层组成，后三支特征层经过上采样和拼接后得到四尺度预测特征图；
所述上采样操作，在原有绝缘子缺陷特征图的基础上在各个像素之间采用合适的插值算法插入新元素，将原特征图扩大2倍，从而与上一层的特征图进行拼接操作；
所述四尺度预测层的尺度大小分别为19*19、38*38、76*76、152*152，小尺度预测层的感受野较大，用于检测大目标，大尺度预测层的感受野较小，用于检测小目标；
所述四尺度预测层的输入为特征挖掘模块的输出L7与主干网络的三个残差模块的输出Li(i＝1,2,3)，152*152、76*76、38*38三支路的输入分别由上一层经过1×1卷积和上采样操作后与Li(i＝1,2,3)拼接，再经过5个卷积特征提取得到输出Ai(i＝1,2,3)，Ai(i＝1,2,3,4)经过两个卷积核大小分别为3×3、1×1卷积操作后，最终得到包含四个不同尺度预测特征图Bi(i＝1,2,3,4)的输出L8；
所述A4＝L7；
所述尺度大小为152×152的预测特征层B4，是将特征网络输出A3经过2倍上次采样操作，与主干网络的残差模块Resd2输出L1进行拼接，再经过卷积操作后所得到的；预测特征图B4将浅层特征L1的位置、细节信息与深层特征A3的语义信息融合，减少了在特征提取过程中绝缘子缺陷处的特征信息丢失，从而提高网络检测绝缘子缺陷的精度。
5.一种航拍绝缘子自爆缺陷的检测方法，其特征在于，其检测过程按以下步骤进行：
步骤S1、采集绝缘子缺陷图像，构建绝缘子缺陷数据集；
步骤S2、训练MDD-YOLOv3网络，获取绝缘子缺陷检测模型；
步骤S3、无人机航拍采集图像，测试绝缘子缺陷检测模型；
步骤S4、输出绝缘子缺陷检测模型检测结果，识别与定位绝缘子缺陷。
6.根据权利要求5所述一种航拍绝缘子自爆缺陷的检测方法，其特征在于，所述步骤S1中构建绝缘子缺陷数据集，对采集的绝缘子缺陷图片标注以及数据扩充；
所述绝缘子缺陷图片标注，采用标注工具LabelImg对图片中绝缘子和绝缘子缺陷处进行标注，标注类别为insulator和defect，每张图片生成相应标注位置信息和类别的xml文件；
所述绝缘子缺陷数据集扩充，采集的图片数量较少，网络训练容易过拟合，对原有图片进行翻转、随机裁剪、旋转、平移、噪声扰动以及亮度对比度变换，对扩充的数据集按照比例8:2划分为训练集和测试集。
7.根据权利要求5所述一种航拍绝缘子自爆缺陷的检测方法，其特征在于，所述步骤S2中训练MDD-YOLOv3网络过程如下:
步骤S2.1、将待检测的绝缘子缺陷图像输入主干网络D-Darknet53中提取特征输出L4；
步骤S2.2、L4作为特征挖掘模块的输入，经过三个卷积特征层后，将提取的特征L5输入Dense-SPP模块，得到Dense-SPP挖掘出的特征L6，L6经过三个依次相连的卷积特征层获得特征L7，即为特征挖掘模块的最终输出；
步骤S2.3、特征挖掘模块的输出L7与主干网络的三个残差模块的输出Li(i＝1,2,3)作为四尺度预测层的输入；大尺度的三支路分别由上一层经过卷积上采样操作与Li(i＝1,2,3)进行拼接操作后，再经过5个卷积特征提取得到输出Ai(i＝1,2,3)；
步骤S2.4、Ai(i＝1,2,3,4)经过两个卷积操作后，得到四个不同尺度预测特征图Bi(i＝1,2,3,4)；
步骤S2.5、将Bi(i＝1,2,3,4)的集合记为L8，对L8使用非极大值抑制算法NMS后剔除冗余框，得到的绝缘子自爆缺陷检测结果。
8.一种电子设备，其特征在于，采用如权利要求5-7任一项所述的方法实现绝缘子自爆缺陷的检测。
9.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求5-7任一项所述的绝缘子自爆缺陷的检测方法。
CN202210357883.6A 2022-04-06 2022-04-06 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质 Pending CN114677357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210357883.6A CN114677357A (zh) 2022-04-06 2022-04-06 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210357883.6A CN114677357A (zh) 2022-04-06 2022-04-06 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114677357A true CN114677357A (zh) 2022-06-28

Family

ID=82077698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210357883.6A Pending CN114677357A (zh) 2022-04-06 2022-04-06 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114677357A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375677A (zh) * 2022-10-24 2022-11-22 山东省计算中心（国家超级计算济南中心） 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统
CN116342531A (zh) * 2023-03-27 2023-06-27 中国十七冶集团有限公司 一种轻量级大型建筑高空钢结构焊缝缺陷识别模型、焊缝质量检测装置及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375677A (zh) * 2022-10-24 2022-11-22 山东省计算中心（国家超级计算济南中心） 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统
CN116342531A (zh) * 2023-03-27 2023-06-27 中国十七冶集团有限公司 一种轻量级大型建筑高空钢结构焊缝缺陷识别模型、焊缝质量检测装置及方法
CN116342531B (zh) * 2023-03-27 2024-01-19 中国十七冶集团有限公司 一种轻量级大型建筑高空钢结构焊缝质量检测装置及方法

Similar Documents

Publication Publication Date Title
CN111768388B (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN114022432B (zh) 基于改进的yolov5的绝缘子缺陷检测方法
CN114677357A (zh) 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN114462555B (zh) 基于树莓派的多尺度特征融合配电网设备识别方法
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN111241924A (zh) 基于尺度估计的人脸检测及对齐方法、装置、存储介质
CN111079739A (zh) 一种多尺度注意力特征检测方法
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN112750125B (zh) 一种基于端到端关键点检测的玻璃绝缘子片定位方法
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN115223009A (zh) 基于改进型YOLOv5的小目标检测方法及装置
CN115410087A (zh) 一种基于改进YOLOv4的输电线路异物检测方法
CN115546664A (zh) 一种基于级联网络的绝缘子自爆检测方法及系统
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统
CN114445615A (zh) 基于尺度不变特征金字塔结构的旋转绝缘子目标检测方法
CN113538474A (zh) 基于边缘特征融合的3d点云分割目标检测系统
CN117252815A (zh) 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
CN112418229A (zh) 一种基于深度学习的无人船海上场景图像实时分割方法
CN115861861A (zh) 一种基于无人机配电线路巡检的轻量级验收方法
Li et al. CDMY: A lightweight object detection model based on coordinate attention
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination