CN117612044A - 一种复杂场景下无人机巡检输电线路绝缘子的方法 - Google Patents

一种复杂场景下无人机巡检输电线路绝缘子的方法 Download PDF

Info

Publication number
CN117612044A
CN117612044A CN202311639096.1A CN202311639096A CN117612044A CN 117612044 A CN117612044 A CN 117612044A CN 202311639096 A CN202311639096 A CN 202311639096A CN 117612044 A CN117612044 A CN 117612044A
Authority
CN
China
Prior art keywords
convolution
feature map
insulator
transmission line
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311639096.1A
Other languages
English (en)
Inventor
朱江
龙泓宇
李建奇
余洪山
贺振东
裴瑞宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202311639096.1A priority Critical patent/CN117612044A/zh
Publication of CN117612044A publication Critical patent/CN117612044A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明公开了一种复杂场景下无人机巡检输电线路绝缘子方法，主要解决现有技术检测精度较低和消耗计算资源多的问题。本发明方法包括采集被检测的绝缘子图像，将绝缘子图像输入到预先训练好的绝缘子图像检测模型得到被检测的绝缘子的检测结果，绝缘子图像检测模型包括：主干特征提取网络、残差特征金字塔和空间卷积检测头。本发明在低计算资源需求下，提高了航拍输电线路图像中检测绝缘子精度，可应用于输电线路无人机日常巡检输电线路绝缘子运行状态。

Description

一种复杂场景下无人机巡检输电线路绝缘子的方法
技术领域
本发明涉及输电线路绝缘子的航拍绝缘子图像检测方法，具体涉及一种复杂场景下无人机巡检输电线路绝缘子方法。
背景技术
绝缘子作为架空电力线路的关键部件，负责提供电气隔离和机械支撑。然而，绝缘子长期暴露在室外，运行在高温、日晒雨淋、冰冻等恶劣环境下，容易造成它们破损。这些损坏会影响绝缘子的性能，引起电网出现故障，甚至停电和设备损坏。因此，日常巡检和维护绝缘子对于现代电网的安全、有效运行至关重要。由于绝缘子架设在高处，受限于视野的情况下，使用人工目测的方法需要耗费大量的劳动力和时间，效率低；受主观性强；对存在遮蔽、重叠等情况的绝缘子难以做出准确的判断。所以无人机拍摄绝缘子图像是一种检测输电线路绝缘子缺陷的有效手段。近年来，许多研究对输电线路绝缘子的自动巡检的是视觉任务展开研究。为了实现无人机自动巡检输电线路绝缘子任务，首先需要快速准确的识别和定位绝缘子设备。
近年来，随着深度学习的发展，卷积神经网络能够自适应地学习图像中的特征，基于卷积神经网络的方法成为主流，包括单次多盒探测器SSD、YOLO系列、R-CNN、Fast R-CNN和Faster R-CNN等网络模型；尽管这些通用的目标检测方法对自然场景下的通用目标实现了高检测精度，因为无人机航拍图像的多尺度变化、复杂背景和小目标特性，绝缘子及其故障的检测仍不能得到满意的结果；无人机航拍绝缘子图像检测任务仍然面临如下挑战：
(1)航拍图像中复杂的背景。输电线路覆盖多种环境如：森林、湖泊、城区和雪地等，无人机航拍输电线路绝缘子图像中存在不同的背景，增加绝缘子识别和检测难度。
(2)目标的多尺度变化。受输电线路高低电压影响，无人机的安全飞行高度变化，无人机图像中同一类目标呈现的尺度随之急剧变化。而且，同一幅图像中可能同时存在大目标和小目标。模型需要能检测出变化尺度的目标。
(3)变化的无人机拍摄视角。无人机巡检过程中航拍角度动态变化，同一个目标在获取的不同图像中呈现多视角变化。
(4)有限的机载资源。受承重、功耗和成本的限制，无人机机载的计算平台资源十分有限。将检测模型部署在这种资源不足的计算平台上，需要在确保检测精度的前提下减少模型的参数、计算复杂度和推理时间。
现有的方法在上述挑战下，无法在低计算资源消耗和快速、准确地从航拍的输电线路绝缘子图像中检测出绝缘子之间兼顾。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于复杂场景下无人机巡检输电线路绝缘子方法，本发明能够解决现有方法难以在维持低计算资源消耗情况下，无人机巡检输电线路绝缘子图像检测精度不高的问题。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于复杂场景下无人机巡检输电线路绝缘子方法，包括采集被检测的输电线路绝缘子图像，将输电线路绝缘子图像输入预先训练好的输电线路绝缘子检测模型得到被检测的绝缘子的检测结果，所述输电线路绝缘子图像检测模型包括：
主干特征提取网络，遵循YOLOv5的CSP-Darknet53结构，用于对输电线路绝缘子图像提取不同层次特征{C1，C2，C3，C4，C5}，其中特征图C5为特征图C4通过SPPF模块得到；
残差特征金字塔RFPN，由1×1卷积模块、重参数化特征融合模块RCSP和拼接模块构成；融合多层次特征信息，丰富特征空间，提升模型的表征能力；
坐标卷积检测头CoordH，依次级联的3×3坐标卷积和1×1卷积模块，根据残差特征金子塔结构的输出特征R4、R5和R6进行检测，获得输电线路绝缘子的检测结果；
DWD损失函数，监督网络的学习。
可选地，所述的重参数化特征融合模块RCSP在训练阶段和推理阶段有不同的结构，分别记为训练阶段结构RCSPtrain和推理阶段结构RCSPinference；所述的训练阶段结构RCSPtrain为多分支结构，将输入特征通道数为C的特征图Fc分为两条支路处理，支路一为依次级联的1×1的卷积和多分支并行处理模块，支路一的输出分别为F1、F2、F3和F4；支路二将通道数为C/2的特征图通过1×1的卷积得到特征图F′C/2；对两条支路的输出F1、F2、F3、F4和F′C/2执行拼接操作，得到输出FC；所述的多分支并行处理模块包括4条分支，多分支并行处理模块的第一分支为1×1卷积，得到通道数为C/8的特征图F1，多分支并行处理模块的第二分支为3×3卷积，得到通道数为C/8的特征图F2，多分支并行处理模块的第三分支为BN层，得到通道数为C/8的特征图F3，多分支并行处理模块的第四分支为1×1卷积和3×3卷积的卷积串行序列，得到通道数为C/8的特征图F4；
所述的推理阶段结构RCSPinference为单支路结构，对训练阶段结构RCSPtrain进行重参化得到；所述的重参化步骤包括：多支路并行处理模块的BN层重参数化为3×3卷积，把1×1卷积重参数化为3×3卷积，把1×1卷积和3×3卷积构建的串行序列卷积模块重参数化为3×3卷积模块，然后把通道数为C/8的四条支路上的3×3卷积模块重参数化为通道数为C/2的3×3卷积模块，再和支路一中的1×1卷积模块重参数化为3×3卷积模块；第二，把支路二中的1×1卷积模块重参数化为3×3卷积模块；最后，将支路一和支路二中的3×3卷积模块重参数化为3×3卷积模块的单支路结构，得到通道数为C的输出特征图FC。
可选地，所述的坐标卷积检测头CoordH包含3×3坐标卷积模块和1×1卷积模块，通道数为C的输入特征Ri(i＝4，5，6)通过3×3坐标卷积模块,在特征图中引入空间信息，特征图增加两个通道数，一个表示x坐标，一个表示y坐标，得到通道数为C+2的特征图FC+2，特征图FC+2再通过一个1×1卷积模块，得到目标对象的类别分数、置信度分数、边界框位置，即为输电线路绝缘子图像缺陷检测结果。
可选地，所述的DWD损失函数结合DIoU损失函数和NWD损失函数对网络监督学习，提高模型对大目标和小目标的检测精度。
可选地，所述将输电线路绝缘子图像输入预先训练好的输电线路绝缘子图像检测模型之前还包括训练输电线路绝缘子图像检测模型的步骤：
S1)采集输电线路绝缘子图像样本并附加标签，构建输电线路绝缘子图像数据集；
S2)构建输电线路图像检测模型；
S3)采用预设的训练参数对输电线路绝缘子图像检测模型进行训练，最终得到预先训练好的输电线路绝缘子图像检测模型。
可选地，所述预设的训练参数为模型的初始学习率为0.01，动量为0.937的标准SGD优化器训练模型，权重衰减始终设置为5×10-4，共训练200个批次。
此外，本发明还提供一种基于复杂场景下无人机巡检输电线路方法，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述基于深度学习的输电线路绝缘子图像检测方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被计算机设备执行以实施所述基于复杂场景下无人机巡检输电线路绝缘子方法的步骤。
和现有技术相比，本发明主要具有下述优点：本发明在低计算资源消耗的情况下，提高了无人机航拍输电线路绝缘子图像中绝缘子检测的精度，可应用于无人机自主巡检输电线路运行状态日常巡检。
附图说明
图1是本发明的实现流程图；
图2为本发明实施例中输电线路绝缘子图像检测模型的网络结构示意图；
图3为本发明实施例中RFPN-RCSP的结构示意图；
图4为本发明实施例中坐标检测头CoordH的结构示意图；
具体实施方式
本实例提供一种复杂场景下无人机巡检输电线路绝缘子方法，流程如图1所示，包括采集被检测的输电线路绝缘子图像，构建输电线路绝缘子图像检测模型，预先训练输电线路绝缘子图像检测模型，将输电线路绝缘子图像输入预先训练好的输电线路绝缘子图像检测模型得到被检测的绝缘子的检测结果，具体步骤为：S1)采集输电线路绝缘子图像样本并附加标签，构建输电线路绝缘子图像数据集；本实施例中，构建输电线路绝缘子图像数据集，数据集中包括四类绝缘子：玻璃绝缘子(GI)、陶瓷绝缘子(CI)、破损绝缘子(BI)、闪烁绝缘子(FI)。同时通过7：3的比例将数据集划分为训练验证集和测试集，再按照8：2的比例将训练验证集划分为训练集和验证集。
S2)构建输电线路绝缘子图像检测模型；
S3)采用预设的训练参数对输电线路绝缘子图像检测模型进行训练，最终得到预先训练好的输电线路绝缘子图像检测模型。
此外，本实施例中步骤S3)中所预设的训练参数为模型的初始学习率为0.01，动量为0.937的标准SGD优化器训练模型，权重衰减始终设置为5×10-4，共训练200个批次。
该输电线路绝缘子图像检测模型网络结构如图2所示，包括：
主干特征提取网络，用于对输入的输电线路绝缘子图像提取不同层次的特征；
残差特征金字塔RFPN网络，用于对主干特征提取网络的特征图进行多尺度多层级特征聚合，得到的特征图送入检测头网络；
坐标卷积检测头网络，用于对多尺度特征聚合后的特征图进行检测，获得输电线路的检测结果。
主干特征提取网络，遵循YOLOv5的CSP-Darknet53结构，用于对输电线路绝缘子图像提取不同层次特征{C1，C2，C3，C4，C5}，其中特征图C5为特征图C4通过SPPF模块得到。
如图3所示，残差特征金字塔RFPN网络，由1×1卷积模块、重参数化特征融合模块RCSP和拼接模块构成；所述的残差特征金字塔的输入为特征图C2、C3和C5；特征图C5通过1×1卷积得到特征图C5'，特征图C5'作为第一个重参数化特征融合模块RCSP_1的输入，得到特征图R1；特征图C3通过1×1卷积得到特征图C3'，特征图C5上采样得到的特征图C5up，特征图C3'、C5up和R1进行拼接作为第二个重参数化特征融合模块RCSP_2的输入，得到特征图R2；特征图C2通过1×1卷积得到特征图C2'，特征图C3上采样得到的特征图C3up，特征图C2、C3up和R2进行拼接，作为第三个重参数化特征融合模块RCSP_3的输入，得到特征图R3；特征图R3通过1×1卷积模块得到特征图R3'，特征图R3'作为第四个重参数化特征融合模块RCSP_4的输入，得到特征R4；特征图R2通过1×1卷积得到特征图R2'，特征图R3下采样得到特征图R3down，特征图R2'、R3down和R4进行拼接作为第五个重参数化特征融合模块RCSP_5的输入，得到特征R5；R1通过1×1卷积得到特征图R1',特征图R2下采样得到特征图R2down，特征图R1'、R2down和R5进行拼接作为第六个重参数化特征融合模块RCSP_6的输入，得到特征R6；所述的重参数化特征融合模块RCSP的结构在训练阶段和推理阶段有不同的结构，分别记为训练阶段结构RCSPtrain和训练阶段结构RCSPinference；
训练阶段结构RCSPtrain为多支路并行结构，所述的多支路并行结构步骤包括：将输入特征通道数为C的特征图Fc分为两条支路处理，支路一为依次级联的1×1的卷积和多分支并行处理模块，支路一的输出分别为F1、F2、F3和F4；支路二将通道数为C/2的特征图通过1×1的卷积得到特征图F′C/2；对两条支路的输出F1、F2、F3、F4和F′C/2执行拼接操作，得到输出FC；所述的多分支并行处理模块包括4条分支，多分支并行处理模块的第一分支为1×1卷积，得到通道数为C/8的特征图F1，多分支并行处理模块的第二分支为3×3卷积，得到通道数为C/8的特征图F2，多分支并行处理模块的第三分支为BN层，得到通道数为C/8的特征图F3，多分支并行处理模块的第四分支为1×1卷积和3×3卷积的卷积串行序列，得到通道数为C/8的特征图F4；
推理阶段结构RCSPinference为单支路结构，对训练阶段结构RCSPtrain进行重参化得到；所述的重参化步骤包括：多支路并行模块的BN层重参数化为3×3卷积，把1×1卷积重参数化为3×3卷积，把1×1卷积和3×3卷积构建的串行序列卷积模块重参数化为3×3卷积模块，然后把通道数为C/8的四条支路上的3×3卷积模块重参数化为通道数为C/2的3×3卷积模块，再和支路一中的1×1卷积模块重参数化为3×3卷积模块；其次，把支路二中的1×1卷积模块重参数化为3×3卷积模块，最后，将支路一和支路二中的3×3卷积模块重参数化为3×3卷积模块的单支路结构，得到通道数为C的输出特征图FC；其中，结构重参数化包括：卷积层和BN层融合、1×1卷积模块转换为3×3卷积模块、BN层转换为3×3卷积模块、1×1卷积模块和3×3卷积模块融合、多分支融合；卷积层和BN层融合的过程为：卷积层和BN层都为线性运算，通过线性运算将卷积层和BN层融合为一个算子；BN层转换为3×3卷积模块的过程为：首先，构建一个3×3卷积层，对构建的3×3卷积层做恒等映射操作，得到不改变输入输出特征图的3×3卷积层，最后，与BN层融合，得到重参数化后的3×3卷积层；1×1卷积模块转换为3×3卷积模块的过程为：将1×1卷积模块的padding设置为1，得到重参数化后的3×3卷积模块；1×1卷积模块和3×3卷积模块融合的过程为：首先为了保持输入输出特征图一致，对1×1卷积模块的padding设置为0，对3×3卷积模块的padding设置为1，1×1卷积模块和3×3卷积模块在左滑进行卷积操作时路径一致，最后将1×1卷积核加在3×3卷积核中间，完成1×1卷积和3×3卷积的融合，得到重参数化后的3×3卷积模块；多分支融合的过程为：对每条支路中重参数化后的3×3卷积模块进行参数相加，得到多支路融合为单支路的3×3卷积模块；
如图4所示，坐标卷积检测头CoordH包含3×3坐标卷积模块和1×1卷积模块，通道数为C的输入特征Ri(i＝4，5，6)通过3×3坐标卷积模块,在特征图中引入空间信息，特征图增加两个通道数，一个表示x坐标，一个表示y坐标，得到通道数为C+2的特征图FC+2，特征图FC+2再通过一个1×1卷积模块，得到目标对象的类别分数、置信度分数、边界框位置，即为输电线路绝缘子图像缺陷检测结果；而以整个网络模型初始输入460×460为例，共分为三条检测支路，当Ri(i＝4)时，特征输入CoordH的第一检测头，对80×80大小的特征图进行检测获得绝缘子的检测结果；当Ri(i＝5)时，特征输入CoordH的第二检测头，对40×40大小的特征图进行检测获得变电设备的检测结果；当Ri(i＝6)时，特征输入CoordH的第三检测头，对20×20大小的特征图进行检测获得变电设备的检测结果。
所述的DWD损失函数结合DIoU损失函数和NWD损失函数对网络监督学习，至少还包括以下步骤：
S310.计算DIoU损失函数的置信度，分别以预测框BBpred和真实框BBgt的中心点，得到预测框BBpred和真实框BBgt的欧式距离dD和包含预测框BBpred和真实框BBgt的最小闭包区域对角线距离c；DIoU的交并比表达式为：
其中，IoU表示预测框BBpred和真实框BBgt的交并比；所求的DIoU损失函数置信度为：
LDIoU＝1-DIoU， (2)
S320.计算预测框BBpred和真实框BBgt的二维高斯分布，预测框BBpred＝(cx,cy,w,h)，(cx,cy)、w和h分别表示中心坐标、宽度和高度，构建预测框BBpred内接椭圆方程，其表达式为：
其中，(ux，uy)为椭圆的中心坐标，σx，σy为沿x，y轴的半轴长度；因此μx＝cx，μx＝cx， 预测框BBpred的二维高斯分布的概率密度函数为：
其中，x，μ和∑表示高斯分布的坐标(x,y)、均值和高斯分布的协方差。当：
(x-μ)T∑-1(x-μ)＝1， (5)
时，预测框BBpred内接椭圆方程为一个二维高斯分布的密度轮廓，其二维高斯分布可表示为：
同理，可以得到真实框BBgt的二维高斯分布：
S330.计算NWD损失函数的置信度，预测框BBpred和真实框BBgt的交并比为预测框BBpred和真实框BBgt二维高斯分布的距离，用Wasserstein距离计算预测框BBpred和真实框BBgt的二维高斯分布距离，计算公式为：
简化为：
其中，||·||F为F范数；
引入预测框BBpred＝(cx1,cy1,w1,h1)和真实框BBgt＝(cx2,cy2,w2,h2)，得到：
将所得到的进行指数归一化，得到NWD损失函数的置信度，表达式为：
其中，q是一个常数；
S340.计算DWD损失函数的置信度，根据输电线路绝缘子图像数据集中小目标与中大目标的分布比例，设置比例系数p，将S310中得到的LDIoU和S330中得到的LNWD按照比例系数相加，得到DWD损失函数的置信度，表达式为：
LDWD＝(1-p)*LNWD+p*LDIoU。 (12)
为了对本实例方法所带来的高精度检测效果进行验证，分别与两阶段模型(EfficientDet-D1和Faster-rcnn)、一阶段检测模型(SSD、YOLOv8、YOLOv7、YOLOX-s、YOLOv5-s和CenterNet)、Anchorfree检测模型(即FCOS)和Transformer检测模型(DETR和Swin)进行检测精度对比，评价指标使用检测精度mAP@0.5、参数量Parameters和检测速度FPS，得到的实验结果如表1所示。
表1本发明在本数据集上与其它算法对比实验结果
表1中，mAP@0.5(％)表示IoU阈值为0.5时四类变电设备的平均准确度。根据表1可知，本实例方法的mAP@0.5为93.2％，在所有方法中表现最优，比表现次优的YOLOv7-s高出3.7％。本方法仅在增加少量参数量和计算量的同时带来高精度的检测效果，对于单张图片的检测速度可达到131.58帧每秒，满足实时检测的要求。
为了更好地验证本实例方法中的残差特征金字塔RFPN-RCSP结构、坐标卷积检测头CoordH和DWD损失函数三部分的作用进行验证，将上述各结构添加至YOLOv5进行实验，实验结果如表2所示。可以看到，本方法各部分对于输电线路绝缘子检测精度的提升皆有促进作用。
表2本发明提出的各部分结构消融实验结果
为了对本实例方法中邻近特征金字塔结构RFPN的作用进一步进行验证，将RFPN与主流的特征金字塔结构FPN、PAN和GFPN进行对比，实验结果如表3所示。可以看到，RFPN具有最高的检测精度，同时相较于GFPN，参数量和FLOPs分别减少了33.9％和14.2％。
表3本发明提出的RFPNS与其它特征金字塔结构对比实验结果
为了对本实例方法的泛化能力进行验证，在公开的绝缘子数据集(SFID)上进行测试，SFID数据集包括insulator和brocken_piece俩类缺陷，共有6860张图像，其中有3841张训练集、960张验证集和2058张测试集；实验结果如表4所示，本发明提出的检测网络模型在其他绝缘子数据集中同样具有很好的性能，验证了本实例方法的泛化性。
表4：与其他算法在公开绝缘子数据集SFUD上的泛化实验
Methods Year Backbone mAP@0.5(％) mAP@0.5:.95(％)
FasterRCNN 2016 Resnet50 98.4 80.1
SSD 2016 VGG16 97.5 65.2
MaskRCNN 2017 Resnet50 98.4 86.1
Retinanet 2017 Resnet-101 87.5 71.8
Centernet 2019 Resnet50 98.4 86
Efficientdet 2020 EfficientNet-D0 88.6 62.1
Swin-Transformer 2021 Swin-T 99 86.3
YOLOX 2021 Darknet 99.3 86
YOLOv5 2021 Darknet 99.2 86.2
FINet[31] 2022 Darknet 99.4 86.4
YOLOv7 2022 Darknet 99.2 85.3
YOLOv8 2022 Darknet 99.1 85.6
Ours 2023 Darknet 99.5 90
此外，本实例还提供一种基于复杂场景下无人机巡检输电线路绝缘子方法，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述基于深度学习的输电线路绝缘子图像检测方法的步骤。
此外，本实例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被计算机设备执行以实施所述基于复杂场景下无人机巡检输电线路绝缘子方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种复杂场景下无人机巡检输电线路绝缘子方法，其特征在于，包括无人机采集输电线路绝缘子图像，将输电线路绝缘子图像输入预先训练好的输电线路绝缘子图像检测模型，得到绝缘子的检测结果，所述构建输电线路绝缘子图像检测模型的步骤包括：
主干特征提取网络，遵循YOLOv5的CSP-Darknet53结构，用于对输电线路绝缘子图像提取不同层次特征{C1，C2，C3，C4，C5}，其中特征图C5为特征图C4通过SPPF模块得到；
残差特征金字塔RFPN，由1×1卷积模块、重参数化特征融合模块RCSP和拼接模块构成；所述的残差特征金字塔的输入为特征图C2、C3和C5；特征图C5通过1×1卷积得到特征图C5'，特征图C5'作为第一个重参数化特征融合模块RCSP_1的输入，得到特征图R1；特征图C3通过1×1卷积得到特征图C3'，特征图C5上采样得到的特征图C5up，特征图C3'、C5up和R1进行拼接作为第二个重参数化特征融合模块RCSP_2的输入，得到特征图R2；特征图C2通过1×1卷积得到特征图C2'，特征图C3上采样得到的特征图C3up，特征图C2、C3up和R2进行拼接，作为第三个重参数化特征融合模块RCSP_3的输入，得到特征图R3；特征图R3通过1×1卷积模块得到特征图R3'，特征图R3'作为第四个重参数化特征融合模块RCSP_4的输入，得到特征R4；特征图R2通过1×1卷积得到特征图R2'，特征图R3下采样得到特征图R3down，特征图R2'、R3down和R4进行拼接作为第五个重参数化特征融合模块RCSP_5的输入，得到特征R5；R1通过1×1卷积得到特征图R1',特征图R2下采样得到特征图R2down，特征图R1'、R2down和R5进行拼接作为第六个重参数化特征融合模块RCSP_6的输入，得到特征R6；所述的重参数化特征融合模块RCSP的结构在训练阶段和推理阶段有不同的结构，分别记为训练阶段结构RCSPtrain和训练阶段结构RCSPinference；
空间卷积检测头CoordH，依次级联的3×3坐标卷积和1×1卷积模块，根据残差特征金子塔结构的输出特征R4、R5和R6进行检测，获得输电线路绝缘子的检测结果；
DWD损失函数，监督网络的学习。
2.根据权利要求1所述的一种复杂场景下无人机巡检输电线路绝缘子方法，其特征在于，所述的重参数化特征融合模块RCSP在训练阶段和推理阶段有不同的结构，分别记为训练阶段结构RCSPtrain和推理阶段结构RCSPinference；所述的训练阶段结构RCSPtrain为多分支结构，将输入特征通道数为C的特征图Fc分为两条支路处理，支路一为依次级联的1×1的卷积和多分支并行处理模块，支路一的输出分别为F1、F2、F3和F4；支路二将通道数为C/2的特征图通过1×1的卷积得到特征图F′C/2；对两条支路的输出F1、F2、F3、F4和F′C/2执行拼接操作，得到输出FC；所述的多分支并行处理模块包括4条分支，多分支并行处理模块的第一分支为1×1卷积，得到通道数为C/8的特征图F1，多分支并行处理模块的第二分支为3×3卷积，得到通道数为C/8的特征图F2，多分支并行处理模块的第三分支为BN层，得到通道数为C/8的特征图F3，多分支并行处理模块的第四分支为1×1卷积和3×3卷积的卷积串行序列，得到通道数为C/8的特征图F4；
所述的推理阶段结构RCSPinference为单支路结构，对训练阶段结构RCSPtrain进行重参化得到；所述的重参化步骤包括：首先，多支路并行处理模块的BN层重参数化为3×3卷积，把1×1卷积重参数化为3×3卷积，把1×1卷积和3×3卷积构建的串行序列卷积模块重参数化为3×3卷积模块，然后把通道数为C/8的四条支路上的3×3卷积模块重参数化为通道数为C2的3×3卷积模块，再和支路一中的1×1卷积模块重参数化为3×3卷积模块；第二，把支路二中的1×1卷积模块重参数化为3×3卷积模块；最后，将支路一和支路二中的3×3卷积模块重参数化为3×3卷积模块的单支路结构，得到通道数为C的输出特征图FC。
3.根据权利要求1所述的一种复杂场景下无人机巡检输电线路绝缘子方法，其特征在于，所述的DWD损失函数结合DIoU损失函数和NWD损失函数对网络监督学习，至少还包括以下步骤：
S310.计算DIoU损失函数的置信度，分别以预测框BBpred和真实框BBgt的中心点，得到预测框BBpred和真实框BBgt的欧式距离dD和包含预测框BBpred和真实框BBgt的最小闭包区域对角线距离c；DIoU的交并比表达式为：
其中，IoU表示预测框BBpred和真实框BBgt的交并比；DIoU损失函数的置信度表达式为：
LDIoU＝1-DIoU， (2)
S320.计算预测框BBpred和真实框BBgt的二维高斯分布，预测框BBpred＝(cx,cy,w,h)，(cx,cy)、w和h分别表示预测框的中心坐标、宽度和高度，构建预测框BBpred内接椭圆方程，其表达式为：
其中，(ux，uy)为椭圆的中心坐标，σx,σy为沿x、y轴的半轴长度；μx＝cx，μx＝cx，预测框BBpred的二维高斯分布的概率密度函数满足：
(x-μ)T∑-1(x-μ)＝1， (4)
其中，x，μ和∑表示高斯分布的坐标(x,y)、均值和高斯分布的协方差；预测框BBpred内接椭圆方程为一个二维高斯分布的密度轮廓，其二维高斯分布可表示为：
同理，可以得到真实框BBgt的二维高斯分布；
S330.计算NWD损失函数的置信度，预测框BBpred和真实框BBgt的交并比为预测框BBpred和真实框BBgt二维高斯分布的距离，用Wasserstein距离计算预测框BBpred和真实框BBgt的二维高斯分布距离，引入预测框BBpred＝(cx1,cy1,w1,h1)和真实框BBgt＝(cx2,cy2,w2,h2)，计算公式为：
其中，||·||2为2范数；
将所得到的进行指数归一化，得到NWD损失函数的置信度，表达式为：
其中，q是一个常数；
S340.计算DWD损失函数的置信度，根据输电线路绝缘子图像数据集中小目标与中大目标的分布比例，设置比例系数p，将S320中得到的LDIoU和S330中得到的LNWD按照比例系数相加，得到DWD损失函数的置信度，表达式为：
LDWD＝(1-p)*LNWD+p*LDIoU。 (8)
4.一种复杂场景下无人机巡检输电线路绝缘子方法，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～3中任意一项所述复杂场景下无人机巡检输电线路绝缘子方法的步骤。
5.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被计算机设备执行以实施权利要求1～3中任意一项所述复杂场景下无人机巡检输电线路绝缘子方法的步骤。
CN202311639096.1A 2023-12-01 2023-12-01 一种复杂场景下无人机巡检输电线路绝缘子的方法 Pending CN117612044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311639096.1A CN117612044A (zh) 2023-12-01 2023-12-01 一种复杂场景下无人机巡检输电线路绝缘子的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311639096.1A CN117612044A (zh) 2023-12-01 2023-12-01 一种复杂场景下无人机巡检输电线路绝缘子的方法

Publications (1)

Publication Number Publication Date
CN117612044A true CN117612044A (zh) 2024-02-27

Family

ID=89944095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311639096.1A Pending CN117612044A (zh) 2023-12-01 2023-12-01 一种复杂场景下无人机巡检输电线路绝缘子的方法

Country Status (1)

Country Link
CN (1) CN117612044A (zh)

Similar Documents

Publication Publication Date Title
CN107742093B (zh) 一种红外图像电力设备部件实时检测方法、服务器及系统
CN107944396B (zh) 一种基于改进深度学习的刀闸状态识别方法
CN108647655B (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN103839065B (zh) 人群动态聚集特征提取方法
CN111598843B (zh) 基于深度学习的电力变压器呼吸器目标缺陷检测方法
CN111563893B (zh) 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
CN106909886B (zh) 一种基于深度学习的高精度交通标志检测方法及系统
CN108052881A (zh) 一种实时检测施工现场图像中多类实体对象的方法及设备
CN106355188A (zh) 图像检测方法及装置
CN113408423B (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN115731164A (zh) 基于改进YOLOv7的绝缘子缺陷检测方法
CN108764456B (zh) 机载目标识别模型构建平台、机载目标识别方法及设备
CN113538391A (zh) 一种基于Yolov4和热红外图像的光伏缺陷检测方法
CN112288700A (zh) 一种铁轨缺陷检测方法
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及系统
CN112419268A (zh) 一种输电线路图像缺陷检测方法、装置、设备及介质
CN114078209A (zh) 一种提升小目标检测精度的轻量级目标检测方法
CN114219763A (zh) 基于Faster RCNN算法的配电设备异常发热点红外图片检测方法
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
CN116580324A (zh) 一种基于YOLOv5的无人机对地目标检测方法
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN117612044A (zh) 一种复杂场景下无人机巡检输电线路绝缘子的方法
CN115100546A (zh) 一种基于mobilenet的电力设备小目标缺陷识别方法及系统
CN115273009A (zh) 基于深度学习的道路裂纹检测方法及系统
CN111209809B (zh) 一种基于暹罗网络的多输入跨视角步态识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination