CN116434051A - 一种输电线路异物检测方法、系统及存储介质 - Google Patents
一种输电线路异物检测方法、系统及存储介质 Download PDFInfo
- Publication number
- CN116434051A CN116434051A CN202211648342.5A CN202211648342A CN116434051A CN 116434051 A CN116434051 A CN 116434051A CN 202211648342 A CN202211648342 A CN 202211648342A CN 116434051 A CN116434051 A CN 116434051A
- Authority
- CN
- China
- Prior art keywords
- transmission line
- foreign matter
- matter detection
- image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 151
- 238000001514 detection method Methods 0.000 title claims abstract description 144
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000002776 aggregation Effects 0.000 claims abstract description 6
- 238000004220 aggregation Methods 0.000 claims abstract description 6
- 108091006146 Channels Proteins 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000007621 cluster analysis Methods 0.000 claims description 3
- 230000001351 cycling effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 abstract description 5
- 230000005764 inhibitory process Effects 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种输电线路异物检测方法、系统及存储介质，涉及输电线路图像识别的技术领域，首先采集输电线路异物图像并对图像中的异物进行标注，得到图像数据集，基于Yolov5算法构建输电线路异物检测模型，利用输电线路异物检测模型中的Backbone网络提取图像特征，利用Neck网络对图像特征进行特征聚合，利用Head网络进行下采样；利用图像数据集训练输电线路异物检测模型并得到训练好的模型；最后将待检测的输电线路图像输入训练好的输电线路异物检测模型，利用非极大值抑制去除冗余的检测框，得到最终的框选出输电线路图像中的异物的输电线路异物检测框，在保证异物检测精度的同时，拥有较小的模型参数量，提高了检测速度。
Description
技术领域
本发明涉及输电线路图像识别的技术领域，更具体地，涉及一种输电线路异物检测方法、系统及存储介质。
背景技术
高压输电线路是高压电网的骨架，作为电力系统的重要组成部分，其状态直接关系到整个电力系统的安全稳定运行，输电线路如果出现大规模故障，将会严重影响人民的正常生活。
在输电线路故障类型中，除了常见的雷击跳闸、线路覆冰、线路污闪、外力破坏等问题，值得引起重视的还有输电线路异物问题。输电线路导线多为裸导线，因此要求导线周围不能存在任何导电物质，然而，由于输电线路暴露在自然环境中，输电线路上常有风筝、气球、生活塑料袋等异物附着，附着的异物可能造成接地、短路等状况，引起区域停电，造成不可估量的损失；若附着的异物是易燃物，还可能引起火灾，危及输电线路周边人员的生命安全。
输电线路通常位于人烟稀少、交通不便的地方，传统的人工巡检不仅耗时耗力，而且对人眼难以观测到的小型异物无法做到及时全方位的排查。近年来，随着无人机巡检的发展迅速，无人机巡检节省了人力物力，但无人机巡检虽提供了巨量巡检图片，但是拍摄的图片仍然需要人工分析判别，检测效率及准确性均有待提高。
现有技术中公开了一种基于特征融合的输电线路目标检测与识别方法，根据使用需求对用于特征提取的YOLOv5网络结构进行优化调整，使用密集残差网络来提高特征的利用率，采用路径聚合网络来减少特征的传递损失，使用ImageNet数据集对优化后的YOLOv5网络进行预训练，将输电线路图像数据集的训练集、验证集输入到预训练的网络中继续训练和验证，训练好的YOLOv5网络模型对测试集图像进行目标检测与识别，得到分类信息、回归位置和准确率，筛选得到最终的检测框。但是在该方案中，训练好的网络模型只能检测电路元器件故障，无法检测输电线路上的异物，且检测精度和速度有待提升。
发明内容
为解决当前输电线路异物检测方式检测精度不足、效率较低的问题，本发明提出一种输电线路异物检测方法、系统及存储介质，对原Yolov5算法进行了优化，在保证输电线路异物检测精度的同时，拥有较小的模型参数量，提高了检测速度。
为了达到上述技术效果，本发明的技术方案如下：
一种输电线路异物检测方法，包括：
S1.采集输电线路图像，对图像中的输电线路异物的位置和类别进行标注，得到不同尺寸的先验标注框，将带有先验标注框的图像构建为图像数据集，将图像数据集划分为训练集、验证集和测试集；
S2.基于Yolov5算法构建输电线路异物检测模型，输电线路异物检测模型包含：依次连接的Backbone网络、Neck网络和Head网络；其中，Backbone网络由CSPDarkNet和SPP结构组成，Neck网络内设有多个多尺度通道注意力模块和注意力特征融合模块，Head网络包含三个分支，每个分支分别均包含一个卷积层和一个Prediction模块；
S3.利用训练集对输电线路异物检测模型进行训练，然后利用验证集对训练过程中的输电线路异物检测模型进行评估，利用测试集测试输电线路异物检测模型的有效性，得到训练好的输电线路异物检测模型；
S4.将待检测的输电线路图像输入训练好的输电线路异物检测模型，得到检测框坐标、置信度和检测出的异物类别概率，生成对应的检测框；
S5.利用非极大值抑制去除冗余的检测框，得到最终的输电线路异物检测框并框选出输电线路图像中的异物。
在本技术方案中，构建的输电线路异物检测模型对Yolov5算法进行了优化，在保证输电线路异物检测精度的同时，拥有较小的模型参数量，提高了检测速度。
优选地，在步骤S1中，利用K-means算法对先验标注框进行聚类分析，具体步骤包括：
a.从标注出的先验标注框上随机选取k个点作为初始聚类中心C：
C＝{c1,c2,c3,..ck}
b.将先验标注框样本标号为x1,x2,…,xi，计算数据集图像中每个先验标注框样本到各个初始聚类中心的距离，将每个样本划分到距离聚类中心最近的聚类中心的类中；
c.针对每个类，更新该类的聚类中心Ci，计算公式如下：
其中，I代表类别数量；
d.循环步骤b至步骤c，直到聚类中心的位置不再发生变化。
优选地，在步骤S2中，Backbone网络用于提取图像特征，将数据集图像输入Backbone网络后，CSPDarkNet中的各卷积层对数据集图像进行特征提取，得到特征图，SPP结构中包括3个不同大小的池化核，利用SPP结构中不同大小的3个池化核对上一网络层输出的特征图进行池化操作，得到3组池化后的图像特征，并在通道维度上执行连接操作。
在此，用平均池化代替原Yolov5算法中的最大池化计算，更多地关注到每个特征信息；添加的SPP结构提升了检测效果，有效增大了特征图的感受野，同时有助于解决anchor与特征图的对齐问题。
优选地，通过Neck网络对Backbone网络提取到的图像特征进行特征聚合；
其中，Neck网络中的每个多尺度通道注意力模块包括两条分支，每条分支均依次连接有第一1x1卷积层、第一BN层、第一Hardswish激活函数层、第二1x1卷积层、第二BN层，第一1x1卷积层前还连接有平均池化层、第二Hardswish激活函数层；两条分支通过Sigmoid激活函数层连接；
将图像特征X∈RC×H×W作为多尺度通道注意力模块的输入，其中C代表通道数，H和W代表图像特征的高度和宽度，通过平均池化层改变池化的大小，得到全局和局部两个尺度的通道注意力，全局通道G(X)∈RC×1×1表示为：
G(X)＝BN(Conv2(Hs(BN(Conv1(Hs(g(X)))))))
其中，i和j表示特征图的坐标，g(X)∈RC表示全局平均池化，将输入的特征图进行压缩；
采用第一1x1卷积层与第二1x1卷积层作为局部通道上下文聚合器，对每个空间位置施加通道交互作用，得到与输入特征图X具有相同的形状的局部通道上下文L(X)，局部通道上下文计算公式为：
L(X)＝BN(Conv2(Hs(BN(Conv1(X)))))
其中，Conv1、Conv2的卷积核参数分别是
r是通道缩减比，BN代表Batch Normalization，Hs代表Hardswish激活函数；在此，保留和突出了低层特征中丰富的细节信息，更有效地关注了在局部范围内分布比较多的小目标信息。
结合L(X)和G(X)，得到多尺度通道注意力模块的输出Y∈RC×H×W，计算公式如下：
其中，MSCAB(X)∈RC×H×W表示多尺度通道注意力模块输出的权重，σ表示Sigmoid激活函数。
在此，利用多尺度通道注意力模块机制有效改善了异物的不同尺度之间的特征不一致性。
优选地，在引入多尺度通道注意力模块的基础上，利用注意力特征融合模块替换原有的Yolov5s网络结构中的、与多尺度通道注意力模块输出端连接的卷积层；设注意力特征融合模块的输出为Z，Z的计算公式如下：
其中，X1代表低层语义特征图，X2代表高层语义特征图；
在此，通过注意力特征融合模块，更好地捕获来自不同卷积层的上下文信息，使输电线路检测模型获得更好的检测性能。
优选地，在步骤S3中，采用CIOU_LOSS作为检测框的损失函数，CIOU_LOSS表示为：
其中，r1为检测框与预测中心点坐标的欧式距离，r2为包住检测框与先验标注框的最小方框的对角线距离，v用来度量宽高比的一致性，IoU＝A∩B/A∪B，表示A物体和B物体重合部分除两者面积之和，w和h分别表示检测框的长和宽，wgt和hgt分别表示先验标注框的长和宽。在此，解决了原Yolov5算法中在先验标注框和检测框不相交情况下无法预测两者距离的问题。
优选地，在步骤S3中，构造损失函数来对预测结果进行回归分类，其表达式为：
其中，LOSSGBCE表示损失函数；s1为真实目标，si为与真实目标最相近的其他目标，x表示预测目标的概率，y表示真实目标的概率，J'>＝{i:i∈J∩si≥tk}，J为负类集合，tk为设定的阈值。在此，降低了输电线路模型对颜色和纹理信息相似的异物的错检率。
优选地，在步骤S5中，利用非极大值抑制去除冗余的检测框，具体步骤如下：
S51.对所有检测框的置信度进行排序，选中置信度最高及其对应的检测框；
S52.设定重叠面积阈值，遍历其余的先验标注框，若先验标注框与当前置信度最高的框的重叠面积大于阈值，则将该先验标注框删除，否则，将该先验标注框保留，直到所有先验标注框完成遍历；
S53.从未选中的先验标注框中选一个置信度最高的，返回步骤S52，直到仅剩置信度最低的先验标注框未选中。
本申请还提出一种计算机存储介质，用于计算机可读存储，所述计算机存储介质上存储有输电线路异物检测的程序，所述输电线路异物检测的程序被处理器执行时，用于实现所述的输电线路异物检测方法的步骤。
本申请还提出一种输电线路异物检测的系统，所述系统包括：
图像处理模块，用于采集一定数量的输电线路图像，对输电线路图像中的异物标注出不同尺寸的先验标注框，带有先验标注框的图像构建为图像数据集，将图像集数据划分为训练集、验证集和测试集；
输电线路异物检测模型模块，用于构建输电线路异物检测模型；
训练模块，利用训练集对输电线路异物检测模型进行训练，利用验证集对训练过程中的输电线路异物检测模型进行评估，利用测试集测试输电线路异物检测模型的有效性，得到训练好的输电线路异物检测模型；
异物检测模块，用于将待检测的输电线路图像输入已训练好的输电线路异物检测模型中，生成输电线路异物的检测框；
冗余抑制模块，用于去除冗余的检测框。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种输电线路异物检测方法、系统及存储介质，首先采集输电线路异物图像并对图像中的异物进行标注，得到图像数据集，然后基于Yolov5算法构建输电线路异物检测模型，输电线路异物检测模型包含依次连接的Backbone网络、Neck网络和Head网络，利用Backbone网络提取图像特征，利用Neck网络对提取到的图像特征进行特征聚合，利用Head网络进行下采样；基于图像数据集进行训练，得到训练好的输电线路异物检测模型；最后将待检测的输电线路图像输入训练好的输电线路异物检测模型，利用非极大值抑制去除冗余的检测框，得到最终的输电线路异物检测框并框选出输电线路图像中的异物，在保证输电线路异物检测精度的同时，拥有较小的模型参数量，提高了检测速度。
附图说明
图1表示本发明实施例1中提出的输电线路异物检测方法的流程示意图；
图2表示本发明实施例1中提出的输电线路异物检测模型的结构示意图；
图3表示本发明实施例2中提出的计算机设备的示意图；
图4表示本发明实施例3中提出的输电线路异物检测的系统的结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；
实施例1
如图1所示，本实施例提出一种输电线路异物检测方法，所述方法包括以下步骤：
S1.采集输电线路图像，对图像中的输电线路异物的位置和类别进行标注，得到不同尺寸的先验标注框，将带有先验标注框的图像构建为图像数据集，将图像数据集划分为训练集、验证集和测试集；
在本实施例中，利用K-means算法对先验标注框进行聚类分析，具体步骤包括：
a.从标注出的先验标注框上随机选取k个点作为初始聚类中心C：
C＝{c1,c2,c3,..ck}
b.将先验标注框样本标号为x1,x2,…,xi，计算数据集图像中每个先验标注框样本到各个初始聚类中心的距离，将每个样本划分到距离聚类中心最近的聚类中心的类中；
c.针对每个类，更新该类的聚类中心Ci，计算公式如下：
其中，I代表类别数量；
d.循环步骤b至步骤c，直到聚类中心的位置不再发生变化。
S2.基于Yolov5算法构建输电线路异物检测模型，参见图2，输电线路异物检测模型包含：依次连接的Backbone网络、Neck网络和Head网络；其中，Backbone网络由CSPDarkNet和SPP结构组成，Neck网络内设有多个多尺度通道注意力模块和注意力特征融合模块，Head网络包含三个分支，每个分支分别均包含一个卷积层和一个Prediction模块；
Backbone网络用于提取图像特征，将数据集图像输入Backbone网络后，CSPDarkNet中的各卷积层对数据集图像进行特征提取，得到特征图，SPP结构中包括3个不同大小的池化核，利用SPP结构中不同大小的3个池化核对上一网络层输出的特征图进行池化操作，得到3组池化后的图像特征，并在通道维度上执行连接操作。
通过Neck网络对Backbone网络提取到的图像特征进行特征聚合；
其中，Neck网络中的每个多尺度通道注意力模块包括两条分支，每条分支均依次连接有第一1x1卷积层、第一BN层、第一Hardswish激活函数层、第二1x1卷积层、第二BN层，第一1x1卷积层前还连接有平均池化层、第二Hardswish激活函数层；两条分支通过Sigmoid激活函数层连接；
将图像特征X∈RC×H×W作为多尺度通道注意力模块的输入，其中C代表通道数，H和W代表图像特征的高度和宽度，通过平均池化层改变池化的大小，得到全局和局部两个尺度的通道注意力，全局通道G(X)∈RC×1×1表示为：
G(X)＝BN(Conv2(Hs(BN(Conv1(Hs(g(X)))))))
其中，i和j表示特征图的坐标，g(X)∈RC表示全局平均池化，将输入的特征图进行压缩；
采用第一1x1卷积层与第二1x1卷积层作为局部通道上下文聚合器，对每个空间位置施加通道交互作用，得到与输入特征图X具有相同的形状的局部通道上下文L(X)，局部通道上下文计算公式为：
L(X)＝BN(Conv2(Hs(BN(Conv1(X)))))
其中，Conv1、Conv2的卷积核参数分别是
r是通道缩减比，BN代表Batch Normalization，Hs代表Hardswish激活函数；
结合L(X)和G(X)，得到多尺度通道注意力模块的输出Y∈RC×H×W，计算公式如下：
其中，MSCAB(X)∈RC×H×W表示多尺度通道注意力模块输出的权重，σ表示Sigmoid激活函数。
在引入多尺度通道注意力模块的基础上，利用注意力特征融合模块替换原有的Yolov5s网络结构中的、与多尺度通道注意力模块输出端连接的卷积层；设注意力特征融合模块的输出为Z，Z的计算公式如下：
其中，X1代表低层语义特征图，X2代表高层语义特征图；
S3.利用训练集对输电线路异物检测模型进行训练，然后利用验证集对训练过程中的输电线路异物检测模型进行评估，利用测试集测试输电线路异物检测模型的有效性，得到训练好的输电线路异物检测模型；
在本实施例中，训练过程中采用CIOU_LOSS作为检测框的损失函数，CIOU_LOSS表示为：
其中，r1为检测框与预测中心点坐标的欧式距离，r2为包住检测框与先验标注框的最小方框的对角线距离，v用来度量宽高比的一致性，IoU＝A∩B/A∪B，表示A物体和B物体重合部分除两者面积之和，w和h分别表示检测框的长和宽，wgt和hgt分别表示先验标注框的长和宽；
在本实施例中，构造损失函数来对预测结果进行回归分类，其表达式为：
其中，LOSSGBCE表示损失函数；s1为真实目标，si为与真实目标最相近的其他目标，x表示预测目标的概率，y表示真实目标的概率，J'>＝{i:i∈J∩si≥tk}，J为负类集合，tk为设定的阈值。
S4.将待检测的输电线路图像输入训练好的输电线路异物检测模型，得到检测框坐标、置信度和检测出的异物类别概率，生成对应的检测框。
S5.利用非极大值抑制去除冗余的检测框，得到最终的输电线路异物检测框并框选出输电线路图像中的异物，包括以下步骤：
S51.对所有检测框的置信度进行排序，选中置信度最高及其对应的检测框；
S52.设定重叠面积阈值，遍历其余的先验标注框，若先验标注框与当前置信度最高的框的重叠面积大于阈值，则将该先验标注框删除，否则，将该先验标注框保留，直到所有先验标注框完成遍历；
S53.从未选中的先验标注框中选一个置信度最高的，返回步骤S52，直到仅剩置信度最低的先验标注框未选中。
实施例2
参见图3，本申请还提出一种计算机设备，包括处理器、存储器及存储在存储器上的计算机程序，处理器标号为1，存储器标号为2，处理器1连接存储器2。所述处理器1执行存储在存储器2上的计算机程序，以实现所述的实施例1所述的输电线路异物检测方法。
其中，存储器2可以是磁盘、闪存或其它任何非易失性存储介质，处理器1与存储器2连接，可以作为一个或多个集成电路来实施，具体的可以为微处理器或微控制器，在执行存储在存储器上的计算机程序时，对于全局模型，实现输电线路异物检测方法。
本申请还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，该指令被处理器执行时，实现所述的方法的步骤。
这种计算机可读存储介质通过执行上面的计算机程序指令，将采集的数据保存在在用户终端本身，防止了数据泄露的问题。
实施例3
本实施例中，如图4所示，提出了一种输电线路异物检测的系统，所述系统包括：
图像处理模块101，用于采集一定数量的输电线路图像，对输电线路图像中的异物标注出不同尺寸的先验标注框，带有先验标注框的图像构建为图像数据集，将图像集数据划分为训练集、验证集和测试集；
输电线路异物检测模型模块102，用于构建输电线路异物检测模型；
训练模块103，利用训练集对输电线路异物检测模型进行训练，利用验证集对训练过程中的输电线路异物检测模型进行评估，利用测试集测试输电线路异物检测模型的有效性，得到训练好的输电线路异物检测模型；
异物检测模块104，用于将待检测的输电线路图像输入已训练好的输电线路异物检测模型中，生成输电线路异物的检测框；
冗余抑制模块105，用于去除冗余的检测框。
整体上，首先利用图像处理模块101采集输电线路图像，利用聚类分析算法对输电线路图像中的异物标注出不同尺寸的先验标注框，再将带有先验标注框的图像构建为图像数据集；再利用输电线路异物检测模型模块102，基于Yolov5算法构建输电线路异物检测模型，所述模型包括依次连接的Backbone网络、Neck网络和Head网络；然后通过训练模块103利用图像数据集对输电线路异物检测模型进行训练，得到训练好的输电线路异物检测模型；通过异物检测模块104将待检测的输电线路图像输入已训练好的输电线路异物检测模型中，生成输电线路异物的检测框；最后利用冗余抑制模块105去除冗余的检测框，框选出输电线路图像中的异物。
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种输电线路异物检测方法，其特征在于，包括：
S1.采集输电线路图像，对图像中的输电线路异物的位置和类别进行标注，得到不同尺寸的先验标注框，将带有先验标注框的图像构建为图像数据集，将图像数据集划分为训练集、验证集和测试集；
S2.基于Yolov5算法构建输电线路异物检测模型，输电线路异物检测模型包含：依次连接的Backbone网络、Neck网络和Head网络；其中，Backbone网络由CSPDarkNet和SPP结构组成，Neck网络内设有多个多尺度通道注意力模块和注意力特征融合模块，Head网络包含三个分支，每个分支分别均包含一个卷积层和一个Prediction模块；
S3.利用训练集对输电线路异物检测模型进行训练，然后利用验证集对训练过程中的输电线路异物检测模型进行评估，利用测试集测试输电线路异物检测模型的有效性，得到训练好的输电线路异物检测模型；
S4.将待检测的输电线路图像输入训练好的输电线路异物检测模型，得到检测框坐标、置信度和检测出的异物类别概率，生成对应的检测框；
S5.利用非极大值抑制去除冗余的检测框，得到最终的输电线路异物检测框并框选出输电线路图像中的异物。
2.根据权利要求1所述的输电线路异物检测方法，其特征在于，在步骤S1中，利用K-means算法对先验标注框进行聚类分析，具体步骤包括：
a.从标注出的先验标注框上随机选取k个点作为初始聚类中心C：
C＝{c1,c2,c3,..ck}
b.将先验标注框样本标号为x1,x2,…,xi，计算数据集图像中每个先验标注框样本到各个初始聚类中心的距离，将每个样本划分到距离聚类中心最近的聚类中心的类中；
c.针对每个类，更新该类的聚类中心Ci，计算公式如下：
其中，I代表类别数量；
d.循环步骤b至步骤c，直到聚类中心的位置不再发生变化。
3.根据权利要求1所述的输电线路异物检测方法，其特征在于，在步骤S2中，Backbone网络用于提取图像特征，将数据集图像输入Backbone网络后，CSPDarkNet中的各卷积层对数据集图像进行特征提取，得到特征图，SPP结构中包括3个不同大小的池化核，利用SPP结构中不同大小的3个池化核对上一网络层输出的特征图进行池化操作，得到3组池化后的图像特征，并在通道维度上执行连接操作。
4.根据权利要求3所述的输电线路异物检测方法，其特征在于，通过Neck网络对Backbone网络提取到的图像特征进行特征聚合；
其中，Neck网络中的每个多尺度通道注意力模块包括两条分支，每条分支均依次连接有第一1x1卷积层、第一BN层、第一Hardswish激活函数层、第二1x1卷积层、第二BN层，第一1x1卷积层前还连接有平均池化层、第二Hardswish激活函数层；两条分支通过Sigmoid激活函数层连接；
将图像特征X∈RC×H×W作为多尺度通道注意力模块的输入，其中C代表通道数，H和W代表图像特征的高度和宽度，通过平均池化层改变池化的大小，得到全局和局部两个尺度的通道注意力，全局通道G(X)∈RC×1×1表示为：
G(X)＝BN(Conv2(Hs(BN(Conv1(Hs(g(X)))))))
其中，i和j表示特征图的坐标，g(X)∈RC表示全局平均池化，将输入的特征图进行压缩；
采用第一1x1卷积层与第二1x1卷积层作为局部通道上下文聚合器，对每个空间位置施加通道交互作用，得到与输入特征图X具有相同的形状的局部通道上下文L(X)，局部通道上下文计算公式为：
L(X)＝BN(Conv2(Hs(BN(Conv1(X)))))
其中，Conv1、Conv2的卷积核参数分别是
r是通道缩减比，BN代表Batch Normalization，Hs代表Hardswish激活函数；
结合L(X)和G(X)，得到多尺度通道注意力模块的输出Y∈RC×H×W，计算公式如下：
其中，MSCAB(X)∈RC×H×W表示多尺度通道注意力模块输出的权重，σ表示Sigmoid激活函数。
5.根据权利要求4所述的输电线路异物检测方法，其特征在于，在引入多尺度通道注意力模块的基础上，利用注意力特征融合模块替换原有的Yolov5s网络结构中的、与多尺度通道注意力模块输出端连接的卷积层；设注意力特征融合模块的输出为Z，Z的计算公式如下：
其中，X1代表低层语义特征图，X2代表高层语义特征图。
6.根据权利要求5所述的输电线路异物检测方法，其特征在于，在步骤S3中，采用CIOU_LOSS作为检测框的损失函数，CIOU_LOSS表示为：
其中，r1为检测框与预测中心点坐标的欧式距离，r2为包住检测框与先验标注框的最小方框的对角线距离，v用来度量宽高比的一致性，IoU＝A∩B/A∪B，表示A物体和B物体重合部分除两者面积之和，w和h分别表示检测框的长和宽，wgt和hgt分别表示先验标注框的长和宽。
7.根据权利要求1所述的输电线路异物检测方法，其特征在于，在步骤S3中，构造损失函数来对预测结果进行回归分类，其表达式为：
其中，LOSSGBCE表示损失函数；s1为真实目标，si为与真实目标最相近的其他目标，x表示预测目标的概率，y表示真实目标的概率，J'>＝{i:i∈J∩si≥tk}，J为负类集合，tk为设定的阈值。
8.根据权利要求1所述的输电线路异物检测方法，其特征在于，在步骤S5中，利用非极大值抑制去除冗余的检测框，具体步骤如下：
S51.对所有检测框的置信度进行排序，选中置信度最高及其对应的检测框；
S52.设定重叠面积阈值，遍历其余的先验标注框，若先验标注框与当前置信度最高的框的重叠面积大于阈值，则将该先验标注框删除，否则，将该先验标注框保留，直到所有先验标注框完成遍历；
S53.从未选中的先验标注框中选一个置信度最高的，返回步骤S52，直到仅剩置信度最低的先验标注框未选中。
9.一种计算机存储介质，用于计算机可读存储，其特征在于，所述计算机存储介质上存储有输电线路异物检测的程序，所述输电线路异物检测的程序被处理器执行时，用于实现权利要求1～8任意一项所述的输电线路异物检测的步骤。
10.一种输电线路异物检测的计算机系统，其特征在于，包括：
图像处理模块，用于采集一定数量的输电线路图像，对输电线路图像中的异物标注出不同尺寸的先验标注框，带有先验标注框的图像构建为图像数据集，将图像集数据划分为训练集、验证集和测试集；
输电线路异物检测模型模块，用于构建输电线路异物检测模型；
训练模块，利用训练集对输电线路异物检测模型进行训练，利用验证集对训练过程中的输电线路异物检测模型进行评估，利用测试集测试输电线路异物检测模型的有效性，得到训练好的输电线路异物检测模型；
异物检测模块，用于将待检测的输电线路图像输入已训练好的输电线路异物检测模型中，生成输电线路异物的检测框；
冗余抑制模块，用于去除冗余的检测框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211648342.5A CN116434051A (zh) | 2022-12-21 | 2022-12-21 | 一种输电线路异物检测方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211648342.5A CN116434051A (zh) | 2022-12-21 | 2022-12-21 | 一种输电线路异物检测方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116434051A true CN116434051A (zh) | 2023-07-14 |
Family
ID=87084327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211648342.5A Pending CN116434051A (zh) | 2022-12-21 | 2022-12-21 | 一种输电线路异物检测方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116434051A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645502A (zh) * | 2023-07-27 | 2023-08-25 | 云南大学 | 输电线路图像检测方法、装置及电子设备 |
| CN116883648A (zh) * | 2023-09-06 | 2023-10-13 | 南方电网数字电网研究院有限公司 | 一种异物检测方法、装置、电子设备及存储介质 |
| CN118470657A (zh) * | 2024-07-11 | 2024-08-09 | 深圳市森歌数据技术有限公司 | 一种基于sam大模型的遥感图片输电线路异物检测方法 |
-
2022
- 2022-12-21 CN CN202211648342.5A patent/CN116434051A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645502A (zh) * | 2023-07-27 | 2023-08-25 | 云南大学 | 输电线路图像检测方法、装置及电子设备 |
| CN116645502B (zh) * | 2023-07-27 | 2023-10-13 | 云南大学 | 输电线路图像检测方法、装置及电子设备 |
| CN116883648A (zh) * | 2023-09-06 | 2023-10-13 | 南方电网数字电网研究院有限公司 | 一种异物检测方法、装置、电子设备及存储介质 |
| CN116883648B (zh) * | 2023-09-06 | 2024-02-13 | 南方电网数字电网研究院股份有限公司 | 一种异物检测方法、装置、电子设备及存储介质 |
| CN118470657A (zh) * | 2024-07-11 | 2024-08-09 | 深圳市森歌数据技术有限公司 | 一种基于sam大模型的遥感图片输电线路异物检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Insulator defect recognition based on global detection and local segmentation | |
| Ling et al. | An accurate and real-time method of self-blast glass insulator location based on faster R-CNN and U-net with aerial images | |
| CN108520229B (zh) | 图像检测方法、装置、电子设备和计算机可读介质 | |
| CN116434051A (zh) | 一种输电线路异物检测方法、系统及存储介质 | |
| CN111681273B (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN108073898B (zh) | 人头区域识别方法、装置及设备 | |
| CN112200041B (zh) | 视频动作识别方法、装置、存储介质与电子设备 | |
| CN109086811A (zh) | 多标签图像分类方法、装置及电子设备 | |
| CN111078552A (zh) | 页面显示异常的检测方法、装置及存储介质 | |
| CN114581709B (zh) | 识别医学图像中的目标的模型训练、方法、设备及介质 | |
| WO2024060684A1 (zh) | 模型训练方法、图像处理方法、设备及存储介质 | |
| CN113505781B (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
| CN111160096A (zh) | 禽蛋异常的识别方法、装置及系统、存储介质、电子装置 | |
| CN112364721A (zh) | 一种道面异物检测方法 | |
| CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及系统 | |
| CN112215188B (zh) | 交警姿态识别方法、装置、设备及存储介质 | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN116503399A (zh) | 基于yolo-afps的绝缘子污闪检测方法 | |
| CN111985488A (zh) | 一种基于离线高斯模型的目标检测分割方法及系统 | |
| Bai et al. | Insulator fault recognition based on spatial pyramid pooling networks with transfer learning (match 2018) | |
| CN114694130A (zh) | 基于深度学习的铁路沿线电线杆及杆号检测方法和装置 | |
| CN112818946A (zh) | 年龄识别模型的训练、年龄识别方法、装置及电子设备 | |
| CN113537148A (zh) | 人体动作识别方法及装置、可读存储介质、电子设备 | |
| CN117218634A (zh) | 一种绝缘子自爆缺陷检测方法及设备 | |
| CN113569600A (zh) | 物体重识别的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |