CN115546568B - 绝缘子缺陷检测方法、系统、设备及存储介质 - Google Patents

绝缘子缺陷检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115546568B
CN115546568B CN202211529570.0A CN202211529570A CN115546568B CN 115546568 B CN115546568 B CN 115546568B CN 202211529570 A CN202211529570 A CN 202211529570A CN 115546568 B CN115546568 B CN 115546568B
Authority
CN
China
Prior art keywords
insulator
image
label
training
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211529570.0A
Other languages
English (en)
Other versions
CN115546568A (zh
Inventor
赵裕成
张志勇
陈超
艾坤
刘海峰
王子磊
汪琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Leinao Intelligent Technology Co ltd
Original Assignee
Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Leinao Intelligent Technology Co ltd filed Critical Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority to CN202211529570.0A priority Critical patent/CN115546568B/zh
Publication of CN115546568A publication Critical patent/CN115546568A/zh
Application granted granted Critical
Publication of CN115546568B publication Critical patent/CN115546568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种绝缘子缺陷检测方法、系统、设备及存储介质，方法包括：将待检测图像输入预先训练好的绝缘子目标检测模型，输出第一检测结果，若其包括绝缘子图像，则将裁剪至第一预设尺寸的绝缘子图像输入预先训练好的多标签分类模型，输出第二检测结果，其包括绝缘子的属性分类；多标签分类模型的训练过程：对第一训练集中图像中绝缘子图像进行第二裁剪，得到第二训练集；根据将第二训练集中的图像输入构建的多标签分类模型，输出的属性分类结果，和对第二训练集中的图像进行标注，得到的第二标签，构建损失函数，根据损失函数训练多标签分类模型。由此，能够解决正负样本不均衡的问题。

Description

绝缘子缺陷检测方法、系统、设备及存储介质
技术领域
本发明设计电力技术领域，尤其涉及一种绝缘子缺陷检测方法、系统、设备及存储介质。
背景技术
绝缘子是一种特殊的绝缘控件，它处于电线杆塔与导线承接部，变电所构架与线路连接处，能够在架空输电线路中起到支撑导线、防止电流接地的双重作用。由于我国输电线路分布十分广泛，地理环境复杂，输电线缆长期暴露在野外，绝缘子可能会受到雷击，材料老化等而产生一系列的生锈腐蚀、破损、过电压击穿等问题，根据需求我们把绝缘子异常分为三类分别为雷击（放电）、破损、匝丝捆绑异常。分析绝缘子常见故障，主要是为了防止由于环境和电负荷条件发生变化引起的各种机电应力导致绝缘子绝缘失效，从而损害电力线路的使用和运行寿命。
而这些缺陷通过人工检测会有效率低，检出率低，安全性低等问题。传统的分类任务会将输入图片分配到某一类。而多标签分类任务不同于一般的分类任务，多标签分类可以分解为若干个独立的二分类问题，输入图片可能被分配到所有的类，也可能不分给任何一类。以绝缘子举例：一个绝缘子可能同时存在雷击(破损)、匝丝捆绑异常、脏污三种异常，也可能这三种异常同时不存在，那么这就是一个正常的绝缘子。但是，绝缘子多标签分类任务中的难点就是正负样本严重不均衡，存在缺陷的绝缘子相对于正常绝缘子非常少，相关技术并未考虑正负样本的均衡性，尽管通过机器学习可以实现故障的检测，但是在正负样本量极度不均衡的情况下，使得训练模型的学习能力较弱，从而得到的检测模型检测的精度较差。
发明内容
本发明的目的在于提出一种绝缘子缺陷检测方法、系统、设备及存储介质，通过更新梯度比更新损失函数Loss，再根据上一个训练周期的损失函数更新多标签分类模型，能够解决正负样本不均衡的问题，提高多标签分类模型的学习能力，从而提高多标签分类模型的检测精度，及时判断供电线路中绝缘子存在的各种缺陷隐患。
为达到上述目的，本发明第一方面实施例提出了一种绝缘子缺陷检测方法，包括以下步骤：获取待检测图像；将所述待检测图像输入预先训练好的绝缘子目标检测模型，输出第一检测结果；若所述第一检测结果中包括绝缘子图像，则对所述绝缘子图像按照第一预设尺寸进行第一裁剪；将进行第一裁剪后的绝缘子图像输入预先训练好的多标签分类模型，输出第二检测结果，其中，所述第二检测结果包括绝缘子的属性分类，其中，所述多标签分类模型的训练过程如下：
获取第一训练集，其中，所述第一训练集中的各图像具有第一标签，所述第一标签包括绝缘子目标框的中心点、宽度和高度；对所述第一训练集中的各图像按照第二预设尺寸进行第二裁剪，得到第二训练集，其中，所述第二训练集中的各图像为绝缘子图像；对所述第二训练集中的图像进行标注，得到第二标签，其中，所述第二标签包括绝缘子的属性分类；构建多标签分类模型；对所述第二训练集中的各图像进行随机裁剪与水平翻转和/或上下翻转的数据增强，将增强后的图像输入所述多标签分类模型，输出相应的属性分类结果；根据所述属性分类结果和对应的第二标签构建损失函数，根据所述损失函数训练所述多标签分类模型。
根据本发明实施例的绝缘子缺陷检测方法，能够解决正负样本不均衡的问题，提高多标签分类模型的学习能力，从而提高多标签分类模型的检测精度，及时判断供电线路中绝缘子存在的各种缺陷隐患。
另外，本发明实施例的绝缘子缺陷检测方法，还具有如下附加的技术特征：
根据本发明的一个实施例，所述绝缘子目标检测模型的训练过程如下：构建绝缘子目标检测模型；利用所述第一训练集中图像训练所述绝缘子目标检测模型。
根据本发明的一个实施例，所述第一裁剪后的绝缘子图像中绝缘子的宽度与所述第一裁剪前的绝缘子图像中相应绝缘子的宽度的比值为1.111，所述第一裁剪后的绝缘子图像中绝缘子的高度与所述第一裁剪前的绝缘子图像中相应绝缘子的高度的比值为1.111；所述第二裁剪后的图像中绝缘子的宽度与所述第二裁剪前的图像中相应绝缘子的宽度的比值为1.222，所述第二裁剪后的图像中绝缘子的高度与所述第二裁剪前的图像中相应绝缘子的高度的比值为1.222。
根据本发明的一个实施例，通过下式构建损失函数Loss：
Loss=BCE(prob,target)
Figure SMS_1
weight，
Figure SMS_2
，
Figure SMS_3
，
Figure SMS_4
，
Figure SMS_5
，
其中，prob为所述属性分类结果，target为所述第二标签，Wpos为正梯度重加权权重，Wneg为负梯度重加权权重，f(x)为映射函数，gt-1为上一个训练周期的梯度比。
根据本发明的一个实施例，通过下式得到更新后的梯度比gt：
Figure SMS_6
，
Figure SMS_7
，
Figure SMS_8
，
Figure SMS_9
=grad
Figure SMS_10
target，
Figure SMS_11
=grad
Figure SMS_12
(1-target)，
grad=target
Figure SMS_13
(prob-1)+(1-target)
Figure SMS_14
prob，
其中，GReWeightpos(Loss)为重加权后的正样本梯度，GReWeightneg(Loss)为重加权后的负样本梯度，Gpos（Loss）为正样本梯度，Gneg（Loss）为负样本梯度，grad为原始梯度。
根据本发明的一个实施例，所述根据所述损失函数训练所述多标签分类模型，包括：在当前训练周期更新梯度比后，逐渐平衡正负样本对所述多标签分类模型的影响，保存测试指标最高的多标签分类模型。
根据本发明的一个实施例，所述方法还包括：根据所述第二检测结果将存在缺陷的绝缘子在所述待检测图像中示出。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述的方法。
为达到上述目的，本发明第三方面实施例提出了一种绝缘子缺陷检测设备，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现所述的方法。
为达到上述目的，本发明第四方面实施例提出了一种绝缘子缺陷检测系统，包括：图像采集单元，用于采集待检测图像；绝缘子目标检测单元，用于将所述待检测图像输入预先训练好的绝缘子目标检测模型，输出第一检测结果；裁剪单元，用于在所述第一检测结果中包括绝缘子图像时，对所述绝缘子图像按照第一预设尺寸进行第一裁剪；多标签分类单元，用于将进行第一裁剪后的绝缘子图像输入预先训练好的多标签分类模型，输出第二检测结果，其中，所述第二检测结果包括绝缘子的属性分类；
其中，所述多标签分类模型的训练过程如下：
获取第一训练集，其中，所述第一训练集中的各图像具有第一标签，所述第一标签包括绝缘子目标框的中心点、宽度和高度；对所述第一训练集中的各图像按照第二预设尺寸进行第二裁剪，得到第二训练集，其中，所述第二训练集中的各图像为绝缘子图像；对所述第二训练集中的图像进行标注，得到第二标签，其中，所述第二标签包括绝缘子的属性分类；构建多标签分类模型；对所述第二训练集中的各图像进行随机裁剪与水平翻转和/或上下翻转的数据增强，将增强后的图像输入所述多标签分类模型，输出相应的属性分类结果；根据所述属性分类结果和对应的第二标签构建损失函数，根据所述损失函数训练所述多标签分类模型。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的绝缘子缺陷检测方法的流程示意图；
图2是本发明一个实施例的绝缘子目标检测模型的训练流程示意图；
图3是本发明一个实施例的多标签分类模型的训练流程示意图；
图4是本发明一个具体实施例的对绝缘子图像按照第一预设尺寸进行第一裁剪的示意图；
图5是本发明一个具体实施例的对第一训练集中的各图像按照第二预设尺寸进行第二裁剪的示意图；
图6是本发明一个具体实施例的对第二训练集中的各图像进行随机裁剪与水平翻转和/或上下翻转的数据增强的示意图；
图7是本发明一个实施例的绝缘子缺陷检测系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的绝缘子缺陷检测方法、系统、设备及存储介质。
图1是本发明一个实施例的绝缘子缺陷检测方法的流程示意图。如图1所示，绝缘子缺陷检测方法，包括以下步骤：
S101、获取待检测图像。
具体地，可通过将高分辨率摄像机搭载在无人机上，获取待检测图像。
S102、将待检测图像输入预先训练好的绝缘子目标检测模型，输出第一检测结果。
作为一个示例，参见图2，绝缘子目标检测模型的训练过程包括步骤S201-S202：
S201、构建绝缘子目标检测模型。
具体地，因为搭载高分辨率摄像机的无人机采集的第一训练集中的图像分辨率较高，所以采用1280
Figure SMS_15
1280为输入的yolov5s目标检测算法，本发明的绝缘子目标检测模型采用的yolov5s算法开源的yolov5，最终在测试集上的绝缘子测试AP（AP在目标检测中是一种常见的指标，其结合了准确率与召回率）值为0.978。yolov5s目标检测算法原理：输入图像经过多层的卷积网络的特征提取，然后经过多尺度的输出层输出，通过预设的锚框对目标进行回归计算，通过置信度判断候选框中有无目标，YOLOV5算法最终输出的结果经过非极大值抑制操作，得到最终的检测框。由此，通过绝缘子目标检测模型，找到图像中感兴趣的物体。
S202、利用第一训练集中图像训练绝缘子目标检测模型。
具体地，利用下述第一训练集中图像训练绝缘子目标检测模型，得到预先训练好的绝缘子目标检测模型。
进一步地，将步骤S101中获取的待检测图像输入预先训练好的绝缘子目标检测模型，输出第一检测结果，即从待检测图像中裁剪出所有绝缘子。
S103、若第一检测结果中包括绝缘子图像，则对绝缘子图像按照第一预设尺寸进行第一裁剪。
具体地，对绝缘子图像按照第一预设尺寸进行第一裁剪，可包括：获取绝缘子图像中所有绝缘子所占像素面积的宽度和高度、绝缘子图像中一绝缘子的宽度和高度以及第一预设尺寸；计算绝缘子图像中一绝缘子的宽度和第一预设尺寸中宽度的第一乘积，并计算第一乘积与绝缘子图像中所有绝缘子所占像素面积的宽度的比值，得到第一扩张的宽度；计算绝缘子图像中一绝缘子的高度和第一预设尺寸中高度的第二乘积，并计算第二乘积与绝缘子图像中所有绝缘子所占像素面积的高度的比值，得到第一扩张的高度；根据第一扩张的宽度和第一扩张的高度，对绝缘子图像中一绝缘子进行第一扩张；根据第一预设尺寸，对第一扩张后的绝缘子图像中相应绝缘子进行第一裁剪。由此，对绝缘子图像按照第一预设尺寸进行第一裁剪，能够使得绝缘子整体显示于绝缘子图像中。
例如：如图4所示，设绝缘子图像中所有绝缘子所占像素面积的高度和宽度（288，288），绝缘子图像中一绝缘子（参见图4中的圆形）的宽度、高度分别为w，h，第一预设尺寸为（320，320），根据上述方案可得公式w/288 = w1/320，h/288=h1/320，推导出第一扩张的宽度和高度w1=1.111w，h1=1.111h，根据第一扩张的宽度和第一扩张的高度，对绝缘子图像中一绝缘子进行第一扩张；根据第一预设尺寸，对第一扩张后的绝缘子图像中相应绝缘子进行第一裁剪。也就是说，第一裁剪后的绝缘子图像中绝缘子的宽度为第一裁剪前的绝缘子图像中相应绝缘子的宽度的1.111倍，第一裁剪后的绝缘子图像中绝缘子的高度也为第一裁剪前的绝缘子图像中相应绝缘子的高度的1.111倍。
S104、将进行第一裁剪后的绝缘子图像输入预先训练好的多标签分类模型，输出第二检测结果，其中，第二检测结果包括绝缘子的属性分类。
作为一个示例，参见图3，多标签分类模型的训练过程包括步骤S301-S306：
S301、获取第一训练集，其中，第一训练集中的各图像具有第一标签，第一标签包括绝缘子目标框的中心点、宽度和高度。
具体地，使用Labelme工具对搭载高分辨率摄像机的无人机采集的图像进行对角标注，即在左上角、右下角进行标注或右上角、左下角进行标注，得到标注框，再将同一图像中，标注框的坐标除以图像的宽度值、高度值，即进行归一化处理，经过归一化处理后，生成第一标签，其中，第一标签的格式可以为：绝缘子的有无分类，图像中心点、图像的高度和宽度，即（class，centerx，centery，width，height）。
S302、对第一训练集中的各图像按照第二预设尺寸进行第二裁剪，得到第二训练集，其中，第二训练集中的各图像为绝缘子图像。
具体地，对第一训练集中的各图像按照第二预设尺寸进行第二裁剪，可包括：获取图像中所有绝缘子所占像素面积的宽度和高度、图像中一绝缘子的宽度和高度以及第二预设尺寸；计算图像中一绝缘子的宽度和第二预设尺寸中宽度的第三乘积，并计算第三乘积与图像中所有绝缘子所占像素面积的宽度的比值，得到第二扩张的宽度；计算图像中一绝缘子的高度和第二预设尺寸中高度的第四乘积，并计算第四乘积与图像中所有绝缘子所占像素面积的高度的比值，得到第二扩张的高度；根据第二扩张的宽度和第二扩张的高度，对图像进行第二扩张；根据第二预设尺寸，对第二扩张后的图像中相应绝缘子进行第二裁剪。由此，通过对第一训练集中的各图像按照第二预设尺寸进行第二裁剪，能够使得绝缘子整体显示于图像中。
例如：如图5所示，设第一训练集中的一图像中所有绝缘子所占像素面积的高度和宽度为（288，288），该图像中一绝缘子（参见图5中的圆形）的宽度、高度分别为w，h，第二预设尺寸为（352，352），根据上述方案可得公式w/288=w2/352，h/288=h2/352，推导出第二扩张的宽度和高度w2=1.222w，h2=1.222h，根据第二扩张的宽度和第二扩张的高度，对图像进行第二扩张；根据第二预设尺寸，对第二扩张后的图像中相应绝缘子进行第二裁剪。也就是说，第二裁剪后的图像中绝缘子的宽度为第二裁剪前的图像中相应绝缘子的宽度的1.222倍，第二裁剪后的图像中绝缘子的高度也为第二裁剪前的图像中相应绝缘子的高度的1.222倍。
S303、对第二训练集中的图像进行标注，得到第二标签，其中，第二标签包括绝缘子的属性分类。
具体地，使用labelbee工具对第二训练集中的图像进行属性分类标注，绝缘子的属性分类包括正常、异常，异常包括发生雷击(破损)、匝丝捆绑异常、脏污中的至少一者。也就是说，对于每个绝缘子来说这三种异常属性可以同时满足多项，也可以只满足其中某一项。
S304、构建多标签分类模型。
S305、对第二训练集中的各图像进行随机裁剪与水平翻转和/或上下翻转的数据增强，将增强后的图像输入多标签分类模型，输出相应的属性分类结果。
其中，对第二训练集中的图像进行随机裁剪与水平翻转和/或上下翻转的数据增强，能够消除位置差异，增加数据样本数量。举例而言，如图6所示，设第二训练集中的图像的宽度和高度为（352，352），预设宽高比例为（0.865，0.935），对第二训练集中的图像按照预设宽高比例（0.865，0.935）进行随机裁剪，将绝缘子图像的宽高设置为（320，320），最后对随机裁剪后的绝缘子图像进行水平翻转和/或上下翻转。
需要说明的是，绝缘子目标检测模型存在检测误差（如由于检测精度低于人工标注精度，检测框定位不够精准），而多标签分类模型训练时，训练数据由人工标注，训练数据不存在绝缘子目标检测模型输出的异常情况，导致绝缘子目标检测模型的检测结果与多标签分类模型训练时输入图像的区域不完全一致，影响模型最终效果，所以本实施例中采用随机裁剪与水平翻转和/或上下翻转的数据增强将区域保持一致。
S306、根据属性分类结果和对应的第二标签构建损失函数，根据损失函数训练多标签分类模型。
具体地，通过下式构建损失函数Loss：
Loss=BCE(prob,target)
Figure SMS_16
weight，
Figure SMS_17
，
Figure SMS_18
，
Figure SMS_19
，
Figure SMS_20
，
其中，prob为属性分类结果，target为第二标签，Wpos为正梯度重加权权重，Wneg为负梯度重加权权重，f(x)为映射函数，gt-1为上一个训练周期的梯度比。
需要说明的是，在第一个训练周期中不存在
Figure SMS_21
，所以也不存在
Figure SMS_22
、
Figure SMS_23
，初始化
Figure SMS_24
，计算损失函数
Figure SMS_25
，其中，
Figure SMS_26
。
另外，映射函数f(x)的原理为：刚开始训练时，因为正样本（即异常绝缘子）数据量远小于负样本（即正常绝缘子）数据量，所以gt-1在开始训练时接近于0，又因为f(x)是一个类似于sigmoid的函数，当传入的gt-1小于0.8时，12（x-0.8）这项小于0，所以f(gt-1)=Wneg﹤0.5，Wpos﹥1，每轮迭代后都会减少负样本梯度，增加正样本梯度，梯度比慢慢趋近于1达到平衡的效果。
进一步地，根据损失函数训练多标签分类模型，可包括：在当前训练周期更新梯度比后，逐渐平衡正负样本对所述多标签分类模型的影响，保存测试指标最高的多标签分类模型。
需要说明的是，在进行绝缘子异常分类任务时，存在两个问题：第一，正常绝缘子占绝大多数，正常绝缘子与异常绝缘子占比严重不平衡；第二，在异常绝缘子中不同分类的异常绝缘子占比不平衡。例如一共存在10w个绝缘子数据其中只有5000个绝缘子存在异常，在5000个异常样本中雷击(破损)、匝丝捆绑异常、脏污分别占500，1500，4000，同时还存在一个绝缘子存在多种异常情况。对于这种不平衡的数据集，常见的做法是给正负样本所产生的Loss加上与数量成反比的权重，同时给不同寻常分类也加上与数量成反比的权重。但是如果仅仅用正负样本数量来反映模型的训练情况，依旧存在一定的缺陷，因为数据集中大量负样本即正常绝缘子都是简单样本，这些简单样本产生的Loss已经接近于0，模型已经能预测的很好，模型已经无法从中学到知识。同样的，在正样本即异常绝缘子中也可能存在特征重叠的情况，比如有两张重复的图片，这些重复的正样本也没有带来给模型额外的知识，所以只是单独使用数量比来训练模型这不是最好的，需要考虑不同样本因为难易程度对模型造成的影响。本实施例中使用梯度来反映样本对模型造成的影响，当样本产生的Loss越大导致梯度越大代表样本较难，当样本产生的Loss越小导致梯度越小代表样本较简单。
为了解决正负样本不均衡对训练的影响，本实施例中利用重加权后的正样本梯度和重加权后的负样本梯度，使得梯度比随着训练的进行由初始的不均衡数值（例如0.2）优化至趋近于1。
具体地，通过下式得到更新后的梯度比gt：
Figure SMS_27
，
Figure SMS_28
，
Figure SMS_29
，
Figure SMS_30
=grad
Figure SMS_31
target，
Figure SMS_32
=grad
Figure SMS_33
(1-target)，
grad=target
Figure SMS_34
(prob-1)+(1-target)
Figure SMS_35
prob，
其中，GReWeightpos(Loss)为重加权后的正样本梯度，GReWeightneg(Loss)为重加权后的负样本梯度，Gpos（Loss）为正样本梯度，Gneg（Loss）为负样本梯度，grad为原始梯度。
具体而言，本发明以加权平均的方式更新梯度比，即根据公式
Figure SMS_36
求出
Figure SMS_37
，并求出下个训练周期需要的
Figure SMS_38
、
Figure SMS_39
，最后判断更新后的梯度比
Figure SMS_40
与上一个训练周期的梯度比
Figure SMS_41
是否相等，若不相等，则使用上一个训练周期的损失函数更新多标签分类模型，并进行下一个训练周期的训练。并在当前训练周期更新梯度比后，逐渐平衡正负样本对所述多标签分类模型的影响，保存测试指标最高的多标签分类模型，其中，测试指标为precision(精确度)和recall(召回率)，最优模型（即预先训练好的多标签分类模型）的测试指标为：雷击(破损)precision：0.824，recall:0.781；匝丝绑扎异常precision：0.854，recall:0.882；脏污precision：0.954，recall:0.946。
需要说明的是，训练时会保留第一训练集中10%的数据作为测试集，测试集中的图片不进行训练，只用来计算测试指标。具体地，将测试集中的图像输入当前更新后的多标签分类模型，得到测试结果；根据测试结果计算精确度以及召回率，得到测试指标。
进一步地，将步骤S103中裁剪成预设尺寸的绝缘子图像输入预先训练好的多标签分类模型，输出第二检测结果，其中，第二检测结果包括绝缘子的属性分类。由此，通过多标签分类模型，判断绝缘子是否存在异常及绝缘子的异常类型。
需要说明的是，绝缘子缺陷检测方法还可包括：根据第二检测结果将存在缺陷的绝缘子在待检测图像中示出。
综上所述，该绝缘子缺陷检测方法，通过获取待检测图像；将待检测图像输入预先训练好的绝缘子目标检测模型，输出第一检测结果；若第一检测结果中包括绝缘子图像，则将绝缘子图像裁剪至预设尺寸；将裁剪后的绝缘子图像输入预先训练好的多标签分类模型，输出第二检测结果，其中，通过更新梯度比更新损失函数Loss，再根据上一个训练周期的损失函数更新多标签分类模型，能够解决正负样本不均衡的问题，提高多标签分类模型的学习能力，从而提高多标签分类模型的检测精度，及时判断供电线路中绝缘子存在的各种缺陷隐患。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述实施例的绝缘子缺陷检测方法。
本发明实施例的计算机可读存储介质，在其上存储的与上述绝缘子缺陷检测方法对应的计算机程序被处理器执行时，能够提高多标签分类模型的检测精度，及时判断供电线路中绝缘子存在的各种缺陷隐患。
本发明还提供了绝缘子缺陷检测设备，包括存储器、处理器以及存储在存储器上的计算机程序，计算机程序被处理器执行时，实现上述实施例的绝缘子缺陷检测方法。
本发明实施例的绝缘子缺陷检测设备，在其存储器上存储的与上述绝缘子缺陷检测方法对应的计算机程序被处理，能够提高多标签分类模型的检测精度，及时判断供电线路中绝缘子存在的各种缺陷隐患。
图7是本发明一个实施例的绝缘子缺陷检测系统的结构示意图。如图7所示，绝缘子缺陷检测系统100，应用上述的绝缘子缺陷检测方法，包括：图像采集单元10，绝缘子目标检测单元20，裁剪单元30和多标签分类单元40。
其中，图像采集单元10，用于采集待检测图像；绝缘子目标检测单元20，用于将待检测图像输入预先训练好的绝缘子目标检测模型，输出第一检测结果；裁剪单元30，用于在第一检测结果中包括绝缘子图像时，对绝缘子图像按照第一预设尺寸进行第一裁剪；多标签分类单元40，用于将进行第一裁剪后的绝缘子图像输入预先训练好的多标签分类模型，输出第二检测结果，其中，第二检测结果包括绝缘子的属性分类。
在该实施例中，多标签分类模型的训练过程如下：获取第一训练集，其中，第一训练集中的各图像具有第一标签，第一标签包括绝缘子目标框的中心点、宽度和高度；对第一训练集中的各图像按照第二预设尺寸进行第二裁剪，得到第二训练集，其中，第二训练集中的各图像为绝缘子图像；对第二训练集中的图像进行标注，得到第二标签，其中，第二标签包括绝缘子的属性分类；构建多标签分类模型；对第二训练集中的各图像进行随机裁剪与水平翻转和/或上下翻转的数据增强，将增强后的图像输入多标签分类模型，输出相应的属性分类结果；根据属性分类结果和对应的第二标签构建损失函数，根据损失函数训练多标签分类模型。
具体地，通过下式构建损失函数Loss：
Loss=BCE(prob,target)
Figure SMS_42
weight，
Figure SMS_43
，
Figure SMS_44
，
Figure SMS_45
，
Figure SMS_46
，
其中，prob为属性分类结果，target为第二标签，Wpos为正梯度重加权权重，Wneg为负梯度重加权权重，f(x)为映射函数，gt-1为上一个训练周期的梯度比。
通过下式得到更新后的梯度比gt：
Figure SMS_47
，
Figure SMS_48
，
Figure SMS_49
，
Figure SMS_50
=grad
Figure SMS_51
target，
Figure SMS_52
=grad
Figure SMS_53
(1-target)，
grad=target
Figure SMS_54
(prob-1)+(1-target)
Figure SMS_55
prob，
其中，GReWeightpos(Loss)为重加权后的正样本梯度，GReWeightneg(Loss)为重加权后的负样本梯度，Gpos（Loss）为正样本梯度，Gneg（Loss）为负样本梯度，grad为原始梯度。
进一步地，在当前训练周期更新梯度比后，逐渐平衡正负样本对所述多标签分类模型的影响，保存测试指标最高的多标签分类模型。
需要说明的是，本发明实施例的绝缘子缺陷检测系统的其他具体实施方式可参见本发明上述实施例的绝缘子缺陷检测方法的具体实施方式。
综上所述，该绝缘子缺陷检测系统，通过更新梯度比更新损失函数Loss，再根据上一个训练周期的损失函数更新多标签分类模型，能够解决正负样本不均衡的问题，提高多标签分类模型的学习能力，从而提高多标签分类模型的检测精度，及时判断供电线路中绝缘子存在的各种缺陷隐患。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种绝缘子缺陷检测方法，其特征在于，包括以下步骤：
获取待检测图像；
将所述待检测图像输入预先训练好的绝缘子目标检测模型，输出第一检测结果；
若所述第一检测结果中包括绝缘子图像，则对所述绝缘子图像按照第一预设尺寸进行第一裁剪；
将进行第一裁剪后的绝缘子图像输入预先训练好的多标签分类模型，输出第二检测结果，其中，所述第二检测结果包括绝缘子的属性分类；
其中，所述多标签分类模型的训练过程如下：
获取第一训练集，其中，所述第一训练集中的各图像具有第一标签，所述第一标签包括绝缘子目标框的中心点、宽度和高度；
对所述第一训练集中的各图像按照第二预设尺寸进行第二裁剪，得到第二训练集，其中，所述第二训练集中的各图像为绝缘子图像；
对所述第二训练集中的图像进行标注，得到第二标签，其中，所述第二标签包括绝缘子的属性分类；
构建多标签分类模型；
对所述第二训练集中的各图像进行随机裁剪与水平翻转和/或上下翻转的数据增强，将增强后的图像输入所述多标签分类模型，输出相应的属性分类结果；
根据所述属性分类结果和对应的第二标签构建损失函数，根据所述损失函数训练所述多标签分类模型；
通过下式构建损失函数Loss：
Loss=BCE(prob,target)
Figure QLYQS_1
weight，
Figure QLYQS_2
，
Figure QLYQS_3
，
Figure QLYQS_4
，
Figure QLYQS_5
，
其中，prob为所述属性分类结果，target为所述第二标签，Wpos为正梯度重加权权重，Wneg为负梯度重加权权重，f(x)为映射函数，gt-1为上一个训练周期的梯度比；
通过下式得到更新后的梯度比gt：
Figure QLYQS_6
，
Figure QLYQS_7
，
Figure QLYQS_8
，
Figure QLYQS_9
=grad
Figure QLYQS_10
target，
Figure QLYQS_11
=grad
Figure QLYQS_12
(1-target)，
grad=target
Figure QLYQS_13
(prob-1)+(1-target)
Figure QLYQS_14
prob，
其中，GReWeightpos(Loss)为重加权后的正样本梯度，GReWeightneg(Loss)为重加权后的负样本梯度，Gpos（Loss）为正样本梯度，Gneg（Loss）为负样本梯度，grad为原始梯度；
所述根据所述损失函数训练所述多标签分类模型，包括：
在当前训练周期更新梯度比后，逐渐平衡正负样本对所述多标签分类模型的影响，保存测试指标最高的多标签分类模型。
2.如权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述绝缘子目标检测模型的训练过程如下：
构建绝缘子目标检测模型；
利用所述第一训练集中图像训练所述绝缘子目标检测模型。
3.如权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述第一裁剪后的绝缘子图像中绝缘子的宽度与所述第一裁剪前的绝缘子图像中相应绝缘子的宽度的比值为1.111，所述第一裁剪后的绝缘子图像中绝缘子的高度与所述第一裁剪前的绝缘子图像中相应绝缘子的高度的比值为1.111；所述第二裁剪后的图像中绝缘子的宽度与所述第二裁剪前的图像中相应绝缘子的宽度的比值为1.222，所述第二裁剪后的图像中绝缘子的高度与所述第二裁剪前的图像中相应绝缘子的高度的比值为1.222。
4.如权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述方法还包括：
根据所述第二检测结果将存在缺陷的绝缘子在所述待检测图像中示出。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-4中任一项所述的绝缘子缺陷检测方法。
6.一种绝缘子缺陷检测设备，包括存储器、处理器以及存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现如权利要求1-4中任一项所述的绝缘子缺陷检测方法。
7.一种绝缘子缺陷检测系统，其特征在于，包括：
图像采集单元，用于采集待检测图像；
绝缘子目标检测单元，用于将所述待检测图像输入预先训练好的绝缘子目标检测模型，输出第一检测结果；
裁剪单元，用于在所述第一检测结果中包括绝缘子图像时，对所述绝缘子图像按照第一预设尺寸进行第一裁剪；
多标签分类单元，用于将进行第一裁剪后的绝缘子图像输入预先训练好的多标签分类模型，输出第二检测结果，其中，所述第二检测结果包括绝缘子的属性分类；
其中，所述多标签分类模型的训练过程如下：
获取第一训练集，其中，所述第一训练集中的各图像具有第一标签，所述第一标签包括绝缘子目标框的中心点、宽度和高度；
对所述第一训练集中的各图像按照第二预设尺寸进行第二裁剪，得到第二训练集，其中，所述第二训练集中的各图像为绝缘子图像；
对所述第二训练集中的图像进行标注，得到第二标签，其中，所述第二标签包括绝缘子的属性分类；
构建多标签分类模型；
对所述第二训练集中的各图像进行随机裁剪与水平翻转和/或上下翻转的数据增强，将增强后的图像输入所述多标签分类模型，输出相应的属性分类结果；
根据所述属性分类结果和对应的第二标签构建损失函数，根据所述损失函数训练所述多标签分类模型；
通过下式构建损失函数Loss：
Loss=BCE(prob,target)
Figure QLYQS_15
weight，
Figure QLYQS_16
，
Figure QLYQS_17
，
Figure QLYQS_18
，
Figure QLYQS_19
，
其中，prob为所述属性分类结果，target为所述第二标签，Wpos为正梯度重加权权重，Wneg为负梯度重加权权重，f(x)为映射函数，gt-1为上一个训练周期的梯度比；
通过下式得到更新后的梯度比gt：
Figure QLYQS_20
，
Figure QLYQS_21
，
Figure QLYQS_22
，
Figure QLYQS_23
=grad
Figure QLYQS_24
target，
Figure QLYQS_25
=grad
Figure QLYQS_26
(1-target)，
grad=target
Figure QLYQS_27
(prob-1)+(1-target)
Figure QLYQS_28
prob，
其中，GReWeightpos(Loss)为重加权后的正样本梯度，GReWeightneg(Loss)为重加权后的负样本梯度，Gpos（Loss）为正样本梯度，Gneg（Loss）为负样本梯度，grad为原始梯度；
所述根据所述损失函数训练所述多标签分类模型，包括：
在当前训练周期更新梯度比后，逐渐平衡正负样本对所述多标签分类模型的影响，保存测试指标最高的多标签分类模型。
CN202211529570.0A 2022-12-01 2022-12-01 绝缘子缺陷检测方法、系统、设备及存储介质 Active CN115546568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211529570.0A CN115546568B (zh) 2022-12-01 2022-12-01 绝缘子缺陷检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211529570.0A CN115546568B (zh) 2022-12-01 2022-12-01 绝缘子缺陷检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115546568A CN115546568A (zh) 2022-12-30
CN115546568B true CN115546568B (zh) 2023-03-10

Family

ID=84721886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211529570.0A Active CN115546568B (zh) 2022-12-01 2022-12-01 绝缘子缺陷检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115546568B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908404B (zh) * 2023-01-03 2023-05-12 合肥中科类脑智能技术有限公司 图像条纹干扰的检测方法、装置、电子设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2497592A1 (en) * 2004-03-31 2005-09-30 Chipworks Inc. Method and apparatus for producing a 3-d model of a semiconductor chip from mosaic images
DE102016224467A1 (de) * 2015-12-11 2017-06-14 Soitec Verfahren zur Erkennung von Defekten und dazugehörige Vorrichtung
CN109166094A (zh) * 2018-07-11 2019-01-08 华南理工大学 一种基于深度学习的绝缘子故障定位识别方法
CN109712112A (zh) * 2018-11-22 2019-05-03 中北大学 基于局部特征的航拍绝缘子图像的定位方法
CN110490261A (zh) * 2019-08-22 2019-11-22 河海大学常州校区 一种输电线路巡检图像绝缘子的定位方法
CN111402215A (zh) * 2020-03-07 2020-07-10 西南交通大学 一种基于鲁棒主成分分析法的接触网绝缘子状态检测方法
CN111583171A (zh) * 2020-02-19 2020-08-25 西安工程大学 融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法
CN112328823A (zh) * 2020-11-25 2021-02-05 Oppo广东移动通信有限公司 多标签分类模型的训练方法、装置、电子设备及存储介质
CN115205256A (zh) * 2022-07-14 2022-10-18 华北电力大学（保定） 一种融合迁移学习的输电线路绝缘子缺陷检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN111179262A (zh) * 2020-01-02 2020-05-19 国家电网有限公司 一种结合形状属性的电力巡检图像金具检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2497592A1 (en) * 2004-03-31 2005-09-30 Chipworks Inc. Method and apparatus for producing a 3-d model of a semiconductor chip from mosaic images
DE102016224467A1 (de) * 2015-12-11 2017-06-14 Soitec Verfahren zur Erkennung von Defekten und dazugehörige Vorrichtung
CN109166094A (zh) * 2018-07-11 2019-01-08 华南理工大学 一种基于深度学习的绝缘子故障定位识别方法
CN109712112A (zh) * 2018-11-22 2019-05-03 中北大学 基于局部特征的航拍绝缘子图像的定位方法
CN110490261A (zh) * 2019-08-22 2019-11-22 河海大学常州校区 一种输电线路巡检图像绝缘子的定位方法
CN111583171A (zh) * 2020-02-19 2020-08-25 西安工程大学 融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法
CN111402215A (zh) * 2020-03-07 2020-07-10 西南交通大学 一种基于鲁棒主成分分析法的接触网绝缘子状态检测方法
CN112328823A (zh) * 2020-11-25 2021-02-05 Oppo广东移动通信有限公司 多标签分类模型的训练方法、装置、电子设备及存储介质
CN115205256A (zh) * 2022-07-14 2022-10-18 华北电力大学（保定） 一种融合迁移学习的输电线路绝缘子缺陷检测方法及系统

Also Published As

Publication number Publication date
CN115546568A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
US11636289B2 (en) Method, apparatus, and device for classifying LiDAR point cloud data, and storage medium
CN109376768B (zh) 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法
CN111353413A (zh) 一种输电设备低漏报率缺陷识别方法
CN115546568B (zh) 绝缘子缺陷检测方法、系统、设备及存储介质
CN111598825B (zh) 数据处理方法、瑕疵的检测方法、计算设备及存储介质
CN110751642A (zh) 一种绝缘子裂缝检测方法和系统
CN111898247A (zh) 滑坡位移预测方法、设备及存储介质
CN115908407B (zh) 基于红外图像温度值的电力设备缺陷检测方法及装置
CN116030237A (zh) 工业缺陷检测方法、装置及电子设备、存储介质
CN116338392A (zh) 一种玻璃绝缘子雷击放电缺陷识别方法、装置及设备
CN113033451A (zh) 基于深度学习的架空线路故障识别方法及系统
CN115239642A (zh) 一种输电线路中小金具缺陷的检测方法、检测装置和设备
KR20180097282A (ko) 반도체 gp 예측 방법 및 시스템
CN113256608B (zh) 工件缺陷检测方法和装置
CN113012107B (zh) 电网缺陷检测方法及系统
CN114119528A (zh) 一种配电线路绝缘子的缺陷检测方法及装置
CN112802011A (zh) 一种基于vgg-bls的风机叶片缺陷检测方法
CN112419243A (zh) 一种基于红外图像分析的配电房设备故障识别方法
CN114663375B (zh) 基于小样本学习的浮空器主缆绳表面缺陷检测方法及系统
CN113486873B (zh) 一种基于大数据和人工智能的变电站设备巡检方法及系统
CN115861769A (zh) 塑壳缺陷检测模型的训练方法、塑壳缺陷检测方法及装置
CN115908295A (zh) 一种基于深度学习的电网绝缘子缺陷检测方法及系统
CN116152258B (zh) 一种输电线路绝缘子缺陷检测方法、装置、设备及介质
CN115439721B (zh) 电力设备异常少样本缺陷分类模型训练方法、装置
CN113947567B (zh) 基于多任务学习的缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant