CN112884715A - 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法 - Google Patents

一种基于深度学习的复合绝缘子均压环倾斜故障检测方法 Download PDF

Info

Publication number
CN112884715A
CN112884715A CN202110118736.9A CN202110118736A CN112884715A CN 112884715 A CN112884715 A CN 112884715A CN 202110118736 A CN202110118736 A CN 202110118736A CN 112884715 A CN112884715 A CN 112884715A
Authority
CN
China
Prior art keywords
composite insulator
grading ring
image
model
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110118736.9A
Other languages
English (en)
Inventor
田联房
高熠
杜启亮
高亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Original Assignee
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Zhuhai Institute of Modern Industrial Innovation of South China University of Technology filed Critical South China University of Technology SCUT
Priority to CN202110118736.9A priority Critical patent/CN112884715A/zh
Publication of CN112884715A publication Critical patent/CN112884715A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的复合绝缘子均压环倾斜故障检测方法，包括：1)搜集包含复合绝缘子的电力巡检图片构建数据集并进行数据扩充；3)训练得到实例分割模型并将分割得到的复合绝缘子的最小外接矩区域切割下来，旋转后使得复合绝缘子整体呈竖直方向，作为关键点检测数据集；4)标注关键点检测数据集中的均压环并做数据扩充；5)构建均压环关键点检测网络，不断调优训练；6)在测试推理阶段，通过关键点检测模型得到均压环两个关键点的坐标值，计算两点构成的直线角度及其与整体复合绝缘子之间的夹角，根据设定的阈值判断均压环的倾斜状态。本发明提高均压环倾斜故障检测的准确率并能在复杂背景下保持较好的鲁棒性。

Description

一种基于深度学习的复合绝缘子均压环倾斜故障检测方法
技术领域
本发明涉及图像模式识别与计算机视觉的技术领域，尤其是指一种基于深度学习的复合绝缘子均压环倾斜故障检测方法。
背景技术
绝缘子在输电网中是非常重要且常见的部件，起着绝缘以及支撑等作用，一旦出现故障，就会造成输电线之间或者与杆塔发生接触，从而导致供电中断的事故，对社会经济和民生带来很大的影响。因复合绝缘子串具有质量轻、抗污闪性能优、安装维护方便等优点，被广泛应用。但是复合绝缘子的外形结构比较特殊，绝缘子串与输电线的杆塔、导线等金属部件之间存在的杂散电容，导致绝缘子串间的电压分布不均匀，且电压等级越高，所需的绝缘子串片数越多，电压分布便越不均匀，以致电场分布严重畸变，导线端的绝缘子承担的电压较高，因此会出现击穿、放电、劣化和加速老化等现象。而解决这类问题的一个非常有效的方法便是在绝缘子串上安装均压环，其可以使最大场强从高压电极与第一片绝缘子片间转移到均压环的外侧，降低最大场强值，电场分布趋于均匀，从而较少了电晕损耗、漏电起痕和电蚀损现象的产生。
均压环安装时，与复合绝缘子片的端面相互平行且同心时效果最好，但是均压环长期暴露在野外，受强电场、机械应力和恶劣天气等的影响，极易发生倾斜。均压环倾斜，加剧了电场畸变，使得上部两个支撑架联板处更容易放电，削弱了对绝缘子表面的电场的屏蔽能力，加剧了端部局部电弧对绝缘子表面的腐蚀和污闪。而且均压环倾斜导致的放电也是致使均压环发生断裂、表面腐蚀的主要原因。因此及时检测到均压环倾斜故障，是电力运维中很重要的一部分工作。
目前对均压环的巡检以人工巡检方式为主，直升机、机器人和无人机巡检为辅，取决于人工对图像的判读，这种方式不仅效率低下，也需要大量的人力成本。近年来随着数字图像处理和以深度学习为主要方法的机器视觉的发展，图像识别和分割等方向取得了重大的成就，将这些技术应用到输电线均压环的巡检中是未来巡检的趋势。目前针对均压环的检测研究不多，常采用的是通过图像处理方法局部的轮廓特征进行识别，但从检测结果来看，该方法对均压环的检测轮廓不完整，无法实现很准确的定位，在复杂背景下不具有鲁棒性。也有研究运用Faster R-CNN目标检测网络实现对均压环的识别与定位，为了判断均压环是否倾斜，其采取的手段为：根据目标检测网络得到的定位框的坐标，对定位框进行人为的扩大如(xmax,xmin,ymax,ymin)分别改变30,-30,70,-10(正负代表方向)，对定位框扩大的目的是使得定位框能够包含完整的均压环以及包含部分绝缘子片，最后再使用Canny边缘检测算法对定位框中的局部图像进行边缘检测，识别图中椭圆形的均压环长轴两端端点坐标(x1,y1)、(x2,y2)和其中一片绝缘子两端端点坐标(x3,y3)、(x4,y4)，从而得到均压环和绝缘子片之间的夹角，理想情况下，两者夹角为0，因此两者夹角越大，意味着均压环倾斜故障越严重。该研究的算法存在的限制性在于对定位框的人为扩大，当巡检图片的分辨率很大或是绝缘子在图中的角度多样时，扩大的定位框不能保证可以包含进一个完整的绝缘子片，且基于Canny边缘检测算子的端点定位方法准确度与鲁棒性不高。
为了提高均压环倾斜故障检测的准确率并能在复杂背景下保持较好的鲁棒性，发明一种基于深度学习的复合绝缘子均压环倾斜故障检测方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的复合绝缘子均压环倾斜故障检测方法，首先运用实例分割算法分割得到包含均压环在内的复合绝缘子局部图像，再设计一种适合于均压环关键点检测的深度学习网络模型(称为关键点检测模型)，并不断调参重复训练，提高均压环长轴两端端点的定位精度，最后再根据均压环两端端点坐标计算得到的直线角度和复合绝缘子整体角度两者的夹角，设定阈值判断倾斜状态，整个方法提高均压环倾斜故障检测的准确率并能在复杂背景下保持较好的鲁棒性。
为实现上述目的，本发明所提供的技术方案为：一种基于深度学习的复合绝缘子均压环倾斜故障检测方法，包括以下步骤：
1)收集电力巡检过程中拍摄的电力设备可见光图，整理出其中主要含有复合绝缘子的图片来构建实例分割数据集，运用图像标注工具labelme人工标注复合绝缘子所在区域；
2)利用数据增强算法对实例分割数据集进行数据扩充，增大数据量；
3)使用实例分割模型对实例分割数据集进行训练，得到能够精确分割出复合绝缘子所在区域的实例分割模型，运用该模型对实例分割数据集中的每张图片进行分割，并将分割得到的区域切割保存下来，汇总成为关键点检测数据集；
4)运用图像标注工具labelme人工标注关键点检测数据集中均压环长轴两端的端点作为关键点，每张图片生成一个标注文件，使用数据增强算法进行数据扩充；
5)针对关键点检测数据集，设计一个适合于均压环关键点检测的深度学习模型，称为关键点检测模型，设定不同的参数对模型进行调试训练，保存得到在验证集中表现最好的关键点检测模型；
6)在测试推理阶段，将以上训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的复合绝缘子图片输入训练好的实例分割模型中，将分割结果的区域切割下来即局部复合绝缘子区域，输入到训练好的关键点检测模型中，得到图中均压环所在位置两个关键点的坐标值，根据两点的坐标值，计算两点构成的直线的角度，并计算其与整体复合绝缘子之间的夹角，最后根据设定的阈值判断均压环的倾斜状态。
在步骤1)中，为了步骤3)中切割出来的复合绝缘子所在区域尽可能地不包含背景，标注范围为整串复合绝缘子的最小外接多边形，且保证包含完整的均压环。
在步骤2)中，利用数据增强算法对图像进行数据扩充，包括：
a、随机图像旋转：旋转的角度在-20度到+20度之间随机选取；
b、随机图像裁剪：随机裁剪出整幅图像的五分之四；
c、随机水平翻转；
d、随机对比度与色彩转变。
在步骤3)中，采用的实例分割模型为Yolact++，该模型是一阶段的实时实例分割模型Yolact的改进版，进一步提高了整体模型的运行速度以及分割精确度；该模型将实例分割分成两个并行的子任务：一是生成一组原型掩膜，二是预测每个掩膜的系数，最后再将原型掩膜和掩膜的系数进行线性组合来生成实例掩膜；运用训练好的该模型对实例分割数据集中的每张图片进行分割，便能够得到每张图片中各个复合绝缘子所在区域的掩膜以及其最小外接矩对应的图像部分，假设为R，计算掩膜二值图的角度也就是图像中复合绝缘子的朝向角度，并利用该角度对R和掩膜进行旋转，使得R中的复合绝缘子整体处于竖直方向，最后根据掩膜将R中复合绝缘子所在的最小外接矩区域切割出来作为关键点检测部分的图像数据，这样处理的好处是切割下来的图像区域将最小程度地包含图像背景，且复合绝缘子都处在竖直的方向，减小了关键点检测模型将要学习的场景复杂度。
在步骤4)中，均压环在现实当中为一个圆环，但在二维的图像当中呈现出的是椭圆形的形状，为了方便计算均压环的朝向角度，运用图像标注工具labelme人工标注椭圆形均压环长轴两端的端点为关键点，标注类型选择为point，且标注关键点的时候需要注意顺序，当复合绝缘子整体朝上时，均压环左边的端点为第一个关键点，右边的端点为第二个关键点，以便于后续计算关键点坐标回归的时候与预测出来的坐标点相互对应；为了避免模型过拟合以及提高模型的泛化能力，使用数据增强算法进行数据扩充，包括：
a、随机水平或者垂直翻转；
b、随机对比度与色彩转变。
在步骤5)中，关键点检测数据集中的图片只包含一个复合绝缘子以及其均压环，而均压环在图中总是呈现出椭圆形，与图片其它部分相比识别度大，因此只需要设计一个轻量的适合于均压环关键点检测的深度学习网络模型即可，称为关键点检测模型，具体情况如下：
a、网络结构
将输入图像大小调整插值到一个固定的宽高，但要保证输入到网络中的图像宽高都为16的倍数，假设网络输入的图像规格为[b×3×h×w]，其中b为batch size，3为图片的RGB三个通道数，h为图片的高，w为图片的宽；
整个网络结构分成2个主要部分：特征提取骨干网络backbone和关键点坐标回归网络coord_head，各部分具体含义及详细结构如下：
特征提取骨干网络backbone的作用是提取特征，参考的是在人体姿态估计中效果好且被广泛应用的HourglassNet，HourglassNet采用类似沙漏的下采样-上采样结构的基础模块Hourglass模块串接而成，通过Hourglass模块对称结构进行特征提取，使得网络不断重复自底向上和自顶向下的特征传递过程，从而整合局部和全局信息，捕捉不同尺度下的特征，更好地获取关键点之间的相对关系；特征提取骨干网络backbone由两个部分组成，第一部分的主要作用为将输入图像的通道数由3转换为128，具体网络设计采用的是两层的卷积核为1×1的二维卷积，第一层卷积将通道数变为64，第二层卷积将通道数变为128，即经过第一部分的两层二维卷积之后，网络中的数据流规格变为[b×128×h×w]；第二部分使用的是一个经典的Hourglass模块，该模块的下采样的左侧结构主要是卷积层和下采样池化层，目的是对图像特征进行提取，同时不断降低特征图的分辨率，以滤除冗余特征，学习鲁棒性更强的特征信息；而右侧的上采样结构主要由卷积层和上采样层构成，以恢复到与左侧特征图相同的分辨率，从而能够通过相同尺寸的特征图融合，来实现对底层和高层特征的信息融合，提高对关键点定位的精度；经过第二部分的Hourglass模块后，网络中的数据流规格依然为[b×128×h×w]；
关键点坐标回归分支coord_head的作用为直接回归得到图中关键点的坐标以及各坐标预测为关键点的置信度；该分支需要设定一个超参数N，因均压环只有两个关键点，因此令N＝2；该分支以特征提取骨干网络backbone的输出作为输入，其网络结构主要有第一卷积层、第一最大池化层、第二卷积层、第二最大池化层以及一个平均池化层；第一卷积层的参数为输出通道数为64，卷积核为3×3，步长为1，padding为1，即通过第一卷积层后数据流规格变为[b×64×h×w]；通过第一最大池化层后数据流规格变为[b×64×h/2×w/2]；第二卷积层的输出通道数设为N*3，因此通过第二卷积层后数据流规格变为[b×(N*3)×h/2×w/2]；通过第二最大池化层后数据流规格变为[b×(N*3)×h/4×w/4]；经过最后的平均池化层后数据流规格变为[b×(N*3)×1×1]；也就是每一张图将会有N*3个预测输出，其中前2*N个输出代表的是N个关键点的坐标，后面的N个输出是对应关键点坐标被预测为关键点的置信度；
b、损失函数设计
训练过程中的多任务损失Loss由两部分损失组成，分别定义为Coordloss和Scoreloss，各损失的具体计算方法如下：
为了帮助模型的学习，有利于模型的拟合，训练模型的时候除了传进去标注文件中关键点的坐标之外，还需将根据关键点坐标生成的高斯热图heatmapgen传进去，以便在计算分类置信度损失的时候使用；生成图片P的高斯热图heatmapgen的方法是：使用labelme标注好图片P的关键点后，会生成一个包含关键点坐标列表[(pointx1,pointy1),...,(pointxk,pointyk),...,(pointxn,pointyn)]的标注文件，n为关键点个数，为每一个关键点生成一个高斯热图，最后将所有的高斯热图对应位置加和得到最终的高斯热图，即：
Figure BDA0002921254470000071
其中，i为行坐标，j为纵坐标，且0≤i＜w,0≤y＜h，w为图片P的宽度，h为图片P的高度，heatmapgen_k为第k个关键点(pointxk,pointyk)生成的高斯热图，具体定义如下：
Figure BDA0002921254470000072
Figure BDA0002921254470000073
其中，δ为高斯函数调节因子；
Coordloss计算的是预测的关键点坐标的损失，借鉴Fast RCNN中采用的Smooth-L1-Loss损失，令(txk,tyk)表示预测的第k个坐标，(vxk,vyk)为对应的标注的关键点坐标：
Figure BDA0002921254470000081
其中smoothL1函数的定义如下，x为自变量：
Figure BDA0002921254470000082
Scoreloss计算的是预测的各关键点坐标的置信度p^与heatmapgen中对应位置的值p*之间的交叉熵损失；
Scoreloss＝-p*log(p^)
总的训练损失为两部分损失之和，设两者比重分别为α和β，得：
Loss＝α*Coordloss+β*Scoreloss
c、设置训练参数
模型所有层均采用Kaiming参数初始化方法，设置实验优化器为Adam，初始学习率设为0.001。
在步骤6)中，在测试推理阶段，将训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的复合绝缘子图片输入训练好的实例分割模型中，将分割结果的区域切割下来即局部复合绝缘子区域，输入到训练好的关键点检测模型中，得到图中均压环所在位置两个关键点的坐标值(x1,y1)、(x2,y2)；实例分割之后已经根据分割掩膜的方向将复合绝缘子旋转至竖直方向，理想情况下无倾斜的均压环端面应与复合绝缘子整体朝向垂直，即均压环两个关键点所连成的直线应该为一条水平线，当均压环有倾斜故障时，两个关键点连成的直线会与水平方向有一个夹角，夹角越大，说明倾斜故障程度越严重；计算两个关键点连成的直线与水平方向形成的夹角角度θ的方法如下：
Figure BDA0002921254470000083
最后再设定一个角度阈值，当θ大于该阈值时，则判断均压环为倾斜故障，需要检修。
本发明与现有技术相比，具有如下优点与有益效果：
1、相对使用传统的数字图像处理算法识别与定位均压环而言，本发明使用深度学习的实例分割模型更具备通用性，且能够在复杂的背景下精确定位均压环。
2、现有技术使用目标检测算法得到均压环的定位框，再依据多次实验的经验人为地扩大定位框以包含绝缘子片，以便在后续处理中计算绝缘子片与均压环之间的夹角，该方法不仅需要耗费很多时间来做实验确定扩大定位框的方式，扩大后的定位框也不能保证大部分情况下都能将邻近绝缘子片包含进来，以至于后续处理无法进行。而本发明使用实例分割模型直接将包含均压环在内的复合绝缘子全部分割出来，便不存在以上问题，泛化性能好。
3、同样，采用Canny边缘检测识别均压环两端端点的方法精确度较低，难以满足后续计算角度所需要的高精度要求。而本发明设计了一个轻量的适合于均压环关键点检测的深度学习网络模型(称为关键点检测模型)，不仅能够达到实时的要求，同时能够精确地定位均压环两端的关键点。
附图说明
图1为本发明方法流程图。
图2为关键点检测模型训练与测试流程图。
图3为均压环与绝缘子片端面夹角示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1至图3所示，本实施例所提供的基于深度学习的复合绝缘子均压环倾斜故障检测方法，包括以下步骤：
1)电力公司积累下来的电力巡检红外图中包含有各式各样的电力设备，在本发明中只整理并使用那些其中主要目标为复合绝缘子且均压环完整可见的可见光图。为了步骤3)中切割出来的复合绝缘子所在区域尽可能地不包含背景，标注范围为整串复合绝缘子的最小外接多边形，且保证包含完整的均压环。得到实例分割数据集。
2)为了避免模型过拟合以及提高模型的泛化能力，利用数据增强算法对实例分割数据集进行数据扩充，包括(全部步骤的随机概率皆为0.5)：
a、随机图像旋转：旋转的角度在-20度到+20度之间随机选取；
b、随机图像裁剪：随机裁剪出整幅图像的五分之四；
c、随机水平翻转；
d、随机对比度与色彩转变。
3)使用实例分割模型对实例分割数据集进行训练，得到能够精确分割出包含均压环在内的复合绝缘子所在区域的实例分割模型。
本实施例采用的实例分割模型为Yolact++，该模型是一阶段的实时实例分割模型Yolact的改进版，进一步提高了整体模型的运行速度以及分割精确度，使得mAP等指标达到了接近二阶段实例分割网络Mask RCNN的水平。该模型将实例分割分成两个并行的子任务：一是生成一组原型掩膜，二是预测每个掩膜的系数，最后再将原型掩膜和掩膜的系数进行线性组合来生成实例掩膜。训练该模型时，各种超参数的设定参照Yolact++论文中试验出来的最佳参数，只需根据训练数据集中图片的规格大小修改输入到网络中的图片长和宽以及修改最终输出的类别名和类别数为1即可。运用训练好的该模型对实例分割数据集中的每张图片进行分割，便可以得到每张图片中各个复合绝缘子所在区域的掩膜以及其最小外接矩对应的图像部分(假设为R)，计算掩膜二值图的角度(也就是图像中该复合绝缘子的朝向角度)，并利用该角度对R和掩膜进行旋转，使得R中的复合绝缘子整体处于竖直方向，最后根据掩膜将R中复合绝缘子所在的最小外接矩区域切割出来作为关键点检测部分的图像数据。得到关键点检测数据集。
4)运用图像标注工具labelme人工标注椭圆形均压环长轴两端的端点为关键点，标注类型选择为point，且需要注意标注的顺序，本实施例采用的方法为当复合绝缘子整体竖直朝上时，均压环左边的端点为第一个关键点，右边的端点为第二个关键点，以便于后续计算关键点坐标回归的时候与预测出来的坐标点相互对应。同样的为了避免模型过拟合以及提高模型的泛化能力，使用数据增强算法进行数据扩充，包括(全部步骤的随机概率皆为0.5)：
a、随机水平或者垂直翻转；
b、随机对比度与色彩转变。
5)经过上述步骤处理后，关键点检测数据集中的图片只包含一个复合绝缘子以及其均压环，而均压环在图中总是呈现出椭圆形，与图片其它部分相比识别度较大，因此只需要设计一个轻量的适合于均压环关键点检测的深度学习网络模型即可，称为关键点检测模型，具体情况如下：
a、网络结构
经统计，关键点检测数据集中的图片宽高比大约为1:5，因此输入网络前，将输入图像大小调整插值到宽为112像素，高为560像素，即网络输入的图像规格为[b×3×560×112](其中b为batch size，3为图片的RGB三个通道数)。
整个网络结构分成2个主要部分：特征提取骨干网络backbone和关键点坐标回归网络coord_head，各部分具体含义及详细结构如下：
特征提取骨干网络backbone的作用是提取特征，参考的是在人体姿态估计中效果较好且被广泛应用的HourglassNet，HourglassNet采用类似沙漏的下采样-上采样结构的基础模块Hourglass模块串接而成，通过Hourglass模块对称结构进行特征提取，使得网络不断重复自底向上和自顶向下的特征传递过程，从而整合局部和全局信息，捕捉不同尺度下的特征，更好地获取关键点之间的相对关系。在本发明中，特征提取骨干网络backbone由两个部分组成，第一部分的主要作用为将输入图像的通道数由3转换为128，具体网络设计采用的是两层的卷积核为1×1的二维卷积，第一层卷积将通道数变为64，第二层卷积将通道数变为128，即经过第一部分的两层二维卷积之后，网络中的数据流规格变为[b×128×560×112]。第二部分使用的是一个经典的Hourglass模块，该模块的下采样的左侧结构主要是卷积层和下采样池化层，目的是对图像特征进行提取，同时不断降低特征图的分辨率，以滤除冗余特征，学习鲁棒性更强的特征信息；而右侧的上采样结构主要由卷积层和上采样层构成，以恢复到与左侧特征图相同的分辨率，从而可以通过相同尺寸的特征图融合，来实现对底层和高层特征的信息融合，大大提高对关键点定位的精度。经过第二部分的Hourglass模块后，网络中的数据流规格依然为[b×128×560×112]。
关键点坐标回归分支coord_head的作用为直接回归得到图中关键点的坐标以及各坐标预测为关键点的置信度。该分支需要设定一个超参数N，因均压环只有两个关键点，因此令N＝2。该分支以特征提取骨干网络backbone的输出作为输入，网络结构主要有第一卷积层、第一最大池化层、第二卷积层、第二最大池化层以及一个平均池化层。第一卷积层的参数为输出通道数为64，卷积核为3×3，步长为1，padding为1，即通过第一卷积层后数据流规格变为[b×64×560×112]；通过第一最大池化层后数据流规格变为[b×64×280×56]；第二卷积层的输出通道数设为N*3，因此通过第二卷积层后数据流规格变为[b×(N*3)×280×56]；通过第二最大池化层后数据流规格变为[b×(N*3)×140×28]；经过最后的平均池化层后数据流规格变为[b×(N*3)×1×1]。也就是每一张图将会有N*3个预测输出，其中前2*N个输出代表的是N个关键点的坐标，后面的N个输出是对应关键点坐标被预测为关键点的置信度。
b、损失函数设计
训练过程中的多任务损失Loss由两部分损失组成，分别定义为Coordloss和Scoreloss，各损失的具体计算方法如下：
为了帮助网络的学习，有利于网络的拟合，训练网络的时候除了传进去标注文件中关键点的坐标之外，还需将根据关键点坐标生成的高斯热图heatmapgen传进去，以便在计算分类置信度损失的时候使用；生成图片P的高斯热图heatmapgen的方法是：使用labelme标注好图片P的关键点后，会生成一个包含关键点坐标列表[(pointx1,pointy1),...,(pointxk,pointyk),...,(pointxn,pointyn)]的标注文件，n为关键点个数，为每一个关键点生成一个高斯热图，最后将所有的高斯热图对应位置加和得到最终的高斯热图，即：
Figure BDA0002921254470000131
其中，i为行坐标，j为纵坐标，且0≤i＜w,0≤y＜h，w为图片P的宽度，h为图片P的高度，heatmapgen_k为第k个关键点(pointxk,pointyk)生成的高斯热图，具体定义如下：
Figure BDA0002921254470000132
Figure BDA0002921254470000133
其中，δ为高斯函数调节因子；
Coordloss计算的是预测的关键点坐标的损失，借鉴Fast RCNN中采用的Smooth-L1-Loss损失，令(txk,tyk)表示预测的第k个坐标，(vxk,vyk)为对应的标注的关键点坐标：
Figure BDA0002921254470000141
其中smoothL1函数的定义如下，x为自变量：
Figure BDA0002921254470000142
Scoreloss计算的是预测的各关键点坐标的置信度p^与heatmapgen中对应位置的值p*之间的交叉熵损失；
Scoreloss＝-p*log(p^)
总的训练损失为两部分损失之和，由于该网络的主要目的为检测得到关键点的坐标值，因此坐标回归损失的比重应该更大一些，本实施例设置两者损失比重为7:3，即：
Loss＝0.7*Coordloss+0.3*Scoreloss
c、设置训练参数
模型所有层均采用Kaiming参数初始化方法，设置实验优化器为Adam，初始学习率设为0.001。
6)在测试推理阶段，将以上训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的复合绝缘子图片输入训练好的实例分割模型中，将分割结果的区域切割下来(即局部复合绝缘子区域)输入到训练好的关键点检测模型中，得到图中均压环所在位置两个关键点的坐标值(x1,y1)、(x2,y2)。从步骤3)可知，实例分割之后已经根据分割掩膜的方向将复合绝缘子旋转至竖直方向，理想情况下无倾斜的均压环端面应与复合绝缘子整体朝向垂直，即均压环两个关键点所连成的直线应该为一条水平线，当均压环有倾斜故障时，两个关键点连成的直线会与水平方向有一个夹角，夹角越大，说明倾斜故障程度越严重。计算两个关键点连成的直线与水平方向形成的夹角角度θ的方法如下：
Figure BDA0002921254470000151
在输电线路运行过程中，均压环相对于复合绝缘子的倾斜角不超过7.5°，依据此设定当0≤θ≤7.5°时，均压环状态正常，当θ超过阈值7.5°时，则需要进行检修。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (7)

1.一种基于深度学习的复合绝缘子均压环倾斜故障检测方法，其特征在于，包括以下步骤：
1)收集电力巡检过程中拍摄的电力设备可见光图，整理出其中主要含有复合绝缘子的图片来构建实例分割数据集，运用图像标注工具labelme人工标注复合绝缘子所在区域；
2)利用数据增强算法对实例分割数据集进行数据扩充，增大数据量；
3)使用实例分割模型对实例分割数据集进行训练，得到能够精确分割出复合绝缘子所在区域的实例分割模型，运用该模型对实例分割数据集中的每张图片进行分割，并将分割得到的区域切割保存下来，汇总成为关键点检测数据集；
4)运用图像标注工具labelme人工标注关键点检测数据集中均压环长轴两端的端点作为关键点，每一张图生成一个标注文件，使用数据增强算法进行数据扩充；
5)针对关键点检测数据集，设计一个适合于均压环关键点检测的深度学习网络模型，称为关键点检测模型，设定不同的参数对模型进行调试训练，保存得到在验证集中表现最好的关键点检测模型；
6)在测试推理阶段，将以上训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的复合绝缘子图片输入训练好的实例分割模型中，将分割结果的区域切割下来即局部复合绝缘子区域，输入到训练好的关键点检测模型中，得到图中均压环所在位置两个关键点的坐标值，根据两点的坐标值，计算两点构成的直线的角度，并计算其与整体复合绝缘子之间的夹角，最后根据设定的阈值判断均压环的倾斜状态。
2.根据权利要求1所述的一种深度学习的复合绝缘子均压环倾斜故障检测方法，其特征在于，在步骤1)中，为了步骤3)中切割出来的复合绝缘子所在区域尽可能地不包含背景，标注范围为整串复合绝缘子的最小外接多边形，且保证包含完整的均压环。
3.根据权利要求1所述的一种深度学习的复合绝缘子均压环倾斜故障检测方法，其特征在于，在步骤2)中，利用数据增强算法对图像进行数据扩充，包括：
a、随机图像旋转：旋转的角度在-20度到+20度之间随机选取；
b、随机图像裁剪：随机裁剪出整幅图像的五分之四；
c、随机水平翻转；
d、随机对比度与色彩转变。
4.根据权利要求1所述的一种深度学习的复合绝缘子均压环倾斜故障检测方法，其特征在于，在步骤3)中，采用的实例分割模型为Yolact++，该模型是一阶段的实时实例分割模型Yolact的改进版，进一步提高了整体模型的运行速度以及分割精确度；该模型将实例分割分成两个并行的子任务：一是生成一组原型掩膜，二是预测每个掩膜的系数，最后再将原型掩膜和掩膜的系数进行线性组合来生成实例掩膜；运用训练好的该模型对实例分割数据集中的每张图片进行分割，便能够得到每张图片中各个复合绝缘子所在区域的掩膜以及其最小外接矩对应的图像部分，假设为R，计算掩膜二值图的角度也就是图像中复合绝缘子的朝向角度，并利用该角度对R和掩膜进行旋转，使得R中的复合绝缘子整体处于竖直方向，最后根据掩膜将R中复合绝缘子所在的最小外接矩区域切割出来作为关键点检测部分的图像数据，这样处理的好处是切割下来的图像区域将最小程度地包含图像背景，且复合绝缘子都处在竖直的方向，减小了关键点检测模型将要学习的场景复杂度。
5.根据权利要求1所述的一种深度学习的复合绝缘子均压环倾斜故障检测方法，其特征在于，在步骤4)中，均压环在现实当中为一个圆环，但在二维的图像当中呈现出的是椭圆形的形状，为了方便计算均压环的朝向角度，运用图像标注工具labelme人工标注椭圆形均压环长轴两端的端点为关键点，标注类型选择为point，且标注关键点的时候需要注意顺序，当复合绝缘子整体朝上时，均压环左边的端点为第一个关键点，右边的端点为第二个关键点，以便于后续计算关键点坐标回归的时候与预测出来的坐标点相互对应；为了避免模型过拟合以及提高模型的泛化能力，使用数据增强算法进行数据扩充，包括：
a、随机水平或者垂直翻转；
b、随机对比度与色彩转变。
6.根据权利要求1所述的一种深度学习的复合绝缘子均压环倾斜故障检测方法，其特征在于，在步骤5)中，关键点检测数据集中的图片只包含一个复合绝缘子以及其均压环，而均压环在图中总是呈现出椭圆形，与图片其它部分相比识别度大，因此只需要设计一个轻量的适合于均压环关键点检测的深度学习网络模型即可，称为关键点检测模型，具体情况如下：
a、网络结构
将输入图像大小调整插值到一个固定的宽高，但要保证输入到网络中的图像宽高都为16的倍数，假设网络输入的图像规格为[b×3×h×w]，其中b为batch size，3为图片的RGB三个通道数，h为图片的高，w为图片的宽；
整个网络结构分成2个主要部分：特征提取骨干网络backbone和关键点坐标回归网络coord_head，各部分具体含义及详细结构如下：
特征提取骨干网络backbone的作用是提取特征，参考的是在人体姿态估计中效果好且被广泛应用的HourglassNet，HourglassNet采用类似沙漏的下采样-上采样结构的基础模块Hourglass模块串接而成，通过Hourglass模块对称结构进行特征提取，使得网络不断重复自底向上和自顶向下的特征传递过程，从而整合局部和全局信息，捕捉不同尺度下的特征，更好地获取关键点之间的相对关系；特征提取骨干网络backbone由两个部分组成，第一部分的主要作用为将输入图像的通道数由3转换为128，具体网络设计采用的是两层的卷积核为1×1的二维卷积，第一层卷积将通道数变为64，第二层卷积将通道数变为128，即经过第一部分的两层二维卷积之后，网络中的数据流规格变为[b×128×h×w]；第二部分使用的是一个经典的Hourglass模块，该模块的下采样的左侧结构主要是卷积层和下采样池化层，目的是对图像特征进行提取，同时不断降低特征图的分辨率，以滤除冗余特征，学习鲁棒性更强的特征信息；而右侧的上采样结构主要由卷积层和上采样层构成，以恢复到与左侧特征图相同的分辨率，从而能够通过相同尺寸的特征图融合，来实现对底层和高层特征的信息融合，提高对关键点定位的精度；经过第二部分的Hourglass模块后，网络中的数据流规格依然为[b×128×h×w]；
关键点坐标回归分支coord_head的作用为直接回归得到图中关键点的坐标以及各坐标预测为关键点的置信度；该分支需要设定一个超参数N，因均压环只有两个关键点，因此令N＝2；该分支以特征提取骨干网络backbone的输出作为输入，其网络结构主要有第一卷积层、第一最大池化层、第二卷积层、第二最大池化层以及一个平均池化层；第一卷积层的参数为输出通道数为64，卷积核为3×3，步长为1，padding为1，即通过第一卷积层后数据流规格变为[b×64×h×w]；通过第一最大池化层后数据流规格变为[b×64×h/2×w/2]；第二卷积层的输出通道数设为N*3，因此通过第二卷积层后数据流规格变为[b×(N*3)×h/2×w/2]；通过第二最大池化层后数据流规格变为[b×(N*3)×h/4×w/4]；经过最后的平均池化层后数据流规格变为[b×(N*3)×1×1]；也就是每一张图将会有N*3个预测输出，其中前2*N个输出代表的是N个关键点的坐标，后面的N个输出是对应关键点坐标被预测为关键点的置信度；
b、损失函数设计
训练过程中的多任务损失Loss由两部分损失组成，分别定义为Coordloss和Scoreloss，各损失的具体计算方法如下：
为了帮助网络的学习，有利于网络的拟合，训练网络的时候除了传进去标注文件中关键点的坐标之外，还需将根据关键点坐标生成的高斯热图heatmapgen传进去，以便在计算分类置信度损失的时候使用；生成图片P的高斯热图heatmapgen的方法是：使用labelme标注好图片P的关键点后，会生成一个包含关键点坐标列表[(po int x1,po int y1),...,(po intxk,po int yk),...,(po int xn,po int yn)]的标注文件，n为关键点个数，为每一个关键点生成一个高斯热图，最后将所有的高斯热图对应位置加和得到最终的高斯热图，即：
Figure FDA0002921254460000051
其中，i为行坐标，j为纵坐标，且0≤i＜w,0≤y＜h，w为图片P的宽度，h为图片P的高度，heatmapgen_k为第k个关键点(po int xk,po int yk)生成的高斯热图，具体定义如下：
Figure FDA0002921254460000052
Figure FDA0002921254460000053
其中，δ为高斯函数调节因子；
Coordloss计算的是预测的关键点坐标的损失，借鉴Fast RCNN中采用的Smooth-L1-Loss损失，令(txk,tyk)表示预测的第k个坐标，(vxk,vyk)为对应的标注的关键点坐标：
Figure FDA0002921254460000061
其中smoothL1函数的定义如下，x为自变量：
Figure FDA0002921254460000062
Scoreloss计算的是预测的各关键点坐标的置信度p^与heatmapgen中对应位置的值p*之间的交叉熵损失；
Scoreloss＝-p*log(p^)
总的训练损失为两部分损失之和，设两者比重分别为α和β，得：
Loss＝α*Coordloss+β*Scoreloss
c、设置训练参数
模型所有层均采用Kaiming参数初始化方法，设置实验优化器为Adam，初始学习率设为0.001。
7.根据权利要求1所述的一种深度学习的复合绝缘子均压环倾斜故障检测方法，其特征在于，在步骤6)中，在测试推理阶段，将训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的复合绝缘子图片输入训练好的实例分割模型中，将分割结果的区域切割下来即局部复合绝缘子区域，输入到训练好的关键点检测模型中，得到图中均压环所在位置两个关键点的坐标值(x1,y1)、(x2,y2)；实例分割之后已经根据分割掩膜的方向将复合绝缘子旋转至竖直方向，理想情况下无倾斜的均压环端面应与复合绝缘子整体朝向垂直，即均压环两个关键点所连成的直线应该为一条水平线，当均压环有倾斜故障时，两个关键点连成的直线会与水平方向有一个夹角，夹角越大，说明倾斜故障程度越严重；计算两个关键点连成的直线与水平方向形成的夹角角度θ的方法如下：
Figure FDA0002921254460000071
最后再设定一个角度阈值，当θ大于该阈值时，则判断均压环为倾斜故障，需要检修。
CN202110118736.9A 2021-01-28 2021-01-28 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法 Pending CN112884715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110118736.9A CN112884715A (zh) 2021-01-28 2021-01-28 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110118736.9A CN112884715A (zh) 2021-01-28 2021-01-28 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法

Publications (1)

Publication Number Publication Date
CN112884715A true CN112884715A (zh) 2021-06-01

Family

ID=76053558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110118736.9A Pending CN112884715A (zh) 2021-01-28 2021-01-28 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法

Country Status (1)

Country Link
CN (1) CN112884715A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902733A (zh) * 2021-10-29 2022-01-07 广东电网有限责任公司江门供电局 一种基于关键点检测的间隔棒缺陷检测方法
CN114397306A (zh) * 2022-03-25 2022-04-26 南方电网数字电网研究院有限公司 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法
CN114460086A (zh) * 2021-12-15 2022-05-10 国网河北省电力有限公司电力科学研究院 一种倾斜耐张绝缘子串的检测方法
CN115115590A (zh) * 2022-06-23 2022-09-27 华南理工大学 基于旋转RetinaNet的复合绝缘子过热缺陷检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034184A (zh) * 2018-06-07 2018-12-18 广西电网有限责任公司玉林供电局 一种基于深度学习的均压环检测识别方法
CN111008959A (zh) * 2019-11-22 2020-04-14 江苏方天电力技术有限公司 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
CN111598889A (zh) * 2020-05-26 2020-08-28 南方电网数字电网研究院有限公司 均压环倾斜故障的识别方法、装置、计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034184A (zh) * 2018-06-07 2018-12-18 广西电网有限责任公司玉林供电局 一种基于深度学习的均压环检测识别方法
CN111008959A (zh) * 2019-11-22 2020-04-14 江苏方天电力技术有限公司 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
CN111598889A (zh) * 2020-05-26 2020-08-28 南方电网数字电网研究院有限公司 均压环倾斜故障的识别方法、装置、计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张施令: "模糊神经网络应用于巡检机器...径规划及绝缘子视觉图像处理", 《电工技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902733A (zh) * 2021-10-29 2022-01-07 广东电网有限责任公司江门供电局 一种基于关键点检测的间隔棒缺陷检测方法
CN114460086A (zh) * 2021-12-15 2022-05-10 国网河北省电力有限公司电力科学研究院 一种倾斜耐张绝缘子串的检测方法
CN114460086B (zh) * 2021-12-15 2023-08-15 国网河北省电力有限公司电力科学研究院 一种倾斜耐张绝缘子串的检测方法
CN114397306A (zh) * 2022-03-25 2022-04-26 南方电网数字电网研究院有限公司 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法
CN115115590A (zh) * 2022-06-23 2022-09-27 华南理工大学 基于旋转RetinaNet的复合绝缘子过热缺陷检测方法
CN115115590B (zh) * 2022-06-23 2024-03-08 华南理工大学 基于旋转RetinaNet的复合绝缘子过热缺陷检测方法

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN112884715A (zh) 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN112233092A (zh) 一种用于无人机电力巡检智能缺陷检测的深度学习方法
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN112750125B (zh) 一种基于端到端关键点检测的玻璃绝缘子片定位方法
CN111709397B (zh) 一种基于多头自注意力机制的无人机变尺寸目标检测方法
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN111462057B (zh) 一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法
CN112348758B (zh) 一种光学遥感图像数据增强方法及目标识别方法
CN111598854A (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
CN112711981A (zh) 一种高精度输电线路缺陷识别方法
CN115953408A (zh) 一种基于YOLOv7的避雷器表面缺陷检测方法
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN116503336A (zh) 一种基于深度学习的路面裂缝检测方法
CN112837281B (zh) 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN114596273B (zh) 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法
CN111797925B (zh) 一种电力系统视觉图像分类方法及装置
CN114299354A (zh) 一种基于旋转框识别网络的绝缘子检测定位方法
CN115205302A (zh) 一种基于深度学习的遥感图像分割的修补方法
Huang et al. Multi-scale feature pair based R-CNN method for defect detection
CN114359167B (zh) 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法
Liu et al. Improving the Insulator and Self-Explosion Detection Algorithm of YOLOv5s
CN118505672A (zh) 一种基于改进YOLOv8神经网络的输电线路绝缘子设备及其缺陷检测方法
CN115984245A (zh) 一种基于无人机平台的电路缺陷智能检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210601