CN111047554B - 一种基于实例分割的复合绝缘子过热缺陷检测方法 - Google Patents

一种基于实例分割的复合绝缘子过热缺陷检测方法 Download PDF

Info

Publication number
CN111047554B
CN111047554B CN201911104286.7A CN201911104286A CN111047554B CN 111047554 B CN111047554 B CN 111047554B CN 201911104286 A CN201911104286 A CN 201911104286A CN 111047554 B CN111047554 B CN 111047554B
Authority
CN
China
Prior art keywords
temperature
composite insulator
image
loss
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911104286.7A
Other languages
English (en)
Other versions
CN111047554A (zh
Inventor
田联房
高熠
杜启亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Original Assignee
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Zhuhai Institute of Modern Industrial Innovation of South China University of Technology filed Critical South China University of Technology SCUT
Priority to CN201911104286.7A priority Critical patent/CN111047554B/zh
Publication of CN111047554A publication Critical patent/CN111047554A/zh
Application granted granted Critical
Publication of CN111047554B publication Critical patent/CN111047554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明公开了一种基于实例分割的复合绝缘子过热缺陷检测方法，包括步骤：1)数据集的构建与标注；2)利用数据增强算法对图像进行数据扩充；3)改进深度神经网络实例分割模型，以匹配特定复合绝缘子场景下的数据集并训练；4)利用红外摄像仪获取原始热红外图像，导入训练好的模型，分割得到初步ROI区域，并进行优化；5)从原始热红外图像中获取含有图中每一像素点温度的温度分布矩阵；6)根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度信息，找到最高温及其位置，计算最高温与参考环境温度的温差，通过看温差有没有超过阈值来进行复合绝缘子是否存在过热缺陷的判断。通过本发明可以提高复合绝缘子过热缺陷检测的准确率。

Description

一种基于实例分割的复合绝缘子过热缺陷检测方法
技术领域
本发明涉及图像模式识别与人工智能的技术领域，尤其是指一种基于实例分割的复合绝缘子过热缺陷检测方法。
背景技术
复合绝缘子是一种电压致热型电力设备，随着其内部绝缘出现缺陷及老化等，会出现局部放电现象从而引起局部温度的升高。也就是说，根据复合绝缘子是否出现发热现象便可实时快速地获知其运行状态，还可以根据发热程度判定故障的严重程度，帮助电力检修部门的工作人员确定合适的维修方案。
随着电力设备故障诊断技术的不断研究与突破，借助红外热像仪的设备状态带电检测技术快速发展，并凭借着其安全、非接触、不停电、准确直观等优势，在国内各运行维护单位普及程度很高，成为了确保电力系统安全稳定的重要技术手段。以往我国输电线路的巡视一般采取人工巡视方式，这种方式不仅效率低下，还会对工作人员的人身安全带来威胁，近几年来，我国加大了无人机巡线技术的研发投入，目前国内大部分电力公司检修部门开始采用无人机巡检方式。自然而然地，红外摄像仪成为了搭载在电力巡检无人机上面的常规设备，电力公司因此收集了大量的复合绝缘子红外图。
目前电力公司使用的复合绝缘子过热缺陷检测的方法主要是将巡检中拍摄的原始热红外图导入到红外热像仪配套的红外图分析软件如FLIR中，根据热像图中的不同温度呈现的不同颜色初步判断该复合绝缘子是否存在发热现象，若不存在，则认为设备正常，若发现发热异常部分则使用分析软件中的工具获取复合绝缘子发热区域的最高温，以复合绝缘子串中部最低温作为环境参考温度计算温差，若温差大于设定的阈值，则判断复合绝缘子存在过热缺陷，并根据温差超过阈值的程度判定发热程度如一般过热缺陷、重大过热缺陷和紧急过热缺陷。这种人工判断的方法存在不准确又耗时耗力的弊端，因此有的研究人员通过图像处理技术分割出红外图中的复合绝缘子并根据分割出的区域温度信息判断发热状态，其采用的图像分割方法大多是经典的最大类间方差法及最大熵阈值法等，由于绝缘子图像中通常包含有山川、树木、河流及道路等复杂的背景，这类传统的图像分割方法通常不可避免地将背景分割进来，从而导致误检。
综合以上论述，发明一种适应复杂背景的复合绝缘子过热缺陷自动检测方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于实例分割的复合绝缘子过热缺陷检测方法，主要利用数据增强算法扩充深度学习训练数据，再改进现有的深度神经网络实例分割模型以匹配特定复合绝缘子场景下的数据集，并不断调参重复训练，提高复合绝缘子过热缺陷检测的准确率。
为实现上述目的，本发明所提供的技术方案为：一种基于实例分割的复合绝缘子过热缺陷检测方法，包括以下步骤：
1)收集电力巡检过程中拍摄的电力设备红外图，整理出其中含有复合绝缘子的原始热红外图构建原始训练数据集，运用图像标注工具人工标注复合绝缘子芯棒及伞盘部分；
2)利用数据增强算法对所有原始训练数据集进行数据扩充，增大数据量，形成训练数据集；
3)改进现有的深度神经网络实例分割模型，以匹配特定复合绝缘子场景下的数据集，设定不同的参数对模型进行调试训练，保存在验证集中表现最好的模型；
4)使用待检测的复合绝缘子原始热红外图输入保存好的深度神经网络实例分割模型中，得到分割出来的复合绝缘子所在的初步ROI区域，再使用图像处理方法对分割出来的区域做进一步优化处理，剔除误分割出来的背景像素，获得最终的ROI区域；
5)从原始热红外图像中获取含有图中每一像素点温度的温度分布矩阵；
6)根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度信息，找到最高温及其位置，计算最高温与参考环境温度的温差，若温差低于设定的阈值，则判断复合绝缘子不存在过热缺陷；若温差大于设定的阈值，则判断复合绝缘子存在过热缺陷，并根据温差超过阈值的程度判定发热程度，有：一般过热缺陷、重大过热缺陷和紧急过热缺陷。
在步骤1)中，复合绝缘子发热只发生在芯棒区域，但是为了丰富标注区域的特征，提高检测和分割的精度，标注区域需扩展到伞盘部分。
在步骤2)中，利用数据增强算法对图像进行数据扩充，包括以下步骤：
2.1)随机图像旋转
对复合绝缘子的原始热红外图像进行随机旋转，旋转的角度在-20度到+20度之间随机选取；
2.2)随机图像裁剪
随机裁剪出整幅图像的五分之四；
2.3)随机翻转
对图像进行随机水平翻转；
2.4)图像大小归一化
使用双线性插值方法将图像转换为适合神经网络输入的标准大小。
在步骤3)中，在Mask R-CNN深度学习网络原有框架基础上做进一步改进，包括以下步骤：
3.1)网络结构
输入图像为640×512×1；
整个网络结构分成5个主要部分：骨干网络backbone、neck、区域建议网络头部rpn_head、bbox_head、掩膜分支mask_head，各部分具体含义如下；
backbone的主要作用是提取特征，选择的是resnet50，resnet50共有5个阶段，第一阶段C1输出为320×256×64，第二个阶段C2输出为160×128×256，第三阶段C3输出为80×64×512，第四阶段C4输出为40×32×1024，第五阶段C5输出为20×16×2048；由于训练集图片的数量少，为了避免模型的过拟合，在网络结构中采用批量归一化层，并使用在ImageNet上的预训练模型进行初始化；
neck的主要作用是融合高低层特征，选择的是特征金字塔网络FPN，其结构中自顶向下的过程采用上采样进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合，融合之后接着采用3×3的卷积对每个融合结果进行卷积，目的是消除上采样的混叠效应，FPN输出5个不同尺度的特征图层；
rpn_head的主要作用是生成候选框，在FPN输出的每个不同尺度的特征图层，分别定义大小为8×8、16×16、32×32、64×64、128×128的锚框，用anchor表示，另外每个尺度层都有3种长宽比：1:2、1:1、2:1，所以整个特征金字塔有15种规格的anchor；前景类候选框的定义为与ground truth的IoU大于0.5的anchor；区域建议网络rpn结构分为两条线，一条通过softmax对anchor进行二分类即前景或者背景的两类，另一条对anchor的边界框偏移量回归，以获得精确的候选框；将候选框按照前景置信度从高到低排序，选取前2000个放到一起，接着对这些候选框做阈值为0.7的非极大值抑制，只留下前1000个候选框输入到后续的网络；
得到候选框之后接着进行RoI Align，将不同大小的框映射成固定的7×7特征矩阵，RoI Align能保证候选框与提取出的特征之间的对齐性，从而大大提升了像素级别的分割精度，RoI Align得到的7×7个候选框特征输入到的bbox_head、mask_head中；
这里的bbox_head是三个级联的R-CNN，IoU阈值的设定分别是0.5、0.6、0.7，用一个R-CNN网络的输出去训练下一个R-CNN网络，不断优化检测与分割的结果；每个R-CNN网络通过全连接层和softmax计算每个候选框具体属于哪个类别的概率向量，并再次利用边界框回归获得每个候选框的位置偏移量，用于回归得到更加精确的目标检测框，最后检测分数前100的区域进行掩膜检测即分割；
mask_head与Faster R-CNN中的分类分支以及边界框回归分支相平行，为全卷积网络，该分支为每一类输出一张掩膜预测图；
3.2)设置损失函数
训练过程中的损失loss分为两部分，分别是Rpnloss、Maskloss；
Rpnloss的定义与Faster R-CNN中RPN部分的损失函数定义相同，唯一改变的地方是当一个anchor与任意一个ground truth的IoU大于0.5时，便被定义为前景候选框，而Faster R-CNN中的该阈值为0.7；
Maskloss是一个多任务损失函数，具体定义如下：
Maskloss＝Lloss+Lloss+Lmask
式中，Lcls表示候选框分类损失，Lbox表示边界框坐标回归损失，Lmask为掩膜分支损失；
候选框分类损失Lcls和边界框坐标回归损失Lbox的定义与Fast R-CNN中的一致；Lmask计算掩膜分支的损失，该分支为每一类输出一张掩膜预测图；输出的k个预测图中，只有对应ground truth类别的那个预测图对Maskloss有影响，且损失形式为平均二值交叉熵损失，其中k为类别数；
3.3)设置训练参数
除了backbone的参数使用ImageNet预训练模型初始化外，其它层皆采用均值为0，标注差为0.01的高斯分布进行初始化；设置实验优化器为SGD，动量momentum为0.9、学习率为0.0025、批次大小为32张；
3.4)设置训练完成标志
设置训练完成标志为已达迭代次数；
3.5)保存神经网络模型
训练完成后，将深度神经网络实例分割模型的结构和权重保存。
在步骤4)中，将待检测的复合绝缘子的原始热红外图像输入保存好的神经网络实例分割模型中，得到分割出来的复合绝缘子所在的初步ROI区域，初步得到的分割区域是粗糙的，含有背景像素；考虑到复合绝缘子发热现象只会出现在芯棒部分，而芯棒宽度只占复合绝缘子总宽度的六分之一，因此只需保留初步分割结果的中间部分区域即可，其余部分皆视为背景区域，具体的实施方式是对分割出来的每个复合绝缘子实例的初步ROI区域进行图像处理的骨架化操作，得到初步ROI区域的中间路径像素，中间路径像素一个接着一个紧紧连着，描绘出初步ROI区域的走向，接着计算初步ROI区域沿着骨架走向的平均宽度，并取该平均宽度的八分之一作为半径，以该半径在每个中间路径像素所在位置画圆，所有圆圈的交集作为最终分割的ROI区域；上述操作能够看做是沿着骨架走向两边填充，并保证填充的区域仍然在芯棒所在区域之内，这样便能够避免将背景像素分割进来而导致误检。
在步骤5)中，使用20张原始热红外图像来拟合红外摄像仪中导出的原始热红外图像本身带有的与温度相关的热量信息和温度值存在的对应关系，具体方法是使用exiftool工具提取原始热红外图像中的RawThermalImage字段信息即图片热量信息，得到最大热量值Rmax与最小热量值Rmin，另外将相同的原始热红外图像输入到拍摄得到该红外图像的红外热像仪配套的红外图分析软件中，得到该红外图的最大温度值Tmax与最小温度值Tmin，Rmax与Tmax对应，Rmin与Tmin对应，即每张原始热红外图像能够得到2个对应量，20张便能够得到40个对应量，对应量中热量值作为自变量，温度值作为因变量输入到matlab中使用最小二乘法进行拟合，发现热量值与温度值之间呈线性关系，因此能够直接从原始热红外图像中获得整幅图的温度分布矩阵。
在步骤6)中，根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度信息，找到最高温及其位置，计算最高温与参考环境温度的温差，温差的阈值设为1℃，温差小于或等于1℃，则判定为无过热缺陷；若温差大于1℃，则温差在(1,3]℃间，判定为一般过热缺陷；温差在(3,5]℃间，判定为重大过热缺陷；温差大于等于5℃间，判定为紧急过热缺陷；其中，参考环境温度的计算方法是根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度，对这些温度进行从高到低的排序，取后面三分之一的平均温度作为参考环境温度。
本发明与现有技术相比，具有如下优点与有益效果：
1、采用多种简单实用的技巧改进网络，有效解决了深度神经网络容易过拟合的缺点并提高模型在复合绝缘子场景下的表现。
2、直接从原始热红外图像中提取热量信息，并根据其与实际温度值的对应关系获得图像上每一像素点的温度值。
3、深度神经网络模型相比传统图像分割准确度高，泛化性好，受图像背景影响小。
附图说明
图1为本发明方法流程图。
图2为实例分割网络训练与测试流程图。
图3为分割与检测效果图；图中(a)为复合绝缘子原始热红外图像，(b)为分割效果图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1至图3所示，本实施例所提供的基于实例分割的复合绝缘子过热缺陷检测方法，包括以下步骤：
1)收集电力巡检过程中拍摄的电力设备红外图，整理出其中含有复合绝缘子的原始热红外图构建原始训练数据集，运用专门的图像标注工具人工标注复合绝缘子芯棒及伞盘部分。
电力公司积累下来的电力巡检红外图中包含有各式各样的电力设备，在本发明中只整理并使用那些其中主要目标为复合绝缘子的原始热红外图并构成原始训练数据集。接着运用专门的图像标注工具对训练集图片进行人工标注，需说明的一点是：复合绝缘子芯棒及伞盘部分复合绝缘子发热只发生在芯棒区域，但是为了丰富标注区域的特征，提高检测和分割的精度，标注区域需扩展到伞盘部分。
2)利用数据增强算法对所有原始训练数据集进行数据扩充，增大数据量，形成训练数据集。
为了避免模型过拟合以及提高模型的泛化能力，因此利用数据增强算法对所有原始训练数据集进行数据扩充，扩充的方法包括以下步骤：
2.1)随机图像旋转
对复合绝缘子原始热红外图像进行随机旋转，旋转的角度在-20度到+20度之间随机选取。
2.2)随机图像裁剪
随机裁剪出整幅图像的五分之四。
2.3)随机翻转
对图像进行随机水平翻转。
2.4)图像大小归一化
使用双线性插值方法将图像转换为适合神经网络输入的标准大小。
3)改进现有的深度神经网络实例分割模型，以匹配特定复合绝缘子场景下的数据集，设定不同的参数对模型进行调试训练，保存在验证集中表现最好的模型。
本实施例在深度学习领域广泛应用的Mask R-CNN深度学习网络原有框架基础上做进一步改进，该网络在实例分割的精度和计算效率上具有显著的优势。Mask R-CNN网络的设计比较简单，其在Faster R-CNN基础上，在原本的两个分支上(分类与边界框回归)增加了一个分支进行语义分割，其次对ROI Pooling层进行了改进，提出ROI Align方法，在下采样的时候，对像素进行对准，使得像素分割更准确一些。
在本实施例中，借鉴论文Feature Pyramid Networks for Object Detection与Cascade R-CNN的思想，对经典网络Mask R-CNN的改进主要体现在两部分：一是将FPN放在RPN网络中，融合不同层的特征，在FPN输出的不同特征层上进行独立预测，提高候选框预测的准确度；二是级联三个R-CNN，IoU阈值的设定分别是0.5、0.6、0.7，用一个R-CNN网络的输出去训练下一个R-CNN网络，不断优化检测与分割的结果，具体网络结构及算法流程描述如下：
3.1)网络结构
输入图像为640×512×1。
整个网络结构分成5个主要部分：骨干网络backbone、neck、区域建议网络头部rpn_head、bbox_head、掩膜分支mask_head，各部分具体含义如下；
backbone的主要作用是提取特征，本实施例选择的是resnet50。resnet50共有5个阶段，第一阶段C1输出为320×256×64，第二个阶段C2输出为160×128×256，第三阶段C3输出为80×64×512，第四阶段C4输出为40×32×1024，第五阶段C5输出为20×16×2048。由于训练集图片的数量较少，为了避免模型的过拟合，在网络结构中采用批量归一化层，并使用在ImageNet上的预训练模型进行初始化。
neck的主要作用是融合高低层特征，本实施例的neck是FPN，其结构中自顶向下的过程采用上采样进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合，融合之后接着采用3×3的卷积对每个融合结果进行卷积，目的是消除上采样的混叠效应。FPN输出5个不同尺度的特征图层。
rpn_head的主要作用是生成候选框。在FPN输出的每个不同尺度的特征图层，分别定义大小为8×8、16×16、32×32、64×64、128×128的anchor，另外每个尺度层都有3中长宽比：1:2、1:1、2:1，所以整个特征金字塔有15种规格的anchor。前景类候选框的定义为与ground truth的IoU大于0.5。区域建议网络网络rpn结构分为两条线，一条通过softmax对anchor进行二分类即前景或者背景的两类，另一条对anchor的边界框偏移量回归，以获得精确的候选框。将候选框按照前景置信度从高到低排序，选取前2000个放到一起，接着对这些候选框做阈值为0.7的非极大值抑制，只留下前1000个候选框输入到后续的网络。
得到候选框之后接着进行RoI Align，将不同大小的框映射成固定的7×7特征矩阵，RoI Align能保证候选框与提取出的特征之间的对齐性，从而大大提升像素级别的分割精度。RoI Align得到的7×7个候选框特征输入到的bbox_head、mask_head中。
这里的bbox_head是三个级联的R-CNN，IoU阈值的设定分别是0.5、0.6、0.7，用一个R-CNN网络的输出去训练下一个R-CNN网络，不断优化检测与分割的结果。每个R-CNN网络通过全连接层和softmax计算每个候选框具体属于哪个类别的概率向量，并再次利用边界框回归获得每个候选框的位置偏移量，用于回归得到更加精确的目标检测框。最后检测分数前100的区域进行掩膜检测即分割。
mask_head与Faster R-CNN中的分类分支以及边界框回归分支相平行，为全卷积网络，该分支为每一类输出一张掩膜预测图。
3.2)设置损失函数
训练过程中的损失loss分为两部分，分别是Rpnloss、Maskloss；
Rpnloss的定义与Faster R-CNN中RPN部分的损失函数定义相同，唯一改变的地方是当一个anchor与任意一个ground truth的IoU大于0.5时，便被定义为前景候选框，而Faster R-CNN中的该阈值为0.7；
Maskloss是一个多任务损失函数，具体定义如下：
Maskloss＝Lloss+Lloss+Lmask
式中，Lcls表示候选框分类损失，Lbox表示边界框坐标回归损失，Lmask为掩膜分支损失；
候选框分类损失Lcls和边界框坐标回归损失Lbox的定义与Fast R-CNN中的一致；Lmask计算掩膜分支的损失，该分支为每一类输出一张掩膜预测图；输出的k个预测图中，只有对应ground truth类别的那个预测图对Maskloss有影响，且损失形式为平均二值交叉熵损失，其中k为类别数；
3.3)设置训练参数
除了backbone的参数使用ImageNet预训练模型初始化外，其他层皆采用均值为0，标注差为0.01的高斯分布进行初始化。设置实验优化器为SGD，动量momentum为0.9、学习率为0.0025、批次大小为32张。
3.4)设置训练完成标志
设置训练完成标志为已达迭代次数。
3.5)保存神经网络模型
训练完成后，将深度神经网络实例分割模型的结构和权重保存。
4)使用待检测的复合绝缘子原始热红外图输入保存好的神经网络实例分割模型中，得到分割出来的复合绝缘子所在的初步ROI区域，再使用传统图像处理方法对分割出来的区域做进一步优化处理，剔除误分割出来的背景像素，获得最终的ROI区域。
将待检测的复合绝缘子原始热红外图像输入保存好的神经网络实例分割模型中，得到分割出来的复合绝缘子所在的初步ROI区域，初步得到的分割区域较为粗糙，含有背景像素。考虑到复合绝缘子发热现象只会出现在芯棒部分，而芯棒宽度只占复合绝缘子总宽度的六分之一左右，因此只需保留初步分割结果的中间部分区域即可，其余部分皆视为背景区域。具体的实施方式是对分割出来的每个复合绝缘子实例的初步ROI区域进行传统图像处理的骨架化操作，得到初步ROI区域的中间路径像素，中间路径像素一个接着一个紧紧连着，描绘出初步ROI区域的走向。接着计算初步ROI区域沿着骨架走向的平均宽度，并取该平均宽度的八分之一作为半径，以该半径在每个中间路径像素所在位置画圆，所有圆圈的交集作为最终分割的ROI区域，该操作可以看作是沿着骨架走向向两边填充，并保证填充的区域仍然在芯棒所在区域之内，这样便可以避免将背景像素分割进来而导致误检。
5)从原始热红外图像中获取含有图中每一像素点温度的温度分布矩阵。
使用20张原始热红外图像来拟合红外摄像仪中导出的原始热红外图像本身带有的与温度相关的热量信息和温度值存在的对应关系，具体方法是使用exiftool工具提取原始热红外图像中的RawThermalImage字段信息即图片热量信息，得到最大热量值Rmax与最小热量值Rmin，另外将相同的原始热红外图像输入到拍摄得到该红外图像的红外热像仪配套的红外图分析软件中，得到该红外图的最大温度值Tmax与最小温度值Tmin，Rmax与Tmax对应，Rmin与Tmin对应，即每张原始热红外图像能够得到2个对应量，20张便能够得到40个对应量，对应量中热量值作为自变量，温度值作为因变量输入到matlab中使用最小二乘法进行拟合，发现热量值与温度值之间呈线性关系，因此能够直接从原始热红外图像中获得整幅图的温度分布矩阵。
6)根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度信息，找到最高温及其位置，计算最高温与参考环境温度的温差，若温差低于设定的阈值，则判断复合绝缘子不存在过热缺陷；若温差大于设定的阈值，则判断复合绝缘子存在过热缺陷，并根据温差超过阈值的程度判定发热程度如一般过热缺陷、重大过热缺陷和紧急过热缺陷，如下：
根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度信息，找到最高温及其位置，计算最高温与参考环境温度的温差，温差的阈值设为1℃，温差小于等于1℃，则判定为无过热缺陷。若温差大于1℃，则温差在(1,3]℃间，判定为一般过热缺陷；温差在(3,5]℃间，判定为重大过热缺陷；温差大于等于5℃间，判定为紧急过热缺陷。参考环境温度的计算方法是根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度，对这些温度进行从高到低的排序，取后面三分之一的平均温度作为参考环境温度。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于实例分割的复合绝缘子过热缺陷检测方法，其特征在于，包括以下步骤：
1)收集电力巡检过程中拍摄的电力设备红外图，整理出其中含有复合绝缘子的原始热红外图构建原始训练数据集，运用图像标注工具人工标注复合绝缘子芯棒及伞盘部分；
2)利用数据增强算法对所有原始训练数据集进行数据扩充，增大数据量，形成训练数据集；
3)改进现有的深度神经网络实例分割模型，以匹配特定复合绝缘子场景下的数据集，设定不同的参数对模型进行调试训练，保存在验证集中表现最好的模型；
在Mask R-CNN深度学习网络原有框架基础上做进一步改进，包括以下步骤：
3.1)网络结构
输入图像为640×512×1；
整个网络结构分成5个主要部分：骨干网络backbone、neck、区域建议网络头部rpn_head、bbox_head、掩膜分支mask_head，各部分具体含义如下；
backbone的主要作用是提取特征，选择的是resnet50，resnet50共有5个阶段，第一阶段C1输出为320×256×64，第二个阶段C2输出为160×128×256，第三阶段C3输出为80×64×512，第四阶段C4输出为40×32×1024，第五阶段C5输出为20×16×2048；由于训练集图片的数量少，为了避免模型的过拟合，在网络结构中采用批量归一化层，并使用在ImageNet上的预训练模型进行初始化；
neck的主要作用是融合高低层特征，选择的是特征金字塔网络FPN，其结构中自顶向下的过程采用上采样进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合，融合之后接着采用3×3的卷积对每个融合结果进行卷积，目的是消除上采样的混叠效应，FPN输出5个不同尺度的特征图层；
rpn_head的主要作用是生成候选框，在FPN输出的每个不同尺度的特征图层，分别定义大小为8×8、16×16、32×32、64×64、128×128的锚框，用anchor表示，另外每个尺度层都有3种长宽比：1:2、1:1、2:1，所以整个特征金字塔有15种规格的anchor；前景类候选框的定义为与ground truth的IoU大于0.5的anchor；区域建议网络rpn结构分为两条线，一条通过softmax对anchor进行二分类即前景或者背景的两类，另一条对anchor的边界框偏移量回归，以获得精确的候选框；将候选框按照前景置信度从高到低排序，选取前2000个放到一起，接着对这些候选框做阈值为0.7的非极大值抑制，只留下前1000个候选框输入到后续的网络；
得到候选框之后接着进行RoI Align，将不同大小的框映射成固定的7×7特征矩阵，RoI Align能保证候选框与提取出的特征之间的对齐性，从而提升像素级别的分割精度，RoI Align得到的7×7个候选框特征输入到的bbox_head、mask_head中；
这里的bbox_head是三个级联的R-CNN，IoU阈值的设定分别是0.5、0.6、0.7，用一个R-CNN网络的输出去训练下一个R-CNN网络，不断优化检测与分割的结果；每个R-CNN网络通过全连接层和softmax计算每个候选框具体属于哪个类别的概率向量，并再次利用边界框回归获得每个候选框的位置偏移量，用于回归得到更加精确的目标检测框，最后检测分数前100的区域进行掩膜检测即分割；
mask_head与Faster R-CNN中的分类分支以及边界框回归分支相平行，为全卷积网络，该分支为每一类输出一张掩膜预测图；
3.2)设置损失函数
训练过程中的损失loss分为两部分，分别是Rpnloss、Maskloss；
Rpnloss的定义与Faster R-CNN中RPN部分的损失函数定义相同，唯一改变的地方是当一个anchor与任意一个ground truth的IoU大于0.5时，便被定义为前景候选框，而Faster R-CNN中的该阈值为0.7；
Maskloss是一个多任务损失函数，具体定义如下：
Maskloss＝Lloss+Lloss+Lmask
式中，Lcls表示候选框分类损失，Lbox表示边界框坐标回归损失，Lmask为掩膜分支损失；
候选框分类损失Lcls和边界框坐标回归损失Lbox的定义与Fast R-CNN中的一致；Lmask计算掩膜分支的损失，该分支为每一类输出一张掩膜预测图；输出的k个预测图中，只有对应ground truth类别的那个预测图对Maskloss有影响，且损失形式为平均二值交叉熵损失，其中k为类别数；
3.3)设置训练参数
除了backbone的参数使用ImageNet预训练模型初始化外，其它层皆采用均值为0，标注差为0.01的高斯分布进行初始化；设置实验优化器为SGD，动量momentum为0.9、学习率为0.0025、批次大小为32张；
3.4)设置训练完成标志
设置训练完成标志为已达迭代次数；
3.5)保存神经网络模型
训练完成后，将深度神经网络实例分割模型的结构和权重保存；
4)使用待检测的复合绝缘子原始热红外图输入保存好的深度神经网络实例分割模型中，得到分割出来的复合绝缘子所在的初步ROI区域，再使用图像处理方法对分割出来的区域做进一步优化处理，剔除误分割出来的背景像素，获得最终的ROI区域；
5)从原始热红外图像中获取含有图中每一像素点温度的温度分布矩阵；
6)根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度信息，找到最高温及其位置，计算最高温与参考环境温度的温差，若温差低于设定的阈值，则判断复合绝缘子不存在过热缺陷；若温差大于设定的阈值，则判断复合绝缘子存在过热缺陷，并根据温差超过阈值的程度判定发热程度，有：一般过热缺陷、重大过热缺陷和紧急过热缺陷。
2.根据权利要求1所述的一种基于实例分割的复合绝缘子过热缺陷检测方法，其特征在于，在步骤1)中，复合绝缘子发热只发生在芯棒区域，但是为了丰富标注区域的特征，提高检测和分割的精度，标注区域需扩展到伞盘部分。
3.根据权利要求1所述的一种基于实例分割的复合绝缘子过热缺陷检测方法，其特征在于，在步骤2)中，利用数据增强算法对图像进行数据扩充，包括以下步骤：
2.1)随机图像旋转
对复合绝缘子的原始热红外图像进行随机旋转，旋转的角度在-20度到+20度之间随机选取；
2.2)随机图像裁剪
随机裁剪出整幅图像的五分之四；
2.3)随机翻转
对图像进行随机水平翻转；
2.4)图像大小归一化
使用双线性插值方法将图像转换为适合神经网络输入的标准大小。
4.根据权利要求1所述的一种基于实例分割的复合绝缘子过热缺陷检测方法，其特征在于，在步骤4)中，将待检测的复合绝缘子的原始热红外图像输入保存好的神经网络实例分割模型中，得到分割出来的复合绝缘子所在的初步ROI区域，初步得到的分割区域是粗糙的，含有背景像素；考虑到复合绝缘子发热现象只会出现在芯棒部分，而芯棒宽度只占复合绝缘子总宽度的六分之一，因此只需保留初步分割结果的中间部分区域即可，其余部分皆视为背景区域，具体的实施方式是对分割出来的每个复合绝缘子实例的初步ROI区域进行图像处理的骨架化操作，得到初步ROI区域的中间路径像素，中间路径像素一个接着一个紧紧连着，描绘出初步ROI区域的走向，接着计算初步ROI区域沿着骨架走向的平均宽度，并取该平均宽度的八分之一作为半径，以该半径在每个中间路径像素所在位置画圆，所有圆圈的交集作为最终分割的ROI区域；上述操作能够看做是沿着骨架走向两边填充，并保证填充的区域仍然在芯棒所在区域之内，这样便能够避免将背景像素分割进来而导致误检。
5.根据权利要求1所述的一种基于实例分割的复合绝缘子过热缺陷检测方法，其特征在于，在步骤5)中，使用20张原始热红外图像来拟合红外摄像仪中导出的原始热红外图像本身带有的与温度相关的热量信息和温度值存在的对应关系，具体方法是使用exiftool工具提取原始热红外图像中的RawThermalImage字段信息即图片热量信息，得到最大热量值Rmax与最小热量值Rmin，另外将相同的原始热红外图像输入到拍摄得到该红外图像的红外热像仪配套的红外图分析软件中，得到该红外图的最大温度值Tmax与最小温度值Tmin，Rmax与Tmax对应，Rmin与Tmin对应，即每张原始热红外图像能够得到2个对应量，20张便能够得到40个对应量，对应量中热量值作为自变量，温度值作为因变量输入到matlab中使用最小二乘法进行拟合，发现热量值与温度值之间呈线性关系，因此能够直接从原始热红外图像中获得整幅图的温度分布矩阵。
6.根据权利要求1所述的一种基于实例分割的复合绝缘子过热缺陷检测方法，其特征在于，在步骤6)中，根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度信息，找到最高温及其位置，计算最高温与参考环境温度的温差，温差的阈值设为1℃，温差小于或等于1℃，则判定为无过热缺陷；若温差大于1℃，则温差在(1,3]℃间，判定为一般过热缺陷；温差在(3,5]℃间，判定为重大过热缺陷；温差大于等于5℃间，判定为紧急过热缺陷；其中，参考环境温度的计算方法是根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度，对这些温度进行从高到低的排序，取后面三分之一的平均温度作为参考环境温度。
CN201911104286.7A 2019-11-13 2019-11-13 一种基于实例分割的复合绝缘子过热缺陷检测方法 Active CN111047554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911104286.7A CN111047554B (zh) 2019-11-13 2019-11-13 一种基于实例分割的复合绝缘子过热缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911104286.7A CN111047554B (zh) 2019-11-13 2019-11-13 一种基于实例分割的复合绝缘子过热缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111047554A CN111047554A (zh) 2020-04-21
CN111047554B true CN111047554B (zh) 2023-04-07

Family

ID=70232402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911104286.7A Active CN111047554B (zh) 2019-11-13 2019-11-13 一种基于实例分割的复合绝缘子过热缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111047554B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812096B (zh) * 2020-06-02 2023-07-07 国网浙江嘉善县供电有限公司 一种绝缘子电弧烧伤的快速定位智能图像检测方法
CN111709933B (zh) * 2020-06-17 2022-04-29 广州麦仑信息科技有限公司 一种令纸缺陷分割分类的检测方法
CN111968091B (zh) * 2020-08-19 2022-04-01 南京图格医疗科技有限公司 一种临床图像中病变区域的检测和分类方法
CN112184666A (zh) * 2020-09-28 2021-01-05 国网江西省电力有限公司电力科学研究院 一种目标设备的检测方法、装置及系统
CN112750125B (zh) * 2021-01-28 2022-04-15 华南理工大学 一种基于端到端关键点检测的玻璃绝缘子片定位方法
CN113177947B (zh) * 2021-04-06 2024-04-26 广东省科学院智能制造研究所 基于多模块卷积神经网络的复杂环境目标分割方法及装置
CN113378818A (zh) * 2021-06-21 2021-09-10 中国南方电网有限责任公司超高压输电公司柳州局 电气设备缺陷确定方法、装置、电子设备及存储介质
CN113420686A (zh) * 2021-06-29 2021-09-21 广东电网有限责任公司 一种输电线路巡检方法、装置及系统
CN113344475B (zh) * 2021-08-05 2021-12-31 国网江西省电力有限公司电力科学研究院 基于序列模态分解的变压器套管缺陷识别方法及系统
CN113808202A (zh) * 2021-08-11 2021-12-17 浙江工商大学 一种多目标检测和空间定位方法及其系统
CN114088212A (zh) * 2021-11-29 2022-02-25 浙江天铂云科光电股份有限公司 基于温度视觉的诊断方法及诊断装置
CN114386598B (zh) * 2022-01-04 2024-04-02 合肥工业大学 一种复合绝缘子实时状态检测方法
CN114333070A (zh) * 2022-03-10 2022-04-12 山东山大鸥玛软件股份有限公司 一种基于深度学习的考生异常行为检测方法
CN114937004B (zh) * 2022-04-28 2024-01-02 烟台大视工业智能科技有限公司 一种基于计算机视觉的机械零件表面气孔缺陷检测方法
CN115115590B (zh) * 2022-06-23 2024-03-08 华南理工大学 基于旋转RetinaNet的复合绝缘子过热缺陷检测方法
CN115661468A (zh) * 2022-12-29 2023-01-31 广东信通通信有限公司 一种基于颜色空间的输变电设备故障图像分割方法
CN116309303A (zh) * 2023-01-09 2023-06-23 广州智飞科技有限公司 基于红外图像的电气设备缺陷检测方法、装置及相关设备
CN116469014B (zh) * 2023-01-10 2024-04-30 南京航空航天大学 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法
CN117553921B (zh) * 2024-01-12 2024-04-19 山东钢铁股份有限公司 转炉钢水温度预测方法、系统、终端及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Solder Joint Recognition Using Mask R-CNN Method;Hao Wu et al.;《IEEE Transactions on Components, Packaging and Manufacturing Technology》;20191108;第10卷(第3期);第1-2页 *

Also Published As

Publication number Publication date
CN111047554A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111047554B (zh) 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
CN107808133B (zh) 基于无人机巡线的油气管道安全监测方法、系统及软件存储器
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN110533084A (zh) 一种基于自注意力机制的多尺度目标检测方法
CN108537824B (zh) 基于交替反卷积与卷积的特征图增强的网络结构优化方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN112750125B (zh) 一种基于端到端关键点检测的玻璃绝缘子片定位方法
CN113780132A (zh) 一种基于卷积神经网络的车道线检测方法
CN111353544A (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN115424017B (zh) 一种建筑物内外轮廓分割方法、装置及存储介质
CN114419413A (zh) 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN116189191A (zh) 一种基于yolov5的可变长车牌识别方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN115631411A (zh) 基于sten网络对不同环境中的绝缘子破损检测方法
CN114782417A (zh) 基于边缘强化图像分割的风机数字孪生特征实时检测方法
CN116052110B (zh) 一种路面标线缺损智能定位方法及系统
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN117036733A (zh) 一种城市道路场景特征线提取的方法
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
Dongye et al. A pavement disease detection method based on the improved mask r-cnn
CN111402223B (zh) 一种利用变电站视频图像的变电站缺陷问题检测方法
CN113205136A (zh) 一种用于电源适配器外观缺陷的实时高精度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant