CN115937514A - 一种基于特征推理的变电设备红外图像实例分割方法 - Google Patents

Abstract

本发明提供了一种基于特征推理的变电设备红外图像实例分割方法，包括：制作设备整体与其视觉显著特征的数据集，构建双分支分割器，通过设备整体与其视觉显著特征的数据集对双分支分割器进行训练，将测试图像输入训练完成后的双分支分割器中进行分割，得到初步分割结果，对初步分割结果进行筛选，筛选完成后，对保留下来的合理结果进行矫正，得到最终结果。本发明提供的基于特征推理的变电设备红外图像实例分割方法，解决了外观相似的设备同时分割精度低的问题，减少漏检情况并提升了分割准确率。

Description

一种基于特征推理的变电设备红外图像实例分割方法

技术领域

本发明涉及电力技术领域，特别是涉及一种基于特征推理的变电设备红外图像实例分割方法。

背景技术

变电站是电网中负责转换电压与分配电能的重要节点，其安全可靠性直接关系到电力系统的安全稳定。现有技术中图像监控系统、巡检机器人和无人机逐渐被广泛应用，但由于变电站环境复杂、设备种类多样且存在多种干扰，现有的图像处理算法准确率低，漏报、误报现象严重，需要人工干预的事件多，且主观性较强，自动智能处理的事件较少。变电设备的温度异常与其运行故障直接相关，而红外热成像技术作为一种非接触式的手段，可以有效对变电设备进行热状态监控。但变电设备红外图像存在分辨率低、噪声多、边缘信息模糊或缺失等特点，为提高故障诊断效率，必须先完成对红外图像中目标的自动分割。

目前针对变电设备红外图像的分割方法主要包括利用传统方法和利用深度学习方法对图像进行分割。早期的传统方法大多需要人工建立复杂的特征工程，随着深度神经网络技术的快速发展，深度学习方法在图像分割领域逐渐优于传统方法。深度图像分割包括语义分割和实例分割等方法。语义分割是对图像所有像素点进行分类，但不能区分每一个实例对象；使用实例分割方法不仅可以进行像素级分类，同时可以区分变电设备的多个目标本身，是更理想的图像分割方法。目前变电设备红外图像实例分割方法通常在小规模数据集上训练得到，取得一定的效果但难以避免分割精度低的问题；且现有研究集中使用了较落后的Mask R-CNN实例分割方法，分割精度不理想。因此，设计一种基于特征推理的变电设备红外图像实例分割方法是十分有必要的。

发明内容

本发明的目的是提供一种基于特征推理的变电设备红外图像实例分割方法，解决了外观相似的设备同时分割精度低的问题，减少漏检情况并提升了分割准确率。

为实现上述目的，本发明提供了如下方案：

一种基于特征推理的变电设备红外图像实例分割方法，包括如下步骤：

步骤1：制作设备整体与其视觉显著特征的数据集；

步骤2：构建双分支分割器，通过设备整体与其视觉显著特征的数据集对双分支分割器进行训练；

步骤3：将测试图像输入训练完成后的双分支分割器中进行分割，得到初步分割结果，对初步分割结果进行筛选，筛选完成后，对保留下来的合理结果进行矫正，得到最终结果。

可选的，步骤1中，制作设备整体与其视觉显著特征的数据集，具体包括如下步骤：

通过红外相机收集多种变电设备的红外图像数据，通过LableMe标注软件对图像中三类变电设备进行分割标注，标注过程中对设备整体进行标注，得到设备整体数据集；

对设备整体数据集中三类变电设备进行视觉显著特征提取，通过标注软件在设备整体数据集上将提取的视觉显著特征进行标注，得到设备整体与其视觉显著特征的数据集。

可选的，步骤2中，构建双分支分割器，通过设备整体与其视觉显著特征的数据集对双分支分割器进行训练，具体包括如下步骤：

步骤201：构建双分支分割器，其中，双分支分割器包括检测分支及分割分支，检测分支为目标检测网络，分割分支为实例分割网络；

步骤202：对设备整体与其视觉显著特征的数据集中的训练集进行随机排序，将图像分批送入不同的分支的特征提取网络进行特征提取，其中，对设备整体的标注数据送入分割分支的特征提取网络，对设备视觉显著特征的标注数据送入检测分支的特征提取网络，得到输出的特征图；

步骤203：将分割分支的特征提取网络输出的特征图输入两个全卷积预测头，分别用于对目标实例的分类和分割预测，生成预测结果，并利用交并比计算分割分支预测结果与人工标注结果的损失函数数值，并将损失值反向传播回实例分割网络，实现对实例分割网络的更新；将检测分支的特征提取网络输出的特征图输入两个解耦检测头，分别用于对目标的位置预测及类别预测，生成预测结果，并利用交并比计算检测分支预测结果与人工标注结果的损失函数数值，并将损失值反向传播回目标检测网络，实现对目标检测网络的更新；

步骤204：重复步骤201、202及203，在分割分支和检测分支训练完成后分别保存模型权重文件，得到训练后的双分支分割器，其中，分割分支用于对变电设备整体的图像分割，检测分支用于对变电设备的显著视觉特征检测；

可选的，步骤203中，利用交并比计算分割分支预测结果与人工标注结果的损失函数数值，具体为：

利用交并比计算分割分支预测结果与人工标注结果的损失函数数值，其中，损失函数为骰子损失函数，具体为：

式中，X为标注的真实掩码，Y为预测的分割掩膜，X与Y的形状越相似，重合度越高则损失值越小。

可选的，步骤203中，利用交并比计算检测分支预测结果与人工标注结果的损失函数数值，具体为：

利用交并比计算检测分支预测结果与人工标注结果的损失函数数值，其中损失函数为交并比损失函数，为：

式中，B为预测框位置信息，B_gt为真实标注框位置信息，根据预测结果和真实结果的二者交并比确定预测损失值，训练时在骨干网络中逐层计算损失。

可选的，步骤3中，将测试图像输入训练完成后的双分支分割器中进行分割，得到初步分割结果，对初步分割结果进行筛选，筛选完成后，对保留下来的合理结果进行矫正，得到最终结果，具体为：

将测试图像输入训练完成后的双分支分割器中，其中，检测分支的输出特征向量为X＝(x,y,w,h,obj,S1)，其中，x、y为对预测结果的左上角坐标值，w为预测结果的宽度，h为预测结果的高度，obj为预测结果的类别，S1为检测分支对此项预测结果的置信度，分割分支的输出特征向量设置为Y＝(d,S2,mask)，其中，d为对变电设备类别的预测结果，S2为分割分支对此项分割结果预测的置信度，mask为对变电设备整体的分割预测掩码，其中，检测分支的输出特征向量及分割分支的输出特征向量组成初步分割结果，根据初步分割结果依次进行语义推理及空间推理，进行筛选；

筛选完毕后，对保留下的合理结果进行矫正，采用一个最小的矩形框将预测的掩码mask包围起来将其作为分割目标的包围框，利用为每一个掩码生成一个最小包围框的方法获得每一个预测的mask所处的位置信息，其包含一个矩形的左上角坐标、宽度w₁和高度h₁，以该矩形框的面积表示变电设备在图像中的总面积S_Y，计算方式为：

S_Y＝w₁*h₁

通过检测分支的输出向量X计算设备视觉显著特征在图像中的面积S_Xr，计算方式为：

S_Xr＝w*h

通过计算设备视觉显著特征的面积占变电设备总面积的比例rat，计算方式为：

根据置信度S1及置信度S2，通过置信度奖惩对初步分割结果进行矫正，具体为：

S＝S1+S2lg(10rat)

式中，S为最终输出的分割结果置信度，当rat大于空间匹配的阈值时对原分割结果的得分进行奖励，当rat低于阈值时对此次推理结果进行抑制并降低分割结果的得分，利用对数函数控制最终输出的置信度来过滤掉不合理的特征推理结果，输出最终结果。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于特征推理的变电设备红外图像实例分割方法，该方法包括制作设备整体与其视觉显著特征的数据集，构建双分支分割器，通过设备整体与其视觉显著特征的数据集对双分支分割器进行训练，将测试图像输入训练完成后的双分支分割器中进行分割，得到初步分割结果，对初步分割结果进行筛选，筛选完成后，对保留下来的合理结果进行矫正，得到最终结果；该方法同时使用单阶段实例分割和目标检测算法，将其构建为二分支分割器，使其具备与专业人员类似的推理能力，解决多种类间相似性较高的变电设备红外图像分割精度低的问题，提升实例分割精度。本发明方法分割精度更高，通用性较强，分割过程无需人工参与。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为变电设备视觉显著特征示意图；

图2为本发明实施例基于特征推理的变电设备红外图像实例分割方法流程示意图；

图3为特征推理流程图；

图4为分割结果矫正关系图；

图5a为电流互感器分割结果图；

图5b为闪电避雷器分割结果图；

图5c为电压互感器分割结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于特征推理的变电设备红外图像实例分割方法，解决了外观相似的设备同时分割精度低的问题，减少漏检情况并提升了分割准确率，为多种变电设备实例分割提供了参考。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图2所示，本发明实施例提供的基于特征推理的变电设备红外图像实例分割方法，包括如下步骤：

步骤1：制作设备整体与其视觉显著特征的数据集，将其作为先验知识；

步骤2：构建双分支分割器，通过设备整体与其视觉显著特征的数据集对双分支分割器进行训练，其中两个分支分别利用实例分割算法完成红外图像分割，以及利用目标检测算法提取变电设备显著视觉特征；

步骤3：将测试图像输入训练完成后的双分支分割器中进行分割，得到初步分割结果，对初步分割结果进行筛选，筛选完成后，对保留下来的合理结果进行矫正，得到最终结果。

步骤1中，制作设备整体与其视觉显著特征的数据集，具体包括如下步骤：

通过红外相机收集多种变电设备的红外图像数据，通过LableMe标注软件对图像中三类变电设备进行分割标注，标注过程中按照常规方法对设备整体进行标注，得到设备整体数据集，并将其划分训练集和验证集；

对设备整体数据集中三类变电设备进行视觉显著特征提取，通过总结现场专业人员分析变电设备红外图像的思维过程，提出了三种可以辅助深度学习模型分类和定位的设备视觉特征，形成结合计算机视觉与电力领域经验的视觉显著特征知识，通过标注软件在设备整体数据集上将提取的视觉显著特征进行标注，得到设备整体与其视觉显著特征的数据集。

步骤2中，构建双分支分割器，通过设备整体与其视觉显著特征的数据集对双分支分割器进行训练，具体包括如下步骤：

步骤201：构建双分支分割器，其中，双分支分割器包括检测分支及分割分支，检测分支为目标检测网络YOLOX-S，用以提取设备的显著性视觉特征，分割分支为检测精度较高和检测速度较快的实例分割网络SOLOv2，该算法以图像为输入，直接输出对实例掩码的预测和相应的类概率，采用完全卷积且无锚框，算法整体结构简单，在残差网络(ResNet)和特征金字塔(FPN)组成的骨干网络后有两个并行的分支分别预测物体的掩码和类别；

步骤202：对设备整体与其视觉显著特征的数据集中的训练集进行随机排序，将图像分批送入不同的分支的特征提取网络进行特征提取，其中，对设备整体的标注数据送入分割分支的特征提取网络，对设备视觉显著特征的标注数据送入检测分支的特征提取网络，得到输出的特征图；

步骤203：将分割分支的特征提取网络输出的特征图输入两个全卷积预测头，分别用于对目标实例的分类和分割预测，生成预测结果，并利用交并比计算分割分支预测结果与人工标注结果的损失函数数值，并将损失之反向传播回实例分割网络，实现对实例分割网络的更新；将检测分支的特征提取网络输出的特征图输入两个解耦检测头，分别用于对目标的位置预测及类别预测，生成预测结果，并利用交并比计算检测分支预测结果与人工标注结果的损失函数数值，并将损失之反向传播回目标检测网络，实现对目标检测网络的更新；

步骤204：重复步骤201、202及203，在分割分支和检测分支训练完成后分别保存模型权重文件，得到训练后的双分支分割器，其中，分割分支用于对变电设备整体的图像分割，检测分支用于对变电设备的显著视觉特征检测

步骤203中，利用交并比计算分割分支预测结果与人工标注结果的损失函数数值，具体为：

利用交并比计算分割分支预测结果与人工标注结果的损失函数数值，其中，损失函数为骰子损失函数，具体为：

式中，X为标注的真实掩码，Y为预测的分割掩膜，X与Y的形状越相似，重合度越高则损失值越小。

步骤203中，利用交并比计算检测分支预测结果与人工标注结果的损失函数数值，具体为：

利用交并比计算检测分支预测结果与人工标注结果的损失函数数值，其中损失函数为交并比损失函数，为：

式中，B为预测框位置信息，B_gt为真实标注框位置信息，根据预测结果和真实结果的二者交并比确定预测损失值，训练时在骨干网络中逐层计算损失。

图像输入分割器后进入两个分支，在YOLOX-S分支上提取图像中三类变电设备的显著特征，输出检测结果包括对显著特征的类别标签预测和位置回归预测；在SOLOv2分支上进行对四类变电设备整体的初步实例分割，输出结果包括设备掩码和类别预测。经过两个分支后得到了关于变电设备的整体检测和显著特征检测结果。

步骤3中，将测试图像输入训练完成后的双分支分割器中进行分割，得到初步分割结果，对初步分割结果进行筛选，筛选完成后，对保留下来的合理结果进行矫正，得到最终结果，具体为：

如图3所示，将测试图像输入训练完成后的双分支分割器中，其中，检测分支的输出特征向量为X＝(x,y,w,h,obj,S1)，其中，x、y为对预测结果的左上角坐标值，w为预测结果的宽度，h为预测结果的高度，obj为预测结果的类别，S1为检测分支对此项预测结果的置信度，分割分支的输出特征向量设置为Y＝(d,S2,mask)，其中，d为对变电设备类别的预测结果，S2为分割分支对此项分割结果预测的置信度，mask为对变电设备整体的分割预测掩码，其中，检测分支的输出特征向量及分割分支的输出特征向量组成初步分割结果，根据初步分割结果依次进行语义推理及空间推理，进行筛选，具体为：语义推理针对分割器两个分支的预测标签进行推理，检验分割结果在分类任务中的预测结果；空间推理针对预测结果的位置关系进行推理，评估分割结果在空间上的准确程度；

如图4所示，筛选完毕后，对保留下的合理结果进行矫正，采用一个最小的矩形框将预测的掩码mask包围起来将其作为分割目标的包围框，利用为每一个掩码生成一个最小包围框的方法获得每一个预测的mask所处的位置信息，其包含一个矩形的左上角坐标、宽度w₁和高度h₁，以该矩形框的面积表示变电设备在图像中的总面积S_Y，计算方式为：

S_Y＝w₁*h₁

通过检测分支的输出向量X计算设备视觉显著特征在图像中的面积S_Xr，计算方式为：

S_Xr＝w*h

通过计算设备视觉显著特征的面积占变电设备总面积的比例rat，计算方式为：

根据置信度S1及置信度S2，通过置信度奖惩对初步分割结果进行矫正，具体为：

S＝S1+S2lg(10rat)

式中，S为最终输出的分割结果置信度，当rat大于空间匹配的阈值时对原分割结果的得分进行奖励，当rat低于阈值时对此次推理结果进行抑制并降低分割结果的得分，利用对数函数控制最终输出的置信度来过滤掉不合理的特征推理结果，输出最终结果。

如图1所示，提取过程为将设备红外图像部分遮挡后，人工尝试对设备进行分辨，结果表明，设备图像的某一部分被遮挡后，会出现人工难以分辨种类的情况，而只展示被遮挡的这部分图像，可以轻松依靠人工分辨出设备种类，表明被遮挡住的部分对于识别分类起到了重要作用，因此将其作为变电设备的显著性视觉特征，把这种视觉特征和变电设备的领域知识进行结合，得到识别变电设备的视觉显著特征：包括依靠设备顶部的均压环、膨胀室外壳和顶部油箱外壳分别可以辅助确认220kV氧化锌避雷器、220kV电流互感器和220kV电压互感器。

本发明的一种实施例如图5所示，为对三类变电设备的分割结果，图5a、5b、5c分别为电流互感器、闪电避雷器及电压互感器的分割结果。

本发明提供的基于特征推理的变电设备红外图像实例分割方法，该方法包括制作设备整体与其视觉显著特征的数据集，构建双分支分割器，通过设备整体与其视觉显著特征的数据集对双分支分割器进行训练，将测试图像输入训练完成后的双分支分割器中进行分割，得到初步分割结果，对初步分割结果进行筛选，筛选完成后，对保留下来的合理结果进行矫正，得到最终结果；该方法同时使用单阶段实例分割和目标检测算法，将其构建为二分支分割器，使其具备与专业人员类似的推理能力，解决多种类间相似性较高的变电设备红外图像分割精度低的问题，提升实例分割精度。本发明方法分割精度更高，通用性较强，分割过程无需人工参与。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于特征推理的变电设备红外图像实例分割方法，其特征在于，包括如下步骤：

步骤1：制作设备整体与其视觉显著特征的数据集；

步骤2：构建双分支分割器，通过设备整体与其视觉显著特征的数据集对双分支分割器进行训练；

步骤3：将测试图像输入训练完成后的双分支分割器中进行分割，得到初步分割结果，对初步分割结果进行筛选，筛选完成后，对保留下来的合理结果进行矫正，得到最终结果。

2.根据权利要求2所述的基于特征推理的变电设备红外图像实例分割方法，其特征在于，步骤1中，制作设备整体与其视觉显著特征的数据集，具体包括如下步骤：

通过红外相机收集多种变电设备的红外图像数据，通过LableMe标注软件对图像中三类变电设备进行分割标注，标注过程中对设备整体进行标注，得到设备整体数据集；

对设备整体数据集中三类变电设备进行视觉显著特征提取，通过标注软件在设备整体数据集上将提取的视觉显著特征进行标注，得到设备整体与其视觉显著特征的数据集。

3.根据权利要求2所述的基于特征推理的变电设备红外图像实例分割方法，其特征在于，步骤2中，构建双分支分割器，通过设备整体与其视觉显著特征的数据集对双分支分割器进行训练，具体包括如下步骤：

步骤201：构建双分支分割器，其中，双分支分割器包括检测分支及分割分支，检测分支为目标检测网络，分割分支为实例分割网络；

步骤202：对设备整体与其视觉显著特征的数据集中的训练集进行随机排序，将图像分批送入不同分支的特征提取网络进行特征提取，其中，对设备整体的标注数据送入分割分支的特征提取网络，对设备视觉显著特征的标注数据送入检测分支的特征提取网络，得到输出的特征图；

步骤203：将分割分支的特征提取网络输出的特征图输入两个全卷积预测头，分别用于对目标实例的分类和分割预测，生成预测结果，并利用交并比计算分割分支预测结果与人工标注结果的损失函数数值，并将损失值反向传播回实例分割网络，实现对实例分割网络的更新；将检测分支的特征提取网络输出的特征图输入两个解耦检测头，分别用于对目标的位置预测及类别预测，生成预测结果，并利用交并比计算检测分支预测结果与人工标注结果的损失函数数值，并将损失值反向传播回目标检测网络，实现对目标检测网络的更新；

步骤204：重复步骤201、202及203，在分割分支和检测分支训练完成后分别保存模型权重文件，得到训练后的双分支分割器，其中，分割分支用于对变电设备整体的图像分割，检测分支用于对变电设备的显著视觉特征检测

4.根据权利要求3所述的基于特征推理的变电设备红外图像实例分割方法，其特征在于，步骤203中，利用交并比计算分割分支预测结果与人工标注结果的损失函数数值，具体为：

利用交并比计算分割分支预测结果与人工标注结果的损失函数数值，其中，损失函数为骰子损失函数，具体为：

式中，X为标注的真实掩码，Y为预测的分割掩膜，X与Y的形状越相似，重合度越高则损失值越小。

5.根据权利要求3所述的基于特征推理的变电设备红外图像实例分割方法，其特征在于，步骤203中，利用交并比计算检测分支预测结果与人工标注结果的损失函数数值，具体为：

利用交并比计算检测分支预测结果与人工标注结果的损失函数数值，其中损失函数为交并比损失函数，为：

式中，B为预测框位置信息，B_gt为真实标注框位置信息，根据预测结果和真实结果的二者交并比确定预测损失值，训练时在骨干网络中逐层计算损失。

6.根据权利要求3所述的基于特征推理的变电设备红外图像实例分割方法，其特征在于，步骤3中，将测试图像输入训练完成后的双分支分割器中进行分割，得到初步分割结果，对初步分割结果进行筛选，筛选完成后，对保留下来的合理结果进行矫正，得到最终结果，具体为：

将测试图像输入训练完成后的双分支分割器中，其中，检测分支的输出特征向量为X＝(x,y,w,h,obj,S1)，其中，x、y为对预测结果的左上角坐标值，w为预测结果的宽度，h为预测结果的高度，obj为预测结果的类别，S1为检测分支对此项预测结果的置信度，分割分支的输出特征向量设置为Y＝(d,S2,mask)，其中，d为对变电设备类别的预测结果，S2为分割分支对此项分割结果预测的置信度，mask为对变电设备整体的分割预测掩码，其中，检测分支的输出特征向量及分割分支的输出特征向量组成初步分割结果，根据初步分割结果依次进行语义推理及空间推理，进行筛选；

筛选完毕后，对保留下的合理结果进行矫正，采用一个最小的矩形框将预测的掩码mask包围起来将其作为分割目标的包围框，利用为每一个掩码生成一个最小包围框的方法获得每一个预测的mask所处的位置信息，其包含一个矩形的左上角坐标、宽度w₁和高度h₁，以该矩形框的面积表示变电设备在图像中的总面积S_Y，计算方式为：

S_Y＝w₁*h₁

通过检测分支的输出向量X计算设备视觉显著特征在图像中的面积S_Xr，计算方式为：

S_Xr＝w*h

通过计算设备视觉显著特征的面积占变电设备总面积的比例rat，计算方式为：

根据置信度S1及置信度S2，通过置信度奖惩对初步分割结果进行矫正，具体为：

S＝S1+S2lg(10rat)

式中，S为最终输出的分割结果置信度，当rat大于空间匹配的阈值时对原分割结果的得分进行奖励，当rat低于阈值时对此次推理结果进行抑制并降低分割结果的得分，利用对数函数控制最终输出的置信度来过滤掉不合理的特征推理结果，输出最终结果。

Images