CN112199993A - 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 - Google Patents

Abstract

本发明提供一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，包括以下步骤：对获取的图像进行预处理，以形成绝缘子红外图像数据集；对获取的数据集进行绝缘子标注，并将数据集划分为训练集与测试集；构建一种改进单阶段检测网络的红外图像检测模型；包括：建立网络结构、设计特征图以及建立损失函数；使用数据集中的训练集训练该模型并调节参数；使用数据集中的测试集对训练好的模型进行测试，以证明模型的有效性；通过以上步骤实现对变电站绝缘子的红外图像的自动检测和识别。通过改进单阶段检测网络，采用修改检测层的特征图通道数，提高网络对目标的特征提取能力，确保模型对变电站绝缘子的红外图像的有效检测。

Description

基于人工智能识别任意方向变电站绝缘子红外图像检测模型 的方法

技术领域

本发明涉及电力设备运行状态安全监测领域，特别是一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法。

背景技术

作为一种具有电气绝缘和机械固定功能的电力器件，绝缘子对输变电线路的安全运行起着重要作用。绝缘子故障会导致导体间短路，严重损害电气设备，甚至会导致系统出现计划外停电。大量工程实际经验表明，温度异常是造成绝缘子故障的主要原因。红外热像检测技术由于具有温度检测范围大、检测速度快、无需接触、不受电磁干扰等优点，被广泛应用于绝缘子的状态检测中。近年来，随着无人机技术及电力巡检机器人的普及，搭载红外相机的巡检系统在各大电力企业中广泛使用并且在一定程度上提高了电网的巡检自动化水平。然而，通过巡检系统获得的海量红外图像仍需依赖经验丰富的电力工程师进行分析和诊断。这种人工判别方法非常耗时，效率低下。与传统的人工判别相比，基于计算机视觉技术的绝缘子检测技术大大减少判别时间，并有效提高巡检效率和识别准确率，已经成为了当前绝缘子自动化巡检领域的研究重点。

目前，基于计算机视觉技术的电力设备自动检测思路大体可分为基于人工设计的传统检测方法以及基于深度学习的检测方法两种。现有的大多数基于深度学习的方法采用无约束检测手段对不包含角度属性的无约束物体进行检测，而对包含角度属性的物体检测鲜有涉及。然而，变电站设备的周围环境背景复杂和干扰信息较多，且绝缘子目标相对密集，采用现有的无约束检测无法表征绝缘子的角度属性，且容易造成误检和漏检，使得目前对绝缘子红外图像检测的效果不佳。鉴于此，有必要对现有的目标检测网络进行改进，以解决上述技术难题。中国专利文献CN103136531A记载了一种绝缘子串红外图像自动识别方法，采用监测图像和模板图像进行特征点提取和特征描述，生成描述向量，并进行特征匹配；完成绝缘子串红外图像的自动识别。但该方案对复杂背景、任意方向的情况下的红外图像识别几乎不能适用。CN106919929A一种基于模板匹配的红外图像中绝缘子自动识别方法，也是存在相同的问题。

发明内容

本发明所要解决的技术问题是提供一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，能够最大程度减小变电站的背景干扰，有效表征绝缘子的方向属性，实现变电站复杂背景下绝缘子红外图像的有效监测和实现变电站绝缘子可靠、安全和实时的检测。

为解决上述技术问题，本发明所采用的技术方案是：一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，包括以下步骤：

S1、通过红外热成像仪获取变电站绝缘子的红外图像；

S2、对获取的图像进行预处理，以形成绝缘子红外图像数据集；

S3、对获取的数据集进行绝缘子标注，并将数据集划分为训练集与测试集；

S4、构建一种改进单阶段检测网络的红外图像检测模型；

包括：建立网络结构、设计特征图以及建立损失函数；

S5、使用数据集中的训练集训练该模型并调节参数；

S6、使用数据集中的测试集对训练好的模型进行测试，以证明模型的有效性；

通过以上步骤实现对变电站绝缘子的红外图像的自动检测和识别。

优选的方案中，获取的原始绝缘子红外图像是变电站技术人员通过手持红外热成像仪在现场拍摄或通过携带红外热像仪的变电站巡检机器人得到；

将获取的原始图像通过旋转、翻转和灰度变换中一种或多种方式进行图像预处理，扩充原始图像的数据量，以形成能够应用于模型并能对模型进行有效评估的数据集。

优选的方案中，通过框选操作对数据集中的绝缘子进行标注，制作成待训练与待测试的数据集。

优选的方案中，步骤S4中，所述的改进单阶段检测网络采用darknet53网络和特征金字塔结构提高特征提取能力；

网络结构包括：若干卷积层，对每个卷积层进行卷积运算后输出的张量的二维层为特征层，特征层中包括素材图像中目标的位置信息和方向角度信息；

设计特征图包括：特征层根据特征图尺寸设置若干个锚点；以每个锚点为中心，周围设置若干旋转锚框，所述旋转锚框为根据不同特征层中的位置和角度信息所形成的目标框提供参照，旋转锚框的高宽比为根据标注图像上目标的尺寸聚类后的属性，旋转锚框的尺寸为素材图像上目标的尺寸聚类后的尺寸数值，旋转锚框的高宽比为素材图像上目标的尺寸聚类后的高宽比数值，旋转锚框的方向角度为构建的图像数据集上对绝缘子目标的倾斜角度经过统计后得到的方向角度数值；

所述损失函数用以计算输出结果与真实值的差别。

优选的方案中，Darknet53网络结构通过Shortcut模块提高深层网络的学习能力，融合不同尺度特征图以生成的新特征金字塔结构；

在检测层中加入方向角度参数来学习旋转目标的回归。

优选的方案中，目标检测网络预测绝缘子目标的位置信息时，每个网格产生的默认旋转锚框与预测框的关系为：

式中，c_x表示预测框中心点所处网格的左上角x绝对坐标，c_y表示预测框中心点所处网格的左上角y绝对坐标，σ(t_x)表示预测框中心点相对预测框中心点所在网格的左上角坐标的x偏移量，σ(t_y)表示预测框中心点相对预测框中心点所在网格的左上角坐标的y偏移量，t_w表示预测框的宽偏移量，t_h表示预测框的高偏移量，b_w表示预测框的宽，b_h表示预测框的高，θ表示预测框的预测角度。

优选的方案中，最后的检测层中输出的三层特征图形状分别为19×19×21，38 ×38×21，76×76×21，其中19,38,76表示最后三个检测层输出的网格数，21表示预测框在每个负责的网格输出的参数数量。

优选的方案中，所述目标检测网络预测特征层中绝缘子目标的位置和角度信息时，所述建立损失函数中的表达式为：

L_loss＝L_box+L_obj+L_cls

其中，L_box表示边界框回归损失函数，L_obj表示置信度损失函数，L_cls表示分类损失函数。

优选的方案中，所述的回归损失函数中：

其中，S表示特征图划分的网格数，B为预测框数量，x表示预测框相对于网格左上角的水平偏移量，

表示默认锚相对于网格左上角的水平偏移量；y表示预测框相对于网格左上角的垂直偏移量，

表示默认锚框相对于网格左上角的垂直偏移量；w表示预测框的宽度，

表示默认锚框的宽度；h表示预测框的高度，

表示默认锚框的高度；θ表示预测框的方向角度，

表示默认框的方向角度。

所述分类损失函数中：

其中，λ_class表示分类损失函数占总损失函数的权重，p表示第i个网格的预测框中第c类物体存在的概率；

所述置信度损失函数中：

其中，λ_obj为结果目标框的位置权重，λ_noobj为背景框的位置权重，c_i表示第i个网格中物体存在的置信度，

表示标注框标注的物体真实值。

优选的方案中，结合数据可视化分析方法和聚类分析方法，统计数据集中绝缘子标注框的宽高比、有效像素面积和方向角度，设定符合数据集的默认框，使每个位置的默认框的比例尺度能够与特征图的每个位置的真实框相匹配，以提高模型对检测目标的收敛速度；

采用经过训练的Darknet53模型作为网络的预调模型；将训练集输入模型进行训练，并根据训练结果进行参数的调整，以得到最优的模型；在模型训练完毕后，采用测试集进行模型测试。

本发明提供的一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，通过改进单阶段检测网络，采用修改检测层的特征图通道数，在原有网络预测得到的中心x坐标、中心y坐标、边界框宽度、边界框高度以及预测得分共5参数基础上加入方向角度参数以适用于绝缘子目标检测任务，并在主干网络中添加特征金字塔结构充分利用特征信息，提高网络对目标的特征提取能力，从而确保模型对变电站绝缘子的红外图像的有效检测。优选方案中，通过对现场获取的数据集进行预处理可以提高数据的多样性，防止训练过拟合；结合聚类分析方法和数据可视化分析方法，统计数据集中绝缘子标签的宽高比、有效像素面积和倾斜角度，设定符合数据集的默认框，使每个位置的默认框的比例尺度能够与特征图的每个位置的真实框相匹配，增强模型对感兴趣目标的检测性能；采用迁移学习的思想是为了让网络获得一个良好的初始化权值，防止模型从零开始训练，减少模型训练的时间，加快模型的收敛速度，降低模型的过拟合。本发明能够成功解决变电站绝缘子红外图像的背景复杂、目标贴近、干扰信息较多导致检测效果不佳的问题，并且可适用于多种电气设备的红外图像检测，具有普适性和有效性，同样满足实时性检测的要求。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明实施例的流程示意图。

图2为本发明实施例的部分绝缘子的数据集图。

图3为本发明实施例的改进Yolov3的检测模型结构图。

图4为本发明实施例的数据集标签中绝缘子参数统计直方图。

其中图4(a)为绝缘子的宽度统计直方图，图4(b)为宽高比统计直方图、图4(c)为绝缘子所占像素面积的统计直方图，图4(d)为绝缘子的倾斜角度直方图。图5为本发明实施例的锚框的角度选择策略图。

图6为本发明实施例的锚框的宽高聚类结果图。

图7为本发明实施例的部分测试集绝缘子的检测效果图。

具体实施方式

如图1中，一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，包括以下步骤：

S1、通过红外热成像仪获取变电站绝缘子的红外图像；

优选的方案中，获取的绝缘子红外图像是变电站技术人员通过手持红外热成像仪在现场拍摄或通过携带红外热像仪的变电站巡检机器人得到；包括各种材质、拍摄角度、背景下的图片，其拍摄样例如图2所示。

S2、对获取的图像进行高斯滤波、图像平滑等预处理，剔除掉图像质量较差、噪点较多的图像，以形成原始的绝缘子红外图像数据集；然后将构建好的原始数据集通过旋转、翻转和灰度变换中一种或多种方式进行预处理，扩充原始数据集的数据量，以形成能够应用于模型并能对模型进行有效评估的数据集。

S3、对获取的数据集进行绝缘子标注，并将数据集划分为训练集与测试集；优选的方案中，通过框选操作对数据集中的绝缘子进行标注，制作成待训练与待测试的数据集。例如通过labelImg对预处理好的绝缘子数据集进行标注，最终制作成PASCAL VOC格式的数据集。同时将数据集的80％分为训练集，20％分为测试集。本例中，数据集中约80％分为训练集，约20％分为测试集。

S4、如图3中所示，构建一种改进单阶段检测网络的红外图像检测模型；

包括：建立网络结构、设计特征图以及建立损失函数；

优选的方案中，所述的改进单阶段检测网络采用darknet53网络和特征金字塔结构提高特征提取能力；

Darknet-53由一系列的1×1、3×3的卷积块(Convolutional)以及残差块(Residual) 组成，卷积块是由卷积层(con2d)、批归一化层(BN)、带泄露修正线性单元(Leaky ReLU)层组合而成，同时为了适应目标检测任务Darknet-53去掉了池化层与全连接层，改用步长为2的卷积来进行下采样，Darknet-53中大量使用残差的跳层连接，主要有以下几种优势：A、残差能够保证深层网络在训练时依然保持收敛状态。B、加入残差的网络，随着深度的加深，所表达的特征越好，分类与检测的效果也会提升。 C、残差中的1×1卷积，使用network in network网络中内嵌微型网络的方法，增强了模型在感受野内对局部区域的辨别能力，大量减少了每次卷积的通道数，一方面减少了参数量，另一方面在一定程度上减少了计算量。更进一步地，darknet53中的残差网络结构通过shortcut模块提高深层网络的学习能力，通过融合不同尺度特征图以生成的新特征金字塔结构；最后三个检测层通过在原有网络预测得到的中心x坐标、中心y坐标、边界框宽度、边界框高度以及预测得分共5参数基础上加入角度参数，对目标的角度参数进行回归。

网络结构包括：若干卷积层，对每个卷积层进行卷积运算后输出的张量的二维层为特征层，特征层中包括素材图像中目标的位置信息和方向角度信息；

如图5中，设计特征图包括：特征层根据特征图尺寸设置若干个锚点；以每个锚点为中心，周围设置若干旋转锚框，所述旋转锚框为根据不同特征层中的位置和角度信息所形成的目标框提供参照，旋转锚框的高宽比为根据标注图像上目标的尺寸聚类后的属性，旋转锚框的尺寸为素材图像上目标的尺寸聚类后的尺寸的数值，旋转锚框的高宽比为素材图像上目标的尺寸聚类后的高宽比的数值，旋转锚框的方向角度为构建好的图像数据集上对绝缘子目标的倾斜角度经过统计后得到的一系列方向角度数值；

所述损失函数用以计算输出结果与真实值的差别。

优选的方案中，Darknet53网络结构通过Shortcut模块提高深层网络的学习能力，融合不同尺度特征图以生成的新特征金字塔结构；

在检测层中加入方向角度参数来学习旋转目标的回归。

优选的方案中，目标检测网络预测绝缘子目标的位置信息时，每个网格产生的默认旋转锚框与预测框的关系为：

式中，c_x表示预测框中心点所处网格的左上角x绝对坐标，c_y表示预测框中心点所处网格的左上角y绝对坐标，σ(t_x)表示预测框中心点相对预测框中心点所在网格的左上角坐标的x偏移量，σ(t_y)表示预测框中心点相对预测框中心点所在网格的左上角坐标的y偏移量，t_w表示预测框的宽偏移量，t_h表示预测框的高偏移量，b_w表示预测框的宽，b_h表示预测框的高，θ表示预测框的预测角度。

优选的方案中，最后的检测层中输出的三层特征图形状分别为19×19×21，38 ×38×21，76×76×21，其中19,38,76表示最后三个检测层输出的网格数，21表示预测框在每个负责的网格输出的参数数量。

优选的方案中，所述目标检测网络预测特征层中绝缘子目标的位置和角度信息时，所述建立损失函数中的表达式为：

L_loss＝L_box+L_obj+L_cls

其中，L_box表示边界框回归损失函数，L_obj表示置信度损失函数，L_cls表示分类损失函数。

优选的方案中，所述的回归损失函数中：

其中，S表示特征图划分的网格数，B为预测框数量，x表示预测框相对于网格左上角的水平偏移量，

表示默认锚相对于网格左上角的水平偏移量；y表示预测框相对于网格左上角的垂直偏移量，

表示默认锚框相对于网格左上角的垂直偏移量；w表示预测框的宽度，

表示默认锚框的宽度；h表示预测框的高度，

表示默认锚框的高度；θ表示预测框的方向角度，

表示默认框的方向角度。

所述分类损失函数中：

其中，λ_class表示分类损失函数占总损失函数的权重，p表示第i个网格的预测框中第c类物体存在的概率；

所述置信度损失函数中：

其中，λ_obj为结果目标框的位置权重，λ_noobj为背景框的位置权重，c_i表示第i个网格中物体存在的置信度，

表示标注框标注的物体真实值。

S5、使用数据集中的训练集训练该模型并调节参数；

S6、使用数据集中的测试集对训练好的模型进行测试，以证明模型的有效性；

优选的方案如图6中，结合数据可视化分析方法和聚类分析方法，统计数据集中绝缘子标注框的宽高比、有效像素面积和方向角度，设定符合数据集的默认框，使每个位置的默认框的比例尺度能够与特征图的每个位置的真实框相匹配，以提高模型对检测目标的收敛速度；

采用经过训练的Darknet53模型作为网络的预调模型；将训练集输入模型进行训练，并根据训练结果进行参数的调整，以得到最优的模型；在模型训练完毕后，采用测试集进行模型测试。优选的，引入迁移学习思想，采用使用ImageNet上训练的 Darknet53模型作为网络的预调模型；

如图7中，通过以上步骤实现对变电站绝缘子的红外图像的自动检测和识别。

上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，其特征是包括以下步骤：

S1、通过红外热成像仪获取变电站绝缘子的红外图像；

S2、对获取的图像进行预处理，以形成绝缘子红外图像数据集；S3、对获取的数据集进行绝缘子标注，并将数据集划分为训练集与测试集；

S4、构建一种改进单阶段检测网络的红外图像检测模型；

包括：建立网络结构、设计特征图以及建立损失函数；

S5、使用数据集中的训练集训练该模型并调节参数；

S6、使用数据集中的测试集对训练好的模型进行测试，以证明模型的有效性；

通过以上步骤实现对变电站绝缘子的红外图像的自动检测和识别。

2.根据权利要求1所述的一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，其特征是：

获取的原始绝缘子红外图像是变电站技术人员通过手持红外热成像仪在现场拍摄或通过携带红外热像仪的变电站巡检机器人得到；

将获取的原始图像通过旋转、翻转和灰度变换中一种或多种方式进行图像预处理，扩充原始图像的数据量，以形成能够应用于模型并能对模型进行有效评估的数据集。

3.根据权利要求1所述的一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，其特征是：通过框选操作对数据集中的绝缘子进行标注，制作成待训练与待测试的数据集。

4.根据权利要求1所述的一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，其特征是：步骤S4中，所述的改进单阶段检测网络采用darknet53网络和特征金字塔结构提高特征提取能力；

网络结构包括：若干卷积层，对每个卷积层进行卷积运算后输出的张量的二维层为特征层，特征层中包括素材图像中目标的位置信息和方向角度信息；

设计特征图包括：特征层根据特征图尺寸设置若干个锚点；以每个锚点为中心，周围设置若干旋转锚框，所述旋转锚框为根据不同特征层中的位置和角度信息所形成的目标框提供参照，旋转锚框的高宽比为根据标注图像上目标的尺寸聚类后的属性，旋转锚框的尺寸为素材图像上目标的尺寸聚类后的尺寸的数值，旋转锚框的高宽比为素材图像上目标的尺寸聚类后的高宽比的数值，旋转锚框的方向角度为构建的图像数据集上对绝缘子目标的倾斜角度经过统计后得到的方向角度数值；

所述损失函数用以计算输出结果与真实值的差别。

5.根据权利要求4所述的一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，其特征是：Darknet53网络结构通过Shortcut模块提高深层网络的学习能力，融合不同尺度特征图以生成的新特征金字塔结构；

在检测层中加入方向角度参数来学习旋转目标的回归。

6.根据权利要求4所述的一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，其特征是：目标检测网络预测绝缘子目标的位置信息时，每个网格产生的默认旋转锚框与预测框的关系为：

式中，c_x表示预测框中心点所处网格的左上角x绝对坐标，c_y表示预测框中心点所处网格的左上角y绝对坐标，σ(t_x)表示预测框中心点相对预测框中心点所在网格的左上角坐标的x偏移量，σ(t_y)表示预测框中心点相对预测框中心点所在网格的左上角坐标的y偏移量，t_w表示预测框的宽偏移量，t_h表示预测框的高偏移量，b_w表示预测框的宽，b_h表示预测框的高，θ表示预测框的预测角度。

7.根据权利要求5或6所述的一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，其特征是：最后的检测层中输出的三层特征图形状分别为19×19×21，38×38×21，76×76×21，其中19,38,76表示最后三个检测层输出的网格数，21表示预测框在每个负责的网格输出的参数数量。

8.根据权利要求4～6任一项所述的一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，其特征在于：所述目标检测网络预测特征层中绝缘子目标的位置和角度信息时，所述建立损失函数中的表达式为：

L_loss＝L_box+L_obj+L_cls

其中，L_box表示边界框回归损失函数，L_obj表示置信度损失函数，L_cls表示分类损失函数。

9.根据权利要求8所述的一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，其特征在于：

所述的回归损失函数中：

其中，S表示特征图划分的网格数，B为预测框数量，x表示预测框相对于网格左上角的水平偏移量，

表示默认锚相对于网格左上角的水平偏移量；y表示预测框相对于网格左上角的垂直偏移量，

表示默认锚框相对于网格左上角的垂直偏移量；w表示预测框的宽度，

表示默认锚框的宽度；h表示预测框的高度，

表示默认锚框的高度；θ表示预测框的方向角度，

表示默认框的方向角度。

所述分类损失函数中：

其中，λ_class表示分类损失函数占总损失函数的权重，p表示第i个网格的预测框中第c类物体存在的概率；

所述置信度损失函数中：

其中，λ_obj为结果目标框的位置权重，λ_noobj为背景框的位置权重，c_i表示第i个网格中物体存在的置信度，

表示标注框标注的物体真实值。

10.根据权利要求1所述的一种基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法，其特征是：结合数据可视化分析方法和聚类分析方法，统计数据集中绝缘子标注框的宽高比、有效像素面积和方向角度，设定符合数据集的默认框，使每个位置的默认框的比例尺度能够与特征图的每个位置的真实框相匹配，以提高模型对检测目标的收敛速度；

采用经过训练的Darknet53模型作为网络的预调模型；将训练集输入模型进行训练，并根据训练结果进行参数的调整，以得到最优的模型；在模型训练完毕后，采用测试集进行模型测试。

Images