CN113313706B - 基于检测参考点偏移分析的电力设备缺陷图像检测方法 - Google Patents

Abstract

本发明涉及一种基于检测参考点偏移分析的电力设备缺陷图像检测方法，与现有技术相比解决了电力设备缺陷样本少、识别率低的缺陷。本发明包括以下步骤：训练图像集的获取；缺陷图像检测网络的构建；缺陷图像检测网络的训练；待检测电力设备缺陷图像的获取；电力设备缺陷图像的检测。本发明通过中心点预测网络、目标宽高预测网络和中心点偏移网络的设计，能够放大电力设备缺陷检测范围，并非局限于图像的中心点区域；同时依据周边检测区域的权重值，自动确定周边检测区域在训练学习中所有损失值所占比例；还进一步解决了电力设计缺陷图像训练样本少的问题。

Description

基于检测参考点偏移分析的电力设备缺陷图像检测方法

技术领域

本发明涉及电力设备技术领域，具体来说是基于检测参考点偏移分析的电力设备缺陷图像检测方法。

背景技术

目前的电力设备缺陷检测方法主要包括传统方法和深度学习方法，而深度学习方法根据检测网络架构基本分为两阶段检测方法和单阶段方法，两阶段方法主要由卷积神经网络和区域建议网络组成，一般需要事先设置好一定面积和宽高比的标定框，根据这些标定框回归出大量的可能区域框，再进一步判断这些大量的可能区域框是哪一类，而单阶段检测方法在提取卷积特征后直接根据参考点进行分类和回归，没有提取可能区域框这一步。

但在实际应用中发现，电力设备缺陷宽高比表现不那么固定，如图2所示，当塑料袋缠绕在变压器上时，其定位中心并不是缺陷图像的中心；再如，在油污缺陷图片中，其油污也并不在缺陷图像的中心出现，因此其致使传统的缺陷图像检测方法难以检测出缺陷问题。同时，由于电力设备缺陷图像的检测技术刚兴起，其训练样本较少致使模型训练度较低，也间接导致了电力设备缺陷图像检测效果差的问题。

因此，针对电力设备缺陷图像标定框的宽高比难以设置、训练样本少的问题，如何设计出一种新的电力设备缺陷图像检测方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中电力设备缺陷样本少、识别率低的缺陷，提供一种基于检测参考点偏移分析的电力设备缺陷图像检测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于检测参考点偏移分析的电力设备缺陷图像检测方法，包括以下步骤：

训练图像集的获取：获取已知电力设备缺陷图像并进行预处理，将图片I缩放到512*512尺寸，将其归纳为训练图像集；

缺陷图像检测网络的构建：通过基础特征表示网络、反卷积网络和局部检测网络构建缺陷图像检测网络；

缺陷图像检测网络的训练：将训练图像集输入缺陷图像检测网络，对缺陷图像检测网络进行训练；

待检测电力设备缺陷图像的获取：获取待检测的电力设备缺陷图像并进行预处理；

电力设备缺陷图像的检测：将预处理后的电力设备缺陷图像输入训练后的缺陷图像检测网络，检测出电力设备缺陷图像中的缺陷。

所述缺陷图像检测网络的构建包括以下步骤：

设定基础特征表示网络，设定基础特征表示网络的第一层为残差网络、第二层为深度聚合网络、第三层为沙漏网络；其中，残差网络为ResNet50网络；深度聚合网络的核心模块包括迭代深度聚合模块和层次深度聚合模块，迭代深度聚合模块用于链接相邻两个阶段的特征让深层和浅层的表达能更好地融合；层次深度聚合模块用树结构链接的层次结构，传播特征和梯度；沙漏网络结构为若干个漏斗形状的网络级联，能够获取多尺度的信息；

设定反卷积网络，反卷积网络包括三个反卷积块，每个反卷积块包括一个3*3的卷积和一个反卷积，反卷积用于放大特征图尺寸，将3x3的卷积替换为可变形卷积增强模型学习能力；

设定局部检测网络，局部检测网络包括三个分支：中心点预测网络、目标宽高预测网络和中心点偏移网络；中心点预测网络用于输出特征图表示每一个特征点对应电力设备缺陷检测的类别概率，目标宽高预测网络用于输出特征图表示每一个特征点学习的宽和高，中心点偏移网络用于输出特征图表示中心点需要做的x方向和y方向的偏移，三个特征图的宽和高相同；

设定缺陷图像检测网络：设定训练图像集输入基础特征表示网络后，输出特征提取得到基础表示特征图；基础表示特征图输入反卷积网络后，经过若干次上采样，再分别送入中心点预测网络、目标宽高预测网络和中心点偏移网络进行预测。

所述缺陷图像检测网络的训练包括以下步骤：

将训练图像集内缩放为512*512尺寸的图片I，输入基础特征表示网络，图片I经过基础特征表示网络后，得到基础表示特征图A，其尺寸为16*16*2048；

基础表示特征图A经过反卷积网络，多次上采样后得到特征图B，其尺寸为128*128*64；

将上采样后的特征图B输入局部检测网络三个分支进行预测，

其中：中心点预测网络输出C尺寸为128*128*K，每一个特征点对应1*1*K维电力设备缺陷检测的类别概率p_ij，目标宽高预测网络输出D尺寸为128*128*2，每一个特征点对应1*1*2维表示每一个特征点学习的宽w和高h，中心点偏移网络输出E尺寸为128*128*2，每一个特征点对应1*1*2维表示中心点需要做的x方向x_offset和y方向的偏移y_offset；

设置网络损失函数：

以目标中心点对应到特征图B上位置点(i_{center_x},j_{center_y})为中心，r为半径的圆内位置点，其中r通过目标宽高以及交并比的阈值确定；

对除中心正样本点之外的正样本点设置其重要性，中心正样本点处权重为最大值，沿着半径向外按高斯函数递减；

缺陷图像检测网络损失函数设置如下，反向传播网络的损失以训练网络：

其中，p⁺表示正样本点，p^-表示负样本点，

表示正样本点的损失，

表示负样本点的损失，

w_ij表示特征图上(i,j)位置处的权重，即不同敏感位置处正样本点对应的重要性权重，

其中

表示特征图B上(i,j)位置处正样本点的损失，

L_cls＝-(1-p_ijc)^αlogp_ijc，

其中，p_ij表示特征图上(i,j)位置处的分量预测值，目标实例的类别真值为c，p_ijc表示p_ij在第c个通道的分量预测值；L_cls为分类损失，L_size为尺寸损失，L_offset为下采样过程中参考点位置取整操作损失，

L_size＝SmoothL1(w-w^*,h-h^*)，

其中，w^*表示目标的真实宽度，h^*表示目标的真实高度，w为网络预测的宽度值，h为网络预测的高度值，

其中，

表示以目标中心点对应到特征图B上位置点(i_{center_x},j_{center_y})为中心，r为半径的圆内的位置点不取整与取整之间的x方向的真实偏移值，

表示以目标中心点对应到特征图B上位置点(i_{center_x},j_{center_y})为中心，r为半径的圆内的位置点不取整与取整之间的y方向的真实偏移值，x_offset为下采样过程中参考点位置取整操作x坐标的像素损失，y_offset为下采样过程中参考点位置取整操作y坐标的像素损失，

其中，

为负样本的分类损失，p_ijk ^α为p_ijk的计算过渡参数，p_ijk为特征图B上空间位置(i,j)处第k个通道对应的预测值，

最终经过随机梯度下降法反向传播损失训练网络后得到网络模型参数。

所述电力设备缺陷图像的检测包括以下步骤：

获取含有电力设备缺陷的图像为I,经过图像预处理后输入基础特征表示网络输出基础表示特征图A；

基础表示特征图A输入反卷积网络，得到上采样后的特征图B；

将上采样后的特征图B局部检测网络三个分支进行预测；

中心点预测网络输出分类得分概率图尺寸为128*128*K，每一个峰值点对应1*1*K维电力设备缺陷检测的类别概率，针对K个通道特征图分别使用3*3的最大池化提取每个通道特征图的n个峰值点

为

其中i,j表示在128*128的特征图大小中可能的中心点的位置，

为第m个峰值点的x坐标，

为第m个峰值点的y坐标，m为峰值点的索引，n为自定义所需的峰值点个数；

找到对应目标宽高预测网络所输出(i,j)处的值，即学习得到的中心点(i,j)对应的值，分别表示宽w和高h；

找到对应中心点偏移网络所输出(i,j)处的值，即学习得到的中心点(i,j)对应的值，分别表示中心点(i,j)需要在x方向的偏移

和y方向的偏移

最终，针对每一个峰值点对应到原图中存在的电力设备缺陷的位置定位在

scale为峰值点所在特征图与原图的缩放比例，宽高分别为w和h。

有益效果

本发明的基于检测参考点偏移分析的电力设备缺陷图像检测方法，与现有技术相比通过中心点预测网络、目标宽高预测网络和中心点偏移网络的设计，能够放大电力设备缺陷检测范围，并非局限于图像的中心点区域；同时依据周边检测区域的权重值，自动确定周边检测区域在训练学习中所有损失值所占比例；还进一步解决了电力设计缺陷图像训练样本少的问题。

附图说明

图1为本发明的方法顺序图；

图2为现有技术中电力设备缺陷图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于检测参考点偏移分析的电力设备缺陷图像检测方法，包括以下步骤：

第一步，训练图像集的获取：获取已知电力设备缺陷图像并进行预处理，将图片I缩放到512*512尺寸，将其归纳为训练图像集。

第二步，缺陷图像检测网络的构建：通过基础特征表示网络、反卷积网络和局部检测网络构建缺陷图像检测网络。本发明在此所设计的缺陷图像检测网络属于直接检测得到目标的一阶段检测网络，不需要提前设定很多初始框，避免了很多超参数的设定，速度快于多阶段检测，同时通过反卷积网络将图像分辨率逐层扩大获取多层次特征表示。其具体步骤如下：

(1)设定基础特征表示网络，设定基础特征表示网络的第一层为残差网络、第二层为深度聚合网络、第三层为沙漏网络；其中，残差网络为ResNet50网络；深度聚合网络的核心模块包括迭代深度聚合模块和层次深度聚合模块，迭代深度聚合模块用于链接相邻两个阶段的特征让深层和浅层的表达能更好地融合；层次深度聚合模块用树结构链接的层次结构，传播特征和梯度；沙漏网络结构为若干个漏斗形状的网络级联，能够获取多尺度的信息。

(2)设定反卷积网络，反卷积网络包括三个反卷积块，每个反卷积块包括一个3*3的卷积和一个反卷积，反卷积用于放大特征图尺寸，将3x3的卷积替换为可变形卷积增强模型学习能力。

(3)设定局部检测网络，局部检测网络包括三个分支：中心点预测网络、目标宽高预测网络和中心点偏移网络；中心点预测网络用于输出特征图表示每一个特征点对应电力设备缺陷检测的类别概率，目标宽高预测网络用于输出特征图表示每一个特征点学习的宽和高，中心点偏移网络用于输出特征图表示中心点需要做的x方向和y方向的偏移，三个特征图的宽和高相同。

(4)设定缺陷图像检测网络：设定训练图像集输入基础特征表示网络后，输出特征提取得到基础表示特征图；基础表示特征图输入反卷积网络后，经过若干次上采样，再分别送入中心点预测网络、目标宽高预测网络和中心点偏移网络进行预测。

第三步，缺陷图像检测网络的训练：将训练图像集输入缺陷图像检测网络，对缺陷图像检测网络进行训练。本发明在训练的时候不仅仅考虑每个目标实例的中心点作为正样本点，同时考虑了中心点周围的次关键点，增加正样本数量的同时也会考虑到中心点无特征值的情况，并且损失函数设计的时候考虑了次关键点在偏移以及宽高的损失，因为这些次关键点不仅仅对分类有损失，对偏移损失和宽高损失也有影响。其具体步骤如下：

(1)将训练图像集内缩放为512*512尺寸的图片I，输入基础特征表示网络，图片I经过基础特征表示网络后，得到基础表示特征图A，其尺寸为16*16*2048；

(2)基础表示特征图A经过反卷积网络，多次上采样后得到特征图B，其尺寸为128*128*64；

(3)将上采样后的特征图B输入局部检测网络三个分支进行预测，

其中：中心点预测网络输出C尺寸为128*128*K，每一个特征点对应1*1*K维电力设备缺陷检测的类别概率p_ij，目标宽高预测网络输出D尺寸为128*128*2，每一个特征点对应1*1*2维表示每一个特征点学习的宽w和高h，中心点偏移网络输出E尺寸为128*128*2，每一个特征点对应1*1*2维表示中心点需要做的x方向x_offset和y方向的偏移y_offset；

(4)设置网络损失函数：

因为目标数目有限，所以如果仅仅使用目标中心点作为正样本点，那么目标对应的正样本太少导致正负样本过于不均衡，还需要添加正样本点附近一些位置点作为正样本，即以目标中心点对应到特征图B上位置点(i_{center_x},j_{center_y})为中心，r为半径的圆内的位置点，其中r通过目标宽高以及交并比的阈值确定，但是特征最敏感的位置仍然是中心正样本点，所以需要对除中心正样本点之外的正样本点设置不同的重要性，中心正样本点处权重为最大值，沿着半径向外按高斯函数递减，因此检测网络损失函数设置如下：

以目标中心点对应到特征图B上位置点(i_{center_x},j_{center_y})为中心，r为半径的圆内位置点，其中r通过目标宽高以及交并比的阈值确定；

对除中心正样本点之外的正样本点设置其重要性，中心正样本点处权重为最大值，沿着半径向外按高斯函数递减；

缺陷图像检测网络损失函数设置如下，反向传播网络的损失以训练网络：

其中，p⁺表示正样本点，p^-表示负样本点，

表示正样本点的损失，

表示负样本点的损失，

w_ij表示特征图上(i,j)位置处的权重，即不同敏感位置处正样本点对应的重要性权重，

其中

表示特征图B上(i,j)位置处正样本点的损失，

L_cls＝-(1-p_ijc)^αlogp_ijc，

其中，p_ij表示特征图上(i,j)位置处的分量预测值，目标实例的类别真值为c，p_ijc表示p_ij在第c个通道的分量预测值；L_cls为分类损失，L_size为尺寸损失，L_offset为下采样过程中参考点位置取整操作损失，

L_size＝SmoothL1(w-w^*,h-h^*)，

其中，w^*表示目标的真实宽度，h^*表示目标的真实高度，w为网络预测的宽度值，h为网络预测的高度值，

其中，

表示以目标中心点对应到特征图B上位置点(i_{center_x},j_{center_y})为中心，r为半径的圆内的位置点不取整与取整之间的x方向的真实偏移值，

表示以目标中心点对应到特征图B上位置点(i_{center_x},j_{center_y})为中心，r为半径的圆内的位置点不取整与取整之间的y方向的真实偏移值，x_offset为下采样过程中参考点位置取整操作x坐标的像素损失，y_offset为下采样过程中参考点位置取整操作y坐标的像素损失，

其中，

为负样本的分类损失，p_ijk ^α为p_ijk的计算过渡参数，p_ijk为特征图B上空间位置(i,j)处第k个通道对应的预测值，

最终经过随机梯度下降法反向传播损失训练网络后得到网络模型参数。

第四步，待检测电力设备缺陷图像的获取：获取待检测的电力设备缺陷图像并进行预处理。

第五步，电力设备缺陷图像的检测：将预处理后的电力设备缺陷图像输入训练后的缺陷图像检测网络，检测出电力设备缺陷图像中的缺陷。

所述电力设备缺陷图像的检测包括以下步骤：

(1)获取含有电力设备缺陷的图像为I,经过图像预处理后输入基础特征表示网络输出基础表示特征图A；

(2)基础表示特征图A输入反卷积网络，得到上采样后的特征图B；

(3)将上采样后的特征图B局部检测网络三个分支进行预测；

A1)中心点预测网络输出分类得分概率图尺寸为128*128*K，每一个峰值点对应1*1*K维电力设备缺陷检测的类别概率，针对K个通道特征图分别使用3*3的最大池化提取每个通道特征图的n个峰值点

为

其中i,j表示在128*128的特征图大小中可能的中心点的位置，

为第m个峰值点的x坐标，

为第m个峰值点的y坐标，m为峰值点的索引，n为自定义所需的峰值点个数；

A2)找到对应目标宽高预测网络所输出(i,j)处的值，即学习得到的中心点(i,j)对应的值，分别表示宽w和高h；

A3)找到对应中心点偏移网络所输出(i,j)处的值，即学习得到的中心点(i,j)对应的值，分别表示中心点(i,j)需要在x方向的偏移

和y方向的偏移

(4)最终，针对每一个峰值点对应到原图中存在的电力设备缺陷的位置定位在

scale为峰值点所在特征图与原图的缩放比例，宽高分别为w和h。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (2)

1.一种基于检测参考点偏移分析的电力设备缺陷图像检测方法，其特征在于，包括以下步骤：

11)训练图像集的获取：获取已知电力设备缺陷图像并进行预处理，将图片I缩放到512*512尺寸，将其归纳为训练图像集；

12)缺陷图像检测网络的构建：通过基础特征表示网络、反卷积网络和局部检测网络构建缺陷图像检测网络；所述缺陷图像检测网络的构建包括以下步骤：

121)设定基础特征表示网络，设定基础特征表示网络的第一层为残差网络、第二层为深度聚合网络、第三层为沙漏网络；其中，残差网络为ResNet50网络；深度聚合网络的核心模块包括迭代深度聚合模块和层次深度聚合模块，迭代深度聚合模块用于链接相邻两个阶段的特征让深层和浅层的表达能更好地融合；层次深度聚合模块用树结构链接的层次结构传播特征和梯度；沙漏网络结构为若干个漏斗形状的网络级联，能够获取多尺度的信息；

122)设定反卷积网络，反卷积网络包括三个反卷积块，每个反卷积块包括一个3*3的卷积和一个反卷积，反卷积用于放大特征图尺寸，将3x3的卷积替换为可变形卷积增强模型学习能力；

123)设定局部检测网络，局部检测网络包括三个分支：中心点预测网络、目标宽高预测网络和中心点偏移网络；中心点预测网络用于输出特征图表示每一个特征点对应电力设备缺陷检测的类别概率，目标宽高预测网络用于输出特征图表示每一个特征点学习的宽和高，中心点偏移网络用于输出特征图表示中心点需要做的x方向和y方向的偏移，三个特征图的宽和高相同；

124)设定缺陷图像检测网络：设定训练图像集输入基础特征表示网络后，输出特征提取得到基础表示特征图；基础表示特征图输入反卷积网络后，经过若干次上采样，再分别送入中心点预测网络、目标宽高预测网络和中心点偏移网络进行预测；

13)缺陷图像检测网络的训练：将训练图像集输入缺陷图像检测网络，对缺陷图像检测网络进行训练；

所述缺陷图像检测网络的训练包括以下步骤：

131)将训练图像集内缩放为512*512尺寸的图片I，输入基础特征表示网络，图片I经过基础特征表示网络后，得到基础表示特征图A，其尺寸为16*16*2048；

132)基础表示特征图A经过反卷积网络，多次上采样后得到特征图B，其尺寸为128*128*64；

133)将上采样后的特征图B输入局部检测网络三个分支进行预测，

其中：中心点预测网络输出C尺寸为128*128*K，每一个特征点对应1*1*K维电力设备缺陷检测的类别概率p_ij，目标宽高预测网络输出D尺寸为128*128*2，每一个特征点对应1*1*2维表示每一个特征点学习的宽w和高h，中心点偏移网络输出E尺寸为128*128*2，每一个特征点对应1*1*2维表示中心点下采样过程中参考点位置取整操作x坐标的像素损失和下采样过程中参考点位置取整操作y坐标的像素损失y_offset；

134)设置网络损失函数：

以目标中心点对应到特征图B上位置点(i_{center_x},j_{center_y})为中心，r为半径的圆内位置点，其中r通过目标宽高以及交并比的阈值确定；

对除中心正样本点之外的正样本点设置其重要性，中心正样本点处权重为最大值，沿着半径向外按高斯函数递减；

缺陷图像检测网络损失函数设置如下，反向传播网络的损失以训练网络：

其中，p⁺表示正样本点，p^-表示负样本点，

表示正样本点的损失，

表示负样本点的损失，

w_ij表示特征图B上(i,j)位置处的权重，即不同敏感位置处正样本点对应的重要性权重，

其中

表示特征图B上(i,j)位置处正样本点的损失，

L_cls＝-(1-p_ijc)^αlog p_ijc，

其中，p_ij表示特征图B上(i,j)位置处的类别概率，目标实例的类别真值为z，p_ijc表示p_ij在第c个通道的分量预测值；L_cls为分类损失，L_size为尺寸损失，L_offset为下采样过程中参考点位置取整操作损失，

L_size＝SmoothL1(w-w^*,h-h^*)，

其中，w^*表示目标的真实宽度，h^*表示目标的真实高度，w为网络预测的宽度值，h为网络预测的高度值，

其中，

表示以目标中心点对应到特征图B上位置点(i_{center_x},j_{center_y})为中心，r为半径的圆内的位置点不取整与取整之间的x方向的真实偏移值，

表示以目标中心点对应到特征图B上位置点(i_{center_x},j_{center_y})为中心，r为半径的圆内的位置点不取整与取整之间的y方向的真实偏移值，x_offset为下采样过程中参考点位置取整操作x坐标的像素损失，y_offset为下采样过程中参考点位置取整操作y坐标的像素损失，

其中，

为负样本点的损失，p_ijk ^α为p_ijk的计算过渡参数，p_ijk为特征图B上空间位置(i,j)处第k个通道对应的预测值，

最终经过随机梯度下降法反向传播损失训练网络后得到网络模型参数；

14)待检测电力设备缺陷图像的获取：获取待检测的电力设备缺陷图像并进行预处理；

15)电力设备缺陷图像的检测：将预处理后的电力设备缺陷图像输入训练后的缺陷图像检测网络，检测出电力设备缺陷图像中的缺陷。

2.根据权利要求1所述的基于检测参考点偏移分析的电力设备缺陷图像检测方法，其特征在于，所述电力设备缺陷图像的检测包括以下步骤：

21)获取含有电力设备缺陷的图像为I,经过图像预处理后输入基础特征表示网络输出基础表示特征图A；

22)基础表示特征图A输入反卷积网络，得到上采样后的特征图B；

23)将上采样后的特征图B局部检测网络三个分支进行预测；

231)中心点预测网络输出分类得分概率图尺寸为128*128*K，每一个峰值点对应1*1*K维电力设备缺陷检测的类别概率，针对K个通道特征图分别使用3*3的最大池化提取每个通道特征图的n个峰值点

为

其中i,j表示在128*128的特征图大小中可能的中心点的位置，

为第m个峰值点的x坐标，

为第m个峰值点的y坐标，m为峰值点的索引，n为自定义所需的峰值点个数；

232)找到对应目标宽高预测网络所输出(i,j)处的值，即学习得到的中心点(i,j)对应的值，分别表示宽w和高h；

233)找到对应中心点偏移网络所输出(i,j)处的值，即学习得到的中心点(i,j)对应的值，分别表示中心点(i,j)需要在x方向的偏移

和y方向的偏移

24)最终，针对每一个峰值点对应到原图中存在的电力设备缺陷的位置定位在

scale为峰值点所在特征图与原图的缩放比例，宽高分别为w和h。

Images