CN111462057A

CN111462057A - 一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法

Info

Publication number: CN111462057A
Application number: CN202010206878.6A
Authority: CN
Inventors: 杜启亮; 黎春翔; 田联房; 邝东海
Original assignee: South China University of Technology SCUT; Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Current assignee: South China University of Technology SCUT; Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2020-07-28
Anticipated expiration: 2040-03-23
Also published as: CN111462057B

Abstract

本发明公开了一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法，通过无人机采集输电线路图像，使用深层Mask R‑CNN网络分割玻璃绝缘子串，并基于不变矩计算绝缘子串长轴的拟合直线方程。对裁剪后的玻璃绝缘子串图像使用浅层Mask R‑CNN网络进一步分割玻璃绝缘子片并计算质心位置。通过质心到拟合直线的距离判断玻璃绝缘子串的类型，并基于相邻质心的距离与距离阈值的比例定位自爆缺陷位置。本发明可以实现精确检测并定位玻璃绝缘子串的自爆缺陷位置，保障输电供电安全。

Description

一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法

技术领域

本发明涉及输电线路上玻璃绝缘子缺陷检测的技术领域，尤其是指一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法。

背景技术

输电线路的安全关系到整个输电网络的安全运行，有效、准确、及时地监控输电线路上关键组件的状态能够保障电力人员对输电线路故障做出及时反应或是及早预防控制。而玻璃绝缘子是输电线路上重要的电力器件，在输电线路中起绝缘、支撑作用，但由于其玻璃材质含有杂质、钢化不良、承受冷热骤变或是强外力以及雷击陡波放电等因素，容易出现零值自爆。而玻璃绝缘子自爆有可能会影响输电线路的安全稳定运行，极有可能会造成线路跳闸故障。若能够及时发现玻璃绝缘子片自爆缺陷，能够及早处理缺陷，从而避免进严重的故障发生。而现有的一些基于传统图像处理，例如通过Lab颜色空间以及最大类间方差进行阈值分割的方法，在变化较大的室外场景下，对不同角度和不同形态的玻璃绝缘子的检测难以具有鲁棒性。

本方法旨在发明一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法，该方法对无人机拍摄的室外输电线路场景图片进行两次分割，精准定位玻璃绝缘子串以及绝缘子片位置，并基于距离阈值判断自爆缺陷位置，对不同光照变化、气候变化以及不同姿态、类型的玻璃绝缘子串的检测和缺陷识别都具备较好的鲁棒性。该方法能够精确及时发现输电线路上的玻璃绝缘子的自爆缺陷，以提醒电力工作人员注意及时应对故障问题。

综合以上论述，发明一种满足高精确度的基于深度学习的玻璃绝缘子自爆检测方法具有较高的实际应用价值。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法，能够精准检测输电线路上的玻璃绝缘子的自爆缺陷，及时发现和定位故障位置。

为实现上述目的，本发明所提供的技术方案为：一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法，包括以下步骤：

1)通过无人机采集输电线路上的图像，并通过网络传输到远程的服务器端；

2)采用深层Mask R-CNN网络对图像中的玻璃绝缘子串进行分割并获取二值化掩膜图像；

3)基于不变矩计算玻璃绝缘子串的质心以及倾斜角度，根据质心、倾斜角度拟合长轴的直线方程；

4)裁剪玻璃绝缘子串图像并进行等比例填充，再采用浅层Mask R-CNN网络对填充后的图像中的玻璃绝缘子片进行分割，获得每个玻璃绝缘子片的二值化掩膜图像；

5)基于不变矩计算每个绝缘子片的质心位置，并计算所有玻璃绝缘子片的质心与玻璃绝缘子串长轴拟合的直线方程的欧式距离之和；基于该距离与设定距离阈值判断玻璃绝缘子串类型；若该距离小于设定距离阈值，则判定该绝缘子串为单串玻璃绝缘子，跳至步骤6)；若该距离大于设定距离阈值，则判定该绝缘子串为双串玻璃绝缘子，跳至步骤7)；

6)对于单串玻璃绝缘子，根据玻璃绝缘子串的倾斜角度对所有质心进行排序，然后计算相邻质心的距离，以最小相邻质心距离作为间隔阈值，计算所有相邻质心距离与间隔阈值的比例，若某相邻质心比例大于设定阈值，则判定该相邻质心间存在自爆缺陷，从而定位该串玻璃绝缘子的自爆缺陷位置；

7)对于双串玻璃绝缘子串，根据玻璃绝缘子串长轴拟合的直线方程将质心分为两组，即为左串和右串的绝缘子片质心，分别对每组质心进行步骤6)操作，从而定位双串玻璃绝缘子的自爆缺陷位置。

在步骤2)中，采用pytorch构建深层Mask R-CNN网络，Mask R-CNN网络主要由基网络、区域建议网络RPN、RoIAlign模块、分类分支、坐标回归分支以及Mask分支组成；Mask R-CNN网络推导包括以下步骤：

2.1)输入图像先通过基网络提取特征，获得不同尺度的特征图；

2.2)RPN进行区域建议，其在特征图上每个点生成不同尺度的候选框，并通过网络进行粗分类和粗定位，基于置信度和非极大抑制思想筛除大量候选框，将剩余候选框送入后续网络中；

2.3)将不同大小和尺度的候选框所在的特征图区域通过RoIAlign模块输出得到固定尺寸的特征图，RoIAlign先将候选框分割成固定个数个单元，每个单元的边界不进行量化，在每个单元中计算固定四个坐标位置，然后采用双线性内插的方法计算这四个位置的值，并基于这四个位置的值进行最大池化操作；

2.4)将固定大小的特征图作为分类分支、坐标回归分支和Mask分支的输入；其中，分类分支是以热编码形式输出特征图类别，坐标回归分支为预测候选框与真实目标区域的坐标、宽高偏差值，Mask分支输出以0、1值表述的目标的二值化掩膜图像；

此处的深层体现在基网络与Mask分支均采用深层的卷积神经网络，采用ResNet-50作为基网络和Mask分支的主网络结构。

在步骤4)中，所述浅层Mask R-CNN网络与深层Mask R-CNN网络的区别在于，其特征提取的基网络和Mask分支的主网络采用浅层的卷积神经网络，由于深层Mask R-CNN网络已经分割了玻璃绝缘子串的区域图像，故而浅层Mask R-CNN专注于玻璃绝缘子串区域的分割是否完全满足实际需求，再采用训练所得的浅层Mask R-CNN网络的预测模型对裁剪后的新输入图像进一步分割，分割获得每个玻璃绝缘子片的二值化掩膜图像。

在步骤5)中，基于所有质心到长轴拟合直线的欧式距离之和判断绝缘子串为单串或是双串，其中，单串玻璃绝缘子的所有质心近似在一条直线上，即所有质心到长轴拟合的直线的欧氏距离小，而双串玻璃绝缘子的长轴拟合直线平行双串玻璃绝缘子的两个单串，并位于两串的中心位置，故而所有质心到该直线的欧式距离之和大，通过此方法能精准判断玻璃绝缘子的类型，并且在两串存在大量重叠时也具备高精度。

本发明与现有技术相比，具有如下优点与有益效果：

1、采用深度学习实例分割方法对玻璃绝缘子串进行分割，对恶劣天气、不同光照以及多形态、多类型的玻璃绝缘子均有较好的分割效果。

2、采用深度Mask R-CNN和浅层Mask R-CNN分别进行玻璃绝缘子串和玻璃绝缘子片的分割，剔除了大量背景对于绝缘子片分割的干扰，提升对小目标的分割效果并能降低算法复杂度，从而确保分割精准性和处理时长的兼顾。

3、基于所有质心到玻璃绝缘子串长轴拟合的直线的欧式距离之和判断绝缘子串类型，能够保证算法对于不同绝缘子串类型的适普性。

4、若双串玻璃绝缘子的两串之间存在严重重叠的情况下，采用目标检测或纹理算子检测定位缺陷容易因缺陷部分遮挡严重而导致检测不精确。通过距离阈值法检测和定位玻璃绝缘子串的自爆缺陷，能够有效避免该缺点，使得其对于遮挡严重的双串绝缘子具备较高的检测精度。

附图说明

图1为本发明方法逻辑流程示意图。

图2为本发明的无人机采集的输电线路图像。

图3为深层Mask R-CNN网络结构图。

图4为ResNet-50网络结构图。

图5为网络模块A所示。

图6为ID block结构图。

图7为conv block结构图。

图8为Mask预测分支网络结构图

图9为玻璃绝缘子串的二值化掩膜图像。

图10为裁剪的玻璃绝缘子串矩形区域图像。

图11为玻璃绝缘子串掩膜图像中质心和长轴拟合的直线效果图。

图12为ResNet-18网络结构图。

图13为双串玻璃绝缘子片质心和长轴拟合的直线效果图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于深度学习的输电线路上玻璃绝缘子自爆检测方法，其具体情况如下：

步骤1：无人机对输电线路进行固定线路巡检，并在杆塔附近拍摄高压杆塔现场图像，如图2所示，并通过4G网络远距离传输到远程服务器端。

步骤2：将无人机采集的现场图像按比例划分训练数据集和测试数据集，采用Labelme软件对训练数据集中的玻璃绝缘子串的边缘进行点集标注，获得对应图像的json格式的标签文件，标注文件包括图像中玻璃绝缘子串目标的矩形坐标数据、掩膜点集数据以及类别信息，并将图片和标签制作成训练数据集。

步骤3：采用pytorch库构建深层Mask R-CNN网络，深层Mask R-CNN网络结构如图3所示，主要由基网络ResNet-50、区域建议网络(RPN)和区域特征聚集模块(RoIAlign)、分类分支、坐标回归分支、Mask分支组成。图中，conv为传统卷积层，Softmax为用于分类输出层，FC为全连接层。整体网络其主要结构介绍如下：

基网络ResNet-50整体结构如图4所示，主要由ID block和conv block组成，IDblock和conv block主要由非线性激活函数ReLU和网络模块A组成，模块A如图5所示，IDblock如图6所示，conv block如图7所示。图中CONV2D为传统卷积层，BatchNorm为批归一化层，ReLU为非线性激活函数，MAXPOOL为最大池化层，AVGPOOL为平均池化层，FC为全连接层。

区域建议网络RPN由1个3×3、两个1×1卷积层和非线性函数Softmax构成，主要用于对基网络中最后特征图上生成的先验的候选框进行粗分类和坐标回归，并基于分类置信度和矩形框的重叠度进行筛选，得到一定数量的潜在候选框，用于后续处理。

RoIAlign主要是将候选框所在的特征图进行池化得到固定大小的特征图。即将每个候选框中的特征图先平均划分为14×14的单元格，对每个单元的边界不进行量化操作，然后在每个单元中计算固定四个坐标位置，双线性插值计算四个坐标的值，基于四个坐标的值进行最大池化操作。

预测输出分支包括分类分支、坐标回归分支和Mask分支。分类分支由3×3、1×1卷积层和输出层Softmax组成，输出候选框中的目标类别以及置信度。坐标回归分支同样由3×3、1×1卷积层和输出层Softmax组成，输出候选框与真实框之间的坐标、宽高偏差值。Mask分支用于预测目标的二值化掩膜，为一个全卷积的网络结构，同样采用ResNet-50网络结构，中间网络层的通道数channel均为256，其最后一层的通道数为类别数量，此处为2，结构示意图如图8所示。

输入图像先通过ResNet-50提取特征，RPN进行区域建议，获得大量潜在候选框，然后每个候选框所在特征图区域通过RoIAlign得到固定尺寸的特征图，将该特征图作为分类分支、坐标回归分支和Mask分支的输入，在Mask分支获得目标的二值化掩膜，在分类分支获得目标的类别结果，在坐标回归分支获得目标定位偏差值用于坐标校正。

步骤4：将实例分割训练数据集输入深层Mask R-CNN网络中，构建分类损失、坐标损失和掩膜损失之和的损失函数作为网络训练监督信号。设置超参数，Batch设置为4，初始学习率设置为0.001，采用Adam优化方法进行训练，当网络收敛时终止网络训练，获得实例分割预测模型。测试时，无人机采集的现场图像进行缩放处理，缩放到800×800大小，然后采用Mask R-CNN预测模型对缩放后的图像进行预测。在分类分支获得玻璃绝缘子串的置信度，在坐标回归分支获得目标定位偏差值用于坐标校正，通过分类和坐标回归分支的输出得到玻璃绝缘子串的矩形框的左上角和右下角的坐标。根据矩形框坐标将玻璃绝缘子串从现场图中裁剪出来，在Mask分支获得玻璃绝缘子串的二值化掩膜图。图9为玻璃绝缘子串经过深层Mask R-CNN预测模型分割得到的二值化掩膜图像。图10为裁剪的玻璃绝缘子串矩形区域图像，裁剪的玻璃绝缘子串矩形区域图像并成比例进行缩放，将长边缩放到416，短边进行等比例缩放，并将其它区域采用0值填充得到416×416的图像。

步骤5：基于玻璃绝缘子串的二值化掩膜图像和Hu不变矩计算玻璃绝缘子串的质心以及倾斜角度。先使用opencv库中的cv2.moments()函数计算图像一阶统计矩和二阶统计矩，如下式所示：

其中，I代表图像一共有I行，J代表图像一共有J列，i代表第i行，j代表第j列，i^u代表i的u次方，j^v代表j的v次方，V(i,j)代表图像位于i行j列的像素值，M_uv代表图像的统计矩，u代表行阶数，v代表列阶数。基于一阶与二阶统计矩计算二值掩膜图像的质心坐标，计算公式如下式所示：

其中x_c为质心的横坐标，y_c为质心的纵坐标。M₀₀为0阶中心矩，M₀₁,M₁₀为1阶不变矩。

倾角计算如下式所示：

其中，a为通过统计矩计算得到的图像在行方向的二阶中心矩，b为通过统计矩计算得到的图像在行方向和列方向的二阶中心矩，c为通过统计矩计算得到的图像在列方向的二阶中心矩，θ为图像长轴倾斜角度。基于质心坐标(x,y)和长轴倾角θ可以获得长轴拟合的直线方程l，计算如下式所示：

y-y_c＝tanθ·(x-x_c)

其中x_c为质心的横坐标，y_c为质心的纵坐标，θ为长轴倾角。经不变矩计算得到的玻璃绝缘子串的掩膜图像中质心和长轴拟合的直线效果图如图11所示。

步骤6：将填充得到的416×416图像划分为训练数据集和测试数据集，用Lableme进行标注，通过点集的方式标注绝缘子片的类别、精细外轮廓，得到包含标注信息的标签文件。将图片和标签作为浅层Mask R-CNN网络的输入训练网络，训练中采用Adam优化方法、0.001的初始学习率进行训练，得到预测模型。

步骤7：采用浅层Mask R-CNN网络预测模型对裁剪的玻璃绝缘子串矩形区域图像进行进一步的分割，目标在于分割每一个绝缘子片，得到所有玻璃绝缘子的二值化掩膜图像。浅层Mask R-CNN与步骤2中采用的深层Mask R-CNN区别在于，浅层Mask R-CNN的基网络以及Mask分支均采用浅层的ResNet-18，ResNet-18结构如图12所示，相比ResNet-50降低了网络层数与参数量，提高了算法效率。

步骤8：基于步骤5中所述的不变矩计算方法，对每个绝缘子片的二值化掩膜图像计算其质心，得到所有绝缘子片的质心坐标。计算所有质心与拟合直线l的欧式距离之和d。基于距离和与设定距离阈值dthresh判断绝缘子串为单串玻璃绝缘子还是双串玻璃绝缘子。若d＜dthresh，则判定该绝缘子为单串玻璃绝缘子，跳至步骤9。若d＞dthresh，则判定该绝缘子为双串玻璃绝缘子。此处，dthresh取20，跳至步骤10。

步骤9：对于单串玻璃绝缘子，采用距离阈值法判断和定位自爆缺陷，根据前面步骤计算的角度θ对单串玻璃绝缘子的所有质心进行排序。当θ＜45°或θ＞135°时，将所有质心在X轴方向上进行排序，得到一系列从左到右的质心点。计算两相邻质心的欧式距离，获得一组距离值d₁₂,d₂₃,d₃₄,...，d_i-1i，其中i为质心数量，下标表示相邻质心的标号。取最小距离值d_min＝min(d₁₂,d₂₃,d₃₄,...，d_i-1i)作为间隔阈值。遍历所有的距离值，若存在d_j-1j＞1.5*d_min，其中0＜j＜i，则说明第j-1个绝缘子片与j个绝缘子片存在自爆缺陷。若所有距离值均满足d_j-1j＜1.5*d_min，则说明该绝缘子串不存在自爆缺陷。通过该方法检测并定位了单串玻璃绝缘子串的自爆缺陷位置。

步骤10：对于双串玻璃绝缘子，通过长轴拟合的直线l将所有质心划分为两组，双串玻璃绝缘子片质心和长轴拟合的直线效果图如图13所示。即将每个质心坐标代入直线方程中，若大于0则将质心分在组1，若小于0则将该质心分在组2。组1和组2的质心代表双串经过划分成两个单串之后所得的单串质心集合。对两组单串的质心集合重复步骤7中的距离阈值法，从而判定双串玻璃绝缘子的两串玻璃绝缘子串的状态以及定位自爆缺陷位置。

综上所述，在采用以上方案，本发明为检测玻璃绝缘子自爆缺陷提供了新的方法，采用深度学习、传统图像处理算法实现了对玻璃绝缘子自爆缺陷的高精度检测和定位，具有实际推广价值，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims

1.一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法，其特征在于：在步骤2)中，采用pytorch构建深层Mask R-CNN网络，Mask R-CNN网络主要由基网络、区域建议网络RPN、RoIAlign模块、分类分支、坐标回归分支以及Mask分支组成；Mask R-CNN网络推导包括以下步骤：

3.根据权利要求1所述的一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法，其特征在于，在步骤4)中，所述浅层Mask R-CNN网络与深层Mask R-CNN网络的区别在于，其特征提取的基网络和Mask分支的主网络采用浅层的卷积神经网络，由于深层Mask R-CNN网络已经分割了玻璃绝缘子串的区域图像，故而浅层Mask R-CNN专注于玻璃绝缘子串区域的分割是否完全满足实际需求，再采用训练所得的浅层Mask R-CNN网络的预测模型对裁剪后的新输入图像进一步分割，分割获得每个玻璃绝缘子片的二值化掩膜图像。

4.根据权利要求1所述的一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法，其特征在于，在步骤5)中，基于所有质心到长轴拟合直线的欧式距离之和判断绝缘子串为单串或是双串，其中，单串玻璃绝缘子的所有质心近似在一条直线上，即所有质心到长轴拟合的直线的欧氏距离小，而双串玻璃绝缘子的长轴拟合直线平行双串玻璃绝缘子的两个单串，并位于两串的中心位置，故而所有质心到该直线的欧式距离之和大，通过此方法能精准判断玻璃绝缘子的类型，并且在两串存在大量重叠时也具备高精度。