CN107808141A - 一种基于深度学习的输电线路绝缘子爆裂识别方法 - Google Patents

Abstract

本发明公开一种基于深度学习的输电线路绝缘子爆裂识别方法，包括：首先，用无人机采集输电线路绝缘子图片；然后，将无人机采集到的输电线路绝缘子图片进行目标检测，可以准确的回归出原始图片中绝缘子串的位置，根据位置回归结果裁剪出单独的绝缘子串；然后，采用深度学习全卷积神经网络的方法对绝缘子串进行语义分割，从背景中分割出绝缘子串；最后，提取单个绝缘子的质心，并求相邻绝缘子质心之间的距离，将平均距离的1.5倍设置为阈值，如果两绝缘子之间的距离大于阈值，则认为两绝缘子之间存在爆裂，则标出绝缘子爆裂的位置。本发明避免了传统绝缘子提取过程中人为设定阈值和选取参数带来的主观影响，且识别准确率上得到提升。

Description

一种基于深度学习的输电线路绝缘子爆裂识别方法

技术领域

本发明属于深度学习领域和电力识别领域，特别涉及一种输电线路绝缘子爆裂识别方法。

背景技术

随着近几年无人机应用的逐渐普及，电力巡线无人机受到各大电网公司的广泛关注，具有广阔的应用前景。一方面，无人机巡线具有野外作业风险低、成本低以及作业灵活的特点；另一方面，产生的海量数据需要经过人工判读才能得到最终的巡检报告，因此采用深度学习和图像识别结合的方法对输电线路缺陷的识别具有重要意义。

传统的输电线路绝缘子爆裂识别算法主要采用人工设计的特征，如SIFT(Scale-invariant feature transform)、边缘检测符、HOG(Histogram of Oriented Gridients)等，不能很好地适用于输电线路，采用的分割算法主要基于部件外围轮廓骨架、自适应阈值等进行图像分割。但这些方法在设计原则上往往是基于特定类别来实现的，其准确率低，不具有可扩展性；而且方法结构松散，缺少对低层特征进行综合利用进而达到全局最优识别的目的。

发明内容

本发明的目的在于提供了一种基于深度学习的输电线路绝缘子爆裂识别方法，以解决现有技术因人为提取特征参数和选取阈值的随机性和不合理性以及效率低的问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度学习的输电线路绝缘子爆裂识别方法，包括：

步骤1、用无人机采集输电线路绝缘子原始图片；

步骤2、将步骤1得到的原始图片通过目标检测网络Faster R-CNN，对图片进行分类回归和位置回归，得到绝缘子存在于原始图片上的像素位置和其置信度；然后将得到的绝缘子像素位置进行裁剪，截取出单独的绝缘子串；

步骤3、将步骤2得到的单独绝缘子串图片用全卷积神经网络分割，从背景中提取出绝缘子图片；

步骤4、将步骤3得到的绝缘子图片通过八临域连通区域生长的方式计算连通区域面积，根据连通区域面积设定面积阈值，将小于面积阈值的连通区域去除，获得去噪后的绝缘子图片；然后将去噪后的图片提取连通区域；

步骤5、将步骤4得到的去噪后的绝缘子图片提取单个连通区域的质心作为中心点；

步骤6、根据步骤5得到的中心点的坐标，对中心点按照从上到下、从左到右的顺序进行排序，然后将坐标值最小的中心点作为起始点，计算离起始点最近的中心点的距离，依次计算相邻中心点的距离，然后将求出的所有中心点距离求平均值；

步骤7、根据步骤6求出的平均距离设定阈值，如果距离大于阈值，则认为两块绝缘子间存在绝缘子爆裂，然后框出绝缘子爆裂位置。

进一步的，步骤4中用最大连通区域面积的三分之一作为面积阈值。

进一步的，步骤7中将平均距离的1.5倍作为绝缘子爆裂识别阈值。

进一步的，步骤1中采集图片分辨率大小为3936*2624。

进一步的，步骤2具体包括：

2.1)将图片归一化到224*224大小；

2.2)通过16个卷积层，5次下采样，得到512个大小为14*14特征图；

通过3*3大小的卷积核在特征图上滑动，设置锚定机制：分别以每一个卷积核中心当成一个基准点，然后围绕这个基准点选取3个不同面积大小和3种不同尺寸比例生成9个候选区域；

2.3)去掉候选区域中映射到原图中超过原图边界的候选框；

2.4)对每个锚定区域进行回归，分别判断该区域框内是否含有信号，以及信号的具体位置信息；

2.5)对得到的区域建议框映射到特征图上进行感兴趣区域采样，得到一个512维的特征向量，分别对512维特征向量进行分类回归和位置回归，结合步骤1生成的原始图片大小，进行计算，得到信号存在于图片上的像素位置和其置信程度；

2.6)对得到的绝缘子像素位置进行裁剪，截取出单独的绝缘子串。

进一步的，步骤3具体包括：

3.1)通过15个卷积层，5次下采样，获得了原图和大小的特征图；

3.2)对原图大小的特征图上采样放大2倍，然后和原图大小的特征图累加；

3.3)将累加得到的原图大小的特征图上采样放大两倍，然后和原图大小的特征图累加；

3.4)对累加得到的原图大小的特征图采样放大8倍，最终将高度抽象的图片还原到输入图像大小；

3.5)对最终得来的图片中的每个像素进行分类预测，得到绝缘子提取结果，输出提取出的绝缘子图片。

进一步的，步骤4具体包括：

4.1)扫描绝缘子图像，直到当前像素点B(x,y)＝＝1：

a、将B(x,y)作为种子，并赋予其一个label，然后将该种子相邻的所有前景像素都压入栈中；

b、弹出栈顶像素，赋予其相同的label，然后再将与该栈顶像素相邻的所有前景像素都压入栈中；

c、重复b步骤，直到栈为空；

此时，找到了图像中的一个连通区域，该区域内的像素值被标记为label；

4.2)重复第4.1)步，直到扫描结束；

4.3)扫描结束后，就得到图像中所有的连通区域；

4.4)选取所有连通区域中面积最大三分之一的值作为面积阈值；

4.5)去除图片中面积小于面积阈值的连通区，获得去噪后的绝缘子图片；

4.6)重复步骤4.1)和4.2)；然后将去噪后的图片提取单独绝缘子连通区域。

进一步的，步骤6具体包括：

6.1)按照质心坐标的大小对单个绝缘子进行排序，每次考察一个绝缘子，记为insu1；

6.2)依次查找在绝缘子排列方向上与该绝缘子距离最近的绝缘子insu2，两绝缘子组成一个绝缘子对，计算间距，将间距值和绝缘子insu2在存储序列中的位置分别存储在2个数组中。

本发明提出用卷积神经网络的方法对绝缘子爆裂进行检测。设计了一个基于深度学习的绝缘子爆裂检测网络。首先，用无人机采集输电线路绝缘子图片；然后，将无人机采集到的输电线路绝缘子图片进行目标检测，可以准确的回归出原始图片中绝缘子串的位置，根据位置回归结果裁剪出单独的绝缘子串；然后，采用深度学习全卷积神经网络的方法对绝缘子串进行语义分割，从背景中分割出绝缘子串；最后，提取单个绝缘子的质心，并求相邻绝缘子质心之间的距离，将平均距离的1.5倍设置为阈值，如果两绝缘子之间的距离大于阈值，则认为两绝缘子之间存在爆裂，则标出绝缘子爆裂的位置。

相对于现有技术，本发明具有以下有益效果：

本发明基于深度学习的方法，采用目标检测网络、语义分割网络和绝缘子质心提取结合的方式，通过对标记好的绝缘子图片进行训练和参数调优，可以有效的对输电线路绝缘子爆裂进行识别和定位，避免了传统绝缘子提取过程中人为设定阈值和选取参数带来的主观影响，且识别准确率上得到提升。

附图说明

图1是本发明检测流程图。

图2是Faster R-CNN检测效果图。

图3是全卷积神经网络分割结果图。

图4是分割结果爆裂检测结果图。

图5是原始绝缘子图片爆裂检测结果。

具体实施方式

下面结合附图和实施例对本发明做进一步的详细说明。

请参阅图1所示，本发明一种基于深度学习的输电线路绝缘子爆裂识别方法，包括以下步骤：

步骤1、用无人机采集输电线路绝缘子图片，获得原始图片；采集图片分辨率大小为3936*2624；

步骤2、将步骤1得到的原始图片通过目标检测网络Faster R-CNN，对图片进行分类回归和位置回归，得到绝缘子存在于原始图片上的像素位置和其置信度；然后将得到的绝缘子像素位置进行裁剪，截取出单独的绝缘子串：

2.1)将图片归一化到224*224大小，并调用GPU加速计算；

2.2)通过16个卷积层，5次下采样，得到512个大小为14*14特征图；

通过3*3大小的卷积核在特征图上滑动，设置一种锚定(anchor)机制，即分别以每一个卷积核中心当成一个基准点，然后围绕这个基准点选取3个不同面积大小(128、256、512，对应到特征图分别为3、6、12)和3种不同尺寸比例(1:1、1:2和2:1)生成9个候选区域；

2.3)去掉候选区域中映射到原图中超过原图边界的候选框；

2.4)对每个锚定区域进行回归，分别判断该区域框内是否含有信号，以及信号的具体位置信息；

2.5)对得到的区域建议框映射到特征图上进行感兴趣区域采样，得到一个512维的特征向量，分别对512维特征向量进行分类回归和位置回归，结合步骤1生成的原始图片大小，进行计算，得到信号存在于图片上的像素位置和其置信程度；

2.6)对得到的绝缘子像素位置进行裁剪，截取出单独的绝缘子串；

步骤3、将步骤2得到的绝缘子串图片用全卷积神经网络分割，从背景中分离出绝缘子，并输出分割结果图：

3.1)通过15个卷积层，5次下采样，获得了原图和大小的特征图；

3.2)对原图大小的特征图上采样放大2倍，然后和原图大小的特征图累加；

3.3)将累加得到的原图大小的特征图上采样放大两倍，然后和原图大小的特征图累加；

3.4)对累加得到的原图大小的特征图采样放大8倍，最终将高度抽象的图片还原到输入图像大小；

3.5)对最终得来的图片中的每个像素进行分类预测，就得到绝缘子提取结果，输出提取出的绝缘子图片；

步骤4、将步骤3得到的绝缘子图片通过八邻域连通区域生长的方式计算连通区域面积，并用最大连通区域面积的三分之一作为面积阈值，将小于阈值的连通区域去除，达到去噪的结果，获得去噪后的绝缘子图片。然后将去噪后的图片提取单独绝缘子连通区域：

4.1)扫描图像，直到当前像素点B(x,y)＝＝1：

a、将B(x,y)作为种子(像素位置)，并赋予其一个label，然后将该种子相邻的所有前景像素都压入栈中；

b、弹出栈顶像素，赋予其相同的label，然后再将与该栈顶像素相邻的所有前景像素都压入栈中；

c、重复b步骤，直到栈为空；

此时，便找到了图像B中的一个连通区域，该区域内的像素值被标记为label；

4.2)重复第4.1)步，直到扫描结束；

4.3)扫描结束后，就可以得到图像中所有的连通区域；

4.4)选取所有连通区域中面积最大三分之一的值作为面积阈值；

4.5)去除图片中面积小于阈值的连通区；

4.6)重复步骤4.1)和4.2)，提取去噪后的绝缘子连通区域；

步骤5、将步骤4得到的去噪后的绝缘子图片提取单个连通区域的质心作为中心点：

5.1)计算每个连通区域白色像素点的个数；

5.2)计算每个连通区域白色像素点坐标位置的总和；

5.3)用x和y轴坐标位置的总和除以像素点的个数，得到质心的位置；

步骤6、计算相邻绝缘子质心之间的距离：

6.1)按照质心坐标的大小对单个绝缘子进行排序，每次考察一个绝缘子，记为insu1；

6.2)依次查找在绝缘子排列方向上与该绝缘子距离最近的绝缘子insu2，两绝缘子组成一个绝缘子对，计算间距，将间距值和绝缘子insu2在存储序列中的位置分别存储在2个数组中；

步骤7、将平均距离的1.5倍作为绝缘子爆裂识别阈值，判断绝缘子串是否爆裂，并确定自爆绝缘子位置；

7.1)对经过筛选得到的绝缘子对的间距计算平均值，若某绝缘子对间距约等于该均值的1.5倍，则认为该绝缘子对为自爆绝缘子的左右相邻绝缘子；

7.2)取该绝缘子对中心点连线的中点为自爆绝缘子轮廓中心点，则可以将自爆绝缘子位置在图像中标记出来。

应用实例：

1、本实施例采集到的输电线路绝缘子图片共计3000张，其中随机选取2500张作为Faster R-CNN目标检测训练样本；选取500张图片作为全卷积神经网络语义分割的训练样本；然后用语义分割模型分割1000张图片作为分类样本。

2、设计基于深度卷积网络VGG16-Net的Faster R-CNN，基于caffe框架，编写Faster R-CNN网络模型文件，通过调用网络模型文件训练模型，用2500张图片训练模型，共计迭代60000次；

3、设计基于全卷积神经网络的语义分割模型，基于caffe框架，编写全卷积神经网络模型文件，通过调用网络模型文件训练模型，用500张样本图片训练模型，其中450张图片作为训练集，50张作为验证集，共计迭代40000次；

4、测试阶段：

4.1)将步骤1中剩余的500张图片输入步骤2进行目标检测，如图2所示，然后提取出绝缘子区域；

4.2)然后将提取的绝缘子目标区域输入步骤3，得到绝缘子分割结果，如图3所示；

4.3)通过步骤4的方法对提取的绝缘子图片去噪，然后提取绝缘子连通区域；

4.4)最后提取质心，计算相邻质心之间的距离，阈值，判断绝缘子是否存在爆裂，如图4所示，不存在爆裂的绝缘子图片质心用*号标出，存在绝缘子爆裂的图片，质心用*号标出，并用圆框出绝缘子爆裂的位置。最后在原图上标出绝缘子爆裂的位置，如图5所示。

综上所述，本发明通过训练深度学习网络模型，先提取出绝缘子的位置，然后再对绝缘子进行语义分割，从背景中提取出绝缘子，最后进行绝缘子爆裂识别。避免了传统绝缘子提取过程中人为选取参数带来的主观因素影响，通过对绝缘子的位置提取，极大的降低了背景的干扰，且效率上得到提升。

Claims (8)

1.一种基于深度学习的输电线路绝缘子爆裂识别方法，其特征在于，包括：

步骤1、用无人机采集输电线路绝缘子原始图片；

步骤2、将步骤1得到的原始图片通过目标检测网络Faster R-CNN，对图片进行分类回归和位置回归，得到绝缘子存在于原始图片上的像素位置和其置信度；然后将得到的绝缘子像素位置进行裁剪，截取出单独的绝缘子串；

步骤3、将步骤2得到的单独绝缘子串图片用全卷积神经网络分割，从背景中提取出绝缘子图片；

步骤4、将步骤3得到的绝缘子图片通过八邻域连通区域生长的方式计算连通区域面积，根据连通区域面积设定面积阈值，将小于面积阈值的连通区域去除，获得去噪后的绝缘子图片；然后将去噪后的图片提取连通区域；

步骤5、将步骤4得到的去噪后的绝缘子图片提取单个连通区域的质心作为中心点；

步骤6、根据步骤5得到的中心点的坐标，对中心点按照从上到下、从左到右的顺序进行排序，然后将坐标值最小的中心点作为起始点，计算离起始点最近的中心点的距离，依次计算相邻中心点的距离，然后将求出的所有中心点距离求平均值；

步骤7、根据步骤6求出的平均距离设定阈值，如果距离大于阈值，则认为两块绝缘子间存在绝缘子爆裂，然后框出绝缘子爆裂位置。

2.根据权利要求1所述的一种基于深度学习的输电线路绝缘子爆裂识别方法，其特征在于，步骤4中用最大连通区域面积的三分之一作为面积阈值。

3.根据权利要求1所述的一种基于深度学习的输电线路绝缘子爆裂识别方法，其特征在于，步骤7中将平均距离的1.5倍作为绝缘子爆裂识别阈值。

4.根据权利要求1所述的一种基于深度学习的输电线路绝缘子爆裂识别方法，其特征在于，步骤1中采集图片分辨率大小为3936*2624。

5.根据权利要求1所述的一种基于深度学习的输电线路绝缘子爆裂识别方法，其特征在于，步骤2具体包括：

2.1)将图片归一化到224*224大小；

2.2)通过16个卷积层，5次下采样，得到512个大小为14*14特征图；

通过3*3大小的卷积核在特征图上滑动，设置锚定机制：分别以每一个卷积核中心当成一个基准点，然后围绕这个基准点选取3个不同面积大小和3种不同尺寸比例生成9个候选区域；

2.3)去掉候选区域中映射到原图中超过原图边界的候选框；

2.4)对每个锚定区域进行回归，分别判断该区域框内是否含有信号，以及信号的具体位置信息；

2.5)对得到的区域建议框映射到特征图上进行感兴趣区域采样，得到一个512维的特征向量，分别对512维特征向量进行分类回归和位置回归，结合步骤1生成的原始图片大小，进行计算，得到信号存在于图片上的像素位置和其置信程度；

2.6)对得到的绝缘子像素位置进行裁剪，截取出单独的绝缘子串。

6.根据权利要求5所述的一种基于深度学习的输电线路绝缘子爆裂识别方法，其特征在于，步骤3具体包括：

3.1)通过15个卷积层，5次下采样，获得了原图和大小的特征图；

3.2)对原图大小的特征图上采样放大2倍，然后和原图大小的特征图累加；

3.3)将累加得到的原图大小的特征图上采样放大两倍，然后和原图大小的特征图累加；

3.4)对累加得到的原图大小的特征图采样放大8倍，最终将高度抽象的图片还原到输入图像大小；

3.5)对最终得来的图片中的每个像素进行分类预测，得到绝缘子提取结果，输出提取出的绝缘子图片。

7.根据权利要求5所述的一种基于深度学习的输电线路绝缘子爆裂识别方法，其特征在于，步骤4具体包括：

4.1)扫描绝缘子图像，直到当前像素点B(x,y)＝＝1：

a、将B(x,y)作为种子，并赋予其一个label，然后将该种子相邻的所有前景像素都压入栈中；

b、弹出栈顶像素，赋予其相同的label，然后再将与该栈顶像素相邻的所有前景像素都压入栈中；

c、重复b步骤，直到栈为空；

此时，找到了图像中的一个连通区域，该区域内的像素值被标记为label；

4.2)重复第4.1)步，直到扫描结束；

4.3)扫描结束后，就得到图像中所有的连通区域；

4.4)选取所有连通区域中面积最大三分之一的值作为面积阈值；

4.5)去除图片中面积小于面积阈值的连通区，获得去噪后的绝缘子图片；

4.6)重复步骤4.1)和4.2)；然后将去噪后的图片提取单独绝缘子连通区域。

8.根据权利要求5所述的一种基于深度学习的输电线路绝缘子爆裂识别方法，其特征在于，步骤6具体包括：

6.1)按照质心坐标的大小对单个绝缘子进行排序，每次考察一个绝缘子，记为insu1；

6.2)依次查找在绝缘子排列方向上与该绝缘子距离最近的绝缘子insu2，两绝缘子组成一个绝缘子对，计算间距，将间距值和绝缘子insu2在存储序列中的位置分别存储在2个数组中。