CN103488988B - 基于无人机巡线可见光影像的电力设备中绝缘子的提取方法 - Google Patents

Abstract

本发明公开了基于无人机巡线可见光影像的电力设备中绝缘子的提取方法，包括：获得电力设备的可见光图像；对含有绝缘子的可见光影像，遍历整个影像，利用边缘和纹理信息检测出种子区域，直至到没有潜在的种子区域，其中利用Canny边缘检测算子和边界连接算法提取边界；获得种子区域之后，进行种子区域扩张以获得完整的绝缘子，种子区域扩张方向包括4个方向：行方向上单环向上扩张，行方向上单环向下扩张，列方向的单像素向右扩张，列方向的单像素向左扩张，由三个因素，基于纹理的测量值，基于边缘的量测值以及基于纹理的相似性因素，来确定是否允许往这个方向扩张。种子区域不断扩张，最后得到完整绝缘子。

Description

基于无人机巡线可见光影像的电力设备中绝缘子的提取方法

技术领域

本发明属于应用于电力工业领域中的电力设备的检测方法，具体是指基于无人机巡线可见光影像的电力设备中绝缘子的提取方法。

背景技术

绝缘子是架空输电线路的重要组成部分，其作用是支撑导线和防止电流回地。目前对绝缘子的在线检测方法主要包括：①直接观察法，即用双筒望远镜观察绝缘子表面缺陷，有时还需登塔检查。该方法维修量大，作业条件恶劣，并对作业安全造成了一定的隐患。②紫外成像法，由紫外成像仪带电检测复合绝缘子表面局部放电形成的碳化通道和蚀损，该方法缺点是需在正温度及高湿度环境下操作，易受观察角度影响。⑨红外成像法，该方法可在线检测局部放电、泄露电流流过绝缘物质时的介电损耗或电阻损耗等引起的绝缘子局部温度升高，其缺点在于仪器造价高且温量易受环境影响。④超声波法，即用超声波检测绝缘子机械缺陷。该方法因耦合、衰减及超声换能器性能问题没有进一步发展。

鉴于此，实现电力线路绝缘子检测的自动化及提高在线检测的环境适应能力成为了重要的研究课题。为了解决这个问题，近年来许多学者致力研究利用数字图像处理技术从航拍图像中提取绝缘子图像。利用数字图像处理技术从航拍图像中提取绝缘子图像是架空输电线路故障自动检测的基础步骤。目前，国内外文献主要从边缘检测方法，以及基于阈值分割与二次定位两类方法从可见光影像中提取绝缘子图像。相关文献有：黄宵宁，张真良。直升机巡检航拍图像中绝缘子图像的提取算法[J]。电网技术，2010，34(1)：194-197。刘国海，朱珠。图像处理技术在超高压巡检机器人视觉系统中的应用研究[J]。计算机工程与设计，2009，30(1)：136-136。

基于阈值分割的方法从复杂背景中提取绝缘子。该方法的一般步骤是将得到的彩色图像从RGB空间转化到HSI空间；对转化后的S分量，进行阈值分割；然后对分割后的图像进行形态学滤波，消除噪声的干扰；最后采用连通区域标记的方法将绝缘子图像从背景图像分割出来。该算法优点是能够有效滤除复杂背景的干扰，得到准确的绝缘子图像。缺点阈值分割是基于目标和背景的颜色有较明显不同的情况，实际上，绝缘子经过一段时间运行后会褪色。此时再利用彩色图像分割法进行目标提取，阈值选择会比较困难，提取效果相应变差。

参考文献：徐耀良，张少成，杨宁，等。航拍图像中绝缘子的提取算法[J]。上海电力学院学报，2011，27(5)：515-518。葛玉敏，李宝树，赵书涛等。绝缘子图像中的特征目标提取[J]。高压电器，2009，45(6):56-60，68。

采用边缘检测方法提取绝缘子图像，一般处理步骤是：首先对影像进行预处理，然后利用Hough变换等方法从影像中提取绝缘子的边缘，并根据绝缘子串是垂直一排的特性来除去误检测的绝缘子图像，将绝缘子识别并定位出来。该方法的缺点是由于输电线路走廊背景的复杂性，一般的航拍图像中都存在着大量干扰，影响影响噪音，使得边缘检测算法非常复杂，既影响绝缘子图像的提取速度，也影响了图像精度。

参考文献：Peungsungwal S，Pungsiri B，Chamnongthai K，et al。Autonomousrobot for a power transmission line inspection[C]//Circuits and Systems，2001。ISCAS 2001。The 2001 IEEE International Symposium on。IEEE，2001，3：121-124。刘建友，李宝树，仝卫国。航拍绝缘子图像的提取和识别[J]。传感器世界，2009，12：004。

由于航拍背景复杂，如何在图像中有效的提取出绝缘子图像并识别出来成为研究的热点。基于无人机巡线实现电力线路绝缘子检测的自动化越来越重要。

发明内容

本发明的目的是提供基于无人机巡线可见光影像的电力设备中绝缘子的提取方法，该提取方法高效且自动检测出电气设备中的绝缘子。

本发明的上述目的是通过如下技术方案来实现的：基于无人机巡线可见光影像的电力设备中绝缘子的提取方法，该方法包括如下步骤：

（1）采用可见光影像拍摄电力设备，获得电力设备图像，该电力设备图像中包含至少一个能被识别的绝缘子图像；

（2）选取任意一个能被识别的绝缘子图像，进行如下步骤；

（3）选择一个方形区域作为种子区域，该种子区域的大小要小于绝缘子图像；

（4）最佳种子区域的获取：在选取的绝缘子图像中移动种子区域进行搜索，以匹配得到最佳种子区域，具体搜索过程为种子区域自绝缘子图像的左上角，沿着行和列的方向，直到右下角进行移动，种子区域在移动过程中与该种子区域相重合的绝缘子图像的区域称之为候选种子区域，通过计算种子区域移动过程中的边缘度量值E、纹理度量值T和灰度一致性度量值S三个度量值，来判断该种子区域是否为最佳种子区域，其中，T表示种子区域中绝缘子环片之间的纹理相似性度量值，更高的T值表示更高的可能存在的绝缘子形状；E描述候选种子区域内绝缘子环片的边缘度量值，较高的E值表示有绝缘子种子区域的概率更高；S为候选绝缘子种子区域内的灰度值均匀分布度量值，较高的S值表明存在绝缘子种子区域的可能性更高；

其中，E值采用公式（4）进行计算：

$E=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{E}_i}{m}---\left(4\right)$

E_i是候选绝缘子种子区域内绝缘子环片的边缘度量值，

m是每个候选绝缘子种子区域内绝缘子环片的个数，

公式（4）表明基于绝缘子边缘度量值的总和，表示候选绝缘子种子区域内边界点的平均分布状况；

E_i采用公式（5）进行计算：

$E_i=\log (\log (\frac{n_i}{B.\mathrm{width}}*10)*10)---\left(5\right)$

n_i是每个绝缘子环片中边界点的总个数，

B.Width是候选绝缘子种子区域的宽度，

T值是以候选绝缘子种子区域中心的3*3像素邻域中的图像边缘梯度阈值，若该区域图像边缘梯度极大值小于T则认为相似，反之不相似；

S值为候选区域内的灰度值标准差；

根据上述计算所得的种子区域的边缘度量值E，纹理度量值T，和灰度一致性度量值S，然后采用公式（6）计算基于纹理的相似性因素t，该基于纹理的相似性因素t就是边缘度量值E，纹理度量值T，和灰度一致性度量值S的加权和，

t=0.2T+0.4E+0.4S （6）

根据计算结果，将基于纹理的相似性因素t按降序排列，取前三行对应的绝缘子候选种子区域作为最佳候选种子区域；

（5）最佳种子区域的扩张：对步骤（4）选出来的最佳种子区域进行扩张，以提取出完整的绝缘子区域，该最佳种子区域的扩张包括四个方向上的扩张，即行方向上绝缘子单环向上扩张、行方向上绝缘子单环向下扩张、列方向上的单像素向右扩张和列方向上的单像素向左扩张，在每个方向的扩张过程中，通过估计边缘度量值E，纹理度量值T和基于纹理的相似性因素t三个因素来决定是否允许该方向的扩张，只要上述四个方向中有一个方向允许扩张，扩张过程继续，直到最后得到完整的绝缘子区域；

其中，允许扩张的条件有如下三个：

（a）扩张前t值与扩张后t值差值的绝对值<10

（b）扩张前E值与扩张后E值差值的绝对值<1

（c）扩张前T值与扩张后T值差值的绝对值<15

同时满足上述三个条件时，扩张继续，否则，则不允许扩张，扩张结束；

（6）对电力设备图像中的其它绝缘子图像均按照与步骤（3）—（5）相同的步骤处理，直到电力设备图像中能被识别的所有绝缘子图像全部处理完毕，得到完整的绝缘子区域。

本发明中，所述步骤（3）中，选择的种子区域的长度为绝缘子图像长度的60%—80%，种子区域的宽度为绝缘子图像宽度的60%—80%。

本发明的自动提取原理：利用电力设备中绝缘子为陶瓷绝缘体的内在特征，这些绝缘子的特征主要是：边缘和纹理。边缘是影像中强度显著局部变化的地方，圆柱绝缘子具有特殊的结构：有一串平行的边界是其内在重要的特点。另一个可用于提取圆柱绝缘子的特征是纹理。圆柱绝缘子通常是由一系列环构成，这些环在视觉上几乎一样。这个因素使得到圆柱区域内包含了重复纹理。利用一些特征，如对比度，能量，熵，局部单一性等来评估圆柱区域内纹理的一致性。

附图说明

下面结合附图和具体实施方式对本发明进一步详细说明。

图1为本发明提取方法中自动提取绝缘子的流程图；

图2为本发明提取方法中基于纹理的环检测识别算法流程图；

图3为本发明提取方法中电力设备中绝缘子的实验原图；

图4为本发明提取方法中提取的绝缘子的中心线、标志环以及相应的种子区域示意图；

图5为本发明提取方法中提取绝缘子种子区域的实验结果图。

具体实施方式

从无人机巡线系统中获得的可见光影像为RGB图像，为便于后续处理，本发明先将高斯滤波器对图像进行滤波平滑，其作用是降低图像的细节层次，减少背景中的细小噪音。本文的主要任务就是从不同变电站中自动提取陶瓷绝缘子，其利用绝缘子的两个主要内在特征，用以提取绝缘子。这两个特征分别是边界和纹理度量值。本文利用这两个特征以识别种子区域，并扩张这些种子区域，最终提取完整的绝缘子图像。

针对绝缘子的两个主要特征：纹理与边缘，本文采用Canny边缘检测算法以及边界追踪算法提取边缘。纹理特征采用基于纹理的环提取算法，该算法的主要目标是识别提取候选种子区域中的重复纹理（本文中为一系列环）。计算边缘和纹理度量值后，识别出最佳种子区域，并进行后续的扩张过程，直至所有的圆柱绝缘子都被检测出，最终提取出完整的绝缘子图像。

本发明基于无人机巡线可见光影像的绝缘子自动提取方法的理论基础如下：

1、Canny边缘检测算子是John F。Canny于1986年提出的基于最优化算法的边缘检测算法，具有很好的信噪比和检测精度，因此被广泛应用。Canny的目标是找到一个最优的边缘检测算法，最优边缘检测的含义是：好的信噪比，即非边缘点判为边缘点或将边缘点判为非边缘点的概率低；好的定位性能，即检测出的边缘点要尽可能在实际边缘的中心；对单一边缘具有唯一响应，并且对虚假边缘响应应得到最大抑制。Canny算子将上述判据用数学的形式表达出来，然后采用最优化数值方法，得到对应给定边缘模型的最佳边缘检测模板。对于二维图像，需要使用若干方向的模板分别对图像进行卷积处理，再取最可能的边缘方向。Canny推导出的最优边缘检测器的形状与高斯函数的一阶导数类似，利用二维高斯函数的对称性和可分解性，可以很容易计算高斯函数在任意方向上的方向导数与图像的卷积。

设二维高斯函数如式（1）所示：

$G(x,y,\mathrm{\&sigma;})=\frac{1}{{2\mathrm{\&pi;\&sigma;}}^2}\exp \left(\frac{1}{{2\mathrm{\&sigma;}}^2}(x^2+y^2)\right)---\left(1\right)$

其某一方向上G(x,y,σ)的一阶方向导数为：

$G_n=\frac{\&PartialD;G}{\&PartialD;n}=\stackrel{\&RightArrow;}{n}\&dtri;G---\left(2\right)$

式中，是方向矢量，是梯度矢量，将图像f(x,y)与G_n做卷积，同时改变的方向，G_n*f(x,y)取得最大值时的就是正交于检测边缘的方向。

因此，对应于的方向为式（3）所示：

$\stackrel{\&OverBar;}{n}=\frac{\&dtri;G*f(x,y)}{|\&dtri;G*f(x,y)|}---\left(3\right)$

在该方向上G_n*f(x,y)有最大输出响应。

根据Canny的定义，中心边缘点为算子G_n与图像f(x,y)的卷积在梯度方向上的最大值，这样就可以根据在每一点的梯度方向上，判断此点强度是否为其邻域的最大值，来确定该点是否为边缘点。当一个像素满足以下三个条件时，则被认为是图像的边缘点：

①该点的边缘强度大于沿该点梯度方向的两个相邻像素点的边缘强度；

②与该点梯度方向上相邻两点的方向差小于45；

③以该点为中心的3*3邻域中的边缘强度极大值小于某个阈值T。

此外，如果条件①和②同时满足，那么在梯度方向上的两相邻像素就从候选边缘点中取消，条件③相当于用区域梯度最大值组成的阈值图像与边缘点进行匹配，这一过程消除了很多虚假的边缘点。

2、基于纹理的环提取算法。该算法的输出结果包括候选种子区域的高度（h）、环数（r），以及这些环之间的纹理相似性（T）。为了估计h，r，以及假设环之间的相似度，图3显示了估计参数使用的算法流程。更具体地说，需计算4个特征，即熵，能量，对比度，和单一性，构成包含四个元素的向量来估计这些特征的相似性。此向量中的每个元素代表不同假设高度的环之间的相似程度。这些相似性度量被归化到最大统一值。最后，通过计算四个相似度量估计整个相似度。

本发明基于无人机巡线可见光影像的电力设备中绝缘子的提取方法如图1所示，该方法包括如下步骤：

（1）采用可见光影像拍摄电力设备，获得电力设备图像，该电力设备图像中包含至少一个能被识别的绝缘子图像；

（2）选取任意一个能被识别的绝缘子图像，进行如下步骤；

（3）选择一个方形区域作为种子区域，该种子区域的大小要小于绝缘子图像，其中，选择的种子区域的长度为绝缘子图像长度的80%，种子区域的宽度为绝缘子图像宽度的80%；

（4）最佳种子区域的获取：在选取的绝缘子图像中移动种子区域进行搜索，以匹配得到最佳种子区域，具体搜索过程为种子区域自绝缘子图像的左上角，沿着行和列的方向，直到右下角进行移动，种子区域在移动过程中与该种子区域相重合的绝缘子图像的区域称之为候选种子区域，通过计算种子区域移动过程中的边缘度量值E、纹理度量值T和灰度一致性度量值S三个度量值，来判断该种子区域是否为最佳种子区域，其中，T表示种子区域中绝缘子环片之间的纹理相似性度量值，更高的T值表示更高的可能存在的绝缘子形状；E描述候选种子区域内绝缘子环片的边缘度量值，较高的E值表示有绝缘子种子区域的概率更高；S为候选绝缘子种子区域内的灰度值均匀分布度量值，较高的S值表明存在绝缘子种子区域的可能性更高；

其中，E值采用公式（4）进行计算：

$E=\frac{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{E}_i}{m}---\left(4\right)$

E_i是候选绝缘子种子区域内绝缘子环片的边缘度量值，

m是每个候选绝缘子种子区域内绝缘子环片的个数，

公式（4）表明基于绝缘子边缘度量值的总和，表示候选绝缘子种子区域内边界点的平均分布状况；

E_i采用公式（5）进行计算：

$E_i=\log (\log (\frac{n_i}{B.\mathrm{width}}*10)*10)---\left(5\right)$

n_i是每个绝缘子环片中边界点的总个数，

B.Width是候选绝缘子种子区域的宽度，

T值是以候选绝缘子种子区域中心的3*3像素邻域中的图像边缘梯度阈值，若该区域图像边缘梯度极大值小于T则认为相似，反之不相似；

S值为候选区域内的灰度值标准差；

根据上述计算所得的种子区域的边缘度量值E，纹理度量值T，和灰度一致性度量值S，然后采用公式（6）计算基于纹理的相似性因素t，该基于纹理的相似性因素t就是边缘度量值E，纹理度量值T，和灰度一致性度量值S的加权和，

t=0.2T+0.4E+0.4S （6）

根据计算结果，将基于纹理的相似性因素t按降序排列，取前三行对应的绝缘子候选种子区域作为最佳候选种子区域；

（5）最佳种子区域的扩张：对步骤（4）选出来的最佳种子区域进行扩张，以提取出完整的绝缘子区域，该最佳种子区域的扩张包括四个方向上的扩张，即行方向上绝缘子单环向上扩张、行方向上绝缘子单环向下扩张、列方向上的单像素向右扩张和列方向上的单像素向左扩张，在每个方向的扩张过程中，通过估计边缘度量值E，纹理度量值T和基于纹理的相似性因素t三个因素来决定是否允许该方向的扩张，只要上述四个方向中有一个方向允许扩张，扩张过程继续，直到最后得到完整的绝缘子区域；

其中，允许扩张的条件有如下三个：

（a）扩张前t值与扩张后t值差值的绝对值<10

（b）扩张前E值与扩张后E值差值的绝对值<1

（c）扩张前T值与扩张后T值差值的绝对值<15

同时满足上述三个条件时，扩张继续，否则，则不允许扩张，扩张结束；

（6）对电力设备图像中的其它绝缘子图像均按照与步骤（3）—（5）相同的步骤处理，直到电力设备图像中能被识别的所有绝缘子图像全部处理完毕，得到完整的绝缘子区域。

本发明中，所述步骤（3）中，选择的种子区域的长度为绝缘子图像长度的60%—80%，种子区域的宽度为绝缘子图像宽度的60%—80%。

本发明的上述实例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。

Claims (2)

1.基于无人机巡线可见光影像的电力设备中绝缘子的提取方法，该方法包括如下步骤：

(1)采用可见光影像拍摄电力设备，获得电力设备图像，该电力设备图像中包含至少一个能被识别的绝缘子图像；

(2)选取任意一个能被识别的绝缘子图像，进行如下步骤；

(3)选择一个方形区域作为种子区域，该种子区域的大小要小于绝缘子图像；

(4)最佳种子区域的获取：在选取的绝缘子图像中移动种子区域进行搜索，以匹配得到最佳种子区域，具体搜索过程为种子区域自绝缘子图像的左上角，沿着行和列的方向，直到右下角进行移动，种子区域在移动过程中与该种子区域相重合的绝缘子图像的区域称之为候选种子区域，通过计算种子区域移动过程中的边缘度量值E、纹理度量值T和灰度一致性度量值S三个度量值，来判断该种子区域是否为最佳种子区域，其中，T表示种子区域中绝缘子环片之间的纹理相似性度量值，更高的T值表示更高的可能存在的绝缘子形状；E描述候选种子区域内绝缘子环片的边缘度量值，较高的E值表示有绝缘子种子区域的概率更高；S为候选绝缘子种子区域内的灰度值均匀分布度量值，较高的S值表明存在绝缘子种子区域的可能性更高；

其中，E值采用公式(4)进行计算：

$E=\frac{\underset{i=1}{\overset{m}{\&Sigma;}}{E}_i}{m}---\left(4\right)$

E_i是候选绝缘子种子区域内绝缘子环片的边缘度量值，

m是每个候选绝缘子种子区域内绝缘子环片的个数，

公式(4)的分子表明基于绝缘子边缘度量值的总和，E表示候选绝缘子种子区域内边界点的平均分布状况；

E_i采用公式(5)进行计算：

$E_i=log\left(log\right(\frac{n_i}{B.width}*10)*10)---\left(5\right)$

n_i是每个绝缘子环片中边界点的总个数，

B.Width是候选绝缘子种子区域的宽度，

T值是以候选绝缘子种子区域中心的3*3像素邻域中的图像边缘梯度阈值，若该区域图像边缘梯度极大值小于T则认为相似，反之不相似；

S值为候选区域内的灰度值标准差；

根据上述计算所得的种子区域的边缘度量值E，纹理度量值T，和灰度一致性度量值S，然后采用公式(6)计算基于纹理的相似性因素t，该基于纹理的相似性因素t就是边缘度量值E，纹理度量值T，和灰度一致性度量值S的加权和，

t＝0.2T+0.4E+0.4S (6)

根据计算结果，将基于纹理的相似性因素t按降序排列，取前三行对应的绝缘子候选种子区域作为最佳候选种子区域；

(5)最佳种子区域的扩张：对步骤(4)选出来的最佳种子区域进行扩张，以提取出完整的绝缘子区域，该最佳种子区域的扩张包括四个方向上的扩张，即行方向上绝缘子单环向上扩张、行方向上绝缘子单环向下扩张、列方向上的单像素向右扩张和列方向上的单像素向左扩张，在每个方向的扩张过程中，通过估计边缘度量值E，纹理度量值T和基于纹理的相似性因素t三个因素来决定是否允许该方向的扩张，只要上述四个方向中有一个方向允许扩张，扩张过程继续，直到最后得到完整的绝缘子区域；

其中，允许扩张的条件有如下三个：

(a)扩张前t值与扩张后t值差值的绝对值<10

(b)扩张前E值与扩张后E值差值的绝对值<1

(c)扩张前T值与扩张后T值差值的绝对值<15

同时满足上述三个条件时，扩张继续，否则，则不允许扩张，扩张结束；

(6)对电力设备图像中的其它绝缘子图像均按照与步骤(3)—(5)相同的步骤处理，直到电力设备图像中能被识别的所有绝缘子图像全部处理完毕，得到完整的绝缘子区域。

2.根据权利要求1所述的基于无人机巡线可见光影像的电力设备中绝缘子的提取方法，其特征在于：所述步骤(3)中，选择的种子区域的长度为绝缘子图像长度的60％—80％，种子区域的宽度为绝缘子图像宽度的60％—80％。