CN106056619A - 基于梯度约束Radon变换的无人机视觉电线巡检方法 - Google Patents

Abstract

本发明公开了一种基于梯度约束Radon变换的无人机视觉电线巡检方法，1：利用无人机图像采集设备，获得要处理的高压线图像，并将获得的降质图像转换为灰度图F；2：对灰度图F进行边缘提取处理得到边缘图F’；3：对边缘图F’梯度计算得到梯度幅值G_k；4：设边缘图F’中第k个像素的八方向像素点为k_i，其中i＝0,1,…,7，当相邻两个像素k_i的梯度幅值G_k相等，则将其组到同一个直线支持区域；5：针对步骤4得到的直线支持区域，拟合出符合条件的直线，并使用数学形态学对拟合出的直线作后续处理；6：对步骤5的拟合结果通过Radon变化检测输电直线。本发明实现了对图像中输电线的检测准确，去掉了冗余的边缘信息，提高了识别输电线的准确度。

Description

基于梯度约束Radon变换的无人机视觉电线巡检方法

技术领域

本发明属于图像处理技术领域，具体涉及基于梯度约束Radon变换的无人机视觉电线巡检方法。

背景技术

目前，我国长距离电力输配的主要方式是高压和超高压架空输电线，高压输电线绝大多数采用钢芯锅绞线，而钢芯招绞线在风力、覆冰、温度等外界因素综合作用下，会产生局部疲劳损伤引起局部断股。如果存在断股缺陷的输电线不及时维修更换，不仅会增加输电线路的功率损耗造成电力浪费，严重时会造成导线断裂，直接威胁到人的生命安全；而且输电线路通常经过丘陵、高山和不良地质地区等、有时还需要横跨大江大河、湖泊和海峡，因此，我国现有的低效率的人工输电线巡检和维护已远远不能满足现实生活生产的需要。同时，随着直升飞机输电线路巡检作业的普及，既为利用图像处理和识别技术自动检测输电线路中的缺陷提供了机遇，也带来了挑战，如何有效的从直升飞机巡检获得的电力线图像中获取电力线的运行基本信息已成为了研究的热点。

无人机巡线可以大大提高电力维护和检修的速度和效率，使许多工作能在完全带电的环境下迅速完成。使用无人机巡检，可使作业范围迅速扩大，且不为污泥和雪地所困扰。能够发现人工巡视所难以发现的线路缺陷，提高了电网运行的稳定性。无人机可以到达地面人员无法接近的山谷地带，可以迅速跨越两个工作地点，不仅速度快，而且不会像汽车那样破坏庄稼、轧坏土地，这在日益重视环境保护的今天，具有深远的意义。未来，利用无人机进行输电线的智能巡检将普遍应用于我国电网线路的架设和巡检作业中，特别是用在我国高山、河流较多的地区，不仅降低线路架设的成本和劳动强度，也将缩短线路巡检时间，提高我国电网在自然灾害面前的应急抢险速度。

输电线路一般是由杆塔、基础、导线、地线、绝缘子、金具和接地装置等构成。其中导线是线路的主要部分，作用是传输电能。输电线路具有面广、线长、高空、野外的特点，极易受到外力的破坏。导线作为输电线路最重要的部分，如果能在无人机巡检的过程中，及时的发现导线的安全隐患，防患于未然，必然能够避免一些损失。

无人机以输电直线作为导航目标，来进行线状目标的自动识别。由于高压输电线周围环境的复杂性、成像条件恶劣等因素的影响，图像中高压输电线的边缘不是很明显，另外加上环境的复杂性，提取的边缘信息不是很准确，而且还包含很多冗余的边缘信息，给后续判断和识别带来了很大困难。

发明内容

本发明的目的在于提供基于梯度约束Radon变换的无人机视觉电线巡检方法，以克服上述现有技术存在的缺陷，本发明实现了对图像中输电线的检测准确，去掉了冗余的边缘信息，提高了识别输电线的准确度。

为达到上述目的，本发明采用如下技术方案：

基于梯度约束Radon变换的无人机视觉电线巡检方法，包括以下步骤：

步骤1：利用无人机图像采集设备，获得要处理的高压线图像，并将获得的降质图像转换为灰度图F；

步骤2：对灰度图F进行边缘提取处理得到边缘图F’；

步骤3：对边缘图F’梯度计算得到梯度幅值G_k；

步骤4：设边缘图F’中第k个像素的八方向像素点为k_i，其中i＝0,1,…,7，当相邻两个像素k_i的梯度幅值G_k相等，则将其组到同一个直线支持区域；

步骤5：针对步骤4得到的直线支持区域，拟合出符合条件的直线，并使用数学形态学对拟合出的直线作后续处理；

步骤6：对步骤5的拟合结果通过Radon变化检测输电直线。

进一步地，步骤2中对灰度图S采用Canny算子进行边缘提取处理得到边缘图F’。

进一步地，步骤5中采用最小二乘法拟合符合条件的直线。

进一步地，步骤5中拟合出的直线满足以下条件：0≤|k|≤1，S≥10，其中k为斜率，S为直线长度。

进一步地，步骤5中使用数学形态学对拟合出的直线做后续处理具体为：采用先膨胀后腐蚀的方式对拟合出的直线做后续处理。

进一步地，膨胀处理及腐蚀处理时均采用圆形结构元素，且膨胀时选用的圆形结构元素的直径为5个像素，腐蚀时选用的圆形结构元素的直径为4个像素。

与现有技术相比，本发明具有以下有益的技术效果：

本发明采用梯度约束拟合直线的方法，充分利用了图像相位携带的大量构成直线的相关像素点的空间信息，把灰度变化的相位作为了考虑的第一要素，幅度作为辅助条件；通过扫描直线支持区从而拟合出直线。该算法分辨率很高，即使对图像中存在的弱对比度直线也能成功提取出来，本发明实现了对图像中输电线的检测准确，去掉了冗余的边缘信息，提高了识别输电线的准确度。

附图说明

图1是八方向划分的示意图；

图2是形成直线支持区域的示意图；其中，(a)为边缘图，(b)为梯度变化区域被直线代替示意图；

图3是本发明的流程示意图；

图4是传统Radon变化法检测与使用梯度约束Radon变换法检测的对比图；其中，(a)为使用梯度约束后拟合出的直线边缘，(b)为使用数学形态学处理后的结果，(c)为使用梯度约束Radon变换法检测出的图像，(d)为传统Radon变化法检测出的图像。

具体实施方式

下面结合附图对本发明作进一步详细描述：

1.步骤1中获得高压线图像：利用无人机图像采集设备，获得要处理高压线图像，并将获得的降质图像转换为灰度图。

2.步骤2中用Canny算子进行图片边缘提取处理：在各类边缘检测算子中，Roberts算子对于边缘灰度值变化较大且低噪声图像具有较好的边缘检测效果，但是该算子提取的直线不连续；Sobel算子的优点是方法简单、运算速度快和图像边缘光滑连续，但是，由于处理时需作二值化处理，加上边缘结果受选取的阈值大小的影响，使得图像边缘粗糙；Prewitt边缘算子检测图像边缘会获得较好的效果在噪声抑制特性方面却没有Canny算子的抗噪能力强；Log算子边缘检测的效果受高斯空间系数σ的取值的影响，但是受噪声影响较大；Canny算子也应用高斯滤波器，所以获取图像的边缘会随高斯滤波器系数σ变小越来越清晰。总体来讲，Canny算子边缘定位的精确性和抗噪声能力效果较好，适合无人机载图像处理。因此本发明中采用Canny算子来进行图片边缘提取，提取图像为F’。

3.步骤3中梯度计算：灰度变化的剧烈程度可由梯度幅值来反映，边缘信息能够很好地被梯度幅值的大小所表示，所以梯度幅值常被用作局部边缘重要性的一个测度，用以检测边缘。灰度表面上升(下降)最快的方向，或像素邻域内灰度变化最大的方向，就是梯度方向。它是非常重要的信息，若在某个区域，各点的梯度方向相同或者相近的输电线路图像中导线的识别方法研究情况下，则这个区域很可能存在边缘。

计算梯度的模板有很多，尺寸大的模板对噪声不敏感，可减少噪声的影响，对图像有平滑作用，但是同时也滤除了细节部分；尺寸小的模板可保留较多的细节部分，但对噪声较敏感。所以应该根据需要选择适合的模板。本发明中，虽然尺寸过大的模板对图像有平滑作用，但是不利于低对比度直线的提取。因此在这里采用2×2模板计算梯度。部分模板如下所示:

$\begin{array}{cccc}\left(11\right)& \left(101\right)& \left(\begin{array}{cc}-1& 1\\ -1& -1\end{array}\right)& \left(\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right)\\ \left(\begin{array}{c}-1\\ 1\end{array}\right)& \left(\begin{array}{c}-1\\ 0\\ 1\end{array}\right)& \left(\begin{array}{cc}-1& -1\\ 1& 1\end{array}\right)& \left(\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 1& 1\end{array}\right)\end{array}$

梯度对应一阶导数，对于图像F’为f(x，y)，在位置(x，y)处的梯度可以表示为一个矢量。设G_x、G_y分别表示f(x，y)沿x方向和y方向的梯度大小。

通过差分求解梯度，定义:

f_x(x，y)＝f(x，y)-f(x-1，y)

f_y(x，y)＝f(x，y)-f(x，y-1)

则x方向和y方向的梯度大小，即G_x、G_y分别为：f_x(x，y)、f_y(x，y)；

梯度的幅值和方向角分别为:

$G=\sqrt{G_x^2+G_y^2}$

θ＝arcty(G_y/G_x)

4.步骤4中形成直线支持区：得到各点的梯度方向以后，原始图像将被分割成各个直线支持区。Bums等采用固定分割技术，将360°平均分成8份，分别是0°～45°、45°～90°、90°～135°、135°～180°、180°～225°、225°～270°、270°～315°、315°～360°，对每一方向范围分别用0、1、2、3、4、5、6、7来表示。然后对每个像素进行编码，编码值即为该像素梯度方向所在分割小区的编码值，这样就得到标一记图。将标记相同的邻接点合并组成一个直线支持区，若梯度方向计算正确则分组就正确，对于那些不在同一条直线上的相邻像素方向差别较大的，则不会落入同一区域内。如图1所示:

5.步骤5中最小二乘法拟合直线：在计算出直线支持区域之后，根据直线支持区域的特点，可以提取出该区域所代表的直线，通过上一步将落入同一个直线区的点存在数组元胞中，通过这些点进行直线拟合。最简单的方法就是直接进行最小二乘拟合，通过定义直线模型，根据区域内所有点的坐标拟合出最佳的直线。

曲线拟合中最基本和最常用的是直线拟合。设x和y之间的函数关系由直线方程

y＝a₀+a₁x

给出。式中有两个待定参数，a₀代表截距，a₁代表斜率。对于等精度测量所得到的N组数据(x，y)，其中i＝1，2，L，N，x值被认为是准确的，所有的误差只联系着y。下面利用最小二乘法把观测数据拟合为直线。

用最小二乘法估计参数时，要求观测值y的偏差的加权平方和为最小。对于等精度观测值的直线拟合来说，可使

$\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{\[y-(a_0+a_{1}x)\]}^2{|}_a=\hat{a}$

最小，即对参数a(代表a0，a1)最佳估计，要求观测值y_i的偏差的平方和为最小，则有：

$\frac{\∂}{\∂a_0}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\[y-(a_0+a_{1}x)\]}^2{|}_{a=\hat{a}}=-2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\[y-{\hat{a}}_0-{\hat{a}}_{1}x){\]}^2\mathrm{=0}$

$\frac{\∂}{\∂a_0}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\[y-(a_0+a_{1}x)\]}^2{|}_{a=\hat{a}}=-2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\[y-{\hat{a}}_0-{\hat{a}}_{1}x){\]}^2\mathrm{=0}$

整理后得到正规方程组

$\left\{\begin{array}{c}{\hat{a}}_{0}N+{\hat{a}}_1{\mathrm{\Σx}}_i-{\mathrm{\Σy}}_i,\\ {\hat{a}}_0{\mathrm{\Σx}}_i+{\hat{a}}_1{{\mathrm{\Σx}}_i}^2={\mathrm{\Σx}}_i{y}_i.\end{array}\right.$

解正规方程组便可求得直线参数a₀和a₁的最佳估计值和。即

${\hat{a}}_0=\frac{\left({{\mathrm{\Σx}}_i}^2\right)\left({\mathrm{\Σy}}_i\right)-\left({\mathrm{\Σx}}_i\right)\left({\mathrm{\Σx}}_i{y}_i\right)}{N\left({{\mathrm{\Σx}}_i}^2\right)-{\left({\mathrm{\Σx}}_i\right)}^2}$

${\hat{a}}_1=\frac{M\left({\mathrm{\Σx}}_i{y}_i\right)-\left({\mathrm{\Σx}}_i\right)\left({\mathrm{\Σy}}_i\right)}{N\left({{\mathrm{\Σx}}_i}^2\right)-{\left({\mathrm{\Σx}}_i\right)}^2}$

通过最小二乘法拟合后，可以把某些直线段首尾距离很近的，而且直线方向相差不大的，有可能属于同一条直线边缘的这些线段拟合成为最接近真实边缘的一条直线。

大多数边缘和直线提取算法有一下两个主要弱点：一是大多数算法往往无法检测出弱对比度的灰度变化，原因在于这些算法是以某种方式利用灰度变化的幅度作为局部边缘重要性的主要度量；二是在对边缘特征作局部决策之前，缺乏对图像结构的全局理解。因此，采用梯度约束拟合直线具有以下两个特点：

(1)充分利用了图像相位携带的大量构成直线的相关像素点的空间信息，把灰度变化的相位作为了考虑的第一要素，幅度作为辅助条件；

(2)在对边缘作局部决策之前，先作支持边缘上下文关系的全局组织，结果可以从复杂的图像中抽出相当低对比度的直线。

6.步骤3至5具体的实现过程如下：

(1)将梯度方向相似的、相邻近的边缘编成支持区域，这个区域不受具体尺寸的限制。编组的原理用图2来表示：

其中(a)是梯度图，(b)中画出了一个梯度变化区域，区域内直线是最终的结果；

(2)由加权近似灰度表面，用有关像元的梯度幅度值对其拟合加权，以使边缘最陡的部分起主导作用；

(3)从边缘支持区域和拟合平面提取代表此区域的直线及其长度、对比度、宽度、位置和方向等属性；

(4)根据属性滤出各种不同的图像事件，诸如长直线、高对比度直线、低对比度直线以及在特定方向和位置上的直线。

采用梯度约束拟合直线进行全局处理是在二维图像中进行的，在边缘宽度和长度方向上同时对像素点分组，为直线的提取打下基础。边缘支持区域内的像素不仅最终描述线类型，而且也包含有进一步处理图像所需要的特征属性。

在本发明中，由于无人机是平行高压线飞行并以高压线作为导航目标，因此高压线成像近似水平方向，为了只强化水平方向的高压线目标，对于过于短的直线及其斜率的绝对值大于1的就认为其不是要识别的直线。本发明只拟合有可能是导线的直线，给定两个阈值T₁和T₂，这里的T₁取1，T₂取10。如果拟合后的直线不能同时满足下面两个条件:

(1)0≤|k|≤1

(2)S≥10

则将不符合条件的线剔除，仅保留符合条件的线。

经过这种方法提取出的图像，已经滤出了大部分的图像噪声信息，除了导线边缘以外，还存在一些较短的噪声线段，同时部分导线边缘存在断裂的现象。提取结果如图4(a)所示。为了解决这个问题，因此使用数学形态学方法对导线提取后的图像进行处理。

7.步骤5中数学形态学：数学形态学是由一组形态学的代数运算子组成的，它的基本运算有4个：膨胀、腐蚀、开启和闭合，基于这些基本运算还可以推导和组合成各种数学形态学实用算法，用他们可以进行图像结构和形状的分析以及处理，包括图像分割、边界检测、图像滤波、特征抽取、图像增强和恢复等。腐蚀表示用某种探针对一个图像进行探测，以便找出在图像内部可以放下该基元的区域。膨胀是腐蚀的对偶运算，可定义为对图像的补集进行的腐蚀运算。膨胀使图像扩大而腐蚀使图像缩小。开启就是先消除细小物体，在纤细点出分离物体和平滑物体边界时又不明显改变其面积。闭合的作用是填充物体内细小空洞，连接相邻物体，在不明显改变物体面积的情况下平滑其边界。

根据步骤5中通过最小二乘法拟合的直线的结果的特征，在结构元的形状选取方面，要求能有效填补导线轮廓线中的断裂部分，同时又必须尽可能少的破坏目标的特征。通过比较不同的结构元素模板，采用圆形结构元素，先膨胀后腐蚀，膨胀时选用的圆形结构元素的边长为5个像素，腐蚀时选用的圆形结构元素的边长为4个像素。通过数学形态学处理后直线基本上能够连接起来。处理结果如图4(b)所示。

8.步骤4中使用Radon变换法识别：

经过数学形态学处理过的图像，噪声基本已经消失，在对其进行直线提取。对图像中直线的提取方法有很多，其中具有代表性的有：

(1)Hough变换(HT)法。该算法是将图像中的每个像素点转换到参数空间，经过参数空间的累加聚类寻找出直线信息。有算法稳定、抗噪声能力良好的优点。但其程序运行时间长，计算复杂度高，且会将共线的噪声点当作是直线而一同提取出来。

(2)Radon变换(RT)法。该算法也是一种由图像空间往参数空间的转换的方法，但其出发点与Hough变换有所不同。其优点是全局能好，有一定的抗噪性能。缺点是空间复杂度高，外加上因缺乏局部性，过度连接现象较为严重。

(3)启发式直线提取算法。该算法是基于扫描标记算法中的典型代表。它是在对比度和梯度方向等的辅助下，依靠边缘点在空间中的邻接关系进行搜索，通过某点的先导点获取该点，再通过该点寻找下一个点，不断迭代循环，直至搜索完所有节点，最终拟合形成直线。当图像中的某个节点有几个邻接点时，就会使得跟踪路径的选择变得困难，且提取出的直线经常存在间隙，短直线颇多。

(4)相位编组法。该算法是以邻域像素方向一致为基础的。通过扫描标记产生直线的支持区。该算法分辨率很高，即使对图像中存在的弱对比度直线也能成功提取出来。但由于在梯度的计算和梯度的分组时不是十分精确，会引进误差，这使得提取出来的直线大多都是短小或存在间断的，直线完整性差，且算法的抗噪声能力差。

(5)基于模板的直线提取算法。该算法同启发式方法相似，只不过它所使用的是一系列模板。它对当前节点与先导点之间亲密程度的描述更加完善，轻松的避免了启发式算法所拥有的第一个缺点。但第二个缺点还是无法突破。该算法提取直线的效果很大程度上要依赖于边缘检测的结果，因此其全局性能较差。

除此之外，一些新的方法也被陆续的提出来。如将直线边缘上的梯度相位信息当作蚁群算法中蚂蚁进行搜索的启发信息，对图像中的直线边缘实施迭代搜索的基于蚁群算法的直线提取算法；运用FreeMan方法跟随边缘的走向，绘制二维边缘外形链表，而后运用Splitting方法提取直线。

综合以上分析，每种直线的提取算法都有其自身的优缺点，因此，在电力线提取的过程中选择一种最佳的算法是首先要解决的一大问题。本发明通过比较几种算法，决定采用Radon变换法。

Radon变换公式如下:

$R(\mathrm{\ρ},\mathrm{\θ})=\underset{D}{\∫\∫}{f}_R(x,y)\mathrm{\δ}(\mathrm{\ρ}-x\cos \mathrm{\θ}-y\sin \mathrm{\θ})dxdy$

式中，D为整个图像xy平面；(x，y)为灰度值；ρ为坐标原点到直线的距离；θ为距离与x轴的夹角，θ∈[0°，180°]；δ为单位脉冲函数函数。它使(x，y)沿直线ρ＝x cosθ+y sinθ积分。

由定义可知函数f_R(x，y)经由Radon变换后获取的线性积分值是其沿直线ρ＝xcosθ+y sinθ的投影。Radon变换就是将图像从灰度空间转换到参数空间(ρ，θ)，图像中灰度等级高的线段将形成一个明点，而灰度等级低的线段则将形成暗点。通过对图像沿各个θ的投影值的求取，全方位的观测图像。当原灰度图像中确实有直线时，直线沿法线的方向上投影值最高，会在参数空间中出现一个峰值。由峰值对应的(ρ，θ)值便可以确定原图像空间中所在直线的偏移量及斜率。

图4中图像测试的场景分辨率为377*278。常规Radon算法检测结果如(d)所示，本发明算法的实验结果如(c)所示，虚线均为巡检结果。计算程序运行的时间，常规的Radon变换化电线检测算法时间花费分别为8.582759秒，比较费时，同时巡检结果误判比较严重，将田野、屋顶等均误判为电线。而本发明提出的新的随机检测算法在(c)花费为2.094268秒，时间缩短4倍以上。

Claims (6)

1.基于梯度约束Radon变换的无人机视觉电线巡检方法，其特征在于，包括以下步骤：

步骤1：利用无人机图像采集设备，获得要处理的高压线图像，并将获得的降质图像转换为灰度图F；

步骤2：对灰度图F进行边缘提取处理得到边缘图F’；

步骤3：对边缘图F’梯度计算得到梯度幅值G_k；

步骤4：设边缘图F’中第k个像素的八方向像素点为k_i，其中i＝0,1,…,7，当相邻两个像素k_i的梯度幅值G_k相等，则将其组到同一个直线支持区域；

步骤5：针对步骤4得到的直线支持区域，拟合出符合条件的直线，并使用数学形态学对拟合出的直线作后续处理；

步骤6：对步骤5的拟合结果通过Radon变化检测输电直线。

2.根据权利要求1所述的基于梯度约束Radon变换的无人机视觉电线巡检方法，其特征在于，步骤2中对灰度图S采用Canny算子进行边缘提取处理得到边缘图F’。

3.根据权利要求1所述的基于梯度约束Radon变换的无人机视觉电线巡检方法，其特征在于，步骤5中采用最小二乘法拟合符合条件的直线。

4.根据权利要求3所述的基于梯度约束Radon变换的无人机视觉电线巡检方法，其特征在于，步骤5中拟合出的直线满足以下条件：0≤|k|≤1，S≥10，其中k为斜率，S为直线长度。

5.根据权利要求1所述的基于梯度约束Radon变换的无人机视觉电线巡检方法，其特征在于，步骤5中使用数学形态学对拟合出的直线做后续处理具体为：采用先膨胀后腐蚀的方式对拟合出的直线做后续处理。

6.根据权利要求5所述的基于梯度约束Radon变换的无人机视觉电线巡检方法，其特征在于，膨胀处理及腐蚀处理时均采用圆形结构元素，且膨胀时选用的圆形结构元素的直径为5个像素，腐蚀时选用的圆形结构元素的直径为4个像素。