CN104091168A - 基于无人机影像的电力线自动提取定位方法 - Google Patents

Abstract

一种基于无人机影像的电力线自动提取定位方法，包括利用无人机进行双航带飞行，获取航空影像；航空影像的电力线自动提取，用LSD直线检测方法对航空影像进行提取；利用电力线的辐射特征进行粗提取，利用连通性排除背景信息；求并去除LSD检测图像的背景信息，排除剩下的背景信息，同时将所检测到的电力线连接起来；航空影像电力线三维数据定位，进行核线影像提取，核线与导线相交求同名点坐标，进行前方交会，得到电力线的三维数据。本发明提高三维巡线系统的效率，获得更加精准的三维坐标，降低电力线走廊巡线的成本。

Description

基于无人机影像的电力线自动提取定位方法

技术领域

本发明属于摄影测量与遥感技术领域，特别涉及基于无人机影像的电力线自动提取定位方法。

背景技术

为了适应国家经济的高速发展，国家加速进行电力网络的建设。但是由于电力线路距离长、范围大，而且常常架设在远离居民区的地方，给输电网络等电力基础设施的安全维护工作带来了巨大的难题。

长期以来，对输电线路的巡检与维护主要依靠效率低、成本高、安全性差的人工实地勘探来完成。每年国家电网都要投入大量的人力物力财力来进行人工巡检，其劳动强度大，劳动效率低，劳动条件艰苦。由于常常工作于荒郊野外，甚至要穿过原始森林、高海拔、冰雪覆盖区及存在频繁滑坡、泥石流等地质灾害地区，不仅维护车辆无法进驻，工作人员的安全问题也得不到保障。

目前发达国家电力部门普遍采用先进技术，如应用直升机进行人员和设备的运输，利用直升机对电力网络进行例行巡检。直升机巡检主要分目视巡检和红外发热检测。直升机巡检解决了步行巡检效率低和通行困难等特点，降低了工作强度，也提高了效率。但是人工参与的直升机巡检仍存在问题，如成本较高。进行目视巡检时直升机需要飞行速度缓慢，一次只能对一小部分区域进行巡检，而且要尽可能贴近电力线飞行，周遭植被给直升机带来了安全隐患。因此电力部门迫切地需要一种新方法来解决相关问题。

而依靠航空摄影测量技术进行电力走廊巡检的方法由于其高效率、低成本，无安全隐患的特点一直被看做解决问题的关键，是国外应用较为广泛的一项高新技术。在不拉闸断电的情况下进行一次飞行就可以得到电力线走廊的三维可视化信息，从而进行高程分析，三维可视化管理等，大大减少了野外工作，降低了巡线的成本。

根据文章《基于摄影测量技术的电力线高程测量方法》，目前利用测量技术进行电力线巡检的方法有如下几种：

(1)点对点激光测距方法。该方法主要利用全站仪进行电力线角度和距离的测定，适用于高精度的稀疏目标的测量。优点是精度非常高，缺点也很明显，效率很低，采集的目标数量少，无法进行三维可视化管理。

(2)三维激光扫描的方法。三维激光扫描可以得到高可靠性的大量数据，但是其价格昂贵，体积庞大，重量大，数据处理复杂，操作复杂，无法成为电力线巡线的首要选择。

(3)高分辨率多光谱近红外航摄仪的方法。

(4)基于航空摄影测量的方法。这是目前主流方法之一，具备体积小，重量轻，成本低等特点。

与前三种方法相比起来，航空摄影测量技术只需要数码相机便可以完成测量任务，成本很低，而且相对于激光和近红外航摄仪，航拍相片更加直观，更利于进行三维可视化管理。

利用二维图形提取三维信息是视觉测量理论的核心思想，如何确定多个图像中的同名点是其难点问题。一般图像是通过寻找影像上同名特征点的方法来进行影像匹配，然而由于电力线在各个影像上是非常相似的，因此用一般的图像特征匹配方案是不可能确定同名点的。

为解决以上难题，文章《直升机电力巡线系统中利用核线约束进行线路三维重建》采用将电力线间隔棒作为辅助匹配特征，从而找出导线同名点；文章《基于摄影测量技术的电力线高程测量方法》利用杆塔所确定的铅垂面作为约束条件来寻找导线点的对应。但是由于直升机是单航带飞行的，所以导线在影像上的成像基本与核线平行，这对寻找同名点造成很大影响，产生的误差也很大。

为此，有人利用直升机携带立体相机来解决导线与核线平行这一问题。其精度有所提高，但是由于立体相机安置于直升机两侧，其基线仅仅只是直升机上两台相机的距离，基线长度很难符合要求，所以其结果误差仍然比较大。

在建立三维可视化巡线系统和精确测量电力线与周围植被相对距离的过程中，如何从航空图像中提取电力线和电力塔也是解决方案的重点内容。只有将电力线精确提取出来，才能使用惯导和GPS，从而得到三维数据。根据《基于多种遥感数据的电力线走廊特征物提取方法研究》，航空图像中电力线通常有如下特征：(1)电力线比较长，通常贯穿整个图像；(2)图像中电力线的宽度一般有3到5个像素；(3)由于直升机一般进行俯拍，所以电力线类似于直线，且各个电力线是平行关系；(4)电力线背景通常为森林植被、裸地及建筑物，其中裸地与电力线在影像中的辐射特征较为相似。

现阶段，国内外从机载激光雷达数据中提取电力线较为成熟并且应用到实际项目中。而从复杂的航拍图像或遥感数据背景中完整地提取到电力线还很少涉及，而且精度不高。从复杂背景中提取电力线传统上一般分为两个步骤：一、利用边缘检测算子如Robert、Sober、Prewitt、Canny提取影像边缘信息；二、采用直线检测算子对电力线进行拟合，并计算电力线的方向及位置。

然而传统算法的提取结果并不理想，表现为：(1)阈值较难确定。确定阈值没有较为合理的方法，而且由于影像拍摄的光照等条件限制，每幅图的阈值又有不同；(2)有些算子的抗噪性不强。观察结果可以看出，处理结果又大量噪声没有被排除，对噪声非常敏感。一般针对此问题会先进行低通滤波，但是这一做法又会使得电力线的边缘模糊化；(3)某些算子，如Canny，提取的结果过于丰富，大量背景边缘如树木边缘信息也会被保留。

在现阶段下，电力部门急需一种新的电力线巡线方案和精确的航空影像电力线电力塔提取方法来提高三维巡线系统的效率，获得更加精准的三维坐标，降低电力线走廊巡线的成本，而这正是本发明的重要内容。

发明内容

本发明目的在于解决现有阶段下电力线巡线成本高、精度差、效率低的问题，提出利用无人机进行双航带飞行和基于LSD与Hough的航空影像电力线精确提取方法。

本发明提供一种基于无人机影像的电力线自动提取定位方法，包括以下步骤：

步骤1，利用无人机进行双航带飞行，获取航空影像；

步骤2，航空影像的电力线自动提取，包括以下子步骤，

步骤2.1，用LSD直线检测方法对航空影像进行提取；

步骤2.2，利用电力线的辐射特征进行粗提取；

步骤2.3，针对步骤2.2的结果利用连通性排除背景信息；

步骤2.4，对步骤2.1所得结果和步骤2.3所得结果求并，去除LSD检测图像的背景信息；

步骤2.5，对步骤2.4所得结果，排除剩下的背景信息，同时将所检测到的电力线连接起来；

步骤3，航空影像电力线三维数据定位，包括以下子步骤，

步骤3.1，进行核线影像提取；

步骤3.2，核线与导线相交求同名点坐标；

步骤3.3，根据步骤3.2所得同名点坐标及外方位元素，进行前方交会，得到电力线的三维数据。

而且，步骤2.5中，对步骤2.4所得结果，排除剩下的背景信息采用以下方式，

①计算出步骤2.4所得结果中各个直线的角度θ；

②将[θ-t,θ+t]范围内的直线归为一组；

③查看各组直线数目，小于相应预设阈值的舍弃；

④对各组内直线按照坐标转换公式计算p值，将[p-n,p+n]范围内直线归为一组；

⑤查看各组内直线个数，小于相应预设阈值的舍弃；

⑥查看各组内的直线，找出距离最远的两个端点，合并直线段。

其中，p是极径，θ是极角，t和n是相应的容错范围。

本发明提出了一种新的电力线巡线方案即无人机双航道飞行方案，和精确的航空影像电力线电力塔提取方法即LSD与HOUGH结合的方法，来提高三维巡线系统的效率，获得更加精准的三维坐标，降低电力线走廊巡线的成本。

附图说明

图1为本发明实施例的电力线自动提取流程图；

图2为本发明实施例的航空影像电力线数据计算流程图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述。

本发明实施例包括三个步骤：

步骤1，利用无人机进行双航带飞行：

利用直升机进行单航带巡线会使导线与核线平行，不利于同名点的精确定位。为了提高精度，在本发明中采用双航带飞行方式。

双航带法可以得到电力线两侧的图像，图像上电力线点的核线与导线近似垂直，而且由于用于匹配的图像分别摄于导线两侧，所以基线长度足够。利用该方法可以比较精准地找出同名点。然而使用载人直升机进行多航带飞行最大的问题是成本较高，多航带飞行必然比单航带耗费的成本高，为此本发明采用无人机代替载人直升机。

无人机相比直升机或运输机效费比好、重量小、飞行灵活；采集数据速度快，无人员伤亡风险；无人机智能化科技日趋成熟，只要程序合理，基本不会出现操作失误；其成本要比直升机搭载激光雷达扫描仪或专业的航空数码相机低很多。使用无人机进行双航带飞行既保证了测量精度又控制了成本。

步骤2，航空影像的电力线自动提取，参见图1：

步骤2.1，应用LSD直线检测方法

LSD能在很短的时间内得出亚像素级精度的检测结果。本领域技术人员可参考文章《LSD:a Line Segment Detector》实现步骤2.1，本发明不予赘述。

步骤2.2，利用电力线的辐射特征进行粗提取

实施例中本算子采用最简洁的RGB阈值法，读取图像红、绿、蓝三个通道的像素值，然后判断其是否在给定的阈值内，若是则保留像素值，并将其变换为灰度图像，否则将像素值赋值为0。

电力线在航拍影像上具有较为明显的辐射特征，利用辐射特征可以排除很大一部分背景信息，特别是与电力线辐射特征差别较大的背景，如植被。本算子采用最简洁的RGB阈值法，通过阈值的控制保留电力线信息，排除大量背景信息。本算子并非要精确定位电力线，而是要进行粗提取为下一步骤做准备。本算子的关键作用是排除掉与电力线辐射特征差别较大的信息，并且将与电力线辐射特征类似的区域打散。

步骤2.3，利用连通性排除背景信息

实施例中具体算法为使用种子填充法，先扫描被读入影像，将扫描到的第一个非零像点设为种子，查看种子八方向邻域，如果像素值非零即将其压入栈中，结束后弹出栈顶元素，将其作为种子继续进行八方向继续查看连通性、压栈，循环直到栈为空。循环期间记录X、Y坐标的最小与最大值，如其差值小于相应预设阈值，则判定其为背景信息，将其曾入栈的像素均赋值为0。

由于裸地等反射强度大的地方，其辐射特征和电力线极为相似，步骤2.2的结果必然仍然带有大量背景信息。但是这种背景信息与电力线信息相比大都是离散的点，或者非常小的区域，而电力线则是贯穿整幅影像。根据这一特征，本算子根据区域连通性排除那些离散的点，较短的线，和小面积区域，最大程度去除复杂背景信息。

步骤2.4，去除LSD检测图像的背景信息

LSD算法虽然有很强的抗噪性，但是仍然不可避免的有误检情况发生，为排除误检直线，将LSD算法的结果与上步的结果进行类似于集合中的“交”处理，即一个像素只有在两个影像中都有亮度值，才会在新影像中赋予它亮度，否则赋值为0。

步骤2.5，利用改进后的Hough检测直线

步骤2.4为LSD结果影像排除了大量干扰直线，其剩余的背景信息多为方向零散的短直线。由于LSD为局部检测算子，其检测到的直线会出现间断情况。本算子的目的为排除仅剩下的背景信息，同时将LSD所检测到的电力线连接起来。

Hough变换是图像处理中识别几何图像的基本方法之一，受噪声和曲线间断的影像比较少。Hough变换利用的是x-y坐标系与其极坐标k-b坐标系之间点-线的对偶性。x-y坐标系中每一个点在θ-p坐标系中都为一个正弦曲线，而x-y坐标系中若干个共线的点在θ-p坐标系中呈现出相交于一点的多个正弦曲线。

其中坐标系的转换公式为：

p＝x*cos(θ)+y*sin(θ)，θ取(0-180°)

由于LSD算法已经将直线端点的坐标求出，所以本发明改进的Hough算子并不需要θ取(0-180°)，只需按照两端点的坐标计算即可，这样节省了大量程序运行时间。实施例中本算子具体步骤为：①计算出LSD中各个直线(步骤2.4所得结果)的角度θ；②将[θ-t,θ+t]范围内的直线归为一组；③查看各组直线数目，小于相应预设阈值的舍弃；④对各组内直线按照坐标转换公式计算p值，将[p-n,p+n]范围内直线归为一组；⑤查看各组内直线个数，小于相应预设阈值的舍弃；⑥查看各组内的直线，找出距离最远的两个端点，合并直线段。

其中，p是极径，θ是极角，t和n是相应的容错范围。

具体实施时，步骤2.1和步骤2.2、2.3可并列执行。

步骤3，航空影像电力线三维数据计算，参见图2：

精确提取各个影像中电力线后，就可以利用GPS辅助空中三角测量的方法，根据机载GPS/POS系统提供的外方位元素，相机检校的内方位元素，生成核线影像，以立体像对为单位，自动匹配影像中电力线同名点，利用前方交会的方法得到电力线的三维数据，实现定位。步骤3.1，核线影像提取。

通过摄影基线与任意物方点A所作的平面成为通过A的核面。

核面与影像面的交线成为核线。一条核线上的任一点其在另一影像上的同名点必定在其同名核线上。根据此原理，只需在电力线上找到一点p，求出它在另一幅影像上的同名核线，其同名核线与电力线的交点必定是p点的同名点。

求同名核线的方法一般可分为两类：一是基于数字影像的几何校正；二是基于共面条件。本发明采用后一种办法。

一般基于共面条件的核线影像求解都要先进行相对定向来求两影像的旋转矩阵，需要匹配大量的同名点来求解相对定向元素。然而，由于无人机上携带GPS/POS系统，可以根据惯导提供的外方位元素直接求解同名核线。

若已知S为左影像摄影中心，S′为右影像摄影中心，左影像上电力线上一点p(x_p,y_p)，其像空间辅助坐标为P(X_P,Y_P,Z_P)，其同名核线上有任意一点p′(x′_p,y′_p)，像空间辅助坐标为P(X′_P,Y′_P,Z′_P)，其由于同一核线上的点均位于同一核面上，故满足共面条件：

B·(SP×S′P′)＝0

或 $\left|\begin{array}{ccc}{B}_X& B_Y& B_Z\\ X_P& Y_P& Z_P\\ {X^{\′}}_P& {Y^{\′}}_P& {Z^{\′}}_P\end{array}\right|=0$

式中向量B(B_x,B_Y,B_Z)为摄影基线在像空间辅助坐标系中的3个分量，[X_P Y_P Z_P]^T＝R₁[x_p y_p z_p]^T,R₁为左影像外方位元素构成的正交变换矩阵，[X′_P Y′_P Z′_P]^T＝R₂[x′_p y′_p z′_p]^T，R₂为右影像外方位元素构成的正交变换矩阵，设矩阵元素如下，

$R_1=\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right]$ $R_2=\left[\begin{array}{ccc}{a^{\′}}_1& {a^{\′}}_2& {a^{\′}}_3\\ {b^{\′}}_1& {b^{\′}}_2& {b^{\′}}_3\\ {c^{\′}}_1& {c^{\′}}_2& {c^{\′}}_3\end{array}\right]$

由共面条件可得同名核线的计算公式：

$y=-\frac{{{\mathrm{Aa}}^{\′}}_1+B{b^{\′}}_1+C{c^{\′}}_1}{{{\mathrm{Aa}}^{\′}}_2+B{b^{\′}}_2+C{c^{\′}}_2}x+\frac{A{a^{\′}}_3+B{b^{\′}}_3+C{c^{\′}}_3}{A{a^{\′}}_2+B{b^{\′}}_2+C{c^{\′}}_2}f$

其中，(x，y)为所求同名核线的坐标，f是镜头中心岛影像面的垂距，

A＝B_YZ_P-B_ZY_P；B＝B_ZX_P-B_XZ_P；C＝B_XY_P-B_YX_P。

根据公式可以得到在右影像中核线的位置，经过内定向和灰度重采样即可生成同名核线影像。

步骤3.2，核线与导线相交求同名点

当求出核线在右影像中的位置后，就可以将核线与电力线求交，将交点附近的像点作为备选点进行灰度匹配，从而求出较为精准的同名点位置。

灰度匹配是在以待定点为中心的窗口内，以影像的灰度分布为影像匹配的基础，采用一定的匹配测度来确定同名点的位置，常见算法有相关函数、协方差函数、相关系数、差平方和差绝对值等。在使用这些匹配算法来求得交点附近各个点的匹配测度后，还可以使用抛物线拟合来提高精度。

步骤3.3，进行前方交会

得到同名点坐标及惯导提供的外方位元素之后，就可以使用立体像对上的同名像点进行前方交会，得到两条同名摄像在空间的方向，这两条射线在空间上一定相交，其相交处必然是该地面点的空间位置。

前方交会公式为：

X＝X_S1+NX₁＝X_S1+B_X+N′X₂

Y＝Y_S1+NY₁＝Y_S1+B_Y+N′Y₂

Z＝Z_S1+NZ₁＝Z_S1+B_Z+N′Z₂

其中，X、Y、Z是所求点的地面坐标，X_S1、Y_S1、Z_S1是摄影中心的坐标，X₁、X₂、Y₁、Y₂、Z₁、Z₂为像点的像空间辅助坐标系坐标，B_X、B_Y、B_Z为投影中心坐标差，N、N′为左右像点的点投影系数，其公式为：

$N=\frac{B_X{Z}_2-B_Z{X}_2}{X_1{Z}_2-Z_1{X}_2}$

$N^{\′}=\frac{B_X{Z}_1-B_Z{X}_1}{X_1{Z}_2-Z_1{X}_2}$

具体实施时，本领域技术人员可自行根据情况预先设定各阈值。步骤2、3可采用软件技术实现自动运行流程。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种基于无人机影像的电力线自动提取定位方法，其特征在于：包括以下步骤，

步骤1，利用无人机进行双航带飞行，获取航空影像；

步骤2，航空影像的电力线自动提取，包括以下子步骤，

步骤2.1，用LSD 直线检测方法对航空影像进行提取；

步骤2.2，利用电力线的辐射特征进行粗提取；

步骤2.3，针对步骤2.2 的结果利用连通性排除背景信息；

步骤2.4，对步骤2.1 所得结果和步骤2.3 所得结果求并，去除LSD 检测图像的背景信息；

步骤2.5，对步骤2.4 所得结果，排除剩下的背景信息，同时将所检测到的电力线连接起来；

步骤3，航空影像电力线三维数据定位，包括以下子步骤，

步骤3.1，进行核线影像提取；

步骤3.2，核线与导线相交求同名点坐标；

步骤3.3，根据步骤3.2 所得同名点坐标及外方位元素，进行前方交会，得到电力线的三维数据。

2.根据权利要求1 所述基于无人机影像的电力线自动提取定位方法，其特征在于：步骤2.5，

对步骤2.4 所得结果，排除剩下的背景信息采用以下方式，

①计算出步骤2.4 所得结果中各个直线的角度θ；

②将[θ-t, θ+t]范围内的直线归为一组；

③查看各组直线数目，小于相应预设阈值的舍弃；

④对各组内直线按照坐标转换公式计算p 值，将[p-n,p+n]范围内直线归为一组；

⑤查看各组内直线个数，小于相应预设阈值的舍弃；

⑥查看各组内的直线，找出距离最远的两个端点，合并直线段；其中，p 是极径，θ 是极角，t 和n 是相应的容错范围。