CN102914294B - 一种基于图像的无人机电力巡线测量系统及方法 - Google Patents

Abstract

本发明为基于图像的无人机电力巡线测量系统及方法，其箱体包括无人机机体和摄像机、图像传输单元、无线控制单元、地面控制站及设置在地面上的参照目标；参照目标用于对三维场景进行校准，将场景的实际尺寸与画面像素值建立对应关系；图像传输单元分别与摄像机、地面控制站连接，无线控制单元分别与无人机机体、地面控制站连接；地面控制站通过无线控制单元控制无人机机体的飞行与悬停，通过图像传输单元获取摄像机图像，根据参照目标及摄像机图像建立摄像机视觉三维模型，选定参考线，根据视觉三维模型测量点到参考线的距离判断线路是否安全。在无人机悬停时通过摄像机监控画面三维标定方法进行坐标系测定，从而实现自动测距。

Description

一种基于图像的无人机电力巡线测量系统及方法

技术领域

本发明及电力行业的无人机进行巡线作业时，对线路周边环境测量的系统及方法。

背景技术

现有技术中电力巡线的方式主要有人工地面巡线、人工高空巡线、机器人巡线、卫星遥感巡线、载人直升机高空巡线、无人机飞控巡线等。巡线工作是一项细致而危险的工作，在现代化科技发展的今天，人工巡线的方式显然效率低下而具有危险性。而卫星遥感巡线则需要受到气象地理条件的限制。所以，无人机巡线技术已经越来越受到重视和重用。

而传统的无人机巡线只是通过机载设备上配备的摄像机或照相机将画面回传给地面站，然后通过肉眼查看线路故障内容。然而在巡线过程中，需要进行一些距离测量，如线路上某点与附近树木的距离，线路与交叉线缆之间的间距等，这些参数无法用简单的画面进行测算。

发明内容

本发明的目的是针对现有技术的缺陷与不足，提供一种基于图像的无人机电力巡线测量系统及方法，在无人机悬停时对摄像机进行标定，通过摄像机监控画面三维标定方法进行坐标系测定，从而实现自动测距。

本发明测量系统采用以下技术方案：基于图像的无人机电力巡线测量系统，包括无人机机体和摄像机，所述摄像机固定在无人机机体内，还包括图像传输单元、无线控制单元、地面控制站及设置在地面上的参照目标，摄像机、图像稳定器、图像传输单元、陀螺仪及无线控制单元均固定在无人机机体内，所述参照目标用于对三维场景进行校准，将场景的实际尺寸与画面像素值建立对应关系；图像传输单元分别与摄像机、地面控制站连接，无线控制单元分别与无人机机体、地面控制站连接；地面控制站通过无线控制单元控制无人机机体的飞行与悬停，通过图像传输单元获取摄像机图像，根据参照目标及摄像机图像建立摄像机视觉三维模型，选定参考线，根据视觉三维模型测量点到参考线的距离判断线路是否安全。

本发明测量方法采用以下技术方案：基于图像的无人机电力巡线测量方法，包括以下步骤：

S1、通过无线控制单元控制无人机机体飞行到一个空旷场景，在地面上放置两个相同大小的参照目标，一个参照目标离摄像机的距离比另一个参照目标离摄像机的距离远，通过地面控制站建立摄像机的视觉三维模型，并记录无人机机体的当前高度；

S2、通过无线控制单元使得无人机飞行到待测线路上方，然后控制无人机悬停，调整无人机的机头朝向与线路方向一致，在摄像机画面所捕捉到的场景中根据无人机机体的当前高度以及参照目标对摄像机画面进行标定校准；

S3、在地面控制站接收到的摄像机画面上选定两条线缆作为两条参考线，两条参考线基于摄像机画面中一条竖线对称；并在每条参考线上标定两个定位点，再根据无人机机体的当前高度以及参考线的定位点重建摄像机的视觉三维模型，通过两条参考线上的四个定位点确定画面中场景的三维空间坐标系；所述竖线为画面中的一条虚拟的竖直线条，用于确认三维场景的中心；

S4、在地面控制站接收到的摄像机画面上，选择任意点，测量该任意点到参考线的距离，从而确认线缆是否安全。

与现有技术相比，本发明具有如下优点及有益效果：

1、地面控制站具备视频分析能力，利用机载摄像头的监控画面，通过人机交互操纵实现对机载摄像机画面中目标的标定；结合电力巡线作业时特有的作业环境，测量出画面中标定点与点之间的间距，也即测量线路与周边环境物体的间距以及基站塔的各项需检测的距离参数，从而确认线路是否安全。

2、为了增加图像的稳定性，无人机机体中加入了用于稳定机身的陀螺仪，图像采集模块加入了对图像进行稳定处理的图像稳定器，使用时将模拟信号输入图像稳定器处理后输出较为稳定的视频，保证无人机在悬停状态下的图像画面更接近于固定状态。

附图及说明

图1是本发明的系统结构示意图；

图2是本发明的工作流程图；

图3是摄像机空间场景标定画面示意图；

图4是无人机在测量点位时工作画面示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此实施例。

参见图1，本发明基于图像的无人机电力巡线测量系统包括无人机机体、摄像机、图像稳定器、图像传输单元、陀螺仪、无线控制单元及地面控制站，摄像机、图像稳定器、图像传输单元、陀螺仪及无线控制单元均固定在无人机机体内；摄像机、图像稳定器、图像传输单元依次连接，摄像机的视频输出到图像稳定器上，图像传输单元传输的是图像稳定器进行稳定处理后的图像；无线控制单元与无人机机体信号连接，图像传输单元和无线控制单元还分别通过传输信道与地面控制站连接。地面控制站对接收到的机载摄像机图像进行人机操作，通过一定的标记实现对画面的距离测量。陀螺仪的陀螺架由内框及外框同径构成，内框固定陀螺仪，内框与外框之间的径向上均通过转轴连接；外框通过中心轴安装云台架与无人机机体固定连接，摄像头与云台架连接；内框一侧转轴的外框上延伸有外框的输出端，在该外框的输出端端部固定主动轮。在安装云台架的中心轴的端部同轴固定向前开口的摄像机机架，在摄像机托铰轴的端部固定一从动轮。图像稳定器通过支架固定安装在无人机机体内，图像传输单元和无线控制单元均通过支架固定在无人机机体内，收发天线暴露在无人机机体外。

如图2所示，系统的工作流程具体如下：

（1）、将机载摄像机位置调整好，确保图像稳定器和陀螺仪工作正常。记录摄像机的固有参数和安装角度。

（2）、通过无线控制单元使得无人机机体飞行到一个较为空旷场景，在地面上放置两个相同大小的参照目标，使其中一个离摄像机较近，即近处参照目标，另一个离摄像机较远，即远处参照目标，通过地面控制站建立摄像机的视觉三维模型，并记录无人机机体的当前高度。使用两个参照目标对三维场景进行校准，帮助系统将场景的实际尺寸与画面像素值建立对应关系。

建立了摄像机的视觉三维模型后，当无人机上升时，只有无人机的高度值在变化，所以只需要当无人机在高空时进行位置重新校准即可确定高空航拍时的三维坐标。

（3）、通过无线控制单元使得无人机飞行到待测线路上方，然后控制无人机悬停，调整无人机的机头朝向与线路方向一致，使得摄像机画面捕捉到一个相对简单的场景，在场景中根据由无线控制单元返回的无人机机体的当前高度以及参照目标对摄像机画面进行标定校准。

（4）、在地面控制站接收到的摄像机画面上选定两条线缆作为参考线，使得无人机机载摄像机画面中，这两条参考线基于摄像机画面中一条竖线（即画面中的一条虚拟的竖直线条，可在后台手工绘制，用于确认三维场景的中心）对称；并在每条参考线上标定两个定位点，再根据无人机的当前高度以及参考线的定位点重建摄像机的视觉三维模型，如图3所示。此时通过两条参考线上的4个定位点（即线缆标记点1-4）确定画面中场景的三维空间坐标系，如图4所示。

（5）、测距：在地面控制站接收到的画面上，选择任意点，可测量其到参考线的距离，从而确认线缆是否安全。

根据透视投影原理，一条空间直线上的无穷远像素集在是平面上形成的收敛点成为消失点，空间中相互平行的直线族在平面有相同的消失点；那么，两条互不重合的平行线在图像平面上就具有相同的消失点和不同的斜率。也就是说，摄像机的外部参数与消失点和斜率之间具有内在联系，摄像机外部参数可以用与平行线有关的解析表达式来表示。那么根据事先对摄像机画面的标定，可以计算出空间中这两条参考线的空间位置，从而确定整个监控画面空间的坐标系参数。

步骤（2）所述建立摄像机的视觉三维模型，算法如下：

（21）、在实际地平面和摄像机图像中的地平面之间，建立单应性解（homography）H。然后利用摄像机实际与地平面的安装高度h和参考目标的投影线，来对摄像机进行校准，校准的过程具体如下：

根据摄像机的针孔模型，定义矩阵： $M=A\·\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right],$ 由此可知，实际地平面与摄像机图像中的地平面的单应性关系可表示为H=A[r₁ r₂ t]＝[h₁ h₂ h₃]。

其中，A为摄像机的固有参数矩阵。r₁,r₂,r₃为旋转矩阵R的三个列向量，t为平移参数。若实际地平面和摄像机图像中的地平面之间有多于4组对应点，由上述公式，可使得单应性解H得到最多扩展。

定义摄像机的光学中心点，即摄像机视觉原点为(x_c,y_c,h)，令K=hAr₃，可以得出：x_ch₁+y_ch₂+K+h₃＝0。给定垂直于实际地平面的参考线l^*，及其在摄像机图像中的地平面上的投影l，可以得出直线H^Tl在实际地平面上并且经过点(x_c,y_c,0)。直线H^Tl指的是摄像机视觉原点到实际地面的投影点（x,y，0）与摄像机在地面视角范围交集上任意一点之间的连线集合。

根据以上步骤，给定摄像机实际与地平面的安装高度h和两条垂直参考线（即两个参考目标的垂直投影线，两个参考目标的长度是已知的），可以计算出x_c、y_c和K，从而求得摄像机视觉原点，完成对摄像机的校准。

（22）、将摄像机视觉原点(x_c,y_c,h)设为用户坐标系的中心点，并将摄像机视觉三维模型投影到实际地平面。所以，对于用户坐标系中的任意一点(x_w,y_w,z_w)在实际地平面中的投影可计算为：

$\left[\begin{array}{c}{x^{\′}}_w\\ {y^{\′}}_w\end{array}\right]=\left[\begin{array}{c}{x}_w\\ y_w\end{array}\right]+\frac{z_w}{h-z_w}(\left[\begin{array}{c}{x}_w\\ y_w\end{array}\right]-\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]).$

（23）、利用单应性解H，可以将视觉三维模型在实际地平面上的投影映射到摄像机图像中的地平面中，建立一个映射关系。所述的映射关系，即完成了视觉三维模型的建立。

步骤（4）所述重建摄像机的视觉三维模型，算法如下：

当无人机飞行并悬停在一个测定点时，我们通过参数的调整重建视觉三维空间模型。依据摄像机成像原理，如果已知摄像机的内参数、外参数，则可求解出空间点在摄像机图像上的坐标，因此，可假设监控画面中的一条线路为虚拟参考线L。现在假设虚拟参考线L在视觉三维模型中的起点和终点坐标分别为Ls（x,y，z）和Le（x,y，z），其中z=0，将起点坐标和终点坐标两个坐标代入下式：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ O^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中R表示摄像机外参数中的旋转向量，t表示摄像机外参数中的平移向量。公式中，(U₀,V₀)为主点坐标，a_x、a_y分别是u轴和v轴的尺度因子，这些是摄像头镜头标定方法中的一些参考参数。Xw、Yw、Zw表示虚拟参考线L在三维视觉模型中的点坐标集。代入后便可求解出线缆的起点和终点在摄像机图像上的摄像机图像坐标(u,v)。例如线缆在视觉三维模型中的起点坐标和终点坐标分别是(7.5,6.0,0)和(7.5,0,0)，转换后的摄像机图像坐标是(203,138)，(233,165)。有了这两组摄像机图像坐标，就可以虚拟出视觉三维模型的空间内任意直线方程并得到点的坐标，从而重建摄像机的视觉三维模型。

步骤（5）所述的测距主要通过地面控制站对所接收的监控画面，采用智能测距算法进行计算来完成。要实现测距必须有空间平面对应图像平面上的四个点坐标，现在通过标定摄像机内参数、外参数已经求出了起点和终点的摄像机图像坐标，则只需要通过手工描绘出巡线线缆作为虚拟参考线L，将虚拟参考线L的坐标代入下面的对应关系方程：

$P(20*L_{\mathrm{start}}x,20*L_{\mathrm{start}}y)\⇔p(u_1,v_1)$

$P(20*L_{\mathrm{end}}x,20*L_{\mathrm{end}}y)\⇔p(u_2,v_2)$

$P(20*l_{\mathrm{start}}x,20*l_{\mathrm{start}}y)\⇔p(u_3,v_3)$

$P(20*l_{\mathrm{end}}x,20*l_{\mathrm{end}}y)\⇔p(u_4,v_4)$

根据该对应关系方程和视觉三维模型空间内的直线方程，即可标定无人机在悬停时，摄像机捕捉画面三维空间的点坐标。已知每个点的坐标后，即可测量点到线缆的距离，以及点到点的距离。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像的无人机电力巡线测量方法，其特征在于包括以下步骤：

S1、通过无线控制单元控制无人机机体飞行到一个空旷场景，在地面上放置两个相同大小的参照目标，一个参照目标离摄像机的距离比另一个参照目标离摄像机的距离远，通过地面控制站建立摄像机的视觉三维模型，并记录无人机机体的当前高度；所述参照目标用于对三维场景进行校准，将场景的实际尺寸与画面像素值建立对应关系；

S2、通过无线控制单元使得无人机飞行到待测线路上方，然后控制无人机悬停，调整无人机的机头朝向与线路方向一致，在摄像机画面所捕捉到的场景中根据无人机机体的当前高度以及参照目标对摄像机画面进行标定校准；

S3、在地面控制站接收到的摄像机画面上选定两条线缆作为两条参考线，两条参考线基于摄像机画面中一条竖线对称；并在每条参考线上标定两个定位点，再根据无人机机体的当前高度以及参考线的定位点重建摄像机的视觉三维模型，通过两条参考线上的四个定位点确定画面中场景的三维空间坐标系；所述竖线为画面中的一条虚拟的竖直线条，用于确认三维场景的中心；

S4、在地面控制站接收到的摄像机画面上，选择任意点，测量该任意点到参考线的距离，从而确认线缆是否安全。

2.根据权利要求1所述的基于图像的无人机电力巡线测量方法，其特征在于，所述步骤S1包括：

S11、在实际地平面和摄像机图像中的地平面之间，建立单应性解，然后利用摄像机实际与地平面的安装高度和已知长度的垂直于实际地平面的线对摄像机进行校准，获得摄像机视觉原点；

S12、将摄像机视觉原点设为用户坐标系的中心点，并将摄像机视觉三维模型投影到实际地平面；

S13、利用单应性解，将视觉三维模型在实际地平面上的投影映射到摄像机图像中的地平面中，建立一个映射关系，从而完成视觉三维模型的建立。

3.根据权利要求1所述的基于图像的无人机电力巡线测量方法，其特征在于，所述步骤S3所述重建摄像机的视觉三维模型的步骤如下：

假设监控画面中的一条线路为虚拟参考线L，假设虚拟参考线L在视觉三维模型中的起点和终点坐标分别为Ls(x,y,z)和Le(x,y,z)，其中z＝0，将起点坐标和终点坐标代入下式：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ O^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

求解出起点和终点的摄像机图像坐标(u,v)，其中R表示摄像机外参数中的旋转向量，t表示摄像机外参数中的平移向量，(U₀,V₀)为主点坐标，a_x、a_y分别是u轴和v轴的尺度因子，Xw、Yw、Zw表示虚拟参考线L在三维视觉模型中的点坐标集；根据摄像机图像坐标虚拟出视觉三维模型的空间内任意直线方程并得到点的坐标，从而重建摄像机的视觉三维模型。

4.根据权利要求3所述的基于图像的无人机电力巡线测量方法，其特征在于，所述步骤S4所述测量该任意点到参考线的距离的步骤如下：

描绘出巡线线缆作为虚拟参考线L，将虚拟参考线L的坐标、所述起点和终点的摄像机图像坐标代入对应关系方程；根据对应关系方程和视觉三维模型空间内的直线方程，标定无人机在悬停时，摄像机捕捉画面三维空间的点坐标；已知每个点的坐标后，测量点到线缆的距离，以及点到点的距离。