CN107462217B - 一种面向电力巡检任务的无人机双目视觉障碍物感知方法 - Google Patents

Abstract

本发明公开了一种面向电力巡检任务的无人机双目视觉障碍物感知方法，属于机器视觉技术领域。本发明包括：设计双模板Ratio检测算子从双目航空图像中提取电力线像素并基于直线拟合假设结合霍夫变换进行直线检测；基于对极几何约束原理在电力线上构建两对同名点，进而得到拟合直线方程，计算出无人机与电力线的最短距离；针对其他典型障碍物，并行完成全局三维重构，构建无人机飞行安全通道，采用特定策略提取障碍物；最后输出障碍物相对无人机的方位与物理尺寸信息。本发明方法囊括无人机电力巡检走廊环境内所有静态威胁信息，计算量小，感知结果较为精确，满足障碍物感知实时性要求。

Description

一种面向电力巡检任务的无人机双目视觉障碍物感知方法

技术领域

本发明涉及一种面向电力巡检任务的无人机搭载高清双目摄像头对巡检通道内电力线、电力塔架、树木、房屋、山脉等典型障碍物进行三维感知的方法，属于机器视觉技术领域。

背景技术

电力工业是国民经济的一项重要支柱，也在一定程度上表明了经济状况与综合国力，随着经济水平与用电量的不断增长，国家基础建设不断进步，我国已建成世界上规模最大的电网。但电网所处环境多在山川、河流等自然环境相对恶劣的地区，为避免因电网线路缺陷造成大规模停电甚至严重事故，则必须对输电线路定期巡检以保证安全平稳运行。

目前，输电线路巡检任务大部分由人工完成，人工巡检不仅效率低下、危险系数高，更为重要的是会产生许多线路盲点，同样危及线路安全。近年来，无人机发展势头迅猛，民用无人机向大众普及，使用无人机取代人工进行电力巡检趋势愈加明显，在地震、海啸、洪水等不可抗力的情况下，使用无人机可快速对电力杆塔、电力线损坏情况进行初步诊断，不仅不需人工攀爬塔架，不受到地面条件的限制，同时针对人工巡检死角可使用机载高分辨率相机近距离观察，得到清晰全面的巡检画面。

无人机电力巡检走廊通道的环境特征为低空环境复杂区域，无人机作业也并不是绝对安全的，极容易受到输电线路和其他典型障碍物的干扰，若未正确处理无人机与环境障碍物的约束关系，会进一步造成更严重的安全事故。所以，针对面向电力巡检任务的无人机，自主感知避障技术成为该领域的关注焦点。

无人机为实现实时自主规划巡检航路，首先需得到周围环境中障碍物的方位(距离)与物理信息。目前国内外针对电力巡检特殊应用背景而开展的无人机感知方法研究较少，大部分处于理论验证阶段，其有效性有待继续探索。现阶段几种典型的感知方法有超声波、电磁场、毫米波雷达和双目视觉感知等，超声波是一种广泛应用的测距方法，但电力塔架作为镂空结构，掺杂了大量背景信息，电力线反射超声波能力也不足，更为重要的是其测距距离太短，不能保障无人机电力巡检的安全性；电磁场感知需预先对输电线路周围电场分布建模，再根据电磁传感器探测到当前的电场强度与模型比对得到无人机当前位置，该方法较为复杂且灵活性极低；毫米波雷达检测效果较好，但其成本与重量不利于小型旋翼无人机的使用。如今随着摄像头性能不断提升，基于双目立体视觉原理从高清航空图像中对障碍物进行三维重构技术愈加成熟，输出信息丰富且硬件成本较低，成为人工智能领域的热门。但电力线在航空图像中仅占几个像素，背景又多为山脉、田野、森林等，且在电力线上难以找到特征点，导致从航空图像中提取电力线并测距显得非常困难。同时还需对其他典型障碍物进行三维重构，使得计算量增大，实时性下降。

发明内容

本发明的目的是为了解决现有技术中存在的问题，提供一种从双目航空图像中实时提取电力线并测距方法，所述方法采用双模板Ration检测算子结合霍夫变换检测电力线，并基于电力线拟合直线假设与对极几何约束原理构建两对同名点，计算无人机与电力线的最短距离。同时针对其他典型障碍物进行全局三维重构，构建飞行安全通道减小计算量，提取障碍物并获得相对方位与物理尺寸信息。

一种面向电力巡检任务的无人机双目视觉障碍物感知方法，包括以下几个步骤：

步骤一：从双目航空图像中提取电力线像素并检测直线；

设计双模板Ratio检测算子从双目航空图像中提取电力线像素，并基于电力线拟合直线假设结合霍夫变换进行直线检测。

步骤二：构建两对同名点并计算最短距离；

基于步骤一的电力线拟合直线假设和对极几何约束原理，在右图的直线上任意选择两点p_r(u₂,v₂)和q_r(u′₂,v′₂)，计算两点对应的极线方程，两条极线与左图直线将分别相交于p_l(u₁,v₁)和q_l(u₁′,v₁′)两点，即p_l,p_r和q_l,q_r是两对构造的同名点。进而根据双目立体视觉和解析几何原理计算无人机与电力线的最短距离。

步骤三：全局三维重构并构建飞行安全通道；

针对电力塔架、树木、房屋、山脉等障碍物，并行对双目航空图像进行全局三维重构，得到整图像素对应的三维相对坐标，进而从中提取障碍物信息。建立无人机电力巡检飞行安全通道，目的在于将障碍物的搜索区域仅放在该安全通道内，在保证安全前提下大幅减小障碍物提取计算量。

步骤四：提取障碍物并输出相对方位与物理尺寸信息；

基于步骤三构建的飞行安全通道，在该通道内采用障碍物提取策略搜索障碍物，进而用矩形框将障碍物像素连通域框出，框出的障碍物几何中心像素对应的三维相对坐标作为方位信息输出，矩形框长宽作为物理尺寸信息输出。

本发明的优点和积极效果在于：

(1)提取电力线并计算最短距离与全局三维重构并计算典型障碍物的相对方位和物理尺寸信息并行处理，囊括了无人机电力巡检走廊环境内的所有静态威胁信息。

(2)基于电力线拟合直线假设与对极几何约束原理，准确高效地构建同名点，不需在电力线图像中寻找特征点并加以匹配。

(3)建立飞行安全通道，在保证安全前提下大幅减小障碍物提取计算量。

附图说明

图1是本发明的面向电力巡检任务的无人机双目视觉障碍物感知方法流程图；

图2是背景为森林的电力线航空图像图；

图3是Ratio检测算子90度与45度方向双模板示意图；

图4是Ratio检测算子电力线像素提取效果图；

图5是霍夫变换直线检测效果图；

图6是电力线构建同名点示意图；

图7是平行双目立体视觉系统的对极几何图；

图8是飞行安全通道构建示意图；

图9是视景仿真全局三维重建提取障碍物效果图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是一种面向电力巡检任务的无人机双目视觉障碍物感知方法，流程如图1所示，包括以下几个步骤：

步骤一：从双目航空图像中提取电力线像素并检测直线；

本发明通过设计双模板Ratio检测算子提取电力线像素，Ratio检测算子通过设计特定模板平滑噪声对检测结果的干扰，其响应为中心像素的两个邻域的均值比的最小值。在本发明实例中，双目摄像头水平向前安装在无人机上，无人机一般沿着输电线路在其右上方作业，即电力线在图像中的走向呈垂直或倾斜方向，且电力线宽度仅约占1个像素，如图2所示。本发明所设计的两个检测模板示意图如图3所示，模板规模均为5X5像素，区域R₁有5个像素，区域R₂和R₃各有10个像素，模板的方向分别为90度垂直方向和45度方向。

一块区域R_i包含n_i个像素，中心点像素为x₀，每一个像素的灰度值为V_k，其平均灰度值A_i定义为：

区域R₁与R₂以及区域R₁与R₃的边缘检测响应函数f₁₂和f₁₃分别定义为：

线特征响应函数F取上述两个函数的较小者：

F＝min(f₁₂,f₁₃) (3)

通过上述方法分别得到双检测模板响应函数F₉₀和F₄₅，最终的线特征响应函数F_m取两者中的较大值：

F_m＝max(F₉₀,F₄₅) (4)

如果F_m＞F_TH，这个模板的中心像素x₀即被看作电力线像素。根据不同实例中的电力线走向可灵活设计不同的模板与阈值F_TH，采用双模板Ratio检测算子的提取图2中的电力线像素效果如图4所示。

由于电力线拓扑结构简单与其他电力线为平行关系，本发明将航空图像中的电力线拟合为直线，可减小拟合计算量增加实时性，进而通过霍夫变换将上述提取的电力线像素拼接为直线，标准霍夫变换H(ρ_q,θ_p)定义为：

其中A(x_i,y_j)是每一个被提取的电力线像素的灰度值，Q是ρ的采样值的总数，P是θ离散值的总数，图像的尺寸为N*N，ρ_q、θ_p表示参数空间下的坐标。

基于双模版Ration检测算子结合霍夫变换，并通过部分混合筛选策略，图1中电力线最终的检测效果如图5所示。

步骤二：构建两对同名点并计算最短距离；

电力线在航空图像中呈微弱的线目标，其像素宽度最大仅占几个像素点，在电力线上找到特征点并加以匹配变得非常困难。本发明基于步骤一的电力线直线拟合假设和对极几何约束原理，提出一种构建同名点的方法。

根据对极几何约束原理，在双目右图像中任意选择一点X_r，在左图像中对应的同名点必在一条直线上，该直线称为极线，所以在搜索同名点的维度可从二维降至一维，大大提高了匹配效率，极线方程定义为：

au+bv+c＝0 (6)

上式各系数a,b,c可通过双目摄像头基础矩阵F得到：

FX_r＝[a b c]^T (7)

其中，u,v是图像像素坐标轴，X_r是在右图像指定的一点坐标。

而基础矩阵F可通过两个摄像头的外部和内部参数得到，即通过双目摄像头标定，可求得右图像中任意一点对应的极线方程。

本发明在右图直线上任意选择两点p_r(u₂,v₂)和q_r(u′₂,v′₂)，计算两点对应的极线方程，两条极线与左图直线将分别相交于p_l(u₁,v₁)和q_l(u₁′,v₁′)两点，即p_l,p_r和q_l,q_r是两对构造的同名点。同名点构建示意图如图6所示。

得到同名点图像像素坐标后，根据双目立体视觉原理，可计算上述选择两点的空间相对坐标：

平行双目立体视觉系统的对极几何图如图7所示，假设C₁和C₂摄像机的焦距相等，内外参数相同，光轴平行且x轴重合y轴平行，即两坐标系在x轴方向上移动距离b即可重合，b称为基线距离。P为空间中一点，面PO₁O₂与面I₁和I₂交线分别为E₁和E₂，E₁和E₂称为极线。E₁和E₂为同一直线且与x轴平行，P₁和P₂分别为O₁P与I₁和O₂P与I₂的交点，则P₁和P₂分别落在E₁和E₂上。根据中心投影的比例关系，可得：

其中u₀,v₀,α_x,α_y是通过标定得到的摄像机内参数，u₀,v₀为光心坐标，α_x,α_y为摄像机焦距，(u₁,v₁)和(u₂,v₂)分别为p₁和p₂的图像坐标，即空间点的三维相对坐标可通过一对同名点的图像坐标以及摄像机内参数得到。

根据式8，可计算出构建两点同名点的三维相对坐标：

其中p(x_p,y_p,z_p)和q(x_q,y_q,z_q)即为电力线上两点的空间相对坐标，则拟合为直线的电力线方程可表示为：

最后，电力线与无人机(左摄像头)的最短距离被定义为：

距离D为无人机电力巡检作业感知电力线的重要指标。

步骤三：全局三维重构并构建飞行安全通道；

除电力线这种线目标，电力巡检走廊通道内还存在电力塔架、树木、房屋、山脉等障碍物，针对这些典型障碍物，本发明同时对双目航空图像全局三维重构，得到整图像素对应的三维相对坐标，进而从中提取障碍物信息。

针对电力巡检特殊应用背景，并不需要从整个视场中搜索障碍物，例如，在本发明实例中，无人机沿着输电线路在其右上方作业，则并不需要考虑障碍物整体均在输电线路左方的障碍物。本发明将建立无人机电力巡检飞行安全通道，目的在于将障碍物的搜索区域仅放在该安全通道内，在保证安全前提下大幅减小障碍物提取计算量。

上述飞行安全通道定义为，以无人机当前位置为中心，向四周拉伸一定安全距离R的圆柱体飞行通道，飞行安全通道构建示意图如图8所示。

步骤四：提取障碍物并输出相对方位与物理尺寸信息。

障碍物提取策略为，将飞行安全通道内每个像素对应的深度值出现的次数从大至小排序，选取出现次数前N大的对应深度值A_Max1,A_Max2,A_MaxN，将这些深度值分别前后膨胀一定阈值A_TH得到障碍物初提取深度值集合A：

A＝{A_Max1-A_TH,…,A_Max1+A_TH,A_Max2-A_TH,…,A_Max2+A_TH,A_Max3-A_TH,…,A_Max3+A_TH} (12)

接着找到集合A各深度值对应的像素集合，计算各像素连通域轮廓面积，连通域轮廓面积大于一定阈值的被筛选出，这些轮廓内像素集合作为最终被提取的障碍物像素，最后使用矩形框将这部分像素连通域框出，矩形框出的障碍物几何中心像素对应的三维相对坐标作为方位信息输出，矩形框长宽作为物理尺寸信息输出。

在本发明实例中，通过搭建的视景仿真系统进行验证，视景仿真与障碍物提取效果如图9所示，在无人机飞至距树木和房屋相对深度分别为70米、50米、30米和20米处采样实时感知相对深度值共八组，同时在巡检航路中分别距塔架1到6一定深度时也作采样，障碍物和电力塔架深度信息仿真结果分别如表1和表2所示。从表1结果中可看出实际值与感知值总体相符，特别地，在相对深度30米以内，误差可控制在1-2米。由于塔架均在无人机左侧相距一定距离，相对深度较小时，双目摄像机无法捕获到电力塔架，所以在距塔架1到6相对深度为40到90米内随机采样，从表2结果也可看出实际值与感知值总体相符。

表1障碍物深度信息仿真结果

表2电力塔架深度信息仿真结果

Claims (5)

1.一种面向电力巡检任务的无人机双目视觉障碍物感知方法，包括以下几个步骤：

步骤一：从双目航空图像中提取电力线像素并检测直线；

设计双模板Ratio检测算子从双目航空图像中提取电力线像素，通过霍夫变换将提取的电力线像素拼接为直线；

Ratio检测算子的双模板为：均为5X5像素，区域R₁有5个像素，区域R₂和R₃各有10个像素，模板的方向分别为90度垂直方向和45度方向，获取模板响应函数F₉₀和F₄₅，取两者中的较大值为线特征响应函数F_m，如果F_m＞F_TH，F_TH为阈值，则这个模板的中心像素x₀即为电力线像素；

步骤二：构建两对同名点并计算最短距离；

基于步骤一的电力线拟合直线假设和对极几何约束原理，在右图的直线上任意选择两点p_r(u₂，v₂)和q_r(u′₂，v′₂)，计算两点对应的极线方程，两条极线与左图直线将分别相交于p_l(u₁，ν₁)和q_l(u′₁，v＇₁)两点，即p_l，p_r和q_l，q_r是两对构造的同名点，根据双目立体视觉和解析几何原理计算无人机与电力线的最短距离；

具体为：

在双目右图像中任意选择一点X_r，在左图像中对应的同名点必在一条直线上，该直线称为极线，设极线方程为：

au+bv+c＝0 (6)

系数a，b，c通过双目摄像头基础矩阵F得到：

FX_r＝[a b c]^T (7)

其中，u，v是图像像素坐标轴，X_r是在右图像指定的一点坐标；

在右图直线上任意选择两点p_r(u₂，v₂)和q_r(u′₂，v′₂)，计算两点对应的极线方程，两条极线与左图直线将分别相交于p_l(u₁，ν₁)和q_l(u′₁，v＇₁)两点，即p_l，p_r和q_l，q_r是两对构造的同名点，得到同名点图像像素坐标后，根据双目立体视觉原理，计算上述选择两点的空间相对坐标：

假设C₁和C₂摄像机的焦距相等，内外参数相同，光轴平行且x轴重合y轴平行，即两坐标系在x轴方向上移动距离b即重合，b称为基线距离；P为空间中一点，面PO₁O₂与面I₁和I₂交线分别为E₁和E₂，E₁和E₂称为极线；E₁和E₂为同一直线且与x轴平行，P₁和P₂分别为O₁P与I₁和O₂P与I₂的交点，则P₁和P₂分别落在E₁和E₂上；根据中心投影的比例关系，得：

其中u₀，v₀，α_x，α_y是通过标定得到的摄像机内参数，u₀，v₀为光心坐标，α_x，α_y为摄像机焦距，(u₁，v₁)和(u₂，v₂)分别为p₁和p₂的图像坐标，即空间点的三维相对坐标通过一对同名点的图像坐标以及摄像机内参数得到；

根据式8，计算出构建两点同名点的三维相对坐标：

其中p(x_p，y_p，z_p)和q(x_q，y_q，z_q)即为电力线上两点的空间相对坐标，则拟合为直线的电力线方程表示为：

最后，电力线与无人机左摄像头的最短距离被定义为：

步骤三：全局三维重构并构建飞行安全通道；

针对障碍物，并行对双目航空图像进行全局三维重构，得到整图像素对应的三维相对坐标，从中提取障碍物信息，建立无人机电力巡检飞行安全通道；

步骤四：提取障碍物并输出相对方位与物理尺寸信息；

基于步骤三构建的飞行安全通道，在飞行安全通道内采用障碍物提取策略搜索障碍物，进而用矩形框将障碍物像素连通域框出，框出的障碍物几何中心像素对应的三维相对坐标作为方位信息输出，矩形框长宽作为物理尺寸信息输出。

2.根据权利要求1所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的线特征响应函数F_m的获取方法为：

一块区域R_i包含n_i个像素，中心点像素为x₀，每一个像素的灰度值为V_k，其平均灰度值A_i定义为：

区域R₁与R₂以及区域R₁与R₃的边缘检测响应函数f₁₂和f₁₃分别定义为：

线特征响应函数F取边缘检测响应函数f₁₂和f₁₃的较小者：

F＝min(f₁₂，f₁₃) (3)

分别得到双检测模板响应函数F₉₀和F₄₅，最终的线特征响应函数F_m取两者中的较大值：

F_m＝max(F₉₀，F₄₅) (4)。

3.根据权利要求1所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的霍夫变换H(ρ_q，θ_p)为：

其中A(x_i，y_j)是每一个被提取的电力线像素的灰度值，Q是ρ的采样值的总数，P是θ离散值的总数，图像的尺寸为N*N，ρ_q、θ_p表示参数空间下的坐标。

4.根据权利要求1所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的步骤三中，飞行安全通道为：以无人机当前位置为中心，向四周拉伸安全距离R的圆柱体飞行通道。

5.根据权利要求1所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的步骤四中，障碍物提取策略为，将飞行安全通道内每个像素对应的深度值出现的次数从大至小排序，选取出现次数前N大的对应深度值A_Max1，A_Max2，…A_MaxN，将这些深度值分别前后膨胀阈值A_TH得到障碍物初提取深度值集合A：

A＝{A_Max1-A_TH，…，A_Max1+A_TH，A_Max2-A_TH，…，A_Max2+A_TH，A_Max3-A_TH，…，A_Max3+A_TH} (12)

找到集合A各深度值对应的像素集合，计算各像素连通域轮廓面积，连通域轮廓面积大于设定阈值的被筛选出，轮廓内像素集合作为最终被提取的障碍物像素。

Images