CN106709950A - 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的巡线机器人跨越障碍导线定位方法，具体按照以下步骤实施：步骤1：对左右摄像机均进行标定，获得内外参数并进行优化；步骤2：用标定好的左右摄像机采集现场输电导线图像，对左右摄像机采集到的图像分别进行预处理和特征提取；步骤3：对步骤2中处理后的目标图像对进行立体匹配；步骤4：根据步骤1中的摄像机标定和步骤3中的立体匹配结果计算得到导线上各个特征点的三维坐标，实现定位。本发明基于双目视觉的巡线机器人跨越障碍导线定位方法，采用双目立体视觉方法进行定位，提高了空间点的定位精度，能准确得到导线上特征点的三维位置信息，且可抗噪声。

Description

一种基于双目视觉的巡线机器人跨越障碍导线定位方法

技术领域

本发明属于输电线路图像处理技术领域，具体涉及一种基于双目视觉的巡线机器人跨越障碍导线定位方法。

背景技术

输电线路是电力电网系统的重要组成部分，为了保障安全，要定期对输电线路进行巡检。我国地理复杂，有相当一部分架空输电线路建在森林、高山等地势复杂地带，人工巡检面临着很多问题，机器人巡检逐步得到一定应用。机器人在线路行走的关键技术也是难点技术是如何跨越跳线、间隔棒等障碍，其在越障过程中一只手臂悬挂于架空地线，而另一只手臂脱线跨越障碍后需要完成上线动作，上线过程中首先需要对输电导线空间位置进行定位，没有准确定位则会导致误动作甚至整体机器人掉落，如何实现机器人的导线定位对于机器人的可靠运行、推广应用具有重要的意义。

目前，空间物体三维检测的方法主要有单目视觉和双目立体视觉，单目视觉系统方便快捷，处理速度快，但在测量精度和抗噪性上与双目视觉系统有一定的差距。双目立体视觉技术直接模拟人类视觉处理景物的方式，具有系统结构简单、成本低、抗噪性强、效率高、空间定位准确等优点，非常适合于现场的在线、非接触产品检测和质量控制。

发明内容

本发明的目的是提供一种基于双目视觉的巡线机器人跨越障碍导线定位方法，解决了现有单目视觉系统测量精度不够和抗噪性差的问题。

本发明所采用的技术方案是，一种基于双目视觉的巡线机器人跨越障碍导线定位方法，具体按照以下步骤实施：

步骤1：对左右摄像机均进行标定，获得内外参数并进行优化；

步骤2：用标定好的左右摄像机采集现场输电导线图像，对左右摄像机采集到的图像分别进行预处理和特征提取；

步骤3：对步骤2中处理后的目标图像对进行立体匹配；

步骤4：根据步骤1中的摄像机标定和步骤3中的立体匹配结果计算得到导线上各个特征点的三维坐标，实现定位。

本发明的特点还在于：

步骤2具体为：

步骤2.1：预处理

对采集到的图像进行图像灰度化和直方图均衡化处理，减少图像中的数据量并使图像中的灰度分布均匀，增强后期处理的实时性；

步骤2.2：特征提取

对预处理后的图像选取需要定位的目标区域，然后对目标区域进行阈值分割提取出导线目标，对目标图像进行角点检测，其具体过程为：

步骤2.2.1：将目标区域内的点作为待检测点，计算以待检测点为中心、以R＝1为半径的圆周上各个像素点的灰度值，与待检测点灰度值作比较，判断它们的相似性，若灰度差小于阈值P判断为相似点，否则判断为不相似点；统计像素点中与待检测点相似的像素点个数，用N来表示，若N大于设定的阈值L则剔除该检测点，否则保留作为候选角点；对下一个待检测点用同样的方法进行检测，直到检测完所有目标区域内的点，得到候选角点集；

步骤2.2.2：采用Forstner角点检测算法对图像对进行角点提取

计算步骤2.2.1中得到的候选角点的Robert's梯度：

其中，g(i,j)表示候选角点的灰度值；

计算3*3窗口中灰度的协方差矩阵X：

计算椭圆的圆度即兴趣值q和像元的权值w：

其中，|X^-1|表示矩阵X^-1的行列式，trX^-1表示矩阵X^-1的迹；

对阈值T_q以及T_w进行设定，一般T_q的取值区间为0.5至0.75，T_w的值是w中间值的1.5倍，将阈值分别与兴趣值q和w比较，如果兴趣值q和w的值均大于各自的阈值，则该点可认定为角点；

步骤2.2.3：采用SUSAN算法再次对角点进行检测，去除伪角点：SUSAN算子通过用一个圆形模板在图像上移动，选取一个半径R＝3.5pixels的圆形模板，使其扫描步骤2.2.2中保存下来的角点，将模板中心置于角点处，将模板中心像素点与模板内其它任一像素点的灰度值代入相似度函数：

式中g(i,j)表示模板中心像素点的灰度值，g′(i,j)表示模板内其它任一像素点的灰度值；模板内相似点个数的累加就是USAN区域，计算角点的USAN区域面积，剔除USAN面积大于总面积一半的角点，剩下的点作为最终正确的角点并保存。

步骤2.1预处理时：考虑到输电导线的外部环境，还需要对图像进行去噪和边缘增强，首先采用中值滤波对图像去噪，然后再对图像采用canny算子进行锐化处理来增强导线边缘信息；如果图像中边缘还比较模糊，可以采用对比度增强、对比度提亮处理，直到获得清晰的图像边缘。

步骤3具体为：

步骤3.1：将4个方形区域的中心统一为待描述角点，在每个区域内绘制8个方向的梯度累加值，第1个种子点是第1个区域内所有像素包括待描述角点像素的梯度累加值，第2个种子点是第2个区域减去第1个区域后所包含所有像素点的梯度累加值，依次类推可得到4个种子点，每个种子点有8个方向的向量信息，一共可产生32个数据，生成32维的特征向量。

步骤3.2：用欧式距离来度量左图像特征点的特征向量u_i与右图像特征点的特征向量v_j之间的相似性，以相似性为依据对两个特征点进行匹配，两个特征向量u_i和v_j之间的欧式距离d(i,j)表示为：

对于左图像中的某个角点，采用K-D树法来搜索右图像中与其欧式距离最邻近d_min和次邻近d_cmin的两个角点，当比值d_min/d_cmin小于某一阈值时，将最邻近的角点作为该角点的匹配点，得到这一对匹配点的像素坐标分别为(u_l,v_l)和(u_r,v_r)，反之则不作为匹配点。

步骤4具体为：

空间点P在左右两个摄像机成像平面上的图像坐标分别为(u_l,v_l)和(u_r,v_r)，设P点的三维坐标为(x,y,z)，那么根据摄像机标定得到的单应性矩阵可得：

H_l和H_r为左右两个摄像机的单应性投影矩阵，消去Z_l、Z_r得：

解这个方程组可以得到x，y，z的解，即P点的三维坐标；通过计算导线上各个特征点的三维坐标，从而实现对导线的准确定位。

本发明的有益效果是：本发明采用的Forstner角点检测算法，提高了原有算法的实时性和准确性，并用SIFT特征描述子进行描述，能够快速、准确地提取到角点并将定位精度精确到亚像素，有利于后期的特征点立体匹配精度和三维重建的准确性。本发明采用双目立体视觉方法进行定位，提高了空间点的定位精度，能准确得到导线上特征点的三维位置信息，且可抗噪声。

附图说明

图1是本发明巡线机器人跨越障碍导线定位方法的流程图；

图2是本发明巡线机器人跨越障碍导线定位方法中角点检测流程图；

图3是本发明巡线机器人跨越障碍导线定位方法中特征点匹配流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于双目视觉的巡线机器人跨越障碍导线定位方法，如图1所示，具体按照以下步骤实施：

步骤1：对左右摄像机均进行标定，获得内外参数并进行优化。

(1)假设标定板平面位于世界坐标系中Z＝0的平面上，标定板上特征点的世界坐标为A(x_w,y_w,0)，其对应的图像坐标为a(u_w,v_w)，可得下式：

s为深度系数，M为相机内参数矩阵，单应性矩阵H′＝M[r₁ r₂T]，求解关于H′的方程可以得到图像和标定板平面之间的矩阵，然而其数值与实际的矩阵之间存在一个比例常数μ，令H＝μM[r₁ r₂ T]；

(2)求相机的内参数，两个约束条件为：

令B＝M^-TM^-1，定义一个六维向量：

b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T (3)

则有：

h_i ^TBh_j＝c_ij ^Tb (4)

其中，i、j分别为单应性矩阵H的行数和列数，c_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]^T。

(2)式可改写为：

然后根据b和B的定义以及(1)中得到的H可以导出相机的内参数M和比例常数μ：

(3)摄像机的外参数由旋转向量r₁,r₂,r₃和平移向量T构成，根据获得的H和M，其外参数为：

(4)求相机镜头的畸变系数并优化相机的内外参数，假设(u,v)为无畸变的理想图像坐标，为实际图像坐标，(u₀,v₀)为主点的图像坐标，关于k₁和k₂的方程为：

可以求解得到畸变系数k₁和k₂。假设拍摄了n幅标定板图像，每幅图像中有m个特征点，二维重投影误差如下所示：

其中为实际图像坐标，M为内参数矩阵，R_i为旋转向量，T_i为平移向量，a_ij为理想图像坐标，K为k₁和k₂组成的系数矩阵，通过求解τ的最小值来优化相机的内外参数。

步骤2：用标定好的左右摄像机采集现场输电导线图像，对左右摄像机采集到的图像分别进行预处理和特征提取。

步骤2.1：预处理

对采集到的图像进行图像灰度化和直方图均衡化处理，减少图像中的数据量并使图像中的灰度分布均匀，增强后期处理的实时性。考虑到输电导线的外部环境，我们还需要对图像进行去噪和边缘增强，首先采用中值滤波对图像去噪，同时还能较好的保留细节信息，然后再对图像采用canny算子进行锐化处理来增强导线边缘信息。如果图像中边缘还比较模糊，可以采用对比度增强、对比度提亮等处理，直到获得清晰的图像边缘。

步骤2.2：特征提取

对预处理后的图像选取需要定位的目标区域，然后对目标区域进行阈值分割提取出导线目标，对目标图像进行角点检测，流程图如图2所示，其具体过程为：

步骤2.2.1：将目标区域内的点作为待检测点，计算以待检测点为中心、以R＝1为半径的圆周上各个像素点的灰度值，与待检测点灰度值作比较，判断它们的相似性，若灰度差小于阈值P判断为相似点，否则判断为不相似点。统计像素点中与待检测点相似的像素点个数，用N来表示，若N大于设定的阈值L则剔除该检测点，否则保留作为候选角点。对下一个待检测点用同样的方法进行检测，直到检测完所有目标区域内的点，得到候选角点集；

步骤2.2.2：采用Forstner角点检测算法对图像对进行角点提取

计算步骤2.2.1中得到的候选角点的Robert's梯度：

其中，g(i,j)表示候选角点的灰度值；

计算3*3窗口中灰度的协方差矩阵X：

计算兴趣值q(某椭圆的圆度)和w(像元的权值)：

其中，|X^-1|表示矩阵X^-1的行列式，trX^-1表示矩阵X^-1的迹。

对阈值T_q以及T_w进行设定，一般T_q的取值区间为0.5至0.75，T_w的值是w中间值的1.5倍。将阈值分别与兴趣值q和w比较，如果兴趣值q和w的值均大于各自的阈值，则该点可认定为角点。

步骤2.2.3：采用SUSAN算法再次对角点进行检测，去除伪角点。SUSAN算子通过用一个圆形模板在图像上移动，前面已经初步确定了角点，这里只是剔除，所以模板覆盖的范围不需要太大，也为了加快检测速度，一般这个圆形模板的半径是3～4pixels，所以选取中间值定义一个半径R＝3.5pixels的圆形模板，使其扫描步骤2.2.2中保存下来的角点，将模板中心置于角点处，将模板中心像素点与模板内其它任一像素点的灰度值代入相似度函数：

式中g(i,j)表示模板中心像素点的灰度值，g′(i,j)表示模板内其它任一像素点的灰度值。模板内相似点个数的累加就是USAN(Univalue Segment AssimilatingNucleus)区域，计算角点的USAN区域面积，剔除USAN面积大于总面积一半的角点，剩下的点作为最终正确的角点并保存。

步骤3：对步骤2中处理后的目标图像对进行立体匹配，流程图如图3所示，具体过程如下：

步骤3.1：原有的SIFT(Scale-invariant feature transform，尺度不变特征变换)特征描述子是采用角点周围4个方形区域形成特征向量，方形区域的中心不同，相互之间也就没有相交的区域，图像旋转会导致区域内包含的像素元不同，从而使特征向量不同，不具备旋转不变性，有一定的局限性。本发明基于此将原有SIFT特征描述方法的4个方形区域的中心统一为待描述角点，在每个区域内绘制8个方向的梯度累加值，第1个种子点是第1个区域内所有像素包括待描述角点像素的梯度累加值，第2个种子点是第2个区域减去第1个区域后所包含所有像素点的梯度累加值，依次类推可得到4个种子点，每个种子点有8个方向的向量信息，一共可产生32个数据，生成32维的特征向量，原算法也是32维的描述向量，所以改进算法并没有增加复杂度和计算难度；

步骤3.2：用欧式距离来度量左图像特征点的特征向量u_i与右图像特征点的特征向量v_j之间的相似性，以相似性为依据对两个特征点进行匹配，两个特征向量u_i和v_j之间的欧式距离d(i,j)表示为：

对于左图像中的某个角点，采用K-D树法来搜索右图像中与其欧式距离最邻近d_min和次邻近d_cmin的两个角点，当比值d_min/d_cmin小于某一阈值时，将最邻近的角点作为该角点的匹配点，得到这一对匹配点的像素坐标分别为(u_l,v_l)和(u_r,v_r)，反之则不作为匹配点。

步骤4：根据步骤1中的摄像机标定和步骤3中的立体匹配结果计算得到导线上各个特征点的三维坐标，实现定位。

空间点P在左右两个摄像机成像平面上的图像坐标分别为(u_l,v_l)和(u_r,v_r)，设P点的三维坐标为(x,y,z)，那么根据摄像机标定得到的单应性矩阵可得：

H_l和H_r为左右两个摄像机的单应性投影矩阵，消去Z_l、Z_r得：

解这个方程组可以得到x，y，z的解，即P点的三维坐标。通过计算导线上各个特征点的三维坐标，从而实现对导线的准确定位。

实验验证

表1算法比较

比较项目	传统Forstner算子	本申请Forstner算子
			角点个数	35	28
运行时间	4.5672	3.9536

由表1可知，本申请的算法可以有效的去除一定的伪角点，获得较少角点数量，并且运行时间也较快，满足实时性要求。

表2三维重建结果数据

由表2可知，在匹配后的角点中选择了几个有代表性的角点，记录了左右图像中的像素坐标以及三维重建后的空间立体坐标，该算法可以实现导线的实时定位。

Claims (5)

1.一种基于双目视觉的巡线机器人跨越障碍导线定位方法，其特征在于，具体按照以下步骤实施：

步骤1：对左右摄像机均进行标定，获得内外参数并进行优化；

步骤2：用标定好的左右摄像机采集现场输电导线图像，对左右摄像机采集到的图像分别进行预处理和特征提取；

步骤3：对步骤2中处理后的目标图像对进行立体匹配；

步骤4：根据步骤1中的摄像机标定和步骤3中的立体匹配结果计算得到导线上各个特征点的三维坐标，实现定位。

2.根据权利要求1所述的一种基于双目视觉的巡线机器人跨越障碍导线定位方法，其特征在于，所述步骤2具体为：

步骤2.1：预处理

对采集到的图像进行图像灰度化和直方图均衡化处理，减少图像中的数据量并使图像中的灰度分布均匀，增强后期处理的实时性；

步骤2.2：特征提取

对预处理后的图像选取需要定位的目标区域，然后对目标区域进行阈值分割提取出导线目标，对目标图像进行角点检测，其具体过程为：

步骤2.2.1：将目标区域内的点作为待检测点，计算以待检测点为中心、以R＝1为半径的圆周上各个像素点的灰度值，与待检测点灰度值作比较，判断它们的相似性，若灰度差小于阈值P判断为相似点，否则判断为不相似点；统计像素点中与待检测点相似的像素点个数，用N来表示，若N大于设定的阈值L则剔除该检测点，否则保留作为候选角点；对下一个待检测点用同样的方法进行检测，直到检测完所有目标区域内的点，得到候选角点集；

步骤2.2.2：采用Forstner角点检测算法对图像对进行角点提取

计算步骤2.2.1中得到的候选角点的Robert's梯度：

$\left\{\begin{array}{c}{g}_u^{\′}=g(i+1,j+1)-g\left(i,j\right)\\ g_v^{\′}=g(i,j+1)-g\left(i+1,j\right)\end{array}\right.---\left(10\right)$

其中，g(i,j)表示候选角点的灰度值；

计算3*3窗口中灰度的协方差矩阵X：

$X=\left[\begin{array}{cc}{{\mathrm{\Σg}}_u}^{\′2}& {{\mathrm{\Σg}}_u}^{\′}{g_v}^{\′}\\ {{\mathrm{\Σg}}_v}^{\′}{g_u}^{\′}& {{\mathrm{\Σg}}_v}^{\′2}\end{array}\right]$

计算椭圆的圆度即兴趣值q和像元的权值w：

$q=\frac{4\left|X^{-1}\right|}{{\left({\mathrm{trX}}^{-1}\right)}^2}---\left(11\right)$

$w=\frac{\left|X^{-1}\right|}{{\mathrm{trX}}^{-1}}---\left(12\right)$

其中，|X^-1|表示矩阵X^-1的行列式，trX^-1表示矩阵X^-1的迹；

对阈值T_q以及T_w进行设定，一般T_q的取值区间为0.5至0.75，T_w的值是w中间值的1.5倍，将阈值分别与兴趣值q和w比较，如果兴趣值q和w的值均大于各自的阈值，则该点可认定为角点；

步骤2.2.3：采用SUSAN算法再次对角点进行检测，去除伪角点：SUSAN算子通过用一个圆形模板在图像上移动，选取一个半径R＝3.5pixels的圆形模板，使其扫描步骤2.2.2中保存下来的角点，将模板中心置于角点处，将模板中心像素点与模板内其它任一像素点的灰度值代入相似度函数：

$C(g^{\′},g)=\exp \left\{\frac{{\[g^{\′}(i,j)-g(i,j)\]}^6}{-t^6}\right\}---\left(13\right)$

式中g(i,j)表示模板中心像素点的灰度值，g′(i,j)表示模板内其它任一像素点的灰度值；模板内相似点个数的累加就是USAN区域，计算角点的USAN区域面积，剔除USAN面积大于总面积一半的角点，剩下的点作为最终正确的角点并保存。

3.根据权利要求2所述的一种基于双目视觉的巡线机器人跨越障碍导线定位方法，其特征在于，所述步骤2.1预处理时：考虑到输电导线的外部环境，还需要对图像进行去噪和边缘增强，首先采用中值滤波对图像去噪，然后再对图像采用canny算子进行锐化处理来增强导线边缘信息；如果图像中边缘还比较模糊，可以采用对比度增强、对比度提亮处理，直到获得清晰的图像边缘。

4.根据权利要求1所述的一种基于双目视觉的巡线机器人跨越障碍导线定位方法，其特征在于，所述步骤3具体为：

步骤3.1：将4个方形区域的中心统一为待描述角点，在每个区域内绘制8个方向的梯度累加值，第1个种子点是第1个区域内所有像素包括待描述角点像素的梯度累加值，第2个种子点是第2个区域减去第1个区域后所包含所有像素点的梯度累加值，依次类推可得到4个种子点，每个种子点有8个方向的向量信息，一共可产生32个数据，生成32维的特征向量；

步骤3.2：用欧式距离来度量左图像特征点的特征向量u_i与右图像特征点的特征向量v_j之间的相似性，以相似性为依据对两个特征点进行匹配，两个特征向量u_i和v_j之间的欧式距离d(i,j)表示为：

$d\left(i,j\right)=\sqrt{\underset{n=1}{\overset{32}{\mathrm{\Σ}}}{u}_i{\left(n\right)}^2+\underset{n=1}{\overset{32}{\mathrm{\Σ}}}{v}_j{\left(n\right)}^2-2\underset{n=1}{\overset{32}{\mathrm{\Σ}}}{u}_i\left(n\right)v_j\left(n\right)}---\left(14\right)$

对于左图像中的某个角点，采用K-D树法来搜索右图像中与其欧式距离最邻近d_min和次邻近d_{c min}的两个角点，当比值d_min/d_{c min}小于某一阈值时，将最邻近的角点作为该角点的匹配点，得到这一对匹配点的像素坐标分别为(u_l,v_l)和(u_r,v_r)，反之则不作为匹配点。

5.根据权利要求4所述的一种基于双目视觉的巡线机器人跨越障碍导线定位方法，其特征在于，所述步骤4具体为：

空间点P在左右两个摄像机成像平面上的图像坐标分别为(u_l,v_l)和(u_r,v_r)，设P点的三维坐标为(x,y,z)，那么根据摄像机标定得到的单应性矩阵可得：

$\left\{\begin{array}{c}{Z}_l{\left[\begin{array}{ccc}{u}_l& v_l& 1\end{array}\right]}^T=H_l{\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]}^T\\ Z_r{\left[\begin{array}{ccc}{u}_r& v_r& 1\end{array}\right]}^T=H_r{\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]}^T\end{array}\right.---\left(15\right)$

H_l和H_r为左右两个摄像机的单应性投影矩阵，消去Z_l、Z_r得：

$\left\{\begin{array}{c}\frac{h_{l11}x+h_{l12}y+h_{l13}z+h_{l14}}{u_l}=\frac{h_{l21}x+h_{l22}y+h_{l23}z+h_{l24}}{v_l}\\ \frac{h_{r11}x+h_{r12}y+h_{r13}z+h_{r14}}{u_r}=\frac{h_{r21}x+h_{r22}y+h_{r23}z+h_{r24}}{v_r}\end{array}\right.---\left(16\right)$

解这个方程组可以得到x，y，z的解，即P点的三维坐标；通过计算导线上各个特征点的三维坐标，从而实现对导线的准确定位。