CN106292653A - 基于视觉传感器系统的管道车辆纠偏方法 - Google Patents

Abstract

本发明涉及一种基于视觉传感器系统的管道车辆纠偏方法。其步骤为：对相机和结构光进行标定，得到相机内参数以及光平面参数；对采集的图像进行高斯平滑，去除噪声干扰；利用阈值分割对高斯平滑后的图像进行前景图像提取；通过形态学分析和轮廓大小特征去除光条纹附近的杂点；对得到的光条纹进行去畸变，分别计算两个光条纹所有点在相机坐标系下的三维点坐标；通过得到的三维点坐标计算车体的偏差信息；根据得到的偏差信息对车体进行在线实时纠偏，不断消除位姿偏差，将车体纠正道管道的中心线上。本发明克服了实际管道中缺乏道路信息以及无标志点机器车体无法进行直线行走的困难，检测速度快，可以实现实时导航控制，具有较高的检测精度。

Description

基于视觉传感器系统的管道车辆纠偏方法

技术领域

本发明涉及车式机器人控制领域，具体的说是一种面向输电线路巡检应用的无人直升机地面控制系统。

背景技术

管道作为一种重要的传输媒介在很多方面发挥着越来越重要的作用。由于管道较窄，在恶劣的环境下有效地对管道进行除尘、清洗在预防安全事故、减少环境污染以及避免经济损失等方面具有重要的价值。然而维持车体的直线行驶是车体进入管道的基本要求，也是有效除尘以及清洗的重要保证。

针对方式管道，车辆在进入管道以及行走过程中不可避免地存在跑偏问题，为了避免车辆与管道内壁发生不必要的碰撞，导致管道以及车体零部件受损，将车体与管道中心线保持高度的重合性尤为重要。然而当前方法的处理方式主要是解决有明显管道道路信息以及标记信息的情况，对于缺少道路信息以及反光较严重的特殊管道，现有方法无法解决。

发明内容

针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种基于视觉传感器系统的管道车辆纠偏方法，实现车式机器人在管道中直线行走

本发明为实现上述目的所采用的技术方案是：一种基于视觉传感器系统的管道车辆纠偏方法，包括以下步骤：

将两个线结构光传感器平行放置于相机两侧，垂直于车体中轴，安装在车体一侧；

用圆形标定板标定相机的内参数和线结构光传感器的光平面参数；

利用相机对图像进行采集以及数字化存储，对采集到的图像进行处理，得到去除噪声和干扰的感兴趣区域图像；

将感兴趣区域图像的二值轮廓中所有非零点图像像素坐标值按横坐标区分为两组非零点，去畸变，并将其转换到相机坐标系下；

分别对区分后的两组非零点的三维点坐标值求取平均值，得到相应的两个点的坐标值；

车体在管道中运行过程中，实时计算车体的偏移角度以及偏移量，并将偏移角度以及偏移量转换到舵机中心点坐标系上；同时，将车体的姿态进行在线反馈，进行姿态补偿，不断消除位姿偏差以使车体与管道中心线保持重合。

所述对采集到的图像进行处理包括以下步骤：

对采集的图像进行高斯平滑处理；

将平滑后的图像进行全局阈值分割，即对整幅图像使用同一阈值做分割处理，提取出感兴趣的前景光条纹区域；

对分割后的图像做两次腐蚀操作，去除前景光条纹区域边缘的杂点，进而提取图像中的轮廓，去除轮廓区域面积较大和较小的区域。

所述将感兴趣区域图像的二值轮廓中所有非零点图像像素坐标值进行区分，去畸变，并将其转换到相机坐标系下，包括以下步骤：

令P_i(x,y)是二值化图像后的非零点，其中i＝1,2,3…W，W表示点数，x,y表示像素坐标值；

遍历所有的非零点，如果x＞width/2，其中，width表示图像宽度，则将该非零点作为相机右侧结构光传感器发射到管道壁上的点；如果x＜width/2，将该非零点作为相机左侧结构光传感器发射到管道壁上的点；

利用相机内参数对图像进行去畸变，并转换到图像的物理坐标系下，然后通过标定好的两组光平面参数将结构光传感器发射到管道壁上的点转换到相机坐标系下；

将P_r经转换后的点记为P_ri(x,y,z)，i＝1,2,3…m，P_l经转换后的点记为P_li(x,y,z)，i＝1,2,3…n，按照下式求取点p_rp和p_lp：

$p_{\mathrm{rpx}}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{P}_{\mathrm{rix}}}{m},p_{\mathrm{rpy}}=0,p_{\mathrm{rpz}}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{P}_{\mathrm{riz}}}{m}---\left(1\right)$

$p_{\mathrm{lpx}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_{\mathrm{lix}}}{n},p_{\mathrm{rpy}}=0,p_{\mathrm{rpz}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_{\mathrm{liz}}}{n}---\left(2\right)$

其中，p_rpx,p_rpy,p_rpz是点p_rp的坐标值，P_rix,P_riz分别是P_ri的x,z坐标值，p_lpx,p_lpy,p_lpz是点p_lp的坐标值，P_lix,P_liz分别是P_li的x,z坐标值。

所述车体的偏移角度以及偏移量通过下式计算：

$\left\{\begin{array}{cc}\mathrm{\θ}=\frac{({P1}_z-{P2}_z)}{({P1}_x-{P2}_x)}& {P1}_x\≠{P2}_x\\ \mathrm{\θ}=0& {P1}_x={P2}_x\end{array}\right.---\left(3\right)$

$\left\{\begin{array}{c}d=({P2}_z+|{P2}_x|*\tan {\mathrm{\&theta;}}_1)*\cos {\mathrm{\&theta;}}_1-L{P1}_z>{P2}_z\\ d=({P1}_z+|{P1}_x|*\tan {\mathrm{\&theta;}}_1)*\cos {\mathrm{\&theta;}}_1-L{P1}_z<{P2}_z\end{array}\right.---\left(4\right)$

其中，θ是相机坐标系下车体偏转角，P1_x,P1_z分别是相机右侧线结构光平均x和z坐标值，P2_x,P2_z分别是相机左侧线结构光平均x和z坐标值，d是相机光心位置处距基准位置的偏移量，L是车体在管道中心线基准位置处相机光心离管道壁的距离。

所述将偏移角度以及偏移量转换到舵机中心点坐标系上，具体为：

θ₂＝θ₁ (5)

d₂＝d+m*sinθ₂+n*(cosθ₂-1) (6)

其中，d₂是以舵机中心点为参考点的偏移量，m是舵机的中心点离相机中心点的纵向距离，θ₂是以舵机中心点为参考点的车体偏移角度，n是舵机的中心点离相机中心点的横向距离。

所述将车体的姿态进行在线反馈，进行姿态补偿，包括以下步骤：

对车体的姿态进行检测，获得当前时刻i的偏差信息d_i,θ_i；

通过驱动电机的反馈信息及内存的存储信息获得此时的速度信息与舵角信息μ_i,φ_i；

将上述信息作为控制的输入量，利用纠偏控制算法得到为消除上述偏差信息舵机需要转过的角度信息φ_i+1，利用公式(7)计算舵角信息对应的脉冲宽度，控制舵机以实现一次纠偏流程；

pw_i＝(((90-φ_i)/180)*2+0.5)*1000+50 (7)

其中φ_i是舵角大小，pw_i是舵角大小对应的脉冲宽度；

通过实时闭环控制，在有限时间内使得θ→0,d→0，不断消除位姿偏差以使车体与管道中心线保持重合。

本发明具有以下优点及有益效果：

(1)本发明所述的车辆纠偏方法采用一个相机和两个线结构光进行特殊组合形成视觉传感器系统，成本低。

(2)本发明所述的车辆纠偏方法利用视觉传感器系统进行导航，对管道有无道路信息没有要求，仅需要将车体放置于方形管道中，车体即可沿直线行走，避免车体和管道壁进行碰撞，避免损坏车体以及管道壁。

(3)本发明所述的车辆纠偏方法采用了有效的图像处理技术，可以将车体的姿态实时反馈给控制系统，便于车体进行及时纠偏，因此车体在行驶过程中不会有较大的偏移，操作速度较快，节省了操作时间。

附图说明

图1为本发明流程图；

图2为车体导航示意图；

图3为视觉控制对于车体偏移量以及偏移角度的影响示意图；

图4为车体前进中的视觉导航控制曲线图；

图5为车体后退中的视觉导航控制曲线图；

图6为车体前进和后退中的视觉导航控制曲线图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

采用结合一个相机和两个线结构光的视觉测量技术，标定相机内参数以及线结构光光平面参数，然后利用相机实时采集管道内壁图像，对采集的图像进行阈值分割、形态学分析等一系列图像处理技术，根据车辆行驶过程中跑偏定义，对车体的姿态(偏移量和偏移角度)进行测量，进而对车体进行动力学分析，利用有效的控制算法将车辆实时纠正到准确的基准位置，以避免车体与管道内壁发生不必要的接触。该系统检测速度快、精度高，能满足车辆在管道中进行直线行走的要求。

参照附图1和2，本发明所述基于视觉传感器系统的管道车辆纠偏方法的具体步骤如下：

步骤1：设计视觉传感器系统，将两个线结构光平行放置于相机两侧，垂直于车体中轴，安装在车体一侧；

步骤2：用100mm*80mm规格的圆形标定板标定相机的内参数和结构光的光平面参数；

步骤3：利用相机对图像进行采集以及数字化存储，对采集到的图像进行阈值分割以及形态学分析等图像处理；

对采集的图像进行高斯平滑处理，减少图像噪声。其中，采用大小为3*3的高斯滤波器模板，高斯内核在X方向的标准偏差为1.2，高斯内核在Y方向的标准偏差为0.5。

将平滑后的图像进行最大类间方差OSTU算法处理，使得前景和背景两类的类间方差最大，提取出感兴趣的前景光条纹区域。

对分割后的图像做两次腐蚀操作，去除光条纹区域边缘的杂点。为了避免现实中存在水迹、光照、管道表面反光性较强等干扰，进而提取图像中的轮廓，去除轮廓区域面积较大和较小的区域，本发明中给定的阈值为Tmax＝2400，Tmin＝50；

步骤4：将得到的二值轮廓中所有非零点图像像素坐标值进行区分，去畸变，同时将其转换到相机坐标系下；

令P_i(x,y)是检测到的点，其中i＝1,2,3…W，W表示点数，x,y表示像素坐标值；

遍历所有的点，如果x＞width/2，P_r＝P_i，其中，width表示图像宽度，P_r表示相机右侧结构光发射到管道壁上的点；如果x＜width/2，P_l＝P_i，其中，P_l表示相机左侧结构光发射到管道壁上的点；

利用相机对上述得到的点去畸变，转换到图像的物理坐标系下，然后通过标定好的两组光平面参数将其分别转换到相机坐标系下；

将P_r经转换后的点记为P_ri(x,y,z)，i＝1,2,3…m，P_l经转换后的点记为P_li(x,y,z)，i＝1,2,3…n，按照下式求取点p_rp和p_lp：

$p_{\mathrm{rpx}}=\frac{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{P}_{\mathrm{rix}}}{m},p_{\mathrm{rpy}}=0,p_{\mathrm{rpz}}=\frac{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{P}_{\mathrm{riz}}}{m}---\left(1\right)$

$p_{\mathrm{lpx}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{P}_{\mathrm{lix}}}{n},p_{\mathrm{rpy}}=0,p_{\mathrm{rpz}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{P}_{\mathrm{liz}}}{n}---\left(2\right)$

其中，p_rpx,p_rpy,p_rpz是点p_rp的三个坐标分量，P_rix,P_riz分别是P_ri的x,z方向的坐标分量，p_lpx,p_lpy,p_lpz是点p_lp的三个坐标分量，P_lix,P_liz分别是P_li的x,z方向的坐标分量。

步骤5：计算相机坐标系下车体偏移角度和偏移量：

$\left\{\begin{array}{cc}\mathrm{\&theta;}=\frac{({P1}_z-{P2}_z)}{({P1}_x-{P2}_x)}& {P1}_x\&NotEqual;{P2}_x\\ \mathrm{\&theta;}=0& {P1}_x={P2}_x\end{array}\right.---\left(3\right)$

$\left\{\begin{array}{c}d=({P2}_z+|{P2}_x|*\tan {\mathrm{\&theta;}}_1)*\cos {\mathrm{\&theta;}}_1-L{P1}_z>{P2}_z\\ d=({P1}_z+|{P1}_x|*\tan {\mathrm{\&theta;}}_1)*\cos {\mathrm{\&theta;}}_1-L{P1}_z<{P2}_z\end{array}\right.---\left(4\right)$

其中，θ是相机坐标系下车体偏转角，P1_x,P1_z分别是相机右侧线结构光平均x和z坐标值，P2_x,P2_z分别是相机左侧线结构光平均x和z坐标值，d是相机光心位置处距基准位置的偏移量，L是车体在管道中心线基准位置处相机光心离管道壁的距离。

为了计算车体处于管道中心线基准位置处相机光心离管道壁的距离，已知管道的宽度W，将车体放置在管道的中心位置处，利用相机采集图像，用图像处理技术检测光条上点相对于相机的三维点坐标，可以得到光心点离管道壁的距离(L＝103)。相机光心点与车体的中心位置横向距离N＝W/2-L。本发明以车体前端的舵机中心点为转动控制点，因此需要将上述计算得到的偏移角度和偏移量转换到舵机的中心点位置处，转换关系如下：

θ₂＝θ₁ (5)

d₂＝d+m*sinθ₂+n*(cosθ₂-1) (6)

其中，θ₂是以舵机中心点为参考点的车体偏移角度，d₂是以舵机中心点为参考点的偏移量。

步骤6：如图2所示，将计算得到的车体姿态在线反馈，进行姿态补偿，通过控制算法不断消除位姿偏差以达到车体与管道中心线保持高度重合性的目的。

对车体的姿态进行检测，通过视觉传感器系统获得当前时刻(记为i)的偏差信息d_i,θ_i，

通过驱动电机的反馈信息及内存的存储信息获得此时的速度信息与舵角信息μ_i,φ_i；

将上述信息作为控制的输入量，利用纠偏控制算法(可参考Pere等人发表的论文“Automatic Planning of Manipulator Movements”)进行分析，得到为消除上述偏差信息舵机需要转过的角度信息φ_i+1，利用公式(7)计算舵角信息对应的脉冲宽度，控制舵机以实现一次控制流程。

pw_i＝(((90-φ_i)/180)*2+0.5)*1000+50 (7)

其中φ_i是舵角大小，pw_i是舵角大小对应的脉冲宽度。

通过实时闭环控制，不断消除偏差，在有限时间内使得θ→0,d→0。实现车体精确跟踪管道中心线行走的目的。

下面结合附图对本发明的效果做进一步的描述。

为验证本发明的有效性和正确性，采用AVT公司的Manta系列相机(分辨率：2048×1088)和两个COHERENT公司的中心波长为630nm的一字线激光器构成一个视觉传感器系统。同时，为了保证车体在偏移时，光条仍在视野内,相机配置了Computar公司的6mm精工镜头，相机视野较大。所有的仿真实验均在Windows 7操作系统下采用Visual Studio 2008软件实现。

仿真1

图3显示视觉控制对于车体偏移量以及偏移角度的影响。横坐标表示时间Time(s),左侧纵坐标表示偏移量Displacement(mm)，右侧纵坐标表示偏移角度Offset angle(度)。从图中可以看出，借助视觉系统的控制，车体的偏移量以及偏移角度随时间收敛。偏移量精度小于1mm，偏移角度精度小于1°，因此本发明方法在管道小车纠偏中起到重要的作用。

仿真2

图4和图5分别显示了小车进入和退出2m的实验管道，当小车前进和后退时，视觉控制纠偏示意图。横坐标表示时间Time(s)，左侧纵坐标表示偏移量Displacement(mm)，右侧红色纵坐标表示偏移角度Offset angle(度)，右边蓝色纵坐标表示脉冲宽度(ms)。小车前进速度为0.06m/s，后退速度为0.025m/s。图5显示了小车后退,也就是返回管道口时，利用闭环控制，不断消除偏差，当时间为45s时，小车的偏移量以及偏移角度趋向于0，脉冲宽度也趋向于1550，达到了小车纠偏的目的。

仿真3

图6显示了小车进入和退出2m的实验管道，当小车前进和后退时，视觉控制纠偏示意图。横坐标表示时间Time(s)，左侧纵坐标表示偏移量Displacement(mm)，右侧红色纵坐标表示偏移角度Offset angle(度)，右边蓝色纵坐标表示脉冲宽度(ms)。小车前进速度为0.06m/s，后退速度为0.025m/s。图6和图4、图5比较可以看出，小车最终都会达到平衡稳定状态，与小车进入管道的初始位置无关。可以实现在线纠偏，偏移量精度为0.3mm，偏移角度精度为1°。

Claims (6)

1.一种基于视觉传感器系统的管道车辆纠偏方法，其特征在于，包括以下步骤：

将两个线结构光传感器平行放置于相机两侧，垂直于车体中轴，安装在车体一侧；

用圆形标定板标定相机的内参数和线结构光传感器的光平面参数；

利用相机对图像进行采集以及数字化存储，对采集到的图像进行处理，得到去除噪声和干扰的感兴趣区域图像；

将感兴趣区域图像的二值轮廓中所有非零点图像像素坐标值按横坐标区分为两组非零点，去畸变，并将其转换到相机坐标系下；

分别对区分后的两组非零点的三维点坐标值求取平均值，得到相应的两个点的坐标值；

车体在管道中运行过程中，实时计算车体的偏移角度以及偏移量，并将偏移角度以及偏移量转换到舵机中心点坐标系上；同时，将车体的姿态进行在线反馈，进行姿态补偿，不断消除位姿偏差以使车体与管道中心线保持重合。

2.根据权利要求1所述的基于视觉传感器系统的管道车辆纠偏方法，其特征在于，所述对采集到的图像进行处理包括以下步骤：

对采集的图像进行高斯平滑处理；

将平滑后的图像进行全局阈值分割，即对整幅图像使用同一阈值做分割处理，提取出感兴趣的前景光条纹区域；

对分割后的图像做两次腐蚀操作，去除前景光条纹区域边缘的杂点，进而提取图像中的轮廓，去除轮廓区域面积较大和较小的区域。

3.根据权利要求1所述的基于视觉传感器系统的管道车辆纠偏方法，其特征在于，所述将感兴趣区域图像的二值轮廓中所有非零点图像像素坐标值进行区分，去畸变，并将其转换到相机坐标系下，包括以下步骤：

令P_i(x,y)是二值化图像后的非零点，其中i＝1,2,3…W，W表示点数，x,y表示像素坐标值；

遍历所有的非零点，如果x＞width/2，其中，width表示图像宽度，则将该非零点作为相机右侧结构光传感器发射到管道壁上的点；如果x＜width/2，将该非零点作为相机左侧结构光传感器发射到管道壁上的点；

利用相机内参数对图像进行去畸变，并转换到图像的物理坐标系下，然后通过标定好的两组光平面参数将结构光传感器发射到管道壁上的点转换到相机坐标系下；

将P_r经转换后的点记为P_ri(x,y,z)，i＝1,2,3…m，P_l经转换后的点记为P_li(x,y,z)，i＝1,2,3…n，按照下式求取点p_rp和p_lp：

$p_{\mathrm{rpx}}=\frac{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{P}_{\mathrm{rix}}}{m}.p_{\mathrm{rpy}}=0,p_{\mathrm{rpz}}=\frac{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{P}_{\mathrm{riz}}}{m}---\left(1\right)$

$p_{\mathrm{lpx}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{P}_{\mathrm{lix}}}{n},p_{\mathrm{rpy}}=0,p_{\mathrm{rpz}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{P}_{\mathrm{liz}}}{n}---\left(2\right)$

其中，p_rpx,p_rpy,p_rpz是点p_rp的坐标值，P_rix,P_riz分别是P_ri的x,z坐标值，p_lpx,p_lpy,p_lpz是点p_lp的坐标值，P_lix,P_liz分别是P_li的x,z坐标值。

4.根据权利要求1所述的基于视觉传感器系统的管道车辆纠偏方法，其特征在于，所述车体的偏移角度以及偏移量通过下式计算：

$\left\{\begin{array}{cc}\mathrm{\&theta;}=\frac{({P1}_z-{P2}_z)}{({P1}_x-{P2}_x)}& {P1}_x\&NotEqual;{P2}_x\\ \mathrm{\&theta;}=0& {P1}_x={P2}_x\end{array}\right.---\left(3\right)$

$\left\{\begin{array}{c}d=({P2}_z+|{P2}_x|*\tan {\mathrm{\&theta;}}_1)*\cos {\mathrm{\&theta;}}_1-L{P1}_z>{P2}_z\\ d=({P1}_z+|{P1}_x|*\tan {\mathrm{\&theta;}}_1)*\cos {\mathrm{\&theta;}}_1-L{P1}_z<{P2}_z\end{array}\right.---\left(4\right)$

其中，θ是相机坐标系下车体偏转角，P1_x,P1_z分别是相机右侧线结构光平均x和z坐标值，P2_x,P2_z分别是相机左侧线结构光平均x和z坐标值，d是相机光心位置处距基准位置的偏移量，L是车体在管道中心线基准位置处相机光心离管道壁的距离。

5.根据权利要求1所述的基于视觉传感器系统的管道车辆纠偏方法，其特征在于，所述将偏移角度以及偏移量转换到舵机中心点坐标系上，具体为：

θ₂＝θ₁ (5)

d₂＝d+m*sinθ₂+n*(cosθ₂-1) (6)

其中，d₂是以舵机中心点为参考点的偏移量，m是舵机的中心点离相机中心点的纵向距离，θ₂是以舵机中心点为参考点的车体偏移角度，n是舵机的中心点离相机中心点的横向距离。

6.根据权利要求1所述的基于视觉传感器系统的管道车辆纠偏方法，其特征在于，所述将车体的姿态进行在线反馈，进行姿态补偿，包括以下步骤：

对车体的姿态进行检测，获得当前时刻i的偏差信息d_i,θ_i；

通过驱动电机的反馈信息及内存的存储信息获得此时的速度信息与舵角信息μ_i,φ_i；

将上述信息作为控制的输入量，利用纠偏控制算法得到为消除上述偏差信息舵机需要转过的角度信息φ_i+1，利用公式(7)计算舵角信息对应的脉冲宽度，控制舵机以实现一次纠偏流程；

pw_i＝(((90-φ_i)/180)*2+0.5)*1000+50 (7)

其中φ_i是舵角大小，pw_i是舵角大小对应的脉冲宽度；

通过实时闭环控制，在有限时间内使得θ→0,d→0，不断消除位姿偏差以使车体与管道中心线保持重合。