CN109741372A

CN109741372A - 一种基于双目视觉的里程计运动估计方法

Info

Publication number: CN109741372A
Application number: CN201910023494.8A
Authority: CN
Inventors: 白成超; 郭继峰; 郑红星
Original assignee: Harbin Institute of Technology
Current assignee: Harbin Institute of Technology
Priority date: 2019-01-10
Filing date: 2019-01-10
Publication date: 2019-05-10

Abstract

一种基于双目视觉的里程计运动估计方法，本发明涉及基于双目视觉的里程计运动估计方法。本发明的目的是为了解决现有方法获得的机器人位姿准确率低的问题。过程为：1，双目摄像机分别在t时刻的位置和t+1时刻的位置对当前场景采集图像；2，对采集到的图像进行预处理；3，对预处理后的图像进行特征点的提取4，对提取到的特征点进行匹配；5，得到t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息；6，获取成功匹配的t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息；7，将得到的特征点的三维信息按照运动估计方法进行运动估计。本发明用于智能移动机器人自主导航领域。

Description

一种基于双目视觉的里程计运动估计方法

技术领域

本发明涉及基于双目视觉的里程计运动估计方法。

背景技术

在移动机器人的自主导航中，机器人的位姿信息占有十分重要的位置，准确获得机器人的位姿信息是进行后续任务的基础。传统的获得机器人位姿的方法主要有：基于车轮编码器的传统里程计、GPS和惯性导航装置。其中基于车轮编码器的传统里程计通常要计算车轮转数或旋转角速度来确定车辆行进速度，这种方法的最大问题就是无法克服车轮打滑时引起的计数或测量错误。由于运动场地与车轮的摩擦系数、地面平整程度、倾斜角度等通常都无法得到，因此滑动的发生及程度往往是无法预知的，尤其在军事、深空探测等领域，由于土质疏松程度及车轮滑动以及地形环境的不可预知，使得编码器的读数存在较大误差，无法正确反映车体运动的情况；同时GPS信号也会因为干扰等原因而变得不可靠，工作在月表的月球车则完全没有GPS信息的辅助，需要采取其它的辅助导航定位技术，以确保获得足够精确的车体位置和姿态估计。此外，车辆常用的惯性导航装置存在随时间“漂移”的问题，如果缺少GPS等全局定位信息的校正，就会导致航位推算存在精度较差和误差随漫游距离加大迅速积累增加的缺陷，需要采取其它的辅助导航定位技术，以确保获得足够精确的车体位置和姿态估计。因此，构建一种具有良好鲁棒性和精度的自主导航系统，对实现自主车辆在非结构化环境下或准结构化环境下长距离导航的精确定位和运动估计具有十分重要的意义。

综上，现有基于车轮编码器的传统里程计无法克服车轮打滑时引起的计数或测量错误，使得编码器的读数存在较大误差，无法正确反映车体运动的情况，现有GPS信号也会因为干扰等原因而变得不可靠，以及现有车辆常用的惯性导航装置存在随时间“漂移”，导致现有方法获得的机器人位姿准确率低；

发明内容

本发明的目的是为了解决现有方法获得的机器人位姿准确率低的问题，而提出一种基于双目视觉的里程计运动估计方法。

一种基于双目视觉的里程计运动估计方法具体过程为：

步骤1，双目摄像机分别在t时刻的位置和t+1时刻的位置对当前场景采集图像，得到t时刻双目摄像机对当前场景采集到的左图像和右图像，以及t+1时刻双目摄像机对当前场景采集到的左图像和右图像；

步骤2，对步骤1采集到的图像进行预处理：

对步骤1采集到的图像进行失真处理；

步骤3，采用Harris角点检测的方法对步骤2预处理后的图像进行特征点的提取；

步骤4，对提取到的特征点进行匹配，过程为：

对t时刻双目摄像机对当前场景采集到的左图像的特征点和右图像的特征点进行特征点立体匹配，得到左右帧的图像匹配信息；

对t+1时刻双目摄像机对当前场景采集到的左图像的特征点和右图像的特征点进行特征点立体匹配，得到左右帧的图像匹配信息；

对t时刻双目摄像机对当前场景采集到的左图像的特征点和t+1时刻双目摄像机对当前场景采集到的左图像的特征点进行特征点立体匹配与跟踪，得到前后帧左图像的特征点的跟踪匹配信息；

对t时刻双目摄像机对当前场景采集到的右图像的特征点和t+1时刻双目摄像机对当前场景采集到的右图像的特征点进行特征点立体匹配与跟踪，得到前后帧右图像的特征点的跟踪匹配信息；

步骤5，对步骤4得到的左右帧的图像匹配信息进行特征点的三维重建，得到t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息；

步骤6，根据步骤5得到的t时刻当前场景特征点的三维信息和t+1时刻当前场景特征点的三维信息，以及步骤4得到的前后帧特征点的跟踪匹配信息，获取成功匹配的t时刻当前场景特征点的三维信息P_P和t+1时刻当前场景特征点的三维信息P_C；

步骤7，将步骤6得到的特征点的三维信息按照运动估计方法进行运动估计。

本发明的有益效果为：

视觉里程计的方法是一种依靠视觉信息测量移动机器人运动距离和方向的方法，提高了机器人位姿准确率，由于仅仅依靠视觉信息，因此不存在轮式里程计由于编码器偏差造成的误差以及惯导漂移等因素造成的偏差，适用于各种环境，是传统方法的有效补充；解决现有基于车轮编码器的传统里程计无法克服车轮打滑时引起的计数或测量错误，使得编码器的读数存在较大误差，无法正确反映车体运动的情况的问题。

本发明利用搭载的双目视觉相机，拍摄车辆行进过程中前方的场景信息，通过计算相邻连续帧左右图像的特征并进行特征匹配，对已匹配的特征点的三维坐标信息采用不同的运动估计算法进行运动估计，得到移动机器人精确的运动信息，既保证了运动信息获取的准确性，又减小了计算代价，提高了计算的效率，提高了机器人位姿准确率，在移动机器人的自主导航定位方面，尤其是在缺少GPS等的情况下，提供非常重要的辅助信息。解决现有现有GPS信号会因为干扰等原因而变得不可靠，以及现有车辆常用的惯性导航装置存在随时间“漂移”的问题。

通过两种测试模式，给出了算法可行性及有效性的验证；即

1)在直线运动测试中，估计误差在0.7m以内；

2)在转弯运动测试中，估计误差在1.5m以内。

均可以满足实际应用的需求。

附图说明

图1是通过双目摄像机获得移动机器人位姿信息的流程图；

图2是视觉里程计工作流程图；

图3是本发明运动估计方法的流程图；

图4是改进的RANSAC算法结合线性最小二乘法流程图；

图5为直线运动测试计算出的路径与真实路径的对比图；

图6为直线运动测试中运动估计算法的误差图；

图7为转弯运动测试计算出的路径与真实路径的对比图；

图8为转弯运动测试中运动估计算法的误差图。

具体实施方式

具体实施方式一：本实施方式的一种基于双目视觉的里程计运动估计方法具体过程为：

如图1所示，本发明的具体内容为依靠双目视觉相机为传感器，通过处理获得的图像序列得到场景特征点的三维信息，进而通过运动估计的方法得到移动机器人的相对运动关系，进而推算出实时位姿信息，具体的实现流程如下：

步骤1，如图2所示，双目摄像机分别在t时刻的位置和t+1时刻的位置对当前场景采集图像，得到t时刻双目摄像机对当前场景采集到的左图像和右图像，以及t+1时刻双目摄像机对当前场景采集到的左图像和右图像；

步骤2，对步骤1采集到的图像进行预处理：

对步骤1采集到的图像进行失真处理；

步骤4，对提取到的特征点进行匹配；

过程为：

步骤5，对步骤4得到的左右帧的图像匹配信息进行特征点的三维重建，得到t时刻当前场景特征点在当前摄像机坐标系下的三维信息和t+1时刻当前场景特征点在当前摄像机坐标系下的三维信息；

步骤6，根据步骤5得到的t时刻当前场景特征点在当前摄像机坐标系下的三维信息和t+1时刻当前场景特征点在当前摄像机坐标系下的三维信息，以及步骤4得到的前后帧特征点的跟踪匹配信息，获取成功匹配的t时刻当前场景特征点在当前摄像机坐标系下的三维信息P_P和t+1时刻当前场景特征点在当前摄像机坐标系下的三维信息P_C；

步骤7，将步骤6得到的特征点的三维信息按照图3所示的运动估计方法进行运动估计。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤3中采用Harris角点检测的方法对步骤2预处理后的图像进行特征点的提取，具体过程为：

采用Harris角点检测的方法分别对步骤2预处理后的左右图像提取特征点。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤7中将步骤6得到的特征点的三维信息按照运动估计方法进行运动估计；具体过程为：

步骤7-1.采用改进的RANSAC结合线性最小二乘法对步骤6得到的特征点的三维信息进行处理，得到运动参数即为最终的旋转矩阵R_end和平移矩阵T_end；

步骤7-2.根据最终的旋转矩阵R_end和平移矩阵T_end得到相对旋转角度，判断相对旋转角度是否大于3°；

步骤7-3.若相对旋转角度大于3°，则用线性最小二乘法对得到的最终的旋转矩阵R_end和平移矩阵T_end进行优化，优化后的结果作为相对运动信息；

步骤7-4.若相对旋转角度小于等于3°，则记录当前最终的旋转矩阵R_end和平移矩阵T_end作为相对运动信息；

步骤7-5.用得到的相对运动信息进行航位推算，得到移动机器人在环境参考坐标系(是当前实验的环境，根据不同实验场景不同)中的位置，完成移动机器人的定位估计。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤7-1中采用改进的RANSAC结合线性最小二乘法对步骤6得到的特征点的三维信息进行处理，得到运动参数即为最终的旋转矩阵R_end和平移矩阵T_end；具体过程为：

如图4所示；

步骤7-1-1.从步骤6得到的n组特征点三维信息中(t时刻当前场景特征点在当前摄像机坐标系下的三维信息P_P和t+1时刻当前场景特征点在当前摄像机坐标系下的三维信息P_C为1组)，随机选取m组三维信息P_P′和P_C′；

P_P′为t时刻当前场景特征点的三维信息；

P_C′为t+1时刻当前场景特征点的三维信息；

步骤7-1-2.对随机选取的m组三维信息P_P′和P_C′用奇异值分解法求解使得运动估计方程到最小的旋转矩阵R和平移矩阵T；

式中，E(R,T)为欧式变换矩阵，P_cj′为t+1时刻第j个特征点三维信息，P_Pj′为t时刻第j个特征点三维信息；

N取值为正整数；

步骤7-1-3.以得到的旋转矩阵R和平移矩阵T为模型参数，计算其余n-m组三维信息的欧氏距离，满足误差精度的点则纳入一致性集合CS，作为内点集；不满足误差精度的则认为是外点，剔除；

步骤7-1-4.记录当前一致性集合的内点数，并判断是否满足迭代次数；

步骤7-1-5.若不满足迭代次数要求，则回到7-1-1，重新抽取m组三维信息，重新估计旋转矩阵R和平移矩阵T作为模型参数；

步骤7-1-6.若满足迭代次数要求，选取内点个数最多的点集作为最终一致性点集；

步骤7-1-7.改进的RANSAC：考虑到求出的内点没有充分利用，在一般的RANSAC流程后加入重估计的步骤，即对已经确定好的最终一致性内点集采用奇异值分解法重新估计，得到最终的旋转矩阵R_end和平移矩阵T_end，即为最终的运动参数。

其它步骤及参数与具体实施方式一至三之一相同。

采用以下实施例验证本发明的有益效果：

实施例一：

本实施例具体是按照以下步骤制备的：

步骤1，实验采用国际公认数据集KITTI(The KITTI Vision Benchmark Suite)08数据集中的第2200-2280帧共计80帧数据图像进行验证，采样频率10Hz，此过程为采样机器人为匀速直线运动。

步骤2，实验采用GPS/IMU获得的数据作为结果对比的真实值。

步骤3，利用本发明所述方法进行运动估计，用所得结果与步骤2所述的真实值进行对比给出估计误差结果。

结果如图5、图6所示。

实施例二：

本实施例具体是按照以下步骤制备的：

步骤1，实验采用国际公认数据集KITTI(The KITTI Vision Benchmark Suite)08数据集中的第220-340帧共计120帧数据图像进行验证，采样频率10Hz，此过程为采样机器人经过了一个转弯。

步骤2，实验采用GPS/IMU获得的数据作为结果对比的真实值。

结果如图7、图8所示。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种基于双目视觉的里程计运动估计方法，其特征在于：所述方法具体过程为：

步骤2，对步骤1采集到的图像进行预处理：

对步骤1采集到的图像进行失真处理；

步骤4，对提取到的特征点进行匹配，过程为：

2.根据权利要求1所述一种基于双目视觉的里程计运动估计方法，其特征在于：所述步骤3具体过程为：

3.根据权利要求1或2所述一种基于双目视觉的里程计运动估计方法，其特征在于：所述步骤7中将步骤6得到的特征点的三维信息按照运动估计方法进行运动估计；具体过程为：

步骤7-1.采用RANSAC结合线性最小二乘法对步骤6得到的特征点的三维信息进行处理，得到运动参数即为最终的旋转矩阵R_end和平移矩阵T_end；

步骤7-5.用得到的相对运动信息进行航位推算，得到移动机器人在环境参考坐标系中的位置，完成移动机器人的定位估计。

4.根据权利要求3所述一种基于双目视觉的里程计运动估计方法，其特征在于：所述步骤7-1中采用RANSAC结合线性最小二乘法对步骤6得到的特征点的三维信息进行处理，得到运动参数即为最终的旋转矩阵R_end和平移矩阵T_end；具体过程为：

步骤7-1-1.从步骤6得到的n组特征点三维信息中，随机选取m组三维信息P_P′和P_C′；

P_P′为t时刻当前场景特征点的三维信息；

P_C′为t+1时刻当前场景特征点的三维信息；

步骤7-1-2.对随机选取的m组三维信息P_P′和P_C′用奇异值分解法求解使得运动估计方程达到最小的旋转矩阵R和平移矩阵T；

步骤7-1-7.对最终一致性内点集采用奇异值分解法重新估计，得到最终的旋转矩阵R_end和平移矩阵T_end，即为最终的运动参数。