CN105938619A

CN105938619A - 一种融合RGB和Depth信息的视觉里程计实现方法

Info

Publication number: CN105938619A
Application number: CN201610219378.XA
Authority: CN
Inventors: 缪燕子; 许红盛; 金慧杰; 金鑫; 卜淑萍; 李晓东; 周笛
Original assignee: China University of Mining and Technology CUMT
Current assignee: China University of Mining and Technology CUMT
Priority date: 2016-04-11
Filing date: 2016-04-11
Publication date: 2016-09-14

Abstract

本发明公开了一种融合RGB和Depth信息的视觉里程计的实现方法。现有的视觉里程计方法都是基于单目和双目相机，只能得到环境的RGB信息，无法直接获取环境的三维信息，其适用的环境受到限制，且精度不高。基于RGB图像匹配的定位方法具有技术成熟、处理速度快的特点；基于Depth图像匹配的定位方法具有对环境变化鲁棒的特点。本发明结合两者优点，利用RGB‑D传感器同时获取场景的RGB和Depth信息，提出了一种融合RGB和Depth信息的视觉里程计的实现方法。本发明合理利用2D/3D两种模态的信息，突破视觉系统对光照条件的依赖，大大提高了里程计系统的精确性、鲁棒性和实用性，拓宽移动机器人的应用时间和空间。

Description

一种融合RGB和Depth信息的视觉里程计实现方法

技术领域

本发明属于移动机器人自主导航与定位领域，特别是涉及一种融合RGB和Depth信息的视觉里程计实现方法。

背景技术

里程计在机器人导航定位过程中有着至关重要的作用。视觉里程计是一种依靠视觉信息测算机器人运动距离和方向的方法，解决了驱动轮空转或打滑造成的累积误差以及惯导漂移造成的测量错误，依靠视觉输入信息，信息量大、结构简单、功耗小，无需场景及运动的先验信息，是传统方法的有效补充。

目前，视觉里程计主要依靠单目或双目相机得到的图像序列，通过特征提取、特征匹配与跟踪和运动估计得出机器人的运动参数。

单目视觉里程计是在假定路面平坦的情况下，通过标定得到路面上点的世界坐标与图像坐标之间的对应关系，然后将机器人运动前后得到的两帧图像中相同的点进行匹配，利用运动估计算法求得机器人运动参数。单目视觉里程计最大的局限在于只能处理位于一个平面上的场景点，无法精确得到场景的三维信息，因此当路面存在起伏或凸出的部分时算法会失效。

双目视觉里程计，又叫立体视觉里程计。通过配置多个相机，系统用三角测量的方法获得视野的景深信息，从而直接获得图像特征点对应的世界三维坐标。但是双目视觉里程计的设备结构复杂，安装不便，图像处理工作量大，价格昂贵。

单目和双目视觉里程计都是通过相机的标定，用三角测量法间接得到环境的三维信息，很难满足精度要求；且2D视觉传感器获得的环境颜色、纹理等信息易受到光照、天气、气候、季节等条件变化的影响，具有一定的局限性。

下面所述的专利文献1公开了基于RGB-D相机的视觉里程计方法。在该文献中示出了以下方法：RGB-D相机通过USB接口或(1394接口)与电脑主机相连，依靠RGB-D相机得到的对齐RGB-D图像序列，通过前后帧图像的特征提取、特征匹配与跟踪和运动估计得出车体的运动距离和方向。

专利文献1：中国专利“基于RGB-D相机的视觉里程计方法”，专利号201210151424.9。

通过采用上述的构成，可以获取精确的场景三维信息，运动估计结果精确可靠，但是当获取的RGB图像质量不高，存在色偏、模糊度或亮度异常时，其方法对图像的特征提取不准确，甚至提取不到特征点，从而影响特征匹配与运动估计的结果。

发明内容

本发明鉴于上述问题而提出，目的在于提供一种融合RGB和Depth信息的视觉里程计的实现方法，将2D和3D图像匹配方法进行融合，用于解决现有视觉里程计存在的局限性问题。

本发明采用的技术方案步骤如下：

1)以时间T为周期，利用Kinect传感器采集环境信息，并输出有序列的RGB图像和Depth图像；

2)根据时间轴的先后顺序，依次选取RGB图像和Depth图像将Depth图像转换为三维pcd格式的点云图像

3)对选取的RGB图像进行亮度、色偏和模糊度检测，判断其图像质量β。对亮度参数、色偏参数、模糊度参数进行计算，若亮度参数L＝1，色偏参数C＝1，模糊度参数F＝1，则RGB图像质量好，β＝1；否则RGB图像质量差，β＝0。

4)根据步骤3)中的判断结果，对2D/3D两种模态的配准方法进行选择。若β＝1，则利用RGB图像进行特征点提取和描述，并使用随机采样一致性算法进行粗配准；若β＝0，则首先对点云图像进行多分辨率降采样来提高点云处理速度，然后进行特征点提取和描述，并使用采样一致性初始配准算法进行粗配准；

5)对步骤4)中得到的粗配准结果，使用迭代最近点算法进行进一步的精配准，得到更精确的配准结果，最终得到运动参数估计。

由于上述技术方案的应用，本发明与现有技术相比具有下列优点：

1)依靠视觉输入信息，不存在因编码器读数不准或惯导漂移等因素造成的误差；

2)由于本发明根据不同需求选用不同的前后帧匹配算法和刚体运动估计方法，合理利用2D/3D这两种模态的信息，突破视觉系统对光照条件的依赖，能够大大提高里程计系统的鲁棒性和实用性，拓宽移动机器人的应用时间和空间；

3)本发明可获取精确的场景三维信息，运动估计结果精确可靠。

附图说明

下面基于附图来详细描述本发明的实施方式，附图中：

附图1是本发明的工作流程图。

具体实施方式

下面结合附图及实施例对本发明作进一步详述：

如图1所示，一种融合RGB和Depth信息的视觉里程计的实现方法包括如下步骤：

1)以时间T为周期，使用Kinect传感器采集环境信息，并输出有序列的RGB图像和Depth 图像；

3)对选取的RGB图像进行亮度、色偏和模糊度检测，判断其图像质量β。对亮度参数、色偏参数、模糊度参数进行计算，若亮度参数L＝1，色偏参数C＝1，模糊度参数F＝1，则RGB图像质量好，β＝1；否则RGB图像质量差，β＝0；

以上所述步骤3)中，对RGB图像质量判断，包括如下步骤：

1)亮度检测：把RGB图像转换到灰度图像，计算图像在灰度图上的均值和方差。若亮度正常，则亮度参数L＝1；

2)色偏检测：将RGB图像转变到CIE L*a*b*空间，其中L*表示图像亮度，a*表示图像红/绿分量，b*表示图像黄/蓝分量。计算图像在a*和b*分量上的均值和方差。若无色偏，则色偏参数C＝1；

3)模糊度检测：计算RGB图像的梯度信息。若图像清晰，则模糊度参数F＝1；

4)若L＝1，C＝1，F＝1，则图像质量好，β＝1；否则图像质量差，β＝0。

以上所述步骤4)中，若β＝1，则利用RGB图像进行粗配准，包括如下步骤：

1)对RGB图像进行特征点提取和描述，得到特征点集以及特征点集对应的特征描述符

2)对于特征点集中的每一个特征点从特征点集中找到与特征点的特征描述符最相近的特征点。若特征点与特征点之间欧式距离小于阈值Th_key，则记录特征点与特征点为相匹配的一对特征点对，表示为否则，特征点集中没有与特征点相匹配的特征点；

3)将相匹配的所有特征点对从RGB图像中映射到点云图像中；

4)对得到的特征点对集合使用随机采样一致性算法进行筛选，获得较优的用于确定运动参数的三维对应点，得到粗配准的旋转矩阵R和平移矩阵T。

随机采样一致性算法步骤如下：

对特征点对集合进行多次随机抽样，每次从中随机选取n对特征点对，根据这n对特征点对及其对应的估计刚体的运动参数的方法算出两帧图像间的运动参数，即旋转矩阵R和平移向量T，其中n为正整数；

对于所有的特征点对，计算前帧图像中的特征点经过旋转矩阵R和平移向量T后的三维坐标：若该坐标与后帧图像中对应的特征点的欧氏距离小于阈值Th_ransac，则该特征点属于内样本点；若该坐标与后帧图像中对应的特征点的欧氏距离大于等于阈值Th_ransac，则该特征点属于外样本点；

经过m次随机取样试验后，选择内点数目最多的那次随机取样试验，其中m为正整数；将该次取样试验所取的特征点对，作为最终筛选的用于确定运动参数的三维点对；将该次取样试验所估计的运动参数，作为最终确定的运动参数。

若β＝0，则利用点云图像进行粗配准，包括如下步骤：

1)为了提高点云处理速度并且能较好的保持图像原始特征，对点云图像进行多分辨率降采样。首先对分别进行栅格划分，得到栅格的中心点。然后计算所有中心点的曲率值，若曲率值大于等于阈值Th_cur，则该栅格以分辨率r进行体素网格滤波；若曲率值小于阈值Th_cur，则该栅格以分辨率2r进行体素网格滤波，最终得到降采样后的点云

2)对点云图像进行特征点提取和描述，得到特征点集以及特征点集对应的特征描述符

3)对得到的特征点对集合使用采样一致性初始配准算法进行配准，得到粗配准的旋转矩阵R和平移矩阵T。

采样一致性初始配准算法步骤如下：

从特征点集中选择s个样本点，其中s为正整数，同时确定它们的配对距离大于用户设定的最小值d_min；

对s个样本点，在特征点集中分别找到满足相似度条件的点存入一个列表中。随机选择一些代表采样点的对应关系；

根据两个特征点集的对应关系计算刚体变换矩阵，并通过计算度量错误来评价转换矩阵的质量。度量错误可由Huber评价公式决定：

其中e_i为第i组对应点在变换之后的距离差，t_e为给定阈值。

重复这三个步骤直至达到最佳度量错误结果。最后使用Levenberg-Marquardt算法进行非线性局部优化。

以上所述步骤5)中，使用迭代最近点算法进行精配准，包括如下步骤：

1)根据粗配准结果的距离均方误差fitnessscore，设置迭代最近点算法收敛判断条件TransformationEpsilon的参数。若fitnessscore<0.0001，则TransformationEpsilon＝1e-6；若fitnessscore>＝0.0001，则TransformationEpsilon＝1e-5；

2)利用粗配准获得的旋转矩阵R和平移矩阵T，根据公式(2)将点云中的每个点p_i的坐标(x,y,z)变换到点云所在的坐标系下得到点p'_i(x',y',z')，将转换

得到的点云记为I′_filter。

p′_i＝p_i×R+T (2)

对点云I′_filter中的任一点p'_i，计算改点与点云中的每个点之间的欧氏距离，选取点云中与其欧氏距离最小的点q_i，这样便得到一组对应点对(p_i,q_i)。对点云I′_D中的所有点进行以上操作，最终得到匹配点集；

3)利用该点集计算配准参数，计算使得误差函数(3)最小时的旋转矩阵R_n和平移矩阵T_n作为新的配准参数；

其中n为点对数目。

4)将新的配准参数用于点云I′_filter中的任一点p_i得到新的点集；

5)设定迭代次数阈值iter＝100，重复迭代上述步骤。迭代结束即可得到精配准的配准结果，从而得到精确的运动参数。

Claims

1.一种融合RGB和Depth信息的视觉里程计实现方法，其特征在于该方法包括的步骤为：

1)以时间T为周期，使用Kinect传感器采集环境信息，并输出有序列的RGB图像和Depth图像；

2)根据时间轴的先后顺序，依次选取RGB图像和Depth图像

将Depth图像转换为三维pcd格式的点云图像

2.根据权利要求1所述的一种融合RGB和Depth信息的视觉里程计实现方法，其特征在于：所述步骤4)中，根据RGB图像质量的判断结果，选择合适的模态信息进行图像配准。若RGB图像质量高，则利用RGB图像进行配准；若RGB图像质量差，则利用Depth图像进行配准。

3.根据权利要求1所述的一种融合RGB和Depth信息的视觉里程计实现方法，其特征在于：所述步骤4)中，在点云图像配准之前，对点云图像进行多分辨率降采样。对点云图像分别进行栅格划分，得到栅格的中心点。然后计算所有中心点的曲率值，若曲率值大于等于阈值Th_cur，则该栅格以分辨率r进行体素网格滤波；若曲率值小于阈值Th_cur，则该栅格以分辨率2r进行体素网格滤波。

4.根据权利要求1所述的一种融合RGB和Depth信息的视觉里程计的设计方法，其特征在于：所述步骤5)中，根据粗配准结果的距离均方误差fitnessscore，设置迭代最近点算法收敛判断条件TransformationEpsilon的参数。若fitnessscore<0.0001，则TransformationEpsilon＝1e-6；若fitnessscore>＝0.0001，则TransformationEpsilon＝1e-5。