CN109523589A - 一种更鲁棒的视觉里程计的设计方法 - Google Patents

Abstract

一种更鲁棒的视觉里程计的设计方法，包括：1)通过单目相机采集彩色图像并将其上传到电脑端；2)对单目相机初始化，固定其尺度；3)获得第一帧图像和第二帧图像，使用Oriented FAST角点方法提取第一帧中的特征点，并且在第二帧中追踪第一帧中出现的特征点；4)检测前后两帧图像的整体的曝光度是否发生改变；5)利用两帧图像的灰度值信息，最小化光度误差，求解相机的位姿；6)对已经提取的特征点进行BRIEF描述子的计算后，进行数据关联；7)该算法处理完两帧数据后，读取新的一帧图像，在新的一帧图像中追踪上一帧特征点在当前帧中的位置，然后进行特征点匹配；接下来进入到第4)步，进入算法的循环。本发明的鲁棒性强，实时性好。

Description

一种更鲁棒的视觉里程计的设计方法

技术领域

本发明涉及同时定位与地图构建(SLAM)技术领域，具体涉及一种更鲁棒的视觉里程计的设计方法。

背景技术

目前无人车、扫地机器人、增强现实与虚拟现实等产品已经落地应用，SLAM算法在其中扮演着至关重要的角色，科研界对其关注度也日益提升。其中商业应用的SLAM算法主要以激光SLAM算法为主，视觉SLAM算法还有很多需要改进的地方。

视觉SLAM的前端部分，也就是视觉里程计(VO)，用直接法和非直接法实现。非直接法即特征点法提取图像中特征点后，进行特征点的匹配，最小化重投影误差得到位姿。其中在提取特征点后需要计算描述子，也就是特征点周围像素的信息，通常用向量表示。特征点法中有提取特征点、计算描述子、匹配特征点等步骤，这些步骤消耗了大量的计算资源。显而易见，特征点法耗费的时间较多。直接法假设帧与帧之间的光度值不发生变化，最小化光度误差得到相机位姿。灰度值不变的假设即相机位置发生改变时，前后两帧图像中对应特征点的灰度值相同。但是在实际情况中，灰度值不会严格相同。例如无人车在公路上行驶，进入隧道的那一刻和出隧道的那一刻，图像的灰度值发生非常大的变化，直接法就会失效。

目前现存的实现VO的方法中，基于直接法实现的视觉SLAM算法依然存在灰度不变的强假设，使得在遇到灰度值变化很大的情况时，算法失效，使得机器人或者其他装置不能继续工作。所以本发明致力于解决这个问题，融合直接法与特征点法进行视觉里程计的设计。

发明内容

本发明要解决使用直接法实现视觉SLAM的情况下，相机的曝光程度突然增加，视觉SLAM算法失效的问题，提出一种更鲁棒的视觉里程计的设计方法。

本发明方法在相机的前后两帧的曝光程度没有达到一个阈值的时候使用特征点像素的亮度信息，最小化光度误差计算相机位姿，减少计算资源的消耗，以保证该算法的实时性。但是当曝光程度达到一个阈值，计算描述子，最小化重投影误差计算相机位姿，以保证该算法的鲁棒性。为了实现本发明，采用如下的技术方案。

一种更鲁棒的视觉里程计的设计方法，包括如下步骤：

1)通过单目相机采集彩色图像并将其上传到电脑端。

2)对单目相机初始化，通过以下步骤获得确定的深度。

2.1)移动单目相机，得到一段视频流，选取其中两帧图像作为初始帧。并将第一帧作为世界坐标系，第二帧作为相机坐标系

2.2)对两帧图像进行特征点的提取和匹配。对第一帧图像提取Oriented FAST特征点，特征点的描述子用BRIEF描述子表示，保存这些特征点和描述子的数据。在第二帧中跟踪第一帧图像提取的特征点，对两帧中的特征点和BRIEF描述子进行匹配，并去掉误匹配的情况。如果匹配正确的点数小于一个阈值，则重新选取初始帧，其中阈值是一个可调的值。

2.3)根据步骤2.2)匹配好的两帧图像，计算两帧之间的位姿变换。使用对极约束方法，有如下的关系表达式：

E＝t^R (2)

通过八点法求出本质矩阵E，使用奇异值分解(SVD)本质矩阵E得到R、t的值。其中p₁，p₂是空间中的P点在两帧图像中的像素坐标，K是所用相机的内参，t、R为第二帧相对于第一帧的平移和旋转。

2.4)三角测量得到初始的特征点云深度，进而获得点云地图。三角测量是指，通过在A、B两处观察同一点P，其中ΔABP的三个角的度数和AB的长度是已知量，从而确定点P到A和B的距离。通过关系表达式：即可获得空间中一点P到相机的距离，即可求出s₁，s₂。其中s₁，s₂是P点到世界坐标系和相机坐标系的距离x₁，x₂是两个特征点的归一化坐标，形式为R、t为步骤2.3)求出的值。

3)获得第一帧图像和第二帧图像，使用Oriented FAST角点方法提取第一帧中的特征点，并且在第二帧中追踪第一帧中出现的特征点。此时需要对第一帧的特征点数量进行检测，如果特征点数量小于一个阈值，此阈值为可调值，则算法失效，退出算法。如果特征点数量大于一个阈值，则进行下一步。

4)检测连续两帧图像的灰度值改变量，即检测前后两帧图像的整体的曝光度是否发生改变。

4.1)直接比较两帧图像对应像素点的灰度值，并产生差分图像。有如下的关系式表达：

其中Dimage_i，j[f(x，y)]为第i帧图像f(x，y，i)与第j帧图像f(x，y，j)的差分图像，T为阈值。

4.2)若Dimage_i，j[f(x，y)]＝0，则跳转到步骤5)，否则跳转到步骤6)。

5)利用两帧图像的灰度值信息，最小化光度误差，来求解相机的位置和姿态。通过如下的关系表达式：

其中I₁(p_1，i)与I₂(p_2，i)指像素亮度，e_i是P在两帧中像素亮度的误差，p₁，p₂分别为：

上式中，(u，v，1)^T是点p的归一化坐标。

ξ是相机位姿，为李代数的形式：

且exp(φ^)＝R

在exp(ξ)左乘一个小扰动exp(δξ)，得：

其中为u出的像素梯度，为投影方程关于相机坐标系下的三维导数，为变换后的三维点对变换的导数。则雅克比矩阵

使用这种方法计算优化问题的雅克比矩阵，然后使用列文伯格-马夸尔特(Levenberg-Marquardt)算法计算增量，迭代求解出相机的位姿。

6)对已经提取的特征点进行BRIEF描述子的计算，之后进行数据关联，即特征点的匹配。最后通过对极几何方法求解相机的位姿。特征点的匹配使用快速最近邻(FLANN)算法，当描述子之间的距离大于最小距离的两倍时，认为是匹配出错，去掉这些误匹配的点。使用对极约束方法求解出本质矩阵E，再通过SVD分解得出相机的位姿。

7)处理完两帧数据后，读取新的一帧图像，在新的一帧图像中追踪上一帧特征点在当前帧中的位置，然后进行特征点匹配；接下来进入到第4)步，进入算法的循环。

本发明的优点是：使用单个彩色相机，与深度相机、激光雷达相比，有结构简单、易于标定、消耗能量少、价格便宜等优点。

附图说明

图1是本发明方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图与具体实施例对本发明进行详细说明。

本实例所提供的是一种更鲁棒性的视觉里程计，包括以下步骤：

1)通过单目相机采集彩色图像并将其上传到电脑端。

2)对单目相机初始化，通过以下步骤获得确定的深度。

2.1)将单目相机搭载于轮式移动机器人上，机器人移动后，得到一段视频流，选取两帧作为初始帧。并将第一帧作为世界坐标系，第二帧作为相机坐标系。

2.2)对两帧图像进行特征点的提取和匹配。对第一帧图像提取Oriented FAST特征点，特征点的描述子用BRIEF描述子表示，保存这些特征点和描述子的数据。在第二帧中跟踪第一帧图像提取的特征点，对两帧中的特征点和BRIEF描述子进行匹配，并去掉误匹配的情况。如果匹配正确的点数小于一个阈值，则重新选取初始帧，其中阈值是一个可调的值。

2.3)根据步骤2.2)匹配好的两帧图像，计算两帧之间的位姿变换。使用对极约束方法，有如下表达式：

E＝t^R (2)

通过八点法求出本质矩阵E，奇异值分解(SVD)本质矩阵E得到R、t的值。t、R即为第二帧相对于第一帧的平移和旋转。

2.4)三角测量得到初始的特征点云深度，进而获得点云地图。三角测量是指，通过在A、B两处观察同一点P，其中ΔABP的三个角的度数和AB的长度是已知量，从而确定点P到A和B的距离。通过关系表达式：即可获得空间中一点P到相机的距离，即可求出s₁，s₂。其中s₁，s₂是P点到世界坐标系和相机坐标系的距离；x₁，x₂是两个特征点的归一化坐标，形式为R、t为步骤2.3)求出的值。

3)获得第一帧图像和第二帧图像，使用Oriented FAST角点方法提取第一帧中的特征点，并且在第二帧中追踪第一帧中出现的特征点。此时需要对第一帧的特征点数量进行检测，如果特征点数量小于一个阈值，此阈值为可调值，则算法失效，退出算法。如果特征点数量大于一个阈值，则进行下一步。

4)检测连续两帧图像的灰度值改变量，即检测前后两帧图像的整体的曝光度是否发生改变。

4.1)直接比较两帧图像对应像素点的灰度值，并产生差分图像。有如下的关系式表达：

其中Dimage_i，j[f(x，y)]为第i帧图像f(x，y，i)与第j帧图像f(x，y，j)的差分图像，T为阈值。

4.2)若Dimage_i，j[f(x，y)]＝0，则跳转到步骤5)，否则跳转到步骤6)。

5)利用两帧图像的灰度值信息，最小化光度误差，来求解相机的位置和姿态。通过如下的关系表达式：

其中I₁(p_1，i)与I₂(p_2，i)指像素亮度，e_i是P在两帧中像素亮度的误差，p₁，p₂分别为：

ξ是相机位姿，为李代数的形式：

且exp(φ^)＝R

在exp(ξ)左乘一个小扰动exp(δξ)，得：

其中为u出的像素梯度，为投影方程关于相机坐标系下的三维导数，为变换后的三维点对变换的导数。则雅克比矩阵

使用这种方法计算优化问题的雅克比矩阵，然后使用列文伯格-马夸尔特(Levenberg-Marquardt)算法计算增量，迭代求解出相机的位姿。

6)对已经提取的特征点进行BRIEF描述子的计算，之后进行数据关联，即特征点的匹配。最后通过对极几何方法求解相机的位姿。特征点的匹配使用快速最近邻(FLANN)算法，当描述子之间的距离大于最小距离的两倍时，认为是匹配出错，去掉这些误匹配的点。使用对极约束方法求解出本质矩阵E，再通过SVD分解得出相机的位姿。

7)该算法处理完两帧数据后，得到了新的一帧图像，在新的一帧图像中追踪上一帧特征点在当前帧中的位置，然后进行特征点匹配。接下来进入到第4)步，进入算法的循环。

综上所述，本发明巧妙的融合了直接法和特征点法，融合了直接法的快速性和特征点法的稳定性，使得搭载单目相机的机器人在遇到曝光突然增加的情况时，不会导致机器人无法进行正常的工作，保证了机器人的稳定性。此外，本发明中使用单个彩色相机，与深度相机、激光雷达相比，有结构简单、易于标定、消耗能量少、价格便宜等优点。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (1)

1.一种更鲁棒的视觉里程计的设计方法，包括如下步骤：

1)通过单目相机采集彩色图像并将其上传到电脑端；

2)对单目相机初始化，通过以下步骤获得确定的深度；

2.1)移动单目相机，得到一段视频流，选取其中两帧图像作为初始帧；并将第一帧作为世界坐标系，第二帧作为相机坐标系；

2.2)对两帧图像进行特征点的提取和匹配；对第一帧图像提取Oriented FAST特征点，特征点的描述子用BRIEF描述子表示，保存这些特征点和描述子的数据；在第二帧中跟踪第一帧图像提取的特征点，对两帧中的特征点和BRIEF描述子进行匹配，并去掉误匹配的情况；如果匹配正确的点数小于一个阈值，则重新选取初始帧，其中阈值是一个可调的值；

2.3)根据步骤2.2)匹配好的两帧图像，计算两帧之间的位姿变换；使用对极约束方法，有如下的关系表达式：

E＝t^R (2)

通过八点法求出本质矩阵E，使用奇异值分解(SVD)本质矩阵E得到R、t的值；其中p₁，p₂是空间中的P点在两帧图像中的像素坐标，K是所用相机的内参，t、R为第二帧相对于第一帧的平移和旋转；

2.4)三角测量得到初始的特征点云深度，进而获得点云地图；三角测量是指，通过在A、B两处观察同一点P，其中ΔABP的三个角的度数和AB的长度是已知量，从而确定点P到A和B的距离；通过关系表达式：即可获得空间中一点P到相机的距离，即可求出s₁，s₂；其中s₁，s₂是P点到世界坐标系和相机坐标系的距离；x₁，x₂是两个特征点的归一化坐标，形式为R、t为步骤2.3)求出的值；

3)获得第一帧图像和第二帧图像，使用Oriented FAST角点方法提取第一帧中的特征点，并且在第二帧中追踪第一帧中出现的特征点；此时需要对第一帧的特征点数量进行检测，如果特征点数量小于一个阈值，此阈值为可调值，则算法失效，退出算法；如果特征点数量大于一个阈值，则进行下一步；

4)检测连续两帧图像的灰度值改变量，即检测前后两帧图像的整体的曝光度是否发生改变；

4.1)直接比较两帧图像对应像素点的灰度值，并产生差分图像；有如下的关系式表达：

其中Dimage_i，j[f(x，y)]为第i帧图像f(x，y，i)与第j帧图像f(x，y，j)的差分图像，T为阈值；

4.2)若Dimage_i，j[f(x，y)]＝0，则跳转到步骤5)，否则跳转到步骤6)；

5)利用两帧图像的灰度值信息，最小化光度误差，来求解相机的位置和姿态；通过如下的关系表达式：

其中I₁(p_1，i)与I₂(p_2，i)指像素亮度，e_i是P在两帧中像素亮度的误差，p₁，p₂分别为：

上式中，(u，v，1)^T是点p的归一化坐标；

ξ是相机位姿，为李代数的形式：

且exp(φ^)＝R

在exp(ξ)左乘一个小扰动exp(δξ)，得：

其中为u出的像素梯度，为投影方程关于相机坐标系下的三维导数，为变换后的三维点对变换的导数；则雅克比矩阵

使用这种方法计算优化问题的雅克比矩阵，然后使用列文伯格-马夸尔特(Levenberg-Marquardt)算法计算增量，迭代求解出相机的位姿；

6)对已经提取的特征点进行BRIEF描述子的计算，之后进行数据关联，即特征点的匹配；最后通过对极几何方法求解相机的位姿；特征点的匹配使用快速最近邻(FLANN)算法，当描述子之间的距离大于最小距离的两倍时，认为是匹配出错，去掉这些误匹配的点；使用对极约束方法求解出本质矩阵E，再通过SVD分解得出相机的位姿；

7)处理完两帧数据后，读取新的一帧图像，在新的一帧图像中追踪上一帧特征点在当前帧中的位置，然后进行特征点匹配；接下来进入到第4)步，进入算法的循环。