CN105825520A - 一种可创建大规模地图的单眼slam方法 - Google Patents

Abstract

本发明提供了一种可创建大规模地图的单眼SLAM方法，该方法通过使用直接的图像对齐矫正，明确的吸收和检测尺度漂移；然后加上基于滤波器的半密集深度地图估计，实现构建连续的大规模的环境地图，该方法不仅能在本地跟踪摄像机的运动，还可以在环境的全局地图上进行维护和跟踪。同时，该方法还能在普通PC机的CPU上实时运行，并且作为测距方法甚至可运行在现代智能手机上。

Description

一种可创建大规模地图的单眼SLAM方法

技术领域

本发明属于机器人同步定位与地图创建领域，涉及一种可创建大规模地图的单眼SLAM方法。

背景技术

近年来，随着计算机技术、数字图像处理技术及图像处理硬件的进一步发展，计算机视觉在机器人领域中开始得到广泛关注。SLAM是同步定位与地图构建(SimultaneousLocalizationandMapping)的简称，这一概念最早由Smith、Self和Cheeseman于1988年提出。这种方法描述了机器人从未知环境的未知地点出发，然后对未知环境进行探索的情境：机器人在运动过程中重复地观测环境，然后根据传感器感知的环境特征定位自身位置和姿态，再根据自身位置增量式的构建地图。实时的单眼SLAM已日益成为流行的研究课题。单眼SLAM的一个主要优势，同时也是最大的挑战之一，一方面，自带的内在尺度模糊：该尺度不能随着时间被观察和漂移，成为一个主要的错误源。但是它的优势是允许不同规模的环境间进行无缝的切换，比如室内的桌面环境和大规模的户外环境。另一方面，缩放传感器，比如深度或立体摄像机，有一定的局限性，它们可以提供可靠的测量但不能保证其灵活性。

针对单眼SLAM存在的问题，之前也提出过一些相关的解决的方案：基于特征的方法，虽能通过解耦的方式简化整体问题，但存在严重的局限性；直接的方法，即直接的视觉测距方法通过直接在图像增强上优化几何，从而避免了局限性，但该方法是纯视觉的测距，只能在本地跟踪摄像机的运动，不能构建一个连续的全局的包含闭合环路的环境地图；之前提出一种基于RGB-DSKAM的姿态图方法，它结合几何误差允许追踪的场景质感较少，肢体运动比较僵硬、不灵活。

发明内容

本发明所要解决的技术问题是克服上述技术存在的缺陷，提出了一种可创建大规模地图的单眼SLAM方法，该方法通过使用直接的图像对齐矫正，明确的吸收和检测尺度漂移；然后加上基于滤波器的半密集深度地图估计，实现构建连续的大规模的环境地图，该方法不仅能在本地跟踪摄像机的运动，还可以在环境的全局地图上进行维护和跟踪。同时，该方法还能在PC机的CPU上实时运行，并且作为测距甚至可运行在现代智能手机上。

本发明是通过如下技术方案实现的：一种可创建大规模地图的单眼SLAM方法，其特征在于：采用以下步骤：

步骤1：新帧的跟踪：跟踪组件不断的跟踪新的摄像机图像，即评估它们相对于当前帧的刚体姿态其中，表示Lie-algebra变换集合，ξ表示集合中的一种变换，使用前一帧的姿态进行初始化。

步骤2：深度地图估计：组件使用跟踪的帧提取或者替换当前关键帧。通过过滤很多逐帧的小的基线立体比较加上交错的空间正交化而提取出深度。如果摄像机移动的太远，新的关键帧通过已存在的与关键帧最近的投影点进行初始化。

步骤2.1：关键帧选择：如果摄像机移动的太过远离现有地图，一个新的关键帧将从最近追踪的图像中生成，为当前关键帧设定一个加权的相对距离阈值：

$\mathrm{dist}\left({\mathrm{\ξ}}_{\mathrm{ji}}\right):={\mathrm{\ξ}}_{\mathrm{ji}}^T{\mathrm{W\ξ}}_{\mathrm{ji}}$

其中W是一个包含权重的对角矩阵。需要注意的是，如以下部分所描述的，对每个关键帧进行缩放，使得其平均深度的逆为1。这个阈值时相对当前场景规模的，以确保小的基线立体比较的可能性。

步骤2.2：关键帧替换：一旦一个新的帧被选定为关键帧，它的深度地图的初始化的实现是通过将前一个关键帧的点投影到当前帧上，接着进行多次迭代移除离群值；然后，深度地图被缩放成深度的逆均值为1，这个缩放因子将被直接应用到摄像机姿态中；最后，它就取代前一个关键帧，并用于跟踪后续的新帧。

其中，是三维上的相似变换，也就是刚性变换加上一个尺度变换(scale)。

步骤2.3：关键帧提炼：跟踪的没有成为关键帧的帧将被用来提炼当前的关键帧：在图像区域内进行大量的小基线的立体比较，在这些区域预期的立体声的精确度比较高，这个结果将被直接用于已有的深度地图，从而通过添加新的像素进行提炼细化。

步骤3：地图优化：一旦一个关键帧被替换为当前所被跟踪的，它的深度地图将不会被进一步提取，通过地图优化组件将其插入到全局地图中。为了监测回路闭合和尺度漂移，一个对已有关键帧的相似度的转换将通过尺度感知，直接进行-图像对齐。

步骤3中图像对齐具体步骤如下：首先，在上直接进行图像对齐，该方法用于对齐两个不同规模的关键帧；对于测光残留r_p，借助一个深度残留r_d，该残留标记关键帧之间的逆深度的偏差，从而直接评估它们之间的缩放变换，总的误差函数最小化变为：

$E\left({\mathrm{\ξ}}_{\mathrm{ji}}\right):=\underset{P\∈{\mathrm{\Ω}}_{D_i}}{\mathrm{\Σ}}{\left|\right|\frac{r_p^2(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{{\mathrm{\σ}}_{r_{p(P,{\mathrm{\ξ}}_{\mathrm{ji}})}}^2}+\frac{r_d^2(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{{\mathrm{\σ}}_{r_{d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}}^2}\left|\right|}_{\mathrm{\δ}}$

测光残留和的定义和公式如下：

r_p(P,ξ_ji)：＝I_i(P)-I_j(ω(P,D_i(P),ξ_ji))

${\mathrm{\σ}}_{r_{p(P,{\mathrm{\ξ}}_{\mathrm{ji}})}}^2:=2{\mathrm{\σ}}_{r_I}^2+{\left(\frac{{\∂r}_p(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{\∂D_i\left(P\right)}\right)}^2{V}_i\left(P\right)$

深度残留和它的方差计算如下：

r_d(P,ξ_ji)：＝[P′]₃-D_j([P′]_1,2)

${\mathrm{\σ}}_{r_{d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}}^2:=V_j\left({\left[P^{\′}\right]}_{\mathrm{1,2}}\right){\left(\frac{{\∂r}_d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{\∂D_j\left({\left[P^{\′}\right]}_{\mathrm{1,2}}\right)}\right)}^2+{\left(\frac{{\∂r}_d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{\∂D_j\left(P\right)}\right)}^2$

其中p′：＝ω_s(P,D_i(P),ξ_ji)表示变换的点。

然后，进行约束搜索：新的关键帧被添加到地图中，一定量可能的闭合环路的关键帧被收集使用最接近的10个关键帧，执行一个相互跟踪检查：对于每个候选帧进行独立跟踪跟踪ξ_jki和ξ_ijk。只有两个估计相似时，它们将被添加到全局地图，如以下公式所示：

最后，跟踪的收敛半径：从已存在的逆深度地图中取出一些深度值，可使用Horn的方法进行有效的操作、效率二阶最小化、由粗到细的方法进行收敛半径。

该方法在普通PC机的CPU上能实时运行，并且作为测距甚至可运行在现代智能手机上。

与现有技术相比，本发明具有如下有益效果：

1、大型轨迹上定性：该方法使用直接的图像对齐矫正加上基于滤波器的半密集深度地图估计，可在环境的一个全局地图上进行维护和跟踪。

2、定量评价：检测并矫正尺度累积漂移。

3、该方法还能在CPU上实时运行，并且作为测距甚至可运行在现代智能手机上。

附图说明

图1是本发明所述的可创建大规模地图的单眼SLAM方法流程图。

具体实施方式

下面结合附图对本发明作进一步的描述。

如图1所示：一种可创建大规模地图的单眼SLAM方法，其特征在于：采用以下步骤：

步骤1：新帧的跟踪：跟踪组件在30赫兹频率下不断的跟踪新的摄像机图像像(640×480像素)，评估图像相对于当前帧的刚体姿态其中，表示Lie-algebra变换集合，ξ表示集合中的一种变换，使用前一帧的姿态进行初始化。

步骤2：深度地图估计：组件使用跟踪的帧提取或者替换当前关键帧，通过过滤很多逐帧的小的基线立体比较加上交错的空间正交化而提取出深度；如果摄像机移动的太远，新的关键帧通过已存在的与关键帧最近的投影点进行初始化。

步骤2.1：关键帧选择：如果摄像机移动的太过远离现有地图，一个新的关键帧将从最近追踪的图像中生成，我们为当前关键帧设定一个加权的相对距离阈值：

$\mathrm{dist}\left({\mathrm{\ξ}}_{\mathrm{ji}}\right):={\mathrm{\ξ}}_{\mathrm{ji}}^T{\mathrm{W\ξ}}_{\mathrm{ji}}$

其中W是一个包含权重的对角矩阵。需要注意的是，如以下部分所描述的，对每个关键帧进行缩放，使得其平均深度的逆为1。这个阈值时相对当前场景规模的，以确保小的基线立体比较的可能性。

步骤2.2：关键帧替换：一旦一个新的帧被选定为关键帧，它的深度地图的初始化的实现是通过将前一个关键帧的点投影到当前帧上，接着进行多次迭代移除离群值；然后，深度地图被缩放成深度的逆均值为1，这个缩放因子将被直接应用到摄像机姿态中；最后，它就取代前一个关键帧，并用于跟踪后续的新帧。

步骤2.3：关键帧提炼：追踪的没有成为关键帧的帧将被用来提炼当前的关键帧：在图像区域内进行大量的小基线的立体比较，在这些区域预期的立体声的精确度比较高。这个结果将被直接用于已有的深度地图，从而通过添加新的像素进行提炼细化，

步骤3：地图优化：一旦一个关键帧被替换为当前所被跟踪的，它的深度地图将不会被进一步提取，通过地图优化组件将其插入到全局地图中；为了监测回路闭合和规模漂移，一个对已有关键帧的相似度的转换将通过规模感知，直接进行-图像对齐。

步骤3中图像对齐具体步骤如下：首先，在上直接进行图像对齐，该方法用于对齐两个不同规模的关键帧；对于测光残留r_p，借助一个深度残留r_d，该残留标记关键帧之间的逆深度的偏差，从而直接评估它们之间的缩放变换。总的误差函数最小化变为：

$E\left({\mathrm{\ξ}}_{\mathrm{ji}}\right):=\underset{P\∈{\mathrm{\Ω}}_{D_i}}{\mathrm{\Σ}}{\left|\right|\frac{r_p^2(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{{\mathrm{\σ}}_{r_{p(P,{\mathrm{\ξ}}_{\mathrm{ji}})}}^2}+\frac{r_d^2(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{{\mathrm{\σ}}_{r_{d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}}^2}\left|\right|}_{\mathrm{\δ}}$

测光残留和的定义和公式如下：

r_p(P,ξ_ji)：＝I_i(P)-I_j(ω(P,D_i(P),ξ_ji))

${\mathrm{\σ}}_{r_{p(P,{\mathrm{\ξ}}_{\mathrm{ji}})}}^2:=2{\mathrm{\σ}}_{r_I}^2+{\left(\frac{{\∂r}_p(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{\∂D_i\left(P\right)}\right)}^2{V}_i\left(P\right)$

深度残留和它的方差计算如下：

r_d(P,ξ_ji)：＝[P′]₃-D_j([P′]_1,2)

${\mathrm{\σ}}_{r_{d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}}^2:=V_j\left({\left[P^{\′}\right]}_{\mathrm{1,2}}\right){\left(\frac{{\∂r}_d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{\∂D_j\left({\left[P^{\′}\right]}_{\mathrm{1,2}}\right)}\right)}^2+{\left(\frac{{\∂r}_d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{\∂D_j\left(P\right)}\right)}^2$

其中p′：＝ω_s(P,D_i(P),ξ_ji)表示变换的点。

然后，进行约束搜索：新的关键帧被添加到地图中，一定量的的可能的闭合环路的关键帧被收集使用最接近的10个关键帧，执行一个相互跟踪检查：对于每个候选帧进行独立跟踪跟踪ξ_jki和ξ_ijk；只有两个估计相似时，它们将被添加到全局地图，如以下公式所示：

最后，跟踪的收敛半径：从已存在的逆深度地图中取出一些深度值，可使用Horn的方法进行有效的操作、效率二阶最小化、由粗到细的方法进行收敛半径。

该方法在CPU上能实时运行，并且作为测距甚至可运行在现代智能手机上。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内的所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种可创建大规模地图的单眼SLAM方法，其特征在于：采用以下步骤：

步骤1：新帧的跟踪：跟踪组件不断的跟踪新的摄像机图像，即评估它们相对于当前帧的刚体姿态使用前一帧的姿态进行初始化，其中，表示Lie-algebra变换集合，ξ表示集合中的一种变换；

步骤2：深度地图估计：组件使用跟踪的帧提取或者替换当前关键帧，通过过滤很多逐帧的小的基线立体比较加上交错的空间正交化而提取出深度；如果摄像机移动的太远，新的关键帧通过已存在的与关键帧最近的投影点进行初始化；

步骤2.1：关键帧选择：如果摄像机移动得太过远离现有地图，一个新的关键帧将从最近追踪的图像中生成，为当前关键帧设定一个加权的相对距离阈值：

$\mathrm{dist}\left({\mathrm{\ξ}}_{\mathrm{ji}}\right):={\mathrm{\ξ}}_{\mathrm{ji}}^{T}W{\mathrm{\ξ}}_{\mathrm{ji}}$

其中W是一个包含权重的对角矩阵，需要注意的是，如以下部分所描述的，对每个关键帧进行缩放，使得其平均深度的逆为1，这个阈值是相对当前场景规模的，以确保小的基线立体比较的可能性；

步骤2.2：关键帧替换：一旦一个新的帧被选定为关键帧，它的深度地图的初始化的实现是通过将前一个关键帧的点投影到当前帧上，接着进行多次迭代移除离群值；然后，深度地图被缩放成深度的逆均值为1，这个缩放因子将被直接应用到摄像机姿态中；最后，它就取代前一个关键帧，并用于跟踪后续的新帧；

其中，是三维上的相似变换，也就是刚性变换加上一个尺度变换(scale)；

步骤2.3：关键帧提炼：跟踪的没有成为关键帧的帧将被用来提炼当前的关键帧：在图像区域内进行大量的小基线的立体比较，在这些区域预期的立体声的精确度比较高，这个结果将被直接用于已有的深度地图，从而通过添加新的像素进行提炼细化；

步骤3：地图优化：一旦一个关键帧被替换为当前所被跟踪的，它的深度地图将不会被进一步提取，通过地图优化组件将其插入到全局地图中；为了监测回路闭合和尺度漂移，一个对已有关键帧的相似度的转换将通过尺度感知，直接进行-图像对齐。

2.根据权利要求1所述的可创建大规模地图的单眼的SLAM方法，其特征在于：步骤3中图像对齐具体步骤如下：首先，在上直接进行图像对齐，该方法用于对齐两个不同尺度的关键帧。另外对于测光残留r_p，借助一个深度残留r_d，该残留标记关键帧之间的逆深度的偏差，从而直接评估它们之间的缩放变换；总的误差函数最小化变为：

$E\left({\mathrm{\ξ}}_{\mathrm{ij}}\right):=\underset{P\∈{\mathrm{\Ω}}_{D_i}}{\mathrm{\Σ}}{\left|\right|\frac{r_p^2(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{{\mathrm{\σ}}_{r_{p(P,{\mathrm{\ξ}}_{\mathrm{ji}})}}^2}+\frac{r_d^2(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{{\mathrm{\σ}}_{r_{d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}}^2}\left|\right|}_{\mathrm{\δ}}$

测光残留和的定义和公式如下：

$r_p(P,{\mathrm{\ξ}}_{\mathrm{ji}}):=I_i\left(P\right)-I_j\left(\mathrm{\ω}(P,D_i\left(P\right),{\mathrm{\ξ}}_{\mathrm{ji}})\right)$

${\mathrm{\σ}}_{r_{p(P,{\mathrm{\ξ}}_{\mathrm{ji}})}:={2\mathrm{\σ}}_{r_I}^2+{\left(\frac{{\∂r}_p(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{{\∂D}_i\left(P\right)}\right)}^2{V}_i\left(P\right)}^2$

深度残留和它的方差计算如下：

r_d(P，ξ_ji)：＝[P′]₃-D_j([P′]_1，2)

${\mathrm{\σ}}_{r_{d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}}^2:=V_j\left({\left[P^{\′}\right]}_{\mathrm{1,2}}\right){\left(\frac{{\∂r}_d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{{\∂D}_j\left({\left[P^{\′}\right]}_{\mathrm{1,2}}\right)}\right)}^2+{\left(\frac{{\∂r}_d(P,{\mathrm{\ξ}}_{\mathrm{ji}})}{{\∂D}_j\left(P\right)}\right)}^2$

其中p′：＝ω_s(P，D_i(P)，ξ_ji)表示变换的点；

然后，进行约束搜索：新的关键帧被添加到地图中，一定量可能的闭合环路的关键帧被收集使用最接近的10个关键帧，执行一个相互跟踪检查：对于每个候选帧进行独立跟踪跟踪ξ_jki和ξ_ijk；只有两个估计相似时，它们将被添加到全局地图，如以下公式所示：

最后，跟踪的收敛半径：从已存在的逆深度地图中取出一些深度值，可使用Horn的方法进行有效的操作、效率二阶最小化、由粗到细的方法进行收敛半径。

3.根据权利要求1所述的可创建大规模地图的单眼的SLAM方法，其特征在于：该方法还可以在PC机的CPU上实时运行，并且作为测距甚至可运行在现代智能手机上。