CN106485744B - 一种同步定位与地图构建方法 - Google Patents

Abstract

本发明公开了一种同步定位与地图构建方法，所述方法包括：步骤1：利用尺寸已知的物体对同步定位与地图构建系统进行初始化和优化处理；步骤2：利用优化处理后的同步定位与地图构建系统进行同步定位与地图构建，实现了对同步定位与地图构建系统进行优化，能够准确获得场景的深度信息的技术效果。

Description

一种同步定位与地图构建方法

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及一种同步定位与地图构建方法。

背景技术

同步定位与地图构建系统为使用者携带摄像头从未知环境的未知地点出发，在运动过程中通过重复观测到的地图特征（比如，墙角，柱子等）定位自身位置和姿态，再根据自身位置增量式的构建地图，从而达到同时定位和地图构建的目的。

基于ORB特征的同步定位与地图构建系统是一个基于特征识别的适用于各种室内外环境的单目实时系统。得益于系统自带的场景回路闭合和复位功能，系统具有很强的鲁棒性，可以很好地处理剧烈运动的图像，并且在定位和建模开始时，可以进行全自动位置初始化。系统是基于近几年最优的相关算法建立的，具有视角追踪、环境建模、复位和场景回路闭合这些基本功能。并且在此基础上，该系统还引用了一套优化特征云点和关键帧的策略，让地图模型仅在观察到新场景时才会增加，这样就可以优化环境模型，使其在精简结构的同时仍能保持高精度，还能极大的延长SLAM系统使用寿命。然而现有单目同步定位与地图构建系统的缺点是，无法通过单目摄像头准确的获得场景的深度信息。

综上所述，本申请发明人在实现本申请发明技术方案的过程中，发现上述技术至少存在如下技术问题：

在现有技术中，现有的单目同步定位与地图构建系统存在无法通过单目摄像头准确的获得场景的深度信息的技术问题。

发明内容

本发明提供了一种同步定位与地图构建方法，解决了现有的单目同步定位与地图构建系统存在无法通过单目摄像头准确的获得场景的深度信息的技术问题，实现了对同步定位与地图构建系统进行优化，能够准确获得场景的深度信息的技术效果。

为解决上述技术问题，本申请提供了一种同步定位与地图构建方法，所述方法包括：

步骤1：利用尺寸已知的物体对同步定位与地图构建系统进行初始化和优化处理；

步骤2：利用优化处理后的同步定位与地图构建系统进行同步定位与地图构建。由于对现有的同步定位与地图构建系统进行了优化，因此优化后的同步定位与地图构建系统能够准确获得场景的深度信息。

本申请中的一种通过在场景中加入易得的且尺寸可知的物体，结合数学计算可以快捷方便的获取场景深度信息的同步定位与地图构建系统。

一种带有真实尺度的同步定位与地图构建方法，包括：

利用已知尺寸大小的物体进行同步定位与地图构建系统初始化。

（1）利用单目摄像头不断拍摄真实环境的图像，检测和提取图像中的特征点，并追踪摄像头的位姿，不断构建现实环境的三维重构地图。

（2）在摄像头不断移动的过程中，不断重复步骤（1），在持续追踪摄像头位姿的同时也不断的构建现实环境的三维地图。

（3）如果摄像头运动过快导致追踪丢失，系统会对摄像头当前位置进行复位。

（4）在已经完成重构的三维地图基础上，本案系统的后台线程还会持续对地图内容和结构进行优化。

（5）利用死循环控制来侦测地图的死循环情况，以保持全局地图的一致性。

（6）在已经构建出的现实环境的三维地图中，可以选择在任意的位置显示出准确尺度的扩增实境动画特效。

此处的初始化过程需要事先对摄像头完成标定，获取摄像头的内部参数，并且测量出尺寸已知物体的准确尺寸。这里选用国际标准的A4尺寸打印纸。初始化开始时，开启摄像头，通过获取的图像，不断的提取检测特征点和搜索矩形，并将搜索到的矩形按照面积大小排序，取其中面积最大的矩形作为在图像中检测到的A4纸，得到该矩形四个角点在图像中的二维坐标。通过矩形角点的二维坐标，A4纸的实际尺寸，以及摄像头的内部参数，可以还原出矩形四个角点的三维坐标和深度信息，以及摄像头当前的位姿。任取三个角点的三维坐标，可以计算出一个平面方程（因为四个角点一定在同一个平面上）。在图像中四个角点附近选取检测到的特征点，根据摄像头的内参和平面方程可以计算出特征点的三维坐标和深度信息。通过这些具有三维坐标和深度信息的特征点，以及摄像头当前的位姿，可以构建一个基于现实环境的初始地图，也就完成了带有真实尺度的同步定位与地图构建系统的初始化。

初始化后继续利用单目摄像头采集图像，在每一帧图像上利用FAST算法检测特征点，利用BRIEF算法产生特征描述子，再利用ORB算法去改善BRIEF本身的非旋转性缺点，这样就可以得到拥有旋转不变和尺度不变的特征点描述子。利用检测到的特征点位置和生成的描述子，通过ORB算法与上一帧图像做比对，可以获得当前帧的位姿初步估计。然后用当前帧里的ORB特征点与本地局部地图里的特征点进行一一匹配，进一步优化位姿。这样优化尽可能避免了映射错误，保持了地图特征点的位置。这里使用g2o库的列文伯格-马夸尔特非线性最小二乘算法和Huber估计器。如果追踪成功，最后一步就要按照一定的标准来决定是否插入新的关键帧。如果通过比对，发现当前帧的特征点信息和位姿相对于上一个关键帧有较大的变化，则将当前帧的特征点信息和位姿作为新的关键帧添加到关键帧图序网中，扩充现实环境的三维重构地图。

如果摄像头瞬时运动过快导致追踪丢失，系统会不断将当前采集到的图像利用DBoW库转化成关键词包，与地图中已有关键帧做比较，一旦发现与当前帧相似度极高的关键帧，即将关键帧的位姿还原到当前帧上，以完成对摄像头当前位置的复位。

在系统运行的过程中，随着摄像头的移动，不断重复步骤（1），在追踪摄像头位姿的同时，持续的扩充三维重构地图。

在已经重构的三维地图基础上，本案系统的后台会使用光速平差法持续优化所有已经添加到重构地图中的关键帧，融合相似的特征点，去除异常的特征点，并且会删减相似度过高的关键帧。具体实施方式是，本地地图构建线程会不断处理新的关键帧，更新优化它在关键帧图序网中的本地邻近帧。第一步是将关键帧通过DBoW库转换成关键词包表示。接下来通过三角化不同关键帧的ORB特征点以构建新的地图特征点。在新的特征点后面的3个关键帧建立后，要按照特定条件确认地图特征点是否出错，以便及时进行裁减。在处理完新加入的地图特征点后，再利用光束平差法去调整局部偏差。最后再去掉其他相同或更好的关键帧中90%的地图点已经被观测到过的关键帧。这样使得重构地图在不断扩充更新的过程中，依然保持一个较精简的结构。

先通过DBOW库计算关当前帧的关键词向量与其在关键帧图序网中邻近的关键帧的相似性，再从关键帧图序网中找出与当前关键帧高度相似的几帧，并进行图像关联一致性测试。然后计算从当前关键帧到回路关键帧的相似变换，回路中的关键帧提供了回路的累积误差，这个相似变换也用来作为回路的几何验证。利用不断得到的相邻关键帧的相似变换，对所有对回路中的每一帧进行修正，这样回环的两端就可以有效对齐。为了闭合回路，修正累积误差，需要执行一个全局优化。最后整个地图最后会通过单点的图像位姿优化完成。优化后，局部地图构建会再次开始。

在建立的现实环境的三维地图中，结合追踪到的当前帧的位姿，可以在任意位置显示出准确尺度的扩增实境动画特效。

本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了关键帧中特征点配对及三角化计算，实现了对同步定位与地图构建系统进行优化，能够准确获得场景的深度信息的技术效果。

进一步的，本方法可以任意位置显示出准确尺度的扩增实境动画特效。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；

图1是本申请中同步定位与地图构建方法的流程示意图。

具体实施方式

本发明提供了一种同步定位与地图构建方法，解决了现有的单目同步定位与地图构建系统存在无法通过单目摄像头准确的获得场景的深度信息的技术问题，实现了对同步定位与地图构建系统进行优化，能够准确获得场景的深度信息的技术效果。

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

请参考图1，本申请提供了一种带有真实尺度的同步定位与地图构建系统，该实施例以智能手机为平台运作该系统，具体包括：

101: 根据所提供的A4打印纸的真实尺寸以及单目摄像头的内部参数，用采集到的图像进行系统初始化，完成之后，会生成初始的具有真实尺度的环境三维重构地图；

102: 不断移动摄像头，在采集到的图像中提取特征点，估测摄像头当前的位姿；

103: 追踪成功，则会成功的获得当前摄像头的位姿，以及当前帧中特征点的三维坐标和深度信息；

如果因摄像头运动过快而无法完成追踪，系统会开始复位；

104: 在成功追踪后，系统会根据当前帧与上一关键帧特征点的相似程度，自主判断是否将当前帧作为新的关键帧添加到地图中；将当前帧的位姿以及所有特征点的信息打包成为关键帧加入到重构地图中，并相应的更新关键帧图序网；

105: 针对已经完成重构的三维地图，系统会在后端不断的根据全局的信息对每一个关键帧以及特征点做优化；

106: 在摄像头移动的过程中，系统会把采集到的每一帧图像的位姿以及特征点信息与地图中已有的关键帧做对比，以判断地图是否产生死循环；

107: 在判断地图产生死循环后，执行死循环控制以消除累计的线性误差。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

由于采用了关键帧中特征点配对及三角化计算，实现了对同步定位与地图构建系统进行优化，能够准确获得场景的深度信息的技术效果。

进一步的，本方法可以任意位置显示出准确尺度的扩增实境动画特效。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种同步定位与地图构建方法，其特征在于，所述方法包括：

步骤1：利用尺寸已知的物体对同步定位与地图构建系统进行初始化和优化处理；

步骤2：利用优化处理后的同步定位与地图构建系统进行同步定位与地图构建；

所述步骤1中的初始化处理具体包括：首先对摄像头完成标定，获取摄像头的内部参数，并且测量出尺寸已知物体的准确尺寸；通过具有三维坐标和深度信息的特征点，以及摄像头当前的位姿，构建基于现实环境的初始地图，包括：选用国际标准的A4尺寸打印纸；初始化开始时，开启摄像头，通过获取的图像，不断的提取检测特征点和搜索矩形，并将搜索到的矩形按照面积大小排序，取其中面积最大的矩形作为在图像中检测到的A4纸，得到该矩形四个角点在图像中的二维坐标；通过矩形角点的二维坐标、A4纸的实际尺寸、摄像头的内部参数，还原出矩形四个角点的三维坐标和深度信息，以及摄像头当前的位姿；取三个角点的三维坐标，计算出一个平面方程；在图像中四个角点附近选取检测到的特征点，根据摄像头的内部参数和平面方程计算出特征点的三维坐标和深度信息；

初始化后利用单目摄像头采集图像，检测得到特征点位置，利用ORB算法生成特征点描述子；在每一帧图像上利用FAST算法检测特征点，利用BRIEF算法产生特征描述子，再利用ORB算法去改善BRIEF本身的非旋转性缺点；利用检测到的特征点位置和生成的描述子，获得当前帧的位姿初步估计；利用当前帧里的ORB特征点与本地局部地图里的特征点进行一一匹配，进一步优化位姿；将当前帧的特征点信息和位姿与上一个关键帧的特征点信息和位姿进行比较，若变化满足预设条件，则将当前帧的特征点信息和位姿作为新的关键帧添加到关键帧图序网中，扩充现实环境的三维重构地图；

若摄像头追踪丢失目标，则同步定位与地图构建系统会不断将当前采集到的图像利用DBoW库转化成关键词包，与地图中已有关键帧做比较，一旦发现与当前帧相似度满足要求的关键帧，则将关键帧的位姿还原到当前帧上，以完成对摄像头当前位置的复位。

2.根据权利要求1所述的同步定位与地图构建方法，其特征在于，所述步骤1中的优化处理具体包括：利用单目摄像头拍摄真实环境的图像，检测和提取图像中的特征点，并追踪摄像头的位姿，构建现实环境的三维重构地图，利用三维重构地图对同步定位与地图构建系统进行优化处理。

3.根据权利要求2所述的同步定位与地图构建方法，其特征在于，当已重构完三维重构地图后，同步定位与地图构建系统的后台线程将对三维重构地图的内容和结构进行优化。

4.根据权利要求2所述的同步定位与地图构建方法，其特征在于，完成构建现实环境的三维重构地图后，所述步骤1还包括：判断同步定位与地图构建系统内是否出现闭环，若没有出现则重复步骤1，若出现则进行闭环处理。

5.根据权利要求2所述的同步定位与地图构建方法，其特征在于，所述三维重构地图能够基于选择指令在任意的位置显示出带真实尺度的实境图像。

6.根据权利要求3所述的同步定位与地图构建方法，其特征在于，同步定位与地图构建系统的后台线程将对三维重构地图的内容和结构进行优化，具体包括：

首先，将关键帧通过DBoW库转换成关键词包表示；然后通过三角化不同关键帧的ORB特征点以构建新的地图特征点；

然后，在新的特征点后面的3个关键帧建立后，按照特定条件确认地图特征点是否出错，将出错的特征点进行裁减；

然后，在处理完新加入的地图特征点后，再利用光束平差法去调整局部偏差，最后再去掉满足预设重复条件的关键帧。

7.根据权利要求3所述的同步定位与地图构建方法，其特征在于，所述方法还包括对同步定位与地图构建系统进行全局优化，具体包括：首先，通过DBOW库计算当前帧的关键词向量与其在关键帧图序网中邻近的关键帧的相似性，再从关键帧图序网中找出与当前关键帧相似的帧，并进行图像关联一致性测试；然后计算从当前关键帧到回路关键帧的相似变换，利用持续得到的相邻关键帧的相似变换，对所有回路中的每一帧进行修正。