CN109242899A - 一种基于在线视觉词典的实时定位与地图构建方法 - Google Patents

Abstract

本发明提供了一种基于在线视觉词典的实时定位与地图构建方法，包括：创建图像数据库并采集视频流，逐帧提取图像特征；利用图像特征、词典和图像数据库进行地图的构建，并同时更新在线视觉词典和图像数据库；利用当前图像的词袋向量和数据库中的历史词袋向量进行相似性检测，做回环检测，修正追踪和建图的误差。本发明克服了已有的基于离线词典的SLAM系统中耗时长，词典查询效率低，占用存储器空间多以及词典对场景适配性低的不足，提高了词典查询效率，达到了耗时少，占用存储器空间少，对场景适配性高的效果。

Description

一种基于在线视觉词典的实时定位与地图构建方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于在线视觉词典的实时定位与地图构建方法。

背景技术

近年来，随着计算机视觉技术的发展，多视图几何中的SLAM(SimultaneousLocalization and Mapping)逐步成为计算机视觉领域的热门研究方向。SLAM即实时定位与地图构建，能使搭载特定传感器的主体在没有环境先验信息的情况下在运动过程中同时实现环境的模型建立和对自己运动的估计。这使得SLAM的应用领域有很多，主要的有机器人定位导航领域、无人驾驶领域、无人机领域、增强现实和虚拟现实等。

现有的SLAM系统是基于离线视觉词典，存在的缺陷为：耗时长、词典查询效率低、占用存储器空间多以及词典对场景适配性低。因此构造出耗时更少、词典查询效率更高、占用存储器空间更低以及词典对场景适配性更高的SLAM系统，具有非常大的研究意义与实用价值。

发明内容

为了克服已有的基于离线词典的SLAM系统中耗时长，词典查询效率低，占用存储器空间多以及词典对场景适配性低的不足，本发明提供一种耗时更少，可提高词典查询效率，占用存储器空间更少以及词典对场景适配性更高的一种基于在线视觉词典的实时定位与地图构建方法。

本发明解决其技术问题所采用的技术方案是：

一种基于在线视觉词典的实时定位与地图构建方法，包括：

步骤一、创建图像数据库；

步骤二、摄像头采集视频流，逐帧提取视频流中的图像特征；

步骤三、利用提取的图像特征和在线视觉词典，计算当前图像的词袋向量并存入图像数据库；

步骤四、利用提取的图像特征和词袋向量追踪当前相机的位姿，并基于提取的图像特征，并行更新在线视觉词典，更新图像数据库，同时利用追踪结果，并行进行地图的建图；追踪失败时，利用当前图像词袋向量在历史图像数据库中查找相似图像，做重定位，弥补追踪失败的空缺；

步骤五、利用当前图像的词袋向量和数据库中的历史词袋向量进行相似检测，做回环检测，修正追踪和建图的误差。

进一步的，所述图像数据库包括索引表和倒排索引表；

所述索引表用于存储图像的词袋向量；

所述倒排索引表用于存储视觉词汇出现过的图像清单。

其中，所述图像特征为：图像的局部描述符。

进一步的，所述步骤三的具体包括：

4.1)将当前图像的图像特征和在线视觉词典匹配，检索出对应的视觉词汇；

4.2)统计当前图像各项视觉词汇出现频率，计算视觉词汇权重，构建词袋向量并存入图像数据库索引表；

4.3)利用构建的词袋向量，在图像数据库倒排索引表中对应视觉词汇的记录中，添加该当前图像的索引并存储其权重。

进一步的，所述基于提取的图像特征，并行地更新在线视觉词典，更新图像数据库的步骤包括：

5.1)将每一帧图像的视觉特征存入内存，当内存中视觉特征达到预定值时，取出视觉特征，更新在线视觉词典；

5.2)若更新前的在线视觉词典为空，对视觉特征进行聚类；若更新前的在线视觉词典不为空，将视觉特征与已有聚类进行匹配，对匹配失败的视觉特征重新聚类，合并相似聚类，更新聚类权重，删除低频聚类；使得聚类结果中每一个子类对应一个视觉词汇；

5.3)在线视觉词典更新完后，利用更新后的在线视觉词典更新图像数据库。

进一步的，所述步骤5.3)具体包括：

对于在线视觉词典中删除的视觉词汇，则删除图像数据库倒排索引表中对应的索引记录；

对于在线视觉词典中合并的相似的视觉词汇，则整合图像数据库倒排索引表中对应的索引记录；

对于在线视觉词典中新建的视觉词汇，则在图像数据库倒排索引表中创建新的记录；

对于在线视觉词典更新的视觉词汇出现的图像，重新计算这些图像的词袋向量，更新图像数据库。

进一步的，所述同时利用追踪结果，并行进行地图的建图的步骤包括：

将相邻两帧图像利用图像特征或词袋向量进行特征匹配；

利用匹配结果和对极几何约束求解相机的空间位置和朝向；

利用已经构建的部分点云地图，重投影到当前帧进行匹配，利用匹配结果用光束平差法对相机的空间位置和朝向作优化；

利用图像特征和追踪计算的相机位置和朝向，并行地使用三角测量方法计算出特征点对应的地图点坐标，实现地图的构建。

进一步的，所述追踪失败时，利用当前图像词袋向量在历史图像数据库中查找相似图像，做重定位的步骤具体包括：

利用当前图像词袋向量，在图像数据库中找到相同视觉词汇出现的所有历史图像，计算词袋向量的相似性，选出相似的历史图像；

在相似的历史图像中，排除出现时间与当前相邻近的图像，若存在相似不相邻的图像，则进行重定位是否成功的决策；

若重定位决策成功，则利用最相似的历史图像的相机位置和朝向计算当前图像的相机位置和朝向，实现重定位。

进一步的，所述步骤五具体包括：

利用当前图像词袋向量在图像数据库中找到相同视觉词汇出现的所有历史图像；

计算词袋向量的相似性，选出最相似的历史图像；

在相似的历史图像中，排除出现时间与当前相邻近的图像，若存在相似不相邻的图像，则进行是否有回环的决策，若有回环，则修正追踪和建图的误差。

本发明与现有技术相比，具有如下优点和有益效果：

本发明使用了在线词典，相比以前依赖于离线词典的SLAM系统，在线词典的使用，使得系统节省了耗时的磁盘文件的载入阶段，占用存储器空间更少，更免去了离线训练词典阶段。在线更新的词典，不仅内存占用规模小，查询效率可以大大提升，而且相比大规模通用型词典，在线词典对当前场景有相当高的适配性，可以获得相当高的相似性检测结果。

附图说明

图1是一种基于在线视觉词典的实时定位与地图构建方法的流程图；

图2是一种基于在线视觉词典的实时定位与地图构建方法中计算词袋向量并存入数据库的流程图；

图3是一种基于在线视觉词典的实时定位与地图构建方法中正常追踪建图的流程图；

图4是一种基于在线视觉词典的实时定位与地图构建方法中重定位建图的流程图；

图5是一种基于在线视觉词典的实时定位与地图构建方法中回环的流程图；

图6是一种基于在线视觉词典的实时定位与地图构建方法中更新词典和数据库的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一具体实施方式，如图1-6所示，本发明提供了一种基于在线视觉词典的实时定位与地图构建方法，包括步骤一至步骤五。

步骤一、创建图像数据库。

其中，所述图像数据库包括索引表和倒排索引表；所述索引表用于存储图像的词袋向量；所述倒排索引表用于存储视觉词汇出现过的图像清单。

步骤二、摄像头采集视频流，逐帧提取视频流中的图像特征。

其中，所述图像特征为：图像的局部描述符。

步骤三、利用提取的图像特征和在线视觉词典，计算当前图像的词袋向量并存入图像数据库。

所述步骤三的具体包括：

4.1)将当前图像的图像特征和在线视觉词典匹配，检索出对应的视觉词汇；

4.2)统计当前图像各项视觉词汇出现频率，计算视觉词汇权重，构建词袋向量并存入图像数据库索引表；

4.3)利用构建的词袋向量，在图像数据库倒排索引表中对应视觉词汇的记录中，添加该当前图像的索引并存储其权重。

步骤四、利用提取的图像特征和词袋向量追踪当前相机的位姿，并基于提取的图像特征，并行更新在线视觉词典，更新图像数据库，同时利用追踪结果，并行进行地图的建图；追踪失败时，利用当前图像词袋向量在历史图像数据库中查找相似图像，做重定位，弥补追踪失败的空缺。

所述基于提取的图像特征，并行地更新在线视觉词典，更新图像数据库的步骤包括：

5.1)将每一帧图像的视觉特征存入内存，当内存中视觉特征达到预定值时，取出视觉特征，更新在线视觉词典；

5.2)若更新前的在线视觉词典为空，对视觉特征进行聚类；若更新前的在线视觉词典不为空，将视觉特征与已有聚类进行匹配，对匹配失败的视觉特征重新聚类，合并相似聚类，更新聚类权重，删除低频聚类；使得聚类结果中每一个子类对应一个视觉词汇；

5.3)在线视觉词典更新完后，利用更新后的在线视觉词典更新图像数据库。

所述步骤5.3)具体包括：

对于在线视觉词典中删除的视觉词汇，则删除图像数据库倒排索引表中对应的索引记录；对于在线视觉词典中合并的相似的视觉词汇，则整合图像数据库倒排索引表中对应的索引记录；对于在线视觉词典中新建的视觉词汇，则在图像数据库倒排索引表中创建新的记录；对于在线视觉词典更新的视觉词汇出现的图像，重新计算这些图像的词袋向量，更新图像数据库。

所述同时利用追踪结果，并行进行地图的建图的步骤包括：将相邻两帧图像利用图像特征或词袋向量进行特征匹配；利用匹配结果和对极几何约束求解相机的空间位置和朝向；利用已经构建的部分点云地图，重投影到当前帧进行匹配，利用匹配结果对相机的空间位置和朝向作优化；利用图像特征和追踪计算的相机位置和朝向，并行地使用三角测量方法计算出特征点对应的地图点坐标，实现地图的构建。

其中，所述追踪失败时，利用当前图像词袋向量在历史图像数据库中查找相似图像，做重定位的步骤具体包括：利用当前图像词袋向量，在图像数据库中找到相同视觉词汇出现的所有历史图像，计算词袋向量的相似性，选出相似的历史图像；在相似的历史图像中，排除出现时间与当前相邻近的图像，若存在相似不相邻的图像，则进行重定位是否成功的决策；若重定位决策成功，则利用最相似的历史图像的相机位置和朝向计算当前图像的相机位置和朝向，实现重定位。

步骤五、利用当前图像的词袋向量和数据库中的历史词袋向量进行相似检测，做回环检测，修正追踪和建图的误差。

步骤五具体包括：利用当前图像词袋向量在图像数据库中找到相同视觉词汇出现的所有历史图像；计算词袋向量的相似性，选出相似的历史图像；在相似的历史图像中，排除出现时间与当前相邻近的图像，若存在相似不相邻的图像，则进行是否有回环的决策，若有回环，则修正追踪和建图的误差。

下面结合附图，对本发明技术方案进行详细解释，方便本领域技术人员理解。

图1所示一种基于在线词典的SLAM方法的流程图：首先，创建图像数据库并采集视频流，逐帧提取图像特征；接着，利用图像特征、词典和图像数据库进行地图的构建，并同时更新在线视觉词典和图像数据库；最后，利用当前图像的词袋向量和数据库中的历史词袋向量进行相似性检测，做回环检测，修正追踪和建图的误差。

图2所示基于在线词典的SLAM方法中计算词袋向量并存入数据库的流程图。可描述为：计算词袋向量并存入数据库实现过程为：首先，将当前图像的特征和视觉词典匹配，检索出对应的视觉词汇；然后，统计当前图像各项视觉词汇出现频率，计算视觉词汇权重，构建词袋向量并存入图像数据库索引表；最后，利用构建的词袋向量，在图像数据库倒排索引表中对应视觉词汇的记录中，添加该图像的索引并存储其权重。

图3所示基于在线词典的SLAM方法中正常追踪建图的流程图。可描述为：正常追踪建图实现过程为：

i、将相邻两帧图像利用图像特征或词袋向量进行特征匹配；

ii、利用匹配结果和对极几何约束求解相机的空间位置和朝向；

iii、利用已经构建的部分点云地图，重投影到当前帧进行匹配，利用匹配结果用光束平差法对相机的空间位置和朝向作优化；

iv、利用图像特征和追踪计算的相机位置和朝向，并行地使用三角测量方法计算出特征点对应的地图点坐标，实现地图的构建。

图4所示基于在线词典的SLAM方法中重定位建图的流程图。可描述为：重定位建图实现过程为：首先，利用当前图像词袋向量，在图像数据库中找到相同视觉词汇出现的所有历史图像，计算词袋向量的相似性，选出相似的历史图像；然后，在相似的历史图像中，排除出现时间与当前相邻近的图像，若存在相似不相邻的图像，则进行重定位是否成功的决策；最后，如果重定位决策成功，则利用最相似的历史图像的相机位置和朝向计算当前图像的相机位置和朝向，实现重定位。

图5所示基于在线词典的SLAM方法中回环的流程图。可描述为：回环实现过程为：首先，利用当前图像词袋向量在图像数据库中找到相同视觉词汇出现的所有历史图像；然后，计算词袋向量的相似性，选出相似的历史图像；最后，在相似的历史图像中，排除出现时间与当前相邻近的图像，若存在相似不相邻的图像，则进行是否有回环的决策，若有回环，则修正追踪和建图的误差。

图6所示基于在线词典的SLAM方法中更新词典和数据库的流程图。可描述为：更新词典和数据库实现过程为：首先，对每一帧图像，将其视觉特征存入内存，当内存中视觉特征足够多时，取出视觉特征，更新视觉词典；然后，判断更新前的词典的状态，若更新前的词典为空，对视觉特征进行聚类；若更新前的词典不为空，先让视觉特征与已有聚类进行匹配，对匹配失败的视觉特征重新聚类，然后合并相似聚类，更新聚类权重，删除低频聚类；其聚类结果中每一个子类对应一个视觉词汇；最后，视觉词典更新完后，利用新的词典更新图像数据库。其中更新图像数据库包含以下步骤：

i、对于词典被删除的视觉词汇，删除图像数据库倒排索引表中对应的索引记录；

ii、对于合并的相似的视觉词汇，整合图像数据库倒排索引表中对应的索引记录；

iii、对于新建的视觉词汇，在图像数据库倒排索引表中创建新的记录；

iv、最后对于上述修改涉及到的图像索引，在图像数据库索引表中重新计算其词袋向量，更新图像数据库。

本发明与现有技术相比，具有如下优点和有益效果：

本发明使用了在线词典，相比以前依赖于离线词典的SLAM系统，在线词典的使用，使得系统节省了耗时的磁盘文件的载入阶段，占用存储器空间更少，更免去了离线训练词典阶段。在线更新的词典，不仅内存占用规模小，查询效率可以大大提升，而且相比大规模通用型词典，在线词典对当前场景有相当高的适配性，可以获得相当高的相似性检测结果。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (9)

1.一种基于在线视觉词典的实时定位与地图构建方法，其特征在于，包括：

步骤一、创建图像数据库；

步骤二、摄像头采集视频流，逐帧提取视频流中的图像特征；

步骤三、利用提取的图像特征和在线视觉词典，计算当前图像的词袋向量并存入图像数据库；

步骤四、利用提取的图像特征和词袋向量追踪当前相机的位姿，并基于提取的图像特征，并行更新在线视觉词典，更新图像数据库，同时利用追踪结果，并行进行地图的建图；追踪失败时，利用当前图像词袋向量在历史图像数据库中查找相似图像，做重定位，弥补追踪失败的空缺；

步骤五、利用当前图像的词袋向量和数据库中的历史词袋向量进行相似检测，做回环检测，修正追踪和建图的误差。

2.如权利要求1所述的方法，其特征在于，所述图像数据库包括索引表和倒排索引表；

所述索引表用于存储图像的词袋向量；

所述倒排索引表用于存储视觉词汇出现过的图像清单。

3.如权利要求1所述的方法，其特征在于，所述图像特征为：图像的局部描述符。

4.如权利要求1-3之一所述的方法，其特征在于，所述步骤三的具体包括：

4.1)将当前图像的图像特征和在线视觉词典匹配，检索出对应的视觉词汇；

4.2)统计当前图像各项视觉词汇出现频率，计算视觉词汇权重，构建词袋向量并存入图像数据库索引表；

4.3)利用构建的词袋向量，在图像数据库倒排索引表中对应视觉词汇的记录中，添加该当前图像的索引并存储其权重。

5.如权利要求1所述的方法，其特征在于，所述基于提取的图像特征，并行地更新在线视觉词典，更新图像数据库的步骤包括：

5.1)将每一帧图像的视觉特征存入内存，当内存中视觉特征达到预定值时，取出视觉特征，更新在线视觉词典；

5.2)若更新前的在线视觉词典为空，对视觉特征进行聚类；若更新前的在线视觉词典不为空，将视觉特征与已有聚类进行匹配，对匹配失败的视觉特征重新聚类，合并相似聚类，更新聚类权重，删除低频聚类；使得聚类结果中每一个子类对应一个视觉词汇；

5.3)在线视觉词典更新完后，利用更新后的在线视觉词典更新图像数据库。

6.如权利要求5所述的方法，其特征在于，所述步骤5.3)具体包括：

对于在线视觉词典中删除的视觉词汇，则删除图像数据库倒排索引表中对应的索引记录；

对于在线视觉词典中合并的相似的视觉词汇，则整合图像数据库倒排索引表中对应的索引记录；

对于在线视觉词典中新建的视觉词汇，则在图像数据库倒排索引表中创建新的记录；

对于在线视觉词典更新的视觉词汇出现的图像，重新计算这些图像的词袋向量，更新图像数据库。

7.如权利要求1所述的方法，其特征在于，所述同时利用追踪结果，并行进行地图的建图的步骤包括：

将相邻两帧图像利用图像特征或词袋向量进行特征匹配；

利用匹配结果和对极几何约束求解相机的空间位置和朝向；

利用已经构建的部分点云地图，重投影到当前帧进行匹配，利用匹配结果用光束平差法对相机的空间位置和朝向作优化；

利用图像特征和追踪计算的相机位置和朝向，并行地使用三角测量方法计算出特征点对应的地图点坐标，实现地图的构建。

8.如权利要求1所述的方法，其特征在于，所述追踪失败时，利用当前图像词袋向量在历史图像数据库中查找相似图像，做重定位的步骤具体包括：

利用当前图像词袋向量，在图像数据库中找到相同视觉词汇出现的所有历史图像，计算词袋向量的相似性，选出相似的历史图像；

在相似的历史图像中，排除出现时间与当前相邻近的图像，若存在相似不相邻的图像，则进行重定位是否成功的决策；

若重定位决策成功，则利用最相似的历史图像的相机位置和朝向计算当前图像的相机位置和朝向，实现重定位。

9.根据权利要求1所述的方法，其特征在于：所述步骤五具体包括：

利用当前图像词袋向量在图像数据库中找到相同视觉词汇出现的所有历史图像；

计算词袋向量的相似性，选出相似的历史图像；

在相似的历史图像中，排除出现时间与当前相邻近的图像，若存在相似不相邻的图像，则进行是否有回环的决策，若有回环，则修正追踪和建图的误差。