CN110849380B - 一种基于协同vslam的地图对齐方法及系统 - Google Patents
一种基于协同vslam的地图对齐方法及系统 Download PDFInfo
- Publication number
- CN110849380B CN110849380B CN201911032229.2A CN201911032229A CN110849380B CN 110849380 B CN110849380 B CN 110849380B CN 201911032229 A CN201911032229 A CN 201911032229A CN 110849380 B CN110849380 B CN 110849380B
- Authority
- CN
- China
- Prior art keywords
- maps
- map
- matching
- alignment
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于协同VSLAM的地图对齐方法及系统，在本申请提供的方法中，首先通过多个VSLAM系统基于当前环境对应建立多个地图，然后对多个地图进行分析以确定多个地图间的匹配特征点，基于匹配特征点将多个地图合并成一张联合地图，最后对合并后的联合地图进行优化残差，实现多个地图的对齐。基于本申请提供的基于协同VSLAM的地图对齐方法及系统，选取ORB‑SLAM作为框架，对关键帧的特征匹配和地图对齐进行研究，针对不同地图的尺度比例因子进行计算，进一步提高了VSLAM的建图精度。
Description
技术领域
本申请涉及计算机视觉领域，特别是涉及一种基于协同VSLAM的地图对齐方法及系统。
背景技术
VSLAM(Vision Simultaneous Localization and Mapping)是当前的视觉即时定位和建图技术，使用视觉传感器采集图像数据，并根据采集的图像建立地图。关于多相机协同VSLAM问题主要研究热点包括三个方面，一是任务分配方式和机器间的通信，二是相机或传感器位姿的数据关联，三是依赖数据关联的地图拼接。然而，现在大多研究方向还是更多的聚集在单机上，对于VSLAM的研究还相对较少。随着可用记录的数量增加，如何将来自多个数据源的地图合并到环境的公共聚合描述是现在亟待解决的问题。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面，提供了一种基于协同VSLAM的地图对齐方法，包括：
通过多个VSLAM系统基于当前环境对应建立多个地图；
对所述多个地图进行分析以确定所述多个地图间的匹配特征点，并基于所述匹配特征点将所述多个地图合并成一张联合地图；
对合并后的所述联合地图进行优化残差，实现所述多个地图的对齐。
可选地，所述对所述多个地图进行分析以确定所述多个地图间的匹配特征点，并基于所述匹配特征点将所述多个地图合并成一张联合地图，包括：
检测所述多个地图之间的相似度大于预设数值的至少一个相似位置点，基于所述相似位置点确定每一张地图与其他地图之间的匹配特征点；
在所述多个地图中选取至少一组匹配组；每组所述匹配组中包括两个地图，且所述两个地图具有至少有一个匹配特征点；
将各组所述匹配组中的两个地图融合后计算所述两个地图间的对齐变换；
通过各组匹配组中所述两个地图间的对齐变换，将所述多个地图合并成一张联合地图。
可选地，所述将各组所述匹配组中的两个地图融合后计算所述两个地图间的对齐变换，包括：
对于任意一组匹配组，融合所述匹配组中的两个地图，计算所述两个地图的尺度比例因子，实现所述两个地图间的对齐变换。
可选地，所述计算所述两个地图的尺度比例因子，包括：
基于所述两个地图的匹配特征点之间的点距离，产生两个基于直方图的指纹图像；
应用动态时间扭曲方法对所述两个基于直方图的指纹图像进行对齐，以获得所述两个地图之间的相应距离的比值，计算所述两张地图的尺度比例因子。
根据本申请的另一个方面，提供了一种基于协同VSLAM的地图对齐系统，包括：
地图建立模块，其配置成通过多个VSLAM系统基于当前环境对应建立多个地图；
地图合并模块，其配置成对所述多个地图进行分析以确定所述多个地图间的匹配特征点，并基于所述匹配特征点将所述多个地图合并成一张联合地图；
地图对齐模块，其配置成对合并后的所述联合地图进行优化残差，实现所述多个地图的对齐。
可选地，所述地图合并模块，其还配置成：
检测所述多个地图之间的相似度大于预设数值的至少一个相似位置点，基于所述相似位置点确定每一张地图与其他地图之间的匹配特征点；
在所述多个地图中选取至少一组匹配组；每组所述匹配组中包括两个地图，且所述两个地图具有至少有一个匹配特征点；
将各组所述匹配组中的两个地图融合后计算所述两个地图间的对齐变换；
通过各组匹配组中所述两个地图间的对齐变换，将所述多个地图合并成一张联合地图。
可选地，所述地图合并模块，其还配置成：
对于任意一组匹配组，融合所述匹配组中的两个地图，计算所述两个地图的尺度比例因子，实现所述两个地图间的对齐变换。
可选地，所述地图合并模块，其还配置成：
基于所述两个地图的匹配特征点之间的点距离，产生两个基于直方图的指纹图像；
应用动态时间扭曲方法对所述两个基于直方图的指纹图像进行对齐，以获得所述两个地图之间的相应距离的比值，计算所述两张地图的尺度比例因子。
根据本申请的另一个方面，还提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
根据本申请的另一个方面，还提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上述任一项所述的方法。
本申请提供了一种基于协同VSLAM的地图对齐方法及系统，在本申请提供的方法中，首先通过多个VSLAM系统基于当前环境对应建立多个地图，然后对多个地图进行分析以确定多个地图间的匹配特征点，基于匹配特征点将多个地图合并成一张联合地图，最后对合并后的联合地图进行优化残差，实现多个地图的对齐。基于本申请提供的基于协同VSLAM的地图对齐方法及系统，选取ORB-SLAM作为框架，对关键帧的特征匹配和地图对齐进行研究，针对不同地图的尺度比例因子进行计算，进一步提高了VSLAM的建图精度。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本申请实施例的基于协同VSLAM的地图对齐方法流程示意图；
图2是根据本申请实施例的基于协同VSLAM的地图合并流程示意图；
图3是根据本申请实施例的基于协同VSLAM的地图对齐系统结构示意图；
图4是根据本申请实施例的计算设备结构示意图；
图5是根据本申请实施例的计算机可读存储介质示意图。
具体实施方式
目前基于VSLAM的地图对齐方法如PTAM，提出并实现了跟踪和建图的并行化，首次区分出前后端(跟踪需要实时响应图像数据，地图优化放在后端进行)，后续许多视觉SLAM系统设计也采取了类似的方法。PTAM使用非线性优化作为后端的方案，而不是滤波器的后端方案。同时提出了关键帧(keyframes)机制，即不用精细处理每一幅图像，而是把几个关键图像串起来优化其轨迹和地图。
图1是根据本申请实施例的基于协同VSLAM的地图对齐方法流程示意图。参见图1所知，本申请实施例提供的基于协同VSLAM的地图对齐方法可以包括：
步骤S101：通过多个VSLAM系统基于当前环境对应建立多个地图；
步骤S102：对多个地图进行分析以确定多个地图间的匹配特征点，并基于匹配特征点将多个地图合并成一张联合地图；
步骤S103：对合并后的联合地图进行优化残差，实现多个地图的对齐。
本申请实施例提供了一种基于协同VSLAM的地图对齐方法及系统，在本申请提供的方法中，首先通过多个VSLAM系统基于当前环境对应建立多个地图，然后对多个地图进行分析以确定多个地图间的匹配特征点，基于匹配特征点将多个地图合并成一张联合地图，最后对合并后的联合地图进行优化残差，实现多个地图的对齐。本申请实施例提供的基于协同VSLAM的地图对齐方法采用多个VSLAM系统分别基于各自的视角构建多个不同视角的环境地图，并通过对构建的多视角的协同SLAM地图进行融合对齐，以更加精准并迅速构建环境地图。
SLAM(simultaneous localization and mapping，同步定位与地图构建)，是指根据传感器的信息，一边计算自身位置，一边构建环境地图的过程，解决在未知环境下运动时的定位与地图构建问题。而VSLAM(visual simultaneous localization and mapping，视觉同步定位与地图构建)则比SLAM更为高级，是基于视觉的定位与建图，中文也叫视觉SLAM，相当于装上眼睛，通过眼睛来完成定位和扫描，更加精准和迅速。
本实施例所采用的多VSLAM系统，主要采用ORB-SLAM作为框架，对关键帧的特征匹配和地图对齐进行研究。ORB-SLAM是一个基于特征点的实时单目SLAM系统，在大规模的、小规模的、室内室外的环境都可以运行。该系统对剧烈运动也具有鲁棒性，支持宽基线的闭环检测和重定位，包括全自动初始化。该系统包含了所有SLAM系统共有的模块：跟踪(Tracking)、建图(Mapping)、重定位(Relocalization)、闭环检测(Loop closing)。由于ORB-SLAM系统是基于特征点的SLAM系统，故其能够实时计算出相机的轨线，并生成场景的稀疏三维重建结果。ORB-SLAM2在ORB-SLAM的基础上，还支持标定后的双目相机和RGB-D相机。
同时，基于单目的ORB-SLAM是第一个用于单目、双目和RGB-D的开源SLAM系统，包括闭环、重定位和地图重用；RGB-D结果显示，通过使用bundle adjustment(最小化重投影误差)，比基于迭代最近点(ICP)或者光度和深度误差最小化的最先进方法获得更高的精度；通过使用近距离和远距离的立体点和单目观察结果，立体效果比最先进的直接立体SLAM更准确；轻量级的本地化模式，当建图不可用时，可以有效地重新使用地图。
本申请采用的实验数据集为TUM数据集，包含RGB-D数据和周围环境的真实轨迹数据的大型数据集，目的是为视觉测距和视觉SLAM系统的评估建立新的基准。数据集包含Microsoft Kinect传感器沿传感器周围环境的真实轨迹的颜色和深度图像。以全帧速率(30Hz)和传感器分辨率(640×480)记录数据。周围环境的真实轨迹是从具有多个高速跟踪摄像机(100Hz)的高精度运动捕捉系统获得的。
参见上述步骤S101，使用多个VSLAM系统为周围环境建立地图，其中，选择上文提及的ORB-SLAM算法作为VSLAM系统的建图方法，因为基于特征的VSLAM使得检测匹配位置的下一任务更容易和准确。
建立多个地图之后，就可以执行步骤S102，检测地图中的类似位置，然后对每对匹配特征计算对齐变化，将多个地图合并成一张联合地图，如图2所示，具体实施过程如下：
步骤S201：基于内容的图像检索，对多个地图进行分析识别地图间的匹配特征；
步骤S202：通过使用提供的匹配特征确定地图间的对齐变换；
步骤S203：通过确定的对齐变换，将多个地图合并成一张联合地图。
如步骤S201所述，对于ORB-SLAM生成的基于特征的地图，多地图间的匹配特征识别可以使用基于内容的图像检索方法和词袋(BoW)完成的。
词袋(BagofWords,简称BOW)，就是将文本看作是一系列词的集合。通俗的说，由于词很多，所以就用袋子把它们装起来，简称词袋。词袋最早出现在神经语言程序学(NLP)和信息检索(IR)领域，该模型忽略掉文本的语法和语序，用一组无序的单词来表达一段文字或者一个文档。BOW的概念最初不是针对计算机视觉的，但计算机视觉会使用该概念的升级。与应用到文本的BOW模型类比，把BOW模型升级应用到计算机视觉，其中把图像的特征当作单词，把图像“文字化”之后，大规模的进行图像检索。
在确定多地图间的匹配特征之后，执行步骤S202，这是合并地图过程中最重要的步骤，本申请使用Horn方法实现两地图对齐变换的估计，使用Horn方法的多个RANSAC迭代来确定需要合并的两个地图之间的对齐变换。该方法使用三个3d点对来确定闭环检测解的变换。由于两个地图都已创建到此步骤，因此每个关键帧都包含此类3d点。对齐过程很简单，在通过确定异常值的数量来验证估计的变换之后，将先前的地图变换为当前的地图坐标并融合已经具有对应关系的复制的3d地图点。
RANSAC(全称random sample consensus,随机抽样一致算法)，即采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。它是一种不确定的算法——有一定的概率得出一个合理的结果，为了提高概率必须提高迭代次数。
3d地图点就是上述提及的基于两个地图的匹配特征点，它是通过关键帧来构造的三维坐标。先对两个地图选取关键帧，然后对两个地图匹配关键帧中的3d地图点，然后通过匹配后的3d地图点进行地图融合。
在地图合并的时候，融合至少有一个匹配特征的两个地图，与闭环检测相比，闭环检测由于尺度漂移，地图的比例仅略有变化，但是在本申请中由不同系统捕获的两个地图，尺度则可能有显著变化。所以，在变换估计过程中，必须要考虑这个差异。
总体来说，先检测多个地图之间的相似度大于预设数值的至少一个相似位置点，并基于相似位置点确定每一张地图与其他地图之间的匹配特征点；再在多个地图中选取至少一组匹配组，其中，每组匹配组中包括两个地图，且两个地图具有至少有一个匹配特征点；然后将各组匹配组中的两个地图融合后计算两个地图间的对齐变换；最后通过各组匹配组中两个地图间的对齐变换，将多个地图合并成一张联合地图。
在本申请一可选实施例中，对于任意一组匹配组，融合匹配组中的两个地图，要计算两个地图的尺度比例因子，从而实现两个地图间的对齐变换。
可选地，在计算两个地图的尺度比例因子时，可以包括：基于两个地图的匹配特征点之间的点距离，产生两个基于直方图的指纹图像；然后应用动态时间扭曲方法对两个基于直方图的指纹图像进行对齐，以获得所述两个地图之间的相应距离的比值，即两张地图的尺度比例因子。
由于两个地图都是独立初始化的，因此它们之间的比例因子可能很大，需要确定。通过使用相应关键帧中的所有地图点之间的点距离来利用在两个地图位置中的几何形状，这些距离产生两个基于直方图的指纹图像(下文简称，fingerprint)。直方图是对数据统计的一种方法，描述的是对于像素强度的分布形式，通过自设的强度，来统计基于该强度值上的像素分布情况。
如果两个关键帧都看到相同的几何形状，就像类似位置的情况一样，那么它们各自的fingerprint只会因warping因子(即扭曲因子)而不同。通过对两个fingerprint应用动态时间扭曲来确定比例因子，所有三维地图点之间的欧氏距离(欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式)d1或d2转换为核密度估计h(d1)和h(d2)，称之为尺度估计指纹(SE-fingerprint)，对这两个地图的类似关键帧执行此操作。核密度估计(kernel density estimation)是在概率论中用来估计未知的密度函数，属于非参数检验方法之一，使用内核密度估计值的优点是，每个距离都使用一个内核在多个bin上绑定，从而最小化误差的影响。
动态时间扭曲(Dynamic time warping，英文简称DTW)，是一套基于动态规划(Dynamic Programming，简称DP)的方法，可以有效地降低搜寻比对的时间，DTW的目标就是要找出两个地图之间的最短距离。
假设s1和s2是两张地图的比例尺，可以观察到，SE-fingerprint h(d2)相对于SE-fingerprinth (d1)被弯曲了s2/s1的距离。因此，动态时间扭曲方法对两个fingerprint进行对齐，以获得所有距离值d'1和d'2的对应关系。距离对应给出的比值的平均值为确定的尺度因子。
最后，执行步骤S103，将合并后的地图使用全局BA方法来优化残差，最终实现多个地图的对齐。
BA(全称Bundle Adjustment)，中文翻译“光束法平差”，本质是一个图优化模型，目的是最小化重投影误差，用于最后一步优化，优化相机位姿和世界点，其目的就是为每一个匹配好的特征点建立方程，然后联立，形成超定方程，解出最优的位姿矩阵或空间点坐标(两者可以同时优化)。全局BA用于全局过程中的相机位姿，使相机经过长时间、长距离的移动之后，相机位姿还比较准确。
残差(residual)，在数理统计中是指实际观察值与估计值(拟合值)之间的差，如果回归模型正确的话，我们可以将残差看作误差的观测值。优化残差(Residualoptimization)，就是应用残差模型对原系统模型进行优化，使用全局BA方法来优化残差，使合并后的地图进一步的拟合，最终实现多个地图的对齐。
基于同一发明构思，本申请实施例还提供了一种基于协同VSLAM的地图对齐系统300，如图3所示，该系统可以包括：
地图建立模块310,其配置成通过多个VSLAM系统基于当前环境对应建立多个地图；
地图合并模块320，其配置成对多个地图进行分析以确定多个地图间的匹配特征点，并基于匹配特征点将多个地图合并成一张联合地图；
地图对齐模块330，其配置成对合并后的联合地图进行优化残差，实现多个地图的对齐。
在本发明一可选实施例中，地图合并模块320，其还可以配置成:
检测多个地图之间的相似度大于预设数值的至少一个相似位置点，基于相似位置点确定每一张地图与其他地图之间的匹配特征点；
在多个地图中选取至少一组匹配组；每组匹配组中包括两个地图，且两个地图具有至少有一个匹配特征点；
将各组匹配组中的两个地图融合后计算两个地图间的对齐变换；
通过各组匹配组中两个地图间的对齐变换，将多个地图合并成一张联合地图。
在本发明一可选实施例中，，地图合并模块320，其还配置成：
对于任意一组匹配组，融合匹配组中的两个地图，计算两个地图的尺度比例因子，实现两个地图间的对齐变换。
在本发明一可选实施例中，地图合并模块320，其还可以配置成:
基于两个地图的匹配特征点之间的点距离，产生两个基于直方图的指纹图像；
应用动态时间扭曲方法对两个基于直方图的指纹图像进行对齐，以获得两个地图之间的相应距离的比值，计算两张地图的尺度比例因子。
本申请提供了一种基于协同VSLAM的地图对齐方法及系统，在本申请提供的方法中，首先通过多个VSLAM系统基于当前环境对应建立多个地图，然后对多个地图进行分析以确定多个地图间的匹配特征点，基于匹配特征点将多个地图合并成一张联合地图，最后对合并后的联合地图进行优化残差，实现多个地图的对齐。基于本申请提供的基于协同VSLAM的地图对齐方法及系统，选取ORB-SLAM作为框架，对关键帧的特征匹配和地图对齐进行研究，针对不同地图的尺度比例因子进行计算，进一步提高了VSLAM的建图精度。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
本申请实施例还提供了一种计算设备，参照图4，该计算设备包括存储器420、处理器410和存储在所述存储器420内并能由所述处理器410运行的计算机程序，该计算机程序存储于存储器420中的用于程序代码的空间430，该计算机程序在由处理器410执行时实现用于执行任一项根据本发明的方法步骤431。
本申请实施例还提供了一种计算机可读存储介质。参照图5，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序431′，该程序被处理器执行。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种基于协同VSLAM的地图对齐方法，包括：
通过多个VSLAM系统基于当前环境对应建立多个地图；
采用基于内容的图像检索方法，对所述多个地图进行分析以确定所述多个地图间的匹配特征点，并基于所述匹配特征点将所述多个地图合并成一张联合地图；
对合并后的所述联合地图进行优化残差，实现所述多个地图的对齐；
所述对所述多个地图进行分析以确定所述多个地图间的匹配特征点，并基于所述匹配特征点将所述多个地图合并成一张联合地图，包括：
检测所述多个地图之间的相似度大于预设数值的至少一个相似位置点，基于所述相似位置点确定每一张地图与其他地图之间的匹配特征点；
在所述多个地图中选取至少一组匹配组；每组所述匹配组中包括两个地图，且所述两个地图具有至少有一个匹配特征点；
将各组所述匹配组中的两个地图融合后利用Horn方法的多个RANSAC随机抽样一致算法迭代计算所述两个地图间的对齐变换；其中，对于任意一组匹配组，融合所述匹配组中的两个地图，计算所述两个地图的尺度比例因子，实现所述两个地图间的对齐变换；
通过各组匹配组中所述两个地图间的对齐变换，将所述多个地图合并成一张联合地图；
其中，所述计算所述两个地图的尺度比例因子，包括：基于所述两个地图的匹配特征点之间的点距离，产生两个基于直方图的指纹图像；应用动态时间扭曲方法对所述两个基于直方图的指纹图像进行对齐，以获得所述两个地图之间的相应距离的比值，计算所述两张地图的尺度比例因子。
2.一种基于协同VSLAM的地图对齐系统，包括：
地图建立模块，其配置成通过多个VSLAM系统基于当前环境对应建立多个地图；
地图合并模块，其配置成采用基于内容的图像检索方法，对所述多个地图进行分析以确定所述多个地图间的匹配特征点，并基于所述匹配特征点将所述多个地图合并成一张联合地图；
地图对齐模块，其配置成对合并后的所述联合地图进行优化残差，实现所述多个地图的对齐；
所述地图合并模块，其还配置成：采用基于内容的图像检索方法，检测所述多个地图之间的相似度大于预设数值的至少一个相似位置点，基于所述相似位置点确定每一张地图与其他地图之间的匹配特征点；在所述多个地图中选取至少一组匹配组；每组所述匹配组中包括两个地图，且所述两个地图具有至少有一个匹配特征点；
将各组所述匹配组中的两个地图融合后利用Horn方法计算所述两个地图间的对齐变换；其中，对于任意一组匹配组，融合所述匹配组中的两个地图，计算所述两个地图的尺度比例因子，实现所述两个地图间的对齐变换；通过各组匹配组中所述两个地图间的对齐变换，将所述多个地图合并成一张联合地图；
所述地图合并模块，其还配置成：基于所述两个地图的匹配特征点之间的点距离，产生两个基于直方图的指纹图像；应用动态时间扭曲方法对所述两个基于直方图的指纹图像进行对齐，以获得所述两个地图之间的相应距离的比值，计算所述两张地图的尺度比例因子。
3.一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1所述的方法。
4.一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911032229.2A CN110849380B (zh) | 2019-10-28 | 2019-10-28 | 一种基于协同vslam的地图对齐方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911032229.2A CN110849380B (zh) | 2019-10-28 | 2019-10-28 | 一种基于协同vslam的地图对齐方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110849380A CN110849380A (zh) | 2020-02-28 |
| CN110849380B true CN110849380B (zh) | 2022-04-22 |
Family
ID=69599703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911032229.2A Active CN110849380B (zh) | 2019-10-28 | 2019-10-28 | 一种基于协同vslam的地图对齐方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110849380B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112985404A (zh) * | 2021-02-09 | 2021-06-18 | 广州小鹏自动驾驶科技有限公司 | 一种停车场众包地图生成方法、装置、设备和介质 |
| WO2023006213A1 (en) * | 2021-07-30 | 2023-02-02 | Huawei Technologies Co., Ltd. | Device and method for navigation |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106272423A (zh) * | 2016-08-31 | 2017-01-04 | 哈尔滨工业大学深圳研究生院 | 一种针对大尺度环境的多机器人协同制图与定位的方法 |
| US9773313B1 (en) * | 2014-01-03 | 2017-09-26 | Google Inc. | Image registration with device data |
| CN108227717A (zh) * | 2018-01-30 | 2018-06-29 | 中国人民解放军陆军装甲兵学院 | 基于orb特征的多移动机器人地图融合方法及融合平台 |
| CN108235725A (zh) * | 2018-02-26 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 基于云端的轨迹地图生成方法、装置、设备及应用程序 |
| CN109579843A (zh) * | 2018-11-29 | 2019-04-05 | 浙江工业大学 | 一种空地多视角下的多机器人协同定位及融合建图方法 |
| CN109978755A (zh) * | 2019-03-11 | 2019-07-05 | 广州杰赛科技股份有限公司 | 全景图像合成方法、装置、设备与存储介质 |
| CN110276826A (zh) * | 2019-05-23 | 2019-09-24 | 全球能源互联网研究院有限公司 | 一种电网作业环境地图的构建方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2011305154B2 (en) * | 2010-09-24 | 2015-02-05 | Irobot Corporation | Systems and methods for VSLAM optimization |
| US20160140729A1 (en) * | 2014-11-04 | 2016-05-19 | The Regents Of The University Of California | Visual-inertial sensor fusion for navigation, localization, mapping, and 3d reconstruction |
| US10990829B2 (en) * | 2017-04-28 | 2021-04-27 | Micro Focus Llc | Stitching maps generated using simultaneous localization and mapping |
| CN107862720B (zh) * | 2017-11-24 | 2020-05-22 | 北京华捷艾米科技有限公司 | 基于多地图融合的位姿优化方法及位姿优化系统 |
-
2019
- 2019-10-28 CN CN201911032229.2A patent/CN110849380B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9773313B1 (en) * | 2014-01-03 | 2017-09-26 | Google Inc. | Image registration with device data |
| CN106272423A (zh) * | 2016-08-31 | 2017-01-04 | 哈尔滨工业大学深圳研究生院 | 一种针对大尺度环境的多机器人协同制图与定位的方法 |
| CN108227717A (zh) * | 2018-01-30 | 2018-06-29 | 中国人民解放军陆军装甲兵学院 | 基于orb特征的多移动机器人地图融合方法及融合平台 |
| CN108235725A (zh) * | 2018-02-26 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 基于云端的轨迹地图生成方法、装置、设备及应用程序 |
| CN109579843A (zh) * | 2018-11-29 | 2019-04-05 | 浙江工业大学 | 一种空地多视角下的多机器人协同定位及融合建图方法 |
| CN109978755A (zh) * | 2019-03-11 | 2019-07-05 | 广州杰赛科技股份有限公司 | 全景图像合成方法、装置、设备与存储介质 |
| CN110276826A (zh) * | 2019-05-23 | 2019-09-24 | 全球能源互联网研究院有限公司 | 一种电网作业环境地图的构建方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| 《一种基于DTW的图像时间序列相似度检索方法》;王帆;《中国优秀硕士学位论文全文数据库·信息科技辑》;20190415;第5、43-46页 * |
| 《一种多传感器融合的室内三维导航系统》;陈立建等;《传感技术学报》;20180427;第31卷(第4期);第551-561页 * |
| 《单目同时定位与建图中的地图恢复融合技术》;张剑华等;《中国图象图形学报》;20180316;第23卷(第3期);第372-383页 * |
| 《基于视觉的多机器人室内协同SLAM算法的研究与实现》;叶必鹏;《中国优秀硕士学位论文全文数据库•信息科技辑》;20190115;第4、45-48页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110849380A (zh) | 2020-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Tracking everything everywhere all at once | |
| WO2020259248A1 (zh) | 基于深度信息的位姿确定方法、装置、介质与电子设备 | |
| Labbé et al. | Cosypose: Consistent multi-view multi-object 6d pose estimation | |
| CN110335316B (zh) | 基于深度信息的位姿确定方法、装置、介质与电子设备 | |
| Liu et al. | Context-aware three-dimensional mean-shift with occlusion handling for robust object tracking in RGB-D videos | |
| Cheng et al. | Improving monocular visual SLAM in dynamic environments: an optical-flow-based approach | |
| Meimetis et al. | Real-time multiple object tracking using deep learning methods | |
| Kähler et al. | Real-time large-scale dense 3D reconstruction with loop closure | |
| Bae et al. | High-precision vision-based mobile augmented reality system for context-aware architectural, engineering, construction and facility management (AEC/FM) applications | |
| US9213899B2 (en) | Context-aware tracking of a video object using a sparse representation framework | |
| Chen et al. | Rise of the indoor crowd: Reconstruction of building interior view via mobile crowdsourcing | |
| CN109584302B (zh) | 相机位姿优化方法、装置、电子设备和计算机可读介质 | |
| Zhang et al. | Robust metric reconstruction from challenging video sequences | |
| US20160048978A1 (en) | Method and apparatus for automatic keyframe extraction | |
| CN110070578B (zh) | 一种回环检测方法 | |
| Cao et al. | Fast and robust feature tracking for 3D reconstruction | |
| CN113281780B (zh) | 对图像数据进行标注的方法、装置及电子设备 | |
| CN110849380B (zh) | 一种基于协同vslam的地图对齐方法及系统 | |
| Tripathi et al. | Tracking the known and the unknown by leveraging semantic information | |
| Merino‐Gracia et al. | Real‐time text tracking in natural scenes | |
| CN113763466B (zh) | 一种回环检测方法、装置、电子设备和存储介质 | |
| US9135715B1 (en) | Local feature cameras for structure from motion (SFM) problems with generalized cameras | |
| Lai et al. | A survey of deep learning application in dynamic visual SLAM | |
| CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
| Xia et al. | YOLO-Based Semantic Segmentation for Dynamic Removal in Visual-Inertial SLAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Map Alignment Method and System Based on Collaborative VSLAM Effective date of registration: 20230713 Granted publication date: 20220422 Pledgee: Bank of Jiangsu Limited by Share Ltd. Beijing branch Pledgor: BEIJING MOVIEBOOK SCIENCE AND TECHNOLOGY Co.,Ltd. Registration number: Y2023110000278 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |