CN107818592A - 协作式同步定位与地图构建的方法、系统及交互系统 - Google Patents

Abstract

本发明公开了一种协作式同步定位与地图构建方法、系统及交互系统。方法包括：云端服务器获取初始场景中的初始全局地图以及初始全局重建三维模型；接收各移动终端发送的初始场景中的信息及初始化请求，根据初始场景中的信息和初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；接收各移动终端发送的新的局部关键帧，并更新初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；根据扩展全局地图、扩展全局重建三维模型以及新的局部关键帧，更新与该局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。可以实现各移动终端的协同工作，同时系统实时性、稳定性和鲁棒性都很强。

Description

协作式同步定位与地图构建的方法、系统及交互系统

技术领域

本发明涉及同步定位与地图构建技术领域，特别涉及一种协作式同步定位与地图构建的方法、一种协作式同步定位与地图构建的系统和一种协作式同步定位与地图构建的交互系统。

背景技术

目前，同步定位与地图构建(SLAM，Simultaneous Localization And Mapping)是使移动设备在未知的环境中自动创建地图，并根据对自身状态的估计和地图进行自定位的技术。随着近几年机器人、虚拟现实(VR，Virtual Reality)和增强现实(AR，AugmentReality)

的快速发展，SLAM技术也越来越受关注。SLAM技术本身还不是很成熟，其存在算法复杂度高、输入的传感器数据融合难度大，系统累积误差难以消除等等技术难点。所以目前对SLAM技术的研究多以单个设备的SLAM算法为主，对多设备协同工作的SLAM系统研究的很少。

多设备协作SLAM系统是指由若干个移动设备组成，同时在场景中运行，通过协作进行地图构建和定位，并可以协同完成其他工作的系统。协作式SLAM系统是一项难度很大的课题，但它一定是SLAM技术发展的必然趋势，对机器人、虚拟现实和增强现实等领域的发展有着重要的意义。

中国专利申请CN 105869136 A公开了“一种基于多摄像机的协作式视觉SLAM方法”，该方法中，首先在初始化系统时假定所有的摄像机观测相同的初始场景，然后使用KLT跟踪器对系统中摄像机的每一帧进行特征点的监测和跟踪，接着通过最小化重投影误差来计算摄像头姿态。该方法中每个摄像头独立工作，同时使用静态和动态的点来同步获取所有摄像机的姿态，对不同摄像机的同一帧的三维位置和跟踪特征点重新进行三角测量，然后经过分类的动态和静态的点来估计所有具有视角重叠的摄像机的姿态，将具有视角重叠的摄像机分成同一组并协同工作来进行映射和定位；当摄像机相遇或分离时，摄像机组可以合并和拆分，最终实现摄像机的姿态估计、静态点的地图构建及动态点的三维轨迹跟踪。该方法存在以下不足：一方面该方法在初始化时假定所有的摄像机观测相同的初始场景，这样就大大限制了该方法的灵活性，同时使得初始化难度很大；另一方面对不同摄像机的同一帧三维位置和跟踪特征点重新进行三角测量有两个问题，一是数据帧的同步很难实现，二是三角测量的算法复杂性较高，系统实时性很难保证；还有该方法的协作仅体现在地图构建上，设备之间的任务协作无法实现。

中国专利申请CN 105143821 A公开了“依据SLAM地图的广域定位”，该方法用一个或多个图像来初始化本地环境的基于关键帧的SLAM地图；从移动装置将第一关键帧发送到服务器，以及在移动装置处接收来自服务器的第一全球定位响应；在移动装置处确定移动装置在本地环境内的相应定位，服务器可以从移动装置接收关键帧，并且通过使从所述移动装置接收到的关键帧特征与服务器地图特征匹配来在服务器地图内定位所述关键帧。该方法存在以下不足：一方面是方法中的全球定位所指的广域地图的实现方法不明确，同时方法中也指出客户端可以独立于服务器的服务器地图创建SLAM地图，也会导致不同客户端的SLAM地图的坐标系统不统一，进而无法实现在广域范围内的定位；另一方面该方法中服务器端只是维护广域地图的关键帧、特征点、带有3D位置信息的描述等，并没有存储每个客户端的SLAM信息，也就无法实现客户端之间的任务协作，同样仅能实现构建地图方面的协作。

因此，如何克服现有技术中存在的上述不足，真正意义上实现协作式SLAM系统，不仅能够实现协作式地图构建，同时也能实现多设备间的任务协作，这成为本领域亟待解决的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种协作式同步定位与地图构建的方法、一种协作式同步定位与地图构建的系统和一种协作式同步定位与地图构建的交互系统。。

为了实现上述目的，本发明的第一方面，提供了一种协作式同步定位与地图构建方法，所述方法包括：

云端服务器获取初始场景中的初始全局地图以及初始全局重建三维模型；

云端服务器接收各移动终端发送的初始场景中的信息；

云端服务器接收各移动终端发送的初始化请求，并根据所述初始场景中的信息和所述初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

云端服务器接收各移动终端发送的新的局部关键帧；

云端服务器基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

云端服务器根据所述扩展全局地图、所述扩展全局重建三维模型以及所述新的局部关键帧，更新与该局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。

优选地，所述云端服务器获取初始场景中的初始全局地图的步骤包括：

所述云端服务器在所述初始场景中运行同步定位与地图构建系统，以得到的地图作为初始全局地图；其中，所述初始全局地图包括初始场景的全局关键帧集合、各全局关键帧对应的六自由度位姿、各全局关键帧的特征点、初始场景的全局三维地图点云以及各全局关键帧的特征点与初始场景的全局三维地图点云的对应关系；以及，

所述云端服务器获取初始全局重建三维模型的步骤包括：

所述云端服务器利用所述初始全局地图中的有效信息，创建所述初始全局重建三维模型；其中，所述初始全局地图的有效信息包括全局关键帧的序列信息和/或初始全局地图中的全局三维地图点云的信息。

优选地，所述云端服务器根据所述初始场景中的信息和所述初始全局地图，将与该初始场景中的信息所对应的移动终端初始化的步骤包括：

所述云端服务器接收各移动终端发送的当前帧；

所述云端服务器将各移动终端的当前帧与所述全局关键帧集合进行图像匹配处理，并判断所述全局关键帧集合中是否存在与当前帧相匹配的全局关键帧；并，

当存在与当前帧相匹配的全局关键帧时，所述云端服务器利用该匹配的全局关键帧计算该当前帧的位姿，并将计算得到的位姿发送给与该当前帧相对应的移动终端，以完成该移动终端的初始化。

优选地，所述新的局部关键帧和/或所述全局关键帧包括相机获取的彩色图像、深度图像及所述彩色图像和所述深度图像的特征信息、所述相机的内参信息和外参信息，以及，

所述全局三维地图点云的信息包括全局坐标系下中的坐标以及与该坐标对应的图像特征。

优选地，所述云端服务器基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型的步骤包括：

云端服务器将全部的新的局部关键帧，与所述全局关键帧集合中的每个全局关键帧进行比对，并判定与每个全局关键帧均不一致的新的局部关键帧为新的全局关键帧；

云端服务器根据所述新的全局关键帧更新所述初始全局地图，以获得扩展全局地图；以及，

云端服务器根据所述新的全局关键帧，对所述初始全局重建三维模型进行增量更新，以获得所述扩展全局重建三维模型。

本发明的第二方面，提供了一种协作式同步定位与地图构建方法，所述方法包括：

各移动终端分别获取初始场景中的信息，并将所述初始场景中的信息发送至云端服务器；

各移动终端向所述云端服务器发送初始化请求，以使得所述云端服务器能够根据所述初始场景中的信息和初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

各移动终端获取当前帧，并对所述当前帧进行处理，得到所述当前帧的位姿；并当所述当前帧满足预定条件时，创建新的局部关键帧，并将该新的局部关键帧插入到该移动终端的关键帧序列中；

各移动终端将所述新的局部关键帧发送至所述云端服务器，以使得所述云端服务器能够基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

各移动终端接收所述云端服务器发送的与所述新的局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。

优选地，所述预定条件包括：

新的局部关键帧与上一个局部关键帧的时间具有预定间隔；和/或，

新的局部关键帧获取到新的三维特征点的数目大于预定阈值。

本发明的第三方面，提供了一种协作式同步定位与地图构建的系统，所述系统包括多个移动终端；

所述移动终端包括第二接收模块、图像获取模块、图像处理模块、判断模块和第二发送模块；

所述第二发送模块用于，分别获取初始场景中的信息，并将所述初始场景中的信息发送至所述云端服务器；

所述第二发送模块还用于，向所述云端服务器发送初始化请求，以使得所述云端服务器能够根据所述初始场景中的信息和初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

所述图像获取模块用于，获取当前帧；

所述图像处理模块用于，对所述当前帧进行处理，得到所述当前帧的位姿；

所述判断模块用于，当所述当前帧满足预定条件时，创建新的局部关键帧，并将该新的局部关键帧插入到该移动终端的关键帧序列中；

所述第二发送模块还用于，将所述新的局部关键帧发送至所述云端服务器，以使得所述云端服务器能够基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

所述第二接收模块用于，接收所述云端服务器发送的与所述新的局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。

本发明的第四方面，提供了一种协作式同步定位与地图构建的系统，所述系统包括云端服务器；

所述云端服务器包括第一接收模块、初始化模块、地图创建模块、位姿确定模块和第一发送模块；

所述第一接收模块用于，获取初始场景中的初始全局地图以及初始全局重建三维模型；

所述第一接收模块还用于，接收各移动终端发送的初始场景中的信息；以及，接收各移动终端发送的初始化请求；

所述初始化模块用于，基于所述初始化请求，根据所述初始场景中的信息和所述初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

所述第一接收模块还用于，接收各移动终端发送的新的局部关键帧；

所述地图创建模块用于，基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

所述位姿确定模块用于，根据所述扩展全局地图、所述扩展全局重建三维模型以及所述新的局部关键帧，更新与该局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。

本发明的第五方面，提供了一种协作式同步定位与地图构建的交互系统，所述交互系统包括云端服务器和与所述云端服务器交互的多个移动终端；

所述云端服务器包括第一接收模块、初始化模块、地图创建模块、位姿确定模块和第一发送模块；

所述移动终端包括第二接收模块、图像获取模块、图像处理模块、判断模块和第二发送模块；

所述第二发送模块用于，分别获取初始场景中的信息，并将所述初始场景中的信息发送至所述云端服务器；以及，向所述云端服务器发送初始化请求；

所述图像获取模块用于，获取当前帧；

所述图像处理模块用于，对所述当前帧进行处理，得到所述当前帧的位姿；

所述判断模块用于，当所述当前帧满足预定条件时，创建新的局部关键帧，并将该新的局部关键帧插入到该移动终端的关键帧序列中；

所述第二发送模块还用于，将所述新的局部关键帧发送至所述云端服务器；

所述第一接收模块用于，获取初始场景中的初始全局地图以及初始全局重建三维模型；

所述第一接收模块还用于，接收各移动终端发送的初始场景中的信息；以及，接收各移动终端发送的初始化请求；

所述初始化模块用于，基于所述初始化请求，根据所述初始场景中的信息和所述初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

所述第一接收模块还用于，接收各移动终端发送的新的局部关键帧；

所述地图创建模块用于，基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

所述位姿确定模块用于，根据所述扩展全局地图、所述扩展全局重建三维模型以及所述新的局部关键帧，更新与该局部关键帧所对应的移动终端的位姿信息；

所述第一发送模块用于，向所述移动终端发送所述位姿信息；

所述第二接收模块还用于，接收所述位姿信息，以完成同步定位与地图构建。

本发明的协作式同步定位与地图构建方法，各移动终端可以实时访问云端服务器的共享数据，来实现移动终端的协同工作。与现有的技术相比，本发明中的方法初始化条件更加简便，不仅可以完成全局地图的协同构建，还可以实现各移动终端的协同工作，同时系统实时性、稳定性和鲁棒性都很强，该发明可以适用于大型场景下的地图构建及重建三维，还可以应用在手持移动设备或可穿戴式的多用户增强现实等。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为本发明第一实施例中协作式同步定位与地图构建方法的流程图；

图2为本发明第二实施例中协作式同步定位与地图构建方法的流程图；

图3为本发明第三实施例中协作式同步定位与地图构建的系统的结构示意图；

图4为本发明第四实施例中协作式同步定位与地图构建的系统的结构示意图；

图5为本发明第五实施例中协作式同步定位与地图构建的交互系统的结构示意图。

附图标记说明

100：协作式同步定位与地图构建的交互系统；

110：移动终端；

111：第二接收模块；

112：图像获取模块；

113：图像处理模块；

114：判断模块；

115：第二发送模块；

120：云端服务器；

121：第一接收模块；

122：初始化模块；

123：地图创建模块；

124：位姿确定模块；

125：第一发送模块。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，为本发明第一实施例中一种协作式同步定位与地图构建方法S100的流程图，所述方法S100包括：

S110、云端服务器获取初始场景中的初始全局地图以及初始全局重建三维模型。

具体地，在本步骤中，所述的初始场景可以是下述协作式同步定位与地图构建系统的目标场景或者目标场景的一部分，但初始场景本身没有太多限制，可以是室内部分区域或者一个房间，或者比房间更大的诸如一个楼层或者一个较大的楼宇内，也可以是室外的场景，比如街道或者更大的居民区等等。初始场景越大，后续移动终端的初始化的场景可选择的空间也就越大。

需要说明的是，对于如何获取初始场景中的初始全局地图和初始全局重建三维模型并没有作出限定，例如，可以通过在初始场景中运行同步定位与地图构建系统SLAM(Simultaneous Localization And Mapping)，将SLAM运行得到的地图信息保存到云端服务器上作为初始全局地图。所述的初始全局重建三维模型可以是利用初始全局地图中的地图信息，比如关键帧序列或者地图中的三维地图点云的信息对全局场景进行重构，以保存场景的结构信息。初始场景的初始全局重建三维模型也保存到云端服务器上，后续移动终端会更新全局地图和全局三维模型，而且全局地图和全局三维模型随着场景的不断扩大也不断扩展。全局地图的初始化和初始场景的全局重建三维模型可以通过离线等形式完成。

S120、云端服务器接收各移动终端发送的初始场景中的信息。

S130、云端服务器接收各移动终端发送的初始化请求，并根据所述初始场景中的信息和所述初始全局地图，将与该初始场景中的信息所对应的移动终端初始化。

S140、云端服务器接收各移动终端发送的新的局部关键帧。

S150、云端服务器基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型。

S160、云端服务器根据所述扩展全局地图、所述扩展全局重建三维模型以及所述新的局部关键帧，更新与该局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。

本实施例中的协作式同步定位与地图构建方法S100，各移动终端可以实时访问云端服务器的共享数据，来实现移动终端的协同工作。与现有的技术相比，本实施例中的方法初始化条件更加简便，不仅可以完成全局地图的协同构建，还可以实现各移动终端的协同工作，同时系统实时性、稳定性和鲁棒性都很强，该发明可以适用于大型场景下的地图构建及重建三维，还可以应用在手持移动设备或可穿戴式的多用户增强现实等。

优选地，上述步骤S110包括：

所述云端服务器在所述初始场景中运行同步定位与地图构建系统，以得到的地图作为初始全局地图；其中，所述初始全局地图包括初始场景的全局关键帧集合、各全局关键帧对应的六自由度位姿、各全局关键帧的特征点、初始场景的全局三维地图点云以及各全局关键帧的特征点与初始场景的全局三维地图点云的对应关系；以及，

所述云端服务器获取初始全局重建三维模型的步骤包括：

所述云端服务器利用所述初始全局地图中的有效信息，创建所述初始全局重建三维模型；其中，所述初始全局地图的有效信息包括全局关键帧的序列信息和/或初始全局地图中的全局三维地图点云的信息。

优选地，上述步骤S130包括：

所述云端服务器接收各移动终端发送的当前帧；

所述云端服务器将各移动终端的当前帧与所述全局关键帧集合进行图像匹配处理，并判断所述全局关键帧集合中是否存在与当前帧相匹配的全局关键帧；并，

当存在与当前帧相匹配的全局关键帧时，所述云端服务器利用该匹配的全局关键帧计算该当前帧的位姿，并将计算得到的位姿发送给与该当前帧相对应的移动终端，以完成该移动终端的初始化。

在本步骤中，图像匹配处理的算法可以使用基于灰度匹配的方法，也可以使用基于特征匹配的方法。基于灰度匹配的方法也称作相关匹配算法，主要是用空间二维滑动模板进行图像匹配，不同算法的区别主要体现在模板及相关准则的选择方面。几种基于灰度的图像匹配算法：平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)、平均误差平方和算法(MSD)、归一化积相关算法(NCC)、序贯相似性检测算法(SSDA)等。基于特征匹配的方法首先在原始图像中提取特征，然后再建立两幅图像之间特征的匹配对应关系。特征提取能大大减少噪声影响，对灰度变化、形变和遮挡有较强的适应力，特征提取包含特征点(Key Points)提取和描述子(Descriptor)提取，比如常用的SIFT、SURF、FAST+BRIEF、ORB、FREAK等等，然后对提取到的图像特征向量进行特征匹配。

具体地，云端服务器首先获取移动终端的最新的当前帧，并将当前帧图像与初始全局地图中的全局关键帧集合进行图像匹配处理，判断是否有无匹配的全局关键帧，如果没有，则继续对移动终端采集的下一帧图像进行初始化；如果有匹配的全局关键帧，则利用匹配的全局关键帧计算当前帧的位姿，将计算得到的位姿发送给移动终端，这样移动终端的初始化就完成了，同时也获得了该移动终端在初始全局地图中的位置。其中，所述的移动终端的初始化场景范围可以是初始全局地图所对应的真实场景，因为随着全局地图的不断扩大，移动终端可以初始化的场景也会变的越来越广。

优选地，所述新的局部关键帧和/或所述全局关键帧包括相机获取的彩色图像、深度图像及所述彩色图像和所述深度图像的特征信息、所述相机的内参信息和外参信息，以及，

所述全局三维地图点云的信息包括全局坐标系下中的坐标以及与该坐标对应的图像特征。

需要注意的是，一个持续的点云需要另一个复杂的层次：云数据库需要一个机制来捕获和存储来自不同来源(移动终端)的一组统一的点云，并且它的数据需要能够实时地访问许多用户。必须将点云数据存储在跨平台的可访问数据库中。

优选地，上述步骤S150包括：

云端服务器将全部的新的局部关键帧，与所述全局关键帧集合中的每个全局关键帧进行比对，并判定与每个全局关键帧均不一致的新的局部关键帧为新的全局关键帧；

云端服务器根据所述新的全局关键帧更新所述初始全局地图，以获得扩展全局地图；以及，

云端服务器根据所述新的全局关键帧，对所述初始全局重建三维模型进行增量更新，以获得所述扩展全局重建三维模型。

也就是说，所述的云端服务器支持利用各移动终端通过网络发送过来的新的局部关键帧对初始全局地图进行更新、对初始全局场景重建三维更新和对各移动终端协同工作的管理等功能。

具体地，当有移动终端给云端服务器发来新的局部关键帧时，云端服务器需要判断此新的局部关键帧在初始全局地图中是否为新的全局关键帧，如果是新的全局关键帧，则云端服务器利用该新的全部关键帧对初始全局地图进行更新和扩展，使得初始全局地图变得更大，获得扩展全局地图。

具体地，所述的对全局场景重建三维的更新是指云端服务器会利用新的全局关键帧对已经重建的场景模型进行增量式更新，扩展重建的场景模型，以获得所述扩展全局重建三维模型。

其中，上述所述的云端服务器对各移动终端协同工作的管理是指对各移动终端消息的响应处理、对不同移动终端的时序管理、共享的初始全局地图的数据同步、初始全局重建三维模型的数据同步等等。

另外，各移动终端随时可以从云端服务器中获取到其他移动终端的全局定位信息，同时还可以从云端服务器实时的获取全局场景下的三维重建信息，各移动终端可以在全局地图中实现协同工作的任务。

因此，本实施例中的协作式同步定位与地图构建方法S100，各移动终端可以实时访问云端服务器的共享数据，来实现移动终端的协同工作。与现有的技术相比，本实施例中的方法初始化条件更加简便，不仅可以完成全局地图的协同构建，还可以实现各移动终端的协同工作，同时系统实时性、稳定性和鲁棒性都很强，该发明可以适用于大型场景下的地图构建及重建三维，还可以应用在手持移动设备或可穿戴式的多用户增强现实等。

如图2所示，为本发明第二实施例中一种协作式同步定位与地图构建方法S100’的流程图，所述方法S100’包括：

S110’、各移动终端分别获取初始场景中的信息，并将所述初始场景中的信息发送至云端服务器。

S120’、各移动终端向所述云端服务器发送初始化请求，以使得所述云端服务器能够根据所述初始场景中的信息和初始全局地图，将与该初始场景中的信息所对应的移动终端初始化。

S130’、各移动终端获取当前帧，并对所述当前帧进行处理，得到所述当前帧的位姿；并当所述当前帧满足预定条件时，创建新的局部关键帧，并将该新的局部关键帧插入到该移动终端的关键帧序列中。

S140’、各移动终端将所述新的局部关键帧发送至所述云端服务器，以使得所述云端服务器能够基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型。

S150’、各移动终端接收所述云端服务器发送的与所述新的局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。

本实施例中的协作式同步定位与地图构建方法S100’，各移动终端可以实时访问云端服务器的共享数据，来实现移动终端的协同工作。与现有的技术相比，本实施例中的方法初始化条件更加简便，不仅可以完成全局地图的协同构建，还可以实现各移动终端的协同工作，同时系统实时性、稳定性和鲁棒性都很强，该发明可以适用于大型场景下的地图构建及重建三维，还可以应用在手持移动设备或可穿戴式的多用户增强现实等。

需要说明的是，本实施例中的移动终端，可以是PAD设备、手机、可穿戴智能设备、机器人等。这些移动终端设备支持网络功能(无线或蜂窝数据)用于该移动终端与云端服务器进行通信，同时可以运行本地的SLAM功能，以及存储本地SLAM地图(关键帧和3D地图点)和本地场景模型的功能。硬件包含SLAM用到的传感器，如彩色摄像头、深度传感器、IMU(惯性测量单元)等。环境光传感器用于场景光线估计，用于增强现实中的模拟现实中阴影效果。

进一步需要说明的是，本发明中涉及到的移动终端(mobile terminal)是由带有RGBD相机、联网功能、内存设备和计算设备组成的设备，且独立执行SLAM算法模块；RGBD相机可以极大地帮助创建3D地图，RGBD相机能更好地理解实际场景和物理环境的几何结构。这些算法的工作原理与普通智能手机摄像头的工作原理类似，但捕捉到的点云将会更加密集和精确，从而产生更高质量的地图点云。

优选地，所述预定条件包括：

新的局部关键帧与上一个局部关键帧的时间具有预定间隔；和/或，

新的局部关键帧获取到新的三维特征点的数目大于预定阈值。

这样，上述步骤S130’具体可以包括：首先移动终端本地SLAM系统对新采集到当前帧进行处理，求得当前帧的位姿，判断当前帧是否需要创建新的局部关键帧，新的局部关键帧的判断条件需要同时满足时间和空间方面的要求，比如新的局部关键帧距离上个关键帧的时间不能太短，此条件可以通过图像帧的时间戳来实现，另外新的局部关键帧获取到新的三维特征点数目要大于一定阈值，也可以加上新关键帧检测到的特征点个数需要大于一定数目等等条件。合理的关键帧选择机制可以避免关键帧冗余问题，可以减少SLAM算法的复杂度，同时也能减少SLAM的内存资源需求。

本实施例的协作式同步定位与地图构建方法S100’，与现有的技术相比，本实施例的方法初始化条件更加简便，不仅可以完成全局地图的协同构建，还可以实现各移动终端的协同工作，同时系统实时性、稳定性和鲁棒性都很强。

本发明的第三方面，如图3所示，提供了一种协作式同步定位与地图构建的系统，所述系统包括多个移动终端110；

所述移动终端110包括第二接收模块111、图像获取模块112、图像处理模块113、判断模块114和第二发送模块115；

所述第二发送模块111用于，分别获取初始场景中的信息，并将所述初始场景中的信息发送至所述云端服务器；

所述第二发送模块111还用于，向所述云端服务器发送初始化请求，以使得所述云端服务器能够根据所述初始场景中的信息和初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

所述图像获取模块112用于，获取当前帧；

所述图像处理模块113用于，对所述当前帧进行处理，得到所述当前帧的位姿；

所述判断模块114用于，当所述当前帧满足预定条件时，创建新的局部关键帧，并将该新的局部关键帧插入到该移动终端的关键帧序列中；

所述第二发送模块115还用于，将所述新的局部关键帧发送至所述云端服务器，以使得所述云端服务器能够基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

所述第二接收模块111还用于，接收所述云端服务器发送的与所述新的局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。

本实施例中的协作式同步定位与地图构建系统，各移动终端110可以实时访问云端服务器的共享数据，来实现移动终端110的协同工作。与现有的技术相比，本实施例中的系统初始化条件更加简便，不仅可以完成全局地图的协同构建，还可以实现各移动终端110的协同工作，同时系统实时性、稳定性和鲁棒性都很强，该发明可以适用于大型场景下的地图构建及重建三维，还可以应用在手持移动设备或可穿戴式的多用户增强现实等。

本发明的第四方面，如图4所示，提供了一种协作式同步定位与地图构建的系统，所述系统包括云端服务器120；

所述云端服务器120包括第一接收模块121、初始化模块122、地图创建模块123、位姿确定模块124和第一发送模块125；

所述第一接收模块121用于，获取初始场景中的初始全局地图以及初始全局重建三维模型；

所述第一接收模块121还用于，接收各移动终端发送的初始场景中的信息；以及，接收各移动终端发送的初始化请求；

所述初始化模块122用于，基于所述初始化请求，根据所述初始场景中的信息和所述初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

所述第一接收模块121还用于，接收各移动终端发送的新的局部关键帧；

所述地图创建模块123用于，基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

所述位姿确定模块124用于，根据所述扩展全局地图、所述扩展全局重建三维模型以及所述新的局部关键帧，更新与该局部关键帧所对应的移动终端的位姿信息；

所述第一发送模块125用于，向所述移动终端发送所述位姿信息，以完成同步定位与地图构建。

应当理解的是，所述云端服务器还包括存储模块(图中并未示出)，该存储模块用于存储云端全局地图数据、全局场景的重建三维数据以及各移动终端SLAM的相关信息。其中所述的全局的SLAM地图数据包含全场景的关键帧集合、各关键帧对应的六自由度位姿、各关键帧的特征点、全场景的三维地图点以及各关键帧特征点与地图点的对应关系。其中所述的真实场景的重建三维信息指的是由3D地图点构成的点云信息经过重建算法后得到的场景中的模型信息，比如组成场景的平面、曲面、面的法向量、组成面的顶点和顶点法向量等。其中所述的各终端SLAM信息包含连接到云端的各终端本地SLAM相关信息，包括终端的初始化位置和姿态、各终端SLAM的关键帧和位姿信息等。

另外，所述的云端服务器还包括网络模块(图中并未示出)。该网络模块负责云端服务器与各移动终端的相互连接、数据传递等。移动终端可以通过局域网、广域网或者其他可以进行无线通信的网络设备来与云端服务器进行通信。

本实施例中的协作式同步定位与地图构建系统，各移动终端110可以实时访问云端服务器的共享数据，来实现移动终端110的协同工作。与现有的技术相比，本实施例中的系统初始化条件更加简便，不仅可以完成全局地图的协同构建，还可以实现各移动终端110的协同工作，同时系统实时性、稳定性和鲁棒性都很强，该发明可以适用于大型场景下的地图构建及重建三维，还可以应用在手持移动设备或可穿戴式的多用户增强现实等。

本发明的第五方面，如图5所示，提供了一种协作式同步定位与地图构建的交互系统100，所述交互系统包括云端服务器120和与所述云端服务器120交互的多个移动终端110；

所述云端服务器120包括第一接收模块121、初始化模块122、地图创建模块123、位姿确定模块124和第一发送模块125；

所述移动终端110包括第二接收模块111、图像获取模块112、图像处理模块113、判断模块114和第二发送模块115；

所述第二发送模块111用于，分别获取初始场景中的信息，并将所述初始场景中的信息发送至所述云端服务器120；

所述第二发送模块111还用于，向所述云端服务器120发送初始化请求；

所述图像获取模块112用于，获取当前帧；

所述图像处理模块113用于，对所述当前帧进行处理，得到所述当前帧的位姿；

所述判断模块114用于，当所述当前帧满足预定条件时，创建新的局部关键帧，并将该新的局部关键帧插入到该移动终端110的关键帧序列中；

所述第二发送模块115还用于，将所述新的局部关键帧发送至所述云端服务器120；

所述第一接收模块121用于，获取初始场景中的初始全局地图以及初始全局重建三维模型；

所述第一接收模块121还用于，接收各移动终端110发送的初始场景中的信息；以及，接收各移动终端110发送的初始化请求；

所述初始化模块122用于，基于所述初始化请求，根据所述初始场景中的信息和所述初始全局地图，将与该初始场景中的信息所对应的移动终端110初始化；

所述第一接收模块121还用于，接收各移动终端110发送的新的局部关键帧；

所述地图创建模块123用于，基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

所述位姿确定模块124用于，根据所述扩展全局地图、所述扩展全局重建三维模型以及所述新的局部关键帧，更新与该局部关键帧所对应的移动终端的位姿信息；

所述第一发送模块125用于，向所述移动终端110发送所述位姿信息；

所述第二接收模块111还用于，接收所述位姿信息，以完成同步定位与地图构建。

本实施例中的协作式同步定位与地图构建交互系统100，各移动终端110可以实时访问云端服务器的共享数据，来实现移动终端110的协同工作。与现有的技术相比，本实施例中的系统初始化条件更加简便，不仅可以完成全局地图的协同构建，还可以实现各移动终端110的协同工作，同时系统实时性、稳定性和鲁棒性都很强，该发明可以适用于大型场景下的地图构建及重建三维，还可以应用在手持移动设备或可穿戴式的多用户增强现实等。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种协作式同步定位与地图构建方法，其特征在于，所述方法包括：

云端服务器获取初始场景中的初始全局地图以及初始全局重建三维模型；

云端服务器接收各移动终端发送的初始场景中的信息；

云端服务器接收各移动终端发送的初始化请求，并根据所述初始场景中的信息和所述初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

云端服务器接收各移动终端发送的新的局部关键帧；

云端服务器基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

云端服务器根据所述扩展全局地图、所述扩展全局重建三维模型以及所述新的局部关键帧，更新与该局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。

2.根据权利要求1所述的方法，其特征在于，所述云端服务器获取初始场景中的初始全局地图的步骤包括：

所述云端服务器在所述初始场景中运行同步定位与地图构建系统，以得到的地图作为初始全局地图；其中，所述初始全局地图包括初始场景的全局关键帧集合、各全局关键帧对应的六自由度位姿、各全局关键帧的特征点、初始场景的全局三维地图点云以及各全局关键帧的特征点与初始场景的全局三维地图点云的对应关系；以及，

所述云端服务器获取初始全局重建三维模型的步骤包括：

所述云端服务器利用所述初始全局地图中的有效信息，创建所述初始全局重建三维模型；其中，所述初始全局地图的有效信息包括全局关键帧的序列信息和/或初始全局地图中的全局三维地图点云的信息。

3.根据权利要求2所述的方法，其特征在于，所述云端服务器根据所述初始场景中的信息和所述初始全局地图，将与该初始场景中的信息所对应的移动终端初始化的步骤包括：

所述云端服务器接收各移动终端发送的当前帧；

所述云端服务器将各移动终端的当前帧与所述全局关键帧集合进行图像匹配处理，并判断所述全局关键帧集合中是否存在与当前帧相匹配的全局关键帧；并，

当存在与当前帧相匹配的全局关键帧时，所述云端服务器利用该匹配的全局关键帧计算该当前帧的位姿，并将计算得到的位姿发送给与该当前帧相对应的移动终端，以完成该移动终端的初始化。

4.根据权利要求2所述的方法，其特征在于，所述新的局部关键帧和/或所述全局关键帧包括相机获取的彩色图像、深度图像及所述彩色图像和所述深度图像的特征信息、所述相机的内参信息和外参信息，以及，

所述全局三维地图点云的信息包括全局坐标系下中的坐标以及与该坐标对应的图像特征。

5.根据权利要求2所述的方法，其特征在于，所述云端服务器基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型的步骤包括：

云端服务器将全部的新的局部关键帧，与所述全局关键帧集合中的每个全局关键帧进行比对，并判定与每个全局关键帧均不一致的新的局部关键帧为新的全局关键帧；

云端服务器根据所述新的全局关键帧更新所述初始全局地图，以获得扩展全局地图；以及，

云端服务器根据所述新的全局关键帧，对所述初始全局重建三维模型进行增量更新，以获得所述扩展全局重建三维模型。

6.一种协作式同步定位与地图构建方法，其特征在于，所述方法包括：

各移动终端分别获取初始场景中的信息，并将所述初始场景中的信息发送至云端服务器；

各移动终端向所述云端服务器发送初始化请求，以使得所述云端服务器能够根据所述初始场景中的信息和初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

各移动终端获取当前帧，并对所述当前帧进行处理，得到所述当前帧的位姿；并当所述当前帧满足预定条件时，创建新的局部关键帧，并将该新的局部关键帧插入到该移动终端的关键帧序列中；

各移动终端将所述新的局部关键帧发送至所述云端服务器，以使得所述云端服务器能够基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

各移动终端接收所述云端服务器发送的与所述新的局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。

7.根据权利要求6所述的方法，其特征在于，所述预定条件包括：

新的局部关键帧与上一个局部关键帧的时间具有预定间隔；和/或，

新的局部关键帧获取到新的三维特征点的数目大于预定阈值。

8.一种协作式同步定位与地图构建的系统，其特征在于，所述系统包括多个移动终端；

所述移动终端包括第二接收模块、图像获取模块、图像处理模块、判断模块和第二发送模块；

所述第二发送模块用于，分别获取初始场景中的信息，并将所述初始场景中的信息发送至所述云端服务器；

所述第二发送模块还用于，向所述云端服务器发送初始化请求，以使得所述云端服务器能够根据所述初始场景中的信息和初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

所述图像获取模块用于，获取当前帧；

所述图像处理模块用于，对所述当前帧进行处理，得到所述当前帧的位姿；

所述判断模块用于，当所述当前帧满足预定条件时，创建新的局部关键帧，并将该新的局部关键帧插入到该移动终端的关键帧序列中；

所述第二发送模块还用于，将所述新的局部关键帧发送至所述云端服务器，以使得所述云端服务器能够基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

所述第二接收模块用于，接收所述云端服务器发送的与所述新的局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。

9.一种协作式同步定位与地图构建的系统，其特征在于，所述系统包括云端服务器；

所述云端服务器包括第一接收模块、初始化模块、地图创建模块、位姿确定模块和第一发送模块；

所述第一接收模块用于，获取初始场景中的初始全局地图以及初始全局重建三维模型；

所述第一接收模块还用于，接收各移动终端发送的初始场景中的信息；以及，接收各移动终端发送的初始化请求；

所述初始化模块用于，基于所述初始化请求，根据所述初始场景中的信息和所述初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

所述第一接收模块还用于，接收各移动终端发送的新的局部关键帧；

所述地图创建模块用于，基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

所述位姿确定模块用于，根据所述扩展全局地图、所述扩展全局重建三维模型以及所述新的局部关键帧，更新与该局部关键帧所对应的移动终端的位姿信息，以完成同步定位与地图构建。

10.一种协作式同步定位与地图构建的交互系统，其特征在于，所述交互系统包括云端服务器和与所述云端服务器交互的多个移动终端；

所述云端服务器包括第一接收模块、初始化模块、地图创建模块、位姿确定模块和第一发送模块；

所述移动终端包括第二接收模块、图像获取模块、图像处理模块、判断模块和第二发送模块；

所述第二发送模块用于，分别获取初始场景中的信息，并将所述初始场景中的信息发送至所述云端服务器；以及，向所述云端服务器发送初始化请求；

所述图像获取模块用于，获取当前帧；

所述图像处理模块用于，对所述当前帧进行处理，得到所述当前帧的位姿；

所述判断模块用于，当所述当前帧满足预定条件时，创建新的局部关键帧，并将该新的局部关键帧插入到该移动终端的关键帧序列中；

所述第二发送模块还用于，将所述新的局部关键帧发送至所述云端服务器；

所述第一接收模块用于，获取初始场景中的初始全局地图以及初始全局重建三维模型；

所述第一接收模块还用于，接收各移动终端发送的初始场景中的信息；以及，接收各移动终端发送的初始化请求；

所述初始化模块用于，基于所述初始化请求，根据所述初始场景中的信息和所述初始全局地图，将与该初始场景中的信息所对应的移动终端初始化；

所述第一接收模块还用于，接收各移动终端发送的新的局部关键帧；

所述地图创建模块用于，基于全部的新的局部关键帧，更新所述初始全局地图和初始全局重建三维模型，以获得扩展全局地图和扩展全局重建三维模型；

所述位姿确定模块用于，根据所述扩展全局地图、所述扩展全局重建三维模型以及所述新的局部关键帧，更新与该局部关键帧所对应的移动终端的位姿信息；

所述第一发送模块用于，向所述移动终端发送所述位姿信息；

所述第二接收模块还用于，接收所述位姿信息，以完成同步定位与地图构建。