CN115019167B - 基于移动终端的融合定位方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供了基于移动终端的融合定位方法、系统、设备及存储介质，其中，方法包括：基于移动终端周边的基站定位，获得移动终端的第一定位信息；基于第一定位信息自基于物理空间的三维点云空间数据中获得局部点云空间，局部点云图中包括至少一地标；基于移动终端拍摄的环境视觉信息，生成描述移动终端所在环境的三维环境空间数据；基于空间比对，获得地标在三维环境空间数据中的第二定位信息；基于地标的对应的预设定位信息和第二定位信息，获得移动终端基于三维点云空间数据内的第三定位信息。本发明能够基于5G定位精度对点云地图进行分割，减少VSLAM定位的计算量，提升VSLAM定位运行效率，通过融合定位大大提升定位的精确性。

Description

基于移动终端的融合定位方法、系统、设备及存储介质

技术领域

本发明涉及通讯定位领域，具体地说，涉及基于移动终端的融合定位方法、系统、设备及存储介质。

背景技术

目前，自动化工厂、商业中心等对室内定位精度要求较高，特别是商业中心类场景，业主不愿意额外部署大量的蓝牙等定位基站设备，故而采用基于VSLAM(视觉SLAM)的高精度定位导航。但VSLAM存在如下问题：

1、终端的相机容易受到外部环境因素的影响，导致定位不准。

2、点云地图数据量大，特征匹配的计算量大，运行效率低。

而5G定位可以复用已经部署的5G室内基站，无需单独再额外部署专门的定位基站，目前5G定位精度目前只能达到米级，所以单一的定位技术很难较好的满足不同场景的需求。本专利提出了一种利用5G和VSLAM进行融合定位的系统和方法去解决单纯的VSLAM定位存在的两个问题。其中，VSLAM即Visual Simultaneous Localization and Mapping，主要是指如何用相机解决定位和建图问题。例如：当用相机作为传感器时，可以根据一张张连续运动的图像(它们形成一段视频)，从中推断相机的运动，以及周围环境的情况。

有鉴于此，本发明提出了一种基于移动终端的融合定位方法、系统、设备及存储介质。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

针对现有技术中的问题，本发明的目的在于提供基于移动终端的融合定位方法、系统、设备及存储介质，克服了现有技术的困难，能够基于5G定位精度对点云地图进行分割，减少VSLAM定位的计算量，提升VSLAM定位运行效率，通过融合定位大大提升定位的精确性。

本发明的实施例提供一种基于移动终端的融合定位方法，包括以下步骤：

基于移动终端周边的基站定位，获得所述移动终端的第一定位信息；

基于所述第一定位信息自基于物理空间的三维点云空间数据中获得局部点云空间，所述局部点云图中包括至少一地标；

基于所述移动终端拍摄的环境视觉信息，生成描述所述移动终端所在环境的三维环境空间数据；

基于空间比对，获得所述地标在所述三维环境空间数据中的第二定位信息；以及

基于所述地标的对应的预设定位信息和第二定位信息，获得所述移动终端基于所述三维点云空间数据内的第三定位信息。

优选地，所述基于移动终端周边的基站定位，获得所述移动终端的第一定位信息，包括：

服务器预存基于物理空间的三维点云空间数据；

服务器基于所述移动终端周边的基站对所述移动终端进行空间定位，获得所述移动终端基于物理空间的三维点云空间数据的第一定位信息。

优选地，所述基于所述第一定位信息自基于物理空间的三维点云空间数据中获得局部点云空间，所述局部点云图中包括至少一地标，包括：

将所述三维点云空间数据进行立体格栅化，所述基站的定位精度a米和偏移常数b米，每个所述立体格栅的边长为(2a+b)米；

服务器基于所述第一定位信息匹配所述三维点云空间数据中的立体格栅；

基于所述格栅范围获得对应的局部点云图，所述局部点云图中包括至少一具有预设定位信息的地标的局部轮廓。

优选地，所述服务器基于所述第一定位信息匹配所述三维点云空间数据中的立体格栅之后、所述基于所述格栅范围获得对应的局部点云图，所述局部点云图中包括至少一具有预设定位信息的地标的局部轮廓之前还包括：

判断所述第一定位信息与所述三维点云空间数据中任一所述立体格栅的中心坐标的欧式距离是否小于等于(a+b)米，若是，则将该立体格栅作为被匹配的立体格栅，若否，则返回步骤S121，重新对所述三维点云空间数据进行立体格栅化，以获得范围不同的所述立体格栅。

优选地，所述基于所述移动终端拍摄的环境视觉信息，生成描述所述移动终端所在环境的三维环境空间数据，包括：

基于所述移动终端拍摄一图像或者图像集合；

基于所述图像或者图像集合生成描述所述移动终端所在环境的三维环境空间数据，

将所述三维环境空间数据上传到所述服务器。

优选地，所述基于所述移动终端拍摄的环境视觉信息，生成描述所述移动终端所在环境的三维环境空间数据，还包括：

根据所述地标与所述第一定位信息的定位关系，生成一引导所述移动终端转动以令所述移动终端的背面的相机朝向所述地标的引导信息。

优选地，所述基于空间比对，获得所述地标在所述三维环境空间数据中的第二定位信息，包括：

所述服务器调用所述地标的至少局部轮廓的空间特征，所述空间特征具有与所述地标的预设定位信息的相对位置关系；

将所述的空间特征在所述三维环境空间数据中进行比对，获得所述地标在所述三维环境空间数据中基于所述移动终端的第二定位信息。

优选地，所述基于所述地标的对应的预设定位信息和第二定位信息，获得所述移动终端基于所述三维点云空间数据内的第三定位信息，包括：

所述服务器通过一所述地标的对应的预设定位信息和第二定位信息，将所述移动终端映射到所述三维点云空间数据；

获得所述移动终端基于所述三维点云空间数据内的第三定位信息；

所述服务器将所述第三定位信息下发给所述移动终端。

优选地，所述获得所述移动终端基于所述三维点云空间数据内的第三定位信息之后、所述服务器将所述第三定位信息下发给所述移动终端之前，还包括：

获得自若干个所述地标获得的定位信息的中心坐标，将所述中心坐标在所述三维环境空间数据中的位置信息作为第三定位信息。

本发明的实施例还提供一种基于移动终端的融合定位系统，用于实现上述的基于移动终端的融合定位方法，所述基于移动终端的融合定位系统包括：

点云空间模块，基于所述第一定位信息自基于物理空间的三维点云空间数据中获得局部点云空间，所述局部点云图中包括至少一地标；

环境空间模块，基于所述移动终端拍摄的环境视觉信息，生成描述所述移动终端所在环境的三维环境空间数据；

第二定位模块，基于空间比对，获得所述地标在所述三维环境空间数据中的第二定位信息；以及

第三定位模块，基于所述地标的对应的预设定位信息和第二定位信息，获得所述移动终端基于所述三维点云空间数据内的第三定位信息。

本发明的实施例还提供一种基于移动终端的融合定位设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述基于移动终端的融合定位方法的步骤。

本发明的实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述基于移动终端的融合定位方法的步骤。

本发明的目的在于提供基于移动终端的融合定位方法、系统、设备及存储介质，能够基于5G定位精度对点云地图进行分割，减少VSLAM定位的计算量，提升VSLAM定位运行效率，通过融合定位大大提升定位的精确性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明的基于移动终端的融合定位方法的一种实施例的流程图。

图2是本发明的基于移动终端的融合定位方法的中步骤S110的流程示意图。

图3是本发明的基于移动终端的融合定位方法的中步骤S120的流程示意图。

图4是本发明的基于移动终端的融合定位方法的中步骤S130的流程示意图。

图5是本发明的基于移动终端的融合定位方法的中步骤S140的流程示意图。

图6是本发明的基于移动终端的融合定位方法的中步骤S150的流程示意图。

图7是本发明的一种基于移动终端的融合定位系统的模块示意图。

图8是本发明的基于移动终端的融合定位系统中第一定位模块的模块示意图。

图9是本发明的基于移动终端的融合定位系统中点云空间模块的模块示意图。

图10是本发明的基于移动终端的融合定位系统中环境空间模块的模块示意图。

图11是本发明的基于移动终端的融合定位系统中第二定位模块的模块示意图。

图12是本发明的基于移动终端的融合定位系统中第三定位模块的模块示意图。

图13至15是本发明的基于移动终端的融合定位方法的一种实施过程的示意图。

图16至20是本发明的基于移动终端的融合定位方法的另一种实施过程的示意图。

图21是本发明的基于移动终端的融合定位方法的再一种变化实施过程的示意图。

图22是本发明的基于移动终端的融合定位设备的示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本申请所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统，本申请中的各项细节也可以根据不同观点与应用系统，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。

在本申请的表示中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，表示的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本申请中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于表示目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的表示中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了明确说明本申请，省略与说明无关的器件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。

在通篇说明书中，当说某器件与另一器件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种器件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。

当说某器件在另一器件“之上”时，这可以是直接在另一器件之上，但也可以在其之间伴随着其它器件。当对照地说某器件“直接”在另一器件“之上”时，其之间不伴随其它器件。

虽然在一些实例中术语第一、第二等在本文中用来表示各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等表示。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。

虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。

图1是本发明的基于移动终端的融合定位方法的一种实施例的流程图。如图1所示，本发明的基于移动终端的融合定位方法，本发明涉及网络配置领域，是一种应用于移动终端的基于移动终端的融合定位方法的方法，本发明的流程包括：

S110、基于移动终端周边的基站定位，获得移动终端的第一定位信息。

S120、基于第一定位信息自基于物理空间的三维点云空间数据中获得局部点云空间，局部点云图中包括至少一地标。

S130、基于移动终端拍摄的环境视觉信息，生成描述移动终端所在环境的三维环境空间数据。

S140、基于空间比对，获得地标在三维环境空间数据中的第二定位信息。以及

S150、基于地标的对应的预设定位信息和第二定位信息，获得移动终端基于三维点云空间数据内的第三定位信息。

本发明的基于5G和VSLAM的定位方法能够实现5G和VSLAM的融合定位，解决单纯VSLAM定位存在的问题，保证VSLAM定位的准确性和运行效率。

本发明中的VSLAM传感器除了惯性测量单元(Inertial measurement unit，简称IMU)之外，最重要的部件就是摄像头了。VSLAM涉及到的摄像头主要有三种：单目摄像头、双目摄像头、RGB-D(深度图像)，本发明中的移动终端可以通过上述三种摄像头的任意一种进行VSLAM定位，但不以此为限。

单目摄像头拍摄的图像是二维的，无法得到深度信息(距离)，所以我们无法通过单张图像计算场景中的物体与我们之间的距离。这确实是个难题，没有距离信息就无法定位和构建地图。然而办法总比困难多，可以通过移动摄像头来改变摄像头的视角，根据“近处的物体移动快，远处的物体移动慢”这一原理，从而得知物体的远近，但这仍然是相对值，这种三维结构是不准确的，或者说是大概的。虽然在获取深度信息上单目摄像头没什么优势，但在扫地机器人上装设单目摄像头却十分常见。常见的扫地机器人的摄像头是对准天花板的，这样环境比较固定且简单，有利于提取特征点。

双目摄像头由两个单目摄像头组成(两个摄像头之间的距离叫“基线”是已知的)，通过所获得的两幅图像融合，直接计算出物体深度值，克服单目摄像头无法知道距离的缺点。具有成本低，能耗小，精度高等优势，所以被广泛的应用于VSLAM系统中。

RGB-D(深度图像)，深度图像＝普通的RGB三通道彩色图像+Depth Map。RGB-D相机是新兴的视觉传感器，它可以同时获取周围环境的RGB图像和每个像素的深度(Depth)信息，相比于单目或双目利用算法计算空间点的三维坐标，RGB-D相机获取空间点的3D信息更加直接，深度信息通过红外结构光或TOF原理测得，和激光雷达有些类似，被称为伪激光雷达。

VSLAM之前端又称为视觉里程计(visual odometry，简称VO)。视觉里程计通过把相邻帧的运动轨迹串起来，就构成了相机载体(如机器人)的运动轨迹，解决了定位的问题。然后根据估算的每个时刻相机的位置，计算出各像素的空间点的位置，就得到了地图。视觉里程计只计算相邻帧的运动，进行局部估计，这会不可避免的出现累积漂移，这是因为每次估计两个图像间的运动时都有一定的误差，经过相邻帧多次传递，前面的误差会逐渐累积，轨迹漂移(drift)的越来越厉害。

VSLAM的后端工作主要是对视觉前端得到的不够准确的相机位姿和重建地图进行优化微调。在视觉前端中，不管是进行位姿估计还是建图，都是利用相邻帧之间的关系来完成的，这种依赖局部约束且不停地链式进行的算法，必将导致优化误差逐帧累积，最终产生一个较大的误差漂移。

因此，后端优化的思路就是从全局(整个相机运动过程)中选取一些关键帧，利用这些关键帧之间的关系建立起时间和空间跨度更大的、需要同时满足的全局约束，以优化之前得到的不够准确的各帧的相机位姿。

VSLAM之回环检测，又称闭环检测，是指机器人识别曾到达某场景，使得地图闭环的能力。说的简单点，就是机器人在左转一下，右转一下建图的时候能意识到某个地方是“我(机器人)”曾经来过的，然后把此刻生成的地图与刚刚生成的地图做匹配。回环检测成功回环检测之所以能成为一个难点，是因为：如果回环检测成功，可以显著地减小累积误差，帮助机器人更精准、快速的进行避障导航工作。而错误的检测结果可能使地图变得很糟糕。因此，回环检测在大面积、大场景地图构建上是非常有必要的。

VSLAM之建图可以根据不同的传感器类型和应用需求建立不同的地图。常见的有2D栅格地图、2D拓扑地图、3D点云地图等。

图2是本发明的基于移动终端的融合定位方法的中步骤S110的流程示意图。图3是本发明的基于移动终端的融合定位方法的中步骤S120的流程示意图。图4是本发明的基于移动终端的融合定位方法的中步骤S130的流程示意图。图5是本发明的基于移动终端的融合定位方法的中步骤S140的流程示意图。图6是本发明的基于移动终端的融合定位方法的中步骤S150的流程示意图。图2至6所示，在图1的实施例中，步骤S110、S120、S130、S140、S150的基础上，通过S111、S112替换了步骤S110，通过S121、S122、S123、S124替换了步骤S120，通过S131、S132、S133、S134替换了步骤S130，通过S141、S142替换了步骤S140，通过S151、S152、S153、S154替换了步骤S150，以下针对每个步骤进行说明：

S111、服务器预存基于物理空间的三维点云空间数据。

S112、服务器基于移动终端周边的基站对移动终端进行空间定位，获得移动终端基于物理空间的三维点云空间数据的第一定位信息。

S121、将三维点云空间数据进行立体格栅化，基站的定位精度a米和偏移常数b米，每个立体格栅的边长为(2a+b)米。

S122、服务器基于第一定位信息匹配三维点云空间数据中的立体格栅。

S123、判断第一定位信息与三维点云空间数据中任一立体格栅的中心坐标的欧式距离是否小于等于(a+b)米，若是，则将该立体格栅作为被匹配的立体格栅，若否，则返回步骤S121，重新对三维点云空间数据进行立体格栅化，以获得范围不同的立体格栅。

S124、基于格栅范围获得对应的局部点云图，局部点云图中包括至少一具有预设定位信息的地标的局部轮廓。

S131、地标与第一定位信息的关系，生成一引导移动终端转动以令移动终端的背面的相机朝向地标的引导信息。

S132、基于移动终端拍摄一图像或者图像集合。

S133、基于图像或者图像集合生成描述移动终端所在环境的三维环境空间数据，

S134、将三维环境空间数据上传到服务器。

S141、服务器调用地标的至少局部轮廓的空间特征，空间特征具有与地标的预设定位信息的相对位置关系。

S142、将空间特征在三维环境空间数据中进行比对，获得地标在三维环境空间数据中基于移动终端的第二定位信息。

S151、服务器通过一地标的对应的预设定位信息和第二定位信息，将移动终端映射到三维点云空间数据。

S152、获得移动终端基于三维点云空间数据内的第三定位信息。

S153、获得自若干个地标获得的定位信息的中心坐标，将中心坐标在三维环境空间数据中的位置信息作为第三定位信息。

S154、服务器将第三定位信息下发给移动终端。

图7是本发明的一种基于移动终端的融合定位系统的模块示意图。如图7所示，本发明的基于移动终端的融合定位系统，包括但不限于：

第一定位模块51，基于移动终端周边的基站定位，获得移动终端的第一定位信息。

点云空间模块52，基于第一定位信息自基于物理空间的三维点云空间数据中获得局部点云空间，局部点云图中包括至少一地标。

环境空间模块53，基于移动终端拍摄的环境视觉信息，生成描述移动终端所在环境的三维环境空间数据。

第二定位模块54，基于空间比对，获得地标在三维环境空间数据中的第二定位信息。

第三定位模块55，基于地标的对应的预设定位信息和第二定位信息，获得移动终端基于三维点云空间数据内的第三定位信息。

上述模块的实现原理参见基于移动终端的融合定位方法中的相关介绍，此处不再赘述。

本发明的基于移动终端的融合定位系统能够基于5G定位精度对点云地图进行分割，减少VSLAM定位的计算量，提升VSLAM定位运行效率，通过融合定位大大提升定位的精确性。

图8是本发明的基于移动终端的融合定位系统中第一定位模块的模块示意图。图9是本发明的基于移动终端的融合定位系统中点云空间模块的模块示意图。图10是本发明的基于移动终端的融合定位系统中环境空间模块的模块示意图。图11是本发明的基于移动终端的融合定位系统中第二定位模块的模块示意图。图12是本发明的基于移动终端的融合定位系统中第三定位模块的模块示意图。图8至12所示，在图7装置实施例的基础上，本发明的基于移动终端的融合定位系统通点云空间数据模块511、第一定位信息模块512、替换了第一定位模块51。立体格栅生成模块521、立体格栅匹配模块522、立体格栅检测模块523、局部点云信息模块524替换了点云空间模块52。引导拍摄信息模块531、终端图像拍摄模块532、环境空间生成模块533、环境空间上传模块534替换了环境空间模块53。局部轮廓调用模块541、第二定位信息模块542替换了第二定位模块54。地标定位映射模块551、第三定位信息模块552、第三定位中心模块553、第三定位下发模块554替换了第三定位模块55。以下针对每个模块进行说明：

点云空间数据模块511，服务器预存基于物理空间的三维点云空间数据。

第一定位信息模块512，服务器基于移动终端周边的基站对移动终端进行空间定位，获得移动终端基于物理空间的三维点云空间数据的第一定位信息。

立体格栅生成模块521，将三维点云空间数据进行立体格栅化，基站的定位精度a米和偏移常数b米，每个立体格栅的边长为(2a+b)米。

立体格栅匹配模块522，服务器基于第一定位信息匹配三维点云空间数据中的立体格栅。

立体格栅检测模块523，判断第一定位信息与三维点云空间数据中任一立体格栅的中心坐标的欧式距离是否小于等于(a+b)米，若是，则将该立体格栅作为被匹配的立体格栅，若否，则重新对三维点云空间数据进行立体格栅化，以获得范围不同的立体格栅。

局部点云信息模块524，基于格栅范围获得对应的局部点云图，局部点云图中包括至少一具有预设定位信息的地标的局部轮廓。

引导拍摄信息模块531，地标与第一定位信息的关系，生成一引导移动终端转动以令移动终端的背面的相机朝向地标的引导信息。

终端图像拍摄模块532，基于移动终端拍摄一图像或者图像集合。

环境空间生成模块533，基于图像或者图像集合生成描述移动终端所在环境的三维环境空间数据。

环境空间上传模块534，将三维环境空间数据上传到服务器。

局部轮廓调用模块541，服务器调用地标的至少局部轮廓的空间特征，空间特征具有与地标的预设定位信息的相对位置关系。

第二定位信息模块542，将空间特征在三维环境空间数据中进行比对，获得地标在三维环境空间数据中基于移动终端的第二定位信息。

地标定位映射模块551，服务器通过一地标的对应的预设定位信息和第二定位信息，将移动终端映射到三维点云空间数据。

第三定位信息模块552，获得移动终端基于三维点云空间数据内的第三定位信息。

第三定位中心模块553，获得自若干个地标获得的定位信息的中心坐标，将中心坐标在三维环境空间数据中的位置信息作为第三定位信息。

第三定位下发模块554，服务器将第三定位信息下发给移动终端。

上述步骤的实现原理参见基于移动终端的融合定位方法中的相关介绍，此处不再赘述。

上述步骤的实现原理参见基于移动终端的融合定位方法中的相关介绍，此处不再赘述。

本发明的一种具体实施方式如下：

图13至15是本发明的基于移动终端的融合定位方法的一种实施过程的示意图。实施本发明的基于5G和VSLAM的定位系统架构如附图13所示，包括：

1、新增5G+VSLAM融合定位引擎模块：根据5G定位结果选择部分点云地图，然后使用VSLAM定位模块在小范围进行定位，从而完成精细化的高精度定位结果。

2、本专利提出了两种方法，解决了融合定位的关键问题，具体单独的5G定位和VSLAM定位过程可采用现有方法。

基于5G定位精度的点云地图构建及定位方法

5G和VSLAM定位坐标系的统一方法

基于5G定位精度的点云地图构建及定位方法，如附图14。具体方法如下：

1、端视觉里程计：前端利用视觉输入进行姿态估计的过程；

2、后端非线性优化:后端接收不同时刻视觉里程计测量的位姿和闭环检测的信息，对其进行滤波优化处理，得到更优的地图；

3、闭环检测:通过视觉传感器信息检测是否发生了轨迹闭环；

4、基于5G定位精度的构图及匹配。

4.1基于5G定位精度构建点云地图。设定5G定位精度为a，偏移常数b，a,b具体数值可使用实测值或者经验值，分割点云地图为边长为2a+b的一系列三维点云地图栅格，中心点的坐标为(xn,yn,zn),n＝1,2,3…

4.2 5G定位结果(x，y，z)，计算其与点云地图栅格的欧氏距离，当计算结果小于阈值a+b时，则将该三维点云空间栅格选定为目标点云地图栅格

4.3在选定的目标点云地图栅格内进行VSLAM精确定位

其中，5G和VSLAM定位坐标系统一方法，如附图15所示。具体流程如下：

VSLAM通过视觉扫描构建点云地图的过程，扫描终端把已经存在环境中的5G基站作为标识物，通过激光雷达等精准测距方法，进行标记在地图，输出地图的同时，输出5G基站的在点云地图坐标系中的位置(x0,y0,z0)

扫描终端将5G基站位置(x0,y0,z0)上报5G+VSLAM融合定位引擎。

5G+VSLAM融合定位引擎将5G基站位置(x0,y0,z0)转发给5G定位引擎，作为5G定位的解算的基础数据。

5G定位引擎进行5G定位结算，输出与点云地图坐标系统一的定位结果(x,y,z)。5G定位可采用现有的5G定位技术，如E-CID，UTDOA等

和现有技术相比，主要优势在于：

本发明解决了VSLAM定位容易受到外部环境因素的影响，导致定位不准的问题。还解决了点云地图数据量大，特征匹配的计算量大，运行效率低的问题。

和现有技术相比，本发明的主要效果在于：

本发明基于5G定位精度对点云地图进行分割，减少VSLAM定位的计算量，提升VSLAM定位运行效率。

本发明能够通过在构建点云地图的过程中，输出5G基站在点云地图中的位置，来统一两种定位技术的坐标系，使得5G定位结果可以直接被VSLAM定位技术使用，提升定位引擎的运行效率。

实施本发明的场景可以包括：在商业中心等对室内定位精度要求较高，通过手机摄像头在房间内拍摄位于窗外的地标，就可以采用基于5G和VSLAM的方法实现室内的定位，免去了在增添设备的成本，平衡定位精度和投资成本。

本发明提出了一种基于5G定位精度的点云地图的构建及定位方法，最大程度的减少VSLAM定位特征匹配的计算量，并且使得5G定位的结果可以直接被VSLAM定位使用。

本发明的另一种具体实施方式如下：

图16至19是本发明的基于移动终端11的融合定位方法的另一种实施过程的示意图。如图16所示，服务器13预存基于物理空间的三维点云空间数据10。服务器13基于移动终端11周边的5G基站12对移动终端11进行空间定位，获得移动终端11基于物理空间的三维点云空间数据10的第一定位信息。

如图17所示，将三维点云空间数据10进行立体格栅化，5G基站12的定位精度a米和偏移常数b米，每个立体格栅的边长为(2a+b)米。获得格栅21、22、23、24、25、26、27、28……2N。服务器13基于第一定位信息匹配三维点云空间数据10中的立体格栅。如果第一定位信息与三维点云空间数据10中任一立体格栅的中心坐标的欧式距离是否大于(a+b)米，则第一定位信息对应的坐标过于靠近立体格栅的边缘，会对后续算法带来干扰，所以需要重新对三维点云空间数据10进行立体格栅化(移动整个立体格栅的范围，以获得范围不同的立体格栅。)，让第一定位信息对应的坐标相对低靠近立体格栅的中心坐。

如图18、19所示，本实施例中第一定位信息对应的坐标落入格栅27的中央范围内，然后基于格栅27的范围获得对应的局部点云图，局部点云图中包括至少一具有预设高精度的定位信息的地标31的局部轮廓。为了确保移动终端11拍摄的图像中包含地标31，根据地标31与第一定位信息的关系，生成一引导移动终端11转动以令移动终端11的背面的相机朝向地标的引导信息C。基于移动终端11拍摄一图像或者图像集合。基于图像或者图像集合生成描述移动终端11所在环境的三维环境空间数据。将三维环境空间数据上传到服务器13。服务器13调用地标31的至少局部轮廓的空间特征，空间特征具有与地标的预设高精度的定位信息的相对位置关系。将空间特征在三维环境空间数据中进行比对，获得地标在三维环境空间数据中基于移动终端11的第二定位信息。移动终端11可以进上传基于图像通过算法获得环境点云数据，而不需要上传图片，从而减少带宽和流量，也加快了融合定位的速度，降低了整体成本。

最后，服务器13通过一地标31的对应的预设高精度的定位信息和第二定位信息，将移动终端11映射到三维点云空间数据10。获得移动终端11基于三维点云空间数据10内的第三定位信息41。服务器13将第三定位信息41下发给移动终端11，完成基于一个地标的融合定位。

本发明的再一种具体实施方式如下：

图20至21是本发明的基于移动终端的融合定位方法的再一种变化实施过程的示意图。如图20所示，为了让融合定位的结果更加精确，参考图16至19的内容，可以使用在格栅27的范围中的多个地标同步进行定位。通过移动终端环向拍摄周围图像，获得更多方向的点云数据与处于不同位置的地标31、32、33进行比对。

如图21所示，服务器13通过一地标31的对应的预设高精度的定位信息和第二定位信息，将移动终端11映射到三维点云空间数据10，获得移动终端11基于三维点云空间数据10内的第三定位信息41。服务器13通过一地标32的对应的预设高精度的定位信息和第二定位信息，将移动终端11映射到三维点云空间数据10，获得移动终端11基于三维点云空间数据10内的第三定位信息42。服务器13通过一地标33的对应的预设高精度的定位信息和第二定位信息，将移动终端11映射到三维点云空间数据10，获得移动终端11基于三维点云空间数据10内的第三定位信息43。

通过立体空间中求得第三定位信息41、第三定位信息42、第三定位信息43三个点对应的坐标的中心点。例如：中心点到每个第三定位信息的距离的相互之间的误差最小，从而获得三个定位信息的中心坐标，将中心坐标作为移动终端的当前位置信息发送给移动终端11，完成基于多个地标的高进度融合定位。

本实施例通过基于5G定位精度对点云地图进行分割，减少VSLAM定位的计算量，提升VSLAM定位运行效率，通过融合定位大大提升定位的精确性。

本发明实施例还提供一种基于移动终端的融合定位设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于移动终端的融合定位方法的步骤。

如上所示，该实施例本发明的基于移动终端的融合定位系统能够基于5G定位精度对点云地图进行分割，减少VSLAM定位的计算量，提升VSLAM定位运行效率，通过融合定位大大提升定位的精确性。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图22是本发明的基于移动终端的融合定位设备的示意图。下面参照图22描述根据本发明的这种实施方式的电子设备600。图22所示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图22所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：处理系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于移动终端的融合定位方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，该实施例本发明的基于移动终端的融合定位系统能够基于5G定位精度对点云地图进行分割，减少VSLAM定位的计算量，提升VSLAM定位运行效率，通过融合定位大大提升定位的精确性。

根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明处理的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上，本发明的目的在于提供基于移动终端的融合定位方法、系统、设备及存储介质，能够基于5G定位精度对点云地图进行分割，减少VSLAM定位的计算量，提升VSLAM定位运行效率，通过融合定位大大提升定位的精确性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于移动终端的融合定位方法，其特征在于，包括以下步骤：

服务器预存基于物理空间的三维点云空间数据，服务器基于所述移动终端周边的基站对所述移动终端进行空间定位，获得所述移动终端基于物理空间的三维点云空间数据的第一定位信息；

将所述三维点云空间数据进行立体格栅化，所述基站的定位精度a米和偏移常数b米，每个所述立体格栅的边长为(2a+b)米，服务器基于所述第一定位信息匹配所述三维点云空间数据中的立体格栅，基于所述格栅范围获得对应的局部点云图，所述局部点云图中包括至少一具有预设定位信息的地标的局部轮廓；

基于所述移动终端拍摄的环境视觉信息，生成描述所述移动终端所在环境的三维环境空间数据；

基于空间比对，获得所述地标在所述三维环境空间数据中的第二定位信息；以及

基于所述地标的对应的预设定位信息和第二定位信息，获得所述移动终端基于所述三维点云空间数据内的第三定位信息。

2.如权利要求1所述的基于移动终端的融合定位方法，其特征在于，所述服务器基于所述第一定位信息匹配所述三维点云空间数据中的立体格栅之后、所述基于所述格栅范围获得对应的局部点云图，所述局部点云图中包括至少一具有预设定位信息的地标的局部轮廓之前还包括：

判断所述第一定位信息与所述三维点云空间数据中任一所述立体格栅的中心坐标的欧式距离是否小于等于(a+b)米，若是，则将该立体格栅作为被匹配的立体格栅，若否，则返回步骤S121，重新对所述三维点云空间数据进行立体格栅化，以获得范围不同的所述立体格栅。

3.如权利要求1所述的基于移动终端的融合定位方法，其特征在于，所述基于所述移动终端拍摄的环境视觉信息，生成描述所述移动终端所在环境的三维环境空间数据，包括：

基于所述移动终端拍摄一图像或者图像集合；

基于所述图像或者图像集合生成描述所述移动终端所在环境的三维环境空间数据，

将所述三维环境空间数据上传到所述服务器。

4.如权利要求3所述的基于移动终端的融合定位方法，其特征在于，所述基于所述移动终端拍摄的环境视觉信息，生成描述所述移动终端所在环境的三维环境空间数据，还包括：

根据所述地标与所述第一定位信息的定位关系，生成一引导所述移动终端转动以令所述移动终端的背面的相机朝向所述地标的引导信息。

5.如权利要求3所述的基于移动终端的融合定位方法，其特征在于，所述基于空间比对，获得所述地标在所述三维环境空间数据中的第二定位信息，包括：

所述服务器调用所述地标的至少局部轮廓的空间特征，所述空间特征具有与所述地标的预设定位信息的相对位置关系；

将所述的空间特征在所述三维环境空间数据中进行比对，获得所述地标在所述三维环境空间数据中基于所述移动终端的第二定位信息。

6.如权利要求2所述的基于移动终端的融合定位方法，其特征在于，所述基于所述地标的对应的预设定位信息和第二定位信息，获得所述移动终端基于所述三维点云空间数据内的第三定位信息，包括：

所述服务器通过一所述地标的对应的预设定位信息和第二定位信息，将所述移动终端映射到所述三维点云空间数据；

获得所述移动终端基于所述三维点云空间数据内的第三定位信息；

所述服务器将所述第三定位信息下发给所述移动终端。

7.如权利要求6所述的基于移动终端的融合定位方法，其特征在于，所述获得所述移动终端基于所述三维点云空间数据内的第三定位信息之后、所述服务器将所述第三定位信息下发给所述移动终端之前，还包括：

获得自若干个所述地标获得的定位信息的中心坐标，将所述中心坐标在所述三维环境空间数据中的位置信息作为第三定位信息。

8.一种基于移动终端的融合定位方法，其特征在于，包括：

第一定位模块，服务器预存基于物理空间的三维点云空间数据，服务器基于所述移动终端周边的基站对所述移动终端进行空间定位，获得所述移动终端基于物理空间的三维点云空间数据的第一定位信息；

点云空间模块，将所述三维点云空间数据进行立体格栅化，所述基站的定位精度a米和偏移常数b米，每个所述立体格栅的边长为(2a+b)米，服务器基于所述第一定位信息匹配所述三维点云空间数据中的立体格栅，基于所述格栅范围获得对应的局部点云图，所述局部点云图中包括至少一具有预设定位信息的地标的局部轮廓；

环境空间模块，基于所述移动终端拍摄的环境视觉信息，生成描述所述移动终端所在环境的三维环境空间数据；

第二定位模块，基于空间比对，获得所述地标在所述三维环境空间数据中的第二定位信息；以及

第三定位模块，基于所述地标的对应的预设定位信息和第二定位信息，获得所述移动终端基于所述三维点云空间数据内的第三定位信息。

9.一种基于移动终端的融合定位设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述基于移动终端的融合定位方法的步骤。

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任意一项所述基于移动终端的融合定位方法的步骤。