CN108564657B - 一种基于云端的地图构建方法、电子设备和可读存储介质 - Google Patents

Abstract

一种基于云端的定位地图构建方法，该方法可用于智能机器人，无人驾驶以及盲人导盲系统定位地图创建上。具体的，该方法的步骤包括：将采集得到的多个图像信息进行排列组合形成多组数据集；以每组数据集为构建轨迹，构建定位地图，并计算每组数据集构建定位地图的定位成功率和轨迹重合率；若构建出的定位地图的定位成功率和轨迹重合率达到预定指标或到达预定构建时间，则输出构建定位地图中定位成功率和轨迹重合率最高的定位地图。本申请所述技术方案通过将目标区域的多个图像信息进行排列组合形成多组数据集，并利用多组数据集进行循环建图，从而降低环境变化对构建定位地图的影响。

Description

一种基于云端的地图构建方法、电子设备和可读存储介质

技术领域

本发明涉及计算机视觉以及多种传感器融合的建图以及优化技术，具体涉及到一种基于云端的利用多传感装置图像采集和迭代循环相结合的定位地图构建方法、电子设备和计算机可读存储介质。该方案可应用于智能机器人，无人驾驶以及盲人导盲系统的定位地图创建上。

背景技术

智能机器人或无人驾驶车辆等在未知环境中想要完成一些简单或者复杂功能，就需要知道整个未知环境的地图信息，根据获取的地图信息，来建立未知环境的地图，用于智能机器人或者无人驾驶车辆的定位。因此，建立一个高精度的用于定位的地图是极为关键的。目前，市场上常用的建图方案有激光雷达建图、高精度GPS建图、VSLAM建图。这些建图方案中激光雷达建图成本高， GPS建图在室内实施可能性小，传统的VSLAM建图技术也会受到光照、场景、角度以及建图纹理丰富程度的影响，建立出来的图会不完整，误差较大。无论哪一种建图方法，都不能保证所建立的地图与实际地图完全没有误差，也不能保证所建立的地图在定位的时候所提供的位姿势完全准确无误的，无法建立出满足应用要求的高精度地图。

发明内容

为解决上述技术问题之一，本申请提供了一种定位地图构建方法，该方法可用于智能机器人，无人驾驶以及盲人导盲系统定位地图创建上。

根据本申请实施例的第一个方面，提供了一种定位地图构建方法，包括：将采集得到的多个图像信息进行排列组合形成多组数据集；以每组数据集为构建轨迹，构建定位地图，并计算每组数据集构建定位地图的定位成功率和轨迹重合率；若构建出的定位地图的定位成功率和轨迹重合率达到预定指标或到达预定构建时间，则输出构建定位地图中定位成功率和轨迹重合率最高的定位地图。

根据本申请实施例的第二个方面，还提供了一种电子设备，所述电子设备包括：存储器，一个或多个处理器；存储器与处理器通过通信总线相连；处理器被配置为执行存储器中的指令；所述存储介质中存储有用于执行如上所述方法中各个步骤的指令。

根据本申请实施例的第三个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述方法的步骤。

本申请所述技术方案通过将目标区域的多个图像信息进行排列组合形成多组数据集，并利用多组数据集进行循环建图，最终输出构建定位地图中定位成功率和轨迹重合率最高的定位地图，从而降低环境变化对构建定位地图的影响。

附图说明

图1为本方案所述定位地图构建方法的示意图；

图2为本方案所述构建时间戳的示意图；

图3为本方案实施例4中所述基于IMU对定位地图进行补充构建的示意图；

图4为本方案实施例5中所述基于GPS对定位地图进行补充构建的示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本方案的核心思路是摄像头、IMU、GPS等多种传感器设备，重复采集同一场景中不同时刻，不同角度的图像信息，并且自动排列组合所有的数据集组合，循环的输入数据，进行定位地图构建，尽可能的减少环境变化对建图的影响；同时，利用其他传感器的配合，在视觉建图过程中始终无法建图的地方，用其他传感器补齐地图信息。

实施例1

如图1所示，本实例提供了一种定位地图构建方法，该方法可用于智能机器人，无人驾驶以及盲人导盲系统定位地图创建上。该方法的步骤主要包括：

将采集得到的多个图像信息进行排列组合形成多组数据集；

以每组数据集为构建轨迹，构建定位地图，并计算每组数据集构建定位地图的定位成功率和轨迹重合率；

若构建出的定位地图的定位成功率和轨迹重合率达到预定指标或到达预定构建时间，则输出构建定位地图中成功率和轨迹重合率最高的定位地图。

本方案中，对于多个图像信息主要是利用摄像机等图像采集设备作为用于图像信息采集的第一设备，分别在不同时刻、不同角度对目标区域进行持续不断的图形采集。图像信息通过数据线传入图像构建系统等程序执行载体中。

本方案中，所述以每组数据集为构建轨迹，构建定位地图，并计算每组数据集构建地图的定位成功率和轨迹重合率的步骤中可以采用视觉运算处理技术 VSLAM或ORB-SLAM算法，以每组数据集为构建轨迹，构建定位地图。本方案中，优选地，利用基于ORB特征的三维定位与地图构建算法ORB-SLAM，对定位地图进行构建。本领域技术人员应该明白，对于地图构建的算法是存在多种的，基于本方案所述思想，可以根据实际情况任意选用地图构建算法，以能够实现定位地图构建的目的即可。

本方案中，对于定位地图构建过程中，定位地图构建的定位成功率和轨迹重合率的计算过程如下：

将构建完成的定位地图进行位姿转换，获得所述定位地图对应的平面坐标；其中，按照预定的像素要求和比例尺将定位地图的位姿转换为平面几何坐标点；

计算落入所述定位地图对应平面坐标中的每个用于构建定位地图所用轨迹点的权重值；

基于预设阈值对所有点的权重值进行筛选，利用权重值大于等于阈值的点，构建标准轨迹；

所述轨迹重合率：Cr＝Pn/Sn，其中，Pn为所述定位地图的轨迹点在以标准轨迹中每个点为圆心，以预定半径形成的圆形区域内的个数，Sn为定位地图上轨迹点的总个数；

所述构建地图的成功率：Ir＝Ln/An，其中，Ln为构建定位地图成功的图像信息量，An为获取图像信息的总量。

本方案中，为了降低输出定位地图的误差，在所述若构建出的定位地图的定位成功率和轨迹重合率达到预定指标或到达预定构建时间，则输出构建定位地图中定位成功率和轨迹重合率最高的定位地图的步骤之后，基于标准轨迹，对输出的定位地图中不在标准轨迹上的点进行剔除；从而避免这些偏离标准轨迹的点对定位地图的准确度造成影响。

本方案中，对于以上步骤中输出的定位成功率和轨迹重合率最高的定位地图中无法完整构建的地图区域进一步采用其他传感器设备进行该区域的补充构建；为了保证构建的准确度，需要在第一设备对目标区域进行图像采集的同时，利用其他传感器设备作为第二设备对目标区域进行位置信息采集。具体的，对定位成功率和轨迹重合率最高的定位地图中无法完整构建的地图区域进行补充构建的步骤包括：

利用构建定位地图时预留的时间戳，将利用第二设备采集的位置信息信息与所述成功率和轨迹重合率最高的定位地图进行关联；

利用第二设备采集的位置信息，对定位成功率和轨迹重合率最高的定位地图中无法完整构建的地图区域进行补充构建，形成完整的定位地图。

本方案中，所述预留的时间戳的构建步骤包括：在第一设备采集图像时，在预定的物理位置添加节点；当利用第一设备采集的图像信息进行定位地图构建失败，并重新构建定位地图时，根据失败处的时间戳，找到距离起点最远的节点位置，并将其对应的时间戳作为第二设备进行补充构建的起始时间戳；当利用第一设备采集的图像信息重新构建定位地图时，找到离起点最近的位置，作为第二设备进行补充构建的结束时间戳。

本实例所述技术方案是基于摄像头、IMU、GPS等一些成本较低的传感器设备，利用摄像头重复采集同一场景中不同时刻，不同角度的图像数据，并且自动排列组合所有的数据集组合，循环利用数据集构建定位地图，尽可能的减少环境变化对建图的影响；进一步的利用IMU、GPS等其他传感器，在视觉建图过程中始终无法建图的区域，利用IMU、GPS等其他传感器对区域进行补充构建，从而在保证建图姿态准确的同时，提高定位地图的精度，降低定位地图的误差。

实施例2

本实例中提供了一种电子设备，所述电子设备包括：存储器，一个或多个处理器；存储器与处理器通过通信总线相连；处理器被配置为执行存储器中的指令；所述存储介质中存储有用于执行实施例1所述方法中各个步骤的指令。本实例所述技术方案是基于摄像头、IMU、GPS等一些成本较低的传感器设备，利用摄像头重复采集同一场景中不同时刻，不同角度的图像数据，并且自动排列组合所有的数据集组合，循环利用数据集构建定位地图，尽可能的减少环境变化对建图的影响；进一步的利用IMU、GPS等其他传感器，在视觉建图过程中始终无法建图的区域，利用IMU、GPS等其他传感器对区域进行补充构建，从而在保证建图姿态准确的同时，提高定位地图的精度，降低定位地图的误差。

实施例3

本实例中提供了一种计算机刻度存储介质，其上存储有计算机程序，该程序被处理器执行时实现上所述导航方法的步骤。这些计算机程序指令可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品。本实例所述技术方案是基于摄像头、IMU、GPS等一些成本较低的传感器设备，利用摄像头重复采集同一场景中不同时刻，不同角度的图像数据，并且自动排列组合所有的数据集组合，循环利用数据集构建定位地图，尽可能的减少环境变化对建图的影响；进一步的利用IMU、GPS等其他传感器，在视觉建图过程中始终无法建图的区域，利用IMU、GPS等其他传感器对区域进行补充构建，从而在保证建图姿态准确的同时，提高定位地图的精度，降低定位地图的误差。

实施例4

如图1所示，本实例提供一种基于迭代循环和多传感设备相配合的定位地图构建方法，该方法包括如下步骤：

1、利用例如摄像头等图像采集设备采集同一场景下循环的n组图像信息，将图像信息传入建图系统中；

2、根据所有的图像信息进行排列组合，获得所有的图片数据集组合，并以此数据集为构建轨迹，建立几何地图；对于地图构建可以用VSLAM技术进行建图，同时，根据建立的地图计算在此场景中的定位成功率(Ir)和建图轨迹重合率(Cr)；

本实例中，对于计算建图轨迹重合率(Cr)的步骤如下：

1)、将每组图片数据集构建的地图的位姿转换为600*600的像素点p(x,y) 表示的几何坐标，其中，x和y分别表示的点的横纵坐标，p(x,y)的初始值为0；

s＝600/max(max(x,y)-min(x,y)) 式2.1

式2.1中min(x,y)表示的是最小的x和y的值，max(x,y)表示的是最大的x 和y的值，s表示比例尺系数；

p(x，y)＝(pm(x，y)-min(x，y))*s 式2.2

式2.2中pm(x,y)表示的是点的相对物理坐标；

2)、根据构建地图所用的轨迹，计算落在平面几何坐标p(x,y)中的每个轨迹点的权重值Ep(x,y)；

式2.3中，当p_i(x,y)＝0时，fp_i(x,y)＝0,p_i(x,y)！＝0时，fp_i(x,y)＝1；

3)、设定阈值为n*0.6，遍历轨迹点的权重值，若大于等于阈值，则选取该点作为标准轨迹的点，从而得到标准轨迹L；

4)、遍历所有标准轨迹的点，记录每一个标准轨迹点0.2*s为半径的圆内的存在定位地图中轨迹点的个数Pn，若|pm(x，y)-L|＜0.2*s，Pn加1，否则 Pn为0，则

Cr＝Pn/Sn 式2.4

式2.4中，Sn为建立的地图轨迹上的所有点的个数，Pn为d中满足要求的点的个数。

计算定位成功率(Ir):

Ir＝Ln/An 式2.5

式2.5中，An为传入定位系统中的图像信息总量 ，Ln为构建地图成功的图像信息量。

3、判断建图迭代次数是否达到阈值，若达到阈值，保存定位成功率和建图重合率最高的地图并且将地图轨迹中所有不在标准轨迹上的点剔除，作为优化步骤，并保存优化过后的地图。如果没有达到阈值，就继续循环传入之前的图像信息，重复读取，进行建图。

4、对于输出地图中无法建图的区域，不再利用摄像头采集的图像信息建图，利用其他的传感器对所述无法建图的区域进行补充建图，例如GPS和IMU等，根据建图时候统一的时间戳将不同传感器联系起来，融合不同传感器建立的地图，形成一个完整的地图。由于有多段轨迹循环在一起，因此需要确定其他传感器开始和结束的时间戳。

如图2所示，对于时间戳的设置，本实例中是在采集图像的时候，在固定的物理位置手动添加节点，当建图失败的时候，重新开始建图模式，根据失败的时间戳，找到距离起点最远的节点位置，将其对应的时间戳作为其他传感器建图的起始时间戳，同理，当视觉能重新建图的时候，找到离起点最近的位置，作为其他传感器结束的时间戳。

若有建图轨迹l1，l2，l3，横轴表示坐标t，图中实现表示的是随着时间变化，视觉建图成功，空白区域表示建图失败，从而得到上述轨迹图，则a，f点为所取的起点和终点位置，将起点和终点之间用其他传感器建图，并融合到视觉建图上。

本方案在建图的时候循环添加采集到的相同场景的图像数据，这些图像数据来自于不同时段，不同环境背景下，因此建立的地图不会受光照等一些环境因素的影响；本方案建图时候添加的数据集是同一地方循环的图像，因此那些由于环境纹理信息不足无法一次或数次成功建图的地方在无数次循环建图后能有更大可能性成功建图。有些如空白的走廊等极端环境中本方案也能利用多传感融合的方式将此部分区域进行补充建图，最终可以建立出高精度的定位地图。

实施例5

如图3所示，本实例中基于ORB-SLAM算法进行循环建图，并结合IMU 设备对定位地图进行补充建图，具体步骤如下：

1)、利用ORB-SLAM算法，通过循环加入采集的不同时刻不同状况下同一场景中的图像信息来进行建图；

2)、保存构建的定位地图并计算对应的定位成功率和建图重合率这两个指标；

3)、当这两个指标数据增加的时候，将对应的地图保存进行更新；

4)、判断两个指标是否达到预定值或者建图的迭代次数是否达到阈值；

5)、若成功率和建图重合率的指标未达到预设阈值，且迭代次数未达到预设次数，则继续传入循环数据，重复步骤1)至4)，不断迭代，循环读取数据建图，直到迭代次数达到预设次数结束，输出当前成功率和建图重合率最高的地图；若成功率和建图重合率的指标达到预设阈值，则输出达到指标的地图；为了提供地图的精度，进一步对输出的地图进行冗余点剔除，并保存地图；

6)、利用IMU传感器在ORB-SLAM算法建图过程中无法完整构建的地图区域进行补充建图，即将IMU建图和ORB-SLAM算法构建的地图进行融合，最终形成在保证建图姿态准确的同时，具有较高精度的定位地图。

实施例6

如图4所示，本实例中基于ORB-SLAM算法进行循环建图，并结合GPS 设备对定位地图进行补充建图，具体步骤如下：

1)、利用ORB-SLAM算法，通过循环加入采集的不同时刻不同状况下同一场景中的图像信息来进行建图；

2)、保存构建的定位地图并计算对应的定位成功率和建图重合率这两个指标；

3)、当这两个指标数据增加的时候，将对应的地图保存进行更新；

4)、判断两个指标是否达到预定值或者建图的迭代次数是否达到阈值；

5)、若成功率和建图重合率的指标未达到预设阈值，且迭代次数未达到预设次数，则继续传入循环数据，重复步骤1)至4)，不断迭代，循环读取数据建图，直到迭代次数达到预设次数结束，输出当前成功率和建图重合率最高的地图；若成功率和建图重合率的指标达到预设阈值，则输出达到指标的地图；为了提供地图的精度，进一步对输出的地图进行冗余点剔除，并保存地图；

6)、利用GPS传感器在ORB-SLAM算法建图过程中无法完整构建的地图区域进行补充建图，即将GPS建图和ORB-SLAM算法构建的地图进行融合，最终形成在保证建图姿态准确的同时，具有较高精度的定位地图。

综上所述，本申请所述基于迭代循环和多传感设备相配合建图的方式能够弥补传统建图方式的不足，利用了多个传感器融合的方式建立的地图鲁棒性更强、更完整、误差更小，用在定位的时候成功率相对更高。

本方案由于采用摄像头，IMU，GPS等传感器，成本低，数据可以众筹的方式获得，不用专门采集数据，成本较低。同时，通过阈值迭代，自动化生成最优的地图，地图构建速度快，精度高。进一步的通过剔除冗余轨迹和多传感融合补齐地图让建立的图更完整，误差更小。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (11)

1.一种基于云端的地图构建方法，其特征在于，该方法的步骤包括：

利用第一设备在不同时刻、不同角度对目标区域进行图像采集，获得多个图像信息；

将采集得到的多个图像信息进行排列组合形成多组数据集；

以每组数据集为构建轨迹，构建定位地图，并计算每组数据集构建定位地图的定位成功率和轨迹重合率；

若构建出的定位地图的定位成功率和轨迹重合率达到预定指标或达到预定构建时间，则输出构建定位地图中定位成功率和轨迹重合率最高的定位地图；

所述轨迹重合率：Cr＝Pn/Sn，其中，Pn为所述定位地图的轨迹点在以标准轨迹中每个点为中心的预定区域内的个数和，Sn为定位地图上轨迹点的总个数；

所述定位成功率：Ir＝Ln/An，其中，Ln为构建定位地图定位成功的图像信息量，An为获取图像信息的总量。

2.根据权利要求1所述的地图构建方法，其特征在于，所述以每组数据集为构建轨迹，构建定位地图，并计算每组数据集构建定位地图的定位成功率和轨迹重合率的步骤中是利用VSLAM技术或ORB-SLAM算法，以每组数据集为构建轨迹，构建定位地图。

3.根据权利要求1所述的地图构建方法，其特征在于，所述以每组数据集为构建轨迹，构建定位地图，并计算每组数据集构建定位地图的定位成功率和轨迹重合率的步骤中所述成功率和轨迹重合率的计算步骤包括：

将构建完成的定位地图进行位姿转换，获得所述定位地图对应的平面坐标；

计算落入所述定位地图对应平面坐标中的每个用于构建定位地图所用轨迹点的权重值；

基于预设阈值对所有点的权重值进行筛选，利用权重值大于等于阈值的点，构建标准轨迹。

4.根据权利要求3所述的地图构建方法，其特征在于，所述以标准轨迹中每个点为中心的预定区域为以标准轨迹中每个点为圆心，以预定半径形成的圆形区域。

5.根据权利要求4所述的地图构建方法，其特征在于，所述若构建出的定位地图的定位成功率和轨迹重合率达到预定指标或到达预定构建时间，则输出构建定位地图中定位成功率和轨迹重合率最高的定位地图的步骤之后包括：

基于标准轨迹，对输出的定位地图中不在标准轨迹上的点进行剔除。

6.根据权利要求1所述的地图构建方法，其特征在于，利用第二设备在第一设备对目标区域进行图像采集的同时，对目标区域进行位置信息采集。

7.根据权利要求1或6所述的地图构建方法，其特征在于，该方法的步骤进一步包括：

对定位成功率和轨迹重合率最高的定位地图中无法完整构建的地图区域进行补充构建。

8.根据权利要求7所述的地图构建方法，其特征在于，所述对定位成功率和轨迹重合率最高的定位地图中无法完整构建的地图区域进行补充构建的步骤包括：

利用构建定位地图时预留的时间戳，将利用第二设备采集的图像信息与所述定位成功率和轨迹重合率最高的定位地图进行关联；

利用第二设备采集的图像信息，对定位成功率和轨迹重合率最高的定位地图中无法完整构建的地图区域进行补充构建，形成完整的定位地图。

9.根据权利要求8所述的地图构建方法，其特征在于，所述预留的时间戳的构建步骤包括：

在第一设备采集图像时，在预定的物理位置添加节点；

当利用第一设备采集的图像信息进行定位地图构建失败，并重新构建定位地图时，根据失败处的时间戳，找到距离起点最远的节点位置，并将其对应的时间戳作为第二设备进行补充构建的起始时间戳；

当利用第一设备采集的图像信息重新构建定位地图时，找到离起点最近的位置，作为第二设备进行补充构建的结束时间戳。

10.一种电子设备，其特征在于，所述电子设备包括：存储器，一个或多个处理器；存储器与处理器通过通信总线相连；处理器被配置为执行存储器中的指令；所述存储器中存储有用于执行权利要求1至9任意一项所述方法中各个步骤的指令。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至9中任意一项所述方法的步骤。

Images