CN115170652A - 全局重定位方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本申请实施例提供了一种全局重定位方法、装置、电子设备及计算机存储介质，其中，所述全局重定位方法包括：获取用于描述待定位对象所处环境的三维点云数据和二维图像数据；根据所述三维点云数据和所述二维图像数据，确定所述待定位对象对应的全局描述子和特征点云数据，其中，所述全局描述子中携带有所述环境的整体结构信息、局部语义信息和图像细节描述子信息；从预设的全局字典中检索与所述全局描述子对应的第一位姿，其中，所述全局字典中存储有多种全局描述子与多种位姿的对应关系；以所述第一位姿为初始位姿，结合所述特征点云数据，从预设的定位点云地图中，获得所述待定位对象的第二位姿。通过本申请实施例，实现了精准的全局重定位。

Description

全局重定位方法、装置、电子设备及计算机存储介质

技术领域

本申请实施例涉及自动驾驶技术领域，尤其涉及一种全局重定位方法、装置、电子设备及计算机存储介质。

背景技术

随着自动化技术的发展，越来越多的设备可以实现自动行驶，如自动驾驶车辆或自动行驶机器人等。因这些设备在自动化程度、行驶安全性、通行效率等方面具有较大的优势，成为业界的研究热点。

在自动行驶技术中，这些设备(如车辆或机器人等)的高精度定位对于正常的自动行驶至关重要。而该高精度定位依赖于设备的全局重定位，也即在这些设备的启动阶段，在全局地图范围内确定设备初始位姿的过程。而后，则可以基于此位姿，进行连续的设备高精度定位。

目前，一种常用的全局重定位方式是以外部定位源进行重定位，例如，以GNSS(Global Navigation Satellite System，全球导航卫星系统定位)作为定位源进行全局重定位。GNSS可以提供地球坐标系下的全局位姿，精度可达到米级。但GNSS在楼宇、高架、隧道等场景下会出现信号不稳或无信号的情况，导致全局重定位不够准确甚至失败。

发明内容

有鉴于此，本申请实施例提供一种全局重定位方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种全局重定位方法，包括：获取用于描述待定位对象所处环境的三维点云数据和二维图像数据；根据所述三维点云数据和所述二维图像数据，确定所述待定位对象对应的全局描述子和特征点云数据，其中，所述全局描述子中携带有所述环境的整体结构信息、局部语义信息和图像细节描述子信息；从预设的全局字典中检索与所述全局描述子对应的第一位姿，其中，所述全局字典中存储有多种全局描述子与多种位姿的对应关系；以所述第一位姿为初始位姿，结合所述特征点云数据，从预设的定位点云地图中，获得所述待定位对象的第二位姿。

根据本申请实施例的第二方面，提供了一种全局重定位装置，包括：获取模块，用于获取用于描述待定位对象所处环境的三维点云数据和二维图像数据；确定模块，用于根据所述三维点云数据和所述二维图像数据，确定所述待定位对象对应的全局描述子和特征点云数据，其中，所述全局描述子中携带有所述环境的整体结构信息、局部语义信息和图像细节描述子信息；检索模块，用于从预设的全局字典中检索与所述全局描述子对应的第一位姿，其中，所述全局字典中存储有多种全局描述子与多种位姿的对应关系；定位模块，用于以所述第一位姿为初始位姿，结合所述特征点云数据，从预设的定位点云地图中，获得所述待定位对象的第二位姿。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的全局重定位方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的全局重定位方法。

根据本申请实施例提供的全局重定位方案，在对待定位对象进行全局重定位时，同时考虑了待定位对象所处环境的三维点云数据和二维图像数据，其中，三维点云数据对光照、季节变化等不敏感，但缺乏局部细节信息，而二维图像数据携带了丰富的图像细节信息，但易受到光照、季节变化的影响。将两者结合可以有效弥补两者各自的不足之处。进一步地，基于此，本申请方案在综合了三维点云数据和二维图像数据各自特点的基础上，还基于两者提取了待定位对象所处环境的整体结构信息、局部语义信息和图像细节描述子信息，实现了基于多源数据的、从整体到局部再到细节的多层次信息获取。全局字典中的全局描述子同样携带有多种整体结构信息、局部语义信息和图像细节描述子信息，且具有对应的位姿。则根据待定位对象对应的全局描述子，以及该全局字典，则可实现对待定位对象的全局重定位的粗定位。进一步地，以该粗定位结果即第一位姿为初始位姿，结合待定位对象的特征点云数据，可从预设的定位点云地图中获得待定位对象的第二位姿。因定位点云地图用于高精定位，因此，基于其确定的第二位姿也为高精位姿。由此，实现了从粗定位到精定位的全局重定位。并且，该全局重定位不依赖于GNSS，不会因信号不稳或无信号而导致全局重定位不够准确甚至失败的情况，实现了精准的全局重定位。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1A为根据本申请实施例一的一种全局重定位方法的步骤流程图；

图1B为图1A所示实施例中的一种等分分区方式的示意图；

图1C为图1A所示实施例中的一种全局描述子的示意图；

图1D为图1A所示实施例中的一种全局重定位过程示意图；

图2为根据本申请实施例二的一种全局重定位装置的结构框图；

图3为根据本申请实施例三的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

参照图1A，示出了根据本申请实施例一的一种全局重定位方法的步骤流程图。

本实施例的全局重定位方法包括以下步骤：

步骤S101：获取用于描述待定位对象所处环境的三维点云数据和二维图像数据。

本实施例中，待定位对象可以为任意具有自动行驶功能的对象，包括但不限于自动驾驶车辆、自动行驶机器人等。需要说明的是，本申请中，均以自动驾驶车辆为示例，但本领域技术人员应当明了的是，其它具有自动行驶功能的对象均可参照本申请实施例中的描述，实现相应的全局重定位。

待定位对象在进行全局重定位时，会首先采集其所处环境如道路环境或者停车环境等的数据，常规方式中，采集的是三维点云数据，而本申请实施例中，不仅采集三维点云数据，还采集二维图像数据。

例如，自动驾驶车辆通过其承载的三维激光雷达LIDAR采集三维点云数据，通过其承载的摄像头采集Camera采集二维图像数据。其中，LIDAR采集的环境的3D点云数据，对光照、季节变化鲁棒；Camera采集的2D图像数据中携带有丰富的图像细节信息。

步骤S102：根据所述三维点云数据和所述二维图像数据，确定所述待定位对象对应的全局描述子和特征点云数据。

其中，所述全局描述子中携带有所述环境的整体结构信息、局部语义信息和图像细节描述子信息。

在一种可行方式中，确定所述待定位对象对应的全局描述子可以实现为：将所述三维点云数据和所述二维图像数据转换至基准坐标系下，生成对应的基准点云数据和基准图像数据，所述基准坐标系具有基于所述待定位对象所处的地面确定的Z轴向、围绕所述Z轴向确定的航向角方向、以及所述待定位对象在所述地面的目标朝向；在所述基准坐标系下，沿目标朝向设置Nr等分，沿航向角方向设置Ns等分，将所述基准点云数据划分为Nr×Ns等分；根据所述基准点云数据和所述基准图像数据，分别生成所述待定位对象所处环境的整体结构信息、局部语义信息和图像细节描述子信息。X轴向可以为面向所述待定位对象的前方、右手所指方向。Z轴可以为与地面垂直、指向天空方向的轴向。

因三维点云数据和二维图像数据通常处于不同的坐标系下，因此，在需要对二者的信息进行综合考量的情况下，需要将二者转换至同一坐标系下，该同一坐标系即所述基准坐标系。可选地，该基准坐标系可为三维点云数据所在的坐标系，这样，可仅对二维图像数据进行坐标转换即可，降低了坐标转换成本。但不限于此，该基准坐标系也可以为其它坐标系，如自动驾驶车辆所使用的其它坐标系如IMU(惯性测量单元)坐标系等，本申请实施例对此不作限制。

在基准坐标系下，对由三维点云坐标转换而来的基准点云数据进行分区，并基于分区进行后续的全局描述子生成处理，降低了数据处理的复杂度，并且可有效保证每一个分区的数据的准确性，进而保证整体全局描述子的准确度。

一种示例性等分分区的方式如图1B所示，LIDAR采集3D点云数据，Camera采集2D图像数据；将Camera采集的2D图像数据转换到LIDAR坐标系下，基于LIDAR坐标系下的3D点云数据即为基准点云数据，2D图像数据即为基准图像数据；然后，在LIDAR坐标系下，沿X轴向将基准点云数据划分为Nr等分，沿yaw角(航向角)方向将基准点云数据划分为Ns等分。从而，将基准点云数据划分为Nr x Ns的等分，每一个等分即为一个分区。图1B中仅简单示意出了两个等分，即斜线表示的等分和横线表示的等分。但本领域技术人员应当明了，根据上式方式，可获得基准点云数据对应的Nr x Ns个等分。

其中，所述Nr和Ns的具体设置可由本领域技术人员根据实际需求适当设置。可选地，Nr可以设置为每间隔5M进行划分，Ns可以设置为共划分为60等分等，本申请实施例对此不作限制。

进而，可以基于划分好的等分分区，以及基准点云数据和基准图像数据，生成全局描述子，包括待定位对象所处环境的整体结构信息、局部语义信息和图像细节描述子信息。

以下，分别对生成上述整体结构信息、局部语义信息和图像细节描述子信息的过程进行说明，但本领域技术人员应当明了的是，在实际应用中，本领域技术人员可以采用其中的部分方式生成相应的信息，而另外的信息则可采用其它方式生成；当然，也可以全部采用本实施例中所描述的方式生成。但不管采用了部分方式还是全部方式，其均应落入本申请实施例的保护范围内。

(一)生成待定位对象所处环境的整体结构信息

包括：针对所述Nr×Ns等分中的每个等分，以该等分中的基准点云数据的Z轴最大值为该等分的值，其中，所述Z轴为与地面垂直、指向天空方向的轴向；根据每个等分的Z轴最大值，形成Nr×Ns维二维矩阵，以所述二维矩阵表征所述待定位对象所处环境的整体结构信息。

例如，在Nr×Ns等分中的每个等分内，取所有基准点云数据在Z轴上的最大值(记为Z值)，作为该等分的值，从而组成一个二维的矩阵，该矩阵即记录了待定位对象所处环境的整体结构信息。

以Nr×Ns为基准，以Z值为数据元素形成的二维矩阵，既保留了等分信息，又保留Z值信息，使得点云数据在三维坐标系的信息均得到了完整保留。

(二)生成待定位对象所处环境的局部语义信息

包括：针对所述Nr×Ns等分中的每个等分，基于该等分中的基准点云数据，按照预设的目标对象种类提取该等分中的语义信息；根据每个等分的语义信息，生成所述待定位对象所处环境的局部语义信息。按照Nr×Ns等分提取语义信息，一方面使得获得的语义信息更为精准，另一方面也中与Nr×Ns等分具有较好的对应关系，方便后续数据处理。

其中，目标对象种类可以由本领域技术人员根据实际需求适当设置，例如，行人、其它车辆、道路设施、杆状设施(如电线杆、交通灯杆等)等，本申请实施例对此不作限制。语义信息的具体提取过程也可由本领域技术人员根据实际需求采用适当方式实现，例如，神经网络模型方式等，本申请实施例对此不作限制。

进一步可选地，在所述基于该等分中的基准点云数据，按照预设的目标对象种类提取该等分中的语义信息之后，还可以采用0-1编码方式对该等分中、与各个目标对象种类对应的语义信息进行编码，生成该等分对应的长度为所述目标对象种类的数量S的0-1编码序列。在此情况下，所述根据每个等分的语义信息，生成所述待定位对象所处环境的局部语义信息，包括：根据每个等分对应的0-1编码序列，生成所述基准点云数据对应的Nr×Ns×S的三维0-1阵列，使用所述阵列表征所述待定位对象所处环境的局部语义信息。通过序列编码的方式，既可有效表征多种不同的语义信息，又可使得对语义信息的处理简洁、高效。

例如，可以采用诸如PointNet、PointNet++、PointCNN、RSNet，或者FuseSeg等方式，对Nr×Ns等分中的每个等分提取基准点云数据的语义信息，也即，提取的语义信息也是按照Nr×Ns等分方式划分的。在Nr×Ns等分中的等分内，对语信息进行统计，并采用0-1编码方式来编码语义信息。例如，在设置有s个目标对象种类的情况下，总共有1、2...i...s，总共S种语义信息，在某个等分内，如果第i种语义信息存在，则记为1，否则记为0。以目标对象包括三类，分别为行人、其它车辆、电线杆为例，则相应地有3种语义信息。若第1个等分对应的语义信息指示该等分中存在行人而不存在其它目标对象，则第1个等分对应的语义信息可以为【1，0，0】，其中，括号【】中的第一个元素用于指示是否有行人，第二个元素用于指示是否有其它车辆，第三个元素用于指示是否有电线杆。由上述语义信息【1，0，0】可见，第1个等分中仅有行人，而没有车辆及电线杆。

S种语义信息最终在每一个等分内汇总为一个长度为S的0-1编码序列。整张基准点云数据对应的语义信息将汇总为维度为Nr×Ns x S的三维0-1阵列，此阵列即记录了待定位对象所处环境的局部语义信息。

(三)生成待定位对象所处环境的图像细节描述子信息

包括：提取所述基准图像数据中的特征点及所述特征点对应的细节描述子；将所述特征点投影至基准点云数据中，确定所述特征点在所述Nr×Ns等分中所属的等分；根据所述Nr×Ns等分中各个等分中的特征点对应的细节描述子，生成所述待定位对象所处环境的图像细节描述子信息。基于基准图像数据获得的细节描述子有效记录了图像的细节信息，可作为对点云数据记录的信息的有效补充。其中，对基准图像数据进行特征点及特征点细节描述子提取的具体实现，可由本领域技术人员根据实际需求采用任意适当方式实现，包括但不限于神经网络方式，特征点提取算法方式等等。

例如，可以针对Camera采集的2D图像数据对应的基准图像数据，提取特征点及其对应的细节描述子，并使用Camera-LIDAR外参，将特征点位置投影到3D点云里。采用Nr×Ns等分方式，即可将细节描述子存到对应的等分里，完成细节描述子的提取记录。

一种全局描述子的示意如图1C所示，由图1C中可见，Camera采集自动驾驶车辆所处环境的2D图像数据，LIDAR采集自动驾驶车辆所处环境的3D点云数据；然后，将2D图像数据转换到3D点云数据所在的坐标系下；进而，对该坐标系下的3D点云数据和2D图像数据进行上述处理，获得自动驾驶车辆所处环境的整体结构信息、局部语义信息和图像细节描述子信息；整体结构信息、局部语义信息和图像细节描述子信息都基于Nr×Ns等分对应，由此生成的全局描述子的各部分数据之间既具有丰富和全面的信息，又具有较好的耦合性。

通过上述方式，对多源传感器LIDAR和Camera采集的数据做信息提取，获得关于待定位对象所处环境的整体结构信息、局部语义信息以及图像细节描述子信息。通过LIDAR-Camera的外参数，将这些信息采用紧耦合的方式，放入统一的全局描述子当中。由于记录了待定位对象所处环境中从整体到局部再到细节的信息，该全局描述子对环境的刻画更加全面，从而可实现鲁棒全局重定位。

此外，本步骤中，还提取所述待定位对象的特征点云数据，如通过神经网络模型或通过特征提取算法实现特征点云数据的提取。特征点云数据可有效表征待定位对象，以为后续进行点云匹配提供较为准确的依据。

步骤S103：从预设的全局字典中检索与所述全局描述子对应的第一位姿。

其中，所述全局字典中存储有多种全局描述子与多种位姿的对应关系。

本实施例中，全局字典中的多种全局描述子可预先通过对不同环境进行整体结构信息提取、局部语义信息提取和图像细节描述子信息提取生成。其中，整体结构信息的提取、局部语义信息的提取和图像细节描述子信息的提取均可参照上述步骤S102中所述的方式实现，在此不再赘述。

而全局字典中的位姿可通过三维点云数据在GLOBAL坐标系下的位姿生成。也即，一次对某对象所处的环境进行三维点云数据采集和二维图像数据采集，该一次采集的三维点云数据和二维图像数据经前述处理后可生成对应的全局描述子，并且，该对象在该次数据采集时具有的位姿是已知的。基于此，可建立该对象的位姿与该对象所处环境的全局描述子之间的对应关系。对多个对象及各个对象所处的各种环境进行上述处理，获得多个所述对应关系，即可生成相应的全局字典。

基于此，在获得待定位对象的全局描述子后，即可将其与全局字典中的全局描述子进行匹配，并根据匹配到的全局字典中的全局描述子对应的位姿，确定待定位对象的粗位姿，即第一位姿。

步骤S104：以所述第一位姿为初始位姿，结合所述特征点云数据，从预设的定位点云地图中，获得所述待定位对象的第二位姿。

定位点云地图提供了全局一致的对待定位对象所处环境的全面扫描数据，定位点云地图的数据采样率一般比较高(比如0.1m)，可用于高精定位，提供高精位姿(cm量级)等。

在一种可行方式中，用于高精定位的定位点云地图可由本领域技术人员采用常规方式建立，其过程简述如下：

(1)使用装配有高精度定位设备和传感器(LIDAR/Camera等)的采集车/机器人(以下均以自动驾驶为应用场景，以车辆作为应用载体，但其它应用场景也可同样适用)，扫描目标环境区域，获取建图数据，即目标环境区域的LIDAR采集的3D点云数据(本示例中，body坐标系即LIDAR坐标系)、Camera采集的2D图像数据等，以及对应的位姿。

(2)使用位姿将3D点云数据转换到GLOBAL坐标系(全局坐标系)下，拼接得到稠密点云。

(3)经过bundle adjustment(集束优化)、动态物体滤除、下采样等，得到最终的定位点云地图。

基于该定位点云地图，即可以特征点云数据为配准点，以通过全局字典获得的第一位姿(粗位姿)为初始位姿，获得对应的第二位姿(精位姿)。也即，以所述特征点云数据为配准点，确定所述定位点云地图中、可与所述初始位姿配准的位姿，将所述配准的位姿确定为所述待定位对象的第二位姿。

由此，实现了对待定位对象的由粗到精的全局重定位。

一种全局重定位的过程示意如图1D所示，由图1D可见：

首先，获得用于全局粗定位的全局字典和用于全局精定位的定位点云地图。

其中，全局字典为全局描述子-位姿的对应关系的集合，其中的位姿为LIDAR传感器在GLOBAL坐标系下的位姿，全局描述子为通过步骤S102中所述方式预先生成的全局描述子。

然后，自动驾驶车辆在当前位姿下，使用LIDAR传感器和Camera传感器采集其所处环境的3D点云数据和2D图像数据，并提取对应的当前全局描述子，并提取自动驾驶车辆的当前特征点云数据。

接着，使用提取的当前全局描述子到全局字典当中去检索，检索得到与当前全局描述子欧式距离最近的全局描述子，其对应的位姿即为全局粗位姿(第一位姿)。

最后，使用全局粗位姿作为初始位姿，使用当前特征点云数据与定位点云地图做匹配，获取自动驾驶车辆的精位姿(第二位姿)。

由此，实现了基于全局字典和定位点云地图的鲁棒全局重定位。

通过本实施例，在对待定位对象进行全局重定位时，同时考虑了待定位对象所处环境的三维点云数据和二维图像数据，其中，三维点云数据对光照、季节变化等不敏感，但缺乏局部细节信息，而二维图像数据携带了丰富的图像细节信息，但易受到光照、季节变化的影响。将两者结合可以有效弥补两者各自的不足之处。进一步地，基于此，本申请方案在综合了三维点云数据和二维图像数据各自特点的基础上，还基于两者提取了待定位对象所处环境的整体结构信息、局部语义信息和图像细节描述子信息，实现了基于多源数据的、从整体到局部再到细节的多层次信息获取。全局字典中的全局描述子同样携带有多种整体结构信息、局部语义信息和图像细节描述子信息，且具有对应的位姿。则根据待定位对象对应的全局描述子，以及该全局字典，则可实现对待定位对象的全局重定位的粗定位。进一步地，以该粗定位结果即第一位姿为初始位姿，结合待定位对象的特征点云数据，可从预设的定位点云地图中获得待定位对象的第二位姿。因定位点云地图用于高精定位，因此，基于其确定的第二位姿也为高精位姿。由此，实现了从粗定位到精定位的全局重定位。并且，该全局重定位不依赖于GNSS，不会因信号不稳或无信号而导致全局重定位不够准确甚至失败的情况，实现了精准的全局重定位。

本实施例的全局重定位方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：可承载于自动行驶设备中的电子装置、或者服务器、移动终端(如手机、PAD等)、PC机等。

参照图2，示出了根据本申请实施例二的一种全局重定位装置的结构框图。

本实施例的全局重定位装置包括：获取模块201，用于获取用于描述待定位对象所处环境的三维点云数据和二维图像数据；确定模块202，用于根据所述三维点云数据和所述二维图像数据，确定所述待定位对象对应的全局描述子和特征点云数据，其中，所述全局描述子中携带有所述环境的整体结构信息、局部语义信息和图像细节描述子信息；检索模块203，用于从预设的全局字典中检索与所述全局描述子对应的第一位姿，其中，所述全局字典中存储有多种全局描述子与多种位姿的对应关系；定位模块204，用于以所述第一位姿为初始位姿，结合所述特征点云数据，从预设的定位点云地图中，获得所述待定位对象的第二位姿。

可选地，确定模块202，用于将所述三维点云数据和所述二维图像数据转换至基准坐标系下，生成对应的基准点云数据和基准图像数据；在所述基准坐标系下，沿X轴向设置Nr等分，沿航向角方向设置Ns等分，将所述基准点云数据划分为Nr×Ns等分，其中，所述X轴向为面向所述待定位对象的前方、右手所指方向；根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，分别生成所述待定位对象所处环境的整体结构信息、局部语义信息和图像细节描述子信息。

可选地，确定模块202在根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，生成所述待定位对象所处环境的整体结构信息时：针对所述Nr×Ns等分中的每个等分，以该等分中的基准点云数据的Z轴最大值为该等分的值，其中，所述Z轴为与地面垂直、指向天空方向的轴向；根据每个等分的Z轴最大值，形成Nr×Ns维二维矩阵，以所述二维矩阵表征所述待定位对象所处环境的整体结构信息。

可选地，确定模块202在根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，生成所述待定位对象所处环境的局部语义信息时：针对所述Nr×Ns等分中的每个等分，基于该等分中的基准点云数据，按照预设的目标对象种类提取该等分中的语义信息；根据每个等分的语义信息，生成所述待定位对象所处环境的局部语义信息。

可选地，确定模块202在基于该等分中的基准点云数据，按照预设的目标对象种类提取该等分中的语义信息之后，采用0-1编码方式对该等分中、与各个目标对象种类对应的语义信息进行编码，生成该等分对应的长度为所述目标对象种类的数量S的0-1编码序列；确定模块202在根据每个等分的语义信息，生成所述待定位对象所处环境的局部语义信息时：根据每个等分对应的0-1编码序列，生成所述基准点云数据对应的Nr×Ns×S的三维0-1阵列，使用所述阵列表征所述待定位对象所处环境的局部语义信息。

可选地，确定模块202在根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，生成所述待定位对象所处环境的图像细节描述子信息时：提取所述基准图像数据中的特征点及所述特征点对应的细节描述子；将所述特征点投影至基准点云数据中，确定所述特征点在所述Nr×Ns等分中所属的等分；根据所述Nr×Ns等分中各个等分中的特征点对应的细节描述子，生成所述待定位对象所处环境的图像细节描述子信息。

可选地，定位模块204用于以所述特征点云数据为配准点，确定所述定位点云地图中、可与所述初始位姿配准的位姿，将所述配准的位姿确定为所述待定位对象的第二位姿。

本实施例的全局重定位装置用于实现前述方法实施例中相应的全局重定位方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的全局重定位装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

参照图3，示出了根据本申请实施例三的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。

如图3所示，该电子设备可以包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。

其中：

处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。

通信接口304，用于与其它电子设备或服务器进行通信。

处理器302，用于执行程序310，具体可以执行上述全局重定位方法实施例中的相关步骤。

具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。

处理器302可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器306，用于存放程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序310具体可以用于使得处理器302执行以下操作：获取用于描述待定位对象所处环境的三维点云数据和二维图像数据；根据所述三维点云数据和所述二维图像数据，确定所述待定位对象对应的全局描述子和特征点云数据，其中，所述全局描述子中携带有所述环境的整体结构信息、局部语义信息和图像细节描述子信息；从预设的全局字典中检索与所述全局描述子对应的第一位姿，其中，所述全局字典中存储有多种全局描述子与多种位姿的对应关系；以所述第一位姿为初始位姿，结合所述特征点云数据，从预设的定位点云地图中，获得所述待定位对象的第二位姿。

在一种可选的实施方式中，程序310还用于使得处理器302在根据所述三维点云数据和所述二维图像数据，确定所述待定位对象对应的全局描述子时：将所述三维点云数据和所述二维图像数据转换至基准坐标系下，生成对应的基准点云数据和基准图像数据；在所述基准坐标系下，沿X轴向设置Nr等分，沿航向角方向设置Ns等分，将所述基准点云数据划分为Nr×Ns等分，其中，所述X轴向为面向所述待定位对象的前方、右手所指方向；根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，分别生成所述待定位对象所处环境的整体结构信息、局部语义信息和图像细节描述子信息。

在一种可选的实施方式中，程序310还用于使得处理器302在根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，生成所述待定位对象所处环境的整体结构信息时：针对所述Nr×Ns等分中的每个等分，以该等分中的基准点云数据的Z轴最大值为该等分的值，其中，所述Z轴为与地面垂直、指向天空方向的轴向；根据每个等分的Z轴最大值，形成Nr×Ns维二维矩阵，以所述二维矩阵表征所述待定位对象所处环境的整体结构信息。

在一种可选的实施方式中，程序310还用于使得处理器302在根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，生成所述待定位对象所处环境的局部语义信息时：针对所述Nr×Ns等分中的每个等分，基于该等分中的基准点云数据，按照预设的目标对象种类提取该等分中的语义信息；根据每个等分的语义信息，生成所述待定位对象所处环境的局部语义信息。

在一种可选的实施方式中，程序310还用于使得处理器302在所述基于该等分中的基准点云数据，按照预设的目标对象种类提取该等分中的语义信息之后，采用0-1编码方式对该等分中、与各个目标对象种类对应的语义信息进行编码，生成该等分对应的长度为所述目标对象种类的数量S的0-1编码序列；程序310还用于使得处理器302在所述根据每个等分的语义信息，生成所述待定位对象所处环境的局部语义信息时：根据每个等分对应的0-1编码序列，生成所述基准点云数据对应的Nr×Ns×S的三维0-1阵列，使用所述阵列表征所述待定位对象所处环境的局部语义信息。

在一种可选的实施方式中，程序310还用于使得处理器302在根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，生成所述待定位对象所处环境的图像细节描述子信息时：提取所述基准图像数据中的特征点及所述特征点对应的细节描述子；将所述特征点投影至基准点云数据中，确定所述特征点在所述Nr×Ns等分中所属的等分；根据所述Nr×Ns等分中各个等分中的特征点对应的细节描述子，生成所述待定位对象所处环境的图像细节描述子信息。

在一种可选的实施方式中，程序310还用于使得处理器302在以所述第一位姿为初始位姿，结合所述特征点云数据，从预设的定位点云地图中，获得所述待定位对象的第二位姿时：以所述特征点云数据为配准点，确定所述定位点云地图中、可与所述初始位姿配准的位姿，将所述配准的位姿确定为所述待定位对象的第二位姿。

程序310中各步骤的具体实现可以参见上述全局重定位方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

通过本实施例的电子设备，在对待定位对象进行全局重定位时，同时考虑了待定位对象所处环境的三维点云数据和二维图像数据，其中，三维点云数据对光照、季节变化等不敏感，但缺乏局部细节信息，而二维图像数据携带了丰富的图像细节信息，但易受到光照、季节变化的影响。将两者结合可以有效弥补两者各自的不足之处。进一步地，基于此，本申请方案在综合了三维点云数据和二维图像数据各自特点的基础上，还基于两者提取了待定位对象所处环境的整体结构信息、局部语义信息和图像细节描述子信息，实现了基于多源数据的、从整体到局部再到细节的多层次信息获取。全局字典中的全局描述子同样携带有多种整体结构信息、局部语义信息和图像细节描述子信息，且具有对应的位姿。则根据待定位对象对应的全局描述子，以及该全局字典，则可实现对待定位对象的全局重定位的粗定位。进一步地，以该粗定位结果即第一位姿为初始位姿，结合待定位对象的特征点云数据，可从预设的定位点云地图中获得待定位对象的第二位姿。因定位点云地图用于高精定位，因此，基于其确定的第二位姿也为高精位姿。由此，实现了从粗定位到精定位的全局重定位。并且，该全局重定位不依赖于GNSS，不会因信号不稳或无信号而导致全局重定位不够准确甚至失败的情况，实现了精准的全局重定位。

当然，根据自动驾驶车辆类型的不同，这些算法模块也会有所不同。例如，对于物流车辆、公共服务车辆、医疗服务车辆、终端服务车辆会涉及不同的算法模块。下面分别针对这四种自动驾驶车辆对算法模块进行举例说明：

其中，物流车辆是指物流场景中使用的车辆，例如可以是带自动分拣功能的物流车辆、带冷藏保温功能的物流车辆、带测量功能的物流车辆。这些物流车辆会涉及不同算法模块。

例如，对于物流车辆，可以带有自动化的分拣装置，该分拣装置可以在物流车辆到达目的地后自动把货物取出并准确的搬送、分拣、存放。这就涉及在车辆出发前的与高精度定位相关的全局重定位，也即在这些设备的启动阶段，在全局地图范围内确定设备初始位姿的过程。而后，则可以基于此位姿，进行连续的设备高精度定位。

又例如，针对冷链物流场景，物流车辆还可以带有冷藏保温装置，该冷藏保温装置可以实现运输的水果、蔬菜、水产品、冷冻食品以及其它易腐烂的食品进行冷藏或保温，使之处于合适的温度环境，解决易腐烂食品的长途运输问题。为了保证物流车辆的运输效率和精确行驶，这就涉及与高精度定位相关的全局重定位，也即在这些设备的启动阶段，在全局地图范围内确定设备初始位姿的过程。而后，则可以基于此位姿，进行连续的设备高精度定位。

其中，公共服务车辆是指提供某种公共服务的车辆，例如可以是消防车、除冰车、洒水车、铲雪车、垃圾处理车辆、交通指挥车辆等。这些公共服务车辆会涉及不同算法模块。

例如，对于自动驾驶的消防车，其主要任务是针对火灾现场进行合理的灭火任务，这就涉及用于准确定位的算法模块，即，用于与高精度定位相关的全局重定位的模块，也即在这些设备的启动阶段，在全局地图范围内确定设备初始位姿的过程。而后，则可以基于此位姿，进行连续的设备高精度定位。

又例如，对于除冰车，其主要任务是清除路面上结的冰雪，这就涉及准确定位的除冰的算法模块，其与高精度定位相关的全局重定位，也即在这些设备的启动阶段，在全局地图范围内确定设备初始位姿的过程。而后，则可以基于此位姿，进行连续的设备高精度定位。

其中，医疗服务车辆是指能够提供一种或多种医疗服务的自动驾驶车辆，该种车辆可提供消毒、测温、配药、隔离等医疗服务，为了提供更好的医疗服务，需要更准确的车辆定位，这就涉及与高精度定位相关的全局重定位，也即在这些设备的启动阶段，在全局地图范围内确定设备初始位姿的过程。而后，则可以基于此位姿，进行连续的设备高精度定位。

其中，终端服务车辆是指可代替一些终端设备面向用户提供某种便利服务的自助型的自动驾驶车辆，例如这些车辆可以为用户提供打印、考勤、扫描、开锁、支付、零售等服务。为了提供更好的上述服务，需要更准确的车辆定位，这就涉及与高精度定位相关的全局重定位，也即在这些设备的启动阶段，在全局地图范围内确定设备初始位姿的过程。而后，则可以基于此位姿，进行连续的设备高精度定位。

例如，在一些应用场景中，用户经常需要到特定位置去打印或扫描文档，费时费力。于是，出现一种可以为用户提供打印/扫描服务的终端服务车辆，这些服务车辆可以与用户终端设备互联，用户通过终端设备发出打印指令，服务车辆响应打印指令，自动打印用户所需的文档并可自动将打印出的文档送至用户位置，用户无需去打印机处排队，可极大地提高打印效率。或者，可以响应用户通过终端设备发出的扫描指令，移动至用户位置，用户将待扫描的文档放置的服务车辆的扫描工具上完成扫描，无需到打印/扫描机处排队，省时省力。这就涉及提供打印/扫描服务的算法模块，该算法模块至少需要识别与用户终端设备的互联、打印/扫描指令的响应、用户位置的定位以及行进控制等。

又例如，随着新零售商业服务的开展，越来越多的电商借助于自助售货机将商品销售送到了各大办公楼、公共区，但这些自助售货机被放置在固定位置，不可移动，用户需要到该自助售货机跟前才能购买所需商品，便利性还是较差。于是出现了可提供零售服务的自助驾驶车辆，这些服务车辆可以承载商品自动移动，并可提供对应的自助购物类APP或购物入口，用户借助于手机等终端通过APP或购物入口可以向提供零售服务的自动驾驶车辆进行下单，该订单中包括待购买的商品名称、数量以及用户位置，该车辆收到下单请求之后，可以确定当前剩余商品是否具有用户购买的商品以及数量是否足够，在确定具有用户购买的商品且数量足够的情况下，可携带这些商品自动移动至用户位置，将这些商品提供给用户，进一步提高用户购物的便利性，节约用户时间，让用户将时间用于更为重要的事情上。这就涉及提供零售服务的算法模块，这些算法模块主要实现响应用户下单请求、订单处理、商品信息维护、用户位置定位、支付管理等逻辑。为了提供更好的新零售商业服务，需要更准确的车辆定位，这就涉及与高精度定位相关的全局重定位，也即在这些设备的启动阶段，在全局地图范围内确定设备初始位姿的过程。而后，则可以基于此位姿，进行连续的设备高精度定位。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的全局重定位方法。此外，当通用计算机访问用于实现在此示出的全局重定位方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的全局重定位方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (10)

1.一种全局重定位方法，包括：

获取用于描述待定位对象所处环境的三维点云数据和二维图像数据；

根据所述三维点云数据和所述二维图像数据，确定所述待定位对象对应的全局描述子和特征点云数据，其中，所述全局描述子中携带有所述环境的整体结构信息、局部语义信息和图像细节描述子信息；

从预设的全局字典中检索与所述全局描述子对应的第一位姿，其中，所述全局字典中存储有多种全局描述子与多种位姿的对应关系；

以所述第一位姿为初始位姿，结合所述特征点云数据，从预设的定位点云地图中，获得所述待定位对象的第二位姿。

2.根据权利要求1所述的方法，其中，根据所述三维点云数据和所述二维图像数据，确定所述待定位对象对应的全局描述子，包括：

将所述三维点云数据和所述二维图像数据转换至基准坐标系下，生成对应的基准点云数据和基准图像数据，所述基准坐标系具有基于所述待定位对象所处的地面确定的Z轴向、围绕所述Z轴向确定的航向角方向、以及所述待定位对象在所述地面的目标朝向；

沿所述目标朝向设置Nr等分，沿所述航向角方向设置Ns等分，将所述基准点云数据划分为Nr×Ns等分；

根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，分别生成所述待定位对象所处环境的整体结构信息、局部语义信息和图像细节描述子信息。

3.根据权利要求2所述的方法，其中，根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，生成所述待定位对象所处环境的整体结构信息，包括：

针对所述Nr×Ns等分中的每个等分，以该等分中的基准点云数据的所述Z轴最大值为该等分的值；

根据每个等分的Z轴向最大值，形成Nr×Ns维二维矩阵，以所述二维矩阵表征所述待定位对象所处环境的整体结构信息。

4.根据权利要求2所述的方法，其中，根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，生成所述待定位对象所处环境的局部语义信息，包括：

针对所述Nr×Ns等分中的每个等分，基于该等分中的基准点云数据，按照预设的目标对象种类提取该等分中的语义信息；

根据每个等分的语义信息，生成所述待定位对象所处环境的局部语义信息。

5.根据权利要求4所述的方法，其中，

在所述基于该等分中的基准点云数据，按照预设的目标对象种类提取该等分中的语义信息之后，所述方法还包括：采用0-1编码方式对该等分中、与各个目标对象种类对应的语义信息进行编码，生成该等分对应的长度为所述目标对象种类的数量S的0-1编码序列；

所述根据每个等分的语义信息，生成所述待定位对象所处环境的局部语义信息，包括：根据每个等分对应的0-1编码序列，生成所述基准点云数据对应的Nr×Ns×S的三维0-1阵列，使用所述阵列表征所述待定位对象所处环境的局部语义信息。

6.根据权利要求2所述的方法，其中，根据所述基准点云数据、所述基准图像数据和所述Nr×Ns等分，生成所述待定位对象所处环境的图像细节描述子信息，包括：

提取所述基准图像数据中的特征点及所述特征点对应的细节描述子；

将所述特征点投影至基准点云数据中，确定所述特征点在所述Nr×Ns等分中所属的等分；

根据所述Nr×Ns等分中各个等分中的特征点对应的细节描述子，生成所述待定位对象所处环境的图像细节描述子信息。

7.根据权利要求1-6任一项所述的方法，其中，以所述第一位姿为初始位姿，结合所述特征点云数据，从预设的定位点云地图中，获得所述待定位对象的第二位姿，包括：

以所述特征点云数据为配准点，确定所述定位点云地图中、可与所述初始位姿配准的位姿，将所述配准的位姿确定为所述待定位对象的第二位姿。

8.一种全局重定位装置，包括：

获取模块，用于获取用于描述待定位对象所处环境的三维点云数据和二维图像数据；

确定模块，用于根据所述三维点云数据和所述二维图像数据，确定所述待定位对象对应的全局描述子和特征点云数据，其中，所述全局描述子中携带有所述环境的整体结构信息、局部语义信息和图像细节描述子信息；

检索模块，用于从预设的全局字典中检索与所述全局描述子对应的第一位姿，其中，所述全局字典中存储有多种全局描述子与多种位姿的对应关系；

定位模块，用于以所述第一位姿为初始位姿，结合所述特征点云数据，从预设的定位点云地图中，获得所述待定位对象的第二位姿。

9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的全局重定位方法对应的操作。

10.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一所述的全局重定位方法。

Images