CN111220164A - 定位方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种定位方法、装置、设备及存储介质，涉及自动驾驶，尤其是自主泊车技术领域。该方法包括：根据待定位设备的定位数据，从高精地图中确定第一定位元素；对采集的待定位设备的环境图像进行识别，确定环境图像中的第二定位元素；将第二定位元素与第一定位元素进行匹配，得到匹配结果；基于匹配结果对待定位设备的定位数据进行修正，得到修正后的定位数据，其中，第一定位元素与第二定位元素均为具有语义的视觉特征。本申请实施例的技术方案，能够降低环境对定位结果的影响，实现对待定位设备的高精度定位。

Description

定位方法、装置、设备及存储介质

技术领域

本申请涉及自动驾驶，尤其是自主泊车技术领域，尤其涉及一种定位方法、装置、设备及存储介质。

背景技术

目前，智能驾驶技术正在迅速发展，对待定位设备例如车辆进行定位是智能驾驶技术的基础，成为了关注的焦点。

现有技术中，一般采用单一的定位装置例如全球定位系统(Global PositioningSystem，GPS)对待定位设备进行定位。然而，单一的定位装置的定位结果普遍存在较大误差，以GPS为例，GPS定位装置本身的定位误差在10-20米以内，并且受到天气、卫星星历误差、电离层折射等诸多因素影响，导致定位结果的误差波动较大，无法实现对待定位设备的高精度定位。

发明内容

本申请实施例提供一种定位方法、装置、设备及存储介质，用于解决单一的定位装置的定位结果普遍存在较大误差，无法实现对待定位设备的高精度定位的问题。

第一方面，本申请提供一种定位方法，包括：根据待定位设备的定位数据，从高精地图中确定第一定位元素；对采集的所述待定位设备的环境图像进行识别，确定所述环境图像中的第二定位元素；将所述第二定位元素与所述第一定位元素进行匹配，得到匹配结果；基于所述匹配结果对所述定位数据进行修正，得到修正后的定位数据，其中，所述第一定位元素与所述第二定位元素均为具有语义的视觉特征。

在本申请的一些实施例中，基于上述方案，所述将所述第二定位元素与所述第一定位元素进行匹配，包括：确定所述第二定位元素的拓扑结构以及所述第一定位元素的拓扑结构；将所述第二定位元素的拓扑结构与所述第一定位元素的拓扑结构进行匹配。

在本申请的一些实施例中，基于上述方案，所述对采集的所述待定位设备的环境图像进行识别，确定所述环境图像中的第二定位元素，包括：通过深度神经网络模型确定所述环境图像中具有语义的点线面视觉特征；基于所述环境图像中具有语义的所述点线面视觉特征，识别所述环境图像中的第二定位元素。

在本申请的一些实施例中，基于上述方案，所述识别所述环境图像中的第二定位元素，包括：确定各个所述第一定位元素的类型；基于各个所述第一定位元素的类型以及所述点线面视觉特征，对所述环境图像中的第二定位元素进行识别。

在本申请的一些实施例中，基于上述方案，所述基于各个所述第一定位元素的类型以及所述点线面视觉特征，对所述环境图像中的第二定位元素进行识别，包括：基于各个所述第一定位元素的类型以及拓扑结构，确定所述环境图像中对应的第二定位元素的类型；基于所述第二定位元素的类型以及所述点线面视觉特征，对所述第二定位元素进行识别。

在本申请的一些实施例中，基于上述方案，所述基于所述匹配结果对所述定位数据进行修正，包括：基于所述匹配结果确定所述待定位设备在所述高精地图中的位姿信息；基于所述位姿信息对所述待定位设备的定位数据进行修正。

在本申请的一些实施例中，基于上述方案，所述位姿信息包括位置信息，所述方法还包括：基于所述待定位设备在所述高精地图中的所述位置信息，确定所述待定位设备所处的路面的高度信息；基于所述路面的高度信息，确定所述待定位设备在所述高精地图里的虚拟高度信息；基于所述虚拟高度信息对所述待定位设备的定位数据进行修正。

在本申请的一些实施例中，基于上述方案，所述定位数据包括速度数据，所述方法还包括：通过轮速计确定所述待定位设备的轮速；基于所述待定位设备的轮速，对所述待定位设备的所述速度数据进行修正。

在本申请的一些实施例中，基于上述方案，所述方法还包括：通过惯性测量单元IMU获取所述待定位设备的所述定位数据。

第二方面，提供了一种定位装置，所述装置包括：第一定位元素确定模块，用于根据待定位设备的定位数据，从高精地图中确定第一定位元素；第二定位元素确定模块，用于对采集的所述待定位设备的环境图像进行识别，确定所述环境图像中的第二定位元素；匹配模块，用于将所述第二定位元素与所述第一定位元素进行匹配，得到匹配结果；第一修正模块，用于基于所述匹配结果对所述定位数据进行修正，得到修正后的定位数据，其中，所述第一定位元素与所述第二定位元素均为具有语义的视觉特征。

在本申请的一些实施例中，基于上述方案，所述匹配模块包括：拓扑结构确定单元，用于确定所述第二定位元素的拓扑结构以及所述第一定位元素的拓扑结构；结构匹配单元，用于将所述第二定位元素的拓扑结构与所述第一定位元素的拓扑结构进行匹配。

在本申请的一些实施例中，基于上述方案，所述第二定位元素确定模块包括：视觉特征识别单元，用于通过深度神经网络模型确定所述环境图像中具有语义的点线面视觉特征；定位元素识别单元，用于基于所述环境图像中具有语义的所述点线面视觉特征，识别所述环境图像中的第二定位元素。

在本申请的一些实施例中，基于上述方案，所述定位元素识别单元被配置为：确定各个所述第一定位元素的类型；基于各个所述第一定位元素的类型以及所述点线面视觉特征，对所述环境图像中的第二定位元素进行识别。

在本申请的一些实施例中，基于上述方案，所述识别单元被配置为：基于各个所述第一定位元素的类型以及拓扑结构，确定所述环境图像中对应的第二定位元素的类型；基于所述第二定位元素的类型以及所述点线面视觉特征，对所述第二定位元素进行识别。

在本申请的一些实施例中，基于上述方案，所述第一修正模块包括：位姿确定单元，用于基于所述匹配结果确定所述待定位设备在所述高精地图中的位姿信息；修正单元，用于基于所述位姿信息对所述待定位设备的定位数据进行修正。

在本申请的一些实施例中，基于上述方案，所述位姿信息包括位置信息，所述装置还包括：高度信息确定模块，用于基于所述待定位设备在所述高精地图中的所述位置信息，确定所述待定位设备所处的路面的高度信息；虚拟高度确定模块，用于基于所述路面的高度信息，确定所述待定位设备在所述高精地图里的虚拟高度信息；第二修正模块，用于基于所述虚拟高度信息对所述待定位设备的定位数据进行修正。

在本申请的一些实施例中，基于上述方案，所述定位数据包括速度数据，所述装置还包括：轮速确定模块，用于通过轮速计确定所述待定位设备的轮速；第三修正模块，用于基于所述待定位设备的轮速，对所述待定位设备的所述速度数据进行修正。

在本申请的一些实施例中，基于上述方案，所述装置还包括：定位模块，用于通过惯性测量单元IMU获取所述待定位设备的所述定位数据。

第三方面，本申请提供一种电子设备，包括：至少一个处理器，存储器，以及与其他电子设备通信的接口；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第二方面任一项所述的定位方法。

第四方面，本申请提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机第一至第三方面中任一项所述的定位方法。

上述申请中的一个实施例具有如下优点或有益效果：一方面，将待定位设备的环境图像中的定位元素与高精地图中的定位元素进行匹配，能够充分利用高精地图里的定位数据信息，有效提高图像采集装置感知识别定位元素的准确率，从而能够降低环境对定位结果的影响，提高定位精度；另一方面，基于匹配结果对待定位设备的定位数据进行修正，能够结合感知定位元素信息以及地图定位元素信息对定位结果进行修正，从而能够进一步提高对待定位设备的定位精度，实现对待定位设备的高精度定位。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为根据本申请的一些实施例提供的定位方法的应用场景的示意图；

图2为根据本申请的一些实施例提供的定位方法的流程示意图；

图3为根据本申请的一些实施例提供的确定环境图像中的第二定位元素的流程示意图；

图4为根据本申请的一些实施例提供的定位元素匹配的流程示意图；

图5为根据本申请的一些实施例提供的定位元素的拓扑结构的示意图；

图6为根据本申请的另一些实施例提供的定位方法的流程示意图；

图7为根据本申请的一些实施例提供的定位装置的示意框图；

图8为根据本申请的一些实施例提供的匹配模块的示意框图；

图9为根据本申请的一些实施例提供的第二定位元素确定模块的示意框图；

图10为根据本申请的一些实施例提供的第一修正模块的示意框图；

图11为根据本申请的另一些实施例提供的定位装置的示意框图；

图12为根据本申请的再一些实施例提供的定位装置的示意框图；

图13为根据本申请的又一些实施例提供的定位装置的示意框图

图14为用来实现本申请实施例的定位方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前，采用单一的定位装置的定位结果普遍存在较大误差，无法实现对待定位设备的高精度定位的问题。针对这个问题，存在以下三种解决方案：(1)采用GPS与惯性测量单元(Inertial Measurement Unit，IMU)进行组合的方式对待定位设备进行定位；(2)采用摄像头与IMU进行组合的方式对待定位设备进行定位；(3)采用激光雷达、摄像头与IMU进行组合的方式对待定位设备进行定位。然而，在第(1)种方案中，在GPS信号不好的地方例如高楼旁边、隧道、地下停车场等地方，还是会导致定位精度不高的问题。在第(2)种方案中，普通摄像头容易受环境例如光照条件的影响，不能稳定地进行检测，也难以保证定位精度。在第(3)种技术方案中，由于车载激光雷达的成本较高，很难实现量产。

基于上述内容，本申请的基本思想在于：对图像采集装置采集的待定位设备的环境图像中的定位元素进行识别，将环境图像中的定位元素与高精地图中的定位元素进行匹配，基于匹配结果对待定位设备的定位数据进行修正。根据本申请实施例的技术方案，一方面，将待定位设备的环境图像中的定位元素与高精地图中的定位元素进行匹配，能够充分利用高精地图里的定位数据信息，有效提高图像采集装置感知识别定位元素的准确率，从而能够降低环境对定位结果的影响，提高定位精度；另一方面，基于匹配结果对待定位设备的定位数据进行修正，能够结合感知定位元素信息以及地图定位元素信息对定位结果进行修正，从而能够进一步提高对待定位设备的定位精度，实现对待定位设备的高精度定位。

下面对本申请中涉及的名词等进行解释：

高精地图：表示高精度、精细化定义的地图，高精度的地图的精度可以达到分米级甚至厘米级，精细化定义的地图包括交通场景中的各种交通要素，包括道路网数据、车道网络数据、车道线以和交通标志等数据。

定位元素：表示高精地图以及图像中具有语义并且容易识别的元素，例如车道线、交通标志等；

拓扑结构：表示定位元素之间的关系的图，例如将定位元素抽象成点，通过线连接定位元素形成定位元素的位置关系的拓扑结构

环境图像：表示通过图像采集装置例如摄像头采集的待定位设备周围的环境的图像。

下面通过具体的实施方式对本申请提供的定位方法进行说明。

图1为根据本申请的一些实施例提供的定位方法的应用场景的示意图。参照图1所示，车辆110行驶在道路上，车辆110上设置有图像采集装置120，道路上画有车道线142、地面箭头144、交通标志牌146，其中，图像采集装置120用于采集车辆110周围的环境图像，在采集到环境图像之后，对车辆110的环境图像进行识别，确定环境图像中的定位元素例如车道线142、地面箭头144以及交通标志牌146。定位装置140用于对车辆110进行定位，得到车辆110的定位数据。

进一步地，根据车辆110的定位数据，从高精地图中确定该定位数据对应的位置附近的定位元素例如车道线、地面箭头、交通标志牌等，将高精地图中的定位元素与环境图像中的定位元素进行匹配，基于匹配结果对定位装置140的定位数据进行修正。

需要说明的是，虽然以待定位设备为车辆进行说明，但是本申请实施例不限于此，待定位设备还可以为其他适当的设备例如机器人、无人机等，这同样在本申请的保护范围内。

下面结合图1的应用场景，参考图2来描述根据本申请的示例性实施例的定位方法。需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施例在此方面不受任何限制。相反，本申请的实施例可以应用于适用的任何场景。

图2为根据本申请的一些实施例提供的定位方法的流程示意图。该定位方法包括步骤S210至步骤S240，下面以待定位设备是车辆为例，结合附图对示例实施例中的定位方法进行详细的说明。

在步骤S210中，根据待定位设备的定位数据，从高精地图中确定第一定位元素。

在示例实施例中，通过定位装置例如IMU获取待定位设备的定位数据，根据待定位设备的定位数据，确定高精地图中与定位数据对应的位置处的第一定位元素，第一定位元素包括一个或多个定位元素。第一定位元素为具有语义的视觉特征，例如车道线、地面箭头、交通标志等。以待定位设备为车辆为例，根据车辆的定位数据，估计车辆当前在高精地图中的位置，确定该位置附近的定位元素。

在步骤S220中，对采集的待定位设备的环境图像进行识别，确定环境图像中的第二定位元素。

在示例实施例中，通过图像采集装置例如摄像头采集待定位设备周围的环境图像，通过深度学习模型对采集的待定位设备的环境图像进行识别，确定环境图像中的第二定位元素，第二定位元素包括一个或多个定位元素。第二定位元素为具有语义的视觉特征，例如车道线、地面箭头、交通标志等。例如，通过深度学习模型对采集的待定位设备的环境图像进行语义分割，得到带有语义的点线面视觉特征，将带有语义的点线面视觉特征例如车道线、交通标志作为第二定位元素。

在步骤S230中，将第二定位元素与第一定位元素进行匹配，得到匹配结果。

在示例实施例中，将环境图像中的第二定位元素与高精地图中的第一定位元素进行匹配，得到各个第二定位元素与各个第一定位元素的匹配结果。例如，确定环境图像中的各个第二定位元素的类型和/或位置，基于各个第二定位元素的类型和/或位置与高精地图中对应的第一定位元素进行匹配。

在步骤S240中，基于匹配结果对待定位设备的定位数据进行修正，得到修正后的定位数据。

在示例实施例中，基于环境图像中的第二定位元素与高精地图中的第一定位元素的匹配结果，确定待定位设备上的图像采集装置的位姿，进而能够确定待定位设备的位姿，基于待定位设备的位姿对待定位设备的定位数据进行修正，得到修正后的待定位设备的位姿。以待定位设备为车辆为例，可以对车辆的定位数据以及所确定的车辆的位姿信息进行加权平均运算，得到修正后的车辆的位姿。

根据图2的示例实施例中的定位方法，一方面，将待定位设备的环境图像中的定位元素与高精地图中的定位元素进行匹配，能够充分利用高精地图里的定位数据信息，有效提高图像采集装置感知识别定位元素的准确率，从而能够降低环境对定位结果的影响，提高定位精度；另一方面，基于匹配结果对待定位设备的定位数据进行修正，能够结合感知定位元素信息以及地图定位元素信息对定位结果进行修正，从而能够进一步提高对待定位设备的定位精度，实现对待定位设备的高精度定位。

进一步地，由于在GPS信号不好的地方例如高楼旁边、隧道、地下停车场等地方，难以获取待定位设备的较准确的定位数据，因此，在示例实施例中，通过IMU获取待定位设备的定位数据。具体而言，将IMU固联在待定位设备上，可以测量待定位设备的运动加速度和转动角速度。通过IMU获取待定位设备的加速度信息和角速度信息，对角速度进行积分之后可以得到待定位设备的旋转信息，根据该旋转信息可以将待定位设备的运动加速度转换为世界坐标系下的加速度，对世界坐标系下的加速度进行一次积分可以得到待定位设备在世界坐标系下的速度，对世界坐标系下的速度进行积分可以得到在世界坐标系下的位置信息。因此，通过对IMU输出的加速度信息和角速度信息进行惯性递推之后可以得到待定位设备的旋转信息、以及在世界坐标系下的位置和速度信息。

通过IMU获取待定位设备的定位数据，由于IMU传感器具有频率高，短时间内的精度较高，稳定性较高并且不容易受外界条件的影响，因此能够得到待定位设备的较精准的瞬时定位数据。

此外，为了更准确地对待定位设备的速度信息进行修正，在示例实施例中，通过轮速计确定待定位设备的轮速，基于待定位设备的轮速，对待定位设备的速度信息进行修正。例如，待定位设备自带的轮速计可以提供非转向轮的轮速信息，经过对轮速信息进行转换例如积分转换之后，可以得到待定位设备的坐标系下的车速信息，基于该车速信息对待定位设备的定位数据例如IMU惯性递推的速度信息进行修正，从而能够降低待定位设备的速度误差。

根据本申请实施例的技术方案，由于采用了轮速计、IMU以及摄像头等低成本的传感器，相比于传统采用GPS和激光雷达的定位方案，显著地降低了成本，有利于量产。通过采用多传感器融合的技术方案，能够实现各个传感器之间的优势互补，进一步提高了定位精度，并且容错性较好，能够适用于地库通道、地下停车场、地上园区等GPS信号不好的场景。

进一步地，由于待定位设备可能处在具有坡度或一定高度的路段上，由于待定位设备处于倾斜状态或离地面具有一定距离的状态，容易导致定位数据不准确。在示例实施例中，基于待定位设备在高精地图中的位置信息，确定待定位设备所处的路面的高度信息；基于该路面的高度信息，确定待定位设备在高精地图里的虚拟高度信息，基于该虚拟高度信息对待定位设备的定位数据进行修正。例如，基于该虚拟高度信息对待定位设备的位置数据、旋转数据、速度数据等进行修正。

基于待定位设备在高精地图中的虚拟高度，对待定位设备的定位数据进行修正，能够更准确地对处于具有坡度或一定高度的路段上的设备进行定位，提高定位精度。

图3为根据本申请的一些实施例提供的确定环境图像中的第二定位元素的流程示意图。

参照图3所示，在步骤S310中，通过深度神经网络模型确定待定位设备的环境图像中具有语义的点线面视觉特征。

在示例实施例中，通过待定位设备上的摄像头采集待定位设备周围的环境图像，通过深度神经网络(Deep Neural Networks，DNN)模型确定待定位设备的环境图像中具有语义的点线面视觉特征。例如基于DNN模型对待定位设备的环境图像进行语义分割，得到环境图像中具有语义的点线面视觉特征。

在步骤S320中，基于环境图像中具有语义的点线面视觉特征，识别环境图像中的第二定位元素。

在示例实施例中，基于所确定的环境图像中具有语义的点线面视觉特征，确定环境图像中的第二定位元素的类型以及位置，第二定位元素的类型可以包括车道线、地面箭头、交通标志等，第二定位元素的位置表示第二定位元素在环境图像中出现的位置。

进一步地，为了更准确地对环境图像中的定位元素进行识别，可以充分利用高精地图里的数据信息对环境图像中的定位元素进行识别。因此，在示例实施例中，确定高精地图中待定位设备所处位置的第一定位元素的类型；基于各个第一定位元素的类型以及环境图像中具有语义的点线面视觉特征，对环境图像中的第二定位元素进行识别。以待定位设备为车辆为例，基于车辆的定位数据可以得到车辆当前在高精地图中位置，判断该位置附近有哪些第一定位元素，根据第一定位元素的类型以及环境图像中具有语义的点线面视觉特征，确定环境图像中对应的第二定位元素的类型。

具体而言，可以基于高精地图中第一定位元素的类型以及拓扑结构，确定环境图像中对应的第二定位元素的类型，基于第二定位元素的类型以及具有语义的点线面视觉特征，对第二定位元素进行识别。例如，若第一定位元素为交通标志例如交通灯，该交通灯处于第一定位元素的拓扑结构中的右上方，则确定环境图像中对应的右上方的第二定位元素的类型包含交通标志，基于该交通标志的类型确定环境图像中对应位置处的具有语义的点线面视觉特征是否为交通标志即交通灯。

通过结合高精地图里的数据信息对环境图像中的定位元素进行识别，能够有效提高图像采集装置感知识别的定位元素的准确率，剔除错误的识别，从而能够进一步提高定位精度。

图4为根据本申请的一些实施例提供的定位元素匹配的流程示意图。

参照图4所示，在步骤S410中，确定环境图像中第二定位元素的拓扑结构以及高精地图中第一定位元素的拓扑结构。

在示例实施例中，在确定了环境图像中的各个第二定位元素例如第二定位元素的类型和位置之后，根据各个第二定位元素的位置确定第二定位元素的拓扑结构。参照图5所示，根据各个第二定位元素的位置按照从低到高、从左到右的顺序对各个第二定位元素进行排列，得到环境图像中第二定位元素的拓扑结构。同样地，将高精地图中的第一定位元素的位置按照从低到高、从左到右的顺序进行排列，得到高精地图中第二定位元素的拓扑结构。参照图5所示，定位元素510、512、514位车道线，定位元素520为左转箭头、定位元素522为直行箭头，定位元素530为交通灯、定位元素532为限速标志牌，定位元素510至532按照从低到高、从左到右的顺序排列，形成定位元素的拓扑结构。

在步骤S420中，将第二定位元素的拓扑结构与所述第一定位元素的拓扑结构进行匹配。

在示例实施例中，按照从低到高、从左到右的顺序，对第二定位元素的拓扑结构与第二定位元素的拓扑结构进行匹配，若连续预定数量个定位元素匹配成功，则表示第二定位元素的拓扑结构与第一定位元素的拓扑结构匹配成功。该预定数量可以根据拓扑结构中的全部定位元素的数量确定，例如，该预定数量为全部定位元素数量的三分之二。在第二定位元素的拓扑结构与第一定位元素的拓扑结构匹配成功之后，可以根据第一定位元素的拓扑结构确定待定位设备在高精地图中的位姿。

图6为根据本申请的另一些实施例提供的定位方法的流程示意图。

参照图6所示，在步骤S610，通过IMU对待定位设备进行定位，获取待定位设备的定位数据。例如，通过IMU得到待定位设备的加速度信息和角速度信息。

在步骤S615中，对待定位设备的定位数据进行预积分。例如，对待定位设备的角速度进行积分之后可以得到待定位设备的旋转信息，根据该旋转信息可以将待定位设备的加速度转换为世界坐标系下的加速度，对世界坐标系下的加速度进行一次积分可以得到待定位设备在世界坐标系下的速度，对世界坐标系下的速度进行积分可以得到在世界坐标系下的位置信息。因此，通过对IMU输出的加速度信息和角速度信息进行惯性递推之后可以得到待定位设备的旋转信息、以及在世界坐标系下的位置和速度信息。然而，消费级的IMU自身存在偏置和噪声误差，长时间的纯惯性递推待定位设备的位姿容易发散，需要对IMU的定位数据进行修正。

在步骤S620中，通过摄像头拍摄待定位设备的环境图像。例如通过前广角摄像头拍摄待定位设备的前视图像，通过前后左右四向鱼眼摄像头拍摄待定位设备的前后左右的环境图像，对前后左右的环境图像进行拼接得到待定位设备的环视图像。

在步骤S625中，对摄像头拍摄的待定位设备的环境图像进行特征提取，确定特征点。例如，通过尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)算法来对环境图像进行特征提取确定环境图像中的SIFT特征点。

在步骤S630中，对多个图像帧的特征点进行三角化处理。通过对多个图像帧进行三角化处理，生成新的特征点，基于新的特征点确定帧间的位姿，从而得到待定位设备的位姿信息。

在步骤S635中，通过DNN模型对摄像头拍摄的环境图像进行语义分割。例如，对前广角摄像头拍摄的前视图像进行语义分割，以及对四向鱼眼摄像头拍摄的环视图像进行语义分割。

在步骤S640中，对环境图像进行语义分割处理之后，得到带语义的点线面视觉特征的位置信息，将带语义的点线面视觉特征作为第二定位元素。例如，对前视图像进行语义分割，得到带语义的前视点线面视觉特征，对环视图像进行语义分割，得到带语义的环视点线面视觉特征。

在步骤S645中，获取高精地图。

在步骤S650中，基于待定位设备的当前定位数据，从高精地图中确定对应的第一定位元素，将第一定位元素与第二定位元素进行关联。

在步骤S655中，将图像中的第二定位元素与高精地图中的第一定位元素进行匹配，基于匹配结果确定待定位设备在高精地图中的位姿信息。例如，将图像中的第二定位元素的拓扑结构与高精地图中第一定位元素的拓扑结构进行匹配，基于匹配结果确定待定位设备在高精地图中的位姿信息。

在步骤S660中，通过轮速计测量待定位设备的轮速信息。

在步骤S665中，对待定位设备的轮速进行预积分，确定待定位设备的速度信息。

在步骤S670中，对步骤S615中得到的IMU定位数据进行非线性修正。例如，基于步骤S665中的速度信息对步骤S615中得到速度数据进行修正。基于步骤S630中得到的位姿信息、步骤S655中得到的位姿信息对步骤S615中得到位姿数据进行修正。可以通过加权平均的方式对步骤S615中得到待定位设备的位姿数据进行修正。

在步骤S675中，得到待定位设备的修正后的定位数据即全局位置和姿态。

根据图6的示例实施例的技术方案，由于采用了轮速计、IMU以及摄像头等低成本的传感器，相比于传统采用GPS和激光雷达的定位方案，显著地降低了成本，有利于量产。通过采用多传感器以及高精地图融合定位的技术方案，能够实现各个传感器之间的优势互补，进一步提高了定位精度，并且容错性较好，能够适用于地库通道、地下停车场、地上园区等GPS信号不好的场景。

此外，在已知高精地图的情况下，车辆在地图中的位置具有一定的先验调节，例如，车辆只能在道路轮廓里或者车位空间里，利用这些约束条件，反馈到定位装置中，对定位装置得到的定位数据例如位置和姿态进行反馈修正，由于高精地图具有很好的扩展性，能够添加各种自然元素或定位元素进行定位导航，通用性较好，能够适应于各种车辆定位场景。

图7为根据本申请的一些实施例提供的定位装置的示意框图。参照图7所示，该定位装置700包括：第一定位元素确定模块710，用于根据待定位设备的定位数据，从高精地图中确定第一定位元素；第二定位元素确定模块720，用于对采集的所述待定位设备的环境图像进行识别，确定所述环境图像中的第二定位元素；匹配模块730，用于将所述第二定位元素与所述第一定位元素进行匹配，得到匹配结果；第一修正模块740，用于基于所述匹配结果对所述定位数据进行修正，得到修正后的定位数据，其中，所述第一定位元素与所述第二定位元素均为具有语义的视觉特征。

在本申请的一些实施例中，基于上述方案，参照图8所示，所述匹配模块730包括：拓扑结构确定单元810，用于确定所述第二定位元素的拓扑结构以及所述第一定位元素的拓扑结构；结构匹配单元820，用于将所述第二定位元素的拓扑结构与所述第一定位元素的拓扑结构进行匹配。

在本申请的一些实施例中，基于上述方案，参照图9所示，所述第二定位元素确定模块720包括：视觉特征识别单元910，用于通过深度神经网络模型确定所述环境图像中具有语义的点线面视觉特征；定位元素识别单元920，用于基于所述环境图像中具有语义的所述点线面视觉特征，识别所述环境图像中的第二定位元素。

在本申请的一些实施例中，基于上述方案，所述定位元素识别单元被配置为：确定各个所述第一定位元素的类型；基于各个所述第一定位元素的类型以及所述点线面视觉特征，对所述环境图像中的第二定位元素进行识别。

在本申请的一些实施例中，基于上述方案，所述定位元素识别单元还被配置为：基于各个所述第一定位元素的类型以及拓扑结构，确定所述环境图像中对应的第二定位元素的类型；基于所述第二定位元素的类型以及所述点线面视觉特征，对所述第二定位元素进行识别。

在本申请的一些实施例中，基于上述方案，参照图10所示，所述第一修正模块740包括：位姿确定单元1010，用于基于所述匹配结果确定所述待定位设备在所述高精地图中的位姿信息；修正单元1020，用于基于所述位姿信息对所述待定位设备的定位数据进行修正。

在本申请的一些实施例中，基于上述方案，参照图11所示，所述位姿信息包括位置信息，所述装置700还包括：高度信息确定模块1110，用于基于所述待定位设备在所述高精地图中的所述位置信息，确定所述待定位设备所处的路面的高度信息；虚拟高度确定模块1120，用于基于所述路面的高度信息，确定所述待定位设备在所述高精地图里的虚拟高度信息；第二修正模块1130，用于基于所述虚拟高度信息对所述待定位设备的定位数据进行修正。

在本申请的一些实施例中，基于上述方案，参照图12所示，所述定位数据包括速度数据，所述装置700还包括：轮速确定模块1210，用于通过轮速计确定所述待定位设备的轮速；第三修正模块1220，用于基于所述待定位设备的轮速，对所述待定位设备的所述速度数据进行修正。

在本申请的一些实施例中，基于上述方案，参照图13所示，所述装置700还包括：定位模块1310，用于通过惯性测量单元IMU获取所述待定位设备的所述定位数据。

上述几种实施方式提供的定位装置，用于实现前述任一方法实施例中的定位方法的技术方案，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上几个实施例中提供的装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，匹配模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

图14是用来实现本申请实施例的定位方法的电子设备的框图。如图14所示，是根据本申请实施例的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图14所示，该电子设备包括：一个或多个处理器1410、存储器1420，以及用于连接各部件的接口，包括高速接口和低速接口，以及与其他电子设备进行通信的接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图11中以一个处理器1410为例。

存储器1420即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的任一执行主体对应的定位方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的方法。

存储器1420作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的定位方法中对应的程序指令/模块。处理器1410通过运行存储在存储器1420中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的任一执行主体对应的定位方法。

存储器1420可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区则可以存储数据，例如，数据处理平台中存储的各方提供的数据，或者安全隔离区域中的叔叔等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1420可选包括相对于处理器1410远程设置的存储器，这些远程存储器可以通过网络连接至数据处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

此外，电子设备还可以包括：输入装置1430和输出装置1440。处理器1410、存储器1420、输入装置1430和输出装置1440可以通过总线1450或者其他方式连接，图12中以通过总线连接为例。

输入装置1430可接收输入的数字或字符信息，以及产生与数据处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1440可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

进一步地，本申请还提供一种存储有计算机指令的非瞬时计算机可读存储介质，用于存储计算机指令，该计算机指令被处理器执行后可实现前述任一方法实施例提供的技术方案。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种定位方法，其特征在于，包括：

根据待定位设备的定位数据，从高精地图中确定第一定位元素；

对采集的所述待定位设备的环境图像进行识别，确定所述环境图像中的第二定位元素；

将所述第二定位元素与所述第一定位元素进行匹配，得到匹配结果；

基于所述匹配结果对所述定位数据进行修正，得到修正后的定位数据，其中，所述第一定位元素与所述第二定位元素均为具有语义的视觉特征。

2.根据权利要求1所述的方法，其特征在于，所述将所述第二定位元素与所述第一定位元素进行匹配，包括：

确定所述第二定位元素的拓扑结构以及所述第一定位元素的拓扑结构；

将所述第二定位元素的拓扑结构与所述第一定位元素的拓扑结构进行匹配。

3.根据权利要求1所述的方法，其特征在于，所述对采集的所述待定位设备的环境图像进行识别，确定所述环境图像中的第二定位元素，包括：

通过深度神经网络模型确定所述环境图像中具有语义的点线面视觉特征；

基于所述环境图像中具有语义的所述点线面视觉特征，识别所述环境图像中的第二定位元素。

4.根据权利要求3所述的方法，其特征在于，所述识别所述环境图像中的第二定位元素，包括：

确定各个所述第一定位元素的类型；

基于各个所述第一定位元素的类型以及所述点线面视觉特征，对所述环境图像中的第二定位元素进行识别。

5.根据权利要求4所述的方法，其特征在于，所述基于各个所述第一定位元素的类型以及所述点线面视觉特征，对所述环境图像中的第二定位元素进行识别，包括：

基于各个所述第一定位元素的类型以及拓扑结构，确定所述环境图像中对应的第二定位元素的类型；

基于所述第二定位元素的类型以及所述点线面视觉特征，对所述第二定位元素进行识别。

6.根据权利要求1所述的方法，其特征在于，所述基于所述匹配结果对所述定位数据进行修正，包括：

基于所述匹配结果确定所述待定位设备在所述高精地图中的位姿信息；

基于所述位姿信息对所述待定位设备的定位数据进行修正。

7.根据权利要求6所述的方法，其特征在于，所述位姿信息包括位置信息，所述方法还包括：

基于所述待定位设备在所述高精地图中的所述位置信息，确定所述待定位设备所处的路面的高度信息；

基于所述路面的高度信息，确定所述待定位设备在所述高精地图里的虚拟高度信息；

基于所述虚拟高度信息对所述待定位设备的定位数据进行修正。

8.根据权利要求1所述的方法，其特征在于，所述定位数据包括速度数据，所述方法还包括：

通过轮速计确定所述待定位设备的轮速；

基于所述待定位设备的轮速，对所述待定位设备的所述速度数据进行修正。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：

通过惯性测量单元IMU获取所述待定位设备的所述定位数据。

10.一种定位装置，其特征在于，所述装置包括：

第一定位元素确定模块，用于根据待定位设备的定位数据，从高精地图中确定第一定位元素；

第二定位元素确定模块，用于对采集的所述待定位设备的环境图像进行识别，确定所述环境图像中的第二定位元素；

匹配模块，用于将所述第二定位元素与所述第一定位元素进行匹配，得到匹配结果；

第一修正模块，用于基于所述匹配结果对所述定位数据进行修正，得到修正后的定位数据，其中，所述第一定位元素与所述第二定位元素均为具有语义的视觉特征。

11.根据权利要求10所述的装置，其特征在于，所述匹配模块包括：

拓扑结构确定单元，用于确定所述第二定位元素的拓扑结构以及所述第一定位元素的拓扑结构；

结构匹配单元，用于将所述第二定位元素的拓扑结构与所述第一定位元素的拓扑结构进行匹配。

12.根据权利要求10所述的装置，其特征在于，所述第二定位元素确定模块包括：

视觉特征识别单元，用于通过深度神经网络模型确定所述环境图像中具有语义的点线面视觉特征；

定位元素识别单元，用于基于所述环境图像中具有语义的所述点线面视觉特征，识别所述环境图像中的第二定位元素。

13.根据权利要求12所述的装置，其特征在于，所述定位元素识别单元包括：

类型确定单元，用于确定各个所述第一定位元素的类型；

识别单元，用于基于各个所述第一定位元素的类型以及所述点线面视觉特征，对所述环境图像中的第二定位元素进行识别。

14.根据权利要求13所述的装置，其特征在于，所述识别单元被配置为：

基于各个所述第一定位元素的类型以及拓扑结构，确定所述环境图像中对应的第二定位元素的类型；

基于所述第二定位元素的类型以及所述点线面视觉特征，对所述第二定位元素进行识别。

15.根据权利要求10所述的装置，其特征在于，所述第一修正模块包括：

位姿确定单元，用于基于所述匹配结果确定所述待定位设备在所述高精地图中的位姿信息；

修正单元，用于基于所述位姿信息对所述待定位设备的定位数据进行修正。

16.根据权利要求15所述的装置，其特征在于，所述位姿信息包括位置信息，所述装置还包括：

高度信息确定模块，用于基于所述待定位设备在所述高精地图中的所述位置信息，确定所述待定位设备所处的路面的高度信息；

虚拟高度确定模块，用于基于所述路面的高度信息，确定所述待定位设备在所述高精地图里的虚拟高度信息；

第二修正模块，用于基于所述虚拟高度信息对所述待定位设备的定位数据进行修正。

17.根据权利要求10所述的装置，其特征在于，所述定位数据包括速度数据，所述装置还包括：

轮速确定模块，用于通过轮速计确定所述待定位设备的轮速；

第三修正模块，用于基于所述待定位设备的轮速，对所述待定位设备的所述速度数据进行修正。

18.根据权利要求10至17中任一项所述的装置，其特征在于，所述装置还包括：

定位模块，用于通过惯性测量单元IMU获取所述待定位设备的所述定位数据。

19.一种电子设备，其特征在于，包括：

至少一个处理器，存储器，以及与其他电子设备通信的接口；

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的定位方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至9中任一项所述的定位方法。

Images