CN110954112B - 一种导航地图与感知图像匹配关系的更新方法和装置 - Google Patents

Abstract

本发明实施例公开了一种导航地图与感知图像匹配关系的更新方法和装置，该方法包括：获取预设定位装置提供的车辆的当前位置，并基于导航地图中当前位置对应的车道线信息，对预设定位装置提供的车辆的高程进行修正；分别将导航地图和摄像头所采集感知图像中与当前位置满足设定距离要求的交通标志组进行排列组合，以从导航地图和所述感知图像中确定位置相匹配的目标交通标志；根据目标交通标志的位置对导航地图中车辆的位姿进行修正，并基于修正后车辆的高程和位姿更新导航地图与所述感知图像之间的匹配关系。通过采用上述技术方案，解决了使用消费级预设定位装置定位精度不高的问题，使得消费级预设定位装置也能进行高精度定位的效果。

Description

一种导航地图与感知图像匹配关系的更新方法和装置

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种导航地图与感知图像匹配关系的更新方法和装置。

背景技术

在自动驾驶领域，高精度定位至关重要。近年来，深度学习等技术的成果，极大促进了图像语义分割、图像识别领域的发展，这为高精度地图及高精度定位提供了坚实的基础。

在基于高精度地图的定位方案中，当无人驾驶车辆第一次进入高精度地图时，需要获得一个全局而精准的位置信息进行初始化，继而可以使用高精度地图进行精准定位，即绝对位置精度可达到厘米级。但在消费级设备，例如单点GPS(Global PositioningSystem，全球定位系统)与廉价IMU(Inertial measurement unit，惯性测量单元)的定位方案中，由于单点GPS所提供的定位精度信息的误差较大，利用单点GPS所提供的位置，将高精度地图中的交通标志信息与利用深度学习感知模型感知出图像中的交通标志信息，例如车道线、路灯杆等，进行重投影匹配时，容易造成车道线左右匹配错误，路灯杆前后向匹配错误等问题。如果利用错误的匹配信息对车体位置进行修正，不仅不能利用高精地图使车体的位置精度达到厘米级，反而可能会使车体的位置与真实位置偏离更大。

发明内容

本发明实施例公开一种导航地图与感知图像匹配关系的更新方法和装置，解决了使用消费级预设定位装置定位精度不高的问题，实现了消费级预设定位装置也能进行高精度定位的技术效果。

第一方面，本发明实施例公开了一种导航地图与感知图像匹配关系的更新方法，该方法包括：

获取预设定位装置提供的车辆的当前位置，并基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正；

分别将所述导航地图和摄像头所采集感知图像中与所述当前位置满足设定距离要求的交通标志组进行排列组合，以从所述导航地图和所述感知图像中确定位置相匹配的目标交通标志，所述交通标志组中包括至少任意两个第一交通标志；

根据所述目标交通标志的位置，对所述导航地图中车辆的位姿进行修正，并基于修正后车辆的高程和位姿更新所述导航地图与所述感知图像之间的匹配关系。

可选的，分别将所述导航地图和摄像头所采集感知图像中的交通标志组进行排列组合，以从所述导航地图和所述感知图像中确定位置相匹配的目标交通标志，包括：

将所述导航地图中与所述当前位置符合设定距离要求的第一交通标志进行两两组合形成第一交通标志组，并将摄像头所采集感知图像中的第一交通标志进行两两组合形成第二交通标志组；

将所述第一交通标志组按照与所述当前位置的距离由近到远的方式进行排序，并将所述第二交通标志组按照两端端点距离由长到短的方式进行排序；

根据排序后导航地图中的任意一组交通标志组的上端点，与排序后感知图像中的任意一组交通标志组的上端点之间的几何关系，确定车辆的估计位置；

如果所述估计位置与所述当前位置之间的距离小于第一预设距离，则将排序后所述导航地图中的第一交通标志组和对应感知地图中的第二交通标志组作为目标交通标志。

可选的，所述基于修正后车辆的高程和位姿更新所述导航地图与所述感知图像之间的匹配关系，包括：

将所述导航地图中的显示内容根据修正后车辆的高程和位姿进行更新；

判断位置修正后的车辆在显示内容更新后的导航地图中的位置与所述当前位置之间的距离是否小于第二预设距离，其中，所述第二预设距离小于第一预设距离；

如果小于所述第二预设距离，则将内容更新后的导航地图根据修正后的车辆位姿投影到预设标准化平面，并将所述感知图像中的显示内容投影到所述预设标准化平面；

在所述标准化平面上，判断内容更新后的导航地图中的各交通标志与所述感知图像中的对应交通标志的重投影误差；

对于任意一种类型的交通标志，如果所述重新投误差小于该类型交通标志对应的设定阈值，则根据所述重投影误差更新所述导航地图与所述感知图像之间的匹配关系。

可选的，所述判断内容更新后的导航地图中的交通标志与所述感知图像中的交通标志的重投影误差，包括：

判断内容更新后的导航地图中的第一交通标志与所述感知图像中对应的第一交通标志之间的重投影残差是否小于第一预设残差阈值；

如果小于第一预设残差阈值，则判断内容更新后的导航地图中的第二交通标志与所述感知图像中对应的第二交通标志之间的重投影残差是否小于第二预设残差阈值；

其中，所述第二交通标志位为与所述第一交通标志不同类型的交通标志。

可选的，在所述匹配关系更新后，所述方法还包括：

接收车辆位姿的不确定度；

如果所述不确定度大于设定阈值，则返回执行车辆高程的修正操作，以重新更新所述匹配关系。

可选的，基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正，包括：

确定导航地图中所述当前位置对应的车道线的高程；

将所述车道线的高程作为当前位置处车辆的高程，以对预设定位装置提供的车辆的高程进行修正。

可选的，所述第一交通标志为路灯杆；

所述第二交通标志位包括车道线或交通牌。

第二方面，本发明实施例还提供了一种导航地图与感知图像匹配关系的更新装置，该装置包括：

高程修正模块，被配置为获取预设定位装置提供的车辆的当前位置，并基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正；

目标交通标志确定模块，被配置为分别将所述导航地图和摄像头所采集感知图像中与所述当前位置满足设定距离要求的交通标志组进行排列组合，以从所述导航地图和所述感知图像中确定位置相匹配的目标交通标志，所述交通标志组中包括至少任意两个第一交通标志；

匹配关系更新模块，被配置为根据所述目标交通标志的位置，对所述导航地图中车辆的位姿进行修正，并基于修正后车辆的高程和位姿更新所述导航地图与所述感知图像之间的匹配关系。

可选的，所述目标交通标志确定模块，包括：

排列组合单元，被配置为将所述导航地图中与所述当前位置符合设定距离要求的第一交通标志进行两两组合形成第一交通标志组，并将摄像头所采集感知图像中的第一交通标志进行两两组合形成第二交通标志组；

排序单元，被配置为将所述第一交通标志组按照与所述当前位置的距离由近到远的方式进行排序，并将所述第二交通标志组按照两端端点距离由长到短的方式进行排序；

车辆位置估计单元，被配置为根据排序后所述导航地图中的任意一组交通标志组的上端点，与排序后所述感知图像中的任意一组交通标志组的上端点之间的几何关系，确定车辆的估计位置；

目标交通标志确定单元，被配置为如果所述估计位置与所述当前位置之间的距离小于第一预设距离，则将排序后所述导航地图中的第一交通标志组和对应感知地图中的第二交通标志组作为目标交通标志。

可选的，所述匹配关系更新模块，包括：

位姿修正单元，被配置为根据所述目标交通标志的位置，对所述导航地图中车辆的位姿进行修正；

显示内容更新单元，被配置为将所述导航地图中的显示内容根据修正后车辆的高程和位姿进行更新；

实际距离判断单元，被配置为判断位置修正后的车辆在显示内容更新后的导航地图中的位置与所述当前位置之间的距离是否小于第二预设距离，其中，所述第二预设距离小于第一预设距离；

投影单元，被配置为如果修正后的车辆在显示内容更新后的导航地图中的位置与所述当前位置之间的距离小于第二预设距离，则将内容更新后的导航地图根据修正后的车辆位姿投影到预设标准化平面，并将所述感知图像中的显示内容也投影到所述预设标准化平面；

重投影误差判断单元，被配置为在所述标准化平面上，判断内容更新后的导航地图中的各交通标志与所述感知图像中的对应交通标志的重投影误差；

匹配关系更新单元，被配置为对于任意一种类型的交通标志，如果所述重新投误差小于该类型交通标志对应的设定阈值，则根据所述重投影误差更新所述导航地图与所述感知图像之间的匹配关系。

可选的，所述重投影误差判断单元，具体被配置为：

判断内容更新后的导航地图中的第一交通标志与所述感知图像中对应的第一交通标志之间的重投影残差是否小于第一预设残差阈值；

如果小于第一预设残差阈值，则判断内容更新后的导航地图中的第二交通标志与所述感知图像中对应的第二交通标志之间的重投影残差是否小于第二预设残差阈值；

其中，所述第二交通标志位为与所述第一交通标志不同类型的交通标志。

可选的，在所述匹配关系更新后，所述装置还包括：

不确定度接收模块，被配置为接收车辆位姿的不确定度；

状态切换模块，被配置为如果所述不确定度大于设定阈值，则返回执行车辆高程的修正操作，以重新更新所述匹配关系。

可选的，所述高程修正模块，具体被配置为：

确定导航地图中所述当前位置对应的车道线的高程；

将所述车道线的高程作为当前位置处车辆的高程，以对预设定位装置提供的车辆的高程进行修正。

可选的，所述第一交通标志为路灯杆；

所述第二交通标志位包括车道线或交通牌。

第三方面，本发明实施例还提供了一种车载终端，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的导航地图与感知图像匹配关系的更新方法的部分或全部步骤。

第四面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的导航地图与感知图像匹配关系的更新方法的部分或全部步骤的指令。

第五方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的导航地图与感知图像匹配关系的更新方法的部分或全部步骤。

本实施例提供的技术方案，在完成车辆高程的修正后，通过将导航地图和摄像头所采集感知图像中与车辆当前位置满足设定距离要求的交通标志组进行排列组合，以从导航地图和感知图像中确定位置相匹配的目标交通标志。利用目标交通标志的位置，可对导航地图中车辆的位姿进行修正，使得车体位置能够与导航地图位置对齐，从而可以获得正确的感知图像和导航地图之间的匹配关系。

本发明的发明点包括：

1、在如路灯杆等交通标志存在时，可以对其进行准确识别，并利用交通标志对车辆位姿进行修正，从而完成导航地图的初始化操作，使得消费级的定位设备具有高精度的定位功能，是本发明的发明点之一。

2、在从多个交通标志组中筛选目标交通标志时，通过基于感知图像和导航地图中交通标志组上端点之间的几何关系所确定出车辆的估算位置，将车辆的估算位置与先验位置之间的距离小于设定阈值所对应的交通标志组作为目标交通标志，是本发明的发明点之一。

3、通过确定导航地图中车辆当前位置周围几米范围内的车道线高程，可将确定出的车辆线高程作为车辆当前位置的高程，以完成对车辆高程的修正，从而增加后续导航地图与感知图像匹配正确的概率，是本发明的发明点之一。

4、将车辆的不确定度作为初始化状态切换的条件，只要检测到车辆的不确定度大于设定阈值，则切换到导航地图的初始化状态，以保证车辆的正常运行，是本发明的发明点之一。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的一种导航地图与感知图像匹配关系的更新方法的流程示意图；

图1b为本发明实施例提供的一种感知图像中的路灯杆与导航地图中的路灯杆的几何关系示意图；

图2a是本发明实施例提供的一种导航地图与感知图像匹配关系的更新方法的流程示意图；

图2b为本发明实施例提供的一种对车辆进行高程修正的示意图；

图2c为本发明实施例提供的一种对车辆进行粗略位姿修正的示意图；

图2d为本发明实施例提供的一种对导航地图中显示的车辆进行位置更新的示意图；

图3是本发明实施例提供的一种导航地图与感知图像匹配关系的更新装置的结构示意图；

图4是本发明实施例提供的一种车载终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

请参阅图1a，图1a是本发明实施例提供的一种导航地图与感知图像匹配关系的更新方法的流程示意图。该方法典型的是应用于无人驾驶车辆第一次进入室外高精度地图的场景下，可由导航地图与感知图像匹配关系的更新装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrial personalComputer，IPC)等车载终端中，本发明实施例不做限定。如图1a所示，本实施例提供的方法具体包括：

110、获取预设定位装置提供的车辆的当前位置，并基于导航地图中当前位置对应的车道线信息，对预设定位装置提供的车辆的高程进行修正。

其中，预设定位装置为单点GPS或低精度的消费级定位设备。导航地图是指应用于自动驾驶的误差级别为厘米级的高精度地图。

本实施例中，车辆的高程是指消费级定位设备提供的车辆的海拔高度。在利用消费级定位设备对车辆进行定位时，定位精度较低，有时会有几米甚至十几米的误差，但在该误差范围内车道线高度变化不大。因此，可根据消费级定位设备提供的车辆当前位置，在导航地图中搜索当前位置附近几米的车道线信息，从而利用该车道线信息对车辆的高程进行修正，以将车辆拉到车道线高度。

具体的，可在导航地图中搜索车辆当前位置周围几米范围内车道线，并计算车道线的平均高度，即车道线的高程。将计算出的车道线的高程作为车辆当前位置的高程，以完成对车辆高程的修正。这样设置可使得后续导航地图与感知图像匹配正确的概率增加。

需要说明的是，本发明实施例对车辆高程和位姿的修正顺序不存在先后之分，可先对车辆的高程进行修正，然后再修正车辆的位姿，或者也可以先完成对车辆的位姿进行修正，然后再修正车辆的高程，本实施例对此不做具体限定。

120、分别将导航地图和摄像头所采集感知图像中与当前位置满足设定距离要求的交通标志组进行排列组合，以从导航地图和感知图像中确定位置相匹配的目标交通标志。

其中，交通标志包括路灯杆、车道线和交通牌等。由于路灯杆相对于其他交通标志信息更为丰富，因此本实施例中优选将路灯杆作为第一交通标志，利用路灯杆为车体位置提供前后向和左右向的约束，即可利用路灯杆对车辆的位姿进行粗略修正。

示例性的，在对车辆的位姿进行修正时，可通过导航地图和感知图像中至少两组相匹配的路灯杆来实现。但在车体准确位置未知的情况下，导航地图中的任意两根路灯杆(简称地图杆)和感知图像中的任意两根路灯杆(简称感知图像杆)都可能存在匹配关系，因此，为了确定存在对应匹配关系的地图杆和感知图像杆，本实施例建立了交通标志组，例如路灯杆组，每组路灯杆中包括任意两根路灯杆。通过分别将导航地图和感知图像中与当前位置满足设定距离要求的交通标志组进行排列组合，并依次进行遍历匹配，可确定出导航地图与感知图像中相匹配的目标交通标志。

示例性的，分别将导航地图和摄像头所采集感知图像中的交通标志组进行排列组合，以从导航地图和感知图像中确定位置相匹配的目标交通标志，可通过如下方式来实现：

将导航地图中与车辆当前位置符合设定距离要求的第一交通标志进行两两组合形成第一交通标志组，并将摄像头所采集感知图像中的第一交通标志进行两两组合形成第二交通标志组；将第一交通标志组按照与当前位置的距离由近到远的方式进行排序，并将第二交通标志组按照两端端点距离由长到短的方式进行排序；根据排序后导航地图中的任意一组交通标志组的上端点，与排序后感知图像中的任意一组交通标志组的上端点之间的几何关系，确定车辆的估计位置；如果估计位置与当前位置之间的距离小于第一预设距离，则将排序后导航地图中的第一交通标志组和对应感知地图中的第二交通标志组作为目标交通标志。

需要说明的是，由于感知图像中的路灯杆组投影归一化平面上是直线信息，而由于车辆、花丛遮挡等原因，路灯杆投影到归一化平面上后，下端点往往位置不准确，但是路灯杆上端点的图像投影位置比下端点误差小很多，因此本实施例利用感知图像和导航地图中路灯杆的上端点计算出一个粗略的车体位置。

本实施例中，可以将感知图像中的路灯杆组均投影到图像平面或者在摄像头的归一化平面上并按照上下端点距离由长到短的方式进行排序。其中，该归一化平面可建立在摄像头坐标系下，且距离摄像头坐标系原点的距离为1米。具体的，在对交通标志组进行依次遍历匹配的过程中。由于导航地图中和感知图像中均包含多组交通标志，因此，如果利用当前交通标志组确定的车辆的估算位置与车体当前位置(即先验位置)之间的距离过大，例如大于第一预设距离，则可删除导航地图中和感知图像中二者之间的匹配关系，并依次选择其他交通标志组进行匹配。

具体的，图1b为本发明实施例提供的一种感知图像中的路灯杆与导航地图中的路灯杆的几何关系示意图，如图1b所示，利用感知图像中的一对路灯杆在归一化平面或在图像平面上的投影的上端点，与导航地图中的一对路灯杆的上端点之间的连线，可定位出车辆的估计位置。根据车体的估算位置与先验位置的距离进行一次粗筛，可删除估算位置与先验位置距离大于第一预设距离的路灯杆组，从而进一步减小算法时间复杂度。对于估算位置与先验位置距离小于第一预设距离路灯杆组中的各路灯杆，可将其作为目标交通标志。本实施例中，通过将导航地图中的路灯杆组和感知图像中的路灯杆组进行排序可以提高匹配率，减小算法计算的时间复杂度。

130、根据目标交通标志的位置，对导航地图中车辆的位姿进行修正，并基于修正后车辆的高程和位姿更新导航地图与感知图像之间的匹配关系。

其中，对车辆的位姿进行修正是为了使车辆的当前位置与车辆实际的正确位置之间的偏差降到最低，即可采用迭代修正的方式将车辆的当前位置不断逼近于车辆的真实位置。

本实施中，目标交通标志的确定说明感知图像中的目标交通标志已经与导航地图中对应的目标交通标志建立了一一对应的关系。基于目标交通标志中各组交通标志组之间的匹配关系，可利用非线性优化算法修正车体的前后向和左右向(车辆高程通过步骤110已得到修正)。

进一步的，在车辆的位姿和高程得到粗略修正后，车体的位置与高精度地图已经进行了较好的配准。为了得到更加精准的匹配关系，可引入与第一交通标志不同类型的相匹配的第二交通标志，例如车道线和/或交通牌等，对车辆的位姿进行修正，即利用更新后的匹配关系和车道线对车体的前后向位置、左右向位置及高程进行非线性优化，并基于更新后车辆的位姿来更新导航地图和感知图像之间的匹配关系。

进一步的，为了保证感知图像与导航地图之间匹配关系的准确性，可在该匹配关系输出之前对其进行校核，具体的校核方式可以为：判断优化后车辆的位置与先验位置之间的距离，如果该距离满足设定距离要求，并且更新后的匹配关系中的路灯杆和车道线等在最新的车辆位姿下的重投影残差均小于对应设定阈值，则说明导航地图与感知图像之间的匹配关系已达到标准，此时可输出更新后的该匹配关系，以完成导航地图的初始化。此时，车体可获得厘米级的定位精度，车体可与导航地图保持对齐。

本实施例提供的技术方案，在完成车辆高程的修正后，通过将导航地图和摄像头所采集感知图像中与车辆当前位置满足设定距离要求的交通标志组进行排列组合，以从导航地图和感知图像中确定位置相匹配的目标交通标志。利用目标交通标志的位置，可对导航地图中车辆的位姿进行修正，使得车体位置能够与导航地图位置对齐，从而可以获得正确的感知图像和导航地图之间的匹配关系。

进一步的，在导航地图与感知图像之间的匹配关系更新后，如果判断出接收到的车辆位姿的不确定度，即协方差信息，大于设定阈值，则返回执行车辆高程的修正操作，以重新更新该匹配关系，即重新切换到初始化状态，以保证匹配关系的正确性和车体位置的精度。

实施例二

请参阅图2a，图2a是本发明实施例提供的一种导航地图与感知图像匹配关系的更新方法的流程示意图。本实施例在上述实施例的基础上，对基于修正后车辆的高程和位姿更新导航地图与感知图像之间的匹配关系的过程进行了优化，在输出该匹配关系时增加了验证该匹配关系是否合理的操作。如图2a所示，该方法包括：

210、获取预设定位装置提供的车辆的当前位置，并基于导航地图中当前位置对应的车道线信息，对预设定位装置提供的车辆的高程进行修正。

图2b为本发明实施例提供的一种对车辆进行高程修正的示意图。如图2b所示，通过对车辆的高程进行修正，可以将车辆拉到车道线高度。

220、分别将导航地图和摄像头所采集感知图像中与当前位置满足设定距离要求的交通标志组进行排列组合，以从导航地图和感知图像中确定位置相匹配的目标交通标志。

230、根据目标交通标志的位置，利用非线性优化算法对导航地图中车辆的位姿进行修正。

本实施例中，步骤230即为对车辆进行粗略位姿修正的过程。此过程主要是利用220中识别出的目标交通标志，例如路灯杆对车辆的位置进行修正，使得车辆的位置与其真实位置之间的距离有所减小。

具体的，图2c为本发明实施例提供的一种对车辆进行粗略位姿修正的示意图。如图2c所示，1-6分别表示导航地图中的路灯杆；7-10分别表示感知图像中的路灯杆；导航地图中的路灯杆1和6可形成地图路灯杆组，感知图像中的路灯杆7和10可形成图像路灯杆组，通过地图路灯杆组和图像路灯杆组之间的匹配关系，可将车辆进行位姿粗校准，使得校准后的位置接近于其实际车体位置。

240、将导航地图中的显示内容根据修正后车辆的高程和位姿进行更新。

基于修正后的车辆位置，导航地图中的显示内容会相应的发生改变。在更新导航地图中的显示内容后，相应的，感知地图中与导航地图相匹配的交通标志也应随之得到更新。

进一步的，如果在显示内容更新后的导航地图中识别出除路灯杆之外与感知地图相匹配的其他交通标志，例如车道线和交通牌等，则可利用这些交通标志对车辆的位姿进行进一步非线性优化。在进一步的优化处理后，导航地图中更新后的车体位置与真实位置更加接近。

具体的，图2d为本发明实施例提供的一种对导航地图中显示的车辆进行位置更新的示意图。如图2d所示，对车辆的从粗校准位置进行进一步优化处理后，得到更新后的车体位置与实际车体位置接近于重合，达到了将车辆位姿与导航地图进行对齐的效果。

250、判断位置修正后的车辆在显示内容更新后的导航地图中的位置与当前位置之间的距离是否小于第二预设距离，若是，则执行步骤260；否则，返回执行步骤220。

其中，第二预设距离小于第一预设距离。

260、将内容更新后的导航地图根据修正后的车辆位姿投影到预设标准化平面，并将感知图像中的显示内容投影到预设标准化平面，继续执行步骤270。

270、在标准化平面上，对于任意一种类型的交通标志，判断内容更新后的导航地图中的各种类型的交通标志与感知图像中的对应交通标志的重投影误差是否小于该类型交通标志对应的设定阈值，若是，则执行步骤280；否则，执行步骤220。

示例性的，如果步骤270中的交通标志中包含有不同种类型的交通标志，例如路灯杆、交通牌和车道线等，则不同该类型的交通标志都对应设置残差阈值。

具体的，步骤270可以包括：判断内容更新后的导航地图中的第一交通标志与感知图像中对应的第一交通标志之间的重投影残差是否小于第一预设残差阈值；

如果小于第一预设残差阈值，则判断内容更新后的导航地图中的第二交通标志与感知图像中对应的第二交通标志之间的重投影残差是否小于第二预设残差阈值；

其中，第二交通标志位为与第一交通标志不同类型的交通标志。第一交通标志优选为路灯杆，第二交通标志位包括车道线或交通牌等。

280、更新导航地图与感知图像之间的匹配关系。

示例性的，如果不同类型交通标志的重投影误差不满足预设误差要求，则说明导航地图与感知图像之间未建立良好的匹配关系，此时仍需返回执行步骤220，以重新执行初始化操作。

示例性的，如果更新后的匹配关系中一种类型的交通标志，例如只有路灯杆，而没有其他类型的交通标志时，则认为对车体位置的约束不足，仍需返回执行步骤220，以重新执行初始化操作。

290、输出更新后的匹配关系和更新后的车辆位姿。

需要说明的是，只有在步骤250(车辆修正后的位置与先验位置之间的距离符合预设距离要求)，且在步骤270中判断出至少两种类型的交通标志在最新车辆位姿下的重投影残差分别都满足各自对应的投影阈值要求时，才可将导航地图与感知图像之间匹配关系输出，完成初始化操作。

本实施例提供的技术方案，在对车辆的位姿进行修正后，车体的位置与高精度地图已经进行了较好的配准。利用导航地图和感知图像中除路灯杆之外其他相匹配的交通标志对车辆的位姿进行进一步优化处理后，可使得更新后车辆的位姿与真实位姿更为接近。此外，为了保证导航地图与感知图像匹配关系的准确性，可判断车辆修正后的位置与先验位置之间的距离是否满足预设要求，且导航地图与感知图像中的至少两种类型的交通标志在最新的车辆位姿下是否均满足重投影残差收敛的条件，如果上述两个条件都满足，则说明基于修正后的车辆位姿所确定的导航地图和感知图像或者之间的匹配关系达到了要求，此时可更新并输出该匹配关系，完成初始化过程。

实施例三

请参阅图3，图3是本发明实施例提供的一种导航地图与感知图像匹配关系的更新装置的结构示意图。如图3所示，该装置包括：高程修正模块310、目标交通标志确定模块320和匹配关系更新模块330。

其中，高程修正模块310，被配置为获取预设定位装置提供的车辆的当前位置，并基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正；

目标交通标志确定模块320，被配置为分别将所述导航地图和摄像头所采集感知图像中与所述当前位置满足设定距离要求的交通标志组进行排列组合，以从所述导航地图和所述感知图像中确定位置相匹配的目标交通标志，所述交通标志组中包括至少任意两个第一交通标志；

匹配关系更新模块330，被配置为根据所述目标交通标志的位置，对所述导航地图中车辆的位姿进行修正，并基于修正后车辆的高程和位姿更新所述导航地图与所述感知图像之间的匹配关系。

本实施例提供的技术方案，在完成车辆高程的修正后，通过将导航地图和摄像头所采集感知图像中与车辆当前位置满足设定距离要求的交通标志组进行排列组合，以从导航地图和感知图像中确定位置相匹配的目标交通标志。利用目标交通标志的位置，可对导航地图中车辆的位姿进行修正，使得车体位置能够与导航地图位置对齐，从而可以获得正确的感知图像和导航地图之间的匹配关系。

可选的，所述目标交通标志确定模块，包括：

排列组合单元，被配置为将所述导航地图中与所述当前位置符合设定距离要求的第一交通标志进行两两组合形成第一交通标志组，并将摄像头所采集感知图像中的第一交通标志进行两两组合形成第二交通标志组；

排序单元，被配置为将所述第一交通标志组按照与所述当前位置的距离由近到远的方式进行排序，并将所述第二交通标志组按照两端端点距离由长到短的方式进行排序；

车辆位置估计单元，被配置为根据排序后所述导航地图中的任意一组交通标志组的上端点，与排序后所述感知图像中的任意一组交通标志组的上端点之间的几何关系，确定车辆的估计位置；

目标交通标志确定单元，被配置为如果所述估计位置与所述当前位置之间的距离小于第一预设距离，则将排序后所述导航地图中的第一交通标志组和对应感知地图中的第二交通标志组作为目标交通标志。

可选的，所述匹配关系更新模块，包括：

位姿修正单元，被配置为根据所述目标交通标志的位置，对所述导航地图中车辆的位姿进行修正；

显示内容更新单元，被配置为将所述导航地图中的显示内容根据修正后车辆的高程和位姿进行更新；

实际距离判断单元，被配置为判断位置修正后的车辆在显示内容更新后的导航地图中的位置与所述当前位置之间的距离是否小于第二预设距离，其中，所述第二预设距离小于第一预设距离；

投影单元，被配置为如果修正后的车辆在显示内容更新后的导航地图中的位置与所述当前位置之间的距离小于第二预设距离，则将内容更新后的导航地图根据修正后的车辆位姿投影到预设标准化平面，并将所述感知图像中的显示内容也投影到所述预设标准化平面；

重投影误差判断单元，被配置为在所述标准化平面上，判断内容更新后的导航地图中的各交通标志与所述感知图像中的对应交通标志的重投影误差；

匹配关系更新单元，被配置为对于任意一种类型的交通标志，如果所述重新投误差小于该类型交通标志对应的设定阈值，则根据所述重投影误差更新所述导航地图与所述感知图像之间的匹配关系。

可选的，所述重投影误差判断单元，具体被配置为：

判断内容更新后的导航地图中的第一交通标志与所述感知图像中对应的第一交通标志之间的重投影残差是否小于第一预设残差阈值；

如果小于第一预设残差阈值，则判断内容更新后的导航地图中的第二交通标志与所述感知图像中对应的第二交通标志之间的重投影残差是否小于第二预设残差阈值；

其中，所述第二交通标志位为与所述第一交通标志不同类型的交通标志。

可选的，在所述匹配关系更新后，所述装置还包括：

不确定度接收模块，被配置为接收车辆位姿的不确定度；

状态切换模块，被配置为如果所述不确定度大于设定阈值，则返回执行车辆高程的修正操作，以重新更新所述匹配关系。

可选的，所述高程修正模块，具体被配置为：

确定导航地图中所述当前位置对应的车道线的高程；

将所述车道线的高程作为当前位置处车辆的高程，以对预设定位装置提供的车辆的高程进行修正。

可选的，所述第一交通标志为路灯杆；

所述第二交通标志位包括车道线或交通牌。

本发明实施例所提供的导航地图与感知图像匹配关系的更新装置可执行本发明任意实施例所提供的导航地图与感知图像匹配关系的更新方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的导航地图与感知图像匹配关系的更新方法。

实施例四

请参阅图4，图4是本发明实施例提供的一种车载终端的结构示意图。如图4所示，该车载终端可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行本发明任意实施例所提供的导航地图与感知图像匹配关系的更新方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的导航地图与感知图像匹配关系的更新方法。

本发明实施例公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的导航地图与感知图像匹配关系的更新方法的部分或全部步骤。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种导航地图与感知图像匹配关系的更新方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种导航地图与感知图像匹配关系的更新方法，应用于自动驾驶，其特征在于，包括：

获取预设定位装置提供的车辆的当前位置，并基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正；

分别将所述导航地图和摄像头所采集感知图像中与所述当前位置满足设定距离要求的交通标志组进行排列组合，以从所述导航地图和所述感知图像中确定位置相匹配的目标交通标志，所述交通标志组中包括至少任意两个第一交通标志；

根据所述目标交通标志的位置，对所述导航地图中车辆的位姿进行修正，并基于修正后车辆的高程和位姿更新所述导航地图与所述感知图像之间的匹配关系。

2.根据权利要求1所述的方法，其特征在于，分别将所述导航地图和摄像头所采集感知图像中的交通标志组进行排列组合，以从所述导航地图和所述感知图像中确定位置相匹配的目标交通标志，包括：

将所述导航地图中与所述当前位置符合设定距离要求的第一交通标志进行两两组合形成第一交通标志组，并将摄像头所采集感知图像中的第一交通标志进行两两组合形成第二交通标志组；

将所述第一交通标志组按照与所述当前位置的距离由近到远的方式进行排序，并将所述第二交通标志组按照两端端点距离由长到短的方式进行排序；

根据排序后导航地图中的任意一组交通标志组的上端点，与排序后感知图像中的任意一组交通标志组的上端点之间的几何关系，确定车辆的估计位置；

如果所述估计位置与所述当前位置之间的距离小于第一预设距离，则将排序后所述导航地图中的第一交通标志组和对应感知地图中的第二交通标志组作为目标交通标志。

3.根据权利要求1所述的方法，其特征在于，所述基于修正后车辆的高程和位姿更新所述导航地图与所述感知图像之间的匹配关系，包括：

将所述导航地图中的显示内容根据修正后车辆的高程和位姿进行更新；

判断位置修正后的车辆在显示内容更新后的导航地图中的位置与所述当前位置之间的距离是否小于第二预设距离，其中，所述第二预设距离小于第一预设距离；

如果小于所述第二预设距离，则将内容更新后的导航地图根据修正后的车辆位姿投影到预设标准化平面，并将所述感知图像中的显示内容投影到所述预设标准化平面；

在所述标准化平面上，判断内容更新后的导航地图中的各交通标志与所述感知图像中的对应交通标志的重投影误差；

对于任意一种类型的交通标志，如果所述重投影误差小于该类型交通标志对应的设定阈值，则根据所述重投影误差更新所述导航地图与所述感知图像之间的匹配关系。

4.根据权利要求3所述的方法，其特征在于，所述判断内容更新后的导航地图中的交通标志与所述感知图像中的交通标志的重投影误差，包括：

判断内容更新后的导航地图中的第一交通标志与所述感知图像中对应的第一交通标志之间的重投影残差是否小于第一预设残差阈值；

如果小于第一预设残差阈值，则判断内容更新后的导航地图中的第二交通标志与所述感知图像中对应的第二交通标志之间的重投影残差是否小于第二预设残差阈值；

其中，所述第二交通标志为与所述第一交通标志不同类型的交通标志。

5.根据权利要求1所述的方法，其特征在于，在所述匹配关系更新后，所述方法还包括：

接收车辆位姿的不确定度；

如果所述不确定度大于设定阈值，则返回执行车辆高程的修正操作，以重新更新所述匹配关系。

6.根据权利要求1-5任一所述的方法，其特征在于，基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正，包括：

确定导航地图中所述当前位置对应的车道线的高程；

将所述车道线的高程作为当前位置处车辆的高程，以对预设定位装置提供的车辆的高程进行修正。

7.根据权利要求4所述的方法，其特征在于：

所述第一交通标志为路灯杆；

所述第二交通标志包括车道线或交通牌。

8.一种导航地图与感知图像匹配关系的更新装置，应用于自动驾驶，其特征在于，包括：

高程修正模块，被配置为获取预设定位装置提供的车辆的当前位置，并基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正；

目标交通标志确定模块，被配置为分别将所述导航地图和摄像头所采集感知图像中与所述当前位置满足设定距离要求的交通标志组进行排列组合，以从所述导航地图和所述感知图像中确定位置相匹配的目标交通标志，所述交通标志组中包括至少任意两个第一交通标志；

匹配关系更新模块，被配置为根据所述目标交通标志的位置，对所述导航地图中车辆的位姿进行修正，并基于修正后车辆的高程和位姿更新所述导航地图与所述感知图像之间的匹配关系。

9.根据权利要求8所述的装置，其特征在于，所述目标交通标志确定模块，包括：

排列组合单元，被配置为将所述导航地图中与所述当前位置符合设定距离要求的第一交通标志进行两两组合形成第一交通标志组，并将摄像头所采集感知图像中的第一交通标志进行两两组合形成第二交通标志组；

排序单元，被配置为将所述第一交通标志组按照与所述当前位置的距离由近到远的方式进行排序，并将所述第二交通标志组按照两端端点距离由长到短的方式进行排序；

车辆位置估计单元，被配置为根据排序后所述导航地图中的任意一组交通标志组的上端点，与排序后所述感知图像中的任意一组交通标志组的上端点之间的几何关系，确定车辆的估计位置；

目标交通标志确定单元，被配置为如果所述估计位置与所述当前位置之间的距离小于第一预设距离，则将排序后所述导航地图中的第一交通标志组和对应感知地图中的第二交通标志组作为目标交通标志。

10.根据权利要求8所述的装置，其特征在于，所述匹配关系更新模块，包括：

位姿修正单元，被配置为根据所述目标交通标志的位置，对所述导航地图中车辆的位姿进行修正；

显示内容更新单元，被配置为将所述导航地图中的显示内容根据修正后车辆的高程和位姿进行更新；

实际距离判断单元，被配置为判断位置修正后的车辆在显示内容更新后的导航地图中的位置与所述当前位置之间的距离是否小于第二预设距离，其中，所述第二预设距离小于第一预设距离；

投影单元，被配置为如果修正后的车辆在显示内容更新后的导航地图中的位置与所述当前位置之间的距离小于第二预设距离，则将内容更新后的导航地图根据修正后的车辆位姿投影到预设标准化平面，并将所述感知图像中的显示内容也投影到所述预设标准化平面；

重投影误差判断单元，被配置为在所述标准化平面上，判断内容更新后的导航地图中的各交通标志与所述感知图像中的对应交通标志的重投影误差；

匹配关系更新单元，被配置为对于任意一种类型的交通标志，如果所述重投影误差小于该类型交通标志对应的设定阈值，则根据所述重投影误差更新所述导航地图与所述感知图像之间的匹配关系。

Images