CN112837365A - 一种基于图像的车辆定位方法及装置 - Google Patents

Abstract

本发明实施例公开一种基于图像的车辆定位方法及装置，该方法包括：获得待定位车辆的图像采集设备在当前时刻采集的道路图像；获得待定位车辆在当前时刻的预估位姿信息；对道路图像进行检测，确定出道路图像中的感知特征；从电子导航地图中，确定出预估位姿信息对应的参照地图区域中的参照地图特征，其中，电子导航地图包括：各地图特征及其在电子导航地图中的位置信息和高程信息；基于参照地图特征在电子导航地图中的位置信息和高程信息、预估位姿信息以及每一参照地图特征对应的感知特征在道路图像中的感知位置信息，确定待定位车辆的当前位姿信息，以实现提高在路面不平的道路中行驶和/或车辆倾斜行驶的情况下，车辆定位结果的准确性。

Description

一种基于图像的车辆定位方法及装置

技术领域

本发明涉及智能交通技术领域，具体而言，涉及一种基于图像的车辆定位方法及装置。

背景技术

在智能驾驶领域中，车辆在道路中行驶的过程中，车辆的定位技术至关重要。基于目前的车辆定位技术对车辆进行定位的流程，一般为：获得车辆的图像采集设备采集的道路图像，并对道路图像进行检测，得到道路图像中的感知特征，从平面的电子导航地图中确定出与各感知特征匹配的地图特征；基于感知特征在道路图像中的位置信息以及与各感知特征匹配的地图特征在平面的电子导航地图中的位置信息，确定车辆的当前位姿信息。

上述过程中，所使用的电子导航地图为平面地图，对于在路面为平面的道路中行驶的车辆进行定位的定位结果较准确。然后实际中路面情况复杂多变，当车辆在路面不平的道路中行驶和/或车辆倾斜行驶时，利用上述平面的电子导航地图对车辆进行定位，所确定的定位结果则会不够准确。那么，如何在道路的路面不平和/或车辆倾斜驾驶的情况下，提高车辆定位结果的准确性成为亟待解决的问题。

发明内容

本发明提供了一种基于图像的车辆定位方法及装置，以实现提高在路面不平的道路中行驶和/或车辆倾斜行驶的情况下，车辆定位结果的准确性。具体的技术方案如下：

第一方面，本发明实施例提供了一种基于图像的车辆定位方法，包括：

获得待定位车辆的图像采集设备在当前时刻采集的道路图像；

获得所述待定位车辆在所述当前时刻的预估位姿信息，其中，所述预估位姿信息为：基于所述当前时刻的前一时刻的所述待定位车辆的前一位姿信息确定的位姿信息；

对所述道路图像进行检测，确定出所述道路图像中的感知特征；

从电子导航地图中，确定出所述预估位姿信息对应的参照地图区域中的参照地图特征，其中，所述电子导航地图包括：各地图特征及其在电子导航地图中的位置信息和高程信息；

基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息。

可选的，所述基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息的步骤，包括：

基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息以及所述预估位姿信息的当前取值，确定所述参照地图特征在所述道路图像中的投影位置信息；

计算所述参照地图特征在所述道路图像中的投影位置信息，以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息之间的距离误差；

判断所述距离误差是否不大于预设距离阈值；

若判断所述距离误差不大于所述预设距离阈值，根据所述预估位姿信息的当前取值，确定所述待定位车辆的当前位姿信息；

若判断所述距离误差大于所述预设距离阈值，调整所述预估位姿信息的当前取值，并执行所述基于所述参照地图特征在所述电子导航地图中的三维位置信息以及所述预估位姿信息的当前取值，确定所述参照地图特征在所述道路图像中的投影位置信息的步骤。

可选的，所述道路图像包括：前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像；

所述对所述道路图像进行检测，确定出所述道路图像中的感知特征的步骤，包括：

分别对所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像进行检测，确定出所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像中的感知特征；

所述基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息的步骤，包括：

基于所述预估位姿信息，分别从所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像中的感知特征中，确定出每一参照地图特征对应的感知特征；

基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述前向道路图像、所述后向道路图像、所述左侧道路图像或所述右侧道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息。

可选的，所述获得所述待定位车辆在所述当前时刻的预估位姿信息的步骤，包括：

获得所述待定位车辆在所述当前时刻的前一时刻的前一位姿信息；

获得所述待定位车辆的定位辅助设备在所述当前时刻采集的定位辅助数据；

基于所述前一位姿信息以及所述定位辅助数据，确定所述待定位车辆在所述当前时刻的预估位姿信息。

可选的，在所述基于所述参照地图特征在所述电子导航地图中的三维位置信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息的步骤之后，所述方法还包括：

发送所述当前位姿信息至显示设备，以使所述显示设备基于所述当前位姿信息在所述电子导航地图中显示所述待定位车辆对应的车辆模型。

第二方面，本发明实施例提供了一种基于图像的车辆定位装置，所述装置包括：

第一获得模块，被配置为获得待定位车辆的图像采集设备在当前时刻采集的道路图像；

第二获得模块，被配置为获得所述待定位车辆在所述当前时刻的预估位姿信息，其中，所述预估位姿信息为：基于所述当前时刻的前一时刻的所述待定位车辆的前一位姿信息确定的位姿信息；

第一确定模块，被配置为对所述道路图像进行检测，确定出所述道路图像中的感知特征；

第二确定模块，被配置为从电子导航地图中，确定出所述预估位姿信息对应的参照地图区域中的参照地图特征，其中，所述电子导航地图包括：各地图特征及其在电子导航地图中的位置信息和高程信息；

第三确定模块，被配置为基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息。

可选的，所述第三确定模块，被具体配置为基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息以及所述预估位姿信息的当前取值，确定所述参照地图特征在所述道路图像中的投影位置信息；

计算所述参照地图特征在所述道路图像中的投影位置信息，以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息之间的距离误差；

判断所述距离误差是否不大于预设距离阈值；

若判断所述距离误差不大于所述预设距离阈值，根据所述预估位姿信息的当前取值，确定所述待定位车辆的当前位姿信息；

若判断所述距离误差大于所述预设距离阈值，调整所述预估位姿信息的当前取值，并执行所述基于所述参照地图特征在所述电子导航地图中的三维位置信息以及所述预估位姿信息的当前取值，确定所述参照地图特征在所述道路图像中的投影位置信息的步骤。

可选的，所述道路图像包括：前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像；

所述第一确定模块，被具体配置为分别对所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像进行检测，确定出所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像中的感知特征；

所述第三确定模块，被具体配置为基于所述预估位姿信息，分别从所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像中的感知特征中，确定出每一参照地图特征对应的感知特征；

基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述前向道路图像、所述后向道路图像、所述左侧道路图像或所述右侧道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息。

可选的，所述第二获得模块，被具体配置为获得所述待定位车辆在所述当前时刻的前一时刻的前一位姿信息；

获得所述待定位车辆的定位辅助设备在所述当前时刻采集的定位辅助数据；

基于所述前一位姿信息以及所述定位辅助数据，确定所述待定位车辆在所述当前时刻的预估位姿信息。

可选的，所述装置还包括：

发送模块，被配置为在所述基于所述参照地图特征在所述电子导航地图中的三维位置信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息之后，发送所述当前位姿信息至显示设备，以使所述显示设备基于所述当前位姿信息在所述电子导航地图中显示所述待定位车辆对应的车辆模型。

由上述内容可知，本发明实施例提供的一种基于图像的车辆定位方法及装置，可以获得待定位车辆的图像采集设备在当前时刻采集的道路图像；获得待定位车辆在当前时刻的预估位姿信息，其中，预估位姿信息为：基于当前时刻的前一时刻的待定位车辆的前一位姿信息确定的位姿信息；对道路图像进行检测，确定出道路图像中的感知特征；从电子导航地图中，确定出预估位姿信息对应的参照地图区域中的参照地图特征，其中，电子导航地图包括：各地图特征及其在电子导航地图中的位置信息和高程信息；基于参照地图特征在电子导航地图中的位置信息和高程信息、预估位姿信息以及每一参照地图特征对应的感知特征在道路图像中的感知位置信息，确定待定位车辆的当前位姿信息。

应用本发明实施例，可以基于当前时刻的预估位姿信息从电子导航地图中，确定出参照地图区域，并确定出其中的参照地图特征，即先基于预估位姿信息，确定出在当前时刻待定位车辆基于所处位置可能在电子导航地图中观测到的参照地图特征，从道路图像中检测出的感知特征中，确定出每一参照地图特征对应的感知特征，进而，利用包含每一地图特征的高程信息的电子导航地图，即可以更好的表征出电子导航地图对应的场景中各特征的真实的位置的电子导航地图中参照地图特征的位置信息和高程信息，以及预估位姿信息以及参照地图特征对应的感知特征在道路图像中的感知位置信息，可以更准确地确定出待定位车辆的当前位姿信息，以实现提高在路面不平的道路中行驶和/或车辆倾斜行驶的情况下，车辆定位结果的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、可以基于当前时刻的预估位姿信息从电子导航地图中，确定出参照地图区域，并确定出其中的参照地图特征，即先基于预估位姿信息，确定出在当前时刻待定位车辆基于所处位置可能在电子导航地图中观测到的参照地图特征，从道路图像中检测出的感知特征中，确定出每一参照地图特征对应的感知特征，进而，利用包含每一地图特征的高程信息的电子导航地图，即可以更好的表征出电子导航地图对应的场景中各特征的真实的位置的电子导航地图中，参照地图特征的位置信息和高程信息，以及预估位姿信息以及参照地图特征对应的感知特征在道路图像中的感知位置信息，可以更准确地确定出待定位车辆的当前位姿信息，以实现提高在路面不平的道路中行驶和/或车辆倾斜行驶的情况下，车辆定位结果的准确性。

2、在确定待定位车辆的当前位姿信息的过程中，为了保证所确定出的待定位车辆的当前位姿的准确性，需要将电子导航地图中位置更准确的参照地图特征，投影至道路图像中，以基于每一参照地图特征在电子导航地图中的位置信息以及高程信息，得到在道路图像中更准确的更符合实际道路情况的投影位置的投影位置信息，进而，以迭代出准确性更好的待定位车辆的当前位姿信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于图像的车辆定位方法的一种流程示意图；

图2A和图2B分别为电子导航地图对应的场景中道路情况的一种示例图；

图3为本发明实施例提供的确定待定位车辆的当前位姿信息的一种流程示意图

图4为本发明实施例提供的基于图像的车辆定位装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提供了一种基于图像的车辆定位方法及装置，以实现提高在道路的路面不平和/或车辆倾斜驾驶的情况下，车辆定位结果的准确性。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的基于图像的车辆定位方法的一种流程示意图。该方法可以包括以下步骤：

S101：获得待定位车辆的图像采集设备在当前时刻采集的道路图像。

本发明实施例中，该方法可以应用于任一类型的具有计算能力的电子设备，该电子设备可以为服务器或者终端设备。该电子设备可以设置于车辆内，为车载设备，也可以未设置于车辆内，这都是可以的。

在待定位车辆行驶过程中，电子设备可以实时获得待定位车辆的图像采集设备在每一时刻采集的道路图像。上述当前时刻可以是执行本发明实施例所提供的基于图像的车辆定位流程的最新的时刻。该待定位车辆可以为任一类型的车辆，本发明实施例并不作限定。该图像采集设备可以为摄像头以及相机等可以采集图像的设备。

待定位车辆可以设置有至少一图像采集设备。在一种情况中，待定位车辆可以设置有四个图像采集设备，该四个图像采集设备可以分别设置于：车辆的前车窗处，以针对待定位车辆行驶方向的前方道路进行拍摄；车辆左侧，以针对待定位车辆的行驶方向左侧的道路进行拍摄；车辆右侧，以针对待定位车辆的行驶方向的右侧道路进行拍摄；车辆的后车窗处，以针对待定位车辆行驶方向的后方道路进行拍摄，实现针对待定位车辆所处位置的四周的道路进行拍摄。

S102：获得待定位车辆在当前时刻的预估位姿信息。

其中，预估位姿信息为：基于当前时刻的前一时刻的待定位车辆的前一位姿信息确定的位姿信息。

本步骤中，电子设备可以直接获得待定位车辆在当前时刻的预估位姿信息，或者，可以是基于当前时刻的前一时刻的待定位车辆的前一位姿信息，确定出待定位车辆在当前时刻的预估位姿信息，这都是可以的。其中，该预估位姿信息包括所预估的待定位车辆在当前时刻的位置信息和姿态信息。

在一种实现方式中，所述S102，可以包括如下步骤01-03：

01：获得待定位车辆在当前时刻的前一时刻的前一位姿信息；

02：获得待定位车辆的定位辅助设备在当前时刻采集的定位辅助数据；

03：基于前一位姿信息以及定位辅助数据，确定待定位车辆在当前时刻的预估位姿信息。

本实现方式中，电子设备可以获得待定位车辆在当前时刻的前一时刻的位姿信息，作为前一位姿信息；进而，获得待定位车辆的定位辅助设备在当前时刻采集的定位辅助数据，该IMU数据可以体现出待定位车辆在前一时刻到当前时刻之间待定位车辆的位置以及姿态的变化量，进而，基于该前一位姿信息以及定位辅助数据可以预估出待定位车辆在当前时刻的预估位姿信息。在一种情况中，该定位辅助设备可以为IMU(Inertialmeasurement unit，惯性测量单元)，相应的，该定位辅助数据可以为IMU采集的IMU数据，该定位辅助设备也可以为GNSS(Global Navigation Satellite System，全球卫星导航系统或全球导航卫星系统)，相应的，该定位辅助数据可以为GNSS采集的数据。

S103：对道路图像进行检测，确定出道路图像中的感知特征。

本实施例中，电子设备可以利用预存的目标检测算法对道路图像进行检测，以从道路图像中检测出其中的感知特征。其中，该感知特征可以包括但不限于：表征道路图像中所包含目标的形状、类型以及尺寸等信息，该目标可以包括但不限于待定位车辆所处场景中的车道线、路灯杆、交通标志牌以及停车位等。

上述目标检测算法可以包括但不限于基于深度学习的目标检测模型，该目标检测模型可以是基于标注有目标的样本图像训练所得的神经网络模型，其中，训练模型的过程，可以参见相关技术中模型训练过程，在此不再赘述。

S104：从电子导航地图中，确定出预估位姿信息对应的参照地图区域中的参照地图特征，其中，电子导航地图包括：各地图特征及其在电子导航地图中的位置信息和高程信息。

本步骤中，电子设备可以通过该预估位姿信息，从电子导航地图中，确定出待定位车辆处于该预估位姿信息对应的位姿时，其设置的图像采集设备的可视范围内的地图区域，作为参照地图区域，进而，可以确定出该参照地图区域内包含的每一地图特征，作为参照地图特征。可以理解的是，待定位车辆处于不同位姿时，其设置的图像采集设备的可视区域不同，相应的，在电子导航地图中该位姿对应的参照地图区域不同。

其中，该电子导航地图包括地图特征及地图特征在电子导航地图中的位置信息和高程信息，该地图特征可以包括但不限于：表征电子导航地图对应的场景中包括但不限于的车道线、路灯杆、交通标识牌以及停车位等目标的语义信息，该语义信息可以为：表征所对应车道线、路灯杆、交通标识牌以及停车位的形状、尺寸、类型的信息。该电子导航地图对应的场景包括待定位车辆所处场景。该地图特征在电子导航地图中的高程信息可以表示，地图特征所处位置基于电子导航地图对应的基准面的高度。在一种情况中，该电子导航地图中各地图特征在电子导航地图中的高程信息可以：是地图创建人员人工测量并绘制所得的。

S105：基于参照地图特征在电子导航地图中的位置信息和高程信息、预估位姿信息以及每一参照地图特征对应的感知特征在道路图像中的感知位置信息，确定待定位车辆的当前位姿信息。

本步骤中，电子设备基于参照地图特征在电子导航地图中的位置信息和高程信息以及预估位姿信息，将参照地图特征投影至道路图像中，确定出参照地图特征在道路图像中的投影位置信息，进而，从感知特征中，确定出每一参照地图特征对应的感知特征，利用每一参照地图特征在道路图像中的投影位置信息以及每一参照地图对应的感知特征在道路图像中的感知位置信息，构建重投影误差，进而，求解使得该重投影误差小于预设距离阈值时的解，基于该解待定位车辆的当前位姿信息。

其中，该重投影误差可以通过如下公式(1)表示：

其中，Q表示重投影误差，该P’_i表示第i个参照地图特征在道路图像中的投影位置信息，为根据第i个参照地图特征在电子导航地图中的位置信息和高程信息，以及待定位车辆的预估位姿信息的当前取值确定得到的，该G_i表示第i个参照地图特征对应的感知特征在道路图像中的感知位置信息，N表示参照地图特征的个数。

在一种实现方式中，上述从感知特征中，确定出每一参照地图特征对应的感知特征的过程，可以是：基于每一参照地图特征的类别以及每一感知特征的类别，确定出每一参照地图特征对应的感知特征。

应用本发明实施例，可以基于当前时刻的预估位姿信息从电子导航地图中，确定出参照地图区域，并确定出其中的参照地图特征，即先基于预估位姿信息，确定出在当前时刻待定位车辆基于所处位置可能在电子导航地图中观测到的参照地图特征，从道路图像中检测出的感知特征中，确定出每一参照地图特征对应的感知特征，进而，利用包含每一地图特征的高程信息的电子导航地图，即可以更好的表征出电子导航地图对应的场景中各特征的真实的位置的电子导航地图中参照地图特征的位置信息和高程信息，以及预估位姿信息以及参照地图特征对应的感知特征在道路图像中的感知位置信息，可以更准确地确定出待定位车辆的当前位姿信息，以实现提高在路面不平的道路中行驶和/或车辆倾斜行驶的情况下，车辆定位结果的准确性。

在一种情况中，该电子导航地图对应的场景可以包括路面不平的道路，如图2A所示，道路可能是中间高两侧地的路面。或者，该电子导航地图对应的场景可以包括坡度不同的道路，如图2B所示，道路可能被分成两段子道路，其中一段为平行于基准面的子道路，一段为与基准面存在夹角的子道路。在待定位车辆在该类场景中行驶中，基于本发明实施例所提供的基于图像的车辆定位流程，对待定位车辆进行定位，可以提高定位结果的准确性和精度。或者，待定位车辆在道路中倾斜行驶时，基于本发明实施例所提供的基于图像的车辆定位流程，对待定位车辆进行定位，可以提高定位结果的准确性和精度。其中，图2A和图2B中的矩形框表示待定位车辆。

在本发明的另一实施例中，如图3所示，所述S105：

S301：基于参照地图特征在电子导航地图中的位置信息和高程信息以及预估位姿信息的当前取值，确定参照地图特征在道路图像中的投影位置信息；

S302：计算参照地图特征在道路图像中的投影位置信息，以及每一参照地图特征对应的感知特征在道路图像中的感知位置信息之间的距离误差；

S303：判断距离误差是否不大于预设距离阈值；

S304：若判断距离误差不大于预设距离阈值，根据预估位姿信息的当前取值，确定待定位车辆的当前位姿信息；

S305：若判断距离误差大于预设距离阈值，调整预估位姿信息的当前取值，并执行S301。

本实施例中，包含每一地图特征的位置信息和高程信息的电子导航地图，可以更好的表征出电子导航地图对应的场景中各特征的真实的位置，本发明实施例，为了更好的利用电子导航地图所包含更好的表征出电子导航地图对应场景中各特征的真实位置的每一地图特征的位置信息和高程信息，可以将电子导航地图中每一参照地图特征，投影至道路图像中，即基于参照地图特征在电子导航地图中的位置信息和高程信息以及预估位姿信息的当前取值，确定参照地图特征在道路图像中的投影位置信息；进而，从道路图像中的感知特征中，确定出每一参照地图特征对应的感知特征，计算每一参照地图特征在道路图像中的投影位置信息与每一参照地图对应的感知特征在道路图像中的感知位置信息之间的距离误差；将该距离误差与预设距离阈值比较，判断距离误差是否不大于预设距离阈值；若判断距离误差不大于预设距离阈值，根据预估位姿信息的当前取值，确定待定位车辆的当前位姿信息；若判断距离误差大于预设距离阈值，调整预估位姿信息的当前取值。

上述基于参照地图特征在电子导航地图中的位置信息和高程信息以及预估位姿信息的当前取值，确定参照地图特征在道路图像中的投影位置信息的过程，可以是基于参照地图特征在电子导航地图中的位置信息和高程信息以及预估位姿信息的当前取值，确定参照地图特征在图像采集设备的设备坐标系下的设备位置信息，进而，基于图像采集设备对应的预设投影矩阵，将参照地图特征在图像采集设备的设备坐标系下的设备位置信息，转换至图像坐标系下，得到参照地图特征在道路图像中的投影位置信息。其中，基于参照地图特征在电子导航地图中的位置信息和高程信息以及预估位姿信息的当前取值，确定参照地图特征在图像采集设备的设备坐标系下的设备位置信息的过程，可以通过如下公式(2)表示：

其中，

表示第i个参照地图特征在图像采集设备的设备坐标系下的设备位置信息；

表示第i个参照地图特征在电子导航地图中的位置信息和高程信息，统称为地图位置信息；

表示设备坐标系到待定位车辆的当前的车体坐标系的旋转矩阵；

表示当前的车体坐标系到地图坐标系的旋转矩阵；

表示当前的车体坐标系到地图坐标系的平移矩阵；

表示设备坐标系到当前的车体坐标系的平移矩阵。当前的车体坐标系可以通过待定位车辆在当前时刻的预估位姿信息确定。上述

和

可以是预先标定所得的。

在本发明的另一实施例中，该道路图像可以包括：前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像；

所述S103，可以包括：

分别对前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像进行检测，确定出前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像中的感知特征；

所述S105，可以包括：

基于预估位姿信息，分别从前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像中的感知特征中，确定出每一参照地图特征对应的感知特征；

基于参照地图特征在电子导航地图中的位置信息和高程信息、预估位姿信息以及每一参照地图特征对应的感知特征在前向道路图像、后向道路图像、左侧道路图像或右侧道路图像中的感知位置信息，确定待定位车辆的当前位姿信息。

其中，前向道路图像可以是：图像采集设备中设置于待定位车辆的前车窗的图像采集设备采集的图像；后向道路图像可以是：图像采集设备中设置于待定位车辆的后车窗的图像采集设备采集的图像；左侧道路图像可以是：图像采集设备中设置于待定位车辆的左侧的图像采集设备采集的图像；右侧道路图像可以是：图像采集设备中设置于待定位车辆的右侧的图像采集设备采集的图像。

本发明实施例中，鉴于电子导航地图中包括地图特征的高程信息和位置信息，为了保证定位结果的准确性，本发明实施例，电子设备分别对前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像进行检测，确定出前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像中的感知特征。并分别从前向道路图像中的感知特征、后向道路图像中的感知特征、左侧道路图像中的感知特征以及右侧道路图像中的感知特征中，基于预估位姿信息，确定出每一参照地图特征对应的感知信息。

可以理解的是，在待定位车辆的位姿固定，其图像采集设备对应的可视范围的方向确定，为了在一定程度上节省计算负担，可以基于预估位姿信息，对参照地图特征进行分类，确定参照地图特征对应于前向道路图像、后向道路图像、左侧道路图像或右侧道路图像；进而，基于该分类结果，从前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像分别确定出参照地图特征对应的感知特征。

在一种实现方式中，电子设备可以直接分别从前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像中的感知特征中，确定出每一参照地图特征对应的感知特征，即将每一参照地图特征，与前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像中的感知特征分别进行匹配，以确定出每一参照地图特征对应的感知特征。这也是可以的。

进而，可以将每一参照地图特征，投影至该参照地图特征对应的感知特征所在的道路图像即前向道路图像、后向道路图像、左侧道路图像或右侧道路图像中，以基于参照地图特征在电子导航地图中的位置信息和高程信息以及预估位姿信息，确定出参照地图特征在其对应的感知特征所在道路图像中的投影位置信息，基于该参照地图特征在其对应的感知特征所在道路图像中的投影位置信息以及其对应的感知特征在道路图像中感知位置信息，确定待定位车辆的当前位姿信息。

在本发明的另一实施例中，在所述S105之后，所述方法还可以包括：

发送当前位姿信息至显示设备，以使显示设备基于当前位姿信息在电子导航地图中显示待定位车辆对应的车辆模型。

本实施例中，电子设备在确定出当前位姿信息之后，可以将当前位姿信息发送至显示设备，以可以在显示设备显示的电子导航地图中，基于当前位姿信息对应的位置处显示相应的待定位车辆对应的车辆模型，使得驾驶员或交通监控人员可以查看待定位车辆的具体的行驶情况。该显示设备可以设置于待定位车辆中，也可以不设置于待定位车辆中，这都是可以的。

在一种实现方式中，显示设备显示的显示地图对应的坐标系，与待定位车辆定位流程对应的坐标系存在不同。本发明实施例中，电子设备可以基于预先标定好的显示地图对应的坐标系各位置与定位车辆定位流程对应的坐标系各位置之间的转换关系，将当前位姿信息从待定位车辆定位流程对应的坐标系，转换至显示地图对应的坐标系，得到转换后的当前位姿信息，进而，将转换后的当前位姿信息发送至显示设备，以可以在显示设备显示的显示地图中，基于转换后的当前位姿信息对应的位置处显示相应的待定位车辆对应的车辆模型。

相应于上述方法实施例，本发明实施例提供了一种基于图像的车辆定位装置，如图4所示，可以包括：

第一获得模块410，被配置为获得待定位车辆的图像采集设备在当前时刻采集的道路图像；

第二获得模块420，被配置为获得所述待定位车辆在所述当前时刻的预估位姿信息，其中，所述预估位姿信息为：基于所述当前时刻的前一时刻的所述待定位车辆的前一位姿信息确定的位姿信息；

第一确定模块430，被配置为对所述道路图像进行检测，确定出所述道路图像中的感知特征；

第二确定模块440，被配置为从电子导航地图中，确定出所述预估位姿信息对应的参照地图区域中的参照地图特征，其中，所述电子导航地图包括：各地图特征及其在电子导航地图中的位置信息和高程信息；

第三确定模块450，被配置为基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息。

应用本发明实施例，可以基于当前时刻的预估位姿信息从电子导航地图中，确定出参照地图区域，并确定出其中的参照地图特征，即先基于预估位姿信息，确定出在当前时刻待定位车辆基于所处位置可能在电子导航地图中观测到的参照地图特征，从道路图像中检测出的感知特征中，确定出每一参照地图特征对应的感知特征，进而，利用包含每一地图特征的高程信息的电子导航地图，即可以更好的表征出电子导航地图对应的场景中各特征的真实的位置的电子导航地图中参照地图特征的位置信息和高程信息，以及预估位姿信息以及参照地图特征对应的感知特征在道路图像中的感知位置信息，可以更准确地确定出待定位车辆的当前位姿信息，以实现提高在路面不平的道路中行驶和/或车辆倾斜行驶的情况下，车辆定位结果的准确性。

在本发明的另一实施例中，所述第三确定模块450，被具体配置为基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息以及所述预估位姿信息的当前取值，确定所述参照地图特征在所述道路图像中的投影位置信息；

计算所述参照地图特征在所述道路图像中的投影位置信息，以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息之间的距离误差；

判断所述距离误差是否不大于预设距离阈值；

若判断所述距离误差不大于所述预设距离阈值，根据所述预估位姿信息的当前取值，确定所述待定位车辆的当前位姿信息；

若判断所述距离误差大于所述预设距离阈值，调整所述预估位姿信息的当前取值，并执行所述基于所述参照地图特征在所述电子导航地图中的三维位置信息以及所述预估位姿信息的当前取值，确定所述参照地图特征在所述道路图像中的投影位置信息的步骤。

在本发明的另一实施例中，所述道路图像包括：前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像；

所述第一确定模块430，被具体配置为分别对所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像进行检测，确定出所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像中的感知特征；

所述第三确定模块450，被具体配置为基于所述预估位姿信息，分别从所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像中的感知特征中，确定出每一参照地图特征对应的感知特征；

基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述前向道路图像、所述后向道路图像、所述左侧道路图像或所述右侧道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息。

在本发明的另一实施例中，所述第二获得模块，被具体配置为获得所述待定位车辆在所述当前时刻的前一时刻的前一位姿信息；

获得所述待定位车辆的定位辅助设备在所述当前时刻采集的定位辅助数据；

基于所述前一位姿信息以及所述定位辅助数据，确定所述待定位车辆在所述当前时刻的预估位姿信息。

在本发明的另一实施例中，所述装置还包括：

发送模块(图中未示出)，被配置为在所述基于所述参照地图特征在所述电子导航地图中的三维位置信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息之后，发送所述当前位姿信息至显示设备，以使所述显示设备基于所述当前位姿信息在所述电子导航地图中显示所述待定位车辆对应的车辆模型。

上述装置、系统实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像的车辆定位方法，其特征在于，包括：

获得待定位车辆的图像采集设备在当前时刻采集的道路图像；

获得所述待定位车辆在所述当前时刻的预估位姿信息，其中，所述预估位姿信息为：基于所述当前时刻的前一时刻的所述待定位车辆的前一位姿信息确定的位姿信息；

对所述道路图像进行检测，确定出所述道路图像中的感知特征；

从电子导航地图中，确定出所述预估位姿信息对应的参照地图区域中的参照地图特征，其中，所述电子导航地图包括：各地图特征及其在电子导航地图中的位置信息和高程信息；

基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息。

2.如权利要求1所述的方法，其特征在于，所述基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息的步骤，包括：

基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息以及所述预估位姿信息的当前取值，确定所述参照地图特征在所述道路图像中的投影位置信息；

计算所述参照地图特征在所述道路图像中的投影位置信息，以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息之间的距离误差；

判断所述距离误差是否不大于预设距离阈值；

若判断所述距离误差不大于所述预设距离阈值，根据所述预估位姿信息的当前取值，确定所述待定位车辆的当前位姿信息；

若判断所述距离误差大于所述预设距离阈值，调整所述预估位姿信息的当前取值，并执行所述基于所述参照地图特征在所述电子导航地图中的三维位置信息以及所述预估位姿信息的当前取值，确定所述参照地图特征在所述道路图像中的投影位置信息的步骤。

3.如权利要求1所述的方法，其特征在于，所述道路图像包括：前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像；

所述对所述道路图像进行检测，确定出所述道路图像中的感知特征的步骤，包括：

分别对所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像进行检测，确定出所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像中的感知特征；

所述基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息的步骤，包括：

基于所述预估位姿信息，分别从所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像中的感知特征中，确定出每一参照地图特征对应的感知特征；

基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述前向道路图像、所述后向道路图像、所述左侧道路图像或所述右侧道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息。

4.如权利要求1-3任一项所述的方法，其特征在于，所述获得所述待定位车辆在所述当前时刻的预估位姿信息的步骤，包括：

获得所述待定位车辆在所述当前时刻的前一时刻的前一位姿信息；

获得所述待定位车辆的定位辅助设备在所述当前时刻采集的定位辅助数据；

基于所述前一位姿信息以及所述定位辅助数据，确定所述待定位车辆在所述当前时刻的预估位姿信息。

5.如权利要求1-4任一项所述的方法，其特征在于，在所述基于所述参照地图特征在所述电子导航地图中的三维位置信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息的步骤之后，所述方法还包括：

发送所述当前位姿信息至显示设备，以使所述显示设备基于所述当前位姿信息在所述电子导航地图中显示所述待定位车辆对应的车辆模型。

6.一种基于图像的车辆定位装置，其特征在于，所述装置包括：

第一获得模块，被配置为获得待定位车辆的图像采集设备在当前时刻采集的道路图像；

第二获得模块，被配置为获得所述待定位车辆在所述当前时刻的预估位姿信息，其中，所述预估位姿信息为：基于所述当前时刻的前一时刻的所述待定位车辆的前一位姿信息确定的位姿信息；

第一确定模块，被配置为对所述道路图像进行检测，确定出所述道路图像中的感知特征；

第二确定模块，被配置为从电子导航地图中，确定出所述预估位姿信息对应的参照地图区域中的参照地图特征，其中，所述电子导航地图包括：各地图特征及其在电子导航地图中的位置信息和高程信息；

第三确定模块，被配置为基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息。

7.如权利要求6所述的装置，其特征在于，所述第三确定模块，被具体配置为基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息以及所述预估位姿信息的当前取值，确定所述参照地图特征在所述道路图像中的投影位置信息；

计算所述参照地图特征在所述道路图像中的投影位置信息，以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息之间的距离误差；

判断所述距离误差是否不大于预设距离阈值；

若判断所述距离误差不大于所述预设距离阈值，根据所述预估位姿信息的当前取值，确定所述待定位车辆的当前位姿信息；

若判断所述距离误差大于所述预设距离阈值，调整所述预估位姿信息的当前取值，并执行所述基于所述参照地图特征在所述电子导航地图中的三维位置信息以及所述预估位姿信息的当前取值，确定所述参照地图特征在所述道路图像中的投影位置信息的步骤。

8.如权利要求6所述的装置，其特征在于，所述道路图像包括：前向道路图像、后向道路图像、左侧道路图像以及右侧道路图像；

所述第一确定模块，被具体配置为分别对所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像进行检测，确定出所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像中的感知特征；

所述第三确定模块，被具体配置为基于所述预估位姿信息，分别从所述前向道路图像、所述后向道路图像、所述左侧道路图像以及所述右侧道路图像中的感知特征中，确定出每一参照地图特征对应的感知特征；

基于所述参照地图特征在所述电子导航地图中的位置信息和高程信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述前向道路图像、所述后向道路图像、所述左侧道路图像或所述右侧道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息。

9.如权利要求6-8任一项所述的装置，其特征在于，所述第二获得模块，被具体配置为获得所述待定位车辆在所述当前时刻的前一时刻的前一位姿信息；

获得所述待定位车辆的定位辅助设备在所述当前时刻采集的定位辅助数据；

基于所述前一位姿信息以及所述定位辅助数据，确定所述待定位车辆在所述当前时刻的预估位姿信息。

10.如权利要求6-9任一项所述的装置，其特征在于，所述装置还包括：

发送模块，被配置为在所述基于所述参照地图特征在所述电子导航地图中的三维位置信息、所述预估位姿信息以及每一参照地图特征对应的感知特征在所述道路图像中的感知位置信息，确定所述待定位车辆的当前位姿信息之后，发送所述当前位姿信息至显示设备，以使所述显示设备基于所述当前位姿信息在所述电子导航地图中显示所述待定位车辆对应的车辆模型。

Images