CN112307810A - 一种视觉定位效果自检方法及车载终端 - Google Patents

Abstract

本发明实施例公开一种视觉定位效果自检方法及车载终端。该方法包括：在根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿时，获取所述预设地图中与所述第一道路特征匹配成功的第二道路特征；确定所述第一道路特征与所述第二道路特征之间的第一映射误差；从所述预设地图包含的多个不同地图区域中，确定所述第一定位位姿所在的目标地图区域；根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述第一映射误差对应的第一定位误差，作为所述第一定位位姿的定位精度。应用本发明实施例提供的方案，能够实现对视觉定位效果的评估。

Description

一种视觉定位效果自检方法及车载终端

技术领域

本发明涉及智能驾驶技术领域，具体而言，涉及一种视觉定位效果自检方法及车载终端。

背景技术

在智能驾驶技术领域中，对车辆进行定位是智能驾驶中的重要环节。通常，当车辆在户外行驶时，可以根据全球导航卫星系统(Global Navigation Satellite System，GNSS)和惯性测量单元(Inertial Measurement Unit，IMU)采集的数据，经过综合定位后确定车辆精确的定位位姿。当车辆行驶至卫星定位信号较弱或无信号的停车场中时，为了精确地确定车辆的定位位姿，可以采用视觉定位与IMU结合的方式。

其中，在采用视觉定位时，通常可以预先建立高精度地图与停车场中的道路特征之间的对应关系，当相机模块采集到道路图像时，将道路图像中的道路特征与高精度地图中的道路特征进行匹配，根据匹配结果确定车辆在视觉定位方面的定位位姿。通过将视觉定位与IMU推测的轨迹进行结合，能够得到车辆更精确的定位位姿。但是，在实际应用中，道路图像中的道路特征被遮挡或者设备出现故障等原因，均可能会导致视觉定位的定位结果非常不准确。因此，亟待一种对视觉定位效果自检的方法。

发明内容

本发明提供了一种视觉定位效果自检方法及车载终端，以实现对视觉定位效果的评估。具体的技术方案如下。

第一方面，本发明实施例提供了一种视觉定位效果自检方法，包括：

在根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿时，获取所述预设地图中与所述第一道路特征匹配成功的第二道路特征；

确定所述第一道路特征与所述第二道路特征之间的第一映射误差；

从所述预设地图包含的多个不同地图区域中，确定所述第一定位位姿所在的目标地图区域；

根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述第一映射误差对应的第一定位误差，作为所述第一定位位姿的定位精度。

可选的，所述根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述第一映射误差对应的第一定位误差的步骤，包括：

将所述第一映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g₀，求解得到多个定位误差(Δx,Δy)：

g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀

其中，所述a₀、b₀、c₀、d₀、e₀、f₀为预先确定的函数系数；

将求解得到的多个定位误差中的最大值确定为与所述第一映射误差对应的第一定位误差r：

其中，

且

C＝2(a₀e₀ ²+c₀d₀ ²+(f₀-cost)b₀ ²-2b₀d₀e₀-a₀c₀(f₀-cost))。

可选的，采用以下方式建立目标地图区域中映射误差与定位误差之间的对应关系：

获取在所述目标地图区域中采集的样本道路图像和对应的样本道路特征，以及所述样本道路图像对应的所述车辆的标准定位位姿，获取所述预设地图中与所述样本道路特征匹配成功的第三道路特征；

对所述标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿；

根据所述样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差；

基于预先设定的所述目标地图区域中的与定位误差相关的映射误差函数，求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到所述目标地图区域中映射误差与定位误差之间的函数关系。

可选的，所述求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数的步骤，包括：

求解以下最小值函数

得到a₀、b₀、c₀、d₀、e₀和f₀，将求解得到的所述a₀、b₀、c₀、d₀、e₀和f₀代入g后的函数作为映射误差函数；

其中，所述映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f；所述p_gt为所述标准定位位姿，所述扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，所述Ω为所述目标地图区域，所述I_seg为所述样本道路特征，所述I_map为所述第三道路特征；所述MapMatching(p_gt+Δp,I_seg,I_map)为多个扰动定位位姿p_gt+Δp对应的扰动映射误差。

可选的，在确定所述第一定位位姿所在的目标地图区域之后，所述方法还包括：

根据预先确定的各个地图区域对应的道路特征平均量，确定所述目标地图区域对应的目标道路特征平均量；

根据所述第一道路特征在所述道路图像中占据的比例，确定所述道路图像对应的识别道路特征量；

根据所述识别道路特征量与所述目标道路特征平均量之间的大小关系，确定针对所述第一定位位姿的定位质量。

可选的，所述方法还包括：

获取连续的预设数量个道路图像帧对应的定位质量和定位精度；

当所述预设数量个道路图像帧对应的定位质量小于预设定位质量，并且所述预设数量个道路图像帧对应的定位精度小于预设定位精度时，确定基于道路图像的视觉定位失效。

可选的，所述根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿的步骤，包括：

确定所述车辆的估计位姿；

基于所述车辆的估计位姿，确定所述第一道路特征与所述第二道路特征之间的参考映射误差；

当所述参考映射误差大于预设误差阈值时，调整所述车辆的估计位姿，并执行所述基于所述车辆的估计位姿，确定所述第一道路特征与所述第二道路特征之间的参考映射误差的步骤；

当所述参考映射误差不大于所述预设误差阈值时，根据所述车辆的当前估计位姿确定所述车辆的第一定位位姿。

可选的，所述确定所述第一道路特征与所述第二道路特征之间的第一映射误差的步骤，包括：

根据所述第一定位位姿，以及所述第一道路特征在所述道路图像中的位置，计算所述第一道路特征映射至所述预设地图中的第一映射位置；计算所述第一映射位置与所述第二道路特征在所述预设地图中的位置之间的误差，得到第一映射误差；或者，

根据所述第一定位位姿，以及所述第二道路特征在所述预设地图中的位置，计算所述第二道路特征映射至所述道路图像所在坐标系中的第二映射位置；计算所述第一道路特征在所述道路图像中的位置与所述第二映射位置之间的误差，得到第一映射误差。

第二方面，本发明实施例提供了一种车载终端，包括：处理器和图像采集设备；所述处理器包括：特征获取模块、映射确定模块、区域确定模块和精度确定模块；

所述图像采集设备，用于采集道路图像；

所述特征获取模块，用于在根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿时，获取所述预设地图中与所述第一道路特征匹配成功的第二道路特征；

所述映射确定模块，用于确定所述第一道路特征与所述第二道路特征之间的第一映射误差；

所述区域确定模块，用于从所述预设地图包含的多个不同地图区域中，确定所述第一定位位姿所在的目标地图区域；

所述精度确定模块，用于根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述第一映射误差对应的第一定位误差，作为所述第一定位位姿的定位精度。

可选的，所述精度确定模块，具体用于：

将所述第一映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g₀，求解得到多个定位误差(Δx,Δy)：

g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀

其中，所述a₀、b₀、c₀、d₀、e₀、f₀为预先确定的函数系数；

将求解得到的多个定位误差中的最大值确定为与所述第一映射误差对应的第一定位误差r：

其中，

且

C＝2(a₀e₀ ²+c₀d₀ ²+(f₀-cost)b₀ ²-2b₀d₀e₀-a₀c₀(f₀-cost))。

可选的，所述处理器还包括：关系建立模块；所述关系建立模块，用于采用以下操作建立目标地图区域中映射误差与定位误差之间的对应关系：

获取在所述目标地图区域中采集的样本道路图像和对应的样本道路特征，以及所述样本道路图像对应的所述车辆的标准定位位姿，获取所述预设地图中与所述样本道路特征匹配成功的第三道路特征；

对所述标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿；

根据所述样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差；

基于预先设定的所述目标地图区域中的与定位误差相关的映射误差函数，求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到所述目标地图区域中映射误差与定位误差之间的函数关系。

可选的，所述关系建立模块，求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数时，包括：

求解以下最小值函数

得到a₀、b₀、c₀、d₀、e₀和f₀，将求解得到的所述a₀、b₀、c₀、d₀、e₀和f₀代入g后的函数作为映射误差函数；

其中，所述映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f；所述p_gt为所述标准定位位姿，所述扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，所述Ω为所述目标地图区域，所述I_seg为所述样本道路特征，所述I_map为所述第三道路特征；所述MapMatching(p_gt+Δp,I_seg,I_map)为多个扰动定位位姿p_gt+Δp对应的扰动映射误差。

可选的，所述处理器还包括：

平均量确定模块，用于在确定所述第一定位位姿所在的目标地图区域之后，根据预先确定的各个地图区域对应的道路特征平均量，确定所述目标地图区域对应的目标道路特征平均量；

识别量确定模块，用于根据所述第一道路特征在所述道路图像中占据的比例，确定所述道路图像对应的识别道路特征量；

质量确定模块，用于根据所述识别道路特征量与所述目标道路特征平均量之间的大小关系，确定针对所述第一定位位姿的定位质量。

可选的，所述处理器还包括：

失效确定模块，用于获取连续的预设数量个道路图像帧对应的定位质量和定位精度；当所述预设数量个道路图像帧对应的定位质量小于预设定位质量，并且所述预设数量个道路图像帧对应的定位精度小于预设定位精度时，确定基于道路图像的视觉定位失效。

可选的，所述处理器还包括：视觉定位模块，用于根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿；

所述视觉定位模块，具体用于：

确定所述车辆的估计位姿；

基于所述车辆的估计位姿，确定所述第一道路特征与所述第二道路特征之间的参考映射误差；

当所述参考映射误差大于预设误差阈值时，调整所述车辆的估计位姿，并执行所述基于所述车辆的估计位姿，确定所述第一道路特征与所述第二道路特征之间的参考映射误差的步骤；

当所述参考映射误差不大于所述预设误差阈值时，根据所述车辆的当前估计位姿确定所述车辆的第一定位位姿。

可选的，所述映射确定模块，具体用于：

根据所述第一定位位姿，以及所述第一道路特征在所述道路图像中的位置，计算所述第一道路特征映射至所述预设地图中的第一映射位置；计算所述第一映射位置与所述第二道路特征在所述预设地图中的位置之间的误差，得到第一映射误差；或者，

根据所述第一定位位姿，以及所述第二道路特征在所述预设地图中的位置，计算所述第二道路特征映射至所述道路图像所在坐标系中的第二映射位置；计算所述第一道路特征在所述道路图像中的位置与所述第二映射位置之间的误差，得到第一映射误差。

由上述内容可知，本发明实施例提供的视觉定位效果自检方法及车载终端，可以在基于视觉定位得到车辆的第一定位位姿时，确定道路图像中的道路特征与预设地图中的道路特征之间的第一映射误差，并确定第一定位位姿所在的目标地图区域，根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定第一映射误差对应的定位误差。本发明实施例能够根据视觉定位中的映射误差，确定定位误差即定位精度，能够实现对视觉定位效果的自检。

本发明实施例的创新点包括：

1、预先建立不同地图区域中道路特征的映射误差与定位误差之间的对应关系，当车辆在基于视觉进行定位时，可以根据映射误差和该对应关系确定定位误差，提供了一种可实施方式。

2、在建立映射误差与定位误差之间的对应关系时，首先得到一个图像帧对应的样本道路特征和预设地图中匹配成功的道路特征，以及该图像帧对应的标准定位位姿，在该标准定位位姿的基础上增加多个扰动量，基于建立的残差函数，求解得到该地图区域中的对应关系。这样能够更快速地建立不同地图区域中的对应关系，也为确定车辆的定位误差提供了可实施的方式。

3、根据道路图像中的道路特征与该目标地图区域对应的道路特征平均量之间的大小关系，能够评估道路图像中道路特征的质量，例如评估道路图像中是否有遮挡或者设备是否存在故障等异常情况，进而能够评估定位质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的视觉定位效果自检方法的一种流程示意图；

图2为本发明实施例提供的建立映射误差与定位误差之间的对应关系的一种流程示意图；

图3为本发明实施例提供的车载终端的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

当车辆行驶至卫星定位信号较弱或无信号的停车场或其他场所中时，为了精确地确定车辆的定位位姿，可以采用视觉定位的方式，或者视觉定位与其他传感器数据定位相结合的方式。视觉定位的应用场景可以是在停车场中，也可以是在其他场所中，本发明对此不作限定。其中，停车场可以为室内停车场或地下车库，本发明实施例以视觉定位应用在停车场内为例进行说明。

本发明实施例公开了一种视觉定位效果自检方法及车载终端，能够实现对视觉定位效果的评估。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的视觉定位效果自检方法的一种流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器或者智能终端设备等，也可以为车载电脑或车载工业控制计算机(Industrial personalComputer，IPC)等车载终端。该方法具体包括以下步骤。

步骤S110：在根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿时，获取预设地图中与第一道路特征匹配成功的第二道路特征。

其中，道路图像可以为设置在车辆中的相机模块采集的图像。道路图像包含车辆行驶时周围的道路特征和背景部分。道路特征包括但不限于道路上的车道线、路灯杆、交通牌、边缘线、停止线、红绿灯和地面的其他标识。边缘线包括但不限于车道边缘线和泊车位边缘线。

预设地图可以为预先建立的高精度地图。该预设地图中可以包括各个位置点的道路特征。预设地图中的位置点可以二维坐标点或三维坐标点表示。

本实施例的一种应用场景为，当车辆在行驶过程中，在获取到相机模块采集道路图像后，从道路图像中检测得到第一道路特征，并将所述第一道路图像与预设地图中的道路图像进行匹配，将预设地图中匹配成功的道路特征作为第二道路特征，根据第一道路特征和第二道路特征可以确定当前时刻车辆的定位位姿，作为第一定位位姿。

上述道路图像可以为相机模块采集的多个道路图像帧中的一个。定位位姿包括预设地图中的位置点坐标和车辆朝向角等信息。

本实施例的执行时机，可以是在视觉定位过程中，每次更新第一定位位姿时都执行本实施例提供的自检方法，也可以是在其他时候，比如在一段较长时间后再执行本实施例的自检方法。

步骤S120：确定第一道路特征与第二道路特征之间的第一映射误差。

其中，第一道路特征为道路图像中的道路特征，采用的是道路图像中的位置表示。第二道路特征为预设地图中的道路特征，采用的是预设地图所在坐标系中的坐标来表示。

在确定第一映射误差时，可以将第一道路特征和第二道路特征映射到同一坐标系中后确定映射误差。本步骤具体可以包括以下实施方式：

实施方式一，根据第一定位位姿，以及第一道路特征在道路图像中的位置，计算第一道路特征映射至预设地图中的第一映射位置；计算第一映射位置与第二道路特征在预设地图中的位置之间的误差，得到第一映射误差。

在本实施方式中，通过将第一道路特征映射到预设地图所在的坐标系中，对第一道路特征与第二道路特征的位置进行对比，得到第一映射误差。

根据第一定位位姿，以及第一道路特征在道路图像中的位置，计算第一道路特征映射至预设地图中的第一映射位置时，具体可以根据图像坐标系与世界坐标系之间的转换关系，以及第一定位位姿，将第一道路特征在道路图像中的位置转换至世界坐标系中，得到第一映射位置。其中，图像坐标系为道路图像所在的坐标系，世界坐标系为预设地图所在的坐标系。图像坐标系与世界坐标系之间的转换关系，可以通过图像坐标系与相机坐标系之间的内参矩阵，以及相机坐标系与世界坐标系之间的旋转矩阵和平移矩阵得到。

实施方式二，根据第一定位位姿，以及第二道路特征在预设地图中的位置，计算第二道路特征映射至道路图像所在坐标系中的第二映射位置；计算第一道路特征在道路图像中的位置与第二映射位置之间的误差，得到第一映射误差。

在本实施方式中，通过将第二道路特征映射到道路图像所在的坐标系中，对第一道路特征与第二道路特征的位置进行对比，得到第一映射误差。

根据第一定位位姿，以及第二道路特征在预设地图中的位置，计算第二道路特征映射至道路图像所在坐标系中的第二映射位置时，可以根据图像坐标系与世界坐标系之间的转换关系，以及第一定位位姿，将第二道路特征在预设地图中的位置转换至图像坐标系中，得到第二映射位置。

上述两种实施方式对应两种不同的映射方式，在实际应用中可以择一使用。

步骤S130：从预设地图包含的多个不同地图区域中，确定第一定位位姿所在的目标地图区域。

本实施例中，可以预先根据预设地图包含的道路特征，将预设地图划分成多个不同地图区域，每个地图区域中的道路特征之间具有关联性或者位置相近性。地图区域可以为圆形区域、矩形区域或其他区域形状。

在确定目标地图区域时，具体可以将第一定位位姿中的位置坐标所在的地图区域确定为目标地图区域。

步骤S140：根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定第一映射误差对应的第一定位误差，作为第一定位位姿的定位精度。

本实施例中，可以预先建立各个不同地图区域中映射误差与定位误差之间的对应关系，从各个不同地图区域中映射误差与定位误差之间的对应关系中，确定目标地图区域中映射误差与定位误差之间的对应关系。

其中，映射误差与定位误差之间的对应关系可以采用以定位误差为变量的映射误差函数表示。在确定第一映射误差对应的第一定位误差时，可以将第一映射误差代入映射误差函数，得到第一映射误差对应的第一定位误差。

定位误差可以理解为当前的定位位姿与真实的定位位姿之间的差值，也可以表示定位位姿的精度。例如定位误差可以为5cm、10cm等。定位误差越大，定位精度越小，定位误差越小，定位精度越大。

步骤S120中确定第一映射误差时采用的映射方式，应与在建立映射误差与定位误差之间的对应关系时采用相同的映射方式。

由上述内容可知，本实施例可以在基于视觉定位得到车辆的第一定位位姿时，确定道路图像中的道路特征与预设地图中的道路特征之间的第一映射误差，并确定第一定位位姿所在的目标地图区域，根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定第一映射误差对应的定位误差。本实施例能够根据视觉定位中的映射误差，确定定位误差即定位精度，能够实现对视觉定位效果的自检。

在本发明的另一实施例中，基于图1所示实施例，步骤S140，根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定第一映射误差对应的第一定位误差的步骤，可以包括：

将第一映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g₀，求解得到多个定位误差(Δx,Δy)：

g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀

其中，a₀、b₀、c₀、d₀、e₀、f₀为预先确定的函数系数；

将求解得到的多个定位误差中的最大值确定为与第一映射误差对应的第一定位误差r：

其中，

且

C＝2(a₀e₀ ²+c₀d₀ ²+(f₀-cost)b₀ ²-2b₀d₀e₀-a₀c₀(f₀-cost))。

本实施例中，不同地图区域对应的映射误差函数的表达形式不同，具体可以是函数系数不同。上述映射误差函数g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀为抛物面，第一映射误差cost可以理解为平面，将第一映射误差cost代入映射误差函数g₀，即是求抛物面与平面的交点。根据数学知识可知，该交点为椭圆，椭圆上的点都是求解得到的定位误差(Δx,Δy)。而求解得到的多个定位误差中的最大值即为椭圆的长轴和短轴(x_err和y_err)。

综上，本实施例提供了根据映射误差函数确定第一映射误差对应的第一定位误差的具体实施方式，本方法在实际应用中更易于实施。

在本发明的另一实施例中，基于图1所示实施例中，可以采用以下步骤S210～S240建立目标地图区域中映射误差与定位误差之间的对应关系，参见图2所示。

步骤S210：获取在目标地图区域中采集的样本道路图像和对应的样本道路特征，以及样本道路图像对应的车辆的标准定位位姿，获取预设地图中与样本道路特征匹配成功的第三道路特征。

其中，上述标准定位位姿为相机模块采集样本道路图像时确定的车辆的定位位姿，标准定位位姿可以理解为不存在定位误差的定位位姿。

步骤S220：对标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿。

扰动定位位姿可以理解为以标准定位位姿为基准得到的车辆的虚拟定位位姿。

步骤S230：根据样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差。

针对不同的扰动定位位姿，可以根据步骤S120中提到的映射方式，将样本道路特征和第三道路特征映射到同一坐标系中后确定扰动映射误差。本步骤可以包括以下实施方式；

针对每个扰动定位位姿，根据该扰动定位位姿，以及样本道路特征在样本道路图像中的位置，计算样本道路特征映射至预设地图中的第三映射位置，计算第三映射位置与第三道路特征在预设地图中的位置之间的误差，得到扰动映射误差；或者，

针对每个扰动定位位姿，根据该扰动定位位姿，以及第三道路特征在预设地图中的位置，计算第三道路特征映射至样本道路图像所在坐标系中的第四映射位置，计算第四映射位置与样本道路特征在样本道路图像中的位置之间的误差，得到扰动映射误差。

当已知道路图像中的道路特征和预设地图中匹配成功的道路特征，以及对应的定位位姿时，映射误差match_err可以采用以下函数表示：

match_err＝MapMatching(p_pose,I_seg,I_map)

其中，p_pose为定位位姿，I_seg为道路图像中的道路特征，I_map为预设地图中匹配成功的道路特征。

步骤S240：基于预先设定的目标地图区域中的与定位误差相关的映射误差函数，求解映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到目标地图区域中映射误差与定位误差之间的函数关系。

其中，预先设定的目标地图区域中的与定位误差相关的映射误差函数，可以理解为预设的包含未知量的映射误差函数。例如，可以将映射误差函数设置为以下二次曲面形式：

g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f

多个扰动定位位姿对应的扰动映射误差可以采用以下函数表示：

match_err＝MapMatching(p_gt+Δp,I_seg,I_map)

本步骤在具体实施时可以包括：

求解以下最小值函数

得到a₀、b₀、c₀、d₀、e₀和f₀，将求解得到的a₀、b₀、c₀、d₀、e₀和f₀代入g后的函数g₀作为映射误差函数。在标准定位位姿足够精确的情况下，求解得到的g₀应为抛物面。

其中，映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f；p_gt为标准定位位姿，扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，Ω为目标地图区域，I_seg为样本道路特征，I_map为第三道路特征；MapMatching(p_gt+Δp,I_seg,I_map)为多个扰动定位位姿p_gt+Δp对应的扰动映射误差。g(Δx,Δy)-MapMatching(p_gt+Δp,I_seg,I_map)表示映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差。

代表以a,b,c,d,e,f为待求解量的最小值函数。||·||为范数符号。

针对预设地图中的每个地图区域，均可以采用上述方式求解得到对应的映射误差函数g。

综上，本实施例中，在建立映射误差与定位误差之间的对应关系时，首先得到一个图像帧对应的样本道路特征和预设地图中匹配成功的道路特征，以及该图像帧对应的标准定位位姿，在该标准定位位姿的基础上增加多个扰动量，基于建立的残差函数，求解得到该地图区域中的对应关系。这样能够更快速地建立不同地图区域中的对应关系，也为确定车辆的定位误差提供了可实施的方式。

在本发明的另一实施例中，为了能够更准确地评估视觉定位的有效性，基于图1所示实施例，在确定第一定位位姿所在的目标地图区域之后，该方法还可以包括以下步骤1a～3a。

步骤1a：根据预先确定的各个地图区域对应的道路特征平均量，确定目标地图区域对应的目标道路特征平均量。

其中，道路特征平均量可以理解为道路特征在正常道路图像中占据的比例的平均量。

本实施例中，可以预先通过车辆中的相机模块采集地图区域中的多个正常道路图像，并从每个正常道路图像中确定道路特征所占据的正常比例，根据各个正常比例得到该地图区域对应的道路特征平均量。

从正常道路图像中确定道路特征所占据的正常比例，可以包括：将道路特征占有的像素与正常道路图像的总像素的比例，确定为道路特征所占据的正常比例；或者，将道路特征对应的面积与正常道路图像的总面积的比例，确定为道路特征所占据的正常比例。

正常道路图像可以理解为在相机模块的图像采集区域内无其他物体遮挡，且相机模块也不存在故障时采集得到的道路图像。正常道路图像中的道路特征可以理解为理想状态下确定的道路特征。

步骤2a：根据第一道路特征在道路图像中占据的比例，确定道路图像对应的识别道路特征量。

本步骤，可以直接将第一道路特征在道路图像中占据的比例，确定为道路图像对应的识别道路特征量；也可以对第一道路特征在道路图像中占据的比例执行预设处理后的值，确定为道路图像对应的识别道路特征量。

本步骤可以确定第一道路特征在道路图像中占据的比例，具体可以包括：将第一道路特征占有的像素与道路图像的总像素的比例，或者，将第一道路特征对应的面积与道路图像的总面积的比例，确定为第一道路特征在道路图像中占据的比例。

步骤3a：根据识别道路特征量与目标道路特征平均量之间的大小关系，确定针对第一定位位姿的定位质量。

本步骤具体可以包括：判断目标道路特征平均量与识别道路特征量之间的差值是否小于预设特征量差值，如果是，则确定针对第一定位位姿的定位质量为好；如果否，则确定针对第一定位位姿的定位质量为差。

本步骤也可以预先根据目标道路特征平均量设置不同的区间，并设置不同区间对应不同的定位质量数值，可以根据不同区间对应不同的定位质量数值，确定识别道路特征量对应的目标定位质量数值。这种方式能够更精细、更量化定位质量。

当针对第一定位位姿的定位质量较好时，认为当前相机的图像采集区域内无遮挡，图像中的有效信息更多，视觉定位的有效性更好。当针对第一定位位姿的定位质量较差时，认为当前相机的图像采集区域内可能存在遮挡物，或者设备可能存在故障，图像中的有效信息较少，视觉定位的有效性较差。

综上，本实施例中，根据道路图像中的道路特征与该目标地图区域对应的道路特征平均量之间的大小关系，能够评估道路图像中道路特征的质量，例如评估道路图像中是否有遮挡或者设备是否存在故障等异常情况，进而能够评估定位质量，为对视觉定位进行评估提供了更丰富的评价指标。

在本发明的另一实施例中，基于上述实施例，该方法还可以包括：

获取连续的预设数量个道路图像帧对应的定位质量和定位精度；当预设数量个道路图像帧对应的定位质量小于预设定位质量，并且预设数量个道路图像帧对应的定位精度小于预设定位精度时，确定基于道路图像的视觉定位失效。

当预设数量个道路图像帧对应的定位质量不小于预设定位质量，并且预设数量个道路图像帧对应的定位精度不小于预设定位精度时，可以确定基于道路图像的视觉定位效果较好。

综上，本实施例中根据定位质量和定位精度，能够综合判断视觉定位的效果，并且对视觉定位失效进行更准确判断，以便使得设备在视觉定位失效时及时采取有效的应对措施，提高车辆定位的稳定性。

在本发明的另一实施例中，基于图1所示实施例，步骤S110中根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿的步骤，可以包括以下步骤1b～4b。

步骤1b：确定车辆的估计位姿。

确定车辆的估计位姿时，可以根据车辆的上一定位位姿确定该估计位姿。例如，可以直接将上一定位位姿确定为估计位姿，也可以将对上一定位位姿做预设变换后的位姿作为估计位姿。

本实施例中，根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿的步骤，可以按照预设频率实施。

步骤2b：基于车辆的估计位姿，确定第一道路特征与第二道路特征之间的参考映射误差。

本步骤中确定参考映射误差时可以参考步骤S120中提供的两种映射方式中的一种，将第一道路特征与第二道路特征映射至同一坐标系后确定两者之间的参考映射误差。

步骤3b：当参考映射误差大于预设误差阈值时，调整车辆的估计位姿，并执行步骤2b中基于车辆的估计位姿，确定第一道路特征与第二道路特征之间的参考映射误差的步骤。

当参考映射误差大于预设误差阈值时，认为该估计位姿与车辆的真实定位位姿之间还存在较大差距，可以继续进行迭代。

步骤4b：当参考映射误差不大于所述预设误差阈值时，根据车辆的当前估计位姿确定车辆的第一定位位姿。

当参考映射误差不大于所述预设误差阈值时，认为该估计位姿与车辆的真实定位位姿非常接近，定位精度已经达到要求。

综上，本实施例提供了基于道路图像的道路特征与预设地图中的道路特征之间的匹配结果，通过迭代方式确定车辆的定位位姿的方式，能够更准确地确定车辆的定位位姿。

在确定道路图像中的第一道路特征时，可以将道路图像转换至俯视图坐标系下，得到地面图像；对地面图像进行二值化处理，得到处理后图像；根据处理后图像中的信息，确定道路图像的道路特征。

其中，地面图像可以为灰度图像。对地面图像进行二值化处理时，可以采用大津法确定用于区分地面图像前景与背景部分的像素阈值，根据该确定的像素阈值对地面图像进行二值化处理，得到包含前景部分的处理后图像。

根据处理后的图像中的信息确定道路图像的道路特征时，可以直接将处理后的图像作为道路特征，也可以根据处理后图像中各个标志物之间的相对位置信息作为道路特征。

图3为本发明实施例提供的车载终端的一种结构示意图。该车载终端，包括：处理器310和图像采集设备320。其中，处理器310包括：特征获取模块、映射确定模块、区域确定模块和精度确定模块。(图中未示出)

图像采集设备320，用于采集道路图像；

特征获取模块，用于在根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿时，获取预设地图中与第一道路特征匹配成功的第二道路特征；

映射确定模块，用于确定第一道路特征与第二道路特征之间的第一映射误差；

区域确定模块，用于从预设地图包含的多个不同地图区域中，确定第一定位位姿所在的目标地图区域；

精度确定模块，用于根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定第一映射误差对应的第一定位误差，作为第一定位位姿的定位精度。

在本发明的另一实施例中，基于图3所示实施例，精度确定模块，具体用于：

将第一映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g₀，求解得到多个定位误差(Δx,Δy)：

g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀

其中，a₀、b₀、c₀、d₀、e₀、f₀为预先确定的函数系数；

将求解得到的多个定位误差中的最大值确定为与第一映射误差对应的第一定位误差r：

其中，

且

C＝2(a₀e₀ ²+c₀d₀ ²+(f₀-cost)b₀ ²-2b₀d₀e₀-a₀c₀(f₀-cost))。

在本发明的另一实施例中，基于图3所示实施例，处理器310还包括：关系建立模块(图中未示出)；关系建立模块，用于采用以下操作建立目标地图区域中映射误差与定位误差之间的对应关系：

获取在目标地图区域中采集的样本道路图像和对应的样本道路特征，以及样本道路图像对应的车辆的标准定位位姿，获取预设地图中与样本道路特征匹配成功的第三道路特征；

对标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿；

根据样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差；

基于预先设定的目标地图区域中的与定位误差相关的映射误差函数，求解映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到目标地图区域中映射误差与定位误差之间的函数关系。

在本发明的另一实施例中，基于图3所示实施例，关系建立模块，求解映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数时，包括：

求解以下最小值函数

得到a₀、b₀、c₀、d₀、e₀和f₀，将求解得到的a₀、b₀、c₀、d₀、e₀和f₀代入g后的函数作为映射误差函数；

其中，映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f；p_gt为标准定位位姿，扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，Ω为目标地图区域，I_seg为样本道路特征，I_map为第三道路特征；MapMatching(p_gt+Δp,I_seg,I_map)为多个扰动定位位姿p_gt+Δp对应的扰动映射误差。

在本发明的另一实施例中，基于图3所示实施例，处理器310还包括：

平均量确定模块(图中未示出)，用于在确定第一定位位姿所在的目标地图区域之后，根据预先确定的各个地图区域对应的道路特征平均量，确定目标地图区域对应的目标道路特征平均量；

识别量确定模块(图中未示出)，用于根据第一道路特征在道路图像中占据的比例，确定道路图像对应的识别道路特征量；

质量确定模块(图中未示出)，用于根据识别道路特征量与目标道路特征平均量之间的大小关系，确定针对第一定位位姿的定位质量。

在本发明的另一实施例中，基于图3所示实施例，处理器310还包括：

失效确定模块(图中未示出)，用于获取连续的预设数量个道路图像帧对应的定位质量和定位精度；当预设数量个道路图像帧对应的定位质量小于预设定位质量，并且预设数量个道路图像帧对应的定位精度小于预设定位精度时，确定基于道路图像的视觉定位失效。

在本发明的另一实施例中，基于图3所示实施例，处理器310还包括：视觉定位模块(图中未示出)，用于根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿；

视觉定位模块，具体用于：

确定车辆的估计位姿；

基于车辆的估计位姿，确定第一道路特征与第二道路特征之间的参考映射误差；

当参考映射误差大于预设误差阈值时，调整车辆的估计位姿，并执行基于车辆的估计位姿，确定第一道路特征与第二道路特征之间的参考映射误差的步骤；

当参考映射误差不大于预设误差阈值时，根据车辆的当前估计位姿确定车辆的第一定位位姿。

在本发明的另一实施例中，基于图3所示实施例，映射确定模块，具体用于：

根据第一定位位姿，以及第一道路特征在道路图像中的位置，计算第一道路特征映射至预设地图中的第一映射位置；计算第一映射位置与第二道路特征在预设地图中的位置之间的误差，得到第一映射误差；或者，

根据第一定位位姿，以及第二道路特征在预设地图中的位置，计算第二道路特征映射至道路图像所在坐标系中的第二映射位置；计算第一道路特征在道路图像中的位置与第二映射位置之间的误差，得到第一映射误差。

该终端实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述终端实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种视觉定位效果自检方法，其特征在于，包括：

在根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿时，获取所述预设地图中与所述第一道路特征匹配成功的第二道路特征；

确定所述第一道路特征与所述第二道路特征之间的第一映射误差；

从所述预设地图包含的多个不同地图区域中，确定所述第一定位位姿所在的目标地图区域；

根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述第一映射误差对应的第一定位误差，作为所述第一定位位姿的定位精度。

2.如权利要求1所述的方法，其特征在于，所述根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述第一映射误差对应的第一定位误差的步骤，包括：

将所述第一映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g₀，求解得到多个定位误差(Δx,Δy)：

g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀

其中，所述a₀、b₀、c₀、d₀、e₀、f₀为预先确定的函数系数；

将求解得到的多个定位误差中的最大值确定为与所述第一映射误差对应的第一定位误差r：

其中，

且

C＝2(a₀e₀ ²+c₀d₀ ²+(f₀-cost)b₀ ²-2b₀d₀e₀-a₀c₀(f₀-cost))。

3.如权利要求1或2所述的方法，其特征在于，采用以下方式建立目标地图区域中映射误差与定位误差之间的对应关系：

获取在所述目标地图区域中采集的样本道路图像和对应的样本道路特征，以及所述样本道路图像对应的所述车辆的标准定位位姿，获取所述预设地图中与所述样本道路特征匹配成功的第三道路特征；

对所述标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿；

根据所述样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差；

基于预先设定的所述目标地图区域中的与定位误差相关的映射误差函数，求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到所述目标地图区域中映射误差与定位误差之间的函数关系。

4.如权利要求3所述的方法，其特征在于，所述求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数的步骤，包括：

求解以下最小值函数

得到a₀、b₀、c₀、d₀、e₀和f₀，将求解得到的所述a₀、b₀、c₀、d₀、e₀和f₀代入g后的函数作为映射误差函数；

其中，所述映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f；所述p_gt为所述标准定位位姿，所述扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，所述Ω为所述目标地图区域，所述I_seg为所述样本道路特征，所述I_map为所述第三道路特征；所述MapMatching(p_gt+Δp,I_seg,I_map)为多个扰动定位位姿p_gt+Δp对应的扰动映射误差。

5.如权利要求1所述的方法，其特征在于，在确定所述第一定位位姿所在的目标地图区域之后，所述方法还包括：

根据预先确定的各个地图区域对应的道路特征平均量，确定所述目标地图区域对应的目标道路特征平均量；

根据所述第一道路特征在所述道路图像中占据的比例，确定所述道路图像对应的识别道路特征量；

根据所述识别道路特征量与所述目标道路特征平均量之间的大小关系，确定针对所述第一定位位姿的定位质量。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

获取连续的预设数量个道路图像帧对应的定位质量和定位精度；

当所述预设数量个道路图像帧对应的定位质量小于预设定位质量，并且所述预设数量个道路图像帧对应的定位精度小于预设定位精度时，确定基于道路图像的视觉定位失效。

7.如权利要求1所述的方法，其特征在于，所述根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿的步骤，包括：

确定所述车辆的估计位姿；

基于所述车辆的估计位姿，确定所述第一道路特征与所述第二道路特征之间的参考映射误差；

当所述参考映射误差大于预设误差阈值时，调整所述车辆的估计位姿，并执行所述基于所述车辆的估计位姿，确定所述第一道路特征与所述第二道路特征之间的参考映射误差的步骤；

当所述参考映射误差不大于所述预设误差阈值时，根据所述车辆的当前估计位姿确定所述车辆的第一定位位姿。

8.如权利要求1所述的方法，其特征在于，所述确定所述第一道路特征与所述第二道路特征之间的第一映射误差的步骤，包括：

根据所述第一定位位姿，以及所述第一道路特征在所述道路图像中的位置，计算所述第一道路特征映射至所述预设地图中的第一映射位置；计算所述第一映射位置与所述第二道路特征在所述预设地图中的位置之间的误差，得到第一映射误差；或者，

根据所述第一定位位姿，以及所述第二道路特征在所述预设地图中的位置，计算所述第二道路特征映射至所述道路图像所在坐标系中的第二映射位置；计算所述第一道路特征在所述道路图像中的位置与所述第二映射位置之间的误差，得到第一映射误差。

9.一种车载终端，其特征在于，包括：处理器和图像采集设备；所述处理器包括：特征获取模块、映射确定模块、区域确定模块和精度确定模块；

所述图像采集设备，用于采集道路图像；

所述特征获取模块，用于在根据道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的第一定位位姿时，获取所述预设地图中与所述第一道路特征匹配成功的第二道路特征；

所述映射确定模块，用于确定所述第一道路特征与所述第二道路特征之间的第一映射误差；

所述区域确定模块，用于从所述预设地图包含的多个不同地图区域中，确定所述第一定位位姿所在的目标地图区域；

所述精度确定模块，用于根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述第一映射误差对应的第一定位误差，作为所述第一定位位姿的定位精度。

10.如权利要求9所述的终端，其特征在于，所述精度确定模块，具体用于：

将所述第一映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g₀，求解得到多个定位误差(Δx,Δy)：

g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀

其中，所述a₀、b₀、c₀、d₀、e₀、f₀为预先确定的函数系数；

将求解得到的多个定位误差中的最大值确定为与所述第一映射误差对应的第一定位误差r：

其中，

且

C＝2(a₀e₀ ²+c₀d₀ ²+(f₀-cost)b₀ ²-2b₀d₀e₀-a₀c₀(f₀-cost))。

Images