CN112067006A - 一种基于语义的视觉定位方法及装置 - Google Patents

Abstract

本发明提供一种基于语义的视觉定位方法及装置，该方法包括：获取车辆时序同步的多源信息，并基于多源信息确定车辆的初始化位置；获取车辆所在环境的视觉图像，并识别视觉图像中的语义对象；确定初始化位置所在的局部地图，并通过匹配视觉图像中的语义对象与局部地图中的语义对象确定车辆的精确位置。本发明能够利用视觉图像中相对静态的语义对车辆的初始化位置进行优化，提高视觉定位的鲁棒性，适应车辆复杂的运动场景，为无人驾驶车辆提供低成本的鲁棒定位。

Description

一种基于语义的视觉定位方法及装置

技术领域

本发明涉及导航定位技术领域，更具体地说，涉及一种基于语义的视觉定位方法及装置。

背景技术

目前，在无RTK/GPS信号或者RTK/GPS信号偶发丢失的环境中，无人驾驶车辆的可靠定位仍然没有妥善的解决方案。

基于激光传感器的定位，鲁棒性高，但是成本高昂，且传感器体积大不适合装车。而基于视觉的定位，由于依赖特征点或光流，无法适应光照、季节和动态场景的变化。

发明内容

有鉴于此，为解决上述问题，本发明提供一种基于语义的视觉定位方法及装置，技术方案如下：

一种基于语义的视觉定位方法，所述方法包括：

获取车辆时序同步的多源信息，并基于所述多源信息确定所述车辆的初始化位置；

获取所述车辆所在环境的视觉图像，并识别所述视觉图像中的语义对象；

确定所述初始化位置所在的局部地图，并通过匹配所述视觉图像中的语义对象与所述局部地图中的语义对象确定所述车辆的精确位置。

优选的，所述基于所述多源信息确定所述车辆的初始化位置，包括：

根据所述多源信息确定所述车辆的局部轨迹；

获取所述车辆的可通行路径，并根据均匀分布的粒子假设确定所述车辆在所述可通行路径中的多个位置假设，一个位置假设对应一个位置；

通过粒子滤波从所述多个位置假设中滤除与所述局部轨迹不匹配的位置假设；

将滤除后的位置假设所对应的位置作为所述车辆的初始化位置。

优选的，所述语义对象包括线语义，所述通过匹配所述视觉图像中的语义对象与所述局部地图中的语义对象确定所述车辆的精确位置，包括：

采样所述视觉图像中的线语义得到相应的线状点云；

基于所述初始化位置将所述线状点云投影到所述局部地图上，以匹配所述局部地图中的线语义；

利用相关线匹配法计算所述线状点云与相匹配的线语义的匹配概率，并根据所述匹配概率推理得到所述车辆的精确位置。

优选的，所述方法还包括：

构建所述局部地图的分层多粒度地图，所述分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；

在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定所述多个第一体素在该地图层中所对应的多个第二体素，所述多个第二体素是计算所述线状点云与该地图层中线语义的匹配概率的基础。

优选的，所述语义对象包括点语义，所述通过匹配所述视觉图像中的语义对象与所述局部地图中的语义对象确定所述车辆的精确位置，包括：

基于几何空间中的近邻关系确定所述局部地图的点语义中与所述视觉图像中的点语义相匹配的候选点对；

利用图匹配算法从所述候选点对中筛选满足几何空间一致性约束、且与所述视觉图像中的点语义相匹配的点对数量最多的目标点对；

基于所述目标点对确定所述车辆的精确位置。

优选的，所述方法还包括：

获取所述车辆在预设滑动窗口内的多个历史精确位置，基于最小二乘法优化所述车辆的精确位置。

一种基于语义的视觉定位装置，所述装置包括：

位置初始化模块，用于获取车辆时序同步的多源信息，并基于所述多源信息确定所述车辆的初始化位置；

语义识别模块，用于获取所述车辆所在环境的视觉图像，并识别所述视觉图像中的语义对象；

位置匹配模块，用于确定所述初始化位置所在的局部地图，并通过匹配所述视觉图像中的语义对象与所述局部地图中的语义对象确定所述车辆的精确位置。

优选的，所述位置匹配模块，具体用于：

在所述语义对象包括线语义的情况下，采样所述视觉图像中的线语义得到相应的线状点云；基于所述初始化位置将所述线状点云投影到所述局部地图上，以匹配所述局部地图中的线语义；利用相关线匹配法计算所述线状点云与相匹配的线语义的匹配概率，并根据所述匹配概率推理得到所述车辆的精确位置。

优选的，所述位置匹配模块，具体用于：

在所述语义对象包括点语义的情况下，基于几何空间中的近邻关系确定所述局部地图的点语义中与所述视觉图像中的点语义相匹配的候选点对；利用图匹配算法从所述候选点对中筛选满足几何空间一致性约束、且与所述视觉图像中的点语义相匹配的点对数量最多的目标点对；基于所述目标点对确定所述车辆的精确位置。

优选的，所述位置匹配模块，还用于：

获取所述车辆在预设滑动窗口内的多个历史精确位置，基于最小二乘法优化所述车辆的精确位置。

相较于现有技术，本发明实现的有益效果为：

本发明提供一种基于语义的视觉定位方法及装置，能够利用视觉图像中相对静态的语义对车辆的初始化位置进行优化，提高视觉定位的鲁棒性，适应车辆复杂的运动场景，为无人驾驶车辆提供低成本的鲁棒定位。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的基于语义的视觉定位方法的方法流程图；

图2为本发明实施例提供的时序同步的示意图；

图3为本发明实施例提供的粒子滤波对车辆位置假设的筛选示意图；

图4为本发明实施例提供的线语义示例；

图5为本发明实施例提供的基于语义的视觉定位方法的部分方法流程图；

图6为本发明实施例提供的线语义匹配示例；

图7为本发明实施例提供的点语义示例；

图8为本发明实施例提供的基于语义的视觉定位方法的另一部分方法流程图；

图9为本发明实施例提供的空间几何示例；

图10为本发明实施例提供的另一空间几何示例；

图11为本发明实施例提供的滑动窗口示意图；

图12为本发明实施例提供的车辆运动场景示例；

图13为本发明实施例提供的基于语义的视觉定位装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例提供一种基于语义的视觉定位方法，该方法的方法流程图如图1所示，包括如下步骤：

S10，获取车辆时序同步的多源信息，并基于多源信息确定车辆的初始化位置。

本发明实施例中，通过时序同步，融合惯导IMU和轮速计的信息，为车辆的位置优化提供可靠的初值。

参见图2所示的时序同步的效果图，图2(a)是最理想的硬件实时同步结果，视觉图像和CAN信息(含惯导IMU和轮速计的信息)同时到达智能控制器，此时视觉图像和CAN信息具有相同的时间戳，可以通过硬件设计结合软件得到。图2(b)是软件同步结果，视觉图像和CAN信息具有稳定的频率。

参见以下公式(1)，通过惯导IMU积分可以得到车辆的位置初始估计，基于IMU的车辆位置更新参见公式(2)：

公式(1)中，

和

是测量的IMU坐标系下t时刻加速度和角速度；

和

分别是IMU坐标系下i时刻到j时刻(或t时刻)位移、速度和朝向的变化。公式(2)中

和

分别是世界坐标系下j时刻的位置、速度和朝向。

和

分别是j时刻IMU的角速度偏差和加速度偏差。

和

分别是世界坐标系下i时刻的位置、速度和朝向。

和

分别是i时刻IMU的角速度偏差和加速度偏差。g^w是世界坐标系下重力加速度。

而对于轮速计的信息，可以利用阿克曼(Ackerman)车辆运动模型计算车辆的位置初始估计。

具体实现过程中，步骤S10中“基于多源信息确定车辆的初始化位置”可以采用如下步骤：

根据多源信息确定车辆的局部轨迹；获取车辆的可通行路径，并根据均匀分布的粒子假设确定车辆在可通行路径中的多个位置假设，一个位置假设对应一个位置；通过粒子滤波从多个位置假设中滤除与局部轨迹不匹配的位置假设；将滤除后的位置假设所对应的位置作为车辆的初始化位置。

本发明实施例中，车辆点火启动时，可以融合IMU和轮速计的信息，通过粒子滤波为车辆提供可靠的初始位置估计，当然，实施此操作的前提是车辆不具备位置记忆，车辆自身的位置未知。对于具备位置记忆的车辆，其点火启动时，能够加载熄火前车辆的位置，将该位置作为车辆初始化位置。

在地图上，对车辆位置提出多个假设。一般地，对于没有先验信息场景，车辆位置的假设均匀地分布在地图中可通行路径上。如图3(a)所示；进一步，启动车辆里程计，通过融合IMU和轮速计等的信息得到局部轨迹，以此为基础，对于图3(a)中的每一种假设，匹配局部轨迹与可通行路径在不同位置假设处的位置，通过粒子滤波法更新和滤除一部分位置假设，最终使得位置假设逐渐接近于车辆真实位置，该过程参见图3(b)、图3(c)和图3(d)，由此得到比较准确的车辆初始化位置。本发明实施例能够仿照人迷路时概率推理方式，使无人驾驶车辆能够在语义稀疏甚至没有语义的环境中定位，并且能够适应车辆复杂的运动方式。

此外，在语义丰富的场景，车辆里程计还可以综合视觉图像，融合语义信息，通过构建局部地图，再用分支限界法搜索位置假设的语义进行匹配，从而车辆更准确的初始化位置。

S20，获取车辆所在环境的视觉图像，并识别视觉图像中的语义对象。

本发明实施例中，将语义对象分为线语义和点(或者角点)语义两大类。

S30，确定初始化位置所在的局部地图，并通过匹配视觉图像中的语义对象与局部地图中的语义对象确定车辆的精确位置。

本发明实施例中，将地图中初始化位置所在的一定范围区域作为其局部地图，进而提取局部地图中的语义对象。

1)对于视觉图像中的语义对象，其为诸如车道线、停止线和可通行边界线等的线语义时，本发明实施例提出相关线匹配的方法，计算其与局部地图上的线语义匹配的概率。图4给出线语义示例，其中，图4(a)给出了车道线和停止线，图4(b)给出了可通行空间边界线，此外，图4(a)还给出了属于角语义的停车库位的四个角点。

具体实现过程中，语义对象为线语义时，步骤S30“通过匹配视觉图像中的语义对象与局部地图中的语义对象确定车辆的精确位置”可以采用如下步骤，方法流程图如图5所示：

S3011，采样视觉图像中的线语义得到相应的线状点云。

本发明实施例中，采用Bresenham算法对视觉图像中的线语义进行采样得到相应的线状点云。

S3012，基于初始化位置将线状点云投影到局部地图上，以匹配局部地图中的线语义。

本发明实施例中，基于车辆的初始化位置，依据车辆的外参和内参，将线状点云投影到地图上。进一步，利用相关线匹配法，将投影的线状点云与局部地图中的线语义进行匹配。

S3013，利用相关线匹配法计算线状点云与相匹配的线语义的匹配概率，并根据匹配概率推理得到车辆的精确位置。

本发明实施例中，根据如下公式(3)计算线状点云与局部地图中线语义的匹配概率：

本发明实施例中，将局部地图中与线状点云的匹配概率大于预设概率阈值的线语义，作为与线状点云相匹配的线语义。进而从中确定匹配概率最大的线语义，并利用如下公式(4)推理得到车辆的精确位置：

p(x_t|x_t-1，u_t，m，z_t)∝p(z_t|x_t，m)p(x_t|x_t-1，u_t) (4)

其中z_t是t时刻的语义观测，x_t是t时刻车辆的位置和姿态，m表示车辆所在位置的地图。u_t是t时刻车辆的运动。

在此基础上，为提高线状点云与局部地图中线语义的匹配速度，本发明实施例还包括如下步骤：

构建局部地图的分层多粒度地图，分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定多个第一体素在该地图层中所对应的多个第二体素，多个第二体素是计算线状点云与该地图层中线语义的匹配概率的基础。

本发明实施例中，局部地图对应一个具有多个不同分辨率地图层的分层多粒度地图，该分层多粒度地图中分辨率最高的地图层，即第一地图层即为该局部地图本身，进一步，通过将该第一地图层的多个体素作为一个体素来减小第一地图层的分辨率得到第二地图层，以此类推，直至得到一定数量或者一定分辨率的地图层时为止。

在获得局部地图的分层多粒度地图后，按照分辨率由低到高的次序依次进行线语义的匹配，具体的，对于两个相邻的地图层，下一地图层为低分辨率地图层、上一地图层为高分辨率地图层，按照以上公式(3)计算线状点云与低分辨率地图中线语义的匹配概率，进而从中确定匹配概率最大的线语义所在的多个体素(即第一体素)，进一步由于低分辨率地图层的体素与高分辨率地图层的体素具有一对多的关系，因此基于该关系能够确定匹配概率最大的线语义在高分辨率地图中所在的多个体素(即第二体素)，以此类推，直到获得分辨率最高的地图层上匹配概率最大的线语义为止。

通过此方法，能够减少点云语义匹配的计算量，在讲究硬件成本、计算资源有限的车载平台上，能够很好地实现语义匹配，提高整体性能，适合成本相对较低的硬件平台。图6给出线语义匹配示例，语义匹配原理符号×表示视觉图像中线语义与地图上的线语义吻合。

2)对于视觉图像中的语义对象，其为诸如交通标识、电灯杆、箭头和库位角点等的点语义时，本发明实施例提供图匹配的方法，利用空间几何信息计算其与局部地图上的点语义匹配的概率。图7给出点语义示例，其中图7(a)给出了交通标志杆和电灯杆的角点，图7(b)给出箭头的角点，图4(a)中还给出库位角点。

需要说明的是，图7中交通标志杆和电灯杆的点语义是竖直杆子部分的顶部和底部的两个点，箭头的点语义则是箭头边缘的角点。可以理解的是，车辆运动场景中所有固定、且常见的垂直于地面的杆状物体，只要可以提取组成直线的角点，均适用于本方法，地面上固定且常见的角点语义也适用于本方法。

具体实现过程中，语义对象为点语义时，步骤S30“通过匹配视觉图像中的语义对象与局部地图中的语义对象确定车辆的精确位置”可以采用如下步骤，方法流程图如图8所示：

S3021，基于几何空间中的近邻关系确定局部地图的点语义中与视觉图像中的点语义相匹配的候选点对。

本发明实施例中，基于车辆的初始化位置，依据车辆外参和内参，能够将视觉图像中的点语义(设为

)投影到局部地图上，从地图数据库中获取车辆周边的角点(设为

)

进一步，基于几何空间中的近邻关系确定

与

中潜在的匹配点对。以下对几何空间中的近邻关系进行说明：

本发明实施例中，以电灯杆为例，参见图9所示的空间几何示例，其几何空间中的近邻关系包含电灯杆上两个角点所组成的垂直于地面的直线与车辆后轴中心的距离、以及该直线与路面上其他角点的空间距离(图中未示出)。

继续以箭头为例，参见图10所示的空间几何示例，其示出箭头上的角点A与其它角点(包括库位角点，例如K、L)的几何距离和角度关系，同时示出库位角点B与其它角点(包括箭头上的角点G、H)的几何距离和角度关系，每个角点(C、D、G、H、E、F、K、L点等等)与其他角点的几何距离和角度关系类似(图中未示出所有角度的几何距离和角度关系)。

通过匹配空间距离和角度关系来甄别

与

中潜在的匹配点对，即候选点对。当然，还可以与RANSAC或贪婪算法(greedy algorithm)结合使用。

S3022，利用图匹配算法从候选点对中筛选满足几何空间一致性约束、且与视觉图像中的点语义相匹配的点对数量最多的目标点对。

本发明实施例中，图匹配算法计算候选点对中

和

实际匹配的目标点对包括以下步骤：

(a)设有n对点，构建n×n非负的对称矩阵M；(b)令

为矩阵M的主特征向量，同时初始化n×1的零向量x，L为所有可能的一对一匹配关系的集合；(c)找到

如果

则停止计算并返回向量x，否则令

并把

从集合L中删去。(d)删除L中所有与

冲突的匹配；(e)如果L为空，则返回解x，否则继续从(c)开始执行。

S3023，基于目标点对确定车辆的精确位置。

本发明实施例中，将目标点对中局部地图的点语义所在位置作为视觉地图中点语义的位置，进而基于视觉地图中点语义与车辆的相对位置关系计算车辆的精确位置，而视觉地图中点语义与车辆的相对位置关系可以结合车辆的外参和内参所确定。

在其他一些实施例中，为减少数据噪声带来的误差，获得更加平滑稳定的结果，提高定位精度，本发明实施例中在图1所示的基于语义的视觉定位方法基础上，还采用以下步骤：

获取车辆在预设滑动窗口内的多个历史精确位置，基于最小二乘法优化车辆的精确位置。

本发明实施例构建一个滑动窗口，参见图11所示的滑动窗口，X_t+n是新加入的帧，X_t-1是删除的旧帧，在窗口中增加新的帧时，同时加入语义匹配误差和车辆运行相对位置约束，同时沿着时间轴释放旧帧。具体的，将位于该滑动窗口内的多帧历史视觉图像的精确位置、结合约束条件加入优化器对当前的视觉图像的精确位置进行优化，通过最小二乘法计算误差平方和最小时候的位置X_t作为当前的视觉图像优化后的精确位置。

最小二乘法的原理参见以下公式(5)：、

其中X_t是使得残差的平方和最小时的车辆位置和姿态。r_line r_point r_vehicle分别代表线语义、点(角点)语义匹配残差和车辆运动约束(包括IMU、轮速等传感器的测量)残差。

分别表示t时刻线语义、点(角点)语义和运动约束等残差平方和的权值。

具体的，对加入优化器的每帧视觉图像作为一个优化帧，将连续帧之间的语义观测和位置关系关联起来，

需要说明的是，本发明实施例可以利用g2o或者ceres库处理滑动窗口优化问题。g2o(ceres)已经实现了几乎所有的优化逻辑和数学模型，可以直接使用包括高斯牛顿法、列文伯格.马夸特在内的多种非线性优化算法。

与传统语义方法相比，本发明以里程计与粒子滤波相结合对车辆位置初步的粗定位，再由语义匹配对车辆位置的精确定位，即使滑动窗优化定位丢失了，也能够再重新精确定位。本发明降低了提取语义丰富度的要求，当图像中语义元素较少时，仍然能够匹配，提高了语义匹配的成功率，降低噪声的影响。

图12给出车辆的运动场景示例，在图12(a)所示的车辆常规行驶场景下，本发明可以使车辆在常规运动、且车载相机视野不受限时定位；在图12(b)所示的车辆调头场景下，车辆与车道线间的相对位置处于非常规情况，本发明也可以完成车辆定位；在图12(c)所示的车辆拥堵场景下，车载相机受遮挡，甚至在图12(d)所示的无语义场景下，本发明也可以完成车辆定位。

基于上述实施例提供的基于语义的视觉定位方法，本发明实施例则提供执行上述基于语义的视觉定位方法的装置，该装置的结构示意图如图13所示，包括：

位置初始化模块10，用于获取车辆时序同步的多源信息，并基于多源信息确定车辆的初始化位置；

语义识别模块20，用于获取车辆所在环境的视觉图像，并识别视觉图像中的语义对象；

位置匹配模块30，用于确定初始化位置所在的局部地图，并通过匹配视觉图像中的语义对象与局部地图中的语义对象确定车辆的精确位置。

可选的，位置初始化模块10，具体用于：

根据多源信息确定车辆的局部轨迹；获取车辆的可通行路径，并根据均匀分布的粒子假设确定车辆在可通行路径中的多个位置假设，一个位置假设对应一个位置；通过粒子滤波从多个位置假设中滤除与局部轨迹不匹配的位置假设；将滤除后的位置假设所对应的位置作为车辆的初始化位置。

可选的，位置匹配模块30，具体用于：

在语义对象包括线语义的情况下，采样视觉图像中的线语义得到相应的线状点云；基于初始化位置将线状点云投影到局部地图上，以匹配局部地图中的线语义；利用相关线匹配法计算线状点云与相匹配的线语义的匹配概率，并根据匹配概率推理得到车辆的精确位置。

可选的，位置匹配模块30，还用于：

构建局部地图的分层多粒度地图，分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定多个第一体素在该地图层中所对应的多个第二体素，多个第二体素是计算线状点云与该地图层中线语义的匹配概率的基础。

可选的，位置匹配模块30，具体用于：

在语义对象包括点语义的情况下，基于几何空间中的近邻关系确定局部地图的点语义中与视觉图像中的点语义相匹配的候选点对；利用图匹配算法从候选点对中筛选满足几何空间一致性约束、且与视觉图像中的点语义相匹配的点对数量最多的目标点对；基于目标点对确定车辆的精确位置。

可选的，位置匹配模块30，还用于：

获取车辆在预设滑动窗口内的多个历史精确位置，基于最小二乘法优化车辆的精确位置。

本发明实施例提供的基于语义的视觉定位装置，能够利用视觉图像中相对静态的语义对车辆的初始化位置进行优化，提高视觉定位的鲁棒性，适应车辆复杂的运动场景，为无人驾驶车辆提供低成本的鲁棒定位。

以上对本发明所提供的一种基于语义的视觉定位方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于语义的视觉定位方法，其特征在于，所述方法包括：

获取车辆时序同步的多源信息，并基于所述多源信息确定所述车辆的初始化位置；

获取所述车辆所在环境的视觉图像，并识别所述视觉图像中的语义对象；

确定所述初始化位置所在的局部地图，并通过匹配所述视觉图像中的语义对象与所述局部地图中的语义对象确定所述车辆的精确位置。

2.根据权利要求1所述的方法，其特征在于，所述基于所述多源信息确定所述车辆的初始化位置，包括：

根据所述多源信息确定所述车辆的局部轨迹；

获取所述车辆的可通行路径，并根据均匀分布的粒子假设确定所述车辆在所述可通行路径中的多个位置假设，一个位置假设对应一个位置；

通过粒子滤波从所述多个位置假设中滤除与所述局部轨迹不匹配的位置假设；

将滤除后的位置假设所对应的位置作为所述车辆的初始化位置。

3.根据权利要求1所述的方法，其特征在于，所述语义对象包括线语义，所述通过匹配所述视觉图像中的语义对象与所述局部地图中的语义对象确定所述车辆的精确位置，包括：

采样所述视觉图像中的线语义得到相应的线状点云；

基于所述初始化位置将所述线状点云投影到所述局部地图上，以匹配所述局部地图中的线语义；

利用相关线匹配法计算所述线状点云与相匹配的线语义的匹配概率，并根据所述匹配概率推理得到所述车辆的精确位置。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

构建所述局部地图的分层多粒度地图，所述分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；

在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定所述多个第一体素在该地图层中所对应的多个第二体素，所述多个第二体素是计算所述线状点云与该地图层中线语义的匹配概率的基础。

5.根据权利要求1所述的方法，其特征在于，所述语义对象包括点语义，所述通过匹配所述视觉图像中的语义对象与所述局部地图中的语义对象确定所述车辆的精确位置，包括：

基于几何空间中的近邻关系确定所述局部地图的点语义中与所述视觉图像中的点语义相匹配的候选点对；

利用图匹配算法从所述候选点对中筛选满足几何空间一致性约束、且与所述视觉图像中的点语义相匹配的点对数量最多的目标点对；

基于所述目标点对确定所述车辆的精确位置。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述车辆在预设滑动窗口内的多个历史精确位置，基于最小二乘法优化所述车辆的精确位置。

7.一种基于语义的视觉定位装置，其特征在于，所述装置包括：

位置初始化模块，用于获取车辆时序同步的多源信息，并基于所述多源信息确定所述车辆的初始化位置；

语义识别模块，用于获取所述车辆所在环境的视觉图像，并识别所述视觉图像中的语义对象；

位置匹配模块，用于确定所述初始化位置所在的局部地图，并通过匹配所述视觉图像中的语义对象与所述局部地图中的语义对象确定所述车辆的精确位置。

8.根据权利要求7所述的方法，其特征在于，所述位置匹配模块，具体用于：

在所述语义对象包括线语义的情况下，采样所述视觉图像中的线语义得到相应的线状点云；基于所述初始化位置将所述线状点云投影到所述局部地图上，以匹配所述局部地图中的线语义；利用相关线匹配法计算所述线状点云与相匹配的线语义的匹配概率，并根据所述匹配概率推理得到所述车辆的精确位置。

9.根据权利要求7所述的方法，其特征在于，所述位置匹配模块，具体用于：

在所述语义对象包括点语义的情况下，基于几何空间中的近邻关系确定所述局部地图的点语义中与所述视觉图像中的点语义相匹配的候选点对；利用图匹配算法从所述候选点对中筛选满足几何空间一致性约束、且与所述视觉图像中的点语义相匹配的点对数量最多的目标点对；基于所述目标点对确定所述车辆的精确位置。

10.根据权利要求7所述的方法，其特征在于，所述位置匹配模块，还用于：

获取所述车辆在预设滑动窗口内的多个历史精确位置，基于最小二乘法优化所述车辆的精确位置。

Images