CN113834492A - 地图匹配方法、系统、设备及可读存储介质 - Google Patents

Abstract

本申请提供一种地图匹配方法、系统、设备及可读存储介质，地图匹配方法包括：响应于获取车载相机拍摄的多帧图像，对所述多帧图像分别进行视觉感知处理，以获取多帧特征点位图；对所述多帧特征点位图分别进行俯视转换，以获取对应的多帧俯视转换图；以行车方向为纵向，按照特征点位的坐标位置，对所述多帧俯视转换图进行纵向拼接，生成特征点位纵拼图；根据所述特征点位纵拼图对当前定位的局部高精地图进行地图匹配。通过使用历史行车图像的视觉感知数据，能够在更大地理范围内对高精地图进行校验和评价，使地图匹配适应不同的复杂环境，增强算法的鲁棒性，同时提高定位和导航的精度。

Description

地图匹配方法、系统、设备及可读存储介质

技术领域

本申请涉及智能驾驶技术领域，具体涉及一种地图匹配方法、系统、设备及可读存储介质。

背景技术

视觉导航是智能驾驶以及辅助驾驶中的关键技术步骤，是通过对视觉数据的处理(一般为图像数据)，提取环境中有用的信息，为驾驶决策提供可靠依据。车道线检测是其中一个重要方面，一般通过前视相机采集图像进行图像处理，获得路面情况的信息，基于原始传感器，例如全球卫星定位系统、惯性测量单元、轮速计等，的信息进行融合的定位结果往往不能得到非常高的定位精度。通常的做法是加入视觉的信息，并且与高精地图进行融合，从而修正原始传感器定位的精度。但是目前引入的视觉信息是基于单帧前视的感知，与高精地图进行匹配融合。在交通场景，基于视觉的方法会受到多种因素的影响，比如道路多障碍物，路面标记不清，天气影响以及光照变化等。这些因素会导致系统出现误检和漏检，单帧图像的视觉感知结果会变得不太鲁棒。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

针对上述技术问题，本申请提供一种地图匹配方法、系统、设备及可读存储介质，使基于高精地图的智能导航能够匹配适应不同的复杂环境，增强算法的鲁棒性。

为解决上述技术问题，本申请提供一种地图匹配方法，具体地，所述地图匹配方法包括：

响应于获取车载相机拍摄的多帧图像，对所述多帧图像分别进行视觉感知处理，以获取多帧特征点位图；

对所述多帧特征点位图分别进行俯视转换，以获取对应的多帧俯视转换图；

以行车方向为纵向，按照特征点位的坐标位置，对所述多帧俯视转换图进行纵向拼接，生成特征点位纵拼图；

根据所述特征点位纵拼图，对当前定位的局部高精地图进行地图匹配。

可选地，所述生成特征点位纵拼图的步骤之后包括：

响应于所述纵向拼接，对所述纵向拼接的结果进行曲线拟合，以获取拟合特征点曲线；

根据所述拟合特征点曲线，对所述特征点位纵拼图进行修正。

可选地，所述曲线拟合选自多项式拟合、NURBS曲线拟合中的至少一种。

可选地，所述对所述多帧特征点位图分别进行俯视转换的步骤包括：

获取所述车载相机的内部参数、外部参数和畸变参数；

根据所述车载相机的内部参数、外部参数和畸变参数，将所述多帧特征点位图进行逆透视变换。

可选地，所述内部参数选自焦距、光学中心、畸变参数中的至少一种，和/或，所述外部参数选自俯仰角、偏航角、地面高度中的至少一种。

可选地，所述按照特征点位的坐标位置，对所述多帧俯视转换图进行纵向拼接的步骤包括：

按照所述特征点位的坐标位置将所述多帧俯视转换图按顺序进行纵向覆盖，和/或，按照所述特征点位的坐标位置对所述多帧俯视转换图剪切后，进行纵向拼接。

可选地，所述根据所述特征点位纵拼图对当前定位的局部高精地图进行地图匹配的步骤之后包括：

在所述特征点位纵拼图与所述局部高精地图匹配的角度有偏差时，修正定位组的位姿角度；和/或，在所述特征点位纵拼图与所述局部高精地图匹配的位置有偏差时，修正所述定位组的位姿位置。

另一方面，本申请还提供一种地图匹配系统，具体地，包括：

视觉感知单元，用于对车载相机拍摄的多帧图像分别进行视觉感知处理，以获取多帧特征点位图；

逆透视单元，用于对所述多帧特征点位图分别进行俯视转换，以获取对应的多帧俯视转换图；

拼接单元，用于以行车方向为纵向，按照特征点位的坐标位置，对所述多帧俯视转换图进行纵向拼接，生成特征点位纵拼图；

地图匹配单元，用于根据所述特征点位纵拼图对当前定位的局部高精地图进行地图匹配。

可选地，所述拼接单元还用于对纵向拼接的结果进行曲线拟合，以获取拟合特征点曲线；并根据所述拟合特征点曲线，对所述特征点位纵拼图进行修正。

可选地，所述曲线拟合选自多项式拟合、NURBS曲线拟合中的至少一种。

可选地，所述逆透视单元用于根据所述车载相机的内部参数、外部参数和畸变参数，将所述多帧特征点位图进行逆透视变换。

可选地，所述内部参数选自焦距、光学中心、畸变参数中的至少一种，和/或，所述外部参数选自俯仰角、偏航角、地面高度中的至少一种。

可选地，所述拼接单元按照所述特征点位的坐标位置将所述多帧俯视转换图按顺序进行纵向覆盖，和/或，按照所述特征点位的坐标位置对所述多帧俯视转换图剪切后，进行纵向拼接。

可选地，所述地图匹配系统还包括与所述拼接单元连接的修正单元，在所述特征点位纵拼图与所述局部高精地图匹配的角度有偏差时，所述修正单元修正定位组的位姿角度；和/或，在所述特征点位纵拼图与所述局部高精地图匹配的位置有偏差时，所述修正单元修正所述定位组的位姿位置。

另一方面，本申请还提供一种设备，具体地，所述设备包括：存储器、处理器，其中，所述存储器上存储有处理程序，所述处理程序被所述处理器执行时实现如上述的地图匹配方法的步骤。

另一方面，本申请还提供一种可读存储介质，具体地，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的地图匹配方法的步骤。

如上所述，本申请的地图匹配方法、系统、设备及可读存储介质，通过使用历史行车图像的视觉感知数据，能够实现在更大地理范围内对电子地图进行校验和评价，使地图匹配适应不同的复杂环境，增强算法的鲁棒性，提高检测结果可信度，同时提高了定位和导航的精度。在先进行视觉感知识别再进行特征点位拼接的方式下，极大地降低了系统工作量和所需的存储空间。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例的地图匹配方法流程图。

图2为本申请一实施例的多帧俯视转换图按顺序进行纵向覆盖示意图。

图3为本申请一实施例的多帧俯视转换图剪切拼接示意图。

图4为本申请一实施例的地图匹配系统方框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

第一实施例

在一方面，本申请提供一种地图匹配方法。图1为本申请一实施例的地图匹配方法流程图。

如图1所示，在一实施例中，地图匹配方法包括：

S10：响应于获取车载相机拍摄的多帧图像，对多帧图像分别进行视觉感知处理，以获取多帧特征点位图。

本实施例中，在车辆上配置车载相机用于实时获取车辆周围的图像信息。通过对车载相机在不同时刻拍摄的多帧图像，分别进行视觉感知处理，能实现对于车道上道路标识的特征点位的识别，以获取多帧特征点位图。其中，多帧图像代表着车辆走过的一定距离范围。

优选的，车载相机搭载在车辆前方，获取车辆前方至少120°范围内的图像信息。车载相机可以是一部相机或多部相机。在同一个位置，多个相机的摄像头从多个不同的角度拍摄后横向无缝拼接后的宽视角图像可以视作车载相机的一帧图像。

对于道路图像的视觉感知，一般先经过采集道路上地面标识的样本、标注、训练等步骤得到视觉感知模型，然后将车载相机拍摄的道路图像输入训练好的视觉感知模型，以输出对于各种道路标识特征点位的感知识别。根据道路标识的不同，通过视觉感知模型可以输出包括车道线、箭头、人行道、停止线以及文字等元素的特征点位、属性及位置信息。

在公共道路上，道路标识的颜色大多为黄色或白色，偶有其他颜色的车道线。在图像识别的技术中，通过在不同的色彩空间及不同通道下，基于色彩强烈对比的不同，可以有针对性的通过色彩阈值化和梯度阈值化，以得到相对准确的识别结果。

视觉感知获得的特征点位数据能够以较小的存储成本和较少的计算内容获得道路标识的准确位置信息和几何结构，以利于后续的俯视转换和特征点位数据拟合。

S20：对多帧特征点位图分别进行俯视转换，以获取对应的多帧俯视转换图。

由于相机与地面之间有一倾斜角，而不是直接垂直朝下(正投影)。因此直接由车载相机的图像感知到的道路区域会构成一个梯形点云图。

从自动驾驶角度来看，车辆在同一平面上的事物与道路之间的关系是非常重要的。因此，垂直俯视角度的数据关系更利于地图的展示和分析。俯视图也叫做鸟瞰图，创建鸟瞰图的好处是图像比例一致，视野宽广，对比清晰。

在俯视转换图中，道路区域的梯形点云图在俯视图(鸟瞰图)中将变成一个长方形点云图，所以车道线宽度也是基本一致的，由此，可以简化后续车道线的计算处理。

在执行S20中对多帧特征点位图分别进行俯视转换的步骤可以包括：

获取车载相机的内部参数、外部参数和畸变参数；根据车载相机的内部参数、外部参数和畸变参数，将多帧特征点位图进行逆透视变换。

如上所述，由于相机与地面之间存在倾斜角，因此相机拍摄的道路图像不是直接垂直朝下的正投影。将相机拍摄的原始图像校正成正投影的形式，就需要利用逆透视变换进行俯视转换以得到俯视图。逆透视转换可以基于逆透视变换(inverse perspectivemapping，IPM)算法根据车载相机的内部参数、外部参数和畸变参数将多帧特征点位图进行逆透视变换。

在逆透视变换中，根据相机的畸变参数，将每一个视觉感知的道路标识特征点位进行解畸变。再根据相机的内部参数和外部参数，将解畸变的特征点位投射至物理世界中。此外，还可以建立以道路为基准的参考坐标系，以得到道路标识特征点位在参考坐标系中的相对坐标。对于特定的一张俯视转换图来说，也包括了相机及车辆的位姿信息，进一步根据道路标识特征点位的相对坐标，可以计算车辆在参考坐标系中相对于道路标识特征点位的坐标位置，可以由此确定拍摄时车辆在俯视转换图中的相对位置。

在一实施例中，内部参数选自焦距及光学中心中的至少一种。

其中，焦距是光学系统中衡量光的聚集或发散的度量方式，指平行光入射时从透镜光心到光聚集之焦点的距离，也就是拍摄焦点到相机的面镜的中心点之间的距离。在相机的光学中心处，任意方向的光线通过该点时，光线的传播方向不变。因此，可以通过光轴中心点在原图中的位置，可以获取每个特征点位在以镜头的光学中心为球心的球面坐标。

在另一实施例中，外部参数选自俯仰角、偏航角、地面高度中的至少一种。

其中，偏航角和俯仰角可以用于描述相机的姿态。具体地，俯仰角是平行于相机机身轴线并指向前方的向量与地面的夹角。偏航角是相机机体轴在水平面上的投影与地轴之间的夹角。地面高度可以用于对特征点位在坐标系投射时的转换定位。例如，参考坐标系的原点可以建立在车辆后轴中心，距离地面高度为0的位置。

通过对相机参数的标定，能够通过对相机图像中特征点位的测量，获取有具体尺度的实际数据。

S30：以行车方向为纵向，按照特征点位的坐标位置，对多帧俯视转换图进行纵向拼接，生成特征点位纵拼图。

根据每帧俯视转换图中特征点位在物理世界路面参考坐标系上的位置，以及相机的位姿数据，就可以把多帧俯视转换图按照参考坐标系中多个道路标识的相对位置拼接起来。按照拍摄的历史时间顺序，车辆在经过道路的一段距离时，将连续拍摄多帧照片。按照行车的方向，将道路的多帧俯视转换图按顺序纵向拼接，就能够获取到比单帧照片更长的道路视觉感知信息。对于多个不同角度相机的图像的横向拼接，可以在纵向拼接之前，也可以在纵向拼接之后。因此，道路特征点位纵拼图可以是多部相机的特征点位纵拼图横向拼接组成的。由于没有去除图像中的横向偏移信息，因此，纵向拼接后的车道特征点位纵拼图依然保留了实际弯曲车道的横向偏移信息。

车载相机在每帧图像中的位姿信息不同。融合全球导航卫星系统、惯性测量单元、轮速计等传感器信息可以获取相机的位姿信息。其中，位姿信息包括位置和姿态，位置是车载相机在空间中的三维信息，姿态是车载相机的三维旋转角度信息。当获取相机的位姿信息后，把对应的特征点位按照参考坐标系中的坐标，复制到特定的位置按照特定角度进行拼接。拼接后的特征点位纵拼图，包括了历史行进道路的信息，能够在更大的物理尺度内，对多帧图像包括的更长道路图像进行视觉感知和训练。

在执行S30中按照特征点位的坐标位置，对多帧俯视转换图进行纵向拼接的步骤可以包括：按照特征点位的坐标位置将多帧俯视转换图按顺序进行纵向覆盖。

每个特征点位的坐标位置固定对应于道路参考坐标系中的特定位置。因此，当任意两帧俯视转换图中的特征点位有了相同的坐标时，代表着这两帧俯视转换图具有重合的部分。因此，将相同坐标的特征点位放置于同一个位置，可以将多帧俯视转换图以部分覆盖的方式叠合在一起，从而组成特征点位纵拼图。

请参阅图2，图2为本申请一实施例的多帧俯视转换图按顺序进行纵向覆盖示意图。

如图2所示，在前一帧俯视转换图2(a)和后一帧俯视转换图2(b)中，包含有相同坐标的特征点位，也就是有重复的特征点位部分。因此，将后一帧俯视转换图2(b)上具有与前一帧俯视转换图2(a)中相同坐标的特征点位叠放在一起，即得到了特征点位纵拼图2(c)。

在执行S30中按照特征点位的坐标位置，对多帧俯视转换图进行纵向拼接的步骤可以包括：按照特征点位的坐标位置对多帧俯视转换图剪切后，进行纵向拼接。

每个特征点位的坐标位置固定对应于参考坐标系中的特定位置。因此，当任意两帧俯视转换图中的特征点位有了相同的坐标时，代表着这两帧俯视转换图具有重合的部分。因此，将其中一帧俯视转换图中具有重合部分的图像剪切，然后在剪切位置进行拼接，可以较少的数据组成特征点位纵拼图，从而节约系统资源。

请参阅图3，图3为本申请一实施例的多帧俯视转换图剪切拼接示意图。

如图3所示，在剪切后的前一帧俯视转换图3(a)中和后一帧俯视转换图3(b)中，刚好没有相同坐标的特征点位。因此，将前一帧俯视转换图3(a)与后一帧俯视转换图3(b)按照特征点位坐标在参考坐标轴中的位置拼接，就得到了特征点位纵拼图3(c)。

在执行S30中生成特征点位纵拼图的步骤之后还可以包括：

响应于纵向拼接，对纵向拼接的结果进行曲线拟合，以获取拟合特征点曲线；根据拟合特征点曲线，对特征点位纵拼图进行修正。

曲线拟合(curve fitting)是指选择适当的曲线类型来拟合观测数据，并用拟合的曲线方程分析变量间的关系。在车载相机的图像拍摄和后续的视觉感知过程中，可能会发生不稳定的图像识别帧。例如，有一些道路标识的特征点位的坐标会发生一些偏移，或者甚至识别到了错误的特征点位。而视觉感知到的道路标识是通过一些离散的点组成的点群代表特定的道路标识。为了确定哪些特征点位是正确的，就可以通过曲线拟合的方式，用连续曲线近似地刻画或比拟道路平面上离散的特征点群所表示的坐标之间的函数关系，来对每一种道路标识的特征点位的坐标位置进行鉴别。

例如，对于车道线特征点位的曲线拟合中，得到候选的车道线特征点群以后，就可以使用二次多项式来对这些像素进行拟合。首先确定左右两条车道线的大致位置。基于时域的关联性和空间的连续性，偏离车道线拟合曲线超过偏差阈值的一个或多个点，可能就是图像识别中出现的偏差。在有效识别出特征点位识别偏差后，可以进而通过删除或修正的方式进行处理。例如，对于超出偏差阈值的特征点位，可以直接删除。对于连续的车道线中出现的空白，则可以予以适当补齐修正。

可选地，曲线拟合方式选自多项式拟合及NURBS曲线拟合中的至少一种。

对于直线型道路的车道线，可以采用直线拟合的方式。在实际道路中，不管是车道线标识还是箭头等标识，都可能呈现弯曲的状态。而通过多项式拟合的方式对弯曲的道路比较适合。NURBS曲线拟合对于自由曲面的特征点位拟合来说平滑性更好。

S40：根据特征点位纵拼图对当前定位的局部高精地图进行地图匹配。

在得到特征点位纵拼图之后，结合相机与真实世界比例参数，就可以计算出道路标识的实际大小和车辆当前距离道路标识的距离及角度，从而精确确定车辆在参考坐标系中的相对位置，以作为在特征点位纵拼图上的识别位置。同时，通过特征点位纵拼图能够识别到的边界相对于车辆识别位置的距离，也能够相应确定特征点位纵拼图的区域范围。

与此同时，依据传统的车辆定位组如卫星定位设备、轮速计、惯性测量单元、光纤陀螺、车载里程计及前轮转角测量计等对车辆的定位坐标进行实时计算。通过定位设备在世界坐标系中定位的当前定位坐标，就能够在全局高精地图中对车辆的定位位置进行标定，并进一步依据特征点位纵拼图的区域范围，截取车辆的定位位置周边对应的局部高精地图。

局部高精地图不仅包含高精度的车道信息，局部高精地图里也同样存储有车道线、箭头、减速带、人行道、停止线、文字等道路标识的属性及各种道路标识特征点位在世界坐标系下的绝对坐标。在参考坐标系和世界坐标系的相同尺度下，根据各道路标识特征点位的绝对坐标，以及各道路标识的参考坐标与车辆的参考坐标的相对关系，依据特征点位纵拼图和局部高精地图中的道路标识特征点位的互相匹配，就能够得到车辆在世界坐标系下的绝对坐标。可以理解地，根据车辆到道路标识特征点位之间的距离和道路标识特征点位在世界坐标系下的绝对坐标，将参考坐标系下的相对定位结果进行坐标系转换，从而计算得到车辆在世界坐标系下的绝对坐标，再将车辆的绝对坐标位置标注在局部高精地图的世界坐标系中，从而实现车道内的精确定位。

由此，对两种定位结果在相同的坐标系下进行互相验证及匹配融合，在相同物理尺度下可以运用匹配融合算法对车道线视觉感知结果与局部高清地图进行匹配校验，就可以在宏观地图定位下和微观视觉感知下进一步保证车辆定位的准确性。在实际的应用中，匹配融合算法可以使用ICP(Iterative ClosestPoint最近邻迭代)算法。在ICP算法中，首先分别在带匹配的目标点云和源点云中，按照相同的物理尺度和一定的约束条件，找到最邻近的特征点位，然后计算出最优匹配参数和，使得误差函数最小。在其他实施例中，匹配融合算法也可以使用三维到二维的投影，然后在二维空间进行匹配。

另外，可以根据视觉感知的道路标识特征点位与局部高精地图中道路标识特征点位的整体匹配度，来判断当前局部高精地图的可靠度。例如，如果整体匹配度高于90％，说明当前局部高精地图是可信的。如果整体匹配度低于30％，那就说明地图错误，需要更新地图。整体匹配度介于90％－30％之间时，意味着地图数据可能需要校进一步的验证。

S40的步骤之后可以包括：在地图匹配的角度有偏差时，修正定位组的位姿角度；和/或，在地图匹配的位置有偏差时，修正定位组的位姿位置。

由于定位组的不稳定性和精度限制，在微观地图定位中的可信度低于视觉感知的结果。因此通过视觉感知的检测结果可以用来校正定位组的定位精度。例如，根据视觉感知的道路标识特征点位与局部高精地图中道路标识特征点位的整体匹配，将当前车辆的定位组的偏航角顺时针偏移5度，以进行位姿角度修正，将当前车辆的定位组的定位基准位置向东转移1米，以进行位姿位置修正。

在先进行视觉感知识别再进行特征点位拼接的方式下，极大地降低了系统工作量和所需的存储空间。由于使用了历史行车图像的视觉感知数据，根据视觉感知的道路标识特征点位与局部高精地图中道路标识特征点位的匹配计算，可以实现更大范围的匹配融合，以确定局部高精地图的可信度，同时提高了定位的精确度。

第二实施例

另一方面，本申请还提供一种地图匹配系统，图4为本申请一实施例的地图匹配系统方框图。

如图4所示，在一实施例中，地图匹配系统包括依次连接的视觉感知单元1、逆透视单元2、拼接单元3以及地图匹配单元4。

视觉感知单元1，用于对车载相机的拍摄的多帧图像分别进行视觉感知处理，以获取多帧特征点位图；

逆透视单元2，用于对多帧特征点位图分别进行俯视转换，以获取对应的多帧俯视转换图；

拼接单元3，用于以行车方向为纵向，按照特征点位的坐标位置，对多帧俯视转换图进行纵向拼接，生成特征点位纵拼图；

地图匹配单元4，用于根据特征点位纵拼图对当前定位的局部高精地图进行地图匹配。

本实施例中，在车辆上配置车载相机用于实时获取车辆周围的图像信息。通过对车载相机在不同时刻拍摄的多帧图像，分别进行视觉感知处理，能实现对于车道上道路标识的特征点位的识别，以获取多帧特征点位图。其中，多帧图像代表着车辆走过的一定距离范围。

优选的，车载相机搭载在车辆前方，获取车辆前方至少120°的图像信息。车载相机可以是一部相机或多部相机。在同一个位置，多个相机的摄像头从多个不同的角度拍摄后横向无缝拼接后的宽视角图像可以视做车载相机的一帧图像。

视觉感知单元1对于道路图像的视觉感知，一般先经过采集道路上地面标识的样本、标注、训练等步骤得到视觉感知模型。然后将车载相机拍摄的道路图像输入训练好的视觉感知模型，以输出对于各种道路标识特征点位的识别感知。根据道路标识的不同，视觉感知单元1可以通过视觉感知模型输出包括车道线、箭头、人行道、停止线以及文字等元素的特征点位、属性及位置信息。

在公共道路上，道路标识的颜色大多为黄色或白色，偶有其他颜色的车道线。在图像识别的技术中，通过在不同的色彩空间及不同通道下，基于色彩强烈对比的不同，可以有针对性的通过色彩阈值化和梯度阈值化，以得到相对准确的识别结果。

视觉感知获得的特征点位数据能够以较小的存储成本和较少的计算内容获得道路标识的准确位置信息和几何结构，以利于后续的俯视转换和特征点位数据拟合。

由于相机与地面之间有一倾斜角，而不是直接垂直朝下(正投影)。因此直接由车载相机的图像感知到的道路区域会构成一个梯形点云图。

从自动驾驶角度来看，车辆在同一平面上的事物与道路之间的关系是非常重要的。因此，垂直俯视角度的数据关系更利于地图的展示和分析。俯视图也叫做鸟瞰图，创建鸟瞰图的好处是图像比例一致，视野宽广，对比清晰。

逆透视单元2在俯视转换图中，道路区域的梯形点云图在俯视图(鸟瞰图)中将变成一个长方形点云图，由于车道线宽度也是基本一致的，由此，可以简化后续车道线的计算处理。

可选地，逆透视单元2用于根据车载相机的内部参数、外部参数和畸变参数，将多帧特征点位图进行逆透视变换。

由于相机与地面之间存在的倾斜角，因此相机拍摄的道路图图像不是直接垂直朝下的正投影。逆透视单元2将相机拍摄的原始图像校正成正投影的形式，就需要利用逆透视变换进行俯视转换以得到俯视图。逆透视单元2的逆透视转换可以基于逆透视变换(inverse perspective mapping)算法根据车载相机的内部参数、外部参数和畸变参数将多帧特征点位图进行逆透视变换。

在逆透视单元2的逆透视变换中，根据相机的畸变参数，将每一个视觉感知的道路标识特征点位进行解畸变。再根据相机的内部参数和外部参数，将解畸变的特征点位投射至物理世界中。此外，还可以建立以道路为基准的参考坐标系，以得到道路标识特征点位在参考坐标系中的相对坐标。对于特定的一张俯视转换图来说，也包括了相机及车辆的位姿信息，进一步根据道路标识特征点位的相对坐标，可以计算车辆在参考坐标系中相对于道路标识特征点位的坐标位置，可以由此确定拍摄时车辆在俯视转换图中的相对位置。

在一实施例中，车载相机的内部参数选自焦距及光学中心中的至少一种。

其中，焦距是光学系统中衡量光的聚集或发散的度量方式，指平行光入射时从透镜光心到光聚集之焦点的距离，也就是拍摄焦点到相机的面镜的中心点之间的距离。在相机的光学中心处，任意方向的光线通过该点时，光线的传播方向不变。因此，可以通过光轴中心点在原图中的位置，可以获取每个特征点位在以镜头的光学中心为球心的球面坐标。

在另一实施例中，车载相机的外部参数选自俯仰角、偏航角、地面高度中的至少一种。

其中，偏航角和俯仰角可以用于描述相机的姿态。具体地，俯仰角是平行于相机机身轴线并指向前方的向量与地面的夹角。偏航角是相机机体轴在水平面上的投影与地轴之间的夹角。地面高度可以用于对特征点位在坐标系投射时的转换定位。例如，参考坐标系的原点可以建立在车辆后轴中心，距离地面高度为0的位置。

通过对相机参数的标定，能够通过对相机图像中特征点位的测量，获取有具体尺度的实际数据。

根据每帧俯视转换图中特征点位在物理世界路面参考坐标系上的位置，以及相机的位姿数据，拼接单元3就可以把多帧俯视转换图按照参考坐标系中多个道路标识的相对位置拼接起来。按照拍摄的历史时间顺序，车辆在经过道路的一段距离时，将连续拍摄多帧照片。按照行车的方向，拼接单元3将道路的多帧俯视转换图按顺序纵向拼接，就能够获取到比单帧照片更长的道路视觉感知信息。对于多个不同角度相机的图像的横向拼接，可以在纵向拼接之前，也可以在纵向拼接之后。因此，道路特征点位纵拼图可以是多部相机的特征点位纵拼图横向拼接组成的。由于没有去除图像中的横向偏移信息，因此，纵向拼接后的车道特征点位纵拼图依然保留了实际弯曲车道的横向偏移信息。

车载相机在每帧图像中的位姿信息不同。融合全球导航卫星系统、惯性测量单元、轮速计等传感器信息可以获取相机的位姿信息。其中，位姿信息包括位置和姿态，位置是车载相机在空间中的三维信息，姿态是车载相机的三维旋转角度信息。当获取相机的位姿信息后，拼接单元3把对应的特征点位按照参考坐标系中的坐标，复制到特定的位置按照特定角度进行拼接。拼接后的特征点位图纵拼图，包括了历史行进道路的信息，能够在更大的物理尺度内，对多帧图像包括的更长道路图像进行视觉感知和训练。

地图匹配单元4在得到特征点位纵拼图之后，结合相机与真实世界比例参数，就可以计算出道路标识的实际大小和车辆当前距离道路标识的距离及角度，从而精确确定车辆在参考坐标系中的相对位置，作为在特征点位纵拼图上的识别位置。同时，通过特征点位纵拼图能够识别到的边界相对于车辆识别位置的距离，也能够相应确定特征点位纵拼图的区域范围。

与此同时，地图匹配单元4依据传统的车辆定位组如卫星定位设备、轮速计、惯性测量单元、光纤陀螺、车载里程计及前轮转角测量计等对车辆的定位坐标进行实时计算。通过定位设备在世界坐标系中定位的当前定位坐标，地图匹配单元4就能够在全局高精地图中对车辆的定位位置进行标定，并进一步依据特征点位纵拼图的区域范围，截取车辆的定位位置周边对应的局部高精地图。

局部高精地图不仅包含高精度的车道信息，局部高精地图里也同样存储有车道线、箭头、减速带、人行道、停止线、文字等道路标识的属性及各种道路标识特征点位在世界坐标系下的绝对坐标。在参考坐标系和世界坐标系的相同尺度下，根据各道路标识特征点位的绝对坐标，以及各道路标识的参考坐标与车辆的参考坐标的相对关系，依据特征点位纵拼图和局部高精地图中的道路标识特征点位的互相匹配，地图匹配单元4就能够得到车辆在世界坐标系下的绝对坐标。可以理解地，地图匹配单元4可以根据车辆到道路标识特征点位之间的距离和道路标识特征点位在世界坐标系下的绝对坐标，将参考坐标系下的相对定位结果进行坐标系转换，从而计算得到车辆在世界坐标系下的绝对坐标，再将车辆的绝对坐标位置标注在局部高精地图的世界坐标系中，从而实现车道内的精确定位。

由此，对两种定位结果在相同的坐标系下进行互相验证及匹配融合，在相同物理尺度下可以运用匹配融合算法对车道线视觉感知结果与局部高清地图进行匹配校验，就可以在宏观地图定位下和微观视觉感知下进一步保证车辆定位的准确性。在实际的应用中，地图匹配单元4的匹配融合算法可以使用ICP(Iterative Closest Point最近邻迭代)算法。在ICP算法中，首先分别在带匹配的目标点云和源点云中，按照相同的物理尺度和一定的约束条件，找到最邻近的特征点位，然后计算出最优匹配参数和，使得误差函数最小。在其他实施例中，地图匹配单元4的匹配融合算法也可以使用三维到二维的投影，然后在二维空间进行匹配。

另外，地图匹配单元4可以根据视觉感知的道路标识特征点位与局部高精地图中道路标识特征点位的整体匹配度，来判断当前局部高精地图的可靠度。例如，如果整体匹配度高于90％，说明当前局部高精地图是可信的。如果整体匹配度低于30％，那就说明地图错误，需要更新地图。整体匹配度介于90％－30％之间时，意味着地图数据可能需要校进一步的验证。

在先进行视觉感知识别再进行特征点位拼接的方式下，极大地降低了系统工作量和所需的存储空间。由于使用了历史行车图像的视觉感知数据，根据车道线模型以及局部地图模型的实时匹配，可以实现更大范围的匹配融合，以确定车道线检测结果的可信度。

可选地，拼接单元3还用于对纵向拼接的结果进行曲线拟合，以获取拟合特征点曲线；并根据拟合特征点曲线，对特征点位纵拼图进行修正。

曲线拟合(curve fitting)是指选择适当的曲线类型来拟合观测数据，并用拟合的曲线方程分析变量间的关系。在车载相机的图像拍摄和后续的视觉感知过程中，可能会发生不稳定的图像识别帧。例如，有一些道路标识的特征点位的坐标会发生一些偏移，或者甚至识别到了错误的特征点位。而视觉感知到的道路标识是通过一些离散的点组成的点群代表特定的道路标识。拼接单元3为了确定哪些特征点位是正确的，就可以通过曲线拟合的方式，用连续曲线近似地刻画或比拟道路平面上离散的特征点群所表示的坐标之间的函数关系，来对每一种道路标识的特征点位的坐标位置进行鉴别。

例如，对于车道线特征点位的曲线拟合中，得到候选的车道线特征点群以后，拼接单元3就可以使用二次多项式来对这些像素进行拟合。首先确定左右两条车道线的大致位置。基于时域的关联性和空间的连续性，偏离车道线拟合曲线超过偏差阈值的一个或多个点，可能就是图像识别中出现的偏差。拼接单元3在有效识别出特征点位识别偏差后，可以进而通过删除或修正的方式进行处理。例如，对于超出偏差阈值的特征点位，可以直接删除。对于连续的车道线中出现的空白，拼接单元3则予以适当补齐修正。

可选地，曲线拟合方式选自多项式拟合及NURBS曲线拟合中的至少一种。

对于直线型道路的车道线，可以采用直线拟合的方式。在实际道路中，不管是车道线标识还是箭头等标识，都可能呈现弯曲的状态。而拼接单元3通过多项式拟合的方式对弯曲的道路比较适合。NURBS曲线拟合对于自由曲面的特征点位拟合来说平滑性更好。

可选地，拼接单元3按照位姿信息将多帧俯视转换图按顺序进行纵向覆盖。

每个特征点位的坐标位置固定对应于道路参考坐标系中的特定位置。因此，当任意两帧俯视转换图中的特征点位有了相同的坐标时，代表着这两帧俯视转换图具有重合的部分。因此，拼接单元3将相同坐标的特征点位放置于同一个位置，可以将多帧俯视转换图以部分覆盖的方式叠合在一起，从而组成特征点位纵拼图。

请参阅图2，在前一帧俯视转换图2(a)和后一帧俯视转换图2(b)中，包含有相同坐标的特征点位，也就是有重复的特征点位部分。因此，拼接单元3将后一帧俯视转换图2(b)上具有与前一帧俯视转换图2(a)中相同坐标的特征点位叠放在一起，即得到了特征点位纵拼图2(c)。

可选地，拼接单元3按照位姿信息对多帧俯视转换图剪切后，进行纵向拼接。

每个特征点位的坐标位置固定对应于参考坐标系中的特定位置。因此，当任意两帧俯视转换图中的特征点位有了相同的坐标时，代表着这两帧俯视转换图具有重合的部分。因此，拼接单元3将其中一帧俯视转换图中具有重合部分的图像剪切，然后在剪切位置进行拼接，可以较少的数据组成特征点位纵拼图，从而节约系统资源。

请参阅图3，在剪切后的前一帧俯视转换图3(a)中和后一帧俯视转换图3(b)中，刚好没有相同坐标的特征点位。因此，将前一帧俯视转换图3(a)与后一帧俯视转换图3(b)按照特征点位坐标在参考坐标轴中的位置拼接，就得到了特征点位纵拼图3(c)。

可选地，地图匹配系统还包括与拼接单元连接的修正单元，在地图匹配的角度有偏差时，修正单元修正定位组的位姿角度；和/或，在地图匹配的位置有偏差时，修正单元修正定位组的位姿位置。

由于定位组的不稳定性和精度限制，在微观地图定位中的可信度低于视觉感知的结果。因此修正单元通过视觉感知的检测结果可以用来校正定位组的定位精度。例如，根据视觉感知的道路标识特征点位与局部高精地图中道路标识特征点位的整体匹配，修正单元将当前车辆定位组的偏航角顺时针偏移5度以进行位姿角度修正，将当前车辆定位组的定位基准位置向东转移1米以进行位姿位置修正。

在先进行视觉感知识别再进行特征点位拼接的方式下，极大地降低了系统工作量和所需的存储空间。由于使用了历史行车图像的视觉感知数据，根据视觉感知的道路标识特征点位与局部高精地图中道路标识特征点位的匹配计算，可以实现更大范围的匹配融合，以确定车道线检测结果的可信度。

第三实施例

另一方面，本申请还提供一种可读存储介质，具体地，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上的地图匹配方法的步骤。

第四实施例

另一方面，本申请还提供一种设备，具体地，设备包括：存储器、处理器，其中，存储器上存储有处理程序，处理程序被处理器执行时实现如上述的地图匹配方法的步骤。

在本申请提供的设备和可读存储介质的实施例中，包含了上述地图匹配方法各实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不做再赘述。

如上所述，本申请的地图匹配方法、系统、设备及可读存储介质，通过使用历史行车图像的视觉感知数据，能够实现在更大地理范围内对局部高精地图进行校验和评价，使地图匹配适应不同的复杂环境，增强算法的鲁棒性，提高检测结果可信度，同时提高了定位和导航的精度。同时，在先进行视觉感知识别再进行特征点位拼接的方式下，极大地降低了系统工作量和所需的存储空间。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种地图匹配方法，其特征在于，包括：

响应于获取车载相机拍摄的多帧图像，对所述多帧图像分别进行视觉感知处理，以获取多帧特征点位图；

对所述多帧特征点位图分别进行俯视转换，以获取对应的多帧俯视转换图；

以行车方向为纵向，按照特征点位的坐标位置，对所述多帧俯视转换图进行纵向拼接，生成特征点位纵拼图；

根据所述特征点位纵拼图，对当前定位的局部高精地图进行地图匹配。

2.如权利要求1所述的方法，其特征在于，所述生成特征点位纵拼图的步骤之后包括：

响应于所述纵向拼接，对所述纵向拼接的结果进行曲线拟合，以获取拟合特征点曲线；

根据所述拟合特征点曲线，对所述特征点位纵拼图进行修正。

3.如权利要求1所述的方法，其特征在于，所述按照特征点位的坐标位置，对所述多帧俯视转换图进行纵向拼接的步骤包括：

按照所述特征点位的坐标位置将所述多帧俯视转换图按顺序进行纵向覆盖，和/或，按照所述特征点位的坐标位置对所述多帧俯视转换图剪切后，进行纵向拼接。

4.如权利要求1所述的方法，其特征在于，所述根据所述特征点位纵拼图，对当前定位的局部高精地图进行地图匹配的步骤之后包括：

在所述特征点位纵拼图与所述局部高精地图匹配的角度有偏差时，修正定位组的位姿角度；和/或，在所述特征点位纵拼图与所述局部高精地图匹配的位置有偏差时，修正所述定位组的位姿位置。

5.一种地图匹配系统，其特征在于，包括：

视觉感知单元，用于对车载相机的拍摄的多帧图像分别进行视觉感知处理，以获取多帧特征点位图；

逆透视单元，用于对所述多帧特征点位图分别进行俯视转换，以获取对应的多帧俯视转换图；

拼接单元，用于以行车方向为纵向，按照特征点位的坐标位置，对所述多帧俯视转换图进行纵向拼接，生成特征点位纵拼图；

地图匹配单元，用于根据所述特征点位纵拼图对当前定位的局部高精地图进行地图匹配。

6.如权利要求5所述的地图匹配系统，其特征在于，所述拼接单元还用于对纵向拼接的结果进行曲线拟合，以获取拟合特征点曲线；并根据所述拟合特征点曲线，对所述特征点位纵拼图进行修正。

7.如权利要求5所述的地图匹配系统，其特征在于，所述拼接单元按照所述特征点位的坐标位置将所述多帧俯视转换图按顺序进行纵向覆盖，和/或，按照所述特征点位的坐标位置对所述多帧俯视转换图剪切后，进行纵向拼接。

8.如权利要求5所述的地图匹配系统，其特征在于，所述地图匹配系统还包括与所述拼接单元连接的修正单元，在所述特征点位纵拼图与所述局部高精地图匹配的角度有偏差时，所述修正单元修正定位组的位姿角度；和/或，在所述特征点位纵拼图与所述局部高精地图匹配的位置有偏差时，所述修正单元修正所述定位组的位姿位置。

9.一种设备，其特征在于，所述设备包括：存储器、处理器，其中，所述存储器上存储有处理程序，所述处理程序被所述处理器执行时实现如权利要求1至4中任一项所述的地图匹配方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的地图匹配方法的步骤。

Images