CN113837064B - 道路识别方法、系统和可读存储介质 - Google Patents

Abstract

本申请提供一种道路识别方法、系统和可读存储介质，道路识别方法包括：响应于获取车载相机拍摄的多帧图像，获取对应的多帧俯视转换图；以行车方向为纵向，去除所述多帧俯视转换图中的横向偏移信息；按照每帧俯视转换图中位姿中心的纵向顺序，对所述多帧俯视转换图进行纵向拼接，以获取道路直拼图像；根据所述道路直拼图像，进行视觉感知。本申请提供的道路识别方法、系统和可读存储介质，通过拼接后的道路直拼图像，能够在更大的物理尺度内，对多帧图像包括的更长道路图像进行视觉感知，有效增强了视觉感知模型的视觉感知能力，同时减少所需的存储空间。

Description

道路识别方法、系统和可读存储介质

技术领域

本申请涉及道路视觉感知技术领域，具体涉及一种道路识别方法、系统和可读存储介质。

背景技术

随着我国汽车保有量的不断增加，交通事故频发，交通安全形势非常严峻。研究结果表明约有90％的交通事故与驾驶员有关，而驾驶员的感知行为贯穿整个驾驶过程，是驾驶员进行决策和控制的基础。其中，视觉系统是驾驶员感知行为获得驾驶信息的主要通道。

目前，多数应用直接使用单帧图像进行视觉感知模型的标注和训练。但是在交通环境中，单帧图像容易存在遮挡、光照变化、信息不充分等影响，进而减弱了视觉感知的能力。为了解决单帧图像存在的缺陷，研究设计一套完整的方法用于增强感知能力非常有意义。

发明内容

本申请提供一种道路识别方法、系统和可读存储介质，用于解决交通环境中单帧图像存在缺陷，视觉感知能力弱的问题。

在一方面，本申请提供一种道路识别方法，具体地，所述道路识别方法包括：响应于获取车载相机拍摄的多帧图像，获取对应的多帧俯视转换图；以行车方向为纵向，去除所述多帧俯视转换图中的横向偏移信息；S30：按照每帧俯视转换图中位姿中心的纵向顺序，对所述多帧俯视转换图进行纵向拼接，以获取道路直拼图像；根据所述道路直拼图像，进行视觉感知。

可选地，所述道路识别方法中的所述响应于获取车载相机拍摄的多帧图像，获取对应的多帧俯视转换图包括：获取所述车载相机的内部参数、外部参数和畸变参数；根据所述车载相机的内部参数、外部参数和畸变参数，将所述多帧图像进行逆透视转换。

可选地，所述道路识别方法中的所述内部参数选自焦距、光学中心、畸变参数中的至少一种，和/或，所述外部参数选自俯仰角，偏航角、地面高度中的至少一种。

可选地，所述道路识别方法中的所述按照每帧俯视转换图中位姿中心的纵向顺序，对所述多帧俯视转换图进行纵向拼接，以获取道路直拼图像包括：响应于获取所述车载相机的位姿信息；按照所述位姿信息将所述多帧俯视转换图顺序错位覆盖拼接，和/或，按照所述位姿信息对所述多帧俯视转换图剪切后拼接。

可选地，所述道路识别方法在执行所述根据所述道路直拼图像，进行视觉感知的步骤之后包括：响应于对所述道路直拼图像进行视觉感知，生成道路特征点位图；根据每帧俯视转换图的位姿信息、位姿中心和像素来源，将每一个特征点以位姿中心为原点，根据与所述像素来源对应的位姿信息进行旋转和平移，对所述道路特征点位图进行几何恢复。

另一方面，本申请还提供一种道路视觉感知系统，具体地，所述道路视觉感知系统包括：逆透视单元，用于响应于获取车载相机拍摄的多帧图像，获取对应的多帧俯视转换图；偏移处理单元，用于以所述行车方向为纵向，去除所述多帧俯视转换图中的横向偏移信息；拼接单元，按照每帧俯视转换图中位姿中心的纵向顺序，对所述多帧俯视转换图进行纵向拼接，以获取道路直拼图像；视觉感知单元，用于根据标注的所述道路直拼图像，进行视觉感知。

可选地，所述道路视觉感知系统中的所述逆透视单元用于根据所述车载相机的内部参数、外部参数和畸变参数，将所述多帧图像进行逆透视转换。

可选地，所述道路视觉感知系统中的所述拼接单元用于响应于获取所述车载相机的位姿信息：按照所述位姿信息将所述多帧俯视转换图顺序覆盖，和/或，按照所述位姿信息对所述多帧俯视转换图剪切后拼接。

可选地，所述道路视觉感知系统中的所述道路视觉感知系统还包括几何复原单元，响应于所述视觉感知单元对所述道路直拼图像进行视觉感知生成的道路特征点位图；所述几何复原单元用于根据每帧俯视转换图的位姿信息、位姿中心和像素来源，对所述道路特征点位图进行几何恢复。

另一方面，本申请还提供一种可读存储介质，具体地，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的道路识别方法的步骤。

如上所述，本申请提供的道路识别方法、系统和可读存储介质，将通过车载相机拍摄获得的多帧俯视转换图进行纵向拼接，以根据获得的道路直拼图像进行视觉感知。由于拼接后的道路直拼图像，包括了历史行进道路的信息，因此能够在更大的物理尺度内，对多帧图像包括的更长道路图像进行视觉感知，而且便于视觉感知模型的标注、训练、推理、识别等过程，同时直线形式的图像也可以减少图片中的无用边角冗余从而减少图像占用的存储空间。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例的道路识别方法流程图。

图2为本申请一实施例的图像拼接示意图。

图3为本申请一实施例的多帧俯视转换图按顺序进行纵向覆盖示意图。

图4为本申请一实施例的多帧俯视转换图剪切拼接示意图。

图5为本申请另一实施例的道路识别方法流程图。

图6为本申请一实施的道路图像视觉感知及还原图。

图7为本申请一实施例的道路视觉感知系统方框图；

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

第一实施例

在一方面，本申请提供一种道路识别方法，图1为本申请一实施例的道路识别方法流程图。图2为本申请一实施例的图像拼接示意图。

请参阅图1，在一实施例中，道路识别方法包括：

S10：响应于获取车载相机拍摄的多帧图像，获取对应的多帧俯视转换图。

车载相机可以是一部相机或多部相机。在同一个位置，多个相机的摄像头从多个不同的角度拍摄后横向无缝拼接后的宽视角图像可以视做车载相机的一帧图像。对于多个不同角度相机的图像的横向拼接，可以在纵向拼接之前，也可以在纵向拼接之后。因此，道路特征点位纵拼图可以是多部相机的特征点位纵拼图横向拼接组成的。

优选的，车载相机搭载在车辆前方，获取车辆前方至少120°范围内的图像信息。车载相机可以是一部相机或多部相机。在同一个位置，多个相机的摄像头从多个不同的角度拍摄后横向无缝拼接后的宽视角图像可以视做车载相机的一帧图像。

其中，多帧图像代表着车辆走过的一定距离范围。本实施例中，在车辆上配置车载相机用于实时获取车辆周围的图像信息。通过对车载相机在不同时刻拍摄的多帧图像，能够把车辆在经过道路的一段距离的多帧图像，综合进行视觉感知处理，就能够获取到比单帧照片更长的道路视觉感知信息。

由于相机与地面之间有一倾斜角，而不是直接垂直朝下(正投影)。因此直接由车载相机的图像感知到的道路区域会构成一个梯形图像区。从自动驾驶角度来看，车辆在同一平面上的事物与道路之间的关系是非常重要的。因此，垂直俯视角度的数据关系更利于地图的展示和分析。俯视图也叫做鸟瞰图，创建鸟瞰图的好处是图像比例一致，视野宽广，对比清晰。在俯视转换图中，道路区域的梯形图像区在俯视图(鸟瞰图)中将变成一个长方形图像区，所以车道线宽度也是基本一致的，由此，可以简化后续车道线的计算处理。

在本实施方式中，通过对车载相机在不同时刻拍摄的多帧图像，分别进行俯视转换，可以获得多帧图像对应的正投影的俯视转换图。

在一实施例中，道路识别方法中的响应于获取车载相机拍摄的多帧图像，获取对应的多帧俯视转换图包括：

获取车载相机的内部参数、外部参数和畸变参数；根据车载相机的内部参数、外部参数和畸变参数，将多帧图像进行逆透视转换。

如上所述，由于相机与地面之间存在倾斜角，因此相机拍摄的道路图像不是直接垂直朝下的正投影。若要将图象校正成正投影的形式，就需要利用透视转换。其中，逆透视转换可以利用IPM(inverse perspective mapping)算法根据车载相机的内部参数、外部参数和畸变参数将多帧图像进行逆透视转换。

在一实施例中，道路识别方法中的内部参数选自焦距及光学中心中的至少一种。其中，焦距是光学系统中衡量光的聚集或发散的度量方式，指平行光入射时从透镜光心到光聚集之焦点的距离，也就是拍摄焦点到相机的面镜的中心点之间的距离。在相机的光学中心处，任意方向的光线通过该点时，光线的传播方向不变。因此，可以通过光轴中心点在原图中的位置，可以获取每个特征像素在以镜头的光学中心为球心的球面分布。

在逆透视变换中，根据相机的畸变参数，将每一个视觉感知的道路特征像素进行解畸变。再根据相机的内部参数和外部参数，将解畸变的特征像素投射至物理世界中。此外，还可以建立以道路为基准的参考坐标系，以得到道路特征像素在参考坐标系中的相对坐标。对于特定的一张俯视转换图来说，也包括了相机及车辆的位姿信息，进一步根据道路特征像素的相对坐标，可以计算车辆在参考坐标系中相对于道路特征像素的坐标位置，可以由此确定拍摄时车辆在俯视转换图中的相对位置。

在一实施例中，道路识别方法中的外部参数选自俯仰角、偏航角、地面高度中的至少一种。

其中，偏航角和俯仰角可以用于描述相机的姿态。具体地，俯仰角是平行于相机机身轴线并指向前方的向量与地面的夹角。偏航角是相机机体轴在水平面上的投影与地轴之间的夹角。地面高度可以用于对特征像素在坐标系投射时的转换定位。例如，参考坐标系的原点可以建立在车辆后轴中心，距离地面高度为0的位置。

通过对相机参数的标定，能够通过对相机图像中特征点位的测量，获取有具体尺度的实际数据。

S20：以行车方向为纵向，去除多帧俯视转换图中的横向偏移信息。

在视觉感知模型的训练中，不需要道路的横向偏移信息。因此，在图像拼接前，将多帧俯视转换图进行横向处理，去除弯曲道路中的横向偏移信息，能够保证拼接生成的图像宽度固定，便于后续视觉感知中的标注、训练及推理等工作，同时由于减少了图片中无用的边角冗余，也有效减少了图像占用的存储空间。

S30：按照每帧俯视转换图中位姿中心的纵向顺序，对多帧俯视转换图进行纵向拼接，以获取道路直拼图像。

每帧图片含有的位姿信息包括车载相机在拍摄时的位置和姿态，其中定位模块在车载相机拍照的同时对位姿信息进行记录。车载相机在每帧图像中的位姿信息不同。融合全球导航卫星系统、惯性测量单元、轮速计等传感器信息可以获取相机的位姿信息。其中，位姿信息中的位置是空间中的三维信息，姿态是三维旋转信息。通过逆透视变换得到的俯视转换图中，可以按照位姿信息在参考坐标轴中的投射，将车辆后轴中心距离地面为0的位置定位为俯视转换图的位姿中心。

根据车载相机的位姿信息，当计算好每帧俯视转换图的位姿中心后，把对应的图像按照位姿中心的位置，顺序复制到特定位置按照特定角度进行拼接。拼接后的道路直拼图像，包括了历史行进道路的信息，能够在更大的物理尺度内，对多帧图像包括的更长道路图像进行视觉感知。具体地，根据每帧俯视转换图中位姿中心在物理世界路面参考坐标系上的位置，以及相机的位姿数据，就可以把多帧俯视转换图按照参考坐标系中的相对位置拼接起来。按照拍摄的历史时间顺序，车辆在经过道路的一段距离时，将连续拍摄多帧照片。按照行车的方向，将道路的多帧俯视转换图按顺序纵向拼接，就能够获取到比单帧照片更长的道路信息。

请参考图2，对于多个不同角度相机的图像，例如左相机图像(a)、中相机图像(b)和右相机图像(c)的横向拼接，可以在纵向拼接之前，也可以在纵向拼接之后。因此，道路直拼图像可以是首先将多部相机的图像横向拼接，然后按照每帧俯视转换图中位姿中心的纵向顺序，也就是按照历史拍摄时间顺序，将道路的多帧俯视图像纵向拼接(请参考图2中的图像(d))，从而能够获取到行车道路更长的道路信息。由于去除了道路图像中的横向偏移信息，拼接后的图像呈现出在行车方向上的直线形式。

在一实施例中，道路识别方法中的S30：按照每帧俯视转换图中位姿中心的纵向顺序，对多帧俯视转换图进行纵向拼接，以获取道路直拼图像包括：

响应于获取车载相机的位姿信息；按照位姿信息将多帧俯视转换图按顺序进行纵向覆盖。

每帧俯视转换图位姿中心的坐标位置固定对应于道路参考坐标系中的特定位置。因此，当任意两帧俯视转换图中有了相同的道路特征时，代表着这两帧俯视转换图具有重合的部分。因此，将相同坐标的道路特征重叠放置于同一个位置，可以将多帧俯视转换图以部分覆盖的方式叠合在一起，从而组成道路直拼图像。

请参阅图3，图3为本申请一实施例的多帧俯视转换图按顺序进行纵向覆盖示意图。

如图3所示，在前一帧俯视转换图3(a)和后一帧俯视转换图3(b)中，包含有相同坐标的特征点位，也就是有重复的特征点位部分。因此，将后一帧俯视转换图3(b)上具有与前一帧俯视转换图3(a)中相同坐标的特征点位叠放在一起，即得到了特征点位纵拼图3(c)。

在另一实施例中，也可以按照位姿信息对多帧俯视转换图剪切后，进行纵向拼接。

每帧俯视转换图位姿中心的坐标位置固定对应于参考坐标系中的特定位置。因此，当任意两帧俯视转换图中的道路特征有了相同的坐标时，代表着这两帧俯视转换图具有重合的部分。因此，将其中一帧俯视转换图中具有重合部分的图像剪切，然后在剪切位置进行拼接，可以较少的数据组成特征点位纵拼图，从而节约系统资源。

请参阅图4，图4为本申请一实施例的多帧俯视转换图剪切拼接示意图。

如图4所示，在剪切后的前一帧俯视转换图4(a)中和后一帧俯视转换图4(b)中，刚好没有相同坐标的特征点位。因此，将前一帧俯视转换图4(a)与后一帧俯视转换图4(b)按照特征点位坐标在参考坐标轴中的位置拼接，就得到了特征点位纵拼图4(c)。

S40：根据标注的道路直拼图像，进行视觉感知。

视觉感知是一个基于深度学习的技术，通常需要通过标注的图像进行训练，得到视觉感知模型，然后使用视觉感知模型进行实际道路图片的视觉感知应用。对于道路图像的视觉感知，一般先经过采集道路上地面标识的样本、标注、训练等步骤得到视觉感知模型，然后将车载相机拍摄的道路图像输入训练好的视觉感知模型，以输出对于各种道路标识特征点位的识别感知。根据道路标识的不同，通过视觉感知模型可以输出包括车道线、箭头、人行道、停止线、限速标志、以及文字等元素的特征点位、属性及位置信息。

在公共道路上，道路标识的颜色大多为黄色或白色，偶有其他颜色的车道线。在图像识别的技术中，通过在不同的色彩空间及不同通道下，基于色彩强烈对比的不同，可以有针对性的通过色彩阈值化和梯度阈值化，以得到相对准确的识别结果。

视觉感知获得的特征点位数据能够以较小的存储成本和较少的计算内容获得道路标识的准确位置信息和几何结构，以便于后续的高精地图匹配，定位汽车精确的位置、或者检测地图是否过时或者存在缺陷等应用。

图5为本申请另一实施例的道路识别方法流程图。

请参阅图5，在一实施例中，道路识别方法在执行S40：根据道路直拼图像，进行视觉感知的步骤之后包括：

S41：响应于对道路直拼图像进行视觉感知，生成道路特征点位图。

S42：根据每帧俯视转换图的位姿信息、位姿中心和像素来源，对道路特征点位图进行几何恢复。

在本实施例中，通过视觉感知可以通过图像获取车道线、人行横道、限速标志等等地面上的信息。视觉感知训练可以使用汽车非实时的图像。但在需要利用视觉感知的信息与高精地图进行匹配，从而定位汽车精确的位置，或者用于检测地图是否过时或者存在缺陷时，需要利用道路图像的真实状态。

然而进行感知训练的道路直拼图像是去除了道路的横向偏移信息的，因此，视觉感知出的道路特征点位图也是缺乏横向偏移信息的。此时，就需要对道路特征点位图进行几何恢复，以利用每帧图像的位姿信息、位姿中心和像素来源恢复道路的横向偏移信息。

在对道路直拼图像进行视觉感知时，记录每一个道路特征点的位姿信息、位姿中心和特征点的像素来源。根据位姿信息和拼图时位姿中心在拼图中所在的位置，将每一个特征点以位姿中心为原点，根据位姿信息进行旋转和平移，可以进行道路特征点位图的几何恢复，从而还原出道路原有的几何形态。

图6为本申请一实施的道路图像视觉感知及还原图。

如图6所示，在一实施例中，对于图像(e)所示的一段弯曲的道路，首先将车载相机在行进中拍摄的多帧图像，去除道路弯曲信息后，按照顺序进行图像直拼，获得图像(f)。基于图像(f)进行视觉感知，获得道路特征点位图的图像(g)。最后，根据每帧图像的位姿信息、位姿中心和像素来源，对道路特征点位图中的横向弯曲信息进行几何恢复，得到真实弯曲角度的特征图像(h)。

在本实施例中，将通过车载相机拍摄获得的多帧俯视转换图进行纵向拼接，使用获得道路直线直拼图像进行视觉感知。拼接后的道路直拼图像，包括了历史行进道路的信息。因此能够在更大的物理尺度内，对多帧图像包括的更长道路图像进行视觉感知。不仅便于视觉感知模型的标注、训练、推理、识别等过程，同时直线形式的图像也可以减少图片中的无用边角冗余从而减少图像占用的存储空间。

第二实施例

另一方面，本申请还提供一种道路视觉感知系统，图7为本申请一实施例的道路视觉感知系统方框图。

请参阅图7，在一实施例中，道路视觉感知系统包括：

逆透视单元10，用于响应于获取车载相机拍摄的多帧图像，获取对应的多帧俯视转换图。

偏移处理单元20，用于以行车方向为纵向，去除多帧俯视转换图中的横向偏移信息。

拼接单元30，按照每帧俯视转换图中位姿中心的纵向顺序，对多帧俯视转换图进行纵向拼接，以获取道路直拼图像。

视觉感知单元40，用于根据标注的道路直拼图像，进行视觉感知。

逆透视单元10响应的车载相机可以是一部相机或多部相机。在同一个位置，多个相机的摄像头从多个不同的角度拍摄后横向无缝拼接后的宽视角图像可以视做车载相机的一帧图像。对于多个不同角度相机的图像的横向拼接，可以在纵向拼接之前，也可以在纵向拼接之后。因此，道路特征点位纵拼图可以是多部相机的特征点位纵拼图横向拼接组成的。

优选的，车载相机搭载在车辆前方，获取车辆前方至少120°范围内的图像信息。车载相机可以是一部相机或多部相机。在同一个位置，多个相机的摄像头从多个不同的角度拍摄后横向无缝拼接后的宽视角图像可以视做车载相机的一帧图像。

其中，多帧图像代表着车辆走过的一定距离范围。本实施例中，在车辆上配置车载相机用于实时获取车辆周围的图像信息。通过对车载相机在不同时刻拍摄的多帧图像，能够把车辆在经过道路的一段距离的多帧图像，综合进行视觉感知处理，就能够获取到比单帧照片更长的道路视觉感知信息。

由于相机与地面之间有一倾斜角，而不是直接垂直朝下(正投影)。因此直接由车载相机的图像感知到的道路区域会构成一个梯形图像区。从自动驾驶角度来看，车辆在同一平面上的事物与道路之间的关系是非常重要的。因此，垂直俯视角度的数据关系更利于地图的展示和分析。俯视图也叫做鸟瞰图，创建鸟瞰图的好处是图像比例一致，视野宽广，对比清晰。在俯视转换图中，道路区域的梯形图像区在俯视图(鸟瞰图)中将变成一个长方形图像区，所以车道线宽度也是基本一致的，由此，可以简化后续车道线的计算处理。

在本实施方式中，逆透视单元10通过对车载相机在不同时刻拍摄的多帧图像，分别进行俯视转换，可以获得多帧图像对应的正投影的俯视转换图。

在视觉感知模型的训练中，不需要道路的横向偏移信息。因此，在图像拼接前，偏移处理单元20将多帧俯视转换图进行横向处理，去除弯曲道路中的横向偏移信息，能够保证拼接生成的图像宽度固定，便于后续视觉感知中的标注、训练及推理等工作，同时由于减少了图片中无用的边角冗余，也有效减少了图像占用的存储空间。

每帧图片含有的位姿信息包括车载相机在拍摄时的位置和姿态，其中定位模块在车载相机拍照的同时对位姿信息进行记录。车载相机在每帧图像中的位姿信息不同。融合全球导航卫星系统、惯性测量单元、轮速计等传感器信息可以获取相机的位姿信息。其中，位姿信息中的位置是空间中的三维信息，姿态是三维旋转信息。通过逆透视变换得到的俯视转换图中，可以按照位姿信息在参考坐标轴中的投射，将车辆后轴中心距离地面为0的位置定位为俯视转换图的位姿中心。

根据车载相机的位姿信息，当计算好每帧俯视转换图的位姿中心后，拼接单元30把对应的图像按照位姿中心的位置，顺序复制到特定位置按照特定角度进行拼接。拼接后的道路直拼图像，包括了历史行进道路的信息，能够在更大的物理尺度内，对多帧图像包括的更长道路图像进行视觉感知。具体地，根据每帧俯视转换图中位姿中心在物理世界路面参考坐标系上的位置，以及相机的位姿数据，就可以把多帧俯视转换图按照参考坐标系中的相对位置拼接起来。按照拍摄的历史时间顺序，车辆在经过道路的一段距离时，将连续拍摄多帧照片。按照行车的方向，拼接单元30将道路的多帧俯视转换图按顺序纵向拼接，就能够获取到比单帧照片更长的道路信息。

请参考图2，对于多个不同角度相机的图像，例如左相机图像(a)、中相机图像(b)和右相机图像(c)的横向拼接，可以在纵向拼接之前，也可以在纵向拼接之后。因此，道路直拼图像可以是首先将多部相机的图像横向拼接。然后按照每帧俯视转换图中位姿中心的纵向顺序，也就是按照历史拍摄时间顺序，将道路的多帧俯视图像纵向拼接(请参考图2中的图像(d))，从而能够获取到行车道路更长的道路信息。由于去除了道路图像中的横向偏移信息，拼接后的图像呈现出在行车方向上的直线形式。

视觉感知是一个基于深度学习的技术，视觉感知单元40通常需要通过标注的图像进行训练，得到视觉感知模型，然后使用视觉感知模型进行实际道路图片的视觉感知应用。对于道路图像的视觉感知，视觉感知单元40一般先经过采集道路上地面标识的样本、标注、训练等步骤得到视觉感知模型，然后将车载相机拍摄的道路图像输入训练好的视觉感知模型，以输出对于各种道路标识特征点位的识别感知。根据道路标识的不同，通过视觉感知模型可以输出包括车道线、箭头、人行道、停止线、限速标志、以及文字等元素的特征点位、属性及位置信息。

在公共道路上，道路标识的颜色大多为黄色或白色，偶有其他颜色的车道线。在图像识别的技术中，通过在不同的色彩空间及不同通道下，基于色彩强烈对比的不同，可以有针对性的通过色彩阈值化和梯度阈值化，以得到相对准确的识别结果。

视觉感知获得的特征点位数据能够以较小的存储成本和较少的计算内容获得道路标识的准确位置信息和几何结构，以便于后续的高精地图匹配，定位汽车精确的位置、或者检测地图是否过时或者存在缺陷等应用。

在本实施例中，逆透视单元10将通过车载相机拍摄的多帧图像获得对应的多帧俯视转换图，偏移处理单元20将多帧俯视转换图进行横向剪切，去除偏移多余信息，拼接单元30再进行纵向拼接，视觉感知单元40获得道路直线直拼图像进行视觉感知。拼接后的道路直拼图像，包括了历史行进道路的信息。因此能够在更大的物理尺度内，对多帧图像包括的更长道路图像进行视觉感知训练。不仅便于视觉感知模型的标注、训练、推理、识别等过程，同时直线形式的图像也可以减少图片中的无用边角冗余从而减少图像占用的存储空间。

在一实施例中，道路视觉感知系统中的逆透视单元10用于根据车载相机的内部参数、外部参数和畸变参数，将多帧图像进行逆透视转换。

如上所述，由于相机与地面之间存在倾斜角，因此相机拍摄的道路图像不是直接垂直朝下的正投影。若要将图象校正成正投影的形式，就需要利用透视转换。其中，逆透视转换可以利用IPM(inverse perspective mapping)算法根据车载相机的内部参数、外部参数和畸变参数将多帧图像进行逆透视转换。

在一实施例中，道路识别方法中的内部参数选自焦距及光学中心中的至少一种。其中，焦距是光学系统中衡量光的聚集或发散的度量方式，指平行光入射时从透镜光心到光聚集之焦点的距离，也就是拍摄焦点到相机的面镜的中心点之间的距离。在相机的光学中心处，任意方向的光线通过该点时，光线的传播方向不变。因此，可以通过光轴中心点在原图中的位置，可以获取每个特征像素在以镜头的光学中心为球心的球面分布。

在逆透视变换中，根据相机的畸变参数，将每一个视觉感知的道路特征像素进行解畸变。再根据相机的内部参数和外部参数，将解畸变的特征像素投射至物理世界中。此外，还可以建立以道路为基准的参考坐标系，以得到道路特征像素在参考坐标系中的相对坐标。对于特定的一张俯视转换图来说，也包括了相机及车辆的位姿信息，进一步根据道路特征像素的相对坐标，可以计算车辆在参考坐标系中相对于道路特征像素的坐标位置，可以由此确定拍摄时车辆在俯视转换图中的相对位置。

在一实施例中，道路识别方法中的外部参数选自俯仰角、偏航角、地面高度中的至少一种。

其中，偏航角和俯仰角可以用于描述相机的姿态。具体地，俯仰角是平行于相机机身轴线并指向前方的向量与地面的夹角。偏航角是相机机体轴在水平面上的投影与地轴之间的夹角。地面高度可以用于对特征像素在坐标系投射时的转换定位。例如，参考坐标系的原点可以建立在车辆后轴中心，距离地面高度为0的位置。

通过对相机参数的标定，能够通过对相机图像中特征点位的测量，获取有具体尺度的实际数据。

在一实施例中，道路视觉感知系统中的拼接单元30用于按照位姿信息将多帧俯视转换图按顺序进行纵向覆盖。

每帧俯视转换图位姿中心的坐标位置固定对应于道路参考坐标系中的特定位置。因此，当任意两帧俯视转换图中有了相同的道路特征时，代表着这两帧俯视转换图具有重合的部分。因此，将相同坐标的道路特征重叠放置于同一个位置，可以将多帧俯视转换图以部分覆盖的方式叠合在一起，从而组成道路直拼图像。

请参阅图3，在前一帧俯视转换图3(a)和后一帧俯视转换图3(b)中，包含有相同坐标的特征点位，也就是有重复的特征点位部分。因此，将后一帧俯视转换图3(b)上具有与前一帧俯视转换图3(a)中相同坐标的特征点位叠放在一起，即得到了特征点位纵拼图3(c)。

在另一实施例中，道路视觉感知系统中的拼接单元30也可以按照位姿信息对多帧俯视转换图剪切后，进行纵向拼接。

每帧俯视转换图位姿中心的坐标位置固定对应于参考坐标系中的特定位置。因此，当任意两帧俯视转换图中的道路特征有了相同的坐标时，代表着这两帧俯视转换图具有重合的部分。因此，将其中一帧俯视转换图中具有重合部分的图像剪切，然后在剪切位置进行拼接，可以较少的数据组成特征点位纵拼图，从而节约系统资源。

请参阅图4，图4为本申请一实施例的多帧俯视转换图剪切拼接示意图。

如图4所示，在剪切后的前一帧俯视转换图4(a)中和后一帧俯视转换图4(b)中，刚好没有相同坐标的特征点位。因此，将前一帧俯视转换图4(a)与后一帧俯视转换图4(b)按照特征点位坐标在参考坐标轴中的位置拼接，就得到了特征点位纵拼图4(c)。

请继续参阅图7，在一实施例中，道路视觉感知系统还包括几何复原单元50，响应于视觉感知单元40对道路直拼图像进行视觉感知生成的道路特征点位图；几何复原单元50用于根据每帧俯视转换图的位姿信息、位姿中心和像素来源，对道路特征点位图进行几何恢复。

通过视觉感知可以通过图像获取车道线、人行横道、限速标志等等地面上的信息。视觉感知训练可以使用汽车非实时的图像。但在需要利用视觉感知的信息与高精地图进行匹配，从而定位汽车精确的位置，或者用于检测地图是否过时或者存在缺陷时，需要利用道路图像的真实状态。

然而进行感知训练的道路直拼图像内容是去除了道路的横向偏移信息的，因此，视觉感知出的道路特征点位图也是缺乏横向偏移信息的。此时，就需要几何复原单元50对道路特征点位图进行几何恢复，以利用每帧图像的位姿信息、位姿中心和像素来源恢复道路的横向偏移信息。

在对道路直拼图像进行视觉感知时，记录每一个道路特征点的位姿信息、位姿中心和特征点的像素来源。根据位姿信息和拼图时位姿中心在拼图中所在的位置，将每一个特征点以位姿中心为原点，根据位姿信息进行旋转和平移，可以进行道路特征点位图的几何恢复，从而还原出道路原有的几何形态。

如图6所示，在一实施例中，对于图像(e)所示的一段弯曲的道路，首先将车载相机在行进中拍摄的多帧图像，去除道路弯曲信息后，按照顺序进行图像直拼，获得图像(f)。基于图像(f)进行视觉感知，获得道路特征点位图的图像(g)。最后，根据每帧图像的位姿信息、位姿中心和像素来源，对道路特征点位图中的横向弯曲信息进行几何恢复，得到真实弯曲角度的特征图像(h)。

本申请提供的道路视觉感知系统，将通过车载相机拍摄获得的多帧俯视转换图进行纵向拼接，以根据获得的道路直拼图像进行视觉感知。由于拼接后的道路直拼图像，包括了历史行进道路的信息，因此能够在更大的物理尺度内，对多帧图像包括的更长道路图像进行视觉感知，而且便于视觉感知模型的标注、训练、推理、识别等过程，同时直线形式的图像也可以减少图片中的无用边角冗余从而减少图像占用的存储空间。

第三实施例

另一方面，本申请还提供一种可读存储介质，具体地，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上所述的道路识别方法的步骤。

在本申请提供的设备、芯片、计算机程序产品和可读存储介质的实施例中，包含了上述道路识别方法各实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不做再赘述。

如上所述，本申请提供的道路识别方法、系统和可读存储介质，通过拼接后的道路直拼图像，能够在更大的物理尺度内，对多帧图像包括的更长道路图像进行视觉感知，有效增强了视觉感知模型在交通环境中的道路视觉感知能力，同时减少了图像占用的存储空间，有益于视觉感知模型的标注、训练、推理等过程。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种道路识别方法，其特征在于，包括：

响应于获取车载相机拍摄的多帧图像，获取对应的多帧俯视转换图；

以行车方向为纵向，去除所述多帧俯视转换图中的横向偏移信息；

按照每帧俯视转换图中位姿中心的纵向顺序，对所述多帧俯视转换图进行纵向拼接，以获取道路直拼图像；

根据所述道路直拼图像，进行视觉感知。

2.如权利要求1所述的方法，其特征在于，所述响应于获取车载相机拍摄的多帧图像，获取对应的多帧俯视转换图包括：

获取所述车载相机的内部参数、外部参数和畸变参数；

根据所述车载相机的内部参数、外部参数和畸变参数，将所述多帧图像进行逆透视转换。

3.如权利要求2所述的方法，其特征在于，所述内部参数选自焦距、光学中心、畸变参数中的至少一种，和/或，所述外部参数选自俯仰角，偏航角、地面高度中的至少一种。

4.如权利要求1所述的方法，其特征在于，所述按照每帧俯视转换图中位姿中心的纵向顺序，对所述多帧俯视转换图进行纵向拼接，以获取道路直拼图像包括：

响应于获取所述车载相机的位姿信息；

按照所述位姿信息将所述多帧俯视转换图顺序错位覆盖，以进行纵向拼接，和/或，按照所述位姿信息对所述多帧俯视转换图剪切后，进行纵向拼接。

5.如权利要求1所述的方法，其特征在于，所述根据所述道路直拼图像，进行视觉感知的步骤之后包括：

响应于对所述道路直拼图像进行视觉感知，生成道路特征点位图；

根据每帧俯视转换图的位姿信息、位姿中心和像素来源，将每一个特征点以位姿中心为原点，根据与所述像素来源对应的位姿信息进行旋转和平移，对所述道路特征点位图进行几何恢复。

6.一种道路视觉感知系统，其特征在于，包括：

逆透视单元，用于响应于获取车载相机拍摄的多帧图像，获取对应的多帧俯视转换图；

偏移处理单元，用于以行车方向为纵向，去除所述多帧俯视转换图中的横向偏移信息；

拼接单元，按照每帧俯视转换图中位姿中心的纵向顺序，对所述多帧俯视转换图进行纵向拼接，以获取道路直拼图像；

视觉感知单元，用于根据标注的所述道路直拼图像，进行视觉感知。

7.如权利要求6所述的系统，其特征在于，所述逆透视单元用于根据所述车载相机的内部参数、外部参数和畸变参数，将所述多帧图像进行逆透视转换。

8.如权利要求6所述的系统，其特征在于，所述拼接单元用于响应于获取所述车载相机的位姿信息：

按照所述位姿信息将所述多帧俯视转换图按顺序进行纵向覆盖，和/或，按照所述位姿信息对所述多帧俯视转换图剪切后，进行纵向拼接。

9.如权利要求6所述的系统，其特征在于，所述道路视觉感知系统还包括几何复原单元，响应于所述视觉感知单元对所述道路直拼图像进行视觉感知生成的道路特征点位图；所述几何复原单元用于根据每帧俯视转换图的位姿信息、位姿中心和像素来源，对所述道路特征点位图进行几何恢复。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的道路识别方法的步骤。