CN114626462B - 路面标识识别方法、装置、设备及存储介质 - Google Patents

Abstract

本公开涉及一种路面标识识别方法、装置、设备及存储介质，该方法包括：获取多帧待识别路面图像；将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，其中，所述单帧路面图像是所述多帧路面图像中的图像特征经过俯视变换后经过多次融合得到的；识别所述单帧路面图像中的路面标识。通过将多帧待识别路面图像中的图像特征经过俯视变换后经过多次融合得到单帧路面图像，不仅可以降低图像畸变，还可以保证单帧路面图像信息完整性，从而提高了路面标识识别准确性。

Description

路面标识识别方法、装置、设备及存储介质

技术领域

本公开涉及辅助驾驶技术领域，尤其涉及路面标识识别方法、装置、设备及存储介质。

背景技术

路面标识识别是自动驾驶建图必不可少的环节。例如，对路面行驶方向引导箭头识别，虚、实车道线识别，库位线识别，相关技术中，通过对车载相机采集的每一帧图像进行分割，并根据分割后的每一帧图像进行路面标识识别。然而，车载相机采集的图像有图像畸变，例如图像近大远小，存在分割困难。并且，单帧图像可能信息不全，因而存在与相似标识混淆的情况，导致标识识别准确性较低。此外，逐帧对每一帧进行图像分割，路面标识识别效率较低，难以满足自动驾驶的实时性要求。

发明内容

为克服相关技术中存在的问题，本公开提供一种路面标识识别方法、装置、设备及存储介质。

根据本公开实施例的第一方面，提供一种路面标识识别方法，包括：

获取多帧待识别路面图像；

将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，其中，所述单帧路面图像是所述多帧路面图像中的图像特征经过俯视变换后经过多次融合得到的；

识别所述单帧路面图像中的路面标识。

可选地，所述多帧待识别路面图像是不同角度的摄像头针对同一路面标识对象拍摄到的图像，和/或，同一摄像头针对同一路面标识对象连续多帧拍摄到的图像。

可选地，所述多帧待识别路面图像是不同角度的摄像头针对同一路面标识对象同时拍摄、且每一摄像头连续多帧拍摄到的图像；

所述将各所述多帧待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，包括：

将各所述待识别路面图像对应的图像特征进行俯视变换，得到对应的俯视图像特征；

将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到不同采集时刻的融合路面图像特征；

将不同采集时刻的融合路面图像特征进行融合，得到所述单帧路面图像。

可选地，所述将各所述待识别路面图像对应的图像特征进行俯视变换，得到对应的俯视图像特征，包括：

确定各所述待识别路面图像中图像特征的坐标，并根据所述图像特征以及对应的坐标，生成各所述图像特征的注意图像特征；

根据所述待识别路面图像的图像特征以及对应的注意图像特征进行点积运算，得到所述图像特征对应的数量积；

根据所述待识别路面图像的图像特征以及对应的数量积进行特征平铺，得到各所述待识别路面图像对应的俯视图像特征。

可选地，所述将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到不同采集时刻的融合路面图像特征，包括：

将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到不同采集时刻的候选融合路面图像特征；

对各所述候选融合路面图像特征进行特征分割，并在分割过程中通过所述待识别路面图像的标注俯视图像进行监督，得到不同采集时刻的融合路面图像特征。

可选地，所述将不同采集时刻的融合路面图像特征进行融合，得到所述单帧路面图像，包括：

将不同采集时刻的融合路面图像特征进行融合，得到备用单帧路面图像；

对所述备用单帧路面图像进行特征分割，并在分割过程中通过所述待识别路面图像的标注俯视图像进行监督，得到所述单帧路面图像。

可选地，所述待识别路面图像的标注俯视图像是通过以下方式得到的：

基于逆透视变换，根据各摄像头的相机参数对各所述待识别路面图像进行俯视变换，得到对应的待标注俯视图像；

获取所述待标注俯视图像对应的标注俯视图像，其中，所述标注俯视图像中标注出对应的路面标识。

可选地，所述方法包括：

根据各摄像头的变换矩阵，将识别得到的路面标识进行视角转换，以得到每一摄像头视角对应的路面标识。

根据本公开实施例的第二方面，提供一种路面标识识别装置，所述装置包括：

获取模块，被配置为获取多帧待识别路面图像；

转换融合模块，被配置为将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，其中，所述单帧路面图像是所述多帧路面图像中的图像特征经过俯视变换后经过多次融合得到的；

识别模块，被配置为识别所述单帧路面图像中的路面标识。

可选地，所述多帧待识别路面图像是不同角度的摄像头针对同一路面标识对象拍摄到的图像，和/或，同一摄像头针对同一路面标识对象连续多帧拍摄到的图像。

可选地，所述多帧待识别路面图像是不同角度的摄像头针对同一路面标识对象同时拍摄、且每一摄像头连续多帧拍摄到的图像；

所述转换融合模块，包括：

俯视变换子模块，被配置为将各所述待识别路面图像对应的图像特征进行俯视变换，得到对应的俯视图像特征；

第一融合子模块，被配置为将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到不同采集时刻的融合路面图像特征；

第二融合子模块，被配置为将不同采集时刻的融合路面图像特征进行融合，得到所述单帧路面图像。

可选地，所述俯视变换子模块，被配置为：

确定各所述待识别路面图像中图像特征的坐标，并根据所述图像特征以及对应的坐标，生成各所述图像特征的注意图像特征；

根据所述待识别路面图像的图像特征以及对应的注意图像特征进行点积运算，得到所述图像特征对应的数量积；

根据所述待识别路面图像的图像特征以及对应的数量积进行特征平铺，得到各所述待识别路面图像对应的俯视图像特征。

可选地，所述第一融合子模块，被配置为：

将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到不同采集时刻的候选融合路面图像特征；

对各所述候选融合路面图像特征进行特征分割，并在分割过程中通过所述待识别路面图像的标注俯视图像进行监督，得到不同采集时刻的融合路面图像特征。

可选地，所述第二融合子模块，被配置为：

将不同采集时刻的融合路面图像特征进行融合，得到备用单帧路面图像；

对所述备用单帧路面图像进行特征分割，并在分割过程中通过所述待识别路面图像的标注俯视图像进行监督，得到所述单帧路面图像。

可选地，所述装置还包括逆透视变换模块，被配置为：

基于逆透视变换，根据各摄像头的相机参数对各所述待识别路面图像进行俯视变换，得到对应的待标注俯视图像；

获取所述待标注俯视图像对应的标注俯视图像，其中，所述标注俯视图像中标注出对应的路面标识。

可选地，所述装置包括视角转换模块，被配置为根据各摄像头的变换矩阵，将识别得到的路面标识进行视角转换，以得到每一摄像头视角对应的路面标识。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取多帧待识别路面图像；

将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，其中，所述单帧路面图像是所述多帧路面图像中的图像特征经过俯视变换后经过多次融合得到的；

识别所述单帧路面图像中的路面标识。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的路面标识识别方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

通过获取多帧待识别路面图像；将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，其中，所述单帧路面图像是所述多帧路面图像中的图像特征经过俯视变换后经过多次融合得到的；识别所述单帧路面图像中的路面标识。通过将多帧待识别路面图像中的图像特征经过俯视变换后经过多次融合得到单帧路面图像，不仅可以降低图像畸变，还可以保证单帧路面图像信息完整性，从而提高了路面标识识别准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种路面标识识别方法的流程图。

图2是根据一示例性实施例示出的一种实现图1中步骤S12的流程图。

图3是根据一示例性实施例示出的另一种路面标识识别方法的流程图。

图4是根据一示例性实施例示出的一种路面标识识别装置的框图。

图5是根据一示例性实施例示出的一种用于路面标识识别的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

图1是根据一示例性实施例示出的一种路面标识识别方法的流程图，该方法用于车载辅助设备，例如车道偏移预警系统、自动泊车系统等，如图1所示，包括以下步骤。

在步骤S11中，获取多帧待识别路面图像。

可选地，所述多帧待识别路面图像是不同角度的摄像头针对同一路面标识对象拍摄到的图像，和/或，同一摄像头针对同一路面标识对象连续多帧拍摄到的图像。

其中，不同角度的摄像头在视角上存在交叉，以针对同一路面对象可以从不同角度采集待识别路面图像，例如，不同角度的多个摄像头两两在视角上存在交叉。

示例地，针对自动泊车系统，针对在车身不同部位安装的四个摄像头，每两个摄像头在视角上存在视角交叉，例如，安装在车辆左后尾灯处的A摄像头与安装在车辆后端车牌左侧的B摄像头存在视角交叉，B摄像头与安装在车辆后端车牌右侧的C摄像头存在视角交叉，安装在车辆右后尾灯处的D摄像头与C摄像头存在视角交叉。获取的多帧待识别路面图像是由上述四个摄像头从不同角度针对同一路面标识对象拍摄到的图像。

本公开实施例中，同一摄像头针对同一路面标识对象连续多帧拍摄到的图像可以理解为在每拍摄到一帧待识别路面图像的情况下，获取在当前待识别路面图像之前拍摄的连续多帧图像。其中，在当前待识别路面图像之前拍摄的连续多帧图像可以为已经在其他次图像俯视变换及融合中使用过。

示例地，针对待识别路面图像x之前拍摄的倒数第一帧图像a、倒数第二帧图像b、倒数第三帧图像c，在针对倒数第一帧图像a的图像俯视变换及融合中，倒数第一帧图像a、倒数第二帧图像b以及倒数第三帧图像c已经进行过图像俯视变换及融合，在针对待识别路面图像x的图像俯视变换及融合中，将待识别路面图像x、倒数第一帧图像a以及倒数第二帧图像b进行图像俯视变换及融合。

其中，在例如车道偏移预警系统、自动泊车系统启动的情况下，获取摄像头采集的多帧待识别路面图像。

在步骤S12中，将各待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像。

其中，所述单帧路面图像是多帧路面图像中的图像特征经过俯视变换后经过多次融合得到的。

本公开实施例中，可以基于逆透视的方式对各待识别路面图像中的图像特征进行俯视变换，得到各待识别路面图像对应的俯视图。进而将同一时刻不同摄像头拍摄的图像先进行融合，再将融合后的不同时刻的图像进行融合，得到单帧路面图像。

在步骤S13中，识别单帧路面图像中的路面标识。

本公开实施例中，识别得到的路面标识可以用于自动泊车系统进行停车位的车位线判断，也可以用于自动驾驶中车道线判断。

上述技术方案通过获取多帧待识别路面图像；将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，其中，所述单帧路面图像是所述多帧路面图像中的图像特征经过俯视变换后经过多次融合得到的；识别所述单帧路面图像中的路面标识。通过将多帧待识别路面图像中的图像特征经过俯视变换后经过多次融合得到单帧路面图像，不仅可以降低图像畸变，还可以保证单帧路面图像信息完整性，从而提高了路面标识识别准确性。

在上述实施例的基础上，所述多帧待识别路面图像是不同角度的摄像头针对同一路面标识对象同时拍摄、且每一摄像头连续多帧拍摄到的图像。

示例地，多帧待识别路面图像是不同角度的四个摄像头针对同一路面标识对象同时拍摄的、且每一摄像头连续拍摄了三帧待识别路面图像，因而，将12帧图像经俯视变换后，在进行多次融合得到单帧路面图像。

图2是根据一示例性实施例示出的一种实现图1中步骤S12的流程图，在步骤S12中，所述将所述多帧待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，包括以下步骤。

在步骤S121中，将各待识别路面图像对应的图像特征进行俯视变换，得到对应的俯视图像特征。

在一种实施方式中，基于逆透视的方式，将各待识别路面图像对应的图像特征进行俯视变换，得到对应的俯视图像特征。

在另一种实施方式中，在本步骤中，所述将各所述待识别路面图像对应的图像特征进行俯视变换，得到对应的俯视图像特征，包括：

确定各待识别路面图像中图像特征的坐标，并根据所述图像特征以及对应的坐标，生成各所述图像特征的注意图像特征。

本公开实施例中，首先对各待识别路面图像进行图像特征提取，得到各待识别路面图像对应的图像特征，再根据各图像特征以及各图像特征在相机坐标系中的坐标，生成对应的注意图像特征。

在一种实施方式中，将提取到处于图像坐标系下的图像特征提升到车辆坐标系所在的三维空间中，再将提升到三维空间的图像特征映射回图像坐标系下，并使用图像坐标系下的图像特征与映射回图像坐标系下的图像特征之间的循环一致性损失来确保该映射过程保留尽可能多的相关信息。

根据所述待识别路面图像的图像特征以及对应的注意图像特征进行点积运算，得到所述图像特征对应的数量积。

本公开实施例中，待识别路面图像的图像特征和注意图像特征是同样维度的向量，将待识别路面图像的图像特征在每一维度上的数据与注意图像特征对应维度上的数据相乘，并将相乘后的结果相加，得到图像特征对应的数量积。

根据所述待识别路面图像的图像特征以及对应的数量积进行特征平铺，得到各所述待识别路面图像对应的俯视图像特征。

根据所述待识别路面图像的图像特征以及对应的数量积，遍历图像特征出现的所有可能的位置，进而完成对特征的平铺，得到各所述待识别路面图像对应的俯视图像特征。

在步骤S122中，将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到不同采集时刻的融合路面图像特征。

其中，将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，可以将不同角度在空间上的图像进行融合。

在本步骤中，所述将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到不同采集时刻的融合路面图像特征，包括：

将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到不同采集时刻的候选融合路面图像特征。

在图像融合过程中，可以结合图像的平均值、熵值、标准偏差、平均梯度。其中，平均梯度反映了图像中的特征反差与特征纹理变化特征。多个角度的摄像头拍摄的待识别路面图像可以相互补充，将不完整的路面标识进行补充。

对各所述候选融合路面图像特征进行特征分割，并在分割过程中通过所述待识别路面图像的标注俯视图像进行监督，得到不同采集时刻的融合路面图像特征。

其中，本步骤中的待识别路面图像的标注俯视图像为单帧标注俯视图像，即通过逆透视变换，针对每一帧的待识别路面图像的标注俯视图像。

本公开实施例中，在空间上将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合的过程中，通过待识别路面图像的标注俯视图像进行监督，可以将融合后的图像不满足标注俯视图像的图像重新进行融合，可以提高融合图像的准确性。

通过先将同一时刻在不同角度拍摄的待识别路面图像进行融合，再在待识别路面图像的标注俯视图像的监督下，对融合后的图像进行分割，进而将得到的候选融合路面图像特征进行融合，可以避免环视图畸变，使得不同采集时刻采集的待识别路面图像融合更简单。

在步骤S123中，将不同采集时刻的融合路面图像特征进行融合，得到单帧路面图像。

在本步骤中，所述将不同采集时刻的融合路面图像特征进行融合，得到所述单帧路面图像，包括：

将不同采集时刻的融合路面图像特征进行融合，得到备用单帧路面图像。

本公开实施例中，在前面的步骤中，将不同角度的摄像头在同一时刻采集的待识别路面图像进行融合后，得到了不同采集时刻采集的连续帧融合路面图像，进而将不同采集时刻采集的连续帧的融合路面图像特征进行时序上的融合，得到备用单帧路面图像。

对所述备用单帧路面图像进行特征分割，并在分割过程中通过所述待识别路面图像的标注俯视图像进行监督，得到所述单帧路面图像。

其中，本步骤中的待识别路面图像的标注俯视图像为多帧图像对应的标注俯视图像，即可以将前述单帧标注俯视图像进行融合，去重叠后得到多帧图像对应的标注俯视图像。

同理，针对备用单帧路面图像进行特征分割，可以在待识别路面图像的标注俯视图像的监督下进行，将满足标注要求的图像特征进行融合，得到单帧路面图像。

上述技术方案中将不同采集时刻的连续帧图像进行融合，可以将清晰度较低的路面标识进行补偿，使得最后得到单帧路面图像清晰度较高。

可选地，所述待识别路面图像的标注俯视图像是通过以下方式得到的：

基于逆透视变换，根据各摄像头的相机参数对各所述待识别路面图像进行俯视变换，得到对应的待标注俯视图像；

本公开实施例中，基于逆透视变换，首先确定各待识别路面图像中图像的描述子在图像坐标系中的坐标，并根据摄像头的相机参数得到摄像头的变换矩阵，将描述子在图像坐标系中的坐标经过摄像头的变换矩阵映射到俯视空间中，进而再根据俯视空间中描述子的坐标将其他图像特征进行映射，完成俯视变换，得到对应的待标注俯视图像。

示例地，确定各待识别路面图像中图像的四个顶点在图像坐标系中的坐标，并根据摄像头的相机参数得到摄像头的变换矩阵，将四个顶点分别在图像坐标系中的坐标经过摄像头的变换矩阵映射到俯视空间中，进而再根据俯视空间中四个顶点的坐标将其他图像特征进行映射，完成俯视变换，得到对应的待标注俯视图像。

获取所述待标注俯视图像对应的标注俯视图像，其中，所述标注俯视图像中标注出对应的路面标识。

本公开实施例中，可以基于人工标注的方式，将待标注俯视图像进行对比标注，得到待标注俯视图像对应的标注俯视图像，也可以通过例如模型标准的方式，对待标注俯视图像进行标注，得到待标注俯视图像对应的标注俯视图像。

可选地，所述方法包括：

根据各摄像头的变换矩阵，将识别得到的路面标识进行视角转换，以得到每一摄像头视角对应的路面标识。

本公开实施例中，由于在图像融合前是进行了俯视变换的，在融合后进行图像识别时，转换回摄像头视角下的路面标识。可以基于摄像头的相机参数，得到相机的变换矩阵，并通过透视变换或者仿射变换等方式，将俯视的路面标识转换为摄像头视角下的路面标识，可以提高在车辆行驶过程中的感知准确性。

下面通过一具体实施例对本公开的技术方案进行说明，参见3所示，获取不同角度的摄像头在不同位置采集的连续多帧待识别路面图像，一方面，对每一帧待识别路面图像进行单帧逆透视变换，得到对应待识别路面图像的单帧标注俯视图像，在对多帧的单帧标注俯视图像进行融合，去重叠部分，得到多帧待识别路面图像对应的标注俯视图像。

另一方面，对多帧待识别路面图像中每一帧图像进行图像特征提取，得到对应的图像特征，进而对每一帧待识别路面图像的图像特征进行俯视变换，将原本处于摄像头视角的图像特征，变换到俯视视角上。在该步骤中可以通过网络建模实现。

进一步地，对俯视视角的图像特征在空间上进行融合，即将不同摄像头在同一采集时刻采集的图像特征进行融合，并针对融合后的不同采集时刻的图像，在单帧标注俯视图像的监督下，分别进行图像分割。

进一步地，针对图像分割后得到的图像，通过时序上的融合，将不同采集时刻的连续帧图像进行融合，得到单帧路面图像，并针对单帧路面图像在多帧待识别路面图像对应的标注俯视图像的监督下，进行图像分割，得到针对多帧待识别路面图像的路面标识识别结果，路面标识识别结果可用于自动驾驶的建图。

上述技术方案，在俯视图空间下进行路面标识的分割，不存在近大远小的问题，且得到结果较规整，且多帧待识别路面标识图像融合，解决了单帧图像可能显示不全，因而引起的模型歧义的误识别问题，此外，多个车载相机同时进行分割，效率较高，且输出的俯视图可直接用于建图，同时也能得到原图的分割结果。

基于相同的构思，本公开还提供一种路面标识识别装置，用于执行上述方法实施例提供的路面标识识别方法的部分或全部步骤，该装置400可以以软件、硬件或者两者相结合的方式实现路面标识识别方法。图4是根据一示例性实施例示出的一种路面标识识别装置的框图，参见4所示，所述装置400包括：获取模块410、转换融合模420和识别模块430。

其中，获取模块410，被配置为获取多帧待识别路面图像；

转换融合模块420，被配置为将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，其中，所述单帧路面图像是所述多帧路面图像中的图像特征经过俯视变换后经过多次融合得到的；

识别模块430，被配置为识别所述单帧路面图像中的路面标识。

可选地，所述多帧待识别路面图像是不同角度的摄像头针对同一路面标识对象拍摄到的图像，和/或，同一摄像头针对同一路面标识对象连续多帧拍摄到的图像。

可选地，所述多帧待识别路面图像是不同角度的摄像头针对同一路面标识对象同时拍摄、且每一摄像头连续多帧拍摄到的图像；

所述转换融合模块420，包括：

俯视变换子模块，被配置为将各所述待识别路面图像对应的图像特征进行俯视变换，得到对应的俯视图像特征；

第一融合子模块，被配置为将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到不同采集时刻的融合路面图像特征；

第二融合子模块，被配置为将不同采集时刻的融合路面图像特征进行融合，得到所述单帧路面图像。

可选地，所述俯视变换子模块，被配置为：

确定各所述待识别路面图像中图像特征的坐标，并根据所述图像特征以及对应的坐标，生成各所述图像特征的注意图像特征；

根据所述待识别路面图像的图像特征以及对应的注意图像特征进行点积运算，得到所述图像特征对应的数量积；

根据所述待识别路面图像的图像特征以及对应的数量积进行特征平铺，得到各所述待识别路面图像对应的俯视图像特征。

可选地，所述第一融合子模块，被配置为：

将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到不同采集时刻的候选融合路面图像特征；

对各所述候选融合路面图像特征进行特征分割，并在分割过程中通过所述待识别路面图像的标注俯视图像进行监督，得到不同采集时刻的融合路面图像特征。

可选地，所述第二融合子模块，被配置为：

将不同采集时刻的融合路面图像特征进行融合，得到备用单帧路面图像；

对所述备用单帧路面图像进行特征分割，并在分割过程中通过所述待识别路面图像的标注俯视图像进行监督，得到所述单帧路面图像。

可选地，所述装置还包括逆透视变换模块，被配置为：

基于逆透视变换，根据各摄像头的相机参数对各所述待识别路面图像进行俯视变换，得到对应的待标注俯视图像；

获取所述待标注俯视图像对应的标注俯视图像，其中，所述标注俯视图像中标注出对应的路面标识。

可选地，所述装置包括视角转换模块，被配置为根据各摄像头的变换矩阵，将识别得到的路面标识进行视角转换，以得到每一摄像头视角对应的路面标识。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

此外值得说明的是，为描述的方便和简洁，说明书中所描述的实施例均属于优选实施例，其所涉及的部分并不一定是本发明所必须的，例如，转换融合模420和识别模块430，在具体实施时可以是相互独立的装置也可以是同一个装置，本公开对此不作限定。

根据本公开实施例还提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取多帧待识别路面图像；

将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，其中，所述单帧路面图像是所述多帧路面图像中的图像特征经过俯视变换后经过多次融合得到的；

识别所述单帧路面图像中的路面标识。

根据本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开任一项所提供的路面标识识别方法的步骤。

图5是根据一示例性实施例示出的一种用于路面标识识别的装置500的框图。例如，装置500可以是车道偏移预警系统、自动泊车系统。

参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制装置500的整体操作，诸如与显示，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的路面标识识别方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件506为装置500的各种组件提供电力。电力组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。

多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括安装在不同部位，可以多个角度进行拍摄的多个摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，摄像头可以接收外部的多媒体数据。每个摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G和5G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述路面标识识别方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述路面标识识别方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的路面标识识别方法的代码部分。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种路面标识识别方法，其特征在于，包括：

获取多帧待识别路面图像，所述多帧待识别路面图像是不同角度的摄像头针对同一路面标识对象同时拍摄、且每一摄像头连续多帧拍摄到的图像；

将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，其中，所述单帧路面图像是所述多帧待识别路面图像中的图像特征经过俯视变换后经过多次融合得到的；

识别所述单帧路面图像中的路面标识；

其中，将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，包括：

确定各所述待识别路面图像中图像特征的坐标，并根据所述图像特征以及对应的坐标，生成各所述图像特征的注意图像特征；

根据所述待识别路面图像的图像特征以及对应的注意图像特征进行点积运算，得到所述图像特征对应的数量积；

根据所述待识别路面图像的图像特征以及对应的数量积进行特征平铺，得到各所述待识别路面图像对应的俯视图像特征；

将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到同一采集时刻的融合路面图像特征；

将多个采集时刻的融合路面图像特征进行融合，得到所述单帧路面图像。

2.根据权利要求1所述的方法，其特征在于，所述将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到同一采集时刻的融合路面图像特征，包括：

将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到同一采集时刻的候选融合路面图像特征；

对各所述候选融合路面图像特征进行特征分割，并在分割过程中通过所述待识别路面图像的标注俯视图像进行监督，得到同一采集时刻的融合路面图像特征。

3.根据权利要求1所述的方法，其特征在于，所述将多个采集时刻的融合路面图像特征进行融合，得到所述单帧路面图像，包括：

将多个采集时刻的融合路面图像特征进行融合，得到备用单帧路面图像；

对所述备用单帧路面图像进行特征分割，并在分割过程中通过所述待识别路面图像的标注俯视图像进行监督，得到所述单帧路面图像。

4.根据权利要求2或3所述的方法，其特征在于，所述待识别路面图像的标注俯视图像是通过以下方式得到的：

基于逆透视变换，根据各摄像头的相机参数对各所述待识别路面图像进行俯视变换，得到对应的待标注俯视图像；

获取所述待标注俯视图像对应的标注俯视图像，其中，所述标注俯视图像中标注出对应的路面标识。

5.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法包括：

根据各摄像头的变换矩阵，将识别得到的路面标识进行视角转换，以得到每一摄像头视角对应的路面标识。

6.一种路面标识识别装置，其特征在于，所述装置包括：

获取模块，被配置为获取多帧待识别路面图像，所述多帧待识别路面图像是不同角度的摄像头针对同一路面标识对象同时拍摄、且每一摄像头连续多帧拍摄到的图像；

转换融合模块，被配置为将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，其中，所述单帧路面图像是所述多帧待识别路面图像中的图像特征经过俯视变换后经过多次融合得到的；

识别模块，被配置为识别所述单帧路面图像中的路面标识；

所述转换融合模块，被配置为：

确定各所述待识别路面图像中图像特征的坐标，并根据所述图像特征以及对应的坐标，生成各所述图像特征的注意图像特征；

根据所述待识别路面图像的图像特征以及对应的注意图像特征进行点积运算，得到所述图像特征对应的数量积；

根据所述待识别路面图像的图像特征以及对应的数量积进行特征平铺，得到各所述待识别路面图像对应的俯视图像特征；

将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到同一采集时刻的融合路面图像特征；

将多个采集时刻的融合路面图像特征进行融合，得到所述单帧路面图像。

7.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取多帧待识别路面图像，所述多帧待识别路面图像是不同角度的摄像头针对同一路面标识对象同时拍摄、且每一摄像头连续多帧拍摄到的图像；

将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，其中，所述单帧路面图像是所述多帧待识别路面图像中的图像特征经过俯视变换后经过多次融合得到的；

识别所述单帧路面图像中的路面标识；

其中，将各所述待识别路面图像中的图像特征进行俯视变换及融合，得到单帧路面图像，包括：

确定各所述待识别路面图像中图像特征的坐标，并根据所述图像特征以及对应的坐标，生成各所述图像特征的注意图像特征；

根据所述待识别路面图像的图像特征以及对应的注意图像特征进行点积运算，得到所述图像特征对应的数量积；

根据所述待识别路面图像的图像特征以及对应的数量积进行特征平铺，得到各所述待识别路面图像对应的俯视图像特征；

将不同角度的摄像头在同一采集时刻针对同一路面标识对象拍摄的多帧待识别路面图像对应的俯视图像特征进行融合，得到同一采集时刻的融合路面图像特征；

将多个采集时刻的融合路面图像特征进行融合，得到所述单帧路面图像。

8.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-5中任一项所述方法的步骤。

Images