CN115546752A - 高精地图的车道线标注方法和装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种高精地图的车道线标注方法和装置、电子设备和存储介质，该方法包括：获取当前的道路图像数据和激光点云数据；利用预设图像语义分割模型对道路图像数据进行语义分割，得到第一图像语义分割结果，包括道路图像中的车道线离散点的位置和类别；利用预设点云语义分割模型对激光点云数据进行语义分割，得到点云语义分割结果，包括3D空间中的车道线3D点的位置；对第一图像语义分割结果和点云语义分割结果进行融合，以此在高精地图中进行车道线标注。本申请将车道线的图像语义分割结果与点云语义分割结果进行融合，弥补了图像语义分割得到的车道线位置不准确以及点云语义分割得到的车道线类别不准确的问题，提高了车道线标注的准确性。

Description

高精地图的车道线标注方法和装置、电子设备和存储介质

技术领域

本申请涉及高精地图技术领域，尤其涉及一种高精地图的车道线标注方法和装置、电子设备和存储介质。

背景技术

随着自动驾驶技术的快速发展，应用于自动驾驶的感知、控制、定位和高精地图等技术也在不断的发展，其目的就是为了保证自动驾驶车辆的安全，其中高精地图在自动驾驶过程中占据着重要作用，其为自动驾驶车辆提供当前行驶的道路和周围交通标示等信息，对车道偏移和轨迹规划起到了至关重要的作用，同时也为自动驾驶车辆提供了重要的安全保证。

高精地图的标注方法主要包括人工标注以及结合自动化标注和人工修复这两种，随着深度学习的不断发展，深度学习模型也逐渐应用到高精地图的自动化标注过程中，这些模型经过了数据训练，能够学习到较多的语义信息，因此即使在图像中没有标记的情况下，也仍能分割出车道线。

然而，上述基于人工标注实现的方案需要花费大量的人工进行高精地图标注，时间成本和人工成本较高，而自动化标注和人工修复相结合的方案则大多基于单一数据如点云数据或者图像数据来实现，导致生成的高精地图的准确率和召回率较低，自动化标注效果不好，且人工修复同样需要花费大量的时间成本和人工成本。通过深度学习模型基于数据驱动的方法虽然容易对道路场景变化进行扩展，但同样基于一种数据如点云数据或者图像数据得到的结果仍具有局限性，例如，基于图像分割出的车道线位置不够准确，基于点云分割出的车道线类别不够准确等。

发明内容

本申请实施例提供了一种高精地图的车道线标注方法和装置、电子设备和存储介质，以提高车道线标注的准确性和标注效率。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种高精地图的车道线标注方法，其中，所述方法包括：

获取当前的道路图像数据和对应的激光点云数据；

利用预设图像语义分割模型对所述道路图像数据进行语义分割，得到第一图像语义分割结果，所述第一图像语义分割结果包括道路图像中的车道线离散点的位置和类别；

利用预设点云语义分割模型对所述激光点云数据进行语义分割，得到点云语义分割结果，所述点云语义分割结果包括3D空间中的车道线3D点的位置；

对所述第一图像语义分割结果和所述点云语义分割结果进行融合，得到车道线识别结果，以根据所述车道线识别结果在高精地图中进行车道线标注。

可选地，所述利用预设图像语义分割模型对所述道路图像数据进行语义分割，得到第一图像语义分割结果包括：

利用所述预设图像语义分割模型中的特征金字塔网络对所述道路图像数据进行特征提取，得到道路图像的特征图；

对所述道路图像的特征图进行网格划分，得到包含多个网格的特征图；

利用所述预设图像语义分割模型中的预测网络对包含多个网格的特征图进行预测，得到特征图预测结果；

根据所述特征图预测结果确定所述道路图像中的车道线离散点的位置和类别。

可选地，所述特征图预测结果包括特征图中的各个网格的类别，所述根据所述特征图预测结果确定所述道路图像中的车道线离散点的位置和类别包括：

根据特征图中的各个网格的类别确定车道线所在网格；

根据所述车道线所在网格的中心位置确定车道线离散点的初始位置；

对包含多个网格的特征图进行卷积处理，得到所述车道线所在网格的中心位置修正值；

利用所述车道线所在网格的中心位置修正值对所述车道线离散点的初始位置进行修正，得到车道线离散点的修正位置。

可选地，所述对所述第一图像语义分割结果和所述点云语义分割结果进行融合包括：

将所述道路图像中的车道线离散点投影到3D空间中，得到所述车道线离散点在3D空间中的投影点；

根据所述车道线离散点在3D空间中的投影点，对所述3D空间中的车道线3D点进行筛选；

根据筛选后的车道线3D点确定所述车道线识别结果。

可选地，所述根据所述车道线离散点在3D空间中的投影点，对所述3D空间中的车道线3D点进行筛选包括：

以所述车道线离散点在3D空间中的投影点的位置为中心构建预设大小的球体；

确定所述3D空间中位于所述预设大小的球体中的3D点，作为所述投影点对应的候选匹配点；

根据所述候选匹配点的类别得分确定所述3D空间中与所述投影点相匹配的3D点；

将与所述投影点相匹配的3D点作为筛选后的车道线3D点。

可选地，所述根据筛选后的车道线3D点确定所述车道线识别结果包括：

将所述筛选后的车道线3D点的位置作为最终的车道线离散点的位置；

根据所述投影点对应的类别确定所述筛选后的车道线3D点的类别，并作为最终的车道线离散点的类别；

将最终的车道线离散点的位置和最终的车道线离散点的类别作为所述车道线识别结果。

可选地，所述预设图像语义分割模型通过如下方式训练得到：

获取训练样本图像，并将所述训练样本图像输入预设图像语义分割模型，得到第二图像语义分割结果；

根据所述第二图像语义分割结果确定各个车道线离散点在训练样本图像中的相对位置；

根据各个车道线离散点在道路图像中的相对位置确定各个车道线离散点对应的损失权重；

根据所述各个车道线离散点对应的损失权重确定所述预设图像语义分割模型的损失值，并利用所述预设图像语义分割模型的损失值更新所述预设图像语义分割模型的参数，得到训练后的预设图像语义分割模型。

第二方面，本申请实施例还提供一种高精地图的车道线标注装置，其中，所述装置包括：

获取单元，用于获取当前的道路图像数据和对应的激光点云数据；

第一语义分割单元，用于利用预设图像语义分割模型对所述道路图像数据进行语义分割，得到第一图像语义分割结果，所述第一图像语义分割结果包括道路图像中的车道线离散点的位置和类别；

第二语义分割单元，用于利用预设点云语义分割模型对所述激光点云数据进行语义分割，得到点云语义分割结果，所述点云语义分割结果包括3D空间中的车道线3D点的位置；

融合单元，用于对所述第一图像语义分割结果和所述点云语义分割结果进行融合，得到车道线识别结果，以根据所述车道线识别结果在高精地图中进行车道线标注。

第三方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的高精地图的车道线标注方法，先获取当前的道路图像数据和对应的激光点云数据；然后利用预设图像语义分割模型对道路图像数据进行语义分割，得到第一图像语义分割结果，第一图像语义分割结果包括道路图像中的车道线离散点的位置和类别；之后利用预设点云语义分割模型对激光点云数据进行语义分割，得到点云语义分割结果，点云语义分割结果包括3D空间中的车道线3D点的位置；最后对第一图像语义分割结果和点云语义分割结果进行融合，得到车道线识别结果，以根据车道线识别结果在高精地图中进行车道线标注。本申请实施例的高精地图的车道线标注方法将车道线的图像语义分割结果与点云语义分割结果进行融合，弥补了基于图像语义分割结果得到的车道线位置不准确的问题，以及基于点云语义分割结果得到的车道线类别不准确的问题，提高了车道线标注的准确性，且通过车道线点的离散化处理，提高了车道线标注效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种高精地图的车道线标注方法的流程示意图；

图2为本申请实施例中一种高精地图的车道线标注装置的结构示意图；

图3为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供了一种高精地图的车道线标注方法，如图1所示，提供了本申请实施例中一种高精地图的车道线标注方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S140：

步骤S110，获取当前的道路图像数据和对应的激光点云数据。

本申请实施例的高精地图的车道线标注方法可以由车端来执行，车辆上事先安装有相机和激光雷达，调整好参数即可实时正常的采集数据，在进行高精地图的车道线标注时，需要先获取当前相机采集的道路图像数据以及激光雷达采集的激光点云数据。

此外，由于相机和激光雷达的数据采集频率不同，因此为了保证后续数据处理的准确性，还可以对道路图像数据和激光点云数据进行时间同步处理。

步骤S120，利用预设图像语义分割模型对所述道路图像数据进行语义分割，得到第一图像语义分割结果，所述第一图像语义分割结果包括道路图像中的车道线离散点的位置和类别。

本申请实施例可以采用事先训练好的预设图像语义分割模型对道路图像数据进行语义分割，从而从道路图像中分割出车道线相关信息，具体包括车道线离散点的位置和类别，这里的类别是指是否是车道线的类别。

由于现有的图像语义分割模型对于图像中的车道线进行语义分割后得到的结果是连续的像素点集合，但高精地图中对于车道线的标注并不需要完全得到所有连续的车道线点，这对模型学习的难度和分割的精度要求很高。基于此，本申请实施例采用的预设图像语义分割模型输出的是车道线离散点，通过车道线离散点连线之后同样可以得到一条完整的车道线，因此能够在一定程度上降低模型学习的难度，同时也能够降低后续处理的数据量。

步骤S130，利用预设点云语义分割模型对所述激光点云数据进行语义分割，得到点云语义分割结果，所述点云语义分割结果包括3D空间中的车道线3D点的位置。

本申请实施例还需要采用事先训练好的预设点云语义分割模型对激光点云数据进行语义分割，预设点云语义分割模型可以采用PointConv算法来实现，PointConv用来在非均匀采样的3D点云数据集上执行卷积操作，实际的卷积操作可视为对连续卷积的离散近似，在3D空间中，可以将该卷积算子的权重视为相对于参考3D点的局部3D点坐标的连续函数，连续函数可通过MLP(Multilayer Perceptron，多层感知机)近似得到，由于现有的大部分算法没有考虑非均匀采样带来的影响，因此PointConv算法提出使用反向密度估计(Inverse Density Scale)的方式重新计算MLP学习到的连续函数，这一过程对应连续函数中的蒙特卡罗近似，基于此可以得到点云语义分割结果，具体包括3D空间中的车道线3D点的位置以及前景点和背景点的分类。

当然，除了采用上述预设点云语义分割模型，本领域技术人员也可以根据实际需求灵活采用其他类型的点云语义分割模型，在此不作具体限定。

步骤S140，对所述第一图像语义分割结果和所述点云语义分割结果进行融合，得到车道线识别结果，以根据所述车道线识别结果在高精地图中进行车道线标注。

由于图像语义分割结果中的车道线位置不够准确，而点云语义分割结果中的车道线类别不够准确，因此本申请实施例采取一定的融合策略将第一图像语义分割结果和点云语义分割结果进行融合，从而保证最终识别到的车道线既具有较高的位置准确度，又具有较高的类别准确度，最后基于融合后得到的车道线识别结果在高精地图中进行车道线的标注，提高了车道线标注的准确性。

本申请实施例的高精地图的车道线标注方法将车道线的图像语义分割结果与点云语义分割结果进行融合，弥补了基于图像语义分割结果得到的车道线位置不准确的问题，以及基于点云语义分割结果得到的车道线类别不准确的问题，提高了车道线标注的准确性，且通过车道线点的离散化处理，提高了车道线标注效率。

在本申请的一些实施例中，所述利用预设图像语义分割模型对所述道路图像数据进行语义分割，得到第一图像语义分割结果包括：利用所述预设图像语义分割模型中的特征金字塔网络对所述道路图像数据进行特征提取，得到道路图像的特征图；对所述道路图像的特征图进行网格划分，得到包含多个网格的特征图；利用所述预设图像语义分割模型中的预测网络对包含多个网格的特征图进行预测，得到特征图预测结果；根据所述特征图预测结果确定所述道路图像中的车道线离散点的位置和类别。

由于车道线在图像中是比较细小的，属于小目标检测物，因此本申请实施例在利用预设图像语义分割模型对道路图像数据进行语义分割时，可以先采用特征金字塔网络(Feature Pyramid Networks，简称FPN)对道路图像数据进行特征提取，从而得到相应的特征图(Feature map)，这样在进行卷积操作的过程中可以充分对车道线目标的信息进行保留。

为了得到稀疏的车道线离散点，本申请实施例对上述得到的道路图像的特征图进行了网格划分，即将特征图划分为若干个大小相同的网格，基于划分网格后的特征图进行卷积处理和预测，从而得到划分网格后的特征图的预测结果，最后再根据划分网格后的特征图的预测结果来确定道路图像中的车道线离散点的位置和类别。

在本申请的一些实施例中，所述特征图预测结果包括特征图中的各个网格的类别，所述根据所述特征图预测结果确定所述道路图像中的车道线离散点的位置和类别包括：根据特征图中的各个网格的类别确定车道线所在网格；根据所述车道线所在网格的中心位置确定车道线离散点的初始位置；对包含多个网格的特征图进行卷积处理，得到所述车道线所在网格的中心位置修正值；利用所述车道线所在网格的中心位置修正值对所述车道线离散点的初始位置进行修正，得到车道线离散点的修正位置。

基于前述实施例的预测结果能够确定出当前划分网格后的特征图中哪些网格是车道线的网格，或者确定出预测的车道线点落在哪些网格内，由于特征图中每个网格的位置范围都可以确定，因此就可以进一步确定出车道线所在网格的中心位置，将车道线所在的各个网格的中心位置作为粗略的车道线离散点的初始位置，这个过程相当于将原始分割出的连续的车道线像素点转换为了以每个网格大小为基准的车道线离散点。

由于每个网格对应的是一个位置范围，因此基于各个网格的中心位置确定出的车道线离散点的位置相对于车道线的实际位置存在一定偏差，因此可以对上述车道线离散点的初始位置进行修正，从而提高车道线离散点的位置准确性。

在对车道线离散点的初始位置进行修正时，可以采用如下方式：1)对于每一个车道线所在的网格，例如1*n个网格，可以对应生成一个卷积核；2)利用该卷积核对划分网格后的特征图进行卷积，可以得到一个新的向量，如2*n矩阵，对应于该车道线所在的n个网格，从而可以得到每个网格的位置修正值(△x,△y)；3)利用每个网格的位置修正值(△x,△y)对每个网格对应的车道线离散点的初始位置进行修正，从而得到车道线离散点的修正位置(x+△x,y+△y)。

在本申请的一些实施例中，所述对所述第一图像语义分割结果和所述点云语义分割结果进行融合包括：将所述道路图像中的车道线离散点投影到3D空间中，得到所述车道线离散点在3D空间中的投影点；根据所述车道线离散点在3D空间中的投影点，对所述3D空间中的车道线3D点进行筛选；根据筛选后的车道线3D点确定所述车道线识别结果。

由于图像语义分割结果中的车道线离散点的信息是位于图像坐标系下的二维信息，而点云语义分割结果对应的是三维空间中的车道线3D信息，因此在将二者进行融合时，可以先通过透视变换将道路图像中的车道线离散点投影到3D空间中，从而得到车道线离散点在3D空间中的投影点，由于3D空间下分割出的车道线3D点的数量很大，高精地图的实际标注中也并非需要用到所有的3D点，且点云分割结果中还会存在一些分类不准确的3D点，而基于图像语义分割得到的车道线离散点则能够提供准确的车道线点的类别信息，因此可以基于此对3D空间下分割出的车道线3D点进行筛选，从而根据筛选后的车道线3D点确定更加准确的车道线识别结果。

在本申请的一些实施例中，所述根据所述车道线离散点在3D空间中的投影点；对所述3D空间中的车道线3D点进行筛选包括：以所述车道线离散点在3D空间中的投影点的位置为中心构建预设大小的球体；确定所述3D空间中位于所述预设大小的球体中的3D点，作为所述投影点对应的候选匹配点；根据所述候选匹配点的类别得分确定所述3D空间中与所述投影点相匹配的3D点；将与所述投影点相匹配的3D点作为筛选后的车道线3D点。

由于基于图像语义分割得到的车道线位置相对于基于点云分割得到的车道线位置来说还不够准确，因此本申请实施例在对3D空间中的车道线3D点进行筛选时，可以先以车道线离散点在3D空间中的投影点位置为中心构建一个预设半径大小的球体，然后将位于球体内的所有3D点都看作是该投影点对应的候选匹配点，且由于前述实施例对车道线离散点的位置进行修正后已经进一步提高了车道线离散点的位置准确性，因此此种方式能够在一定程度上降低位置偏差的影响。

由于点云语义分割结果中也能够得到3D点的类别得分，3D点的类别得分越高，说明该3D点越有可能是车道线3D点，因此可以将球体中类别得分最高的3D点作为最终与投影点相匹配的3D点，也即最终筛选后的3D点，进而通过此种方式可以得到每一个车道线离散点的投影点相匹配的车道线3D点。

在本申请的一些实施例中，所述根据筛选后的车道线3D点确定所述车道线识别结果包括：将所述筛选后的车道线3D点的位置作为最终的车道线离散点的位置；根据所述投影点对应的类别确定所述筛选后的车道线3D点的类别，并作为最终的车道线离散点的类别；将最终的车道线离散点的位置和最终的车道线离散点的类别作为所述车道线识别结果。

基于前述实施例可以得到每一个车道线离散点的投影点相匹配的车道线3D点，因此筛选后的车道线3D点本质上也是离散化的车道线3D点，可以直接将每个车道线离散点的投影点对应的类别赋值给与其匹配的车道线3D点，得到最终的车道线离散点的类别，并将该车道线3D点的位置作为最终的车道线离散点的位置。

也即，最终的车道线识别结果中包含的车道线位置本质上来源于从点云数据中分割出的车道线3D点，而车道线类别来源于从图像中分割出的车道线离散点的类别，这样一方面弥补了图像语义分割结果中车道线位置不准确的问题，另一方面也弥补了点云语义分割结果中车道线类别不准确的问题。此外，基于图像分割出的车道线离散点的位置和类别，也实现了对车道线3D点的筛选，从而大大降低了处理的数据量，提高了车道线标注效率。

在本申请的一些实施例中，所述预设图像语义分割模型通过如下方式训练得到：获取训练样本图像，并将所述训练样本图像输入预设图像语义分割模型，得到第二图像语义分割结果；根据所述第二图像语义分割结果确定各个车道线离散点在训练样本图像中的相对位置；根据各个车道线离散点在道路图像中的相对位置确定各个车道线离散点对应的损失权重；根据所述各个车道线离散点对应的损失权重确定所述预设图像语义分割模型的损失值，并利用所述预设图像语义分割模型的损失值更新所述预设图像语义分割模型的参数，得到训练后的预设图像语义分割模型。

本申请实施例在训练预设图像语义分割模型时，需要先采集训练样本图像，然后输入预设图像语义分割模型中，得到第二图像语义分割结果，包括分割出的车道线离散点的位置和类别，通过与训练样本图像的标签信息进行比较，可以计算得到每个车道线离散点的损失值，进而可以通过损失值的大小来优化模型参数，具体采用的损失函数例如可以是交叉熵损失函数或者是Focal Loss损失函数。

考虑到车道线位置距离观测点越远，检测难度越大的情况，本申请实施例可以针对每条车道线的离散点在图像中的相对位置的不同，赋予其不同的权重，例如，车道线离散点的位置距离观测点位置，也即与图像下边界位置的距离越远，检测难度越高，那么就可以赋予其更高权重，具体可以将车道线离散点的位置到观测点位置的欧式距离的归一化结果作为车道线离散点损失的权重，最后通过加权的方式来优化模型参数，从而提高图像语义分割模型对于远处目标检测的准确率。

综上所述，本申请的高精地图的车道线标注方法至少取得了如下的技术效果：

1)与传统的车道线语义分割模型相比较，本申请的图像语义分割模型的输出结果是车道线上离散的点，而不是连续的像素点集合，这些点可直接串联成线，作为高精地图车道线的自动化标注结果，降低了模型学习的难度；

2)本申请将图像语义分割结果和点云语义分割结果进行融合，提高了车道线的位置准确率和类别准确率；

3)本申请的车道线自动化标注方法实现了端到端，减少了中间的繁琐过程，降低了人工成本和时间成本，且通过GPU(Graphics Processing Unit，图形处理器)加速还能提升检测速度到达实时要求，提高了标注效率；

4)本申请对图像语义分割模型的训练损失值的计算采用动态加权的方式，可以提高图像语义分割模型对远处目标的检测准确率。

本申请实施例还提供了一种高精地图的车道线标注装置200，如图2所示，提供了本申请实施例中一种高精地图的车道线标注装置的结构示意图，所述装置200包括：获取单元210、第一语义分割单元220、第二语义分割单元230以及融合单元240，其中：

获取单元210，用于获取当前的道路图像数据和对应的激光点云数据；

第一语义分割单元220，用于利用预设图像语义分割模型对所述道路图像数据进行语义分割，得到第一图像语义分割结果，所述第一图像语义分割结果包括道路图像中的车道线离散点的位置和类别；

第二语义分割单元230，用于利用预设点云语义分割模型对所述激光点云数据进行语义分割，得到点云语义分割结果，所述点云语义分割结果包括3D空间中的车道线3D点的位置；

融合单元240，用于对所述第一图像语义分割结果和所述点云语义分割结果进行融合，得到车道线识别结果，以根据所述车道线识别结果在高精地图中进行车道线标注。

在本申请的一些实施例中，所述第一语义分割单元220具体用于：利用所述预设图像语义分割模型中的特征金字塔网络对所述道路图像数据进行特征提取，得到道路图像的特征图；对所述道路图像的特征图进行网格划分，得到包含多个网格的特征图；利用所述预设图像语义分割模型中的预测网络对包含多个网格的特征图进行预测，得到特征图预测结果；根据所述特征图预测结果确定所述道路图像中的车道线离散点的位置和类别。

在本申请的一些实施例中，所述特征图预测结果包括特征图中的各个网格的类别，所述第一语义分割单元220具体用于：根据特征图中的各个网格的类别确定车道线所在网格；根据所述车道线所在网格的中心位置确定车道线离散点的初始位置；对包含多个网格的特征图进行卷积处理，得到所述车道线所在网格的中心位置修正值；利用所述车道线所在网格的中心位置修正值对所述车道线离散点的初始位置进行修正，得到车道线离散点的修正位置。

在本申请的一些实施例中，所述融合单元具体用于：将所述道路图像中的车道线离散点投影到3D空间中，得到所述车道线离散点在3D空间中的投影点；根据所述车道线离散点在3D空间中的投影点，对所述3D空间中的车道线3D点进行筛选；根据筛选后的车道线3D点确定所述车道线识别结果。

在本申请的一些实施例中，所述融合单元240具体用于：以所述车道线离散点在3D空间中的投影点的位置为中心构建预设大小的球体；确定所述3D空间中位于所述预设大小的球体中的3D点，作为所述投影点对应的候选匹配点；根据所述候选匹配点的类别得分确定所述3D空间中与所述投影点相匹配的3D点；将与所述投影点相匹配的3D点作为筛选后的车道线3D点。

在本申请的一些实施例中，所述融合单元240具体用于：将所述筛选后的车道线3D点的位置作为最终的车道线离散点的位置；根据所述投影点对应的类别确定所述筛选后的车道线3D点的类别，并作为最终的车道线离散点的类别；将最终的车道线离散点的位置和最终的车道线离散点的类别作为所述车道线识别结果。

在本申请的一些实施例中，所述预设图像语义分割模型通过如下方式训练得到：获取训练样本图像，并将所述训练样本图像输入预设图像语义分割模型，得到第二图像语义分割结果；根据所述第二图像语义分割结果确定各个车道线离散点在训练样本图像中的相对位置；根据各个车道线离散点在道路图像中的相对位置确定各个车道线离散点对应的损失权重；根据所述各个车道线离散点对应的损失权重确定所述预设图像语义分割模型的损失值，并利用所述预设图像语义分割模型的损失值更新所述预设图像语义分割模型的参数，得到训练后的预设图像语义分割模型。

能够理解，上述高精地图的车道线标注装置，能够实现前述实施例中提供的高精地图的车道线标注方法的各个步骤，关于高精地图的车道线标注方法的相关阐释均适用于高精地图的车道线标注装置，此处不再赘述。

图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成高精地图的车道线标注装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取当前的道路图像数据和对应的激光点云数据；

利用预设图像语义分割模型对所述道路图像数据进行语义分割，得到第一图像语义分割结果，所述第一图像语义分割结果包括道路图像中的车道线离散点的位置和类别；

利用预设点云语义分割模型对所述激光点云数据进行语义分割，得到点云语义分割结果，所述点云语义分割结果包括3D空间中的车道线3D点的位置；

对所述第一图像语义分割结果和所述点云语义分割结果进行融合，得到车道线识别结果，以根据所述车道线识别结果在高精地图中进行车道线标注。

上述如本申请图1所示实施例揭示的高精地图的车道线标注装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中高精地图的车道线标注装置执行的方法，并实现高精地图的车道线标注装置在图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中高精地图的车道线标注装置执行的方法，并具体用于执行：

获取当前的道路图像数据和对应的激光点云数据；

利用预设图像语义分割模型对所述道路图像数据进行语义分割，得到第一图像语义分割结果，所述第一图像语义分割结果包括道路图像中的车道线离散点的位置和类别；

利用预设点云语义分割模型对所述激光点云数据进行语义分割，得到点云语义分割结果，所述点云语义分割结果包括3D空间中的车道线3D点的位置；

对所述第一图像语义分割结果和所述点云语义分割结果进行融合，得到车道线识别结果，以根据所述车道线识别结果在高精地图中进行车道线标注。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种高精地图的车道线标注方法，其中，所述方法包括：

获取当前的道路图像数据和对应的激光点云数据；

利用预设图像语义分割模型对所述道路图像数据进行语义分割，得到第一图像语义分割结果，所述第一图像语义分割结果包括道路图像中的车道线离散点的位置和类别；

利用预设点云语义分割模型对所述激光点云数据进行语义分割，得到点云语义分割结果，所述点云语义分割结果包括3D空间中的车道线3D点的位置；

对所述第一图像语义分割结果和所述点云语义分割结果进行融合，得到车道线识别结果，以根据所述车道线识别结果在高精地图中进行车道线标注。

2.如权利要求1所述方法，其中，所述利用预设图像语义分割模型对所述道路图像数据进行语义分割，得到第一图像语义分割结果包括：

利用所述预设图像语义分割模型中的特征金字塔网络对所述道路图像数据进行特征提取，得到道路图像的特征图；

对所述道路图像的特征图进行网格划分，得到包含多个网格的特征图；

利用所述预设图像语义分割模型中的预测网络对包含多个网格的特征图进行预测，得到特征图预测结果；

根据所述特征图预测结果确定所述道路图像中的车道线离散点的位置和类别。

3.如权利要求2所述方法，其中，所述特征图预测结果包括特征图中的各个网格的类别，所述根据所述特征图预测结果确定所述道路图像中的车道线离散点的位置和类别包括：

根据特征图中的各个网格的类别确定车道线所在网格；

根据所述车道线所在网格的中心位置确定车道线离散点的初始位置；

对包含多个网格的特征图进行卷积处理，得到所述车道线所在网格的中心位置修正值；

利用所述车道线所在网格的中心位置修正值对所述车道线离散点的初始位置进行修正，得到车道线离散点的修正位置。

4.如权利要求1所述方法，其中，所述对所述第一图像语义分割结果和所述点云语义分割结果进行融合包括：

将所述道路图像中的车道线离散点投影到3D空间中，得到所述车道线离散点在3D空间中的投影点；

根据所述车道线离散点在3D空间中的投影点，对所述3D空间中的车道线3D点进行筛选；

根据筛选后的车道线3D点确定所述车道线识别结果。

5.如权利要求4所述方法，其中，所述根据所述车道线离散点在3D空间中的投影点，对所述3D空间中的车道线3D点进行筛选包括：

以所述车道线离散点在3D空间中的投影点的位置为中心构建预设大小的球体；

确定所述3D空间中位于所述预设大小的球体中的3D点，作为所述投影点对应的候选匹配点；

根据所述候选匹配点的类别得分确定所述3D空间中与所述投影点相匹配的3D点；

将与所述投影点相匹配的3D点作为筛选后的车道线3D点。

6.如权利要求4所述方法，其中，所述根据筛选后的车道线3D点确定所述车道线识别结果包括：

将所述筛选后的车道线3D点的位置作为最终的车道线离散点的位置；

根据所述投影点对应的类别确定所述筛选后的车道线3D点的类别，并作为最终的车道线离散点的类别；

将最终的车道线离散点的位置和最终的车道线离散点的类别作为所述车道线识别结果。

7.如权利要求1所述方法，其中，所述预设图像语义分割模型通过如下方式训练得到：

获取训练样本图像，并将所述训练样本图像输入预设图像语义分割模型，得到第二图像语义分割结果；

根据所述第二图像语义分割结果确定各个车道线离散点在训练样本图像中的相对位置；

根据各个车道线离散点在道路图像中的相对位置确定各个车道线离散点对应的损失权重；

根据所述各个车道线离散点对应的损失权重确定所述预设图像语义分割模型的损失值，并利用所述预设图像语义分割模型的损失值更新所述预设图像语义分割模型的参数，得到训练后的预设图像语义分割模型。

8.一种高精地图的车道线标注装置，其中，所述装置包括：

获取单元，用于获取当前的道路图像数据和对应的激光点云数据；

第一语义分割单元，用于利用预设图像语义分割模型对所述道路图像数据进行语义分割，得到第一图像语义分割结果，所述第一图像语义分割结果包括道路图像中的车道线离散点的位置和类别；

第二语义分割单元，用于利用预设点云语义分割模型对所述激光点云数据进行语义分割，得到点云语义分割结果，所述点云语义分割结果包括3D空间中的车道线3D点的位置；

融合单元，用于对所述第一图像语义分割结果和所述点云语义分割结果进行融合，得到车道线识别结果，以根据所述车道线识别结果在高精地图中进行车道线标注。

9.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7之任一所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7之任一所述方法。

Images