CN117953446A - 车道线标注方法、车载设备、存储介质及车辆 - Google Patents

Abstract

本申请公开了一种车道线标注方法、车载设备、存储介质及车辆。该方法包括：采集车辆行驶过程中预设时长内的多帧目标图像和对应的目标点云数据；筛选该目标点云数据，提取地面点及其强度值；将地面点投影到目标图像中的相应位置点上，并获取相应位置点的RGB值，与强度值组成点云点通道数据；将点云点通道数据输入至点云分割模型，得到鸟瞰分割图；在全局坐标系下，将鸟瞰分割图中属于同一类别标签的网格点进行堆叠；基于车辆移动轨迹，生成车辆对应两侧的车道线。通过将多帧鸟瞰分割图中属于相同类别标签的网格点进行堆叠，实现了自动生成高精车道线地图及图像标注数据，提高了标注速度，降低了标注成本，同时增强了训练得到的模型的场景泛化性。

Description

车道线标注方法、车载设备、存储介质及车辆

技术领域

本申请涉及无人驾驶技术领域，具体而言，涉及一种车道线标注方法、车载设备、存储介质及车辆。

背景技术

在无人驾驶领域中，车道线的目的是为了识别当前车道，运用不同的车道信息实时生成高精车道线地图，帮助无人驾驶系统更加准确地了解车辆所处位置以及规划车辆的行驶路径。高精车道线地图可以提供车道的具体形状、车道的坡度、曲率半径、道路细节信息等详细信息，这些信息对于无人驾驶系统的路径规划和决策具有重要意义。

目前，高精车道线的产生方式主要是通过激光雷达和图像传感器采集车辆周围的点云数据和图像数据，然后将获取的数据进行处理并人工标注车道线，最后生成高精车道线地图。尽管通过这种方式可以获得较为准确的车道线信息，但是其成本较高，需要专业的设备和处理技术，同时还需要进行人工干预和标注，增加了工作量和误差，并降低了标注效率。

发明内容

本申请主要提供一种车道线标注方法、车载设备、存储介质及车辆，以解决通过人工标注车道线，所带来的标注成本高，标注速度慢，且训练得到的模型的场景泛化性低的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种车道线标注方法。该方法包括：采集车辆行驶过程中预设时长内的多帧目标图像和对应的目标点云数据；筛选该目标点云数据，提取地面点及其强度值；将地面点投影到目标图像中的相应位置点上，并获取相应位置点的RGB值，与强度值组成点云点通道数据；将点云点通道数据输入至点云分割模型，得到鸟瞰分割图；在全局坐标系下，将鸟瞰分割图中属于同一类别标签的网格点进行堆叠；基于车辆移动轨迹，生成车辆对应两侧的车道线。

在上述实现过程中，通过筛选获取的目标点云数据，得到地面点，过滤掉了目标点云数据中的非地面点云数据，降低了从目标点云数据中获取地面点的计算量；将该地面点在目标图像上的RGB值与强度值结合得到点云点通道数据，提高了点云数据的质量，有利于后续对点云点的分类处理；采用基于深度学习算法的点云分割模型对输入的点云点通道数据进行分割，得到标注为不同类别的车道线网格点，有利于后续对车道线进行标注处理，提高标注效率；将属于同一类别标签的网格点在全局坐标系下进行堆叠，并根据车辆移动轨迹，生成车道线连接点，基于车道线连接点，自动标注出车辆两侧的车道线，相比于人工标注的方式，降低了标注成本；同时生成的车道线地图还可运用于BEV模型和2D模型的训练，解决了采用人工标注的车道线地图训练得到的模型存在场景泛化性低的问题。

在一些实施例中，所述将与所述目标图像对应的所述点云点通道数据输入至点云分割模型中，以得到对应的鸟瞰分割图，包括：将所述点云点通道数据映射至所述鸟瞰分割图中的网格点上；基于所述网格点中含有的所述点云点通道数据生成与所述网格点对应的车道线类别标签。

在上述实现过程中，根据输入的点云点通道数据的三维坐标信息，将对应的点云点映射至鸟瞰分割图中的网格点上，并提取该网格点中所含有的点云点通道数据所包含的特征，生成网格点对应的车道线类别标签；通过对每个网格点的特征进行提取和分类，可以确定每个网格点所属的车道线类别标签，提高了后续生成车道线的准确度和效率。

在一些实施例中，所述基于所述网格点中含有的所述点云点通道数据生成与所述网格点对应的车道线类别标签，包括：基于所述点云点通道数据中强度通道提取道路的边缘信息，以确定所述地面点是否属于车道线；基于所述属于车道线的所述地面点及其对应的所述点云点通道数据中RGB通道的颜色信息，区分所述地面点的类别信息；基于所述网格点所包含的所述地面点的类别信息生成车道线类别标签。

在上述实现过程中，从被投影的图像中获取地面点在图像中相应位置处的RGB值，并与激光雷达采集的该地面点的强度值组成点云点通道数据，基于该点云点通道数据，采用卷积神经网络对网格点进行分类，并确定出网格点的车道线类别；这样做，提高了网格点的分类效率的分类准确性，同时使用神经网络对格点进行分类，在不同场景下对车道线进行识别，提高了深度学习算法的鲁棒性和场景泛化能力。

在一些实施例中，所述将属于同一类别标签的所述网格点在全局坐标系下进行堆叠，并基于车辆移动轨迹，生成车辆对应两侧的车道线，包括：获取与各帧所述鸟瞰分割图对应的车辆位姿信息，其中每帧所述鸟瞰分割图对应一个预设时长获取的多帧目标图像和对应的目标点云数据；基于所述车辆位姿信息对所述鸟瞰分割图中的各所述网格点进行坐标系转换，以将各帧所述鸟瞰分割图中的所述网格点映射到所述全局坐标系中；将转换后的各所述网格点进行堆叠，并根据所述车辆的移动轨迹，从堆叠的所述网格点中选取车道线连接点；基于所述车道线连接点，生成车辆对应两侧的车道线。

在上述实现过程中，根据车辆的位姿信息，将各帧鸟瞰分割图中的网格点从鸟瞰分割图映射到全局坐标系中；并根据车辆行驶轨迹，从该堆叠的网格点中选取车道线连接点；基于该车道线连接点，生成车辆对应两侧的车道线；这样做，提高了车道线标注的效率，降低了人工标注所带来的成本，同时生成的高精车道线地图还可用于BEV模型和2D模型的训练，提高了模型的场景泛化性，也为后续无人驾驶系统进行路径规划提供了有力支持。

在一些实施例中，所述将属于同一类别标签的所述网格点在全局坐标系下进行堆叠之前，还包括：获取多帧所述鸟瞰分割图中置信度达到预设阈值的所述网格点，并对置信度达到预设阈值的所述网格点进行坐标系转换。

在上述实现过程中，置信度由卷积神经网络在训练阶段根据人工标注的网格点标签做丢失训练得到，置信度越高，代表偏差越小，准确度越高；通过将所有置信度达到预设阈值的网格点变换到全局坐标系下，提高了后续车道线的识别和标注的效率，减小了标注误差。

在一些实施例中，所述对所述目标点云数据进行筛选，以得到与所述目标图像对应的地面点及所述地面点的强度值，包括：获取与各所述目标点云数据对应的车辆位姿信息，基于所述车辆位姿信息将各所述目标点云数据进行坐标系变换，以对齐到全局坐标系下，并滤除处于车辆预设范围之外的点云数据，得到当前点云数据；采用地面拟合算法计算出所述当前点云数据的地平面，由所述地平面筛选出地面点，并获得所述地面点的强度值。

在上述实现过程中，根据车辆的位姿信息，将不同帧的点云数据转化到统一的全局坐标系下，并过滤处于车辆预设范围之外的点云数据，解决了点云数据采集过程中存在的遮挡问题，同时为后续车道线的识别提供了大量的数据；根据过滤后的点云数据，拟合出地平面，计算点云数据中各点云点到地平面的距离，筛选出该距离处于预设高度阈值内的地面点，以便于后续地面点的投影处理。

在一些实施例中，所述采用地面拟合算法计算出所述当前点云数据的地面点，包括：选取所述当前点云数据中z坐标值小于第一预设高度阈值的点云数据作为第一点云数据；在所述第一点云数据中随机选取三个点云点进行平面拟合，得到第一地平面；计算所述第一点云数据中点云点到所述第一地平面的高度距离，将所述高度距离不大于第二预设高度阈值的点云点作为内点；在预设迭代次数下，重复执行获取第一地平面和内点的步骤，并从中选取包含内点数量最多的所述第一地平面；采用最小二乘法对所述第一地平面中对应的内点进行平面拟合，得到第二地平面；计算所述第一点云数据到所述第二地平面的高度距离，将所述高度距离不大于所述第二预设高度阈值的点云点作为地面点。

在上述实现过程中，首先对离地过远的点云点进行过滤，减少了计算的复杂程度和计算时间，同时采用随机抽样一致算法计算得到第一地平面和对应的内点，对其中对应数量最多的内点进行最小二乘，得到第二地平面，并计算当前点云数据中所有点云点到第二地平面的高度距离，将不大于预设高度阈值的点云点作为地面点；这样做，在保证获取地面点效率的同时，极大程度地排除了非地面点的干扰。

在一些实施例中，所述将所述地面点投影到对应的所述目标图像中的相应位置点上，包括：从多帧所述目标图像中选取最为清晰地反映所述地面点的图像作为待投影的所述目标图像；基于所述地面点在所述全局坐标系下的位置信息，将所述地面点投影到待投影的所述目标图像中的相应位置点上。

在上述实现过程中，由于车辆的移动，不同帧获取的点云点可以对应多个时间戳的图像，为了提高获取的地面点在图像上RGB值的准确性，减少遮挡引起的错误，将最能清晰反映该地面点的目标图像作为待投影图像，并获取地面点投影至该待投影图像中的RGB值。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种存储介质，该存储介质上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现如上述车道线标注方法的步骤。

该存储介质的有益效果可以参考上述车道线标注方法的介绍，在此不再赘述。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种车载设备，该车载设备包括处理器以及与所述处理器耦接的存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，实现如上述车道线标注方法的步骤。

该车载设备的有益效果可以参考上述车道线标注方法介绍，在此不再赘述。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种车辆，所述车辆包括上述的存储介质或上述的车载设备。

该车辆的有益效果可以参考上述车道线标注方法的介绍，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：

图1是本申请提供的车道线标注方法一实施例的流程示意图；

图2是图1实施例中步骤20一实施例的流程示意图；

图3是图2实施例中步骤22一实施例的流程示意图；

图4是图1实施例中步骤30一实施例的流程示意图；

图5是图1实施例中步骤40一实施例的流程示意图；

图6是图5实施例中步骤42一实施例的流程示意图；

图7是图1实施例中步骤50一实施例的流程示意图；

图8是本申请提供的存储介质一实施例的结构示意图；

图9是本申请提供的车载设备一实施例的结构示意图；

图10是本申请提供的车辆一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。

本申请提供一种车道线标注方法，参阅图1，图1是本申请提供的车道线标注方法一实施例的流程示意图，该车道线标注方法包括：

步骤10：获取预设时长内车辆行驶过程中采集的多帧目标图像和对应的目标点云数据。

在车辆行驶过程中，具体的预设时长根据车辆的行驶速度和场景而定；当车辆行驶在高速公路上时，由于行驶速度较快，因此需要设置较短的预设时长，以便更频繁地更新车辆周围环境的信息；当车辆行驶在城市道路上时，行驶速度变慢，且路况复杂，需要设置较长的预设时长，以减少采集设备频繁工作带来的资源损耗。

例如，在1s内的车辆行驶过程采集的10帧目标图像和对应的10帧目标点云数据；且该采集过程是连续的，即在车辆行驶过程中的每一秒均进行采集。

每一张目标图像对应一帧目标点云数据，其中目标图像是由车辆的图像传感器采集，如红外摄像头、鱼眼摄像头或全景摄像头，通过该图像传感器，可以感知车辆行驶过程中周围的环境信息，包括车辆、行人、交通信号灯、交通标志物等；目标点云数据是由激光雷达采集的车辆周围的环境信息，点云是目标表面特性的海量点集合，点云越密集，反映的3D结构信息越多。

步骤20：对目标点云数据进行筛选，以得到与目标图像对应的地面点及地面点的强度值。

在完成目标点云的采集后，还需要对采集的点云数据进行筛选，该筛选操作包括将多帧目标点云数据变换到全局坐标系下，并过滤其中处于车辆预设范围之外的点云数据，同时计算该点云数据中的地平面，将处于预设高度内的点云点作为地面点。其中全局坐标系是指一个固定的参考坐标系，用于描述物体在三维空间中的位置和方向；例如，预设范围可以是自车50m、60m或100m以内，具体的取值范围可以根据实际场景的不同进行调整。

本申请在获取到车辆行驶过程中采集的目标点云数据后，根据车辆的位姿信息，该位姿信息包括车辆在全局坐标系下的坐标和转角，将不同帧采集的点云数据变换到全局坐标系下，以解决由周围其他车辆遮挡，导致的地面点云数据采集不全的问题；将多帧点云数据变换到全局坐标系后，一张图像可以对应多帧点云数据，此时过滤掉处于车辆预设范围之外的点云数据，可以简化后续的点云数据处理过程，降低计算的复杂度；采用地面拟合算法拟合得到过滤后的点云数据的地平面，该地平面为平面方程，根据该平面方程计算各点云点到地平面的距离，将该距离小于预设高度内的点云点作为地面点，其中预设高度的具体取值根据实际应用场景而定，例如：在平坦的区域，预设高度可以设置为3cm，将到地平面的距离小于3cm的点云点作为地面点；在地形复杂的区域，为了获得更多的地面信息，可将预设高度设置为5cm或其它数值。

可选地，参阅图2，对目标点云数据进行筛选，以得到与目标图像对应的地面点及地面点的强度值，可按如下步骤执行：

步骤21：获取与各目标点云数据对应的车辆位姿信息，基于车辆位姿信息将各目标点云数据进行坐标系变换，以对齐到全局坐标系下，并滤除处于车辆预设范围之外的点云数据，得到当前点云数据。

车辆位姿信息是指车辆在全局坐标系中的位置和姿态，可以通过卫星导航定位系统、惯性测量单元、激光雷达、摄像头等传感器融合的方法来获取。该全局坐标系通常是以车辆启动时的初始位置作为原点或选择其它位置作为原点得到的三维直角坐标系，通常以车辆两个后轮的中心来表示该车辆的位置，以车辆右侧方向为x轴方向，车辆前向为y轴方向，以垂直车顶向上方向为z轴方向。根据车辆位姿信息可以将每一帧点云数据从对应的车身坐标系转化到统一的全局坐标系下，该车身坐标系是用来描述车辆运动的局部坐标系，以车辆后轴中心点作为原点，x轴、y轴、z轴的标定方法和全局坐标系一致。通过获取车辆的位姿信息，可将不同帧对应的点云数据转化到统一的全局坐标系，方便后续的过滤处理。

在得到当前点云数据后，根据设定好的预设范围，对该当前点云数据进行过滤；通过过滤处于车辆预设范围之外的点云数据，可以简化后续的点云数据处理过程，降低计算的复杂度。

步骤22：采用地面拟合算法计算出当前点云数据的地平面，由地平面筛选出地面点，并获得地面点的强度值。

地面拟合算法是指通过对地面点云数据进行处理和分析，以估计地面的形状和位置的算法；其它常见的地面拟合算法包括基于最小二乘法的地平面拟合、基于RANSAC的地平面拟合、基于MLE的地平面拟合和三角网格插值法等。

通过地面拟合算法对当前点云数据进行拟合，得到平面方程，作为当前点云数据的地平面，根据该平面方程，计算当前点云数据中各点云点到地平面的距离，将该距离小于预设高度阈值的点云点作为地面点保留，并获取各地面点的强度值。强度值由激光雷达传感器采集，是反映点云点反射能力的数值，通常由0～255的8位无符号整型表示，数值越大表示反射能力越强；筛选出当前点云数据中的地面点，并获取各地面点的强度值，以便后续进行地面点地投影处理。

可选地，参阅图3，采用地面拟合算法计算出当前点云数据的地平面，由地平面筛选出地面点，可按照如下步骤执行：

步骤221：选取当前点云数据中z坐标值小于第一预设高度阈值的点云数据作为第一点云数据。

在全局坐标系中，将当前点云数据中z坐标值小于第一预设高度阈值的点云数据作为第一点云数据，该第一点云数据包括全部地面点云数据和其它还未过滤完全的干扰点云数据；这里根据第一预设高度阈值进行筛选的目的是过滤掉当前点云数据中远高于地平面的干扰点云数据，如建筑点云数据、车辆点云数据或其它远高于地平面的点云数据，通过过滤掉其中远高于地平面的点云数据，得到第一点云数据，降低了后续计算的复杂度；其中，第一预设高度阈值的设定由人为设置，可以设置为7cm、8cm或其它任意可以过滤远处于地平面之上的点云数据的值。

步骤222：在第一点云数据中随机选取三个点云点进行平面拟合，得到第一地平面。

在第一点云数据中，采用随机取样的方式选取3个点云点进行平面拟合，根据3个点云点的坐标，利用三点确定一个平面的数学知识，得到一个平面方程，将其作为第一地平面；采用随机取样的方式选取点云点可以保证选取的点云点具有代表性，能够反映整体点云的情况，并提高了计算结果的可靠性。

步骤223：计算第一点云数据中点云点到第一地平面的高度距离，将高度距离不大于第二预设高度阈值的点云点作为内点，其中第一预设高度阈值大于第二预设高度阈值。

根据第一地平面的平面方程，计算第一点云数据中各点云点到第一地平面的距离，将计算得到的距离与预设设置的第二预设高度阈值进行比较，将处于第二预设高度阈值之内的点云点作为内点，这里第二预设高度阈值可以为根据经验和多次试验后的测量结果设置的，可以设置为5cm，或其它任意符合实际应用场景，能最优地选取出地面点为前提进行设置；其中，第一预设高度阈值大于第二预设高度阈值，同时二者的取值都可以根据实际应用场景进行灵活的调整。

步骤224：在预设迭代次数下，重复执行获取第一地平面和内点的步骤，并从中选取包含内点数量最多的第一地平面。

预设迭代次数的设置可以根据实际计算情况进行调整，在计算资源充足时，可以设置一个较大的数，如迭代100次，以获得最优的第一地平面；若计算资源有限，则分析计算出来的第一地平面与实际地平面的误差，及时调整迭代次数，在保证计算准确性的同时，提高计算效率。统计内点的数量，选取包含内点数量最多的第一地平面，此时得到的第一地平面为拟合效果最优的地平面。

步骤225：采用最小二乘法对该第一地平面中对应的内点进行平面拟合，得到第二地平面。

最小二乘法是一种常用的数学优化方法，用于拟合数据点与数学模型之间的关系，通过最小化数据点与模型预测值之间的残差平方和，来确定最佳的模型参数。采用最小二乘法对该第一地平面包含的内点继续进行平面拟合，得到第二地平面，这样以较少拟合误差，提高拟合得到的平面方程的鲁棒性。

步骤226：计算第一点云数据到该第二地平面的高度距离，将高度距离不大于第二预设高度阈值的点云点作为地面点。

对第一点云数据中的点云点进行多次迭代计算得到包含内点数量最多的第一地平面，采用最小二乘法对该第一地平面对应的内点继续进行拟合，得到更符合实际地平面的第二地平面的平面方程；计算第一点云数据中各点云点到该平面方程的高度距离，选取高度距离不大于第二预设高度阈值的点云点作为地面点，以方便后续地面点的投影处理。

上述步骤通过对离地过远的点云点进行过滤，减少了计算的复杂程度和计算时间，同时采用随机抽样一致算法计算得到第一地平面和对应的内点，对其中对应数量最多的内点进行最小二乘，得到第二地平面，并计算当前点云数据中所有点云点到第二地平面的高度距离，将不大于预设高度阈值的点云点作为地面点，这样做，在保证获取地面点效率的同时，也提高了获取地面点的准确性。

步骤30：将地面点投影到对应的目标图像中的相应位置点上，并获取相应位置点的RGB值，将地面点的强度值和对应的RGB值组成点云点通道数据。

将目标图像中能最清晰反映上述各地面点的图像作为待投影图像，并根据相机的内外参，将地面点投影至待投影图像中的相应位置，从待投影的图像中选取相应位置点的RGB值，作为投影的地面点的RGB值，并与激光雷达传感器采集的强度值组成点云点通道数据。

相机的内外参是指相机的内部参数和外部参数，其中内部参数包括焦距、光学中心和畸变参数等相机本身的属性；外部参数包括相机的位置和姿态信息；获取被投影后的图像中相应位置的像素点，该像素点对应一个RGB值，即为地面点对应的RGB值；与强度值组成的点云点通道数据包括地面点的在全局坐标系中的三维坐标、RGB值和强度值。

可选地，参阅图4，将地面点投影到对应的目标图像中的相应位置点上，可按如下步骤执行：

步骤31：从多帧目标图像中选取最为清晰地反映地面点的图像作为待投影的目标图像。

由于车辆移动的原因，一个地面点可以对应到多个时间戳上的图像，为了能获取最准确的RGB值，减少遮挡引起的错误，可以根据地面点到用于拍摄目标图像的图像传感器之间的距离，选取能在图像上看的最清楚的那个时刻的图片RGB值。

例如，预设时长为1s，在该时长内获取到10帧目标图像，车辆向前运动10米，其中前3米由于拍摄角度的问题，某一区域存在遮挡物而无法准确获取到该区域的地面点，在车辆向前运动3米后，从另一角度可准确地获取该区域的地面点，从而在投影后可准确地获取该地面点的RGB值。

步骤32：基于地面点在全局坐标系下的位置信息，将地面点投影到待投影的目标图像中的相应位置点上。

获取地面点在全局坐标系下的三维坐标，通过相机的内外参，将地面点在全局坐标系下的三维坐标转化为图像坐标系下的图像坐标，并根据图像坐标投影至待投影的目标图像中的相应位置点上，以便后续获取该相应位置点的RGB值。

步骤40：将与目标图像对应的点云点通道数据输入至点云分割模型中，以得到对应的鸟瞰分割图，鸟瞰分割图包括有多种类别标签的网格点。

点云分割模型是指用于实现点云分割任务的机器学习模型或深度学习模型，可以实现将点云数据中的点按照不同的类别或物体进行分类或分割；常用的点云分割模型包括基于传统机器学习算法的点云分割模型和基于深度学习算法的点云分割模型，本申请采用基于深度学习算法的点云分割模型，利用卷积神经网络或图卷积网络在训练阶段根据人工标注的高精车道线地图做丢失训练得到，可以主动学习点云数据中的特征，并将不同特征的点云数据划分成不同的类别；其中常用的深度学习点云分割模型包括PointNet、PointNet++、PointCNN、DGCNN等；鸟瞰分割图是将点云数据在鸟瞰视角下进行分割的结果图。

将点云点通道数据输入至点云分割模型后，获取输入的点云点通道数据中各地面点的三维坐标信息，根据三维坐标信息中的x和y坐标，将各地面点映射至鸟瞰分割图中，在鸟瞰视角下，点云数据被投影到水平平面上，形成一个二维图像，该二维图像被划分成不同的网格点，每个网格点对应非常多的地面点；由神经网络对映射在鸟瞰分割图中各格点中的地面点进行特征提取和分析，并生成相应的网格点类别标签，该类别标签包括黄实线、黄虚线、白实线、白虚线、双实线、双黄线、导流线、人行道、左实右虚和左虚右实等。

可选地，参阅图5，将与目标图像对应的点云点通道数据输入至点云分割模型中，以得到对应的鸟瞰分割图，可按如下步骤执行：

步骤41：将点云点通道数据映射至鸟瞰分割图中的网格点上。

获取输入的点云点通道数据中各地面点的三维坐标信息，选取其中的x和y坐标，将各地面点映射至鸟瞰分割图上，该鸟瞰分割图是一个被划分成很多网格点的平面图。

步骤42：基于网格点中含有的点云点通道数据生成与网格点对应的车道线类别标签。

在完成映射后，每个网格点中包含许多不同类别的地面点，由神经网络根据各地面点对应的强度值和RGB值，对网格点进行分类，并生成对应的类别标签。

可选地，参阅图6，基于网格点中含有的点云点通道数据生成与网格点对应的车道线类别标签，可按如下步骤执行：

步骤421：基于点云点通道数据中强度通道提取道路的边缘信息，以确定地面点是否属于车道线。

边缘信息指代道路表面点云数据中强度通道发生显著变化的位置，这些位置可以用于确定车道线的边缘，进而区分车道线与非车道线；由于车道线通常由反射性较高的材料构成，因此属于车道线的地面点强度值要大于非车道线的地面点的强度值，通过观察点云数据中的强度通道的数值分布情况，选择一个合适的强度阈值筛选出属于车道线的地面点，强度值的取值范围为0～255，具体的取值根据实际应用场景会有所不同。通过点云点通道数据中的强度通道，提取道路的边缘信息，从各地面中中选取出属于车道线的地面点，便于后续生成网格点的类别标签，同时提高了车道线识别的准确性。

步骤422：基于属于车道线的地面点及其对应的点云点通道数据中RGB通道的颜色信息，区分地面点的类别信息。

在选取出属于车道线的地面点后，根据该地面点所对应的RGB通道，可以进一步的区分地面点的类别信息，该类别信息包括：黄实线、黄虚线、白实线、白虚线、双实线、双黄线、导流线、人行道、左实右虚和左虚右实等；具体为根据不同地面点所对应的RGB值，将RGB值接近的地面点划分成相同的类别，并由训练完成的神经网络将地面点划分成不同的类别，该神经网络在预测阶段根据标注了不同车道线类别的高精车道线地图做丢失训练而成；其中黄色车道线对应的RGB值为(255，255，0)，白色车道线对应的RGB值为(255，255，255)，根据地面点对应的RGB值，可以将地面点划分成不同的类别。通过获取地面点对应的强度通道和RGB通道，实现了对地面点的分类，同时提高了对车道线地面点的分辨能力。

步骤423：基于网格点所包含的地面点的类别信息生成车道线类别标签。

根据前述地面点的强度通道和RGB通道，神经网络可以获取到地面点的类别信息；根据网格点中所包含的地面点的类别信息，生成对应车道线类比标签，如黄实线、黄虚线、白实线等等。通过获取网格点中包含的地面点的类别信息，生成对应的网格点的类别标签，区分出属于车道线的网格点，提高了后续车道线的标注速率和准确度。

步骤50：将属于同一类别标签的网格点在全局坐标系下进行堆叠，并基于车辆移动轨迹，生成车辆对应两侧的车道线。

在获取到属于车道线的网格点后，从各帧鸟瞰分割图中获取各网格点的坐标信息，将各帧鸟瞰分割图中的网格点映射到全局坐标系中，并根据车辆行驶轨迹，从该堆叠的网格点中选取车道线连接点，并基于该车道线连接点，生成车辆对应两侧的车道线。

在执行步骤50之前，还包括：获取多帧鸟瞰分割图中置信度达到预设阈值的网格点，并对置信度达到预设阈值的网格点进行坐标系转换。

置信度表示模型对于预测结果的确定程度，在鸟瞰分割图中，点云分割模型对鸟瞰分割图上的每个网格点都进行评分，评分越高，代表点云分割模型对该网格点的预测类别确定性越高，得到的车道线类别就越准确度；通过设置预设阈值，将鸟瞰分割图中置信度大于预设阈值的网格点确定为标定的类别准确性高，小于预设阈值，则认为标定的网格点的类别准确性低，如预设阈值设定为0.7，则将置信度大于0.7的网格点确定为车道线网格点，并对其进行坐标系变换。这样做，避免了非车道线网格点的干扰，确保了后续生成车道线的准确性，同时也保证了训练数据的准确性。

可选地，参阅图7，将属于同一类别标签的网格点在全局坐标系下进行堆叠，并基于车辆移动轨迹，生成车辆对应两侧的车道线，可按如下步骤执行：

步骤51：获取与各帧鸟瞰分割图对应的车辆位姿信息，其中每帧鸟瞰分割图对应一个预设时长获取的多帧目标图像和对应的目标点云数据。

为了将鸟瞰分割图中的网格点映射回全局坐标系中，需要获取每帧鸟瞰分割图对应的车辆位姿信息；由于一帧鸟瞰分割图包括许多不同类别的地面点，该地面点是由不同帧的点云数据转化到统一的全局坐标系下获取的，所有一帧鸟瞰分割图对应一个预设时长获取的多帧目标图像和对应的目标点云数据。

步骤52：基于车辆位姿信息对鸟瞰分割图中的各网格点进行坐标系转换，以将各帧鸟瞰分割图中的网格点映射到全局坐标系中。

根据车辆的位置信息，从鸟瞰分割图中获取各网格点的位置信息，将其转化到全局坐标系下与车辆相对应的位置。

步骤53：将转换后的各网格点进行堆叠，并根据车辆的移动轨迹，从堆叠的网格点中选取车道线连接点。

在全局坐标系下，对不同帧中属于统一类别标签的网格点进行堆叠，并根据车辆的移动轨迹，在该堆叠的网格点中选取车道线连接点。

步骤54：基于车道线连接点，生成车辆对应两侧的车道线。

获取车辆在预设时长内不同时刻的位姿信息，该位姿信息具体包括车辆在全局坐标系下的地理坐标和转向角，对车辆在全局坐标系下不同时刻的地理车标点进行拟合，得到车辆移动轨迹线。计算不同时刻车辆两侧堆叠的各网格点到该车辆移动轨迹线的垂直距离，将不同网格点到车辆移动轨迹线的垂直距离差值小于预设偏差范围的网格点划分至同一条车道线点集，其中垂直距离即网格点到车辆移动轨迹线的最短距离；预设偏差范围为0～0.1m之间，例如：网格点A到车辆移动轨迹线的垂直距离为1m，网格点B到车辆移动轨迹线的垂直距离为0.9m，网格点C到车辆移动轨迹线的垂直距离为1.5m，网格点D到车辆移动轨迹线的垂直距离为1.55m，则将网格点A和B划分到同一车道线点集，网格点C和网格点D则为另一车道线点集；将车辆行驶过程中每一预设时刻左右两侧对应的车道线点集进行聚类，得到车道线连接点；并对车道线连接点进行拟合，生成车辆对应两侧的车道线。

通过各帧鸟瞰分割图对应的车辆位姿信息，将置信度大于预设阈值的网格点转换到全局坐标系下，并基于车辆前进的方向，从堆叠的网格点中选取车道线连接点；根据车道线连接点，生成车辆两侧的车道线；降低了标注成本，同时可将生成的车道线地图运用于BEV模型和2D模型进行训练，增强了车道线标注的应用场景，减小了车道线标注的误差，增强了模型的场景泛化性。

参阅图8，图8是本申请提供的存储介质的一实施例的结构示意图。

该存储介质60存储有程序数据61，程序数据61在被处理器执行时，实现如图1至图7所描述的车道线标注方法。

该程序数据61存储于一个存储介质60中，包括若干指令用于使得一台网络设备(可以路由器、个人计算机、服务器等网络设备)或处理器执行本申请各个实施例所描述方法的全部或部分步骤。

可选的，存储介质60可以为U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁盘或者光盘等各种可以存储程序数据61的介质。

参阅图9，图9是本申请提供的车载设备的一实施例的结构示意图。

该车载设备70包括相互连接的存储器71和处理器72，存储器71存储有计算机程序，处理器72执行该计算机程序时，实现如图1至图7所描述的车道线标注方法。

参阅图10，图10是本申请提供的车辆的一实施例的结构示意图。

该车辆80包括如图8所描述的存储介质或如图9所描述的车载设备。该车辆80可以是油车、电车或混合动力车等，本申请对此不做具体限制。

区别于现有技术的情况，本申请公开了一种车道线标注方法、车载设备、存储介质及车辆。该方法包括：采集车辆行驶过程中预设时长内的多帧目标图像和对应的目标点云数据；筛选该目标点云数据，提取地面点及其强度值；将地面点投影到目标图像中的相应位置点上，并获取相应位置点的RGB值，与强度值组成点云点通道数据；将点云点通道数据输入至点云分割模型，得到鸟瞰分割图；在全局坐标系下，将鸟瞰分割图中属于同一类别标签的网格点进行堆叠；基于车辆移动轨迹，生成车辆对应两侧的车道线。

通过本申请方法，对获取的目标点云数据进行筛选，得到地面点，过滤掉了目标点云数据中的非地面点云数据，降低了从目标点云数据中获取地面点的计算量；将该地面点在目标图像上的RGB值与强度值结合得到点云点通道数据，提高了点云数据的质量，有利于后续对点云点的分类处理；采用基于深度学习算法的点云分割模型对输入的点云点通道数据进行分割，得到标注为不同类别的车道线网格点，有利于后续对车道线进行标注处理，提高标注效率；将属于同一类别标签的网格点在全局坐标系下进行堆叠，并根据车辆移动轨迹，生成车道线连接点，基于车道线连接点，自动标注出车辆两侧的车道线，相比于人工标注的方式，降低了标注成本，提高了标注效率；同时生成的车道线地图还可运用于BEV模型和2D模型的训练，解决了采用人工标注的车道线地图训练得到的模型存在场景泛化性低的问题。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于存储介质实施例及电子装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法存储介质以及计算机设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种车道线标注方法，其特征在于，包括：

获取预设时长内车辆行驶过程中采集的多帧目标图像和对应的目标点云数据；

对所述目标点云数据进行筛选，以得到与所述目标图像对应的地面点及所述地面点的强度值；

将所述地面点投影到对应的所述目标图像中的相应位置点上，并获取所述相应位置点的RGB值，将所述地面点的强度值和对应的所述RGB值组成点云点通道数据；

将与所述目标图像对应的所述点云点通道数据输入至点云分割模型中，以得到对应的鸟瞰分割图，所述鸟瞰分割图包括有多种类别标签的网格点；

将属于同一类别标签的所述网格点在全局坐标系下进行堆叠，并基于车辆移动轨迹，生成车辆对应两侧的车道线。

2.根据权利要求1所述的车道线标注方法，其特征在于，所述将与所述目标图像对应的所述点云点通道数据输入至点云分割模型中，以得到对应的鸟瞰分割图，包括：

将所述点云点通道数据映射至所述鸟瞰分割图中的网格点上；

基于所述网格点中含有的所述点云点通道数据生成与所述网格点对应的车道线类别标签。

3.根据权利要求2所述的车道线标注方法，其特征在于，所述基于所述网格点中含有的所述点云点通道数据生成与所述网格点对应的车道线类别标签，包括：

基于所述点云点通道数据中强度通道提取道路的边缘信息，以确定所述地面点是否属于车道线；

基于所述属于车道线的所述地面点及其对应的所述点云点通道数据中RGB通道的颜色信息，区分所述地面点的类别信息；

基于所述网格点所包含的所述地面点的类别信息生成车道线类别标签。

4.根据权利要求1所述的车道线标注方法，其特征在于，所述将属于同一类别标签的所述网格点在全局坐标系下进行堆叠，并基于车辆移动轨迹，生成车辆对应两侧的车道线，包括：

获取与各帧所述鸟瞰分割图对应的车辆位姿信息，其中每帧所述鸟瞰分割图对应一个预设时长获取的多帧目标图像和对应的目标点云数据；

基于所述车辆位姿信息对所述鸟瞰分割图中的各所述网格点进行坐标系转换，以将各帧所述鸟瞰分割图中的所述网格点映射到所述全局坐标系中；

将转换后的各所述网格点进行堆叠，并根据所述车辆的移动轨迹，从堆叠的所述网格点中选取车道线连接点；

基于所述车道线连接点，生成车辆对应两侧的车道线。

5.根据权利要求4所述的车道线标注方法，其特征在于，所述将属于同一类别标签的所述网格点在全局坐标系下进行堆叠之前，还包括：

获取多帧所述鸟瞰分割图中置信度达到预设阈值的所述网格点，并对置信度达到预设阈值的所述网格点进行坐标系转换。

6.根据权利要求1所述的车道线标注方法，其特征在于，所述对所述目标点云数据进行筛选，以得到与所述目标图像对应的地面点及所述地面点的强度值，包括：

获取与各所述目标点云数据对应的车辆位姿信息，基于所述车辆位姿信息将各所述目标点云数据进行坐标系变换，以对齐到全局坐标系下，并滤除处于车辆预设范围之外的点云数据，得到当前点云数据；

采用地面拟合算法计算出所述当前点云数据的地平面，由所述地平面筛选出地面点，并获得所述地面点的强度值。

7.根据权利要求6所述的车道线标注方法，其特征在于，所述采用地面拟合算法计算出所述当前点云数据的地平面，由所述地平面筛选出地面点，包括：

选取所述当前点云数据中z坐标值小于第一预设高度阈值的点云数据作为第一点云数据；

在所述第一点云数据中随机选取三个点云点进行平面拟合，得到第一地平面；

计算所述第一点云数据中点云点到所述第一地平面的高度距离，将所述高度距离不大于第二预设高度阈值的点云点作为内点，其中所述第一预设高度阈值大于所述第二预设高度阈值；

在预设迭代次数下，重复执行获取第一地平面和内点的步骤，并从中选取包含内点数量最多的所述第一地平面；

采用最小二乘法对所述第一地平面中对应的内点进行平面拟合，得到第二地平面；

计算所述第一点云数据到所述第二地平面的高度距离，将所述高度距离不大于所述第二预设高度阈值的点云点作为地面点。

8.根据权利要求1所述的车道线标注方法，其特征在于，所述将所述地面点投影到对应的所述目标图像中的相应位置点上，包括：

从多帧所述目标图像中选取最为清晰地反映所述地面点的图像作为待投影的所述目标图像；

基于所述地面点在所述全局坐标系下的位置信息，将所述地面点投影到待投影的所述目标图像中的相应位置点上。

9.一种存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现如权利要求1-8中任一项所述车道线标注方法的步骤。

10.一种车载设备，其特征在于，包括处理器以及与所述处理器耦接的存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现如权利要求1-8中任一项所述车道线标注方法的步骤。

11.一种车辆，其特征在于，所述车辆包括如权利要求9所述的存储介质或如权利要求10所述的车载设备。