CN111126182B - 车道线检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种车道线检测方法、装置、电子设备及存储介质，属于自动驾驶技术领域。所述方法包括：基于车辆的图像采集设备采集到的图像进行车道线检测，得到所述车辆行驶路面的二维车道线信息；根据所述车辆的激光雷达测量到的三维点云数据，获取所述路面的三维路面高度信息；根据所述二维车道线信息和所述三维路面高度信息，获取三维车道线点云数据；对所述三维车道线点云数据进行聚类，得到多条车道线，每条车道线上的点包含三维坐标信息。本申请可提高对不同路面或复杂场景的三维车道线检测的精度。

Description

车道线检测方法、装置、电子设备及存储介质

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种车道线检测方法、装置、电子设备及存储介质。

背景技术

近一个多世纪来，汽车的出现取代了传统交通运输方式，使得人们的生活更为便捷。近些年来，随着科技的发展，尤其是智能计算的飞速发展，自动驾驶汽车技术研究成为各行业聚焦的热点。车道线检测技术是自动驾驶系统中必不可少的关键技术之一，最初的车道线检测是二维车道线检测，即计算车辆距离车道线左右的二维距离、角度，随着技术的发展出现了三维车道线检测，除了二维距离、角度外，还检测车道线纵向深度，在开放、复杂的场景中，三维车道线检测是一个充满挑战的任务。

相关技术采用基于感知的方法来实现三维车道线检测，使用单目摄像头作为传感器采集图像，检测图像中的车道，然后通过平坦路面假设，将它们投射到三维世界中，得到三维车道线检测结果。

上述技术基于摄像头采集的图像进行三维车道线检测，需要基于平坦路面假设方法，在遇到不平坦地面，或是在汇入驶出匝道等复杂场景的时候，会出现三维车道线检测不精确的问题。

发明内容

本申请实施例提供了一种车道线检测方法、装置、电子设备及存储介质，可以解决相关技术三维车道线检测不精确的问题。所述技术方案如下：

第一方面，提供一种车道线检测方法，包括：

基于车辆的图像采集设备采集到的图像进行车道线检测，得到所述车辆行驶路面的二维车道线信息，所述二维车道线信息包括各类车道线上的点在所述图像中成像的二维坐标信息；

根据所述车辆的激光雷达测量到的三维点云数据，获取所述路面的三维路面高度信息，所述三维点云数据包括所述路面上的多个点的三维坐标信息；

根据所述二维车道线信息和所述三维路面高度信息，获取三维车道线点云数据，所述三维车道线点云数据包括所述各类车道线上的点的三维坐标信息；

对所述三维车道线点云数据进行聚类，得到多条车道线，每条车道线上的点包含三维坐标信息。

在一种可能实现方式中，所述基于车辆的图像采集设备采集到的图像进行车道线检测，得到所述车辆行驶路面的二维车道线信息，包括：

将所述图像输入车道线分割模型，输出概率图，所述概率图用于表示所述图像中的像素点属于所述各类车道线的概率值；

根据所述概率图和概率阈值，过滤所述图像中属于所述各类车道线的概率值小于所述概率阈值的像素点，得到所述二维车道线信息。

在一种可能实现方式中，所述根据所述车辆的激光雷达测量到的三维点云数据，获取所述路面的三维路面高度信息，包括：

从所述三维点云数据中，剔除非路面上的点，得到路面点云数据；

对所述路面点云数据进行分段拟合，得到所述三维路面高度信息。

在一种可能实现方式中，所述对所述路面点云数据进行分段拟合，得到所述三维路面高度信息，包括：

从所述路面点云数据中选取所述车辆前方目标距离范围内的路面点云数据；

将选取的路面点云数据划分为多段进行分段拟合，得到每段的路面高度方程；

对于所述车辆前方目标距离范围内的多个点中的每个点，根据所述点与所述车辆的距离，对所述点所属段的路面高度方程和所述点所属段的前一段的路面高度方程进行加权求和，得到所述点的三维路面高度信息。

在一种可能实现方式中，所述根据所述二维车道线信息和所述三维路面高度信息，获取三维车道线点云数据，包括：

根据所述二维车道线信息和所述三维路面高度信息进行重投影，得到车道线鸟瞰图；

根据所述车道线鸟瞰图和所述三维路面高度信息，获取所述三维车道线点云数据。

在一种可能实现方式中，所述根据所述三维路面高度信息和所述二维车道线信息进行重投影，得到车道线鸟瞰图，包括：

根据所述二维车道线信息、所述三维路面高度信息和所述图像采集设备与所述激光雷达的校准信息进行单应性变换，得到所述车道线鸟瞰图。

在一种可能实现方式中，所述对所述三维车道线点云数据进行聚类，得到多条车道线，包括：

通过聚类网络模型，对所述三维车道线点云数据进行聚类，得到所述多条车道线，所述聚类网络模型基于同一条车道线中点之间的类内距离和不同条车道线之间点的类间距离进行训练得到。

第二方面，提供一种车道线检测装置，包括：

检测模块，用于基于车辆的图像采集设备采集到的图像进行车道线检测，得到所述车辆行驶路面的二维车道线信息，所述二维车道线信息包括各类车道线上的点在所述图像中成像的二维坐标信息；

获取模块，用于根据所述车辆的激光雷达测量到的三维点云数据，获取所述路面的三维路面高度信息，所述三维点云数据包括所述路面上的多个点的三维坐标信息；

所述获取模块还用于根据所述二维车道线信息和所述三维路面高度信息，获取三维车道线点云数据，所述三维车道线点云数据包括所述各类车道线上的点的三维坐标信息；

聚类模块，用于对所述三维车道线点云数据进行聚类，得到多条车道线，每条车道线上的点包含三维坐标信息。

在一种可能实现方式中，所述检测模块用于：

将所述图像输入车道线分割模型，输出概率图，所述概率图用于表示所述图像中的像素点属于所述各类车道线的概率值；

根据所述概率图和概率阈值，过滤所述图像中属于所述各类车道线的概率值小于所述概率阈值的像素点，得到所述二维车道线信息。

在一种可能实现方式中，所述获取模块用于：

从所述三维点云数据中，剔除非路面上的点，得到路面点云数据；

对所述路面点云数据进行分段拟合，得到所述三维路面高度信息。

在一种可能实现方式中，所述获取模块用于：

从所述路面点云数据中选取所述车辆前方目标距离范围内的路面点云数据；

将选取的路面点云数据划分为多段进行分段拟合，得到每段的路面高度方程；

对于所述车辆前方目标距离范围内的多个点中的每个点，根据所述点与所述车辆的距离，对所述点所属段的路面高度方程和所述点所属段的前一段的路面高度方程进行加权求和，得到所述点的三维路面高度信息。

在一种可能实现方式中，所述获取模块用于：

根据所述二维车道线信息和所述三维路面高度信息进行重投影，得到车道线鸟瞰图；

根据所述车道线鸟瞰图和所述三维路面高度信息，获取所述三维车道线点云数据。

在一种可能实现方式中，所述获取模块用于：

根据所述二维车道线信息、所述三维路面高度信息和所述图像采集设备与所述激光雷达的校准信息进行单应性变换，得到所述车道线鸟瞰图。

在一种可能实现方式中，所述聚类模块用于：

通过聚类网络模型，对所述三维车道线点云数据进行聚类，得到所述多条车道线，所述聚类网络模型基于同一条车道线中点之间的类内距离和不同条车道线之间点的类间距离进行训练得到。

第三方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行，以实现第一方面任一种实现方式所述的方法步骤。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现第一方面任一种实现方式所述的方法步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过结合基于车辆摄像头采集的图像数据得到的二维车道线信息和根据车辆激光雷达测量的三维点云数据得到的三维路面高度信息，获取三维车道线点云数据，进而聚类得到包含三维坐标信息的多条车道线。由于摄像头采集的图像数据包含丰富的语义信息，而三维点云数据可以还原出真实场景的三维信息，因而可提高对不同路面或复杂场景的三维车道线检测的精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种车道线检测方法的原理示意图；

图2是本申请实施例提供的一种车道线检测方法的流程图；

图3是本申请实施例提供的一种车道线检测方法的流程图；

图4是本申请实施例提供的一种车道线检测方法的流程图；

图5是本申请实施例提供的一种车道线检测装置的结构示意图；

图6是本申请实施例提供的一种电子设备600的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

为了便于对本申请实施例的理解，下面先对自动驾驶汽车的系统和三维车道线检测进行介绍。

通常，自动驾驶汽车的自动驾驶系统一般分为三个模块，一是感知模块，相当于人的眼睛，通过摄像头、毫米波雷达、激光雷达等传感器实时采集周边环境状态，二是决策模块，相当于人的大脑，根据环境状态计算出最优的驾驶决策规划，三是执行模块，相当于人的手与脚，用于执行决策命令，进行油门、刹车、转向等相应的驾驶操作。

感知模块是自动驾驶系统的一个重要模块，没有可靠的感知模块，就无法实现安全的自动驾驶系统。在感知模块中，车道线检测技术是自动驾驶系统中必不可少的关键技术之一。最初的车道线检测是二维车道线检测，即计算车辆距离车道线左右的距离、角度来判断车辆在车道线中的相对位置及航向角度。随着技术的发展出现了三维车道线检测，即，除了二维距离、角度外，还检测车道线纵向深度。在开放、复杂的场景中，三维车道线检测是一个充满挑战的任务，主要困难在于缺少对路面进行稠密精确的深度估计。

三维车道线检测是实现基于二维图像车道线的升级，是实现无人驾驶系统中不可或缺的技术，它包括对相对于主控车辆的可行驶车道的三维位置的精确估计。存在两种互补的技术解决方案：加载离线生成的预映射车道和基于感知的实时车道检测。离线解决方案在给定精确当前车辆定位(在地图坐标中)的情况下具有高的几何精度，但是部署和维护起来很复杂。

当前，最常见的基于感知的解决方案是使用单目摄像头作为主要传感器来解决任务。现有的基于相机的方法检测图像中的车道，然后通过平坦的路面假设，将它们投射到三维世界中。这种平坦路面假设方法，在遇到不平坦地面，或是在汇入驶出匝道的时候，会出现不精确的三维车道线估计和检测。

本申请实施例提供了一种基于车辆的图像采集设备(如摄像头)和激光雷达的多传感器融合检测车道线的方法，该方法基于摄像头采集的图像数据和激光雷达测量的三维点云数据进行三维车道线检测，由于摄像头采集的图像数据包含丰富的语义信息，而三维点云可以还原出真实场景的三维信息，该方法可显著提高自动驾驶车辆感知系统对城区和高速路环境的不同路面形状，尤其复杂的场景(例如汇出、驶出匝道，进入收费站)的三维车道线检测的精度和鲁棒性，并为自动驾驶系统的定位提供更加准确的关键信息输入，同时为自动驾驶系统提供了安全控制约束。

下面先对本申请的工作原理进行介绍。

参见图1，图1本申请实施例提供的一种车道线检测方法的原理示意图，如图1所示，本申请实施例的技术方案可以由多个功能模块来实现，该多个功能模块包括二维车道线检测模块、基于点云的路面高度建立模块、二维车道线重投影模块以及三维车道线点云聚类模块。

其中，二维车道线检测模块：主要是基于图像数据，设计一种车道线分割模型，该车道线分割模型可以是用于车道线分割的卷积神经网络模型，利用该模型对车道线进行车道线的语义分割。

基于点云的路面高度建立模块：主要是通过剔除三维点云数据中非路面的点，得到比较干净的路面点云数据，再对路面点云数据进行分段拟合，得到稠密的路面高度信息。

二维车道线重投影模块：主要通过二维车道线信息和稠密的路面高度信息进行重投影，得到车道线鸟瞰图，再结合路面高度信息，得到三维车道线点云。

三维车道线点云聚类模块：主要是通过聚类网络模型，对三维车道线点云进行聚类，得到最终的三维车道线检测结果。

下面将在图2对应的实施例中，对本申请实施例提供的车道线检测方法进行说明。

图2是本申请实施例提供的一种车道线检测方法的流程图。参见图2，该方法包括：

201、基于车辆的图像采集设备采集到的图像进行车道线检测，得到该车辆行驶路面的二维车道线信息，该二维车道线信息包括各类车道线上的点在该图像中成像的二维坐标信息。

202、根据该车辆的激光雷达测量到的三维点云数据，获取该路面的三维路面高度信息，该三维点云数据包括该路面上的多个点的三维坐标信息。

203、根据该二维车道线信息和该三维路面高度信息，获取三维车道线点云数据，该三维车道线点云数据包括该各类车道线上的点的三维坐标信息。

204、对该三维车道线点云数据进行聚类，得到多条车道线，每条车道线上的点包含三维坐标信息。

本申请实施例提供的方法，通过结合基于车辆摄像头采集的图像数据得到的二维车道线信息和根据车辆激光雷达测量的三维点云数据得到的三维路面高度信息，获取三维车道线点云数据，进而聚类得到包含三维坐标信息的多条车道线。由于摄像头采集的图像数据包含丰富的语义信息，而三维点云数据可以还原出真实场景的三维信息，因而可提高对不同路面或复杂场景的三维车道线检测的精度。

在一种可能实现方式中，该基于车辆的图像采集设备采集到的图像进行车道线检测，得到该车辆行驶路面的二维车道线信息，包括：

将该图像输入车道线分割模型，输出概率图，该概率图用于表示该图像中的像素点属于该各类车道线的概率值；

根据该概率图和概率阈值，过滤该图像中属于该各类车道线的概率值小于该概率阈值的像素点，得到该二维车道线信息。

在一种可能实现方式中，该根据该车辆的激光雷达测量到的三维点云数据，获取该路面的三维路面高度信息，包括：

从该三维点云数据中，剔除非路面上的点，得到路面点云数据；

对该路面点云数据进行分段拟合，得到该三维路面高度信息。

在一种可能实现方式中，该对该路面点云数据进行分段拟合，得到该三维路面高度信息，包括：

从该路面点云数据中选取该车辆前方目标距离范围内的路面点云数据；

将选取的路面点云数据划分为多段进行分段拟合，得到每段的路面高度方程；

对于该车辆前方目标距离范围内的多个点中的每个点，根据该点与该车辆的距离，对该点所属段的路面高度方程和该点所属段的前一段的路面高度方程进行加权求和，得到该点的三维路面高度信息。

在一种可能实现方式中，该根据该二维车道线信息和该三维路面高度信息，获取三维车道线点云数据，包括：

根据该二维车道线信息和该三维路面高度信息进行重投影，得到车道线鸟瞰图；

根据该车道线鸟瞰图和该三维路面高度信息，获取该三维车道线点云数据。

在一种可能实现方式中，该根据该三维路面高度信息和该二维车道线信息进行重投影，得到车道线鸟瞰图，包括：

根据该二维车道线信息、该三维路面高度信息和该图像采集设备与该激光雷达的校准信息进行单应性变换，得到该车道线鸟瞰图。

在一种可能实现方式中，该对该三维车道线点云数据进行聚类，得到多条车道线，包括：

通过聚类网络模型，对该三维车道线点云数据进行聚类，得到该多条车道线，该聚类网络模型基于同一条车道线中点之间的类内距离和不同条车道线之间点的类间距离进行训练得到。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

上述图2所示的流程为本申请实施例提供的车道线检测方法的基本流程，下面将对该车道线检测方法的详细流程进行介绍。

图3是本申请实施例提供的一种车道线检测方法的流程图。该方法由电子设备执行，例如，该电子设备可以为车辆的车载终端，参见图3，该方法包括：

301、电子设备基于车辆的图像采集设备采集到的图像进行车道线检测，得到该车辆行驶路面的二维车道线信息，该二维车道线信息包括各类车道线上的点在该图像中成像的二维坐标信息。

其中，该图像采集设备可以是车载摄像头，用于对车辆行驶路面进行图像采集，得到包含路面上的各类车道线的图像。该各类车道线可以包括实线车道线、虚线车道线等，路面上的不同条车道线可能属于同一类车道线。

车辆的图像采集设备在采集到图像后，可以将该图像输入给电子设备，电子设备可以基于该图像进行车道线检测，得到二维车道线信息，该二维车道线信息中除了包含各类车道线上的点在图像中成像的二维坐标信息以外，还可以包含各类车道线上的点在图像中成像的像素值，还可以包括各类车道线上的点的车道线类别。

在一种可能实现方式中，电子设备基于该图像进行车道线检测，得到二维车道线信息的过程可以包括下述步骤一和步骤二：

步骤一、将该图像输入车道线分割模型，输出概率图，该概率图用于表示该图像中的像素点属于该各类车道线的概率值。

该车道线分割模型可以是一个用于车道线分割的卷积神经网络模型，电子设备可以将该图像统一尺寸后，输入到该车道线分割模型中进行车道线的语义分割，不同类别的车道线分配不同的标签，该车道线分割模型输出车道线分割结果的概率图，概率图的维度对应输出的类别数(车道线类别数+背景)。

步骤二、根据该概率图和概率阈值，过滤该图像中属于该各类车道线的概率值小于该概率阈值的像素点，得到该二维车道线信息。

电子设备可以设定一个概率阈值，对于图像中的任一像素点，如果该点属于各类车道线的概率值小于或等于该概率阈值时，可以认为该点不是车道线上真实存在的点，如果该点属于各类车道线的概率值大于该概率阈值时，可以认为该点是车道线上真实存在的点，这样可以过滤掉图像中不属于车道线上的点，剩余的点则属于车道线上的点，电子设备可以将该图像中属于车道线上的点的二维坐标信息作为二维车道线信息。

除了二维坐标信息以外，电子设备还可以将该图像中属于车道线上的点的像素值和车道线类别也作为二维车道线信息。对于图像中属于车道线上的点，电子设备可以根据该点属于各类车道线的概率值中的最大值，确定该点所属车道线的车道线类别。例如，某个点属于第一类车道线的概率值为0.2，属于第二类车道线的概率值为0.3，属于第三类车道线的概率值为0.5，则可以确定该点所属车道线为第三类车道线，这样电子设备可以得到图像中属于车道线上的点的车道线类别。

通过利用车道线分割模型得到概率图后，利用概率阈值过滤掉图像中不属于车道线的点，可以得到二维车道线信息，提供了一种获取二维车道线检测结果的有效方式。

302、电子设备从车辆的激光雷达测量到的三维点云数据中，剔除非路面上的点，得到路面点云数据，该三维点云数据包括该路面上的多个点的三维坐标信息。

其中，车辆的激光雷达可以对路面进行点云测量，得到三维点云数据，该三维点云数据中除了包括路面上的多个点的三维坐标信息以外，还可能包括非路面上的点的三维坐标信息。

车辆的激光雷达在测量到三维点云数据后，可以将该三维点云数据输入给电子设备，电子设备可以通过混合高斯过程，或者RANSAC(Random sample consensus，随机样本一致性)算法，对该三维激光点云数据不断迭代高斯核，剔除非路面上的点，得到比较干净的路面点云数据。

303、电子设备对该路面点云数据进行分段拟合，得到三维路面高度信息。

在一种可能实现方式中，电子设备对该路面点云数据进行分段拟合，得到该三维路面高度信息，包括：从该路面点云数据中选取该车辆前方目标距离范围内的路面点云数据；将选取的路面点云数据划分为多段进行分段拟合，得到每段的路面高度方程；对于该车辆前方目标距离范围内的多个点中的每个点，根据该点与该车辆的距离，对该点所属段的路面高度方程和该点所属段的前一段的路面高度方程进行加权求和，得到该点的三维路面高度信息。

电子设备在选取车辆前方目标距离范围内的路面点云数据后，可以将其划分为多段，分别用多个路面高度方程来进行拟合，该路面高度方程可以是一阶函数。电子设备可以在该车辆前方目标距离范围内取点，如横向上每第一距离(如5厘米)取一个点，纵向上每第二距离(如10厘米)取一个点，这样可以得到该车辆前方目标距离范围内的多个点。对于该多个点中的每个点，可以根据该点与车辆的距离，为该点所属段的路面高度方程和该点所属段的前一段的路面高度方程分配权重，该点与车辆的距离越远，该点所属段的前一段的路面高度方程的权重越小，然后对这相邻的两个有权重的路面高度方程进行加权求和，将加权求和结果作为该点的三维路面高度信息，这样电子设备可以得到多个点的三维路面高度信息。该三维路面高度信息的形式可以是路面高度方程，提供横坐标x和纵坐标y，就可以得到路面高度z，例如，要知道车辆正前方20米，左边30米的路面高度，则取x为20，z为30，得到的路面高度z即为车辆正前方20米，左边30米的路面高度。电子设备在该车辆前方目标距离范围内取点的数量可以多于路面点云数据中点的数量，这样可以得到稠密的三维路面高度信息。

以目标距离范围为车辆前方90米为例，电子设备可以选取车前90米范围内的路面点云，将道路分为3段，每段30米，分别用三个一阶函数进行拟合，为了使路面更加平滑，利用距离为函数增加一个权重，也就是路面高度信息为相邻的两个有权重的一阶函数相加，于是得到稠密的三维路面高度信息。

步骤302和步骤303是根据该车辆的激光雷达测量到的三维点云数据，获取该路面的三维路面高度信息的一种可能实现方式。通过从激光雷达测量到的三维点云数据中剔除非路面上的点后，进行分段拟合，可以得到稠密的三维路面高度信息。

需要说明的是，本申请实施例仅以电子设备获取二维车道线信息为步骤301，电子设备获取三维路面高度信息为步骤302至步骤303为例进行说明，可以理解的是，步骤301与步骤302至步骤303并不代表具体的先后顺序。

304、电子设备根据该二维车道线信息和该三维路面高度信息进行重投影，得到车道线鸟瞰图。

电子设备可以采用重投影的方法，根据三维路面高度信息和二维车道线信息得到车道线鸟瞰图。该车道线鸟瞰图具有从天空朝地面方向进行俯瞰的效果，能看到车辆行驶路面上的车道线。

如步骤301所描述，该二维车道线信息包括各类车道线上的点在车辆的图像采集设备采集的图像中成像的二维坐标信息，如步骤303所描述，该三维路面高度信息可以是车辆前方目标距离范围内的多个点的三维路面高度信息。对于IMU(Inertial MeasurementUnit，惯性测量单元)坐标系下的该多个点，电子设备可以确定该多个点在车辆的图像采集设备采集的图像中各自对应的像素点，将各自对应的像素点的像素值赋值给车道线鸟瞰图中的各个像素点，得到车道线鸟瞰图。

在一种可能实现方式中，该根据该二维车道线信息和该三维路面高度信息进行重投影，得到车道线鸟瞰图，包括：根据该二维车道线信息、该三维路面高度信息和该图像采集设备与该激光雷达的校准信息进行单应性变换，得到该车道线鸟瞰图。

其中，该校准信息用于确定IMU坐标系下的点在车辆的图像采集设备采集的图像中对应的像素点。例如，该校准信息可以包含单应性矩阵，电子设备可以结合该校准信息和该三维路面高度信息，对该二维车道线信息进行单应性变换，得到车道线鸟瞰图

通过采用单应性变换的方法实现二维车道线信息的重投影，得到车道线鸟瞰图，提供了一种获取车道线鸟瞰图的有效方式。

305、电子设备根据该车道线鸟瞰图和该三维路面高度信息，获取该三维车道线点云数据，该三维车道线点云数据包括该各类车道线上的点的三维坐标信息。

由于车道线鸟瞰图是由二维车道线信息投影得到的，因此，电子设备可以得知该车道线鸟瞰图中的每个点是否是车道线上的点，从而从该车道线鸟瞰图中提取出各类车道线上的点，然后结合这些点的三维路面高度信息，得到这些点在IMU坐标系下的三维坐标信息(x，y，z)。如步骤303所描述，这些点的三维路面高度信息可以是路面高度方程，电子设备可以根据从该车道线鸟瞰图中提取出的这些点的x坐标和y坐标，使用该路面高度方程计算得到z坐标。

可以理解的是，电子设备也可以在步骤304中根据该三维路面高度信息，获取车道线鸟瞰图中各个点的三维坐标信息，这样在步骤305中电子设备可以直接从该车道线鸟瞰图中提取到各类车道线上的点的三维坐标信息。

电子设备除了从车道线鸟瞰图中提取各类车道线上的点的三维坐标信息以外，还可以提出这些点的RGB(red，green，blue，红绿蓝)值和车道线类别。相应地，该三维车道线点云数据除了包括各类车道线上的点的三维坐标信息以外，还可以包括这些点的RGB值和车道线类别。

步骤304和步骤305是根据该二维车道线信息和该三维路面高度信息，获取三维车道线点云数据的一种可能实现方式。通过该二维车道线信息和该三维路面高度信息进行重投影，得到车道线鸟瞰图后，再结合路面高度信息，得到三维车道线点云数据，提供了一种获取三维车道线点云数据的有效方式。

306、电子设备对该三维车道线点云数据进行聚类，得到多条车道线，每条车道线上的点包含三维坐标信息。

电子设备可以对该三维车道线点云数据进行聚类，确定属于同一条车道线的点，得到由这些包含三维坐标信息的点构成的车道线。

在一种可能实现方式中，该对该三维车道线点云数据进行聚类，得到多条车道线，包括：通过聚类网络模型，对该三维车道线点云数据进行聚类，得到该多条车道线，该聚类网络模型基于同一条车道线中点之间的类内距离和不同条车道线之间点的类间距离进行训练得到。

其中，该聚类网络模型可以采用pointnet++网络结构，通过计算同一条车道线中点之间的类内距离和不同条车道线之间点的类间距离，使用代价函数进行训练，使得代价最小，最终得到该聚类网络模型。通过利用聚类网络模型对三维车道线点云数据进行聚类，得到包含三维坐标信息的多条车道线，提供了一种车道线点云聚类的有效方式。当然，电子设备也可以采用其他方法进行聚类，如欧式距离聚类方法，本申请实施例对此不做限定。

为了便于更直观的理解本申请实施例提供的技术方案的流程，下面将结合图4，对该流程进一步说明。如图4所示，电子设备可以基于车辆的图像采集设备采集的图像，利用车道线分割模型进行车道线的语义分割，得到二维车道线信息。电子设备可以基于车辆的激光雷达测量的三维点云数据，通过混合高斯过程，得到路面点云数据，在通过分段拟合得到稠密的三维路面高度信息，进而根据二维车道线信息和三维路面高度信息进行单应性变换，得到车道线鸟瞰图，再结合三维路面高度信息，得到三维车道线点云数据，然后使用聚类网络模型聚类得到包含三维坐标信息的多条车道线。

本申请实施例提供的方法，通过结合基于车辆摄像头采集的图像数据得到的二维车道线信息和根据车辆激光雷达测量的三维点云数据得到的三维路面高度信息，获取三维车道线点云数据，进而聚类得到包含三维坐标信息的多条车道线。由于摄像头采集的图像数据包含丰富的语义信息，而三维点云数据可以还原出真实场景的三维信息，因而可提高对不同路面或复杂场景的三维车道线检测的精度。

图5是本申请实施例提供的一种车道线检测装置的结构示意图。参照图5，该装置包括：

检测模块501，用于基于车辆的图像采集设备采集到的图像进行车道线检测，得到该车辆行驶路面的二维车道线信息，该二维车道线信息包括各类车道线上的点在该图像中成像的二维坐标信息；

获取模块502，用于根据该车辆的激光雷达测量到的三维点云数据，获取该路面的三维路面高度信息，该三维点云数据包括该路面上的多个点的三维坐标信息；

该获取模块502还用于根据该二维车道线信息和该三维路面高度信息，获取三维车道线点云数据，该三维车道线点云数据包括该各类车道线上的点的三维坐标信息；

聚类模块503，用于对该三维车道线点云数据进行聚类，得到多条车道线，每条车道线上的点包含三维坐标信息。

在一种可能实现方式中，该检测模块501用于：

将该图像输入车道线分割模型，输出概率图，该概率图用于表示该图像中的像素点属于该各类车道线的概率值；

根据该概率图和概率阈值，过滤该图像中属于该各类车道线的概率值小于该概率阈值的像素点，得到该二维车道线信息。

在一种可能实现方式中，该获取模块502用于：

从该三维点云数据中，剔除非路面上的点，得到路面点云数据；

对该路面点云数据进行分段拟合，得到该三维路面高度信息。

在一种可能实现方式中，该获取模块502用于：

从该路面点云数据中选取该车辆前方目标距离范围内的路面点云数据；

将选取的路面点云数据划分为多段进行分段拟合，得到每段的路面高度方程；

对于该车辆前方目标距离范围内的多个点中的每个点，根据该点与该车辆的距离，对该点所属段的路面高度方程和该点所属段的前一段的路面高度方程进行加权求和，得到该点的三维路面高度信息。

在一种可能实现方式中，该获取模块502用于：

根据该二维车道线信息和该三维路面高度信息进行重投影，得到车道线鸟瞰图；

根据该车道线鸟瞰图和该三维路面高度信息，获取该三维车道线点云数据。

在一种可能实现方式中，该获取模块502用于：

根据该二维车道线信息、该三维路面高度信息和该图像采集设备与该激光雷达的校准信息进行单应性变换，得到该车道线鸟瞰图。

在一种可能实现方式中，该聚类模块503用于：

通过聚类网络模型，对该三维车道线点云数据进行聚类，得到该多条车道线，该聚类网络模型基于同一条车道线中点之间的类内距离和不同条车道线之间点的类间距离进行训练得到。

需要说明的是：上述实施例提供的车道线检测装置在车道线检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的车道线检测装置与车道线检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6是本申请实施例提供的一种电子设备600的结构示意图。该电子设备600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备600还可能被称为用户设备、便携式电子设备、膝上型电子设备、台式电子设备等其他名称。

通常，电子设备600包括有：一个或多个处理器601和一个或多个存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的车道线检测方法。

在一些实施例中，电子设备600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。

外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它电子设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏605用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置电子设备600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在电子设备600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在电子设备600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备的前面板，后置摄像头设置在电子设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。

定位组件608用于定位电子设备600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源609用于为电子设备600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，电子设备600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。

加速度传感器611可以检测以电子设备600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测电子设备600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对电子设备600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在电子设备600的侧边框和/或显示屏605的下层。当压力传感器613设置在电子设备600的侧边框时，可以检测用户对电子设备600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时，由处理器601根据用户对显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置电子设备600的正面、背面或侧面。当电子设备600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。

光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制显示屏605的显示亮度。具体地，当环境光强度较高时，调高显示屏605的显示亮度；当环境光强度较低时，调低显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。

接近传感器616，也称距离传感器，通常设置在电子设备600的前面板。接近传感器616用于采集用户与电子设备600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与电子设备600的正面之间的距离逐渐变小时，由处理器601控制显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与电子设备600的正面之间的距离逐渐变大时，由处理器601控制显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对电子设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种存储有至少一条程序代码的计算机可读存储介质，例如存储有至少一条程序代码的存储器，上述至少一条程序代码由处理器加载并执行，以实现上述实施例中的车道线检测方法。例如，所述计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种车道线检测方法，其特征在于，所述方法包括：

将车辆的图像采集设备采集到的图像输入车道线分割模型，输出概率图，所述概率图用于表示所述图像中的像素点属于各类车道线的概率值；

根据所述概率图和概率阈值，过滤所述图像中属于所述各类车道线的概率值小于所述概率阈值的像素点，得到所述车辆行驶路面的二维车道线信息，所述二维车道线信息包括所述各类车道线上的点在所述图像中成像的二维坐标信息、所述各类车道线上的点的像素值以及车道线类别；

从所述车辆的激光雷达测量的三维点云数据中，剔除非路面上的点，得到路面点云数据，所述三维点云数据包括所述路面上的多个点的三维坐标信息；

从所述路面点云数据中选取所述车辆前方目标距离范围内的路面点云数据；

将选取的路面点云数据划分为多段进行分段拟合，得到每段的路面高度方程；

对于所述车辆前方目标距离范围内的多个点中的每个点，根据所述每个点与所述车辆的距离，对所述每个点所属段的路面高度方程和所述点所属段的前一段的路面高度方程进行加权求和，得到所述每个点的三维路面高度信息；

根据所述二维车道线信息和所述三维路面高度信息进行重投影，得到车道线鸟瞰图；

根据所述车道线鸟瞰图和所述三维路面高度信息，获取三维车道线点云数据，所述三维车道线点云数据包括所述各类车道线上的点的三维坐标信息；

对所述三维车道线点云数据进行聚类，得到多条车道线，每条车道线上的点包含三维坐标信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述三维路面高度信息和所述二维车道线信息进行重投影，得到车道线鸟瞰图，包括：

根据所述二维车道线信息、所述三维路面高度信息和所述图像采集设备与所述激光雷达的校准信息进行单应性变换，得到所述车道线鸟瞰图。

3.根据权利要求1所述的方法，其特征在于，所述对所述三维车道线点云数据进行聚类，得到多条车道线，包括：

通过聚类网络模型，对所述三维车道线点云数据进行聚类，得到所述多条车道线，所述聚类网络模型基于同一条车道线中点之间的类内距离和不同条车道线之间点的类间距离进行训练得到。

4.一种车道线检测装置，其特征在于，所述装置包括：

检测模块，用于将车辆的图像采集设备采集到的图像输入车道线分割模型，输出概率图，所述概率图用于表示所述图像中的像素点属于各类车道线的概率值；根据所述概率图和概率阈值，过滤所述图像中属于所述各类车道线的概率值小于所述概率阈值的像素点，得到所述车辆行驶路面的二维车道线信息，所述二维车道线信息包括所述各类车道线上的点在所述图像中成像的二维坐标信息、所述各类车道线上的点的像素值以及车道线类别；

获取模块，用于从所述车辆的激光雷达测量的三维点云数据中，得到路面点云数据，所述三维点云数据包括所述路面上的多个点的三维坐标信息；从所述路面点云数据中选取所述车辆前方目标距离范围内的路面点云数据；将选取的路面点云数据划分为多段进行分段拟合，得到每段的路面高度方程；对于所述车辆前方目标距离范围内的多个点中的每个点，根据所述每个点与所述车辆的距离，对所述每个点所属段的路面高度方程和所述点所属段的前一段的路面高度方程进行加权求和，得到所述每个点的三维路面高度信息；

所述获取模块还用于根据所述二维车道线信息和所述三维路面高度信息进行重投影，得到车道线鸟瞰图；根据所述车道线鸟瞰图和所述三维路面高度信息，获取三维车道线点云数据，所述三维车道线点云数据包括所述各类车道线上的点的三维坐标信息；

聚类模块，用于对所述三维车道线点云数据进行聚类，得到多条车道线，每条车道线上的点包含三维坐标信息。

5.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行，以实现如权利要求1至3任一项所述的车道线检测方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至3任一项所述的车道线检测方法。

Images