CN117789149A - 车道线检测方法、终端及计算机存储介质 - Google Patents
车道线检测方法、终端及计算机存储介质 Download PDFInfo
- Publication number
- CN117789149A CN117789149A CN202311842873.2A CN202311842873A CN117789149A CN 117789149 A CN117789149 A CN 117789149A CN 202311842873 A CN202311842873 A CN 202311842873A CN 117789149 A CN117789149 A CN 117789149A
- Authority
- CN
- China
- Prior art keywords
- lane line
- lane
- bev
- detection
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 158
- 239000013598 vector Substances 0.000 claims abstract description 83
- 230000000007 visual effect Effects 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 10
- 230000004927 fusion Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种车道线检测方法、终端及计算机存储介质。车道线检测方法，包括：基于目标车辆的不同车载传感器采集多种车道线数据；根据车道线数据构建BEV空间特征向量；基于多检测头的车道线检测模型对空间特征向量进行检测，得到车道线检测结果；根据车道线检测结果生成车道线三维坐标点序列。本申请的车道线检测方法，综合不同传感器采集数据的多模态特性，并将其融合到同一个三维特征空间中，然后输入到深度学习多头检测模型中进行车道线检测，提高了车道线检测的准确性和鲁棒性。
Description
技术领域
本申请属于人工智能技术领域，尤其涉及一种车道线检测方法、终端及计算机存储介质。
背景技术
自动驾驶技术发展日渐成熟，自动驾驶车辆的环境感知和理解能力的提升需求迫切。车道线检测作为自动驾驶感知系统中的重要一环，对车辆环境感知和决策具有重要意义。近年来激光雷达和视觉图像传感器发展迅速，基于深度学习技术的端到端车道线检测模型取得显著的成果。但仍然面临一些挑战，如单一模态数据的局限性，不同任务之间信息融合和整合的有效性等问题。
发明内容
针对上述技术问题，本申请提供一种车道线检测方法、终端及计算机存储介质，综合不同传感器采集数据的多模态特性，并将其融合到同一个三维特征空间中，然后输入到深度学习多头检测模型中进行车道线检测，提高了车道线检测的准确性和鲁棒性。
第一方面，本申请提供了一种车道线检测方法，包括：
基于目标车辆的不同车载传感器采集多种车道线数据；
根据所述车道线数据构建BEV空间特征向量；
基于多检测头的车道线检测模型对所述空间特征向量进行检测，得到车道线检测结果；
根据所述车道线检测结果生成车道线三维坐标点序列。
在一实施方式中，所述车载传感器包括激光雷达和车载相机，所述根据所述车道线数据构建BEV空间特征向量，包括：
基于激光雷达采集的点云数据构建第一BEV空间特征向量；
基于车载相机采集的视觉图像构建第二BEV空间特征向量；
融合所述第一BEV空间特征向量和所述第二BEV空间特征向量，得到BEV空间特征向量。
在一实施方式中，所述基于激光雷达采集的点云数据构建第一BEV空间特征向量，包括：
将激光雷达感知范围空间分割为体素单元；
遍历点云数据并将其分配到对应的体素单元中；
在体素化的空间中应用稀疏卷积网络提取体素单元的点云密度和反射强度特征；
对提取到的特征进行编码，将其转换为第一BEV空间特征向量。
在一实施方式中，所述基于车载相机采集的视觉图像构建第二BEV空间特征向量，包括：
对所述视觉图像进行多层级特征提取，得到视觉图像特征向量，所述视觉图像特征向量包括所述视觉图像中的边缘特征、纹理特征和/或语义特征；
对视觉图像特征向量中对应的图像特征点进行深度估计，得到深度信息；
将所述深度信息映射到所述图像特征点对应的BEV空间网格位置，得到第二BEV空间特征向量。
在一实施方式中，所述基于多检测头的车道线检测模型对所述空间特征向量进行检测，得到车道线检测结果，包括：
在车道线检测模型中设置多个检测头，包括车道线像素检测头、车道中心点横坐标回归检测头、车道中心点纵坐标回归检测头、车道线实例分割检测头和车道线类别检测头；
基于所述多个检测头输出对应的车道线检测结果。
在一实施方式中，所述根据所述车道线检测结果生成车道线三维坐标点序列，包括：
提取车道线检测结果中的特征像素点；
对所述特征像素点进行聚类处理，得到每条车道线实例对应的像素点；
根据所述车道中心点横坐标回归检测头的检测结果、所述车道中心点纵坐标回归检测头的检测结果和所述车道线实例对应的像素点的坐标，生成车道线三维坐标点序列。
在一实施方式中，所述根据所述车道线检测结果生成车道线三维坐标点序列之后，所述方法，还包括：
对车道线三维坐标点序列进行后处理。
在一实施方式中，所述对车道线三维坐标点序列进行后处理，包括：
对每条车道线进行分段拟合，得到拟合函数；
根据所述拟合函数对所述车道线三维坐标点序列进行重新采样；
将每段重新采样的坐标点按照顺序进行拼接，并对拼接后的车道线进行平滑处理。
第二方面，本申请还提供了一种终端，包括：至少一个存储器和至少一个处理器，所述存储器存储一条或多条计算机可执行指令，所述处理器调用所述一条或多条计算机可执行指令，以执行如第一方面所述的车道线检测方法。
第三方面，本申请还提供了一种计算机存储介质，所述存储介质存储一条或多条计算机可执行指令，所述一条或多条计算机可执行指令被执行时实现如第一方面所述的车道线检测方法。
本申请提供的一种车道线检测方法、终端及计算机存储介质。车道线检测方法，包括：基于目标车辆的不同车载传感器采集多种车道线数据；根据车道线数据构建BEV空间特征向量；基于多检测头的车道线检测模型对空间特征向量进行检测，得到车道线检测结果；根据车道线检测结果生成车道线三维坐标点序列。本申请的车道线检测方法，综合不同传感器采集数据的多模态特性，并将其融合到同一个三维特征空间中，然后输入到深度学习多头检测模型中进行车道线检测，提高了车道线检测的准确性和鲁棒性。
附图说明
图1是本申请实施例提供的车道线检测方法的流程示意图；
图2是本申请实施例提供的车道线检测方法的具体流程示意图之一；
图3是本申请实施例提供的车道线检测方法的具体流程示意图之二。
具体实施方式
以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。除非另有定义，本申请所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
为了解决上述问题，本申请实施例提出了一种车道线检测方法。图1是本申请实施例提供的车道线检测方法的流程示意图。图2是本申请实施例提供的车道线检测方法的具体流程示意图之一。图3是本申请实施例提供的车道线检测方法的具体流程示意图之二。如图1至和图3所示，本申请的车道线检测方法，可以包括如下步骤：
步骤S1：基于目标车辆的不同车载传感器采集多种车道线数据。
目标车辆的车载传感器可包括激光雷达和车载相机，当然还可包括其他车载传感器，本申请不作限制。以激光雷达和车载相机为例，由于激光雷达采集的是三维点云数据，而车载相机采集的是视觉图像。为了结合不同传感器采集的数据，本申请将点云数据和视觉图像融合在同一车身坐标系下的BEV空间，以提升车道线检测的精度。
具体地，在数据准备阶段，构建人工标注的视觉图像以及激光雷达点云数据在鸟瞰图视角下的三维车道线真值数据集，用于车道线检测模型的训练。车道线检测模型训练完成之后，继续采集点云数据和视觉图像以构建三位车道线验证数据集，用于预测目标车辆周围的车道线。
示例性地，构建人工标注的三维车道线真值数据集时，可设置BEV空间范围为：X方向(-50m，150m)；Y方向(-20m，20m)，Z方向(-1m，7m)。车道线标注采用点集方式，每条线按照0.2m间隔进行采样标注，每个标注点包含车道线三维坐标信息和类别信息，可表示为(x，y，z，type)。构建三维车道线验证数据集时，也可设置BEV空间范围为：X方向(-50m，150m)；Y方向(-20m，20m)，Z方向(-1m，7m)。
如此，采用激光雷达和视觉图像传感器相的多模态特征融合的方式，可以获取环境中更多样化更加丰富的信息，弥补了单一数据来源的环境感知数据的局限性，有助于提高车道线检测的准确性和鲁棒性。
步骤S2：根据车道线数据构建BEV空间特征向量。
其中，根据车道线数据构建BEV空间特征向量，包括：
基于激光雷达采集的点云数据构建第一BEV空间特征向量；
基于车载相机采集的视觉图像构建第二BEV空间特征向量；
融合第一BEV空间特征向量和第二BEV空间特征向量，得到BEV空间特征向量。
作为其中一种实施方式，基于激光雷达采集的点云数据构建第一BEV空间特征向量，包括：
将激光雷达感知范围空间分割为体素单元；
遍历点云数据并将其分配到对应的体素单元中；
在体素化的空间中应用稀疏卷积网络提取体素单元的点云密度和反射强度特征；
对提取到的特征进行编码，将其转换为第一BEV空间特征向量。
具体地，根据激光雷达点云数据提取激光雷达在鸟瞰图视角下的三维空间特征向量。激光雷达原始点云数据编码为对应的BEV(鸟瞰图)空间特征向量。首先将激光雷达感知范围空间分割为体素(Voxel)单元。体素是体积元素(Volume Pixel)的简称，是数字数据于三维空间分割上的最小单位。定义体素单元的长、宽、高，遍历点云数据并将其分配到对应的体素中，得到点云数据的三维体素化表示，包含每个体素内的点云数量及反射强度均值。需要说明的是，点云数据(point cloud data)是指在一个三维坐标系统中的一组向量的集合。空间信息以点的形式记录，每一个点包含有三维坐标。根据点云采集设备的数据采集能力的差异，有些点云数据中可能还含有其他信息。以通过激光雷达采集的点云数据为例，点云数据包括三维空间中点的位置坐标和反射强度信息。
接着，在体素化的空间中应用稀疏卷积网络提取体素的点云密度和反射强度特征。然后对提取到的特征进行编码，将其转换为激光雷达BEV空间特征向量。稀疏卷积网络是一种专门处理稀疏数据的卷积神经网络。稀疏卷积网络的核心思想是在卷积过程中考虑数据的稀疏性。通过使用稀疏矩阵来模拟数据的稀疏性，并采用稀疏卷积运算来处理数据，稀疏卷积网络能够有效地处理稀疏数据，同时减少计算量和存储开销。
示例性地，可定义BEV空间中体素单元的长、宽、高分别为(0.2m，0.2m，0.4m)，遍历点云数据并分配到对应的体素中。计算每个体素内的点云数量Np及反射强度均值Tm。在体素化后的空间中应用稀疏卷积网络，设置每层网络卷积核尺寸Ki、步长Si、填充Pi和膨胀系数Di，以提取体素的点云密度和反射强度特征。对提取到的特征进行编码，将其转换成维度是(Batch，Channel_lidar，Width，Height)的激光雷达BEV空间特征向量。
作为其中一种实施方式，基于车载相机采集的视觉图像构建第二BEV空间特征向量，包括：
对视觉图像进行多层级特征提取，得到视觉图像特征向量，视觉图像特征向量包括视觉图像中的边缘特征、纹理特征和/或语义特征；
对视觉图像特征向量中对应的图像特征点进行深度估计，得到深度信息；
将深度信息映射到图像特征点对应的BEV空间网格位置，得到第二BEV空间特征向量。
具体地，构建视觉图像在鸟瞰图视角下的三维空间特征向量。原始视觉图像编码为对应的BEV空间特征向量。首先对原始视觉图像进行预处理。可使用滤波器去除图像中的噪声干扰，并去除由于相机特性造成的图像畸变。将经过上述处理之后得到的输入图像调整为固定尺寸，以便后续在神经网络模型中进行处理。此外，还可对视觉图像进行增强处理，包括且不限于对比度增强、色彩增强、缩放、旋转与翻转。然后对视觉图像的像素值进行归一化处理，以提高模型的训练效率和效果。
接着，对预处理后的视觉图像进行特征提取。可选择ResNet神经网络作为骨干网络对图像进行特征提取。多层级特征提取是指在深度学习中通过多层神经网络对输入数据进行逐层抽象，从而得到更加高级的特征表示的过程。本申请利用ResNet网络对视觉图像进行深度处理，从而提取出视觉图像中的关键特征。具体来说，ResNet网络通过其特有的残差块结构，逐层对视觉图像进行卷积操作，从而提取出图像中的各种特征。这些特征可能包括颜色、纹理、形状等低级特征，也可能包括物体、语义等高级特征。提取过程中可采用多个层级的特征表示，用于提取边缘、纹理以及物体的语义特征，得到视觉图像特征向量。
最后，将得到的视觉图像特征向量转化为视觉图像BEV空间特征向量。通过对视觉图像特征向量中对应的图像特征点进行深度估计，遍历每个图像特征点的深度信息，依据视线信息映射到其所对应的BEV空间网格位置。然后将其特征作为BEV空间对应网格位置的特征向量，完成从视觉图像特征到视觉图像BEV空间特征向量的转换。
示例性地，对原始图像进行预处理。使用滤波器去除图像中的噪声干扰；去除由于相机特性造成的图像畸变。将输入图像调整为固定尺寸(224x224)。对图像进行增强，包括对比度增强、色彩增强、缩放、旋转与翻转；对图像像素值进行归一化处理。对预处理后图像进行图像特征提取。选择ResNet50神经网络作为骨干网络对上个步骤中处理的图像进行特征提取。提取过程中分别采用32倍、64倍、128倍三个层级下采样的边缘特征、纹理特征和语义特征进行堆叠得到图像特征向量。
然后将二维的图像特征向量转换为三维的BEV空间特征向量。首先，对图像特征向量中对应的图像特征点进行深度估计；其次，遍历每个图像特征点深度信息，依据视线信息映射到其所对应的BEV空间网格位置，生成维度为(Batch,Channel_image,Width,Height)的BEV空间对应网格位置的特征向量。
作为其中一种实施方式，将激光雷达BEV空间特征向量和视觉图像BEV空间特征向量，在BEV特征通道维度堆叠融合成特征向量。示例性地，可将激光雷达BEV空间特征向量与视觉BEV空间特征向量，在BEV特征通道维度堆叠成维度为(Batch，Channel_lidar+Channel_image，Width，Height)的融合特征向量。
作为其中一种实施方式，对堆叠后的融合特征向量进行编码，并对融合特征向量进行多尺度特征提取。将图像进行不同尺度的缩放，然后对每个尺度的图像提取特征。这样可以得到不同尺度的特征图，这些特征图包含了图像在不同尺度上的特征信息，从而更全面地描述图像的内容。最后堆叠多尺度特征并映射到车道线检测所需的BEV空间中。示例性地，可先对堆叠后的融合特征向量进行编码。其次，对融合特征向量进行2倍和4倍下采样特征提取，拼接堆叠多尺度特征并映射到车道线检测所需维度为(Batch，Channel_fusion，Width，Height)BEV空间特征向量。
如此，将多模态特征融合到同一个三维特征空间，采用BEV三维空间建模的方法，解决了在二维图像中进行车道线进行检测时远距离像素在真实空间像素坐标投影的误差较大的问题，能够有效提升三维车道线检测的视野范围。
步骤S3：基于多检测头的车道线检测模型对空间特征向量进行检测，得到车道线检测结果。
其中，基于多检测头的车道线检测模型对空间特征向量进行检测，得到车道线检测结果，包括：
在车道线检测模型中设置多个检测头，包括车道线像素检测头、车道中心点横坐标回归检测头、车道中心点纵坐标回归检测头、车道线实例分割检测头和车道线类别检测头；
基于多个检测头输出对应的车道线检测结果。
这里采用了分割和语义信息结合的方式进行三维车道线预测。具体地，通过在卷积神经网络模型中设置多个检测头，分别检测BEV空间特征像素点对应的分割图、车道线实例及车道线类型等车道线信息。
其中，车道线像素检测头用于执行车道线分割任务，对BEV空间像素点进行二分类预测。也就是说，通过车道线像素检测头将BEV空间像素点区分为前景和背景这两个类别。被归类为前景的BEV空间像素点属于车道线的一部分，被归类为背景的BEV空间像素点则不属于车道线的一部分。
车道中心点横坐标回归检测头，用于检测当前BEV空间像素点到当前车道中心线的距离，输出像素点相对于车道中心线的y轴偏移量。车道中心点纵坐标回归检测头，用于检测当前BEV空间像素点对应车道中心线的高度，输出像素点相对于车道中心线的z轴偏移量。
车道线实例分割检测头用于执行车道线实例分割任务，通过对车道线进行M维语义信息编码，即对车道线的特征进行多维度的语义描述和编码，以实现车道线的准确识别和分类，用于识别不同车道线实例。
车道线类别检测头用于检测车道线类型，通过N维多分类方法用于识别车道线类型。车道线类型包括且不限于白色标线、黄色标线、蓝色标线、实线、虚线、网络线、减速线、可变车道线等。
如此，通过多任务联合训练进行三维车道线检测的方式。基于多头检测模型分别用于执行不同的三维车道线检测任务，有助于模型同时理解和处理车道线的分割、实例和类别分类等不同方面，提高检测的全面性和细致度。
步骤S4：根据车道线检测结果生成车道线三维坐标点序列。
这里，根据车道线检测结果生成车道线三维坐标点序列，包括：
提取车道线检测结果中的特征像素点；
对特征像素点进行聚类处理，得到每条车道线实例对应的像素点；
根据车道中心点横坐标回归检测头的检测结果、车道中心点纵坐标回归检测头的检测结果和车道线实例对应的像素点的坐标，生成车道线三维坐标点序列。
这里，对多个检测头输出内容进行处理，以生成车道线三维坐标预测序列。首先提取车道线特征像素点，根据车道线像素检测头和车道线实例分割检测头输出的检测结果，使用分割方法找到所有车道线所在的特征像素点。然后对车道线实例进行聚类处理。可采集基于密度聚类的方法DBSCAN，通过车道线像素点对应的M维语义信息进行聚类，识别出每条车道线实例对应的像素点。DBSCAN(Density-Based Spatial Clustering ofApplications with Noise)是一种基于密度的聚类方法。这种方法把簇看作是数据空间中由低密度区域分割开的高密度对象区域。DBSCAN的算法步骤包括：将所有数据对象标记为核心对象、边界对象或噪声对象。删除噪声对象。为距离在Eps之内的所有核心对象之间赋予一条边。每组联通的核心对象形成一个簇。将每个边界对象指派到一个与之关联的核心对象的簇中。DBSCAN能够发现任意形状的聚类，并且能够处理噪声数据。
最后，根据车道中心点横坐标回归检测头的检测结果、车道中心点纵坐标回归检测头的检测结果和车道线实例对应的像素点的坐标，生成车道线三维坐标点序列。这里，以车道线实例对应的像素点的坐标中的x轴坐标为基准，将其y轴坐标加上像素点相对于车道中心线的y轴偏移量，得到车道中心线的y轴坐标；将其z轴坐标加上像素点相对于车道中心线的z轴偏移量，得到车道中心线的z轴坐标。如此，可将车道线检测结果生成车道线三维坐标点序列。
作为其中一种实施方式，还可根据车道线类别检测头输出的检测结果确定车道线类型。对识别出的车道线实例，遍历其所有三维坐标点序列对应的类别标签，将概率最大的类别作为该条车道线的类别标识。
作为其中一种实施方式，根据车道线检测结果生成车道线三维坐标点序列之后，车道线检测方法，还包括：
对车道线三维坐标点序列进行后处理。
这里，对车道线三维坐标点序列进行后处理，包括：
对每条车道线进行分段拟合，得到拟合函数；
根据拟合函数对车道线三维坐标点序列进行重新采样；
将每段重新采样的坐标点按照顺序进行拼接，并对拼接后的车道线进行平滑处理。
具体地，通过对车道线三维坐标点序列进行后处理，可以优化车道线形状，去除数据噪声。本申请采用分段拟合方式输出最终车道线三维坐标点序列。可将每条车道线按照设定的长度Ls进行分段处理。对每条车道线段落采用三次多项式最小二乘拟合，获得拟合函数。根据分段拟合函数进行车道线三维坐标点重新采样。将每段重新采样的坐标点按照顺序进行拼接，并对拼接后的车道线进行平滑处理。
示例性地，将每条车道线按照设定的长度Ls＝50m进行分段处理。对每个车道线段落采用三次多项式最小二乘拟合，获取拟合函数。根据分段拟合函数以interval＝0.2m间隔进行车道线三维坐标点重新采样。将每段重新采样的坐标点按照顺序进行拼接，并对拼接后的车道线进行窗口为10m的滑动平均处理。
最后，输出每条车道线后处理过的最终三维坐标点序列。
如此，通过采用车道线三维坐标点序列多级后处理的方式，采用基于密度的聚类方法DBSCAN进行车道线的实例分割，有效提升对分叉、汇合等非常规车道线的识别准确度。同时对车道线原始预测点序列进行分段拟合、重新采样并平滑处理的方式，能有效提升输出数据的质量。结合实例聚类以及车道线分段拟合与重新采样，能进一步完善和优化车道线的检测结果。使模型输出的车道线采样点序列更符合实际道路状况，提升车道线检测的准确度，以便于后续进行车道线追踪和融合。
本申请实施例的车道线检测方法，基于目标车辆的不同车载传感器采集多种车道线数据；根据车道线数据构建BEV空间特征向量；基于多检测头的车道线检测模型对空间特征向量进行检测，得到车道线检测结果；根据车道线检测结果生成车道线三维坐标点序列。本申请的车道线检测方法，综合不同传感器采集数据的多模态特性，并将其融合到同一个三维特征空间中，然后输入到深度学习多头检测模型中进行车道线检测，提高了车道线检测的准确性和鲁棒性。
本申请还提供一种终端，包括：至少一个存储器和至少一个处理器，所述存储器存储一条或多条计算机可执行指令，所述处理器调用所述一条或多条计算机可执行指令，以执行如上述车道线检测方法的实施例中的步骤。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数词信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是终端的内部存储单元，例如终端的硬盘或内存。存储器也可以是终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数词(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括终端的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及终端所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
本申请还提供一种计算机存储介质，计算机存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述车道线检测方法的实施例中的步骤。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种车道线检测方法，其特征在于，包括：
基于目标车辆的不同车载传感器采集多种车道线数据；
根据所述车道线数据构建BEV空间特征向量；
基于多检测头的车道线检测模型对所述空间特征向量进行检测，得到车道线检测结果；
根据所述车道线检测结果生成车道线三维坐标点序列。
2.根据权利要求1所述的方法，其特征在于，所述车载传感器包括激光雷达和车载相机，所述根据所述车道线数据构建BEV空间特征向量，包括：
基于激光雷达采集的点云数据构建第一BEV空间特征向量；
基于车载相机采集的视觉图像构建第二BEV空间特征向量；
融合所述第一BEV空间特征向量和所述第二BEV空间特征向量，得到BEV空间特征向量。
3.根据权利要求2所述的方法，其特征在于，所述基于激光雷达采集的点云数据构建第一BEV空间特征向量，包括：
将激光雷达感知范围空间分割为体素单元；
遍历点云数据并将其分配到对应的体素单元中；
在体素化的空间中应用稀疏卷积网络提取体素单元的点云密度和反射强度特征；
对提取到的特征进行编码，将其转换为第一BEV空间特征向量。
4.根据权利要求2所述的方法，其特征在于，所述基于车载相机采集的视觉图像构建第二BEV空间特征向量，包括：
对所述视觉图像进行多层级特征提取，得到视觉图像特征向量，所述视觉图像特征向量包括所述视觉图像中的边缘特征、纹理特征和/或语义特征；
对视觉图像特征向量中对应的图像特征点进行深度估计，得到深度信息；
将所述深度信息映射到所述图像特征点对应的BEV空间网格位置，得到第二BEV空间特征向量。
5.根据权利要求1所述的方法，其特征在于，所述基于多检测头的车道线检测模型对所述空间特征向量进行检测，得到车道线检测结果，包括：
在车道线检测模型中设置多个检测头，包括车道线像素检测头、车道中心点横坐标回归检测头、车道中心点纵坐标回归检测头、车道线实例分割检测头和车道线类别检测头；
基于所述多个检测头输出对应的车道线检测结果。
6.根据权利要求5所述的方法，其特征在于，所述根据所述车道线检测结果生成车道线三维坐标点序列，包括：
提取车道线检测结果中的特征像素点；
对所述特征像素点进行聚类处理，得到每条车道线实例对应的像素点；
根据所述车道中心点横坐标回归检测头的检测结果、所述车道中心点纵坐标回归检测头的检测结果和所述车道线实例对应的像素点的坐标，生成车道线三维坐标点序列。
7.根据权利要求1所述的方法，其特征在于，所述根据所述车道线检测结果生成车道线三维坐标点序列之后，所述方法，还包括：
对车道线三维坐标点序列进行后处理。
8.根据权利要求7所述的方法，其特征在于，所述对车道线三维坐标点序列进行后处理，包括：
对每条车道线进行分段拟合，得到拟合函数；
根据所述拟合函数对所述车道线三维坐标点序列进行重新采样；
将每段重新采样的坐标点按照顺序进行拼接，并对拼接后的车道线进行平滑处理。
9.一种终端，其特征在于，包括：至少一个存储器和至少一个处理器，所述存储器存储一条或多条计算机可执行指令，所述处理器调用所述一条或多条计算机可执行指令，以执行如权利要求1至8任一项所述的车道线检测方法。
10.一种计算机存储介质，其特征在于，所述存储介质存储一条或多条计算机可执行指令，所述一条或多条计算机可执行指令被执行时实现如权利要求1至8任一项所述的车道线检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311842873.2A CN117789149A (zh) | 2023-12-27 | 2023-12-27 | 车道线检测方法、终端及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311842873.2A CN117789149A (zh) | 2023-12-27 | 2023-12-27 | 车道线检测方法、终端及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117789149A true CN117789149A (zh) | 2024-03-29 |
Family
ID=90392558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311842873.2A Pending CN117789149A (zh) | 2023-12-27 | 2023-12-27 | 车道线检测方法、终端及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117789149A (zh) |
-
2023
- 2023-12-27 CN CN202311842873.2A patent/CN117789149A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
| CN107817496B (zh) | 适用于自动车辆的对象检测系统 | |
| US10984659B2 (en) | Vehicle parking availability map systems and methods | |
| CN113128348B (zh) | 一种融合语义信息的激光雷达目标检测方法及系统 | |
| CN113412505A (zh) | 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的系统和方法 | |
| Panek et al. | Meshloc: Mesh-based visual localization | |
| Ding et al. | Fast lane detection based on bird’s eye view and improved random sample consensus algorithm | |
| CN114463736A (zh) | 一种基于多模态信息融合的多目标检测方法及装置 | |
| CN117058646B (zh) | 基于多模态融合鸟瞰图的复杂道路目标检测方法 | |
| CN113095152A (zh) | 一种基于回归的车道线检测方法及系统 | |
| EP3881225A1 (en) | Coordinate estimation on n-spheres with spherical regression | |
| CN111062347B (zh) | 一种自动驾驶中交通要素分割方法、电子设备及存储介质 | |
| CN114998610A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN114820463A (zh) | 点云检测和分割方法、装置，以及，电子设备 | |
| Harianto et al. | Data augmentation and faster rcnn improve vehicle detection and recognition | |
| EP3764335A1 (en) | Vehicle parking availability map systems and methods | |
| CN116229406B (zh) | 车道线检测方法、系统、电子设备及存储介质 | |
| Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
| CN117789149A (zh) | 车道线检测方法、终端及计算机存储介质 | |
| CN114898321A (zh) | 道路可行驶区域检测方法、装置、设备、介质及系统 | |
| Schennings | Deep convolutional neural networks for real-time single frame monocular depth estimation | |
| CN114332814A (zh) | 一种停车框识别方法、装置、电子设备及存储介质 | |
| CN114332805A (zh) | 车道位置获取方法、装置、计算机设备和存储介质 | |
| Liu et al. | Real-time unstructured road detection based on CNN and Gibbs energy function | |
| CN115984583B (zh) | 数据处理方法、装置、计算机设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |