CN117670833A - 一种三维车道线检测方法、系统、介质及电子设备 - Google Patents

Abstract

本公开提供一种三维车道线检测方法、系统、介质及电子设备，其中，三维车道线检测方法，包括:获取包含有目标车道线的图像数据集；将图像数据集中的图像样本输入虚拟相机中进行图像参数预处理，确定经过图像参数预处理后的图像样本；将经过图像参数预处理后的图像样本输入预设的主干网络中，确定前视图特征；将前视图特征输入内嵌注意力机制的空间转换模型中，确定鸟瞰图总特征；将鸟瞰图总特征输入检测头网络中，确定目标车道线。通过本公开，实现采用虚拟相机统一图像样本的内外参数，提高三维车道线的检测精度，采用内嵌注意力机制，简化了空间特征转换模型的结构，提高获取高层次全局特征信息的提取能力，提高三维车道线的检测速度。

Description

一种三维车道线检测方法、系统、介质及电子设备

技术领域

本发明涉及图像处理及智能驾驶技术领域，具体地，涉及一种三维车道线检测三维车道线检测方法、系统、介质及电子设备。

背景技术

车道线检测技术的主要任务，是通过处理车载传感器和相机等设备收集到的车辆周围的可视化信息，对当前的车道线进行实时检测，从而给出检测图像内车道线的相关信息，包括车道线的坐标，类型，方向，曲率，长度，宽度等。作为自动驾驶技术中感知模块的重要组成部分，车道线检测技术的精度直接影响决策模块对于自动驾驶车辆行驶路线的规划。

车道线检测一般是通过传统图像处理的手段实现，其最大的特点是需要人工提取车道图像中的各种特征，在识别到车道线后，采用后处理技术过滤掉误检物体，最终通过曲线拟合等方法得到最终的车道线。基于传统图像处理的车道线检测方法鲁棒性差，人工成本高，在深度学习兴起之后很快就被淘汰。

基于深度学习的二维车道线检测一般会先通过主干网络初步提取车道图像的特征，然后采用不同的方法对提取到的特征进行处理，例如，基于分割，基于锚点和基于参数这三类方法，最后基于车道线检测数据集的训练集样本对经过处理后的特征进行损失函数的计算，从而对检测模型的参数进行优化训练。但是，二维车道线检测的缺点在于其默认车道没有起伏，忽略了高度信息，二维车道线的检测精度通常不如三维车道线的检测精度高。

基于深度学习的三维车道线检测，在二维检测模型的基础上，增加了对鸟瞰视角车道线的特征提取，从而将车道的高度信息纳入模型的检测范畴，因此三维车道线检测的核心技术为如何实现从前视图到鸟瞰图的空间特征转换。目前实现该空间特征转换的主流技术包含基于卷积神经网络和基于转换器两大类，但是这两类方法都存在一定的缺陷。卷积神经网络的优势为对于局部图像特征的提取，但其并不擅长对全局图像特征进行把握，则在面对车道线这种细长且稀疏的检测物体时，卷积神经网络的检测性能会有所下降。转换器得益于其特有的注意力机制，其擅长把握高层次的全局特征，但由于转换器模块通常结构复杂，参数量大，相较于卷积神经网络其训练速度低下，难适用于自动驾驶这类要求实时检测的场景。

为使得车辆能够正确行驶在自己的车道上，如何实现精准且高效的车道线检测，是三维车道线检测问题中亟待解决的难题，并对于整个自动驾驶系统有着重要的意义。

发明内容

针对现有技术中的缺陷，本公开的目的是提供一种三维车道线检测方法、系统、介质及电子设备。

为实现上述目的，根据本公开的一个方面，提供一种三维车道线检测方法，包括：

获取包含有目标车道线的图像数据集，所述图像数据集包括多张包含有目标车道线的图像样本；

将所述图像数据集中的图像样本输入虚拟相机中进行图像参数预处理，确定经过所述图像参数预处理后的图像样本；

将所述经过所述图像参数预处理后的图像样本输入预设的主干网络中，确定所述图像样本的前视图特征；

将所述图像样本的前视图特征输入内嵌注意力机制的空间转换模型中，确定所述图像样本的鸟瞰图总特征；

将所述图像样本的鸟瞰图总特征输入检测头网络中，确定所述目标车道线。

可选地，所述将所述图像样本的前视图特征输入内嵌注意力机制的空间转换模型中，确定所述图像样本的鸟瞰图总特征，包括：

采用多层感知机将所述图像样本的前视图特征进行空间转换处理，确定所述图像样本的鸟瞰图特征，所述鸟瞰图特征包括第一鸟瞰图特征、第二鸟瞰图特征、第三鸟瞰图特征；

基于预设的内嵌注意力机制对所述鸟瞰图特征进行特征提取处理，确定高层次全局特征信息；

将所述第一鸟瞰图特征、所述第二鸟瞰图特征、所述第三鸟瞰图特征在通道数维度上进行拼接处理，确定所述图像样本的鸟瞰图总特征。

可选地，所述前视图特征包括第一前视图特征、第二前视图特征、第三前视图特征；

所述采用多层感知机将所述图像样本的前视图特征进行空间转换处理，确定所述图像样本的鸟瞰图特征，包括：

采用所述多层感知机将所述第一前视图特征进行空间转换处理，确定所述第一鸟瞰图特征；

采用所述多层感知机将所述第二前视图特征进行空间转换处理，确定所述第二鸟瞰图特征；

采用所述多层感知机将所述第三前视图特征进行空间转换处理，确定所述第三鸟瞰图特征。

可选地，所述将所述经过所述图像参数预处理后的图像样本输入预设的主干网络中，确定所述图像样本的前视图特征，包括：

将所述经过所述图像参数预处理后的图像样本输入所述预设的主干网络，输出所述第一前视图特征；

对所述第一前视图特征进行通道降维处理，确定经过所述通道降维处理后的第一前视图特征；

将所述经过所述通道降维处理后的第一前视图特征进行第一下采样处理，确定所述第二前视图特征；

将所述第二前视图特征进行第二下采样处理，确定所述第三前视图特征。

可选地，所述将所述图像样本的鸟瞰图总特征输入检测头网络中，确定所述目标车道线，包括：

根据预设尺寸将所述鸟瞰图总特征划分为多个网格；

对每一所述网格进行卷积操作处理，确定每一所述网格的参数得分，所述参数得分包括置信度得分、偏移得分、高度得分、嵌入得分；

根据所述每一网格的参数得分，确定所述目标车道线。

可选地，所述将所述图像数据集中的图像样本输入虚拟相机中进行图像参数预处理，确定经过所述图像参数预处理后的图像样本，包括：

根据所述包含有目标车道线的图像样本的内外参数的均值，确定所述虚拟相机的内外参数；

根据当前相机的内外参数和所述虚拟相机的内外参数，确定虚拟相机矩阵；

将所述图像数据集中的图像样本矩阵与所述虚拟相机矩阵进行乘积处理，确定内外参数统一的图像样本。

可选地，所述内嵌注意力机制的空间转换模型中包括第一层注意力机制和第二层注意力机制，所述第二层注意力机制嵌入所述第一层注意力机制内部。

根据本公开的第二方面，提供一种三维车道线检测系统，包括：

获取模块，用于获取包含有目标车道线的图像数据集，所述图像数据集包括多张包含有目标车道线的图像样本；

预处理模块，用于将所述图像数据集中的图像样本输入虚拟相机中进行图像参数预处理，确定经过所述图像参数预处理后的图像样本；

初步特征提取模块，用于将所述经过所述图像参数预处理后的图像样本输入预设的主干网络中，确定所述图像样本的前视图特征；

空间转换模块，用于将所述图像样本的前视图特征输入内嵌注意力机制的空间转换模型中，确定所述图像样本的鸟瞰图总特征；

检测模块，用于将所述图像样本的鸟瞰图总特征输入检测头网络中，确定所述目标车道线。

根据本公开的第三方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面提供的三维车道线检测方法的步骤。

根据本公开的第四方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面提供的三维车道线检测方法的步骤。

与现有技术相比，本发明实施例具有如下至少一种有益效果：

通过上述技术方案，采用虚拟相机对图像数据集中的图像样本的图像参数进行预处理，统一图像样本的内外参数，降低前视图特征到鸟瞰图特征的空间特征转换过程出现误差的概率，提高三维车道线的检测精度；采用内嵌注意力机制，简化转换器的结构，保留转换器的核心注意力机制，从而简化了空间特征转换模型的结构，提高在空间特征转换过程中对于鸟瞰图特征的高层次全局特征信息的提取能力，提高三维车道线的检测速度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是根据一示例性实施例示出的一种三维车道线检测方法的流程图。

图2是根据一示例性实施例示出的一种对图像样本进行参数预处理的方法的流程图。

图3是根据一示例性实施例示出的一种传统的注意力机制的结构示意图。

图4是根据一示例性实施例示出的一种内嵌注意力机制的结构示意图。

图5是根据一示例性实施例示出的一种检测目标车道线的方法流程图。

图6是根据一示例性实施例示出的一种确定图像样本的前视图特征方法的流程图。

图7是根据一示例性实施例示出的一种将前视图特征转换为鸟瞰图特征的方法流程图。

图8是根据一示例性实施例示出的一种三维车道线检测系统的框图。

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本公开的一种三维车道线检测方法基于三维车道线检测模型实现，其中，三维车道线检测模型包括：虚拟相机、主干网络、内嵌注意力机制的空间转换模型和检测头网络。

图1是根据一示例性实施例示出的一种三维车道线检测方法的流程图。如图1所示，一种三维车道线检测方法，包括S11至S15。

S11，获取包含有目标车道线的图像数据集。

其中，包含有目标车道线的图像数据集包括多张包含有目标车道线的图像样本。

示例地，可以采用车辆的行车记录仪或者在车辆上安装图像采集装置，例如相机或者摄像机，以拍摄包含有目标车道线的图像样本。

包含有目标车道线的图像数据集可以采用OpenLane数据集。

S12，将图像数据集中的图像样本输入虚拟相机中进行图像参数预处理，确定经过图像参数预处理后的图像样本。

在获取包含有目标车道线的图像时，由于车辆的种类及型号的不同以及图像采集装置的种类及型号的不同，导致所获取的包含有目标车道线的图像数据集中的图像样本的内外参数不统一。其中，不统一的内外参数容易导致后续的视图特征到鸟瞰图特征的空间特征转换过程中出现误差，从而影响三维车道线的检测精度。

在一种可能的实施例中，本公开采用虚拟相机进行数据前处理：

设置与当地道路表面相切的平面为P_road，即鸟瞰图平面，三维车道线检测关注于平面P_road，虚拟相机采用共面性投影将当前相机的图像通过单应性矩阵投影至虚拟相机的视图中，实现不同相机之间空间关系的一致性，其中单应性矩阵为H_i,j，也表示虚拟相机矩阵。

图2是根据一示例性实施例示出的一种对图像样本进行参数预处理的方法的流程图

在一些可能的实施例中，如图2所示，将图像数据集中的图像样本输入虚拟相机中进行图像参数预处理，确定经过图像参数预处理后的图像样本，包括S21至S23。

S21，根据包含有目标车道线的图像样本的内外参数的均值，确定虚拟相机的内外参数。

在本公开中，虚拟相机的内外参数为固定值，将包含有目标车道线的图像数据集内的包含有目标车道线的图像样本的内外参数的平均值，作为虚拟相机的内外参数。

S22，根据当前相机的内外参数和虚拟相机的内外参数，确定虚拟相机矩阵。

作为一种示例，在鸟瞰图平面P_road上选择四个点，确定其四个点的位置坐标，将其四个点分别投影到当前相机的图像和虚拟相机的图像上，确定其每一点的投影位置坐标，根据其每一点的投影位置坐标，采用最小二乘法确定单应性矩阵，即虚拟相机矩阵。

S23，将图像数据集中的图像样本矩阵与虚拟相机矩阵进行乘积处理，确定内外参数统一的图像样本。

在本公开中，图像参数预处理采用的方法为将图像样本矩阵与虚拟相机矩阵进行乘积处理。

在包含有目标车道线的图像样本输入三维车道线检测模型中后，首先输入虚拟相机中，以将图像样本矩阵与虚拟相机矩阵进行乘积处理，以统一图像样本的内外参数。

通过上述技术方案，能够实现降低三维车道线检测过程中的空间特征转换出现误差的概率，提高三维车道线的检测精度。

S13，将经过图像参数预处理后的图像样本输入预设的主干网络中，确定图像样本的前视图特征。

其中，预设的主干网络可以采用卷积神经网络，预设的主干网络用于对输入的预处理后的图像样本进行初步的特征提取处理。

作为一种示例，例如ResNet34网络，采用ResNet34网络作为主干网络，并采用ImageNet数据集对主干网络进行预训练，并将训练完成的主干网络封装在pytorch用于构建计算机视觉模型的图形库torchvision包中。

作为另一示例，在本公开中，采用EfficientNet系列的EfficientNetb2网络作为主干网络，EfficientNetb2网络可以采用ImageNet数据集进行预训练。

其中，EfficientNetb2网络包括10个卷积层、2个池化层、5个全连接层。

对于EfficientNetb2网络和ResNet34网络，EfficientNetb2网络的性能优于EfficientNetb2网络，EfficientNetb2网络的检测精度以及检测速度均优于ResNet34网络。

图像样本的前视图特征包括第一前视图特征、第二前视图特征、第三前视图特征。

将每一经过图像参数预处理后的图像样本输入预设的主干网络中，输出图像样本对应的第一视图特征、第二视图特征、第三视图特征。

S14，将图像样本的前视图特征输入内嵌注意力机制的空间转换模型中，确定图像样本的鸟瞰图总特征。

在一种可能的实施例中，将前视图特征输入内嵌注意力机制的空间转换模型中，首先，采用多层感知机将前视图特征转换为鸟瞰图特征，其次，采用内嵌注意力机制提取鸟瞰图特征的高层次全局特征信息，最终，将鸟瞰图特征进行拼接处理，获取鸟瞰图总特征。其中，鸟瞰图特征包括第一鸟瞰图特征、第二鸟瞰图特征、第三鸟瞰图特征。

在本公开中，内嵌注意力机制的空间转换模型中包括第一层注意力机制和第二层注意力机制，其中，第二层注意力机制嵌入第一层注意力机制内部。

图3是根据一示例性实施例示出的一种传统的注意力机制的结构示意图。图4是根据一示例性实施例示出的一种内嵌注意力机制的结构示意图。

如图3所示，第一层注意力机制采用传统的注意力机制，即转换器中的核心注意力机制。

第一层注意力机制的输入为query值，key值和value值，首先对query值和key值进行矩阵乘积处理；然后再将query值和key值的乘积，采用归一化指数函数(Softmax)进行归一化处理，确定value值的权重系数，该value值的权重系数表示一对query值、key值之间的相关性；最终将value值与value值的权重系数进行加权求和处理，确定第一层注意力机制的输出。

如图4所示，本公开在第一层注意力机制中嵌入第二层注意力机制，第二层注意力机制即为图4中的内嵌注意力机制。

将第一层注意力机制的query值和key值的矩阵乘积作为第二层注意力机制的输入，即第二层注意力机制的输入为query值和key值相关性图谱，再将query值和key值进行矩阵乘积处理，将query值和key值的矩阵乘积采用归一化指数函数(Softmax)进行归一化处理，确定value值的权重系数，再将value值与value值的权重系数进行加权求和处理，输出最后的新的相关性图谱，新的相关性图谱表示相邻的query/key对之间的相关性。其中，将第二层注意力机制输出的新的相关性图谱输入第一层注意力机制内，第一层注意力机制的输出表示输入的相关性图谱与相关性图谱之间的自相关性，即反映相邻的query值/key值对之间的相关性，以挖掘更深层次的图片特征信息。

如图4所示，在内嵌注意力机制内，第一层注意力机制的输入为value值(V)、key值(K)、query值(Q)，将query值和key值进行矩阵乘积处理，query值和key值的乘积与第二层注意力机制输出的新的相关性图谱进行作和处理，再采用归一化指数函数(Softmax)进行归一化处理，最终将归一化处理的结果与value值进行加权求和处理，输出最终结果。

基于图像检测经验，若一对<key,value>值与其相对应的query值之间存在较高的相关性，那么其与相邻的query值之间也存在较高的相关性，反之亦然。

通过上述技术方案，采用内嵌注意力机制考量每一对<key,value>值与其相对应的对应的query值之间的相关性，以及每一对<key,value>值与其相邻的query值之间的相关性，能够在传统注意力机制的基础上，抑制错误的相关性的传播，增强正确的相关性传播，更有效地提取鸟瞰图特征的高层次全局特征信息。

S15，将图像样本的鸟瞰图总特征输入检测头网络中，确定目标车道线。

其中，将鸟瞰图总特征输入检测头网络中，在检测头网络中，采用关键点表示法(Key-point Representation)预测目标车道线。

图5是根据一示例性实施例示出的一种检测目标车道线的方法流程图。

如图5所示，在一种可能的实施例中，将图像样本的鸟瞰图总特征输入检测头网络中，确定目标车道线，包括S31至S33。

S31，根据预设尺寸将鸟瞰图总特征划分为多个网格。

S32，对每一网格进行卷积操作处理，确定每一网格的参数得分。

其中，参数得分包括置信度得分、偏移得分、高度得分、嵌入得分。

置信度(Confidence)得分：若网格中存在车道线，将该网格的置信度得分记作1，若网格中不存在车道线，将该网格的置信度得分记作0；

偏移(Offset)得分：偏移得分表示车道线到网格中心点的偏移量，根据车道线到网格中心点的偏移量确定车道线的二维坐标信息和车道线的方向；

高度(Height)得分：高度得分表示特定的网格在三维坐标中的高度，即车道线在三维坐标中的纵向高度信息；

嵌入(Embedding)得分：嵌入得分表示车道线的种类，不同种类的车道线在同一网格内嵌入时嵌入得分最小化，在不同网格内嵌入时嵌入得分最大化，嵌入得分用于区分同一网格中的不同种类的车道线。

S33，根据每一网格的参数得分，确定目标车道线。

其中，根据每一网格的各个参数的得分，确定目标车道线的三维坐标、方向以及种类。

通过上述技术方案，采用虚拟相机对图像数据集中的图像样本的图像参数进行预处理，统一图像样本的内外参数，降低前视图特征到鸟瞰图特征的空间特征转换过程出现误差的概率，提高三维车道线的检测精度；采用内嵌注意力机制，简化转换器的结构，保留转换器的核心注意力机制，从而简化了空间特征转换模型的结构，提高在空间特征转换过程中对于鸟瞰图特征的高层次全局特征信息的提取能力，提高检测三维车道线的检测速度。

图6是根据一示例性实施例示出的一种确定图像样本的前视图特征方法的流程图。

在一些可能的实施例中，如图6所示，将经过图像参数预处理后的图像样本输入预设的主干网络中，确定图像样本的前视图特征，包括S41至S44。

S41，将经过图像参数预处理后的图像样本输入预设的主干网络，输出第一前视图特征。

其中，预设的主干网络采用EfficientNetb2网络。

在本公开中，经过预处理后的OpenLane图像数据集中的每一图像样本的尺寸为576*1024，通道数为3，批大小为8，则输入EfficientNetb2网络的每一图像样本的特征张量为[8,3,576,1024]，EfficientNetb2网络输出的第一前视图特征的特征张量为[8,1408,18,32]，则表示，预设的主干网络中输出的特征图像的尺寸相较于输入的原图像样本的尺寸缩小了32倍。

S42，对第一前视图特征进行通道降维处理，确定经过通道降维处理后的第一前视图特征。

其中，采用卷积核为1*1的卷积层对第一前视图特征进行第一卷积操作处理，即通道降维处理，将其通道数从1408降至512，则经过通道降维处理后的第一前视图特征的特征张量为[8,512,18,32]。

S43，将经过通道降维处理后的第一前视图特征进行第一下采样处理，确定第二前视图特征。

将特征张量为[8,512,18,32]的第一前视图特征的图像样本采用卷积核为3*3的卷积层进行第二卷积操作处理，即第一下采样处理，确定特征张量为[8,1024,9,16]的第二前视图特征，第二前视图特征对应的特征图像尺寸相较于输入的原图像样本的尺寸缩小64倍。

S44，将第二前视图特征进行第二下采样处理，确定第三前视图特征。

将特征张量为[8,1024,9,16]的第二前视图特征的图像样本采用卷积核为3*3的卷积层进行第三卷积操作处理，即第二下采样处理，确定特征张量为[8,2048,5,8]的第三前视图特征，第三前视图特征对应的特征图像尺寸相较于输入的原图像样本尺寸缩小128倍。

在一些可能的实施例中，将具有不同特征张量的第一前视图特征、第二前视图特征、第三前视图特征(x32，x64，x128)输入至内嵌注意力机制的空间转换模型中转换为对应的鸟瞰图特征。

通过上述技术方案，采用主干网络初步提取输入的图像样本的图像特征，并进行下采样处理为后续获取高层次全局特征进行铺垫。

图7是根据一示例性实施例示出的一种将前视图特征转换为鸟瞰图特征的方法流程图。

在一些可能的实施例中，如图7所示，将图像样本的前视图特征输入内嵌注意力机制的空间转换模型中，确定图像样本的鸟瞰图总特征，包括S51至S53。

S51，采用多层感知机将图像样本的前视图特征进行空间转换处理，确定图像样本的鸟瞰图特征。

其中，前视图特征包括第一前视图特征、第二前视图特征、第三前视图特征；鸟瞰图特征包括第一鸟瞰图特征、第二鸟瞰图特征、第三鸟瞰图特征。每一前视图特征的特征张量各不相同，每一鸟瞰图特征的特征张量也各不相同。

在一种可能的实施例中，采用多层感知机将图像样本的前视图特征进行空间转换处理，确定图像样本的鸟瞰图特征，包括：

采用多层感知机将第一前视图特征进行空间转换处理，确定第一鸟瞰图特征；

采用多层感知机将第二前视图特征进行空间转换处理，确定第二鸟瞰图特征；

采用多层感知机将第三前视图特征进行空间转换处理，确定第三鸟瞰图特征。

通过上述技术方案，采用多层感知机(MLP)将图像样本的前视图特征转换为鸟瞰图特征，运算简单，训练速度快，适用于自动驾驶等实用性场景。

S52，基于预设的内嵌注意力机制对鸟瞰图特征进行特征提取处理，确定高层次全局特征信息。

将鸟瞰图特征输入预设的内嵌注意力机制的模块中，提取高层次全局特征信息，并且，内嵌注意力机制的模块无需改变鸟瞰图特征的特征张量。

S53，将第一鸟瞰图特征、第二鸟瞰图特征、第三鸟瞰图特征在通道数维度上进行拼接处理，确定图像样本的鸟瞰图总特征。

其中，将第一鸟瞰图特征、第二鸟瞰图特征、第三鸟瞰图特征(x32，x64，x128)在通道数维度上进行拼接处理，确定特征张量为[8,768,25,5]的鸟瞰图总特征。

通过上述技术方案，基于多层感知机(MLP)将前视图特征转换为鸟瞰图特征，提取的鸟瞰图特征，采用转换器结构的注意力机制，并内嵌第二层注意力机制，获取高层次全局特征信息，既获取了高层次全局特征信息，还能简化内部结构，无需采用转换器的复杂结构，提高三维车道线检测模型的训练速度，提高三维车道线检测模型的检测速度，并且，不会影响最终的目标车道的检测效果。

图8是根据一示例性实施例示出的一种三维车道线检测系统的框图。

基于同一构思，本公开还提供一种三维车道线检测系统，参照图8，该三维车道线检测系统100，包括：获取模块110、预处理模块120、初步特征提取模块130、空间转换模块140、检测模块150。

获取模块110，用于获取包含有目标车道线的图像数据集，所述图像数据集包括多张包含有目标车道线的图像样本；

预处理模块120，用于将所述图像数据集中的图像样本输入虚拟相机中进行图像参数预处理，确定经过所述图像参数预处理后的图像样本；

初步特征提取模块130，用于将所述经过所述图像参数预处理后的图像样本输入预设的主干网络中，确定所述图像样本的前视图特征；

空间转换模块140，用于将所述图像样本的前视图特征输入内嵌注意力机制的空间转换模型中，确定所述图像样本的鸟瞰图总特征；

检测模块150，用于将所述图像样本的鸟瞰图总特征输入检测头网络中，确定所述目标车道线。

通过上述技术方案，采用虚拟相机对图像数据集中的图像样本的图像参数进行预处理，统一图像样本的内外参数，降低前视图特征到鸟瞰图特征的空间特征转换过程出现误差的概率，提高三维车道线的检测精度；采用内嵌注意力机制，简化转换器的结构，保留转换器的核心注意力机制，从而简化了空间特征转换模型的结构，提高在空间特征转换过程中对于鸟瞰图特征的高层次全局特征信息的提取能力，提高三维车道线的检测速度。

可选地，空间转换模块140包括：

第一确定子模块，用于采用多层感知机将所述图像样本的前视图特征进行空间转换处理，确定所述图像样本的鸟瞰图特征，所述鸟瞰图特征包括第一鸟瞰图特征、第二鸟瞰图特征、第三鸟瞰图特征；

第二确定子模块，用于基于预设的内嵌注意力机制对所述鸟瞰图特征进行特征提取处理，确定高层次全局特征信息；

第三确定子模块，用于将所述第一鸟瞰图特征、所述第二鸟瞰图特征、所述第三鸟瞰图特征在通道数维度上进行拼接处理，确定所述图像样本的鸟瞰图总特征。

可选地，所述前视图特征包括第一前视图特征、第二前视图特征、第三前视图特征。

可选地，第一确定子模块包括：

第四确定子模块，用于采用所述多层感知机将所述第一前视图特征进行空间转换处理，确定所述第一鸟瞰图特征；

第五确定子模块，用于采用所述多层感知机将所述第二前视图特征进行空间转换处理，确定所述第二鸟瞰图特征；

第六确定子模块，用于采用所述多层感知机将所述第三前视图特征进行空间转换处理，确定所述第三鸟瞰图特征。

可选地，初步特征提取模块130，包括：

第一前视图特征提取子模块，用于将所述经过所述图像参数预处理后的图像样本输入所述预设的主干网络，输出所述第一前视图特征；

通道降维处理子模块，用于对所述第一前视图特征进行通道降维处理，确定经过所述通道降维处理后的第一前视图特征；

第二前视图特征提取子模块，用于将所述经过所述通道降维处理后的第一前视图特征进行第一下采样处理，确定所述第二前视图特征；

第三前视图特征提取子模块，用于将所述第二前视图特征进行第二下采样处理，确定所述第三前视图特征。

可选地，检测模块150，包括：

划分子模块，用于根据预设尺寸将所述鸟瞰图总特征划分为多个网格；

卷积子模块，用于对每一所述网格进行卷积操作处理，确定每一所述网格的参数得分，所述参数得分包括置信度得分、偏移得分、高度得分、嵌入得分；

检测子模块，用于根据所述每一网格的参数得分，确定所述目标车道线。

可选地，预处理模块120，包括：

第七确定子模块，用于根据所述包含有目标车道线的图像样本的内外参数的均值，确定所述虚拟相机的内外参数；

第八确定子模块，用于根据当前相机的内外参数和所述虚拟相机的内外参数，确定虚拟相机矩阵；

第九确定子模块，用于将所述图像数据集中的图像样本矩阵与所述虚拟相机矩阵进行乘积处理，确定内外参数统一的图像样本。

可选地，所述内嵌注意力机制的空间转换模型中包括第一层注意力机制和第二层注意力机制，所述第二层注意力机制嵌入所述第一层注意力机制内部。

关于上述系统的实施例，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种电子设备的框图。如图9所示，在一些可能的实施例中，本公开还可以提供一种电子设备，该电子设备900可以包括：处理器901，存储器902。该电子设备900还可以包括多媒体组件903，输入/输出接口904，以及通信组件905中的一者或多者。

其中，处理器901用于控制该电子设备900的整体操作，以完成上述第一方面的三维车道线检测方法中的全部或者部分步骤。存储器902用于存储各种类型的数据以支持在该电子设备900的操作，这些数据例如可以包括用于在该电子设备900上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器902可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件903可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器902或通过通信组件905发送。音频组件还包括至少一个扬声器，用于输出音频信号。输入/输出接口904为处理器901和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件905用于该电子设备900与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearField Communication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件305可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在另一示例性实施例中，还提供了一种包括程序指令的非临时性计算机可读存储介质，该程序指令被处理器执行时实现上述的第一方面的三维车道线检测方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由电子设备的处理器执行以完成上述三维车道线检测方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的三维车道线检测方法的代码部分。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种三维车道线检测方法，其特征在于，包括：

获取包含有目标车道线的图像数据集，所述图像数据集包括多张包含有目标车道线的图像样本；

将所述图像数据集中的图像样本输入虚拟相机中进行图像参数预处理，确定经过所述图像参数预处理后的图像样本；

将所述经过所述图像参数预处理后的图像样本输入预设的主干网络中，确定所述图像样本的前视图特征；

将所述图像样本的前视图特征输入内嵌注意力机制的空间转换模型中，确定所述图像样本的鸟瞰图总特征；

将所述图像样本的鸟瞰图总特征输入检测头网络中，确定所述目标车道线。

2.根据权利要求1所述的方法，其特征在于，所述将所述图像样本的前视图特征输入内嵌注意力机制的空间转换模型中，确定所述图像样本的鸟瞰图总特征，包括：

采用多层感知机将所述图像样本的前视图特征进行空间转换处理，确定所述图像样本的鸟瞰图特征，所述鸟瞰图特征包括第一鸟瞰图特征、第二鸟瞰图特征、第三鸟瞰图特征；

基于预设的内嵌注意力机制对所述鸟瞰图特征进行特征提取处理，确定高层次全局特征信息；

将所述第一鸟瞰图特征、所述第二鸟瞰图特征、所述第三鸟瞰图特征在通道数维度上进行拼接处理，确定所述图像样本的鸟瞰图总特征。

3.根据权利要求2所述的方法，其特征在于，所述前视图特征包括第一前视图特征、第二前视图特征、第三前视图特征；

所述采用多层感知机将所述图像样本的前视图特征进行空间转换处理，确定所述图像样本的鸟瞰图特征，包括：

采用所述多层感知机将所述第一前视图特征进行空间转换处理，确定所述第一鸟瞰图特征；

采用所述多层感知机将所述第二前视图特征进行空间转换处理，确定所述第二鸟瞰图特征；

采用所述多层感知机将所述第三前视图特征进行空间转换处理，确定所述第三鸟瞰图特征。

4.根据权利要求3所述的方法，其特征在于，所述将所述经过所述图像参数预处理后的图像样本输入预设的主干网络中，确定所述图像样本的前视图特征，包括：

将所述经过所述图像参数预处理后的图像样本输入所述预设的主干网络，输出所述第一前视图特征；

对所述第一前视图特征进行通道降维处理，确定经过所述通道降维处理后的第一前视图特征；

将所述经过所述通道降维处理后的第一前视图特征进行第一下采样处理，确定所述第二前视图特征；

将所述第二前视图特征进行第二下采样处理，确定所述第三前视图特征。

5.根据权利要求1所述的方法，其特征在于，所述将所述图像样本的鸟瞰图总特征输入检测头网络中，确定所述目标车道线，包括：

根据预设尺寸将所述鸟瞰图总特征划分为多个网格；

对每一所述网格进行卷积操作处理，确定每一所述网格的参数得分，所述参数得分包括置信度得分、偏移得分、高度得分、嵌入得分；

根据所述每一网格的参数得分，确定所述目标车道线。

6.根据权利要求1所述的方法，其特征在于，所述将所述图像数据集中的图像样本输入虚拟相机中进行图像参数预处理，确定经过所述图像参数预处理后的图像样本，包括：

根据所述包含有目标车道线的图像样本的内外参数的均值，确定所述虚拟相机的内外参数；

根据当前相机的内外参数和所述虚拟相机的内外参数，确定虚拟相机矩阵；

将所述图像数据集中的图像样本矩阵与所述虚拟相机矩阵进行乘积处理，确定内外参数统一的图像样本。

7.根据权利要求1所述的方法，其特征在于，所述内嵌注意力机制的空间转换模型中包括第一层注意力机制和第二层注意力机制，所述第二层注意力机制嵌入所述第一层注意力机制内部。

8.一种三维车道线检测系统，其特征在于，包括：

获取模块，用于获取包含有目标车道线的图像数据集，所述图像数据集包括多张包含有目标车道线的图像样本；

预处理模块，用于将所述图像数据集中的图像样本输入虚拟相机中进行图像参数预处理，确定经过所述图像参数预处理后的图像样本；

初步特征提取模块，用于将所述经过所述图像参数预处理后的图像样本输入预设的主干网络中，确定所述图像样本的前视图特征；

空间转换模块，用于将所述图像样本的前视图特征输入内嵌注意力机制的空间转换模型中，确定所述图像样本的鸟瞰图总特征；

检测模块，用于将所述图像样本的鸟瞰图总特征输入检测头网络中，确定所述目标车道线。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。