CN114937091B - 一种车道线的检测方法、系统、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种车道线的检测方法、系统、电子设备及存储介质，涉及传感检测技术领域。该方法包括：获取双目相机采集的左视图图像和右视图图像；将所述左视图图像输入至预设车道线检测深度学习模型，获得车道线特征点的像素坐标；将所述左视图图像和所述右视图图像输入至预设双目测距深度学习模型，获得深度图像；根据所述像素坐标和所述深度图像获得所述车道线特征点在相机坐标系下的第一坐标值；将所述第一坐标值变换到惯性测量单元坐标系下的第二坐标值；根据基于惯性测量单元的预设组合导航信息和所述第二坐标值，生成所述车道线特征点在大地墨卡托坐标系下的坐标信息。该方法可以实现准确率高且成本低的车道线检测的技术效果。

Description

一种车道线的检测方法、系统、电子设备及存储介质

技术领域

本申请涉及传感检测技术领域，具体而言，涉及一种车道线的检测方法、系统、电子设备及存储介质。

背景技术

目前，在车辆行驶的过程中需要对车道线进行实时的识别和定位，保证车辆不偏离车道线，还可以生成车道线的数据。目前的车道线识别和定位多采用专门的地图采集车，采用多传感器，如激光雷达、多目sensor、全球导航卫星系统(GNSS，Global NavigationSatellite System)和高精度惯性导航设备等，成本高且数据多，采用服务器后处理计算，车道信息的实时性较差。

发明内容

本申请实施例的目的在于提供一种车道线的检测方法、系统、电子设备及存储介质，可以实现准确率高且成本低的车道线检测的技术效果。

第一方面，本申请实施例提供了一种车道线检测方法，包括：

获取双目相机采集的左视图图像和右视图图像；

将所述左视图图像输入至预设车道线检测深度学习模型，获得车道线特征点的像素坐标；

将所述左视图图像和所述右视图图像输入至预设双目测距深度学习模型，获得深度图像；

根据所述像素坐标和所述深度图像获得所述车道线特征点在相机坐标系下的第一坐标值；

将所述第一坐标值变换到惯性测量单元坐标系下的第二坐标值；

根据基于惯性测量单元的预设组合导航信息和所述第二坐标值，生成所述车道线特征点在大地墨卡托坐标系下的坐标信息。

在上述实现过程中，该车道线的检测方法通过结合双目相机和惯性测量单元的数据，即首先通过预设车道线检测深度学习模型获得车道线特征点的像素坐标，再通过预设双目测距深度学习模型获得深度图像，结合像素坐标和深度图像获得车道线特征点在相机坐标系下的第一坐标值；进而，获得车道线特征点在惯性测量单元坐标系下的第二坐标值，最终获得车道线特征点在大地墨卡托坐标系下的坐标信息，完成车道线检测；从而，该方法仅通过双目相机和惯性测量单元即可实现车道线检测，成本低、数据处理便捷，可以实现准确率高且成本低的车道线检测的技术效果。

进一步地，所述双目相机和所述惯性测量单元的组合模块固定到三轴转台上，通过接入脉冲信号作为所述组合模块的同步基准，在所述获取双目相机采集的左视图图像和右视图图像的步骤之前，还包括：

对所述双目相机进行标定，获得所述双目相机的内参数据和外参数据；

对所述双目相机和所述惯性测量单元进行联合标定，获得所述惯性测量单元和所述双目相机的综合外参数据。

在上述实现过程中，对双目相机、惯性测量单元进行标定，以使双目相机采集的图像数据和惯性测量单元采集的测量数据在后续的处理过程中可以联合，最终完成车道线的检测。

进一步地，在将所述左视图图像输入至预设车道线检测深度学习模型，获得车道线特征点的像素坐标的步骤之前，还包括：

根据所述双目相机的内参数据校正所述左视图图像和右视图图像。

在上述实现过程中，在预设车道线检测深度学习模型对双目相机采集的图像数据处理前，通过双目相机的内参数据校正左视图图像和右视图图像，并以校正后的左视图图像和右视图图像进行后续处理，提高车道线检测的准确性。

进一步地，所述根据所述像素坐标和所述深度图像获得所述车道线特征点在相机坐标系下的第一坐标值的步骤，包括：

将所述左视图图像和所述深度图像对齐，获得所述车道线特征点在所述深度图像上的第二像素坐标；

根据所述第二像素坐标获得深度值信息；

根据所述深度值信息、所述双目相机的基线和外参数据获得所述车道线特征点在相机坐标系下的第一坐标值。

在上述实现过程中，深度图像中每个像素点的像素值表示场景中某点与双目相机的距离，从而将左视图图像和深度图像对齐之后，结合双目相机的基线和外参数据可以获得车道线特征点在相机坐标系下的第一坐标值。

进一步地，所述将所述第一坐标值变换到惯性测量单元坐标系下的第二坐标值的步骤，包括：

根据所述综合外参数据将所述第一坐标值变换到惯性测量单元坐标系下的第二坐标值。

在上述实现过程中，综合外参数据表征了双目相机(左相机)和惯性测量单元的相互位置关系，结合坐标变换的相关规则，可以将将第一坐标值变换到惯性测量单元坐标系下的第二坐标值。

进一步地，所述对所述双目相机和所述惯性测量单元进行联合标定，获得所述惯性测量单元和所述双目相机的综合外参数据的步骤，包括：

将预设标定板的支架立于所述双目相机前并按照预设角度旋转所述三轴转台，获得所述惯性测量单元的测量数据和所述双目相机的测量图像；

根据所述惯性测量单元的测量数据和所述双目相机的测量图像进行联合标定，获得所述惯性测量单元和所述双目相机的综合外参数据。

在上述实现过程中，预设标定板可以相对于双目相机调整距离和角度，获得多组的惯性测量单元的测量数据和双目相机的测量图像；进而，根据多组的惯性测量单元的测量数据和双目相机的测量图像进行联合标定，可以提高标定精度。

进一步地，在所述根据所述像素坐标和所述深度图像获得所述车道线特征点在相机坐标系下的第一坐标值的步骤之前，还包括：

根据预设阈值对所述车道线特征点进行过滤，保留不超过所述预设阈值的所述车道线特征点。

在上述实现过程中，基于双目测距的精度限制，滤除超过预设阈值的车道线特征点。

进一步地，所述预设车道线检测深度学习模型为基于MoblilenetV2和注意力机制的车道线检测深度学习模型。

进一步地，所述Mobilenetv2使用深度可分离卷积代替普通卷积，使用反向残差结构加深网络层数；

所述注意力机制用于建立特征图上元素间远距离依赖关系和通道间依赖关系。

在上述实现过程中，Mobilenetv2使用深度可分离卷积代替普通卷积，以降低模型的计算量和参数量；使用反向残差结构加深网络层数，增强特征的表达能力，采用线性瓶颈结构减少低维特征信息的丢失。注意力机制可增加网络的感受视野，降低干扰信息对网络推断的影响，有遮挡或没有可见车道标记的情况下获取车道线。

进一步地，所述预设双目测距深度学习模型为一种基于空洞卷积的DispNetS和DispNetC结合的深度学习双目估计模型。

进一步地，所述预设双目测距深度学习模型中的空洞卷积与正常卷积的卷积核参数相同，所述空洞卷积的各个位置以预设间隔隔开。

在上述实现过程中，基于空洞卷积的DispNetS和DispNetC结合成优化网络，通过学习不同尺度的残差，并与初始视差估计网络的预测结果叠加得到视差图，降低学习难度。

第二方面，本申请实施例提供了一种车道线的检测系统，包括：

获取模块，用于获取双目相机采集的左视图图像和右视图图像；

车道线检测模块，用于将所述左视图图像输入至预设车道线检测深度学习模型，获得车道线特征点的像素坐标；

双目测距模块，用于将所述左视图图像和所述右视图图像输入至预设双目测距深度学习模型，获得深度图像；

第一坐标模块，用于根据所述像素坐标和所述深度图像获得所述车道线特征点在相机坐标系下的第一坐标值；

第二坐标模块，用于将所述第一坐标值变换到惯性测量单元坐标系下的第二坐标值；

综合坐标模块，用于根据基于惯性测量单元的预设组合导航信息和所述第二坐标值，生成所述车道线特征点在大地墨卡托坐标系下的坐标信息。

进一步地，所述双目相机和所述惯性测量单元的组合模块固定到三轴转台上，通过接入脉冲信号作为所述组合模块的同步基准，所述车道线的检测系统还包括：

双目相机标定模块，用于对所述双目相机进行标定，获得所述双目相机的内参数据和外参数据；

联合标定模块，用于对所述双目相机和所述惯性测量单元进行联合标定，获得所述惯性测量单元和所述双目相机的综合外参数据。

进一步地，所述车道线的检测系统还包括：

校正模块，用于根据所述双目相机的内参数据校正所述左视图图像和右视图图像。

进一步地，所述第一坐标模块包括：

对齐单元，用于将所述左视图图像和所述深度图像对齐，获得所述车道线特征点在所述深度图像上的第二像素坐标；

深度值单元，用于根据所述第二像素坐标获得深度值信息；

第一坐标单元，用于根据所述深度值信息、所述双目相机的基线和外参数据获得所述车道线特征点在相机坐标系下的第一坐标值。

进一步地，所述第二坐标模块具体用于根据所述综合外参数据将所述第一坐标值变换到惯性测量单元坐标系下的第二坐标值。

进一步地，所述联合标定模块包括：

测量单元，用于将预设标定板的支架立于所述双目相机前并按照预设角度旋转所述三轴转台，获得所述惯性测量单元的测量数据和所述双目相机的测量图像；

联合标定单元，用于根据所述惯性测量单元的测量数据和所述双目相机的测量图像进行联合标定，获得所述惯性测量单元和所述双目相机的综合外参数据。

进一步地，所述车道线的检测系统还包括：

过滤模块，用于根据预设阈值对所述车道线特征点进行过滤，保留不超过所述预设阈值的所述车道线特征点。

第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。

第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。

第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。

本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种车道线的检测方法的流程示意图；

图2为本申请实施例提供的另一种车道线的检测方法的流程示意图；

图3为本申请实施例提供的预设车道线检测深度学习模型的结构示意图；

图4为本申请实施例提供的预设双目测距深度学习模型的结构示意图；

图5为本申请实施例提供的车道线的检测系统的结构框图；

图6为本申请实施例提供的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本申请实施例提供了一种车道线的检测方法、系统、电子设备及存储介质，可以应用于车辆上路时的车道线检测/定位中；该车道线的检测方法通过结合双目相机和惯性测量单元的数据，即首先通过预设车道线检测深度学习模型获得车道线特征点的像素坐标，再通过预设双目测距深度学习模型获得深度图像，结合像素坐标和深度图像获得车道线特征点在相机坐标系下的第一坐标值；进而，获得车道线特征点在惯性测量单元坐标系下的第二坐标值，最终获得车道线特征点在大地墨卡托坐标系下的坐标信息，完成车道线检测；从而，该方法仅通过双目相机和惯性测量单元即可实现车道线检测，成本低、数据处理便捷，可以实现准确率高且成本低的车道线检测的技术效果。

示例性地，随着芯片设计的发展，边缘计算人工智能(AI，ArtificialIntelligence)芯片的算力逐步提高、微机电系统(MEMS，Micro Electro MechanicalSystem)惯性传感器的精度越来越高、实时动态测量(RTK，Real time kinematic)的成本越来越低，大批量装备车道线采集设备成为可能。

示例性地，本申请实施例提供的车道线的检测方法可以是基于双目相机和惯性测量单元(IMU，Inertial Measurement Unit)的组合模块实现；该组合模块可以安装于车辆上，用于车辆的车道线检测。

请参见图1，图1为本申请实施例提供的一种车道线的检测方法的流程示意图，该车道线的检测方法包括如下步骤：

S100：获取双目相机采集的左视图图像和右视图图像。

示例性地，双目相机是利用双目立体视觉(Binocular Stereo Vision)的一种相机；其中，双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。

示例性地，通过双目相机可以采集车道线的两幅图像：左视图图像和右视图图像；需要注意的是，左视图图像和右视图图像中左、右仅作为区分示例而非具体限定。

示例性地，双目相机包括左相机和右相机，左相机采集左视图图像、右相机采集右视图图像。

S200：将左视图图像输入至预设车道线检测深度学习模型，获得车道线特征点的像素坐标。

示例性地，预设车道线检测深度学习模型为本申请实施例提供的模型；通过该预设车道线检测深度学习模型，可以便捷地从左视图图像中获取到车道线特征点的像素坐标。

S300：将左视图图像和右视图图像输入至预设双目测距深度学习模型，获得深度图像。

示例性地，预设双目测距深度学习模型为本申请实施例提供的模型；通过该预设双目测距深度学习模型，可以便捷地将左视图图像和右视图图像结合，生成深度图像。

示例性地，在深度图像中，每一个像素值表示场景中某点与双目相机的距离；从而，根据深度图像的像素值，可以反推并获得三维空间中像素点与双目相机的距离信息。

S400：根据像素坐标和深度图像获得车道线特征点在相机坐标系下的第一坐标值。

示例性地，深度图像中每个像素点的像素值表示场景中某点与双目相机的距离，结合像素坐标，可以获得车道线特征点在相机坐标系下的第一坐标值；其中，相机坐标系表示的是以双目相机为基准的坐标系。

S500：将第一坐标值变换到惯性测量单元坐标系下的第二坐标值。

示例性地，根据双目相机和惯性测量单元之间的相互位置关系，可以将相机坐标系下的第一坐标值变换到惯性测量单元坐标系下的第二坐标值；其中，惯性测量单元坐标系表示的是以惯性测量单元为基准的坐标系。

在一些实施方式中，相机坐标系、惯性测量单元坐标系可以是XYZ三维坐标系；第一坐标值、第二坐标值可以是XYZ三维坐标值。

可选地，使用标定方法获取的双目相机相对于惯性测量单元的旋转角度和位移值，将车道线特征点在相机坐标系下的XYZ坐标变换到惯性测量单元坐标系下的XYZ坐标。

S600：根据基于惯性测量单元的预设组合导航信息和第二坐标值，生成车道线特征点在大地墨卡托坐标系下的坐标信息。

示例性地，基于惯性测量单元的预设组合导航信息可以是模块集成的RTK和IMU的组合导航信息；通过该预设组合导航信息和第二坐标值，可以生成在大地墨卡托坐标系下车道线特征点的坐标信息，完成车道线检测。

示例性地，大地墨卡托坐标系是基于墨卡托投影(Mercator Projection)的坐标系；其中，墨卡托投影又称麦卡托投影、正轴等角圆柱投影，是一种等角的圆柱形地图投影法。

在一些实施方式中，该车道线的检测方法通过结合双目相机和惯性测量单元的数据，即首先通过预设车道线检测深度学习模型获得车道线特征点的像素坐标，再通过预设双目测距深度学习模型获得深度图像，结合像素坐标和深度图像获得车道线特征点在相机坐标系下的第一坐标值；进而，获得车道线特征点在惯性测量单元坐标系下的第二坐标值，最终获得车道线特征点在大地墨卡托坐标系下的坐标信息，完成车道线检测；从而，该方法仅通过双目相机和惯性测量单元即可实现车道线检测，成本低、数据处理便捷，可以实现准确率高且成本低的车道线检测的技术效果。

请参见图2，图2为本申请实施例提供的另一种车道线的检测方法的流程示意图。

示例性地，双目相机和惯性测量单元的组合模块固定到三轴转台上，通过接入脉冲信号作为组合模块的同步基准，在S100：获取双目相机采集的左视图图像和右视图图像的步骤之前，还包括：

S101：对双目相机进行标定，获得双目相机的内参数据和外参数据；

S102：对双目相机和惯性测量单元进行联合标定，获得惯性测量单元和双目相机的综合外参数据。

示例性地，对双目相机、惯性测量单元进行标定，以使双目相机采集的图像数据和惯性测量单元采集的测量数据在后续的处理过程中可以联合，最终完成车道线的检测。

示例性地，在S200：将左视图图像输入至预设车道线检测深度学习模型，获得车道线特征点的像素坐标的步骤之前，还包括：

S201：根据双目相机的内参数据校正左视图图像和右视图图像。

示例性地，在预设车道线检测深度学习模型对双目相机采集的图像数据处理前，通过双目相机的内参数据校正左视图图像和右视图图像，并以校正后的左视图图像和右视图图像进行后续处理，提高车道线检测的准确性。

示例性地，S400：根据像素坐标和深度图像获得车道线特征点在相机坐标系下的第一坐标值的步骤，包括：

S410：将左视图图像和深度图像对齐，获得车道线特征点在深度图像上的第二像素坐标；

S420：根据第二像素坐标获得深度值信息；

S430：根据深度值信息、双目相机的基线和外参数据获得车道线特征点在相机坐标系下的第一坐标值。

示例性地，深度图像中每个像素点的像素值表示场景中某点与双目相机的距离，从而将左视图图像和深度图像对齐之后，结合双目相机的基线和外参数据可以获得车道线特征点在相机坐标系下的第一坐标值。

示例性地，S500：将第一坐标值变换到惯性测量单元坐标系下的第二坐标值的步骤，包括：

S510：根据综合外参数据将第一坐标值变换到惯性测量单元坐标系下的第二坐标值。

示例性地，综合外参数据表征了双目相机(左相机)和惯性测量单元的相互位置关系，结合坐标变换的相关规则，可以将将第一坐标值变换到惯性测量单元坐标系下的第二坐标值。

示例性地，S102：对双目相机和惯性测量单元进行联合标定，获得惯性测量单元和双目相机的综合外参数据的步骤，包括：

将预设标定板的支架立于双目相机前并按照预设角度旋转三轴转台，获得惯性测量单元的测量数据和双目相机的测量图像；

根据惯性测量单元的测量数据和双目相机的测量图像进行联合标定，获得惯性测量单元和双目相机的综合外参数据。

示例性地，预设标定板可以相对于双目相机调整距离和角度，获得多组的惯性测量单元的测量数据和双目相机的测量图像；进而，根据多组的惯性测量单元的测量数据和双目相机的测量图像进行联合标定，可以提高标定精度。

示例性地，在S400：根据像素坐标和深度图像获得车道线特征点在相机坐标系下的第一坐标值的步骤之前，还包括：

S401：根据预设阈值对车道线特征点进行过滤，保留不超过预设阈值的车道线特征点。

示例性地，基于双目测距的精度限制，滤除超过预设阈值的车道线特征点。

示例性地，预设车道线检测深度学习模型为基于MoblilenetV2和注意力机制的车道线检测深度学习模型。

示例性地，Mobilenetv2使用深度可分离卷积代替普通卷积，使用反向残差结构加深网络层数；

注意力机制用于建立特征图上元素间远距离依赖关系和通道间依赖关系。

示例性地，Mobilenetv2使用深度可分离卷积代替普通卷积，以降低模型的计算量和参数量；使用反向残差结构加深网络层数，增强特征的表达能力，采用线性瓶颈结构减少低维特征信息的丢失。注意力机制可增加网络的感受视野，降低干扰信息对网络推断的影响，有遮挡或没有可见车道标记的情况下获取车道线。

示例性地，预设双目测距深度学习模型为一种基于空洞卷积的DispNetS和DispNetC结合的深度学习双目估计模型。

示例性地，预设双目测距深度学习模型中的空洞卷积与正常卷积的卷积核参数相同，空洞卷积的各个位置以预设间隔隔开。

示例性地，基于空洞卷积的DispNetS和DispNetC结合成优化网络，通过学习不同尺度的残差，并与初始视差估计网络的预测结果叠加得到视差图，降低学习难度。

在一些实施场景中，结合图1至图2所示的方法实施例，在使用本申请实施例提供的车道线的检测方法前，需要进行双目相机、惯性测量单元的标定，以及预设车道线检测深度学习模型、预设双目测距深度学习模型的模型训练，具体过程示例如下：

(1)使用工装将双目相机和惯性测量单元的组合模块固定到三轴转台上，通过三轴转台的滑环接入每秒脉冲(PPS，Pulse Per Second)信号作为组合模块的同步基准；

将组合模块调整到水平状态，使双目相机正视前方，在双目相机前移动、转动棋盘格标定板，逐帧存储下同步的左视图图像、右视图图像，持续一段时间(例如，可以持续5分钟)；

从测量图像中挑选出左视图图像、右视图图像均能看到完整棋盘格标定板的图像，采用张正友标定法，计算双目相机的内参数据和外参数据，并保存成yaml文件；

将固定有AprilTag标定板的支架立于双目相机的正前方，设定三轴转台旋转顺序X(-30～+30)、Y(-30～+30)、Z(-30～+30)，将惯性测量单元的测量数据和双目相机的测量图像打上时戳并存储，调整AprilTag的支架的距离和角度，重复多次(例如，可以重复3次)；

在PC的Ubuntu系统上，将保存的惯性测量单元的测量数据和双目相机的测量图像打包成ROS Bag文件，使用标定程序调用ROS bag文件，进行惯性测量单元和双目相机的联合标定，得到惯性测量单元和双目相机的综合外参数据。

(2)预设车道线检测深度学习模型是一种基于MoblilenetV2和注意力机制的车道线检测深度学习模型，Mobilenetv2使用深度可分离卷积代替普通卷积，以降低模型的计算量和参数量，使用反向残差结构加深网络层数，增强特征的表达能力，采用线性瓶颈结构减少低维特征信息的丢失。注意力机制建立特征图上元素间远距离依赖关系和通道间依赖关系，增加网络的感受野，降低干扰信息对网络推断的影响，有遮挡或没有可见车道标记的情况下获取车道线，预设车道线检测深度学习模型的具体结构如图3所示；根据公开的Culane数据集和广州试验车拍摄的车道线图像筛选出30000张，包括夜晚、白天、雨天、迎光、逆光、车辆稀疏、车辆拥挤等多种场景的样本来训练。

(3)预设双目测距深度学习模型的模型是在DispNet的基础上提出一种兼顾精度和实时性的双目测距深度学习模型；其中，DispNet网络模型结构相对简单且易于运行，匹配效果也较好，现阶段的端到端立体匹配网络模型大多以DispNet为基础，对其进行优化。DispNet分为两种模型DispNetS和DispNetC，基本上使用编码器-解码器结构，该结构具有五个特征提取下采样层和五个特征反卷积层，区别在于DispNetS使用两个堆叠的立体图像对作为单个输入，DispNetC体系结构首先分别处理输入图像，然后关联两个图像之间的特征并进一步处理结果，构建了每个图像中具有有限邻域大小和不同跨度的二维相关层。

预设双目测距深度学习模型的具体结构如图4所示，针对下采样会降低图像分辨率、丢失信息，用空洞卷积替换DispNetS和DispNetC中的正常卷积，空洞卷积和正常卷积的卷积核参数相同，各个位置会以一定的间隔隔开，该间隔成为膨胀率(例如，本申请采用的膨胀率可以为1)，在不做pooling损失信息和相同的计算条件下的情况下，加大感受视野。

本申请将基于空洞卷积的DispNetS和DispNetC结合成优化网络，通过学习不同尺度的残差，并与初始视差估计网络的预测结果叠加得到视差图，降低学习难度，最终输出7个不同尺度的残差。将双目惯性测量模块固定到车辆上，连接RTK的GNSS天线，输出PPS给激光雷达，保存同步的激光雷达数据和双目图像，在PC上完成双目图像和激光雷达点云的标定，获得双目和激光雷达的外参，利用外参把双目图像和激光雷达的点云进行对齐，以激光雷达点云的深度值作为双目测距深度学习模型训练的真值。从跑车数据中筛选出10000组双目和深度图来训练本发明提出的双目测距深度学习模型。

示例性地，通过以上步骤完成标定以及预设车道线检测深度学习模型、预设双目测距深度学习模型的模型训练之后，本申请实施例提供的车道线的检测方法具体步骤如下：

①使用双目相机的内参数据，分别校正双目相机采集到的左视图图像和右视图图像，将左视图图像输入到预设车道线检测深度学习模型，获取车道线特征点的像素坐标(可选地，车道线的检测帧率为每秒25帧)；

②将校正后的左视图图像和右视图图像输入到预设双目测距深度学习模型的模型，使用边缘计算的加速功能实时计算深度图像(可选地，帧率为每秒25帧)；

③将左视图图像和深度图像对齐，获得车道线特征点在深度图像上的像素坐标，根据像素坐标获得深度值信息，基于双目测距精度的限制，过滤并保留15米以内的车道线特征点；使用双目相机的基线和外参数据，计算车道线特征点在相机坐标系下的坐标值；

④使用综合外参数据，将车道线特征点在相机坐标系下的坐标值变换到惯性测量单元坐标系下的坐标值；

⑤使用模块集成的RTK和IMU的组合导航信息，计算车道线特征点在大地墨卡托坐标系下的三维坐标。

请参见图5，图5为本申请实施例提供的车道线的检测系统的结构框图，该车道线的检测系统包括：

获取模块100，用于获取双目相机采集的左视图图像和右视图图像；

车道线检测模块200，用于将左视图图像输入至预设车道线检测深度学习模型，获得车道线特征点的像素坐标；

双目测距模块300，用于将左视图图像和右视图图像输入至预设双目测距深度学习模型，获得深度图像；

第一坐标模块400，用于根据像素坐标和深度图像获得车道线特征点在相机坐标系下的第一坐标值；

第二坐标模块500，用于将第一坐标值变换到惯性测量单元坐标系下的第二坐标值；

综合坐标模块600，用于根据基于惯性测量单元的预设组合导航信息和第二坐标值，生成车道线特征点在大地墨卡托坐标系下的坐标信息。

示例性地，双目相机和惯性测量单元的组合模块固定到三轴转台上，通过接入脉冲信号作为组合模块的同步基准，车道线的检测系统还包括：

双目相机标定模块，用于对双目相机进行标定，获得双目相机的内参数据和外参数据；

联合标定模块，用于对双目相机和惯性测量单元进行联合标定，获得惯性测量单元和双目相机的综合外参数据。

示例性地，车道线的检测系统还包括：

校正模块，用于根据双目相机的内参数据校正左视图图像和右视图图像。

示例性地，第一坐标模块400包括：

对齐单元，用于将左视图图像和深度图像对齐，获得车道线特征点在深度图像上的第二像素坐标；

深度值单元，用于根据第二像素坐标获得深度值信息；

第一坐标单元，用于根据深度值信息、双目相机的基线和外参数据获得车道线特征点在相机坐标系下的第一坐标值。

示例性地，第二坐标模块500具体用于根据综合外参数据将第一坐标值变换到惯性测量单元坐标系下的第二坐标值。

示例性地，联合标定模块包括：

测量单元，用于将预设标定板的支架立于双目相机前并按照预设角度旋转三轴转台，获得惯性测量单元的测量数据和双目相机的测量图像；

联合标定单元，用于根据惯性测量单元的测量数据和双目相机的测量图像进行联合标定，获得惯性测量单元和双目相机的综合外参数据。

示例性地，车道线的检测系统还包括：

过滤模块，用于根据预设阈值对车道线特征点进行过滤，保留不超过预设阈值的车道线特征点。

需要注意的是，图5所示的车道线的检测系统与图1至图4所示的方法实施例相对应，为避免重复，此处不再赘述。

本申请还提供一种电子设备，请参见图6，图6为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器510、通信接口520、存储器530和至少一个通信总线540。其中，通信总线540用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口520用于与其他节点设备进行信令或数据的通信。处理器510可以是一种集成电路芯片，具有信号的处理能力。

上述的处理器510可以是通用处理器，包括中央处理器(CPU，Central ProcessingUnit)、网络处理器(NP，Network Processor)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器510也可以是任何常规的处理器等。

存储器530可以是，但不限于，随机存取存储器(RAM，Random Access Memory)，只读存储器(ROM，Read Only Memory)，可编程只读存储器(PROM，Programmable Read-OnlyMemory)，可擦除只读存储器(EPROM，Erasable Programmable Read-Only Memory)，电可擦除只读存储器(EEPROM，Electric Erasable Programmable Read-Only Memory)等。存储器530中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器510执行时，电子设备可以执行上述图1至图4方法实施例涉及的各个步骤。

可选地，电子设备还可以包括存储控制器、输入输出单元。

所述存储器530、存储控制器、处理器510、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线540实现电性连接。所述处理器510用于执行存储器530中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。

输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。

可以理解，图6所示的结构仅为示意，所述电子设备还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。

本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (16)

1.一种车道线的检测方法，其特征在于，包括：

获取双目相机采集的左视图图像和右视图图像；

将所述左视图图像输入至预设车道线检测深度学习模型，获得车道线特征点的像素坐标；

将所述左视图图像和所述右视图图像输入至预设双目测距深度学习模型，获得深度图像；

根据所述像素坐标和所述深度图像获得所述车道线特征点在相机坐标系下的第一坐标值；

将所述第一坐标值变换到惯性测量单元坐标系下的第二坐标值；

根据基于惯性测量单元的预设组合导航信息和所述第二坐标值，生成所述车道线特征点在大地墨卡托坐标系下的坐标信息；

所述双目相机和所述惯性测量单元的组合模块固定到三轴转台上，通过接入脉冲信号作为所述组合模块的同步基准，在所述获取双目相机采集的左视图图像和右视图图像的步骤之前，还包括：

对所述双目相机进行标定，获得所述双目相机的内参数据和外参数据；

对所述双目相机和所述惯性测量单元进行联合标定，获得所述惯性测量单元和所述双目相机的综合外参数据；

所述根据所述像素坐标和所述深度图像获得所述车道线特征点在相机坐标系下的第一坐标值的步骤，包括：

将所述左视图图像和所述深度图像对齐，获得所述车道线特征点在所述深度图像上的第二像素坐标；

根据所述第二像素坐标获得深度值信息；

根据所述深度值信息、所述双目相机的基线和外参数据获得所述车道线特征点在相机坐标系下的第一坐标值。

2.根据权利要求1所述的车道线的检测方法，其特征在于，在将所述左视图图像输入至预设车道线检测深度学习模型，获得车道线特征点的像素坐标的步骤之前，还包括：

根据所述双目相机的内参数据校正所述左视图图像和右视图图像。

3.根据权利要求1所述的车道线的检测方法，其特征在于，所述将所述第一坐标值变换到惯性测量单元坐标系下的第二坐标值的步骤，包括：

根据所述综合外参数据将所述第一坐标值变换到惯性测量单元坐标系下的第二坐标值。

4.根据权利要求1所述的车道线的检测方法，其特征在于，所述对所述双目相机和所述惯性测量单元进行联合标定，获得所述惯性测量单元和所述双目相机的综合外参数据的步骤，包括：

将预设标定板的支架立于所述双目相机前并按照预设角度旋转所述三轴转台，获得所述惯性测量单元的测量数据和所述双目相机的测量图像；

根据所述惯性测量单元的测量数据和所述双目相机的测量图像进行联合标定，获得所述惯性测量单元和所述双目相机的综合外参数据。

5.根据权利要求1所述的车道线的检测方法，其特征在于，在所述根据所述像素坐标和所述深度图像获得所述车道线特征点在相机坐标系下的第一坐标值的步骤之前，还包括：

根据预设阈值对所述车道线特征点进行过滤，保留不超过所述预设阈值的所述车道线特征点。

6.根据权利要求1所述的车道线的检测方法，其特征在于，所述预设车道线检测深度学习模型为基于MoblilenetV2和注意力机制的车道线检测深度学习模型。

7.根据权利要求6所述的车道线的检测方法，其特征在于，所述Mobilenetv2使用深度可分离卷积代替普通卷积，使用反向残差结构加深网络层数；

所述注意力机制用于建立特征图上元素间远距离依赖关系和通道间依赖关系。

8.根据权利要求1所述的车道线的检测方法，其特征在于，所述预设双目测距深度学习模型为一种基于空洞卷积的DispNetS和DispNetC结合的深度学习双目估计模型。

9.根据权利要求8所述的车道线的检测方法，其特征在于，所述预设双目测距深度学习模型中的空洞卷积与正常卷积的卷积核参数相同，所述空洞卷积的各个位置以预设间隔隔开。

10.一种车道线的检测系统，其特征在于，包括：

获取模块，用于获取双目相机采集的左视图图像和右视图图像；

车道线检测模块，用于将所述左视图图像输入至预设车道线检测深度学习模型，获得车道线特征点的像素坐标；

双目测距模块，用于将所述左视图图像和所述右视图图像输入至预设双目测距深度学习模型，获得深度图像；

第一坐标模块，用于根据所述像素坐标和所述深度图像获得所述车道线特征点在相机坐标系下的第一坐标值；

第二坐标模块，用于将所述第一坐标值变换到惯性测量单元坐标系下的第二坐标值；

综合坐标模块，用于根据基于惯性测量单元的预设组合导航信息和所述第二坐标值，生成所述车道线特征点在大地墨卡托坐标系下的坐标信息；

所述双目相机和所述惯性测量单元的组合模块固定到三轴转台上，通过接入脉冲信号作为所述组合模块的同步基准，所述车道线的检测系统还包括：

双目相机标定模块，用于对所述双目相机进行标定，获得所述双目相机的内参数据和外参数据；

联合标定模块，用于对所述双目相机和所述惯性测量单元进行联合标定，获得所述惯性测量单元和所述双目相机的综合外参数据；

所述第一坐标模块包括：

对齐单元，用于将所述左视图图像和所述深度图像对齐，获得所述车道线特征点在所述深度图像上的第二像素坐标；

深度值单元，用于根据所述第二像素坐标获得深度值信息；

第一坐标单元，用于根据所述深度值信息、所述双目相机的基线和外参数据获得所述车道线特征点在相机坐标系下的第一坐标值。

11.根据权利要求10所述的车道线的检测系统，其特征在于，所述车道线的检测系统还包括：

校正模块，用于根据所述双目相机的内参数据校正所述左视图图像和右视图图像。

12.根据权利要求10所述的车道线的检测系统，其特征在于，所述第二坐标模块具体用于根据所述综合外参数据将所述第一坐标值变换到惯性测量单元坐标系下的第二坐标值。

13.根据权利要求10所述的车道线的检测系统，其特征在于，所述联合标定模块包括：

测量单元，用于将预设标定板的支架立于所述双目相机前并按照预设角度旋转所述三轴转台，获得所述惯性测量单元的测量数据和所述双目相机的测量图像；

联合标定单元，用于根据所述惯性测量单元的测量数据和所述双目相机的测量图像进行联合标定，获得所述惯性测量单元和所述双目相机的综合外参数据。

14.根据权利要求10所述的车道线的检测系统，其特征在于，所述车道线的检测系统还包括：

过滤模块，用于根据预设阈值对所述车道线特征点进行过滤，保留不超过所述预设阈值的所述车道线特征点。

15.一种电子设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的车道线的检测方法的步骤。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至9任一项所述的车道线的检测方法。

Images