CN112818873A - 车道线检测方法、系统及电子设备 - Google Patents

Abstract

本发明提供一种车道线检测方法、系统及电子设备，本发明对车载前视单目摄像头采集的图像进行处理，通过单阶段物体检测框架FCOS直接预测车道线的四个贝塞尔曲线控制点，即将现有的车道线(纹理或边缘)检测问题转化为车道线的四个贝塞尔曲线控制点的预测问题，从而实现端到端地直接输出实例级车道线对应的贝塞尔曲线参数方程表达式，不需要人工制定车道线的推断规则，省略了车道线的匹配、推断和拟合的复杂后处理过程，并且适用于各种形状的车道线，包括直线，曲线和S形曲线等车道线，以及对车道线的纹理缺失，恶劣的天气情况和较弱的能见度具有一定的容忍度，这种方式极大的简化了车道线检测的中间步骤。

Description

车道线检测方法、系统及电子设备

技术领域

本发明属于车道线检测技术领域，尤其涉及一种车道线检测方法、系统及电子设备。

背景技术

现阶段，随着人工智能技术的不断成熟，与之相关的自动驾驶和辅助驾驶系统也被广泛开发和商用。上述系统中的一个关键组成部分是感知模块，它通过各种车载传感器全面识别和理解车辆周围的环境。

车道是一个重要的感知目标，由于车道是通过车道线来划分，需要我们对车辆周围以及前方的车道线进行精确地识别与定位，规划安全可行的行驶路线，从而避免与其它车辆发生碰撞。通过车道线检测，车辆能够被准确地定位在车道内，并辅助后续的车道偏离、车道保持或轨迹规划模块做出合理的决策。大部分现有车辆都会配备前视摄像头，我们可以通过车载视觉系统实时地获取车辆前方的环境图像，从而在该图像上对车道线进行识别与定位并计算每条车道线的位置，以便轨迹规划模块控制车辆保持在相应的车道内行驶。因此，实时且精确的车道线检测是实现完全自动驾驶的关键推动因素。

目前，车道线检测通常基于一系列传统的图像处理方法，包括截取有效信息区域、图像灰度增强、图像滤波去噪、边缘检测以及车道线参数方程拟合等，这些方法步骤较多且需要人工设计车道线推断规则，不利于联合优化；另外，其它的车道线检测技术通常采用提取车道线特征的方式，严重依赖灰度图中车道线与背景的对比度，易受到光照变化、车辆遮挡、道路污损等干扰，在上述环境下对车道线检测效果较差。

发明内容

基于此，针对上述技术问题，提供一种便于联合优化、不易受到环境干扰的车道线检测方法、系统及电子设备。

本发明采用的技术方案如下：

一方面，提供一种车道线检测方法，包括：

S101、将待检测的车辆前视图片输入预训练的模型，得到图片中每个特征点的车道线类别得分、中心性、车道线的回归框以及车道线的四个贝塞尔曲线控制点；

所述模型被端到端地训练为：

通过backbone网络从输入的车辆前视图片中提取特征，输出特征层，将所述特征层输入FCOS head，通过堆叠卷积层预测图片中每个特征点的车道线类别得分、中心性、车道线的回归框以及车道线的四个贝塞尔曲线控制点；

训练所述模型的样本图片为车辆前视图片，对应的标签包括图片中每一条车道线的回归框

i＝[1,2,...,n]以及每一条车道线的四个贝塞尔曲线控制点C＝[b₁,b₂,b₃,b₄]，其中，

和

代表车道线上的特征点p_i的x坐标和y坐标，min()和max()代表最小值和最大值函数，C代表四个贝塞尔曲线控制点的集合，b₁、b₂、b₃以及b₄分别代表四个贝塞尔曲线控制点；

S102、将得到的车道线类别得分以及中心性分别输入sigmoid函数,分别得到第一输出值以及第二输出值，两者的值域为[0,1]；

S103、将第一输出值与第一阈值进行对比，过滤掉非车道线类别的特征点；

S104、通过如下公式计算过滤后剩余每个特征点的车道线置信度s_final：

s_final＝s_cls*ctn，

其中，s_cls代表特征点对应的第一输出值，ctn代表特征点对应的第二输出值；

S105、根据步骤S104得到的s_final，通过非极大值抑制NMS方法对剩余的所有特征点进行过滤，得到最终的特征点；

S106、根据最终的特征点对应的回归框、四个贝塞尔曲线控制点拟合成车道线。

另一方面，提供一种车道线检测系统，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种车道线检测方法。

再一方面，提供一种电子设备，该设备具有上述一种车道线检测系统。

本发明对车载前视单目摄像头采集的图像进行处理，通过单阶段物体检测框架FCOS直接预测车道线的四个贝塞尔曲线控制点，即将现有的车道线(纹理或边缘)检测问题转化为车道线的四个贝塞尔曲线控制点的预测问题，从而实现端到端地直接输出实例级车道线对应的贝塞尔曲线参数方程表达式，不需要人工制定车道线的推断规则，省略了车道线的匹配、推断和拟合的复杂后处理过程，并且适用于各种形状的车道线，包括直线，曲线和S形曲线等车道线，以及对车道线的纹理缺失，恶劣的天气情况和较弱的能见度具有一定的容忍度，这种方式极大的简化了车道线检测的中间步骤。

附图说明

下面结合附图和具体实施方式对本发明进行详细说明：

图1为本发明的流程图；

图2为本发明的回归框和贝塞尔曲线控制点生成原理图；

图3为车道线上的四个贝塞尔曲线控制点示意图；

图4为本发明的模型结构示意图。

具体实施方式

如图1所示，本说明书实施例提供一种车道线检测方法，包括：

S101、将待检测的车辆前视图片输入预训练的模型，得到图片中每个特征点的车道线类别得分、中心性、车道线的回归框以及车道线的四个贝塞尔曲线控制点。

其中，车辆前视图片为车载前视单目摄像头采集的图片。车道线类别得分可以理解为属于车道线的概率，中心性用于反应特征点靠近回归框中心的程度，当特征点位于回归框正中心，它的中心性接近1，反之当特征点位于回归框边界，它的中心性接近0。

预训练即离线训练，用于在实际场合使用模型之前，对模型的参数进行固定(优化)，参数包括骨干网络backbone和fcos head的参数及其卷积层的参数，卷积层的参数包含卷积矩阵(滤波器)。

上述模型被端到端地训练为：

通过backbone网络(主干网络)从输入的车辆前视图片中提取特征(图片像素通过与backbone中一系列卷积核进行滤波运算所得出的包含深层语义信息的特征)，输出特征层(主干特征层)，将特征层输入全卷积检测头FCOS head，通过堆叠卷积层预测图片中每个特征点的车道线类别得分、中心性、车道线的回归框以及车道线的四个贝塞尔曲线控制点。

其中，backbone网络是深度卷积神经网络中用于提取特征的模块，它的输出是特征层F(features)，特征层的高、宽和特征通道数分别记为H，W，C，在本实施例中，backbone网络采用FCOS框架的backbone网络，当然，根据硬件的计算量限制,也可以采用主流网络的backbone网络，如resnet系列、mobilenet系列或者shufflenet系列的backbone网络。

FCOS head是一种最近新提出的单阶段的head类型，可以端对端地得到检测结果，以端到端的方式训练FCOS，可以直接预测每条车道线的四个贝塞尔曲线控制点，从而避免次优化的问题。

模型的总体结构参见图4，其中，B表示训练样本批量大小，H，W表示图片的高和宽，数字代表通道数量。

训练模型的样本图片为车辆前视图片，同样为车载前视单目摄像头采集的图片，对应的标签包括图片中每一条车道线的回归框

i＝[1,2,...,n]以及每一条车道线的四个贝塞尔曲线控制点C＝[b₁,b₂,b₃,b₄]，其中，

和

代表车道线上的特征点p_i的x坐标和y坐标，min()和max()代表最小值和最大值函数，C代表四个贝塞尔曲线控制点的集合，b₁、b₂、b₃以及b₄分别代表四个贝塞尔曲线控制点。

由于摄像头采集图片帧率较高，为了避免使用大量相似的图片，可以设置一定的帧间间隔选取其中一部分图片作为训练数据，这种方式平衡了数据的总量和数据的多样性。

为了生成样本图片的标签，首先需要对于图片里的每条车道线，标注一组二维坐标点集合P＝[p₁,p₂,p₃,...,p_n]来表示这条车道线，其中，p₁,p₂,...,p_n表示这条车道线上根据一定距离间隔选取的点。如图2所示，我们用四组二维坐标点集合P₁,P₂,P₃,P₄来分别表示图中的四条车道线，由于FCOS需要预测每一条车道线的回归框和四个贝塞尔曲线控制点，我们需要为每一条车道线的标注一组二维坐标点集合P来生成对应的回归框和四个贝塞尔曲线控制点。

根据车道线对应的一组二维坐标点集合P，我们可以生成对应的回归框

i＝[1,2,...,n]，i代表二维坐标点p的序号，如图2所示，我们用B₁,B₂,B₃,B₄来分别表示图中四条车道线的回归框。

在样本图片上生成三次贝塞尔曲线控制点的过程如下：

1、选择三次贝塞尔曲线拟合车道线，定义使用三次贝塞尔曲线的系数矩阵

2、贝塞尔曲线是参数方程，需要为车道线上的每一个标注的坐标点找到合适的控制变量t，t∈[0,1]，这里我们定义车道线上的坐标点的累积距离作为控制变量t。累积距离通过如下公式计算：

其中，length()定义了车道线上当前坐标点与前一个坐标点在图像坐标系上的欧式距离，d_i表示当前坐标点p_i和之前坐标点的累积距离。

3、贝塞尔曲线是控制变量t的多项式，t的值必须被限制在0和1之间，因此我们将集合D中每个元素的值归一化到0和1之间得到S：

其中，s_i表示经过归一化的d_i的值。

4、根据S来重构控制变量t的矩阵形式T：

5、在得到三次贝赛尔曲线的系数矩阵M，车道线的标注点集合P矩阵和控制变量T矩阵之后，根据公式

可以计算得到控制点矩阵C∈R^4×2，C＝[b₁,b₂,b₃,b₄]对应一条车道线的四个控制点，其中b₁和b₄为车道线的两个端点，R^4×2表示维数是4×2的实数矩阵。

如图3所示，每条车道线上的四个点即为生成的贝赛尔曲线控制点。

在本实施例中，训练上述模型时，将如下四个损失函数相加，并通过梯度反向传导方式优化模型的参数：

1、对车道线类别得分的学习，使用Focal loss函数：

其中，y∈{1,-1}代表车道线的类别和背景类别，p∈[0,1]代表模型预测的车道线类别得分，α_t和γ为损失函数调节参数，p_t是关于p的分段函数，在本实施例中，设α_t为0.25，γ为2。

2、对车道线的回归框的学习以及对车道线的四个贝塞尔曲线控制点的学习，分别使用一个Smooth L1 loss函数(L1Loss的物理含义为两个像素点之间的直线距离，Smooth是将这个函数变成一个分段函数)：

其中，对于车道线的回归框的学习，t代表根据车道线回归框坐标计算的回归量，p_r代表模型预测的回归量；对于车道线的四个贝塞尔曲线控制点的学习，t代表计算得到的控制点位置，p_r代表模型预测的控制点位置。

较佳地，为了使预测的控制点的坐标更加稳定，我们用控制点的相对距离来表示控制点位置，即上述Smooth L1 loss函数用作车道线的四个贝塞尔曲线控制点的学习时，t代表的控制点位置以及p_r代表的控制点位置均为相对距离，本发明通过预测控制点的相对距离的方式来避免直接预测控制点的坐标。在对车道线的四个贝塞尔曲线控制点进行学习时，使用Δ_x＝b_ix-x_min,Δ_y＝b_iy-y_min来学习四个控制点到回归框左上角的相对距离，x_min，ymin代表回归框的x方向最小值和y方向的最小值，在图像坐标系中(x_min,y_min)代表回归框的左上角，b_ix以及b_iy分别代表控制点b_i的x坐标和y坐标。由于模型预测的是控制点到回归框左上角的相对距离，因此无论车道线的贝塞尔控制点是否在图像内，这种方式都可以进行有效的训练并且输出的控制点坐标不受图像范围限制。相应地，如图4所示，FCOS head包含两个分支的堆叠卷积层,一个堆叠卷积层负责类别和中心性，另一个堆叠卷积层负责回归框和控制点，负责回归框和控制点的堆叠卷积层首先回归四个控制点的相对距离Δ_x和Δ_y，然后加上回归框左上角坐标(x_min,ymin)，最后生成控制点在图像坐标系上的位置。这种方式在保证结果精度的同时只增加了很少的额外计算量。

如果不采用学习四个控制点到回归框左上角的相对距离的方式，而直接预测控制点坐标，则FCOS head需包含三个分支的堆叠卷积层，第一个堆叠卷积层负责类别和中心性，第二个堆叠卷积层负责回归框，第三个堆叠卷积层负责控制点。

上述的堆叠卷积层均为4个串行3*3卷积。

3、对车道线的中心性的学习，使用BCE loss函数(binary crossentropy Loss，二分类交叉熵损失函数)：

L_cls(c；p_c)＝E_c[-c*log(p_c)+(1-c)*log(1-p_c)]，

其中，p_c代表模型预测的中心性，c代表根据特征点坐标和回归框坐标计算出的中心性。

S102、将得到的车道线类别得分以及中心性分别输入sigmoid函数,分别得到第一输出值以及第二输出值，两者的值域为[0,1]。

Sigmoid函数为非极性双曲函数，值域是[0,1]，常用于表示置信度，通常用于多类别分类问题。

S103、将第一输出值与第一阈值进行对比，过滤掉非车道线类别的特征点。

如可以将第一阈值设为0.25，当第一输出值大于等于0.25时，对应的特征点为车道线类别，当第一输出值小于0.25时，对应的特征点为背景类别。

S104、通过如下公式计算过滤后剩余每个特征点的车道线置信度s_final：

s_final＝s_cls*ctn，

其中，s_cls代表特征点对应的第一输出值，ctn代表该特征点对应的第二输出值。

S105、根据步骤S104得到的车道线置信度s_final，通过非极大值抑制NMS方法对剩余的所有特征点进行过滤，得到最终的特征点。具体过程如下：

A、将剩余所有特征点加入集合S。

B、根据s_final，降序排列集合S中的所有特征点，选取集合S中s_final最大的特征点，过滤掉集合S中与s_final最大的特征点的iou大于等于第二阈值的特征点，待集合S中剩余的特征点与s_final最大的特征点的iou均小于第二阈值时，将s_final最大的特征点从集合S中取出并放入集合S_line,集合S_line中的特征点为最终类别为车道线的特征点。

其中，第二阈值可以选为0.75。

C、循环步骤B，直到集合S中没有特征点。

其中，Iou为intersection over union的缩写，代表重叠率，测量在特定数据集中检测相应物体准确度的一个标准。具体来说，在本发明中，是指两个特征点对应的回归框之间的像素重叠率,Iou＝交集/并集。

S106、根据最终的特征点对应的回归框、四个贝塞尔曲线控制点拟合成车道线。

基于同一发明构思，本说明书实施例还提供一种车道线检测系统，包括存储模块，存储模块包括由处理器加载并执行的指令，指令在被执行时使处理器执行本说明书上述一种车道线检测方法部分中描述的根据本发明各种示例性实施方式的步骤。

其中，存储模块可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

基于同一发明构思，本说明书实施例还提供一种电子设备，该设备具有上述一种车道线检测系统，此处不再具体赘述。

但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (8)

1.一种车道线检测方法，其特征在于，包括：

S101、将待检测的车辆前视图片输入预训练的模型，得到图片中每个特征点的车道线类别得分、中心性、车道线的回归框以及车道线的四个贝塞尔曲线控制点；

所述模型被端到端地训练为：

通过backbone网络从输入的车辆前视图片中提取特征，输出特征层，将所述特征层输入FCOS head，通过堆叠卷积层预测图片中每个特征点的车道线类别得分、中心性、车道线的回归框以及车道线的四个贝塞尔曲线控制点；

训练所述模型的样本图片为车辆前视图片，对应的标签包括图片中每一条车道线的回归框

以及每一条车道线的四个贝塞尔曲线控制点C＝[b₁,b₂,b₃,b₄]，其中，

和

代表车道线上的特征点p_i的x坐标和y坐标，min()和max()代表最小值和最大值函数，C代表四个贝塞尔曲线控制点的集合，b₁、b₂、b₃以及b₄分别代表四个贝塞尔曲线控制点；

S102、将得到的车道线类别得分以及中心性分别输入sigmoid函数,分别得到第一输出值以及第二输出值，两者的值域为[0,1]；

S103、将第一输出值与第一阈值进行对比，过滤掉非车道线类别的特征点；

S104、通过如下公式计算过滤后剩余每个特征点的车道线置信度s_final：

s_final＝s_cls*ctn，

其中，s_cls代表特征点对应的第一输出值，ctn代表特征点对应的第二输出值；

S105、根据步骤S104得到的s_final，通过非极大值抑制NMS方法对剩余的所有特征点进行过滤，得到最终的特征点；

S106、根据最终的特征点对应的回归框、四个贝塞尔曲线控制点拟合成车道线。

2.根据权利要求1所述的一种车道线检测方法，其特征在于，训练所述模型时，将如下四个损失函数相加，并通过梯度反向传导方式优化所述模型的参数：

对车道线类别得分的学习，使用Focal loss函数：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t).

其中，y∈{1，-1}代表车道线的类别和背景类别，p∈[0，1]代表模型预测的车道线类别得分，α_t和γ为损失函数调节参数，p_t是关于p的分段函数；

对车道线的回归框的学习以及对车道线的四个贝塞尔曲线控制点的学习，分别使用一个Smooth L1 loss函数：

其中，对于车道线的回归框的学习，t代表根据车道线回归框坐标计算的回归量，p_r代表模型预测的回归量；对于车道线的四个贝塞尔曲线控制点的学习，t代表计算得到的控制点位置，p_r代表模型预测的控制点位置；

对车道线的中心性的学习，使用BCE loss函数：

L_cls(c，p_c)＝E_c[-(c*log(p_c)+(1-c)*log(1-p_c)]，

其中，p_c代表模型预测的中心性，c代表根据特征点坐标和回归框坐标计算出的中心性。

3.根据权利要求2所述的一种车道线检测方法，其特征在于，对车道线的四个贝塞尔曲线控制点的学习，使用Δ_x＝b_ix-x_min，Δ_y＝b_iy-y_min来学习四个控制点到回归框左上角的相对距离，x_min，y_min代表回归框的x方向最小值和y方向的最小值，在图像坐标系中(x_min，y_min)代表回归框的左上角，b_ix以及b_iy分别代表控制点b_i的x坐标和y坐标；

相应地，t代表的控制点位置以及p_r代表的控制点位置均为所述相对距离。

4.根据权利要求3所述的一种车道线检测方法，其特征在于，所述FCOS head包含两个分支的堆叠卷积层,一个堆叠卷积层负责类别和中心性，另一个堆叠卷积层负责回归框和控制点，负责回归框和控制点的堆叠卷积层首先回归四个控制点的相对距离Δ_x和Δ_y，然后加上回归框左上角坐标(x_min,y_min)，最后生成控制点在图像坐标系上的位置。

5.根据权利要求1或4所述的一种车道线检测方法，其特征在于，所述backbone为FCOS框架的backbone网络、resnet系列的backbone网络、mobilenet系列的backbone网络或者shufflenet系列的backbone网络。

6.根据权利要求5所述的一种车道线检测方法，其特征在于，所述步骤S105进一步包括：

A、将剩余所有特征点加入集合S；

B、根据s_final，降序排列集合S中的所有特征点，选取集合S中s_final最大的特征点，过滤掉集合S中与所述s_final最大的特征点的iou大于等于第二阈值的特征点，待集合S中剩余的特征点与所述s_final最大的特征点的iou均小于所述第二阈值时，将所述s_final最大的特征点从集合S中取出并放入集合S_line,集合S_line中的特征点为最终类别为车道线的特征点；

C、循环步骤B，直到集合S中没有特征点。

7.一种车道线检测系统，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的指令,所述指令在被执行时使所述处理器执行根据权利要求1-6任一项所述的一种车道线检测方法。

8.一种电子设备，其特征在于，具有根据权利要求7所述的一种车道线检测系统。

Images