CN111046723B - 一种基于深度学习的车道线检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车道线检测方法，属于自动驾驶技术领域，包括：获取待识别图像，该待识别图像包含车道线；将待识别图像输入至预先训练好的深度神经网络模型，该深度神经网络模型包括基干网络和车道线网络；利用基干网络对待识别图像进行处理，得到包含车道线的特征图；利用车道线网络对特征图进行处理，获取车道线的位置。本发明通过融合循环神经网络，可更多的抓住狭长目标的关键信息，使得车道线检测结果更加准确。

Description

一种基于深度学习的车道线检测方法

技术领域

本发明涉及自动驾驶技术领域，特别涉及一种基于深度学习的车道线检测方法。

背景技术

随着科技的发展进步，人们的生活质量越来越高，汽车成为了人们日常生活中的基本代步工具。随着车辆的增多，道路行车环境变得越加复杂，汽车的自动驾驶和辅助驾驶功能，受到了越来越多的关注，自动驾驶和辅助驾驶不仅能够减轻人们的驾驶负担，而且可以大大减少各类交通事故的发生。自动驾驶和辅助驾驶包括很多的技术，如车道线检测、车辆行人检测、各类障碍物检测等。其中，车道线检测是自动驾驶和辅助驾驶功能中最重要的技术，正确检测车道线位置可以引导车辆的正确行使，可以辅助驾驶员判断车辆的行为，当车辆出现违规或者不安全的行为时，及时的报警提醒驾驶员或者指引车辆进行行使方向调整，保证车辆处于安全行使状态。

目前，常用的车道线检测方法如下：

(1)基于几何特征的检测方法：该类方法主要是基于车道线的形状特征进行检测，包括基于直线检测的方法，基于梯度检测的方法，基于局部二值化的检测方法，基于HAAR特征或者HOG特征的检测方法等。该类方法对于路面上清晰的车道线，检测效果较好，检测速度很快。但是对于路面上车道线模糊、断裂、磨损、遮挡等困难情况时，往往检测效果较差，甚至失去应有的检测效果。

(2)基于深度学习的方法：近年来，深度学习技术凭借着可以模拟人类大脑神经网络，能够进行精确的非线性预测，各个领域都得到了广泛的关注和应用，出现了一批优秀的深度学习网络框架。如目标检测网络框架fast rcnn，ssd，yolo，mask rcnn等，如目标语义分割网络框架mask rcnn、mask scoring rcnn等，这些经典网络框架通过迁移学习，可以很好地检测到车道线。但该类技术的缺点是较深的网络虽然识别效果好，但是模型消耗内存很大，运算量很大。而且自动驾驶和辅助驾驶功能一般都是装在车载的嵌入式平台上，这些经典的网络框架无法达到实时检测的效果。

发明内容

本发明的目的在于克服现有技术存在的不足或缺陷，以准确检测车道线位置。

为实现以上目的，本发明采用一种基于深度学习的车道线检测方法，包括如下步骤：

获取待识别图像，该待识别图像包含车道线；

将待识别图像输入至预先训练好的深度神经网络模型，该深度神经网络模型包括基干网络和车道线网络；

利用基干网络对待识别图像进行处理，得到包含车道线的特征图；

利用车道线网络对特征图进行处理，获取车道线的位置。

进一步地，所述基干网络包括依次连接的卷积层conv0、下采样层maxpool0、卷积层conv1、下采样层maxpool1、残差网络基础机构体resnetblock0、残差网络基础机构体resnetblock1、循环神经网络模块rnn0、循环神经网络模块rnn1和卷积层conv3；卷积层conv3的输出与所述车道线网络的输入连接。

进一步地，所述残差网络基础机构体resnetblock0和残差网络基础机构体resnetblock1均包括最大值下采样层maxpoolresnet、卷积层convresnet1_0、卷积层convresnet1_1、卷积层convresnet1_2、合并层eltsum和卷积层convresnet2；

卷积层convresnet1_0、卷积层convresnet1_1和卷积层convresnet1_2依次连接后，卷积层convresnet1_2的输出与最大值下采样层maxpoolresnet的输出均与合并层eltsum的输入连接，合并层eltsum的输出与卷积层convresnet2的输入连接；

其中，所述残差网络基础机构体resnetblock0中的卷积层convresnet1_0的输入和最大值下采样层maxpoolresnet的输入均与所述下采样层maxpool1的输出连接；

所述残差网络基础机构体resnetblock1中的卷积层convresnet1_0的输入和最大值下采样层maxpoolresnet的输入均与所述残差网络基础机构体resnetblock0中的卷积层convresnet2的输出连接。

进一步地，所述车道线网络包括分别与所述基干网络输出连接的直线预测网络和消失点预测网络。

进一步地，所述直线预测网络包括依次连接的卷积层conv4、卷积层conv5和全连接层fc，卷积层conv4的输入与所述基干网络的输出连接。

进一步地，所述消失点预测网络包括依次连接的上采样层upsample0、上采样层upsample1、上采样层upsample2和卷积层vpmask，上采样层upsample0的输入与所述基干网络的输出连接，所述上采样层upsample0、upsample1和upsample2均采用反卷积操作。

进一步地，所述深度神经网络模型的训练步骤包括：

获取样本图像训练集，训练集中的每个样本图像中均标注出车道线信息；

设计所述深度神经网络模型的目标损失函数，得到定义好的深度神经网络模型，该目标损失函数包括所述直线预测网络的目标损失函数和所述消失点预测网络的目标损失函数；

将所述样本图像训练集输入至定义好的深度神经网络模型进行训练，得到所述预训练后的深度神经网络模型。

进一步地，所述车道线信息包括车道线位置、车道线斜率、车道线消失点位置以及车道线消失点区域。

进一步地，所述直线预测网络的目标损失函数采用经典的均方差损失函数，所述消失点预测网络的目标损失函数采用经典的交叉熵损失函数。

进一步地，所述利用车道线网络对特征图进行处理，获取车道线的位置，包括：

利用所述直线预测网络预测出所述特征图中所有车道线的直线斜率；

利用所述消失点预测网络预测出所述特征图中所有车道线相交的消失点位置或消失点区域；

利用点斜式表示方法，得到相应车道线的位置。

与现有技术相比，本发明存在以下技术效果：本发明采用深度学习技术检测车道线位置，借助一个深度神经网络，提取车道线的高维抽象信息特征，借助一个多任务的识别网络，可以准确的检测出所有车道线的位置。通过采用大输入图像尺寸和快速提取特征网络，可以保留更多的车道线细节，同时不会增加模型的运算量。通过融合循环神经网络，可更多的抓住狭长目标的关键信息，使得车道线检测结果更加准确。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种基于深度学习的车道线检测方法的流程示意图；

图2是本发明中车道线实例图，其中图(a)表示原始的车道线图像，图(b)表示车道线标注效果图，直线线段表示车道线，圆形区域表示车道线消失点区域；

图3是本发明方案整体流程图；

图4是本发明设计的深度神经网络模型结构图；

图5是残差网络基础机构体结构图；

图中，每一个神经网络结构层图形旁边的标识，表示该网络结构的输出特征层尺寸：特征层宽度×特征层高度×特征层通道数。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种基于深度学习的车道线检测方法，包括如下步骤S1至S4：

S1、获取待识别图像，该待识别图像包含车道线；

S2、将待识别图像输入至预先训练好的深度神经网络模型，该深度神经网络模型包括基干网络和车道线网络；

S3、利用基干网络对待识别图像进行处理，得到包含车道线的特征图；

S4、利用车道线网络对特征图进行处理，获取车道线的位置。

其中，如图2(a)所示，车道线是一种特殊的检测目标对象，其特征是：车道线一般是白色或黄色的，和道路路面颜色存在明显的对比度差别，车道线一般是狭长的窄条状物体，靠近采集设备视点的车道线较宽，远离采集设备视点的车道线较窄，各条车道线最终相较于遥远的消失点。本实施例借助一个深度神经网络模型，提取车道线的高维抽象信息特征，借助一个多任务的识别网络，可以准确的检测出所有的车道线位置。融合循环神经网络，可以更多地抓住狭长目标的关键信息，车道线检测结果更加精确；对于车道线模糊、断裂、磨损、遮挡等困难情况，也能够精准的检测到车道线位置，鲁棒性更高。

在上述对待识别图像进行车道线检测之前，还需对深度神经网络模型进行构建及训练，然后利用训练好的深度神经网络模型进行车道线检测，整体方案如图3所示：

(1)设计深度神经网络模型：

基于车道线的独特特征和深度神经网络的计算量考虑，本实施例采用的深度神经网络模型如图4所示，该深度神经网络模型包含基干网络和车道线网络。这里需要说明的是，本实施例采用的是卷积神经网络(Convolutional Neural Networks，CNN)，特征图尺寸指的是特征图宽度×特征图高度×特征图通道数，核尺寸指的是核宽度×核高度，跨度指的是宽度方向跨度×高度方向跨度。另外，在深度神经网络模型中，每一个卷积层和全连接层后面均带有批量归一化层batchnorm和非线性激活层PRelu或者Relu。该深度神经网络模型的具体结构包括：

1-1)设计深度神经网络模型的输入图像：

本实施例所采用的输入图像是尺寸为1024×1024的直行车道线的RGB图像，如图2(a)所示。输入图像尺寸越大，其包含的细节越多，越有利于车道线位置的精确检测，但同时也会增大深度神经网络模型的存储空间和运算量。

1-2)设计基干网络：

基干网络主要用于获取输入图像的具有高度抽象和丰富表达能力的高维抽象特征，高维抽象特征提取的好坏直接影响后续车道线检测的准确度，同时，基干网络也是整个深度神经网络模型中运算量最大的部分。由于为了确保图像包含细节较多，本实施例采用的输入图像尺寸较大，需要较多的存储内存和运算开销，因此，需要一种能够提取输入图像特征的高效网络，快速去除较大输入图像尺寸带来的运算量影响。

鉴于车道线的独特特征，本发明采用的基干网络如图4所示，基干网络包括依次连接的卷积层conv0、下采样层maxpool0、卷积层conv1、下采样层maxpool1、残差网络基础机构体resnetblock0、残差网络基础机构体resnetblock1、循环神经网络模块rnn0、循环神经网络模块rnn1和卷积层conv3；卷积层conv3的输出与所述车道线网络的输入连接。

其中：conv0是一个核尺寸是7×7，跨度是4×4的卷积层，这种大核尺寸大跨度卷积操作的好处是，可以快速降低特征图尺寸，大大降低后续操作的运算量，同时保留更多图像细节。maxpool0一个核尺寸是2×2，跨度是2×2的最大值下采样层。conv1是一个核尺寸是5×5，跨度是2×2的卷积层。maxpool1是一个核尺寸是2×2，跨度是2×2的最大值下采样层。resnetblock0，resnetblock1是两个残差网络基础结构体。rnn0和rnn1均是经典的循环神经网络模块LSTM(Long Short-TermMemory)，其作用是利用不同行或列之间的上下文关系提取狭长目标的特征，弥补通用卷积操作不能很好地提起狭长目标特征的缺点。其中，rnn0采用输入特征图的每一行特征作为一个时序的输入特征，rnn1采用输入特征图的每一列特征作为一个时序的输入特征，conv3是一个核尺寸是3×3，跨度是1×1的卷积层。

该残差网络基础结构体如图5所示：所述残差网络基础机构体resnetblock0和残差网络基础机构体resnetblock1均包括最大值下采样层maxpoolresnet、卷积层convresnet1_0、卷积层convresnet1_1、卷积层convresnet1_2、合并层eltsum和卷积层convresnet2；

卷积层convresnet1_0、卷积层convresnet1_1和卷积层convresnet1_2依次连接后，卷积层convresnet1_2的输出与最大值下采样层maxpoolresnet的输出均与合并层eltsum的输入连接，合并层eltsum的输出与卷积层convresnet2的输入连接。其中，所述残差网络基础机构体resnetblock0中的卷积层convresnet1_0的输入和最大值下采样层maxpoolresnet的输入均与所述下采样层maxpool1的输出连接。所述残差网络基础机构体resnetblock1中的卷积层convresnet1_0的输入和最大值下采样层maxpoolresnet的输入均与所述残差网络基础机构体resnetblock0中的卷积层convresnet2的输出连接。

其中，maxpoolresnet是一个核尺寸是2×2，跨度是2×2的最大值下采样层。convresnet1_0是一个核尺寸是1×1，跨度是1×1的卷积层，该卷积层的作用是降低特征图通道数，减少后续卷积层的运算量。convresnet1_1是一个核尺寸是3×3，跨度是2×2的卷积层，convresnet1_2是一个核尺寸是1×1，跨度是1×1的卷积层，该卷积层的作用是提升特征图通道数，增加特征丰富度。eltsum是两个输入特征图进行逐像素相加的合并层，convresnet2是一个核尺寸是3×3，跨度是1×1的卷积层，其作用是进行合并特征融合。

1-3)设计车道线网络：

由于车道线是一种很独特的目标物体，距离采集设备视点的不同，车道线的宽度也不同，根据透视变换原理，车道线边缘依然保持直线，同时，所有的车道线最终相交于遥远的消失点。因此，本实施例采用了一种新颖的车道线检测网络，可以自适应的检测到所有车道线相交的消失点和每一条车道线的直线斜率，依据直线的点斜式表示方法，可以获取所有的车道线。具体网络结构如图4所示：车道线网络包括两个分支网络，即消失点预测网络VPNET和直线预测网络LINENET。其中：

直线预测网络主要预测所有车道线的直线斜率，直线预测网络包括依次连接的卷积层conv4、卷积层conv5和全连接层fc，卷积层conv4的输入与所述基干网络的输出连接。其中，conv4是一个核尺寸是3×3，跨度是2×2的卷积层，conv5是一个核尺寸是3×3，跨度是2×2的卷积层，fc是一个全连接层，输出所有车道线的斜率值，其输出特征图尺寸是1×1×N，N表示预测的车道线数目。由于在自动驾驶和辅助驾驶中，主要关注的是当前行使车道的左右各两条车道线，因此，本方案中，N＝4。

消失点预测网络主要预测所有车道线相交的消失点的位置，消失点预测网络包括依次连接的上采样层upsample0、上采样层upsample1、上采样层upsample2和卷积层vpmask，上采样层upsample0的输入与所述基干网络的输出连接。

其中，upsample0和upsample1均是采样率为4的上采样层，upsample2是采样率为2的上采样层。上采样层upsample0、upsample1和upsample2均采用反卷积操作deconvolution。vpmask一个核尺寸是3×3，跨度是1×1的卷积层，其作用是生成车道线消失点位置的语义分割图。

特别地，本方案为了使得消失点预测网络分支快速收敛，采用消失点区域代替消失点位置，消失点区域是以消失点位置为圆心半径为R的圆形区域，一般地，R＝30像素。

(2)训练深度神经网络模型：

主要是通过大量的标注好的训练样本数据，优化深度神经网络模型参数，使得深度神经网络模型检测车道线性能最优，具体的步骤如下：

2-1)获取样本图像训练集，训练集中的每个样本图像中均标注出车道线信息，样本图像训练集中的样本图像主要是收集各种场景，各种光线、各种角度下的车道线图像，然后借助现有的车道线检测方法和人工审核的方法标注车道线信息，如图2(b)所示，具体标注过程如下：

2-1-1)标注车道线位置，主要是标注图像中所有的车道线位置，每一条车道线可以使用该车道线中心的一条直线来表示，由于自动驾驶和辅助驾驶中，主要关注的是当前行使车道的左右车道线位置，因此，本发明主要标注当前行使车道的左右各两条车道线的位置；

2-1-2)获取车道线斜率，依据步骤2-1-1)标注的车道线位置，计算相应的直线方程式，进而获取直线的斜率，如果车道线直线不存在，相应的斜率设为0；

2-1-3)获取车道线消失点位置，依据步骤2-1-2)获取的车道线直线方程，计算任意存在的两条车道线相交点，取所有相交点的中心位置作为当前图像车道线的消失点位置；

2-1-4)获取车道线消失点区域，主要是以获取的车道线消失点为圆心，以半径为R的圆形区域作为当前图像车道线的消失点区域，一般地，R＝30像素。

2-2)设计深度神经网络模型的目标损失函数，其中，直线预测网络分支的目标损失函数采用的是经典的均方差损失函数。消失点预测网络分支的目标损失函数采用的是经典的交叉熵损失函数。

2-3)训练深度神经网络模型，主要是把标注好的车道线样本图像集合送入定义好的深度神经网络模型，学习相关的模型参数，得到训练好的深度神经网络模型。

(3)在实际环境中进行模型使用，对于任意给出的一幅车道线图像，输入至深度神经网路模型进行运算，检测出车道线：

3-1)利用所述直线预测网络预测出所述特征图中所有车道线的直线斜率；

3-2)利用所述消失点预测网络预测出所述特征图中所有车道线相交的消失点位置或消失点区域的中心位置；

3-3)利用点斜式表示方法，得到相应车道线的位置。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的车道线检测方法，其特征在于，包括：

获取待识别图像，该待识别图像包含车道线；

将待识别图像输入至预先训练好的深度神经网络模型，该深度神经网络模型包括基干网络和车道线网络；

利用基干网络对待识别图像进行处理，得到包含车道线的特征图；

利用车道线网络对特征图进行处理，获取车道线的位置；

所述基干网络包括依次连接的卷积层conv0、下采样层maxpool0、卷积层conv1、下采样层maxpool1、残差网络基础机构体resnetblock0、残差网络基础机构体resnetblock1、循环神经网络模块rnn0、循环神经网络模块rnn1和卷积层conv3；卷积层conv3的输出与所述车道线网络的输入连接；

所述残差网络基础机构体resnetblock0和残差网络基础机构体resnetblock1均包括最大值下采样层maxpoolresnet、卷积层convresnet1_0、卷积层convresnet1_1、卷积层convresnet1_2、合并层eltsum和卷积层convresnet2；

卷积层convresnet1_0、卷积层convresnet1_1和卷积层convresnet1_2依次连接后，卷积层convresnet1_2的输出与最大值下采样层maxpoolresnet的输出均与合并层eltsum的输入连接，合并层eltsum的输出与卷积层convresnet2的输入连接；

其中，所述残差网络基础机构体resnetblock0中的卷积层convresnet1_0的输入和最大值下采样层maxpoolresnet的输入均与所述下采样层maxpool1的输出连接；

所述残差网络基础机构体resnetblock1中的卷积层convresnet1_0的输入和最大值下采样层maxpoolresnet的输入均与所述残差网络基础机构体resnetblock0中的卷积层convresnet2的输出连接；

所述车道线网络包括分别与所述基干网络输出连接的直线预测网络和消失点预测网络；

所述直线预测网络包括依次连接的卷积层conv4、卷积层conv5和全连接层fc，卷积层conv4的输入与所述基干网络的输出连接；

所述消失点预测网络包括依次连接的上采样层upsample0、上采样层upsample1、上采样层upsample2和卷积层vpmask，上采样层upsample0的输入与所述基干网络的输出连接，所述上采样层upsample0、upsample1和upsample2均采用反卷积操作。

2.如权利要求1所述的基于深度学习的车道线检测方法，其特征在于，所述深度神经网络模型的训练步骤包括：

获取样本图像训练集，训练集中的每个样本图像中均标注出车道线信息；

设计所述深度神经网络模型的目标损失函数，得到定义好的深度神经网络模型，该目标损失函数包括所述直线预测网络的目标损失函数和所述消失点预测网络的目标损失函数；

将所述样本图像训练集输入至定义好的深度神经网络模型进行训练，得到预训练后的深度神经网络模型。

3.如权利要求2所述的基于深度学习的车道线检测方法，其特征在于，所述车道线信息包括车道线位置、车道线斜率、车道线消失点位置以及车道线消失点区域。

4.如权利要求2所述的基于深度学习的车道线检测方法，其特征在于，所述直线预测网络的目标损失函数采用经典的均方差损失函数，所述消失点预测网络的目标损失函数采用经典的交叉熵损失函数。

5.如权利要求1所述的基于深度学习的车道线检测方法，其特征在于，所述利用车道线网络对特征图进行处理，获取车道线的位置，包括：

利用所述直线预测网络预测出所述特征图中所有车道线的直线斜率；

利用所述消失点预测网络预测出所述特征图中所有车道线相交的消失点位置或消失点区域的中心位置；

利用点斜式表示方法，得到相应车道线的位置。

Images