CN109886176A - 复杂驾驶场景下的车道线检测方法 - Google Patents

Abstract

本发明公开了一种复杂驾驶场景下的车道线识别方法。本方法利用连续多帧驾驶场景图像进行车道线检测，采用深度卷积神经网络和递归神经网络相结合的方式，构建了一种端到端的深度学习模型，对输入的连续驾驶场景图像进行车道线检测，输出道路线概率图，有效克服了路面阴影、车道线磨损、车体遮挡等复杂情况下的高精度车道线识别难题。

Description

复杂驾驶场景下的车道线检测方法

技术领域

本发明涉及人工智能和自动驾驶领域，具体涉及一种复杂驾驶场景下的车道线检测方法。

背景技术

随着人工智能技术的进步，自动驾驶得到了学术界和工业界的广泛研究，车道线检测作为自动驾驶技术中一个重要的模块，一直是研究热点。传统的车道线检测大多是针对单幅图像进行处理。然而，单幅图像包含的信息有限，当面对复杂驾驶场景时，例如路面阴影、车道线磨损、车体遮挡等干扰，基于单幅图像的车道线识别方法常常遇到严重的困难。

近年来，深度学习技术的兴起给计算机视觉领域带来了广泛而深刻的影响，它使越来越多的视觉研究得到产业化应用，例如人脸识别、服装分类、车辆检测等等。深度学习网络主要有两种，一种是卷积神经网络(Convolutional Neural Networks,CNN)，网络主要结构是卷积层(Convolutional layer)和池化层(Pooling layer)，具有非常强的信息抽象能力，主要用来进行图像特征的提取，另一种是递归神经网络(Recurrent NeuralNetworks,RNN)，是一种具有内部状态的网络，适用于处理和预测时序数据。

基于以上分析，本发明提出了一种利用连续多帧驾驶场景影像进行车道线检测的深度学习方法。本发明致力于无缝集成卷积神经网络和递归神经网络，发挥它们在单帧图像特征提取和多帧图像时序信号处理方面的优势，研究和探索出一种适用于复杂驾驶场景下的车道线检测方法。

发明内容

本发明为了提高车道线检测系统的稳定性和准确度，提供了复杂驾驶场景下的车道线检测方法。所发明的方法，其输入为多帧连续的驾驶场景图像序列，输出为一张黑白图像，车道线用白色标记。

本发明所设计的复杂驾驶场景下的车道线检测方法，包含以下步骤：

步骤S1，构建图像数据集，所述数据集中的每一个样本包含多帧连续驾驶场景图像；

步骤S2，构建深度学习网络模型，该模型包括编码网络、递归神经网络和解码网络；

步骤S3，利用S1构建的图像数据集对步骤S2构建的深度学习模型进行训练；

步骤S4，利用步骤S3训练好的模型进行车道线检测。

进一步地，所述步骤S1具体为：

步骤S1-1，采集M个图像序列，每个序列包含L帧连续的驾驶场景图像；对每个序列的最后一帧图像(即第L帧图像)标注车道线的真值，得到标签；

步骤S1-2，为了适应不同速度下的车道线检测，对上述每个图像序列进行多步长等间隔采样，步长分别为1，2，和3，从而每个图像序列可以生成3个数据样本，使每个样本包含N帧图像；

步骤S1-3，经过上面两步的处理，得到3×M个数据样本，每个样本包含N帧图像，并且第N帧有标注的车道线真值；将3×M个样本作为图像数据集。

更进一步地，所述N大于等于2。

进一步地，所述构建深度学习网络为一个端到端网络。

进一步地，所述编码网络为全卷积网络，包含卷积层和池化层。

进一步地，所述递归神经网络为卷积长短时记忆神经网络。

进一步地，所述解码网络为全卷积网络，包括反卷积层和卷积层。

本发明还包括一种电子设备，其特殊之处在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的复杂驾驶场景下的车道线检测方法。

本发明还包括一种计算机可读介质，其上存储有计算机程序，其特殊之处在于：所述程序被处理器执行时实现如上所述的复杂驾驶场景下的车道线检测方法。

本发明的优点：

1.本发明采用连续多帧图像来检测车道线，能有效利用车道线的连续性来对车道线进行识别和估计，能有效克服路面阴影、车道线破损、车体遮挡等情况的影响，实现稳定的车道线识别；而传统方法大多利用单张影像进行车道线检测，可利用的信息非常有限，难以适应复杂的驾驶场景。

2.本发明创新性地构建了一个端到端的深度学习网络，它由编码网络、递归神经网络和解码网络组成；编码网络和解码网络为全卷积网络，能发挥卷积神经网络对单幅图像信息抽取的能力，而递归神经网络能高效处理时序的多帧图像数据，实现车道线的准确预测；将两种类型网络无缝地集成，实现了高精度的车道线检测。

3.本发明在构建图像数据集时，采用了多步长的等间隔采样策略，使得训练样本包含不同驾驶速度下的数据，大幅提高了所发明方法对驾驶速度的适应性。

附图说明

图1是本发明实施例的深度学习神经网络总体架构图。

图2是本发明的系统流程图。

具体实施方式

传统的方法主要利用单幅图像进行检测车道线，当面对车道线弯曲度高、路面有较强阴影、车道线被车体遮挡等复杂驾驶场景时，检测效果差。本发明提出复杂驾驶场景下的车道线检测方法。本方法利用连续多帧驾驶场景影像进行当前帧的车道线检测，利用深度学习网络构建车道线语义分割模型，实现稳定的、精确的车道线检测。

本发明提供的方法设计了一种新型的深度学习网络模型，其总体结构参见图1。其具体实施例包含以下步骤：

步骤S1，构建图像数据集，所述数据集中的每一个样本包含N帧连续道路场景图像。具体实施过程说明如下：

步骤S1-1，采集M个图像序列，每个序列包含L帧连续的驾驶场景图像；对每个序列的最后一帧图像(即第L帧图像)标注车道线的真值，得到标签。

步骤S1-2，为了适应不同速度下的车道线检测，对上述每个图像序列进行等间隔采样，间隔距离为1，2，和3，从而每个图像序列可以生成3个数据样本，使每个样本包含N帧图像。

步骤S1-3，经过上面两步的处理，得到3×M个数据样本，每个样本包含N帧图像，并且第N帧有标注的车道线真值；将3×M个样本作为图像数据集。

优选地，取M＝10000，L＝13，N＝5，则每个图像序列分别进行间隔为1，2，3的采样后，得到对应的三个数据样本的图像帧下标为[9，10，11，12，13]，[5，7，9，11，13]，和[1，4，7，10，13]。

步骤S2，构建深度学习网络模型，该模型包括编码网络、递归神经网络和解码网络；编码网络为全卷积网络，包含卷积层和池化层；递归神经网络采用卷积长短时记忆网络(convLSTM)；解码网络为全卷积网络，包含反卷积层和卷积层；具体的步骤为：

S2-1，将连续的N帧图像依次输入编码网络，输出N个特征向量；

S2-2，将上一步得到的N个特征向量作为N个时序信号输入卷积长短时记忆网络，输出为一个特征向量；

S2-3，将上一步得到的1个特征向量输入解码网络，输出一张车道线的概率图，该图与原原始输入图像尺寸相同。

进一步的，所述步骤S2中编码网络包含16层，第1层为输入层，由N帧连续驾驶场景图像构成，第2、3层是卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为64，第4层为池化层，池化尺寸是2×2，第5、6层是卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为128，第7层为池化层，池化尺寸是2×2，第8、9层是卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为256，第10层为池化层，池化尺寸是2×2，第11、12层是卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为512，第13层为池化层，池化尺寸是2×2，第14、15层是卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为512，第16层为输出层。

优选地，池化层采用最大值池化法；

进一步地，所述步骤S2中长短时记忆网络采用双层结构；

进一步地，所述步骤S2中解码网络包含15层，第1、2层是卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为512，第3层为反卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为512，第4、5层是卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为256，第6层为反卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为256，第7、8层是卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为256，第9层为反卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为128，第10、11层是卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为128，第12层为反卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为64，，第13、14层是卷积层，卷积核大小是3×3，步长为1，卷积核的个数均为64，第15层是卷积层，卷积核大小是3×3，步长为1，卷积核的个数为1，即输出车道线概率图。

进一步地，采用加权交叉熵作为模型的损失函数ε_loss，其定义为：

其中Ω＝{1,2…K}，为类别标签的集合，l(x)∈{1,2…K}，表示像素x对应的真实类别标签，p(x)表示预测值，而w(x)表示x对应类的权重。

步骤S3，利用S1构建的图像数据集对步骤S2构建的深度学习模型进行训练；

进一步地，网络的输入为N张连续的图像序列，输出为第N帧图像中车道线的概率图，其中，像素点越接近1(白色)则代表此处为车道线的概率越大，反之越接近0(黑色)则代表此处为车道线的概率越小。

步骤S4，利用步骤S3训练好的深度学习模型，输入的N帧连续的驾驶场景图像，检测得到其中第N帧图像的车道线结果。

本发明的优点：

1.本发明采用连续多帧图像来检测车道线，能有效利用车道线的连续性来对车道线进行识别和估计，能有效克服路面阴影、车道线破损、车体遮挡等情况的影响，实现稳定的车道线识别；而传统方法大多利用单张影像进行车道线检测，可利用的信息非常有限，难以适应复杂的驾驶场景。

2.本发明创新性地构建了一个端到端的深度学习网络，它由编码网络、递归神经网络和解码网络组成；编码网络和解码网络为全卷积网络，能发挥卷积神经网络对单幅图像信息抽取的能力，而递归神经网络能高效处理时序的多帧图像数据，实现车道线的准确预测；将两种类型网络无缝地集成，实现了高精度的车道线检测。

3.本发明在构建图像数据集时，采用了多步长的等间隔采样策略，使得训练样本包含不同驾驶速度下的数据，大幅提高了所发明方法对驾驶速度的适应性。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.复杂驾驶场景下的车道线检测方法，包含以下步骤：

步骤S1，构建图像数据集，所述数据集中的每一个样本包含多帧连续驾驶场景图像；

步骤S2，构建深度学习网络模型，该模型包括编码网络、递归神经网络和解码网络；

步骤S3，利用S1构建的图像数据集对步骤S2构建的深度学习模型进行训练；

步骤S4，利用步骤S3训练好的模型进行车道线检测。

2.根据权利要求1所述的复杂驾驶场景下的车道线检测方法，其特征在于：所述步骤S1具体为：

步骤S1-1，采集M个图像序列，每个序列包含L帧连续的驾驶场景图像；对每个序列的最后一帧图像(即第L帧图像)标注车道线的真值，得到标签；

步骤S1-2，为了适应不同速度下的车道线检测，对上述每个图像序列进行多步长等间隔采样，步长分别为1，2，和3，从而每个图像序列可以生成3个数据样本，使每个样本包含N帧图像；

步骤S1-3，经过上面两步的处理，得到3×M个数据样本，每个样本包含N帧图像，并且第N帧有标注的车道线真值；将3×M个样本作为图像数据集。

3.根据权利要求2所述的复杂驾驶场景下的车道线检测方法，其特征在于：所述N大于等于2。

4.根据权利要求1所述的复杂驾驶场景下的车道线检测方法，其特征在于：所述构建深度学习网络为一个端到端网络。

5.根据权利要求1所述的复杂驾驶场景下的车道线检测方法，其特征在于：所述编码网络为全卷积网络，包含卷积层和池化层。

6.根据权利要求1所述的复杂驾驶场景下的车道线检测方法，其特征在于：所述递归神经网络为卷积长短时记忆神经网络。

7.根据权利要求1所述的复杂驾驶场景下的车道线检测方法，其特征在于：所述解码网络为全卷积网络，包括反卷积层和卷积层。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。