CN110222591B - 一种基于深度神经网络的车道线检测方法 - Google Patents

Abstract

本发明涉及一种基于深度神经网络的车道线检测方法，包括下列步骤：利用车道线的样本图像构建数据集，使用不同颜色将图像标注为车道线类和背景类，作为数据集对应的标签，将数据集划分为训练集、验证集和测试集；搭建基于卷积神经网络的encoder‑decoder车道线检测网络模型，该网络由下采样部分和上采样部分组成，网络输入为待检测图像，网络输出为车道线检测效果图；使用训练数据集对所述的网络模型进行训练；给定待检测的图像，将其输入给训练好的车道线检测网络，输出的检测图像即是最终车道线检测结果。

Description

一种基于深度神经网络的车道线检测方法

技术领域

本发明属于图像处理和模式识别技术领域，具体涉及一种基于深度神经网络的车道线检测方法。

背景技术

近年来，自动驾驶在学术界和工业界都受到了广泛的关注。自主驾驶最具挑战性的任务之一是交通场景的理解，包括车道检测和语义分割等计算机视觉任务。车道检测有助于引导车辆，可用于驾驶辅助系统。

传统的检测方法主要是基于图像处理技术对待检测图像进行边缘检测、阈值化处理和曲线拟合。

Aly提出了一种实时和鲁棒的方法[M.Aly,Real time Detection ofLaneMarkers in Urban Streets,IEEE IntelligentVehicles Symposium,Eindhoven,TheNetherlands,June 2008.]来检测城市道路车道线标志。该方法首先使用逆透视映射得到道路图像的俯视图，以避免道路图片行车产生的近大远小效果；然后使用高斯卷积滤波器，对逆透视变换得到的俯视图滤波；接着使用简化的Hough变换，对滤波后的结果进行直线检测；随后利用RANSAC进行样条曲线拟合；最后，进行后处理，利用原始图片对车道线进行定位、延伸及几何检查。然而，该方法需要获取相机参数，且对道路图像的标志线的清晰度要求较高，鲁棒性和泛化能力较差。

付梦印等提出了一种基于等距曲线模型的车道线检测方法(见专利CN201310717643.3)。该方法部分步骤与Aly提出的方法一致，首先使用逆透视映射得到道路图像的俯视图，然后使用二维高斯核进行滤波并进行二值化处理，接着对图像进行Hough变换，随后找到Hough空间中所有车道线在各个角度上的切线对应点，进行车道线及其种类识别。识别结果不限于直线，圆弧等简单曲线，对变曲率半径的车道线也可进行识别且可对每条车道线的种类进行识别，区分实线与虚线。该方法计算步骤复杂，且该方法仅对平坦路面有效，具有一定的局限性。

Borkar等提出了一种使用改进版随机霍夫变换对车道线检测的方法[A.Borkar,M.Hayes and M.T.Smith,Polar randomized hough transform for lane detectionusing loose constraints ofparallel lines,2011IEEE Intenational Conference onAcoustics,Speech and Signal Processing(ICASSP),2011.]。该方法计算效率比传统霍夫变换高。然而，这种方法依赖于车道线点的特征，并且当周围环境复杂，遮挡物较多时，该方法容易失效。

传统的车道检测方法依靠高度专业化、手工制作的特性和启发式的组合来识别车道段。依赖于手工操作使得算法复杂度增加，车道线检测效率降低，并且这些基于模型的系统很难对道路场景变化进行建模，所以传统的方法容易出现鲁棒性问题。因此，传统的车道线检测方法难以应用于自主驾驶系统或驾驶辅助系统对实时检测效果要求比较高的环境。

由于深度学习技术的飞速发展，使得原始数据作为输入，实现端到端的学习过程成为可能，许多研究领域都开始引入深度神经网络，革新传统的研究思路与方案，本发明即想利用深度学习来解决传统车道线检测依赖手工操作、计算复杂、车道线检测效率低以及鲁棒性差等问题。

发明内容

本发明的目的是解决上述传统车道线检测中存在的问题，提供一种基于深度神经网络的车道线检测方法，本发明使用深度学习对车道线进行端对端的检测，能够解决目前车道线检测方法中步骤复杂，检测结果易受光照、遮挡等周边环境影响的问题，且计算简单、快速，能够显著提高车道线识别的准确率及鲁棒性。为达到以上目的，本发明采用的技术方案是：

一种基于基于深度神经网络的车道线检测方法，包括下列步骤：

步骤1：利用车道线的样本图像构建数据集，使用不同颜色将图像标注为车道线类和背景类，作为数据集对应的标签，将数据集划分为训练集、验证集和测试集；

步骤2：搭建基于卷积神经网络的encoder-decoder车道线检测网络模型，该网络由下采样部分和上采样部分组成，网络输入为待检测图像，网络输出为车道线检测效果图，网络输入、输出分辨率相同，encoder-decoder网络模型中的下采样部分通过具有池化操作的卷积流实现，下采样部分由三个卷积层和两个最大池化层组成，三个卷积层的卷积核大小均为3×3，卷积步长均为1，卷积核数目分别为16、32、64，前两个卷积层后均加一个BN层和一个Relu激活层，两个最大池化层的池化核大小均为3×3，池化步长均为2；上采样部分通过双线性插值和卷积实现，上采样部分由两个利用双线性插值实现的2倍上采样层和一个卷积核数目为2、卷积核大小为3×3、卷积步长为1的卷积层组成；

步骤3：使用训练数据集对所述的网络模型进行训练；

步骤4：给定待检测的图像，将其输入给训练好的车道线检测网络，输出的检测图像即是最终车道线检测结果。

优选地，步骤3的方法如下：利用训练集对应的标签作为监督，使用均方误差作为网络的损失函数，该损失函数主要衡量网络预测标签与图像真实标签之间的差别，通过反向传播算法和随机梯度下降法对模型进行端到端训练，沿着损失函数下降的方向更新网络的权重，根据损失函数的变化及网络的收敛情况调整网络的参数；另外使用验证集对训练的网络模型进行检测，根据网络模型的实际检测效果，调整网络的参数，并用训练集重新训练调整后的网络，直到训练好的网络模型在验证集上到达不错的检测效果。

本发明与现有技术相比，具有如下优点和有益效果：

1.本发明提出的基于深度神经网络的车道线检测方法，应用端到端的检测识别结构，可以直接将待检测的图像或视频输入到训练好的车道线检测网络中，省去传统车道线检测中所需的计算步骤；

2.深度神经网络通过有监督的学习来自动提取车道线本质的特征，避免了传统手工特征提取方式特征方式主观性强、特征提取效率低、特征冗余等问题；

3.卷积神经网络具有权值共享和局部连接的思想，具有参数少、提取特征能力强、收敛速度快的优势。本发明使用卷积神经网络方法构建的车道线检测网络，网络根据图像输入和对应标签自学图像特征来提高车道线检测的准确率，其对光照、阴影、遮挡、黄色标识线以及路肩标识线等环境变化的影响也具有良好的鲁棒性。

附图说明

图1是本发明所述的一个发明实例的车道线检测方案的流程图；

图2是本发明所述的深度神经网络结构的示意图；

图3(a)是本发明所述实例训练集中的一张图片，图3(b)是其对应的标签图像；

图4(a)是本发明所述实例测试集中的一张图片，图4(b)是其对应的车道线检测的效果图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

本发明提出的一种基于深度神经网络的车道线检测方法，实际应用过程中，通过卷积神经网络的训练，以及采用训练好的卷积神经网络模型实现图像中车道线的检测。如图1所示，本发明包括如下步骤：

步骤一，构建车道线检测数据集

本发明可以使用公开的车道线检测数据集，如图森未来的TuSimple Benchmark数据集或者Caltech Lanes数据集，使用公开的数据集可以减少数据收集的时间，用相同的数据集与其他车道线检测算法做对比实验更容易。本实施方式也支持使用者从车辆前方摄像头采集的路况视频中截取的图像来构建数据集。

本发明以一个实例为例，使用车道线样本图像构建数据集，该数据集共有图像3048张。为了区分车道线，使用两种颜色将图像标注为车道线类和背景类，作为数据集对应的标签。本数据集中使用黑色标记背景，使用红色标记车道线。按照9:1的比例划分训练验证集和测试集，训练验证集部分再按照4:1的比例划分，即选取2194张做训练集，549张做验证集，305张做测试集，用于后续网络的训练和测试。在输入神经网络之前，将图像尺寸裁剪为256×256。

步骤二，在深度学习框架Keras上搭建基于深度卷积神经网络的车道线检测网络模型

网络模型为encoder-decoder结构，其中encoder网络由卷积层和池化层组成，decoder网络由上采样层和卷积层组成。具体网络结构如表1及图2所示。encoder网络的网络结构为：1个卷积核数目为16、卷积核大小为3×3、卷积步长为1的卷积层，在该卷积层后加一个BN层和一个Relu激活层；1个池化核大小为3×3、池化步长为2的最大池化层；1个卷积核数目为32、卷积核大小为3×3、卷积步长为1的卷积层，在该卷积层后加一个BN层和一个Relu激活层；1个池化核大小为3×3、池化步长为2的最大池化层和1个卷积核数目为64、卷积核大小为3×3、卷积步长为1的卷积层。decoder网络的网络结构为：2个利用双线性插值实现的2倍上采样层和1个卷积核数目为2、卷积核大小为3×3、卷积步长为1的卷积层。

卷积层用于提取图像中的车道线特征，池化层用于缩小特征图像的尺寸实现下采样，上采样层用于将特征图像恢复到原始输入尺寸，BN层和Relu激活层用于解决梯度消失和梯度爆炸的问题，并减少训练过程中损失收敛的迭代次数。

步骤三，训练网络模型

使用步骤一中得到的训练集对步骤二中设计搭建的网络模型进行训练，利用训练集对应的标签作为监督，使用均方误差作为网络的损失函数，通过反向传播算法和随机梯度下降法对模型进行端到端训练。采用如下配置进行训练：batchsize大小为12，初始学习率为0.001，衰减率为0.9，冲量设置为0.9，迭代次数设置为2000。图3(a)是本发明所述实例训练集中的一张图片，图3(b)是其对应的标签图像。

沿着损失函数下降的方向更新网络的权重，根据损失函数的变化及网络的收敛情况来调整网络的参数。另外使用验证集对训练的网络模型进行检测，根据网络模型的实际检测效果，调整网络的参数，并用训练集重新训练调整后的网络，直到训练好的网络模型在验证集上到达不错的检测效果。

步骤四，对训练好的网络模型进行测试

使用步骤一中构建好的测试数据集，对步骤三中训练好的网络模型进行测试。图4(a)是本发明所述实例测试集中的一张图片，图4(b)是其对应的车道线检测的效果图。

表1 encoder-decoder网络结构配置

上述技术方案提出的基于深度神经网络的车道线检测方法，应用端到端的检测识别结构，可以直接将待检测的图像或视频输入到训练好的车道线检测网络中，省去传统车道线检测中所需的计算步骤。深度神经网络通过有监督的学习来自动提取车道线本质的特征，避免了传统手工特征提取方式特征方式主观性强、特征提取效率低、特征冗余等问题。此外，卷积神经网络权值共享和局部连接的思想，具有参数少、提取特征能力强、收敛速度快的优势。本发明使用卷积神经网络方法构建的车道线检测网络，网络根据图像输入和对应标签自学图像特征来提高车道线检测的准确率，其对光照、阴影、遮挡、黄色标识线以及路肩标识线等环境变化的影响也具有良好的鲁棒性。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，任何熟悉本技术领域的研究人员在本发明专利所公开的范围内，在不脱离本发明宗旨的前提下做出的各种变化均属于本发明专利的保护范围。

Claims (1)

1.一种基于深度神经网络的车道线检测方法，包括下列步骤：

步骤1：利用车道线的样本图像构建数据集，使用不同颜色将图像标注为车道线类和背景类，作为数据集对应的标签，将数据集划分为训练集、验证集和测试集；

步骤2：搭建基于卷积神经网络的encoder-decoder车道线检测网络模型，该网络由下采样部分和上采样部分组成，网络输入为待检测图像，网络输出为车道线检测效果图，网络输入、输出分辨率相同，encoder-decoder网络模型中的下采样部分通过具有池化操作的卷积流实现，下采样部分由三个卷积层和两个最大池化层组成，三个卷积层的卷积核大小均为3×3，卷积步长均为1，卷积核数目分别为16、32、64，前两个卷积层后均加一个BN层和一个Relu激活层，两个最大池化层的池化核大小均为3×3，池化步长均为2；上采样部分通过双线性插值和卷积实现，上采样部分由两个利用双线性插值实现的2倍上采样层和一个卷积核数目为2、卷积核大小为3×3、卷积步长为1的卷积层组成；

步骤3：使用训练数据集对所述的网络模型进行训练；方法如下：利用训练集对应的标签作为监督，使用均方误差作为网络的损失函数，该损失函数主要衡量网络预测标签与图像真实标签之间的差别，通过反向传播算法和随机梯度下降法对模型进行端到端训练，沿着损失函数下降的方向更新网络的权重，根据损失函数的变化及网络的收敛情况调整网络的参数；另外使用验证集对训练的网络模型进行检测，根据网络模型的实际检测效果，调整网络的参数，并用训练集重新训练调整后的网络，直到训练好的网络模型在验证集上到达不错的检测效果；

步骤4：给定待检测的图像，将其输入给训练好的车道线检测网络，输出的检测图像即是最终车道线检测结果。

Images