CN108694386B

CN108694386B - 一种基于并联卷积神经网络的车道线检测方法

Info

Publication number: CN108694386B
Application number: CN201810459204.XA
Authority: CN
Inventors: 王清辉; 杨烈; 胡广华
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2018-05-15
Filing date: 2018-05-15
Publication date: 2021-08-10
Anticipated expiration: 2038-05-15
Also published as: CN108694386A

Abstract

本发明公开了一种基于并联卷积神经网络的车道线检测方法，包括以下步骤：S1、实际采集视频后截取训练样本图片，并手动标注出车道线，制作用于卷积神经网络训练的训练数据集；S2、构建三个层数不同的自编码卷积神经网络，组成并联卷积神经网络，每个卷积神经网络分别用来检测背景点、实线车道线或虚线车道线；S3、使用训练数据集训练并联卷积神经网络，根据训练过程中损失函数的变化和网络的收敛情况来调整卷积神经网络的参数；S4、根据实际检测效果，调整卷积神经网络的参数，重复步骤S3来训练调整后的并联卷积神经网络，直至达到测试的最佳效果；S5、使用测试图片和实际场景的视频来测试最终训练好的并联卷积神经网络。

Description

一种基于并联卷积神经网络的车道线检测方法

技术领域

本发明涉及汽车无人驾驶和车辆行驶预警领域，具体涉及一种基于并联卷积神经网络的车道线实时检测方法。

背景技术

随着人工智能的高速发展，无人驾驶技术和车辆预警系统的研究成为了当前研究的一大热点。车道线检测是无人驾驶和车辆预警系统研发的重要组成部分，也引发众多研究者的研究兴趣。车道线检测主要是对安装在车辆前部的车载摄像头所拍摄的实际路况的视频图像进行分析，然后找出车辆前方车道线的具体位置，从而保证无人驾驶的车辆能够在正确的道路上行驶，或者在有人驾驶的车辆即将偏离当前车道线时，给车辆的驾驶员发出危险预警，从而保证车辆行驶的安全，减少交通事故的发生。

近年来，在车道线检测技术上已经有了较多的研究，也出现了一些检测效果不错的检测方法，但这些方法主要适用于晴朗的白天、车流密集度低、道路标线清晰的场景。总体来看，现有的车道线检测方法主要分为两大类：一类是图像特征法，另一类是模型匹配法。其中，图像特征法的主要思想是利用车道线边界与周围环境在图像特征上的不同来进行检测的，特征的差异包括形状、纹理、灰度和对比度等。Donald等人利用基于车道线的几何信息对Hough变换参数进行限制的方法在高速的情况下进行车道线检测，Lee等提出了一个通过边缘公布函数和车辆运动方向的变化估计预测车道线反向的偏移预警系统，这类方法借助图像分割和阈值化等技术，算法较为简单，但是容易受到光线变化、噪声、背景等因素的干扰，造成车道线的无法识别；基于模型匹配的方法主要针对结构化道路的较强的几何特征，利用二维或三维曲线进行车道线建模，常用的二维车道模型有直线模型和抛物线模型，这类方法在建立道路参数模型的基础上，分析图像中的目标信息以确定模型参数，具有不受路面状况干扰的特点，但是算法复杂度比较高，运算开销比较大。

发明内容

本发明的目的是针对上述现有技术的不足，为解决目前现有的车道线检测算法所存在的问题，提出了一种新的并联卷积神经网络结构，实现对车道线的检测，通过有监督的学习让神经网络自动提取车道线更加本质的特征，从像素级别进行分类，从而实现车道线的检测。所述方法通过并联的三个卷积神经网络分别检测背景、实线车道线和虚线车道线三类对象，然后让三个卷积神经网络共用部分卷积层，以此来减少网络参数的数量，提高检测的速度。

本发明的目的可以通过如下技术方案实现：

一种基于并联卷积神经网络的车道线检测方法，所述方法包括以下步骤：

S1、首先使用车载摄像头实际采集视频，从视频中截取训练样本图片，并手动标注出训练样本图片中的车道线，制作用于卷积神经网络训练的训练数据集；

S2、构建三个层数不同的自编码卷积神经网络，三个卷积神经网络组成并联卷积神经网络，每个卷积神经网络分别用来检测不同的对象：背景点、实线车道线或虚线车道线；

S3、使用制作好的训练数据集训练构建的并联卷积神经网络，根据训练过程中损失函数的变化和卷积神经网络的收敛情况来调整卷积神经网络的参数；

S4、使用验证集图片来检验所训练的并联卷积神经网络的检测效果，根据卷积神经网络的实际检测效果，调整卷积神经网络的参数，重复步骤S3来训练调整后的并联卷积神经网络，直至达到在验证集上有好的检测效果；

S5、使用测试图片和实际场景的视频来测试最终训练好的并联卷积神经网络进行车道线检测的效果。

进一步地，步骤S1的具体过程为：使用安装在车辆前方的车载摄像头在汽车行驶过程中采集车辆前方路况的视频，从视频中每间隔N帧截取一些训练样本图片，并从训练样本图片中挑选出K张有代表性的图片作为训练数据集的原始图片，使用不同的颜色手动标注出原始图片中的实线车道线和虚线车道线后作为训练数据集中的标注图片，将原始图片和对应的标注图片分为一组，作为卷积神经网络训练的训练数据集。

进一步地，步骤S2的具体过程为：构建三个层数不同的自编码卷积神经网络，第一个卷积神经网络包括C₁个卷积层和C₁个反卷积层，第二个卷积神经网络包括C₂个卷积层和C₂个反卷积层，第三个卷积神经网络包括C₃个卷积层和C₃个反卷积层，其中C₁<C₂<C₃；将训练数据集作为每个卷积神经网络的输入，输出为[batch_size,Height,Width,1]形式的张量，将三个卷积神经网络的输出合并成一个[batch_size,Height,Width,3]形式的张量predicts，作为整个并联卷积神经网络的输出，在合并的过程中，第一个卷积神经网络的输出放在最前面，用来检测背景点，第二个卷积神经网络的输出放在中间，用来检测实线车道线，第三个卷积神经网络的输出放在最后，用来检测虚线车道线。

进一步地，为减少卷积神经网络参数的数量，减少运算量，所述并联卷积神经网络中的三个卷积神经网络共用一些卷积层。

进一步地，所述并联卷积神经网络中第一个卷积神经网络的C₁个卷积层由三个卷积神经网络共用，第二个卷积神经网络的剩余卷积层由第二个卷积神经网络和第三个卷积神经网络共用，第三个卷积神经网络的剩余卷积层由第三个卷积神经网络独享。

进一步地，步骤S3的具体过程为：首先根据训练数据集中标注图片的背景和标注的不同颜色通过one-hot编码的方法创建对应的标签张量labels，利用训练数据集中的图片和对应的标签张量对并联卷积神经网络进行训练，采用predicts和labels求均方差作为损失函数，在训练的过程中，通过tensorboard来观察该卷积神经网络的收敛情况，并根据卷积神经网络的实际收敛情况来调整学习率和批量大小M的值，最后对卷积神经网络输出的结果进行形态学处理，首先进行开运算过滤掉一些较小的孤立噪点，然后进行闭运算填充一些细小的黑洞，从而得到更加准确、完整的车道线。

进一步地，步骤S1中，使用color1颜色的线条绘制多边形来标注实线车道线，并将该多边形填充为color1，使用color2颜色的线条绘制多边形来标注虚线车道线，并将该多边形填充为color2，将进行标注后的原始图片作为训练数据集中的标注图片；在步骤S3中，构建一个[K,Height,Width,3]形式的四维标签张量labels，并将标签张量中所有元素赋初值为0，然后按顺序将训练数据集中的标注图片读入，若第k张图片中点(m,n)为背景，那么就给labels[k,m,n,0]赋值为1，若第k张图片中点(m,n)为color1，那么就给labels[k,m,n,1]赋值为1，若第k张图片中点(m,n)为color2，那么就给labels[k,m,n,2]赋值为1；然后再利用训练数据集中的图片和对应的标签张量对并联卷积神经网络进行训练。

本发明与现有技术相比，具有如下优点和有益效果：

本发明所述方法将卷积神经网络运用到车道线检测当中，神经网络通过有监督的学习可以自动提取车道线更加本质的特征，从而避免人为设计特征和提取特征的复杂过程；将不同层数的神经网络并联起来，用不同的神经网络来单独检测某一类对象，提高了检测的准确性；另外，让三个神经网络共用一些卷积层，可以极大地减少参数的数量，提高检测的实时性。

附图说明

图1为本发明实施例基于并联卷积神经网络车道线检测方法的流程图。

图2为本发明实施例构建的三个层数不同的自编码卷积神经网络的结构图。

图3为本发明实施例构建的并联卷积神经网络的结构图。

图4(a)为本发明实施例利用并联卷积神经网络的直接检测结果图，图4(b)为本发明实施例经形态学滤波处理后的车道线检测结果图。

图5(a)为本发明实施例待检测的图片，图5(b)为车道线检测的最终结果。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

本实施例提供了一种基于并联卷积神经网络的车道线检测方法，所述方法流程图如图1所示，本实施例基于鱼眼相机俯视拍摄的对象，包括以下步骤：

1)、首先使用安装在车辆前方的车载摄像头在汽车行驶过程中采集车辆前方路况的视频，从视频中每间隔50帧截取一些训练样本图片，并从训练样本图片中挑选出2000张有代表性的图片作为训练数据集的原始图片，使用蓝色线条绘制多边形来标注实线车道线，并将该多边形填充为蓝色，使用绿色线条绘制多边形来标注虚线车道线，并将该多边形填充为绿色，将进行标注后的原始图片作为训练数据集中的标注图片，将原始图片和对应的标注图片分为一组，作为卷积神经网络训练的训练数据集；

2)、运用TensorFlow分别构建三个层数不同的自编码卷积神经网络，第一个卷积神经网络包括3个卷积层和3个反卷积层，第二个卷积神经网络包括4个卷积层和4个反卷积层，第三个卷积神经网络包括5个卷积层和5个反卷积层，如图2所示；将训练数据集作为每个卷积神经网络的输入，输出为[batch_size,Height,Width,1]形式的张量，然后将三个卷积神经网络的输出合并成一个[batch_size,Height,Width,3]形式的张量predicts，作为整个并联卷积神经网络的输出，在合并的过程中，第一个卷积神经网络的输出放在最前面，用来检测背景点，第二个卷积神经网络的输出放在中间，用来检测实线车道线，第三个卷积神经网络的输出放在最后，用来检测虚线车道线。

为了减少卷积神经网络参数的数量，减小运算量，提高程序运行的速度，所述并联卷积神经网络中的三个卷积神经网络共用一些卷积层，前3个卷积层由三个卷积神经网络共用，第4个卷积层由第二个卷积神经网络和第三个卷积神经网络共用，第5个卷积层由第三个卷积神经网络独享，如图3所示。

3)、首先构建一个[K,Height,Width,3]形式的四维标签张量labels，并将标签张量中所有元素赋初值为0，然后按顺序将训练数据集中的标注图片读入，若第k张图片中点(m,n)为背景，那么就给labels[k,m,n,0]赋值为1，若第k张图片中点(m,n)为蓝色，那么就给labels[k,m,n,1]赋值为1，若第k张图片中点(m,n)为绿色，那么就给labels[k,m,n,2]赋值为1；然后再利用训练数据集中的图片和对应的标签张量，每次读入M组对并联卷积神经网络进行训练，采用predicts和labels求均方差作为损失函数，在训练的过程中，通过tensorboard来观察该卷积神经网络的收敛情况，并根据卷积神经网络的实际收敛情况来调整学习率和批量大小M的值，最后对卷积神经网络输出的结果进行形态学处理，首先进行开运算过滤掉一些较小的孤立噪点，然后进行闭运算填充一些细小的黑洞，从而得到更加准确、完整的车道线，利用并联卷积神经网络的直接检测结果如图4(a)所示，经形态学滤波处理后的车道线检测结果如图4(b)所示；

4)、使用验证集图片来检验所训练的并联卷积神经网络的检测效果，根据卷积神经网络的实际检测效果，调整卷积神经网络的参数，重复步骤3)来训练调整后的并联卷积神经网络，直至达到在验证集上有较好的效果。

5)、最终使用测试图片和实际场景的视频来测试最终训练好的并联卷积神经网络进行车道线检测的效果。图5(a)为待检测的图片，图5(b)为车道线检测的最终结果。

本发明提出的车道线检测方法，采用了三个并联的自编码卷积神经网络，并分别用这三个网络来预测背景、实线车道线和虚线车道线。这样分别使用不同的神经网络来预测不同的内容，可以避免不同网络之间的相互干扰，从而使检测效果更好；另外为了尽量减少网络参数的数量，减小运算量，提高车道线的检测速度，可以让三个网络共用前面相同的卷积层。本发明提出的这种车道线检测方法简单高效，实时性较好，可用于车辆预警系统或者无人驾驶系统中。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims

1.一种基于并联卷积神经网络的车道线检测方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种基于并联卷积神经网络的车道线检测方法，其特征在于，步骤S1的具体过程为：使用安装在车辆前方的车载摄像头在汽车行驶过程中采集车辆前方路况的视频，从视频中每间隔N帧截取一些训练样本图片，并从训练样本图片中挑选出K张有代表性的图片作为训练数据集的原始图片，使用不同的颜色手动标注出原始图片中的实线车道线和虚线车道线后作为训练数据集中的标注图片，将原始图片和对应的标注图片分为一组，作为卷积神经网络训练的训练数据集。

3.根据权利要求2所述的一种基于并联卷积神经网络的车道线检测方法，其特征在于，步骤S2的具体过程为：构建三个层数不同的自编码卷积神经网络，第一个卷积神经网络包括C₁个卷积层和C₁个反卷积层，第二个卷积神经网络包括C₂个卷积层和C₂个反卷积层，第三个卷积神经网络包括C₃个卷积层和C₃个反卷积层，其中C₁<C₂<C₃；将训练数据集作为每个卷积神经网络的输入，输出为[batch_size,Height,Width,1]形式的张量，其中，batch_size为一次性输入的图片数量，Height为输出的特征图的高度，Width为输出的特征图的宽度，将三个卷积神经网络的输出合并成一个[batch_size,Height,Width,3]形式的张量predicts，作为整个并联卷积神经网络的输出，在合并的过程中，第一个卷积神经网络的输出放在最前面，用来检测背景点，第二个卷积神经网络的输出放在中间，用来检测实线车道线，第三个卷积神经网络的输出放在最后，用来检测虚线车道线。

4.根据权利要求1所述的一种基于并联卷积神经网络的车道线检测方法，其特征在于：为减少卷积神经网络参数的数量，减少运算量，所述并联卷积神经网络中的三个卷积神经网络共用一些卷积层。

5.根据权利要求3所述的一种基于并联卷积神经网络的车道线检测方法，其特征在于：所述并联卷积神经网络中第一个卷积神经网络的C₁个卷积层由三个卷积神经网络共用，第二个卷积神经网络的剩余卷积层由第二个卷积神经网络和第三个卷积神经网络共用，第三个卷积神经网络的剩余卷积层由第三个卷积神经网络独享。

6.根据权利要求3所述的一种基于并联卷积神经网络的车道线检测方法，其特征在于，步骤S3的具体过程为：首先根据训练数据集中标注图片的背景和标注的不同颜色通过one-hot编码的方法创建对应的标签张量labels，利用训练数据集中的图片和对应的标签张量对并联卷积神经网络进行训练，采用predicts和labels求均方差作为损失函数，在训练的过程中，通过tensorboard来观察该卷积神经网络的收敛情况，并根据卷积神经网络的实际收敛情况来调整学习率和批量大小M的值，最后对卷积神经网络输出的结果进行形态学处理，首先进行开运算过滤掉一些较小的孤立噪点，然后进行闭运算填充一些细小的黑洞，从而得到更加准确、完整的车道线。

7.根据权利要求6所述的一种基于并联卷积神经网络的车道线检测方法，其特征在于：步骤S1中，使用color1颜色的线条绘制多边形来标注实线车道线，并将该多边形填充为color1，使用color2颜色的线条绘制多边形来标注虚线车道线，并将该多边形填充为color2，将进行标注后的原始图片作为训练数据集中的标注图片；在步骤S3中，构建一个[K,Height,Width,3]形式的四维标签张量labels，并将标签张量中所有元素赋初值为0，然后按顺序将训练数据集中的标注图片读入，若第k张图片中点(m,n)为背景，那么就给labels[k,m,n,0]赋值为1，若第k张图片中点(m,n)为color1，那么就给labels[k,m,n,1]赋值为1，若第k张图片中点(m,n)为color2，那么就给labels[k,m,n,2]赋值为1；然后再利用训练数据集中的图片和对应的标签张量对并联卷积神经网络进行训练。