CN115376089A - 一种基于深度学习的车道线检测方法 - Google Patents

Abstract

一种基于深度学习的车道线检测方法，所述方法包括，（1）对数据集中已有的图片样本进行多尺度图像增强操作，再根据标注的车道线位置信息和图像生成训练样本；（2）根据生成的图像构建适用的卷积神经网络；（3）利用生成的车道线图像进行训练；（4）对该卷积神经网络的性能进行评估；（5）使用训练好的模型进行车道线检测。该方法克服了车道检测存在的困难，能够在车道线破损、遮挡、阴影情况下有效检测直道及弯道，为智能驾驶提供技术支持。本方法与其它检测方法相比，该方法检测速度快，车道线识别的准确率高，误检率和漏检率低，适用于各种场景的车道线检测。

Description

一种基于深度学习的车道线检测方法

技术领域

本发明涉及一种交通车道线检测方法，特别涉及一种基于深度学习的车道线检测方法，属于计算机视觉领域和机器学习领域。

背景技术

自2010年以来，世界各国政府出台越来越多的经济刺激政策，全球汽车产量开始稳步增长。与发达国家相比，中国的汽车工业起步较晚，工业基础相对较差，但随着国际汽车行业的结构化转型以及产业向发展中国家转移，中国的汽车行业在近些年迎来飞速发展。汽车保有量的飞速增长在带给人民出行便利和促进国家经济发展的同时，也不可避免地带来了一些道路交通问题。

随着汽车工业的快速发展，汽车保有量迅速攀升，一方面方便了人们的生活，提升了社会的经济效益，另一方面汽车带来的安全事故也给无数的家庭造成了不可挽救的伤害，公路交通安全问题已经受到全世界的关注。根据有关部门公布的数据显示，每年全世界大约有124万人在交通事故中死亡，有上千万人在交通事故中受伤。由此带来的财产损失、医疗费用等经济成本可达全球GDP的1％至3％。因此降低交通事故的发生率以及减小交通事故的伤害是当前我国非常严峻的问题。

车道线作为车辆行驶场景中的要素之一，通过不同的属性，例如虚、实、黄、白等，来指引车辆的行驶方向，规范驾驶员的驾驶行为，避免车辆之间的碰撞，最终实现更加高效和流畅的交通。车道线检测是智能驾驶中视觉感知的一项长期任务，其目标是对车道段和道路背景进行区分，确定当前车辆和车道之间的位置关系。无论在自动驾驶系统还是驾驶辅助系统中，车道线检测都起到了至关重要的作用：自动驾驶通过车道线检测为自适应巡航控制、车道保持、车辆超车等操作提供基本的信息，以保障车辆的正常行驶；驾驶辅助系统通过车道线检测为车道行驶偏离和车辆碰撞进行预警。

车道检测模型要克服各种挑战。首先，由于车道线的外观结构为细长型，所以需要强大的高低层次特征融合来同时获取全局的空间结构关系和细节处的位置信息；其次，车道线的外观状态有不确定性，这要求网络针对不同情况具备较强的鲁棒性或泛化能力；此外，车辆的偏离或换道会致使当前车辆所在车道的切换，车道线也会发生左、右线的切换。

对于车道线检测，目前有两种主流方法，即传统的图像处理方法和基于深度学习的方法。

在传统方法中，主要是通过边缘检测、滤波等方式分割出车道线区域，然后与霍夫变换、粒子或卡尔曼滤波器相结合。但是这类算法的局限性在于需要预先设置滤波算子，根据算法所针对的街道场景特点手动调节参数，工作量大且鲁棒性差。当行车环境出现明显变化时，如出现光照变化、外界遮挡或者车道线破损等情况，车道线的检测效果就会变差。

近年来，深度学习在计算机视觉领域取得了重大的成功。与传统机器学习方法不同，深度学习会自动找出解决问题所需要的重要特征，而传统的机器学习方法可能需要手工定义一些特征。随着数据量的增加，深度学习的表现比传统机器学习更好。基于卷积神经网络的算法在解决目标检测、分割和分类等问题中表现的十分优秀。卷积神经网络是一种多层神经网络，通过卷积、池化等操作，降低数据维度，逐步提取数据特征。最后，通过训练好的卷积神经网络权值来完成分类任务。因此，车道线检测的研究重点转向了基于深度学习的方法。

发明内容

本发明的目的是，为了解决车道线识别困难、效率低下的状况，本发明提出一种基于深度学习的车道线检测方法。

本发明实现的技术方案如下，本发明采用卷积神经网络的方法在车道线破损、遮挡、阴影情况下有效检测直道及弯道，具体步骤如下：

(1)将数据集中的所有图片按比例分为训练样本及测试样本，其中训练样本包含车道线的标注信息，对样本进行多尺度图像增强操作。将图像增强生成的训练样本及包含样本路径的txt文件存入一个文件夹中，加快读取速度。

(2)使用训练集中的标注图片作为卷积神经网络的输入进行训练，获得训练好的网络模型。

(3)使用训练好的网络模型进行车道线检测，获取车道分割图像。

(4)获取到车道分割图像后，使用拟合算法将车道分割图像和输入的原始场景图像进行车道线拟合。

(5)根据拟合的结果绘制车道线的检测结果图像。

(6)分析和评价卷积神经网络网络的检测性能，计算识别的准确率、误检率及漏检率，与现有车道线标注信息进行对比。

(7)如果模型的准确率、误检率和漏检率满足要求，那么就使用该模型进行车道线检测；如果不满足要求，那么调整网络模型训练参数，重新进行训练。

所述准确率、误检率和漏检率计算式如下：

准确率acc计算的是每张预测图像中正确车道线点数和真实车道点数之间的占比情况，

其中C_im表示预测结果正确的车道线像素点数，S_im表示标签数据中真实的车道线像素点数；若存在标签真实值和预测点之间的差值小于某个阈值时，则视该预测结果是正确的，否则，视该预测结果是错误的；

误检率

漏检率

其中，F_pred表示模型预测错误的车道数，N_pred表示模型预测的所有车道线总数，M_pred表示遗漏、未被预测的车道线数，N_gt表示标签中真实的车道线总数。

所述卷积神经网络的实现步骤如下：

(1)语义分割分支：包括特征提取过程、桥接过程和图像还原过程三个阶段；在特征提取过程中，首先输入图像，通过卷积改变图像的通道数为起始通道数，再进行一次残差卷积，保持通道数不变；再进行一次下采样，通道数翻倍，此步骤执行四次；在桥接过程中，对特征提取过程中最后一步下采样得到的特征图，进行一次残差卷积，特征图通道数不改变；在图像还原过程中，首先将桥接层输出的特征图进行一次反卷积，再与特征提取过程中残差卷积后大小相同的特征图进行融合，融合后特征图的通道数减半；此步骤执行四次，得到最终大小与输入图像相同，通道数和起始通道数相同的特征图，再进行一次卷积操作，改变通道数；语义分割分支是一个二分类问题，最后得到一个作为二值化分割图的网络输出结果，仅包含两个类，即车道类和背景类。

(2)实例分割分支：在该分支中，特征提取过程与语义分割分支保持一致；在桥接过程中，对特征提取过程中最后一步下采样得到的特征图，先进行一次残差卷积，再经过一个非对称卷积模块；在图像还原过程中，将桥接层输出的特征图进行一次反卷积，对特征提取过程中残差卷积后的特征图再进行一次卷积，将二者的结果融合，融合后特征图的通道数减半；此步骤执行四次，得到最终大小与输入图像相同，通道数和起始通道数相同的特征图；实例分割分支关注的是车道线更高级的语义信息，需要继续对输入图片上的每一个像素分类，最后得到一个像素级的实例分割图。

(3)两个分支的聚类：聚类是通过一个迭代的过程来完成的；通过损失函数建模车道像素点之间的位置关系，极小化同一车道像素点之间的距离，极大化不同车道像素点之间的距离，这样能够使同一车道的像素点将聚在一起，从而每个车道形成独特的簇，进一步将分割后的车道线像素分解为不同的车道线实例。

所述卷积神经网络的普通卷积层中卷积核大小均为1×1，残差模块中的卷积核大小均为3×3，步长为1，填充策略为补零，保证输入输出图像的大小一致；激活操作使用的是Relu函数。

所述特征提取的下采样过程使用的是最大池化操作，并且池化大小为2×2，特征图的大小缩小为输入时的二分之一；上采样过程使用的是反卷积操作，卷积核大小为4×4，步长为2，将特征图大小放大为输入时的两倍。

所述卷积神经网络的残差模块有两种形式，第一种残差单元中包含两个卷积层，第一个卷积操作完成后进行一个批归一化操作和一个修正线性单元操作；第二个卷积操作完成后，将输出特征图和与输入的特征图进行叠加操作，即特征图对应元素相加；第二种残差单元比第一种多了一层卷积层；特征提取过程中每个残差单元之前进行一次卷积操作将滤波器数量扩大一倍，每个残差单元之后进行一次下采样；在编码部分(特征提取过程和桥接过程)的前两层使用第一种残差单元，第三到五层使用第二种残差单元。

所述特征提取过程和图像还原过程中对应的特征图进行一次融合操作，将两个特征图进行拼接。

所述非对称卷积模块由五个分支组成；前四个分支的第一层都是一个卷积核大小为1×1的卷积，第二层分别是核大小为1×3,3×1,3×3的非对称普通卷积，第三层由普通卷积改为扩张率分别为6，12，18的空洞卷积；第五个分支是图像级的特征，首先使用全局平均池化，再经过一个卷积核大小为1×1的卷积，然后用双线性插值上采样至输入分支前图像的大小，最后将五个分支的特征进行融合叠加，送入1×1卷积层；这样做可以在一个高分辨率的特征图上生成新的特征图，并且在相同参数量的情况下尽可能地表达上一个特征图中的全部信息。

所述聚类所使用的损失函数包括两项，第一项为方差项L_var，可以让同一车道的像素点聚集在集群中心附近，使他们离该车道中心的距离尽可能小，第二项为距离项L_dist，其作用是分离不同的簇，使不同车道的集群中心彼此远离；这两项都是有条件的：聚集只有在该像素点距离其簇中心超过δ_v时才产生，而不同集群中心之间的相互作用只有在它们接近δ_d时才产生；

在损失函数中，c表示簇数，N_C表示簇c中的元素数，x_i为像素向量，μ_c为簇c的均值向量，||·||表示L2距离，||μ_c-x_i||表示平均嵌入与像素嵌入的距离，c_A、c_B表示两车道线，||μ_cA-μ_cB||表示c_A、c_B车道线平均嵌入距离，其中[X]₊＝max(0,x)，总损失L表示如下：

一旦网络收敛，同一车道的像素点将被聚集在一起，使每个聚类之间的距离超过δ_d，每个聚类的半径小于δ_V；通过引入该损失函数，可以在忽略背景像素的情况下，为实例分割分支中的每个像素分配一个车道值，这样能够有效减轻车道线变化的问题，有利于可变车道的处理。

本发明的有益效果在于，本发明一种基于深度学习的车道线检测方法，克服了车道检测存在的困难，能够在车道线破损、遮挡、阴影情况下有效检测直道及弯道，为智能驾驶提供技术支持。本发明先对数据集中已有的图片样本进行多尺度图像增强操作，再根据标注的车道线位置信息和图像生成训练样本；并根据生成的图像构建适用的卷积神经网络；利用生成的车道线图像进行训练；对该卷积神经网络的性能进行评估；最后使用训练好的模型进行车道线检测使用卷积神经网络识别车道线。本发明降低了车道识别的复杂度、提升了车道识别的速度和准确率。

附图说明

图1是本发明进行检测的一个整体流程图；

图2是本发明的系统整体架构图；

图3是本发明中语义分割分支的网络结构图；

图4是本发明中非对称卷积模块的网络结构图；

图5是本发明中实例分割分支的网络结构图。

具体实施方式

图2所示为本发明实施例的系统整体架构图，首先对输入的图像进行多尺度图像增强操作，以达到保持图像的高保真度、颜色恒常性的目的，并实现色彩增强和对图像的动态压缩，减少光照、阴影等对车道检测的影响。然后进入网络，该卷积神经网络采用了二值分割与实例分割相结合的思想，由一个共享的编码层和两个并列的分支组成，分别对两个分支进行语义分割和实例分割。随后，将两个分支聚类在一起，进一步将分割后的车道线像素分解为不同的车道线实例。最后再进行车道线拟合操作，输出结果为一个带车道线标注的图像。

语义分割分支的网络结构如图3所示，语义分割分支包括特征提取过程、桥接过程和图像还原过程三个阶段。在特征提取过程中，首先输入图像，通过卷积改变图像的通道数为起始通道数，再进行一次残差卷积，保持通道数不变。再进行一次下采样，通道数翻倍，此步骤执行四次。在桥接过程中，对特征提取过程中最后一步下采样得到的特征图，进行一次残差卷积，特征图通道数不改变。在图像还原过程中，首先将桥接层输出的特征图进行一次反卷积，再与特征提取过程中残差卷积后大小相同的特征图进行融合，融合后特征图的通道数减半。此步骤执行四次，得到最终大小与输入图像相同，通道数和起始通道数相同的特征图，再进行一次卷积操作，改变通道数。语义分割分支是一个二分类问题，最后得到一个作为二值化分割图的网络输出结果，仅包含两个类，即车道类和背景类。

非对称卷积模块的网络结构如图4所示，非对称卷积模块由五个分支组成。前四个分支的第一层都是一个卷积核大小为1×1的卷积，第二层分别是核大小为1×3,3×1,3×3的非对称普通卷积，第三层由普通卷积改为扩张率分别为6，12，18的空洞卷积。第五个分支是图像级的特征，首先使用全局平均池化，再经过一个卷积核大小为1×1的卷积，然后用双线性插值上采样至输入分支前图像的大小，最后将五个分支的特征进行融合叠加，送入1×1卷积层。这样做可以在一个高分辨率的特征图上生成新的特征图，并且在相同参数量的情况下尽可能地表达上一个特征图中的全部信息。

实例分割分支的网络结构如图5所示，在该分支中，特征提取过程与语义分割分支保持一致。在桥接过程中，对特征提取过程中最后一步下采样得到的特征图，先进行一次残差卷积，再经过一个非对称卷积模块。在图像还原过程中，将桥接层输出的特征图进行一次反卷积，对特征提取过程中残差卷积后的特征图再进行一次卷积，将二者的结果融合，融合后特征图的通道数减半。此步骤执行四次，得到最终大小与输入图像相同，通道数和起始通道数相同的特征图。实例分割分支关注的是车道线更高级的语义信息，需要继续对输入图片上的每一个像素分类，最后得到一个像素级的实例分割图。

图1所示为本发明实施例进行检测的一个整体流程图。

本实施例一种基于深度学习的车道线检测方法，使用Tensorflow深度学习框架，包括以下具体步骤：

(1)准备好实验图片数据，进行数据集处理：

本实施例实验图片数据使用的是TuSimple数据集。该数据集采集自美国圣地亚哥，是一个为自动驾驶算法研发测试打造的专用数据集。它包括在良好和中等天气条件下的直线道路、曲线道路、破损道路、分叉道路、外部设施干扰道路以及阴影遮挡道路等情况的3626张训练图片和2782张测试图片。TuSimple针对结构化道路的高速公路场景，适用于多车道线检测，记录了白天不同时间段下，2车道、3车道、4车道、5车道上的不同交通状况。所有图像均为1280×720像素，训练数据图片注释采用的是json格式，用离散的x、y表示出车道线的精确位置。在这里使用的是多尺度的Retinex算法(multi-scale retinex，MSR)。最后将生成的图片保存到文件中，并设置图像路径、标注信息路径、生成图片大小、生成训练图片数量、测试图片数量、验证图片数量。

(2)构建卷积神经网络

构建如图2所示的卷积神经网络，设置图片大小、训练图片数量、测试图片数量、验证图片数量、训练批次大小、训练次数、模型存储位置；进行训练。首先对输入的图像进行多尺度图像增强操作，以达到保持图像的高保真度、颜色恒常性的目的，并实现色彩增强和对图像的动态压缩，减少光照、阴影等对车道检测的影响。然后进入网络，该卷积神经网络采用了二值分割与实例分割相结合的思想，由一个共享的编码层和两个并列的分支组成，分别对两个分支进行语义分割和实例分割。随后，将两个分支聚类在一起，进一步将分割后的车道线像素分解为不同的车道线实例。最后再进行车道线拟合操作，输出结果为一个带车道线标注的图像。

(3)进行模型训练

模型训练采用交叉熵损失函数，初始学习率为0.001，学习率策略为Poly，训练动量设置为0.9，批量训练数量为32，权重衰减为0.00005，输入图片大小为512×256像素。

开始训练，训练中途保存损失值和mIOU值，记录变化趋势。训练完成后保存模型。

(4)使用保存好的模型在测试图片上进行车道线检测，得到检测后的图像保存到文件夹中。

(5)将获取到的车道线位置信息与已经标注好的车道线真实位置信息进行对比，根据以下公式计算得到模型的准确率、漏检率和误检率：

准确率acc计算的是每张预测图像中正确车道线点数和真实车道点数之间的占比情况。

其中C_im表示预测结果正确的车道线像素点数；S_im表示标签数据中真实的车道线像素点数；若存在标签真实值和预测点之间的差值小于某个阈值时，则视该预测结果是正确的，否则，视该预测结果是错误的。

误检率

漏检率

其中，F_pred表示模型预测错误的车道数，N_pred表示模型预测的所有车道线总数，M_pred表示遗漏、未被预测的车道线数，N_gt表示标签中真实的车道线总数。

Claims (9)

1.一种基于深度学习的车道线检测方法，其特征在于，所述方法采用卷积神经网络来对给定图片中的车道线进行检测，步骤如下：

(1)将数据集中的所有图片按比例分为训练样本及测试样本，其中训练样本包含车道线的标注信息，对样本进行多尺度图像增强操作；将图像增强生成的训练样本及包含样本路径的txt文件存入一个文件夹中，加快读取速度；

(2)使用训练集中的标注图片作为卷积神经网络的输入进行训练，获得训练好的网络模型；

(3)使用训练好的网络模型进行车道线检测，获取车道分割图像；

(4)获取到车道分割图像后，使用拟合算法将车道分割图像和输入的原始场景图像进行车道线拟合；

(5)根据拟合的结果绘制车道线的检测结果图像；

(6)分析和评价卷积神经网络网络的检测性能，计算识别的准确率、误检率及漏检率，与现有车道线标注信息进行对比；

(7)如果模型的准确率、误检率和漏检率满足要求，那么就使用该模型进行车道线检测；如果不满足要求，那么调整网络模型训练参数，重新进行训练。

2.根据权利要求1所述的一种基于深度学习的车道线检测方法，其特征在于，所述卷积神经网络的实现步骤如下：

(1)语义分割分支：包括特征提取过程、桥接过程和图像还原过程三个阶段；在特征提取过程中，首先输入图像，通过卷积改变图像的通道数为起始通道数，再进行一次残差卷积，保持通道数不变；再进行一次下采样，通道数翻倍，此步骤执行四次；在桥接过程中，对特征提取过程中最后一步下采样得到的特征图，进行一次残差卷积，特征图通道数不改变；在图像还原过程中，首先将桥接层输出的特征图进行一次反卷积，再与特征提取过程中残差卷积后大小相同的特征图进行融合，融合后特征图的通道数减半；此步骤执行四次，得到最终大小与输入图像相同，通道数和起始通道数相同的特征图，再进行一次卷积操作，改变通道数；语义分割分支是一个二分类问题，最后得到一个作为二值化分割图的网络输出结果，仅包含两个类，即车道类和背景类；

(2)实例分割分支：在该分支中，特征提取过程与语义分割分支保持一致；在桥接过程中，对特征提取过程中最后一步下采样得到的特征图，先进行一次残差卷积，再经过一个非对称卷积模块；在图像还原过程中，将桥接层输出的特征图进行一次反卷积，对特征提取过程中残差卷积后的特征图再进行一次卷积，将二者的结果融合，融合后特征图的通道数减半；此步骤执行四次，得到最终大小与输入图像相同，通道数和起始通道数相同的特征图；实例分割分支关注的是车道线更高级的语义信息，需要继续对输入图片上的每一个像素分类，最后得到一个像素级的实例分割图；

(3)两个分支的聚类：聚类是通过一个迭代的过程来完成的；通过损失函数建模车道像素点之间的位置关系，极小化同一车道像素点之间的距离，极大化不同车道像素点之间的距离，这样能够使同一车道的像素点将聚在一起，从而每个车道形成独特的簇，进一步将分割后的车道线像素分解为不同的车道线实例。

3.根据权利要求1所述的一种基于深度学习的车道线检测方法，其特征在于，所述准确率、误检率和漏检率计算式如下：

准确率acc计算的是每张预测图像中正确车道线点数和真实车道点数之间的占比情况，

其中C_im表示预测结果正确的车道线像素点数，S_im表示标签数据中真实的车道线像素点数；若存在标签真实值和预测点之间的差值小于某个阈值时，则视该预测结果是正确的，否则，视该预测结果是错误的；

误检率

漏检率

其中，F_pred表示模型预测错误的车道数，N_pred表示模型预测的所有车道线总数，M_pred表示遗漏、未被预测的车道线数，N_gt表示标签中真实的车道线总数。

4.根据权利要求2所述的一种基于深度学习的车道线检测方法，其特征在于，所述卷积神经网络的普通卷积层中卷积核大小均为1×1，残差模块中的卷积核大小均为3×3，步长为1，填充策略为补零，保证输入输出图像的大小一致；激活操作使用的是Relu函数。

5.根据权利要求2所述的一种基于深度学习的车道线检测方法，其特征在于，所述特征提取的下采样过程使用的是最大池化操作，并且池化大小为2×2，特征图的大小缩小为输入时的二分之一；上采样过程使用的是反卷积操作，卷积核大小为4×4，步长为2，将特征图大小放大为输入时的两倍。

6.根据权利要求2所述的一种基于深度学习的车道线检测方法，其特征在于，所述卷积神经网络的残差模块有两种形式，第一种残差单元中包含两个卷积层，第一个卷积操作完成后进行一个批归一化操作和一个修正线性单元操作；第二个卷积操作完成后，将输出特征图和与输入的特征图进行叠加操作，即特征图对应元素相加；第二种残差单元比第一种多了一层卷积层；特征提取过程中每个残差单元之前进行一次卷积操作将滤波器数量扩大一倍，每个残差单元之后进行一次下采样；在编码部分的前两层使用第一种残差单元，第三到五层使用第二种残差单元。

7.根据权利要求2所述的一种基于深度学习的车道线检测方法，其特征在于，所述特征提取过程和图像还原过程中对应的特征图进行一次融合操作，将两个特征图进行拼接。

8.根据权利要求2所述的一种基于深度学习的车道线检测方法，其特征在于，所述非对称卷积模块由五个分支组成；前四个分支的第一层都是一个卷积核大小为1×1的卷积，第二层分别是核大小为1×3,3×1,3×3的非对称普通卷积，第三层由普通卷积改为扩张率分别为6，12，18的空洞卷积；第五个分支是图像级的特征，首先使用全局平均池化，再经过一个卷积核大小为1×1的卷积，然后用双线性插值上采样至输入分支前图像的大小，最后将五个分支的特征进行融合叠加，送入1×1卷积层；这样做可以在一个高分辨率的特征图上生成新的特征图，并且在相同参数量的情况下尽可能地表达上一个特征图中的全部信息。

9.根据权利要求2所述的一种基于深度学习的车道线检测方法，其特征在于，所述聚类所使用的损失函数包括两项，第一项为方差项L_var，可以让同一车道的像素点聚集在集群中心附近，使他们离该车道中心的距离尽可能小，第二项为距离项L_dist，其作用是分离不同的簇，使不同车道的集群中心彼此远离；这两项都是有条件的：聚集只有在该像素点距离其簇中心超过δ_v时才产生，而不同集群中心之间的相互作用只有在它们接近δ_d时才产生；

在损失函数中，c表示簇数，N_C表示簇c中的元素数，x_i为像素向量，μ_c为簇c的均值向量，||·||表示L2距离，||μ_c-x_i||表示平均嵌入与像素嵌入的距离，c_A、c_B表示两车道线，||μ_cA-μ_cB||表示c_A、c_B车道线平均嵌入距离，其中[X]₊＝max(0,x)，总损失L表示如下：

一旦网络收敛，同一车道的像素点将被聚集在一起，使每个聚类之间的距离超过δ_d，每个聚类的半径小于δ_V；通过引入该损失函数，可以在忽略背景像素的情况下，为实例分割分支中的每个像素分配一个车道值，这样能够有效减轻车道线变化的问题，有利于可变车道的处理。

Images