CN113313031B - 一种基于深度学习的车道线检测和车辆横向定位方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车道线检测和车辆横向定位方法，首先训练深度学习网络，然后获得图像中各个车道线的参数，最后根据各个车道线的参数来求出车辆的横向定位信息（车辆所在车道的序号，车辆与车辆所在车道左右两条车道线的距离）。本发明发挥了深度学习提取图像特征的优势，且免去了耗时较长的后处理模块，能够更加准确、快速地预测出图像中车道线的参数以及车辆的横向定位信息。

Description

一种基于深度学习的车道线检测和车辆横向定位方法

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种基于深度学习的车道线检测和车辆横向定位方法。

背景技术

横向定位信息作为自动驾驶决策规划模块的输入，对自动驾驶行驶的安全性有着十分重要的影响，而车道线检测的结果直接影响自动驾驶横向定位的准确性。目前，车道线检测主要分为两种方案：基于传统图像处理的方法和基于深度学习的方法。

基于传统图像处理的方法的主要步骤有：图像预处理，过滤图像中的干扰项，根据车道线像素特征与周围像素特征的不同手动选取特征，提取出车道线的特征信息，用曲线模型去拟合车道线。这种方法主要依赖于人工选取特征，在遇到车道线被遮挡、缺失、光照变化等情况效果不佳，鲁棒性较差。

而基于深度学习的方法依赖于大数据，模型通过自主学习得到车道线的特征，在面对车道线被遮挡、缺失、光照变化等情况有更好的准确性，鲁棒性较强，但深度学习对计算机硬件的需求较高，且对得到的车道线特征要进行聚类、拟合等后处理操作才能得到有用的车道线参数，耗时较长，难以满足自动驾驶的实时性需求。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于深度学习的车道线检测和车辆横向定位方法。

本发明为解决上述技术问题采用以下技术方案：

一种基于深度学习的车道线检测和车辆横向定位方法，包括：

步骤A)，训练深度学习网络；

步骤A.1)，搭建编码网络：

将Resnet18网络中的平均池化层和全连接层去除后，用深度可分离卷积替换其中的3×3的卷积核，在第二和第三残差层中添加通道注意力机制，输出第三和第四残差层得到的特征图；

步骤A.2)，搭建解码网络：

将编码网络中第四残差层输出的特征图通过CBAM模块，得到带有注意力权重的特征图后，对特征图的宽度、长度和通道维度依次进行1×1卷积，与下采样后的第三残差层输出的特征图相融合，对融合后的特征图进行池化和卷积操作得到各个车道线的参数；所述车道线参数包含车道线存在的置信度、车道线在图片中最低点和最高点的纵坐标、以及车道线四次多项式的系数；

步骤A.3)，确定损失函数，采集交通场景图片并用关键点来表示车道线，使用Adam梯度下降算法训练编码网络和解码网络，所述损失函数包括车道线存在的置信度损失函数、车道线在图片中最低点和最高点纵坐标的距离损失函数、以及车道线坐标点的距离损失函数，其中：

所述车道线存在的置信度损失函数用于预测是否存在车道线带来的误差Loss_C，

n为图像中车道线的数量，c_j、c_j ^*分别为预测的概率、真实的概率，L_cls为第j个车道线的二元交叉熵函数；

所述车道线在图片中最低点和最高点纵坐标的距离损失函数用于预测车道线在图像中端点纵坐标的误差Loss_S，

y_j、y_j ^*分别代表预测的纵坐标值、真实的纵坐标值，L_reg为第j个车道线的均方误差函数；

所述车道线坐标点的距离损失函数用于预测车道线关键点纵坐标的误差Loss_P，

m为车道线关键点的数量，P_i为车道线的四次多项式表达式，y_j、y_j ^*分别为预测的纵坐标值、真实的纵坐标值，L_reg为第j个车道线的均方误差函数；

步骤B)，对于待进行车道线检测和车辆横向定位的图像，基于训练好的编码网络和解码网络，获得图像中各个车道线的参数；

步骤C)，根据图像中各个车道线的参数来求出车辆的横向定位信息，所述横向定位信息包含车辆所在车道的序号、以及车辆与车辆所在车道左右两条车道线的距离：

步骤C.1)，筛选出车道线存在置信度值大于预设的置信度阈值的车道线，对于其中的每一条车道线，求出车道线的纵坐标Y_j等于图像高度时其横坐标X_j的值；

步骤C.2)，将得到各个车道线按照其横坐标X_j的值进行从小到大的排序，得到车道线集合；

步骤C.3)，令图像的宽度为L，从前往后遍历车道线集合，获得第一个X_j大于L/2的车道线，将其作为车辆所在车道的右车道线；

步骤C.4)，获得右车道线在车道线集合中的上一个车道线，将其作为车辆所在车道的左车道线；

步骤C.5)，分别计算右车道线、左车道线的X_j和L/2差值的绝对值，得到车辆和其所在车道右车道线、左车道线的像素距离，车辆所在车道的右车道线在车道线集合中的序号即为车辆所在车道的序号。

作为本发明一种基于深度学习的车道线检测和车辆横向定位方法进一步的优化方案，步骤A.2)中对特征图的宽度、长度和通道维度依次进行1×1卷积的具体步骤为：

将特征图的维度N×C×H×W转置为N×W×H×C，然后进行1×1卷积操作，再转置为N×H×W×C，进行1×1卷积，最后转置回原来的维度N×C×H×W，进行1×1卷积。

作为本发明一种基于深度学习的车道线检测和车辆横向定位方法进一步的优化方案，步骤A.2)中对融合后的特征图进行池化和卷积操作得到每条车道线的参数的具体步骤如下：

首先对融合后的特征图进行1×1卷积的操作，降低特征图的通道数，然后依次进行全局平均池化和全局最大池化，将两个池化结果相加后进行1×1卷积，得到各个车道线的参数。

作为本发明一种基于深度学习的车道线检测和车辆横向定位方法进一步的优化方案，步骤A.3)中采集交通图片并用车道线的关键点来表示车道线时，对关键点的横纵坐标值进行归一化，将坐标值的阈值限制在0～1之间，即将关键点横坐标的值除以图像的长度作为关键点归一化后的横坐标、将关键点纵坐标的值除以图像的高度作为关键点归一化后的纵坐标。

作为本发明一种基于深度学习的车道线检测和车辆横向定位方法进一步的优化方案，所述预设的置信度阈值取0.5。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明针对如何快速、准确地从图像中得到车道线的参数并求出车辆的横向定位信息(车辆所在车道的序号，车辆与车辆所在车道左右两条车道线的距离)，提供了一种基于深度学习的车道线检测和横向定位方法，它在搭建深度学习网络时运用了深度可分离卷积，降低了深度学习网络运算的参数量，且可以直接输出车道线的参数，摈弃了耗时较长的后处理模块，在充分发挥深度学习的优势的同时，较大地提高了车道线检测的速度，保证了算法能够同时满足自动驾驶对于准确性和实时性的需求。

附图说明

图1是本发明所提供方法的流程图；

图2是Resnet18网络的示意图；

图3是本发明编码网络结构的示意图；

图4是本发明解码网络结构的示意图；

图5是本发明求取车辆横向定位信息的流程图；

图6是本发明测试的效果图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。

本发明具体实验中所用的数据来自于Tusimple数据集，包含了6408张带有标注的图像，该数据集是通过一系列点的坐标来进行车道线的标注，在图像上等间隔的划分高度，生成车道线的纵坐标值，根据这些纵坐标值来生成具体每条车道线的横坐标。

如图1所示，本发明公开了一种基于深度学习的车道线检测和车辆横向定位方法，包括：

步骤A)，训练深度学习网络；

步骤A.1)，搭建编码网络：

如图2所示，为Resnet18网络的结构示意图，它主要包括预处理模块，四个残差层和输出层，可以对图像进行32倍下采样，提取图像中检测目标的特征。如图3所示，首先将Resnet18网络中的输出层去除；然后用深度可分离卷积替换其中的3×3的卷积核，降低网络的参数量，提高网络的运行速度；在第二(Resnet block2)和第三残差层(Resnetblock3)中添加通道注意力机制(CA＝True)，加强网络对于重要通道特征的学习，提高检测的准确性；输出第三和第四残差层(Resnet block3)得到的特征图out3和out4。

步骤A.2)，搭建解码网络：

如图4所示，首先将编码网络中第四残差层(Resnet block4)输出的特征图out4通过CBAM模块，得到带有注意力权重的特征图；然后对特征图的宽度、长度和通道维度依次进行1×1卷积，具体步骤为：将特征图的维度由N×C×H×W转置为N×W×H×C，然后进行1×1卷积操作，再转置为N×H×W×C，进行1×1卷积，最后转置回原来的维度N×C×H×W，进行1×1卷积；最后与下采样后的第三残差层(Resnet block3)输出的特征图out3相融合，对融合后的特征图首先进行1×1卷积的操作，降低特征图的通道数，然后依次进行全局平均池化和全局最大池化，将两个池化结果相加后进行1×1卷积，各个车道线的参数；所述车道线参数包含车道线存在的置信度、车道线在图片中最低点和最高点的纵坐标、以及车道线四次多项式的系数。

步骤A.3)，确定损失函数，采集交通场景图片并用关键点来表示车道线，使用Adam梯度下降算法训练编码网络和解码网络，所述损失函数包括车道线存在的置信度损失函数、车道线在图片中最低点和最高点纵坐标的距离损失函数、以及车道线坐标点的距离损失函数，其中：

所述车道线存在的置信度损失函数用于预测是否存在车道线带来的误差Loss_C，

n为图像中车道线的数量，c_j、c_j ^*分别为预测的概率、真实的概率，L_cls为第j个车道线的二元交叉熵函数；

所述车道线在图片中最低点和最高点纵坐标的距离损失函数用于预测车道线在图像中端点纵坐标的误差Loss_S，

y_j、y_j ^*分别代表预测的纵坐标值、真实的纵坐标值，L_reg为第j个车道线的均方误差函数；

所述车道线坐标点的距离损失函数用于预测车道线关键点纵坐标的误差Loss_P，

m为车道线关键点的数量，P_i为车道线的四次多项式表达式，y_j、y_j ^*分别为预测的纵坐标值、真实的纵坐标值，L_reg为第j个车道线的均方误差函数。

采集交通图片并用车道线的关键点来表示车道线时，要对关键点的横纵坐标值进行归一化，将坐标值的阈值限制在0～1之间，即将关键点横坐标的值除以图像的长度作为关键点归一化后的横坐标、将关键点纵坐标的值除以图像的高度作为关键点归一化后的纵坐标。

将Tusimple数据集中车道线关键点的横纵坐标归一化后，使用Adam梯度下降算法训练网络，使损失函数的值不断下降，获得训练后的网络模型。将交通场景的图像输入到训练好的模型中，便可得到图像中各个车道线的参数。

步骤B)，对于待进行车道线检测和车辆横向定位的图像，基于训练好的编码网络和解码网络，获得图像中各个车道线的参数；

步骤C)，如图5所示，根据图像中各个车道线的参数来求出车辆的横向定位信息，所述横向定位信息包含车辆所在车道的序号、以及车辆与车辆所在车道左右两条车道线的距离：

步骤C.1)，筛选出车道线存在置信度值大于预设的置信度阈值0.5的车道线，对于其中的每一条车道线，求出车道线的纵坐标Y_j等于图像高度h时其横坐标X_j的值；

步骤C.2)，将得到各个车道线按照其横坐标X_j的值进行从小到大的排序，得到车道线集合；

步骤C.3)，令图像的宽度为L，从前往后遍历车道线集合，获得第一个X_j大于L/2的车道线，将其作为车辆所在车道的右车道线；

步骤C.4)，获得右车道线在车道线集合中的上一个车道线，将其作为车辆所在车道的左车道线；

步骤C.5)，分别计算右车道线、左车道线的X_j和L/2差值的绝对值，得到车辆和其所在车道右车道线、左车道线的像素距离，车辆所在车道的右车道线在车道线集合中的序号即为车辆所在车道的序号。

本发明实施实例的测试效果图如图6所示，lane_ID代表车辆所在车道的序号，l_d代表车辆与车辆所在车道左车道线的距离，r_d代表车辆与车辆所在车道左车道线的距离。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的车道线检测和车辆横向定位方法，其特征在于，包括：

步骤A)，训练深度学习网络；

步骤A.1)，搭建编码网络：

将Resnet18网络中的平均池化层和全连接层去除后，用深度可分离卷积替换其中的3×3的卷积核，在第二和第三残差层中添加通道注意力机制，输出第三和第四残差层得到的特征图；

步骤A.2)，搭建解码网络：

将编码网络中第四残差层输出的特征图通过CBAM模块，得到带有注意力权重的特征图后，对特征图的宽度、长度和通道维度依次进行1×1卷积，与下采样后的第三残差层输出的特征图相融合，对融合后的特征图进行池化和卷积操作得到各个车道线的参数；所述车道线参数包含车道线存在的置信度、车道线在图片中最低点和最高点的纵坐标、以及车道线四次多项式的系数；

步骤A.3)，确定损失函数，采集交通场景图片并用关键点来表示车道线，使用Adam梯度下降算法训练编码网络和解码网络，所述损失函数包括车道线存在的置信度损失函数、车道线在图片中最低点和最高点纵坐标的距离损失函数、以及车道线坐标点的距离损失函数，其中：

所述车道线存在的置信度损失函数用于预测是否存在车道线带来的误差Loss_C，

n为图像中车道线的数量，c_j、c_j ^*分别为预测的概率、真实的概率，L_cls为第j个车道线的二元交叉熵函数；

所述车道线在图片中最低点和最高点纵坐标的距离损失函数用于预测车道线在图像中端点纵坐标的误差Loss_S，

y_j、y_j ^*分别代表预测的纵坐标值、真实的纵坐标值，L_reg为第j个车道线的均方误差函数；

所述车道线坐标点的距离损失函数用于预测车道线关键点纵坐标的误差Loss_P，

m为车道线关键点的数量，P_i为车道线的四次多项式表达式，y_j、y_j ^*分别为预测的纵坐标值、真实的纵坐标值，L_reg为第j个车道线的均方误差函数；

步骤B)，对于待进行车道线检测和车辆横向定位的图像，基于训练好的编码网络和解码网络，获得图像中各个车道线的参数；

步骤C)，根据图像中各个车道线的参数来求出车辆的横向定位信息，所述横向定位信息包含车辆所在车道的序号、以及车辆与车辆所在车道左右两条车道线的距离：

步骤C.1)，筛选出车道线存在置信度值大于预设的置信度阈值的车道线，对于其中的每一条车道线，求出车道线的纵坐标Y_j等于图像高度时其横坐标X_j的值；

步骤C.2)，将得到各个车道线按照其横坐标X_j的值进行从小到大的排序，得到车道线集合；

步骤C.3)，令图像的宽度为L，从前往后遍历车道线集合，获得第一个X_j大于L/2的车道线，将其作为车辆所在车道的右车道线；

步骤C.4)，获得右车道线在车道线集合中的上一个车道线，将其作为车辆所在车道的左车道线；

步骤C.5)，分别计算右车道线、左车道线的X_j和L/2差值的绝对值，得到车辆和其所在车道右车道线、左车道线的像素距离，车辆所在车道的右车道线在车道线集合中的序号即为车辆所在车道的序号。

2.根据权利要求1所述的基于深度学习的车道线检测和车辆横向定位方法，其特征在于，步骤A.2)中对特征图的宽度、长度和通道维度依次进行1×1卷积的具体步骤为：

将特征图的维度N×C×H×W转置为N×W×H×C，然后进行1×1卷积操作，再转置为N×H×W×C，进行1×1卷积，最后转置回原来的维度N×C×H×W，进行1×1卷积。

3.根据权利要求1所述的基于深度学习的车道线检测和车辆横向定位方法，其特征在于，步骤A.2)中对融合后的特征图进行池化和卷积操作得到每条车道线的参数的具体步骤如下：

首先对融合后的特征图进行1×1卷积的操作，降低特征图的通道数，然后依次进行全局平均池化和全局最大池化，将两个池化结果相加后进行1×1卷积，得到各个车道线的参数。

4.根据权利要求1所述的基于深度学习的车道线检测和车辆横向定位方法，其特征在于，步骤A.3)中采集交通图片并用车道线的关键点来表示车道线时，对关键点的横纵坐标值进行归一化，将坐标值的阈值限制在0～1之间，即将关键点横坐标的值除以图像的长度作为关键点归一化后的横坐标、将关键点纵坐标的值除以图像的高度作为关键点归一化后的纵坐标。

5.根据权利要求1所述的基于深度学习的车道线检测和车辆横向定位方法，其特征在于，所述预设的置信度阈值取0.5。

Images