CN109635744B - 一种基于深度分割网络的车道线检测方法 - Google Patents

Abstract

本发明公开了一种基于深度分割网络的车道线检测方法，其步骤包括：1获得归一化后的原始图像集和车道线实例分割灰度图像集；2构建多层深度分割网络，并训练得到最优多层深度分割网络；3获得车道线二值图像和背景二值图像；4获得待预测道路图像的特征图；5获得待预测道路图像的特征图；6获得车道线实例分割图像；7得到车道线的检测结果图。本发明能有效地解决车道线变化的问题，从而能适合多种复杂道路状况下的车道线检测，并提高检测的鲁棒性和实时性。

Description

一种基于深度分割网络的车道线检测方法

技术领域

本发明属于无人驾驶技术领域，具体涉及一种基于深度分割网络的车道线检测方法。

背景技术

现代智能汽车融合了许多汽车辅助驾驶功能，其中包括车道偏离警告系统(LaneDeparture Warning System，LDWS)和车道保持辅助系统(Lane KeepingAssist System，LKAS)，这些系统能够使得汽车在正确的车道线内行驶。车道线检测是车道偏离警告系统和车道保持辅助系统中的一项关键技术，但是由于道路场景的复杂性，同时还对车道线检测有着较高的实时性要求，使得车道线检测仍然是无人驾驶技术领域的一个难题。

目前，车道线检测方法大体可以分为基于特征的检测方法、基于模型的检测方法和基于深度学习的检测方法。基于手工制作特征的方法主要利用车道线的颜色特征，纹理特征，几何特征等，再与霍夫变换或卡尔曼滤波器相结合检测车道线。基于模型的检测方法首先要估计道路的数学模型，利用图像信息确定道路数学模型的参数。这些基于特征和模型的检测方法容易受到破损路面和障碍物遮挡等不良天气的道路场景影响。随着深度学习在计算机视觉领域的成功运用，基于将车道线检测问题转化为多类别的分割问题，每条车道线属于一类，这样能够实现端到端的方式进行车道线检测，但该类方法不能检测数量变化的车道线检测问题。

发明内容

本发明为了克服现有技术存在的不足，提供了一种基于深度分割网络的车道线检测方法，以期能有效地解决车道线变化的问题，从而能适合多种复杂道路状况下的车道线检测，并提高检测的鲁棒性和实时性。

本发明为解决技术问题采用如下技术方案：

本发明一种基于深度分割网络的车道线检测方法的特点是按如下步骤进行：

步骤1、获取带有每条车道线标签的原始图像集；给任意第i张原始图像上的车道线标签设定相应的灰度值，并令第i张原始图像的背景灰度值为零，从而得到第i张车道线实例分割灰度图像，再将所述第i张原始图像和第i张车道线实例分割灰度图像进行尺度归一化，得到归一化后的第i张原始图像和第i张车道线实例灰度图；从而得到归一化后的原始图像集和车道线实例分割灰度图像集；

步骤2、构建多层深度分割网络：

步骤2.1、令所述多层深度分割网络是由编码网络和解码网络两部分组成；令所述编码网络是由VGG16网络的前n层的卷积层和及其对应的最大池化层组成；且任意第j个卷积层对应第j个编码器；

令第j个编码器通过卷积产生第j层特征图并存储，同时存储对应的第j个最大池化索引，从而得到n个编码器所产生的n层特征图并存储，同时存储对应的n个最大池化索引，j＝1,2,…,n；

步骤2.2、所述解码网络中，与第j个编码器对应设置有第j个解码器，则所述解码网络也为n层；

所述第j个解码器利用对应的第j个最大池化索引对输入的第j-1层特征图进行非线性上采样，生成第j层稀疏特征图，再对第j层稀疏特征图进行卷积操作，生成第j层密集特征图，从而得到n层的密集特征图；再将第n层密集特征图经过一个卷积层处理，得到第n+1层特征图；

步骤3、获得最优多层深度分割网络：

步骤3.1、利用任意大型自然图像数据集对所述多层深度分割网络进行预训练，得到预训练后的网络参数；

步骤3.2、将所述预训练后的网络参数作为初始化参数，并利用归一化后的原始图像集和车道线实例灰度图像集对所述多层深度分割网络进行微调训练，得到最优多层深度分割网络；

步骤4、将获取的待预测道路图像尺度进行归一化处理，得到归一化后的待预测道路图像并输入到所述最优多层深度分割网络中，得到待预测道路图像的特征图；

步骤5、对所述待预测道路图像的特征图进行二值化处理，得到待预测道路图像中车道线二值图像和背景二值图像；再使用邻近AND运算将车道线二值图像和背景二值图像进行融合，得到优化的车道线二值图像；

步骤6、在所述车道线二值分割图中获取像素值为“1”的所有像素点所对应的位置，并根据所获取的对应位置，在所待预测道路图像的特征图中标记相同位置处的所有像素点，并使用均值漂移聚类算法对所标记的所有像素进行聚类，得到车道线实例分割图像；

步骤7、将所述车道线实例分割图像与待预测道路图像以1:1的权重进行图像混合处理，从而得到车道线的检测结果图。

与已有的技术相比，本发明有益效果体现在：

1、本发明先构建一个多层深度分割网络，这个分割网络由编码网络和解码网络组成，编码网络能够有效地提取车道线的实例特征，而解码网络负责将编码网络输出的特征图恢复至输入图像分辨率大小；使用原始图像集和车道线实例灰度图像集训练分割网络，使得训练好的网络具有解决数量变化的车道线检测问题的能力；针对分割网络输出的特征图，本发明使用邻近AND运算对分割网络输出的特征图进行处理，得到最优的车道线二值分割图；从车道线二值图中获取像素值为“1”的所有像素点所对应的位置，并根据所获取的对应位置，在网络输出的特征图中标记相同位置处的所有像素点，并用均值漂移聚类算法对所标记的所有像素进行聚类，得到车道线实例分割图像；此处使用邻近AND运算能使得属于车道线的共同特征更具体，并丢弃非共同部分的特征，提高了车道线检测的鲁棒性，再将得到的车道线实例分割图与原始图进行图像混合，从而可以解决了数量变化的车道线检测问题，同时还具有较好的鲁棒性和实时性，实现了一种高效的车道线检测算法。

2、本发明分割网络由编码网络和解码网络组成，编码网络是基于VGG16网络的前n层卷积层提取实例分割特征，利用编码网络提取特征，不需要人为设计待提取的特征，它能够自主学习到图像的深度感知特征信息，对车道线的遮挡、光照变化、污损等不良天气的道路场景具有较好的鲁棒性。编码网络中的每个最大池化层对应着一个解码网络的一个上采样层，每个上采样层利用对应层的最大池化索引将编码网络输出的特征图进行非线性上采样，使得编码网络输出的特征图恢复至输入图像分辨率大小。在上采样网络中利用最大池化索引不仅能够有效地存储特征图中的边界信息，同时也消除了训练过程中上采样参数学习的需要。

3、本发明采用邻近AND运算对分割网络输出的特征图像二值化，得到车道线二值分割图，使用邻近AND运算使得属于车道线的共同特征更具体，并丢弃非共同部分的特征，从而提高了车道线检测的鲁棒性。

4、本发明采用均值漂移聚类算法对标记的像素进行聚类得到车道线实例分割图。均值漂移聚类算法是一种无参数概率密度估计算法，可用于图像分割，跟踪等问题。均值漂移聚类算法不需要预先知道聚类的类别数，同时对聚类的形状也没有限制。由于均值漂移聚类算法可以使用核函数，使得计算区域中个像素对应的权值不同，离中心越远权值越小，对结果的影响也就越小，在一定程度上可以避免车道线周围噪声的干扰，增加了抗干扰能力。

5、本发明采用的卷积神经网络结构简单，大大缩短了计算时间，并且采用的邻近AND运算和均值漂移聚类算法具有去除和抗干扰能力，使得该检测方法具有较好的鲁棒性，同时也有较好的检测速度和准确率。

附图说明

图1为本发明的车道线检测方法流程图；

图2为本发明的非线性上采样方法流程图；

图3为本发明的图森图像集中某张图像和与之对应的车道线实例分割灰度图像示例图；

具体实施方式

本实施例中，如图1所示，一种基于深度分割网络的车道线检测方法是按如下步骤进行：

步骤1、从图森数据库中获取带有每条车道线标签的原始图像集；使用python语言并借助第三方库opencv给任意第i张原始图像上的车道线标签设定相应的灰度值(第一条车道线标签的灰度值设为220，第二条车道线的灰度值减小50，依次类推)，并令第i张原始图像的背景灰度值为零，从而得到第i张车道线实例灰度图像，示例如图3所示，再将第i张原始图像和第i张车道线实例分割灰度图像进行尺度归一化为512×256，得到归一化后的第i张原始图像和第i张车道线实例分割灰度图；从而得到归一化后的原始图像集和车道线实例灰度图像集；

步骤2、构建多层深度分割网络：

步骤2.1、令多层深度分割网络是由编码网络和解码网络两部分组成；令编码网络是由VGG16网络的前13层的卷积层和及其对应的最大池化层组成；分别是{conv1_1,conv1_2,conv2_1,conv2_2,conv2_3，conv3_1,conv3_2,conv3_3,conv4_1,conv4_2,conv4_3,conv5_1,conv5_2}，第j个卷积层对应第j个编码器；这些卷积层可以分为5组，第一组和最后一组有两个卷积层，中间三组有3个卷积层,每个卷积层都包括卷积、归一化和RuLU激活函数。5组卷积层后面都紧跟一个最大池化层。每个卷积层用一组滤波器卷积后产生一系列特征图，然后对这些特征图进行归一化，再经过ReLU激活函数。最大池化使用2×2的窗口，步长为2。只需要存储最大池化索引。令第j个编码器通过卷积产生第j层特征图并存储，编码网络中的最大池化是为了获得对输入特征中的空间转移的平移不变性。但是最大池化操作会降低特征图的分辨率，这会造成边界信息损失。因此，在最大池化操作之前，需要存储下采样特征图中的边界信息。为了更加有效地保留特征图中的边界信息，同时需要存储对应的第j个最大池化索引，从而得到n个编码器所产生的n层特征图并存储，同时存储对应的n个最大池化索引，j＝1,2,…,n；这种较低的内存存储会导致精确度有轻微损失，但是仍然适用于实际应用。

步骤2.2、解码网络中，与第j个编码器对应设置有第j个解码器，则解码网络也为13层；

解码网络中的卷积层不同于编码网络中的卷积层，编码网络中的每个卷积层用一组滤波器卷积后产生一系列特征图，然后对这些特征图进行归一化，无需再经过ReLU激活函数。第j个解码器利用对应的第j个最大池化索引对输入的第j-1层特征图进行非线性上采样，生成第j层稀疏特征图，再对第j层稀疏特征图进行卷积操作，生成第j层密集特征图，这避免了学习上采样，改善了边界的非线性，减少了端到端的参数数量，同时会得到n层的密集特征图；再将第n层密集特征图经过一个卷积层处理，得到第n+1层特征图；本发明主要应用于道路场景理解，在推测时，可以节省存储空间和计算所需的时间。

本发明中的深度分割网络是一种卷积神经网络，卷积神经网络主要有这几方面的优势：卷积神经网络结构不需要人为设计待提取的特征，它能自主的捕获到更能表达车道线的特征。卷积神经网络采用权值共享，使得训练参数锐减，大幅度提高了计算速率，是一种非全连接的神经网络结构。

步骤3、获得最优多层深度分割网络：

步骤3.1、利用ImageNet数据集上对多层深度分割网络进行预训练，得到预训练后的网络参数；

步骤3.2、将预训练后的网络参数作为初始化参数，并利用归一化后的3626张图森图像集和3626张车道线实例灰度图像集对多层深度分割网络进行微调训练，得到最优多层深度分割网络；实验所使用的硬件平台为内存：16G，处理器：intel(R)Core(TM)i7-6700KCPU@3.60GHZ x 8，显卡:GeForce GTX 1070Ti/PCIe/SSE2。实验参数设置：训练次数50000，批量大小为8，初始化学习率0.0001，并且每5000次训练减少0.96，优化方法使用Adam。

步骤4、将获取的待预测道路图像尺度进行归一化处理成512×256，得到归一化后的待预测道路图像并输入到最优多层深度分割网络中，得到待预测道路图像的特征图；

步骤5、对待预测道路图像的特征图进行二值化处理，得到待预测道路图像中车道线二值图像和背景二值图像；再使用邻近AND运算将车道线二值图像和背景二值图像进行融合，得到优化的车道线二值图像；

步骤5.1、将分割网络输出的特征图看作一个矩阵I_RGB：M×N×(R,G,B)∈[0,1]。在i行，j列处，I_RGB(i,j,k)表示RGB图像颜色为k的像素值,其中M,N分别代表行和列，一个RGB图像I_RGB用式(1)转化成灰度图像I_G∈[0,1]；

I_G(i,j)＝0.299I_RGB(i,j,R)+0.587I_RGB(i,j,G)+0.114I_RGB(i,j,R) (1)

步骤5.2、使用查找垂直和水平线的3×3Sobel算子对灰度图像执行梯度测量，查找垂直和水平线的3×3Sobel算子的示例如下：

垂直线：

水平线：

步骤5.3、设定一个阈值th，根据式(2)将灰度图像I_G1和I_G2进行二值化得到车道线二值图像I_B1和背景二值图像I_B2；

其中，th∈[0,1]是固定的阈值；

步骤5.4、设定参数k为2，使用邻近AND运算将两个二值图像I_B1和I_B2进行融合得到I_B，邻近AND运算的数学表达式如(3)所示；

步骤6、在车道线二值分割图中获取像素值为“1”的所有像素点所对应的位置，并根据所获取的对应位置，在所待预测道路图像的特征图中标记相同位置处的所有像素点，并使用均值漂移聚类算法对所标记的所有像素进行聚类，得到车道线实例分割图像；

步骤7、将车道线实例分割图像与待预测道路图像以1:1的权重进行图像混合处理，从而得到车道线的检测结果图。

综上所述，本发明方法是基于深度分割网络将车道线检测视为细长区域进行实例分割，可以有效地解决车道线变化的问题。并且还引入了邻近AND运算和均值漂移聚类算法对分割网络输入的图像进行后处理，使得该本发明能适应多种复杂道路状况下的车道线检测，具有较好的鲁棒性和实时性。

Claims (1)

1.一种基于深度分割网络的车道线检测方法，其特征是按如下步骤进行：

步骤1、获取带有每条车道线标签的原始图像集；给任意第i张原始图像上的车道线标签设定相应的灰度值，并令第i张原始图像的背景灰度值为零，从而得到第i张车道线实例分割灰度图像，再将所述第i张原始图像和第i张车道线实例分割灰度图像进行尺度归一化，得到归一化后的第i张原始图像和第i张车道线实例灰度图；从而得到归一化后的原始图像集和车道线实例分割灰度图像集；

步骤2、构建多层深度分割网络：

步骤2.1、令所述多层深度分割网络是由编码网络和解码网络两部分组成；令所述编码网络是由VGG16网络的前n层的卷积层和及其对应的最大池化层组成；且任意第j个卷积层对应第j个编码器；

令第j个编码器通过卷积产生第j层特征图并存储，同时存储对应的第j个最大池化索引，从而得到n个编码器所产生的n层特征图并存储，同时存储对应的n个最大池化索引，j＝1,2,…,n；

步骤2.2、所述解码网络中，与第j个编码器对应设置有第j个解码器，则所述解码网络也为n层；

所述第j个解码器利用对应的第j个最大池化索引对输入的第j-1层特征图进行非线性上采样，生成第j层稀疏特征图，再对第j层稀疏特征图进行卷积操作，生成第j层密集特征图，从而得到n层的密集特征图；再将第n层密集特征图经过一个卷积层处理，得到第n+1层特征图；

步骤3、获得最优多层深度分割网络：

步骤3.1、利用任意大型自然图像数据集对所述多层深度分割网络进行预训练，得到预训练后的网络参数；

步骤3.2、将所述预训练后的网络参数作为初始化参数，并利用归一化后的原始图像集和车道线实例分割灰度图像集对所述多层深度分割网络进行微调训练，得到最优多层深度分割网络；

步骤4、将获取的待预测道路图像尺度进行归一化处理，得到归一化后的待预测道路图像并输入到所述最优多层深度分割网络中，得到待预测道路图像的特征图；

步骤5、对所述待预测道路图像的特征图进行二值化处理，得到待预测道路图像中车道线二值图像和背景二值图像；再使用如式(1)所示的邻近AND运算将车道线二值图像和背景二值图像进行融合，得到优化的车道线二值图像；

式(1)中，I_B(i′,j′)表示融合得到的优化的车道线二值图像在(i′,j′)处的像素值；I_B1(l,m)表示车道线二值图像在(l,m)处的像素值，I_B2(l,m)表示背景二值图像在(l,m)处的像素值，k表示图像颜色参数，i′-k≤l≤i′+k，j′-k≤m≤j′+k，1≤i′≤M，1≤j′≤N，M、N为特征图的行和列；

步骤6、在所述优化的车道线二值图像中获取像素值为“1”的所有像素点所对应的位置，并根据所获取的对应位置，在所述待预测道路图像的特征图中标记相同位置处的所有像素点，并使用均值漂移聚类算法对所标记的所有像素进行聚类，得到车道线实例分割图像；

步骤7、将所述车道线实例分割图像与待预测道路图像以1:1的权重进行图像混合处理，从而得到车道线的检测结果图。

Images