CN110414387B - 一种基于道路分割的车道线多任务学习检测方法 - Google Patents

Abstract

本发明涉及道路交通的图像识别技术领域，公开了一种基于道路分割的车道线多任务学习检测方法，包括步骤：构建多任务学习网络，对输入的道路图像进行识别和处理，输出道路分割数据和车道线检测数据；构建链接编码结构，连接上述两个子网络；对上述两个子网络进行轮流微调训练，并采用交叉熵损失函数修正并提高车道线检测数据精度，最终输出修正后的车道线检测数据。本发明检测尺度多样化，鲁棒性得以提升，提高了在复杂场景下的检测精度，速度快。利用链接编码结构连接两个子网络，通过二者的参数硬共享，提升特征图获取的信息量。

Description

一种基于道路分割的车道线多任务学习检测方法

技术领域

本发明涉及道路交通的图像识别技术领域，具体地涉及一种基于道路分割的车道线多任务学习检测方法。

背景技术

目前，车道线检测的方法主要分为传统算法和基于深度学习的检测算法。

传统算法采用“特征提取与表达+特征匹配”的方式进行检测，又可分为边缘特征法和颜色特征法两种。其中：

边缘特征法通过边缘分布函数来统计全局的梯度角，并根据车道线对称性，确定车道线位置。优点是对车道线的形状具有较好的鲁棒性，在强干扰的情况下，仍能可靠地检测出车道线；缺点是特征信息数据提取复杂，匹配耗时，在实际应用中很难满足实时性要求。

颜色特征法则根据实际应用中车道线是其邻域内具有局部极大值的明亮区域，获取各像素点处可反映图像邻域像素点汇聚程度的“脊峰”值，从而实现车道线检测。优点是特征信息数据的速度得到了提升；缺点是因颜色特征的表征性不强，容易受到车道线模糊、道路障碍物的干扰，检测精度将大幅降低。

基于深度学习的检测算法则通过神经网络学习对象特性，通过神经网络获取的特征，对车道线的特征有着更加抽象、全面的描述，直接输出最终检测结果。而卷积神经网络因其卷积层共享权值特性，可有效减少待训练参数量，速度提升较大，应用最为广泛。

但当前主流的基于深度学习的检测算法普遍存在检测尺度单一、鲁棒性不强的问题，导致在夜间、严重遮挡等复杂场景下的检测精度大幅下降。

发明内容

本发明针对上述技术的不足，提供一种基于道路分割的车道线多任务学习检测方法，将带孔空间金字塔结构引入SCNN网络。为了克服已有车道线检测网络在复杂场景下检测精度大幅下降的问题，将道路分割网络DeepLab v3+与上述SCNN融合为多任务学习网络，并利用链接编码结构连接两子网络。检测尺度多样化，鲁棒性得以提升，提高了在复杂场景下的检测精度，速度快。

为解决上述问题，本发明提供的技术方案为：

一种基于道路分割的车道线多任务学习检测方法，包括以下步骤：

S100.构建多任务学习网络，包括建立特征提取子网络、道路分割子网络和车道线检测子网络，实现对输入的道路图像进行识别和处理，输出道路分割数据和车道线检测数据；具体包括：

S110.以去除了全连接层的VGG-16作为主干网络，在所述主干网络的最后一层最大池化层max-pool5之后添加带孔空间金字塔结构ASPP，构建特征提取子网络；所述特征提取子网络对输入的道路图像进行识别和处理，得到特征图并输出；

S120.采用DeepLab v3+网络的解码部分结构构建道路分割子网络；所述道路分割子网络接收所述特征图，将道路图像的像素分为道路和背景两大类，输出道路分割数据；

S130.采用SCNN结构构建所述车道线检测子网络；所述车道线检测子网络接收所述特征图，将道路图像的像素分为n+1类，输出车道线检测数据；其中n为车道线条数，1为背景；

S200.构建链接编码结构，用链接编码结构连接道路分割子网络和车道线检测子网络，道路分割子网络中的数据经链接编码结构被传输至车道线检测子网络；具体包括：

S210.构建链接编码结构，包括4层，依次为池化层、卷积层、卷积层以及池化层，其中两个卷积层后均接ReLu非线性激活函数；

S220.从道路分割子网络的特征图interpx8处引出输出到链接编码结构，经过所述池化层、卷积层、卷积层以及池化层处理，将得到的数据输入到车道线检测子网络中的interpx2，实现将链接编码结构添加到网络，并连同道路分割子网络和车道线检测子网络；

S300.构建CULane数据集，实现卷积层参数共享；在CULane数据集上对道路分割子网络和车道线检测子网络进行轮流微调训练，并采用带动量的随机梯度下降法最小化交叉熵损失函数修正以提高车道线检测数据精度，最终输出修正后的车道线检测数据。

优选地，所述S120包括以下步骤：

S121.将所述特征提取子网络输出的特征图进行8倍反卷积上采样得到特征图P2；

S122.将所述特征提取子网络中的对应尺度的特征图C2经1*1卷积与P2进行融合操作，统一C2和P2的通道数，得到特征图interpx8；

S123.对所述特征图interpx8进行4倍反卷积上采样，从而恢复到原图尺寸；

S124.经softmax实现道路分割像素数据的二分类输出。

优选地，所述S130包括以下步骤：

S131.将所述特征提取子网络输出的特征图经size＝1,channels＝128的卷积层fc7，输入到SCNN_DURL结构；

S132.将SCNN_DURL结构的输出连接size＝1,channels＝n的卷积层fc8；

S133.将卷积层fc8的输出经2倍反卷积得到特征图interpx2，再经4倍反卷积输入到softmax层进行n+1分类；

S134.将softmax层的输出结果经双线性插值扩大4倍，恢复到原图尺寸，得到像素数据的n+1分类输出。

优选地，所述S122中的融合操作采用叠操作的方式。

优选地，所述带孔空间金字塔结构ASPP用于实现多尺度特征提取构建方法包括以下步骤：

S111.依次构建1*1的普通卷积核和大小为3*3，rate＝6、12、18的多孔卷积核；

S112.所述普通卷积核和所述多孔卷积核后面各自连接一个BN层，并将普通卷积核后的BN层的数据输出到连接到多孔卷积核作为输入；

S113.构建平均池化层，并将多孔卷积核后的BN层的输出端连接到平均池化层的输入端；

S114.将带孔空间金字塔所有的层，通过1*1的卷积，进行信息融合得到特征图，作为特征提取子网络的输出。

优选地，所述S300中对道路分割子网络和车道线检测子网络的轮流微调训练包括以下步骤：

S310.单独训练道路分割网络，生成车道线感兴趣区域；

S320.使用生成的车道线感兴趣区域单独训练车道线检测网络；

S330.固定卷积层，实现道路分割网络和车道线检测网络的卷积层共享，调整车道线感兴趣区域；

S340.用在S330中调整后的车道线感兴趣区域作为输入，精调车道线检测分支子网络的参数。

优选地，所述交叉熵损失函数的计算方法为：

L＝αL_r+L_l

其中，α为平衡两任务损失的系数，由通过交叉验证方式训练得到并设为常量，L_r为道路分割网络的交叉熵损失函数，计算方法为：

其中，I为图像中的像素点集合，i为图中像素的种类，i＝{0,1}，P表示I中的一个点，y_i为类别i的真实标签，

表示预测某像素点属于类别i的概率，计算方法如下：

其中，z_i为输入softmax层的信号，i＝{0，1}，j＝{0，1}；

L_l为车道线检测网络的交叉熵损失函数，计算方法为：

其中，L_l为车道线损失系数，λ₀＝0.4，λ_k＝1，k＝{0，1，…，n}。

本发明与现有技术对比，具有以下优点：

1.检测尺度多样化，鲁棒性得以提升，提高了在复杂场景下的检测精度，速度快。

2.利用链接编码结构连接两个子网络，通过二者的参数硬共享，提升特征图获取的信息量。

附图说明

图1为基于道路分割的车道线多任务学习检测的基本流程图。

图2为带孔空间金字塔结构示意图。

图3为SCNN_DURL结构示意图。

图4为多任务学习网络模型框架图。

图5为链接编码结构示意图。

图6为CULane数据集示例图片。

图7为结合道路分割与车道线检测的多任务学习算法测试结果示例图片。

图中：1.输入图片，2.标注的道路，3.道路分割结果，4.原始图片，5.车道线，6.感兴趣车道。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，为本发明的基本流程图，一种基于道路分割的车道线多任务学习检测方法，包括以下步骤：

S100.构建多任务学习网络，包括建立特征提取子网络、道路分割子网络和车道线检测子网络，实现对输入的道路图像进行识别和处理，输出道路分割数据和车道线检测数据；具体包括：

S110.以去除了全连接层的VGG-16作为主干网络，在VGG-16的基础上去除其全连接层和softmax层，只保留卷积层和池化层；根据最后使用的网络层名称，将去除全连接层和softmax层后的VGG-16称为VGG-pool5。

在所述主干网络的最后一层最大池化层max-pool5之后添加带孔空间金字塔结构ASPP，构建特征提取子网络。

所述ASPP结构如图2所示，用于实现多尺度特征提取实现车道线的多尺度检测。基于全卷积的语义分割网络中，为利用图像的全局信息，通常会使用池化操作来增大感受野，但此操作同时降低了分辨率；为使输出和输入图像的尺寸一致，需要上采样，但由于池化导致的一些细节信息的损失，上采样无法还原全部信息。为了减小这种损失，带孔卷积(Atrous convolutions)被提出用于替换池化层，可在不减小特征图分辨率的同时增大感受野，充分利用图像的上下文信息。与普通卷积不同的是，带孔卷积的卷积核中的元素并不相邻，其距离称为扩张率(rate)。

S120.将ASPP的输出特征图作为输入，采用DeepLab v3+网络的解码部分结构构建道路分割子网络。

DeepLab v3+网络的解码器的任务是将编码器学习到的特征图投影到像素空间，以获得像素级分类。首先，将输入特征图进行8倍反卷积上采样。在上采样的过程中，由于信息的不足，以及经过卷积池化等操作，原始图像的细小目标信息在上采样过程中难以恢复。针对此问题，本发明采用了跳跃连接结构，用于提取低层信息，并与提取的高层特征结合。具体地，将8倍上采样的结果与特征提取子网络中对应尺度的特征图进行1*1卷积操作融合，得到特征图interpx8；然后，为得到与原始图像相同尺寸的分割图，需要进行4倍反卷积上采样，从而恢复到原图尺寸，并经softmax实现道路分割。反卷积与卷积的操作刚好相反，采用的是补位的方式，可使图像尺寸变大。

S130.将ASPP的输出特征图作为输入，采用SCNN结构构建所述车道线检测子网络。

SCNN网络的核心思想在于，通过卷积计算，将图像信息从上到下、从下到上、从左至右以及从右向左传递，类似于条件随机场，利用空间关系的标签优化。当采用MRF或CRF的信息传递方式时，信息最终会集中在图像的中间像素上，而SCNN的信息传递比较平均，每个像素点都能得到来自图像的全局信息。

将带孔空间金字塔结构的输出特征图作为车道线检测子网络的输入，车道线检测子网络采用SCNN结构。首先将输入特征图经size＝1,channels＝128的卷积层fc7，输入到SCNN_DURL结构；然后将SCNN_DURL结构的输出连接size＝1,channels＝n的卷积层fc8，fc8的输出首先经2倍反卷积得到特征图interpx2，再经4倍反卷积输入到softmax层进行n+1分类；最后，将softmax层的输出结果经双线性插值扩大4倍，从而恢复到原图尺寸。

S200.构建链接编码结构，用链接编码结构连接道路分割子网络和车道线检测子网络，道路分割子网络中的数据经链接编码结构被传输至车道线检测子网络。

为充分利用道路分割与车道线检测任务间相关性，即类似传统车道线检测算法中，道路区域的提取对车道线检测算法的性能影响，在道路分割与车道线检测两子网络之间添加了链接编码结构。从道路分割分支网络中的特征图引出，经链接编码结构输入到车道线检测中的特征图interpx2，为车道线检测分支网络补充信息。

S200具体包括：

S210.构建链接编码结构，如图5所示，包括4层，依次为池化层、卷积层、卷积层以及池化层，其中两个卷积层后均接ReLu非线性激活函数。

ReLU计算方法如式(1)所示：

f(x)＝max(0,x) (1)

其中，x为卷积计算之后的结果。ReLU函数使网络具有稀疏特性，其效果类似于无监督学习的预训练；且ReLU相较于Sigmoid等激活函数可有效提升收敛速度，减少网络训练时间。卷积核的大小可以为3*3，也可以为5*5，步长大小为1；池化操作均采用最大池化，运算核大小为3*3，步长大小为2。

S220.从道路分割子网络的特征图interpx8处引出输出到链接编码结构，经过所述池化层、卷积层、卷积层以及池化层处理，将得到的数据输入到车道线检测子网络中的interpx2，实现将链接编码结构添加到网络，并连同道路分割子网络和车道线检测子网络，同时充分利用两任务间的相关性，使道路分割子网络的结果进一步提升车道线检测的精度。

将链接编码结构从道路分割子网络的特征图interpx8处引出，输入到车道线检测子网络上采样过程中相应的尺寸位置处。由于特征图interpx8是由道路分割解码部分的特征图与编码阶段带有较好底层信息的特征图融合得到，故从该处引出链接编码结构，并与车道线检测子网络中的特征图interpx2融合。链接编码结构可充分结合图像底层及道路分割任务的特征信息，有助于提高车道线候选点检测的准确率。

S300.构建CULane数据集，实现卷积层参数共享；在CULane数据集上对道路分割子网络和车道线检测子网络进行轮流微调训练，并带动量的随机梯度下降法最小化交叉熵损失函数修正以提高车道线检测数据精度，设置batch size＝12，基础学习率＝0.01，momentum＝0.9，weight decay＝10E-04，最终输出修正后的车道线检测数据，图7为一种结果的实例图片。

如果单独训练道路分割网络和车道线检测网络，二者共享的特征提取子网络参数会不同程度地改变，无法实现卷积层的共享。因此，本发明采用一种轮流训练的方法，如图6所示，在CULane数据集上进行训练。该方法能保证两个子网络在训练时能共享卷积层参数，避免独立训练。

所述S120包括以下步骤：

S121.将所述特征提取子网络输出的特征图进行8倍反卷积上采样得到特征图P2。

S122.将所述特征提取子网络中的对应尺度的特征图C2经1*1卷积与P2进行融合操作，统一C2和P2的通道数，得到特征图interpx8。

S123.对所述特征图interpx8进行4倍反卷积上采样，从而恢复到原图尺寸。

S124.经softmax实现道路分割像素数据的二分类输出。

所述S130包括以下步骤：

S131.将所述特征提取子网络输出的特征图经size＝1,channels＝128的卷积层fc7，输入到SCNN_DURL结构。

S132.将SCNN_DURL结构的输出连接size＝1,channels＝n的卷积层fc8。

S133.将fc8的输出经2倍反卷积得到特征图interpx2，再经4倍反卷积输入到softmax层进行n+1分类。

S134.将softmax层的输出结果经双线性插值扩大4倍，恢复到原图尺寸，得到像素数据的n+1分类输出。

所述S122中的融合操作采用叠操作的方式。

所述带孔空间金字塔结构ASPP构建方法包括以下步骤：

S111.依次构建1*1的普通卷积核和大小为3*3，rate＝6、12、18的多孔卷积核。

S112.所述普通卷积核和所述多孔卷积核后面各自连接一个BN层，并将普通卷积核后的BN层的数据输出到连接到多孔卷积核作为输入。

S113.构建平均池化层，并将多孔卷积核后的BN层的输出端连接到平均池化层的输入端。

S114.将带孔空间金字塔所有的层，通过1*1的卷积，进行信息融合得到特征图，作为特征提取子网络的输出。

所述SCNN结构的核心为SCNN_DURL结构；所述SCNN_DURL结构如图3所示。

所述SCNN_DURL结构通过在CNN基础上添加了四个卷积结构层SCNN_D，SCNN_U，SCNN_R，SCNN_L组成，其中：

SCNN_D表示信息传递的方向为向上。

SCNN_U表示信息传递的方向为向下。

SCNN_R表示信息传递的方向为向右。

SCNN_L表示信息传递的方向为向左。

SCNN_DURL结构对输入特征图沿上-下方向切片。

或，

SCNN_DURL结构对输入特征图沿左-右方向切片。

SCNN_DURL结构对每一片特征图做卷积，并将结果加到下一片上再做卷积，直到处理完全部切片，所有卷积操作的卷积核共享。

所述S300中对道路分割子网络和车道线检测子网络的轮流微调训练包括以下步骤：

S310.单独训练道路分割网络，生成车道线感兴趣区域。

S320.使用生成的车道线感兴趣区域单独训练车道线检测网络。

S330.固定卷积层，实现道路分割网络和车道线检测网络的卷积层共享，调整车道线感兴趣区域。

S340.用在S330中调整后的车道线感兴趣区域作为输入，精调车道线检测分支子网络的参数。

所述交叉熵损失函数的计算方法如式(2)所示：

L＝αL_r+L_l (2)

其中，α为平衡两任务损失的系数，由通过交叉验证方式训练得到并设为常量，L_r为道路分割网络DeepLabv3+的交叉熵损失函数，计算方法如式(3)所示：

其中，I为图像中的像素点集合，i为图中像素的种类，i＝{0,1}，P表示I中的一个点，y_i为类别i的真实标签，

表示预测某像素点属于类别i的概率，计算方法如式(4)所示：

其中，z_i为输入softmax层的信号，i＝{0，1}，j＝{0，1}。

L_l为车道线检测网络的交叉熵损失函数，计算方法如式(5)所示：

其中，L_l为车道线损失系数，λ₀＝0.4，λ_k＝1，k＝{0，1，…，n}。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (7)

1.一种基于道路分割的车道线多任务学习检测方法，其特征在于：包括以下步骤：

S100.构建多任务学习网络，包括建立特征提取子网络、道路分割子网络和车道线检测子网络，实现对输入的道路图像进行识别和处理，输出道路分割数据和车道线检测数据；具体包括：

S110.以去除了全连接层的VGG-16作为主干网络，在所述主干网络的最后一层最大池化层max-pool5之后添加带孔空间金字塔结构ASPP，构建特征提取子网络；所述特征提取子网络对输入的道路图像进行识别和处理，得到特征图并输出；

S120.采用DeepLab v3+网络的解码部分结构构建道路分割子网络；所述道路分割子网络接收所述特征图，将道路图像的像素分为道路和背景两大类，输出道路分割数据；

S130.采用SCNN结构构建所述车道线检测子网络；所述车道线检测子网络接收所述特征图，将道路图像的像素分为n+1类，输出车道线检测数据；其中n为车道线条数，1为背景；

S200.构建链接编码结构，用链接编码结构连接道路分割子网络和车道线检测子网络，道路分割子网络中的数据经链接编码结构被传输至车道线检测子网络；具体包括：

S210.构建链接编码结构，包括4层，依次为池化层、卷积层、卷积层以及池化层，其中两个卷积层后均接ReLu非线性激活函数；

S220.从道路分割子网络的特征图interpx8处引出输出到链接编码结构，经过所述池化层、卷积层、卷积层以及池化层处理，将得到的数据输入到车道线检测子网络中的interpx2，实现将链接编码结构添加到网络，并连同道路分割子网络和车道线检测子网络；

S300.构建CULane数据集，实现卷积层参数共享；在CULane数据集上对道路分割子网络和车道线检测子网络进行轮流微调训练，并采用带动量的随机梯度下降法最小化交叉熵损失函数修正以提高车道线检测数据精度，最终输出修正后的车道线检测数据。

2.如权利要求1所述一种基于道路分割的车道线多任务学习检测方法，其特征在于：所述S120包括以下步骤：

S121.将所述特征提取子网络输出的特征图进行8倍反卷积上采样得到特征图P2；

S122.将所述特征提取子网络中的对应尺度的特征图C2经1*1卷积与P2进行融合操作，统一C2和P2的通道数，得到特征图interpx8；

S123.对所述特征图interpx8进行4倍反卷积上采样，从而恢复到原图尺寸；

S124.经softmax实现道路分割像素数据的二分类输出。

3.如权利要求1所述一种基于道路分割的车道线多任务学习检测方法，其特征在于：所述S130包括以下步骤：

S131.将所述特征提取子网络输出的特征图经size＝1,channels＝128的卷积层fc7，输入到SCNN_DURL结构；

S132.将SCNN_DURL结构的输出连接size＝1,channels＝n的卷积层fc8；

S133.将卷积层fc8的输出经2倍反卷积得到特征图interpx2，再经4倍反卷积输入到softmax层进行n+1分类；

S134.将softmax层的输出结果经双线性插值扩大4倍，恢复到原图尺寸，得到像素数据的n+1分类输出。

4.如权利要求2所述一种基于道路分割的车道线多任务学习检测方法，其特征在于：所述S122中的融合操作采用叠操作的方式。

5.如权利要求1所述一种基于道路分割的车道线多任务学习检测方法，其特征在于：所述带孔空间金字塔结构ASPP用于实现多尺度特征提取构建方法包括以下步骤：

S111.依次构建1*1的普通卷积核和大小为3*3，rate＝6、12、18的多孔卷积核；

S112.所述普通卷积核和所述多孔卷积核后面各自连接一个BN层，并将普通卷积核后的BN层的数据输出到连接到多孔卷积核作为输入；

S113.构建平均池化层，并将多孔卷积核后的BN层的输出端连接到平均池化层的输入端；

S114.将带孔空间金字塔所有的层，通过1*1的卷积，进行信息融合得到特征图，作为特征提取子网络的输出。

6.如权利要求1所述一种基于道路分割的车道线多任务学习检测方法，其特征在于：所述S300中对道路分割子网络和车道线检测子网络的轮流微调训练包括以下步骤：

S310.单独训练道路分割网络，生成车道线感兴趣区域；

S320.使用生成的车道线感兴趣区域单独训练车道线检测网络；

S330.固定卷积层，实现道路分割网络和车道线检测网络的卷积层共享，调整车道线感兴趣区域；

S340.用在S330中调整后的车道线感兴趣区域作为输入，精调车道线检测分支子网络的参数。

7.如权利要求1所述一种基于道路分割的车道线多任务学习检测方法，其特征在于：所述交叉熵损失函数的计算方法为：

L＝αL_r+L_l

其中，α为平衡两任务损失的系数，由通过交叉验证方式训练得到并设为常量，L_r为道路分割网络的交叉熵损失函数，计算方法为：

其中，I为图像中的像素点集合，i为图中像素的种类，i＝{0,1}，P表示I中的一个点，y_i为类别i的真实标签，

表示预测某像素点属于类别i的概率，计算方法如下：

其中，z_i为输入softmax层的信号，i＝{0，1}，j＝{0，1}；

L_l为车道线检测网络的交叉熵损失函数，计算方法为：

其中，L_l为车道线损失系数，λ₀＝0.4，λ_k＝1，k＝{0，1，…，n}。

Images