CN111460921A - 一种基于多任务语义分割的车道线检测方法 - Google Patents

Abstract

本发明公开了一种基于多任务语义分割的车道线检测方法，涉及图像处理和计算机视觉技术。所述车道线检测方法包括步骤：获取道路图像；构造一个基于卷积神经网络的特征提取编码网络和多任务分支信息融合的全卷积解码网络；通过上述网络输出得到车道线二值分割掩码图像，然后通过形态学处理方法对车道线二值图中的车道线像素进行点集划分；最后对每个像素点集进行多项式拟合，得到车道线最终判别结果。通过上述车道线检测方法，解决了车道线信息丢失严重导致的分割结果几何形态不完整的问题，能够在复杂场景中识别出各种形状的车道线。

Description

一种基于多任务语义分割的车道线检测方法

技术领域

本发明涉及图像处理和计算机视觉技术，具体涉及一种基于多任务语义分割的车道线检测方法。

背景技术

基于视觉感知的车道线识别方法是高级驾驶辅助系统(Advanced DrivingAssistant System，ADAS)和自动驾驶领域中的一项重要技术。在自动驾驶领域，车道线作为车辆的行驶的可靠指导。在辅助驾驶领域，车道偏离检测等功能的实现在减少驾驶员发生死亡事故发面发挥着重要作用。

目前基于视觉的车道线检测方法主要分为两类：基于特征的车道线检测算法和基于深度神经网络的语义分割方法。

基于特征的方法主要是利用车道线的颜色、边缘、纹理等特征，通过统计概论霍夫直线检测或多项式拟合的方法实现对车道线进行提取。此类方法依赖于手工设定的特征，在强光，阴影，遮挡或者半结构化道路上，此类方法会受到特征丢失或相似特征的干扰而产生非常严重的误检或者漏检。

基于深度神经网络的语义分割方法利用深度神经网络强大的特征提取能力进行特征提取，然后通过像素级别的分类，对车道线和背景作区分。但基于深度神经网络的方法在对图像进行特征提取的过程中，会进行频繁的卷积和下采样操作。在全图中像素占比很小的车道线会在下采样过程中出现严重的信息丢失，因此，基于语义分割的方法普遍存在分割结果中车道线几何形态不完整等情况。

发明内容

本发明针对基于语义分割的车道线检测方法中所存在的缺陷，提供一种基于多任务语义分割的车道线检测方法以解决现有技术在复杂交通场景下存在的车道线信息丢失严重导致的分割结果几何形态不完整的问题。

为解决上述技术不足，本发明提供以下技术方案：

一种基于多任务语义分割的车道线检测方法，包括以下步骤：

S1、获取道路图像，并手动标注出图像中的车道线信息；

S2、构建基于卷积神经网络的特征提取编码网络和多任务分支信息融合的全卷积解码网络；

S3、对多任务分支信息融合的全卷积解码网络输出的车道线二值分割掩码图像进行形态学后处理，划分不同车道线实例对应的像素点集；

S4、对不同的车道线实例的像素点集进行多项式拟合，得到最终车道线判别结果。

进一步地，步骤S2中所述特征提取编码网络，具体包括：

利用残差连接结构对所述道路图像进行特征提取，获得所述道路图像的特征图，

利用不同空洞率的空洞卷积结构对所述特征图进行卷积处理，获得具有高级语义编码的特征图。

进一步地，步骤S2中所述多任务分支信息融合的全卷积解码网络，具体包括三个任务分支网络和信息融合模块，

所述特征提取编码网络的输出为所述多任务分支信息融合的全卷积解码网络中多个任务分支网络的输入，

所述多个任务分支网络包括车道线分割，当前行驶车道区域分割和相邻车道区域分割三个任务分支，

所述信息融合模块用于对所述三个任务分支的输出进行信息融合重组，以获得车道线二值分割掩码图像。

进一步地，所述车道线分割分支网络使用带权重的二分类交叉熵损失函数进行监督训练，所述权重值由s1中所述标注的车道线信息中车道线像素占全图的比例计算得到，

所述当前行驶车道区域分割分支网络及相邻车道分割任务网络均Focal Loss 损失函数进行监督训练。

进一步地，所述信息融合模块用于将所述当前行驶车道区域分割与相邻车道分割两个分支网络的输出与所述相邻车道区域分割分支网络的输出分别使用卷积操作进行特征融合。

进一步地，所述形态学后处理，具体步骤：

基于所述网络输出的车道线二值分割掩码图像，使用连通性分析方法获得多个像素点集，并将少于数量阈值的点集作为噪声丢弃，

以所述车道线二值分割掩码图像左下角为原点，图像宽度方向为x轴方向，高度方向为y轴方向，对所述每个像素点集分别执行自下而上沿y轴方向进行扫描，执行车道线划分方法，最终得到多个车道线的像素点集。

进一步地，基于所述车道线划分方法最终得到的多个车道线的像素点集，分别进行多项式拟合，得到最终车道线判别结果。

进一步地，所述车道线划分方法，具体包括：

以一定的像素数作为车道线宽度阈值，对每次扫描结果进行车道线数量判别，若该次扫描的横向宽度超过宽度阈值，则车道线计数值加1；

若该次沿y轴方向扫描中，车道线计数值始终为1，则该像素点集直接作为最终像素点集的一组子集，否则在车道线计数大于1时以y轴为基准进行像素点集划分；

重复该流程，直至所有点集扫描结束。

与现有技术相比，本发明具有如下有益效果：

1.本发明采用卷积神经网络作为特征提取编码网络，能很好的利用深度神经网络的特征提取能力，并在其中加入了ASPP模块，增加了感受野的同时减少了局部信息的丢失。

2.本发明采用多任务分支融合的方法作为解码网络，能够很好的利用多个任务之间的语义关联性实现信息互补，解决在卷积神经网络在特征提取的过程中，车道线几何形态特征的丢失问题，能得到较好的车道线分割效果。

3.本发明通过形态学后处理对二值分割掩码进行后处理，能很好的排除分割结果中的噪声，同时较为准确地划分不同的车道线实例，能为辅助驾驶和自动驾驶等应用提供更加准确的指引。

附图说明

图1为本申请实施流程示意图；

图2a，图2b分别为特征提取编码网络中的残差结构和ASPP结构图；

图3为多任务语义分割网络整体结构图；

图4为形态学后处理流程示意图。

具体实施方式

下面结合附图和实施例对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述实施例。

本发明实施例提供了一种基于多任务语义分割的车道线检测方法，具体请参阅图1，图1是本发明实施例提供的一种车道线检测方法的流程示意图。

如图1所示，该方法包括：

步骤1：获取道路图像，并手动标注出图像中的车道线信息。

步骤2：构建基于ResNet101-ASPP的特征提取编码网络和多任务分支信息融合的全卷积解码网络；所述基于ResNet101-ASPP的特征提取编码网络利用 ResNet101网络作为主干部分，该网络使用如图2a所示残差连接结构组成 RseNet101网络对图像进行特征提取，第101层输出连接如图2b所示空洞卷积金字塔ASPP模块。所述ASPP模块由一组空洞率分别为6，12，24的空洞卷积组成。通过上述特征提取网络，可以获得具有高级语义编码的特征图。

如图3所示，多任务分支信息融合的全卷积解码网络包括车道线分割，当前行驶车道区域分割，相邻车道分割三个任务分支及信息融合模块。三个任务分支网路分别与上述特征提取编码网络的输出相连接。其中，所述车道线分割分支使用带权重的二分类交叉熵损失函数进行监督训练，如下面的公式(1)所示，y_n是第n个样本的标签，z_n表示预测第n个样本为正例的得分，δ表示sigmiod函数。 W_class为正类的权重值，由s1中所述标注的车道线信息中车道线像素占全图的比例计算得到，如(1)所示，p_class为车道线像素占全图像素的比例。

Loss＝-(W_class*y_n*log(δ(z_n))+(1-y_n)*log(1-δ(z_n))) (1)

所述当前行驶车道区域及相邻车道区域分割任务分支网络由Focal Loss损失函数进行监督训练。为了融合网络浅层特征，使用跳跃连接将解码各分支网络与所述特征提取编码网络中第四层卷积结构输出特征图在通道维度方向上进行连接，使用一组卷积操作进行特征提取，并对于特征提取输出的特征图使用双线性插值方法对上述卷积输出进行8倍上采样。

具体地，如图3所示，在本实施例中，信息融合模块实现方式如下：

(1)利用当前行驶车道区域、相邻车道区域与车道线之间的几何关联性，在解码器端通过特征重组的方式，来补充车道线分割任务在特征提取阶段的信息丢失。

(2)所述特征重组的方式是将当前行驶车道区域分割分支网络的输出与相邻车道区域分割分支网络的输出分别使用一组卷积核进行特征提取，并将卷积后得到的两组特征图在像素维度上，对应位置的像素值直接加和，生成融合图。

(3)将所述融合图使用车道线标注信息作为监督标签，使用二分类交叉熵损失进行监督训练，进行卷积核权重更新，使融合图完成特征重组过程。

(4)将所述融合图与所述车道线分割分支网络在图像通道维度上进行叠加，使用一组卷积核进行特征提取，输出通道数为2的车道线信息融合结果。

(5)将所述融合结果使用双线性插值方法进行4倍上采样，获得与原图大小一致的特征图，然后使用Softmax函数对所述特征图进行处理，获得每个像素点对应的预测概率，根据两个通道的像素预测概率，生成车道线二值分割掩码图像。

步骤3：对网络输出的车道线二值分割掩码图像进行形态学后处理，达到噪声抑制和车道线实例划分的效果。如图4所示，在本实施例中，具体实现如下：

(1)基于所述车道线二值分割掩码图像，使用连通性分析方法，遍历所有正类车道线像素点，将相互连接的像素点作为一个点集，从而可以获得多个像素点集。

(2)从所述像素点集中选取像素点数少于阈值的点集作为噪声丢弃。阈值设定根据图像大小及车道线像素占比计算得到。

(3)以所述车道线二值分割掩码图像左下角为原点，图像宽度方向为x轴方向，高度方向为y轴方向。在所述点集中对每个点集分别执行自下而上沿y 轴方向进行扫描，并进行车道线点集划分，得到最终车道线点集。

(4)基于所述车道线划分方法得到的最终点集，分别进行多项式拟合，拟合次数为3，得到最终车道线判别结果。

上述车道线划分方法用于将二值分割掩码中在道路消失处相交汇的两条或多条车道线实例划分为独立的车道线实例，在本实施例中具体实现如下：

(1)以5个像素作为车道线宽度阈值，对每次扫描结果进行车道线数量判别。若该次扫描的横向宽度超过宽度阈值，则车道线计数值加1。

(2)根据所述计数值，则可以得到当前横坐标下车道线实例数。若该次沿y 轴方向扫描中，车道线计数值始终为1，则该点集无交汇的车道线，直接将该点集作为最终车道线实例点集中的一个子集。

(3)若该次沿y轴方向扫描中，车道线计数值大于1，则继续沿y轴方向扫描，当车道线计数值减少时，则是多条车道线的交汇处，以此交汇处进行划分则可以得到不同车道线实例。此时记录y轴坐标为y^'，并将y坐标小于所述y^' 的点集作为最终车道线实例点集中的一个子集。

(4)重复所述流程，直至所有点集扫描结束。

以上所述，仅为本发明较佳的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都属于本发明的保护范围。

Claims (8)

1.一种基于多任务语义分割的车道线检测方法，其特征在于，所述方法包括：

S1、获取道路图像，并标注出图像中的车道线信息；

S2、构建基于卷积神经网络的特征提取编码网络和多任务分支信息融合的全卷积解码网络；

S3、对多任务分支信息融合的全卷积解码网络输出的车道线二值分割掩码图像进行形态学后处理，划分不同车道线实例对应的像素点集；

S4、对不同的车道线实例的像素点集进行多项式拟合，得到最终车道线判别结果。

2.根据权利要求1所述的一种基于多任务语义分割的车道线检测方法，其特征在于，步骤S2中所述特征提取编码网络，具体包括：

利用残差连接结构对所述图像进行特征提取，获得所述图像的特征图，

利用不同空洞率的空洞卷积结构对所述特征图进行卷积处理，获得具有高级语义编码的特征图。

3.根据权利要求1所述的一种基于多任务语义分割的车道线检测方法，其特征在于，步骤S2中所述多任务分支信息融合的全卷积解码网络，具体包括三个任务分支网络和信息融合模块，

所述特征提取编码网络的输出为所述多任务分支信息融合的全卷积解码网络中多个任务分支网络的输入，

所述多个任务分支网络包括车道线分割，当前行驶车道区域分割和相邻车道区域分割三个任务分支网络，

所述信息融合模块用于对所述三个分支网络的输出进行信息融合重组，以获得车道线二值分割掩码图像。

4.根据权利要求3所述的一种基于多任务语义分割的车道线检测方法，其特征在于：所述车道线分割分支网络使用带权重的二分类交叉熵损失函数进行监督训练，所述权重值由s1中所述标注的车道线信息中车道线像素占全图的比例计算得到，

所述当前行驶车道区域分割分支网络及相邻车道分割任务网络均使用Focal Loss损失函数进行监督训练。

5.根据权利要求3所述的一种基于多任务语义分割的车道线检测方法，其特征在于：所述信息融合模块用于将所述当前行驶车道分割与相邻车道分割两个分支网络的输出使用卷积操作进行特征融合。

6.根据权利要求1所述的一种基于多任务语义分割的车道线检测方法，其特征在于，所述形态学后处理，具体步骤：

基于所述多任务分支信息融合的全卷积解码网络输出的车道线二值分割掩码图像，使用连通性分析方法获得多个像素点集，并将少于数量阈值的点集作为噪声丢弃，

以所述车道线二值分割掩码图像左下角为原点，图像宽度方向为x轴方向，高度方向为y轴方向，对所述每个像素点集分别执行自下而上沿y轴方向进行扫描，执行车道线划分方法，最终得到多个车道线的像素点集。

7.根据权利要求6所述的一种基于多任务语义分割的车道线检测方法，其特征在于：基于所述车道线划分方法最终得到的多个车道线的像素点集，分别进行多项式拟合，得到最终车道线判别结果。

8.根据权利要求6或7所述的一种基于多任务语义分割的车道线检测方法，其特征在于：所述车道线划分方法，具体包括：

以一定的像素数作为车道线宽度阈值，对每次扫描结果进行车道线数量判别，若该次扫描的横向宽度超过宽度阈值，则车道线计数值加1；

若该次沿y轴方向扫描中，车道线计数值始终为1，则该像素点集直接作为最终像素点集的一组子集，否则在车道线计数大于1时以y轴为基准进行像素点集划分；

重复该流程，直至所有点集扫描结束。

Images