CN111582201A - 一种基于几何注意力感知的车道线检测系统 - Google Patents

Abstract

本发明提供一种基于几何注意力感知的车道线检测系统，包括主干网络，设于主干网络之后的语义分割分支和几何距离嵌入分支，作用于解码器相邻两个阶段上采样层之间即设在整个车道线语义分割分支和几何距离嵌入分支之间的注意力信息传播模块，设于语义分割分支和几何距离嵌入分支末端的几何注意力感知模块，以及与主干网络和几何注意力感知模块连接的跳跃金字塔融合上采样模块。本系统采用多任务分支网络结构，除了车道线分割任务以外还增加了几何距离嵌入分支，该分支通过学习车道线中心到边界的连续距离表示去指导车道线分割，从而改善由于高度依赖稀疏车道线标注而无法从复杂道路场景下有效检测车道线的问题。

Description

一种基于几何注意力感知的车道线检测系统

技术领域

本发明涉及车道线检测技术领域，具体涉及一种基于几何注意力感知的车道线检测系统。

背景技术

车道线检测是一种从车载传感器捕获的汽车周围环境图像中提取静态车道线特征的技术，只有极少数方法从激光雷达传感器捕获的图像中检测车道线，虽然激光雷达在距离测量上有天然优势，但是其成像原理决定了只能感知标识明显的车道线，而且激光雷达成本非常高。因此在大多数工作中使用成本低廉的摄像机，由于其成像原理和人类视觉系统相似，它捕获的图像更适合人类理解，方便人工对图像进行标注，包括一些复杂的交通环境，例如，车道线被遮挡等，这对于有监督的语义分割任务来说至关重要。在高等级的自动驾驶系统中，由于系统是汽车控制的主要执行者，车道线检测结果直接影响了车辆控制、其他交通参与者状态判断、障碍物距离测量和高精度地图构建及更新等任务，因此车道线检测成为自动驾驶技术领域研究的热点。

早期的车道线检测方法，利用传统图像处理技术从简单道路场景中提取车道线特征，但是它们高度依赖假设和约束条件，使其只能检测道路中外观和颜色明显的车道线。随着卷积神经网络(Convolutional Neural Networks，CNN)在计算机视觉领域的发展，CNN能够从大规模车道线数据集中学习到丰富的车道线特征，提高了车道线在各场景下的识别准确率，使自动驾驶技术落地成为可能。目前，大多数车道线检测算法被定义为语义分割问题，它们将车道线标注作为完全卷积神经网络的监督信号，为给定图像中的每个像素分配车道线或背景类别。其中，Kim等人提出了基于顺序迁移学习的端到端车道线检测网络，使用全卷积层代替全连接层，将点检测问题重新定义为区域分割问题。该方法首先使用ImageNet数据集训练SegNet的编码器部分对自然图像进行分类，然后使用道路场景数据集训练网络进行道路场景分割，最后使用车道线数据集训练的网络检测车道线，但该方法仅检测当前车道两边的车道线，这不利于系统控制车辆进行变道。

为了检测同向道路中的多条车道线，SCNN算法被提出用于检测当前车道左右两边共四条车道线，因为这与绝大多数实际驾驶场景更符合。SCNN算法将编码器顶层的输出特征图切片，从四个方向进行逐层卷积，上一层特征图卷积的结果会融合下一层特征图，然后对融合后的新特征图进行卷积，这种类似残差网络的结构设计，有利于车道线特征的融合以及防止反向传播过程中出现梯度消失现象。该算法使空间像素之间从不同方向相互传递信息，能够较好的分割具有强空间关系但是外观特征不明显的大型物体和长条状目标，增强了在复杂道路场景下的车道线检测能力，但是提出的SCNN模块增加了网络的推理时间。

相对于SCNN算法而言，SAD算法更加关注车道线检测性能与算法复杂度之间的平衡，它从ENet的编码器中自上而下的蒸馏出车道线注意力特征图，并使用该编码器后一阶段中包含更为抽象的车道线特征作为软目标，指导前一阶段编码器学习丰富的车道线特征表示，以此在不增加网络推理时间的同时增强算法检测车道线的能力。虽然该算法允许从自身特征图中学习并获得实质性的改进，而无需任何额外的数据标注，但它严重依赖稀疏的车道线标注，在复杂道路场景下检测车道线仍具有挑战。

为了弥补由于稀疏车道线标注而无法有效检测车道线，Zhang等人提出了一种多任务学习网络去分割车道区域的同时检测车道线，并使用具有几何先验的损失函数监督网络训练。该网络具有两个分支，两个分支分别分割车道区域和车道线，通过链路编码器连接使分支之间信息互补，两个分支除了用于监督分割任务的交叉熵损失函数以外，还设计了基于车道区域总是存在于车道线内，车道线总是车道区域外轮廓的几何先验知识的损失函数。虽然该方法对复杂道路场景下的车道线检测具有较强的鲁棒性和准确性，但是它利用车道区域与车道线之间的几何先验知识的同时，需要对车道区域进行额外的标注。

随着自动驾驶系统逐步商业化进程，车辆的实际驾驶环境也逐渐复杂，例如，拥堵的其他车辆会遮挡车道线、路面磨损造成车道线模糊、强光会导致车道线不清晰、道路两旁的建筑物或树木产生的阴影会遮盖车道线，因此基于语义分割的车道线检测方法，由于高度依赖稀疏的车道线标注，它们不能很好的根据上下文推理出被环境干扰的车道线，所以面对日益复杂的道路交通环境仍然存在挑战。

针对上述方法存在的一些问题，因此设计一种能够在复杂的实际驾驶道路场景下准确检测车道线的方法显得尤为重要。

发明内容

针对现有技术存在的技术问题，本发明提供一种基于几何注意力感知的车道线检测系统，该系统采用多任务分支网络结构，除了车道线分割任务以外还增加了几何距离嵌入分支，该分支通过学习车道线中心到边界的连续距离表示去指导车道线分割，从而改善由于高度依赖稀疏车道线标注而无法从复杂道路场景下有效检测车道线的问题。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种基于几何注意力感知的车道线检测系统，包括主干网络、语义分割分支、几何距离嵌入分支、注意力信息传播模块、几何注意力感知模块和跳跃金字塔融合上采样模块；其中，

所述主干网络用于将输入RGB图像的彩色空间映射为高维特征空间；

所述语义分割分支用于从主干网络共享的高维特征中重建车道线语义标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大；

所述几何距离嵌入分支用于从主干网络共享的高维特征中重建几何距离嵌入标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大，该分支使用几何距离变换掩膜作为监督信号，以学习车道线的中心线到车道线边界距离的连续表示；

所述注意力信息传播模块作用于解码器相邻两个阶段上采样层之间，通过在通道上施加选择权重，以动态方式从语义分割分支和几何距离嵌入分支输出特征图的通道上自适应地选择重要的互补信息进行传播，并采用类似残差网络的结构进行分支间信息融合；

所述几何注意力感知模块设于语义分割分支和几何距离嵌入分支的末端，用于将几何距离嵌入分支的输出特征转化为一个注意力矩阵，该矩阵从空间维度上捕获了像素之间长距离的上下文信息，使用这些包含了距离的上下文信息指导车道线语义分割；

所述跳跃金字塔融合上采样模块与主干网络和几何注意力感知模块连接，用于通过跳跃连接将主干网络各层级编码器中不同的车道线抽象特征，与逐步上采样过程中恢复分辨率的网络输出特征进行融合，获得车道线概率图。

进一步，所述主干网络采用常用的残差网络ResNet，所述残差网络ResNet的前三个阶段使用步长为2的卷积层，后两个阶段使用步长为1的空洞卷积。

进一步，所述几何距离嵌入分支中几何距离变换掩膜的制作包括：拟合单元，用于对数据集中标注的采样车道线像素拟合成线宽为1的车道线；计算单元，用于计算拟合单元中图像的距离变换，距离变换输出表示了每个像素到附近车道线最小欧式距离，图像中的像素值以车道线为中心向外连续增大；设置单元，用于设置截断阈值τ来限制距离变换区域的范围，截断阈值τ的值取决于语义分割掩膜中每条车道的宽度；翻转单元，用于对截断的距离掩膜进行翻转，使编码的几何距离表示为从车道线中心到外界连续递减到0，几何距离变换掩膜d_mask用以下公式表示：

d_mask＝(τ-min(min(d_p),τ))

其中，min(d_p)表示图像中任意像素p到附近车道线中心线的最小欧式距离，τ为截断阈值，即车道线中心到边界的最大欧式距离，同样也表示距离掩膜中车道线区域的范围。

进一步，通过所述注意力信息传播模块传播的注意力信息定义为以下公式：

其中，α₁和α₂是语义分割分支中第一阶段输出特征图S₁的通道注意力加权参数，β₁和β₂是几何距离嵌入分支中第一阶段输出特征图D₁的通道注意力加权参数，

和

是注意力信息，该注意力信息是先将两个分支的输入特征进行通道注意力选择，即对输入特征使用全局平均池化得到包含全局上下文信息的特征向量，然后再经过1×1卷积层和激活函数的映射，之后与输入特征相乘，再后将进行通道注意力选择之后的两个分支特征进行融合，最后用本分支的输入特征和融合后的特征进行相加而生成的。

进一步，所述几何注意力感知模块包括：特征解耦单元，用于将输入的几何距离嵌入特征进行解耦，生成空间注意力矩阵，该矩阵模拟了特征图中任意两个像素之间的空间关系；矩阵乘法单元，用于在空间注意力矩阵和语义分割特征之间执行矩阵乘法；和运算单元，用于对矩阵乘法的结果和语义分割分支输出特征执行元素的和运算，以获得反映长距离上下文几何信息的最终表示。

进一步，所述几何注意力感知模块最终输出的特征图计算公式如下：

其中，E_j为几何注意力感知模块的输出，A_j为语义分割分支输出特征

B_i为和C_j为几何距离嵌入分支的输出特征经过两个1×1卷积层解耦后生成的新特征

和

D_i为特征A送入1×1卷积层生成新的特征图

并将其形状改变为

S_ji为Softmax运算的结果，它测量了空间位置i^th对位置j^th的影响，N为像素的数量。

进一步，所述跳跃金字塔融合上采样模块包括：第一卷积单元，用于让两个输入特征图分别通过1×1卷积层后生成新的特征图；调整连接单元，用于调整卷积后两个新特征图的形状大小使其能够在通道维度上进行连接；第二卷积单元，用于让连接后的特征图分别通过两个3×3卷积层后生成新的特征图，生成的新特征图一个送入下一阶段的跳跃金字塔融合上采样模块，另一个输出作为分割损失函数的输入。

进一步，所述语义分割分支训练中使用加权交叉熵损失函数来监督，通过设置不同的权重有效的控制各类别像素对交叉熵损失函数大小的贡献，加权交叉熵损失函数的定义公式如下：

其中，

是语义分割分支最终预测的得分特征图，

表示Softmax运算，特征图A经过Softmax后生成车道线概率图，N为特征图中像素的总数，C表示输出特征图的通道数，

表示输入图像的真实标注，ω是每个预测类别的损失贡献权重，通常对应CULane数据集，背景权重设置为0.4，其余车道线权重设置为1，log(.)为对数函数运算。

进一步，所述车道线检测系统中使用均方误差损失函数来度量几何距离嵌入分支预测结果和真实标签之间的误差，计算过程如以下公式所示：

其中，

是几何距离嵌入分支最终预测的特征图，N为特征图中像素的总数，C表示输出特征图的通道数，

为几何距离变换掩膜d_mask是特征图B的真实标注。

进一步，所述车道线检测系统提供的整个几何注意力感知网络训练过程中总的损失函数如以下公式所示：

其中，

是语义分割分支的加权交叉熵损失函数，

是几何距离嵌入分支的均方误差损失函数，

是语义分割辅助损失函数，它用于监督跳跃金字塔融合上采样模块输出的特征图，

是二进制交叉熵损失函数用于监督车道线存在分支，它对图像中是否存在车道线进行预测，α和β表示辅助损失函数和二进制交叉熵损失函数对于整个网络的贡献权重，k表示辅助损失函数的使用数量，该网络中设置k＝4。

与现有技术相比，本发明提供的基于几何注意力感知的车道线检测系统的优点在于：

1)、增加的几何距离嵌入分支，以回归的方式预测车道线中心到车道线边界的连续距离信息，相比于基于语义分割的车道线检测方法，它能够判断网络预测的车道线像素与真实标签之间细微的偏移和完全错误预测之间的区别，这有利于检测出复杂道路场中被其他物体干扰的车道线；

2)、通过注意力信息传播模块，从语义分割分支和几何距离嵌入分支两个分支输出特征图的通道上自适应地选择重要的互补信息进行传播，并采用类似残差网络的结构，进行分支间信息融合的同时保证了解码器内部信息的流动；

3)、不同于其他多任务网络将各任务分支当作独立任务进行训练，本发明通过几何注意力感知模块，将几何距离嵌入分支的输出特征转化为一个注意力矩阵，该矩阵从空间维度上捕获了像素之间的长距离相关性，这些包含了距离信息的上下文能够有效的改善语义分割的结果，有效地将多任务分支的特征进行了融合；

4)、跳跃金字塔融合上采样模块通过跳跃连接，将车道线检测系统提供的整个几何注意力感知网络的各层级编码器中不同的车道线抽象特征，与逐步上采样过程中恢复分辨率的网络输出特征进行融合，并且使用交叉熵损失函数对每个跳跃金字塔融合上采样模块输出的特征图进行监督训练，有效的提升了车道线边界的检测能力。

附图说明

图1是本发明基于几何注意力感知的车道线检测系统提供的整个几何注意力感知网络的结构示意图。

图2a是图1中注意力信息传播模块的详细结构示意图。

图2b是图2a中注意力信息传播模块的SCAB和DCAB的示意图。

图3是图1中几何注意力感知模块的详细结构示意图。

图4是图1中跳跃金字塔融合上采样模块的详细结构示意图。

图5是图1中整个几何注意力感知网络在CULane数据集上的车道线检测结果示意图。

图6是图1中整个几何注意力感知网络在BDD100K数据集上的车道线检测结果示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

请参考图1至图4所示，本发明提供一种基于几何注意力感知的车道线检测系统，该系统是一种专门用来检测复杂道路场景中车道线的端到端深度卷积神经网络即几何注意力感知网络(Geometric Attention-Aware Network，GAANet)，它通过学习几何距离嵌入信息指导车道线分割，具体该车道线检测系统即几何注意力感知网络包括主干网络(Backbone)、语义分割分支、几何距离嵌入分支、注意力信息传播模块(AttentionInformation Propagate Module，AIPM)、几何注意力感知模块(Geometric Attention-Aware Module，GAAM)和跳跃金字塔融合上采样模块(Skip Pyramid Fusion UpsampleModule，SPFUM)；其中，

所述主干网络用于将输入RGB图像的彩色空间映射为高维特征空间；

所述语义分割分支用于从主干网络共享的高维特征中重建车道线语义标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大；

所述几何距离嵌入分支用于从主干网络共享的高维特征中重建几何距离嵌入标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大，该分支使用几何距离变换掩膜作为监督信号，以学习车道线的中心线到车道线边界距离的连续表示；

所述注意力信息传播模块作用于解码器相邻两个阶段上采样层之间，通过在通道上施加选择权重，以动态方式从语义分割分支和几何距离嵌入分支输出特征图的通道上自适应地选择重要的互补信息进行传播，并采用类似残差网络的结构进行分支间信息融合；

所述几何注意力感知模块设于语义分割分支和几何距离嵌入分支的末端，用于将几何距离嵌入分支的输出特征转化为一个注意力矩阵，该矩阵从空间维度上捕获了像素之间长距离的上下文信息，使用这些包含了距离的上下文信息指导车道线语义分割；

所述跳跃金字塔融合上采样模块与主干网络和几何注意力感知模块连接，用于通过跳跃连接将主干网络各层级编码器中不同的车道线抽象特征，与逐步上采样过程中恢复分辨率的网络输出特征进行融合，获得车道线概率图。

作为具体实施例，所述主干网络采用常用的残差网络ResNet，具体在本发明中对ResNet进行了适当的修改，仅保留了ResNet前三个阶段的步长为2的卷积层，即仅使用了所述残差网络ResNet的前三个阶段使用步长为2的卷积层，这样有利于保留特征图中的空间信息，并在残差网络ResNet的最后两个阶段使用步长为1的空洞卷积替换标准卷积，以此增强感受野以便捕获更广范围的上下文语义信息。

作为具体实施例，所述主干网络之后是两个子网络即语义分割分支和几何距离嵌入分支，它们从主干网络共享的高维特征中重建车道线语义标签和几何距离嵌入标签；这两个分支使用现有相同结构的编码器，该编码器一共分四个阶段对共享编码器的输出特征图进行细化，其中在后三个阶段中使用现有双线性插值法对特征图分辨率进行2倍的放大，并且在两个任务分支的末端使用带有几何距离信息的特征指导车道线语义分割。

作为具体实施例，几何距离变换掩膜是一种连续的表示，它编码了车道线上每个像素到车道线中心线的最小欧式距离，其制作过程非常简单，仅需在原始的车道线标注上稍作调整，所述几何距离嵌入分支中几何距离变换掩膜的制作具体包括：拟合单元，用于对数据集中标注的采样车道线像素拟合成线宽为1的车道线；计算单元，用于计算拟合单元中图像的距离变换，距离变换输出表示了每个像素到附近车道线最小欧式距离，图像中的像素值以车道线为中心向外连续增大；设置单元，用于设置截断阈值τ来限制距离变换区域的范围，以消除对于无界值的回归预测，截断阈值τ的值取决于语义分割掩膜中每条车道的宽度，但是此时编码的距离变换掩膜是从车道线中心到边界范围内连续递增的距离表示，且车道线掩膜以外的背景区域均为阈值τ，这为回归任务增加冗余的噪声区域；翻转单元，用于对截断的距离掩膜进行翻转，使编码的几何距离表示为从车道线中心到外界连续递减到0，几何距离变换掩膜d_mask用以下公式表示：

d_mask＝(τ-min(min(d_p),τ))

其中，min(d_p)表示图像中任意像素p到附近车道线中心线的最小欧式距离，τ为截断阈值，即车道线中心到边界的最大欧式距离，同样也表示距离掩膜中车道线区域的范围。

在GAANet中试图去探索不同的信息共享传播结构，因为它揭示了多任务网络的不同车道线检测性能，多分支任务之间信息传播策略是很难通过手动调整，因此，本发明在GAANet中提出了AIPM，它通过在通道上施加选择权重，以动态的方式自动选择不同分支输出特征图。AIPM它作用于解码器相邻两个阶段上采样层之间，因此一共有3个该模块在整个车道线语义分割分支和几何距离嵌入分支之间，车道线特征除了在各自的任务分支内传播，还通过AIPM共享来自其他任务的残差信息，与手动调整分支之间信息传播的方式不同，AIPM能够从该任务分支内部和其他任务中学习选择适合的特征进行融合，从而保证了解码器内部信息的流动。

作为具体实施例，请参考图2a和图2b所示，S-Up-Conv1为语义分割分支中的第一阶段，该阶段输出的特征图假设为S₁，D-Up-Conv1为几何距离嵌入分支中的第一阶段，该阶段输出的特征图假设为D₁，通过AIPM传播的注意力信息定义为以下公式：

其中，α₁和α₂是语义分割分支中第一阶段输出特征图S₁的通道注意力加权参数，β₁和β₂是几何距离嵌入分支中第一阶段输出特征图D₁的通道注意力加权参数，

和

是注意力信息，该注意力信息是先将两个分支的输入特征进行通道注意力选择，即对输入特征使用全局平均池化得到包含全局上下文信息的特征向量，然后再经过1×1卷积层和激活函数的映射，之后与输入特征相乘，再后将进行通道注意力选择之后的两个分支特征进行融合，最后用本分支的输入特征和融合后的特征进行相加而生成的，即图2a中S-Up-Conv2阶段最终输入的是注意力信息

图2a中D-Up-Conv2阶段最终输入的是注意力信息

注意力信息

和

将被送入到后续相邻的上采样层中，值得注意的是AIPM中所有参数是在训练期间学习来的，而不是根据假设或经验手动设置的。

虽然所有AIPM共享相同的内部结构，但它们的参数是不相关的，这使多任务网络各阶段之间信息的传播更加灵活。另外，S₁作为恒等映射直接输入到下一阶段上采样层，确保了分支内部信息的传播，避免了网络训练过程中传播的中断，这种类似残差的思想也有利于梯度的反向传播。

几何距离嵌入分支以回归的方式预测车道线中心到车道线边界的连续距离表示，它比分割分支中逐像素分类任务更具容忍性，所以更利于复杂道路场景下车道线边界的预测。为了使用几何距离嵌入分支带有车道线几何信息的特征图指导语义分支分割的结果，GAAM被应用于该网络两个任务分支的末端，该模块从高维几何距离嵌入特征的空间维度上捕获长距离的上下文信息，这些具有边界距离的上下文信息，更有利于车道线整体和边界像素的分割。据此作为具体实施例，所述几何注意力感知模块包括：特征解耦单元，用于将输入的几何距离嵌入特征进行解耦，生成空间注意力矩阵，该矩阵模拟了特征图中任意两个像素之间的空间关系；矩阵乘法单元，用于在空间注意力矩阵和语义分割特征之间执行矩阵乘法；和运算单元，用于对矩阵乘法的结果和语义分割分支输出特征执行元素的和运算，以获得反映长距离上下文几何信息的最终表示。

所述几何注意力感知模块的具体工作原理如图3所示，给定语义分割分支输出特征

假定几何距离嵌入分支的输出特征经过两个1×1卷积层解耦后生成的新特征为

和

然后将特征B和C的形状改变为

其中N＝H×W表示像素数量，之后再对特征C执行转置操作，并将改变后的特征B和C进行矩阵乘法运算，在矩阵乘法的结果上使用Softmax层来计算空间注意力图

其计算过程如以下公式所示：

其中，S_ji为Softmax运算的结果，它测量了空间位置i^th对位置j^th的影响，两个位置的更相似的特征表示有助于它们之间更大的相关性；同时还将特征A送入1×1卷积层生成新的特征图

并将其形状改变为

然后在特征D和S之间执行矩阵乘法，将结果的形状重新改变为

最后用该矩阵乘法的结果和特征A执行元素的和运算，得到GAAM最终输出

其具体计算公式如下：

从该式中可以推断出，GAAM最终输出的特征图上每个位置处的结果是几何距离嵌入的特征和语义分割特征图的加权和，因此它具有丰富的全局上下文几何特征，并根据空间几何距离注意力自适应地选择聚合上下文，提升了语义分割特征的一致性。

图像经过编码器和解码器后分辨率不断缩放，导致编码器最后输出的特征图是最稀疏的，它具有最少的细节特征，恢复解码器中几乎不包含有用细节信息的最终特征图不利于对车道线检测，所以在GAANet中尝试在最终的语义特征图中丰富和恢复更多车道线细节特征，因此本发明提出了跳跃金字塔融合上采样模块(SPFUM)。请参考图4所示，该模块通过跳跃连接将编码器的各级特征图，与逐步上采样过程中恢复分辨率的网络输出特征进行融合，获得车道线概率图。

作为具体实施例，以第一个跳跃金字塔融合上采样模块(一共有四个该模块)为例，其详细的工作原理如图4所示，该跳跃金字塔融合上采样模块包括：第一卷积单元，用于让两个输入特征图(GAAM的输出特征图和主干网络的最后一阶段特征图)分别通过1×1卷积层后生成新的特征图；调整连接单元，用于调整卷积后两个新特征图的形状大小使其能够在通道维度上进行连接；第二卷积单元，用于让连接后的特征图分别通过两个3×3卷积层后生成新的特征图，生成的新特征图一个送入下一阶段(即第二个)的跳跃金字塔融合上采样模块，另一个输出作为分割损失函数的输入。

作为具体实施例，基于语义分割的视觉任务中，大多数方法使用交叉熵来度量预测值与真实标签之间的差异，然而车道线有别于自然图像中的目标，车道线数据集中车道线只占图像的很小一部分，大量的冗余背景像素的预测不利于车道线目标的检测，因此需要使用加权交叉熵损失函数来监督，通过设置不同的权重有效的控制各类别像素对交叉熵损失函数大小的贡献，所述语义分割分支训练中加权交叉熵损失函数的定义公式如下：

其中，

是语义分割分支最终预测的得分特征图，

表示Softmax运算，特征图A经过Softmax后生成车道线概率图，N为特征图中像素的总数，C表示输出特征的通道数，

表示输入图像的真实标注，ω是每个预测类别的损失贡献权重，通常对应CULane数据集，背景权重设置为0.4，其余车道线权重设置为1，log(.)为对数函数运算。

作为具体实施例，对于几何距离嵌入分支任务来说，希望其预测的是每条车道线中心线到车道线边界的连续距离，它不是一个分类任务而是一个回归预测，因此所述车道线检测系统中使用均方误差损失函数来度量几何距离嵌入分支预测结果和真实标签之间的误差，计算过程如以下公式所示：

其中，

是几何距离嵌入分支最终预测的特征图，N为特征图中像素的总数，C表示输出特征图的通道数，

为几何距离变换掩膜d_mask是特征图B的真实标注。

作为具体实施例，所述车道线检测系统提供的整个几何注意力感知网络训练过程中总的损失函数如以下公式所示：

其中，

是语义分割分支的加权交叉熵损失函数，

是几何距离嵌入分支的均方误差损失函数，

是语义分割辅助损失函数，它用于监督跳跃金字塔融合上采样模块输出的特征图，

是二进制交叉熵损失函数用于监督车道线存在分支，它对图像中是否存在车道线进行预测，α和β表示辅助损失函数和二进制交叉熵损失函数对于整个网络的贡献权重，k表示辅助损失函数的使用数量，具体本GAANet网络中设置k＝4。

作为具体实施例，在本车道线检测系统之后还包括后处理操作，具体为从几何注意力感知网络输出的车道线概率图中提取出车道线，即从车道线概率图中生成车道线坐标并拟合，具体包括如下步骤：

Step1：使用9×9均值滤波器对概率图进行平滑，以消除预测的概率图中车道线边界的锯齿；

Step2：根据存在分支预测向量，仅对向量元素值大于0.5的概率进行处理，从概率图底部开始采样，每隔20个y坐标像素进行x坐标的搜索，找到该行上车道线像素预测概率最高的点的x坐标，这样便确定了一个车道线采样点，每条车道线一个要采样18个坐标点；

Step3：使用三次样条拟合采样的车道线坐标对，并设置拟合后的车道线宽度为固定像素值。

由下表1可知，几何注意力感知网络在CULane测试集上的车道线检测结果，与目前在该数据集上表现为state-of-the-art车道线检测算法进行比较，可以发现该方法在CULane数据集的7个不同复杂道路场景和总的测试集上均表现为最佳，总的测试集上其F1-Measure为75.8％，比SCNN算法高出4.2个百分点。

表1 GAANet在CULane数据集上与state-of-the-art车道线检测算法比较

由下表2可知，在TuSimple数据集上对几何注意力感知网络进行了评测，并与其他在该数据集上表现为state-of-the-art的网络进行比较，实验结果显示几何注意力感知网络的Accuracy指标上达到了96.75％，FN指标达到了0.0173，这两个指标的结果均优于其他网络。而FP指标达到了0.0576，高于EL-GAN网络的0.0412，这是因为EL-GAN网络中生成网络和判别网络之间的相互对抗，使其车道线检测结果更加贴近真实的车道线，因此其错误预测的车道线像素较少。

表2 GAANet在TuSimple数据集上的实验结果

由下表3可知，几何注意力感知网络在BDD100K数据集上的评测结果，其中Accuracy评分为37.68％，比ENet-SAD网络的Accuracy评分高出1.12％，IoU评分为16.75。

表3 GAANet在BDD100K数据集上的结果

请参考图5所示，为了定性的描述几何注意力感知网络在复杂道路场景下的车道线检测能力，从CULane测试集中挑选了3张车道线检测的结果。其中第一行的输入图像为夜间场景，几何注意力感知网络与SCNN相比，能够检测出图像最右侧几乎不可见的车道线，且由于几何注意力感知网络中GAA模块能够捕获像素间长距离依赖关系，因此其检测的车道线更加完整。另外，第2行和第3行输入图像为拥挤车辆遮挡车道线的交通场景，几何注意力感知网络的车道线检测结果同样比SCNN的结果更好，检测出的同一条车道线像素更加具有一致性，且包含更少的冗余噪声。

请参考图6所示，直观的显示了GAANet和SCNN在BDD100K数据集上的车道线检测结果，其中挑选的2张该测试集样例均为夜间车道线不可见的场景，并且由于BDD100K数据集中需要检测的车道线相对密集，所以准确的将相邻车道线区分出来具有较大挑战，从可视化的车道线检测概率图中可以看到，GANNet和SCNN相比，其漏检的车道线像素更少，并且对于当前车道线附近车道线的检测结果更优，这对于控制车辆是至关重要的。

与现有技术相比，本发明提供的基于几何注意力感知的车道线检测系统的优点在于：

1)、增加的几何距离嵌入分支，以回归的方式预测车道线中心到车道线边界的连续距离信息，相比于基于语义分割的车道线检测方法，它能够判断网络预测的车道线像素与真实标签之间细微的偏移和完全错误预测之间的区别，这有利于检测出复杂道路场中被其他物体干扰的车道线；

2)、通过注意力信息传播模块，从语义分割分支和几何距离嵌入分支两个分支输出特征图的通道上自适应地选择重要的互补信息进行传播，并采用类似残差网络的结构，进行分支间信息融合的同时保证了解码器内部信息的流动；

3)、不同于其他多任务网络将各任务分支当作独立任务进行训练，本发明通过几何注意力感知模块，将几何距离嵌入分支的输出特征转化为一个注意力矩阵，该矩阵从空间维度上捕获了像素之间的长距离相关性，这些包含了距离信息的上下文能够有效的改善语义分割的结果，有效地将多任务分支的特征进行了融合；

4)、跳跃金字塔融合上采样模块通过跳跃连接，将车道线检测系统提供的整个几何注意力感知网络的各层级编码器中不同的车道线抽象特征，与逐步上采样过程中恢复分辨率的网络输出特征进行融合，并且使用交叉熵损失函数对每个跳跃金字塔融合上采样模块输出的特征图进行监督训练，有效的提升了车道线边界的检测能力。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于几何注意力感知的车道线检测系统，其特征在于，包括主干网络、语义分割分支、几何距离嵌入分支、注意力信息传播模块、几何注意力感知模块和跳跃金字塔融合上采样模块；其中，

所述主干网络用于将输入RGB图像的彩色空间映射为高维特征空间；

所述语义分割分支用于从主干网络共享的高维特征中重建车道线语义标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大；

所述几何距离嵌入分支用于从主干网络共享的高维特征中重建几何距离嵌入标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大，该分支使用几何距离变换掩膜作为监督信号，以学习车道线的中心线到车道线边界距离的连续表示；

所述注意力信息传播模块作用于解码器相邻两个阶段上采样层之间，通过在通道上施加选择权重，以动态方式从语义分割分支和几何距离嵌入分支输出特征图的通道上自适应地选择重要的互补信息进行传播，并采用类似残差网络的结构进行分支间信息融合；

所述几何注意力感知模块设于语义分割分支和几何距离嵌入分支的末端，用于将几何距离嵌入分支的输出特征转化为一个注意力矩阵，该矩阵从空间维度上捕获了像素之间长距离的上下文信息，使用这些包含了距离的上下文信息指导车道线语义分割；

所述跳跃金字塔融合上采样模块与主干网络和几何注意力感知模块连接，用于通过跳跃连接将主干网络各层级编码器中不同的车道线抽象特征，与逐步上采样过程中恢复分辨率的网络输出特征进行融合，获得车道线概率图。

2.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，所述主干网络采用常用的残差网络ResNet，所述残差网络ResNet的前三个阶段使用步长为2的卷积层，后两个阶段使用步长为1的空洞卷积。

3.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，所述几何距离嵌入分支中几何距离变换掩膜的制作包括：拟合单元，用于对数据集中标注的采样车道线像素拟合成线宽为1的车道线；计算单元，用于计算拟合单元中图像的距离变换，距离变换输出表示了每个像素到附近车道线最小欧式距离，图像中的像素值以车道线为中心向外连续增大；设置单元，用于设置截断阈值τ来限制距离变换区域的范围，截断阈值τ的值取决于语义分割掩膜中每条车道的宽度；翻转单元，用于对截断的距离掩膜进行翻转，使编码的几何距离表示为从车道线中心到外界连续递减到0，几何距离变换掩膜d_mask用以下公式表示：

d_mask＝(τ-min(min(d_p),τ))

其中，min(d_p)表示图像中任意像素p到附近车道线中心线的最小欧式距离，τ为截断阈值，即车道线中心到边界的最大欧式距离，同样也表示距离掩膜中车道线区域的范围。

4.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，通过所述注意力信息传播模块传播的注意力信息定义为以下公式：

其中，α₁和α₂是语义分割分支中第一阶段输出特征图S₁的通道注意力加权参数，β₁和β₂是几何距离嵌入分支中第一阶段输出特征图D₁的通道注意力加权参数，

和

是注意力信息，该注意力信息是先将两个分支的输入特征进行通道注意力选择，即对输入特征使用全局平均池化得到包含全局上下文信息的特征向量，然后再经过1×1卷积层和激活函数的映射，之后与输入特征相乘，再后将进行通道注意力选择之后的两个分支特征进行融合，最后用本分支的输入特征和融合后的特征进行相加而生成的。

5.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，所述几何注意力感知模块包括：特征解耦单元，用于将输入的几何距离嵌入特征进行解耦，生成空间注意力矩阵，该矩阵模拟了特征图中任意两个像素之间的空间关系；矩阵乘法单元，用于在空间注意力矩阵和语义分割特征之间执行矩阵乘法；和运算单元，用于对矩阵乘法的结果和语义分割分支输出特征执行元素的和运算，以获得反映长距离上下文几何信息的最终表示。

6.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，所述几何注意力感知模块最终输出的特征图计算公式如下：

其中，E_j为几何注意力感知模块的输出，A_j为语义分割分支输出特征

B_i为和C_j为几何距离嵌入分支的输出特征经过两个1×1卷积层解耦后生成的新特征

和

D_i为特征A送入1×1卷积层生成新的特征图

并将其形状改变为

S_ji为Softmax运算的结果，它测量了空间位置i^th对位置j^th的影响，N为像素的数量。

7.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，所述跳跃金字塔融合上采样模块包括：第一卷积单元，用于让两个输入特征图分别通过1×1卷积层后生成新的特征图；调整连接单元，用于调整卷积后两个新特征图的形状大小使其能够在通道维度上进行连接；第二卷积单元，用于让连接后的特征图分别通过两个3×3卷积层后生成新的特征图，生成的新特征图一个送入下一阶段的跳跃金字塔融合上采样模块，另一个输出作为分割损失函数的输入。

8.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，所述语义分割分支训练中使用加权交叉熵损失函数来监督，通过设置不同的权重有效的控制各类别像素对交叉熵损失函数大小的贡献，加权交叉熵损失函数的定义公式如下：

其中，

是语义分割分支最终预测的得分特征图，

表示Softmax运算，特征图A经过Softmax后生成车道线概率图，N为特征图中像素的总数，C表示输出特征图的通道数，

表示输入图像的真实标注，ω是每个预测类别的损失贡献权重，通常对应CULane数据集，背景权重设置为0.4，其余车道线权重设置为1，log(.)为对数函数运算。

9.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，所述车道线检测系统中使用均方误差损失函数来度量几何距离嵌入分支预测结果和真实标签之间的误差，计算过程如以下公式所示：

其中，

是几何距离嵌入分支最终预测的特征图，N为特征图中像素的总数，C表示输出特征图的通道数，

为几何距离变换掩膜d_mask是特征图B的真实标注。

10.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，所述车道线检测系统提供的整个几何注意力感知网络训练过程中总的损失函数如以下公式所示：

其中，

是语义分割分支的加权交叉熵损失函数，

是几何距离嵌入分支的均方误差损失函数，

是语义分割辅助损失函数，它用于监督跳跃金字塔融合上采样模块输出的特征图，

是二进制交叉熵损失函数用于监督车道线存在分支，它对图像中是否存在车道线进行预测，α和β表示辅助损失函数和二进制交叉熵损失函数对于整个网络的贡献权重，k表示辅助损失函数的使用数量，该网络中设置k＝4。

Images