CN116129379B - 一种雾天环境下的车道线检测方法 - Google Patents

Abstract

本发明针对雾天场景下车道线图像被雾气所遮掩、图像整体呈灰白色导致车道线检测漏检率和误检率较高的问题提供一种雾天环境下的车道线检测方法。解决了雾天车道线图像受雾气遮掩、对比度不高、车道线检测精度差的问题，为雾天无人驾驶技术提供了保障。

Description

一种雾天环境下的车道线检测方法

技术领域

本发明属于无人驾驶的车道线检测技术领域，更具体地，本发明涉及一种雾天环境下的车道线检测方法。

背景技术

车道线检测是无人驾驶技术重要组成部分，其核心问题在于如何快速准确地检测出车道线。在雾天的驾驶环境下，车道线图像受到大气中雾气的影响会出现散射，导致图像中车道线部分不清晰，车道线的一些边缘特征会被雾气所掩盖，这会使后续的车道线检测精度下降。传统去雾方法大都基于物理模型进行去雾，利用各种先验或方法去获取大气散射模型中的透射率和大气光值。大气散射模型的公式如下：I(x)＝J(x)t(x)+A_∞(1-t(x))

其中I(x)代表获得的有雾图像，A_∞代表大气光系数，x为像素的坐标，t(x)代表大气透射率，J(x)t(x)代表观测器接收到的无散射的部分，A_∞(1-t(x))为散射的部分。

要实现去雾，即需要通过有雾的I(x)恢复出无雾图像J(x)，而当大气均匀时t(x)为：

t(x)＝e^-βd(x)

其中β为大气散射系数，d(x)为物体与观测器的距离。通过将t(x)代入大气散射模型中即可得到无雾图像J(x)。

由于是对无人驾驶的图像进行去雾，需要考虑其实时性，所以选择AOD-Net进行改进。AOD-Net是一个基于深度学习的轻量级去雾网络，该算法同样依靠大气去雾模型，但不同的是AOD-Net通过将大气透射率t(x)与大气光值A融合为一个K(x)，经过整合后，无雾输出和K(x)如下：

J(x)＝K(x)I(x)-K(X)+b

AOD-Net通过整合大气光照值和大气透射率，使得有雾图像与无雾图像的转换关系变得更加简单，也使得误差减小，现在只需得知K(x)的值便可以生成清晰图像。AOD-Net的中心思想即通过建立一个自适应深度模型，对输入的有雾图片，采用卷积神经网络进行K值估计，在获得K值后，即可通过清晰图像生成模块按照转换后的公式生成新的无雾图片。AOD-Net的模型结构如图一所示。

发明内容

本发明针对雾天场景下车道线图像被雾气所遮掩、图像整体呈灰白色导致车道线检测漏检率和误检率较高的问题提供一种雾天环境下的车道线检测方法。

本发明提供一种雾天环境下的车道线检测方法，所述雾天环境下的车道线检测方法包括以下步骤：

步骤一：将AOD-Net的L2损失函数替换为SSIM损失函数；

步骤二：在AOD-Net的K(x)估计模块中引入混合空洞卷积，以此提升神经网络的感受野，获得大尺度特征；

步骤三：在AOD-Net的K(x)估计模块中引入特征融合模块，以此得到不同层次特征的权重；

步骤四：在AOD-Net的清晰图像生成模块后嵌入Zero-DCE网络，以此改进AOD-Net在低照度情况时算法表现不佳，甚至导致图像清晰度与明亮度进一步降低的问题；

步骤五：使用CULane数据集训练改进的ERFNet检测网络，再用通过上述改进的AOD-Net网络增强后的车道线图像继续训练改进的ERFNet网络。通过测试得到车道线检测结果。

对于步骤一：由于L2损失函数评判的图像质量没有很好的考虑到人类视觉感知，该损失函数无纹理区域的颜色变化和亮度很敏感，可能会在去雾图像上生成一些斑点或瑕疵。因此使用SSIM作为损失函数。SSIM损失函数的定义如下：

x代表预测值，y代表实际值，N代表区域内的像素数量，p代表像素的索引。μ_x表示x的平均值、是x的方差、σ_xy代表x和y协方差。μ_x和σ_x可以视为x的亮度和对比度的估值，通过x和y的变化趋势，得以对其结构相似性进行分析。

对于步骤二：为获得较大的感受野，常用的方法有池化操作和增大卷积核的尺寸。但是，这两种方法在扩大感受野的同时也带来新的问题。其中，池化操作降低特征图的分辨率；增大卷积核的尺寸带来更多的参数，导致计算量增加。而空洞卷积可以在不损失分辨率和不增加计算量的前提下，扩大感受野。混合空洞卷积使用一组不同空洞率的空洞卷积构成一个卷积组合。它的优点在于可以扩大感受野，以获得全局信息，同时，减轻棋盘效应。

对于步骤三：随着卷积层数的增加，提取到的特征越来越高级，融合不同层次的特征对于计算机视觉任务是有利的。而且对各种层次特征进行融合，可以将低层次的特征送到网络深层。为利用好不同层次的特征，本发明设计一个特征融合模块。

对于步骤四：Zero-DCE是用于低照度增强的零参考深度估计曲线，算法采用轻量级DCE-Net对像素和高阶曲线进行估计，并通过估计值来确定图像的动态范围调整。同时对曲线估计做出了一定改进，能够更好的保留相邻像素的对比度，相比于其他算法，Zero-DCE更多地关注了像素范围、单调性、可微性，并以此实现了更好的像素级动态调整，该算法在较好地保持图片原本色彩的同时也减少了过度曝光的情况。

对于步骤五：对于改进的ERFNet车道线检测网络，引入自注意蒸馏，使用编码层后层的注意力图蒸馏前层注意力图，使前层注意力图可以学习到后层注意力图的上下文信息，以此提升网络对车道线的检测精度。将ERFNet网络的编码层扩展为4层，可以提取更深层次的特征。综上所述，本发明的优点及积极效果为：本发明针对车道线检测算法在雾天环境下检测准确率下降、误检率升高的现象，提出基于改进AOD-Net的雾天车道线检测方法，解决了雾天车道线图像受雾气遮掩、对比度不高、车道线检测精度差的问题，为雾天无人驾驶技术提供了保障。

附图说明

图1是背景技术中AOD-Net模型结构图。

图2是本发明改进的AOD-Net网络结构图。

图3是本发明的特征融合模块图。

图4是本发明的Zero-DCE框架图。

图5是本发明改进的车道线检测网络图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。针对目前雾天车道线难以检测，边缘特征不明显的问题，本实施例提供一种基于改进AOD-Net的雾天车道线检测方法，下面结合附图对本实施例的作进一步的详细描述。

雾天车道线检测网络分为两部分，其中第一部分为雾天图像增强网络，雾天增强网络的基础部分使用AOD-Net网络，因为该网络为轻量化网络，其满足无人驾驶领域的实时性要求。

从图二可以看出，改进AOD-Net的卷积层结构中，K(x)值估计模块由1个1×1的卷积层、3个混合空洞卷积组、1个特征融合模块和1个3×3的卷积层组成。每个卷积层有3个滤波器，卷积操作后使用ReLU函数激活。

引入混合空洞卷积的目的是扩大感受野，获取大尺度图像特征。混合空洞卷积组由4个空洞率为[1,2,5]的空洞卷积组成。改进后的AOD-Net的最大感受野为195，与AOD-Net相比，感受野扩大13倍。空洞卷积是在卷积核之间插入0值，以扩大感受野。空洞卷积与标准卷积相比，引入了一个参数：空洞率。标准卷积的空洞率为1，空洞率的大小等于在卷积核之间插入零值的个数加1，计算公式为：r＝z+1；

其中r是空洞率；z是在卷积核间插入0值的个数。

空洞卷积相比传统卷积只引入空洞率一个参数，在不降低特征图分辨率和不增加计算量的前提下，扩大感受野。单纯使用空洞卷积会产生棋盘效应，图像会出现类似棋盘的网格，因此使用混合空洞卷积。混合空洞卷积使用一组不同空洞率的空洞卷积构成一个卷积组合。它的优点在于可以扩大感受野，以获得全局信息，同时，减轻棋盘效应。在设计去雾神经网络时，引入混合空洞卷积，混合空洞卷积是在标准卷积的基础上插入零值，结构简单，能够在不损失分辨率和不增加计算量的前提下，扩大感受野，从而获得大尺度的特征，AOD-Net的最大感受野为15，改进AOD-Net的感受野为195。相较于AOD-Net，改进AOD-Net捕捉信息的能力大大提升，能够得到大尺度的特征。

特征融合模块是为了计算不同层次的权重。与AOD-Net将不同层次的特征在深度方向上进行连接相比，改进的算法利用特征融合模块计算不同层次特征的权重，1×1的卷积层和3个混合空洞卷积组的输出是特征融合模块的输入，它将计算出4种不同层次特征的权重图，将不同层次的特征图与权重图线性组合作为输出。

特征融合模块图如图三所示。该模块由两部分组成，第一部分的作用是求取各级特征图对应的权重图，该部分由卷积核大小为3×3的卷积层和ReLU激活函数组成，将前4个卷积层得到特征图送入特征融合模块，得到四种不同特征图的权重图。求取过程可表示为：

(M₁,M₂,M₃,M₄)＝F(F₁,F₂,F₃,F₄)

其中F₁,F₂,F₃,F₄分别为改进AOD-Net前4个卷积层(组)输出的特征图；M₁,M₂,M₃,M₄分别为F₁,F₂,F₃,F₄对应的权重图；F是权重求取函数，由卷积层和激活层构成。

特征融合模块的第二部分的作用是将不同层次的特征和对应的权重值进行线性组合得到输出F_out，计算公式为：

针对AOD-Net在低照度的情况下其算法效果较差，在去雾的同时会导致图像清晰度与明亮度进一步降低，因此在AOD-Net的清晰图像生成模块后嵌入Zero-DCE网络。

Zero-DCE是用于低照度增强的零参考深度估计曲线，算法采用轻量级DCE-Net对像素和高阶曲线进行估计，并通过估计值来确定图像的动态范围调整。同时对曲线估计做出了一定改进，能够更好的保留相邻像素的对比度，相比于其他算法，Zero-DCE更多地关注了像素范围、单调性、可微性，并以此实现了更好的像素级动态调整，该算法在较好地保持图片原本色彩的同时也减少。

了过度曝光的情况。Zero-DCE框架如图四所示。

Zero-DCE可分为以下两个部分，一是深度曲线估计网络(DCE-Net)，为了学习最佳拟合的曲线参数的映射关系，算法选取了DCE-Net，并对其结构进行了更改，前六层的卷积核为3×3×32，步长为1，各层之间激活函数为Relu，第七层的卷积通道为24，算法抛弃了原DCE-Net中的下采样与批量归一化处理，以保证各区域之间的像素关系不会被破坏。改进后的网络参数量仅有79416个，十分轻量。第二部分为光照增强曲线(LE-Curve)，Zero-DCE设计了一种能将低照度图像自动映射到增图像的曲线，并且确保了参数的自适应性。该曲线保证了单调性，因此做到了对相邻像素之间差异的保留。

将AOD-Net的L2损失函数替换为SSIM损失函数，由于L2损失函数评判的图像质量没有很好的考虑到人类视觉感知，该损失函数对无纹理区域的颜色变化和亮度很敏感，可能会在去雾图像上生成一些斑点或瑕疵。因此使用SSIM作为损失函数。SSIM损失函数的定义如下：

x代表预测值，y代表实际值，N代表区域内的像素数量，p代表像素的索引。μ_x表示x的平均值、σ_x ²是x的方差、σ_xy代表x和y协方差。μ_x和σ_x可以视为x的亮度和对比度的估值，通过x和y的变化趋势，得以对其结构相似性进行分析。

通过以上操作获得去雾结果图像。

将去雾后的图像输入到改进的车道线检测网络ERFNet中。改进的ERFNet网络如图五所示。

改进的ERNet网络在于加入了自注意蒸馏，同时将其编码层扩展为了4层，在编码模块E1，E2，E3，E4后添加注意力图生成器，提取相应编码模块的注意力图。注意力图生成器的公式如下：

其中B为双线性上采样操作，Φ为spatial softmax操作。是从整幅图到需要关注区域的映射关系，其公式如下：

其中A_i为第i个通道的所有元素集合。用后层注意力图如E2去蒸馏E1的特征注意力图。使E1的注意力图学习E2注意力图的上下文关系，从而提升车道线检测的精度。

使用改进AOD-Net网络增强后的图像训练改进的车道线检测网络，最后通过测试程序得到雾天车道线的检测结果。

Claims (4)

1.一种雾天环境下的车道线检测方法，其特征在于：所述检测方法包括以下步骤：

步骤一：将AOD-Net的L2损失函数替换为SSIM损失函数，SSIM损失函数的定义如下：

x代表预测值，y代表实际值，N代表区域内的像素数量，p代表像素的索引；μ_x表示x的平均值、是x的方差、σ_xy代表x和y协方差，μ_x和σ_x可以视为x的亮度和对比度的估值，通过x和y的变化趋势，得以对其结构相似性进行分析；

步骤二：在AOD-Net的K(x)估计模块中引入混合空洞卷积；

所述的混合空洞卷积由4个空洞率为[1,2,5]的空洞卷积组成，改进后的AOD-Net的最大感受野为195；

空洞率，标准卷积的空洞率为1，空洞率的大小等于在卷积核之间插入零值的个数加1，计算公式为：

r＝z+1；

其中r是空洞率；z是在卷积核间插入0值的个数；

步骤三：在AOD-Net的K(x)估计模块中引入特征融合模块，以此得到不同层次特征的权重；

特征融合模块由两部分组成，第一部分的作用是求取各级特征图对应的权重图，该部分由卷积核大小为3×3的卷积层和ReLU激活函数组成，将前4个卷积层得到特征图送入特征融合模块，得到四种不同特征图的权重图，求取过程可表示为：

(M₁,M₂,M₃,M₄)＝F(F₁,F₂,F₃,F₄)

其中F₁,F₂,F₃,F₄分别为改进AOD-Net前4个卷积层输出的特征图；M₁,M₂,M₃,M₄分别为F₁,F₂,F₃,F₄对应的权重图；F是权重求取函数，由卷积层和激活层构成；

特征融合模块的第二部分的作用是将不同层次的特征和对应的权重值进行线性组合得到输出F_out，计算公式为：

步骤四：在AOD-Net的清晰图像生成模块后嵌入Zero-DCE网络；

Zero-DCE网络分为以下两个部分，一是深度曲线估计网络DCE-Net，前六层的卷积核为3×3×32，步长为1，各层之间激活函数为Relu，第七层的卷积通道为24，第二部分为光照增强曲线LE-Curve；

步骤五：使用CULane数据集训练改进的ERFNet检测网络，再用通过上述改进的AOD-Net网络增强后的车道线图像继续训练改进的ERFNet网络；通过测试得到车道线检测结果；

改进的ERNet网络在于加入了自注意蒸馏，同时将其编码层扩展为了4层，在编码模块E1，E2，E3，E4后添加注意力图生成器，提取相应编码模块的注意力图，注意力图生成器的公式如下：

其中B为双线性上采样操作，Φ为spatial softmax操作，是从整幅图到需要关注区域的映射关系，其公式如下：

其中A_i为第i个通道的所有元素集合，用后层注意力图如E2去蒸馏E1的特征注意力图，使E1的注意力图学习E2注意力图的上下文关系，从而提升车道线检测的精度。

2.如权利要求1所述的一种雾天环境下的车道线检测方法，其特征在于：所述步骤二中混合空洞卷积使用一组不同空洞率的空洞卷积构成一个卷积组合。

3.如权利要求1所述的一种雾天环境下的车道线检测方法，其特征在于：所述步骤三中对各种层次特征进行融合，将低层次的特征送到网络深层，为利用好不同层次的特征，使用特征融合模块。

4.如权利要求1所述的一种雾天环境下的车道线检测方法，其特征在于：所述步骤四中Zero-DCE是用于低照度增强的零参考深度估计曲线，算法采用轻量级DCE-Net对像素和高阶曲线进行估计，并通过估计值来确定图像的动态范围调整。