CN117689860A - 一种基于深度学习的车道线图像增强方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车道线图像增强方法，具体步骤如下：首先使用现有公开数据集图像,根据图像的亮度变化，实现对低亮度图像的增强，以改善弱光环境下的检测效果；然后将多头自注意机制MHSA、双门控前向网络DGFN和Transformer单元结合起来，构造一个基于轴的Transformer模块，对更多关键特征信息的捕捉；然后利用跨层次注意力融合模块CAFB，在多个层次上自适应地融合各层次间的关联性；最后，利用一种结构损失函数，通过引入道路的固有几何约束，对检测效果进行优化，本发明的方法在昼夜两种场景下均表现出较好的性能,特别是在低光照条件下。

Description

一种基于深度学习的车道线图像增强方法

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种基于深度学习的车道线图像增强方法。

背景技术

现有深度学习(DL)是计算机视觉研究的重要发展方向。一种基于卷积神经网络的深度学习框架，并将其应用于图像分类，图像分割，物体检测等多个方面。该网络中各层的作用是保留图像的空域特性。迄今为止，基于多层次的深度学习模型已被提出并不断完善。为了使这种体系结构达到最高性能，必须对所用的训练数据进行专门的处理。通过提高训练样本的质量、多样性和数量，可以有效地提升深度学习的性能。但是，由于训练数据的缺乏可用性，限制了所期望的性能。这个无用性可以是因为很难找到大量的数据，或者是缺少对DL体系结构进行监督的标注数据。所以，要想获得更多的注释数据，最有效的办法就是扩充现有的数据集。这就是所谓的数据增强，通过各种方式进行改进。该算法可以通过对数据和它们的标记，自动地或者人工地增大可利用的训练数据的规模。数据失真和过取样经常被用来提高性能。数据变形技术是对已有的图像进行几何、色彩的变换。图像的旋转与翻转是一种普遍的几何转换，其中色彩转换是最为普遍的一种。另外，在过采样的基础上，利用特征空间增强技术、生成式对抗网络(GAN)等技术，产生新的复合样本。

随着道路自动识别技术的发展，人们逐渐把这一问题看作是一个语义分割问题。为此，人们提出了一系列针对不同体系结构的深度学习模型，使其具有鲁棒性。DL算法应用于道路识别，其优点在于：该算法可以精确地识别出常规机器视觉所不能适应的路面状况；大数据以及不同的路面状况对该算法进行有效的训练，是提高其性能的关键。传统的道路识别方法主要是通过翻转、剪切、旋转等方法来增大数据量，或者消除不均衡现象。但是，在进行数据增强时，关键是要避免采用可能会忽略车道线某些重要特性的手段，比如，车道线的亮色或者前向属性。另外，由于生成的新图像没有对应的掩码，因此，GAN等算法不能直接用于目标的检测。

发明内容

发明目的：本发明的目的是提供一种基于深度学习的车道线图像增强方法，以解决道路照明条件较差、车辆之间存在着相互遮挡以及道路轮廓模糊这些问题，并且在昼夜两种场景下均能表现出较好的性能，特别是在低光照条件下。

技术方案：本发明所述的一种基于深度学习的车道线图像增强方法，具体包括以下步骤：

S1：对现有的公开数据集图像进行预处理，改善弱光环境下的检测效果，具体包括以下步骤：

S1.1：计算输入图像I的RGB值得均方根RMS；

S1.2：训练映射函数将弱光图像转换为正常曝光图像；

S1.3：使用基于小波变换的方法，使邻近区域和相应的增强区域之差减至最小L；

S1.4：增加曝光限制损耗功能S来调整曝光等级；

S1.5：计算彩色通道损耗功能C后，计算总损失T；

S2：将多头自注意机制MHSA、双门控前向网络DGFN和Transformer单元结合起来，构造基于轴的Transformer模块，对更多关键特征信息的捕捉；

S3：利用跨层次注意力融合模块CAFB，在多个层次上自适应地融合各层次间的关联性；

S4：利用结构损失函数，通过引入道路的固有几何约束，对检测效果进行优化。

作为优选，所述S1.1具体为：计算输入图像I∈R^W×H×3的RGB值的均方根RMS，确定图像I在RGB空间中的感知亮度P，P如下式所示：

P＝f(B,G,R)＝0.07B²+0.69G²+0.24R²

其中R、G和B为输入图像I的均方根标准化RGB信道值。

作为优选，所述S1.2中映射函数的数学表达式为：

其中为可训练的映射参数，与输入图像I共享相同尺寸，x为输入图像I的RMS归一化通道值，n为调节曲线曲率的迭代次数；

IA_n(x)的表达式表示为：

其中IA_n(x)为最终输入的增强版本，由上一个版本IA_n-1(x)得到。

作为优选，所述S1.3中L的表达式为：

其中，N为分割区域的数目，β(i)为中央区域i以及上、下、左和右五个区域的集合邻域，Y和Z分别表示增强图像和暗图像中的五个域的平均强度值。

作为优选，所述S1.4中S的表达式为：

其中M为8×8尺寸并且彼此不重合的分区域的数量，T_G为增强版本中的第G区域的平均亮度，B为一个0.55的图像的标准曝光度。

作为优选，所述S1.5中C的表达式为：

其中i^m和iⁿ分别表示增强图像中第m和第n通道的平均强度，(m,n)代表一对通道，该通道包含(R,G),(R,B),(G,B)；

由此总损失T的计算公式如下：

T＝L+S+ωC

其中ω为损失的权重。

作为优选，所述S2中多头自注意机制MHSA在通道的高和两个方向依次进行自注意运算，取代传统的自注意算法，具体的：

给定归一化层输出的特征X∈R^H×W×C，使用1×1卷积来增强输入特征，并使用3×3深度卷积来获得具有丰富局部信息的特征；

3×3深度卷积的输出特征是查询M、N和P值，其中X_1×1,X_3×3分别表示1×1卷积和3×3深度卷积；

对查询和关键字进行重构，进行点积，生成高度轴注意力图A∈R^H×H×W；

为了实现多头自注意，沿着特征通道维度分别将重构后的拆分为n个头部，/>每个头的维数d_n＝C/n，第i个位置的高度轴多头自注意表示为：

其中和/>分别表示为M、N和P的第i个头，θ是一个比例因子；

多头自注意机制MHSA中的输出特征Y′由下式可得：

其中Concat表示连续操作；

对Y′进行重构，得到高度轴多头注意力的输出特征Y₁∈R^H×H×W，将Y₁转发到宽度轴多头注意力。

作为优选，所述S2中双门控前向网络DGFN包括采用双重GELU与单元乘积技术，对两条通道进行双通道内的低信息量特征筛选，并利用元素与方法将两条通道中的有用信息进行融合，每条路径上应用1×1卷积(X_1×1)和3×3深度卷积(X_3×3)来丰富局部信息；

以Z∈R^H×H×W为输入，完整DGFN为：

其中为输出特征，DG为双门控机制，×为单位乘法运算，γ为GELU激活函数。

作为优选，所述S3中跨层次注意力融合模块CAFB具体为：

给定m个连续层的连接特征L_i∈R^N×H×W×C，将L_i重塑为尺寸为N×H×W×C的将self-attention作为ATB,采用1×1旋转聚合逐像素的跨通道上下文，使用3×3深度方面旋转产生M、N和P重塑维度的查询和关键到2D矩阵/>和/>计算层相关注意矩阵A的大小为m×m，把重塑维度/>注意力举证A的缩放系数β，添加输入特征L_i，CAFB流程公式为：

其中为输出特性。

作为优选，所述S4具体包括以下步骤：

S4.1：引入概率P_a,b,c来表示位于第a个车道线(b,c)处的网格属于该车道的概率，为了确保函数具有可微性，采用softmax函数来确定在不同的点上的概率：

Pr_a,b,c＝softmax(P_a,b,c:n)

其中Pr_a,b,c为每个位置的概率，P_a,b,c:n为n维向量，1:n为从1列到n列；

S4.2：将第b行第a列的定位列Po_a,b转化为数学期望，表示为：

其中n为分割的列的数目；

S4.3：建立一个新的结构损耗函数，记为L_str，数学形式表示为：

其中q为车道数，u为预设行话分数，B为一个二进制码；

S4.4：当a＝M₁或者a＝M₂时，其值为1，否则为2，计算公式如下：

其中M₁和M₂分别为斜率绝对值最大和第二大的车道；

S4.5：使用分类损失函数L_cls调节初级分支的输出结果，表达式为：

其中PT_a,b,:为正确位置的单热标签，L_ce为交叉熵损失函数；

S4.6：在辅助分割分支中使用交叉熵作为辅助分割损失函数，记为L_seg；

S4.7：结合所有损失函数，计算总体损失：

L_total＝L_cls+υ_segL_seg+υ_strL_str

其中υ_seg和υ_str分别为分割损失函数L_seg和结构损失函数L_str的权值。

有益效果：与现有技术相比，本发明具有如下显著优点：

(1)、本申请使用一种针对微光环境下道路探测能力不足的微光图像增强网络的道路探测方法，该算法能够在保证极快速的检测速度的前提下，有效地改善网络在光照不足的情况下的性能；

(2)、本申请通过结合多头自注意机制MHSA、双门控前向网络DGFN和Transformer单元，构造了一个基于轴的Transformer模块，该算法具有空间规模线性化的特点，极大地减少了计算量，实现对更多关键特征信息的捕捉；

(3)、本申请使用跨层次注意力融合模块CAFB，能够在多个层次上自适应地融合各层次间的关联性；

(4)、本申请使用结构损失函数，在充分考虑道路的固有集合限制的情况下，对检测效果进行了优化。

附图说明

图1为本发明中LIAT体系结构图。

图2为本发明中低照度环境自动增强ALIA的研究图。

图3为本发明中高度轴多头自注意图。

图4为本发明的宽度轴多头自注意图。

图5为本发明的双门控前馈网络图。

图6为本发明的跨层注意力融合模块图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参见附图1，本发明中基于深度学习的车道线图像增强方法，具体的操作步骤如下：

S1：如图2所示，对现有的公开数据集图像进行预处理，改善弱光环境下的检测效果，具体包括以下步骤：

S1.1：计算输入图像I∈R^W×H×3的RGB值的均方根RMS，确定图像I在RGB空间中的感知亮度P，P如下式所示：

P＝f(B,G,R)＝0.07B²+0.69G²+0.24R²

其中R、G和B为输入图像I的均方根标准化RGB信道值；

S1.2：训练映射函数将弱光图像转换为正常曝光图像，具体的：

映射函数的数学表达式为：

其中为可训练的映射参数，与输入图像I共享相同尺寸，x为输入图像I的RMS归一化通道值，n为调节曲线曲率的迭代次数；

IA_n(x)的表达式表示为：

其中IA_n(x)为最终输入的增强版本，由上一个版本IA_n-1(x)得到；

S1.3：使用基于小波变换的方法，使邻近区域和相应的增强区域之差减至最小L，L的表达式为：

其中，N为分割区域的数目，β(i)为中央区域i以及上、下、左和右五个区域的集合邻域，Y和Z分别表示增强图像和暗图像中的五个域的平均强度值；

S1.4：增加曝光限制损耗功能S来调整曝光等级，S的表达式为：

其中M为8×8尺寸并且彼此不重合的分区域的数量，T_G为增强版本中的第G区域的平均亮度，B为一个0.55的图像的标准曝光度；

S1.5：计算彩色通道损耗功能C后，计算总损失T，C的表达式为：

其中i^m和iⁿ分别表示增强图像中第m和第n通道的平均强度，(m,n)代表一对通道，该通道包含(R,G),(R,B),(G,B)；

由此总损失T的计算公式如下：

T＝L+S+ωC

其中ω为损失的权重；

S2：将多头自注意机制MHSA、双门控前向网络DGFN和Transformer单元结合起来，构造基于轴的Transformer模块，对更多关键特征信息的捕捉；

如图3所示，多头自注意机制MHSA在通道的高和两个方向依次进行自注意运算，取代传统的自注意算法，具体的：

给定归一化层输出的特征X∈R^H×W×C，使用1×1卷积来增强输入特征，并使用3×3深度卷积来获得具有丰富局部信息的特征；

3×3深度卷积的输出特征是查询M、N和P值，其中X_1×1,X_3×3分别表示1×1卷积和3×3深度卷积；

对查询和关键字进行重构，进行点积，生成高度轴注意力图A∈R^H×H×W；

为了实现多头自注意，沿着特征通道维度分别将重构后的拆分为n个头部，/>每个头的维数d_n＝C/n，第i个位置的高度轴多头自注意表示为：

其中和/>分别表示为M、N和P的第i个头，θ是一个比例因子；

多头自注意机制MHSA中的输出特征Y′由下式可得：

其中Concat表示连续操作；

如图4所示，对Y′进行重构，得到高度轴多头注意力的输出特征Y₁∈R^H×H×W，将Y₁转发到宽度轴多头注意力；

如图5所示，双门控前向网络DGFN包括采用双重GELU与单元乘积技术，对两条通道进行双通道内的低信息量特征筛选，并利用元素与方法将两条通道中的有用信息进行融合，每条路径上应用1×1卷积(X_1×1)和3×3深度卷积(X_3×3)来丰富局部信息；

以Z∈R^H×H×W为输入，完整DGFN为：

其中为输出特征，DG为双门控机制，×为单位乘法运算，γ为GELU激活函数；

S3：如图6所示，利用跨层次注意力融合模块CAFB，在多个层次上自适应地融合各层次间的关联性，跨层次注意力融合模块CAFB具体为：

给定m个连续层的连接特征L_i∈R^N×H×W×C，将L_i重塑为尺寸为N×H×W×C的将self-attention作为ATB,采用1×1旋转聚合逐像素的跨通道上下文，使用3×3深度方面旋转产生M、N和P重塑维度的查询和关键到2D矩阵/>和/>计算层相关注意矩阵A的大小为m×m，把重塑维度/>注意力举证A的缩放系数β，添加输入特征L_i，CAFB流程公式为：

其中为输出特性；

S4：利用结构损失函数，通过引入道路的固有几何约束，对检测效果进行优化，具体包括以下步骤：

S4.1：引入概率P_a,b,c来表示位于第a个车道线(b,c)处的网格属于该车道的概率，为了确保函数具有可微性，采用softmax函数来确定在不同的点上的概率：

Pr_a,b,c＝softmax(P_a,b,c:n)

其中Pr_a,b,c为每个位置的概率，P_a,b,c:n为n维向量，1:n为从1列到n列；

S4.2：将第b行第a列的定位列Po_a,b转化为数学期望，表示为：

其中n为分割的列的数目；

S4.3：在工程实践中，车辆行间的车道线位置应尽量相近，但是由于立体视觉的原因，在邻近的道路上，道路定点的位置会有一个几何上的差异，为此建立了一个新的结构损耗函数，记为L_str，数学形式表示为：

其中q为车道数，u为预设行话分数，B为一个二进制码；

S4.4：当a＝M₁或者a＝M₂时，其值为1，否则为2，计算公式如下：

其中M₁和M₂分别为斜率绝对值最大和第二大的车道；

S4.5：使用分类损失函数L_cls调节初级分支的输出结果，表达式为：

其中PT_a,b,:为正确位置的单热标签，L_ce为交叉熵损失函数；

S4.6：在辅助分割分支中使用交叉熵作为辅助分割损失函数，记为L_seg；

S4.7：结合所有损失函数，计算总体损失：

L_total＝L_cls+υ_segL_seg+υ_strL_str

其中υ_seg和υ_str分别为分割损失函数L_seg和结构损失函数L_str的权值。

综上所述，本发明提供了一种基于深度学习的车道图像增强方法，该方法能够在低光条件下实现对车辆道路的自动识别，该方法能够在不影响行人识别精度的前提下，对微光环境下的道路进行有效的增强，从而提高道路检测的准确率。

以上所述的实施例对本发明的技术方案和有益效果进行了详细的说明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以任何修改、补充和等同替换，均应视为本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的车道线图像增强方法，其特征在于：具体包括以下步骤：

S1：对现有的公开数据集图像进行预处理，改善弱光环境下的检测效果，具体包括以下步骤：

S1.1：计算输入图像I的RGB值得均方根RMS；

S1.2：训练映射函数将弱光图像转换为正常曝光图像；

S1.3：使用基于小波变换的方法，使邻近区域和相应的增强区域之差减至最小L；

S1.4：增加曝光限制损耗功能S来调整曝光等级；

S1.5：计算彩色通道损耗功能C后，计算总损失T；

S2：将多头自注意机制MHSA、双门控前向网络DGFN和Transformer单元结合起来，构造基于轴的Transformer模块，对更多关键特征信息的捕捉；

S3：利用跨层次注意力融合模块CAFB，在多个层次上自适应地融合各层次间的关联性；

S4：利用结构损失函数，通过引入道路的固有几何约束，对检测效果进行优化。

2.根据权利要求1所述的一种基于深度学习的车道线图像增强方法，其特征在于：所述S1.1具体为：计算输入图像I∈R^W×H×3的RGB值的均方根RMS，确定图像I在RGB空间中的感知亮度P，P如下式所示：

P＝f(B,G,R)＝0.07B²+0.69G²+0.24R²

其中R、G和B为输入图像I的均方根标准化RGB信道值。

3.根据权利要求1所述的一种基于深度学习的车道线图像增强方法，其特征在于：所述S1.2中映射函数的数学表达式为：

其中为可训练的映射参数，与输入图像I共享相同尺寸，x为输入图像I的RMS归一化通道值，n为调节曲线曲率的迭代次数；

IA_n(x)的表达式表示为：

其中IA_n(x)为最终输入的增强版本，由上一个版本IA_n-1(x)得到。

4.根据权利要求3所述的一种基于深度学习的车道线图像增强方法，其特征在于：所述S1.3中L的表达式为：

其中，N为分割区域的数目，β(i)为中央区域i以及上、下、左和右五个区域的集合邻域，Y和Z分别表示增强图像和暗图像中的五个域的平均强度值。

5.根据权利要求1所述的一种基于深度学习的车道线图像增强方法，其特征在于：所述S1.4中S的表达式为：

其中M为8×8尺寸并且彼此不重合的分区域的数量，T_G为增强版本中的第G区域的平均亮度，B为一个0.55的图像的标准曝光度。

6.根据权利要求1所述的一种基于深度学习的车道线图像增强方法，其特征在于：所述S1.5中C的表达式为：

其中i^m和iⁿ分别表示增强图像中第m和第n通道的平均强度，(m,n)代表一对通道，该通道包含(R,G),(R,B),(G,B)；

由此总损失T的计算公式如下：

T＝L+S+ωC

其中ω为损失的权重。

7.根据权利要求1所述的一种基于深度学习的车道线图像增强方法，其特征在于：所述S2中多头自注意机制MHSA在通道的高和两个方向依次进行自注意运算，取代传统的自注意算法，具体的：

给定归一化层输出的特征X∈R^H×W×C，使用1×1卷积来增强输入特征，并使用3×3深度卷积来获得具有丰富局部信息的特征；

3×3深度卷积的输出特征是查询M、N和P值，其中X_1×1,X_3×3分别表示1×1卷积和3×3深度卷积；

对查询和关键字进行重构，进行点积，生成高度轴注意力图A∈R^H×H×W；

为了实现多头自注意，沿着特征通道维度分别将重构后的拆分为n个头部，每个头的维数d_n＝C/n，第i个位置的高度轴多头自注意表示为：

其中和/>分别表示为M、N和P的第i个头，θ是一个比例因子；

多头自注意机制MHSA中的输出特征Y′由下式可得：

其中Concat表示连续操作；

对Y′进行重构，得到高度轴多头注意力的输出特征Y₁∈R^H×H×W，将Y₁转发到宽度轴多头注意力。

8.根据权利要求1所述的一种基于深度学习的车道线图像增强方法，其特征在于：所述S2中双门控前向网络DGFN包括采用双重GELU与单元乘积技术，对两条通道进行双通道内的低信息量特征筛选，并利用元素与方法将两条通道中的有用信息进行融合，每条路径上应用1×1卷积(X_1×1)和3×3深度卷积(X_3×3)来丰富局部信息；

以Z∈R^H×H×W为输入，完整DGFN为：

其中为输出特征，DG为双门控机制，×为单位乘法运算，γ为GELU激活函数。

9.根据权利要求1所述的一种基于深度学习的车道线图像增强方法，其特征在于：所述S3中跨层次注意力融合模块CAFB具体为：

给定m个连续层的连接特征L_i∈R^N×H×W×C，将L_i重塑为尺寸为N×H×W×C的将self-attention作为ATB,采用1×1旋转聚合逐像素的跨通道上下文，使用3×3深度方面旋转产生M、N和P重塑维度的查询和关键到2D矩阵/>和/>计算层相关注意矩阵A的大小为m×m，把重塑维度/>注意力举证A的缩放系数β，添加输入特征L_i，CAFB流程公式为：

其中为输出特性。

10.根据权利要求1所述的一种基于深度学习的车道线图像增强方法，其特征在于：所述S4具体包括以下步骤：

S4.1：引入概率P_a,b,c来表示位于第a个车道线(b,c)处的网格属于该车道的概率，为了确保函数具有可微性，采用softmax函数来确定在不同的点上的概率：

Pr_a,b,c＝softmax(P_a,b,c:n)

其中Pr_a,b,c为每个位置的概率，P_a,b,c:n为n维向量，1:n为从1列到n列；

S4.2：将第b行第a列的定位列Po_a,b转化为数学期望，表示为：

其中n为分割的列的数目；

S4.3：建立一个新的结构损耗函数，记为L_str，数学形式表示为：

其中q为车道数，u为预设行话分数，B为一个二进制码；

S4.4：当a＝M₁或者a＝M₂时，其值为1，否则为2，计算公式如下：

其中M₁和M₂分别为斜率绝对值最大和第二大的车道；

S4.5：使用分类损失函数L_cls调节初级分支的输出结果，表达式为：

其中PT_a,b,:为正确位置的单热标签，L_ce为交叉熵损失函数；

S4.6：在辅助分割分支中使用交叉熵作为辅助分割损失函数，记为L_seg；

S4.7：结合所有损失函数，计算总体损失：

L_total＝L_cls+υ_segL_seg+υ_strL_str

其中υ_seg和υ_str分别为分割损失函数L_seg和结构损失函数L_str的权值。