CN116824542A - 一种基于深度学习的轻量级雾天车辆检测方法 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，且公开了一种基于深度学习的轻量级雾天车辆检测方法，结合基于动态卷积核的去雾网络模型对雾天交通图片去雾，利用改进后的YOLOv7车辆检测方法对车辆的位置和状态进行检测，针对去雾后颜色失真问题，构建一种动态残差模块，该模块可以根据输入数据的内容和上下文信息，动态地调整卷积核的感受野大小，这使得网络能够在不同位置对特征进行自适应的感知，更好地捕捉图像中不同尺度和形状的特征，进而解决去雾后颜色失真问题。针对检测速度慢问题，构建一种压缩模块和将YOLOv7主干网络C3中普通卷积替换为深度可分离卷积，压缩模块可以使特征图尺寸变小，减少模型的参数量，进而降低去雾时间，深度可分离卷积参数量小于普通卷积，降低车辆检测时间。

Description

一种基于深度学习的轻量级雾天车辆检测方法

技术领域

本发明涉及自动驾驶技术领域，具体为一种基于深度学习的轻量级雾天车辆检测方法。

背景技术

随着自动驾驶技术与汽车制造业的高速发展，道路上具备自动驾驶功能的车辆数目愈发增多，在自动驾驶车辆行驶过程中，准确地检测出道路上的车辆位置和行驶状态是确保车辆安全行驶的关键功能之一，雾天会降低能见度，导致车载摄像头无法检测到周围车辆的位置和行驶状态，进而容易引起交通事故，因此，在雾天下进行车辆检测，可以及时发现并避免潜在的碰撞风险，对于确保自动驾驶车辆的安全行驶至关重要，同时也有助于交通管理部门获取道路上实时的车流信息，了解道路上的车辆密度从而优化交通信号灯的控制和调整，改善道路交通流量，减少拥堵现象。

中国专利202210158525.2一种基于暗通道法的雾天车辆检测方法，该方法首先通过车载摄像头采集雾天图像，将采集到的雾天图像划分为车辆区域和非车辆区域，将车辆区域的图像进行去雾处理，使用训练好的Faster-Rcnn模型对去雾后的雾天图像进行检测，得出图像中车辆的具体位置和准确率，该方法没有对去雾算法和车辆检测算法进行改进，而是直接采用暗通道算法和Faster-Rcnn算法，该方法去雾后图像颜色失真，并且对车辆检测的准确率较低。

中国专利201910633933.7一种雾天环境中的车辆检测方法及装置，该方法首先将采集到的交通图像进行灰度化，将灰度化的图像进行分割，找出亮度最大的区域，把该区域所有的像素点求平均，该平均值作为大气光值，把灰度化后的图像内所有像素点分为明亮区域和暗区域，并生成该两个区域的透射率组成自适应透射率，将所述的大气光值和自适应透射率输入到大气散射模型中，进而得到去雾后的交通图像，利用目标检测算法对去雾后的交通图像进行检测，得到车辆的位置和具体状态，该方法检测速度较慢，只公布了具体的去雾方法，并没有公布具体的车辆检测方法。

发明内容

本发明提供了一种基于深度学习的轻量级雾天车辆检测方法，解决目前雾天车辆检测方法存在去雾后图像颜色失真、准确性较差和检测速度较慢的问题。

本发明提供如下技术方案：一种基于深度学习的轻量级雾天车辆检测方法，包括以下步骤：

步骤S1：获取RESIDE中的OTS数据集；

步骤S2：从OTS数据集中选取10000张图片，按照9：1的比例分为训练集和验证集；

步骤S3：建立基于动态卷积核的去雾网络模型，学习率初始化为0.0001，batchsize设为16，优化器采用Adam优化器，使用MS-SSIM损失函数计算损失误差，利用步骤S2中的训练数据集训练去雾网络模型，直至网络收敛，得到最佳的网络模型权重；

步骤S4：将车载摄像头采集的雾天交通图像输入至训练好的去雾网络模型中，得到去雾后的交通图像；

步骤S5：将KITTI车辆检测数据集转换为VOC格式，利用该数据集对改进后的YOLOv7车辆检测模型进行训练得到训练模型；

步骤S6：将去雾后的交通图像输入至训练好的车辆检测模型中，得出图像中车辆的具体位置和准确率。

进一步地，所述步骤S3中的基于动态卷积核的去雾网络模型由多分支特征融合模块、压缩模块、动态残差模块和去雾图像生成模块构成。

进一步地，所述多分支特征融合模块由1个1*1卷积、3*3卷积、5*5卷积和7*7卷积并联组成。

进一步地，所述多分支特征融合模块包括如下步骤：

车载摄像头采集的雾天交通图像分别经过1个1*1卷积、3*3卷积、5*5卷积和7*7卷积处理后生成四个特征图，四个特征图contact拼接输出为一个特征图作为下一层网络的输入。

进一步地，压缩模块由一个3*3卷积、一个max-pooling(最大池化)和一个LayerNormalization归一化层组成。

进一步地，所述压缩模块包括如下步骤：

输入特征图经过一个3*3卷积后通道数由12变为3，在经过max-pooling(最大池化)和一个Layer Normalization归一化层，让特征图的尺寸降为原来的一半。

进一步地，所述动态残差模块由三个残差结构组成，每个残差结构中都包含两个ODConv(动态卷积)串联组成。

进一步地，所述动态残差模块包括如下步骤：

进一步地，输入特征图X会通过Attention模块进行处理，得到通道注意力(channel_attention)、滤波注意力(filter_attention)、空间注意力(spatial_attention)和卷积核注意力(kernel_attention)。

进一步地，获取输入特征图X的批量大小、输入通道数、高度和宽度。将输入特征图X与通道注意力相乘，对输入进行通道级别的特征加权。将X重新形状为一个4D张量，便于后续计算。

进一步地，根据空间注意力、卷积核注意力和权重(weight)，计算加权的卷积核，使用加权的卷积核对输入特征图X进行卷积操作，得到输出特征图，动态卷积操作可以表示为：Y(i,j)＝sum(A(i,j,c))*(K(c)*X(i,j))，将输出特征图与滤波器注意力相乘，对输出进行滤波器级别的特征加权。

进一步地，输入特征图X与经过两个ODConv处理后的图像contact拼接输出，经过动态残差模块操作后，生成输出特征图，输出的特征图可以作为下一层网络的输入，继续进行后续的处理和分析。

式中，输入特征图为X，注意力权重矩阵为A，卷积核为K，输出特征图为Y其中Y(i,j)表示输出特征图中位置(i,j)的值，K(c)表示第c个卷积核，X(i,j)表示输入图像在位置(i,j)的值。

进一步地，去雾图像生成模块由一个unsampling层(上采样)和由一个element-wise的乘法层和几个element-wise的加法层组成。

进一步地，去雾图像生成模块包括如下步骤：

输入特征图经过一个unsampling(上采样)使特征图变为原尺寸大小，并输出K(x)作为其输入自适应参数，通过式J(x)＝K(x)*I(x)-K(x)+b生成去雾图像。

式中，J(x)即要恢复的干净图像，I(x)即输入的雾霾图像，K(x)为自适应参数，b为默认值为1的常数偏差。

进一步地，所述步骤S5中的基于改进YOLOv7的车辆检测模型；

进一步地，将YOLOv7主干网络C3中普通卷积替换为深度可分离卷积(Depth-wiseSeparable Convolution)来减小模型的参数量和计算复杂度，减少车辆检测所有时间；

进一步地，深度可分离卷积包括如下步骤：

对于输入特征图X的每个通道X(c)，应用一个深度卷积核K(c)，生成深度卷积特征图D(c)，深度卷积的计算可以表示为：D(c)＝K(c)*X(c)其中*表示卷积操作，将深度卷积得到的特征图D(c)(对应通道c)与一个逐点卷积核K(pwc)进行逐点卷积操作，生成最终的输出特征图Y(c)。

逐点卷积的计算可以表示为：Y(c)＝K(pwc)*D(c)，其中*表示逐点卷积操作。整体深度可分离卷积的计算可以表示为：Y＝[Y(1),Y(2),…,Y(c)]其中Y(c)表示输出特征图的第c个通道。

进一步地，将YOLOv7网络模型中激活函数更换为FReLU(Flexible RectifiedLinear Unit)，进而提高车辆检测的准确率。

进一步地，FReLU通过在ReLU的非负区域中引入一个可学习的参数来调整局部的形状，FReLU的灵活性在于，它可以根据数据的特点和网络的需求来自适应地调整非负区域的形状，在传统的ReLU中，非负区域的形状总是固定的，即线性斜率为1，对于输入特征图的每个通道，FReLU的计算可以表示为：FReLU(x)＝max(0,x)+max(0,w*x+b)，第一项max(0,x)仍然保留了ReLU的非负区域，第二项max(0,w*x+b)引入了可学习的参数来调整非负区域的形状。

FReLU中的可学习参数w和b可以通过反向传播算法和优化器来进行训练和更新，在训练过程中，网络可以自动学习调整非负区域形状的参数，以最大程度地提高模型的性能和适应能力。

式中，其中x表示输入特征图中的一个像素值，w和b是可学习的参数。

本发明具备以下有益效果：

本发明提出一种基于深度学习的轻量级雾天车辆检测方法，结合基于动态卷积核的去雾网络模型对雾天交通图片去雾，利用改进后的YOLOv7车辆检测方法对车辆的位置和状态进行检测，针对去雾后颜色失真问题，构建一种动态残差模块，该模块可以根据输入数据的内容和上下文信息，动态地调整卷积核的感受野大小，这使得网络能够在不同位置对特征进行自适应的感知，更好地捕捉图像中不同尺度和形状的特征，进而解决去雾后颜色失真问题。

针对检测速度慢问题，构建一种压缩模块和更换YOLOv7中的普通卷积为深度可分离卷积，压缩模块可以使特征图尺寸变小，减少模型的参数量，进而降低去雾时间，深度可分离卷积参数量小于普通卷积，降低车辆检测时间。

针对准确性较差问题，构建一种多分支特征融合模块和更改YOLOv7的激活函数为FReLU，多分支特征融合模块能够同时捕捉到不同尺度的特征信息，有助于提高网络对于不同尺度物体的感知能力，使得网络可以更好地处理图像中的细节和全局信息，提升去雾效果，进而提高检测的准确性，相比于ReLU的固定形状，FReLU能够根据数据的特征和网络的需求来自适应地调整非负区域的形状，提高模型的性能和适应能力，以此提高检测的准确性。

附图说明

图1为本发明方法流程图；

图2为本发明网络模型架构图；

图3为本发明中多分支特征融合模块结构图；

图4为本发明中压缩模块结构图；

图5为本发明中动态残差模块结构图；

图6为本发明中去雾图像生成模块结构图；

图7为本发明网络模型参数表。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，一种基于深度学习的轻量级雾天车辆检测方法，具体实施步骤如下：

为了达到上述目的，本发明采用的技术方案如下：

本发明的一种基于深度学习的复杂道路环境车道线检测方法，包括以下步骤：

步骤S1：获取RESIDE中的OTS数据集；

步骤S2：从OTS数据集中选取10000张图片，按照9：1的比例分为训练集和验证集；

步骤S3：建立基于动态卷积核的去雾网络模型，学习率初始化为0.0001，batchsize设为16，优化器采用Adam优化器，使用MS-SSIM损失函数计算误差。利用步骤S2中的训练数据集训练去雾网络模型，直至网络收敛，得到最佳的网络模型权重；

步骤S4：将车载摄像头采集的雾天交通图像输入至训练好的去雾网络模型中，得到去雾后的交通图像；

步骤S5：将KITTI车辆检测数据集转换为VOC格式，利用该数据集对改进后的YOLOv7车辆检测模型进行训练得到训练模型；

步骤S6：将去雾后的交通图像输入至训练好的车辆检测模型中，得出图像中车辆的具体位置和准确率；

如图2所示，步骤S3中的基于动态卷积核的去雾网络模型由多分支特征融合模块、压缩模块、动态残差模块和去雾图像生成模块构成，基于深度学习的轻量级雾天车辆检测模型参数如表1所示；

如图3所示，多分支特征融合模块由1个1*1卷积、3*3卷积、5*5卷积和7*7卷积并联组成；压缩模块由一个3*3卷积、一个max-pooling(最大池化)和一个Layer Normalization归一化层组成；

多分支特征融合模块包括如下步骤：

首先，车载摄像头采集的雾天交通图像分别经过1个1*1卷积、3*3卷积、5*5卷积和7*7卷积处理后生成四个特征图；

然后，四个特征图contact拼接输出为一个特征图；

最后，上述特征图作为下一层网络的输入；

如图4所示，压缩模块由一个3*3卷积、一个max-pooling(最大池化)和一个LayerNormalization归一化层组成；

压缩模块包括如下步骤：

首先，输入特征图经过一个3*3卷积后通道数变为3；

然后，在经过max-pooling(最大池化)和一个Layer Normalization归一化层，让特征图的尺寸降为原来的一半；

如图5所示，动态残差模块由三个残差结构组成，每个残差结构中都包含两个ODConv(动态卷积)串联组成；

动态残差模块包括如下步骤：

首先，输入特征图X会通过Attention模块进行处理，得到通道注意力(channel_attention)、滤波注意力(filter_attention)、空间注意力(spatial_attention)和卷积核注意力(kernel_attention)；

然后，获取输入特征图X的批量大小、输入通道数、高度和宽度。将输入特征图X与通道注意力(channel_attention)相乘，对输入进行通道级别的特征加权，将输入特征图X重新形状为一个4D张量，便于后续计算；

其次，根据空间注意力、卷积核注意力和权重(weight)，计算加权的卷积核；使用加权的卷积核对输入特征图X进行卷积操作，得到输出特征图；动态卷积操作可以表示为：Y(i,j)＝sum(A(i,j,c))*(K(c)*X(i,j))，将输出特征图与滤波器注意力(filter_attention)相乘，对输出进行滤波器级别的特征加权；

最后，输入特征图X与经过两个ODConv处理后的图像contact拼接输出，经过动态残差模块操作后，生成输出特征图，输出特征图可以作为下一层网络的输入，继续进行后续的处理和分析；

式中，输入特征图为X，注意力权重矩阵为A，卷积核为K，输出特征图为Y其中Y(i,j)表示输出特征图中位置(i,j)的值，K(c)表示第c个卷积核，X(i,j)表示输入图像在位置(i,j)的值，

如图6所示，去雾图像生成模块由一个unsampling(上采样)和由一个element-wise的乘法层和几个element-wise的加法层组成；

去雾图像生成模块包括如下步骤：

输入特征图经过一个unsampling(上采样)是特征图变为原尺寸大小，并输出K(x)作为其输入自适应参数，通过式J(x)＝K(x)*I(x)-K(x)+b生成恢复的图像，

式中，J(x)即要恢复的干净图像，I(x)即输入的雾霾图像，K(x)为自适应参数，b为默认值为1的常数偏差；

步骤S5中的基于改进YOLOv7的车辆检测模型；

将YOLOv7主干网络C3中普通卷积替换为深度可分离卷积(Depth-wise SeparableConvolution)来减小模型的参数量和计算复杂度，减少车辆检测所有时间；

深度可分离卷积包括如下步骤：

对于输入特征图X的每个通道X(c)，应用一个深度卷积核K(c)，生成深度卷积特征图D(c)，深度卷积的计算可以表示为：D(c)＝K(c)*X(c)其中*表示卷积操作，将深度卷积得到的特征图D(c)(对应通道c)与一个逐点卷积核K(pwc)进行逐点卷积操作，生成最终的输出特征图Y(c)；

逐点卷积的计算可以表示为：Y(c)＝K(pwc)*D(c)，其中*表示逐点卷积操作，整体深度可分离卷积的计算可以表示为：Y＝[Y(1),Y(2),...,Y(c)]其中Y(c)表示输出特征图的第c个通道；

将YOLOv7网络模型中激活函数更换为FReLU(Flexible Rectified LinearUnit)，进而提高车辆检测的准确率；

FReLU通过在ReLU的非负区域中引入一个可学习的参数来调整局部的形状。FReLU的灵活性在于，它可以根据数据的特点和网络的需求来自适应地调整非负区域的形状。在传统的ReLU中，非负区域的形状总是固定的，即线性斜率为1。对于输入特征图的每个通道，FReLU的计算可以表示为：FReLU(x)＝max(0,x)+max(0,w*x+b)，第一项max(0,x)仍然保留了ReLU的非负区域，第二项max(0,w*x+b)引入了可学习的参数来调整非负区域的形状；

FReLU中的可学习参数w和b可以通过反向传播算法和优化器来进行训练和更新，在训练过程中，网络可以自动学习调整非负区域形状的参数，以最大程度地提高模型的性能和适应能力；

式中，其中x表示输入特征图中的一个像素值，w和b是可学习的参数。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于深度学习的轻量级雾天车辆检测方法，包括以下步骤：

步骤S1：获取RESIDE中的OTS数据集；

步骤S2：从OTS数据集中选取10000张图片，按照9：1的比例分为训练集和验证集；

步骤S3：建立基于动态卷积核的去雾网络模型，学习率初始化为0.0001，batchsize设为16，优化器采用Adam优化器，使用MS-SSIM损失函数计算误差，利用步骤S2中的训练数据集训练去雾网络模型，直至网络收敛，得到最佳的网络模型权重；

步骤S4：将车载摄像头采集的雾天交通图像输入至训练好的去雾网络模型中，得到去雾后的交通图像；

步骤S5：将KITTI车辆检测数据集转换为VOC格式，利用该数据集对改进后的YOLOv7车辆检测模型进行训练得到训练模型，将YOLOv7主干网络C3中普通卷积替换为深度可分离卷积(Depth-wise Separable Convolution)来减小模型的参数量和计算复杂度，减少车辆检测所有时间；

步骤S6：将去雾后的交通图像输入至训练好的车辆检测模型中，得出图像中车辆的具体位置和准确率；

所述步骤S5中的基于改进YOLOv7的车辆检测模型。

2.根据权利要求1所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述步骤S3中的基于动态卷积核的去雾网络模型由多分支特征融合模块、压缩模块、动态残差模块和去雾图像生成模块构成；基于深度学习的轻量级雾天车辆检测模型参数如表1所示，所述去雾图像生成模块由一个unsampling(上采样)和由一个element-wise的乘法层和几个element-wise的加法层组成，输入特征图经过一个unsampling(上采样)是特征图变为原尺寸大小，并输出作为其输入自适应参数，通过式生成恢复的图像；

式中，即要恢复的干净图像，即输入的雾霾图像，为自适应参数，为默认值为1的常数偏差。

3.根据权利要求2所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述多分支特征融合模块由1个1*1卷积、3*3卷积、5*5卷积和7*7卷积并联组成；压缩模块由一个3*3卷积、一个max-pooling(最大池化)和一个Layer Normalization归一化层组成。

4.根据权利要求1所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述多分支特征融合模块包括如下步骤：

首先，车载摄像头采集的雾天交通图像分别经过1个1*1卷积、3*3卷积、5*5卷积和7*7卷积处理后生成四个特征图；

然后，四个特征图contact拼接输出为一个特征图；

最后，上诉特征图作为下一层网络的输入。

5.根据权利要求3所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述压缩模块由一个3*3卷积、一个max-pooling(最大池化)和一个Layer Normalization归一化层组成。

6.根据权利要求5所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述压缩模块包括如下步骤：

首先，输入特征图经过一个3*3卷积后通道数变为3；

然后，在经过max-pooling(最大池化)和一个Layer Normalization归一化层，让特征图的尺寸降为原来的一半。

7.根据权利要求2所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述动态残差模块由三个残差结构组成，每个所述残差结构中都包含两个ODConv(动态卷积)串联组成。

8.根据权利要求7所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述动态残差模块包括如下步骤：

首先，输入特征图X会通过Attention模块进行处理，得到通道注意力(channel_attention)、滤波注意力(filter_attention)、空间注意力(spatial_attention)和卷积核注意力(kernel_attention)；

然后，获取输入特征图X的批量大小、输入通道数、高度和宽度，将输入特征图X与通道注意力(channel_attention)相乘，对输入进行通道级别的特征加权，将输入特征图X重新形状为一个4D张量，便于后续计算；

其次，根据空间注意力、卷积核注意力和权重(weight)，计算加权的卷积核，使用加权的卷积核对输入特征图X进行卷积操作，得到输出特征图，动态卷积操作可以表示为：Y(i,j)＝sum(A(i,j,c))*(K(c)*X(i,j))，将输出特征图与滤波器注意力(filter_attention)相乘，对输出进行滤波器级别的特征加权；

最后，输入特征图X与经过两个ODConv处理后的图像contact拼接输出，经过动态残差模块操作后，生成输出特征图，输出特征图可以作为下一层网络的输入，继续进行后续的处理和分析；

式中，输入特征图为X，注意力权重矩阵为A，卷积核为K，输出特征图为Y其中Y(i,j)表示输出特征图中位置(i,j)的值，K(c)表示第c个卷积核，X(i,j)表示输入图像在位置(i,j)的值。

9.根据权利要求1所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述深度可分离卷积包括如下步骤：

对于输入特征图X的每个通道X(c)，应用一个深度卷积核K(c)，生成深度卷积特征图D(c)，深度卷积的计算可以表示为：D(c)＝K(c)*X(c)其中*表示卷积操作，将深度卷积得到的特征图D(c)(对应通道c)与一个逐点卷积核K(pwc)进行逐点卷积操作，生成最终的输出特征图Y(c)；

逐点卷积的计算可以表示为：Y(c)＝K(pwc)*D(c)，其中*表示逐点卷积操作，整体深度可分离卷积的计算可以表示为：Y＝[Y(1),Y(2),...,Y(c)]其中Y(c)表示输出特征图的第c个通道。

10.根据权利要求1所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：将YOLOv7网络模型中激活函数更换为FReLU(Flexible Rectified Linear Unit)，进而提高车辆检测的准确率；

FReLU通过在ReLU的非负区域中引入一个可学习的参数来调整局部的形状，FReLU的灵活性在于，它可以根据数据的特点和网络的需求来自适应地调整非负区域的形状，在传统的ReLU中，非负区域的形状总是固定的，即线性斜率为1，对于输入特征图的每个通道，FReLU的计算可以表示为：FReLU(x)＝max(0,x)+max(0,w*x+b)，第一项max(0,x)仍然保留了ReLU的非负区域，第二项max(0,w*x+b)引入了可学习的参数来调整非负区域的形状；

FReLU中的可学习参数w和b可以通过反向传播算法和优化器来进行训练和更新，在训练过程中，网络可以自动学习调整非负区域形状的参数，以最大程度地提高模型的性能和适应能力；

式中，其中x表示输入特征图中的一个像素值，w和b是可学习的参数。