CN113066028A - 一种基于Transformer深度神经网络的图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于Transformer深度神经网络的图像去雾方法，主要包括以下步骤：S1、获取同一场景成对的有雾/无雾图像构建数据集；S2、构建图像去雾模型，模型由三个分支网络组成；S3、将有雾图像I(x)分别输入到图像去雾模型的三个分支网络中，分别获得透射率图像t(x)、大气光图像A(x)、无雾图像J(x)；S4、利用透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，根据大气散射模型，重建输入的有雾图像I′(x)，I(x)与I′(x)构成重建损失约束整个图像去雾模型的训练。本发明基于Transformer进行图像去雾，利用Transformer固有的自注意力机制，可以更加有效地捕获全局信息，更好地提取特征。同时，本发明利用传统的先验辅助深度神经网络来达到更好的去雾效果。

Description

一种基于Transformer深度神经网络的图像去雾方法

技术领域

本发明涉及一种基于Transformer深度神经网络的图像去雾方法，属于图像处理技术领域。

背景技术

在雾霾天气条件下拍到的图像，由于大气中存在的雾、气溶胶、沙粒和薄雾对光线的散射和吸收，会出现能见度模糊、对比度降低、色彩变化和许多其他退化现象。这种扭曲的图像妨碍了与计算机摄影、自动驾驶系统、监控等相关的计算机视觉任务的执行。因此，在这种情况下，去雾对于产生具有良好感知质量的图像和提高后续计算机视觉任务的性能是至关重要的。

现有的图像去雾方法一般可分为两个分支：基于先验知识的图像去雾方法和基于学习的图像去雾方法。在基于先验知识的去雾方法中，通过将手工设计的先验知识或假设作为透射率图像t(x)和大气光图像A(x)估计过程中的额外约束。这些先验知识可以用来判别有雾图像和无雾图像，例如暗通道先验和颜色衰减先验。基于学习的去雾方法利用卷积神经网络提取图像特征，然后从大量的数据中学习有雾图像和无雾图像之间的映射关系。基于学习的方法又分为两类，一是非端到端学习的方法：首先估计透射率图像t(x)和大气光图像A(x)，然后基于大气散射模型进一步得到无雾的干净图像；另一类则是基于端到端学习的方法：输入有雾图像，通过训练好的去雾网络，直接输出对应的无雾图像。

基于先验的方法在很多场景中都是简单有效的，但它们都有一个共同的局限性，即描述它们的先验仅仅适应某些特定场景，这可能不适用于某些场景。早期基于深度卷积神经网络的方法直接利用深度卷积神经网络估计透射率图像和大气光图像，然后根据大气散射模型进一步获得无雾的干净图像。由于估计的透射率图像容易受到噪声的影响，对于透射率图像和大气光图像不准确的估计会极大地降低去雾性能。一些端到端的去雾方法逐渐被提出，这些方法不再估计透射率图像和大气光图像，而是直接从输入的有雾图像中恢复出干净的图像。

Transformer是一种基于自我注意机制的深度神经网络。最近，Transformer在自然语言处理领域的优秀表现引起了计算机视觉领域研究人员的极大关注。近期，Transformer在计算机视觉领域的一些研究展现出其深厚的潜力。Transformer与计算机视觉任务的结合将会极大地推动计算机视觉领域的发展。

发明内容

针对现有技术的不足及发展情况，本发明提供一种基于Transformer深度神经网络的图像去雾方法，与传统的深度卷积神经网络相比，Transformer能够更好地捕获全局上下文信息，具有更好的特征提取能力，能够极大地提高图像去雾性能。同时，利用先验知识辅助Transformer去雾网络模型，既能有效地利用图像的统计信息，又结合数据驱动的方法弥补特定先验的局限性。

为实现上述目的，本发明提供了如下技术方案：

一种基于Transformer深度神经网络的图像去雾方法，利用Transformer深度神经网络的自注意力机制，有效地捕获全局信息，提取图像特征，同时，利用暗通道先验获得的结果与网络输出结果进行损失计算以辅助深度神经网络来达到更好的去雾效果，该方法包括以下步骤：

S1、获取图像数据，即获取同一场景成对的有雾图像和无雾图像；

S2、构建图像去雾模型，该模型由三个分支网络组成，包括：透射率图像估计模块、大气光图像估计模块以及Transformer图像去雾主干网络，其中，Transformer图像去雾主干网络由特征提取器和Transformer模块组成；

S3、将有雾图像I(x)分别输入到图像去雾模型的三个分支网络中，分别获得透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，其中，前两个分支网络利用暗通道先验获得的透射率图像和大气光图像与透射率图像t(x)、大气光图像A(x)分别计算损失用于约束网络的训练过程；

S4、利用透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，根据大气散射模型，重建出输入的有雾图像I′(x)，I(x)与I′(x)构成重建损失用于约束整个图像去雾模型的训练。

进一步地，步骤S1具体包括：

获取场景的无雾图像，根据大气散射模型，生成与无雾图像相对应的有雾图像。大气散射模型具体公式为：

I(x)＝J(x)t(x)+A(x)(1-t(x))，

其中，I(x)表示有雾图像，J(x)表示无雾图像，t(x)表示透射率图像，A(x)表示大气光图像。

进一步地，步骤S2具体包括：

透射率图像估计模块，该模块是一个U型编解码网络，编码器首先包含一个卷积层，其后串行连接三个组合块，组合块由串行连接的残差块、ReLU激活层和卷积层组成，其中，残差块由串行连接的卷积层、批量归一化层、ReLU激活层、卷积层、批量归一化层组成；解码器首先是串行连接的三个组合块，组合块由串行连接的残差块、ReLU激活层和反卷积层组成，其中，残差块由反卷积层、批量归一化层、ReLU激活层、反卷积层、批量归一化层组成；整个模块的最后串行连接一个卷积层和一个ReLU激活层；

为了更加充分地利用每一层的特征信息，将第一层卷积层的输出加入到最后一层卷积层的输入中，依次将前面的输出融合到后面的输入中，共建立三条融合连接；

大气光图像估计模块为U-Net网络结构，该网络使用L1损失约束训练过程，通过计算网络估计得到的大气光图像和根据暗通道先验得到的大气光图像之间的差异实现；

Transformer图像去雾主干网络，该网络由特征提取器和Transformer模块组成，其中，特征提取器由一个卷积层、一个池化层和两个残差块组成，残差块由卷积层、批量归一化层、ReLU激活层、卷积层、批量归一化层组成，Transformer模块采用6个编码层和6个解码层。

进一步地，使用两种损失约束透射率图像估计模块的训练，第一种损失为L1损失，具体公式为：

L₁＝||y-y_t||，

其中，y表示网络估计得到的透射率图像，y_t表示真实的透射率图像；

第二种为感知损失，使用在ImageNet数据集上预训练好的VGG16网络relu3_3层输出的特征图计算损失，具体公式为：

其中，

表示VGG16网络的relu3_3层输出的特征图；

透射率图像估计网络总损失函数为：

L＝L₁+λL_per，

其中，λ是平衡参数，取值为2。进一步地，步骤S3具体包括：

将有雾图像输入到透射率图像估计网络，输出得到透射率图像；

将有雾图像输入到大气光图像估计网络，输出得到大气光图像；

将有雾图像输入到Transformer图像去雾主干网络中，首先通过特征提取器提取图像特征，在将特征图输入到Transformer模块之前，将特征图分成N个块，形成一个图像块序列

为了记住每个图像块的位置信息，为每一个图像块添加位置编码

将

直接输入到Transformer的编码器中；将透射率图像、大气光图像进行通道相加操作后转换成图像序列

并将

作为Transformer解码器的开始输入，编码器的输出作为中间输入，通过训练，该模型可以更好地学习到有雾图像的特性。

进一步地，步骤S4具体包括：

将S3步骤中得到的透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，根据大气散射模型：

I(x)＝J(x)t(x)+A(x)(1-t(x))，

重建出输入的有雾图像I′(x)，通过计算I(x)与I′(x)之间的差异构成重建损失，该损失用于约束整个网络模型的训练过程。

本发明的优点是：与现有技术相比，本发明具有如下有益效果：

1、与现有技术相比，本发明提出基于Transformer进行图像去雾，Transformer是一种基于自我注意机制的深度神经网络，与传统的深度卷积神经网络相比，Transformer能够更好地捕获全局上下文信息，具有更好的特征提取能力，能够极大地提高图像去雾性能；

2、与现有技术相比，本发明将先验知识与深度神经网络相结合进行图像去雾，利用先验知识辅助Transformer去雾网络，既能有效地利用图像的统计信息，又结合数据驱动的方法弥补特定先验的局限性；

3、本发明提出根据大气散射模型构建重构损失，用重构损失不断优化整个去雾网络模型的训练过程。

附图说明

图1是本发明实施例的图像去雾流程图；

图2是本发明实施例的整体网络结构图；

图3是透射率图像估计模块的网络结构图；

图4是Transformer图像去雾模块结构图。

具体实施方式

下面结合附图对本发明作进一步描述。此处所描述的具体实施例仅用于更加清楚地说明本发明，并不能以此限定本发明的保护范围。

参见图1、图2、图3和图4，本发明公开的一种基于Transformer深度神经网络的图像去雾方法，包括以下步骤：

S1、获取图像数据，即获取同一场景成对的有雾/无雾图像；

S2、构建图像去雾模型(如图2所示)，该模型由三个分支网络组成，包括：透射率图像估计模块(如图3所示)、大气光图像估计模块以及Transformer图像去雾主干网络(如图4所示)，其中，Transformer图像去雾主干网络由特征提取器和Transformer模块组成；

S3、将有雾图像I(x)分别输入到图像去雾模型的三个分支网络中，分别获得透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，其中，前两个分支网络利用暗通道先验知识对网络训练进行约束；

S4、利用透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，根据大气散射模型，重建出输入的有雾图像I′(x)，I(x)与I′(x)构成重建损失用于约束整个图像去雾模型的训练。

作为优选的，步骤S1具体包括：

获取场景的无雾图像，根据大气散射模型，生成与无雾图像相对应的有雾图像。大气散射模型具体公式为：

I(x)＝J(x)t(x)+A(x)(1-t(x))，

其中，I(x)表示有雾图像，J(x)表示无雾图像，t(x)表示透射率图像，A(x)表示大气光图像。

通过上述过程获得的无雾图像和有雾图像的图像对作为图像去雾模型训练的数据集。将数据集按照5∶2的比例划分训练集和测试集。

作为优选的，步骤S2具体包括：

如图3所示，透射率图像估计模块，该模块是一个U型编解码网络，编码器首先包含一个卷积核为4×4、步长为2、填充为1的卷积层，其后串行连接三个组合块，组合块由串行连接的残差块、ReLU激活层和卷积层组成，其中，残差块由串行连接的卷积层、批量归一化层、ReLU激活层、卷积层、批量归一化层组成，卷积层的卷积核大小为4×4、步长为2、填充为1。解码器首先是串行连接的三个组合块，组合块由串行连接的残差块、ReLU激活层和反卷积层组成，其中，残差块由反卷积层、批量归一化层、ReLU激活层、反卷积层、批量归一化层组成，反卷积层的卷积核大小为4×4、步长为2、填充为1。整个模块的最后串行连接一个卷积层和一个ReLU激活层，卷积层的卷积核大小为3×3、步长为1、填充为1。

图像在经过第一层卷积层时，输出的特征图数量为64，后面每经过一层卷积层，通道特征图分辨率降低为前一层的一半，特征图数量增加到前一层的两倍。

为了更加充分地利用每一层的特征信息，将第l_i层卷积层的输出加入到第N-l_i层卷积层的输入中，共建立三条融合连接。其中，l_i表示当前卷积层层数，N表示卷积层总层数。

使用两种损失约束透射率图像估计网络的训练，第一种损失为L1损失，具体公式为：

L_{1_t}＝||y-y_t||，

其中，y表示网络估计得到的透射率图像，y_t表示真实的透射率图像。

第二种为感知损失，使用在ImageNet数据集上预训练好的VGG16网络relu3_3层输出的特征图计算损失，具体公式为：

其中，

表示VGG16网络的relu3_3层输出的特征图。

透射率图像估计网络总损失函数为：

L＝L₁+λL_per，

其中，λ是平衡参数，取值为2。

大气光图像估计模块为U-Net网络结构，该网络使用L1损失约束训练过程，通过计算网络估计得到的大气光图像和根据暗通道先验得到的大气光图像之间的差异实现，具体公式为：

L_{1_a}＝||h-h_a||，

其中，h表示网络估计得到的大气光图像，h_a表示真实的大气光图像。

如图4所示，Transformer图像去雾主干网络，该模块由特征提取器和Transformer模块组成。其中，特征提取器由一个卷积层、一个池化层和两个残差块组成，卷积层的卷积核大小为7×7，步长为2。卷积层后是一个步长为2的最大池化层。残差块由卷积层、批量归一化层、ReLU激活层、卷积层、批量归一化层组成，其中卷积层的卷积核大小为3×3。特征提取器的输入图像维度为3，输出维度为64。为保持Transformer的良好性能，未对Transformer结构进行较大改动。采用6个编码层和6个解码层。

作为优选的，步骤S3具体包括：

根据步骤S2构建好图像去雾模型后，将有雾图像分别输入到透射率图像估计网络、大气光图像估计网络以及Transformer图像去雾主干网络，分别得到透射率图像、大气光图像以及去雾后的图像。

其中，将有雾图像输入到Transformer图像去雾主干网络的过程中，首先通过特征提取器提取图像特征，在将特征图输入到Transformer模块之前，将特征图分成9个块，形成一个图像块序列

为了记住每个图像块的位置信息，为每一个图像块添加位置编码

将

直接输入到Transformer的编码器中。将透射率图像、大气光图像进行通道相加操作后转换成图像序列

并将

作为Transformer解码器的开始输入，编码器的输出作为中间输入，输出为去雾后的图像。

作为优选的，步骤S4具体包括：

将S3步骤中得到的透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，根据大气散射模型，

I(x)＝J(x)t(x)+A(x)(1-t(x))，

重建出输入的有雾图像I′(x)。通过计算I(x)与I′(x)之间的差异构成重建损失，该损失用于约束整个网络模型的训练过程。重建损失具体公式为：

L_rec＝||I(x)-I′(x)||

以上所述仅仅是本发明的优选实施方式，只用于对本发明的进一步说明，不能用于限定本发明的保护范围，本领域的技术人员根据上述发明的内容对本发明做出一些改进和变形，这些改进和变形均落入本发明的保护范围之内。

Claims (6)

1.一种基于Transformer深度神经网络的图像去雾方法，利用Transformer深度神经网络的自注意力机制，有效地捕获全局信息，提取图像特征，同时，利用暗通道先验获得的结果与网络输出结果进行损失计算以辅助深度神经网络来达到更好的去雾效果，该方法包括以下步骤：

S1、获取图像数据，即获取同一场景成对的有雾图像和无雾图像；

S2、构建图像去雾模型，该模型由三个分支网络组成，包括：透射率图像估计模块、大气光图像估计模块以及Transformer图像去雾主干网络，其中，Transformer图像去雾主干网络由特征提取器和Transformer模块组成；

S3、将有雾图像I(x)分别输入到图像去雾模型的三个分支网络中，分别获得透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，其中，前两个分支网络利用暗通道先验获得的透射率图像和大气光图像与透射率图像t(x)、大气光图像A(x)分别计算损失用于约束网络的训练过程；

S4、利用透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，根据大气散射模型，重建出输入的有雾图像I′(x)，I(x)与I′(x)构成重建损失用于约束整个图像去雾模型的训练。

2.根据权利要求1所述的一种基于Transformer深度神经网络的图像去雾方法，其特征在于：步骤S1具体包括：获取场景的无雾图像，根据大气散射模型，生成与无雾图像相对应的有雾图像。大气散射模型具体公式为：

I(x)＝J(x)t(x)+A(x)(1-t(x)),

其中，I(x)表示有雾图像，J(x)表示无雾图像，t(x)表示透射率图像，A(x)表示大气光图像。

3.根据权利要求1所述的一种基于Transformer深度神经网络的图像去雾方法，其特征在于：步骤S2具体包括：

透射率图像估计模块是一个U型编解码网络，编码器首先包含一个卷积层，其后串行连接三个组合块，组合块由串行连接的残差块、ReLU激活层和卷积层组成，其中，残差块由串行连接的卷积层、批量归一化层、ReLU激活层、卷积层、批量归一化层组成；解码器首先是串行连接的三个组合块，组合块由串行连接的残差块、ReLU激活层和反卷积层组成，其中，残差块由反卷积层、批量归一化层、ReLU激活层、反卷积层、批量归一化层组成；整个模块的最后串行连接一个卷积层和一个ReLU激活层；

为了更加充分地利用每一层的特征信息，将第一层卷积层的输出加入到最后一层卷积层的输入中，依次将前面的输出融合到后面的输入中，共建立三条融合连接；

大气光图像估计模块为U-Net网络结构，该网络使用L1损失约束训练过程，通过计算网络估计得到的大气光图像和根据暗通道先验得到的大气光图像之间的差异实现；

Transformer图像去雾主干网络，该网络由特征提取器和Transformer模块组成，其中，特征提取器由一个卷积层、一个池化层和两个残差块组成，残差块由卷积层、批量归一化层、ReLU激活层、卷积层、批量归一化层组成，Transformer模块采用6个编码层和6个解码层。

4.根据权利要求3所述的一种基于Transformer深度神经网络的图像去雾方法，其特征在于：使用两种损失约束透射率图像估计模块的训练，第一种损失为L1损失，具体公式为：

L₁＝||y-y_t||，

其中，y表示网络估计得到的透射率图像，y_t表示真实的透射率图像；

第二种为感知损失，使用在ImageNet数据集上预训练好的VGG16网络relu3_3层输出的特征图计算损失，具体公式为：

其中，

表示VGG16网络的relu3_3层输出的特征图；

透射率图像估计网络总损失函数为：

L＝L₁+λL_per，

其中，λ是平衡参数，取值为2。

5.根据权利要求1所述的一种基于Transformer深度神经网络的图像去雾方法，其特征在于：步骤S3具体包括：

将有雾图像输入到透射率图像估计网络，输出得到透射率图像；

将有雾图像输入到大气光图像估计网络，输出得到大气光图像；

将有雾图像输入到Transformer图像去雾主干网络中，首先通过特征提取器提取图像特征，在将特征图输入到Transformer模块之前，将特征图分成N个块，形成一个图像块序列

为了记住每个图像块的位置信息，为每一个图像块添加位置编码

将

直接输入到Transformer的编码器中；将透射率图像、大气光图像进行通道相加操作后转换成图像序列

并将

作为Transformer解码器的开始输入，编码器的输出作为中间输入，通过训练，该模型可以更好地学习到有雾图像的特性。

6.根据权利要求1所述的一种基于Transformer深度神经网络的图像去雾方法，其特征在于：步骤S4，具体包括：将S3步骤中得到的透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，根据大气散射模型，

I(x)＝J(x)t(x)+A(x)(1-t(x))，

重建出输入的有雾图像I′(x)，通过计算I(x)与I′(x)之间的差异构成重建损失，该损失用于约束整个网络模型的训练过程。

Images