CN115719319A - 一种基于物理先验与深度学习的单幅图像去雾方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体公开了一种基于物理先验与深度学习的单幅图像去雾方法，分为两个阶段。在第一阶段中，利用基于两个并行分支的残差Swin Transformer进行监督训练，分别估计了透射率和清晰图像。在第二阶段，以一种自监督训练的方式对网络进行微调。第二阶段将大气散射模型和暗通道先验相结合，结合先验知识约束网络特征学习，使网络能够在物理机制下进行训练，提高网络在真实场景的去雾性能。本方法通过监督学习和自监督学习进行训练，并结合了物理先验和Transformer的优点，在物理先验的指导下学习特征，提高了网络的泛化能力，使网络对合成的雾天图像和真实世界的雾天图像都具有良好的恢复效果。

Description

一种基于物理先验与深度学习的单幅图像去雾方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于物理先验与深度学习的单幅图像去雾方法。

背景技术

雾、霾等复杂天气不仅会降低景观的能见度，还会影响图像捕获设备捕获的自然场景的图像质量，如色彩缺失，饱和度低、纹理细节模糊。严重影响计算机视觉的任务，导致目标检测、图像分类的准确性降低，因此，图像去雾在计算机视觉任务中起着至关重要的作用。

图像去雾方法主要分为三种，基于图像增强的方法、基于先验的方法和基于深度学习的方法。基于图像增强的去雾方法如Retinex方法、直方图均衡化和小波变换等，这类不依赖大气散射模型，通过增加对比度、饱和度提高图像质量，但是此类方法去雾效果不佳，容易出现过饱和现象。基于先验的去雾方法，通过估计传输图与大气光，再使用大气散射模型推导出清晰图像。例如使用暗通道先验方法评估传输图，该方法假设无雾图像中至少一个颜色通道低强度值接近于零。Meng等提出正则化方法去雾(BCCR)，虽然该方法对传输图有了新的约束，提升去雾速度。黄文君等提出了一种低秩与字典表达分解的浓雾霾场景图像去雾方法，该方法通过低秩与字典表达分解得出低秩的“雾”图，结合双三次插值将局部的“雾”推广到全局，最后减去“雾”图恢复出无雾清晰图像，该方法仍存在失真，细节不清晰。这些基于先验的方法尽管在一定同程度上取得了成功，但是依赖透射图和大气光的估计，且容易出现失真等问题。

近年来深度学习技术快速发展，越来越多的研究人员探索使用卷积神经网络(Convolutional Neural Network，CNN)进行图像去雾。早期的图像去雾方法侧重于利用估计传输图和大气光恢复有雾图像，如Li等提出一种AOD-Net，该方法重新制定大气散射模型，将透射图和大气光放到一个新的变量中，再恢复图像。虽然这些基于CNN的算法可以更准确地估计传输图，但这些方法仍然需要准确估计大气光与透射图才能完美地恢复无雾图像，本质上仍然依赖于大气散射模型。为了解决传输图和大气光估计不准确问题，一些卷积神经网络方法不依赖透射图和大气光的估计，直接将有雾图像恢复为清晰图像。如Zheng等提出一种4K分辨率图像去雾的多引导双边学习框架(4K resolution image dehazingnetwork，RIDN)，可以快速处理高分辨率的有雾图。像刘广州等提出了一种端到端的密集连接扩张卷积神经网络，该网络使用密集连接的扩张卷积，增强网络对大尺度特征信息的聚合能力。Wang等提出DRHNet去雾网络，先得到负残差图，再用模糊图像减去负残差图得到无雾图像。这些方法虽然与之前的图像去雾方法相比去雾效果有所提升，不过其中一些方法由于过多使用卷积操作，过度关注细节信息，反而忽略了全局信息，因此去雾效果并不理想。

近年来，一些研究将Transformer应用到计算机视觉的不同任务中，例如图像增强、图像分割、目标检测、人体姿态估计和图像分类，Transformer不仅在这些任务取得很好的效果，还在单图像去雾领域有所应用，如Li等设计两阶段单图像去雾网络，通过引入分层Transformer改进编码器，将Transformer和CNN进行有效结合，实现全局与局部特征提取。Gao等在去雾网路中设计一个基于Transformer的通道空间注意模块，并利用多尺度并行残差网络作为主干，提取不同尺度的特征信息，实现特征融合。Li等提出了一种结合卷积神经网络和Vision Transformer的混合去雾网路，该算法首先利用预处理模块提取雾霾图像的浅层特征，使用包括卷积神经网络和Vision Transformer结合的对称网络结构来分别捕获雾霾图像的局部特征和全局特征。Wang等提出Uformer，可以降低高分辨率特征图的计算复杂度，对图像细节的恢复能力增强。Jiao等提出了一种基于分数导数和数据驱动正则化项的新型去雾网路，为达到更好的去雾效果，该网络引入基于卷积神经网络和Transformer结合的双流网络构建数据驱动的正则化。上述这些方法虽然解决了图像细节的缺失问题，但是对图像中雾浓度较高的地方去雾效果仍然不彻底，而且纯先验的方法容易造成伪影，纯深度学习的方法容易过拟合。

发明内容

本发明提供一种基于物理先验与深度学习的单幅图像去雾方法，解决的技术问题在于：现有图像去雾方法虽然解决了图像细节的缺失问题，但是对图像中雾浓度较高的地方去雾效果仍然不彻底，而且纯先验的方法容易造成伪影，纯深度学习的方法容易过拟合。

为解决以上技术问题，本发明提供一种基于物理先验与深度学习的单幅图像去雾方法，包括步骤：

S1、第一阶段：分别基于第一SwinIR分支、第二SwinIR分支估计RGB雾图I(x)的透射率T(x)和RAW域的清晰图像J_RAW(x)；基于暗通道先验模型获取所述RGB雾图I(x)的全局大气光A和透射率DCP_T(x)；

S2、第二阶段：利用第一阶段获得的T(x)、清晰图像J_RAW(x)、全局大气光A和透射率DCP_T(x)，通过大气散射模型和第一生成器、第二生成器对第一阶段训练的网络参数及本阶段训练的网络参数进行微调。

进一步地，所述步骤S1具体包括步骤：

S11、将所述RGB雾图I(x)转化为RAW域的RAW雾图I_RAW(x)；

S12、分别基于第一SwinIR分支、第二SwinIR分支估计所述RAW雾图I_RAW(x)的透射率T(x)和清晰图像J_RAW(x)；基于暗通道先验模型获取所述RGB雾图I(x)的全局大气光A和透射率DCP_T(x)；

S13、基于所述RGB雾图I(x)所对应的无雾图像J_GT(x)、透射率T(x)、全局大气光A通过大气散射模型获取重建的RGB雾图I_{REC_1}(x)＝J_GT(x)·T(x)+A·(1-T(x))，以及估计清晰图像J_RAW(x)在RGB域的图像J_RAW(x)γ；

S14、基于图像I_{REC_1}(x)、I(x)以最小化第一损失函数为目标对所述第一SwinIR分支进行训练，以及基于图像J_aT(x)、J_RAW(x)γ以最小化第二损失函数为目标对所述第二SwinIR分支进行训练。

进一步地，所述第一损失函数表示为：

ζ_SwinIR1＝Charbonnier_loss(I_{REC_1}(x)，I(x))+SSIM_loss(I_{REC_1}(x)，I(x))，

其中，Charbonnier-loss(I_{REC_1}(x)，I(x))表示图像I_{REC_1}(x)与I(x)之间的Charbonnier损失；SSIM-loss(I_{REC_1}(x)，I(x))表示图像I_{REC_1}(x)与I(x)之间的SSIM损失。进一步地，所述第二损失函数表示为：

ζ_swinIR2＝Charbonnier_loss(J_RAW(x)^γ，J_GT(x))+SSIM_loss(J_RAW(x)^γ，J_GT(x))，

Charbonnier_loss(J_RAW(x)^γ，J_GT(x))表示图像J_RAW(x)^γ与J_GT(x)之间的Charbonnier损失，SSIM_loss(J_RAW(x)^γ，J_GT(x))表示图像J_RAW(x)^γ与J_GT(x)之间的SSIM损失。

进一步地，Charbonnier_loss(J_RAW(x)^γ，J_GT(x))损失具体由下式计算：

其中，eps是一个常数，取值为10^-7。

进一步地，所述第一SwinIR分支和所述第二SwinIR分支均基于SwinIR架构；

所述第一SwinIR分支包括浅层特征提取模块、深度特征提取模块和高质量图像重建模块；

所述浅层特征提取模块为3×3卷积层；

所述深度特征提取模块包括级联的两个RSTB模块和一个3×3卷积层；所述RSTB模块包括级联的六个Swin Transformer层和一个卷积层，所述Swin Transformer层中设置有8个注意力头；

所述高质量图像重建模块为3×3卷积层；

所述第一SwinIR分支比所述第二SwinIR分支增加了一个残差连接。

进一步地，在所述步骤S2中，对第一阶段训练的网络参数通过最小化如下损失函数进行微调：

ζ_{Stage_2}＝Charbonnier_loss(I_{RBC_2}(x)，I(x))+SSIM_loss(I_{RREC_2}(x)，I(x))+Charbonnier_loss(DCP_T(x)，T(x))，

Charbonnier_loss(I_{REC_2}(x)，I(x))表示图像I_{REC_2}(x)与I(x)之间的Charbonnier损失，I_{REC_2}(x)为基于第一阶段得到的J_RAW(x)γ、透射率T(x)、全局大气光A通过大气散射模型和第一生成器重建得到的RGB雾图，用公式表示为：

I_{REC_2}(x)＝Generator_1(J_RAW(x)^γ·T(x)+A·(1-T(x)))，

Generator_1()为所述第一生成器的函数表示；

SSIM_loss(I_{REC_2}(x)，I(x))表示图像I_{REC_2}(x)与I(x)之间的SSIM损失；

Charbonnier_loss(DCP_T(x)，T(x))表示DCP_T(x)与T(x)之间的Charbonnier损失。

进一步地，在所述步骤S2中，通过最小化如下损失函数来优化所述第二生成器的网络参数：

ζ_{Generator_2}＝Charbonnier_loss(J′(x)，J_GT(x))+SSIM_loss(J′(x)，J_GT(x))，

其中，Charbonnier_loss(J′(x)，J_GT(x))表示由所述第二生成器得到的图像J′(x)与J_GT(x)之间的Charbonnier损失，SSIM_loss(J′(x)，J_GT(x))表示由所述第二生成器得到的图像J′(x)与J_GT(x)之间的SSIM损失。进一步地，所述第一生成器采用CycleGan中的生成器；所述第二生成器比所述第一生成器多一个从输入到输出的跳过连接。

本发明提供的一种基于物理先验与深度学习的单幅图像去雾方法，分为两个阶段。在第一阶段中，利用基于两个并行分支残差的SwinTransformer进行监督训练，分别估计了透射率和清晰图像。在第二阶段，以一种自监督训练的方式对网络进行微调。第二阶段将大气散射模型和暗通道先验相结合，结合先验知识约束网络特征学习，使网络能够在物理机制下进行训练，提高现实场景的去雾性能。在第二阶段中，通过暗通道先验获得全局大气光，网络利用第一阶段获得的透射率和清晰图像通过大气散射模型重建雾天图像，并以输入的原始雾天图像为标签进行自监督训练。本方法通过监督学习和自监督学习进行训练，并结合了物理先验和Transformer的优点，在物理先验的指导下学习特征，提高了网络的泛化能力，使网络对合成的雾天图像和真实世界的雾天图像都具有良好的恢复效果。

附图说明

图1是本发明实施例提供的SwinTD-Net的网络架构图；

图2是本发明实施例提供的伽马校正与逆伽马校正的函数曲线图；

图3是本发明实施例提供的SwinIR分支1的网络架构图；

图4是本发明实施例提供的SwinIR分支2的网络架构图；

图5是本发明实施例提供的RSTB模块和STL模块的网络架构图；

图6是本发明实施例提供的生成器1与生成器2的网络架构图；

图7是本发明实施例提供的室内合成雾天图像去雾结果对比图；

图8是本发明实施例提供的户外真实雾天图像去雾结果对比图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

对于计算机视觉应用程序来说，单幅图像去雾处理是一项具有挑战性的任务。基于物理模型和先验知识的方法在一定条件下会失效，导致颜色失真等缺陷。基于Transformer的方法具有能够有效获取全局信息的自注意机制，具有较强的表示能力。然而，它的计算成本很高，而且其较弱的归纳偏差能力增加了在小样本数据集上进行过拟合的风险。为了解决这些问题，本文提出了一种新的基于物理先验指导的图像去雾Transformer，名为SwinTD-Net，其网络架构如图1所示，它通过监督学习和自监督学习进行训练，并结合了物理先验和Transformer的优点。该算法在物理先验的指导下学习特征，提高了网络的泛化能力，使网络对合成的雾天图像和真实世界的雾天图像都具有良好的恢复效果。

基于该SwinTD-Net，本发明实施例提供了一种基于物理先验与深度学习的单幅图像去雾方法，具体包括步骤：

S1、第一阶段(阶段1)：分别基于第一SwinIR分支、第二SwinIR分支估计RGB雾图I(x)的透射率T(x)和RAW域的清晰图像J_RAW(x)；基于暗通道先验模型(DCP)获取RGB雾图I(x)的全局大气光A和透射率DCP_T(x)；

S2、第二阶段(阶段2)：利用第一阶段获得的T(x)、清晰图像J_RAW(x)、全局大气光A和透射率DCP_T(x)，通过大气散射模型(ASM)和第一生成器、第二生成器对第一阶段训练的网络参数及本阶段训练的网络参数进行微调。

大气散射模型(ASM)表示为：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中x代表图像中像素坐标位置，I(x)是雾天采集的RGB雾图，J(x)代表场景辐射(即要复原的清晰图)，A表示全局大气光，T(x))表示透射率。大气散射模型是对雾天天气下图像成像过程的数学建模，利用大气散射模型进行去雾的过程就是如何利用已知的I(x)去求解或估计出J(x)。这是一个不适定问题，不能直接求解，所以很多方法利用先验知识去估计，如著名的暗通道先验模型(Dark Channel Prior，DCP)。

在过去的数十年里，基于ASM和DCP的单幅图像去雾算法基本上操作于RGB图像。然而，数码相机等电子设备采集的图像经过ISP Pipeline的一系列处理后，从原始的RAW域图像转换为RGB域图像。ISP Pipeline中的伽马校正是一个非线性操作，它改变了原始场景辐射的光强的线性关系，如图2所示。这影响了物理先验的使用，以及神经网络对雾霾特征的提取。因此，我们将RGB图像恢复到RAW图像中，作为ASM和DCP的输入，这更符合大气散射机制。数值上，可以通过执行逆伽马校正来将RGB图像恢复至RAW图像：

γ为ISP Pipeline中的伽马校正值，值通常为1/2.2，I_RAW(x)表示恢复场景辐射光强的线性关系的RAW图像。在我们的SwinTD-Net中，我们首先将RGB图像通过逆伽马校正预处理为RAW图像，最后复原的RAW清晰图像再通过伽马校正转换为RGB图像。

我们将去雾任务分为两个阶段，如图1所示，即通过监督学习估计透射率和清晰图像，以及基于自监督学习的在真实世界中去雾性能的提高。基于先验知识的方法可以实现更好的去雾效果，但会引入一些伪影。基于深度学习的方法可以产生视觉上更好的结果，但可能不完全实现图像去雾，并且容易过拟合导致模型的泛化能力不好。因此，我们的网络架构结合了这两种方法的优点。

进一步地，参见图1，步骤S1具体包括步骤：

S11、将RGB雾图I(x)转化为RAW域的RAW雾图I_RAW(x)；

S12、分别基于第一SwinIR分支、第二SwinIR分支估计RAW雾图I_RAW(x)的透射率T(x)和清晰图像J_RAW(x)；基于暗通道先验模型获取RGB雾图I(x)的全局大气光A和透射率DCP_T(x)；

S13、基于所述RGB雾图I(x)所对应的无雾图像J_GT(x)、透射率T(x)、全局大气光A通过大气散射模型获取重建的RGB雾图I_{REC_1}(x)＝J_GT(x)·T(x)+A·(1-T(x))，以及估计清晰图像J_RAW(x)在RGB域的图像J_RAW(x)^γ；

S14、基于图像I_{REC_1}(x)、I(x)以最小化第一损失函数为目标对第一SwinIR分支进行训练，以及基于图像J_GT(x)、图像J_RAW(x)γ以最小化第二损失函数为目标对第二SwinIR分支进行训练。

在第1阶段，通过等式(2)将RGB模糊图像转换为RAW图像，然后分别用两个平行的简化的SwinIR分支(第一SwinIR分支即SwinIR分支1和第二SwinlR分支即SwinIR分支2)估计图1中的透射率T(x)和RAW域的清晰图像J_RAW(x)。

我们采用了两个并行的SwinIR架构。为了减少模型参数，我们简化了原始的SwinIR架构。原始的SwinIR模型包含6个RSTB模块，用于图像恢复。在我们的图像去雾任务中，我们将RSTB模块的数量减少到2个，同时取得了良好的效果。此外，我们将STL中的注意力头的数量扩大到8个。此外，简化后的SwinIR更适合用于图像去雾任务，也为轻量级去雾网络的研究提供了价值。第一SwinIR分支和第二SwinIR分支的结构分别如图3和图4所示。其中，浅层特征提取为3×3卷积层，RSTB模块后面的Conv也为3×3卷积层。高质量(HQ)图像重建是聚合Swin变换的卷积浅层特征和深层特征，重建函数在我们的去雾任务中也使用了3×3卷积层。浅层特征主要包含低频信息，深层特征主要包含高频信息，最终通过重建模块进行聚合。

RSTB模块的结构如图5(a)所示，RSTB模块包括级联的六个Swin Transformer层(STL)和一个卷积层，Swin Transformer层中设置有8个注意力头。Swin Transformer层的结构如图5(b)所示。RSTB模块中的卷积层使Swin Transformer具有归纳偏差的能力，并为最终的特征聚合提供了基础。

为了使训练更稳定，收敛速度更快，我们还给简化的SwinIR分支2增加了一个残差连接。在我们的实验机器和条件下，我们测量了简化的SwinIR和原始的SwinIR的推理速度。每次我们输入一个图像(调整大小为128*128)，我们计算平均值100次，并重复操作10次。经过测试，原来的SwinIR是4.8FPS，我们的简化的SwinIR是7.2FPS，推理速度有了很大的提高。

SwinIR分支2是用来估计RAW域中的场景辐射J_RAW(x)，然后通过伽马校正将其恢复到RGB空间图像(也就是图1中的

)。我们使用了Charbonnier损失和SSIM损失。通过最小化损失函数，对SwinIR分支2的参数进行了优化：

ζ_swinIR2＝Charbonnier_loss(J_RAW(x)^γ，J_GT(x))+SSIM_loss(J_RAW(x)^γ，J_GT(x)) (3)

其中，J_GT(x)为网络输入对应的ground truth(真实的重建图像)。Charbonnier-loss(J_RAW(x)^γ，J_GT(x))表示图像J_RAW(x)^γ与J_GT(x)之间的Charbonnier损失，SSIM_loss(J_RAW(x)^γ，J_GT(x))表示图像J_RAW(x)^γ与J_GT(x)之间的SSIM损失。

Charbonnier损失可以表示为：

其中，eps是一个常数，取值为10^-7。SSIM的损失可以表示为：

其中，Num为总像素个数。

SwinIR分支1的目的是估计透射率T(x)。由于户外雾图的透射率几乎没有groundtruth，我们通过使用J_GT(x)重建雾图来训练SwinIR分支1。根据ASM，重建的RGB雾图可以表示为：

I_{REC_1}(x)＝J_GT(x)·T(x)+A·(1-T(x)) (6)

A由DCP估计得到。我们通过最小化如下损失函数来优化SwinIR分支1的参数：

ζ_SwinIR1＝Charbonnier_loss(I_{REC_1}(x)，I(x))+SSIM_loss(I_{REC_1}(x)，I(x)) (7)

其中，Charbonnier-loss(I_{REC_1}(x)，I(x))表示图像I_{REC_1}(x)与I(x)之间的Charbonnier损失；SSIM_loss(I_{REC_1}(x)，I(x))表示图像I_{REC_1}(x)与I(x)之间的SSIM损失，计算的方式与式(4)和(5)相同。

第二阶段是提高网络对真实世界雾天图像的去雾性能。这个阶段，我们只使用雾图，而不使用相应的ground truth，以自监督学习的方式微调网络。这种方式对真实世界的雾天图像非常有利，因为很难从真实世界的雾图中获得相应的清晰图像。我们还在这一阶段结合了DCP和ASM，让网络进一步学习物理先验。然而，我们在实验过程中发现了两个问题。首先，我们发现，当使用A(由DCP估计)、T(x)(由SwinIR分支1估计)和

(由SwinIR分支2估计)通过ASM重建雾图进行自监督学习时，通过微调网络获得的恢复的清晰图像并没有显著改善。其次，我们发现所提出的网络模型在合成模糊数据集中恢复图像的局部区域出现暗块，这可能是由于合成雾天图像的均匀雾霾分布造成的。对于第一个问题，我们认为基于ASM重建雾图像的过程不够准确。事实上，这是相对容易理解的，因为我们在这个阶段输入的图像主要是现实世界的模糊图像。这些图像具有不同的雾霾浓度和不均匀的雾霾分布，但ASM是理想化的建模，并不完全适用于复杂的雾霾场景。因此，在基于ASM的模糊图像重建后，我们使用生成器1(第一生成器)进一步拟合真实世界雾图像的成像过程，以弥补ASM和DCP的不足。对于第二个问题，我们训练生成器2(第二生成器)作为图像增强器，以进一步增强图像暗块中场景的恢复。我们使用的两个生成器是CycleGan中相对简单的生成器，主要由9个残差块组成。生成器1和生成器2的结构分别如图6(a)和图6(b)所示，生成器2比生成器1多有一个从输入到输出的跳过连接。

ASM、DCP和生成器1都参与自监督学习，对第一阶段预训练的网络参数进行微调。这一阶段重建的模糊图像I_{REC_2}(x)可以表示为：

I_{REC_2}(x)＝Generator_1(J_RAw(x)^γ·T(x)+A·(1-T(x))) (8)

Generator_1()为第一生成器的函数表示，SSIM-loss(I_{REC_2}(x)，I(x))表示图像I_{REC_2}(x)与I(x)之间的SSIM损失，Charbonnier_loss(DCP_T(x)，T(x))表示DCP_T(x)与T(x)之间的Charbonnier损失，计算的方式与式(4)和(5)相同。

我们对第一阶段的网络参数通过最小化如下损失函数进行微调：

ζ_{Stage_2}＝Charbonnier_loss(I_{REC_2}(x)，I(x))+SSIM_loss(I_{REC_2}(x)，I(x))+Charbonnier_loss(DCP_T(x)，T(x)) (9)

其中，DCP_T(x)为DCP估计的透射率。在这个损失函数中，我们在T(x)上添加了一个DCP先验约束，使由SwinIR分支1估计的T(x)更符合物理先验。通过实验，我们发现，如果对T(x)没有先验约束，微调过程将非常不稳定，难以收敛。对于生成器2，我们通过最小化以下损失函数来优化生成器2的网络参数：

ζ_{Generator_2}＝Charbonnier_loss(J′(x)，J_GT(x))+SSIM_loss(J′(x)，J_GT(x)) (10)

其中，Charbonnier_loss(J′(x)，J_GT(x))表示由所述第二生成器得到的图像J′(x)与J_GT(x)之间的Charbonnier损失，SSIM_loss(J′(x)，J_GT(x))表示由所述第二生成器得到的图像J′(x)与J_GT(x)之间的SSIM损失，计算的方式与式(4)和(5)相同。

总结而言，本发明提供的一种基于物理先验与深度学习的单幅图像去雾方法，分为两个阶段。在第一阶段中，利用基于两个并行分支残差的Swin Transformer进行监督训练，分别估计了透射率和清晰图像。在第二阶段，以一种自监督训练的方式对网络进行微调。第二阶段将大气散射模型和暗通道先验相结合，结合先验知识约束网络特征学习，使网络能够在物理机制下进行训练，提高现实场景的去雾性能。在第二阶段中，通过暗通道先验获得全局大气光，网络利用第一阶段获得的透射率和清晰图像通过大气散射模型重建雾天图像，并以输入的原始雾天图像为标签进行自监督训练。本方法通过监督学习和自监督学习进行训练，并结合了物理先验和Transformer的优点，在物理先验的指导下学习特征，提高了网络的泛化能力，使网络对合成的雾天图像和真实世界的雾天图像都具有良好的恢复效果。

下面对本方法的效果进行实验验证。

我们将我们的方法与一些先进的图像去雾方法进行实验对比，其中有基于先验知识的方法，有基于深度学习的方法，如DCP、DehazeNet、AODNet、GridDehazeNet、MSBDN、FFANet、RefineDNet、PSD、D⁴。对于定量评价，我们使用PSNR和SSIM度量指标进行对比。为了确保实验的公平性，我们重新测试了所有用于实验对比的数据集，包括可视化结果和定量评价，使用这些方法的公开代码和模型。

对于合成雾天图像，图7为不同去雾方法在室内合成雾天图像的可视化结果比较。可以看出，DCP恢复的图像颜色较暗，而DehazeNet、AODNet、PSD和D⁴恢复的图像仍有残留的雾霾。GridDehazeNet恢复的图像会失真。通过MSBDN恢复的图像对比度不足，细节恢复不足，如图中的局部放大部分。FFANet的方法有点过度脱模糊，图中局部放大的部分过度增加了暗区的亮度。RefineDNet恢复的图像有明显的噪声，如图中桌子的颜色有明显的偏差。通过我们的方法恢复的图像在颜色和细节上最接近ground truth(GT)，而图中PSNR和SSIM得分也是我们的方法最高，进一步验证了我们的方法的性能。

图像去雾的主要目的是在真实的雾天环境中对高级计算机视觉任务进行预处理，对于户外真实雾天图像，如图8所示，进一步验证了我们的方法在真实世界的雾图的性能。从图中可以看出，DCP和AODNet恢复的图像雾度较少，但颜色太暗。通过DehazeNet和PSD方法恢复的图像亮度较高，但去雾效果不好。通过GridDehazeNet、MSBDN、FFANet、RefeneDNet、D⁴等方法恢复的图像都有残留的雾霾，而通过我们的方法恢复的雾霾是最少的而且离ground truth图像最接近。图中PSNR和SSIM得分也是我们的方法最高，进一步验证了我们的方法的性能。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于物理先验与深度学习的单幅图像去雾方法，其特征在于，包括步骤：

S1、第一阶段：分别基于第一SwinIR分支、第二SwinIR分支估计RGB雾图I(x)的透射率T(x)和RAW域的清晰图像J_RAW(x)；基于暗通道先验模型获取所述RGB雾图I(x)的全局大气光A和透射率DCP_T(x)；

S2、第二阶段：利用第一阶段获得的T(x)、清晰图像J_RAW(x)、全局大气光A和透射率DCP_T(x)，通过大气散射模型和第一生成器、第二生成器对第一阶段训练的网络参数及本阶段训练的网络参数进行微调。

2.根据权利要求1所述的一种基于物理先验与深度学习的单幅图像去雾方法，其特征在于，所述步骤S1具体包括步骤：

S11、将所述RGB雾图I(x)转化为RAW域的RAW雾图I_RAW(x)；

S12、分别基于第一SwinIR分支、第二SwinIR分支估计所述RAW雾图I_RAW(x)的透射率T(x)和清晰图像J_RAW(x)；基于暗通道先验模型获取所述RGB雾图I(x)的全局大气光A和透射率DCP_T(x)；

S13、基于所述RGB雾图I(x)所对应的无雾图像J_GT(x)、透射率T(x)、全局大气光A通过大气散射模型获取重建的RGB雾图I_{REC_1}(x)＝J_GT(x)·T(x)+A·(1-T(x))，以及估计清晰图像J_RAW(x)在RGB域的图像J_RAW(x)^γ；

S14、基于图像I_{REC_1}(x)、I(x)以最小化第一损失函数为目标对所述第一SwinIR分支进行训练，以及基于图像J_GT(x)、J_RAW(x)^γ以最小化第二损失函数为目标对所述第二SwinIR分支进行训练。

3.根据权利要2所述的一种基于物理先验与深度学习的单幅图像去雾方法，其特征在于，

所述第一损失函数表示为：

ζ_SwinIR1＝Charbonnier_loss(I_{REC_1}(x)，I(x))+SSIM_loss(I_{REC_1}(x)，I(x))，

其中，Charbonnier_loss(I_{REC_1}(x)，I(x))表示图像I_{REC_1}(x)与I(x)之间的Charbonnier损失；SSIM_loss(I_{REC_1}(x)，I(x))表示图像I_{REC_1}(x)与I(x)之间的SSIM损失。

4.根据权利要求3所述的一种基于物理先验与深度学习的单幅图像去雾方法，其特征在于，所述第二损失函数表示为：

ζ_SwinIR2＝Charbonnier_loss(J_RAW(x)^γ，J_GT(x))+SSIM_loss(J_RAW(x)^γ，J_GT(x))，

Charbonnier_loss(J_RAW(x)^γ，J_GT(x))表示图像J_RAW(x)γ与J_GT(x)之间的Charbonnier损失，SSIM_loss(J_RAW(x)^γ，J_GT(x))表示图像J_RAW(x)^γ与J_GT(x)之间的SSIM损失。

5.根据权利要求4所述的一种基于物理先验与深度学习的单幅图像去雾方法，其特征在于，Charbonnier_loss(J_RAW(x)^γ，J_GT(x))损失具体由下式计算：

其中，eps是一个常数，取值为10⁷。

6.根据权利要求5所述的一种基于物理先验与深度学习的单幅图像去雾方法，其特征在于，所述第一SwinIR分支和所述第二SwinIR分支均基于SwinIR架构；

所述第一SwinIR分支包括浅层特征提取模块、深度特征提取模块和高质量图像重建模块；

所述浅层特征提取模块为3×3卷积层；

所述深度特征提取模块包括级联的两个RSTB模块和一个3×3卷积层；所述RSTB模块包括级联的六个Swin Transformer层和一个卷积层，所述Swin Transformer层中设置有8个注意力头；

所述高质量图像重建模块为3×3卷积层；

所述第一SwinIR分支比所述第二SwinIR分支增加了一个残差连接。

7.根据权利要求2～6任一项所述的一种基于物理先验与深度学习的单幅图像去雾方法，其特征在于，在所述步骤S2中，对第一阶段训练的网络参数通过最小化如下损失函数进行微调：

ζ_{Stage_2}＝Charbonnier_loss(I_{REC_2}(x)，I(x))+SSIM_loss(I_{RBC_2}(x)，I(x))+Charbonnier_loss(DCP_T(x)，T(x))，

Charbonnier_loss(I_{REC_2}(x)，I(x))表示图像I_{REC_2}(x)与I(x)之间的Charbonnier损失，I_{REC_2}(x)为基于第一阶段得到的J_RAW(x)^γ、透射率T(x)、全局大气光A通过大气散射模型和第一生成器重建得到的RGB雾图，用公式表示为：

I_{REC_2}(x)＝Generator_1(J_RAW(x)^γ·T(x)+A·(1-T(x)))，

Generator_1()为所述第一生成器的函数表示；

SSIM_loss(I_{REC_2}(x)，I(x))表示图像I_{REC_2}(x)与I(x)之间的SSIM损失；

Charbonnier_loss(DCP_T(x)，T(x))表示DCP_T(x)与T(x)之间的Charbonnier损失。

8.根据权利要求7所述的一种基于物理先验与深度学习的单幅图像去雾方法，其特征在于，在所述步骤S2中，通过最小化如下损失函数来优化所述第二生成器的网络参数：

ζ_{Generator_2}＝Charbonnier_loss(J′(x)，J_GT(x))+SSIM_loss(J′(x)，J_GT(x))，

其中，Charbonnier_loss(J′(x)，J_GT(x))表示由所述第二生成器得到的图像J′(x)与J_GT(x)之间的Charbonnier损失，SSIM_loss(J′(x)，J_GT(x))表示由图像J′(x)与J_GT(x)之间的SSIM损失。

9.根据权利要求8所述的一种基于物理先验与深度学习的单幅图像去雾方法，其特征在于：所述第一生成器采用CycleGan中的生成器；所述第二生成器比所述第一生成器多一个从输入到输出的跳过连接。

Images