CN111681178A - 一种基于知识蒸馏的图像去雾方法 - Google Patents

Abstract

一种基于知识蒸馏的图像去雾方法，属于图像处理与深度学习技术领域。通过模仿异构任务的知识来训练图像去雾网络，包含两个子网络：一个是教师网络，由自编码网络构成；另一个是学生去雾网络，为端到端去雾网络。教师网络的目标是学习干净图像的特征表示，学生去雾网络的目的是通过模拟干净图像的特征表示将有雾图像映射到清晰图像；学生去雾网络通过学习教师网络所包含的暗知识来提升去雾网络的性能。

Description

一种基于知识蒸馏的图像去雾方法

技术领域

本发明属于图像处理与深度学习技术领域，尤其是涉及一种基于知识蒸馏的图像去雾方法。

背景技术

在人工智能被认为是第四次工业革命以来，全球顶尖、最有影响力的技术公司如google、facebook等都将目光转向AI。神经网络在计算机视觉，自然语言处理等方面的贡献是毋庸置疑的，随着算法的不断完善，部分垂直领域的研究已经落地应用。在计算机视觉领域，目前神经网络的应用主要有图像识别、目标定位与检测、语义分割等。图像识别就是告诉你图像是什么，目标定位与检测告诉你图像中目标在哪里，语义分割则是从像素级别回答上面两个问题。随着深度学习的兴起，语义分割取得了显著的进步。近年来，更多的焦点转移到通过实现对特殊应用如医学图像诊断、城市规划和道路提取以及无人车对道路的识别等问题上来。这些特殊的应用往往是包含2MB高分辨率或4MB超高分辨率图像，若将原图直接输入到流行的语义分割模型中，标准的GPU设备很难承受如此巨大的计算负担，并且要花费大量时间。若采取简单地将原图下采样再输入到流行的语义分割模型中，则会损失过多的细节信息，很难得到好的分割结果。因此，如何对高分辨率以及超高分辨率图像的语义分割取得计算资源消耗、推理速度和准确率三者之间权衡成了一个炙手可热的研究方向。

先进的深度去雾模型的训练通常是非常困难的，知识的蒸馏为知识的获取和模仿铺平了道路。然而,大部分的知识提取方法用于图像的分类和分割以及目标检测，很少有人研究提取图像恢复并使用不同的任务进行知识迁移。

发明内容

本发明的目的在于针对上述端到端图像去雾网络训练困难和预测精度低等问题，提供一种基于知识蒸馏的图像去雾方法。

本发明包括以下步骤：

1)构建教师网络，采用编码器-解码器结构作为教师网络，用于学习干净图像的特征表示，所述教师网络由下采样模块、骨干模块和上采样模块组成；

2)构建学生去雾网络，使用短跳跃和长跳跃连接构成一个深的网络作为学生去雾网络，用于通过模拟干净图像的特征表示将有雾图像映射到清晰图像；所述学生去雾网络的骨干模块由若干个长残差模块RIR构成，每个RIR模块由若干个空间加权的通道注意力残差模块SWRCAB组成；学生去雾网络与教师网络具有相同的架构；

3)使用无监督学习的方式训练优化教师网络；

4)使用有雾图像和干净图像对训练优化学生去雾网络；

5)采用平均绝对误差来测量ground-truth与去雾结果的区别，得到重建结果；

6)用感知损失来测量ground-truth与去雾结果之间特征表示的差异；

7)学生去雾网络通过模拟教师网络的特征表示来学习教师网络的暗知识，实现学生去雾网络性能的提升，实现图像去雾。

在步骤1)中，所述下采样模块使用两个3×3的卷积层将输入图像缩小为原来的1/16，每个卷积层后接着一个ReLU层；所述骨干模块由6个残差块构成，每个残差块由convolution-ReLU-convolution-Add的形式构建，没有进行批处理规范化；所述上采样模块使用两个3×3卷积层，每个卷积层后接着一个ReLU层，然后使用双线性上采样层将特征放大到原来的尺寸，紧接着通过一个Tanh激活函数，所有卷积层都有64个通道。

在步骤2)中，所述学生去雾网络的骨干模块由若干个长残差模块RIR构成的具体步骤包括：

(1)对于输入特征f每个RIR模块的输出为：

f＝f+SWRCAB_n(…SWRCAB₁(f))

其中，SWRCAB()为SWRCAB模块的操作；

(2)对于输入特征f，RIR模块首先使用一个conv-relu模块提取特征f1，然后使用一个conv-sigmoid获取特征f1的空间权重w，使用一个conv层对f1进行变换得到f2，使用w对f2进行加权得到f3，接着提取空间加权特征的通道注意力，即使用全局平均池化-全连接-Sigmoid的串联结构提取特征的通道注意力C，最后得到通道加权特征f4＝C*f2，RIR模块的输出为f＝f+f4。

在步骤3)中，所述优化教师网络的损失函数为：

L_T＝||J-T(J)||₁

其中，T为教师网络，J为输入的干净图像。

在步骤4)中，所述优化学生去雾网络的损失函数为：

L_S＝L_r+λ_pL_p+λ_rmL_rm，

其中，Lr为重建损失，Lp为感知损失，Lrm指的是模仿损失的表象，其目的是模仿干净图像域的特征表示，λp和λrm为权重系数。

在步骤5)中，所述平均绝对误差表示为：

L_r＝||S(I)-J||₁

其中，S(I)表示去雾结果，J表示ground-truth。

在步骤6)中，所述感知损失表示为：

其中，Φⁱ表示特征提取算子的第i层，Mi为使用的特征层数。

在步骤7)中，所述学生去雾网络通过模拟教师网络的特征表示来学习教师网络的暗知识的具体方法可为：

设计特征匹配模仿损失(FMIL),假设T^m(J)表示教师网络使用干净图像J作为输入时的第m层的特征映射，Sⁿ(I)表示将学生网络使用有雾图像I作为输入时第n层的特征映射，设g为线性变换函数，则FMIL表示为：

其中，C是一组候选特征表示对。

本发明中提出一种基于知识蒸馏的图像去雾网络，利用异构任务的知识模仿训练图像去雾网络。本发明提供的基于知识蒸馏的图像去雾方法包含两个网络，一个是教师网络，由自编码网络构成；另一个是学生去雾网络，为端到端去雾网络。教师网络的目标是学习干净图像的特征表示，学生去雾网络的目的是通过模拟干净图像的特征表示将有雾图像映射到清晰图像；学生去雾网络通过学习教师网络所包含的暗知识来提升图像去雾性能。

与现有技术相比，本发明具有以下突出的优点：

1、本发明提出了一种基于知识蒸馏的图像去雾方法，通过设计教师网络来学习干净图像的暗知识和重建过程，并使用特征模仿损失来模拟教师网络的知识，实现学生去雾网络性能的提升，本发明所提出方法具有较好的去雾效果。

2、本发明所提出的通道注意力残差模块SWRCAB可以自适应地更加关注雾气浓度更高的区域，提取出更具有表征的特征，解决了现有技术无法区分低浓度和高浓度的雾区域的问题。

附图说明

图1为本发明方法的整体网络结构图。

图2为本发明网络结构中的空间加权的通道注意力残差模块(SWRCAB)的结构图。

图3为本发明实现的学生去雾网络特征域的变换图。其中：(a)为没有教师的监督，(b)为在教师监督下。

图4为本发明60个epoch中不同设置的PSNR折线图。

图5为本发明加入空间权重模块前后的对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

(1)如图1所示，为本发明提出的基于知识蒸馏的图像去雾方法的整体网络结构图，包括以下步骤：

(1a)使用干净图像训练教师网络，在本实施例中，使用PyTorch 1.2.0框架实现自编码网络，并预设迭代次数为30次。其中，教师网络的损失函数为：

L_T＝||J-T(J)||₁

其中T为教师网络，J为输入的干净图像；

(1b)构建学生去雾网络。具体的，在本实施例中，学生去雾网络使用短和长跳跃连接构成一个非常深的网络，学生去雾网络的骨干模块由若干个长残差模块RIR构成，每个RIR模块由若干个空间加权的通道注意力残差模块SWRCAB组成。具体的，对于输入特征f每个RIR模块的输出为：

f＝f+SWRCAB_n(…SWRCAB₁(f))

其中，SWRCAB()为SWRCAB模块的操作；

(2)如图2所示为本发明设计的空间加权的通道注意力残差模块(SWRCAB)的结构图。对于输入特征f，RIR模块首先使用一个conv-relu模块提取特征f1，然后使用一个conv-sigmoid获取特征f1的空间权重w，使用一个conv层对f1进行变换得到f2，使用w对f2进行加权得到f3，接着提取空间加权特征的通道注意力，即使用全局平均池化-全连接-Sigmoid的串联结构提取特征的通道注意力C，最后得到通道加权特征f4＝C*f2。RIR模块的输出为f＝f+f4。具体的，在本实施例中，学生去雾网络的骨干模块由3个RIR模块组成；

(3)使用有雾图像和干净图像对训练学生去雾网络，在本实施例中，具体步骤如下：

(3a)使用PyTorch 1.2.0框架实现自编码网络，并预设迭代次数为60次，使用Adamoptimizer进行训练，初始学习率为0.0001，动量为0.9，其中，学生网络的损失函数为：

L_S＝L_r+λ_pL_p+λ_rmL_rm

其中，Lr为重建损失，Lp为感知损失，Lrm指的是模仿损失的表象，其目的是模仿干净图像域的特征表示，λp和λrm为权重系数；

(3b)具体的，在本实施例中，采用平均绝对误差来测量ground-truth与去雾结果的区别:

L_r＝||S(I)-J||₁

其中S(I)表示去雾结果，J表示ground-truth；

(3c)具体的，在本实施例中，感知损失用来测量ground-truth与去雾结果之间特征表示的差异，感知损失Lp为：

其中Φⁱ表示特征提取算子的第i层，Mi为使用的特征层数；

(3d)具体的，在本实施例中，学生去雾网络通过模拟教师网络的特征表示来学习教师网络的暗知识,本发明设计了特征匹配模仿损失(FMIL),假设T^m(J)表示教师网络使用干净图像J作为输入时的第m层的特征映射，Sⁿ(I)表示将学生去雾网络使用有雾图像I作为输入时第n层的特征映射，设g为线性变换函数，则FMIL表示为：

其中C是一组候选特征表示对。如图3所示，为本发明实现的学生网络特征域的变换结果，学生去雾网络提取出的有雾图像的特征实现了向教师网络特征的对齐。

以下给出实验结果以及分析：

实验一、进行消融研究以调查损失函数对去雾面的效果

为了验证损失函数对去雾效果的影响、SWRCAB的作用以及教师网络的敏感性。将包含6个由SEResBlock构建的RIR块，采用L₁损失函数进行训练的结果作为基准，进行六次SWRCAB搭配不同的loss函数的实验。分别为：

(1)L₁：将SEResBlock替换为SWRCAB，构建去雾网络，利用L₁重构损失进行训练。

(2)L₁+L_ds：在去雾网络中，总损失函数包含两项分别为L₁重构损失和深度监督损失L_ds。深度监督不仅意味着对最终产出的监督，而且还有对中间层的监督。

(3)L₁+L_p:L1重构损失与感知损失被用来训练去雾网络。

(4)L₁+L_rm：L₁重构损失与FMIL用于训练去雾网络。

(5)L₁+L_p+L_rm：L₁重构损失之和，感知损失和FMIL用于训练去雾网络。

(6)L₁+L_p+L_wrm:：L₁重构损失之和，感知损失和WFMIL用于训练去雾网络。

六个不同方案的平均PSNR和SSIM值为见表1。

表1

显然，使用FMIL的去雾网络的除雾效果优于baseline具体而言，可以观察到以下结果：(1)SWRCAB比SEResBlock更有效地提高去雾性能，并且在PSNR和SSIM方面的增益为(0.71，0.0031)；(2)传统的感知损失和FMIL都提高了去雾性能，且FMIL更好，在PSNR和SSIM方面相比基准的增益为(1.06,0.0046)；(3)提出的损失函数L1+Lp+Lrm和L1+Lp+Lwrm在ground-truth和中间特征的监督下表现最好；(4)WFMIL去雾效果性能优于FMIL，在PSNR和SSIM方面相比使用FMIL的增益为(0.57,0.0007)。

对优化去雾网络的过程进行分析，图4展示PSNR在不同的环境下的60个epoch。它表明了上述方法收敛速度快，取得较好的结果。

实验二、过程导向学习与结果导向学习的对比实验

KDDN被视为一种面向过程的方法，而最先进的去雾方法则是面向结果的。具体来说，损失衡量的是去雾结果与干净目标图像的表征差异，而KDDN衡量去雾网络与教师之间的中间特征差异。KDDN采用自动编码器网络进行图像重构，辅助去雾网络进行训练。而最先进的方法只包含一个流线型的图像去雾，KDDN可以获得更好的结果，如表1所示。

实验三、模仿的有效性验证

模型旨在使除雾网络的特征分布与教师相似。从SOTS室内数据集中随机选取100幅图像，使用t-SNE绘制除雾网络的第4个RIR和教师的第2个ResBlock的特征，如图3所示，通过模拟损失的表示方法，可以实现更好的特征表示。表1的定量结果也表明，与只训练L₁损失的基线模型相比，该方法可以获得更优的PSNR和SSIM性能。

实验四、SWRCAB的有效性验证

空间加权前后的特征如图5所示。提出的空间加权可以细化特征，并对空间位置给予不同的关注,表1给出的定量结果也验证了SWRCAB的有效性。

实验五、教师网络的敏感性

该方法利用一个自编码网络来提取干净图像的中间表示。为了调查教师对去雾网络的性能影响，进行四种不同实验，使用L₁损失设置不同的教师：随机初始化老师(随机),没有老师的监督(w/o)和中期业绩的监督老师(wM),和一个高性能的监督老师(wH)。结果表明，坏老师对优化除雾网络没有帮助，好老师对改善除雾性能有帮助。

综上，本发明涉及图像恢复领域，整体架构由教师网络和学生去雾网络构成；学生去雾网络通过模拟教师网络的特征表示来学习教师网络的暗知识；通过设计教师网络来学习干净图像的暗知识和重建过程，并使用特征模仿损失来模拟教师网络的知识，实现学生去雾网络性能的提升，本发明所提出方法具有较好的去雾效果。

Claims (8)

1.一种基于知识蒸馏的图像去雾方法，其特征在于包括以下步骤：

1)构建教师网络，采用编码器-解码器结构作为教师网络，用于学习干净图像的特征表示，所述教师网络由下采样模块、骨干模块和上采样模块组成；

2)构建学生去雾网络，使用短跳跃和长跳跃连接构成一个深的网络作为学生去雾网络，用于通过模拟干净图像的特征表示将有雾图像映射到清晰图像；所述学生去雾网络与教师网络具有相同的架构，不同的是学生去雾网络的骨干模块由若干个长残差模块RIR构成，每个RIR模块由若干个空间加权的通道注意力残差模块SWRCAB组成；

3)使用无监督学习的方式训练优化教师网络；

4)使用有雾图像和干净图像对训练优化学生去雾网络；

5)采用平均绝对误差来测量ground-truth与去雾结果的区别，得到重建结果；

6)用感知损失来测量ground-truth与去雾结果之间特征表示的差异；

7)学生去雾网络通过模拟教师网络的特征表示来学习教师网络的暗知识，实现学生去雾网络性能的提升，实现图像去雾。

2.如权利要求1所述一种基于知识蒸馏的图像去雾方法，其特征在于在步骤1)中，所述下采样模块使用两个3×3的卷积层将输入图像缩小为原来的1/16，每个卷积层后接着一个ReLU层；所述骨干模块由6个残差块构成，每个残差块由convolution-ReLU-convolution-Add的形式构建，没有进行批处理规范化；所述上采样模块使用两个3×3卷积层，每个卷积层后接着一个ReLU层，然后使用双线性上采样层将特征放大到原来的尺寸，紧接着通过一个Tanh激活函数，所有卷积层都有64个通道。

3.如权利要求1所述一种基于知识蒸馏的图像去雾方法，其特征在于在步骤2)中，所述学生去雾网络的骨干模块由若干个长残差模块RIR构成的具体步骤包括：

(1)对于输入特征f每个RIR模块的输出为：

f＝f+SWRCAB_n(…SWRCAB₁(f))

其中，SWRCAB()为SWRCAB模块的操作；

(2)对于输入特征f，RIR模块首先使用一个conv-relu模块提取特征f1，然后使用一个conv-sigmoid获取特征f1的空间权重w，使用一个conv层对f1进行变换得到f2，使用w对f2进行加权得到f3，接着提取空间加权特征的通道注意力，即使用全局平均池化-全连接-Sigmoid的串联结构提取特征的通道注意力C，最后得到通道加权特征f4＝C*f2，RIR模块的输出为f＝f+f4。

4.如权利要求1所述一种基于知识蒸馏的图像去雾方法，其特征在于在步骤3)中，所述优化教师网络的损失函数为：

L_T＝||J-T(J)||₁

其中，T为教师网络，J为输入的干净图像。

5.如权利要求1所述一种基于知识蒸馏的图像去雾方法，其特征在于在步骤4)中，所述优化学生去雾网络的损失函数为：

L_S＝L_r+λ_pL_p+λ_rmL_rm，

其中，Lr为重建损失，Lp为感知损失，Lrm指的是模仿损失的表象，其目的是模仿干净图像域的特征表示，λp和λrm为权重系数。

6.如权利要求1所述一种基于知识蒸馏的图像去雾方法，其特征在于在步骤5)中，所述平均绝对误差表示为：

L_r＝||S(I)-J||₁

其中，S(I)表示去雾结果，J表示ground-truth。

7.如权利要求1所述一种基于知识蒸馏的图像去雾方法，其特征在于在步骤6)中，所述感知损失表示为：

其中，Φⁱ表示特征提取算子的第i层，Mi为使用的特征层数。

8.如权利要求1所述一种基于知识蒸馏的图像去雾方法，其特征在于在步骤7)中，所述学生去雾网络通过模拟教师网络的特征表示来学习教师网络的暗知识的具体方法为：

设计特征匹配模仿损失(FMIL),假设T^m(J)表示教师网络使用干净图像J作为输入时的第m层的特征映射，Sⁿ(I)表示将学生网络使用有雾图像I作为输入时第n层的特征映射，设g为线性变换函数，则FMIL表示为：

其中，C是一组候选特征表示对。

Images