CN115358942A - 一种课程学习与师生学习相结合的图像去雾方法 - Google Patents

Abstract

本发明公开了一种课程学习与师生学习相结合的图像去雾方法，属于计算机视觉、恶劣自然环境处理技术领域。先使用教师模型对较易学习的薄雾图进行图像恢复，之后将教师模型固定，再对学生浓雾去雾模型进行训练，训练过程中不止使用学生网络自身的损失函数，还使用教师网络对学生网络的监督蒸馏损失，最后训练好的学生模型可以独立高效地进行图像去雾。通过组织由薄雾到浓雾、由易到难的学习过程，能够得到更好的特征学习结果。这种新颖的图像去雾策略可以有效克服传统去雾算法对于雾霾分布不均匀的真实场景去雾效果差的难题，可以得到去雾更加彻底的图像，更好地恢复了图像的细节信息，同时有效提升了去雾模型的性能。

Description

一种课程学习与师生学习相结合的图像去雾方法

技术领域

本发明属于计算机视觉、恶劣自然环境处理技术领域，具体涉及一种课程学习与师生学习相结合的图像去雾方法。

背景技术

雾的产生是因为近地面大气中悬浮着直径微小的水滴或冰晶组成的气溶胶系统干扰了物体对光的反射，霾的产生则是由于大气中存在着的灰尘等固态颗粒影响了光的反射。伴随着工业产业的发展，雾霾天气在日常生活中出现的越来越频繁，主要表现为空气质量变差和能见度降低。在交通安全方面，雾霾天气导致车辆在行驶过程中视野距离变短，极易发生交通事故；在军事安全方面，雾霾天气会严重影响军用视觉系统的稳定性，造成制导等武器系统的精度降低；在航空航天方面，雾霾会干扰飞行员的视线，影响航空出行的安全。因此稳定有效地去除图像中的雾霾，恢复出清晰的无雾图，具有非常重要的现实意义。

目前图像去雾有着许多的研究进展，去雾方法可以大致分为两个方向：基于学习的图像去雾算法和非基于学习的图像去雾算法。其中，非基于学习的图像去雾算法大致包括基于传统增强的图像去雾算法和基于先验模型的图像去雾算法。基于传统增强的图像去雾算法主要通过增强图像对比度来达到去雾的目的，如直方图均衡化、Retinex去雾算法等，但这种方法只能在一定程度上改善图像的视觉效果，没有考虑到雾霾形成的本质。基于先验模型的图像去雾算法主要是基于大气光散射模型，通过估计图像透射率和大气光值来实现无雾图像和有雾图像之间的转换，如暗通道去雾等，但当先验条件不满足时去雾效果会变差。基于深度学习的图像去雾算法通过设计网络结构，利用雾图数据集来对模型进行训练，目前这种方式已经成为主流的去雾方法。

课程学习主张模型不直接学习较复杂样本，而是从简单样本开始学起，再逐步进阶到复杂样本的学习，模型在训练初期会将更多的精力花在简单样本的学习上，当在简单样本上达到较好的学习效果后再进行复杂样本的学习。这种学习方式会引导模型的训练朝局部最优进行，实现更好的泛化效果。

师生学习通常包含一个教师模型和一个学生模型，其核心思想是通过设计知识蒸馏方式，把性能优越的教师模型的知识迁移给学生模型，以帮助学生模型达到相比较没有教师模型辅助更好的性能，常用于模型压缩。具体可以对教师薄雾去雾网络和学生浓雾去雾网络的最终输出做蒸馏，也可以对教师薄雾去雾网络和学生浓雾去雾网络中间层的特征图直接或间接做蒸馏，还可以将网络层与层之间的映射关系定义为“流”，再对这种映射关系设计损失函数做蒸馏。

发明内容

针对目前真实场景下非均匀雾霾去雾效果差、容易出现雾残留的问题，本发明提供了一种课程学习与师生学习相结合的图像去雾方法。

为了达到上述目的，本发明采用了下列技术方案：

一种课程学习与师生学习相结合的图像去雾方法，包括以下步骤：

步骤1，获取目前公开的合成和真实场景雾霾图像数据集，并将收集到的雾霾图像数据集分为训练集、验证集和测试集；

步骤2，分别对合成和真实场景雾霾图像数据集进行样本难易划分，根据课程学习策略将薄雾图划分为简单样本，将浓雾图划分为困难样本；

步骤3，建立师生学习去雾框架，设计教师薄雾去雾网络结构和学生浓雾去雾网络结构，同时设计教师薄雾去雾网络知识向学生浓雾去雾网络迁移的方式，以及模型的优化器和损失函数；

步骤4，将薄雾图输入教师薄雾去雾网络中，使用清晰无雾图对网络输出的去雾结果图进行监督的损失函数，以端到端的方式进行训练，得到训练好的教师薄雾去雾网络模型；

步骤5，固定训练好的教师薄雾去雾网络模型参数，将浓雾图输入学生浓雾去雾网络中，使用学生浓雾去雾网络自身的损失函数和来自教师薄雾去雾网络模型中间层特征图进行监督的损失函数同时对学生浓雾去雾网络模型进行训练，最终得到训练好的学生浓雾去雾网络模型；

步骤6，在最终训练好的学生浓雾去雾网络模型中输入真实场景的雾霾图像，得到去雾后的结果图像。

进一步，所述步骤1获取目前公开的合成和真实场景雾霾图像数据集，并将收集到的雾霾图像数据集分为训练集、验证集和测试集具体包括以下步骤：

步骤1.1，获取目前公开的合成和真实场景雾霾图像数据集；

步骤1.2，对于已经分好训练集、验证集和测试集的雾图数据集不作处理可直接使用，对于未分好数据集中的训练集、验证集和测试集以8:1:1的比例进行分配。

进一步，步骤2分别对合成和真实场景雾霾图像数据集进行样本难易划分，根据课程学习策略将薄雾图划分为简单样本，将浓雾图划分为困难样本具体包括以下步骤：

步骤2.1，对于合成雾霾图像数据集，统计同一张清晰无雾图对应的不同浓度雾霾图像的像素均值，将像素均值最低的图像作为薄雾图，其余图像作为浓雾图；

步骤2.2，对于真实场景雾霾图像数据集，设置合适的光照强度A和大气光散射系数β，再根据大气光散射模型合成薄雾图像，而真实场景雾霾图像则作为浓雾图。

进一步，所述大气光散射模型，表示为：

I(x)＝J(x)t(x)+A(1-t(x))

t(x)＝e^-βd(x)

其中，I(x)表示待去雾图像，J(x)表示清晰无雾图，t(x)表示大气光传播率图信息，即透射率；A表示全局大气光值，e为自然常数d(x)表示图像景深信息，β表示大气光散射系数；

通过控制全局大气光值A和大气光传播率图信息t(x)，再根据清晰无雾图J(x)来有效合成真实场景下的雾霾图像。

进一步，所述步骤3中教师薄雾去雾网络和学生浓雾去雾网络采用相同的网络结构，以便可以在教师薄雾去雾网络和学生浓雾去雾网络的中间层得到更加具有一致性的特征。

进一步，所述步骤3中教师薄雾去雾网络知识向学生浓雾去雾网络迁移的方式是采用一种“知识回顾”策略，具体是先将学生浓雾去雾网络的特征从深层向浅层逐层融合，得到的学生浓雾去雾网络每一层的特征都融合了其之后每一个更深层的特征，再让教师薄雾去雾网络每一层的特征监督相应学生浓雾去雾网络经过融合之后每一层的特征。通过组织由薄雾到浓雾、由易到难的学习过程，能够得到更好的特征学习结果。

进一步，步骤4中损失函数表示为：

L_t＝L_c+λL_p

其中，L_c表示图像的重建损失，L_p表示图像的感知损失，λ为平衡损失函数比例的参数；具体地，所述重建损失L_c为图像去雾后的结果与无雾清晰图像之间点到点的最小绝对值偏差：

L_c＝||D_t(I)-J||₁

其中，I表示输入教师薄雾去雾网络的薄雾图，D_t表示教师薄雾去雾网络，J表示无雾清晰图像；

所述感知损失L_p是基于预训练好的VGG19模型来计算的，可以用来进一步减小去雾后图像与无雾清晰图像之间的域差异，表示为：

L_p＝∑W_m*||Φ^m(D_t(I))-Φ^m(J)||₁,m∈{2,7,12,21,30}

其中，Φ^m()表示预训练好的VGG19模型中第m层输出的特征图，W_m表示第m层的权重。

进一步，步骤5固定训练好的教师薄雾去雾网络模型参数，将浓雾图输入学生浓雾去雾网络中，使用学生浓雾去雾网络自身的损失函数和来自教师薄雾去雾网络模型中间层特征图进行监督的损失函数同时对学生浓雾去雾网络模型进行训练，最终得到训练好的学生浓雾去雾网络模型，具体包括以下步骤：

步骤5.1，获取已经训练好的教师薄雾去雾网络，并将其参数固定，不进行梯度回传，不参与参数更新；

步骤5.2，将同一张无雾清晰图对应的薄雾图和浓雾图分别输入教师薄雾去雾网络和学生浓雾去雾网络中，通过学生浓雾去雾网络自身的损失函数和教师薄雾去雾网络中间层特征图对学生浓雾去雾网络进行监督的损失函数一起对学生浓雾去雾网络的参数进行调整，以使学生浓雾去雾网络达到最优的性能；

所述学生浓雾去雾网络的损失函数表示如下：

L_s＝L_c+λL_p+γL_distill

其中，L_c表示图像的重建损失，L_p表示图像的感知损失，L_distill表示教师薄雾去雾网络对学生浓雾去雾网络的监督蒸馏损失，λ和γ为平衡损失函数比例的参数；

所述监督蒸馏损失L_distill的表达式如下：

其中，N表示教师薄雾去雾网络和学生浓雾去雾网络中间输出层的数量，Z表示网络中间每一层多尺度金字塔池化的个数，P_t ^i,j(F_t ⁱ)表示教师薄雾去雾网络第i层的输出F_t ⁱ在第j个多尺度金字塔池化层中得到的特征，

表示学生浓雾去雾网络从深层到浅层逐层融合之后第i层的融合特征

在第j个多尺度金字塔池化层中得到的特征。

与现有技术相比本发明具有以下优点：

针对雾霾图像具有色偏严重、对比度低、背景模糊等特点，进而导致模型对于浓雾去雾容易出现雾残留现象、真实场景下去雾效果差等问题，设计了一种基于课程学习思想同时结合师生学习框架的去雾方法。先使用教师模型对较易学习的薄雾图进行图像恢复，之后将教师模型固定，再对学生浓雾去雾模型进行训练，训练过程中不止使用学生浓雾去雾网络自身的损失函数，还使用教师薄雾去雾网络对学生浓雾去雾网络的监督蒸馏损失，最后训练好的学生模型可以独立高效地进行图像去雾。通过组织由薄雾到浓雾、由易到难的学习过程，能够得到更好的特征学习结果。这种新颖的图像去雾策略可以有效克服传统去雾算法对于雾霾分布不均匀的真实场景去雾效果差的难题，可以得到去雾更加彻底的图像，更好地恢复了图像的细节信息，同时有效提升了去雾模型的性能。

附图说明

图1为本发明一种课程学习与师生学习相结合的图像去雾方法的总体模型结构图。

图2为本发明一种课程学习与师生学习相结合的图像去雾方法的教师薄雾去雾网络和学生浓雾去雾网络中增强模块和注意力模块的结构示意图。

具体实施方式

实施例1

一种课程学习与师生学习相结合的图像去雾方法，如图1所示，包括以下步骤：

步骤1，获取目前公开的合成和真实场景雾霾图像数据集，并将收集到的雾霾图像数据集分为训练集、验证集和测试集；

步骤1.1，获取目前公开的合成和真实场景雾霾图像数据集；

步骤1.2，对于已经分好训练集、验证集和测试集的雾图数据集不作处理可直接使用，对于未分好数据集中的训练集、验证集和测试集以8:1:1的比例进行分配。

步骤2，采用简单高效的方法分别对合成和真实场景雾霾图像数据集进行样本难易划分，根据课程学习策略将薄雾图划分为简单样本，将浓雾图划分为困难样本；

步骤2.1，对于合成雾霾图像数据集，从直观上可以看出，雾越浓的话表现在图像上会使图像整体变得更白，即图像的平均像素均值会增加；相反，雾越淡图像的平均像素均值会减小。故本发明统计了同一张清晰无雾图对应的不同浓度雾霾图像的像素均值，将像素均值最低的图像作为薄雾图，其余图像作为浓雾图；

步骤2.2，真实场景下一般获取清晰无雾图和真实有雾图的图像对的成本较高，难以获取一一对应的图像，目前现有的公开真实场景雾霾图像数据集一般也只有一张清晰无雾图和一张相应的浓雾图，没有多张不同浓度的雾霾图像，数据集的多样性较差，想要由易到难地进行去雾学习只能通过大气光散射物理模型来生成薄雾图。具体地，设置合适的光照强度A和大气光散射系数β，再根据大气光散射模型合成薄雾图像，而数据集中真实场景的雾霾图像则作为浓雾图。

大气光散射模型可表示为：

I(x)＝J(x)t(x)+A(1-t(x))

t(x)＝e^-βd(x)

其中I(x)表示待去雾图像，J(x)表示清晰无雾图，A表示全局大气光值，t(x)表示大气光传播率图信息即透射率，d(x)表示图像景深信息，β表示大气光散射系数，e为自然常数。通过控制全局大气光值A和传播率信息t(x)，可以根据清晰无雾图来有效合成真实场景下的雾霾图像。

步骤3，建立师生学习去雾框架，设计教师薄雾去雾网络结构和学生浓雾去雾网络结构，同时设计教师薄雾去雾网络知识向学生浓雾去雾网络迁移的方式，还有模型的优化器和损失函数；

教师薄雾去雾网络和学生浓雾去雾网络采用相同的编码-解码网络结构，以便可以在教师薄雾去雾网络和学生浓雾去雾网络的中间层得到更加具有一致性的特征。首先，输入的雾霾图像经过由三个卷积层组成的编码器中，其中第一个为3*3大小的卷积层，进行初步的特征提取与增加通道数，另外两个为4*4大小的卷积层，进行四倍下采样操作，这样特征维度由(256，256，3)变为(64，64，64)；再将编码得到的特征送入增强网络中，增强网络由六个相同增强模块组成；之后将得到的特征图输入解码器中，解码器由三层卷积层构成，将增强后的特征先进行二倍双线性上采样之后与编码器中的相应特征在通道上拼接，经过一个3*3的卷积层和ReLU激活函数，将输出再进行二倍双线性上采样之后与编码器中的相应特征在通道上拼接，同样将得到的特征经过一个3*3的卷积层和ReLU激活函数，最后再将特征经过一层卷积进行通道恢复，得到最终的输出结果。

如图2所示，增强模块由一个RDB、一层卷积和一个注意力模块组成。其中，注意力模块将像素注意力与通道注意力两部分解耦。首先从图像高度和宽度两个方向对图像进行平均池化，得到(H，1，C)和(1，W，C)维度的特征，再将(1，W，C)维特征进行维度变换后与(H，1，C)维特征在第一维上进行拼接，得到(H+W，1，C)维特征，之后经过两层卷积得到(H+W，1，1)维特征，再将第一维沿高度和宽度方向拆分后经过卷积层和Sigmoid激活函数得到高度和宽度方向的注意力值，最后一起加权到最初的输入特征上，即完成像素注意力操作；将像素注意力操作得到的特征首先进行平均池化，再经过两层全连接层和Sigmoid激活函数得到(1，1，C)维注意力值，最后再加权到像素注意力得到的特征上，即完成通道注意力操作。

教师薄雾去雾网络知识向学生浓雾去雾网络迁移的方式采用一种“知识回顾”策略，即先将学生浓雾去雾网络的特征从深层向浅层逐层融合，这样得到的学生浓雾去雾网络每一层的特征都融合了其之后每一个更深层的特征，再让教师薄雾去雾网络每一层的特征监督相应学生浓雾去雾网络经过融合之后每一层的特征。这种从深层到浅层的融合策略，从正向看，在训练初期，教师薄雾去雾网络的浅层可以指导学生浓雾去雾网络深层的学习；从反向看，学生浓雾去雾网络浅层特征只有融合较深层的信息才能达到教师薄雾去雾网络相较浅层的去雾效果。

由于学生浓雾去雾网络由深到浅融合之后的特征同时包含着不同阶段的信息，故本发明在知识迁移过程中采用一种多尺度金字塔池化损失策略，即对教师薄雾去雾网络中间层特征和学生浓雾去雾网络融合后的特征都进行多尺度金字塔池化，最后在池化之后的多尺度特征图上再做L2损失，这样可以充分利用教师薄雾去雾网络和学生浓雾去雾网络中间层特征的丰富知识。通过组织由薄雾到浓雾、由易到难的学习过程，能够得到更好的特征学习结果。

步骤4，将薄雾图输入教师薄雾去雾网络中，使用清晰无雾图对网络输出的去雾结果图进行监督的损失函数，以端到端的方式进行训练，得到训练好的教师薄雾去雾网络模型；

教师薄雾去雾网络端到端训练的损失函数的数学表达式如下：

L_t＝L_c+λL_p

其中，L_c表示图像的重建损失，L_p表示图像的感知损失，λ为平衡损失函数比例的参数；具体地，所述重建损失L_c为图像去雾后的结果与无雾清晰图像之间点到点的最小绝对值偏差：

L_c＝||D_t(I)-J||₁

其中，I表示输入教师薄雾去雾网络的薄雾图，D_t表示教师薄雾去雾网络，J表示无雾清晰图像；

所述感知损失L_p可以用来进一步减小去雾后图像与无雾清晰图像之间的域差异，其是基于预训练好的VGG19模型来计算的，具体表达式为：

L_p＝∑W_m*||Φ^m(D_t(I))-Φ^m(J)||₁,m∈{2,7,12,21,30}

其中，Φ^m()表示预训练好的VGG19模型中第m层输出的特征图，W_m表示第m层的权重。

步骤5，固定训练好的教师模型参数，将浓雾图输入学生浓雾去雾网络中，使用学生浓雾去雾网络自身的损失函数和来自教师模型中间层特征图进行监督的损失函数同时对学生模型进行训练，最终得到训练好的浓雾去雾模型；

步骤5.1、获取已经训练好的教师薄雾去雾网络，并将其参数固定，不进行梯度回传，不参与参数更新；

步骤5.2、将同一张无雾清晰图对应的薄雾图和浓雾图分别输入教师薄雾去雾网络和学生浓雾去雾网络中，通过学生浓雾去雾网络自身的损失函数和教师薄雾去雾网络中间层特征图对学生浓雾去雾网络进行监督的损失函数一起对学生浓雾去雾网络的参数进行调整，以使学生浓雾去雾网络达到最优的性能；

学生浓雾去雾网络的损失函数表示如下：

L_s＝L_c+λL_p+γL_distill

其中，L_c表示图像的重建损失，L_p表示图像的感知损失，L_distill表示教师薄雾去雾网络对学生浓雾去雾网络的监督蒸馏损失，λ和γ为平衡损失函数比例的参数；

监督蒸馏损失L_distill的表达式如下：

其中，N表示教师薄雾去雾网络和学生浓雾去雾网络中间输出层的数量，Z表示网络中间每一层多尺度金字塔池化的个数，P_t ^i,j(F_t ⁱ)表示教师薄雾去雾网络第i层的输出F_t ⁱ在第j个多尺度金字塔池化层中得到的特征，

表示学生浓雾去雾网络从深层到浅层逐层融合之后第i层的融合特征

在第j个多尺度金字塔池化层中得到的特征。

步骤6，在最终训练好的浓雾去雾模型中输入真实场景的雾霾图像，即可得到去雾后的结果图像。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (8)

1.一种课程学习与师生学习相结合的图像去雾方法，其特征在于：包括以下步骤：

步骤1，获取目前公开的合成和真实场景雾霾图像数据集，并将收集到的雾霾图像数据集分为训练集、验证集和测试集；

步骤2，分别对合成和真实场景雾霾图像数据集进行样本难易划分，根据课程学习策略将薄雾图划分为简单样本，将浓雾图划分为困难样本；

步骤3，建立师生学习去雾框架，设计教师薄雾去雾网络结构和学生浓雾去雾网络结构，同时设计教师薄雾去雾网络知识向学生浓雾去雾网络迁移的方式，以及模型的优化器和损失函数；

步骤4，将薄雾图输入教师薄雾去雾网络中，使用清晰无雾图对网络输出的去雾结果图进行监督的损失函数，以端到端的方式进行训练，得到训练好的教师薄雾去雾网络模型；

步骤5，固定训练好的教师薄雾去雾网络模型参数，将浓雾图输入学生浓雾去雾网络中，使用学生浓雾去雾网络自身的损失函数和来自教师薄雾去雾网络模型中间层特征图进行监督的损失函数同时对学生浓雾去雾网络模型进行训练，最终得到训练好的学生浓雾去雾网络模型；

步骤6，在最终训练好的学生浓雾去雾网络模型中输入真实场景的雾霾图像，得到去雾后的结果图像。

2.根据权利要求1所述的一种课程学习与师生学习相结合的图像去雾方法，其特征在于：步骤1获取目前公开的合成和真实场景雾霾图像数据集，并将收集到的雾霾图像数据集分为训练集、验证集和测试集具体包括以下步骤：

步骤1.1，获取目前公开的合成和真实场景雾霾图像数据集；

步骤1.2，对于已经分好训练集、验证集和测试集的雾图数据集不作处理可直接使用，对于未分好数据集中的训练集、验证集和测试集以8:1:1的比例进行分配。

3.根据权利要求1所述的一种课程学习与师生学习相结合的图像去雾方法，其特征在于：步骤2分别对合成和真实场景雾霾图像数据集进行样本难易划分，根据课程学习策略将薄雾图划分为简单样本，将浓雾图划分为困难样本具体包括以下步骤：

步骤2.1，对于合成雾霾图像数据集，统计同一张清晰无雾图对应的不同浓度雾霾图像的像素均值，将像素均值最低的图像作为薄雾图，其余图像作为浓雾图；

步骤2.2，对于真实场景雾霾图像数据集，设置合适的光照强度A和大气光散射系数β，再根据大气光散射模型合成薄雾图像，而真实场景雾霾图像则作为浓雾图。

4.根据权利要求3所述的一种课程学习与师生学习相结合的图像去雾方法，其特征在于：所述大气光散射模型，表示为：

I(x)＝J(x)t(x)+A(1-t(x))

t(x)＝e^-βd(x)

其中，I(x)表示待去雾图像，J(x)表示清晰无雾图，t(x)表示大气光传播率图信息，即透射率；A表示全局大气光值，e为自然常数d(x)表示图像景深信息，β表示大气光散射系数；

通过控制全局大气光值A和大气光传播率图信息t(x)，再根据清晰无雾图J(x)来有效合成真实场景下的雾霾图像。

5.根据权利要求1所述的一种课程学习与师生学习相结合的图像去雾方法，其特征在于：所述步骤3中教师薄雾去雾网络和学生浓雾去雾网络采用相同的网络结构。

6.根据权利要求1所述的一种课程学习与师生学习相结合的图像去雾方法，其特征在于：所述步骤3中教师薄雾去雾网络知识向学生浓雾去雾网络迁移的方式是采用一种“知识回顾”策略，具体是先将学生浓雾去雾网络的特征从深层向浅层逐层融合，得到的学生浓雾去雾网络每一层的特征都融合了其之后每一个更深层的特征，再让教师薄雾去雾网络每一层的特征监督相应学生浓雾去雾网络经过融合之后每一层的特征。通过组织由薄雾到浓雾、由易到难的学习过程，能够得到更好的特征学习结果。

7.根据权利要求1所述的一种课程学习与师生学习相结合的图像去雾方法，其特征在于：步骤4中教师薄雾去雾网络以端到端的方式训练的损失函数表示为：

L_t＝L_c+λL_p

其中，L_c表示图像的重建损失，L_p表示图像的感知损失，λ为平衡损失函数比例的参数；具体地，所述重建损失L_c为图像去雾后的结果与无雾清晰图像之间点到点的最小绝对值偏差：

L_c＝||D_t(I)-J||₁

其中，I表示输入教师薄雾去雾网络的薄雾图，D_t表示教师薄雾去雾网络，J表示无雾清晰图像；

所述感知损失L_p是基于预训练好的VGG19模型来计算的，表示为：

L_p＝∑W_m ^*||Φ^m(D_t(I))-Φ^m(J)||₁,m∈{2,7,12,21,30}

其中，Φ^m()表示预训练好的VGG19模型中第m层输出的特征图，W_m表示第m层的权重。

8.根据权利要求1所述的一种课程学习与师生学习相结合的图像去雾方法，其特征在于：步骤5固定训练好的教师薄雾去雾网络模型参数，将浓雾图输入学生浓雾去雾网络中，使用学生浓雾去雾网络自身的损失函数和来自教师薄雾去雾网络模型中间层特征图进行监督的损失函数同时对学生浓雾去雾网络模型进行训练，最终得到训练好的学生浓雾去雾网络模型，具体包括以下步骤：

步骤5.1，获取已经训练好的教师薄雾去雾网络，并将其参数固定，不进行梯度回传，不参与参数更新；

步骤5.2，将同一张无雾清晰图对应的薄雾图和浓雾图分别输入教师薄雾去雾网络和学生浓雾去雾网络中，通过学生浓雾去雾网络自身的损失函数和教师薄雾去雾网络中间层特征图对学生浓雾去雾网络进行监督的损失函数一起对学生浓雾去雾网络的参数进行调整，以使学生浓雾去雾网络达到最优的性能；

所述学生浓雾去雾网络的损失函数表示如下：

L_s＝L_c+λL_p+γL_distill

其中，L_c表示图像的重建损失，L_p表示图像的感知损失，L_distill表示教师薄雾去雾网络对学生浓雾去雾网络的监督蒸馏损失，λ和γ为平衡损失函数比例的参数；

所述监督蒸馏损失L_distill的表达式如下：

其中，N表示教师薄雾去雾网络和学生浓雾去雾网络中间输出层的数量，Z表示网络中间每一层多尺度金字塔池化的个数，P_t ^i,j(F_t ⁱ)表示教师薄雾去雾网络第i层的输出F_t ⁱ在第j个多尺度金字塔池化层中得到的特征，

表示学生浓雾去雾网络从深层到浅层逐层融合之后第i层的融合特征

在第j个多尺度金字塔池化层中得到的特征。

Images