CN111489301A - 一种基于迁移学习用图像深度信息引导的图像去雾方法 - Google Patents

Abstract

本发明属于计算机视觉、恶劣自然环境处理技术领域，具体涉及一种基于迁移学习用图像深度信息引导的图像去雾方法。本发明通过收集包含图像深度信息的公开数据集图像和真实场景有雾图像，然后制作基于图像深度引导的图像去雾数据集，设计并训练用于估计全局大气光值、估计图像深度信息、由有雾图像深度信息估计大气光传播率图信息和图像去雾重建的深度神经网络模型，再结合对抗网络学习，建立联合鉴别器网络，训练鉴别器网络定义损失函数，建立联合鉴别损失项促进整体网络模型的收敛，训练整体模型的损失函数，使用训练并测试集测试整体网络模型，得到一个训练完备的端到端整合网络模型，最终获得去雾图像。

Description

一种基于迁移学习用图像深度信息引导的图像去雾方法

技术领域

本发明属于计算机视觉、恶劣自然环境处理技术领域，具体涉及一种基于迁移学习用图像深度信息引导的图像去雾方法。

背景技术

目前处于雾或霾环境下，由于灰尘，烟粒等漂浮于大气环境中的气溶胶颗粒极大地吸收与分散了大气光，导致相机所拍摄图像的质量严重下降。而图像质量的大幅下降直接影响了许多计算机视觉任务的表现，比如分类与检测。为了降低由于雾天对图像质量造成的影响，许多针对图像的去雾算法已经被提出。雾或霾的存在导致图像质量的降低可以用以下数学模型来解释：

I(z)＝J(z)t(z)+A(z)(1-t(z))

t(z)＝e^-βd(z)

其中z代表图像对应像素点的索引，J代表无雾图，I代表形成的有雾图，t代表光线大气传播率图，A代表全局大气光值图，d为图像深度信息，β为模型参数。在单图像去雾领域，输入是雾图I，目标是预测到好的去雾图J。

从以上数学模型发现存在两个重要的部分影响了去雾效果，分别是全局大气光值图A和光线大气传播率图t，两者是否准确决定了图像去雾效果的好坏。现有算法对全局大气光值图A的预测已足够准确，目前图像去雾的主要方向是得到更为精确的光线大气传播率图t，而现有基于深度学习的图像去雾方法估计光线大气传播率图t时缺乏对图像深度信息的使用。

当前图像去雾的主要方法可以大致分为两个方向：基于传统手工设计先验的方法(下文称先验算子的方法)与基于深度学习的方法。基于先验算子的方法通常会利用各种不同的先验条件来生成光线大气传播率图，比如暗通道先验、颜色先验、雾线先验等。而基于深度学习的方法通常使用卷积神经网络直接从输入雾图来获得光线大气传播率图。一旦得到光线大气传播率图与全局大气光值图就可以结合数学模型成功将有雾图复原为去雾图。然而基于先验算子的方法最终的去雾效果与基于深度学习的方法有较大差距，目前基于深度学习的方法虽然已经达到一定的去雾效果，但针对浓度较大的雾图处理效果表现一般，缺乏对图像深度信息的使用，且在光线大气传播率图预测层面的准确率仍有待提高。

发明内容

针对现有技术忽视图像深度(image depth)信息对图像去雾算法的引导作用这一局限性问题，本发明提供了一种基于迁移学习用图像深度信息引导的图像去雾方法。

为了达到上述目的，本发明采用了下列技术方案：

一种基于迁移学习用图像深度信息引导的图像去雾方法，包括以下步骤：

步骤1，收集包含图像深度信息的公开数据集图像和真实场景有雾图像，然后制作基于图像深度信息引导的图像去雾数据集，将基于图像深度信息引导的图像去雾数据集分为训练集、验证集和测试集；

步骤2，设计并训练用于估计全局大气光值图A的深度神经网络模型，输入有雾图像I，输出全局大气光值图A，同时设计估计全局大气光值图A的深度神经网络模型的参数初始化策略，训练优化方案和损失函数；

步骤3，设计并训练用于估计图像深度信息d的深度神经网络模型，采用迁移学习将无雾图像深度信息估计模型迁移到有雾图像深度信息估计任务，输入有雾图像I，输出图像深度信息d，同时设计估计图像深度信息d的深度神经网络模型的参数初始化策略，训练优化方案与损失函数；

步骤4，采用对抗生成学习，设计并训练由有雾图像深度信息d估计光线大气传播率图t的深度神经网络模型，输入图像深度信息d，输出有雾图像的光线大气传播率图t，同时设计由有雾图像深度信息d估计光线大气传播率图t的深度神经网络模型的参数初始化策略，训练优化方案与损失函数；

步骤5，设计并训练图像去雾重建的深度神经网络模型，输入有雾图像I、图像深度信息d、全局大气光值图A和估计的光线大气传播率图t，输出重建去雾后的图像，采用对抗生成学习，建立联合鉴别器网络，根据联合鉴别损失函数训练鉴别器网络，促进整体网络模型的收敛；

步骤6，使用真实场景有雾图像数据集，输入有雾图像I，无雾图像J，训练并测试整体网络模型，得到一个训练完备的端到端整合网络模型，最终获得去雾图像。

进一步，所述步骤1中基于图像深度信息引导的图像去雾数据集是由有雾图像I、无雾图像J、图像深度信息d、全局大气光值图A和光线大气传播率图t数据构成。

进一步，所述训练集分为两部分，一部分数据针对包含图像深度信息的无雾图像J，根据大气光散射传播模型生成有雾图像I，分别训练步骤(2)、(3)、(4)的模型，通过有效估计有雾图像的深度信息，达到更好地估计光线大气传播率图的效果，从而更好地根据大气光散射传播模型去除雾霾；另一部分数据针对真实场景的有雾无雾图像对，与根据大气光散射传播模型生成的数据一起用于训练步骤(5)的整体模型。第一部分数据的来源属于公开数据集图像，其中数据属于合成数据，遵循物理规律，由大气光散射传播模型合成数据，基本符合真实场景中有雾图像的成像特点，获取容易，能够生成较大的数据量，可有效支撑深度神经网络模型的训练学习过程，通过合成数据训练的模型在很多场景能够有效去雾。第二部分数据来源属于真实场景有雾图像，真实场景的有雾图像获取较为困难，数据量小，但更贴近实际的运用场景。使用真实场景的有雾图像作为输入可以提高由合成数据训练得来的网络模型对复杂场景的解决能力。

再进一步，所述大气光散射传播模型，由无雾图像J和有雾图像I成像关系如下：

I(z)＝J(z)t(z)+A(z)(1-t(z))

t(z)＝e^-βd(z)

其中z为图像中的像素位置，A为全局大气光值图，t为光线大气传播率图，d为图像深度信息，β为模型参数(β>0)，e为自然常数。根据大气散射模型，传输到成像设备的光线来源于两部分，一部分是透射光线，由于大气中悬浮颗粒的影响，光线的成像过程中会发生散射，致使入射光衰减，由J(z)t(z)建模；另一部分光线则由其它光源的反射造成，是周围各种杂散环境光的叠加，由A(z)(1-t(z))表示。大气中的悬浮颗粒对入射光的散射作用会随着图像深度信息d的增大而减弱，即目标距离成像设备越远，入射光的衰减程度越大，光线大气传播率图t的值就越小，成像受到的影响就越大，有雾图像I和无雾图像J的差别就越大。本发明通过随机采样生成全局大气光值图A和β，即生成不同的全局大气光值图A和光线大气传播率图t，可以有效模拟真实场景下有雾图像的生成过程，同时为深度学习网络模型提供训练数据。随机采样生成全局大气光值图A可有效模拟不同环境光对有雾图像成像的影响。随机采样生成β，进而生成不同光线大气传播率图t，可有效模拟不同浓度雾霾天气下悬浮颗粒对入射光线的影响。深度模型通过使用生成海量有雾图像数据进行训练学习，能够有效学习有雾图像到去雾图像的映射关系，从而有效进行图像去雾。

进一步，所述步骤2中估计全局大气光值图A的深度神经网络模型的损失函数为：

其中，L_A表示全局大气光值图A的损失函数，a_i代表预测光值，

代表预测光值的真实标签值，n表示用于训练该模型的样本数目，i表示第i个训练样本的索引。L_A为图像生成领域使用较多的均方误差损失函数，通过度量预测值和真实值的欧式距离，能够使得预测值有效逼近真实值。由于每幅图的全局大气光值图A为常数，使用均方误差损失函数对于估计全局大气光值图A的深度神经网络模型可以起到足够的约束作用。

进一步，所述步骤3具体操作为：首先设计无雾图像深度估计模型P，使用无雾图像J及图像深度信息d训练该模型，然后基于迁移学习，将无雾图像深度估计模型P添加卷积层组成有雾图像深度估计模型P’，用无雾图像深度信息估计模型P的参数用于初始化有雾图像深度估计模型P’中结构相同部分的参数，并借助对抗生成学习，设计新的损失函数，再使用有雾图像进行图像深度信息估计的模型细调，由于P’的参数由P初始化，从而将模型在无雾图像深度信息估计训练学得的先验信息迁移到有雾图像上，从而更好地根据有雾图像I估计图像深度信息d。有雾图像清晰度、对比度低，饱和度下降，直接基于有雾图像进行深度估计难度大，精度差。本发明通过在无雾图像上学习深度估计的先验信息，通过迁移学习将该先验指导有雾图像的深度估计，从而最终达到较好地去雾效果。

进一步，所述步骤3中估计图像深度信息d的深度神经网络模型损失函数的数学表达如下：

其中λ_d，λ_g为平衡损失比例的参数，

为由端到端网络生成的预测图像深度信息；

为预测图像深度信息与真实图像深度信息之间基于点到点之间的L1损失函数：

其中，d_p和

分别表示真实图像深度信息和预测图像深度信息在像素p的深度值；p表示图像深度信息像素的索引；

为预测图像深度信息与真实图像深度信息之间与梯度相关的损失函数：

其中g_x与g_y分别代表两幅图像在水平与垂直方向的梯度；

为二张图像关于结构相似性的度量损失函数：

结构相似性度量损失函数是一种在图像和视频质量评价中广泛使用的评价方法，结构相似性度量损失函数的使用可以有效提高预测图像深度信息与真实图像深度信息之间在亮度，对比度与结构上的相似程度，该损失函数能够有效避免使用均方损失函数无法有效刻画图像间结构相似性的问题，使用该损失函数能够使得预测图像深度图在结构上和真实的图像深度图更加一致。

进一步，所述步骤4中损失函数的数学表达如下：

其中L_E代表全局边缘保留损失，

λ_E,g，λ_E,f皆为平衡全局损失的权重参数，

代表L2损失函数，L_E,g代表水平与垂直两个方向的梯度损失：

其中H_x和H_y分别表示沿着行与列来计算图像梯度的操作函数，G_t表示由模型预测深度信息

生成光线大气传播率图的生成器函数，G_d表示生成图像深度信息的生成器函数，

ω和h表示生成器输出特征图的宽和高，即真实光线大气传播率图t的宽和高，z表示像素的索引；

L_E,f代表特征损失：

L_E,f＝||V_1f(G_t(G_d(I)))-V_1f(t)||₂+||V_2f(G_t(G_d(I)))-V_2f(t)||₂

其中V_1f，V_2f表示不同的提取特征的CNN网络结构，损失函数L_E,f采用已训练完备的VGG-16网络模型来提取特征，用第一个和第二个非线性输出层的输出分别作为V_1f，V_2f的输出结果。特征损失是一种像素级别的损失函数，该损失函数利用训练完备的VGG-16网络模型，将深度学习模型预测的光线大气传播率图与真实的光线大气传播率图分别输入VGG-16网络模型，提取相应的特征图，通过比较特征图之间的差异，可以有效度量特征图在结构纹理上的一致性。在图像生成领域，特征损失的使用被证实可以有效提高图像生成的精准度。

进一步，所述步骤5中图像去雾重建的深度神经网络模型由估计全局大气光值图A的深度神经网络模型、估计图像深度信息d的深度神经网络模型、由有雾图像深度信息d估计光线大气传播率图t的深度神经网络模型和图像去雾重建模块共同组成。该模型输入有雾图像I、图像深度信息d、全局大气光值图A和预测的光线大气传播率图t，输出重建去雾后的图像，结合对抗生成学习，建立联合鉴别器网络，训练鉴别器网络定义损失函数。

所述训练鉴别器网络遵循如下优化目标：

其中D_joint代表联合鉴别器，G代表生成器，I～p_data(I)表示图像I统计特性满足无雾图像的概率分布，E表示该数据分布下的期望。优化目标使生成器输出尽可能能得接近真实值，其中G_t为生成光线大气传播率图的生成器函数，G_d表示生成图像深度信息的生成器函数，G_H为生成去雾图的生成器函数。本发明认为无雾图像与其对应的光线大气传播率图及图像深度信息在结构纹理等方面具有密切联系。为了进一步修正有雾图像深度信息d估计光线大气传播率图t的深度神经网络模型的预测结果，本专利将预测的无雾图与预测的光线大气传播率图及图像深度信息组成图像对，将真实无雾图与真实光线大气传播率图及真实图像深度信息组成图像对，联合输入鉴别器网络来判断预测结果的准确性。该方法有效地挖掘了无雾图与光线大气传播率图及图像深度信息间的内在联系，通过海量数据深度学习的方式提取了更有判别力的特征，提高了有雾图像深度信息d估计光线大气传播率图t的模型预测精度。

进一步，所述步骤5中采用对抗学习，训练鉴别器网络使得模型能够区分生成器输出和真实值之间的差异，通过建立联合鉴别损失，联合优化几个生成器函数，挖掘深度信息、光线大气光传播率图、去雾过程中的内在关系，促进整体网络模型的收敛。通过对抗生成学习，生成器的优化目标为输出生成更加逼真的图像深度信息、光线大气光传播率图、去雾图，判别器的优化目标为区分生成器的输出和真实值之间的差异，生成器和判别器交迭训练，相互博弈，从而使得生成器的输出更加逼真，判别器具有更强的区分能力，最终使得模型产生更好的去雾效果。

整体网络模型的联合鉴别损失的数学表达如下：

L_adv＝-log(D_joint(G_H(G_t(G_d(I)))))-log(D_joint(G_t(G_d(I))))-log(D_joint(G_d(I)))

所述训练整体模型的损失函数：

L＝κ₁L^a+κ₂L^depth+κ₃L^t+κ₄L^dhazing+κ₅L^adv

其中L^a为来自步骤(2)的损失项，L^depth为来自步骤(3)的损失项，L^t为来自步骤(4)的损失项，L^dhazing为去雾图与真实无雾图之间的L2损失项，L^adv为联合鉴别损失项，κ为权重参数。

深度神经网络的结构具体包括设计模型基本单元的数量，每个单元所需要的卷积层数，卷积核大小，每一层的特征图个数，跨层连接的方式，合适的非线性激活函数以及全链接层的节点个数，各层参数初始化策略。设计恰当的损失函数及选择适当的梯度更新误差反传方式。

与现有技术相比本发明具有以下优点：

本发明拓展基于深度学习的图像深度(image depth)预测方法，来进一步探索从有雾图获取图像深度信息。以往基于深度学习的模型通过设计复杂的卷积神经网络，并训练深度网络模型直接从有雾图获取较为准确的光线大气传播率图。本发明在深度卷积神经网络的基础上通过迁移学习，将无雾图像的深度信息估计(image depth)模型迁移到有雾图像的深度信息估计，由有雾图获得准确的图像深度信息，再结合数学模型进一步获得更为准确的光线大气传播率图，而光线大气传播率图在图像去雾中是最为关键的因素，提高光线大气传播率图的准确度可以显著提高去雾算法的准确性。

本发明针对有雾图像清晰度低，饱和度差，对比度低，难以获取图像结构纹理信息，进而难以进行有效图像深度估计的难题，提出基于迁移学习，首先在无雾图像上基于深度模型学习如何进行图像深度信息估计，将学得的先验通过使用无雾图像图像深度估计模型初始化有雾图像深度估计模型，并进行模型细调finetuning的方式，迁移到有雾图像的深度估计模型，帮助模型学习图像深度估计的先验。该方法能够有效克服有雾图像清晰度低，纹理结构不清晰的难题，得到更好的图像深度估计结果。

本发明应用了特征损失，梯度损失，结构相似性损失及基于对抗学习的联合鉴别损失等多种损失函数算法。这些损失函数的合理使用显著地提高了本发明所有模型的预测效果，进而有效的提高了对有雾图像去雾的精准度。

附图说明

图1为本发明基于迁移学习用图像深度信息引导的图像去雾方法总体模型结构图；

图2为本发明采用的对抗生成学习中鉴别器模型结构图。

具体实施方式

实施例1

一种基于迁移学习用图像深度信息引导的图像去雾方法，包括以下步骤：

步骤1，收集包含图像深度信息的公开数据集图像和真实场景有雾图像，然后制作基于图像深度引导的图像去雾数据集，将基于图像深度引导的图像去雾数据集分为训练集、验证集和测试集；

步骤2，设计并训练用于估计全局大气光值图的深度神经网络模型，输入有雾图像I，输出全局大气光值A，同时设计估计全局大气光值图A的深度神经网络模型的参数初始化策略，训练优化方案和损失函数：

其中L_A表示全局大气光值图A的损失函数，a_i代表预测光值，

代表预测光值的真实标签值，n表示用于训练该模型的样本数目，i表示第i个训练样本的索引。

步骤3，首先设计无雾图像深度估计模型P，使用无雾图像J及图像深度信息d训练该模型，然后基于迁移学习，将无雾图像深度估计模型P添加卷积层组成有雾图像深度估计模型P’，用无雾图像深度信息估计模型P的参数用于初始化有雾图像深度估计模型P’中结构相同部分的参数，并借助对抗生成学习，设计新的损失函数，再使用有雾图像进行图像深度信息估计的模型细调，由于P’的参数由P初始化，从而将模型在无雾图像深度信息估计训练学得的先验信息迁移到有雾图像上，从而更好地根据有雾图像I估计图像深度信息d。

同时设计估计有雾图像深度信息d的深度神经网络模型的参数初始化策略，训练优化方案与损失函数：

其中λ_d，λ_g为平衡损失比例的参数，

为由端到端网络生成的预测图像深度信息；

为预测图像深度信息与真实图像深度信息之间基于点到点之间的L1损失函数：

其中，d_p和

分别表示真实图像深度信息和预测图像深度信息在像素p的深度值；p表示图像深度信息像素的索引；

为预测图像深度信息与真实图像深度信息之间与梯度相关的损失函数：

其中g_x与g_y分别代表两幅图像在水平与垂直方向的梯度；

为二张图像关于结构相似性的度量损失函数：

步骤4，采用对抗生成学习，设计并训练由有雾图像深度信息d估计光线大气传播率图t的深度神经网络模型，输入图像深度信息d，输出有雾图像的光线大气传播率图t，同时设计由有雾图像深度信息d估计光线大气传播率图t的深度神经网络模型的参数初始化策略，训练优化方案与损失函数：

其中L_E代表全局边缘保留损失，

λ_E,g，λ_E,f皆为平衡全局损失的权重参数，

代表L2损失函数，L_E,g代表水平与垂直两个方向的梯度损失：

其中H_x和H_y分别表示沿着行与列来计算图像梯度的操作函数，G_t表示由模型预测深度信息

生成光线大气传播率图的生成器函数，G_d表示生成图像深度信息的生成器函数，

ω和h表示生成器输出特征图的宽和高，即真实光线大气传播率图t的宽和高，z表示像素的索引。

L_E,f＝||V_1f(G_t(G_d(I)))-V_1f(t)||₂+||V_2f(G_t(G_d(I)))-V_2f(t)||₂

其中，L_E,f代表特征损失，V_1f，V_2f表示不同的提取特征的CNN网络结构，损失函数L_E,f采用已训练好的VGG-16网络模型来提取特征，用第一个和第二个非线性输出层的输出分别作为V_1f，V_2f的输出结果。

步骤5，设计并训练图像去雾重建的深度神经网络模型，图像去雾重建的深度神经网络模型由预测全局大气光值图A的深度神经网络模型、估计图像深度信息d的深度神经网络模型、由有雾图像深度信息d估计光线大气传播率图t的深度神经网络模型和图像去雾重建模块共同组成。该模型输入有雾图像I、图像深度信息d、全局大气光值图A和预测的光线大气传播率图t，输出重建去雾后的图像，结合对抗生成学习，建立联合鉴别器网络，根据联合鉴别损失函数训练鉴别器网络，促进整体网络模型的收敛。

所述训练鉴别器网络遵循如下优化目标：

其中D_joint代表联合鉴别器，G代表生成器，I～p_data(I)表示图像I统计特性满足无雾图像的概率分布，E表示数据分布下的期望。本发明使得生成器输出尽可能能得接近真实值，其中G_t为生成光线大气传播率图的生成器函数，G_d表示生成图像深度信息的生成器函数，G_H为生成去雾图的生成器函数。

采用对抗学习，训练鉴别器网络使得模型能够区分生成器输出和真实值之间的差异，通过建立联合鉴别损失，联合优化几个生成器函数，挖掘深度信息、光线大气光传播率图、去雾过程中的内在关系，促进整体网络模型的收敛。整体网络模型的联合鉴别损失的数学表达如下：

L_adv＝-log(D_joint(G_H(G_t(G_d(I)))))-log(D_joint(G_t(G_d(I))))-log(D_joint(G_d(I)))

所述训练整体模型的损失函数：

L＝κ₁L^a+κ₂L^depth+κ₃L^t+κ₄L^dhazing+κ₅L^adv

其中L^a为来自步骤(2)的损失项，L^depth为来自步骤(3)的损失项，L^t为来自步骤(4)的损失项，L^dhazing为去雾图与真实无雾图之间的L2损失项，L^adv为联合鉴别损失项，K为权重参数。

步骤6，使用真实场景有雾图像数据集，输入有雾图像I、无雾图像J，训练并测试整体网络模型，训练并测试整体网络模型，得到一个训练完备的端到端整合网络模型，最终获得去雾图像。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (10)

1.一种基于迁移学习用图像深度信息引导的图像去雾方法，其特征在于：包括以下步骤：

步骤1，收集包含图像深度信息的公开数据集图像和真实场景有雾图像，然后制作基于图像深度引导的图像去雾数据集，将基于图像深度引导的图像去雾数据集分为训练集、验证集和测试集；

步骤2，设计并训练用于估计全局大气光值图A的深度神经网络模型，输入有雾图像I，输出全局大气光值图A，同时设计估计全局大气光值图A的深度神经网络模型的参数初始化策略，训练优化方案和损失函数；

步骤3，设计并训练用于估计图像深度信息d的深度神经网络模型，采用迁移学习将无雾图像深度信息估计模型迁移到有雾图像深度信息估计任务，输入有雾图像I，输出图像深度信息d，同时设计估计图像深度信息d的深度神经网络模型的参数初始化策略，训练优化方案与损失函数；

步骤4，采用对抗生成学习，设计并训练由有雾图像深度信息d估计光线大气传播率图t的深度神经网络模型，输入图像深度信息d，输出有雾图像的光线大气传播率图t，同时设计由有雾图像深度信息d估计光线大气传播率图t的深度神经网络模型的参数初始化策略，训练优化方案与损失函数；

步骤5，设计并训练图像去雾重建的深度神经网络模型，输入有雾图像I、图像深度信息d、全局大气光值图A和估计的光线大气传播率图t，输出重建去雾后的图像，采用对抗生成学习，建立联合鉴别器网络，根据联合鉴别损失函数训练鉴别器网络，促进整体网络模型的收敛；

步骤6，使用真实场景有雾图像数据集，输入有雾图像I，无雾图像J，训练并测试整体网络模型，得到一个训练完备的端到端整合网络模型，最终获得去雾图像。

2.根据权利要求1所述的一种基于迁移学习用图像深度信息引导的图像去雾方法，其特征在于：所述步骤1中基于图像深度信息引导的图像去雾数据集是由有雾图像I、无雾图像J、图像深度信息d、全局大气光值图A和光线大气传播率图t数据构成。

3.根据权利要求1所述的一种基于迁移学习用图像深度信息引导的图像去雾方法，其特征在于：所述训练集分为两部分，一部分数据针对包含图像深度信息的无雾图像J，根据大气光散射传播模型生成有雾图像I，分别训练步骤(2)、(3)、(4)的模型，通过有效估计有雾图像的深度信息，达到更好地估计光线大气传播率图的效果，从而更好地根据大气光散射传播模型去除雾霾；另一部分数据针对真实场景的有雾无雾图像对，与根据大气光散射传播模型生成的数据一起用于训练步骤(5)的整体模型。

4.根据权利要求3所述的一种基于迁移学习用图像深度信息引导的图像去雾方法，其特征在于：所述大气光散射传播模型，由无雾图像J和有雾图像I成像关系如下：

I(z)＝J(z)t(z)+A(z)(1-t(z))

t(z)＝e^-βd(z)

其中z为图像中的像素位置，A为全局大气光值，t为大气光传播率图信息，d为图像深度信息，β为模型参数，e为自然常数；通过随机采样生成全局大气光值A和光传播率图信息t，有效模拟真实场景下有雾图像的生成过程。

5.根据权利要求1所述的一种基于迁移学习用图像深度信息引导的图像去雾方法，其特征在于：所述步骤2中估计全局大气光值图A的深度神经网络模型的损失函数为：

其中，L_A表示全局大气光值图A的损失函数，a_i代表预测光值，

代表预测光值的真实标签值，n表示用于训练该模型的样本数目，i表示第i个训练样本的索引。

6.根据权利要求1所述的一种基于迁移学习用图像深度信息引导的图像去雾方法，其特征在于：所述步骤3具体操作为：首先设计无雾图像深度估计模型P，使用无雾图像J及图像深度信息d训练该模型，然后基于迁移学习，将无雾图像深度估计模型P添加卷积层组成有雾图像深度估计模型P’，用无雾图像深度信息估计模型P的参数用于初始化有雾图像深度估计模型P’中结构相同部分的参数，并借助对抗生成学习，设计新的损失函数，再使用有雾图像进行图像深度信息估计的模型细调，由于P’的参数由P初始化，从而将模型在无雾图像深度信息估计训练学得的先验信息迁移到有雾图像上，从而更好地根据有雾图像I估计图像深度信息d。

7.根据权利要求1所述的一种基于迁移学习用图像深度信息引导的图像去雾方法，其特征在于：所述步骤3中估计图像深度信息d的深度神经网络模型损失函数的数学表达如下：

其中λ_d，λ_g为平衡损失比例的参数，

为由端到端网络生成的预测图像深度信息；

为预测图像深度信息与真实图像深度信息之间基于点到点之间的L1损失函数：

其中，d_p和

分别表示真实图像深度信息和预测图像深度信息在像素p的深度值；p表示图像深度信息像素的索引；

为预测图像深度信息与真实图像深度信息之间与梯度相关的损失函数：

其中g_x与g_y分别代表两幅图像在水平与垂直方向的梯度；

为二张图像关于结构相似性的度量损失函数：

8.根据权利要求1所述的一种基于迁移学习用图像深度信息引导的图像去雾方法，其特征在于：所述步骤4中损失函数的数学表达如下：

其中L_E代表全局边缘保留损失，

λ_E,g，λ_E,f皆为平衡全局损失的权重参数，

代表L2损失函数，L_E,g代表水平与垂直两个方向的梯度损失：

其中H_x和H_y分别表示沿着行与列来计算图像梯度的操作函数，G_t表示由模型预测深度信息

生成光线大气传播率图的生成器函数，G_d表示生成图像深度信息的生成器函数，

ω和h表示生成器输出特征图的宽和高，即真实光线大气传播率图t的宽和高，z表示像素的索引；

L_E,f代表特征损失：

L_E,f＝||V_1f(G_t(G_d(I)))-V_1f(t)||₂+||V_2f(G_t(G_d(I)))-V_2f(t)||₂

其中V_1f，V_2f表示不同的提取特征的CNN网络结构，损失函数L_E,f采用已训练好的VGG-16网络模型来提取特征，用第一个和第二个非线性输出层的输出分别作为V_1f，V_2f的输出结果。

9.根据权利要求1所述的一种基于迁移学习用图像深度信息引导的图像去雾方法，其特征在于：所述步骤5中图像去雾重建的深度神经网络模型由估计全局大气光值图A的深度神经网络模型、估计图像深度信息d的深度神经网络模型、由有雾图像深度信息d估计光线大气传播率图t的深度神经网络模型和图像去雾重建模块共同组成；

所述训练鉴别器网络遵循如下优化目标：

其中，D_joint代表联合鉴别器，G代表生成器，I～p_data(I)表示图像I统计特性满足无雾图像的概率分布，E表示该数据分布下的期望；优化目标使生成器输出尽可能能得接近真实值，其中G_t为生成大气光传播率图的生成器函数，G_d表示生成图像深度信息的生成器函数，G_H为生成去雾图的生成器函数。

10.根据权利要求1所述的一种基于迁移学习用图像深度信息引导的图像去雾方法，其特征在于：所述步骤5中采用对抗学习，训练鉴别器网络使得模型能够区分生成器输出和真实值之间的差异，通过建立联合鉴别损失，联合优化几个生成器函数，挖掘深度信息、光线大气光传播率图、去雾过程中的内在关系，促进整体网络模型的收敛；整体网络模型的联合鉴别损失的数学表达如下：

L_adv＝-log(D_joint(G_H(G_t(G_d(I)))))-log(D_joint(G_t(G_d(I))))-log(D_joint(G_d(I)))

所述训练整体模型的损失函数：

L＝κ₁L^a+κ₂L^depth+κ₃L^t+κ₄L^dhazing+κ₅L^adv

其中L^a为来自步骤(2)的损失项，L^depth为来自步骤(3)的损失项，L^t为来自步骤(4)的损失项，L^dhazing为去雾图与真实无雾图之间的L2损失项，L^adv为联合鉴别损失项，κ为权重参数。

Images