CN113362251B - 基于双判别器与改进损失函数的对抗网络图像去雾方法 - Google Patents

Abstract

基于双判别器与改进损失函数的对抗网络图像去雾方法。首先，在生成器中引入两层由Inception网络组成的细节生成模块以生成包含更加准确和逼真细节的图像，其次，引入双判别器结构，判别器D1网络结构较为简单，负责对生成器生成的图片I_fake的底层特征进行判别，D2网络结构较为复杂，负责对生成器生成的图片I_fake的高层特征进行判别，当生成器G生成的图片成功同时地欺骗过判别器D1和D2时，训练结束。最后，为了针对去雾任务完成针对性优化，将暗通道先验理论引入生成器的损失函数中，提升去雾效果。本发明可用于以无人机、无人车以及无人船等为载体的，易受大雾、雨天等恶劣条件影响的基于视觉的导航、目标识别和辅助驾驶等任务。

Description

基于双判别器与改进损失函数的对抗网络图像去雾方法

技术领域

本发明涉及图像去雾方法领域，特别是涉及基于双判别器与改进损失函数的对抗网络图像去雾方法，适用于在无标注与无配对数据集情况下，对网络实现无监督学习，实现图像的去雾。

背景技术

近年来，视觉传感器以其体积小，质量轻，成本低，可获取丰富被测信息而被广泛应用于导航、目标检测与辅助驾驶等新兴领域。图像作为视觉传感器获取外部信息的主要手段，时常受到各种噪声与环境的影响，尤其是大雾、雨天等恶劣环境下，将大幅影响视觉传感器的成像质量，进而影响工作精度，导致任务失败或算法失效。随着高性能图形处理单元(GPU) 的发展，基于卷积神经网络的深度学习为图像去雾带来了端到端的处理方法。但经典的卷积神经网络大多需要监督学习，即需要利用成对的有雾图像与对应的无雾图像输入网络进行训练，这大大增加了训练样本获取的工作量，同时，一组有雾与对应无雾图像获取较为困难，这造成了训练样本的缺乏。循环生成对抗网络(Cycle GenerativeAdversarial Networks, Cycle-GAN)是一种基于零和博弈思想的无监督卷积神经网络，仅需两个域内的一些训练图像而不要求这两个域图像之间存在对应关系即可完成对网络的训练，实现两域之间图片的相互转换，被广泛应用于图像风格迁移、图像增强与图像转换等领域，循环生成对抗网络的提出，为图像去雾提供了新的思路。有雾图像往往图像轮廓较为明显，但细节模糊，经典的循环生成对抗网络没有针对去雾任务实现优化，导致去雾效果不明显，或生成图像细节丢失与颜色失真较为严重，进而影响最终任务的实现。总的来说，视觉传感器受雾天与雨天的影响，将导致成像质量下降，经典的卷积神经网络去雾算法需要成对的训练集，而循环生成对抗网络没有针对去雾任务进行专门的优化，导致生成图像的去雾效果不佳。

发明内容

针对以上问题，本发明提供基于双判别器与改进损失函数的对抗网络图像去雾方法，解决了无监督条件下的图像去雾效果较差等问题，且网络是端到端实现训练。与常规的去雾图像相比，本发明提出的双判别器与改进损失函数的循环生成对抗网络，在实现无监督训练的同时，通过改进生成器网络结构，引入双判别器机制和改进损失函数等方法实现图像去雾效果的优化。增强视觉传感器在大雾等恶劣条件下的成像的鲁棒性，为目标检测与视觉导航等任务提供更加准确和可靠的图像信息。

本发明提供基于双判别器与改进损失函数的对抗网络图像去雾方法，包括以下步骤：

(1)训练阶段：将不成对的有雾图像和无雾清晰图像分成两组，分别对应于域domain_A 和域domain_B，对基于双判别器与改进损失函数的循环生成网络进行训练，在训练过程中，判别器D致力于将真实图像I_real与生成器G生成的图像I_fake分离开来，而生成器G则以其生成的图像I_fake能成功欺骗判别器D为目标，在这个对抗过程中，判别器D与生成器G不断进化，当判别器D无法分辨输入图像是来自生成器G还是真实图像时，即达到纳什均衡，完成训练；

(2)预测阶段：在网络训练完成之后，将所有待去雾的图像划分为domain_A，任选一张或几张清晰图像作为domain_B输入给循环生成对抗网络，可实现domain_A与domain_B两个域的相互转化，即完成有雾图像的去雾任务。

作为本发明进一步改进，所述步骤(1)中基于双判别器与改进损失函数的循环生成对抗网络具体含义如下：

基于双判别器与改进损失函数的循环生成对抗网络结构改进主要包含三个方面，首先，在生成器中引入两层由Inception网络组成的细节生成模块Detail GenerationModule，DGM，以生成包含更加准确和逼真细节的图像，其次，引入双判别器D1和D2结构，判别器D1网络结构较为简单，负责对生成器生成的图片I_fake的底层特征进行判别，D2网络结构较为复杂，负责对生成器生成的图片I_fake的高层特征进行判别，当生成器G生成的图片成功同时地欺骗过判别器D1和D2时，训练结束，最后，为了针对去雾任务完成针对性优化，将暗通道先验理论Dark Channel Prior引入生成器的损失函数中，提升去雾效果，将图像梯度损失L_gardient加入到生成器的损失函数中，提升生成图像的细节信息。

作为本发明进一步改进，所述步骤(1)的具体训练过程为：

将有雾的图像作为域domain_A，无雾清晰图像作为域domain_B，输入给改进的循环生成对抗网络，在网络中，基于细节生成模块DGM的生成器利用暗通道损失函数L_{dark_channel}，提升去雾效果，利用图像梯度损失L_gardient提升生成器生成图片的细节信息，进而生成由 domain_A向domain_B方向和domain_B向domain_A方向的两幅图像，并将这两幅图像与其目标域真实图像一并输入给双判别器D1和D2，判别器D1将针对图片的底层特征对图像的来源做出判断，判别器D2将针对图片的高层特征对图像的来源做出判断，判别器D1和D2 致力于将真实图像I_real与生成器G生成的图像I_fake分离开来，而生成器G则期望能够利用生成的图像I_fake欺骗判别器D1和D2，以此判别器和生成器实现对抗训练，不断优化自身的参数，当判别器无法区分出当前图像是来自生成器还是真实图像时，即达到纳什平衡，网络完成训练。

作为本发明进一步改进，所述步骤(2)的具体操作方法如下：

在所述的基于双判别器与改进损失函数的循环生成对抗网络训练完成之后，将所有的待去雾图像作为域domain_A，任意一张或几张清晰无雾图像作为域domain_B，将两个域的图像输入到训练好的网络后，即可实现由域domain_A向域domain_B转换，即有雾图像向无雾清晰图像转化，亦可实现域domain_B向域domain_A转化，即实现清晰图像向有雾图像的转化。

有益效果：

(1)本发明利用细节生成模块(DGM)提升了生成对抗网络中的生成器对图像细节生成的能力，提升了去雾效果。

(2)本发明通过双判别器D1和D2，分别对生成器生成的图像的底层特征和高层特征进行判别，督促生成器生成高质量的图像，进而提升了去雾效果。

(3)本发明对生成对抗网络中生成器的损失函数进行了优化，通过引入暗通道先验损失函数L_{dark_channel}，迫使生成器生成更加稳定的去雾图像。通过图像梯度损失L_gardient提升生成器生成的图片的细节信息，进一步提升了去雾效果。

附图说明

图1是本发明采用的循环生成对抗网络结构示意图；

图2为本发明所提出的生成器结构；

图3为本发明所提出的细节生成模块DGM；

图4为本发明所采用的残差连接模块；

图5为本发明所采用的双判别器结构；

图6为本发明实施例的去雾效果对比。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供基于双判别器与改进损失函数的对抗网络图像去雾方法，解决了无监督条件下的图像去雾效果较差等问题，且网络是端到端实现训练。与常规的去雾图像相比，本发明提出的双判别器与改进损失函数的循环生成对抗网络，在实现无监督训练的同时，通过改进生成器网络结构，引入双判别器机制和改进损失函数等方法实现图像去雾效果的优化。增强视觉传感器在大雾等恶劣条件下的成像的鲁棒性，为目标检测与视觉导航等任务提供更加准确和可靠的图像信息。

本发明面向基于视觉的导航、目标识别、辅助驾驶等任务在大雾、暴雨等恶劣环境下对清晰图像获取的需求，为实现对卷积网络实现端到端的无监督训练，提出了一种基于双判别器与改进损失函数的循环生成对抗网络图像去雾方法，该方法通过循环生成对抗网络对域domain_A与域domain_B进行循环转换，来实现基于无需配对的训练集的无监督训练。同时，在生成器中引入基于Inception网络结构的细节生成模块DGM，来优化生成器生成的图像的细节信息。其次，引入双判别器机制，即判别器D1和判别器D2，判别器D1结构较为简单，负责利用图像的底层特征对图像来源进行甄别，判别器D2结构较为复杂，涉及多层卷积与残差连接，负责利用图像的高层特征对图像来源进行鉴别。引入双判别器机制的目的在于更好地指导生成器来生成不同域之间的图像，提升图像去雾效果。而后，将经典去雾算法中的暗通道先验引入生成器的损失函数中，构成新的损失函数L_{dark_channel}，优化生成器图像去雾质量。最后，将图像梯度损失函数L_gardient引入到生成器损失函数中，进一步指导生成器生成图像的细节信息，提升去雾图像纹理信息。此方法可用于以无人机、无人车以及无人船等为载体的，易受大雾、雨天等恶劣条件影响的基于视觉的导航、目标识别和辅助驾驶等任务。

循环生成对抗网络的结构如图1所示，Real_A和Real_B为一组无需配对且无关的图片， Real_A对应于域domain_A，为待去雾图像；Real_B对应于域domain_B，为清晰无雾图像。在图1的结构中包含了两个生成器G_A和G_B，G_A用于由域domain_A向域domain_B生成图像，即由有雾图像生成无雾图像，G_B则用于由无雾图像生成有雾图像。由于循环生成对抗网络采用了两条对称的结构，因此，在此只对其中一条进行说明。在网络训练过程中，待去雾图像Real_A输入给生成器G_A，此时G_A会生成一张虚假的去雾图像Fake_B，将Real_B与 Fake_B两幅图像输入给判别器，判别器D_A1和D_A2分别从底层特征和高层特征对图像来源进行鉴别，若图像来源于域domain_B中的Real_B，则两个判别器需同时输出为True，若图像来源于域domain_B中的Fake_B(即生成器生成的图像)，则两个判别器需同时输出为 False。然后将Fake_B继续输入给生成器G_B，进而由无雾图像再生成为有雾图像Rec_A。由于Rec_A由Fake_B生成，因此网络期望Rec_A和Real_A应尽可能相似，这样才能保证Fake_B 在语义上的正确性。以x,y分别表domain_A和domain_B中真实的图像，由此引出循环一致性损失：

本发明所提出的双判别器机制中，包含两组四个判别器(D_A1,D_A2和D_B1,D_B2),以D_A1,D_A2为例，循环生成对抗网络对抗损失函数如下：

从上式可以看出，对抗损失的含义在于：判别器希望最大化L_GAN，即尽可能将真实图像y 标记为1，而将分生成器生成的虚假图像G_A(x)尽量置为0。同理，生成器希望最小化此函数，即尽可能以生成的图像蒙骗判别器D_A1,D_A2，使其分辨不出图像是否来源于生成器。

生成器G_A用于生成无雾图像，若此时将无雾图像输入给G_A也将生成无雾图像，即生成器G_A应具备生成无雾图像的能力，而不应与输入是否为有雾图像有关，因此，引入Identityloss，该损失函数的作用在于保持生成的图像与源图像尽可能的保证色调一致：

式(1)～(3)为传统的循环生成对抗网络的三个损失函数，从上述损失函数中可以看出，传统的循环生成对抗网络并没有对图像去雾提出专用的损失，因此去雾效果不理想。在经典去雾算法里，暗通道先验是一种快速、有效的方法，暗通道先验理论大致内容为：在清晰无雾的图像(除天空等区域)外的任一局部区域像素至少有一个通道的像素值很低，至少趋于 0，即在清晰无雾的图像中，三个通道的像素值的最小值趋于0，这是清晰无雾图像的一个重要的特征。暗通道计算方法如下：

J^dark＝min_y∈Ω(x)(min_c∈(r,g,b)J^c(y)) (4)

式中，min_c∈(r,g,b)J^c(y)代表输入图像R,G,B三个通道的像素最小值，min_y∈Ω(x)(·)表示最小值滤波。本发明通过引入暗通道损失L_dark来改善去雾效果：

由于待去雾图像细节与纹理比较模糊，因此，本发明引入梯度损失L_gardient来提升生成图像的细节信息：

其中，W,H分别代表输入图像的宽和高，代表梯度函数。

综上，本发明所提出的损失函数L为：

L＝L_cyc+λ₁L_GAN+λ₂L_Identity+λ₃L_dark+λ₄L_gardient (7)

其中，λ₁,λ₂，λ₃，λ₄为权重系数。

为生成更加逼真与真实的细节信息，本发明对生成器的结构进行了改进，提出了一种基于的细节生成模块(Detail Generation Module，DGM)的生成器网络结构，具体结构如图2 所示。在生成器中，一幅图像经过三层卷积后，进入2层细节生成模块，而后经过1层卷积后，输入到6层残差连接模块，进一步对特征进行提取，而后经过2层反卷积对特征进行还原后，经过1层卷积输出3维通道，而后经过Tanh激活后输出图像信息。其中，细节生成模块如图3所示，残差连接模块如图4所示。

在图3中，本发明所提出的细节生成模块采用两层类似于Inception结构的卷积，网络的输入x_n-1首先被分成4路，branch1进行1*1与3*3的卷积计算，branch2进行1*1与5*5的卷积运算，采用2层卷积的目的是为了能够在保持与大卷积核相同的感受野条件下，减少网络的参数量。branch3对输入不进行任何计算，branch4进行1*1的卷积计算。而后，branch1～3 按维度进行拼接操作(contact)作为新的输入，输入到下一层的Inception网络。重新经历上述操作后，将branch4与新的输出进行contact拼接，而后进行1*1的卷积运算，经过LeakyReLU 激活作为最终的输出。

在图4所示的残差连接模块中，输入x_n-1被分为2路，branch1为跳跃连接。branch2经过 3*3卷积、InstanceNorm和ReLU激活后，输入到下一个3*3卷积与InstanceNorm组成的模块中，而后与branch1中的原始输入x_n-1进行相加，作为最终的输出。采用残差模块的作用在于可以增加网络深度的同时，使得网络参数可以有效的进行传播，进而减少梯度消失的风险。

如图5所示为本发明所提出的双判别器结构。判别器D1与判别器D2网络结构大不相同， D1经过3层3*3卷积后，特征被提取到256维，而后利用1层3*3卷积来对图片的来源进行判断，True则代表图像来源于真实照片，False则代表图像来源于生成器生成的照片。判别器 D1结构较为简单，所提取的特征维度较低，只能感受到底层特征，因此被用来针对图片的轮廓、线条以及颜色等特征进行图像判别。相反，在判别器D2中，经过4层卷积后，特征被提取到了512维，而后经过6层残差连接模块进行特征的进一步提取与抽象，最后经过一层 3*3卷积输出一个判别结果。判别器D2结构较为复杂，能提取图像中的高层特征，因此被用来针对图像的语义特征进行鉴别。

在训练阶段，将有雾的图像作为域domain_A，无雾清晰图像作为域domain_B，输入给经上述改进的循环生成对抗网络。判别器与生成器交替训练。在网络中，基于细节生成模块 (DGM)的生成器利用暗通道损失函数L_{dark_channel}，提升去雾效果，利用图像梯度损失L_gardient提升生成器生成图片的细节信息，进而生成由domain_A向domain_B方向和domain_B向 domain_A方向的两幅图像，并将这两幅图像与其目标域真实图像一并输入给双判别器D1和 D2，判别器D1将针对图片的底层特征对图像的来源做出判断，判别器D2将针对图片的高层特征对图像的来源做出判断，判别器D1和D2致力于将真实图像I_real与生成器G生成的图像I_fake分离开来，而生成器G则期望能够利用生成的图像I_fake欺骗判别器D1和D2，以此判别器和生成器实现对抗训练，不断优化自身的参数，当判别器无法区分出当前图像是来自生成器还是真实图像时，即达到纳什平衡，网络完成训练。

在预测阶段，即网络训练完成之后的去雾阶段。将所有的待去雾图像作为域domain_A，任意一张或几张清晰无雾图像作为域domain_B，将两个域的图像输入到训练好的网络后，即可实现由域domain_A向域domain_B转换，即有雾图像向无雾清晰图像转化，亦可实现域 domain_B向域domain_A转化，即实现清晰图像向有雾图像的转化。

根据本发明的一个实例，训练所采用的服务器配置如下，CPU为2块英特尔至强E5-2698 v4，GPU为2块Nvidia RTX3090，显存为24GB，整机内存为128GB，存储为1TB SSD+4TBHDD。训练时所采用的epoch为200，其中，前100个epoch的学习率(learning rate)为0.0002，后100个epoch的学习率由0.0002逐渐衰减到0。在上述配置中训练1个epoch时间大约为 520s，限于GPU显存大小，batch size选为4，采用的深度学习框架为Pytorch。与经典循环对抗网络相比，本发明改进的循环生成对抗网络去雾效果如图6所示。可以看出，经典循环对抗网络在去雾过程中，颜色失真，细节模糊甚至丢失等现象较为严重，经过本发明提出的方法改进之后，去雾效果明显改善，细节信息较为丰富。

以上所述，仅是本发明的较佳实施例之一，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (2)

1.基于双判别器与改进损失函数的对抗网络图像去雾方法，其特征在于：

包括以下步骤：

(1)训练阶段：将不成对的有雾图像和无雾清晰图像分成两组，分别对应于域domain_A和域domain_B，对基于双判别器与改进损失函数的循环生成网络进行训练，在训练过程中，判别器D致力于将真实图像I_real与生成器G生成的图像I_fake分离开来，而生成器G则以其生成的图像I_fake能成功欺骗判别器D为目标，在这个对抗过程中，判别器D与生成器G不断进化，当判别器D无法分辨输入图像是来自生成器G还是真实图像时，即达到纳什均衡，完成训练；

所述步骤(1)中基于双判别器与改进损失函数的循环生成对抗网络具体含义如下：

基于双判别器与改进损失函数的循环生成对抗网络结构改进主要包含三个方面，首先，在生成器中引入两层由Inception网络组成的细节生成模块Detail GenerationModule，DGM，以生成包含更加准确和逼真细节的图像，其次，引入双判别器D1和D2结构，判别器D1网络结构较为简单，负责对生成器生成的图片I_fake的底层特征进行判别，D2网络结构较为复杂，负责对生成器生成的图片I_fake的高层特征进行判别，当生成器G生成的图片成功同时地欺骗过判别器D1和D2时，训练结束，最后，为了针对去雾任务完成针对性优化，将暗通道先验理论Dark Channel Prior引入生成器的损失函数中，提升去雾效果，将图像梯度损失L_gardient加入到生成器的损失函数中，提升生成图像的细节信息；

所述步骤(1)的具体训练过程为：

将有雾的图像作为域domain_A，无雾清晰图像作为域domain_B，输入给改进的循环生成对抗网络，在网络中，基于细节生成模块DGM的生成器利用暗通道损失函数L_{dark_channel}，提升去雾效果，利用图像梯度损失L_gardient提升生成器生成图片的细节信息，进而生成由domain_A向domain_B方向和domain_B向domain_A方向的两幅图像，并将这两幅图像与其目标域真实图像一并输入给双判别器D1和D2，判别器D1将针对图片的底层特征对图像的来源做出判断，判别器D2将针对图片的高层特征对图像的来源做出判断，判别器D1和D2致力于将真实图像I_real与生成器G生成的图像I_fake分离开来，而生成器G则期望能够利用生成的图像I_fake欺骗判别器D1和D2，以此判别器和生成器实现对抗训练，不断优化自身的参数，当判别器无法区分出当前图像是来自生成器还是真实图像时，即达到纳什平衡，网络完成训练；

(2)预测阶段：在网络训练完成之后，将所有待去雾的图像划分为domain_A，任选一张或几张清晰图像作为domain_B输入给循环生成对抗网络，可实现domain_A与domain_B两个域的相互转化，即完成有雾图像的去雾任务。

2.根据权利要求1所述基于双判别器与改进损失函数的对抗网络图像去雾方法，其特征在于：所述步骤(2)的具体操作方法如下：

在所述的基于双判别器与改进损失函数的循环生成对抗网络训练完成之后，将所有的待去雾图像作为域domain_A，任意一张或几张清晰无雾图像作为域domain_B，将两个域的图像输入到训练好的网络后，即可实现由域domain_A向域domain_B转换，即有雾图像向无雾清晰图像转化，亦可实现域domain_B向域domain_A转化，即实现清晰图像向有雾图像的转化。