CN110363716A - 一种基于条件生成对抗网络复合降质图像高质量重建方法 - Google Patents

Abstract

本发明公开了一种基于条件生成对抗网络复合降质图像高质量重建方法，该方法基于条件生成对抗网络对无人机航拍、视频监控、智能交通等户外视觉系统中复合降质图像进行高质量重建，包括整体流程、复合降质图像样本库的建立、网络模型搭建与训练、复合降质图像高质量重建部分。通过条件生成对抗网络对无人机航拍、视频监控、智能交通等户外视觉系统得到的复合降质图像进行统一高质量重建。本发明提出了建立对应清晰‑复合降质图像样本库的方案；采用条件生成对抗网络，建立一种复合降质图像高质量重建方法，可完成存在雾霾、模糊、压缩效应等复合降质图像的统一重建；采用轻型的网络，不仅提高了图像重建速度，也更利于此方法在实践中的应用。

Description

一种基于条件生成对抗网络复合降质图像高质量重建方法

技术领域

本发明属于数字图像处理领域，特别涉及一种基于条件生成对抗网络(cGAN，Conditional Generative Adversarial Nets)的户外视觉系统复合降质图像的高质量重建方法。

背景技术

无人机航拍、视频监控、智能交通等户外视觉系统采集到的图像通常受到雾霾天气、模糊、压缩效应等多种降质因素的影响。这些因素以复杂的方式随机组合，导致图像质量的严重退化，不仅影响人眼的主观视觉效果，而且给户外视觉系统效用的充分发挥带来很大阻碍。

雾霾图像形成的经典大气光散射模型如公式所示，其中I(x)为有雾图像，J(x)为清晰图像，t(x)为透射图t(x)＝e^-ρd(x)(ρ为散射系数d(x)为场景深度)，A为全局大气光。

I(x)＝J(x)t(x)+A(1-t(x))

对于图像大气光散射参数的估计，如果分别估计透射图t(x)和大气光A，重建得到的图像通常包含颜色失真或伪影如附图1所示，因此可将透射图t(x)和大气光A的估计根据公式转化为大气光散射参数K的估计。

图像模糊的通用模型如公式所示，其中g(x)表示模糊图像，f(x)表示清晰图像，q(x)代表模糊核，*表示卷积算子，n(x)代表加性噪声。常见的模糊类型主要有三种，分别为运动模糊、散焦模糊、大气湍流模糊等。

g(x)＝q(x)*f(x)+n(x)

在无人机航拍、视频监控、智能交通等户外视觉系统中，往往需要对所获取的影像进行压缩存储，目前常用的压缩方法可以分为两类：无损压缩和有损压缩。虽然无损压缩方法为用户提供了最佳的视觉体验，但有损压缩方法可以实现更高的压缩比。因此在实际应用中常用有损压缩，而有损压缩图像中常存在伪像、图像块效应等降质现象。

目前，学者们分别针对图像雾霾、模糊、压缩效应等降质因素开展了研究工作，但是这些算法往往只关注于某种特定的单一降质因素，很难对存在多种降质因素的图像进行统一的高质量重建。如附图2所示的是一幅雾霾与压缩两种降质因素共存的低质图像，若对该图像仅进行去雾处理，不仅去雾效果较差，由压缩造成的块效应也会显得异常突出，这使得重建图像的人眼主观视觉感受很差。有学者提出将复合降质图像依次通过针对某种单一降质因素重建系统的处理方法，该方法在理论上可以对复合降质图像进行重建，但是由于多次处理的叠加误差以及未考虑各种降质因素组合的随机性及其相互作用等，重建结果往往并不理想。因此，如何利用统一的框架进行复合降质图像的高质量重建，是无人机航拍等户外视觉采集系统亟待解决的问题。

与传统方法相比，深度神经网络(Deep Neural Network)在图像重建方面取得了较好的效果。尤其是Goodfellow等人在2014年提出的生成对抗网络(GAN，GenerativeAdversarial Networks)，该网络结构如附图3所示，目标函数如公式所示。

其基本原理是由判别器D辅助生成器G产生出与真实数据分布一致的伪数据。模型的输入为随机噪声信号z。该噪声信号经由生成器G映射到某个新的数据空间，得到生成的数据G(z)。接下来，由判别器D根据真实数据x与生成数据G(z)的输入来分别输出一个概率值，表示D对于输入是真实数据还是生成数据的置信度，以此判断生成器G的性能好坏；当最终D无法区分真实数据x和生成数据G(z)时，就认为生成器G达到了最优。生成器G要能使产生的数据在D上的表现D(G(z))与真实数据D(x)尽可能一致，使得D无法区分生成数据与真实数据。生成对抗网络的设计建立了生成器和判别器的非合作博弈关系，通过迭代交替跟新达到纳什均衡，从而训练出最优的网络模型，为解决图像高质量重建问题提供了新的思路和手段。

但是原始GAN网络在无条件的生成模型中不需要预先建模，这会造成生成器不可控，对于高分辨率图片，基于经典GAN的方式无法控制正在生成数据的模式，对网络的训练造成很大阻碍。条件生成对抗网络(cGAN)主要思想是通过附加信息y作为监督，指导数据的生成过程，其中附加信息y可以是任何类型的辅助信息，例如类别标签或来自其他模态的数据。经典cGAN网络的示例图如附图4所示，目标函数如公式所示。

生成模型的输入为随机噪声信号z和条件y，该噪声信号z和条件y经由生成器G映射到某个新的数据空间，得到生成的数据G(z|y)。接下来，由判别器D根据真实数据x、条件y与生成数据G(z|y)来分别输出一个概率值，表示D对于输入是真实数据的置信度，以此判断G的生成数据性能好坏。当最终D无法区分真实数据x和生成数据G(z|y)时，就认为生成器G达到了最优。近期学者们将条件生成对抗网络应用于图像的超分辨率重建、图像修复、风格迁移等方面，均取得了较好的结果。

发明内容

本发明的目的在于利用条件生成对抗网络(cGAN)对无人机航拍、视频监控、智能交通等户外视觉系统中存在雾霾、模糊、压缩效应的复合降质图像在一个框架下进行统一的高质量重建。

本发明采用以下技术方案进行实现：基于条件生成对抗网络对无人机航拍、视频监控、智能交通等户外视觉系统中复合降质图像进行高质量重建，主要包括整体流程、复合降质图像样本库的建立、网络模型搭建与训练、复合降质图像高质量重建部分。

首先复合降质图像重建的处理流程，包括复合降质图像样本库的建立；图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络以及条件生成对抗网络的生成网络G和判别网络D搭建，并利用合成的清晰-复合降质图像样本对上述网络进行训练，大气光散射参数K、图像模糊参数Bn和图像压缩参数CQ作为条件指导生成对抗网络训练；对真实复合降质图像L进行重建时，将真实复合降质图像L分别送入三个参数预测网络得到对应的大气光散射参数K、图像模糊参数Bn以及图像压缩参数CQ，之后将K、Bn、CQ作为条件与复合降质图像一同送入生成网络得到高质量重建图像。

复合降质图像样本库建立：包括高质量图像的获取、降质因素的添加、清晰-复合降质图像样本库生成三个步骤。

网络模型搭建与训练：包括网络的框架搭建、网络训练及模型获取两个步骤。网络的框架搭建包括图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络、条件生成对抗网络的生成网络G和对抗网络D的架构搭建；网络训练及模型获取阶段包括损失函数以及训练策略的使用等。

复合降质图像高质量重建：包括复合降质图像大气光散射参数K预测、模糊类别参数Bn预测和压缩参数CQ预测，将复合降质图像及其预测参数送入生成器进行图像重建两个步骤。

所述的整体流程，具体步骤如下：

本发明的整体流程如附图5所示

S1首先获取高质量图像并对其进行复合降质处理，得到清晰-复合降质图像数据集；

S2搭建图像大气光散射参数预测网络、图像模糊参数预测网络、图像压缩参数预测网络、条件生成对抗网络的生成网络G和判别网络D，并利用S2中得到的数据集对上述五个网络进行训练，其中三个预测网络得到的大气光散射参数K、图像模糊类别参数Bn、图像压缩参数CQ作为条件指导生成对抗网络训练，直至条件生成对抗网络(cGAN)达到纳什均衡或者达到最大迭代次数，停止训练；

S3在进行图像高质量重建时，利用S2训练好的网络，先将需要进行重建的真实复合降质图像分别送入三个参数预测网络得到对应的参数K、Bn和CQ，之后将图像与得到的参数一同送入生成网络G中，得到重建图像。

所述的复合降质图像样本库建立，具体步骤如下：

复合降质图像样本库的建立包含高质量图像的选取、降质参数的选择以及清晰-复合降质图像对样本库生成等。

S1.1分别选取已有的室内、室外数据集中的高质量图像；

S1.2对于S1.1中的高质量图像J(x)，通过随机给定透射率t(x)和大气光A得到雾霾降质图像；

S1.3向S1.2得到的图像中随机加入一种模糊降质得到模糊降质图像，其中模糊降质包括运动模糊、散焦模糊、大气湍流等；

S1.4使用JPEG压缩方法对S1.3得到的图像进行不同压缩质量参数(CQ)的压缩处理，得到不同程度压缩失真的复合降质图像I(x)。

S1.5将S1.1中得到的高质量图像J(x)与S1.4得到的对应复合降质图像I(x)组成清晰-复合降质图像对及对应的降质参数K、Bn、CQ组成样本库。

所述的网络模型搭建与训练，具体步骤如下：

S2图像大气光散射参数预测网络搭建

使用卷积网络对图像大气光散射参数K进行预测，将预测结果K作为条件，用于指导条件生成对抗网络的学习。

附图6大气光散射参数预测网络所示为图像大气光散射参数预测网络的基本网络结构，包含5个卷积层和3个特征融合层，其参数如表1所示。将复合降质图像送入网络，提取conv1和conv2得到的特征图进行特征融合，其结果作为conv3的输入；提取conv1、conv2和conv3的特征图进行特征融合，其结果作为conv4的输入；提取conv1、conv2、conv3和conv4的特征图进行特征融合，得到的结果作为conv5的输入。经过第五层卷积后，最终输出大气光散射参数预测结果K。该网络结构可以最大限度的保留图像各个层次特征，得到更好的预测结果。

S2.1图像模糊参数预测网络搭建

图像模糊主要有运动模糊、散焦模糊、大气湍流模糊。利用卷积网络对图像模糊类别进行预测，将预测结果Bn作为条件，指导条件生成对抗网络的学习。

采用经典图像分类网络AlexNet的网络结构，其参数如表2所示。附图7所示为图像模糊类别预测网络的结构图，主要包括3个卷积层、3个全连接层。在所有的卷积层和全连接层之后，都应用了ReLU非线性激活函数。为了加速计算、防止过拟合，在卷积函数及激活函数之后，利用最大池化层来对图像的宽度和高度进行采样。在前两个池化层后加入了局部响应归一化(Local Response Normalization，LRN)操作提高网络的准确率。最终网络的输出结果为一个3×1的向量，其数值分别代表图像中存在运动模糊、散焦模糊、大气湍流模糊三种类型的模糊参数。

S2.2图像压缩参数预测网络搭建

压缩方法分为两类：无损和有损。虽然无损方法为用户提供了最佳的视觉体验，但有损方法可以实现更高的压缩比，因此户外视觉系统常用JPEG有损压缩方式。本发明利用卷积网络对图像压缩参数进行预测，将预测结果CQ作为条件，指导条件生成对抗网络的学习。附图8所示为图像压缩参数预测网络的基本结构，主要包含3个卷积层和2个全连接层和1个归一化指数函数(softmax)层，其参数如表3所示。在所有的卷积层和全连接层之后，都应用了ReLU非线性激活函数。为了降低特征维数、加速计算，在卷积函数及激活函数之后，利用最大池化层进行特征选择。最终网络的输出结果为一个5×1的向量，其数值分别代表图像中存在压缩参数等于0、10、20、30、40的概率，图像的最终压缩参数预测结果CQ等于5个压缩参数与对应预测概率的加权和。

S2.3条件生成对抗网络

生成网络结构搭建：生成器G要能使产生的数据在判别器D上与真实数据的表现尽可能一致。使用的生成网络结构如附图9所示，其参数如表4所示。包含对称的编码和解码结构，编码过程主要基于下采样操作，并向解码过程的对应层提供特征映射。解码过程主要使用上采样操作和非线性空间转移。编码对应于8个卷积层进行不同层次的特征提取，解码部分对应6个反卷积层、1个卷积层和1个Tanh函数激活层进行图像的重建。同时，为了更好的利用各个阶段的特征，突破解码过程中的信息瓶颈，在网络中加入跳步连接。

判别网络结构搭建：判别器D要能准确区分图像是来自真实的还是生成器G的输出。以此来指导生成器的学习，使其最终的输出图像更趋近于真实图像。本发明使用的判别网络结构如附图10判别网络模型所示，其参数如表5所示。包含5个卷积层，均采用3×3的卷积核，最后通过sigmoid函数，得到图像评分。

S2.4网络训练

在网络训练阶段，首先利用建立的复合降质图像样本库分别训练图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络、条件生成对抗网络。之后利用训练好的参数预测网络得到复合降质图像I_i的大气光散射参数K_i、图像模糊参数Bn_i和图像压缩参数CQ_i，作为条件生成对抗网络的条件。将I_i、K_i、Bn_i和CQ_i送入生成网络G，得到对应重建图像Z_i。使用I_i对应的高质量图像J_i、重建图像Z_i、参数K_i、Bn_i、CQ_i训练对抗网络D。交替训练生成网络G和对抗网络D，直至条件生成对抗网络达到纳什均衡或最大迭代次数。训练好的两个参数预测网络及生成网络G即为最终的复合降质图像重建网络。其中图像大气光散射参数预测网络、模糊参数预测网络、压缩参数预测网络均采用均方误差(MSE)损失函数，生成网络的损失函数包括对抗损失、感知损失和像素级损失，判别网络使用判别损失函数。训练以上网络均采用Adam梯度下降法，动量均设置为0.9。学习率为0.0002，每训练100次学习率变为原来的0.9倍，经过反复迭代，当损失函数降到最小或达到预设的最大迭代次数时停止训练，得到最终的图像重建模型。

所述的复合降质图像高质量重建，具体步骤如下：

S3.1参数预测

首先，将尺寸为M×N像素的待重建的真实复合降质图像L，送入图像大气光散射参数预测网络，得到对应的大气光散射参数K。将真实复合降质图像L尺寸缩放到256×256像素，分别送入图像模糊参数预测网络和图像压缩参数预测网络中，得到对应的模糊参数Bn和压缩参数CQ，并以此作为生成器的条件。

S3.2生成网络重建

将待重建的真实复合降质图像L以及S3.1得到的大气光散射参数K和图像模糊类别参数Bn一同送入生成网络中，其输出结果即为高质量重建图像Z。

与现有技术相比，本发明旨在通过条件生成对抗网络对无人机航拍、视频监控、智能交通等户外视觉系统得到的复合降质图像进行统一高质量重建。首先，针对本发明的任务，提出了建立对应清晰-复合降质图像样本库的方案；其次，本发明采用条件生成对抗网络(cGAN)，建立了一种复合降质图像高质量重建方法，可完成存在雾霾、模糊、压缩效应等复合降质图像的统一重建；再者，本发明采用轻型的网络，不仅提高了图像重建速度，也更利于此方法在实践中的应用。

附图说明

图1分别预测透射图和全局大气光去雾效果。

图2复合降质图像去雾效果。

图3经典生成对抗网络结构图。

图4条件生成对抗网络示例图。

图5整体流程图。

图6大气光散射参数预测网络。

图7图像模糊参数预测网络。

图8图像压缩参数预测网络。

图9生成网络模型。

图10判别网络模型。

表1大气光散射参数预测网络结构及参数

表2图像模糊类别预测网络结构及参数

表3图像压缩参数预测网络结构及参数

表4生成网络结构及参数

表5判别网络结构及参数

具体实施方式

以下结合说明书附图，对本发明的实施实例加以详细说明：

一种基于条件生成对抗网络(cGAN)的户外视觉系统复合降质图像的高质量重建方法，整体流程如附图5所示，主要包括复合降质图像样本库的建立、网络模型搭建与训练、高质量图像重建部分。大气光散射参数K预测网络如附图6所示，图像模糊参数Bn预测网络如附图7所示，图像压缩参数CQ预测网络如附图8所示，条件对抗网络的生成网络模型如附图9生成网络模型所示、判别网络如附图10所示。对于一幅高质量图像，随机添加雾霾、模糊、压缩等降质因素得到清晰-复合降质图像样本库。利用生成的样本库，对参数预测网络及条件生成对抗网络进行训练。对于真实复合降质图像L，由三个参数预测网络分别得到图像的大气光散射参数K、模糊类别参数Bn以及压缩参数CQ，并将三个预测参数与对应复合降质图像一同送入生成网络，得到最终的高质量重建图像Z。

所述的复合降质图像样本库建立部分分为3个步骤，具体步骤如下：

(1)现有的NYU Depth Dataset V2数据集包含1449张室内图像，Make3D dataset数据集包含1000张室外图像。上述两个数据集均包含的图像深度信息更有利于图像的高质量重建。随机从上述两个数据集中选取2400幅高质量图像J。

(2)模拟真实图像获取时降质因素的叠加过程，向步骤(1)中得到的高质量图像J随机加入以下三种降质因素，得到对应的复合降质图像I。

雾霾降质：根据公式向图像中加入雾霾降质因素，使用随机给定的透射图t_i(x)和全局大气光A_i生成降质图像I_hi，其中t(x)∈(0,1)，A_i＝[n1,n2,n3]，n∈[0.8,1.0]。标签K_i由公式根据给定的透射图t_i(x)和大气光参数A_i得到。

模糊降质：根据公式向雾霾降质图像I_hi中随机加入一种类别的模糊降质因素，得到模糊图像I_hbi，其中各模糊核参数选择范围如下：运动模糊主要是由相机的线性运动引起的，如公式所示，随机给定M∈[0,20]，ω∈[0,180]；散焦模糊，如公式所示，其模糊半径r与散焦程度成比例，随机给定r∈[0,25]；大气湍流的点扩散函数可用高斯模糊模拟，如公式所示，其中σ为模糊半径，R∈[-3σ,3σ]，随机给定σ∈[0,5]。标签Bn_i由运动模糊角度ω、散焦模糊半径r、大气湍流模糊半径σ组成。

压缩效应：对于加入雾霾和模糊降质的图像I_hbi运用JPEG压缩方法，随机进行不同压缩参数(CQ)值的压缩处理得到复合降质图像I_i，CQ设定为(0，10，20，30，40)。标签CQ_i为图像使用的对应压缩参数值。

(3)将步骤(1)获得的高质量图像J_i与步骤(2)得到的对应复合降质图像I_i,组成清晰-复合降质图像对{J_i,I_i}，并且保存对应的大气光散射参数K_i、模糊类别Bn_i、压缩质量参数CQ_i，形成清晰-复合降质图像样本库。

所述的网络模型搭建与训练部分分为2个步骤，具体步骤如下：

(1)网络预训练：首先利用建立的清晰-复合降质图像样本库分别对搭建好的图像大气光散射参数预测网络、图像模糊参数预测网络、图像压缩参数预测网络、条件生成对抗网络的生成网络G和对抗网络D进行预训练。

大气光散射参数预测网络结构如附图6所示，输入清晰-复合降质图像对{J_i,I_i}，输出为图像大气光散射参数预测结果K_i'。利用公式所示的大气光散射参数预测损失使网络大气光散射参数预测结果更接近真实值。

图像模糊参数预测网络结构如附图7所示，输入清晰-复合降质图像对{J_i,I_i}，输出为图像模糊参数预测结果B_n′。使用公式所示的模糊参数预测损失提高网络对图像模糊参数预测准确性。

图像压缩参数预测网络结构如附图8所示，输入清晰-复合降质图像对{J_i,I_i}，输出为图像压缩参数预测结果CQ’。使用公式所示的图像压缩参数预测损失l_CQ，提高网络对压缩参数CQ的预测准确性

生成网络结构图如附图9示，其生成函数如公式所示，G表示生成网络，L_i为输入的真实复合降质图像，K_i为图像大气光散射参数，Bn_i为图像模糊参数，CQ_i为图像压缩参数，Z_i为输出的重建图像。将生成网络输出图像与对应高质量图像组成图像对{Z_i,J_i}供后续判别网络使用。

Z_i＝G(L_i|(K_i,Bn_i,CQ_i))

在生成网络中，生成网络的损失函数主要包括四个部分，分别为对抗损失函数、感知损失函数、像素级损失函数及梯度损失函数。

对抗损失函数l_Gen是在较高的层面上，使图像看起来接近实际高质量图像，更加真实和自然。其表达形式如公式所示，其中D表示判别网络。

感知损失函数l_fea,j的加入能更好的重建图像中的细节特征，其表达形式如公式所示。公式中W、H分别代表对应特征图的宽度和高度，Ф_j表示已在ImageNet上预先训练好的VGG网络第j层输出的特征图。

为了使重建图像与原图在像素级上保持一致，加入像素级损失函数l_MSE，通常采用均方差MSE，其表达形式如公式所示。

为了去除重建图像中的伪像，保留更多的细节特征，加入梯度损失函数l_t,v，其表达式如公式所示，其中和分别代表图像在竖直和水平方向上的梯度总变差。

生成网络总的损失函数l_G如公式所示，生成网络通过最小化l_G进行训练。其中a、b、c，d均为正权重，训练过程中将权重依据经验分别设置为a＝1，b＝100，c＝100，d＝0.5。

l_G＝al_Gen+bl_fea,j+cl_MSE+dl_tv

在判别网络中，将生成网络重建结果Z_i与高质量图像J_i以及对应的K_i、B_i和CQ_i送入判别网络，得到重建图像和真实图像的判别结果，通过公式更新判别器。

(2)网络联合训练

使用预训练得到的三个参数网络对复合降质图像I_i进行参数预测，得到对应的大气光散射参数K_i、图像模糊参数Bn_i、图像压缩参数CQ_i作为条件指导生成对抗网络训练。经过交替迭代，当条件生成对抗网络达到纳什均衡或达到预设的最大迭代次数(10万次)时停止训练，至此获得图像重建所需的参数预测网络与生成网络。

所述的高质量重建部分分为2个步骤，具体步骤如下：

(1)参数预测：对于待重建的复合降质图像L，分别通过图像大气光散射参数预测网络、图像模糊参数预测网络、图像压缩参数预测网络得到对应的参数K、Bn、CQ，作为图像重建的条件。

将待重建图像N输入到如附图6所示的图像大气光散射参数预测网络中，得到预测参数K。图中concat操作如公式所示表示矩阵合并，将图像经过第一层和第二层卷积后得到的尺寸均为M×N×3的特征图进行的矩阵合并concat1操作后，得到大小为M×N×6的融合特征图k₂作为第三个卷积层的输入；将图像经过第一层、第二层和第三层卷积后得到的尺寸均为M×N×3的特征图进行concat2操作后，得到大小为M×N×9的融合特征图k₃作为第四个卷积层的输入；将图像经过第一层、第二层、第三层和第四层卷积后得到的尺寸均为M×N×3的特征图进行concat3操作后，得到大小为M×N×12的融合特征图k₄作为第五个卷积层的输入，最终经过第五层卷积得到图像大气光散射预测参数K。

k_n＝concat(k₁,...,k_n)

将待重建图像I尺度缩放到256×256像素，输入到附图7所示的图像模糊类别预测网络中，通过卷积层、池化层、全连接层，输出图像中模糊参数Bn。

将待重建图像I尺度缩放到256×256像素，输入到附图8所示的图像压缩参数预测网络中，通过卷积层、池化层、全连接层、softmax层，输出图像压缩参数CQ。

(2)生成网络重建

将待重建的复合降质图像L以及步骤(1)中得到的预测参数K、模糊参数Bn和压缩参数CQ一同送入生成网络中，其输出结果即为重建图像Z。

生成网络采用编码-解码的对称结构，编码部分对应图像特征提取过程。由8个卷积层组成，对复合降质图像L，经过第n(n<9)个卷积层和激活函数得到对应的特征图En，其中激活函数选择LeakyRelu，其表达式如公式所示(a_i＝10)，该函数形式简单，且解决了Relu函数进入负区间后神经元不学习的问题。

解码部分对应图像重建过程，包含6个反卷积层1个卷积层和一个Tanh激活层，经过第m(m<8)个反卷积或卷积层的输出为Dm。并加入了跳步连接，将编码部分conv7输出的特征图E7与解码部分uconv1输出的特征图D1通过element-sum操作得到的特征图作为uconv2的输入；将编码部分conv6输出的特征图E6与解码部分uconv2输出的特征图D2通过element-sum操作得到的特征图作为uconv3的输入；将编码部分conv5输出的特征图E5与解码部分uconv3输出的特征图D3通过element-sum操作得到的特征图作为uconv4的输入；将编码部分conv4输出的特征图E4与解码部分uconv4输出的特征图D4通过element-sum操作得到的特征图作为uconv5的输入；将编码部分conv3输出的特征图E3与解码部分uconv5输出的特征图D5通过element-sum操作得到的特征图作为uconv6的输入，element-sum代表对应位置元素求和的特征融合操作。

Claims (5)

1.一种基于条件生成对抗网络复合降质图像高质量重建方法，其特征在于：

该方法包括整体流程、复合降质图像样本库的建立、网络模型搭建与训练、复合降质图像高质量重建部分；

首先复合降质图像重建的处理流程，包括复合降质图像样本库的建立；图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络以及条件生成对抗网络的生成网络G和判别网络D搭建，并利用合成的清晰-复合降质图像样本对上述网络进行训练，大气光散射参数K、图像模糊参数Bn和图像压缩参数CQ作为条件指导生成对抗网络训练；对真实复合降质图像L进行重建时，将真实复合降质图像L分别送入三个参数预测网络得到对应的大气光散射参数K、图像模糊参数Bn以及图像压缩参数CQ，之后将K、Bn、CQ作为条件与复合降质图像一同送入生成网络得到高质量重建图像；

复合降质图像样本库建立：包括高质量图像的获取、降质因素的添加、清晰-复合降质图像样本库生成三个步骤；

网络模型搭建与训练：包括网络的框架搭建、网络训练及模型获取两个步骤；网络的框架搭建包括图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络、条件生成对抗网络的生成网络G和对抗网络D的架构搭建；网络训练及模型获取阶段包括损失函数以及训练策略的使用；

复合降质图像高质量重建：包括复合降质图像大气光散射参数K预测、模糊类别参数Bn预测和压缩参数CQ预测，将复合降质图像及其预测参数送入生成器进行图像重建两个步骤。

2.根据权利要求1所述的一种基于条件生成对抗网络复合降质图像高质量重建方法，其特征在于：

所述的整体流程，具体步骤如下：

S1首先获取高质量图像并对其进行复合降质处理，得到清晰-复合降质图像数据集；

S2搭建图像大气光散射参数预测网络、图像模糊参数预测网络、图像压缩参数预测网络、条件生成对抗网络的生成网络G和判别网络D，并利用S2中得到的数据集对上述五个网络进行训练，其中三个预测网络得到的大气光散射参数K、图像模糊类别参数Bn、图像压缩参数CQ作为条件指导生成对抗网络训练，直至条件生成对抗网络(cGAN)达到纳什均衡或者达到最大迭代次数，停止训练；

S3在进行图像高质量重建时，利用S2训练好的网络，先将需要进行重建的真实复合降质图像分别送入三个参数预测网络得到对应的参数K、Bn和CQ，之后将图像与得到的参数一同送入生成网络G中，得到重建图像。

3.根据权利要求2所述的一种基于条件生成对抗网络复合降质图像高质量重建方法，其特征在于：

所述的复合降质图像样本库建立，具体步骤如下：

复合降质图像样本库的建立包含高质量图像的选取、降质参数的选择以及清晰-复合降质图像对样本库生成；

S1.1分别选取已有的室内、室外数据集中的高质量图像；

S1.2对于S1.1中的高质量图像J(x)，通过随机给定透射率t(x)和大气光A得到雾霾降质图像；

S1.3向S1.2得到的图像中随机加入一种模糊降质得到模糊降质图像，其中模糊降质包括运动模糊、散焦模糊、大气湍流；

S1.4使用JPEG压缩方法对S1.3得到的图像进行不同压缩质量参数(CQ)的压缩处理，得到不同程度压缩失真的复合降质图像I(x)；

S1.5将S1.1中得到的高质量图像J(x)与S1.4得到的对应复合降质图像I(x)组成清晰-复合降质图像对及对应的降质参数K、Bn、CQ组成样本库。

4.根据权利要求1所述的一种基于条件生成对抗网络复合降质图像高质量重建方法，其特征在于：

所述的网络模型搭建与训练，具体步骤如下：

S2.1图像大气光散射参数预测网络搭建

使用卷积网络对图像大气光散射参数K进行预测，将预测结果K作为条件，用于指导条件生成对抗网络的学习；

图像大气光散射参数预测网络的基本网络结构，包含5个卷积层和3个特征融合层，将复合降质图像送入网络，提取conv1和conv2得到的特征图进行特征融合，其结果作为conv3的输入；提取conv1、conv2和conv3的特征图进行特征融合，其结果作为conv4的输入；提取conv1、conv2、conv3和conv4的特征图进行特征融合，得到的结果作为conv5的输入；经过第五层卷积后，最终输出大气光散射参数预测结果K；该网络结构可以最大限度的保留图像各个层次特征，得到更好的预测结果；

S2.2图像模糊参数预测网络搭建

图像模糊包括运动模糊、散焦模糊、大气湍流模糊；利用卷积网络对图像模糊类别进行预测，将预测结果Bn作为条件，指导条件生成对抗网络的学习；

采用经典图像分类网络AlexNet的网络结构，图像模糊类别预测网络的结构图，包括3个卷积层、3个全连接层；在所有的卷积层和全连接层之后，都应用了ReLU非线性激活函数；为了加速计算、防止过拟合，在卷积函数及激活函数之后，利用最大池化层来对图像的宽度和高度进行采样；在前两个池化层后加入了局部响应归一化LRN操作提高网络的准确率；最终网络的输出结果为一个3×1的向量，向量数值分别代表图像中存在运动模糊、散焦模糊、大气湍流模糊三种类型的模糊参数；

S2.3图像压缩参数预测网络搭建

压缩方法分为两类：无损和有损；虽然无损方法为用户提供了最佳的视觉体验，但有损方法可以实现更高的压缩比，因此户外视觉系统常用JPEG有损压缩方式；本发明利用卷积网络对图像压缩参数进行预测，将预测结果CQ作为条件，指导条件生成对抗网络的学习；图像压缩参数预测网络的基本结构，包含3个卷积层和2个全连接层和1个归一化指数函数(softmax)层；在所有的卷积层和全连接层之后，都应用了ReLU非线性激活函数；为降低特征维数、加速计算，在卷积函数及激活函数之后，利用最大池化层进行特征选择；最终网络的输出结果为一个5×1的向量，数值分别代表图像中存在压缩参数等于0、10、20、30、40的概率，图像的最终压缩参数预测结果CQ等于5个压缩参数与对应预测概率的加权和；

S2.4条件生成对抗网络

生成网络结构搭建：生成器G要能使产生的数据在判别器D上与真实数据的表现尽可能一致；使用的生成网络结构包含对称的编码和解码结构，编码过程基于下采样操作，并向解码过程的对应层提供特征映射；解码过程使用上采样操作和非线性空间转移；编码对应于8个卷积层进行不同层次的特征提取，解码部分对应6个反卷积层、1个卷积层和1个Tanh函数激活层进行图像的重建；同时，为了更好的利用各个阶段的特征，突破解码过程中的信息瓶颈，在网络中加入跳步连接；

判别网络结构搭建：判别器D要能准确区分图像是来自真实的还是生成器G的输出；以此来指导生成器的学习，使其最终的输出图像更趋近于真实图像；使用的判别网络结构包含5个卷积层，均采用3×3的卷积核，最后通过sigmoid函数，得到图像评分；

S2.5网络训练

在网络训练阶段，首先利用建立的复合降质图像样本库分别训练图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络、条件生成对抗网络；之后利用训练好的参数预测网络得到复合降质图像I_i的大气光散射参数K_i、图像模糊参数Bn_i和图像压缩参数CQ_i，作为条件生成对抗网络的条件；将I_i、K_i、Bn_i和CQ_i送入生成网络G，得到对应重建图像Z_i；使用I_i对应的高质量图像J_i、重建图像Z_i、参数K_i、Bn_i、CQ_i训练对抗网络D；交替训练生成网络G和对抗网络D，直至条件生成对抗网络达到纳什均衡或最大迭代次数；训练好的两个参数预测网络及生成网络G即为最终的复合降质图像重建网络；图像大气光散射参数预测网络、模糊参数预测网络、压缩参数预测网络均采用均方误差(MSE)损失函数，生成网络的损失函数包括对抗损失、感知损失和像素级损失，判别网络使用判别损失函数；训练以上网络均采用Adam梯度下降法，动量均设置为0.9；学习率为0.0002，每训练100次学习率变为原来的0.9倍，经过反复迭代，当损失函数降到最小或达到预设的最大迭代次数时停止训练，得到最终的图像重建模型。

5.根据权利要求1所述的一种基于条件生成对抗网络复合降质图像高质量重建方法，其特征在于：

所述的复合降质图像高质量重建，具体步骤如下：

S3.1参数预测

首先，将尺寸为M×N像素的待重建的真实复合降质图像L，送入图像大气光散射参数预测网络，得到对应的大气光散射参数K；将真实复合降质图像L尺寸缩放到256×256像素，分别送入图像模糊参数预测网络和图像压缩参数预测网络中，得到对应的模糊参数Bn和压缩参数CQ，并以此作为生成器的条件；

S3.2生成网络重建

将待重建的真实复合降质图像L以及S3.1得到的大气光散射参数K和图像模糊类别参数Bn一同送入生成网络中，其输出结果即为高质量重建图像Z。