CN110136063A - 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于条件生成对抗网络的单幅图像超分辨率重建方法。在生成对抗网络的判别器网络中加入判别条件，即原始真实图像。在生成器网络中加入深度残差学习模块来实现高频信息的学习和缓解梯度消失的问题。将需要重建的单张低分辨率图像输入至预先训练好的条件生成对抗网络中，进行超分辨率重建，得到重建的高分辨率图像；所述条件生成对抗网络模型的学习步骤包括：将高低分辨率训练集输入到条件生成对抗网络模型中，并使用预先训练好的模型参数作为该次训练的初始化参数，通过损失函数来判断整个网络的收敛情况，当损失函数收敛时，得到最终训练好的条件生成对抗网络模型，并保存模型参数。

Description

一种基于条件生成对抗网络的单幅图像超分辨率重建方法

技术领域

本发明涉及一种基于条件生成对抗网络的单幅图像超分辨率重建方法，属于图像处理领域，特别是一种超分辨率重建方法。

背景技术

单幅图像的超分辨率(SISR)旨在从一个单一的低分辨率图像(LR)恢复高分辨率图像 (HR)。这在许多领域中直接应用，如HDTV、医学成像、卫星成像、人脸识别和视频监控。目前，人们对图像的要求越来越高，尤其是清晰度方面。单纯从硬件方面提高图像清晰度不仅成本较高且技术上也达到一定的瓶颈。从软件方面提高图像分辨率，一定程度上克服了硬件不足的问题。因此，图像超分辨率重建成为研究热点之一。

目前超分辨率重建的方法主要分为两类：(1)将超分看成是图像处理中的不适定问题，可通过引入先验信息解决该问题。(2)采用机器学习的方法来学习到低分辨率和高分辨率图像之间的映射关系，从而实现图像超分辨率重建。其中，基于插值的方法，包括最近邻插值(Nearest)、双线性插值(Bilinear)和双三次插值(Bicubic)虽然速度快，但是其效果比较差，在预测详细的、真实的纹理方面存在很大的局限性。领域嵌入(NB)的方法采用插补补丁子空间的策略。稀疏编码的方法使用基于稀疏信号表示的字典学习LR和 HR之间的映射关系。Dong等首先提出了一种基于深度学习的方法(SRCNN)，证明CNN 可以被有效应用于端到端的学习LR到HR的映射。Shi等人提出了亚像素卷积的方法 (ESPCN)，直接在低分辨率图像上进行特征提取，通过亚像素卷积层将特征图像进行重新排列，得到高分辨率图像。Kim等人首先介绍了残差网络，用于训练更深层次的网络架构(VDSR)，并取得了卓越的性能。这些超分辨率网络通常先使用特征提取模块从低分辨率图像中提取一系列特征图，接着与上采样模块级联以增加分辨率进而重建高分辨率图像。但是，这些已有的网络往往会产生过度平滑的输出图片并丢失一些纹理细节和特征。

Ledig等把生成对抗网络(Generative Adversarial Network,GAN)应用于超分辨率重建。提出了基于生成对抗网络的超分辨率(Super-Resolution Using a GenerativeAdversarial Network,SRGAN)算法，虽然这种博弈式的优化SRGAN够生成高质量的图像，但是细节效果较差，而且用这种网络的训练方式太过自由。GAN模型的输入缺少约束，对于较大的输入图片或者较多像素会导致训练崩塌，从而使得GAN变的不可控。此外， SRGAN训练使用了大量的训练数据集，对计算机硬件配置比较高，不利于普及学术研究和工业应用。

发明内容

本发明的目的在于针对现有技术的缺陷或问题，提供一种基于条件生成对抗网络的单幅图像超分辨率学习方法，所述的条件对抗网络结构框架如图8所示。

本发明所采用的技术方案是：一种基于条件生成对抗网络的单幅图像超分辨率重建方法，将需要重建的单张低分辨率图像输入至预先训练好的条件生成对抗网络模型中，进行超分辨率重建，得到重建的高分辨率图像；

所述条件生成对抗网络模型框架如图的学习步骤如图1所示，具体包括：

将高低分辨率训练集输入到条件生成对抗网络模型中，并使用预先训练好的模型参数作为该次训练的初始化参数，通过损失函数来判断整个网络的收敛情况，当损失函数收敛时，得到最终训练好的条件生成对抗网络模型，并保存模型参数。

所述训练集的构成包括：

采用双三次插值方法对高分辨率训练图像进行下采样，得到低分辨率图像；

对每张高分辨率训练图像和低分辨率图像进行随机剪裁得到高分辨率训练图像块和与高分辨率训练图像块对应比例大小的低分辨率训练图像块；

高分辨率训练图像块和低分辨率训练图像块构成训练集。

所述随机剪裁为在图像上随机裁剪不重合的一个或多个图像块。

所述条件生成对抗网络模型包括生成器网络模型和判别器网络模型；所述生成器网络模型，用于输入低分辨率图像，生成趋近于原始真实图像的超分辨率图像；所述判别器网络模型的判别条件是原始真实图像，在基于原始真实图像的条件下，用于区分原始真实图像和超分辨率图像；

所述条件生成对抗网络模型的对抗过程用如下目标函数表示：

其中，G表示生成器网络模型，D表示判别器网络模型，E表示期望，y表示原始真实图像，x表示低分辨率图像，G(x)表示生成器网络模型G生成的超分辨率图像， D(y,y)表示在原始真实图像y的条件下，判断当输入图像为原始真实图像y时的真伪， D(y,G(x))表示在原始真实图像y的条件下，判断当输入图像为生成器网络模型G生成的超分辨率图像G(x)时的真伪。

所述生成器网络模型包括浅层特征学习模块、深度残学习模块、亚像素上采样模块、重建模块和全局特征学习层；

所述浅层特征学习模块将输入的低分辨率图像进行卷积特征提取，学习图像的低频信息；

所述深度残学习模块用于进行特征学习，提取高频信息，该深度残学习模块是由多个残差块组成，采用的残差块为去掉原始残差块中的批归一化层，并在每个残差块的末端添加一个常数层；

所述全局特征学习层是把浅层特征层提取的特征图与深度残差学习模块所得的特征图相加，相加结果作为亚像素上采样模块的输入。

所述常数层的常数为0.1至0.5之间的小数。

在每个卷积操作中，用补零的方式来保持所有特征图的大小相同，在每个所述卷积层后采用PRelu非线性函数激活，最后一个卷积层的非线性激活函数是tanh。

所述的亚像素上采样模块，是由一个卷积操作和亚像素上采样操作组成。在生成器网络的末端，串联两个亚像素模块，可以实现指定的图像放大倍数且逐层放大有着更好的效果。

所述的重建模块是由一个卷积操作来实现。把高维的特征图重建到含有三个通道的 RGB图像，从而实现超分辨率重建。

所述损失函数包括生成器网络的损失函数；生成器网络的损失函数包括内容损失和对抗损失，其中，内容损失包括MSE均方误差损失VGG网络损失梯度损失和L1范数损失，对抗损失

所述生成器网络的损失函数表示如下：

其中，

其中，r表示放大因子，W、H是生成器网络模型G生成的超分辨率图像G(x)的尺寸大小，x表示低分辨率图像，G(x)表示生成器网络模型G生成的超分辨率图像，y为是原始真实图像；

VGG损失定义为生成器网络模型G生成的超分辨率图像G(x)和原始真实图像y的特征表示之间的欧氏距离：

φ_5,4表示在VGG网络中的第5个最大层数之前通过第4个卷积获得的特征图；

梯度损失的定义为：

基于全变差的正则项以鼓励产生具有空间相似性的结果。

对条件生成对抗网络模型进行预训练包括：

采用随机初始化的方法训练条件生成对抗网络模型，保存每一个训练批次的模型参数结果；

训练若干次后停止训练；

从训练好的模型参数中随机选择一个批次的模型参数，用该模型参数作为再次训练网络的初始化参数。

有益效果：本发明具有以下优点：

1、本发明采用条件生成对抗网络取代生成对抗网络，即在判别网络中加入判别条件。并采用原始高分辨率图像作为判别条件，传统的生成对抗网络因为缺少判别条件，导致判别网络的性能低下，这也是用生成对抗网络产生的超分辨率图像中有伪影和虚构细节的原因，具体的：GAN模型的输入缺少约束，对于较大的输入图片或者较多像素会导致训练崩塌，从而使得GAN模型变的不可控。SRGAN的超分辨率图像看起来“很好”，但是并没有骗过评估指标。如图7中，SRGAN的放大图像，出现很多奇怪的线条和斑点。本发明在判断网络中加入原始真实图像作为条件输入，这样可以让判别网络更好的区别超分辨率图像和原始高分辨率图像。在训练过程中，给定一个基准判别条件可以让判别模型有一个学习的基准，从而提高判别精度。两种网络性能的对比结果如图8 所示。

2、本发明在生成对抗网络中加入深度残差学习模块，对传统的残差块进行改进——去掉所有的批归一化层(图2中的BN)。因为批归一化层在很大程度上重置了网络的权重值，使得超分辨率图像的峰值信噪比很低。为了解决训练过程中的梯度消失问题，在每个残差块末端加入一个常数层，对网络的权重进行缩小；深度残差学习模块，含有多个残差模块，可以有效的学习高频信息，提高网络的性能；并且在实验中验证了采用多个残差块对网络的性能是有益的，图5是网络含有不同数量的残差块的性能比较。

3、本发明采用预训练初始化的方法可以有效的提高网络的收敛速度和模型的性能。具体而言，先用随机初始化的方法训练网络，保存每一个训练批次的模型结果。训练若干次后停止训练(不需要达到收敛，通常训练时间小于一天，具体时间可以根据网络规模决定)，然后从训练好的模型中随机选择一个模型(一般选择性能较好的)，作为再次训练的初始化，这样的训练方式可以很快的达到收敛，节约训练时间。图4是用预训练初始化和随机初始化的性能比较。

附图说明

图1是本发明的方法流程图；

图2是本发明的生成器网络的网络结构图；

图3是本发明的判别器网络的网络结构图；

图4是本发明提供的重建算法用不同初始化方法的对比图；

图5是本发明提供的不同深度残差模块的性能对比图；

图6是本发明提供的GAN和我们的条件对抗网络的模型性能对比图；

图7是本发明提供的重建方法和其他方法在视觉效果上的比较图；

图8是本发明的条件生成对抗网络的框架图。

具体实施方式

下面结合附图和实施例进一步阐述本发明。

实施例1：

如图1所示，本实施例的一种基于条件生成对抗网络的单幅图像超分辨率学习方法，包括以下步骤：

步骤一：由高分辨率图像和由高分辨率图像进行下采样获得的低分辨率图像构成训练集；具体为：

采用VOC2012训练集的16700高分辨率训练图像，用双三次插值的方法对高分辨率训练图像进行4倍下采样，获得低分辨率图像。然后采用随机裁剪的方法对每个高分辨率训练图像随机裁剪一个88x88大小的高分辨率图像块，对应的低分辨率图像在同样的位置裁剪22x22大小的图像块。这样就获得了对应比例大小的训练图像块，最终获得高低分辨率的训练图像块；

本实施例的随机裁剪是在图像上随机裁剪不重合的图像块，一张图像可以裁剪1个或多个图像块。

步骤二：构建条件生成对抗网络模型：具体如图8所示：

本实施例的条件生成对抗网络(CGAN)模型包括生成器网络模型G和判别器网络模型D，生成器网络模型G用来，用于输入低分辨率图像，生成趋近于原始真实图像的超分辨率图像，判别器网络模型D的判别条件是原始真实图像，在基于原始真实图像的条件下，用于区分原始真实图像和超分辨率图像。生成器网络模型G的目的是使得生成的超分辨率图像能够以假乱真的骗过判别器网络模型D，判别器网络的判别条件是原始真实图像y，该原始真实图像也为原始高分辨图像；

对抗过程用对如下目标函数表示如下：

其中，G表示生成器网络模型，D表示判别器网络模型，E表示期望，y表示原始真实图像，x表示低分辨率图像，G(x)表示生成器网络模型G生成的超分辨率图像， D(y,y)表示在原始真实图像y的条件下，判断当输入图像为原始真实图像y时的真伪， D(y,G(x))表示在原始真实图像y的条件下，判断当输入图像为生成器网络模型G生成的超分辨率图像G(x)时的真伪。

判别器网络模型D的目标是尽可能正确地识别出真实的图像，即原始真实图像y，并判别它为真。生成器网络模型G的目标则和判别器网络模型D相反，就是尽可能最小化判别器网络模型D成功判别生成器网络模型G为真的概率。这样生成器网络模型G 和判别器网络模型D就组成了一个最大最小游戏。在训练过程中双方都不断优化自己，直到达到平衡——双方都无法变得更好，也就是超分辨率图像与原始真实图像完全不可区分。

训练时，先固定生成器网络模型G，更新二分类判别器网络模型D的参数，训练判别器网络模型D来最大化区分真实图像y和由生成器网络模型G生成的图像的概率。判别器网络模型D经过学习，更新参数，使得E_y[logD(y,y)]+E_x,y[log(1-D(y,G(x)))]最大。然后再固定判别器网络模型D，更新生成器网络模型G的参数，生成器网络模型G的目的是让D(y,G(x))概率最大，所以生成器网络模型G经过学习，更新参数，使得 D(y,G(x))最大，即log(1-D(y,G(x)))最小化。如此交替更新判别器网络模型D和生成器网络模型G的参数，直到判别器将无法区分G(x)和y。实际上，公式1可能无法为生成器网络模型G提供足够的梯度来学习。训练初期，生成器网络模型G的生成的图片效果很差，判别器网络模型D会以高置信度来拒绝生成样本，因为它们与训练数据明显不同。在这种情况下，log(1-D(y,G(x)))饱和。因此我们选择最小化log(-D(y,G(x)))来训练生成器网络模型G，该目标函数使生成器网络模型G和判别器网络模型D的动力学稳定点相同，并且在训练初期，该目标函数可以提供更强大的梯度。

本实施例的生成器网络模型包括浅层特征学习模块、深度残学习模块、亚像素上采样模块、重建模块和全局特征学习层；

浅层特征学习模块将输入的低分辨率图像直接进行卷积特征提取，学习图像的低频信息，可以有效的节约计算量、减少计算机内存；

深度残学习模块用于进行特征学习，提取高频信息，该深度残学习模块是由多个残差块组成，采用的残差块是对原始的残差块进行改进，即去掉原始残差块中的批归一化层，利用残差学习，可以有效的解决训练过程中高频细节丢失的和梯度消失的问题，并在每个残差块的末端添加一个常数层；

所述的亚像素上采样模块，是由一个卷积操作和亚像素上采样操作组成。在生成器网络的末端，串联两个亚像素模块，可以实现指定的图像放大倍数且逐层放大有着更好的效果。

所述的重建模块是由一个卷积操作来实现。把高维的特征图重建到含有三个通道的 RGB图像，从而实现超分辨率重建。

全局特征学习层是把浅层特征层提取的特征图与深度残差学习模块所得的特征图相加，相加结果作为亚像素上采样模块的输入；

本实施例设计了两个上采样模块，每次实现2倍放大。这样的方法可以有效的节约计算量、提高算法的运行速度。

本实施例的生成器网络模型G中，在每个卷积操作中，用补零的方式来保持所有特征图的大小相同。

本实施例的生成器网络模型G中，每一层使用的滤波器数量都是256，这样可以高效的进行特征提取。

本实施例的生成器网络模型G中，每个卷积层后都用PRelu非线性函数激活。

本实施例的生成器网络模型G中，最后一层的非线性激活函数是tanh。

步骤三：设计损失函数；具体的：

在训练过程中，为了使得网络收敛需要设计生成器网络模型G、判别器网络模型D的损失函数。其中，生成器网络模型G的损失函数包括内容损失和对抗损失；内容损失有MSE均方误差损失VGG网络损失梯度损失和L1范数损失。对抗损失是完整的损失函数如下所示：

以像素为单位的MSE损失计算公式如下：

其中，r表示放大因子，W、H是生成器网络模型G生成的超分辨率图像G(x)的尺寸大小，x表示低分辨率图像，G(x)表示生成器网络模型G生成的超分辨率图像，y为是原始真实图像；

用基于16层VGG网络的ReLU激活层来定义VGG损失。Φ_5,4表示在VGG网络中的第5个最大层数之前通过第4个卷积(在激活之后)获得的特征图。将VGG损失定义为生成器网络模型G生成的超分辨率图像G(x)和原始真实图像y的特征表示之间的欧氏距离：

梯度损失的定义为：

基于全变差的正则项以鼓励产生具有空间相似性的结果。

步骤四：获得超分辨率图像：

对条件生成对抗网络模型进行预训练：采用随机初始化的方法训练条件生成对抗网络模型，保存每一个训练批次的模型参数结果；训练若干次后停止训练；从训练好的模型参数中随机选择一个批次的模型参数，用该模型参数作为再次训练网络的初始化参数；

把步骤1中的训练集输入到条件生成对抗网络模型中，并使用预先训练好的模型参数作为该次训练的初始化参数，通过损失函数来判断整个网络的收敛情况，当损失函数收敛时，得到最终训练好的条件生成对抗网络模型，并保存模型参数；

将需要重建的单张低分辨率图像输入至训练好的条件生成对抗网络模型中，进行超分辨率重建，得到重建的高分辨率图像。

实施例2：

本实施例的基于条件生成对抗网络的单幅图像超分辨率学习方法包括如下步骤：

步骤一：对高分辨率训练图像进行下采样，得到低分辨率的训练图像。具体而言：采用VOC2012训练集，当然本发明也适用其他的训练集。高分辨率训练图像下采样得到的低分辨率图像所用的算法是双三次插值算法。其次，需要对高低分辨率图像进行对应的随机裁剪。裁剪大小可以设置，但是高分辨率图像块的尺寸是低分辨率图像块的4 倍。裁剪是在每张图片上随机裁剪一张图像块。本实施例也适用于随机裁剪多个图像块进行训练；

步骤二：对测试集的图像进行下采样处理，得到低分辨率的测试图像。本实施例采用的测试集有Set5、Set14、BSD100和Urban100。这几个数据集是比较常用的基准数据集。其中，Set14中有几张图片的尺寸不是4的整数倍数，需要对其边缘的像素进行裁剪，每张图片裁剪周围的4个像素。

步骤三：将步骤一所得到的高低分辨率训练图像块，放入到条件生成对抗网络模型中进行特征学习，结合训练损失函数，得到训练的条件生成对抗网络模型。具体的过程如图1所示。

条件生成对抗网络模型中的生成器网络模型G结构如图2所示。生成器网络模型G的输入是低分辨率图像LR，紧接着用256个卷积核大小为9x9的滤波器对其进行特征提取。接下来用32个深度残差块进行特征学习，提取高频信息。残差块去掉了原始残差网络中的BN层。为了解决梯度消失的问题，在残差块的末端加入一个常数层，即乘以一个非常小的常数，该常数可设置为0.1至0.5之间的小数，从而实现对网络权重的缩放，进而缓解梯度消失的问题。上采样的模块是采用亚像素上采样，通过一个卷积特征提取进行图像重建，得到超分辨率图像。

条件生成对抗网络模型中的判别器网络模型D结构如图3所示。K表示卷积核的大小，S代表步长，n表示通道数，非线性激活函数是LeakRelu。判别器网络模型D的输入条件是原始高分辨率图像。这相当于是一个判别基准，给判别器网络模型D做出正确的判断提供一个正确的引导。当输入图像是生成器网络模型G生成的超分辨率图像SR 时，判别器网络模型D尽可能的判别其为假，而当输入图像是原始的高分辨率图像时，则判断其为真。

步骤四：将数据放入到条件生成对抗网络模型中进行训练。大的图像块大小是88x88，学习率是0.0001，优化算法是Adam，动量和权重衰减值设为0.9，使用梯度下降法进行优化，通过损失函数来检测模型收敛进度，当模型收敛时，则停止训练。

步骤五：将需要重建的低分辨率图像用学习到的条件生成对抗网络模型进行超分辨率重建得到重建的高分辨率图像。

为了验证本发明的效果，进行了一些对比实验。图4表明，采用预先训练的方法比随机初始化的方法要更容易收敛且速度较快。图5为深度残差模块中加入的不同残差块数量的性能对比，加入的残差块数量多，利用提高网络的性能和训练速度，且采用极深的残差块可以有效的提高高频信息和提高PSNR值。

为了验证本发明的实际效果，本发明在四个基准数据集上与目前最先进的10种方法进行比较，包括最近邻，双三次，SRCNN、VDSR、FSRCNN、SelfExSR、DRCN、LapSRN、SRGAN和SRResNet。具体结果见图6。可见，不论是在评估指标上还是视觉效果上，本发明的效果都是非常好的。

由此可见，本发明提供的超分辨率重建方法，与已有的算法相比，算法精度有了明显的提高，结果更为稳定。

Claims (9)

1.一种基于条件生成对抗网络的单幅图像超分辨率重建方法，其特征在于：将需要重建的单张低分辨率图像输入至预先训练好的条件生成对抗网络模型中，进行超分辨率重建，得到重建的高分辨率图像；

所述条件生成对抗网络模型的学习步骤包括：

将高低分辨率训练集输入到条件生成对抗网络模型中，并使用预先训练好的模型参数作为该次训练的初始化参数，通过损失函数来判断整个网络的收敛情况，当损失函数收敛时，得到最终训练好的条件生成对抗网络模型，并保存模型参数。

2.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，其特征在于：

所述训练集的构成包括：

采用双三次插值方法对高分辨率训练图像进行下采样，得到低分辨率图像；

对每张高分辨率训练图像和低分辨率图像进行随机剪裁得到高分辨率训练图像块和与高分辨率训练图像块对应比例大小的低分辨率训练图像块；

高分辨率训练图像块和低分辨率训练图像块构成训练集。

3.根据权利要求2所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，其特征在于：所述随机剪裁为在图像上随机裁剪不重合的一个或多个图像块。

4.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，其特征在于：所述条件生成对抗网络模型包括生成器网络模型和判别器网络模型；所述生成器网络模型，用于输入低分辨率图像，生成趋近于原始真实图像的超分辨率图像；所述判别器网络模型的判别条件是原始真实图像，在基于原始真实图像的条件下，用于区分原始真实图像和超分辨率图像；

所述条件生成对抗网络模型的对抗过程用如下目标函数表示：

其中，G表示生成器网络模型，D表示判别器网络模型，E表示期望，y表示原始真实图像，x表示低分辨率图像，G(x)表示生成器网络模型G生成的超分辨率图像，D(y,y)表示在原始真实图像y的条件下，判断当输入图像为原始真实图像y时的真伪，D(y,G(x))表示在原始真实图像y的条件下，判断当输入图像为生成器网络模型G生成的超分辨率图像G(x)时的真伪。

5.根据权利要求4所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，其特征在于：所述生成器网络模型包括浅层特征学习模块、深度残差学习模块、亚像素上采样模块、重建模块和全局特征学习层；

所述浅层特征学习模块将输入的低分辨率图像进行卷积特征提取，学习图像的低频信息；

所述深度残差学习模块用于特征学习，提取高频信息，该深度残差学习模块是由多个残差块组成，采用的残差块为去掉原始残差块中的批归一化层，并在每个残差块的末端添加一个常数层；

所述全局特征学习层是把浅层特征层提取的特征图与深度残差学习模块所得的特征图相加，相加结果作为亚像素上采样模块的输入；

所述的亚像素上采样模块，由一个卷积操作和亚像素上采样操作组成，在生成器网络的末端，串联两个亚像素上采样模块，实现指定的图像放大倍数；

所述的重建模块是由一个卷积操作来实现，把高维的特征图重建到含有三个通道的RGB图像，实现超分辨率图片重建。

6.根据权利要求5所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，其特征在于：所述常数层的常数为0.1至0.5之间的小数。

7.根据权利要求5所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，其特征在于：在每个卷积操作中，用补零的方式来保持所有特征图的大小相同，在每个所述卷积层后采用PRelu非线性函数激活，最后一个卷积层的非线性激活函数是tanh。

8.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，其特征在于：

所述损失函数包括生成器网络的损失函数；生成器网络的损失函数包括内容损失和对抗损失，其中，内容损失包括MSE均方误差损失VGG网络损失梯度损失和L1范数损失，对抗损失

所述生成器网络的损失函数表示如下：

其中，

其中，r表示放大因子，W、H是生成器网络模型G生成的超分辨率图像G(x)的尺寸大小，x表示低分辨率图像，G(x)表示生成器网络模型G生成的超分辨率图像，y为是原始真实图像；

VGG损失定义为生成器网络模型G生成的超分辨率图像G(x)和原始真实图像y的特征表示之间的欧氏距离：

φ_5,4表示在VGG网络中的第5个最大层数之前通过第4个卷积获得的特征图；

梯度损失的定义为：

基于全变差的正则项以鼓励产生具有空间相似性的结果。

9.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，其特征在于：

对条件生成对抗网络模型进行预训练包括：

采用随机初始化的方法训练条件生成对抗网络模型，保存每一个训练批次的模型参数结果；

训练若干次后停止训练；

从训练好的模型参数中随机选择一个批次的模型参数，用该模型参数作为再次训练网络的初始化参数。