CN109978762B - 一种基于条件生成对抗网络的超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于条件生成对抗网络的超分辨率重建方法，具体为：利用公开的超分辨率图像数据集，制作低分辨率图像和对应高分辨率图像训练集；构建条件生成对抗网络模型，在生成器网络中使用密集残差块，在生成网络模型的末端，用亚像素上采样方法实现超分辨率图像重建；把训练图像集输入到条件生成对抗网络中进行模型训练，通过感知损失函数让训练模型收敛；对图像测试集进行下采样处理，获得低分辨率测试图像；把低分辨率测试图像输入到条件对抗网络模型中，获得高质量的高分辨率图像。本发明可以很好的解决传统生成对抗网络生成的超分辨图像看似清晰、评估指标极低的问题，同时通过密集残差网络缓解梯度消失和高频信息丢失的问题。

Description

一种基于条件生成对抗网络的超分辨率重建方法

技术领域

本发明涉及一种超分辨率重建方法，具体涉及一种基于条件生成对抗网络的超分辨率重建方法，属于图像处理技术领域。

背景技术

单幅图像的超分辨率(SISR)旨在从一个单一的低分辨率图像(LR)恢复高分辨率图像(HR)。这在许多领域中直接应用，如HDTV、医学成像、卫星成像、人脸识别和视频监控。目前，人们对图像的要求越来越高，尤其是清晰度方面。单纯从硬件方面提高图像清晰度不仅成本较高且技术上也达到一定的瓶颈。从软件方面提高图像分辨率，一定程度上克服了硬件不足的问题。因此，图像超分辨率重建成为研究热点之一。

目前超分辨率重建的方法主要分为两类：(1)将超分看成是图像处理中的不适定问题，可通过引入先验信息解决该问题。(2)采用机器学习的方法来学习到低分辨率和高分辨率图像之间的映射关系，从而实现图像超分辨率重建。其中，基于插值的方法，包括最近邻插值(Nearest)、双线性插值(Bilinear)和双三次插值(Bicubic)虽然速度快，但是其效果比较差，在预测详细的、真实的纹理方面存在很大的局限性。邻域嵌入(NB)的方法采用插补补丁子空间的策略。稀疏编码的方法使用基于稀疏信号表示的字典学习LR和HR之间的映射关系。Dong等首先提出了一种基于深度学习的方法(SRCNN)，证明CNN可以被有效应用于端到端的学习LR到HR的映射。Shi等人提出了亚像素卷积的方法(ESPCN)，直接在低分辨率图像上进行特征提取，通过亚像素卷积层将特征图像进行重新排列，得到高分辨率图像。Kim等人首先介绍了残差网络，用于训练更深层次的网络架构(VDSR)，并取得了卓越的性能。这些超分辨率网络通常先使用特征提取模块从低分辨率图像中提取一系列特征图，接着与上采样模块级联以增加分辨率进而重建高分辨率图像。但是，这些已有的网络往往会产生过度平滑的输出图片并丢失一些纹理细节和特征。

Ledig等把生成对抗网络(Generative Adversarial Network,GAN)应用于超分辨率重建。提出了基于生成对抗网络的超分辨率(Super-Resolution Using a GenerativeAdversarial Network,SRGAN)算法，虽然这种博弈式的优化SRGAN够生成高质量的图像，但是细节效果较差，而且用这种网络的训练方式太过自由。GAN模型的输入缺少约束，对于较大的输入图片或者较多像素会导致训练崩塌，从而使得GAN变的不可控。SRGAN的超分辨率图像看起来“很好”，但是并没有骗过评估指标。因为其放大后的图像有许多令人不快的虚构的伪影和斑点。此外，SRGAN训练使用了大量的训练数据集，对计算机硬件配置比较高，不利于普及学术研究和工业应用。虽然SRResNet成功地解决了具有良好性能的时间和内存问题，但它只是采用了He等人的残差块(ResNet)架构，没有太多的修改。然而，原来的残差块被提出来解决更高级别的计算机视觉问题，如图像分类和检测。因此，将残差块架构直接应用于超级分辨率等低级视觉问题可能不是最佳的。

发明内容

本发明所要解决的技术问题是：提供一种基于条件生成对抗网络的超分辨率重建方法，解决了现有技术的缺陷，可获得如真实图像般，纹理清晰、特征不变的高质量的高分辨率图像。

本发明为解决上述技术问题采用以下技术方案：

一种基于条件生成对抗网络的超分辨率重建方法，包括如下步骤：

步骤1，对训练集中的高分辨率图像采用双三次插值的方法进行下采样处理，获得低分辨率图像，分别对高分辨率图像和低分辨率图像进行随机裁剪，获得训练图像对集；

步骤2，设计条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络，其中，生成器网络包括低频信息提取模块、深度密集残差模块、亚像素上采样模块和重建模块，判别器网络的判别条件是原始高分辨率图像；

步骤3，将步骤1获得的训练图像对集输入步骤2设计好的条件生成对抗网络，进行迭代训练，并通过感知损失函数判断条件生成对抗网络的收敛情况，从而得到训练好的条件生成对抗网络模型；

步骤4，对测试集中的高分辨率图像采用双三次插值的方法进行下采样处理，得到低分辨率测试图像，将低分辨率测试图像作为训练好的条件生成对抗网络模型的输入，并输出超分辨率图像。

作为本发明的一种优选方案，步骤2所述条件生成对抗网络中生成器网络和判别器网络的对抗过程公式如下：

其中，G表示生成器网络，D表示判别器网络，E表示期望，y表示原始高分辨率图像，x表示低分辨率图像，G(x)表示G生成的超分辨率图像，D(y,y)表示在y的条件下，判断输入图像y的真伪，D(y,G(x))表示在y的条件下，判断输入图像G(x)的真伪。

作为本发明的一种优选方案，步骤3所述感知损失函数表达式为：

Loss＝l_MSE+0.006*l_VGG+2*10^-8l_TV+100*L1+10^-3l_Gen

其中，Loss表示感知损失函数，l_MSE表示最小均方差损失，l_VGG表示神经网络损失，l_TV表示梯度损失，L1表示L1范数，l_Gen表示对抗损失。

作为本发明的一种优选方案，所述最小均方差损失l_MSE，公式如下：

其中，r表示放大因子，W、H是高分辨率图像的宽、高大小，y表示原始高分辨率图像，G(x)表示生成器网络G生成的超分辨率图像。

作为本发明的一种优选方案，所述梯度损失l_TV，公式如下：

其中，r表示放大因子，W、H是高分辨率图像的宽、高大小，G(x)表示生成器网络G生成的超分辨率图像。

作为本发明的一种优选方案，所述对抗损失l_Gen，公式如下：

其中，N表示训练样本数量，y表示原始高分辨率图像，G(x)表示生成器网络G生成的超分辨率图像，D(y,G(x))表示在y的条件下，判断输入图像G(x)的真伪。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明采用了条件对抗网络，弥补了GAN网络的不足。在判别器D网络中给一个原始图像作为判别条件，可以提高判别器D的判别精度。原始GAN网络中的判别器D没有一个标准，很难判断出正确的图像。给定一个条件，类似给定一个判断标签。

2、本发明采用了极深的密集残差块的方法并且改进了传统的残差块，明显地解决了训练过程中高频细节丢失的问题，同时，也有效地解决了训练过程中梯度消失的问题。

3、本发明采用感知损失函数，改进了原始感知损失函数，明显的提高收敛的速度和模型的精度。

4、本发明采用了预训练的方法，经过实验论证，该方法可以有效的缩短运行时间、提高运行效率。

附图说明

图1是本发明一种基于条件生成对抗网络的超分辨率重建方法的流程图。

图2是本发明提出的条件生成对抗网络的框架图。

图3是本发明提出的条件生成对抗网络中生成器网络G的网络结构图。

图4是本发明提出的条件生成对抗网络中判别器网络D的网络结构图。

图5是本发明提出的重建方法用不同初始化方法的对比图。

图6是本发明提出的深度密集残差模块的效果比较图。

图7是本发明的条件生成对抗网络和生成对抗网络的对比图。

图8是本发明提出的重建方法和其他方法在视觉效果上的比较图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，为本发明提供的基于条件生成对抗网络的超分辨率重建方法的流程图，具体步骤如下：

步骤一：对高分辨率训练图像进行下采样，得到低分辨率的训练图像。具体而言：训练集使用VOC2012数据集，当然本发明也适用其他的训练集。高分辨率下采样到低分辨率所用的算法是双三次插值算法。其次，需要对高、低分辨率图像进行对应的随机裁剪。裁剪大小可以设置，但是高分辨率图像块的尺寸是低分辨率的4倍。裁剪是在每张图片上随机裁剪一张图像块。对于不同放大倍数，可以进行不同倍数的下采样处理。本实施例高分辨率图像块裁剪的大小是96*96的图像块，低分辨率图像是24*24大小的图像块。

步骤二：对测试集图像采用双三次插值方法进行下采样处理，得到低分辨率的测试图像。本发明采用的测试集有Set5、Set14、BSD100和Urban100。这几个数据集是比较常用的基准数据集。其中，Set14中有几张图片的尺寸不是4的整数倍数，需要对其边缘的像素进行裁剪。

步骤三：设计条件生成对抗网络结构CGAN。条件对抗网络包括生成器网络G和判别网络D。生成器网络G用来生成超分辨率图像。在生成对抗网络中，主要采用密集残差模块、亚像素上采样模块和跳跃连接。判别器D网络用来区分超分分辨率图像和原始高分辨率图像(Ground Ttuth)，判别条件是Ground Ttuth图像。生成器G网络主要包括前端低频信息提取模块、深度密集残差模块、亚像素上采样模块和重建模块。前端的低频信息提取模块，由256个3*3大小卷积核对低分辨率图像进行卷积操作完成。密集残差块是去掉传统残差块中的BN层，通过一个3*3的滤波器进行特征提取并用Prelu函数激活。如图3中的密集残差模块，把每一层卷积操作后得到的特征图连接起来，传递到下一层。最后通过短跳跃连接，把密集残差块前端的特征与最后的特征相加。本发明的密集残差块中，只使用了五个卷积操作但是本发明不局限于此，可根据计算机硬件要求进行更改。在生成器的网络前端，用长跳跃连接把前端的低频信息传递到上采样模块前端，具体可见图3。亚像素上采样模块，由卷积操作进行特征提取，随后是亚像素操作，最后用PRelu激活函数进行激活。每一个亚像素模块可实现2倍放大。本发明网络中设计了两个上采样模块，可实现4倍放大。

步骤四：设计感知损失函数。感知损失表达式如下：

Loss＝l_MSE+0.006*l_vgg+2*10^-8l_TV+100*L1+10^-3l_Gen

以像素为单位的MSE损失计算公式如下(传统的方法使用的代价函数一般是最小均方差(MSE)，即：

其中，r表示放大因子，W、H是HR图像的尺寸大小，y表示Ground Truth图像，G(x)表示生成器G生成的超分辨率图即SR图像。

基于16层VGG网络的ReLU激活层来定义神经网络(VGG)损失。φ_5,4表示在VGG16网络中的第5个最大层数之前通过第4个卷积(在激活之后)获得的特征图。然后，将VGG损失定义为重建图像G(x)和Ground Truth图像y的特征表示之间的欧氏距离：

梯度损失的定义为：

其中，W、H是HR图像的尺寸大小，G(x)表示生成器G生成的超分辨率图即SR图像，基于全变差的正则项以鼓励产生具有空间相似性的结果。

对抗损失的代价函数是基于判别器D的输出概率，对抗损失定义为：

其中，N表示训练样本数量。

步骤五：将步骤一所得到的高、低分辨率训练图像，放入到条件生成对抗网络中进行特征学习，结合训练损失函数，得到训练的条件对抗网络模型。首次训练，采用随机初始化权重的方法，对G和D网络进行权重初始化。因为网络需要调试或者计算机内存等原因，需暂停网络训练，再次训练的时候，采用预训练的方法进行初始化。具体而言，把网络训练保存的模型(一般未收敛)保存下来，作为下一次重新训练的初始化模型。

D和G网络是进行博弈对抗的，其对抗过程如下公式所示：

其中，y表示原始高分辨率图像，x表示低分辨率图像。G(x)表示生成器G生成的图像即SR图像，D网络判断图像是真实的概率，D(y,G(x))表示在y的条件下，判断输入图像G(x)的真假，D(y,y)表示在y的条件下，输入图像y即Ground Truth的真伪。先固定判别模型D，调整G的参数使得log(1-D(y,G(x)))的期望E_x,y最小化；再固定生成模型G，调整D的参数使得logD(y,y)+log(1-D(y,G(x)))的期望最大化。这个优化过程可以归结为一个“二元极小极大博弈”问题，博弈过程如图2所示。

步骤六：生成对抗网络中的生成器G网络结构如图3所示。G网络的输入是LR低分辨率图像，紧接着用256个卷积核大小为3*3的滤波器对其进行特征提取，可以有效节约计算量、减少计算机内存。随后用64个卷积核大小为3*3的滤波器实现特征提取和维度转换。接下来用20个密集残差块进行特征学习，提取高频信息。残差块去掉了原始残差网络中的BN层。因为BN层会丢掉一些重要的信息，不利于超分辨率重建的任务。并且，一个密集残差块中，只使用一个通道数是64的卷积核，随后用PRelu进行激活，随后又是同样的操作。但是，每个卷积conv的输入，都是前面的几层的密集链接。在一个密集块的始端用短跳跃链接连接到密集残差块的末端。具体可见图3中的密集残差部分。在网络的第一个卷积操作后，用长跳跃连接至上采样模块前。用2个亚像素上采样模块，实现4倍放大，可以有效的节约计算量、提高算法的运行速度。最后通过一个3*3大小的卷积核进行卷积特征提取，实现超分辨率图像重建，得到超分辨率图像。在生成器网络G中，最后一层的非线性激活函数是Tanh。

步骤七：生成对抗网络中的判别器D网络结构如图4所示。K表示卷积核的大小，s代表步长，n表示通道数，非线性激活函数是LeakyRelu。D网络的输入条件是原始高分辨率图像。这相当于是一个判别基准，给D做出正确的判断提供一个正确的引导。当输入图像是生成器生成的超分辨图像SR时，D尽可能的判别其为假，而当输入图像是原始的高分辨率图像时，则判断其为真。

步骤八：将数据放入到条件对抗网络中进行训练。大的图像块大小是96*96，学习率是0.0001，优化算法是Adam，动量和权重衰减设为0.9，使用梯度下降法进行优化，当迭代次数到达最大次数时则停止迭代。

步骤九：将需要重建的低分辨率图像用学习到的神经网络模型进行超分辨率重建得到重建的高分辨率图像。

为了验证本发明方法的效果，进行了一些对比实验。图5表明，采用预先训练的方法比随机初始化的方法要更容易收敛且速度较快。图6表明，采用极深的残差块可以有效的提高高频信息和提高PSNR值。图7是本发明的条件生成对抗网络和生成对抗网络的对比图。

为了验证本发明的实际效果，本发明在四个基准数据集上与目前最先进的10种方法进行比较，包括最近邻、双三次、SRCNN、VDSR、FSRCNN、SelfExSR、DRCN、LapSRN、SRGAN和SRResNet。具体结果如图8所示。可见，不论是在评估指标上还是视觉效果上，本发明的效果都是非常好的。

由此可见，本发明申请提供的超分辨率重建方法，与已有的算法相比，算法精度有了明显的提高，结果更为稳定。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (1)

1.一种基于条件生成对抗网络的超分辨率重建方法，其特征在于，包括如下步骤：

步骤1，对训练集中的高分辨率图像采用双三次插值的方法进行下采样处理，获得低分辨率图像，分别对高分辨率图像和低分辨率图像进行随机裁剪，获得训练图像对集；

步骤2，设计条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络，其中，生成器网络包括低频信息提取模块、深度密集残差模块、亚像素上采样模块和重建模块，判别器网络的判别条件是原始高分辨率图像；

所述条件生成对抗网络中生成器网络和判别器网络的对抗过程公式如下：

其中，G表示生成器网络，D表示判别器网络，E表示期望，y表示原始高分辨率图像，x表示低分辨率图像，G(x)表示G生成的超分辨率图像，D(y,y)表示在y的条件下，判断输入图像y的真伪，D(y,G(x))表示在y的条件下，判断输入图像G(x)的真伪；

步骤3，将步骤1获得的训练图像对集输入步骤2设计好的条件生成对抗网络，进行迭代训练，并通过感知损失函数判断条件生成对抗网络的收敛情况，从而得到训练好的条件生成对抗网络模型；

所述感知损失函数表达式为：

Loss＝l_MSE+0.006*l_VGG+2*10^-8l_TV+100*L1+10^-3l_Gen

其中，Loss表示感知损失函数，l_MSE表示最小均方差损失，l_VGG表示神经网络损失，l_TV表示梯度损失，L1表示L1范数，l_Gen表示对抗损失；

所述最小均方差损失l_MSE，公式如下：

其中，r表示放大因子，W、H是高分辨率图像的宽、高大小；

所述梯度损失l_TV，公式如下：

所述对抗损失l_Gen，公式如下：

其中，N表示训练样本数量；

步骤4，对测试集中的高分辨率图像采用双三次插值的方法进行下采样处理，得到低分辨率测试图像，将低分辨率测试图像作为训练好的条件生成对抗网络模型的输入，并输出超分辨率图像。

Images