CN113160057A - 基于生成对抗网络的rpgan图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了基于生成对抗网络的RPGAN图像超分辨率重建方法，该方法包括1)设计RPGAN的生成器模型；2)设计RPGAN的鉴别器模型；3)设计感知损失计算方案；4)完成对RPGAN模型的训练；5)实现图像分辨率的提升、参数量降低以及训练时间的缩短。通过提出的RPGAN模型针对重建图像细节不足、参数量庞大、对硬件要求高等问题进行改进。该模型使用基于递归块的生成器更好地利用网络中的浅层特征，提升参数的利用率，使用更少的参数量达成更好的重建效果，实现了生成器的轻量化；使用图像块思想的鉴别器能够更准确地分辨大尺寸的超分辨率图像和真实图像，提升整个模型的学习效率，使模型能够更快收敛。

Description

基于生成对抗网络的RPGAN图像超分辨率重建方法

技术领域

本发明涉及图像超分辨率重建技术领域，具体为一种新型生成对抗网络模型的超分辨率重建方法。

背景技术

图像蕴含着丰富的信息，是当下获取信息的重要途径。图像超分辨率重建能够对图像质量进行改善，提升图像的分辨率，在计算机视觉领域受到广泛关注。高分辨率的X光照相(Radiography)、核磁共振图像(Magnetic Resonance Imaging，MRI)、计算机断层扫描照片(Computed Tomography，CT)等医疗影像可以确认具体的病情，定制更加有效的治疗计划；在社会治安方面，清晰的图像和视频能够让公安机关更快锁定目标人物，提升警方侦破案件的速度。从软件和算法的角度实现图像超分辨率重建的技术，相比于光学元件等图像采集设施的提升，其成本更低，技术研究的周期更短，是使用计算机解决图像领域问题的优秀方案。

传统SR重建算法以图像降质过程作为研究对象，针对不同的降质过程，构建出不同的逆变换数学模型。其中，基于插值的算法是计算复杂度较低的SR重建算法，估计待插入位置像素值的依据是图像的先验信息。基于重建的方法假定HR图像是原始信号，而低分辨率(LR)图像则是原始信号经采样后的信号，其中包含均衡和非均衡采样，它将图像SR重建问题理解为由采样信号估计出原始信号的问题。

目前，基于GAN的超分辨率重建算法的相关研究集中在生成器、鉴别器的网络结构方面。生成器为提取更多细节特征，采用增大感受野、增加网络深度等方法，避免由此带来的计算复杂度的增加是生成器研究的重点。鉴别器优化的侧重点则是如何更快、更准确地鉴别大尺寸高分辨率图像的细节。

分辨率能够表征图像质量，度量图像的清晰程度，作为图像的重要属性之一，为人们所共识。高分辨率图像在同等大小的区域内包含更多的像素，包含更多纹理，可以帮助观察者迅速、准确地获取更多的信息。近年来提出的基于GAN的图像超分辨率重建模型存在重建图像丢失细节、参数量庞大、训练困难等问题。因此设计一种参数量更少、训练时间更短，重建图像细节更丰富的超分辨率重建模型具有非常重要的现实意义。

发明内容

本发明的目的在于提供了一种基于生成对抗网络的RPGAN图像超分辨率重建方法，以参数量更少的模型完成图像的超分辨率重建工作，使重建出的图像细节更丰富，并减少训练时间和硬件要求。

为实现上述目的，本发明提供如下技术方案：基于生成对抗网络的RPGAN图像超分辨率重建方法，该方法包括

1)设计RPGAN的生成器模型；

2)设计RPGAN的鉴别器模型；

3)设计感知损失计算方案；

4)完成对RPGAN模型的训练；

5)实现图像分辨率的提升、参数量降低以及训练时间的缩短；

使用基于递归和图像块思想改进生成对抗网络，完成超分辨率的重建；低分辨率(LR)图像通过生成器子网络G产生对应的高分辨率(HR)图像，鉴别器子网络D用于分辨输入的图像是生成的HR图像还是真实高清图像，通过优化子网络G和D提升整个模型的超分辨率重建效果；其价值函数如式(1)所示

式中I^LR代表训练集中的LR图像，I^HR代表训练集中对应的HR图像，G(I^LR)代表生成器生成的HR图像；G(I^LR)和I^HR共同输入到鉴别器中，D(G(I^LR))代表G(I^LR)被鉴别为真实图像的概率，D(I^HR)代表I^HR被鉴别为真实图像的概率。

本发明提供如下操作步骤：使用预设参数训练RPGAN模型，输入低分辨率图像，获得重建的含有更丰富细节信息的超分辨率图像。

与现有技术相比，本发明的有益效果是：通过提出的RPGAN模型针对重建图像细节不足、参数量庞大、对硬件要求高等问题进行改进。该模型使用基于递归块的生成器更好地利用网络中的浅层特征，提升参数的利用率，使用更少的参数量达成更好的重建效果，实现了生成器的轻量化；使用图像块思想的鉴别器能够更准确地分辨大尺寸的超分辨率图像和真实图像，提升整个模型的学习效率，使模型能够更快收敛；选取激活函数层的层前特征而非激活函数层特征来计算感知损失，层前特征对超分辨率重建的过程有更好的指导作用。实验表明相比于SRGAN，RPGAN重建的图像视觉上更加清晰，PSNR有所提升，总参数量相比于SRGAN减少了45.8％，单轮训练用时平均减少12％。

附图说明

图1为本发明RPGAN图像超分辨率重建方法流程图。

图2为本发明SRGAN和RPGAN的4倍超分辨率图像对比图。

图3为本发明SRGAN和RPGAN重建图像细节对比。

具体实施方式

请参阅图1，本发明提供一种技术方案：基于生成对抗网络的RPGAN图像超分辨率重建方法，该方法包括

1)设计RPGAN的生成器模型；

基于递归块的生成器模型包含6个残差单元(residual unit)，各残差单元使用递归块结构与生成器的首个卷积层连接。每个残差单元拥有实现残差学习的跳跃连接，包含2个ConvLayer。基于递归块的结构如式(1)所示：

Hⁿ＝σ(H^n-1)＝μ(H^n-1,W)+H⁰ (1)

其中σ代表递归块函数，H⁰为整个生成器的第1个卷积层的结果。

在常规ResNet网络中，上一层的输出以跳跃连接的形式与本层输出求和，将和结果作为下一层的输入，这种方式没有充分利用待重建的LR图像的浅层特征。

基于递归块结构的生成器各残差单元以递归块的形式与生成器的第1个卷积层连接，使得生成器网络在各个深度都能获得LR图像的浅层特征，LR图像和HR图像在低频部分是十分相似的，将浅层特征传递到网络的各层，能够使生成器能够以残差学习的方式学习到更多的细节特征。ResNet网络中没有共享权重的部分，因而其参数量是随着残差部分的增加成线性增加的。由于递归块的内部是递归学习，因此权重W在生成器的递归结构中是共享的，有效减少了参数量。

残差单元中的ConvLayer设计如式(2)所示。

BN→ReLU→conv(3×3) (2)

首先进入批量归一化层(BatchNormalization，BN)，归一化特征图的参数，避免因样本间的差异过大引发训练的过拟合问题。归一化操作可以加快模型的收敛，使训练更快完成。然后进入的是ReLU函数激活层，将特征图中的负值置为0，让特征图变得稀疏，提升计算的效率。再后面是卷积核大小为3×3的卷积层，这样的一个整体就构成一层ConvLayer结构。每一个残差单元中有2层ConvLayer结构。

整个基于递归块的生成器的第一个卷积层使用的是7×7的卷积核，以获得图像更多的特征信息，随后接入到递归块结构中。整个递归块结构没有对图像进行伸缩操作，所有的特征图尺寸大小均与输入的低分辨率图像保持一致，所有的卷积操作均对图像的周边进行补零(padding)，使卷积前后图像的大小不变。递归块结构只负责对特征的非线性映射，其后的上采样达成增大图像尺寸的目的。

2)设计RPGAN的鉴别器模型；

基于图像块的鉴别器模型，由l个卷积层组成，均使用k×k的卷积核。前l-2个卷积层stride值为2，padding值为1，图像每经过1个卷积层大小变为原来的1/2；最后2个卷积层stride值为1，padding值为3，图像在完成卷积后大小不变，最后的卷积层输出通道数为1，使得该鉴别器的输出是1个N×N×1的矩阵特征图，也就是1个N×N的概率矩阵，矩阵中的每1个数对应的是输入鉴别器的图像中1块图像区域为真实高分辨率图像的概率；将N×N矩阵中所有数的均值，作为整个输入图像为真实高分辨率图像的概率。

SRGAN鉴别器原理如式(3)所示：

D(I_G)＝S(F_conv(I_G)) (3)

其中I_G代表生成器重建出的高分辨率图像，F_conv代表多层卷积运算，S代表sigmoid函数运算，D(I_G)为一个-1到1的数值，用来表示图像的重建质量(重建效果越好，D(I_G)值越大)。

基于图像块的鉴别器关注I_G中的图像块

以所有

的均值来衡量整个图像I_G的重建质量，运算过程如式(4)所示：

3)设计感知损失计算方案；

使用预训练VGG19网络中的ReLU激活函数层的层前特征作为已知条件，计算生成器生成的图像G(I^LR)与对应的高分辨率图像I^HR的特征表示，定义二者的欧氏距离为VGG损失，其计算方法如公式(5)所示：

其中，φ_n代表输入图像经VGG19网络获取第n层特征图的运算，W和H代表取得的特征图的尺寸。

对抗损失

为了使鉴别器D能够更好的分辨真实图像和生成的超分辨率，在损失函数中增加了对抗损失，如式(6)所示。

其中，D(G(I^LR))代表重建图像G(I^LR)被鉴别为真实图像的概率。为了提升梯度运算速度，将最小化log[1-D(G(I^LR))]，转变为最小化-logD(G(I^LR))。

共设计3个感知损失计算方案，分别考虑浅层、中层、深层特征图的影响。Plan1只选取第5块卷积的最后一层ReLU激活函数层层前特征(第35层的特征)，结合对抗损失作为最终感知损失，如式(7)所示。Plan2选取第3、4、5块卷积，即第17层、第26层和第35层的特征，如式(8)所示。Plan3选取全部5块卷积，即第3层、第8层、第17层、第26层和第35层的特征，如式(9)所示。Plan2和Plan3层前特征加权求和、结合对抗损失的方式与Plan1相同。与激活函数层特征(第36层的特征)的方法进行对比实验。

上述3种方案保持内容损失和对抗损失的比例不变，能够更好的对比内容损失计算方案变化带来的影响。Plan2和Plan3相比于Plan1选取了浅层和中层的特征图加入感知损失的计算。为对比浅层、中层和深层特征图对于超分辨率图像重建的指导能力，令各层特征的权重相等。

4)完成对RPGAN模型的训练；

RPGAN模型训练过程：

步骤一：获取低分辨率训练图像；

对HR图像进行双三次下采样，得到对应的LR图像，然后使用随机裁剪方法增加模型的稳定性。

步骤二：使用生成器生成超分辨率图像；

LR图像作为输入进入到生成器中，输出生成的SR图像；

步骤三：计算损失函数值；

将HR图像、SR图像一同输入到鉴别器中进行鉴别，得到相应的损失函数值。

步骤四：更新生成器和鉴别器的网络；

依据损失函数值对生成器和鉴别器进行反向传播，更新生成器和鉴别器的网络参数；

步骤五：重复步骤二、三和四直至RPGAN模型收敛，完成对RPGAN模型的训练。

5)实现图像分辨率的提升，减少网络参数(网络轻型化)，缩短训练时间。

将低分辨率图像输入模型，生成重建的超分辨率图像。

使用基于递归和图像块思想改进生成对抗网络，完成超分辨率的重建；LR图像通过生成器子网络G产生对应的HR图像，鉴别器子网络D用于分辨输入的图像是生成的HR图像还是真实高清图像，通过优化子网络G和D提升整个模型的超分辨率重建效果；其价值函数如式(10)所示

式中I^LR代表训练集中的LR图像，I^HR代表训练集中对应的HR图像，G(I^LR)代表生成器生成的HR图像。G(I^LR)和I^HR共同输入到鉴别器中，D(G(I^LR))代表G(I^LR)被鉴别为真实图像的概率，D(I^HR)代表I^HR被鉴别为真实图像的概率。

本发明提供一种基于生成对抗网络的RPGAN图像超分辨率重建方法的操作步骤，使用预设参数训练RPGAN模型，输入低分辨率图像，获得重建的含有更丰富细节信息的超分辨率图像，总参数量相比于SRGAN减少了45.8％，单轮训练用时平均减少12％。

实施例

以PSNR值衡量重建质量。使用DIV2K训练集对整个网络完成训练，放大因子设定为4，使用该训练集对模型进行1000轮训练。使用Urban100、BSD100、Set5和Set14数据集测试重建质量。

表1不同感知损失方案的RPGAN在测试集上的PSNR值

表1为对比实验的PSNR数据。RPGAN with Plan1的PSNR值在Urban100、BSD100、Set5和Set14上均高于未采用感知损失优化方案的RPGAN和SRGAN。与SRGAN相比，在BSD100、Set5、Set14及Urban100四个测试集上平均提升6.3％。RPGAN with Plan2和Plan3的PSNR值在4个数据集上均不如SRGAN和Plan1。将Plan1的感知损失计算方案作为RPGAN感知损失的计算方案。

表2为实验模型参数量的对比数据。

表2 SRGAN和RPGAN参数量

基于递归块的生成器参数量相比于SRGAN的生成器减少了37.3％，基于图像块鉴别器参数量相比于SRGAN的鉴别器减少了47.0％，RPGAN的总参数量相比于SRGAN减少了45.8％。

模型参数量大小影响模型训练的速度和单次训练可选取的样本数(batchsize)，对SRGAN和RPGAN设定不同batchsize的训练速度进行了记录和对比，选取不同batchsize值单轮训练用时如表3所示。

表3不同batchsize值单轮训练用时

由于使用显卡是1660super，显卡显存大小为6GB，SRGAN在batchsize设定为64时因显存不足无法训练，RPGAN因参数量少于SRGAN依旧可以进行训练。从单轮训练用时的数据表格可以看出，随batchsize设定值的提升，单轮训练用时在逐渐减少。设定为相同batchsize时，参数量较少的RPGAN单轮训练时长要少于SRGAN，平均节省12％的时间。

图2为SRGAN和RPGAN重建效果对比图，从左至右依次是LR图像、SRGAN重建的4倍SR图像、RPGAN重建的4倍SR图像。图3展示了重建图像的细节对比。

RPGAN与SRGAN的对比试验表明，RPGAN的PSNR值在4个测试集均优于SRGAN，且重建图像的细节也更加丰富，因此可以得出模型RPGAN的重建效果是优于SRGAN的。尤其是，RPGAN相比于SRGAN的参数量显著减少，在训练时对于显存的需求更低，并且单轮训练时间更少，因此RPGAN更适合生产环境。

本方法主要对基于GAN的超分辨率图像重建的主流模型SRGAN进行轻量化改进，减少了近半的模型参数总量，使得改进后的模型能够用于更多的研究和生产环境，降低基于GAN的超分辨率图像重建工作对于硬件条件的依赖。

Claims (6)

1.基于生成对抗网络的RPGAN图像超分辨率重建方法，其特征在于：该方法包括

1)设计RPGAN的生成器模型；

2)设计RPGAN的鉴别器模型；

3)设计感知损失计算方案；

4)完成对RPGAN模型的训练；

5)实现图像分辨率的提升、参数量降低以及训练时间的缩短；

使用基于递归和图像块思想改进生成对抗网络，完成超分辨率的重建；低分辨率(LR)图像通过生成器子网络G产生对应的高分辨率(HR)图像，鉴别器子网络D用于分辨输入的图像是生成的HR图像还是真实高清图像，通过优化子网络G和D提升整个模型的超分辨率重建效果；其价值函数如式(1)所示

式中I^LR代表训练集中的LR图像，I^HR代表训练集中对应的HR图像，G(I^LR)代表生成器生成的HR图像；G(I^LR)和I^HR共同输入到鉴别器中，D(G(I^LR))代表G(I^LR)被鉴别为真实图像的概率，D(I^HR)代表I^HR被鉴别为真实图像的概率。

2.根据权利要求1所述的基于生成对抗网络的RPGAN图像超分辨率重建方法，其特征在于：基于递归块的生成器模型，具体网络结构为

生成器网络包含6个残差单元，各残差单元使用递归块结构与生成器的首个卷积层连接；每个残差单元拥有实现残差学习的跳跃连接，包含2个ConvLayer；ConvLayer的内部结构首先为批量归一化层，通过归一化层来归一化特征图的参数，避免因样本间的差异过大引发训练的过拟合问题；然后进入的是ReLU函数激活层，将特征图中的负值置为0，让特征图变得稀疏，提升计算的效率；最后是卷积核大小为3×3的卷积层，这样的一个整体就构成一层ConvLayer结构；

整个基于递归块的生成器的第一个卷积层使用的是7×7卷积核，以获得图像更多的特征信息，随后接入到递归块结构中；整个递归块结构没有对图像进行伸缩操作，所有的特征图尺寸大小均与输入的低分辨率图像保持一致，所有的卷积操作均对图像的周边进行补零(padding)，使卷积前后图像的大小不变；递归块结构只负责对特征的非线性映射，其后的上采样达成增大图像尺寸的目的。

3.根据权利要求1所述的基于生成对抗网络的RPGAN图像超分辨率重建方法，其特征在于：基于图像块的鉴别器模型，由l个卷积层组成，均使用k×k的卷积核；前l-2个卷积层stride值为2，padding值为1，图像每经过1个卷积层大小变为原来的1/2；最后2个卷积层stride值为1，padding值为3，图像在完成卷积后大小不变，最后的卷积层输出通道数为1，使得该鉴别器的输出是1个N×N×1的矩阵特征图，也就是1个N×N的概率矩阵，矩阵中的每1个数对应的是输入鉴别器的图像中1块图像区域是否为真实高分辨率图像的概率；将N×N矩阵中所有数的均值，作为整个输入图像为真实高分辨率图像的概率。

4.根据权利要求1所述的基于生成对抗网络的RPGAN图像超分辨率重建方法，其特征在于：利用ReLU激活函数层层前特征计算RPGAN的感知损失，其具体计算方法为

使用感知损失评价RPGAN生成器网络G的性能，它是由内容损失和对抗损失加权求和所得；对抗损失在生成器和鉴别器的对抗中产生，用于生成器和鉴别器的参数优化；内容损失使用预训练VGG19网络中的第35层的特征作为条件，计算生成器生成的图像G(I^LR)与对应的高分辨率图像I^HR的特征表示，使二者的欧氏距离为该模型的内容损失，其计算方法如公式(2)所示：

其中，φ₃₅代表输入图像经VGG19网络获取第35层特征图的运算，W和H代表取得的特征图的尺寸。

5.根据权利要求1所述的基于生成对抗网络的RPGAN图像超分辨率重建方法，其特征在于：RPGAN模型训练过程为

步骤一：获取低分辨率训练图像；

对HR图像进行双三次下采样，得到对应的LR图像，然后使用随机裁剪方法增加模型的稳定性；

步骤二：使用生成器生成超分辨率图像；

LR图像作为输入进入到生成器中，输出生成的SR图像；

步骤三：计算损失函数值；

将HR图像、SR图像一同输入到鉴别器中进行鉴别，得到相应的损失函数值；

步骤四：更新生成器和鉴别器的网络；

依据损失函数值对生成器和鉴别器进行反向传播，更新生成器和鉴别器的网络参数；

步骤五：重复步骤二、三和四直至RPGAN模型收敛，完成对RPGAN模型的训练。

6.一种如权利要求1所述的基于生成对抗网络的RPGAN图像超分辨率重建方法的操作步骤，其特征在于：使用预设参数训练RPGAN模型，输入低分辨率图像，获得重建的含有更丰富细节信息的超分辨率图像。

Images