CN110473144A - 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于拉普拉斯金字塔网络的图像超分辨率重建方法，包括通过多张低分辨率图像依次对生成器网络和判别器网络进行优化，得到训练后的生成器网络；通过训练后的生成器网络，将待重建的低分辨率图像重建为高分辨率图像。其中，本发明的生成器网络采用拉普拉斯金字塔网络，以逐步上采样重建HR图像，从而可以更好地重建大尺度的图像；同时，本发明通过沿着通道轴连接高级和低级特征以学习残差图像，以提高泛化能力，使重建的图像在视觉上边缘更清晰，纹理更丰富。

Description

一种基于拉普拉斯金字塔网络的图像超分辨率重建方法

技术领域

本发明涉及一种图像超分辨率重建方法，尤其涉及一种基于拉普拉斯金字塔网络的图像超分辨率重建方法。

背景技术

图像超分辨率重建问题，旨在从输入的低分辨率(LR)图像中重建出高分辨率(HR)图像。随着各种视觉任务的突破性进展，深度卷积神经网络(CNN)已成功应用于单图像超分辨率中，与传统的相比基于CNN的方法在性能上有明显提升。其中，Dong等人首先引入三层CNN用于图像超分辨率中。之后，Kim等人证明使用更深的CNN来处理超分辨率重建问题，并将网络深度增加到20层。Lim等人提出了一种增强型的深度CNN超分辨率网络，并且消除传统残差网络中不必要的模块，从而提升性能。然而，基于CNN的方法主要集中于最小化均方重建误差，导致视觉感知结果很差。

为了解决这个问题，最近，生成对抗网络(GAN)广泛应用于超分领域。与基于CNN的超分辨率重建方法(侧重于最小化均方重建误差)不同，GAN通过最小化对抗损失来训练生成模型，该损失试图区分输出HR图像是真实的还是假的。Ledig等人提出SRGAN在GAN框架下重建HR图像，并通过组合像素均方误差损失(MSE)，感知损失和对抗损失来训练GAN以生成逼真图像。尽管基于GAN的图像超分辨率重建中取得了成功，但由于GAN的网络局限性，可能会产生令人不满意的HR输出：首先，对抗性损失函数不能反映网络训练的程度，因此在训练网络时，生成器总是倾向于产生一些高分数的真实数据样本。其次，GAN在无条件生成模型中的自由度非常大，使得难以控制模式以生成期望的数据，导致重建的图像具有一些奇怪的纹理。

发明内容

发明目的：针对现有GAN技术的缺陷或问题，提供一种基于拉普拉斯金字塔网络的图像超分辨率重建方法。

技术方案：本发明的根据基于拉普拉斯金字塔网络的图像超分辨率重建方法包括如下步骤：(S1)对生成器网络和判别器网络进行初始化；(S2)通过多张低分辨率图像对所述生成器网络和所述判别器网络进行优化，得到训练后的生成器网络；(S3)通过训练后的生成器网络，将待重建的低分辨率图像重建为高分辨率图像；步骤(S2)中，通过多张低分辨率图像对所述生成器网络和所述判别器网络进行优化，具体包括：将所述多张低分辨率图像依次输入所述生成器网络中，每输入一张低分辨图像，进行如下操作：(S21)生成器网络基于当前的生成器网络将输入的低分辨率图像重建成对应的高分辨率图像，并输出至判别器网络中；(S22)判别器网络基于当前的判别器网络来辨别输入的高分辨率图像是取自真实图像还是由生成器网络“伪造”的重建图像；(S23)基于当前的生成器网络、当前的判别器网络和所述辨别器模块的辨别结果计算总损失函数；(S24)根据所述总损失函数优化当前的生成器网络和当前的判别器网络，得到新的生成器网络和新的判别器网络。

进一步地，步骤(S2)中所述多张低分辨率图像为未预定义上采样算子的多张低分辨率图像。

进一步地，所述判别器网络使用VGG19网络。

进一步地，所述生成器网络包括N级，如果输入的低分辨率图像是下采样1/S倍的低分辨率图像，S是上采样比例因子，则N＝log₂S；每一级将前级输出的图像重建为该级的高分辨率的图像，且每一级的重建过程包括：(a)使用卷积层将前级输出的图像转换为第一高维特征图，其中将输入所述生成器网络的低分辨率图像作为第一级的输入；(b)把所述第一高维特征图输入到堆叠了多个长短跳跃连接的网络中，学习并输出更加精细的第二高维特征图；(c)将所述第一高位特征图和所述第二高维特征图的特征通道融合一起，并输出泛化能力较高的第三高维特征图；(d)把所述第三高维特征图通过亚像素卷积层进行上采样，得到第四高维特征图；(e)通过一个卷积层和亚像素上采样直接从前级输出的图像中学习得到低频信息特征图；(f)把所述第四高维特征图的特征通道通过一个卷积层转换成与正常图像相同的通道数，并使转换后的第四高维特征图与步骤(e)得到的低频信息特征图进行逐元素相加得到该级重建的高分辨率图像。

进一步地，步骤(S23)中，所述总损失函数L表示为：

L＝αL_CGAN(G,D)+βL_C+γL_VGG，

其中，L_CGAN、L_C和L_VGG分别CGAN损失函数、Charbonnier损失函数和VGG损失函数；α，β和γ分别是L_CGAN、L_C和L_VGG的权衡参数；G和D分别表示所述生成器网络和所述判别器网络；G(x)表示将低分辨率图像x输入到G网络中得到重建图像y表示真实高分辨率图像；D(y,G(x))表示把y作为条件变量指导判别器计算重建图像来自于G(x)而不是来自于真实高分辨率图像y的概率；D(y,y)表示把y作为条件变量指导判别器计算真实高分辨率图像y是来自于真实高分辨率图像y而不是来自于G(x)的概率；E_y表示logD(y,y)的期望值；E_x,y表示log(1-D(y,G(x))的期望值；ε表示常数项，其目的是提高损失函数的鲁棒性，通常取值为ε＝10^-3；y_l和分别表示第l级的真实高分辨率图像和重建的高分辨率图像；φ_i,j(·)_x,y表示在VGG19网络第i层中的第j个卷积在激活之后获得的特征图，其中W和H表示对应特征图的宽和高；y_l和分别表示第l级的真实高分辨率图像和重建的高分辨率图像。

有益效果：与现有技术相比，本发明具有以下优点：

1、采用拉普拉斯金字塔网络，以逐步上采样重建HR图像，从而可以更好地重建大尺度的图像；

2、现有的基于残差学习的超分辨率重建方法仅利用高级特征来学习残差图像，而并不是对于重建任何图像的高频细节是有效的，因为高级特征包含更高级别的语义信息，其泛化能力低于低级特征。为了解决这个问题，本发明通过沿着通道轴连接高级和低级特征以学习残差图像，以提高泛华能力，使重建的图像在视觉上边缘更清晰，纹理更丰富。

附图说明

图1为本发明的拉普拉斯金字塔网络图；

图2为本发明的方法与其他先进的方法在放大因子为4的情况下重建的图像比较。

具体实施方式

以下结合附图对本发明进行详细说明。

本发明利用真实高分辨率(High Resolution，简称HR)图像条件变量来学习单图像超分辨率重建的生成模型。在Set5，Set14和B100等标准超分数据集上的大量评估结果证明，本发明所提方法与一些最先进的超分辨率方法在性能上相媲美，并且有很好的视觉效果。本发明的方法包括如下步骤：

步骤一、对生成器网络的特征和判别器网络的特征进行初始化。其中，生成器网络用于训练产生出能够迷惑判别器的重建图像。判别器网络用于在高分辨率图像条件下接受输入，并辨别该输入是取自真实图像还是由生成器“伪造”的重建图像。当输入来自高分辨率图像时，判别器网络的目标是判断它为“真”，当输入图像来自重建图像时，判别器网络的目标是判别它为“假”。

步骤二、通过多张低分辨率图像对所述生成器网络和所述判别器网络进行优化，得到训练后的生成器网络。

具体而言，该步骤包括：将多张低分辨率图像依次输入生成器网络中，每输入一张低分辨图像，进行如下操作：

子步骤1：生成器网络将输入的低分辨率图像重建成对应的高分辨率图像，并输出至判别器网络中；

本发明的生成器网络使用了拉普拉斯金字塔网络(ELapN)，它主要由两个分支组成：一个高频提取分支(与残差图像或图像细节有关)，以及一个低频提取分支。这两个分支逐步重建HR图像。所提出的ELapN是CNN的级联，在每个金字塔级别具有相同的网络结构。如果输入图像是下采样1/S倍的LR图像(S是上采样比例因子)，则整个网络需要log₂S级金字塔来预测HR图像。每一级金字塔输出的图片作为下一级金字塔的输入。

如图1所示，每个级金字塔的重建过程具体为：

(a)使用卷积层将输入生成器网络的低分辨率(Low Resolution，简称LR)图像转换为第一高维特征图；

(b)该步骤是生成器网络的核心。第一高维特征图里包含了高频信息和低频信息，高频信息表示图像的细节部分(例如纹理，人脸的轮廓)，低频信息表示图像的内容部分(即图片中单一颜色的部分，例如蓝色的天空，人的皮肤)。因为低分辨率图像往往模糊的部分就是图像的细节部分，所以在网络的搭建中应该更多的考虑如何过滤掉冗余的低频信息。与传统的方法LapSRN和SRGAN方法相比，本发明进行了一些有效的扩展：传统的两种方法只使用短跳跃连接来过滤低频信息，为了过滤更多的低频信息我们融合使用长短跳跃连接。即，把步骤(a)得到的第一高维特征图输入到堆叠了多个长短跳跃连接网络中，以过滤低频信息得到高频信息，对得到的高频信息进行学习并输出更加精细的第二高维特征图。其中，对于高频信息的学习可以使用深度学习中常用的方法：使用一个卷积层计算后再使用激活函数(Leaky ReLu)进行非线性计算，不断重复上述计算过程N(N通常不小于100)次，完成对高频信息的学习。

(c)随着网络的加深，学习的特征(权重)的泛化能力会降低，步骤(a)中学习的特征的泛化能力较高，步骤(b)中学习的特征语义信息更强。为了增加后面层特征的泛化能力，可以利用特征通道之间的相互依赖性，将步骤(a)得到的第一高维特征图和步骤(b)得到的第二高维特征图使用“concat”融合一起(即，将第一高维特征图和第二高维特征图的特征通道进行相加)，并输出泛化能力较高的第三高维特征图；

(d)现有方法使用转置卷积层进行上采样，这种方式重建的图像会出现棋盘效应。为了避免棋盘效应我们把步骤(c)得到的第三高维特征图通过亚像素卷积层进行上采样，并得到第四高维特征图；

(e)步骤(b)中介绍了低频信息包含很多的冗余信息，所以在重建过程对低频信息的学习并不需要过多的复杂计算与时间，所以通过一个卷积层和亚像素上采样直接从输入生成器网络的低分辨图像中学习并上采样得到低频信息特征图；

(f)把步骤(d)输出的第四高维特征图的通道通过一个卷积层转换成与正常图片相同的通道数，并使其与步骤(e)得到的低频信息特征图进行逐元素相加得到该级别重建的HR图像。

子步骤2：判别器网络基于当前的判别器网络来辨别输入的高分辨率图像是取自真实图像还是由生成器网络“伪造”的重建图像。

在条件生成对抗网络中，判别器网络的工作是区分来自两个数据源的数据，即真实数据源和生成器“伪造”源。本发明的判别器调整了Radford等人的判别器网络架构，在网络模型中使用Leaky ReLU激活函数代替普通的ReLu，同VGG19网络一样的方式把卷积核的通道数按2的倍数增长，从64增长到512，再使用全连接层和一个final sigmoid激活函数来得到样本类别的概率。

子步骤3：基于生成器网络的当前特征、判别器网络的当前特征和所述判别器网络的辨别结果计算总损失函数L。

这里的总损失函数L实际上为三个损失函数CGAN，Charbonnier和VGG的组合：

L＝αL_CGAN+βL_C+γL_VGG. (1)

其中L_CGAN，L_C和L_VGG分别由式(2)-(4)定义，α，β和γ是对应于各损失函数的权衡参数。

1)CGAN损失函数

通过判别器网络D和生成器网络G交替方式进行优化，整体损失函数定义为：

其中，x表示输入图像，y表示真实高分辨率图像；表示在优化生成器网络G时使目标函数的值尽可能的达到最小；表示在优化判别器网络D时使目标函数的值尽可能的达到最大。G(x)表示x输入到G网络中得到重建图像用来学习接近于真实数据的分布；D(y,G(x))表示把y作为条件变量指导判别器计算重建图像来自于G(x)而不是来自于真实高分辨率图像y的概率；D(y,y)表示把y作为条件变量指导判别器计算真实高分辨率图像y是来自于真实高分辨率图像y而不是来自于G(x)的概率；E_y表示logD(y,y)的期望值；E_x,y表示log(1-D(y,G(x))的期望值。

2)Charbonnier损失函数

现有方法都有用到MSE作为损失函数，但是MSE损失函数不能刻画高分辨块潜在的多模态分布，因此会导致重构后的高分辨图片过于平滑，并且与人们对自然图片的感知并不是相近。我们使用了能够处理异常值的Chabonnier损失函数。

x表示输入低分辨率图像LR，我们的目标是学习通过生成器生成HR图像我们的目标是使生成器生成的图像尽可能与真实高分辨率图像y相似。因为我们的使用的拉普拉斯网络是级联的，用y_l和分别表示第l级的HR图像和重建图像。除了最高级的y为标准图像外，其他的级的y都是把标准图像双三次下采样为y_l，损失函数定义为：

其中ε表示常数项，其目的是提高损失函数的鲁棒性，通常取值为ε＝10^-3；

3)VGG损失函数

本发明用基于预训练的19层VGG网络的ReLU激活层来定义损失函数。用φ_i,j表示在VGG19网络第i层中的第j个卷积(在激活之后)获得的特征图，其中W和H表示图像的宽和高。

子步骤4：判断总损失函数L的大小，当其值大于定的阈值时，根据总损失函数L优化生成器网络的当前特征和判别器网络的当前特征，得到新的生成器网络和新的判别器网络。根据损失函数训练优化生成器网络和判别器网络的方法可以参见“Photo-RealisticSingle Image Super-Resolution Using a Generative Adversarial Network”，LedigC,Theis L,Huszar F等。当损失函数L的值在阈值以内时，结束对生成器网络和判别器网络的优化，并将最新的生成器网络作为训练后的生成器网络。在其他实施例中，也可以通过判断已输入生成器网络的低分辨率图像的数目是否大于设定值来选择停止对生成器网络和判别器网络的优化。优选地，该设定值可以设为10000-15000，当输入的低分辨率图像达到该设定值时，说明损失函数基本处在阈值以内。

步骤三、通过训练后的生成器网络，将待重建的低分辨率图像重建为高分辨率图像。

将本发明的生成器网络(ELapCGAN)与12个最先进的SR算法在PSNR和SSIM方面进行了比较，包括基于字典的方法(A+和RFL)，基于自相似性的方法(SelfExSR)和基于CNN的方法(SRGAN，SRCNN，FSRCNN，SCN，VDSR，DRCN，DRRN，LapSRN，SRResnet)。对基准数据集Set14进行实验的结果如图2所示，通过将本发明的方法与其他先进的方法在放大因子为4的情况下重建的图像比较可知，本发明的上述方法可以让重建的图像在在视觉上边缘更清晰，纹理更丰富。

Claims (6)

1.一种基于拉普拉斯金字塔网络的图像超分辨率重建方法，其特征在于，包括如下步骤：

(S1)对生成器网络和判别器网络进行初始化；

(S2)通过多张低分辨率图像依次对所述生成器网络和所述判别器网络进行优化，得到训练后的生成器网络；

(S3)通过训练后的生成器网络，将待重建的低分辨率图像重建为高分辨率图像；

步骤(S2)中，通过多张低分辨率图像对所述生成器网络和所述判别器网络进行优化，具体包括：将所述多张低分辨率图像依次输入所述生成器网络中，每输入一张低分辨图像，进行如下操作：

(S21)生成器网络将输入的低分辨率图像重建成对应的高分辨率图像，并输出至判别器网络中；

(S22)判别器网络基于当前的判别器网络来辨别输入的高分辨率图像是取自真实图像还是由生成器网络“伪造”的重建图像；

(S23)基于当前的生成器网络、当前的判别器网络和所述辨别器模块的辨别结果计算总损失函数；

(S24)根据所述总损失函数优化当前的生成器网络和当前的判别器网络，得到新的生成器网络和新的判别器网络。

2.根据权利要求1所述的基于拉普拉斯金字塔网络的图像超分辨率重建方法，其特征在于，步骤(S2)中所述多张低分辨率图像为未预定义上采样算子的多张低分辨率图像。

3.根据权利要求1所述的基于拉普拉斯金字塔网络的图像超分辨率重建方法，其特征在于，所述判别器网络使用VGG19网络。

4.根据权利要求3所述的基于拉普拉斯金字塔网络的图像超分辨率重建方法，其特征在于，所述生成器网络包括N级，如果输入的低分辨率图像是下采样1/S倍的低分辨率图像，S是上采样比例因子，则N＝log₂ S；每一级将前级输出的图像重建为该级的高分辨率的图像，且每一级的重建过程包括：

(a)使用卷积层将前级输出的图像转换为第一高维特征图，其中将输入所述生成器网络的低分辨率图像作为第一级的输入；

(b)把所述第一高维特征图输入到堆叠了多个长短跳跃连接的网络中，以过滤低频信息得到高频信息，对得到的高频信息进行学习并输出更加精细的第二高维特征图；

(c)将所述第一高位特征图和所述第二高维特征图的特征通道融合一起，并输出泛化能力较高的第三高维特征图；

(d)把所述第三高维特征图通过亚像素卷积层进行上采样，得到第四高维特征图；

(e)通过一个卷积层和亚像素上采样直接从前级输出的图像中学习得到低频信息特征图；

(f)把所述第四高维特征图的特征通道通过一个卷积层转换成与正常图像相同的通道数，并使转换后的第四高维特征图与步骤(e)得到的低频信息特征图进行逐元素相加得到该级重建的高分辨率图像。

5.根据权利要求4所述的基于拉普拉斯金字塔网络的图像超分辨率重建方法，其特征在于，步骤(S23)中，所述总损失函数L表示为：

L＝αL_CGAN(G,D)+βL_C+γL_VGG，

其中，L_CGAN、L_C和L_VGG分别CGAN损失函数、Charbonnier损失函数和VGG损失函数；α，β和γ分别是L_CGAN、L_C和L_VGG的权衡参数；G和D分别表示所述生成器网络和所述判别器网络；表示在优化生成器网络G时使目标函数的值尽可能的达到最小；表示在优化判别器网络D时使目标函数的值尽可能的达到最大；G(x)表示将低分辨率图像x输入到G网络中得到重建图像y表示真实高分辨率图像；D(y,G(x))表示把y作为条件变量指导判别器计算重建图像来自于G(x)而不是来自于真实高分辨率图像y的概率；D(y,y)表示把y作为条件变量指导判别器计算真实高分辨率图像y是来自于真实高分辨率图像y而不是来自于G(x)的概率；E_y表示logD(y,y)的期望值；E_x,y表示log(1-D(y,G(x))的期望值；ε表示常数项；y_l和分别表示第l级的真实高分辨率图像和重建的高分辨率图像；φ_i,j(·)_x,y表示在VGG19网络第i层中的第j个卷积在激活之后获得的特征图，其中W和H表示对应特征图的宽和高。

6.根据权利要求5所述的基于拉普拉斯金字塔网络的图像超分辨率重建方法，其特征在于，ε＝10^-3。