CN112365405A - 一种基于生成对抗网络的无监督超分辨率重建方法 - Google Patents

Abstract

本发明属于图像处理技术领域，主要是涉及一种基于生成对抗网络的无监督超分辨率重建方法。该方法主要包括以下步骤：步骤1：获得待重建的低分辨率目标图像，并进行下采样的预处理；步骤2：设计基于注意力机制和生成对抗网络的超分辨率重建网络；步骤3：设计训练策略及训练参数，优化模型参数。本发明经过训练优化之后，一方面提供了一种无监督条件下的图像超分辨率重建算法，另一方面提升了重建图像的感知质量。

Description

一种基于生成对抗网络的无监督超分辨率重建方法

技术领域：

本发明属于图像处理技术领域，主要是涉及一种基于生成对抗网络的无监督超分辨率重建方法。

背景技术：

一般而言，对于一张图像而言，更高的分辨率代表具备更多、更丰富的图像细节。但是受限于成像设备体积、成本等因素的影响，最终呈现出来的图像往往达不到人们的实际需求。在这样的背景下，通过低分辨率的图像重建出高分辨率图像的图像超分辨率重建技术受到了学术界的广泛的关注，并广泛的应用于视频监控、医学等领域。因此，研究适用范围广、重建质量高的超分辨率重建算法具备重要的理论价值和实际意义。

大多数超分辨率重建算法都是基于有监督深度学习的方法，虽然这些方法相比传统超分辨率重建算法具备更好的重建效果，但是需要大量的人为标注的图像数据集进行训练，训练时间长，并且所使用的图像对与实际存在一定的出入。现有的无监督的超分辨率重建网络ZSSR，该网络既不需要先验的图像样本也不需要先验的训练，它利用单张图片的内部重复信息在测试期间训练一个小型针对特定图片的深度卷积网络，只需要比较少的计算资源就取得了比较好的重建效果，并且可以处理多种非理想状态下的图片。随着生成对抗网络的发展，基于生成对抗网络的图像构建模型SinGAN，其利用金字塔网络进行图像在不同尺度下的重构，取得了很好的重构效果，同时进行了超分辨率重建实验，重建出来的图像具备比较好的感知质量，但是由于没有充分地利用通道之间的信息，导致最终重建图像的质量和预期任存在一定的差别。本文设计了基于注意力机制和金字塔生成对抗网络的的单幅图像超分辨率重建网络，同时在金字塔生成对抗网络的生成器和判别器中引入了密集残差连接。本文所提出的差分辨率重建算法相比现存无监督超分辨率重建算法具备更好的感知质量。

发明内容

本发明提出一种基于生成对抗网络的超分辨率重建方法，针对传统超分辨率重建算法需要大量特定数据集进行训练的问题，提出一种无监督的超分辨率重建方法，并通过金字塔生成对抗网络对重建结果进行优化，从而得到符合图像特征的超分辨率重建网络，该方法在有效减少训练时间的同时提升了重建图像的感知质量。

本发明的技术方案如下：

步骤S1：图像获取。获取超分辨率重建数据集里面的低分辨率图像的尺寸H×W，其中H是图像的高，W是图像的宽。

步骤S2：图像下采样，获取训练对象。针对步骤1获得的图像，采用双三次下采样的方法进行下采样，形成训练数据集{x₀,x₁,…,x_N}，其中x_i表示每一层的对抗器所对应的真实图像，x₀即为步骤1所获取的低分辨率图像。

S3：在生成对抗网络的生成器G中，设置卷积层为7层，卷积核为3×3，并引入如图1密集残差连接。为了防止训练过程中，由于输入信息和梯度信息在卷积层中深度传递所引起的梯度消失和梯度爆炸，在将卷积层设置成7层3×3时，同时引入残差连接，来充分利用前后的信息，防止梯度消失和梯度爆炸，第n个卷积层的输入可以表示为：

x_n＝H_N([x₀,x₁,...,x_n-1])

其中H_N表示非线性变换，通过这种方式，每层都可以直接从损失函数和原始输入信号中获取梯度，从而实现隐式深度监督。同时这种网络结构也加强了特征的传递，更加有效利用了每一层的特征

S4：在生成对抗网络的生成器G中，引入如图2所示的增强型通道注意力机制网络。首先，确认通道描述符。把χ(

W、H、C为特征图的宽、高和通道数)进行全局平均池化，得到1×1×C的特征图，将池化结果作为该通道的描述符Z，第c个通道的描述符表示为：

随后，通道关系建模，用W_k去学习通道注意力，表示如下：

W_c＝σ(W_kZ)

其中k表示为计算的邻近通道的数量，W_k表示为：

W_k＝[ω₁,ω₂,…,ω_c]^T

其中，

表示k个邻近通道

的集合。通道参数共享可以进一步缩减参数量，ω_i可表示为：

最终通过卷积核大小为k的一维卷积来实现通道之间的信息交互，表示为：

ω＝σ(C1D_k(Z))

其中k根据通道数进行自适应选择，表示为：

C＝φ(k)＝2^2k-1

将学习到的通道注意力机制加权到输入特征中，得到最终的特征图：

S5：在生成对抗网络的对抗器D中，采用和生成器G相同的结构，判别器使用马尔科夫判别器。其中，马尔科夫输出矩阵D_n×n，最终取均值作为最终的判断结果，表示为：

S6：金字塔网络构建。用级联式的生成器-判决器对，由N个GAN网络级联构成金字塔的网络，其结构如图3所示。金字塔单尺度生成模型如图4所示，生成器在第n个尺度，G_n+1的输出通过上采样后与对应尺寸的噪声相加，作为G_n的输入，表示为：

从最粗尺度开始，从下往上进行训练，每层训练好之后固定每一层训练的结果及参数共享给上一层，网络的损失函数表示为：

其中L_A为生成对抗网络的对抗损失，这里选取WGAN-UP作为对抗损失，增加训练的稳定性。L_R为重建损失，重建损失函数表示为：

损失函数作为参数更新的标准，最终训练到最上层，完成参数的更新。将待重建的图像x₀输入第0层的网络进行迭代，生成目标高分辨率网络。

附图说明

图1密集连接网络

图2增强型注意力机制网络

图3金字塔网络

图4单尺度生成过程

图5重建效果对比图

具体实施过程：

一种基于生成对抗网络的无监督超分辨率重建方法，网络结构和单尺度生成过程如图3和图4所示，首先进行数据预处理，随后构建金字塔网络。接着设置训练参数和条件对网络进行训练，调整网络参数。最终利用训练好的模型进行超分辨率重建。

下面通过一个实施实例对本发明进行进一步说明，其目的仅在于更好地理解本发明的研究内容而非限制本发明的保护范围。具体步骤如下：

步骤S1：本实例采用Set5、Set14和BSD100三个图像超分辨率重建数据集，Set5包含5对高低分辨率图像对，Set14扩展到了14张，BSD100包含100张多样特征的高低分辨率图像对。本实例选择放大四倍作为参考标准，高分辨率图像为512*512分辨率，低分辨率图像为128*128分辨率。将低分辨率图像进行下采样，得到超低分辨率图像对。

步骤S2：本实施实例将低分辨图像下采样之后，作为生成对抗网络每一层的标靶图像。

步骤S3：确认训练环境及策略。实验设备的处理器为

I9 9900K，显卡为RTX2080Ti，Pytorch环境下进行，使用CUDA10.1和CuDNN7.1加速模型训练。从网络的最粗的尺度开始由下第N层向上地训练多尺度网络结构，到第0层为止，判别器使用马尔科夫判别器每个尺度的GAN训练好后，就会被固定，直到训练结束。

考虑到模型的金字塔结构，下层的输出可以作为上层的输入，故将最下层设置为随机噪声图像Z，其他层为0，当n≠N时，此时可以得到第n层的重建损失函数为：

密集残差结构的引入可以加快网络的收敛，本文提出的网络在每个尺度上训练次数为1000次，生成器和判别器的学习率设置为0.001，重建损失的超参数α＝10，生成器和判别器的结构如图4所示。卷积层通道数为128，在注意力机制模块中，前6个卷积层通道交互宽度(即一维卷积核大小k)设置为6。

步骤S4：本实例从最粗尺度开始进行训练，每个尺度训练好之后上采样作为上一层的输入。直至训练好G₀为止。本实例选取Set5、Set14和BSD100中的低分辨率图像作为重建对象。将待重建的低分辨率图像作为输入，输入G₀进行迭代，直至输出目标大小的图像为止。

本实例将本文所提出的算法与现有的无监督图像超分辨率重建算法进行4倍重建指标的比较，主要比较了峰值信噪比(PSNR)、结构相似性(SSIM)和图像质量评价(NIQE)三个指标。实验结果如表1和图5。

观察上述的图表可知，在PSNR指标方面，本算法都可以取得第二好的结果。但是在SSIM和NIQE两项指标方面，本文提出的算法均超过其他算法，说明本文提出的模型有很好的感知效果。同时将重建后的图像放大看，本文提出的算法的重建结果也具备最好的质量。

表1各算法的重建指标

Claims (7)

1.一种基于生成对抗网络的无监督超分辨率重建方法，其特征在于，包含以下几个步骤：

S1：获取原始低分辨率图像x₀，尺寸为H×W；

S2：将S1得到的进行多次下采样，形成多层次训练数据集，表示为{x₀,x₁,…,x_N}；

S3：在S2基础上，利用生成对抗网络G生成训练图像，在生成器中，引入通道注意力机制和密集残差结构；

S4：在S3的基础上，将生成器生成的图像送入对抗器D进行对抗训练，判别生成图像和原始图像的接近程度，直至分不出两者的区别为止；

S5：结合S3、S4中的生成对抗网络，下一层的输出

上采样之后的

作为上一层

的输入设计金字塔网络进行训练，不断优化各卷积层参数，得到图像

的分布λ_n和x_n分布λ_n之间的关系；

S6：利用S5训练出来的模型，在0层输入原始低分辨率图像LR，输出高分辨率重建图像HR。

2.一种基于生成对抗网络的无监督超分辨率重建方法，其特征在于，所述步骤S1中：

获取的原始图像的尺寸，形成H×W的矩阵x₀，作为后续的训练对象。

3.一种基于生成对抗网络的无监督超分辨率重建方法，其特征在于，所述步骤S2中：

将原始数据进行双插值下采样降维，形成数据集{x₀,x₁,…,x_n}。数据集作为后续每一层的目标训练对象。

4.一种基于生成对抗网络的无监督超分辨率重建方法，其特征在于，所述步骤S3中：

设计生成对抗网络的生成器G，每层共有7个卷积网络，其中第n层生成器包含两个输入，分别是随机噪声输入和图像信号

第n层对抗器的输入是生成器生成的图像

和真实下采样图像x_n。首先将信号输入生成器的卷积神经网络中进行图像生成，卷积神经网络包含残差密集连接结构，每个隐含层包含一个注意力机制网络，对不同通道的信号进行加权。其中，残差密集连接为每一个卷积层都和后面的所有卷积层相连，充分发挥特征重用的能力；对于每一个卷积层，使用不降维的注意力机制网络，有效避免降维带来的特征消失。在所有的卷积层中，都不使用BN归一化操作。

5.一种基于生成对抗网络的无监督超分辨率重建方法，其特征在于，所述步骤S4中：

设计生成对抗网络的对抗器D，第n层对抗器的输入包含两个部分，分别是生成器生成的图像

和下采样得到的目标图像x_n，两者根据博弈论的思想进行对抗训练。根据博弈所得损失L更新生成器参数。

6.一种基于生成对抗网络的无监督超分辨率重建方法，其特征在于，所述步骤S5中：

设计金字塔网络结构，相邻网络进行连接，下一层训练好的对抗器的输出

上采样之后作为上一层的输入

利用下一层得到的信息，对上一层的参数进行微调。

7.一种基于生成对抗网络的无监督超分辨率重建方法，其特征在于，所述步骤S6中：

将需要超分辨率重建的原始低分辨率图像输入网络的第0层，输出高分辨率重建图像HR。

Images