CN109785270A

CN109785270A - 一种基于gan的图像超分辨率方法

Info

Publication number: CN109785270A
Application number: CN201910090083.0A
Authority: CN
Inventors: 李鑫钊
Original assignee: Sichuan Changhong Electric Co Ltd
Current assignee: Sichuan Changhong Electric Co Ltd
Priority date: 2019-01-18
Filing date: 2019-01-18
Publication date: 2019-05-21

Abstract

本发明公开了一种基于GAN的图像超分辨率方法，包括：构建图像超分辨率重建模型，图像超分辨率重建模型由生成器网络和对抗神经网络组成，生成器网络用于低分辨率图像的超分辨率重建，对抗神经网络用于判别图像是否产生自生成器网络，同时训练所述生成器网络和对抗神经网络，直到达到一个纳什均衡。首先仅使用像素级均方误差作为损失函数来训练生成器网络，大大避免网络模型训练初期3个损失函数一起训练时的反复大幅度来回跳动，防止生成器网络进入不希望得到的局部最优解现象。再用联合损失函数训练生成器网络和辨别器网络，并给损失函数乘以一个系数，以相对平衡。

Description

一种基于GAN的图像超分辨率方法

技术领域

本发明涉及图像处理技术领域，具体的说，是一种基于GAN的图像超分辨率方法。

背景技术

图像的分辨率是图像质量的重要评估标准，体现图像的精细程度，因此，我们往往渴望能得到高分辨率图像，因为更高的分辨率的图像携带着更多的可用信息。传统的提高图像分辨率的方法，主要是由硬件设备完成的，其中最直接的方法就是改进图像采集设备系统中传感器以及光学器件等设备，即采用高精度的成像芯片或光学设备来减小成像的单元尺寸，然而这种方法存在很多的局限性，实现难度大，付出成本高，同时图像分辨率提高有限，因此实用性不高。

发明内容

本发明的目的在于提供一种基于GAN的图像超分辨率方法，用于解决现有技术中难度大，付出成本高，同时图像分辨率提高有限，因此实用性不高的问题。

本发明通过下述技术方案解决上述问题：

一种基于GAN的图像超分辨率方法，包括：

步骤A：采用对抗神经网络构建图像超分辨率重建模型，所述图像超分辨率重建模型由生成器网络和对抗神经网络两部分组成，所述生成器网络用于低分辨率图像的超分辨率重建，所述对抗神经网络用于判别图像是否产生自生成器网络，同时训练所述生成器网络和对抗神经网络,直到达到一个纳什均衡。

进一步地，所述步骤A具备包括：

步骤A1：采用4个残差网络组成的卷积神经网络构建生成器网络，所述生成器网络用于将输入低分辨率图像经过超分辨率后输出高分辨率图像；

步骤A2：基于对抗神经网络构建辨别器网络，所述辨别器网络用于对输入的高分辨率图像进行辨识并输出认为是高分辨率图像的概率；

步骤A3：采用联合损失函数训练生成器网络和辨别器网络。

进一步地，所述联合损失函数由像素级均方误差函数、VGG网络高维特征均方误差函数和对抗损失函数组成。

进一步地，所述步骤A3中采用联合损失函数训练生成器网络和辨别器网络之前还包括：仅使用像素级均方误差作为损失函数来训练生成器网络，得到一个有图像超分辨率性能的网络。

进一步地，所述步骤A3中的像素级均方误差函数、VGG网络高维特征均方误差函数和对抗损失函数采用分别乘以不同系数的方式使三个损失函数的值大小平衡。

由于本发明提出的模型涉及由3个损失函数组成的联合损失函数，若3个损失函数值在训练过程中反复大幅度来回跳动，则很难让联合损失函数的训练得到收敛，特别是在网络模型训练的初期。因此，为了解决网络模型训练起步难的问题，首先，我们仅使用像素级均方误差作为损失函数来训练生成器网络，此时的生成器网络可以通过优化像素均方误差的方式，初始化训练得到一个有图像超分辨率性能的网络，如此一来可以大大避免网络模型训练初期3个损失函数一起训练时出现的反复大幅度来回跳动的现象，也能一定程度上防止生成器网络进入不希望得到的局部最优解现象。经过初始化训练后，再用联合损失函数训练生成器和辨别器网络，并通过给3个不同损失函数乘以一个系数，以让3个损失函数的值的大小相对平衡，达到联合损失函数的3个部分对网络的训练贡献平衡的效果。

进一步地，所述辨别器网络有使用批标准化和ReLU激活函数的第二卷积神经网络组成。

进一步地，所述生成器网络中采用DIVerse 2K resolution image dataset(DIV2K)作为训练模型的数据集。

数据集DIVerse 2K resolution image dataset(DIV2K)作为训练模型的数据集。DIV2K数据集由800张长和宽不固定的图像组成，通常在1000～2000之间，训练时，我们随机从图像中截取384*384的子图像。

本发明与现有技术相比，具有以下优点及有益效果：

(1)本发明中，首先仅使用像素级均方误差作为损失函数来训练生成器网络，此时的生成器可以通过优化像素均方误差的方式，初始化训练得到一个有图像超分辨率性能的网络，大大避免网络模型训练初期3个损失函数一起训练时出现的反复大幅度来回跳动的现象，也能一定程度上防止生成器网络进入不希望得到的局部最优解现象。经过初始化训练后，再用联合损失函数训练生成器网络和辨别器网络，并通过给3个不同损失函数乘以一个系数，以让3个损失函数的值的大小相对平衡，达到联合损失函数的3个部分对网络的训练贡献平衡的效果。

(2)本发明通过优化损失函数让网络模型的训练更加稳定，解决图像超分辨率问题，并且比传统解决图像超分辨率算法具有更好的效果。

附图说明

图1是生成器网络结构示意图；

图2是辨别器网络结构示意图；

图3是基于插值的最近邻插值法和双三次插值法示意图；

图4是基于卷积神经网络的算法示意图；

图5是基于对抗神经网络模型的算法示意图；

图6是本发明基于改进后的损失函数指导训练的图像超分辨率重建模型的示意图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

结合附图1所示，一种基于GAN的图像超分辨率方法，包括：

步骤A：采用对抗神经网络构建图像超分辨率重建模型，，所述图像超分辨率重建模型属于GAN的网络模型，由生成器网络和对抗神经网络两部分组成，，所述生成器网络用于低分辨率图像的超分辨率重建，所述对抗神经网络用于判别图像是否产生自生成器网络，同时训练所述生成器网络和对抗神经网络,直到达到一个纳什均衡。

图一是生成器网络结构示意图，我们的生成器网络中没有使用常见的反卷积层(Deconvolutional Layer)，而是使用子像素卷积(Sub-Pixel Convolution，SPC)，子像素卷积中没有任何的参数，它只是把上一层卷积层的输出重新排列。传统方法需将低分辨率图像上采样至高分辨率图像的尺寸，再使用滤波器进行双线性插值，这种方式容易陷入局部最优且计算量较大。这种方法既取得比之前方法更好的效果，处理速度也比之前的超分辨率方法更快。

进一步地，所述步骤A具备包括：

如图1所示，图一是生成器网络结构示意图，我们的生成器网络中没有使用常见的反卷积层(Deconvolutional Layer)，而是使用子像素卷积(Sub-Pixel Convolution，SPC)，子像素卷积中没有任何的参数，它只是把上一层卷积层的输出重新排列。传统方法需将低分辨率图像上采样至高分辨率图像的尺寸，再使用滤波器进行双线性插值，这种方式容易陷入局部最优且计算量较大。这种方法既取得比之前方法更好的效果，处理速度也比之前的超分辨率方法更快。

步骤A2：基于对抗神经网络构建辨别器网络，所述辨别器网络用于对输入的高分辨率图像进行辨识并输出认为是高分辨率图像的概率；如图2所示，本文的辨别器网络主要由使用批标准化(Batch Normalization)和Leaky ReLU激活函数的卷积神经网络组成。网络直接输入高分辨率图像，最后输出辨别器认为输入为高分辨率图像的概率。辨别器首先把输入的图像通过卷积神经网络编码成高维特征后对其进行辨别，通过数据源的标签指导辨别器网络的训练。

步骤A3：采用联合损失函数训练生成器网络和辨别器网络。

如图3所示，基于插值的最近邻插值法和双三次插值法所输出的高分辨率图像经过放大后较为模糊，尤其是在最近邻插值法输出的结果上，输出的图像马赛克感强，不符合人眼视觉习惯；如图4所示，基于卷积神经网络的算法由于神经网络超强的拟合能力，使得其具有强大的表达能力，输出的结果较基于插值的方法优秀很多，放大后的图像模糊情况也有所减轻；如图5所示，基于对抗神经网络模型的两种算法在图像细节的超分辨率上表现更为突出，而拥有VGG感知损失函数指导训练的本文算法模型，比其它的传统算法模型能“猜”出更多的图像细节，输出的高分辨率图像也更加符合人眼的视觉习惯，特别是在图像细节较为丰富图像上，它的表现出众，如图6所示。

现有技术中在基于对抗神经网络的图像超分辨率算法中，广为使用的损失函数是以均方误差作为损失函数，通过优化均方误差以实现生成的结果达到较高的峰值信噪比和以VGG高维特征均方误差函数为损失函数。以均方误差为损失函数常常导致生成的高分辨率图像缺乏高频信息，若把输出的高分辨率图像放大看，就会发现输出图像依然是十分模糊，缺乏边界信息的。均方误差损失函数l_MSE公式如下：

以VGG高维特征均方误差函数l_VGG为损失函数能让输出图像更为真实，称之为感知损失(Perceptual Loss)。

本发明的损失函数与前两者不同，采用了结合VGG高维特征均方损失函数、像素均方损失函数以及对抗损失函数构成的联合损失函数，除了使用VGG高维特征，本文还采用了对抗神经网络模型来让辨别器网络学会何为“真实”，进一步引导生成器网络输出更加真实的图像。引入判别器来判断生成的图像和高像素原图。由于对GPU内存的限制，我们自己搭建一个参数较小的判别器，网络最后输出图像为真的概率l_D：

l_D＝l_Dis(D_θD(I^HR)，ones)+l_Dis(D_θD(G_θG(I^LR))，zeros)

在本文中，我们使用联合损失函数l_G来训练生成器网络，factor系数暂定为0.9，

l_G＝10^-6×factor×l_VGG+10^-3×l_Gen(D_θD(G_θG(l^LR))，ones)+(1-factor)×l_MSE

实验表明，本文的算法模型可以取得较好的图像超分辨率效果。

由于本发明提出的模型涉及由3个损失函数组成的联合损失函数，若3个损失函数值在训练过程中反复大幅度来回跳动，则很难让联合损失函数的训练得到收敛，特别是在网络模型训练的初期。因此，为了解决网络模型训练起步难的问题，首先，我们仅使用像素级均方误差作为损失函数来训练生成器网络，此时的生成器网络可以通过优化像素均方误差的方式，初始化训练得到一个有图像超分辨率性能的网络，如此一来可以大大避免网络模型训练初期3个损失函数一起训练时出现的反复大幅度来回跳动的现象，也能一定程度上防止生成器网络进入不希望得到的局部最优解现象。经过初始化训练后，再用联合损失函数训练生成器网络和辨别器网络，并通过给3个不同损失函数乘以一个系数，以让3个损失函数的值的大小相对平衡，达到联合损失函数的3个部分对网络的训练贡献平衡的效果。

在初始化生成器网络时只用到了像素级均方误差，使用0.0001的学习率训练迭代100次；在对抗训练时，使用0.0001的学习率训练迭代300次，然后把学习率乘以学习率衰减系数0.1，把学习率降至0.00001后再训练迭代300次。

训练时，模型输入定义为[batch_size，96，96，3]，输出定义为[batch_size，384，384，3]，在本文中，我们选择的batch_size为16。使用VGG高维特征均方误差函数时，由于VGG是基于输入224×224的图像训练的，因此，我们需要将384×384的图像缩小为224×224的分辨率后再输入进VGG网络中。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims

1.一种基于GAN的图像超分辨率方法，其特征在于，包括：

2.根据权利要求1所述的一种基于GAN的图像超分辨率方法，其特征在于，所述步骤A具备包括：

步骤A3：采用联合损失函数训练生成器网络和辨别器网络。

3.根据权利要求2所述的一种基于GAN的图像超分辨率方法，其特征在于，所述联合损失函数由像素级均方误差函数、VGG网络高维特征均方误差函数和对抗损失函数组成。

4.根据权利要求3所述的一种基于GAN的图像超分辨率方法，其特征在于，所述步骤A3中采用联合损失函数训练生成器网络和辨别器网络之前还包括：仅使用像素级均方误差作为损失函数来训练生成器网络，得到一个有图像超分辨率性能的网络。

5.根据权利要求4所述的一种基于GAN的图像超分辨率方法，其特征在于，所述步骤A3中的像素级均方误差函数、VGG网络高维特征均方误差函数和对抗损失函数采用分别乘以不同系数的方式使三个损失函数的值大小平衡。

6.根据权利要求5所述的一种基于GAN的图像超分辨率方法，其特征在于，所述辨别器网络有使用批标准化和ReLU激活函数的第二卷积神经网络组成。

7.根据权利要求5所述的一种基于GAN的图像超分辨率方法，其特征在于，所述生成器网络中采用DIVerse 2K resolution image dataset(DIV2K)作为训练模型的数据集。