CN110490804A - 一种基于生成对抗网络的生成超分辨图像的方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的生成超分辨图像的方法，首先选取高分辨率图像数据集和低分辨率图像数据集作为最初训练样本；然后将选取的高分辨率图像数据集和低分辨率图像数据集输入至残差网络中指导生成配对数据集；最后将得到的配对数据集作为输入利用损失函数进行训练产生的对抗网络，并生成超分辨率图像；提出了一个两阶段的过程，使用高到低网络来学习如何降级只需要未配对的高分辨率和低分辨率图像的高分辨率图像，并使用该网络的输出来训练低到高网络图像超高分辨率，为了有效地提高现实世界的低分辨率图像的质量，对图像处理与显示的诸多应用领域具有重要意义。

Description

一种基于生成对抗网络的生成超分辨图像的方法

技术领域

本发明属于图像处理技术领域，涉及一种基于生成对抗网络的生成超分辨图像的方法。

背景技术

图像超分辨率是指对通过一幅或者多幅信息互补的低分辨率图像进行处理，重构出一幅高分辨率图像的技术,被广泛的应用在医学影像、视频监控、遥感成像等领域。

图像超分辨主要分为三种类型：(1)基于插值的方法：含有最近邻插值和双三次插值法，相比较于双三次插值法，最近邻插值运算复杂度较小，但是图像边缘的平滑度低于双三次插值法，两者相同的优点是算法简单易于实现，缺点都是得到的超分辨率图像清晰度有限；(2)基于重建的方法：目的在于重建退化图像中丢失的高频信息，Yang等人提出的迭代反向投影算法虽然计算量少并且简单，但是无法处理图像中的复杂结构；(3)基于学习算法：主要思想是通过低分辨率图像和高分辨率图像之间存在的一些关系来学习丢失在低分辨率图像中的高频细节，大量实验表明了它强大的图像超分辨率能力，但是对于不合适的训练样本，会在合成图像中产生明显的伪影和不必要的噪声，比如：卷积神经网络(CNNs)、稀疏表示等。生成对抗网络(GAN)是Goodfellow等在2014年提出的一种生成模型，不同于传统生成模型，其在网络结构上除了生成网络外，还包含一个判别网络，生成网络与判别网络之间是一种对抗的关系，对抗的思想是博弈双方在平等的对局中各自利用对方的策略变换自己的对抗策略，以此达到获胜目的。

GAN目前在图像和视觉领域得到了广泛的研究和应用，已经可以生成数字和人脸等物体对象，构成各种逼真的室内外场景，从分割图像恢复原图像，给黑白图像上色，从物体轮廓恢复物体图像，从低分辨率图像生成高分辨率图像等；此外，GAN已经开始被应用到语音和语言处理、电脑病毒监测、棋类比赛程序等问题的研究中。

目前超分辨重建一个主要的问题是聚焦在真实世界图像的超分辨重建问题上。传统的SR的方法获取LR的手段是人工获取，比如通过双线性下采样或者是先通过一个模糊核然后在进行双线性下采样。但是真实世界的图像往往具有复杂的退化模型，比如运动、去焦、压缩、传感器噪声等复杂的情况。所以目前一些主流的SR方法可能在人造的LR图像上重建效果很好，但是在真实世界图像上表现不一定很好，以前针对此问题的绝大多数工作都集中在如何提高低分辨率图像的分辨率上，(或少数情况下通过模糊后进行向下采样)人为生成的。结果表明，该方法在应用于现实世界的低分辨率、低质量图像时，不能产生良好的效果。为了解决这个问题，提出了一个两阶段的过程，首先训练高到低生成对抗网络(GAN)，以学习如何去坡度和向下采样高分辨率图像,在训练中,只需要未配对的高和低分辨率图像。一旦实现此目标，此网络的输出将用于训练低到高分辨率图像，以便使用此时间配对的低分辨率和高分辨率图像实现图像超高分辨率，我们的主要结果是,该网络现在可用于有效地降低现实世界的低分辨率图像的质量，我们已应用建议的管道解决面部超分辨率问题，其中我们报告比基线和先前工作有较大改进,尽管建议的方法可能适用于其他对象类别。

发明内容

本发明的目的是提供一种基于生成对抗网络的生成超分辨图像的方法，利用该方法可以有效地提高真实的低分辨率图像的质量，解决了现有的对图像退化过程进行建模从而无法恢复真实的超分辨率图像自然问题。

本发明的技术方案是，一种基于生成对抗网络的生成超分辨图像的方法，具体按以下步骤实施：

步骤1，选取高分辨率图像数据集和低分辨率图像数据集作为最初训练样本；

步骤2，将经步骤1选取的高分辨率图像数据集和低分辨率图像数据集输入至残差网络中指导生成配对数据集；

步骤3，将经步骤2得到的配对数据集作为输入利用损失函数进行训练产生的对抗网络，并生成超分辨率图像。

本发明的特点还在于：

其中步骤1具体为：选取没有匹配关系的Celeb-A、AFLW、LS3D-W、VGGFace2组成的高分辨率图像数据集和低分辨率图像数据集作为最初训练样本；

其中步骤2具体包括将经步骤1选取的不匹配的高分辨率图像和低分辨率图像训练一种从高到低的生成对抗网络：

首先在由普通的残差网络堆叠而成的高分辨率图像—低分辨率图像的网络第一层输入高分辨率图像和噪声矢量的连接，所述噪音矢量被投影，然后使用完全连接的层重新整形，得到配对的数据集；

其中高分辨率图像—低分辨率图像的网络结构具体包括编码器解码器结构、网络判别器和网络损失函数；

其中编码器解码器结构包括：由12个剩余块组成，平均分布在6个组中，使用池层将输入数据集中图像分辨率下降4次，从64×64px到4×4px，然后使用像素随机层将输入数据集中图像分辨率增加两次到16×16；

其中网络判别器为基于残差网络的体系结构，由6个残余块组成，后跟完全连接层；

其中网络损失函数具体为：高分辨率图像-低分辨率图像网络的生成器和判别器经过训练，总损失是生成对抗损失I_GAN和像素损失I_MSE的组合，对于I_GAN，使用“未配对”训练设置，特别是使用低分辨率图像数据集中的真实图像，强制生成器的输出图像被真实的噪音所污染，通过平均池层后，在生成器的输出和高分辨率图像之间使用了I_MSE，以强制生成器的输出具有类似的内容，所述生成器的输入为高分辨率图像数据集，从而训练产生配对数据集；

其中步骤3具体为：将步骤2得到的配对数据集作为输入，使用包含生成对抗损失I_GAN和像素损失I_MSE的损失函数训练产生下一个低分辨率图像-高分辨率图像的生成对抗网络，并生成超分辨率图像；

其中低分辨率图像-高分辨率图像的网络结构具体包括：

低分辨率图像-高分辨率图像的网络生成器：生成器接受步骤2的输出作为输入，分为3组，每个组都有一个跳过连接，用于连接组内的第一个和最后一个块，使用双线性插值，分辨率增加4倍，从16×16px到64×64px；网络损失函数；

低分辨率图像-高分辨率图像的网络损失函数：低分辨率图像-高分辨率图像的网络损失与高分辨率图像-低分辨率图像的网络损失类似，从低到高网络的生成器和判别器网络经过训练，总损耗是I_GAN损失和I_MSE损失的组合，在损失函数的指导训练下，训练完全遵循“配对”设置，对于两个损失，使用高分辨率图像数据集中的相应图像，最后生成超分辨率图像；

其中损失函数定义为：

I＝αI_MSE+βI_GAN (1)

式中，α是I_MSE的权重，β是I_GAN的权重，βI_GAN＞αI_MSE；

生成对抗损失I_GAN为：

式中，Pr是数据分布，pg是由x＝G(x)定义的生成器G分布，对于高到低网络，Pr表示低分辨率图像的数据集；

让判别器的评估指标更加规范化，判别器D的权重W被规范化：W_SN(W)＝W/σ(W)；

像素损失I_MSE将预测与真实图像之间的距离最小化，定义如下：

式中W、H表示生成的输出图像的大小，而F地面真实图片是将相应的原始高分辨率图像映射到输出分辨率的函数，对于高到低网络此函数使用平均池层实现，而对于低到高网络，此函数只是标识函数。

本发明的有益效果是：

通过本发明提供的一种基于生成对抗网络的生成超分辨图像的方法，提出了一个两阶段的过程，使用高到低网络来学习如何降级只需要未配对的高分辨率和低分辨率图像的高分辨率图像，并使用该网络的输出来训练低到高网络图像超高分辨率，为了有效地提高现实世界的低分辨率图像的质量，对图像处理与显示的诸多应用领域具有重要意义。

附图说明

图1是本发明的一种基于生成对抗网络的生成超分辨图像的方法中各种噪声类型可视化图；

图2是本发明的一种基于生成对抗网络的生成超分辨图像的方法中High-to-low网络生成器结构图；

图3是本发明的一种基于生成对抗网络的生成超分辨图像的方法中low-to-High网络生成器结构图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明所采用的技术方案是，一种基于生成对抗网络的生成超分辨图像的方法，具体包括如下步骤:

步骤1，选择没有对应关系的Celeb-A、AFLW、LS3D-W、VGGFace2组成的高分辨率图像数据集和低分辨率图像数据集Widerface作为最初训练样本：

通过组合一系列数据集创建了(182，866)个面的数据集：从Celeb-A(主要是正面、无遮挡、具有良好的照明)中随机选择的60000个面的子集，整个AFLW(各种面孔超过20000个姿势和表情)，LS3D-W(在姿势、照明、表情和遮挡方面变化较大的面部)的子集，以及VGGFace2的子集(每个身份10张大型姿势图像，9131个标识)；

步骤2，使用未配对的低分辨率图像I_LR和高分辨率图像I_HR输入到由普通的残差网络(ResNets)堆叠而成的高分辨率图像—低分辨率图像(High-to-low)的网络中，在损失函数指导下生成配对的数据集，这些图像可用于有效模拟图像退化过程：

在进行真实图像超分辨率时，需要考虑大量滋扰因素，包括模糊(例如运动或去焦)、压缩伪影、颜色和传感器噪声，这些滋扰因素通常是未知的(例如运动模糊)，有时难以有效地建模(例如，多重退化的情况)，如果真正的图像降级模型与假定和建模的模型不同,这不可避免地会导致测试期间性能不佳，为了减轻这种情况，使用高到低生成对抗网络(GAN)来学习图像退化过程，而不是试图对图像退化过程进行建模；

首先用步骤1中的不匹配的高分辨率图和低分辨率图训练出一种从高到低(High-to-low)的生成对抗网络，首先在由普通的残差网络(ResNets)堆叠而成的高分辨率图像—低分辨率图像(High-to-low)的网络第一层输入的是I_HR图像和噪声矢量连接作为输入，噪声矢量被投影，然后使用完全连接的层重新整形，以便具有与一个图像通道相同的大小，这是因为目前的问题是一对多的，即一个I_HR图像可以有多个对应的I_LR图像，因为它可能受到来自不同来源的多种类型的噪声的影响，并以不同的数量和方式应用，我们通过将上面提到的噪音矢量与I_HR图像相连接来建立模型，然后在该模型中指导训练生成匹配数据集；

High-to-low网络结构包括：

High-to-low网络具有编码器解码器结构：由12个剩余块组成，平均分布在6个组中，使用池层将分辨率下降4次，从64×64px到4×4px，然后使用像素随机层将分辨率增加两次到16×16；

High-to-low网络判别器：基于ResNets的体系结构，由6个残余块(无批处理规范化)组成，后跟完全连接层，由于High-to-low网络判别器的输入分辨率为16×16，因此仅使用最大池时，最后两个模块的分辨率将被删除；

High-to-low网络损失函数：High-to-low网络的生成器和判别器经过训练，总损失是GAN损失I_GAN和像素损失I_MSE的组合，对于GAN损失，使用“未配对”训练设置，特别是使用I_LR数据集中的真实图像，即来自Widerface的真实I_LR图像，以此强制生成器(其输入来自I_HR数据集的图像)的输出图像被真实的噪音所污染，还在通过平均池层后(以便图像分辨率匹配)，在生成器的输出和I_HR图像之间使用了像素损耗I_MSE，以强制生成器的输出具有类似的内容(即人脸标识、姿势和表达式)，步骤2生成的配对图将用于训练产生下一个从低分辨率图到高分辨率图(low-to-High)的生成网络(GAN)；

图1展示了本发明中各种噪声类型可视化：显示了一些可视化示例，显示了各种噪声类型，针对不同输入噪声矢量生成的不同低分辨率样本的示例，例如照明、模糊、颜色和jpeg伪影；

步骤3，将步骤2得到的配对数据集作为输入，使用包含生成对抗损失I_GAN和像素损失I_MSE的损失函数训练产生下一个低分辨率图像IL_R-高分辨率图像I_HR(low-to-High)的生成对抗网络(GAN)，并生成超分辨率图像I_s：

low-to-High网络生成器接受High-to-low网络的输出作为输入，low-to-High网络分为3组：每个组都有一个跳过连接，用于连接组内的第一个和最后一个块，使用双线性插值，分辨率增加4倍，从16×16px到64×64px，由于在前一阶段已经利用高到低输入中使用的噪声矢量获得样本分集，因此在此阶段没有使用额外的噪声矢量；

low-to-High网络损失与High-to-low网络类似，low-to-High网络的生成器和判别器网络经过训练，总损耗是I_GAN损失和I_MSE损失的组合，在损失函数的指导训练下，训练完全遵循“配对”设置，对于两个损失，对于每个输入图像，使用I_HR数据集中的相应图像，其中I_GAN它对于消除噪声输入I_LR图像起着主要作用，I_MSE损失强制内容保留；

对于每个网络，我们使用的损耗即损失函数定义为：

I＝αI_MSE+βI_GAN (1)

式中，α是I_MSE的权重，β是I_GAN的权重，βI_GAN＞αI_MSE；

生成对抗损失I_GAN为：

式中，Pr是数据分布，pg是由x＝G(x)定义的生成器G分布，对于高到低网络，Pr表示低分辨率图像的数据集；

让判别器的评估指标更加规范化，判别器D的权重W被规范化：W_SN(W)＝W/σ(W)；

像素损失I_MSE将预测与真实图像之间的距离最小化，定义如下：

式中W、H表示生成的输出图像的大小，而F(地面真实图片)是将相应的原始高分辨率图像映射到输出分辨率的函数，对于高到低网络此函数使用平均池层实现，而对于低到高网络，此函数只是标识函数；

图2和图3展示了本发明超分辨率方法中不同的生成器体系结构。

Claims (10)

1.一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，具体按以下步骤实施：

步骤1，选取高分辨率图像数据集和低分辨率图像数据集作为最初训练样本；

步骤2，将经步骤1选取的高分辨率图像数据集和低分辨率图像数据集输入至残差网络中指导生成配对数据集；

步骤3，将经步骤2得到的配对数据集作为输入利用损失函数进行训练产生的对抗网络，并生成超分辨率图像。

2.根据权利要求1所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述步骤1具体为：选取没有匹配关系的Celeb-A、AFLW、LS3D-W、VGGFace2组成的高分辨率图像数据集和低分辨率图像数据集作为最初训练样本。

3.根据权利要求1所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述步骤2具体包括将经步骤1选取的不匹配的高分辨率图像和低分辨率图像训练一种从高到低的生成对抗网络：

首先在由普通的残差网络堆叠而成的高分辨率图像—低分辨率图像的网络第一层输入高分辨率图像和噪声矢量的连接，所述噪音矢量被投影，然后使用完全连接的层重新整形，得到配对的数据集。

4.根据权利要求3所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述高分辨率图像—低分辨率图像的网络结构具体包括编码器解码器结构、网络判别器和网络损失函数。

5.根据权利要求4所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述编码器解码器结构包括：由12个剩余块组成，平均分布在6个组中，使用池层将输入数据集中图像分辨率下降4次，从64×64px到4×4px，然后使用像素随机层将输入数据集中图像分辨率增加两次到16×16。

6.根据权利要求4所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述网络判别器为基于残差网络的体系结构，由6个残余块组成，后跟完全连接层。

7.根据权利要求4所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述网络损失函数具体为：高分辨率图像—低分辨率图像网络的生成器和判别器经过训练，总损失是生成对抗损失I_GAN和像素损失I_MSE的组合，对于I_GAN，使用“未配对”训练设置，特别是使用低分辨率图像数据集中的真实图像，强制生成器的输出图像被真实的噪音所污染，通过平均池层后，在生成器的输出和高分辨率图像之间使用了I_MSE，以强制生成器的输出具有类似的内容，所述生成器的输入为高分辨率图像数据集，从而训练产生配对数据集。

8.根据权利要求1所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述步骤3具体为：将步骤2得到的配对数据集作为输入，使用包含生成对抗损失I_GAN和像素损失I_MSE的损失函数训练产生下一个低分辨率图像—高分辨率图像的生成对抗网络，并生成超分辨率图像。

9.根据权利要求8所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述低分辨率图像—高分辨率图像的网络结构具体包括：

低分辨率图像—高分辨率图像的网络生成器：生成器接受步骤2的输出作为输入，分为3组，每个组都有一个跳过连接，用于连接组内的第一个和最后一个块，使用双线性插值，分辨率增加4倍，从16×16px到64×64px；网络损失函数

低分辨率图像—高分辨率图像的网络损失函数：低分辨率图像—高分辨率图像的网络损失与高分辨率图像—低分辨率图像的网络损失类似，从低到高网络的生成器和判别器网络经过训练，总损耗是I_GAN损失和I_MSE损失的组合，在损失函数的指导训练下，训练完全遵循“配对”设置，对于两个损失，使用高分辨率图像数据集中的相应图像，最后生成超分辨率图像。

10.根据权利要求9所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述损失函数定义为：

I＝αI_MSE+βI_GAN (1)

式中，α是I_MSE的权重，β是I_GAN的权重，βI_GAN＞αI_MSE；

生成对抗损失I_GAN为：

式中，Pr是数据分布，Pg是由x＝G(x)定义的生成器G分布，对于高到低网络，Pr表示低分辨率图像的数据集；

判别器D的权重W被规范化：W_SN(W)＝W/σ(W)；

像素损失I_MSE将预测与真实图像之间的距离最小化，定义如下：

式中W、H表示生成的输出图像的大小，而F地面真实图片是将相应的原始高分辨率图像映射到输出分辨率的函数，对于高到低网络此函数使用平均池层实现，而对于低到高网络，此函数只是标识函数。