CN109509152A - 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于特征融合的生成对抗网络的图像超分辨率重建方法，其步骤为：预处理ImageNet数据集，得到高、低分辨率图像对应的重建数据集；构建用于训练的生成对抗网络模型，在该模型中引入插值重建模块，构建用于多特征融合的生成网络和感知网络；将得到的重建数据集依次输入生成对抗网络中进行模型训练；将待处理的图像进行归一化处理得到低分辨率图像，输入到训练完毕的生成网络，得到重建后的高分辨率图像。本发明通过利用递归残差网络提取边缘和纹理等多种特征，突出生成图像的边缘和纹理信息，使得重建图像更加清晰，利用插值重建模块作为中介实现残差判别，突出重建的和真实的高分辨率图像之间的差异并降低判别网络的计算复杂度，利用VGG网络融合多种特征计算生成损失函数，使重建后的图像效果更佳，更符合人眼的观察模式。

Description

一种基于特征融合的生成对抗网络的图像超分辨率重建方法

技术领域

本发明涉及图像重建方法领域，尤其涉及一种基于特征融合的生成对抗网络的图像重建方法。

背景技术

超分辨率重建(SR)是一种从低分辨率图像中恢复出对应的高分辨率图像的技术。数字图像的采集和处理过程不可避免地会削弱图像的分辨率，从而影响多媒体的应用。因此，如何将质量较低、分辨率有限的图像转换为质量较高、分辨率较高的图像一直是涉及社会生产和国防军事领域的热点研究问题。

目前超分辨率重建算法主要可分为三大类：基于插值重建的方法，基于重建的方法和基于学习的方法。基于插值重建的方法简单，速度快，但准确率较差。基于重建的方法利用低分辨率图像作为约束条件，利用图像的先验知识进行还原。基于学习的方法是直接学习高低分辨率图像之间的映射关系，其中深度学习的方法通过神经网络直接学习高低分辨率图像之间端到端的映射函数。

在先技术“基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法”(申请号：CN201710347472.8)利用生成对抗网络和亚像素卷积层进行人脸超分辨率重建，简单利用生成对抗网络的对抗结构，使用原始的交叉熵损失函数将数据集中的低分辨率图像送入生成网络生成高分辨率图像，再将生成的高分辨率图像和真实的高分辨率图像送入判别网络中，判别生成效果，不断进行训练，调整参数。其存在的主要问题是重建图像边缘细节信息不足，最终图像的表现效果不佳。

发明内容

为了解决上述技术问题本发明提出了一种基于特征融合的生成对抗网络的图像超分辨率重建方法。

本发明的技术方案是这样实现的：

一种基于特征融合的生成对抗网络的图像超分辨率重建方法，包括以下步骤：

A、预处理ImageNet数据集，得到高、低分辨率图像对应的重建数据集；

B、构建用于训练的生成对抗网络模型，在该模型中引入插值重建模块，构建用于多特征融合的生成网络和感知网络；

C、将步骤A得到的重建数据集依次输入生成对抗网络中进行模型训练；

D、将待处理的图像进行归一化处理得到低分辨率图像，输入到训练完毕的生成网络，得到重建后的高分辨率图像。

进一步的，步骤A中所述的重建数据集的制作方法为：

A1、获取ImageNet数据集，随机挑选部分图像作为训练数据集；

A2、对获得的训练数据集中的所有图像进行归一化处理得到尺寸一致的高分辨率图像数据集；

A3、对高分辨率图像数据集进行双线性插值处理，下采样得到低分辨率图像。

更进一步的，步骤A3中所述高分辨率图像与低分辨率图像的实际张量大小分别为rH*rW*C和H*W*C，其中r为降采样比例，具体缩小比例为2-5倍。

更进一步的，所述降采样比例r为4，即为4倍缩小比例。

进一步的，步骤B中所述用于训练的生成对抗网络模型的构建方法为：

B1、使用ResNet构建生成网络，利用分支结构提取边缘、纹理的特征信息，进行多特征的融合；

B2、构建感知网络，融合多种特征，并将多个损失函数进行整合；

B3、使用卷积层和全连接层构建判别网络；

B4、添加插值重建模块，将得到的残差图像送入判别网络；

B5、生成对抗网络，使用基于Wasserstein距离的对抗损失函数。

进一步的，步骤C中所述模型训练的步骤为：

C1、利用TensorFlow深度学习平台，优化函数为Adam，基础学习率设置为10e-4，学习策略step为100000，gamma为0.1，采用GPU进行加速训练；

C2、预训练，利用步骤A1处理后剩余的ImageNet数据集作为预训练数据集，预训练生成对抗模型中的感知网络，不断迭代使得感知网络具备识别能力，预训练完毕后，感知网络停止更新；

C3、正式训练，将训练集中成对的高、低分辨率图像作为样本输入，将低分辨率图像输入生成网络中，得到重建后的高分辨率图像，将低分辨率图像送入插值模块，得到插值后的高分辨率图像；将重建后的高分辨率图像和真实的高分辨率图像送入感知网络，得到感知损失，最终得到生成损失；将重建后得到的高分辨率图像和真实的高分辨率图像分别与插值得到的高分辨率图像进行差值处理，得到两幅高分辨率差值图像；将两幅高分辨率差值图像送入判别网络中，得到判别信息，并将判别信息反向传播至生成网络，指导其进行训练。

本发明的有益效果在于：

1.通过构建生成网络和判别网络组成生成对抗网络，利用插值重建模块作为中介实现残差判别，突出生成的和真实的高分辨率图像之间的差异并降低判别网络的计算复杂度。

2.利用递归残差网络提取边缘和纹理等多种特征，突出生成图像的边缘和纹理信息，使得重建图像更加清晰。

3.引入感知损失提高了生成效果。

4.利用VGG网络融合多种特征计算生成损失函数，重建后的图像边缘和细节信息更加清晰，重建效果更佳，更符合人眼的观察模式。

附图说明

图1是本发明所述图像超分辨率重建方法的工作框图。

图2是本发明所述图像超分辨率重建方法的生成网络结构图

具体实施方式

下面结合附图详述本发明具体实施方式：

参考1、2所示，一种基于特征融合的生成对抗网络的图像超分辨率重建方法，包括以下步骤：

A、预处理ImageNet数据集，得到高、低分辨率图像对应的重建数据集；

B、构建用于训练的生成对抗网络模型，在该模型中引入插值重建模块，构建用于多特征融合的生成网络和感知网络；

C、将步骤A得到的重建数据集依次输入生成对抗网络中进行模型训练；

D、将待处理的图像进行归一化处理得到低分辨率图像，输入到训练完毕的生成网络，得到重建后的高分辨率图像。

进一步的，步骤A中所述的重建数据集的制作方法为：

A1、获取ImageNet数据集，随机挑选部分图像作为训练数据集；

A2、对获得的训练数据集中的所有图像进行归一化处理得到尺寸一致的高分辨率图像数据集；

A3、对高分辨率图像数据集进行双线性插值处理，下采样得到低分辨率图像。

更进一步的，步骤A3中所述高分辨率图像与低分辨率图像的实际张量大小分别为rH*rW*C和H*W*C，其中r为降采样比例，具体缩小比例为2-5倍,优选的，所述降采样比例r为4，即为4倍缩小比例。

进一步的，步骤B中所述用于训练的生成对抗网络模型的构建方法为：

B1、使用ResNet(残差网络)构建生成网络，利用分支结构提取边缘、纹理的特征信息，进行多特征的融合；

B2、构建感知网络，融合多种特征，并将多个损失函数进行整合；

B3、使用卷积层和全连接层构建判别网络；

B4、添加插值重建模块，将得到的残差图像送入判别网络；

B5、生成对抗网络，使用基于Wasserstein距离的对抗损失函数。

上述网络模型构建方法中使用ResNet的残差卷积块搭建生成网络，每一层输出图像大小与输入图像的大小相等。所述残差块由两组卷积层、BN层、激活层组成，其中激活函数为PReLU函数，其中第二组的激活层实际为元素操作层。将低分辨率图像的边缘和纹理特征作为先验信息，利用递归残差网络的特点在残差分支上提取边缘和纹理等特征，最后将不同的特征进行组合并通过亚像素卷积层进行重建，其中两组亚像素卷积层用于提升分辨率，将一个大小为H*W*r^2C张量变换为rH*rW*C大小的张量。搭建由卷积层、BN层、LReLU激活层组成的判别网络，最终通过全连接层和sigmoid激活函数得到判别损失。

在判别网络和生成网络中引入插值重建模块，将低分辨率图像输入插值重建模块中，得到经过简单插值操作得到的高分辨率图像。将经过生成网络得到的高分辨率图像与真实的高分辨率图像分别与通过插值操作得到的高分辨率图像进行差值处理，得到两幅高分辨率差值图；利用残差网络改进VGG网络作为提取感知损失的感知网络，增加识别边缘细节特征的分支。将重建后的高分辨率图像和真实的高分辨率图像送入感知网络，将上述步骤得到的两幅高分辨率差值图像送入判别网络中。前者得到生成损失、边缘纹理损失和感知损失，最终得到生成损失。后者得到判别损失信息，并利用判别损失信息指导生成网络进行训练。内容损失是生成的和真实的高分辨率图像之间的MSE损失，感知损失是两者通过感知网络得到的MSE损失，边缘纹理损失是两者通过感知网络得到的。

利用感知网络的前几层特征图计算内容损失，中后几层卷积特征图计算边缘纹理损失，最后一层计算感知损失，将三种损失融合在感知网络中进行计算。

损失函数主要包括生成损失和判别损失，生成损失包括内容损失、感知损失、对抗损失、边缘纹理损失；判别损失为两幅高分辨率差值图通过判别网络得到的差异损失。

生成网络的内容损失为生成的高分辨率图像和真实的高分辨率图像之间的MSE损失，公式为：

感知损失为生成的高分辨率图像和真实的高分辨率图像通过感知网络并计算两特征图像之间的差异损失，公式为：

对抗损失利用Wasserstein距离计算对抗的损失，公式为：

进一步的，步骤C中所述模型训练的步骤为：

C1、利用TensorFlow深度学习平台，优化函数为Adam，基础学习率设置为10e-4，学习策略step为100000，gamma为0.1，采用GPU进行加速训练；

C2、预训练，利用步骤A1处理后剩余的ImageNet数据集作为预训练数据集，预训练生成对抗模型中的感知网络，不断迭代使得感知网络具备识别能力，预训练完毕后，感知网络停止更新；

C3、正式训练，将训练集中成对的高、低分辨率图像作为样本输入，将低分辨率图像输入生成网络中，得到重建后的高分辨率图像，将低分辨率图像送入插值模块，得到插值后的高分辨率图像；将重建后的高分辨率图像和真实的高分辨率图像送入感知网络，得到感知损失，最终得到生成损失；将重建后得到的高分辨率图像和真实的高分辨率图像分别与插值得到的高分辨率图像进行差值处理，得到两幅高分辨率差值图像；将两幅高分辨率差值图像送入判别网络中，得到判别信息，并将判别信息反向传播至生成网络，指导其进行训练。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于特征融合的生成对抗网络的图像超分辨率重建方法，其特征在于，包括以下步骤：

A、预处理ImageNet数据集，得到高、低分辨率图像对应的重建数据集；

B、构建用于训练的生成对抗网络模型，在该模型中引入插值重建模块，构建用于多特征融合的生成网络和感知网络；

C、将步骤A得到的重建数据集依次输入生成对抗网络中进行模型训练；

D、将待处理的图像进行归一化处理得到低分辨率图像，输入到训练完毕的生成网络，得到重建后的高分辨率图像。

2.根据权利要求1所述的方法，其特征在于：步骤A中所述的重建数据集的制作方法为：

A1、获取ImageNet数据集，随机挑选部分图像作为训练数据集；

A2、对获得的训练数据集中的所有图像进行归一化处理得到尺寸一致的高分辨率图像数据集；

A3、对高分辨率图像数据集进行双线性插值处理，下采样得到低分辨率图像。

3.根据权利要求2所述的方法，其特征在于：步骤A3中所述高分辨率图像与低分辨率图像的实际张量大小分别为rH*rW*C和H*W*C，其中r为降采样比例，具体缩小比例为2-5倍。

4.根据权利要求3所述的方法，其特征在于:所述降采样比例r为4，即为4倍缩小比例。

5.根据权利要求1所述的方法，其特征在于，步骤B中所述用于训练的生成对抗网络模型的构建方法为：

B1、使用ResNet构建生成网络，利用分支结构提取边缘、纹理的特征信息，进行多特征的融合；

B2、构建感知网络，融合多种特征，并将多个损失函数进行整合；

B3、使用卷积层和全连接层构建判别网络；

B4、添加插值重建模块，将得到的残差图像送入判别网络；

B5、生成对抗网络，使用基于Wasserstein距离的对抗损失函数。

6.根据权利要求1所述的方法，其特征在于，步骤C中所述模型训练的步骤为：

C1、利用TensorFlow深度学习平台，优化函数为Adam，基础学习率设置为10e-4，学习策略step为100000，gamma为0.1，采用GPU进行加速训练；

C2、预训练，利用步骤A1处理后剩余的ImageNet数据集作为预训练数据集，预训练生成对抗模型中的感知网络，不断迭代使得感知网络具备识别能力，预训练完毕后，感知网络停止更新；

C3、正式训练，将训练集中成对的高、低分辨率图像作为样本输入，将低分辨率图像输入生成网络中，得到重建后的高分辨率图像，将低分辨率图像送入插值模块，得到插值后的高分辨率图像；将重建后的高分辨率图像和真实的高分辨率图像送入感知网络，得到感知损失，最终得到生成损失；将重建后得到的高分辨率图像和真实的高分辨率图像分别与插值得到的高分辨率图像进行差值处理，得到两幅高分辨率差值图像；将两幅高分辨率差值图像送入判别网络中，得到判别信息，并将判别信息反向传播至生成网络，指导其进行训练。