CN109685716B - 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法，包括对ImageNet数据集进行预处理，制作低分辨率图像与高分辨率图像一一对应的重建数据集；构建用于训练的生成对抗网络模型，在该模型中引入高斯编码反馈网络；将步骤A中得到的数据集依次输入到生成对抗网络中进行模型训练；将待处理的低分辨率图像输入训练好的生成对抗网络中的生成网络，得到高分辨率图像。通过构建生成网络和判别网络组成生成对抗网络，在生成网络和判别网络之间加入高斯编码反馈回路，为生成网络增加更多信息指导其进行训练，并通过改进亚像素卷积层结构，增加重要特征，减少无用信息，提升了重建效果。

Description

一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建 方法

技术领域

本发明涉及图像重建方法领域，尤其涉及一种基于高斯编码反馈生成对抗网络的图像重建方法。

背景技术

超分辨率重建(SR)是从给定的低分辨率图像中恢复出对应的高分辨率图像的技术。随着科学技术的发展，人们对于高分辨率图像及视频的需求逐渐增长，但受限于采集设备和环境，采集到的图像分辨率较低，无法用于实际应用。由于很多应用及领域对于高分辨率图像的迫切需要和更改硬件系统所需的高昂成本，使得利用算法提升图像分辨率成为研究热点。近年来超分辨率重建技术在医学成像、视频监控、军事遥感处理等领域有广泛的研究和应用。

基于单幅图像的超分辨率重建是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应，因此在求解高分辨率图像时通常需要加一个先验知识进行规范化约束。目前超分辨率重建算法主要可分为三大类：基于插值的方法，基于先验的方法和基于学习的方法。基于插值的方法计算简单、速度快，但准确率较差，重建后的图像缺乏高频细节信息。基于先验的方法主要是利用低分辨率图像作为约束，结合图像的先验知识进行还原。基于学习的方法是学习低分辨率和高分辨率图像之间的映射关系。其中基于深度学习的方法通过神经网络直接学习低分辨率和高分辨率图像之间端到端的映射函数。

在先技术“基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法”(申请号：CN201710347472.8)利用生成对抗网络和亚像素卷积层进行人脸超分辨率重建，简单利用生成对抗网络的对抗结构，使用原始的交叉熵损失函数将数据集中的低分辨率图像送入生成网络生成高分辨率图像，再将生成的高分辨率图像和真实的高分辨率图像送入判别网络中，判别生成效果，不断进行训练，调整参数。其存在的主要问题是重建图像边缘细节信息不足，最终图像的表现效果不佳。

发明内容

为了解决上述技术问题本发明提出了一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法。

本发明的技术方案是这样实现的：

一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法，包括以下步骤：

A、对ImageNet数据集进行预处理，制作低分辨率图像与高分辨率图像一一对应的重建数据集；

B、构建用于训练的生成对抗网络模型，在该模型中引入高斯编码反馈网络；

C、将步骤A中得到的数据集依次输入到生成对抗网络中进行模型训练；

D、将待处理的低分辨率图像输入训练好的生成对抗网络中的生成网络中得到高分辨率图像。

进一步的，步骤A中所述数据集的制作步骤为：

A1、获取ImageNet数据集，随机挑选部分图像作为该ImageNet数据集；

A2、对获得的ImageNet数据集中的所有图像进行归一化处理得到尺寸一致的高分辨率图像数据集；

A3、对高分辨率图像数据集进行双线性插值处理，下采样得到低分辨率图像。

进一步的，步骤A3中所述高分辨率图像与低分辨率图像的实际张量大小分别为rH*rW*C和H*W*C，其中r为降采样比例，具体缩小比例为2-5倍。

进一步的，所述降采样比例r为4，即为4倍缩小比例。

进一步的，步骤B中所述用于训练的生成对抗网络模型的构建方法为：

B1、使用ResNet网络构建生成网络，并改进亚像素卷积层提高映射效果；

B2、使用VGG网络提取感知损失；

B3、使用多个卷积层和全连接层构建判别网络；

B4、在判别网络中添加高斯编码反馈网络，将通过判别网络得到的特征图的编码信息传递给生成网络；

B5、生成对抗网络使用基于Wasserstein距离的损失函数。

进一步的，所述步骤C进行模型训练的步骤为：

C1、利用TensorFlow深度学习平台，优化函数为Adam，基础学习率设置为10e-4,学习策略step为200000，gamma为0.1，采用GPU进行加速训练；

C2、预训练，利用步骤A1处理后剩余的ImageNet数据集作为预训练数据集，预训练生成对抗模型中的VGG网络，不断迭代使得VGG网络具备识别能力，预训练完毕后的VGG网络在后续正式训练中不再进行更新；

C3、正式训练，将训练集中成对的高低分辨率图像作为样本输入，将低分辨率图像输入生成网络中，得到重建后的高分辨率图像，再将重建后的高分辨率图像和真实的高分辨率图像分别送入VGG网络和判别网络中，前者得到感知损失最终得到生成损失，后者得到判别信息，并将判别信息反向传播至生成网络，指导其进行训练。

本发明的有益效果在于：

1.通过构建生成网络和判别网络组成生成对抗网络，在生成网络和判别网络之间加入高斯编码反馈回路，为生成网络增加更多信息指导其进行训练。

2.通过改进亚像素卷积层结构，增加重要特征，减少无用信息，提升了重建效果。

3.通过引入感知损失提高生成效果，重建后的图像边缘和细节信息更加清晰，重建效果更佳，更符合人眼的观察模式。

附图说明

图1是本发明所述图像超分辨率重建方法的工作框图。

图2是本发明所述图像超分辨率重建方法的流程图。

具体实施方式

下面结合附图详述本发明具体实施方式：

如图1、2所示，一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法，包括以下步骤：

A、对ImageNet数据集进行预处理，制作低分辨率图像与高分辨率图像一一对应的重建数据集；

B、构建用于训练的生成对抗网络模型，在该模型中引入高斯编码反馈网络；

C、将步骤A中得到的数据集依次输入到生成对抗网络中进行模型训练；

D、将待处理的低分辨率图像输入训练好的生成对抗网络中的生成网络中得到高分辨率图像。

进一步的，步骤A中所述数据集的制作步骤为：

A1、获取ImageNet数据集，随机挑选部分图像作为该ImageNet数据集；

A2、对获得的ImageNet数据集中的所有图像进行归一化处理得到尺寸一致的高分辨率图像数据集；

A3、对高分辨率图像数据集进行双线性插值处理，下采样得到低分辨率图像。

进一步的，步骤A3中所述高分辨率图像与低分辨率图像的实际张量大小分别为rH*rW*C和H*W*C，其中r为降采样比例，具体缩小比例为2-5倍。

进一步的，所述降采样比例r为4，即为4倍缩小比例。

进一步的，步骤B中所述用于训练的生成对抗网络模型的构建方法为：

B1、使用ResNet网络构建生成网络，并改进亚像素卷积层提高映射效果；

B2、使用VGG网络提取感知损失；

B3、使用多个卷积层和全连接层构建判别网络；

B4、在判别网络中添加高斯编码反馈网络，将通过判别网络得到的特征图的编码信息传递给生成网络；

B5、生成对抗网络使用基于Wasserstein距离的损失函数。

具体的可使用五个残差卷积块搭建生成网络，每一层输出图像大小与输入图像的大小相等，其后接两组亚像素卷积模块，其中亚像素卷积层的实现过程改为逐步进行尺度变换提升图像分辨率，在每次尺度变换的过程中加入多次卷积操作提取更多信息。将一个大小为H*W*R2C张量变换为rH*rW*C大小的张量。

所述残差块由两组卷积层、BN层、激活层组成，其中激活函数为PReLU，其中第二组中的激活层可替换成元素操作层。

使用预训练完毕的VGG19网络作为提取感知损失的特征提取网络。

搭建由卷积层、BN层、LReLU激活层组成的判别网络，最终通过全连接层和sigmoid激活函数得到判别损失。

在判别网络和生成网络中引入高斯编码反馈回路，将部分判别信息回传到生成网络中指导其训练。

所述的损失函数主要包括生成网络的损失函数和判别网络的损失函数，生成损失包括内容损失、感知损失、对抗损失和高斯编码反馈损失；判别损失为生成的高分辨率图像和真实的高分辨率图像通过判别网络得到的差异损失。

生成网络的内容损失为生成的高分辨率图像和真实的高分辨率图像之间的MSE损失，其公式为：

感知损失为生成的高分辨率图像和真实的高分辨率图像通过VGG网络并计算两特征图像之间的差异损失，其公式为：

对抗损失利用Wasserstein距离计算对抗的损失，其公式为：

高斯编码反馈损失将生成的高分辨率图像和真实的高分辨率图像通过判别网络的两幅特征图进行高斯编码，利用均值和方差信息改为反馈损失，将损失送入生成网络中指导其进行训练。

进一步的，所述步骤C进行模型训练的步骤为：

C1、利用TensorFlow深度学习平台，优化函数为Adam，基础学习率设置为10e-4,学习策略step为200000，gamma为0.1，采用GPU进行加速训练；

C2、预训练，利用步骤A1处理后剩余的ImageNet数据集作为预训练数据集，预训练生成对抗模型中的VGG网络，不断迭代使得VGG网络具备识别能力，预训练完毕后的VGG网络在后续正式训练中不再进行更新；

C3、正式训练，将训练集中成对的高低分辨率图像作为样本输入，将低分辨率图像输入生成网络中，得到重建后的高分辨率图像，再将重建后的高分辨率图像和真实的高分辨率图像分别送入VGG网络和判别网络中，前者得到感知损失最终得到生成损失，后者得到判别信息，并将判别信息反向传播至生成网络，指导其进行训练。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法，其特征在于，包括以下步骤：

A、对ImageNet数据集进行预处理，制作低分辨率图像与高分辨率图像一一对应的重建数据集；

B、构建用于训练的生成对抗网络模型，在该模型中引入高斯编码反馈网络；

C、将步骤A中得到的数据集依次输入到生成对抗网络中进行模型训练；

D、将待处理的低分辨率图像输入训练好的生成对抗网络中的生成网络，得到高分辨率图像；

其中，步骤B中所述用于训练的生成对抗网络模型的构建方法为：

B1、使用ResNet网络构建生成网络，并改进亚像素卷积层提高映射效果；

B2、使用VGG网络提取感知损失；

B3、使用多个卷积层和全连接层构建判别网络；

B4、在判别网络中添加高斯编码反馈网络，将通过判别网络得到的特征图的编码信息传递给生成网络；

B5、生成对抗网络使用基于Wasserstein距离的损失函数。

2.根据权利要求1所述的方法，其特征在于：步骤A中所述数据集的制作步骤为：

A1、获取ImageNet数据集，随机挑选部分图像作为该ImageNet数据集；

A2、对获得的ImageNet数据集中的所有图像进行归一化处理得到尺寸一致的高分辨率图像数据集；

A3、对高分辨率图像数据集进行双线性插值处理，下采样得到低分辨率图像。

3.根据权利要求2所述的方法，其特征在于：步骤A3中所述高分辨率图像与低分辨率图像的实际张量大小分别为rH*rW*C和H*W*C，其中r为降采样比例，具体缩小比例为2-5倍。

4.根据权利要求3所述的方法，其特征在于:所述降采样比例r为4，即为4倍缩小比例。

5.根据权利要求1所述的方法，其特征在于，所述步骤C进行模型训练的步骤为：

C1、利用TensorFlow深度学习平台，优化函数为Adam，基础学习率设置为10e-4 ,学习策略step为200000，gamma为0 .1，采用GPU进行加速训练；

C2、预训练，利用步骤A1处理后剩余的ImageNet数据集作为预训练数据集，预训练生成对抗模型中的VGG网络，不断迭代使得VGG网络具备识别能力，预训练完毕后的VGG网络在后续正式训练中不再进行更新；

C3、正式训练，将训练集中成对的高低分辨率图像作为样本输入，将低分辨率图像输入生成网络中，得到重建后的高分辨率图像，再将重建后的高分辨率图像和真实的高分辨率图像分别送入VGG网络和判别网络中，前者得到感知损失最终得到生成损失，后者得到判别信息，并将判别信息反向传播至生成网络，指导其进行训练。

Images