CN110349085A - 一种基于生成对抗网络的单幅图像超分辨特征增强方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的单幅图像超分辨特征增强方法，首先收集基准数据集，将基准数据集中的高分辨率图像转化为低分辨率图像；得到的低分辨率图像导入深度残差网络中；将深度残差网络进行训练；训练后的深度残差网络通过感知损失、图像判别损失和特征判别损失结合的损失函数进行指导训练，然后输出得到生成图像，该方法在生成对抗网络框架下，通过加入特征判别损失连同感知损失函数和图像判别损失，在高放大率下提高图像质量，利用该方法在特征和感知两个方面均可重建高质量的图像，对图像处理与显示的诸多应用领域具有重要意义。

Description

一种基于生成对抗网络的单幅图像超分辨特征增强方法

技术领域

本发明属于图像处理技术领域，涉及一种基于生成对抗网络的单幅图像超分辨特征增强方法。

背景技术

图像超分辨率是指对通过一幅或者多幅信息互补的低分辨率图像进行处理，重构出一幅高分辨率图像的技术，被广泛的应用在医学影像、视频监控、遥感成像等领域。基于学习的超分辨率算法通过学习得到高分辨率图像和低分辨率图像之间的映射关系，然后根据获得的映射关系指导生成高分辨率图像。生成对抗网络由生成网络和判别网络组成，两者相互博弈，直到达到均衡，基于生成对抗网的超分辨率方法能恢复下采样图像的纹理信息和颗粒细节。但是基于生成对抗网络的超分辨率算法往往只能针对一种放大比例，通用性不足；在处理现实场景复杂的数据时，模型的特征能力不高。

图像超分辨主要分为三种类型：(1)基于插值的方法：含有最近邻插值和双三次插值法，相比较于双三次插值法，最近邻插值运算复杂度较小，但是图像边缘的平滑度低于双三次插值法，两者相同的优点是算法简单易于实现，缺点都是得到的超分辨率图像清晰度有限。(2)基于重建的方法：目的在于重建退化图像中丢失的高频信息，Yang等人提出的迭代反向投影算法虽然计算量少并且简单，但是无法处理图像中的复杂结构。(3)基于学习算法：主要思想是通过低分辨率图像和高分辨率图像之间存在的一些关系来学习丢失在低分辨率图像中的高频细节，大量实验表明了它强大的图像超分辨率能力，但是对于不合适的训练样本，会在合成图像中产生明显的伪影和不必要的噪声，比如：卷积神经网络(CNNs)、稀疏表示等。生成对抗网络(GAN)是Goodfellow等在2014年提出的一种生成模型.不同于传统生成模型,其在网络结构上除了生成网络外，还包含一个判别网络，生成网络与判别网络之间是一种对抗的关系。对抗的思想是博弈双方在平等的对局中各自利用对方的策略变换自己的对抗策略，以此达到获胜目的。GAN目前在图像和视觉领域得到了广泛的研究和应用，已经可以生成数字和人脸等物体对象,构成各种逼真的室内外场景，从分割图像恢复原图像，给黑白图像上色，从物体轮廓恢复物体图像，从低分辨率图像生成高分辨率图像等。此外，GAN已经开始被应用到语音和语言处理、电脑病毒监测、棋类比赛程序等问题的研究中。

传统上，算法的性能是通过像素集的重建来衡量的，比如常用的峰值信噪比(Psnr)，这种指标和人类对图像质量的感知相关性很差，因此，如果使用最小化这类度量的算法，结果往往会产生过平滑的图像，这些图像缺乏高频特征，虽然它会产生较高的峰值信噪比值，但看起来并不自然。提出的超分辨率生成对抗网络是一个从下采样中恢复照片真实感自然图像的框架，将深度残差网络应用于对抗性训练中，在高放大率下提高了图像质量，结合感知损失函数和两个对抗损失函数，重点要使真实图像在训练期间创建更多的高频特征，而不是对像素的精确再进行优化。本专利涉及的增强算法针对特征丢失的图像，所提出的超分辨方法在特征和感知两个方面均可重建高质量的图像。

发明内容

本发明的目的是提供一种基于生成对抗网络的单幅图像超分辨特征增强方法，利用该方法可以实现单幅图像高频特征增强，解决了现有的超分辨率图像中的高频特征丢失严重、过于平滑和不自然问题。

本发明所采用的技术方案是，一种基于生成对抗网络的单幅图像超分辨特征增强方法，具体步骤如下：

步骤1，收集基准数据集，将基准数据集中的高分辨率图像转化为低分辨率图像；

步骤2，将经步骤1得到的低分辨率图像导入深度残差网络中；

步骤3，将步骤2中的深度残差网络进行训练；

步骤4，将经步骤3训练后的深度残差网络通过感知损失、图像判别损失和特征判别损失结合的损失函数进行指导训练；

步骤5，输出经步骤2输入的低分辨率图像，得到生成图像。

本发明的特点还在于：

其中步骤1具体包括：

步骤1.1，将高分辨率图像I_HR∈[0,1]^αw×αh×c使用下采样算子降为低分辨率图像I_LR，如式(1)所示：

I_LR＝d_α(I_HR)∈[0,1]^w×h×c (1)

式中，d_α:[0,1]^αw×αh×c→[0,1]^w×h×c，图像宽度w，图像高度h和彩色通道c；

步骤1.2，对于固定的缩放因子α＞1，单图像超分辨率提供一个从I_HR估计I_LR的近似逆f≈d-1：

f(I_LR)＝I_est≈I_HR (2)

得到低分辨率图像I_LR，其中d为下采样因子；

其中步骤2具体包括：

将经步骤1得到的低分辨率图像导入深度残差网络中，然后利用最小化均方误差MSE训练深度残差网络，如下式(3)所示：

式中，I_g为生成图像，I_HR为高分辨率图像；

其中步骤3具体包括：

深度残差网络利用生成对抗网络的框架结构，对抗网络的框架结构包括生成网络与判别网络将卷积神经网络作为生成网络定义判别网络生成网络与判别网络交替优化解决对抗性极大极小值，如式(5)：

其中生成网络使用深度生成器G，核心是布局相同的剩余块；

其中判别网络包含两个亚像素卷积层；

其中步骤4具体包括：

将经步骤3.1中的生成对抗网络的框架使用感知损失L_P、图像判别损失L_i和特征判别损失L_f结合的损失函数来指导判别网络训练，如下式所示：

L_g＝L_p+λ(L_f+L_i) (6)；

其中感知损失L_p定义如下式：

式中，W_m，H_m，C_m表示特征图的尺寸；

其中图像判别损失L_i对应的是图像判别网络，包含图像生成损失项和判别损失项定义为：

式中，dⁱ是图像判别网络的输出，图像I是高分辨率图像中采样图像的概率，用最小化-log(dⁱ(I^g))代替log(1-dⁱ(I^g))来进行稳定优化；

在征判别损失L_f对应的是特征判别网络，将感知损失L_P中计算的对象交由判别网络进行判断，定义如下式：

式中，是特征判别器d^f的输出。

本发明的有益效果是：

本发明提供了一种基于生成对抗网络的单幅图像超分辨特征增强方法，该方法在生成对抗网络框架下，通过加入特征判别损失连同感知损失函数和图像判别损失，在高放大率下提高图像质量，利用该方法在特征和感知两个方面均可重建高质量的图像，对图像处理与显示的诸多应用领域具有重要意义。

附图说明

图1是本发明的一种基于生成对抗网络的单幅图像超分辨特征增强方法的流程图；

图2是本发明的一种基于生成对抗网络的单幅图像超分辨特征增强方法中初始阶段的真实数据与生成数据的对比图；

图3是本发明的一种基于生成对抗网络的单幅图像超分辨特征增强方法中训练阶段的真实数据与生成数据的对比图；

图4是本发明的一种基于生成对抗网络的单幅图像超分辨特征增强方法中完成阶段的真实数据与生成数据的对比图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供一种基于生成对抗网络的单幅图像超分辨特征增强方法，如图1所示，具体步骤如下：

步骤1，收集基准数据集，将基准数据集中的高分辨率图像转化为低分辨率图像：

步骤1.1，将高分辨率图像I_HR∈[0,1]^αw×αh×c使用下采样算子降为低分辨率图像I_LR，如式(1)所示：

I_LR＝d_α(I_HR)∈[0,1]^w×h×c (1)

式中，d_α:[0,1]^αw×αh×c→[0,1]^w×h×c，图像宽度w，图像高度h和彩色通道c；

步骤1.2，对于固定的缩放因子α＞1，单图像超分辨率提供一个从I_HR估计I_LR的近似逆f≈d-1：

f(I_LR)＝I_est≈I_HR (2)

得到低分辨率图像I_LR，其中d为下采样因子；

步骤2，将经步骤1得到的低分辨率图像导入深度残差网络中：

在训练中，我们通过最小化均方误差MSE来训练网络，以减少生成图像I_g和高分辨率图像I_HR间像素差异：

像素化损失很好再现了高分辨率图像I_HR在PSNR方面的优越性，但通常产生模糊和视觉上不满意的图像；

步骤3，将步骤2中的深度残差网络进行训练：

深度残差网络利用生成对抗网络的框架结构，对抗网络的框架结构包括生成网络与判别网络将卷积神经网络作为生成网络定义判别网络生成网络与判别网络交替优化解决对抗性极大极小值，如式(5)：

生成网络使用深度生成器G，核心是布局相同的剩余块；用两个小的3×3核的卷积层和64张特征图，激活函数采用batch-normalization layers和Relu并且使用2个trainedsub-pixel卷积层增加输入图像的分辨率。

判别网络用两个亚像素卷积层；对图像进行4倍放大，使用LeakyRelu激活，避免整个网络最大池化。判别网络包含8个过滤核函数递增的卷积层，按从2到64到512个核函数增长；

步骤4，将经步骤3训练后的深度残差网络通过感知损失、图像判别损失和特征判别损失结合的损失函数进行指导训练：

在步骤3中提出的网络框架中使用感知损失L_P、图像判别损失L_i和特征判别损失L_f结合的损失函数来指导网络训练的具体过程如下：

为了训练判别网络，最小化定义下试：

L_g＝L_p+λ(L_f+L_i) (5)

其中L_p是感知相似性损失，它在训练过程中强制使生成的图片与真实图片相似，L_i是图像判别损失，指生成图片与超分辨率图片在像素域上的损失，L_f是特征域损失，用于生成特征域中的结构细节；

感知相似性损失L_p度量的是特征域内的两幅图像之间的差异，而不是像素域内的差异，使其最小化可以得到感知一致性的结果，L_p定义如下：

其中W_m，H_m，C_m表示特征图的尺寸，在实验中，使用VGG-19作为网络特征图谱，代表激活函数层输出卷积后的第m池，感知损失目的是让高分辨率图像和超分辨率图像在感觉上具有一致性。

步骤4.3，图像判别损失L_i对应的是图像判别网络，包含图像生成损失项和判别损失项目的是对图像的像素值进行评判，定义为：

其中dⁱ是图像判别网络的输出，图像I是高分辨率图像中采样图像的概率，我们用最小化-log(dⁱ(I^g))代替log(1-dⁱ(I^g))来进行稳定优化；

特征判别损失L_f对应的是特征判别网络，是对图像的特征图进行评判，就是将感知损失中计算的对象交由判别网络进行判断，定义如下：

其中是特征判别器d^f的输出，由于特征与图像结构相对应，我们可以鼓励生成器生成逼真的结构高频，而不是噪声伪影，感知损失函数和特征损失函数均基于特征图，通过添加这个特征判别损失函数，判别网络和生成网络在不断地“博弈”中被训练的能够合成更多有意义的高频细节，从而产生特征增强的超分辨率图像。

步骤5，输出经步骤2输入的低分辨率图像，得到生成图像。

本发明中所示图2、图3和图4中的细线为真实数据分布，粗线为生成数据样本，生成对抗网络的目标在于让粗线逐渐逼近细线，从图1到图3三张图可以展现整个运作过程，在图1中可以说是一种初始的状态，生成数据与真实数据还有较大的差距，判别器具备初步划分是否为真实数据的能力，但是由于存在噪声，效果仍有缺陷，当判别器逐渐完美后开始迭代生成器，如图3所示，通过判别器的倒数梯度方向作为指导，让生成数据向真实数据的分布方向移动，让生成数据更容易被判别器判断为真实数据，在反复的一系列上述训练过程后进入图4最终达到理想值的状态，生成网络与判别网络都已经再进一步优化了，此时生成网络生成的数据已经达到了我们期望的目的，能够完全模拟出真实数据的分布。

本发明的一种基于生成对抗网络的单幅图像超分辨特征增强算法，该方法在生成对抗网络框架下，通过加入特征判别损失连同感知损失函数和图像判别损失，在高放大率下提高图像质量，利用该方法在特征和感知两个方面均可重建高质量的图像，对图像处理与显示的诸多应用领域具有重要意义。

Claims (10)

1.一种基于生成对抗网络的单幅图像超分辨特征增强方法，其特征在于，具体步骤如下：

步骤1，收集基准数据集，将基准数据集中的高分辨率图像转化为低分辨率图像；

步骤2，将经步骤1得到的低分辨率图像导入深度残差网络中；

步骤3，将步骤2中的深度残差网络进行训练；

步骤4，将经步骤3训练后的深度残差网络通过感知损失、图像判别损失和特征判别损失结合的损失函数进行指导训练；

步骤5，输出经步骤2输入的低分辨率图像，得到生成图像。

2.根据权利要求1所述的一种基于生成对抗网络的单幅图像超分辨特征增强方法，其特征在于，所述步骤1具体包括：

步骤1.1，将高分辨率图像I_HR∈[0,1]^αw×αh×c使用下采样算子降为低分辨率图像I_LR，如式(1)所示：

I_LR＝d_α(I_HR)∈[0,1]^w×h×c (1)

式中，d_α:[0,1]^αw×αh×c→[0,1]^w×h×c，图像宽度w，图像高度h和彩色通道c；

步骤1.2，对于固定的缩放因子α＞1，单图像超分辨率提供一个从I_HR估计I_LR的近似逆f≈d-1：

f(I_LR)＝I_est≈I_HR (2)

得到低分辨率图像I_LR，其中d为下采样因子。

3.根据权利要求1所述的一种基于生成对抗网络的单幅图像超分辨特征增强方法，其特征在于，所述步骤2具体包括：

将经步骤1得到的低分辨率图像导入深度残差网络中，然后利用最小化均方误差MSE训练深度残差网络，如下式(3)所示：

式中，I_g为生成图像，I_HR为高分辨率图像。

4.根据权利要求1所述的一种基于生成对抗网络的单幅图像超分辨特征增强方法，其特征在于，所述步骤3具体包括：

深度残差网络利用生成对抗网络的框架结构，对抗网络的框架结构包括生成网络与判别网络将卷积神经网络作为生成网络定义判别网络生成网络与判别网络交替优化解决对抗性极大极小值，如式(5)：

5.根据权利要求4所述的一种基于生成对抗网络的单幅图像超分辨特征增强方法，其特征在于，所述生成网络使用深度生成器G，核心是布局相同的剩余块。

6.根据权利要求4所述的一种基于生成对抗网络的单幅图像超分辨特征增强方法，其特征在于，所述判别网络包含两个亚像素卷积层。

7.根据权利要求4所述的一种基于生成对抗网络的单幅图像超分辨特征增强方法，其特征在于，所述步骤4具体包括：

将经步骤3.1中的生成对抗网络的框架使用感知损失L_P、图像判别损失L_i和特征判别损失L_f结合的损失函数来指导判别网络训练，如下式所示：

L_g＝L_p+λ(L_f+L_i) (5)

8.根据权利要求5所述的一种基于生成对抗网络的单幅图像超分辨特征增强方法，其特征在于，所述感知损失L_p定义如下式：

式中，W_m，H_m，C_m表示特征图的尺寸。

9.根据权利要求5所述的一种基于生成对抗网络的单幅图像超分辨特征增强方法，其特征在于，所述图像判别损失L_i对应的是图像判别网络，包含图像生成损失项和判别损失项定义为：

式中，dⁱ是图像判别网络的输出，图像I是高分辨率图像中采样图像的概率，用最小化-log(dⁱ(I^g))代替log(1-dⁱ(I^g))来进行稳定优化。

10.根据权利要求5所述的一种基于生成对抗网络的单幅图像超分辨特征增强方法，其特征在于，所述特征判别损失L_f对应的是特征判别网络，将感知损失L_P中计算的对象交由判别网络进行判断，定义如下式：

式中，是特征判别器d^f的输出。