CN109993698A - 一种基于生成对抗网络的单幅图像超分辨纹理增强方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的单幅图像超分辨纹理增强方法，首先集使用广泛的基准数据集，将数据集中的高分辨率图像降为低分辨率图像；然后将低分辨率图像进行放大观测值，生成过平滑图像；产生的过平滑图像输入到深度残差网络中，使用生成对抗网络提供的框架，把过平滑图像细节的损失从图像空间转移到目标识别系统更高层次的特征空间；将生成对抗网络框架中使用感知损失和纹理损失结合的损失函数来指导网络训练；最后将指导训练和生成对抗网络框架中生成网络和判别网络的动态博弈，最终得到具有更多纹理细节的高分辨率图像，利用该方法可以实现单幅图像纹理增强，解决了现有的超分辨率图像中的纹理区域模糊、过于平滑和不自然问题。

Description

一种基于生成对抗网络的单幅图像超分辨纹理增强方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于生成对抗网络的单幅图像超分辨纹理增强方法。

背景技术

图像超分辨主要分为三种类型：(1)基于插值的方法：含有最近邻插值和双三次插值法，相比较于双三次插值法，最近邻插值运算复杂度较小，但是图像边缘的平滑度低于双三次插值法，两者相同的优点是算法简单易于实现，缺点都是得到的超分辨率图像清晰度有限。(2)基于重建的方法：目的在于重建退化图像中丢失的高频信息，Yang等人提出的迭代反向投影算法虽然计算量少并且简单，但是无法处理图像中的复杂结构。(3)基于学习算法：主要思想是通过低分辨率图像和高分辨率图像之间存在的一些关系来学习丢失在低分辨率图像中的高频细节，大量实验表明了它强大的图像超分辨率能力，但是对于不合适的训练样本，会在合成图像中产生明显的伪影和不必要的噪声，比如：卷积神经网络(CNNs)、稀疏表示等。

单幅图像超分辨就是完成从单个低分辨率图像输入中推断出一幅高分辨率图像的任务。传统上，算法的性能是通过像素集的重建来衡量的，比如常用的峰值信噪比(Psnr)，这种指标和人类对图像质量的感知相关性很差，因此，如果使用最小化这类度量的算法，结果往往会产生过平滑的图像，这些图像缺乏高频纹理，虽然它会产生较高的峰值信噪比值，但看起来并不自然。尽管使用更快更深的卷积神经网络在单幅图像超分辨率的准确性和速度方面取得了突破，但如何恢复图像更精细的纹理细节这个问题仍未解决，提出的超分辨率生成对抗网络是一个从4×下采样中恢复照片真实感自然图像的框架,将深度残差网络应用于对抗性训练中，在高放大率下提高了图像质量，结合感知损失函数和纹理损失函数，其中感知损失函数包括对抗性损失和内容损失。重点要使地面真实图像在训练期间创建真实的纹理，而不是对像素的精确再进行优化。纹理损失通过减少对抗性损失项的伪影来增加峰值信噪比值和丰富纹理，本专利涉及的增强算法针对纹理细节丢失的图像，所提出的超分辨方法在纹理和感知两个方面均可重建高质量的图像。

发明内容

本发明的目的是提供一种基于生成对抗网络的单幅图像超分辨纹理增强方法，实现单幅图像纹理增强，解决了现有的超分辨率图像中的纹理区域模糊、过于平滑和不自然问题。

本发明所采用的技术方案是，一种基于生成对抗网络的单幅图像超分辨纹理增强方法，具体步骤如下：

步骤1：收集基准数据集，将基准数据集中的高分辨率图像降为低分辨率图像；

步骤2：将经步骤1得到的低分辨率图像的观测值进行放大，生成过平滑图像；

步骤3：将步骤2产生的过平滑图像输入到深度残差网络SRResNet中，使用生成对抗网络提供的框架，把过平滑图像细节的损失从图像空间转移到目标识别系统更高层次的特征空间；

步骤4：将步骤3生成对抗网络框架中使用感知损失和纹理损失结合的损失函数来指导过平滑图像进行网络训练，最终得到具有更多纹理细节的高分辨率图像。

本发明的特点还在于：

其中步骤1为收集使用广泛的三个基准数据集Set5、Set14和Urban100，将基准数据集中的高分辨率图像I_HR使用下采样算子降为低分辨率图像I_LR；

其中步骤1具体包括以下步骤：

步骤1.1，使用下采样算子如式(1)将数据集中的高分辨率图像I_HR∈[0,1]^αw×αh×c降为低分辨率图像I_LR如式(2)：

d_α:[0,1]^αw×αh×c→[0,1]^w×h×c (1)

I_LR＝d_α(I_HR)∈[0,1]^w×h×c (2)

其中，w为图像宽度，h为图像高度，和c为图像的彩色通道，α为固定的缩放因子；

步骤1.2，对于固定的缩放因子α＞1，图像宽度w，图像高度h和图像的彩色通道c，单图像超分辨率提供一个从I_HR估计I_LR的近似逆f≈d-1：

f(I_LR)＝I_est≈I_HR (3)

得到低分辨率图像I_LR，其中d为下采样因子；

其中步骤2具体为：将经步骤1下采样算子得到的低分辨率图像I_LR的观测值进行上采样双三次插值放大，生成过平滑图像I_s；

其中步骤2中双三次插值计算公式为：

I_s＝f(i+u，j+v)＝ABC (4)

其中，A、B、C均为矩阵，其形式如下：

A＝[S(1+u)S(u)S(1-u)S(2-u)] (5)

C＝[S(1+v)S(uv)S(1-v)S(2-v)]^T (7)；

其中步骤3具体包括：利用生成对抗网络的框架结构，将卷积神经网络作为生成网络定义判别网络定义判别网络与生成网络交替优化解决对抗性极大极小值问题，如下式所示：

其中步骤4具体包括以下步骤：

步骤4.1，通过结合感知损失函数和纹理损失函数来指导网络训练，其中感知损失函数L_P由内容损失和对抗性损失两部分构成：

步骤4.1.1，内容损失：函数选择用基于特征空间的最小均方差代替传统的基于像素空间的最小均方差，特征是利用VGG网络提取的图像高层次特征，计算公式如(9)所示：

步骤4.1.2，对抗性损失：在内容损失之外，还在感知损失中加入了生成对抗网络的生成成分，促使网络通过欺骗判别网络保留存在于自然图像的细，根据判别器在所有训练样本上的概率定义了生成对抗性损失

是重建图像为真实高分辨率图像的估计概率，为了获得更好的梯度行为，最小化替代

步骤4.2，设定纹理损失函数L_T：给定目标纹理图像，通过匹配从预先训练过的网络提取的信息统计到目标纹理，迭代地生成纹理丰富的输出图像和通过减少对抗性损失项的伪影来增加的峰值信噪比值，统计利用φ(I)∈R^n×m在给定VGG层上的特征激活和长度为m的n个特征之间的相关性，如(11)所示：

步骤4.3，将指导训练的过平滑图像和生成对抗网络框架中的生成网络和判别网络进行动态博弈，最终得到具有更多纹理细节的高分辨率图像。

本发明的有益效果是：

本发明的一种基于生成对抗网络的单幅图像超分辨纹理增强算法，在生成对抗网络框架下，通过结合改进后的感知损失函数和纹理损失函数，在高放大率下提高图像质量，利用该方法在纹理和感知两个方面均可重建高质量的图像，对图像处理与显示的诸多应用领域具有重要意义。

附图说明

图1是本发明的一种基于生成对抗网络的单幅图像超分辨纹理增强方法中生成网络的流程图；

图2是本发明的一种基于生成对抗网络的单幅图像超分辨纹理增强方法中判别网络的流程图；

图3是本发明的一种基于生成对抗网络的单幅图像超分辨纹理增强方法中超分辨率方法指导的图像；

图4是本发明的一种基于生成对抗网络的单幅图像超分辨纹理增强方法中双三次插值法指导的图像；

图5是本发明的一种基于生成对抗网络的单幅图像超分辨纹理增强方法中卷积神经网络方法指导的图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供一种基于生成对抗网络的单幅图像超分辨纹理增强方法，具体包括如下步骤：

步骤1：收集使用广泛的三个基准数据集Set5、Set14、Urban100，将数据集中的高分辨率图像I_HR使用下采样算子降为低分辨率图像I_LR，具体包括：

步骤1.1，使用下采样算子如式(1)将数据集中的高分辨率图像I_HR∈[0,1]^αw×αh×c降为低分辨率图像I_LR如式(2)：

d_α:[0,1]^αw×αh×c→[0,1]^w×h×c (1)

I_LR＝d_α(I_HR)∈[0,1]^w×h×c (2)

其中，w为图像宽度，h为图像高度，和c为图像的彩色通道，α为固定的缩放因子；

步骤1.2，对于固定的缩放因子α＞1，图像宽度w，高度h和彩色通道c。单图像超分辨率提供一个从I_HR估计I_LR的近似逆f≈d-1：

f(I_LR)＝I_est≈I_HR (3)

得到低分辨率图像I_LR，其中d为下采样因子；

步骤2：对步骤1下采样得到的低分辨率图像I_LR进行上采样—双三次插值来放大低分辨率图像I_LR观测值，产生过平滑图像I_s：

双三次插值计算公式如下所示

I_s＝f(i+u，j+v)＝ABC (4)

其中，A、B、C均为矩阵，其形式如下：

A＝[S(1+u)S(u)S(1-u)S(2-u)] (5)

C＝[S(1+v)S(uv)S(1-v)S(2-v)]^T (7)

步骤3：将步骤2产生的过平滑低分辨率图像I_s输入到深度残差网络SRResNet中，使用生成对抗网络提供的框架，把图像细节的损失从图像空间转移到目标识别系统更高层次的特征空间，具体为：

步骤3.1，网络利用生成对抗网络的框架结构，如图1与图2所示，将卷积神经网络作为生成网络定义判别网络它与交替优化解决对抗性极大极小值问题，如下式所示：

步骤3.2，生成网络使用深度生成器G，核心是布局相同的剩余块B，用两个小的3*3核的卷积层和64张特征图，激活函数采用batch-normalization layers和Relu并且使用2个trained sub-pixel卷积层增加输入图像的分辨率；

步骤3.3，判别网络用两个亚像素卷积层对图像进行4倍放大，使用LeakyRelu激活，避免整个网络最大池化。判别网络包含8个过滤核函数递增的卷积层，按从2到64到512个核函数增长；

步骤4：在步骤3提出的网络框架中使用感知损失L_P和纹理损失L_T结合的损失函数来指导网络训练：

感知损失函数L_P包含内容损失函数L_C和对抗损失函数L_A，其中的内容损失函数L_C是基于VGG网络特征图谱的损失函数，具体包括：

步骤4.1，通过结合感知损失函数和纹理损失函数来指导网络训练，其中感知损失函数L_P有两部分构成，内容损失和对抗性损失；

步骤4.1.1，内容损失：函数选择用基于特征空间的最小均方差代替传统的基于像素空间的最小均方差，特征是利用VGG网络提取的图像高层次特征，目的是确保两个图像(I_LR和I_HR)的内容在放入训练对抗网络前，各自的特征看起来相似，计算公式如(9)所示：

步骤4.1.2，对抗性损失：内容损失之外，还在感知损失中加入了生成对抗网络的生成成分，促使网络通过欺骗判别网络保留存在于自然图像的细节，根据判别器在所有训练样本上的概率定义了生成性损失

是重建图像为真实高分辨率图像的估计概率。为了获得更好的梯度行为，最小化替代

步骤4.2，设定纹理损失函数L_T：给定目标纹理图像，通过匹配从预先训练过的网络提取的信息统计到目标纹理，迭代地生成纹理丰富的输出图像和通过减少对抗性损失项的伪影来增加的峰值信噪比值，统计利用φ(I)∈R^n×m在给定VGG层上的特征激活和长度为m的n个特征之间的相关性，如(11)所示：

采用大小为16×16像素的贴片，在真实纹理生成和图像整体感知质量之间取得最佳平衡，纹理损失函数可以促进产生的图像具有更丰富的纹理信息；

经过指导训练的过平滑图像和生成对抗网络中生成网络和判别网络的动态博弈，最终得到具有更多纹理细节的高分辨率图像。

使用以上方法最终获得超分辨率的图像如图3所示，通过图4双三次插值和图5卷积神经网络方法比较可以看出本发明提出的方法在恢复图像纹理细节能力方面有较大提高。

Claims (7)

1.一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，具体步骤如下：

步骤1：收集基准数据集，将基准数据集中的高分辨率图像降为低分辨率图像；

步骤2：将经步骤1得到的低分辨率图像的观测值进行放大，生成过平滑图像；

步骤3：将步骤2产生的过平滑图像输入到深度残差网络SRResNet中，使用生成对抗网络提供的框架，把过平滑图像细节的损失从图像空间转移到目标识别系统更高层次的特征空间；

步骤4：将步骤3生成对抗网络框架中使用感知损失和纹理损失结合的损失函数来指导过平滑图像进行网络训练，最终得到具有更多纹理细节的高分辨率图像。

2.根据权利要求1所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤1为收集使用广泛的三个基准数据集Set5、Set14和Urban100，将基准数据集中的高分辨率图像I_HR使用下采样算子降为低分辨率图像I_LR。

3.根据权利要求2所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤1具体包括以下步骤：

步骤1.1，使用下采样算子如式(1)将数据集中的高分辨率图像I_HR∈[0,1]^αw×αh×c降为低分辨率图像I_LR如式(2)：

d_α:[0,1]^αw×αh×c→[0,1]^w×h×c (1)

I_LR＝d_α(I_HR)∈[0,1]^w×h×c (2)

其中，w为图像宽度，h为图像高度，和c为图像的彩色通道，α为固定的缩放因子；

步骤1.2，对于固定的缩放因子α＞1，图像宽度w，图像高度h和图像的彩色通道c，单图像超分辨率提供一个从I_HR估计I_LR的近似逆f≈d-1：

f(I_LR)＝I_est≈I_HR (3)

得到低分辨率图像I_LR，其中d为下采样因子。

4.根据权利要求1所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤2具体为：将经步骤1下采样算子得到的低分辨率图像I_LR的观测值进行上采样双三次插值放大，生成过平滑图像I_s。

5.根据权利要求4所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤2中双三次插值计算公式为：

I_s＝f(i+u，j+v)＝ABC (4)

其中，A、B、C均为矩阵，其形式如下：

A＝[S(1+u)S(u)S(1-u)S(2-u)] (5)

C＝[S(1+v)S(uv)S(1-v)S(2-v)]^T (7)。

6.根据权利要求1所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤3具体包括：利用生成对抗网络的框架结构，将卷积神经网络作为生成网络G_θG，定义判别网络D_θD，定义判别网络D_θD与生成网络G_θG交替优化解决对抗性极大极小值问题，如下式所示：

7.根据权利要求1所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤4具体包括以下步骤：

步骤4.1，通过结合感知损失函数和纹理损失函数来指导网络训练，其中感知损失函数L_P由内容损失和对抗性损失两部分构成：

步骤4.1.1，内容损失：函数选择用基于特征空间的最小均方差代替传统的基于像素空间的最小均方差，特征是利用VGG网络提取的图像高层次特征，计算公式如(9)所示：

步骤4.1.2，对抗性损失：在内容损失之外，还在感知损失中加入了生成对抗网络的生成成分，促使网络通过欺骗判别网络保留存在于自然图像的细，根据判别器D_θD(G_θG(I^LR))在所有训练样本上的概率定义了生成对抗性损失

D_θD(G_θG(I^LR))是重建图像G_θG(I^LR)为真实高分辨率图像的估计概率，为了获得更好的梯度行为，最小化-logD_θD(G_θG(I^SR))替代log[1-D_θD(G_θG(I^LR))；

步骤4.2，设定纹理损失函数L_T：给定目标纹理图像，通过匹配从预先训练过的网络提取的信息统计到目标纹理，迭代地生成纹理丰富的输出图像和通过减少对抗性损失项的伪影来增加的峰值信噪比值，统计利用φ(I)∈R^n×m在给定VGG层上的特征激活和长度为m的n个特征之间的相关性，如(11)所示：

步骤4.3，将指导训练的过平滑图像和生成对抗网络框架中的生成网络和判别网络进行动态博弈，最终得到具有更多纹理细节的高分辨率图像。