CN111507898A - 基于自适应调整的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于自适应调整的图像超分辨率重建方法，属于图像处理技术领域。本发明基本框架包括涉及生成式对抗网络的对抗训练模型,训练模型由一组相互竞争的生成模型和判别模型构成：生成模型负责生成高分辨率图像,通过判别模型确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，判别模型将信息传递给生成模型，通过优化损失函数，使得生成模型生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，判别模型的损失增大，同时判别模型的识别能力不断提升，当判别模型不能区分生成的图像和真实样本时，生成模型完成超分辨任务。本发明提高模型特征表达能力并获得更好的超分辨率重建效果。

Description

基于自适应调整的图像超分辨率重建方法

技术领域

本发明涉及一种图像超分辨率重建方法，属于图像处理技术领域。

背景技术

现有技术中，超分辨率重建方法主要有四类。第一种是插值方法，它利用已知像素点周围的邻域信息来估计插值点的像素值。二是重建方法，建立观测模型，然后求解逆过程实现重建。由于图像的退化是复杂多样的，很难对人类的观测模型进行全面的定义。随着放大倍数的增大，图像恢复效果不理想。第三种是示例方法，它可以获得LR图像与HR图像之间的非线性映射。然而，在高倍放大因子或更复杂的场景中，示例方法的效果仍然较差，这受到提取和表示能力的限制。四是深度学习方法，它弥补了浅层学习的表示能力不足，具有较好的泛化能力，与其他方法相比能够处理复杂的图像特征。但也存在图像平滑和阶跃效应、纹理特征表达精度不足、高倍放大视觉效果失真等问题。

目前，大多数基于深度学习的超分辨率重建方法训练过程中多采用基于MSE的损失，优点是可以获得较高的PSNR值，但单一的损失函数往往缺乏针对图像特征的多样性，难以准确恢复细节。因此，超分辨率效果并不好，特别是在高倍放大时，视觉感知容易失真。随着生成式对抗网络(GAN)[G.E.Hinton,S.Osindero,Y.W.Teh."A fast learningalgorithm for deep belief nets."Neural computation,2006,18(7):1527-1554]的出现，其强大的高维复杂数据分布建模能力为图像超分辨率提供了新的思路。Ledig等人[C.Ledig,L.Theis,F.Huszar,J.Caballero,A.Cunningham,A.Acosta,A.Aitken,A.Tejani,J.Totz,Z.Wang,W.Shi."Photo-realistic single image super-resolutionusing a generative adversarial network."Proceedings of the IEEE conference oncomputer vision and pattern recognition,2017:4681-4690.]首次将生成式对抗网络(GAN)引入到超分辨率中，并提出了SRGAN方法，该优化方法侧重于利用对抗损失和感知损失来增强超分辨率图像的真实纹理，这更符合人类对视觉感知的理解。

发明内容

为了克服上述现有技术的不足之处，本发明提供一种基于自适应调整的图像超分辨率重建方法，建立基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)，提高模型特征表达能力并获得更好的超分辨率重建效果，进一步提高超分辨率图像质量。

本发明是通过如下技术方案实现的：一种基于自适应调整的图像超分辨率重建方法，建立基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)，其基本框架包括涉及生成式对抗网络(GAN)的对抗训练模型,训练模型由一组相互竞争的生成模型和判别模型构成：所述生成模型负责生成高分辨率图像,通过所述判别模型确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，所述判别模型将信息传递给生成模型，通过优化损失函数，使得生成模型生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，所述判别模型的损失增大，同时判别模型的识别能力不断提升，当判别模型不能区分生成的图像和真实样本时，生成模型完成超分辨任务；

所述生成模型和判别模型的详细网络结构与SRGAN一致，生成模型的优化目标是使生成的图像G(I^LR)逼近HR图像，而判别模型的优化目标是将生成的图像与HR图像I^HR区分开来，优化过程是一个涉及两个模型的极大极小博弈过程，其优化函数V(D,G)如下:

其中θ_G和θ_D分别为生成模型和判别模型的网络参数，利用LR图像I^LR训练超分辨率图像SR，需要求解最优生成模型参数如下:

其中，L^SR是整个对抗网络的总损失，决定了生成模型能否生成与真实样本相近的超分辨率图像；它包括像素损失

特征损失

对抗损失

和空间损失；所述空间损失是基于自适应对角全变差模型的空间损失

能根据图像的空间结构进行调整，利用新的像素损失

和特征损失

实现总损融合优化:

进一步地，所述像素损失

用来评估HR图像和真实样本之间内容的一致性，采用Charbonnier loss function计算像素损失:

其中

为生成的HR图像和真实样本；

ε是Charbonnier惩罚的常数项；常数项ε设置为0.001。

进一步地，所述特征损失

用来评价HR图像与真实样本之间的语义相似性，利用预先训练好的VGG-16网络的第13层，计算高阶特征的欧氏距离作为超分辨率图像重建过程中的特征损失，特性损失计算如下:

其中φ_i,j为特征映射到第i层池化层之前的第j层卷积层；W_i,j和H_i,j分别表示特征图的长度和宽度。

进一步地，所述对抗损失

表示所生成的HR图像是由判别模型给出的真实样本的概率，对抗损失

是交叉熵:

其中

为图像为真实样本的概率，

为生成的HR图像。

进一步地，所述空间损失是基于全变差模型重建的图像，对于宽度W和高度H的图像，全变差模型如下:

其中

和

分别表示像素x_i,j沿水平和垂直方向的梯度，且

和

满足以下方程:

结合像素点的对角线信息，提出对角线全变差模型如下:

其中

和

分别表示像素在两个对角线方向上的梯度，且满足:

利用差曲率指标来区分图像的边缘区域与平坦区域，空间损失能根据图像的结构进行调整，差分曲率定义如下:

其中u_hh和u_εε分别表示沿梯度方向和垂直方向的二阶导数；|.|表示绝对值，μ_x,μ_y,μ_xy,μ_xx,μ_yy表示像素点梯度信息的一阶导数和二阶导数；对于边缘区域，|u_hh|的值较大，|u_εε|的值较小；对于平坦区域，|u_hh|和|u_εε|都很小；因此，C_i,j在边缘区域小而在平坦区域大，将边缘区域与平坦区域区分开来；利用差曲率建立空间信息权值W_i,j，并进行自适应动态调整；W_i,j定义如下:

式中β为常数，在边缘区域中，C_i,j的值较大，空间信息自适应权值W_i,j的值较小；因此，为了更好的维护图像边缘细节，在平坦区域C_i,j的值较小，空间信息自适应权值的值较大，保证了生成的hr图像和真实样本在细节上不会有太大的偏差；自适应对角全变差模型和空间损失如下:

本发明的有益效果是：本发明提供了一个基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)。使用像素损失、特征损失、空间损失和对抗损失提升重建图像的细节，结合全局和局部信息自适应方法，从不同的维度动态调整并保持图像的高频细节，避免简单的使用均方误差导致图像纹理过度平滑的现象，从而提高模型特征表达能力并获得更好的超分辨率重建效果，进一步提高超分辨率图像质量。

附图说明

下面根据附图和实施例对本发明进一步说明。

图1是本发明结构架构图；

图2是SRGAN网络结构参考图；

图3是VGG-16网络结构参考图。

具体实施方式

下面将结合说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有开展创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于本领域技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

参照图1，一种基于自适应调整的图像超分辨率重建方法，建立基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)，其基本框架包括涉及生成式对抗网络(GAN)的对抗训练模型,训练模型由一组相互竞争的生成模型G和判别模型D构成：所述生成模型G负责生成高分辨率图像,通过所述判别模型D确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，所述判别模型D将信息传递给生成模型G，通过优化损失函数，使得生成模型G生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，所述判别模型D的损失增大，同时判别模型D的识别能力不断提升，当判别模型D不能区分生成的图像和真实样本时，生成模型G完成超分辨任务；

所述生成模型G和判别模型D的详细网络结构与SRGAN一致，(SRGAN网络结构可参考图2及论文C.Ledig,L.Theis,F.Huszar,J.Caballero,A.Cunningham,A.Acosta,A.Aitken,A.Tejani,J.Totz,Z.Wang,W.Shi."Photo-realistic single image super-resolution using a generative adversarial network."Proceedings of the IEEEconference on computer vision and pattern recognition,2017:4681-4690.)生成模型G的优化目标是使生成的图像G(I^LR)逼近HR图像，而判别模型D的优化目标是将生成的图像与HR图像I^HR区分开来，优化过程是一个涉及两个模型的极大极小博弈过程，其优化函数V(D,G)如下:

其中θ_G和θ_D分别为生成模型和判别模型的网络参数，利用LR图像I^LR训练超分辨率图像SR，需要求解最优生成模型参数如下:

其中，L^SR是整个对抗网络的总损失，决定了生成模型能否生成与真实样本相近的超分辨率图像；它包括像素损失

特征损失

对抗损失

和空间损失；所述空间损失是基于自适应对角全变差模型的空间损失

能根据图像的空间结构进行调整，利用新的像素损失

和特征损失

实现总损融合优化:

进一步地，所述像素损失

用来评估HR图像和真实样本之间内容的一致性，采用Charbonnier loss function(查尔邦尼损失函数)计算像素损失:

其中

为生成的HR图像和真实样本；

ε是Charbonnier惩罚的常数项，本发明将常数项ε设置为0.001。

进一步地，所述特征损失

用来评价HR图像与真实样本之间的语义相似性。VGG-16是一种图像分类网络，它提取的特征可以帮助保留图像边缘的轮廓，但是重建局部纹理细节的效果却不太理想。为了提取更多的高层次语义特征，提高重建精度，本发明利用预先训练好的VGG-16网络的第13层，VGG-16网络可参考图3，计算高阶特征的欧氏距离作为超分辨率图像重建过程中的特征损失，特性损失计算如下:

其中φ_i,j为特征映射到第i层池化层之前的第j层卷积层；W_i,j和H_i,j分别表示特征图的长度和宽度。

进一步地，所述对抗损失

表示所生成的HR图像是由判别模型给出的真实样本的概率，对抗损失

是交叉熵:

其中

为图像为真实样本的概率，

为生成的HR图像。

进一步地，所述空间损失是基于全变差模型重建的图像，全变差模型是经典的图像恢复模型，具有良好的边缘保持特性。在平滑的同时可以保留图像的细节。对于宽度W和高度H的图像，全变差模型如下:

其中

和

分别表示像素x_i,j沿水平和垂直方向的梯度，且

和

满足以下方程:

结合像素点的对角线信息，提出对角线全变差模型如下:

其中

和

分别表示像素在两个对角线方向上的梯度，且满足:

对角全变分模型平衡了像素点各个方向的影响，克服了阶跃效应，在平滑的同时保护了边缘的细节。为了使空间损失能够控制像素点上对角全变差的约束强度，利用差曲率指标来区分图像的边缘区域与平坦区域。空间损失因此可以根据图像的结构进行调整。

差分曲率定义如下:

其中u_hh和u_εε分别表示沿梯度方向和垂直方向的二阶导数；|.|表示绝对值，μ_x,μ_y,μ_xy,μ_xx,μ_yy表示像素点梯度信息的一阶导数和二阶导数；对于边缘区域，|u_hh|的值较大，|u_εε|的值较小；对于平坦区域，|u_hh|和|u_εε|都很小；因此，C_i,j在边缘区域小而在平坦区域大，将边缘区域与平坦区域区分开来；利用差曲率建立空间信息权值W_i,j，并进行自适应动态调整；W_i,j定义如下:

式中β为常数，本发明将常数β设为0.1。

在边缘区域中，C_i,j的值较大，空间信息自适应权值W_i,j的值较小；因此，为了更好的维护图像边缘细节，在平坦区域C_i,j的值较小，空间信息自适应权值的值较大，保证了生成的hr图像和真实样本在细节上不会有太大的偏差；自适应对角全变差模型和空间损失如下:

本发明使用像素损失、特征损失、空间损失和对抗损失提升重建图像的细节，结合全局和局部信息自适应方法，从不同的维度动态调整并保持图像的高频细节，避免简单的使用均方误差导致图像纹理过度平滑的现象，从而提高模型特征表达能力并获得更好的超分辨率重建效果。

以上所述仅为本发明的示例性实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于自适应调整的图像超分辨率重建方法，其特征在于：

建立基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)，其基本框架包括涉及生成式对抗网络(GAN)的对抗训练模型,训练模型由一组相互竞争的生成模型(G)和判别模型(D)构成：所述生成模型(G)负责生成高分辨率图像,通过所述判别模型(D)确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，所述判别模型(D)将信息传递给生成模型(G)，通过优化损失函数，使得生成模型(G)生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，所述判别模型(D)的损失增大，同时判别模型(D)的识别能力不断提升，当判别模型(D)不能区分生成的图像和真实样本时，生成模型(G)完成超分辨任务；

所述生成模型(G)和判别模型(D)的详细网络结构与SRGAN一致，生成模型(G)的优化目标是使生成的图像G(I^LR)逼近HR图像，而判别模型(D)的优化目标是将生成的图像与HR图像I^HR区分开来，优化过程是一个涉及两个模型的极大极小博弈过程，其优化函数V(D,G)如下:

其中θ_G和θ_D分别为生成模型和判别模型的网络参数，利用LR图像I^LR训练超分辨率图像SR，需要求解最优生成模型参数如下:

其中，L^SR是整个对抗网络的总损失，决定了生成模型能否生成与真实样本相近的超分辨率图像；它包括像素损失

特征损失

对抗损失

和空间损失；所述空间损失是基于自适应对角全变差模型的空间损失

能根据图像的空间结构进行调整，利用新的像素损失

和特征损失

实现总损融合优化:

2.根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述像素损失

用来评估HR图像和真实样本之间内容的一致性，采用Charbonnier lossfunction(查尔邦尼损失函数)计算像素损失:

其中

为生成的HR图像和真实样本；

ε是Charbonnier惩罚的常数项。

3.根据权利要求2所述的基于自适应调整的图像超分辨率重建方法，其特征在于：常数项ε设置为0.001。

4.根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述特征损失

用来评价HR图像与真实样本之间的语义相似性，利用预先训练好的VGG-16网络的第13层，计算高阶特征的欧氏距离作为超分辨率图像重建过程中的特征损失，特性损失计算如下:

其中φ_i,j为特征映射到第i层池化层之前的第j层卷积层；W_i,j和H_i,j分别表示特征图的长度和宽度。

5.根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述对抗损失

表示所生成的HR图像是由判别模型给出的真实样本的概率，对抗损失

是交叉熵:

其中

为图像为真实样本的概率，

为生成的HR图像。

6.根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述空间损失是基于全变差模型重建的图像，对于宽度W和高度H的图像，全变差模型如下:

其中

和

分别表示像素x_i,j沿水平和垂直方向的梯度，且

和

满足以下方程:

结合像素点的对角线信息，提出对角线全变差模型如下:

其中

和

分别表示像素在两个对角线方向上的梯度，且满足:

利用差曲率指标来区分图像的边缘区域与平坦区域，空间损失能根据图像的结构进行调整，差分曲率定义如下:

其中u_hh和u_εε分别表示沿梯度方向和垂直方向的二阶导数；|.|表示绝对值，μ_x,μ_y,μ_xy,μ_xx,μ_yy表示像素点梯度信息的一阶导数和二阶导数；对于边缘区域，|u_hh|的值较大，|u_εε|的值较小；对于平坦区域，|u_hh|和|u_εε|都很小；因此，C_i,j在边缘区域小而在平坦区域大，将边缘区域与平坦区域区分开来；利用差曲率建立空间信息权值W_i,j，并进行自适应动态调整；W_i,j定义如下:

式中β为常数，在边缘区域中，C_i,j的值较大，空间信息自适应权值W_i,j的值较小；因此，为了更好的维护图像边缘细节，在平坦区域C_i,j的值较小，空间信息自适应权值的值较大，保证了生成的hr图像和真实样本在细节上不会有太大的偏差；自适应对角全变差模型和空间损失如下:

7.根据权利要求6所述的基于自适应调整的图像超分辨率重建方法，其特征在于：常数β设为0.1。

Images