CN115880158B - 一种基于变分自编码的盲图像超分辨率重建方法及系统 - Google Patents

Abstract

本申请公开了一种基于变分自编码的盲图像超分辨率重建方法及系统，其中方法包括：通过模拟真实情景的退化过程构建数据集，来获取待重建图像的训练样本；构建神经网络；利用训练样本训练神经网络，得到重建神经网络；利用重建神经网络对待重建图像进行超分辨率重建。本申请既可以有效解决真实场景图片不能进行处理或者处理效果不理想的问题，同时，又可以取得比现有系统和方法更好的视觉效果，在一定程度上能够去除伪影和人工痕迹保证了待超分图像的真实性同时充分保留图像的细节信息，实现了完整、真实地对低分辨率和退化的图像进行重建。高分辨率的图像因像素密度高而能为数字图像处理提供更多重要的细节信息，为图像后期处理打下良好的基础。

Description

一种基于变分自编码的盲图像超分辨率重建方法及系统

技术领域

本申请涉及图像处理技术领域，具体涉及一种基于变分自编码的盲图像超分辨率重建方法及系统。

背景技术

伴随着第三次工业革命的飞速发展，信息化、智能化和高速化成为这个时代的缩影，图像已经成为人类获取信息的一种重要渠道，其在监控检测、卫星图像遥感、视频复原、信息远程传递和医学影像等领域都有着非常重要的应用价值。高分辨率成为日常生产生活成像的迫切需求由于其不仅视觉效果强且图像像素密度高，能为数字图像处理提供更多重要的细节信息，然而，由于成像设备、光照、远程传输等条件的限制，图像质量不可避免的会发生下降因此获取图像的分辨率往往都比较低，困扰着生活娱乐和工作生产为人类生活带来极大不便。如何有效地提高成像图像的质量成为图像处理一项十分关键而重要的任务。图像超分辨率重建技术是目前提高图像分辨率的主要手段之一。

以图像超分辨率算法模型的角度而言，目前已有的算法共分为三种：基于插值、基于重建和基于机器学习。一般来说基于插值的算法应用最为广泛，因为基于重建和基于学习的算法通常会结合基于插值的算法。基于重建的图像超分辨率算法的基本思想是利用退化模型的逆过程重建高分辨率图像，全变分正则化是基于重建的模型中较为流行的一类算法，然而传统全变分正则化算法会在边缘处形成大量人工痕迹，严重影响高分辨率图像的视觉质量。基于学习的算法在近些年来使用较多，尤其是卷积神经网络引入图像领域为其指出新的发展方向，能够取得传统方法不可达到的效果，单幅图像超分辨率主要是利用对髙分辨率图像的先验知识和以混叠形式存在的高频信息进行复原成为现在图像超分领域研究的热点。现阶段退化模式已知的图像超分已经取得了极大的研究进展，但这些方法对于复杂退化的真实场景却难以得到令人满意的效果。为弥补该差距，近年来学术界与工业界开始关注退化未知的图像超分，即无监督图像超分变率，也称为盲超分辨率。盲超分辨率能够极大范围的模拟真实世界的图像退化，具有较大的实用性和泛化性能，可利用得到的网络框架输出更高质量的图片打破了真实场景中复杂退化不可处理或者处理效果有限的窘况。

目前，大多数效果较好的图像超分辨率大多会使用生成式对抗网络，然而生成网络和判别网络的博弈会给生成的超分图像带来不可避免的伪影和人工痕迹，对网络结构的优化成为具有前景和挑战的研究课题。XintaoWang等人在SRGAN的基础上提出了ESRGAN取得了巨大的成功，图像的超分视觉效果得到了实质性的提升。然而图像的伪影问题依旧还是存在且图像的质量还存在进一步优化的空间。因此如何构建一种去除图像伪影同时提高图像的质量是本申请主要解决的问题。变分自编码器在过去几年中，在图像处理领域取得了一些显著的成果，基于深度学习的生成模型越来越受到关注。变分自编码网络依靠大量数据，精心设计的网络结构和训练技术，深度生成模型已经显示出了令人难以置信的能力，可以生成高度逼真的各种内容，例如图像，文本和声音。

发明内容

本申请既有效解决真实场景图片不能进行处理或者处理效果不理想的问题，同时，可以取得比现有系统和方法更好的视觉效果，在一定程度上能够去除伪影和人工痕迹保证了待超分图像的真实性同时充分保留图像的细节信息，实现了完整、真实地对低分辨率和退化的图像进行重建。

为实现上述目的，本申请提供了一种基于变分自编码的盲图像超分辨率重建方法，步骤包括：

通过模拟真实情景的退化过程构建数据集，来获取待重建图像的训练样本；

构建神经网络；

利用所述训练样本训练所述神经网络，得到重建神经网络；

利用所述重建神经网络对待重建图像进行超分辨率重建。

优选的，获取所述训练样本的方法包括：利用降级方式模仿现实世界图片的退化过程，采用多层次退化方法获得样本对中的低分辨率图片：

x＝D(y)＝[(y⊙k)↓_r+e]_JPEG

式中，y表示未经退化的高分辨率图片；⊙表示卷积操作；k表示模糊核；↓_r表示对图片进行下采样操作，r为采样因子；e表示添加的加性噪声；JPEG表示对图片进行图像压缩处理。

优选的，所述神经网络包括：基本框架、生成器和判别器；其中，所述基本框架包括：特征提取单元、特征增强提取单元、上采样层和卷积层。

优选的，所述特征提取单元由层卷积核大小为3×3的卷积层构成，卷积的步长和填充都为1，表达式包括：

式中，表示特征提取卷积网络中的卷积操作，F_LR表示输出结果，I_LR表示低分辨率图像。

优选的，所述特征增强提取单元包括：若干基本单元；所述基本单元的第一层的输入为所述特征提取单元输出的特征图，剩余层的输入为前一层的输出；所述卷积层的输出均为特征图；所有层之间的特征图采用长跳跃连接或短跳跃连接进行恒等映射，避免模型发生退化。

优选的，对所述特征增强提取单元的最终输出进行插值、卷积和池化操作最终得到重建的超分辨率图像：

I^SR′＝f_lrelu(f_conv3(f_upsample(F)))

I^SR＝f_{conv_last}(f_lrelu(f_conv4(f_upsample(F))))

式中，f_conv3、f_conv4和f_{conv_last}代表不同的卷积操作，f_lrelu代表池化操作，f_upsample代表对输入进行上采样得到目标尺寸的输出，I^SR'代表上采样过程的中间网络输出结果，I^SR表示最终输出的超分辨率图片。

优选的，得到所述重建神经网络的方法包括：

通过L1loss，训练以PSNR为导向的网络，获得Pre_train模型；

以所述Pre_train模型的网络参数进行网络初始化，损失函数设置为：L1 loss、Perceptual loss、GAN loss和VAE_loss用以训练最终的网络VESR_gan，得到所述重建神经网络。

本申请还提供了一种基于变分自编码的盲图像超分辨率重建系统，包括：样本获取模块、构建模块、网络训练模块和重建样本模块；

所述样本获取模块用于通过模拟真实情景的退化过程构建数据集，来获取待重建图像的训练样本；

所述构建模块用于构建神经网络；

所述网络训练模块用于利用所述训练样本训练所述神经网络，得到重建神经网络

所述重建样本模块用于利用所述重建神经网络对待重建图像进行超分辨率重建。

与现有技术相比，本申请的有益效果如下：

本申请能够恢复出视觉效果较好的高分辨率图像，高分辨率图像在工作和生活中的应用十分广泛。例如：监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有着重要的应用价值。高分辨率的图像因像素密度高而能为数字图像处理提供更多重要的细节信息，为图像后期处理打下良好的基础。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中的主骨干网络示意图；

图2为本申请实施例中，生成式对抗网络中的判别器网络中VAE网络单元示意图；

图3为本申请实施例中，生成式对抗网络中的判别器网络示意图；

图4为本申请实施例中，与其他方法的结果对比示意图；

图5为本申请实施例中的系统结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

实施例一

如图1所示，为本实施例的主骨干网络示意图，步骤包括：

S1.通过模拟真实情景的退化过程构建数据集，来获取待重建图像的训练样本。

利用更复杂的降级方式实现进一步模仿现实世界图片的退化过程，采用多层次退化方法获得样本对中的低分辨率图片，其中加入的退化因子包括：模糊、噪声、尺寸变换和压缩。

x＝D(y)＝[(y⊙k)↓_r+e]_JPEG

式中，y表示未经退化的高分辨率图片；⊙表示卷积操作；k表示模糊核；↓_r表示对图片进行下采样操作，r为采样因子；e表示添加的加性噪声；JPEG表示对图片进行图像压缩处理。

S1的具体步骤包括：

S1.1.对待重建图像I进行不同倍率的下采样，得到图像本身以及多个不同倍率的下采样版本I_m，m∈Z⁺，获得初始样本。

S1.2.对S1.1获得的初始样本进行扩充，获取待重建图像的训练样本；

其中，扩充方式为：

I_e＝f(I_m,A,M)

式中，I_e是扩充后的图像样本，f是对样本集I_m进行增强操作，A是对图像进行不同角度的旋转，M是将图像进行镜像翻转；

S1.3.对1.2获得的I_e加入噪声，再进行压缩操作，上述操作方式为：

x₀＝D(I)＝[I_e+e]_JPEG

其中e是添加的加性噪声，JPEG是对图片进行图像压缩处理，x₀是经一阶退化的低分辨率图像；

S1.4.对S1.3得到的x₀进行模拟深层退化处理即高阶退化处理，进一步模拟真实自然世界的图片退化过程，表达式为：

x＝Dⁿ(I)＝Dⁿ(D^n-1(..D¹(I)))

其中n表示退化网络的个数，经退化网络进行多次重复操作可以更加真实的模拟真实世界的退化。

S2.构建神经网络。

搭建生成式对抗神经网络，通过该网络学习高低分辨率训练样本对之间的映射关系来重建图像。

上述的神经网络包括：基本框架、生成器和判别器。

在本实施例中，骨干网络选择以ESRGAN网络为基本框架，基本框架包括：特征提取单元、特征增强提取单元、上采样层和卷积层。

构建特征提取单元的方法包括：利用卷积层对图像的特征进行浅层提取。具体步骤包括：

(1)输入低分辨率图像I；

(2)设计特征提取层，建网络整体框架的特征提取单元中，是由层卷积核大小为3×3的卷积层构成，卷积的步长和填充都为1，表达式为：

其中，表示特征提取卷积网络中的卷积操作,F_LR表示输出结果，I_LR表示训练对中的低分辨率图像。

特征增强提取单元，包括：若干Residual in Residual Dense Block(RRDBBlock)基本单元，其由残差密集块组成这种结构结合了多层残差网络和密集连接；所述若干基本单元的第一层的输入为特征提取单元输出的特征图，剩余层的输入为前一层的输出；所述若干卷积层的输出均为特征图；所有层之间的特征图采用长跳跃连接或短跳跃连接进行恒等映射，避免了模型发生退化。特征增强提取单元中，对特征提取的基本单元RRDBBlock进行了线性堆叠，堆叠过程表达式为：

F_RRDB＝fⁿ _RRDB(f^n-1 _RRDB(..f¹ _RRDB(F_LR)))

式中，fⁿ _RRDB表示当前层提取的图像特征；f^n-1 _RRDB表示前一层的输出特征；f¹ _RRDB表示第一个残差密集块；n表示残差密集块的个数；F_RRDB表示残差密集块的输出。

在完成线性堆叠操作后，将F_RRDB送入卷积层，表达式为：

F₀＝f_conv2(F_RRDB)

式中，f_conv2表示卷积层，F₀表示经残差密集块提取的特征图集经过卷积后的输出。将上面的F₀特征图集与输入进行长跳跃连接得到特征增强提取单元的最终输出F，表达式为：

F＝F₀+F_LR

上采样层，包括：两层卷积层及两个池化层，每层卷积层后对其进行池化，作用是接收之前所有网络提取的特征图集并对其进行插值获得目标尺寸。

卷积层，包括：两层卷积层，作用分别为获得高分辨图像以及改变通道数最终输出网络得到的超分辨率图像。

生成器，生成器中的生成网络采用ESRGAN中的生成网络，在功能上增加了对x2和x1倍的图像清晰度提升，对于x4倍的超分辨，网络与ESRGAN的生成器执行一致；对于x2和x1倍的超分辨，网络先进行Pixel-unshuffle(Pixel-shuffle的反操作，pixel-shuffle为通过压缩图像通道而对图像尺寸进行放大)，以降低图像分辨率为前提对图像通道数进行扩充，然后将处理后的图像输入网络进行超分辨重建。在本实施例中，Pixel-unshuffle的表达式包括：

C_{num_out_ch}＝C_{num_in_ch}*v

式中，C_{num_in_ch}和C_{num_out_ch}分别表示经过Pixel-unshuffle变换前后的输入、输出通道数目，v表示对通道的扩充倍数。

最后，对特征增强提取单元的最终输出F进行插值、卷积和池化操作最终得到重建的超分辨率图像，具体表达式为：

I^SR′＝f_lrelu(f_conv3(f_upsample(F)))

I^SR＝f_{conv_last}(f_lrelu(f_conv4(f_upsample(F))))

其中，f_conv3、f_conv4和f_{conv_last}代表不同的卷积操作，f_lrelu代表池化操作，f_upsample代表对输入进行上采样得到目标尺寸的输出，I^SR'代表上采样过程的中间网络输出结果，I^SR表示最终输出的超分辨率图片。

判别器，判别器中的网络包括：生成式对抗网络与VAE网络相结合，其中，VAE网络单元如图2所示。如图3所示，在判别器中使用EU-Net判别器对生成的图像进行真假判断，在U-Net的基础上加入VAE。判别网络在GAN中起到的作用是鉴别、判定生成器生成的图片是重建的图片还是原始的高分辨率图片，若判别器判定生成器产生的为真实图片损失不再产生否则损失会进一步反向传播进行权重的重置优化生成器促使生成更加逼真的图片。VAE接收来自U-Net网络提取的特征并对其处理得到能表征输入图片信息的空间变量。判别网络表达式包括：

δ＝F_VAE[F_U-Net(x)]

其中，

μ＝FC^μ(encoder(x^*))

Σ＝FC^Σ(encoder(x^*))

F_VAE＝μ+eps(e)*exp(Σ)

式中，F_U-Net表示经过U-Net网络处理；F_VAE表示经过VAE网络处理，δ为判别器的输出结果；encoder表示编码处理是三级卷积层，卷积核大小为：3，4，3，卷积后连接实例归一化和池化；FC^μ、FC^Σ为全连接操作改变均值和方差的维度；μ、Σ为输入向量经过卷积、线性层处理得到的均值和方差向量；e表示引入的随机噪声；eps表示取正态分布；*表示点乘操作；x^*表示经过U-Net网络的输出向量；δ表示判别器的输出结果。生成器和判别器先通过损失：L1 loss、Perceptual loss、GAN loss、VAE_loss训练最终的网络VESR_gan获得训练好的重建神经网络。损失共同通过反向传播对生成网络和判别网络进行参数的重置这种博弈促使最终得到主骨干网络重建图像使用的生成器。

上述的VAE的深层次特征表征具体方法为：(1)给变量编码添加符合高斯分布的噪声，编码器经过三层连续卷积、实例归一化和池化操作得到均值μ和方差Σ两个编码这两个向量分别表示为：(m₁,m₂,...,m_t)和(σ₁,σ₂,...,σ_t)，其中t表示向量的维数。

两个编码中对原编码μ保持不变，对Σ进行指数处理然后引入控制噪声干扰程度的编码(e₁,e₂,...,e_i)，其中i表示噪声向量的维数，此操作为随机噪声码分配权重并保证分配的权重是个正值，最后将原编码与噪声编码相加，得到VAE在code层的输出结果Z：

(μ,Σ)＝encoder(I_input)

Z＝μ+e_i*exp(Σ)

其中e_i表示引入噪声向量，i表示噪声向量的维度；eps表示取正态分布。主要的功能是表征输入的概率分布，判别器提取的概率分布和原始高分辨率图片一致则判定为真实图片损失不再产生否则损失会进一步反向传播进行权重的重置优化生成器促使生成符合目标的概率分布。

对VAE的网络结构进行优化，用实例归一化(Instance Normalization)代替常用的批归一化处理。IN和BN在本质上是同一种处理方式，区别是IN作用于单张图片(对单个图片的所有像素求均值和标准差)，而BN作用于一个batch(对一个batch里所有的图片的所有像素求均值和标准差)。IN之所以被单独提出，而且在Style Transfer、GAN等任务中独放异彩是由于在这些任务中需要突出的是单个图片的特点，而VAE中也强调的是学习单个图片的概率分布。

S3.利用训练样本训练神经网络，得到重建神经网络。

S3.1.先通过L1loss，训练以PSNR为导向的网络，获得的模型称为Pre_train。以Pre_train的网络参数进行网络初始化，损失函数设置为:L1loss、Perceptualloss、GANloss，VAE_loss训练最终的网络VESR_gan获得训练好的重建神经网络。

其中，VAE_loss包含两部分：重建损失、KL损失，重建损失是指生成器生成的图片和原始高分辨率图片之间的L1loss；而KL损失表达式为：

var＝exp(Σ)²

其中，p表示空间向量Z的维度数。

S3.2.对GAN网络的训练，生成器生成输入低分辨率图片对应的重建高分辨率图片，接着判别器对生成器重建的图片进行鉴定判定其真假，在训练过程中L1loss、Perceptualloss、GANloss，VAE_loss等损失共同通过反向传播对生成网络和判别网络进行参数的重置这种博弈促使生成器重建出更优的超分辨率图片。

S4.利用重建神经网络对待重建图像进行超分辨率重建。

基于S3训练好的重建神经网络对待重建图像进行超分辨率重建，之后将获得的超分辨率重建图像通过反向传播算法反馈给输入端，重复S1至S3；其中，在重复过程中使用均方误差作为损失函数，根据损失函数调整参数大小，反复迭代至达到预设要求，得到最终的目标图像。最终结果与其他方法效果对比如图4所示。

实施例二

如图5所示，为本实施例的系统结构示意图，包括：样本获取模块、构建模块、网络训练模块和重建样本模块。其中，样本获取模块用于通过模拟真实情景的退化过程构建数据集，来获取待重建图像的训练样本；构建模块用于构建神经网络；网络训练模块用于利用训练样本训练神经网络，得到重建神经网络；重建样本模块用于利用重建神经网络对待重建图像进行超分辨率重建。

首先，利用样本获取模块构建数据集，获取待重建图像的训练样本。

在本实施例中，样本获取模块利用更复杂的降级方式实现进一步模仿现实世界图片的退化过程，采用多层次退化方法获得样本对中的低分辨率图片，其中加入的退化因子包括：模糊、噪声、尺寸变换和压缩。

x＝D(y)＝[(y⊙k)↓_r+e]_JPEG

式中，y表示未经退化的高分辨率图片；⊙表示卷积操作；k表示模糊核；↓_r表示对图片进行下采样操作，r为采样因子；e表示添加的加性噪声；JPEG表示对图片进行图像压缩处理。

样本获取模块的工作流程包括：

对待重建图像I进行不同倍率的下采样，得到图像本身以及多个不同倍率的下采样版本I_m，m∈Z⁺，获得初始样本。

对上述流程获得的初始样本进行扩充，获取待重建图像的训练样本；

其中，扩充方式为：

I_e＝f(I_m,A,M)

式中，I_e是扩充后的图像样本，f是对样本集I_m进行增强操作，A是对图像进行不同角度的旋转，M是将图像进行镜像翻转；

对上述流程获得的I_e加入噪声，再进行压缩操作，上述操作方式为：

x₀＝D(I)＝[I_e+e]_JPEG

其中e是添加的加性噪声，JPEG是对图片进行图像压缩处理，x₀是经一阶退化的低分辨率图像；

对上述流程得到的x₀进行高阶退化处理，进一步模拟真实自然世界的图片退化过程，表达式为：

x＝Dⁿ(I)＝Dⁿ(D^n-1(..D¹(I)))

其中n表示退化网络的个数，经退化网络进行多次重复操作可以更加真实的模拟真实世界的退化。

之后，利用构建模块构建神经网络。

构建模块搭建生成式对抗神经网络，通过该网络学习高低分辨率训练样本对之间的映射关系来重建图像。

上述的神经网络包括：基本框架、生成器和判别器。

在本实施例中，骨干网络选择以ESRGAN网络为基本框架，基本框架包括：特征提取单元、特征增强提取单元、上采样层和卷积层。

构建特征提取单元的流程包括：利用卷积层对图像的特征进行浅层提取。具体流程包括：

(1)输入低分辨率图像I；

(2)设计特征提取层，建网络整体框架的特征提取单元中，是由层卷积核大小为3×3的卷积层构成，卷积的步长和填充都为1，表达式为：

其中，表示特征提取卷积网络中的卷积操作,F_LR表示输出结果，I_LR表示训练对中的低分辨率图像。

构建的特征增强提取单元，包括：若干Residual in Residual Dense Block(RRDBBlock)基本单元，其由残差密集块组成这种结构结合了多层残差网络和密集连接；所述若干基本单元的第一层的输入为特征提取单元输出的特征图，剩余层的输入为前一层的输出；所述若干卷积层的输出均为特征图；所有层之间的特征图采用长跳跃连接或短跳跃连接进行恒等映射，避免了模型发生退化。特征增强提取单元中，对特征提取的基本单元RRDBBlock进行了线性堆叠，堆叠过程表达式为：

F_RRDB＝fⁿ _RRDB(f^n-1 _RRDB(..f¹ _RRDB(F_LR)))

式中，fⁿ _RRDB表示当前层提取的图像特征；f^n-1 _RRDB表示前一层的输出特征；f¹ _RRDB表示第一个残差密集块；n表示残差密集块的个数；F_RRDB表示残差密集块的输出。

在完成完成线性堆叠操作后，将F_RRDB送入卷积层，表达式为：

F₀＝f_conv2(F_RRDB)

式中，f_conv2表示卷积层，F₀表示经残差密集块提取的特征图集经过卷积后的输出。将上面的F₀特征图集与输入进行长跳跃连接得到特征增强提取单元的最终输出F，表达式为：

F＝F₀+F_LR

上采样层，包括：两层卷积层及两个池化层，每层卷积层后对其进行池化，作用是接收之前所有网络提取的特征图集并对其进行插值获得目标尺寸。

卷积层，包括：两层卷积层，作用分别为获得高分辨图像以及改变通道数最终输出网络得到的超分辨率图像。

生成器，生成器中的生成网络采用ESRGAN中的生成网络，在功能上增加了对x2和x1倍的图像清晰度提升，对于x4倍的超分辨，网络与ESRGAN的生成器执行一致；对于x2和x1倍的超分辨，网络先进行Pixel-unshuffle(Pixel-shuffle的反操作，pixel-shuffle为通过压缩图像通道而对图像尺寸进行放大)，以降低图像分辨率为前提，对图像通道数进行扩充，然后将处理后的图像输入网络进行超分辨重建。在本实施例中，Pixel-unshuffle的表达式包括：

C_{num_out_ch}＝C_{num_in_ch}*v

式中，C_{num_in_ch}和C_{num_out_ch}分别表示经过Pixel-unshuffle变换前后的输入、输出通道数目，v表示对通道的扩充倍数。

最后，对特征增强提取单元的最终输出F进行插值、卷积和池化操作最终得到重建的超分辨率图像，具体表达式为：

I^SR′＝f_lrelu(f_conv3(f_upsample(F)))

I^SR＝f_{conv_last}(f_lrelu(f_conv4(f_upsample(F))))

其中，f_conv3、f_conv4和f_{conv_last}代表不同的卷积操作，f_lrelu代表池化操作，f_upsample代表对输入进行上采样得到目标尺寸的输出，I^SR'代表上采样过程的中间网络输出结果，I^SR表示最终输出的超分辨率图片。

判别器，判别器中的网络包括：生成式对抗网络与VAE网络相结合，其中，VAE网络单元如图2所示。如图3所示，在判别器中使用EU-Net判别器对单个生成的像素进行真假判断，在U-Net的基础上加入VAE。判别网络在GAN中起到的作用是鉴别、判定生成器生成的图片是重建的图片还是原始的高分辨率图片，若判别器若判定生成器产生的为真实图片损失不再产生否则损失会进一步反向传播进行权重的重置优化生成器促使生成更加逼真的图片。VAE接收来自U-Net网络提取的特征并对其处理得到能表征输入图片信息的空间变量。判别网络表达式包括：

δ＝F_VAE[F_U-Net(x)]

其中，

μ＝FC^μ(encoder(x^*))

Σ＝FC^Σ(encoder(x^*))

F_VAE＝μ+eps(e)*exp(Σ)

式中，F_U-Net表示经过U-Net网络处理；F_VAE表示经过VAE网络处理，δ为判别器的输出结果；encoder表示编码处理是三级卷积层且卷积核大小为：3，4，3，卷积后连接实例归一化和池化；e表示引入的随机噪声；eps表示取正态分布；*表示点乘操作；x^*表示经过U-Net网络的输出向量；δ表示判别器的输出结果。生成器和判别器先通过损失：L1 loss、Perceptual loss、GAN loss、VAE_loss训练最终的网络VESR_gan获得训练好的重建神经网络。损失共同通过反向传播对生成网络和判别网络进行参数的重置这种博弈促使最终得到主骨干网络重建图像使用的生成器。

上述的VAE的深层次特征表征具体方法为：(1)给变量编码添加符合高斯分布的噪声，编码器经过三层连续卷积、实例归一化和池化操作得到均值μ和方差Σ两个编码这两个向量分别表示为：(m₁,m₂,...,m_t)和(σ₁,σ₂,...,σ_t)，其中t表示向量的维数。

两个编码中对原编码μ保持不变，对Σ进行指数处理然后引入控制噪声干扰程度的编码(e₁,e₂,...,e_i)，其中i表示向量的维数，此操作为随机噪声码分配权重并保证分配的权重是个正值，最后将原编码与噪声编码相加，就得到了VAE在code层的输出结果Z：

(μ,Σ)＝encoder(I_input)

Z＝μ+e_i*exp(Σ)

其中e_i表示引入噪声向量，i表示噪声向量的维度；eps表示取正态分布。主要的功能是表征输入的概率分布，判别器提取的概率分布和原始高分辨率图片一致则判定为真实图片损失不再产生否则损失会进一步反向传播进行权重的重置优化生成器促使生成符合目标的概率分布。

对VAE的网络结构进行优化，用实例归一化(Instance Normalization)代替常用的批归一化处理。IN和BN在本质上是同一种处理方式，区别是IN作用于单张图片(对单个图片的所有像素求均值和标准差)，而BN作用于一个batch(对一个batch里所有的图片的所有像素求均值和标准差)。IN之所以被单独提出，而且在Style Transfer、GAN等任务中独放异彩是由于在这些任务中需要突出的是单个图片的特点，而VAE中也强调的是学习单个图片的概率分布。

在本实施例中，通过网络训练模块来利用训练样本训练神经网络，得到重建神经网络。

工作流程包括：先通过L1loss，训练以PSNR为导向的网络，获得的模型称为Pre_train。以Pre_train的网络参数进行网络初始化，损失函数设置为：L1loss、Perceptualloss、GANloss，VAE_loss训练最终的网络VESR_gan获得训练好的重建神经网络。

其中，VAE_loss包含两部分：重建损失、KL损失，重建损失是指生成器生成的图片和原始高分辨率图片之间的L1loss；而KL损失表达式为：

var＝exp(Σ)²

其中，p表示空间向量Z的维度数。

之后对GAN网络的训练，生成器生成输入低分辨率图片对应的重建高分辨率图片，接着判别器对生成器重建的图片进行鉴定判定其真假，在训练过程中L1loss、Perceptualloss、GANloss，VAE_loss等损失共同通过反向传播对生成网络和判别网络进行参数的重置这种博弈促使生成器重建出更优的超分辨率图片。

最后，通过重建样本模块利用重建神经网络对待重建图像进行超分辨率重建。

重建样本模块基于网络训练模块训练好的重建神经网络对待重建图像进行超分辨率重建，之后将获得的超分辨率重建图像通过反向传播算法反馈给输入端，重复上述系统工作流程；其中，在重复过程中使用均方误差作为损失函数，根据损失函数调整参数大小，反复迭代至达到预设要求，得到最终的目标图像。最终结果与其他方法效果对比如图4所示。

实施例三

本实施例通过对比计算峰值信噪比(PSNR)和结构相似度(SSIM)来衡量图像超分辨率重建效果。

均方误差(MSE)可以反映重建图像和原始图像之间的差异性，公式如下所示：

式中，ξ表示图像数据的行、列数；X_i,j表示原始图像第i行第j列的像素值，Y_i,j表示重建图像第i行第j列的像素值；

峰值信噪比(PSNR)反应了重建图像的逼真度，计算公式如下所示：

式中，L表示图像像素点的动态变化范围。

SSIM是评测图像间的相似程度，其取值范围是[0,1]。SSIM的取值越大，图像的重建效果越好。该指标主要是从亮度、对比度以及结构这三个方面来衡量两幅图像的相似度，具体计算方式如下所示：

SSIM(I_L,I_H)＝L(I_L,I_H)*C(I_L,I_H)*S(I_L,I_H)

其中，表示图像I_L的均值；/>表示图像I_H的均值；/>和/>分别表示图像I_L和I_H的像素的方差；/>表示I_L与I_H之间的协方差；另外，K₁，K₂以及K₃表示常数；K₁＝(a*C)²，K₂＝(b*C)²，K₃＝0.5K₂，通常a＝0.01，b＝0.03，C＝255。在实际的操作中，对于计算得到的均值、方差以及协方差可以用高斯函数来计算具体的参数，这样做可以在一定程度上保证获得更高的算法性能。图像的亮度、对比度以及结构这三项也可以通过一定的参数表示它们之间的比例关系，假设λ＞0，α＞0以及β＞0，则可以用这三个参数调整比例关系，如公式所示：

当λ＝1，α＝1，β＝1时，上述公式可以写成：

在本实施例中搭建的网络还包含变分自编码单元和实例归一化单元，为了验证添加这些单元的必要性和有效性，本实施例设计了三种网络结构在数据集Set5上以采样因子4X做了对比试验。三种网络结构分别是：结构1：无变分自编码+无实例归一化；结构2：有变分自编码+无实例归一化；结构3：有变分自编码+有实例归一化。三种网络结构的峰值信噪比和结构相似度如下表1所示：

表1

分析表1可知，结构3的PSNR、SSIM值最高，即当网络结合了变分自编码、实例归一化单元，对图像的超分辨率重建效果更好。

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。

Claims (3)

1.一种基于变分自编码的盲图像超分辨率重建方法，其特征在于，步骤包括：

通过模拟真实情景的退化过程构建数据集，来获取待重建图像的训练样本；

构建神经网络；所述神经网络包括：基本框架、生成器和判别器；其中，所述基本框架包括：特征提取单元、特征增强提取单元、上采样层和卷积层；

所述特征提取单元由层卷积核大小为3×3的卷积层构成，卷积的步长和填充都为1，表达式包括：

式中，/>表示特征提取卷积网络中的卷积操作，/>表示输出结果，表示低分辨率图像；

所述特征增强提取单元包括：若干基本单元；所述基本单元的第一层的输入为所述特征提取单元输出的特征图，剩余层的输入为前一层的输出；所述卷积层的输出均为特征图；所有层之间的特征图采用长跳跃连接或短跳跃连接进行恒等映射，避免模型发生退化；

对所述特征增强提取单元的最终输出进行插值、卷积和池化操作最终得到重建的超分辨率图像：

式中，/>和/>代表不同的卷积操作，/>代表池化操作，/>代表对输入进行上采样得到目标尺寸的输出，/>代表上采样过程的中间网络输出结果，/>表示最终输出的超分辨率图片；

所述生成器中的生成网络采用ESRGAN中的生成网络，在功能上增加了对x2和x1倍的图像清晰度提升，对于x4倍的超分辨，网络与ESRGAN的生成器执行一致；对于x2和x1倍的超分辨，网络先进行Pixel-unshuffle，以降低图像分辨率为前提对图像通道数进行扩充，然后将处理后的图像输入网络进行超分辨重建；

所述判别器中的网络包括：生成式对抗网络与VAE网络相结合；所述判别器使用EU-Net判别器对生成的图像进行真假判断，在U-Net的基础上加入VAE；判别网络在GAN中起到的作用是鉴别、判定所述生成器生成的图片是重建的图片还是原始的高分辨率图片，若所述判别器判定所述生成器产生的为真实图片，则损失不再产生；否则损失会进一步反向传播，进行权重的重置优化，促使所述生成器生成更加逼真的图片；VAE接收来自U-Net网络提取的特征并对其处理得到能表征输入图片信息的空间变量；所述判别网络的表达式包括：

其中，

式中，/>表示经过U-Net网络处理；/>表示经过VAE网络处理，/>为判别器的输出结果；/>表示编码处理是三级卷积层且卷积核大小为：3，4，3，卷积后连接实例归一化和池化；/>为全连接操作改变均值和方差的维度；/>为输入向量经过卷积、线性层处理得到的均值和方差向量；/>表示引入的随机噪声；/>表示取正态分布；/>表示点乘操作；/>表示经过U-Net网络的输出向量；/>表示判别器的输出结果；利用所述训练样本训练所述神经网络，得到重建神经网络；步骤包括：

通过L1 loss，训练以PSNR为导向的网络，获得Pre_train模型；

以所述Pre_train模型的网络参数进行网络初始化，损失函数设置为：L1 loss、Perceptual loss、GAN loss和VAE_loss用以训练最终的网络VESR_gan，得到所述重建神经网络；

之后，损失共同通过反向传播对生成网络和判别网络进行参数的重置，这种博弈促使最终得到主骨干网络重建图像使用的生成器；

利用所述重建神经网络对待重建图像进行超分辨率重建。

2.根据权利要求1所述的基于变分自编码的盲图像超分辨率重建方法，其特征在于，获取所述训练样本的方法包括：利用降级方式模仿现实世界图片的退化过程，采用多层次退化方法获得样本对中的低分辨率图片：

式中，/>表示未经退化的高分辨率图片；/>表示卷积操作；/>表示模糊核；/>表示对图片进行下采样操作，/>为采样因子；/>表示添加的加性噪声；/>表示对图片进行图像压缩处理。

3.一种基于变分自编码的盲图像超分辨率重建系统，其特征在于，包括：样本获取模块、构建模块、网络训练模块和重建样本模块；

所述样本获取模块用于通过模拟真实情景的退化过程构建数据集，来获取待重建图像的训练样本；

所述构建模块用于构建神经网络；所述神经网络包括：基本框架、生成器和判别器；其中，所述基本框架包括：特征提取单元、特征增强提取单元、上采样层和卷积层；

所述特征提取单元由层卷积核大小为3×3的卷积层构成，卷积的步长和填充都为1，表达式包括：

式中，/>表示特征提取卷积网络中的卷积操作，/>表示输出结果，表示低分辨率图像；

所述特征增强提取单元包括：若干基本单元；所述基本单元的第一层的输入为所述特征提取单元输出的特征图，剩余层的输入为前一层的输出；所述卷积层的输出均为特征图；所有层之间的特征图采用长跳跃连接或短跳跃连接进行恒等映射，避免模型发生退化；

对所述特征增强提取单元的最终输出进行插值、卷积和池化操作最终得到重建的超分辨率图像：

式中，/>和/>代表不同的卷积操作，/>代表池化操作，/>代表对输入进行上采样得到目标尺寸的输出，/>代表上采样过程的中间网络输出结果，/>表示最终输出的超分辨率图片；

所述生成器中的生成网络采用ESRGAN中的生成网络，在功能上增加了对x2和x1倍的图像清晰度提升，对于x4倍的超分辨，网络与ESRGAN的生成器执行一致；对于x2和x1倍的超分辨，网络先进行Pixel-unshuffle，以降低图像分辨率为前提对图像通道数进行扩充，然后将处理后的图像输入网络进行超分辨重建；

所述判别器中的网络包括：生成式对抗网络与VAE网络相结合；所述判别器使用EU-Net判别器对生成的图像进行真假判断，在U-Net的基础上加入VAE；判别网络在GAN中起到的作用是鉴别、判定所述生成器生成的图片是重建的图片还是原始的高分辨率图片，若所述判别器判定所述生成器产生的为真实图片，则损失不再产生；否则损失会进一步反向传播，进行权重的重置优化，促使所述生成器生成更加逼真的图片；VAE接收来自U-Net网络提取的特征并对其处理得到能表征输入图片信息的空间变量；所述判别网络的表达式包括：

其中，

式中，/>表示经过U-Net网络处理；/>表示经过VAE网络处理，/>为判别器的输出结果；/>表示编码处理是三级卷积层且卷积核大小为：3，4，3，卷积后连接实例归一化和池化；/>为全连接操作改变均值和方差的维度；/>为输入向量经过卷积、线性层处理得到的均值和方差向量；/>表示引入的随机噪声；/>表示取正态分布；/>表示点乘操作；/>表示经过U-Net网络的输出向量；/>表示判别器的输出结果；利用所述训练样本训练所述神经网络，得到重建神经网络；步骤包括：

通过L1 loss，训练以PSNR为导向的网络，获得Pre_train模型；

以所述Pre_train模型的网络参数进行网络初始化，损失函数设置为：L1 loss、Perceptual loss、GAN loss和VAE_loss用以训练最终的网络VESR_gan，得到所述重建神经网络；

之后，损失共同通过反向传播对生成网络和判别网络进行参数的重置，这种博弈促使最终得到主骨干网络重建图像使用的生成器；

所述网络训练模块用于利用所述训练样本训练所述神经网络，得到重建神经网络

所述重建样本模块用于利用所述重建神经网络对待重建图像进行超分辨率重建。