CN112348743B - 一种融合判别式网络和生成式网络的图像超分辨率方法 - Google Patents

Abstract

本发明公开一种融合判别式网络和生成式网络的图像超分辨率方法，包括步骤：由包括超分辨率网络和梯度域变分自编码器网络的变分混合网络处理，超分辨率网络包括多个顺序连接的残差块RB所形成的残差网络，每个残差块RB依次包括基本卷积层、空间特征选择层SFS和空间特征变换层SFT；超分辨率网络通过一个卷积层从低分辨率图像I_LR中提取浅层特征F₀后，送到残差网络，根据梯度域变分自编码器网络输出的调制因子特征调制，提取深层特征，对残差网络输出的深层特征送入尺度提升网络尺度提升后，再经卷积后得重建图像I_SR。本发明使合成图像更加逼真和具有丰富纹理。

Description

一种融合判别式网络和生成式网络的图像超分辨率方法

技术领域

本发明涉及图像超分技术领域，特别是涉及一种融合判别式网络和生成式网络的图像超分辨率方法。

背景技术

图像超分辨是旨在从输入的低分辨率(Low Resolution，LR)图像中重建高分辨率(High Resolution，HR)图像的转换技术，同时尽可能减少视觉干扰。大尺度的高分辨率图像通常能提供更多需要的信息，可以应用于许多领域，如监视、医学成像、卫星成像和消费摄影。由于同一低分辨率图像存在多个对应的高分辨率图像，因此超分辨率(SuperResolution，SR)是一个典型的不适定反问题。此外，低分辨率图像中引入的模糊和噪声等退化因素会使高分辨率图像的重建过程更加困难。因此，探索自然图像的有效先验知识，HR-LR图像对的正确映射，甚至语义信息的生成是有必要的，以此找到视觉质量最好的高分辨率解决方案。

早期图像超分辨框架主要是基于插值和基于重构的方法。典型的基于插值的方法是利用各种基函数或插值核来预测未知像素值，从而生成高分辨率图像。虽然这些方法简单、快速，但由于其实质是对相邻像素进行加权，容易抹去高分辨率图像中的高频成分，使其性能受到限制。基于重构的方法强调对高分辨率图像的潜在解进行适当约束。在统计框架中，各种正则化方法作为先验知识来描述目标高分辨率图像的一些理想特性。重要的正则化策略包括全变差、非局部、图像梯度和结构统计。尽管如此，这一领域的工作经常会引入振铃效应，并且很难恢复精细的纹理，这是因为以一种相当固定的或启发式的方式获得的先验知识不足以代表自然图像的多样化模式。

为了获得更好的感知质量，最近的超分辨率进展是基于学习的方法。在早期阶段，核心思想是学习低分辨率图像块和对应的高分辨率图像块之间的映射关系。基于实例的方法通过利用自然图像的自相似性或图像块重复来估计输入低分辨率图像中丢失的高频细节。基于相邻嵌入的方法通常是假设低分辨率图像和相应的高分辨率图像的两个流形具有相似的局部几何形状来生成高分辨率图像。基于稀疏编码的方法假设每个HR-LR图像对与从图像块数据库中训练出来的HR-LR字典对具有相同的稀疏表示，从而推断出高质量的高分辨率图像。对于这些方法，高分辨率图像的先验知识是动态学习的，而不是启发式提供的。虽然基于学习的方法取得了具有挑战性的结果，但相对于巨大的训练数据源，其建模能力仍然有限，制约重建质量的提高。

目前，深度学习技术取得了比大多数现有超分辨率方法更好的性能，成为图像超分辨研究的主流趋势。卷积神经网络具有强大的表示能力，可以通过纯数据驱动的方式学习低分辨率图像和对应的高分辨率图像之间的端到端映射。深度学习方法在超分辨率领域的开创性工作通过学习低分辨率和高分辨率图像对之间的非线性映射函数，取得了显著优于传统非深度学习方法的性能。基于这个工作，更多的网络结构被提出，例如残差连接结构、密集连接结构、注意力机制等，随着网络深度的不断增加，多种先进的方法进行高效的融合加之训练策略的不断改进进一步提高了超分辨率的性能。然而，在采用基于特征的损失函数和客观质量评估时，由于无法很好地学习HR-LR纹理之间复杂的映射，这些网络往往会在没有足够高频细节的情况下产生过于平滑的结果。

为了进一步提高超分辨率结果的视觉质量，生成对抗网络被用于解决超分辨率问题，使超分辨率的重建结果看起来更像自然图像。大量基于生成对抗网络的超分辨方法被提出，产生了更加满足人类视觉感知的重建结果，包括使用相对生成对抗网络来让判别器预测相对真实度以及基于语义信息等方法，使得超分辨率的结果更加真实。这些方法针对双三次降采样输入取得了令人满意的视觉效果，但是在真实世界中性能受到了限制。因此大量针对真实世界图像超分辨率的基于生成对抗网络的方法被提出，包括数据域间变换、频率分离、核估计等方法，在真实世界超分辨率重建上获得了更好的视觉感知质量。虽然这些生成模型是由感知度量驱动的，可以显著改善恢复的纹理细节，但由于生成对抗网络训练的不稳定性，也会引入不真实的细节和多余的伪影。实际上，超分辨率结果与基准真值图像之间仍然存在明显的差距

发明内容

本发明的目的是针对现有技术中的问题，而提供一种融合判别式网络和生成式网络的图像超分辨率方法。提出变分混合网络，通过结合判别式网络和生成式网络来学习特征表示，进一步提高了生成的高分辨率图像的整体质量。

为实现本发明的目的所采用的技术方案是：

一种融合判别式网络和生成式网络的图像超分辨率方法，包括步骤：

由变分混合网络处理完成，所述变分混合网络包括超分辨率网络和梯度域变分自编码器网络，所述超分辨率网络包括多个顺序连接的残差块RB所形成的残差网络，每个残差块RB依次包括基本卷积层、空间特征选择层SFS和空间特征变换层SFT；

所述超分辨率网络通过一个卷积层从低分辨率图像I_LR中提取浅层特征F₀后，送到所述残差网络进行深层特征提取以及特征调制，对所述残差网络提取并输出的深层特征送入尺度提升网络进行尺度提升后，再经卷积后得重建图像I_SR；

上述特征调制用的调制因子由所述梯度域变分自编码器网络利用低分辨率图像I_LR的梯度图像获得并输出；参数T用于调整并行卷积滤波器的权值，参数R用于控制特征映射的仿射变换；第m个残差块的特征提取操作如下：

其中

表示第m个残差块的特征提取操作，

代表第m个空间特征选择层SFS和空间特征变换层SFT的调制操作，

和

分别表示第m个残差块和第m-1个残差块的输出特征。

其中，所述梯度域变分自编码器网络包括：

梯度图形成模块，用于通过计算相邻像素之间的差，得到图像的梯度图。

其中，所述梯度域变分自编码器网络包括：

变分自编码器，是一个具有自编码式架构的生成模型，用于将输入的梯度特征x编码为一组潜在的随机变量z；然后，随机变量z通过解码器转换成参数T、R输出；

z＝μ+∈⊙exp(0.5·log var),

x＝G(I_LR)，

式中，G(·)代表提取梯度图的操作，⊙表示哈达玛积，∈表示标准高斯分布采样，均值μ和对数方差log var是变分自编码器的编码输出。

其中，所述变分自编码器包括依次卷积网络、平均池化层、重建层、全连接层、LeakyRelu层、全连接层、LeakyRelu层以及sigmoid层；所述卷积网络依次包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块。

其中，所述第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块均包括正卷积层以及反卷积层，所述第一卷积模块、第二卷积模块的正卷积层为卷积层-LeakyRelu层-卷积层-LeakyRelu层的结构；所述第三卷积模块、第四卷积模块的正卷积层为卷积层-LeakyRelu层的结构；所述第五卷积模块与所述第三卷积模块正卷积层的结构相同；所述反卷积层为卷积层-LeakyRelu层的结构。

其中，所述解码器包括多个顺序布置的全连接层FC，相邻全连接层FC之间布置有LeakyReLU单元。

其中，所述空间特征选择层SFS，用于将参数T通过全连接层转变成调制参数{ω_k}_k，结合多个并行卷积核，一组

作为权重对特征选择过程中分离的通道进行卷积，调制过程表示为:

其中，g_m为通过全连接层的第m个变换函数，利用输出的权重对并行卷积参数W_k和b_k进行加权求和，获得调制后的卷积层参数，X_in和X_out是特征图

过调制后卷积层的输入和输出。

其中，所述空间特征变换层SFT，用于将输入的参数R通过全连接层编码为成对的仿射变换参数

仿射调制公式为:

Y_out＝β_i⊙Y_in+γ_i,0＜i≤C

其中Y_in和Y_out分别表示输入和输出特征图,C为特征图的数量,使用全连接层自适应地生成调制参数γ_i和β_i，作用于相应特征图；每个残差块中，空间仿射调制层放置在空间选择性调制层的后面进行联合优化，促进中间特征的连续调整。

其中，所述的变分混合网络的损失函数表示如下：

L_VHN＝λ₁L_C+λ₂L_G+λ₃L_P+λ₄L_D，

其中λ₁，λ₂，λ₃和λ₄是调节不同损失项的超参数，

L_c表示内容损失项，计算网络输出图像H_VHN(I_LR)与基准真值图像I_HR之间的一范数距离，利用该内容损失项来加快变分混合网络的收敛速度，促进图像内容的一致性；

L_G表示梯度损失项，最小化生成的超分辨率图像和高分辨率图像中提取的梯度图的差异，

和

是超分辨率重建图像在水平和垂直方向上的梯度图；

和

是高辨率重建图像在水平和垂直方向上的梯度图；

L_p表示感知损失项，通过感知相似度来提高恢复图像的视觉质量，使用预先训练好的19层VGG网络来提取包含语义信息的特征，

表示VGG19网络中激活层前的第i层的输出特征，感知定义为重建超分辨率图像的特征与高分辨率图像特征之间的欧氏距离；

L_D表示分布损失项，使用KL散度来约束z，M表示z的维数，给定N个数据样本，后验分布q_φ(z|x)通过KL散度进行约束，P(z)表示先验分布。

本发明利用判别式架构构建深度超分辨率网络，通过对图像内容的学习来提取多尺度、多层次的特征；在每个表征阶段逐渐恢复高分辨率图像的高频信息。为了合成更加逼真和丰富的纹理，设计了梯度域变分自编码器来促进特征解耦和特征图的调制；梯度域变分自编码器网络采用即插即用的方式，有助于增强此超分辨率方法的泛化性能。

附图说明

图1是本发明的融合判别式网络和生成式网络的图像超分辨率方法的结构示意图；

图2是本发明的梯度域变分自编码器网络的结构示意图；

图3是将梯度图特征转换后输出潜在向量z的网络结构图；

图4是本发明的空间特征选择层的网络结构示意图；

图5是本发明的空间特征变换层的网络结构示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明融合判别式网络和生成式网络的图像超分辨率方法，是为了适当地平衡超分辨率结果的视觉质量和失真指标，通过对超分辨率任务的生成策略进行调整后实现的。

本发明提出了一个变分混合网络来生成高质量的高分辨率图像。通过利用判别式网络和生成式网络的优势，提出的变分混合网络展现了强大的特征表示能力。

本发明设计了一个梯度域变分自编码器网络来调制超分辨率网络的特征图和卷积滤波，所提出的梯度域变分自编码器网络在增强特征识别和恢复真实细节等方面都显示了一定的优势。

本发明提出将梯度和分布差异作为损失项来度量，在保持超分辨率图像的良好外观的同时避免了不自然的超分辨率结果，更好地重建全局几何结构。

如图1所示，本发明融合判别式网络和生成式网络的图像超分辨率方法，包括步骤：

由变分混合网络处理完成，所述变分混合网络包括超分辨率网络和梯度域变分自编码器网络，所述超分辨率网络包括多个顺序连接的残差块RB所形成的残差网络，每个残差块RB依次包括基本卷积层、空间特征选择层SFS和空间特征变换层SFT；

所述超分辨率网络通过一个卷积层从低分辨率图像I_LR中提取浅层特征F₀后，送到所述残差网络进行深层特征提取以及特征调制，对所述残差网络提取并输出的深层特征送入尺度提升网络进行尺度提升后，再经卷积后得重建图像I_SR。

具体内容如下：

1.本发明提出的网络结构—变分混合网络(Variational Hybrid Network，VHN)，如图1所示，包括两个分支:超分辨率网络和梯度域变分自编码器网络。

超分辨率网络由D个残差块(Residual Block，RB)组成，每个残差块包括基本卷积(Convolution，Conv)层、空间特征选择(Spatial Feature Selectivity，SFS)层和空间特征变换(Spatial Feature Transformation，SFT)层。特征图和滤波参数可以通过相应的层进行调整，有利于生成更加多样化的特征。在初始阶段，使用一个卷积层从低分辨率图像I_LR中提取浅层特征F₀:

F₀＝H_SF(I_LR) (1)

其中H_SF(·)表示特征提取操作。然后，将提取的特征F₀送入后续阶段进行深度特征提取和特征调制。

本发明利用变分自编码器来获得调制因子，具体来说，输入图像I_LR的梯度图被进一步送入梯度域变分自编码器分支获得两组调制变量

将获得的变量T和R作为第m个残差块的输入进行联合调制。参数T用于调整并行卷积滤波器的权值，而R用于控制特征映射的仿射变换。

其中

表示第m个残差块的特征提取操作，

和

代表第m个SFS和SFT层的调制操作，

和

分别表示第m个残差块和第m-1个残差块的输出特征；然后，对提取的深层特征进行尺度提升，最后利用一个卷积层得到重建图像I_SR。

本发明提出的变分混合网络的整体过程可以表示为:

I_SR＝H_VHN(I_LR；θ_VAE,θ_SR,θ_α) (3)

其中，H_VHN(·)代表本发明提出的变分混合网络函数。θ_VAE,θ_SR和θ_α分别代表梯度域变分自编码器网络,超分辨率网络和全连接层(Fully Connected layer，FC)的参数。

作为一个实施例，本发明提出的梯度域变分自编码器网络结构如图2所示。梯度域变分自编码器旨在将梯度图从低分辨率模态转换为高分辨率模态。通过计算相邻像素之间的差，得到图像I的梯度图:

其中G(·)代表提取梯度图的操作，梯度图的元素为坐标(u,v)处的梯度强度，梯度强度可以揭示丰富的结构信息。考虑到HR-LR图像对的边缘锐度差异，本发明使用基本卷积层来捕获结构依赖关系，从而生成高分辨率图像的近似梯度图。如图1所示，将提取的梯度特征输入到变分自编码器中，投影到超分辨率的潜在空间中。

变分自编码器是一个具有自编码式架构的生成模型，输入特征x被编码为一组潜在的随机变量

一个潜在变量z能够从一个后验分布P_θ(z|x)∝P_θ(x|z)P(z)中生成。

先验分布P(z)被设置为一个标准的高斯分布。模型P_θ(x|z)是一个权重为θ的神经网络。由于神经网络的复杂非线性映射,导致了难以处理的后验分布P_θ(z|x)。在变分自编码器中，一个近似分布q_φ(z|x)被选为后验，这也被建模为一个权重为φ的神经网络。标准变分自编码器的目标是优化参数θ和φ，最大化下面的变分下限:

其中，第一项为x通过变分自编码器网络重构的精度。第二项用作正则化，最大化注入的噪声的熵，并在近似的先验和后验之间施加Kullback-Leibler(KL)散度。梯度信息x＝G(I_LR)通过多个卷积层与非线性全连接层翻译到可学习的潜在空间编码z中。潜在空间假定为近似高斯分布。为了计算变分下界的梯度，采用下面定义的重参数化技巧:

其中⊙表示哈达玛积，∈表示标准高斯分布采样，

表示均值为0，标准差为I的标准高斯分布。均值μ和对数方差log var是变分自编码器的编码输出，exp(·)表示指数函数。然后通过反向传播计算网络参数的梯度，从而利用随机梯度下降法有效地优化变分下界。如图3所示，为了进一步有效控制超分辨率网络的特征，潜在向量z通过由多个全连接层组成的网络转换成输出变量{T,R}。设计良好的梯度域变分自编码器网络能够承载丰富的结构信息，有利于大尺度高分辨率图像的恢复。因此，超分辨率网络可以更加关注特征的空间关系，提高重构性能。

本发明提出两种空间特征调制方法，分别为SFS层和SFT层，根据输入图像的特点自适应控制重建结果。两个设计层的详细结构如图4，5所示，两种联合调制策略采用了局部到全局的方式进行设计。空间选择性调制能够对超分辨率网络的内核进行调制，生成更加真实和丰富的纹理。利用空间仿射调制对超分辨率网络的中间通道特征图进行调制，使变分混合网络在保持全局拓扑信息的同时，能够准确地学习图像的内容。

如图4所示，可学习变量T被送入所有SFS层通过全连接层进一步转变成调制参数{ω_k}_k。为了持续修正与细节相关的基本视觉特征，本发明使用正弦函数作为周期变换层。结合多个并行卷积核，一组

作为权重对特征选择过程中分离的通道进行卷积。调制过程可以表示为:

其中，g_m为通过全连接层的第m个变换函数。利用输出的权重对并行卷积参数W_k和b_k进行加权求和，获得调制后的卷积层参数。X_in和X_out是特征图

通过调制后卷积层的输入和输出。

如图5所示，潜在变量R被送入SFT层，使用全连接层编码为成对的仿射变换参数

这种空间特征调制用来缩放和偏移特定层的每个特征图，从而以全局的方式提供对中间特征的调制。该仿射调制公式为:

Y_out＝β_i⊙Y_in+γ_i,0＜i≤C (8)

其中Y_in和Y_out分别表示输入和输出特征图，C为特征图的数量。使用全连接层自适应地生成调制参数γ_i和β_i，作用于相应特征图。在每个残差块中，空间仿射调制层放置在空间选择性调制层的后面进行联合优化，促进中间特征的连续调整。

为了在超分辨率任务中获得良好的感知-失真平衡，本发明设计了一个新的损失函数作为优化目标来进行变分混合网络的训练，新的损失函数有助于生成最优的高分辨率图像。在这个过程中，变分混合网络使用一个训练集{I_LR,I_HR}进行训练，其中包含低分辨率图像以及对应的高分辨率图像。

内容损失项：该项计算网络输出图像H_VHN(I_LR)与基准真值图像I_HR之间的一范数距离。利用该项来加快本发明提出的变分混合网络的收敛速度，促进图像内容的一致性:

梯度损失项：本发明通过该项最小化生成的超分辨率图像和高分辨率图像中提取的梯度图的差异。梯度图可以很好地反映图像的结构信息，进而保持超分辨率图像的良好外观同时避免不自然的超分辨率结果，例如几何畸变。梯度损失项表述如下

其中

和

是超分辨率重建图像在水平和垂直方向上的梯度图。类似地，高分辨率图像也需要计算

和

感知损失项：该项通过感知相似度来提高恢复图像的视觉质量。使用预先训练好的19层VGG网络来提取包含语义信息的特征。本发明将这种损失定义为重建超分辨率图像的特征与高分辨率图像特征之间的欧氏距离，

其中

表示VGG19网络中激活层前的第i层的输出特征。

分布损失项：本发明使用KL散度来约束潜在空间z，M表示z的维数。给定N个数据样本，后验分布q_φ(z|x)通过KL散度进行约束:

本发明提出的新的损失函数为以上各损失项的加权和，表示如下：

L_VHN＝λ₁L_C+λ₂L_G+λ₃L_P+λ₄L_D (13)

其中λ₁，λ₂，λ₃和λ₄是调节不同损失项的超参数。

在本发明提出的模型中，梯度域变分自编码器网络与超分辨率网络使用相同的损失函数进行端到端的训练。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.融合判别式网络和生成式网络的图像超分辨率方法，其特征在于，由变分混合网络处理完成，所述变分混合网络包括作为判别式网络的超分辨率网络和作为生成式网络的梯度域变分自编码器网络，所述超分辨率网络包括多个顺序连接的残差块RB所形成的残差网络，每个残差块RB依次包括基本卷积层、空间特征选择层SFS和空间特征变换层SFT；

所述超分辨率网络通过一个卷积层从低分辨率图像I_LR中提取浅层特征F₀后，送到所述残差网络进行深层特征提取以及特征调制，对所述残差网络提取并输出的深层特征送入尺度提升网络进行尺度提升后，再经卷积后得重建图像I_SR；

上述特征调制用的调制因子由所述梯度域变分自编码器网络利用低分辨率图像I_LR的梯度图像获得并输出；参数T用于调整并行卷积滤波器的权值，参数R用于控制特征映射的仿射变换；第m个残差块的特征提取操作如下：

其中

表示第m个残差块的特征提取操作，

代表第m个空间特征选择层SFS和空间特征变换层SFT的调制操作，

和

分别表示第m个残差块和第m-1个残差块的输出特征。

2.根据权利要求1所述融合判别式网络和生成式网络的图像超分辨率方法，其特征在于，所述梯度域变分自编码器网络包括：

梯度图形成模块，用于通过计算相邻像素之间的差，得到图像的梯度图。

3.根据权利要求2所述融合判别式网络和生成式网络的图像超分辨率方法，其特征在于，所述梯度域变分自编码器网络包括：

变分自编码器，是一个具有自编码式架构的生成模型，用于将输入的梯度特征x编码为一组潜在的随机变量z；然后，随机变量z通过解码器转换成参数T、R输出；

x＝G(I_LR)

式中，G(·)代表提取梯度图的操作，⊙表示哈达玛积，∈表示标准高斯分布采样，均值μ和对数方差logvar是变分自编码器的编码输出。

4.根据权利要求3所述融合判别式网络和生成式网络的图像超分辨率方法，其特征在于，所述变分自编码器依次包括卷积网络、平均池化层、重建层、全连接层、LeakyRelu层、全连接层、LeakyRelu层以及sigmoid层；所述卷积网络依次包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块。

5.根据权利要求4所述融合判别式网络和生成式网络的图像超分辨率方法，其特征在于，所述第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块均包括正卷积层以及反卷积层，所述第一卷积模块、第二卷积模块的正卷积层为卷积层-LeakyRelu层-卷积层-LeakyRelu层的结构；所述第三卷积模块、第四卷积模块的正卷积层为卷积层-LeakyRelu层的结构；所述第五卷积模块与所述第三卷积模块正卷积层的结构相同；所述反卷积层为卷积层-LeakyRelu层的结构。

6.根据权利要求3所述融合判别式网络和生成式网络的图像超分辨率方法，其特征在于，所述解码器包括多个顺序布置的全连接层FC，相邻全连接层FC之间布置有LeakyReLU单元。

7.根据权利要求3所述融合判别式网络和生成式网络的图像超分辨率方法，其特征在于，所述空间特征选择层SFS，用于将参数T通过全连接层转变成调制参数{ω_k}_k，结合多个并行卷积核，一组

作为权重对特征选择过程中分离的通道进行卷积，调制过程表示为:

其中，g_m为通过全连接层的第m个变换函数，利用输出的权重对并行卷积参数W_k和b_k进行加权求和，获得调制后的卷积层参数，X_in和X_out是特征图

通过调制后卷积层的输入和输出。

8.根据权利要求3所述融合判别式网络和生成式网络的图像超分辨率方法，其特征在于，所述空间特征变换层SFT，用于将输入的参数R通过全连接层编码为成对的仿射变换参数

仿射调制公式为:

Y_out＝β_i⊙Y_in+γ_i,0＜i≤C

其中Y_in和Y_out分别表示输入和输出特征图,C为特征图的数量,使用全连接层自适应地生成调制参数γ_i和β_i，作用于相应特征图；每个残差块中，空间仿射调制层放置在空间选择性调制层的后面进行联合优化，促进中间特征的连续调整。

9.根据权利要求3所述融合判别式网络和生成式网络的图像超分辨率方法，其特征在于，所述的变分混合网络的损失函数表示如下：

L_VHN＝λ₁L_C+λ₂L_G+λ₃L_P+λ₄L_D，

其中λ₁，λ₂，λ₃和λ₄是调节不同损失项的超参数，

L_c表示内容损失项，计算网络输出图像H_VHN(I_LR)与基准真值图像I_HR之间的一范数距离，利用该内容损失项来加快变分混合网络的收敛速度，促进图像内容的一致性；

L_G表示梯度损失项，最小化生成的超分辨率图像和高分辨率图像中提取的梯度图的差异，

和

是超分辨率重建图像在水平和垂直方向上的梯度图；

和

是高辨率重建图像在水平和垂直方向上的梯度图；

L_p表示感知损失项，通过感知相似度来提高恢复图像的视觉质量，使用预先训练好的19层VGG网络来提取包含语义信息的特征，

表示VGG19网络中激活层前的第i层的输出特征，感知定义为重建超分辨率图像的特征与高分辨率图像特征之间的欧氏距离；

L_D表示分布损失项，使用KL散度来约束z，M表示z的维数，给定N个数据样本，后验分布q_φ(z|x)通过KL散度进行约束，P(z)表示先验分布。

Images