CN111429355A - 一种基于生成对抗网络的图像超分辨率重建方法 - Google Patents

Abstract

本发明提供一种基于生成对抗网络的图像超分辨率重建方法，所述生成对抗网络包括生成器和判决器，所述生成器包括深层生成器和浅层生成器，所述判决器包括深层判决器和浅层判决层，所述方法包括：在生成器中，低分辨率图片经过第一层卷积层后并行进入深层生成器和浅层生成器，得到深层特征图和浅层特征图，最后通过逐元素相加的方式将深层特征图和浅层特征图进行融合，融合后的特征图经过卷积层进入最终的特征映射层，生成预测图片；在判决器中，将生成器生成的预测图片与原始的图片同时并行输入深层判决器和浅层判决器以预测图片的真实或者虚假概率。本发明通过提出的深层网络和浅层网络的训练可以加快收敛速度，并提高生成的超分辨率图像的质量。

Description

一种基于生成对抗网络的图像超分辨率重建方法

技术领域

本发明主要涉及计算机视觉相关技术领域，具体是应用于超分辨率重建中视频图像压缩传输、医学成像、遥感成像、视频感知与监控等任务的一种基于生成对抗网络的图像超分辨率重建方法。

背景技术

图像超分辨率重建将低分辨率图像转换为高分辨率图像，以获得尽可能接近真实图像的图像。在实际环境中，受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束，图像数据采集质量有限，超分辨率重建算法在视频图像压缩传输、医学成像、遥感成像、视频感知与监控等任务中具有广泛应用前景。

近年来，基于深度学习的通用图像超分辨率算法已经越来越成功，但是每种算法产生的结果与真实性之间仍然存在很大差距。即使对于某些专门用于图像感知的算法，这些算法也会产生原始图像中不存在的更多纹理，并且这些伪影也会影响图像的视觉感知质量。在现有的算法中，基于感知的算法重建的看起来更像真实图像，但是在更细节的纹理上与原始图像有很大的出入，尤其是基于生成对抗网络的超分辨率重建算法，更加容易产生一些杂乱无章的纹理，在图像的峰值信噪比和结构相似度的指标上表现较差，可以说是在牺牲图像质量为代价而得到的图像感知。然而实际上，人们的视觉感知也并不希望看见太多杂乱的纹理，因此，提升重建图像的质量在基于感知算法的领域是十分有必要的。

发明内容

为解决目前技术的不足，本发明结合现有技术，从实际应用出发，提供一种基于生成对抗网络的图像超分辨率重建方法，通过提出的深层网络和浅层网络的训练可以加快收敛速度，并提高生成的超分辨率图像的质量。

本发明的技术方案如下：

基于生成对抗网络的图像超分辨率重建方法，所述生成对抗网络包括生成器和判决器，所述生成器包括深层生成器和浅层生成器，所述判决器包括深层判决器和浅层判决层，所述方法包括：

在生成器中，低分辨率图片经过第一层卷积层后并行进入深层生成器和浅层生成器，得到深层特征图和浅层特征图，最后通过逐元素相加的方式将深层特征图和浅层特征图进行融合，融合后的特征图经过卷积层进入最终的特征映射层，生成高分辨率的预测图片；

在判决器中，将生成器生成的高分辨率预测图片与原始的高分辨率图片同时并行输入深层判决器和浅层判决器以预测图片的真实或者虚假概率，在深层判决器中使用多个卷积块，每个卷积块都进行光谱归一化最后进行全连接层获得图片的深层特征，在浅层判决器中使用多个卷积块，每个卷积块都进行光谱归一化最后进行全连接层获得图片的浅层特征。

进一步的，在生成器中，低分辨率图片经过第一层卷积层后进入深层生成器过程中，首先通过多个残差密集块得到特征图，残差密集块由多个通过密集连接方式连接的卷积层组成，每一层卷积层的输出都是后面所有卷积层的输入；

通过密集残差块后，进入双注意力机制块，双注意力机制块由二阶通道注意力机制和空间注意力机制两个注意力机制组成，特征图并行进入两个注意力机制得到两个大小相同的输出特征图，通过逐元素相加的方式融合两个特征得到该模块的输出特征图，该输出特征图进入后续的一个卷积层，进行特征转换，最后经过由多个反卷积形成的特征上采样层得到深层特征图。

进一步的，所述残差密集块为23个，残差密集块由四个卷积层组成，卷积层的输入通道为32，输出通道为32，卷积核为3×3；输出特征图进入后续的一个1×1卷积层，进行特征转换；上采样层是两个反卷积层，每个反卷积的放大因子为2。

进一步的，低分辨率图片经过第一层卷积层后进入浅层生成器过程中，经过三个卷积核都为3×3的卷积层获得输出特征图，输出特征图首先停过卷积核为1×1的卷积，再经过两个放大因子为2的反卷积得到浅层特征图。

进一步的，特征映射层由两个卷积核大小为3×3的卷积层组成。

进一步的，在判决器中，图像经过深层判决器时，先经过一个卷积层得到多张特征图，多张特征图经过光谱标准化、泄漏线性整流单元后进入下一个由卷积层、光谱标准化和泄漏线性整流单元组成的卷积块，输出多张另外特征图，进入后续的网络层中；网络层结构由多个卷积块组成，都包括卷积层、光谱标准化和泄漏线性整流单元；经过前多个卷积块后，得到多张特征图，特征图经过后续的双注意力机制块，注意力机制块由二阶通道注意机制和空间注意机制并行组成，特征图并行通过这两个注意力机制，最终通过逐元素相加的方法来进行特征融合，经过双注意机制块后，特征图进入后续的多个卷积块中，后续的多个卷积块都是由卷积层、光谱标准化和泄漏线性整流单元组成，通过后续的多个卷积块得到更多张数的特征图，特征图在经过一个双注意力机制块，然后通过逐元素相加进行特征融合，最后再依次经过一个全连接层、一个泄漏线性整流单元以及最后一层全连接层。

进一步的，图像经过深层判决器时，具体的：

先经过一个卷积核为3×3的卷积层，该卷积层输入通道为3，输出通道为64，通过该卷积层后，得到64张大小为128×128特征图，这64张特征图进入下一个卷积块，该卷积块的卷积层的输入通道为64，输出通道为64，卷积核大小为4×4，经过上述步骤，又输出了另外64张大小为64×64特征图，进入后续的网络层中；网络层结构由两个卷积块组成，其中这2个卷积层的参数分别为：其中一个卷积层输入通道为64，输出通道为128，卷积核大小为3×3，另一个卷积层输入通道为128，输出通道为128，卷积核的大小为4×4；

经过前四个卷积块后，得到128张大小为32×32的特征图，这些特征图再经过后续的双注意力机制块；

经过双注意机制块后，特征图要进入后续的五个卷积块中，这五个卷积层的通道数分别为输入通道为128，输出通道为128、输入通道为128，输出通道为256、输入通道为256，输出通道为256、输入通道为256，输出通道为512、输入通道为256，输出通道为512、最后得到512张大小为4×4的特征图；

这512张特征图再经过一个双注意力机制块，再经过一个全连接层，输入参数为512×4×4，输出参数为100，在经过一个泄漏线性整流单元，得到1×100的数据，最后再经过最后一层全连接层，输入参数为100，输出参数为1。

进一步的，在判决器中，浅层判决器由三个卷积块组成，每个卷积块分别包括卷积层、光谱标准化和泄漏线性整流单元，最后再经过全连接层。

进一步的，在二阶通道注意力机制中，对于H×W×C的特征图，通过协方差标准化，得到C×C维的特征图，对其中的每一列做平均值C维的特征向量即

其中f_i表示经过池化后的第i个通道，通过引入门机制得到

送到后面的激活函数中；

得到了C维的特征向量后，经过两个维度分别为C/r和C的全连接层，两个全连接层后面分别是线性整流单元激活函数和Sigmoid激活函数，最终得到C维的权重w_c∈R^C×1，则最终特征为：

f_sa＝f·w_c

其中f表示经过二阶通道注意力机制之前的特征图，f_sa表示特征图经过通道注意力机制加权后的特征图。

本发明的有益效果：

本发明中，将一个浅层生成器添加到生成器中以提取图像的低层特征，以便整个网络不仅可以在高层特征中近似原始图像，而且可以在低层特征中近似原始图像。浅层网络也被添加到判别器中，以使判别器可以最小化图像与高级和低级特征的统计特性差异，并使最终的SR图像更接近原始图像；在生成器和判决器中加入了二阶通道注意机制和空间注意机制，使生成器更加关注信息部分，提高了图像信噪比，通过两个注意力机制的约束，可以将几何特征更准确地应用于全局图像结构；实验证明，本发明所提供的基于生成对抗网络的图像超分辨率重建方法在图像超分辨率重建领域相比于传统方法具有一定的优越性。

附图说明

附图1为本发明生成器的网络结构图。

附图2为本发明判决器的网络结构图。

附图3为本发明二阶通道注意力机制的细节图。

具体实施方式

结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

本发明的基于生成对抗网络的图像超分辨率重建方法目标是重建图像图像在保留图像感知的同时，能够增大图像的质量，减少图像伪影。

图像超分辨率重建旨在将低分辨率图片转换成高分辨率重建。本发明采用生成对抗网络，生成对抗网络由两部分组成，分别为生成器和判决器，具体网络结构参考图2、图3。

在本发明的生成器网络中，生成器将低分辨率图像变成高分辨率图片，将生成器产生的高分辨率图片与原始的真实高分辨率图片一同放入判决器中，判决器来判断哪一个是真实的，哪一个是生成器产生虚假的。

具体操作如下：低分辨率图片进入生成器中，生成器由深层生成器和浅层生成器组成。低分辨率图片作为输入一个3×3的卷积层，生成第0层的体征图。在第一层卷积层后，就是深浅层生成器，该特征图并行进入深浅层生成器，得到深层特征图和浅层体征图，最后通过逐元素相加的方式，得到最终的特征图。具体操作为，第0层特征图同时进入深层生成器和浅层生成器。在进入深层生成器过程中，首先经过23个残差密集块，得到特征图，残差密集块由四个卷积层组成，卷积层的输入通道为32，输出通道为32，卷积核为3×3。这些卷积通过密集连接的方式连接，每一层卷积层的输出都是后面所有卷积层的输入。每四个卷积层组成一个密集块，每四个密集块通过残差连接的方式构成一个残差密集块，通过残差密集块后，进入双注意力机制块。

双注意力机制模块由两个注意力机制组成，分别是二阶通道注意力机制和空间注意力机制。特征图并行进入两个注意力机制模块，得到两个大小相同的输出特征图，通过逐元素相加的方式融合两个特征得到该模块的输出特征图。该输出特征图进入后续的一个1×1的卷积层，进行特征转换，最后经过特征上采样层。上采样层是两个反卷积层，每个反卷积的放大因子为2。至此深层生成器部分结束。

下面将对浅层生成器部分进行阐述。第0层特征图串行经过三个卷积核都为3×3的卷积层，获得浅层特征图，该浅层特征图也经过上采样操作，与深层网络相同，特征图首先经过卷积核为1×1的卷积，再经过两个放大因子为2的反卷积得到经过浅层网络的浅层特征图，至此浅层网络的操作结束。

浅层特征图与深层特征图大小相同，通过逐元素相加的方式将两者特征融合。融合后的特征图经过后面的卷积层进行最终的特征映射层，得到最终的生成图片。特征映射层由两个卷积核大小为3×3的卷积层组成。至此，生成器中的图像重建工作结束，判决器将针对生成器重建的图片进行判定。

在生成器中，低分辨率(LR)图像经过第一个卷积层后，分别进入高级特征提取网络和低级特征提取网络，分别提取高级特征和低级特征。本发明将卷积层用作浅层特征提取器：

F₀＝H_SF(I_LR) (1)

H_SF表示第一个卷积层，I_LR表示低分辨率图片，F₀表示浅层特征。

F_HF＝H_HL(F₀) (2)

F_SF＝H_LL(F₀) (3)

H_HL表示提取高级特征的深度特征提取器，并且H_LL表示提取浅层特征的浅特征提取器。H_HL包括RRDB，DUA双重注意机制和上采样层。DUA包括三个卷积层和一个上采样层。高层网络结构和浅层网络结构的输出要进行特征融合，

F_TF＝F_HF+F_SF (4)

F_TF是融合层特征。

I_SR＝H_MF(F_TF) (5)

H_MF代表特征映射层。

生成器将图片成功预测成与真实图像大小相同的图片后，本发明将原始真实图片与预测图片同时进入判决器。判决器能够计算一张图片比另一张图片更加真实或者更加虚假的概率。

判决器也由深层判决器和浅层判决器组成。将生成器产生的预测图片与原始的高分辨率图片同时并行输入深浅层判决器中，具体操作如下，图像经过深层判决器时，先经过一个卷积核为3×3的卷积层，该卷积层输入通道为3，输出通道为64。通过该卷积层后，得到64张大小为128×128特征图。这些特征图会经过光谱标准化，后续在经过泄漏线性整流单元。经过上述步骤，这64张特征图进入下一个卷积块，该卷积块也是由卷积层，光谱标准化和泄漏线性整流单元组成。其中卷积层的输入通道为64，输出通道为64，卷积核大小为4×4。经过上述步骤，又输出了另外64张大小为64×64特征图，进入后续的网络层中。根据图中所示，该网络结构由两个卷积块组成，都包括卷积层，光谱标准化和泄漏线性整流单元。其中这两个卷积层的参数分别为：其中一个卷积层输入通道为64，输出通道为128，卷积核大小为3×3，另一个卷积层输入通道为128，输出通道为128，卷积核的大小为4×4。经过前四个卷积块后，得到128张大小为32×32的特征图，这些特征图要经过后续的双注意力机制块。这个双注意力机制块与生成器中的双注意力机制块相同，都是有二阶通道注意机制和空间注意机制并行组成，128张特征图并行通过这两个注意力机制，最终通过逐元素相加的方法来进行特征融合。经过双注意机制块后，特征图要进入后续的5个卷积块中，这些卷积块与前面描述的相同，都是由卷积层，光谱标准化和泄漏线性整流单元组成。在这五个卷积层中，除了输入通道与输出通道不相同之外，卷积核大小与之前的卷积块相同。这五个卷积层的通道数分别为输入通道为128，输出通道为128；输入通道为128和输出通道为256；输入通道为256输出通道为256；输入通道为256；输出通道为512；输入通道为256和输出通道为512；最后得到512张大小为4×4的特征图。这512张特征图再经过一个双注意力机制块，与前一个双注意力机制块相同，特征图并行进入两种注意力机制，然后通过逐元素相加进行特征融合。最后，再经过一个全连接层，输入参数为512×4×4，输出参数为100，在经过一个泄漏线性整流单元，得到1×100的数据，最后再经过最后一层全连接层，输入参数为100，输出参数为1。至此，深层的判决器到此就全部结束。

下面将介绍浅层的判决器。浅层的判决器主要由三个卷积块组成，分别也有卷积层，光谱标准化和泄漏线性整流单元组成，最后再经过全连接层。

在判别器中，本发明使用了相对判决器(RaD)。在生成器的对抗性损失中，不仅涉及虚假数据，而且涉及真实数据，这可以解释先验条件，即传入判决器数据集中的一半数据为假。本发明使用相对平均判别器代替标准GAN。相对平均鉴别符的表达式为：

x_r和x_f分别代表真实数据(HR图像)和错误数据(SR图像)，σ是S型函数，C()是非变换判决器的输出。

是小批量中所有错误数据的平均值。最终的对抗损失定义为：

生成器的对抗损失：

上面是本发明使用的相对判决器，在本发明中，使用深判决器和浅判决器。深度判决器使用9个卷积层，每个层都进行SN光谱归一化，激活函数leakyReLU，最后进全连接层。

在浅层判决器中使用了三个卷积层以获得SR和HR图片的低级特征。

其中C_DD和C_SD分别代表深层判别网络和浅层判别网络的输出。

和

分别代表深判决器和浅判决器。

深层判决器和浅层判决器的对抗损失分别定义为：

判决器的最终损失函数定义为：

在生成器的对抗损失中，本发明保留了RaGAN的原始判别损失函数，而不添加浅判别器的损失。因为本发明的目的是生成更接近真实图像的SR图像，所以本发明将增强判决器，不增强生成器，并减少生成器以生成大量令人不快的伪像。因此，最终的生成器损耗函数仍然是：

感知损失：本发明通过在特征提取器的最后一层添加一个二阶协方差池来优化感知损失，并约束来自高阶统计特征的SR图像。二阶统计特征可以提高网络的表达能力和判别能力，并可以指定特征分布的形状。对于输入图像，协方差归一化生成一个归一化的协方差矩阵作为表示，该矩阵表征特征通道的相关性并实际上指定特征分布的形状。考虑到这些优点，本发明将协方差池应用于高阶特征提取器。

对一个特征图维度为H×W×C，C是通道数，尺度为H×W，本发明将特征图映射为维度为C×S特征矩阵。令S＝H×W，则协方差矩阵为

I和1分别代表S×S维的单位矩阵和总数为1的矩阵，T代表矩阵转置。

在计算协方差矩阵之后，本发明将协方差归一化。协方差矩阵是一个对称的半定矩阵，它允许特征值分解：

Σ＝UΛU^T (16)

其中U是正交矩阵，并且是非增量特征值的对称矩阵。其中α是一个正实数值，协方差矩阵的能量可以转换为特征值的能量：

本发明将VGG网络用作特征提取器，并在特征提取器的末尾添加协方差合并，以最大程度地减少SR图像在高阶特征级别上的感知损失。最后，生成器的损失函数为：

L_Perceptual表示感知损失，

表示超分辨率与高分辨率图像之间L1范数，

表示最终的生成器损耗函数如公式14所示。α和β表示损失函数之间的权重。

通道注意力机制：

通道注意力机制通过自适应的为通道特征分配权重来提高网络的表达能力，使得网络更加关注那些拥有更多信息的通道特征。二阶通道注意力机制能够从更高阶的统计特性调整权重。对于H×W×C的特征图，本发明通过上述的协方差标准化，得到C×C维的特征图，对其中的每一列做平均值C维的特征向量即

其中f_i表示经过池化后的第i个通道，通过引入了门机制将得到的

送到后面的激活函数中。

得到了C维的特征向量后后，经过两个维度分别为C/r和C的全连接层，两个全连接层后面分别是线性整流单元激活函数和Sigmoid激活函数。最终得到C维的权重w_c∈R^C×1。于是就有最终的特征为：

f_sa＝f·w_c

其中f表示经过二阶通道注意力机制之前的特征图，f_sa表示特征图经过通道注意力机制加权后的特征图，表明通道注意机制可以自适应地调整特征图之间的依赖关系。

自注意力机制是卷积的补充，它有助于对图像区域之间的长期，多层次依赖性进行建模。使用自关注机制，当生成器生成图像时，图像中的每个位置都将与图像的远处细节进行仔细协调。另外，判决器可以更准确地将复杂的几何特征应用于全局图像结构。在本发明中，将二阶注意力机制和空间注意力机制的特征图以逐个元素的方式融合到生成器和判决器中。本发明没有选择级联以节省GPU内存。另外，考虑到特征图依赖于低级特征，从底层网络提取的细节更多地是从底部开始的，而高级网络可以提取全局语义信息。因此，由于高级特征可以提供足够大的感知场，并且通道中的数据足以表示全局特征。

在实际环境中，受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束，图像数据采集质量有限，超分辨率重建算法在视频图像压缩传输、医学成像、遥感成像、视频感知与监控等任务中具有广泛应用前景，因此本发明关注图像超分辨率算法研究及应用。真实图像和伪图像之间仍然有很大的差距。基于失真的图像会导致图像过于平滑，而基于感知的超分辨率算法往往会导致SR图像对于复杂纹理的某些部分发生过度失真。回顾以前的工作，我们发现网络总是倾向于提取深层特征，而与生成器或鉴别器无关，而忽略了低层特征，这意味着仅高阶特征是近似的，并且在低级功能中，超分辨率和高分辨率之间仍然有很大差距。在本发明中，将一个浅层生成器添加到生成器中以提取图像的低层特征，以便整个网络不仅可以在高层特征中近似原始图像，而且可以在低层特征中近似原始图像。浅层网络也被添加到判别器中，以使判别器可以最小化图像与高级和低级特征的统计特性差异，并使最终的SR图像更接近原始图像。本发明使用双重判别网络，包括深度判别器和浅层判别器。在感知损失中，本发明在特征提取层中引入了二阶协方差合并，这使网络能够将高阶统计特征中的HR图像和SR图像之间的特征差异最小化，以实现更好的感知质量。本发明在生成器和鉴别器中加入了二阶通道注意机制和空间注意机制，使生成器更加关注信息部分，提高了图像信噪比。通过两个注意力机制的约束，可以将几何特征更准确地应用于全局图像结构。在训练过程中，训练数据集为DIV2K数据集，其中包含800张高分辨率图片。在本发明中，通过水平翻转和90度旋转来扩展训练集。在测试期间，将set5，set14，PIRM验证集和BSD100用作测试集，实验证实了本发明的优越性。

综上可知，本发明的主要贡献如下：1.充分利用原始的低分辨率图像，本发明不仅缩小高级别的SR和HR语义之间的差距，还应减少低级别语义之间的差距，添加了浅层生成器和浅层鉴别器以获得原始真实图像的更近的图片。2.考虑特征图之间的依赖关系，在生成器和鉴别器上引入了二阶通道注意力机制和自注意力机制，使网络集中于更多信息部分，提高了网络的表达能力和区分能力。更准确地限制了生成网络生成的图片。3.对于感知损失，本发明在特征提取层中引入协方差归一化，以便感知损失可以从高阶统计特征中改善SR图片的感知质量。4.本发明在考虑图像失真的同时提高了图像的感知质量，使生成的SR图像更适合人类的视觉感知。

Claims (9)

1.一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，所述生成对抗网络包括生成器和判决器，所述生成器包括深层生成器和浅层生成器，所述判决器包括深层判决器和浅层判决层，所述方法包括：

在生成器中，低分辨率图片经过第一层卷积层后并行进入深层生成器和浅层生成器，得到深层特征图和浅层特征图，最后通过逐元素相加的方式将深层特征图和浅层特征图进行融合，融合后的特征图经过卷积层进入最终的特征映射层，生成高分辨率的预测图片；

在判决器中，将生成器生成的高分辨率预测图片与原始的高分辨率图片同时并行输入深层判决器和浅层判决器以预测图片的真实或者虚假概率，在深层判决器中使用多个卷积块，每个卷积块都进行光谱归一化最后进行全连接层获得图片的深层特征，在浅层判决器中使用多个卷积块，每个卷积块都进行光谱归一化最后进行全连接层获得图片的浅层特征。

2.根据权利要求1所述的基于生成对抗网络的图像超分辨率重建方法，其特征在于，在生成器中，低分辨率图片经过第一层卷积层后进入深层生成器过程中，首先通过多个残差密集块得到特征图，残差密集块由多个通过密集连接方式连接的卷积层组成，每一层卷积层的输出都是后面所有卷积层的输入；

通过密集残差块后，进入双注意力机制块，双注意力机制块由二阶通道注意力机制和空间注意力机制两个注意力机制组成，特征图并行进入两个注意力机制得到两个大小相同的输出特征图，通过逐元素相加的方式融合两个特征得到该模块的输出特征图，该输出特征图进入后续的一个卷积层，进行特征转换，最后经过由多个反卷积形成的特征上采样层得到深层特征图。

3.根据权利要求2所述的基于生成对抗网络的图像超分辨率重建方法，其特征在于，所述残差密集块为23个，残差密集块由四个卷积层组成，卷积层的输入通道为32，输出通道为32，卷积核为3×3；输出特征图进入后续的一个1×1卷积层，进行特征转换；上采样层是两个反卷积层，每个反卷积的放大因子为2。

4.根据权利要求3所述的基于生成对抗网络的图像超分辨率重建方法，其特征在于，低分辨率图片经过第一层卷积层后进入浅层生成器过程中，经过三个卷积核都为3×3的卷积层获得输出特征图，输出特征图首先停过卷积核为1×1的卷积，再经过两个放大因子为2的反卷积得到浅层特征图。

5.根据权利要求4所述的基于生成对抗网络的图像超分辨率重建方法，其特征在于，特征映射层由两个卷积核大小为3×3的卷积层组成。

6.根据权利要求5所述的基于生成对抗网络的图像超分辨率重建方法，其特征在于，在判决器中，图像经过深层判决器时，先经过一个卷积层得到多张特征图，多张特征图经过光谱标准化、泄漏线性整流单元后进入下一个由卷积层、光谱标准化和泄漏线性整流单元组成的卷积块，输出多张另外特征图，进入后续的网络层中；网络层结构由多个卷积块组成，都包括卷积层、光谱标准化和泄漏线性整流单元；经过前多个卷积块后，得到多张特征图，特征图经过后续的双注意力机制块，注意力机制块由二阶通道注意机制和空间注意机制并行组成，特征图并行通过这两个注意力机制，最终通过逐元素相加的方法来进行特征融合，经过双注意机制块后，特征图进入后续的多个卷积块中，后续的多个卷积块都是由卷积层、光谱标准化和泄漏线性整流单元组成，通过后续的多个卷积块得到更多张数的特征图，特征图在经过一个双注意力机制块，然后通过逐元素相加进行特征融合，最后再依次经过一个全连接层、一个泄漏线性整流单元以及最后一层全连接层。

7.根据权利要求6所述的基于生成对抗网络的图像超分辨率重建方法，其特征在于，图像经过深层判决器时，具体的：

先经过一个卷积核为3×3的卷积层，该卷积层输入通道为3，输出通道为64，通过该卷积层后，得到64张大小为128×128特征图，这64张特征图进入下一个卷积块，该卷积块的卷积层的输入通道为64，输出通道为64，卷积核大小为4×4，经过上述步骤，又输出了另外64张大小为64×64特征图，进入后续的网络层中；网络层结构由两个卷积块组成，其中这2个卷积层的参数分别为：其中一个卷积层输入通道为64，输出通道为128，卷积核大小为3×3，另一个卷积层输入通道为128，输出通道为128，卷积核的大小为4×4；

经过前四个卷积块后，得到128张大小为32×32的特征图，这些特征图再经过后续的双注意力机制块；

经过双注意机制块后，特征图要进入后续的五个卷积块中，这五个卷积层的通道数分别为输入通道为128，输出通道为128、输入通道为128，输出通道为256、输入通道为256，输出通道为256、输入通道为256，输出通道为512、输入通道为256，输出通道为512、最后得到512张大小为4×4的特征图；

这512张特征图再经过一个双注意力机制块，再经过一个全连接层，输入参数为512×4×4，输出参数为100，在经过一个泄漏线性整流单元，得到1×100的数据，最后再经过最后一层全连接层，输入参数为100，输出参数为1。

8.根据权利要求7所述的基于生成对抗网络的图像超分辨率重建方法，其特征在于，在判决器中，浅层判决器由三个卷积块组成，每个卷积块分别包括卷积层、光谱标准化和泄漏线性整流单元，最后再经过全连接层。

9.根据权利要求8所述的基于生成对抗网络的图像超分辨率重建方法，其特征在于，在二阶通道注意力机制中，对于H×W×C的特征图，通过协方差标准化，得到C×C维的特征图，对其中的每一列做平均值C维的特征向量即

其中f_i表示经过池化后的第i个通道，通过引入门机制得到

送到后面的激活函数中；

得到了C维的特征向量后，经过两个维度分别为C/r和C的全连接层，两个全连接层后面分别是线性整流单元激活函数和Sigmoid激活函数，最终得到C维的权重w_c∈R^C×1，则最终特征为：

f_sa＝f·w_c

其中f表示经过二阶通道注意力机制之前的特征图，f_sa表示特征图经过通道注意力机制加权后的特征图。

Images