CN109671022A - 一种基于深度特征翻译网络的图片纹理增强超分辨率方法 - Google Patents

Abstract

本发明涉及一种基于深度特征翻译网络的图片纹理增强超分辨率方法，属于计算机视觉技术领域。首先处理训练数据，然后设计网络结构模型，包含超分辨率重建网络、细粒度纹理特征提取网络和判别网络。之后，采用多种损失函数相结合的方法，设计用于训练网络的损失函数。用处理好的训练数据训练网络结构模型，得到一个具有纹理增强功能的超分辨重建网络。最后，将低分辨率图片输入该超分辨重建网络，重建获得高分辨率图片。本方法能够在更细的粒度下提取到图片纹理信息，采用多种损失函数相结合的方式，相比于其他方法既保证了忠于原图，又能恢复纹理特征信息，让图片更加清晰。本方法适用于任何图片，均有较好效果，具有较好的普适性。

Description

一种基于深度特征翻译网络的图片纹理增强超分辨率方法

技术领域

本发明涉及一种基于深度特征翻译网络的图片纹理增强超分辨率方法，尤其涉及一种基于被称作深度特征翻译网络的卷积神经网络、运用多种损失函数训练来增强图片纹理信息的超分辨率方法，属于计算机视觉技术领域。

背景技术

在互联网时代，存在着大量的低分辨率图片。此外，许多高分辨率图片因为尺寸和存储空间过大，在传输过程中被压缩，也会产生低分辨率图片。低分辨率图片质量不高、尺寸太小。使用超分辨率方法，能够将低分辨率图片重建为高分辨率图片，因而在军事、医学、教育等诸多领域有着广泛的应用前景。

传统的超分辨率方法，包括插值、滤波、基于实例和基于字典学习的方法。近年来，以卷积神经网络为主的深度学习也被应用到超分辨率领域中来。无论是传统的超分辨率方法，还是近几年的基于深度学习的超分辨率方法，往往采用降低均方误差的优化目标，存在重建图像过于平滑和模糊的问题。

为了解决这一问题，一些研究人员开始将生成对抗网络引入超分辨率领域，尝试生成更为真实的高分辨率图片。但是，单独基于生成对抗网络的方法得到的图片往往存在噪点较多、纹理单一和不忠于原图的缺点。

发明内容

本发明的目的是为了克服现有技术的不足，提出一种基于深度特征翻译网络的图片纹理增强超分辨率方法，能够获得纹理更加丰富、更加清晰真实的高分辨率图片。

本方法包括以下步骤：

步骤1：处理训练数据。

在公共数据集上获取高分辨率图片，作为训练数据集。为充分利用图片资源，可采用数据增强方式增加图片个数。

为了减少计算量，所有图片被裁剪成固定尺寸的图片块，所述尺寸不能小于96×96。然后，将所有图片块通过插值方法，按照比例尺为×2依次进行下采样，得到各级对应的图片。各级图片按照尺寸由小到大被命名为 例如，对于一个比例尺为×4的模型，网络结构分为2级，训练数据中每一组图片块共有3部分：I_LR、I_label-×2和I_label-×4，尺寸分别为32×32、64×64和128×128。

步骤2：设计网络结构模型。

网络结构模型共包含3个网络：超分辨率重建网络S、细粒度纹理特征提取网络φ、判别网络D。

其中，超分辨率重建网络采用拉普拉斯金字塔多级重建结构，如果金字塔有N级，则超分辨率比例尺即为2^N。整个网络结构由以端到端(end-to-end)训练的深度卷积神经网络构成。根据拉普拉斯金字塔，超分辨率重建网络S分为两路分支：差图像生成，粗图像生成。最小尺寸的低分辨率图片块I_LR输入到超分辨率重建网络S，经过多级重建映射生成高分辨率图片，该映射表达为：

其中，F_translate,θ(·)、F_upsample,θ(·)分别表示特征翻译层和上采样层；θ为特征翻译层和上采样层的参数，包括权值w和偏置值b；Conv_input(·)和Convo_utput(·)分别表示输入和输出卷积层；表示经过超分辨率×2ⁿ后得到的图片；I_HR×2和I_HR×4为各级中间结果。特征翻译层能将低分辨率图像特征翻译成差图像特征。

细粒度纹理特征提取网络包括细粒度纹理提取层和预训练网络，其建立的映射由以下公式表示：

t＝φ(I) (2)

其中，φ(·)表示细粒度纹理特征提取网络，t表示经过细粒度纹理特征提取网络提取的特征；I表示输入图片块，包含训练集中的真实高分辨率图片块和重建得到的高分辨率图片块。

判别网络由卷积层和全连接层构成，输入为图片，输出为输入图片是否真实的概率，其建立的映射由以下公式表示：

p＝D(I) (3)

其中，p表示判别网络的输出；D(·)表示判别网络；I表示输入图片块，包含训练集中的真实高分辨率图片块和重建得到的高分辨率图片块。

步骤3：设计用于训练网络的损失函数。

为了让重建后的高分辨率图片既忠于原图又不失纹理等信息，本发明采用多种损失函数相结合的方法。训练网络的损失函数共分为3部分，包括内容损失函数L_content、细粒度纹理损失函数L_texture和对抗损失函数L_adv。

在训练过程中，首先用内容损失函数L_content进行预训练。然后，使用3种损失函数进行训练。具体地，总体损失函数Loss表示如下：

Loss＝L_content+λ₁×L_texture+λ₂×L_adv (4)

其中，λ₁和λ₂分别为细粒度纹理损失函数L_texture和对抗损失函数L_adv的权重。

内容损失函数L_content采用Charbonnier损失函数(L1函数的一种变体)，表示如下：

其中，I_l和分别代表第l级的目标图片块和重建的图片块；ε是一个常数。内容损失函数L_content用于计算各级生成图片和目标图片的损失。

细粒度纹理损失函数L_texture用于计算最后输出图片和目标图片的损失，表示如下：

其中，φ(·)表示细粒度纹理特征提取网络；G(·)表示格拉姆矩阵；I和分别代表目标图片块和重建后的图片块。

对抗损失函数L_adv用于计算整个重建网络的最后输出图片，目标是减小判别网络的输出，表示如下：

其中，D(·)表示判别网络，代表重建后的图片块，P_g表示重建图片分布。

步骤4：用步骤1中处理好的训练数据，训练网络模型。

具体地，在超分辨率重建网络S拉普拉斯金字塔的各级均使用内容损失函数L_content，在整个网络模型得最后一层使用细粒度纹理损失函数L_texture和对抗损失函数L_adv。训练过程使用随机梯度下降算法和小批量训练的训练策略。

训练过程分为两个部分。首先，只计算内容损失训练超分辨率重建网络S，得到一个具有一定超分辨率作用的网络，此时结果比较模糊，缺少纹理等细节信息。然后，再用上述三种损失函数进行混合训练，具体如下：

Step1：初始化模型参数。将超分辨率重建网络S和判别网络D的参数用高斯分布初始化。使用包含不少于1万张图片的数据集(如ImageNet数据集等)，用于训练细粒度纹理提取网络中的预训练网络，使该训练网络具有图像训练功能。

Step2：从训练数据集中取出一批训练数据，训练数据的个数是一个超参数，在训练过程中通过试验确定超参数的最佳值。每个训练数据包括各级目标图片块。将低分辨率图片块输入到超分辨率重建网络S，得到各级重建后的图片块然后计算内容损失。

Step3：将最后输出的重建图片和目标图片输入到细粒度纹理特征提取网络φ，然后计算细粒度纹理损失。

Step4：将最后输出的重建图片输入到判别网络D，然后计算对抗损失。

Step5：将对抗损失，按照步骤3的总体损失函数Loss进行计算，得到最终损失，然后反向传播计算梯度，并更新超分辨率重建网络的参数值。

Step6：训练判别网络。将最后输出的重建图片块和目标图片块I分别输入到判别网络D中，优化目标如下：

Step7：重复Step2-Step6，直到损失函数值达到最小。

经过以上训练之后，得到一个具有纹理增强功能的超分辨重建网络S’。

步骤5：重建高分辨率图片。

将低分辨率图片输进步骤4获得的超分辨率重建网络S’，即可得到重建后的高分辨率图片。

有益效果

本发明方法，与现有技术相比，具有以下有益效果：

本发明设计的神经网络模型较好地关注了特征翻译过程，能够在拉普拉斯金字塔结构中更好地完成差图像生成的任务。

本发明采用多级重建过程，能将大比例尺分解为多级任务并将监督学习应用到拉普拉斯金字塔的每一级。

本发明采用的细粒度纹理特征提取网络相比于其他纹理特征提取方法能在更细的粒度下提取到图片纹理信息。

本发明采用多种损失函数相结合的方式，相比于其他方法既保证了忠于原图，又能恢复纹理特征信息，让图片更加清晰。

本发明适用于任何图片，均有较好效果，具有普适性。

附图说明

图1为本发明方法的工作流程图；

图2为本发明方法的整体网络结构图；

图3为本发明方法的特征翻译过程演示图；

图4为本发明方法的特征翻译网络结构图；

图5为本发明方法的细粒度纹理提取网络结构图；

图6为本发明方法的判别网络；

图7为本发明方法的数据预处理示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本实施例为2级拉普拉斯金字塔(×4)多级重建网络整体结构。

一种基于深度特征翻译网络的图片纹理增强超分辨率方法，如图1所示，包括以下步骤：

步骤1：处理训练数据。训练集图片中包含很多张不同尺寸的图片，如果训练图片数量太少，可以采用数据增强的方法，具体有旋转、翻转和下采样3种。旋转：将原图片分别旋转90°、180°和270°；翻转：包括水平翻转和垂直翻转；下采样：使用Bicubic插值方法将原图按照一定比例下采样，得到尺寸更小的图片，下采样比例可为[0.8,0.6]。这样，训练数据会大大增强。如果训练数据很多，可以不采用数据增强方式。

为了便于训练，每张图片将被截取为很多图片块，截取时设定尺寸为96×96，步长为48，截取框在图片上滑动，会生成很多图片块。然后，使用Bicubic插值算法逐级下采样，依次得到各级图片。图7展示了2级拉普拉斯金字塔的数据预处理过程。

步骤2：设计网络结构模型。如图2所示，整体网络的输入是低分辨率图片I_LR，输出为超分辨率4倍之后的高分辨率图片其中还有中间结果在每一级中，包含两个路径，即粗图片生成过程和差图片生成过程。其中，粗图片生成是指由一个低分辨率图片生成一个尺寸扩大后的粗版本图片，本发明中采用转置卷积层(图2中ConvT所示)来完成这一任务。另外，差图片生成是指由一个低分辨率图片生成一个尺寸扩大后的差图片，差图片加上粗图片会得到精细的图片，即超分辨率后的图片。因此，差图像包含了粗图像所丢失的高通信息。本发明中，由低分辨率图像到差图像的生成过程被建模成一个“图片-图片”的图片翻译过程(参看图3)，由特征翻译网络来完成。

图2展示了特征翻译网络的构成，主要由输入卷积层、特征翻译层和输出卷积层构成，其中特征翻译层是由很多skip connection相连接的对称结构。图4展示了特征翻译层的具体细节，左图展示了特征翻译层包含的具体操作：卷积Conv、连接Cat、批规范化BN和激活函数线性修正单元ReLU。右图展示了特征图(feature map)的情况，假设共有N层，则第i层的特征图就要和第N-i层的特征图按通道维度相连接。每层的特征图的尺寸是相同的，最后的转置卷积网络会将特征图尺寸加倍。

图5表示的是本发明采用的细粒度纹理特征提取网络。训练过程中，图像块包含的纹理并不单一，所以需要在更细粒度提取纹理特征。具体地，将图片块再细分成每一个小块(比如图5中分成了3*3＝9小块)，然后每一小块通过卷积层获得初步特征，再将每一小块获得的全部特征图按通道连接起来，图5中的不同颜色的特征图表示从不同小块经过卷积层得来的。接着，连接后的特征图经过一个卷积层之后，就输入到一个预训练网络VGG-19中。细粒度纹理特征网络可以用以下公式表示：

其中，x_i表示图片块分成的若干小块。“Cat”表示按通道连接。

如图6所示，判别网络结构由卷积层、激活函数和线性转换层(全连接层)构成。表1详细地介绍了判别网络各层的具体情况，其中“设置”一栏中的内容分别表示为卷积核尺寸、步长和个数。可以看出卷积层主要包括两种，尺寸为3×3的卷积层主要负责拓宽特征图的通道数，而尺寸为4×4的卷积核主要负责将特征图尺寸缩小为原来一半。最后的两个全连接层能实现降维，最终得到一个标量。

表1

步骤3：设计用于训练网络的损失函数。包括内容损失函数L_content、细粒度纹理损失函数L_texture和对抗损失函数L_adv。总体损失函数Loss是公式(4)，其中，λ₁和λ₂分别设为100和100。

具体地，内容损失函数L_content采用Charbonnier损失函数(L1函数的一种变体)，表示如公式(5)，其中，ε是一个常数，设为0.000001；细粒度纹理损失函数L_texture用于计算最后输出图片和目标图片的损失，表示如公式(6)；对抗损失函数L_adv用于计算整个重建网络的最后输出图片，目标是减小判别网络的输出，表示如公式(7)。

步骤4：用步骤1中处理好的训练数据来训练网络模型。训练过程分为2部分。首先，只计算内容损失训练超分辨率重建网络S，得到一个具有一定超分辨率作用的网络，然后再用3种混合损失函数来训练，获得纹理增强功能的超分辨率重建网络。具体地，将一批64个图像块输进超分辨率重建网络S，然后按照公式(5)计算S的各级输出图片块和目标图片块之间的内容损失并相加。接着，使用梯度下降法Adam反向传播计算梯度并更新网络参数，包括权值和偏置值。然后，使用公式(4)来训练超分辨率重建网络S，具体训练步骤如下：

Step1：初始化模型参数。将超分辨率重建网络S和判别网络D的参数用高斯分布(均值为0，方差为0.02)初始化，用ImageNet数据集来训练一个具有图片分类功能的VGG-19网络，这个VGG-19网络就成为细粒度纹理特征提取网络中的预训练网络。

Step2：从训练数据集中取出一批训练数据，训练数据的个数是一个超参数，在训练过程中通过试验确定超参数的最佳值。每个训练数据包括各级目标图片块。将低分辨率图片块输入到超分辨率重建网络S，得到各级重建后的图片块然后按照公式(5)计算内容损失。

Step3：将最后输出的重建图片和目标图片输入到细粒度纹理特征提取网络φ，然后按照公式(6)计算细粒度纹理损失。

Step4：将最后输出的重建图片输入到判别网络D，然后按照公式(7)计算对抗损失。

Step5：将计算的对抗损失，按照总体损失函数公式(4)进行计算，得到最终损失，然后反向传播计算梯度，并更新超分辨率重建网络S的参数值。

Step6：训练判别网络。将最后输出的重建图片块和目标图片块I分别输入到判别网络D中，优化目标如下：

Step7：重复Step2-Step6，直到达到总体损失函数值达到最小。

经过以上训练之后，得到一个具有纹理增强功能的超分辨重建网络S’。

步骤5：重建高分辨率图片。

将低分辨率图片输进超分辨率重建网络S’，即可得到重建后的高分辨率图片。

Claims (3)

1.一种基于深度特征翻译网络的图片纹理增强超分辨率方法，其特征在于，包括以下步骤：

步骤1：处理训练数据；

在公共数据集上获取高分辨率图片，作为训练数据集；为减少计算量，所有图片被裁剪成固定尺寸的图片块，所述尺寸不能小于96×96；然后，将所有图片块通过插值方法，按照比例尺为×2依次进行下采样，得到各级对应的图片，各级图片按照尺寸由小到大被命名为I_LR，I_label-×2，…，I_label-×2 ⁿ；

步骤2：设计网络结构模型；

网络结构模型共包含三个网络：超分辨率重建网络S、细粒度纹理特征提取网络φ、判别网络D；

其中，超分辨率重建网络采用拉普拉斯金字塔多级重建结构，如果金字塔有N级，则超分辨率比例尺即为2^N；整个网络结构由以端到端训练的深度卷积神经网络构成；

根据拉普拉斯金字塔，超分辨率重建网络S分为两路分支：差图像生成，粗图像生成；最小尺寸的低分辨率图片块I_LR输入到超分辨率重建网络S，经过多级重建映射生成高分辨率图片，该映射表达为：

其中，F_translate,θ(·)、F_upsample,θ(·)分别表示特征翻译层和上采样层；θ为特征翻译层和上采样层的参数，包括权值w和偏置值b；Conv_input(·)和Conv_output(·)分别表示输入和输出卷积层；表示经过超分辨率×2ⁿ后得到的图片；I_HR×2和I_HR×4为各级中间结果；特征翻译层能将低分辨率图像特征翻译成差图像特征；

细粒度纹理特征提取网络包括细粒度纹理提取层和预训练网络，其建立的映射由以下公式表示：

t＝φ(I) (2)

其中，φ(·)表示细粒度纹理特征提取网络，t表示经过细粒度纹理特征提取网络提取的特征；I表示输入图片块，包含训练集中的真实高分辨率图片块和重建得到的高分辨率图片块；

判别网络由卷积层和全连接层构成，输入为图片，输出为输入图片是否真实的概率，其建立的映射由以下公式表示：

p＝D(I) (3)

其中，p表示判别网络的输出；D(·)表示判别网络；I表示输入图片块，包含训练集中的真实高分辨率图片块和重建得到的高分辨率图片块；

步骤3：设计用于训练网络的损失函数；

采用多种损失函数相结合，训练网络的损失函数共分为三部分：内容损失函数L_content、细粒度纹理损失函数L_texture和对抗损失函数L_adv；

在训练过程中，首先用内容损失函数L_content进行预训练，然后用三种损失函数进行训练；

其中，总体损失函数Loss表示如下：

Loss＝L_content+λ₁×L_texture+λ₂×L_adv (4)

λ₁和λ₂分别为细粒度纹理损失函数L_texture和对抗损失函数L_adv的权重；

内容损失函数L_content采用Charbonnier损失函数，表示如下：

其中，I_l和分别代表第l级的目标图片块和重建的图片块；ε是一个常数；内容损失函数L_content用于计算各级生成图片和目标图片的损失；

细粒度纹理损失函数L_texture用于计算最后输出图片和目标图片的损失，表示如下：

其中，φ(·)表示细粒度纹理特征提取网络；G(·)表示格拉姆矩阵；I和分别代表目标图片块和重建后的图片块；

对抗损失函数L_adv用于计算整个重建网络的最后输出图片，减小判别网络的输出，表示如下：

其中，D(·)表示判别网络，代表重建后的图片块，P_g表示重建图片分布；

步骤4：用步骤1中处理好的训练数据，训练网络模型；

在超分辨率重建网络S拉普拉斯金字塔的各级均使用内容损失函数L_content，在整个网络模型得最后一层使用细粒度纹理损失函数L_texture和对抗损失函数；训练过程使用随机梯度下降算法和小批量训练的训练策略；

训练过程分为两个部分，首先只计算内容损失训练超分辨率重建网络S，然后再用上述三种损失函数进行混合训练，得到一个具有纹理增强功能的超分辨重建网络S’；

步骤5：重建高分辨率图片，将低分辨率图片输进步骤4获得的超分辨率重建网络S’，得到重建后的高分辨率图片。

2.如权利要求1所述的一种基于深度特征翻译网络的图片纹理增强超分辨率方法，其特征在于，步骤1中，采用数据增强方式增加图片个数，以便充分利用图片资源。

3.如权利要求1所述的一种基于深度特征翻译网络的图片纹理增强超分辨率方法，其特征在于，步骤4中，利用三种损失函数进行混合训练的方法具体如下：

Step1：初始化模型参数，将超分辨率重建网络S和判别网络D的参数用高斯分布初始化，使用包含不少于1万张图片的数据集，用于训练细粒度纹理提取网络中的预训练网络，使该训练网络具有图像训练功能；

Step2：从训练数据集中取出一批训练数据，训练数据的个数是一个超参数，在训练过程中通过试验确定超参数的最佳值；每个训练数据包括各级目标图片块；将低分辨率图片块输入到超分辨率重建网络S，得到各级重建后的图片块然后计算内容损失；

Step3：将最后输出的重建图片和目标图片输入到细粒度纹理特征提取网络φ，然后计算细粒度纹理损失；

Step4：将最后输出的重建图片输入到判别网络D，然后计算对抗损失；

Step5：将对抗损失，按照步骤3的总体损失函数Loss进行计算，得到最终损失，然后反向传播计算梯度，并更新超分辨率重建网络的参数值；

Step6：训练判别网络，将最后输出的重建图片块和目标图片块I分别输入到判别网络D中，优化目标如下：

Step7：重复Step2-Step6，直到损失函数值达到最小。