CN109829855B - 一种基于融合多层次特征图的超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于融合多层次特征图的超分辨率重建方法，采用密集网络的思路，构建生成多层次特征图的特征提取网络。利用卷积核大小为1*1的卷积神经网络对联结的特征图进行降维，并融合特征图，在此基础上特征提取网络得到融合的多层次特征图，使用子像素卷积神经网络作为上采样算子，得到高分辨率的重建图像。在训练的过程中使用感知损失函数作为最小化目标，以生成更符合视觉感知的高分辨率图像。本发明解决了现有超分辨率重建算法未能充分利用多层次特征图的缺陷，能够充分利用特征提取网络得到的低分辨率图像中的局部和整体信息，能够准确并快速的由低分辨率图像重建得到高分辨率的图像。

Description

一种基于融合多层次特征图的超分辨率重建方法

技术领域

本发明涉及一种基于融合多层次特征图的超分辨率重建方法，属于计算机视觉技术领域。

背景技术

单幅图像超分辨率(SISR)作为一个基本的低级别计算机视觉问题，越来越受到研究界和人工智能界的关注。SISR的目标是从单低分辨率(LR)图像中恢复高分辨率(HR)图像。自文献(Image Super-Resolution Using Deep Convolutional Networks[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2014,38(2))提出SRCNN的开创性工作以来，深层卷积神经网络(CNN)方法带来了蓬勃的发展。各种网络结构设计和训练策略不断提高了SR性能，尤其是在峰值信噪比(PSNR)准确性评价指标上取得了巨大的提高。然而，这些面向PSNR的方法倾向于在没有足够的高频细节的情况下输出过于平滑的结果，因为PSNR度量基本上与人类观察者的主观评价不一致。

为了提高SR重建结果的视觉感知质量，提出了几种感知驱动方法。例如，感知损失函数被提出，即在特征空间而不是像素空间中训练超分辨率模型。生成对抗网络被引入到SR中，以对抗网络来使得生成网络生成更符合自然图像的解决方案。为了改善恢复的纹理细节，进一步融合了先前的语义图像。文献(Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[J].2016)是追求视觉效果的里程碑之一，利用残差块建立基本模型，并在GAN框架中利用感知损失进行优化。通过这些技术，大大提高了PSNR定向重建的整体视觉感知质量。

作为一项开拓性的工作，SRCNN以端到端的方式学习从LR到HR图像的映射，与以前的工作相比，实现卓越的性能。后来，SR领域见证了各种网络结构，如具有残差学习的更深层次网络、拉普拉斯金字塔结构、残差块、递归学习、密集连接网络、深度反投影和残差密集网络。除了监督学习外，还引入了其他方法，如强化学习和无监督学习来解决一般的图像恢复问题。

此外，几种方法被提出以稳定一个非常深的模型的训练过程。例如，开发跳跃连接以稳定训练并提高准确性。例如对于一般的深层网络，一种不带BN层的VGG网络的鲁棒初始化方法。

视觉感知驱动的方法也被提出，以提高SR重建结果的视觉感知质量。基于更接近感知相似性的思想，提出了通过最小化特征空间中的误差而不是像素空间中的误差来提高视觉质量的感知损失。相关空间之间的信息丢失是通过使用关注特征分布而不仅仅是比较图像的外观，利用自然图像统计生成图像。

国内外研究学者利用卷积神经网络来完成超分辨率重建的任务已有较大的进展，并将卷积神经网络引入到特征提取和上采样的过程中，使得特征提取和重建过程都能够通过样本来训练，提高算法的准确性。该研究方向有效的提高了超分辨率重建的准确性，已经成为计算机视觉领域的研究热点之一。

发明内容

本发明所要解决的技术问题是：提供一种基于融合多层次特征图的超分辨率重建方法，克服现有的基于卷积神经网络的超分辨率重建算法未能充分利用多层次特征图的缺点，提出融合多层次特征图的网络模型，准确重建高分辨率图片，有效提高了重建的准确性和视觉效果。

本发明为解决上述技术问题采用以下技术方案：

一种基于融合多层次特征图的超分辨率重建方法，包括如下步骤：

步骤1，构建基于融合多层次特征图的卷积神经网络模型，该网络模型包括特征提取网络和重建网络，对特征提取网络和重建网络进行训练；

步骤2，训练后的特征提取网络包括多层次特征提取网络和特征融合网络，多层次特征提取网络包括依次连接的多个卷积层，利用多层次特征提取网络对单幅图像进行特征提取，将所有卷积层输出的特征图进行联结；

步骤3，特征融合网络包括卷积核大小为1×1的卷积神经网络和卷积核大小为3×3的卷积神经网络，采用卷积核大小为1×1的卷积神经网络对联结后的特征图进行降维和跨通道信息融合，再采用卷积核大小为3×3的卷积神经网络进行特征提取得到特征图；

步骤4，训练后的重建网络包括上采样算子和卷积核大小为3×3的卷积神经网络，采用上采样算子将步骤3得到的特征图从低分辨率空间映射到高分辨率空间，再经过卷积核大小为3×3的卷积神经网络后输出的结果即为重建结果。

作为本发明的一种优选方案，步骤1所述对特征提取网络和重建网络进行训练，所采用的感知损失函数为：

其中，L表示损失函数，θ为网络中的参数，N为训练图片的总数，y⁽ⁿ⁾为第n张训练图片，为第n张训练图片下采样后经重建生成的高分辨率图像，β为正则化项的系数，||·||²表示参数的正则化。

作为本发明的一种优选方案，步骤2所述多层次特征提取网络，具体如下：

多层次特征提取网络包括t个相同的卷积层，且将前一个卷积层的输出作为后一个卷积层的输入，第一个卷积层的数学形式为：l₁＝δ(0,W₁*X+b₁)，第二至第t个卷积层的数学形式为：l_i＝δ(0,W_i*l_i-1+b_i)，l₁表示第一个卷积层的输出，l_i-1、l_i分别表示第i-1、i个卷积层的输出，W₁、W_i分别表示第1、i个卷积层的卷积核，X为原始图像，*为卷积运算，b₁、b_i均为偏置项，i＝2,…,t，δ表示PReLU激活函数。

作为本发明的一种优选方案，步骤3所述采用卷积核大小为1×1的卷积神经网络对联结后的特征图进行降维和跨通道信息融合，数学形式为：

l_temp＝δ(W_1×1*[l₁,l₂,…,l_t]+b_1×1)

其中，l_temp为卷积核大小为1×1的卷积神经网络的输出，δ表示PReLU激活函数，W_1×1为m个1×1×(m×t)大小的卷积核，m为卷积核的个数，[l₁,l₂,…,l_t]表示第1至t个卷积层输出的特征图联结后的结果，b_1×1为1×1的偏置项。

作为本发明的一种优选方案，步骤4所述上采样算子为子像素卷积神经网络，数学形式为：

I^up＝PS(W_up*l_out+b_up)

其中，I^up为子像素卷积神经网络的输出，PS表示将特征图从低分辨率空间映射到高分辨率空间，W_up为子像素卷积神经网络的卷积核，l_out为步骤3得到的特征图，b_up为子像素卷积神经网络的偏置项。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明采用密集连接和特征图融合的方式，建立了融合层次特征图的特征提取网络，利用子像素卷积神经网络完成由低分辨率图片到高分辨率图片的上采样过程。基于感知损失函数，生成更符合视觉感知的重建高分辨率图像。本发明能够有效的利用特征提取网络中每一个卷积层提取的信息，应用与重建，取得了重建的准确性和好的视觉效果。

附图说明

图1是本发明一种基于融合多层次特征图的超分辨率重建方法的流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，一种基于卷积神经网络的超分辨率重建方法，网络模型分为两个部分：特征提取网络和重建网络。特征提取网络可以分为特征提取部分和特征融合部分，特征提取部分采用t个相同的卷积层，特征融合部分由一个1×1CNN和一个3×3CNN构成。重建网络由上采样算子和一个卷积层构成。

具体步骤如下：

步骤一：利用依次联结的卷积层对低分辨率图片进行特征提取，并采用密集联结的思路，将卷积层的输出特征图连接至特征提取网络中该卷积之后的卷积层作为输入。特征提取网络的第一个卷积层表示为以下数学形式：

l₁＝δ(0,W₁*X+b₁)

W₁为滤波器，W₁的大小为c×s₁×s₁，c为输入LR图像的通道数，s₁为卷积核的空间大小，本发明中卷积核全部选择为等长宽的卷积核。b₁为偏置项，*为卷积运算，δ代表PReLU激活函数，数学形式为：F(f)＝max(0,f)+α(min(0,f))，f＝W₁*X+b₁。

在本发明中选择使用PReLU作为激活函数，在训练的过程中PReLU相比ReLU只增加了与卷积层数目相同的参数，同时可以在训练模型的过程中被训练，这样可以获得更针对与SR任务的激活函数。

特征提取网络第一个卷积层之后的卷积层的输出可以表示为以下形式：

l_i＝δ(0,W_i*l_i-1+b_i)

l_i为第i个卷积层的输出，δ为PReLU激活函数，W_i为第i个卷积层的卷积核，b_i为偏置项，l_i-1为第i个卷积层的输入，[l₁,l₂,…,l_t]是特征提取网络中第1,2,…,t卷积层输出的特征图经密集连接的联结。

步骤二：特征图的融合，深度学习在SR任务中发展至今模型越来越深，使得前后不同的卷积层的输出特征图是有着不同感受野的不同层次的特征图。多层次特征图可以给图像的重建提供更多的信息，对获得更好的重建效果更有利，特征提取网络在输出特征图之前将网络中全部卷积层输出特征图的联结：[l₁,l₂,…,l_t]。

由于[l₁,l₂,…,l_t]特征图的数目过多，极大的增加了计算量，本发明使用1×1卷积降低特征图的维数，自适应的控制降维的过程中输出的特征图保存的信息。可以用以下的数学形式表达：l_temp＝δ(W_1×1*[l₁,l₂,…,l_I]+b_1×1)，W_1×1是m个1×1×(m×t)大小的卷积核，δ是PReLU激活函数。

1×1卷积层跨通道的融合了联结特征图不同通道中的信息，再使用3×3卷积更进一步提取特征，整个特征提取网络的输出特征图表示为l_out。

步骤三：在LR空间大小特征提取网络提取特征图后，使用ESPCN中的子像素卷积作为上采样算子，表示为：

I^up＝F^L(l_out)＝PS(W_up*l_out+b_up)

上式中，式中PS是等同于特征图的元素置换操作，子像素卷积神经网络将H×W×r²c大小的l_out变为rH×rW×c大小的I^up，r是上采样因子，c是图片通道数。

最后在子像素卷积神经网络之后连接一个3×3的卷积层，使用3×3的CNN得到最后的HR图像：I^SR＝δ(W*I^up+b)。

通过训练图片集训练基于卷积神经网络的模型。定义训练图片总数为N的训练集为：训练的过程是寻找最优的参数θ最小化模型的函数/>与y⁽ⁿ⁾在指定网络模型中特征空间中的误差。感知损失函数的定义对于训练过程中的收敛性、参数寻优的过程有着关键的影响。本发明中选择VGG网络为生成应用于损失函数的特征图的已训练深度网络，感知误差定义为：

定义感知损失函数为：

出于使网络中参数尽量稀疏的考虑，在损失函数中加入正则化项，乘以系数β。最后的损失函数如下式所示：

本发明模型中降维所用的卷积层大小为1×1，其他全部卷积层的卷积核大小设置为3×3。特征提取部分卷积层的个数本发明实验中设置为7，即t等于7，卷积核的个数m设置为64。特征融合部分3×3模型中的3×3卷积层使用填零来维持特征图的空间大小，避免丢失边缘信息。上采样算子采用子像素卷积从特征图得到HR大小c个通道的图片。

CNN卷积核的初始化全部采用HE方法，偏置项和PReLU的值置零。使用ADAM对网络进行训练，初始学习率设置为0.001。训练过程中当连续7个epochs损失函数保持稳定，就将学习率除以2，当学习率低于0.00001时停止整个训练过程。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (3)

1.一种基于融合多层次特征图的超分辨率重建方法，其特征在于，包括如下步骤：

步骤1，构建基于融合多层次特征图的卷积神经网络模型，该网络模型包括特征提取网络和重建网络，对特征提取网络和重建网络进行训练；

所述对特征提取网络和重建网络进行训练，所采用的感知损失函数为：

其中，L表示损失函数，θ为网络中的参数，N为训练图片的总数，y⁽ⁿ⁾为第n张训练图片，为第n张训练图片下采样后经重建生成的高分辨率图像，β为正则化项的系数，||·||²表示参数的正则化；

步骤2，训练后的特征提取网络包括多层次特征提取网络和特征融合网络，多层次特征提取网络包括依次连接的多个卷积层，利用多层次特征提取网络对单幅图像进行特征提取，将所有卷积层输出的特征图进行联结；

所述多层次特征提取网络，具体如下：

多层次特征提取网络包括t个相同的卷积层，且将前一个卷积层的输出作为后一个卷积层的输入，第一个卷积层的数学形式为：l₁＝δ(0,W₁*X+b₁)，第二至第t个卷积层的数学形式为：l_i＝δ(0,W_i*l_i-1+b_i)，l₁表示第一个卷积层的输出，l_i-1、l_i分别表示第i-1、i个卷积层的输出，W₁、W_i分别表示第1、i个卷积层的卷积核，X为原始图像，*为卷积运算，b₁、b_i均为偏置项，i＝2,…,t，δ表示PReLU激活函数；

步骤3，特征融合网络包括卷积核大小为1×1的卷积神经网络和卷积核大小为3×3的卷积神经网络，采用卷积核大小为1×1的卷积神经网络对联结后的特征图进行降维和跨通道信息融合，再采用卷积核大小为3×3的卷积神经网络进行特征提取得到特征图；

步骤4，训练后的重建网络包括上采样算子和卷积核大小为3×3的卷积神经网络，采用上采样算子将步骤3得到的特征图从低分辨率空间映射到高分辨率空间，再经过卷积核大小为3×3的卷积神经网络后输出的结果即为重建结果。

2.根据权利要求1所述基于融合多层次特征图的超分辨率重建方法，其特征在于，步骤3所述采用卷积核大小为1×1的卷积神经网络对联结后的特征图进行降维和跨通道信息融合，数学形式为：

l_temp＝δ(W_1×1*[l₁,l₂,…,l_t]+b_1×1)

其中，l_temp为卷积核大小为1×1的卷积神经网络的输出，δ表示PReLU激活函数，W_1×1为m个1×1×(m×t)大小的卷积核，m为卷积核的个数，[l₁,l₂,…,l_t]表示第1至t个卷积层输出的特征图联结后的结果，b_1×1为1×1的偏置项。

3.根据权利要求1所述基于融合多层次特征图的超分辨率重建方法，其特征在于，步骤4所述上采样算子为子像素卷积神经网络，数学形式为：

I^up＝PS(W_up*l_out+b_up)

其中，I^up为子像素卷积神经网络的输出，PS表示将特征图从低分辨率空间映射到高分辨率空间，W_up为子像素卷积神经网络的卷积核，l_out为步骤3得到的特征图，b_up为子像素卷积神经网络的偏置项。