CN109978785A - 多级递归特征融合的图像超分辨率重构系统及其方法 - Google Patents

Abstract

本发明公开了一种多级递归特征融合的图像超分辨率重构系统及其方法，涉及图像复原技术领域。本系统是：初始特征提取模块（10）、递归特征提取模块（20）、多级特征融合模块（30）、加法器模块（40）和上采样重构模块（50）依次交互，初始特征提取模块（10）分别与多级特征融合模块（30）和加法器模块（40）交互。本方法是：①初始特征提取；②递归特征提取；③多级特征融合；④深度特征生成；⑤高分辨率图像生成。本发明能在得到高质量超分辨率重构图像的同时，极好地减低系统的实现复杂度，减少计算时间；适用于视频监控、医学成像等应用。

Description

多级递归特征融合的图像超分辨率重构系统及其方法

技术领域

本发明涉及图像复原技术领域，尤其涉及一种多级递归特征融合的图像超分辨率重构系统及其方法；本发明基于深度递归神经网络，利用多级特征融合的单帧图像超分辨率重构系统及其方法。

背景技术

单帧图像超分辨率旨在由观测的单帧低分辨率图像重建原始高分辨率图像，其在医学成像、数字摄影和视频监控等领域具有广泛应用。传统的单帧图像超分辨率方法可以为基于插值的方法、基于模型的方法和基于学习的方法。近年来，随着深度学习理论在图像分类识别领域的成功应用，基于深度卷积神经网络的图像超分辨率重构方法研究也得到广泛关注。【参见文献：[1]Dong C,Loy C C,He K,et al.Image super-resolution usingdeep convolutional networks[J].IEEE transactions on pattern analysis andmachine intelligence,2016,38(2):295-307；[2]Tai Y,Yang J,Liu X,et al.Memnet:Apersistent memory network for image restoration[C]//Proceedings of the IEEEInternational Conference on Computer Vision.2017:4539-4547；[3]Zhang Y,Tian Y,Kong Y,et al.Residual dense network for image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2018:2472-2481.】。

比较全连接神经网络，卷积神经网络能够大大减少网络参数，因此能够极大降低网络复杂度，但是较小尺寸的卷积核却限制了卷积运算的感受野，一定程度影响了卷积神经网络的系统性能。通过引入残差学习和增加网路深度，基于深度卷积神经网络的超分辨率图像重构质量得到了有效提升。【参见文献：[4]Kim J,Kwon Lee J,Mu Lee K.Accurateimage super-resolution using very deep convolutional networks[C]//Proceedingsof the IEEE conference on computer vision and pattern recognition.2016:1646-1654；[5]Lim B,Son S,Kim H,et al.Enhanced deep residual networks for singleimage super-resolution[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition Workshops.2017:136-144.】

然而，随着网络层数的增加，基于前馈卷积神经网络的参数规模又会变得庞大，必然带来网络复杂度的增加。通过利用参数共享，基于深度递归卷积神经网络的超分辨率，在有效减少网络参数规模和扩大卷积网络的感受野，实现图像重构质量提升和系统复杂度控制两方面得到较好平衡。【参见文献：

[6]Kim J,Kwon Lee J,Mu Lee K.Deeply-recursive convolutional networkfor image super-resolution[C]//Proceedings of the IEEE conference on computervision and pattern recognition.2016：1637-1645；【参见文献：[7]Tai Y,Yang J,LiuX.Image super-resolution via deep recursive residual network[C]//Proceedingsof the IEEE Conference on Computer vision and Pattern Recognition.2017:3147-3155.】。但是，以往基于基于深度递归卷积神经网络的超分辨率重构，其重构模块通常只用到了提取的深层特征信息，而忽略了低层特征用于最后重构，因此极大影响了重构图像质量。

发明内容

本发明的目的就在于克服上述背景技术的不足，提供一种多级递归特征融合的图像超分辨率重构系统及其方法，在保障图像高质量超分辨率重构的同时，有效降低系统实现的复杂度。

本发明的技术思路是：

首先采用两层卷积神经网络对输入的低分辨率图像进行变换，得到其初始特征表示；然后，利用深度递归卷积神经网络得到输入的低分辨率图像的多级深层特征表示，并通过对多层特征表示的融合及残差学习，得到输入的低分辨率图像的深度特征表示；最后利用单层卷积网络对深度特征表示进行上采样变换，得到图像的高分辨率重构。本发明通过采用递归卷积神经网络有效减少网络参数，而通过采用多层特征的融合有效提升了表示能力，保障了图像的重构质量。

一、利用多级递归特征融合的单图像超分辨率重构系统(简称系统)

本系统包括初始特征提取模块、递归特征提取模块、多级特征融合模块、加法器模块和上采样重构模块；

初始特征提取模块、递归特征提取模块、多级特征融合模块、加法器模块和上采样重构模块依次交互，初始特征提取模块分别与多级特征融合模块和加法器模块交互。

一、利用多级递归特征融合的单图像超分辨率重构方法(简称方法)

本方法包括下列步骤：

①初始特征提取

初始特征提取模块接收输入的低分辨率图像y，采用两层的卷积神经网络，生成低分辨率图像的两级初始特征表示；其中，第一层卷积神经网络接收输入的低分辨率图像y，生成初始特征F_-1，第二层卷积神经网络接收输入的初始特征F_-1，生成初始特征F₀；

②递归特征提取

递归特征提取模块内的第1递归特征生成单元，采用多层卷积神经网络，首先接收初始特征F_-1和F₀，生成低分辨率图像y的递归特征F₁；然后，第2递归特征生成单元，采用结构和参数与第1递归特征生成单元相同的多层卷积神经网络，接收初始特征F_-1和F₁，生成低分辨率图像y的递归特征F₂；接下来，第3递归特征生成单元，采用结构和参数与第1递归特征生成单元相同的多层卷积神经网络，接收初始特征F_-1和F₂，生成低分辨率图像y的递归特征F₃；照此执行，第n递归特征生成单元接收初始特征F_-1和F_n-1，生成低分辨率图像y的递归特征F_n；最后，第N递归特征生成单元接收初始特征F_-1和F_N-1，生成低分辨率图像y的递归特征F_N；

③多级特征融合

多级特征融合模块接收输入的低分辨率图像的初始特征表示F_-1和F₀、以及多层递归特征表示F₁、F₂、…、F_N，采用多层卷积神经网络对输入的特征进行融合变换，生成输入的低分辨率图像的深度残差特征F_R；

④深度特征生成

加法器模块对接收的低分辨率图像的初始特征F_-1和深度残差特征F_R进行求和运算，产生低分辨率图像的深度特征F_D；

⑤高分辨图像生成

上采样重构模块接收加法器模块送入的低分辨率图像的深度特征F_D，采用上采样卷积神经网络进行图像的上采样重构，生成高分辨率图像输出。

工作机理：

本发明的实现总体分为两个阶段：

第一阶段，采用初始特征提取模块、递归特征提取模块、多级特征融合模块和加法器模块，由已知的低分辨率图像估计高分辨率图像的深度特征表示；

第二阶段，利用上采样重构模块，通过亚像素上采样重构，得到高分辨率图像的重构结果。

与现有技术相比，本发明具有下列优点和积极效果：

本发明能在得到高质量超分辨率重构图像的同时，极好地减低系统的实现复杂度，减少计算时间；适用于视频监控、医学成像等应用。

附图说明

图1是本系统的结构方框图；

图1中：

10—初始特征提取模块，

11—第1卷积层单元(Conv₁单元)，

12—第2卷积层单元(Conv₂单元)；

20—递归特征提取模块，

21—第1递归特征生成单元(RFGU₁单元)，

22—第2递归特征生成单元(RFGU₂单元)，

…，

2n—第n递归特征生成单元(RFGU_n单元)，

…，

2N—第N递归特征生成单元(RFGU_N单元)，

n是自然数，1≤n≤N，N在本发明中优化设定为10。

30—多级特征融合模块；

40—加法器模块；

50—上采样重构模块。

图2是本方法与同类方法的图像重构性能比较表；

图3是本方法与同类方法的系统包含参数的规模比较表；

图4是本方法与同类方法的系统在3倍放大Set4数据集的测试图像所需的时间比较表。

具体实施方式

下面结合附图和实施例详细说明：

一、系统

1、总体

如图1，本系统包括初始特征提取模块10、递归特征提取模块20、多级特征融合模块30、加法器模块40和上采样重构模块50；

初始特征提取模块10、递归特征提取模块20、多级特征融合模块30、加法器模块40和上采样重构模块50依次交互，初始特征提取模块10分别与多级特征融合模块30和加法器模块40交互。

详细地说：初始特征提取模块10有一个输入端、两个输出端，递归特征提取模块20有两个输入端和N个输出端，多级特征融合模块30有(N+2)个输入端和一个输出端，加法器模块40有两个输入端和一个输出端，上采样重构模块50有一个输入端和一个输出端；

初始特征提取模块10的第一输出端与递归特征提取模块20、多级特征融合模块30、加法器模块40的一个输入端交互，初始特征提取模块10的第二输出端与递归特征提取模块20、多级特征融合模块30的另一个输入端交互；

递归特征提取模块20的N个输出端与多级特征融合模块30的其余N个输入端交互；

初始特征提取模块10的第1卷积层单元11的输入端为系统的输入端，第1卷积层单元11的输出端为初始特征提取模块10的第一输出端，第2卷积层单元12的输入端与初始特征提取模块10的第1卷积层单元11的输出端交互，第2卷积层单元12的输出端为初始特征提取模块10的第二输出端；

递归特征提取模块20的第1递归特征生成单元21、第2递归特征生成单元22、…、第1递归特征生成单元2N的一个输入端均与初始特征提取模块10的第一输出端交互，递归特征提取模块20的第1递归特征生成单元21的另一输入端与初始特征提取模块10的第二输出端交互，第1递归特征生成单元21、第2递归特征生成单元22、…、第N递归特征生成单元2N依次交互；

上采样重构模块50的输出端为系统的输出端。

2、功能模块

1)初始特征提取模块10

如图1，初始特征提取模块10包括依次交互的第1卷积层单元11和第2卷积层单元12；

所述的卷积层单元对输入的图像特征表示进行卷积运算，产生新的特征表示图。

其工作流程是：从左到右、从上到下依次扫描输入数据块的每一元素直到结束，按顺序每次接收输入的数据块的一个元素及其规定领域范围的元素，与卷积层单元包含的多组尺寸相同的卷积核分别进行卷积和运算，输出结果按同样次序进行排列。

初始特征提取模块10和其它模块之间的关系：

初始特征提取模块10的第1卷积层单元11接收输入的低分辨率图像，通过卷积运算，得到低分辨率图像的第1初始特征表示，送入第2卷积层单元12、递归特征提取模块20、多级特征融合模块30和加法器模块40；初始特征提取模块10的第2卷积层单元12接收输入的低分辨率图像的第1初始特征表示，通过卷积运算，得到低分辨率图像的第2初始特征表示，送入递归特征提取模块20和多级特征融合模块30。

2)递归特征提取模块20

如图1，递归特征提取模块20包括依次交互的第1、2…n…N递归特征生成单元21、22、…、2n、…、2N，n是自然数，1≤n≤N，N优化设定为10。

递归特征提取模块(20)包含的N级递归特征生成单元，融合送入的前一级特征生成单元的输出和输入的低分辨率图像的第1初始特征表示，通过多层卷积运算，产生新的更高一级的图像特征表示。

其工作流程是：首先通过一次的卷积和运算对输入的两路特征进行融合运算，降低特征表示的维数；然后，将特征融合的结果进一步进行第一次的卷积和运算、非线性激活运算和第二次的卷积和运算；最后，将第二次的卷积和运算的结果与特征融合的结果进行相加运算，得到新的图像特征表示的输出。

递归特征提取模块20和其它模块之间的关系：

第1卷积层单元11分别与第1、2…n…N递归特征生成单元21、22…2n…2N交互，第2卷积层单元12与第1递归特征生成单元21交互，第1卷积层单元11和第1、2…n…N递归特征生成单元21、22…2n…2N同时与多级特征融合模块30交互，第1卷积层单元11与加法器模块40交互。

递归特征提取模块20的第1递归特征生成单元21接收第1初始特征表示和第2初始特征表示，通过卷积神经网络，得到低分辨率图像的第1递归特征表示，送入到第2递归特征生成单元22和多级特征融合模块30的输入端；递归特征提取模块20的第2递归特征生成单元22接收第1初始特征表示和第1递归特征表示，通过卷积神经网络，得到低分辨率图像的第2递归特征表示，送入到第3递归特征生成单元23和多级特征融合模块30的输入端；以此方式直到最后，递归特征提取模块20的第N递归特征生成单元2N接收第1初始特征表示和第(N-1)递归特征表示，通过卷积神经网络，得到低分辨率图像的第N递归特征表示，送入到多级特征融合模块30的输入端。

3)多级特征融合模块30

多级特征融合模块30是将送入的(N+2)组输入的低分辨率图像的特征表示进行融合处理，得到与第1初始特征表示的维数相同的输入的低分辨率图像的深度递归特征表示。

多级特征融合模块30和其它模块之间的关系：

多级特征融合模块30接收初始特征提取模块10、递归特征提取模块20送入的低分辨率图像的初始特征表示和递归特征表示，通过多层卷积神经网络，得到低分辨率图像的深度残差特征表示，送入加法器模块40。

4)加法器模块40

加法器模块40是将送入的图像的两路特征表示进行求和运算，产生输入的低分辨率图像的深度特征表示。

加法器模块40和其它模块之间的关系：

加法器模块40接收初始特征提取模块10送入的第一初始特征表示和多级特征融合模块30的深度残差特征表示，通过相加运算，得到低分辨率图像的深度特征表示，送入上采样重构模块50。

5)上采样重构模块50

上采样重构模块50是通过卷积运算和插值运算，将送入的低分辨率图像的深度特征表示进行变换，得到分辨率放大的高分辨率图像输出。

上采样重构模块50和其它模块之间的关系：

上采样重构模块50接收加法器模块40送入的低分辨率图像的深度特征表示，通过亚像素上采样卷积网络，得到高分辨率图像的估计。

二、方法

1、步骤①

初始特征提取模块10对接收的低分辨率图像y进行两级的卷积运算，得到低分辨率图像y的两级初始特征表示F_-1和F₀，数学公式表示为：

F_-1＝W_-1*y+b_-1,

F₀＝W₀*F_-1+b₀,

其中：

W_-1和W₀为两组尺度分别为k×k×c×M和k×k×M×M的卷积滤波器，

*表示卷积运算，

b_-1和b₀为相应的偏置；

2、步骤②

递归特征提取模块20对接收的低分辨率图像y的初始特征表示，采用参数共享的多层卷积神经网络，进行多次递归变换，得到低分辨率图像y的多层深度递归表示F₁、F₂、…、F_N，数学公式表示为：

F_i＝f_rfet(F_-1,F_i-1,W_r),i＝1,2,…,N

其中：

W_r为所用递归卷积网络的参数；若令z＝W_r1*[F_-1 F_i-1]^T,则有

f_rfet(F_-1,F_i-1,W_r)＝z+W_r3*σ(W_r2*z)

其中的σ(.)表示非线性激活运算，W_r＝{W_r1,W_r2,W_r3}

3、步骤③

多级特征融合模块30接收低分辨率图像y的初始特征表示和多层递归特征，采用多层卷积神经网络进行融合变换，得到低分辨率图像y的深度残差特征表示，数学表示为：

F_R＝f_ffet(F_-1,F₀,…,F_n,…,F_N,W_f)

其中的W_f为所用特征融合卷积网络的参数；若令z＝W_f1*[F_-1 F₀ … F_n,… F_N]^T,则有

f_ffet(F_-1,F₀,…,F_n,…,F_N,W_f)＝z+W_f3*σ(W_f2*z)

其中的W_f＝{W_f1,W_f2,W_f3}

4、步骤④

加法器模块40接收初始特征提取模块10送入的初始特征表示F_-1和多级特征融合模块送入的深度残差特征表示F_R，采用加法器进行假发运算，得到低分辨率图像y的深度特征表示F_D，数学表示为：

F_D＝F_-1+F_R

5、步骤⑤

上采样重构模块50接收加法器模块40送入的低分辨率图像的深度特征表示F_D，通过亚像素上采样卷积网络，得到高分辨率图像的估计x，数学表示为：

x＝f_rec(F_D,W_u)＝W_u*F_D

其中的W_u为亚像素上采样卷积网络的参数。

三、实验评估

为了证明本发明实施例的有效性，申请人在pytorch深度学习框架下进行了实验评估。实验平台配置2张Nvidia GeForce GTX 1080 Ti显卡。递归网络的级联层数选取为N＝10，每个递归特征生成单元设计由一个1×1×128×64的卷积层、一个3×3×64×64的卷积层和一个基本残差学习网络级联组成，基本残差学习网络设计由两个3×3×64×64卷积层和一个非线性激活层组成。网络训练所用的训练集为DIV2K，测试集有Set5、Set14、BSD100。仅对图像的亮度通道进行训练、测试系统性能用平均PSNR和SSIM指标度量。训练方法选用Adam法，相关参数设置为β₁＝0.9,β₂＝0.999和ε＝10^-8；初始学习率为0.0001，每10个周期下降一半；Batch size大小为32。网络训练定义的损失函数为均方误差。

图1给出了本发明方法与同类方法的图像重构性能比较结果；

图2给出了本发明方法与同类方法的系统包含参数的规模比较；

图3给出了本发明方法与同类方法的系统在3倍放大Set4数据集的测试图像所需的时间比较。

由此可见：本发明在改善重构图像质量、降低系统复杂度和提升重构速度方面均具有良好表现。

本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。

说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (4)

1.一种多级递归特征融合的图像超分辨率重构系统，其特征在于：

包括初始特征提取模块（10）、递归特征提取模块（20）、多级特征融合模块（30）、加法器模块（40）和上采样重构模块（50）；

初始特征提取模块（10）、递归特征提取模块（20）、多级特征融合模块（30）、加法器模块（40）和上采样重构模块（50）依次交互，初始特征提取模块（10）分别与多级特征融合模块（30）和加法器模块（40）交互。

2.按权利要求1所述的图像超分辨率重构系统，其特征在于：

所述的初始特征提取模块（10）包括依次交互的第1卷积层单元（11）和第2卷积层单元（12）；

所述的卷积层单元对输入的图像特征表示进行卷积运算，产生新的特征表示图；

其工作流程是：从左到右、从上到下依次扫描输入数据块的每一元素直到结束，按顺序每次接收输入的数据块的一个元素及其规定领域范围的元素，与卷积层单元包含的多组尺寸相同的卷积核分别进行卷积和运算，输出结果按同样次序进行排列。

3.按权利要求1所述的图像超分辨率重构系统，其特征在于：

所述的递归特征提取模块（20）包括依次交互的第1、2…n…N递归特征生成单元（21、22、…、2n、…、2N），n是自然数，1≤n≤N，N优化设定为10；

递归特征提取模块（20）包含的N级递归特征生成单元，融合送入的前一级特征生成单元的输出和输入的低分辨率图像的第1初始特征表示，通过多层卷积运算，产生新的更高一级的图像特征表示；

其工作流程是：首先通过一次的卷积和运算对输入的两路特征进行融合运算，降低特征表示的维数；然后，将特征融合的结果进一步进行第一次的卷积和运算、非线性激活运算和第二次的卷积和运算；最后，将第二次的卷积和运算的结果与特征融合的结果进行相加运算，得到新的图像特征表示的输出。

4.基于权利要求1-3所述系统的图像超分辨率重构方法，其特征在于：

①初始特征提取

初始特征提取模块接收输入的低分辨率图像y，采用两层的卷积神经网络，生成低分辨率图像的两级初始特征表示；其中，第一层卷积神经网络接收输入的低分辨率图像y，生成初始特征F_-1，第二层卷积神经网络接收输入的初始特征F_-1，生成初始特征F₀；

②递归特征提取

递归特征提取模块内的第1递归特征生成单元，采用多层卷积神经网络，首先接收初始特征F_-1和F₀，生成低分辨率图像y的递归特征F₁；然后，第2递归特征生成单元，采用结构和参数与第1递归特征生成单元相同的多层卷积神经网络，接收初始特征F_-1和F₁，生成低分辨率图像y的递归特征F₂；接下来，第3递归特征生成单元，采用结构和参数与第1递归特征生成单元相同的多层卷积神经网络，接收初始特征F_-1和F₂，生成低分辨率图像y的递归特征F₃；照此执行，第n递归特征生成单元接收初始特征F_-1和F_n-1，生成低分辨率图像y的递归特征F_n；最后，第N递归特征生成单元接收初始特征F_-1和F_N-1，生成低分辨率图像y的递归特征F_N；

③多级特征融合

多级特征融合模块接收输入的低分辨率图像的初始特征表示F_-1和F₀、以及多层递归特征表示F₁、F₂、…、F_N，采用多层卷积神经网络对输入的特征进行融合变换，生成输入的低分辨率图像的深度残差特征F_R；

④深度特征生成

加法器模块对接收的低分辨率图像的初始特征F_-1和深度残差特征F_R进行求和运算，产生低分辨率图像的深度特征F_D；

⑤高分辨率图像生成

上采样重构模块接收加法器模块送入的低分辨率图像的深度特征F_D，采用上采样卷积神经网络进行图像的上采样重构，生成高分辨率图像输出。