CN109064407A - 基于多层感知机层的密集连接网络图像超分辨率方法 - Google Patents

Abstract

本发明提出了一种基于多层感知机层的密集连接网络图像超分辨率方法，其特征在于：低分辨率图像输入基于多层感知机层的密集连接网络，由密集连接网络进行图像的超分辨率运算，输出高分辨率图像；所述多层感知机层的密集连接网络包括若干密集连接模块，每个密集连接模块包括若干密集单元，每个密集单元中包括一个多层感知机层。本发明提出的图像超分辩率方法客观衡量指标高，图像超分辨率结果清晰，视觉效果好。

Description

基于多层感知机层的密集连接网络图像超分辨率方法

技术领域

本发明涉及图像超分辨率技术领域，具体地说，本发明涉及一种基于多层感知机层的密集连接网络图像超分辨率技术方案(SR-RMDB)。

背景技术

图像超分辨率的基本目标是从输入的低分辨率图像中重建恢复出高分辨率图像。根据输入图像的数量，图像超分辨率方法分为单幅图像和多幅图像的超分辨率方法。

由于图像退化过程中信息损失的不可逆，单幅图像超分辨率是个病态问题。现存主要有三类方法解决这个问题，即：基于插值的方法、基于重建的方法和基于学习的方法。基于学习的方法又可分为基于浅层学习和基于深度学习的方法。近年来，基于深度学习即卷积神经网络的方法成为解决该问题的主流。为了学习低分辨率图像到高分辨率图像的非线性匹配，SRCNN的方法(C.Dong,C.L.Chen,K.He,and X.Tang,“Learning a deepconvolutional network for image super-resolution,”vol.8692,pp.184–199,2014)首先将卷积神经网络以端到端的方式引入单幅图像超分辨率问题中。即使该方法中的网络模型拥有较少的网络层数，其性能仍然优于其他非深度学习的方法。当在网络中堆叠更多的层时，会出现网络难以训练的问题。为了解决该问题，许多拥有短连接的有效模型被提出，如VDSR方法(J.Kim,J.K.Lee,and K.M.Lee,“Accurate image super-resolution usingvery deep convolutional networks,”in IEEE Conference on Computer Vision andPattern Recognition,2016,pp.1646–1654)，DRCN方法(J.Kim,J.K.Lee,and K.M.Lee,“Deeply-recursive convolutional network for image super-resolution,”CoRR,vol.abs/1511.04491,2015.[Online].Available:http://arxiv.org/abs/1511.04491)，DRRN方法(Y.Tai,J.Yang,and X.Liu,“Image super-resolution via deep recursiveresidual network,”in IEEE Conference on Computer Vision and PatternRecognition,2017,pp.2790–2798)。为了进一步提升图像超分辨率的性能，在单幅图像超分特征提取的过程中，一些方法将卷积层密集连接起来，包括DCSCN(Y.Jin,S.Kuwashima,and T.Kurita,“Fast and accurate image super resolution by deep cnn with skipconnection and network in network,”in International Conference on NeuralInformation Processing,2017,pp.217–225)和SR-DenseNet(T.Tong,G.Li,X.Liu,andQ.Gao,“Image super-resolution using dense skip connections,”in IEEEInternational Conference on Computer Vision,2017,pp.4809–4817)。前者的特征提取网络仅为一个密集模块，因此该模型需要大量的存储空间。虽然后者使用了多个密集连接模块，但在每个模块中仅使用卷积核大小为3×3的单一卷积层，并且其输出均直接送入下一层，因此并不能提取到足够的非线性特征。

发明内容

针对现有的技术缺陷，本发明提出了一种基于多层感知机层的密集连接网络图像超分辨率技术方案。

为达到上述目的，本发明采用的技术方案提供一种基于多层感知机层的密集连接网络图像超分辨率方法，低分辨率图像输入基于多层感知机层的密集连接网络，由密集连接网络进行图像的超分辨率运算，输出高分辨率图像；所述多层感知机层的密集连接网络包括若干密集连接模块，每个密集连接模块包括若干密集单元，每个密集单元中包括一个多层感知机层。

而且，所述多层感知机层的密集连接网络包括1个3×3的卷积层，M个密集连接模块，2个亚像素卷积层和1个加法器；

输入密集连接网络的低分辨率图像I^LR，经卷积层得到低维特征F₀；

随后，将低维特征F₀输入第一个密集连接模块，其输出为F₁，并作为第二个密集连接模块的输入，以此类推，经过M个密集连接模块后分别提取得到高维特征F₁,…,F_M；

然后，通过2个亚像素卷积层分别将低维特征F₀和高维特征F_M映射到高分辨率空间，相应得到本体映射F_GR和全局残差F_IM；

最后，经过加法器将全局残差F_GR和本体映射F_IM融合得到图像超分辨率结果I^SR。

而且，所述密集连接模块包括D个密集单元，1个1×1的卷积层和一个加法器；

第m个密集连接模块的输入为F_m-1，m＝1,2,…,M，；F_m-1输入到第1个密集单元计算得到局部高维特征F_1,m，第2个密集单元的输入为F_m-1和F_1,m，包括所在密集连接模块的输入和其之前所有密集单元的输出，计算得到局部高维特征F_2,m，以此类推，第d个密集单元的输入为[F_m-1,F_1,m,F_2,m,…,F_d-1,m]，计算得到局部高维特征F_d,m，d＝2,…,D；

将D个密集单元的输出F_1,m,F_2,m,F_3,m和第m个密集连接模块的输入F_m-1通过一个1×1的卷积层计算得到局部残差F_LR；

将第m个密集连接模块的输入F_m-1和局部残差F_LR融合，得到第m个密集连接模块的输出F_m。

而且，所述密集单元中包括1个3×3的卷积层、1个多层感知机层、2个修正线性单元和1个1×1的卷积层；

第m个密集连接模块中第d个密集单元的输入为[F_m-1,F_1,m,F_2,m,…,F_d-1,m]，同时输入到3×3的卷积层、多层感知机层，然后进入卷积层、多层感知机层之后紧跟的修正线性单元，得到通过3×3的卷积层经修正线性单元的输出f_d,m，得到通过多层感知机层经修正线性单元的输出f_d,m；

根据输出f_d,m和输出f_d,m，经过一个1×1的卷积层计算得到输出F_d,m。

本发明提出包括对图像低维特征的提取；将多层感知机层结合卷积层融入密集连接单元，并建立了包含残差学习和多个密集连接单元在内的密集连接模型来提取高维特征；通过亚像素卷积层将高、低维特征分别映射到高分辨率空间；基于全局残差融合得到高分辨率图像的结果。本发明的图像超分辩率方法客观衡量指标高，图像超分辨率结果清晰，视觉效果好。和现有相比，本发明具有以下优点：

1、本发明针对图像超分辨率问题提出了一种新型的网络模型。与其他图像超分辨率方法相比，该方法在主、客观指标上均取得了较好的效果。

2、本发明提出了一种新型的密集连接模型，该模型具有较好的非线性表达能力，其分层次的提取特征实现了更好的图像超分辨率效果。

附图说明

图1为本发明实施例的整体的网络架构图；

图2为本发明实施例第m个密集连接模块架构图；

图3为本发明实施例第m个密集连接模块中第d个密集连接单元架构图。

具体实施方式

下面结合附图和实施例对本发明技术方案进一步详细说明。

本发明提出的方法：将低分辨率图像输入基于多层感知机层的密集连接网络，该网络进行图像的超分辨率运算，输出高分辨率图像。具体实施时可采用软件方式实现自动运行。

参见图1，本发明实施例中基于多层感知机层的密集连接网络包括1个3×3的卷积层，M个密集连接模块，2个亚像素卷积层和加法器；具体实施时，M的建议取值范围为1～5，实施例中M取优选值3。

向网络中输入低分辨率图像I^LR，经卷积层得到低维特征F₀，相应的数学定义如下，

F₀＝H_3×3(I^LR)

其中，H_3×3(·)表示卷积核大小为3×3的卷积操作；

随后，将低维特征F₀输入第一个密集连接模块，其输出为F₁，并作为第二个密集连接模块的输入，以此类推，经过3个密集连接模块后分别提取得到高维特征F₁,F₂,F₃，相应的数学定义如下，

其中，表示密集连接模块的运算，m＝1,2,…,M，实施例中m＝1,2,3；

然后，通过亚像素卷积层将低维特征F₀和高维特征F₃映射到高分辨率空间，相应的数学定义如下，

F_IM＝P(F₀),

F_GR＝P(F₃),

其中，P(·)表示亚像素卷积层(具体实现可参见Shi W,Caballero J,Theis L,etal.Is the deconvolution layer the same as a convolutional layer？[J].arXivpreprint arXiv:1609.07009,2016.)的操作，F_GR表示全局残差，F_IM表示本体映射；

最后，经过加法器将全局残差F_GR和本体映射F_IM融合得到图像超分辨率结果I^SR，

I^SR＝F_GR+F_IM；

参见图2，所述密集连接模块包括D个密集单元，1个1×1的卷积层和一个加法器；实施例中D取3。

以第m个密集连接模块为例，m＝1,2,3，其输入为F_m-1；F_m-1输入到第1个密集单元计算得到局部高维特征F_1,m，相应的数学公式如下，

其中，表示密集单元的运算；

第2个密集单元的输入为F_m-1和F_1,m，即其所在密集连接模块的输入和其之前所有密集单元的输出，计算得到局部高维特征F_2,m，以此类推，第d(2≤d≤3)个密集单元的输入为[F_m-1,F_1,m,F_2,m,…,F_d-1,m]，相应的输入输出关系定义如下：

其中，F_d,m表示第m个密集连接模块中第d(个密集单元的输出；d＝2,…,D，实施例中2≤d≤3。

将3个密集单元的输出F_1,m,F_2,m,F_3,m和F_m-1通过一个1×1的卷积层计算得到局部残差F_LR，相应的数学公式如下，

F_LR＝H_1×1([F_m-1,F_1,m,F_2,m,F_3,m]),

其中，H_1×1(·)表示1×1的卷积操作；

最终，通过加法器将第m个密集连接模块的输入F_m-1和局部残差F_LR融合，相应的数学公式如下，

F_m＝F_m-1+F_LR，

其中，F_m表示第m个密集连接模块的输出；

参见图3，所述密集单元中包括一个3×3的卷积层、一个多层感知机层、两个修正线性单元和一个1×1的卷积层；

以第m(1≤m≤3)个密集连接模块中第d(2≤d≤3)个密集单元为例，其输入为[F_m-1,F_1,m,F_2,m,…,F_d-1,m]，其同时输入到3×3的卷积层、多层感知机层，然后进入卷积层、多层感知机层之后紧跟的修正线性单元，相应的数学公式如下，

f_d,m＝max(H_3×3([F_m-1,F_1,m,…F_d-1,m]),0)，

其中，H^mlpconv表示多层感知机层的操作(具体实现可参见Lin M,Chen Q,YanS.Network in network[J].arXiv preprint arXiv:1312.4400,2013.)，f_d,m表示3×3的卷积层经修正线性单元的输出，表示多层感知机层经修正线性单元的输出；max(，)为修正线性单元的运算，取其中的最大值；

最后，经过一个1×1的卷积层计算得到输出F_d,m，相应的数学公式如下，

具体实施时，可采用软件方式实现基于以上网络的图像的超分辨率运算。选取A+、SRCNN、VDSR方法与本发明进行图像超分辨率的对比，对比结果如下表，其中Set5,Set14,BSD100为三个公开测试图像库；PSNR表示峰值信噪比，SSIM表示结构相似性。可以看到本方法PSNR、SSIM指标最高。

方法效果对比表

可见，本发明通过将多层感知机层和残差学习融入密集连接模块，提取了图像不同层次的特征，提高了网络的非线性表达能力，实现了较好的图像超分辨率效果，客观衡量指标高，视觉效果好。

Claims (4)

1.一种基于多层感知机层的密集连接网络图像超分辨率方法，其特征在于：低分辨率图像输入基于多层感知机层的密集连接网络，由密集连接网络进行图像的超分辨率运算，输出高分辨率图像；所述多层感知机层的密集连接网络包括若干密集连接模块，每个密集连接模块包括若干密集单元，每个密集单元中包括一个多层感知机层。

2.根据权利要求1所述的基于多层感知机层的密集连接网络图像超分辨率方法，其特征在于：所述多层感知机层的密集连接网络包括1个3×3的卷积层，M个密集连接模块，2个亚像素卷积层和1个加法器；

输入密集连接网络的低分辨率图像I^LR，经卷积层得到低维特征F₀；

随后，将低维特征F₀输入第一个密集连接模块，其输出为F₁，并作为第二个密集连接模块的输入，以此类推，经过M个密集连接模块后分别提取得到高维特征F₁,…,F_M；

然后，通过2个亚像素卷积层分别将低维特征F₀和高维特征F_M映射到高分辨率空间，相应得到本体映射F_GR和全局残差F_IM；

最后，经过加法器将全局残差F_GR和本体映射F_IM融合得到图像超分辨率结果I^SR。

3.根据权利要求2所述的基于多层感知机层的密集连接网络图像超分辨率方法，其特征在于：所述密集连接模块包括D个密集单元，1个1×1的卷积层和一个加法器；

第m个密集连接模块的输入为F_m-1，m＝1,2,…,M，；F_m-1输入到第1个密集单元计算得到局部高维特征F_1,m，第2个密集单元的输入为F_m-1和F_1,m，包括所在密集连接模块的输入和其之前所有密集单元的输出，计算得到局部高维特征F_2,m，以此类推，第d个密集单元的输入为[F_m-1,F_1,m,F_2,m,…,F_d-1,m]，计算得到局部高维特征F_d,m，d＝2,…,D；

将D个密集单元的输出F_1,m,F_2,m,F_3,m和第m个密集连接模块的输入F_m-1通过一个1×1的卷积层计算得到局部残差F_LR；

将第m个密集连接模块的输入F_m-1和局部残差F_LR融合，得到第m个密集连接模块的输出F_m。

4.根据权利要求2所述的基于多层感知机层的密集连接网络图像超分辨率方法，其特征在于：所述密集单元中包括1个3×3的卷积层、1个多层感知机层、2个修正线性单元和1个1×1的卷积层；

第m个密集连接模块中第d个密集单元的输入为[F_m-1,F_1,m,F_2,m,…,F_d-1,m]，同时输入到3×3的卷积层、多层感知机层，然后进入卷积层、多层感知机层之后紧跟的修正线性单元，得到通过3×3的卷积层经修正线性单元的输出f_d,m，得到通过多层感知机层经修正线性单元的输出f_d,m；

根据输出f_d,m和输出f_d,m，经过一个1×1的卷积层计算得到输出F_d,m。