CN110276721A - 基于级联残差卷积神经网络的图像超分辨率重建方法 - Google Patents

基于级联残差卷积神经网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN110276721A
CN110276721A CN201910351589.2A CN201910351589A CN110276721A CN 110276721 A CN110276721 A CN 110276721A CN 201910351589 A CN201910351589 A CN 201910351589A CN 110276721 A CN110276721 A CN 110276721A
Authority
CN
China
Prior art keywords
residual error
image
network
resolution
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910351589.2A
Other languages
English (en)
Inventor
李素梅
刘人赫
薛建伟
侯春萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910351589.2A priority Critical patent/CN110276721A/zh
Publication of CN110276721A publication Critical patent/CN110276721A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及视频和图像处理领域，为有效降低高分辨率图像重建难度的特性和卷积神经网络良好的特征提取能力以及对复杂映射的拟合能力，实现从输入低分辨率图像到输出高分辨率图像的端到端映射，本发明，基于级联残差卷积神经网络的图像超分辨率重建方法，由结构相同的基本残差网络级联形成联残差卷积神经网络；基本残差网络包含全局残差通道和特征提取通道两个通道，对原始的高分辨率彩色图像进行下采样处理，得到相对应的低分辨率图像，再由低分辨率图像进行双三次插值上采样而得到的插值图像，所述插值图像送入基本残差网络的全局残差通道，最终实现不同级残差网络间的信息传递并形成最终输出。本发明主要应用于视频和图像处理场合。

Description

基于级联残差卷积神经网络的图像超分辨率重建方法
技术领域
本发明属于视频和图像处理领域，涉及到图像超分辨率重建方法的改进和深度学习理论与图像超分辨率重建的融合，以及残差卷积神经网络在高分辨率图像重建领域的实现与应用。
背景技术
图像超分辨率是指通过利用单幅或多幅低分辨率降质图像序列来获得相应的高分辨率图像的过程。在图像处理领域的许多实际应用中，人们往往希望获取高分辨率的原始图像，因为高分辨率的图像意味着更高的像素密度，可以提供更丰富的高频细节信息，从而为图像的后期处理和图像信息的准确提取与利用创设良好的基础。但在现实情况下，由于硬件成像设备和光照条件限制、人为或自然因素干扰等原因，在成像、传输、存储等过程中都有可能引入不同类型的噪声，这些因素都会直接影响图像的质量，我们往往很难获得所期望的高分辨率图像。因此如何提升所获取图像的质量，得到符合应用需求的高分辨率图像就成为图像处理中的一个关键研究课题。同时，作为一门有着较强专业性的实用技术，图像超分辨率重建在生物医疗[1]、卫星遥感[2]、医学影像以及公共安全[3]和国防军事和科技领域有着极为广泛的应用前景，愈发受到人们的重视。例如：在高清数字电视信号应用系统中采用超分辨率重建技术可以进一步降低信号的传输成本，同时又能够保证画面的清晰度和质量。在军用图像和卫星观测图像中往往可以获取关于同一地域的多帧图像，基于此采用超分辨率重建技术可以实现高于系统分辨率的图像观测，提升目标观测准确性。在医学成像系统(CT、核磁共振成像(MRI))中利用超分辨率技术可以提升图像质量，对于病变目标的细节进行清晰呈现，辅助病人的治疗。在银行、交通路口、商场等公共场所，可以通过对监控图像关键部分的超分辨率重建，抓取更多细节信息，为诸多公共安全事件的处理提供重要线索。
图像超分辨率重建作为一门有着巨大实际应用价值的图像处理方法，其概念实质是起源于光学领域的相关研究，在该领域中，超分辨率意为复原光谱衍射极限以外的图像信息。 Toraldo di Francia最初在关于雷达研究的文献中明确提出超分辨率的概念，而针对于图像的超分辨率复原则是由Harris和Goodman在成为Harris-Goodman的频谱外推的方法中最初提出。由于最初的图像超分辨率研究主要针对于单帧图像进行，图像的超分辨率效果受到极大的限制，所以尽管许多学者针对于图像复原工作提出了许多方法，但这些方法只在某些前提假设的条件下获得了较好的仿真效果，在实际应用中效果并不理想。1984年Tsai和Huang首次提出基于多帧或序列低分辨率图像的超分辨率重建方法，并给出基于频率域逼近的重建方法，使得多帧图像超分辨率重建研究取得了长足的进步与发展。经过数十年的研究与探索，图像超分辨率领域已经涌现出许多种类的具体重建方法。按照处理的原始低分辨率图像数量不同，图像的超分辨率重建可分为基于单帧图像的重建方法和基于多帧序列图像的重建方法。前者主要是利用单帧图像的先验信息，恢复出图像获取时丢失的高频信息。后者不仅利用单帧图像的先验信息，而且考虑充分利用不同帧图像间的互补信息，为图像高频信息的恢复提供了更完备充分的特征数据，因此其超分辨率复原效果往往要明显优于前者。但在多数现实情况下，获取关于同一场景的多帧采集图像有时存在较大难度，并且基于多帧图像的超分辨率研究也是建立在对单帧图像处理的基础上的，所以基于单帧图像的超分辨率研究一直都是图像超分辨率领域的研究热点。按照具体的实现方法，图像的超分辨率重建可以划分为频域法和空域法。频域法是在频域上去除频谱的混叠，从而相应地改善空间分辨率。目前较为流行的频域方法包括能量连续降解法和消混叠重建方法。频域法的优点是理论简单，运算复杂度低，容易实现并行处理，缺点是方法的理论前提过于理想化，无法有效适用于多数实际场合，只能局限应用于较为简单的降质模型，包含的空域先验知识有限。而空域法适用范围较广，具有很强的包含空间先验约束的能力，主要包括迭代反投影法、集合论法，统计复原法等。而对于图像超分辨率重建效果的客观评价体系:作为图像超分辨率重建领域的最为关键评价指标，峰值信噪比(PSNR)和结构相似度(SSIM)是衡量和比较最终重建效果的关键参数。峰值信噪比是通过逐像素点累计计算重建所得高分辨率图像与原始真实高分辨率图像的像素值偏差，从而反映出二者在整体像素值上的偏差程度，计量单位为dB。结构相似度则注重于比较重建图像与原始图像在纹理特征、结构特征等方面的相似程度,计量结果为介于0-1之间的实数，一般越接近于1，表明该重建方法对于图像结构和纹理的恢复性能更好，能够更大限度的保持重建图像和原始高分辨率图像的结构相似性。另外在对重建图像的重建效果进行主观评价时，我们往往会采用放大图像局部重点区域，观察对比不同算法对于图像细节和高频信息的恢复程度的方法，评价各类算法的优劣。
当前，图像超分辨率技术主要分为三个研究方向：基于插值的方法[12,13]、基于重建的方法[14,15,16和基于学习[17,18,19]的方法。其中基于插值的方法比较有代表性的包括双线性插值、双三次插值等。该大类方法简单易行，复杂度相对较低，但对高频有效信息的恢复效果相对较差。基于重建的方法主要包括凸集投影法、贝叶斯分析法、迭代反投影法、最大后验概率法、正则化法、混合方法等。基于学习的方法主要包括Example-based方法、邻域嵌入法(neighbor embedding)、支持向量回归方法(SVR)、稀疏表示法(sparsepresentation)。
由于基于学习的图像重建方法往往可以获得更多图像的高层信息，对于恢复图像的高频信息大有助益，因此该类方法较易获得更理想的重建结果。尤其近年来，随着人工智能浪潮的涌现，深度学习理论在经典图像处理领域的应用日益增多，并不断取得优于传统算法的优秀成果。有鉴于此，相关科研人员对深度学习在图像超分辨率领域的应用进行了深入研究，并取得大量的研究成果。在2014年的欧洲计算机视觉会议(ECCV)上，来自香港中文大学的董超等人首次提出将卷积神经网络(CNN)应用于图像超分辨率重建领域的构想，并通过搭建一个简单的三层CNN网络SRCNN[4]实现了完全端到端的从低分辨率图像到高分辨率图像的映射，图像的特征提取、低分辨率与高分辨率图像的非线性映射以及最终图像的构建与输出都完全由网络完成，而网络的模型参数由基于大量数据集的学习得到。SRCNN[4]取得了明显优于传统超分辨率算法的实验效果，证明了深度学习在超分辨率领域的良好应用前景，也为图像的超分辨率研究指明了新的方向。在SRCNN[4]之后，针对于SRCNN[4]网络层数较浅，特征提取和映射能力较弱、感受野不足、收敛速度慢等问题。韩国首尔大学的Kim等人提出了包含20层卷积层的极深超分辨率重建网络(VDSR[5])，大大增加了网络的感受野，增强了网络的学习能力。并在网络中引入全局残差结构，使网络的学习目标变为残差图像，从而大大降低了网络的学习难度，加快了收敛速率。同时，为了控制网络的参数数量，Kim 等人在DRCN[6](深度递归卷积网络)中尝试利用递归结构，确保在不引入新的待学习参数的情况下，通过广泛使用递归块来增加网络深度，提升重建效果。为了实现对低分辨率图像的尺度放大并有效降低网络的计算量，董超等人在改进的FSRCNN[11]网络中率先引入反卷积网络，将图像的尺度扩大交由网络的自身参数学习实现。随着网络深度的增加，网络退化问题导致的学习效能下降严重影响了网络的学习效果，何凯明等人在ResNet[7]中提出局部残差结构，通过在局部残差块中创建shortcut捷径连接，有效避免了网络过深所导致的效果退化，进一步增强了网络的训练速度和学习效果。Tai等人在充分分析ResNet[7]、DRCN[6]、 VDSR[5]等网络的基础上，融合局部和全局残差以及递归结构的优点，提出深度递归残差网络(DRRN[8])，实现了重建效果的显著提升。上述CNN网络训练时采用的损失函数皆为最小均方误差损失，虽然有利于获得较高的峰值信噪比值(PSNR)，但重建图像的主观感知效果较差，为了解决此类问题，来自Twitter公司的Ledig等人提出了SRGAN[20]网络，通过构建两个子网络:生成网络和鉴别网络完成高分辨率图像的重建，并在其中定义了新的网络损失函数，使其既包含传统的最小均方误差损失，又包含内容损失函数，从而提升网络重建图像的人眼感知质量，与此相应地重建图像的PSNR值也有所下降。最近在2017年的NTIRE超分辨率挑战赛上，韩国首尔大学的Lim等人对原有的局部残差块结构进行了优化，在此基础上设计了层数更深、宽度更宽的EDSR[9]网络。同时借鉴VDSR[5]网络同时进行多尺度图像学习的思路设计了MDSR[9]网络，通过将不同放大尺度的图像统一送入网络进行训练，从而充分利用不同放大尺度下的图像信息。在最新的2018年CVPR会议上，美国东北大学的张宇伦等人提出融合DenseNet[36]中的密集结构和ResNet[7]中的残差结构形成密集残差网络 RDN[10]，在该网络中通过密集连接的卷积层，提取丰富的局部特征和层次特征，并通过大量基本密集残差块的连接保证网络的深度和足够的映射能力。
发明内容
为克服现有技术的不足，本发明旨在利用残差结构可以有效降低高分辨率图像重建难度的特性和卷积神经网络良好的特征提取能力以及对复杂映射的拟合能力，利用多个相互串联的残差卷积神经网络实现从输入低分辨率图像到输出高分辨率图像的端到端映射。使得高分辨率图像的重建效果和重建精度获得进一步提升,同时在一定程度上推动卷积神经网络的结构改进及其在图像的超分辨率重建领域的深度运用和发展。为此，本发明采取的技术方案是，基于级联残差卷积神经网络的图像超分辨率重建方法，由结构相同的基本残差网络级联形成联残差卷积神经网络；基本残差网络包含全局残差通道和特征提取通道两个通道，对原始的高分辨率彩色图像进行下采样处理，得到相对应的低分辨率图像，再由低分辨率图像进行双三次插值上采样而得到的插值图像，所述插值图像送入基本残差网络的全局残差通道，用于生成残差图像，而低分辨率图像送入基本残差网络的特征提取通道，用于实现对低分辨率图像的特征信息提取；各级基本残差网络的重建结果图像都会被送入下一级基本残差网络的全局残差通道生成残差图像，从而最终实现不同级残差网络间的信息传递并形成最终输出；而对于各级基本残差网络的特征提取通道，其输入皆为相同的低分辨率图像。
基本残差网络中的特征提取通道通道FEC由四个部分组成，分别为浅层特征提取SFE、局部残差网络LRN、反卷积网络DN、重建网络RN，浅层特征提取SFE由两个核大小为3×3的Conv卷积层构成，每个卷积层包含有64个卷积核，即有64个通道；输入SFE的图像数据为预先切割好的低分辨率图像小块，基本残差网络的输入为ILR，IFE是由浅层特征提取SFE 提取出的特征图像，则二者的关系表示为：
ISFE＝fSFE(ILR)
上式中，fSFE表示SFE中的两层卷积操作，ISFE就是局部残差网络LRN的输入，LRN由4个残差密集块RDB组成，每个RDB包括6层卷积层Conv，此6个卷积层每层都包含有64 个核大小为3X3的卷积核，每个卷积层后采用修正线性单元ReLU函数作为激活函数，同时每个RDB还包括一条局部残差支路用以实现网络的局部残差学习功能；
将第k个RDB的映射函数表示为frdbk，每个LRN包含的RDB的数量为4，那么LRN 的输出ILRN表示为：
ILRN＝frdb4(frdb3(frdb2(frdb1(fSFE))))
ILRN通过反卷积网络DN中的反卷积层Deconv上采样至与高分辨率图像同样大小，该反卷积层一共包含有64个卷积核，用以实现图像从低分辨率尺寸到高分辨率尺寸的转化，即超分辨率重建过程，DN的输出是IDN，反卷积操作是fDN，那么DN的输入和输出之间的关系描述为：
IDN＝fDN(ILRN)
DN的输出IDN被输送至由1层Conv卷积层组成的重建网络RN，所述Conv卷积层包含有一个1×1大小的卷积核，特征图被融合成一幅与高分辨率图像相同大小的图像，该图像是由基本模型学习的全局残差图像，也是FEC的最终输出，RN中的映射为fRN，RN的输出图像为IRN，则IRN表示为：
IRN＝fRN(IDN)
级联残差网络重建而成的高分辨率图像IHR表示为：
IHR＝IRN+IGRC。
本发明的特点及有益效果是：
本发明提出的一种用于解决图像的超分辨率重建问题的改进型卷积神经网络——级联残差卷积神经网络。在该网络中，学习并建立从低分辨率到高分辨率图像映射关系的任务是由多个相互级联的浅层基本残差网络完成。因此训练过程得到简化，收敛速度大大加快。大量实验和分析表明，级联残差学习方法是解决超分辨率问题的可行和有效的方法，本发明所提出的级联残差网络是一种简洁、高效的图像的超分辨率重建方法。
附图说明：
图1级联残差卷积神经网络实现图像的超分辨率重建。
图2级联残差卷积神经网络中基本残差网络示意图：
(a)基本残差网络结构示意图
(b)RDB(密集残差块)结构示意图.
图3各基本残差网络收敛曲线示意图，model 1、model 2、model 3、model 4分别代表第 1、2、3、4级基本残差网络的收敛曲线。
图4(a)是Set5[26]中“butterfly”一图的真实高分辨率图，(b)(c)(d)(e)分别为第1，2，3， 4级基本残差网络中产生的残差图像。
图5三种全局残差网络的比较。
图6本方法与其他代表性超分辨率重建方法重建效果对比：
图6(a)选自Set14测试集中名为“PPT”的图片进行×2倍率重建效果，本文方法所得重建图像中字母更清晰。
图6(b)选自BSD100测试集中名为“101085”的图片进行×3倍率重建效果，本文方法所得重建图像中石头的边缘更清晰。
图6(c)选自BSD100测试集中名为“148026”的图片进行×4倍率重建效果，本文方法所得重建图像中桥面的线条更锋利清晰。
具体实施方式
作为人工神经网络中的一种经典拓扑结构，卷积神经网络在模式识别、图像和语音信息分析处理等领域有着极为广泛的应用。而在图像的超分辨率重建领域，在董超等人率先提出 SRCNN[4]网络，成功将卷积神经网络(CNN)应用于高分辨率图像的恢复与重建之后，许多改进型CNN被相继提出，并都在关键重建效果评价指标上取得了明显提升。
现有的基于CNN的图像的超分辨率重建方法为了获得更好的重建效果，往往具有很深的网络层数，导致网络的训练时间过长，收敛速度较慢，并且更容易出现梯度消失或梯度爆炸等问题，增大网络的训练难度。同时另一方面，因为残差结构有效的降低了网络的学习难度，并且解决了网络层数过深所带来的退化问题，很多基于CNN的超分辨率重建算法也将残差结构引入到网络模型中，从而将网络的学习和重建目标从高分辨率图像转换为其对应的残差图像，但由于现有残差图像来源于高分辨率图像与插值图像(通过将低分辨率率图像双三次插值上采样至与高分辨率图像相同规格而获得)的差值，由于插值图像是上采样获得，丢失了很多高频信息和细节特征，这就导致我们所获得的残差图像仍然含有大量细节成分，具有较高的信息复杂度，从而限制了残差卷积神经网络的学习能力和重建准确度的进一步提升。
为此，我们提出级联残差卷积神经网络，如图1所示：原来的层数超过百层的极深CNN 被分成若干个独立的层数较浅的残差网络，每个残差网络包含层数为30层的卷积层并且都具有完全相同的结构，称为构成整个级联残差网络的一个“基本残差网络”。不同的基本残差网络之间通过输入输出的联系实现信息在整体网络中的流动。
对于基本残差网络1，其输入分别为低分辨率图像和由低分辨率图像进行双三次插值上采样而得到的插值图像，其中插值图像送入基本残差网络的全局残差通道，用于生成残差图像，而低分辨率图像送入基本残差网络的特征提取通道，用于实现对低分辨率图像的特征信息提取。各级基本残差网络的重建结果图像都会被送入下一级基本残差网络的全局残差通道生成残差图像，从而最终实现不同级残差网络间的信息传递。而对于各级基本残差网络的特征提取通道，其输入皆为相同的低分辨率图像。
对于级联网络中的每一个基本残差网络而言，对其进行训练的过程本质上都是一个残差学习的过程，并且每一个网络都可以独立地完成对低分辨率图像的重建过程，从而得到重建的高分辨率图像。因为由基本残差网络重建的高分辨率图像往往比插值图像具有更丰富的细节和高频信息，使得下一级基本残差网络生成的残差图像的信息复杂度进一步降低，从而使得下一级残差网络的学习难度和重建难度进一步降低，相应地残差网络的重建效果和重建准确度也会提升。同理，随着基本残差网络的数量不断增多，残差图像的信息复杂度不断降低，重建难度和学习难度不断降低，最终实现重建效果的逐步提升。另一方面，由于我们设计的级联残差网络中，整体网络被分割为多个浅层的基本残差网络，对于每个基本残差网络的训练是依次进行的，而每个基本残差网络层数不超过30层，网络的训练难度较低，可以实现快速收敛，大大节省了网络的训练成本，避免了原有的极深卷积神经网络的训练困难。
本文所提的基于级联残差卷积神经网络的图像超分辨率重建方法主要涉及以下内容：首先通过引入残差结构，将卷积网络的重建目标从高分辨率图像转化为对应的残差图像，降低网络的重建难度。然后通过多个相互级联的基本残差网络，实现对残差图像的多次学习和重建，逐步降低重建难度，最终提升对高分辨率图像的重建准确度。通过在标准数据集上的测评，证明级联残差网络在最终的重建效果上获得了较大的提升，我们将在下文的方案具体实施环节中介绍网络的工作流程，并展示残差网络的详细结构以及对最终重建效果进行定量比较分析。
本文中级联残差卷积神经网络所使用的训练集来自train291数据集，一共有291张高分辨率图片，其中91张来自于Yang等人在文献[24]中提出的训练集，另外200张来自于伯克利实验室所提供的数据集[25]。并且为了获得更完备充分的数据集，我们对原始的291张图像进行了90°，180°，270°，旋转处理和镜像处理，从而获得对数据集的扩充。
而作为对网络重建效果的评测和比较，我们选用在图像得超分领域广泛采用的Set5[26]、 Set14[16]和BSD100[27]数据集作为标准测试集。与现有方法的评价体系类似，我们选用PSNR 和SSIM[28]作为主要的客观评价指标，并通过对重建图像的局部细节的放大观察完成对各类方法重建效果的主观比较。
下面结合技术方案详细说明本方法：
本方法首先利用Matlab软件，对train291数据集进行切块和数据归一化处理，制作网络的训练集和标签。然后通过Caffe[22]深度学习框架对所搭建的级联残差卷积神经网络进行训练，通过文献[29]中所提出的方法进行卷积网络参数的初始化设置，通过Adam[23]自适应算法对训练过程中的网络参数进行调节和优化。
由于我们所设计的网络是由多个相对独立的基本残差网络级联而成的，每一级残差网络的重建结果会作为后一级网络的输入数据，所以我们的训练工作也是分为多步进行。每一级残差网络训练完成后，重新进行训练集和标签的制作，然后利用制作好的训练集对下一级残差网络进行训练。最后一级残差网络的输出图像即为整个级联残差网络重建所得的高分辨率图像。
具体步骤如下：
1训练集的制作与数据预处理
首先我们对原始的高分辨率彩色图像进行下采样处理，得到相对应的低分辨率图像，并以此模拟真实情况下我们所获取的低分辨率图像，将其作为级联残差卷积神经网络的输入。对原始高分辨率图像的下采样过程包括：首先将彩色高分辨率图像由RGB空间转换为YCbCr 空间，提取其亮度信息(Y通道信息)，得到高分辨率彩色图像对应的高分辨率亮度图像，然后利用双三次插值公式，对提取出的Y通道高分辨率图像进行下采样处理:
Ilr＝W(x)*Ihr
其中Ilr为下采样得到的低分辨率图像,Ihr为Y通道高分辨率图像，W(x)为双三次插值的权重矩阵，可根据Ilr和Ihr中对应像素点的距离x进行计算：
由于要将图像数据送入神经网络进行训练，所以需要对下采样得到的低分辨率图像Ilr和高分辨率图像进行数据归一化处理,得到归一化图像矩阵Ilrb:Ilrb＝Ilr/255，Ihrb:Ihrb＝Ihr/255，然后对低分辨率图像和对应的高分辨率图像进行随机切块，在我们的实施方案中，所有的低分辨率图像切块大小都设置为33×33,相应的高分辨率图像也会按照放大倍数被切割成规定大小的小块，例如在2倍率放大重建时，高分辨率图像的切块大小为66×66，而在3倍率放大重建时，高分辨率图像的切块大小为99×99。最后制作完成的低分辨率图像的切块用于级联残差网络的输入，而高分辨率图像的切块作为网络的标签，利用所制训练集完成对神经网络的训练。
在此要特别指明的是各级基本残差网络的全局残差通道的输入数据的制作，正如图1所示：对于第1级残差网络而言，全局残差通道的输入来自于低分辨率图像进行双三次插值上采样而得到插值图像，而对于接下来的各级基本残差网络而言，其全局残差通道的输入来自于上一级残差网络的重建图像。实质上，这也是经过级联残差网络后，残差图像的信息复杂度逐步降低的关键，也是我们所设计的网络能取得优秀重建效果的关键。
2基本残差网络结构和超分辨率重建过程分析
基本残差网络是整个级联残差网络的基本组成单元，其结构设计的合理性直接影响到网络的学习能力和最终图像的重建效果，其结构示意图如图2(a)(b)所示。
在一个基本残差网络中包含两个输入通道，一个为全局残差通道(Globalresidual channel,简称GRC)，用以输入插值图像或来自上一级网络的重建输出图像，我们将其表示为 IGRC。而另一个为特征提取通道(Feature extraction channel,简称FEC)，用以输入下采样得到的低分辨率图像，我们将其表示为ILR。对于单个基本残差网络来说，输出的重建高分辨率图像由全局残差通道(GRC)输出和特征提取通道(FEC)输出融合而成。
下面我们结合基本残差网络的具体结构，详细说明级联残差卷积神经网络实现图像超分辨率重建的具体过程:
对于基本残差网络中的特征提取通道(FEC)通道，其由四个主要部分组成，分别为SFE(浅层特征提取)、LRN(局部残差网络)、DN(反卷积网络)、RN(重建网络)。SFE(浅层特征提取) 由两个核大小为3×3的Conv(卷积层)构成，每个卷积层包含有64个卷积核，即有64个通道。输入SFE的图像数据为预先切割好的低分辨率图像小块(每个图像小块的大小为33X33)，我们假设基本残差网络的输入为ILR，IFE是由SFE(浅层特征提取)提取出的特征图像，则二者的关系可以表示为：
ISFE＝fSFE(ILR)
上式中，fSFE表示SFE中的两层卷积操作。ISFE就是LRN(局部残差网络)模块的输入， LRN(局部残差网络)由4个残差密集块(RDB)组成。RDB(密集残差块)的网络结构如图2(b) 所示：每个RDB(密集残差块)块包括6层Conv卷积层，此6个卷积层每层都包含有64个核大小为3X3的卷积核，每个卷积层后采用ReLU[21](修正线性单元)函数作为激活函数，同时每个RDB还包括一条局部残差支路(local residual branch),类似于ResNet[7],用以实现网络的局部残差学习功能。
如果我们将第k个RDB的映射函数表示为frdbk，每个LRN(局部残差网络)包含的RDB(密集残差块)的数量为4，那么LRN(局部残差网络)的输出ILRN可以表示为：
ILRN＝frdb4(frdb3(frdb2(frdb1(fSFE))))
ILRN通过DN(反卷积网络)中的Deconv反卷积层上采样至与高分辨率图像同样大小，该反卷积层一共包含有64个卷积核，用以实现图像从低分辨率尺寸到高分辨率尺寸的转化(即超分辨率重建过程)。我们假设DN(反卷积网络)的输出是IDN，反卷积操作是fDN，那么DN(反卷积网络)的输入和输出之间的关系可以描述为：
IDN＝fDN(ILRN)
DN(反卷积网络)的输出IDN被输送至由1层Conv卷积层(该卷积层包含有一个1X1大小的卷积核)组成的RN(重建网络)，在这个环节，大量的特征图被融合成一幅与高分辨率图像相同大小的图像，该图像是由基本模型学习的全局残差图像，也是FEC的最终输出。假设RN(重建网络)中的映射为fRN，RN(重建网络)的输出图像为IRN，则IRN可以表示为：
IRN＝fRN(IDN)
而对于网络的另一个通道GRC，由于其输入数据直接就是与高分辨率图像尺寸同样大小的图像小块，可以无需任何处理直接输入到基本残差网络的最后一层，因此全局残差通道(GRC) 的输入图像和输出图像都可以表示为IGRC。因为基本残差网络的输出是由全局残差通道(GRC) 和通道特征提取通道(FEC)的输出直接相加而成，所以级联残差网络重建而成的高分辨率图像 IHR可以直接表示为二者之和的形式:
IHR＝IRN+IGRC
特别需要说明的是，在上述表达式的推导过程中，为了得到简明易懂的结果表达式，我们将卷积操作和计算过程视为一个整体的复杂映射，并用f加以概括表示。在实际网络中，卷积操作实质是一种包括卷积核和激活函数在内的复杂计算过程。
3基于基本残差网络构建级联残差卷积神经网络
3.1级联残差学习
在上一节中，我们详细介绍了一个基本残差网络对输入图像块的处理和超分辨率重建流程，而我们的级联残差卷积神经也正是基于一系列依次级联的基本残差网络搭建而成的。在级联残差网络中，我们引入了级联残差学习的方式，逐步减轻网络的学习负担，进一步提高网络的学习性能。级联残差学习是我们的级联残差网络能够取得重建性能提升的本质原因，所以在此我们将重点分析级联残差学习的原理。实际上，对残差图像进行学习不是一个新概念，残差学习的思路已经被设计用于解决超分辨率问题的多数CNN网络[5，6，10]所广泛借鉴采用，但目前还没有扩展到多重残差学习的形式。如上文中图1所示，在我们的级联残差网络中有N个互相级联的基本残差网络，每个基本残差网络都是一个浅层的残差学习网络，可以独立地学习从高分辨率图像中减去全局残差通道(GRC)输入的高分辨率尺寸图像而产生的全局残差图像，因此对一个基本残差网络进行训练。就等同于进行一次全局残差学习，那么对于级联残差网络中多个互相级联的基本残差网络的训练自然就可以称为“级联残差学习”。更为关键的是，在级联残差网络的各级基本残差网络中，残差图像的信息复杂度有很大的不同，因此不同级别的基本残差网络的收敛速度和重建结果也会有较大变化。级联残差学习为逐步降低残差图像的信息复杂度提供了一种新的途径：将前一个基本残差网络输出的高分辨率图像IHR输入到下一个基本残差网络的全局残差通道(GRC)，从而对下一个基本残差网络的残差图像进行重新生成和更新，前后两个基本残差网络也正是通过这种方式，实现了前后网络的级联，使得前后级基本残差网络间实现图像信息的级联传输。
随着基本残差网络数量的增加，输入全局残差通道(GRC)的重建高分辨率图像越来越接近真实的高分辨率图像，因此在相应的残差图像中保留的细节信息和高频信息越来越少，从而简化了残差图像的信息复杂度。相应地，残差图像的学习难度降低，最终使得网络的重建结果得到改善。为了更好地展示级联残差学习的优越性，分析级联残差学习的原理，我们从各级基本残差网络的收敛速度、训练时间和残差图像的信息复杂度等方面分析了级联残差学习的特点。
(1)收敛速度：我们建立了一个包括4个基本残差网络的级联网络模型，并在图4中绘制了在Set14[16]测试集上进行2倍重建时，各个基本残差网络的收敛速度变化趋势。我们主要关注在不同基本残差网络中收敛速度的变化趋势。图4中，横坐标代表网络的训练次数，纵坐标代表PSNR值，我们可以明显的发现，随着基本残差网络级数的增加，达到最佳PSNR 值所需的训练次数不断降低，网络的收敛速率不断加快。
图3各基本残差网络收敛曲线示意图，model 1、model 2、model 3、model 4分别代表第1、2、3、4级基本残差网络的收敛曲线。
(2)训练时间：与其他深层卷积神经网络相比，我们的级联网络在培训时间上有明显的优势。以包含4个基本残差网络的模型为例，因为在级联网络中这4个基本残差网络是彼此级联的，每个基本残差网络包含30层卷积层，因此整个级联网络的总层数可以计算为120层 (30×4)。这是一个相当深的卷积神经网络，而我们在Titan X GPU平台上只花费了8-9个小时就达到了最佳重建效果，完成了对整体级联网络的训练工作。而对于深度相似的其他网络，如具有128层的RDN[10]和160层的EDSR[9]，二者在同样的Titan X GPU硬件平台上分别花费1天和8天时间完成对各自网络的训练工作。
(3)残差图像的信息复杂度：在残差网络中，网络预测和学习的目标图像是残差图像，残差图像的信息复杂度决定了网络进行残差学习的最终精度和性能。
另外，我们在图4中将不同级别的基本残差网络中产生的残差图像进行了可视化展示，在图中我们可以清晰地观察到随着基本残差网络数目的增加，残差图像所包含的细节内容发生了明显变化。
事实上，图像的超分辨率重建的本质是实现一个从低分辨率图像到高分辨率图像的复杂映射。而映射精度主要取决于网络的学习能力和目标图像的信息复杂度两个因素。对于级联残差卷积神经网络而言，基本残差网络提供了建立端到端映射的基本学习能力。同时另一方面，通过级联残差学习，逐步简化了目标图像，降低了目标图像的信息复杂度。对于信息复杂度较低的目标图像，级联残差学习可以更加有效、更容易地进行学习，这也是级联残差学习能够有效加快收敛速度，提高网络重建性能的重要原因。
3.2基本残差网络中的双通道模型分析
另外，在基本残差网络中，与之前的卷积神经网络的单通道结构不同，我们创新性的采用了独特的双输入信道，即前文所述全局残差通道(GRC)和特征提取通道(FEC)。与传统的单通道结构相比，我们设计的双通道结构能够极大地提高网络进行全局残差学习的效率和准确度。为了更好比较二者之间的差异并证明双通道结构用于全局残差学习的优点，我们对两种常用的基于CNN的超分重建网络框架和我们所提出的网络框架进行了详细地对比分析。
对于VDSR网络[5]，作为一个包含20层卷积层的CNN模型，VDSR[5]首次提出了全局残差学习的概念。在VDSR[5]中采用建立全局残差支路(GRC)的方式,将网络第一层的输出直接送至最后一层，与另一通道的输出相加得到最终的重建图像。通过这种方式将网络的学习目标从高分辨率图像转换为网络输入图像与高分辨率图像之间的残差图像。然而，由于该类网络中并没有采用反卷积层，在进入网络之前，所有的低分辨率图像需要通过双三次插值上采样至与高分辨率图像相同尺寸，所以网络中的复杂的卷积计算是在高分辨率尺寸上进行的，使得计算效率明显降低。此外，对低分辨率图像进行上采样的过程会丢失一些细节信息，甚至会产生额外的图像噪声，不利于提取准确的图像特征，也不利于对真实高分辨率图像中的高频信息进行准确快速的预测。
对于另一个全局残差学习框架，也是当前流行的一种能够实现全局残差学习的超分辨率网络模型。该类网络与FSRCNN[11]类似，通过在网络末端采用反卷积层将低分辨率图像上采样成高分辨率图像，无需进行上采样插值预处理，可直接将低分辨率图像作为输入送入网络，避免了双三次插值中高频信息的丢失，并且因为网络中的卷积计算都是在低分辨率图像尺寸上及性能的，因而大大提高了计算效率。
在全局残差学习中的区别：在框架(a)中，全局残差分支直接将输入图像Ii发送到网络的最后一层，输入图像Ii和残差图像Ires都具有高分辨率尺寸，重建的高分辨率图像Io是由Ires加Ii相加而成。因此，框架(a)中是一个完全端到端的全局残差学习模型。然而，在框架(b) 中，输入图像Ii在反卷积层(Deconv layer)之前与残差图像Ires组合，输入图像Ii和Ires都是低分辨率尺寸，并且通过上采样Ii和Ires之和来产生最终的重建高分辨率图像Io。因此，框架(b)中的残差学习是基于低分辨率大小的图像，并不是真正端到端的“全局”残差学习模型，反卷积层中上采样滤波器的学习能力限制了残差网络学习的潜力和网络的重建精度。
本发明的基本残差网络中使用的全局残差框架，在充分考虑框架(a)(b)的优缺点的基础上，我们提出了基于双输入通道的全局残差学习框架。在我们的框架中，将低分辨率图像和高分辨率图像分别输送到网络的不同通道中。一个特征提取通道FEC负责从低分辨率图像中提取层次特征和细节特征，另一个全局残差通道GRC用于将输入高分辨率图像IGRC直接输送至网络末端。这种特殊的双通道结构有两个明显的优点：第一，与框架(b)中的单通道结构类似，我们网络中的卷积操作是基于低分辨率尺寸的，这保证了计算效率的高效性。其次，一个特殊的全局残差通道GRC充当了连接网络输入端和输出端的桥梁，我们实际上构建了一个类似于框架(a)的端到端的全局残差学习，有效避免了反卷积层对网络学习能力的限制。
此外，基本残差网络中的双通道结构不仅有利于更有效便捷地进行全局残差学习，而且对于实现级联残差网络中前后级基本网络间的连接也是必不可少的。由于基本残差网络输出的图像是与高分辨率图像相同的大小，因此需要找到一个合适的途径将上一级重建得到的高分辨率尺寸的图像输送至下一级的基层残差网络中。而基本残差网络中的全局残差通道(GRC) 可以为上一级残差网络输出的高分辨率尺寸图像提供一个合适的输入通道。通过这种方式，实现了不同级别基本残差网络之间的信息流动和级联。
4级联残差网络重建效果评价与分析
我们对级联残差网络的重建结果进行了定性和定量比较。为了更清楚的展示我们的方法在图像的超分辨率重建中有效性，我们选取了几种具有代表性的重建算法：A+[19]、RFL[30]、 VDSR[5]、DRRN[8]、EDSR[9]、MemNet[33]和RDN[10]与级联残差网络进行比较，这些算法集中代表了当前图像的超分辨率重建算法的发展趋势，也是当前效果最佳的重建算法。为了对各类方法进行公平的比较，我们使用Huang等人在文献[31]中提出的重建效果评价体系，这种评价体系也是在当前被广泛接受和采用的超分辨率重建效果评价体系。此外，由于一些重建算法，例如A+[19]、RFL[30]并没有对图像的边缘像素进行预测和重建，为了在相同图像尺寸下进行公平比较，我们也采用类似于[4,5,6,18]文献中所给出的方法，对级联残差网络最终的输出重建图像进行了边缘像素裁剪。在评价指标方面，我们重点关注PSNR(峰值信噪比)和SSIM(结构相似度)[28]，这也是在当前大多数超分辨率重建相关论文中所采用的评价指标。在附表1中概括展示了各类重建方法在3个标准测试集下所得的重建结果。
表1各类算法在三种测试集上进行×2，×3，×4倍率重建所得平均PSNR/SSIM值
我们分别在放大因子为×2、×3和×4的重建过程进行了定量评价。对比分析表1，我们可以发现对于PSNR(峰值信噪比)值，级联残差网络在大多数测试中都优于其他算法，特别是在放大银因子×2情况下，我们的网络所得重建效果比之前的方法有了显著的提升，证明了我们提出的多重残差学习策略是一种解决超分辨率重建问题的有效方法。此外，我们也注意到我们的方法在Set5[26]和Set14[16]测试集上进行放大因子为×4的测试实验时，没有显示出比EDSR[9]和RDN[10]更好的性能，原因在于我们在级联残差网络中采用FSRCNN[11] 中提出的反卷积层来将低分辨率图像上采样至高分辨率图像大小，而反卷积层的学习性能对较大倍率的放大因子会产生一定的影响，因此导致×4倍率下，图像的重建效果有所下降。对于另一指标参数SSIM(结构相似度)[28]，我们发现即使在对应PSNR(峰值信噪比)值不是最高值的情况下，级联残差网络仍显示出优异的结果，在很大程度上实现了效果的提升，这表明我们的级联残差网络能够最大程度地保持真实高分辨率图像与重建图像间的结构相似性。
为了更直观地显示级联残差网络的重建效果，也为了对各类算法的重建结果进行主管比较。我们在附图6(a)(b)(c)中给出了放大因子为×2、×3和×4情况下各类算法重建所得的一些示例图像。与以往的方法相比，由本文提出的方法重建所得图像中，生成了更为详细的纹理细节，主观视觉效果也更好。
本文提出了一种用于解决图像的超分辨率重建问题的改进型卷积神经网络——级联残差卷积神经网络。通过采用级联残差学习方法，我们逐步降低了目标残差图像的信息复杂度，同时降低了全局残差图像的学习难度。更重要的是，建立从低分辨率到高分辨率图像映射的任务是被交由多个相互级联的浅层基本残差网络完成。因此训练过程得到简化，收敛速度大大加快。大量实验和分析表明，级联残差学习方法是解决超分辨率问题的可行和有效的方法，我们基于此理论所提出的级联残差网络是一种简洁、高效的图像的超分辨率重建方法。
参考文献
[1]W.Shi,J.Caballero,C.Ledig,X.Zhuang,W.Bai,K.Bhatia,A.Marvao,T.Dawes,D. ORegan,and D.Rueckert.Cardiac image super-resolution with globalcorrespondence using multi-atlas patchmatch[C].In MICCAI,2013.
[2]M.W.Thornton,P.M.Atkinson,and D.a.Holland.Subpixel mapping ofrural land cover objects from fine spatial resolution satellite sensorimagery using super-resolution pixel-swapping [J].International Journal ofRemote Sensing,27(3):473–491,2006.1
[3]W.Zou and P.C.Yuen.Very low resolution face recognition problem[J].IEEE Transactions on image processing,21(1):327–340,2012.1
[4]C.Dong,C.Loy,K.He,and X.Tang.Image super-resolution using deepconvolutional networks[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.38.pp. 295–307,Jan,2016.
[5]J.Kim,J.K.Lee,and K.M.Lee.Accurate image super resolution usingvery deep convolutional networks[C].In CVPR,2016.1,2,3,5,6,7,8
[6]J.Kim,J.K.Lee,and K.M.Lee.Deeply-recursive convolutional networkfor image super-resolution[C].In CVPR,2016.1,2,3,4,6,8
[7]K.He,X.Zhang,S.Ren,and J.Sun.Deep residual learning for imagerecognition[C].In CVPR,2016.2,3,4
[8]Y.Tai,J.Yang,and X.Liu.Image super-resolution via deep recursiveresidual network[C]. In CVPR,2017.2,6,7
[9]B.Lim,S.Son,H.Kim,S.Nah,and K.M.Lee.Enhanced deep residualnetworks for single image super-resolution[C].In CVPRW,2017.1,2,3,4,5,6,7
[10]Y.Zhang,Y.Kong,B.Zhong,Y.Tian,Y.Fu.Residual dense network forImage super-resolution[C].In CVPR,2018.2
[11]C.Dong,C.C.Loy,and X.Tang.Accelerating the super resolutionconvolutional neural network[C].In ECCV,2016.2,4,7,8
[12]H.Chang,D.-Y.Yeung,and Y.Xiong.Super-resolution through neighborembedding[C]. In CVPR,2004.1,8
[13]C.G.Marco Bevilacqua,Aline Roumy and M.-L.A.Morel.Low-complexitysingle-image super-resolution based on nonnegative neighbor embedding[C].InBMVC,2012.1,2, 6,8
[14]D.Glasner,S.Bagon,and M.Irani.Super-resolution from a singleimage[C].In ICCV, 2009.1
[15]J.Yang,J.Wright,T.Huang,and Y.Ma.Image super resolution viasparse representation [J].IEEE Transactions on image processing,19(11):2861–2873,2010.1,5
[16]R.Zeyde,M.Elad,and M.Protter.On single image scale-up usingsparse-representations [J].In Curves and Surfaces,pages 711–730.Springer,2012.1,5,8
[17]E.Perez-Pellitero,J.Salvador,J.Ruiz-Hidalgo,andB.Rosenhahn.PSyCo:Manifold span reduction for super resolution[C].In CVPR,2016.1,6,7,8
[18]S.Schulter,C.Leistner,and H.Bischof.Fast and accurate imageupscaling with super-resolution forests[C].In CVPR,2015.1,5,6,7,8
[19]R.Timofte,V.D.Smet,and L.V.Gool.A+:Adjusted anchored neighborhoodregression for fast super-resolution[C].In ACCV,2014.1,8
[20]Christian Ledig,Lucas Theis,Ferenc Husz′ar,Jose Caballero,AndrewAitken,Alykhan Tejani,Johannes Totz,Zehan Wang,Wenzhe Shi.Photo-RealisticSingle Image Super-Resolution Using a Generative Adversarial Network[C].InCVPR,2017.
[21]X.Glorot,A.Bordes,and Y.Bengio.Deep sparse rectifier neuralnetworks[C].In AISTATS,2011.3,4
[22]Y.Jia,E.Shelhamer,J.Donahue,S.Karayev,J.Long,R.Girshick,S.Guadarrama,and T. Darrell.Caffe:Convolutional architecture for fast featureembedding[J].arXiv:1408.5093,2014.5
[23]D.Kingma and J.Ba.Adam:A method for stochastic optimization[C].InICLR,2014.5
[24]J.Yang,J.Wright,T.S.Huang,and Y.Ma.Image super resolution viasparse representation[J].TIP,1,8,2010.
[25]D.Martin,C.Fowlkes,D.Tal,and J.Malik.A database of humansegmentednatural images and its application to evaluating segmentation algorithms andmeasuring ecological statistics [C].In ICCV,2001,8.
[26]M.Bevilacqua,A.Roumy,C.Guillemot,and M.L.Alberi-Morel.Low-complexity single-image super-resolution based on nonnegative neighborembedding[C].In BMVC,2012.5
[27]D.Martin,C.Fowlkes,D.Tal,and J.Malik.A database of humansegmented natural images and its application to evaluating segmentationalgorithms and measuring ecological statistics [C].In ICCV,2001.5
[28]Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli.Image qualityassessment:from error visibility to structural similarity[J].TIP,2004.5
[29]K.He,X.Zhang,S.Ren,and J.Sun.Delving deep into rectifiers:Surpassing human-level performance on imagenet classification[J].CoRR,abs/1502.01852,2015.8
[30]S.Schulter,C.Leistner,and H.Bischof.Fast and accurate imageupscaling with super-resolution forests[C].In CVPR,2015.1,7,8
[31]J.-B.Huang,A.Singh,and N.Ahuja.Single image super resolutionusing transformed self-exemplars[C].In CVPR,2015.2,6,7,8
[32]W.-S.Lai,J.-B.Huang,N.Ahuja,and M.-H.Yang.Deep laplacian pyramidnetworks for fast and accurate super resolution[C].In CVPR,2017.1,4,6,7,8
[33]Y.Tai,J.Yang,X.Liu,and C.Xu.Memnet:Apersistent memory network forimage restoration[C].In ICCV,2017.1,2,4,5,6,7,8
[34]G.Huang,Z.Liu,K.Q.Weinberger,and L.van der Maaten.Denselyconnected convolutional networks[C].In CVPR,2017.2,3,4,5,6。

Claims (2)

1.一种基于级联残差卷积神经网络的图像超分辨率重建方法，其特征是，由结构相同的基本残差网络级联形成联残差卷积神经网络；基本残差网络包含全局残差通道和特征提取通道两个通道，对原始的高分辨率彩色图像进行下采样处理，得到相对应的低分辨率图像，再由低分辨率图像进行双三次插值上采样而得到的插值图像，所述插值图像送入基本残差网络的全局残差通道，用于生成残差图像，而低分辨率图像送入基本残差网络的特征提取通道，用于实现对低分辨率图像的特征信息提取；各级基本残差网络的重建结果图像都会被送入下一级基本残差网络的全局残差通道生成残差图像，从而最终实现不同级残差网络间的信息传递并形成最终输出；而对于各级基本残差网络的特征提取通道，其输入皆为相同的低分辨率图像。
2.如权利要求1所述的基于级联残差卷积神经网络的图像超分辨率重建方法，其特征是，基本残差网络中的特征提取通道通道FEC由四个部分组成，分别为浅层特征提取SFE、局部残差网络LRN、反卷积网络DN、重建网络RN，浅层特征提取SFE由两个核大小为3×3的Conv卷积层构成，每个卷积层包含有64个卷积核，即有64个通道；输入SFE的图像数据为预先切割好的低分辨率图像小块，基本残差网络的输入为ILR，IFE是由浅层特征提取SFE提取出的特征图像，则二者的关系表示为：
ISFE＝fSFE(ILR)
上式中，fSFE表示SFE中的两层卷积操作，ISFE就是局部残差网络LRN的输入，LRN由4个残差密集块RDB组成，每个RDB包括6层卷积层Conv，此6个卷积层每层都包含有64个核大小为3X3的卷积核，每个卷积层后采用修正线性单元ReLU函数作为激活函数，同时每个RDB还包括一条局部残差支路用以实现网络的局部残差学习功能；
将第k个RDB的映射函数表示为frdbk，每个LRN包含的RDB的数量为4，那么LRN的输出ILRN表示为：
ILRN＝frdb4(frdb3(frdb2(frdb1(fSFE))))
ILRN通过反卷积网络DN中的反卷积层Deconv上采样至与高分辨率图像同样大小，该反卷积层一共包含有64个卷积核，用以实现图像从低分辨率尺寸到高分辨率尺寸的转化，即超分辨率重建过程，DN的输出是IDN，反卷积操作是fDN，那么DN的输入和输出之间的关系描述为：
IDN＝fDN(ILRN)
DN的输出IDN被输送至由1层Conv卷积层组成的重建网络RN，所述Conv卷积层包含有一个1×1大小的卷积核，特征图被融合成一幅与高分辨率图像相同大小的图像，该图像是由基本模型学习的全局残差图像，也是FEC的最终输出，RN中的映射为fRN，RN的输出图像为IRN，则IRN表示为：
IRN＝fRN(IDN)
级联残差网络重建而成的高分辨率图像IHR表示为：。
IHR＝IRN+IGRC。
CN201910351589.2A 2019-04-28 2019-04-28 基于级联残差卷积神经网络的图像超分辨率重建方法 Pending CN110276721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910351589.2A CN110276721A (zh) 2019-04-28 2019-04-28 基于级联残差卷积神经网络的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910351589.2A CN110276721A (zh) 2019-04-28 2019-04-28 基于级联残差卷积神经网络的图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN110276721A true CN110276721A (zh) 2019-09-24

Family

ID=67960295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910351589.2A Pending CN110276721A (zh) 2019-04-28 2019-04-28 基于级联残差卷积神经网络的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN110276721A (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675355A (zh) * 2019-09-27 2020-01-10 深圳市商汤科技有限公司 图像重建方法及装置、电子设备和存储介质
CN111091521A (zh) * 2019-12-05 2020-05-01 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN111160413A (zh) * 2019-12-12 2020-05-15 天津大学 一种基于多尺度特征融合的甲状腺结节分类方法
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111260558A (zh) * 2020-01-22 2020-06-09 武汉大学 一种可变倍率的图像超分辨率网络模型
CN111311488A (zh) * 2020-01-15 2020-06-19 广西师范大学 一种基于深度学习的高效超分辨率重建方法
CN111340828A (zh) * 2020-01-10 2020-06-26 南京航空航天大学 基于级联卷积神经网络的脑部胶质瘤分割
CN111353938A (zh) * 2020-02-29 2020-06-30 杭州电子科技大学 一种基于网络反馈的图像超分辨率学习方法
CN111383173A (zh) * 2020-02-12 2020-07-07 山东师范大学 一种基于基线的图像超分辨率重建方法及系统
CN111402142A (zh) * 2020-03-25 2020-07-10 中国计量大学 基于深度递归卷积网络的单张图像超分辨率重建方法
CN111445390A (zh) * 2020-02-28 2020-07-24 天津大学 基于宽残差注意力的三维医学图像超分辨率重建方法
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111652170A (zh) * 2020-06-09 2020-09-11 电子科技大学 基于二通道残差深度神经网络的二次雷达信号处理方法
CN111667444A (zh) * 2020-05-29 2020-09-15 湖北工业大学 一种基于多通道残差网络的图像压缩感知重建方法
CN111798377A (zh) * 2020-07-08 2020-10-20 广东工业大学 基于多分辨率学习策略的磁共振图像超分辨率重建方法
CN111818298A (zh) * 2020-06-08 2020-10-23 北京航空航天大学 一种基于光场的高清视频监控系统及方法
CN111861961A (zh) * 2020-07-25 2020-10-30 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN111861886A (zh) * 2020-07-15 2020-10-30 南京信息工程大学 一种基于多尺度反馈网络的图像超分辨率重建方法
CN111914894A (zh) * 2020-06-28 2020-11-10 中国建设银行股份有限公司 特征提取方法、装置、电子设备及计算机可读存储介质
CN111932539A (zh) * 2020-10-13 2020-11-13 南京知谱光电科技有限公司 基于熔池图像和深度残差网络的余高与熔深协同预测方法
CN111932460A (zh) * 2020-08-10 2020-11-13 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN111951164A (zh) * 2020-08-11 2020-11-17 哈尔滨理工大学 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN111986092A (zh) * 2020-09-07 2020-11-24 山东交通学院 一种基于双重网络的图像超分辨率重建方法及系统
CN112070702A (zh) * 2020-09-14 2020-12-11 中南民族大学 多尺度残差特征判别增强的图像超分辨率重构系统及方法
CN112070676A (zh) * 2020-09-10 2020-12-11 东北大学秦皇岛分校 一种双通道多感知卷积神经网络的图片超分辨率重建方法
CN112102166A (zh) * 2020-08-26 2020-12-18 上海交通大学 一种联合超分辨率、色域扩展和逆色调映射方法及设备
CN112200152A (zh) * 2019-12-06 2021-01-08 中央广播电视总台 基于残差反投影神经网络对齐人脸图像的超分辨率方法
CN112669216A (zh) * 2021-01-05 2021-04-16 华南理工大学 一种基于联邦学习的并行空洞新结构的超分辨率重构网络
CN112734638A (zh) * 2020-12-24 2021-04-30 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN112734643A (zh) * 2021-01-15 2021-04-30 重庆邮电大学 一种基于级联网络的轻量图像超分辨率重建方法
CN112785496A (zh) * 2019-11-05 2021-05-11 四零四科技股份有限公司 处理影像超分辨率的装置及方法
CN112862715A (zh) * 2021-02-08 2021-05-28 天津大学 一种实时且可控的尺度空间滤波方法
CN112991515A (zh) * 2021-02-26 2021-06-18 山东英信计算机技术有限公司 一种三维重建方法、装置及相关设备
CN113129212A (zh) * 2019-12-31 2021-07-16 深圳市联合视觉创新科技有限公司 图像超分辨率重建方法、装置、终端设备及存储介质
CN113222818A (zh) * 2021-05-18 2021-08-06 浙江师范大学 一种使用轻量化多通道聚合网络重建超分辨率图像的方法
CN113240586A (zh) * 2021-06-17 2021-08-10 华北电力大学（保定） 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法
CN113327199A (zh) * 2021-06-16 2021-08-31 展讯通信(天津)有限公司 一种多帧图像重建方法、系统及设备
CN113421187A (zh) * 2021-06-10 2021-09-21 山东师范大学 一种超分辨率重建方法、系统、存储介质、设备
CN113556496A (zh) * 2020-04-23 2021-10-26 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
CN113781298A (zh) * 2021-08-05 2021-12-10 中国科学院生物物理研究所 超分辨率图像的处理方法及装置、电子设备、存储介质
CN114025118A (zh) * 2022-01-06 2022-02-08 广东电网有限责任公司中山供电局 一种低码率视频重构方法、系统、电子设备及存储介质
CN114648468A (zh) * 2022-05-18 2022-06-21 中山大学深圳研究院 图像处理方法、装置、终端设备及计算机可读存储介质
WO2022141660A1 (zh) * 2020-12-28 2022-07-07 苏州大学 基于神经网络的高分辨率图像复原方法及系统
US20230066519A1 (en) * 2021-08-31 2023-03-02 GE Precision Healthcare LLC Magnetic resonance system and shimming method and imaging method thereof
CN116402682A (zh) * 2023-03-29 2023-07-07 辽宁工业大学 基于差分值密集残差超分辨率的图像重建方法、系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RENHE LIU ET AL.: "Multiple Residual Learning Network for Single Image Super-Resolution", 《2018 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING(VCIP)》 *

Cited By (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675355B (zh) * 2019-09-27 2022-06-17 深圳市商汤科技有限公司 图像重建方法及装置、电子设备和存储介质
CN110675355A (zh) * 2019-09-27 2020-01-10 深圳市商汤科技有限公司 图像重建方法及装置、电子设备和存储介质
CN112785496A (zh) * 2019-11-05 2021-05-11 四零四科技股份有限公司 处理影像超分辨率的装置及方法
CN111091521A (zh) * 2019-12-05 2020-05-01 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN112200152B (zh) * 2019-12-06 2024-04-26 中央广播电视总台 基于残差反投影神经网络对齐人脸图像的超分辨率方法
CN112200152A (zh) * 2019-12-06 2021-01-08 中央广播电视总台 基于残差反投影神经网络对齐人脸图像的超分辨率方法
CN111160413A (zh) * 2019-12-12 2020-05-15 天津大学 一种基于多尺度特征融合的甲状腺结节分类方法
CN111160413B (zh) * 2019-12-12 2023-11-17 天津大学 一种基于多尺度特征融合的甲状腺结节分类方法
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111161150B (zh) * 2019-12-30 2023-06-23 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN113129212A (zh) * 2019-12-31 2021-07-16 深圳市联合视觉创新科技有限公司 图像超分辨率重建方法、装置、终端设备及存储介质
CN111340828A (zh) * 2020-01-10 2020-06-26 南京航空航天大学 基于级联卷积神经网络的脑部胶质瘤分割
CN111311488A (zh) * 2020-01-15 2020-06-19 广西师范大学 一种基于深度学习的高效超分辨率重建方法
CN111260558B (zh) * 2020-01-22 2021-10-22 武汉大学 一种可变倍率的图像超分辨率网络模型
CN111260558A (zh) * 2020-01-22 2020-06-09 武汉大学 一种可变倍率的图像超分辨率网络模型
CN111383173A (zh) * 2020-02-12 2020-07-07 山东师范大学 一种基于基线的图像超分辨率重建方法及系统
CN111383173B (zh) * 2020-02-12 2023-04-18 山东师范大学 一种基于基线的图像超分辨率重建方法及系统
CN111445390B (zh) * 2020-02-28 2022-03-25 天津大学 基于宽残差注意力的三维医学图像超分辨率重建方法
CN111445390A (zh) * 2020-02-28 2020-07-24 天津大学 基于宽残差注意力的三维医学图像超分辨率重建方法
CN111353938A (zh) * 2020-02-29 2020-06-30 杭州电子科技大学 一种基于网络反馈的图像超分辨率学习方法
CN111402142A (zh) * 2020-03-25 2020-07-10 中国计量大学 基于深度递归卷积网络的单张图像超分辨率重建方法
CN111461983B (zh) * 2020-03-31 2023-09-19 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN113556496A (zh) * 2020-04-23 2021-10-26 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
CN113556496B (zh) * 2020-04-23 2022-08-09 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
CN111667444B (zh) * 2020-05-29 2021-12-03 湖北工业大学 一种基于多通道残差网络的图像压缩感知重建方法
CN111667444A (zh) * 2020-05-29 2020-09-15 湖北工业大学 一种基于多通道残差网络的图像压缩感知重建方法
CN111818298A (zh) * 2020-06-08 2020-10-23 北京航空航天大学 一种基于光场的高清视频监控系统及方法
CN111818298B (zh) * 2020-06-08 2021-10-22 北京航空航天大学 一种基于光场的高清视频监控系统及方法
CN111652170A (zh) * 2020-06-09 2020-09-11 电子科技大学 基于二通道残差深度神经网络的二次雷达信号处理方法
CN111914894A (zh) * 2020-06-28 2020-11-10 中国建设银行股份有限公司 特征提取方法、装置、电子设备及计算机可读存储介质
CN111798377B (zh) * 2020-07-08 2023-07-28 广东工业大学 基于多分辨率学习策略的磁共振图像超分辨率重建方法
CN111798377A (zh) * 2020-07-08 2020-10-20 广东工业大学 基于多分辨率学习策略的磁共振图像超分辨率重建方法
CN111861886B (zh) * 2020-07-15 2023-08-08 南京信息工程大学 一种基于多尺度反馈网络的图像超分辨率重建方法
CN111861886A (zh) * 2020-07-15 2020-10-30 南京信息工程大学 一种基于多尺度反馈网络的图像超分辨率重建方法
CN111861961B (zh) * 2020-07-25 2023-09-22 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN111861961A (zh) * 2020-07-25 2020-10-30 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN111932460B (zh) * 2020-08-10 2023-09-22 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN111932460A (zh) * 2020-08-10 2020-11-13 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN111951164B (zh) * 2020-08-11 2023-06-16 哈尔滨理工大学 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN111951164A (zh) * 2020-08-11 2020-11-17 哈尔滨理工大学 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN112102166B (zh) * 2020-08-26 2023-12-01 上海交通大学 一种联合超分辨率、色域扩展和逆色调映射方法及设备
CN112102166A (zh) * 2020-08-26 2020-12-18 上海交通大学 一种联合超分辨率、色域扩展和逆色调映射方法及设备
CN111986092B (zh) * 2020-09-07 2023-05-05 山东交通学院 一种基于双重网络的图像超分辨率重建方法及系统
CN111986092A (zh) * 2020-09-07 2020-11-24 山东交通学院 一种基于双重网络的图像超分辨率重建方法及系统
CN112070676B (zh) * 2020-09-10 2023-10-27 东北大学秦皇岛分校 一种双通道多感知卷积神经网络的图片超分辨率重建方法
CN112070676A (zh) * 2020-09-10 2020-12-11 东北大学秦皇岛分校 一种双通道多感知卷积神经网络的图片超分辨率重建方法
CN112070702B (zh) * 2020-09-14 2023-10-03 中南民族大学 多尺度残差特征判别增强的图像超分辨率重构系统及方法
CN112070702A (zh) * 2020-09-14 2020-12-11 中南民族大学 多尺度残差特征判别增强的图像超分辨率重构系统及方法
CN111932539A (zh) * 2020-10-13 2020-11-13 南京知谱光电科技有限公司 基于熔池图像和深度残差网络的余高与熔深协同预测方法
CN112734638A (zh) * 2020-12-24 2021-04-30 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN112734638B (zh) * 2020-12-24 2022-08-05 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
WO2022141660A1 (zh) * 2020-12-28 2022-07-07 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN112669216B (zh) * 2021-01-05 2022-04-22 华南理工大学 一种基于联邦学习的并行空洞新结构的超分辨率重构网络
CN112669216A (zh) * 2021-01-05 2021-04-16 华南理工大学 一种基于联邦学习的并行空洞新结构的超分辨率重构网络
CN112734643A (zh) * 2021-01-15 2021-04-30 重庆邮电大学 一种基于级联网络的轻量图像超分辨率重建方法
CN112862715A (zh) * 2021-02-08 2021-05-28 天津大学 一种实时且可控的尺度空间滤波方法
CN112862715B (zh) * 2021-02-08 2023-06-30 天津大学 一种实时且可控的尺度空间滤波方法
CN112991515A (zh) * 2021-02-26 2021-06-18 山东英信计算机技术有限公司 一种三维重建方法、装置及相关设备
CN113222818A (zh) * 2021-05-18 2021-08-06 浙江师范大学 一种使用轻量化多通道聚合网络重建超分辨率图像的方法
CN113421187A (zh) * 2021-06-10 2021-09-21 山东师范大学 一种超分辨率重建方法、系统、存储介质、设备
CN113327199A (zh) * 2021-06-16 2021-08-31 展讯通信(天津)有限公司 一种多帧图像重建方法、系统及设备
CN113240586A (zh) * 2021-06-17 2021-08-10 华北电力大学（保定） 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法
CN113781298B (zh) * 2021-08-05 2023-09-15 中国科学院生物物理研究所 超分辨率图像的处理方法及装置、电子设备、存储介质
CN113781298A (zh) * 2021-08-05 2021-12-10 中国科学院生物物理研究所 超分辨率图像的处理方法及装置、电子设备、存储介质
US11965945B2 (en) * 2021-08-31 2024-04-23 GE Precision Healthcare LLC Magnetic resonance system and shimming method and imaging method thereof
US20230066519A1 (en) * 2021-08-31 2023-03-02 GE Precision Healthcare LLC Magnetic resonance system and shimming method and imaging method thereof
CN114025118A (zh) * 2022-01-06 2022-02-08 广东电网有限责任公司中山供电局 一种低码率视频重构方法、系统、电子设备及存储介质
CN114648468A (zh) * 2022-05-18 2022-06-21 中山大学深圳研究院 图像处理方法、装置、终端设备及计算机可读存储介质
CN114648468B (zh) * 2022-05-18 2022-08-16 中山大学深圳研究院 图像处理方法、装置、终端设备及计算机可读存储介质
CN116402682A (zh) * 2023-03-29 2023-07-07 辽宁工业大学 基于差分值密集残差超分辨率的图像重建方法、系统
CN116402682B (zh) * 2023-03-29 2024-02-09 辽宁工业大学 基于差分值密集残差超分辨率的图像重建方法、系统

Similar Documents

Publication Publication Date Title
CN110276721A (zh) 基于级联残差卷积神经网络的图像超分辨率重建方法
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
Wang et al. Esrgan: Enhanced super-resolution generative adversarial networks
Zhao et al. DIDFuse: Deep image decomposition for infrared and visible image fusion
Fang et al. Soft-edge assisted network for single image super-resolution
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
Lee et al. Deep recursive hdri: Inverse tone mapping using generative adversarial networks
Dong et al. RRSGAN: Reference-based super-resolution for remote sensing image
Tai et al. Image super-resolution via deep recursive residual network
CN111861961B (zh) 单幅图像超分辨率的多尺度残差融合模型及其复原方法
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN112288630A (zh) 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及系统
Yu et al. E-DBPN: Enhanced deep back-projection networks for remote sensing scene image superresolution
CN110163803A (zh) 一种基于卷积神经网络的图像超分辨率重建方法及系统
Yang et al. A survey of super-resolution based on deep learning
Mengbei et al. Overview of research on image super-resolution reconstruction
Yibin et al. Terahertz image super-resolution reconstruction of passive safety inspection based on generative adversarial network
Kasem et al. Revised spatial transformer network towards improved image super-resolutions
Deng et al. Selective kernel and motion-emphasized loss based attention-guided network for HDR imaging of dynamic scenes
Wang et al. Deep residual network for single image super-resolution
Qin et al. Remote sensing image super-resolution using multi-scale convolutional neural network
Wei et al. RSAN: Residual subtraction and attention network for single image super-resolution
Zhang et al. Bilateral upsampling network for single image super-resolution with arbitrary scaling factors
Shen et al. Itsrn++: Stronger and better implicit transformer network for continuous screen content image super-resolution
Han et al. Dual discriminators generative adversarial networks for unsupervised infrared super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190924

WD01 Invention patent application deemed withdrawn after publication