CN111861961B - 单幅图像超分辨率的多尺度残差融合模型及其复原方法 - Google Patents

单幅图像超分辨率的多尺度残差融合模型及其复原方法 Download PDF

Info

Publication number
CN111861961B
CN111861961B CN202010726231.6A CN202010726231A CN111861961B CN 111861961 B CN111861961 B CN 111861961B CN 202010726231 A CN202010726231 A CN 202010726231A CN 111861961 B CN111861961 B CN 111861961B
Authority
CN
China
Prior art keywords
image
fusion
features
module
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010726231.6A
Other languages
English (en)
Other versions
CN111861961A (zh
Inventor
赵佰亭
胡锐
贾晓芬
郭永存
黄友锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN202010726231.6A priority Critical patent/CN111861961B/zh
Publication of CN111861961A publication Critical patent/CN111861961A/zh
Application granted granted Critical
Publication of CN111861961B publication Critical patent/CN111861961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种单幅图像超分辨率的多尺度残差融合模型及其复原方法，包括依次连接的特征提取模块、非线性映射模块和重建模块；特征提取模块，用于提取低分辨率LR图像的多个线条、轮廓等浅层特征，多个互补的浅层特征能够弥补单一特征对LR图像表征不足的问题；非线性映射模块，通过建立输入与输出之间的非线性映射关系，提取高频特征并借助稠密连接传送到重建模块；重建模块，用于对连接融合的高频特征进一步提取细节、纹理等特征后，融合浅层特征和LR图像，完成高分辨率HR图像的重建。本发明用于单幅图像的超分辨率重建及其复原，提升图像的分辨率，在保证重建效率的同时，能增强重建图像的轮廓特征，明显提高图像质量。

Description

单幅图像超分辨率的多尺度残差融合模型及其复原方法
技术领域
本发明属于图像重建技术领域，涉及一种单幅图像超分辨率的多尺度残差融合模型及其复原方法。
背景技术
图像作为一种传播媒介，其中包含着大量的信息内容。高分辨率图像在卫星遥感、公共安全、无人驾驶、医学诊断等方面需求量越来越大，图像的分辨率越高所能够提供的信息也就越多，如何准确利用和提取图像中的信息，对于我国未来机器视觉领域的发展起着不可或缺的作用。由于受当前成像技术、成本限制以及外部环境等影响，使得所获得的图像分辨率达不到实际应用中的标准，严重影响了后续处理以及进一步的使用。因此，有必要研究有效的解决方案以改善图像的分辨率，获得更高分辨率以及更高质量的图像。
单幅图像的超分辨率重建方法主要分为三类：基于插值、基于重建和基于学习。基于插值和基于重建方法较为简单且容易实现，但是没有考虑图像的实际物理参数，仅在数学逻辑上使得图像放大，图像质量以及边缘细节和纹理特征的提升有限，其重建的效果并不一定能够达到所要求的标准。随着科技的发展，人们开始将目光转向基于学习的方法，其核心思想是通过训练其他样本的方式获得额外的先验知识，以此来帮助恢复图像细节的重建。
近年间，深度学习技术快速发展，作为重建中基于学习算法的一种，利用神经网络实现图像的超分辨重建开始被人们研究和关注。例如Dong等人首次将深度学习知识应用到重建技术中，提出的SRCNN，避免了人工设计特征提取方法，实现了图像本身的学习，从而实现图像重建，详见“Dong,C.；Loy,C.C.；He,K.；Tang,X.Image super-resolution usingdeep convolutional networks.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,Zurich,Switzerland,6–12September 2014；pp.184–199”。Kim等人基于残差网络思想提出VDSR，通过特征图的累加来解决深层网络所带来的梯度弥散问题，详见“Kim,J.,J.Lee,K.,and Lee,K.M.,Accurate image super-resolutionusing very deep convolutional networks,in Proc.IEEE Conf.Comput.Vis.PatternRecognit.(CVPR),Jun.2016,pp.1646-1654.”。为了加快网络的收敛速度，减少网络参数，Kim又提出了DRCN，详见“Kim,J.,and Lee,J.K.,and Lee,K.M.,Deeply-recursiveconvolutional network for image super-resolution,in Proc.IEEEConf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2016,pp.1637-1645.”。Tai等人提出了DRRN，通过将残差网络和循环网络结合，进一步提高了重建的效果，详见“Tai,Y.,Yang,J.,and Liu,X.,Image super-resolution via deep recursive residual network,inProc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),Jul.2017,pp.3147–3155.”。Lai等人提出了LapSRN，将将传统图像算法拉普拉斯金字塔与深度学习结合，通过构建上下两层分支结构实现图像的重建，详见“Lai,W.S.,Huang,J.B.,Ahuja,N.,and Yang,M.H.,DeepLaplacian pyramid networks for fast and accurate super-resolution,inProc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),Jul.2017,pp.624–632.”。Tai等人用密集连接堆叠持久记忆和多个记忆块，提出了用于图像恢复的最深持久记忆网络MemNet，详见“Tai,Y.,Yang,J.,Liu,X.,and Xu,C.,MemNet:a persistent memorynetwork for image restoration,in Proc.IEEE Int.Conf.Comput.Vis.(ICCV),Oct.2017,pp.4549-4557.”。
由以上可知，对于传统基于插值和重建方法并不能够满足各种图像超分辨率重建工作，而基于学习的方法虽然可以重建出高分辨率图像，但是在特征提取上存在短板，从而导致后续的重建图像存在边缘模糊，特征细节不明显，所得到的重建图像质量依然有提高的空间。
随着科学技术的日益发展，特别是以人工智能为代表的新一代科技革命，使得人们更多的利用机器来处理各种信息。高分辨率图像是保障视觉机器正确处理任务的关键所在，如何有效的还原出成像设备图像，提高图像分辨率使得视觉效果尽肯能的还原到自然场景，最大程度的呈现图像所包含的信息，便于后续的研究应用，是当前亟待解决问题。
发明内容
本发明实施例提供一种单幅图像超分辨率的多尺度残差融合模型及其复原方法，以解决传统重建方法出现的高频细节丢失，边缘模糊等问题。
本发明实施例所采用的技术方案是，单幅图像超分辨率的多尺度残差融合模型，包括依次连接的特征提取模块、非线性映射模块和重建模块；
所述特征提取模块，用于提取低分辨率LR图像的多个线条、轮廓等浅层特征，多个互补的浅层特征能够弥补单一特征对LR图像表征不足的问题；
所述的非线性映射模块，通过建立输入与输出之间的非线性映射关系，提取高频特征并借助稠密连接传送到重建模块；
所述的重建模块，用于对连接融合的高频特征进一步提取细节、纹理等特征后，融合浅层特征和LR图像，完成高分辨率HR图像的重建。
本发明实施例所采用的另一技术方案是，单幅图像超分辨率的多尺度残差融合模型的复原方法，按照以下步骤进行：
步骤S1、将LR图像输入到单幅图像超分辨率的多尺度残差融合模型的特征提取模块；
步骤S2、特征提取模块对LR图像进行特征提取，得到浅层特征；
步骤S3、将浅层特征送入非线性映射模块，经非线性映射模块提取出5层特征；
步骤S4、将5层特征送入重建模块，重建模块通过稠密连接将5层特征连接融合成一个张量，得到全局特征，对全局特征进行三级处理得到三级特征，利用三级特征实现HR图像的重建。
本发明实施例的有益效果是，提出了一种单幅图像超分辨率的多尺度残差融合模型及其复原方法，设计了一个特征提取模块，它使用不同大小的卷积核来完全提取输入的LR图像的图像特征并将它们连接在一起以形成多范围的上下文信息，特征提取模块可以实现不同类型特征的互补性。通过级联五个交叉合并模块，提出了一个非线性映射模块(NMM)，稠密连接和局部残差连接被集成到非线性映射模块中，以实现多层次和多尺度特征的融合，NMM可以获得必要的高频细节，以重建HR图像的纹理细节。建立了一个将外部残差，全局残差和亚像素卷积相结合的HR图像重建过程，全局残差连接用于合并从浅层提取的低级特征和从深层提取的高级特征，LR图像中的低频信息通过使用外部残留连接与从网络推断出的高频信息结合在一起，在网络的最后一层使用亚像素卷积来实现图像上采样。此外，图像恢复部分用外部残差连接将LR图像引入到HR图像重建的最后环节，利用LR图像与所重建的HR图像的相同信息，即两者的相似拓扑结构，增强像素点间的相关性。此重建过程一方面可以避免了由低分辨率图像经插值放大后所导致的图像特征信息丢失的问题，能提高超分辨率重建的效果；另一方面能解决亚像素上采样卷积的周期性排列过程中破坏像素点之间关联性的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的单幅图像超分辨率的多尺度残差融合模型的结构示意图。
图2是本发明实施例的单幅图像超分辨率的多尺度残差融合模型中的交叉融合模块CM的结构示意图。
图3是本发明实施例的单幅图像超分辨率的多尺度残差融合模型中的双通道残差融合模块RDM的结构示意图。
图4是本发明实施例的单幅图像超分辨率的多尺度残差融合模型的复原方法与其他算法对Urban100中的“img_092”进行×3比例因子的重建效果对比图。
图5是本发明实施例的单幅图像超分辨率的多尺度残差融合模型的复原方法与其他算法对Urban100中的“img_098”进行×4比例因子的重建效果对比图。
图6是本发明实施例的单幅图像超分辨率的多尺度残差融合模型的复原方法与其他算法对北京二号卫星图像进行×4比例因子的重建效果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
经发明人研究发现，现有的基于深度学习的单幅图像超分辨率重建方法的重建效果不佳，重建的图像主要存在以下缺陷：(1)重建图像中存在边缘模糊、轮廓细节不明显，整体视觉效果不佳，图像质量不高；(2)现有深度学习模型多通过增加网络深度的方式，提高网络的重建效果，这样网络将会出现梯度弥散问题，使得重建过程中损失部分输入低特征信息，导致重建结果与实际存在较大差别。针对该缺陷，本发明实施例提出一种用于单幅图像超分辨率重建的多尺度残差融合模型，其结构如图1所示，包括依次连接的特征提取模块、非线性映射模块和重建模块，其中，特征提取模块，用于提取低分辨率LR图像的多个线条、轮廓等浅层特征，多个互补的浅层特征能够弥补单一特征对LR图像表征不足的问题。非线性映射模块，通过建立输入与输出之间的非线性映射关系，提取高频特征并借助稠密连接传送到重建模块。重建模块，用于对连接融合的高频特征进一步提取细节、纹理等特征后，融合浅层特征和LR图像，完成高分辨率HR图像的重建。
本发明实施例中特征提取模块是由多尺度提取模块和特征处理模块组成。多尺度提取模块，用于在不同的感受野下提取低分辨率图像中不同大小物体的低层次轮廓细节等特征信息，得到多尺度的特征图；特征处理模块，用于调整多尺度提取模块所输出特征图的参数量，减少参数量，从而降低网络模型训练的难度。
对于卷积核的尺寸来说，大尺度的卷积核具有学习复杂特征的能力，但是会丢失细节信息，而小尺度的卷积核易于学习，可以带来更丰富的细节信息，但同时学习复杂特征能力较差。利用多种尺度的卷积层共同处理低分辨率图像，来实现特征的提取，互补单一尺度提取特征信息不足的缺点，保证从低分辨率图像中提取更多的细节信息，为后续的重建工作进行准备。本发明实施例中，特征提取模块包括多尺度提取模块和特征处理两部分。多尺度提取模块分为多尺度卷积提取以及融合两部分，其中多尺度卷积部分是由三层并行的卷积层构成，第一层的卷积核大小为3×3；第二层的卷积核大小为5×5，；第三层的卷积核大小为9×9。融合部分将多尺度提取模块中三层卷积的结果叠加连接，生成一张特征图，以此来作为多尺度模块初步提取的结果。为了避免图像尺寸变化，本发明实施例中所有卷积步长均为1。特征处理部分由依次连接的两层卷积构成，第一层卷积层的卷积核大小为1×1；第二层卷积层的卷积核大小为3×3；第一层卷积用来减少融合后特征图的网络参数，降低网络复杂度。第二层卷积处理特征数据，为后续非线性映射作为准备。至此，通过多尺度提取模块，获得了浅层特征。
非线性映射模块由5个级联的交叉融合模块组成，在每个交叉融合模块中又由3个合并运行结构依次连接构成。在合并运行结构中分为上下两支路，依次由卷积层、激活层以及融合层构成，其中上支路中卷积层的卷积核大小为3×3，下支路中卷积层的卷积核大小为5×5；激活层均为ReLU激活函数；处理时将上下两支路输入数据相互融合，融合结果后续分别输入到上下两支路中与其激活后的数据进行叠加连接，生成一组特征图，继续输入到下一个交叉合并映射中。在经过3个合并运行结构后，有一层卷积核大小为1×1，步长为1的卷积层，调整合并运行映射结构的网络参数，后续与该结构的输入数据相叠加融合，作为该模块的结果输出。在深度学习中，由于网络深度的加深会导致梯度弥散问题出现，利用残差连接和密集连接，能够进一步改善整个网络的信息和梯度的流动。
由于不同尺度的卷积层可以提取不同的上下文信息，对于图像的超分辨率重建来说，这些信息可以极大的改善重建效果。因而这里设计了一个级联的交叉融合模块，将多尺度上下文信息的融合互补，其中大尺度卷积负责提取复杂轮廓，小尺度卷积负责提取细节特征。局部残差避免了信息的衰退，实现信息的深度提取。以此构建网络的非线性映射过程。
重建模块包括融合层，全局残差连接，外部残差连接，上采样层。其中的融合连接将非线性映射模块中的所有交叉融合模块的输出结果进行密集连接，融合成一个张量。然后依次通过卷积核大小为1×1的卷积层以及卷积核大小为3×3的卷积层，1×1卷积层用来降低网络中的参数量，3×3卷积层进一步处理数据，结果作为后续全局残差连接的输入，与特征提取模块中3×3卷积层的输出结果相融合，建立残差机制。全局残差的结果依次通过三层卷积层，第一层卷积层的卷积核大小为1×1；后面两层卷积层的卷积核大小均为3×3，输出结果与输入的低分辨率图像建立外部残差连接，其中将输入的低分辨率图像经过卷积核大小为1×1卷积层处理，调整通道参数然后进行残差连接，通国调整参数来平衡输入的特征图即像素重组模块输出的特征图的通道数，以便后续的上采样能正常进行，使最后能够输出RGB三通道的复原图像。后续将结果通过亚像素卷积上采样模块，实现图像放大到指定尺寸，像素重组需要多个低分辨率的特征图重组得到高分辨特征图，为了确保这一操作能正常运行，该操作在定义上要求必须是r2个特征图，r为放大倍数，每做一次像素重组特征图数量会减少，为保障最后能输出RGB三通道的复原图像，所以需要平衡每个步骤输出的特征图数量保证下一个操作能正常进行。最后将上采样后的结果输入到卷积核大小为3×3的卷积层中，进一步优化调整参数实现高分辨率图像的重建，得到所重建后的图像Y。
由于每张输入的低分辨率图像内容不同，图像所包含的物体信息也各不相同，可能有相对较小或者较大的物体。然而在进行卷积处理时，较小的物体所能够提取到的特征信息很少，而感受野的大小也可能会提取到周围的其他无关信息，随着不断进行卷积处理操作，最后会导致某些物体信息的丢失。因此在这里我们建立了全局残差连接和外部残差连接，通过引入原始图像特征，对处理后行信息结果进行补充，保证较小物体的信息也能呈现在最后输出的特征图上。
基于深度学习的网络模型设计依据应用背景，例如图像分类和图像分割关注的是图像内容的分析理解，在模型设计上更倾向关注的目标的识别，将目标信息从整体分离加以识别分类。图像的超分辨率重建是关注低分辨率图像到高分辨率图像之间的非线性映射关系，通过提取图像中的每一处特征信息，将原始较弱的轮廓特征增强，提高细节及纹理，利用低分辨率图像推断出所有缺失的高频细节是重建的关键。本发明实施例为了充分提取低分辨率图像中的特征信息，最大限度地减少高频细节，提出了一种单幅图像超分辨率的多尺度残差融合模型及其复原方法。方法采用具有不同大小卷积核的特征提取模块，从输入的低分辨率图像中提取多个特征，并将它们串联在一起后送入非线性映射模块。非线性映射模块由五个交叉合并模块组成，每个模块由三个剩余双分支合并结构级联而成。这种结构可以促进不同分支机构的信息集成。在非线性映射模块中集成了稠密连接和剩余连接，提高了信息的传输和梯度。非线性映射模块负责提取高频特征并发送给重建模块，重建模块采用改进的亚像素采样层结合外部残差和全局残差生成高分辨率图像。
本发明实施例提出单幅图像超分辨率的多尺度残差融合模型及其复原方法，如图1所示，按照以下步骤进行：
步骤S1、将LR图像输入到单幅图像超分辨率的多尺度残差融合模型的特征提取模块中，依次通过多尺度卷积和融合部分。
步骤S2、特征提取模块对LR图像进行特征提取，得到浅层特征，即图1中的X0；
单一尺度卷积核提取底层特征信息，会导致遗漏较多的特征细节信息。本文采用3×3、5×5和9×9的3_5_9卷积核模式，作为特征提取模块中的卷积核尺度，利用多种尺度的卷积层共同处理低分辨率图像，能够从低分辨率图像中提取更多的细节信息，互补单一尺度提取的特征信息，有利于低分辨率图像细节的恢复。特征提取公式如下：
F1＝H3×3(X)；
F2＝H5×5(X)；
F3＝H9×9(X)；
F＝[F1,F2,F3]；
X0＝H3×3(H1×1(F))；
其中，X为输入的原始低分辨率图像LR，H表示卷积操作算子，下标表示层中使用的卷积核的大小，F1为提取的特征。同理，使用5×5和9×9卷积核分别对LR图像进行卷积处理，得到特征F2和F3。将三种尺度卷积结果叠加融合得到F，其中[·]表示concat融合。F经过1×1卷积降低特征维度，避免训练参数量过大，有利于提高网络的鲁棒性能，再使用3×3像素卷积进一步提取特征，得到最终提取的特征X0。
步骤S3、将浅层特征送入非线性映射模块，经非线性映射模块提取出5层特征；
非线性映射模块包含了5个级联的交叉融合模块(cross-merge，CM)。CM的结构见图2中，它融入了密集连接，由3个残差双支路融合结构(RDM)级联而成，合并RDM的输出并通过一层1×1像素卷积调整维度后借助局部残差连接(LRC)改善信息和梯度流动。
CM中的ReLU是实现非线性映射的关键，它有助于本发明实施例网络模型学习输入图像的复杂特征。因为卷积层是一种具有互相关特性的线性滤波器。ReLU作为卷积层的激活函数，具有非线性特性，可以将一个节点的多个输入信号转换成一个输出信号，实现输入输出特征图像的非线性映射。
RDM通过残差分支将两条并行支路融合，结构如图3。它将数据输入到两路并行残差分支，上分支包含一个3×3卷积层和一个ReLU激活层，下分支包含一个5×5卷积层和一个Relu激活层，两分支利用局部残差连接并相互融合后通过“concat”将数据合并，实现多尺度上下文信息的融合互补。RDM利用局部残差避免信息的衰退，实现信息的深度提取。分支中通过局部残差连接，中间的“add”表示融合特征图，不改变通道数，而后续的“concat”将特征图相合并，通道数增加。
以第i个CM中的第j个映射阶段为例，给出RDM的数学模型为：
其中，i＝1,2,3,4,5，j＝1,2,3；和/>表示对第j个RDM上、下分支的输入/>和/>分别进行3×3和5×5卷积后，经Relu激活的输出；/>和/>为第j个RDM上、下分支的输出，满足关系/>I表示单位矩阵。
5个RDM级联后，合并上、下残差分支的特征映射结果和/>采用一层1×1卷积调整维度后，引入局部残差连接(Local Residual Connection，LRC)，将浅层特征传递到高层，改善信息流的传递。第i,i＝1,…m个CM的输出为：
其中，Dc(·,·)表示上下两支路“add”融合的映射函数。
为方便表示，用表示输入Xi-1和输出Xi之间的映射关系，级联n个CM的输出即可得到的结果有：/>
其中，X0为第一个CM的输入，是特征提取模块的输出，级联的CM个数n为5。
步骤S4、将5层特征送入重建模块，重建模块通过稠密连接将5层特征连接融合成一个张量，得到全局特征，对全局特征进行三级处理得到三级特征，利用三级特征实现HR图像的重建
在融合层中，引入密集连接，将非线性映射模块中的5个CM的输出连接成一个张量，利用concat融合非线性映射结果，其数学模型为：
XM＝[X0,X1,...,Xn]；
其中，XM为融合NMM的所有信道分割块中的本地特征提取的全局特征，将其依次通过1×1和3×3卷积，得到融合后的一级特征将/>和利用全局残差(GRC)引入的FEM中的特征F1进行“add”融合，得到融合后的二级特征/>将/>再依次通过5×5、3×3和3×3卷积，进一步提取高频特征信息得到融合后的三级特征/>相关数学模型如下：
最后的上采样中，亚像素上采样卷积不需要对输入图像进行预处理，能极大的保留图像的细节特征。但是周期性排列的过程容易破坏像素点之间的关联性，导致不能充分利用特征信息来提高重建效果。LR图像与所重建的HR图像有着很多相同信息，且具有相似的拓扑结构。本文用外部残差连接(ERC)将LR引入到HR重建的最后环节，再采用亚像素卷积实现上采样，通过最后的卷积层调节参数来完成HR图像的重建。
由图1可见，LR图像经过1×1卷积后与待重建的HR特征数据具有相同的特征维度，将两者“add”融合后，通过亚像素上采样层实现HR图像的重构，数学模型如下：
其中，为对输入LR图像X的1×1卷积结果，T为待重建图像，/>为上采样结果，SUC(·)是对低分辨特征图像进行像素重组操作，r是上采样放大的比例因子，c表示图像的通道数(彩色和灰度图像对应的值分别为3和1)，mod(x,r)和mod(y,r)表示激活方式，根据r2张LR maps中不同的子像素位置，在像素重组过程中将其在相同位置的像素区域激活，提取出来组成HR图像Y中的一个区域。
单图像超分辨率的目的是从输入的低分辨率(LR)图像X中推断出所有丢失的高频细节，从而获得高分辨率(HR)图像Y。
给定一个训练数据集E＝{X(k),Y(k)},k＝1,2,3,...,|D|，其中X(k)和Y(k)分别表示低分辨率图像和高分辨率图像。SISR重建模型是实现从LR图像到HR图像的端到端映射。换句话说，我们发明实施例的单幅图像超分辨率重建模型的目标是学习一个演绎模型Γ，从输入的LR图像X(k)中推断出HR图像。
其中Θ＝[ω，b]是网络模型参数，ω是权重矩阵，b是偏差。模型参数Θ通过最小化重建的HR图像与真实的HR图像之间的损失来确定。我们将损失函数定义为，
用训练集E训练MSCM的过程是使损失最小化，找到模型Θ的最优参数。MSCM模型的结构如图1所示，它由特征提取模块(FEM)、非线性映射模块(NMM)和重构模块(RM)组成。FEM负责提取LR图像的浅层特征并传送到NMM，NMM负责提取高频特征并送入RM，RM使用改进的亚像素采样层生成HR图像。
为了验证本发明实施例的单幅图像超分辨率重建的有效性，选择不同场景图像作为测试数据集，与Dong的算法(Dong,C.；Loy,C.C.；He,K.；Tang,X.Image super-resolution using deep convolutional networks.In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,Zurich,Switzerland,6–12September 2014；pp.184–199)；Kim的算法(Kim,J.,J.Lee,K.,and Lee,K.M.,Accurateimage super-resolution using very deep convolutional networks,in Proc.IEEEConf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2016,pp.1646-1654.)；Kim的算法(Kim,J.,and Lee,J.K.,and Lee,K.M.,Deeply-recursive convolutional network forimage super-resolution,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2016,pp.1637-1645.)；Tai的算法(Tai,Y.,Yang,J.,and Liu,X.,Image super-resolution via deep recursive residual network,in Proc.IEEEConf.Comput.Vis.Pattern Recognit.(CVPR),Jul.2017,pp.3147–3155.)；Lai的算法(Lai,W.S.,Huang,J.B.,Ahuja,N.,and Yang,M.H.,Deep Laplacian pyramid networksfor fast and accurate super-resolution,in Proc.IEEE Conf.Comput.Vis.PatternRecognit.(CVPR),Jul.2017,pp.624–632.)；Tai的算法(Tai,Y.,Yang,J.,Liu,X.,and Xu,C.,MemNet:a persistent memory network for image restoration,in Proc.IEEEInt.Conf.Comput.Vis.(ICCV),Oct.2017,pp.4549-4557.)和本发明的实验结果通过主客观两个方面对比分析验证。
如图4所示，为本发明实施例提供的单幅图像超分辨率重建方法与其它算法对高层建筑的图像进行放大3倍的重建实验效果图，并对墙面纹理进行局部对比。其中，图4(a)为高楼所对应的HR图像，图4(b)为Dong的SRCNN方法重建结果图，图4(c)为Kim的VDSR方法重建效果图，图(d)为Kim的DRCN方法重建效果图，图4(e)为Lai的LapSRN方法重建效果图，图4(f)为Tai的DRRN方法重建效果图，图4(g)为Tai的MemNet方法重建效果图，图4(h)为本发明实施例方法的复原结果图。可以看出，本发明实施例的方法重建的墙纹理最接近HR图像，轮廓明显，而其他算法重建的图像纹理杂乱无章，整体图像模糊。因此本发明实施例的方法有效复原了原始高分辨率图像的边缘细节和轮廓，提高了对比度。
如图5所示，为本发明实施例提供的单幅图像超分辨率重建方法与其它算法对站房的图像进行放大4倍的重建实验效果图，并对窗口进行局部对比。其中，图4(a)为高楼所对应的HR图像，图4(b)为Dong的SRCNN方法重建结果图，图4(c)为Kim的VDSR方法重建效果图，图(d)为Kim的DRCN方法重建效果图，图4(e)为Lai的LapSRN方法重建效果图，图4(f)为Tai的DRRN方法重建效果图，图4(g)为Tai的MemNet方法重建效果图，图4(h)为本发明实施例方法的复原结果图。通过对窗口局部细节的比较，我们可以发现，本发明实施例的方法重建的图像可以得到最明显的窗口轮廓，并能很好地恢复边缘细节，而其他方法不能有效地恢复轮廓。因此本发明实施例的方法有效复原了原始高分辨率图像的边缘细节和轮廓，提高了对比度。
如图6所示，为本发明实施例提供的单幅图像超分辨率重建方法与其它算法对北京2号卫星遥感的图像进行放大4倍的重建实验效果图，并对飞机进行局部对比。其中，图4(a)为高楼所对应的HR图像，图4(b)为Dong的SRCNN方法重建结果图，图4(c)为Kim的VDSR方法重建效果图，图(d)为Kim的DRCN方法重建效果图，图4(e)为Lai的LapSRN方法重建效果图，图4(f)为Tai的DRRN方法重建效果图，图4(g)为Tai的MemNet方法重建效果图，图4(h)为本发明实施例方法的复原结果图。通过对飞机的局部细节的比较，我们可以发现，本发明实施例的方法重建的图像边缘特征最为明显，恢复的效果最好，而其他方法不能有效的恢复轮廓，且存在模糊问题。因此本发明实施例的方法有效复原了原始高分辨率图像的边缘细节和轮廓，提高了锐度。
本实施例为避免定性分析带来的偏差，使用峰值信噪比(PSNR)和结构相似性(SSIM)两个客观指标进行定量评价，通过在Set5、Set14、BSD100和Urban100四个数据集上进行放大倍数为2、3和4倍共三种不同倍数的重建复原比较，如表1所示：
表1不同方法在不同指标上的PSNR(dB)/SSIM结果对比数据
从表1的数据可知，本发明实施例(Our)的PSNR和SSIM均大于SRCNN、VDSR、DRCN、DRRN、MemNet和LapSRN方法。对于PSNR和SSIM，其数值越高，表示结果与真实的图像更为相似，图像质量更高。表1明确指出了在不同指标下不同图像数据集测试数据的平均得分。因此本发明实施例的方法对于重建图像的峰值信噪比和结构相似性都有较大的提升，且优于其它方法。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (5)

1.一种单幅图像超分辨率的多尺度残差融合模型的复原系统，其特征在于，包括依次连接的特征提取模块、非线性映射模块和重建模块；
所述特征提取模块，采用3×3、5×5和9×9的3_5_9卷积核模式，三个尺度的卷积核均与LR图像卷积，分别得到特征图F1、F2、F3，然后将特征图F1、F2、F3送入连接融合算子完成融合后，再依次经过1×1和3×3的卷积处理，得到最终的浅层特征；
所述的特征提取模块得到的最终的浅层特征送入非线性映射模块的输入端；
所述非线性映射模块，由5个交叉融合模块CM级联而成，每个CM由3个双通道残差融合模块RDM级联而成，且RDM中融入了局部残差连接，非线性映射模块输入的是特征提取模块提取的浅层特征，即浅层特征是第一个CM的输入，非线性映射模块通过建立输入与输出之间的非线性映射关系，提取高频特征并借助稠密连接传送到重建模块；
所述RDM通过残差分支将两条并行支路融合，它将输入数据送到两路并行残差分支，上分支包含一个3×3卷积层和一个ReLU激活层，下分支包含一个5×5卷积层和一个ReLU激活层，两分支利用局部残差连接实现加权平均融合后通过连接融合将特征数据合并，实现多尺度上下文信息的融合互补；
所述的双通道残差融合模块RDM中的加权平均融合表示融合特征图，不改变通道数；
所述的双通道残差融合模块RDM中的连接融合表示“concat”，“concat”将特征图相加，通道数不改变；
所述重建模块包括依次连接的全局特征融合与图像恢复两部分；
所述的全局特征融合部分利用稠密连接将5个CM的输出连接成一个张量，通过连接融合得到非线性映射结果，即得到用于重建的全局特征；全局特征依次通过1×1和3×3卷积，得到融合后的一级特征；将一级特征和利用全局残差引入的特征提取模块中的3×3卷积得到的特征图进行加权平均融合，得到融合后的二级特征；将二级特征再依次通过5×5、3×3和3×3卷积，进一步提取高频特征信息得到融合后的三级特征；
所述的图像恢复部分将LR图像经过1×1卷积后，与全局特征融合部分得到的三级特征具有相同的特征维度，将两者加权平均融合得到待重建图像，再对待重建图像上的像素点进行周期性排列，之后再经过一个3×3卷积调节参数，实现HR图像的重建；
所述的图像恢复部分用外部残差连接将LR图像引入到HR图像重建的最后环节，利用LR图像与所重建的HR图像的相同信息，即两者的相似拓扑结构，增强像素点间的相关性；
所述的重建模块，用于对连接融合的高频特征进一步提取细节、纹理特征后，融合浅层特征和LR图像，完成高分辨率HR图像的重建。
2.一种基于权利要求1所述的单幅图像超分辨率的多尺度残差融合模型的复原系统的复原方法，其特征在于，按照以下步骤进行：
步骤S1、将LR图像输入到单幅图像超分辨率的多尺度残差融合模型的特征提取模块；
步骤S2、特征提取模块对LR图像进行特征提取，得到浅层特征；
步骤S3、将浅层特征送入非线性映射模块，经非线性映射模块提取出5层特征Xi,i＝1,…,5；
步骤S4、将5层特征Xi,i＝1,…,5送入重建模块，重建模块通过稠密连接将5层特征连接融合成一个张量，得到全局特征，对全局特征进行三级处理得到三级特征，利用三级特征实现HR图像的重建。
3.根据权利要求2所述的单幅图像超分辨率的多尺度残差融合模型的复原方法，其特征在于，所述步骤S2中特征提取模块的数学模型为：
F1＝H3×3(X)；
F2＝H5×5(X)；
F3＝H9×9(X)；
F＝[F1,F2,F3]；
X0＝H3×3(H1×1(F))
其中，X为输入的原始低分辨率LR图像，H表示卷积操作算子，下标表示卷积核的大小，F1、F2和F3表示对X分别进行3×3、5×5和9×9卷积后提取的特征图，[F1,F2,F3]表示对F1、F2和F3进行连接融合操作，F表示连接融合F1、F2和F3后的得到的初步提取特征，X0表示对初步提取特征F依次经过1×1和3×3卷积后最终得到浅层特征。
4.根据权利要求2所述的单幅图像超分辨率的多尺度残差融合模型的复原方法，其特征在于，所述步骤S3中非线性映射模块提取5层特征Xi,i＝1,…,5的过程为：
非线性映射模块级联了5个CM，每个CM由3个RDM级联而成，第i个CM中的第j个RDM映射阶的数学模型为：
其中，i＝1,2,...,5，j＝1,2,3，和/>表示对第j个RDM上、下分支的输入/>和分别进行3×3和5×5卷积后，经ReLU激活的输出，/>和/>为第j个RDM上、下分支的输出，满足关系/>I表示单位矩阵；
3个RDM级联后，合并上、下残差分支的特征映射结果和/>采用一层1×1卷积调整维度后，用局部残差连接将浅层特征传递到高层，第i个CM的输出为，
其中，Dc(·,·)表示上下两支路加权平均融合的映射函数，Xi就是非线性映射模块提取的第i层特征，对应第i个CM的输出；
为方便表示，用表示输入Xi-1和输出Xi之间的映射关系，则第n个CM的输出为，
其中，X0为第一个CM的输入，即特征提取模块提取的浅层特征。
5.根据权利要求2所述的单幅图像超分辨率的多尺度残差融合模型的复原方法，其特征在于，所述步骤S4中重建模块的数学模型为：
XM＝[X0,X1,...,Xn]
其中，[X0,X1,...,Xn]表示对X0,X1,...,Xn进行连接融合操作，XM为连接融合X0,X1,...,Xn后的得到的全局特征，是全局特征XM依次通过1×1和3×3卷积得到的一级特征，/>是将/>和利用全局残差引入的FEM中的特征图F1进行加权平均融合得到的二级特征，/>是将依次通过5×5、3×3和3×3卷积，进一步提取高频特征信息得到的三级特征，Dc(·,·)表示对加权平均融合的映射函数，/>为对输入LR图像X的1×1卷积结果，T为待重建图像，SUC(T)表示对T进行周期性排列的重组操作，/>表示对T的重组结果，x为HR图像的横坐标像素，y为HR图像的纵坐标像素，c表示图像的通道数，彩色和灰度图像对应的值分别为3和1，Y是重建的HR图像。
CN202010726231.6A 2020-07-25 2020-07-25 单幅图像超分辨率的多尺度残差融合模型及其复原方法 Active CN111861961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010726231.6A CN111861961B (zh) 2020-07-25 2020-07-25 单幅图像超分辨率的多尺度残差融合模型及其复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010726231.6A CN111861961B (zh) 2020-07-25 2020-07-25 单幅图像超分辨率的多尺度残差融合模型及其复原方法

Publications (2)

Publication Number Publication Date
CN111861961A CN111861961A (zh) 2020-10-30
CN111861961B true CN111861961B (zh) 2023-09-22

Family

ID=72950997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010726231.6A Active CN111861961B (zh) 2020-07-25 2020-07-25 单幅图像超分辨率的多尺度残差融合模型及其复原方法

Country Status (1)

Country Link
CN (1) CN111861961B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634136B (zh) * 2020-12-24 2023-05-23 华南理工大学 一种基于图像特征快速拼接的图像超分辨率方法及其系统
CN112712488B (zh) * 2020-12-25 2022-11-15 北京航空航天大学 基于自注意力融合的遥感图像超分辨率重建方法
CN112801868B (zh) * 2021-01-04 2022-11-11 青岛信芯微电子科技股份有限公司 图像超分辨率重建的方法、电子设备及存储介质
CN112766104A (zh) * 2021-01-07 2021-05-07 湖北公众信息产业有限责任公司 保险新零售服务平台
CN113139899A (zh) * 2021-03-31 2021-07-20 桂林电子科技大学 高质量轻量级超分辨率重建网络模型设计方法
CN113240625A (zh) * 2021-03-31 2021-08-10 辽宁华盾安全技术有限责任公司 一种基于深度学习的钢板检测方法、对尾预警方法、电子设备及计算机存储介质
CN113163138B (zh) * 2021-05-20 2023-01-17 苏州大学 基于双向循环网络的高分辨率视频复原系统及方法
CN113256494B (zh) * 2021-06-02 2022-11-11 同济大学 一种文本图像超分辨率方法
CN113362384A (zh) * 2021-06-18 2021-09-07 安徽理工大学环境友好材料与职业健康研究院(芜湖) 多通道亚像素卷积神经网络的高精度工业零件测量算法
CN113628125B (zh) * 2021-07-06 2023-08-15 武汉大学 基于空间视差先验网络的多幅红外图像增强方法
CN113674156B (zh) * 2021-09-06 2022-12-30 苏州大学 一种图像超分辨率重建的方法及系统
CN113763251B (zh) * 2021-09-14 2023-06-16 浙江师范大学 一种图像超分辨率放大模型及其方法
CN114549325B (zh) * 2022-03-01 2024-08-13 安徽理工大学 单幅图像的仿生鹰眼多尺度融合超分辨率重建模型、方法、设备及存储介质
CN114821261B (zh) * 2022-05-20 2024-08-20 合肥工业大学 一种图像融合的方法
CN115206331B (zh) * 2022-06-13 2024-04-05 华南理工大学 基于锥形残差密集网络的语音超分辨率方法
CN116109487B (zh) * 2023-03-04 2024-08-20 淮阴师范学院 一种基于细节保持的图像超分辨率复原方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017189870A1 (en) * 2016-04-27 2017-11-02 Massachusetts Institute Of Technology Stable nanoscale nucleic acid assemblies and methods thereof
CN108376386A (zh) * 2018-03-23 2018-08-07 深圳天琴医疗科技有限公司 一种图像的超分辨率模型的构建方法及装置
CN108537731A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
CN109903223A (zh) * 2019-01-14 2019-06-18 北京工商大学 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN109978785A (zh) * 2019-03-22 2019-07-05 中南民族大学 多级递归特征融合的图像超分辨率重构系统及其方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
WO2019190017A1 (ko) * 2018-03-26 2019-10-03 아주대학교 산학협력단 저 해상도 이미지 보정을 위한 잔차 네트워크 시스템
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
EP3637099A1 (en) * 2018-10-08 2020-04-15 Ecole Polytechnique Federale de Lausanne (EPFL) Image reconstruction method based on a trained non-linear mapping
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111402128A (zh) * 2020-02-21 2020-07-10 华南理工大学 一种基于多尺度金字塔网络的图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087553B2 (en) * 2019-01-04 2021-08-10 University Of Maryland, College Park Interactive mixed reality platform utilizing geotagged social media

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017189870A1 (en) * 2016-04-27 2017-11-02 Massachusetts Institute Of Technology Stable nanoscale nucleic acid assemblies and methods thereof
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN108537731A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法
CN108376386A (zh) * 2018-03-23 2018-08-07 深圳天琴医疗科技有限公司 一种图像的超分辨率模型的构建方法及装置
WO2019190017A1 (ko) * 2018-03-26 2019-10-03 아주대학교 산학협력단 저 해상도 이미지 보정을 위한 잔차 네트워크 시스템
EP3637099A1 (en) * 2018-10-08 2020-04-15 Ecole Polytechnique Federale de Lausanne (EPFL) Image reconstruction method based on a trained non-linear mapping
CN109903223A (zh) * 2019-01-14 2019-06-18 北京工商大学 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109978785A (zh) * 2019-03-22 2019-07-05 中南民族大学 多级递归特征融合的图像超分辨率重构系统及其方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111402128A (zh) * 2020-02-21 2020-07-10 华南理工大学 一种基于多尺度金字塔网络的图像超分辨率重建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Channel Splitting Network for Single MR Image Super-Resolution";Xiaole Zhao等;《arxiv》;第4-7页第III节 *
"MEMNet：A Persistent Memory Network for Image Restoration";Ying Tai等;《2017 IEEE International Conference on Computer Vision》;第1-12页 *
"Single Image Super-Resolution via Cascaded Multi-Scale Cross Network";Yanting Hu等;《arxiv》;第1-12页 *
"Single image super-resolution with multi-level feature fusion recursive network";Xin Jin等;《Neurocomputing》;第166-173页 *
"基于多尺度特征映射网络的图像超分辨率重建";段然等;《浙江大学学报（工学版）》;第53卷(第7期);第1331-1339页 *
"多尺度密集残差网络的单幅图像超分辨率重建";应自炉等;《中国图象图形学报》;第24卷(第3期);第410-419页 *

Also Published As

Publication number Publication date
CN111861961A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111861961B (zh) 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN110276721A (zh) 基于级联残差卷积神经网络的图像超分辨率重建方法
CN109741256A (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN109118432A (zh) 一种基于快速循环卷积网络的图像超分辨率重建方法
CN107240066A (zh) 基于浅层和深层卷积神经网络的图像超分辨率重建算法
Zhu et al. Efficient single image super-resolution via hybrid residual feature learning with compact back-projection network
CN111768340B (zh) 一种基于密集多路径网络的超分辨图像重构方法和系统
CN112950475A (zh) 一种基于残差学习及空间变换网络的光场超分辨率重建方法
CN114820408A (zh) 基于自注意力和卷积神经网络的红外可见光图像融合方法
Yu et al. E-DBPN: Enhanced deep back-projection networks for remote sensing scene image superresolution
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN112365403A (zh) 一种基于深度学习和相邻帧的视频超分辨率恢复方法
CN115358932A (zh) 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
CN117474764B (zh) 一种针对复杂退化模型下遥感图像的高分辨率重建方法
CN109272450A (zh) 一种基于卷积神经网络的图像超分方法
Chen et al. Guided dual networks for single image super-resolution
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
Wang et al. Heatmap-aware pyramid face hallucination
CN112200728A (zh) 一种基于树状聚合轻量化的单张图像超分辨率方法
Xu et al. Image Super-Resolution Based on Variational Autoencoder and Channel Attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant