CN113421187B - 一种超分辨率重建方法、系统、存储介质、设备 - Google Patents

一种超分辨率重建方法、系统、存储介质、设备 Download PDF

Info

Publication number
CN113421187B
CN113421187B CN202110648537.9A CN202110648537A CN113421187B CN 113421187 B CN113421187 B CN 113421187B CN 202110648537 A CN202110648537 A CN 202110648537A CN 113421187 B CN113421187 B CN 113421187B
Authority
CN
China
Prior art keywords
resolution
image
feature map
super
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110648537.9A
Other languages
English (en)
Other versions
CN113421187A (zh
Inventor
李天平
欧佳瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202110648537.9A priority Critical patent/CN113421187B/zh
Publication of CN113421187A publication Critical patent/CN113421187A/zh
Application granted granted Critical
Publication of CN113421187B publication Critical patent/CN113421187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像技术领域，提供了一种超分辨率重建方法、系统、存储介质、设备。该方法包括：获取待处理图像，将其输入训练后的高分辨率图像重建模型，得到高分辨率图像；所述高分辨率图像重建模型包括依次连接的改进的多分支残差网络和改进的特征金字塔通道注意模块；所述改进的多分支残差网络通过将串行块序列与卷积进行不同数量的反复交叉组合，生成关键信息特征增多的图像；所述改进的特征金字塔通道注意模块通过自顶向下的路径和横向路径来引入通道注意模块，生成增强多级信息特征的金字塔特征映射；将增强多级信息特征经过特征融合模块，得到高分辨率图像。

Description

一种超分辨率重建方法、系统、存储介质、设备
技术领域
本发明属于图像技术领域，尤其涉及一种超分辨率重建方法、系统、存储介质、设备。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
图像的超分辨率研究对于图像复原有着重要的应用意义，超分辨率重建技术对于医学图像有重要的应用价值。现在超分辨率重建技术普遍采用传统的残差网络，但是存在结构复杂度跟性能优异度无法匹配的问题。增加传统网络深度同时添加轻量级模块用以增强网络结构性能已成为近年炙手可热的研究内容。
目前，ESPCN算法通过直接在低分辨率图像尺寸上提取特征，计算得到高分辨率图像的高效网络结果，但是由于其网络结构的局限性，导致在提取图像特征时无法获取更大的感受野，进而导致关键特征丢失；之后，MSRN算法引入多尺度提取模块，进一步扩大感受野，虽然性能得到一定提升，但其参数设置过多导致计算量太大；RCN网络为避免参数过大导致的计算量过大问题，引入轻量级模块-注意力机制，其性能提升并不明显，对分辨率过低的图像并没有太大作用。所以研究一种计算量小、结构简单且性能优越的网络结构对于超分辨率重建具有重要的研究价值。随着网络时代的快速发展，通过电子手段复原低分辨率图像将成为未来一个重要的发展方向。超分辨率重建技术不仅属于计算机科学的研究范畴，还是涉及医学影像等多学科的一个前沿研究领域。图像超分辨率重建将具有十分重要的研究意义和应用价值。
超分辨率模型是研究图像超分辨率的重要基础。上述超分辨率模型虽然在一定程度上取得了部分效果，但是其计算复杂度和性能优异度上仍旧不能取得更好的结果。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种超分辨率重建方法、系统、存储介质、设备，其采用改进的多分支残差网络和改进的特征金字塔通道注意模块相结合，在避免关键信息丢失的同时，将低分辨率图像进行高分辨率到高分辨率图像。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种超分辨率重建方法。
一种超分辨率重建方法，包括：
获取待处理图像，将其输入训练后的高分辨率图像重建模型，得到高分辨率图像；
所述高分辨率图像重建模型包括依次连接的改进的多分支残差网络和改进的特征金字塔通道注意模块；
所述改进的多分支残差网络通过将串行块序列与卷积进行不同数量的反复交叉组合，生成关键信息特征增多的图像；
所述改进的特征金字塔通道注意模块通过自顶向下的路径和横向路径来引入通道注意模块，生成增强多级信息特征的金字塔特征映射；
将增强多级信息特征经过特征融合模块，得到高分辨率图像。
进一步的，所述改进的多分支残差网络通过在直接路径中进行一个3×3卷积的同时，在每层间再进行一个1×1卷积，每个1×1卷积都与各层的3×3卷积相连，依次进行不同数量的反复交叉组合，最终生成一个关键信息特征更多的高分辨率图像。
进一步的，所述高分辨率图像重建模型的训练过程包括：包括图像预处理和模型训练。
进一步的，所述图像预处理包括：将图像数据集中的高分辨率图像降采样生成对应的低分辨图像，将高分辨率图像和低分辨率图像一一对应打包成h5py格式，作为训练数据集。
进一步的，所述模型训练包括：利用训练数据集中低分辨率图像和高分辨率图像作为模型的输入，对应的高分辨率图像作为目标高分辨率图像，训练模型中的多分支残差网络和改进的特征金字塔通道注意模块，得到能够将低分辨率图像进行超分辨到高分辨图像的高分辨率图像重建模型。
进一步的，将多分支残差网络得到的图像，视为一个特征的分支，作为第一特征图，定义一个基本卷积单元，由连续三组重复的卷积核尺寸依次为1×1和3×3的卷积层构成，第一特征图经过基本卷积单元后得到第二特征图，第二特征图的尺寸同样为7×7；然后将第二特征图上采样至14×14，与ResNet50网络中对应分辨率的特征进行横向连接，经过一个基本卷积单元后得到第三特征图，由于经过了一个上采样，第三特征图的尺寸为14×14；同理，对第三特征图执行同样的操作，依次经过上采样、横向连接和基本卷积单元，可以得到尺寸为28×28的第四特征图。
进一步的，所述通道注意模块中，输入一个C×H×W的特征F，其中，C、H、W分别表示特征图的通道数、高度和宽度，首先进行空间的全局平均池化和全局最大池化操作，得到两个C×1×1的通道描述，然后，将两个通道描述分别输入到一个两层的神经网络，第一层神经元个数为C/r，r为缩放的系数，使用ReLU作为激活函数，第二层神经元个数为C，其中，这个两层神经网络是权值共享的；接着，将得到的两个特征相加后经过Sigmoid函数得到通道权重系数Mc，最后将原始特征F与权重系数Mc相乘即可得到通道增强的新特征F'。
本发明的第二个方面提供一种超分辨率重建系统。
一种超分辨率重建系统，其特征在于，包括：
输出模块，其被配置为：获取待处理图像，将其输入训练后的高分辨率图像重建模型，得到高分辨率图像；
模型构建模块，其被配置为：所述高分辨率图像重建模型包括依次连接的改进的多分支残差网络和改进的特征金字塔通道注意模块；所述改进的多分支残差网络通过将串行块序列与卷积进行不同数量的反复交叉组合，生成关键信息特征增多的图像；所述改进的特征金字塔通道注意模块通过自顶向下的路径和横向路径来引入通道注意模块，生成增强多级信息特征的金字塔特征映射；
融合模块，其被配置为：将增强多级信息特征经过特征融合模块，得到高分辨率图像。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述一种超分辨率重建方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种超分辨率重建方法中的步骤。
与现有技术相比，本发明的有益效果是：
采用多分支残差金字塔通道网络能够在训练过程中优化网络性能，加强对信息关键特征的提取，且结构简单，计算量小。
在基本的FPN结构上添加通道注意模块来增强网络性能，即在每个横向连接中添加通道注意模块，进一步提升模型关注含有关键信息的高级特征能力，该模块将处理之后的信息特征传输到自上而下路径中的每个特征级别，最终输出一个具有多细节特征的高分辨率图像。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明的网络架构；
图2是本发明的多分支残差网络框图；
图3是本发明的多分支残差块细节图；
图4是本发明的多分支残差块主观图；
图5是本发明特征金字塔通道注意模块图；
图6是本发明与其他六种算法的第一示例图；
图7是本发明与其他六种算法的第二示例图；
图8是本发明与其他六种算法的第三示例图；
图9是本发明与其他六种算法的第四示例图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
实施例一
如图1所示，本实施例提供了一种超分辨率重建方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
获取待处理图像，将其输入训练后的高分辨率图像重建模型，得到高分辨率图像；
所述高分辨率图像重建模型包括依次连接的改进的多分支残差网络和改进的特征金字塔通道注意模块；
所述改进的多分支残差网络通过将串行块序列与卷积进行不同数量的反复交叉组合，生成关键信息特征增多的图像；
所述改进的特征金字塔通道注意模块通过自顶向下的路径和横向路径来引入通道注意模块，生成增强多级信息特征的金字塔特征映射；
将增强多级信息特征经过特征融合模块，得到高分辨率图像。
具体的，针对单一图像的超分辨率重建技术一般过程是“信息识别-特征提取和选择-高分辨率图像重建-结果输出”，其中信息识别、特征提取和选择是两个关键步骤。本实施例提出基于多分支残差金字塔通道网络的设计方法，网络结构如图1所示。基于多分支残差金字塔通道网络采用多分支残差网络作为主干网络，主干网络采用传统ResNet网络的新形式。众多研究表明，经典的特征金字塔(FPN)结构由于其稳健合理的结构体系，对关键信息特征精确的提取能力，已经被广泛应用在许多不同的计算机视觉任务中，特别是信息检测任务。本实施例采用的多分支残差网络，在保有直接路径的同时增加分支层，将串行块序列与卷积进行不同数量的反复交叉组合，旨在避免关键信息丢失问题。同时，在基本的FPN结构上添加通道注意模块来增强网络性能。即在每个横向连接中添加通道注意模块，进一步提升模型关注含有关键信息的高级特征能力，该模块将处理之后的信息特征传输到自上而下路径中的每个特征级别，最终输出一个具有多细节特征的高分辨率图像。
为进一步改善各层之间的信息流动，提升对关键信息的输出能力，本实施例提出了一种新型的连接模式：本实施例在传统ResNet的基础上，应用多个分支组成分支网，在保持原有直接路径的同时，将串行块序列与卷积进行不同数量的反复交叉组合。传统的残差结构网络将lth的输出作为输入连接到(l+1)th，这就引起了以下的转换：xl＝Hl(xl-1)。传统的ResNet的优点是梯度可以直接通过特征函数从后一层流到前一层。但是，由于特征函数和Hl的输出是通过加和结合的，这就很可能会阻碍网络中的信息流，从而导致关键信息被过滤或丢失。在本发明中，将单个图像特征输出设为x0，MBRN共包含L个分支，每个分支都采用非线性变换Hl(·)，其中，Hl(·)是进行批量归一化、校正线性单元(RELU)，池化或卷积等操作的复合函数。最终，lth层接收了前面所有层(x0,......,xl-1)的特征映射，即：
xl＝Hl([x0,......,xl-1])
其中，[x0,......,xl-1]表示在第0,......,l-1个分支特征映射的级联。
由于该网络的分支特点，将该网络体系结构称为多分支残差网络(MBRN)。图3展示了多分支残差网络(MBRN)的细节图，图4展示了多分支残差网络(MBRN)的主观图。为了更便捷的在网络结构中进行采样处理，将块之间的连接层称之为过渡层，其主要负责卷积和池化。过渡层由一个批量归一化层、一个1×1的卷积层和一个2×2的池化层组成。与传统ResNet不同的是，本实施例在直接路径中进行一个3×3卷积的同时，在每层间再进行一个1×1卷积，每个1×1卷积都与各层的3×3卷积相连，依次进行不同数量的反复交叉组合，最终输出一个关键信息特征更多的高分辨率图像。多分支残差网络的提出，不仅能够解决关键信息在信息流中的丢失和过滤问题，还可以进一步增强信息特征映射，提升网络性能。
针对所提出的特征金字塔通道注意模块(FPCA)进行了详细描述。研究表明，特征金字塔针对图像信息的特征定位提取有着优异的性能，然而，单一的特征金字塔(FPN)面临的首要问题是，当关键信息集成在自顶向下路径中的不同特征级别时，部分信息特征会逐渐被稀释。另外，单一的FPN由于检测信息太广泛，极容易受到其他非关键信息的影响，从而降低模型的最终性能。为了解决以上两个问题，本实施例提出了一种特征金字塔通道注意模块(FPCA)，该模块包括了不同尺度的独立层，旨在进一步提取关键信息特征，扩大模型的接收范围。如图5所示，在FPN模型中添加通道注意模块，进一步从高级特征中提取有用的关键信息特征，这种新的编码结构称之为特征金字塔通道注意(FPCA)，它通过计算自顶向下的路径和横向路径来引入通道注意机制，生成具有高级信息的金字塔特征映射，从而为特征金字塔带来更多的关键信息。
本实施例中，令x作为输入的LR图像，θ为要优化的网络参数集。主要目的是学习一个映射函数f，其主要用于生成高分辨率图像，即：
Figure GDA0003207322850000101
将s级残差图像用rs来表示，xs代表放大后的LR图像，ys代表相应的HR图像，则在s级上期望输出的HR图像的表达式：ys＝xs+rs。采用双三次下采样步骤来调整每个层级中的HR真实图像y到ys，总体的损失函数定义为：
Figure GDA0003207322850000102
其中
Figure GDA0003207322850000103
N是我们训练样本的数量，L是水平数，一般ε＝10-3
Figure GDA0003207322850000104
为了证明本实施例的有效性，使用4个基准数据集进行广泛实验，与14种现有先进算法的比较后，所得出的PSNR和SSIM值如下表所示，从表中可以看出，本实施例的网络性能在4个基准数据集上表现较佳。
Figure GDA0003207322850000105
Figure GDA0003207322850000111
Figure GDA0003207322850000121
在图6-9中展示了六种算法跟本实施例算法在图像细节上的比较，即：Bicubic、VDSR、LapSRN、SRMDNF、MDCN和SeaNet。在SET14和BSDS10基准数据集上进行效果比较，其比例因子为×2和×3。
为了进一步证明改进后的多分支残差网络相较于传统残差网络更具先进性，我们进行了实验，表2是我们的实验数据。在只采用我们的多分支残差网络(MBRN)，与加入特征金字塔通道注意模块的传统ResNet相比较，可以发现，我们所提出的MBRN仍然在PSNR性能的表现上较为优异(提升了1.09dB)；在同样添加了特征金字塔通道注意模块的基础上，我们的算法(MBPCN)相较于ResNet+FPCA，PSNR性能提升了2.97dB。由此可以看出，我们算法较传统ResNet更具先进性，同时，也看出我们的多分支残差网络(MBRN)在增添了特征金字塔通道注意模块之后性能更为显著，因此我们的算法在多分支残差网络的基础上又添加了特征金字塔通道注意模块，旨在得到更为优异的超分辨率性能。
表2多分支残差金字塔通道网络与其他组合形式下网络的PSNR值比较
Network Loss Function PSNR
ResNet+FPCA L2 26.36
MBRN L2 27.45
MBPCN L2 29.33
实施例二
本实施例提供了一种超分辨率重建系统。
一种超分辨率重建系统，包括：
输出模块，其被配置为：获取待处理图像，将其输入训练后的高分辨率图像重建模型，得到高分辨率图像；
模型构建模块，其被配置为：所述高分辨率图像重建模型包括依次连接的改进的多分支残差网络和改进的特征金字塔通道注意模块；所述改进的多分支残差网络通过将串行块序列与卷积进行不同数量的反复交叉组合，生成关键信息特征增多的图像；所述改进的特征金字塔通道注意模块通过自顶向下的路径和横向路径来引入通道注意模块，生成增强多级信息特征的金字塔特征映射；
融合模块，其被配置为：将增强多级信息特征经过特征融合模块，得到高分辨率图像。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种超分辨率重建方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种超分辨率重建方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种超分辨率重建方法，其特征在于，包括：
获取待处理图像，将其输入训练后的高分辨率图像重建模型，得到高分辨率图像；
所述高分辨率图像重建模型包括依次连接的改进的多分支残差网络和改进的特征金字塔通道注意模块；
所述改进的多分支残差网络通过将串行块序列与卷积进行不同数量的反复交叉组合，生成关键信息特征增多的图像；
所述改进的特征金字塔通道注意模块通过自顶向下的路径和横向路径来引入通道注意模块，生成增强多级信息特征的金字塔特征映射；
将增强多级信息特征经过特征融合模块，得到高分辨率图像；
将多分支残差网络得到的图像，视为一个特征的分支，作为第一特征图，定义一个基本卷积单元，由连续三组重复的卷积核尺寸依次为1×1和3×3的卷积层构成，第一特征图经过基本卷积单元后得到第二特征图，第二特征图的尺寸同样为7×7；然后将第二特征图上采样至14×14，与ResNet50网络中对应分辨率的特征进行横向连接，经过一个基本卷积单元后得到第三特征图，由于经过了一个上采样，第三特征图的尺寸为14×14；同理，对第三特征图执行同样的操作，依次经过上采样、横向连接和基本卷积单元，可以得到尺寸为28×28的第四特征图；
所述通道注意模块中，输入一个C×H×W的特征F，其中，C、H、W分别表示特征图的通道数、高度和宽度，首先进行空间的全局平均池化和全局最大池化操作，得到两个C×1×1的通道描述，然后，将两个通道描述分别输入到一个两层的神经网络，第一层神经元个数为C/r，r为缩放的系数，使用ReLU作为激活函数，第二层神经元个数为C，其中，这个两层神经网络是权值共享的；接着，将得到的两个特征相加后经过Sigmoid函数得到通道权重系数Mc，最后将原始特征F与权重系数Mc相乘即可得到通道增强的新特征F'。
2.根据权利要求1所述的一种超分辨率重建方法，其特征在于，所述改进的多分支残差网络通过在直接路径中进行一个3×3卷积的同时，在每层间再进行一个1×1卷积，每个1×1卷积都与各层的3×3卷积相连，依次进行不同数量的反复交叉组合，最终生成一个关键信息特征更多的高分辨率图像。
3.根据权利要求1所述的一种超分辨率重建方法，其特征在于，所述高分辨率图像重建模型的训练过程包括：包括图像预处理和模型训练。
4.根据权利要求3所述的一种超分辨率重建方法，其特征在于，所述图像预处理包括：将图像数据集中的高分辨率图像降采样生成对应的低分辨图像，将高分辨率图像和低分辨率图像一一对应打包成h5py格式，作为训练数据集。
5.根据权利要求4所述的一种超分辨率重建方法，其特征在于，所述模型训练包括：利用训练数据集中低分辨率图像和高分辨率图像作为模型的输入，对应的高分辨率图像作为目标高分辨率图像，训练模型中的多分支残差网络和改进的特征金字塔通道注意模块，得到能够将低分辨率图像进行超分辨到高分辨图像的高分辨率图像重建模型。
6.一种超分辨率重建系统，其特征在于，包括：
输出模块，其被配置为：获取待处理图像，将其输入训练后的高分辨率图像重建模型，得到高分辨率图像；
模型构建模块，其被配置为：所述高分辨率图像重建模型包括依次连接的改进的多分支残差网络和改进的特征金字塔通道注意模块；所述改进的多分支残差网络通过将串行块序列与卷积进行不同数量的反复交叉组合，生成关键信息特征增多的图像；所述改进的特征金字塔通道注意模块通过自顶向下的路径和横向路径来引入通道注意模块，生成增强多级信息特征的金字塔特征映射；
融合模块，其被配置为：将增强多级信息特征经过特征融合模块，得到高分辨率图像；
将多分支残差网络得到的图像，视为一个特征的分支，作为第一特征图，定义一个基本卷积单元，由连续三组重复的卷积核尺寸依次为1×1和3×3的卷积层构成，第一特征图经过基本卷积单元后得到第二特征图，第二特征图的尺寸同样为7×7；然后将第二特征图上采样至14×14，与ResNet50网络中对应分辨率的特征进行横向连接，经过一个基本卷积单元后得到第三特征图，由于经过了一个上采样，第三特征图的尺寸为14×14；同理，对第三特征图执行同样的操作，依次经过上采样、横向连接和基本卷积单元，可以得到尺寸为28×28的第四特征图；
所述通道注意模块中，输入一个C×H×W的特征F，其中，C、H、W分别表示特征图的通道数、高度和宽度，首先进行空间的全局平均池化和全局最大池化操作，得到两个C×1×1的通道描述，然后，将两个通道描述分别输入到一个两层的神经网络，第一层神经元个数为C/r，r为缩放的系数，使用ReLU作为激活函数，第二层神经元个数为C，其中，这个两层神经网络是权值共享的；接着，将得到的两个特征相加后经过Sigmoid函数得到通道权重系数Mc，最后将原始特征F与权重系数Mc相乘即可得到通道增强的新特征F'。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的一种超分辨率重建方法中的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的一种超分辨率重建方法中的步骤。
CN202110648537.9A 2021-06-10 2021-06-10 一种超分辨率重建方法、系统、存储介质、设备 Active CN113421187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110648537.9A CN113421187B (zh) 2021-06-10 2021-06-10 一种超分辨率重建方法、系统、存储介质、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110648537.9A CN113421187B (zh) 2021-06-10 2021-06-10 一种超分辨率重建方法、系统、存储介质、设备

Publications (2)

Publication Number Publication Date
CN113421187A CN113421187A (zh) 2021-09-21
CN113421187B true CN113421187B (zh) 2023-01-03

Family

ID=77788247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110648537.9A Active CN113421187B (zh) 2021-06-10 2021-06-10 一种超分辨率重建方法、系统、存储介质、设备

Country Status (1)

Country Link
CN (1) CN113421187B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311145A (zh) * 2022-08-12 2022-11-08 中国电信股份有限公司 图像处理方法及装置、电子设备、存储介质
CN115330740B (zh) * 2022-08-22 2023-08-08 河海大学 一种基于mdcn的轻量化裂缝识别方法
CN115439915A (zh) * 2022-10-12 2022-12-06 首都师范大学 区域编码和样本平衡优化的课堂参与度识别方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN111402128A (zh) * 2020-02-21 2020-07-10 华南理工大学 一种基于多尺度金字塔网络的图像超分辨率重建方法
CN111667412A (zh) * 2020-06-16 2020-09-15 中国矿业大学 基于交叉学习网络的图像超分辨率的重建方法及装置
CN112561801A (zh) * 2020-12-25 2021-03-26 北京轩宇空间科技有限公司 基于se-fpn的目标检测模型训练方法、目标检测方法及装置
CN112733691A (zh) * 2021-01-04 2021-04-30 北京工业大学 一种基于注意力机制的多方向的无人机航拍的车辆检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CA3144236A1 (en) * 2019-06-18 2020-12-24 Huawei Technologies Co., Ltd. Real-time video ultra resolution
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111461983B (zh) * 2020-03-31 2023-09-19 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN111402128A (zh) * 2020-02-21 2020-07-10 华南理工大学 一种基于多尺度金字塔网络的图像超分辨率重建方法
CN111667412A (zh) * 2020-06-16 2020-09-15 中国矿业大学 基于交叉学习网络的图像超分辨率的重建方法及装置
CN112561801A (zh) * 2020-12-25 2021-03-26 北京轩宇空间科技有限公司 基于se-fpn的目标检测模型训练方法、目标检测方法及装置
CN112733691A (zh) * 2021-01-04 2021-04-30 北京工业大学 一种基于注意力机制的多方向的无人机航拍的车辆检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Densely Connected Convolutional Networks;Gao Huang et al.;《arXiv》;20180128;第1-9页 *
Pyramid Attention Networks for Image Restoration;Yiqun Mei et al.;《arXiv》;20200603;第1-19页 *

Also Published As

Publication number Publication date
CN113421187A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN113421187B (zh) 一种超分辨率重建方法、系统、存储介质、设备
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
WO2020056791A1 (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN109685716B (zh) 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法
CN110992270A (zh) 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN113592718A (zh) 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN113674403B (zh) 一种三维点云上采样方法、系统、设备及介质
CN112070670B (zh) 全局-局部分离注意力机制的人脸超分辨率方法及系统
CN113344806A (zh) 一种基于全局特征融合注意力网络的图像去雾方法与系统
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
WO2015141463A1 (en) Method for processing input low-resolution (lr) image to output high-resolution (hr) image
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN115564649B (zh) 一种图像超分辨率重建方法、装置及设备
Zhang et al. Accurate and efficient image super-resolution via global-local adjusting dense network
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN112215755A (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN111652804B (zh) 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN112419152A (zh) 一种图像超分辨率方法、装置、终端设备和存储介质
CN114913094A (zh) 图像修复方法、装置、计算机设备、存储介质和程序产品
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
Wang et al. DDistill-SR: Reparameterized dynamic distillation network for lightweight image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant