CN117132472A - 基于前向-反向可分离自注意力的图像超分辨率重建方法 - Google Patents

基于前向-反向可分离自注意力的图像超分辨率重建方法 Download PDF

Info

Publication number
CN117132472A
CN117132472A CN202311290723.5A CN202311290723A CN117132472A CN 117132472 A CN117132472 A CN 117132472A CN 202311290723 A CN202311290723 A CN 202311290723A CN 117132472 A CN117132472 A CN 117132472A
Authority
CN
China
Prior art keywords
convolution
attention
backward
extraction
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311290723.5A
Other languages
English (en)
Other versions
CN117132472B (zh
Inventor
李希尧
赵小强
脱奔奔
顾鹏
宋昭漾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN202311290723.5A priority Critical patent/CN117132472B/zh
Priority claimed from CN202311290723.5A external-priority patent/CN117132472B/zh
Publication of CN117132472A publication Critical patent/CN117132472A/zh
Application granted granted Critical
Publication of CN117132472B publication Critical patent/CN117132472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于前向‑反向可分离自注意力的图像超分辨率重建方法，属于图像处理技术领域，包括；将获取的目标低分辨率图像输入至训练好的前向‑反向可分离自注意力网络模型中，输出对应的高分辨率图像；网络模型包括：浅层提取模块用于对输入的目标低分辨率图像进行初始特征提取；多个深层提取模块用于对初始特征进行多尺度特征提取，获得前向‑反向可分离自注意力网络模型的输出特征；上采样模块用于对输出特征进行上采样处理，获得上采样特征图；重建模块用于对上采样特征图进行处理，获得目标低分辨率图像对应的高分辨率图像；该方法其既可以多尺度提取不同的结构信息，又可提取重要信息，增强特征选择能力，提高了图像超分辨率重建精度。

Description

基于前向-反向可分离自注意力的图像超分辨率重建方法
技术领域
本发明属于图像处理技术领域，更具体的说是涉及基于前向-反向可分离自注意力的图像超分辨率重建方法。
背景技术
视觉信息对真实世界有着高效的表达能力，对真实世界的信息传递有着重要意义。图像可以直观地描述视觉信息，人类可以通过图像获得丰富信息，因而图像是信息的重要载体。大多数图像采集过程中，受图像处理技术和传输环境影响，获得的原始图像分辨率通常较低，而原始低分辨率图像缺少关键信息，通常很难满足技术上的要求。为了解决图像质量低下带来的问题，超分辨率重建作为一种低级视觉任务，成为研究热点。
图像超分辨率重建技术是一种从一幅低分辨率图像中恢复出高分辨率图像的技术，重建过程是一个典型逆过程，所以一个输入低分辨率图像能够映射输出多个高分辨率图像。通常图像的分辨率越高，包含的细节信息就会越多，更多的图像信息有利于在更多的场景发挥作用，因此图像超分辨率重建技术在诸多领域有着广泛的应用，如城市监控、医学成像、遥感图像等
近年来，深度学习技术的快速发展，基于深度学习的图像超分辨率重建算法，显示出对超分辨率重建问题的优势。部分研究人员首次将卷积神经网络应用到超分辨率重建中，提出了SRCNN，构建了一个3层神经网络对图像重建。之后的许多超分辨率重建方法都是在此基础上进行改进，如ESPCN、VDSR、DRCN、RCAN等；其中，ESPCN提出了一种亚像素卷积的特征上采样，代替反卷积运算，大大提升了计算速度。VDSR提出了一种深度卷积网络的超分辨率重建方法，采用残差结构构建20层的深度网络，增强浅层与深层的特征联系。DRCN提出了一种递归循环层提取高频特征，采用参数共享递归结构，降低网络参数量。RCAN提出了一种残差通道注意力的超分辨率重建，将通道注意力引入残差网络，提高模型的特征选择能力。
虽然上述网络取得了相对较好的效果，但还存在一些局限性，例如这些网络大多数都采用单流的方式传递特征，却没有考虑单流网络的信息丢失，且没有对注意力进行优化。
因此，如何避免单流网络的信息丢失，并对注意力进行优化，提高图像高频重建性能，是本领域技术人员亟需解决的问题。
发明内容
鉴于上述问题，本发明提供基于前向-反向可分离自注意力的图像超分辨率重建方法，以至少解决上述背景技术中提到的部分技术问题。
为了实现上述目的，本发明采用如下技术方案：
基于前向-反向可分离自注意力的图像超分辨率重建方法，包括如下步骤；
获取目标低分辨率图像；
将所述目标低分辨率图像输入至训练好的前向-反向可分离自注意力网络模型中，输出所述目标低分辨率图像对应的高分辨率图像；
所述前向-反向可分离自注意力网络模型基于前向-反向深度可分离卷积构成；所述前向-反向可分离自注意力网络模型包括浅层提取模块、多个深层提取模块、上采样模块和重建模块；
所述浅层提取模块，用于对输入的目标低分辨率图像进行初始特征提取；
多个所述深层提取模块，用于对所述初始特征进行多尺度特征提取，获得所述前向-反向可分离自注意力网络模型的输出特征；
所述上采样模块，用于对所述输出特征进行上采样处理，获得上采样特征图；
所述重建模块，用于对所述上采样特征图进行处理，获得所述目标低分辨率图像对应的高分辨率图像。
进一步地，所述深层提取模块由前向-反向多尺度注意力模块和混洗注意力自注意力联合模块组成；
所述前向-反向多尺度注意力模块，用于对所述初始特征进行多尺度特征提取；
所述混洗注意力自注意力联合模块，用于自适应地调整注意力权重参数。
进一步地，所述前向-反向多尺度注意力模块由前向-反向深度可分离卷积多尺度提取块和前向-反向特征提取注意力块串联构成。
进一步地，所述前向-反向深度可分离卷积多尺度提取块的设计步骤包括：
步骤一、设置前向-反向深度可分离卷积块：将深度可分离卷积中逐点卷积和深度卷积的提取顺序进行交换，并在所述逐点卷积和所述深度卷积之间加入激活函数，得到前向深度可分离卷积层和反向深度可分离卷积层；其中，所述前向深度可分离卷积层先深度卷积提取后逐点卷积提取；所述反向深度可分离卷积层先逐点卷积提取后深度卷积提取；
步骤二、设置多尺度提取块：并将不同尺度的空洞卷积核设为不同维度，采用维度调整方式，将多尺度提取块的不同维度统一；
步骤三、将设置好的所述前向-反向深度可分离卷积块和设置好的所述多尺度提取块通过道混洗结合，组成前向-反向深度可分离卷积多尺度提取块。
进一步地，所述前向-反向深度可分离卷积多尺度提取块包括卷积核为1x1的空洞卷积分支、卷积核为3x3的空洞卷积分支以及卷积核为5x5的空洞卷积分支；
所述前向-反向深度可分离卷积多尺度提取块从三路进行特征提取，包括：
对于卷积核为1x1的空洞卷积分支，使用维度大于第二预设值的前向-反向深度可分离卷积块提取特征，通道拆分操作将输入特征分为两路64通道分支；其中一路组卷积提取；另一路组卷积、前向深度可分离卷积层和反向深度可分离卷积层串联而成提取；
对于卷积核为3x3的空洞卷积分支，利用前向-反向深度可分离卷积块提取特征，对于输入特征，先压缩为32通道，再通过1x1卷积、前向深度可分离卷积层、反向深度可分离卷积层和1x1卷积串联而成作为中间提取；在末端，通过concat操作将输入特征与中间提取的特征进行通道聚合，获得保留输入特征与提取后的深层特征的聚合特征；
对于卷积核为5x5的空洞卷积分支，使用维度低于第一预设值的前向-反向深度可分离卷积块提取特征，通道拆分操作将输入特征分为两路32通道分支；其中一路组卷积提取；另一路组卷积、前向深度可分离卷积层和反向深度可分离卷积层串联而成提取。
进一步地，所述前向-反向多尺度注意力模块从三路进行特征提取，包括：
对于卷积核为5x5的空洞卷积分支，前向-反向深度可分离卷积多尺度提取块与前向-反向特征提取注意力块串联，由通道拆分操作将通道转为c/2，末端concat操作将维度聚合为c，并在通道维度c下进行注意力提取；
对于卷积核为3x3的空洞卷积分支，由通道压缩卷积将通道转为c/2，末端concat操作将维度聚合为c，并在通道维度c下进行注意力提取；
对于卷积核为1x1的空洞卷积分支，前向-反向深度可分离卷积多尺度提取块与前向-反向特征提取注意力块串联，在通道为c下进行两路提取，末端concat操作将维度聚合为2c，通道压缩卷积压缩通道为c，并在通道维度c下进行注意力提取。
进一步地，所述前向-反向特征提取注意力块依次由全局平均池化层、前向深度可分离层、ReLU激活函数层、反向深度可分离层、通道混洗、最大池化层和Sigmoid激活函数层串联构成。
进一步地，所述混洗注意力自注意力联合模块由混洗注意力块和自注意力块串联构成；
所述混洗注意力块由平均池化、最大池化、1x1组卷积、通道混洗、1x1逐点卷积和Sigmoid激活函数串联构成；
所述自注意力块包括第一分支、第二分支和第三分支；所述第一分支的值、所述第二分支的值和所述第三分支的值相乘，得到自注意力特征图。
进一步地，所述前向-反向可分离自注意力网络模型的训练步骤如下：
S1、获取目标数据集，并对所述目标数据集进行预处理；
S2、对所述目标数据集进行k倍下采样处理，获得对应的低分辨率图像数据集；
S3、将所述目标数据集裁剪成多个kH×kW大小的第一图像块，将所述低分辨率图像数据集裁剪成多个H×W大小的第二图像块；
S4、将所述第二图像块作为输入，将与所述第二图像块的图像位置相对应的第一图像块作为输出，来训练低分辨率图像数据集；
所述低分辨率图像数据集中所需的网络参数包括前向-反向可分离自注意力网络中深度卷积核、逐点卷积核、步长、填充值，前向-反向可分离自注意力的块数；
S5、基于训练完成的所述低分辨率图像数据集，来训练基于前向-反向可分离自注意力网络，生成前向-反向可分离自注意力网络模型。
进一步地，使用峰值信噪比和结构相似度作为客观评价指标，对所述自注意力网络模型的重建性能进行评价。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了基于前向-反向可分离自注意力的图像超分辨率重建方法，具有如下有益效果：
本发明通过设计基于前向-反向可分离自注意力网络模型来实现图像超分辨率重建，其既可以多尺度提取不同的结构信息，又可提取重要信息，略去无用信息，增强特征选择能力，提高了图像超分辨率重建精度。
本发明通过设计前向-反向深度可分离卷积块进行编码和解码，提取复杂信息，多尺度提取补偿单路网络特征传递过程中损失的部分高频信息，从而让输入图像在不同尺度下提取不同的信息，通道混洗增加特征信息交流，避免单流网络的信息丢失。
本发明通过前向-反向特征提取注意力块，改进注意力的特征提取函数，使用提出的前向-反向深度可分离卷积提取权重，自适应调整权值，通道混洗增强信息流动，高效地关注图像中的上下文维度特征。
本发明通过混洗注意力自注意力联合模块，对改进通道注意力的函数映射，并加入自注意力，自适应的调整权值参数，关注上下文维度信息，有效提高了图像的超分辨率重建效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的基于前向-反向可分离自注意力的图像超分辨率重建方法框架示意图。
图2为本发明实施例提供的前向-反向可分离自注意力网络模型结构示意图
图3为本发明实施例提供的深层提取模块结构示意图。
图4为本发明实施例提供的前向-反向深度可分离卷积多尺度提取块结构示意图。
图5为本发明实施例提供的前向-反向特征提取注意力块结构示意图。
图6为本发明实施例提供的前向-反向多尺度注意力模块结构示意图。
图7为本发明实施例提供的混洗注意力自注意力联合模块结构示意图。
图8为本发明实施例提供的本发明方法与其他对比方法重建视觉效果对比示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1所示，本发明实施例公开了基于前向-反向可分离自注意力的图像超分辨率重建方法，包括如下步骤；
获取目标低分辨率图像；将目标低分辨率图像输入至训练好的前向-反向可分离自注意力网络模型中，输出目标低分辨率图像对应的高分辨率图像；
参见图2所示，上述前向-反向可分离自注意力网络模型基于前向-反向深度可分离卷积构成；该前向-反向可分离自注意力网络模型包括浅层提取模块、多个深层提取模块、上采样模块和重建模块；其中：浅层提取模块采用3x3卷积对输入的目标低分辨率图像ILR进行初始特征提取，得到浅层特征FO；多个深层提取模块用于对初始特征进行多尺度特征提取，获得自注意力网络模型的输出特征Ff；上采样模块用于对输出特征进行上采样处理，获得上采样特征信息FUP；重建模块用于对上采样特征图进行处理，获得目标低分辨率图像对应的高分辨率图像ISR。
参见图3所示，上述深层提取模块由前向-反向多尺度注意力模块和混洗注意力自注意力联合模块组成；其中，前向-反向多尺度注意力模块用于对初始特征进行多尺度特征提取；混洗注意力自注意力联合模块用于自适应地调整注意力权重参数；本发明实施例中串联多个深层提取模块，可以得到基于前向-反向深度可分离卷积的自注意力网络模型的输出特征。
上述前向-反向多尺度注意力模块由前向-反向深度可分离卷积多尺度提取块和前向-反向特征提取注意力块串联构成；混洗注意力自注意力联合模块由混洗注意力块和自注意力块串联构成；
接下来分别对深层提取模块中的各模块进行说明。
1、前向-反向深度可分离卷积多尺度提取块，参见图4所示：
(1)该前向-反向深度可分离卷积多尺度提取块的设计步骤包括：
步骤一、设置前向-反向深度可分离卷积块：将深度可分离卷积中逐点卷积和深度卷积的提取顺序进行交换，并在逐点卷积和深度卷积之间加入激活函数，得到前向深度可分离卷积层和反向深度可分离卷积层(即前向-反向深度可分离卷积层)；其中，前向深度可分离卷积层先深度卷积提取后逐点卷积提取；反向深度可分离卷积层先逐点卷积提取后深度卷积提取；该前向-反向深度可分离卷积层的深度卷积采用卷积核3x3，逐点卷积采用卷积核1x1，通道混洗数为组数；
步骤二、设置多尺度提取块：并将不同尺度的空洞卷积核设为不同维度，采用维度调整方式，将多尺度提取块的不同维度统一；多尺度提取块分别使用卷积核为1x1、3x3、5x5的空洞卷积分支路提取；
步骤三、将设置好的前向-反向深度可分离卷积块和设置好的多尺度提取块通过道混洗结合，组成前向-反向深度可分离卷积多尺度提取块；该前向-反向深度可分离卷积多尺度提取块以前向-反向深度可分离卷积为基础，对特征先编码后解码(前向深度可分离卷积用于对特征编码、反向深度可分离卷积用于特征解码)，多尺度提取方式增强了不同分支下的感受野变化，变维度提取可以获得不同丰富程度的特征信息，更有利图像的恢复。
(2)前向-反向深度可分离卷积多尺度提取块实现特征提取：
前向-反向深度可分离卷积多尺度提取块由多尺度卷积组成不同分支，每一分支使用不同构造方式的前向-反向深度可分离卷积构成；具体包括卷积核为1x1的空洞卷积分支、卷积核为3x3的空洞卷积分支以及卷积核为5x5的空洞卷积分支；
前向-反向深度可分离卷积多尺度提取块从三路进行特征提取，包括：
对于卷积核为1x1的空洞卷积分支，其空洞率较小，使用维度大于第二预设值的前向-反向深度可分离卷积块提取特征，通道拆分操作将输入特征分为两路64通道分支；其中一路组卷积提取；另一路组卷积、前向深度可分离卷积层和反向深度可分离卷积层串联而成提取；
对于卷积核为3x3的空洞卷积分支，利用前向-反向深度可分离卷积块提取特征，对于输入特征，先压缩为32通道，再通过1x1卷积、前向深度可分离卷积层、反向深度可分离卷积层和1x1卷积串联而成作为中间提取；在末端，通过concat操作将输入特征与中间提取的特征进行通道聚合，获得保留输入特征与提取后的深层特征的聚合特征；
对于卷积核为5x5的空洞卷积分支，其空洞率较大，使用维度低于第一预设值的前向-反向深度可分离卷积块提取特征，通道拆分操作将输入特征分为两路32通道分支；其中一路组卷积提取；另一路组卷积、前向深度可分离卷积层和反向深度可分离卷积层串联而成提取。
2、前向-反向特征提取注意力块，参见图5所示：
前向-反向特征提取注意力块依次由全局平均池化层、前向深度可分离层、ReLU激活函数层、反向深度可分离层、通道混洗、最大池化层和Sigmoid激活函数层串联构成；
该前向-反向特征提取注意力块改进传统注意力的全连接提取，使用前向-反向深度可分离层提取更为多样的特征，同时引入通道混洗增强信息流动，最后残差连接将输入特征与注意力块输出端相乘，构成前向-反向特征提取注意力块的输出；本发明实施例提供的前向-反向特征提取注意力块可以增强上述前向-反向深度可分离卷积多尺度提取块的特征选择能力，使其以高关注度去聚焦重要信息，忽略无关信息，并自适应的调整权重。
3、前向-反向多尺度注意力模块，参见图6所示：
前向-反向多尺度注意力模块由上述的前向-反向深度可分离卷积多尺度提取块和前向-反向特征提取注意力块串联构成，将前向-反向深度可分离卷积多尺度提取块和前向-反向特征提取注意力块的特点结合，从不同尺度提取不同感受野的信息，并重点关注感兴趣的信息；
该前向-反向多尺度注意力模块从三路进行特征提取，包括：
对于卷积核为5x5的空洞卷积分支，前向-反向深度可分离卷积多尺度提取块与前向-反向特征提取注意力块串联，由通道拆分操作将通道转为c/2，末端concat操作将维度聚合为c，并在通道维度c下进行注意力提取；
对于卷积核为3x3的空洞卷积分支，由通道压缩卷积将通道转为c/2，末端concat操作将维度聚合为c，并在通道维度c下进行注意力提取；
对于卷积核为1x1的空洞卷积分支，前向-反向深度可分离卷积多尺度提取块与前向-反向特征提取注意力块串联，在通道为c下进行两路提取，末端concat操作将维度聚合为2c，通道压缩卷积压缩通道为c，并在通道维度c下进行注意力提取。
4、混洗注意力自注意力联合模块，参见图7所示：
混洗注意力自注意力联合模块由混洗注意力块与自注意力块串联构成，其中：
混洗注意力块由平均池化、最大池化、1x1组卷积、通道混洗、1x1逐点卷积和Sigmoid激活函数串联构成，用于提取深层特征中的有用特征信息；
自注意力块包括第一分支、第二分支和第三分支；第一分支的值、第二分支的值和第三分支的值相乘，得到自注意力特征图；具体地参见图7所示，自注意力由三个分支q、k、v组成，其中特征图通过三个分支1x1卷积得到对应的q、k、v的值，对q的转置和k相乘，得到权重函数图，在将v与权重图相乘，得到自注意力特征图；
该混洗注意力自注意力联合模块联合混洗注意力块与自注意力块的优点，在获得局部通道关联的注意力的同时，采用自注意力不断生成不同注意力特征图的方式，选择有益于图像重建的信息，
上述对基于前向-反向可分离自注意力网络模型的结构进行了说明，接下来对该自注意力网络模型的训练步骤进行说明；具体包括如下训练步骤：
S1、获取目标数据集，并对目标数据集进行预处理；该预处理具体包括对目标数据集进行旋转以及翻转等处理，实现数据增强，扩充训练数据集的目的，确保可以提高图像超分辨率重建精度；
S2、对目标数据集进行k倍下采样处理，获得对应的低分辨率图像数据集；
S3、将目标数据集裁剪成多个kH×kW大小的第一图像块，将低分辨率图像数据集裁剪成多个H×W大小的第二图像块；
S4、将第二图像块作为输入，将与之图像位置相对应的第一图像块作为输出，来训练低分辨率图像数据集；
低分辨率图像数据集中所需的网络参数包括前向-反向可分离自注意力网络中深度卷积核m、逐点卷积核k、步长s、填充值p，前向-反向可分离自注意力的块数；
S5、基于训练完成的低分辨率图像数据集，来训练基于前向-反向可分离自注意力网络，生成前向-反向可分离自注意力网络模型。
将目标低分辨率图像输入至该训练好的自注意力网络模型中，便可以输出目标低分辨率图像对应的高分辨率图像；为了提高自注意力网络模型的精准度，本发明实施例中还采用均方误差函数作为损失函数，计算重建生成的高分辨率图像和真实高分辨率图像之间的损失值，通过损失值更新网络参数；
在上述步骤S5中，选择Adam优化算法，对自注意力网络迭代训练；
在本发明实施例中，还使用使用峰值信噪比和结构相似度作为客观评价指标，对所述自注意力网络模型的重建性能进行评价；具体为：使用测试数据集对生成的自注意力网络模型进行测试，记录得到的峰值信噪比和结构相似度指标数值；设置m个不同前向-反向深度可分离卷积的参数k、c、n值，继续测试，记录得到的峰值信噪比和结构相似度值；最后，对比记录的峰值信噪比和结构相似度值，选取最高的峰值信噪比和结构相似度值对应的一组m及k、c、n值，并保存训练好的基于前向-反向深度可分离卷积的自注意力网络模型；在本发明实施例中，m＝3，k＝1，n＝18；初始学习率设为0.0001；训练200epoch迭代一次；批处理batch-size大小设置为16。
接下来通过一个具体的实施例来对上述方法进行说明。
步骤1、选取公开的DIV2K数据集作为训练数据集，其中的800张用以网络的训练，100张用于验证集、100张测试集，对DIV2K高分辨率图像作降质处理，采用双三次插值算法下采样进行降质模糊处理，获得1/N的下采样后图像作为低分辨率图像，其中N表示可以指定的缩放系数。选用公开的Set5、Set14、B100、Urban100图像数据集作为测试数据集，用于测试本发明性能。为了扩充训练数据的样本，将DIV2K数据集进行90°、180°、270°旋转和0.9、0.8、0.7、0.6的比例缩放；
步骤2、将步骤1中得到的低分辨率图像裁剪成大小为H*W的图像块，作为网络的输入，将步骤中训练数据集的图像裁剪成大小为kH*kW的图像块，将其作为输入低分辨率图像对应的标签；将得到的输入低分辨率图像与其对应的高分辨率图像作为样本对，作为训练数据集文件；
步骤3、设计前向-反向可分离自注意力网络模型：
3.1、设计前向-反向深度可分离卷积多尺度提取块
如图4所示，本发明实施例设计的前向-反向深度可分离卷积的多尺度提取块是由前向-反向深度可分离卷积为基础组成多尺度提取块，提取不同支路的信息，多尺度提取块分别使用卷积核为1x1、3x3、5x5的空洞卷积分支路提取，前向深度可分离卷积层与反向深度可分离卷积层的深度卷积采用卷积核3x3和逐点卷积采用卷积核1x1，步长为1，填充为0，组卷积层中激活函数为ReLU激活；区别在于，对于空洞率较大的5x5空洞卷积，使用维度较小的前向-反向深度可分离块提取特征，通道拆分操作将输入特征分为两32通道分支；对中间空洞率为3x3的空洞卷积，充分利用前向-反向深度可分离卷积，对于输入特征，先压缩为32通道，在通过1x1卷积、前向深度可分离卷积、反向深度可分离卷积、1x1卷积串联而成作为中间提取，在末端，concat操作将输入特征与中间提取特征通道聚合，获得保留输入特征与提取后的深层特征的聚合特征；对空洞率较小的1x1空洞卷积，使用维度较大的前向-反向深度可分离块提取特征，输入特征依次传入两路，均为64通道提取。
3.2、设计的前向-反向特征提取注意力块：
如图5所示，本发明实施例设计的前向-反向特征提取注意力块是改进的注意力块，其由前向-反向深度可分离卷积构成，并加入通道混洗操作，注意力块由全局平均池化层、前向深度可分离层、ReLU激活函数层、反向深度可分离层、通道混洗、最大池化层、Sigmoid激活函数层串联组成，平均池化层系数为2，最大池化则为1。
3.3、设计的前向-反向多尺度注意力模块：
如图6所示，本发明实施例设计的前向-反向多尺度注意力模块，由3.1所述前向-反向深度可分离卷积的多尺度提取块与3.2所述前向-反向特征提取注意力块串联组成，多尺度提取通过维度调整为64个通道的输出。
3.4、设计的混洗注意力自注意力联合模块：
如图7所示，本发明实施例设计的混洗注意力自注意力联合模块由平均池化、最大池化、1x1组卷积、通道混洗、1x1逐点卷积、Sigmoid激活函数串联组成，具体来说通过该模块学习不同的权重，对前向-反向多尺度注意力模块进行注意力权重的参数的分配。
3.5：设计的前向-反向可分离自注意力网络模型
如图2所示，本发明实施例设计的前向-反向可分离自注意力网络模型由浅层提取模块、深层提取模块、上采样模块与重建输出模块组成；浅层提取模块3x3卷积组成、对输入图像进行初始特征提取；深层特征提取模块由上述设计的前向-反向多尺度注意力模块和混洗注意力自注意力联合模块串联组成，实现对多尺度特征自适应的调整权重，串联18个深层提取模块，得到基于前向-反向深度可分离卷积的自注意力网络输出特征；上采样模块由亚像素卷积层组成，其使用卷积核尺寸为3x3卷积，输入通道为64，输出通道为256，亚像素卷积将尺寸为H×W×c×r2的特征图重新排列为rH×rW×c的特征图，重建输出由一个卷积核尺寸为3x3的卷积，其功能是将输出的64个通道转化为3通道。
步骤4、训练基于前向-反向深度可分离卷积的自注意力网络：
4.1、构建均方误差函数作为训练损失函数，以此重建图像与真实高分辨率图像的损失来估计网络参数θ，均方误差函数表示为：
式中，n代表训练样本数；L代表均方误差函数；Xi代表真实高分辨率图像；Yi代表重建的图像。
4.2、使用Adam优化算法更新网络的参数，
4.3、使用峰值信噪比(Peak Singal to Noise Ratio，PSNR)和结构相似度(Structural SIMilarity，SSIM)作为评价指标评价基于前向-反向深度可分离卷积的自注意力网络重建性能；
峰值信噪比和结构相似度指标的公式如式(2)所示：
式中，M和N分别表示为图像的长和宽；f表示为真实的高分辨率图像；表示为重建的高分辨率图像；
结构相似度指标的公式如式(3)所示：
式中，μf和分别表示为真实高分辨率图像和重建高分辨率图像的平均灰度值；σf和/>分别表示为真实高分辨率图像和重建图像的方差；/>表示为真实高分辨率图像和重建图像的协方差；C1和C2为常数，且C1＝(k1L)2，C2＝(k2L)2，k1＝0.01，k2＝0.03；L表示像素值的动态范围；
4.4、设置网络参数包括前向-反向深度可分离层中深度卷积核m、逐点卷积核k、每层卷积通道数c、步长s、填充值p，前向-反向深度可分离卷积的自注意力块数n；
4.5、设置训练学习率0.0001、迭代次数初始值为200、批训练样本数量16、偏差初始化；
4.6、用步骤4生成的HDF5训练数据集，根据步骤4.4以及步骤4.5设置的参数，训练前向-反向深度可分离卷积的自注意力网络，生成网络模型；
4.7、使用测试数据集进行步骤4.6得到的基于前向-反向深度可分离卷积的自注意力网络模型的测试，记录得到的峰值信噪比和结构相似度指标数值；然后返回步骤4.4，设置不同前向-反向深度可分离层的参数m、k、s、p值，以及前向-反向深度可分离卷积的自注意力块数n，继续测试，记录得到的峰值信噪比和结构相似度值；最后，对比记录的峰值信噪比和结构相似度值，选取最高的峰值信噪比和结构相似度值对应的一组m及k、s、p值，以及前向-反向深度可分离卷积的自注意力块数n，并保存训练好的于前向-反向深度可分离卷积的自注意力网络模型。
步骤5：将低分辨率图像输入到上述于前向-反向深度可分离卷积的自注意力网络模型中，得到重建后的高分辨率图像。
上述步骤为本发明在超分辨率重建过程中重建清晰图像应用；本发明实施例所提方法与其他对比方法重建视觉效果图如图8所示，本发明所提网络模型重建效果更好，且本发明所提网络模型能够更好提取高频细节，在进行重建时有着显著的客观评价指标，这是因为本发明所提方法灵活的提取图像丰富的上下文信息，同时自适应学习注意力参数，提取更精准的高频特征，因此超分辨率重建图像有明显优越性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.基于前向-反向可分离自注意力的图像超分辨率重建方法，其特征在于，包括如下步骤；
获取目标低分辨率图像；
将所述目标低分辨率图像输入至训练好的前向-反向可分离自注意力网络模型中，输出所述目标低分辨率图像对应的高分辨率图像；
所述前向-反向可分离自注意力网络模型基于前向-反向深度可分离卷积构成；所述前向-反向可分离自注意力网络模型包括浅层提取模块、多个深层提取模块、上采样模块和重建模块；
所述浅层提取模块，用于对输入的目标低分辨率图像进行初始特征提取；
多个所述深层提取模块，用于对所述初始特征进行多尺度特征提取，获得所述前向-反向可分离自注意力网络模型的输出特征；
所述上采样模块，用于对所述输出特征进行上采样处理，获得上采样特征图；
所述重建模块，用于对所述上采样特征图进行处理，获得所述目标低分辨率图像对应的高分辨率图像。
2.根据权利要求1所述的基于前向-反向可分离自注意力的图像超分辨率重建方法，其特征在于，所述深层提取模块由前向-反向多尺度注意力模块和混洗注意力自注意力联合模块组成；
所述前向-反向多尺度注意力模块，用于对所述初始特征进行多尺度特征提取；
所述混洗注意力自注意力联合模块，用于自适应地调整注意力权重参数。
3.根据权利要求2所述的基于前向-反向可分离自注意力的图像超分辨率重建方法，其特征在于，所述前向-反向多尺度注意力模块由前向-反向深度可分离卷积多尺度提取块和前向-反向特征提取注意力块串联构成。
4.根据权利要求3所述的基于前向-反向可分离自注意力的图像超分辨率重建方法，其特征在于，所述前向-反向深度可分离卷积多尺度提取块的设计步骤包括：
步骤一、设置前向-反向深度可分离卷积块：将深度可分离卷积中逐点卷积和深度卷积的提取顺序进行交换，并在所述逐点卷积和所述深度卷积之间加入激活函数，得到前向深度可分离卷积层和反向深度可分离卷积层；其中，所述前向深度可分离卷积层先深度卷积提取后逐点卷积提取；所述反向深度可分离卷积层先逐点卷积提取后深度卷积提取；
步骤二、设置多尺度提取块：并将不同尺度的空洞卷积核设为不同维度，采用维度调整方式，将多尺度提取块的不同维度统一；
步骤三、将设置好的所述前向-反向深度可分离卷积块和设置好的所述多尺度提取块通过道混洗结合，组成前向-反向深度可分离卷积多尺度提取块。
5.根据权利要求4所述的基于前向-反向深度可分离卷积的图像超分辨率重建方法，其特征在于，所述前向-反向深度可分离卷积多尺度提取块包括卷积核为1x1的空洞卷积分支、卷积核为3x3的空洞卷积分支以及卷积核为5x5的空洞卷积分支；
所述前向-反向深度可分离卷积多尺度提取块从三路进行特征提取，包括：
对于卷积核为1x1的空洞卷积分支，使用维度大于第二预设值的前向-反向深度可分离卷积块提取特征，通道拆分操作将输入特征分为两路64通道分支；其中一路组卷积提取；另一路组卷积、前向深度可分离卷积层和反向深度可分离卷积层串联而成提取；
对于卷积核为3x3的空洞卷积分支，利用前向-反向深度可分离卷积块提取特征，对于输入特征，先压缩为32通道，再通过1x1卷积、前向深度可分离卷积层、反向深度可分离卷积层和1x1卷积串联而成作为中间提取；在末端，通过concat操作将输入特征与中间提取的特征进行通道聚合，获得保留输入特征与提取后的深层特征的聚合特征；
对于卷积核为5x5的空洞卷积分支，使用维度低于第一预设值的前向-反向深度可分离卷积块提取特征，通道拆分操作将输入特征分为两路32通道分支；其中一路组卷积提取；另一路组卷积、前向深度可分离卷积层和反向深度可分离卷积层串联而成提取。
6.根据权利要求5所述的基于前向-反向可分离自注意力的图像超分辨率重建方法，其特征在于，所述前向-反向多尺度注意力模块从三路进行特征提取，包括：
对于卷积核为5x5的空洞卷积分支，前向-反向深度可分离卷积多尺度提取块与前向-反向特征提取注意力块串联，由通道拆分操作将通道转为c/2，末端concat操作将维度聚合为c，并在通道维度c下进行注意力提取；
对于卷积核为3x3的空洞卷积分支，由通道压缩卷积将通道转为c/2，末端concat操作将维度聚合为c，并在通道维度c下进行注意力提取；
对于卷积核为1x1的空洞卷积分支，前向-反向深度可分离卷积多尺度提取块与前向-反向特征提取注意力块串联，在通道为c下进行两路提取，末端concat操作将维度聚合为2c，通道压缩卷积压缩通道为c，并在通道维度c下进行注意力提取。
7.根据权利要求3所述的基于前向-反向可分离自注意力的图像超分辨率重建方法，其特征在于，所述前向-反向特征提取注意力块依次由全局平均池化层、前向深度可分离层、ReLU激活函数层、反向深度可分离层、通道混洗、最大池化层和Sigmoid激活函数层串联构成。
8.根据权利要求2所述的基于前向-反向可分离自注意力的图像超分辨率重建方法，其特征在于，所述混洗注意力自注意力联合模块由混洗注意力块和自注意力块串联构成；
所述混洗注意力块由平均池化、最大池化、1x1组卷积、通道混洗、1x1逐点卷积和Sigmoid激活函数串联构成；
所述自注意力块包括第一分支、第二分支和第三分支；所述第一分支的值、所述第二分支的值和所述第三分支的值相乘，得到自注意力特征图。
9.根据权利要求1所述的基于前向-反向可分离自注意力的图像超分辨率重建方法，其特征在于，所述前向-反向可分离自注意力网络模型的训练步骤如下：
S1、获取目标数据集，并对所述目标数据集进行预处理；
S2、对所述目标数据集进行k倍下采样处理，获得对应的低分辨率图像数据集；
S3、将所述目标数据集裁剪成多个kH×kW大小的第一图像块，将所述低分辨率图像数据集裁剪成多个H×W大小的第二图像块；
S4、将所述第二图像块作为输入，将与所述第二图像块的图像位置相对应的第一图像块作为输出，来训练低分辨率图像数据集；
所述低分辨率图像数据集中所需的网络参数包括前向-反向可分离自注意力网络中深度卷积核、逐点卷积核、步长、填充值，前向-反向可分离自注意力的块数；
S5、基于训练完成的所述低分辨率图像数据集，来训练基于前向-反向可分离自注意力网络，生成前向-反向可分离自注意力网络模型。
10.根据权利要求1所述的基于前向-反向可分离自注意力的图像超分辨率重建方法，其特征在于，使用峰值信噪比和结构相似度作为客观评价指标，对所述自注意力网络模型的重建性能进行评价。
CN202311290723.5A 2023-10-08 基于前向-反向可分离自注意力的图像超分辨率重建方法 Active CN117132472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311290723.5A CN117132472B (zh) 2023-10-08 基于前向-反向可分离自注意力的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311290723.5A CN117132472B (zh) 2023-10-08 基于前向-反向可分离自注意力的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN117132472A true CN117132472A (zh) 2023-11-28
CN117132472B CN117132472B (zh) 2024-05-31

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117708706A (zh) * 2024-02-06 2024-03-15 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种端到端特征增强与选择的乳腺肿瘤分类方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
WO2020056791A1 (zh) * 2018-09-21 2020-03-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution
CN112734646A (zh) * 2021-01-19 2021-04-30 青岛大学 一种基于特征通道划分的图像超分辨率重建方法
CN113096017A (zh) * 2021-04-14 2021-07-09 南京林业大学 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN113160047A (zh) * 2020-11-23 2021-07-23 南京邮电大学 一种基于多尺度通道注意力机制的单幅图像超分辨率方法
CN115063297A (zh) * 2022-06-30 2022-09-16 中国人民解放军战略支援部队信息工程大学 基于参数重构的图像超分辨率重建方法及系统
CN115222601A (zh) * 2022-08-06 2022-10-21 福州大学 基于残差混合注意力网络的图像超分辨率重建模型及方法
WO2022241995A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉图像增强的生成方法、系统、装置及存储介质
CN115546032A (zh) * 2022-12-01 2022-12-30 泉州市蓝领物联科技有限公司 一种基于特征融合与注意力机制的单帧图像超分辨率方法
WO2023010831A1 (zh) * 2021-08-03 2023-02-09 长沙理工大学 提高图像分辨率的方法、系统、装置及存储介质
WO2023040108A1 (zh) * 2021-09-14 2023-03-23 浙江师范大学 一种图像超分辨率放大模型及其方法
CN116071243A (zh) * 2023-03-27 2023-05-05 江西师范大学 一种基于边缘增强的红外图像超分辨率重建方法
CN116152062A (zh) * 2022-12-26 2023-05-23 重庆大学 一种轻量化超分辨率重建方法
CN116797456A (zh) * 2023-05-12 2023-09-22 苏州大学 图像超分辨率重建方法、系统、设备和存储介质
CN116843780A (zh) * 2023-06-07 2023-10-03 福建工程学院 多尺度融合注意力残差密集网络的胎儿脑mr图像重建方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020056791A1 (zh) * 2018-09-21 2020-03-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution
CN113160047A (zh) * 2020-11-23 2021-07-23 南京邮电大学 一种基于多尺度通道注意力机制的单幅图像超分辨率方法
CN112734646A (zh) * 2021-01-19 2021-04-30 青岛大学 一种基于特征通道划分的图像超分辨率重建方法
CN113096017A (zh) * 2021-04-14 2021-07-09 南京林业大学 基于深度坐标注意力网络模型的图像超分辨率重建方法
WO2022241995A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉图像增强的生成方法、系统、装置及存储介质
WO2023010831A1 (zh) * 2021-08-03 2023-02-09 长沙理工大学 提高图像分辨率的方法、系统、装置及存储介质
WO2023040108A1 (zh) * 2021-09-14 2023-03-23 浙江师范大学 一种图像超分辨率放大模型及其方法
CN115063297A (zh) * 2022-06-30 2022-09-16 中国人民解放军战略支援部队信息工程大学 基于参数重构的图像超分辨率重建方法及系统
CN115222601A (zh) * 2022-08-06 2022-10-21 福州大学 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN115546032A (zh) * 2022-12-01 2022-12-30 泉州市蓝领物联科技有限公司 一种基于特征融合与注意力机制的单帧图像超分辨率方法
CN116152062A (zh) * 2022-12-26 2023-05-23 重庆大学 一种轻量化超分辨率重建方法
CN116071243A (zh) * 2023-03-27 2023-05-05 江西师范大学 一种基于边缘增强的红外图像超分辨率重建方法
CN116797456A (zh) * 2023-05-12 2023-09-22 苏州大学 图像超分辨率重建方法、系统、设备和存储介质
CN116843780A (zh) * 2023-06-07 2023-10-03 福建工程学院 多尺度融合注意力残差密集网络的胎儿脑mr图像重建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
WEI ZHANG ET AL: "Lightweight single-image super-resolution via multi-scale feature fusion CNN andmultiple attention block", VIS COMPUT, vol. 39, 22 July 2023 (2023-07-22), pages 3519 - 3531 *
XIAOQIANG ZHAO ET AL: "Feature Compensated Adaptive Fusion Shuffle Network for Image Super-Resolution Reconstruction", RESEARCH SQUARE, 3 January 2023 (2023-01-03), pages 1 - 25 *
宋昭漾等: "基于多级连续编码与解码的图像超分辨率重建算法", 浙江大学学报(工学版), vol. 57, no. 9, 30 September 2023 (2023-09-30), pages 1885 - 1893 *
杨勇;吴峥;张东阳;刘家祥;: "基于渐进式特征增强网络的超分辨率重建算法", 信号处理, no. 09, 31 December 2020 (2020-12-31), pages 226 - 234 *
欧阳宁;韦羽;林乐平;: "结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法", 计算机应用, no. 10, 31 December 2020 (2020-12-31), pages 259 - 265 *
陈伟杰等: "层次信息自适应聚合的图像超分辨率重建算法", 计算机工程与应用, 15 March 2023 (2023-03-15), pages 1 - 13 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117708706A (zh) * 2024-02-06 2024-03-15 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种端到端特征增强与选择的乳腺肿瘤分类方法及系统
CN117708706B (zh) * 2024-02-06 2024-05-28 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种端到端特征增强与选择的乳腺肿瘤分类方法及系统

Similar Documents

Publication Publication Date Title
CN111047515B (zh) 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN111754403B (zh) 一种基于残差学习的图像超分辨率重构方法
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN111127325B (zh) 基于循环神经网络的卫星视频超分辨率重建方法及系统
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
Luo et al. Lattice network for lightweight image restoration
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN112699844B (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN115880158B (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN114463183A (zh) 基于频域和空域的图像超分辨率方法
CN110570351A (zh) 一种基于卷积稀疏编码的图像超分辨率重建方法
CN111861886A (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN109615576B (zh) 基于级联回归基学习的单帧图像超分辨重建方法
CN112819705B (zh) 一种基于网状结构与长距离相关性的真实图像去噪方法
CN117132472B (zh) 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN116797541A (zh) 一种基于Transformer的肺部CT图像超分辨率重建方法
CN117132472A (zh) 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN113205005B (zh) 一种面向低光照低分辨率的人脸图像幻构方法
CN113298719B (zh) 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法
CN112907456B (zh) 基于全局平滑约束先验模型的深度神经网络图像去噪方法
CN114219738A (zh) 单幅图像多尺度超分辨重建网络结构及方法
CN113269702A (zh) 基于跨尺度特征融合的低曝光静脉图像增强方法
CN111951177B (zh) 一种基于图像超分辨损失函数的红外图像细节增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant