CN111681166A - 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 - Google Patents

一种堆叠注意力机制编解码单元的图像超分辨率重建方法 Download PDF

Info

Publication number
CN111681166A
CN111681166A CN202010490621.8A CN202010490621A CN111681166A CN 111681166 A CN111681166 A CN 111681166A CN 202010490621 A CN202010490621 A CN 202010490621A CN 111681166 A CN111681166 A CN 111681166A
Authority
CN
China
Prior art keywords
channel
coding
convolution
sampling
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010490621.8A
Other languages
English (en)
Other versions
CN111681166B (zh
Inventor
苟光磊
刘文星
张太平
冯欣
朱东旭
杨雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202010490621.8A priority Critical patent/CN111681166B/zh
Publication of CN111681166A publication Critical patent/CN111681166A/zh
Application granted granted Critical
Publication of CN111681166B publication Critical patent/CN111681166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明涉及一种堆叠注意力机制编解码单元的图像超分辨率重建方法，具体包括以下步骤：通过将编解码单元作为网络基本单元，由下采样部分、上采样部分和特征融合部分组成；在上下采样的部分中融入通道注意力机制作为改进后的编解码单元来作为改进网络单元，其中向下采样由残差卷积块组成，向上采样由反卷积完成，特征融合是通过通道拼接和通道注意力机制来完成；最终将相同改进后的编解码结构堆叠在一起，组成整体网络的主体部分，使不同编解码结构之间的特征得到更好的融合，经过亚像素卷积层进行上采样，最终得到HR图像。本发明由于编解码结构在图像恢复中的成功表现，可以有效去除图像的噪声，实现对噪声图像进行超分辨率重建。

Description

一种堆叠注意力机制编解码单元的图像超分辨率重建方法
技术领域
本发明涉及图像超分辨率重建方法的技术领域，特别涉及一种堆叠注意力机制编解码单元的图像超分辨率重建方法。
背景技术
随着人类社会科技的发展，社会生活的很多领域对图像的质量要求不断提高。然而由于图像采集设备的限制，初始采集到的图像的质量往往达不到要求。于是图像超分辨率重建就应迎而生，图像超分辨率重建就是利用低分辨率(low resolution，LR)图像来重建高质量、高分辨率(high resolution，HR)图像，高分辨率图像相较于低分辨率图片拥有更多的纹理和细节信息。因此在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。
超分辨率重建技术分为多图像超分辨重建和单图像超分辨率重建，多图像超分辨重建是指利用多幅低分辨率图像来重建高分辨率图像，而单图像超分辨率重建是指仅利用一张低分辨率图像来实现高分辨图像的重建。随着深度学习的发展，更加实用的单图像超分辨重建受到了更多的关注。
超分辨率重建是一个典型的病态逆问题，其利用较少的已知信息去恢复较多的信息，这意味着一个低分辨率图像存在多个高清图像的解，怎样得到更贴近真实高分辨率图像，是我们关注的主要问题。现阶段超分辨率技术大致分以下几类：基于重建的方法，例如迭代反投影[1],、凸集投影法；基于插值的方法，例如双线性插值法，双三次插值法；基于统计学方法，例如最大似然算法，最大后验概率法；基于嵌入的方法，局部线性嵌入法，最小二乘法嵌入；基于学习的方法，稀疏表示深度学习。最近几年，深度学习技术在计算机视觉领域取得了重大的进展，很多关键性技术都应用到了超分辨率领域同时也取得了巨大的成功，相较于其他类型的方法，基于深度学习方法的超分辨率重建技术拥有端到端形式、重建效果好等优点，逐渐成为超分辨率重建领域研究重点。
近年来，许多基于深度学习的超分辨率重建方法相继被提出，均取得了很好的结果，其中代表性的方法有：2014年Chao Dong等人提出了超分辨率深度卷积网络SRCNN(Super-Resolution Convolutional Neural Network)，这是深度学习超分辨率的开山之作，简单的堆叠三层卷积层(Conv3×3+Relu)，端到端地学习从LR图像到HR图像的映射关系，并且在当时显著地提高超分辨重建的精度。随后的Kim等人，2016年提出VDSR方法来实现超分辨重建，其通过残差网络来学习HR图像和LR图像之间的高频部分残差，然后将学习到的残差与LR图像插值后的图像相加得到最终的HR图像，与SRCNN相比，VDSR使用了更深的网络(20层)。DRCN首次采用循环神经网络来实现超分辨率重建，同样地使用了更深的网络结构，因此效果相较SRCNN有显著提升。LapSRN(Lai W S,等，2017)是另一个有代表性的基于深度学习网络超分辨率重建方法，其通过逐步上采样，逐级预测残差的方式，在做高倍上采样时，也能得到中间低倍上采样结果的输出。由于尺寸是逐步放大，不是所有的操作都在大尺寸特征上进行，因此速度比较快，取得了不错的结果。SRGAN是一种基于对抗生成网络的超分辨率重建方法，通过引入感知损失(perceptual loss)到损失函数中，使生成图片和目标图片在语义和风格上更相似，使得生成的图像更具真实感。2017年Lim等人提出EDSR[14]来进行图像超分辨率重建，其通过增加网络的深度和宽度来提高重建的精度，网路的层数达到了160层。2018年Yulun Zhang等人通过深打400多层的网络以及引入注意力机制提出了RCAN[15]方法来进行超分辨率重建，取得了很好的效果。2018年Haris等人提出了一种不断迭代地进行增采样和降采样的网络，为每个阶段的映射错误提供错误反馈机制,通过迭代反投影构建了相互连接的上采样和下采样阶段，每个阶段代表不同类型的图像退化和HR分量的DBPN(Deep Back-Projection Networks)方法。RDN[17]方法(Zhang Y等，2018)是一种新的残差密集网络来执行超分辨率重建，其通过密集连接卷积层提取丰富的局部特征，取得了良好的效果。
从上述基于深度学习的超分辨率重建研究中可以发现，为了获得更好的重建精度，深度网络结构越来越深，虽然网络的深度增加可以提升重建质量，但是更深的网络解结构导致参数量和计算量的增加，从而使得网络训练收敛困难和测试时间长的问题，在实际应用中这显然是低性价比的策略，受计算资源，内存空间等限制，通过增加网络深度来提升重建精度的做法实用价值比较小。因此如何搭建具有合适深度和参数量以及易于训练的超分辨率重建网络成为了面向实际应用的研究重点，而目前均为解决。
发明内容
针对现有技术存在的上述问题，本发明的要解决的技术问题是：
1、以编解码结构为网络基本单元，编解码结构采用下采样减少网络前向推理时间，采用反卷积上采样和多尺度特征融合提升特征，保证更高效地提取特征，堆叠多个的编解码模块，通过反复的下上更深地采样去挖掘LR-HR之间的映射关系，通过实验找到合适的堆叠数量，可以控制网络的深度，保证网络地高效利用，即在减少计算资源的同时也可以提高重建精度。
2、在编解码结构中采用通道注意力机制，注重高频信息丰富的通道，进而更好地恢复HR图像的细节部分，提升重建精度。不同的编解码结构间采用模块间密集连接，使得每个模块的输入不只是前面模块的输出特征而是采用前面所有模块的输出特征的融合，在模块组之间也考虑到特征间的融合，不仅能够增加特征提取的效率，而且也能在反向传播的时候保证每一个模块的梯度都与后面所有模块的输出有关，这样的设计便于训练网络，防止高频信息的丢失。
3、由于编解码结构在图像恢复中的成功表现，可以有效去除图像的噪声，因此本文提出的超分辨率重建方法可以对噪声图像进行超分辨率重建。
本发明公开了一种堆叠注意力机制编解码单元的图像超分辨率重建方法，具体包括以下步骤：
S1、通过将编解码单元作为网络基本单元，然后由下采样部分、上采样部分和特征融合部分组成；
S2、在上下采样的部分中融入通道注意力机制作为改进后的编解码单元来作为改进网络单元，其中向下采样由残差卷积块组成，向上采样由反卷积完成，特征融合是通过通道拼接和通道注意力机制来完成；
S3、最终将相同改进后的编解码结构堆叠在一起，组成整体网络的主体部分，同时模块间再采用密集连接的方式，使不同编解码结构之间的特征得到更好的融合，最后经过亚像素卷积层进行上采样，最终得到HR图像。
作为优选，在步骤S1中的编解码单元是由多个编解码模块串行组合连接形成的。
作为优选，在步骤S2中的残差卷积块是采用残差学习来实现的，其通过将学习输出减输入的残差函数来获得，具体公式如下：
y＝F(x,{ωi})+x,其中F＝ω2σ(ω1x) (1)
上述的公式中F()表示超分辨率重建过程中需要拟合的重建函数，σ指代Relu，而Relu代表的是非线性激活函数，使拟合函数具有非线性性而不是单纯的线性拟合，ω1,ω2是通过训练得到的两个串行连接的卷积层的卷积核参数，x代表的是上一层卷积的输出，具体指的是特征图，x不仅作为本层卷积输入，也作为需要恒等映射的值。
由于随着网络的加深，反而会出现模型退化的现象，即随着模型的堆叠效果越来越差，而残差学习初衷是让模型内部结构拥有恒等映射的能力，保证在堆叠网络的过程中，最终保证网络不会因为继续地堆叠而产生退化。
作为优选，在步骤S2中的通道注意力机制，其主要由以下几个部分组成，压缩特征的全局平均池化层HGP获取空间上的全局信息，1×1卷积WD进行通道间的特征的压缩，1×1卷积WU进行通道扩张，最后使用Sigmoid激活层的0到1数值来反映每个通道的权重，并重新调整原始输入每个通道的信息分配,通道注意力的公式如下:
Figure BDA0002520944630000041
其中：S表示全局平均池化的操作，H和W分别是特征图的高度和宽度，XC表示按通道对特征图求平均值，c为特征图的通道数,i，j代表的是特征图的第i行和第j列；
Ac(xc)＝σS(WUσR(WDS(x)))*x (3)
Ac表示通道注意力的过程，其中σS是Sigmoid激活层(如何获取)，σR是Relu激活层的固定非线性函数，WD是1×1卷积用于通道压缩，WU是通道扩张，X代表的是特征图。
而注意力机制可以被看作为对资源分配的处理，在深度神经网络有着广泛的应用，因此本结构增加通道注意力可以帮助网络获得选择通道信息的能力，也可为特征重校准。
由于密集连接的思想已被证实能大大减轻梯度消失的问题，核心思想是保证网络层间最大程度的信息传输，所以每一层的输入是将之前所有层的输出连接起来，之后将自己的输出传递给之后的所有层，密集连接是跳跃连接思路的拓展，它鼓励特征的复用，加强了特征的传递，更加有效地利用了特征。Muhammad Haris等人提出的深度反投影网络(DPBN)也在超分辨率领域使用了密集连接的思想，在反复迭代的上下采样过程中，建立特征间的密集连接，达到不同迭代阶段间的特征复用。
为了高效地进行超分辨率重建，本文设计编解码单元，编解码单元由下采样部分、上采样部分和特征融合部分组成，在上下采样的部分融入通道注意力机制。优点如下：第一，使用下采样结构使得我们可以提取图像的多尺度特征，使用通道注意力机制使网络更关注图像高频重建的部分，细化提取特征；第二，在下采样层和上采样层之间使用了直接连接使多尺度特征得到充分融合和利用；第三，在上采样同样使用通道注意力细化重建效果，从而得到效果更佳的超分图像，作为优选，在步骤S2中的下采样部分的具体步骤如下：采用局部残差注意力模块来实现，在两个3*3卷积后添加通道注意力，增加对通道的信息的权重分配能力，同事由于众所周知，LR图像含有大量的低频信息和部分有价值的高频信息。每个卷积滤波器提取信息量不同，于是每个特征图的通道含有不同的高低频分量信息。通过通道注意力机制增加高频分量的通道的权重会提高重建效果，最终经过对比实验，在相同网络结构(EDSR)的条件下，使用局部残差注意力模块替代所有的残差块，在测试下PSNR(PSNR全名为峰值信噪比，是图像质量的评价指标，越高表示图像质量越好，这里表示重建效果更好)由38.11提升至38.14，由此可证明局部残差注意力模块的可行性。
作为优选，在步骤S2中的上采样部分的具体步骤如下:同样采用通道注意力机制，首先按通道连接的方式将下采样阶段的特征Si和Fi+1上采样的特征进行融合得到[Si,Fi+1]，然后使用1*1卷积融合通道间特征并压缩通道得到Ft，接着通过反卷积Deconv实现上采样得到Fup，最后使用通道注意力CA细化上采样结果得到Fi；其中：Si代指encoder过程中每个阶段最后一层的特征，作为横向连接的特征，Fi+1代指decoder过程中的需要上采样的前一层特征，[Si,Fi+1]是按通道拼接的结果，F是通道压缩后的结果，压缩为网络设定的特征宽度64，Fup是上采样结果，特征图分辨率是此前的一倍，Deconv是反卷积，CA是通道注意力机制过程，Fi是最后得到的上采样结果，这个部分使用反卷积层代替传统双线性插值的方法，反卷积又被成为转置卷积，反卷积可以视为卷积的逆操作。如果直接在像素域进行手工设计的上采样方式，上采样时往往会忽略很多重建的重要信息，不同于传统的双线性插值的方法，它具有自主学习的反卷积核，更加适合特征图的不同区域，重建效果更好，而且反卷积直接应用在网络中，是得整个重建网络形成一个端到端的学习过程。
为了得到高质量的超分辨率重建结果，我们需要适当增加网络的深度，本文通过堆叠多个相同编解码单元，多个编解码单元之间通过密集链接实现特征的复用，提高特征的利用率。DenseNet提出了密集连接的思想，主要是将当前卷积之前所有卷积的输出按通道连接在一起(concatenate)作为当前卷积的输入。这样的做法好处第一是使所有卷积都两两连接，在反向传播的时候每一层都会接受后面所有层的梯度信号，所以会大为减少梯度消失的问题；第二是提高了特征的复用性，更加高效的利用了特征，在步骤S3中如何进行密集的方式是：每一层的输入是将之前所有层的输出连接起来，之后将自己的输出传递给之后的所有层。
为了得到高质量的超分辨率重建结果，我们需要适当增加网络的深度，本文通过堆叠多个相同编解码单元，多个编解码单元之间通过密集链接实现特征的复用，提高特征的利用率。DenseNet提出了密集连接的思想，主要是将当前卷积之前所有卷积的输出按通道连接在一起(concatenate)作为当前卷积的输入。这样的做法好处第一是使所有卷积都两两连接，在反向传播的时候每一层都会接受后面所有层的梯度信号，所以会大为减少梯度消失的问题；第二是提高了特征的复用性，更加高效的利用了特征，作为优选，在步骤S3中的密集连接的具体方法如下：将当前卷积之前的所有卷积的输出按通道连接在一起作为当前卷积的输入来构成密集连接的过程，即第i层的输入是之前所有层特征的拼接作为输入：xi＝Fi([x0,x1,...,xi-1])：其中Xi为第i层的输入，Fi为第i层的卷积操作。需要说明的是如果每层卷积都是使用密集连接，考虑到超分辨率网络普遍比较深，累加的特征会使整个超分辨率网络变得过于庞大，训练和测试的速度都大幅降低，因此本结构将每个编解码单元看为一个整体，通过单元间的特征密集连接，把多个堆叠的沙漏模块连接起来，如图6所示，增加了模块间的特征复用，提高了特征提取效率。通过编解码单元以及多个单元的堆叠，使整体网络呈现出对低分辨率图像反复地上下采样，模拟HR-LR的退化过程，能够提取更深层次的LR-HR的映射关系，挖掘更多的有效重建信息。在不同的单元间采用密集连接的方式，解决了堆叠多个单元引起的网络过深导致训练不充分的问题，并增加特征的复用，可以在不增加参数的情况下提升重建精度。
本发明得到的一种堆叠注意力机制编解码单元的图像超分辨率重建方法的优点：
1、以编解码结构为网络基本单元，编解码结构采用下采样减少网络前向推理时间，采用反卷积上采样和多尺度特征融合提升特征，保证更高效地提取特征，堆叠多个的编解码模块，通过反复的下上更深地采样去挖掘LR-HR之间的映射关系，通过实验找到合适的堆叠数量，可以控制网络的深度，保证网络地高效利用，即在减少计算资源的同时也可以提高重建精度。
2、在编解码结构中采用通道注意力机制，注重高频信息丰富的通道，进而更好地恢复HR图像的细节部分，提升重建精度。不同的编解码结构间采用模块间密集连接，使得每个模块的输入不只是前面模块的输出特征而是采用前面所有模块的输出特征的融合，在模块组之间也考虑到特征间的融合，不仅能够增加特征提取的效率，而且也能在反向传播的时候保证每一个模块的梯度都与后面所有模块的输出有关，这样的设计便于训练网络，防止高频信息的丢失。
3、由于编解码结构在图像恢复中的成功表现，可以有效去除图像的噪声，因此本文提出的超分辨率重建方法可以对噪声图像进行超分辨率重建。
附图说明
图1为本实施例中编解码模块示意图；
图2为本实施例中通道注意力模块示意图；
图3为本实施例中整体的网络结构示意图；
图4为本实施例中局部残差注意力模块示意图；
图5为本实施例中上采样注意力机制示意图；
图6为本实施例中单元模块间密集连接示意图；
图7为本实施例中Urban100(×2)数据集的超分辨图像局部视觉效果比较示意图；
图8为本实施例中Urban100(×2)数据集的超分辨图像局部视觉效果比较示意图；
图9为噪声图像的超分辨结果比较图。
具体实施方式
下面对本发明作进一步详细说明。
实施例1：
参见图1-图6，本实施例公开了一种堆叠注意力机制编解码单元的图像超分辨率重建方法，具体包括以下步骤：
S1、通过将编解码单元作为网络基本单元，然后由下采样部分、上采样部分和特征融合部分组成；
S2、在上下采样的部分中融入通道注意力机制作为改进后的编解码单元来作为改进网络单元，其中向下采样由残差卷积块组成，向上采样由反卷积完成，特征融合是通过通道拼接和通道注意力机制来完成；
S3、最终将相同改进后的编解码结构堆叠在一起，组成整体网络的主体部分，同时模块间再采用密集连接的方式，使不同编解码结构之间的特征得到更好的融合，最后经过亚像素卷积层进行上采样，最终得到HR图像。
作为优选，在步骤S1中的编解码单元是由多个编解码模块串行组合连接形成的。
作为优选，在步骤S2中的残差卷积块是采用残差学习来实现的，其通过将学习输出减输入的残差函数来获得，具体公式如下：
y＝F(x,{ωi})+x,其中F＝ω2σ(ω1x) (1)
上述的公式中F()表示超分辨率重建过程中需要拟合的重建函数，σ指代Relu，而Relu代表的是非线性激活函数，使拟合函数具有非线性性而不是单纯的线性拟合，ω1,ω2是通过训练得到的两个串行连接的卷积层的卷积核参数，x代表的是上一层卷积的输出，具体指的是特征图，x不仅作为本层卷积输入，也作为需要恒等映射的值。
由于随着网络的加深，反而会出现模型退化的现象，即随着模型的堆叠效果越来越差，而残差学习初衷是让模型内部结构拥有恒等映射的能力，保证在堆叠网络的过程中，最终保证网络不会因为继续地堆叠而产生退化。
作为优选，在步骤S2中的通道注意力机制，其主要由以下几个部分组成，压缩特征的全局平均池化层HGP获取空间上的全局信息，1×1卷积WD进行通道间的特征的压缩，1×1卷积WU进行通道扩张，最后使用Sigmoid激活层的0到1数值来反映每个通道的权重，并重新调整原始输入每个通道的信息分配,通道注意力的公式如下:
Figure BDA0002520944630000071
其中：S表示全局平均池化的操作，H和W分别是特征图的高度和宽度，XC表示按通道对特征图求平均值，c为特征图的通道数,i，j代表的是特征图的第i行和第j列；
Ac(xc)＝σS(WUσR(WDS(x)))*x (3)
其中：Ac表示通道注意力的过程，其中σS是Sigmoid激活层(如何获取)，σR是Relu激活层的固定非线性函数，WD是1×1卷积用于通道压缩，WU是通道扩张，X代表的是特征图。
而注意力机制可以被看作为对资源分配的处理，在深度神经网络有着广泛的应用，因此本结构增加通道注意力可以帮助网络获得选择通道信息的能力，也可为特征重校准。
作为优选，在步骤S3中如何进行密集的方式是：每一层的输入是将之前所有层的输出连接起来，之后将自己的输出传递给之后的所有层。
由于密集连接的思想已被证实能大大减轻梯度消失的问题，核心思想是保证网络层间最大程度的信息传输，所以每一层的输入是将之前所有层的输出连接起来，之后将自己的输出传递给之后的所有层，密集连接是跳跃连接思路的拓展，它鼓励特征的复用，加强了特征的传递，更加有效地利用了特征。Muhammad Haris等人提出的深度反投影网络(DPBN)也在超分辨率领域使用了密集连接的思想，在反复迭代的上下采样过程中，建立特征间的密集连接，达到不同迭代阶段间的特征复用。
为了高效地进行超分辨率重建，本文设计编解码单元，编解码单元由下采样部分、上采样部分和特征融合部分组成，在上下采样的部分融入通道注意力机制。优点如下：第一，使用下采样结构使得我们可以提取图像的多尺度特征，使用通道注意力机制使网络更关注图像高频重建的部分，细化提取特征；第二，在下采样层和上采样层之间使用了直接连接使多尺度特征得到充分融合和利用；第三，在上采样同样使用通道注意力细化重建效果，从而得到效果更佳的超分图像，作为优选，在步骤S2中的下采样部分的具体步骤如下：采用局部残差注意力模块来实现，在两个3*3卷积后添加通道注意力，增加对通道的信息的权重分配能力，同事由于众所周知，LR图像含有大量的低频信息和部分有价值的高频信息。每个卷积滤波器提取信息量不同，于是每个特征图的通道含有不同的高低频分量信息。通过通道注意力机制增加高频分量的通道的权重会提高重建效果，最终经过对比实验，在相同网络结构(EDSR)的条件下，使用局部残差注意力模块替代所有的残差块，在测试下PSNR(PSNR全名为峰值信噪比，是图像质量的评价指标，越高表示图像质量越好，这里表示重建效果更好)由38.11提升至38.14，由此可证明局部残差注意力模块的可行性。
作为优选，在步骤S2中的上采样部分的具体步骤如下:同样采用通道注意力机制，首先按通道连接的方式将下采样阶段的特征Si和Fi+1上采样的特征进行融合得到[Si,Fi+1]，然后使用1*1卷积融合通道间特征并压缩通道得到Ft，接着通过反卷积Deconv实现上采样得到Fup，最后使用通道注意力CA细化上采样结果得到Fi；其中：Si代指encoder过程中每个阶段最后一层的特征，作为横向连接的特征，Fi+1代指decoder过程中的需要上采样的前一层特征，[Si,Fi+1]是按通道拼接的结果，F是通道压缩后的结果，压缩为网络设定的特征宽度64，Fup是上采样结果，特征图分辨率是此前的一倍，Deconv是反卷积，CA是通道注意力机制过程，Fi是最后得到的上采样结果，这个部分使用反卷积层代替传统双线性插值的方法，反卷积又被成为转置卷积，反卷积可以视为卷积的逆操作。如果直接在像素域进行手工设计的上采样方式，上采样时往往会忽略很多重建的重要信息，不同于传统的双线性插值的方法，它具有自主学习的反卷积核，更加适合特征图的不同区域，重建效果更好，而且反卷积直接应用在网络中，是得整个重建网络形成一个端到端的学习过程。
为了得到高质量的超分辨率重建结果，我们需要适当增加网络的深度，本文通过堆叠多个相同编解码单元，多个编解码单元之间通过密集链接实现特征的复用，提高特征的利用率。DenseNet提出了密集连接的思想，主要是将当前卷积之前所有卷积的输出按通道连接在一起(concatenate)作为当前卷积的输入。这样的做法好处第一是使所有卷积都两两连接，在反向传播的时候每一层都会接受后面所有层的梯度信号，所以会大为减少梯度消失的问题；第二是提高了特征的复用性，更加高效的利用了特征，在步骤S3中如何进行密集的方式是：每一层的输入是将之前所有层的输出连接起来，之后将自己的输出传递给之后的所有层。
为了得到高质量的超分辨率重建结果，我们需要适当增加网络的深度，本文通过堆叠多个相同编解码单元，多个编解码单元之间通过密集链接实现特征的复用，提高特征的利用率。DenseNet提出了密集连接的思想，主要是将当前卷积之前所有卷积的输出按通道连接在一起(concatenate)作为当前卷积的输入。这样的做法好处第一是使所有卷积都两两连接，在反向传播的时候每一层都会接受后面所有层的梯度信号，所以会大为减少梯度消失的问题；第二是提高了特征的复用性，更加高效的利用了特征，作为优选，在步骤S3中的密集连接的具体方法如下：将当前卷积之前的所有卷积的输出按通道连接在一起作为当前卷积的输入来构成密集连接的过程，即第i层的输入是之前所有层特征的拼接作为输入：xi＝Fi([x0,x1,...,xi-1])：其中Xi为第i层的输入，Fi为第i层的卷积操作，需要说明的是如果每层卷积都是使用密集连接，考虑到超分辨率网络普遍比较深，累加的特征会使整个超分辨率网络变得过于庞大，训练和测试的速度都大幅降低，因此本结构将每个编解码单元看为一个整体，通过单元间的特征密集连接，把多个堆叠的沙漏模块连接起来，如图6所示，增加了模块间的特征复用，提高了特征提取效率。通过编解码单元以及多个单元的堆叠，使整体网络呈现出对低分辨率图像反复地上下采样，模拟HR-LR的退化过程，能够提取更深层次的LR-HR的映射关系，挖掘更多的有效重建信息。在不同的单元间采用密集连接的方式，解决了堆叠多个单元引起的网络过深导致训练不充分的问题，并增加特征的复用，可以在不增加参数的情况下提升重建精度。
在本实施例中涉及到的其他英文数字均属于常规技术，故此不做具体描述。
实验证明与分析：
1、实验环境：
本实验操作系统采样Ubuntu16.04LTS，使用PyTorch作为深度学习框架完成实验代码，测试时使用Matlab计算峰值信噪比(PSNR)和结构相似性(SSIM),电脑硬件配置如:CPU是Inter(R)Core(TM)i7-9700k@3.60GHz,GPU是NVDIA Geforce 2080ti,内存32G硬盘,SSD 512G。
2、实验设置：
数据集:DIV2K是2017年Ntire图像超分辨率挑战赛的公开数据集，包含了场景各异的1000张2k分辨率的高质量图像，前800张为训练集、801-900为验证集、901-1000为测试集，我们使用DIV2K的训练集。本实施例使用4个基准数据集作为测试集：Set5、Set14、B100、Urban100。Set5、Set14、B100分别包含5、14、100张自然图片，Urban100是100张城市场景图片，相较于前三个基准数据集Urban100的场景更复杂、重建难度更高。
验证标准：将超分率图像转换到YcbCr颜色空间，测试亮度(Y)通道上的PSNR和SSIM，设原高分辨率图像I，重建图像
Figure BDA0002520944630000101
图像长宽为m×n，相应的PSNR和SSIM计算公式如下:
PSNR＝10×lg(2552/MSE) (4)
公式(4)中，MSE指的是平均均方误差(MeanSquareError)，公式如下：
Figure BDA0002520944630000102
由公式(5)可以看出，MSE的值越小，PSNR的值越大，这说明重建效果越好。
Figure BDA0002520944630000103
其中，PSNR全名为峰值信噪比，是图像质量的评价指标，越高表示图像质量越好，这里表示重建效果更好；SSIM全名为结构相似性，是衡量两幅图像相似度的评价指标,这里可以用来评估超分辨率重建的效果；
公式(6)中μI表示原高分辨率图像的平均灰度值，σI表示原高清分辨率图像的灰度值方差，
Figure BDA0002520944630000104
和
Figure BDA0002520944630000105
同理，分别表示重建图像的灰度平均值和方差。
Figure BDA0002520944630000106
表示原图像与重建图像的协方差,与PSNR相同，SSIM值越大，结构相似性越高，重建效果越好。
3、训练设置
选用48×48的子图像块作为训练样本，为保证图像块纹理的多样性，在训练过程的动态的制作训练样本对。针对放大因子为n的任务，在原始高分辨率图像上随机选取n×48的长宽作为真实样本，再使用双三次插值下采样得到相对应的低分辨率图像，从而形成训练样本对。为了充分利用数据集，增加模型的鲁棒性和泛化能力，对训练样本对按0.5的概率进行数据增强，具体的增强方式有90度、180度、270度、水平和竖直翻转。
使用PyTorch框架实现网络的编写并训练模型，过程中我们使用Adam优化器，β1和β2按默认设置为0.9和0.999，ε设为10-8，学习率初始设为10-4，权重衰减设为0，batchsize设置为16，每间隔2×105个反向传播迭代学习率减半，最终106个迭代完成训练。
训练中，编解码单元数量设置为6，每个模块分为4个不同大小的特征图阶段，每个阶段的残差注意力模块数量分辨为[10,5,3,2],与普通Encoder-Decoder单元不同的是下采样不增加网络宽度,整体网络的滤波器数量统一设置为64。
测试时，可以输入任意尺寸的图像，由于沙漏网络会经历三次上下采样，下采样会使特征图长宽缩小为原来的1/2，无法整除的特征图长宽会向下取整，但在上采样过程会存在特征图尺度不统一的问题，所以在输入图像前对长宽大小预先检查，在图像右侧和下侧进行补齐，将其大小补齐为能被8整除的最小整数。
实验细节:训练×2放大因子的任务，直接重新训练，使用He等提出的Kaiming权重初始化方法；反卷积层使用均值为0，标准差为0.001的高斯分布随机初始化。训练×4,×8的任务时，直接使用2任务的权重初始化，并进行微调，不仅在收敛速度上比重新训练要快，而且精度上也有一定提升。
4、实验结果
本实验在Set5、Set14、B100，Urban100上进行基准测试，由表1和表2中所示，本实施例方法与Bicubic、SRCNN、FSRCNN、VDSR、LapSRN、EDSR、SRMDF、D-DBPN、RDN，9种方法进行定性和定量比较。这些对比方法的测试均由公开模型或者公开代码训练模型测试得到，在实验过程中测试了2倍和4倍的重建，以PSNR和SSIM的角度对实验结果进行客观的评估。
首先将本实施例方法与其他多种方法进行定性比较，为了方便观察放大了相同的局部区域。Urban100数据集图像内容以城市建筑为主，图片纹理以有规则的结构为主，如图7画框区域中钢筋按x型排布，图8画框区域中地砖按菱形排布。
图7是以Urban100中img002图片为例放大2倍的结果，从图中可以看出，除了EDSR、RDN和本文方法以外，重建的效果从视觉上看比较模糊，在细节方面本文方法在钢筋边缘条纹平行、间隙明显、与之前的方法相比重建效果更好。
图8是以Urban100中img016为例放大4倍的结果，其他方法与本文方法在视觉上看来更为模糊，模糊主要体现在地砖细节纹理的重建上其他方法会使地面光滑从而看不出具体的地砖纹理，而本文方法以堆叠金字塔为主体结构的网络，考虑了多个分辨率层次的特征重建，在局部分小区域的重建上效果更佳，使得重建区域的边缘锐度和整体的清晰度有了较大改善。
表1 ×2任务不同方法超分辨率结果的PSNR和SSIM数值对比图
Figure BDA0002520944630000111
Figure BDA0002520944630000121
表2为不同方法超分辨率结果的PSNR和SSIM数值对比图
Figure BDA0002520944630000122
表1、表2为各个方法在Set5、Set14、B100、Urban100上的定量展示，在放大2倍的任务上，在Set5、Set14、B100上以极低的数值仅次于RDN，但高于EDSR且参数量约为其三分之一；在Urban100的PSNR和SSIM相较其他的方法有较大提升。分析各个测试数据集可以发现，Urban100的图片纹理更为复杂，场景更与真实场景相近，所以本文方法在复杂真实的场景下更有优势。
表2为各个方法放大4倍的效果展示，如表所示，本文方法在4个基准测试集上均为最高，这也证明了我们具有上下采样的金字塔结构对大倍数的超分辨率任务效果更好，整体效果更接近真实的高分辨率图像。综上所述，本文方法的整体重建效果优于其他对比算法。
本文提出的堆叠编解码结构的超分辨率网络，在处理噪声图像超分辨重建时是更有优势的，因此我们进行了含噪图像的超分辨重建实验，由于训练时间的关系，在此实验中，我们仅与前面实验中效果较好的RDN方法进行了比较。
表3为本文方法与RDN方法在含噪图像超分辨率结果的PSNR和SSIM数值对比
Figure BDA0002520944630000131
图9显示了含噪图像超分辨率重建效果对比图，可以看出本文算法重建的结果更为平滑，视觉效果更好。从表3所列定量结果可以看出虽然RDN引入了Residual Block和Dense Block结合的高效卷积，但是引入了编解码结构的本文算法，在超分任务中有噪声的情况效果更佳优秀。
因此通过上述方法实现本发明针对超分辨率重建网络变得越来越深,从而导致网络参数量大、前向推理时间长、训练较难收敛的问题。本文提出一种基于堆叠融合了注意力机制的编解码的图像超分辨率重建方法，该网络通过编解码单元反复的由底至上由顶至下，融合不同尺度的特征，提高重建的性能，同时利用密集连接的形式融合不同编解码单元之间的特征，提高特征的复用也能降低训练难度。此外，由于编解码结构能够有效地去除噪声，因而实施例提出的方法也能够解决含噪图像超分辨重构问题。本实施例的算法与各种SISR算法定性定量比较，结果表明该模型能产生更佳重建效果，尤其在复杂场景、较大倍数、含噪的情况下效果更好。
本发明具有的以下优点：
1、以编解码结构为网络基本单元，编解码结构采用下采样减少网络前向推理时间，采用反卷积上采样和多尺度特征融合提升特征，保证更高效地提取特征，堆叠多个的编解码模块，通过反复的下上更深地采样去挖掘LR-HR之间的映射关系，通过实验找到合适的堆叠数量，可以控制网络的深度，保证网络地高效利用，即在减少计算资源的同时也可以提高重建精度。
2、在编解码结构中采用通道注意力机制，注重高频信息丰富的通道，进而更好地恢复HR图像的细节部分，提升重建精度。不同的编解码结构间采用模块间密集连接，使得每个模块的输入不只是前面模块的输出特征而是采用前面所有模块的输出特征的融合，在模块组之间也考虑到特征间的融合，不仅能够增加特征提取的效率，而且也能在反向传播的时候保证每一个模块的梯度都与后面所有模块的输出有关，这样的设计便于训练网络，防止高频信息的丢失。
3、由于编解码结构在图像恢复中的成功表现，可以有效去除图像的噪声，因此本文提出的超分辨率重建方法可以对噪声图像进行超分辨率重建。

Claims (8)

1.一种堆叠注意力机制编解码单元的图像超分辨率重建方法，其特征在于：具体包括以下步骤：
S1、通过将编解码单元作为网络基本单元，然后由下采样部分、上采样部分和特征融合部分组成；
S2、在上下采样的部分中融入通道注意力机制作为改进后的编解码单元来作为改进网络单元，其中向下采样由残差卷积块组成，向上采样由反卷积完成，特征融合是通过通道拼接和通道注意力机制来完成；
S3、最终将相同改进后的编解码结构堆叠在一起，组成整体网络的主体部分，同时模块间再采用密集连接的方式，使不同编解码结构之间的特征得到更好的融合，最后经过亚像素卷积层进行上采样，最终得到HR图像。
2.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法，其特征在于：在步骤S1中的编解码单元是由多个编解码模块串行组合连接形成的。
3.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法，其特征在于：在步骤S2中的残差卷积块是采用残差学习来实现的，其通过将学习输出减输入的残差函数来获得，具体公式如下：
y＝F(x,{ωi})+x,其中F＝ω2σ(ω1x) (1)
上述的公式中F()表示超分辨率重建过程中需要拟合的重建函数，σ指代Relu，而Relu代表的是非线性激活函数，使拟合函数具有非线性性而不是单纯的线性拟合，ω1,ω2是通过训练得到的两个串行连接的卷积层的卷积核参数，x代表的是上一层卷积的输出，具体指的是特征图，x不仅作为本层卷积输入，也作为需要恒等映射的值。
4.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法，其特征在于：在步骤S2中的通道注意力机制，其主要由以下几个部分组成，压缩特征的全局平均池化层HGP获取空间上的全局信息，1×1卷积WD进行通道间的特征的压缩，1×1卷积WU进行通道扩张，最后使用Sigmoid激活层的0到1数值来反映每个通道的权重，并重新调整原始输入每个通道的信息分配,通道注意力的公式如下:
Figure FDA0002520944620000011
其中：S表示全局平均池化的操作，H和W分别是特征图的高度和宽度，XC表示按通道对特征图求平均值，c为特征图的通道数,i，j代表的是特征图的第i行和第j列；
Ac(xc)＝σS(WUσR(WDS(x)))*x (3)
Ac表示通道注意力的过程，其中σS是Sigmoid激活层(如何获取)，σR是Relu激活层的固定非线性函数，WD是1×1卷积用于通道压缩，WU是通道扩张，X代表的是特征图。
5.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法，其特征在于在步骤S3中如何进行密集的方式是：每一层的输入是将之前所有层的输出连接起来，之后将自己的输出传递给之后的所有层。
6.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法，其特征在于：在步骤S2中的下采样部分的具体步骤如下：采用局部残差注意力模块来实现，在两个3*3卷积后添加通道注意力，增加对通道的信息的权重分配能力。
7.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法，其特征在于在步骤S2中的上采样部分的具体步骤如下:同样采用通道注意力机制，首先按通道连接的方式将下采样阶段的特征Si和Fi+1上采样的特征进行融合得到[Si,Fi+1]，然后使用1*1卷积融合通道间特征并压缩通道得到Ft，接着通过反卷积Deconv实现上采样得到Fup，最后使用通道注意力CA细化上采样结果得到Fi；其中：Si代指encoder过程中每个阶段最后一层的特征，作为横向连接的特征，Fi+1代指decoder过程中的需要上采样的前一层特征，[Si,Fi+1]是按通道拼接的结果，F是通道压缩后的结果，压缩为网络设定的特征宽度64，Fup是上采样结果，特征图分辨率是此前的一倍，Deconv是反卷积，CA是通道注意力机制过程，Fi是最后得到的上采样结果。
8.根据权利要求1所述的一种堆叠注意力机制编解码单元的图像超分辨率重建方法，其特征在于在步骤S3中的密集连接的具体方法如下：将当前卷积之前的所有卷积的输出按通道连接在一起作为当前卷积的输入来构成密集连接的过程，即第i层的输入是之前所有层特征的拼接作为输入：xi＝Fi([x0,x1,…,xi-1])：其中Xi为第i层的输入，Fi为第i层的卷积操作。
CN202010490621.8A 2020-06-02 2020-06-02 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 Active CN111681166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010490621.8A CN111681166B (zh) 2020-06-02 2020-06-02 一种堆叠注意力机制编解码单元的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010490621.8A CN111681166B (zh) 2020-06-02 2020-06-02 一种堆叠注意力机制编解码单元的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN111681166A true CN111681166A (zh) 2020-09-18
CN111681166B CN111681166B (zh) 2023-04-18

Family

ID=72453781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010490621.8A Active CN111681166B (zh) 2020-06-02 2020-06-02 一种堆叠注意力机制编解码单元的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111681166B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580721A (zh) * 2020-12-19 2021-03-30 北京联合大学 一种基于多分辨率特征融合的目标关键点检测方法
CN112801868A (zh) * 2021-01-04 2021-05-14 青岛信芯微电子科技股份有限公司 图像超分辨率重建的方法、电子设备及存储介质
CN112950470A (zh) * 2021-02-26 2021-06-11 南开大学 基于时域特征融合的视频超分辨率重建方法及系统
CN112990053A (zh) * 2021-03-29 2021-06-18 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN113014927A (zh) * 2021-03-02 2021-06-22 三星（中国）半导体有限公司 图像压缩方法和图像压缩装置
CN113660386A (zh) * 2021-07-09 2021-11-16 华南农业大学 一种彩色图像加密压缩与超分重构系统和方法
CN114025198A (zh) * 2021-11-08 2022-02-08 深圳万兴软件有限公司 基于注意力机制的视频卡通化方法、装置、设备及介质
WO2022095253A1 (zh) * 2020-11-04 2022-05-12 常州工学院 一种基于深度通道感知的去除云雾方法
CN114612807A (zh) * 2022-03-17 2022-06-10 盐城工学院 微小目标的特征识别方法、装置、电子设备及存储介质
CN115153588A (zh) * 2022-07-25 2022-10-11 陕西师范大学 融合密集残差和注意力机制的脑电时空去噪方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2525320A1 (en) * 2011-05-19 2012-11-21 Sony Corporation Learning apparatus and method, image processing apparatus and method, program, and recording medium
US20150154739A1 (en) * 2013-11-30 2015-06-04 Sharp Laboratories Of America, Inc. Image enhancement using semantic components
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109886871A (zh) * 2019-01-07 2019-06-14 国家新闻出版广电总局广播科学研究院 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110533591A (zh) * 2019-08-20 2019-12-03 西安电子科技大学 基于编解码器结构的超分辨图像重建方法
US20200034948A1 (en) * 2018-07-27 2020-01-30 Washington University Ml-based methods for pseudo-ct and hr mr image estimation
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111028150A (zh) * 2019-11-28 2020-04-17 武汉大学 一种快速时空残差注意力视频超分辨率重建方法
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2525320A1 (en) * 2011-05-19 2012-11-21 Sony Corporation Learning apparatus and method, image processing apparatus and method, program, and recording medium
US20150154739A1 (en) * 2013-11-30 2015-06-04 Sharp Laboratories Of America, Inc. Image enhancement using semantic components
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
US20200034948A1 (en) * 2018-07-27 2020-01-30 Washington University Ml-based methods for pseudo-ct and hr mr image estimation
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109886871A (zh) * 2019-01-07 2019-06-14 国家新闻出版广电总局广播科学研究院 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110533591A (zh) * 2019-08-20 2019-12-03 西安电子科技大学 基于编解码器结构的超分辨图像重建方法
CN111028150A (zh) * 2019-11-28 2020-04-17 武汉大学 一种快速时空残差注意力视频超分辨率重建方法
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
INGU, KIM; SONGHYUNYU; JEONG, JECHANG: "Single Image Super-Resolution Using CARDB Based on Iterative Up-Down Sampling Architecture", 《JOURNAL OF BROADCAST ENGINEERING》 *
Z. -S. LIU, L. -W. WANG, C. -T. LI, W. -C. SIU AND Y. -L. CHAN: "Image Super-Resolution via Attention Based Back Projection Networks", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW)》 *
刘文星,陈伟,刘渊: "图像四叉树剖分下的自适应数字水印算法", 《网络与信息安全学报》 *
席志红,袁昆鹏: "基于残差通道注意力和多级特征融合的图像超分辨率重建", 《激光与光电子学进展》 *
张贺舒,李涛,宋公飞: "单帧图像的耦合生成式对抗超分辨率重建", 《计算机工程与应用》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095253A1 (zh) * 2020-11-04 2022-05-12 常州工学院 一种基于深度通道感知的去除云雾方法
CN112580721A (zh) * 2020-12-19 2021-03-30 北京联合大学 一种基于多分辨率特征融合的目标关键点检测方法
CN112580721B (zh) * 2020-12-19 2023-10-24 北京联合大学 一种基于多分辨率特征融合的目标关键点检测方法
CN112801868A (zh) * 2021-01-04 2021-05-14 青岛信芯微电子科技股份有限公司 图像超分辨率重建的方法、电子设备及存储介质
CN112801868B (zh) * 2021-01-04 2022-11-11 青岛信芯微电子科技股份有限公司 图像超分辨率重建的方法、电子设备及存储介质
CN112950470A (zh) * 2021-02-26 2021-06-11 南开大学 基于时域特征融合的视频超分辨率重建方法及系统
CN113014927A (zh) * 2021-03-02 2021-06-22 三星（中国）半导体有限公司 图像压缩方法和图像压缩装置
CN113014927B (zh) * 2021-03-02 2024-01-09 三星（中国）半导体有限公司 图像压缩方法和图像压缩装置
CN112990053B (zh) * 2021-03-29 2023-07-25 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112990053A (zh) * 2021-03-29 2021-06-18 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN113660386A (zh) * 2021-07-09 2021-11-16 华南农业大学 一种彩色图像加密压缩与超分重构系统和方法
CN114025198A (zh) * 2021-11-08 2022-02-08 深圳万兴软件有限公司 基于注意力机制的视频卡通化方法、装置、设备及介质
CN114612807A (zh) * 2022-03-17 2022-06-10 盐城工学院 微小目标的特征识别方法、装置、电子设备及存储介质
CN115153588A (zh) * 2022-07-25 2022-10-11 陕西师范大学 融合密集残差和注意力机制的脑电时空去噪方法

Also Published As

Publication number Publication date
CN111681166B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111681166B (zh) 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
Anwar et al. Densely residual laplacian super-resolution
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN109903223B (zh) 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法
CN107240066A (zh) 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN111192200A (zh) 基于融合注意力机制残差网络的图像超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN109509149A (zh) 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN112862689B (zh) 一种图像超分辨率重建方法及系统
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN112288632B (zh) 基于精简esrgan的单图像超分辨率方法及系统
Luo et al. Lattice network for lightweight image restoration
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN112767283A (zh) 一种基于多图像块划分的非均匀图像去雾方法
Li Image super-resolution using attention based densenet with residual deconvolution
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN115526777A (zh) 一种盲超分网络建立方法、盲超分方法及存储介质
CN115880158A (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN113962878B (zh) 一种低能见度图像去雾模型方法
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant