CN113222818A - 一种使用轻量化多通道聚合网络重建超分辨率图像的方法 - Google Patents

一种使用轻量化多通道聚合网络重建超分辨率图像的方法 Download PDF

Info

Publication number
CN113222818A
CN113222818A CN202110538214.4A CN202110538214A CN113222818A CN 113222818 A CN113222818 A CN 113222818A CN 202110538214 A CN202110538214 A CN 202110538214A CN 113222818 A CN113222818 A CN 113222818A
Authority
CN
China
Prior art keywords
features
convolution
resolution image
super
channel aggregation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110538214.4A
Other languages
English (en)
Inventor
郑忠龙
张大伟
刘浙东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN202110538214.4A priority Critical patent/CN113222818A/zh
Publication of CN113222818A publication Critical patent/CN113222818A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种使用轻量化多通道聚合网络重建超分辨率图像的方法，包括以下步骤：步骤一、给定一个低分辨率图像作为输入，采用卷积层提取浅层特征；步骤二、将提取的特征进一步输入到多通道聚合模块（MCAB）进行更深层的特征提取；步骤三、将所有多通道聚合模块的输出级联在一起，并进行通道缩减；步骤四、通过上采样模块对步骤三所得的细化特征进行上采样，在上采样模块中使用具有最近邻插值和3×3卷积的残差连接;步骤五、采用具有最近邻插值的全局残差连接获得最终的重建的高分辨率图像；该发明使用通道切分和级联操作确保特征交互以及多通道特征的提取，轻量化;使用多尺度空洞卷积，提高了图像超分辨率重建的性能。

Description

一种使用轻量化多通道聚合网络重建超分辨率图像的方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种使用轻量化多通道聚合网络重建超分辨率图像的方法。
背景技术
单图超分辨率（Single-image super-resolution，SISR）是利用低分辨率（low-resolution，LR）观测数据重建高分辨率（high-resolution，HR）图像。它在现实世界中有着广泛的应用，如医学成像和高清设备。由于单个LR输入有多个HR解，SISR是一个具有挑战性的不适定问题。
近年来，由于在学习LR图像和HR图像之间的非线性映射时具有很强的表示能力，深度学习方法在SISR任务中得到了成功的应用。董超等人提出了第一个用于SISR的卷积神经网络（CNN），即基SRCNN，它由三个关键部分组成：浅层特征提取、非线性映射和重构，每个部分包含一个卷积层。自此以后，出现了各种基于CNN的方法，显著提高了SISR的性能，并且有一种趋势，即设计一个更深入的网络来追求更好的性能。
VDSR提出了一种20层的深层网络，并利用残差学习和自适应梯度剪裁来简化训练过程，但当卷积层数进一步增加时，模型面临梯度消失的问题。为了克服这一问题，EDSR在稳定训练过程的同时，采用了去除不必要模块以后的残差块，进一步扩展了模型的深度。除了设计新颖的体系结构外，一些方法还将注意机制引入SR网络中，以获取特征间的依赖关系，用于区分特征表示，如RCAN、SAN和RFANet。尽管取得了令人瞩目的成就，但这些网络主要着眼于性能的提高，而忽略了过多的模型参数和高昂的计算成本，导致实际应用的部署困难。此外，盲目增加网络的宽度和深度不仅不利于特征信息的交互，而且会引入冗余的模型参数。
为了解决上述问题，学者们提出了一些具有轻量级模块和有效策略的SR网络。DRCN采用递归学习策略来控制模型参数。DRRN将剩余学习和递归学习相结合，以较少的参数进一步提高性能。IDN利用多个叠加的信息提取块逐步提取残差信息，充分利用了信道特征响应重新校准的优点。CARN设计了一种在残差网络上实现级联机制的体系结构。OISR是一种将ODE启发方案应用于SR网络设计的首次尝试，在模型精度和复杂度之间取得了较好的折中。LESRCNN首先按顺序提取和聚合层次结构LR特征，然后采用异构体系结构去除冗余信息。
发明内容
本发明的目的在于提供一种使用轻量化多通道聚合网络重建高分辨率图像的方法，该发明提取多尺度的特征，切分和级联操作确保特征在更细粒度通道水平上的交互和提取，具有轻量化特点。
为解决此技术问题，本发明的技术方案是：一种使用轻量化多通道聚合网络重建超分辨率图像的方法，包括以下步骤：
步骤一、给定一个低分辨率图像作为输入，采用3×3卷积层提取浅层特征；
步骤二、将提取的特征进一步输入到MCAB进行更深层的特征提取;
步骤三、将所有MCAB的输出级联在一起，然后使用1×1卷积和3
Figure 71600DEST_PATH_IMAGE001
3卷积分别进行通 道缩减和特征提取；
步骤四、通过上采样块对步骤三所得的细化特征进行上采样，在上采样块中使用具有最近邻插值和3×3卷积的残差连接将原特征和细化特征进行融合；
步骤五、采用具有最近邻插值的全局残差连接对初始图像特征和最后的融合特征按元素相加。
优选每个MCAB包括一个MCA模块和一个DA模块。一种适用于单幅图像超分辨率的MCAN，它由多个MCAB组成，每个MCAB由一个MCA模块和一个DA模块组成。MCA模块可以通过多通道交互提取多尺度特征，并通过通道拆分和级联操作实现了轻量化。
优选所述MCA模块包含多个拆分和级联操作。
进一步优选所述MCA模块具体的工作方式如下：
MCA模块的输入将被拆分为K个组，每个组有t个通道;该MCA模块采用渐进级联，将前两组特征级联，使用1×1卷积和带有PReLU激活函数的3×3卷积，提取的特征与原来的两个输入特征相加；
类似地，下一个拆分和级联操作与第一个过程相同，只是其中一个输入是上一步的输出；
经过多次拆分级联操作后，将层次特征级联在一起，并使用额外的卷积操作来获得最终输出。
进一步优选所述DA模块使用M个1×1卷积将输入特征分解为M个分支；
将每个分支送入具有不同空洞率和卷积核大小的的卷积来探索多尺度空间信息；
将所有分支的输出级联在一起，并使用带有PReLU函数的3×3卷积；最后通过Sigmoid函数生成注意图与原对应特征按元素相乘。
多通道聚合网络是多个多通道聚合块组成，每个聚合块包含一个多通道聚合（MCA）模块和一个空洞注意力（DA）模块。所提出的MCA模块保证了多通道的交互，有效地丰富了多尺度特征，并且具有轻量化的特点，并不会增加模型参数。此外，DA模块使用多尺度空洞卷积捕获多个空间特征相关性，以获得更大的感受野，有利于模型性能提升。该模块包含多个不同卷积和核尺寸的空洞卷积，用于探索多尺度特征表示，扩大特征的感受野从而融合具有代表性的特征信息。
优选每个DA模块中，输入特征被分成M=4个分支，每个分支经过1×1卷积后的通道 数为16;第一个分支后面是一个普通的3×3卷积，其他三个分支后面是一个卷积核大小分 别为3×3、5
Figure 762476DEST_PATH_IMAGE001
5、7×7的卷积，每个卷积的空洞率为2。
进一步优选将最小批次大小设置为24，初始学习率设置为10e−4，每2×105次迭代，将初始学习率减半。
优选使用随机水平翻转和90°，180°，270°旋转来扩充训练数据。
优选在PyTorch平台上实现多通道聚合网络，并用NVIDIA Tesla v100显卡实验。
优选使用ADAM优化器对网络进行训练，设置参数β1=0.9、
Figure 706161DEST_PATH_IMAGE002
=0.999和ε=10-8，，采用 L1损失函数优化网络权重：
Figure 389952DEST_PATH_IMAGE003
其中MCAN（·）、T和Θ分别表示所提出的多通道聚合网络的函数、训练图像对的数目和多通道聚合网络的参数。
通过采用上述技术方案，本发明的有益效果是：
本发明提出了一种轻量并且有效的多通道聚合网络（MCAN），在提高单幅图像重建性能的同时保持高效性，本发明的MCAN够提取多尺度的特征，并且通道维度的切分和级联操作确保了特征在更细粒度通道水平上的交互；
在多个基准数据集上进行的大量实验表明，所提出的网络与一些轻量化SISR的最新方法中相比具有更好的精度和更少的参数量；该方法在精度和模型复杂度方面具有优越性。
从而实现本发明的上述目的。
附图说明
图1是本发明涉及的一种使用轻量化多通道聚合网络重建超分辨率图像的方法的整体框架图；
图2是本发明进行超分辨率重建的流程图；
图3是本发明中多通道聚合（MCA）模块流程图；
图4是本发明中空洞注意力（DA）模块流程图；
图5提供了本发明与现有技术中各种处理方法的视觉比较图。
具体实施方式
为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。
本实施例公开一种使用轻量化多通道聚合网络重建超分辨率图像的方法，具体流程如图1和图2所示，包括以下步骤：
步骤一、给定一个LR图像ILR作为输入，采用3
Figure 102693DEST_PATH_IMAGE004
3卷积层提取浅层特征
Figure 964470DEST_PATH_IMAGE005
:
Figure 395451DEST_PATH_IMAGE006
其中
Figure 695982DEST_PATH_IMAGE007
表示卷积操作；
步骤二、将提取的特征
Figure 653443DEST_PATH_IMAGE005
进一步输入到MCAB进行更深层的特征提取：
Figure 545176DEST_PATH_IMAGE008
其中
Figure 338819DEST_PATH_IMAGE009
表示第
Figure 239779DEST_PATH_IMAGE010
个MCAB的功能，
Figure 57606DEST_PATH_IMAGE011
是MCAB的数量，
Figure 385819DEST_PATH_IMAGE012
和
Figure 401179DEST_PATH_IMAGE013
分别表示第
Figure 309093DEST_PATH_IMAGE010
个 MCAB的输出和输入;
步骤三、将N个MCAB块的输出串联在一起，然后使用1×1卷积和3×3卷积进行通道缩减：
Figure 850932DEST_PATH_IMAGE014
；
其中
Figure 740260DEST_PATH_IMAGE015
是经过通道缩减和卷积后的输出，
Figure 367550DEST_PATH_IMAGE016
表示具有PReLU激活函数的3×3 卷积，
Figure 485679DEST_PATH_IMAGE017
表示1×1卷积，[·]表示级联运算；
步骤四、通过上采样块对步骤三所得的细化特征Hd进行上采样，在上采样块中使用具有最近邻插值和3×3卷积的残差连接，过程可表示为：
Figure 882025DEST_PATH_IMAGE018
其中Hu表示上采样块的输出，fup(·)和fni(·)分别表示亚像素卷积和最近邻插值的上采样，fe(·)表示带有PReLU激活函数的3×3卷积，以将特征图的通道数转换为3；
将细化特征和原特征进行融合；
步骤五、步骤五、为了进一步提高性能，采用具有最近邻插值的全局残差连接将上采样后的特征与融合特征按元素相加。
采用具有最近邻插值的全局残差连接：
Figure 676675DEST_PATH_IMAGE019
其中，ISR表示最终的超分辨率重建的HR图像。
为了在不增加计算复杂度的情况下生成更强大的特征表示，采用了多通道聚合模块MCA。该模块包含多个拆分和级联操作，具体来说，模块的输入将被拆分为K个组，每个组有t个通道。如图3所示，该模块采用渐进级联策略，将前两组特征级联，然后使用1×1卷积和带有PReLU激活函数的3×3卷积，提取的特征与原来的两个输入特征相加。类似地，下一个拆分和级联操作与第一个过程相同，只是其中一个输入是上一步的输出。
经过多次拆分级联操作后，将层次特征级联在一起，并使用额外的卷积操作来获得最终输出。
由于采用了通道分割技术，MCA模块可以在不引入过多参数的情况下提取多尺度特征，具有效率高、轻量化的特点。
MCA模块确保了不同通道之间的交互，但忽略了空间相关性。为了提高模型在空间维度上的表达能力，设计了空洞注意力（DA）模块，如图4所示。与已有的包括池化和上采样操作的空间注意力模块不同，本实施例采用了空洞卷积来扩大感受野，因为池化和上采样操作会造成信息的丢失，不利于信息的建模。
DA模块中，使用M个1×1卷积将输入特征分解为M个分支，然后将每个分支送入具有不同空洞率和卷积核大小的的卷积来探索多尺度空间信息。
然后将所有分支的输出级联在一起，并使用带有PReLU函数的3×3卷积，最后，通过Sigmoid函数生成注意图。
在本实施例中，依次进行数据集、评估指标和实现细节，具体如下：
（1）数据集
本实施例汇总选择DIV2K数据集作为训练数据集，使用了800个图像对，低分辨率图像是从对应的高分辨率图像进行双三次插值下采样得到的。为了进行测试，选择了四个基准数据集：Set5、Set14、B100和Urban100。
（2）评估指标
为了评估，首先将MCAN重建的图像转换为YCbCr颜色空间，然后使用峰值信噪比（PSNR）和结构相似性（SSIM）这两种广泛使用的量化指标，仅在图像的Y（即亮度）通道上来评估SR性能。
（3）实现细节
在对MCAN进行实验时，采用了8个MCAB，每个模块由一个MCA模块和一个DA模块组成。在每个MCA模块中，设置拆分数为K=4，输入特征的初始通道数为64。在每个DA模块中，输入特征被分成M=4个分支，每个分支经过1×1卷积后的通道数为16。第一个分支后面是一个普通的3×3卷积，而其他三个分支后面是一个卷积核大小分别为3×3、5×5、7×7的卷积，每个卷积的空洞率为2。将最小批次大小设置为24，初始学习率设置为10e-4，每2×105次迭代，将初始学习率减半。
使用随机水平翻转和90°，180°，270°旋转来扩充训练数据。
在PyTorch平台上实现了MCAN网络，并用NVIDIA Tesla v100显卡进行了实验。使用ADAM 优化器对网络进行训练，设置参数β1=0.9、β2=0.999和ε=10-8，采用L1损失函数优化网络权重：
Figure 791261DEST_PATH_IMAGE003
其中MCAN（·）、T和Θ分别表示所提出的多通道聚合网络的函数、训练图像对的数目和多通道聚合网络的参数。
本实施例通过消融实验验证所提出的MCAB和两个组件，即MCA模块和DA模块的有效性。
首先分析了MCAB数量对网络性能的影响，然后通过相应地去除DA模块形成四个变种。此外，为了验证该模块的有效性，我们将EDSR中的残差块替换为MCA模块，并搭建了MCASR模型。
表1是第一个消融实验的结果，在实验中将MCAB的数量分别设置为4、6、8、10。随着块数的增加，Set5数据集上×2超分辨率的性能逐渐提高，但参数量也在增加。为了在效率和有效性之间取得良好的平衡，在网络中采用了八个MCAB。此外，为了研究DA模块的有效性，将该模块从网络中移除以进行比较。如表1所示，大体上，使用DA模块可以将PSNR的性能提高0.1dB，这表明该模块有助于挖掘空间特征关系，提高模型表征能力。值得注意的是，与LESRNN相比，具有四个MCA模块的第一个变体具有更少的参数和更高的精度，这证明了该模块的有效性和效率。
表1 MCAB数量和DA模块对模型在Set5数据集上2倍超分辨率PSNR和SSIM指标的影响
Figure 775398DEST_PATH_IMAGE020
表2 MCASR与EDSR在Set5数据集上2倍超分辨率PSNR和SSIM指标对比
Figure 167196DEST_PATH_IMAGE021
将MCAN与7种先进的轻量化SISR方法在×2、×3和×4尺度上进行了比较，包括VSDR、DRCN、DRRN、IDN、CARN、OISR-LF-s、LESRCNN。如表3所示，在PSNR和SSIM度量方面，MCAN在所有基准上都优于其他先进的轻量级方法。此外，图5提供了各种方法的视觉比较，可以看出，与其他方法相比能够重建更清晰的结构和细节。
定量和定性的结果都表明，相对于目前一些先进的轻量化方法，本发明具有良好的性能。
表3 各种方法在四个数据集上进行二倍、三倍和四倍超分辨率效果对比
Figure 8113DEST_PATH_IMAGE022
Figure 209DEST_PATH_IMAGE023
本发明提出了一种适用于单幅图像超分辨率的MCAN，它由多个MCAB组成，每个MCAB由一个MCA模块和一个DA模块组成。MCA模块可以通过多通道交互提取多尺度特征，并通过通道拆分和级联操作实现了轻量化。此外，为了提高模型的表示能力，增加感受野，采用DA模块进一步融合多尺度特征。在四个基准数据集上的大量实验表明，本发明在准确性和视觉效果方面优于其他先进的轻量化网络。

Claims (10)

1.一种使用轻量化多通道聚合网络重建超分辨率图像的方法，其特征在于：包括以下步骤：
步骤一、给定一个低分辨率图像作为输入，采用3×3卷积层提取浅层特征；
步骤二、将提取的特征进一步输入到MCAB进行更深层的特征提取；
步骤三、将所有MCAB的输出级联在一起，然后使用1×1卷积和3×3卷积进行通道缩减和进一步特征提取；
步骤四、通过上采样块对步骤三所得的细化特征进行上采样，在上采样块中使用具有最近邻插值和3×3卷积的残差连接，将初始特征和细化特征按元素相加；
步骤五、采用具有最近邻插值的全局残差连接融合最后得到的特征。
2.如权利要求1所述的一种使用轻量化多通道聚合网络重建超分辨率图像的方法，其特征在于：每个MCAB包括一个MCA模块和一个DA模块。
3.如权利要求2所述的一种使用轻量化多通道聚合网络重建超分辨率图像的方法，其特征在于：所述MCA模块包含多个拆分和级联操作。
4.如权利要求3所述的一种使用轻量化多通道聚合网络重建超分辨率图像的方法，其特征在于：
所述MCA模块具体的工作方式如下：
MCA模块的输入将被拆分为K个组，每个组有t个通道;该MCA模块采用渐进级联，将前两组特征级联，使用1×1卷积和带有PReLU激活函数的3×3卷积，提取的特征与原来的两个输入特征相加；
类似地，下一个拆分和级联操作与第一个过程相同，只是其中一个输入是上一步的输出；
经过多次拆分级联操作后，将层次特征级联在一起，并使用额外的卷积操作来获得最终输出。
5.如权利要求2所述的一种使用轻量化多通道聚合网络重建超分辨率图像的方法，其特征在于：
所述DA模块使用M个1×1卷积将输入特征分解为M个分支；
将每个分支送入具有不同空洞率和卷积核大小的的卷积来探索多尺度空间信息；
将所有分支的输出级联在一起，并使用带有PReLU函数的3×3卷积进一步提取特征，然后通过Sigmoid函数生成注意图，并与原特征按元素相乘。
6.如权利要求5所述的一种使用轻量化多通道聚合网络重建超分辨率图像的方法，其特征在于：每个DA模块中，输入特征被分成M=4个分支，每个分支经过1×1卷积后的通道数为16;第一个分支后面是一个普通的3×3卷积，其他三个分支后面是一个卷积核大小分别为3×3、5×5、7×7的卷积，每个卷积的空洞率为2。
7.如权利要求5所述的一种使用轻量化多通道聚合网络重建超分辨率图像的方法，其特征在于：
将最小批次大小设置为24，初始学习率设置为10e−4，每2×105次迭代，将初始学习率减半。
8.如权利要求7所述的一种使用轻量化多通道聚合网络重建超分辨率图像的方法，其特征在于：使用随机水平翻转和90°，180°，270°旋转来扩充训练数据。
9.如权利要求7所述的一种使用轻量化多通道聚合网络重建超分辨率图像的方法，其特征在于：在PyTorch平台上实现多通道聚合网络，并用NVIDIA Tesla v100显卡实验。
10.如权利要求1所述的一种使用轻量化多通道聚合网络重建超分辨率图像的方法，其特征在于：使用ADAM 优化器对网络进行训练，设置参数β1=0.9、β2=0.999和ε=10-8，采用L1损失函数优化网络权重：
Figure 666698DEST_PATH_IMAGE001
其中MCAN（·）、T和Θ分别表示所提出的多通道聚合网络的函数、训练图像对的数目和多通道聚合网络的参数。
CN202110538214.4A 2021-05-18 2021-05-18 一种使用轻量化多通道聚合网络重建超分辨率图像的方法 Pending CN113222818A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110538214.4A CN113222818A (zh) 2021-05-18 2021-05-18 一种使用轻量化多通道聚合网络重建超分辨率图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110538214.4A CN113222818A (zh) 2021-05-18 2021-05-18 一种使用轻量化多通道聚合网络重建超分辨率图像的方法

Publications (1)

Publication Number Publication Date
CN113222818A true CN113222818A (zh) 2021-08-06

Family

ID=77093064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110538214.4A Pending CN113222818A (zh) 2021-05-18 2021-05-18 一种使用轻量化多通道聚合网络重建超分辨率图像的方法

Country Status (1)

Country Link
CN (1) CN113222818A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926468A (zh) * 2022-07-22 2022-08-19 深圳华声医疗技术股份有限公司 超声图像质量控制方法、超声设备及存储介质
CN115937018A (zh) * 2022-11-03 2023-04-07 江苏济远医疗科技有限公司 一种利用多通道反馈网络进行图像复原的方法
CN116596764A (zh) * 2023-07-17 2023-08-15 华侨大学 一种基于Transformer与卷积交互的轻量级图像超分辨率方法
CN117036162A (zh) * 2023-06-19 2023-11-10 河北大学 轻量级胸部ct图像超分辨率的残差特征注意力融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509149A (zh) * 2018-10-15 2019-03-22 天津大学 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN110197468A (zh) * 2019-06-06 2019-09-03 天津工业大学 一种基于多尺度残差学习网络的单图像超分辨重建算法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509149A (zh) * 2018-10-15 2019-03-22 天津大学 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN110197468A (zh) * 2019-06-06 2019-09-03 天津工业大学 一种基于多尺度残差学习网络的单图像超分辨重建算法
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
CHIA-YANG CHANG: "Multi-scale Dense Network for Single-image Super-resolution", 《ICASSP 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
JUNTAO GUAN: "Fixed pattern noise reduction for infrared images based on cascade residual attention CNN", 《NEUROCOMPUTING》 *
YULUN ZHANG: "Image super-resolution using very deep residual channel attention networks", 《COMPUTER VISION – ECCV 2018》 *
许雯: "基于深度学习的遥感图像超分辨率重建技术研究", 《 中国优秀硕士学位论文全文数据库(工程科技Ⅱ辑)》 *
郑忠龙: "Lightweight Image Super-Resolution with Multi-scale Feature Interaction Network", 《ARXIV》 *
郑忠龙: "基于注意力融合网络的视频超分辨率重建", 《计算机应用》 *
陆维琛: "基于卷积神经网络的单帧图像超分辨率算法研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926468A (zh) * 2022-07-22 2022-08-19 深圳华声医疗技术股份有限公司 超声图像质量控制方法、超声设备及存储介质
CN114926468B (zh) * 2022-07-22 2022-12-06 深圳华声医疗技术股份有限公司 超声图像质量控制方法、超声设备及存储介质
CN115937018A (zh) * 2022-11-03 2023-04-07 江苏济远医疗科技有限公司 一种利用多通道反馈网络进行图像复原的方法
CN115937018B (zh) * 2022-11-03 2023-11-03 江苏济远医疗科技有限公司 一种利用多通道反馈网络进行图像复原的方法
CN117036162A (zh) * 2023-06-19 2023-11-10 河北大学 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN117036162B (zh) * 2023-06-19 2024-02-09 河北大学 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN116596764A (zh) * 2023-07-17 2023-08-15 华侨大学 一种基于Transformer与卷积交互的轻量级图像超分辨率方法
CN116596764B (zh) * 2023-07-17 2023-10-31 华侨大学 一种基于Transformer与卷积交互的轻量级图像超分辨率方法

Similar Documents

Publication Publication Date Title
CN111161150B (zh) 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN113222818A (zh) 一种使用轻量化多通道聚合网络重建超分辨率图像的方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN113096017A (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN111681166A (zh) 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN111986092B (zh) 一种基于双重网络的图像超分辨率重建方法及系统
CN110322402A (zh) 基于稠密混合注意力网络的医学图像超分辨率重建方法
US20230153946A1 (en) System and Method for Image Super-Resolution
CN112419152B (zh) 一种图像超分辨率方法、装置、终端设备和存储介质
CN117173024B (zh) 一种基于整体注意力的矿井图像超分辨率重建系统及方法
CN113837946A (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN108932715B (zh) 一种基于深度学习的冠状动脉造影图分割的优化方法
CN115546032A (zh) 一种基于特征融合与注意力机制的单帧图像超分辨率方法
CN115660955A (zh) 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质
CN110866938A (zh) 一种全自动视频运动目标分割方法
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
Wu et al. Lightweight asymmetric convolutional distillation network for single image super-resolution
CN111402140A (zh) 单张图像超分辨率重建系统及方法
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法
CN115660984A (zh) 一种图像高清还原方法、装置及存储介质
CN113077403B (zh) 基于局部数据块的张量增强技术的彩色图像重建方法
CN113674151A (zh) 一种基于深度神经网络的图像超分辨率重建方法
Du et al. Single image super-resolution via multi-scale fusion convolutional neural network
Xiao et al. Multi-Scale Non-Local Sparse Attention for Single Image Super-Resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210806