CN113674156B - 一种图像超分辨率重建的方法及系统 - Google Patents

一种图像超分辨率重建的方法及系统 Download PDF

Info

Publication number
CN113674156B
CN113674156B CN202111039803.4A CN202111039803A CN113674156B CN 113674156 B CN113674156 B CN 113674156B CN 202111039803 A CN202111039803 A CN 202111039803A CN 113674156 B CN113674156 B CN 113674156B
Authority
CN
China
Prior art keywords
image
feature
features
layer
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111039803.4A
Other languages
English (en)
Other versions
CN113674156A (zh
Inventor
季家欢
钟宝江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tengshuicheng Technology Co ltd
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202111039803.4A priority Critical patent/CN113674156B/zh
Publication of CN113674156A publication Critical patent/CN113674156A/zh
Application granted granted Critical
Publication of CN113674156B publication Critical patent/CN113674156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像超分辨率重建的方法及系统，包括以下步骤：输入的低分辨率图像，从低分辨率图像中提取基础图像特征；以基础图像特征作为初始输入，使用多个顺序执行的AMB模块依次提取更高层次的特征，获得多个高层次特征输出；将基础图像特征与多个高层次特征输出融合，获得融合特征；通过融合特征重建图像，获得重建的高分辨率的图像输出。其能够以更高的效率得到与现有MSRN相似的单帧图像超分辨率重建性能，所使用的参数少，运算速度快,其亦可增加使用AMB模块的数量，从而与现有MSRN具有相似的计算复杂度，但是能够得到更好的单帧图像超分辨率重建性能。

Description

一种图像超分辨率重建的方法及系统
技术领域
本发明涉及数字图像处理技术领域，尤其是指一种图像超分辨率重建的方法及系统。
背景技术
单帧图像超分辨率重建(Single image super-resolution，简称SISR)是一种基础的图像处理技术，其目的是将一张低分辨率(low-resolution，简称LR)的图像放大成一张高分辨率(high-resolution，简称HR)的图像，目前该技术已被广泛地应用于多种基于图像的应用中。近年来，对于该问题的研究主要集中于基于深度学习的方法。其中，一部分方法采用了多尺度策略，通过使用不同尺度的感受野来模拟人眼从不同尺度观察图像，有利于更好地进行图像的特征提取；因此，采用了多尺度策略的这些方法通常能够以更为轻量级的网络结构实现与需要大量参数的更深的模型相当的超分辨率重建性能。
Li等人提出了一种用于执行单帧图像超分辨率的多尺度卷积神经网络(convolutional neural network，简称CNN)方法，名为多尺度残差网络(multi-scaleresidual network，简称MSRN)。MSRN使用了一组多尺度残差模块(multi-scale residualblock，简称MSRB)来进行特征提取，具体来说，每个MSRB并行地使用了两种不同尺寸(包括3×3和5×5)的卷积窗口分别从低尺度和高尺度提取图像特征。总的来说，MSRN展现出了令人满意的单帧图像超分辨率重建结果。
然而，在MSRB中使用较大尺寸卷积窗口(5×5)时需要大量的参数，这严重限制了多尺度特征提取的效率。因此，如何提供一种解决该问题的方案是本领域技术人员目前需要解决的问题。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中MSRN多尺度特征提取效率低的技术问题。
为解决上述技术问题，本发明提供了一种图像超分辨率重建的方法，包括以下步骤：
输入的低分辨率图像，从低分辨率图像中提取基础图像特征；
以基础图像特征作为初始输入，使用多个顺序执行的AMB模块依次提取更高层次的特征，获得多个高层次特征输出；
将基础图像特征与多个高层次特征输出融合，获得融合特征；
通过融合特征重建图像，获得重建的高分辨率的图像输出。
作为优选的，所述AMB模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
所述第一卷积层和所述第三卷积层进行低尺度提取，所述第二卷积层和第四卷积层进行高尺度提取；
所述第一卷积层、第三卷积层和第五卷积层依次连接；所述第二卷积层的输入端与所述第一卷积层的输出端连接，所述第二卷积层的输出端第三卷积层的输入端连接；所述第四卷积层的输入端与第三卷积层的输出端连接，所述第四卷积层的输出端与所述第五卷积层的输入端连接；
所述第五卷积层将输入的特征进行融合。
作为优选的，所述第五卷积层之后还设置有残差连接层，所述残差连接层与所述第一卷积层的输入端连接。
作为优选的，所述第一卷积层、第二卷积层、第三卷积层和第四卷积层皆为3×3卷积层，所述第五卷积层为1×1卷积层。
作为优选的，所述以基础图像特征作为初始输入，使用多个顺序执行的AMB模块依次提取更高层次的特征，获得多个高层次特征输出，包括：
令Fi-1表示第i个AMB(i＝1,2,…,N)的输入，F0为基础图像特征，第i个AMB的输出特征记作Fi；
使用一组3×3的卷积对Fi-1进行低尺度的特征提取：
S11＝σr(Conv3×3(Fi-1))
其中，σr(·)表示ReLU激活函数；
使用另一组3×3卷积在S11的基础上进一步提取特征：
S12＝σr(Conv3×3(S11))
将特征S11和S12进行拼接，并输入到另外两组3×3的卷积中：
S21＝σr(Conv3×3([S11,S12]))
S22＝σr(Conv3×3(S21)),
其中，[·,·]代表特征拼接操作；
使用一组1×1的卷积对得到的特征S21和S22进行融合，并在此基础上添加与特征Fi-1之间的残差连接来生成当前AMB的最终输出Fi：
Fi＝Conv1×1([S21,S22])+Fi-1。
作为优选的，所述将基础图像特征与多个高层次特征输出融合，获得融合特征，包括：
构建自适应的特征融合模块AFFB，通过AFFB预测具体特征图的重要性以实现带有加权的特征融合。
作为优选的，构建自适应的特征融合模块AFFB，通过AFFB预测具体特征图的重要性以实现带有加权的特征融合，具体包括：
令U＝[F0,…,FN]代表在不同层次提取的图像特征，F0为基础图像特征，第i个AMB的输出特征记作Fi，i＝1,2,…,N；
根据U中的每一张特征图的内容为其分配相应的权重W：
W＝σs(Full(σr(Full(Pool(U))))，
其中，Pool(·)代表平均池化操作，通过计算每一张特征图的平均值为其生成一个初始权重；Full(·)代表的是全连接操作，通过使用两次全连接，将初始化的权重映射到一组新权重，记作W；σs(·)是Sigmoid函数，用于将W中所有的值压缩至[0,1]的范围中；
将所得到W用于对
Figure BDA0003248668920000041
中的特征图进行加权：
Figure BDA0003248668920000042
其中，
Figure BDA0003248668920000043
代表点对点的乘法操作；
通过使用一组1×1的卷积来实现对
Figure BDA0003248668920000044
中特征图的融合，获得融合特征F：
Figure BDA0003248668920000045
作为优选的，所述通过融合特征重建图像，获得重建的高分辨率的图像输出，包括：
采用了一种由两组3×3卷积操作组成的图像重建模块来生成高分辨率的图像Y：
Y＝Conv3×3(P(Conv3×3(F)))，
其中，P(·)代表的是像素重排序操作，F为融合特征。
作为优选的，所述通过融合特征重建图像，获得重建的高分辨率的图像输出，之后还包括：
计算重建的高分辨率的图像与相对应的真实图像之间的损失函数；
通过在训练过程中最小化损失函数以更新图像超分辨率重建模型的参数。
本发明还公开了一种图像超分辨率重建系统，包括：
基础图像特征提取模块，所述基础图像特征提取模块用于从低分辨率图像中提取基础图像特征；
高层次特征提取模块，所述高层次特征提取模块以基础图像特征作为初始输入，使用多个顺序执行的AMB模块依次提取更高层次的特征，获得多个高层次特征输出；
特征融合模块，所述特征融合模块将基础图像特征与多个高层次特征输出融合，获得融合特征；
图像重建模块，所述图像重建模块通过融合特征重建图像，获得重建的高分辨率的图像输出。
本发明的上述技术方案相比现有技术具有以下优点：
1、本发明中，由于所提出的AMB相比于原MSRB效率更高，因此所构造的AMNet能够以更高的效率得到与现有MSRN相似的单帧图像超分辨率重建性能，本发明中的图像超分辨率重建的方法所使用的参数少，速度快。
2、本发明在所构造的AMNet中可以增加AMB的数量，从而使得构造的AMNet与现有MSRN的参数量相似，但是，能够得到更好的单帧图像超分辨率重建性能。
附图说明
图1为本发明图像超分辨率重建的方法的流程图；
图2为AMB模块的结构示意图；
图3为异步多尺度网络AMNet的网络结构；
图4为两种功能性等价的多尺度结构之间的比较，其中，(a)为现有的MSRB中采用的同步的多尺度结构，(b)为所提出的AMB中采用的异步的多尺度结构；
图5为两种窗口等价性的演示，其中，(a)为一个5×5窗口的支持域，(b)两个3×3的窗口的支持域；
图6为自适应特征融合模块AFFB的结构；
图7为不同放大倍数情况下各方法生成结果图像的主观比较，其中，图(a)和图(b)来自于Urban100数据集，图(c)来自于BSDS100数据集。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1-图7所示，本发明公开了一种图像超分辨率重建的方法，包括以下步骤：
步骤一、输入的低分辨率图像，从低分辨率图像中提取基础图像特征。
步骤二、以基础图像特征作为初始输入，使用多个顺序执行的AMB模块依次提取更高层次的特征，获得多个高层次特征输出。
其中，AMB模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层。第一卷积层和第三卷积层进行低尺度提取，第二卷积层和第四卷积层进行高尺度提取。第一卷积层、第三卷积层和第五卷积层依次连接；第二卷积层的输入端与第一卷积层的输出端连接，第二卷积层的输出端第三卷积层的输入端连接；第四卷积层的输入端与第三卷积层的输出端连接，第四卷积层的输出端与第五卷积层的输入端连接。第五卷积层将输入的特征进行融合。
第五卷积层之后还设置有残差连接层，残差连接层与第一卷积层的输入端连接。
第一卷积层、第二卷积层、第三卷积层和第四卷积层皆为3×3卷积层，第五卷积层为1×1卷积层。
具体的，步骤二包括：
令Fi-1表示第i个AMB(i＝1,2,…,N)的输入，F0为基础图像特征，第i个AMB的输出特征记作Fi；
使用一组3×3的卷积对Fi-1进行低尺度的特征提取：
S11＝σr(Conv3×3(Fi-1))
其中，σr(·)表示ReLU激活函数；
使用另一组3×3卷积在S11的基础上进一步提取特征：
S12＝σr(Conv3×3(S11))
将特征S11和S12进行拼接，并输入到另外两组3×3的卷积中：
S21＝σr(Conv3×3([S11,S12]))
S22＝σr(Conv3×3(S21)),
其中，[·,·]代表特征拼接操作；
使用一组1×1的卷积对得到的特征S21和S22进行融合，并在此基础上添加与特征Fi-1之间的残差连接来生成当前AMB的最终输出Fi：
Fi＝Conv1×1([S21,S22])+Fi-1。
步骤三、将基础图像特征与多个高层次特征输出融合，获得融合特征，包括：构建自适应的特征融合模块AFFB，通过AFFB预测具体特征图的重要性以实现带有加权的特征融合。
具体的，令U＝[F0,…,FN]代表在不同层次提取的图像特征，F0为基础图像特征，第i个AMB的输出特征记作Fi，i＝1,2,…,N；
根据U中的每一张特征图的内容为其分配相应的权重W：
W＝σs(Full(σr(Full(Pool(U)))))，
其中，Pool(·)代表平均池化操作，通过计算每一张特征图的平均值为其生成一个初始权重；Full(·)代表的是全连接操作，通过使用两次全连接，将初始化的权重映射到一组新权重，记作W；σs(·)是Sigmoid函数，用于将W中所有的值压缩至[0,1]的范围中；
将所得到W用于对
Figure BDA0003248668920000081
中的特征图进行加权：
Figure BDA0003248668920000082
其中，
Figure BDA0003248668920000083
代表点对点的乘法操作；
通过使用一组1×1的卷积来实现对
Figure BDA0003248668920000084
中特征图的融合，获得融合特征F：
Figure BDA0003248668920000085
步骤四、通过融合特征重建图像，获得重建的高分辨率的图像输出，包括：
采用了一种由两组3×3卷积操作组成的图像重建模块来生成高分辨率的图像Y：
Y＝Conv3×3(P(Conv3×3(F)))，
其中，P(·)代表的是像素重排序操作，F为融合特征。
步骤五、计算重建的高分辨率的图像与相对应的真实图像之间的损失函数，通过在训练过程中最小化损失函数以更新图像超分辨率重建模型的参数。
本发明公开了一种图像超分辨率重建系统，包括基础图像特征提取模块、高层次特征提取模块、特征融合模块和图像重建模块。
基础图像特征提取模块用于从低分辨率图像中提取基础图像特征；高层次特征提取模块以基础图像特征作为初始输入，使用多个顺序执行的AMB模块依次提取更高层次的特征，获得多个高层次特征输出；特征融合模块将基础图像特征与多个高层次特征输出融合，获得融合特征；图像重建模块通过融合特征重建图像，获得重建的高分辨率的图像输出。
下面，结合具体实施方式对本发明的技术方案做进一步说明。
一、本发明提供了一种异步多尺度网络AMNet用于执行单帧图像超分辨率重建任务。该网络中包含本发明中提供的另外两个模块(即AMB和AFFB)。
如图3所示，为发明提供的用于执行单帧图像超分辨率重建任务的异步多尺度网络AMNet的网络结构，包含特征提取和图像重建等两个主要阶段。所提出的用于进行单帧图像超分辨率重建的AMNet包含特征提取和图像重建等两个主要阶段。在第一阶段中，首先使用一组3×3的卷积从输入的低分辨率图像X中提取一组基础图像特征F0：
F0＝Conv3×3(X)， (1)
在得到的特征F0的基础上，进一步使用了N个顺序执行的AMB模块来提取更高层次的特征，这些特征分别记作F1,F2以及FN。这些特征需要进行融合，以得到第一阶段的输出特征F。为此，本发明提出了一种新的融合模块AFFB用以进行该任务，该模块的输出F将在第二阶段中用于进行高分辨率图像的重建。
AMNet中的第二个阶段与MSRN中的同一阶段类似，均采用了一种由两组3×3卷积操作组成的图像重建模块来生成高分辨率的图像Y，如下式所示：
Y＝Conv3×3(P(Conv3×3(F)))， (2)
其中P(·)代表的是像素重排序(Pixel shuffle)操作。
给定一个包含多组图像对的数据集
Figure BDA0003248668920000091
其中X(n)代表一张低分辨率的图像，H(n)代表与之对应的真实(ground-truth，简称GT)图像。在此基础上，所提出的AMNet的训练过程可以通过整体优化重建图像与相对应真实图像之间的损失函数来实现。该过程具体表达如下：
Figure BDA0003248668920000101
其中Θ代表的是AMNet中包含的所有可训练的参数，包含各个卷积核的参数以及偏置项。
二、本发明提供的异步多尺度模块AMB，用于在上述提供的AMNet中执行特征提取操作。
图4为两种功能性等价的多尺度结构之间的比较图：现有的MSRB中采用的同步的多尺度结构(a)和所提出的AMB中采用的异步的多尺度结构(b)。这两种方案都包含了两轮多尺度特征提取，且每一轮中低尺度和高尺度的特征是独立获得的。
如图4(a)中所示，MSRB中采用了两种不同尺寸(即3×3和5×5)的卷积窗口分别从低和高两个尺度进行特征提取。由于其中所使用的两种大小的卷积窗口是同时执行的，我们将其称作为一种同步的多尺度结构。相比之下，所提出的AMB创新性地采用了一种异步的多尺度结构，如图4(b)所示。
据观察，MSRB中用于在高尺度提取特征的5×5的卷积窗口在本发明提出的AMB中可以使用两个顺序执行的3×3的窗口来替代，原因是两者的支持域是等价的，如图5所示。尽管这两种方案提取得到的特征不完全相同，但是他们都实现了相同的功能：即从3×3和5×5两种尺度来提取图像特征。在此情况下，所提出的AMB的最大的优势是所需要的参数量相较于原MSRB大大减少。
为了详细描述AMB的处理流程，令Fi-1表示第i个AMB(i＝1,2,…,N)的输入，特殊的F0通过式(1)给出。第i个AMB的输出特征记作Fi，通过如下描述的两轮多尺度特征提取来产生。在第一轮中，首先使用一组3×3的卷积对Fi-1进行低尺度的特征提取：
S11＝σr(Conv3×3(Fi-1))， (4)
其中σr(·)表示ReLU激活函数。随后，使用另一组3×3卷积在S11的基础上进一步提取特征：
S12＝σr(Conv3×3(S11))， (5)
根据之前的描述，上式(5)所生成的特征S12本质上是通过高尺度的特征提取得到的，这与MSRB中使用5×5卷积提取特征在功能上是等价的。
在第二轮中，我们将特征S11和S12进行拼接，并输入到如下所示的另外两组3×3的卷积中：
S21＝σr(Conv3×3([S11,S12]))， (6)
S22＝σr(Conv3×3(S21))， (7)
其中[·,·]代表特征拼接操作。最终，使用一组1×1的卷积对得到的特征S21和S22进行融合，并在此基础上添加与特征Fi-1之间的残差连接来生成当前AMB的最终输出Fi。该过程表示为：
Fi＝Conv1×1([S21,S22)]+Fi-1， (8)
表1给出MSRB和本发明提出的AMB中所使用的网络参数量的比较，用以证明所提出的AMB模块在计算复杂度上更优于现有的MSRB，其中每一行对应于一轮多尺度特征提取操作，符号C代表特征的通道数。可以看出，所提出的AMB相较于MSRB需要更少的模型参数。在第一轮中，MSRB使用了一组3×3卷积和一组5×5卷积，因此共需要(9+25)×C×C＝34C2个参数，而所提出的AMB仅需(9+9)×C×C＝18C2个参数，因为其中只使用了两组3×3卷积。在第二轮中，MSRB和所提出的AMB分别需要(9+25)×2C×2C＝136C2和(9+9)×2C×2C＝72C2个参数。此外，式(8)中使用到的1×1卷积将额外引入4C2个参数。基于本发明中C＝64的设定，所提出的AMB共需要(90+4)×C2＝385,024个参数，仅为MSRB中所需参数个数(170+4)×C2＝712,704的54％。
表1
Figure BDA0003248668920000121
三、本发明提供的自适应特征融合模块AFFB，用于在所述AMNet中执行特征融合。
现有的MSRN方法中使用了一组1×1卷积对得到的图像特征进行融合。在完成训练之后，卷积的参数便会随之固定，因此，该方案在处理不同图像的特征时缺乏足够的灵活性。为了解决这个问题，本发明中提出了一种自适应的特征融合模块AFFB，通过预测具体特征图的重要性，实现带有加权的特征融合，如图6所示。
令U＝[F0,…,FN]代表在不同层次提取的图像特征，本发明提出的AFFB将通过两个步骤来实现对U的自适应融合。首先，根据U中的每一张特征图的内容为其分配相应的权重，过程表示如下：
W＝σs(Full(σr(Full(Pool(U)))))， (9)
其中，Pool(·)代表平均池化操作，通过计算每一张特征图的平均值为其生成一个初始权重；Full(·)代表的是全连接操作，通过使用两次全连接，将初始化的权重映射到一组新权重，记作W；σS(·)是Sigmoid函数，用于将W中所有的值压缩至[0,1]的范围中，从而W的每一个值都可以看作是对应特征图的重要性评分。随后，所得到W将用于对
Figure BDA0003248668920000122
中的特征图进行加权，过程如下：
Figure BDA0003248668920000123
其中，
Figure BDA0003248668920000124
代表点对点的乘法操作。
最后，通过使用一组1×1的卷积来实现对
Figure BDA0003248668920000125
中特征图的融合，过程如下：
Figure BDA0003248668920000131
根据式(9)-(11)，最终融合得到的特征F将包含所有重要的信息，以促进后续式(2)中表示的图像重建阶段生成主观效果更好的单帧图像超分辨率结果。
采用DIV2K数据集对所提出的AMNet方法进行训练。在测试时，选用了四种常用的数据集，包括Set5，Set14，BSDS100以及Urban100。这些数据集中包含多张高分辨率的真实图像，与之对应的低分辨率图像则通过使用bicubic方法下采样生成。
实验代码基于Pytorch-1.7实现，并在一张NVIDIA Titan Xp GPU显卡上运行。在训练阶段，每一批数据包含16个RGB图像对。对于不同×k倍的单帧图像超分辨率情形，图像对中的低分辨率和真实图像的大小分别设置为48×48和48k×48k。为了提升模型效果，本发明中对训练数据进行了数据增强，包括随机旋转与翻转。整个×2放大模型的训练过程包含1,000轮，其中每一轮包含1,000次迭代。在此过程中，选用了Adam方法对模型的参数进行优化，初始学习率设置为10-4，随后每200轮之后减半。训练完成之后的×2的网络模型，将被当作预训练模型加载到其他倍数(如×3和×4)的模型中进行训练。
下面，结合具体的实验结果对本发明的技术方案做进一步验证。
实验1：
为了验证所提供的AMB和AFFB的有效性，设计了四种情形的消融实验用于比较。所有实验都基于Urban100数据集进行，且放大倍数均设置成×2，实验结果如表2中所示。
表2
Figure BDA0003248668920000132
Figure BDA0003248668920000141
情形(a)为现有的MSRN，其中包含8个MSRB模块；在本组实验中，其余情形将以此为基准进行比较。通过将情形(a)中的多个MSRB逐个替换成本发明中提出的AMB模块，我们构造出了情形(b)。从表2中给出的实验结果可以看出，(a)和(b)两种情形能够产生几乎相同的峰值信噪比PSNR结果，分别为32.22dB和32.20dB；但是后者所需要的参数量明显更少，分别为5.03M和3.31M。通过向情形(b)中添加AFFB模块，我们构造了出了情形(c)，得到了0.09dB的PSNR性能提升。根据前文所述，通过增加情形(c)中所使用的AMB模块的数量，我们所设计的AMNet模型可以产生更好的单帧图像超分辨率结果，并同时维持与MSRN相当的计算复杂度。为此，我们构造了情形(d)，将AMB的数量由情形(c)中的8个提升到了14个，得到了所提出的AMNet的最终版本。可以看出，现有的MSRN与我们的AMNet与所包含的总体参数量几乎一致，分别为5.76M和5.93M，但是AMNet达到了更高的PSNR结果。此外，为了全面衡量这几种情形的计算复杂度，表2同时给出了平均乘法累加(multiply-accumulate，简称MAC)操作数以及平均运行时间。可以看出，在这两种指标上，所考虑的四种情形的对比结果基本与基于参数量的对比结果一致。
实验2：
选取了几种现有的基于深度学习的单帧图像超分辨率方法与所提出的AMNet方法进行比较，包括：SRCNN,LapSRN,IDN,NLRN,MSRN,IMDN,CFSRCNN,MSICF和MIPN。其中MSRN，MSICF以及MIPN均是近年提出的采用了多尺度策略的方法。
两种常用的图像质量评估方法，即PSNR和SSIM，对现有的单帧图像超分辨率方法进行客观评估。对于彩色图像，相应的指标在其亮度通道计算而得。实验结果如表3中所示，可以看出，所提供的AMNet方法在大部分情况下明显优于其余方法，在PSNR和SSIM上均取得了较高的指标。
表3.
Figure BDA0003248668920000151
为了进一步展示所提供方法的优势，图7中给出了一些不同放大倍数情况下生成的高分辨率图像，用于进行主观上的比较。由于CFSRCNN,MSICF和MIPN这三种方法并没有公开其实验结果，因此主观比较仅在本发明所提供AMNet与其他六种方法中展开。从图7中可以看出，参与比较的大部分现有的方法所生成的结果图像都带有严重的人工伪迹，而本发明所提供AMNet方法并没有这些问题，展现出了更好的视觉效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种图像超分辨率重建的方法，其特征在于，包括以下步骤：
输入的低分辨率图像，从低分辨率图像中提取基础图像特征；
以基础图像特征作为初始输入，使用多个顺序执行的AMB模块依次提取更高层次的特征，获得多个高层次特征输出；
将基础图像特征与多个高层次特征输出融合，获得融合特征，包括：构建自适应的特征融合模块AFFB，通过AFFB预测具体特征图的重要性以实现带有加权的特征融合；
通过融合特征重建图像，获得重建的高分辨率的图像输出；
其中，所述AMB模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
所述第一卷积层和所述第三卷积层进行低尺度提取，所述第二卷积层和第四卷积层进行高尺度提取；
所述第一卷积层、第三卷积层和第五卷积层依次连接；所述第二卷积层的输入端与所述第一卷积层的输出端连接，所述第二卷积层的输出端第三卷积层的输入端连接；所述第四卷积层的输入端与第三卷积层的输出端连接，所述第四卷积层的输出端与所述第五卷积层的输入端连接；
所述第五卷积层将输入的特征进行融合，所述第五卷积层之后还设置有残差连接层，所述残差连接层与所述第一卷积层的输入端连接。
2.根据权利要求1所述的图像超分辨率重建的方法，其特征在于，所述第一卷积层、第二卷积层、第三卷积层和第四卷积层皆为3×3卷积层，所述第五卷积层为1×1卷积层。
3.根据权利要求1所述的图像超分辨率重建的方法，其特征在于，所述以基础图像特征作为初始输入，使用多个顺序执行的AMB模块依次提取更高层次的特征，获得多个高层次特征输出，包括：
令Fi-1表示第i个AMB的输入,i＝1,2,…,N，F0为基础图像特征，第i个AMB的输出特征记作Fi；
使用一组3×3的卷积对Fi-1进行低尺度的特征提取：
S11＝σr(Conv3×3(Fi-1))
其中，σr(·)表示ReLU激活函数；
使用另一组3×3卷积在S11的基础上进一步提取特征：
S12＝σr(Conv3×3(S11))
将特征S11和S12进行拼接，并输入到另外两组3×3的卷积中：
S21＝σr(Conv3×3([S11,S12]))，
S22＝σr(Conv3×3(S21))，
其中，[·,·]代表特征拼接操作；
使用一组1×1的卷积对得到的特征S21和S22进行融合，并在此基础上添加与特征Fi-1之间的残差连接来生成当前AMB的最终输出Fi：
Fi＝Conv1×1([S21,S22])+Fi-1。
4.根据权利要求1所述的图像超分辨率重建的方法，其特征在于，构建自适应的特征融合模块AFFB，通过AFFB预测具体特征图的重要性以实现带有加权的特征融合，具体包括：
令U＝[F0,…,FN]代表在不同层次提取的图像特征，F0为基础图像特征，第i个AMB的输出特征记作Fi，i＝1,2,…,N；
为U中的每一张特征图的内容为其分配相应的权重W：
W＝σs(Full(σr(Full(Pool(U)))))，
其中，Pool(·)代表平均池化操作，通过计算每一张特征图的平均值为其生成一个初始权重；Full(·)代表的是全连接操作，通过使用两次全连接，将初始化的权重映射到一组新权重，记作W；σs(·)是Sigmoid函数，用于将W中所有的值压缩至[0,1]的范围中；
将所得到W用于对
Figure FDA0003918130470000031
中的特征图进行加权：
Figure FDA0003918130470000032
其中，
Figure FDA0003918130470000033
代表点对点的乘法操作；
通过使用一组1×1的卷积来实现对
Figure FDA0003918130470000034
中特征图的融合，获得融合特征F：
Figure FDA0003918130470000035
5.根据权利要求1所述的图像超分辨率重建的方法，其特征在于，所述通过融合特征重建图像，获得重建的高分辨率的图像输出，包括：
采用了一种由两组3×3卷积操作组成的图像重建模块来生成高分辨率的图像Y：
Y＝Conv3×3(P(Conv3×3(F)))，
其中，P(·)代表的是像素重排序操作，F为融合特征。
6.根据权利要求1所述的图像超分辨率重建的方法，其特征在于，所述通过融合特征重建图像，获得重建的高分辨率的图像输出，之后还包括：
计算重建的高分辨率的图像与相对应的真实图像之间的损失函数；
通过在训练过程中最小化损失函数以更新图像超分辨率重建模型的参数。
7.一种图像超分辨率重建系统，其特征在于，包括：
基础图像特征提取模块，所述基础图像特征提取模块用于从低分辨率图像中提取基础图像特征；
高层次特征提取模块，所述高层次特征提取模块以基础图像特征作为初始输入，使用多个顺序执行的AMB模块依次提取更高层次的特征，获得多个高层次特征输出；
特征融合模块，所述特征融合模块将基础图像特征与多个高层次特征输出融合，获得融合特征，包括：构建自适应的特征融合模块AFFB，通过AFFB预测具体特征图的重要性以实现带有加权的特征融合；
图像重建模块，所述图像重建模块通过融合特征重建图像，获得重建的高分辨率的图像输出；
其中，所述AMB模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
所述第一卷积层和所述第三卷积层进行低尺度提取，所述第二卷积层和第四卷积层进行高尺度提取；
所述第一卷积层、第三卷积层和第五卷积层依次连接；所述第二卷积层的输入端与所述第一卷积层的输出端连接，所述第二卷积层的输出端第三卷积层的输入端连接；所述第四卷积层的输入端与第三卷积层的输出端连接，所述第四卷积层的输出端与所述第五卷积层的输入端连接；
所述第五卷积层将输入的特征进行融合，所述第五卷积层之后还设置有残差连接层，所述残差连接层与所述第一卷积层的输入端连接。
CN202111039803.4A 2021-09-06 2021-09-06 一种图像超分辨率重建的方法及系统 Active CN113674156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111039803.4A CN113674156B (zh) 2021-09-06 2021-09-06 一种图像超分辨率重建的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111039803.4A CN113674156B (zh) 2021-09-06 2021-09-06 一种图像超分辨率重建的方法及系统

Publications (2)

Publication Number Publication Date
CN113674156A CN113674156A (zh) 2021-11-19
CN113674156B true CN113674156B (zh) 2022-12-30

Family

ID=78548495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111039803.4A Active CN113674156B (zh) 2021-09-06 2021-09-06 一种图像超分辨率重建的方法及系统

Country Status (1)

Country Link
CN (1) CN113674156B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564649B (zh) * 2022-09-27 2023-07-28 苏州大学 一种图像超分辨率重建方法、装置及设备
CN115578260B (zh) * 2022-10-08 2023-07-25 苏州大学 针对图像超分辨率的方向解耦的注意力方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI624804B (zh) * 2016-11-07 2018-05-21 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
CN111161150B (zh) * 2019-12-30 2023-06-23 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution
CN111047516B (zh) * 2020-03-12 2020-07-03 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111461983B (zh) * 2020-03-31 2023-09-19 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111553861B (zh) * 2020-04-29 2023-11-24 苏州大学 一种图像超分辨率重构方法、装置、设备及可读存储介质
CN111768340B (zh) * 2020-06-30 2023-12-01 苏州大学 一种基于密集多路径网络的超分辨图像重构方法和系统
CN111861961B (zh) * 2020-07-25 2023-09-22 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN112862689B (zh) * 2021-03-09 2023-02-28 南京邮电大学 一种图像超分辨率重建方法及系统

Also Published As

Publication number Publication date
CN113674156A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN108550115B (zh) 一种图像超分辨率重建方法
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN113674156B (zh) 一种图像超分辨率重建的方法及系统
CN112102177B (zh) 基于压缩与激励机制神经网络的图像去模糊方法
CN113240580A (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN111986075B (zh) 一种目标边缘清晰化的风格迁移方法
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN113689517B (zh) 一种多尺度通道注意力网络的图像纹理合成方法及系统
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN115564649B (zh) 一种图像超分辨率重建方法、装置及设备
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN109636721A (zh) 基于对抗学习和注意力机制的视频超分辨率方法
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN110706214A (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN111835983A (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN113421187B (zh) 一种超分辨率重建方法、系统、存储介质、设备
CN110197183A (zh) 一种图像盲去噪的方法、装置和计算机设备
CN114581300A (zh) 一种图像超分辨率重建方法及装置
CN116188509A (zh) 一种高效率三维图像分割方法
CN115797176A (zh) 一种图像超分辨率重建方法
CN113781616B (zh) 一种基于神经网络的面部动画绑定加速方法
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN112767255B (zh) 基于特征分离融合网络的图像超分辨率重构方法及系统
CN111161134A (zh) 基于伽马变换的图像艺术风格转换方法
CN116883265A (zh) 一种基于增强特征融合机制的图像去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231101

Address after: Room 4908, building 2, dongfangzhimen building, 199 Xinggang street, Suzhou Industrial Park, Suzhou, Jiangsu 215000

Patentee after: Suzhou tengshuicheng Technology Co.,Ltd.

Address before: No. 188, Shihu West Road, Wuzhong District, Suzhou City, Jiangsu Province

Patentee before: SOOCHOW University

TR01 Transfer of patent right