CN114022363A - 图像超分辨率重建方法、装置以及计算机可读存储介质 - Google Patents

图像超分辨率重建方法、装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN114022363A
CN114022363A CN202111374370.8A CN202111374370A CN114022363A CN 114022363 A CN114022363 A CN 114022363A CN 202111374370 A CN202111374370 A CN 202111374370A CN 114022363 A CN114022363 A CN 114022363A
Authority
CN
China
Prior art keywords
feature map
image
branch
module
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111374370.8A
Other languages
English (en)
Inventor
林锵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Desige Intelligent Technology Co ltd
Original Assignee
Shenzhen Desige Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Desige Intelligent Technology Co ltd filed Critical Shenzhen Desige Intelligent Technology Co ltd
Priority to CN202111374370.8A priority Critical patent/CN114022363A/zh
Publication of CN114022363A publication Critical patent/CN114022363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像超分辨率重建方法以及装置，所述方法包括，S10:获取RGB三通道LR图像；S20:将RGB三通道LR图像通过第一卷积层以获得图像浅层特征图；S30:将图像浅层特征图输入到残差模块以得到残差特征图；S40:将残差特征图输入到位置注意力模块以获取融合后的特征图；S50:将融合后的特征图输入到上采样模块中以获得重建图像。所述装置包括：图像获取模块，用于获取RGB三通道LR图像；第一卷积层模块，用于将RGB三通道LR图像卷积以得到图像浅层特征图；残差模块，用于将图像浅层特征图调整为残差特征图；位置注意力模块，用于利用图像所有位置处的特征的加权和来选择性的聚合每个位置处的特征；上采样模块，用于将融合后的特征图进行上采样获得重建图像。

Description

图像超分辨率重建方法、装置以及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法、装置以及计算机可读存储介质。
背景技术
图像超分辨率重建是由单帧或多帧低分辨率(Low Resolution，LR)图像重构具有良好视觉效果和更加接近真实图像的高分辨率(High Resolution，HR)图像或序列的技术。目前，图像的超分辨率重建算法可以分为三类：基于插值的超分辨率算法、基于重建的超分辨率算法以及基于学习的超分辨率算法。其中，基于学习的超分辨率重建算法可获得相对较好的重建效果，已经成为当前超分辨率重建研究的热点，但传统的基于学习的超分辨率重建算法在特征提取与表达能力有限，导致重建得到的图像效果不佳，不能满足人们对高质量图像的要求。
近年来，深度学习技术在图像处理领域取得了巨大成功，与其它传统的基于学习的方法相比，它端到端的训练模式和超强的特征提取与学习能力有很大的优越性。因此，越来越多的学者将深度学习应用到图像超分辨率重建研究中。但该类方法普遍存在以下三个缺陷：(1)有些方法必须先根据模型所需的图像尺寸大小，对LR图像进行上采样插值后再输入到模型进行训练，这不但会丢失和更改原图像细节信息，还极大地增加了计算量，例如VDSR风格的超分辨率重建方法架构；(2)卷积神经网络模型的重构性能对结构的微小变化很敏感，简单地增加模型层数量，会导致模型存在过拟合和消失梯度问题；(3)对于基于通道注意力机制的卷积神经网络图像超分辨率重建方法，该类方法通过整合所有通道映射中的相关性特征，来选择性的来强调不同通道之间的相互依赖的性，例如方法RCAN。该类方法虽然能建立不同特征图的上下文依赖关系，但却忽略了利用图像全局所有位置对象在空间维度的相互依赖性，而图像全局所有位置对象在空间维度的相互依赖性对图像超分辨率重建有着非常重要的作用。因此需要一种能够提高重建图像的质量的图像超分辨率重建方法。
发明内容
本发明提供了一种图像超分辨率重建方法、装置以及计算机可读存储介质，旨在解决背景技术中提及的技术问题。
本发明首先提供了一种图像超分辨率重建方法，所述方法包括以下步骤：
S10:获取RGB三通道LR图像；
S20:将所述RGB三通道LR图像通过第一卷积层，以获得图像浅层特征图；
S30:将所述图像浅层特征图输入到残差模块，以得到残差特征图；
S40:将所述残差特征图输入到位置注意力模块，以获取融合后的特征图，所述步骤S40具体包括：
S40a：将所述残差特征图通过第二卷积层，以获得初始特征图，
S40b：将所述初始特征图分三支路分别输入第三卷积层，获得第一支路特征图、第二支路特征图和第三支路特征图，其中所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均为C×H×W，C为特征图通道数量，H为特征图高度，W为特征图宽度；
S40c：将所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均调整为C×N，并将所述第一支路特征图进行转置以使其特征维度为N×C，其中N＝H×W；
S40d：将所述第一支路特征图与所述第二支路特征图进行矩阵乘法，获得相似性矩阵，
S40e：将所述相似性矩阵通过softmax层计算得到位置注意力模板矩阵，其中所述位置注意力模板矩阵即是图像中第i个位置在第j个位置上的影响效应，
S40f：将所述第三支路特征图与所述位置注意力模板矩阵的转置矩阵进行相乘，以获得显著性纹理特征图，
S40g：将所述显著性纹理特征图和所述初始特征图进行图像对应像素的相加，以得到融合后的特征图；
S50:将所述融合后的特征图输入到上采样模块，以获得重建图像。
进一步的，包括16个所述残差模块，所述步骤S20具体包括：
将所述图像浅层特征图输入到第一个残差模块，以得到第一残差特征图；
将所述第一残差特征图输入到第二个残差模块中，重复上述步骤以得到第二残差特征图；再将其输入到下一个残差模块中直至输入到最后一个残差模块，以得到最终的残差特征图。
进一步的，所述第一卷积层的卷积核大小为3×3，通道数为64。
进一步的，所述残差模块包括两层残差卷积层，且两个所述残差卷积层之间设有用于作为激活函数的整流线性单元，且所述残差模块内部采用局部残差连接。
进一步的，所述残差卷积层的卷积核大小为3×3，通道数为64。
进一步的，所述上采样模块包括三个第四卷积层和两个2倍上采样层，任两个所述第四卷积层之间设有一个2倍上采样层，两个2倍上采样层之间设有一个第四卷积层。
进一步的，在将所述融合后的特征图输入到上采样模块之后，所述方法还包括：采用L1损失函数优化整个模型以重建高分辨率图像。
进一步的，所述步骤S50还包括：
将所述融合后的特征图和所述图像浅层特征图进行图像对应像素的相加，再将融合得到的特征图输入到上采样模块中。
本发明还提供了一种图像超分辨率重建装置，包括：
图像获取模块，用于获取RGB三通道LR图像；
第一卷积层模块，用于将所述RGB三通道LR图像卷积以得到图像浅层特征图；
残差模块，用于将所述图像浅层特征图调整为残差特征图；
位置注意力模块，用于利用图像所有位置处的特征的加权和来选择性的聚合每个位置处的特征，具体包括：
将所述残差特征图通过第二卷积层，以获得初始特征图，
将所述初始特征图分三支路分别输入第三卷积层，获得第一支路特征图、第二支路特征图和第三支路特征图，其中所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均为C×H×W，C为特征图通道数量，H为特征图高度，W为特征图宽度；
将所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均调整为C×N，并将所述第一支路特征图进行转置以使其特征维度为N×C，其中N＝H×W；
将所述第一支路特征图与所述第二支路特征图进行矩阵乘法，获得相似性矩阵，
将所述相似性矩阵通过softmax层计算得到位置注意力模板矩阵，其中所述位置注意力模板矩阵即是图像中第i个位置在第j个位置上的影响效应，
将所述第三支路特征图与所述位置注意力模板矩阵的转置矩阵进行相乘，以获得显著性纹理特征图，
将所述显著性纹理特征图和所述初始特征图进行图像对应像素的相加，以得到融合后的特征图；
上采样模块，用于将所述融合后的特征图进行上采样并重建以获得重建图像。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理执行时实现上述的图像超分辨率重建方法。
与现有技术相比，本发明所具有的有益效果是：
(1)本发明通过直接输入LR图像进行重建，保护和维持了原图像的基础细节纹理特征和空间维度特征，极大地降低了模型训练和测试时的计算量；
(2)采用位置注意力模块实现了利用图像所有位置处的特征的加权和来选择性的聚合每个位置处的特征，充分建立了图像全局所有位置特征在空间维度的相互依赖性，增强了模型利用全局上下文特征的能力，提高了重建图像的质量；
(3)采用局域残差模块和全域残差连接嵌套式设计，实现局域和全域特征的相互融合，有效解决了传统算法中存在的梯度消失现象，并隐含建立模型全域的长程依赖性，提高了算法的精度。
应当理解的是，以上的一般描述和后面的细节描述仅仅是示例性和解释性的，并不能限制本公开。
附图说明
图1是本发明提供的一实施例的图像超分辨率重建方法的步骤流程图。
图2是基于图1实施例的图像超分辨率重建方法的系统模型图。
图3是本发明提供的一实施例的残差模块的示意图。
图4是本发明提供的一实施例的位置注意模块的示意图。
图5是本发明提供的一实施例的上采样模块的示意图。
图6是图1实施例的方法训练时的损失函数曲线图。
图7是图1实施例的方法重建采用缩放尺度因子为×4模糊后的公共数据集Set5的测试结果曲线图。
图8是不同方法对缩放尺度因子为×4的超分辨率重建图的对比效果图。
图9是本发明提供的一实施例的图像超分辨率重建装置的模块图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
随着数字多媒体技术的快速发展，数字图像成为信息传递的重要表现形式。由于图像分辨率的高低、携带有用信息量的多少直接关系到人们对信息认知程度的深浅，这使得人们对图像和视频质量的要求越来越高。然而，在实际获取数字图像的过程中，会受到诸多因素的影响导致获取到的图像质量下降，例如成像系统内外各种噪声，再加上一些特殊场合需要对数据进行传输、下采样或者压缩保存，使图像的分辨率及质量进一步退化，人们获取的有价值的图像细节信息大大减少。所以如何有效地提高图像的分辨率及质量以满足生活、工业应用需求是需要解决的一个重要问题。
一般地，为提高图像的分辨率，可通过提高硬件性能的方式有两种：一是通过制造工艺的更新换代，例如增大CCD或CMOS传感器上传感元件的密度；二是通过扩大成像芯片的尺寸来增大传感元件的绝对数目。但这两种方式都存在着瓶颈，第一种方法无法无限制地减小传感元件的尺寸，因为传感元件尺寸过小会导致散粒噪声效应，从而抵消由传感元件密度增大获得的分辨率提升效果；第二种方式会造成电容增大和电荷传输率下降，这反而又限制了分辨率的进一步提升。而且从商业角度考虑，市场上高精度光学设备和高质量的传感器价格较高，大大增加了企业的生产成本。所以，通过改善硬件性能来提升图像分辨率的途径存在提升空间有限、成本高、易受环境因素制约的缺陷，不能很好地适应当前应用的发展趋势。
为了打破在硬件方面的局限，从算法入手来提高图像的分辨率。图像超分辨率重建是由单帧或多帧低分辨率(Low Resolution，LR)图像重构具有良好视觉效果和更加接近真实图像的高分辨率(High Resolution，HR)图像或序列的技术。目前，图像的超分辨率重建算法可以分为三类：基于插值的超分辨率算法、基于重建的超分辨率算法以及基于学习的超分辨率算法。其中，基于学习的超分辨率重建算法可获得相对较好的重建效果，已经成为当前超分辨率重建研究的热点，但传统的基于学习的超分辨率重建算法在特征提取与表达能力有限，导致重建得到的图像效果不佳，不能满足人们对高质量图像的要求。
近年来，深度学习技术在图像处理领域取得了巨大成功，与其它传统的基于学习的方法相比，它端到端的训练模式和超强的特征提取与学习能力有很大的优越性。因此，越来越多的学者将深度学习应用到图像超分辨率重建研究中。但该类方法普遍存在以下三个缺陷：(1)有些方法必须先根据模型所需的图像尺寸大小，对LR图像进行上采样插值后再输入到模型进行训练，这不但会丢失和更改原图像细节信息，还极大地增加了计算量，例如VDSR风格的超分辨率重建方法架构；(2)卷积神经网络模型的重构性能对结构的微小变化很敏感，简单地增加模型层数量，会导致模型存在过拟合和消失梯度问题；(3)对于基于通道注意力机制的卷积神经网络图像超分辨率重建方法，该类方法通过整合所有通道映射中的相关性特征，来选择性的来强调不同通道之间的相互依赖的性，例如方法RCAN。该类方法虽然能建立不同特征图的上下文依赖关系，但却忽略了利用图像全局所有位置对象在空间维度的相互依赖性，这对图像超分辨率重建有着非常重要的作用。
基于现有的超分辨率重建算法的缺陷，请参阅图1-2，本发明首先提供了一种图像超分辨率重建方法，该方法基于第一卷积层、残差模块(Residual ConvolutionBlock，RCB)、位置注意力模块(Position Attention Block，PAB)和上采样插值模块(UpsampleBlock，UpsampleB)实现，所述方法包括以下步骤：
S10:获取RGB三通道LR图像。
本发明中通过直接输入LR图像进行重建，保护和维持了原图像的基础细节纹理特征和空间维度特征，极大地降低了模型训练和测试时的计算量。
具体的，输入到第一卷积层的图像要先经过数据预处理，本发明训练时采用的数据集为公共数据集DIV2K，数据预处理步骤包括：
首先将高分辨率RGB图像YH采用缩放尺度为×4的因子进行下采样得到低分辨率图像YL；再将低分辨率图像YL不重叠裁剪为48×48大小的子图像块，记为YL-sub，再将YH不重叠裁剪成与YL-sub相对应的子图像块作为标签(Ground Truth)，记为YH-sub；进而将YL-sub对应的YH-sub图像对分别进行相对应的图像的随机水平、90°旋转来做数据扩充处理；最后将获得的扩充后的数据按照YL-sub—YH-sub对应的图像对形式保存，作为卷积神经网络输入层的数据，即是S10中提及的RGB三通道LR图像。
S20:将所述RGB三通道LR图像通过第一卷积层，以获得图像浅层特征图。
具体的，本发明的一种实施例中，所述第一卷积层的卷积核大小为3×3，通道数为64；将输入的RGB三通道LR图像，通过第一层卷积核为3×3大小、通道数为64的卷积层，获得提取的图像浅层特征记为Feature_Conv1，再将其输入残差模块。
S30:将所述图像浅层特征图输入到残差模块，以得到残差特征图。
本发明的一种实施例中，所述图像超分辨率重建方法中特征图需要经过16个所述残差模块的调整，将所述图像浅层特征图输入到第一个残差模块，以得到第一残差特征图；将所述第一残差特征图输入到第二个残差模块中，重复上述步骤以得到第二残差特征图；再将其输入到下一个残差模块中直至输入到最后一个残差模块，以得到最终的残差特征图。
如图3所示，所述残差模块包括两层卷积核大小为3×3，通道数为64的残差卷积层，且两个所述残差卷积层之间设有用于作为激活函数的整流线性单元(RELU)，且所述残差模块内部采用局部残差连接。
S40:将所述残差特征图输入到位置注意力模块，以获取融合后的特征图，所述步骤S40具体包括：
S40a：将所述残差特征图通过第二卷积层，以获得初始特征图，记为Feature_PAB_Conv。
如图3所示，
S40b：将所述初始特征图分三支路分别输入第三卷积层，获得第一支路特征图F_a、第二支路特征图F_b和第三支路特征图F_c，其中所述第一支路特征图F_a、所述第二支路特征图F_b和所述第三支路特征图F_c的特征维度均为C×H×W，C为特征图通道数量，H为特征图高度，W为特征图宽度。
S40c：将所述第一支路特征图F_a、所述第二支路特征图F_b和所述第三支路特征图F_c的特征维度均调整为C×N，记为F_a_1、F_b_1和F_c_1，并将F_a_1进行转置以使其特征维度为N×C，记为F_a_2，其中N＝H×W。
S40d：将F_a_2与F_b_1进行矩阵乘法，获得相似性矩阵F_similarity，公式如下：
F_similarity＝F_a_2·F_b_1，此时相似性矩阵F_similarity的特征维度为N×N。
S40e：将所述相似性矩阵F_similarity通过softmax层计算得到位置注意力模板矩阵S，其中所述位置注意力模板矩阵S即是图像中第i个位置在第j个位置上的影响效应，公式如下：
Figure BDA0003363588720000101
其中，S∈RN×N，i为第i个位置，N＝H×W。
S40f：将F_c_1与所述位置注意力模板矩阵S的转置矩阵进行相乘，以获得显著性纹理特征图并记为F_s，其中F_c_1∈RC×N，计算公式如下：
Figure BDA0003363588720000102
S40g：将所述显著性纹理特征图F_s和所述初始特征图Feature_Conv1进行图像对应像素的相加，实现不同阶段的特征图相互融合，则位置注意力模块最终得到的融合后的特征图Feature_PAB如下所示：
Feature_PAB＝F_s+Feature_PAB_Conv。
本发明中，步骤S40采用位置注意力模块实现了利用图像所有位置处的特征的加权和来选择性的聚合每个位置处的特征，充分建立了图像全局所有位置特征在空间维度的相互依赖性，增强了模型利用全局上下文特征的能力，提高了重建图像的质量。
S50:将所述融合后的特征图Feature_PAB输入到上采样模块，以获得重建图像。
如图5所示，所述上采样模块包括三个第四卷积层和两个2倍上采样层，任两个所述第四卷积层之间设有一个2倍上采样层，两个2倍上采样层之间设有一个第四卷积层；最后采用L1损失函数优化整个模型以重建高分辨率图像。
在本发明中，采用局域残差模块和全域残差连接嵌套式设计，实现局域和全域特征的相互融合，有效缓解模型梯度消失现象，并隐含建立模型全域的长程依赖性，提高了算法的精度。
优选的，本发明的一种实施例中，所述步骤S50还包括：
将所述融合后的特征图和所述图像浅层特征图进行图像对应像素的相加，再将融合得到的特征图输入到上采样模块中。
本发明采用峰值信噪比(PSNR)和结构相似性信噪比(SSIM)作为评价指标作为评价指标。图6显示了该模型在训练时损失函数值的变化曲线，图7为该模型训练时在公共数据集Set5上，采用缩放尺度因子为×4模糊后利用该模型重建的测试结果变化曲线，图8为不同方法对缩放尺度因子为×4的超分辨率重建对比图。
由图6训练该模型时统计的损失函数曲线可以看出，该模型仅在训练到第50个Epoch后损失函数曲线下降就趋于平缓，说明该模型收敛速度较快，便于实际应用。
图7为该模型重建采用缩放尺度因子为×4模糊后的公共数据集Set5的测试结果曲线，由图7统计的该模型重建采用缩放尺度因子为×4模糊后的公共数据集Set5的测试结果曲线可以看出，该模型在迭代训练50个Epoch后重建结果曲线趋于稳定，且波动较小。而参考文献Dong C,Loy C C,He K,et al.(2015)Image super-resolution using deepconvolutional networks[J].IEEE transactions on pattern analysis and machineintelligence,38(2):295-307指出其在迭代5×108次后才达到饱和。所以，该模型的平均峰值信噪比的收敛速度都比其快。该模型独特的结构加快了收敛速度。
从图8中可以看出，本发明可以恢复精确的图像，勾勒出清晰生动的轮廓，效果要优于其他方法。
在一种实施例中，本发明提供一种图像超分辨率重建装置100，所述装置100存储有多条指令，所述指令适于由处理器加载并执行图像超分辨率重建方法，包括：
S10:获取RGB三通道LR图像。
S20:将所述RGB三通道LR图像通过第一卷积层，以获得图像浅层特征图。
S30:将所述图像浅层特征图输入到残差模块，以得到残差特征图。
S40:将所述残差特征图输入到位置注意力模块，以获取融合后的特征图，所述步骤S40具体包括：
S40a：将所述残差特征图通过第二卷积层，以获得初始特征图。
S40b：将所述初始特征图分三支路分别输入第三卷积层，获得第一支路特征图、第二支路特征图和第三支路特征图，其中所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均为C×H×W，C为特征图通道数量，H为特征图高度，W为特征图宽度。
S40c：将所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均调整为C×N，并将所述第一支路特征图进行转置以使其特征维度为N×C，其中N＝H×W。
S40d：将所述第一支路特征图与所述第二支路特征图进行矩阵乘法，获得相似性矩阵。
S40e：将所述相似性矩阵通过softmax层计算得到位置注意力模板矩阵，其中所述位置注意力模板矩阵即是图像中第i个位置在第j个位置上的影响效应。
S40f：将所述第三支路特征图与所述位置注意力模板矩阵的转置矩阵进行相乘，以获得显著性纹理特征图。
S40g：将所述显著性纹理特征图和所述初始特征图进行图像对应像素的相加，以得到融合后的特征图。
S50:将所述融合后的特征图输入到上采样模块，以获得重建图像。
为了便于描述，将所述图像超分辨率重建装置100拆分为功能模块架构，如图9所示，包括：
图像获取模块10，用于获取RGB三通道LR图像.
第一卷积层模块20，用于将所述RGB三通道LR图像卷积以得到图像浅层特征图。
残差模块30，用于将所述图像浅层特征图调整为残差特征图。
位置注意力模块40，用于利用图像所有位置处的特征的加权和来选择性的聚合每个位置处的特征，具体包括：
将所述残差特征图通过第二卷积层，以获得初始特征图。
将所述初始特征图分三支路分别输入第三卷积层，获得第一支路特征图、第二支路特征图和第三支路特征图，其中所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均为C×H×W，C为特征图通道数量，H为特征图高度，W为特征图宽度；
将所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均调整为C×N，并将所述第一支路特征图进行转置以使其特征维度为N×C，其中N＝H×W；
将所述第一支路特征图与所述第二支路特征图进行矩阵乘法，获得相似性矩阵；
将所述相似性矩阵通过softmax层计算得到位置注意力模板矩阵，其中所述位置注意力模板矩阵即是图像中第i个位置在第j个位置上的影响效应；
将所述第三支路特征图与所述位置注意力模板矩阵的转置矩阵进行相乘，以获得显著性纹理特征图；
将所述显著性纹理特征图和所述初始特征图进行图像对应像素的相加，以得到融合后的特征图。
上采样模块50，用于将所述融合后的特征图进行上采样以获得重建图像。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理执行时实现上述的图像超分辨率重建方法。
应当提及的是本发明整个训练学习、测试验证的过程都在NVIDIA GeForceRTX2080ti显卡上进行，软件平台为Python3.7、Pytorch深度学习框架；而且在训练过程中，模型采用ADAM优化器，batch_size大小设置为32，初始化学习率为10-4，每隔2×105衰减一半。
说明书附图中所标注的“conv”代表卷积，“RELU”是线性整流函数，“reshape”是将指定的矩阵变换成特定维数矩阵的一种函数，“transpose”是转置函数，“Shuflle”代表上采样算法，其均是本领域常用的标准术语。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例所述的应用程序多开方法中的全部或部分流程，也可以通过计算机程序来指相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上文方法实施例所述的图像超分辨率重建方法的步骤。其中，所述算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本申请的说明书和权利要求书中，词语“包括/包含”和词语“具有/包括”及其变形，用于指定所陈述的特征、数值、步骤或部件的存在，但不排除存在或添加一个或多个其他特征、数值、步骤、部件或它们的组合。
本发明的一些特征，为阐述清晰，分别在不同的实施例中描述，然而，这些特征也可以结合于单一实施例中描述。相反，本发明的一些特征，为简要起见，仅在单一实施例中描述，然而，这些特征也可以单独或以任何合适的组合于不同的实施例中描述。
以上对本发明的图像超分辨率重建动方法及装置的各个具体实施方式进行了具体描述。最后，应当说明的是，以上各具体实施方式仅用以说明本发明的技术方案而非对其进行限制。尽管参照上述具体实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解，依然可以对本发明的具体实施方式进行修改或对部分技术特征进行等同替换，而在不脱离本发明的技术方案的精神下，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (10)

1.一种图像超分辨率重建方法，其特征在于，所述方法包括以下步骤：
S10:获取RGB三通道LR图像；
S20:将所述RGB三通道LR图像通过第一卷积层，以获得图像浅层特征图；
S30:将所述图像浅层特征图输入到残差模块，以得到残差特征图；
S40:将所述残差特征图输入到位置注意力模块，以获取融合后的特征图，所述步骤S40具体包括：
S40a：将所述残差特征图通过第二卷积层，以获得初始特征图，
S40b：将所述初始特征图分三支路分别输入第三卷积层，获得第一支路特征图、第二支路特征图和第三支路特征图，其中所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均为C×H×W，C为特征图通道数量，H为特征图高度，W为特征图宽度；
S40c：将所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均调整为C×N，并将所述第一支路特征图进行转置以使其特征维度为N×C，其中N＝H×W；
S40d：将所述第一支路特征图与所述第二支路特征图进行矩阵乘法，获得相似性矩阵，
S40e：将所述相似性矩阵通过softmax层计算得到位置注意力模板矩阵，其中所述位置注意力模板矩阵即是图像中第i个位置在第j个位置上的影响效应，
S40f：将所述第三支路特征图与所述位置注意力模板矩阵的转置矩阵进行相乘，以获得显著性纹理特征图，
S40g：将所述显著性纹理特征图和所述初始特征图进行图像对应像素的相加，以得到融合后的特征图；
S50:将所述融合后的特征图输入到上采样模块，以获得重建图像。
2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，包括16个所述残差模块，所述步骤S20具体包括：
将所述图像浅层特征图输入到第一个残差模块，以得到第一残差特征图；
将所述第一残差特征图输入到第二个残差模块中，重复上述步骤以得到第二残差特征图；再将其输入到下一个残差模块中直至输入到最后一个残差模块，以得到最终的残差特征图。
3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述第一卷积层的卷积核大小为3×3，通道数为64。
4.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述残差模块包括两层残差卷积层，且两个所述残差卷积层之间设有用于作为激活函数的整流线性单元，且所述残差模块内部采用局部残差连接。
5.根据权利要求4所述的图像超分辨率重建方法，其特征在于，所述残差卷积层的卷积核大小为3×3，通道数为64。
6.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述上采样模块包括三个第四卷积层和两个2倍上采样层，任两个所述第四卷积层之间设有一个2倍上采样层，两个2倍上采样层之间设有一个第四卷积层。
7.根据权利要求1所述的图像超分辨率重建方法，其特征在于，在将所述融合后的特征图输入到上采样模块之后，所述方法还包括：采用L1损失函数优化整个模型以重建高分辨率图像。
8.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述步骤S50还包括：
将所述融合后的特征图和所述图像浅层特征图进行图像对应像素的相加，再将融合得到的特征图输入到上采样模块中。
9.一种图像超分辨率重建装置，其特征在于，包括：
图像获取模块，用于获取RGB三通道LR图像；
第一卷积层模块，用于将所述RGB三通道LR图像卷积以得到图像浅层特征图；
残差模块，用于将所述图像浅层特征图调整为残差特征图；
位置注意力模块，用于利用图像所有位置处的特征的加权和来选择性的聚合每个位置处的特征，具体包括：
将所述残差特征图通过第二卷积层，以获得初始特征图，
将所述初始特征图分三支路分别输入第三卷积层，获得第一支路特征图、第二支路特征图和第三支路特征图，其中所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均为C×H×W，C为特征图通道数量，H为特征图高度，W为特征图宽度，
将所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均调整为C×N，并将所述第一支路特征图进行转置以使其特征维度为N×C，其中N＝H×W，
将所述第一支路特征图与所述第二支路特征图进行矩阵乘法，获得相似性矩阵，
将所述相似性矩阵通过softmax层计算得到位置注意力模板矩阵，其中所述位置注意力模板矩阵即是图像中第i个位置在第j个位置上的影响效应，
将所述第三支路特征图与所述位置注意力模板矩阵的转置矩阵进行相乘，以获得显著性纹理特征图，
将所述显著性纹理特征图和所述初始特征图进行图像对应像素的相加，以得到融合后的特征图；
上采样模块，用于将所述融合后的特征图进行上采样并重建以获得重建图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理执行时实现如权利要求1-8中任一项所述的图像超分辨率重建方法。
CN202111374370.8A 2021-11-19 2021-11-19 图像超分辨率重建方法、装置以及计算机可读存储介质 Pending CN114022363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111374370.8A CN114022363A (zh) 2021-11-19 2021-11-19 图像超分辨率重建方法、装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111374370.8A CN114022363A (zh) 2021-11-19 2021-11-19 图像超分辨率重建方法、装置以及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114022363A true CN114022363A (zh) 2022-02-08

Family

ID=80065141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111374370.8A Pending CN114022363A (zh) 2021-11-19 2021-11-19 图像超分辨率重建方法、装置以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114022363A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723604A (zh) * 2022-02-21 2022-07-08 福建八萃网络科技有限公司 一种基于样本数据集优化的视频超分辨率方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723604A (zh) * 2022-02-21 2022-07-08 福建八萃网络科技有限公司 一种基于样本数据集优化的视频超分辨率方法

Similar Documents

Publication Publication Date Title
CN111709895B (zh) 基于注意力机制的图像盲去模糊方法及系统
CN112805744B (zh) 用于对多光谱图像去马赛克的系统和方法
Zhang et al. Image super-resolution based on structure-modulated sparse representation
CN108492249B (zh) 基于小卷积递归神经网络的单帧超分辨重建方法
CN112819910A (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN115953303B (zh) 结合通道注意力的多尺度图像压缩感知重构方法及系统
CN111986092B (zh) 一种基于双重网络的图像超分辨率重建方法及系统
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN110689509A (zh) 基于循环多列3d卷积网络的视频超分辨率重建方法
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution
CN116228912A (zh) 基于U-Net多尺度神经网络的图像压缩感知重建方法
Zhang et al. Image super-resolution via a novel cascaded convolutional neural network framework
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN114022363A (zh) 图像超分辨率重建方法、装置以及计算机可读存储介质
CN113139904B (zh) 一种图像盲超分辨率方法及系统
CN114359041A (zh) 一种光场图像空间超分辨率重建方法
Zhao et al. SSIR: Spatial shuffle multi-head self-attention for single image super-resolution
CN115511705A (zh) 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
CN111223046B (zh) 一种图像超分辨率重建方法及装置
CN117217997A (zh) 一种基于上下文感知边缘增强的遥感图像超分辨率方法
Liu et al. Gradient prior dilated convolution network for remote sensing image super-resolution
CN112801866B (zh) 图像重建模型的生成方法、图像重建方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination