CN116523750A - 一种基于通道注意力的单图像超分辨率重建方法和系统 - Google Patents

一种基于通道注意力的单图像超分辨率重建方法和系统 Download PDF

Info

Publication number
CN116523750A
CN116523750A CN202310503918.7A CN202310503918A CN116523750A CN 116523750 A CN116523750 A CN 116523750A CN 202310503918 A CN202310503918 A CN 202310503918A CN 116523750 A CN116523750 A CN 116523750A
Authority
CN
China
Prior art keywords
image
feature
channel
channel attention
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310503918.7A
Other languages
English (en)
Inventor
李忠博
杨才东
谢永强
齐锦
梁进君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Systems Engineering of PLA Academy of Military Sciences
Original Assignee
Institute of Systems Engineering of PLA Academy of Military Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Systems Engineering of PLA Academy of Military Sciences filed Critical Institute of Systems Engineering of PLA Academy of Military Sciences
Priority to CN202310503918.7A priority Critical patent/CN116523750A/zh
Publication of CN116523750A publication Critical patent/CN116523750A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于通道注意力的单图像超分辨率重建方法和系统，涉及图像重建技术领域。所述方法包括：步骤S1、利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；步骤S2、利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；步骤S3、利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；步骤S4、基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式进行图像重建。

Description

一种基于通道注意力的单图像超分辨率重建方法和系统
技术领域
本发明属于图像重建技术领域，尤其涉及一种基于通道注意力的单图像超分辨率重建方法和系统。
背景技术
单图像超分辨率重建技术是将一张模糊、包含信息较少的低分辨率图像通过算法重建为清晰、包含更多信息的高分辨率图像，如图1所示，是计算机视觉领域的重要研究方向。
高清晰度的图像占据了更大的设备内存，在网络传输中需要更大的带宽，同时高精密设备的价格往往也比较昂贵。此外，图像的获取还受到拍摄条件的影响，抖动、天气、光线等情况都会影响拍摄图像的质量。图像在传递过程中也会受到噪声的干扰，可能会变得模糊，丢失关键纹理信息，以至于不能满足人们的正常需求。
在现实生活中，图像超分辨率重建应用前景十分广泛。在医学成像领域，通过图像超分辨率重建技术生成清晰的纹理图像，帮助医生对病人病情做出精准的诊断。在安全监测领域，通过该技术重建出嫌疑人或者车辆信息、环境信息来辅助公安机关抓捕罪犯、维护治安；在图像压缩领域，大大降低高分辨率图像对带宽的要求，提高系统的实时性；在卫星遥感成像领域，重建出包含具体细节的纹理，丰富遥感图像的信息内容。
传统方法主要基于插值或退化模型等数学模型，但由于超分重建任务在数学上属于一对多的病态问题，导致传统方法在实际中难以取得理想效果。目前，基于深度神经网络的超分辨率重建算法通过深层次网络结构来实现，存在两个最主要的问题：(1)不能充分利用网络中的特征信息。深度网络拥有强大学习能力的同时，导致的模型优化困难，信息流的传递和有效利用受到网络深度的影响；(2)参数量巨大。加深网络带来巨大的参数量，模型训练困难，计算成本较高，难以满足实际场景的需求。
发明内容
为了解决以上技术问题，本发明提出一种基于通道注意力的单图像超分辨率重建方案。
本发明第一方面公开了一种基于通道注意力的单图像超分辨率重建方法。所述方法包括：
步骤S1、利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；
步骤S2、利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；
步骤S3、利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；
步骤S4、基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式进行图像重建。
根据第一方面的方法，在所述步骤S1中，采用64个大小为9×9的卷积核对所述原始输入图像进行浅层特征提取，得到64张大小为C×H×W的浅层特征图，作为所述原始输入图像的浅层特征，其中，H表示图像高，W表示图像宽，C为特征通道数。
根据第一方面的方法，在所述步骤S2中，所述多尺度特征提取结构利用64个大小为5×5的卷积核所述原始输入图像的浅层特征中提取出第一深层特征，并利用64个大小为3×3的卷积核从所述原始输入图像的浅层特征中提取出第二深层特征。
根据第一方面的方法，在所述步骤S3中，所述通道注意力学习支路包括全局通道注意力学习支路和局部通道注意力学习支路，大小为5×5的卷积核对应所述全局通道注意力学习支路，大小为3×3的卷积核对应所述局部通道注意力学习支路；其中：
在所述全局通道注意力学习支路上，通过全局平均池化操作将所述第一深度特征的空间维度压缩至C×1×1，并利用两个1×1的卷积完成C个特征通道中每个通道的权重学习；
其中，第一个1×1的卷积通过控制卷积核数量来进行跨通道融合，以减少特征通道的维度，第二个1×1的卷积以相同的方式恢复所述特征通道的维度，使得权值个数与特征通道数一一对应，将每个通道的权重与所述第一深度特征的每个原始特征通道相乘得到所述全局通道注意力学习支路上的特征。
根据第一方面的方法，在所述步骤S3中，在所述局部通道注意力学习支路上：
通过全局平均池化操作将所述第二深度特征的空间维度压缩至C×1×1，利用核为3的一维卷积执行局部跨通道交互，以提取局部跨通道交互的依赖关系，并采用sigmoid函数获得局部相邻通道之间的权重，将所述局部相邻通道之间的权重与所述第二深度特征的每个原始特征通道相乘得到所述局部通道注意力学习支路上的特征；
其中，所述全局平均池化操作维度C×H×W压缩成C×1×1，具体过程如下：
其中，za表示C个通道中第a个通道压缩后的值，HGAP()表示全局平均池化函数，FDF,a表示第a个通道的特征，a∈[1,C]；
其中，所述sigmoid函数表示为：
其中，将所述所述全局通道注意力学习支路上的特征与所述局部通道注意力学习支路上的特征进行对应级联，从而得到所述非线性变换关系。
根据第一方面的方法，在所述步骤S4中，将级联特征经过1×1的卷积后与所述原始输入图像相加，得到重建图像；其中：
从所述级联特征中提取出高分辨率图像，随机截取成若干大小为96×96的图像块，将经截取的图像块进行2倍下采样至48×48大小，得到低分辨率图像；
基于所述非线性变换关系，利用1×1的卷积对所述低分辨率图像进行特征提取，通过对特征图填充的方式使得图像大小保持48×48不变，并在在倒数第二层通过将所述卷积层通道数变更为4，完成卷积后对得到的特征图进行排列组合，并与所述原始输入图像相加得到所述重建图像。
根据第一方面的方法，在所述方法中，利用损失函数来监督学习过程，所述损失函数为MSE函数或L1函数。
本发明第二方面公开了一种基于通道注意力的单图像超分辨率重建系统。所述系统包括：
第一处理单元，被配置为：利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；
第二处理单元，被配置为：利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；
第三处理单元，被配置为：利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；
第四处理单元，被配置为：基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式进行图像重建。
根据第二方面的系统，所述第一处理单元具体被配置为，采用64个大小为9×9的卷积核对所述原始输入图像进行浅层特征提取，得到64张大小为C×H×W的浅层特征图，作为所述原始输入图像的浅层特征，其中，H表示图像高，W表示图像宽，C为特征通道数。
根据第二方面的系统，所述第二处理单元具体被配置为，所述多尺度特征提取结构利用64个大小为5×5的卷积核所述原始输入图像的浅层特征中提取出第一深层特征，并利用64个大小为3×3的卷积核从所述原始输入图像的浅层特征中提取出第二深层特征。
根据第二方面的系统，所述第三处理单元具体被配置为，所述通道注意力学习支路包括全局通道注意力学习支路和局部通道注意力学习支路，大小为5×5的卷积核对应所述全局通道注意力学习支路，大小为3×3的卷积核对应所述局部通道注意力学习支路；其中：
在所述全局通道注意力学习支路上，通过全局平均池化操作将所述第一深度特征的空间维度压缩至C×1×1，并利用两个1×1的卷积完成C个特征通道中每个通道的权重学习；
其中，第一个1×1的卷积通过控制卷积核数量来进行跨通道融合，以减少特征通道的维度，第二个1×1的卷积以相同的方式恢复所述特征通道的维度，使得权值个数与特征通道数一一对应，将每个通道的权重与所述第一深度特征的每个原始特征通道相乘得到所述全局通道注意力学习支路上的特征。
根据第二方面的系统，所述第三处理单元具体被配置为，在所述局部通道注意力学习支路上：
通过全局平均池化操作将所述第二深度特征的空间维度压缩至C×1×1，利用核为3的一维卷积执行局部跨通道交互，以提取局部跨通道交互的依赖关系，并采用sigmoid函数获得局部相邻通道之间的权重，将所述局部相邻通道之间的权重与所述第二深度特征的每个原始特征通道相乘得到所述局部通道注意力学习支路上的特征；
其中，所述全局平均池化操作维度C×H×W压缩成C×1×1，具体过程如下：
其中，za表示C个通道中第a个通道压缩后的值，HGAP()表示全局平均池化函数，FDF,a表示第a个通道的特征，a∈[1,C]；
其中，所述sigmoid函数表示为：
其中，将所述所述全局通道注意力学习支路上的特征与所述局部通道注意力学习支路上的特征进行对应级联，从而得到所述非线性变换关系。
根据第二方面的系统，所述第四处理单元具体被配置为，将级联特征经过1×1的卷积后与所述原始输入图像相加，得到重建图像；其中：
从所述级联特征中提取出高分辨率图像，随机截取成若干大小为96×96的图像块，将经截取的图像块进行2倍下采样至48×48大小，得到低分辨率图像；
基于所述非线性变换关系，利用1×1的卷积对所述低分辨率图像进行特征提取，通过对特征图填充的方式使得图像大小保持48×48不变，并在在倒数第二层通过将所述卷积层通道数变更为4，完成卷积后对得到的特征图进行排列组合，并与所述原始输入图像相加得到所述重建图像。
根据第二方面的系统，利用损失函数来监督学习过程，所述损失函数为MSE函数或L1函数。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种基于通道注意力的单图像超分辨率重建方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种基于通道注意力的单图像超分辨率重建方法中的步骤。
综上，本发明提出的技术方案用于将低分辨率图像重建成高分辨率图像。该方法包括浅层特征提取模块、多尺度通道注意力学习模块，重建模块以及损失函数。多尺度通道注意力学习模块提出了一个多尺度特征提取结构和两个通道注意力学习支路。多尺度特征提取结构能对浅层特征进行不同尺度的深度特征提取，并将大尺度特征用于全局通道注意力学习支路，促进全局支路对图像全局信息的把握，更精准地对通道特征进行增强或抑制。小尺度特征用于局部通道注意力学习支路，促进局部支路对局部信息的关注，提高局部支路对全局支路中被抑制信息的弥补。本发明进一步提出针对多尺度通道注意力学习模块的递归策略，可以实现在加深网络的同时不增加网络参数，实现了图像重建性能的提升。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中单图像超分辨率重建的示意图；
图2为根据本发明实施例的方法流程示意图；
图3为根据本发明实施例的多尺度通道注意力模块的示意图；
图4为根据本发明实施例的通道注意力学习支路的示意图；
图5为根据本发明实施例的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明第一方面公开了一种基于通道注意力的单图像超分辨率重建方法。所述方法包括：
步骤S1、利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；
步骤S2、利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；
步骤S3、利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；
步骤S4、基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式进行图像重建。
具体地，如图2所示，包括四个部分：浅层特提取模块、多尺度通道注意力学习模块、重建模块以及损失函数。浅层特征提取模块用于对原始输入图像进行特征提取，获取原始图像中的信息。多尺度通道注意力学习模块通过对浅层特征进行多尺度特征提取，对深层特征进行通道注意力学习，获取低分辨率图像到高分辨率图像的非线性变换关系。重构模块对特征图的进行组合重构，输出目标分辨率的图像。
根据第一方面的方法，在所述步骤S1中，采用64个大小为9×9的卷积核对所述原始输入图像进行浅层特征提取，得到64张大小为C×H×W的浅层特征图，作为所述原始输入图像的浅层特征，其中，H表示图像高，W表示图像宽，C为特征通道数。
具体地，浅层特提取模块用于将输入图像的每个像素映射到高维特征空间。为了拥有更大的感受野，本文采用64个大小为9×9的卷积核来对输入图像进行特征提取，得到64张大小为3×H×W的特征图，H为图像的高，W为图像的宽。
根据第一方面的方法，在所述步骤S2中，所述多尺度特征提取结构利用64个大小为5×5的卷积核所述原始输入图像的浅层特征中提取出第一深层特征，并利用64个大小为3×3的卷积核从所述原始输入图像的浅层特征中提取出第二深层特征。
具体地，多尺度通道注意力学习模块：该模块由多尺度特征提取结构和通道注意力学习支路组成。多尺度特征提取结构分别利用64个大小为5×5和64个3×3的卷积核对浅层特征进行深层特征提取，充分挖掘原始图像中的信息。
根据第一方面的方法，在所述步骤S3中，所述通道注意力学习支路包括全局通道注意力学习支路和局部通道注意力学习支路，大小为5×5的卷积核对应所述全局通道注意力学习支路，大小为3×3的卷积核对应所述局部通道注意力学习支路；其中：
在所述全局通道注意力学习支路上，通过全局平均池化操作将所述第一深度特征的空间维度压缩至C×1×1，并利用两个1×1的卷积完成C个特征通道中每个通道的权重学习；
其中，第一个1×1的卷积通过控制卷积核数量来进行跨通道融合，以减少特征通道的维度，第二个1×1的卷积以相同的方式恢复所述特征通道的维度，使得权值个数与特征通道数一一对应，将每个通道的权重与所述第一深度特征的每个原始特征通道相乘得到所述全局通道注意力学习支路上的特征。
根据第一方面的方法，在所述步骤S3中，在所述局部通道注意力学习支路上：
通过全局平均池化操作将所述第二深度特征的空间维度压缩至C×1×1，利用核为3的一维卷积执行局部跨通道交互，以提取局部跨通道交互的依赖关系，并采用sigmoid函数获得局部相邻通道之间的权重，将所述局部相邻通道之间的权重与所述第二深度特征的每个原始特征通道相乘得到所述局部通道注意力学习支路上的特征；
其中，所述全局平均池化操作维度C×H×W压缩成C×1×1，具体过程如下：
其中，za表示C个通道中第a个通道压缩后的值，HGAP()表示全局平均池化函数，FDF,a表示第a个通道的特征，a∈[1,C]；
其中，所述sigmoid函数表示为：
其中，将所述所述全局通道注意力学习支路上的特征与所述局部通道注意力学习支路上的特征进行对应级联，从而得到所述非线性变换关系。
具体地，如图3所示，通道注意力学习支路包括全局通道注意力学习支路和局部通道注意力学习支路。卷积核越大，模型一次卷积操作的区域也越大，模型感受野随之增大，有助于模型对图像整个空间上的特征关系的把握。因此，5×5大小的卷积核对应于全局支路，3×3大小的卷积核对应于局部支路。
具体地，如图4所示，全局通道注意力学习支路。全局通道注意力学习支路的目的是从全局角度提升网络对有用特征信息的敏感度，增强特征的表达能力。全局支路选择5×5的大卷积核来提取图像信息，提高模型对长距离空间上的图像信息的把握能力。如图4顶部所示，该模块首先通过全局平均池化(GAP，Globe average pooling)操作将整个空间维度的特征压缩到1×1×C大小，C为特征通道数。然后使用两个1×1的卷积完成每个通道的权重学习。第一个1×1卷积通过控制卷积核的数量来实现跨通道的融合，同时减少通道特征的维数，降低模型的计算复杂度。第二个1×1卷积以相同的方式恢复通道特征的维度，使得权值个数与特征通道数一一对应。得到每个通道的权重后，将权重值与每个原始特征通道相乘。
具体地，如图4所示，局部通道注意力学习支路。全局通道注意力支路在注意力机制的作用下可以在较浅的网络上获得较大的感受野，获得像素信息在空间上的依赖关系。对于SISR来说，信息越多越有利于图像的超分重建，一些从全局角度来看并不重要而被抑制的信息也可能对重建效果产生重要影响。因此，为了对这个问题进行弥补，本发明提出了局部通道注意力来增强局部通道特征对图像重建的影响。如图4底部所示，首先对小尺度特征进行平均池化操作，将特征压缩成1×1×C大小，然后使用核3的一维卷积完成局部跨通道交互，提取局部跨通道交互的依赖关系。最后，使用sigmoid函数获得局部相邻通道之间的权重值。
全局平均池化操作将空间维度的特征C×H×W从通道维度上压缩成1×1×C的大小，具体过程如式所示：
其中，za表示C个通道中第a个通道压缩后的值，HGAP()表示全局平均池化函数，H和W是特征图的尺度大小，FDF,a表示的是第a个通道上的特征，a∈[1,C]。通过该式，即可将C个通道上的特征图压缩至1×1大小。
为了完成对有用信息的增强、对无用信息的抑制，完成特征图压缩之后还需要进行完全捕获通道相关性的操作。为了达到这个目的，对应的操作必须能学习跨通道之间的非线性交互，学习每个通道的权重，并且不能一键激活所有通道。因此，我们选用1×1卷积实现跨通道之间的交互，选择sigmoid作为激活函数，sigmoid函数公式如式(1)所示：
直接进行多尺度通道注意力模块叠加能增加网络性能，但是也带来了巨大的参数量。本发明根据递归策略，循环调用多尺度通道注意力学习模块，实现模块之间的参数共享，模型可以在加深网络的同时不增加网络参数量，进而提升模型性能。
根据第一方面的方法，在所述步骤S4中，将级联特征经过1×1的卷积后与所述原始输入图像相加，得到重建图像；其中：
从所述级联特征中提取出高分辨率图像，随机截取成若干大小为96×96的图像块，将经截取的图像块进行2倍下采样至48×48大小，得到低分辨率图像；
基于所述非线性变换关系，利用1×1的卷积对所述低分辨率图像进行特征提取，通过对特征图填充的方式使得图像大小保持48×48不变，并在在倒数第二层通过将所述卷积层通道数变更为4，完成卷积后对得到的特征图进行排列组合，并与所述原始输入图像相加得到所述重建图像。
具体地，神经网络在完成学习从低分辨率图像到高分辨率图像的非线性映射关系后，重建模块利用学习到的特征将图像分辨率提高到目标分辨率，进而实现最终的超分辨率重建工作。本发明专利采用亚像素卷积方法实现图像的分辨率提高，以对一张96×96大小的图像块为例：
输入一张高分辨率图像，随机截取大小为96×96的图像块，将截取到的图像2倍下采样至48×48大小，得到降采样图像，即低分辨率图像。之后利用卷积层对低分辨率图像进行特征提取，这过程中利用对特征图进行填充的方式使得尺度保持48×48不变。在倒数第二层的地方通过控制卷积层通道数的方式，调整该卷积层通道数为22，完成卷积后再对得到的特征图按照特定的规律进行排列组合，就能将图像恢复到96×96的大小。需要注意的是，每个像素的扩展方式由卷积决定，而卷积对应的参数是通过网络学习得来的，这就通过端到端可学习的方式解决了人工痕迹问题。
根据第一方面的方法，在所述方法中，利用损失函数来监督学习过程，所述损失函数为MSE函数或L1函数。
具体地，损失函数：在整个网络的学习过程中，需要利用损失函数来监督网络的学习。损失函数MSE表达式如式(2)所示，虽然可以很好地提高PSNR和SSIM指标，但会导致生成的图像呈现平滑和模糊的视觉效果。实验证明，L1损失函数优于MSE，重建效果更真实。L1损失函数表达式如式(3)所示。最近已经提出了各种损失函数，例如内容损失和感知损失。这些损失函数在提高网络性能的同时，大大增加了模型的计算量。考虑实际应用条件，本文选择L1损失来优化所提出的模型，然后使用MSE进行损失微调。
本发明第二方面公开了一种基于通道注意力的单图像超分辨率重建系统。所述系统包括：
第一处理单元，被配置为：利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；
第二处理单元，被配置为：利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；
第三处理单元，被配置为：利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；
第四处理单元，被配置为：基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式进行图像重建。
根据第二方面的系统，所述第一处理单元具体被配置为，采用64个大小为9×9的卷积核对所述原始输入图像进行浅层特征提取，得到64张大小为C×H×W的浅层特征图，作为所述原始输入图像的浅层特征，其中，H表示图像高，W表示图像宽，C为特征通道数。
根据第二方面的系统，所述第二处理单元具体被配置为，所述多尺度特征提取结构利用64个大小为5×5的卷积核所述原始输入图像的浅层特征中提取出第一深层特征，并利用64个大小为3×3的卷积核从所述原始输入图像的浅层特征中提取出第二深层特征。
根据第二方面的系统，所述第三处理单元具体被配置为，所述通道注意力学习支路包括全局通道注意力学习支路和局部通道注意力学习支路，大小为5×5的卷积核对应所述全局通道注意力学习支路，大小为3×3的卷积核对应所述局部通道注意力学习支路；其中：
在所述全局通道注意力学习支路上，通过全局平均池化操作将所述第一深度特征的空间维度压缩至C×1×1，并利用两个1×1的卷积完成C个特征通道中每个通道的权重学习；
其中，第一个1×1的卷积通过控制卷积核数量来进行跨通道融合，以减少特征通道的维度，第二个1×1的卷积以相同的方式恢复所述特征通道的维度，使得权值个数与特征通道数一一对应，将每个通道的权重与所述第一深度特征的每个原始特征通道相乘得到所述全局通道注意力学习支路上的特征。
根据第二方面的系统，所述第三处理单元具体被配置为，在所述局部通道注意力学习支路上：
通过全局平均池化操作将所述第二深度特征的空间维度压缩至C×1×1，利用核为3的一维卷积执行局部跨通道交互，以提取局部跨通道交互的依赖关系，并采用sigmoid函数获得局部相邻通道之间的权重，将所述局部相邻通道之间的权重与所述第二深度特征的每个原始特征通道相乘得到所述局部通道注意力学习支路上的特征；
其中，所述全局平均池化操作维度C×H×W压缩成C×1×1，具体过程如下：
其中，za表示C个通道中第a个通道压缩后的值，HGAP()表示全局平均池化函数，FDF,a表示第a个通道的特征，a∈[1,C]；
其中，所述sigmoid函数表示为：
其中，将所述所述全局通道注意力学习支路上的特征与所述局部通道注意力学习支路上的特征进行对应级联，从而得到所述非线性变换关系。
根据第二方面的系统，所述第四处理单元具体被配置为，将级联特征经过1×1的卷积后与所述原始输入图像相加，得到重建图像；其中：
从所述级联特征中提取出高分辨率图像，随机截取成若干大小为96×96的图像块，将经截取的图像块进行2倍下采样至48×48大小，得到低分辨率图像；
基于所述非线性变换关系，利用1×1的卷积对所述低分辨率图像进行特征提取，通过对特征图填充的方式使得图像大小保持48×48不变，并在在倒数第二层通过将所述卷积层通道数变更为4，完成卷积后对得到的特征图进行排列组合，并与所述原始输入图像相加得到所述重建图像。
根据第二方面的系统，利用损失函数来监督学习过程，所述损失函数为MSE函数或L1函数。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种基于通道注意力的单图像超分辨率重建方法中的步骤。
图5为根据本发明实施例的一种电子设备的结构图，如图5所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种基于通道注意力的单图像超分辨率重建方法中的步骤。
综上，本发明提出的技术方案用于将低分辨率图像重建成高分辨率图像。该方法包括浅层特征提取模块、多尺度通道注意力学习模块，重建模块以及损失函数。多尺度通道注意力学习模块提出了一个多尺度特征提取结构和两个通道注意力学习支路。多尺度特征提取结构能对浅层特征进行不同尺度的深度特征提取，并将大尺度特征用于全局通道注意力学习支路，促进全局支路对图像全局信息的把握，更精准地对通道特征进行增强或抑制。小尺度特征用于局部通道注意力学习支路，促进局部支路对局部信息的关注，提高局部支路对全局支路中被抑制信息的弥补。本发明进一步提出针对多尺度通道注意力学习模块的递归策略，可以实现在加深网络的同时不增加网络参数，实现了图像重建性能的提升。
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于通道注意力的单图像超分辨率重建方法，其特征在于，所述方法包括：
步骤S1、利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；
步骤S2、利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；
步骤S3、利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；
步骤S4、基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式进行图像重建。
2.根据权利要求1所述的一种基于通道注意力的单图像超分辨率重建方法，其特征在于，在所述步骤S1中，采用64个大小为9×9的卷积核对所述原始输入图像进行浅层特征提取，得到64张大小为C×H×W的浅层特征图，作为所述原始输入图像的浅层特征，其中，H表示图像高，W表示图像宽，C为特征通道数。
3.根据权利要求1所述的一种基于通道注意力的单图像超分辨率重建方法，其特征在于，在所述步骤S2中，所述多尺度特征提取结构利用64个大小为5×5的卷积核所述原始输入图像的浅层特征中提取出第一深层特征，并利用64个大小为3×3的卷积核从所述原始输入图像的浅层特征中提取出第二深层特征。
4.根据权利要1所述的一种基于通道注意力的单图像超分辨率重建方法，其特征在于，在所述步骤S3中，所述通道注意力学习支路包括全局通道注意力学习支路和局部通道注意力学习支路，大小为5×5的卷积核对应所述全局通道注意力学习支路，大小为3×3的卷积核对应所述局部通道注意力学习支路；其中：
在所述全局通道注意力学习支路上，通过全局平均池化操作将所述第一深度特征的空间维度压缩至C×1×1，并利用两个1×1的卷积完成C个特征通道中每个通道的权重学习；
其中，第一个1×1的卷积通过控制卷积核数量来进行跨通道融合，以减少特征通道的维度，第二个1×1的卷积以相同的方式恢复所述特征通道的维度，使得权值个数与特征通道数一一对应，将每个通道的权重与所述第一深度特征的每个原始特征通道相乘得到所述全局通道注意力学习支路上的特征。
5.根据权利要4所述的一种基于通道注意力的单图像超分辨率重建方法，其特征在于，在所述步骤S3中，在所述局部通道注意力学习支路上：
通过全局平均池化操作将所述第二深度特征的空间维度压缩至C×1×1，利用核为3的一维卷积执行局部跨通道交互，以提取局部跨通道交互的依赖关系，并采用sigmoid函数获得局部相邻通道之间的权重，将所述局部相邻通道之间的权重与所述第二深度特征的每个原始特征通道相乘得到所述局部通道注意力学习支路上的特征；
其中，所述全局平均池化操作维度C×H×W压缩成C×1×1，具体过程如下：
其中，za表示C个通道中第a个通道压缩后的值，HGAP()表示全局平均池化函数，FDF,a表示第a个通道的特征，a∈[1,C]；
其中，所述sigmoid函数表示为：
其中，将所述所述全局通道注意力学习支路上的特征与所述局部通道注意力学习支路上的特征进行对应级联，从而得到所述非线性变换关系。
6.根据权利要5所述的一种基于通道注意力的单图像超分辨率重建方法，其特征在于，在所述步骤S4中，将级联特征经过1×1的卷积后与所述原始输入图像相加，得到重建图像；其中：
从所述级联特征中提取出高分辨率图像，随机截取成若干大小为96×96的图像块，将经截取的图像块进行2倍下采样至48×48大小，得到低分辨率图像；
基于所述非线性变换关系，利用1×1的卷积对所述低分辨率图像进行特征提取，通过对特征图填充的方式使得图像大小保持48×48不变，并在在倒数第二层通过将所述卷积层通道数变更为4，完成卷积后对得到的特征图进行排列组合，并与所述原始输入图像相加得到所述重建图像。
7.根据权利要6所述的一种基于通道注意力的单图像超分辨率重建方法，其特征在于，在所述方法中，利用损失函数来监督学习过程，所述损失函数为MSE函数或L1函数。
8.一种基于通道注意力的单图像超分辨率重建系统，其特征在于，所述系统包括：
第一处理单元，被配置为：利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；
第二处理单元，被配置为：利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；
第三处理单元，被配置为：利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；
第四处理单元，被配置为：基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式进行图像重建。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1-7任一项所述的一种基于通道注意力的单图像超分辨率重建方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-7任一项所述的一种基于通道注意力的单图像超分辨率重建方法中的步骤。
CN202310503918.7A 2023-05-06 2023-05-06 一种基于通道注意力的单图像超分辨率重建方法和系统 Pending CN116523750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310503918.7A CN116523750A (zh) 2023-05-06 2023-05-06 一种基于通道注意力的单图像超分辨率重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310503918.7A CN116523750A (zh) 2023-05-06 2023-05-06 一种基于通道注意力的单图像超分辨率重建方法和系统

Publications (1)

Publication Number Publication Date
CN116523750A true CN116523750A (zh) 2023-08-01

Family

ID=87393769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310503918.7A Pending CN116523750A (zh) 2023-05-06 2023-05-06 一种基于通道注意力的单图像超分辨率重建方法和系统

Country Status (1)

Country Link
CN (1) CN116523750A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977651A (zh) * 2023-08-28 2023-10-31 河北师范大学 一种基于双分支和多尺度特征提取的图像去噪方法
CN117952877A (zh) * 2024-03-26 2024-04-30 松立控股集团股份有限公司 一种基于层次化结构建模的低质图像矫正方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977651A (zh) * 2023-08-28 2023-10-31 河北师范大学 一种基于双分支和多尺度特征提取的图像去噪方法
CN116977651B (zh) * 2023-08-28 2024-02-23 河北师范大学 一种基于双分支和多尺度特征提取的图像去噪方法
CN117952877A (zh) * 2024-03-26 2024-04-30 松立控股集团股份有限公司 一种基于层次化结构建模的低质图像矫正方法

Similar Documents

Publication Publication Date Title
Chen et al. The improved image inpainting algorithm via encoder and similarity constraint
Dong et al. Laplacian pyramid dense network for hyperspectral pansharpening
CN116523750A (zh) 一种基于通道注意力的单图像超分辨率重建方法和系统
CN109509160A (zh) 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN112446835B (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN111951165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN110415173A (zh) 一种基于三维总变分的图像超分辨率方法
CN113362338A (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理系统
CN111754399A (zh) 基于梯度的保持几何结构的图像超分辨率方法
CN116452930A (zh) 降质环境下基于频域增强的多光谱图像融合方法与系统
CN117576483B (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN112150356A (zh) 基于级联框架的单幅压缩图像超分辨率重建方法
CN118134763A (zh) 一种超分辨率图像重建方法及装置
Ding et al. An improved image mixed noise removal algorithm based on super-resolution algorithm and CNN
CN113962882A (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
Dong et al. Remote sensing image super-resolution via enhanced back-projection networks
Liu et al. Gradient prior dilated convolution network for remote sensing image super-resolution
CN112508786A (zh) 面向卫星图像的任意尺度超分辨率重建方法及系统
CN117036171A (zh) 单幅图像的蓝图可分离残差平衡蒸馏超分辨率重建模型及方法
Zhang et al. Iterative multi‐scale residual network for deblurring
CN111179171A (zh) 基于残差模块和注意力机制的图像超分辨率重建方法
Yang et al. Single image super-resolution via a ternary attention network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination