CN116934598A - 一种多尺度特征融合的轻量级遥感图像超分方法及系统 - Google Patents

一种多尺度特征融合的轻量级遥感图像超分方法及系统 Download PDF

Info

Publication number
CN116934598A
CN116934598A CN202311210044.2A CN202311210044A CN116934598A CN 116934598 A CN116934598 A CN 116934598A CN 202311210044 A CN202311210044 A CN 202311210044A CN 116934598 A CN116934598 A CN 116934598A
Authority
CN
China
Prior art keywords
attention
remote sensing
features
sensing image
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311210044.2A
Other languages
English (en)
Other versions
CN116934598B (zh
Inventor
康旭东
段普宏
李树涛
张晋玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202311210044.2A priority Critical patent/CN116934598B/zh
Publication of CN116934598A publication Critical patent/CN116934598A/zh
Application granted granted Critical
Publication of CN116934598B publication Critical patent/CN116934598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多尺度特征融合的轻量级遥感图像超分方法及系统，本发明包括对输入的低分辨率的遥感图像提取浅层特征，利用残差组注意力结构块RGAM提取深度特征；使用像素重组技术对浅层特征和深度特征中的元素进行重新排列生成最终的高分辨率的遥感图像；RGAM包括依次相连的轻量化通道注意块LCAB和分组注意力机制块GAB，LCAB用于对输入的特征进行通道筛选，GAB用于通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合；分组注意力机制块GAB的输出与轻量化通道注意块LCAB的输入进行残差连接。本发明旨在解决现有遥感图像超分技术中图像质量较低和实时性不高的问题。

Description

一种多尺度特征融合的轻量级遥感图像超分方法及系统
技术领域
本发明涉及遥感图像超分技术领域，具体涉及一种多尺度特征融合的轻量级遥感图像超分方法及系统。
背景技术
高分辨率遥感图像是对地观测中最重要的信息来源，可为土地管理、资源开发、环境监测和灾害管理等领域提供高质量的数据支持，为人类管理地球资源提供更多有价值的信息。然而，高分辨率遥感图像的获取也面临诸多挑战和问题。首先，图像采集传感器中可能存在传感器噪声、非线性失真和信噪比等问题，影响遥感图像的质量和精度，进而影响遥感图像的应用价值。其次，获取高分辨率遥感图像也可能导致图像处理和计算的复杂性增加，这就需要更高的计算能力和更快的处理速度。因此，需要在获取高分辨率遥感图像和实际需求之间平衡，寻找解决这些问题的有效方法，以便更好地利用遥感图像信息。
遥感图像超分（Super Resolution，SR）重建技术是一种能够将低分辨率（LowResolution，LR）图像转化为高分辨率（High Resolution，HR）图像的技术，旨在通过提高图像分辨率来实现图像更加清晰、细致和真实。相较于自然图像，遥感图像具有较大的视场角，可获取更广泛的地面信息，并拥有更加丰富的纹理信息。然而，由于其数据量庞大，处理时需要耗费大量的计算资源和时间。此外，在某些情况下，由于传感器性能、数据传输和存储等因素的限制，遥感图像的分辨率较低，难以获得足够的细节和清晰度，从而限制了其应用范围。遥感图像超分重建技术可以从多个低分辨率图像中合成一幅高分辨率图像，从而使遥感图像的细节和清晰度得到显著提升。这项技术对于提高遥感图像的分析精度、识别能力和监测效果具有重要意义，可用于精细的地表覆盖分类、建筑物检测和三维重建等方面。
自注意力机制是一种广泛应用于自然语言处理任务中的深度学习模型，而最近该机制也在计算机视觉领域取得了显著的效果。在视觉任务中，基于自注意力机制的遥感图像超分重建方法表现出了卓越的性能，给人留下了深刻的印象。然而，目前许多基于自注意力机制的深度学习模型只能利用有限的空间范围信息，未充分发挥自注意力机制的潜力。此外，在大多数基于自注意力机制的网络模型中，自注意力任务的计算量都较大，而网络中的一部分信息对于遥感图像超分重建任务是冗余的。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种多尺度特征融合的轻量级遥感图像超分方法及系统，本发明旨在解决现有遥感图像超分技术中图像质量较低和实时性不高的问题。
为了解决上述技术问题，本发明采用的技术方案为：
一种多尺度特征融合的轻量级遥感图像超分方法，包括对输入的低分辨率的遥感图像提取浅层特征，利用残差组注意力结构块RGAM提取深度特征；使用像素重组技术对浅层特征和深度特征中的元素进行重新排列生成最终的高分辨率的遥感图像；所述残差组注意力结构块RGAM包括依次相连的轻量化通道注意块LCAB和分组注意力机制块GAB，所述轻量化通道注意块LCAB用于对输入的特征进行通道筛选，所述分组注意力机制块GAB用于通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合；所述分组注意力机制块GAB的输出与轻量化通道注意块LCAB的输入进行残差连接以作为残差组注意力结构块的输出。
可选地，轻量化通道注意块LCAB对输入的特征进行通道筛选包括：
S101，针对输入的特征，首先通过全局平均池化操作将n个空间特征Fn-1转化为n个通道维度特征Cn-1，然后依次通过卷积操作、基于ReLU激活函数的激活操作、卷积操作和基于sigmoid函数的激活操作以获得各个通道的权重Wn-1，生成用于选择权重较高的k个通道的通道特征权重向量s；
S102，将和通道特征权重向量s和特征图Fn-1逐元素相乘得到通道筛选后的特征。
可选地，分组注意力机制块GAB通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合包括：
S201，将输入的通道筛选后的特征分成K组特征；
S202，针对K组特征分别采用对应的窗口大小采用一个或多个自注意力机制层STL进行自注意力计算，且各组特征使用的窗口大小各不相同；
S203，将K组自注意力计算后的特征融合，并通过卷积操作将融合后的特征进行压缩和进一步提取特征最终，得到分组注意力机制块GAB输出的特征。
可选地，所述自注意力机制层STL包括依次相连的多头自注意力机制MSA和多层感知器MLP，所述多头自注意力机制MSA和多层感知器MLP的输入端均包括归一化模块LayerNorm，输入多头自注意力机制MSA的特征经过归一化模块LayerNorm归一化后经过多头自注意力机制MSA进行多头自注意力处理得到输出，所述多头自注意力机制MSA的输出、输入多头自注意力机制MSA的特征两者进行第一级的残差连接后，再经过归一化模块LayerNorm归一化后经过多层感知器MLP进行特征转换，且多层感知器MLP转换输出的特征与第一级的残差连接的特征进行第二级的残差连接后作为自注意力机制层STL输出的特征。
可选地，所述利用残差组注意力结构块RGAM提取深度特征为采用深度特征模块实现，所述深度特征模块由N个残差组注意力结构块RGAM和一个卷积核大小为3×3的卷积层组成，N个残差组注意力结构块RGAM依次级联，最终通过卷积核大小为3×3的卷积层将获得的特征输出。
可选地，所述深度特征模块由三个残差组注意力结构块RGAM和一个卷积核大小为3×3的卷积层组成，三个残差组注意力结构块RGAM依次级联。
可选地，所述对输入的低分辨率的遥感图像提取浅层特征为采用浅层特征模块实现，所述浅层特征模块由多个卷积层依次相连构成。
可选地，所述浅层特征模块由三个卷积核大小为3×3的卷积层依次相连构成。
此外，本发明还提供一种多尺度特征融合的轻量级遥感图像超分系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述多尺度特征融合的轻量级遥感图像超分方法。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述多尺度特征融合的轻量级遥感图像超分方法。
和现有技术相比，本发明主要具有下述优点：本发明包括利用残差组注意力结构块RGAM提取深度特征，残差组注意力结构块RGAM包括依次相连的轻量化通道注意块LCAB和分组注意力机制块GAB，轻量化通道注意块LCAB用于对输入的特征进行通道筛选，通过设计轻量化通道注意力机制块，对重要通道信息进行筛选，将不重要通道信息舍弃，保留关键通道信息，在降低网络参数量的同时减少超分性能的下降；分组注意力机制块GAB用于通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合，进一步提高重建图像的质量，能够有效解决现有超分技术中图像质量较低和实时性不高的问题，相比于现有方法在时间和重建出的图像质量上获得更好的结果。
附图说明
图1 为本发明实施例方法的基本流程示意图。
图2 为本发明实施例中深度卷积神经网络的网络结构示意图。
图3 为本发明实施例中轻量化通道注意块LCAB的网络结构示意图。
图4 为本发明实施例中分组注意力机制快GAB的网络结构示意图。
图5 为本发明实施例中自注意力机制层STL的网络结构示意图。
具体实施方式
如图1和图2所示，本实施例多尺度特征融合的轻量级遥感图像超分方法包括对输入的低分辨率的遥感图像提取浅层特征，利用残差组注意力结构块RGAM提取深度特征；使用像素重组技术对浅层特征和深度特征中的元素进行重新排列生成最终的高分辨率的遥感图像；残差组注意力结构块RGAM包括依次相连的轻量化通道注意块LCAB和分组注意力机制块GAB，轻量化通道注意块LCAB用于对输入的特征进行通道筛选，分组注意力机制块GAB用于通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合；分组注意力机制块GAB的输出与轻量化通道注意块LCAB的输入进行残差连接以作为残差组注意力结构块的输出。
浅层特征提取可以通过输入数据从低维空间映射到高维空间，并在高维空间中生成对每个像素标记的高维嵌入来实现。本实施例中，低分辨率的遥感图像表示为，其中/>用于表示维度，H为遥感图像的高度，W为遥感图像的宽度，Cin为遥感图像的原始通道数。本实施例中对输入的低分辨率的遥感图像提取浅层特征为采用浅层特征模块实现，采用浅层特征模块对输入的低分辨率的遥感图像提取浅层特征可表示为：
，
上式中，F0为浅层特征，HSF为浅层特征模块，ILR为低分辨率的遥感图像。如图2所示，本实施例中浅层特征模块由多个卷积层Conv依次相连构成。通过多个卷积层Conv依次相连能学习得到更好的视觉表示，从而促使参数优化过程更加稳定，使得深度学习网络的性能得到进一步提升。需要说明的是，卷积层Conv的数量、卷积层Conv所采用的卷积核大小可以根据实际需要选择，例如作为一种可选的实施方式，本实施例中浅层特征模块由三个卷积核大小为3×3的卷积层依次相连构成。
本实施例中，利用残差组注意力结构块RGAM提取深度特征为采用深度特征模块实现，深度特征模块利用残差组注意力结构块RGAM提取深度特征可表示为：
，
上式中，FDF为深度特征，且有：，其中C表示通道数量，HDF为深度特征模块。需要说明的是，利用残差组注意力结构块RGAM提取深度特征时，其输入既可以采用浅层特征F0，此外也可以根据需要直接将低分辨率的遥感图像ILR作为输入。毫无疑问，深度特征模块可以根据需要采用残差组注意力结构块RGAM来进行特征提取，包括与现有特征提取网络/模块/层串联，或者与现有特征提取网络/模块/层的补充等。
作为一种可选的实施方式，本实施例中深度特征模块由N个残差组注意力结构块RGAM和一个卷积核大小为3×3的卷积层组成，N个残差组注意力结构块RGAM依次级联，最终通过卷积核大小为3×3的卷积层将获得的特征输出，其提取深度特征可表示为：
，
，
上式中，Fi为第i个残差组注意力结构块RGAM输出的特征，Fi-1为第i-1个残差组注意力结构块RGAM输出的特征，RGAM表示残差组注意力结构块RGAM。FDF为深度特征，FN为第N个残差组注意力结构块RGAM输出的特征，Conv为卷积层。在深度特征模块的末尾引入卷积层，旨在更有效地聚合深度特征信息，以增强模型的表达能力。同时，模块的全局残差连接使得深度特征能够与浅层特征相互交流，提升模型在复杂数据中的特征学习能力，增强模型对图像中不同尺度信息的感知和利用能力，从而为模型在复杂场景下的应用提供了更强大的性能。
深度特征模块中残差组注意力结构块RGAM的数量N可以根据需要取值，例如作为一种可选的实施方式，如图2所示，本实施例中深度特征模块由三个残差组注意力结构块RGAM和一个卷积核大小为3×3的卷积层组成，三个残差组注意力结构块RGAM依次级联。
如图2所示，使用像素重组技术对浅层特征和深度特征中的元素进行重新排列生成最终的高分辨率的遥感图像具体为采用图像重建模块实现的，图像重建模块包括依次相连的卷积层Conv、像素重组层Pixelshuffle和卷积层Conv，输出即为最终的高分辨率的遥感图像，可表示为：
，
上式中，HRC为图像重建模块，F0为浅层特征，FDF为深度特征。图像重建模块使用像素重组技术对这些特征图中的元素进行重新排列，以生成最终的高分辨率的遥感图像。需要说明的是，像素重组层Pixelshuffle为现有技术，具体可参见文献：Shi W, CaballeroJ, Husz´ar F, et al. Real-time single image and video super-resolution usingan effiffifficient sub-pixel convolutional neural network. In: Proc of IEEEConference on Computer Vision and Pattern Recognition. 2016, 1874–1883。
本实施例中，轻量化通道注意块LCAB对输入的特征进行通道筛选可表示为：
，
上式中，FLCAB为轻量化通道注意块LCAB得到的特征，LCAB表示轻量化通道注意块LCAB，Fi-1表示输入第i个残差组注意力结构块RGAM的特征。
如图3所示，本实施例轻量化通道注意块LCAB对输入的特征进行通道筛选包括：
S101，针对输入的特征，首先通过全局平均池化操作将n个空间特征Fn-1转化为n个通道维度特征Cn-1，然后依次通过卷积操作、基于ReLU激活函数的激活操作、卷积操作和基于sigmoid函数的激活操作以获得各个通道的权重Wn-1，生成用于选择权重较高的k个通道的通道特征权重向量s，可表示为：
，
上式中，表示输入的特征；/>表示全局平均池化操作，/>表示卷积操作，卷积核大小3 × 3，/>表示ReLU激活函数，/>表示sigmoid激活函数,最后的/>表示top-k操作选择出权重较高的k个通道；对每个通道的权重进行排序，并选择最重要的k个通道，通过舍弃其余通道的信息，可以压缩通道数量并保证重建出的图像质量；
S102，将和通道特征权重向量s和特征图Fn-1逐元素相乘得到通道筛选后的特征，可表示为：
，
上式中，表示通道筛选后的特征，/>表示逐元素相乘，/>～/>分别表示输入的特征/>中的通道元素；/>～/>分别为通道特征权重向量s中的分量，用于重新缩放特征/>的信息，这种方法不仅可以提高计算效率，而且可以更好地利用特征通道之间的关联信息，从而提高图像重建的质量。
本实施例中，分组注意力机制块GAB通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合可表示为：
，
上式中，Fi表示输入第i+1个残差组注意力结构块RGAM的特征，Fi-1表示输入第i个残差组注意力结构块RGAM的特征，GAB表示分组注意力机制块GAB。采用分组注意力机制块对特征图进行分窗口多尺度自注意力操作，以扩大基于窗口的自注意力接受范围，更好地聚合跨窗口信息。在RGAM的最后，引入残差连接，确保训练过程的稳定性。
如图4所示，本实施例分组注意力机制块GAB通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合包括：
S201，将输入的通道筛选后的特征分成K组特征，可表示为：
，
上式中，为K组特征，/>～/>分别为第1～K组特征；
S202，针对K组特征分别采用对应的窗口大小采用一个或多个自注意力机制层STL进行自注意力计算，且各组特征使用的窗口大小各不相同；对于每一组特征，使用不同的窗口大小MK进行自注意力计算，该方法可以灵活地控制计算代价，通过调整不同窗口的大小来平衡计算代价和性能；
S203，将K组自注意力计算后的特征融合，并通过卷积操作将融合后的特征进行压缩和进一步提取特征最终，得到分组注意力机制块GAB输出的特征，可表示为：
，
上式中，表示分组注意力机制块GAB输出的特征，Conv表示卷积操作（本实施例中卷积核的大小为3×3），Concat表示级联操作，/>～/>分别为K组自注意力计算后的特征。
在重构后的特征输入中，每个窗口都可以进入不同的自注意力机制层（SwinTransformer Layer,STL），能够更好地捕捉不同窗口之间的特征关系。如图5所示，本实施例中自注意力机制层STL包括依次相连的多头自注意力机制MSA（Multi-head Self-attention Mechanism）和多层感知器MLP（Multi-Layer Perception），多头自注意力机制MSA和多层感知器MLP的输入端均包括归一化模块LayerNorm，输入多头自注意力机制MSA的特征经过归一化模块LayerNorm归一化后经过多头自注意力机制MSA进行多头自注意力处理得到输出，所述多头自注意力机制MSA的输出、输入多头自注意力机制MSA的特征两者进行第一级的残差连接后，再经过归一化模块LayerNorm归一化后经过多层感知器MLP进行特征转换，且多层感知器MLP转换输出的特征与第一级的残差连接的特征进行第二级的残差连接后作为自注意力机制层STL输出的特征。采用多头自注意力机制MSA将结果连接起来，通过一个多层感知器MLP进行进一步的特征转换。同时，在多头自注意力机制MSA和多层感知器MLP之前添加了归一化模块LayerNorm，并采用残差连接让训练更加稳定。
为了对本实施例多尺度特征融合的轻量级遥感图像超分方法进行验证，本实施例中利用WHU-RS19数据集公开的980张图像进行验证实验，其中WHU-RS19数据集中图像的空间尺寸为600×600，在实验中，使用Bicubic方法下采样生成输入的低分辨率图像，考虑2、4、8比例的缩放倍数，并对比了七种典型的超分方法（DDBPN、RDN、RCAN、SAN、SRFBN、MHAN、TransENET）。其中：DDBPN参见：Haris M, Shakhnarovich G, Ukita N. Deep back-projection networks for super-resolution. In: Proc of IEEE Conference onComputer Vision and Pattern Recognition. 2018, 1664–1673；RDN参见：Zhang Y,Tian Y, Kong Y, et al. Residual dense network for image super-resolution. In:Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2018,2472–2481；RCAN参见：Zhang Y, Tian Y, Kong Y, et al. Residual dense network forimage super-resolution. In: Proc of IEEE Conference on Computer Vision andPattern Recognition. 2018, 2472–2481；SAN参见：Dai T, Cai J, Zhang Y, et al.Second-order attention network for single image super-resolution. In: Proc ofIEEE Conference on Computer Vision and Pattern Recognition. 2019, 11065–11074；SRFBN参见：Dong X, Wang L, Sun X, et al. Remote sensing image super-resolution using second-order multi-scale networks. IEEE Transactions onGeoscience and Remote Sensing, 2020, 59(4):3473–3485；MHAN参见：Zhang D, ShaoJ, Li X, et al. Remote sensing image super-resolution via mixed high-orderattention network. IEEE Transactions on Geoscience and Remote Sensing, 2020,59(6):5183–5196；TransENET参见：Lei S, Shi Z, Mo W. Transformer-BasedMultistage Enhancement for Remote Sensing Image Super Resolution. IEEETransactions on Geoscience and Remote Sensing, 2022, 60:1–11。本实施例中采用的超分评价指标有两种，分别是峰值信噪比（PSNR）和结构相似度（SSIM），两者的值越大代表超分图像的质量越好。除了超分重建图像的质量外，计算效率对于超分重建方法也是一个重要的指标。对计算效率的评价指标有两种，分别是模型参数量（Params）和计算时间，两者的值越小代表算法的计算效率越好。最终，七种典型的超分辨率方法（DDBPN、RDN、RCAN、SAN、SRFBN、MHAN、TransENET）和本实施例提出的方法在WHU-RS19数据集（缩放倍数2、4、8倍）上的客观评价指标，如表1所示。
表1：本实施例方法与七种典型超分方法在WHU-RS19数据集上的客观性能指标。
从表1可以看出，本实施例方法的客观评价指标均优于其他方法。
表2展示了七种典型的超分辨率方法（DDBPN、RDN、RCAN、SAN、SRFBN、MHAN、TransENET）和本实施例提出的方法在WHU-RS19数据集上的计算效率和图像质量的对比。
表2：本实施例方法与七种典型超分方法在WHU-RS19数据集上的计算效率。
从表2可以看出，由于SRFBN方法使用了大量的跳连接操作，所以SRFBN方法的计算参数量最小，但是运行时间并不是最低的，同时，与基于Transformer的TransENet方法相比，本实施例丰富极大地降低了计算负担，同时运行时间减少，在图像质量最优的情况下取得非常出色的计算效率。
综上所述，本实施例多尺度特征融合的轻量级遥感图像超分方法包括对输入的低分辨率图像提取浅层特征；利用残差组注意力结构块提取深度特征；使用像素重组技术对这些特征图中的元素进行重新排列，生成最终的高分辨率图像。本发明设计一种新的轻量化通道注意力机制块，对重要通道信息进行筛选，在降低网络参数量的同时减少超分性能的下降。此外，本实施例多尺度特征融合的轻量级遥感图像超分方法还提出了分组多尺度自注意力模块，通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息，并通过级联将不同类别的信息融合，进一步提高重建图像的质量。本实施例多尺度特征融合的轻量级遥感图像超分方法在时间和重建出的图像质量上获得更好的结果，具有更高的实用价值。
此外，本实施例还提供一种多尺度特征融合的轻量级遥感图像超分系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述多尺度特征融合的轻量级遥感图像超分方法。此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述多尺度特征融合的轻量级遥感图像超分方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种多尺度特征融合的轻量级遥感图像超分方法，其特征在于，包括对输入的低分辨率的遥感图像提取浅层特征，利用残差组注意力结构块RGAM提取深度特征；使用像素重组技术对浅层特征和深度特征中的元素进行重新排列生成最终的高分辨率的遥感图像；所述残差组注意力结构块RGAM包括依次相连的轻量化通道注意块LCAB和分组注意力机制块GAB，所述轻量化通道注意块LCAB用于对输入的特征进行通道筛选，所述分组注意力机制块GAB用于通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合；所述分组注意力机制块GAB的输出与轻量化通道注意块LCAB的输入进行残差连接以作为残差组注意力结构块的输出。
2.根据权利要求1所述的多尺度特征融合的轻量级遥感图像超分方法，其特征在于，轻量化通道注意块LCAB对输入的特征进行通道筛选包括：
S101，针对输入的特征，首先通过全局平均池化操作将n个空间特征Fn-1转化为n个通道维度特征Cn-1，然后依次通过卷积操作、基于ReLU激活函数的激活操作、卷积操作和基于sigmoid函数的激活操作以获得各个通道的权重Wn-1，生成用于选择权重较高的k个通道的通道特征权重向量s；
S102，将和通道特征权重向量s和特征图Fn-1逐元素相乘得到通道筛选后的特征。
3.根据权利要求1所述的多尺度特征融合的轻量级遥感图像超分方法，其特征在于，分组注意力机制块GAB通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合包括：
S201，将输入的通道筛选后的特征分成K组特征；
S202，针对K组特征分别采用对应的窗口大小采用一个或多个自注意力机制层STL进行自注意力计算，且各组特征使用的窗口大小各不相同；
S203，将K组自注意力计算后的特征融合，并通过卷积操作将融合后的特征进行压缩和进一步提取特征最终，得到分组注意力机制块GAB输出的特征。
4.根据权利要求3所述的多尺度特征融合的轻量级遥感图像超分方法，其特征在于，所述自注意力机制层STL包括依次相连的多头自注意力机制MSA和多层感知器MLP，所述多头自注意力机制MSA和多层感知器MLP的输入端均包括归一化模块LayerNorm，输入多头自注意力机制MSA的特征经过归一化模块LayerNorm归一化后经过多头自注意力机制MSA进行多头自注意力处理得到输出，所述多头自注意力机制MSA的输出、输入多头自注意力机制MSA的特征两者进行第一级的残差连接后，再经过归一化模块LayerNorm归一化后经过多层感知器MLP进行特征转换，且多层感知器MLP转换输出的特征与第一级的残差连接的特征进行第二级的残差连接后作为自注意力机制层STL输出的特征。
5.根据权利要求1所述的多尺度特征融合的轻量级遥感图像超分方法，其特征在于，所述利用残差组注意力结构块RGAM提取深度特征为采用深度特征模块实现，所述深度特征模块由N个残差组注意力结构块RGAM和一个卷积核大小为3×3的卷积层组成，N个残差组注意力结构块RGAM依次级联，最终通过卷积核大小为3×3的卷积层将获得的特征输出。
6.根据权利要求5所述的多尺度特征融合的轻量级遥感图像超分方法，其特征在于，所述深度特征模块由三个残差组注意力结构块RGAM和一个卷积核大小为3×3的卷积层组成，三个残差组注意力结构块RGAM依次级联。
7.根据权利要求1所述的多尺度特征融合的轻量级遥感图像超分方法，其特征在于，所述对输入的低分辨率的遥感图像提取浅层特征为采用浅层特征模块实现，所述浅层特征模块由多个卷积层依次相连构成。
8.根据权利要求7所述的多尺度特征融合的轻量级遥感图像超分方法，其特征在于，所述浅层特征模块由三个卷积核大小为3×3的卷积层依次相连构成。
9.一种多尺度特征融合的轻量级遥感图像超分系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述多尺度特征融合的轻量级遥感图像超分方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述多尺度特征融合的轻量级遥感图像超分方法。
CN202311210044.2A 2023-09-19 2023-09-19 一种多尺度特征融合的轻量级遥感图像超分方法及系统 Active CN116934598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311210044.2A CN116934598B (zh) 2023-09-19 2023-09-19 一种多尺度特征融合的轻量级遥感图像超分方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311210044.2A CN116934598B (zh) 2023-09-19 2023-09-19 一种多尺度特征融合的轻量级遥感图像超分方法及系统

Publications (2)

Publication Number Publication Date
CN116934598A true CN116934598A (zh) 2023-10-24
CN116934598B CN116934598B (zh) 2023-12-01

Family

ID=88390171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311210044.2A Active CN116934598B (zh) 2023-09-19 2023-09-19 一种多尺度特征融合的轻量级遥感图像超分方法及系统

Country Status (1)

Country Link
CN (1) CN116934598B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179167A (zh) * 2019-12-12 2020-05-19 天津大学 一种基于多阶段注意力增强网络的图像超分辨方法
CN114429422A (zh) * 2021-12-22 2022-05-03 山东师范大学 基于残差通道注意力网络的图像超分辨率重建方法及系统
CN115239557A (zh) * 2022-07-11 2022-10-25 河北大学 轻量化的x光图像超分辨率重建方法
CN115293968A (zh) * 2022-07-19 2022-11-04 武汉图科智能科技有限公司 一种超轻量高效的单图像超分辨率方法
CN115700727A (zh) * 2023-01-03 2023-02-07 湖南大学 基于自注意力机制的光谱超分辨率重建方法及系统
US20230153946A1 (en) * 2021-11-15 2023-05-18 Northeastern University System and Method for Image Super-Resolution
CN116205789A (zh) * 2022-12-20 2023-06-02 闽江学院 基于通道融合自注意力机制的单幅图像超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179167A (zh) * 2019-12-12 2020-05-19 天津大学 一种基于多阶段注意力增强网络的图像超分辨方法
US20230153946A1 (en) * 2021-11-15 2023-05-18 Northeastern University System and Method for Image Super-Resolution
CN114429422A (zh) * 2021-12-22 2022-05-03 山东师范大学 基于残差通道注意力网络的图像超分辨率重建方法及系统
CN115239557A (zh) * 2022-07-11 2022-10-25 河北大学 轻量化的x光图像超分辨率重建方法
CN115293968A (zh) * 2022-07-19 2022-11-04 武汉图科智能科技有限公司 一种超轻量高效的单图像超分辨率方法
CN116205789A (zh) * 2022-12-20 2023-06-02 闽江学院 基于通道融合自注意力机制的单幅图像超分辨率重建方法
CN115700727A (zh) * 2023-01-03 2023-02-07 湖南大学 基于自注意力机制的光谱超分辨率重建方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LU T, LIU M, FU W, ET AL: "Grouped Multi-Attention Network for Hyperspectral Image Spectral-Spatial Classification", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, vol. 61, pages 1 - 12 *
ZHANG Y, LI K, LI K, ET AL.: "Image super-resolution using very deep residual channel attention networks", 《PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV)》, pages 286 - 301 *
李树涛;吴琼;康旭东: "高光谱遥感图像本征信息分解前沿与挑战", 《测绘学报》, vol. 52, no. 7, pages 1059 - 1073 *
肖子安, 张静, 苑馨方, 等: "基于多尺度特征提取和坐标注意力的光学遥感图像超分辨率重建", 《计算机系统应用》, vol. 32, no. 7, pages 105 - 112 *
蔡体健, 彭潇雨, 石亚鹏, 等: "通道注意力与残差级联的图像超分辨率重建", 《光学精密工程》, vol. 29, no. 1, pages 142 - 151 *
陈一鸣, 周登文: "基于自适应级联的注意力网络的超分辨率重建", 《动化学报》, vol. 48, no. 8, pages 1950 - 1960 *

Also Published As

Publication number Publication date
CN116934598B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
Wang et al. Deep learning for image super-resolution: A survey
Anwar et al. Densely residual laplacian super-resolution
Hui et al. Fast and accurate single image super-resolution via information distillation network
CN112308200B (zh) 神经网络的搜索方法及装置
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN110782462A (zh) 一种基于双流特征融合的语义分割方法
Li et al. Depth-wise asymmetric bottleneck with point-wise aggregation decoder for real-time semantic segmentation in urban scenes
CN111401436B (zh) 一种融合网络和双通道注意力机制的街景图像分割方法
CN115358932B (zh) 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN111429466A (zh) 一种基于多尺度信息融合网络的空基人群计数与密度估计方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN113762147B (zh) 人脸表情迁移方法、装置、电子设备及存储介质
CN115937794B (zh) 小目标对象检测方法、装置、电子设备及存储介质
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN118134779A (zh) 一种基于多尺度重构Transformer与多维注意力的红外和可见光图像融合方法
CN111274936B (zh) 多光谱图像地物分类方法、系统、介质及终端
CN117237623B (zh) 一种无人机遥感图像语义分割方法及系统
Wang et al. Target detection algorithm based on super-resolution color remote sensing image reconstruction
CN108805844A (zh) 一种基于先验滤波的轻量化回归网络构建方法
Ahmadian et al. Single image super-resolution with self-organization neural networks and image laplace gradient operator
CN116934598B (zh) 一种多尺度特征融合的轻量级遥感图像超分方法及系统
Li et al. Parallel-connected residual channel attention network for remote sensing image super-resolution
CN110222716A (zh) 基于全分辨率深度卷积神经网络的图像分类方法
CN113191367B (zh) 基于密集尺度动态网络的语义分割方法
CN113658046B (zh) 基于特征分离的超分辨率图像生成方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant