CN116757930A - 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质 - Google Patents

基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质 Download PDF

Info

Publication number
CN116757930A
CN116757930A CN202310691423.1A CN202310691423A CN116757930A CN 116757930 A CN116757930 A CN 116757930A CN 202310691423 A CN202310691423 A CN 202310691423A CN 116757930 A CN116757930 A CN 116757930A
Authority
CN
China
Prior art keywords
remote sensing
resolution
residual
feature
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310691423.1A
Other languages
English (en)
Inventor
吴云韬
陈希彤
巩朋成
程旭
李晖
张卓钰
刘冰艺
吴黎兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202310691423.1A priority Critical patent/CN116757930A/zh
Publication of CN116757930A publication Critical patent/CN116757930A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于残差分离注意力机制的图像超分辨率方法、系统及介质，包括将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像；提取粗糙特征图；构建上采样模块；构建残差分离注意力模块；构建残差分离注意力组，进一步提取精细特征；将粗糙特征图作为全局残差学习与最后一个残差注意力组的输出进行融合，最后将各个阶段得到的精细遥感卫星特征图输入多级特征融合模块进行融合；将融合得到的最终精细的遥感卫星特征图进行普通卷积，重建成目标的高分辨率遥感卫星图像。本发明所提出的网络优于其他最新的遥感卫星图像超分辨率算法，能够生成更高质量的卫星图像，尤其是在高采样倍数的情况下。

Description

基于残差分离注意力机制的遥感图像超分辨率方法、系统及 介质
技术领域
本申请属于计算机视觉遥感图像超分辨率技术领域，具体涉及一种基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质。
背景技术
遥感卫星(Remote Sensing Satellites)图像作为对地观测的重要手段，广泛应用于多个领域，包括矿产资源开发、环境监测、公共安全保障以及军事等。其中，空间分辨率被视为衡量卫星图像质量的重要指标。然而，星载成像系统经常受到复杂成像环境的影响，导致获取的图像空间分辨率较低。因此，如何提高遥感卫星图像的空间分辨率，提升图像质量，是遥感图像处理领域中一项重要且具有挑战性的任务。
鉴于高质量遥感卫星图像在各种应用场景中的独特价值，单幅图像超分辨率(Single-Image Super-Resolution,SISR)方法在遥感卫星图像处理方面近年来引起了广泛的关注。除了借助更先进的硬件设备以提高图像质量外，超分辨率(Super-Resolution,SR)技术也提供了一种方便且有效的策略，用以提升图像的质量。随着卫星摄影测量技术的快速发展，对于开发高效且高精度的遥感卫星图像超分辨率(SR)方法的需求日益增长。为了获得高质量的图像，许多研究者已经采用了基于卷积神经网络的技术，学习低分辨率(Low resolution，LR)和高分辨率(High resolution，HR)图像之间的映射函数，并建立了各种SR模型，有效地提高了图像的分辨率和质量。Liebel等人首次将超分辨率卷积神经网络(Single Image Super-Resolution Using Deep Learning，SRCNN)应用到卫星图像的超分辨率上，其考虑到卫星图像的SR方法无法直接通过自然图像进行训练，因此使用SENTINEL-2图像生成了一个遥感数据集，以重新学习映射关系。Lei等人引入了一个多分支结构框架(Super-resolution for remote sensing images via local–global combinednetwork)，以学习网络的多尺度表达能力，该框架将浅层和深层特征映射相结合，完成特征信息之间的交互，以更好地指导网络重建。Qin等人基于GoogLeNet设计了一个多尺度网络(Remote sensing image super-resolution using multi-scale convolutional neuralnetwork)，该网络使用多尺度内核提取图像特征，并在连接每个通道特征后获得更全面的深度特征，以改善SR效果。
虽然基于深度学习的遥感卫星图像超分辨率方法已经取得了一些令人满意的效果，但目前大多数研究在提高遥感图像分辨率方面主要集中在较小的采样倍数，并主要通过在网络中增加一层上采样层来提高分辨率。然而，对于在高采样倍数下的重建问题，相关研究仍然较少。例如，Pan等人利用反向投影策略来更完整地处理LR和HR之间的依赖性(Super-resolution of single remote sensing image based on residual dense backprojection networks，RDBPN)。Dong等人提出了一种密集采样框架(Remote sensingimage super-resolution using novel dense-sampling networks，DSSR)，该框架通过密集采样机制重用升频器来对低维特征进行上采样，以研究大尺度因子SR重建。尽管现有RDBPN和DSSR方法尝试通过上采样模块密集地连接特征以解决高采样倍数(例如，×8)下的遥感卫星图像SR，但上述方法均使用相同的权重大小学习不同区域的遥感特征图，缺乏跨特征通道的表达能力。此外，由于LR图像有限的先验信息，在高采样倍数的条件下，预测局部特征变得更具挑战性。并且，额外的先验信息意味着更多的计算开销，并增加了训练难度，进一步对后续的重建过程产生不利影响。因此，如何在高采样倍数的条件下，提取可靠且精确的精细特征以及如何增强跨通道特征的表达能力，显得尤为重要。
发明内容
本申请实施例的目的在于提供一种基于残差分离注意力机制的图像超分辨率方法、系统及介质，由此解决现有遥感卫星超分辨率重建算法在高采样倍数条件下网络重建性能以及图像质量上存在一定的局限性的技术问题。
为实现上述目的，本申请提供如下技术方案：
第一方面，本申请实施例提供一种基于残差分离注意力机制的图像超分辨率方法，包括：
S1：将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像；
S2：将所述目标低分辨率遥感图像进行分块操作，分出相互重叠的图像块后，使用粗糙特征提取模块对低分辨率遥感图像进行深度分离卷积操作，提取粗糙特征图FC；
S3：构建上采样模块，并引入去除伪影的方法，以帮助网络减少过多的遥感卫星图像伪影。
S4：构建残差分离注意力模块，使网络生成局部注意力，增强遥感卫星图像全局结构信息在通道层面的交互；
S5：构建残差分离注意力组进一步提取精细特征，将提取的粗糙特征图FC输入残差分离注意力组获得精细的遥感特征图，其中，所述的残差分离注意力网络包含若干个残差分离注意力组，每个组包含一个上采样模块和一个残差分离注意力模块，上采样模块考虑层级先验信息，在高分辨率特征空间中辅助网络并预测高频局部细节信息；残差分离注意力模块用于自适应地探索和学习低分辨率特征空间中的全局结构信息；
S6：将粗糙特征图FC作为全局残差学习与最后一个残差注意力组的输出进行融合，最后将各个阶段得到的精细遥感卫星特征图输入多级特征融合模块进行融合；
S7：将融合得到的最终精细的遥感卫星特征图进行普通卷积，重建成目标的高分辨率遥感卫星图像。
在一些可选的实施方案中，在步骤S2中，使用一个逆残差模块和一个3*3卷积层构建的粗糙特征提取器，并使用所述粗糙特征提取器提取粗糙特征图FC，其中，逆残差块由1*1点卷积层Pwconv、3*3深度可分卷积层Dwconv、批量归一化BN层、激活函数PReLU组成，所述粗糙特征图F_C表示为：FC＝HC(ILR)，其中HC(·)是粗特征提取操作，ILR表示输入的低分辨率遥感卫星图像。
在一些可选的实施方案中，步骤S3包括：
将粗糙特征图FC输入8*8反卷积层Deconv和一个逆残差模块以得到低分辨率特征图L1，随后粗糙特征图FC与低分辨率特征图L1进行逐元素相减后再次输入8*8反卷积层Deconv，将两次反卷积层得到的高分辨率特征图进行特征融合得到最终的上采样模块输出。
在一些可选的实施方案中，步骤S4包括：
将得到的高分辨率融合特征图输入3*3深度可分卷积层后分别通过每个通道分割成n个split，并且输出通道的数量被定为c，则每个部分的输出通道的值为然后通过一个逐元素相加器将这n个部分进行融合：FSplits＝HSum(Split1，Split2，...，Splitn)，Splitn代表通过划分操作后的第n个split，HSum表示逐元素求和操作，接着FSplits通过一个自适应平均池化层和两个点卷积层后，通过一个softmax函数再次被分割成n个split，每个当前的split分别乘以之前对应的split，最后使用一个逐元素相加器融合相乘后的特征作为残差分离注意力模块的输出，残差分离注意力被表示为：FRSA＝HSum(HEp(Split1，Split′1)，...，HEp(Splitn，Split′n))，HSum表示第二个逐元素相加运算，HEp表示按元素进行乘法运算。
在一些可选的实施方案中，所述残差分离注意力组为：每个残差分离注意力组包含一个上采样模块和一个残差分离注意力模块，对第m组残差分离注意力组提取的深层特征图表示为：F1＝HRSAG，m(FC)m＝1，/> m＝2，...，M，其中HRSAG，m(·)表示第m个残差分离注意力组操作，残差分离注意力组设置数量由消融实验决定最优值为m＝10。
在一些可选的实施方案中，所述多级特征融合模块为：将不同残差分离注意力组输出的高分辨率特征图输入多级特征融合模块进行特征融合其中U1＝HUp，1(FC)，HUp，1表示第一次上采样操作，U1为第一次上采样操作的输出，/>U2表示第二次上采样操作的输出结果，m＝3，...，M，其中/>为第m-1个与第m-2个残差注意力模块输出的特征融合，concat为特征融合操作。
在一些可选的实施方案中，所述目标的高分辨率遥感卫星图像表示为：HRec表示重建操作，采用3*3卷积实现，ISR表示所述目标的高分辨率遥感卫星图像。
在一些可选的实施方案中，整个网络的损失函数LH表示为：LH＝λ1Lpix+λ2Lper+λ3Lbec，其中，权重系数λ1、λ2和λ3被用来平衡损失，为像素域损失，/>和/>表示数据集中第i张低分辨率遥感卫星图像和第i张高分辨率遥感卫星图像；/>为感知域损失，fVGG 54为VGG网络特征提取函数，HRSAN为残差分离注意力网络的输出；/> 为二元交叉熵损失，表示残差分离注意力网络的输出经过Sigmoid激活后的结果。
按照本发明的另一方面，提供了一种基于残差分离注意力机制的
遥感卫星超分辨率系统，包括：
下采样模块，将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像；
粗糙特征提取器模块，将目标低分辨率遥感卫星图像进行分块操作，分出相互重叠的图像块后，使用逆残差模块提取粗糙的遥感特征图；
残差分离注意力组，用于构建残差分离注意力网络作为精细特征提取器，将所述粗糙的遥感图像特征图输入所述残差分离注意力组获得精细的遥感图像特征图，其中，所述的残差分离注意力网络包含若干个残差分离注意力组，每个组中包含一个上采样模块和一个残差分离注意力模块，上采样模块考虑层级先验信息，在高分辨率特征空间中辅助网络并预测高频局部细节信息；残差分离注意力模块用于自适应地探索和学习低分辨率特征空间中的全局结构信息；
多级特征融合模块，通过密集连接逐步融合不同层级的特征图，使局部注意力跨特征组交互，实现网络的全局注意力，获得更精细的遥感特征图；
遥感图像重建模块，用于将特征融合后的遥感卫星特征图进行卷积操作，重建成目标的高分辨率遥感卫星图像。
按照本发明的另一方面，一种计算机可读存储介质，其上存储有计算机程序所述计算机程序被处理器执行时实现上述任一项所述的基于残差分离注意力机制的图像超分辨率方法。
与现有技术相比，本发明的有益效果是：基于残差分离注意力机制(ResidualSplit Attention Mechanism，RSAM)的遥感卫星超分辨率方法，可以有效解决单幅遥感卫星图像SR方法中存在纹理细节不足与结构信息不准确的问题，尤其是在高采样倍数条件下。
此外，提出了残差分离注意力机制组来帮助网络聚焦于细节丰富的区域，以减少对信息不充分部分的关注，并通过分离并融合来自不同通道维度的中间残差特征图，从而增强网络的整体表达能力。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的一种基于残差分离注意力机制的图像超分辨率方法的流程示意图；
图2是本发明实施例提供的一种基于残差分离注意力机制的图像超分辨率网络的网络框架图；
图3是本发明实施例提供的一种基于残差分离注意力组的网络框架图；
图4是本发明实施例提供的一种装置结构示意图。
图5是本发明实施例提供的一种在RSSCN7公开数据集上的结果图(4倍下采样条件下)，后两行图像显示的是生成图像与原始图像之间的误差分布。
图6是本发明实施例提供的一种在RSSCN7公开数据集上的结果图(8倍下采样条件下)，后两行图像显示的是生成图像与原始图像之间的误差分布。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
本发明实施例的基于残差分离注意力机制的图像超分辨率方法，如图1所示，包括以下步骤：
S1：将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像；
在本发明实施例中，可以使用双三次插值法(Bicubic interpolation)将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像。
本发明实施例中优选使用RSSCN7数据集，其中包含来自7个场景类别的共计2800幅遥感图像，每个类别包含400幅图像，分别选择了2100张和700张图像作为实验训练集和测试集。数据集中的每个图像的像素大小为400×400本发明使用双三次退化模型对数据集进行下采样，其中下采样因子大小为4和8，因此下采样后的低分辨率图像的大小分别为100×100与50×50像素。
S2：构建粗糙特征提取器，将目标低分辨率图像进行分块操作，
分出相互重叠的图像块后，使用粗糙特征提取器提取粗糙的遥感卫星特征图；
在本发明实施例中，可以使用一个逆残差模块和一个3*3卷积层构建的粗糙特征提取器，其中，粗糙的遥感卫星特征图表示为：
FC＝HC(ILR)
其中，逆残差块由1*1点卷积层Pwconv、3*3深度可分卷积层Dwconv、批量归一化BN层、激活函数PReLU组成，HC(·)是粗特征提取操作，ILR表示输入的低分辨率遥感卫星图像。
S3：构建上采样模块(Upscale Module)，并引入去除伪影的方法，以帮助网络减少过多的遥感卫星图像伪影；
在本发明实施例中，上采样模块工作流程分为以下几个步骤：
将得到的粗糙遥感卫星特征图FC输入8*8反卷积层Deconv和一个逆残差模块以得到低分辨率特征图L1，随后粗糙特征图FC与低分辨率特征图L1进行逐元素相减后再次输入8*8反卷积层Deconv，将两次反卷积层得到的高分辨率特征图进行特征融合得到最终的上采样模块输出；
S4：构建残差分离注意力模块(Residual Split Attention Module)，令网络的局部注意力，增强遥感卫星图像全局结构信息在通道层面的交互；
在本发明实施例中，残差分离注意力模块工作流程分为以下几个步骤：将上采样模块得到的高分辨率融合特征图输入3*3深度可分卷积层后分别通过每个通道分割成n个split，并且输出通道的数量被定为c，则每个部分的输出通道的值为然后通过一个逐元素相加器将这n个部分进行融合：
FSplits＝HSum(Split1，Split2，...，Splitn)
其中，Splitn代表通过划分操作后的第n个split，HSum表示逐元素求和操作，接着FSplits通过一个自适应平均池化层和两个点卷积层后，通过一个softmax函数再次被分割成n个split，每个当前的split分别乘以之前对应的split，最后使用一个逐元素相加器融合相乘后的特征作为残差分离注意力模块的输出，残差分离注意力被表示为：
FRSA＝HSum(HEp(Split1，Split′1)，...，HEp(Splitn，Split′n))
其中，HSum表示第二个逐元素相加运算，HEp表示按元素进行乘法运算。
S5：构建残差分离注意力组进一步提取精细特征，获得精细的遥
感卫星特征图；
在本发明实施例中，残差分离注意力组工作流程分为以下几个步骤：
将提取的粗糙遥感特征图输入残差分离注意力组获得精细的遥感特征图，其中，所述的残差分离注意力网络包含若干个残差分离注意力组，每个组包含一个上采样模块和一个残差分离注意力模块，上采样模块考虑层级先验信息，在高分辨率特征空间中辅助网络并预测高频局部细节信息；残差分离注意力模块用于自适应地探索和学习低分辨率特征空间中的全局结构信息；对第m组残差分离注意力组提取的深层特征图表示为：
F1＝HRSAG，m(FC)m＝1，m＝2，...，M，
其中HRSAG，m(·)表示第m个残差分离注意力组操作，残差分离注意
力组设置数量由消融实验决定最优值为m＝10。
S6：构建多级特征融合模块，将不同残差分离注意力组输出的高分辨率特征图进行融合：
其中U1＝HUp，1(FC)，HUp，1表示第一次上采样操作，U1为第一次上采样操作的输出，U2表示第二次上采样操作的输出结果，m＝3，...，M，其中/>为第m-1个与第m-2个残差注意力模块输出的特征融合，concat为特征融合操作。
S7：构建遥感卫星图像重建模块，将融合得到的最终精细的遥感卫星特征图进行普通卷积，重建成目标的高分辨率遥感卫星图像。
在本发明实施例中，遥感卫星图像重建模块表示如下：
其中，HRec表示重建操作，采用3*3卷积实现，ISR表示所述目标的高分辨率遥感卫星图像。
S8：整个网络的损失函数LH表示为：
LH＝λ1Lpix+λ2Lper+λ3Lbec
其中，权重系数λ1、λ2和λ3被用来平衡损失，为像素域损失，/>和/>表示数据集中第i张低分辨率遥感卫星图像和第i张高分辨率遥感卫星图像；/>为感知域损失，fVGG 54为VGG网络特征提取函数，HRSAN为残差分离注意力网络的输出；为二元交叉熵损失，/>表示残差分离注意力网络的输出经过Sigmoid激活后的结果。
本发明还提供一种基于残差分离注意力机制的遥感卫星超分辨
率系统，如图3所示，包括：
下采样模块101，将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像；
粗糙特征提取器模块102，将目标低分辨率遥感卫星图像进行分块操作，分出相互重叠的图像块后，使用逆残差模块提取粗糙的遥感特征图；
残差分离注意力组103，用于构建残差分离注意力网络作为精细特征提取器，将所述粗糙的遥感图像特征图输入所述残差分离注意力组获得精细的遥感图像特征图，其中，所述的残差分离注意力网络包含若干个残差分离注意力组，每个组中包含一个上采样模块和一个残差分离注意力模块，上采样模块考虑层级先验信息，在高分辨率特征空间中辅助网络并预测高频局部细节信息；残差分离注意力模块用于自适应地探索和学习低分辨率特征空间中的全局结构信息；
多级特征融合模块104，通过密集连接逐步融合不同层级的特征图，使局部注意力跨特征组交互，实现网络的全局注意力，获得更精细的遥感特征图；
遥感图像重建模块105，用于将特征融合后的遥感卫星特征图进行卷积操作，重建成目标的高分辨率遥感卫星图像。
其中，各模块的具体实施方式可以参考上述方法实施例的描述，本发明实施例将不再复述。
本发明还提供一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行上述的基于残差分离注意力机制的图像超分辨率方法。
本发明最后提供一个测试实施例，本发明使用RSSCN7数据集，其中包含来自7个场景类别的共计2800幅遥感图像，每个类别包含400幅图像，分别选择了2100张和700张图像作为实验训练集和测试集。数据集中的每个图像的像素大小为400×400本发明使用双三次退化模型对数据集进行下采样，其中下采样因子为4和8，因此下采样后的低分辨率图像的分别大小为100×100与50×50像素。需要注意的是，所有的训练和测试都是基于YCbCr颜色空间中的亮度通道，并且使用了4倍与8倍的采样倍数进行训练和测试。使用峰值信噪比(Peak signal-to-noise ratio，PSNR)、结构相似性(Structural SIMilarity，SSIM)、视觉信息保真度(Visual Information Fidelity，VIF)和(Erreur Relative GlobaleAdimensionnelle de Synthèse，ERGAS)四个个评价指标对SR重建结果进行评价，以检验亮度信道下SR重建的性能。在训练的每次迭代中，提取16个32×32大小的LR块作为输入。本发明的模型由Adam优化器训练，β1＝0.9，β2＝0.999，和∈＝10-8。学习速率初始化□＝10-4，每500个周期减少到原来的十分之一大小。使用Pytorch平台并使用GTX3090显卡训练本发明的模型。表1通过上述四个评价指标展示了在重建倍数为4与8的条件下的对比结果，图5图6分别为4倍与8倍遥感卫星图像的重建结果对比图。其中，D374与E327表示原始的高分辨率遥感卫星基准图。
选择作为对比的遥感卫星图像SR方法包括：Bicubic，EDSR，DBPN，RDN，RCAN，SAN和MHAN。Bicubic是一种经典的图像插值算法；EDSR是一种经典的深度残差网络的SR方法；DBPN是基于一种基于深度反向投影网络的SR方法；RDN是一种深度残差密集连接网络的SR方法；RCAN是一种基于深度残差通道注意力网络的SR方法；SAN是一种基于二阶注意力网络的SR方法；MHAN是一种基于混合高阶注意力机制的SR方法。图5中D374为原始的高分辨率遥感卫星基准图，图6中E327为原始的高分辨率遥感卫星基准图，RSAN是本发明生成的高分辨率遥感卫星图像，可以从中发现，本发明在视觉结果中取得了最好的视觉效果。
表1本发明与七种优秀算法比较结果表
方法 Scale Param/M PSNR↑ SSIM↑ VIF↑ ERGAS↓
Bicubic ×4 - 30.62 0.7899 0.4490 1.4738
EDSR ×4 40.09 32.71 0.8471 0.5064 1.1786
DBPN ×4 10.43 32.73 0.8480 0.5072 1.1756
RDN ×4 1.15 32.21 0.8341 0.4903 1.2488
RCAN ×4 15.59 32.78 0.8487 0.5091 1.1724
SAN ×4 15.82 32.76 0.8483 0.5083 1.1717
MHAN ×4 11.35 32.65 0.8454 0.5050 1.1894
本发明 ×4 8.21 32.87 0.8494 0.5128 1.1619
Bicubic ×8 - 25.77 0.5762 0.2289 3.0669
EDSR ×8 83.22 28.72 0.7158 0.3184 1.8114
DBPN ×8 23.21 28.74 0.7189 0.3195 1.8028
RDN ×8 1.29 28.50 0.7073 0.3079 1.8412
RCAN ×8 15.74 28.73 0.7162 0.3119 1.8032
SAN ×8 15.97 28.77 0.7189 0.3170 1.7957
MHAN ×8 11.51 28.56 0.7131 0.3179 1.8447
本发明 ×8 9.72 28.84 0.7206 0.3247 1.7832
从以上表格实验结果可以看出，本发明与其他七种方法相比，取得了很明显的优势。
说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，包括：
S1：将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像；
S2：将所述目标低分辨率遥感卫星图像进行分块操作，分出相互重叠的图像块后，使用粗糙特征提取模块对低分辨率遥感卫星图像进行深度分离卷积操作，提取粗糙特征图FC；
S3：构建上采样模块，并引入去除伪影的方法，以帮助网络减少过多的遥感卫星图像伪影；
S4：构建残差分离注意力模块，使网络生成局部注意力，增强遥感卫星图像全局结构信息在通道层面的交互；
S5：构建残差分离注意力组，进一步提取精细特征，将提取的粗糙特征图FC输入残差分离注意力组获得精细的遥感特征图，其中，所述的残差分离注意力网络包含若干个残差分离注意力组，每个组包含一个上采样模块和一个残差分离注意力模块，上采样模块考虑层级先验信息，在高分辨率特征空间中辅助网络并预测高频局部细节信息；残差分离注意力模块用于自适应地探索和学习低分辨率特征空间中的全局结构信息；
S6：将粗糙特征图FC作为全局残差学习与最后一个残差注意力组的输出进行融合，最后将各个阶段得到的精细遥感卫星特征图输入多级特征融合模块进行融合；
S7：将融合得到的最终精细的遥感卫星特征图进行普通卷积，重建成目标的高分辨率遥感卫星图像。
2.根据权利要求1所述的一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，所述步骤S2中，使用一个逆残差模块和一个3*3卷积层构建的粗糙特征提取器，并使用所述粗糙特征提取器提取粗糙特征图FC，其中，逆残差块由1*1点卷积层Pwconv、3*3深度可分卷积层Dwconv、批量归一化BN层、激活函数PReLU组成，所述粗糙特征图FC表示为：FC＝HC(ILR)，其中HC(·)是粗特征提取操作，ILR表示输入的低分辨率遥感卫星图像。
3.根据权利要求1所述的一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，所述步骤S3包括：
将上述操作得到的粗糙特征图FC输入8*8反卷积层Deconv和一个逆残差模块以得到低分辨率特征图L1，随后粗糙特征图FC与低分辨率特征图L1进行逐元素相减后再次输入8*8反卷积层Deconv，将两次反卷积层得到的高分辨率特征图进行特征融合得到最终的上采样模块输出。
4.根据权利要求1所述的一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，所述步骤S4包括：
将上述操作得到的高分辨率融合特征图输入3*3深度可分卷积层后分别通过每个通道分割成n个split，并且输出通道的数量被定为c，则每个部分的输出通道的值为然后通过一个逐元素相加器将这n个部分进行融合：FSplits＝HSum(Split1,Split2,…,Splitn)，Splitn代表通过划分操作后的第n个split，HSum表示逐元素求和操作，接着FSplits通过一个自适应平均池化层和两个点卷积层后，通过一个softmax函数再次被分割成n个split，每个当前的split分别乘以之前对应的split，最后使用一个逐元素相加器融合相乘后的特征作为残差分离注意力模块的输出，残差分离注意力被表示为：FRSA＝HSum(HEp(Split1,Split′ 1),…,HEp(Splitn,Split′ n))，HSum表示第二个逐元素相加运算，HEp表示按元素进行乘法运算。
5.根据权利要求1所述的一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，所述步骤S5包括：
对于残差分离注意力网络，其中包含若干残差分离注意力组，对第m组残差分离注意力组提取的深层特征图Fm+表示为：F1＝HRSAG,m(FC)m＝1,m＝2,…,M,其中HRSAG,m(·)表示第m个残差分离注意力组操作，残差分离注意力组设置数量由消融实验决定最优值为m＝10。
6.根据权利要求5所述的一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，所述步骤S5中得到的不同残差分离注意力组输出的高分辨率特征图输入多级特征融合模块进行特征融合其中U1＝HUp,1(FC)，HUp,1表示第一次上采样操作，U1为第一次上采样操作的输出，/>U2表示第二次上采样操作的输出结果，/> 其中/>为第m-1个与第m-2个残差注意力模块输出的特征融合，concat为特征融合操作。
7.根据权利要求6所述的一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，其特征在于，所述目标的高分辨率遥感卫星图像表示为：HRec表示重建操作，采用3*3卷积实现，ISR表示所述目标的高分辨率遥感卫星图像。
8.根据权利要求1至7任意一项所述的一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，整个网络的损失函数LH表示为：LH＝λ1Lpix+λ2Lper+λ3Lbec，其中，权重系数λ1、λ2和λ3被用来平衡损失，为像素域损失，/>和/>表示数据集中第i张低分辨率遥感卫星图像和第i张高分辨率遥感卫星图像；为感知域损失，fVGG54为VGG网络特征提取函数，HRSAN为残差分离注意力网络的输出；/> 为二元交叉熵损失，表示残差分离注意力网络的输出经过Sigmoid激活后的结果。
9.一种基于残差分离注意力机制的图像超分辨率系统，其特征在于，包括：
下采样模块，将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像；
粗糙特征提取器模块，将目标低分辨率遥感卫星图像进行分块操作，分出相互重叠的图像块后，使用逆残差模块提取粗糙特征图FC；
残差分离注意力组，用于构建残差分离注意力网络作为精细特征提取器，将所述粗糙特征图FC输入所述残差分离注意力组获得精细的遥感图像特征图，其中，所述的残差分离注意力网络包含若干个残差分离注意力组，每个组中包含一个上采样模块和一个残差分离注意力模块，上采样模块考虑层级先验信息，在高分辨率特征空间中辅助网络并预测高频局部细节信息；残差分离注意力模块用于自适应地探索和学习低分辨率特征空间中的全局结构信息；
多级特征融合模块，通过密集连接逐步融合不同层级的特征图，使局部注意力跨特征组交互，实现网络的全局注意力，获得更精细的遥感特征图；
遥感图像重建模块，用于将特征融合后的遥感卫星特征图进行卷积操作，重建成目标的高分辨率遥感卫星图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的基于残差分离注意力机制的图像超分辨率方法。
CN202310691423.1A 2023-06-12 2023-06-12 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质 Pending CN116757930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310691423.1A CN116757930A (zh) 2023-06-12 2023-06-12 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310691423.1A CN116757930A (zh) 2023-06-12 2023-06-12 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质

Publications (1)

Publication Number Publication Date
CN116757930A true CN116757930A (zh) 2023-09-15

Family

ID=87950781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310691423.1A Pending CN116757930A (zh) 2023-06-12 2023-06-12 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质

Country Status (1)

Country Link
CN (1) CN116757930A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474963A (zh) * 2023-10-18 2024-01-30 南京国础科学技术研究院有限公司 多源卫星图像配准方法、系统、存储介质和电子设备
CN117788722A (zh) * 2024-02-27 2024-03-29 国能大渡河金川水电建设有限公司 一种基于bim的地下空间的安全数据监测系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474963A (zh) * 2023-10-18 2024-01-30 南京国础科学技术研究院有限公司 多源卫星图像配准方法、系统、存储介质和电子设备
CN117474963B (zh) * 2023-10-18 2024-04-19 南京国础科学技术研究院有限公司 多源卫星图像配准方法、系统、存储介质和电子设备
CN117788722A (zh) * 2024-02-27 2024-03-29 国能大渡河金川水电建设有限公司 一种基于bim的地下空间的安全数据监测系统
CN117788722B (zh) * 2024-02-27 2024-05-03 国能大渡河金川水电建设有限公司 一种基于bim的地下空间的安全数据监测系统

Similar Documents

Publication Publication Date Title
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
CN109308679B (zh) 一种图像风格转换方法及装置、设备、存储介质
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
CN112016507B (zh) 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN108475415B (zh) 用于图像处理的方法和系统
US9652830B2 (en) Method and apparatus for performing hierarchical super-resolution of an input image
CN112070670B (zh) 全局-局部分离注意力机制的人脸超分辨率方法及系统
CN110675347B (zh) 一种基于组稀疏表示的图像盲复原方法
CN116757930A (zh) 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN106408550A (zh) 一种改进的自适应多字典学习的图像超分辨率重建方法
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
Zhao et al. Local patch encoding-based method for single image super-resolution
CN115293966A (zh) 一种人脸图像重建方法、装置以及存储介质
Gao et al. Bayesian image super-resolution with deep modeling of image statistics
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
CN113837941A (zh) 图像超分模型的训练方法、装置及计算机可读存储介质
CN111428809B (zh) 基于空间信息融合与卷积神经网络的人群计数方法
CN115867933A (zh) 用于处理图像的计算机实现的方法、计算机程序产品以及系统
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN116029908A (zh) 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法
CN113191949B (zh) 多尺度超分辨率病理图像数字化方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination