CN116309227A - 基于残差网络与空间注意力机制的遥感图像融合方法 - Google Patents
基于残差网络与空间注意力机制的遥感图像融合方法 Download PDFInfo
- Publication number
- CN116309227A CN116309227A CN202310290121.3A CN202310290121A CN116309227A CN 116309227 A CN116309227 A CN 116309227A CN 202310290121 A CN202310290121 A CN 202310290121A CN 116309227 A CN116309227 A CN 116309227A
- Authority
- CN
- China
- Prior art keywords
- loss
- image
- network
- spatial
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 14
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 238000001228 spectrum Methods 0.000 claims abstract description 15
- 238000012937 correction Methods 0.000 claims abstract description 8
- 230000015556 catabolic process Effects 0.000 claims abstract description 5
- 238000006731 degradation reaction Methods 0.000 claims abstract description 5
- 238000005520 cutting process Methods 0.000 claims abstract description 4
- 238000004519 manufacturing process Methods 0.000 claims abstract description 4
- 230000005855 radiation Effects 0.000 claims abstract description 4
- 230000003595 spectral effect Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 8
- 230000000452 restraining effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 48
- 238000000605 extraction Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 3
- 101150071716 PCSK1 gene Proteins 0.000 description 2
- 101100194362 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res1 gene Proteins 0.000 description 2
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于残差网络与空间注意力机制的遥感图像融合方法，包括以下步骤：S1：对采集到的全色图像与多光谱图像进行大气校正、辐射校正、配准，将配准后的图像进行裁剪，并分为训练集与测试集；S2：构建无监督融合网络框架；S3：设计同时能约束融合图像光谱损失与空间损失的损失函数；S4：对损失函数进行训练与测试，将原始多光谱与全色图像输入进无监督融合网络进行训练，循环迭代，并根据目标图像需求分配不同损失函数权重，对网络进行优化，保存训练模型；S5：调用训练模型，对测试图像进行测试，得到融合的高空间分辨率多光谱图像；能够直接在原始待融合图像上进行训练，避免制造模拟退化数据集问题。
Description
技术领域
本发明属于图像处理技术领域，具体涉及基于残差网络与空间注意力机制的遥感图像融合方法。
背景技术
遥感图像在工农业生产、军事侦察打击、城市规划与资源勘探等方向应用越来越多。同时，随着信息与通讯技术的不断发展，越来越多的卫星被发射升空，可供获取的遥感图像也海量增长。但是受限于传感器的限制，获取具有高空间分辨率、高光谱光谱分辨率的遥感图像十分困难。目前常用的卫星会搭载不同的传感器来采集多模态数据，然后将多模态数据融合来获取所需的高空间分辨率、多光谱影像。
传统的融合方法一般分为成分替换法、多分辨率分析法。成分替换法具有方法步骤简单且易实现，计算效率高等优点，但其易于出现光谱失真。多分辨率分析法光谱扭曲少，抗混叠，但算法较复杂，融合策略设计较复杂且易影响融合图像的空间细节信息。近年来，随着计算机运算能力的飞速发展以及大数据时代的到来，使得深度学习类方法能够通过深层次的网络结构来描述输入数据和标签之间复杂的映射关系。深度学习类方法以其高效、先进的性能在许多图像处理应用中受到越来越多的关注。大多数基于深度学习的融合方法思想来源于图像超分重建(Super Resolution，SR)，SR指从观测到的低分辨率图像与高分辨率图像对中学习低分到高分的映射，并对低分辨率图像重建得到相应的高分辨率图像。由于在遥感领域，缺少真实的高空间分辨率图像作为参考图像，通常通过制造模拟退化数据集进行训练，并学习低分到高分的映射。该方案并不是真实图像间的学习，也忽视了模拟数据与真实LR图像光谱与空间细节的差异。
此外，为了使融合图像的空间细节纹理部分更丰富，大量空间注意力模块被提出。注意力机制的本质就是定位到感兴趣的信息，抑制无用信息，结果通常都是以概率图或者概率特征向量的形式展示，大多数现有的注意力机制都是通过神经网络的操作产生一个掩膜，并将掩膜上的值视为权重，给感兴趣更重的权重。然而，掩膜的生成缺乏监督，很难解释注意力模块中到底什么区域被重点关注。
使用深度学习算法对遥感数据做超分时，损失函数多使用均方差来衡量目标值与真实值间差异并尽力减少此差异，均方差具有计算简单，拟合数据良好等优点，但是其对大误差惩罚强，对小误差惩罚较弱，有时会忽略图像本身内容的影响。此外，使用均方差作为损失函数拟合的是模拟数据间的映射，没有考虑原始待融合图像高空间分辨率、高光谱分辨率的特点。
发明内容
本发明提供了基于残差网络与空间注意力机制的遥感图像融合方法，能够直接在原始待融合图像上进行训练，避免制造模拟退化数据集问题。
本发明的具体方案如下：
基于残差网络与空间注意力机制的遥感图像融合方法，包括以下步骤：
步骤S1：对采集到的全色图像与多光谱图像进行大气校正、辐射校正、配准，将配准后的图像进行裁剪，并分为训练集与测试集；
步骤S2：构建无监督融合网络框架；
步骤S3：根据多光谱图像具有丰富光谱信息，全色图像具有丰富空间纹理信息设计同时能约束融合图像光谱损失与空间损失的损失函数；
步骤S4：对损失函数进行训练与测试，将原始多光谱与全色图像输入进无监督融合网络进行训练，循环迭代，并根据目标图像需求分配不同损失函数权重，对网络进行优化，保存训练模型；
步骤S5：调用训练模型，对测试图像进行测试，得到融合的高空间分辨率多光谱图像。
优选地，步骤S2包括以下子步骤：
步骤S21：针对目标图像搭建无监督融合网络框架，使得网络能直接融合输入图像，不必制作模拟退化数据集；
步骤S22：设计网络框架各模块数量，使用两层卷积层、五个残差块、五个空间注意力块与一个激活函数构成网络框架；
步骤S23：设计卷积层的大小；
对于第一卷积层，所述第一卷积层的卷积核大小为32*3*3，对于第二卷积层，所述第二卷积层的卷积核大小为n*3*3,
其中，n为多光谱图像波段数，激活函数为RELU函数；
步骤S24：设计一个高通滤波器提取全色图像的高频信息做掩膜，所述高通滤波器滤波核为[[0,0,1,0,0],[0,1,2,1,0],[1,2,-16,2,1],[0,1,2,1,0],[0,0,1,0,0]]。
优选地，步骤S3包括以下子步骤：
步骤S31：设计的损失函数；所述损失函数包括空间域损失函数与频率域损失函数，所述空间域与频率域损失函数均包括空间损失项与光谱损失项，
所述损失函数的计算公式为：
Loss＝w1·lossspatial1+w2·lossspectral1+w3·lossspatial2+w4·lossspectral2
其中，w1、w2、w3、w4为权重，lossspatial1为空间域里空间损失项，lossspectral1为空间域里光谱损失项，lossspatial2为频率域里空间损失项，lossspectral2为频率域里光谱损失项；
步骤S32：空间域里空间损失项采用通用图像质量指数来计算，其计算公式为：
式中，x和y分别为输入图像与参考图像，σxy为x和y的协方差，σx 2为x的方差，σy 2分别为y的方差，
为x的均值，/>
分别为y的均值，空间损失UIQI的取值范围为[-1,1]，其最优值为1；
所述空间域里空间损失项为：
lossspatial1＝1-UIQI(Networkoutput,PAN)
其中，Networkoutput为融合图像的网络输出，PAN为输入全色图像；
步骤S33：空间域里光谱损失项采用光谱角映射来计算，其公式为：
lossspectral1＝SAM(downsample|Networkoutput|,MS)
其中，downsample|*|表示下采样操作，Networkoutput为融合图像的网络输出，MS为输入多光谱图像；
步骤S34：频率域里损失项采用均方差来计算，其公式为：
所述频率域里空间域光谱损失项计算公式为：
lossspatial2＝MSE(HP|Networkoutput|-HP|PAN|)
lossspectral2＝MSE(LP|Networkoutput|-upsample|MS|)
其中，HP|*|表示高通滤波器，LP|*|表示低通滤波器，upsample|*|表示上采样操作，Networkoutput为融合图像的网络输出，PAN为全色图像，MS为多光谱图像。
优选地，步骤S4包括以下子步骤：
步骤S41：将原始多光谱图像与原始全色图像作为无监督融合网络的输入进网络；
步骤S42：分别计算网络输出的两个空间损失函数与两个光谱损失函数，加权得到整个网络的损失函数，循环迭代，优化网络，保存训练参数与权重，并保存训练模型。
本发明基于残差网络与空间注意力机制的遥感图像融合方法的有益效果如下：
1.本发明为迅速获取光谱失真小的高空间分辨率遥感图像提供技术支持。
2.本发明设计的无监督网络框架能直接采用原始图像进行训练，不必按Wald协议先滤波后采样得到模拟训练集，在一定程度上节省了人力，并解决了缺乏真实高空间分辨率图像多光谱图像做参考图像问题。
3.本发明设计一种新的空间注意力模块，使其可以生成确定的掩膜，增强网络输出的空间细节信息与注意力模块的可解释性。
4.本发明的损失函数设计更加合理，相比于以往方案常用的均方差，本方法考虑到遥感图像的空间特性与光谱特性，通过编写空间损失函数与光谱损失函数来同时控制网络输出的空间损失与光谱损失。使得网络输出可以在提升空间分辨率的同时光谱失真小。
附图说明
图1为本发明的网络构建流程图。
图2为本发明的所用残差块结构图。
图3为本发明的基于全色图像高频成分的空间注意力模块结构图。
图4为本发明的损失函数计算流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
综上所述，以下仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以下实施例仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例。凡属于本发明思路下的技术方案均属于本发明的保护范围。应该指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下的改进和润饰，这些改进和润饰也应视为本发明的保护范围。
基于残差网络与空间注意力机制的遥感图像融合方法，包括以下步骤：
S1：对采集到的全色图像与多光谱图像进行大气校正、辐射校正、配准，将配准后的图像进行裁剪，并分为训练集与测试集；
S2，构建无监督融合网络框架，其流程图如图1所示。设计基于残差网络的特征提取模块，如图2所示。设计基于全色图像高频信息的空间注意力模块，如图3所示。针对目标数据集与实验目的设计卷积层数、卷积核大小、残差块层数和空间注意力模块数。
S21：针对目标图像搭建无监督融合网络框架，使得网络能直接融合输入图像，不必制作模拟退化数据集。
S22：设计网络框架各模块数量。使用两层卷积层、五个残差块、五个空间注意力块与一个激活函数构成网络框架。
S23:设计卷积核大小。对于第一卷积层和残差块，其卷积核大小为32*3*3。对于第二卷积层，其卷积核大小为n*3*3,其中，n为多光谱图像波段数。激活函数为RELU函数。
S24：设计一个高通滤波器提取全色图像的高频信息做掩膜。其中，高通滤波器滤波核为[[0,0,1,0,0],[0,1,2,1,0],[1,2,-16,2,1],[0,1,2,1,0],[0,0,1,0,0]]。
S3，针对多光谱图像具有丰富光谱信息，全色图像具有丰富空间纹理信息这两特点设计同时能约束融合图像光谱损失与空间损失的损失函数。损失函数计算方式如图4所示。
S31：设计的损失函数包含空间域损失函数与频率域损失函数两部分，每一部分又包含空间损失函数设计与光谱损失函数设计，其定义如下：
Loss＝w1·lossspatial1+w2·lossspectral1+w3·lossspatial2+w4·lossspectral2 (1)
其中，w1、w2、w3、w4为权重，lossspatial1为空间域里空间损失函数，lossspectral1为空间域里光谱损失函数，lossspatial2为频率域里空间损失函数，lossspectral2为频率域里光谱损失函数。
S32：空间域里空间损失函数采用通用图像质量指数(Universal image qualityindex,UIQI)作为计算主体,通过下式计算：
式中，x和y分别为输入图像和参考图像，σxy为x和y的协方差，σx 2和σy 2分别为x和y的方差，
和/>
分别为x和y的均值，空间损失UIQI的取值范围为[-1,1]，其最优值为1。因此，空间损失函数为：
lossspatial1＝1-UIQI(Networkoutput,PAN) (3)
其中，Networkoutput为网络输出(融合图像)，PAN为输入全色图像。
S33：空间域里光谱损失函数采用光谱角映射(Spectral angle mapping,SAM),其定义如下：
lossspectral1＝SAM(downsample|Networkoutput|,MS)
其中，downsample|*|表示下采样操作，Networkoutput为网络输出(融合图像)，MS为输入高光谱图像。其度量两幅图像之间的光谱信息接近程度，其值越小代表网络输出的光谱失真越小，SAM最优值为0。
S34：频率域里损失函数以均方差(Mean Square Error，MSE)为损失函数主体，其定义如下：
lossspatial2＝MSE(HP|Networkoutput|-HP|PAN|)
lossspectral2＝MSE(LP|Networkoutput|-upsample|MS|)
其中，HP|*|表示高通滤波器，LP|*|表示低通滤波器，upsample|*|表示上采样操作，Networkoutput为网络输出(融合图像)，PAN为全色图像，MS为多光谱图像。
S4，训练与测试，将原始多光谱与全色图像输入进无监督融合网络进行训练，循环迭代，并根据目标图像需求分配不同损失函数权重，对网络进行优化，保存训练模型。
S41：将原始多光谱图像与原始全色图像低作为无监督融合网络的输入进网络。
S42：分别计算网络输出的两个空间与两个光谱损失函数，然后加权得到整个网络的损失函数，循环迭代，优化网络，保存训练参数与权重，并保存训练模型；
S5：调用训练模型，对测试图像进行测试，得到融合的高空间分辨率多光谱图像。
本实施方案在实施时，选取1000对高分2号卫星多光谱图像与全色图像来构造数据集。其中多光谱图像大小为1024*1024，全色图像大小为4096*4096。将选好的数据按6:2:2比例分为训练集、验证集与测试集。
搭建无监督融合网络框架，整个网络包含三个部分。其中第一个部分包含图像级联、通道扩充、通道还原、全色图像高频信息提取、多光谱图像上采样等操作。第二个部分为残差块，用于特征提取。第三个部分为空间细节注意力模块，用于特征增强。
其流程图如图1所示。设计基于残差网络的特征提取模块，如图2所示。设计基于全色图像高频信息的空间注意力模块，如图3所示。针对目标数据集与实验目的设计卷积层数、卷积核大小、残差块层数和空间注意力模块数。
首先，将输入的多光谱图像上采样到全色图像尺寸。然后，使用高通滤波器提取全色图像的高频成分，用于空间注意力模块的掩膜。最后，级联上采样的多光谱图像与全色图像，得到n+1波段的模型输入。
MSupsample＝upsample(MS)
PANhigh-pass＝HP(PAN)
Iinput＝Concat(MSupsample,PAN)
其中，MS为多光谱图像，PAN为全色图像，upsample(*)为上采样操作，HP(*)为高通滤波操作，Concat(*)为级联操作，Iinput为得到的模型输入。然后，将Iinput输入第一层卷积神经网络中。
F1＝Conv1(Iinput)
其中，Conv1(*)为第一层卷积操作，卷积核大小为32*3*3，使用补0操作。F1为通过第一层卷积的特征图。
然后，将F1输入到残差网络里进行特征提取。特征提取后将残差块提取的特征作为注意力模块的输入，以全色图像的高频信息PANhigh-pass作为掩膜进行特征增强。
Fres1＝Residual(F1)
Fatt1＝Attention(Fres1,PANhigh-pass)
其中，Residual(*)表示残差块特征提取操作，Attention(*,PANhigh-pass)表示空间注意力模块空间细节增强操作。之后，依次通过剩余四次特征提取与空间细节增强。
Fres2＝Residual(Fatt1)
Fatt2＝Attention(Fres2,PANhigh-pass)
Fres3＝Residual(Fatt2)
Fatt3＝Attention(Fres3,PANhigh-pass)
Fres4＝Residual(Fatt3)
Fatt4＝Attention(Fres4,PANhigh-pass)
Fres5＝Residual(Fatt4)
Fatt5＝Attention(Fres5,PANhigh-pass)
得到的特征图经第二层卷积进行通道收缩至多光谱通道数，最后经一个激活函数得到融合图像。
F2＝Conv2(Fatt5)
Ifused-image＝ReLU(F2)
其中，Conv2(*)为第二卷积操作，卷积核大小为n*3*3，n为多光谱图像波段数。ReLU(*)为激活函数操作。
将构造好的输入图像输入设计的无监督融合网络中，设置循环次数，计算损失函数，迭代优化，以此来训练模型的参数与权重。
Loss＝w1·lossspatial1+w2·lossspectral1+w3·lossspatial2+w4·lossspectral2
其中，Loss为总输出损失函数，lossspatial1与lossspatial2分别为网络在空间域与频率域的空间损失函数。lossspectral1与lossspectral2分别为网络在空间域与频率域的光谱损失函数。w1、w2、w3、w4为各项权重。
保存模型的参数与权重，并保存训练模型。
调用训练模型，直接对测试图像进行参数与权重的分配，完成测试，以此获得高空间分辨率的多光谱图像。
Claims (4)
1.基于残差网络与空间注意力机制的遥感图像融合方法，其特征在于，包括以下步骤：
步骤S1：对采集到的全色图像与多光谱图像进行大气校正、辐射校正、配准，将配准后的图像进行裁剪，并分为训练集与测试集；
步骤S2：构建无监督融合网络框架；
步骤S3：根据多光谱图像具有丰富光谱信息，全色图像具有丰富空间纹理信息设计同时能约束融合图像光谱损失与空间损失的损失函数；
步骤S4：对损失函数进行训练与测试，将原始多光谱与全色图像输入进无监督融合网络进行训练，循环迭代，并根据目标图像需求分配不同损失函数权重，对网络进行优化，保存训练模型；
步骤S5：调用训练模型，对测试图像进行测试，得到融合的高空间分辨率多光谱图像。
2.根据权利要求1所述的基于残差网络与空间注意力机制的遥感图像融合方法，其特征在于，所述步骤S2包括以下子步骤：
步骤S21：针对目标图像搭建无监督融合网络框架，使得网络能直接融合输入图像，不必制作模拟退化数据集；
步骤S22：设计网络框架各模块数量，使用两层卷积层、五个残差块、五个空间注意力块与一个激活函数构成网络框架；
步骤S23：设计卷积层的大小；
对于第一卷积层，所述第一卷积层的卷积核大小为32*3*3，对于第二卷积层，所述第二卷积层的卷积核大小为n*3*3,
其中，n为多光谱图像波段数，激活函数为RELU函数；
步骤S24：设计一个高通滤波器提取全色图像的高频信息做掩膜，所述高通滤波器滤波核为[[0,0,1,0,0],[0,1,2,1,0],[1,2,-16,2,1],[0,1,2,1,0],[0,0,1,0,0]]。
3.根据权利要求1所述的基于残差网络与空间注意力机制的遥感图像融合方法，其特征在于，所述步骤S3包括以下子步骤：
步骤S31：设计的损失函数；所述损失函数包括空间域损失函数与频率域损失函数，所述空间域损失函数与频率域损失函数均包括计算空间损失项与光谱损失项，
所述损失函数的计算公式为：
Loss＝w1·lossspatial1+w2·lossspectral1+w3·lossspatial2+w4·lossspectral2
其中，w1、w2、w3、w4为权重，lossspatial1为空间域里空间损失项，lossspectral1为空间域里光谱损失项，lossspatial2为频率域里空间损失项，lossspectral2为频率域里光谱损失项；
步骤S32：空间域里空间损失项采用通用图像质量指数来计算，其计算公式为：
式中，x为输入图像，y为参考图像，σxy为x和y的协方差，σx 2为x的方差，σy 2分别为y的方差，
为x的均值，/>
分别为y的均值，空间损失UIQI的取值范围为[-1,1]，其最优值为1；
所述空间损失函数为：
lossspatial1＝1-UIQI(Networkoutput,PAN)
其中，Networkoutput为融合图像的网络输出，PAN为输入全色图像；
步骤S33：空间域里光谱损失项采用光谱角映射来计算，其计算公式为：
lossspectral1＝SAM(downsample|Networkoutput|,MS)
其中，downsample|*|表示下采样操作，Networkoutput为融合图像的网络输出，MS为输入多光谱图像；
步骤S34：频率域里空间损失与光谱损失项均采用均方差来计算，其公式为：
所述空间损失项与光谱损失项计算公式为：
lossspatial2＝MSE(HP|Networkoutput|-HP|PAN|)
lossspectral2＝MSE(LP|Networkoutput|-upsample|MS|)
其中，HP|*|表示高通滤波器，LP|*|表示低通滤波器，upsample|*|表示上采样操作，Networkoutput为融合图像的网络输出，PAN为全色图像，MS为多光谱图像，lossspatial2为频率域里空间损失项，lossspectral2为频率域里光谱损失项。
4.根据权利要求1所述的基于残差网络与空间注意力机制的遥感图像融合方法，其特征在于，所述步骤S4包括以下子步骤：
步骤S41：将原始多光谱图像与原始全色图像作为无监督融合网络的输入进网络；
步骤S42：分别计算网络输出的空间域里两项损失lossspatial1和lossspectral1与光谱域里两项损失lossspatial2和lossspectral2，加权得到整个网络的损失，循环迭代，优化网络，保存训练参数与权重，并保存训练模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310290121.3A CN116309227A (zh) | 2023-03-23 | 2023-03-23 | 基于残差网络与空间注意力机制的遥感图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310290121.3A CN116309227A (zh) | 2023-03-23 | 2023-03-23 | 基于残差网络与空间注意力机制的遥感图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309227A true CN116309227A (zh) | 2023-06-23 |
Family
ID=86822057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310290121.3A Pending CN116309227A (zh) | 2023-03-23 | 2023-03-23 | 基于残差网络与空间注意力机制的遥感图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309227A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274763A (zh) * | 2023-11-21 | 2023-12-22 | 珠江水利委员会珠江水利科学研究院 | 基于平衡点分析的遥感影像空-谱融合方法、系统、设备及介质 |
| CN117705740A (zh) * | 2023-12-15 | 2024-03-15 | 安徽山合远景科技发展有限公司 | 基于遥感监测的大气污染物实时监测系统及方法 |
-
2023
- 2023-03-23 CN CN202310290121.3A patent/CN116309227A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274763A (zh) * | 2023-11-21 | 2023-12-22 | 珠江水利委员会珠江水利科学研究院 | 基于平衡点分析的遥感影像空-谱融合方法、系统、设备及介质 |
| CN117274763B (zh) * | 2023-11-21 | 2024-04-05 | 珠江水利委员会珠江水利科学研究院 | 基于平衡点分析的遥感影像空-谱融合方法、系统、设备及介质 |
| CN117705740A (zh) * | 2023-12-15 | 2024-03-15 | 安徽山合远景科技发展有限公司 | 基于遥感监测的大气污染物实时监测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112184554B (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN111080567B (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN110363215B (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| CN110728192B (zh) | 一种基于新型特征金字塔深度网络的高分遥感图像分类方法 | |
| CN113222823B (zh) | 基于混合注意力网络融合的高光谱图像超分辨率方法 | |
| CN116309227A (zh) | 基于残差网络与空间注意力机制的遥感图像融合方法 | |
| CN113327218B (zh) | 一种基于级联网络的高光谱与全色图像融合方法 | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| CN111127374A (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN112488978A (zh) | 基于模糊核估计的多光谱图像融合成像方法及系统 | |
| CN109801218B (zh) | 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法 | |
| CN115564692B (zh) | 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法 | |
| CN113066037B (zh) | 基于图注意力机制的多光谱与全色图像融合方法及系统 | |
| CN110189282A (zh) | 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 | |
| CN113793289A (zh) | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 | |
| CN113902646A (zh) | 基于深浅层特征加权融合网络的遥感影像泛锐化方法 | |
| CN114266957A (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
| CN112529828B (zh) | 参考数据非敏感的遥感影像时空融合模型构建方法 | |
| CN117593199A (zh) | 一种基于高斯先验分布自注意力的双流遥感图像融合方法 | |
| CN112184552B (zh) | 一种基于高频特征学习的子像素卷积图像超分辨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |