CN117079105A - 遥感图像空谱融合方法、装置、电子设备及存储介质 - Google Patents
遥感图像空谱融合方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117079105A CN117079105A CN202310980667.1A CN202310980667A CN117079105A CN 117079105 A CN117079105 A CN 117079105A CN 202310980667 A CN202310980667 A CN 202310980667A CN 117079105 A CN117079105 A CN 117079105A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- fusion
- spatial
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 124
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 141
- 238000005259 measurement Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 106
- 230000003595 spectral effect Effects 0.000 claims description 71
- 238000009826 distribution Methods 0.000 claims description 52
- 238000011176 pooling Methods 0.000 claims description 21
- 230000015556 catabolic process Effects 0.000 claims description 16
- 238000006731 degradation reaction Methods 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- OJRLTEJFYMZKQB-UHFFFAOYSA-N 5-nitro-6-(3-nitrophenyl)-2-oxo-4-(trifluoromethyl)-1h-pyridine-3-carbonitrile Chemical compound [O-][N+](=O)C1=CC=CC(C2=C(C(=C(C#N)C(=O)N2)C(F)(F)F)[N+]([O-])=O)=C1 OJRLTEJFYMZKQB-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000540325 Prays epsilon Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种遥感图像空谱融合方法、装置、电子设备及存储介质，属于卫星遥感技术领域，所述方法包括：获取全色图像PAN和多光谱图像MS；输入所述全色图像PAN和所述多光谱图像MS至遥感图像空谱融合网络，获取所述遥感图像空谱融合网络输出的目标融合图像；其中，所述遥感图像空谱融合网络用于融合所述全色图像PAN和所述多光谱图像MS，所述遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，所述目标损失函数是基于空间度量函数和光谱度量函数构建的。通过以原始待融合的全色图像和多光谱图像自身为标签，按照自监督方式训练获取遥感图像空谱融合网络，能够提高处理效率以及融合图像的质量。
Description
技术领域
本发明涉及卫星遥感技术领域，尤其涉及一种遥感图像空谱融合方法、装置、电子设备及存储介质。
背景技术
多光谱图像(Multispectral，MS)与全色图像(Panchromatic，PAN)之间存在一定的差异性和互补性：多光谱图像在光谱域中保持高分辨率特性，全色图像则在空间域中具有较高的分辨率特征。然而由于数据传输带宽和传感器物理条件的限制，从同一卫星获取的光学遥感图像只能在空间或光谱某一域中保持高分辨率特性，这就导致无法直接获取具有高空间分辨率特性的多光谱图像(High Resolution Multispectral，HRMS)。遥感图像空谱融合可以很好地解决这一问题，通过将具有高空间分辨率的全色图像的空间结构信息与具有高光谱分辨率的多光谱图像的光谱信息进行整合，可以充分结合图像的互补信息，克服单一图像信息不足的缺陷，使融合后的图像在尽可能保留原始光谱信息的同时刻画更详细的地物细节。
相关技术中，基于深度学习的融合方法多采用有外在参考标签的监督学习方式进行训练。但由于缺少真实的高分辨率多光谱图像作为参考标签，相关技术中一般通过人工方式制作参考标签以及制作模拟退化数据集，步骤繁琐，效率较低且容易造成全色图像空间信息的丢失。
发明内容
针对现有技术存在的问题，本发明实施例提供一种遥感图像空谱融合方法、装置、电子设备及存储介质。
第一方面，本发明提供一种遥感图像空谱融合方法，包括：
获取全色图像PAN和多光谱图像MS；
输入所述全色图像PAN和所述多光谱图像MS至遥感图像空谱融合网络，获取所述遥感图像空谱融合网络输出的目标融合图像；
其中，所述遥感图像空谱融合网络用于融合所述全色图像PAN和所述多光谱图像MS，所述遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，所述目标损失函数是基于空间度量函数和光谱度量函数构建的；
所述空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，所述第一残差概率分布是基于所述全色图像PAN和所述目标融合图像确定的，所述第二残差概率分布是基于所述多光谱图像MS和所述多光谱图像MS对应的灰度图像确定的；
所述光谱度量函数用于评估所述多光谱图像MS与所述目标融合图像之间的光谱角度差异。
可选地，根据本发明提供的一种遥感图像空谱融合方法，所述遥感图像空谱融合网络包括多个双流融合层，所述多个双流融合层为级联关系，所述双流融合层包括空间流和光谱流；
所述空间流包括第一编码模块、第一解码模块和第一特征融合模块，所述光谱流包括第二编码模块、第二特征融合模块和第二解码模块；
所述第一编码模块的输出端与所述第一解码模块的输入端连接，所述第一特征融合模块用于融合所述第一编码模块的输入特征与所述第一解码模块的输出特征，并将融合后的特征作为所述空间流的输出特征；
所述第二编码模块的输出端与所述第二特征融合模块的输入端连接，所述第二特征融合模块用于融合所述第一编码模块的输出特征和所述第二编码模块的输出特征，并将融合后的特征输入至所述第二解码模块，所述第二解码模块的输出特征作为所述光谱流的输出特征。
可选地，根据本发明提供的一种遥感图像空谱融合方法，所述第一编码模块包括通道扩展模块、第一密集连接块和大核注意机制LKA模块；
所述通道扩展模块用于将全色图像特征沿着通道维度复制c次，获取多通道维度的全色图像特征，c代表多光谱图像MS的通道数；
所述第一密集连接块用于通过密集连接方式对所述多通道维度的全色图像特征进行特征升维，输出第一空间特征；
所述大核注意机制LKA模块用于通过在特征空间的自适应搜索方式，对所述第一密集连接块所输出的第一空间特征进行整合；
所述第一解码模块包括第二密集连接块和通道平均模块；
所述第二密集连接块用于通过密集连接方式对大核注意机制LKA模块的输出特征进行特征降维，输出第二空间特征；
所述通道平均模块用于基于通道维度对所述第二密集连接块所输出的第二空间特征进行取平均操作，确定所述第一解码模块的输出特征。
可选地，根据本发明提供的一种遥感图像空谱融合方法，所述第二编码模块包括第三密集连接块和第一空间池化通道注意模块SSE；
所述第三密集连接块用于通过密集连接方式对光谱图像特征进行特征升维，输出光谱特征；
所述第一空间池化通道注意模块用于通过调整各个通道的重要性权重，对所述第三密集连接块所输出的光谱特征进行整合；
所述第二解码模块包括第四密集连接块和第二空间池化通道注意模块；
所述第四密集连接块用于通过密集连接方式对所述第二特征融合模块的输出特征进行特征降维，输出联合特征；
所述第二空间池化通道注意模块用于通过调整各个通道的重要性权重，对所述第四密集连接块所输出的联合特征进行整合，并将整合后的特征作为所述光谱流的输出特征。
可选地，根据本发明提供的一种遥感图像空谱融合方法，在输入所述全色图像PAN和所述多光谱图像MS至遥感图像空谱融合网络，获取所述遥感图像空谱融合网络输出的目标融合图像之前，还包括：
基于所述目标损失函数，通过自监督方式训练，获取所述遥感图像空谱融合网络；
所述目标损失函数通过以下公式确定：
L＝α×Lspectral+β×Lspatial；
其中，α+β＝1，α＞0，β＞0，Lspatial表示空间度量函数，Lspectral表示光谱度量函数。
可选地，根据本发明提供的一种遥感图像空谱融合方法，所述空间度量函数通过以下公式确定：
MG＝fG(M↑)；
resM↑＝softmax(M↑-MG)；
其中，fG(·)表示灰度退化网络，M↑表示对多光谱图像MS进行上采样所获取的图像，MG∈RW×H×c为M↑退化生成的灰度图像，W和H表示所述全色图像PAN的宽度和高度，c代表所述多光谱图像MS的通道数，resM↑表示M↑与MG之间差值的第二残差概率分布；由所述全色图像PAN沿着通道维度扩展而成，/>表示目标融合图像/>与/>之间差值的第一残差概率分布，DKL(·)表示KL散度函数。
可选地，根据本发明提供的一种遥感图像空谱融合方法，所述光谱度量函数通过以下公式确定：
其中，SAM(·)表示光谱角映射函数，M↑表示对多光谱图像MS进行上采样所获取的图像，表示目标融合图像。
第二方面，本发明还提供一种遥感图像空谱融合装置，包括：
图像获取模块，用于获取全色图像PAN和多光谱图像MS；
图像融合模块，用于输入所述全色图像PAN和所述多光谱图像MS至遥感图像空谱融合网络，获取所述遥感图像空谱融合网络输出的目标融合图像；
其中，所述遥感图像空谱融合网络用于融合所述全色图像PAN和所述多光谱图像MS，所述遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，所述目标损失函数是基于空间度量函数和光谱度量函数构建的；
所述空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，所述第一残差概率分布是基于所述全色图像PAN和所述目标融合图像确定的，所述第二残差概率分布是基于所述多光谱图像MS和所述多光谱图像MS对应的灰度图像确定的；
所述光谱度量函数用于评估所述多光谱图像MS与所述目标融合图像之间的光谱角度差异。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述遥感图像空谱融合方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述遥感图像空谱融合方法。
本发明提供的遥感图像空谱融合方法、装置、电子设备及存储介质，通过基于空间度量函数和光谱度量函数构建目标损失函数，空间度量函数可以用于评估第一残差概率分布和第二残差概率分布之间的差异度，第一残差概率分布是基于全色图像PAN和目标融合图像确定的，第二残差概率分布是基于多光谱图像MS和多光谱图像MS对应的灰度图像确定的，空间度量函数可以用于评估多光谱图像MS与目标融合图像之间的光谱角度差异，能够以原始待融合的全色图像和多光谱图像自身为标签，通过自监督方式训练获取遥感图像空谱融合网络，避免通过人工方式制作参考标签以及制作模拟退化数据集，能够提高处理效率以及融合图像的质量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的遥感图像空谱融合方法的流程示意图；
图2是本发明提供的遥感图像空谱融合网络的结构示意图；
图3是本发明提供的第一编码模块的结构示意图；
图4是本发明提供的第一解码模块的结构示意图；
图5是本发明提供的大核注意机制LKA模块的结构示意图；
图6是本发明提供的第二编码模块的结构示意图；
图7是本发明提供的第二解码模块的结构示意图；
图8是本发明提供的空间池化通道注意模块SSE的结构示意图；
图9是本发明提供的损失函数的构造图；
图10是本发明提供的灰度退化网络的结构示意图；
图11是本发明提供的遥感图像空谱融合装置的结构示意图；
图12是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的遥感图像空谱融合方法的流程示意图，如图1所示，所述遥感图像空谱融合方法的执行主体可以是电子设备，例如服务器等。该方法包括：
步骤101，获取全色图像PAN和多光谱图像MS；
步骤102，输入所述全色图像PAN和所述多光谱图像MS至遥感图像空谱融合网络，获取所述遥感图像空谱融合网络输出的目标融合图像；
其中，所述遥感图像空谱融合网络用于融合所述全色图像PAN和所述多光谱图像MS，所述遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，所述目标损失函数是基于空间度量函数和光谱度量函数构建的；
所述空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，所述第一残差概率分布是基于所述全色图像PAN和所述目标融合图像确定的，所述第二残差概率分布是基于所述多光谱图像MS和所述多光谱图像MS对应的灰度图像确定的；
所述光谱度量函数用于评估所述多光谱图像MS与所述目标融合图像之间的光谱角度差异。
具体地，通过基于空间度量函数和光谱度量函数构建目标损失函数，空间度量函数可以用于评估第一残差概率分布和第二残差概率分布之间的差异度，第一残差概率分布是基于全色图像PAN和目标融合图像确定的，第二残差概率分布是基于多光谱图像MS和多光谱图像MS对应的灰度图像确定的，空间度量函数可以用于评估多光谱图像MS与目标融合图像之间的光谱角度差异，能够以原始待融合的全色图像和多光谱图像自身为标签，通过自监督方式训练获取遥感图像空谱融合网络，避免通过人工方式制作参考标签以及制作模拟退化数据集，能够提高处理效率以及融合图像的质量。
为表述方便，在这里统一对文中所用到的数据变量的表示符号进行约定：分别使用M∈Rw×h×c和P∈RW×H表示原始的MS图像和原始PAN图像，其中w和h分别表示低空间分辨率图像的宽度和高度，W和H表示高空间分辨率图像的宽度和高度，c代表MS的通道数，M↑＝RW ×H×c表示依照PAN图像尺寸进行上采样之后的MS，表示融合结果HRMS，其中MS与PAN的空间分辨率比例因子r＝W/w＝H/h。
图2是本发明提供的遥感图像空谱融合网络的结构示意图，如图2所示，该网络包括多个双流融合层，双流融合层由空间流(或者称为空间尺度增强流)和光谱流(或者称为光谱通道注意流)两部分组成，其中空间流中包含第一编码模块、第一解码模块和第一特征融合模块，第一编码模块包括通道扩展模块和密集多尺度特征增强(Dense Multi-ScaleFeature enhancement，D-MSFE)模块，第一解码模块可以称为密集特征还原(DenseFeature Reduction，DFR)模块。
可以理解的是，第一编码模块输出的是空间特征。第一解码模块保留了空间高频细节，与第一编码模块的输入一同送入到第一特征融合模块，用于还原PAN所包含的空间信息，并且克服层级级联中的密集连接操作带来的参数量线性增加的缺陷。
光谱流则包含第二编码模块、第二特征融合模块和第二解码模块，第二编码模块可以称为密集通道注意增强(Dense Channel Attention Enhancement，D-CAE)模块，第二解码模块可以称为密集通道还原(Dense Channel Restore，DCR)模块。
空间流和光谱流分别用于提取融合所需的空间特征和光谱特征，同时为了增强网络的特征提取能力，采用层级互连的方式促进特征的流动和传输，在实现特征复用的同时，增强双流网络之间的信息交互。
可选地，遥感图像空谱融合网络可以通过以下公式(1)来表述：
其中，f(·)表示遥感图像空谱融合网络，Θ表示网络模型的权重参数。首先以原始P和M作为网络输入，分别独立地输入到两个流中，将P沿着通道维度复制c次，得到将M进行双三次插值操作得到M↑，之后经过D-MSFE模块和D-CAE模块分别将/>和M↑映射到高维的特征空间，提取/>中包含的高维空间信息以及M↑中包含的光谱特征信息，并将提取的空间信息注入到相应的光谱信息中，完成信息的交互。接着通过DFR模块和DCR模块对空间特征和光谱特征进行降维操作，实现两者特征的低维重构，并以此作为下一层级的输入。在经过N层(遥感图像空谱融合网络中双流融合层的层数为N)特征迭代后，能够有效扩大网络在特征空间中的搜索范围，从而提升空间和光谱信息的融合精度和融合效率，完成HRMS的重建操作。
图3是本发明提供的第一编码模块的结构示意图，如图3所示，第一编码模块包括通道扩展模块、第一密集连接块和大核注意机制LKA模块。
具体地，所述通道扩展模块用于将全色图像特征沿着通道维度复制c次，获取多通道维度的全色图像特征，c代表多光谱图像MS的通道数；所述第一密集连接块用于通过密集连接方式对所述多通道维度的全色图像特征进行特征升维，输出第一空间特征；所述大核注意机制LKA模块用于通过在特征空间的自适应搜索方式，对所述第一密集连接块所输出的第一空间特征进行整合。
图4是本发明提供的第一解码模块的结构示意图，如图4所示，第一解码模块包括：第二密集连接块和通道平均模块。
具体地，第二密集连接块用于通过密集连接方式对大核注意机制(Large KernelAttention，LKA)模块的输出特征进行特征降维，输出第二空间特征；通道平均模块用于基于通道维度对第二密集连接块所输出的第二空间特征进行取平均操作，确定第一解码模块的输出特征。
图5是本发明提供的大核注意机制LKA模块的结构示意图，如图5所示，大核注意机制LKA模块通过可分离卷积、可分离空洞卷积以及通道卷积对本模块的输入特征进行处理之后，再与本模块的输入特征进行融合，获取本模块的输出特征。
图6是本发明提供的第二编码模块的结构示意图，如图6所示，第二编码模块包括第三密集连接块和第一空间池化通道注意模块SSE。
具体地，第三密集连接块用于通过密集连接方式对光谱图像特征进行特征升维，输出光谱特征；第一空间池化通道注意模块用于通过调整各个通道的重要性权重，对第三密集连接块所输出的光谱特征进行整合。其中，第三密集连接块的网络结构和第一密集连接块的网络结构可以是相同的。
图7是本发明提供的第二解码模块的结构示意图，如图7所示，第二解码模块包括第四密集连接块和第二空间池化通道注意模块。
具体地，第四密集连接块用于通过密集连接方式对第二特征融合模块的输出特征进行特征降维，输出联合特征(光谱和空间的联合特征)；第二空间池化通道注意模块用于通过调整各个通道的重要性权重，对第四密集连接块所输出的联合特征进行整合，并将整合后的特征作为光谱流的输出特征。其中，第四密集连接块的网络结构和第二密集连接块的网络结构可以是相同的。
图8是本发明提供的空间池化通道注意模块SSE的结构示意图，如图8所示，SSE通过平均池化、卷积维度压缩、ReLU激活以及“repeat+sigmoid”对本模块的输入特征进行处理之后，再与本模块的输入特征进行矩阵叉乘运算，获取本模块的输出特征。其中，repeat表示复制操作，例如将一个c×1×1的特征点进行复制，生成一个大小为c×H×W的特征图。
对于密集连接块，该模块采用跨通道拼接的方式将前面所有层的特征与当前卷积层建立连接，这意味着层与层之间均存在通路，有利于特征之间的传递。设当前为第l层卷积，则该层的特征映射为：
xl＝Hl([x0,x1,…,xl-1]) (2)；
其中，[x0,x1,…,xl-1]表示对第0,…,l-1层的特征进行拼接，Hl(·)表示第l层的卷积和非线性映射操作。该结构能够较好地捕捉原始数据中的非线性关系，有效改善卷积层之间的信息流动。为了更全面地将MS和PAN中复杂的光谱和纹理细节映射到特征空间，本发明在特征提取操作中引入密集连接块，促使空间和光谱信息可以更自由地在网络中传播，这也使得网络能够同时考虑多个特征之间的复杂关系，从而有效地将数据的浅层特征和深层特征进行融合。
可选地，大核注意机制LKA模块可以通过以下公式(3)和(4)来表示：
Attention＝Conv1×1(ConvSC-D(ConvSC(Fin))) (3)；
其中，ConvSC(·)表示可分离卷积，ConvSC-D(·)表示可分离空洞卷积，Conv1×1(·)表示1×1通道卷积，Fout表示LKA模块的输出特征，表示矩阵叉乘。不同于传统的卷积形式，该LKA模块将卷积操作与自注意机制相结合，有助于扩大网络的感知视野，实现特征之间的长依赖相关性，该LKA模块被用于空间流中，能够有效提升空间特征的局部信息和远程信息的提取效率，增强网络对多尺度空间信息的表达能力。
不同于空间信息，光谱信息的表达依赖于特征通道频带之间的关系。所以在光谱流中，为了进一步提升光谱特征之间的通道相关性和自适应性，提出一种空间池化通道注意模块(Spatial-Pooling Squeeze-and-Excitation，SSE)。该空间池化通道注意模块允许网络自动学习每个通道的重要性权重，从而自适应地实现特征选择。通过对通道重要性的调整，网络可以更好地关注对当前任务有用的光谱信息，并抑制无关的冗余信息。其次，该空间池化通道注意模块中采用4×4平均池化，(相比于1×1平均池化)4×4平均池化保证在提取光谱特征的同时保留特征中的空间结构信息。为了避免网络中不同层级之间的特征消退，残差结构被引入模块中，比如将第一编码模块的输入与第一解码模块的输出通过相加方式进行融合，为一种残差结构，比如图2中的层级连接中的c拼接操作(将多个特征图在通道维度上进行拼接的操作)，也是一种残差结构，通过上述残差结构可有效提升网络提取特征的效率，改善深层网络中易出现的梯度退化，避免后续特征信息不足。
对于密集还原模块(例如DFR模块或DCR模块)：密集连接有助于特征信息的传递和梯度的流动，但模块中的特征拼接和升维操作极大地增加网络的参数量。此外，本发明使用层级互连的方式实现特征的持续交互和自适应搜索，虽然该操作能够很好地从不同特征空间中抽取信息，但容易导致网络参数量线性增加的问题。为了缓解网络参数量增大的问题，提出密集还原模块，该模块同样采用密集连接块实现，但与一般密集连接操作不同的是，该还原块每经过一个卷积层，输出特征的通道维度将成倍缩减(通过控制每一层的卷积的输出通道数，可以实现成倍缩减，比如当前通道数为4n，下一层输出2n，再下一层输出n)，该做法可以在特征降维的同时尽可能地保留主要信息。之后将降维的特征用于后续层级的信息提取和融合，从而增强网络的融合性能，提高网络的融合效率。
具体来说，在空间尺度增强流中，D-MSFE模块由密集连接块和LKA模块组成，首先使用密集连接将PAN映射到高维特征空间中，尽可能地从不同尺度的高维特征中提取PAN的空间结构信息，紧接着将提取到的空间特征送入到LKA模块中进行整合，从而增强网络在高维空间的自适应搜索能力。而在DFR模块中，包括密集还原和通道平均两部分，能够在保留原始空间特征的同时实现降维操作。之后将D-MSFE模块与DFR模块串联，在提取多尺度空间特征的同时，控制网络的参数量，提升融合效率。空间尺度增强流的功能可以通过以下公式(5)和(6)来表示：
FP i＝fPFE(Pi-1),(i≥1) (6)；
其中，fPFE(·)表示D-MSFE模块，fPR(·)表示DFR模块，FP i表示遥感图像空谱融合网络中第i层模块提取到的空间结构特征，Pi和Pi-1分别表示第i层输出的空间映射和输入的空间映射，即当i＞1时，Pi-1表示由模型生成的映射PAN图像，当i＝1时，Pi-1则表示原始PAN图像。
相对应地，在光谱通道注意流中，设计D-CAE模块进行光谱特征的提取，设计DCR模块进行特征整合和特征降维。D-CAE模块包括密集连接和SSE两部分，其中SSE用于将D-CAE的目标引导到光谱特征的学习上。之后将D-CAE模块中的密集连接块替换为密集还原块，生成DCR模块，该模块能够依据自身需求自适应地将空间尺度增强流得到的空间特征与本模块中得到的光谱特征进行整合与重建。光谱通道注意流的计算过程可以通过以下公式(7)-(9)来表示：
其中，其中fMCE(·)表示D-CAE模块，fMR(·)表示DCR模块，为空间尺度增强流中对应层级提取的空间信息，参见上述公式(6)。fRe-conv(·)表示激活与卷积的级联操作，用于对从不同层级中收集到的中间结果进行整合，cat(·)表示连接操作。/>和/>分别表示光谱通道注意流中不同层级模块提取的光谱特征信息，/>表示第i层输入的映射上采样MS图像，同样地，当i＝0时，/>表示原始上采样MS图像，当i＝N时，/>即为网络输出的高分辨率融合结果HRMS，此时有/>
可选地，为实现自监督模式下的融合需求，本发明设计了一种联合空谱损失函数。考虑到融合结果的光谱信息和空间信息分别来自于MS与PAN，引入光谱角映射函数(Spectral Angle Mapper，SAM)作为网络的光谱度量函数，引入KL散度(Kullback-Leiblerdivergence)函数作为网络的空间度量函数，之后将两者联合，共同控制网络的空间损失和光谱损失，达到直接学习PAN空间特征和MS光谱特征的目的。
图9是本发明提供的损失函数的构造图，损失函数的构造过程如图9所示，up-MS表示上采样的MS图像，stack表示将PAN图像沿着通道维度进行复制，确保与融合结果的尺寸一致，下面对函数的约束作用与实现方式进行介绍。
SAM是一种光谱评价指标函数，可以用来表示HRMS与MS之间的光谱角度差异，衡量两者之间的光谱损失，可以通过以下公式(10)来表示：
其中，式(10)中所计算的SAM值为图像单个像素点的光谱角，＜·,·＞是向量内积符，||·||2表示l2范数，arccos(·)表示反正弦函数，z1∈R1×1×c、z2∈R1×1×c表示指定像素坐标处的光谱向量。
KL散度是一种用来计算相似度大小的指标函数，两个概率分布越相近，KL散度越小。可以通过以下公式(11)来表示：
其中，p(x)为真实信息的概率分布函数，q(x)为拟合信息的概率分布函数，通过计算两者概率分布的信息熵，从而以定量的方式衡量信息的差异度。
光谱度量函数(或称为光谱损失函数)：上采样的MS与原始MS可被认为包含同样的光谱特征，将光谱特征映射为图像波段间的向量方向，所以通过最小化HRMS与上采样的MS之间的SAM值，即可控制网络的光谱损失，该光谱损失函数可以通过以下公式(12)来表示：
其中，SAM(·)表示光谱角映射函数，M↑表示对多光谱图像MS进行上采样所获取的图像，表示目标融合图像。
空间度量函数(或称为空间损失函数)：不同于光谱约束的建立过程，无法直接建立预测结果HRMS与原始PAN图像之间的联系。可以将空间损失建立在三点约定之上：(1)PAN图像可由同空间分辨率条件下的MS图像退化得到；(2)退化的灰度图像包含源图像的空间纹理信息；(3)不同空间分辨率下的MS图像和PAN图像之间的差异应具有相似的分布。将MS退化为灰度图像，并利用softmax函数建立MS图像与灰度图像之间的残差概率分布图，并以此拟合HRMS与PAN之间的残差概率分布，之后最小化两者的KL散度值，以达到约束空间损失的目的。该空间损失函数可以通过以下公式(13)-(16)来表示：
MG＝fG(M↑) (13)；
resM↑＝softmax(M↑-MG) (14)；
其中，fG(·)表示灰度退化网络(如图9中的Gray模块)，M↑表示对多光谱图像MS进行上采样所获取的图像，MG∈RW×H×c为M↑退化生成的灰度图像，W和H表示所述全色图像PAN的宽度和高度，c代表所述多光谱图像MS的通道数，resM↑表示M↑与MG之间差值的第二残差概率分布；由所述全色图像PAN沿着通道维度扩展而成，/>表示目标融合图像/>与/>之间差值的第一残差概率分布，DKL(·)表示KL散度函数。
图10是本发明提供的灰度退化网络的结构示意图，如图10所示，灰度退化网络通过3×3卷积、1×1卷积、平均池化、全连接层、sigmoid、softmax和repeat对输入特征进行处理之后，再与灰度退化网络的输入特征进行矩阵叉乘运算，之后再经由sum和stack处理，获取灰度退化网络的输出特征。
可以对光谱损失函数和空间损失函数进行权重分配，构造出目标损失函数(也即联合空谱损失函数)，其可以通过以下公式(17)来表示：
L＝α×Lspectral+β×Lspatial (17)；
其中，α+β＝1，α＞0，β＞0，Lspatial表示空间度量函数，Lspectral表示光谱度量函数。
可以理解的是，α和β可以是通过大量实验测试得到的经验值。不同于一般模型中仅使用单一损失函数的构造模式，联合损失函数更有利于提升网络的学习效率，使用SAM函数和KL函数分别控制网络的光谱损失和空间损失，能够更加精准有效地指导网络的优化过程，从而提升模型整体的融合性能。
下面对本发明提供的遥感图像空谱融合装置进行描述，下文描述的遥感图像空谱融合装置与上文描述的遥感图像空谱融合方法可相互对应参照。
图11是本发明提供的遥感图像空谱融合装置的结构示意图，如图11所示，所述装置包括：图像获取模块1101和图像融合模块1102，其中：
图像获取模块1101，用于获取全色图像PAN和多光谱图像MS；
图像融合模块1102，用于输入所述全色图像PAN和所述多光谱图像MS至遥感图像空谱融合网络，获取所述遥感图像空谱融合网络输出的目标融合图像；
其中，所述遥感图像空谱融合网络用于融合所述全色图像PAN和所述多光谱图像MS，所述遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，所述目标损失函数是基于空间度量函数和光谱度量函数构建的；
所述空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，所述第一残差概率分布是基于所述全色图像PAN和所述目标融合图像确定的，所述第二残差概率分布是基于所述多光谱图像MS和所述多光谱图像MS对应的灰度图像确定的；
所述光谱度量函数用于评估所述多光谱图像MS与所述目标融合图像之间的光谱角度差异。
图12是本发明提供的电子设备的结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行遥感图像空谱融合方法，该方法包括：
获取全色图像PAN和多光谱图像MS；
输入所述全色图像PAN和所述多光谱图像MS至遥感图像空谱融合网络，获取所述遥感图像空谱融合网络输出的目标融合图像；
其中，所述遥感图像空谱融合网络用于融合所述全色图像PAN和所述多光谱图像MS，所述遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，所述目标损失函数是基于空间度量函数和光谱度量函数构建的；
所述空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，所述第一残差概率分布是基于所述全色图像PAN和所述目标融合图像确定的，所述第二残差概率分布是基于所述多光谱图像MS和所述多光谱图像MS对应的灰度图像确定的；
所述光谱度量函数用于评估所述多光谱图像MS与所述目标融合图像之间的光谱角度差异。
此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的遥感图像空谱融合方法，该方法包括：
获取全色图像PAN和多光谱图像MS；
输入所述全色图像PAN和所述多光谱图像MS至遥感图像空谱融合网络，获取所述遥感图像空谱融合网络输出的目标融合图像；
其中，所述遥感图像空谱融合网络用于融合所述全色图像PAN和所述多光谱图像MS，所述遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，所述目标损失函数是基于空间度量函数和光谱度量函数构建的；
所述空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，所述第一残差概率分布是基于所述全色图像PAN和所述目标融合图像确定的，所述第二残差概率分布是基于所述多光谱图像MS和所述多光谱图像MS对应的灰度图像确定的；
所述光谱度量函数用于评估所述多光谱图像MS与所述目标融合图像之间的光谱角度差异。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种遥感图像空谱融合方法，其特征在于，包括：
获取全色图像PAN和多光谱图像MS；
输入所述全色图像PAN和所述多光谱图像MS至遥感图像空谱融合网络，获取所述遥感图像空谱融合网络输出的目标融合图像；
其中，所述遥感图像空谱融合网络用于融合所述全色图像PAN和所述多光谱图像MS，所述遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，所述目标损失函数是基于空间度量函数和光谱度量函数构建的；
所述空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，所述第一残差概率分布是基于所述全色图像PAN和所述目标融合图像确定的，所述第二残差概率分布是基于所述多光谱图像MS和所述多光谱图像MS对应的灰度图像确定的；
所述光谱度量函数用于评估所述多光谱图像MS与所述目标融合图像之间的光谱角度差异。
2.根据权利要求1所述遥感图像空谱融合方法，其特征在于，所述遥感图像空谱融合网络包括多个双流融合层，所述多个双流融合层为级联关系，所述双流融合层包括空间流和光谱流；
所述空间流包括第一编码模块、第一解码模块和第一特征融合模块，所述光谱流包括第二编码模块、第二特征融合模块和第二解码模块；
所述第一编码模块的输出端与所述第一解码模块的输入端连接，所述第一特征融合模块用于融合所述第一编码模块的输入特征与所述第一解码模块的输出特征，并将融合后的特征作为所述空间流的输出特征；
所述第二编码模块的输出端与所述第二特征融合模块的输入端连接，所述第二特征融合模块用于融合所述第一编码模块的输出特征和所述第二编码模块的输出特征，并将融合后的特征输入至所述第二解码模块，所述第二解码模块的输出特征作为所述光谱流的输出特征。
3.根据权利要求2所述遥感图像空谱融合方法，其特征在于，所述第一编码模块包括通道扩展模块、第一密集连接块和大核注意机制LKA模块；
所述通道扩展模块用于将全色图像特征沿着通道维度复制c次，获取多通道维度的全色图像特征，c代表多光谱图像MS的通道数；
所述第一密集连接块用于通过密集连接方式对所述多通道维度的全色图像特征进行特征升维，输出第一空间特征；
所述大核注意机制LKA模块用于通过在特征空间的自适应搜索方式，对所述第一密集连接块所输出的第一空间特征进行整合；
所述第一解码模块包括第二密集连接块和通道平均模块；
所述第二密集连接块用于通过密集连接方式对大核注意机制LKA模块的输出特征进行特征降维，输出第二空间特征；
所述通道平均模块用于基于通道维度对所述第二密集连接块所输出的第二空间特征进行取平均操作，确定所述第一解码模块的输出特征。
4.根据权利要求2所述遥感图像空谱融合方法，其特征在于，所述第二编码模块包括第三密集连接块和第一空间池化通道注意模块SSE；
所述第三密集连接块用于通过密集连接方式对光谱图像特征进行特征升维，输出光谱特征；
所述第一空间池化通道注意模块用于通过调整各个通道的重要性权重，对所述第三密集连接块所输出的光谱特征进行整合；
所述第二解码模块包括第四密集连接块和第二空间池化通道注意模块；
所述第四密集连接块用于通过密集连接方式对所述第二特征融合模块的输出特征进行特征降维，输出联合特征；
所述第二空间池化通道注意模块用于通过调整各个通道的重要性权重，对所述第四密集连接块所输出的联合特征进行整合，并将整合后的特征作为所述光谱流的输出特征。
5.根据权利要求1-4任一项所述遥感图像空谱融合方法，其特征在于，在输入所述全色图像PAN和所述多光谱图像MS至遥感图像空谱融合网络，获取所述遥感图像空谱融合网络输出的目标融合图像之前，还包括：
基于所述目标损失函数，通过自监督方式训练，获取所述遥感图像空谱融合网络；
所述目标损失函数通过以下公式确定：
L＝α×Lspectral+β×Lspatial；
其中，α+β＝1，α＞0，β＞0，Lspatial表示空间度量函数，Lspectral表示光谱度量函数。
6.根据权利要求5所述遥感图像空谱融合方法，其特征在于，所述空间度量函数通过以下公式确定：
MG＝fG(M↑)；
resM↑＝softmax(M↑-MG)；
其中，fG(·)表示灰度退化网络，M↑表示对多光谱图像MS进行上采样所获取的图像，MG∈RW×H×c为M↑退化生成的灰度图像，W和H表示所述全色图像PAN的宽度和高度，c代表所述多光谱图像MS的通道数，resM↑表示M↑与MG之间差值的第二残差概率分布；由所述全色图像PAN沿着通道维度扩展而成，/>表示目标融合图像/>与/>之间差值的第一残差概率分布，DKL(·)表示KL散度函数。
7.根据权利要求5所述遥感图像空谱融合方法，其特征在于，所述光谱度量函数通过以下公式确定：
其中，SAM(·)表示光谱角映射函数，M↑表示对多光谱图像MS进行上采样所获取的图像，表示目标融合图像。
8.一种遥感图像空谱融合装置，其特征在于，包括：
图像获取模块，用于获取全色图像PAN和多光谱图像MS；
图像融合模块，用于输入所述全色图像PAN和所述多光谱图像MS至遥感图像空谱融合网络，获取所述遥感图像空谱融合网络输出的目标融合图像；
其中，所述遥感图像空谱融合网络用于融合所述全色图像PAN和所述多光谱图像MS，所述遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，所述目标损失函数是基于空间度量函数和光谱度量函数构建的；
所述空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，所述第一残差概率分布是基于所述全色图像PAN和所述目标融合图像确定的，所述第二残差概率分布是基于所述多光谱图像MS和所述多光谱图像MS对应的灰度图像确定的；
所述光谱度量函数用于评估所述多光谱图像MS与所述目标融合图像之间的光谱角度差异。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述遥感图像空谱融合方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述遥感图像空谱融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310980667.1A CN117079105B (zh) | 2023-08-04 | 2023-08-04 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310980667.1A CN117079105B (zh) | 2023-08-04 | 2023-08-04 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117079105A true CN117079105A (zh) | 2023-11-17 |
| CN117079105B CN117079105B (zh) | 2024-04-26 |
Family
ID=88708968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310980667.1A Active CN117079105B (zh) | 2023-08-04 | 2023-08-04 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117079105B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726915A (zh) * | 2024-02-07 | 2024-03-19 | 南方海洋科学与工程广东省实验室(广州) | 遥感数据空谱融合方法及装置、存储介质与终端 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353424A (zh) * | 2020-02-27 | 2020-06-30 | 中国科学院遥感与数字地球研究所 | 深度递归残差网络的遥感图像空谱融合方法和电子设备 |
| CN112488978A (zh) * | 2021-02-05 | 2021-03-12 | 湖南大学 | 基于模糊核估计的多光谱图像融合成像方法及系统 |
| CN112508082A (zh) * | 2020-12-02 | 2021-03-16 | 武汉大学 | 一种非监督学习的遥感影像空谱融合方法及系统 |
| CN113902658A (zh) * | 2021-09-01 | 2022-01-07 | 西安电子科技大学 | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 |
| CN114549306A (zh) * | 2022-01-21 | 2022-05-27 | 云南大学 | 一种遥感图像空间和光谱分辨率恢复方法及系统 |
| CN114581347A (zh) * | 2022-01-24 | 2022-06-03 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
| CN114936995A (zh) * | 2022-06-15 | 2022-08-23 | 郑州轻工业大学 | 基于大核注意力机制的多尺度特征增强的遥感图像融合方法 |
| CN116205830A (zh) * | 2023-02-09 | 2023-06-02 | 武汉大学 | 一种基于有监督、无监督学习相结合的遥感图像融合方法 |
-
2023
- 2023-08-04 CN CN202310980667.1A patent/CN117079105B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353424A (zh) * | 2020-02-27 | 2020-06-30 | 中国科学院遥感与数字地球研究所 | 深度递归残差网络的遥感图像空谱融合方法和电子设备 |
| CN112508082A (zh) * | 2020-12-02 | 2021-03-16 | 武汉大学 | 一种非监督学习的遥感影像空谱融合方法及系统 |
| CN112488978A (zh) * | 2021-02-05 | 2021-03-12 | 湖南大学 | 基于模糊核估计的多光谱图像融合成像方法及系统 |
| CN113902658A (zh) * | 2021-09-01 | 2022-01-07 | 西安电子科技大学 | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 |
| CN114549306A (zh) * | 2022-01-21 | 2022-05-27 | 云南大学 | 一种遥感图像空间和光谱分辨率恢复方法及系统 |
| CN114581347A (zh) * | 2022-01-24 | 2022-06-03 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
| CN114936995A (zh) * | 2022-06-15 | 2022-08-23 | 郑州轻工业大学 | 基于大核注意力机制的多尺度特征增强的遥感图像融合方法 |
| CN116205830A (zh) * | 2023-02-09 | 2023-06-02 | 武汉大学 | 一种基于有监督、无监督学习相结合的遥感图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| H GAO.ET AL: "A Hyperspectral and multispectral image fusion via self-supervised loss and separable loss", 《IEEE》, 31 December 2022 (2022-12-31) * |
| J. JIAO.ET AL: "Image restoration for the MRA-based pansharpening method", 《IEEE》, vol. 8, 31 December 2020 (2020-12-31) * |
| 朱萌: "基于多形态卷积神经网络的遥感图像融合", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 01, 15 January 2023 (2023-01-15) * |
| 雷大江等: "基于多流融合生成对抗网络的遥感图像融合方法", 《电子与信息学报》, no. 08, 15 August 2020 (2020-08-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726915A (zh) * | 2024-02-07 | 2024-03-19 | 南方海洋科学与工程广东省实验室(广州) | 遥感数据空谱融合方法及装置、存储介质与终端 |
| CN117726915B (zh) * | 2024-02-07 | 2024-05-28 | 南方海洋科学与工程广东省实验室(广州) | 遥感数据空谱融合方法及装置、存储介质与终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117079105B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN110728682B (zh) | 一种基于残差金字塔池化神经网络的语义分割方法 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN110490082B (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| CN110782462A (zh) | 一种基于双流特征融合的语义分割方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN110136122B (zh) | 一种基于注意力深度特征重建的脑mr图像分割方法 | |
| CN112184554A (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN117079105B (zh) | 遥感图像空谱融合方法、装置、电子设备及存储介质 | |
| CN114581347B (zh) | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 | |
| CN112669248A (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN114972024A (zh) | 一种基于图表示学习的图像超分辨率重建装置及方法 | |
| CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
| CN115587924A (zh) | 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法 | |
| CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
| CN114332625A (zh) | 基于神经网络的遥感图像彩色化和超分辨率方法及系统 | |
| CN113902646A (zh) | 基于深浅层特征加权融合网络的遥感影像泛锐化方法 | |
| CN117593199A (zh) | 一种基于高斯先验分布自注意力的双流遥感图像融合方法 | |
| CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |