CN115565037B - 图像融合方法及装置 - Google Patents
图像融合方法及装置 Download PDFInfo
- Publication number
- CN115565037B CN115565037B CN202211117877.XA CN202211117877A CN115565037B CN 115565037 B CN115565037 B CN 115565037B CN 202211117877 A CN202211117877 A CN 202211117877A CN 115565037 B CN115565037 B CN 115565037B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- feature
- fused
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 63
- 230000004927 fusion Effects 0.000 claims abstract description 577
- 230000003595 spectral effect Effects 0.000 claims abstract description 109
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 30
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 203
- 238000001228 spectrum Methods 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 29
- 230000009467 reduction Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 5
- 108010001267 Protein Subunits Proteins 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 22
- 238000005516 engineering process Methods 0.000 abstract description 18
- 238000000605 extraction Methods 0.000 abstract description 14
- 238000012423 maintenance Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像融合方法及装置，该方法包括：获取包括待融合全色图像和待融合多光谱图像的待融合图像对；将待融合图像对输入图像融合模型，获取图像融合模型输出的融合图像；其中，图像融合模型基于样本图像对训练得到；图像融合模型用于分别获取待融合图像对的空间融合信息和光谱融合信息之后，基于空间融合信息和光谱融合信息对待融合图像对进行图像融合。本发明提供的图像融合方法及装置，能提高训练好的图像融合模型的融合效果，能在有效实现空间信息增强和光谱信息保持的基础上，降低特征提取的冗余度，能减少图像融合模型的计算量，从而能在确保图像融合效果的基础上，提高图像融合的效率，能为遥感技术的实际应用提供数据支撑。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种图像融合方法及装置。
背景技术
随着遥感技术的飞速发展，遥感技术广泛应用于环境保护、国土资源调查、灾害监测等领域。通常情况下，遥感技术在实际应用中对图像的空间分辨率和光谱分辨率的要求较高，但受限于现有的遥感成像技术，遥感图像难以同时实现高空间分辨率和高光谱分辨率。
图像融合，指将具有高光谱分辨率的多光谱图像和具有高空间分辨率的全色图像进行融合，得到同时具有高空间分辨率和高光谱分辨率的融合图像的技术。图像融合可以为遥感技术的实际应用提供数据支撑。
现有的图像融合方法中可以基于深度学习技术进行图像融合。但是，现有的图像融合方法的图像融合效果通常与运行效率负相关，难以高效且高质的实现图像融合。因此，如何在确保图像融合效果的基础上，提高图像融合的效率，是本领域亟待解决的技术问题。
发明内容
本发明提供一种图像融合方法及装置，用以解决现有技术中难以高效且高质的实现图像融合的缺陷，实现在确保图像融合效果的基础上，提高图像融合的效率。
本发明提供一种图像融合方法，包括：
获取待融合图像对，所述待融合图像对包括待融合全色图像和待融合多光谱图像；
将所述待融合图像对输入图像融合模型，获取所述图像融合模型输出的融合图像；
其中，所述图像融合模型基于样本图像对训练得到；所述样本图像对包括样本全色图像和样本多光谱图像；
所述图像融合模型用于分别获取所述待融合图像对的空间融合信息和光谱融合信息之后，基于所述空间融合信息和所述光谱融合信息对所述待融合图像对进行图像融合。
根据本发明提供的一种图像融合方法，所述图像融合模型，包括：空间特征融合模块、光谱特征融合模块和结果输出模块；
相应地，所述将所述待融合图像对输入图像融合模型，获取所述图像融合模型输出的融合图像，包括：
将所述待融合图像对输入所述空间特征融合模块，获取所述空间特征融合模块输出的所述空间融合信息，所述空间特征融合模块用于提取所述待融合图像对的特征信息，并基于所述待融合图像对的特征信息获取所述空间融合信息；
将所述待融合图像对输入所述光谱特征融合模块，获取所述光谱特征融合模块输出的所述光谱融合信息，所述光谱特征融合模块用于提取所述待融合图像对的光谱特征信息，并基于所述待融合图像对的光谱特征信息获取所述光谱融合信息；
将所述空间融合信息和所述光谱融合信息输入所述结果输出模块，获取所述结果输出模块输出的所述融合图像。
根据本发明提供的一种图像融合方法，所述空间特征融合模块，包括：主干网络、梯度网络、滤波单元和第一特征融合单元；所述主干网络与所述第一特征融合单元连接；所述滤波单元、所述梯度网络和所述第一特征融合单元依次连接；
相应地，所述将所述待融合图像对输入所述空间特征融合模块，获取所述空间特征融合模块输出的所述空间融合信息，包括：
将所述待融合图像对输入所述主干网络，获取所述主干网络输出的多张目标特征子图像和第一特征融合图像；
将所述待融合全色图像输入所述滤波单元，由所述滤波单元对所述待融合全色图像进行高通滤波，进而获取所述滤波单元输出的梯度特征图像；
将所述梯度特征图像和各所述目标特征子图像输入所述梯度网络，获取所述梯度网络输出的第二特征融合图像；
将所述第一特征融合图像和所述第二特征融合图像输入所述第一特征融合单元，获取所述第一特征融合单元输出的所述空间融合信息。
根据本发明提供的一种图像融合方法，所述主干网络，包括：第一卷积块、第一数量的第一残差块、第二数量的第二残差块和第二特征融合单元；所述第一卷积块、每一所述第一残差块、每一所述第二残差块以及所述第二特征融合单元依次连接；
相应地，所述将所述待融合图像对输入所述主干网络，获取所述主干网络输出的多张目标特征子图像和第一特征融合图像，包括：
将所述待融合图像对输入所述第一卷积块，获取所述第一卷积块输出的第一卷积特征子图像；
将所述第一卷积特征子图像输入依次连接的每一所述第一残差块和每一所述第二残差块，获取每一所述第一残差块输出的第一特征子图像和每一所述第二残差块输出的第二特征子图像；
将各所述第一特征子图像、各所述第二特征子图像和所述第一卷积特征子图像输入所述第二特征融合单元，获取所述第二特征融合单元输出的第一特征融合图像；
其中，所述目标特征子图像，包括各所述第一残差块和各所述第二残差块中的第一目标残差块输出的第一特征子图像和/或第二特征子图像。
根据本发明提供的一种图像融合方法，所述梯度网络，包括：第二卷积块、第一数量的第三残差块和第二数量的第四残差块；所述第二卷积块、每一所述第三残差块和每一所述第四残差块依次连接；
相应地，所述将所述梯度特征图像和各所述目标特征子图像输入所述梯度网络，获取所述梯度网络输出的第二特征融合图像，包括：
将所述梯度特征图像输入所述第二卷积块，获取所述第二卷积块输出的第二卷积特征子图像；
将所述第二卷积特征子图像输入依次连接的每一所述第三残差块和每一所述第四残差块，将每一目标特征子图像输入所述每一目标特征子图像对应的第三残差块或第四残差块，获取依次连接的各所述第四残差块中最后一个第四残差块输出的第二特征融合图像；
其中，所述目标特征子图像对应的第三残差块，基于输出所述目标特征子图像的目标残差块在各所述第一残差块中的排序确定；所述目标特征子图像对应的第四残差块，基于输出所述目标特征子图像的目标残差块在各所述第二残差块中的排序确定。
根据本发明提供的一种图像融合方法，所述第二特征融合单元，包括：第一特征融合子单元和第二特征融合子单元；
相应地，所述将各所述第一特征子图像、各所述第二特征子图像和所述卷积特征子图像输入所述第二特征融合单元，获取所述第二特征融合单元输出的第一特征融合图像，包括：
将各所述第一特征子图像和各所述第二特征子图像输入第一特征融合子单元，获取所述第一特征融合子单元输出的第一特征融合子图像；
将所述第一特征融合子图像和所述卷积特征子图像输入所述第二特征融合子单元，获取所述第二特征融合子单元输出的所述第一特征融合图像。
根据本发明提供的一种图像融合方法，所述光谱特征融合模块，包括：依次连接的降维单元、卷积单元和升维单元；
相应地，所述将所述待融合图像对输入所述光谱特征融合模块，获取所述光谱特征融合模块输出的所述光谱融合信息，包括：
将所述待融合图像对输入所述降维单元，获取所述降维单元输出的降维图像；
将所述降维图像输入所述卷积单元，获取所述卷积单元输出的第三卷积特征子图像；
将所述第三卷积特征子图像输入所述升维单元，获取所述升维单元输出的所述光谱融合信息。
根据本发明提供的一种图像融合方法，所述样本图像对是基于如下步骤获取的：
原始全色图像和原始多光谱图像；
依次对所述原始多光谱图像进行几何校正、图像配准、数据重采样以及图像裁剪，获取所述样本多光谱图像，依次对所述原始全色图像进行几何校正、图像配准以及图像裁剪，获取所述样本全色图像；
基于所述样本全色图像和所述样本多光谱图像，获得所述样本图像对。
本发明还提供一种图像融合装置，包括：
图像获取模块，用于获取待融合图像对，所述待融合图像对包括待融合全色图像和待融合多光谱图像；
图像融合模型，用于将所述待融合图像对输入图像融合模型，获取所述图像融合模型输出的融合图像；
其中，所述图像融合模型基于样本图像对训练得到；所述样本图像对包括样本全色图像和样本多光谱图像；
所述图像融合模型用于分别获取所述待融合图像对的空间融合信息和光谱融合信息之后，基于所述空间融合信息和所述光谱融合信息对所述待融合图像对进行图像融合。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像融合方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像融合方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像融合方法。
本发明提供的图像融合方法及装置，通过将待融合图像对输入图像融合模型之后，获取上述图像融合模型输出的融合图像，上述图像融合模型基于非监督学习技术训练得到，用于获取待融合图像对的空间融合信息和光谱融合信息，并基于上述空间融合信息和上述光谱融合信息进行图像融合，上述图像融合模型在训练时，不再基于模拟的样本标签，而是将全色图像的空间特征和多光谱图像的光谱特征作为学习目标，能提高训练好的图像融合模型的融合效果，上述图像融合模型在实际应用中，能在有效实现空间信息增强和光谱信息保持的基础上，降低特征提取的冗余度，能减少图像融合模型的计算量，从而能在确保图像融合效果的基础上，提高图像融合的效率，能为遥感技术的实际应用提供数据支撑。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像融合方法的流程示意图；
图2是本发明提供的图像融合方法中上采样的流程示意图；
图3是本发明提供的图像融合方法中图像融合模型的结构示意图；
图4为本发明提供的图像融合方法中第一残差块309的结构示意图；
图5为本发明提供的图像融合方法中第二残差块310的结构示意图；
图6为本发明提供的图像融合方法中第一特征融合单元307的结构示意图；
图7是本发明提供的图像融合装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
附图标记：
空间特征融合模块301；光谱特征融合模块302；结果输出模块303；主干网络304；梯度网络305；滤波单元306；第一特征融合单元307；第一卷积块308；第一残差块309；第二残差块310；第二特征融合单元311；第一特征融合子单元315；第二特征融合子单元316；第二卷积块312；第三残差块313；第四残差块314；降维单元315；卷积单元316；升维单元317。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是，大多数遥感技术应用(包括地物识别、分类和解译)，对图像的空间分辨率和光谱分辨率要求很高。由于遥感成像技术的限制，难以获取空间分辨率和光谱分辨率均很高的遥感图像。
传统的图像融合方法主要包括成分替换法、多分辨率分析法和基于模型优化的方法。其中，成分替换法具有比较好的空间信息，但光谱失真严重；多分辨率分析法缓解了成分替换法的光谱失真问题，但如果全色图像的空间细节与多光谱图像缺失部分不对应，融合结果很容易产生空间混叠效应；相较于上述两种方法，基于模型优化的方法可以有效地平衡空间增强和光谱保真，但该方法存在较高的计算量，且若先验假设不符合融合环境，融合结果可能不理想。
随着深度学习技术的发展，深度学习技术亦被广泛应用于图像融合方法中。
基于传统的单流融合网络框架进行图像融合时，注重于空间信息融合，忽略了光谱质量，导致融合效果不佳。
基于传统的双流融合网络框架进行图像融合时，可以平等地对待全色图像和多光谱图像的特征。
但是，基于传统的双流融合网络框架进行图像融合时，主要利用传统的双流融合网络框架中结构相似的两条支路，分别提取全色图像和多光谱图像的特征，这会导致提取特征的冗余度高，增加图像融合的计算量，降低了图像融合的融合效率。与传统的单流融合网络框架相比，基于传统的双流融合网络框架进行图像融合的融合效果虽然有所提升，但融合效率也随之降低。
此外，由于传统的基于深度学习计算的图像融合方法中，通常缺少高空间分辨率的多光谱图像作为图像融合模型的学习目标，使得传统的基于深度学习计算的图像融合方法通常基于Wald协议制作模拟数据集，即对原始全色图像和原始多光谱图像进行降尺度模拟处理后作为样本，将原始多光谱图像作为上述样本对应的样本标签。基于上述样本和上述样本对应的样本标签对图像融合模型进行训练，会导致图像融合模型难以学习到原始全色图像和原始多光谱图像之间真正的融合关系，训练得到的图像融合模型的图像融合效果不佳，图像融合模型的应用性较差。
对此，本发明提供一种图像融合方法及装置，可以基于图像融合模型实现图像融合，上述图像融合模型基于非监督学习机制训练得到，可以分别独立地进行空间信息融合和光谱信息融合，实现空间分辨率和光谱分辨率的分目标融合，从而可以保证较好的图像融合效果，上述图像融合模型还可以避免如传统的双流融合网络框架一样盲目地从全色图像和多光谱图像中提取大量的特征，可以降低图像融合模型的计算量，从而可以在确保图像融合效果的基础上，提高图像融合的效率，可以为遥感技术的实际应用提供数据支撑。
图1是本发明提供的图像融合方法的流程示意图。下面结合图1描述本发明的图像融合方法。如图1所示，该方法包括：步骤101、获取待融合图像对，待融合图像对包括待融合全色图像和待融合多光谱图像。
需要说明的是，本发明实施例的执行主体为图像融合装置。
具体地，本发明实施例中可以通过多种方式获取待融合图像对，例如：可以接收其他电子设备发送的待融合图像对；或者，可以基于用户的输入获取待融合图像对。本发明实施例中对获取待融合图像对的具体方式不作限定。
步骤102、将待融合图像对输入图像融合模型，获取图像融合模型输出的融合图像。
其中，图像融合模型基于样本图像对训练得到；样本图像对包括样本全色图像和样本多光谱图像。
图像融合模型用于分别获取待融合图像对的空间融合信息和光谱融合信息之后，基于空间融合信息和光谱融合信息对待融合图像对进行图像融合。
具体地，获取待融合图像对之后，可以将待融合图像对输入图像融合模型。
上述图像融合模型可以分别获取待融合图像对的空间融合信息和光谱融合信息，进而可以基于上述空间融合信息和上述光谱融合信息，对待融合图像对中的待融合全色图像和待融合多光谱图像进行图像融合，进而可以获取并输出待融合图像对对应的融合图像。
需要说明的是，图像融合模型可以基于包括样本全色图像和样本多光谱图像的样本图像对，利用非监督学习技术训练得到的。
可以理解的是，样本图像对的数量为多个。并且，样本图像对的数量越多，训练得到的图像融合模型的图像融合效果越好。
基于上述各实施例的内容，样本图像对是基于如下步骤获取的：获取原始全色图像和原始多光谱图像。
可选地，本发明实施例中可以通过多种方式原始样本图像对，例如：可以从ImageNet数据库、COCO数据集以及遥感数据平台等数据源，获取原始全色图像和原始多光谱图像；或者，可以接收其他电子设备发送的原始全色图像和原始多光谱图像。本发明实施例中对获取原始全色图像和原始多光谱图像的具体方式不作限定。
其中，ImageNet数据库是一个用于视觉对象识别软件研究的大型可视化数据库。COCO数据集是一个大型图像数据集。
依次对原始多光谱图像进行几何校正、图像配准、数据重采样以及图像裁剪，获取样本多光谱图像，依次对原始全色图像进行几何校正、图像配准以及图像裁剪，获取样本全色图像。
获取原始全色图像和原始多光谱图像之后，可以对原始全色图像和原始多光谱图像进行几何校正和图像配准，获得第一修正全色图像和第一修正多光谱图像。其中，几何校正的目的是为了消除和修正图像的几何误差，图像配准的目的是对原始多光谱图像和原始全色图像的同名像素进行配准。
由于图像融合模型基于真实的全色图像和多光谱图像训练得到，图像融合模型为了确保多光谱影像的尺寸大小与全色影像大小一致，会涉及到多光谱影像的上采样操作。
图2是本发明提供的图像融合方法中上采样的流程示意图。如图2所示，不同于常用的线性插值上采样，本发明提供的图像融合模型使用pixel shuffler上采样方式，将二维平面信息与通道信息相结合来填充像素，确保图像扩充内容的逼真性。因此，获得第一修正全色图像和第一修正多光谱图像之后，需要对上述第一修正多光谱图像进行数据重采样，并可以将经过数据重采样后的第一修正多光谱图像，作为第二修正多光谱图像。
获得第一修正全色图像和第二修正多光谱图像之后，可以对上述第一修正全色图像和第二修正多光谱图像进行图像裁剪，将上述第一修正全色图像裁剪为32×32像素的图像块，并将上述各图像块作为样本全色图像；将上述第二修正多光谱图像裁剪为32×32像素的图像块，并将上述各图像块作为样本多光谱图像。
基于样本全色图像和样本多光谱图像，获得样本图像对。
获得样本全色图像和样本多光谱图像之后，可以基于样本全色图像和样本多光谱图像获得包括一张样本全色图像和一张样本多光谱图像的样本图像对。
获取样本图像对之后，可以按照4:1的比例对样本图像对进行分配，获得用于对图像融合模型进行训练的训练集和用于对训练好的图像融合模型进行验证的验证集。
获取训练集之后，可以基于训练集和无参考损失函数，对图像融合模型进行非监督训练，直至图像融合模型收敛，获得训练好的图像融合模型。
无参考损失函数主要由空间损失函数和光谱损失函数组成，可以使得训练中的图像融合模型输出的预测融合图像，向样本全色图像(PAN)的原始空间特征和样本多光谱图像(MS-UP)的原始光谱特征学习。因此，本发明实施例中的图像融合模型不需要模拟降尺度的训练数据集。
在图像融合模型的训练过程中，可以基于高通滤波(G)分别提取预测融合图像和样本全色图像的空间特征信息，并可以使用均方误差(MSE)检查两者的相似程度，训练中的图像融合模型通过训练不断缩小两者之间的差距。空间损失函数Lspatial可以通过如下公式表示：
Lspatial＝MSE[G(Ifinal),G(PAN)] (1)
预测融合图像的像素值可以通过均方误差向上采用样本多光谱图像的像素值进行学习，使得预测融合图像与样本多光谱图像的色调几乎相同，光谱损失函数Lspectral最小。
本发明实施例中的无参考损失函数Lno_ref可以通过如下公式表示：
Lno_ref＝m×Lspatial+n×Lspectral (2)
其中，m表示空间损失函数的权重；n表示光谱损失函数的权重。m+n＝1。
需要说明的是，m和n的最佳取值，是通过赋予m的初始值为0.1，n的初始值为0.9之后，以步长0.1对m和n进行调节，根据对样本融合结果进行主观视觉分析和客观指标评价确定的。
本发明实施例通过将待融合图像对输入图像融合模型之后，获取上述图像融合模型输出的融合图像，上述图像融合模型基于非监督学习技术训练得到，用于获取待融合图像对的空间融合信息和光谱融合信息，并基于上述空间融合信息和上述光谱融合信息进行图像融合，上述图像融合模型在训练时，不再基于模拟的样本标签，而是将全色图像的空间特征和多光谱图像的光谱特征作为学习目标，能提高训练好的图像融合模型的融合效果，上述图像融合模型在实际应用中，能在有效实现空间信息增强和光谱信息保持的基础上，降低特征提取的冗余度，能减少图像融合模型的计算量，从而能在确保图像融合效果的基础上，提高图像融合的效率，能为遥感技术的实际应用提供数据支撑。
图3是本发明提供的图像融合方法中图像融合模型的结构示意图。如图3所示，图像融合模型，包括：空间特征融合模块301、光谱特征融合模块302和结果输出模块303。
相应地，将待融合图像对输入图像融合模型，获取图像融合模型输出的融合图像，包括：将待融合图像对输入空间特征融合模块301，获取空间特征融合模块301输出的空间融合信息，空间特征融合模块301用于提取待融合图像对的特征信息，并基于待融合图像对的特征信息获取空间融合信息。
具体地，将待融合图像对输入空间特征融合模块301之后，空间特征融合模块301可以通过卷积计算、批归一化处理(Batch Normalization，BN)以及ReLU激活函数计算等方式，对待融合图像对进行特征提取，获取待融合图像对的特征信息，进而可以对待融合图像对的特征信息进行特征融合，获取并输出待融合图像对的空间融合信息Ispatial。
需要说明的是，本发明实施例中对空间特征融合模块301的具体结构不作限定。
将待融合图像对输入光谱特征融合模块302，获取光谱特征融合模块301输出的光谱融合信息，光谱特征融合模块302用于提取待融合图像对的光谱特征信息，并基于待融合图像对的光谱特征信息获取光谱融合信息。
具体地，将待融合图像对输入光谱特征融合模块302之后，光谱特征融合模块302可以通过降维计算、卷积计算以及升维计算等方式，对待融合图像对的光谱特征进行特征提取和特征融合，进而可以获取并输出待融合图像对的光谱融合信息Ispectral。
需要说明的是，本发明实施例中对光谱特征融合模块302的具体结构不作限定。
将空间融合信息和光谱融合信息输入结果输出模块303，获取结果输出模块303输出的融合图像。
具体地，获取待融合图像对的空间融合信息Ispatial和光谱融合信息Ispectral之后，可以将空间融合信息Ispatial和光谱融合信息Ispectral输入结果输出模块303。
结果输出模块303可以融合空间融合信息Ispatial和光谱融合信息Ispectral，从而获取并输出待融合图像对对应的融合图像Ifinal。
可选地，结果输出模块可以基于公式(3)对空间融合信息Ispatial和光谱融合信息Ispectral进行融合。
Ifinal＝α×Ispatial+β×Ispectral (3)
其中，α表示空间融合信息Ispatial对应的权重；β表示光谱融合信息Ispectral对应的权重。
α和β的最佳取值，是通过赋予α的初始值为0.1，β的初始值为0.9之后，以步长0.1对α和β进行调节，根据对样本融合结果进行主观视觉分析和客观指标评价确定的。
本发明实施例中的图像融合模型采用分目标融合的策略，利用空间特征融合模块融合待融合图像对的空间信息，获得待融合图像对的空间融合信息，利用光谱特征融合模块融合待融合图像对的光谱信息，获得待融合图像对的光谱融合信息，空间特征融合模块和光谱特征融合模块均包括特征提取与特征融合的过程，能在有效实现空间信息增强和光谱信息保持的基础上，降低特征提取的冗余度，能减少图像融合模型的计算量。
基于上述各实施例的内容，空间特征融合模块301，包括：主干网络304、梯度网络305、滤波单元306和第一特征融合单元307；主干网络304与第一特征融合单元307连接；滤波单元306、梯度网络305和第一特征融合单元307依次连接。
相应地，将待融合图像对输入空间特征融合模块301，获取空间特征融合模块301输出的空间融合信息，包括：将待融合图像对输入主干网络304，获取主干网络304输出的多张目标特征子图像和第一特征融合图像。
具体地，将待融合图像对输入主干网络304之后，主干网络304可以对待融合图像对进行多尺度的特征提取，进而可以获取主干网络304输出的多张目标特征子图像和第一特征融合图像。
可选地，主干网络304，包括：第一卷积块308、第一数量的第一残差块309、第二数量的第二残差块310和第二特征融合单元311；第一卷积块308、每一第一残差块309、每一第二残差块310以及第二特征融合单元311依次连接。
相应地，将待融合图像对输入主干网络304，获取主干网络304输出的多张目标特征子图像和第一特征融合图像，包括：将待融合图像对输入第一卷积块308，获取第一卷积块308输出的第一卷积特征子图像。
具体地，将待融合图像输入第一卷积块308之后，第一卷积块308可以对待融合图像对进行卷积计算，进而可以获得并输出第一卷积特征子图像F0。
将第一卷积特征子图像输入依次连接的每一第一残差块309和每一第二残差块310，获取每一第一残差块309输出的第一特征子图像和每一第二残差块310输出的第二特征子图像。
其中，目标特征子图像，包括各第一残差块309和各第二残差块310中的第一目标残差块输出的第一特征子图像和/或第二特征子图像。
需要说明的是，本发明实施例中第一数量和第二数量可以基于先验知识和/或实际情况确定。本发明实施例中对第一数量和第二数量的具体取值不作限定。
可选地，第一数量的取值范围可以在3至7之间，例如：第一数量可以为3、5或7；第二数量的取值范围可以在3至7之间，例如：第二数量可以为3、5或7。
优选地，第一数量的取值可以为5；第二数量的取值亦可以为5。以下以第一数量的取值为5且第二数量的取值为5为例，说明本发明实施例中的主干网络304。
需要说明的是，本发明实施例中用MRB表示残差块。MRB的上标“1”用于表示第一残差块309，MRB的上标“2”用于表示第二残差块310。MRB的下标用于表示残差块的排序。
主干网络304中第一卷积块308的输出端与第一个第一残差块309的输入端连接；第二个第一残差块309/>的输出端与第三个第一残差块309/>的输入端连接，以此类推。
主干网络304中第五个第一残差块309的输出端与第一个第二残差块310/>的输入端连接；第二个第二残差块310/>的输出端与第三个第二残差块310/>的输入端连接，依次类推。
主干网络304中第五个第二残差块310的输出端与第二特征融合单元311的输入端连接。
图4为本发明提供的图像融合方法中第一残差块309的结构示意图。如图4所示，第一残差块309主要使用小尺寸的卷积核(卷积核大小为3×3、3×1以及1×3)，对输入图像Xt进行浅层细节特征提取。
图5为本发明提供的图像融合方法中第二残差块310的结构示意图。如图5所示，第二残差块310主要使用大尺寸的卷积核(卷积核大小为5×5、5×1以及1×5)，对输入图像Xt进行深层细节特征提取。
在第一残差块309和第二残差块310中，使用卷积核大小为1×1的卷积计算，调整输入图像Xt与输出图像Xt+1的通道维度，以确保输入图像Xt与输出图像Xt+1的通道数相同，尺寸大小保持不变。
第一残差块309和第二残差块310的残差结构如下：
Xt+1＝H(Xt)+R(Xt,Wt) (4)
其中，R(·)表示多尺度特征提取函数；Wt表示R(·)的参数，H(Xt)表示对Xt进行卷积核大小为1×1的卷积计算。
需要说明的是，输入图像Xt输入第一残差块309之后，第一残差块309对输入图像Xt的卷积计算过程如图4所示。
需要说明的是，输入图像Xt输入第二残差块310之后，第二残差块310对输入图像Xt的卷积计算过程如图5所示。
需要说明的是，本发明实施例中用F表示特征子图像。F的上标“1”用于表示第一特征子图像，F的上标“2”用于表示第二特征子图像。F的下标用于表示输出特征子图像的残差块的排序。
获取第一卷积块308输出的第一卷积特征子图像F0之后，可以将第一卷积特征子图像F0输入第一个第一残差块309可以获取第一个第一残差块309/>输出的第一张第一特征子图像/>
将第一张第一特征子图像输入第二个第一残差块309/>可以获取第二个第一残差块309/>输出的第二张第一特征子图像/>
以此类推，可以获取第三个第一残差块309输出的第三张第一特征子图像/>第四个第一残差块309/>输出的第四张第一特征子图像/>以及第五个第一残差块309/>输出的第五张第一特征子图像/>
将第五张第一特征子图像输入第一个第二残差块310/>可以获取第一个第二残差块310/>输出的第一张第二特征子图像/>
将第一张第二特征子图像输入第二个第二残差块310/>可以获取第二个第二残差块310/>输出的第二张第二特征子图像/>
以此类推，可以获取第三个第二残差块310输出的第三张第二特征子图像/>第四个第二残差块310/>输出的第四张第二特征子图像/>以及第五个第二残差块310/>输出的第五张第二特征子图像/>
需要说明的是，可以基于先验知识和/或实际情况，在各第一残差块309和各第二残差块310中，确定至少一个第一目标残差块。
相应地，可以将第一目标残差块输出的第一特征子图像和/或第二特征子图像，确定为目标特征子图像。
可选地，本发明实施例中将第一个第一残差块309第五个第一残差块309/>以及第五个第二残差块310/>确定为第一目标残差块。
相应地，可以将第一张第一特征子图像第五张第一特征子图像/>和第五张第二特征子图像/>确定为目标特征子图像。
将各第一特征子图像、各第二特征子图像和第一卷积特征子图像输入第二特征融合单元311，获取第二特征融合单元311输出的第一特征融合图像。
具体地，获取第一卷积块308输出的第一卷积特征子图像F0，获取各第一残差块309输出的第一张第一特征子图像至第五张第一特征子图像/>以及获取各第二残差块310输出的第一张第二特征子图像/>至第五张第二特征子图像/>之后，可以将第一卷积特征子图像F0、第一张第一特征子图像/>至第五张第一特征子图像/>以及第一张第二特征子图像/>至第五张第二特征子图像/>输入第二特征融合单元311。
第二特征融合单元311可以对第一卷积特征子图像F0、第一张第一特征子图像至第五张第一特征子图像/>以及第一张第二特征子图像/>至第五张第二特征子图像/>进行特征融合，进而可以获取并输出第一特征融合图像Fspatial。
可选地，第二特征融合单元311，包括：第一特征融合子单元315和第二特征融合子单元316。
相应地，将各第一特征子图像、各第二特征子图像和卷积特征子图像输入第二特征融合单元311，获取第二特征融合单元311输出的第一特征融合图像，包括：将各第一特征子图像和各第二特征子图像输入第一特征融合子单元315，获取第一特征融合子单元315输出的第一特征融合子图像。
具体地，获取各第一残差块309输出的第一张第一特征子图像至第五张第一特征子图像/>以及获取各第二残差块310输出的第一张第二特征子图像/>至第五张第二特征子图像/>之后，可以将第一张第一特征子图像/>至第五张第一特征子图像/>以及第一张第二特征子图像/>至第五张第二特征子图像/>输入第一特征融合子单元315。
第一特征融合子单元315可以对第一张第一特征子图像至第五张第一特征子图像/>以及第一张第二特征子图像/>至第五张第二特征子图像/>进行特征融合，进而可以获取并输出第一特征融合子图像Ffusion。
可以理解的是，传统的残差网络通常并未考虑每个残差块特征之间的相关性，导致传统的残差网络上下文特征较差。
本发明实施例中主干网络304主要采用卷积核大小为1×1的卷积计算，在通道维度上构建各第一残差块309和各第二残差块310的输出特征之间的关系，整合各第一残差块309和各第二残差块310输出的特征，得到第一特征融合子图像Ffusion。并且，通过卷积核大小为1×1的卷积计算，可以确保第一特征融合子图像Ffusion与第一卷积特征子图像F0的通道数相同。
并且，各第一残差块309和各第二残差块310可以使得空间特征融合模块301学习输入图像和融合目标之间的差值部分，从而可以缩小空间特征融合模块301的学习范围，增强空间特征融合模块301的学习目标。
将第一特征融合子图像和卷积特征子图像输入第二特征融合子单元316，获取第二特征融合子单元316输出的第一特征融合图像。
可以理解的是，基于非监督学习训练得到的图像融合模型中，主干网络304中的每一第一残差块309和每一第二残差块310的卷积计算，都会减少待融合图像对中的特征信息。为了保留待融合图像对中的特征信息，本发明实施例中将第一卷积块308输出的第一卷积特征子图像F0和第一特征融合子单元315输出的第一特征融合子图像Ffusion，输入第二特征融合子单元316。
第二特征融合子单元316可以对第一卷积特征子图像F0和第一特征融合子图像Ffusion进行特征融合，从而可以获取并输出第一特征融合图像Fspatial。
可选地，为了合理分配第一卷积特征子图像F0和第一特征融合子图像Ffusion的占比，第二特征融合子单元316可以为第一卷积特征子图像F0分配可学习参数λ0，还可以为第一特征融合子图像Ffusion分配可学习参数λF。在图像融合模型的训练过程中，随着模型的迭代，λ0和λF不断更新。其中，λ0+λF＝0。
相应地，第一特征融合图像Fspatial可以表示为：
Fspatial＝λ0×F0+λF×Ffusion (5)
将待融合全色图像输入滤波单元306，由滤波单元306对待融合全色图像进行高通滤波，进而获取滤波单元306输出的梯度特征图像。
具体地，将待融合图像对中的待融合全色图像输入滤波单元306之后，滤波单元306可以对待融合全色图像进行高通滤波，进而可以获取并输出梯度特征图像。
将梯度特征图像和各目标特征子图像输入梯度网络305，获取梯度网络305输出的第二特征融合图像。
具体地，获取梯度特征图像之后，可以将梯度特征图像和主干网络304输出的各目标特征子图像输入梯度网络305。
梯度网络305可以对梯度特征图像进行特征提取，并与各目标特征子图像进行特征融合，从而可以获取并输出第二特征融合图像Fgrad。第二特征融合图像Fgrad不仅包括梯度特征图像的结构特征，还包括丰富的纹理特征，使得第二特征融合图像Fgrad可以作为主干网络304可信的先验知识。
可选地，梯度网络305，包括：第二卷积块312、第一数量的第三残差块313和第二数量的第四残差块314；第二卷积块312、每一第三残差块313和每一第四残差块314依次连接。
相应地，将梯度特征图像和各目标特征子图像输入梯度网络305，获取梯度网络305输出的第二特征融合图像，包括：将梯度特征图像输入第二卷积块312，获取第二卷积块312输出的第二卷积特征子图像。
具体地，获取梯度特征图像之后，可以将梯度特征图像输入第二卷积块312。
第二卷积块312可以对梯度特征图像进行卷积计算，进而可以获得并输出第二卷积特征子图像F′0。
将第二卷积特征子图像输入依次连接的每一第三残差块313和每一第四残差块314，将每一目标特征子图像输入每一目标特征子图像对应的第三残差块313或第四残差块314，获取依次连接的各第四残差块314中最后一个第四残差块314输出的第二特征融合图像。
其中，目标特征子图像对应的第三残差块313，基于输出目标特征子图像的目标残差块在各第一残差块309中的排序确定；目标特征子图像对应的第四残差块314，基于输出目标特征子图像的目标残差块在各第二残差块310中的排序确定。
需要说明的是，本发明实施例中第三残差块313的数量与第一残差块309的数量相同，第四残差块314的数量与第二残差块310的数量相同。以下以第一数量的取值为5且第二数量的取值为5为例，说明本发明实施例中的梯度网络305。
需要说明的是，本发明实施例中用MRB表示残差块。MRB的上标“3”用于表示第三残差块313，MRB的上标“4”用于表示第四残差块314。MRB的下标用于表示残差块的排序。
梯度网络305中第二卷积块312的输出端与第一个第三残差块313的输入端连接；第二个第三残差块313/>的输出端与第三个第一残差块309/>的输入端连接，以此类推。
梯度网络305中第五个第三残差块313的输出端与第一个第四残差块314/>的输入端连接；第二个第四残差块314/>的输出端与第三个第四残差块314/>的输入端连接，依次类推。
梯度网络305中第五个第四残差块314的输出端与第一特征融合单元307的输入端连接。
可选地，本发明实施例中第三残差块313的结构与第一残差块309的结构相同，第四残差块314的结构与第二残差块310的结构相同。第三残差块313和第四残差块314的具体结构和计算过程可以参见上述各实施例的内容，本发明实施例中不再赘述。
需要说明的是，可以基于第一目标残差块在各第一残差块309和各第一残差块309中的排序，将排序相同的第三残差块313和/或第四残差块314，确定为第二目标残差块，并且排序相同的第一目标残差块和第二目标残差块具有一一对应关系。
需要说明的是，本发明实施例中用F表示特征子图像。F的上标“3”用于表示第三特征子图像，F的上标“4”用于表示第四特征子图像。F的下标用于表示输出特征子图像的残差块的排序。
相应地，在第一张第一特征子图像第五张第一特征子图像/>和第五张第二特征子图像/>为目标特征子图像的情况下，第一张第一特征子图像/>与第一个第三残差块313/>对应，第五张第一特征子图像/>与第五个第三残差块313/>对应，第五张第二特征子图像/>与第五个第四残差块314/>
获取第二卷积块312输出的第二卷积特征子图像F0′之后，可以将第二卷积特征子图像F0′以及第一张第一特征子图像输入第一个第三残差块313/>第一个第三残差块313/>可以对第二卷积特征子图像F0′以及第一张第一特征子图像/>进行卷积计算，进而可以获取并输出第一张第三特征子图像/>
将第一张第三特征子图像输入第二个第三残差块313/>可以获取第二个第三残差块313/>输出的第二张第三特征子图像/>
以此类推，可以获取第三个第三残差块313输出的第三张第三特征子图像/>以及第四个第三残差块313/>输出的第四张第三特征子图像/>
获取第四个第三残差块313输出的第四张第三特征子图像/>之后，可以将第四张第三特征子图像/>以及第五张第一特征子图像/>输入第五个第三残差块313第五个第三残差块313/>可以对第四张第三特征子图像/>以及第五张第一特征子图像/>进行卷积计算，进而可以获取并输出第五张第三特征子图像/>
将第五张第三特征子图像输入第一个第四残差块314/>可以获取第一个第四残差块314/>输出的第一张第四特征子图像/>
将第一张第四特征子图像输入第二个第四残差块314/>可以获取第二个第四残差块314/>输出的第二张第四特征子图像/>
以此类推，可以获取第三个第四残差块314输出的第三张第四特征子图像/>以及第四个第四残差块314/>输出的第四张第四特征子图像/>
获取第四个第四残差块314输出的第四张第四特征子图像/>之后，可以将第四张第四特征子图像/>和第五张第二特征子图像/>输入第五个第四残差块314第五个第四残差块314/>可以对第四张第四特征子图像/>和第五张第二特征子图像/>进行卷积计算，进而可以获取并输出第五张第四特征子图像/>
由于第五个第四残差块314为依次连接的各第四残差块314中的最后一个第四残差块314，因此，获取第五个第四残差块314/>输出的第五张第四特征子图像/>之后，可以将第五张第四特征子图像/>确定为第二特征融合图像Fgrad。/>
将第一特征融合图像和第二特征融合图像输入第一特征融合单元307，获取第一特征融合单元307输出的空间融合信息。
具体地，获取第一特征融合图像Fspatial和第二特征融合图像Fgrad之后，可以将第一特征融合图像Fspatial和第二特征融合图像Fgrad输入第一特征融合单元307。
第一特征融合单元307为了更加有效地对第一特征融合图像Fspatial和第二特征融合图像Fgrad进行特征融合，第一特征融合单元307可以基于通道注意力机制为第一特征融合图像Fspatial和第二特征融合图像Fgrad设置权重。
图6为本发明提供的图像融合方法中第一特征融合单元307的结构示意图。如图6所示，第一特征融合图像Fspatial与第二特征融合图像Fgrad逐像素相加之后，通过全局平均池化将第一特征融合图像Fspatial和第二特征融合图像Fgrad中的空间信息进行聚合，第一特征融合图像Fspatial与第二特征融合图像Fgrad都得到一个具有代表性的特征值。通过两个全连接层减少模型的计算量，将特征通道数以τ的比率减少又恢复为原通道数。最后基于激活函数ReLU、Sigmoid以及通道注意力机制为第一特征融合图像Fspatial与第二特征融合图像Fgrad分配权重，得到第一特征融合图像Fspatial的权重为M，对应第二特征融合图像Fgrad的权重为1-M。
本发明实施例中的空间特征融合模块，不再仅仅针对输入图像的高频信息进行融合，提出了梯度特征引导的主干网络的思想，主干网络融合待融合图像对中的所有空间内容，梯度网络提取待融合全色图像中的梯度特征信息作为先验知识，引导主干网络在增强空间信息的同时保留固有的空间结构，并且，空间特征融合模块利用多尺度残差模块，能基于不同尺度大小的感受野提取更丰富的图像特征，能通过将大尺寸卷积核分解为密集连接的小尺寸和非对称卷积核，有效地减少网络模型参数量。
基于上述各实施例的内容，光谱特征融合模块302，包括：依次连接的降维单元315、卷积单元316和升维单元317。
相应地，将待融合图像对输入光谱特征融合模块302，获取光谱特征融合模块301输出的光谱融合信息，包括：将待融合图像对输入降维单元315，获取降维单元315输出的降维图像。
可以理解的是，考虑到光谱特征与空间位置信息无关，光谱特征融合模块302只需要在相邻光谱波段中进行建模。而一维卷积计算仅沿着一个维度滑动过滤窗口，并建立一个维度上像素之间的关系，相较于二维卷积计算而言，更适用于光谱特征融合模块302。
需要说明的是，光谱特征融合模块302对待融合图像对进行一维卷积之前，需要对待融合图像对进行一系列转换。
具体地，待融合图像对的尺寸大小为[B,H,W,C+1]。其中，B表示训练的批量尺寸大小；H和W代表待融合图像对的长与宽；C+1表示待融合图像对的波段数(C表示待融合多光谱图像的波段数，1表示待融合全色图像的波段数)。
将待融合图像对输入降维单元315之后，降维单元可以将待融合图像对的维度转换为[B×H×W,1,C+1]的降维图像，从而可以使得仅在光谱通道C+1中对降维图像进行卷积计算。
将降维图像输入卷积单元316，获取卷积单元316输出的第三卷积特征子图像。
具体地，获取降维图像之后，可以将降维图像输入卷积单元316。
卷积单元316可以在光谱通道C+1中对降维图像进行卷积核大小为1×1的卷积计算，进而可以获取并输出维度为[B×H×W,1,C]的第三卷积特征子图像。
可选地，卷积单元316的网络参数如表1所示。
表1卷积单元316的网络参数表
| 卷积层 | 卷积核参数 | 步长 | 扩充 | 输出影像大小 |
| Conv1 | (1,1,2) | 1 | 0 | (N,1,C) |
| Conv2 | (1,1,3) | 1 | 1 | (N,1,C) |
| Conv3 | (1,1,5) | 1 | 2 | (N,1,C) |
| Conv4 | (1,1,7) | 1 | 3 | (N,1,C) |
将第三卷积特征子图像输入升维单元317，获取升维单元317输出的光谱融合信息。
具体地，获取第三卷积特征子图像之后，可以将第三卷积特征子图像输入升维单元317。
升维单元317可以将第三卷积特征子图像的维度恢复为[B,H,W,C]，进而可以获取维度恢复后的第三卷积特征子图像作为光谱融合信息输出。
为了验证本发明提供的图像融合方法的可行性与有效性，以GF-1与WV-2影像作为训练集分别对上述各实施例中的图像融合模型进行训练。与传统的图像融合方法从定性与定量这两方面进行评价，利用Pleiades图像对GF-1训练好的图像融合模型进行泛化实验，测试训练好的图像融合模型的鲁棒性。
实例一中所用的遥感图像为WV-2多光谱和全色图像，覆盖区域为城市建筑物,其中多光谱图像空间分辨率为2m，8波段，全色图像空间分辨率为0.5m，1波段。
利用本发明提供的图像融合方法对待融合图像对进行融合之后可知，基于本发明提供的图像融合方法得到的融合图像较传统的图像融合方法(例如GSA、PRACS、SFIM、MTF_GLP、PNN、PanNet、TF-ResNet、CPT-noRef和Pan-GAN等)，更好地提高了图像的空间细节信息，改善了光谱失真现象。表2为实例一中的评价指标示意表。参考表2，通过客观定量评价，与传统的图像融合方法相比，基于本发明提供的图像融合方法得到的融合图像，光谱与空间评价指标都远远超过基于传统的图像融合方法得到的融合图像。
表2实例一中的评价指标示意表
| CC | ERGAS | SAM | Ds | Dλ | QNR | SSIM | |
| GSA | 0.8327 | 2.5971 | 1.5827 | 0.0591 | 0.0587 | 0.8832 | 0.9327 |
| PRACS | 0.8431 | 2.4877 | 1.5697 | 0.0609 | 0.0507 | 0.8915 | 0.9281 |
| SFIM | 0.8674 | 2.4218 | 1.3980 | 0.0720 | 0.0433 | 0.8878 | 0.8917 |
| MTF_GLP | 0.8621 | 2.4369 | 1.4213 | 0.0691 | 0.0441 | 0.8898 | 0.9117 |
| PNN | 0.8369 | 2.6013 | 1.5791 | 0.0529 | 0.0547 | 0.8953 | 0.9413 |
| PanNet | 0.8713 | 2.2231 | 1.2911 | 0.0457 | 0.0391 | 0.9170 | 0.9597 |
| TF-ResNet | 0.8821 | 2.2158 | 1.2103 | 0.0371 | 0.0327 | 0.9314 | 0.9671 |
| CPT-noRef | 0.8913 | 1.9870 | 1.0123 | 0.0245 | 0.0253 | 0.9508 | 0.9793 |
| Pan-GAN | 0.8877 | 2.1136 | 1.1972 | 0.0278 | 0.0281 | 0.9449 | 0.9715 |
| 本发明 | 0.8915 | 1.9765 | 0.9983 | 0.0237 | 0.0241 | 0.9528 | 0.9817 |
实例二中所用的遥感图像为GF-1多光谱和全色图像，覆盖区域为乡村农作物，其中多光谱图像空间分辨率为8m，4波段，全色图像空间分辨率为2m，1波段。
利用本发明提供的图像融合方法对待融合图像对进行融合之后可知，基于本发明提供的图像融合方法得到的融合图像较传统的图像融合方法(例如GSA、PRACS、SFIM、MTF_GLP、PNN、PanNet、TF-ResNet、CPT-noRef和Pan-GAN等)，空间信息提升最明显，光谱信息与上采样多光谱图像最为相似。表3为实例二中的评价指标示意表。参考表3，通过客观定量评价，与传统的图像融合方法相比，基于本发明提供的图像融合方法得到的融合图像，光谱与空间评价指标均优于基于传统的图像融合方法得到的融合图像。
表3实例二中的评价指标示意表
泛化实验一所用的遥感图像为Pleiades多光谱和全色图像，其中多光谱图像空间分辨率为2m，4波段，全色图像空间分辨率为0.5m，1波段。
利用本发明提供的图像融合方法对待融合图像对进行融合之后可知，对跨传感器、跨尺度的遥感图像进行泛化实验测试，本发明中的网络融合模型与CPT-noRef具有很好的泛化效果，其中本发明中的网络融合模型的光谱质量更好。Pan-GAN方法具有很高的光谱保持度，但其空间信息增强效果与TF-ResNet较本方案网络略为逊色。PanNet色调较浅，与上采样多光谱图像相比空间信息提升效果不明显。相比之下，TF-ResNet融合结果颜色比其他方法深。PNN方法的泛化能力最差。
为了判断本发明中的网络融合模型是否可以有效地减少网络的复杂度，将本发明中的网络融合模型的网络参数量和模型计算量与双流网络PanNet、TF-ResNet和Pan-GAN，以及单流网络CPT-noref进行比较。除了网络结构简单的PanNet外，本发明中的网络融合模型拥有较低的网络复杂度，相比之下Pan-GAN和CPT-noRef的网络复杂度很高。说明本发明中的网络融合模型可以有效地解决双流网络复杂度高的问题。
时间性能评价，列出了本发明中的网络融合模型与PanNet、TF-ResNet、Pan-GAN以及CPT-noRef方法在WV-2图像上的训练时间，可以更直观地比较本发明提出的双流空谱融合网络的训练效率。如表4所示，PanNet由于特征提取的网络结构相对简单，具有较高的运行效率，但融合效果不理想。由于Transformer在提取全局特征方面的高效率，CPT-noRef在每一轮的训练时间方面具有明显的优势。对于双流融合网络，本发明中的网络融合模型在训练效率上明显优于TF-ResNet和Pan-GAN方法。由于本发明中的网络融合模型可以准确地建立全色和上采样多光谱图像的空间和光谱信息，其收敛速度是这五种方法最快的，总体运行时间除PanNet以外，本方案网络模型是最短的。
表4模型训练时间对比表
| 方法/轮(秒) | PanNet | CPT-noRef | 本发明 | TF-ResNet | Pan-GAN |
| 平均时间 | 56.356 | 79.903 | 103.451 | 204.213 | 248.905 |
| 训练轮数 | 200 | 250 | 100 | 150 | 200 |
图7是本发明提供的图像融合装置的结构示意图。下面结合图7对本发明提供的图像融合装置进行描述，下文描述的图像融合装置与上文描述的本发明提供的图像融合方法可相互对应参照。如图7所示，该装置包括：图像获取模块701和图像融合模型702。
图像获取模块701，用于获取待融合图像对，待融合图像对包括待融合全色图像和待融合多光谱图像。
图像融合模型702，用于将待融合图像对输入图像融合模型，获取图像融合模型输出的融合图像。
其中，图像融合模型基于样本图像对训练得到；样本图像对包括样本全色图像和样本多光谱图像。
图像融合模型用于分别获取待融合图像对的空间融合信息和光谱融合信息之后，基于空间融合信息和光谱融合信息对待融合图像对进行图像融合。
具体地，图像获取模块701和图像融合模型702电连接。
本发明实施例中的图像融合装置，通过将待融合图像对输入图像融合模型之后，获取上述图像融合模型输入的融合图像，上述图像融合模型基于非监督学习技术训练得到，用于获取待融合图像对的空间融合信息和光谱融合信息，并基于上述空间融合信息和上述光谱融合信息进行图像融合，上述图像融合模型在训练时，不再基于模拟的样本标签，而是将全色图像的空间特征和多光谱图像的光谱特征作为学习目标，能提高训练好的图像融合模型的融合效果，上述图像融合模型在实际应用中，能在有效实现空间信息增强和光谱信息保持的基础上，降低特征提取的冗余度，能减少图像融合模型的计算量，从而能在确保图像融合效果的基础上，提高图像融合的效率，能为遥感技术的实际应用提供数据支撑。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行图像融合方法，该方法包括：获取待融合图像对，待融合图像对包括待融合全色图像和待融合多光谱图像；将待融合图像对输入图像融合模型，获取图像融合模型输出的融合图像；其中，图像融合模型基于样本图像对训练得到；样本图像对包括样本全色图像和样本多光谱图像；图像融合模型用于分别获取待融合图像对的空间融合信息和光谱融合信息之后，基于空间融合信息和光谱融合信息对待融合图像对进行图像融合。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像融合方法，该方法包括：获取待融合图像对，待融合图像对包括待融合全色图像和待融合多光谱图像；将待融合图像对输入图像融合模型，获取图像融合模型输出的融合图像；其中，图像融合模型基于样本图像对训练得到；样本图像对包括样本全色图像和样本多光谱图像；图像融合模型用于分别获取待融合图像对的空间融合信息和光谱融合信息之后，基于空间融合信息和光谱融合信息对待融合图像对进行图像融合。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像融合方法，该方法包括：获取待融合图像对，待融合图像对包括待融合全色图像和待融合多光谱图像；将待融合图像对输入图像融合模型，获取图像融合模型输出的融合图像；其中，图像融合模型基于样本图像对训练得到；样本图像对包括样本全色图像和样本多光谱图像；图像融合模型用于分别获取待融合图像对的空间融合信息和光谱融合信息之后，基于空间融合信息和光谱融合信息对待融合图像对进行图像融合。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种图像融合方法，其特征在于，包括：
获取待融合图像对，所述待融合图像对包括待融合全色图像和待融合多光谱图像；
将所述待融合图像对输入图像融合模型，获取所述图像融合模型输出的融合图像；
其中，所述图像融合模型基于样本图像对训练得到；所述样本图像对包括样本全色图像和样本多光谱图像；
所述图像融合模型用于分别获取所述待融合图像对的空间融合信息和光谱融合信息之后，基于所述空间融合信息和所述光谱融合信息对所述待融合图像对进行图像融合；
所述图像融合模型，包括：空间特征融合模块、光谱特征融合模块和结果输出模块；
相应地，所述将所述待融合图像对输入图像融合模型，获取所述图像融合模型输出的融合图像，包括：
将所述待融合图像对输入所述空间特征融合模块，获取所述空间特征融合模块输出的所述空间融合信息，所述空间特征融合模块用于提取所述待融合图像对的特征信息，并基于所述待融合图像对的特征信息获取所述空间融合信息；
将所述待融合图像对输入所述光谱特征融合模块，获取所述光谱特征融合模块输出的所述光谱融合信息，所述光谱特征融合模块用于提取所述待融合图像对的光谱特征信息，并基于所述待融合图像对的光谱特征信息获取所述光谱融合信息；
将所述空间融合信息和所述光谱融合信息输入所述结果输出模块，获取所述结果输出模块输出的所述融合图像；
所述空间特征融合模块，包括：主干网络、梯度网络、滤波单元和第一特征融合单元；所述主干网络与所述第一特征融合单元连接；所述滤波单元、所述梯度网络和所述第一特征融合单元依次连接；
相应地，所述将所述待融合图像对输入所述空间特征融合模块，获取所述空间特征融合模块输出的所述空间融合信息，包括：
将所述待融合图像对输入所述主干网络，获取所述主干网络输出的多张目标特征子图像和第一特征融合图像；
将所述待融合全色图像输入所述滤波单元，由所述滤波单元对所述待融合全色图像进行高通滤波，进而获取所述滤波单元输出的梯度特征图像；
将所述梯度特征图像和各所述目标特征子图像输入所述梯度网络，获取所述梯度网络输出的第二特征融合图像；
将所述第一特征融合图像和所述第二特征融合图像输入所述第一特征融合单元，获取所述第一特征融合单元输出的所述空间融合信息。
2.根据权利要求1所述的图像融合方法，其特征在于，所述主干网络，包括：第一卷积块、第一数量的第一残差块、第二数量的第二残差块和第二特征融合单元；所述第一卷积块、每一所述第一残差块、每一所述第二残差块以及所述第二特征融合单元依次连接；
相应地，所述将所述待融合图像对输入所述主干网络，获取所述主干网络输出的多张目标特征子图像和第一特征融合图像，包括：
将所述待融合图像对输入所述第一卷积块，获取所述第一卷积块输出的第一卷积特征子图像；
将所述第一卷积特征子图像输入依次连接的每一所述第一残差块和每一所述第二残差块，获取每一所述第一残差块输出的第一特征子图像和每一所述第二残差块输出的第二特征子图像；
将各所述第一特征子图像、各所述第二特征子图像和所述第一卷积特征子图像输入所述第二特征融合单元，获取所述第二特征融合单元输出的第一特征融合图像；
其中，所述目标特征子图像，包括各所述第一残差块和各所述第二残差块中的第一目标残差块输出的第一特征子图像和/或第二特征子图像。
3.根据权利要求2所述的图像融合方法，其特征在于，所述梯度网络，包括：第二卷积块、第一数量的第三残差块和第二数量的第四残差块；所述第二卷积块、每一所述第三残差块和每一所述第四残差块依次连接；
相应地，所述将所述梯度特征图像和各所述目标特征子图像输入所述梯度网络，获取所述梯度网络输出的第二特征融合图像，包括：
将所述梯度特征图像输入所述第二卷积块，获取所述第二卷积块输出的第二卷积特征子图像；
将所述第二卷积特征子图像输入依次连接的每一所述第三残差块和每一所述第四残差块，将每一目标特征子图像输入所述每一目标特征子图像对应的第三残差块或第四残差块，获取依次连接的各所述第四残差块中最后一个第四残差块输出的第二特征融合图像；
其中，所述目标特征子图像对应的第三残差块，基于输出所述目标特征子图像的目标残差块在各所述第一残差块中的排序确定；所述目标特征子图像对应的第四残差块，基于输出所述目标特征子图像的目标残差块在各所述第二残差块中的排序确定。
4.根据权利要求2所述的图像融合方法，其特征在于，所述第二特征融合单元，包括：第一特征融合子单元和第二特征融合子单元；
相应地，所述将各所述第一特征子图像、各所述第二特征子图像和所述卷积特征子图像输入所述第二特征融合单元，获取所述第二特征融合单元输出的第一特征融合图像，包括：
将各所述第一特征子图像和各所述第二特征子图像输入第一特征融合子单元，获取所述第一特征融合子单元输出的第一特征融合子图像；
将所述第一特征融合子图像和所述卷积特征子图像输入所述第二特征融合子单元，获取所述第二特征融合子单元输出的所述第一特征融合图像。
5.根据权利要求1所述的图像融合方法，其特征在于，所述光谱特征融合模块，包括：依次连接的降维单元、卷积单元和升维单元；
相应地，所述将所述待融合图像对输入所述光谱特征融合模块，获取所述光谱特征融合模块输出的所述光谱融合信息，包括：
将所述待融合图像对输入所述降维单元，获取所述降维单元输出的降维图像；
将所述降维图像输入所述卷积单元，获取所述卷积单元输出的第三卷积特征子图像；
将所述第三卷积特征子图像输入所述升维单元，获取所述升维单元输出的所述光谱融合信息。
6.根据权利要求1至5任一所述的图像融合方法，其特征在于，所述样本图像对是基于如下步骤获取的：
原始全色图像和原始多光谱图像；
依次对所述原始多光谱图像进行几何校正、图像配准、数据重采样以及图像裁剪，获取所述样本多光谱图像，依次对所述原始全色图像进行几何校正、图像配准以及图像裁剪，获取所述样本全色图像；
基于所述样本全色图像和所述样本多光谱图像，获得所述样本图像对。
7.一种图像融合装置，其特征在于，包括：
图像获取模块，用于获取待融合图像对，所述待融合图像对包括待融合全色图像和待融合多光谱图像；
图像融合模块，用于将所述待融合图像对输入图像融合模型，获取所述图像融合模型输出的融合图像；
其中，所述图像融合模型基于样本图像对训练得到；所述样本图像对包括样本全色图像和样本多光谱图像；
所述图像融合模型用于分别获取所述待融合图像对的空间融合信息和光谱融合信息之后，基于所述空间融合信息和所述光谱融合信息对所述待融合图像对进行图像融合；
所述图像融合模型，包括：空间特征融合模块、光谱特征融合模块和结果输出模块；
相应地，所述图像融合模块将所述待融合图像对输入图像融合模型，获取所述图像融合模型输出的融合图像，包括：
将所述待融合图像对输入所述空间特征融合模块，获取所述空间特征融合模块输出的所述空间融合信息，所述空间特征融合模块用于提取所述待融合图像对的特征信息，并基于所述待融合图像对的特征信息获取所述空间融合信息；
将所述待融合图像对输入所述光谱特征融合模块，获取所述光谱特征融合模块输出的所述光谱融合信息，所述光谱特征融合模块用于提取所述待融合图像对的光谱特征信息，并基于所述待融合图像对的光谱特征信息获取所述光谱融合信息；
将所述空间融合信息和所述光谱融合信息输入所述结果输出模块，获取所述结果输出模块输出的所述融合图像；
所述空间特征融合模块，包括：主干网络、梯度网络、滤波单元和第一特征融合单元；所述主干网络与所述第一特征融合单元连接；所述滤波单元、所述梯度网络和所述第一特征融合单元依次连接；
相应地，所述图像融合模块将所述待融合图像对输入所述空间特征融合模块，获取所述空间特征融合模块输出的所述空间融合信息，包括：
将所述待融合图像对输入所述主干网络，获取所述主干网络输出的多张目标特征子图像和第一特征融合图像；
将所述待融合全色图像输入所述滤波单元，由所述滤波单元对所述待融合全色图像进行高通滤波，进而获取所述滤波单元输出的梯度特征图像；
将所述梯度特征图像和各所述目标特征子图像输入所述梯度网络，获取所述梯度网络输出的第二特征融合图像；
将所述第一特征融合图像和所述第二特征融合图像输入所述第一特征融合单元，获取所述第一特征融合单元输出的所述空间融合信息。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述图像融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211117877.XA CN115565037B (zh) | 2022-09-14 | 2022-09-14 | 图像融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211117877.XA CN115565037B (zh) | 2022-09-14 | 2022-09-14 | 图像融合方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115565037A CN115565037A (zh) | 2023-01-03 |
| CN115565037B true CN115565037B (zh) | 2023-08-22 |
Family
ID=84741794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211117877.XA Active CN115565037B (zh) | 2022-09-14 | 2022-09-14 | 图像融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115565037B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109146831A (zh) * | 2018-08-01 | 2019-01-04 | 武汉大学 | 基于双支深度学习网络的遥感图像融合方法及系统 |
| CN112669248A (zh) * | 2020-12-28 | 2021-04-16 | 西安电子科技大学 | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 |
| CN113222835A (zh) * | 2021-04-22 | 2021-08-06 | 海南大学 | 基于残差网络的遥感全色和多光谱图像分布式融合方法 |
| CN114581347A (zh) * | 2022-01-24 | 2022-06-03 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7835594B2 (en) * | 2006-12-01 | 2010-11-16 | Harris Corporation | Structured smoothing for superresolution of multispectral imagery based on registered panchromatic image |
| CN103198463B (zh) * | 2013-04-07 | 2014-08-27 | 北京航空航天大学 | 基于整体结构和空间细节信息融合的光谱图像全色锐化方法 |
-
2022
- 2022-09-14 CN CN202211117877.XA patent/CN115565037B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109146831A (zh) * | 2018-08-01 | 2019-01-04 | 武汉大学 | 基于双支深度学习网络的遥感图像融合方法及系统 |
| CN112669248A (zh) * | 2020-12-28 | 2021-04-16 | 西安电子科技大学 | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 |
| CN113222835A (zh) * | 2021-04-22 | 2021-08-06 | 海南大学 | 基于残差网络的遥感全色和多光谱图像分布式融合方法 |
| CN114581347A (zh) * | 2022-01-24 | 2022-06-03 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 北京二号小卫星影像融合方法对比研究;刘文良等;《测绘与空间地理信息》;第45卷(第8期);第33-36页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115565037A (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021184891A1 (zh) | 遥感影像地物分类方法及系统 | |
| CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| Liang et al. | Details or artifacts: A locally discriminative learning approach to realistic image super-resolution | |
| CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| Hong et al. | Domain-aware universal style transfer | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| CN112102177B (zh) | 基于压缩与激励机制神经网络的图像去模糊方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN112070670B (zh) | 全局-局部分离注意力机制的人脸超分辨率方法及系统 | |
| KR20210037620A (ko) | 왜곡된 문서 이미지의 교정 방법과 장치 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| WO2020098422A1 (zh) | 编码图案的处理方法和装置、存储介质、电子装置 | |
| CN112215755B (zh) | 一种基于反投影注意力网络的图像超分辨率重建方法 | |
| CN111008936B (zh) | 一种多光谱图像全色锐化方法 | |
| CN114581347B (zh) | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 | |
| CN114266957B (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| CN111951164A (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN113450290A (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| CN113673675A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
| CN113222855A (zh) | 一种图像恢复方法、装置和设备 | |
| CN117079105A (zh) | 遥感图像空谱融合方法、装置、电子设备及存储介质 | |
| CN115565037B (zh) | 图像融合方法及装置 | |
| CN114638761B (zh) | 一种高光谱图像全色锐化方法、设备及介质 | |
| CN116740501A (zh) | 一种图像模糊区域修复补偿模型的训练方法及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |