CN114119444B - 一种基于深度神经网络的多源遥感图像融合方法 - Google Patents
一种基于深度神经网络的多源遥感图像融合方法 Download PDFInfo
- Publication number
- CN114119444B CN114119444B CN202111430982.4A CN202111430982A CN114119444B CN 114119444 B CN114119444 B CN 114119444B CN 202111430982 A CN202111430982 A CN 202111430982A CN 114119444 B CN114119444 B CN 114119444B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- fusion
- hsi
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000004913 activation Effects 0.000 claims abstract description 36
- 238000001228 spectrum Methods 0.000 claims abstract description 36
- 230000003595 spectral effect Effects 0.000 claims abstract description 32
- 238000013461 design Methods 0.000 claims abstract description 6
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000011068 loading method Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000009826 distribution Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 abstract description 2
- 238000007499 fusion processing Methods 0.000 abstract description 2
- 238000013139 quantization Methods 0.000 abstract 1
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007918 pathogenicity Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于深度神经网络的高光谱图像(HSI)、多光谱图像(MSI)与全色图像(PAN)融合方法，网络架构设计了三个网络模块完成融合过程三个阶段。使用包含光谱、空间注意力机制和多尺度卷积的网络块提取MSI和PAN空间结果特征；设计了并行密集连接型网络架构保存空间结构特征和HSI光谱特征，并通过特征单向传递实现特征自动融合；最后采用多个卷积与ReLU激活层构成的图像重构模块完成最终的高空间分辨率的高光谱图像的生成。实验表明：本发明提出的方法考虑到HSI的光谱分布特性和MSI与PAN的空间结构信息，与其他先进的融合方法相比，本发明的融合结果在量化指标上表现最优，主观视觉效果也最接近于参考图像。
Description
技术领域
本发明属于遥感图像融合领域，涉及一种基于深度神经网络的高光谱、多光谱与全色图像融合方法，适用于由空间分辨率递增的高光谱图像、多光谱图像与全色图像融合得到高分辨率高光谱图像的应用场景。
背景技术
利用遥感卫星成像平台，可以同时获得针对同一地区的高光谱图像，多光谱图像和全色图像。其中，由于光学传感器的技术和物理限制，高光谱图像具有低空间分辨率而光谱波段最多的特性；多光谱图像具有空间分辨率相对较高而光谱波段较少的特性；全色图像则具有最高空间分辨率而光谱波段单一的特性。在农业分析、灾害监测和土地覆盖分类等诸多应用中，为了获得同时具有空间分辨率高和光谱特性丰富的高光谱图像(HR-HSI)，增强对信息的分析和理解，通常需要通过图像融合技术对低空间分辨率高光谱图像(HSI)和高空间分辨率的全色图像(PAN)(或较高空间分辨率多光谱图像(MSI))进行融合，该图像融合技术也被称为高光谱图像融合技术。
典型的高光谱图像融合方式可分为3类：高光谱与多光谱图像融合方式(fusionof hyperspectral and multispectral images,FHM)，高光谱与全色图像融合方式(fusion of hyperspectral and panchromatic images,FHP)，以及高光谱，多光谱与全色图像融合方式(fusion of hyperspectral,multispectral and panchromatic images,FHMP)。
FHM融合方式的主要思路分为三种：基于矩阵分解的融合思路[R1-R3]、基于张量表示的融合思路[R4-R5]、基于卷积神经网络的融合思路[R6]。该融合方式在光谱保真方面能够取得很好的效果，但受限于MSI的空间分辨率，FHM的融合图像空间分辨率仍比较低，限制了细节纹理等结构信息的获取；对于FHP融合方式，研究者通常会考虑将PAN的边缘纹理提取后，注射到上采样的模糊HSI图像中[R7]。然而，由于PAN与HSI间的分辨率上的差异过大，融合结果往往存在严重的光谱失真现象。
与FHM和FHP融合方式相比，FHMP融合方式在实际应用中更具潜在价值。该类方法获取同一时区配准后的HSI,MSI和PAN数据进行融合，能够在光谱保真和空间细节增强方面均取得好的结果。已有的FHMP融合研究较少，典型的解决思路包括基于融合任务的先验条件构建最小二乘分解优化模型；基于外设约束将融合过程转换为最大似然估计问题等[R8]，这类思路虽然能较好重构高分辨率的高光谱图像，但他们过于依赖建模时的先验假设，同时存在参数难以选取及优化的问题，融合质量仍有提升空间。
发明内容
本发明针对现有高光谱图像融合方法中存在的融合图像空间分辨率低、光谱失真等问题，提供一种新的基于深度神经网络的高光谱、多光谱和全色图像融合方法，利用神经网络的强特征提取能力与表征能力，提取全色图像与多光谱图像中的高频空间细节信息，并注入光谱内容丰富的高光谱图像，从而获得具有高空间分辨率的高光谱图像。
本发明所采用的技术方案是：一种结合多尺度卷积、注意力机制和复合损失函数的高光谱、多光谱与全色图像融合方法。图1分别展示了FHM,FHP,FHMP三种高光谱图像融合方式的融合结果，对比图1(d)参考图像可知，FHM融合方式限制了融合结果的空间分辨率，融合后的图像内容比较模糊，如图1(a)所示；另一方面，对于FHP融合方式，由于高光谱图像与全色图像之间空间与光谱分辨率的巨大差异，两者融合问题的病态性显著增强，造成图1(b)融合结果中存在严重的光谱失真现象；而本文提出的基于深度学习的FHMP融合方式,则能够有效解决上述问题，如图1(c)，该融合方式能够在保持精准的光谱分布情况下，利用网络提取全色图像与多光谱图像中的重要结构信息，并以参数学习的方式赋予一定比例后注入高光谱图像，保证了融合结果在光谱和空间项的高质量重构。
本发明是采用如下的技术方案实现的：一种基于深度神经网络的高光谱、多光谱与全色图像融合方法，包括以下步骤：
步骤1：数据准备，获取源图像并进行噪声波段滤除和数据拉伸，以高空间分辨率的高光谱图像HR-HSI作为训练集中的参考图像，同时制作最低空间分辨率的高光谱图像HSI，次低空间分辨率的多光谱图像MSI和最高空间分辨率的全色图像PAN组成的训练集输入数据；
步骤2：建立数据的物理联系，针对三者输入图像与目标输出图像间的映射关系构建目标函数：
X＝↑H+fM(hM(↑M))+fP(hP(P)) (1)
其中，X为融合图像，↑H，↑M分别表示将HSI与MSI空间上采样至融合图像同样大小尺寸，hM，hP表示MSI，PAN空间结构特征提取操作，fM，fP表示将MSI,PAN空间结构特征映射至HSI操作；
步骤3：网络设计与搭建，依据步骤2中的物理联系，构建包含3个模块的深度神经网络，其中，第一个模块对PAN和MSI进行高频结构特征信息提取，对应公式(1)中hM，hP；第二个模块将已获取的空间结构特征与HSI光谱特征进行融合，对应公式(1)中fM，fP；基于融合后的特征，第三个模块完成图像重构；
步骤4：网络训练与优化，网络加载步骤1中已处理的训练集，并通过参数前向传播得到网络在输入数据下的融合图像，根据加载对应的参考图像和设计的训练损失函数，计算两者间的损失值，并通过梯度反向传播优化算法更新网络参数，使得融合图像不断接近参考图像；参数优化过程持续迭代，直至网络训练达到预设迭代次数时终止，得到该参数状态下的融合模型；
步骤5：网络推理与测试，加载步骤4中训练后的融合模型，加载同步骤1相同处理流程的HSI,MSI和PAN数据作为融合模型的输入，此时仅通过网络模型的前向传播计算，即可得到最终的高空间分辨率的高光谱融合图像。
进一步的，步骤1的具体实现方式如下；
步骤1.1，确定参考图像HR-HSI与HSI的空间分辨率之间的倍值，对HR-HSI进行空间模糊与下采样处理，得到HIS；具体的，使用均值为0方差为2的8×8高斯卷积核进行模糊与空间下采样处理，下采样倍值即HR-HSI与HSI的空间分辨率之间的倍值；
步骤1.2，确定参考图像HR-HSI与MSI的空间分辨率之间的倍值，第一步，与步骤1.1的过程相同，对HR-HSI进行空间模糊与下采样，下采样倍值即HR-HSI与MSI的空间分辨率之间的倍值；第二步进行光谱下采样，依据各传感器固有的光谱响应曲线将高光谱段图像映射至R,G,B,近红外波段表示，得到MSI；
步骤1.3，依据传感器固有的光谱响应曲线，将参考图像HR-HSI映射至单波段全色图像表示，得到PAN。
进一步的，步骤3的具体实现方式如下；
步骤3.1，第一个模块由3个相同的MAE网络块串联而成，对PAN与MSI进行高频结构特征提取，使用非线性二三插值法将MSI空间上采样至PAN尺寸大小，然后将上采样后的MSI和PAN沿光谱维度方向拼接作为第一个模块的原始输入；每个MAE网络块按顺序包含了多尺度卷积层、光谱注意力计算单元、空间注意力机制计算单元；其中多尺度卷积层中的卷积层分别使用3×3，5×5，7×7大小的卷积核，加强特征提取；光谱注意力计算单元，采用沿光谱方向的最大池化层和平均池化层叠加，经过2个1×1的卷积层、1个ReLU激活函数层与1个Sigmoid激活函数层得到光谱注意力权重；空间注意力计算单元，采用沿特征平面的最大池化层和平均池化层叠加，经过1个5×5的卷积层与1个Sigmoid激活函数层得到空间注意力权重；第一个模块的末端是两个3×3的卷积层和ReLU激活函数层；
步骤3.2，第二个模块由两个并行网络构成，即空间特征网络流和光谱特征网络流，分别保存PAN,MSI空间特征和HSI光谱特征，所述空间特征网络流和光谱特征网络流的输入分别为第一个模块的输出和上采样后的HSI；两条网络流分支均包含多个3×3的卷积层和ReLU激活层的组合层，具体的，组合层之间采用密集连接架构，同时两条网络流内部每一组合层设有特征单向传递流向，完成不同域间的特征融合；并且空间特征网络流内的组合层输出同时会加载到光谱特征网络流内的下一个组合层输入端；最终得到光谱特征与空间结构特征融合后的特征信息，作为第三个模块的输入；
步骤3.3，第三个模块，即重构网络模块，采用两个卷积层和激活函数层组合，卷积核大小为3×3，激活函数为ReLU，输出为光谱分辨率和空间分辨率均与参考图像一致的融合图像。
进一步的，卷积运算、激活函数层ReLU和Sigmoid的具体计算公式如下；
公式(2)表示卷积运算过程，计算特征变换组合值，公式(3)，(4)分别表示激活函数ReLU，Sigmoid层的非线性激活值：
y＝Conv(x)＝W·x+b (2)
Sigmoid(y)＝1/(1+e-y) (4)
其中，W卷积层权重参数矩阵，b为卷积层偏置参数矩阵；y为卷积计算结果，激活函数作用于卷积层的计算输出，完成网络非线性表达。
进一步的，步骤4中损失函数可以表示为：
Lall＝L1+λ·LMS-SSIM (5)
λ为MS-SSIM损失与L1损失间的权衡参数，其中，
其中，为融合图像，X为参考图像，/>分别为M尺度下的亮度对比因子、j尺度下的对比度对比因子、j尺度下的结构项对比因子，上述三个对比因子的计算方法如下：
μ，σX，分别代表均值、方差和协方差，下标j代表分解的尺度，M代表最大的分解尺度，C1,C2,C3为极小的常数，αM,βj,γj均为常数。
与现有技术相比，本发明使用深度神经网络，解决了高光谱、多光谱与全色三者图像融合问题，能够在保证光谱不失真的情况下有效提升高光谱图像的空间分辨率和边缘质量，同时克服了其他方法存在的参数手动调整、认为假设先验等不足，在有效性、可移植性均优于其他方法。
附图说明
图1为不同融合方式的融合结果与参考图像，(a-c)分别为FHM,FHP,FHMP融合结果，(d)为参考图像；
图2为基于深度神经网络的多源遥感图像融合算法框图，由三个模块构成；
图3为本发明融合网络中第一个模块的细节结构图；
图4为本发明融合网络中第二，三个模块的细节结构图；
图5为几种对比方法在CAVE数据集上同一区域的结果对比图(第10,20,30个谱段)，其中(a)为GSA方法，(b)GLP方法，(c)HyperPNN方法，(d)本发明方法，(e)参考图像。
具体实施方式
下面结合附图和实施例对本发明的图像融合方法作进一步的说明。
本发明提供的一种基于深度神经网络的多源遥感图像融合方法，包括如下步骤：
步骤1：数据准备，获取源图像并进行噪声波段滤除和数据拉伸，以高空间分辨率的高光谱图像(HR-HSI)作为训练集中的参考图像，同时制作最低空间分辨率的高光谱图像HSI，次低空间分辨率的多光谱图像MSI和最高空间分辨率的全色图像PAN组成的训练集输入数据。
步骤2：建立数据的物理联系，针对三者输入图像与目标输出图像间的映射关系构建目标函数：
X＝↑H+fM(hM(↑M))+fP(hP(P)) (1)
其中，X为融合图像，↑H，↑M分别表示将HSI与MSI空间上采样至融合图像同样大小尺寸，hM，hP表示MSI，PAN高频结构特征提取操作，fM，fP表示MSI,PAN结构特征映射至HSI操作。
步骤3：网络设计与搭建，依据步骤2中的物理联系，构建包含3个模块的深度神经网络。其中，第一个模块对PAN和MSI进行高频信息提取，对应公式(1)中hM，hP；第二个模块将已获取的结构特征与HSI光谱特征进行融合，对应公式(1)中fM，fP；基于融合后的特征，第三个模块完成图像重构。
步骤4：网络训练与优化，网络加载步骤1中已处理的训练集，并通过参数前向传播得到网络在输入数据下的融合图像，根据加载对应的参考图像和设计的训练损失函数，计算两者间的损失值，并通过梯度反向传播优化算法更新网络参数，使得融合图像不断接近参考图像。参数优化过程持续迭代，直至网络训练达到预设迭代次数时终止，得到该参数状态下的融合模型。
步骤5：网络推理与测试，加载步骤4中训练后的模型，加载同步骤1相同处理流程的HSI,MSI和PAN数据作为模型输入，此时仅通过网络模型的前向传播计算，即可得到最终的高空间分辨率的高光谱融合图像。
进一步的，所述步骤1中，制作训练集中输入数据的具体设计如下：
步骤1.1：确定参考图像HR-HSI与HSI的空间分辨率之间的倍值，对HR-HSI进行空间模糊与下采样处理，得到HSI。具体的，使用均值为0方差为2的8×8高斯卷积核进行模糊与空间下采样处理，下采样倍值即HR-HSI与HSI的空间分辨率之间的倍值。
步骤1.2：确定参考图像HR-HSI与MSI的空间分辨率之间的倍值，第一步，同上步骤1.1，对HR-HSI进行空间模糊与下采样，下采样倍值即HR-HSI与MSI的空间分辨率之间的倍值；第二步进行光谱下采样，依据各传感器固有的光谱响应曲线将高光谱段图像映射至R,G,B,近红外等波段表示，得到MSI。
步骤1.3：依据传感器固有的光谱响应曲线，将参考图像HR-HSI映射至单波段全色图像表示，得到PAN。
进一步的，所述步骤3中的网络设计与搭建，具体涉及如下：
步骤3.1：第一个模块由3个相同的MAE网络块串联而成，对PAN与MSI进行空间特征提取。每个网络块按顺序包含了多尺度卷积计算、光谱和空间注意力机制计算。多尺度卷积同时使用3×3，5×5，7×7大小的卷积核，加强特征提取；注意力机制则是沿着光谱通道维度或特征平面维度进行全局池化和平均池化运算后，通过卷积和Sigmoid激活层操作得到相应的注意力权重并与输入特征完成点乘运算，捕捉重要信息；网络块的末端是2个3×3卷积和ReLU激活层组合，以及残差连接操作。
步骤3.2：第二个模块由两个并行网络构成，输入分别为第一个模块的输出和上采样后的HSI，分别保存PAN,MSI空间特征和HSI光谱特征。两并行网络架构相似，包含多个串联的3×3卷积与ReLU激活层组合，组合间采用密集连接方式，即输出作用于各组合的输入，输入来自于后端各组合的输出。同时并行网络内部每一组合层设有特征单向传递流向，完成不同域间的特征融合。
步骤3.3：第三个模块采用两个卷积层和激活函数层组合，卷积核大小为3×3，激活函数为ReLU，输出为光谱分辨率和空间分辨率均与参考图像一致的融合图像。
实施例如下：
如图2所示，本发明基于深度神经网络的高光谱，多光谱和全色图像融合方法，主要包括数据准备、网络模块的设计与搭建、网络的训练和推理测试，其具体步骤如下：
第一步：训练集数据处理，高光谱源图像来自于开源CAVE数据集、机载卫星Chikusei数据集和中国遥感卫星GF5数据集。对高光谱源图像(HR-HSI)进行必要的噪声波段滤除和数据拉伸处理，作为训练参考图像，同时按既定仿真规则准备对应的HSI、MSI与PAN输入数据组。
其中，仿真HSI与MSI数据时空间退化操作采用8×8高斯模糊核与下采样，下采样倍率依数据集而不同，三者数据集下分别为32与4、15与5、16与4；仿真PAN与MSI数据时光谱退化操作采用对应传感器的光谱响应曲线特性。最后，将训练数据组合分别进行滑动窗口切块，拼接之后得到符合网络训练输入格式的训练数据块。
第二步：网络模块的设计与搭建，本发明中的网络由3个模块串联而成，分别完成PAN与MSI空间结构特征提取、空间结构特征与HSI光谱特征融合、融合图像重构。具体的前向传播计算过程如下：
(1)使用非线性二三插值法将MSI空间上采样至PAN尺寸大小，然后将上采样后的MSI和PAN沿光谱维度方向拼接作为特征提取子模块的原始输入。经过三个相同的MAE网络块，每个网络块包含：一个多尺度卷积层，采用卷积核大小为3×3，5×5，7×7；一个光谱注意力计算单元，采用沿光谱方向的最大池化层和平均池化层叠加，经过2个1×1的卷积层、1个ReLU激活函数层与1个Sigmoid激活函数层得到光谱注意力权重；一个空间注意力计算单元，采用沿特征平面的最大池化层和平均池化层叠加，经过1个5×5的卷积层与1个Sigmoid激活函数层得到空间注意力权重；以及最后两个3×3的卷积层和ReLU激活层。使用该网络模块，最终得到PAN与MSI的空间结构特征。
(2)将已获得的空间结构特征和上采样至PAN尺寸大小的HSI图像同时作为第二个特征融合模块的输入，送入并行网络，所述并行网络包括空间特征网络流和光谱特征网络流。两条网络流分支均包含多个3×3的卷积层和ReLU激活层的组合层，具体的，组合层之间采用密集连接架构，即输出作用于各组合的输入，输入来自于后端各组合的输出，同时并行网络内部每一组合层设有特征单向传递流向，完成不同域间的特征融合，并且空间特征网络流内的组合层输出同时会加载到光谱特征网络流内的下一个组合层输入端。最终得到光谱特征与空间结构特征融合后的特征信息，作为重构网络模块的输入。
(3)最后，经过重构网络模块内的两个3×3的卷积层和ReLU激活层的组合层，特征融合输出的多维特征被还原到融合图像，其光谱与空间分辨率均与参考图像一致。其中，公式(2)表示卷积运算过程，计算特征变换组合值，公式(3)，(4)分别表示激活函数ReLU，Sigmoid层的非线性激活值：
y＝Conv(x)＝W·x+b (2)
Sigmoid(y)＝1/(1+e-y) (4)
其中，W卷积层权重参数矩阵，b为卷积层偏置参数矩阵；y为卷积计算结果。通常激活函数作用于卷积层的计算输出，完成网络非线性表达。
第三步：网络参数的训练与优化，网络加载第一步中处理好的HSI,MSI,PAN和HR-HSI训练数据块，根据多尺度结构相似性项(MS-SSIM)与绝对值误差项(L1)组成的训练损失函数，通过梯度反向传播优化算法更新网络参数，减少误差，使得融合图像不断接近参考图像。参数优化过程持续迭代，直至网络训练达到预设迭代次数时终止，得到该参数状态下的融合模型。其中，损失函数可以表示为：
Lall＝L1+λ·LMS-SSIM (5)
λ为MS-SSIM损失与L1损失间的权衡参数。其中，
其中，为融合图像，X为参考图像，/>分别为M尺度下的亮度对比因子、j尺度下的对比度对比因子、j尺度下的结构项对比因子，上述三个对比因子的计算方法如下：
μ，σX，分别代表均值、方差和协方差，下标j代表分解的尺度，M代表最大的分解尺度，C1,C2,C3为极小的常数，αM,βj,γj均为常数。
第四步，训练模型的推理与测试，类似第一步，对测试图像进行预处理。测试图片大小依数据集而定，其中CAVE数据中PAN大小为512×512，Chikusei数据中PAN大小为375×375，GF5数据中PAN大小为480×480。HSI,MSI,PAN之间空间分辨率差异与第一步训练数据参数一致。测试数据经训练模型的网络参数前向传播，分别经过空间结构特征提取、空间特征与光谱特征融合、融合图像重构后，模型即可输出最终的高空间分辨率的高光谱融合图像
如下表1所示，测试阶段给出了本发明与其他10种高光谱图像融合方法在在CAVE数据集上的对比实验结果。其中，红色与蓝色标记分别表示最优和次优结果，由7个评价指标(RMSE,ERGAS,SAM,UIQI,MSSIM,DD,CC)比较可得，本发明(表中以HyperNet表示)量化评价性能均优于其他方法，反映出融合方法的有效性。
表1不同方法在CAVE数据集上的对比实验结果
| Method | RMSE | ERGAS | SAM | UIQI | MSSIM | DD | CC |
| GSA[R9] | 22.72 | 2.14 | 23.54 | 0.47 | 0.69 | 14.23 | 0.90 |
| GLP[R10] | 26.31 | 2.49 | 19.57 | 0.46 | 0.71 | 14.84 | 0.87 |
| HyperPNN[R11] | 12.93 | 1.33 | 13.17 | 0.67 | 0.90 | 7.16 | 0.95 |
| 本发明方法 | 4.70 | 0.45 | 7.14 | 0.81 | 0.96 | 2.72 | 0.99 |
| 理论最优值 | 0 | 0 | 0 | 1 | 1 | 0 | 1 |
视觉比较方面，本发明在CAVE数据集上的融合结果如图5所示。对比参考图像，本发明的融合图像的光谱和空间质量均取得了最优的效果，体现出了本发明的优越性能。
本发明设计了一种基于深度神经网络的高光谱、多光谱和全色图像融合方法，通过在CAVE仿真数据集上与其他先进的融合方法公开比较，实验结果显示本发明的量化指标和主观视觉效果均优于其他方法，有效证明了本发明的可行性和优越性。
相关参考文献如下：
[R1]B.Huang,H.Song,H.Cui,J.Peng,Z.Xu,Spatial and spectral imagefusion using sparse matrix factorization,IEEE Transactions on Geoscience andRemote Sensing 52(3)(2013)1693-1704.
[R2]N.Akhtar,F.Shafait,A.Mian,Sparse spatio-spectral representationfor hyperspectral image super-resolution,in:European conference on computervision,Springer,2014,pp.63-78.
[R3]Q.Wei,J.Bioucas-Dias,N.Dobigeon,J.-Y.Tourneret,Hyperspectral andmultispectral image fusion based on a sparse representation,IEEE Transactionson Geoscience and Remote Sensing 53(7)(2015)3658-3668.
[R4]R.Dian,L.Fang,S.Li,Hyperspectral image super-resolution vianonlocal sparse tensor factorization,in:Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,2017,pp.5344-5353.
[R5]Y.Xu,Z.Wu,J.Chanussot,Z.Wei,Nonlocal patch tensor sparserepresentation for hyperspectral image super-resolution,IEEE Transactions onImage Processing 28(6)(2019)3034-3047.
[R6]Dian R,Li S,Sun B,et al.Recent Advances and New Guidelines onHyperspectral and Multispectral Image Fusion[J].2020.
[R7]Y.Zheng,J.Li,Y.Li,J.Guo,X.Wu,J.Chanussot,Hyperspectralpansharpening using deep prior and dual attention residual network,IEEETransactions on Geoscience and Remote Sensing 58(11)(2020)8059-8076.
[R8]R.Arablouei,Fusing multiple multiband images,Journal of Imaging 4(10)(2018)118.
[R9]B.Aiazzi,S.Baronti,M.Selva,Improving component substitutionpansharpening through multivariate regression of MS+Pan data,IEEETransactions on Geoscience and Remote Sensing 45(10)(2007)3230-3239.
[R10]B.Aiazzi,L.Alparone,S.Baronti,A.Garzelli,M.Selva,MTF-tailoredmultiscale fusion of high-resolution MS and Pan imagery,PhotogrammetricEngineering&Remote Sensing 72(5)(2006)591-596.
[R11]L.He,J.Zhu,J.Li,A.Plaza,J.Chanussot,B.Li,HyperPNN:Hyperspectralpansharpening via spectrally predictive convolutional neural networks,IEEEJournal of Selected Topics in Applied Earth Observations and Remote Sensing12(8)(2019)3092-3100.
Claims (5)
1.一种基于深度神经网络的多源遥感图像融合方法，其特征在于，包括如下步骤：
步骤1：数据准备，获取源图像并进行噪声波段滤除和数据拉伸，以高空间分辨率的高光谱图像HR-HSI作为训练集中的参考图像，同时制作最低空间分辨率的高光谱图像HSI，次低空间分辨率的多光谱图像MSI和最高空间分辨率的全色图像PAN组成的训练集输入数据；
步骤2：建立数据的物理联系，针对三者输入图像与目标输出图像间的映射关系构建目标函数：
X＝↑H+fM(hM(↑M))+fP(hP(P)) (1)
其中，X为融合图像，↑H，↑M分别表示将HSI与MSI空间上采样至融合图像同样大小尺寸，hM，hP表示MSI，PAN空间结构特征提取操作，fM，fP表示将MSI,PAN空间结构特征映射至HSI操作；
步骤3：网络设计与搭建，依据步骤2中的物理联系，构建包含3个模块的深度神经网络，其中，第一个模块对PAN和MSI进行高频结构特征信息提取，对应公式(1)中hM，hP；第二个模块将已获取的空间结构特征与HSI光谱特征进行融合，对应公式(1)中fM，fP；基于融合后的特征，第三个模块完成图像重构；
步骤4：网络训练与优化，网络加载步骤1中已处理的训练集，并通过参数前向传播得到网络在输入数据下的融合图像，根据加载对应的参考图像和设计的训练损失函数，计算两者间的损失值，并通过梯度反向传播优化算法更新网络参数，使得融合图像不断接近参考图像；参数优化过程持续迭代，直至网络训练达到预设迭代次数时终止，得到该参数状态下的融合模型；
步骤5：网络推理与测试，加载步骤4中训练后的融合模型，加载同步骤1相同处理流程的HSI,MSI和PAN数据作为融合模型的输入，此时仅通过网络模型的前向传播计算，即可得到最终的高空间分辨率的高光谱融合图像。
2.如权利要求1所述的一种基于深度神经网络的多源遥感图像融合方法，其特征在于：步骤1的具体实现方式如下；
步骤1.1，确定参考图像HR-HSI与HSI的空间分辨率之间的倍值，对HR-HSI进行空间模糊与下采样处理，得到HIS；具体的，使用均值为0方差为2的8×8高斯卷积核进行模糊与空间下采样处理，下采样倍值即HR-HSI与HSI的空间分辨率之间的倍值；
步骤1.2，确定参考图像HR-HSI与MSI的空间分辨率之间的倍值，第一步，与步骤1.1的过程相同，对HR-HSI进行空间模糊与下采样，下采样倍值即HR-HSI与MSI的空间分辨率之间的倍值；第二步进行光谱下采样，依据各传感器固有的光谱响应曲线将高光谱段图像映射至R,G,B,近红外波段表示，得到MSI；
步骤1.3，依据传感器固有的光谱响应曲线，将参考图像HR-HSI映射至单波段全色图像表示，得到PAN。
3.如权利要求1所述的一种基于深度神经网络的多源遥感图像融合方法，其特征在于：步骤3的具体实现方式如下；
步骤3.1，第一个模块由3个相同的MAE网络块串联而成，对PAN与MSI进行高频结构特征提取，使用非线性二三插值法将MSI空间上采样至PAN尺寸大小，然后将上采样后的MSI和PAN沿光谱维度方向拼接作为第一个模块的原始输入；每个MAE网络块按顺序包含了多尺度卷积层、光谱注意力计算单元、空间注意力机制计算单元；其中多尺度卷积层中的卷积层分别使用3×3，5×5，7×7大小的卷积核，加强特征提取；光谱注意力计算单元，采用沿光谱方向的最大池化层和平均池化层叠加，经过2个1×1的卷积层、1个ReLU激活函数层与1个Sigmoid激活函数层得到光谱注意力权重；空间注意力计算单元，采用沿特征平面的最大池化层和平均池化层叠加，经过1个5×5的卷积层与1个Sigmoid激活函数层得到空间注意力权重；第一个模块的末端是两个3×3的卷积层和ReLU激活函数层；
步骤3.2，第二个模块由两个并行网络构成，即空间特征网络流和光谱特征网络流，分别保存PAN,MSI空间特征和HSI光谱特征，所述空间特征网络流和光谱特征网络流的输入分别为第一个模块的输出和上采样后的HSI；两条网络流分支均包含多个3×3的卷积层和ReLU激活层的组合层，具体的，组合层之间采用密集连接架构，同时两条网络流内部每一组合层设有特征单向传递流向，完成不同域间的特征融合；并且空间特征网络流内的组合层输出同时会加载到光谱特征网络流内的下一个组合层输入端；最终得到光谱特征与空间结构特征融合后的特征信息，作为第三个模块的输入；
步骤3.3，第三个模块，即重构网络模块，采用两个卷积层和激活函数层组合，卷积核大小为3×3，激活函数为ReLU，输出为光谱分辨率和空间分辨率均与参考图像一致的融合图像。
4.如权利要求1所述的一种基于深度神经网络的多源遥感图像融合方法，其特征在于：卷积运算、激活函数层ReLU和Sigmoid的具体计算公式如下；
公式(2)表示卷积运算过程，计算特征变换组合值，公式(3)，(4)分别表示激活函数ReLU，Sigmoid层的非线性激活值：
y＝Conv(x)＝W·x+b (2)
Sigmoid(y)＝1/(1+e-y) (4)
其中，W卷积层权重参数矩阵，b为卷积层偏置参数矩阵；y为卷积计算结果，激活函数作用于卷积层的计算输出，完成网络非线性表达。
5.如权利要求1所述的一种基于深度神经网络的多源遥感图像融合方法，其特征在于：步骤4中损失函数可以表示为：
Lall＝L1+λ·LMS-SSIM (5)
λ为多尺度结构相似性项MS-SSIM损失与绝对值误差项L1损失间的权衡参数，其中，
其中，为融合图像，X为参考图像，/>分别为M尺度下的亮度对比因子、j尺度下的对比度对比因子、j尺度下的结构项对比因子，上述三个对比因子的计算方法如下：
μ，σX，分别代表均值、方差和协方差，下标j代表分解的尺度，M代表最大的分解尺度，C1,C2,C3为极小的常数，αM,βj,γj均为常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111430982.4A CN114119444B (zh) | 2021-11-29 | 2021-11-29 | 一种基于深度神经网络的多源遥感图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111430982.4A CN114119444B (zh) | 2021-11-29 | 2021-11-29 | 一种基于深度神经网络的多源遥感图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114119444A CN114119444A (zh) | 2022-03-01 |
| CN114119444B true CN114119444B (zh) | 2024-04-16 |
Family
ID=80371113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111430982.4A Active CN114119444B (zh) | 2021-11-29 | 2021-11-29 | 一种基于深度神经网络的多源遥感图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119444B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657196A (zh) * | 2021-07-27 | 2021-11-16 | 中国科学院自动化研究所 | Sar图像目标检测方法、装置、电子设备和存储介质 |
| CN114663301B (zh) * | 2022-03-05 | 2024-03-08 | 西北工业大学 | 一种基于小波层的卷积神经网络全色锐化方法 |
| CN114862731B (zh) * | 2022-03-29 | 2024-04-16 | 武汉大学 | 低秩先验与空谱信息引导的多-高光谱影像融合方法 |
| CN114511470B (zh) * | 2022-04-06 | 2022-07-08 | 中国科学院深圳先进技术研究院 | 一种基于注意力机制的双分支全色锐化方法 |
| CN115546600B (zh) * | 2022-11-10 | 2024-01-02 | 齐齐哈尔大学 | 基于Lush多层特征融合偏置网络的地物识别方法 |
| CN115861083B (zh) * | 2023-03-03 | 2023-05-16 | 吉林大学 | 一种多尺度和全局特征的高光谱与多光谱遥感融合方法 |
| CN116030311B (zh) * | 2023-03-29 | 2023-06-16 | 山东省海洋资源与环境研究院(山东省海洋环境监测中心、山东省水产品质量检验中心) | 一种基于多源遥感数据的湿地分类方法和电子设备 |
| CN117726916B (zh) * | 2024-02-18 | 2024-04-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018137103A1 (zh) * | 2017-01-24 | 2018-08-02 | 深圳企管加企业服务有限公司 | 一种基于多源遥感数据的流域污染检测方法及系统 |
| CN108876754A (zh) * | 2018-05-31 | 2018-11-23 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的遥感图像缺失数据重建方法 |
| CN109993220A (zh) * | 2019-03-23 | 2019-07-09 | 西安电子科技大学 | 基于双路注意力融合神经网络的多源遥感图像分类方法 |
| CN112634137A (zh) * | 2020-12-28 | 2021-04-09 | 西安电子科技大学 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
-
2021
- 2021-11-29 CN CN202111430982.4A patent/CN114119444B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018137103A1 (zh) * | 2017-01-24 | 2018-08-02 | 深圳企管加企业服务有限公司 | 一种基于多源遥感数据的流域污染检测方法及系统 |
| CN108876754A (zh) * | 2018-05-31 | 2018-11-23 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的遥感图像缺失数据重建方法 |
| CN109993220A (zh) * | 2019-03-23 | 2019-07-09 | 西安电子科技大学 | 基于双路注意力融合神经网络的多源遥感图像分类方法 |
| CN112634137A (zh) * | 2020-12-28 | 2021-04-09 | 西安电子科技大学 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114119444A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| Molini et al. | Deepsum: Deep neural network for super-resolution of unregistered multitemporal images | |
| Jiang et al. | Learning spatial-spectral prior for super-resolution of hyperspectral imagery | |
| CN110428387B (zh) | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 | |
| Li et al. | Hyperspectral image super-resolution using deep convolutional neural network | |
| Wang et al. | High-quality Bayesian pansharpening | |
| CN111080567B (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| Qu et al. | A dual-branch detail extraction network for hyperspectral pansharpening | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| Keshk et al. | Satellite super-resolution images depending on deep learning methods: a comparative study | |
| Liu et al. | An efficient residual learning neural network for hyperspectral image superresolution | |
| Li et al. | HyperNet: A deep network for hyperspectral, multispectral, and panchromatic image fusion | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| Ma et al. | Explicit and stepwise models for spatiotemporal fusion of remote sensing images with deep neural networks | |
| CN117252761A (zh) | 一种跨传感器遥感图像超分辨率增强方法 | |
| Xiong et al. | Gradient boosting for single image super-resolution | |
| Qu et al. | An interpretable unsupervised unrolling network for hyperspectral pansharpening | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| Shi et al. | A pansharpening method based on hybrid-scale estimation of injection gains | |
| CN114140359B (zh) | 一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法 | |
| Zhang et al. | Considering Nonoverlapped Bands Construction: A General Dictionary Learning Framework for Hyperspectral and Multispectral Image Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |