CN110428387B - 基于深度学习与矩阵分解的高光谱与全色图像融合方法 - Google Patents

Abstract

本发明公开了一种基于深度学习与矩阵分解的高光谱与全色图像融合方法，主要解决现有高光谱与全色图像融合方法空间信息提升不足和光谱信息损失过多的缺陷。其实现步骤为：①对高光谱图像数据集进行预处理，得到训练数据，②构建高频信息卷积网络并用训练数据对其训练；③输入待融合的高光谱图像和全色图像，通过LapSRN网络对高光谱图像超分辨，通过高频信息卷积网络获取全色图像的高频细节；④将全色图像作为引导图，并通过引导滤波增强超分辨高光谱图像边界信息；⑤结合先验图像构造融合优化方程，并求解该优化方程，得到输出的融合图像。本发明降低了对光谱信息的损失，提高了图像的空间信息，适用于任意场景下高光谱与全色图像的融合。

Description

基于深度学习与矩阵分解的高光谱与全色图像融合方法

技术领域

本发明属于图像处理技术领域，特别涉及一种高光谱与全色图像融合，得到的空间分辨率提高、空谱信息丰富的高质量高光谱融合图像，可用于遥感影像精确分类与目标检测。

背景技术

在光学遥感系统的设计过程中，由于入射光能量的限制，不同传感器获得的遥感数据在光谱分辨率、空间分辨率与信噪比之间存在一定的制衡关系。一般的遥感系统产生的高光谱分辨率图像往往具有较低的空间分辨率，产生的高空间分辨率图像又会缺少光谱信息，无法得到符合应用于遥感影像目标检测或分类等问题要求的高空间分辨率、高光谱分辨率的遥感影像数据。因此，通过融合高空间分辨率的全色图像增强高光谱图像的空间信息十分必要。

目前的卫星传感技术可以获得相同季节和近似大气与照明情况下的全色图像与多光谱图像，这为遥感图像融合技术提供了基础。在不损失高光谱图像光谱信息的同时应用全色图像融合提高图像的空间信息具有很大的挑战性。高光谱与全色图像融合通常分为考虑多分辨率分析的成分替代、贝叶斯稀疏模型与光谱分离因式分解的最优化问题三种方法。

基于多分辨率分析与成分替代的融合算法，主要应用全色图像的空间信息替换经双三次线性插值后的高光谱图像的部分成分或将全色图像的空间细节信息经特定操作附加到插值图像中。例如，Aiazzi B等人在文献“Aiazzi B,Baronti S,Selva M.ImprovingComponent Substitution Pansharpening Through Multivariate Regression of MS+Pan Data.IEEE Transactions on Geoscience&Remote Sensing,2007,45(10):3230-3239.”中提出的基于多元回归增强的成分替代高光谱全色图像融合算法GSA，该算法通过多元回归最小化谱间覆盖与全色图像之间的均方误差来附加全色图像中的成分信息。附加全色图像高频细节信息的算法有Aiazzi B等人在文献“Aiazzi B,Alparone L,Baronti S,et al.MTF-tailored Multiscale Fusion of High-resolution MS and PanImagery.Photogrammetric Engineering&Remote Sensing,2015,72(5):591-596.”中提出的拉普拉斯金字塔多尺度融合算法GLP，该算法使用高斯金字塔与拉普拉斯金字塔对全色图像进行锐化，设计低通滤波器获取全色图像的高频细节。该类算法主要通过对全色图像进行尺度变换、对高光谱图像进行成分分析，对插值后的高光谱图像进行空间信息的补充。由于插值算法本来对高光谱图像的光谱信息就有损失，后续步骤对光谱信息又没有约束，因此融合结果会存在光谱失真。

基于贝叶斯稀疏模型的融合算法，是将参考图像映射到低纬子空间，根据高光谱图像的先验信息分布，通过点扩散矩阵PSF以及传感器响应函数SRF构造优化方程得到最大后验概率下的重构图像作为融合结果。基于贝叶斯模型的融合方法的关键在于寻找一种先验分布来规则化优化问题。例如，

M等人在文献“

M,Bioucas-Dias J,AlmeidaL B,et al.A Convex Formulation for Hyperspectral Image Superresolution viaSubspace-Based Regularization.IEEE Transactions on Geoscience&Remote Sensing,2015,53(6):3373-3388.”中提出的通过子空间重建的高光谱图像超分辨率算法HySure，作者提出一种从输入高光谱图像与全色图像中估算PSF与SRF的方法，该估计方法无须提前预知PSF与SRF，泛化性更强。此外，他们采用稀疏表示的水平和垂直离散度作为不同先验信息的处罚约束。这类基于贝叶斯稀疏模型的融合算法的不足在于需要寻找复杂的先验信息来规则化优化问题，且优化方程求解十分复杂。

基于光谱分离与因式分解的融合算法，是通过估计稀疏字典重构出图像或通过矩阵因式分解或张量因式分解将融合问题转化为联合优化锐化图像与全色图像、锐化图像与低分辨率高光谱图像的距离。其中，Yokoya N等人在文献“Yokoya N,Yairi T,IwasakiA.Coupled Nonnegative Matrix Factorization Unmixing for Hyperspectral andMultispectral Data Fusion.IEEE Transactions on Geoscience&Remote Sensing,2012,50(2):528-537.”中提出基于耦合非负矩阵分解的融合算法CNMF，该算法通过非负矩阵分解，融合多光谱图像丰度与高光谱图像的端元信息。面对复杂的高光谱数据与范数优化方程，近年来许多学者采用Sylvester方程进行优化方程快速求解。Wei Q等人在文献“Wei Q,Dobigeon N,Tourneret J Y.Fast Fusion of Multi-Band Images Based onSolving a Sylvester Equation.IEEE Signal Processing Letters,2016,23(11):1632-1636.”提出了一种应用Sylvester方程快速求解优化方程的融合算法FUSE，该算法构造将优化方程传化为Sylvester方程，并设计了快速求解过程。这类基于光谱分离与因式分解的融合算法虽然能降低稀疏字典与Sylvester方程的求解复杂度，但依然存在依赖于选取高光谱图像复杂的先验信息的不足。

综上所述，现有的高光谱与全色图像融合算法所获得的融合图像对空间信息的提升过少，对光谱信息的损失过多，不能达到满意的效果。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于深度学习与矩阵分解的高光谱与全色图像融合方法，以减小高光谱图像的光谱信息损失，并提高高光谱图像的空间分辨率与空间信息，为遥感影像研究提供更精确的图像。

实现本发明的技术方案是：获取公开的高分辨率高光谱图像数据，通过预处理生成训练图像；构建并训练高频信息深度卷积网络HFnet；输入相同场景下待融合的低空间分辨率的高光谱图像和高空间分辨率的全色图像，通过LapSRN超分辨网络对待融合的低空间分辨率的高光谱图像进行映射，得到超分辨的高光谱图像；采用引导滤波增强超分辨的高光谱图像的边缘特征；通过训练好的高频信息深度卷积网络HFnet，学习得到高频细节图像；将高频细节图像加至边缘特征增强的高光谱图像上，得到先验图像；构造优化方程融合低空间分辨率的高光谱图像、全色图像和先验图像，进一步提高空间信息并对光谱信息进行补偿；最后，求解优化方程，得到空间分辨率提高、空谱信息丰富的高质量高光谱融合图像，其实现步骤包括如下：

(1)获取公开的高分辨率高光谱图像数据，进行预处理：

(1a)获取公开的高分辨率高光谱图像数据X，通过采样生成低空间分辨率的高光谱训练图像Y_t和全色训练图像Z_t；

(1b)应用单一图像超分辨网络LapSRN对训练图像Y_t进行映射，得到映射后的高光谱训练图像X_t；

(2)构建用于提取全色图像的高频细节信息的高频信息深度卷积网络HFnet，并进行训练：

(2a)基于ResNet深度卷积神经网络框架搭建包括8层残差网络的高频信息深度卷积网络HFnet；每层卷积核的大小为3x3，前7层以线性函数ReLU为激活函数，最后一层无激活函数；每两个卷积层之间跳跃连接形成残差结构；

(2b)以高分辨率的高光谱图像X为标签图像，分别从空间尺寸和通道个数上对全色训练图像Z_t、映射后的高光谱训练图像X_t和高分辨率的高光谱图像X进行裁剪，得到训练数据集；

(2c)通过高通滤波器提取训练数据集中高光谱图像与全色图像的高频信息，并在图像的通道维度上进行拼接，得到高频训练图像；

(2d)设学习率为1×10^-5，定义损失函数为：

其中，

表示F范数运算；Xⁱ为标签图像的第i个波段图像，

为附加了网络学习得到的高频信息后的高光谱训练图像的第i个波段图像，i∈[1,m_λ]，m_λ为高光谱图像的总波段；

(2e)将高频训练图像输入到高频信息深度卷积网络HFnet中，利用损失函数进行训练，并采用梯度下降法更新网络参数，当损失函数loss收敛时或训练步数大于设定步数时停止训练，得到训练好的高频信息深度卷积网络HFnet，其中步数的设置是根据预计的训练时间设置，其为一固定值。

(3)输入相同场景下待融合的低空间分辨率的高光谱图像Y和全色图像Z；应用单一图像超分辨网络LapSRN对待融合的低空间分辨率的高光谱图像Y进行映射，得到映射后超分辨的高光谱图像X_s；

(4)将超分辨的高光谱图像X_s与待融合的全色图像Z输入到训练好的高频信息深度卷积网络HFnet中，获取网络输出的高频细节图像X_r；

(5)以全色图像Z为导向图，对超分辨后的高光谱图像X_s的每个波段图像进行引导滤波，在保持空间分辨率的前提下得到边缘特征增强的高光谱图像X_g；

(6)将高频细节图像X_r加至边缘特征增强的高光谱图像X_g，得到先验高光谱图像X_h；

(7)将全色图像Z的空间信息，低分辨率高光谱图像Y的光谱信息与先验高光谱图像X_h的空谱信息进行融合，得到如下优化方程：

其中，B为传感器的点扩散函数，R为传感器的光谱响应，S表示下采样操作，为已知先验信息；X_f为输出的高光谱融合图像，α为约束因子，取值为3×10^-3，

表示F范数运算；

(8)求解优化方程，得到输出的高光谱融合图像X_f。

本发明与现有技术相比，具有如下优点：

1.本发明采用LapSRN超分辨网络对高光谱图像进行上采样，与现有技术中采用的双立方次插值方法相比，光谱损失大大减小；

2.本发明构建并训练高频信息深度卷积网络HFnet，利用该网络获取高频细节信息；与设计高通滤波器获取高频细节信息的现有技术相比，不需要设计高通滤波器与调参，获得的高频细节信息包含谱间增益，信息更丰富；

3.本发明直接以全色图像为导向图，对高光谱图像进行引导滤波，增强了高光谱图像的边缘特征增强，现有技术忽略了边缘特征增强；

4.本发明通过构造优化方程，对全色图像的空间信息，低分辨率高光谱图像的光谱信息与经处理得到的先验高光谱图像的空谱信息进行融合，与现有技术中引入复杂的先验信息进行规则化所构造的优化方程相比，求解复杂度与计算量大大减少；

附图说明

图1是本发明的实现流程图；

图2是本发明中低分辨率高光谱图像超分辨网络LapSRN结构图；

图3是本发明中用于获取高频信息的深度卷积网络HFnet结构图；

图4是本发明中待融合的两组低分辨率高光谱图像与同场景的全色图像；

图5是用本发明与现有的五种融合方法对图4中两组低分辨率高光谱图像进行上采样后的光谱角映射图；

图6是用本发明与现有的五种融合方法对图4中第一组低分辨率高光谱图像与同场景的全色图像融合结果的伪彩色图；

图7是用本发明与现有的五种融合方法对图4中第二组低分辨率高光谱图像与同场景的全色图像融合结果的伪彩色图。

具体实施方式

参照图1，本发明一种基于深度学习与矩阵因式分解的高光谱图像融合方法，包括三个阶段:图像预处理、构建并训练高频信息深度卷积网络、高光谱与全色图像融合，具体实现如下：

步骤1：图像预处理。

1.1)生成训练图像：

1.1.1)获取公开的高分辨率高光谱图像数据

其中，m_λ为高分辨率高光谱图像X的波段数，n＝W×H为高光谱图像X单波段像素点个数，W、H分别表示每个波段的长和宽；

1.1.2)通过空间下采样生成低空间分辨率的高光谱训练图像Y_t：

Y_t＝XBS，

其中，

表示传感器的点扩散函数，

表示四倍下采样，均为已知先验信息；

d为低分辨率高光谱图像Y_t与高分辨率高光谱图像X之间的空间尺度比例，n/d²＝W/d×H/d为低分辨高光谱图像Y_t单波段像素点个数，W/d、H/d分别为每个波段的长和宽；

1.1.3)通过光谱采样生成全色的训练图像Z_t:

Z_t＝RX，

其中，

为传感器的光谱响应函数，为已知先验信息，

1.2)应用单一图像超分辨网络LapSRN对训练图像Y_t进行映射，得到映射后的高光谱训练图像X_t。

步骤2：构建高频信息深度卷积网络，并对其进行训练。

2.1)构建高频信息深度卷积网络HFnet：

基于ResNet深度卷积神经网络框架搭建包括8层残差网络的高频信息深度卷积网络HFnet；每层卷积核的大小为3x3，且前7层以线性函数ReLU为激活函数，最后一层为无激活函数；每两个卷积层之间跳跃连接形成残差结构；

2.2)训练高频信息深度卷积网络HFnet：

2.2.1)以高分辨率的高光谱图像X为标签，分别从空间尺寸和通道个数上对全色的训练图像Z_t、映射后的高光谱训练图像X_t和高分辨率的高光谱图像X进行裁剪，得到训练数据集；

2.2.2)通过高通滤波器提取训练数据集中高光谱图像与全色图像的高频信息，并在图像的通道维度上进行拼接，得到高频训练图像；

2.2.3)设学习率为1×10^-5，定义损失函数为：

其中，

表示F范数运算；Xⁱ为标签图像的第i个波段图像，

为附加了网络学习得到的高频信息后的高光谱训练图像的第i个波段图像，i∈[1,m_λ]，m_λ为高光谱图像的总波段数；

表示F范数运算；

2.2.4)将高频训练图像输入到高频信息深度卷积网络HFnet中，利用损失函数进行训练，并采用梯度下降法更新网络参数，当损失函数loss收敛时或训练步数大于设定步数时停止训练，得到训练好的高频信息深度卷积网络HFnet，其中步数的设置是根据预计的训练时间设置，其为一固定值。

步骤3：高光谱与全色图像融合。

3.1)对低空间分辨率高光谱图像进行超分辨：

参照图2，低分辨率高光谱图像超分辨网络LapSRN，其为包含不同大小卷积核的卷积神经网络，相同大小的卷积核表示进行特征重构操作，大小变化的卷积核表示进行图像上采样操作。

本步骤的具体实现如下:

3.1.1)输入相同场景下待融合的低空间分辨率的高光谱图像Y和全色图像Z；

3.1.2)应用图像超分辨网络LapSRN对待融合的低空间分辨率的高光谱图像Y进行映射，得到映射后超分辨的高光谱图像X_s：

X_s＝LapSRN(Y)，

其中，LapSRN(·)表示LapSRN超分辨网络；

3.2)获取高频细节信息：

参照图3，高频信息深度卷积网络HFnet，包含高通滤波与8层残差网络，其中高通滤波用于提取图像高频分量，8层残差网络用于学习图像的高频细节信息。

获取高频细节信息就是将超分辨后的图像X_s与全色图像Z输入到训练好的高频信息深度卷积网络HFnet中，获取网络输出的高频细节图像X_r：

X_r＝HFnet(X_s,Z)，

其中，HFnet(·)表示高频信息深度卷积网络HFnet；

3.3)对超分辨后的高光谱图像进行引导滤波与细节信息补充：

3.3.1)对全色图像Z和超分辨后高光谱图像X_s的每个波段图像进行均值滤波:

mean_Z＝f_mean(Z)，

其中，

表示超分辨后的高光谱图像X_s的第l个波段图像，l∈[1,m_λ],m_λ为高光谱图像的波段数；mean_Z为全色图像Z的均值矩阵，

为第l个波段图像

的均值矩阵；f_mean(·)为窗口大小为5的均值滤波器；

3.3.2)计算全色图像Z的方差和全色图像Z与单波段图像

的协方差：

var_Z＝f_mean(Z·Z)-mean_Z·mean_Z，

其中var_Z为全色图像Z的方差矩阵，

为全色图像Z与第l个波段图像

的协方差矩阵，·表示矩阵点乘运算；

3.3.3)根据3.3.2)计算的结果，得到对应于每个波段图像

的系数矩阵a^l和像素矩阵b^l：

其中，ε＝2×10^-16，·/表示矩阵点除运算；

3.3.4)以全色图像Z为导向图，对每个波段图像

进行引导滤波，得到引导滤波后边缘特征增强的每个波段高光谱图像

3.3.5)将(3.3.4)得到的边缘特征增强的每个波段高光谱图像

组合，得到引导滤波后边缘特征增强的高光谱图像X_g：

其中，Cat(·)表示将

在通道维进行拼接；

3.4)将通过高频信息深度卷积网络HFnet获取的高频细节X_r加至引导滤波后边缘特征增强的高光谱图像X_g，得到先验高光谱图像X_h：

X_h＝X_g+X_r；

3.5)构造矩阵优化方程，对图像进行融合：

3.5.1)将全色图像Z的空间信息，低分辨率高光谱图像Y的光谱信息与先验高光谱图像X_h的空谱信息进行融合，得到如下优化方程：

其中，X_f为输出的高光谱融合图像，α为约束因子，取值为3×10^-3，

表示F范数运算；

3.6)求解优化方程，得到输出的高光谱融合图像X_f。

求解矩阵优化方程的常用方法有：非负矩阵乘法更新，变量分裂更新ADMM和转换为Sylvester方程进行求解；本实例通过转换为Sylvester方程进行优化方程求解，其实现如下：

3.6.1)构造Sylvester方程：C₁X_f+X_fC₂＝C₃，C₁,C₂,C₃为通过对优化方程

求X_f的一阶零点得到的三个不同的系数矩阵，其中，第一系数矩阵C₁＝R^TR+αI_s，第二系数矩阵C₂＝(BS)(BS)^T，第三系数矩阵C₃＝R^TZ+Y(BS)^T+αX_h，I_s为m_λ阶单位矩阵，m_λ为高光谱图像的波段数，α＝3×10^-3，·^T表示矩阵转置，B为传感器的点扩散函数矩阵，R为传感器的光谱响应矩阵，S为下采样矩阵，Z为输入的全色图像，Y为输入的低分辨率高光谱图像，X_h为先验高光谱图像，X_f为输出的高光谱融合图像；

3.6.2)对点扩散函数矩阵B与第一系数矩阵C₁进行如下特征分解：

B＝FDF^H，

C₁＝QΛQ^-1，

其中，

为用点扩散函数矩阵B的特征值构成的复对角矩阵，F为用点扩散函数矩阵B的特征向量构成的复矩阵，F^H为F的共轭转置矩阵；

为用第一系数矩阵C₁的特征值构成的实对角矩阵，Q为用第一系数矩阵C₁的特征向量构成的实矩阵，Q^-1为Q的逆矩阵；复对角矩阵矩阵D与实对角矩阵Λ分别表示如下：

其中，

i∈[1,d]，表示矩阵D的第i个分块矩阵，n为高光谱融合图像X_f单波段像素点个数，d为低分辨率高光谱图像Y与高光谱融合图像X_f之间的空间尺度比例；λ_j为B的第j个特征值，j∈[1,m_λ]，m_λ为高光谱图像的波段数；

3.6.3)将复对角矩阵D进行实对角化，得到实矩阵

其中，D^*表示D的共轭矩阵；

3.6.4)计算第l个波段的过渡向量

其中，

I表示单位矩阵；·^-1表示取逆矩阵，·^H表示取共轭转置，λ_l为点扩散函数矩阵B的第l个特征值,D_t表示实矩阵D的第t块，l∈[1,m_λ]，表示第l个波段；

3.6.5)对过渡向量

进行组合，得到过渡矩阵

其中，Cat(·)表示将

按波段顺序进行拼接；

3.6.6)根据过渡矩阵，得到输出的高光谱融合图像X_f：

本发明的效果可以通过以下仿真实验进一步说明：

一、实验条件：

实验用到的低分辨率高光谱图像伪彩色图与全色图像如图4所示，其中：

图4(a)为低空间分辨率的Moffett Field高光谱图像，大小为75x45，空间分辨率为200m，采用AVIRIS传感器拍摄，包含波长范围为400-2500nm的224个波段，本实验采用去除噪声波段后的176个波段图像作为实验数据；

图4(b)为低空间分辨率的Chikusei高光谱图像，大小为150x150，空间分辨率为10m，由日本的VNIR-C图像传感器拍摄，包含波长为363-1018nm的128个波段；

图4(c)为Moffett Field的全色图像，大小为300x180，空间分辨率为50m；

图4(d)为Chikusei的全色图像，大小为150x150，空间分辨率为2.5m。

二、实验内容：

实验1：用本发明与现有的两种融合方法对低分辨率高光谱图像进行上采样，所得到图像的光谱角映射图如图5所示，其中：

图5(a)为经现有两种融合方法GSA和GLP中采用的双三次插值法对Moffett Field高光谱图像上采样所得到的图像的光谱角映射图；

图5(b)为经现有两种融合方法GSA和GLP中采用的双三次插值法对Chikusei高光谱图像上采样所得到的图像的光谱角映射图；

图5(c)为经本发明LapSRN超分辨网络对Moffett Field高光谱图像上采样所得到的图像的光谱角映射图；

图5(d)为经本发明LapSRN超分辨网络对Chikusei高光谱图像上采样所得到的图像的光谱角映射图。

从图5(a)与图5(b)可以看出，现有GSA和GLP中对低分辨高光谱图像经双三次插值法上采样后的高光谱图像光谱角映射图在部分地物处光谱角取值较大，图5中以色度表示，即图5(a)与图5(b)中虚线段部分的表示地物损失了较多的光谱信息，光谱失真大；

从图5(c)与图5(d)中可以看出，本发明采用LapSRN超分辨网络对低分辨率高光谱图像上采样后得到的高光谱图像的光谱角映射图整体色度较小，更好的保留了高光谱图像的光谱信息。

实验2：用本发明和现有的五种融合方法对低分辨率高光谱图像与同场景全色图像进行融合，结果如图6与图7所示，其中：

图6为对Moffett Field图像融合的结果图，其中：

图6(a)为用现有GSA方法的融合结果图，

图6(b)为用现有GLP方法的融合结果图，

图6(c)为用现有HySure方法的融合结果图，

图6(d)为用现有CNMF方法的融合结果图，

图6(e)为用现有FUSE方法的融合结果图，

图6(f)为用本发明的融合结果图；

图7为对Chikusei图像融合的结果图，其中：

图7(a)为现有GSA方法的融合结果，

图7(b)为现有GLP方法的融合结果图，

图7(c)为现有HySure方法的融合结果，

图7(d)为现有CNMF方法的融合结果，

图7(e)为现有FUSE方法的融合结果，

图7(f)为本发明的融合结果。

从图6与图7中可以看出，现有GSA、GLP、HySure、CNMF和FUSE方法对高光谱图像与全色图像进行融合，得到的结果图在空间信息上均低于本发明，本发明所得到的融合结果图更清晰，细节更明显，说明本发明所得到的融合图像空间信息更丰富。

实验3：用本发明和现有的五种融合方法对低分辨率高光谱图像与同场景全色图像进行融合，所得结果的性能指标如表1与表2所示，其中：

表1.本发明和现有的五种方法对Moffett Field高光谱图像融合结果性能指标

表2.本发明和现有的五种方法对Chikusei高光谱图像融合结果性能指标

从表1至表2可以看出，本发明的互相关指数CC值最大，说明本发明融合后的高光谱图像空间信息最丰富；本发明的光谱角映射SAM值最小，说明本发明对光谱信息的损失最少，融合后高光谱图像的谱间信息最好；本发明的均方根误差RMSE和合成维度总体误差ERGAS最小，说明从空间与谱间全局尺度进行评价，本发明具有最好的空谱信息。同时，本发明对两个不同传感器获得的高光谱图像融合结果均为最好，说明本发明具有很好的泛化性。

综上，本发明基于深度学习与矩阵分解的高光谱与全色图像融合方法，在降低高光谱图像光谱信息损失的基础上增强了高光谱图像的空间信息，输出的高空间分辨率、高谱间分辨率的高光谱图像能更好的应用至其他视觉领域中。

Claims (4)

1.一种基于深度学习与矩阵分解的高光谱与全色图像融合方法，其特征在于，包括如下：

(1)获取公开的高分辨率高光谱图像数据，进行预处理：

(1a)获取公开的高分辨率高光谱图像数据X，通过采样生成低空间分辨率的高光谱训练图像Y_t和全色的训练图像Z_t；

(1b)应用单一图像超分辨网络LapSRN对训练图像Y_t进行映射，得到映射后的高光谱训练图像X_t；

(2)构建用于提取全色图像的高频细节信息的高频信息深度卷积网络HFnet，并进行训练：

(2a)基于ResNet深度卷积神经网络框架搭建包括8层残差网络的高频信息深度卷积网络HFnet；每层卷积核的大小为3x3，前7层以线性函数ReLU为激活函数，最后一层无激活函数；每两个卷积层之间跳跃连接形成残差结构；

(2b)以高分辨率的高光谱图像X为标签图像，分别从空间尺寸和通道个数上对全色的训练图像Z_t、映射后的高光谱训练图像X_t和高分辨率的高光谱图像X进行裁剪，得到训练数据集；

(2c)通过高通滤波器提取训练数据集中高光谱图像与全色图像的高频信息，并在图像的通道维度上进行拼接，得到高频训练图像；

(2d)设学习率为1×10^-5，定义损失函数为：

其中，

表示F范数运算；Xⁱ为标签图像的第i个波段图像，

为附加了网络学习得到的高频信息后的高光谱训练图像的第i个波段图像，i∈[1,m_λ]，m_λ为高光谱图像的总波段；

(2e)将高频训练图像输入到高频信息深度卷积网络HFnet中，利用损失函数进行训练，并采用梯度下降法更新网络参数，当损失函数loss收敛时或训练步数大于设定步数时停止训练，得到训练好的高频信息深度卷积网络HFnet，其中步数的设置是根据预计的训练时间设置，其为一固定值；

(3)输入相同场景下待融合的低空间分辨率的高光谱图像Y和全色图像Z；应用单一图像超分辨网络LapSRN对待融合的低空间分辨率的高光谱图像Y进行映射，得到映射后超分辨的高光谱图像X_s；

(4)将超分辨的高光谱图像X_s与待融合的全色图像Z输入到训练好的高频信息深度卷积网络HFnet中，获取网络输出的高频细节图像X_r；

(5)以全色图像Z为导向图，对超分辨后的高光谱图像X_s的每个波段图像进行引导滤波，在保持空间分辨率的前提下得到边缘特征增强的高光谱图像X_g；

(6)将高频细节图像X_r加至边缘特征增强的高光谱图像X_g，得到先验高光谱图像X_h；

(7)将全色图像Z的空间信息，低分辨率高光谱图像Y的光谱信息与先验高光谱图像X_h的空谱信息进行融合，得到如下优化方程：

其中，B为传感器的点扩散函数，R为传感器的光谱响应，S表示下采样操作，为已知先验信息；X_f为输出的高光谱融合图像，α为约束因子，取值为3×10^-3，

表示F范数运算；

(8)求解优化方程，得到输出的高光谱融合图像X_f。

2.根据权利要求1所述的方法，其中(1a)中通过采样生成低空间分辨率的高光谱训练图像Y_t和全色的训练图像Z_t，按如下步骤进行：

(1a1)通过空间下采样生成低空间分辨率的高光谱训练图像Y_t：

Y_t＝XBS，

其中，

表示传感器的点扩散函数，

表示四倍下采样，为已知先验信息；

m_λ为高分辨率高光谱图像X的波段数，n＝W×H为高光谱图像X单波段像素点个数，W、H分别表示高光谱图像X每个波段的长和宽；d为低分辨率高光谱训练图像Y_t与高分辨率高光谱图像X之间的空间尺度比例，n/d²＝W/d×H/d为低分辨高光谱训练图像Y_t的单波段像素点个数，W/d、H/d分别为低分辨率高光谱训练图像Y_t每个波段的长和宽；

(1a2)通过光谱采样生成全色的训练图像Z_t:

Z_t＝RX，

其中，

为传感器的光谱响应函数,为已知先验信息，

3.根据权利要求1所述的方法，其中(5)中对超分辨后的高光谱图像X_s的每个波段图像进行引导滤波，按如下步骤进行：

(5a)对全色图像Z和超分辨后高光谱图像X_s的每个波段图像

分别进行均值滤波，并计算全色图像Z的方差和全色图像Z与单波段图像

的协方差：

mean_Z＝f_mean(Z)，

var_Z＝f_mean(Z·Z)-mean_Z·mean_Z，

其中，

表示超分辨后的高光谱图像X_s的第l个波段图像，l∈[1,m_λ],m_λ为高光谱图像的波段数；mean_Z为全色图像Z的均值矩阵，

为第l个波段图像

的均值矩阵；f_mean(·)为窗口大小为5的均值滤波器；var_Z为全色图像Z的方差矩阵，

为全色图像Z与第l个波段图像

的协方差矩阵，·表示矩阵点乘运算；

(5b)根据(5a)计算的结果得到对应于每个波段图像

的系数矩阵a^l和像素矩阵b^l：

其中，ε＝2×10^-16，·/表示矩阵点除运算；

(5c)以全色图像Z为导向图，对每个波段图像

进行引导滤波，得到引导滤波后边缘特征增强的每个波段高光谱图像

(5d)将(5c)得到的边缘特征增强的每个波段高光谱图像

组合，得到引导滤波后边缘特征增强的高光谱图像X_g：

其中，m_λ为高光谱图像的波段数，Cat(·)表示将

在通道维进行拼接。

4.根据权利要求1所述的方法，其中(8)中求解优化方程，按下步骤进行：

(8a)构造Sylvester方程：C₁X_f+X_fC₂＝C₃，用于求解优化方程，C₁,C₂,C₃为通过对优化方程

求X_f的一阶零点得到的三个不同系数矩阵，其中第一系数矩阵C₁＝R^TR+αI_s，第二系数矩阵C₂＝(BS)(BS)^T，第三系数矩阵C₃＝R^TZ+Y(BS)^T+αX_h，I_s为m_λ阶单位矩阵，m_λ为高光谱图像的波段数，α＝3×10^-3，·^T表示矩阵转置，B为传感器的点扩散函数矩阵，R为传感器的光谱响应矩阵，S为下采样矩阵，Z为输入的全色图像，Y为输入的低分辨率高光谱图像，X_h为先验高光谱图像，X_f为输出的高光谱融合图像；

(8b)对点扩散函数矩阵B与第一系数矩阵C₁进行如下特征分解：

B＝FDF^H，

C₁＝QΛQ^-1，

其中，

为用点扩散函数矩阵B的特征值构成的复对角矩阵，F为用点扩散函数矩阵B的特征向量构成的复矩阵，F^H为F的共轭转置矩阵；

为用第一系数矩阵C₁的特征值构成的实对角矩阵，Q为用第一系数矩阵C₁的特征向量构成的实矩阵，Q^-1为Q的逆矩阵；复对角矩阵D与实对角矩阵Λ分别表示如下：

其中，

表示矩阵D的第i个分块矩阵，n为高光谱融合图像X_f单波段像素点个数，d为低分辨率高光谱图像Y与高光谱融合图像X_f之间的空间尺度比例；λ_j为C₁的第j个特征值，j∈[1,m_λ]，m_λ为高光谱图像的波段数；

(8c)将复对角矩阵D进行实对角化，得到实矩阵

其中，D^*表示D的共轭矩阵；

(8d)计算第l个波段的过渡向量

其中，

I表示单位矩阵；·^-1表示取逆矩阵，·^H表示取共轭转置，λ_l为矩阵B的第l个特征值,D_t表示矩阵D的第t块，l∈[1,m_λ]表示第l个波段；

(8e)将过渡向量

组合，得到过渡矩阵

其中，Cat(·)表示将

按波段顺序进行拼接；

(8f)通过过渡矩阵得到最终融合的高光谱图像

Images