CN115861076A - 基于矩阵分解网络的无监督高光谱图像超分辨率方法 - Google Patents

Abstract

本发明公开了基于矩阵分解网络的无监督高光谱图像超分辨率方法，属于高光谱图像处理技术领域。本发明对高光谱图像处理，生成模拟的低空间分辨率高光谱图像Y和高空间分辨率的多光谱图像Z；首先将生成的数据对(Y，Z)输入设计的自动编码器网络，训练迭代得到点扩散函数和光谱响应函数；对于目标高空间分辨率高光谱图像X，可以假设为末端成员矩阵A和对应丰度矩阵S的线性组合，即X＝AS，结合光谱和空间退化模型进行建模，通过设计的深度CP分解模块计算A，迭代求解A和S，最后得到融合结果。本发明能够得到更加丰富的光谱和空间特征，得到了更好的融合结果，在实践中表现出了良好的性能。

Description

基于矩阵分解网络的无监督高光谱图像超分辨率方法

技术领域

本发明涉及基于矩阵分解网络的无监督高光谱图像超分辨率方法，属于高光谱图像处理技术领域。

背景技术

高光谱遥感，即高光谱分辨率遥感，利用成像技术和光谱特征从感兴趣的物体中获取一系列具有高光谱分辨率的连续、窄波段的图像数据。高光谱图像不仅可以提供土地覆盖目标的空间信息，而且还可以提供其丰富的光谱信息。它在地质勘探、气候监测、农作物检测、国防军事等各项领域得到了广泛应用。

高光谱图像分类是遥感应用领域的一项重要任务，近年来，随着深度学习不断发展，基于深度网络的高光谱分类方法也被证实是分类的有效手段之一。有监督的深度学习方法可以看作是从特征空间到标签空间的非线性映射，它能够从原始的数据中提取到更高层次的抽象语义特征。

由于入射能量有限，在设计成像传感器时，在光谱分辨率、空间分辨率和图像的信噪比之间总是存在一个权衡。因此，通常会牺牲HSI的空间分辨率，这阻碍了后续的任务。相反，传统的多光谱图像(MSI)在更低的光谱分辨率下可以获得更高的空间分辨率。一种经济的HSI超分辨率解决方案是记录低空间分辨率的HSI(LR-HSI)和高空间分辨率的MSI(HR-MSI)，并将它们融合为目标高空间分辨率的HSI(HR-HSI)。高光谱图像超分辨率解决方案打破了成像传感器的局限性，在实践中表现出了良好的性能。

高光谱遥感图像(HSI)通常具有高光谱分辨率和低空间分辨率。相反，多光谱图像(MSI)通常具有低光谱和高空间分辨率。将HSI和MSI的高光谱和高空间分辨率相结合的图像推断问题是一个数据融合问题，也即高光谱图像超分辨率，高光谱图像中包含丰富的光谱细节有利于各种计算机视觉任务，如人脸识别、目标跟踪和建模等。

现有的高光谱图像超分辨率方法主要包括：组件替换(CS)、多分辨率分析(MAR)、基于模型驱动方法和基于深度学习的方法。然而，这些方法无法同时获取丰富的光谱特征和空间特征，因此最终的融合效果不佳。

发明内容

为了解决获得更多的空间特征和光谱特征，提升融合效果问题，本发明提供了一种高光谱图像超分辨率方法，包括：

步骤1：对高光谱图像处理，生成模拟的低空间分辨率高光谱图像Y和高空间分辨率的多光谱图像Z，作为训练数据；

步骤2：将步骤1生成的数据对(Y，Z)输入自动编码器网络，训练迭代得到点扩散函数B和光谱响应函数R；

步骤3：对于目标图像高空间分辨率高光谱图像X，假设为末端成员矩阵和对应丰度矩阵的线性组合；将初始末端成员矩阵A₀和初始丰度矩阵S₀作为可训练参数，将步骤2中估计的B和R输入深度CP分解网络，通过深度CP分解网络求解期望末端成员矩阵A；

步骤4：结合步骤2中得到的点扩散函数B和光谱响应函数R，并结合退化模型和矩阵分解模型，对目标进行建模，设计正则项，通过网络展开迭代求解末端成员矩阵A和对应丰度矩阵S，最终得到融合的图像。

可选的，所述步骤2具体包括：

步骤2.1：所述低空间分辨率高光谱图像Y和高空间分辨率的多光谱图像Z的退化模型被分别建模为：

Z＝RX+N_m，Y＝XB+N_h

其中，N_m和N_h分别代表不同的信噪比，X代表目标高空间分辨率高光谱图像；

联立上面两个式子建模得到：ZB＝RY，最终目标函数为：min||ZB-RY||；

步骤2.2：通过自动编码器网络来求解：

输入生成的数据对(Y，Z)，随机初始化点扩散函数B和光谱响应函数R，B的width和height均为(2*ratio)-1，其中ratio为采样率，即两个数据空间分辨率大小之比，R的大小为(C，c)，其中C代表高光谱数据的波段数，c代表多光谱数据的波段数，将B和R作为网络的可训练参数；

步骤2.3：将R作为卷积核，通过卷积形式实现张量乘法，同理应用于ZB，最终优化目标函数min||ZB-RY||，迭代求解Z₁和Y₁，其中，Z₁和Y₁是通过学习到的B和R二次退化得到的，对得到的Z₁和Y₁归一化处理，并保存B和R。

可选的，所述步骤3具体包括：

步骤3.1：根据矩阵分解模型：X＝AS，建立目标函数：min||X-AS||，其中A代表末端成员矩阵，S代表对应的丰度矩阵；

步骤3.2：随机初始化末端成员矩阵A和丰度矩阵S，得到初始末端成员矩阵A₀和对应的初始丰度矩阵S₀，得到初始目标图像X₀＝A₀S₀；其中，A大小为(1，rank，H，W)，其中rank为设定的CP秩，H和W为多光谱数据的长和宽，S大小为(C，rank，1，1)，C为高光谱数据的波段数，将步骤2中得到的点扩散函数B和光谱响应函数R作为输入；

步骤3.3：将初始末端成员矩阵A₀输入低秩张量生成模块LRTG，首先通过一个卷积Conv提取浅层特征，然后使用卷积Conv-ReLU-Conv来生成输入的特征图，空间核的大小为3x3，将提取得到的特征图输入深度CP分解模块，先分别在通道，高度和宽度维度上进行全局池化GAP，得到向量C1，C2，C3，三者进行Kroneckor乘积生成张量O，然后引入残差学习来学习不同频率的张量Oi(i＝1,2…r)：

对生成的O_i提取残差部分，看作是O_i无法恢复的高频信息；剩余部分再次由所述低秩张量生成模块LRTG处理以生成O_i+1(i＝1,2…r)；最后，进入低秩张量学习模块LRTL，给定预先定义的CP秩r，通过r次的低秩张量生成模块来生成r个张量{O₁、O₂、...O_r}，最后将所有生成的张量聚合为一个低秩张量，采用卷积层将堆叠张量聚合成期望的末端成员矩阵A。

可选的，所述步骤4包括：

由退化模型Z＝RX+N_m，Y＝XB+N_h，联立矩阵分解公式X＝AS建模得到优化目标：min||Z-RAS||₁+||Y-ASB||₁，并添加设计的正则项||A-A₀||₁，利用步骤2估计出来的点扩散函数B和光谱响应函数R，以及初始化的A₀和S₀，求解A和S：

求解A_i：使用深度CP分解网络求解，输入A_i-1，输出A_i，i＝1,2…n，n为迭代次数，也就是后面的网络训练次数；

求解S_i：S设置为可学习参数，随着网络训练，自动学习更新；

迭代以上步骤直至收敛，求解A和S，最后得到融合结果X＝AS。

可选的，所述深度CP分解网络训练的损失函数如下，：

Loss＝||Z₂-Z||₁+||Y₂-Y||₁+a||A-A0||₁

其中Z₂，Y₂是由生成的X再次退化得到的低空间分辨率高光谱图像和高空间分辨率多光谱图像，退化采用的是真实的B和R，参数a为常数。

可选的，参数a设置为0.008。

可选的，还包括：构造以下损失函数来实现盲估计网络：

Loss＝||Z₁-Y₁||₁；

网络每次迭代时，将可训练参数B和R投影到相应的范围内，具体为：B∈[0,1]，R具有非负性。

可选的，所述步骤2中通过训练得到估计的点扩散函数B和光谱响应函数R，学习率设置为0.00005，迭代次数为3000。

可选的，所述步骤1中根据Wald协议，生成低空间分辨率高光谱图像Y和高空间分辨率多光谱图像Z。

可选的，所述步骤1在空间上模糊真实图像，进行下采样，采样率为4或8，对应的空间模糊核大小为4*4或8*8，方差设为2，生成了所述低空间分辨率高光谱图像Y。

本发明有益效果是：

本申请将模拟图像输入设计的自动编码器网络，将B和R设为可学习参数，从模拟数据中估计出B和R，解决了传感器可用信息稀缺，难以精确将传感器信息适应用于数据融合的模型，以及退化中的不确定性和真实性的问题，通常方法中都假设两者为已知的，显然这是不现实的，实现了盲的高光谱与多光谱图像的融合，更具合理性与真实性。另外基于矩阵分解，设计了深度CP分解模块求解，考虑了数据的三维信息，利用全局相关性，细化图像特征，恢复高频信息，并且加入了设计的正则项，能够得到更加丰富的光谱和空间特征，得到了更好的融合结果，在实践中表现出了良好的性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于矩阵分解网络的无监督高光谱图像超分辨率方法的框架图。

图2(a)是本申请提供的深度CP分解模块(DCPD)结构图，(b)、(c)分别对应低秩张量生成模块(LRTG，Low rank tensor generate)和低秩张量学习(LRTL，Low rank tensorlearning)模块。

图3是本发明实施例提供的PU数据集融合后的残差图像，其中(a)标签，(b)CNMF融合图像，(c)HySure融合图像，(d)本发明融合图像。

图4是本申请实施例提供的CAVE数据集融合后的残差图像，其中(a)标签，(b)CNMF融合图像，(c)HySure融合图像，(d)本发明融合图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

首先对本发明涉及的基础理论知识进行介绍：

1、高光谱数据通常波段之间存在相关性，大小为Lh的光谱向量，通常存在于小于Lh的子空间中，因此可以表示为Z＝EX，其中，E∈R^Lh×Ls为一个矩阵，其Ls列与Z的列跨越相同的子空间，而X∈R^Ls×nm为系数矩阵。其中E称为末端成员矩阵、X称为丰度矩阵；

2、高光谱图像超分辨率是在模拟状态下进行的，将标签数据通过高斯模糊作为空间响应，也即点扩散函数、用于生成低分辨率数据，不同传感器对应于不同的光谱响应函数，用于生成对应的多光谱数据。

实施例一：

本实施例提供一种高光谱图像超分辨率方法，包括：

步骤1：对高光谱图像处理，生成模拟的低空间分辨率高光谱图像Y和高空间分辨率的多光谱图像Z，作为训练数据；

步骤2：将步骤1生成的数据对(Y，Z)输入自动编码器网络，训练迭代得到点扩散函数B和光谱响应函数R；

步骤3：对于目标图像高空间分辨率高光谱图像X，假设为末端成员矩阵和对应丰度矩阵的线性组合；将初始末端成员矩阵A₀和初始丰度矩阵S₀作为可训练参数，将步骤2中估计的B和R输入深度CP分解网络，通过深度CP分解网络求解期望末端成员矩阵A；

步骤4：结合步骤2中得到的点扩散函数B和光谱响应函数R，并结合退化模型和矩阵分解模型，对目标进行建模，设计正则项，通过网络展开迭代求解末端成员矩阵A和对应丰度矩阵S，最终得到融合的图像。

实施例二：

本实施例提供一种基于矩阵分解网络的无监督高光谱图像超分辨率方法，总体上分为四个步骤，如图1所示，包括：生成训练样本；通过自动编码器网络估计点扩散函数B和光谱响应函数R；经过低秩先验学习网络学习末端成员矩阵A；结合退化模型和矩阵分解模型对超分辨率问题建模，利用估计得到的点扩散函数B和光谱响应函数R，设计正则项，用网络迭代求解，最终得到末端成员矩阵A和丰度矩阵S，得到融合结果X。

步骤1：根据Wald协议，生成低空间分辨率高光谱图像(LRHS)Y和高空间分辨率多光谱图像(HRMS)Z，作为训练数据，具体包括：

在空间上模糊真实图像，在各方向进行下采样，采样率ratio＝4或8，对应的空间模糊核大小为4*4或8*8，方差设为2，生成了低空间分辨率高光谱图像Y；

对于不同的数据集，选择不同卫星对应的光谱响应，CAVE数据集使用D700传感器对应的光谱响应，Pavia University数据集使用ROSIS对应光谱响应，生成了高空间分辨率多光谱图像Z；

除此之外，高斯噪声被添加到低空间分辨率高光谱图像Y(信噪比＝30dB)和高空间分辨率多光谱图像(信噪比＝40dB)中。

步骤2：将步骤1生成的数据对(Y，Z)作为自动编码器网络的输入，将点扩散函数B和光谱响应函数R作为网络的可训练参数，通过训练得到估计的点扩散函数B和光谱响应函数R，学习率设置为0.00005，迭代次数为3000，具体过程如下：

步骤2.1：由于LRHS是HRHS的空间域退化，HRMS是HRHS的光谱退化。因此，Y和Z的退化模型可以被分别建模为：

Z＝RX+N_m，Y＝XB+N_h

其中，N_m和N_h分别代表不同的信噪比，X代表目标高空间分辨率高光谱图像。

联立上面两个式子建模可以得到：ZB＝RY，因此可以通过优化算法求解：min||ZB-RY||，通过迭代得到估计的点扩散函数B和光谱响应函数R；

步骤2.2：通过自动编码器网络来求解：

输入生成的数据对(Y，Z)，随机初始化点扩散函数B和光谱响应函数R，B的width和height均为(2*ratio)-1，其中ratio为采样率，即两个数据空间大小之比，R的大小为(C，c)，其中C代表高光谱数据的波段数，c代表多光谱数据的波段数，将B和R作为网络的可训练参数；

步骤2.3：将R作为卷积核，通过卷积形式实现张量乘法，同理应用于ZB，最终优化目标函数min||ZB-RY||，迭代求解Z₁和Y₁，其中，Z1和Y1是通过学习到的B和R二次退化得到的，对得到的Z₁和Y₁归一化处理，并保存B和R，构造以下损失函数来实现盲估计网络：

Loss＝||Z₁-Y₁||₁；

另外，为了实现物理约束，网络每次迭代时，将可训练参数B和R投影到相应的范围内，具体为：B在[0,1]区间，R具有非负性。

步骤3：初始化末端成员矩阵以及对应丰度矩阵，将初始末端成员矩阵A₀和初始丰度矩阵S₀作为可训练参数，将步骤2中估计的B和R输入网络，通过设计的深度CP分解网络求解A，具体步骤如下：

步骤3.1：根据矩阵分解模型：X＝AS，建立目标函数：min||X-AS||，其中A代表末端成员矩阵，S代表对应的丰度矩阵；

步骤3.2：随机初始化末端成员矩阵A和丰度矩阵S，得到初始末端成员矩阵A₀和对应的初始丰度矩阵S₀，得到初始目标图像X₀＝A₀S₀；其中，A大小为(1，rank，H，W)，其中rank为设定的CP秩，H和W为多光谱数据的长和宽，S大小为(C，rank，1，1)，C为高光谱数据的波段数，将步骤2中得到的点扩散函数B和光谱响应函数R作为输入；

步骤3.3：将初始末端成员矩阵A₀输入低秩张量生成模块(LRTG)，首先通过一个卷积Conv提取浅层特征，然后使用卷积Conv-ReLU-Conv来生成输入的特征图，空间核的大小为3x3，将提取得到的特征图输入深度CP分解模块，先分别在通道，高度和宽度维度上进行全局池化GAP，得到向量C1，C2，C3，三者进行Kroneckor乘积生成张量O，然后引入残差学习来学习不同频率的张量Oi(i＝1,2…r)：

对生成的O_i提取残差部分，可以看作是O_i无法恢复的高频信息。剩余部分再次由低秩张量生成模块处理以生成O_i+1(i＝1,2…r)。最后，进入低秩张量学习模块(LRTL)，给定预先定义的CP秩r，通过r次的低秩张量生成模块来生成r个张量{O₁、O₂、...O_r}，最后将所有生成的张量聚合为一个低秩张量，由于较高频率的上下文信息更难恢复，因此本实施例从连接最前面的张量中添加了跳过连接，本实施例采用空间大小为3×3的卷积层将堆叠张量聚合成期望的末端成员矩阵A；

步骤4：结合步骤2中得到的点扩散函数B和光谱响应函数R，并结合退化模型和矩阵分解模型，对目标进行建模，设计正则项，通过网络展开迭代求解末端成员矩阵A和对应丰度矩阵S，最终得到融合的图像，具体过程如下：

由退化模型Z＝RX+N_m，Y＝XB+N_h，联立矩阵分解公式X＝AS建模可以得到优化目标：min||Z-RAS||₁+||Y-ASB||₁，并添加设计的正则项||A-A₀||₁，利用步骤2估计出来的点扩散函数B和光谱响应函数R，以及初始化的A₀和S₀，求解A和S：

求解A_i：固定S，本方法使用深度CP分解网络求解，输入Y，Z，A_i-1，R，B，输出A_i(i＝1,2…n，n为迭代次数，也就是后面的网络训练次数)；

求解S_i：固定A，对目标函数关于S求导可得，

S_i＝(RA_i-1)^-1(Z-RA_i-1S)+A^-1(Y-A_i-1SB)B^-1

迭代以上步骤直至收敛，求解A和S，最后得到融合结果X＝AS，网络训练的损失函数如下，其中Z₂，Y₂是由生成的X再次退化得到的低空间分辨率高光谱图像和高空间分辨率多光谱图像，退化采用的是真实的B和R，参数a设置为0.008：

Loss＝||Z₂-Z||₁+||Y₂-Y||₁+a||A-A₀||₁

利用训练后的网络验证，并进行融合质量评估。

现结合一个具体的实施方式对本发明的方法进行进一步的说明。采用PaviaUniversity(PU，参见图3)和CAVE(参见图4)高光谱公共数据集，利用本发明所述方法进行融合。

Pavia University数据集由反射光学系统成像光谱仪(ROSIS)获得，光谱范围为0.43-0.86μm。ROSIS传感器具有115个光谱带，去除噪声带后仍有103个光谱带。图像的大小为610×340像素，其空间分辨率为每像素1.3 m。我们选择左上的512×256像素部分作为参考图像。

CAVE数据集由32个室内HSI组成，由高质量的广义分类像素摄像机捕获。HSIs有31个波段，波长范围从400 nm到700 nm，每个波段的空间尺寸为512×512。

本发明实验采用的环境为：Python3.7，CPU:i5-8400，主频2.8GHz，GPU:GTX-1060，内存为3GB。

当采样率ratio＝4时，对于PU数据集，端元数为80，学习率为0.0005，迭代次数为3000；

对于CAVE数据集，端元数为12，学习率为0.001，迭代次数为5000。

对比实验为Coupled Nonnegative Matrix Factorization Unmixing(CNMF)，通过五种评价指标来评估最终的融合结果，分别是：峰值信噪比(PSNR)，光谱角距离(SAM)，均方根误差(RMSE)，相对全局无量纲误差(ERGAS)和结构相似性(SSIM)，这些评价指标可以用来评价超分辨率方法图像重构效果，其中峰值信噪比(PSNR)和结构相似性(SSIM)数值越大，效果越好，光谱角距离(SAM)、相对全局无量纲误差(ERGAS)和均方根误差(RMSE)数值越小，效果越好。

表1：采样率均为4的情况下，各方法的指标对比结果

从实验结果可以看出对于采样率均为4的情况下，本发明方法的各项指标均高于CNMF和Hysure。

本方法在PU数据集上相较于CNMF，在评价指标PSNR、SAM、RMSE、ERGAS，SSIM上分别比CNMF高出5.1369、1.2655、0.0075、1.2827、0.0292；相较于Hysure，在评价指标PSNR、SAM、RMSE、ERGAS，SSIM上分别比Hysure高出6.1967、3.0006、0.0075、1.3783、0.0292。

本方法在CAVE数据集上相较于CNMF，在评价指标PSNR、SAM、RMSE、ERGAS，SSIM上分别比CNMF高出0.8394、1.0049、0.0007、0.4047、0.0033；相较于Hysure，在评价指标PSNR、SAM、RMSE、ERGAS，SSIM上分别比Hysure高出3.3418、1.0049、0.0036、1.1702、0.0069。

当采样率ratio＝8时，对于PU数据集，端元数为80，学习率为0.0005，迭代次数为2400；对于CAVE数据集，端元数为12，学习率为0.0015，迭代次数为10000。

表2：采样率均为8的情况下，各方法的指标对比结果

从实验结果可以看出对于采样率均为8的情况下，本发明方法的各项指标均高于CNMF和Hysure。

本方法在PU数据集上相较于CNMF，在评价指标PSNR、SAM、RMSE、ERGAS，SSIM上分别比CNMF高出10.0993、2.6589、0.0260、2.0042、1.47；相较于Hysure，在评价指标PSNR、SAM、RMSE、ERGAS，SSIM上分别比Hysure高出10.1791、5.2097、0.0263、1.8896、0.0707。

本方法在CAVE数据集上相较于CNMF，在评价指标PSNR、SAM、RMSE、ERGAS，SSIM上分别比CNMF高出1.0052、0.5850、0.0021、0.4735、0.0182；相较于Hysure，在评价指标PSNR、SAM、RMSE、ERGAS，SSIM上分别比Hysure高出1.8717、1.6100、0.0035、0.5361、0.0388。

由上述结果表明，在相同条件下，本发明方法利用盲估计网络配合深度CP分解模块，最终得到融合图像在空间和光谱上均得到提升。相较于CNMF和Hysure，表现出了本发明在高光谱超分辨率上的优势。

图4(d)是Pavia University数据集采样率ratio＝4时融合后的残差图像，图3(d)是CAVE数据集采样率ratio＝4时融合后的残差图像，残差图像可以反映两幅图像间像素差值的大小，差值越小，效果越好，残差图越不明显；从图中可以看出对于CAVE数据集和PU数据集，根据残差图像差异表明效果从差到好依次是Hysure，CNMF，本发明。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高光谱图像超分辨率方法，其特征在于，所述高光谱图像超分辨率方法包括：

步骤1：对高光谱图像处理，生成模拟的低空间分辨率高光谱图像Y和高空间分辨率的多光谱图像Z，作为训练数据；

步骤2：将步骤1生成的数据对(Y，Z)输入自动编码器网络，训练迭代得到点扩散函数B和光谱响应函数R；

步骤3：对于目标高空间分辨率高光谱图像X，假设为末端成员矩阵和对应丰度矩阵的线性组合；将初始末端成员矩阵A₀和初始丰度矩阵S₀作为可训练参数，将步骤2中估计的B和R输入深度CP分解网络，通过深度CP分解网络求解期望末端成员矩阵A；

步骤4：结合步骤2中得到的点扩散函数B和光谱响应函数R，并结合退化模型和矩阵分解模型，对目标进行建模，设计正则项，通过网络展开迭代求解末端成员矩阵A和对应丰度矩阵S，最终得到融合的图像。

2.根据权利要求1所述的高光谱图像超分辨率方法，其特征在于，所述步骤2具体包括：

步骤2.1：所述低空间分辨率高光谱图像Y和高空间分辨率的多光谱图像Z的退化模型被分别建模为：

Z＝RX+N_m，Y＝XB+N_h

其中，N_m和N_h分别代表不同的信噪比，X代表目标高空间分辨率高光谱图像；

联立上面两个式子建模得到：ZB＝RY，最终目标函数为：min||ZB-RY||；

步骤2.2：通过自动编码器网络来求解：

输入生成的数据对(Y，Z)，随机初始化点扩散函数B和光谱响应函数R，B的width和height均为(2*ratio)-1，其中ratio为采样率，即两个数据空间分辨率大小之比，R的大小为(C，c)，其中C代表高光谱数据的波段数，c代表多光谱数据的波段数，将B和R作为网络的可训练参数；

步骤2.3：将R作为卷积核，通过卷积形式实现张量乘法，同理应用于ZB，最终优化目标函数min||ZB-RY||，迭代求解Z₁和Y₁，其中，Z₁和Y₁是通过学习到的B和R二次退化得到的，对得到的Z₁和Y₁归一化处理，并保存B和R。

3.根据权利要求2所述的高光谱图像超分辨率方法，其特征在于，所述步骤3具体包括：

步骤3.1：根据矩阵分解模型：X＝AS，建立目标函数：min||X-AS||，其中A代表末端成员矩阵，S代表对应的丰度矩阵；

步骤3.2：随机初始化末端成员矩阵A和丰度矩阵S，得到初始末端成员矩阵A₀和对应的初始丰度矩阵S₀，得到初始目标图像X₀＝A₀S₀；其中，A大小为(1，rank，H，W)，其中rank为设定的CP秩，H和W为多光谱数据的长和宽，S大小为(C，rank，1，1)，C为高光谱数据的波段数，将步骤2中得到的点扩散函数B和光谱响应函数R作为输入；

步骤3.3：将初始末端成员矩阵A₀输入低秩张量生成模块LRTG，首先通过一个卷积Conv提取浅层特征，然后使用卷积Conv-ReLU-Conv来生成输入的特征图，空间核的大小为3x3，将提取得到的特征图输入深度CP分解模块，先分别在通道，高度和宽度维度上进行全局池化GAP，得到向量C1，C2，C3，三者进行Kroneckor乘积生成张量O，然后引入残差学习来学习不同频率的张量Oi(i＝1,2…r)：

对生成的O_i提取残差部分，看作是O_i无法恢复的高频信息；剩余部分再次由所述低秩张量生成模块LRTG处理以生成O_i+1(i＝1,2…r)；最后，进入低秩张量学习模块LRTL，给定预先定义的CP秩r，通过r次的低秩张量生成模块来生成r个张量{O₁、O₂、...O_r}，最后将所有生成的张量聚合为一个低秩张量，采用卷积层将堆叠张量聚合成期望的末端成员矩阵A。

4.根据权利要求2所述的高光谱图像超分辨率方法，其特征在于，所述步骤4包括：

由退化模型Z＝RX+N_m，Y＝XB+N_h，联立矩阵分解公式X＝AS建模得到优化目标：min||Z-RAS||₁+||Y-ASB||₁，并添加设计的正则项||A-A₀||₁，利用步骤2估计出来的点扩散函数B和光谱响应函数R，以及初始化的A₀和S₀，求解A和S：

求解A_i：使用深度CP分解网络求解，输入A_i-1，输出A_i，i＝1,2…n，n为迭代次数，也就是后面的网络训练次数；

求解S_i：S设置为可学习参数，随着网络训练，自动学习更新；

迭代以上步骤直至收敛，求解A和S，最后得到融合结果X＝AS。

5.根据权利要求4所述的高光谱图像超分辨率方法，其特征在于，所述深度CP分解网络训练的损失函数如下，：

Loss＝||Z₂-Z||₁+||Y₂-Y||₁+a||A-A₀||₁

其中Z₂，Y₂是由生成的X再次退化得到的低空间分辨率高光谱图像和高空间分辨率多光谱图像，退化采用的是真实的B和R，参数a为常数。

6.根据权利要求4所述的高光谱图像超分辨率方法，其特征在于，参数a设置为0.008。

7.根据权利要求2所述的高光谱图像超分辨率方法，其特征在于，还包括：构造以下损失函数来实现盲估计网络：

Loss＝||Z₁-Y₁||₁；

网络每次迭代时，将可训练参数B和R投影到相应的范围内，具体为：B∈[0,1]，R具有非负性。

8.根据权利要求2所述的高光谱图像超分辨率方法，其特征在于，所述步骤2中通过训练得到估计的点扩散函数B和光谱响应函数R，学习率设置为0.00005，迭代次数为3000。

9.根据权利要求1所述的高光谱图像超分辨率方法，其特征在于，所述步骤1中根据Wald协议，生成低空间分辨率高光谱图像Y和高空间分辨率多光谱图像Z。

10.根据权利要求9所述的高光谱图像超分辨率方法，其特征在于，所述步骤1在空间上模糊真实图像，进行下采样，采样率为4或8，对应的空间模糊核大小为4*4或8*8，方差设为2，生成了所述低空间分辨率高光谱图像Y。

Images