CN107977951B - 基于耦合张量分解的多光谱与高光谱图像融合方法 - Google Patents

Abstract

本发明公开了一种基于耦合张量分解的多光谱与高光谱图像融合方法，主要解决现有技术中空间信息模糊和光谱扭曲的问题。其步骤为：(1)分别输入低空间分辨率的高光谱图像、高空间分辨率的多光谱图像、光谱退化矩阵和正则参数；(2)将低空间分辨率的高光谱图像进行空间上采样；(3)将上采样低空间分辨率的高光谱图像利用高阶奇异值分解算法进行Tucker分解；(4)将高空间分辨率的多光谱图像进行Tucker分解；(5)将步骤(3)得到的因子矩阵与步骤(4)得到的核心张量沿各个模相乘得到高空间分辨率的高光谱图像。本发明能获得准确的空间和光谱信息，可用于目标检测与识别、地物分类等遥感领域。

Description

基于耦合张量分解的多光谱与高光谱图像融合方法

技术领域

本发明属于图像处理技术领域，更进一步涉及遥感图像中的多光谱与高光谱图像融合方法，可用于目标检测与识别和地物分类等遥感领域。

背景技术

由于光学传感器成像的物理限制，遥感卫星通常只能获得低空间分辨率的高光谱图像和高空间分辨率的多光谱图像。高光谱图像具有较多的光谱信息，但空间分辨率较低；多光谱图像空间分辨率较高，具有较多的空间信息，但光谱信息较少缺乏。为了得到高空间分辨率的高光谱图像，人们采用多光谱与高光谱图像融合技术，分别利用多光谱图像中的空间细节与高光谱图像的光谱信息，最终得到空间细节清晰，光谱信息丰富的高空间分辨率的高光谱图像，从而获得更好的视觉效果。

目前，多光谱图像与高光谱图像融合技术主要可以分为两类：一类是基于成分替代的方法，例如主成分分析法PCA。由于基于成分替代的方法原理简单，操作简单，因此得到广泛应用。但是这类方法会产生严重的光谱扭曲。另一类是基于注入的方法，例如小波变换法。这类方法大大减小了融合图像的光谱扭曲度，但是容易产生空间效应。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于耦合张量分解的多光谱与高光谱图像融合方法，以提高高光谱图像的空间分辨率，并较好的保持光谱特征。

为实现上述目的，具体步骤包括如下：

1、一种基于耦合张量分解的多光谱与高光谱图像融合方法，包括以下步骤：

(1)输入图像和矩阵：

(1a)分别输入低空间分辨率高光谱图像L∈R^h×w×B和高空间分辨率多光谱图像Y∈R^H×W×b，h和w为低空间分辨率高光谱图像的高和宽，B为低分辨率高光谱图像的波段数，H和W为高空间分辨率多光谱图像的高和宽，b为高空间分辨率多光谱图像的波段数；

(1b)输入光谱退化矩阵D；

(1c)设定正则参数λ。

(2)将低空间分辨率高光谱图像L进行空间上采样，使得空间尺寸变为H×W，得到上采样的低空间分辨率高光谱图像X∈R^H×W×B。

(3)将上采样的低空间分辨率高光谱图像X进行Tucker分解，得到核心张量G和因子矩阵T₁，T₂和T₃：

(3a)构建目标方程：

X＝G×₁T₁×₂T₂×₃T₃

其中，I_H×H，I_W×W和I_B×B均为单位矩阵，尺寸分别为H×H，W×W和B×B。subjectto表示

为X＝G×₁T₁×₂T₂×₃T₃的约束条件，×₁，×₂和×₃分别表示沿模1，模2，模3相乘。

(3b)利用高阶奇异值分解算法对步骤(3a)中的目标方程进行求解。

(4)将高空间分辨率多光谱图像Y进行Tucker分解，得到核心张量C：

(4a)构建目标方程：

Y＝C×₁T₁×₂T₂×₃T_3D

其中，T_3D＝DT₃。

(4b)将步骤(4a)中的目标方程变形为：

其中，T表示矩阵的转置。

(4c)将矩阵C₍₃₎沿模3折叠得到核心张量C：

其中，W₍₃₎为W的模3展开形式，

C₍₃₎为核心张量C的模3展开形式，(·)^-1表示矩阵的逆。

(5)将核心张量C与因子矩阵T₁，T₂和T₃分别沿模1，模2和模3相乘，得到高空间分辨率高光谱图像Z：

Z＝C×₁T₁×₂T₂×₃T₃

本发明与现有的技术相比具有以下优点：

第一，本发明将张量分解引入到多光谱图像与高光谱图像融合领域来，克服了现有技术中空间结构和光谱结构保持性能较差的不足，使得本发明可以获得较为准确的空间信息和光谱结构，有利于后续图像处理技术的使用。

第二，本发明采用高阶奇异值分解算法对低空间分辨率高光谱图像进行分解，减小了矩阵初始化对融合结果的影响，使得本发明对噪声更加鲁棒，融合结果更加稳定。

本发明的效果可结合以下附图详细说明。

附图说明

图1为本发明对低空间分辨率高光谱图像和高空间分辨率多光谱图像融合的流程图。

图2为本发明对低空间分辨率高光谱图像和高空间分辨率多光谱图像融合的结果对比图。

具体实施方法

以下结合附图为本发明做进一步详细描述：

参照图1，本发明的具体实施方式如下：

步骤1.输入图像，矩阵和正则参数。

(1a)分别输入低空间分辨率高光谱图像L∈R^h×w×B和高空间分辨率多光谱图像Y∈R^H×W×b，h和w为低空间分辨率高光谱图像的高和宽，B为低分辨率高光谱图像的波段数，H和W为高空间分辨率多光谱图像的高和宽，b为高空间分辨率多光谱图像的波段数；

本发明实施例中，采用在华盛顿地区拍摄的低空间分辨率的高光谱和高空间分辨率的多光谱图像，低空间分辨率的高光谱图像大小为64×64×191，高空间分辨率的全色图像大小为256×256×6。

(1b)输入光谱退化矩阵D；

光谱退化矩阵D为谱间下采样矩阵，表示最终得到的高空间分辨率的多光谱图像与高空间分辨率的全色图像之间的光谱退化关系。

光谱退化矩阵D的表示式为：

其中，A_B×B为基矩阵，该矩阵对角线元素为1，其余元素为0，B为高光谱图像的波段数，w＝[w₁,w₂,w₃,w₄,w₅,w₆]为行向量，w₁，w₂，w₃，w₄，w₅，w₆分别为各个波段的权值系数，本发明实施例中，

高光谱图像的波段数B＝191，则空间退化矩阵D的大小为6×191。

(1c)设定正则参数λ

λ＝0.5。

步骤2.将低空间分辨率高光谱图像L进行空间上采样，使得空间尺寸变为H×W，得到上采样的低空间分辨率高光谱图像X∈R^H×W×B。

步骤3.将上采样的低空间分辨率高光谱图像X进行Tucker分解，得到核心张量G和因子矩阵T₁，T₂和T₃：

(3a)构建目标方程：

X＝G×₁T₁×₂T₂×₃T₃

其中，I_H×H，I_W×W和I_B×B均为单位矩阵，尺寸分别为H×H，W×W和B×B。subjectto表示

为X＝G×₁T₁×₂T₂×₃T₃的约束条件，×₁，×₂和×₃分别表示沿模1，模2，模3相乘。

(3b)利用高阶奇异值分解算法对步骤(3a)中的目标方程进行求解。

(4)将高空间分辨率多光谱图像Y进行Tucker分解，得到核心张量C：

(4a)构建目标方程：

Y＝C×₁T₁×₂T₂×₃T_3D

其中，T_3D＝DT₃。

(4b)将步骤(4a)中的目标方程变形为：

其中，T表示矩阵的转置。

(4c)将矩阵C₍₃₎沿模3折叠得到核心张量C：

其中，W₍₃₎为W的模3展开形式，

C₍₃₎为核心张量C的模3展开形

式，(·)^-1表示矩阵的逆。

(5)将核心张量C与因子矩阵T₁，T₂和T₃分别沿模1，模2和模3相乘，得到高空间分辨率高光谱图像Z：

Z＝C×₁T₁×₂T₂×₃T₃

本发明的效果可以通过以下仿真进一步说明。

1.仿真环境：

MATLAB R2014a,Intel(R)Core(TM)i5-3470CPU 3.00GHz,Window 7。

2.仿真内容：

仿真1，用本发明对在华盛顿地区拍摄的低空间分辨率的高光谱和高空间分辨率的多光谱图像进行融合，并选取第70个波段进行对比，结果如图2所示，其中：

图2(a)是低空间分辨率的高光谱图像，大小为64×64，

图2(b)是高空间分辨率的多光谱图像，大小为256×256，

图2(c)是一幅参考图像，大小为256×256，

图2(d)为采用本发明对图2(a)和图2(b)进行融合后获得的高空间分辨率的高光谱图像，大小为256×256。

由图2可见，图2(d)的空间纹理信息相比于图2(a)有明显提高，尤其在道路等细节部分，边缘变得清晰，由此可见，本发明能够对图2(a)和图2(b)进行较好的融合。

仿真2，为了证明本发明的效果，分别用本发明的方法和现有技术PCA变换法、GS变换法对图2(a)和图2(b)的待融合图像进行融合，并对融合结果进行客观指标评价，评价指标如下：

1)相关系数CC，表示光谱信息的保留程度，结果在区间[0,1]，相关系数越接近1，表示融合结果与参考图像越相似。

2)整体图像质量指数UIQI，表示融合图像与参考图像的接近程度，越接近1，融合结果越好。

3)光谱弧度SAM，表示光谱的扭曲程度，越接近0，融合结果越好。

根据上述评价指标对本发明与现有技术的融合结果从客观评价指标上进行评价，结果如表1。

表1.各类方法融合结果的客观评价

由表1可见，本发明的整体图像质量指数UIQI大于现有技术的评价值，相关系数CC平均值上均大于现有技术的评价值，另外本发明的光谱弧度SAM均小于其他现有技术，由此可以看出本发明的客观评价指标均优于现有技术的客观评价指标。

Claims (1)

1.一种基于耦合张量分解的多光谱与高光谱图像融合方法，包括以下步骤：

(1)输入图像和矩阵：

(1a)分别输入低空间分辨率高光谱图像L∈R^h×w×B和高空间分辨率多光谱图像Y∈R^{H ×W×b}，h和w为低空间分辨率高光谱图像的高和宽，B为低分辨率高光谱图像的波段数，H和W为高空间分辨率多光谱图像的高和宽，b为高空间分辨率多光谱图像的波段数；

(1b)输入光谱退化矩阵D；

(1c)设定正则参数λ；

(2)将低空间分辨率高光谱图像L进行空间上采样，使得空间尺寸变为H×W，得到上采样的低空间分辨率高光谱图像X∈R^H×W×B；

(3)将上采样的低空间分辨率高光谱图像X进行Tucker分解，得到核心张量G和因子矩阵T₁，T₂和T₃：

(3a)构建目标方程：

X＝G×₁T₁×₂T₂×₃T₃

subject to T₁ ^TT₁＝I_H×H,

其中，I_H×H，I_W×W和I_B×B均为单位矩阵，尺寸分别为H×H，W×W和B×B；subject to表示T₁ ^TT₁＝I_H×H,

为X＝G×₁T₁×₂T₂×₃T₃的约束条件，×₁，×₂和×₃分别表示沿模1，模2，模3相乘；

(3b)利用高阶奇异值分解算法对步骤(3a)中的目标方程进行求解；

(4)将高空间分辨率多光谱图像Y进行Tucker分解，得到核心张量C：

(4a)构建目标方程：

Y＝C×₁T₁×₂T₂×₃T_3D

其中，T_3D＝DT₃；

(4b)将步骤(4a)中的目标方程变形为：

其中，T表示矩阵的转置；

(4c)将矩阵C₍₃₎沿模3折叠得到核心张量C：

其中，M₍₃₎为M的模3展开形式，

C₍₃₎为核心张量C的模3展开形式，(·)^-1表示矩阵的逆；

(5)将核心张量C与因子矩阵T₁，T₂和T₃分别沿模1，模2和模3相乘，得到高空间分辨率高光谱图像Z：

Z＝C×₁T₁×₂T₂×₃T₃。

Images