CN113850216B - 一种面向大场景遥感图像分类的类指定多模联合表示方法 - Google Patents

Abstract

一种面向大场景遥感图像分类的类指定多模联合表示方法，本发明涉及多模遥感图像联合表示方法。本发明的目的是为了提高现有大场景遥感图像的分类精度。过程为：一、输入覆盖区域相同的多模遥感图像，以及相应的地物标签图，构造多模遥感图像的类指定多模联合表示模型；所述多模遥感图像包括多光谱遥感图像和高光谱遥感图像；二、采用乘数交替方向法求解多模遥感图像的类指定多模联合表示模型，得到类指定跨模字典；三、输入大场景多光谱遥感图像，利用多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到一致稀疏表示系数矩阵；四、重构得到大场景的高判别性高光谱图像。本发明用于遥感图像分类领域。

Description

一种面向大场景遥感图像分类的类指定多模联合表示方法

技术领域

本发明涉及多模遥感图像联合表示方法。

背景技术

大场景遥感图像的精细分类在光学遥感应用中越来越重要。作为两种典型的光学遥感数据，多光谱图像和高光谱图像具有互补的特征：多光谱图像幅宽大，重访周期短，但波段数少，导致光谱可分性较弱。高光谱图像幅宽窄，重访周期长，但其具有数百个波段，因此具备精细分类的能力。为了有效利用多模遥感图像(高光谱图像和多光谱图像)的优势，近年来有学者对多模态遥感图像的联合表示进行了研究，多模态遥感图像的联合表示就是通过学习覆盖范围相同的高光谱图像和多光谱图像之间的关系，来重建大场景多光谱图像所对应的模拟高光谱图像，从而将高光谱图像的精细分类能力迁移到大场景多光谱图像上，实现分类性能的提升。

当前，多模态联合表示方法主要有两类，一种是基于深度学习的方法，一种是基于稀疏表示的方法。基于深度学习的方法通常难以重构多光谱图像光谱覆盖范围之外的波段，基于稀疏表示的方法虽然没有上述缺点，但是当前方法仅以高光谱图像的重构为目标，并没有考虑后续的分类应用，而且这些方法大多数是无监督的，没有考虑对标签信息的利用。

发明内容

本发明的目的是为了提高现有大场景遥感图像的分类精度，提出了一种面向大场景遥感图像分类的类指定多模联合表示方法。

一种面向大场景遥感图像分类的类指定多模联合表示方法具体过程为：

步骤一、输入覆盖区域相同的多模遥感图像，以及相应的地物标签图，构造多模遥感图像的类指定多模联合表示模型；

所述多模遥感图像包括多光谱遥感图像和高光谱遥感图像；

步骤二、采用乘数交替方向法求解步骤一构造的多模遥感图像的类指定多模联合表示模型，得到类指定跨模字典；

所述类指定的跨模字典包括多光谱字典和高光谱字典；

步骤三、输入大场景多光谱遥感图像，利用步骤二得到的多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到一致稀疏表示系数矩阵；

所述输入的大场景多光谱遥感图像的覆盖区域包含步骤一中多光谱遥感图像的覆盖区域；

步骤四、利用步骤二得到的高光谱字典和步骤三得到的一致稀疏表示系数矩阵，重构得到大场景的高判别性高光谱图像。

本发明的有益效果为：

本发明可以从构造有监督约束入手解决上述问题(基于深度学习的方法通常难以重构多光谱图像光谱覆盖范围之外的波段，基于稀疏表示的方法虽然没有上述缺点，但是当前方法仅以高光谱图像的重构为目标，并没有考虑后续的分类应用，而且这些方法大多数是无监督的，没有考虑对标签信息的利用。)；在多模联合表示的过程中引入了标签信息，利用训练样本的标签构造分类约束，同时，利用训练样本标签和字典标签的类别一致关系构造判别性稀疏表示系数约束，从而使学习的跨模态字典既具有表示性又具有判别性；即构造类指定的多模遥感图像联合表示模型能够从理论上显著提升重构高光谱图像的分类性能；因此，重构得到的大场景高光谱图像具备更好的判别性，从而显著提升大场景分类精度。

本发明方法通过增加判别性约束和分类约束的方式，学习得到类指定的跨模字典(高光谱字典和多光谱字典)，从而重构出大场景的高判别性高光谱图像，最终实现大场景遥感图像高精度分类。

为了验证本发明的性能，在一组真实高光谱-多光谱图像对上进行了验证，实验结果表明，相比当前的代表性方法，本方法重构得到的高光谱图像分类精度更高。实验结果验证了本发明提出的面向大场景遥感图像精细分类的类指定多模联合表示方法的有效性。

附图说明

图1是本发明的实现流程示意图；

图2a是高光谱图像的假彩色合成图；

图2b是多光谱图像的假彩色合成图，其中方框表示其与高光谱数据的重叠区域；

图3a重叠区域的地物标签图，用于构建类指定多模遥感图像联合表示模型；

图3b是非重叠区域的地物标签图，用于评价分类效果；

图4是不同方法的分类效果对比图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式一种面向大场景遥感图像分类的类指定多模联合表示方法具体过程为：

步骤一、输入覆盖区域相同的多模遥感图像，以及相应的地物标签图(公式中的H和G都是基于这个地物标签图得到的)，构造多模遥感图像的类指定多模联合表示模型，主要包括重构误差约束，判别性约束和分类约束；

所述多模遥感图像包括多光谱遥感图像和高光谱遥感图像；

步骤二、步骤一的模型优化基于约束模型一阶导数零点为极值点的思想，采用乘数交替方向法求解步骤一构造的多模遥感图像的类指定多模联合表示模型，得到类指定跨模字典；

所述类指定的跨模字典包括多光谱字典和高光谱字典；

步骤三、输入大场景多光谱遥感图像，利用步骤二得到的多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到一致稀疏表示系数矩阵；

所述输入的大场景多光谱遥感图像的覆盖区域包含步骤一中多光谱遥感图像的覆盖区域；

步骤四、利用步骤二得到的高光谱字典和步骤三得到的一致稀疏表示系数矩阵，重构得到大场景的高判别性高光谱图像。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中构造多模遥感图像的类指定多模联合表示模型；具体过程为：

令

和

分别表示输入的覆盖区域相同高光谱和多光谱遥感图像中有标签样本的集合，这些样本为类指定多模联合表示的样本；

令

和

分别表示高光谱字典和多光谱字典；

令X表示跨模稀疏表示系数矩阵；

其中，

表示高光谱图像中的有标签样本，

表示多光谱图像中的有标签样本，d^H表示高光谱图像中样本的光谱维度，d^M表示多光谱图像中样本的光谱维度，P表示有标签样本的个数，

表示高光谱字典中的原子，

表示多光谱字典中的原子，N表示字典中原子的个数；

多模遥感图像的类指定多模联合表示模型的目标函数可表示为：

前两项

代表重构误差，第三项α||X||_1,1为跨模稀疏表示系数的稀疏性约束，第四项β(||D^H||_*+||D^M||_*)为跨模字典的低秩约束，第五项

为判别性约束，第六项

为分类约束；

其中，

表示Frobenius范数的平方；||·||_1,1表示矩阵每列的L1范数；||·||_*表示核范数；

表示L2范数的平方；

表示输入样本的稀疏表示系数对于分类的判别性；A是将原始的稀疏表示系数变换到最具判别性稀疏特征空间的线性映射；

是输入样本Y^H和Y^M公共的标签，C表示类别总数；当

或

属于第c类时，h_c,p＝1；W是线性分类器的参数；α，β，γ和χ为平衡各约束项重要性的惩罚系数。

其它步骤与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述多模遥感图像的类指定多模联合表示模型的目标函数中前两项

代表重构误差，第三项α||X||_1,1代表跨模稀疏表示系数的稀疏性约束，第四项β(||D^H||_*+||D^M||_*)代表跨模字典的低秩约束，第五项

代表判别性约束，第六项

代表分类约束。

其它步骤与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述输入样本的稀疏表示系数对于分类的判别性

由输入样本的标签和字典的标签所决定：

其它步骤与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤二中步骤一的模型优化基于约束模型一阶导数零点为极值点的思想，采用乘数交替方向法求解步骤一构造的多模遥感图像的类指定多模联合表示模型，得到类指定跨模字典；具体过程为：

为采用乘数交替方向法，需要引入参数B＝X,J＝D^H,K＝D^M，将多模遥感图像的类指定多模联合表示模型改写成如下形式：

s.t.B＝X,J＝D^H,K＝D^M

其中，

B、J、K为参数；

多模遥感图像的类指定多模联合表示模型的拉格朗日增广函数为：

其中

是拉尔朗日乘子，η是惩罚系数，T为转置；

基于约束模型

一阶导数零点为极值点的思想，迭代优化过程如下：

优化X：

X←Γ₁ ^-1Γ₂

Γ₁＝(D^H)^TD^H+(D^M)^TD^M+A^TA+W^TW+ηI_N×N

Γ₂＝(D^H)^TY^H+(D^M)^TY^M+γA^TG+χW^TH+Φ₁+ηB

其中，Γ₁、Γ₂为中间变量，I_N×N表示大小为N×N的单位矩阵，←表示在迭代优化过程中对当前优化的参数赋值；

优化D^H和D^M：

D^H←(Y^HX^T+ηJ+Φ₂)(XX^T+ηI_N×N)^-1

D^M←(Y^MX^T+ηK+Φ₃)(XX^T+ηI_N×N)^-1

优化A和W：

A＝GX^T(XX^T+I_N×N)^-1

W＝HX^T(XX^T+I_N×N)^-1

优化B：

其中，⊙为矩阵的Hadamard积；

优化J和K：

其中，

为软阈值算子，ξ＝β/η；

优化

Φ₁←Φ₁+η(B-X)

Φ₂←Φ₂+η(J-D^H)

Φ₃←Φ₃+η(K-D^M)

当||B-X||₂≤ε且||J-D^H||₂≤ε且||K-D^M||₂≤ε时，停止迭代，此时的

和

即为学习得到的类指定跨模字典；ε为预先设定的残差阈值；

所述类指定跨模字典包括多光谱字典和高光谱字典。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述软阈值算子

定义如下：对于秩为r的矩阵E，基于奇异值分解，E被表示为：E＝UΣV^T，U为EE^T的特征向量，V为E^TE的特征向量，Σ为E的奇异值矩阵，Σ＝diag({σ_i}_1≤i≤r)；σ_i为奇异值，是Σ对角线上的元素；

对于任何ξ≥0，

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述步骤三中输入大场景多光谱遥感图像，利用步骤二得到的多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到一致稀疏表示系数矩阵；具体过程为：

令

为大场景多光谱遥感图像，Z^M的稀疏表示系数矩阵为S；

利用步骤二得到的多光谱字典对大场景多光谱遥感图像Z^M进行稀疏表示的目标函数为：

其中，δ为平衡各约束项重要性的惩罚系数，

为大场景多光谱遥感图像中的样本，，Q为大场景多光谱遥感图像中的样本个数；

为了采用乘数交替方向法，需要引入参数R＝S，类似于步骤二，得到拉格朗日增广函数：

其中，Ω是拉格朗日乘子，κ是惩罚系数，R为参数；

基于约束模型一阶导数零点为极值点的思想，优化过程如下：

优化S：

优化R：

优化Ω：

Ω←Ω+κ(R-S)

当||R-S||₂≤ε时，停止迭代，此时的

即为学习得到的一致稀疏表示系数矩阵。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：所述步骤四中利用步骤二得到的高光谱字典和步骤三得到的一致稀疏表示系数矩阵，重构得到大场景的高判别性高光谱图像；具体过程为:

重构的高判别性高光谱图像

由下式得到：

其它步骤及参数与具体实施方式一至七之一相同。

采用以下实施例验证本发明的有益效果：

实施例一：

一种面向大场景遥感图像分类的类指定多模联合表示方法，具体是按照以下步骤制备的：

实验中所用到的多模数据集包含一幅高光谱图像和一幅多光谱图像，数据已经经过了大气、几何校正等预处理。采集地点为黄河三角洲国家级自然保护区。多光谱图像由高分一号宽幅相机于2018年10月31号采集，其包含4个波段，分别是蓝、绿、红和近红外。空间分辨率为16米，共有1066×1108个像素。高光谱图像由高分五号卫星于2018年11月1日采集，它包含330个波段，光谱覆盖范围是400～2500nm。去除了水汽吸收和噪声波段后剩余295波段。它的空间分辨率是30米，实验前首先通过最近邻插值法将其上采样至与多光谱图像相同的分辨率。高光谱图像与多光谱图像的重叠区域大小为404×448。高光谱图像和多光谱图像的假彩色合成图如图2a和图2b所示，重叠区域的地物标签和非重叠区域的地物标签如图3a和3b所示。实验将原始大场景多光谱图像的分类效果作为基线，对比了三种代表性的方法，图4给出了每类分类精度、平均分类精度(AA)、总体分类精度(OA)和kappa系数四种指标的对比结果。可以看出，本方法(CSSR)在5种类别上取得了最高的分类精度，且AA，OA和Kappa系数均高于其他对比方法。此外，本方法是唯一一个分类精度高于原始大场景多光谱图像分类效果的方法实验结果验证了本发明提出的面向大场景遥感图像精细分类的类指定多模联合表示方法的有效性。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种面向大场景遥感图像分类的类指定多模联合表示方法，其特征在于：所述方法具体过程为：

步骤一、输入覆盖区域相同的多模遥感图像，以及相应的地物标签图，构造多模遥感图像的类指定多模联合表示模型；

所述多模遥感图像包括多光谱遥感图像和高光谱遥感图像；

步骤二、采用乘数交替方向法求解步骤一构造的多模遥感图像的类指定多模联合表示模型，得到类指定跨模字典；

所述类指定的跨模字典包括多光谱字典和高光谱字典；

步骤三、输入大场景多光谱遥感图像，利用步骤二得到的多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到一致稀疏表示系数矩阵；

所述输入的大场景多光谱遥感图像的覆盖区域包含步骤一中多光谱遥感图像的覆盖区域；

步骤四、利用步骤二得到的高光谱字典和步骤三得到的一致稀疏表示系数矩阵，重构得到大场景的高判别性高光谱图像；

所述步骤一中构造多模遥感图像的类指定多模联合表示模型；具体过程为：

令

和

分别表示输入的覆盖区域相同高光谱和多光谱遥感图像中有标签样本的集合；

令

和

分别表示高光谱字典和多光谱字典；

令X表示跨模稀疏表示系数矩阵；

其中，

表示高光谱图像中的有标签样本，

表示多光谱图像中的有标签样本，d^H表示高光谱图像中样本的光谱维度，d^M表示多光谱图像中样本的光谱维度，P表示有标签样本的个数，

表示高光谱字典中的原子，

表示多光谱字典中的原子，N表示字典中原子的个数；

多模遥感图像的类指定多模联合表示模型的目标函数可表示为：

前两项

代表重构误差，第三项α||X||_1,1为跨模稀疏表示系数的稀疏性约束，第四项β(||D^H||_*+||D^M||_*)为跨模字典的低秩约束，第五项

为判别性约束，第六项

为分类约束；

其中，

表示Frobenius范数的平方；||·||_1,1表示矩阵每列的L1范数；||·||_*表示核范数；

表示L2范数的平方；

表示输入样本的稀疏表示系数对于分类的判别性；A是将原始的稀疏表示系数变换到最具判别性稀疏特征空间的线性映射；

是输入样本Y^H和Y^M公共的标签，C表示类别总数；当

或

属于第c类时，h_c,p＝1；W是线性分类器的参数；α，β，γ和χ为平衡各约束项重要性的惩罚系数；

所述输入样本的稀疏表示系数对于分类的判别性

由输入样本的标签和字典的标签所决定：

所述步骤二中采用乘数交替方向法求解步骤一构造的多模遥感图像的类指定多模联合表示模型，得到类指定跨模字典；具体过程为：

为采用乘数交替方向法，需要引入参数B＝X,J＝D^H,K＝D^M，将多模遥感图像的类指定多模联合表示模型改写成如下形式：

s.t.B＝X,J＝D^H,K＝D^M

其中，

B、J、K为参数；

多模遥感图像的类指定多模联合表示模型的拉格朗日增广函数为：

其中

是拉尔朗日乘子，η是惩罚系数，T为转置；

迭代优化过程如下：

优化X：

X←Γ₁ ^-1Γ₂

Γ₁＝(D^H)^TD^H+(D^M)^TD^M+A^TA+W^TW+ηI_N×N

Γ₂＝(D^H)^TY^H+(D^M)^TY^M+γA^TG+χW^TH+Φ₁+ηB

其中，Γ₁、Γ₂为中间变量，I_N×N表示大小为N×N的单位矩阵，←表示在迭代优化过程中对当前优化的参数赋值；

优化D^H和D^M：

D^H←(Y^HX^T+ηJ+Φ₂)(XX^T+ηI_N×N)^-1

D^M←(Y^MX^T+ηK+Φ₃)(XX^T+ηI_N×N)^-1

优化A和W：

A＝GX^T(XX^T+I_N×N)^-1

W＝HX^T(XX^T+I_N×N)^-1

优化B：

其中，⊙为矩阵的Hadamard积；

优化J和K：

其中，

为软阈值算子，ξ＝β/η；

优化

Φ₁←Φ₁+η(B-X)

Φ₂←Φ₂+η(J-D^H)

Φ₃←Φ₃+η(K-D^M)

当||B-X||₂≤ε且||J-D^H||₂≤ε且||K-D^M||₂≤ε时，停止迭代，此时的

和

即为学习得到的类指定跨模字典；ε为预先设定的残差阈值；

所述类指定跨模字典包括多光谱字典和高光谱字典；

所述软阈值算子

定义如下：对于秩为r的矩阵E，基于奇异值分解，E被表示为：E＝UΣV^T，U为EE^T的特征向量，V为E^TE的特征向量，Σ为E的奇异值矩阵，Σ＝diag({σ_i}_1≤i≤r)；σ_i为奇异值，是Σ对角线上的元素；

对于任何ξ≥0，

所述步骤三中输入大场景多光谱遥感图像，利用步骤二得到的多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到一致稀疏表示系数矩阵；具体过程为：

令

为大场景多光谱遥感图像，Z^M的稀疏表示系数矩阵为S；

利用步骤二得到的多光谱字典对大场景多光谱遥感图像Z^M进行稀疏表示的目标函数为：

其中，δ为惩罚系数，

为大场景多光谱遥感图像中的样本， Q为大场景多光谱遥感图像中的样本个数；

为了采用乘数交替方向法，需要引入参数R＝S，得到拉格朗日增广函数：

其中，Ω是拉格朗日乘子，κ是惩罚系数，R为参数；

优化过程如下：

优化S：

优化R：

优化Ω：

Ω←Ω+κ(R-S)

当||R-S||₂≤ε时，停止迭代，此时的

即为学习得到的一致稀疏表示系数矩阵。

2.根据权利要求1所述一种面向大场景遥感图像分类的类指定多模联合表示方法，其特征在于：所述步骤四中利用步骤二得到的高光谱字典和步骤三得到的一致稀疏表示系数矩阵，重构得到大场景的高判别性高光谱图像；具体过程为:

重构的高判别性高光谱图像

由下式得到：

Images