CN108734199B - 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法 - Google Patents

Abstract

本发明提供了一种基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法。首先，为了尽可能降低噪声对特征提取的影响，使用基于堆栈去噪自编码器网络对高光谱图像进行无监督地特征提取；然后，通过充分挖掘高光谱图像中类内的相似性及类间的差异性，建立基于低秩表示的鲁棒分类器；最后，采用有效的优化方法对目标函数进行优化求解。在训练数据中存在噪声的情况下，也能获得较好的分类效果。

Description

基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法

技术领域

本发明属高光谱图像处理技术领域，具体涉及一种基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法。

背景技术

目前高光谱图像已经被广泛应用于资源勘探、环境监测及目标识别等领域，但是在实际的应用中，由于成像环境及传输过程的影响，高光谱图像易受噪声干扰，导致图像质量下降，从而影响高光谱图像解译的精度。如何在噪声广泛存在的情况下，有效地完成高光谱图像分类任务逐渐受到国内外学者的广泛关注。大量实验表明，堆栈自编码器是一种有效的无监督特征学习方法，如文献“Zabalza J.；Ren J.C.；Zheng J.B.；Zhao H.M.；QingC.M.；Yang Z.J；Du P.J；Marshalla S.Novel segmented stacked autoencoder foreffective dimensionality reduction and feature extraction in hyperspectralimaging Neurocomputing,2016,185,1-10”中方法充分考虑高光谱图像光谱间的相关性，对原始的高光谱图像在光谱维上进行分段，然后使用不同的堆栈自编码器对分段的高光谱图像进行无监督地特征提取，最后使用支持向量机对获得的深度特征进行分类。然而，该方法仅考虑了光谱间的相关性，并没有充分挖掘高光谱图像空间的相关性，以及类内相似性和类间差异性，从而限制了高光谱图像分类的精度。

发明内容

为了克服现有技术的不足，本发明提出一种基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法。首先，为了尽可能降低噪声对特征提取的影响，使用基于堆栈去噪自编码器网络对高光谱图像进行无监督地特征提取。然后，通过充分挖掘高光谱图像中类内的相似性及类间的差异性，建立基于低秩表示的鲁棒分类器，最后，采用有效的优化方法对目标函数进行优化求解。

一种基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法，其特征在于包括以下步骤：

步骤一：计算高光谱图像不同波段光谱间的相关系数，然后将相关系数大于0的相邻波段图像划分为一段，高光谱图像在光谱维上共划分为s段；

步骤二：将高光谱图像像素随机地分为训练数据和测试数据，并按照步骤一的光谱维划分方法，分别将训练数据和测试数据在光谱维上划分为s段，然后，利用分段的训练数据分别对堆栈去噪自编码器进行训练，每一段得到一个训练好的堆栈去噪自编码器，共得到s个训练好的堆栈去噪自编码器；其中，每个堆栈去噪自编码器的隐藏层的层数为2～10层，每个隐藏层的神经元数为10、20、50、100、150或200；

步骤三：分别利用训练好的堆栈去噪自编码器对其光谱维上对应段的高光谱图像进行特征提取，得到分段的高光谱图像深度特征，然后将所有分段的深度特征进行级联得到高光谱图像的深度特征F，其中，包括训练数据的深度特征F_train和测试数据的深度特征F_test；

步骤四：利用逻辑回归方法对训练数据的深度特征F_train进行预分类，分为L类，并生成预测类别标签label_predict，其中，L表示高光谱图像中已知的像元类别数。

步骤五：首先，选取深度特征F_train中训练较好的特征构建得到字典D，即：

D＝{f_i},当f_i∈F_train且label_predict(i)＝label_original(i) (1)

其中，i表示F_train中特征的位置索引，label_predict(i)表示i位置处特征的预测类别标签，label_original(i)表示i位置处特征的真实类别标签。然后，对字典D中的特征按照类别顺序进行重新排列得到D＝[D₁,D₂,...,D_L]，其中，D_j表示字典D中第j类特征的集合，j＝1,...,L。

步骤六：按下式建立基于权值核范数的低秩表示模型：

其中，Z为低秩表示系数矩阵，E为误差项，||E||₁表示E的L₁范数，λ为平衡因子，λ＝0.1，

表示矩阵Z的权值核范数，sn表示矩阵Z的奇异值的个数，

表示σ_t(Z)的权值，C为预定义的标量，C＝10^-5，ε为足够小的标量，ε＝10^-6，σ_t(Z)表示矩阵Z的第t个奇异值，|·|表示绝对值。

步骤七：引入分离变量Y，将基于权值核范数的低秩表示模型改写为：

公式(3)是增广拉格朗日函数表示为：

其中，Q为乘子一，P为乘子二，η为惩罚系数一，γ为惩罚系数二。

然后，采用交替方向乘子法对公式(4)进行优化求解，得到低秩表示系数矩阵Z。具体为：

步骤a：初始化，令循环次数k＝0，分离变量初始值Y⁰＝0，低秩表示系数矩阵初始值Z⁰＝0，0表示全零矩阵，误差项初始值E⁰＝0，乘子一初始值Q⁰＝0，乘子二初始值P⁰＝0，惩罚系数一初始值η＝10^-5，惩罚系数二初始值γ＝10^-5，惩罚系数一最大值η_max＝10⁸，惩罚系数二最大值γ_max＝10⁸，惩罚系数更新因子ρ＝1.1，最大循环次数T_max＝500；

步骤b：按照Z^k+1＝USV^T计算得到Z^k+1，其中，S为对角矩阵，对角线元素为S_mm＝max(Σ_mm-w_m/η,0)，UΣV^T为矩阵(Y^k+Q^k/η)的奇异值分解，Σ_mm表示矩阵Σ的第m个对角线元素；

步骤c：按照E^k+1＝AV^T计算得到E^k+1，其中，A_pq＝max((F_test-DY^k+P^k/γ)_pq-λ/γ,0)，下标pq表示矩阵的第p行q列的元素；

步骤d：按照Y^k+1＝(γD^TD+ηI)^-1[D^T(γF_test+P^k-λE^k+1)+ηZ^k+1-Q^k]计算得到Y^k+1；

其中，I表示单位矩阵；

步骤e：分别按照P^k+1＝P^k+γ(F_test-DY^k+1-E^k+1)和Q^k+1＝Q^k+η(Y^k+1-Z^k+1)计算得到P^k+1和Q^k+1；

步骤f：分别按照γ＝min(ργ,γ_max)和η＝min(ρη,η_max)更新γ和η；

步骤g：当k＞T_max，并且

时，得到最终的Z＝Z^k+1，否则，k＝k+1，返回步骤b；

步骤八：按照

对高光谱图像的深度特征F_test进行分类，得到最终的分类结果；其中，c_y为特征f_y的类别标签，f_y表示F_test中第y个特征，D_l为D中第l类特征的集合，z_y为矩阵Z中与特征f_y对应的稀疏系数。

本发明的有益效果是：由于采用堆栈去噪自编码器提取高光谱图像的分段特征，充分挖掘了光谱间的相关性；采用基于权值核范数的低秩表示的鲁棒分类模型，可以更好地区别背景和噪声点。本发明方法在训练数据中存在噪声的情况下，也能获得较好的分类效果。

具体实施方式

本发明提出了一种基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法，具体过程如下：

1、计算光谱间相关系数

高光谱图像包括上百个连续的光谱波段，因为这种连续性，波段间存在强的相关性。为了更好地探索不同光谱区域的相关性，计算高光谱图像不同波段光谱间的相关系数，然后将相关系数大于0的相连光谱波段划分成一段，进而将原始高光谱图像在光谱维上划分为s段。

2、训练堆栈去噪自编码器

首先，将高光谱图像像素随机地分为训练数据和测试数据，按照步骤1的光谱维划分方法，分别将训练数据和测试数据在光谱维上划分为s段。然后，利用分段的训练数据分别对堆栈去噪自编码器(Stacked Denoised Auto-encoder,SDAE)进行训练，得到s个训练好的堆栈去噪自编码器。其中，每个堆栈去噪自编码器的隐藏层的层数为2～10层，每个隐藏层的神经元数的选择范围为[10,20,50,100,150,200]，可根据不同的训练数据选择具体的参数。

3、提取深度特征

分别利用训练好的堆栈去噪自编码器对其光谱维上对应段的高光谱图像进行特征提取，得到分段的高光谱图像深度特征，然后将所有分段的深度特征进行级联得到高光谱图像的深度特征

m为深度特征的维数，n为深度特征的个数。其中，包括训练数据的深度特征

和测试数据的深度特征

n₁+n₂＝n，n₁、n₂分别为训练数据和测试数据对应的深度特征的个数。

4、训练数据深度特征预分类

利用逻辑回归方法对训练数据的深度特征F_train进行预分类，分为L类，得到预测类别标签

其中，L表示高光谱图像中已知的像元类别数。

5、构建结构化字典

首先，选取深度特征F_train中训练较好的特征构建得到字典D，即：

D＝{f_i},当f_i∈F_train且label_predict(i)＝label_original(i) (5)

其中，i＝1,…,n₁，

d≤n₁表示字典中特征的个数。

然后，对字典D中的/特征按照类别顺序进行重新排列得到D＝[D₁,D₂,…,D_L]，其中，

表示字典D中第j类特征的集合，j＝1,...,L，d_j为D_j中特征的个数，d₁+...+d_L＝d。

6、构建低秩表示模型

首先，建立稀疏表示模型，将特征矩阵F_test表示为：

F_test＝DZ+E (6)

其中，

为表示系数矩阵，

为误差项。

由于系数矩阵Z是稀疏的，且高光谱图像具有类内相似性和类间差异性，所以相似的像素对应相似的表示系数向量。通过调整F_test中特征的顺序(使属于同一类的特征聚集在一起)，表示系数矩阵Z将呈现分块对角的结构，因此，Z是低秩的。另外，误差项E也是稀疏的。基于此，基于核范数的低秩表示模型表示为：

其中，核范数||·||_*用于约束Z的秩，L₁范数||·||₁用于约束E的稀疏性，λ为平衡因子。最小化Z的核范数等同于最小化矩阵Z的奇异值的L₁范式，即：

其中，σ_t(Z)为矩阵Z的第t个奇异值，|·|表示绝对值，sn＝min{d,n₂}表示矩阵Z的奇异值的个数。Z的奇异值分解可以表示为：

其中，Σ_tt表示矩阵Σ的第t个对角线元素，U＝[u₁，...，u_sn]，V＝[v₁，...，v_sn]，

表示向量的外积。

基于权值核范数的低秩表示能够模拟高光谱图像中杂乱的背景，为了更好地区别背景和噪声点，本发明提出基于权值核范数的低秩表示模型：

其中，

表示Z的权值核范数，平衡因子λ＝0.1，w＝[w₁,...,w_sn]为权值向量，

表示σ_t(Z)的第t个权值，C为预定义的标量，C＝10^-5，ε为足够小的标量，ε＝10^-6，用以避免分母为零。

7、优化求解

为了对低秩表示系数矩阵Z进行求解，引入分离变量Y，公式(10)改写为：

上述目标函数的增广拉格朗日函数表示为：

其中，Q为乘子一，P为乘子二，η为惩罚系数一，γ为惩罚系数二。

采用交替方向乘子法(ADMM)对公式(12)进行优化求解，得到低秩表示系数矩阵Z。在ADMM方法中，所有的相关变量都是交替更新的直到目标函数收敛。具体步骤为：

步骤a：初始化参数：循环次数k＝0，分离变量初始值Y⁰＝0，低秩表示系数矩阵初始值Z⁰＝0，0表示全零矩阵，误差项初始值E⁰＝0，乘子一初始值Q⁰＝0，乘子二初始值P⁰＝0，惩罚系数一初始值η＝10^-5，惩罚系数二初始值γ＝10^-5，惩罚系数一最大值η_max＝10⁸，惩罚系数二最大值γ_max＝10⁸，惩罚系数更新因子ρ＝1.1，标量ε＝10^-6，最大循环次数T_max＝500；

步骤b：更新Z：固定其他变量，稀疏表示系数矩阵Z可以被更新为：

其中，UΣV^T为矩阵(Y^k+Q^k/η)的奇异值分解，S为对角矩阵，对角线元素为S_mm＝max(Σ_mm-w_m/η,0)，Σ_mm表示矩阵Σ的第m个对角线元素；

步骤c：更新E：固定其他变量，误差项E可以被更新为：

其中，A_pq＝max((F_test-DY^k+P^k/γ)_pq-λ/γ,0)，(F_test-DY^k+P^k/γ)_pq表示矩阵F_test-DY^k+P^k/γ的第p行和q列元素；

步骤d：更新Y：固定其他与Y无关的变量，此时分离变量Y可以更新为：

其中，I为单位矩阵；

步骤e：更新乘子：

P^k+1＝P^k+γ(F_test-DY^k+1-E^k+1) (16)

Q^k+1＝Q^k+η(Y^k+1-Z^k+1) (17)

步骤f：更新惩罚因子：

γ＝min(ργ,γ_max) (18)

η＝min(ρη,η_max) (19)

步骤g：检查收敛状态：如果

则得到最终的Z＝Z^k+1，否则，k＝k+1，返回步骤b；

8、分类

当给定字典D和稀疏表示系数矩阵Z，根据类内相似性，测试数据的特征f_y∈F_test(y＝1,…,n₂)可以被分类为：

其中，c_y为特征f_y的类别标签，

为D中第l类特征的集合，z_y为矩阵Z中与特征f_y对应的稀疏系数。

在训练样本中存在噪声的情况下，本发明方法也能获得较好的分类表现。以PaviaUniversity数据集为例，每类选取200个样本用于训练，相比于无噪声的训练数据，当噪声数据占总训练样本的5％时，全局分类准确率为98.24％；当噪声数据占总训练样本的10％时，全局分类准确率为96.84％。

Claims (1)

1.一种基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法，其特征在于包括以下步骤：

步骤一：计算高光谱图像不同波段光谱间的相关系数，然后将相关系数大于0的相邻波段图像划分为一段，高光谱图像在光谱维上共划分为s段；

步骤二：将高光谱图像像素随机地分为训练数据和测试数据，并按照步骤一的光谱维划分方法，分别将训练数据和测试数据在光谱维上划分为s段，然后，利用分段的训练数据分别对堆栈去噪自编码器进行训练，每一段得到一个训练好的堆栈去噪自编码器，共得到s个训练好的堆栈去噪自编码器；其中，每个堆栈去噪自编码器的隐藏层的层数为2～10层，每个隐藏层的神经元数为10、20、50、100、150或200；

步骤三：分别利用训练好的堆栈去噪自编码器对其光谱维上对应段的高光谱图像进行特征提取，得到分段的高光谱图像深度特征，然后将所有分段的深度特征进行级联得到高光谱图像的深度特征F，其中，包括训练数据的深度特征F_train和测试数据的深度特征F_test；

步骤四：利用逻辑回归方法对训练数据的深度特征F_train进行预分类，分为L类，并生成预测类别标签label_predict，其中，L表示高光谱图像中已知的像元类别数；

步骤五：首先，选取深度特征F_train中训练较好的特征构建得到字典D，即：

D＝{f_i},当f_i∈F_train且label_predict(i)＝label_original(i) (1)

其中，i表示F_train中特征的位置索引，label_predict(i)表示i位置处特征的预测类别标签，label_original(i)表示i位置处特征的真实类别标签；然后，对字典D中的特征按照类别顺序进行重新排列得到D＝[D₁,D₂,...,D_L]，其中，D_j表示字典D中第j类特征的集合，j＝1,...,L；

步骤六：按下式建立基于权值核范数的低秩表示模型：

其中，Z为低秩表示系数矩阵，E为误差项，||E||₁表示E的L₁范数，λ为平衡因子，λ＝0.1，

表示矩阵Z的权值核范数，sn表示矩阵Z的奇异值的个数，

表示σ_t(Z)的权值，C为预定义的标量，C＝10^-5，ε为足够小的标量，ε＝10^-6，σ_t(Z)表示矩阵Z的第t个奇异值，|·|表示绝对值；

步骤七：引入分离变量Y，将基于权值核范数的低秩表示模型改写为：

公式(3)是增广拉格朗日函数表示为：

其中，Q为乘子一，P为乘子二，η为惩罚系数一，γ为惩罚系数二；

然后，采用交替方向乘子法对公式(4)进行优化求解，得到低秩表示系数矩阵Z，具体为：

步骤a：初始化，令循环次数k＝0，分离变量初始值Y⁰＝0，低秩表示系数矩阵初始值

表示全零矩阵，误差项初始值E⁰＝0，乘子一初始值Q⁰＝0，乘子二初始值P⁰＝0，惩罚系数一初始值η＝10^-5，惩罚系数二初始值γ＝10^-5，惩罚系数一最大值η_max＝10⁸，惩罚系数二最大值γ_max＝10⁸，惩罚系数更新因子ρ＝1.1，最大循环次数T_max＝500；

步骤b：按照Z^k+1＝USV^T计算得到Z^k+1，其中，S为对角矩阵，对角线元素为S_mm＝max(Σ_mm-w_m/η,0)，UΣV^T为矩阵(Y^k+Q^k/η)的奇异值分解，Σ_mm表示矩阵Σ的第m个对角线元素；

步骤c：按照E^k+1＝AV^T计算得到E^k+1，其中，A_pq＝max((F_test-DY^k+P^k/γ)_pq-λ/γ,0)，下标pq表示矩阵的第p行q列的元素；

步骤d：按照Y^k+1＝(γD^TD+ηI)^-1[D^T(γF_test+P^k-λE^k+1)+ηZ^k+1-Q^k]计算得到Y^k+1；

其中，I表示单位矩阵；

步骤e：分别按照P^k+1＝P^k+γ(F_test-DY^k+1-E^k+1)和Q^k+1＝Q^k+η(Y^k+1-Z^k+1)计算得到P^k+1和Q^{k +1}；

步骤f：分别按照γ＝min(ργ,γ_max)和η＝min(ρη,η_max)更新γ和η；

步骤g：当k＞T_max，并且

时，得到最终的Z＝Z^k+1，否则，k＝k+1，返回步骤b；

步骤八：按照

对高光谱图像的深度特征F_test进行分类，得到最终的分类结果；其中，c_y为特征f_y的类别标签，f_y表示F_test中第y个特征，D_l为D中第l类特征的集合，z_y为矩阵Z中与特征f_y对应的稀疏系数。