CN103544507B - 一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法 - Google Patents

Abstract

一种基于成对约束判别分析‑非负稀疏散度的高光谱数据降维方法，属于高光谱遥感图像处理方法。本发明针对源高光谱数据和目标高光谱数据来自不同分布时，很多先进的基于机器学习的高光谱数据分类算法的分类性能变差。首先，根据一种能自动获得包含判别信息的成对约束样本，提出成对约束判别分析；然后，设计一种非负稀疏散度准则来构建不同分布的源领域和目标领域高光谱数据之间的桥梁；最后，结合这两部分，实现源高光谱数据到目标高光谱数据的知识迁移。优点：解决不同时间、不同地域或不同传感器获得高光谱数据间的知识迁移；能够有效地利用源领域高光谱数据的信息去分析目标领域高光谱数据并获得较高的整体分类精度和Kappa系数。

Description

一种基于成对约束判别分析-非负稀疏散度的高光谱数据降 维方法

技术领域

本发明涉及一种高光谱遥感图像处理方法，具体涉及一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法。

背景技术

随着高光谱传感器的发展，能够获得大量密集且连续的光谱波段并广泛应用于观察地球表面。高光谱数据分类过程的复杂性通常取决于所获得数据的波段数，而密集连续的光谱波段间的高相关性，同时会使波段冗余度提高及产生Hughes现象。因此，为了保留尽可能多的有用信息同时减少高光谱数据分类的复杂性，有必要将高维数据转化到低维子空间，从而使高光谱数据更高效的分类。

随着卫星遥感技术的发展，未来高光谱数据处理面临的一个主要挑战是那些未知的但相关的新数据集。例如，相同星载传感器定期对同一地区不同时间或不同地区相似地物收集数据集，不同星载传感器对不同地区相似地物收集数据集，从而使多时相分析，多角度研究，多模态变化检测成为可能。AVIRIS、Hyperion或QuickBird等卫星几乎每天都能获取新的高光谱数据，如果对这些新的高光谱数据进行监督分类，就需要对每类高光谱数据收集足够数量的标记训练样本，这不仅费时耗力，且成本很高，是不现实的。因此，研究者必须经常依靠单次采集的数据来处理一系列数据。然而，由于多种原因，如不同时间的大气条件、不同的采集系统状态、不同层次的土壤水分、不同的反射率和照明条件等，可能导致新数据的概率分布发生变化。在这些情况下，直接利用旧数据来处理新数据的分类或回归，可能会导致灾难性的结果。因此，找到一个有效的概率分布匹配策略，成为新一代高光谱数据处理的一项紧迫而复杂的任务。

近几年，很多机器学习算法已经成功地应用到高光谱数据处理中。在机器学习中，上面的问题可以通过领域自适应或迁移学习来解决。迁移学习的目的是解决当来自一个或多个源领域的训练样本和来自目标领域的测试样本属于不同分布或是不同特征空间表示时的问题。迁移学习的关键思想是：虽然源和目标领域之间的分布不同，但是仍然存在一些共同的跨领域知识结构，可以利用这些结构来作为知识迁移的桥梁。迁移学习大体可以分为下面四种：基于实例的迁移学习、基于参数的迁移学习、基于关联规则的迁移学习和基于特征的迁移学习。

基于特征的迁移学习（也称为特征迁移学习）的直观想法是为目标领域学习一个“好”的特征表示。源领域的知识通过特征表示迁移到目标领域，在该特征表示下，目标领域的学习性能能得到明显的提升。基于特征的迁移学习可以解决维数灾问题和不同分布问题，因此可以考虑利用其来解决高光谱数据的降维问题。流形学习在研究数据的内在结构中有很多重要的发现，常被用来研究高维数据的低维特征表示，其优点在于能够在低维空间中准确反映出数据的高维结构。Pan等提出最大平均差异嵌入（maximum meandiscrepancy embedding，MMDE）算法，通过学习一个低维子空间来降低不同领域直推迁移学习间的分布差异。经过这种处理后的数据可以直接利用传统分类器对数据进行训练和泛化。由于MMDE的计算开销较大，Pan等在此基础上，提出了一个有效的快速特征提取算法：迁移成分分析（transfer component analysis，TCA）。Wang等结合线性判别分析和聚类划分的思想，提出了迁移判别分析TDA（transferred discriminate analysis，TDA）。TDA首先使用聚类方法产生无标签数据的伪标签，然后利用判别保持的降维方法对源领域目标数据和带标签的数据进行降维，对这两个步骤迭代进行直到结果标签不再变化。利用上述特征迁移学习算法得到的特征投影矩阵均没有考虑到稀疏约束，当利用有限的训练样本处理大量测试样本集时，易于出现过拟合现象。为此，引入稀疏约束，Yang等提出迁移稀疏子空间学习-最大平均差异（transfer sparse subspace learning-maximum mean discrepancy，TSSL-MMD）和迁移稀疏子空间学习-布雷格曼散度（transfer sparse subspace learning-bregman divergence，TSSL-BD），Zhang等提出稀疏迁移流形嵌入（sparse transfermanifold embedding，STME）。TSSL-MMD需要求取源领域和目标领域样本的核矩阵，当将其用于处理像高光谱数据这类样本量非常大的数据时，TSSL-MMD的计算开销较大；另外，依据MMD准则得到的核矩阵不具有判别信息，从而会导致迁移效率降低。STME中判别流形嵌入部分将背景样本和目标样本全部考虑进去了，从而无法避免冗余的、含噪声的这些影响算法效率的样本。

发明内容

发明目的：针对上述现有技术，提出一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法，解决不同时间、不同地域或不同传感器获得高光谱数据间的知识迁移，实现在没有人工干预下自动获得成对约束样本，并避免冗余的、含噪声的样本选入；同时，避免数据降维出现过拟合现象，使得高光谱数据处理具有自然的判别能力，减少了专家标记工作。

技术方案：为解决上述技术问题，一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法，具体步骤如下：

步骤1，选择需进行分析的源领域和目标领域高光谱数据，根据需求将这些高光谱数据分成源训练样本，目标训练样本和目标测试样本；通过降维算法使所述高光谱数据从高维空间投影至一个低维子空间；

步骤2，通过成对约束将所述源训练样本和目标训练样本划分成正关联约束样本和负关联约束样本，利用所述正负关联约束样本和补丁校准框架，进行成对约束判别分析；

步骤3，利用非负稀疏表示方法计算源领域内、目标领域内和交叉域间的样本非负稀疏表示，并通过非负稀疏散度准则构建不同分布的源领域和目标领域高光谱数据之间的桥梁；

步骤4，结合所述成对约束判别分析和非负稀疏散度准则，实现不同分布高光谱数据间的特征迁移学习。

作为本发明的优选方案，所述步骤1中，输入的高光谱数据共有3个部分：

1）源领域高光谱数据的源训练样本x_i∈R^m，其对应的类别标记为其中，y_i＝{1,…,c}，m为光谱的波段数（数据维数），n₁为源训练样本个数，c为样本的类别数；x_i(i＝1,2...,n₁)为第i个训练样本、y_i(i＝1,2...,n₁)为x_i对应的类别标签；

2）目标领域高光谱数据的目标训练样本其中，n₂为目标训练样本个数；

3）目标领域高光谱数据的目标测试样本其中，n₃为目标测试样本个数；

令X＝[x₁,x₂,…,x_n]∈R^m×n，其中n＝n₁+n₂+n₃；

寻找一个m×d的投影矩阵W，将高光谱数据从高维空间投影至维数是d(d＜＜m)的低维子空间，将高维样本x转换成低维样本z，即：

z＝W^Tx∈R^d

其中，投影矩阵W＝(w₁,w₂,…,w_d)∈R^m×d，且满足正交约束W^TW＝I，w_i(i＝1,2...,d)是所述投影矩阵的第i个特征向量。

进一步地，所述步骤2中，所述成对约束判别分析方法，其目标函数定义为：

$\min (\frac{1}{{\left(N_M\right)}^2}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-\mathrm{\κ}\frac{1}{N_M{N}_C}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2)$

其中，N_M和N_C分别是x_i的正关联约束样本M和负关联约束样本C的个数，κ是控制 $\frac{1}{{\left(N_M\right)}^2}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2$ 和 $\frac{1}{N_M{N}_C}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2$ 两部分的平衡参数，i＝1,2,...,N_M，j＝1,2,...,N_M，k＝1,2,...,N_C；所述目标函数可以转化成：

$\begin{array}{c}\min \frac{1}{{\left(N_M\right)}^2}(\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-\mathrm{\κ}\frac{N_M}{N_C}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2)\\ =\min \frac{1}{{\left(N_M\right)}^2}(\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-{\mathrm{\κ}}^{\′}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2)\\ =\min \frac{1}{{\left(N_M\right)}^2}\underset{x_i\∈M}{\mathrm{\Σ}}{t}_i\end{array}$

其中，κ′＝κ(N_M/N_C)， $t_i=\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-{\mathrm{\κ}}^{\′}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2;$ 最小化t_i就实现每个样本x_i∈M投影到低维子空间时和其它相似样本相互靠近，而不相似的样本相互远离；

利用补丁校准框架求解t_i，该补丁校准框架包括两个阶段：局部最优和整体校准；基于所述补丁校准框架，通过样本x_i∈M的正关联和负关联约束来构建局部补丁，表示为：

其中，是正关联约束样本M中与x_i的欧氏距离第i小的样本，是负关联约束样本C中与x_i的欧氏距离第i小的样本；Xⁱ的相应低维子空间Zⁱ表示为：

$Z^i=W^T{X}^i\∈R^{d\×(N_M+N_C+1)};$

定义系数向量ζ：

t_i的样本局部最优转化为：

$\begin{array}{c}{t}_i=\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-{\mathrm{\κ}}^{\′}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2\\ =\underset{j=1}{\overset{N_M+N_C}{\mathrm{\Σ}}}{\left(\mathrm{\ζ}\right)}_j{\left|\right|{\left(Z^i\right)}_1-{\left(Z^i\right)}_{j+1}\left|\right|}^2\\ =\underset{j=1}{\overset{N_M+N_C}{\mathrm{\Σ}}}{\left(\mathrm{\ζ}\right)}_j{\left|\right|{\left(W^T{X}^i\right)}_1-{\left(W^T{X}^i\right)}_{j+1}\left|\right|}^2\\ =\mathrm{tr}(W^T{X}^i\left[\begin{array}{c}-e_{N_Q}^T\\ I_{N_Q}\end{array}\right]\mathrm{diag}\left(\mathrm{\ζ}\right)\left[\begin{array}{cc}-e_{N_Q}& I_{N_Q}\end{array}\right]{X^i}^{T}W)\\ =\mathrm{tr}\left(W^T{X}^i{Q}_i{X^i}^{T}W\right)\end{array}$

其中，(Z_i)_j表示Z_i的第j列，N_Q＝N_M+N_C， $Q_i=\left[\begin{array}{c}-e_{N_Q}^T\\ I_{N_Q}\end{array}\right]\mathrm{diag}\left(\mathrm{\ζ}\right)\left[\begin{array}{cc}-e_{N_Q}& I_{N_Q}\end{array}\right],$ $e_{N_Q}={[1,\·\·\·,1]}^T\∈R^{N_Q},$ 是单位矩阵；

成对约束判别分析的所述整体校准通过定义一个选择矩阵将每个局部补丁Xⁱ排列在一个坐标系中；设所述局部补丁Xⁱ选择于整体坐标X＝[x₁,x₂,…,x_n]∈R^m×n，则Xⁱ表示为Xⁱ＝XSⁱ；设选择矩阵

${\left(S^i\right)}_{\mathrm{ab}}=\left\{\begin{array}{cc}1,& a={\mathrm{\Δ}}^i\left\{b\right\}\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中，表示局部补丁样本Xⁱ的索引向量，a＝1,2,...,n，b＝1,2,...,N_Q+1，{b}表示Δⁱ中的第b个元素；将所有补丁的局部最优结合起来，得到成对约束判别分析的整体校准：

$\begin{array}{c}\underset{x_i\∈M}{\mathrm{\Σ}}\mathrm{tr}\left(W^T{X}^i{Q}_i{X^i}^{T}W\right)\\ =\underset{x_i\∈M}{\mathrm{\Σ}}\mathrm{tr}\left(W^T{\mathrm{XS}}^i{Q}_i{S^i}^T{X}^{T}W\right)\\ =\mathrm{tr}\left(W^{T}X\underset{x_i\∈M}{\mathrm{\Σ}}\right[S^i{Q}_i{S^i}^T\left]X^{T}W\right)\\ =\mathrm{tr}\left(W^T\mathrm{XQ}{X}^{T}W\right)\end{array}$

其中，整体相关矩阵将整体校准代入目标函数，则所述目标函数转化成：

$\begin{array}{c}\min (\frac{1}{{\left(N_M\right)}^2}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-\mathrm{\κ}\frac{1}{N_M{N}_C}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2)\\ =\underset{W}{\min }\frac{1}{{\left(N_M\right)}^2}\mathrm{tr}\left(W^T\mathrm{XQ}{X}^{T}W\right)\end{array}.$

进一步地，所述步骤3中，所述非负稀疏散度准则：

令表示在低维子空间中源领域和目标领域间不同分布的距离估计，通过最小化如下式的目标函数，实现估计不同分布样本间的距离：

其中，为低维子空间中源领域训练样本，为低维子空间中目标领域训练样本， 此处，采用具有自然判别能力的非负稀疏表示方法构建散度准则，非负稀疏表示表示为如下l₀范数优化问题：

$\begin{array}{cc}\underset{h_i}{\min }& {\left|\right|h_i\left|\right|}_0\end{array}$

s.t.x_i＝Dh_i；h_i≥0

其中，或为超完备字典，||h_i||₀表示h_i的l₀范数，||h_i||₀的值为h_i中非零元素的个数，h_i＝[h_i,1,…,h_i,i-1,0,h_i,i+1,…,h_i,n]^T∈Rⁿ，h_ij表示第j(j＝1,...,i-1,0,i+1,...,n)个样本x_j对重构样本x_i所做出的贡献；由于将x_i从D中去除，所以h_i中第i个元素为0，即x_i＝h_i,1x₁+…+h_i,i-1x_i-1+h_i,i+1x_i+1+…+h_i,nx_n；在解稀疏的条件下，为避免NP难的非凸组合优化问题，采用求解l₁范数的方法来近似取代求解l₀范数的方法，以降低计算复杂度：

$\begin{array}{cc}\underset{h_i}{\min }& {\left|\right|h_i\left|\right|}_1\end{array}$

s.t.x_i＝Dh_i；1＝1^T·h_i；h_i≥0

其中，1∈Rⁿ是全1向量；利用非负最小二乘法求解上式，得重构误差

$\underset{h}{\min }E\left(\tilde{H}\right)=\underset{h}{\min }{\left|\right|D-\mathrm{DH}\left|\right|}_2^2+\mathrm{\γ}{\left|\right|h_i\left|\right|}_1$

s.t.h_ij≥0；h_ii＝0；1＝1^Th_i

其中，γ是大于0的实数；

根据所述重构误差，计算每一个样本x_i最优的非负稀疏重构权重向量则非负稀疏重构权重矩阵从而，所述目标函数转化成：

即，所述目标函数变成最小化样本非负稀疏表示向量之间的特征图，转化成：

$\mathrm{Dist}(Z_{\mathrm{tr}}^S,Z_{\mathrm{tr}}^T)=\mathrm{tr}\left({\mathrm{ZHLZ}}^T\right)$

其中，非负稀疏矩阵H是由嵌入空间中的源领域内H_S,S、目标领域内H_T,T和交叉域间H_ST3个非负稀疏矩阵构成，Z为和的集合，则非负稀疏矩阵H表示为：

$H=\left[\begin{array}{cc}{H}_{S,S}& H_{S,T}\\ H_{T,S}& H_{T,T}\end{array}\right]\∈R^{(n_1+n_2)\×(n_1+n_2)}$

系数矩阵表示为：

$L_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{1}{n_1^2}& x_i,x_j\∈X_{\mathrm{tr}}^S\\ \frac{1}{n_2^2}& x_i,x_j\∈X_{\mathrm{tr}}^T\\ -\frac{1}{n_1{n}_2}& \mathrm{otherwise}\end{array}\right.$

因为z＝W^Tx∈R^d，则所述目标函数可转化成：

$\mathrm{Dist}(Z_{\mathrm{tr}}^S,Z_{\mathrm{tr}}^T)=\mathrm{tr}\left(W^T\mathrm{XHL}{X}^{T}W\right).$

进一步地，所述步骤4中特征迁移学习步骤如下：

为能从源领域到目标领域迁移样本的判别信息，将成对约束判别分析和非负稀疏分布散度准则的潜在的特征空间结构，通过权衡参数β∈[0,1]连接起来；同时增加正则约束W^TW＝I来避免广义特征分解的秩亏现象，则有：

$\begin{array}{c}\underset{W^{T}W=I}{\min }(1-\mathrm{\β})\frac{1}{{\left(N_M\right)}^2}\mathrm{tr}\left(W^T\mathrm{XQ}{X}^{T}W\right)+\mathrm{\βtr}\left(W^T\mathrm{HLHW}\right)\\ =\underset{W^{T}W=I}{\min }\mathrm{tr}\left[W^T((1-\mathrm{\β})\frac{1}{{\left(N_M\right)}^2}{\mathrm{XQX}}^T+{\mathrm{\βXHLX}}^T)W\right]\end{array}.$

有益效果：本发明的技术方案结合成对约束判别分析和非负稀疏散度准则，实现源高光谱数据到目标高光谱数据知识迁移。本发明的工作原理如下：首先，根据一种能自动获得包含判别信息的成对约束样本，提出成对约束判别分析；然后，设计一种非负稀疏散度准则来构建不同分布的源领域和目标领域高光谱数据之间的桥梁；最后，结合这两部分，实现源高光谱数据到目标高光谱数据的知识迁移。（1）解决了不同时间、不同地域或不同传感器获得高光谱数据间的知识迁移；（2）约束判别分析方法使正关联约束样本与负关联约束样本相互分开，并保持数据分布的局部结构的成对；（3）成对约束判别分析方法中的成对约束样本不同于标记样本，不但有时候可以在没有人工干预下自动获得，而且能够很好地避免冗余的、含噪声的样本选入；（4）测量不同数据分布间的非负稀疏散度准则引入了非负稀疏约束，避免或至少降低了过拟合现象，且具有自然的判别能力，减少了专家标记工作。BOT5-BOT7、(BOT5+BOT6)-BOT7、KSC3-KSC和92AV3C-ACRE高光谱数据组上的实验结果表明，所提算法能有效地利用源领域高光谱数据的信息去分析目标领域高光谱数据并获得较高的整体分类精度和Kappa系数，获得的分类效果图更 清晰、平滑，细节更丰富。

附图说明

图1为基于成对约束判别分析-非负稀疏散度的高光谱数据降维流程图；

图2为成对约束判别分析示意图；

图3-a为BOT5、BOT6和BOT7高光谱数据的假彩色图及类别标签图；

图3-b为KSC3和KSC高光谱数据的假彩色合成图及类别标签图；

图3-c为92AV3C和ACRE高光谱数据的假彩色合成图及类别标签图；

图4为成对约束个数与整体分类精度的关系；

图5-a为BOT5-BOT7的平衡参数κ和β与整体分类精度的关系；

图5-b为KSC3-KSC的平衡参数κ和β与整体分类精度的关系；

图5-c为92AV3C-ACRE的平衡参数κ和β与整体分类精度的关系；

图6-a为BOT5-BOT7的整体分类精度与低维子空间维数关系；

图6-b为(BOT5+BOT6)-BOT7的整体分类精度与低维子空间维数关系；

图6-c为KSC3-KSC的整体分类精度与低维子空间维数关系；

图6-d为92AV3C-ACRE的整体分类精度与低维子空间维数关系；

图7-a为BOT5-BOT7的Kappa系数与低维子空间维数关系；

图7-b为(BOT5+BOT6)-BOT7的Kappa系数与低维子空间维数关系；

图7-c为KSC3-KSC的Kappa系数与低维子空间维数关系；

图7-d为92AV3C-ACRE的Kappa系数与低维子空间维数关系；

图8-a为92AV3C-ACRE高光谱数据中目标高光谱数据的真实标记图；

图8-b为92AV3C-ACRE高光谱数据中PCDA-NSD方法的分类效果；

图8-c为92AV3C-ACRE高光谱数据中TSSL-MMD方法的分类效果；

图8-d为92AV3C-ACRE高光谱数据中TCA方法的分类效果；

图8-e为92AV3C-ACRE高光谱数据中STME方法的分类效果；

图8-f为92AV3C-ACRE高光谱数据中PCA方法的分类效果；

图8-g为92AV3C-ACRE高光谱数据中SVM方法的分类效果。

具体实施方式

下面结合具体附图和实例对本发明的实施方式进行详细说明。

实施例1：一种基于成对约束判别分析-非负稀疏散度（pairwise constraintsdiscriminative analysis-non-negative sparse divergence，PCDA-NSD）的高光谱数据降维方法，该降维方法针对随着目标高光谱数据的增多，可直接利用的源高光谱数据越来越少，且当源高光谱数据和目标高光谱数据来自不同分布时，很多先进的基于机器学习的高光谱数据分类算法的分类性能变差。首先，根据一种能自动获得包含判别信息的成对约束样本，提出成对约束判别分析；然后，设计一种非负稀疏散度准则来构建不同分布的源领域和目标领域高光谱数据之间的桥梁；最后，结合这两部分，实现源高光谱数据到目标高光谱数据的知识迁移。

具体步骤如下：

步骤1，选择需进行分析的源领域和目标领域高光谱数据，根据需求将这些高光谱数据分成源训练样本，目标训练样本和目标测试样本；通过降维算法使高光谱数据从高维空间投影至一个低维子空间；

步骤2，通过成对约束将源训练样本和目标训练样本划分成正关联约束样本和负关联约束样本，利用正负关联约束样本和补丁校准框架，进行成对约束判别分析；

步骤3，利用非负稀疏表示方法计算源领域内、目标领域内和交叉域间的样本非负稀疏表示，并通过非负稀疏散度准则构建不同分布的源领域和目标领域高光谱数据之间的桥梁；

步骤4，结合成对约束判别分析和非负稀疏散度准则，实现不同分布高光谱数据间的特征迁移学习。

其中，步骤1中，输入的高光谱数据共有3个部分：

1）源领域高光谱数据的源训练样本x_i∈R^m，其对应的类别标记为其中，y_i＝{1,…,c}，m为光谱的波段数（数据维数），n₁为源训练样本个数，c为样本的类别数；x_i(i＝1,2...,n₁)为第i个训练样本、y_i(i＝1,2...,n₁)为x_i对应的类别标签；

2）目标领域高光谱数据的目标训练样本其中，n₂为目标训练样本个数；

3）目标领域高光谱数据的目标测试样本其中，n₃为目标测试样本个数；

令X＝[x₁,x₂,…,x_n]∈R^m×n，其中n＝n₁+n₂+n₃；

寻找一个m×d的投影矩阵W，将高光谱数据从高维空间投影至维数是d(d＜＜m)的低维子空间，将高维样本x转换成低维样本z，即：

z＝W^Tx∈R^d

其中，投影矩阵W＝(w₁,w₂,…,w_d)∈R^m×d，且满足正交约束W^TW＝I，w_i(i＝1,2...,d)是投影矩阵的第i个特征向量。

其中，步骤2中，成对约束判别分析方法，其目标函数定义为：

$\min (\frac{1}{{\left(N_M\right)}^2}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-\mathrm{\κ}\frac{1}{N_M{N}_C}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2)$

其中，N_M和N_C分别是x_i的正关联约束样本M和负关联约束样本C的个数，κ是控制 $\frac{1}{{\left(N_M\right)}^2}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2$ 和 $\frac{1}{N_M{N}_C}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2$ 两部分的平衡参数，i＝1,2,...,N_M，j＝1,2,...,N_M，k＝1,2,...,N_C；目标函数可以转化成：

$\begin{array}{c}\min \frac{1}{{\left(N_M\right)}^2}(\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-\mathrm{\κ}\frac{N_M}{N_C}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2)\\ =\min \frac{1}{{\left(N_M\right)}^2}(\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-{\mathrm{\κ}}^{\′}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2)\\ =\min \frac{1}{{\left(N_M\right)}^2}\underset{x_i\∈M}{\mathrm{\Σ}}{t}_i\end{array}$

其中，κ′＝κ(N_M/N_C)， $t_i=\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-{\mathrm{\κ}}^{\′}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2;$ 最小化t_i就实现每个样本x_i∈M投影到低维子空间时和其它相似样本相互靠近，而不相似的样本相互远离；

利用补丁校准框架求解t_i，该补丁校准框架包括两个阶段：局部最优和整体校准；基于补丁校准框架，通过样本x_i∈M的正关联和负关联约束来构建局部补丁，表示为：

其中，是正关联约束样本M中与x_i的欧氏距离第i小的样本，是负关联约束样本C中与x_i的欧氏距离第i小的样本；Xⁱ的相应低维子空间Zⁱ表示为：

$Z^i=W^T{X}^i\∈R^{d\×(N_M+N_C+1)};$

定义系数向量ζ：

t_i的样本局部最优转化为：

$\begin{array}{c}{t}_i=\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-{\mathrm{\κ}}^{\′}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2\\ =\underset{j=1}{\overset{N_M+N_C}{\mathrm{\Σ}}}{\left(\mathrm{\ζ}\right)}_j{\left|\right|{\left(Z^i\right)}_1-{\left(Z^i\right)}_{j+1}\left|\right|}^2\\ =\underset{j=1}{\overset{N_M+N_C}{\mathrm{\Σ}}}{\left(\mathrm{\ζ}\right)}_j{\left|\right|{\left(W^T{X}^i\right)}_1-{\left(W^T{X}^i\right)}_{j+1}\left|\right|}^2\\ =\mathrm{tr}(W^T{X}^i\left[\begin{array}{c}-e_{N_Q}^T\\ I_{N_Q}\end{array}\right]\mathrm{diag}\left(\mathrm{\ζ}\right)\left[\begin{array}{cc}-e_{N_Q}& I_{N_Q}\end{array}\right]{X^i}^{T}W)\\ =\mathrm{tr}\left(W^T{X}^i{Q}_i{X^i}^{T}W\right)\end{array}$

其中，(Z_i)_j表示Z_i的第j列，N_Q＝N_M+N_C， $Q_i=\left[\begin{array}{c}-e_{N_Q}^T\\ I_{N_Q}\end{array}\right]\mathrm{diag}\left(\mathrm{\ζ}\right)\left[\begin{array}{cc}-e_{N_Q}& I_{N_Q}\end{array}\right],$ $e_{N_Q}={[1,\·\·\·,1]}^T\∈R^{N_Q},$ 是单位矩阵；

成对约束判别分析的整体校准通过定义一个选择矩阵将每个局部补丁Xⁱ排列在一个坐标系中；设局部补丁Xⁱ选择于整体坐标X＝[x₁,x₂,…,x_n]∈R^m×n，则Xⁱ表示为Xⁱ＝XSⁱ；设选择矩阵

${\left(S^i\right)}_{\mathrm{ab}}=\left\{\begin{array}{cc}1,& a={\mathrm{\Δ}}^i\left\{b\right\}\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中，表示局部补丁样本Xⁱ的索引向量，a＝1,2,...,n，b＝1,2,...,N_Q+1，{b}表示Δⁱ中的第b个元素；将所有补丁的局部最优结合起来，得到成对约束判别分析的整体校准：

$\begin{array}{c}\underset{x_i\∈M}{\mathrm{\Σ}}\mathrm{tr}\left(W^T{X}^i{Q}_i{X^i}^{T}W\right)\\ =\underset{x_i\∈M}{\mathrm{\Σ}}\mathrm{tr}\left(W^T{\mathrm{XS}}^i{Q}_i{S^i}^T{X}^{T}W\right)\\ =\mathrm{tr}\left(W^{T}X\underset{x_i\∈M}{\mathrm{\Σ}}\right[S^i{Q}_i{S^i}^T\left]X^{T}W\right)\\ =\mathrm{tr}\left(W^T\mathrm{XQ}{X}^{T}W\right)\end{array}$

其中，整体相关矩阵将整体校准代入目标函数，则目标函数转化成：

$\begin{array}{c}\min (\frac{1}{{\left(N_M\right)}^2}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}{\left|\right|z_i-z_j\left|\right|}^2-\mathrm{\κ}\frac{1}{N_M{N}_C}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}{\left|\right|z_i-z_k\left|\right|}^2)\\ =\underset{W}{\min }\frac{1}{{\left(N_M\right)}^2}\mathrm{tr}\left(W^T\mathrm{XQ}{X}^{T}W\right)\end{array}.$

其中，步骤3中，非负稀疏散度准则：

步骤2中的成对约束判别分析能够很好地处理源领域和目标领域中样本是独立同分布的数据。但是，在迁移学习中，一般情况下同时低维子空间的数据分布也是不同的，即因此，在确保它们在低维子空间中相互靠近的同时，需要考虑和Q(Z^T)不同分布的情况。令表示在低维子空间中源领域和目标领域间不同分布的距离估计，通过最小化如下式的目标函数，实现估计不同分布样本间的距离：

其中，为低维子空间中源领域训练样本，为低维子空间中目标领域训练样本， 此处，采用具有自然判别能力的非负稀疏表示方法构建散度准则，非负稀疏表示表示为如下l₀范数优化问题：

$\begin{array}{cc}\underset{h_i}{\min }& {\left|\right|h_i\left|\right|}_0\end{array}$

s.t.x_i＝Dh_i；h_i≥0

其中，或为超完备字典，||h_i||₀表示h_i的l₀范数，||h_i||₀的值为h_i中非零元素的个数，h_i＝[h_i,1,…,h_i,i-1,0,h_i,i+1,…,h_i,n]^T∈Rⁿ，h_ij表示第j(j＝1,...,i-1,0,i+1,...,n)个样本x_j对重构样本x_i所做出的贡献；由于将x_i从D中去除，所以h_i中第i个元素为0，即x_i＝h_i,1x₁+…+h_i,i-1x_i-1+h_i,i+1x_i+1+…+h_i,nx_n；上式是一个NP难的非凸组合优化问题。但是，在解足够稀疏的条件下，可采用求解局部最优的贪婪迭代算法，如正交匹配追踪算法，即用求解l₁范数的方法来近似取代求l₀范数的方法，以降低计算复杂度：

$\begin{array}{cc}\underset{h_i}{\min }& {\left|\right|h_i\left|\right|}_1\end{array}$

s.t.x_i＝Dh_i；1＝1^T·h_i；h_i≥0

其中，1∈Rⁿ是全1向量；利用非负最小二乘法求解上式，得重构误差

$\underset{h}{\min }E\left(\tilde{H}\right)=\underset{h}{\min }{\left|\right|D-\mathrm{DH}\left|\right|}_2^2+\mathrm{\γ}{\left|\right|h_i\left|\right|}_1$

s.t.h_ij≥0；h_ii＝0；1＝1^Th_i

其中，γ是大于0的实数；

根据重构误差，计算每一个样本x_i最优的非负稀疏重构权重向量则非负稀疏重构权重矩阵从而，目标函数转化成：

即，目标函数变成最小化样本非负稀疏表示向量之间的特征图，转化成：

$\mathrm{Dist}(Z_{\mathrm{tr}}^S,Z_{\mathrm{tr}}^T)=\mathrm{tr}\left({\mathrm{ZHLZ}}^T\right)$

其中，非负稀疏矩阵H是由嵌入空间中的源领域内H_S,S、目标领域内H_T,T和交叉域间H_S,T3个非负稀疏矩阵构成，Z为和的集合，则非负稀疏矩阵H表示为：

$H=\left[\begin{array}{cc}{H}_{S,S}& H_{S,T}\\ H_{T,S}& H_{T,T}\end{array}\right]\∈R^{(n_1+n_2)\×(n_1+n_2)}$

系数矩阵表示为：

$L_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{1}{n_1^2}& x_i,x_j\∈X_{\mathrm{tr}}^S\\ \frac{1}{n_2^2}& x_i,x_j\∈X_{\mathrm{tr}}^T\\ -\frac{1}{n_1{n}_2}& \mathrm{otherwise}\end{array}\right.$

因为z＝W^Tx∈R^d，则目标函数可转化成：

$\mathrm{Dist}(Z_{\mathrm{tr}}^S,Z_{\mathrm{tr}}^T)=\mathrm{tr}\left(W^T\mathrm{XHL}{X}^{T}W\right).$

其中，步骤4中特征迁移学习步骤如下：

为能从源领域到目标领域迁移样本的判别信息，将成对约束判别分析和非负稀疏分布散度准则的潜在的特征空间结构，通过权衡参数β∈[0,1]连接起来；同时增加正则约束W^TW＝I来避免广义特征分解的秩亏现象，则有：

$\begin{array}{c}\underset{W^{T}W=I}{\min }(1-\mathrm{\β})\frac{1}{{\left(N_M\right)}^2}\mathrm{tr}\left(W^T\mathrm{XQ}{X}^{T}W\right)+\mathrm{\βtr}\left(W^T\mathrm{HLHW}\right)\\ =\underset{W^{T}W=I}{\min }\mathrm{tr}\left[W^T((1-\mathrm{\β})\frac{1}{{\left(N_M\right)}^2}{\mathrm{XQX}}^T+{\mathrm{\βXHLX}}^T)W\right]\end{array}.$

实施例2：通过真实高光谱数据（Hyperion Botswana、AVIRIS KSC、AVIRIS 92AV3C和ProSpecTIR ACER）实验，将本发明的PCDA-NSD与现有的TSSL-MMD、TCA、STME、PCA降维算法及SVM分类算法进行比较，为比较的公平性，统一采用SVM（Support Vector Machine，支持向量机）进行监督分类，SVM的核函数为高斯核函数且核函数的宽度和惩罚因子采用5重交叉验证得到。为消除随机因素影响，每个实验均做20次，取平均值。证明PCDA-NSD的优越性。

结合图1，图中显示了使用PCDA-NSD方法对高光谱数据进行降维分类处理的关键步 骤，主要包括四个步骤：第一：选择需进行分析的源领域和目标领域高光谱数据，根据需求将这些高光谱数据分成源训练样本，目标训练样本和目标测试样本；第二：通过PCDA-NSD降维算法得到训练样本的投影矩阵W；第三：用求得的投影矩阵把训练样本和测试样本投影到低维子空间中；第四：根据SVM分类器进行分类处理，得到分类结果。

结合图2，图中显示了PCDA方法的示意图，图中实线相连的正关联约束样本表示相似样本，虚线和双点划线相连的负关联约束样本表示不相似且具有各自分布的样本。为了最大限度地分开负关联约束样本，同时使正关联约束样本分享同一个子空间，希望在低维子空间中，正关联约束样本间的欧氏距离尽可能的小，负关联约束样本之间的欧氏距离尽可能的大。

结合图3，Hyperion Botswana高光谱数据是分别于2001年5月、6月和7月由NASA的EO-1卫星上的Hyperion传感器获取的南非博茨瓦拉（Botswana）Okavango三角洲地区的3幅影像，分别为BOT5、BOT6和BOT7。可以看出，BOT5、BOT6和BOT7为相同星载传感器对同一地区、不同时间收集到的高光谱数据。光谱范围0.44μm～2.5μm，大小为1476×256像素，242个波段，10nm光谱分辨率。影像经过辐射校正，去除噪音、大气及水吸收和重叠波段，剩下的10-55、82-97、102-119、134-164、187-220共145个波段用于分类实验。地物覆盖类型的样本采集用来反映所研究地区洪水对植被的影响，样本采集根据植被测量和航空摄影测量获得。图3-a为BOT5、BOT6和BOT7高光谱数据的假彩色合成图及类别标记图。

AVIRIS KSC高光谱数据来源于肯尼迪空间中心（Kennedy Space Center, KSC）遥感研究组，1996年拍摄于弗罗里达州KSC附近的两个不同的地域，如图3-b所示。观测区域覆盖512行，614列，包括176个波段，地面分辨率为18m。图3-b中KSC包含13类地物，而KSC3包含10类地物。为了便于迁移学习，我们只选取2个地域中的10类地物进行实验。可以看出，KSC和KSC3为相同星载传感器对不同地区、相似地物收集到的高光谱数据。

AVIRIS 92AV3C高光谱数据是1992年由Airborne Visible/Infrared ImagingSpectrometer sensor获取的印第安纳州西北部农业区影像，光谱范围0.4μm～2.45μm，大小为145×145像素，220个波段，20m光谱分辨率。ProSpecTIR ACRE高光谱数据是2008年由ProSpecTIR instrument获取的Agronomy Center for Research and Education(ACRE)farm operated by Purdue University，光谱范围0.4μm～2.48μm， 大小为449×424像素，360波段，2m光谱分辨率。这2个高光谱数据中包含的波段数不相同，为此，对ACER高光谱数据进行预处理，剔除140个波段，只保留220个波段。从2个高光谱数据中选取8类相同地物，做迁移学习实验。图3-c为92AV3C和ACRE高光谱数据的假彩色合成图及类别标记图。可以看出，92AV3C和ACER为不同星载传感器对不同地区、相似地物收集到的高光谱数据。

结合图4，构造3组高光谱数据进行特征迁移学习实验，分析各参数对PCDA-NSD性能的影响：（1）BOT5为源领域，BOT7为目标领域，表示为BOT5-BOT7；（2）KSC3为源领域，KSC为目标领域，表示为KSC3-KSC；（3）92AV3C为源领域，ACRE为目标领域，表示为92AV3C-ACRE。源领域的样本全部作为训练样本，由于BOT7和KSC的样本量较少，分别从BOT7和KSC中选择10%的样本作为第1组和第2组实验的目标领域训练样本，剩下的90%的样本为测试样本。对于第3组实验来说，由于ACRE的样本量较大，从ACRE中选择1%的样本做为目标领域训练样本，剩下的99%样本为测试样本。令κ＝1，β＝0.5，d＝10，分析正负关联约束样本的个数N_M和N_C对算法性能的影响。通常情况下，在成对约束中，正负关联约束样本的个数N_M等于N_C。图4给出高光谱数据的成对约束个数与整体分类精度之间的关系曲线。由图可见，随着成对约束个数的增加，3组高光谱数据的整体分类精度先是随之增加，在达到峰值后开始下降。当N_M＝N_c＝50时，BOT5-BOT7组的整体分类精度达到峰值。当N_M＝N_c＝100时，KSC3-KSC和92AV3C-ACRE组的整体分类精度达到峰值。因此，在后续实验中，统一选择整体分类精度达到峰值时的成对约束个数，即BOT5-BOT7组实验中的N_M＝N_c＝50，KSC3-KSC和92AV3C-ACRE组实验中的N_M＝N_c＝100。

结合图5，分析PCDA-NSD算法中平衡参数κ和β对3组高光谱数据整体分类精度的影响，其中β∈[0,1]，κ采用对数坐标，即κ∈[10^-2,10²]，如图5所示。从中可以看出，随着平衡参数κ和β的变化，3组高光谱数据的整体分类精度的变化幅度较小，即平衡参数κ和β对算法的整体分类精度影响很小。因此，后续实验中，统一取κ＝1，β＝0.5。

结合图6和图7，为进一步验证算法的有效性，设计一组用于多源特征迁移学习的高光谱数据，即将BOT5和BOT6作为2个源领域，BOT7为目标领域，表示为(BOT5+BOT6)-BOT7。从BOT7数据集中选择10%的样本做为训练样本，剩下的90%样本为测试样本。分别采用PCDA-NSD、TSSL-MMD、TCA、STME、PCA降维算法及SVM分类算法共6种算法对4组高光谱数据进行降维并分类。图6和图7分别给出了各组高光谱数据上的整体分类精度和Kappa系数与低维子空间维数的关系图。由图6和图7可得：（1）在4组高光谱实验中，SVM和PCA的整体分类精度和Kappa系数最低，因为它们没有将源和目标领域的高光谱数据分布不同考虑进去。这也导致PCA在KSC3-KSC高光谱数据上降维时，产生了负效果，故其所获得整体分类精度和Kappa系数低于SVM。（2）PCDA-NSD所获得的整体分类精度和Kappa系数均高于TSSL-MMD、TCA和STME等迁移学习算法。因为PCDA-NSD采用非负稀疏表示方法求不同分布数据间的散度准则，其具有自然的判别能力，所以要高于采用无监督散度估计的TSSL-MMD和TCA。PCDA-NSD引入成对约束对数据进行判别分析，能获得比STME更有效的判别信息，并避免了冗余的、噪声数据的选择。（3）在BOT5-BOT7和BOT5 and BOT6-BOT7高光谱数据中，源领域高光谱数据从一源变成两个源，随着源数据的增加，除SVM其它算法所获得的整体分类精度和Kappa系数都会随之提高，PCDA-NSD获得效果最好，说明可以较好的利用旧数据源解决新数据问题。（4）92AV3C-ACRE高光谱数据中，SVM获得非常低的整体分类精度和Kappa系数，主要因为ACRE的数据量非常大，标记样本只有1%，又没有迁移92AV3C高光谱数据中信息能力，训练不出好的分类器。

为了评价各降维算法在对高光谱数据分别降到1到30维中，获得最高整体分类精度时的各项性能指标，如表1所示，其中整体分类精度（Overall Accuracy，OA(%)）、Kappa系数、d表示低维子空间维数、t1表示降维时间和t2表示分类时间。从表1可知：（1）PCDA-NSD降维所需时间要比TSSL-MMD、TCA和STME等迁移学习算法耗费的时间少很多。随着数据量增加，PCDA-NSD较其它迁移学习算法减少的时间越多。主要是因为PCDA-NSD避免计算负担重的核函数计算和SDP求解。（2）在处理92AV3C-ACRE大规模高光谱数据集时，TCA、TSSL-MMD和STME的降维耗时都超过了3位数，甚至达到了5位数。说明这些算法不适宜处理大规模数据。（3）PCDA-NSD降维耗时要比PCA的多，但能提高很多的整体分类精度和Kappa系数，且具有PCA没有的知识迁移能力。（4）PCDA-NSD在降到1到30维中，所获得的最高整体分类精度和Kappa系数均高于其它算法，降维效果和迁移效果都好。

表1 各种降维算法的性能指标对比

结合图8，图中给出92AV3C-ACRE高光谱数据的分类效果图。由图可以看出去，SVM和PCA只将8类的ACRE高光谱数据分成了2类和3类。主要是因为ACRE高光谱数据中每类地物的样本个数非常不均匀，并且Corn和Soybean这2大类地物中包含不同量上季度作物残留物，部分还是裸地（即这几种地物光谱曲线相近，类间光谱重叠大，谱间相似度小使得此高光谱数据分类难度较大）。PCDA-NSD分类效果优于TSSL-MMD，稍好于TCA和STME。总之，通过PCDA-NSD降维后的分类效果图更清晰、平滑，细节更丰富。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法，其特征在于，具体步骤如下：

步骤1，选择需进行分析的源领域和目标领域高光谱数据，根据需求将这些高光谱数据分成源训练样本，目标训练样本和目标测试样本；通过降维算法使所述高光谱数据从高维空间投影至一个低维子空间；

步骤2，通过成对约束将所述源训练样本和目标训练样本划分成正关联约束样本和负关联约束样本，利用所述正负关联约束样本和补丁校准框架，进行成对约束判别分析；

步骤3，利用非负稀疏表示方法计算源领域内、目标领域内和交叉域间的样本非负稀疏表示，并通过非负稀疏散度准则构建不同分布的源领域和目标领域高光谱数据之间的桥梁；

步骤4，结合所述成对约束判别分析和非负稀疏散度准则，实现不同分布高光谱数据间的特征迁移学习；

其中，所述步骤1中，输入的高光谱数据共有3个部分：

1)源领域高光谱数据的源训练样本x_i∈R^m，其对应的类别标记为其中，y_i＝{1,…,c}，m为光谱的波段数，n₁为源训练样本个数，c为样本的类别数；x_i为第i个训练样本，y_i为x_i对应的类别标签，其中i＝1,2...,n₁；

2)目标领域高光谱数据的目标训练样本其中，n₂为目标训练样本个数；

3)目标领域高光谱数据的目标测试样本其中，n₃为目标测试样本个数；

令X＝[x₁,x₂,…,x_n]∈R^m×n，其中n＝n₁+n₂+n₃；

寻找一个m×d的投影矩阵W，将高光谱数据从高维空间投影至维数是d的低维子空间，d＜＜m，将高维样本x转换成低维样本z，即：

z＝W^Tx∈R^d

其中，投影矩阵W＝(w₁,w₂,…,w_d)∈R^m×d，且满足正交约束W^TW＝I，w_i是所述投影矩阵的第i个特征向量，其中i＝1,2...,d；

所述步骤2中，所述成对约束判别分析方法，其目标函数定义为：

$\min \left(\frac{1}{{\left(N_M\right)}^2}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}\left|\right|z_i-z_j|{|}^2-\mathrm{\κ}\frac{1}{N_M{N}_C}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}||z_i-z_k|{|}^2\right)$

其中，N_M和N_C分别是x_i的正关联约束样本M和负关联约束样本C的个数，κ是控制和两部分的平衡参数，z_i表示第i个低维样本，z_j表示第j个低维样本，z_k表示第k个低维样本，i＝1,2,...,N_M，j＝1,2,...,N_M，k＝1,2,...,N_C；所述目标函数可以转化成：

$\begin{array}{c}\min \frac{1}{{\left(N_M\right)}^2}\left(\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}\left|\right|z_i-z_j|{|}^2-\mathrm{\κ}\frac{N_M}{N_C}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}||z_i-z_k|{|}^2\right)\\ =\min \frac{1}{{\left(N_M\right)}^2}\left(\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}\left|\right|z_i-z_j|{|}^2-{\mathrm{\κ}}^{\′}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}||z_i-z_k|{|}^2\right)\\ =\min \frac{1}{{\left(N_M\right)}^2}\underset{x_i\∈M}{\mathrm{\Σ}}{t}_i\end{array}$

其中，κ′＝κ(N_M/N_C)，最小化t_i就实现每个样本x_i∈M投影到低维子空间时和其它相似样本相互靠近，而不相似的样本相互远离；

利用补丁校准框架求解t_i，该补丁校准框架包括两个阶段：局部最优和整体校准；基于所述补丁校准框架，通过样本x_i∈M的正关联和负关联约束来构建局部补丁，表示为：

$X^i=\[x_i,x_1^M,...,x_{N_M}^M,x_1^C,...,x_{N_C}^C\]\∈R^{m\×(N_M+N_C+1)}$

其中，是正关联约束样本M中与x_i的欧氏距离第i小的样本，是负关联约束样本C中与x_i的欧氏距离第i小的样本；Xⁱ的相应低维子空间Zⁱ表示为：

$Z^i=W^T{X}^i\∈R^{d\×(N_M+N_C+1)};$

定义系数向量ζ：

t_i的样本局部最优转化为：

$\begin{array}{c}{t}_i=\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}\left|\right|z_i-z_j|{|}^2-{\mathrm{\κ}}^{\′}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}||z_i-z_k|{|}^2\\ =\underset{j=1}{\overset{N_M+N_C}{\mathrm{\Σ}}}{\left(\mathrm{\ζ}\right)}_j\left|\right|{\left(Z^i\right)}_1-{\left(Z^i\right)}_{j+1}|{|}^2\\ =\underset{j=1}{\overset{N_M+N_C}{\mathrm{\Σ}}}{\left(\mathrm{\ζ}\right)}_j\left|\right|{\left(W^T{X}^i\right)}_1-{\left(W^T{X}^i\right)}_{j+1}|{|}^2\\ =tr\left(W^T{X}^i\left[\begin{array}{c}-e_{N_Q}^T\\ I_{N_Q}\end{array}\right]diag\left(\mathrm{\ζ}\right)\left[\begin{array}{cc}-e_{N_Q}& I_{N_Q}\end{array}\right]X^{i^T}W\right)\\ =tr\left(W^T{X}^i{Q}_i{X}^{i^T}W\right)\end{array}$

其中，(Zⁱ)_j+1表示Zⁱ的第j+1列，N_Q＝N_M+N_C， 是单位矩阵；

成对约束判别分析的所述整体校准通过定义一个选择矩阵将每个局部补丁Xⁱ排列在一个坐标系中；设所述局部补丁Xⁱ选择于整体坐标X＝[x₁,x₂,…,x_n]∈R^m×n，则Xⁱ表示为Xⁱ＝XSⁱ；设选择矩阵

${\left(S^i\right)}_{ab}=\left\{\begin{array}{cc}1,& a={\mathrm{\Δ}}^i\left\{b\right\}\\ 0,& otherwise\end{array}\right.$

其中，表示局部补丁样本Xⁱ的索引向量，a＝1,2,...,n，b＝1,2,...,N_Q+1，{b}表示Δⁱ中的第b个元素；将所有补丁的局部最优结合起来，得到成对约束判别分析的整体校准：

$\begin{array}{c}\underset{x_i\∈M}{\mathrm{\Σ}}tr\left(W^T{X}^i{Q}_i{X}^{i^T}W\right)\\ =\underset{x_i\∈M}{\mathrm{\Σ}}tr\left(W^T{\mathrm{XS}}^i{Q}_i{S}^{i^T}{X}^{T}W\right)\\ =tr\left(W^{T}X\underset{x_i\∈M}{\mathrm{\Σ}}\[S^i{Q}_i{S}^{i^T}\]X^{T}W\right)\\ =tr\left(W^T{\mathrm{XQX}}^{T}W\right)\end{array}$

其中，整体相关矩阵将整体校准代入目标函数，则所述目标函数转化成：

$\begin{array}{c}\min \left(\frac{1}{{\left(N_M\right)}^2}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_j\∈M}{\mathrm{\Σ}}\left|\right|z_i-z_j|{|}^2-\mathrm{\κ}\frac{1}{N_M{N}_C}\underset{x_i\∈M}{\mathrm{\Σ}}\underset{x_k\∈C}{\mathrm{\Σ}}||z_i-z_k|{|}^2\right)\\ =\underset{W}{\min }\frac{1}{{\left(N_M\right)}^2}tr\left(W^T{\mathrm{XQX}}^{T}W\right)\end{array};$

所述步骤3中，所述非负稀疏散度准则：

令表示在低维子空间中源领域和目标领域间不同分布的距离估计，通过最小化如下式的目标函数，实现估计不同分布样本间的距离：

其中，为低维子空间中源领域训练样本，为低维子空间中目标领域训练样本，此处，采用具有自然判别能力的非负稀疏表示方法构建散度准则，非负稀疏表示表示为如下l₀范数优化问题：

$\begin{array}{cc}\underset{h_i}{min}& \left|\right|h_i|{|}_0\end{array}$

s.t.x_i＝Dh_i；h_i≥0

其中，或为超完备字典，||h_i||₀表示h_i的l₀范数，||h_i||₀的值为h_i中非零元素的个数，h_i＝[h_i,1,…,h_i，i-1,0,h_i,i+1,…,h_i,n]^T∈Rⁿ，h_ij表示第j(j＝1,...,i-1,0,i+1,...,n)个样本x_j对重构样本x_i所做出的贡献；由于将x_i从D中去除，所以h_i中第i个元素为0，即x_i＝h_i,1x₁+…+h_i,i-1x_i-1+h_i,i+1x_i+1+…+h_i,nx_n；在解稀疏的条件下，为避免NP难的非凸组合优化问题，采用求解l₁范数的方法来近似取代求解l₀范数的方法，以降低计算复杂度：

$\begin{array}{cc}\underset{h_i}{min}& \left|\right|h_i|{|}_1\end{array}$

s.t.x_i＝Dh_i；1＝1^T·h_i；h_i≥0

其中，1∈Rⁿ是全1向量；利用非负最小二乘法求解上式，得重构误差

$\underset{h}{min}E\left(\tilde{H}\right)=\underset{h}{min}\left|\right|D-DH|{|}_2^2+\mathrm{\γ}|\left|h_i\right|{|}_1$

s.t.h_ij≥0；h_ii＝0；1＝1^Th_i

其中，γ是大于0的实数；

根据所述重构误差，计算每一个样本x_i最优的非负稀疏重构权重向量则非负稀疏重构权重矩阵从而，所述目标函数转化成：

即，所述目标函数变成最小化样本非负稀疏表示向量之间的特征图，转化成：

$Dist(Z_{tr}^S,Z_{tr}^T)=tr\left({\mathrm{ZHLZ}}^T\right)$

其中，非负稀疏矩阵H是由嵌入空间中的源领域内H_S,S、目标领域内H_T,T和交叉域间H_S,T3个非负稀疏矩阵构成，Z为和的集合，则非负稀疏矩阵H表示为：

$H=\left[\begin{array}{cc}{H}_{S,S}& H_{S,T}\\ H_{T,S}& H_{T,T}\end{array}\right]\∈R^{(n_1+n_2)\×(n_1+n_2)}$

系数矩阵表示为：

$L_{ij}=\left\{\begin{array}{cc}\frac{1}{n_1^2}& x_i,x_j\∈X_{tr}^S\\ \frac{1}{n_2^2}& x_i,x_j\∈X_{tr}^T\\ -\frac{1}{n_1{n}_2}& otherwise\end{array}\right.$

因为z＝W^Tx∈R^d，则所述目标函数可转化成：

$Dist(Z_{tr}^S,Z_{tr}^T)=tr\left(W^T{\mathrm{XHLX}}^{T}W\right).$

2.根据权利要求1所述一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法，其特征在于：所述步骤4中特征迁移学习步骤如下：

为能从源领域到目标领域迁移样本的判别信息，将成对约束判别分析和非负稀疏分布散度准则的潜在的特征空间结构，通过权衡参数β∈[0,1]连接起来；同时增加正则约束W^TW＝I来避免广义特征分解的秩亏现象，则有：

$\begin{array}{c}\underset{W^{T}W=I}{\min }\left(1-\mathrm{\β}\right)\frac{1}{{\left(N_M\right)}^2}tr\left(W^T{\mathrm{XQX}}^{T}W\right)+\mathrm{\β}tr\left(W^{T}HLHW\right)\\ =\underset{W^{T}W=I}{\min }tr\[W^T\left(\left(1-\mathrm{\β}\right)\frac{1}{{\left(N_M\right)}^2}{\mathrm{XQX}}^T+{\mathrm{\βXHLX}}^T\right)W\]\end{array}.$