CN104361337A - 计算和存储空间受限下的稀疏核主成分分析方法 - Google Patents

Abstract

计算和存储空间受限下的稀疏核主成分分析方法，本发明首先分析了广泛应用的核主成分分析(KPCA)在实际应用中存在的存储空间和计算效率的问题，基于1类支持向量机理论提出了基于优化训练样本的稀疏核主成分分析(SKPCA)算法，该算法在有效解决了核主成分分析中面临的计算效率问题，算法在图像分类，面部识别，语音识别的应用前景广阔。

Description

计算和存储空间受限下的稀疏核主成分分析方法

技术领域

本发明涉及计算机领域，尤其涉及一种计算和存储空间受限下的稀疏核主成分分析方法。 

背景技术

维数约简特征提取在许多数据分析领域得到应用，如人脸识别，手写识别，面部表情分析，语音识别、元器件质量识别，文本分类等。在过去的研究中已经有很多许多特征提取方法。研究学者提出了多种基于核学习的分类算法。 

具有典型的算法有研究学者Peng等人在最近邻分类器中成功引入核方法来提升最近邻分类器的非线性分类能力，该算法在非线性映射空间设计最近邻分类算法，该算法成功解决线性不可分问题。 

最近研究人员也提出一些新的基于核学习的分类算法，Jiao等人提出的Kernel Matching Pursuit Classifier(KMPC)算法，还有Zhang等人提出了基于学习的最小距离分类器，并将优化核函数的参数的思想应用到算法设计中，算法可以自动调整核函数的参数，增强了在非线性分类问题上的能力。 

此外，Jiao等人提出了Kernel Matching Pursuit分类算法。降维方法是一种最流行的特征提取方法，如主成分分析(PCA)和线性判别分析(LDA)。LDA是根据样本类标签基于最佳Fisher准则的投影矩阵找到具有最大类区分力的低维子空间，PCA目的是最大限度地减少均方误差准则，已被广泛应用于许多领 域，例如人脸识别和字符识别。在大多数应用中表现出良好的性能。此后研究核学习方法用来解决PCA线性问题，1998年Scholkopf提出核主成分分析(KPCA)，在各个领域获得良好的效果。 

在随后的研究工作中，Yang等人将KPCA算法应用于人脸图像的特征提取，提出了Combined Fisherface算法，其主要思想是分别利用PCA和KPCA提取同一个对象的两类不同特征，认为这两类特征对于图像识别是互补的，融合这两个特征进行图像的识别工作。Liu将多项式核函数扩展到为分数次幂多项式模型，并结合KPCA与Gabor小波用于人脸识别中。 

尽管如此，算法在使用过程中需要保存所有样本来进行核矩阵的计算，使算法的执行时间和存储空间大大提升。在实际应用中处理速度是一个至关重要的问题。 

发明内容

本发明要解决的技术问题是如何在计算和存储空间受限下实现更快更好地维数约简特征提取。 

为了解决这一技术问题，本发明提供了一种计算和存储空间受限下的稀疏核主成分分析算法，其特征在于：包括如下步骤： 

首先，采用最小二乘1类支持向量机原理对传统KPCA进行建模，从而实现1类目标函数的优化； 

其次，引入稀疏核主成分分析，其中输入数据的结构自适应改变关于输入数据的分布数据相关的内核； 

然后，得到目标函数，其可描述为： 

$\underset{w}{\max }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{[0-w^T(\mathrm{\φ}\left(x_i\right)-u^{\mathrm{\φ}})]}^2---\left(9\right)$

其中 $u^{\mathrm{\φ}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\φ}\left(x_i\right).$

在实现1类目标函数的优化和引入稀疏核主成分分析的过程中： 

假定矩阵由N_z个膨胀向量组成，β_i(i＝1,2,...,N_z)(N_z<N)为膨胀系数，那么可将上述优化问题可转化为： 

$\underset{w,e}{\max }J(w,e)=-\frac{1}{2}{w}^{T}w+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2$

subject to e_i＝w^T(φ(x_i)-u^φ),i＝1,2,...,N 

$w=\underset{i=1}{\overset{N_z}{\mathrm{\&Sigma;}}}\mathrm{\&phi;}\left(z_i\right){\mathrm{\&beta;}}_i---\left(10\right)$

其中 $\mathrm{\&phi;}\left(Z\right)=[\mathrm{\&phi;}\left(z_1\right),\mathrm{\&phi;}\left(z_2\right),...,\mathrm{\&phi;}\left(z_{N_z}\right)];$

进而，将上述优化问题转化为如下两步： 

第一、求解找到可以代表最优的膨胀向量和系数； 

第二、求解最优映射矩阵； 

对于给定任意Z，上述优化问题进一步转化为 

$W\left(Z\right):=\underset{\mathrm{\&beta;},e}{\max }-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2$

subject to e_i＝β^Tg(x_i),i＝1,2,...,N    (11) 

其中 $g\left(x_i\right)={[k(z_1,x_i)-\frac{1}{N}\underset{q=1}{\overset{N}{\mathrm{\&Sigma;}}}k(z_1,x_q)...k(z_{N_z},x_i)-\frac{1}{N}\underset{q=1}{\overset{N}{\mathrm{\&Sigma;}}}k(z_{N_z},x_q)]}^T,\mathrm{\&beta;}={[{\mathrm{\&beta;}}_1,{\mathrm{\&beta;}}_2,...,{\mathrm{\&beta;}}_{N_z}]}^T,$

K_z＝[k(z_i,z_j)]。上述优化问题的解可用拉格朗日方法进行求解。拉格朗日方程为 

$L(\mathrm{\&beta;},e,\mathrm{\&alpha;})=-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i(e_i-{\mathrm{\&beta;}}^{T}g\left(x_i\right))---\left(12\right)$

其中参数为α_i,i＝1,2,...,N。用梯度下降法求解使函数L(β,e,α) 

$\left\{\begin{array}{c}\frac{\&PartialD;L}{\&PartialD;\mathrm{\&beta;}}=0\&RightArrow;K_z\mathrm{\&beta;}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{i}g\left(x_i\right)\\ \frac{\&PartialD;L}{{\&PartialD;e}_i}=0\&RightArrow;{\mathrm{\&alpha;}}_i={\mathrm{\&gamma;e}}_i\\ \frac{\&PartialD;L}{{\&PartialD;\mathrm{\&alpha;}}_i}=0\&RightArrow;e_i-{\mathrm{\&beta;}}^{T}g\left(x_i\right)=0\end{array}\right.---\left(13\right)$

令α＝[α₁,α₂,...,α_N]^T(α_N×1)，E＝[e₁,e₂,...,e_N]^T(E_N×1)，那么 

$\left\{\begin{array}{c}{K}_z\mathrm{\&beta;}=\mathrm{G\&alpha;}\\ \mathrm{\&alpha;}=\mathrm{\&gamma;E}\\ E=D^T\mathrm{\&beta;}\end{array}\right.---\left(14\right)$

因此，β＝(K_z)^-1Gα，那么E＝G^T(K_z)^-1Gα； 

得到最优解α^z，其为G^T(K_z)^-1G的特征向量，α^z为G^T(K_z)^-1G的特征值时W(Z)获得最大，此时β^z＝(K_z)^-1Gα^z； 

具体证明过程如下： 

当λ>0，那么 

$-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}=-\frac{1}{2}\left[{\mathrm{\&alpha;}}^T{G}^T{\left({\left(K_z\right)}^{-1}\right)}^T\right]K_z\left[{\left(K_z\right)}^{-1}\mathrm{G\&alpha;}\right]$

$=-\frac{1}{2}\left[{\mathrm{\&alpha;}}^T{G}^T{\left(K_z\right)}^{-1}\mathrm{G\&alpha;}\right]$

$=-\frac{1}{2}\mathrm{\&lambda;}{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}---\left(15\right)$

此外，由于E＝G^T(K_z)^-1Gα，G^T(K_z)^-1Gα＝λα，E＝λα，那么 

$\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2=\frac{\mathrm{\&gamma;}}{2}{E}^{T}E=\frac{\mathrm{\&gamma;}}{2}{\mathrm{\&lambda;}}^2{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}---\left(16\right)$

由于α^Tα＝1，可得 

$J(\mathrm{\&beta;},e)=-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2=-\frac{1}{2}\mathrm{\&lambda;}{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}+\frac{\mathrm{\&gamma;}}{2}{\mathrm{\&lambda;}}^2{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}$

$=\frac{1}{2}{\mathrm{\&lambda;}}^2(\mathrm{\&gamma;}-\frac{1}{\mathrm{\&lambda;}})---\left(17\right)$

从上述证明可知，当λ达到最大时J(β,e)达到最大。 

此时，需要找到使得 $W\left(Z\right)=-\frac{1}{2}{\left({\mathrm{\&beta;}}^z\right)}^T{K}_z\left({\mathrm{\&beta;}}^z\right)+\frac{\mathrm{\&gamma;}}{2}{\left({\mathrm{\&beta;}}^z\right)}^{T}G{G}^T\left({\mathrm{\&beta;}}^z\right)$ 最大所对应的Z，采用循环迭代的方法求解使上述方程达到最大的最优训练样本集Z^*。计算G^T(K_z)^-1G对应的特征向量A＝[α₁,α₂,...,α_m]，那么可以得到映射矩阵： 

B＝(K_z)^-1GA     (18) 

那么，对于输入向量x，其特征Y_x可通过下式计算 

Y_x＝BK_zx      (19) 

其中K_zx为输入样本与选定的训练集Z^*计算得到的核矩阵。 

附图说明

图1是本发明一实施例中实验系统框架示意图。 

具体实施方式

以下将结合图1对本发明提供的计算和存储空间受限下的稀疏核主成分分析方法进行详细的描述，其为本发明一可选的实施例，可以认为，本领域的技术人员在不改变本发明精神和内容的范围内能够对其进行修改和润色。 

1.主成分分析算法 

首先，介绍传统PCA是一种常见的统计数据分析方法，对于N维数据，PCA 计算样本数据中最大方差的正交方向，其目的是通过提取几个有意义的成分，在最大限度地保留数据的现有结构前提下尽可能以较低的维数来描述数据。主成分分析算法描述如下： 

假定训练样本训练样本x₁,x₂,...,x_n，其中那么协方差矩阵为 

$C=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}(x_i-\stackrel{\&OverBar;}{x}){(x_i-\stackrel{\&OverBar;}{x})}^T---\left(1\right)$

其中，表示全部样本的均值，即矩阵C的m个最大的特征值对应的正交特征向量w₁,w₂,…w_m作为投影轴。一般地，这些正交特征向量可以直接直接计算得到，然而对于一些具体应用问题，如人脸识别问题，样本的向量(图像向量)维数非常大时，计算矩阵C的正交特征向量是非常耗时，因此研究学者利用SVD的方法进行求解。 

令那么因此，R＝Q^TQ为n×n的半正定矩阵，对于大多数图像特征提取问题，如人脸识别问题，样本的数量远远比样本的维数小的多，相应地，R的维数要远远小于C的维数。根据SVD原理，通过计算R的m个最大的特征值(λ₁≥λ₂≥...≥λ_m)对应的的正交特征向量v₁,v₂,...,v_m来求解w₁,w₂,...,w_m： 

$w_j=\frac{1}{\sqrt{{\mathrm{\&lambda;}}_j}}Q{v}_j,j=\mathrm{1,2},...,m---\left(2\right)$

对于任意样本x，分别在特征向量w_j投影后可得到第j个特征： 

$y_j=w_j^{T}x=\frac{1}{\sqrt{{\mathrm{\&lambda;}}_j}}{v}_j^T{Q}^{T}x,j=\mathrm{1,2},...,m---\left(3\right)$

由这些特征组成的样本x的PCA变换的特征向量Y＝[y₁,...,y_m]^T。 

在引入核后，PCA算法扩展为核主成分分析(KPCA)算法，其推导过程如下。假定通过非线性映射将样本数据从原始数据空间映射到非线性映射空间，对非 线性映射空间的数据进行PCA变换，在该非线性映射空间内协方差矩阵表示为 

$C=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}(\mathrm{\&Phi;}\left(x_i\right)-\stackrel{\&OverBar;}{\mathrm{\&Phi;}}){(\mathrm{\&Phi;}\left(x_i\right)-\stackrel{\&OverBar;}{\mathrm{\&Phi;}})}^T---\left(4\right)$

其中为了推导方便，令 

令Q＝[Φ(x₁),...,Φ(x_n)]，那么同PCA算法，利用核函数可以将矩阵的元素表示为 

计算R的m个最大的特征值(λ₁≥λ₂≥...≥λ_m)对应的的正交特征向量u₁,u₂,...,u_m来求解的特征向量w₁,w₂,...,w_m： 

$w_j=\frac{1}{\sqrt{{\mathrm{\&lambda;}}_j}}Q{u}_j,j=\mathrm{1,2},...,m---\left(7\right)$

相应地，通过求解R的特征值和特征向量求解矩阵C的特征向量，其中矩阵R为其中(1_n)_ij＝1/n(i,j＝1,2,...,n)，具体推导过程见[32]。对于非线性映射空间任意样本(x)在在特征向量wj投影后可得到第j个特征： 

$y_j=w_j^{T}x=\frac{1}{\sqrt{{\mathrm{\&lambda;}}_j}}{u}_j^T{Q}^T\mathrm{\&Phi;}\left(x\right)=\frac{1}{\sqrt{{\mathrm{\&lambda;}}_j}}{u}_j^T[k(x_1,x),k(x_2,x),...,k(x_n,x)]---(2-8)$

其中j＝1,2,...,m。样本x的KPCA特征向量可以表示为Y＝[y₁,y₂,…,y_m]^T。 

2.稀疏核主成分分析算法 

核主成分分析(KPCA)的主要思路为利用核方法扩展主成分分析(PCA)，从而利用非线性映射将数据从原始空间映射到另一空间。如果内核函数是正定的内核，那么存在一个映射到一个点的样本空间。空间具有一种所谓的再生核希尔伯特空间(RKHS)结构。在特征空间内的样本可以不进行明确的非线性映射函数计算，使得计算样本是在非常高维情况下进行的。常用的此类正定核函 数为多项式核和高斯内核，这意味着他们每个样本在不同的映射。基于PCA特征提取需要存储的系数矩阵。虽然基于特征提取的KPCA需要存储原始样本资料，计算核矩阵导致巨大的存储和高计算耗时。为了解决这个问题，首先用最小二乘支持向量机建立稀疏核主成分分析(SKPCA)。其次，核函数及其参数的选择严重影响算法的性能。在核映射空间数据的几何结构是由核函数完全确定的，若核函数选择不当，特征空间的数据点分布可能变得不利于分类。目前的方法是从一个离散数值集选择核参数，该方法不会改变在核映射空间数据的几何结构。采用数据依赖核可以通过改变其参数改变核的结构，从而改善SKPCA的性能是可行的。 

首先，采用最小二乘1类支持向量机原理对传统KPCA进行建模，其主要思想为实现1类目标函数的优化问题。其次，引入稀疏核主成分分析，其中输入数据的结构自适应改变关于输入数据的分布数据相关的内核。然后，目标函数可描述为 

$\underset{w}{\max }\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{[0-w^T(\mathrm{\&phi;}\left(x_i\right)-u^{\mathrm{\&phi;}})]}^2---\left(9\right)$

其中 $u^{\mathrm{\&phi;}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{\&phi;}\left(x_i\right).$

下面用直接稀疏核学习方法对KPCA进行理论推导。我们用膨胀系数(Expansion Coefficients)和膨胀向量(Expansion Vectors)进行有关的有关描述。假定矩阵由N_z个膨胀向量组成，β_i(i＝1,2,...,N_z)(N_z<N)为膨胀系数，那么可将上述优化问题可转化为： 

$\underset{w,e}{\max }J(w,e)=-\frac{1}{2}{w}^{T}w+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2$

subject to e_i＝w^T(φ(x_i)-u^φ),i＝1,2,...,N 

$w=\underset{i=1}{\overset{N_z}{\mathrm{\&Sigma;}}}\mathrm{\&phi;}\left(z_i\right){\mathrm{\&beta;}}_i---\left(10\right)$

其中 $\mathrm{\&phi;}\left(Z\right)=[\mathrm{\&phi;}\left(z_1\right),\mathrm{\&phi;}\left(z_2\right),...,\mathrm{\&phi;}\left(z_{N_z}\right)].$

可以将上述优化问题转化为如下两步：第一、求解找到可以代表最优的膨胀向量和系数；第二、求解最优映射矩阵。给定任意Z，上述优化问题转化为 

$W\left(Z\right):=\underset{\mathrm{\&beta;},e}{\max }-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2$

subject to e_i＝β^Tg(x_i),i＝1,2,...,N     (11) 

其中 $g\left(x_i\right)={[k(z_1,x_i)-\frac{1}{N}\underset{q=1}{\overset{N}{\mathrm{\&Sigma;}}}k(z_1,x_q)...k(z_{N_z},x_i)-\frac{1}{N}\underset{q=1}{\overset{N}{\mathrm{\&Sigma;}}}k(z_{N_z},x_q)]}^T,\mathrm{\&beta;}={[{\mathrm{\&beta;}}_1,{\mathrm{\&beta;}}_2,...,{\mathrm{\&beta;}}_{N_z}]}^T,$

K_z＝[k(z_i,z_j)]。上述优化问题的解可用拉格朗日方法进行求解。拉格朗日方程为 

$L(\mathrm{\&beta;},e,\mathrm{\&alpha;})=-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i(e_i-{\mathrm{\&beta;}}^{T}g\left(x_i\right))---\left(12\right)$

其中参数为α_i,i＝1,2,...,N。用梯度下降法求解使函数L(β,e,α) 

$\left\{\begin{array}{c}\frac{\&PartialD;L}{\&PartialD;\mathrm{\&beta;}}=0\&RightArrow;K_z\mathrm{\&beta;}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{i}g\left(x_i\right)\\ \frac{\&PartialD;L}{{\&PartialD;e}_i}=0\&RightArrow;{\mathrm{\&alpha;}}_i={\mathrm{\&gamma;e}}_i\\ \frac{\&PartialD;L}{{\&PartialD;\mathrm{\&alpha;}}_i}=0\&RightArrow;e_i-{\mathrm{\&beta;}}^{T}g\left(x_i\right)=0\end{array}\right.---\left(13\right)$

令α＝[α₁,α₂,...,α_N]^T(α_N×1)，E＝[e₁,e₂,...,e_N]^T(E_N×1)，那么 

$\left\{\begin{array}{c}{K}_z\mathrm{\&beta;}=\mathrm{G\&alpha;}\\ \mathrm{\&alpha;}=\mathrm{\&gamma;E}\\ E=D^T\mathrm{\&beta;}\end{array}\right.---\left(14\right)$

因此，β＝(K_z)^-1Gα，那么E＝G^T(K_z)^-1Gα。易容易得到最优解α^z，其为G^T(K_z)^-1G的特征向量。α^z为G^T(K_z)^-1G的特征值时W(Z)获得最大，此时β^z＝(K_z)^-1Gα^z。具体证明过程如下： 

当λ>0，那么 

$-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}=-\frac{1}{2}\left[{\mathrm{\&alpha;}}^T{G}^T{\left({\left(K_z\right)}^{-1}\right)}^T\right]K_z\left[{\left(K_z\right)}^{-1}\mathrm{G\&alpha;}\right]$

$=-\frac{1}{2}\left[{\mathrm{\&alpha;}}^T{G}^T{\left(K_z\right)}^{-1}\mathrm{G\&alpha;}\right]$

$=-\frac{1}{2}\mathrm{\&lambda;}{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}---\left(15\right)$

此外，由于E＝G^T(K_z)^-1Gα，G^T(K_z)^-1Gα＝λα，E＝λα，那么 

$\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2=\frac{\mathrm{\&gamma;}}{2}{E}^{T}E=\frac{\mathrm{\&gamma;}}{2}{\mathrm{\&lambda;}}^2{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}---\left(16\right)$

由于α^Tα＝1，可得 

$J(\mathrm{\&beta;},e)=-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2=-\frac{1}{2}\mathrm{\&lambda;}{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}+\frac{\mathrm{\&gamma;}}{2}{\mathrm{\&lambda;}}^2{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}$

$=\frac{1}{2}{\mathrm{\&lambda;}}^2(\mathrm{\&gamma;}-\frac{1}{\mathrm{\&lambda;}})---\left(17\right)$

从上述证明可知，当λ达到最大时J(β,e)达到最大。 

此时，需要找到使得 $W\left(Z\right)=-\frac{1}{2}{\left({\mathrm{\&beta;}}^z\right)}^T{K}_z\left({\mathrm{\&beta;}}^z\right)+\frac{\mathrm{\&gamma;}}{2}{\left({\mathrm{\&beta;}}^z\right)}^{T}G{G}^T\left({\mathrm{\&beta;}}^z\right)$ 最大所对应的Z，采用循环迭代的方法求解使上述方程达到最大的“具有代表性”的最优训练样本集Z^*。计算G^T(K_z)^-1G对应的特征向量A＝[α₁,α₂,...,α_m]，那么可以得到映射矩阵： 

B＝(K_z)^-1GA    (18) 

那么，对于输入向量x，其特征Y_x可通过下式计算 

Y_x＝BK_zx      (19) 

其中K_zx为输入样本与选定的训练集Z^*计算得到的核矩阵。 

上述理论说明稀疏主成分分析(SKPCA)算法自适应地选择从训练样本集但对识别性能影响较小，从而节省了计算时间和核矩阵计算的存储空间和计算时间的消耗。因此，在实际应用中，SKPCA可以解决KPCA的在计算时间和存储空间的限制，在有效降低存储空间和时间消耗的前提下对SKPCA的特征提取能力影响有限。从理论角度来看，SKPCA是适应性与计算效率的严格要求而识别率不严格的应用场合。 

3.仿真实验 

利用仿真实验来验证和分析算法的性能，重点分析SKPCA算法可行性。实验系统框架如图1所示。在仿真实验中，首先利用机器学习领域国际上公开广泛应用的UCI数据集、ORL、YALE数据库、威斯康星乳腺癌数据库上进行算法的性能测试。 

第一组实验在UCI数据集上进行，对于KPCA算法使用全部训练样本，对于SKPCA使用训练样本最有代表性的样本，这些样本是通过算法自适应选择得到。实验中选择高斯核函数。实验结果见表1、表2。第一列为6个训练样本集的名称，第二列为算法在相应数据集上的错误率，第三列为该算法所使用的训练样本数量。表2第三列数据括号内为与传统KPCA所采用的训练样本总数的百分比。需要强调的是，两种方法SKPCA和KPCA所采用的测试样本集的完全相同。结果表明，该算法实现了类似的识别性能，但该算法只使用较少的训练集的大小。例如，只有8％的训练样本使用但错误率只有比普通方法高2.8％。由于算法只用少量的训练样本，可以节省存储空间并提升核主成分分析的计算效率。SKPCA节省计算内核矩阵的时间并有效节省训练样本矩阵存储空间，但获得与KPCA相近的识别准确率。 

表1 KPCA识别性能 

Table 1 Recognition Performance of KPCA 

表2 SKPCA的识别性能 

Table 2 Recognition Performance of SKPCA 

第二组实验在ORL和YALE数据库上评估算法性能。由英国剑桥大学Olivetti研究实验室开发的ORL脸人数据库，由40个人400幅灰度图像组成，每个人10幅图像。这些图像都反映着姿态、人脸表情的变化。而来自耶鲁大学计算视觉与控制中心的YALE人脸数据库来自15个人165幅灰度图像，这些图像也反映着光照、表情变化。为了降低计算复杂度，将原来图像112×92重新剪裁为48×48。同样地，将YALE数据库的图像剪裁为100×100的图像。算法性能如表3和表4所示，三种算法在同样的实验条件下进行比较，SKPCA和KPCA比较可以看出，在ORL数据库上SKPCA仅用60％的样本获得相差3％的识别率，而在Yale数据库上，也可以得到类似的结果。也就是说，算法在牺牲3％左右的识别率的情况下，可以节省40％的存储空间和计算时间。 

表3ORL人脸数据库上性能比较 

Table 3.Performance comparison on ORL face database 

表4Yale人脸数据库上性能比较 

Table 4.Performance comparison on Yale face database 

第三组实验在威斯康星乳腺癌数据库上进行，该数据包含569实例样本，其中包括357良性和212的恶性样本组成。对于这个数据集每个实例有32个属性，其中前两个属性对应一个唯一的识别号码和诊断状态(良性或恶性)。 

实验结果如表5所示，采用本文提出的方法，只用37％的训练样本便获得高于普通方法高1.6％的错误率。该方法可以大大节省存储空间，提高计算效率。Fig.4 Example images[14](a)Benign,(b)Malignant 

表5 KPCA和SKPCA性能比较 

Table 5Performance comparison on KPCA and SKPCA 

通过以上三组仿真实验，可以得到如下结论：KPCA具有一定的识别性能，但在训练过程时间消耗在实际模式识别领域应用中的优势。对于高维数据的ORL和Yale数据库识别中，计算效率是一个关键问题，KPCA的特征值问题需要大量训练样本与所有训练样本全部计算核矩阵。因此，从大量的训练样本中找到最有意义的少量训练样本来解决SKPCA的存储空间和时间消耗是可行的。 

4.结论 

首先分析了广泛应用的核主成分分析(KPCA)在实际应用中存在的存储空间和计算效率的问题，基于1类支持向量机理论提出了基于优化训练样本的稀疏核主成分分析(SKPCA)算法，该算法在有效解决了核主成分分析中面临的计算效率问题，算法在图像分类，面部识别，语音识别的应用前景广阔。 

Claims (2)

1.一种计算和存储空间受限下的稀疏核主成分分析方法，其特征在于：包括如下步骤：

首先，采用最小二乘1类支持向量机原理对传统KPCA进行建模，从而实现1类目标函数的优化；

其次，引入稀疏核主成分分析，其中输入数据的结构自适应改变关于输入数据的分布数据相关的内核；

然后，得到目标函数，其可描述为：

$\underset{w}{\max }\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{[0-w^T(\mathrm{\&phi;}\left(x_i\right)-u^{\mathrm{\&phi;}})]}^2---\left(9\right)$

其中 $u^{\mathrm{\&phi;}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{\&phi;}\left(x_i\right).$

2.如权利要求1所述的计算和存储空间受限下的稀疏核主成分分析方法，其特征在于：在实现1类目标函数的优化和引入稀疏核主成分分析的过程中：

假定矩阵由N_z个膨胀向量组成，β_i(i＝1,2,...,N_z)(N_z<N)为膨胀系数，那么可将上述优化问题可转化为：

$\underset{w,e}{\max }J(w,e)=-\frac{1}{2}{w}^{T}w+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2$

subject to e_i＝w^T(φ(x_i)-u^φ),i＝1,2,...,N

$w=\underset{i=1}{\overset{N_z}{\mathrm{\&Sigma;}}}\mathrm{\&phi;}\left(z_i\right){\mathrm{\&beta;}}_i---\left(10\right)$

其中 $\mathrm{\&phi;}\left(Z\right)=[\mathrm{\&phi;}\left(z_1\right),\mathrm{\&phi;}\left(z_2\right),...,\mathrm{\&phi;}\left(z_{N_z}\right)];$

进而，将上述优化问题转化为如下两步：

第一、求解找到可以代表最优的膨胀向量和系数；

第二、求解最优映射矩阵；

对于给定任意Z，上述优化问题进一步转化为

$W\left(Z\right):=\underset{\mathrm{\&beta;},e}{\max }-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2$

subject to e_i＝β^Tg(x_i),i＝1,2,...,N(11)

其中 $g\left(x_i\right)={[k(z_1,x_i)-\frac{1}{N}\underset{q=1}{\overset{N}{\mathrm{\&Sigma;}}}k(z_1,x_q)...k(z_{N_z},x_i)-\frac{1}{N}\underset{q=1}{\overset{N}{\mathrm{\&Sigma;}}}k(z_{N_z},x_q)]}^T,\mathrm{\&beta;}={[{\mathrm{\&beta;}}_1,{\mathrm{\&beta;}}_2,...,{\mathrm{\&beta;}}_{N_z}]}^T,$

K_z＝[k(z_i,z_j)]。上述优化问题的解可用拉格朗日方法进行求解。拉格朗日方程为

$L(\mathrm{\&beta;},e,\mathrm{\&alpha;})=-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i(e_i-{\mathrm{\&beta;}}^{T}g\left(x_i\right))---\left(12\right)$

其中参数为α_i,i＝1,2,...,N。用梯度下降法求解使函数L(β,e,α)

$\left\{\begin{array}{c}\frac{\&PartialD;L}{\&PartialD;\mathrm{\&beta;}}=0\&RightArrow;K_z\mathrm{\&beta;}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{i}g\left(x_i\right)\\ \frac{\&PartialD;L}{{\&PartialD;e}_i}=0\&RightArrow;{\mathrm{\&alpha;}}_i={\mathrm{\&gamma;e}}_i\\ \frac{\&PartialD;L}{{\&PartialD;\mathrm{\&alpha;}}_i}=0\&RightArrow;e_i-{\mathrm{\&beta;}}^{T}g\left(x_i\right)=0\end{array}\right.---\left(13\right)$

令α＝[α₁,α₂,...,α_N]^T(α_N×1)，E＝[e₁,e₂,...,e_N]^T(E_N×1)，那么

$\left\{\begin{array}{c}{K}_z\mathrm{\&beta;}=\mathrm{G\&alpha;}\\ \mathrm{\&alpha;}=\mathrm{\&gamma;E}\\ E=D^T\mathrm{\&beta;}\end{array}\right.---\left(14\right)$

因此，β＝(K_z)^-1Gα，那么E＝G^T(K_z)^-1Gα；

得到最优解α^z，其为G^T(K_z)^-1G的特征向量，α^z为G^T(K_z)^-1G的特征值时W(Z)获得最大，此时β^z＝(K_z)^-1Gα^z；

具体证明过程如下：

当λ>0，那么

$-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}=-\frac{1}{2}\left[{\mathrm{\&alpha;}}^T{G}^T{\left({\left(K_z\right)}^{-1}\right)}^T\right]K_z\left[{\left(K_z\right)}^{-1}\mathrm{G\&alpha;}\right]$

$=-\frac{1}{2}\left[{\mathrm{\&alpha;}}^T{G}^T{\left(K_z\right)}^{-1}\mathrm{G\&alpha;}\right]$

$=-\frac{1}{2}\mathrm{\&lambda;}{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}---\left(15\right)$

此外，由于E＝G^T(K_z)^-1Gα，G^T(K_z)^-1Gα＝λα，E＝λα，那么

$\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2=\frac{\mathrm{\&gamma;}}{2}{E}^{T}E=\frac{\mathrm{\&gamma;}}{2}{\mathrm{\&lambda;}}^2{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}---\left(16\right)$

由于α^Tα＝1，可得

$J(\mathrm{\&beta;},e)=-\frac{1}{2}{\mathrm{\&beta;}}^T{K}_z\mathrm{\&beta;}+\frac{\mathrm{\&gamma;}}{2}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_i^2=-\frac{1}{2}\mathrm{\&lambda;}{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}+\frac{\mathrm{\&gamma;}}{2}{\mathrm{\&lambda;}}^2{\mathrm{\&alpha;}}^T\mathrm{\&alpha;}$

$=\frac{1}{2}{\mathrm{\&lambda;}}^2(\mathrm{\&gamma;}-\frac{1}{\mathrm{\&lambda;}})---\left(17\right)$

从上述证明可知，当λ达到最大时J(β,e)达到最大。

此时，需要找到使得 $W\left(Z\right)=-\frac{1}{2}{\left({\mathrm{\&beta;}}^z\right)}^T{K}_z\left({\mathrm{\&beta;}}^z\right)+\frac{\mathrm{\&gamma;}}{2}{\left({\mathrm{\&beta;}}^z\right)}^{T}G{G}^T\left({\mathrm{\&beta;}}^z\right)$ 最大所对应的Z，采用循环迭代的方法求解使上述方程达到最大的最优训练样本集Z^*。计算G^T(K_z)^-1G对应的特征向量A＝[α₁,α₂,...,α_m]，那么可以得到映射矩阵：

B＝(K_z)^-1GA(18)

那么，对于输入向量x，其特征Y_x可通过下式计算

Y_x＝BK_zx(19)

其中K_zx为输入样本与选定的训练集Z^*计算得到的核矩阵。