CN104050483A - 一种基于局部正交对齐的特征降维方法 - Google Patents

Abstract

一种基于局部正交对齐的降维方法，包括：输入初始高维数据矩阵，根据高维数据点之间的欧式距离，获取数据点的局部近邻关系；将局部高维数据进行低维表示；将低维坐标全局对齐；获取降维目标函数；将降维目标函数分解为半正定松弛部分和正交约束部分，并分别通过半正定松弛方法和强制正交化方法进行求解，最终得到降维后的结果。本发明所述的降维方法，能较好地保持原始数据的诸如数据点间距离，角度等几何信息，能对原数据做到极高的几何保真效果。

Description

一种基于局部正交对齐的特征降维方法

技术领域

本发明属于模式识别领域，具体涉及一种保持局部正交对齐的非线性降维方法(简称LOPA)。

背景技术

随着计算机、互联网等科学技术的飞速发展，人们获取、存储数据的能力不断增强。现在的数据已经开始呈现出规模大、维度高的特性，如高清照片视频数据、基因染色体数据、社交网络的用户数据等。这些海量的高维数据在为人们的生活、研究工作带来便利的同时也带来了存储、传输、处理上的困难。首先是“维度灾难”问题，在机器学习中，很多在低维空间中有效的算法在高维空间中并不能得以直接地推广；其次，高维数据往往带有很多的冗余信息，这些冗余信息为我们认清数据的本质特征带来了困难。数据降维，作为机器学习、模式识别、数据挖掘必要的预处理步骤，就是有效的解决办法。

数据降维，又称为维度约简，在特定的优化目标下，通过线性或非线性映射将高维数据映射到低维空间。降维的目标一般是要保持原有高维空间中某些特性，如距离、方差等。这样在减少数据规模的情况下，仍然能保持数据的主要信息。数据降维的意义主要表现在：

●特征提取：高维特征数据通常带有很多不相关的信息，通过数据降维，可以实现特征空间的维度缩减，去除冗余信息，得到最本质的数据特征。使用降维后的特征进行分类、聚类等算法就显得更加高效。

●数据可视化：对于高维数据，很难直观的理解数据的分布形式、近邻、距离等信息。数据降维是数据可视化的重要环节，通过将数据降到2、3维，我们就可以直接观察到数据的分布，为后续的数据分析、处理建立合适的模型、选择合理参数与方法。

●数据的存储与传输：在“信息爆炸”的今天，每天有数以亿计的图片、视频被上传到视频分享网站，如youtube、facebook、instagram等。这些海量的高维数据给存储和传输带来不便。通过降维，在保持数据主要特征的情况下，对数据进行压缩，大大降低数据的规模。

降维的数学定义：对于高维空间中N个m维的数据点x_i组成的矩阵X＝[x₁,…,x_N]∈R^m×N，其本征维度d通常远远小于m。寻找映射F(X):X∈R^m×N→Y∈R^d×N，在尽量保持高维数据信息的同时，将数据从m维映射到d维其中Y＝[y₁,…,y_N]∈R^d×N为高维数据X对应的低维坐标。

降维算法可以根据映射是否为线性分为线性降维算法和非线性降维算法。经典的线性降维算法有：主成分分析(PCA)、线性判别分析(LDA)、多维尺度变换(MDS)等。线性降维算法通常计算简单、速度快，有简单的线性变换函数，通过特征之间的线性组合得到降维后的结果。若高维数据有很强的线性结构，那么这类线性降维算法有令人满意的效果。但是对于流形数据如瑞士卷数据等，线性降维算法往往无法捕捉到流形的结构信息。为此，人们开始非线性降维算法方面的研究，特别是流形学习，用来处理数据中的流形结构。非线性降维(这里主要指流形学习算法)有：等距映射方法(Isomap)、局部线性嵌入(LLE)、拉普拉斯特征映射(LE)、局部切空间对齐(LTSA)、最大方差展开(MVU)、局部正交流形嵌入(PSA)、正交近邻保持投影(ONPP)等。

发明内容

本发明的目的在于针对仿射变换进行全局对齐时不能保持距离、尺度、角度等几何性质的缺点，提出一种局部正交对齐的降维方法，通过正交约束来保持数据的几何性质。

本发明的技术方案如下：

一种基于局部正交对齐的降维方法，采用如下步骤进行数据降维(流程参见图4)：

步骤1：输入N个高维数据点x_i∈R^m组成的数据矩阵X∈R^m×N，根据高维数据点之间的欧式距离，获取数据点x_i的局部近邻关系：x_i的局部k近邻X_i∈R^m×k，近邻选择矩阵S_i∈R^N×k，S_i是0-1选择矩阵，使得X_i＝XS_i；

步骤2：局部的低维表示：若数据的分布满足流形假设，对于流形结构，其局部通过欧式空间的性质进行逼近；利用主成分分析(PCA)将局部k近邻X_i降到d维，得到局部坐标Θ_i∈R^d×k；

步骤3：低维坐标的全局对齐：将得到的所有低维坐标Θ_i,i＝1,…,N通过正交对齐得到最优的全局低维坐标Y∈R^d×N，并使得重构误差最小：

${\min }_Y\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{YS}}_i{H}_k-L_i{\mathrm{\Θ}}_i\left|\right|}_F^2$           (公式I)

$s.t.L_i{L}_i^T=I_d,i=1,...,N$

其中L_i∈R^d×d为正交变换，I_d为d维的单位矩阵，H_k∈R^k×k为中心化矩阵；

步骤4：在给定全局低维坐标Y的情况下，L_i通过最小二乘进行求解其中为Θ_i的Moore-Penrose伪逆；将L_i代入到公式I中，并通过迹(trace)与F-范数的关系可以将公式I等价转化为：

min_Ytr(YBY^T)          (公式II)

$s.t.{\mathrm{YG}}_i{G}_i^T{Y}^T=I_d,i=1,...,N$

其中 $B=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(S_i{H}_k(I-{\mathrm{\Θ}}_i^{+}{\mathrm{\Θ}}_i)H_k^T{S}_i^T\right)\∈R^{N\×N},G_i=S_i{H}_k{\mathrm{\Θ}}_i^{+};$ 对公式II进行条件松弛，并将多个正交约束进行叠加，得到单个正交约束：

min_Ytr(YBY^T)

s.t.tr(YC_iY^T)＝I_d,i＝1,…,N          (公式III)

YCY^T＝I_d

其中公式III就是本方法最终的目标函数；

步骤5：将目标函数公式III分解为两个子问题：半正定松弛部分和正交约束部分；并分别通过半正定松弛方法和强制正交化方法进行求解，最终得到降维后的结果。

优选的：

所述的降维方法，其特征是，步骤4中所述的对公式II进行条件松弛，其实现方法为：每个局部正交约束利用迹运算，将局部正交约束简化为对角和为d的迹约束。

所述的降维方法，其特征是，步骤5中，去掉公式III中的正交约束，得到的半正定规划部分为：

min_Ytr(YBY^T)          (公式IV)

s.t.tr(YC_iY^T)＝I_d,i＝1,…,N

这是一个QMP(二次矩阵规划)问题，通过半正定松弛方法可转化为一个标准的半正定规划问题，然后通过凸优化工具包进行求解：

$Y_{\mathrm{sdp}}={\arg }_Y\underset{K=Y^{T}Y}{\min }\mathrm{tr}\left(\mathrm{BK}\right)$

s.t tr(C_iK)＝d,i＝1,....,N

K≥0

其中，K＝YY^T≥0为对称半正定矩阵。

所述的降维方法，其特征是，步骤5中，通过半正定规划得到的Y_sdp往往不满足正交约束YCY^T＝I_d，因此要进行强制正交化：使用一个线性变换P，得到最终的降维结果Y＝PY_sdp，其中P通过的特征值分解得到，那么就满足了正交约束：

${\mathrm{YCY}}^T={\mathrm{PY}}_{\mathrm{sdp}}{\mathrm{CY}}_{\mathrm{sdp}}^T{P}^T=D^{-\frac{1}{2}}{V}^{\mathrm{\τ}}{\mathrm{VDV}}^{\mathrm{\τ}}{\mathrm{VD}}^{-\frac{1}{2}}=I_d$

通过正交修正的结果Y就是最终的降维结果。

所述的降维方法，其特征是，步骤5中，所述的凸优化工具包包括SDPT3、Sedumi、CSDP等。

所述的降维方法，其特征是，步骤5中，在半正定规划部分给目标函数加上均值为0的约束：Y1_N＝0∈R^d×N，其中1_N＝[1,…,1]^T∈R^N×1；那么可以得到约束：再加入MVU的目标函数tr(K)，最大化方差，使得非近邻点近邻远离，这得到PCA降维的目标：

min_K tr(BK)-βtr(K)

s.t.tr(C_iK)＝d,i＝1,…,N

tr(1_N×NK)＝0

K≥0

其中，K＝YY^T≥0为对称半正定矩阵，的β是一个惩罚参数，表示对全局方差的惩罚程度。

本发明的有益效果：本发明所述的降维方法，能较好地保持原始数据的诸如数据点间距离，角度等几何信息，能对原数据做到极高的几何保真效果。

附图说明

图1是瑞士卷模拟数据降维结果对比图；

图2是人脸石膏模型降维可视化效果图；

图3是USPS手写体数字可视化效果图。

图4是本发明的流程图。

具体实施方式

本发明实施方式如下：

实施例一：

步骤1：对于800个样本点的3维瑞士卷数据，目标是保持局部几何性质的情况下降到2维。首先计算数据点之间的欧式距离，然后选取包含自身在内的k个距离最短的点，作为点x_i的局部k邻域其中根据k邻域的选取，同时可以得到邻域选择矩阵S_i，S_i是0-1选择矩阵，使得X_i＝XS_i。这里的邻域参数k取值为8。

步骤2：局部的低维表示：对于流形结构，其局部可以通过欧式空间的性质进行逼近。具体操作是利用高维点的局部切空间来近似流形的局部几何性质，构造最优的d维仿射子空间来逼近局部k邻域X_i，其本质上等价于利用主成分分析(PCA)将局部k近邻X_i降到d维，得到局部坐标Θ_i∈R^d×k。

步骤3：低维坐标的全局对齐：全局对齐的过程就是将得到的所有低维坐标Θ_i,i＝1,…,N通过正交对齐得到最优的全局低维坐标Y∈R^d×N，并使得重构误差最小：

${\min }_Y\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{TS}}_i{H}_k-L_i{\mathrm{\Θ}}_i\left|\right|}_F^2$  (公式I)

$s.t.L_i{L}_i^T=I_d,i=1,...,N$

其中L_i∈R^d×d为正交变换，I_d为d维的单位矩阵，e＝[1,…,1]^Т∈R^k×1为减去均值的中心化矩阵。这个目标函数可以解释为：局部k邻域X_i最终的降维结果Y_i＝YS_i与其局部的PCA降维结果Θ_i只相差一个旋转与平移变换。

步骤4：由于公式II中含有多个变量Y与L_i，难以直接求解。通常的办法是分步优化：在给定全局坐标Y的情况下，公式II中的线性变换L_i可以通过最小二乘进行求解其中为Θ_i的Moore-Penrose伪逆；将L_i代入到(公式I)中，并通过迹与F-范数的关系可以将(公式I)等价转化，对Y进行求解：

min_Ytr(YBY^T)      (公式II)

$s.t.{\mathrm{YG}}_i{G}_i^T{Y}^T=I_d,i=1,...,N$

其中 $B=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(S_i{H}_k(I-{\mathrm{\Θ}}_i^{+}{\mathrm{\Θ}}_i)H_k^T{S}_i^T\right)\∈R^{N\×N},G_i=S_i{H}_k{\mathrm{\Θ}}_i^{+};$

公式II就是局部正交对齐问题的目标函数，是一个多正交约束的优化问题，难以直接求解。我们对正交约束进行条件松弛并有效求解：每个局部正交约束利用迹运算tr(YC_iY^T)＝tr(I_d)＝d，将局部正交约束简化为对角和为d的迹约束；并将多个正交约束进行叠加，得到单个正交约束：

${\mathrm{YC}}_i{Y}^{\mathrm{\τ}}=I_d,i=1,...,N\⇒\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{YC}}_i{Y}^{\mathrm{\τ}}=Y\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{C}_i{Y}^{\mathrm{\τ}}=N\·I_d$

本方法最终的目标函数：

min_Ytr(YBY^T)

s.t.tr(YC_iY^T)＝I_d,i＝1,…,N (公式III)

YCY^T＝I_d

其中 $C_i=G_i{G}_i^T,C=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{C}_i.$

步骤5：将目标函数(公式III)分解为两个子问题：半正定松弛部分和正交约束部分。并分别通过半正定松弛方法和强制正交化方法进行求解，最终得到降维后的结果。

半正定规划部分为：

min_Ytr(YBY^T)

s.t.tr(YC_iY^T)＝I_d,i＝1,…,N

这是一个QMP(二次矩阵规划)问题，可以通过半正定松弛方法，转化为一个标准的半正定规划问题：

min_Ktr(BK)

s.t.tr(C_iK)＝I_d,i＝1,…,N

K≥0

其中K＝YY^T≥0为对称半正定矩阵。利用半正定规划的工具包如SDPT3、Sedumi、CSDP等可以求解出K，并利用特征值分解的方法得到前d维的主成分Y_sdp。但是这里得到的Y_sdp往往是不满足正交约束条件的，需要进行正交化修正。这里使用一个线性变换P，得到最终的降维结果Y＝PY_sdp。其中P可以通过的特征值分解得到，那么就满足了正交约束：

${\mathrm{YCY}}^T={\mathrm{PY}}_{\mathrm{sdp}}{\mathrm{CY}}_{\mathrm{sdp}}^T{P}^T=D^{-\frac{1}{2}}{V}^{\mathrm{\τ}}{\mathrm{VDV}}^{\mathrm{\τ}}{\mathrm{VD}}^{-\frac{1}{2}}=I_d$

通过正交修正的结果Y就是最终的降维结果。事实上，还可以根据MVU算法的一些性质，对我们的算法做出进一步的扩展。由于Y是旋转与平移不变的，在半正定规划部分可以给目标函数加上均值为0的约束：Y1_N＝0∈R^d×N，其中1_N＝[1,…,1]^T∈R^N×1；那么可以得到约束：还可以加入MVU的目标函数tr(K)，最大化方差，使得非近邻点可以近邻远离，这也是PCA降维的目标：

min_K tr(BK)-βtr(K)

s.t.tr(C_iK)＝d,i＝1,…,N

tr(1_N×NK)＝0

K≥0

这里的β是一个惩罚参数，表示对全局方差的惩罚程度。在加入全局方差的惩罚βtr(K)后，能够使得原来不是近邻的数据点在降维后尽量远离。该问题仍然是一个标准的半正定规划问题，求解方式与上面的一致。

我们在Mani Demo生成的模拟数据上做了降维实验，并与一些经典的降维算法进行了对比，主要是数据的可视化和定量的几何信息保持度。如图1所示，我们的方法(LOPA)能够恢复出瑞士卷数据的流形结构：二维空间中的矩形平面。

我们还对算法保持局部几何性质的能力进行了度量：

1.降维前后数据的k近邻保持误差R_knn。若定义Ω(x_i)为x_i点的局部k邻域，则可以定义近邻保持误差：

$R_{\mathrm{knn}}=\frac{1}{\mathrm{kN}}{\mathrm{\Σ}}_{i=1}^N(k-|\mathrm{\Ω}\left(x_i\right)\∩\mathrm{\Ω}\left(y_i\right)\left|\right)$

2.降维前后高维数据x_i对应的k近邻点距离变化R_kdist：

$R_{\mathrm{kdist}}=\frac{1}{(k-1)N}{\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=2}^k|{(x_{i_j}-x_i)}^2-{(y_{i_j}-y_i)}^2|$

3.降维前后局部角度的变化量R_kangl：对于k邻域，以为一条边，为另一条边，计算其夹角

$R_{\mathrm{kangl}}=\frac{1}{(k-2)N}{\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=3}^k|\∠x_{i_j}{x}_i{x}_{i_2}-\∠y_{i_j}{y}_i{y}_{i_2}|$

下表给出了近邻保持误差、局部距离误差和角度误差三个指标上，本方法与其他方法的效果比较(分别在五个模拟数据上进行实验，并与其他方法进行比较)：

实施例二：

石膏人脸数据集最先是在Isomap算法中用来做数据的可视化，后来被很多的流形降维方法使用，如LTSA等。数据集中共有698张灰度头像图片，每张图片的大小为64×64，可以用一个4096维的向量来表示。可以通过头部的姿态(朝向、俯仰)、光照条件来刻画数据集，因此这些数据分布在一个低维的空间中。数据集的本质特征就是头像的姿态和光照条件，因此可以将数据降到2维，观察降维结果是否能够反映这两个主要特征。

图2是对石膏人脸数据的降维结果，图上的人脸头像是沿着降维后数据的边缘均匀提取的。从四周的头像来看，算法能够反映石膏头像数据的本质特征：从左到右是头像的朝向变换，从上到下是头像的俯仰变换；上面的头像光照较强，底部的头像光照较弱。

实施例三：

MNIST手写数字数据库中共有60000个训练样本，10000个测试样本。样本为手写数字，从0--9一共分为10类。每张数字图片都是大小为28×28的灰度图片，这些图片已经经过归一化、中心化处理，可以直接使用。若同时对这10类数字进行降维，这些数字会重叠在一起，难以分辨。为了便于演示与说明，将数据分为两组，每组中有3类数字：一组是数字0,1,4、另一组是5,6,7。对于每个数字，在数据集中随机选取200副图片，因此每组数据的大小为X∈R^600×784。用本方法进行降维的可视化结果如图3。

实施例四：

USPS美国邮政服务手写数字识别库中共有9298个样本，其中7291个样本是训练数据，2007个样本用于测试。手写体0-9共10类，每个数字是大小为16×16的灰度图像，可以用256维的向量表示。在本例中，我们将USPS和MNIST手写体数据降到低维，然后分别使用分类器SVM和KNN对降维结果进行分类实验。

下表给出了各自经过10折交叉实验的对手写体数字分类正确率，并与经典的降维算法进行了对比。

表1，将手写体数字降到5维，并进行分类的对比

USPS	PCA	LTSA	Isomap	MVU	LOPA
						KNN	68.7％	65.2％	74.5％	73.4％	72.7％
SVM	76.6％	26.3％	70.3％	74.4％	75.3％

MNIST	PCA	LTSA	Isomap	MVU	LOPA
						KNN	59.8％	58.7％	67.2％	68.3％	69.6％
SVM	67.9％	18.7％	48.3％	64.8％	67.0％

参考文献

1)一种基于因子分析模型的高光谱数据降维方法-CN200910078443.1；

2)中文文本自动分类用的特征降维方法-CN200410000721.9；

3)一种基于规则邻域的数据降维方法-CN200810063304.7；

4)基于局部关联保持的人脸图像降维方法-CN201210248646.2。

Claims (6)

1.一种基于局部正交对齐的降维方法，其特征是，采用如下步骤进行数据降维：

步骤1：输入N个高维数据点x_i∈R^m组成的数据矩阵X∈R^m×N，根据高维数据点之间的欧式距离，获取数据点x_i的局部近邻关系：x_i的局部k近邻X_i∈R^m×k，近邻选择矩阵S_i∈R^N×k，S_i是0-1选择矩阵，使得X_i＝XS_i；

步骤2：局部的低维表示：若数据的分布满足流形假设，对于流形结构，其局部通过欧式空间的性质进行逼近；利用主成分分析将局部k近邻X_i降到d维，得到局部坐标Θ_i∈R^d×k；

步骤3：低维坐标的全局对齐：将得到的所有低维坐标Θ_i,i＝1,…,N通过正交对齐得到最优的全局低维坐标Y∈R^d×N，并使得重构误差最小：

${\min }_Y\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{TS}}_i{H}_k-L_i{\mathrm{\Θ}}_i\left|\right|}_F^2$           (公式I)

$s.t.L_i{L}_i^T=I_d,i=1,...,N$

其中L_i∈R^d×d为正交变换，I_d为d维的单位矩阵，H_k∈R^k×k为中心化矩阵；

步骤4：在给定全局低维坐标Y的情况下，L_i通过最小二乘进行求解其中为Θ_i的Moore-Penrose伪逆；将L_i代入到公式I中，并通过迹与F-范数的关系可以将公式I等价转化为：

min_Ytr(YBY^T)          (公式II)

$s.t.{\mathrm{YG}}_i{G}_i^T{Y}^T=I_d,i=1,...,N$

其中 $B=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(S_i{H}_k(I-{\mathrm{\Θ}}_i^{+}{\mathrm{\Θ}}_i)H_k^T{S}_i^T\right)\∈R^{N\×N},G_i=S_i{H}_k{\mathrm{\Θ}}_i^{+};$ 对公式II进行条件松弛，并将多个正交约束进行叠加，得到单个正交约束：

min_Ytr(YBY^T)

s.t.tr(YC_iY^T)＝I_d,i＝1,…,N          (公式III)

YCY^T＝I_d

其中公式III就是本方法最终的目标函数；

步骤5：将目标函数公式III分解为两个子问题：半正定松弛部分和正交约束部分；并分别通过半正定松弛方法和强制正交化方法进行求解，最终得到降维后的结果。

2.如权利要求1所述的降维方法，其特征是，步骤4中所述的对公式II进行条件松弛，其实现方法为：每个局部正交约束利用迹运算，将局部正交约束简化为对角和为d的迹约束。

3.如权利要求1所述的降维方法，其特征是，步骤5中，去掉公式III中的正交约束，得到的半正定规划部分为：

min_Ytr(YBY^T)          (公式IV)

s.t.tr(YC_iY^T)＝I_d,i＝1,…,N

这是一个QMP问题，通过半正定松弛方法可转化为一个标准的半正定规划问题，然后通过凸优化工具包进行求解：

$Y_{\mathrm{sdp}}={\arg }_Y\underset{K=Y^{T}Y}{\min }\mathrm{tr}\left(\mathrm{BK}\right)$

s.t tr(C_iK)＝d,i＝1,....,N

K≥0

其中，K＝YY^T≥0为对称半正定矩阵。

4.如权利要求3所述的降维方法，其特征是，步骤5中，通过半正定规划得到的Y_sdp往往不满足正交约束YCY^T＝I_d，因此要进行强制正交化：使用一个线性变换P，得到最终的降维结果Y＝PY_sdp，其中P通过的特征值分解得到，那么就满足了正交约束：

${\mathrm{YCY}}^T={\mathrm{PY}}_{\mathrm{sdp}}{\mathrm{CY}}_{\mathrm{sdp}}^T{P}^T=D^{-\frac{1}{2}}{V}^{\mathrm{\τ}}{\mathrm{VDV}}^{\mathrm{\τ}}{\mathrm{VD}}^{-\frac{1}{2}}=I_d$

通过正交修正的结果Y就是最终的降维结果。

5.如权利要求3所述的降维方法，其特征是，步骤5中，所述的凸优化工具包包括SDPT3、Sedumi、CSDP。

6.如权利要求1所述的降维方法，其特征是，步骤5中，在半正定规划部分给目标函数加上均值为0的约束：Y1_N＝0∈R^d×N，其中1_N＝[1,…,1]^T∈R^N×1；那么可以得到约束：再加入MVU的目标函数tr(K)，最大化方差，使得非近邻点近邻远离，这得到PCA降维的目标：

min_K tr(BK)-βtr(K)

s.t.tr(C_iK)＝d,i＝1,…,N

tr(1_N×NK)＝0

K≥0

其中，K＝YY^T≥0为对称半正定矩阵，的β是一个惩罚参数，表示对全局方差的惩罚程度。