CN109815440A - 联合图优化和投影学习的维数约简方法 - Google Patents

Abstract

本发明涉及一种联合图优化和投影学习的维数约简方法，属于模式识别与机器学习领域。首先将图优化和投影矩阵学习整合到一个统一框架，实现在维数约简的过程中能够自适应地学习图结构，并且该图结构可以很好地刻画数据的几何结构。在框架中，本发明通过引入基于l₂₁‑范数的距离度量函数，减少异常值或数据变化带来的负面影响，从而提高算法的鲁棒性。此外，本发明通过引入局部约束保证尽可能选择近邻区域样本进行重构，从而确保算法能够较好的保持高维数据的局部结构信。最后本发明给出一种有效的迭代更新算法来解决模型。本发明通过大量的实验，实验结果验证了本发明具有良好的性能而且优于现有的相关方法，适用于高维数据的分类和聚类任务。

Description

联合图优化和投影学习的维数约简方法

技术领域

本发明涉及计算机视觉技术、模式识别与机器学习领域，具体涉及一种图维数约简方法。

背景技术

在机器学习和计算机视觉众多领域，高维数据通常会包含大量冗余和噪声特征，这将导致“维数灾难”问题，并降低现有算法的有效性。因此，如何采用维数约简(降维)技术从原始高维数据中提取最有用的低维表示成为一个关键的课题。

在过去的几十年中，系列维数约简(降维)算法被提出，这些方法可以分为线性和非线性两类方法。线性维数约简方法是通过寻找最优的线性变换矩阵(投影矩阵)将原始高维数据映射到低维子空间。线性维数约简方法已经被广泛的研究，并提出大量的方法。其中，最经典和使用最广泛的线性维数约简算法主要包括主成分分析(Principalcomponents analysis，PCA)和线性判别分析(Linear discriminant analysis，LDA)。虽然这两种方法简单且有效，但它们的共同局限性在于忽略了原始高维数据的非线性流形本征结构。为了解决这个问题，已经提出了许多非线性降维算法，如局部线性嵌入(Locallylinear embedding，LLE)和拉普拉斯特征映射(Laplacian eigenmaps，LE)。然而，这些方法只能得到训练数据的低维特征，而不能学习高维数据和低维表示之间的显式映射关系。因此，它们不适合处理未知数据(Unseen data)，该问题通常称为“样本外”(Out of sample)问题。为了处理上述“样本外”问题，研究者提出了一系列线性化流形学习(Manifoldlearning)方法。流形学习方法都是基于图嵌入的降维方法，并且能够学习到一个投影矩阵将高维数据变换到低维子空间，例如，邻域保持嵌入(Neighborhood preservingembedding，NPE)和局部保持投影(Locality preserving projections，LPP)。这些非线性降维方法及其扩展方法均可以归于图嵌入(Graph embedding)框架，这类方法利用图结构来刻画高维数据点之间的几何关系。因此这类方法的性能在很大程度上依赖于图的构建。然而，在实际应用中，如何构造和获得最优图是非常困难的。例如，k近邻(kNN-graph)和ε-图(ε-graph)为两种经典图构造方法，并且已广泛用于基于图的降维方法，例如LE、LLE、NPE和LPP。然而，kNN-图和ε-图主要缺点在于需要根据经验设置相关参数值，因此，无法避免参数选择。为了解决参数选择问题，大量自适应图构建方法被提出应用于维数约简和聚类中，包括样本依赖图(Sample-dependent graph，SG)、l₁-图(l₁-graph)、低秩表示图(Low-rankrepresentation graph，LRR-graph)、最小二乘回归图(Least-squares regressiongraph，LSR-graph或l₂-graph)等。虽然这些不同的图构造方法在一定程度上可以克服kNN-graph和ε-graph存在的缺点，但是它们的共同局限在于这些图构建过程与维数约简过程相互独立。也就是说，通过这些方法构建的图结构在维数约简过程中不变。不同于上述图构造方法，Zhang等人将图构造和投影矩阵学习统一到单目标函数中，并提出了一种图优化局部保持投影(Graph-optimized locality preserving projections，GoLPP)算法。实验结果表明，GoLPP方法的性能要优于LPP方法，LPP方法采用经典图构造方法，即kNN-graph和ε-graph方法。

然而，GoLPP方法采用熵正则化来测量图结构的不确定性，因此，在图的构建过程中会造成原始数据信息和稀疏性丢失。为了克服GoLPP方法的缺点，Qiao等人在构建过程中考虑原始数据信息，并提出了一种自适应图降维方法(Dimensionality Reduction withAdaptive Graph，DRAG)。DRAG方法首先基于原始高维数据构建预定义图。然后，通过将原始数据和变换数据信息融合在一起来获得最优的图。为了增强GoLPP所获得图的稀疏性，Zhang等人提出了一种基于稀疏约束的图优化降维方法(Graph Optimization forDimensionality Reduction with Sparsity Constrains，GODRSC)。不同于GoLPP和DRAG两种方法，GODRSC方法将l₁正则化引入其目标函数中，实现同时优化稀疏图和投影矩阵。因此GODRSC方法的性能要优于GoLPP和DRAG方法的性能。然而，由于GoLPP、DRAG和GODRSC三种方法都基于l₂-范数或Frobenius范数度量数据的分散，因此，在一定程度上，这三种方法对异常值或数据的变化比较敏感。为了减少异常数据点和数据变化对维数约简算法性能的影响，Wong等人通过引入鲁棒低秩表示提出一种低秩嵌入方法(Low-rank Embedding，LRE)用于维数约简。尽管LRE方法处理包含噪声或损坏数据具有一定的鲁棒性，但是LRE方法忽略了数据的局部信息。而且，低秩约束的优化过程是非常耗时的。为了更好地捕捉高维数据的几何和最优的特征表示，Fang等人提出了一种新颖的正交自引导相似保持投影(Orthogonal self-guided similarity preserving projection，OSSPP)方法，该方法可以同时学习高维数据的特征表示和内在结构。尽管OSSPP方法考虑了数据的局部性，但该方法采用基于l₂-范数度量准则描述数据。因此，该方法对异常值或数据的变化仍然非常敏感，另外，其优化过程相对复杂且耗时。

发明内容

为了克服上述问题，本发明利用现有降维方法的特点，即局部性和鲁棒性，提出一种联合图优化和投影学习的维数约简(Joint Graph Optimization and ProjectionLearning，JGOPL)方法。

为达到上述目的，本发明采用以下技术方案。

读取高维数据样本集X＝[x₁,x₂,...,x_n]∈R^D×n，其中，x_i为第i个样本，D为样本维度，n为样本个数；

给定矩阵Z＝[z_ij]∈R^m×n，其中Zⁱ表示Z的第i行。矩阵Z的Frobenius范数表示为：

其中，是平方范数；m和n分别表示矩阵Z的行和列数；i和j分别表示第i行和第j列。

从公式(1)中可以看出Frobenius范数的敏感度来自平方运算，因为较大的值将主导最终结果。l₁-范数和l₂₁-范数定义表示如下：

其中，||·||₂是l₂-范数。

考虑到l₁-范数和l₂₁-范数都没有平方运算，尽管它们因此比Frohenius范数更稳健，但当矩阵Z变为为高维行向量时，l₁-范数和l₂₁-范数将变为Frobenius范数。因此，对于任意矩阵Z的l₂₁-范数等价于：

||Z||_2,1＝tr(Z^TGZ) (4)

其中，G是对角矩阵并且其对角并且对角元素为g_ii＝1/(2||Zⁱ||₂)。

将基于l₂₁-范数的距离测量引入到重建误差项中：

其中，X＝[x₁,x₂,...,x_n]∈R^D×n为数据矩阵，P∈R^D×d(d＜＜D)是投影矩阵，用于将原始D维高维样本投影到低维d维空间中，P^T定义为矩阵P的转置，I为单位矩阵，W是图的亲和权重矩阵(或称为相似矩阵)，w_i是W矩阵中的第i行。

将稀疏约束引入重构中以增加系数判别性。同时为了更好的保存数据特征的局部性，本发明给出一种新的局部性约束，其定义如下：

||E⊙W||₁ (6)

其中，E＝[e₁,e₂,...,e_n]是局部适配器矩阵，其元素e_i＝[e_i1,...,e_i,i-1,+∞,e_i,i+1,...,e_n]，e_ij＝exp(dist(x_i,x_j))，dist(·)是距离测量函数；⊙表示矩阵点乘元素(element-wise multiplication)，即为矩阵对应元素相乘。

为保留图结构并保持高维数据的相似性，定义如下目标函数：

其中，G_R＝diag(w₁₁,w₁₂,...,w_1n,...,w_n1,w_n2,...,w_nn)，X_R＝diag(x₁-x₁,x₁-x₂,...,x₁-x_n,...,x_n-x₁,...,x_n-x_n)。w_ij是表示W矩阵中第i行与第j列的元素值。

不同于LPP和GoLPP方法，公式(7)是基于l₂₁-范数度量的。因此，它的鲁棒性要强于LPP和GoLPP方法。如果值较大w_ij值较大，则表示样本具有较高的相似性。通过最小化公式(7)，可以保证较大w_ij可以使P^Tx_i和P^Tx_j在投影的低维子空间内仍然接近的。

结合公式(5)、(6)和(7)，JGOPL方法的最终目标函数可以定义为：

其中，公式(8)中的第一项是基于l₂₁-范数的重建误差；第二和第三项是局部约束，第二项约束尽可能选择相邻样本相互重构。第三项主要在低维空间中保持高维数据的局部结构。此外，为了保证低维特征的正交性和投影矩阵解的唯一性，本发明引入了正交性约束项P^TXX^TP＝I。

优化算法

由式(8)可知，本文发明提出的JGOPL目标函数包含两个变量P和W。对于两个变量而言，JGOPL目标函数是非凸的，因此，难以给出目标函数的全局最优解。但公式(7)分别对于P和W分别是凸函数，因此，本发明给出一种迭代更新优化算法。

通过固定P对W进行优化：

首先假设P是固定的，W的优化问题可以简化为：

其中，Y＝P^TX是X的低维表示，y_i＝P^Tx_i是x_i的低维表示。

为了简化公式(9)，本发明将q_ij＝||y_i-y_j||₂表示为低维样本y_i和y_j之间基于l₂-范数的距离。因此，公式(9)可以重写为如下：

根据上述范数定义，公式(10)等价于：

其中，M＝diag(m₁₁,m₂₂,...,m_dd)是对角线矩阵及其对角线元素m_ii＝1/(2||(Y-YW)ⁱ||₂)，()ⁱ表示矩阵的第i行。

通过移除不相关的项，公式(11)中W的优化问题可重写为如下：

令H＝Y^TMY，公式(11)可重写为如下：

接着，对于W≥0约束引入拉格朗日乘子因此，公式(13)的拉格朗日函数可表示为：

公式(14)对W求导，并且导数等于0，得到如下等式：

利用Karush-Kuhn-Tucker(KKT)中条件φW_ij＝0，得到如下等式：

(2HW-2H+αE+βQ+φ)W_ij＝0 (16)

为了确保W非负的约束，令H＝H⁺-H^-，其中：

结合公式(16)与公式(17)，可得到如下等式：

(2(H⁺-H^-)W-2(H⁺-H^-)+αE+βQ+φ)W_ij＝0 (18)

根据等式(18)，矩阵W的更新准则如下：

固定W，优化P

其次，我们固定矩阵W更新矩阵P，同样移除不相关项，公式(7)中P的优化问题可简化为：

通过简单的代数运算，公式(20)可重写为：

其中，D是对角矩阵，其对角元素D_ii＝∑_jR_ij。对角矩阵G和R定义分别如下：

其中，ε是一个小常数。

矩阵P的优化分解可以简化为两个步骤。第一步是计算对角矩阵G和R，然后，公式(21)转换为下面的优化问题：

其中，

对于公式(24)的优化问题可以通过求解如下特征值分解问题求解：

假设公式(25)的前d个最小特征值为λ₁,...,λ_d和相应的d个特征向量p₁,...,p_d，则将高维数据投影到低维子空间的最佳矩阵P可表示为P＝[p₁,...,p_d]。

本发明所提出的JGOPL方法的流程如下：

本发明的有益效果：不同于现有方法，本发明提出的JGOPL方法将图的学习融入维数约简的目标函数中，从而实现同时优化投影矩阵和自适应图学习过程。而且，为了提高模型对异常数据或数据变化的鲁棒性，本发明采用基于l₂₁-范数的距离测量定义损失代价函数。此外，通过利用输入数据的相似性，即为局部性约束，可以很好地保留高维数据的局部结构信息。

附图说明

图1是本发明具体实施方式中使用的四个数据库的示例图像。数据库分别为：(a)Yale，(b)Extended YaleB，(c)CMU PIE，(d)AR。

图2是不同算法在不同数据库上的分类性能曲线图。数据库分别为：(a)Yale，(b)Extended YaleB，(c)CMU PIE，(d)AR。

图3是所提出的JGOPL方法在不同参数α和β的值在四个数据库的分类准确性。数据库分别为：(a)Yale，(b)Extended YaleB，(c)CMU PIE，(d)AR。

图4是部分损坏或噪声图像的示例。

图5是不同算法在Extended YaleB数据库与大小为10×10随机遮挡块以及10％“椒盐”噪声上的分类性能。

图6是提出的JGOPL算法在四个数据库上的收敛曲线。数据库分别为：(a)Yale，(b)Extended YaleB，(c)CMU PIE，(d)AR。

图7是提出的JGOPL在三个数据库集不同参数α和β值的聚类精度。数据库分别为：(a)Glass，(b)Sonar，(c)COIL20。

图8是提出的JGOPL在三个数据库上的聚类收敛曲线。数据库分别为：(a)Glass，(b)Sonar，(c)COIL20。

具体实施方式

为了验证本发明所提出的JGOPL算法的有效性，我们在4个标准人脸数据库(Yale、AR、Extended YaleB和CMU PIE)上进行了大量的实验，并且将JGOPL方法与目前较为流行的基于图框架的维数约简方法(LPP、NPE、SGLPP、SPP、LSR-NPE、LRR-NPE、GoLPP、DRAG、GODRSC、OSSPP和LRE)进行对比，其中，LPP和NPE算法是两种经典的基于图框架的维数约简算法，图的构建采用k最近邻或ε球准侧。SGLPP方法使用样本依赖的构图策略。在LSR-NPE和LRR-NPE算法中，首先分别采用l₂-图和LRR图；然后，在利用NPE方法进行维数约简。SPP是一种基于l₁-范数的稀疏表示算法，对噪声具有一定的鲁棒性。而GoLPP、DRAG和GODRSC三种方法，它们是图优化算法，并且可以同时获得最优图和最优投影矩阵。OSSPP将最优特征表示和数据的内在结构组合到一个统一的框架中，该框架可以准确地表示最佳特征表示并捕获数据结构。LRE利用低秩约束和l₂₁-范数作为降维的度量，这对损坏数据具有一定的鲁棒性。

首先进行分类性能评估实验：

数据库描述：

Yale人脸数据库包含15个人的165个正面人脸图像，每个人拥有11张不同的图像和六种不同的面部表情以及有或没有眼镜，这些都是在不同的照明条件下采集到的。

Extended YaleB人脸数据库包括38个人的2432张证明人脸图像，每个人拥有64张图像，其中每个图像是32×32像素，每个像素具有256个灰度级。

CMU PIE人脸数据库由通过捕捉68个对象在不同的姿势、照明条件和表情下的41368个面部图像组成，在实验中，采用包含每个对象的24个图像的子集(C29)。

AR人脸数据库包含来着70名男性和56名女性的4000张面部图像，每个受试者的图像是在不同的照明条件下通过不同的表情(愤怒、微笑或尖叫)拍摄的，并带有一些遮挡物(太阳眼镜和围巾)。

表1给出了四个面部数据库的详细信息，图1提供了不同数据库的部分图像。

表1每个图像数据库的具体信息

实验设置：

第一步，训练样本和测试样本选择。对于每个数据库，本发明随机选取每个人的l个样本进行训练，剩下的t个样本进行测试。

第二步，获取投影矩阵和图矩阵。分别执行LPP、NPE、SGLPP、SPP、LSR-NPE、LRR-NPE、GoLPP、DRAG、GODRSC、OSSPP、LRE和JGOPL方法获取投影矩阵和图矩阵。

第三步，获取低维表示。分别利用第二步中方法所求解的投影矩阵，对训练样本和测试样本进行低维表示。

第四步，利用最近邻分类器获取测试样本的类别标签。分别利用第三步中获取的低维表示求解测试样本的标签信息。

第五步，统计结果。分别利用第四步获取的测试样本的标签信息与其真实类别标签信息匹配，计算识别率。

为测试样本的稳定性，实验中重复执行上述过程10次，并统计平均结果。

表1中给出了不同数据库的l和t的详细值。

对于NPE和LPP算法，在本实验中采用基于欧式距离的k近邻策略来构造图，并且k的值设置为{3,5,7}，在实验中选择最优的参数；其余比较算法根据相应的文献选择其参数值。本发明所提出的JGOPL方法，从取值为{0，0.00001，0.0001，0.001，0.01，0.1，1}中选择参数α和β。在本发明中，我们采用最近邻分类器(NNC)进行分类。

首先，不同算法的分类性能如图2所示，从该图可以看出，本发明所提出方法要比其它方法更好的表现。表2给出了不同算法的最优分类结果，从上述结果中可以观察出如下结论：

(1)LPP和NPE的分类率低于大多数其他对比算法，主要原因是他们采用k近邻图策略，不能准确地描述输入数据的真实分布；

(2)虽然SGLPP、LSR-NPE、LRR-NEP和SPP四种方法可以构建更好的图结构，但其图结构在维数约简的过程中保持不变。因此，在大多数情况下，它们的性能仍然低于共同学习图和投影矩阵方法(GoLPP、DRAG、GODRSC、OSSPP和LRE)。然而，在AR人脸数据库上，GoLPP的分类性能不如LSR-NPE，LRR-NPE和SPP三种方法，其主要原因是在于GoLPP忽略了数据的稀疏性和原始信息；

(3)由于OSSPP和LRE考虑了数据的局部性或鲁棒性，因此，在Extended YaleB和CMU PIE两个数据库上，它们的性能要比大多数对比方法更好；

(4)本发明所提出的JGOPL方法要优于所有比较方法，这是因为本发明所提出的方法将数据的局部性和稳健性集成在一起。因此，它所学习的低维空间不仅可以对数据异常或者变化具有鲁棒性，而且可以很好地保留高维数据的局部结构信息。

接着，在不同的参数α和β取值下测试JGOPL方法的性能。其实验步骤如下：

第一步，训练样本和测试样本选择。对于每个数据库，本发明随机选取每个人的l个样本进行训练，剩下的t个样本进行测试。

第二步，参数设置；本发明α和β参数取值范围设置为[0,0.00001,0.0001,0.001,0.01,0.1,1]。

第三步；获取投影矩阵。根据第二步中的参数设置，采用网格收搜方法，固定一组α和β参数取值，执行JGOPL方法获取投影矩阵和图矩阵。

第四步，获取低维表示。分别利用第三步中方法所求解的投影矩阵，对训练样本和测试样本进行低维表示。

第五步，利用最近邻分类器获取测试样本的类别标签。分别利用第四步中获取的低维表示求解测试样本的标签信息。

第六步，统计结果。分别利用第五步获取的测试样本的标签信息与其真实类别标签信息匹配，计算识别率。

为测试算法在不同参数下的稳定性，实验中重复执行上述过程10次，并统计平均结果。

从图3中的实验结果可以看出，当参数α和β的值设置为适中时，JGOPL方法性能表现更好。同时可以观察到当参数α和β的值为零时，所提出JGOPL方法的性能比GODRSC方法表现得更好。其结果表明，引入局部约束或基于l₂₁-范数的测量准则对提高算法性能起着至关重要的作用。随着参数值的增加，所提出的方法性能变得更好。然而，在其达到最优性能后，随着α和β值的增大，所提出方法的分类结果将急剧下降。其主要原因是当参数α和β取值相对较小时将会使JGOPL目标函数(公式(8))中的第一项占主导地位，并且第二和第三项的作用将被忽略。然而，相对较大的参数α和β值将使JGOPL的目标函数过于强调公式(8)中的第二项和第三项，而忽略了模型对数据或异常值变化的鲁棒性。此外，还可以观察到在Extended YaleB和CMU PIE数据库上较大α和β值下，JGOPL方法实现了最佳性能。造成这种现象的主要原因可能是这两个数据库有更多的训练样本，并且同一类的样本之间的差异要小于Yale和AR两个数据库。因此，需要较大的参数α和β值才更适合所提出方法去挖掘和保持数据的局部结构信息。

然后，通过模拟连续遮挡和随机像素损坏以测试本发明所提出的JGOPL方法的鲁棒性。在本实验中，在Extended YaleB数据库上随机选择每人30张图像作为训练数据集，其余图像在数据库中进行测试。在测试连续遮挡对算法性能的影响时，我们将大小为10×10的随机块添加到原始图像中的不同位置。在测试噪声对算法性能的影响时，我们在原始样本上随机添加10％的“椒盐”噪声。合成数据集的部分图例如图4所示。在损坏或噪声合成的数据集上，测试了本发明提出的方法和其他对比方法(GoLPP，DRAG，GODRSC，OSSPP和LRE)，实验结果分别如图4和表3所示。从图4和表3中的实验结果可以地观察到，所提出的JGOPL方法始终要比其它对比方法表现更好。

最后，给出本发明提出的JGOPL方法在四个数据库上的收敛曲线如图6所示。从图中可以看出，所提出的方法在每次迭代时其目标函数会随之减小，并且在所有数据库上都能非常快地收敛(通常在100次迭代之内)。而且不同算法在4个人脸数据库上的运行时间如表4所示。从表中可以看出，由于NPE、LPP、SGLPP和LSR-NPE使用简单的方法构造图，因此它们的运行时间比其它方法要短。SPP和GODSRC方法都采用了l₁-范数约束，分别需要求解每个样本的l₁-范数优化问题，因此它们的运行时间都高于LRR-NPE、DRAG、OSSPP、LRE和JGOPL。由于本发明所提出的方法只涉及矩阵运算和特征值分解，其运行时间小于OSSPP和LRE两个方法。

表2不同算法在不同数据库上的最高平均识别率(％)以及对应的标准差(％)

注：括号内的数字表示最高平均识别率所对应的特征维数

表3 Extended YaleB数据库在随机块损坏大小为10×10和“椒盐”噪声10％上的分类准确性

表4不同算法得到的平均训练时间

其次进行聚类分析实验：

对JGOPL方法在两个UCI数据集和COIL20数据上的聚类任务的有效性进行评估。

数据库描述：

UCI数据集

Glass和Sonar是实验中使用的两个UCI数据集。Glass数据集包含214个样本，6个类，每个样本有9个维度特征。Sonar由208个样本组成，分为2类，每个样本具有60个特征，代表不同频段在一定时间内的能量。

COIL20数据库

COIL20数据库由20个人组成,每个人都有72张图片的时间间隔从不同角度拍摄5°。两个UCI数据库和COIL20数据库的详细信息如表5所示。

表5用于聚类的数据库详细信息

实验设置：

采用k-means聚类算法对不同方法得到的低维特征进行聚类，采用聚类精度(ACC)衡量不同算法的性能。令c_i和l_i分别表示样本x_i的聚类结果和对应的真实结果。ACC定义如下：

其中，N是聚类的样本数。如果σ(x,y)＝1是x＝y,则x＝y是σ(x,y)＝0。map(·)是一个函数，它使用Kuhn-Munkres算法将每个簇标签c_i映射到其对应的真实的l_i。ACC越大，则聚类性能越好。

由于k-means聚类的性能取决于初始化。因此，对每个聚类实验进行20次随机初始化，并列出20次的ACC平均值和标准差。在聚类实验中JGOPL及对比方法的参数值设置与分类实验的参数值设置相同。

实验结果与分析：

表6显示了三个数据库上不同算法的最佳ACC。从该表中，可以得到与分类实验相似的观察结果。首先，由于LPP和NPE方法采用简单的k-近邻方法进行图构建，未能很好地挖掘输入数据的内在结构，因此，在大多数情况下，它们的性能都不如其它对方方法。由于SGLPP、LSR-NPE、LRR-NPE、SPP、GoLPP、DRAG、GODRSC、OSSPP、LRE采用了更为复杂的构图方法，他们的性能优于LPP和NPE方法。最后，JGOPL方法将局部约束和鲁棒性结合，它的性能要优于其他算法。

其次，评估了JGOPL算法在不同参数值下的聚类精度。从图7聚类结果，当参数α和β的值设置为既不太大也不太小时，所提出的JGOPL能够获得较好的性能。

最后，本发明所提出的JGOPL方法在Glass、Sonar和COIL20数据库上的曲线收敛如图8所示。可以看到，目标函数的值在每次迭代中都会下降，并在这些数据库上迅速收敛。

表6不同算法的最佳聚类精度(％)和标准差(％)

Claims (2)

1.一种联合图优化和投影学习的图维数约简方法，其特征在于，包括下列步骤：

(1)读取高维数据X＝[x₁,x₂,...,x_n]∈R^D×n，其中x_i为第i个样本，D为样本维数，n为样本个数；

(2)构建目标函数：

s.t.P^TXX^TP＝I,W≥0

其中，P∈R^D×d表示从高维映射到低维的投影矩阵；I表示单位矩阵；w＝[w_ij]∈R^n×n是图的亲和权重矩阵；E＝[e₁,e₂,...,e_n]是局部适配矩阵，其元素e_i表示[e_i1,...,e_i,i-1,+∞,e_i,i+1,...,e_n]，e_ij＝exp(dist(x_i,x_j))，dist(·)是距离测量函数；W是图的亲和权重矩阵；

(3)通过迭代优化策略求解目标函数；

(4)P和W为最终输出。

2.根据权利要求1所述方法，其特征在于：通过迭代优化策略求解目标函数的具体步骤为：

(3.1)输入数据矩阵X＝[x₁,x₂,...,x_n]∈R^D×n，权衡参数α和β；

(3.2)初始化P_t和W_t，并令t＝1；

(3.3)计算矩阵E＝{e_ij＝exp(|x_i-x_j|₁)}∈R^n×n；

(3.4)重复以下步骤

(3.5)计算矩阵Y_t＝P_t ^TX；

Q_t＝{q_ij}_n×n＝{||y_i-y_j||₂}_n×n,i,j＝1,2,...,n；

(3.6)计算对角矩阵和其中H＝Y^TMY；

(3.7)计算矩阵

(3.8)计算对角矩阵和

(3.9)计算矩阵和L_t＝D_t-R_t；

(3.10)通过求解特征值分解问题更新矩阵；

(3.11)t＝t+1；

(3.12)不断迭代直到收敛；

(3.13)最终输出P和W。