CN108229295A - 一种基于多重局部约束的图优化维数约简方法 - Google Patents

Abstract

本发明提供一种基于多重局部约束的图优化维数约简方法(DRMLCGO)。与现有的图嵌入维数约简方法相比，该方法具有如下优点：1)为了避免基于k近邻或ε球准则构图策略中的参数选择问题，本发明采用线性重构的思想，即利用高维数据间的重构系数自适应地构建图；2)本发明将图学习与投影矩阵学习整合到统一框架，在维数约简的过程中自动地对图结构进行更新和优化，从而解决了图构建与维数约简分离的问题；3)为了使所学的图能够全面和准确地刻画高维数据的本征结构，本发明充分利用多重局部约束，并自适应对其加权融合；4)本发明提出一种有效的迭代算法求解目标函数。在三个标准人脸图像数据库上验证了DRMLCGO的方法的有效性。

Description

一种基于多重局部约束的图优化维数约简方法

技术领域

本发明涉及模式识别与机器学习技术领域，具体涉及一种基于多重局部约束的图优化维数约简方法。

背景技术

随着科学技术发展，数据获取和存储技术得到了快速发展。在科学研究领域，研究人员越来越容易采集到来自各行各业的大量数据，如生物数据、航天数据、网页文本、人脸图像以及高清晰医学图像等。这些数据作为信息的载体虽然蕴藏着大量有价值的信息，但往往具有高维、繁杂及非线性等特点，这就导致数据的本质特征被掩盖，难以进行直观理解与分析，并给后续的数据处理工作带来很多困难。因此，如何挖掘出隐藏在海量高维数据背后的符合实际需求的有价值信息，探索高维数据中潜在的数据结构和内在分布规律，成为模式识别、机器学习及计算机视觉等诸多研究领域的极大挑战。

高维数据不但会带来高额的计算和存储代价，产生数据冗余，增加数据分析的计算复杂度，还会导致严重的“维数灾难”(Curse of Dimensionality)等问题。“维数灾难”就是在缺乏简化数据的前提下，如果要在给定的精度下对数据进行有效地分析，所需要的样本数会随着数据维数的增加需呈指数增长。另外，高维数据处理中还存在诸多其它问题，如高维空间中测度的“集中现象”(Concentration Phenomenon)，即样本维数的增加会削弱数据样本之间距离测度的可区分性。该现象会导致如最近邻分类等基于距离测度的算法很难在高维空间获得较好的性能。因此，若要从高维数据中获取其本质的结构和内在的特征，就需要对高维数据进行预先分析与处理，提取有用信息的同时舍弃不相关的冗余信息。因此，维数约简成为高维数据分析中至关重要的步骤，也是处理高维数据、解决维数灾难较为直接有效的途径。维数约简，亦称数据降维，是指通过线性或非线性映射将高维空间中的样本投影到一个低维子空间，以便获得蕴藏在高维数据中有意义的低维表示。维数约简不仅能够减少数据冗余，节省存储空间，而且能够提取有用的数据信息，便于后续的分类和识别处理，同时，还可以实现高维数据可视化，即将数据从高维降至低维(如2维或3维)，使人们能够更直观地感知和理解这些高维数据，从而发掘隐藏在高维空间中的高维数据的本征几何结构及内在联系。为此，维数约简技术成为模式识别和机器学习等领域重要的研究问题之一。

近年来，维数约简因其重要性已被成功应用于许多领域，如机器学习、计算机视觉、模式识别、图像检索以及文本分类等。研究者通常将维数约简方法分为线性和非线性两大类。早在20世纪初就被提出的主成分分析(Principal Component Analysis，PCA)和线性判别分析(Linear Discriminant Analysis，LDA)是两个典型的线性维数约简方法。除此之外，线性维数约简方法还包括多维尺度变换(Multidimensional Scaling，MDS)、独立成分分析(Independent Component Analysis，ICA)、最大边缘准则(Maximum MarginCriterion，MMC)等。这些方法简单有效且易计算，在众多科学研究领域中得到了广泛的应用。

近十几年来，随着科技的发展，人们越来越多地采集到非线性高维数据，研究表明，这些数据往往存在或近似存在于一个嵌入到高维空间的低维非线性流形上，而线性维数约简方法无法揭示这些非线性数据的内在几何结构。为解决该问题，研究人员们提出了大量基于流形学习的非线性维数约简算法，其中，具有代表性的算法有等距映射(Isometric Mapping，ISOMAP)、局部线性嵌入(Locally Linear Embedding，LLE)、拉普拉斯特征映射(LaplacianEigenmap，LE)等。尽管上述三种基于流形学习的非线性维数约简算法都能将观测数据从原始高维空间非线性地映射到低维特征空间中，且在某些数据集上表现出较好的性能，但它们只能提供训练样本映射后的结果，却没有给出一个明确的映射关系表达式，容易出现“样本外”(Out of sample problem)问题。为避免“样本外”问题，很多改进方法应运而生。例如：Cai等人提出的等距投影(Isometric Projection)算法对ISOMAP算法进行了线性扩展，提供了显式的投影矩阵。He等人提出邻域保持嵌入(NeighborhoodPreserving Embedding，NPE)和局部保持投影(Locality Preserving Projection，LPP)，这两种算法分别是LLE算法和LE算法的线性改进形式。

最近，有研究表明，很多现有的维数约简方法都可以被统一到图嵌入(GraphEmbedding)的框架中，如ISOMAP、LLE、LE、LPP及NPE等维数约简算法，它们都是通过构建图来描述数据之间的某种联系及本质规律，揭示数据的内在拓扑结构(如子空间或流形结构)。构建图的过程一般分为两步：连边和赋权。图由顶点集和边权集组成，首先将样本集作为顶点集，通过有效的度量函数(如k近邻，ε球邻域，b-匹配等)刻画样本之间存在的某种关系(如相似性)，从而得到样本之间的边；然后为每条边分配权值，目前被广泛使用的权分配方式包括热核函数，局部线性重构系数等。在基于图嵌入的维数约简方法中，图的质量严重影响算法的性能，构造一个优质图不仅能够直观反映数据的几何结构信息，而且有利于后续的维数约简任务，构建一个“好”的图有时比选择一个“好”的算法更重要。因此，在很大程度上，对维数约简技术的研究可以转化为图构建问题的研究。图构建问题引起了国内外众多研究者的高度重视，如何构建一个高质量图成为维数约简方法中的重要研究问题之一。

随着对图构建问题的深入研究，研究者们提出了许多构图策略。其中，传统的k近邻和ε球邻域准则是目前应用较为广泛的构图策略。上述提到的LPP算法和NPE算法就是两个典型的基于k近邻准则定义图的维数约简算法。然而，无论是构建k近邻图还是ε球邻域图，都需要预先为所有样本确定相同的近邻参数k或邻域参数ε，而在实际问题中，这两个参数大小的选取比较困难；另外，每个样本的局部结构通常是不同的，设置相同的近邻参数会使得到的图不能有效反映数据的本质结构。为了克服上述构图策略的局限性，有研究者认为构建一个有效的图在一定程度上依赖于样本本身。于是，Yang等人于2010年提出了样本依赖图(Sample-dependent Graph，SG)并将其嵌入在LPP模型中从而实现维数约简的目的。构建SG图无需预先设定近邻参数，而是通过计算样本之间的相似性来自动确定每个样本的近邻。这样不仅减少了参数数量，降低了实际问题的复杂性，避免了近邻参数选择的困难，也能够直观有效地再现数据的本质规律。近年来，受压缩感知(Compressed Sensing，CS)的启发，许多研究者试图利用稀疏表示(Sparse Representation，SR)对图结构进行构建。例如：Qiao等人提出了稀疏保持投影(Sparsity Preserving Projections，SPP)的维数约简算法，该算法是在稀疏表示的基础上引入了图理论，通过优化L1正则项代替传统的人为预先指定工作，对于每个样本，用最少的其余样本来重构它，使得到的重构系数尽可能稀疏，并将其作为样本间的权值，并将此稀疏图称为L1图。与LPP、NPE算法不同，SPP算法的目的不在于保持局部邻域结构，而是在降维过程中保持数据的稀疏重构关系。在某种程度上，SPP算法也避免了近邻参数的选择问题，另外，Chen和Sun等人进一步证明了L1图的有效性。但每个算法都存在优势和劣势，尽管L1图被广泛应用于维数约简、聚类以及半监督学等方面，但其缺乏对解的全局约束，不能有效地发现数据的全局结构。因此，Liu等人采用低秩表示的方式构图，通过对系数矩阵进行低秩约束，同时计算所有输入样本的表示系数，从而更好地刻画数据的全局结构。为考虑数据之间的相关性，Lu等人提出了基于最小二乘回归(Least Square Regression，LSR)的图构建策略，此策略能够将具有高相关性的数据聚集在一起，这样构建的图简称L2图。

然而，在以上提到的多数基于图嵌入的维数约简算法中，图构建过程和后续的维数约简任务是分离的(这种构图策略称之为“任务独立”的构图策略)，换言之，这些算法先构图然后将其用于接下来的维数约简任务中，图在维数约简过程中保持不变，以至于不能被更新和优化。因此，在算法中采用这种任务独立方式构建的图可能不是最优的，难以保证算法实现最优的性能，有学者认为不妨在学习任务中自适应地更新优化图，Zhang等人基于此想法，提出了图优化的局部保持投影(Graph-optimized Locality PreservingProjections，GoLPP)，该算法将图构建过程融合到LPP模型中，将图和投影矩阵均作为未知变量在目标函数中共同学习，产生一个同时降维与图学习的优化框架。另外，为了保持图中权值的光滑性，算法在LPP的基础上引入了熵正则项。由此可见，GoLPP算法不涉及近邻参数的选择问题，构建的图能够在学习任务中通过迭代算法不断更新直至最优。尽管GoLPP算法被证明具有比传统的基于k近邻图的LPP算法更好的性能，但GoLPP算法获得的最优图丢失了原始空间中的数据信息。为避免这一问题，Qiao等人提出了基于自适应图的维数约简(Dimensionality Reduction with Adaptive Graph，DRAG)，该算法借鉴了GoLPP算法的优点，使投影矩阵的学习和图的优化同时进行。与GoLPP算法不同的是，DRAG算法利用原始高维数据构建了一个预定义图，使优化出的图与预定义图尽可能接近。因此，该算法在利用投影空间中数据信息的同时，也结合了原始空间中的数据信息，可以被视为GoLPP与LPP的折中算法。有研究者强调，一个较好的图应具备的三个特点是：稀疏性、高判别能力及自适应选择邻域，而GoLPP算法得到的结果图并不具有稀疏性，为了解决这一问题，Zhang等人提出了基于稀疏约束的图优化维数约简(Graph Optimization for DimensionalityReduction with Sparsity Constraints，GODRSC)，该算法继承了GoLPP算法在维数约简过程中更新图的优点，同时利用L1范数正则项代替GoLPP算法中的熵正则项自适应优化一个稀疏图，该算法可视为是对SPP算法的延伸，巧妙地建立了GODRSC算法与SPP算法之间的联系。

上述三种方法都结合了同时学习投影矩阵与图结构这种创新性的思想，实现了在维数约简过程中自适应更新图的目的，解决了任务独立所存在的问题，在分类及聚类等应用中也取得了较好的效果。但这三种方法没有考虑高维数据的局部相似性，因此无法保证高维空间中相似的样本在维数约简后依然互为近邻。近年来，数据局部性在许多应用中都发挥了举足轻重的作用，如维数约简、图像分类、字典学习等。研究表明，数据的局部信息比稀疏性更重要，局部能导致稀疏，反之却不一定成立。虽然有些基于图嵌入的方法利用了数据的局部性，但在构图过程中只采用一种度量方式度量数据的距离关系，如热核函数、欧氏距离加权、点积加权、形状交互加权(Shape Interaction Weighting，SIW)等，没有充分利用数据在不同度量方式下的不同结构信息。因此，如何有效融合不同的距离度量方式，充分挖掘数据的本质分布结构成为本发明的重点问题。

发明内容

为了能够全面准确地刻画高维数据的本质分布结构，本发明提出一种基于多重局部约束的图优化维数约简(DRMLCGO)方法。

本发明通过整合基于多种不同度量方式的局部约束并且自适应加权融合，同时将维数约简和图学习统一到一个框架中。

模型构建：

给定高维空间样本集X＝[x₁,x₂,...,x_n]∈R^D×n,其中，n为样本个数，D为样本维数，x_i(i＝1,2,...,n)为数据集X中第i个样本。令Y＝[y₁,y₂,...,y_n]∈R^d×n(d<<D)表示X的低维嵌入。DRMLCGO方法将图构建与维数约简统一在同一个框架中实现图学习和投影矩阵学习的目的，其总体目标函数定义为：

其中，y_i是x_i的低维表示，S＝[S_ij]_n×n表示为所构建图的边权矩阵，S_ij是由样本x_i相对于样本x_j的重构系数。首先，为了保准重构系数更符合视觉数据的仿生模型，因此，引入S≥0约束。另外，为了避免样本被其本身重构方法，方法中引入约束S_ii＝0。最后，f(S)项是对重构系数的局部约束项，α＞0为权衡参数。

从公式(1)中可知，第一项用于保持数据的局部几何结构，即保证在高维空间中离的较近的样本在低维空间中仍然很近。第二项是通过最小化数据的重构误差来自适应学习图的过程，重构系数值决定了图中样本对的边权。具体而言，如果样本x_j能够重构样本x_i，则x_i与x_j在图中有边连接，且边的权值由x_i相对于x_j的重构系数S_ij决定。由此可见，选择一个样本的近邻来重构该样本有助于刻画数据的局部结构。因此，如何利用局部约束有效保持数据的局部结构信息成为本发明的关键。

目前有大量样本间距离度量计算方法被提出，例如，首先，Fang等人基于欧式距离提出一种有效的方法，如公式(2)所示：

然后，Feng等人提出一种类似于热核函数方式计算两个样本的距离，如公式(3)所示：

其中，σ为调节参数。此外。类似于，Dornaika等人给出一种简单且有效的目标函数，其公式如(4)所示。

1-exp(-||x_i-x_j||²) (4)

其次，为了减少参数对距离度量的影响，Cai等人利用向量内积(或称点积加权)的方度量数据之间的距离关系，如公式(5)所示：

接着，为了能够有效揭示不同子空间结构关系的图，Tang等人结合热核函数对公式(5)进一步延伸，其具表达式如下：

其中，表示样本之间内积的绝对值，

为了降低噪声或者离群点对欧式距离计算的影响，Shen等人提出一种新的距离度量函数，如公式(7)所示：

最近，Liu等人针对于子空间聚类提出了形状交互加权(Shape InteractionWeighting，SIW)方案计算样本间的距离，其公式如下所示：

其中，X＝[x₁,x₂,...,x_k]∈R^m×n是给定的来自k个子空间的数据集，是X的奇异值分解(Singular Value Decomposition，SVD)的特殊形式，r为X矩阵的秩。假设x_i和x_j分别是来自两个独立子空间中的数据点，则x_i和x_j的形状交互表示分别定义为和利用u_i＝SIR(x_i)/||SIR(x_i)||₂和u_j＝SIR(x_j)/||SIR(x_j)||₂对形状交互表示进行归一化。μ_p(p＝1,2,...,k,p≠j)表示除样本x_j以外其它样本的形状交互表示的归一化形式。

上述七种不同的计算样本间的距离函数对不同数据结构具有不同的适用性。因此，对于不同的数据如何选择合适的距离度量函数仍然是一个开放性的问题。

单一局部约束(即一种距离度量方式)虽然可以刻画简单数据的局部结构信息，但是对于结构比较复杂的数据，将难以充分地反映数据的本质结构。为此，本发明通过自适应加权的方式融合多种距离度量方式进行局部约束。假设距离度量方式的数量为K，则多重局部约束正则项如公式(9)所示：

其中，W^k＝[W^k _ij]_n×n表示数据在第k(k＝1,2,...,K)种距离度量方式下的距离矩阵，其元素代表样本x_i与x_j之间的距离，μ＝[μ₁,μ₂,...,μ_K]是不同距离矩阵W^k的加权系数向量，表示点乘运算。L2范数正则化项(||μ||²)用于避免平凡解。

从公式(9)可以看出，若样本x_i与x_j之间的距离越小，则越小，因此，通过最小化公式(9)，x_i与x_j之间的重构系数S_ij将会越大，相反，样本之间的距离越大，W^k _ij越大，则S_ij越小，甚至为0。即在DRMLCGO方法中，如果两个样本距离较小，则在图中有边相连且权值较大，如果两个样本距离较远，则图中没有边连接。

因此，DRMLCGO方法保证了样本能够选择其近邻样本进行重构，也保证了相似的样本具有相似的重构系数。此外，DRMLCGO方法与其它基于局部约束方法不同，该方法融合了不同的距离度量方式，兼顾了不同度量方式的优缺点，通过约束重构系数，使构建的图能够准确和全面地刻画数据的内在几何结构。

综上所述，用公式(9)中的约束项代替公式(1)中的f(S)，DRMLCGO方法的目标函数如公式(10)所示：

假设数据从高维空间到低维空间的映射可通过线性变换来实现，即y＝P^Tx，则公式(10)可以改写为：

其中，P∈R^D×d(D＞＞d)表示从高维映射到低维的投影矩阵，λ＞0为权衡参数，D为对角矩阵，其对角元素为D_ii＝∑_jS_ij，L＝D-S是图拉普拉斯矩阵，I表示单位矩阵。

从公式(11)中可以得出DRMLCGO方法具有如下优势：1)公式(11)中的前两项将图构建与维数约简结合为统一框架，即DRMLCGO方法能够在学习投影矩阵的过程中可以自动对图结构进行更新和优化，从而解决了图构建与维数约简分离的问题；2)公式(11)的第二项利用线性重构的思想，根据高维数据间的重构系数，自适应地构建样本的图结构，解决了传统k近邻或ε球准则构图策略中的参数选择问题；3)公式(11)中的第三项融合了基于多种距离度量方式的局部约束，同时对不同局部约束进行自适应加权。因此，DRMLCGO方法构建的图能够更全面和准确地反映高维数据存在的本征结构。

优化求解：

公式(11)中有三个未知变量，即S、P和μ，对于三个变量而言，目标函数是非凸函数，无法得到全局最优解。但其对每个变量而言是凸函数，因此，我们提出一种迭代更新的方案来优化DRMLCGO方法的目标函数，即固定其中两个变量，求解另一个变量，直至整个函数收敛。

固定P，μ，更新S

当固定投影矩阵P和系数向量μ，更新重构系数S时，通过去掉与S无关的项，公式(11)可简化为：

其中，Ξ∈R^n×n是一个全1矩阵，V_ij＝||y_i*-y_j*||²，y_i*是Y的第i行。公式(12)能够被分解为n个不相关的S_i相对于X_i的子问题，每个子问题可视为一个加权非负稀疏编码问题。因此，公式(12)被重写为：

其中，X_i是数据矩阵X的第i列，S_i是重构系数矩阵S的第i列，S_mi是重构系数向量S_i的第m个元素，R_mi是矩阵R的第i列的第m个元素。对于公式(13)采用交替方向法(Alternating Direction Method，ADM)进行求解公式。

固定S，μ，更新P

当固定重构系数S和向量μ，学习投影矩阵P时，移除与P无关的项后，公式(11)可以化简为:

利用拉格朗日乘子(Lagrange Multiplier)法对公式(14)进行求解。公式(14)的拉格朗日函数形式为:

L(P,λ)＝tr(YLY^T)＝tr(P^TXLX^TP)-λ(I-P^TXDX^TP) (15)

对公式(15)中的P求一阶偏导并令导数等于0，则可得到：

XLX^TP-λXDX^TP＝0 (16)

公式(16)可以转化为如下特征值分解问题：

XLX^TP＝λXDX^TP (17)

设[λ₁,λ₂,...,λ_d]为公式(17)中前d(d<D)个最小特征值，[p₁,p₂,...,p_d]是其对应的特征向量，则从高维空间到低维空间的最优投影矩阵P可以表示为：

P＝[p₁,p₂,...,p_d] (18)

固定S，P，更新μ

当固定重构系数S和投影矩阵P，求解向量μ，去掉与μ无关的项，μ的求解问题转化为如下优化问题：

其中，ω＝[ω₁,ω₂,...,ω_K]^T，对于公式(18)，采用EMDA算法(Entropic Mirror Descent Algorithm)求解。

算法1给出了DRMLCGO算法的具体流程。

在算法1中，停止准则可定义为两次迭代的目标函数值的差小于一个阈值或达到预先设定的最大迭代次数。

收敛性分析：

针对所提出算法的收敛性进行分析。从公式(11)可以看出，算法的目标函数是非凸的，不能保证优化出全局最优解，但可以将算法的优化过程分为三个子问题：公式(12)、公式(14)与公式(19)。公式(12)可通过公式(14)进行求解，本发明利用ADM算法进行求解，因此，在算法每次迭代过程中，通过求解公式(12)，可以使目标函数的值减小；对于公式(14)，可以将其转换为求解广义特征值分解问题，通过公式(17)能够得到显式解，因此，每次迭代求解P后，算法的目标函数值是递减的；对于公式(19)，利用EMDA算法求解最优解，可以使目标函数值减少。最后，由于公式(11)中所有项的值都不小于零，即DRMLCGO算法的目标函数值有下界。因此，根据“柯西收敛定理”可以证明DRMLCGO算法是收敛的。

附图说明

图1是具体实施方式中使用的三个数据库的示例图像。

图2是不同算法在不同数据库上的识别率曲线图。

图3是四个图优化方法在Extended YaleB数据库上的邻接图。

图4是DRMLCGO方法在三个数据库上的收敛曲线图。

具体实施方式

为了验证DRMLCGO算法的有效性，我们在三个标准人脸数据库(AR，ExtendedYaleB，CMU PIE)上进行了大量的实验。并且将DRMLCGO方法与目前较为流行的图嵌入维数约简方法(LPP、NPE、SGLPP、SPP、LSR-NPE、LRR-NPE、GoLPP、DRAG及GODRSC)进行对比，其中，LPP和NPE算法都是利用k近邻准则进行图构建，SGLPP算法使用了样本依赖的构图策略，LSR-NPE算法和LRR-NPE算法分别将L2图和LRR图嵌入在NPE模型中实现维数约简，SPP算法是基于L1图的维数约简方法，GoLPP、DRAG和GODRSC三个算法都是基于图结构和投影矩阵同时学习的图优化算法。实验中我们融合了七种距离度量方式，如公式(2)～(8)，用LC^k(k＝1,2,…,7)表示利用不同距离度量方式所得到的单一局部约束。

数据库描述：

AR数据库

AR人脸数据库是由126个人(包括70个男性和56个女性)的4000多张正面人脸图像组成，每个人有26张图像，这些图像都是在不同光照、不同面部表情以及不同面部遮挡的条件下采集到的。本次实验仅利用了Martinez提供的一个子集，该子集是由100个人(包括50个男性和50个女性)的1400张图片构成，每个人有14张图像。另外，该子集被分为两部分，我们从第一部分中随机选取每人7张图像作为训练样本，在相同的条件下，从第二部分随机选取每人7张图像作为测试样本。

Extended YaleB数据库

Extended YaleB人脸数据库包含38个人的2432张正面人脸图像，每个人拥有64张图像，这些图像是在实验室可控光照条件下采集到的，主要有头部姿势和面部表情等变化。

CMU PIE数据库

CMU PIE人脸数据库由美国卡耐基梅隆大学创建，包含68个对象在不同姿势、光照以及面部表情条件下的41,368张人脸图像。这些图像分别是在13台同步摄像机和21个闪光灯环境下采集的，主要包含13种姿态、43种光照和4种表情变化。本次实验仅使用该数据库的一个子集，每个人有24张图像。

表1给出了三个人脸数据库的详细信息，图1提供了不同数据库的部分图像。

表1每个图像数据库的具体信息

实验设置：

在数据预处理阶段，首先，我们将每个数据库上的人脸图像大小处理为32×32，并对图像进行归一化。然后，我们在每个数据库上分别选择l个样本作为训练样本，余下的t个样本作为测试样本，随机选取训练样本的过程重复执行10次，表1给出了不同数据库所对应的l和t的值。另外，为了避免“小样本”(Small Sample Size，SSS)问题，我们使用PCA算法对数据进行预处理。

在NPE和LPP算法中，k近邻构图策略中的近邻参数k值设置为{3,5,7,9}，并记录算法在四个参数下的最好结果。对于其它对比算法中的参数，我们按照相应的参考文献给出的最优参数值进行设置。在DRMLCGO方法中，将权衡参数α的取值为{0.001,0.01,0.1,1,10,100}，λ的取值为{0.001,0.01,0.1,1,10}，热核参数σ的值设置为1。为了验证算法的可靠性，实验中随机执行10次实验，并记录10次实验的平均识别率。在实验中，采用基于欧氏距离的最近邻分类器进行分类。

实验结果与分析：

首先，图2给出了不同算法在三个人脸数据库上的平均识别率曲线，从图中可以看出所有方法的识别性能均随着子空间维数的增加而有明显的提高，并且DRMLCGO方法的性能明显优于其它对比方法。另外，表2列出了这些方法的最高平均识别结果，从中可以总结出以下几点：

第一，LPP算法和NPE算法使用人为预定义的k近邻准则构图，除了预先指定的近邻参数对算法有一定的影响外，构建的图不能在后续维数约简过程中得到更新。与其它多数方法相比，它们的识别率相对较低，这表明简单的k近邻图不能准确的刻画输入数据的分布信息。

第二，由于SGLPP、LSR-NPE、LRR-NPE以及SPP算法采用自适应构图策略，构建了比k近邻图更好的图，因此在多数情况下，它们能够获得比LPP算法和NPE算法更好的分类结果。然而，这些算法构建的图均独立于后续的维数约简任务，导致它们的性能要低于某些基于图优化的算法，如DRAG、GODRSC和DRMLCGO算法。

第三，尽管GoLPP、DRAG和GODRSC算法都能同时学习最优图和投影矩阵，但识别性能却不相同。其中，GoLPP算法忽略了原始空间中的数据信息以及数据的稀疏性，因此，GoLPP算法的分类性能不如另外两种方法。DRAG和GODRSC算法分别通过引入预定义图和稀疏约束克服了GoLPP算法的缺点，提高了分类性能。然而，DRMLCGO算法在图构建过程中不仅利用了数据间的重构关系，也考虑了数据的局部结构，结合了数据在不同度量方式下的距离关系，因此识别性能高于其它对比方法。

表2不同算法在不同数据库上的最高平均识别率(％)以及对应的标准差(％)

注：括号内的数表示最高平均识别率所对应的特征维数。

其次，为了验证多重局部约束的必要性和可行性，将DRMLCGO方法中的多重局部约束和单一局部约束分别在三个人脸数据库上进行了对比实验，表3给出了实验结果。从表3中可以看出基于多重局部约束的DRMLCGO方法的分类性能优于基于单一局部约束的分类性能。由此可见，仅仅利用一种距离度量方式的局部约束不能准确和全面地揭示捕获数据的内在几何结构。

表3DRMLCGO方法中的多重局部约束和单一局部约束在不同数据库上的分类对比结果

注：LC^k(k＝1,2,…,7)表示利用第k种距离度量方式所得到的局部约束。

接着，为了进一步验证DRMLCGO算法中的多重局部约束的有效性，我们在ExtendedYaleB数据库上随机选择8类样本，并直观地给出了几种不同图优化方法所获得的邻接图(见图3)。从图3中发现：(1)GoLPP算法得到的图不具有稀疏性，图中块对角现象不明显。(2)DRAG和GODRSC算法分别考虑了原始数据信息和数据的稀疏性，因此获得的图优于GoLPP图。由于DRAG和GODRSC算法忽略了数据的局部信息，因此，通过DRAG和GODRSC方法所学的图中，块对角周围分布着很多比较分散的权值，无法保证图中有边连接的样本来自同一类。(3)DRMLCGO算法在构建图时不仅利用了数据间的重构关系，也考虑了数据的局部性，融合了数据在不同距离度量方式下的结构信息，使获得的图具有比较明显的块对角结构，即非零权值几乎分布在同一类。因此，DRMLCGO算法得到的图优于其它三种图，从而证明了DRMLCGO算法中多重局部约束的有效性。

此外，为了测试DRMLCGO算法中的两个权衡参数α和λ对算法性能的影响，表4和表5给出了算法在两个参数不同取值下的识别结果以及对应的特征维数。从4和表5中可以看出：(1)在不同的数据库上，当α＝0.001时，算法的识别结果较低，然而随着参数α取值的增大，平均识别率也随之上升；当α＝10时，算法达到最好的识别性能；但随着α继续增大，算法的最大平均识别率反而降低。(2)在三个数据库上，当λ值较小时，算法的识别结果最低；随着参数λ的增大，最大平均识别率也相应地有所提高；当算法达到最好的识别性能之后，又开始随着λ的增大而下降，其变化趋势与参数α一致。由此可见，权衡参数设置过大或过小都有可能不利于算法的性能，如果其中一个参数设置过大，则由该参数所对应的项在目标函数中将会占据主导地位，其它项将变得微不足道而被忽视；如果某个参数值设置过小，则相应的项将会丢失自身的价值，其它项将会占据主导地位。因此，为不同参数设置适当的值，有利于算法实现更好的性能。

表4在三个数据库上参数α在不同取值下所对应的最优分类结果

表5在三个数据库上参数λ在不同取值下所对应的最优分类结果

最后，为了验证DRMLCGO方法的收敛性，图4给出了DRMLCGO算法在不同数据库上的收敛曲线，图中x轴和y轴分别表示迭代次数和目标函数值。图4表明算法1中的迭代更新方案能使算法在较少迭代次数内达到收敛。

Claims (2)

1.一种基于多重局部约束的图优化维数约减方法，包括以下步骤：

1)输入样本数据矩阵X∈R^D×n和衡参数α和λ；其中，n表示样本总数，d表示数据的特征维数；

2)计算七种不同的距离度量的局部调试符：

(1)

(2)

(3)1-exp(-||x_i-x_j||²)；

(4)

(5)

(6)

(7)

3)构建多重局部约束的图优化维数约减模型：

其中，P∈R^D×d(D＞＞d)表示从高维映射到低维的投影矩阵，λ＞0为权衡参数，D为对角矩阵，其对角元素为D_ii＝∑_jS_ij，L＝D-S是图拉普拉斯矩阵，I表示单位矩阵。

4)通过迭代优化策略求解目标函数；

5)P，S和μ作为最终输出。

2.根据权利要求1所述的方法，其特征在于：通过迭代优化策略求解目标函数的具体步骤为：

1)输入训练数据X＝{x₁,x₂,...,x_n}∈R^D×n，权衡参数α和λ；

2)初始化P，S和μ；

3)计算局部调试符W^k(k＝1,2,..,K)；

4)重复执行以下几步直到t>T：

固定P和μ，利用ADM算法更新S；

固定P和S，求解广义特征值问题更新P；

固定P和S，利用EMDA算法更新系数向量μ；

t＝t+1。