CN110717519B - 训练、特征提取、分类方法、设备及存储介质 - Google Patents

Abstract

本发明适用计算机技术领域，提供了一种训练、特征提取、分类方法、设备及存储介质，通过构建由低维图嵌入损失项、稀疏投影损失项及分类损失项组成的目标损失函数，以高维样本特征集合以及高维样本分类标签作为输入，迭代优化求解该目标损失函数，从而最终得到投影矩阵，利用该投影矩阵即可进行相应的特征提取及分类。这样，由于目标损失函数中同时进行了低维图嵌入和稀疏投影学习，而且显式地表达了分类误差，从而能够得到更具判别力的特征，具有鲁棒性，并有效提高了算法的性能。

Description

训练、特征提取、分类方法、设备及存储介质

技术领域

本发明属于计算机技术领域，尤其涉及一种训练、特征提取、分类方法、设备及存储介质。

背景技术

随着科学的进步、技术的发展，人类已经步入信息时代，各式各样的高维数据呈现井喷式增长。大量的高维数据在给人们提供有利信息的同时，也给人们带来了难题——维数灾难(Curses of Dimensionality)。也就是说，若要达到一定的估计精度，所需的样本数随维数的增加而呈指数增长，然而，在高维数据情况下，所拥有的样本往往很少。为了解决这个问题，人们开始致力于从高维数据中提取数据的有效紧致描述，即在保持信息损失最小的前提下，找到高维数据中所隐藏的低维结构，以便进一步挖掘数据中的有用信息。在模式识别、计算机视觉以及机器学习领域中，缓解维数灾难的一种有效途径是维数约简。它通过一个特定的目标函数将高维数据转换到低维空间，使得数据在低维空间的表示能够揭示数据的本征维度并尽可能地保持数据的原始属性。

联合嵌入学习与稀疏投影(joint embedding learning and sparseregression,JELSR)方法尝试同时进行嵌入学习和稀疏投影，然而它是一种无监督的方法，并且没有在损失函数中显示地表达分类误差。另外，JELSR方法仅仅只在正则项上添加了范数惩罚，其主要的回归项仍然使用Frobenius范数。因此，JELSR方法不具有鲁棒性，其性能也可能受到影响。

发明内容

本发明的目的在于提供一种训练、特征提取、分类方法、设备及存储介质，旨在解决现有技术所存在的、因采用无监督的JELSR方法而导致的不具有鲁棒性且性能无法保证的问题。

一方面，本发明提供了一种训练方法，包括：

获得在高维空间中表示的高维样本特征，以及高维样本的分类标签；

迭代优化求解一目标损失函数，所述目标损失函数以在低维空间中表示的低维特征、投影矩阵及分类回归矩阵作为变量，所述目标损失函数包括：基于所述低维特征构建的低维图嵌入损失项，基于所述低维特征、所述高维样本特征及所述投影矩阵构建的稀疏投影损失项，以及，基于所述分类标签、所述高维样本特征、所述投影矩阵及所述分类回归矩阵构建的分类损失项。

进一步的，所述稀疏投影损失项中包括基于所述投影矩阵构建的正则项。

进一步的，所述稀疏投影损失项及所述分类损失项均采用L_2,1范数惩罚。

进一步的，迭代优化求解一目标损失函数，具体为：

初始化三个所述变量；

在每一第一迭代时间步，以固定所述变量中的两个、求解所述变量中的另一个的求解方式，对所述目标损失函数进行优化求解，直至所述目标损失函数收敛。

进一步的，在每一总迭代时间步，以固定所述变量中的两个、求解所述变量中的另一个的求解方式，对所述目标损失函数进行优化求解，具体包括：

当固定所述变量中的所述投影矩阵及所述分类回归矩阵、求解所述变量中的低维特征时，在每一第二迭代时间步，利用增加矩阵列的方式，将非平衡正交Procrustes问题转换为平衡正交Procrustes问题进行求解。

进一步的，所述分类损失项采用最小二乘表达。

另一方面，本发明还提供了一种特征提取方法，包括：

获得在高维空间中表示的高维待处理特征；

利用如上述训练方法所得的最终的所述投影矩阵，对所述高维待处理特征进行处理，得到与所述高维待处理特征对应的、在所述低维空间中表示的低维结果特征。

另一方面，本发明还提供了一种分类方法，包括：

获得待处理图像；

对所述待处理图像进行预处理，得到在高维空间中表示的高维待处理特征；

利用如上述训练方法所得的最终的所述投影矩阵，对所述高维待处理特征进行处理，得到与所述高维待处理特征对应的、在所述低维空间中表示的低维结果特征；

将所述低维结果特征输入到分类器中进行分类。

另一方面，本发明还提供了一种计算设备，包括存储器及处理器，所述处理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。

本发明构建由低维图嵌入损失项、稀疏投影损失项及分类损失项组成的目标损失函数，以高维样本特征集合以及高维样本分类标签作为输入，迭代优化求解该目标损失函数，从而最终得到投影矩阵，利用该投影矩阵即可进行相应的特征提取及分类。这样，由于目标损失函数中同时进行了低维图嵌入和稀疏投影学习，而且显式地表达了分类误差，从而能够得到更具判别力的特征，具有鲁棒性，并有效提高了算法的性能。

附图说明

图1是本发明实施例一提供的训练方法的实现流程图；

图2是本发明实施例四提供的特征提取方法的实现流程图；

图3是本发明实施例五提供的分类方法的实现流程图；

图4是本发明实施例六提供的计算设备的结构示意图；

图5是本发明具体应用例中数据库部分样本示意图，其中，(a)AR,(b)ORL,(c)FERET,(d)Yale,(d)Binary。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的训练方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，获得在高维空间中表示的高维样本特征，以及高维样本的分类标签。

本实施例中，高维样本特征是由训练样本通过初步特征提取处理所得到的，以矩阵X∈R^n×d表示高维样本特征集合，其中，n表示训练样本大小，d表示高维样本特征维数，以矩阵Z∈R^n×c表示高维样本的分类标签集合，c表示低维特征维数。

在步骤S102中，迭代优化求解一目标损失函数，所述目标损失函数以在低维空间中表示的低维特征、投影矩阵及分类回归矩阵作为变量，所述目标损失函数包括：基于所述低维特征构建的低维图嵌入损失项，基于所述低维特征、所述高维样本特征及所述投影矩阵构建的稀疏投影损失项，以及，基于所述分类标签、所述高维样本特征、所述投影矩阵及所述分类回归矩阵构建的分类损失项。

本实施例中，以高维样本特征以及分类标签作为输入，迭代优化求解上述目标损失函数，同时需要为计算配置相应的参数，例如：均衡参数、最大迭代次数等。

在迭代优化求解目标损失函数的初始阶段，需要初始化变量低维特征Y∈R^n×c、投影矩阵B∈R^d×c及分类回归矩阵A。其中，低维特征Y可以通过随机方式初始化，可令投影矩阵B为零矩阵，AA^T＝I，I为单位矩阵。

可类似于边缘鉴别分析(Marginal Fisher Analysis，MFA)、局部保持投影(Locality Preserving Projection，LPP)、邻域保持嵌入(Neighborhood PreservingEmbedding，NPE)等线性投影方法中所采用的目标损失函数的构建方法，进行低维图嵌入损失项的构建，那么，可利用图嵌入方式，在保持数据局部几何结构的同时，寻找高维数据最优的低维表示。低维图嵌入损失项中需要引入上述低维特征Y进行构建。

可类似于谱回归(Spectral Regression，SR)、统一稀疏子空间学习(UnifiedSparse Subspace Learning，USSL)、稀疏线性嵌入(Sparse Linear Embedding)等稀疏线性投影方法中所采用的目标损失函数的构建方法，进行稀疏投影损失项的构建，从而可以以一种无缝的方式在本实施例的目标损失函数中同时进行低维图嵌入和稀疏投影学习。稀疏投影损失项中需要引入上述低维特征Y、高维样本特征X及投影矩阵B进行构建。而稀疏投影损失项中，可以包含基本项以及一基于投影矩阵B所构建的正则项，该正则项主要可用于提高算法的泛化能力。

而分类损失项可采用最小二乘等进行表达，分类损失项中需要引入分类标签Z、高维样本特征X、投影矩阵B及分类回归矩阵A进行构建。

另外，在构建本实施例的目标损失函数时，还需要考虑相应的约束条件，例如：对于低维图嵌入损失项，可利用相应惩罚图的图拉普拉斯矩阵L^p以及低维特征Y构建子约束条件，而对于分类损失项，可利用相应的分类回归矩阵A构建另一子约束条件。

在迭代优化求解本实施例的目标损失函数时，由于通常所构建的本实施例的目标损失函数为非凸函数，因此，可通过如下方式求解：首先，初始化低维特征Y、投影矩阵B及分类回归矩阵A，然后，在迭代优化求解的每一第一迭代时间步step，以固定上述三个变量中的两个、求解上述三个变量中的另一个的求解方式，对本实施例的目标损失函数进行优化求解，直至本实施例的目标损失函数收敛。这样，就可以将非凸问题，转换为凸优化问题，从而最终得到投影矩阵B的最优解。其中，目标损失函数收敛的条件可以是迭代所得目标损失函数值小于一预设值，或者达到预设的最大迭代次数MaxStep。

实施本实施例，通过构建由低维图嵌入损失项、稀疏投影损失项及分类损失项组成的目标损失函数，以高维样本特征集合以及高维样本分类标签作为输入，迭代优化求解该目标损失函数，从而最终得到投影矩阵，利用该投影矩阵即可进行相应的特征提取及分类。这样，由于目标损失函数中同时进行了低维图嵌入和稀疏投影学习，而且显式地表达了分类误差，从而能够得到更具判别力的特征，具有鲁棒性，并有效提高了算法的性能。

实施例二：

本实施例在实施例一基础上，进一步提供了如下内容：

本实施例的目标损失函数中，稀疏投影损失项及分类损失项均采用L_2,1范数惩罚。

通常，采用L₂范数进行惩罚时，虽然可以解决相应存在的奇异性问题，但基于L₂范数约束，通常使得投影矩阵是紧致的而缺乏可解释性，这种问题存在于现有的SR等方法中。而采用L₁范数进行惩罚时，所学习到的投影并非联合稀疏的，换言之，对于低维空间中的每一个维度，从原始高维空间中选择的特征并不是相同的，这种问题存在于现有的稀疏主成分分析(Sparse Principle Component Analysis，SPCA)、稀疏判别分析(SparseDiscriminant Analysis，SDA)、多簇特征选择(Multi-Cluster Feature Selection，MCFS)等方法中。

为解决上述现有技术中所存在的问题，本实施例对稀疏投影损失项及分类损失项均采用L_2,1范数惩罚，从而可实现对其中回归项及正则项都采用L_2,1范数进行约束，有利于选取最具判别力的特征，增强算法的鲁棒性。

实施例三：

本实施例在实施例一或二基础上，进一步提供了如下内容：

在迭代优化求解的每一第一迭代时间步step，以固定上述三个变量中的两个、求解上述三个变量中的另一个的求解方式，对本实施例的目标损失函数进行优化求解，直至本实施例的目标损失函数收敛，具体包括：

当固定所述变量中的所述低维特征Y及所述分类回归矩阵A、求解所述变量中的投影矩阵B时，可令本实施例的目标损失函数或其等价函数对投影矩阵B进行求导，所得导数等于0，基于此，可得到投影矩阵B。

当固定所述变量中的所述低维特征Y及所述投影矩阵B、求解所述分类回归矩阵A时，可进行相应的奇异值分解，从而得到分类回归矩阵A。

当固定所述变量中的所述投影矩阵B及所述分类回归矩阵A、求解所述变量中的低维特征Y时，在每一第二迭代时间步stepY，利用增加矩阵列的方式，将非平衡正交普罗克鲁斯忒斯Procrustes问题转换为平衡正交Procrustes问题进行求解。

实施例四：

图2示出了本发明实施例四提供的特征提取方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分。

在步骤S201中，获得在高维空间中表示的高维待处理特征。

在步骤S202中，利用如上述实施例一至三中任一所述训练方法所得的最终的所述投影矩阵，对所述高维待处理特征进行处理，得到与所述高维待处理特征对应的、在所述低维空间中表示的低维结果特征。

本实施例中，高维待处理特征与上述高维样本特征类似，可由待处理样本通过初步特征提取处理所得到。

通过实施例一至三中任一迭代优化求解目标损失函数所得的投影矩阵B，将高维待处理特征投影到低维空间中，从而提取到待处理样本最重要的特征，同时进行维度约简。

实施例五：

图3示出了本发明实施例五提供的分类方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分。

在步骤S301中，获得待处理图像。

在步骤S302中，对所述待处理图像进行预处理，得到在高维空间中表示的高维待处理特征。

在步骤S303中，利用如上述实施例一至三中任一所述训练方法所得的最终的所述投影矩阵，对所述高维待处理特征进行处理，得到与所述高维待处理特征对应的、在所述低维空间中表示的低维结果特征。

在步骤S304中，将所述低维结果特征输入到分类器中进行分类。

本实施例中，预处理可以是相应的卷积提取高维待处理特征、去噪、归一化等处理。

针对特征提取所得的低维结果特征，可使用分类器进行判别分类，从而输出图像识别结果。

分类器可以是最近邻分类器、决策树分类器、朴素贝叶斯分类器等，还可以是神经网络。

实施例六：

图4示出了本发明实施例六提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的计算设备包括处理器401及存储器402，处理器401执行存储器402中存储的计算机程序403时实现上述各个方法实施例中的步骤，例如图1所示的步骤S101至S102。

本发明实施例的计算设备可以为处理芯片、芯片组、单个计算机或计算机组网等。该计算设备中处理器401执行计算机程序403时实现上述各方法时实现的步骤，可参考前述方法实施例的描述，在此不再赘述。

实施例七：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤，例如，图1所示的步骤S101至S102。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

具体应用例：

下面通过一具体应用例对本发明内容进行示例性说明。

本例提出一种新的特征提取方法，称之为联合稀疏嵌入回归(Jointly SparseEmbedding Regression，JSER)。对比与传统的两步方法，本例通过同时进行低维嵌入和稀疏回归以提升算法的性能，并且利用L_2,1范数同时惩罚回归项和正则项，以得到联合稀疏投影，从而提升算法的鲁棒性。此外，本发明利用广义约束来避免传统方法对数据分布的假设限制。通过一种迭代求解方法，本发明可以获得损失函数的局部最优解。

假设矩阵X＝[x₁,x₂,...,x_n]^T∈R^n×d表示训练样本，其中n表示训练样本的大小，d表示特征维数；矩阵Y＝[y₁,y₂,...,y_n]^T∈R^n×c是样本在低维空间中的表示，c表示样本在低维空间中的维数，且d＞＞c。基于以往的研究成果，本例使用本征图W∈R^n×n和惩罚图W^p∈R^{n ×n}分别表征类内紧致性和类间可分性，其中W与W^p分别定义为

其中，

表示与样本x_i同类的最近k₁个近邻的集合，P_k2(c)是一个数据点对集合，它由集合

中最近k₂个近邻点对构成，π_c表示第i类样本的集合。

类似于MFA等方法，我们利用图嵌入，在保持数据局部几何结构的同时，寻找高维数据的最优低维表示。此时，目标函数可以表示为

其中，L＝D-W和L^p＝D^p-W^p分别表示本征图和惩罚图的图拉普拉斯矩阵，

且

然而，(3.1)存在样本外扩展问题，无法给出新的测试样本在低维空间中的嵌入。MFA方法给出了这个问题的解决方案，它使用线性技术近似非线性映射，也就是用XB直接替换(3.1)中的Y，从而能够得到新测试样本的线性投影。但是，这种方法也存在缺陷。在现实任务中，我们往往难以找到这样的投影B，使得Y＝XB。为此，SR方法提出使用最小二乘回归得到投影。然而，SR方法得到的投影是非稀疏的，缺乏可解释性。另外，SR方法是一种两步的方法，因此会导致更大的近似误差，从而影响局部保持能力。为了解决上述问题，我们考虑使用以下损失函数：

其中，α和β均为可调参数。

为了充分利用标签信息以提升方法的性能，类似于传统的有监督回归方法，我们使用最小二乘明确地表达分类误差。因此，本例的损失函数可以表示为：

其中，α、β和λ均为可调参数，A是一个回归矩阵，且满足A^TA＝I。

为了求解优化问题(3.3)，我们提出一种迭代算法得到损失函数的局部最优解。

首先，令

其中U0_ii表示矩阵U0主对角线上的第i个元素，B_i:表示为投影矩阵B的第i行，我们有

||B||_2,1＝tr(B^TU0B) (3.4)

考虑到B_i:的值有可能为零，我们添加一个非常小的常数δ，使得

类似地，我们分别定义

和

此时，(3.3)式可转化为

令I∈R^n×n为单位矩阵，重新整理(3.5)式，我们得到

为了解决公式，我们使用以下三步迭代算法：

第1步，给定Y和A，求B。令(3.6)式对B的导数等于0，则有

第2步，给定Y和B，求A。由于Y和B为定值，此时优化(3.6)式即优化

令2λZ^TU₂XB的奇异值分解为ΓΣΨ^T，则(3.8)式的最优解为：

A＝ΓΨ^T (3.9)

第3步，给定A和B，求Y。由于A和B为定值，此时优化(3.6)式即优化

由于图拉普拉斯矩阵L^p为对称矩阵，令L^p的奇异值分解为

L^p＝KEK^T＝(E^1/2KT)^T(E^1/2K^T)，带入约束项Y^TL^pY＝I，我们有

Y^TL^pY＝KEK^T＝Y^T(E^1/2K^T)^T(E^1/2K^T)Y＝(E^1/2K^TY)^T(E^1/2K^TY)＝I (3.11)

令M＝E^1/2K^TY，则(3.10)式可以转化为

容易看出，(3.12)式中的(KE^1/2)^-1(L+αU₁)(E^1/2K^T)^-1为对称矩阵，令它的奇异值分解为(KE^1/2)^-1(L+αU₁)(E^1/2K^T)^-1＝PQP^T＝(Q^1/2PT)^T(Q^1/2PT)，(3.12)式可转化为

其中，const表示常数。令A₁＝Q^1/2P^T，A₂＝((Q^1/2P^T)^T)^-1(KE^1/2)^-1αU₁XB。此时，最优化(3.13)式等价于最优化

其中，Y^*∈R^n×c，X^*∈R^n×n且M∈R^n×c。由于n＞c，(3.14)式是一个非平衡正交Procrustes问题(unbalancedorthogonalProcrustesproblem)，可以通过迭代方法求解。在矩阵A₂上添加n-c个任意列，得到矩阵

并使用

替代(3.14)式中的A₂，得到以下平衡正交Procrustes问题：

然后，迭代执行以下两步，即可得到(3.15)式最优解：

步骤a:令

的奇异值分解为

则有M^*＝UV^T∈R^n×n。

步骤b:令M^*＝[M|M_*]，其中M∈R^n×c，M_*∈R^n×(n-c)。令

的最后n-c列为A₁M_*。

到此，即可得到了(3.14)式的最优解M。由M＝E^1/2K^TY，可得

Y＝(E^1/2K^T)^-1M (3.16)

通过上述迭代算法，我们最终得到了(3.3)式的优化方案。

下面详细介绍本例中所涉及的具体算法步骤：

步骤一：输入与初始化。

输入训练样本X∈R^n×d，标签矩阵Z∈R^n×c，低维维度c，参数α、β、λ，近邻个数intraK、interK以及最大迭代次数MaxStep、MaxStepY。

随机初始化Y∈R^n×c，令B∈R^d×c为零矩阵，U0、U1、U2和I为单位矩阵。

步骤二：模型学习。

通过图嵌入方法，构建图拉普拉斯L∈R^n×n和L^p∈R^n×n。

对相应矩阵进行奇异值分解，得到K、E、P、Q。

迭代计算A、B和Y。

While step＜MaxStep

-设置step＝step+1.

-计算B.使用B＝[X^T(αU₁+λU₂)X+βU₀]^-1X^T(αU₁Y+λU₂ZA).

-计算A.使用A＝ΓΨ^T.

While stepY＜MaxStepY

-设置stepY＝stepY+1.

-更新M^*.使用M^*＝UV^T.

-更新

的最后n-c列为A₁M_*

End

-更新M.使用M＝M^*(:,1:C).

-计算Y.使用Y＝(E^1/2K^T)^-1M.

-更新U0.使用U0_ii＝1/(2||B_i:||₂+δ).

-更新U2.使用U2_ii＝1/(2||(Z-XBA^T)_i:||₂+δ).

-更新U1.使用U1_ii＝1/(2||(Y-XB)_i:||₂+δ).

End

规范化矩阵B。

步骤三：输出与特征提取。

输出投影矩阵B。

通过投影矩阵B，将训练样本和测试样本投影到低维子空间中，提取样本最重要的特征，同时进行维度约简。

步骤四：图像分类。

针对特征提取后的训练集和测试集数据，使用最近邻分类器进行判别分类，给出图像识别结果。

按照本例内容所实现的步态识别方法得到的具体实验结果如下。

本例所提供方法的性能在四个著名人脸数据库(AR,ORL,FERET,Yale)和一个数字字符数据库(Binary)上进行了实验验证。另外，为了检验本发明所用方法的鲁棒性，在实验过程中，我们给FERET数据库上添加了5*5像素大小的噪声块，给Yale数据库上分别添加了5*5、10*10和20*20像素大小的噪声块，并进行了实验。实验中所选样本的详细信息如表1所示，样本如图5所示。

表1.实验数据库详细信息

数据库	类别数目	每类样本数	单个样本大小	训练样本数	噪声块大小
						AR	120	20	50*40	3	0*0
ORL	40	10	46*46	3	0*0
						FERET	200	7	40*40	2	0*0
FER2	200	7	40*40	3	5*5
						Yale	15	11	50*40	4	0*0
Ya2	15	11	50*40	4	5*5
						Ya3	15	11	50*40	4	10*10
Ya4	15	11	50*40	4	20*20
						Binary	36	39	20*16	10	0*0

我们在不同数据库上进行了识别率测试，并与局部保持投影(LPP)、正交拉普拉斯脸(OLPP)、联合嵌入学习与稀疏回归(JELSR)、局部敏感判别分析(LSDA)、稀疏局部保持判别投影(SLPDP)、鲁棒判别回归(RDR)及其监督版本(RDRs)等算法作对比，比较结果如表2所示。

表2.识别率的对比

测试集	LPP	OLPP	UDFS	RIPCA	LSDA	JELSR	SLPDP	RDR	RDRs	JSER	平均
												AR	69	68	76	76	85	83	85	76	86	87	79.1
ORL	82	88	90	91	91	91	90	91	92	93	89.9
												FERET	48	55	61	62	56	61	56	61	62	65	58.7
FER2	57	65	69	69	70	69	70	70	72	74	68.5
												Yale	90	93	94	95	96	95	98	94	95	98	94.8
Ya2	90	91	94	94	96	95	97	94	95	97	94.3
												Ya3	87	91	92	92	95	92	95	91	95	97	92.7
Ya4	76	80	83	84	95	83	95	83	94	96	86.9
												Binary	70	71	72	72	70	72	72	72	72	73	71.6

由表2的实验结果可知，在绝大多数情况下，本例所提出方法的性能优于其他方法。这是因为本例所提出的方法巧妙地融合了流形学习、鲁棒回归和联合稀疏投影的特点。在ORL、FERET和Yale人脸数据库上，本方法的最优平均识别率高于其他方法；在其他数据库上，本方法也提供了有竞争力的最优平均识别率。值得注意的是，在含噪声的数据库上，本方法的性能远胜于其他的方法。这是因为该方法不仅保持了数据的流形结构，并且使用了范数同时惩罚回归项和正则项。因此，该方法的性能得到了进一步的提升。另外，在非人脸数据库上，该方法的性能同样具有竞争力。也就是说，该方法不仅使用与人脸图像特征提取，也能够应用与其他模式的特征提取。因此，本例所提出的方法是一种新的且具有高效性和鲁棒性的特征提取方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种分类方法，其特征在于，包括：

获得待处理图像；

对所述待处理图像进行预处理，得到在高维空间中表示的高维待处理特征，所述预处理包括卷积提取高维待处理特征、去噪、归一化；

利用投影矩阵，对所述高维待处理特征进行处理，得到与所述高维待处理特征对应的、在所述低维空间中表示的低维结果特征，所述投影矩阵通过迭代优化求解一目标损失函数时获得，所述目标损失函数以在低维空间中表示的低维特征、投影矩阵及分类回归矩阵作为变量；

将所述低维结果特征输入到分类器中进行判别分类；

其中，在迭代优化求解所述目标损失函数的每一第一迭代时间步，通过固定所述目标损失函数的低维特征、投影矩阵及分类回归矩阵三个变量中的两个、求解另一个，对所述目标损失函数进行优化求解，直至所述目标损失函数收敛，具体包括：

当固定所述三个变量中的低维特征及分类回归矩阵、求解所述三个变量中的投影矩阵时，令所述目标损失函数对投影矩阵进行求导、所得导数等于0，得到投影矩阵；

当固定所述三个变量中的低维特征及投影矩阵、求解所述三个变量中的分类回归矩阵时，进行相应的奇异值分解，得到分类回归矩阵；

当固定所述三个变量中的投影矩阵及分类回归矩阵、求解所述三个变量中的低维特征时，在每一第二迭代时间步，利用增加矩阵列的方式，将非平衡正交普罗克鲁斯忒斯Procrustes问题转换为平衡正交Procrustes问题进行求解。

2.如权利要求1所述的分类方法，其特征在于，所述目标损失函数包括：基于所述低维特征构建的低维图嵌入损失项，基于所述低维特征、所述高维样本特征及所述投影矩阵构建的稀疏投影损失项，以及，基于所述分类标签、所述高维样本特征、所述投影矩阵及所述分类回归矩阵构建的分类损失项。

3.如权利要求2所述的分类方法，其特征在于，所述稀疏投影损失项中包括基于所述投影矩阵构建的正则项。

4.如权利要求3所述的分类方法，其特征在于，所述稀疏投影损失项及所述分类损失项均采用L2,1范数惩罚。

5.如权利要求2所述的分类方法，其特征在于，所述分类损失项采用最小二乘表达。

6.一种计算设备，包括存储器及处理器，其特征在于，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至5任一项所述方法中的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法中的步骤。

Images