CN105528620A - 一种联合鲁棒主成分特征学习与视觉分类方法及系统 - Google Patents

Abstract

本发明公开了一种联合鲁棒主成分特征学习与视觉分类方法及系统，通过将鲁棒主成分特征学习、编码错误和基于主成分特征的分类错误集成到一个统一的最小化框架，可同时进行联合低秩与稀疏特征提取和数据纠错，且可确保得到的特征对于分类是最优的。为了得到描述性更强的鲁棒特征，同时考虑数据的低秩与稀疏特性，同时通过将一个投影嵌入的特征进行低秩和L1-范数最小化，确保提取的特征满足低秩与稀疏特性。最终得到一个线性投影矩阵P和一个线性分类器W。P可直接提取待测样本的联合特征，进而将特征向W进行映射，可得到其软类别标签，通过软类别标签中最大值对应的位置，得到最准确的视觉分类结果。此外，通过得到P和W，有效提升了测试过程的可拓展性。

Description

一种联合鲁棒主成分特征学习与视觉分类方法及系统

技术领域

本发明涉及计算机视觉和机器学习技术领域，更具体地说，涉及一种联合鲁棒主成分特征学习与视觉分类方法及系统。

背景技术

在众多的实际应用中，现实生活中的许多模式(例如图像、音频、视频等多媒体对象)均可用高维的属性或特征进行描述，然而高维的数据通常含有许多无用的干扰性特征、冗余特征、以及噪声数据等。随着计算机技术的不断发展，如何通过特征学习或低秩与稀疏编码技术来恢复原始数据或更准确地描述数据已经发展成为计算机视觉和图像处理中非常重要的一个研究课题。特征提取的目的在于找到一个潜在投影或映射，通过将高维的数据变换到一个描述性更强特征空间，同时有效保持数据中的重要几何特性。

最具代表性的数据特征提取方法是主成分分析(PrincipalComponentAnalysis，简称PCA)。PCA是基于变量协方差矩阵对信息进行处理、压缩和特征抽取的有效方法。PCA可有效揭示数据间的线性关系，但是基于L2范式的PCA被证明对噪声或异常非常敏感。近年来，为了克服PCA的这个缺点，一些更加鲁棒模型被提出，例如RPCA(RobustPrincipalComponentAnalysis)，基于L1范式的PCA(PCA-L1)和基于核范数的IRPCA(InductiveRobustPrincipalComponentAnalysis)等。PCA-L1通过将PCA中的L2范数替换成L1范数来衡量散度矩阵，因此这种方法具有旋转不变性并对噪音和异常值健壮。IRPCA通过核范式最小化问题来恢复和表示原始数据，学习得到一个低秩的投影将给定数据映射到基础子空间中，进而除去或纠正样本数据中可能含有的错误。和PCA-L1和IRPCA相比，RPCA无法处理新来数据，即直推式模型。尽管上述PCA-L1和IRPCA均能够有效提升数据特征描述过程中鲁棒性，但是发明人发现，上述技术方案只考虑了特征提取问题，且在特征提取的过程中只考虑了数据的低秩或稀疏特性，但是却无法保证提取得到的鲁棒特征对于分类是最优的。

综上所述，如何提供一种能够在进行联合低秩与稀疏主成分特征提取的同时，确保得到的联合主成分特征对于分类是最优的的技术方案，是目前本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种联合鲁棒主成分特征学习与视觉分类方法及系统，为了确保得到的联合主成分特征对于分类是最优的，本发明将鲁棒主成分特征学习、编码错误和基于主成分特征的分类错误集成到一个统一的最小化框架，以克服现有技术中只是单纯关注于编码低秩或稀疏主成分特征，且没有同时考虑联合分类的问题，即本申请能够在进行联合低秩与稀疏主成分特征提取的同时，确保得到的联合主成分特征对于分类是最优的。

一种联合鲁棒主成分特征学习与视觉分类方法，包括：

基于训练样本集，通过将鲁棒主成分特征学习、编码错误和基于主成分特征的分类错误集成到一个统一的最小化框架，可同时进行联合低秩与稀疏主成分特征提取和数据纠错，且可确保得到的联合主成分特征对于分类是最优的；为了得到描述性更强的鲁棒特征，同时考虑了数据的鲁棒与稀疏特性，同时将经过一个投影嵌入的特征进行低秩和L1-范数最小化，确保提取的特征满足低秩与稀疏特性；最终得到一个线性投影矩阵和一个线性分类器；其中，所述训练样本集中包含的训练样本为已知其类别的样本；

利用所述线性投影矩阵通过嵌入方式提取待测样本的联合低秩与稀疏主成分特征；其中，所述待测样本为未知其类别的样本；

将提取到的所述待测样本对应的联合低秩与稀疏主成分特征向所述线性分类器进行映射，得到所述待测样本的软类别标签，其中包括测试样本归属各个类别的概率，根据所述概率中最大值对应的位置，确定为所述待测样本的类别，完成分类过程。

优选的，在基于所述待测样本集得到所述线性投影矩阵及所述线性分类器之前，还包括：

对所述训练样本集中的训练样本进行预处理。

优选的，基于所述待测样本集得到所述线性投影矩阵及所述线性分类器，包括：

按照下列公式将所述训练样本集分解为一个联合特征矩阵PX和一个稀疏错误矩阵E，并得到所述线性投影矩阵P及所述线性分类器W：

$\underset{P,E,W}{Min}(1-\mathrm{\α})\left|\right|PX|{|}_{*}+\mathrm{\α}|\left|PX\right|{|}_1+\mathrm{\γ}\left|\right|H^T-X^T{P}^{T}W|{|}_{2,1}+\mathrm{\λ}|\left|E\right|{|}_l$

s.t.X＝PX＋E

其中，X表示所述训练样本集，n表示每个所述训练样本的维度，N表示所述训练样本的数量，表示n×N的矩阵空间，||H^T-X^TP^TW||_2,1表示基于鲁棒l^2,1范数度量的分类错误；α∈[0,1]表示用于权衡低秩主成分特征编码和稀疏主成分特征编码的最小化项；γ表示正的权衡参数，为了衡量分类错误项||H^T-X^TP^TW||_2,1的贡献程度；λ＞0表示依赖于错误或噪音级别的权衡参数；表示与所述训练样本的类别对应的初始标签，c表示所述训练样本中包含的类别的个数，表示c×N的矩阵空间；||E||_l表示稀疏错误项，||·||_*表示核范数，||·||₁表示l¹范数，||·||_2,1表示l^2,1范数。

优选的，利用所述线性投影矩阵通过嵌入方式提取待测样本的联合低秩与稀疏主成分特征，包括：

将所述待测样本向所述线性投影矩阵进行嵌入，得到对应的嵌入结果即为所述待测样本的联合低秩与稀疏主成分特征。

一种联合鲁棒主成分特征学习与视觉分类系统，包括：

训练模块，用于：基于训练样本集，通过将鲁棒主成分特征学习、编码错误和基于主成分特征的分类错误集成到一个统一的最小化框架，可同时进行联合低秩与稀疏主成分特征提取和数据纠错，且可确保得到的联合主成分特征对于分类是最优的；为了得到描述性更强的鲁棒特征，同时考虑了数据的鲁棒与稀疏特性，同时将经过一个投影嵌入的特征进行低秩和L1-范数最小化，确保提取的特征满足低秩与稀疏特性；最终得到一个线性投影矩阵和一个线性分类器；其中，所述训练样本集中包含的训练样本为已知其类别的样本；

投影模块，用于利用所述线性投影矩阵通过嵌入方式提取待测样本的联合低秩与稀疏主成分特征；其中，所述待测样本为未知其类别的样本；

分类模块，用于将提取到的所述待测样本对应的联合低秩与稀疏主成分特征向所述线性分类器进行映射，得到所述待测样本的软类别标签，其中包括测试样本归属各个类别的概率，根据所述概率中最大值对应的位置，确定为所述待测样本的类别，完成分类过程。

优选的，还包括：

训练预处理模块，用于对所述训练样本集中的训练样本进行预处理。

优选的，训练模块包括：

训练单元，用于按照下列公式将所述训练样本集分解为一个联合特征矩阵PX和一个稀疏错误矩阵E：

$\underset{P,E,W}{Min}(1-\mathrm{\α})\left|\right|PX|{|}_{*}+\mathrm{\α}|\left|PX\right|{|}_1+\mathrm{\γ}\left|\right|H^T-X^T{P}^{T}W|{|}_{2,1}+\mathrm{\λ}|\left|E\right|{|}_l$

s.t.X＝PX＋E

其中，X表示所述训练样本集，n表示每个所述训练样本的维度，N表示所述训练样本的数量，表示n×N的矩阵空间，||H^T-X^TP^TW||_2,1表示基于鲁棒l^2,1范数度量的分类错误；α∈[0,1]表示用于权衡低秩主成分特征编码和稀疏主成分特征编码的最小化项；γ表示正的权衡参数，为了衡量分类错误项||H^T-X^TP^TW||_2,1的贡献程度；λ＞0表示依赖于错误或噪音级别的权衡参数；表示与所述训练样本的类别对应的初始标签，c表示所述训练样本中包含的类别的个数，表示c×N的矩阵空间；||E||_l表示稀疏错误项，||·||_*表示核范数，||·||₁表示l¹范数，||·||_2,1表示l^2,1范数。

优选的，投影模块包括：

投影单元，用于将所述待测样本向所述线性投影矩阵进行嵌入，得到对应的嵌入结果即为所述待测样本的联合低秩与稀疏主成分特征。

经由本发明公开的上述技术方案可知，与现有技术相比，本发明公开了一种联合鲁棒主成分特征学习与视觉分类的新方案，通过对训练样本运用该方案进行联合训练，生成一个用于特征提取的线性投影矩阵和线性分类器；进而利用得到的线性投影矩阵对待测样本进行嵌入处理与描述，完成联合低秩和稀疏主成分特征提取后，再将待测样本的联合低秩和稀疏主成分特征向线性分类器进行映射，可得到待测样本的软类别标签，通过软类别标签中的最大值对应的位置，确定为待测样本的类别，得到最准确的分类结果。本发明公开的上述技术方案可被直接的用于诱导式的表示和分类，此外，通过联合学习得到线性投影矩阵和线性分类器，可有效减少测试过程的时间复杂性，因此可有效提升算法的可拓展性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种联合鲁棒主成分特征学习与视觉分类方法的流程图；

图2为本发明实施例提供的一种联合鲁棒主成分特征学习与视觉分类系统的结构示意图；

图3为本发明实施例提供的一种视觉图像识别过程的预测示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种联合鲁棒主成分特征学习与视觉分类方法的流程图，该方法基于将鲁棒主成分特征学习、编码错误和基于主成分特征的分类错误集成到一个统一的最小化框架的思想，可以包括以下步骤：

S11：基于训练样本集，通过将鲁棒主成分特征学习、编码错误和基于主成分特征的分类错误集成到一个统一的最小化框架，可同时进行联合低秩与稀疏主成分特征提取和数据纠错，且可确保得到的联合主成分特征对于分类是最优的；为了得到描述性更强的鲁棒特征，同时考虑了数据的鲁棒与稀疏特性，同时将经过一个投影嵌入的特征进行低秩和L1-范数最小化，确保提取的特征满足低秩与稀疏特性；最终得到一个线性投影矩阵和一个线性分类器；其中，训练样本集中包含的训练样本为已知其类别的样本。

其中，线性投影矩阵为稀疏投影矩阵，线性分类器为线性多类别分类器。

S12：利用线性投影矩阵通过嵌入方式提取待测样本的联合低秩与稀疏主成分特征；其中，待测样本为未知其类别的样本。

S13：将提取到的待测样本对应的联合低秩与稀疏主成分特征向线性分类器进行映射，得到待测样本的软类别标签，其中包括测试样本归属各个类别的概率，根据概率中最大值对应的位置，确定为待测样本的类别，完成分类过程。

具体来说，待测样本可以表示为x_new，而其对应的待测样本的联合低秩与稀疏主成分特征可以表示为通过将向线性分类器投射，可以得到其软类别标签的向量，表达如下：以及相应的硬标签，表达如下：l(x)＝argmin_i≤c(u_new)_i，即软标签向量μ_new中的最大值对应的位置对应的类别，即为待测样本的类别。由此，利用得到的线性投影提取待测样本的联合低秩和稀疏主成分特征，将提取的上述特征向线性分类器进行映射得到其软类别标签向量(软类别标签向量中的值为待测样本归属各个类别的概率)，根据软类别标签向量中的概率最大值对应的位置，得到最准确的视觉数据分类结果。本发明公开的上述一种联合鲁棒主成分特征学习与视觉分类的新方案，通过对训练样本运用该方案进行联合训练，生成一个用于特征提取的线性投影矩阵和线性分类器；进而利用得到的线性投影矩阵对待测样本进行嵌入处理与描述，完成联合低秩和稀疏主成分特征提取后，再将待测样本的联合低秩和稀疏主成分特征向线性分类器进行映射，可得到待测样本的软类别标签，通过软类别标签中的最大值对应的位置，确定为待测样本的类别，得到最准确的分类结果。本发明公开的上述技术方案可被直接的用于诱导式的表示和分类，此外，通过联合学习得到线性投影矩阵和线性分类器，可有效减少测试过程的时间复杂性，因此可有效提升算法的可拓展性。

本发明实施例提供的一种联合鲁棒主成分特征学习与视觉分类方法中，在基于待测样本集得到线性投影矩阵及线性分类器之前，还可以包括：

对训练样本集中的训练样本进行预处理。

需要说明的是，对训练样本集中的训练样本进行必要的预处理可以包括将训练样本图片的大小设置为预设的大小，等，并且，在对训练样本集中的训练样本进行预处理的同时，还可以对相关参数进行初始化设置，以保证本发明实施例提供的一种联合鲁棒主成分特征学习与视觉分类方法的顺利实现。

本发明实施例提供的一种联合鲁棒主成分特征学习与视觉分类方法中，基于待测样本集得到线性投影矩阵及线性分类器，可以包括：

按照下列公式将训练样本集分解为一个联合特征矩阵PX和一个稀疏错误矩阵E，并得到线性投影矩阵P及线性分类器W：

$\underset{P,E,W}{Min}(1-\mathrm{\α})\left|\right|PX|{|}_{*}+\mathrm{\α}|\left|PX\right|{|}_1+\mathrm{\γ}\left|\right|H^T-X^T{P}^{T}W|{|}_{2,1}+\mathrm{\λ}|\left|E\right|{|}_l$

s.t.X＝PX＋E

其中，X表示训练样本集，n表示每个训练样本的维度，N表示训练样本的数量，表示n×N的矩阵空间，||H^T-X^TP^TW||_2,1表示基于鲁棒l^2,1范数度量的分类错误；α∈[0,1]表示用于权衡低秩主成分特征编码和稀疏主成分特征编码的最小化项；γ表示正的权衡参数，为了衡量分类错误项||H^T-X^TP^TW||_2,1的贡献程度；λ＞0表示依赖于错误或噪音级别的权衡参数；表示与训练样本的类别对应的初始标签，c表示训练样本中包含的类别的个数，表示c×N的矩阵空间；||E||_l表示稀疏错误项，||·||_*表示核范数，||·||₁表示l¹范数，||·||_2,1表示l^2,1范数。

具体来说，对于给定的一个训练样本集根据训练样本集计算得到一个可用于联合低秩和稀疏主成分特征提取的线性投影矩阵P和线性分类器W，通过将X分解为一个联合特征矩阵PX和一个稀疏错误矩阵E，解决以下凸优化问题：

$\underset{P,E,W}{Min}(1-\mathrm{\α})\left|\right|PX|{|}_{*}+\mathrm{\α}|\left|PX\right|{|}_1+\mathrm{\γ}\left|\right|H^T-X^T{P}^{T}W|{|}_{2,1}+\mathrm{\λ}|\left|E\right|{|}_l$

s.t.X＝PX＋E

其中，X表示训练样本集，n表示每个训练样本的维度，N表示训练样本的数量，表示n×N的矩阵空间，||H^T-X^TP^TW||_2，1是回归分类误差，表示基于鲁棒l^2,1范数度量的分类错误；γ表示正的权衡参数，为了衡量分类错误项||H^T-X^TP^TW||_2,1的贡献程度；α∈[0,1]，表示用于权衡低秩主成分特征编码和稀疏主成分特征编码的最小化项；λ＞0，表示依赖于错误或噪音级别的权衡参数；表示与训练样本的类别对应的初始标签，c表示训练样本中包含的类别的个数，表示c×N的矩阵空间，h_j代表训练样本x_j的初始标签，若x_j的初始标签为i，1≤i≤c，则h_i,j＝1，h_j中其他元素为0(即h_j第i行的元素为1，其余为0)；||E||_l表示稀疏错误项，||·||_*表示核范数，||·||₁表示l¹范数，||·||_2,1表示l^2,1范数。

而||·||_*、||·||₁及||·||_2,1分别定义如下：

$\left|\right|L|{|}_{*}=\underset{i}{\Σ}{\mathrm{\σ}}_i\left(L\right)$

$\left|\right|S|{|}_1=\underset{i,j}{\Σ}\left|S_{i,j}\right|$

$\underset{i,j}{\Σ}\left|\right|E|{|}_{2,1}=\underset{j=1}{\overset{N}{\Σ}}\sqrt{\underset{i=1}{\overset{N}{\Σ}}{\left({\[E\]}_{i,j}\right)}^2}$

其中，Σ_iσ_i(L)表示矩阵L的奇异值之和。

类似于其他核范式最小化问题一样，本算法最主要的计算任务就是计算奇异值分解(SingularValueDecomposition，简称SVD)的过程。为了提升计算的可拓展性，在计算线性投影矩阵P和线性分类器W的时候可转化为一个更简单的问题，可将优化结果P^*分解为两个矩阵的乘积，即其中，Q^*可以通过按列正交化训练样本集X计算得到，因此使用来代替P^*，并令A＝(Q^*)^TX，则问题就可描述为：

$\underset{J,F,E,\hat{P},W,E^W}{Min}(1-\mathrm{\α})\left|\right|J|{|}_{*}+\mathrm{\α}|\left|F\right|{|}_1+\mathrm{\γ}\left|\right|E^W|{|}_{2,1}+\mathrm{\λ}|\left|E\right|{|}_l$

$s.t.X=\hat{P}A+E,\hat{P}A=J,\hat{P}A=F,H^T=A^T{P}^{T}W+E^W$

本发明采用增广拉格朗日乘子法(InexactArgumentLagrangeMultiplier，简称InexactALM)对上述模型进行求解。如果对稀疏错误项E使用L2,1-norm正则化,则构造的增广拉格朗日函数如下公式所示：

其中，Y₁，Y₂，Y₃，Y₄为拉格朗日乘子，μ是正的权权衡参数。ALM方法通过解决增广拉格朗日函数来交替更新变量：

由于所要求解的变量在优化过程中存在一定的相对依赖，因此，本发明通过迭代求解如下子问题组合，通过固定其他变量来更新当前某个变量：

其中，每一步待优化的子问题都是一个凸子问题，因此可以得到有效解决。考虑到计算效率问题，本例中采用InexactALM方法，具体算法如下：输入：原始数据矩阵(训练样本集)控制参数α，γ，λ。输出：线性投影矩阵线性分类器(W^*←W_k+1)。初始化：

$k=0,J_k=0,F_k=0,E_k=0,P_k=0,W_k=0,Y_1^k=0,Y_2^k=0,Y_3^k=0,Y_4^k=0,E_k^W=0,{\max }_{\mathrm{\μ}}={10}^{10},{\mathrm{\μ}}_k={10}^{-6},\mathrm{\η},\mathrm{\ϵ}={10}^{-7};$

while还未收敛时do

固定其他变量并更新低秩矩阵J：

$\begin{array}{c}{J}_{k+1}=\arg {\min }_J\frac{1-\mathrm{\β}}{{\mathrm{\μ}}_k}\left|\right|J|{|}_{*}+\frac{1}{2}||J-({\hat{P}}_{k}A+Y_2^k/{\mathrm{\μ}}_k)|{|}_k^2\\ ={\mathrm{\Ω}}_{(1-\mathrm{\α})/{\mathrm{\μ}}_k}\[{\hat{P}}_{k}A+Y_2^k/{\mathrm{\μ}}_k\]\end{array}$

其中， ${\mathrm{\Ω}}_{(1-\mathrm{\α})/{\mathrm{\μ}}_k}\[{\hat{P}}_{k}A+Y_2^k/{\mathrm{\μ}}_k\]=\tilde{U}{S}_{(1-\mathrm{\α})/{\mathrm{\μ}}_k}\[\mathrm{\Σ}\]V,$ 是的奇异值分解，S_ε[x]＝sgn(x)max(|x|-ε,0))；

固定其他变量并更新稀疏矩阵F：

$\begin{array}{c}{F}_{k+1}=\underset{F}{\arg min}\frac{\mathrm{\α}}{{\mathrm{\μ}}_k}\left|\right|F|{|}_1+\frac{1}{2}||F-(\hat{F}A+Y_3^k/{\mathrm{\μ}}_k)|{|}_F^2\\ =S_{\mathrm{\α}/{\mathrm{\μ}}_k}\[\widehat{P_k}A+Y_3^k/{\mathrm{\μ}}_k\]\end{array}$

固定其他变量并更新稀疏误差E：

$E_{k+1}=\underset{E}{\arg min}\frac{\mathrm{\λ}}{{\mathrm{\μ}}_k}\left|\right|E|{|}_{2,1}+\frac{1}{2}||E-(X-{\hat{P}}_{k+1}A+Y_1^k/{\mathrm{\μ}}_k)|{|}_F^2$

固定其他变量并更新线性投影矩阵

固定其他变量并更新线性分类器W：

$W_{k+1}={\left({\hat{P}}_{k+1}{\mathrm{AA}}^T{{\hat{P}}_{k+1}}^T\right)}^{-1}({\hat{P}}_{k+1}{\mathrm{AY}}_4^k/{\mathrm{\μ}}_k+{\hat{P}}_{k+1}A(H^T-E_k^W\left)\right)$

固定其他变量并更新回归误差E^W：

$E_{k+1}^W=\underset{E^W}{\arg min}\frac{\mathrm{\γ}}{{\mathrm{\μ}}_k}\left|\right|E^W|{|}_{2,1}+\frac{1}{2}||E^W-(H^T-A^T{P}_{k+1}{W}_{k+1}+Y_4^k/{\mathrm{\μ}}_k)|{|}_F^2$

固定其他变量，更新拉格朗日乘子Y₁,Y₂,Y₃,Y₄：

$Y_1^{k+1}=Y_1^k+{\mathrm{\μ}}_k(X-{\hat{P}}_{k+1}A-E_{k+1})$

$Y_2^{k+1}=Y_2^k+{\mathrm{\μ}}_k({\hat{P}}_{k+1}A-J_{k+1})$

$Y_3^{k+1}=Y_3^k+{\mathrm{\μ}}_k({\hat{P}}_{k+1}A-F_{k+1})$

$Y_4^{k+1}=Y_4^k+{\mathrm{\μ}}_k(H^T-A^T{P}_{k+1}^T{W}_{k+1}-E_{k+1}^W)$

更新参数μ和μ_k+1＝min(ημ_k+1,max_μ)；

检查是否收敛：

若 $\left(\right||X-{\hat{P}}_{k+1}A-E_{k+1}|{|}_{\&Proportional;},\left|\right|{\hat{P}}_{k+1}A-J_{k+1}|{|}_{\&Proportional;},||{\hat{P}}_{k+1}A-F_{k+1}|{|}_{\&Proportional;},\left|\right|H^T-A^T{P_{k+1}}^T{W}_{k+1}-E_{k+1}^W\left|{|}_{\&Proportional;}\right)<\mathrm{\&epsiv;}$

则算法迭代停止；否则k＝k+1。

Endwhile

本发明实施例提供的一种联合鲁棒主成分特征学习与视觉分类方法中，利用线性投影矩阵通过嵌入方式提取待测样本的联合低秩与稀疏主成分特征，可以包括：

将待测样本向线性投影矩阵进行嵌入，得到对应的嵌入结果即为待测样本的联合低秩与稀疏主成分特征。

具体来说，得到的线性投影矩阵可表示为其中，表示n×n的矩阵空间，得到的待测样本的联合低秩与稀疏主成分特征可表示为：以利用待测样本的联合低秩与稀疏主成分特征顺利完成其分类过程。

上述本发明公开的实施例中详细描述了一种联合鲁棒主成分特征学习与视觉分类方法，对于本发明公开的上述方法可采用多种形式的系统实现，因此本发明还公开了一种联合鲁棒主成分特征学习与视觉分类系统，如图2所示，可以包括：

训练模块11，用于：基于训练样本集，通过将鲁棒主成分特征学习、编码错误和基于主成分特征的分类错误集成到一个统一的最小化框架，可同时进行联合低秩与稀疏主成分特征提取和数据纠错，且可确保得到的联合主成分特征对于分类是最优的；为了得到描述性更强的鲁棒特征，同时考虑了数据的鲁棒与稀疏特性，同时将经过一个投影嵌入的特征进行低秩和L1-范数最小化，确保提取的特征满足低秩与稀疏特性；最终得到一个线性投影矩阵和一个线性分类器；其中，训练样本集中包含的训练样本为已知其类别的样本；

投影模块12，用于利用线性投影矩阵通过嵌入方式提取待测样本的联合低秩与稀疏主成分特征；其中，待测样本为未知其类别的样本；

分类模块13，用于将提取到的待测样本对应的联合低秩与稀疏主成分特征向线性分类器进行映射，得到待测样本的软类别标签，其中包括测试样本归属各个类别的概率，根据概率中最大值对应的位置，确定为待测样本的类别，完成分类过程。

经由本发明公开的上述技术方案可知，与现有技术相比，本发明公开了一种联合鲁棒主成分特征学习与视觉分类的新方案，通过对训练样本运用该方案进行联合训练，生成一个用于特征提取的线性投影矩阵和线性分类器；进而利用得到的线性投影矩阵对待测样本进行嵌入处理与描述，完成联合低秩和稀疏主成分特征提取后，再将待测样本的联合低秩和稀疏主成分特征向线性分类器进行映射，可得到待测样本的软类别标签，通过软类别标签中的最大值对应的位置，确定为待测样本的类别，得到最准确的分类结果。本发明公开的上述技术方案可被直接的用于诱导式的表示和分类，此外，通过联合学习得到线性投影矩阵和线性分类器，可有效减少测试过程的时间复杂性，因此可有效提升算法的可拓展性。

本发明提供的上述联合鲁棒主成分特征学习与视觉分类系统，还可以包括：

训练预处理模块，用于对训练样本集中的训练样本进行预处理。

本发明提供的上述联合鲁棒主成分特征学习与视觉分类系统，训练模块可以包括：

训练单元，用于按照下列公式将训练样本集分解为一个联合特征矩阵PX和一个稀疏错误矩阵E：

$\underset{P,E,W}{Min}(1-\mathrm{\&alpha;})\left|\right|PX|{|}_{*}+\mathrm{\&alpha;}|\left|PX\right|{|}_1+\mathrm{\&gamma;}\left|\right|H^T-X^T{P}^{T}W|{|}_{2,1}+\mathrm{\&lambda;}|\left|E\right|{|}_l$

s.t.X＝PX＋E

其中，X表示训练样本集，n表示每个训练样本的维度，N表示训练样本的数量，表示n×N的矩阵空间，||H^T-X^TP^TW||_2,1表示基于鲁棒l^2,1范数度量的分类错误；α∈[0,1]表示用于权衡低秩主成分特征编码和稀疏主成分特征编码的最小化项；γ表示正的权衡参数，为了衡量分类错误项||H^T-X^TP^TW||_2,1的贡献程度；λ＞0表示依赖于错误或噪音级别的权衡参数；表示与训练样本的类别对应的初始标签，c表示训练样本中包含的类别的个数，表示c×N的矩阵空间；||E||_l表示稀疏错误项，||·||_*表示核范数，||·||₁表示l¹范数，||·||_2,1表示l^2,1范数。

本发明提供的上述联合鲁棒主成分特征学习与视觉分类系统，投影模块可以包括：

投影单元，用于将待测样本向线性投影矩阵进行嵌入，得到对应的嵌入结果即为待测样本的联合低秩与稀疏主成分特征。

对于本发明实施例公开的上述系统而言，由于其与本发明实施例公开的方法相对应，因此描述的比较简单，相关之处参见方法部分说明即可。

请参阅表1，以随机脸作为特征描述子来提取视觉人脸图像训练样本与测试样本的特征，用于对本发明提供的上述联合鲁棒主成分特征学习与视觉分类方法及系统进行验证，需要说明的是，测试样本与上述待测样本的实质相同，即为未知其类别的样本，由于此处用于测试验证，因此称之为测试样本。

本实验基于两个真实数据集CMUPIE和UMIST的基础上：CMUPIE脸数据库包含68个被测试者的41368幅图片，并且每张图片具有不同的姿势、光照强度和表情。UMIST脸数据库由20个个体(混合种族/性别/外貌)的575张图片构成。本发明通过合并CMUPIE和UMIST这两个数据库创造一个PIE-UMIST新的人脸数据集(总共88个个体的2003张图片)，用于实验。由于新的人脸图像数据集将包含不同的姿势/表情和混血种族/性别/外貌的同时，因此对于人脸描述和识别将更具有挑战性。

在该实施例中，对40％的训练样本的数据值加入了均值为1和方差为100的高斯噪声，以此来评估各个算法在训练过程中对噪音的鲁棒性。仿真实验从每个人的图像中选取数值为l(l＝2,3,4,5)组成训练样本集,并且采用L1范式来度量稀疏错误项E。表1为本发明方法和PCA、IRPCA、PCA-L1、LatLRR、rLRR方法识别结果对比表，给出了各方法实验的平均识别率和最高识别率。本实施例中，参与比较的IRPCA、LatLRR等方法(采用各文献中算法使用的默认参数)使用各自得到的投影矩阵用于测试样本的特征提取。

此处需说明一下，相对于本发明方法，PCA、IRPCA、PCA-L1、LatLRR和rLRR模型均没有同时考虑分类问题，因此当每个方法获得各自的线性投影矩阵或对应特征之后，再利用一个额外的多元岭回归模型来学习得到一个分类器W^*，具体公式如下：

$\underset{W}{Min}\left|\right|H-W^{T}PX|{|}_F^2+|\left|W\right|{|}_F^2,W^{*}={({\mathrm{PXY}}^T{P}^T+I_n)}^{-1}{\mathrm{PXH}}^T$

进而利用学习得到的分类器W^*，完成测试样本类别的鉴定过程，实现分类。

通过实验结果可以看出本发明提供的本发明实施例提供的一种联合鲁棒主成分特征学习与视觉分类方法及系统的分类效果明显优于相关的PCA、IRPCA、PCA-L1、LatLRR以及rLRR方法，且表现出了较强的鲁棒性，具有一定的优势。

表1.在混合PIE-UMIST人脸库上的算法结果对比

另外，请参阅附图3，为本发明实施例在进行试验时得到的一种人脸识别预测示意图。

上述试验的具体过程为，用训练样本图像得到特征投影矩阵P与投影分类器W，然后将训练样本图像嵌入到线性投影矩阵中来获得其联合的低秩稀疏主成分特征，接着将上述得到的特征映射到线性分类器中得到测试样本图像的软类别标签，通过软类别标签中的最大值对应的位置，确定该测试样本图像的类别标签，得到最准确的分类结果。

综上：本发明公开了本发明实施例提供的一种联合鲁棒主成分特征学习与视觉分类方法及系统，通过引入低秩矩阵恢复和稀疏投影的思想，明确将样本分解为低秩主成分特征、稀疏错误(或噪音)，通过凸优化技术，实现主成分特征编码。进而利用凸优化得到的稀疏投影矩阵将测试样本嵌入到稀疏编码空间，完成特征提取过程，生成包含联合低秩和稀疏主成分特征的测试集，再将得到的测试集向线性分类器进行映射，根据训练样本的类别标签，获得测试样本的类别信息，得到最准确的视觉分类结果。为了得到描述性更强的鲁棒特征，同时考虑了数据的低秩与稀疏特性，同时经过将一个投影嵌入的特征进行低秩和L1-范数最小化，确保提取的特征满足低秩与稀疏特性。本发明方案可被直接的用于诱导式的表示和分类，并且在测试阶段更加节省时间。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种联合鲁棒主成分特征学习与视觉分类方法，其特征在于，包括：

基于训练样本集，通过将鲁棒主成分特征学习、编码错误和基于主成分特征的分类错误集成到一个统一的最小化框架，可同时进行联合低秩与稀疏主成分特征提取和数据纠错，且可确保得到的联合主成分特征对于分类是最优的；为了得到描述性更强的鲁棒特征，同时考虑了数据的鲁棒与稀疏特性，同时将经过一个投影嵌入的特征进行低秩和L1-范数最小化，确保提取的特征满足低秩与稀疏特性；最终得到一个线性投影矩阵和一个线性分类器；其中，所述训练样本集中包含的训练样本为已知其类别的样本；

利用所述线性投影矩阵通过嵌入方式提取待测样本的联合低秩与稀疏主成分特征；其中，所述待测样本为未知其类别的样本；

将提取到的所述待测样本对应的联合低秩与稀疏主成分特征向所述线性分类器进行映射，得到所述待测样本的软类别标签，其中包括测试样本归属各个类别的概率，根据所述概率中最大值对应的位置，确定为所述待测样本的类别，完成分类过程。

2.根据权利要求1所述的方法，其特征在于，在基于所述待测样本集得到所述线性投影矩阵及所述线性分类器之前，还包括：

对所述训练样本集中的训练样本进行预处理。

3.根据权利要求1所述的方法，其特征在于，基于所述待测样本集得到所述线性投影矩阵及所述线性分类器，包括：

按照下列公式将所述训练样本集分解为一个联合特征矩阵PX和一个稀疏错误矩阵E，并得到所述线性投影矩阵P及所述线性分类器W：

$\underset{P,E,W}{Min}(1-\mathrm{\&alpha;})\left|\right|PX|{|}_{*}+\mathrm{\&alpha;}|\left|PX\right|{|}_1+\mathrm{\&gamma;}\left|\right|H^T-X^T{P}^{T}W|{|}_{2,1}+\mathrm{\&lambda;}|\left|E\right|{|}_l$

s.t.X＝PX+E

其中，X表示所述训练样本集，n表示每个所述训练样本的维度，N表示所述训练样本的数量，表示n×N的矩阵空间，||H^T-X^TP^TW||_2,1表示基于鲁棒l^2,1范数度量的分类错误；α∈[0,1]表示用于权衡低秩主成分特征编码和稀疏主成分特征编码的最小化项；γ表示正的权衡参数，为了衡量分类错误项||H^T-X^TP^TW||_2,1的贡献程度；λ＞0表示依赖于错误或噪音级别的权衡参数；表示与所述训练样本的类别对应的初始标签，c表示所述训练样本中包含的类别的个数，表示c×N的矩阵空间；||E||_l表示稀疏错误项，||·||_*表示核范数，||·||₁表示l¹范数，||·||_2,1表示l^2,1范数。

4.根据权利要求1所述的方法，其特征在于，利用所述线性投影矩阵通过嵌入方式提取待测样本的联合低秩与稀疏主成分特征，包括：

将所述待测样本向所述线性投影矩阵进行嵌入，得到对应的嵌入结果即为所述待测样本的联合低秩与稀疏主成分特征。

5.一种联合鲁棒主成分特征学习与视觉分类系统，其特征在于，包括：

训练模块，用于：基于训练样本集，通过将鲁棒主成分特征学习、编码错误和基于主成分特征的分类错误集成到一个统一的最小化框架，可同时进行联合低秩与稀疏主成分特征提取和数据纠错，且可确保得到的联合主成分特征对于分类是最优的；为了得到描述性更强的鲁棒特征，同时考虑了数据的鲁棒与稀疏特性，同时将经过一个投影嵌入的特征进行低秩和L1-范数最小化，确保提取的特征满足低秩与稀疏特性；最终得到一个线性投影矩阵和一个线性分类器；其中，所述训练样本集中包含的训练样本为已知其类别的样本；

投影模块，用于利用所述线性投影矩阵通过嵌入方式提取待测样本的联合低秩与稀疏主成分特征；其中，所述待测样本为未知其类别的样本；

分类模块，用于将提取到的所述待测样本对应的联合低秩与稀疏主成分特征向所述线性分类器进行映射，得到所述待测样本的软类别标签，其中包括测试样本归属各个类别的概率，根据所述概率中最大值对应的位置，确定为所述待测样本的类别，完成分类过程。

6.根据权利要求5所述的系统，其特征在于，还包括：

训练预处理模块，用于对所述训练样本集中的训练样本进行预处理。

7.根据权利要求5所述的系统，其特征在于，训练模块包括：

训练单元，用于按照下列公式将所述训练样本集分解为一个联合特征矩阵PX和一个稀疏错误矩阵E：

$\underset{P,E,W}{Min}(1-\mathrm{\&alpha;})\left|\right|PX|{|}_{*}+\mathrm{\&alpha;}|\left|PX\right|{|}_1+\mathrm{\&gamma;}\left|\right|H^T-X^T{P}^{T}W|{|}_{2,1}+\mathrm{\&lambda;}|\left|E\right|{|}_l$

s.t.X＝PX+E

其中，X表示所述训练样本集，n表示每个所述训练样本的维度，N表示所述训练样本的数量，表示n×N的矩阵空间，||H^T-X^TP^TW||_2,1表示基于鲁棒l^2,1范数度量的分类错误；α∈[0,1]表示用于权衡低秩主成分特征编码和稀疏主成分特征编码的最小化项；γ表示正的权衡参数，为了衡量分类错误项||H^T-X^TP^TW||_2,1的贡献程度；λ＞0表示依赖于错误或噪音级别的权衡参数；表示与所述训练样本的类别对应的初始标签，c表示所述训练样本中包含的类别的个数，表示c×N的矩阵空间；||E||_l表示稀疏错误项，||·||_*表示核范数，||·||₁表示l¹范数，||·||_2,1表示l^2,1范数。

8.根据权利要求5所述的系统，其特征在于，投影模块包括：

投影单元，用于将所述待测样本向所述线性投影矩阵进行嵌入，得到对应的嵌入结果即为所述待测样本的联合低秩与稀疏主成分特征。