CN105760872A - 一种基于鲁棒图像特征提取的识别方法及系统 - Google Patents

Abstract

本申请公开了一种基于鲁棒图像特征提取的识别方法及系统，先利用原始训练图像样本构造重构权重系数；为了有效保持图像像素间的拓扑结构和相关性，设计直接作用于二维图像的特征提取系统；为了降低图像样本中噪声或异类数据对性能的影响，对图像样本的邻域重构错误进行L2,1?范数正则化；为了确保优化得到稀疏判别的显著图像特征，直接对投影矩阵进行L2,1?范数正则化。最后，利用稀疏投影矩阵，提取相应的稀疏判别特征并输入至最近邻分类器，取与测试图像样本的特征相似性最大的训练图像样本的标签，以完成类别鉴定。本申请通过引入L2,1?范数正则化技术，有效提升了数据中噪声和异类数据的鲁棒性，系统性能更好。

Description

一种基于鲁棒图像特征提取的识别方法及系统

技术领域

本发明涉及计算机视觉、数据挖掘与模式识别技术领域，特别涉及一种基于L2,1-范数正则化的鲁棒图像特征提取的识别方法及系统。

背景技术

随着信息化、数字化时代的飞速发展，特征提取技术已经发展成为模式识别、图像处理等领域最关键的研究课题之一。特征提取是从大量的原始数据中找到最能代表该类数据的少量特征的一项技术，通常作为一种数据预处理方法来克服“维数灾难”等问题。任何一项高效的特征提取技术研究成功并投入应用，都将产生巨大的经济和社会效益。然而，大多图像会夹杂许多不利特征，这就使得提取到有用特征的难度大大增加。

截止到目前，国内外对特征提取的研究已经日趋成熟并出现了很多特征提取方法，比如PCA(PCA，即Principal Component Analysis，主成分分析)，LDA(LDA，即Linear Discriminant Analysis，线性判别分析)，LPP(LPP，即Locality Preserving Projections，局部保持投影)等，但是它们都是基于数据的向量空间的表示方法，而图像数据本质上是二维结构，用基于向量空间的表示方法会破坏图像像素间的拓扑结构，且数据维数太高会使得开销过大。为了解决这些问题，基于矩阵表示的特征提取方法相继发展起来，比如2DPCA,2DLDA,2DLPP等，但是这些方法也有一定的缺陷，例如它们都是基于Frobenius范数的特征提取方法，而Frobenius范数能够放大训练数据中噪声的不良影响，使得该类方法对噪声非常敏感。

因此，对现存的特征提取方法进行研究并加以改进，从而提出更好的特征提取方法，在保持图像像素间的拓扑结构和相关性，并降低开销的同时，提升系统的可靠性与鲁棒性，是本领域人员亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于L2,1-范数正则化的鲁棒图像特征提取的识别方法及系统，以克服向量空间模型会破坏图像像素间拓扑结构，造成精度损失，同时输出结果不够稀疏、鲁棒等问题。其具体方案如下：

一种基于L2,1-范数正则化的鲁棒图像特征提取的识别方法，包括：

对原始训练图像样本进行相似性学习，使用LLE-重构权重方法重构权重系数，通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对所述投影矩阵进行L2,1-范数正则化，相应地得到可用于直接提取二维图像判别特征的稀疏投影矩阵；

利用所述稀疏投影矩阵，分别对原始训练图像样本和原始测试图像样本进行特征提取，相应地得到包含稀疏判别特征的训练集和测试集；

将所述测试集中每一测试图像样本的稀疏判别特征输入至最近邻分类器以进行分类，从所述训练集中提取出与测试图像样本的特征相似性最大的训练图像样本的类别标签，并将该类别标签作为对应的测试图像样本的类别标签，以完成对所述测试集中每一测试图像样本的归类，得到相应的识别结果。

优选的，所述对原始训练图像样本进行相似性学习，使用LLE-重构权重方法重构权重系数，通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对所述投影矩阵进行L2,1-范数正则化，相应地得到可用于直接提取二维图像判别特征的稀疏投影矩阵的过程，包括：

对包含N个原始训练图像样本的原始训练集中的每个原始训练图像样本均进行K最近邻搜索，以找出每个原始训练图像样本的K个最近邻样本，所述原始训练集具体表示为：N和K均为正整数；然后采用LLE-重构权重方法对权重系数进行重构；重构后的权重系数具体为：

$W_{i,j}={\mathrm{\Σ}}_{r=1}^N{\mathrm{\η}}_{jr}^{\left(i\right)}/\left({\mathrm{\Σ}}_{u=1}^N{\mathrm{\Σ}}_{t=1}^N{\mathrm{\η}}_{ut}^{\left(i\right)}\right);$

其中，χ_i为任一原始训练图像样本A_i的向量表示，χ_j和χ_r均为χ_i的近邻；

通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对所述投影矩阵进行L2,1-范数正则化，相应地得到所述稀疏投影矩阵其中，

其中，α为各项的权衡参数，为A_i的K个最近邻样本的集合，I_d为d×d的单位矩阵，||·||_2,1为L2,1-范数，对任意矩阵X可定义为：其中，O为对角矩阵，O_ii＝1/2||xⁱ||₂,i＝1,2,…,t。

优选的，所述利用所述稀疏投影矩阵，分别对原始训练图像样本和原始测试图像样本进行特征提取，相应地得到包含稀疏判别特征的训练集和测试集的过程，包括：

将原始训练集中每个原始训练图像样本A_i向所述稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的训练集；其中，与任一原始训练图像样本A_i对应的稀疏判别特征矩阵Y_i表示为：Y_i＝P^TA_i；

将原始测试集中每个原始训练图像样本向所述稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的测试集；其中，与任一原始测试图像样本对应的稀疏判别特征矩阵Y_j表示为：

优选的，所述将所述测试集中每一测试图像样本的稀疏判别特征输入至最近邻分类器以进行分类，从所述训练集中提取出与测试图像样本的特征相似性最大的训练图像样本的类别标签，并将该类别标签作为对应的测试图像样本的类别标签，以完成对所述测试集中每一测试图像样本的归类，得到相应的识别结果的过程，包括：

利用所述最近邻分类器，从所述训练集中筛选出与任一测试图像样本的特征相似性最大的训练图像样本B_max，并将该训练图像样本B_max的类别标签确定为该测试图像样本的类别标签；

其中，与B_max之间需满足：

d(Y_n,Y_max)＝min_md(Y_n,Y_m)，其中，n＝1,2,…,N，m＝1,2,…,M；

其中，Y_n为与对应的稀疏判别特征矩阵，Y₁ ⁽ⁿ⁾,Y₂ ⁽ⁿ⁾…Y_d ⁽ⁿ⁾为Y_n中的特征向量；Y_m为与任一训练图像样本B_m对应的稀疏判别特征矩阵，Y_m＝P^TB_m＝(Y₁ ^(m),Y₂ ^(m)…Y_d ^(m))，Y₁ ^(m),Y₂ ^(m)…Y_d ^(m)为Y_m中的特征向量，Y_max为与B_max对应的稀疏判别特征矩阵；d(Y_n,Y_m)表示Y_n与Y_m之间的欧氏距离，具体为，

$d(Y_n,Y_m)=\underset{k=1}{\overset{d}{\Σ}}\left|\right|{Y_k}^{\left(n\right)}-{Y_k}^{\left(m\right)}\left|\right|.$

本发明还公开了一种基于L2,1-范数正则化的鲁棒图像特征提取的识别系统，包括：

训练模块，用于对原始训练图像样本进行相似性学习，使用LLE-重构权重方法重构权重系数，通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对所述投影矩阵进行L2,1-范数正则化，相应地得到可用于直接提取二维图像判别特征的稀疏投影矩阵；

测试预处理模块，用于利用所述稀疏投影矩阵，分别对原始训练图像样本和原始测试图像样本进行特征提取，相应地得到包含稀疏判别特征的训练集和测试集；

测试模块，用于将所述测试集中每一测试图像样本的稀疏判别特征输入至最近邻分类器以进行分类，从所述训练集中提取出与测试图像样本的特征相似性最大的训练图像样本的类别标签，并将该类别标签作为对应的测试图像样本的类别标签，以完成对所述测试集中每一测试图像样本的归类，得到相应的识别结果。

优选的，所述训练模块包括：

学习单元，用于对包含N个原始训练图像样本的原始训练集中的每个原始训练图像样本均进行K最近邻搜索，以找出每个原始训练图像样本的K个最近邻样本，所述原始训练集具体表示为：N和K均为正整数；然后采用LLE-重构权重方法对权重系数进行重构；重构后的权重系数具体为：

$W_{i,j}={\mathrm{\Σ}}_{r=1}^N{\mathrm{\η}}_{jr}^{\left(i\right)}/\left({\mathrm{\Σ}}_{u=1}^N{\mathrm{\Σ}}_{t=1}^N{\mathrm{\η}}_{ut}^{\left(i\right)}\right);$

其中，χ_i为任一原始训练图像样本A_i的向量表示，χ_j和χ_r均为χ_i的近邻；

矩阵优化单元，用于通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对所述投影矩阵进行L2,1-范数正则化，相应地得到所述稀疏投影矩阵其中，

其中，α为各项的权衡参数，为A_i的K个最近邻样本的集合，I_d为d×d的单位矩阵，||·||_2,1为L2,1-范数，对任意矩阵X可定义为：其中，O为对角矩阵，O_ii＝1/2||xⁱ||₂,i＝1,2,…,t。

优选的，所述测试预处理模块包括：

第一预处理单元，用于将原始训练集中每个原始训练图像样本A_i向所述稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的训练集；其中，与任一原始训练图像样本A_i对应的稀疏判别特征矩阵Y_i表示为：Y_i＝P^TA_i；

第二预处理单元，用于将原始测试集中每个原始训练图像样本向所述稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的测试集；其中，与任一原始测试图像样本对应的稀疏判别特征矩阵Y_j表示为：

优选的，所述测试模块包括：

样本筛选单元，用于利用所述最近邻分类器，从所述训练集中筛选出与任一测试图像样本的特征相似性最大的训练图像样本B_max；

类别确定单元，用于将所述样本筛选单元筛选出的训练图像样本B_max的类别标签确定为相应测试图像样本的类别标签；

其中，与B_max之间需满足：

d(Y_n,Y_max)＝min_md(Y_n,Y_m)，其中，n＝1,2,…,N，m＝1,2,…,M；

其中，Y_n为与对应的稀疏判别特征矩阵，Y₁ ⁽ⁿ⁾,Y₂ ⁽ⁿ⁾…Y_d ⁽ⁿ⁾为Y_n中的特征向量；Y_m为与任一训练图像样本B_m对应的稀疏判别特征矩阵，Y_m＝P^TB_m＝(Y₁ ^(m),Y₂ ^(m)…Y_d ^(m))，Y₁ ^(m),Y₂ ^(m)…Y_d ^(m)为Y_m中的特征向量，Y_max为与B_max对应的稀疏判别特征矩阵；d(Y_n,Y_m)表示Y_n与Y_m之间的欧氏距离，具体为，

$d(Y_n,Y_m)=\underset{k=1}{\overset{d}{\Σ}}\left|\right|{Y_k}^{\left(n\right)}-{Y_k}^{\left(m\right)}\left|\right|.$

经由上述的技术方案可知，与现有技术相比，本发明公开了一种基于L2,1-范数正则化的鲁棒图像特征提取的识别方法及系统，先利用原始训练图像样本构造重构权重系数，衡量样本间的相似性；为了有效保持图像像素间的拓 扑结构和相关性，设计直接作用于二维图像的特征提取系统；为了降低图像样本中噪声或异类数据对性能的影响，对图像样本的邻域重构错误进行L2,1-范数正则化；为了确保优化得到稀疏判别的显著图像特征，直接对投影矩阵进行L2,1-范数正则化。最后，将原始测试图像样本嵌入稀疏投影矩阵，进而将提取的稀疏判别特征输入最近邻分类器，取与测试图像样本的特征相似性最大的训练图像样本的标签，用于测试样本的类别鉴定。本发明通过引入L2,1-范数正则化技术，有效提升了系统对于数据中噪声和异类数据的鲁棒性，系统性能更好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图 1为本发明实施例公开的一种基于L2,1-范数正则化的鲁棒图像特征提取的识别方法流程图；

图 2为本发明实施例公开的一种L2,1-范数正则化图像识别示意图；

图 3为本发明实施例公开的一种基于L2,1-范数正则化的鲁棒图像特征提取的识别系统结构示意图；

图 4为本发明实施例公开的一种具体的基于L2,1-范数正则化的鲁棒图像特征提取的识别系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于L2,1-范数正则化的鲁棒图像特征提取的识别方法，参见图 1所示，该方法包括：

步骤S11：对原始训练图像样本进行相似性学习，使用LLE-重构权重方法重构权重系数，通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对投影矩阵进行L2,1-范数正则化，相应地得到可用于直接提取二维图像判别特征的稀疏投影矩阵；

步骤S12：利用稀疏投影矩阵，分别对原始训练图像样本和原始测试图像样本进行特征提取，相应地得到包含稀疏判别特征的训练集和测试集；

步骤S13：将测试集中每一测试图像样本的稀疏判别特征输入至最近邻分类器以进行分类，从训练集中提取出与测试图像样本的特征相似性最大的训练图像样本的类别标签，并将该类别标签作为对应的测试图像样本的类别标签，以完成对测试集中每一测试图像样本的归类，得到相应的识别结果。

可见，本发明实施例公开了一种基于L2,1-范数正则化的鲁棒图像特征提取的识别方法，先利用原始训练图像样本构造重构权重系数，衡量样本间的相似性；为了有效保持图像像素间的拓扑结构和相关性，设计直接作用于二维图像的特征提取系统；为了降低图像样本中噪声或异类数据对性能的影响，对图像样本的邻域重构错误进行L2,1-范数正则化；为了确保优化得到稀疏判别的显著图像特征，直接对投影矩阵进行L2,1-范数正则化。最后，将原始测试图像样本嵌入稀疏投影矩阵，进而将提取的稀疏判别特征输入最近邻分类器，取与测试图像样本的特征相似性最大的训练图像样本的标签，用于测试样本的类别鉴定。本发明实施例通过引入L2,1-范数正则化技术，有效提升了系统对于数据中噪声和异类数据的鲁棒性，系统性能更好。

本发明实施例公开了一种具体的基于L2,1-范数正则化的鲁棒图像特征提取的识别方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

上一实施例步骤S11具体包括：

步骤S111：对包含N个原始训练图像样本的原始训练集中的每个原始训练图像样本均进行K最近邻搜索，以找出每个原始训练图像样本的K个最近邻样本，原始训练集具体表示为：N和K均为正整数；然后采用LLE-重构权重方法对权重系数进行重构；重构后的权重系数具体为：

$W_{i,j}={\mathrm{\Σ}}_{r=1}^N{\mathrm{\η}}_{jr}^{\left(i\right)}/\left({\mathrm{\Σ}}_{u=1}^N{\mathrm{\Σ}}_{t=1}^N{\mathrm{\η}}_{ut}^{\left(i\right)}\right);$

其中，χ_i为任一原始训练图像样本A_i的向量表示，χ_j和χ_r均为χ_i的近邻；

步骤S112：通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对投影矩阵进行L2,1-范数正则化，相应地得到稀疏投影矩阵其中，

其中，α为各项的权衡参数，为A_i的K个最近邻样本的集合，I_d为d×d的单位矩阵，||·||_2,1为L2,1-范数，对任意矩阵X可定义为：其中，O为对角矩阵，O_ii＝1/2||xⁱ||₂,i＝1,2,…,t。

上一实施例步骤S12具体包括：

步骤S121：将原始训练集中每个原始训练图像样本A_i向稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的训练集；其中，与任一原始训练图像样本A_i对应的稀疏判别特征矩阵Y_i表示为：Y_i＝P^TA_i；

步骤S122：将原始测试集中每个原始训练图像样本向稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的测试集；其中，与任一原始测试图像样本对应的稀疏判别特征矩阵Y_j表示为：

上一实施例步骤S13具体包括：

步骤S131：利用最近邻分类器，从训练集中筛选出与任一测试图像样本的特征相似性最大的训练图像样本B_max，并将该训练图像样本B_max的类别标签确定为该测试图像样本的类别标签；

其中，与B_max之间需满足：

d(Y_n,Y_max)＝min_md(Y_n,Y_m)，其中，n＝1,2,…,N，m＝1,2,…,M；

其中，Y_n为与对应的稀疏判别特征矩阵，Y₁ ⁽ⁿ⁾,Y₂ ⁽ⁿ⁾…Y_d ⁽ⁿ⁾为Y_n中的特征向量；Y_m为与任一训练图像样本B_m对应的稀疏判别特征矩阵，Y_m＝P^TB_m＝(Y₁ ^(m),Y₂ ^(m)…Y_d ^(m))，Y₁ ^(m),Y₂ ^(m)…Y_d ^(m)为Y_m中的特征向量，Y_max 为与B_max对应的稀疏判别特征矩阵；d(Y_n,Y_m)表示Y_n与Y_m之间的欧氏距离，具体为，

$d(Y_n,Y_m)=\underset{k=1}{\overset{d}{\Σ}}\left|\right|{Y_k}^{\left(n\right)}-{Y_k}^{\left(m\right)}\left|\right|.$

本发明实施例公开了一种更具体的基于L2,1-范数正则化的鲁棒图像特征提取的识别方法，相对于上一实施例，本实施例对技术方案作了更加具体的说明。

本发明实施例公开的方法具体包括：

步骤S11：对原始训练图像样本进行相似性学习，使用LLE-重构权重方法重构权重系数，通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对投影矩阵进行L2,1-范数正则化，相应地得到可用于直接提取二维图像判别特征的稀疏投影矩阵。

具体的，本发明实施例在3个真实图像数据集上进行测试，分别是CMU PIE人脸图像数据集，UMIST人脸图像数据集以及MIT CBCL人脸图像数据集，所有图像数据均统一压缩为30×30。

其中，CMU PIE人脸图像数据集包括68为志愿者的2856张正面人脸图片，包括光照，表情和姿势等改变，即68类图像。

UMIST人脸图像数据集共1012张正面人脸图像，20位志愿者参与取样，即20个类别。

MIT CBCL face共有3240张人脸图像，10个类别。这些数据库从多方面收集，因而测试结果具有普遍说明性。

本发明实施例将上述三个数据集均划分为原始训练集与原始测试集；CMU PIE人脸图像数据集每类取15个样本作为原始训练集，其余作为原始测试集；UMIST人脸图像和MIT CBCL人脸图像数据集均从每类选取6个样本作为原始训练集，其余作为原始测试集。每个实验结果均取15次随机取样结果的平均值。在图像特征提取的实验中，将原始训练集与原始测试集嵌入投影矩阵得到表示原始数据特征新的训练集与测试集，本实施例将新的训练集与测试集输入最近邻分类器得到的分类精度作为衡量特征提取方法优劣的标准。

首先，对于包含N个原始训练图像样本的原始训练集中所有的样本进行K最近邻搜索，找出每个样本的K个最近邻样本，任意原始训练图像样本A_i的权重系数为A_i的K个邻域样本对A_i的重构，可通过LLE-重构权重构获得：

原始训练集中任意样本A_i和A_j间的相似度可通过解决如下问题获得：

$W_{i,j}={\mathrm{\Σ}}_{r=1}^N{\mathrm{\η}}_{jr}^{\left(i\right)}/\left({\mathrm{\Σ}}_{u=1}^N{\mathrm{\Σ}}_{t=1}^N{\mathrm{\η}}_{ut}^{\left(i\right)}\right);$

其中，χ_i为目标图像样本A_i的向量表示，χ_j和χ_r均为χ_i的近邻，即χ_j,

最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对投影矩阵进行L2，1-范数正则化，输出得到一个稀疏投影矩阵具体为解决如下问题：

其中，是A_i的近邻集，是串联的图像矩阵，表示求两个矩阵的张量积，为A_i的K个近邻图像的串联矩阵，是近邻集中第j个近邻图像。用于衡量目标图像的邻域重构错误。α为目标函数中各项的权衡参数，I_d是d×d的单位矩阵，||·||_2,1为L2,1-范数，对任意矩阵X可定义为其中O是对角矩阵，O_ii＝1/2||xⁱ||₂，i＝1,2,…,t。

由于投影矩阵P的稀疏判别特性能够提升提取特征的显著性与判别性，因此本发明实施例同时对投影矩阵P使用L2,1-范数正则化，以确保输出一个稀疏判别投影矩阵，具体为解决如下问题：

其中，L2,1-范数正则化可确保的输出值是稀疏矩阵，且能提升投影矩阵P的判别性，且能提取鲁棒的稀疏特征。

假设由于在该模型中，由于是凸矩阵，当(Θ_iP)^j＝0,j＝1,2,…n时，P的导数不存在，故，当(Θ_iP)^j≠0，(i＝1,2,…N，j＝1,2,…n)时，有：

${\mathrm{\Σ}}_{i=1}^N\left|\right|{\mathrm{\Θ}}_{i}P|{|}_{2,1}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}2tr\[{\left({\mathrm{\Θ}}_{i}P\right)}^T{Z}_i\left({\mathrm{\Θ}}_{i}P\right)\]=tr\left(P^T\right(2{\mathrm{\Σ}}_{i=1}^N{\mathrm{\Θ}}_i^T{Z}_i{\mathrm{\Θ}}_i\left)P\right);$

其中，是对角矩阵，i＝1,2,…N，且

由于||P||_2,1同样是凸矩阵，所以，当P^j＝0，j＝1,2,…n时，P的导数不存在；当P^j≠0，j＝1,2,…n时，||P||_2,1＝2tr(P^TVP)，其中，

因此，目标函数可改写为：

由于在该模型中，包含多个主要变量(P,Z_i,V)，且相互影响，因此不能直接解决。故在求解该问题时采用迭代求最优解策略，具体为：

在第k+1次迭代，(Z_i)_k,V_k已知时，可通过解决一个特征分解问题求得d个最小的特征值对应的特征向量，并将特征向量按照相应特征值升序排列组成投影矩阵P_K+1，该特征分解问题如下：

获得P_K+1之后，可通过解决如下问题获得(Z_i)_k+1和V_k+1：

重复迭代上述步骤，当满足预设收敛条件时终止迭代，得到的投影矩阵便为最优的稀疏投影矩阵P^*。其中，预设收敛条件为：

其中，ρ＝0.001。

关于上述过程的具体算法如下：

输入：原始训练图像邻域数K，参量α；

1、计算重构的权重向量Wⁱ，以及

2、初始化：k＝0,(Z_{i ＝ 1:N})₀＝I_n,V₀＝I_n；

While未收敛时do：

3、更新 ${\mathrm{\Θ}}_i=A_i^T-(W^i\⊗I_n){\mathrm{\Ω}}^{\left(i\right)T};$

4、求解特征问题：获得d个最小的特征值按升序排列各个特征值对应的特征向量组成P_K+1；

5、固定其他值，通过解决如下问题更新(Z_i)_k+1：

6、固定其他值，通过解决如下问题更新V_k+1：

7、检查收敛：若迭代终止，否则继续；

End while

输出：最优化稀疏投影矩阵P^*＝P_k+1。

步骤S12：利用稀疏投影矩阵，分别对原始训练图像样本和原始测试图像样本进行特征提取，相应地得到包含稀疏判别特征的训练集和测试集。

具体的，Y_i为将A_i嵌入上述稀疏投影矩阵P，从而获取由稀疏判别特征所 构成的特征矩阵，定义如下：A_i→Y_i＝P^TA_i,i＝1,2,…N。将原始训练集中各个原始训练图像样本A_i嵌入投影P，A_i→Y_i＝P^TA_i,i＝1,2,…N，从而获取图像的稀疏判别特征，将其作为新的训练集用来进行最近邻分类器设计；同样，将原始测试集中各个原始测试图像样本嵌入稀疏投影矩阵，获取图像的稀疏判别特征，将其作为新的测试集，用于评估分类器模型的性能。

步骤S13：将测试集中每一测试图像样本的稀疏判别特征输入至最近邻分类器以进行分类，从训练集中提取出与测试图像样本的特征相似性最大的训练图像样本的类别标签，并将该类别标签作为对应的测试图像样本的类别标签，以完成对测试集中每一测试图像样本的归类，得到相应的识别结果。

步骤S131：利用最近邻分类器，从训练集中筛选出与任一测试图像样本的特征相似性最大的训练图像样本B_max，并将该训练图像样本B_max的类别标签确定为该测试图像样本的类别标签；

其中，与B_max之间需满足：

d(Y_n,Y_max)＝min_md(Y_n,Y_m)，其中，n＝1,2,…,N，m＝1,2,…,M；

其中，Y_n为与对应的稀疏判别特征矩阵，Y₁ ⁽ⁿ⁾,Y₂ ⁽ⁿ⁾…Y_d ⁽ⁿ⁾为Y_n中的特征向量；Y_m为与任一训练图像样本B_m对应的稀疏判别特征矩阵，Y_m＝P^TB_m＝(Y₁ ^(m),Y₂ ^(m)…Y_d ^(m))，Y₁ ^(m),Y₂ ^(m)…Y_d ^(m)为Y_m中的特征向量，Y_max为与B_max对应的稀疏判别特征矩阵；d(Y_n,Y_m)表示Y_n与Y_m之间的欧氏距离，具体为，

$d(Y_n,Y_m)=\underset{k=1}{\overset{d}{\Σ}}\left|\right|{Y_k}^{\left(n\right)}-{Y_k}^{\left(m\right)}\left|\right|.$

关于实验参数的选择，上述方法统一使用LLE-重构权来构建相似近邻图，其中对K近邻的参数K统一设置为7。本发明实施例中的参数α通过网格搜索的方式进行选择，参数的取值范围均为{10^-8,10^-6,…,10⁸}。每次实验中，划分训练集和测试集的过程均是随机的，且对任一个每类训练集样本中选取的样本，将重复15次随机实验来得到平均结果。请参阅表 1，为本发明与9个经典特征提取算法，在3个真实图像数据集上的分类结果对比，CMU PIE face数据集每类选15个样本作为原始训练集，另外两个数据集每类取6个图像样本训练，其 余作为原始测试集。实验中，数据集被划分原始训练集和原始测试集。任务在于提取原始训练集和原始测试集图像数据特征后利用最近邻分类器对测试集进行分类。表 1给出了15次实验的平均结果和最好结果。参与比较的特征提取算法各自采用默认的参数进行实验。

表 1本发明与传统特征提取算法的正确率比对

由于本发明实施例主要通过图像的分类精确度来衡量特征提取方法的优劣，因此通过实验结果，可以看出本发明的图像特征提取效果明显优于其他方法，具有更高的适用性和鲁棒性。图 2为本发明实施例公开的一种L2,1-范数正则化图像识别示意图，

相应的，本发明实施例还公开了一种基于L2,1-范数正则化的鲁棒图像特征提取的识别系统，参见图 3所示，该系统包括：

训练模块31，用于对原始训练图像样本进行相似性学习，使用LLE-重构权重方法重构权重系数，通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对投影矩阵进行L2,1-范数正则化，相应地得到可用于直接提取二维图像判别特征的稀疏投影矩阵；

测试预处理模块32，用于利用稀疏投影矩阵，分别对原始训练图像样本和原始测试图像样本进行特征提取，相应地得到包含稀疏判别特征的训练集和测试集；

测试模块33，用于将测试集中每一测试图像样本的稀疏判别特征输入至最近邻分类器以进行分类，从训练集中提取出与测试图像样本的特征相似性最大的训练图像样本的类别标签，并将该类别标签作为对应的测试图像样本的类别标签，以完成对测试集中每一测试图像样本的归类，得到相应的识别结果。

具体的，参见图 4所示，训练模块31可以包括学习单元311和矩阵优化单元312，其中，

学习单元311，用于对包含N个原始训练图像样本的原始训练集中的每个原始训练图像样本均进行K最近邻搜索，以找出每个原始训练图像样本的K个最近邻样本，原始训练集具体表示为：N和K均为正整数；然后采用LLE-重构权重方法对权重系数进行重构；重构后的权重系数具体为：

$W_{i,j}={\mathrm{\Σ}}_{r=1}^N{\mathrm{\η}}_{jr}^{\left(i\right)}/\left({\mathrm{\Σ}}_{u=1}^N{\mathrm{\Σ}}_{t=1}^N{\mathrm{\η}}_{ut}^{\left(i\right)}\right);$

其中，χ_i为任一原始训练图像样本A_i的向量表示，χ_j和χ_r均为χ_i的近邻；

矩阵优化单元312，用于通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对投影矩阵进行L2,1-范数正则化，相应地得到稀疏投影矩阵其中，

其中，α为各项的权衡参数，为A_i的K个最近邻样本的集合，I_d为d×d的单位矩阵，||·||_2,1为L2,1-范数，对任意矩阵X可定义为：其中，O为对角矩阵，O_ii＝1/2||xⁱ||₂,i＝1,2,…,t。

另外，测试预处理模块32具体可以包括第一预处理单元321和第二预处理单元322；其中，

第一预处理单元321，用于将原始训练集中每个原始训练图像样本A_i向稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的训练集；其中，与任一原始训练图像样本A_i对应的稀疏判别特征矩阵Y_i表示为：Y_i＝P^TA_i；

第二预处理单元322，用于将原始测试集中每个原始训练图像样本向稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的测试集；其中，与任一原始测试图像样本对应的稀疏判别特征矩阵Y_j表示为：

进一步的，本实施例中的测试模块33具体可以包括样本筛选单元331和类别确定单元332；其中，

样本筛选单元331，用于利用最近邻分类器，从训练集中筛选出与任一测试图像样本的特征相似性最大的训练图像样本B_max；

类别确定单元332，用于将样本筛选单元231筛选出的训练图像样本B_max的类别标签确定为相应测试图像样本的类别标签；

其中，与B_max之间需满足：

d(Y_n,Y_max)＝min_md(Y_n,Y_m)，其中，n＝1,2,…,N，m＝1,2,…,M；

其中，Y_n为与对应的稀疏判别特征矩阵，Y₁ ⁽ⁿ⁾,Y₂ ⁽ⁿ⁾…Y_d ⁽ⁿ⁾为Y_n中的特征向量；Y_m为与任一训练图像样本B_m对应的稀疏判别特征矩阵，Y_m＝P^TB_m＝(Y₁ ^(m),Y₂ ^(m)…Y_d ^(m))，Y₁ ^(m),Y₂ ^(m)…Y_d ^(m)为Y_m中的特征向量，Y_max为与B_max对应的稀疏判别特征矩阵；d(Y_n,Y_m)表示Y_n与Y_m之间的欧氏距离，具体为，

$d(Y_n,Y_m)=\underset{k=1}{\overset{d}{\Σ}}\left|\right|{Y_k}^{\left(n\right)}-{Y_k}^{\left(m\right)}\left|\right|.$

综上所述可知，本发明实施例公开了一种基于L2,1-范数正则化的鲁棒图像特征提取的识别方法及系统，先利用原始训练图像样本构造重构权重系数，衡量样本间的相似性；为了有效保持图像像素间的拓扑结构和相关性，设计直接作用于二维图像的特征提取系统；为了降低图像样本中噪声或异类数据对性能的影响，对图像样本的邻域重构错误进行L2,1-范数正则化；为了确保优化得到稀疏判别的显著图像特征，直接对投影矩阵进行L2,1-范数正则化。最后，将原始测试图像样本嵌入稀疏投影矩阵，进而将提取的稀疏判别特征输入最近邻分类器，取与测试图像样本的特征相似性最大的训练图像样本的标签，用于测试样本的类别鉴定。本发明实施例通过引入L2,1-范数正则化技 术，有效提升了系统对于数据中噪声和异类数据的鲁棒性，系统性能更好。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种基于L2,1-范数正则化的鲁棒图像特征提取的识别方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于L2,1-范数正则化的鲁棒图像特征提取的识别方法，其特征在于，包括：

对原始训练图像样本进行相似性学习，使用LLE-重构权重方法重构权重系数，通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对所述投影矩阵进行L2,1-范数正则化，相应地得到可用于直接提取二维图像判别特征的稀疏投影矩阵；

利用所述稀疏投影矩阵，分别对原始训练图像样本和原始测试图像样本进行特征提取，相应地得到包含稀疏判别特征的训练集和测试集；

将所述测试集中每一测试图像样本的稀疏判别特征输入至最近邻分类器以进行分类，从所述训练集中提取出与测试图像样本的特征相似性最大的训练图像样本的类别标签，并将该类别标签作为对应的测试图像样本的类别标签，以完成对所述测试集中每一测试图像样本的归类，得到相应的识别结果。

2.根据权利要求1所述的基于L2,1-范数正则化的鲁棒图像特征提取的识别方法，其特征在于，所述对原始训练图像样本进行相似性学习，使用LLE-重构权重方法重构权重系数，通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对所述投影矩阵进行L2,1-范数正则化，相应地得到可用于直接提取二维图像判别特征的稀疏投影矩阵的过程，包括：

对包含N个原始训练图像样本的原始训练集中的每个原始训练图像样本均进行K最近邻搜索，以找出每个原始训练图像样本的K个最近邻样本，所述原始训练集具体表示为：N和K均为正整数；然后采用LLE-重构权重方法对权重系数进行重构；重构后的权重系数具体为：

$W_{i,j}={\mathrm{\Σ}}_{r=1}^N{\mathrm{\η}}_{jr}^{\left(i\right)}/\left({\mathrm{\Σ}}_{u=1}^N{\mathrm{\Σ}}_{t=1}^N{\mathrm{\η}}_{ut}^{\left(i\right)}\right);$

其中，χ_i为任一原始训练图像样本A_i的向量表示，χ_j和χ_r均为χ_i的近邻；

通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对所述投影矩阵进行L2,1-范数正则化，相应地得到所述稀疏投影矩阵其中，

其中，α为各项的权衡参数，为A_i的K个最近邻样本的集合，I_d为d×d的单位矩阵，||·||_2,1为L2,1-范数，对任意矩阵X可定义为：其中，O为对角矩阵，O_ii＝1/2||xⁱ||₂,i＝1,2,…,t。

3.根据权利要求2所述的基于L2,1-范数正则化的鲁棒图像特征提取的识别方法，其特征在于，所述利用所述稀疏投影矩阵，分别对原始训练图像样本和原始测试图像样本进行特征提取，相应地得到包含稀疏判别特征的训练集和测试集的过程，包括：

将原始训练集中每个原始训练图像样本A_i向所述稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的训练集；其中，与任一原始训练图像样本A_i对应的稀疏判别特征矩阵Y_i表示为：Y_i＝P^TA_i；

将原始测试集中每个原始训练图像样本向所述稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的测试集；其中，与任一原始测试图像样本对应的稀疏判别特征矩阵Y_j表示为：

4.根据权利要求3所述的基于L2,1-范数正则化的鲁棒图像特征提取的识别方法，其特征在于，所述将所述测试集中每一测试图像样本的稀疏判别特征输入至最近邻分类器以进行分类，从所述训练集中提取出与测试图像样本的特征相似性最大的训练图像样本的类别标签，并将该类别标签作为对应的测试图像样本的类别标签，以完成对所述测试集中每一测试图像样本的归类，得到相应的识别结果的过程，包括：

利用所述最近邻分类器，从所述训练集中筛选出与任一测试图像样本的特征相似性最大的训练图像样本B_max，并将该训练图像样本B_max的类别标签确定为该测试图像样本的类别标签；

其中，与B_max之间需满足：

d(Y_n,Y_max)＝min_md(Y_n,Y_m)，其中，n＝1,2,…,N，m＝1,2,…,M；

其中，Y_n为与对应的稀疏判别特征矩阵，Y₁ ⁽ⁿ⁾,Y₂ ⁽ⁿ⁾…Y_d ⁽ⁿ⁾为Y_n中的特征向量；Y_m为与任一训练图像样本B_m对应的稀疏判别特征矩阵，Y_m＝P^TB_m＝(Y₁ ^(m),Y₂ ^(m)…Y_d ^(m))，Y₁ ^(m),Y₂ ^(m)…Y_d ^(m)为Y_m中的特征向量，Y_max为与B_max对应的稀疏判别特征矩阵；d(Y_n,Y_m)表示Y_n与Y_m之间的欧氏距离，具体为，

$d(Y_n,Y_m)=\underset{k=1}{\overset{d}{\Σ}}\left|\right|{Y_k}^{\left(n\right)}-{Y_k}^{\left(m\right)}\left|\right|.$

5.一种基于L2,1-范数正则化的鲁棒图像特征提取的识别系统，其特征在于，包括：

训练模块，用于对原始训练图像样本进行相似性学习，使用LLE-重构权重方法重构权重系数，通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对所述投影矩阵进行L2,1-范数正则化，相应地得到可用于直接提取二维图像判别特征的稀疏投影矩阵；

测试预处理模块，用于利用所述稀疏投影矩阵，分别对原始训练图像样本和原始测试图像样本进行特征提取，相应地得到包含稀疏判别特征的训练集和测试集；

测试模块，用于将所述测试集中每一测试图像样本的稀疏判别特征输入至最近邻分类器以进行分类，从所述训练集中提取出与测试图像样本的特征相似性最大的训练图像样本的类别标签，并将该类别标签作为对应的测试图像样本的类别标签，以完成对所述测试集中每一测试图像样本的归类，得到相应的识别结果。

6.根据权利要求5所述的基于L2,1-范数正则化的鲁棒图像特征提取的识别系统，其特征在于，所述训练模块包括：

学习单元，用于对包含N个原始训练图像样本的原始训练集中的每个原始训练图像样本均进行K最近邻搜索，以找出每个原始训练图像样本的K个最近邻样本，所述原始训练集具体表示为：N和K均为正整数；然后采用LLE-重构权重方法对权重系数进行重构；重构后的权重系数具体为：

$W_{i,j}={\mathrm{\Σ}}_{r=1}^N{\mathrm{\η}}_{jr}^{\left(i\right)}/\left({\mathrm{\Σ}}_{u=1}^N{\mathrm{\Σ}}_{t=1}^N{\mathrm{\η}}_{ut}^{\left(i\right)}\right);$

其中，χ_i为任一原始训练图像样本A_i的向量表示，χ_j和χ_r均为χ_i的近邻；

矩阵优化单元，用于通过最小化L2,1-范数正则化的邻域重构错误以优化投影矩阵，并对所述投影矩阵进行L2,1-范数正则化，相应地得到所述稀疏投影矩阵其中，

其中，α为各项的权衡参数，为A_i的K个最近邻样本的集合，I_d为d×d的单位矩阵，||·||_2,1为L2,1-范数，对任意矩阵X可定义为：其中，O为对角矩阵，O_ii＝1/2||xⁱ||₂,i＝1,2,…,t。

7.根据权利要求6所述的基于L2,1-范数正则化的鲁棒图像特征提取的识别系统，其特征在于，所述测试预处理模块包括：

第一预处理单元，用于将原始训练集中每个原始训练图像样本A_i向所述稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的训练集；其中，与任一原始训练图像样本A_i对应的稀疏判别特征矩阵Y_i表示为：Y_i＝P^TA_i；

第二预处理单元，用于将原始测试集中每个原始训练图像样本向所述稀疏投影矩阵进行映射，得到包含相应稀疏判别特征矩阵的测试集；其中，与任一原始测试图像样本对应的稀疏判别特征矩阵Y_j表示为：

8.根据权利要求7所述的基于L2,1-范数正则化的鲁棒图像特征提取的识别系统，其特征在于，所述测试模块包括：

样本筛选单元，用于利用所述最近邻分类器，从所述训练集中筛选出与任一测试图像样本的特征相似性最大的训练图像样本B_max；

类别确定单元，用于将所述样本筛选单元筛选出的训练图像样本B_max的类别标签确定为相应测试图像样本的类别标签；

其中，与B_max之间需满足：

d(Y_n,Y_max)＝min_md(Y_n,Y_m)，其中，n＝1,2,…,N，m＝1,2,…,M；

其中，Y_n为与对应的稀疏判别特征矩阵，Y₁ ⁽ⁿ⁾,Y₂ ⁽ⁿ⁾…Y_d ⁽ⁿ⁾为Y_n中的特征向量；Y_m为与任一训练图像样本B_m对应的稀疏判别特征矩阵，Y_m＝P^TB_m＝(Y₁ ^(m),Y₂ ^(m)…Y_d ^(m))，Y₁ ^(m),Y₂ ^(m)…Y_d ^(m)为Y_m中的特征向量，Y_max为与B_max对应的稀疏判别特征矩阵；d(Y_n,Y_m)表示Y_n与Y_m之间的欧氏距离，具体为，

$d(Y_n,Y_m)=\underset{k=1}{\overset{d}{\Σ}}\left|\right|{Y_k}^{\left(n\right)}-{Y_k}^{\left(m\right)}\left|\right|.$