CN103353936A - 人脸识别方法及系统 - Google Patents

Abstract

本发明提供了一种人脸识别方法及系统，包括：采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像；基于稀疏正则化方法对提取到的每一波段的人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标；再基于稀疏正则化方法对第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标；根据第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集；采用最近邻分类器获取分类结果。本发明能够在融合足够多人脸图像信息的基础之上，保证最终表达人脸的特征集有较低的维数，从而也保证人脸识别的速度和单个人需要存储的数据量较小，提高识别精度。

Description

人脸识别方法及系统

技术领域

本发明涉及了一种有层次的基于稀疏正则化方法对多波段人脸图像特征进行评价、选择与融合的人脸识别方法。

背景技术

人脸识别技术是利用计算机获取人脸图像并进行分析预处理，然后以特定方法提取出能有效表示人脸图像的特征，最后通过机器学习的方法对人脸图像进行身份鉴定。人脸识别广泛应用于人机交互系统、安全验证系统、驾照和护照的验证以及罪犯身份识别等方面。最近几年随着信息和网络技术的发展，人脸识别已经成为模式识别领域最受关注的问题之一。

人脸识别领域最重要的研究课题之一是寻找高效且维数较低的特征或特征集来描述人脸的，以使在保证对光照、表情、姿态及年龄具有充分的鲁棒性情况下也保证了大数据情况下的快速人脸识别。现有的人脸特征描述方法主要分为几何特征、统计全局特征和局部纹理描述特征。几何特征主要是指以面部器官的几何形状和位置分布构成的特征，如面部器官间的欧式距离、形状曲率、角度等参数。然而，几何特征的提取非常依赖于面部器官的精确位置和面部结构等先验信息，而自动获取精确的面部器官位置形状信息是一直以来没有很好解决的技术难题。因此基于统计全局特征的人脸识别方法应运而生。其主要方法有：主成分分析方法（PCA）和线性判别分析（LDA）方法。其中，主成分分析方法虽然对人脸的特征信息压缩非常有效，但是不能获得很好的分类效果；而线性判别分析在一定程度上弥补了主成分分析的缺陷，但它要求训练样本数目较多并具有代表性。局部纹理描述特征主要有：Gabor小波特征、局部二值模式（LBP）、POEM、局部方向模式（LDP）。其中，Gabor小波特征被认为是一种符合人眼生物学原理的局部描述特征，但是它的特征维数十分庞大且计算复杂。在这众多的人脸特征描述方法中，每一种特征描述方法都有各自的优劣，而每一种特征描述方法都不能单独地全面描述整张人脸的特性，因此为了使得特征的表达作用相互补充，达到相得益彰的效果，研究将不同种类的特征进行融合是研究者们日益关注的研究方向。但是现有的用于人脸识别的特征融合方法主要通过融合的手段将多种不同数据类型或意义的特征在同一空间中组成新的特征，从而进行识别。此类融合方法融合的特征一般比较单一，并且特征维数比较高。

发明内容

本发明的目的在于提供一种人脸识别方法及系统，能够在融合足够多人脸图像信息的基础之上，保证最终表达人脸的特征集有较低的维数，从而也保证人脸识别的速度和单个人需要存储的数据量较小，提高识别精度。

为解决上述问题，本发明提供一种人脸识别方法，包括：

采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像；

对采集得到的每一波段的训练图像进行归一化，并进行mask和光照的预处理；

从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征；

基于稀疏正则化方法对提取到的每一波段的人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标；

把得到的每一波段的人脸图像新特征组合成第一特征集，再基于稀疏正则化方法对所述第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标；

采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像；

对采集得到的每一波段的测试图像进行归一化，并进行mask和光照的预处理；

从经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征；

根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征；

将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集，根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集；

采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离，所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。

进一步的，在上述方法中，所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。

进一步的，在上述方法中，所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。

进一步的，在上述方法中，所述全局特征为PCA或LDA。

进一步的，在上述方法中，采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的步骤中，

采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头配置为同轴，且距离相近，各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。

进一步的，在上述方法中，所述光照的预处理为Gamma校正或retinafilter。

根据本发明的另一面，提供一种人脸识别系统，包括：

第一采集模块，用于采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像；

第一处理模块，用于对采集得到的每一波段的训练图像进行归一化，并进行mask和光照的预处理；

第一特征模块，用于从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征；

第一新特征模块，用于基于稀疏正则化方法对提取到的每一波段的第一人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标；

第二特征集模块，用于把得到的每一波段的人脸图像的新特征组合成第一特征集，再基于稀疏正则化方法对所述第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标；

第二采集模块，用于采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像；

第二处理模块，用于对采集得到的每一波段的测试图像进行归一化，并进行mask和光照的预处理；

第二特征模块，用于经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征；

第二新特征模块，用于根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征；

第一结果模块，用于将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集，根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集；

第二结果模块，用于采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离，所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。

进一步的，在上述系统中，所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。

进一步的，在上述系统中，所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。

进一步的，在上述系统中，所述全局特征为PCA或LDA。

进一步的，在上述系统中，所述第一采集模块和第二采集模块分别为采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头，所有摄像头配置为同轴，且距离相近，各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。

进一步的，在上述系统中，所述第一处理模块和第二处理模块采用Gamma校正或retina filter方法进行所述光照的预处理。

与现有技术相比，本发明在融合可见光、近红外、中红外、远红外和热红外人脸图像信息的基础上，对图像特征进行了两次基于稀疏正则化方法的评价与选择，实现在融合足够多人脸图像信息的基础之上，保证最终表达人脸的特征集有较低的维数，从而也保证人脸识别的速度和单个人需要存储的数据量较小，本发明不仅可以适应于实时实际的环境，而且也适用于大数据存储量的情况，同时本发明采用基于稀疏正则化方法，能够克服配饰、遮挡等变化，提高识别精度。

附图说明

图1是本发明一实施例的人脸识别方法的训练流程图；

图2是本发明一实施例的人脸识别方法的测试流程图；

图3是本发明一实施例的稀疏正则化算法的原理图；

图4是本发明一实施例的人脸识别系统的模块图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1和2所示，本发明提供一种人脸识别方法，包括步骤S1至步骤S11。

步骤S1，采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像；具体的，本实施例提出图像组的概念，意为人脸在状态不变的情况下，获得的可见光、近红外、中红外、远红外和热红外的人脸图像，这样的五张图像就称为一组图像组。

步骤S2，对采集得到的每一波段的训练图像进行归一化，并进行mask和光照的预处理；具体的，可通过人眼定位等措施，对人脸图像进行归一化，之后覆盖掩膜以去除背景。同时为了去除光照不均的影响，加入Gamma校正或retina filter等光照预处理方法。

步骤S3，从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征；具体的，将预处理后的一组图像组中的可见光、近红外、中红外、远红外和热红外图像分别提取第一人脸图像特征，表示为H_v,H_r,H_n1,H_n2,H_n3，其中H_v表示可见光的第一人脸图像特征，H_r表示热红外的第一人脸图像特征，H_n1,H_n2,H_n3分别表示的是近红外、中红外、远红外的第一人脸图像特征。

步骤S4，基于稀疏正则化方法对提取到的每一波段的第一人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标；具体的，基于图像的稀疏表示人脸识别是近期出现的将压缩感知理论应用于模式识别中的新方法，其在克服配饰、遮挡等变化等方面具有很强的鲁棒性。与传统方法不同，这类方法将人脸进行稀疏表示，采用信号处理中的压缩采样技术，不再要求将人脸紧致地表示成一个低维空间，而是将其投影成一个非常稀疏的高维向量，并通过1范数最小化的方法，几乎无误差地恢复该向量，从而进行身份的查询和认证，并获得较好的识别结果。为了增强实时光照的鲁棒性，选择了融合不同波段下的人脸图像特征，同时为了保证最终得到的最终表达人脸的第二特征集M能够融合不同单波段图像特征中最具区分能力的特征和M特征维数不高或者较低，本发明提出了有层次的基于稀疏正则化方法对多波段人脸图像特征进行评价、选择与融合的人脸识别方法。基于稀疏正则化方法对提取到的单波段人脸图像特征进行评价与选择得到降维后的单波段人脸图像的新特征和新特征评价指标集

其中，

分别对应着可见光、近红外、中红外、远红外和热红外各单波段人脸特征训练后的新特征评价指标。

步骤S5，把得到的每一波段的人脸图像的新特征组合成第一特征集，再基于稀疏正则化方法对所述第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集M和对应的第二特征评价指标

；

步骤S6，采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像；

优选的，步骤S1和步骤S6中为了保证采集可见光、近红外、中红外、远红外和热红外图像的同时性，采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头配置为同轴，且距离相近，各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。

步骤S7，对采集得到的每一波段的测试图像进行归一化，并进行mask和光照的预处理；

优选的，所述光照的预处理为Gamma校正或retina filter。

步骤S8，从经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征；

优选的，所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。

较佳的，所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。所述全局特征为PCA或LDA。

步骤S9，根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征；

步骤S10，将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集，根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集M；

步骤S11，采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离，所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。具体的，人脸图像测试库的构建过程与采集训练图像流程相似。需要同时采集可见光、近红外、中红外、远红外和热红外的图像，然后进行归一化、背景去除以及光照预处理，得到的对可见光、近红外、中红外、远红外和热红外的人脸图像组的提取特征构成代表该图像组的第二特征集，依次存于人脸图像测试库中。人脸图像测试库中距离最近的人脸图像的所属人则判定为待测试人。

详细的，基于稀疏正则化方法的具体训练方法如图3所示：

1、步骤S4中，基于稀疏正则化方法包括如下内容：

首先构建正样本与负样本，这里以LBP特征为例，其他特征方法一致。将整张图像划分为s×s的网格，在每个小区域内提取LBP特征（可见光表示为h_vi，热红外表示为h_ni，近红外表示为h_n1i，中红外表示为h_n2i，远红外表示为h_n3i，i=0,1,…,s×s），设s×s=m，并将每个区域的特征拼合为一个向量，可得到：H_v、H_r、H_n1、H_n2、H_n3；

同一个人不同的两张单波段（波段主要指可见光、近红外、中红外、远红外和热红外其中某一波段）图像提取特征后，计算所得的距离向量为正样本，不同人的两张单波段（波段主要指可见光、近红外、中红外、远红外和热红外其中某一波段）图像提取特征的距离向量为负样本。为了保证正样本与负样本数量的均衡，每次从全部的负样本中随机抽取与正样本相同数量的样本作为本次训练的负样本，随机若干次后，将每次训练值平均即为最终值。距离公式一般形式可表达如下：

将正样本与负样本构成矩阵 $A={\left[\begin{array}{cccccccc}{X_1}^{+}& {X_2}^{+}& ...& {X_n}^{+}& X_1^{-}& X_2^{-}& ...& X_n^{-}\end{array}\right]}^T,$ n为正样本和负样本的数目，A矩阵需按列进行样本归一化；

给定矩阵Y=[0 0 … 0 1 1 … 1]^T为样本的标号所构成的矩阵，该矩阵每行的数值与A矩阵的对应行一一对应。若该行为正样本，则对应于Y的该行数值为0；若该行为负样本，则为1；

以下以可见光图像特征进行训练为例，获得对可见光特征的评价指标

和对应波段的人脸图像新特征

样本的标号矩阵Y与样本的特征矩阵A之间存在线性关系：Y=Aβ₁，β₁为评价指标向量；

由于特征的个数m大于n，致使求得到的β₁不唯一，通过lasso的方法，加入稀疏正则项，解决了这个问题，优化方程如下：

$\arg \min {\left|\right|y-X{\mathrm{\β}}_1\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\β}}_1\left|\right|}_1,$

其中||·||₂表示欧几里得范数，||·||₁表示1-范数。λ表示正则化系数，用于调整β的稀疏程度。λ越大，β₁中值为零的项的数目越多；

通过上述优化方程，得到的唯一解β₁。由于β₁为评价指标向量，则其元素β_1i的值表示了其对应特征块在分类中的重要程度。则若β_1i为负，或者足够小就意味着该特征块在分类中的作用可以忽略，因此对β₁中的每一元素做如下处理：

${\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{1i}=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_{1i}& \mathrm{if}{\mathrm{\&beta;}}_{1i}>T\\ 0& \mathrm{if}{\mathrm{\&beta;}}_{1i}<T\end{array}\right.,$

（由其作为元素的向量为

）表示更新后的β_1i值，T用于调整人脸特征向量的维数。T越大，选择出的特征越少，用于表征人脸的特征向量的维数越小，反之亦然，最终可得到的评价指标向量

将评价指标加入到人脸特征向量的表征中，可得表征公式：

中很多项为零，则使得中很多项也为零。由于

为表征人脸的特征向量，则其为零项无意义，因此可以剔除，由此使得特征向量的维数降低。也可以理解为只提取

不为零的特征块的特征，并乘以相应的

系数。同理可以得到其余四个单波段的人脸图像新特征（

）和特征评价指标（

）。

2、步骤S5中，基于稀疏正则化方法包括如下内容：

同样的首先构建正样本与负样本，这里同样以LBP特征为例，其他特征方法一致。根据步骤四得到的单波段图像特征（既：

），组合成特征集 $\stackrel{\&OverBar;}{H}=[{\stackrel{\&OverBar;}{H}}_v,{\stackrel{\&OverBar;}{H}}_r,{\stackrel{\&OverBar;}{H}}_{n1},{\stackrel{\&OverBar;}{H}}_{n2},{\stackrel{\&OverBar;}{H}}_{n3}];$

同一个人的两个特征集，计算所得的距离向量为正样本，不同人的两特征集计算所得的距离向量为负样本。为了保证正样本与负样本数量的均衡，每次从全部的负样本中随机抽取与正样本相同数量的样本作为本次训练的负样本，随机若干次后，将每次训练值平均即为最终值，同样距离计算公式一般形式可表达如下：

将正样本与负样本构成矩阵 $A={\left[\begin{array}{cccccccc}{X_1}^{+}& {X_2}^{+}& ...& {X_n}^{+}& X_1^{-}& X_2^{-}& ...& X_n^{-}\end{array}\right]}^T,$ n为正样本和负样本的数目，A矩阵需按列进行样本归一化；

给定矩阵Y=[0 0 … 0 1 1 … 1]^T为样本的标号所构成的矩阵，该矩阵每行的数值与A矩阵的对应行一一对应。若该行为正样本，则对应于Y的该行数值为0；若该行为负样本，则为1；

样本的标号矩阵Y与样本的特征矩阵A之间存在线性关系：Y=Aβ，β为评价指标向量；

由于特征的个数m大于n，致使求得到的β不唯一。通过lasso的方法，加入稀疏正则项，解决了这个问题。优化方程如下：

$\arg \min {\left|\right|y-X\mathrm{\&beta;}\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|\mathrm{\&beta;}\left|\right|}_1,$

其中||·||₂表示欧几里得范数，||·||₁表示1-范数。λ表示正则化系数，用于调整β的稀疏程度。λ越大，β中值为零的项的数目越多。

通过上述优化方程，得到的唯一解β。由于β为评价指标向量，则其元素β_i的值表示了其对应特征块在分类中的重要程度。则若β_i为负，或者足够小就意味着该特征块在分类中的作用可以忽略，因此对β做如下处理：

${\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_i=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_i& \mathrm{if}{\mathrm{\&beta;}}_i>T\\ 0& \mathrm{if}{\mathrm{\&beta;}}_i<T\end{array}\right.,$

表示更新后的β_i值，T用于调整人脸特征向量的维数，T越大，选择出的特征越少，用于表征人脸的特征向量的维数越小，反之亦然，最终得到的评价指标向量

同时可以得到最终表达人脸图像特征的特征集：

中很多项为零，则使得M中很多项也为零。由于M为表征人脸的特征向量，则其为零项无意义，因此可以剔除，由此使得特征向量的维数降低。也可以理解为只提取

不为零的特征块的特征，并乘以相应的

系数，最后拼合为表征该人脸的特征向量。

本实施例提供的有层次的基于稀疏正则化方法对多波段人脸图像特征进行评价、选择与融合的人脸识别方法，不仅保证了高效的表达人脸，而且保证了较低的特征维数和较高的识别速度。

实施例二

如图4所示，本发明还提供另一种人脸识别系统，包括第一采集模块1、第一处理模块2、第一特征模块3、第一新特征模块4、第二特征集模块5、第二采集模块6、第二处理模块7、第二特征模块8、第二新特征模块9、第一结果模块10和第二结果模块11。

第一采集模块1，用于采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像；

第一处理模块2，用于对采集得到的每一波段的训练图像进行归一化，并进行mask和光照的预处理；

第一特征模块3，用于从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征；

优选的，所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。

较佳的，所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。所述全局特征为PCA或LDA。

第一新特征模块4，用于基于稀疏正则化方法对提取到的每一波段的第一人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标；

第二特征集模块5，用于把得到的每一波段的人脸图像的新特征组合成第一特征集，再基于稀疏正则化方法对所述第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标；

第二采集模块6，用于采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像；

优选的，所述第一采集模块和第二采集模块分别为采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头，所有摄像头配置为同轴，且距离相近，各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。

第二处理模块7，用于对采集得到的每一波段的测试图像进行归一化，并进行mask和光照的预处理；

第二特征模块8，用于经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征；

第二新特征模块9，用于根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征；

第一结果模块10，用于将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集，根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集；

第二结果模块11，用于采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离，所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。

实施例二的其它详细内容具体可参见实施例一的相应部分，在此不再赘述。

综上所述，本发明在融合可见光、近红外、中红外、远红外和热红外人脸图像信息的基础上，对图像特征进行了两次基于稀疏正则化方法的评价与选择，实现在融合足够多人脸图像信息的基础之上，保证最终表达人脸的特征集有较低的维数，从而也保证人脸识别的速度和单个人需要存储的数据量较小，本发明不仅可以适应于实时实际的环境，而且也适用于大数据存储量的情况，同时本发明采用基于稀疏正则化方法，能够克服配饰、遮挡等变化，提高识别精度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (12)

1.一种人脸识别方法，其特征在于，包括以下步骤：

采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像；

对采集得到的每一波段的训练图像进行归一化，并进行mask和光照的预处理；

从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征；

基于稀疏正则化方法对提取到的每一波段的人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标；

把得到的每一波段的人脸图像新特征组合成第一特征集，再基于稀疏正则化方法对所述第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标；

采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像；

对采集得到的每一波段的测试图像进行归一化，并进行mask和光照的预处理；

从经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征；

根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征；

将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集，根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集；

采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离，所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。

2.如权利要求1所述的人脸识别方法，其特征在于，所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。

3.如权利要求2所述的人脸识别方法，其特征在于，所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。

4.如权利要求2所述的人脸识别方法，其特征在于，所述全局特征为PCA或LDA。

5.如权利要求1所述的人脸识别方法，其特征在于，采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的步骤中，

采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头配置为同轴，且距离相近，各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。

6.如权利要求1所述的人脸识别方法，其特征在于，所述光照的预处理为Gamma校正或retina filter。

7.一种人脸识别系统，其特征在于，包括：

第一采集模块，用于采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像；

第一处理模块，用于对采集得到的每一波段的训练图像进行归一化，并进行mask和光照的预处理；

第一特征模块，用于从经过归一化和预处理的每一波段的训练图像中提取该波段的第一人脸图像特征；

第一新特征模块，用于基于稀疏正则化方法对提取到的每一波段的第一人脸图像特征进行评价与选择得到降维后的每一波段的人脸图像的新特征和对应的新特征评价指标；

第二特征集模块，用于把得到的每一波段的人脸图像的新特征组合成第一特征集，再基于稀疏正则化方法对所述第一特征集进行评价、选择与融合构成最终表达人脸的第二特征集和对应的第二特征评价指标；

第二采集模块，用于采集待测试人的可见光、近红外、中红外、远红外和热红外的多波段的测试图像；

第二处理模块，用于对采集得到的每一波段的测试图像进行归一化，并进行mask和光照的预处理；

第二特征模块，用于经过归一化和预处理的每一波段的测试图像中提取该波段的第二人脸图像特征；

第二新特征模块，用于根据所述新特征评价指标从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征；

第一结果模块，用于将从所述第二人脸图像特征得到降维后的每一波段的人脸图像的新特征组合成第三特征集，根据所述第二特征评价指标从所述第三特征集获得最终表达所述待测试人的人脸的第二特征集；

第二结果模块，用于采用最近邻分类器依次计算所述待测试人的人脸的第二特征集与人脸图像测试库中每个人脸图像之间的距离，所得最小距离的人脸图像测试库中的人脸图像的所属人即为分类结果。

8.如权利要求7所述的人脸识别系统，其特征在于，所述第一人脸图像特征和第二人脸图像特征为局部特征和/或全局特征。

9.如权利要求7所述的人脸识别系统，其特征在于，所述局部特征为LBP、LBP各种改进算子、Gabor、POEM、LDP中的任一种。

10.如权利要求7所述的人脸识别方法，其特征在于，所述全局特征为PCA或LDA。

11.如权利要求7所述的人脸识别系统，其特征在于，所述第一采集模块和第二采集模块分别为采集可见光、近红外、中红外、远红外和热红外的多波段的训练图像和测试图像的近红外、中红外、远红外和热红外摄像头，所有摄像头配置为同轴，且距离相近，各摄像头之间的采集时间间隔在相互之间不被影响的前提下设置得尽量小。

12.如权利要求7所述的人脸识别方法，其特征在于，所述第一处理模块和第二处理模块采用Gamma校正或retina filter方法进行所述光照的预处理。

Images