CN101303730A - 基于分类器集成的人脸识别系统及其方法 - Google Patents

Abstract

本发明公开了一种基于分类器集成的人脸识别系统及其方法，其目的是通过求解多个子分类器的加权系数集成多个子分类器输出，以获得对人脸识别系统较好的识别率。整个系统包括训练系统和分类系统两部分，其中训练系统完成：对人脸图像进行特征提取，选择多个有后验概率输出的子分类器，输入不同的训练样本到子分类器中训练，获得原始训练样本的后验概率，采用线性规划优化求得各个子分类器的加权系数；分类系统完成：输入特征提取后的待分类样本到训练后的子分类器中，得到待分类样本的后验概率，并通过该后验概率和子分类器加权系数设计分类规则，输出分类结果。本发明具有识别率高的优点，可用于机器学习和模式识别范畴内的人脸识别。

Description

基于分类器集成的人脸识别系统及其方法

技术领域

本发明属于图像处理技术领域，特别是涉及人脸的识别，可用于公共安全，信息安全，金融安全的监督和防护。

背景技术

人脸识别是比较容易为人们所接受的非侵犯性识别手段，从而成为备受计算机视觉与模式识别等领域关注的热点问题。人脸识别技术的目的是赋予计算机根据人的面孔辨别人物身份的能力。人脸识别作为个科学问题，是一个典型的图像模式分析，理解与分类的计算机问题，它涉及模式识别，计算机视觉，智能人机交互，图形学，认知科学等多个学科。作为生物特征识别关键技术之一的人脸识别技术在公共安全，信息安全，金融等领域具有潜在的应用前景。在人脸识别技术中，高精度核心识别算法是问题的关键，设计识别系统的最终目的是为了得到好的识别率。传统的方法是设计不同的分类器来实现人脸识别这个目的，在识别系统中的分类器的作用是：根据特征提取器得到的特征向量来给一个被测样本赋一个类别标记，从而达到分类的目的。由于不同分类器的错分样本不一定都相同，因而可对分类器进行融合，以产生更好的性能。大量的研究表明，集成多个子分类器是提高识别率一种有效手段。用这种手段可以实现对人脸的识别。

现有的分类器输出集成方法主要有：英国的J.Kittler等人在1998年论文中总结了分类器输出集成的方法。该方法提出，如果单个分类器的输出能表示成后验概率的形式，则可以采用乘积规则、和规则、最大规则、最小规则和中值规则来对多个子分类器的结果进行集成，这些规则是属于非线性的集成方式，在应用中比较复杂。而在实际应用中线性集成的方式是最为常见的，其中简单投票规则是常用的线性集成方式之一，为此意大利的G.Fumera等人在2005年对简单投票和加权投票方法进行了比较，指出如果单个分类器有相同的性能而且对估计误差有相同的相关性，则简单平均投票是最优的规则。否则，加权投票规则会优于简单平均投票规则。关于如何寻找权系数，J.A.Benediktsson等人于1997年和M.P.Perone等人在1993年提出了用回归估计的方式来求解权系数，但这些方法不适用于分类问题。N.Ueda在2000年针对分类问题，设计了基于最小分类误差原则的线性加权方法。该方法的目标函数是非线性的，从理论上存在着局部极值点，而且求解目标函数所采用的梯度下降方法在很大程度上依赖于初始权值的选择，如果初始权值选择不好，将会降低分类器的识别率，导致人脸识别系统性能的恶化。

发明的内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于分类器集成的人脸识别系统及其方法，以提高集成分类器的识别率，改善人脸识别系统的性能。

为实现上述目的，本发明的技术方案是：

一.基于分类器集成的人脸识别系统，包括：

原始人脸图像特征提取模块，用于对输入到计算机中的原始人脸图像进行特征提取，获取c类个有标识的原始训练样本集；

待分类人脸图像特征提取模块，用于对输入到计算机中的待分类人脸图像进行特征提取，获取待分类样本x∈Rⁿ；

训练模块，用于选择有后验概率输出的N个子分类器，并根据原始训练样本集对其进行训练，获得关于原始训练样本集的后验概率P_j(ω_k|x_i)，x_i表示第i个训练样本，ω_k表示第k个类别；

子分类器加权系数计算模块，用于根据后验概率P_j(ω_k|x_i)，通过线性规划求解各个子分类器的加权系数α_j，并输出到集成模块；

子分类器分类模块，用于将待分类样本输入到训练过程中训练好的N个子分类器中，获得待分类样本的后验概率P_j(ω_k|x)；

集成模块，用于根据训练过程得到的加权系数α_j和待分类的后验概率P_j(ω_k|x)设计分类规则，并根据该分类规则得到分类结果；

分类结果输出模块，用于将待分类样本的分类结果以类别标识的形式输出，并在计算机显示屏上显示。

二、基于分类器集成的人脸识别训练方法，包括如下过程：

提取输入到计算机中的原始人脸图像特征，获取c类个有标识的原始训练样本集：{(x_i，y_i)|x_i∈Rⁿ，y_i∈{1，2，…，c}，i＝1，…，l}，其中：x_i表示n维实数空间中的一个样本，y_i是其标识，在1到c之间的正整数中取值，如果y_i＝k，则表示x_i∈ω_k类，l为样本的个数；

选择有后验概率输出的N个子分类器，并根据原始训练样本集对其进行训练，获得关于原始训练样本集的后验概率P_j(ω_k|x_i)，该式表示第j个子分类器关于x_i样本属于ω_k类的后验概率，其中j＝1，…，N，k＝1，…，c，i＝1，…，l；

根据后验概率P_j(ω_k|x_i)，通过线性规划求解各个子分类器的加权系数α_j，其求解公式为：

$\underset{\mathrm{\α},\mathrm{\ξ}}{\min }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j+C\underset{q=1}{\overset{l(c-1)}{\mathrm{\Σ}}}{\mathrm{\ξ}}_q$

subject to $\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j(P_j\left({\mathrm{\ω}}_m\right|x_i)-P_j\left({\mathrm{\ω}}_k\right|x_i))\right]1(x_i\∈{\mathrm{\ω}}_m)\≥-{\mathrm{\ξ}}_q$

ξ_q≥0，α_j≥0，i＝1，…，l，j＝1，…，N，k≠m，k＝1，…，c

q＝1，2，…，l(c-1)

式中，j＝1，…，N；C是折中系数，ξ_q是松弛变量，

是容量控制项，

是经验风险项；

将各个子分类器的加权系数α_j输出到分类系统。

三、基于分类器集成的人脸识别分类方法，包括如下过程：

提取输入到计算机中的待分类人脸图像特征，获取待分类样本x∈Rⁿ；

将待分类样本输入到训练过程中训练好的N个子分类器中，获得待分类样本的后验概率P_j(ω_k|x)，j＝1，…，N，k＝1，…，c；

根据训练过程得到的加权系数α_j和待分类的后验概率P_j(ω_k|x)设计分类规则，该模块所设定的分类规则为：

如果 $\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{P}_j\left({\mathrm{\ω}}_m\right|x)=\underset{k=\mathrm{1,2},\·\·\·,c}{\max }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{P}_j\left({\mathrm{\ω}}_k\right|x),$ 则x∈ω_m类，m∈{1，2，…，c}代表不同的类别，其类别标识为y＝m。

将待分类样本的分类结果以类别标识的形式输出，并在计算机显示屏上显示。

本发明由于在训练系统中通过子分类器加权系数计算模块得到子分类器加权系数是全局最优的，从而保证了整个分类系统对待分人脸图像较高的识别率。仿真结果表明，在对360幅图像重复进行30次训练和分类的条件下，本发明的平均识别率比现有的Ueda线性加权方法的平均识别率高3.54％。

附图说明

图1是本发明的虚拟系统框图；

图2是本发明的训练过程流程图；

图3是本发明的分类过程流程图。

具体实施方式

参照图1，本发明的人脸识别系统包括训练系统和分类系统两部分，其中训练系统由原始人脸图像特征提取模块、训练模块、子分类器加权系数计算模块和训练结果输出模块组成。分类系统由待分类人脸图像特征提取模块、子分类器分类模块、集成模块和分类结果输出模块组成。其工作原理为：

原始人脸图像特征提取模块对输入到计算机中的原始人脸图像进行特征提取，获取c类个有标识原始训练样本集：{(x_i，y_i)|x_i∈Rⁿ，y_i∈{1，2，…，c}，i＝1，…，l}，其中：x_i表示n维实数空间中的一个样本，y_i是其标识，在1到c之间的正整数中取值，如果y_i＝k，则表示x_i∈ω_k类，l为样本的个数，该原始训练样本集输送给训练模块。训练模块，首先选择有后验概率输出的N个子分类器，然后根据原始训练样本集对这些子分类器进行训练，获得关于原始训练样本集的后验概率P_j(ω_k|x_i)，式中，x_i表示第i个训练样本，ω_k表示第k个类别，j＝1，…，N，k＝1，…，c，i＝1，…，l，每个子分类器的训练样本是通过对原始训练样本集的特征进行随机采样生成的，并且每个子分类器的特征数是相同的。子分类器加权系数计算模块，根据后验概率P_j(ω_k|x_i)，通过线性规划求解各个子分类器的加权系数α_j，其求解公式为：

$\underset{\mathrm{\α},\mathrm{\ξ}}{\min }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j+C\underset{q=1}{\overset{l(c-1)}{\mathrm{\Σ}}}{\mathrm{\ξ}}_q$

subject to $\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j(P_j\left({\mathrm{\ω}}_m\right|x_i)-P_j\left({\mathrm{\ω}}_k\right|x_i))\right]1(x_i\∈{\mathrm{\ω}}_m)\≥-{\mathrm{\ξ}}_q$

ξ_q≥0，α_j≥0，i＝1，…，l，j＝1，…，N，k≠m，k＝1，…，c

q＝1，2，…，l(c-1)

式中，j＝1，…，N；

C是折中系数，ξ_q是松弛变量，是容量控制项，是经验风险项。该加权系数α_j的具体计算可以调用已有的工具包来实现，比如调用Matlab中的线性规划函数，即可求得线性规划问题的最优解α_j。得到各个子分类器的加权系数α_j后，输出到分类系统中的集成模块作为后续分类的一个输入参数。

分类系统的待分类人脸图像特征提取模块，对输入到计算机中的待分类人脸图像进行特征提取，获取待分类样本x∈Rⁿ，并输出给子分类器分类模块，其中待分类样本不能出现在训练样本集中。子分类器分类模块，将该待分类样本再输入到训练模块中已经训练好的N个子分类器中，获得待分类样本的后验概率P_j(ω_k|x)，并输出给集成模块。集成模块，根据训练系统得到的权系数α_j和待分类的后验概率P_j(ω_k|x)设计分类规则并获得分类结果，该模块所设定的分类规则为：如果 $\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{P}_j\left({\mathrm{\ω}}_m\right|x)=\underset{k=\mathrm{1,2},\·\·\·,c}{\max }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{P}_j\left({\mathrm{\ω}}_k\right|x),$ 则x∈ω_m类，m∈{1，2，…，c}代表不同的类别，其分类结果可用类别标识y＝m表示，并通过分类结果输出模块在计算机显示屏上显示。

上述整个人脸识别系统中的各个模块均通过计算机程序实现其功能，完成对人脸图像的识别。

参照图2，对本发明实现人脸识别的训练实施过程进行如下详细描述：

该实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例采用了一个公用的人脸数据库——UMIST数据库。在该数据库中共有574幅20个不同的人脸图像。这个图像库是一个多视角，具有从侧面到正面的不同姿态人脸的数据库，其训练过程是：

步骤1，对原始人脸图像进行特征提取，获取c类有标识的原始训练样本集：{(x_i，y_i)|x_i∈Rⁿ，y_i∈{1，2，…，c}，i＝1，…，l}，其中：x_i表示n维实数空间中的一个样本，y_i是其标识，在1到c之间的正整数中取值，如果y_i＝k，则表示x_i∈ω_k类，l为样本的个数；特征提取是指对图像进行主分量分析或下采样或各种变换。

原始的人脸图像的大小均为112×92，这里特征提取方法采用了下四采样方法，采样后每幅图像的大小为n＝28×23。

由于每个类别拥有的样本个数有多有少，最少的为19幅。对每个类别随机抽取18个样本，则整个数据集大小为360幅图像。仿真时对每类人脸从18个中随机选取5个样本作为训练样本，其余的13个作为测试样本。这样形成了一组训练-测试样本集。这里训练样本的参数n、c和l的取值分别为n＝644，c＝20和l＝100。

步骤2，选择有后验概率输出的分类器，并设定子分类器的个数N，设计子分类器；分类器的选择可以有神经网络或支持向量机或K近邻或判别方法或决策树或贝叶斯决策分类器。设计子分类器是指给子分类器设计不同的训练集合，其方法采用对原始训练集直接随机采样或对原始训练集的特征进行随机采样，使得子分类器具有多样性。

在实施过程中，选择了K近邻分类器，这是一种非参数学习模型，而且由于K近邻分类器本身不是具有概率输出的，所以要对其输出进行处理，以获得概率输出的形式。具体处理过程为：对某个训练或待分类样本x′在训练样本中找到其K个近邻，如果在这K个近邻中属于ω_k类的训练样本为K_k，则 $K={\mathrm{\Σ}}_{k=1}^c{K}_k.$ 用P(ω_k|x′)＝K_k/K来表示K近邻分类器关于x′的后验概率。这里设定分类器个数N＝100，而近邻个数K当成一个可变的参数。在实验中K的变化范围为{3，4，5}。对每个子分类器其训练样本是采用对原始训练集的特征进行随机采样，每个子分类器的特征数是相同的。这里把特征数也当成是一个可变的参数，变化范围为{2³，2⁴，2⁵，2⁶}。

步骤3，训练N个子分类器，并获得各个子分类器关于原始训练样本的后验概率P_j(ω_k|x_i)，式中，x_i表示第i个样本，ω_k表示第k个类别，j＝1，…，N，k＝1，…，c，i＝1，…，l；

步骤4，通过线性规划求得各个子分类器加权系数α_j，j＝1，…，N。

线性规划的形式为：

$\underset{\mathrm{\α},\mathrm{\ξ}}{\min }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j+C\underset{q=1}{\overset{l(c-1)}{\mathrm{\Σ}}}{\mathrm{\ξ}}_q$

subject to $\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j(P_j\left({\mathrm{\ω}}_m\right|x_i)-P_j\left({\mathrm{\ω}}_k\right|x_i))\right]1(x_i\∈{\mathrm{\ω}}_m)\≥-{\mathrm{\ξ}}_q$

ξ_q≥0，α_j≥0，i＝1，…，l，j＝1，…，N，k≠m，k＝1，…，c

q＝1，2，…，l(c-1)

其中

C是折中系数，ξ_q是松弛变量和α_j是第j个分类器的加权系数。

在目标函数 $\underset{\mathrm{\α},\mathrm{\ξ}}{\min }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j+C\underset{q=1}{\overset{l(c-1)}{\mathrm{\Σ}}}{\mathrm{\ξ}}_q$ 中，第一项是容量控制项，第二项是经验风险项，该目标函数的最小化体现了结构风险最小化原则。线性规划的求解可以调用已有的工具包来实现，比如调用Matlab中的线性规划函数，即可求得线性规划问题的最优解α_j。

参照图3，对本发明实现人脸识别的分类实施过程进行如下详细描述：

步骤A，对待分类的人脸图像进行特征提取，获取待分类样本x∈Rⁿ，并将其输入到训练过程中训练好的N个子分类器中；这里的特征提取和训练过程中的特征提取方式是一致的；

在本实施例中待分类样本也被称为是测试样本，不能出现在训练样本集中。

步骤B，采用与训练过程相同的方法获得对待分类样本的后验概率P_j(ω_k|x)，j＝1，…，N，k＝1，…，c；

步骤C，输出对待分类样本的分类结果；分类规则为：

如果 $\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{P}_j\left({\mathrm{\ω}}_m\right|x)=\underset{k=\mathrm{1,2},\·\·\·,c}{\max }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{P}_j\left({\mathrm{\ω}}_k\right|x),$ 则x∈ω_m类，即其标识为y＝m。

本发明的效果可以通过以下仿真数据进一步说明：

1、仿真条件与内容

对UMIST数据集都按照上述具体实施过程获取训练-分类样本集的方式进行仿真，生成30组随机的训练-分类样本集，重复上述训练和分类过程30次，并计算其平均识别率。几种方法的仿真是在相同的实验环境下进行的。

2、仿真结果

在重复上述训练和分类过程30次中，记录下每次仿真得到的识别率，并计算其平均识别率，如表1所示。表1中的“K近邻方法”是没有采用集成的分类器；集成方法中，均采用了100个子分类器，“简单投票”指的是权值都取为1/100，以及“Ueda线性加权”采用的是N.Ueda在2000年针对分类问题设计的最优线性加权方法进行的仿真。

表1.识别性能比较

从表1的仿真结果可以看出，集成方法的识别率高于没有集成的方法，而且在这些集成方法中，本发明方法的平均识别率要高于简单投票和Ueda等人提出的最优线性加权方法。

Claims (5)

1、一种基于分类器集成的人脸识别系统，包括：

原始人脸图像特征提取模块，用于对输入到计算机中的原始人脸图像进行特征提取，获取c类个有标识的原始训练样本集；

待分类人脸图像特征提取模块，用于对输入到计算机中的待分类人脸图像进行特征提取，获取待分类样本x∈Rⁿ；

训练模块，用于选择有后验概率输出的N个子分类器，并根据原始训练样本集对其进行训练，获得关于原始训练样本集的后验概率P_j(ω_k|x_i)，x_i表示第i个训练样本，ω_k表示第k个类别；

子分类器加权系数计算模块，用于根据后验概率P_j(ω_k|x_i)，通过线性规划求解各个子分类器的加权系数α_j，并输出到集成模块；

子分类器分类模块，用于将待分类样本输入到训练过程中训练好的N个子分类器中，获得待分类样本的后验概率P_j(ω_k|x)；

集成模块，用于根据训练过程得到的权系数α_j和待分类的后验概率P_j(ω_k|x)设计分类规则，并根据该分类规则得到分类结果；

分类结果输出模块，用于将待分类样本的分类结果以类别标识的形式输出，并在计算机显示屏上显示。

2、根据权利要求1所述的人脸识别系统，其特征在于，子分类器加权系数计算模块按照线性规划计算加权系数，该目标函数的最小化体现了结构风险最小化原则，求解的加权系数是全局最优的，采用如下公式：

$\underset{\mathrm{\α},\mathrm{\ξ}}{\min }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j+C\underset{q=1}{\overset{l(c-1)}{\mathrm{\Σ}}}{\mathrm{\ξ}}_q$

subject to $\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j(P_j\left({\mathrm{\ω}}_m\right|x_i)-P_j\left({\mathrm{\ω}}_k\right|x_i))\right]1(x_i\∈{\mathrm{\ω}}_m)\≥-{\mathrm{\ξ}}_q$

ζ_q≥0，α_j≥0，i＝1，...，l，j＝1，…，N，k≠m，k＝1，…，c

q＝1，2，…，l(c-1)

式中，

C是折中系数，ζ_q是松弛变量和α_j是第j个分类器的加权系数，

是容量控制项，

是经验风险项。

3、根据权利要求1所述的人脸识别系统，其特征在于，集成模块设计的分类规则为：如果 $\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{P}_j\left({\mathrm{\ω}}_m\right|x)=\underset{k=\mathrm{1,2},\·\·\·,c}{\max }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{P}_j\left({\mathrm{\ω}}_k\right|x),$ 则x∈ω_m类，m∈{1，2，…，c}代表不同的类别，其分类结果可用类别标识y＝m表示。

4、一种基于分类器集成的人脸识别训练方法，包括如下过程：

提取输入到计算机中的原始人脸图像特征，获取c类个有标识原始训练样本集：{(x_i，y_i)| x_i∈Rⁿ，y_i∈{1，2，…，c}，i＝1，...，l}，其中：x_i表示n维实数空间中的一个样本，y_i是其标识，在1到c之间的正整数中取值，如果y_i＝k，则表示x_i∈ω_k类，l为样本的个数；

选择有后验概率输出的N个子分类器，并根据原始训练样本集对其进行训练，获得关于原始训练样本集的后验概率P_j(ω_k|x_i)，该式表示第j个子分类器关于x_i样本属于ω_k类的后验概率，其中j＝1，…，N，k＝1，…，c，i＝1，...，l；

根据后验概率P_j(ω_k|x_i)，通过线性规划求解各个子分类器的加权系数α_j，其求解公式为：

$\underset{\mathrm{\α\ξ}}{\min }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j+C\underset{q=1}{\overset{l(c-1)}{\mathrm{\Σ}}}{\mathrm{\ξ}}_q$

subject to $\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j(P_j\left({\mathrm{\ω}}_m\right|x_i)-P_j\left({\mathrm{\ω}}_k\right|x_i))\right]1(x_i\∈{\mathrm{\ω}}_m)\≥-{\mathrm{\ξ}}_q$

ζ_q≥0，α_j≥0，i＝1，...，l，j＝1，…，N，k≠m，k＝1，…，c

q＝1，2，…，l(c-1)

式中，j＝1，…，N；

C是折中系数，ζ_q是松弛变量，

是容量控制项，

是经验风险项；将各个子分类器的加权系数α_j输出到分类系统。

5、一种基于分类器集成的人脸识别分类方法，包括如下过程：提取输入到计算机中的待分类人脸图像特征，获取待分类样本x∈Rⁿ；将待分类样本输入到训练过程中训练好的N个子分类器中，获得待分类样本的后验概率P_j(ω_k|x)，j＝1，…，N，k＝1，…，c；

根据训练过程得到的权系数α_j和待分类的后验概率P_j(ω_k|x)设计分类规则，该模块所设定的分类规则为：

如果 $\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{P}_j\left({\mathrm{\ω}}_m\right|x)=\underset{k=\mathrm{1,2},\·\·\·,c}{\max }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{P}_j\left({\mathrm{\ω}}_k\right|x),$ 则x∈ω_m类，m∈{1，2，…，c}代表不同的类别，其类别标识为y＝m；

将待分类样本的分类结果以类别标识的形式输出，并在计算机显示屏上显示。

Images