CN103035050A - 一种用于复杂人脸识别门禁系统的高精度人脸识别方法 - Google Patents

Abstract

本发明公开了一种用于复杂人脸识别门禁系统的高精度人脸识别方法；属于人脸图像处理领域。该方法包含如下步骤：人脸向量归一化；代价敏感的人脸特征降维；模型预测。本发明采用代价敏感的人脸特征降维，对门禁系统中不同种类的错分赋予不同的错分代价，提取的特征满足最小贝叶斯风险准则，提高了提取特征的判别能力，进而，提高了识别的精度；此外，代价敏感的人脸特征降维对门禁系统中存在的噪声、类别不平衡以及不同类数据分布密度问题具有鲁棒性，因此具有较高的使用价值。

Description

一种用于复杂人脸识别门禁系统的高精度人脸识别方法

技术领域

本发明属于人脸图像处理领域，特别涉及一种用于复杂人脸识别门禁系统的高精度人脸识别方法。

背景技术

随着科学技术的发展，人脸识别技术取得了飞速的发展和广泛的应用，吸引了大量学者的关注。传统的人脸识别方法通常追求最小的识别错误率，即假设不同错分所带来的损失是相同的。然而，在许多真实的人脸识别应用中，这一假设往往是不成立的，不同错分所带来的损失是不同的。例如，在人脸识别的门禁系统中，存在入侵者类I和合法者类G_i，i＝1，2...，c-1，一般而言，将入侵者错分成合法者的损失往往要大于将合法者错分成入侵者的损失，而将合法者错分成入侵者的损失又要大于将合法者错分成其他合法者的损失。

人脸识别门禁系统除了存在不同错分损失问题，同时也存在噪声、类别不平衡、以及不同类数据分布密度问题。在门禁系统中，一般存在两种类别不平衡：入侵者类的样本数和整体合法者类的样本一般是不相同的，入侵者类的样本数和某一合法者类的样本数一般是不相同的。同时，在人脸数据集中可能存在着类中心远离其他类中心的噪声样本，该噪声样本会影响分类器的分类平面以及降维算法中其他类对投影方向的贡献。此外，由于入侵者类是由多个入侵者类构成的混合类，因此入侵者类的类数据分布密度和某一合法者类的类数据分布密度一般是不相同的。

针对人脸识别门禁系统中存在的不同错分损失问题，现有方法是将人脸识别门禁系统看作一个代价敏感的学习问题，对不同的错分赋予不同的错分代价。由于人脸识别的门禁系统最终可以归为一个分类问题，许多学者将错分代价融入传统的分类算法中，使得修改后的分类模型满足最小贝叶斯风险准则，提高了分类精度；又由于人脸是一个高维数据问题，为了提高分类效率以及去除冗余特征，我们通常采用先降维后分类的识别方式，如果仅将错分代价融入到分类部分，那么在人脸数据降维部分将丢失大量的代价信息，使得最终的分类模型只能得到局部最优的解。因此，有些学者将代价信息融入到降维部分，提出了代价敏感的降维算法，取得了比将代价信息融入到分类部分更优的识别效果。

然而，现有的代价敏感降维算法不能从理论上保证所提出的模型满足最小贝叶斯风险准则，也没有考虑人脸识别门禁系统的复杂性，即存在噪声、类别不平衡以及不同类数据分布密度问题。

发明内容

发明目的：本发明为了解决人脸识别门禁系统中存在的不同错分损失问题、噪声、类别不平衡以及不同类数据分布密度问题，提出了一种用于复杂人脸识别门禁系统的高精度人脸识别方法，从而有效的将入侵者拒之门外，而允许合法者进入。

发明内容：本发明公开了一种用于复杂人脸识别门禁系统的高精度人脸识别方法，所述复杂人脸识别门禁系统指的是存在不同错分损失、噪声、类别不平衡以及不同类数据分布密度问题的门禁系统，包含如下步骤：

步骤1，人脸向量归一化；

步骤2，代价敏感的人脸特征降维：采用基于代价敏感线性判别分析的特征提取方法；

步骤3，模型预测：重复步骤1和2，得到投影后的训练样本以及待验证样本，根据投影后的训练样本训练分类模型，并采用该分类模型预测投影后的待验证样本。

步骤2代价敏感的人脸特征降维包括如下步骤：

①设置错分代价矩阵C，定义合法者错分成其他合法者的代价C_GG，合法者错分成入侵者的代价C_GI，以及入侵者错分成合法者的代价C_IG；

②计算代价敏感的类内协方差矩阵

其中

是第i类的类内协方差矩阵，f(i)是定义的重要性函数，用于降低不同错分损失、类别不平衡和不同类数据分布密度对类内协方差矩阵S_W的影响；

③近似成对贝叶斯风险，引入加权函数ω，使得LDA(Linear Discriminant Analysis，LDA)模型近似成对贝叶斯风险，其中，LDA模型为：

$\underset{V}{\max }:\underset{i=1}{\overset{c-1}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{c}{\mathrm{\Σ}}}{p}_i{p}_j\mathrm{tr}\left(V^T{S}_W^{-1/2}{S}_{\mathrm{ij}}{S}_W^{-1/2}V\right)$

其中p_i，p_j是第i，j类的类先验概率，S_ij＝(m_i-m_j)(m_i-m_j)^T是由第i类均值m_i和第j类均值m_j度量的类间协方差矩阵；

④矩阵特征分解，计算特征分解矩阵

的特征值和特征向量；

⑤提取特征向量，将求得的特征值按降序排序，选择前d个最大特征值对应的特征向量V＝[v₁，v₂，...，v_d]；

⑥计算最终的投影矩阵

上述步骤③近似成对贝叶斯风险具体包含如下步骤：

步骤31，计算维数为1维下的成对贝叶斯风险其中p_i，p_j是第i，j类的类先验概率，A_ij(W)是第i，j类考虑了类别不平衡以及错分代价的贝叶斯准确率；

步骤32，化简A_ij(W)，得到退化后的成对贝叶斯风险；

步骤33，在维数为1维下，找到加权函数ω，使得LDA模型近似成对贝叶斯风险；

步骤34，在维数为d维下，找到加权函数ω，使得LDA模型近似成对贝叶斯风险。

本发明是专门针对人脸识别门禁系统而提出的人脸识别方法。与现有技术相比，本发明具有以下特征：

首先，本发明对门禁系统中不同的错分赋予不同的错分代价，设计的模型满足最小贝叶斯风险准则，提高了提取的人脸特征的判别能力，从而提高了识别的效果；

然后，本发明将错分代价融入到人脸识别的降维部分，避免了代价信息在降维部分的丢失，有效提高了分类器的识别效果；

再者，本发明在特征提取的过程中，专门考虑了门禁系统中存在的噪声、类别不平衡、以及不同类数据分布密度问题，更接近实际应用环境，具有更高的使用价值。

附图说明

图1为本发明整体流程图。

图2为本发明中代价敏感的人脸特征提取步骤子流程图。

图3为本发明中近似成对贝叶斯风险步骤子流程图。

具体实施方式

以下结合附图说明本发明的具体实施方式。

如图1所示，本发明公开了一种用于复杂人脸识别门禁系统的高精度人脸识别方法，需要说明的是，本发明的核心步骤是代价敏感的人脸特征降维，具体实施方式的描述主要侧重于步骤2，步骤1以及步骤3可采用现有技术实现。

1.人脸向量归一化：

归一化是图像预处理中最重要的内容之一，是一种简化计算的方式，对平移、旋转、缩放等仿射变换具有不变性，是获得高识别率的基础保障。给定人脸向量x，采用公式

将人脸向量归一到单位向量

2.代价敏感的人脸特征降维：

在人脸识别门禁系统中，不同错分的损失是不同的，并且存在着噪声、类别不平衡以及不同类数据分布密度问题。

为了解决门禁系统中的不同错分损失问题，许多学者提出了代价敏感的分类器；然而，人脸识别是一个高维数据问题，为了提高分类性能，通常采用先降维后分类的识别方式。而，现有代价敏感分类器，仅将代价信息融入到了分类部分，这将在降维部分丢失大量的代价信息，从而导致分类器只能得到局部最优的分类结果，降低了识别效果。因此，有学者将代价信息融入到降维部分，提出了代价敏感的降维算法，取得了比代价敏感分类器更优的识别效果。

然而，现有的将代价敏感的降维算法不能从理论上保证所提出的模型满足最小贝叶斯风险准则，也没有考虑人脸识别门禁系统的复杂性，即存在噪声、类别不平衡以及不同类数据分布密度问题。为此，本发明针对存在不同错分损失、噪声、类别不平衡以及不同类数据分布密度问题的复杂人脸识别门禁系统，采用代价敏感线性判别分析的方法，提取人脸特征，不仅能够有效解决门禁系统中存在的不同错分损失问题，而且能够解决门禁系统中存在的噪声、类别不平衡以及不同类数据分布密度问题。

给定训练样本集X_D×N＝[x₁，x₂，...，x_N]，D，N分别表示样本的维数和个数，样本标签Y＝[y₁，y₂，...，y_N]，训练样本集中类别数为c，其中有c-1个合法者类G_i，i＝1，...，c-1，以及入侵者类I。代价敏感的人脸特征降维希望寻找到能够处理存在不同错分损失、噪声、类别不平衡以及不同类数据分布密度问题的投影向量W_D×d。如图2所示，代价敏感的人脸特征降维过程如下：

①设置错分代价矩阵C，如表1所示，训练集的类别数为c，由合法者类G_i，i＝1，2，...，c-1，入侵者类I构成，将合法者错分成其他合法者的代价C_GG，将合法者错分成入侵者的代价C_GI，将入侵者错分成合法者的代价C_IG，这里错分代价矩阵可由门禁系统的使用者自主设置或者由领域专家设置，本发明的实验结果表明，对于不同设置的错分代价矩阵，本发明都能获得较高识别效果；

表1错分代价矩阵C

	G1	...	Gc-1	I
					G1	0	...	CGG	CGI
...
					Gc-1	CGG	...	0	CGI
I	CIG	...	CIG	0

②计算代价敏感的类内协方差矩阵

其中

是第i类的类内协方差矩阵，f(i)是定义的重要性函数，用于降低不同错分损失、类别不平以及不同类数据分布密度对类内协方差矩阵S_W的影响，f(i)函数通过以下公式计算得到：

$f\left(i\right)=\left\{\begin{array}{c}((c-2)C_{\mathrm{GG}}+C_{\mathrm{GI}})/(N_i*\mathrm{tr}{\left(S_{\mathrm{Wi}}\right)}^{\mathrm{\α}}),\mathrm{if\; i}=\mathrm{1,2},...,c-1\\ (c-1)C_{\mathrm{IG}}/(N_i*\mathrm{tr}{\left(S_{\mathrm{Wi}}\right)}^{\mathrm{\α}}),\mathrm{otherwise}\end{array}\right.---\left(1\right)$

③近似成对贝叶斯风险，引入加权函数ω，使得LDA模型近似成对贝叶斯风险，其中，LDA模型为：

$\underset{V}{\max }:\underset{i=1}{\overset{c-1}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{c}{\mathrm{\Σ}}}{p}_i{p}_j\mathrm{tr}\left(V^T{S}_W^{-1/2}{S}_{\mathrm{ij}}{S}_W^{-1/2}V\right)---\left(2\right)$

其中p_i，p_j是第i，j类的类先验概率，S_ij＝(m_i-m_j)(m_i-m_j)^T是由第i类均值m_i和第j类均值m_j度量的类间协方差矩阵；

④矩阵特征分解，计算特征分解矩阵

的特征值和特征向量；

⑤提取特征向量，将求得的特征值按降序排序，选择前d个最大特征值对应的特征向量V＝[v₁，v₂，...，v_d]；

⑥计算最终的投影矩阵

如图3所示，步骤③近似成对贝叶斯风险具体包含如下步骤：

首先，计算维数为1维下的成对贝叶斯风险

其中p_i，p_j是第i，j类的类先验概率，A_ij(W)是第i，j类考虑了类别不平衡以及错分代价的贝叶斯准确率；

这里假设每一类都为高斯分布，且每一类的协方差矩阵相同∑₁＝∑₂＝...＝∑_c＝I，如果第i，j类分别为某个合法者类和入侵者类，那么P(i)＝C_ijp_i，P(j)＝C_jip_j，且P(i)＜P(j)，因此，可以求得

$A_{\mathrm{ij}}\left(W\right)=P\left(j\right)[\frac{1}{2}+\frac{1}{2}\mathrm{erf}(\frac{\ln \frac{P\left(j\right)}{P\left(i\right)}}{\sqrt{2}}\frac{1}{{\tilde{m}}_j-{\tilde{m}}_i}+\frac{{\tilde{m}}_j-{\tilde{m}}_i}{2\sqrt{2}})]+P\left(i\right)[\frac{1}{2}+\frac{1}{2}\mathrm{erf}(\frac{\ln \frac{P\left(i\right)}{P\left(j\right)}}{\sqrt{2}}\frac{1}{{\tilde{m}}_j-{\tilde{m}}_i}+\frac{{\tilde{m}}_j-{\tilde{m}}_i}{2\sqrt{2}})];$

然后，退化A_ij，得到简化的 ${\hat{A}}_{\mathrm{ij}}\left(W\right)=(P\left(i\right)+P\left(j\right))(\frac{1}{2}+\frac{1}{2}\mathrm{erf}\left(\frac{{\tilde{m}}_j-{\tilde{m}}_i}{2\sqrt{2}}\right)),$ 且

和的解一致；

再者，将加权函数

引入到LDA模型中，使得LDA模型 $\underset{V}{\max }:\underset{i=1}{\overset{c-1}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{c}{\mathrm{\Σ}}}{p}_i{p}_j\mathrm{\ω}\left({\mathrm{\Δ}}_{\mathrm{ij}}\right)\mathrm{tr}\left(V^T{S}_W^{-1/2}{S}_{\mathrm{ij}}{S}_W^{-1/2}V\right)$ 近似成对贝叶斯风险准则 $\underset{W}{\max }:J\left(W\right)=\underset{i=1}{\overset{c-1}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{c}{\mathrm{\Σ}}}{p}_i{p}_j{\hat{A}}_{\mathrm{ij}}\left(W\right),$ 并且两者在最优解处等价，这里由于erf函数具有抗噪性，因此引入ω(Δ_ij)的LDA模型同时对噪声也具有鲁棒性；

最后，由于特征分解矩阵

是对称矩阵，求得的特征向量正交，使得引入加权函数的LDA模型在投影后的每一维上都近似成对贝叶斯风险，即d维的投影向量可直接由矩阵

特征分解得到。

3.模型预测：

本发明采用KNN分类器(K＝3)进行模型预测。KNN分类器在模型预测时，不需要进行模型训练，而且算法简单易懂，时间复杂度低。因此，相比其他分类器算法，KNN分类器更具有实用性。本发明的模型预测过程如下：

①根据投影矩阵W，分别提取训练样本集X和待验证样本x_test的特征：W^TX，W^Tx_test；

②在投影后的训练样本集W^TX中寻找离W^Tx_test最近的K个样本；

③查看这K个样本的标签，将待验证样本x_test归为K个近邻中多数样本所属的类。

以上对本发明所提供的一种用于复杂人脸识别门禁系统的高精度人脸识别方法进行了详细介绍。值得注意的是，具体实现该技术方案的方法和途径有很多，以上所述仅是本发明的优选实施方式，只用于帮助理解本发明的方法及核心思想；同时，对于本领域的一般技术人员，在本发明核心思想的基础上，做出的修改和调整都将视为本发明的保护范围。综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应由所附的权利要求来限定。

Claims (3)

1.一种用于复杂人脸识别门禁系统的高精度人脸识别方法，其特征在于，包含如下步骤：

步骤1，人脸向量归一化；

步骤2，代价敏感的人脸特征降维：采用基于代价敏感线性判别分析的特征提取方法；

步骤3，模型预测：重复步骤1和2，提取人脸特征，训练分类模型，预测待验证的人脸图像。

2.如权利要求1所述的一种用于复杂人脸识别门禁系统的高精度人脸识别方法，其特征在于，所述基于代价敏感线性判别分析的特征提取方法包括以下步骤：

①设置错分代价矩阵C，定义合法者错分成其他合法者的代价C_GG，合法者错分成入侵者的代价C_GI，以及入侵者错分成合法者的代价C_IG；

②计算代价敏感的类内协方差矩阵其中

是第i类的类内协方差矩阵，f(i)是定义的重要性函数，用于降低不同错分损失、类别不平衡以及不同类数据分布密度对类内协方差矩阵S_W的影响；

③近似成对贝叶斯风险，引入加权函数ω，使得LDA模型近似成对贝叶斯风险，其中，LDA模型为：

$\underset{V}{\max }:\underset{i=1}{\overset{c-1}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{c}{\mathrm{\Σ}}}{p}_i{p}_j\mathrm{tr}\left(V^T{S}_W^{-1/2}{S}_{\mathrm{ij}}{S}_W^{-1/2}V\right)$

其中p_i，p_j是第i，j类的类先验概率，S_ij＝(m_i-m_j)(m_i-m_j)^T是由第i类均值m_i和第j类均值m_j度量的类间协方差矩阵；；

④矩阵特征分解，求解特征分解矩阵的特征值和特征向量；

⑤提取特征向量，将求得的特征值按降序排序，选择前d个最大特征值对应的特征向量V＝[v₁，v₂，...，v_d]；

⑥计算最终的投影矩阵

3.如权利要求2所述的一种用于复杂人脸识别门禁系统的高精度人脸识别方法，其特征在于，步骤③近似成对贝叶斯风险具体包括如下步骤：

步骤31，计算维数为1维下的成对贝叶斯风险

其中p_i，p_j是第i，j类的类先验概率，A_ij(W)是第i，j类考虑了类别不平衡以及错分代价的贝叶斯准确率；

步骤32，化简A_ij(W)，得到退化后的成对贝叶斯风险；

步骤33，在维数为l维下，找到加权函数ω，使得LDA模型近似成对贝叶斯风险；

步骤34，在维数为d维下，找到加权函数ω，使得LDA模型近似成对贝叶斯风险。

Images