CN101582113A - 一种具有身份的人脸图像分层比对识别方法 - Google Patents

Abstract

本发明公开了一种基于射频识别技术的具有身份的人脸图像分层比对识别方法，分为模型训练和比较识别两个阶段，在这两个阶段均对人脸图像进行归一化处理，并提取Gabor小波特征矢量；在模型训练阶段，分别按照加权模板比对模型训练方法和基于支持向量机的模型训练方法训练两个层次的分类器，在识别阶段，首先采用基于加权模板匹配的人脸比对算法进行第一级比对，若在第一级实现确定的输出，则识别比对工作结束，若第一级不能给出确定的输出结果，则进入下一级支持向量机分类器比对识别以确定最终结果。本发明对库中人脸图像能够保证97％以上的正确比对率，可解决海量图像搜索匹配耗时问题，对光照、人脸姿势和方向变化具有较高的容忍度。

Description

一种具有身份的人脸图像分层比对识别方法

技术领域

本发明涉及图像处理、模式识别、数据库和通讯互联等多项技术领域，尤其涉及基于射频识别技术的人脸图像识别方法。

背景技术

门禁和考勤系统对于现代居民小区、企业管理不可或缺，应用领域广泛。目前常用的门禁和考勤系统主要分为两种，一种是基于射频识别技术的非接触式智能卡考勤系统，该系统的缺陷是无法解决别人代打卡问题。第二种是基于人脸鉴别技术的门禁和考勤系统，近年来，生物识别具有便于携带、不会丢失、不会遗忘、不会被借用或盗用等特点被引起重视和广泛地应用，人脸识别技术作为生物识别技术中的一种，它具有直接、友好和方便的特点，易为用户所接受。

专利号为200610154996，公开了一种基于人脸鉴别技术的门禁和考勤装置，包括图像获取模块、人脸图像库、人脸检测定位模块、图像预处理模块、人脸训练模块以及人脸识别模块，其中，训练和识别模块采用主成分分析法，其缺陷是：

1、当人脸为正面位置时识别率尚可，但对于人脸姿势变化、光照变化等容忍度差，识别率低。

2、海量图像搜索匹配耗时，实时响应差。

3、仅对于考勤和门禁系统库中的人脸比对识别效果较好，而对于库外人员的拒绝效果不佳，导致库外人员容易被误识而进入。

发明内容

本发明的目的在于克服上述现有技术的缺陷，采用已有智能卡式门禁和考勤系统中能够通过IC卡精确提供被打卡人信息以及人脸识别式门禁和考勤系统中各模块，针对已有人脸识别式系统仅对于系统库中的人脸比对识别效果较好，而对于库外人员的拒绝效果不佳的问题，提供了一种基于加权模板匹配和SVM(支持向量机，下同)的识别率高、实时性好和鲁棒性强的具有身份的人脸图像实时分层比对识别方法。

本发明采用的技术方案如下：该方法分为模型训练和比较识别两个阶段，在这两个阶段均对人脸图像进行归一化处理，并提取Gabor小波特征矢量；在模型训练阶段，分别按照加权模板比对模型训练方法和基于支持向量机的模型训练方法训练两个层次的分类器，在识别阶段，首先采用基于加权模板匹配的人脸比对算法进行第一级比对，若在第一级实现确定的输出，则识别比对工作结束，若第一级不能给出确定的输出结果，则进入下一级支持向量机分类器比对识别以确定最终结果。

具体是依序采用如下步骤：采集非接触式射频卡中持卡者信息输入计算机；对带有卡号ID的待测人脸图像进行尺度归一化，并按5*5的网格提取Gabor小波特征矢量；计算人脸样本库中每个人脸的平均模板特征向量，并按贡献分析法得出各特征矢量的权重；计算每个ID号对应的人脸样本集中的人脸特征向量与平均模板特征向量之间的加权模板欧式距离；计算得出平均模板欧氏距离；由模板集中的模板与平均模板的最大加权欧氏距离确定其阈值δ1，δ2；确定支持向量机核函数；优化支持向量机参数；取人脸图像库中样本训练支持向量机；对带有卡号ID的待测人脸图像进行尺度归一化；按5*5网格提取该待测人脸图像的Gabor小波特征矢量；计算该待测人脸特征矢量与其持卡人的卡号对应的人脸平均模板特征矢量之间的欧氏距离S；计算S与该待测人脸的模板阈值δ1、δ2之差；若S＜δ1，输出该待测人脸与卡号ID相符；若S＞δ2，输出该待测人脸与卡号ID不相符；否则，将待测人脸的Gabor小波特征矢量输入SVM，得出库中最有可能的ID’；若ID＝ID’，输出该待测人脸与卡号ID相符；否则，输出该待测人脸与卡号ID不相符。

本发明提出了一种基于加权模板匹配和SVM的分层次人脸识别方法。该方法利用Gabor(中文译文为“伽柏”，下同)小波变换进行人脸图像特征提取，采用贡献分析法分析特征的贡献权重，在待测人脸图像比对识别时，首先采用加权模板匹配进行比对，通过两个阈值的判断，在既不能认为比对正确和不正确的情形下，再采用SVM和库中人脸图像进行识别比对，其有益效果是：

1、本发明通过对人脸图像灰度直方图的修正从而调整图像的均值和方差来完成灰度归一化处理，根据ID(即身份标识号码，下同)号确定库中的人脸图像，将它与抓拍到的并且预处理过的人脸图像进行分层次人脸比对，并根据比对的结果，进行报警、统计和相应的处理。对库中人脸图像能够保证97％以上的正确比对率(即通过率)，满足了可用性要求，有效降低了代打卡通过事件的发生概率。

2、本发明不仅对身份认证系统库中的人脸比对认证效果好，而且对库外人员也有较好否证正确率，将库外人员识别成其冒打卡的持卡人的错分概率控制在1％以内，验证速度随着库中人脸基数的增加而降低，维持在一至二秒之间。

3、本发明能够有针对性地进行人脸匹配识别，可解决海量图像搜索匹配耗时问题，对光照、人脸姿势和方向变化具有较高的容忍度，同时保持高识别率。

附图说明

下面结合附图和具体实施方式对本发明进一步详细说明。

图1是本发明模型训练阶段计算流程。

图2是本发明分层次人脸比对示意图。

图3是本发明比较识别阶段流程。

具体实施方式

本发明分为模型训练和比较识别两个阶段。在模型训练阶段分别按照加权模板比对模型训练方法和基于SVM的模型训练方法训练两个层次的分类器。在模型训练和识别阶段均需对样本人脸或待测人脸图像进行归一化处理，并按5*5的网格提取Gabor小波特征矢量，以用于模型训练和识别。

如图1，本发明采取了基于Gabor小波变换的脸图像特征提取方法。先采集非接触式射频卡中持卡者信息(卡号信息、人脸图像)输入计算机，再针对分割出来并归一化后的人脸图像，需要首先对其进行网格化处理，并对每一个网格做Gabor小波变换，变换后形成一个特征矢量，作为人脸图像在该网格处的特征。具体是对m(m≥1)个尺度归一的同一ID的人脸图像按5*5的网格提取Gabor小波特征矢量，采用5×5像素的矩形网格对人脸图像网格化时，所提取的特征细节足够表达信息，且不会产生很大的计算量，满足系统的实时性要求。

本发明分层次人脸比对方法中加权模板比对算法的模型训练方法是：首先计算人脸样本库中的每个人脸的平均模板特征向量，按照ID号取出对应的该每个人脸样本集中的模板，计算出取出样本的该每个人脸特征向量与对应的平均模板特征向量之间的加权欧氏距离，最后计算出平均欧氏距离。具体算法流程如下：

(1)计算人脸样本库中每个人脸的平均模板特征向量，取n(1≤n≤m)个人脸模板的特征矢量，求其平均模板特征矢量，并按贡献分析法得出各特征矢量的权重。

${\stackrel{\‾}{k}}_j=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{k}_{i,j}}{n}$ (1≤i≤n，1≤j≤m)，    (1)

其中，K_i，j为某个人人脸样本库中第i个样本的第j个特征矢量，n为人脸样本库中的某个人脸的样本数，m为特征个数。

(2)计算每个ID号对应的人脸样本集中的人脸特征向量与平均模板特征向量之间的加权模板欧式距离d_i：

$d_i=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(w_j*(k_{i,j}-{\stackrel{\‾}{k}}_j))}^2},$ (2)

其中w_j为该人脸的第j个特征参数的权重，它可采用贡献分析法得到，方法如下：

${\mathrm{\ω}}_j=\frac{1}{n}\underset{t=1}{\overset{n}{\mathrm{\Σ}}}\frac{\mathrm{cov}(\widehat{\mathrm{\θ}}\left(y_t\right),{\widehat{\mathrm{\φ}}}_j\left(k_{\mathrm{tj}}\right))}{\mathrm{var\θ}\left(y_t\right)},j=1,...,m,$                    (3)

其中， $\mathrm{\θ}\left(y_i\right)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\φ}}_j\left(k_{\mathrm{ij}}\right)+{\mathrm{\ϵ}}_i,$ varθ(y_i)＝E[θ(y_i)-E(θ(y_i))]²，θ(y_i)是第i个样本的特征矢量与平均模板特征向量之欧氏距离y的函数，φ_j(k_tj)是第t个人脸样本在第j个特征矢量呈现的概率k_tj的二次函数，ε_t是随机误差，

和

是通过修正条件期望算法迭代确定出的最佳函数。如每个人脸模板采用了5个模板来训练则n取5。

(3)计算得出平均模板欧氏距离，其算式如下：

$\stackrel{\‾}{d}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i/n$ (1≤i≤n)，    (4)

其中n为人脸样本库中的某个人脸的样本数。

(4)由模板集中的模板与平均模板的最大加权欧氏距离确定其阈值δ1，δ2

为了得到在拒识率和误识率两方面都比较好的综合效果，根据打卡图像人脸比对的特定需求，设计了模板阈值确定方法。该方法是：在最大加权欧式距离和平均加权欧式距离找到一个平衡点作为模板阈值，以期达到较好的效果。具体步骤如下：

1)求出人脸样本库中的某个人脸样本库中的特征向量与平均模板特征向量之间的最大加权欧式距离d_max。

2)模板阈值确定公式：

δ₁＝cd+(1-c)d_max (0≤c≤1)

δ₂＝(1+ε)δ₁    (0.3≤ε≤0.5)    (5)

其中d由公式(4)计算。

当提取出的待测人脸个性特征参数向量与某个人脸平均模板特征向量的加权欧式距离S与这个人脸模板库中的模板阈值δ₂的差大于零，即 ${\▿}_2=S-{\mathrm{\δ}}_2\≥0.$ 此时认为待测人脸不是该人脸模板库中的人脸，但实际情况若是待测人脸确实为该人脸模板库中的人脸，这里称此为拒识。当提取出的待测人脸个性特征参数向量与某个人脸平均模板特征向量的加权欧式距离S与这个人脸模板库中的模板阈值δ₁的差小于等于零，即 ${\▿}_1=S-{\mathrm{\δ}}_1\≥0.$ 此时认为待测人脸是该人脸模板库中的人脸，但实际情况若是待测人脸不是该人脸模板库中的人脸，这里称此为误识。模板阈值确定公式的作用就是根据误识和拒识的次数多少，不断调整模板阈值δ₁、δ₂，尽量减少以上两种情况的发生概率，以此寻求到一个阈值的平衡点。

本发明基于支持向量机的人脸比对方法的模型训练方法是：将每一个人作为一类，每一类可能包含多幅图像(即样本)，提取每一幅图像的Gabor小波特征，分别构成一个多维的特征向量，作为该类的训练样本，标上类标签，有N个人就有N个类标签，类标签不能重合，利用这些样本对支持向量机进行训练，并将训练后的支持向量机用于第二层人脸识别身份验证。具体步骤如下：

(1)确定支持向量机核函数

由SVM理论可知，支持向量机识别的效果主要依赖于核函数K和惩罚系数C的选取，由于RBF(径向基函数，下同)核函数的识别率最高，而且核函数取为 $K(x,y)=\exp \{-\frac{{\left|\right|x-y\left|\right|}^2}{{\mathrm{\σ}}^2}\},$ 只需要确定一个参数σ，比较简单，本方法中采用了核函数。

(2)优化参数

本系统采用网格搜寻方法对参数进行优化，具体的做法为：将C和σ分别取N个值和M个值，用这N*M个组合分别训练支持向量机，选择效果最好的一个组合作为最优参数。如果组合数过大的话，会浪费大量的时间，因此将搜索范围分为两级，即先进行粗网格搜索，再进行细网格搜索，我们采用不断缩小参数递增步长的方式来实现。通过对参数进行优化，当惩罚系数C和核函数参数σ分别选取C＝1500，σ²＝192时，针对160个测试人脸样本，采用支持向量机一对一算法进行人脸识别实验，正确识别率达到97.8％。

(3)取样训练

对于每个不同卡号ID对应的人脸，取k(1≤k≤m)个同一卡号人脸模板的特征矢量，训练该ID的SVM人脸模型。

在识别阶段，首先是采用基于加权模板匹配的人脸比对算法进行第一级比对，若在第一级能实现确定的输出，则识别比对工作结束，这一级主要确保识别的速度，大部分待识对象在本级即会被给出确定的比对输出结果；若第一级不能给出确定的输出结果，则进入下一级支持向量机分类器比对识别以确定最终结果，这一级主要是确保识别的正确性。

如图2所示，在比对识别上分两步走，首先是采用基于加权模板匹配的人脸比对算法进行第一级比对，若在第一级能实现确定的输出，则识别工作结束，这一级主要确保识别的速度，大部分待识对象在本级即会被给出确定的输出结果；若第一级不能给出确定的输出结果，则进入下一级SVM分类器比对识别以确定最终结果，这一级主要是确保识别的正确性。

具体而言，如图3所示分层次人脸比对方法识别阶段的步骤是：

(1)对带有卡号ID的待测人脸图像进行尺度归一化。

(2)按5*5网格提取该待测人脸图像的Gabor小波特征矢量。

(3)计算该待测人脸特征矢量K与其持卡人的卡号对应的人脸平均模板特征矢量K之间的欧氏距离s，其算式如下：

$S=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(w_j*(k_j-{\stackrel{\‾}{k}}_j))}^2},$                (6)

其中w_j为第j个个性特征参数的权重。

(4)计算S与该待测人脸的模板阈值δ₁、δ₂之差，其算式如下：

${\▿}_1=S-{\mathrm{\δ}}_1,{\▿}_2=S-{\mathrm{\δ}}_2$           (7)

(5)若 ${\▿}_1\≤0,$ 则认为该待测人脸是卡号所对应的人脸库中的人脸；输出“该人脸与ID相符”。若 ${\▿}_2>0,$ 则认为该待测人脸不是卡号所对应的人脸库中的人脸；人脸库中每个人的模板之间都有各自不同的阈值，这样就可实现个性化的初始人脸比对并可获得快速的人脸比对结果。

(6)若 ${\▿}_1>0$ 且 ${\▿}_2\≤0,$ 则匹配结果暂不确定，输出“该人脸与ID不相符”，进入下一级SVM分类器比对识别以确定最终结果，在该层验证中，利用已经训练好的SVM模型，输入待测人脸样本的Gabor小波特征值进行预测而得到样本的类别，查询该类别对应的ID号，得出库中最有可能的ID’。

(7)如果该ID’号与认证的ID号相同，则判为该待测人脸是卡号所对应的人脸库中的人脸。

(8)否则认为比对的图像与身份不符，拒绝该ID。

本发明在具体应用时，摄像头选用微软LifeCam VX-6000，其象素130万，最大分辨率800*600DPI，最大帧频30FPS，传输接口USB2.0；人脸比对系统在微机上运行。刷卡与图像抓拍在DSP(数字信号处理器)上实现，并采用socket(套接字)编程技术，实现与人脸比对的通信，包括传递ID号与人脸照片信息。人脸比对系统首先在预处理前先采用Adaboost(阿达布斯特)算法来检测图像中的人脸。然后采用双线性插值算法实现图像的尺寸归一化，经过处理后的人脸图像大小为60×80个像素。通过对人脸图像灰度直方图的修正从而调整图像的均值和方差来完成灰度归一化处理。最后根据ID号，确定库中的人脸图像，将它与抓拍到的并且预处理过的人脸图像进行分层次人脸比对，并根据比对的结果，进行报警、统计和相应的处理。实验表明对于库中的人系统能够保证97％以上的正确比对率(通过率)，这满足了可用性要求，同时认假率控制在10％以内，这就有效降低了代打卡通过事件的发生概率；由于采用的模型仍存在一定概率的错误分类，有一定的可能将库外人员识别成其冒打的卡的持卡人。但是从实验统计数据可以看出，这个概率不会高于20％。而且错分概率是和训练人员数目(基数)有关的，如果库中样本数有很多，比如多达200个样本时，则错分概率将会控制在1％以内。可见如果将本人脸身份认证系统用于基数较大的库中进行比对认证结果比较理想，但是验证速度可能会随着库中人脸基数的增加而略为降低，基本维持在一至二秒之间。

Claims (2)

1、一种具有身份的人脸图像分层比对识别方法，其特征是：该方法分为模型训练和比较识别两个阶段，在这两个阶段均对人脸图像进行归一化处理，并提取Gabor小波特征矢量；在模型训练阶段，分别按照加权模板比对模型训练方法和基于支持向量机的模型训练方法训练两个层次的分类器，在识别阶段，首先采用基于加权模板匹配的人脸比对算法进行第一级比对，若在第一级实现确定的输出，则识别比对工作结束，若第一级不能给出确定的输出结果，则进入下一级支持向量机分类器比对识别以确定最终结果。

2、根据权利要求1所述的一种具有身份的人脸图像分层比对识别方法，其特征是：具体是依序采用如下步骤：

1)采集非接触式射频卡中持卡者信息输入计算机；

2)对带有卡号ID的待测人脸图像进行尺度归一化，并按5*5的网格提取Gabor小波特征矢量；

3)计算人脸样本库中每个人脸的平均模板特征向量，并按贡献分析法得出各特征矢量的权重；

4)计算每个ID号对应的人脸样本集中的人脸特征向量与平均模板特征向量之间的加权模板欧式距离；

5)计算得出平均模板欧氏距离；

6)由模板集中的模板与平均模板的最大加权欧氏距离确定其阈值δ1，δ2；

7)确定支持向量机核函数；

8)优化支持向量机参数；

9)取人脸图像库中样本训练支持向量机；

10)对带有卡号ID的待测人脸图像进行尺度归一化；

11)按5*5网格提取该待测人脸图像的Gabor小波特征矢量；

12)计算该待测人脸特征矢量与其持卡人的卡号对应的人脸平均模板特征矢量之间的欧氏距离S；

13)计算S与该待测人脸的模板阈值δ1、δ2之差；

14)若S＜δ1，输出该待测人脸与卡号ID相符；

15)若S＞δ2，输出该待测人脸与卡号ID不相符；

16)否则，将待测人脸的Gabor小波特征矢量输入SVM，得出库中最有可能的ID’；

17)若ID＝ID’，输出该待测人脸与卡号ID相符；

18)否则，输出该待测人脸与卡号ID不相符。

Images