CN103530659B - 结合原始和对称脸人脸图像的人脸识别方法及考勤系统 - Google Patents

Abstract

本发明提出了一种结合原始人脸图像和其左、右对称脸的人脸识别方法和考勤系统。该考勤系统分为两个部分：注册和识别。注册部分包括人脸检测、图像采集和特征提取，并将人脸特征存储到人脸库中；识别部分包括人脸检测、图像采集、特征提取和人脸识别，最后输出识别结果。该系统运用本发明提出的结合原始人脸图像和其对称脸图像的人脸识别方法，该方法简单且计算效率高，几乎所有基于表示的分类方法可以用该方案进行改进。实验结果表明，该方法可以大大提高基于表示的分类方法的准确率。使用本发明提出的结合原始人脸图像和其左、右对称脸的人脸识别方法的考勤系统能够提高考勤登记时的速度，提高识别的准确率，更加方便实用。

Description

结合原始和对称脸人脸图像的人脸识别方法及考勤系统

技术领域

本发明涉及一种模式识别方法，尤其涉及一种人脸识别方法。

背景技术

人脸识别是对人的脸部特征信息进行身份认证的生物特征识别技术。近年来，随着欧美发达国家人脸识别技术开始进入实用阶段后，人脸识别迅速成为近年来全球的一个市场热点，它具有如下显著优点：

◆非接触，智能交互，用户接受程度高。

◆直观性突出，符合人“以貌识人”的认知规律。

◆适应性强，不易仿冒，安全性好。

◆摄像头的大量普及，易于推广使用。

◆人脸识别杜绝代打卡

◆方便快捷识别时间少于1秒

◆非接触更卫生不怕细菌传播

◆通讯方式U盘、网络

目前绝大多数单位用的主要是指纹或刷卡考勤，考勤存在如上所述诸多不便，而采用人员识别考勤系统，既彻底杜绝了代打卡考勤事件的发生，解决了传统打卡考勤系统“只认卡不认人”的弊端；又消除了指纹考勤系统“必须用手按”的尴尬情况，非接触，直观友好。中控人像识别考勤系统作为人性化的新一代高科技考勤系统，可广泛替代现有的打卡考勤系统、指纹考勤系统，充分展现现代企事业单位的高科技形象，体现考勤管理制度的方便性、高效性、公正性。

正如我们所知，人脸识别的主要挑战是人脸图像可能会有严重的变化，比如不同姿势，面部表情以及光照的变化。一个人脸识别方法大大遭受这些挑战。另一方面，如果一个人脸的可用的训练样本可以充分地显示出可能的姿势、面部表情和光照的变化，我们将可能得到高的准确率。不幸的是，在现实世界的应用中，人脸通常只有一个非常少的训练样本，这并不能传达很多人脸的变化。

为了克服一个人脸的训练样本不能传达足够的人脸变化的问题，以前的文献已经提出一些方法来生成新的（即虚拟的或合成的）的人脸图像，并放大训练样本集的大小。例如，Tang等人利用圆形人脸和光流来获得“虚拟”的面部表情。Jung等人利用噪声获得新的人脸样本。Thian等人利用简单几何变换来生成虚拟样本。Ryu等人利用训练样本的分布来生成人脸的虚拟训练样本。Sharma等人从一个单一的人脸图像中生成不同姿势和光照的多种虚拟视角来扩展训练样本。Beymer等人和Vetter等人也着眼于这个问题，他们用虚拟视角生成新的样本。

发明内容

针对现有技术中存在的问题，本发明提出了一种人脸识别的方法，通过生成对称的人脸图像，即分别利用原始人脸图像的左半边脸和右半边脸生成轴对称的虚拟人脸图像，分别称为“左对称脸”和“右对称脸”，并利用原始的和左、右对称的人脸图像来识别对象。

本发明通过如下技术方案实现：

一种结合原始和对称脸人脸图像的人脸识别方法，该方法包括以下步骤：

S1:每人有n个n原始人脸图像，用表示第i个人的第k个原始人脸图像（k=1,...,n）。每张原始人脸生成两张对称脸，对于第i个人的第k个原始人脸图像，对称脸（k=1,...,2n）是分别利用原始人脸的左半边脸和右半边脸生成轴对称的虚拟人脸图像；

S2:对于第i类（即第i个人），令X_i=[x_(i-1)*n+1...x_i*n y_(i-1)n+1...y_i*2n]，定义X为X=[X₁...X_c]。x_(i-1)n+k是由转换而成的列矢量，y_(i-1)n+k是由转换而成的列矢量。

S3:采用LRC算法。令z为测试样本。LRC关于z和第i类（即第i个人）的方程为z=X_iA_i。A_i表示解向量，其求解公式为测试样本和第i类之间的偏差得分为

S4:当d_i≥thresholdd1，那么认为测试样本不属于任何已知的任何类别，应拒识，其它步骤不再实现，否则，转入S5；

S5:采用其他的RBC算法。令表示该算法的解向量，表示对应于x_(i-1)*n+1,...,x_i*n,y_(i-1)n+1,...,y_i*2n的项组成的解向量。简单地，可令算法对应的方程为z=XB，B的求解公式为μ是一个小的正的常数，I是单位矩阵。测试样本相对于第i类训练样本的的偏差为

S6:当r_j≥thresholdr1，那么认为测试样本不属于任何已知的任何类别，应拒识，其它步骤不再实现，否则，转入S7；

S7:令r_j′为所有类别的偏差中倒数第二小的值。若|r_j-r_j′|≤thresholdr2，说明该对象不明显属于任何类别，系统拒识，其他步骤不再实现，否则，转入S8；

S8:将LRC与其他RBC方法结果进行加权融合计算，获得最终识别结果。

本发明的另一方面，提供了一种结合原始和对称脸人脸图像的人脸识别考勤系统，该系统包括：人脸图像采集模块，采用红外摄像头进行人脸检测并采集多幅人脸图像；特征提取模块，用于对人脸图像进行预处理和特征提取，然后将特征信息存储到人脸数据库当中；识别模块，用于采用本发明所提出的人脸识别方法在所述人脸数据库中进行识别；考勤登记模块，用于根据识别结果登记考勤。

进一步地，所述系统还包括：注册模块，用于用户注册，得到一个唯一的ID号。

进一步地，所述考勤登记模块，用于将识别结果与已输入的ID号进行比对，判断是否一致，如果一致，则登记考勤成功；如果不一致，则需要重新检查所输入的ID号是否正确，如果正确，则再采集一遍进行重新识别；如果不正确，则重新输入ID号。

本发明的有益效果是：本发明提出了一种结合原始和对称脸人脸图像的人脸识别方法，该方法利用原始人脸图像和其左、右对称脸来进行人脸识别，简单且计算效率高。实验结果表明，该方案可以大大提高基于表示的分类方法的准确率。采用本发明提出的结合原始人脸图像和其左、右对称脸的人脸识别方案的考勤系统能够提高考勤登记时的速度，提高识别的准确率，更加方便实用。

附图说明

图1是本发明的人脸识别方法的流程图；

图2是来自ORL人脸库的测试样本和所有类别之间的偏差；

图3是来自FERET人脸库的测试样本和所有类别之间的偏差；

图4是一些来自FERET人脸库的原始人脸图像和其左、右对称脸图像；

图5是一些来自AR人脸库的原始人脸图像和其左、右对称脸图像；

图6是本发明的考勤系统模块框图；

图7是LOS和NLOS情况下的测距误差统计图；

图8是误差消除前和消除后的概率分布曲线图；

图9是采用本发明的NLOS鉴别方法后的定位性能。

具体实施方式

下面结合附图说明及具体实施方式对本发明进一步说明。

如附图1所示，本发明的一种结合原始和对称脸人脸图像的人脸识别方法，该方法包括以下步骤：

第一步：每人有n个n原始人脸图像，用表示第i个人的第k个原始人脸图像（k=1,...,n）。每张原始人脸生成两张对称脸，对于第i个人的第k个原始人脸图像，对称脸（k=1,...,2n）是分别利用原始人脸的左半边脸和右半边脸生成轴对称的虚拟人脸图像；

第二步：对于第i类（即第i个人），令X_i=[x_(i-1)*n+1...x_i*n y_(i-1)n+1...y_i*2n]，定义X为X=[X₁...X_c]；x_(i-1)n+k是由转换而成的列矢量，y_(i-1)n+k是由转换而成的列矢量。

第三步：对样本X采用LRC算法，令表示第i个人脸的方程的解向量。测试样本和第i的对象之间的偏差得分用计算。考虑到实际应用，当偏差得分大于等于阈值（thresholdd1）时，说明该测试样本与存在训练样本库中的对象相差太大，该测试样本的对象并不是已注册的人员，所以当d_i≥thresholdd1时，系统拒识，其他步骤不再实现，否则，进行下一步。

对样本X采用其它的RBC算法，令表示该方法的解向量。令分别表示对应于x_(i-1)*n+1,...,x_i*n,y_(i-1)n+1,...,y_i*2n的项组成的向量。换言之，对应与第i个人脸。对应于第i类的测试样本的偏差得分可以用计算。考虑到实际应用，当剩余得分大于等于阈值（thresholdr1）时，说明该测试样本与存在训练样本库中的对象相差太大，该测试样本的对象并不是已注册的人员，所以当r_i≥thresholdr1时，系统拒识，其他步骤不再实现，否则，进行下一步。而当测试样本与两个对象之间的剩余得分相差很小（小于等于thresholdr2）时，说明系统不能够明显的区分出该测试对象属于哪个类，所以当|r_i1-r_i2|≤thresholdr2时，系统拒识，其他步骤不再实现，否则，进行下一步。

第四步：如果未拒识，则进行加权融合，并得到最终识别结果。

下面，简要介绍基于表示分类（RBC）。假设有C个类，每类有n个列向量形式的训练样本。令x₁,...,x_N为所有N个训练样本(N=Cn)。x_(i-1)n+k代表第i个对象的第k个训练样本，i=1,2,...,C。令列向量z表示测试样本。

因为LRC具有鲜明的特征，所以先介绍LRC，然后再介绍其它的RBC。

描述LRC的算法如下：LRC对每个类都建立一个方程。第i类的方程是

z=X_iA_i, (1)

其中X_i＝[x_(i-1)*n+1...x_i*n]。式(1)用下式得到

第i类训练样本和测试样本之间的偏差被定义为如果那么测试样本将会被分到第k类中。

对于基于表示分类的方法，除了LRC，所有方法都是首先利用所有训练样本的一个线性组合来表示测试样本。

l₂范数最小化约束的RBC可以被简要描述如下。我们首先采用协作表示分类作为一个例子来说明这种方法的基本特点。CRC（协作表示分类）设式(3)可以近似表示为

y=XB, (3)

其中B=[b₁...b_N]^T,X=[x₁...x_N]。式(3)的解通常用下式获得

μ是一个小的正的常数，I是单位矩阵。令当然，如果X^TX是非奇异的，式(3)的解可以用下式得到

CRC计算第i类表示测试样本的剩余用其中X_i＝[x_{(i-1)*n+ 1}...x_i*n]，如果那么CRC将测试样本分到第k类。

CRC和l₂范数最小化约束的其它RBC之间的主要差别在于，其它RBC可能存在附加条件或是步骤。例如，改进的最近邻分类器有与CRC相同的方程和求解方案，但是使用了一个更简单的分类器。两阶段稀疏表示(TPSR)方法有与CRC相同的第一步，但是利用了额外的一步来得到一个用来表示测试样本的所有训练样本的稀疏线性组合。

SRC，即l₁范数最小化约束的RBC，可以简单描述如下。SRC试图解决如下问题：

其中ε>0是一个常量。SRC没有一个封闭解，必须迭代地来求解。原始的SRC算法计算效率低，而最近一些高效的SRC算法已经提出。

附图2展示了测试样本和所有类别的偏差，这些样本来自于ORL人脸库。用LRC得到的偏差和经过扩张样本数处理的LRC（即本发明提出的方案中LRC）的偏差都在图中展示。该测试样本来自第5类。从附图2我们可以看到，LRC将会对测试样本导致错误分类，这是由于其对应的测试样本和第5类的偏差不是最小的。然而，对LRC的改进将会得到一个正确的分类结果，这是因为其对应的测试样本和第5类之间的偏差时最小的。附图2也说明了，本发明提出的这种改进的LRC方案有比以往的LRC方案更强的表示测试样本的能力。

附图3展示了一个测试样本和所有类别之间的偏差，这些样本来自FERET人脸库，该测试样本来自第9类。从附图3我们可以看出，LRC将会对测试样本导致错误分类，但是本发明提出的改进的LRC方案将会得到正确的分类结果。

本发明提出的方法的理由可以由以下数值分析的观点描述。为了方便阐述，我们仅用以往的LRC方案和本发明提出的改进的LRC方案作为例子。设测试样本y来自第i类，那么很容易知道到，用改进的LRC方案得到的第i类和测试样本的偏差通常比用LRC得到的偏差要小。

本发明提出的方法能够得到一个虚拟的轴对称人脸图像。这些虚拟人脸图像可以在一定程度上反映人脸的姿势和大小的可能的变化。附图4和图5展示了一些利用原始人脸生成的左、右对称脸。其中，第一行是原始人脸图像。第二和第三行分别是用原始人脸图像的左对称脸和右对称脸图像。因为它是一个严格的轴对称的人脸图像，就是左边人脸是右边人脸的镜像。而且我们可以对每张原始人脸生成得到两张对称脸，得到了更多的人脸可能变化的信息，更有利于人脸识别。

一种利用结合原始人脸图像和其对称脸的人脸识别方法的考勤系统。如附图6所示，该系统分为两个部分：注册和识别。注册部分包括人脸检测、图像采集和特征提取，并将人脸特征存储到人脸库中；识别部分包括人脸检测、图像采集、特征提取和人脸识别，最后输出识别结果。

利用结合原始人脸图像和其对称脸的人脸识别方法的人脸考勤系统设备如附图7所示。它由一个倾斜的平板、支柱、底座组成。该倾斜的平板上装有红外摄像头和屏幕。

该系统有如下特点：

（1）红外摄像头由光源和红外滤光片组成，过滤后的光源为940nm的红外光线。

（2）红外摄像头检测动态的人脸，采集红外人脸图像。

（3）采用红外摄像头不仅可以在白天光线充足的情况下采集人脸图像，也可以在夜晚光线昏暗的情况下采集人脸图像。

（4）装有红外摄像头和屏幕的平板是倾斜的，因为用户的身高有高有低，若该平板式竖直的，则采集人脸图像时会因用户身高不同而采集不完整的人脸，或者用户需要自己屈膝或踮脚才能完整地采集，十分不便。该平板设计成倾斜的话，不论用户是高是低，都需要稍稍低头向下看摄像头，即可完整的采集到人脸图像。

（5）立柱中装有单片机，用来进行图像数据存储和图像数据处理。

（6）人脸识别结果将显示在屏幕上，并将考勤信息记录在数据库中。

（7）注册用户信息迅速方便。使用该人脸考勤系统时，员工需要首先注册，得到一个ID号后，用红外摄像头进行人脸检测并采集多幅人脸图像。拍摄人脸图像时，用户只需面对摄像头，经过几秒钟的时间就可采集完成。经过预处理和特征提取后，将人脸图像的特征信息存储到人脸数据库当中。

（8）将对称脸和拒识方法融入识别系统中。登记考勤时，用户首先输入自己的ID号，用红外摄像头进行人脸检测并采集多幅人脸图像，经过预处理和特征提取后，利用我们的结合原始人脸图像和对称脸的人脸识别方案在人脸库中进行识别。当得分大于等于阈值1时，说明该测试样本与存在训练样本库中的对象相差太大，该测试样本的对象并不是已注册的人员，系统拒识；而当测试样本与两个对象之间的得分相差很小时，说明系统区分不开这两个对象，系统拒识；判断与阈值大小之后，将识别结果与已输入的ID号进行比对，判断是否一致，如果不一致，则直接拒识；当然，如果不一致，则需要重新检查所输入的ID号是否正确，如果正确，则再采集一遍进行重新识别；如果不正确，则重新输入ID号。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种结合原始和对称脸人脸图像的人脸识别方法，其特征在于：所述方法包括以下步骤：

S1:每人有n个n原始人脸图像，用表示第i个人的第k个原始人脸图像，k＝1,...,n，每张原始人脸生成两张对称脸，对于第i个人的第k个原始人脸图像，对称脸是分别利用原始人脸的左半边脸和右半边脸生成轴对称的虚拟人脸图像，k＝1,...,2n；

S2:对于第i类，即第i个人，令X_i＝[x_(i-1)*n+1...x_i*n,y_(i-1)n+1...y_i*2n]，定义X为X＝[X₁...X_c]，其中，x_(i-1)n+k是由转换而成的列矢量，y_(i-1)n+k是由转换而成的列矢量；

S3:采用LRC算法，令z为测试样本，LRC关于z和第i类，即第i个人的方程为z＝X_iA_i，A_i表示解向量，其求解公式为测试样本和第i类之间的偏差得分为

S4:当d_k≥thresholdd1，那么认为测试样本不属于任何已知的任何类别，系统拒识并结束识别，否则，转入S5；

S5:采用其他的RBC算法，令表示该算法的解向量，表示对应于x_(i-1)*n+1,...,x_i*n,y_(i-1)n+1,...,y_i*2n的项组成的解向量；简单地，令算法对应的方程为z＝XB，B的求解公式为μ是一个小的正的常数，I是单位矩阵；测试样本相对于第i类训练样本的的偏差为

S6:当r_j≥thresholdr1，那么认为测试样本不属于任何已知的任何类别，系统拒识并结束识别，否则，转入S7；

S7:令r_j′为所有类别的偏差中倒数第二小的值，若|r_j-r_j′|≤thresholdr2，说明该测试样本不明显属于任何类别，系统拒识并结束识别，否则，转入S8；

S8:将LRC与其他RBC方法结果进行加权融合计算，获得最终识别结果。

2.一种结合原始和对称脸人脸图像的人脸识别考勤系统，其特征在于：所述系统包括：人脸图像采集模块，采用红外摄像头进行人脸检测并采集多幅人脸图像；特征提取模块，用于对人脸图像进行预处理和特征提取，然后将特征信息存储到人脸数据库当中；识别模块，用于采用如权利要求1所述人脸识别方法在所述人脸数据库中进行识别；考勤登记模块，用于根据识别结果登记考勤。

3.根据权利要求2所述的考勤系统，其特征在于：所述系统还包括：注册模块，用于用户注册，得到一个唯一的ID号。

4.根据权利要求3所述的考勤系统，其特征在于：所述考勤登记模块，用于将识别结果与已输入的ID号进行比对，判断是否一致，如果一致，则登记考勤成功；如果不一致，则需要重新检查所输入的ID号是否正确，如果正确，则再采集一遍进行重新识别；如果不正确，则重新输入ID号。