CN103077378A - 基于扩展八邻域局部纹理特征的非接触式人脸识别算法和签到系统 - Google Patents

Abstract

本发明公开了一种基于扩展八邻域局部纹理特征的非接触式人脸识别算法和基于该算法的签到系统，该算法包括以下步骤：步骤一，提取人脸图像的扩展八邻域局部纹理特征；该步骤包括三个阶段：图像点标记阶段、图像点编码阶段、图像特征向量提取阶段；步骤二，使用SVM分类器对提取到的局部纹理特征分类，实现人脸的识别。本发明提出了扩展八邻域局部纹理描述子，可以描述局部区域八个方向的纹理特征；在比较了几种方法在ORL、AR和FERET数据库上的识别率后，得到的结果显示本发明提出的描述子相对于其他方法效果更佳，特别是改进后的方案，具有很强的鲁棒性。

Description

基于扩展八邻域局部纹理特征的非接触式人脸识别算法和签到系统

技术领域

本发明属于模式识别与计算机视觉领域，涉及到一种基于扩展八邻域局部纹理特征的非接触式人脸识别算法和签到系统。

背景技术

随着计算机技术的进步，人工智能与模式识别技术得到很快的发展，生物识别技术已经成为研究的热点。它是利用人体生物特征进行身份认证的一种技术，与传统身份认证技术相比，基于生物识别的身份认证技术具有以下特点：不易遗忘或丢失；防伪性能好，不易伪造或被盗；随身携带，随时随地可用。生物识别主要包括人脸识别、指纹识别、掌纹识别、表情识别、虹膜识别、视网膜识别、语音识别、签名识别等等。这些技术己经应用于社会生活的各个领域，发挥着越来越重要的作用。

人脸识别作为智能化人机交互技术一个重要组成部分，也属于生物特征识别领域，近年来得到了广泛的关注。人脸识别在人机交互、安全监视、司法应用、接入系统、信息系统等领域成为了非常有前景的一门技术。人脸识别技术是利用计算机检测人脸图像，提取有效人脸特征信息，进行识别和分析。尽管使用不同方法在不同条件下识别效果各有优劣，然而，在人脸识别中最根本的问题是需要高效而且对于人脸特征区分度高的特征描述子。在这方面，近年来国内外已经取得了很多不错的进展。从提取的特征来说，人脸识别的方法可以分为两大类方法：整体特征方法和局部特征方法。

在整体特征方面，Turk和Pentland把特征脸引进到人脸识别中，特征脸将整幅人脸图像输入到人脸识别系统中，这个方法实质是用主元分析(PCA)构造一个子空间，然后把人脸用主元表示，并在低维的子空间里进行比较，这样就有效的避免了维数灾难。此外还有其他一些构建低维子空间的方法：线性判别分析(LDA)、独立成分分析(ICA)、因子分析(FA)陆续被提出来，并应用于人脸识别领域。

与此同时，局部特征描述子以其高效的表征能力越来越得到关注。局部特征描述子比如Gabor特征、SURF特征、SIFT特征、HOG特征、以及LBP特征都获得了广泛的运用。使用局部特征描述子的算法在面对遮挡，表情、姿态和光照变化时具有更强的鲁棒性。此外，基于大脑视觉皮层机制的标准模型特征(SMFs)也被提出来了，JimMutch和David G.Lowe使用模拟生物视觉的方法重新定义和改进了该模型。

发明内容

本发明所要解决的技术问题是针对现有技术的不足提供一种基于扩展八邻域局部纹理特征的非接触式人脸识别签到系统。

本发明的技术方案如下：

一种基于扩展八邻域局部纹理特征的非接触式人脸识别算法，包括以下步骤：

步骤一，提取人脸图像的扩展八邻域局部纹理特征；该步骤包括三个阶段：图像点标记阶段、图像点编码阶段、图像特征向量提取阶段；

(一)图像点标记阶段

以某一个像素点为中心，定义八个方向，按顺时针从西北方向开始，分别是西北方向、正北方向、东北方向、正东方向、东南方向、正南方向、西南方向、正西方向，称所述的八个方向为纹路，根据不同的半径，定义不同的基于不同像素半径的扩展八邻域局部纹理描述子；

首先要对该像素点周围八条纹路上的像素点进行标记；标记的原则是：如果纹路上某个像素点的灰度值和中间像素点的灰度值满足下式：

|P_ij-P_o|≤Thd     (1)

则该像素点标记为黑色，否则标记为白色；式中P_o是中间的像素点的灰度值，P_ij是纹路上的像素点的灰度值；Thd为阈值；

(二)图像点编码阶段

得到某个像素点周围的八个方向的纹路标记图后，对该像素点局部纹理信息进行编码；对每条纹路方向编码；对某一条纹路方向编码时，统计纹路方向上的每个像素点是否标记为黑点，如果全部是黑点，则该条纹路编码为“1”；否则，编码为“0”；

(三)图像特征向量提取阶段

使用(一)、(二)的方法遍历每一个像素点，得到它们的编码值；然后再对所有的编码值转化为十进制数，统计每一种编码值出现的次数，得到统计直方图向量；由于编码值从“0”到“255”变化，所以得到的统计直方图向量是256维，这就是描述子作用于图像后提取的特征向量；

步骤二，使用SVM分类器对提取到的局部纹理特征分类，实现人脸的识别。

所述的非接触式人脸识别算法，针对每一个像素点在提取局部纹理特征时，都计算出一个特定的阈值，称之为自适应阈值，自适应阈值StdThd可由下式得出：

$\mathrm{StdThd}=\frac{1}{{(2r+1)}^2-1}\underset{i=m-r}{\overset{m+r}{\mathrm{\Σ}}}\underset{j=n-r}{\overset{n+r}{\mathrm{\Σ}}}|P_{\mathrm{ij}}-P_{\mathrm{mn}}|---\left(2\right)$

式(2)中P_mn是待提取特征的像素点，r是米字形描述子用到的像素半径，自适应阈值StdThd实质是提取特征时所覆盖的像素半径范围内所有的像素点与中间点差值绝对值的平均值。

所述的非接触式人脸识别算法，步骤一中得到的每一种编码值都称为一种模式，于是局部纹理特征就有256种模式，统计人脸数据中所有人脸图像中各种模式出现的平均概率，然后从大到小排列，提取平均概率之和达到90％的所有模式，其余模式合在一起归为一种模式，然后组成特征向量。

本发明提出了扩展八邻域局部纹理描述子，可以描述局部区域八个方向的纹理特征，并且和经典的局部二元描述子(LBP)，以及标准模型特征作了比较。此外在该描述子的基础上，还给出了自适应阈值和筛选模式两种改进方案。在比较了几种方法在ORL、AR和FERET数据库上的识别率后，得到的结果显示本发明提出的描述子相对于其他方法效果更佳，特别是改进后的方案，具有很强的鲁棒性。

附图说明

图1是非接触式人脸识别签到系统的框图；

图2是八个纹路方向及其标号；

图3是基于不同半径的扩展八邻域局部纹理描述子的示例图；

图4是扩展八邻域局部纹理描述子提取特征时的标记示例；

图5是系统的工作流程图。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

实施例1

本发明构建了一个基于计算机的智能图像采集及人脸识别一体的签到系统。系统框图见图1，系统分为前台和后台两部分。前台主要是由安装在前面板上的显示器、摄像头、双通道扬声器以及地面的压力传感器构成，压力传感器距离前面板0.5米左右。后台则是由一台计算机主机构成。前台的所有装置都与后台的主机建立数据连接。

各装置的功能：压力传感器用来检测是否有人前来签到；摄像头用来拍摄签到人员的正脸图像(本发明的算法可以承受小角度的人脸偏转)；扬声器和显示器用来输出提示信息。

本发明的核心在于人脸识别的算法，该算法基于一种新的图像特征——扩展八邻域局部纹理特征。该算法基于已经采集好的人脸图片数据，实现人脸识别的具体步骤如下：

步骤一，提取人脸图像的扩展八邻域局部纹理特征，该过程需要分成三个阶段：图像点标记阶段，图像点编码阶段以及最后的图像特征向量提取阶段。

(一)图像点标记阶段

本发明提出的新型的图像特征是一种局部纹理特征，它主要描述图像局部区域的纹理信息，我们的描述子为了描述八个方向的纹理信息，当作用了某一个像素时，就以该像素点(图2中的中心像素点)为中心，定义八个方向，按顺时针从西北方向开始，分别是西北方向、正北方向、东北方向、正东方向、东南方向、正南方向、西南方向、正西方向，我们称这八个方向为纹路，见图2。根据不同的半径，我们可以定义一系列基于不同像素半径的扩展八邻域局部纹理描述子，图3中图A、B、C分别对应半径r＝1、r＝2、r＝3的扩展八邻域局部纹理描述子，图中的中心像素点就是被提取特征的中心参考点。

在对某个像素点进行局部纹理特征编码前，我们首先要对该像素点周围八条纹路上的像素点进行标记。图4中，我们以像素半径4的局部纹理特征描述子为例说明标记的方法。图4中的A图是某图像的一块9×9的局部区域，其中的数字是八个纹路方向上像素点的对应灰度值。

标记的原则是：如果纹路上某个像素点的灰度值和中间像素点的灰度值满足下式：

|P_ij-P_o|≤Thd     (1)

则该像素点标记为黑色，否则标记为白色。式中P_o是中间的像素点的灰度值，P_ij是纹路上的像素点的灰度值。

对于图4的A图，我们取阈值Thd＝20，按照式(1)的规定进行标记后就得到了B图，(图中中心圆点是中心参考点)就是标记好的示例图。

(二)图像点编码阶段

得到了某个像素点周围的八个方向的纹路标记图后，我们就可以对该像素点局部纹理信息进行编码了。我们需要描述的是每条纹路方向上的像素点是否与中间的像素点构成完整的纹理，没有必要对纹路方向上的每一个像素点做精确描述。也就是说我们没有必要描述每个像素点与中间像素的关系，我们实质关心的是每条纹路的整体信息。基于此，我们只要对每条纹路方向编码即可。

对某一条纹路方向编码时，我们只要统计纹路方向上的每个像素点是否标记为黑点，如果全部是黑点，则该条纹路编码为“1”；否则，编码为“0”。于是，对于图4已经标记好了的B图，八个纹理方向分别用一位二进制位编码表示纹理的有无，我们按照顺时针方向从西北方向开始编码，则可以很方便的得到，此时的编码值为“01000100”。

(三)图像特征向量提取阶段

有了前面的准备后，我们就可以效仿局部二元模式的特征向量生成方法了。对去边框后图像(因为我们的描述子有一定的像素半径，原始图像中靠近边缘以至于小于该半径的像素点就不满足编码条件了，所以以该半径为宽度的图像四周边沿的像素点组成的边框的像素点都不能进行编码)，我们使用前面(一)，(二)的方法遍历每一个像素点，得到它们的编码值。

然后再对所有的编码值转化为十进制数，统计每一种编码值出现的次数，得到统计直方图向量。由于我们的编码值只能从“0”到“255”变化，所以得到的统计直方图向量是256维，这也就是我们的描述子作用于图像后提取的特征向量。

步骤二，使用SVM分类器对提取到的局部纹理特征分类，实现人脸的识别。

支持向量机(Support Vector Machine，简称SVM)是由AT&T贝尔实验室的V.N.Vapnik及其研究小组于90年代中期基于统计学习理论提出的一种新的模式识别方法，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势：如泛化性能好，无需先验知识等，并能够推广应用到函数拟合等其它机器学习问题中。

人脸识别问题本质上属于非线性模式识别问题，因此采用分类性能卓越的SVM作为人脸识别的分类器方案。我们利用SVM对样本进行分类的操作过程如下：输入的训练图像通过前面提取特征后，就产生了一系列能表征图像的特征向量。然后我们将此特征向量输入SVM采用“一对一(one-against-one)”的策略对SVM进行训练。接下来我们对输入的测试图像经过同样的特征提取过程，然后得到的特征向量就可以用训练好的SVM使用投票策略(majority-voting method)进行分类了。最后找到分类好的特征向量对应的人脸图像就完成了人脸识别。

特征提取的改进方案

(一)自适应阈值

为了与改进方案相区别，我们将前面所介绍的特征提取方法称为基本描述子，当中用到的阈值是一个固定的数值，这意味着对整幅图像的处理过程中，判断纹理的标准都是一样的。但是，同一幅图像不同区块的灰度值分布范围实际上是不一样的，如果把一个固定的阈值用之于整幅图像，对于不同区块灰度值分布差别较大的图像而言，会丢失大量的纹理信息，于是导致描述子的纹理信息提取能力大打折扣。

为了克服上述的不足之处，我们针对每一个像素点在提取局部纹理特征时，都计算出一个特定的阈值，于是不同的像素点一般都对应不同的阈值，我们称之为自适应阈值。自适应阈值StdThd可由下式得出：

$\mathrm{StdThd}=\frac{1}{{(2r+1)}^2-1}\underset{i=m-r}{\overset{m+r}{\mathrm{\Σ}}}\underset{j=n-r}{\overset{n+r}{\mathrm{\Σ}}}|P_{\mathrm{ij}}-P_{\mathrm{mn}}|---\left(2\right)$

式(2)中P_mn是待提取特征的像素点，r是米字形描述子用到的像素半径，自适应阈值StdThd实质是提取特征时所覆盖的像素半径范围内所有的像素点与中间点差值绝对值的平均值。

(二)筛选模式

将步骤一中得到的每一种编码值都称为一种模式，于是局部纹理特征就有256种模式。有些模式在图像中出现的概率高一些，有一些模式则在所有的图像中出现的概率都很低，代表的纹理信息也很少，是可以忽略的。

于是我们统计人脸数据中所有人脸图像中各种模式出现的平均概率，然后从大到小排列，提取平均概率之和达到90％的所有模式，其余模式合在一起归为一种模式，然后组成特征向量，我们发现新的特征向量维数大为降低。于是我们就用少部分的模式表示了图像90％以上的纹理信息，一方面这使计算量得到了减小，另一方面由于摒弃了了小概率模式的干扰，使算法的识别率有了提高。

本发明与现有技术相比具有如下优点：

为了证明本发明的优势，我们将对本发明中的基本描述子，筛选模式后的描述子，自适应阈值的描述子，以及将筛选模式和自适应阈值结合后的描述子一起进行试验，并与经典的局部纹理描述子局部二元模式(LBP)、统一模式的局部二元模式以及标准模型特征(SMFs)进行比较。实验中，我们为了实验结果比较的可靠性，有效的比较出不同特征的优劣，采用了完全相同的实验策略，图像都是横向分为5块，而且提取特征后，最后都是使用相同的SVM分类器，SVM分类器的参数也是完全一样的。实验中，都是使用8张图像作为训练集，剩下的图像作为测试集，于是ORL数据集上剩下2张图像测试，AR数据集上剩下6张图像测试，FERET数据集上剩下3张图像作为测试。得到的实验结果如表1。

表1不同特征在三个数据集上的实验结果

特征	ORL(8:2)	AR(8:6)	FERET(8:3)
				LBP	98.50	69.94	87.38
统一模式LBP	99.25	87.22	90.35
				SMFs	98.25	90.75	82.67
基本描述子	99.63	86.56	86.11
				筛选模式	99.75	91.98	88.27
自适应阈值	99.88	90.47	90.09
				筛选模式结合自适应阈值	99.37	92.00	90.53

实验结果显示，在ORL数据集上，本发明的基本描述子的识别率就达到了99.63％，而在AR数据集和FERET数据集上分别为86.56％和86.11％，相对较低。这是因为ORL数据集容量小，只有40个人，自然识别难度小，识别率高。而AR数据集有120个人的图像，FERET数据集上有150个人的图像，识别难度要增大很多，而且相对来说在后两个数据上的同一个个体的图像之间的差异也较大，AR数据集的分辨率又很低，FERET上图像的人脸偏转角度很大都是必须考虑的因素。

和筛选模式，以及自适应阈值的结果对比可知，这两种改进策略都很有效的提高了识别率，尤其是在AR数据集和FERET数据集上，自适应阈值的方法达到了90％以上的识别率。当然由于ORL数据集本来就识别率很高了，提高幅度就有限了。

和其他特征相比，本发明所提出的特征也是很有优势的。对比ORL、AR和FERET三个数据集上的实验，可以发现，不论是基本的LBP特征还是统一模式的LBP特征，在AR数据集上的识别率都是明显最低的，考虑到AR数据集上图像的分辨率很低，说明局部二元模式(LBP)在处理低分辨率图像时，提取特征的能力就降低了。相对于基本LBP和统一模式LBP在AR数据集上的69.94％和87.22％的识别率，我们的筛选模式特征和自适应阈值特征都达到了90％以上的识别率，两者结合甚至达到了92.00％的识别率，比在FERET数据集上的识别率还高，这说明米字形特征的纹理信息提取能力要高于局部二元模式，尤其是在图像低分辨率的情况下，优势更明显。对比标准模型特征(SMFs)，我们发现，SMFs表现则和LBP相反，SMFs在AR数据集上达到了90.75％的识别率，而在FERET数据集上只有82.67％的识别率，说明标准模型特征在处理低分辨率图像时是很有效的，而对于图像偏转角度较大时，提取的人脸特征的区分度就下降明显了，鲁棒性不足。而我们的改进后的局部纹理特征则集二者之所长于一身，在AR和FERET数据集上的识别率都相对较高，说明在处理低分辨率图片和鲁棒性方面都是很优秀的方法。

综上实验结果可以证明本发明提出的扩展八邻域局部纹理特征能够很好的应用于人脸识别领域中，而且相对其他方法还有一定的优势。

实施例2

系统运行前的准备工作：在搭建好整个系统的硬件之后，整个系统投入运行之前，使用单位需要先采集所有员工的人脸图像信息，要求人脸图像为正面免冠图像和小角度偏转图像若干，并标记好身份信息，建立一个员工人脸数据库。然后我们的算法会根据该数据库建立一个人脸特征库，建立好的特征库在系统工作时可以直接输入分类器，而不用重新从员工人脸数据库中提取特征，这样就可以保证系统运行的实时性。

系统工作时的流程和使用方法：准备工作完成后，本发明的系统就可以运行了，具体步骤如下：

1)员工上班时，面对摄像头站在压力传感器上边的覆盖物上。

2)压力传感器产生一个脉冲信号传给计算机主机，主机上的程序在收到信号后，马上驱动摄像头拍下当前站在摄像头面前的员工的照片。

3)照片传回计算机主机，然后程序调用本发明的人脸识别算法提取刚拍的照片的特征，输入分类器进行比对，找出当前签到的员工。

4)计算机将当前员工的信息显示在前面板的显示器上，同时输出音频到双声道扬声器，内容可以自设，比如“×××先生/女士早上好，祝您一天好心情”。

5)员工得到提示后离开，签到完毕。

整个过程，员工只要面对前台的面板站在指定位置，等待签到完成的提示即可离开，不用进行任何操作，简单方便快捷。

系统工作的流程见说明书附图5，详细说明如下：

S1：计算机开机后，启动程序，系统进入开始待命状态。

S2：当员工签到时，正面站在系统前台的面板前，自动触发地面的压力传感器产生脉冲信号传给后台的主机。

S3：主机收到信号后，驱动摄像头拍下当前人员的照片传回主机。

S4：主机收到图片，调用人脸识别程序，提取拍摄照片的特征，最终识别出员工的身份，然后找到对应的身份信息。

S5：将对应的身份信息输出到前面板的显示器中，并通过扬声器输出语音信息。

S6：系统判断是否收到签到员工离开时压力传感器触发的脉冲信号，如果是就回到开始待命状态，否则进入等待状态S7。

S7：等待状态，等待签完到的员工离开，每隔一小段时间重新回到S6判断条件。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于扩展八邻域局部纹理特征的非接触式人脸识别算法，其特征在于，包括以下步骤：

步骤一，提取人脸图像的扩展八邻域局部纹理特征；该步骤包括三个阶段：图像点标记阶段、图像点编码阶段、图像特征向量提取阶段；

(一)图像点标记阶段

以某一个像素点为中心，定义八个方向，按顺时针从西北方向开始，分别是西北方向、正北方向、东北方向、正东方向、东南方向、正南方向、西南方向、正西方向，称所述的八个方向为纹路，根据不同的半径，定义不同的基于不同像素半径的扩展八邻域局部纹理描述子；

首先要对该像素点周围八条纹路上的像素点进行标记；标记的原则是：如果纹路上某个像素点的灰度值和中间像素点的灰度值满足下式：

|P_ij-P_o|≤Thd     (1)

则该像素点标记为黑色，否则标记为白色；式中P_o是中间的像素点的灰度值，P_ij是纹路上的像素点的灰度值；Thd为阈值；

(二)图像点编码阶段

得到某个像素点周围的八个方向的纹路标记图后，对该像素点局部纹理信息进行编码；对每条纹路方向编码；对某一条纹路方向编码时，统计纹路方向上的每个像素点是否标记为黑点，如果全部是黑点，则该条纹路编码为“1”；否则，编码为“0”；

(三)图像特征向量提取阶段

使用(一)、(二)的方法遍历每一个像素点，得到它们的编码值；然后再对所有的编码值转化为十进制数，统计每一种编码值出现的次数，得到统计直方图向量；由于编码值从“0”到“255”变化，所以得到的统计直方图向量是256维，这就是描述子作用于图像后提取的特征向量；

步骤二，使用SVM分类器对提取到的局部纹理特征分类，实现人脸的识别。

2.根据权利要求1所述的非接触式人脸识别算法，其特征在于，针对每一个像素点在提取局部纹理特征时，都计算出一个特定的阈值，称之为自适应阈值，自适应阈值StdThd可由下式得出：

$\mathrm{StdThd}=\frac{1}{{(2r+1)}^2-1}\underset{i=m-r}{\overset{m+r}{\mathrm{\Σ}}}\underset{j=n-r}{\overset{n+r}{\mathrm{\Σ}}}|P_{\mathrm{ij}}-P_{\mathrm{mn}}|---\left(2\right)$

式(2)中P_mn是待提取特征的像素点，r是米字形描述子用到的像素半径，自适应阈值StdThd实质是提取特征时所覆盖的像素半径范围内所有的像素点与中间点差值绝对值的平均值。

3.根据权利要求1所述的非接触式人脸识别算法，其特征在于，步骤一中得到的每一种编码值都称为一种模式，于是局部纹理特征就有256种模式，统计人脸数据中所有人脸图像中各种模式出现的平均概率，然后从大到小排列，提取平均概率之和达到90％的所有模式，其余模式合在一起归为一种模式，然后组成特征向量。

4.采用权利要求1至3任一所述的非接触式人脸识别算法的签到系统。

Images