CN100468467C - 基于人脸鉴别技术的门禁和考勤装置 - Google Patents

Abstract

一种基于人脸鉴别技术的门禁和考勤装置，包括用于读取人脸图像的摄像头、用于采集传送视频信息的嵌入式系统、用于输入身份信息的输入设备和用于进行图像鉴别和员工考勤管理的计算机，所述的摄像头连接嵌入式系统，所述的嵌入式系统连接输入设备，所述的嵌入式系统与计算机数据连接，门禁和考勤装置还包括用于确认人脸正面位置的镜面，摄像头位于镜面的上方，所述摄像头的最佳视觉范围与镜面相匹配；所述的计算机包括图像获取模块、人脸图像库、人脸检测定位模块、图像预处理模块、人脸训练模块以及人脸识别模块。本发明提供一种鉴别成功率高、易于实现、鉴别判断速度快、安装方便和实施成本低的基于人脸鉴别技术的门禁和考勤装置。

Description

基于人脸鉴别技术的门禁和考勤装置

(一)技术领域

本发明涉及一种门禁和考勤装置。

(二)背景技术

企业对员工的考勤管理以及重要场所安置门禁系统已经成为必不可少的管理手段，目前常用的有打卡考勤或刷卡考勤，在刷卡考勤中有接触式考勤机和射频卡考勤机，这类考勤方法，由其他人员代为打卡或刷卡的代考勤现象时有发生，影响了考勤的准确性。为了防止上述代考勤现象的发生，经常出现代打卡的现象，于是，业内人士结合指纹鉴别技术发明了指纹考勤机，结合人脸鉴别技术发明了面像鉴别考勤机。对于指纹考勤机，由于目前的指纹鉴别技术指纹鉴别率还不能达到十分满意的效果，因为没有直接证据证明是指纹鉴别率造成的还是员工的本身问题，所以往往会产生人事考勤员和员工对考勤记录不同意见，产生了纠纷。中国实用新型专利200520061451.2提出了一种直卡指纹考勤机，将指纹鉴别与打卡考勤结合，以便能在指纹鉴别发生问题时也在卡留下记录便于员工以及人事考勤员的事后查询。对于面像鉴别考勤机，中国专利99117360.0提出了一种面像鉴别门禁和考勤系统，通过与计算机相连的摄像头动态捕捉考勤人员头像，与数据库中预先录入的员工头像进行比较、判断，做出是否通过的决定，并且做出考勤和考勤统计，进行考勤管理。上述两种考勤机都能有效地防止代考勤现象的发生。

但是上述的考勤机也存在着一些问题，由于企业往往将考勤机安放在企业的入口处，放在外面的考勤机器会发生被盗以及本人为损坏时有发生，对于矿井、建筑工地等流动比较大的单位使用上述考勤机有较大的困难；对于一些比较大的企业由于员工数比较多，而考勤又是集中在上下班时间，会出现排队等候考勤的问题，特别是在指纹或人脸出现不能鉴别时会出现更大的等候考勤拥挤；对于面像鉴别考勤机，要求摄像头动态捕捉考勤人员头像，然后将该头像与存放在计算机存储单元的头像进行匹配鉴别计算，由于目前采用的人脸鉴别技术不加任何创新手段直接运用在面像鉴别门禁和考勤系统中，因而出现了实现难度高、鉴别成功率低、鉴别判断时间长、对设备要求高等问题。

(三)发明内容

为了克服已有门禁和考勤装置的人脸鉴别成功率低、实现难度高、鉴别判断时间长、安装不方便、实施成本高的不足，本发明提供一种鉴别成功率高、易于实现、鉴别判断速度快、安装方便和实施成本低的基于人脸鉴别技术的门禁和考勤装置。

本发明解决其技术问题所采用的技术方案是：

一种基于人脸鉴别技术的门禁和考勤装置，包括用于读取人脸图像的摄像头、用于采集传送视频信息的嵌入式系统、用于输入身份信息的输入设备和用于进行图像鉴别和员工考勤管理的计算机，所述的摄像头连接嵌入式系统，所述的嵌入式系统连接输入设备，所述的嵌入式系统与计算机数据连接，所述的计算机包括：图像获取模块，用于获取嵌入式系统采集的视频图像；人脸图像库，用于存储样本的人脸图像；

所述的门禁和考勤装置还包括用于确认人脸正面位置的镜面，所述的摄像头位于镜面的上方，所述摄像头的最佳视觉范围与镜面相匹配；

所述的计算机还包括：

人脸检测定位模块，用于确定人脸的确切位置，将人脸从背景中分离出来，输出为分割好的人脸局部图像；将RGB色彩格式转化成YCbCr色彩格式，然后经过非线性分段色彩变换得到YCb＇Cr＇色彩空间；RGB坐标空间到YCbCr坐标空间以及YCbCr坐标空间到YCb＇Cr＇坐标空间的变换公式如下：

Y＝0.29990*R+0.5870*G+0.1140*B

Cr(Y)＝0.5000*R-0.4187*G-0.0813*B+128

Cb(Y)＝-0.1787*R-0.3313*G+0.5000*B+128                (11)

$C_i^{\&prime;}\left(Y\right)=\left\{\begin{array}{cc}{C}_i\left(Y\right)& \mathrm{if\; Y}\&Element;[K_l,K_h]\\ (C_i\left(Y\right)-\stackrel{\&OverBar;}{C_i}\left(Y\right))\frac{W_{C_i}}{W_{C_i}\left(Y\right)}+{\stackrel{\&OverBar;}{C}}_i\left(Y\right)& \mathrm{if\; Y}<K_l\mathrm{or\; Y}>K_h\end{array}\right.---\left(12\right)$

其中i代表b或者r，

和

表示肤色区域的中轴线，用下列公式来计算：

$\stackrel{\&OverBar;}{C_b}\left(Y\right)=\left\{\begin{array}{cc}108+\frac{(K_l-Y)(118-108)}{K_l-Y_{\min }}& \mathrm{if\; Y}<K_l\\ 108+\frac{(Y-K_h)(118-108)}{Y_{\max }-K_h}& \mathrm{if\; Y}>K_h\end{array}\right.$

$\stackrel{\&OverBar;}{C_r}\left(Y\right)=\left\{\begin{array}{cc}154-\frac{(K_l-Y)(154-144)}{K_l-Y_{\min }}& \mathrm{if\; Y}<K_l\\ 154+\frac{(Y-K_h)(154-132)}{Y_{\max }-K_h}& \mathrm{if\; Y}>K_h\end{array}\right.$

K_l和K_h是非线形分段色彩变换的分段域值；Y_min和Y_max是由根据某地区的人脸实验数据得到的肤色聚类区域中Y分量的最小和最大值；

和表示肤色区域的宽度：

$W_{C_i}\left(Y\right)=\left\{\begin{array}{cc}{\mathrm{WL}}_{C_i}+\frac{(Y-Y_{\min })(W_{C_i}-{\mathrm{WL}}_{C_i})}{K_l-Y_{\min }}& \mathrm{if\; Y}<K_l\\ {\mathrm{WH}}_{C_i}+\frac{(Y_{\max }-Y)(W_{C_i}-{\mathrm{WH}}_{C_i})}{Y_{\max }-K_h}& \mathrm{if\; Y}>K_h\end{array}\right.$

是常数，分别为： $W_{C_b}=46.97,$ ${\mathrm{WL}}_{c_b}=23,$ ${\mathrm{WH}}_{c_b}=14,$ $W_{C_r}=38.76,$ ${\mathrm{WL}}_{c_r}=20,$ ${\mathrm{WH}}_{c_r}=10;$

图像预处理模块，用于对抽取的人脸图像进行几何归一化、消除噪声和灰度归一化处理，统一人脸大小和亮度；

人脸训练模块，用于将图像数据库中的人脸图像通过PCA方法投影到子空间，使图像空间转化为最佳的描述特征空间，Fisher脸算法的投影矩阵为：

${W_{\mathrm{opt}}}^T=W_{\mathrm{fld}}^T{W}_{\mathrm{pca}}^T---\left(1\right)$

式中：

W_pca＝arg max|W^T S_TW|

$W_{\mathrm{fld}}=\arg \max \left|\frac{W^T{W}_{\mathrm{pca}}^T{S}_B{W}_{\mathrm{pca}}W}{W^T{W}_{\mathrm{pca}}^T{S}_W{W}_{\mathrm{pca}}W}\right|$

列向量是正交向量，称为Fisher脸，训练集中所有人脸图像投影到W_opt的列向量上得到每幅人脸图像的一组特征；

再采用Fisher线性判别分析将MEF空间转化为最佳鉴别特征空间，同类样本尽量密集，不同的类样本尽量分开，并得到鉴别时所用的人脸参数；

人脸鉴别模块，用于将提取的人脸参数与当前的人员的图像训练的人脸参数做比较，可信度超过指定阈值M，则比对成功，身份得到确认。

进一步，在所述的人脸训练模块中，每个人脸训练样本的分辨率为m*n，它为一个mn的列向量，所有训练样本的总数为N，训练样本集中的总人数为P；单个人脸训练样本用

对表示，i表示第i个人，k表示第i个人的第k个样本；第I个人共有n_i个训练样本，可见N＝n₁+n₂+…+n_p；待鉴别的人脸样本用y表示，且样本的分辨率与训练样本相同；训练的算法为：

Step1：输入n个人脸训练样本对，i＝1，2，...，p；k＝1，2，...n；

Step2：计算所有样本的均值向量m以及第i类人脸样本的均值向量(第i个人的平均图像向量)

$m=\frac{1}{N}\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_i^k\&Element;R^{\mathrm{mn}\&times;1}---\left(2\right)$

$m_i=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_i^k\&Element;R^{\mathrm{mn}\&times;1}---\left(3\right)$

Step3：求K-L变换的产生矩阵

$S_b=\underset{i=0}{\overset{P-l_i}{\mathrm{\&Sigma;}}}P\left({\mathrm{\&omega;}}_i\right)(m_i-m){(m_i-m)}^T---\left(4\right)$

上式中P(ω_i)是ω_i(i＝1，2，...，c)类模式的先验概率；

Step4：根据SVD的理论，计算类间散布矩阵S_b的特征值λ_i和与之对应的特征向量u_i；

Step5：取最大的前a(a≤p)个特征值对应的特征向量，构造矩阵

U＝[u₁，u₂，…，u_a]∈R^mn×a               (5)

Step6：计算每一个人脸训练样本在u₁，u₂，…，u_a所形成的子空间下的投影，记

在投影后为 $z_i^k\&Element;R^{a\&times;1},$ 则有公式(6)

$Z=|z_1^1,z_1^2,\&CenterDot;\&CenterDot;\&CenterDot;,z_1^{n_1},z_2^1,\&CenterDot;\&CenterDot;\&CenterDot;,z_p^{n_p}|\&Element;R^{a\&times;N}---\left(6\right)$

Step7：计算各类人脸样本在子空间下的均值向量m_pcat和所有类的均值向量m_pca，计算公式如(7)、(8)所示：

$m_{\mathrm{pcai}}=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{z}_i^k\&Element;R^{a\&times;1},i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,n_c---\left(7\right)$

$m_{\mathrm{pca}}=\underset{i=1}{\overset{p_i}{\mathrm{\&Sigma;}}}{m}_{\mathrm{pcai}}\&Element;R^{a\&times;1}---\left(8\right)$

Step8：计算子空间下的总类内散布矩阵S_w及类间散布矩阵S_b，计算公式如(9)、(10)所示：

$S_w=\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}{S}_i=\underset{i=1}{\overset{P_i}{\mathrm{\&Sigma;}}}\left[\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}(z_i^k-m_{\mathrm{pcai}}){(z_i^k-m_{\mathrm{pcai}})}^T\right]\&Element;R^{a\&times;a}---\left(9\right)$

$S_b=\underset{i=1}{\overset{P_i}{\mathrm{\&Sigma;}}}(m_{\mathrm{pcai}}-m_{\mathrm{pca}}){(m_{\mathrm{pcai}}-m_{\mathrm{pca}})}^T\&Element;R^{a\&times;a}---\left(10\right)$

Step9：根据Fisher准则函数推知

，它是矩阵S_b相对于矩阵S_w的广义特征值问题，求解S_b相对于矩阵S_w的广义特征向量，w^*，i＝1，2，…，p

Step10：取广义特征向量组成矩阵W，和矩阵U相乘得到新矩阵T，即T＝UW，T的列向量是训练的结果，保留T待鉴别时使用；

Step11：计算每个人的平均脸在子空间T下的投影meanS，保留meanS作为此类样本的投影坐标系数，待鉴别时使用；

Step12：采用欧氏距离作为相似性度量的方法，根据拒识率确定相似性阈值，保留阈值待鉴别时使用；

在所述的人脸鉴别模块中，鉴别的算法为：

Step1：计算待鉴别样本y在t₁，t₂，…，t_c-1所生成的子空间下的投影坐标系数y；

Step2：计算y与此类样本对应的投影坐标系数meanS间的相似性度量值d；

Step3：比较d与训练过程中得到的相似性阈值M的大小，如果d比阈值M小，则判待鉴别人脸样本通过，否则拒识。

所述的人脸训练模块还包括：投影坐标系数的取值确定单元，用于确定投影坐标的子空间的维数。

所述的人脸训练模块还包括：相似度阈值设定单元，用于选取阈值大小，依照错误通过率和错误拒绝率确定相似度阈值M。

所述的人脸训练模块还包括：自适应更新人脸特征参数单元，用于利用每次对人脸鉴别过程中所取得的人脸图像，对人脸图像库中的人脸图像进行更新，对人脸特征参数库中的人脸特征参数进行更新，用最新取得的人脸图像以及人脸图像的特征参数去替换最陈旧的人脸图像以及人脸图像的特征参数；

所述的人脸鉴别模块还包括：多次采集人脸图像并进行人脸鉴别单元，用于在输入设备有输入时开始采集人脸图像并将其保存在嵌入式系统的存储单元中，当使用者输入完身份信息并按下发送键时再采集人脸图像并同时将原先保存在嵌入式系统的存储单元中的人脸图像一起发送给后台计算机，后台计算机得到两幅人脸图像后，进行人脸鉴别计算，同时嵌入式系统采集人脸图像，并将人脸图像再次发送给后台计算机进行人脸鉴别；首先对在使用者按下发送键时所采集的人脸图像进行鉴别，如果鉴别通过，结束；如果第一次鉴别没有通过接着对第二次所采集的人脸图像进行第二次人脸鉴别，如果鉴别通过，结束；如果还是没有通过接着对第三次所采集的人脸图像进行第三次人脸鉴别。

所述的图像预处理模块包括：

去噪声处理单元，用于采用基于像素“密度”的滤波方法来去除噪声，类似“卷积”的滤波方法在以每一个象素为中心的5*5邻域内统计肤色像素的个数，超过半数时中心点保留为肤色，否则认为是非肤色；

确定最大的区域单元，用于对经过去噪声处理后的肤色分割图，按照八连接边沿规则标记出图中的对象，计算各个对象的面积，保留面积最大的对象，并对其进行填充，得到了滤波填充以后的肤色分割图像；

垂直投影单元，用于根据公式(13)对滤波填充以后的肤色分割图像进行垂直投影，并计算各列非零投影值的均值Mean；

$\mathrm{mean}=\frac{\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}{P}_y\left(x\right)}{\mathrm{num}}---\left(13\right)$

其中num为P_y(x)中的非零点的数目；

选取阈值为Mean的一半，如果投影值大于阈值，则保留；否则置0；保留面积最大的区域作为最后的投影输出；

确定人脸宽度单元，用于对上述得到的垂直投影图，从左往右找第一个非0点，其对应的列数即为人脸的左边界；同样，从右往左找第一个非0点，其对应的列数为人脸的右边界，左右边界之间的距离就是人脸的宽度；

确定头顶单元，用于对上述得到的垂直投影图，从上往下，寻找第一个肤色像素点数目大于15的行，确定此行即为头顶；

得到人脸矩形区域单元，用于通过取人脸高度＝人脸宽度*1.4，根据上面步骤中确定的头顶以及人脸宽度对应原图，切割出最后的人脸矩形区域。

所述的门禁和考勤装置还包括照明灯光单元，所述的照明灯光单元设置在镜面的上方，所述的照明灯单元位于摄像头的上方。

所述的嵌入式系统包括：图像记录模块，用于将待测者的视频信息记录下来；图像处理模块，用于将记录下来的视频数据进行压缩编码、复用以及调制成压缩视频数据；第一无线收发模块，用于依照通信标准，发送压缩的视频数据；

所述的计算机包括：第二无线收发模块，用于依照通信标准，接收压缩的视频数据；图像解压处理模块，用于将接收的数据进行解压缩、解复用以及解调，恢复成视频数据。

所述的用于视频图像处理的嵌入式系统通过网络与计算机连接。

本发明的技术构思为：人脸鉴别技术是一种一对一的比对，是一种身份的确认，在这种模式下，人脸特征信息存储在人脸图像库和人脸特征参数库中，人脸鉴别技术只需要简单地将实时的人脸数据与存储的人脸特征参数相比对，如果可信度超过一个指定的M值，则比对成功，身份得到确认。本专利中的应用情形是访问者提供一个ID(员工号)，同时根据该ID(员工号)从存储的人脸特征参数库中自动获取该访问者的人脸特征参数，并与实时采集的人脸图像并经过特征提取后的人脸特征参数进行相比较，从而判断此访问者是否与所提供的ID对应的个体为同一个人。人脸鉴别的运算是在后台计算机上执行的，前台嵌入式系统将摄像头获得的人脸图像以及访问者输入的ID(员工号)通过无线网络传送给后台计算机，后台计算机根据传送过来的ID以及包含着人脸的图像进行人脸鉴别；

附图2是在后台计算机上实现的人脸鉴别的主要功能模块：1)图像获取模块，该模块完成获取图像，图像来自于嵌入式系统；2)人脸检测定位模块，该模块找到人脸的确切位置，并进一步将人脸从背景中分离出来，输出为分割好的人脸局部图像，这一部分的工作在整个鉴别过程是非常重要，在特定情况下这部分的工作会变得比较简单，本发明中通过控制具体摄像条件(保证摄像的人脸是正面、光照条件不变、图像背景尽可能简单)，将其简单化，使得人脸的定位比较容易；3)图像预处理模块，该模块的主要作用在于尽可能的去除或者减小光照、成像系统、外部环境等等对于待处理图像的干扰，为后续处理提供高质量的图像。这部分完成对抽取的人脸图像的几何归一化、消除噪声和灰度归一化等处理，使不同图像中人脸大小和亮度统一以便在同一条件下完成训练和鉴别；4)特征提取和选择模块，该模块按上述图像预处理后的人脸图像中按照某种策略抽取出用来鉴别的特征，将原始的人脸空间中的数据映像到特征空间。由于原始的图像数据量是相当大的，为了有效地实现分类鉴别，就要对原始数据进行变换，得到最能反映分类本质的特征。如何提取稳定和有效的特征是鉴别系统成败的关键，本专利采用统计特征脸鉴别方法，该特征脸鉴别方法是利用图像相关矩阵的特征向量构造特征脸；5)训练模块，该模块执行结束后将生成可用于鉴别的参数，人脸的鉴别可以看成将待鉴别的人脸对象归到某一类中，因此训练模块的作用就是进行分类鉴别的分类器，在人脸样本训练集基础上确定某个判决规则，使按这种判决规则对被人脸鉴别对象进行分类所造成的错误鉴别率最小或引起的损失最小；6)鉴别模块，根据训练所得的参数完成人脸的判别工作，给出最后的鉴别结果，并做出相应的判断。大体上人脸鉴别系统一般可以划分为两个过程，如附图2所示，虚线上半部分是训练过程，该过程完成了分类器的设计；虚线下半部分是人脸鉴别过程。

无线视频传输是将视频信息数字化后经压缩编码、复用、调制以后送信道传输，然后通过解压缩、解复用、解调后送到人事管理部门的计算机中进行图像处理，整个过程采用的是全数字处理技术，由于采用了数字信号处理技术与前向纠错技术(FEC)，可使其具有较高的信号接收灵敏度并能保证信号的可靠传输，具有视频传输抗干扰性能、安装维护等方面的优点更加明显。

实时无线视频传输除了具有优越的抗干扰性能、保持图像信息清晰稳定以外，还具有设备小巧不需附带其他设施、价格适中等优点，可以通过适当的地址编码控制实现点对点、点对多点、单向和双向实时的多媒体通信。由于全数字实时无线视频传输系统不需附带其他设施且独立性好，不需要任何布线等安装过程，因此采用实时无线视频传输技术能方便地实现人脸鉴别技术的门禁和考勤。

本发明的有益效果主要表现在：1、人脸鉴别成功率高、实施方便、人脸鉴别时间短；2、安装方便；3、实施成本低；4、采用的IEEE802.11b无线通信作为人脸鉴别技术的门禁和考勤装置的视音频通信，适用性好；5、随着使用者年龄的增长会自动更新人脸图像库以及人脸特征数据库，准确性高。

(四)附图说明

图1是基于无线视频和人脸鉴别技术的门禁和考勤装置的结构框图。

图2是人脸鉴别训练以及鉴别流程图。

图3是Fisher脸算法流程框图。

图4是分割人脸区域处理流程框图。

图5是人脸区域分割后的示意图。

图6是前台嵌入式系统与后台计算机的无线通信结构图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图6，一种基于人脸鉴别技术的门禁和考勤装置，包括用于读取人脸图像的摄像头6、用于采集传送视频信息的嵌入式系统7、用于输入身份信息的输入设备3和用于进行图像鉴别和员工考勤管理的计算机9，所述的摄像头6连接嵌入式系统7，所述的嵌入式系统7连接输入设备3，所述的嵌入式系统3通过通信网络8与计算机9数据连接，所述的门禁和考勤装置还包括用于确认人脸正面位置的镜面1，所述的摄像头6位于镜面1的上方，所述摄像头6的最佳视觉范围与镜面1相匹配；所述的计算机9包括：图像获取模块，用于获取嵌入式系统采集的视频图像；人脸图像库，用于存储样本的人脸图像；人脸检测定位模块，用于确定人脸的确切位置，将人脸从背景中分离出来，输出为分割好的人脸局部图像；将RGB色彩格式转化成YCbCr色彩格式，然后经过非线性分段色彩变换得到YCb＇Cr＇色彩空间；RGB坐标空间到YCbCr坐标空间以及YCbCr坐标空间到YCb＇Cr＇坐标空间的变换公式如下：

Y＝0.29990*R+0.5870*G+0.1140*B

Cr(Y)＝0.5000*R-0.4187*G-0.0813*B+128

Cb(Y)＝-0.1787*R-0.3313*G+0.5000*B+128               (11)

$C_i^{\&prime;}\left(Y\right)=\left\{\begin{array}{cc}{C}_i\left(Y\right)& \mathrm{if\; Y}\&Element;[K_l,K_h]\\ (C_i\left(Y\right)-\stackrel{\&OverBar;}{C_i}\left(Y\right))\frac{W_{C_i}}{W_{C_i}\left(Y\right)}+{\stackrel{\&OverBar;}{C}}_i\left(Y\right)& \mathrm{if\; Y}<K_l\mathrm{or\; Y}>K_h\end{array}\right.---\left(12\right)$

其中i代表b或者r，

和表示肤色区域的中轴线，用下列公式来计算：

$\stackrel{\&OverBar;}{C_b}\left(Y\right)=\left\{\begin{array}{cc}108+\frac{(K_l-Y)(118-108)}{K_l-Y_{\min }}& \mathrm{if\; Y}<K_l\\ 108+\frac{(Y-K_h)(118-108)}{Y_{\max }-K_h}& \mathrm{if\; Y}>K_h\end{array}\right.$

$\stackrel{\&OverBar;}{C_r}\left(Y\right)=\left\{\begin{array}{cc}154-\frac{(K_l-Y)(154-144)}{K_l-Y_{\min }}& \mathrm{if\; Y}<K_l\\ 154+\frac{(Y-K_h)(154-132)}{Y_{\max }-K_h}& \mathrm{if\; Y}>K_h\end{array}\right.$

K_l和K_h是非线形分段色彩变换的分段域值；Y_min和Y_max是由根据某地区的人脸实验数据得到的肤色聚类区域中Y分量的最小和最大值；

和

表示肤色区域的宽度：

$W_{C_i}\left(Y\right)=\left\{\begin{array}{cc}{\mathrm{WL}}_{C_i}+\frac{(Y-Y_{\min })(W_{C_i}-{\mathrm{WL}}_{C_i})}{K_l-Y_{\min }}& \mathrm{if\; Y}<K_l\\ {\mathrm{WH}}_{C_i}+\frac{(Y_{\max }-Y)(W_{C_i}-{\mathrm{WH}}_{C_i})}{Y_{\max }-K_h}& \mathrm{if\; Y}>K_h\end{array}\right.$

是常数，分别为： $W_{C_b}=46.97,$ ${\mathrm{WL}}_{c_b}=23,$ ${\mathrm{WH}}_{c_b}=14,$ $W_{C_r}=38.76,$ ${\mathrm{WL}}_{c_r}=20,$ ${\mathrm{WH}}_{c_r}=10;$

图像预处理模块，用于对抽取的人脸图像进行几何归一化、消除噪声和灰度归一化处理，统一人脸大小和亮度；

人脸训练模块，用于将图像数据库中的人脸图像通过PCA方法投影到子空间，使图像空间转化为最佳的描述特征空间,Fisher脸算法的投影矩阵为：

${W_{\mathrm{opt}}}^T=W_{\mathrm{fld}}^T{W}_{\mathrm{pca}}^T---\left(1\right)$

式中：

W_pca＝arg max|W^T S_TW|

$W_{\mathrm{fld}}=\arg \max \left|\frac{W^T{W}_{\mathrm{pca}}^T{S}_B{W}_{\mathrm{pca}}W}{W^T{W}_{\mathrm{pca}}^T{S}_W{W}_{\mathrm{pca}}W}\right|$

列向量是正交向量，称为Fisher脸，训练集中所有人脸图像投影到W_opt的列向量上得到每幅人脸图像的一组特征；

再采用Fisher线性判别分析将MEF空间转化为最佳鉴别特征空间，同类样本尽量密集，不同的类样本尽量分开，并得到鉴别时所用的人脸参数；

人脸鉴别模块，用于将提取的人脸参数与当前的人员的图像训练的人脸参数做比较，可信度超过指定阈值M，则比对成功，身份得到确认。

图1所示的是基于无线视频和人脸鉴别技术的门禁和考勤装置的结构框图，所述的门禁和考勤装置主要由两个部分组成，既前台的视频图像采集以及人机对话部分，后台的人脸鉴别以及数据存储部分，前台的嵌入式系统与后台的计算机是通过无线网络来实现通信的；所述的前台的视频图像采集以及人机对话部分包括镜面1、声音播放单元2、输入键盘3、照明灯光单元4、摄像单元6、嵌入式系统7，声音播放单元2、输入键盘3、摄像单元6通过相应的接口与嵌入式系统7相连接，嵌入式系统7通过无线网络通信单元8与后台计算机9进行通信连接；

所述的镜面用于人脸摄像时的定位，保证所拍摄的人脸图像是正面的且在镜面的范围内，使用者在进行身份鉴别时使用键盘输入本人的ID号码，同时在镜面上有一个投影，如图1中的5，从而保证了摄像单元6正对着人脸的摄像，同时也框定了在摄像图像中人脸的位置，为人脸定位以及鉴别提供了良好的外部条件；

所述的声音播放单元用于人机的交互，给使用者一些友好的提示；

所述的输入键盘用于使用者输入员工的ID号码以及外来人员输入来访信息，键盘的位置安置在镜面的右侧中上部，使得使用者能非常自然地使用键盘的同时进行摄像；

所述的照明灯光单元用于保证在摄像时照明光线的一致性，提高人脸的鉴别率；

所述的嵌入式系统，用于采集人脸视频图像、传输视频信息以及其他一些信息、控制声音播放单元的声音输出；

所述的无线网络通信单元，用于无线局域网内的无线通信，无线通信模块遵守IEEE802.11b无线通信协议；

所述的后台计算机用于将前台传送过来的人脸图像进行鉴别，并将鉴别的结果通过无线网络通信单元传送给前台嵌入式系统；

所述的嵌入式系统，具体选择三星S3C2410X为嵌入式微处理器，结合无线局域网技术，设计基于无线视频和人脸鉴别技术的门禁和考勤装置，实现视频数据采集和无线传输。嵌入式系统中包括了软件与硬件技术，其中嵌入式Linux软件是核心技术，它能实现视频服务器的功能。

所述的嵌入式微处理器S3C2410X是一款基于ARM920T内核的16/32位RISC嵌入式微处理器，该处理器是为手持设备以及高性价比、低功耗微控制器而设计的。它采用了一种叫做AMBA(Advanced Microcontroller Bus Architecture)的新总线架构。S3C2410X内部的主要资源有内存管理单元MMU、系统管理器、各为16KB的指令和数据缓存、LCD控制器(STN& TFT)、NAND FLASH Boot Loader、3通道UART、4通道DMA、4个PWM时钟、1个内部时钟、8通道10为ADC、触摸屏接口、多媒体卡接口、I2C和I2S总线接口、2个USB主机接口、1个USB设备接口、SD主接口、2SPI接口、PLL时钟发生器以及通用I/O端口等。

所述的嵌入式微处理器S3C2410X内部包含一个叫MMU的内存管理单元，可以实现虚拟存储空间到物理存储空间的映射。通常嵌入式系统的程序存放在ROM/FLASH中，系统断电后程序能够得到保存，但ROM/FLASH与SDRAM相比，速度要慢的多，而且嵌入式系统中通常把异常中断向量表存放在RAM中，利用内存映射机构可以解决这种需要。

所述的ROM/FLASH采用三星公司64MB的K9S1208VOM。它可进行10万次的编程/擦除，数据保存长达10年，被用来装载操作系统镜像和大容量的数据。

所述的SDRAM是采用三星公司的K4S561632C，用来运行操作系统和存储程序运行过程中所需要的数据，它是4M*16bit*4bank的同步DRAM，容量为32MB。用两片K4S561632C实现位扩展，使数据总线宽度为32bit。

所述的嵌入式软件系统主要包括操作系统、TCP/IP协议的移植、驱动程序的安装以及用户应用程序的编写等。

本发明中采用了Linux作为嵌入式操作系统，Linux是从UNIX发展而来，继承了UNIX大多数的优点，Linux公开的内核源代码使得它成为目前最流行的操作系统，并且Linux可以从应用出发裁剪其硬件软件，这对面向基于无线视频和人脸鉴别技术的门禁和考勤装置这种特殊需要来说十分必要，这里我们将其称为定制操作系统，定制步骤如下：(1)编写板基支持包BSP；(2)裁剪和配置操作系统的各个部件，并修改相应的配置文件；(3)编译Kernel、组件和BSP，生成操作系统镜像文件；(4)将镜像文件下载到目标板上，进行调试。

进一步，视频信息是要通过TCP/IP协议经无线局域网以数据打包、发送的方式来进行传输的，因此要在操作系统支持下实现TCP/IP协议，就需要进行任务划分，可以将TCP/IP的实现划分为4个任务来实现：①IP任务，主要用来解决IP分片的重组；②TCP输入任务，主要用来处理接收到的TCP报文段；③TCP输出任务，主要用来将要输出的数据打包、发送；④TCP定时器任务，主要用来为各种时延事件(如重发事件)提供时钟。

更进一步，基于无线视频和人脸鉴别技术的门禁和考勤装置中需要有两个USB接口，其中一个USB接口是将摄像头与S3C2410X进行连接，另一个USB接口是将无线网卡与S3C2410X进行连接，由于S3C2410X自带USB主从接口，不需要专门的USB芯片支持，只要对其安装驱动程序即可进行USB传输数据。

所述的USB驱动程序包含如下几个部分：(1)创建设备，创建设备函数带两个参数调用，一个参数是指向驱动程序对象的指针，另一个参数是指向物理设备对象的指针；(2)关闭设备；(3)读取设备数据，当客户应用程序有读取设备数据的要求时，系统将此要求以IRP_MJ_READ的IRP形式传递给功能驱动程序，由设备的D12Meter_Read程序执行，然后再由D12Meter_Read指定USB总线驱动程序直接与设备实现信息交互；(4)对设备写入数据，当客户应用程序有写设备数据的要求时，系统将此要求以IRP_MJ_WRITE的IRP形式传递给功能驱动程序，并由D12Meter_Write执行，然后再由D12Meter_Write指定USB总线驱动程序直接与设备实现信息交互。USB驱动程序通过安装文件(.inf文件)中PID(产品鉴别号)和VID(厂商鉴别号)鉴别USB设备。

当嵌入式操作系统装载完成后，就可以安装无线网卡的驱动程序和其他相应的应用程序。将无线网卡的驱动程序作为一个模块打包到操作系统中，可避免系统掉电后每次都要重装无线网卡驱动程序。

作为一种基于人脸鉴别技术的门禁和考勤装置，人脸鉴别技术是一种一对一的比对，是一种身份的确认，在这种模式下，人脸特征信息存储在人脸图像库和人脸特征参数库中，人脸鉴别技术只需要简单地将实时的人脸数据与存储的人脸特征参数相比对，如果可信度超过一个指定的M值，则比对成功，身份得到确认。本专利中的应用情形是访问者提供一个ID(员工号)，同时根据该ID(员工号)从存储的人脸特征参数库中自动获取该访问者的人脸特征参数，并与实时采集的人脸图像并经过特征提取后的人脸特征参数进行相比较，从而判断此访问者是否与所提供的ID对应的个体为同一个人。人脸鉴别的运算是在后台计算机9上执行的，前台嵌入式系统将摄像头获得的人脸图像以及访问者输入的ID(员工号)通过无线网络传送给后台计算机，后台计算机根据传送过来的ID以及包含着人脸的图像进行人脸鉴别；

附图2是在后台计算机9上实现的人脸鉴别的主要功能模块：1)图像获取模块，该模块完成获取图像，图像来自于嵌入式系统；2)人脸检测定位模块，该模块找到人脸的确切位置，并进一步将人脸从背景中分离出来，输出为分割好的人脸局部图像，这一部分的工作在整个鉴别过程是非常重要，在特定情况下这部分的工作会变得比较简单，本发明中通过控制具体摄像条件(保证摄像的人脸是正面、光照条件不变、图像背景尽可能简单)，将其简单化，使得人脸的定位比较容易；3)图像预处理模块，该模块的主要作用在于尽可能的去除或者减小光照、成像系统、外部环境等等对于待处理图像的干扰，为后续处理提供高质量的图像。这部分完成对抽取的人脸图像的几何归一化、消除噪声和灰度归一化等处理，使不同图像中人脸大小和亮度统一以便在同一条件下完成训练和鉴别；4)特征提取和选择模块，该模块按上述图像预处理后的人脸图像中按照某种策略抽取出用来鉴别的特征，将原始的人脸空间中的数据映像到特征空间。由于原始的图像数据量是相当大的，为了有效地实现分类鉴别，就要对原始数据进行变换，得到最能反映分类本质的特征。如何提取稳定和有效的特征是鉴别系统成败的关键，本专利采用统计特征脸鉴别方法，该特征脸鉴别方法是利用图像相关矩阵的特征向量构造特征脸；5)训练模块，该模块执行结束后将生成可用于鉴别的参数，人脸的鉴别可以看成将待鉴别的人脸对象归到某一类中，因此训练模块的作用就是进行分类鉴别的分类器，在人脸样本训练集基础上确定某个判决规则，使按这种判决规则对被人脸鉴别对象进行分类所造成的错误鉴别率最小或引起的损失最小；6)鉴别模块，根据训练所得的参数完成人脸的判别工作，给出最后的鉴别结果，并做出相应的判断。大体上人脸鉴别系统一般可以划分为两个过程，如附图2所示，虚线上半部分是训练过程，该过程完成了分类器的设计；虚线下半部分是人脸鉴别过程。

人脸随年龄增长而变化，人脸图像受光照、成像角度及成像距离等影响，这诸多因素使得人脸鉴别技术复杂化。因此对于人脸鉴别技术的门禁和考勤装置中需要采用一种特殊手段来提高鉴别成功率、减小错误鉴别率，具体做法是在鉴别算法上采用基本与人脸表情无关的Fisher脸判别算法；由于人脸随年龄增长而变化因此在图像数据库以及人脸特征数据库中需要有一种更新策略，使得人脸特征数据也随着年龄增长而得到及时更新；在消除人脸图像受光照、成像角度及成像距离的影响方面，人脸鉴别技术的门禁和考勤装置中设置了一个镜面，镜面的上面是摄像装置，镜面的中部右边是输入键盘，输入键盘的作用是对员工要求输入员工的ID号，对外来人员要求输入来访键，采用这种方式能保证摄像装置所拍摄的人脸图像是正面的且成像距离也能控制在一定的范围内；为了减少光照对人脸图像鉴别率的影响，在所述的镜面的上面配有一个照明器件，使得所拍摄的人脸部位图像受光照的影响降低到最低限度。

所述的人脸检测定位模块，用于将人脸的肤色来定位脸部以便得到矩形区域，人脸的肤色是人脸表面最为显著的特征之一，研究表明，人的皮肤颜色分布在颜色空间聚类在一个相对较小的范围内，本专利中用肤色来定位脸，该检测方法具有姿态不变性、简便易行的特点。其关键技术是构建一种实际利用的肤色模型，本专利中采用由Anil K.Jain等提出的非线性分段色彩变换的肤色模型，通过该非线性分段色彩变换得到的肤色模型，该模型属于色彩空间中的聚类模型。

YCbCr色彩格式具有与人类视觉感知过程相类似的构成原理，具有可以将色彩中的亮度分量分离出来的优点，但是在YCbCr色彩空间中，肤色聚类是呈两头尖的纺锤形状，也就是在Y值较大和较小的部分，肤色聚类区域也随之缩减，因此必须考虑Y值不同造成的影响，从而对YCbCr色彩格式进行非线性分段色彩变换以提高肤色模型的鲁棒性。在摄像装置得到的是RGB色彩格式，首先要将RGB色彩格式转化成YCbCr色彩格式，然后经过非线性分段色彩变换得到YCb＇Cr＇色彩空间；RGB坐标空间到YCbCr坐标空间以及YCbCr坐标空间到YCb＇Cr＇坐标空间的变换公式如下：

Y＝0.29990*R+0.5870*G+0.1140*B

Cr(Y)＝0.5000*R-0.4187*G-0.0813*B+128        (11)

Cb(Y)＝-0.1787*R-0.3313*G+0.5000*B+128

$C_i^{\&prime;}\left(Y\right)=\left\{\begin{array}{cc}{C}_i\left(Y\right)& \mathrm{if\; Y}\&Element;[K_l,K_h]\\ (C_i\left(Y\right)-\stackrel{\&OverBar;}{C_i}\left(Y\right))\frac{W_{C_i}}{W_{C_i}\left(Y\right)}+{\stackrel{\&OverBar;}{C}}_i\left(Y\right)& \mathrm{if\; Y}<K_l\mathrm{or\; Y}>K_h\end{array}\right.---\left(12\right)$

其中i代表b或者r，

和

表示肤色区域的中轴线，可以用下列公式来计算：

$\stackrel{\&OverBar;}{C_b}\left(Y\right)=\left\{\begin{array}{cc}108+\frac{(K_l-Y)(118-108)}{K_l-Y_{\min }}& \mathrm{if\; Y}<K_l\\ 108+\frac{(Y-K_h)(118-108)}{Y_{\max }-K_h}& \mathrm{if\; Y}>K_h\end{array}\right.$

$\stackrel{\&OverBar;}{C_r}\left(Y\right)=\left\{\begin{array}{cc}154-\frac{(K_l-Y)(154-144)}{K_l-Y_{\min }}& \mathrm{if\; Y}<K_l\\ 154+\frac{(Y-K_h)(154-132)}{Y_{\max }-K_h}& \mathrm{if\; Y}>K_h\end{array}\right.$

K_l和K_h是非线形分段色彩变换的分段域值：K_l＝125，K_h＝188。Y_min和Y_max是由根据某地区的人脸实验数据得到的肤色聚类区域中Y分量的最小和最大值：Y_min＝16，Y_max＝235。

和

表示肤色区域的宽度：

$W_{C_i}\left(Y\right)=\left\{\begin{array}{cc}{\mathrm{WL}}_{C_i}+\frac{(Y-Y_{\min })(W_{C_i}-{\mathrm{WL}}_{C_i})}{K_l-Y_{\min }}& \mathrm{if\; Y}<K_l\\ {\mathrm{WH}}_{C_i}+\frac{(Y_{\max }-Y)(W_{C_i}-{\mathrm{WH}}_{C_i})}{Y_{\max }-K_h}& \mathrm{if\; Y}>K_h\end{array}\right.$

是常数，分别为： $W_{C_b}=46.97,$ ${\mathrm{WL}}_{c_b}=23,$ ${\mathrm{WH}}_{c_b}=14,$ $W_{C_r}=38.76,$ ${\mathrm{WL}}_{c_r}=20,$ ${\mathrm{WH}}_{c_r}=10.$

所述的图像预处理模块，用于去除或者减小光照、成像系统、外部环境等等对于待处理图像的干扰，为后续处理提供高质量的图像；在上述的人脸检测定位模块处理中得到肤色分割后的二值图后，接着要进行去噪声处理、得到最大的区域、垂直投影、确定人脸宽度、确定头顶等处理流程，最后得到人脸矩形区域；处理流程如附图4所示；所述的去噪声处理用于减少由于基于肤色模型的分割结果所带来的判断失误，因为肤色分割后的二值图中会存在一些噪声点。

所述的去噪声处理，在这里采用了基于像素“密度”的滤波方法来去除噪声。这是一种类似“卷积”的滤波方法。直观地讲，就是在以每一个象素为中心的5*5邻域内统计肤色像素的个数，超过半数时中心点保留为肤色，否则认为是非肤色。经过去噪声处理后可以比较好地去除图像中的噪声点；

所述的得到最大的区域，对经过去噪声处理后的肤色分割图，按照八连接边沿规则标记出图中的对象，计算各个对象的面积，保留面积最大的对象，并对其进行填充，得到了滤波填充以后的肤色分割图像；

所述的垂直投影，是根据公式(13)对滤波填充以后的肤色分割图像进行垂直投影，并计算各列非零投影值的均值Mean；

$\mathrm{Mean}=\frac{\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}{P}_y\left(x\right)}{\mathrm{num}}---\left(13\right)$

其中num为P_y(x)中的非零点的数目。

选取阈值为Mean的一半，如果投影值大于阈值，则保留；否则置0。这样可以基本去除耳朵部分。保留面积最大的区域作为最后的投影输出；

所述的确定人脸宽度，对于上述得到的垂直投影图，从左往右找第一个非0点，其对应的列数即为人脸的左边界；同样，从右往左找第一个非0点，其对应的列数为人脸的右边界。左右边界之间的距离就是人脸的宽度；

所述的确定头顶，对于上述得到的垂直投影图，从上往下，寻找第一个肤色像素点数目大于15的行，确定此行即为头顶；

所述的得到人脸矩形区域，是通过取人脸高度＝人脸宽度*1.4，根据上面步骤中确定的头顶以及人脸宽度对应原图，切割出最后的人脸矩形区域，如附图5所示。

所述的特征提取和选择模块，用于将上述图像预处理后的人脸图像中按照某种策略抽取出用来鉴别的特征，将原始的人脸空间中的数据映像到特征空间；本发明中采用了Fisher脸算法进行人脸的特征提取；

所述的Fisher脸算法，它是PCA与FLD相结合的一种算法，即首先利用PCA将高维空间的样本投影到低维空间以保证样本类内散布矩阵是非奇异的，然后再采用Fisher线性判别分析方法。如附图3所示。

具体做法是首先将人脸图像通过PCA方法投影到子空间，使图像空间转化为最佳的描述特征空间；然后再采用Fisher线性判别分析将MEF空间转化为最佳鉴别特征空间。

Fisher脸算法的投影矩阵为：

${W_{\mathrm{opt}}}^T=W_{\mathrm{fld}}^T{W}_{\mathrm{pca}}^T---\left(1\right)$

式中：

W_pca＝arg max|W^T S_TW|

$W_{\mathrm{fld}}=\arg \max \left|\frac{W^T{W}_{\mathrm{pca}}^T{S}_B{W}_{\mathrm{pca}}W}{W^T{W}_{\mathrm{pca}}^T{S}_W{W}_{\mathrm{pca}}W}\right|$

的列向量是正交向量，称为Fisher脸。训练集中所有人脸图像投影到W_opt的列向量上从而得到每幅人脸图像的一组特征，这些特征向量可以直接用于分类。

下面描述本专利中Fisher脸算法的具体实现步骤。先对样本和参数符号的意义做简略说明，再从人脸训练和鉴别两部分来进行阐述：

1)每个人脸训练样本(人脸图像)的分辨率为m*n，它可以看作是一个mn的列向量。

2)所有训练样本的总数为N，训练样本集中的总人数为P。

3)单个人脸训练样本用

对表示，i表示第i个人，k表示第i个人的第k个样本。

4)第I个人共有n_i个训练样本，可见N＝n₁+n₂+…+n_p。

5)待鉴别的人脸样本用y表示，且样本的分辨率与训练样本相同。

所述训练模块，用于将人脸进行分类；该模块执行结束后将生成可用于鉴别的参数，人脸的鉴别可以看成将待鉴别的人脸对象归到某一类中，因此该模块的作用就是进行分类鉴别的分类器；在训练模块中的训练过程分为两个阶段。第一阶段(Step1-Step6)主要完成的是PCA训练，它使样本从高维空间(mn维)压缩到低维空间(a维)，并且保留了高维空间的主要特征，第二阶段(Step7-Step12)是Fisher分类训练，它使同类样本尽量密集，不同的类样本尽量分开，并得到鉴别时所用的人脸参数。

Step1：输入n个人脸训练样本对，i＝1，2，...，p；k＝1，2，...n；

Step2：计算所有样本的均值向量m以及第i类人脸样本的均值向量(第i个人的平均图像向量)

$m=\frac{1}{N}\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_i^k\&Element;R^{\mathrm{mn}\&times;1}---\left(2\right)$

$m_i=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_i^k\&Element;R^{\mathrm{mn}\&times;1}---\left(3\right)$

Step3：求K-L变换的产生矩阵

$S_b=\underset{i=0}{\overset{P-l_i}{\mathrm{\&Sigma;}}}P\left({\mathrm{\&omega;}}_i\right)(m_i-m){(m_i-m)}^T---\left(4\right)$

上式中P(ω_i)是ω_i(i＝1，2，...，c)类模式的先验概率；

Step4：根据SVD的理论，计算类间散布矩阵S_b的特征值λ_i和与之对应的特征向量u_i；

Step5：取最大的前a(a≤p)个特征值对应的特征向量，构造矩阵

U＝[u₁，u₂，…，u_a]∈R^mn×a            (5)

Step6：计算每一个人脸训练样本在u₁，u₂，…，u_a所形成的子空间下的投影，记在投影后为 $z_i^k\&Element;R^{a\&times;1},$ 则有公式(6)

$Z=|z_1^1,z_1^2,\&CenterDot;\&CenterDot;\&CenterDot;,z_1^{n_1},z_2^1,\&CenterDot;\&CenterDot;\&CenterDot;,z_p^{n_p}|\&Element;R^{a\&times;N}---\left(6\right)$

Step7：计算各类人脸样本在子空间下的均值向量m_pcai和所有类的均值向量m_pca，计算公式如(7)、(8)所示：

$m_{\mathrm{pcai}}=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{z}_i^k\&Element;R^{a\&times;1},i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,n_c---\left(7\right)$

$m_{\mathrm{pca}}=\underset{i=1}{\overset{p_i}{\mathrm{\&Sigma;}}}{m}_{\mathrm{pcai}}\&Element;R^{a\&times;1}---\left(8\right)$

Step8：计算子空间下的总类内散布矩阵S_w及类间散布矩阵S_b，计算公式如(9)、(10)所示：

$S_w=\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}{S}_i=\underset{i=1}{\overset{P_i}{\mathrm{\&Sigma;}}}\left[\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}(z_i^k-m_{\mathrm{pcai}}){(z_i^k-m_{\mathrm{pcai}})}^T\right]\&Element;R^{a\&times;a}---\left(9\right)$

$S_b=\underset{i=1}{\overset{P_i}{\mathrm{\&Sigma;}}}(m_{\mathrm{pcai}}-m_{\mathrm{pca}}){(m_{\mathrm{pcai}}-m_{\mathrm{pca}})}^T\&Element;R^{a\&times;a}---\left(10\right)$

Step9：根据Fisher准则函数推知S_bw^*＝λS_ww^*，它是矩阵S_b相对于矩阵S_w的广义特征值问题，求解S_b相对于矩阵S_w的广义特征向量，w^*，i＝1，2，…，p

Step10：取广义特征向量组成矩阵W，和矩阵U相乘得到新矩阵T，即T＝UW，T的列向量是训练的结果，保留T待鉴别时使用。

Step11：计算每个人的平均脸在子空间T下的投影meanS，保留meanS作为此类样本的投影坐标系数，待鉴别时使用。

Step12：采用欧氏距离作为相似性度量的方法，根据拒识率确定相似性阈值，保留阈值待鉴别时使用。

所述的鉴别模块，用于鉴别人脸，根据上述训练所得的参数通过本模块完成个体人脸的鉴别工作，鉴别模块中主要核心内容是判别算法，由于鉴别过程与训练过程是密切相关的，在上述训练的基础上，判别算法可以描述为：

Step1：计算待鉴别样本y在t₁，t₂，…，t_c-1所生成的子空间下的投影坐标系数y。

Step2：计算y与此类样本对应的投影坐标系数meanS间的相似性度量值d。

Step3：比较d与训练过程中得到的相似性阈值的大小，如果d比阈值小，则判待鉴别人脸样本通过，否则拒识。

从上述的人脸鉴别方法来讲，影响人脸的鉴别率的主要问题是：人脸样本对应的投影坐标系数的取值方法；相似性阈值的大小的取值范围；能反映人脸随年龄等变化的自适应更新人脸特征参数的手段；人脸鉴别的正识率与拒识率是评价一个人脸鉴别系统的主要指标；

所述的投影坐标系数的取值方法，其关键点是投影坐标的子空间维数，鉴别率随着子空间维数的增加而逐渐增加，当子空间维数到一定数目时，鉴别率趋于稳定。子空间维数采用5以上17以下都能得到比较好的鉴别率，在该区间中随着子空间维数增加，鉴别率也增加，因此对于后台鉴别所采用的计算机计算能力比较高的情况下，本发明中对建议采用较高的子空间维数。

所述的相似度阈值，其选取的阈值大小决定了系统的安全性和效率；相似度阈值过大，会使本来有权限通过的人员不能得到认证，无法通过；而若相似度阈值过小，则使安全性降低，本无权通过的人员也得到认证。衡量相似度阈值好坏与否的指针主要有两个：在此阈值上的错误通过率和错误拒绝率。一般两者是相互制约的，错误通过率相对低时错误拒绝率会相对高，错误拒绝率相对低时错误通过率会相对高。本专利中设计的用户界面可根据拒识率的高低灵活地确定相似度阈值。

所述的自适应更新人脸特征参数的手段，是利用每次对人脸鉴别过程中所取得的人脸图像，对人脸图像库中的人脸图像进行更新，对人脸特征参数库中的人脸特征参数进行更新，更新的方式是用最新取得的人脸图像以及人脸图像的特征参数去替换最陈旧的人脸图像以及人脸图像的特征参数，更新的时间是利用晚间不使用门禁和考勤装置的时间段，比如凌晨开始，更新的开始时间可以由用户自己设定，如果没有设定的情况下，系统从凌晨开始自动启动自适应更新模块，使得人脸图像库中的人脸图像以及人脸特征参数库中的人脸特征参数保持在最新的状态；

从日常的考勤使用中，可以得到某员工的人脸鉴别的正识率、拒识率以及错误通过率和错误拒绝率，上述四个指标只有拒识率可以通过计算机的统计可以得到，而关于人脸鉴别的正识率、错误通过率和错误拒绝率需要靠人工的方式来确认，其中错误拒绝率是最容易进行统计的；为了减少错误拒绝率本发明中采用两种方法来解决：1)多次采集人脸图像、多次进行人脸鉴别的方法；2)利用错误拒绝人脸图像来更新图像库和特征参数库；

所述的多次采集人脸图像、多次进行人脸鉴别的方法，装置在采集人脸图像时，系统发现在考勤面板上的输入键盘有输入时开始采集人脸图像并将其保存在嵌入式系统的存储单元中，当使用者输入完自己的ID号并按下发送键时再采集人脸图像并同时将原先保存在嵌入式系统的存储单元中的人脸图像一起发送给后台计算机，后台计算机得到从前台输入的员工的ID号以及两幅人脸图像后，后台计算机根据ID号对员工表中的记录进行检索，得到该员工的姓名以及该员工的人脸特征信息，这时后台计算机进行人脸鉴别计算，同时将所得到的员工姓名通过网络传送给前台，前台嵌入式系统通过人机接口通知使用者，“***您的身份正在鉴别中，请等候”，同时前台嵌入式系统采集人脸图像，并将人脸图像再次发送给后台计算机进行人脸鉴别，这时后台计算机上存在着该员工的三幅人脸图像，后台计算机首先对在使用者按下发送键时所采集的人脸图像进行鉴别，如果鉴别通过不进行下面的处理，如果第一次鉴别没有通过接着对第二次所采集的人脸图像进行第二次人脸鉴别，如果还是没有通过接着对第三次所采集的人脸图像进行第三次人脸鉴别；凡是遇到一次人脸鉴别通过就认为身份鉴别，这样每次所采集的人脸图像都是独立事件，通过计算概率可以知道三次同时发生错误拒绝率要远远低于一次发生错误拒绝率；

同样要提高人脸鉴别的正识率，减少错误通过率也可以采用上述多次采集人脸图像、多次进行人脸鉴别的方法；

所述的利用错误拒绝人脸图像来更新图像库和特征参数库，具体做法是通过人事部门采用人工确认的方式来发现某个鉴别是错误拒绝，并将该错误拒绝的人脸图像替换一些人脸图像库中的最陈旧的人脸图像，并对该员工的人脸特征参数进行更新。

实施例2

其他方式与实施例1相同，在通信方面也可以采用有线网络通信的方式，这种方式适合于对企业考勤与门禁系统比较固定时的情况。

实施例3

对于一些没有内部局域网络的企业，也可以只用前台的考勤功能，员工的一些信息存储在嵌入式系统中，在员工输入员工ID号以后进行拍摄，将输入的员工ID号、时间以及所拍摄的人脸图像存储在移动存储单元中，企业可以将移动存储单元中所存储的员工出勤信息拷贝到计算机上对其进行考勤，这种方式虽然不进行人脸鉴别，但是将员工的图像与员工ID号、出勤时间等信息记录在案，可以事后确认，因此也有相当好的考勤效果。

所述的微处理器是嵌入式系统，本发明中的用户程序模块是由C和Java语言实现的。

上述的实施例1、2和3所产生的发明效果是实施方便、投资小、考勤等待时间短、人脸正确鉴别率高，能比较方便地与人事考勤管理软件、门禁系统进行融合，特别适用于流动性比较大的企业和事业单位的考勤。

Claims (10)

1、一种基于人脸鉴别技术的门禁和考勤装置，包括用于读取人脸图像的摄像头、用于采集传送视频信息的嵌入式系统、用于输入身份信息的输入设备和用于进行图像鉴别和员工考勤管理的计算机，所述的摄像头连接嵌入式系统，所述的嵌入式系统连接输入设备，所述的嵌入式系统与计算机数据连接，所述的计算机包括：图像获取模块，用于获取嵌入式系统采集的视频图像；

人脸图像库，用于存储样本的人脸图像；

其特征在于：所述的门禁和考勤装置还包括用于确认人脸正面位置的镜面，所述的摄像头位于镜面的上方，所述摄像头的最佳视觉范围与镜面相匹配；

所述的计算机还包括：

人脸检测定位模块，用于从采集的视频图像中确定人脸的确切位置，将人脸从背景中分离出来，输出为分割好的人脸局部图像；将RGB色彩格式转化成YCbCr色彩格式，然后经过非线性分段色彩变换得到YCb′Cr′色彩空间；RGB坐标空间到YCbCr坐标空间以及YCbCr坐标空间到YCb′Cr′坐标空间的变换公式如下：

Y＝0.29990*R+0.5870*G+0.1140*B

Cr(Y)＝0.5000*R-0.4187*G-0.0813*B+128

                                           (11)

Cb(Y)＝-0.1787*R-0.3313*G+0.5000*B+128

$C_i^{\&prime;}\left(Y\right)=\left\{\begin{array}{ccc}{C}_i\left(Y\right)& \mathrm{if}& Y\&Element;[K_1,K_h]\\ (C_i\left(Y\right)-\stackrel{\&OverBar;}{C_i}\left(Y\right))\frac{W_{C_i}}{W_{C_i}\left(Y\right)}+{\stackrel{\&OverBar;}{C}}_i\left(Y\right)& \mathrm{if}& Y<K_1\mathrm{or\; Y}>K_h\end{array}\right.---\left(12\right)$

其中i代表b或者r，

和

表示肤色区域的中轴线，用下列公式来计算：

$\stackrel{\&OverBar;}{C_b}\left(Y\right)=\left\{\begin{array}{ccc}108+\frac{(K_l-Y)(118-108)}{K_l-Y_{\min }}& \mathrm{if}& Y<K_1\\ 108+\frac{(Y-K_h)(118-108)}{Y_{\max }-K_h}& \mathrm{if}& Y>K_h\end{array}\right.$

$\stackrel{\&OverBar;}{C_r}\left(Y\right)=\left\{\begin{array}{ccc}154-\frac{(K_l-Y)(154-144)}{K_l-Y_{\min }}& \mathrm{if}& Y<K_1\\ 154+\frac{(Y-K_h)(154-132)}{Y_{\max }-K_h}& \mathrm{if}& Y>K_h\end{array}\right.$

K_l和K_h是非线形分段色彩变换的分段域值；Y_min和Y_max是由根据某地区的人脸实验数据得到的肤色聚类区域中Y分量的最小和最大值；

和表示肤色区域的宽度：

$W_{C_i}\left(Y\right)=\left\{\begin{array}{ccc}{\mathrm{WL}}_{C_i}+\frac{(Y-Y_{\min })(W_{C_i}-{\mathrm{WL}}_{C_i})}{K_l-Y_{\min }}& \mathrm{if}& Y<K_1\\ {\mathrm{WH}}_{C_i}+\frac{(Y_{\max }-Y)(W_{C_i}-{\mathrm{WH}}_{C_i})}{Y_{\max }-K_h}& \mathrm{if}& Y>K_h\end{array}\right.$

是常数，分别为： $W_{C_b}=46.97,$ ${\mathrm{WL}}_{c_b}=23,$ ${\mathrm{WH}}_{c_b}=14,$ $W_{C_r}=38.76,$ ${\mathrm{WL}}_{c_r}=20,$ ${\mathrm{WH}}_{c_r}=10;$

图像预处理模块，用于对经人脸检测定位模块处理得出的人脸图像进行几何归一化、消除噪声和灰度归一化处理，统一人脸大小和亮度；

人脸训练模块，用于将图像数据库中的人脸图像通过PCA方法投影到子空间，使图像空间转化为最佳的描述特征空间，Fisher脸算法的投影矩阵为:

${W_{\mathrm{opt}}}^T=W_{\mathrm{fld}}^T{W}_{\mathrm{pca}}^T---\left(1\right)$

式中：

W_pca＝argmax|W^TS_TW|

$W_{\mathrm{fld}}=\arg \max \left|\frac{W^T{W}_{\mathrm{pca}}^T{S}_B{W}_{\mathrm{pca}}W}{W^T{W}_{\mathrm{pca}}^T{S}_W{W}_{\mathrm{pca}}W}\right|$

列向量是正交向量，称为Fisher脸，训练集中所有人脸图像投影到W_opt的列向量上得到每幅人脸图像的一组特征；

再采用Fisher线性判别分析将MEF空间转化为最佳鉴别特征空间，同类样本尽量密集，不同的类样本尽量分开，并得到鉴别时所用的人脸参数；

人脸鉴别模块，用于将提取的人脸参数与当前的人员的图像训练的人脸参数做比较，可信度超过指定阈值M，则比对成功，身份得到确认。

2、如权利要求1所述的基于人脸鉴别技术的门禁和考勤装置，其特征在于：在所述的人脸训练模块中，每个人脸训练样本的分辨率为m*n，它为一个mn的列向量，所有训练样本的总数为N，训练样本集中的总人数为P；单个人脸训练样本用

对表示，i表示第i个人，k表示第i个人的第k个样本；第I个人共有n_i个训练样本，可见N＝n₁+n₂+…+n_p；待鉴别的人脸样本用y表示，且样本的分辨率与训练样本相同；训练的算法为：

Step1:输入n个人脸训练样本对，i＝1，2，...，p；k＝1，2，...n；

Step2:计算所有样本的均值向量m以及第i类人脸样本的均值向量(第i个人的平均图像向量)

$m=\frac{1}{N}\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_i^k\&Element;R^{\mathrm{mn}\&times;1}---\left(2\right)$

$m_i=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_i^k\&Element;R^{\mathrm{mn}\&times;1}---\left(3\right)$

Step3:求K-L变换的产生矩阵

$S_b=\underset{i=0}{\overset{P-1_i}{\mathrm{\&Sigma;}}}P\left({\mathrm{\&omega;}}_i\right)(m_i-m){(m_i-m)}^T---\left(4\right)$

上式中P(ω_i)是ω_i(i＝1，2，...，c)类模式的先验概率；

Step4:根据SVD的理论，计算类间散布矩阵S_b的特征值λ_i和与之对应的特征向量u_i；

Step5:取最大的前a(a≤p)个特征值对应的特征向量，构造矩阵U＝[u₁，u₂，…，u_a]∈R^mnxa   (5)

Step6:计算每一个人脸训练样本在u₁，u₂，…，u_a所形成的子空间下的投影，记

在投影后为 $z_i^k\&Element;R^{a\&times;1},$ 则有公式(6)

$Z=|z_1^1,z_1^2,\&CenterDot;\&CenterDot;\&CenterDot;,z_1^{n_1},z_2^1,\&CenterDot;\&CenterDot;\&CenterDot;,z_p^{n_p}|\&Element;R^{a\&times;N}---\left(6\right)$

Step7:计算各类人脸样本在子空间下的均值向量m_pcai和所有类的均值向量m_pca，计算公式如(7)、(8)所示：

$m_{\mathrm{pcai}}=\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{z}_i^k\&Element;R^{a\&times;1},i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,n_c---\left(7\right)$

$m_{\mathrm{pca}}=\underset{i=1}{\overset{p_i}{\mathrm{\&Sigma;}}}{m}_{\mathrm{pcai}}\&Element;R^{a\&times;1}---\left(8\right)$

Step8:计算子空间下的总类内散布矩阵S_w及类间散布矩阵S_b，计算公式如(9)、(10)所示：

$S_w=\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}{S}_i=\underset{i=1}{\overset{P_i}{\mathrm{\&Sigma;}}}\left[\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}(z_i^k-m_{\mathrm{pcai}}){(z_i^k-m_{\mathrm{pcai}})}^T\right]\&Element;R^{a\&times;a}---\left(9\right)$

$S_b=\underset{i=1}{\overset{P_i}{\mathrm{\&Sigma;}}}(m_{\mathrm{pcai}}-m_{\mathrm{pca}}){(m_{\mathrm{pcai}}-m_{\mathrm{pca}})}^T\&Element;R^{a\&times;a}---\left(10\right)$

Step9:根据Fisher准则函数推知S_bw^*＝λS_ww^*，它是矩阵S_b相对于矩阵S_w的广义特征值问题，求解S_b相对于矩阵S_w的广义特征向量，w^*，i＝1，2，…，p

Step10:取广义特征向量组成矩阵W，和矩阵U相乘得到新矩阵T，即T＝UW，T的列向量是训练的结果，保留T待鉴别时使用；

Step11:计算每个人的平均脸在子空间T下的投影meanS，保留meanS作为此类样本的投影坐标系数，待鉴别时使用；

Step12:采用欧氏距离作为相似性度量的方法，根据拒识率确定相似性阈值，保留阈值待鉴别时使用；

在所述的人脸鉴别模块中，鉴别的算法为：

Step1：计算待鉴别样本y在t₁，t₂，…，t_c-1所生成的子空间下的投影坐标系数y；

Step2：计算y与此类样本对应的投影坐标系数meanS间的相似性度量值d；

Step3：比较d与训练过程中得到的相似性阈值M的大小，如果d比阈值M小，则判待鉴别人脸样本通过，否则拒识。

3、如权利要求2所述的基于人脸鉴别技术的门禁和考勤装置，其特征在于：所述的人脸训练模块还包括：投影坐标系数的取值确定单元，用于确定投影坐标的子空间的维数。

4、如权利要求2所述的基于人脸鉴别技术的门禁和考勤装置，其特征在于：所述的人脸训练模块还包括：相似度阈值设定单元，用于选取阈值大小，依照错误通过率和错误拒绝率确定相似度阈值M。

5、如权利要求2所述的基于人脸鉴别技术的门禁和考勤装置，其特征在于：所述的人脸训练模块还包括：自适应更新人脸特征参数单元，用于利用每次对人脸鉴别过程中所取得的人脸图像，对人脸图像库中的人脸图像进行更新，对人脸特征参数库中的人脸特征参数进行更新，用最新取得的人脸图像以及人脸图像的特征参数去替换最陈旧的人脸图像以及人脸图像的特征参数；

6、如权利要求2所述的基于人脸鉴别技术的门禁和考勤装置，其特征在于：所述的人脸鉴别模块还包括：多次采集人脸图像并进行人脸鉴别单元，用于在输入设备有输入时开始采集入脸图像并将其保存在嵌入式系统的存储单元中，当使用者输入完身份信息并按下发送键时再采集人脸图像并同时将原先保存在嵌入式系统的存储单元中的人脸图像一起发送给后台计算机，后台计算机得到两幅人脸图像后，进行人脸鉴别计算，同时嵌入式系统采集人脸图像，并将人脸图像再次发送给后台计算机进行人脸鉴别；首先对在使用者按下发送键时所采集的人脸图像进行鉴别，如果鉴别通过，结束；如果第一次鉴别没有通过接着对在输入设备有输入时所采集的人脸图像进行第二次人脸鉴别，如果鉴别通过，结束；如果还是没有通过接着对在进行人脸鉴别的同时所采集的人脸图像进行第三次人脸鉴别。

7、如权利要求1—6之一所述的基于人脸鉴别技术的门禁和考勤装置，其特征在于：所述的图像预处理模块包括：

去噪声处理单元，用于采用基于像素“密度”的滤波方法来去除噪声，类似“卷积”的滤波方法在以每一个象素为中心的5*5邻域内统计肤色像素的个数，超过半数时中心点保留为肤色，否则认为是非肤色；

确定最大的区域单元，用于对经过去噪声处理后的肤色分割图，按照八连接边沿规则标记出图中的对象，计算各个对象的面积，保留面积最大的对象，并对其进行填充，得到了滤波填充以后的肤色分割图像；

垂直投影单元，用于根据公式(13)对滤波填充以后的肤色分割图像进行垂直投影，并计算各列非零投影值的均值Mean；

$\mathrm{Mean}=\frac{\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}{P}_y\left(x\right)}{\mathrm{num}}---\left(13\right)$

其中num为P_y(x)中的非零点的数目；

选取阈值为Mean的一半，如果投影值大于阈值，则保留；否则置0；保留面积最大的区域作为最后的投影输出；

确定人脸宽度单元，用于对上述得到的垂直投影图，从左往右找第一个非0点，其对应的列数即为人脸的左边界；同样，从右往左找第一个非0点，其对应的列数为人脸的右边界，左右边界之间的距离就是人脸的宽度；

确定头顶单元，用于对上述得到的垂直投影图，从上往下，寻找第一个肤色像素点数目大于15的行，确定此行即为头顶；

得到人脸矩形区域单元，用于通过取人脸高度＝人脸宽度*1.4，根据上面步骤中确定的头顶以及人脸宽度对应原图，切割出最后的人脸矩形区域。

8、如权利要求1—6之一所述的基于人脸鉴别技术的门禁和考勤装置，其特征在于：所述的门禁和考勤装置还包括照明灯光单元，所述的照明灯光单元设置在镜面的上方，所述的照明灯单元设有照明灯，照明灯位于摄像头的上方。

9、如权利要求1—6之一所述的基于人脸鉴别技术的门禁和考勤装置，其特征在于：所述的嵌入式系统包括：图像记录模块，用于将待测者的视频信息记录下来；图像处理模块，用于将记录下来的视频数据进行压缩编码、复用以及调制成压缩视频数据；第一无线收发模块，用于依照通信标准，发送压缩的视频数据；

所述的计算机包括：第二无线收发模块，用于依照通信标准，接收压缩的视频数据；图像解压处理模块，用于将接收的数据进行解压缩、解复用以及解调，恢复成视频数据。

10、如权利要求1—6之一所述的基于人脸鉴别技术的门禁和考勤装置，其特征在于：所述的用于视频图像处理的嵌入式系统通过网络与计算机连接。

Images