CN105426875A

CN105426875A - 一种基于深度卷积神经网络的人脸识别方法和考勤系统

Info

Publication number: CN105426875A
Application number: CN201510962016.5A
Authority: CN
Inventors: 吴怀宇; 何云; 钟锐; 陈镜宇; 程果
Original assignee: Wuhan University of Science and Engineering WUSE
Current assignee: Wuhan University of Science and Engineering WUSE; Wuhan University of Science and Technology WHUST
Priority date: 2015-12-18
Filing date: 2015-12-18
Publication date: 2016-03-23

Abstract

本发明涉及一种基于深度卷积神经网络的人脸识别方法和考勤系统。系统包括在用户管理服务器上录入用户信息、人脸样本标签后发送至中心服务器；在中心服务器中，利用预处理的样本标签构建基于深度卷积神经网络的人脸识别模型；员工在各个地点的考勤机上，通过已经训练好的神经网络进行在线人脸识别，人脸识别结果将通过内部局域网返回用户管理服务器；管理人员可以在用户管理服务器上进行考勤记录查询、修改等。本发明使用的基于深度卷积神经网络的人脸识别算法，既能避免传统手工提取带来的特征描述不全面、不确定等问题，又能借助感受野和权值共享的优点，提高了人脸识别率，从而增加考勤系统的精确率。

Description

一种基于深度卷积神经网络的人脸识别方法和考勤系统

技术领域

本发明涉及图像处理及模式识别领域，尤其涉及一种基于深度卷积神经网络的人脸识别方法和基于该方法的考勤系统。

背景技术

人脸识别主要用于身份识别，特别是近年来随着计算机技术、图像处理技术、模式识别技术等快速进步，而出现的一种崭新的生物特征识别技术。由于可广泛应用于安全验证、视频监控、出入口控制等诸多领域，识别速度快、识别率高，因此已经成为身份识别技术研究领域主要的发展方向。

目前主流的人脸识别考勤系统都是在手工提取特征的基础上，应用分类算法进行人脸识别。由于容易受到光线变化、背景、姿态等诸多因素的干扰，使得通过手工提取的特征在以上外界因素发生变化时，导致原始图像出现结构丢失、特征描述不全面和不确定等问题，这些缺陷导致人脸识别率低，可靠性差，无法进行大面积推广等。因此实现准确快速的人脸识别考勤技术成为当前具有挑战性的问题。

发明内容

针对上述技术问题，本发明提出了一种基于深度卷积神经网络的人脸识别方法和考勤系统，对背景、光照以及姿态等变化具有较好的鲁棒性，可以直接将原始图片作为网络的输入，抗干扰能力和识别率更高。

本发明为了解决上述问题，采用如下技术方案：

一种基于深度卷积神经网络的人脸识别方法，其特征在于包括如下步骤：

(1)用户信息的采集：通过用户管理服务器录入员工个人信息并采集人脸样本，对采集的人脸样本进行预处理，将预处理后的人脸样本与员工个人信息相关联；用户管理服务器将关联后的员工个人信息与人脸样本发送至中心服务器；

(2)人脸识别模型的构建：在中心服务器中构建基于深度卷积神经网络的人脸识别模型,用步骤(1)的员工个人信息和人脸样本对深度卷积神经网络进行训练,并在中心服务器中保存训练结果；

(3)人脸的在线识别：在分布于各个地点的考勤机上进行在线人脸识别验证输入，验证输入数据通过内部局域网由用户管理服务器发送至构建有人脸识别模型的中心服务器中，人脸识别结果通过内部局域网返回给用户管理服务器和各个考勤机上面；

(4)后台考勤数据的管理与分析：在用户管理服务器上修改考勤员工的信息、设置考勤班次、考勤人员限权、密码修改操作；人脸的在线识别之后，在用户管理服务器上查询考勤记录并能备份保存考勤记录。

上述技术方案中，步骤(1)用户信息的采集过程具体包括如下步骤：

Step1：通过用户管理服务器建立员工个人信息，并为员工个人信息分配用户ID；

Step2：通过用户管理服务器采集员工人脸样本，在采集人脸样本时，人脸保持与摄像头30—80cm距离；

Step3：应用Haar特征与Adaboost算法对人脸样本进行检测，将检测到人脸区域的图像进行截取，通过尺度归一化、直方图均衡对所采集的人脸样本进行预处理；

Step4：将所有预处理后的人脸样本与该员工的用户ID进行关联；

Step5：返回至Step1对下一个员工进行人脸样本采集；

上述技术方案中，步骤(2)人脸识别模型的构建具体包括如下步骤：

Step1：在中心服务器中构建深度卷积神经网络：整个深度卷积神经网络分为7层，输入层神经元数为人脸样本的像素大小，其余各层参数设置为：

第1、3、5层分别为卷积层C1、C2、C3，分别由6张5×5、12张5×5、12张5×5特征图构成，每个神经元与输入中5×5的邻域相连；

第2、4层为下采样层S1、S2，第2、4层特征图中的每个神经元与第1、3层中相对应特征图的2×2邻域相连接；

第6层为隐含层，将C3的12张特征图中的特征值排列为一条列向量形成特征向量，对一维的特征进行最后的分类识别；

第7层为输出层；神经元的数量由员工注册的人数所决定的，代表了共有多少个员工；

Step2：对深度卷积神经网络进行训练，主要包含以下两个阶段：

第1阶段：前向传播：将采集的人脸图片与用户ID输入到已经设置好的深度卷积神经网络里面，通过逐级向前传播得到输出O_p；

第2阶段：反向传播：计算输出O_p与相应的理想输出Y_p的差，按极小化误差的方法调整权值矩阵。

上述技术方案中，步骤(3)人脸的在线识别具体包括如下步骤：

Step1：员工在考勤机上进行用户ID验证，若输入的ID号是已经在用户管理服务器上注册的有效用户，系统自动启动摄像头进行人脸图像采集；

Step2：将采集的人脸样本通过用户管理服务器主机预处理后，发送至构建有人脸识别模型的中心服务器中，由中心服务器对当前人脸进行识别，给出当前人脸的员工ID号；

Step3：若能输出员工ID号，则中心服务器判断输出与所输入ID号是否一致，若一致，即显示员工姓名，并且记录下考勤的时间点、照片、考勤地点、ID号通过局域网返回给用户管理服务器和考勤机；如果不能输出员工ID号，则继续检测人脸，重新识别；

Step4：点击“返回”即可进入下一个人员的考勤；

Step5：考勤结束时，点击“结束”按钮即可结束考勤；

各步骤中信息传送所用的是IP/TCP协议。

上述技术方案中，步骤(4)在用户管理服务器上进行后台考勤数据的管理与分析包括如下具体步骤：

Step1：员工信息的编辑：用于员工的基本信息用Access数据库管理，主要包括员工信息的增加，删除，修改，转移等操作；

Step2：员工出勤分析：当考勤完毕时，在用户管理服务器上面生成考勤记录报表，主要包括员工是否请假、迟到；

Step3：系统管理模块：管理员通过查勤系统，设置考勤的班次、考勤人员的限权、密码修改等操作。

一种基于深度卷积神经网络的人脸识别考勤系统，其特征在于包括：

若干个分布于各个地点的配置摄像头的考勤机，用于进行用户ID验证并在验证正确情况下进行人脸图像采集；

用户管理服务器，用于录入员工个人信息并采集人脸样本，对采集的人脸样本进行预处理，将预处理后的人脸样本与员工个人信息相关联；将关联后的员工个人信息与人脸样本发送至中心服务器；验证输入ID号和预处理来自考勤机在线检测的人脸样本后,将输入ID号和预处理的人脸样本发送给中心服务器；接收来自中心服务器的在线人脸识别结果；

中心服务器，用于构建基于深度卷积神经网络的人脸识别模型，对深度卷积神经网络进行训练；接收来自用户管理服务器的输入的人脸数据和用户ID,并进行在线人脸数据与用户ID匹配，将在线人脸识别结果返回给用户管理服务器和考勤机；

考勤机、用户管理服务器、中心服务器通过内部局域网连接。

上述技术方案中，内部局域网采用IP/TCP协议。

上述技术方案中，用户管理服务器为Windows7操作系统，中心服务器为WindowsServer2012。

本发明利用基于深度卷积神经网络的人脸识别方法构建了一套完整的考勤系统，为了对该考勤系统进行准确描述，本发明将该系统分为四个主要部分，并分别对其进行详细描述：用户信息的采集、人脸识别模型的构建、人脸的在线识别、后台考勤数据的管理与分析。卷积神经网络是为识别二维形状而特别设计的一个多层感知器。当其输入是二维人脸图像时，图像不需要传统识别算法中复杂的特征提取和数据重建过程，可以直接将原始图片作为网络的输入；在识别过程中，卷积神经网络通过借助局部感受野，即能够保证原始信号空间结构关系的不变性，又能够通过共享权值减少网络中需要训练的参数。通过所构建的多层卷积神经网络，由低层次向高层次的不断进行特征提取与抽象，使得通过卷积神经网络所提取的特征能更加准确的描述人脸特征，因而其抗干扰能力和识别率与传统分类算法相比，具有很大的提高。因此，相对于现有技术，本发明的识别方法和考勤系统对背景、光照以及姿态等变化具有较好的鲁棒性，具有较好市场应用前景与发展潜力。

附图说明

图1为本发明的基于一种深度卷积神经网络人脸识别考勤系统的硬件结构框图。

图2为本发明的基于一种深度卷积神经网络人脸识别考勤方法的流程图。

图3为本发明包含的深度卷积神经网络结构示意图。

图4为本发明包含的卷积操作示意图。

图5为本发明包含的数据管理示意图。

具体实施方式

图1为本发明提出的一种基于深度卷积神经网络人脸识别考勤系统的硬件结构框图。通过用户管理服务器录入用户信息发送至中心服务器；在中心服务器中构建基于深度卷积神经网络的人脸识别模型；员工在各个地点的考勤机上进行在线人脸识别，人脸识别结果将通过内部局域网返回给用户管理服务器和考勤机；管理人员可以在用户管理服务器上进行用户考勤记录查询、信息的修改等。本发明中使用的用户管理服务器操作平台为Windows7操作系统，中心服务器端为WindowsServer2012。

图2为本发明实施的基于深度卷积神经网络人脸识别方法流程图，主要包含用户信息的采集、人脸识别模型的构建、人脸的在线识别以及后台考勤数据的管理与分析四个步骤。其具体的实施方法如下所示：

S1：用户信息的采集

S11：录入员工的个人信息(姓名、性别、部门、职务、考勤设备)，并为其分配用户ID号保存在用户管理服务器中。

S12：员工人脸样本的采集。在采集人脸样本时，在中心服务器中用visualC++编写的MFC界面上，利用OpenCV开源视觉开启摄像头，人脸保持与摄像头约30—80cm距离，眼睛盯着屏幕的中央处，缓缓的前后左右移动脸部，并保持表情自然，取样期间可以佩戴眼镜、耳钉、留胡须等。

S13：应用Haar特征与Adaboost算法对人脸进行检测，每隔3S截取一张人脸区域的图像，每人截取120张人脸图。在图像采集过程中对所采集人脸样本进行尺度归一化，将图片大小设置为64×64像素，并对图像进行直方图均衡预处理。具体的人脸检测与直方图均衡预处理的实现方法如下所示：

S131：Adaboost用于人脸识别中的定位人脸区域，它是利用一种类Haar特征，通过提取重要的特征构成弱分类器，然后由若干个弱分类器构成有效的强分类器，最后使用该强分类器来实现对人脸的搜索与检测。

S132：对尺度归一化的图像进行直方图均衡化处理，使输出图像在每一灰度级都有近似相同的像素点数。转换的公式为：

D_{B} = f (D_{A}) = D_{M A X} {&Integral;}_{0}^{D_{A}} P_{D_{A}} (μ) d (μ)

上式中，D_A为换前的像素灰度值，D_B为转换后的像素灰度值，D_MAX为最大灰度值，为转换前的图像的概率密度函数。

S14：将所有处理后的人脸图像与该员工的ID号进行关联，保存在中心服务器中。

S15：返回至Step1对下一个员工进行人脸样本采集。

S2：人脸识别模型的构建

本发明所使用的人脸识别方法为深度卷积神经网络(CNN)，该神经网络的具体参数设置为：

S21：在中心服务器中进行深度卷积神经网络的构建，图3为深度卷积神经网络结构示意图，整个深度卷积神经网络分为7层，输入层神经元数为4096个，对应于64×64图像窗口按行展开的各个像素。其余各层参数设置为：

S211：第1、3、5层为分别为卷积层C1、C2、C3，分别由6个5×5、12个5×5、12个5×5特征图构成，每个神经元与输入中5×5的邻域相连，滤波后的特征大小的分别为60×60、26×26、9×9。C1有156个可训练参数，共156×(60×60)＝561,600个连接。通过卷积运算，可以使原信号特征增强，并且降低噪音；C2中的每个特征图是连接到S1中的所有6个或者几个特征图的组合，表示本层的特征图是上一层提取到的特征图的不同组合；由于第4层的特征图的维数比较大，会削弱深度卷积神经网络的特征提取能力，则再添加一层卷积层C3。

S212：在卷积层C1中，人脸样本的特征图被6个不同的5×5卷积核进行滤波，加上一个偏置量basis，最后通过一个激活函数，就可以得到输出特征图，具体卷积操作过程如图4所示，卷积层C1的输出表示如下：

X_{j}^{l} = f (\underset{i &Element; M_{j}}{Σ} X_{i}^{l - 1} * k_{i j}^{l} + b_{j}^{l})

上式中：M_j表示选择的输入maps的集合；l代表层数；b是一个偏置量；K代表卷积核；代表输入的人脸样本；代表卷积后输出的特征图。

S213：卷积核是卷积神经网络模型中最具有特性的部分，本发明设置卷积核的大小为5×5。卷积核的大小决定了感受野的范围，感受野过大，则提取的特征超出卷积核的表达范围；如果感受野过小，则无法提取有效的局部特征。

S214：为了提取到有效的特征，本发明使用6个不同的卷积核在同一个局部区域提取多种特征，分别放在不同特征图的神经元中，既能避免了神经网络特征提取不全面，又由于感受野和权值共享的特点，减少了神经网络需要训练的参数的个数。

S215：第2、4层为下采样层S1、S2。特征图中的每个单元的输入分别对应卷积层中第1、3层的相对应特征图的2×2邻域相连接，则下采样后的特征图的大小分别为30×30、13×13。S1层共有12个参数，一共27,000个连接，而S2层共有24个参数，一共10,140个连接，利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息。

S216：在下采样中，卷积层的的每邻域四个像素求和为一个像素，通过标量加权，再增加偏置最后通过一个sigmoid激活函数，输出一个缩小四倍的特征映射图第2、4层下采样的表达式为：

X_{j}^{l} = f (β_{j}^{l} d o w n (X_{j}^{l - 1}) + b_{j}^{l})

上式中，down()表示一个下采样函数；β代表权重系数。这里是对输入图像的不同2×2的块的所有像素进行求和，输出图像在两个维度上都缩小了2倍。

S217：第6层是一个隐含层，与C5层全连接，特征维数为972(12×9×9)，可以将其看作一个972维的线性向量，而全连接到输出层的映射相当于使用该向量进行分类。

S218：第7层为输出层，神经元的数量是由员工注册的人数所决定的，代表了共有多少个员工。

S22：深度卷积神经网络的训练算法，其具体的训练方法主要包含以下两个阶段：

第1阶段：前向传播。将采集的人脸图片与相关联的ID号输入到已经设置好CNN网络里面，通过逐级向前传播得到输出O_p：

O_p＝f_n(...(f₂(f₁(X_pW⁽¹⁾)W⁽²⁾)...)Wⁿ)

第2阶段：反向传播。计算输出O_p与相应的理想输出Y_p的差，按极小化误差的方法调整权值矩阵。N个样本、C个类的的误差值为：

E^{N} = \frac{1}{2} Σ_{n = 1}^{N} Σ_{k = 1}^{C} {(O_{p}^{n} - Y_{p}^{n})}^{2}

表示第n个样本对应的标签的第p维的计算输出，表示第n个样本对应的标签的第p维的理想输出。

S23：CNN训练的本质是一种输入到输出的映射，无需任何输入与输出之间的精确的数学表达式，只要通过已知人脸特征和ID号对深度卷积网络加以训练，网络就具备有输入与输出之间的映射能力。

S3：人脸的在线识别

S31：在特定的时间段内，员工在各个考勤机上面通过登录界面输入ID号，中心服务器对该ID号进行验证，若输入的ID号是已经在中心服务器上面注册的有效用户，系统自动启动摄像头进行人脸图像采集。若不是，则重新输入ID号验证。

S32：在采集人脸图像时，员工尽量保持表情姿态与采集样本时一致，听到系统提示音后，则10张人脸图像采集完毕。在线识别的图片预处理过程与S13相同，人脸识别算法的中心服务器将预处理的图片进行在线识别，得到员工的类别ID号。

S33：在中心服务器中将识别后的类别ID号与输入的ID号对比，若两者一致，则中心服务器将员工姓名返回到考勤系统上面，表示有效考勤，并且记录下考勤的时间点、照片、考勤地点、ID号，通过局域网返回给用户管理服务器；如果两次员工ID号不一致，则继续检测人脸，重新识别。

S34：点击“返回”即可进入下一个人员的考勤。

S35：考勤结束时，点击“结束”按钮即可结束考勤。

S36：上述深度卷积神经网络的在线识别实质是：将在线采集样本返回给人脸识别中心服务器，通过已知的输入与输出之间的映射能力，得到员工的ID号。

上面所述的技术方案中，信息返回所用的是IP/TCP协议。

S4：后台考勤数据的管理与分析，图5表示在用户管理服务器进行考勤数据管理的3个方面，具体步骤如下：

S41：员工信息的编辑。员工的基本信息用Access数据库管理，主要包括新增员工信息的增加、图像的采集，离职员工的信息删除，换岗人员的信息修改等。

S42：员工出勤分析。当考勤完毕时，管理人员运用SQL中的select语句搜索本次考勤的记录，并且标注出请假和迟到人员的原因，生成考勤报表保存在用户管理服务器当中；在月底时，生成月季报表给管理人员查询批注。

S43：系统管理模块：管理员通过用户管理服务器，设置考勤的班次、考勤人员的限权、密码修改等操作。

Claims

1.一种基于深度卷积神经网络的人脸识别方法，其特征在于包括如下步骤：

2.根据权利要求1所述的基于深度卷积神经网络的人脸识别方法，其特征在于步骤(1)用户信息的采集过程具体包括如下步骤：

Step5：返回至Step1对下一个员工进行人脸样本采集。

3.根据权利要求1所述的基于深度卷积神经网络的人脸识别方法，其特征在于步骤(2)人脸识别模型的构建具体包括如下步骤：

4.根据权利要求1所述的基于深度卷积神经网络的人脸识别方法，其特征在于步骤(3)人脸的在线识别具体包括如下步骤：

Step4：点击“返回”即可进入下一个人员的考勤；

Step5：考勤结束时，点击“结束”按钮即可结束考勤；

各步骤中，信息传送所用的是IP/TCP协议。

5.根据权利要求1所述的基于深度卷积神经网络的人脸识别方法，其特征在于步骤(4)在用户管理服务器上进行后台考勤数据的管理与分析包括如下具体步骤：

6.一种基于深度卷积神经网络的人脸识别考勤系统，其特征在于包括：

7.根据权利要求6所述的基于深度卷积神经网络的人脸识别考勤系统，其特征在于内部局域网采用IP/TCP协议。

8.根据权利要求6所述的基于深度卷积神经网络的人脸识别考勤系统，其特征在于用户管理服务器为Windows7操作系统，中心服务器为WindowsServer2012。