CN104732601A

CN104732601A - 一种基于人脸识别技术的高识别率自动考勤装置及方法

Info

Publication number: CN104732601A
Application number: CN201410658240.0A
Authority: CN
Inventors: 贾明兴; 张志先; 孙放; 杨一帆
Original assignee: Northeastern University China
Current assignee: Northeastern University China
Priority date: 2014-11-19
Filing date: 2014-11-19
Publication date: 2015-06-24
Anticipated expiration: 2034-11-19
Also published as: CN104732601B

Abstract

本发明针对目前课堂考勤难的问题，提供一种实时性强，准确率高的非接触式自动的课堂考勤装置及方法。该自动课堂考勤装置，包括ICETEK-DM642-C板卡上集成的芯片、器件及摄像机和触摸屏。在FLASH芯片内嵌入有考勤处理模块，该模块包括：人脸检测模块，人脸特征提取模块，相似性度量模块，人脸注册模块，考勤模块，通信模块。该考勤装置及方法自动化程度高，可极大提高课堂考勤效率和效果，减轻教师的劳动强度，并提高教学管理水平。

Description

一种基于人脸识别技术的高识别率自动考勤装置及方法

技术领域

本发明涉及一种基于人脸识别技术的高识别率自动考勤装置及方法。

背景技术

在日常的大学及各专科学校的学习生活中课堂考勤往往是一个比较重要的环节，在以往的考勤中，老师往往会采取一些简单的方法，比如点名答道或者要求学生交报名的纸条，可是这些比较简单的方法有以下两个缺点，第一，这种方法耗时太长，甚至会影响正常教学时间，第二，这些方法可能会出现学生替答或者替签的情况，所以也并不是一个可靠的方法。因此迫切需要一种自动的考勤方法来替代人工的考勤。

目前许多公司单位采用的考勤方式主要有：纸卡式打卡钟，通过考勤卡纸记录考勤时间；射频卡式考勤，射频卡感应考勤机记录时间；指纹式考勤，指纹比对确认考勤人员考勤时间；人脸识别考勤，基于对人的脸部特征信息进行识别从而达到身份认证的生物特征识别技术。前两种方法容易发生代打卡问题，后两种属于生物特征识别技术，受到了广泛的关注和研究，市场占有率越来越大。其中指纹考勤具有天生有5%的人不能用指纹识别；换季时手指蜕皮，不能用指纹识别；劳动磨损指纹，不能识别；接触不卫生，容易传染疾病等缺点。人脸图像考勤虽具有非接触，卫生更健康，识别自然，效果直观等优点，但目前受环境光线、面容姿态、身高等因素影响，识别率有待进一步提高。尤其要将该技术应用于课堂考勤，具有更多的挑战。主要体现在：1检索库较大，实时性和计算量的矛盾；2图像质量较一般考勤差，且一幅图中含有多张人脸。3学生一般存在眼镜等附属物。

综上所述，虽然目前已经有多种装置和方法能够进行考勤，但是大都仅限于理论研究的层次，已经问世的考勤装置和方法存在着很多局限性，有很多有待解决的问题。

发明内容

本发明就是针对上述问题，提供一种实时性强，准确率高的非接触式自动的课堂考勤装置及方法。

为了实现上述目的，本发明采用如下技术方案，一种自动课堂考勤装置，包括ICETEK-DM642-C板卡上集成的芯片、器件及外部装置，所述的板卡上集成的芯片、器件包括DM642芯片、视频解码芯片、MAX3485 芯片、FLASH芯片、网络接口芯片、RAM存储器；DM642芯片分别与视频解码芯片、MAX3485 芯片、FLASH芯片、网络接口芯片、RAM存储器相连；FLASH芯片与RAM存储器相连；所述的外部装置包括电源装置、摄像机及触摸屏；摄像机与视频解码芯片的输入端口相连，MAX3485 芯片的输出端口与触摸屏相连；在所述的FLASH芯片内嵌入有考勤处理模块，该模块包括如下几部分。

人脸检测模块，用于对高清摄像机采集到的图像进行人脸检测，获得人脸图像；采用AdaBoost与SVM相结合的人脸检测方法，同时对类Haar特征选取进行改进，有效提高了检测率和训练速度。

人脸特征提取模块，用于实现人脸特征提取以降低原始数据维数并使获得的数据具有良好的可分性和鲁棒性；我们采用了人脸纹理特征的LBP和LPQ算法以及人脸结构信息的Gabor方法相融合方法，提取人脸更全面的特征信息。

相似性度量模块，通过计算两幅人脸图象特征的余弦距离来获得两幅人脸图像的相似度。

人脸注册模块，在第一次考勤时，将检测到的人脸图像按照特征相似度进行验证分类，然后进行人工注册，形成班级人脸特征数据库和人脸图像数据库；

考勤模块，除第一次考勤外，每次考勤将检测到的人脸图像与数据库中图像进行特征比对，根据最终相似度小于最终相似度阈值情况进行考勤判断。

通信模块，在第一次考勤时，将形成的班级人脸特征数据和人脸图像数据发送给服务器。除第一次考勤外，每次考勤按照班级将人脸特征数据和人脸图像数据读取到本装置；若有新成员则将新成员人脸特征数据和人脸图像数据发送给服务器。将考勤结果发送给服务器。

显示与操作模块，将检测到的人脸图像与识别结果显示在触摸屏上。接收触摸屏上的操作，转换成相关命令。

所述的自动课堂考勤装置及方法，包括以下步骤。

A、通过摄像机采集教室的图像信息，对采集到的图像信息进行人脸框选处理，形成一幅幅人脸图像。

B、对提取的人脸图像进行旋转校正和尺度归一化，获得校正后的图像。

C、对校正后的人脸图像进行分块、提取LBP特征、Gabor特征和LPQ特征，针对每块每种特征利用相应的PCALDA投影向量进行乘积运算获得特征。PCALDA投影向量为利用大量人脸数据经PCALDA运算后获得。

D、通过网络获取班级信息，判断是否是初次考勤或是否需要更新。若为是则启动注册模块程序，执行E步骤；否则启动考勤模块程序，执行F步骤；

E、若需注册，将检测到的所有人脸图像进行相互特征相似度计算，分别得到LBP特征相似度、Gabor特征相似度和LPQ特征相似度，将三者按照求得的权值进行加权求和，得到最终相似度，将所有与某张人脸图像最终相似度值小于阈值的归为一类，并定义为一个学生，依次将所有人脸图像处理完。最后人工注册，并得到考勤结果。

F、若为考勤，若对于一幅人脸图像，其最终相似度大于阈值且都是同一人，则完成一人次自动考勤；若最终相似度大于阈值且不是同一人，将处理后的人脸图像信息和库里检索到的人脸图片通过MAX3485 串口芯片3传给触摸屏，考勤人员在触摸屏上完成一人次人工考勤，若没有最终相似度大于阈值的，则认为是新学生，将处理后的人脸图像信息通过MAX3485 串口芯片3传给触摸屏，考勤人员在触摸屏上完成一人次人工考勤。

G、在第一次考勤时，将形成的班级人脸特征数据和人脸图像数据发送给服务器。除第一次考勤外，每次考勤按照班级将人脸特征数据和人脸图像数据读取到本装置；若有新成员则将新学生人脸特征数据和人脸图像数据发送给服务器。

H、将考勤结果发送给服务器。

所述人脸图像尺寸为120×96。

所述最终相似度阈值为1.577776。

在Gabor提取幅值信息的方法中，我们使用个尺度和个方向共种Gabor小波，并将窗口大小、最大频率，频率域步长和参数分别设置为，，和。则通过小波变换后共得到张图像，为降低所得到的原始图像的特征维数，我们对所得到的张图像分别进行的下采样操作，使用基于分块的方法，将降维后的图像分成行列共块，提取每一块特征的直方图，将张图像中相同块的直方图连接成一列共得到个列向量，用于求取相似度矩阵。记此种Gabor特征提取算法为Gabor block；

在LPQ提取相位信息的方法中，取相关系数、滑动窗口的大小和频率参数分别为、和。这个过程中，首先提取图像的LPQ特征，得到特征图，然后，使用两种不同的分块方法对得到的LPQ特征图进行处理：一种为先将特征图分为（行列）共块，再对其分成（行列）共18块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为该块对应的特征信息，我们将此种LPQ分块方法记为LPQ block1；另一种为将特征图分为（行列）共块，再对每一块分成（行列）共块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为对应块的特征信息，我们将此种LBP分块方法记为LPQ block2。

在提取纹理信息的方法中，首先对图像进行特征提取，获得图像的LBP特征。然后采用与LPQ提取特征相同的两种分块方法：一种为先将图像分为（行列）共块，再对其分成（行列）共18块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为该块对应的特征信息，我们将此种LBP分块方法记为LBP block1；另一种将图像分为（行列）共块，再对每一块分成（行列）共块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为对应块的特征信息，我们将此种LBP分块方法记为LBP block2。

为了进一步降低图像每一块的特征维数，减小计算量，我们对上述几种方法得到的每一块的特征都使用PCALDA方法进行降维。先使用PCA方法将LBP、LPQ和Gabor小波方法分别降到维，维和维，再使用LDA方法将上述三种方法都降低到维。

本发明的有益效果：

本发明经多次实验证明，其人脸识别能力强，其考勤首选识别率达到96%;在错误接收率（FAR）=0.001处，验证率（VR）≥ 94%。本发明可有效地实现课堂考勤，并给出考勤统计结果。

本发明通过分析Gabor小波变换、局部二值模式（LBP）、局部相位量化（LPQ）等算法，充分考虑上述特征提取算法的优缺点，提出了特征融合方法。第一，局部特征提取算法分块统计直方图时，采用一种算法的多种分块方法，弥补块与块之间丢失的变化信息。第二，局部特征提取算法获得的特征，采用全局特征提取算法进行降维，去除冗余特征信息，增强分类能力，同时提高运算速度。第三，采用LBP、LPQ和Gabor小波特征提取算法融合，综合利用三种算法的优点，给出最优组合权值为LBP block1：0.1153，LBP block2：0.1281，LPQ block1：0.0909，LPQ block2：0.0147，Gabor block：0.6676，进一步改善了识别效果。

附图说明：

图1是本发明的考勤装置的结构示意图；

图2图3是本发明的考勤方法的主流程图。

其中，1.DM642芯片；2.视频解码芯片；3. MAX3485串口芯片；4.FLASH芯片；5.RAM存储器；6.LED灯；7.电源装置；8.摄像机；9.触摸屏。

具体实施方式：

如图1所示，一种基于人脸识别技术的高识别率自动考勤装置，包括ICETEK-DM642-C板卡上集成的芯片、器件及外部装置，所述的板卡上集成的芯片、器件包括DM642芯片1、SAA7115视频解码芯片2、MAX3485 串口芯片3、FLASH芯片4、RAM存储器5；DM642芯片1分别与SAA7115视频解码芯片2、MAX3485 串口芯片3、FLASH芯片4、RAM存储器5、网络接口芯片6相连；FLASH芯片4与RAM存储器5相连；所述的外部装置包括电源装置7、摄像机8及触摸屏9；摄像机8与视频解码芯片2的输入端口相连，MAX3485 串口芯片3的输出端口与触摸屏9相连；在所述的FLASH芯片4内嵌入有考勤处理模块，该模块包括以下几部分。

人脸检测模块，用于对高清摄像机采集到的图像进行人脸检测，获得人脸图像；AdaBoost与SVM相结合的人脸检测方法，同时对类Haar特征选取进行改进，有效提高了检测率和训练速度。

考勤模块，除第一次考勤外，每次考勤将检测到的人脸图像与数据库中图像进行特征比对，根据最终相似度小于阈值情况进行考勤判断。

TCP/IP通信模块，在第一次考勤时，将形成的班级人脸特征数据和人脸图像数据发送给服务器。除第一次考勤外，每次考勤按照班级将人脸特征数据和人脸图像数据读取到本装置；若有新成员则将新成员人脸特征数据和人脸图像数据发送给服务器。将考勤结果发送给服务器。

电源装置7将220V交流电转换为5V和12V的直流电；其中5V电压为板卡的总电源供电，即为所有集成在板卡上的芯片、器件供电，12V电压为摄像机8、触摸屏9供电。

在FLASH芯片4内存储着所有的控制程序，通电后FLASH芯片4可自动启动，将控制程序加载到RAM存储器5中，供DM642芯片1调用运行。

下面结合附图对本发明的考勤装置的一次使用过程进行说明。

上课时，由教师操作触摸屏9，对所授课班级是否初次考勤进行判断。

若是初次考勤，发送初次考勤命令，由摄像机8采集的多幅面部的图像信息，以模拟信号传输给视频解码芯片2进行解码，然后将解码后的数字图像信息传送给DM642芯片1。DM642芯片1按照预先烧写在FLASH芯片4内的控制程序对数字图像信息进行人脸检测、人脸图像预处理、LBP、LPQ、Gabor特征提取，然后将处理后的图像信息通过MAX3485 串口芯片3传给触摸屏，考勤人员在触摸屏上完成人工考勤。最后，通过网络接口芯片6将学生特征信息、人脸照片信息、考勤结果传给服务器。

若不是初次考勤，发送考勤命令，首先通过网络接口芯片6将学生特征信息、人脸照片信息从服务器读入。然后由摄像机8采集的多幅面部的图像信息，以模拟信号传输给视频解码芯片2进行解码，将解码后的数字图像信息传送给DM642芯片1。DM642芯片1按照预先烧写在FLASH芯片4内的控制程序对数字图像信息进行人脸检测、人脸图像预处理、LBP、LPQ、Gabor特征提取，余弦相似度计算和加权计算得到最终相似度，若对于一幅人脸图像，其最终相似度大于阈值且都是同一人，则完成一人次自动考勤；若最终相似度大于阈值且不是同一人，将处理后的人脸图像信息和库里检索到的人脸图片通过MAX3485 串口芯片3传给触摸屏，考勤人员在触摸屏上完成一人次人工考勤，若没有最终相似度大于阈值的，则认为是新学生，将处理后的人脸图像信息通过MAX3485 串口芯片3传给触摸屏，考勤人员在触摸屏上完成一人次人工考勤。最后，通过网络接口芯片6将新学生特征信息、人脸照片信息以及所有考勤结果传给服务器。

如图2所示，所述的方法，包括以下步骤。

A、对系统进行初始化设置，包括对摄像机和触摸屏进行参数设置、加载摄像机和触摸屏的驱动以及对数据传输端口的设置。其中，对摄像机和触摸屏的参数设置用以保证输入输出的信号制式相互符合，使数据流畅通。该初始化设置开机后只需执行一次。

B、通过摄像机采集教室的图像信息，对采集到的图像信息进行人脸框选处理，形成一幅幅人脸图像；对提取的人脸图像根据眼睛坐标进行旋转校正和尺度归一化，获得校正后的图像，人脸图像尺寸为120×96。

在Gabor提取幅值信息的方法中，我们使用个尺度和个方向共种Gabor小波，并将窗口大小、最大频率，频率域步长和参数分别设置为，，和。则通过小波变换后共得到张图像，为降低所得到的原始图像的特征维数，我们对所得到的张图像分别进行的下采样操作，使用基于分块的方法，将降维后的图像分成行列共块，提取每一块特征的直方图，将张图像中相同块的直方图连接成一列共得到个列向量，用于求取相似度矩阵。记此种Gabor特征提取算法为Gabor block。

在LPQ提取相位信息的方法中，取相关系数、滑动窗口的大小和频率参数分别为、和。这个过程中，首先提取图像的LPQ特征，然后，使用两种不同的分块方法对得到的LPQ特征进行处理：一种为先将图像分为（行列）共块，再对其分成（行列）共18块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为该块对应的特征信息，我们将此种LPQ分块方法记为LPQ block1；另一种为先对特征提取后得到的特征图将图像分为（行列）共块，再对每一块分成（行列）共块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为对应块的特征信息，我们将此种LBP分块方法记为LPQ block2。

在提取纹理信息的方法中，首先对图像进行特征提取，获得图像的LBP特征。然后采用与LPQ提取特征相同的两种分块方法：一种为先将图像分为（行列）共块，再对其分成（行列）共18块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为该块对应的特征信息，我们将此种LBP分块方法记为LBP block1；另一种为先对特征提取后得到的特征图将图像分为（行列）共块，再对每一块分成（行列）共块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为对应块的特征信息，我们将此种LBP分块方法记为LBP block2。

D、通过网络获取班级信息，判断是否是初次考勤或是否需要更新。若为是则启动注册模块程序，执行E步骤；否则启动考勤模块程序，执行F步骤。

E、若需注册，将检测到的所有人脸图像进行相互特征相似度计算，计算方法为求余弦距离，分别得到LBP特征相似度、Gabor特征相似度和LPQ特征相似度，将三者按照求得的权值进行加权求和，权值为LBP block1：0.1153，LBP block2：0.1281，LPQ block1：0.0909，LPQ block2：0.0147，Gabor block：0.6676，得到最终相似度，将所有与某张人脸图像最终相似度值小于阈值的归为一类（最终相似度阈值为1.577776），并定义为一个学生，依次将所有人脸图像处理完。最后人工注册，并得到考勤结果。

F、若为考勤，若对于一幅人脸图像，其最终相似度（求法同E步骤）大于阈值（同E步骤）且都是同一人，则完成一人次自动考勤；若最终相似度大于阈值且不是同一人，将处理后的人脸图像信息和库里检索到的人脸图片通过MAX3485 串口芯片3传给触摸屏，考勤人员在触摸屏上完成一人次人工考勤，若没有最终相似度大于阈值的，则认为是新学生，将处理后的人脸图像信息通过MAX3485 串口芯片3传给触摸屏，考勤人员在触摸屏上完成一人次人工考勤。

H、将考勤结果发送给服务器。

Claims

1.一种自动课堂考勤装置，包括ICETEK-DM642-C板卡上集成的芯片、器件及外部装置，所述的板卡上集成的芯片、器件包括DM642芯片、视频解码芯片、MAX3485 芯片、FLASH芯片、网络接口芯片、RAM存储器；DM642芯片分别与视频解码芯片、MAX3485 芯片、FLASH芯片、网络接口芯片、RAM存储器、LED灯相连；FLASH芯片与RAM存储器相连；所述的外部装置包括电源装置、摄像机及触摸屏；摄像机与视频解码芯片的输入端口相连，MAX3485 芯片的输出端口与触摸屏相连；在所述的FLASH芯片内嵌入有考勤处理模块，该模块包括：

人脸检测模块，用于对高清摄像机采集到的图像进行人脸检测，获得人脸图像；AdaBoost与SVM相结合的人脸检测方法，同时对类Haar特征选取进行改进，有效提高了检测率和训练速度；

人脸特征提取模块，用于实现人脸特征提取以降低原始数据维数并使获得的数据具有良好的可分性和鲁棒性；我们采用了人脸纹理特征的LBP和LPQ算法以及人脸结构信息的Gabor方法相融合方法，提取人脸更全面的特征信息；

相似性度量模块，通过计算两幅人脸图象特征的余弦距离来获得两幅人脸图像的相似度；

考勤模块，除第一次考勤外，每次考勤将检测到的人脸图像与数据库中图像进行特征比对，根据最终相似度小于最终相似度阈值情况进行考勤判断；

通信模块，在第一次考勤时，将形成的班级人脸特征数据和人脸图像数据发送给服务器；

除第一次考勤外，每次考勤按照班级将人脸特征数据和人脸图像数据读取到本装置；若有新成员则将新成员人脸特征数据和人脸图像数据发送给服务器；

将考勤结果发送给服务器；

显示与操作模块，将检测到的人脸图像与识别结果显示在触摸屏上；

接收触摸屏上的操作，转换成相关命令。

2.权利要求1所述的自动课堂考勤装置的考勤方法，其特征在于，包括以下步骤：

A、通过摄像机采集教室的图像信息，对采集到的图像信息进行人脸框选处理，形成一幅幅人脸图像；

B、对提取的人脸图像进行旋转校正和尺度归一化，获得校正后的图像；

C、对校正后的人脸图像进行分块、提取LBP特征、Gabor特征和LPQ特征，针对每块每种特征利用相应的PCALDA投影向量进行乘积运算获得特征；

PCALDA投影向量为利用大量人脸数据经PCALDA运算后获得；

D、通过网络获取班级信息，判断是否是初次考勤或是否需要更新；

若为是则启动注册模块程序，执行E步骤；否则启动考勤模块程序，执行F步骤；

E、若需注册，将检测到的所有人脸图像进行相互特征相似度计算，分别得到LBP特征相似度、Gabor特征相似度和LPQ特征相似度，将三者按照求得的权值进行加权求和，得到最终相似度，将所有与某张人脸图像最终相似度值小于阈值的归为一类，并定义为一个学生，依次将所有人脸图像处理完；

最后人工注册，并得到考勤结果；

F、若为考勤，若对于一幅人脸图像，其最终相似度大于阈值且都是同一人，则完成一人次自动考勤；若最终相似度大于阈值且不是同一人，将处理后的人脸图像信息和库里检索到的人脸图片通过MAX3485 串口芯片3传给触摸屏，考勤人员在触摸屏上完成一人次人工考勤，若没有最终相似度大于阈值的，则认为是新学生，将处理后的人脸图像信息通过MAX3485 串口芯片3传给触摸屏，考勤人员在触摸屏上完成一人次人工考勤；

G、在第一次考勤时，将形成的班级人脸特征数据和人脸图像数据发送给服务器；

除第一次考勤外，每次考勤按照班级将人脸特征数据和人脸图像数据读取到本装置；若有新成员则将新学生人脸特征数据和人脸图像数据发送给服务器；

H、将考勤结果发送给服务器。

3.所述人脸图像尺寸为120×96。

4.所述阈值为1.577776。

5.在Gabor提取幅值信息的方法中，我们使用个尺度和个方向共种Gabor小波，并将窗口大小、最大频率，频率域步长和参数分别设置为，，和；则通过小波变换后共得到张图像，为降低所得到的原始图像的特征维数，我们对所得到的张图像分别进行的下采样操作，使用基于分块的方法，将降维后的图像分成行列共块，提取每一块特征的直方图，将张图像中相同块的直方图连接成一列共得到个列向量，用于求取相似度矩阵；记此种Gabor特征提取算法为Gabor block；

在LPQ提取相位信息的方法中，取相关系数、滑动窗口的大小和频率参数分别为、和；这个过程中，首先提取图像的LPQ特征，得到特征图，然后，使用两种不同的分块方法对得到的LPQ特征图进行处理：一种为先将特征图分为（行列）共块，再对其分成（行列）共18块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为该块对应的特征信息，我们将此种LPQ分块方法记为LPQ block1；另一种为将特征图分为（行列）共块，再对每一块分成（行列）共块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为对应块的特征信息，我们将此种LBP分块方法记为LPQ block2.

在提取纹理信息的方法中，首先对图像进行特征提取，获得图像的LBP特征；

然后采用与LPQ提取特征相同的两种分块方法：一种为先将图像分为（行列）共块，再对其分成（行列）共18块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为该块对应的特征信息，我们将此种LBP分块方法记为LBP block1；另一种将图像分为（行列）共块，再对每一块分成（行列）共块，在每大小的像素块中求其直方图，然后将这块的直方图连接成一列作为对应块的特征信息，我们将此种LBP分块方法记为LBP block2。

6.为了进一步降低图像每一块的特征维数，减小计算量，我们对上述几种方法得到的每一块的特征都使用PCALDA方法进行降维；先使用PCA方法将LBP、LPQ和Gabor小波方法分别降到维，维和维，再使用LDA方法将上述三种方法都降低到维。

7.将检测到的所有人脸图像进行相互特征相似度计算，计算方法为求余弦距离，分别得到LBP特征相似度、Gabor特征相似度和LPQ特征相似度，将三者按照求得的权值进行加权求和，权值为LBP block1：0.1153，LBP block2：0.1281，LPQ block1：0.0909，LPQ block2：0.0147，Gabor block：0.6676，得到最终相似度。