CN109508690A - 一种基于人脸识别的非主动配合考勤系统 - Google Patents

Abstract

本发明公开了一种基于人脸识别的非主动配合考勤系统，包括图像采集模块、人脸检测模块、人脸特征提取模块、人脸比对模块和存储与管理模块；所述图像采集模块包括两台网络摄像机，用于考勤时人脸图像的采集；所述人脸检测模块负责对采集到的图像进行人脸检测，将图像中所有的人脸检测出来；所述人脸特征提取模块用于将检测出的人脸进行面部特征点定位和人脸深度特征提取；所述人脸比对模块用于将提取出的人脸特征向量与数据库中已存的人脸特征向量进行比对；所述存储与管理模块包括数据库服务器和客户端电脑；本发明的有益效果是：通过网络摄像机自动采集人脸图像，可以避免传统人脸识别考勤机在大量人员考勤时造成的拥堵现象。

Description

一种基于人脸识别的非主动配合考勤系统

技术领域

本发明涉及电子考勤系统技术领域，具体为一种基于人脸识别的人员非主动配合考勤系统。

背景技术

随着企事业单位管理制度的进一步加强，考勤管理系统的重要性日益为人们所认识：通过考勤制度的完善，不仅可以增强员工的时间观念，提高工作效率，还维护了企业的工作秩序，可以大大改善企业的精神风貌，提升企业的整体形象。通过考勤可以获得员工或个人在特定时间的出勤情况，便于企业对员工的管理，使企业变得更好、更加具有竞争力。

随着社会的发展与科学技术的进步，考勤方式也经历了多种演变。从最初的纸质考勤演变为刷卡考勤，随后又出现了指纹考勤。目前随着人脸识别技术的发展和趋于成熟，人脸识别考勤也逐渐进入了人们的视野，由于其科技含量高且具有非接触等优点，越来越多的机构开始使用人脸识别的考勤方式。

当前有许多学者提出了不同的基于人脸识别的考勤方案，其中与本发明较接近的技术方案为：专利号为：201721832972.2，名称：人脸识别考勤闸机。阐述了一种能够适应不同光照环境和能够调节高度的人脸识别考勤闸机，包括考勤机、立杆和辊闸，与本发明不同的地方在于，其考勤的方式是通过考勤机进行人脸识别，并将结果发送至辊闸设有的控制系统，由控制系统控制辊闸的通行状态，其虽然能够通过人脸识别进行考勤，但辊闸通行状态的转换在大量人员进行考勤时，必然会造成排队现象，这样不但浪费了大量时间，考勤者还有可能因为排队导致上班迟到。专利号为：201220345564.5，名称：人脸识别考勤机。阐述了一种能够实时显示人脸图像，统计考勤过程更加准确迅速的人脸识别考勤机，由机身、显示屏、触摸屏和扩音器构成，与本发明不同的地方在于，其考勤过程中需要考勤人员人脸主动配合考勤，并且需要考勤人员站在考勤机前近距离进行考勤，当考勤人员过多时也会造成排队。专利号为：201720544853.0，名称：一种新型人脸识别考勤机。阐述了一种新型人脸识别考勤机，考勤机主体包括用于墙面固定的安装板、考勤面板以及摄像组件，其考勤方式同样需要考勤人员近距离配合，并且对于侧面人脸的识别并未给出明确的技术方案。

综上所述，当前基于人脸识别的考勤方法存在着如下不足：(1)人脸考勤方式单一，大部分都是基于固定在某一位置的人脸考勤机；(2)考勤过程中需要人脸近距离主动配合，当有大量人员进行考勤时，造成排队等候的问题；(3)人脸识别大部分依赖于正面人脸的识别，鲁棒性较差。

发明内容

针对现有的基于人脸识别的考勤方法存在的上述问题，本发明提出了一种基于人脸识别的非主动配合考勤系统。

一种基于人脸识别的非主动配合考勤系统，其特征在于，包括图像采集模块、人脸检测模块、人脸特征提取模块、人脸比对模块和存储与管理模块；

所述图像采集模块包括两台网络摄像机，用于考勤时人脸图像的采集；

所述人脸检测模块负责对采集到的图像进行人脸检测，将图像中所有的人脸检测出来；

所述人脸特征提取模块用于将检测出的人脸进行面部特征点定位和人脸深度特征提取；

所述人脸比对模块用于将提取出的人脸特征向量与数据库中已存的人脸特征向量进行比对；

所述存储与管理模块包括数据库服务器和客户端电脑，数据库服务器内置用于存储人员信息以及人员签到信息的数据库，客户端电脑内置管理系统、人脸检测模块、人脸特征提取模块和人脸比对模块。

所述的一种基于人脸识别的非主动配合考勤系统，其特征在于：所述的两台网络摄像机包括入门检测网络摄像机以及出门检测网络摄像机，两台网络摄像机固定在入口内外两侧，两台网络摄像机分别距离地面距离为175～185cm，且分别与地面呈45度夹角，通过网线与客户端电脑相连，入门检测网络摄像机采集人员进入时的图像，出门检测网络摄像机采集人员出去时的图像；

所述的一种基于人脸识别的非主动配合考勤系统，其特征在于：所述人脸特征提取模块的面部特征点定位采用由粗到精的自编码器网络CFAN实现的，包括两眼中心、两嘴角以及鼻尖5个特征点；所述人脸特征提取模块的人脸深度特征提取利用深度卷积神经网络实现，该网络包含7个卷积层与2个全连接层，提取到的人脸特征为4096维的深度人脸特征，令提取出的人脸特征向量为f＝{fea_i|i＝1,2,...,4096}，其中fea_i为浮点数并表示人脸特征向量中的第i个特征；

所述的一种基于人脸识别的非主动配合考勤系统，其特征在于：所述的人脸特征比对模块是根据公式(1)计算两个人脸特征向量的相似度，其中A，B分别表示两个人脸特征向量，A＝{a_i|i＝1,2,...,K}，B＝{b_i|i＝1,2,...,K}，a_i表示人脸特征向量A中的第i个特征值，b_i表示人脸特征向量B中的第i个特征值；

其中，s表示向量A和B的相似度函数。

所述的一种基于人脸识别的非主动配合考勤系统的考勤方法，其特征在于，包括如下步骤：

1)令数据库中人员与其人脸特征向量的映射集其中G_Bi表示第i个人员的人脸特征向量的集合，p_i表示第i个人员的编号，n表示人员数量，表示第i个人员的人脸特征向量集合中第j个人脸特征向量，m_i表示人脸特征向量集合中第i个人脸特征向量的数量；

2)对任意需考勤的一天为D，令任意待考勤人员为p_r，该人员在第D天被网络摄像机采集到人脸的时间集合 表示人员p_r在第D天签到时间集合中在编号为k的网络摄像机中的第j个签到时间，k表示网络摄像机的编号，k＝0表示入门网络摄像机，k＝1表示出门网络摄像机，R^(r)表示签到时间集合中签到时间的数量；

3)对任意需考勤的一天为D，对人员p_r进入或走出门口时采集到的图像进行人脸检测，并将提取到的人脸特征向量记为f_c，根据公式(1)计算f_c与步骤1)中人脸特征向量集合中的每个人脸特征向量的相似度，得到相似度集合令S＝max(G_D),C表示检测到的人员p_r的人脸的置信度，若S>S₀，表明签到成功，将写入到数据库中，此时，p_r对应于G_A中的某个人员，假设为p_x，若m_x<m_max，将提取到的人脸特征向量f_c添加到人脸特征向量集合中，即若S<S₀，表明数据库中不存在该人员，此时进行自动注册，具体为：若C>C_min，将人员p_r及其人脸特征向量f_c写入数据库，即G_A＝G_A∪{(p_i,{f_c})}；其中，S表示最大的人脸相似度，max表示取最大值，S₀表示人脸相似度阈值，m_max表示在数据库中允许存储的最大的人脸特征向量的数目，C_min表示人脸置信度阈值；

4)步骤2)中所述的满足其表示两个网络摄像机的签到时间集合，其中，表示入门检测网络摄像机对应的签到时间集合， 表示出门检测网络摄像机对应的签到时间集合为令入门检测网络摄像机对应的最小签到时间为t_min，出门检测网络摄像机对应的最大签到时间为t_max，即 则人员p_r的出勤时间t_all＝t_max-t_min。

本发明的有益效果是：

1)通过网络摄像机自动采集人脸图像，可以避免传统人脸识别考勤机在大量人员考勤时造成的拥堵现象，使考勤更加友好化、简便化、自动化；

2)人员考勤成功后，可将此次签到的人脸加入该人员对应的人脸库中，从而使人脸识别具有更好的鲁棒性，提高多角度人脸下的人脸考勤成功率；

3)本系统可以进行人员的自动注册，当考勤失败时，可以对该人员进行自动注册，可大大减小管理人员的工作量；

4)通过两个网络摄像机相结合，不但可以进行考勤，还可以统计考勤人员的出勤时间，使考勤更加全面。

附图说明

图1为本发明基于人脸识别的非主动配合考勤系统的示意性框图；

图2为本发明基于人脸识别的非主动配合考勤系统的原理示意图；

图中：1-图像采集模块，2-人脸检测模块，3-人脸特征提取模块，4-人脸比对模块，5-存储与管理模块，6-出门检测网络摄像机，7-入口外侧天花板，8-出门检测网络摄像机连接网线，9-入门检测网络摄像机连接网线，10-入口内侧天花板，11-入门检测网络摄像机，12-入口，13-客户端电脑，14-数据库服务器。

具体实施方式

下面结合附图和实施例，对本发明进行进一步的说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

如图1所示，一种基于人脸识别的非主动配合考勤系统，由图像采集模块1、人脸检测模块2、人脸特征提取模块3、人脸比对模块4和存储与管理模块5构成，图像采集模块1包括两台网络摄像机，用于考勤时人脸图像的采集，本实施例中使用的是700万像素的网络摄像机，最大分辨率可达3392*2008，帧率为25帧；人脸检测模块2负责对采集到的图像中进行人脸检测，将图像中所有的人脸检测出来；人脸特征提取模块3用于将测出的人脸进行面部特征点定位和人脸深度特征提取；人脸比对模块4用于将提取出的人脸特征与数据库中已存的人脸特征进行比对；存储与管理模块5包括数据库服务器14和客户端电脑13，数据库服务器14内置用于存储人员信息以及人员签到信息的数据库，客户端电脑13内置管理系统、人脸检测模块2、人脸特征提取模块3和人脸比对模块4.

两台网络摄像机包括入门检测网络摄像机11以及出门检测网络摄像机6，如图2所示，两台网络摄像机固定在入口12内外两侧的天花板上，包括入口内侧天花板10和入口外侧天花板7，网络摄像机距离地面距离为175～185cm，本实施例中，网络摄像机距离地面的距离为180cm，网络摄像机与地面呈45度夹角，通过网线与客户端电脑13相连，网线包括入门检测网络摄像机连接网线9和出门检测网络摄像机连接网线8，入门检测网络摄像机11采集人员进入时的图像，出门检测网络摄像机6采集人员出去时的图像。

面部特征点定位采用的是一种由粗到精的自编码器网络CFAN实现的，包括两眼中心、两嘴角以及鼻尖5个特征点；所述的人脸深度特征提取利用深度卷积神经网络实现，该网络包含7个卷积层与2个全连接层，提取到的人脸特征为4096维的深度人脸特征，令提取出的人脸特征向量为f＝{fea_i|i＝1,2,...,4096}，其中fea_i为浮点数并表示人脸特征向量中的第i个特征。

人脸特征比对采用的是根据公式(1)计算两个人脸特征向量的相似度，其中A，B分别表示两个人脸特征向量，A＝{a_i|i＝1,2,...,K}，B＝{b_i|i＝1,2,...,K}，a_i表示人脸特征向量A中的第i个特征值，b_i表示人脸特征向量B中的第i个特征值；

其中，s表示向量A和B的相似度函数。

一种基于人脸识别的非主动配合考勤系统，考勤过程按如下的步骤实现：

1)令数据库中人员与其人脸特征向量的映射集其中G_Bi表示第i个人员的人脸特征向量的集合，p_i表示第i个人员的编号，n表示人员数量，表示第i个人员的人脸特征向量集合中第j个人脸特征向量，m_i表示人脸特征向量集合中第i个人脸特征向量的数量；

2)对任意需考勤的一天为D，令任意待考勤人员为p_r，该人员在第D天被网络摄像机采集到人脸的时间集合 表示人员p_r在第D天签到时间集合中在编号为k的网络摄像机中的第j个签到时间，k表示网络摄像机的编号，k＝0表示入门网络摄像机，k＝1表示出门网络摄像机，R^(r)表示签到时间集合中签到时间的数量；

3)对任意需考勤的一天为D，对人员p_r进入或走出门口时采集到的图像进行人脸检测，并将提取到的人脸特征向量记为f_c，根据公式(1)计算f_c与步骤1)中人脸特征向量集合中的每个人脸特征向量的相似度，得到相似度集合令S＝max(G_D),C表示检测到的人员p_r的人脸的置信度，若S>S₀，表明签到成功，将写入到数据库中，此时，p_r对应于G_A中的某个人员，假设为p_x，若m_x<m_max，将提取到的人脸特征向量f_c添加到人脸特征向量集合中，即若S<S₀，表明数据库中不存在该人员，此时进行自动注册，具体为：若C>C_min，将人员p_r及其人脸特征向量f_c写入数据库，即G_A＝G_A∪{(p_i,{f_c})}；其中，S表示最大的人脸相似度，max表示取最大值，S₀表示人脸相似度阈值，m_max表示在数据库中允许存储的最大的人脸特征向量的数目，C_min表示人脸置信度阈值，在本实施例中，人脸相似度阈值S₀取0.55，数据库中允许存储的最大的人脸特征向量的数目m_max取15，人脸置信度阈值C_min取0.65；

4)步骤2)中所述的满足其表示两个网络摄像机的签到时间集合，其中，表示入门检测网络摄像机11对应的签到时间集合， 表示出门检测网络摄像机6对应的签到时间集合为令入门检测网络摄像机11对应的最小签到时间为t_min，出门检测网络摄像机6对应的最大签到时间为t_max，即 则人员p_r的出勤时间t_all＝t_max-t_min。

Claims (5)

1.一种基于人脸识别的非主动配合考勤系统，其特征在于，包括图像采集模块、人脸检测模块、人脸特征提取模块、人脸比对模块及存储与管理模块；

所述图像采集模块包括两台网络摄像机，用于考勤时人脸图像的采集；

所述人脸检测模块负责对采集到的图像进行人脸检测，将图像中所有的人脸检测出来；

所述人脸特征提取模块用于将检测出的人脸进行面部特征点定位和人脸深度特征提取；

所述人脸比对模块用于将提取出的人脸特征向量与数据库中已存的人脸特征向量进行比对；

所述存储与管理模块包括数据库服务器和客户端电脑，数据库服务器内置用于存储人员信息以及人员签到信息的数据库，客户端电脑内置管理系统、人脸检测模块、人脸特征提取模块以及人脸比对模块。

2.根据权利要求1所述的一种基于人脸识别的非主动配合考勤系统，其特征在于，所述两台网络摄像机包括入门检测网络摄像机及出门检测网络摄像机，所述两台网络摄像机分别固定在入口内外两侧，两台网络摄像机距离地面距离分别为175～185cm，且分别与地面呈45°夹角，通过网线与客户端电脑相连，入门检测网络摄像机采集人员进入时的图像，出门检测网络摄像机采集人员出去时的图像。

3.根据权利要求1所述的一种基于人脸识别的非主动配合考勤系统，其特征在于，所述人脸特征提取模块的面部特征点定位采用由粗到精的自编码器网络CFAN实现的，包括两眼中心、两嘴角以及鼻尖5个特征点；所述人脸特征提取模块的人脸深度特征提取利用深度卷积神经网络实现，该网络包含7个卷积层与2个全连接层，提取到的人脸特征为4096维的深度人脸特征，令提取出的人脸特征向量为f＝{fea_i|i＝1,2,...,4096}，其中fea_i为浮点数并表示人脸特征向量中的第i个特征。

4.根据权利要求1所述的一种基于人脸识别的非主动配合考勤系统，其特征在于,所述人脸比对模块是根据公式(1)计算两个人脸特征向量的相似度，其中A，B分别表示两个人脸特征向量，A＝{a_i|i＝1,2,...,K}，B＝{b_i|i＝1,2,...,K}，a_i表示人脸特征向量A中的第i个特征值，b_i表示人脸特征向量B中的第i个特征值；

其中，s表示向量A和B的相似度函数。

5.根据权利要求1-4任一所述的一种基于人脸识别的非主动配合考勤系统的考勤方法，其特征在于，包括如下步骤：

1)令数据库中人员与其人脸特征向量的映射集其中G_Bi表示第i个人员的人脸特征向量的集合，p_i表示第i个人员的编号，n表示人员数量，表示第i个人员的人脸特征向量集合中第j个人脸特征向量，m_i表示人脸特征向量集合中第i个人脸特征向量的数量；

2)对任意需考勤的一天为D，令任意待考勤人员为p_r，该人员在第D天被网络摄像机采集到人脸的时间集合 表示人员p_r在第D天签到时间集合中在编号为k的网络摄像机中的第j个签到时间，k表示网络摄像机的编号，k＝0表示入门网络摄像机，k＝1表示出门网络摄像机，R^(r)表示签到时间集合中签到时间的数量；

3)对任意需考勤的一天为D，对人员p_r进入或走出门口时采集到的图像进行人脸检测，并将提取到的人脸特征向量记为f_c，根据公式(1)计算f_c与步骤1)中人脸特征向量集合中的每个人脸特征向量的相似度，得到相似度集合令S＝max(G_D),C表示检测到的人员p_r的人脸的置信度，若S>S₀，表明签到成功，将写入到数据库中，此时，p_r对应于G_A中的某个人员，假设为p_x，若m_x<m_max，将提取到的人脸特征向量f_c添加到人脸特征向量集合中，即若S<S₀，表明数据库中不存在该人员，此时进行自动注册，具体为：若C>C_min，将人员p_r及其人脸特征向量f_c写入数据库，即G_A＝G_A∪{(p_i,{f_c})}；其中，S表示最大的人脸相似度，max表示取最大值，S₀表示人脸相似度阈值，m_max表示在数据库中允许存储的最大的人脸特征向量的数目，C_min表示人脸置信度阈值；

4)步骤2)中所述的满足其表示两个网络摄像机的签到时间集合，其中，表示入门检测网络摄像机对应的签到时间集合， 表示出门检测网络摄像机对应的签到时间集合为令入门检测网络摄像机对应的最小签到时间为t_min，出门检测网络摄像机对应的最大签到时间为t_max，即 则人员p_r的出勤时间t_all＝t_max-t_min。