CN106169071A - 一种基于动态人脸与胸卡识别的考勤方法及系统 - Google Patents

Abstract

本发明提供了一种动态人脸与胸卡识别的方法及系统，包括：检测视频流图像中是否包含人脸的局部特征的信息，根据检测结果确定视频流图像中包含的人脸，确定有效的人脸；跟踪运动物体的人脸具体位置；当有效识别的人脸满足活体检测识别条件时，提取视频流图像的单帧图像或照片，生成个体特征头像；识别生成个体特征头像，判断头像是否达到合适的胸卡检测区域，根据判断结果进行胸卡检测，确定胸卡图像中包含的人脸，进行检测识别；获得活体检测人脸图像和胸卡人脸图像后进行大小调整，比对直方图相似度，当相似度大于预设的相似度阈值时，则断定人脸与胸卡图像匹配；将匹配成功的人脸图像与数据库预存图像再次比对，从而实现考勤功能。

Description

一种基于动态人脸与胸卡识别的考勤方法及系统

技术领域

本发明涉及智能考勤技术，具体涉及一种基于动态人脸与胸卡识别的考勤方法及系统。

背景技术

随着信息化产业的蓬勃发展，人们物质生活水平不断提高，越来越多的人开始追求高效便捷的生活方式，也开始注重信息安全。自条形码识别技术诞生以来，现代的信息识别技术得到了日新月异的发展，现已逐步成为人们生活中不可或缺的一部分，在人们生活的各个方面都发挥出重大的作用，同时也给我们带来了极大的便利。然而，在其带来高效便捷的同时，条形码识别技术的弊端也逐渐显露出来——信息安全问题。为此，人们又相继发明了基于磁卡、数字密码等传统领域的安全识别方法，可是后续的所谓安全识别方法虽一定程度的提高了安全水平，但也越来越偏离了人们追求的高效便捷的生活质量。

作为现代化的企业，信息化管理是必不可少的，完善和科学的人事管理制度是衡量企业单位管理水平高低的标志，而人事管理制度中最重要也是最基础的一个环节便是记录企业职工日常的考勤。考勤方式经历了纸质签到、纸质打卡、磁卡记录、指纹识别到现如今的人脸识别，现有的考勤技术中一般直接通过人脸识别进行考勤，其较依赖于人脸识别算法的识别率，识别过程不够人性化，而将胸卡与人脸同时进行检测，由于都存在人脸，会造成误识别的情况。

发明内容

为此，本发明提出一种基于动态人脸与胸卡识别的考勤方法及系统，以改善企业职工考勤方式。本发明结合现如今市场状况和企业需求，整合了人脸和胸卡识别两个主流考勤系统，旨在使现如今企业职工考勤更人性化、更有效率，克服了将人脸与胸卡结合过程中产生误识别的情况。

具体方案如下：

一种基于动态人脸与胸卡识别的考勤方法，包括

S1、建立员工个人信息数据库，员工个人信息数据库包括但不限于员工个人图像以及员工个人名字；

S2、采集视频流；

S3、通过多角度人脸检测函数检测视频流图像中是否包含人脸的局部特征的信息，根据检测结果确定视频流图像中包含的人脸，确定有效的人脸；

S4、对包含人脸图像的视频流中人脸进行跟踪定位；

S5、提取包含人脸图像的视频流中图像的单帧图像，生成个体特征头像；

S6、当视频流中的人脸到达特定区域时，检测定位包含人脸图像视频流中胸卡位置，同时检测并获取胸卡人脸图像；

S7、将个体特征头像和胸卡人脸图像进行大小调整，比对直方图相似度，当相似度大于预设的相似度阈值时，则判定匹配成功，进入步骤S8，当相似度小于或等于预设的相似度阈值时，则判定匹配失败；

S8、将个体特征头像或胸卡人脸图像与员工个人信息数据库中的员工个人图像进行大小调整，比对直方图相似度，当相似度大于预设的相似度阈值时，则判定匹配成功，当相似度小于或等于预设的相似度阈值时，则判定匹配失败。

其中，在所述的步骤S3检测人脸之前，还包括一设定识别框的上限和下限步骤，使得人脸在识别框内进行识别，以排除胸卡人脸的误识别。

其中，所述的S4中对包含人脸图像的视频流中人脸进行跟踪定位的具体步骤是：

S41、根据Haar算法得到训练集，训练集中的点定义为初始超级跟踪点；

S42、将视频流的每一帧都与训练集进行直方图相似度匹配，相似度大于一相似度阈值的点定为低级跟踪点，低级跟踪点经过加权后跟踪质量大于高质量阈值后可变为超级跟踪点；

S43、分别设定大波门、中波门以及小波门，若匹配后为低级跟踪点，则在中波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则在大波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则减小跟踪质量；若匹配后为超级跟踪点，则在小波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则在中波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则减小跟踪质量；

S44、遍历所有最优疑似点，并标记出目标位置，实现跟踪。

其中，所述的步骤S6中检测定位包含人脸图像视频流中胸卡位置，同时检测并获取胸卡人脸图像的具体步骤是：

S61、获取人脸以下1/3区域图像，

S62、对图像上的颜色点进行降色彩操作，获得色彩较为单一图像；

S63、降色彩后的图片进行转灰度操作，进一步得到色彩更为单一的图像；

S64、对图像进行均值滤波；

S65、对图像进行形态学膨胀-腐蚀-膨胀操作；

S66、对图像中的白色区域进行检测，获取胸卡中人脸图像位置，并获得胸卡人脸图像。

一种基于动态人脸与胸卡识别的考勤系统，包括

数据库模块、用于建立员工个人信息数据库，员工个人信息数据库包括但不限于员工个人图像以及员工个人名字；

视频采集模块、用于采集视频流；

第一图像检测模块、用于通过多角度人脸检测函数检测视频流图像中是否包含人脸的局部特征的信息，根据检测结果确定视频流图像中包含的人脸，确定有效的人脸；

跟踪定位模块、用于对包含人脸图像的视频流中人脸进行跟踪定位；

图像提取模块、用于提取包含人脸图像的视频流中图像的单帧图像，生成个体特征头像；

第二图像检测模块、用于当视频流中的人脸到达特定区域时，检测定位包含人脸图像视频流中胸卡位置，同时检测并获取胸卡人脸图像；

第一匹配模块，用于将个体特征头像和胸卡人脸图像进行大小调整，比对直方图相似度，当相似度大于预设的相似度阈值时，则判定匹配成功，进入第二匹配模块，当相似度小于或等于预设的相似度阈值时，则判定匹配失败；

第二匹配模块、用于将个体特征头像或胸卡人脸图像与员工个人信息数据库中的员工个人图像进行大小调整，比对直方图相似度，当相似度大于预设的相似度阈值时，则判定匹配成功，当相似度小于或等于预设的相似度阈值时，则判定匹配失败。

本发明由于其系统识别的功能，职工考勤可不必靠近考勤机，考勤机也可通过自身的优化算法捕获清晰图像，实现准确考情的目的。对于数据库以外的图像，考勤机也可识别比对后提醒前台注意查看，提高了公司的安全性，本发明的考勤方法及系统和传统人工考勤、指纹考勤和人脸、胸卡单一考勤方式相比，使考勤更加卫生、健康又人性化，而且采用人脸和胸卡双重考勤机制，使考勤错误率大大降低。同时借助网络能满足分布式单位的需要，与人事管理系统联合，给企业带来现代化的人事管理。

附图说明

图1为本发明动态人脸与胸卡识别方法的方法流程图；

图2为本发明检测跟踪定位的方法流程图；

图3为本发明胸卡检测的方法流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。现结合附图和具体实施方式对本发明进一步说明。

如图1所示，为本发明的动态人脸与胸卡识别方法的方法流程图：

首先，手机企业员工的个人信息，并建立员工个人信息数据库，员工个人信息数据库包括但不限于员工个人图像以及员工个人名字；

采用摄像头对焦企业进出通道，采集视频流，第一图像检测模块通过多角度人脸检测函数检测视频流图像中是否包含人脸的局部特征的信息，根据检测结果确定视频流图像中包含的人脸，若检测到人脸图像时，则立即开启跟踪线程对图像人脸进行跟踪定位。

跟踪定位模块是检测功能与跟踪功能的集成模块，它们在系统运行的过程中，单独运行在一个线程中。首先在检测跟踪线程中设置一个无限循环，在循环中，一直检测来自主线程（摄像头采集的视频）的运行标志位，当该标志位苏醒时，检测跟踪线程会获得主线程拷贝的视频帧图像，并对该幅图像进行处理。为了增加系统的执行效率，要先对图像进行缩放，然后调用多角度人脸检测函数，对人脸进行检测，检测完成之后，需要将此次检测得到的信息交给跟踪器，由跟踪器对检测信息进行融合。

如图2，为本发明检测跟踪定位方法的算法流程图，跟踪定位其大致流程包括：

根据Haar算法得到训练集，训练集中的点定义为初始超级跟踪点；

将视频流的每一帧都与训练集进行直方图相似度匹配，相似度大于一相似度阈值的点定为低级跟踪点，低级跟踪点经过加权后跟踪质量大于高质量阈值后可变为超级跟踪点；

分别设定大波门、中波门以及小波门，若匹配后为低级跟踪点，则在中波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则在大波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则减小跟踪质量；若匹配后为超级跟踪点，则在小波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则在中波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则减小跟踪质量；

遍历所有最优疑似点，并标记出目标位置，实现跟踪。

本发明利用基于最近邻和相似直方图的跟踪算法，由于检测器在很多情况下都会发生漏检，误检以及检测失败等情况，因此在跟踪器中设置了许多低级跟踪点，这些跟踪点是用来储存一次检测器检测到的信息，然后进行信息融合，在信息融合过程中，如果有超级跟踪点，那么先由超级跟踪点对低级跟踪点进行筛选，根据一定的规则（多波门依次扩大和直方图相似匹配），超级跟踪点若筛选出了跟自己很相似的低级跟踪点，那么就认为超级跟踪点找到了自己要跟踪的目标，并且超级跟踪点的信息要更新为当前找到的低级跟踪点的信息，然后对该超级跟踪点进行奖励，提升其跟踪等级；并且对此低级跟踪点进行标记，防止被其他超级跟踪点筛选到。

如果此次筛选过程中，超级跟踪点没有筛选到属于自己的低级跟踪点，那么就认为检测器没有检测到超级跟踪点所跟踪的目标，因此认为跟踪目标应该还是按照之前的运动轨迹进行延伸，所以预测本帧中，该跟踪目标新的位置应该是在上一帧的坐标基础上，加上其当前运动速度矢量，同时要对该超级跟踪点进行惩罚，当超级跟踪点被惩罚到一定界限之后，便会剥夺其超级跟踪点的身份，并空出内存。

当所有的超级跟踪点筛选完之后，便要对剩下的没有被筛选的低级跟踪点进行处理了，对于没有被处理的低级跟踪点，将它们的身份进行升级，变成潜在的超级跟踪点（即高级跟踪点），它们和超级跟踪点一样，具有挑选低级跟踪点的权利，当对它们的奖励增加到一定程度时，它们就会变成真正的超级跟踪点，作为一个实际的跟踪对象。随后，需要对所有的低级跟踪点进行清空。并且返回所有实际跟踪对象的信息，完成跟踪信息融合。

至此，实现了运动人脸图像的跟踪与检测。

在进行人脸图像检测时，由于同一个画面中包含员工本人人脸和胸卡图像中的人脸，为排除误识别，在进行人脸检测时，先设定识别框的上限和下线，图像中人脸过大或过小都无法获得加权条件，由于无法获得加权，在几轮检测过后，最后会被神经网络算法排除疑似点。所以当图像中同时出现员工本人人脸和胸卡人脸时，不会产生误识别情况。

为了保证识别过程中万无一失，本系统将胸卡检测放在人脸检测成功后方可执行，当检测器检测到合适的人脸图像信息后，会自动触发胸卡检测器，检测范围为人脸以下区域，高低位1/3的界面图像大小。由于此时检测的明确是胸卡，所以识别框的上限和下线要进行相应的调整。但是又由于胸卡的尺寸比较小，所以识别框的下线要相对大一些，才能保证识别的成功率。

如图3所示，为本发明对胸卡检测的流程图：

当人脸检测器到人脸到达特定区域时，认为出现适合检测时刻，在该时刻，检测人脸以下的胸卡部分，检测区域高低占整个窗口1/3。获得检测区域后，取出胸卡区域，进行三次样条差值，将目标像素对应的三次样条值作为目标图像对应像素点的值]。然后对检测区域图像利用OpenCV的Mat类中at<Vec3b>(i,j)[k]的方法获取彩色图像中i行j列第k通道的颜色点，对图像上的颜色点进行降色彩操作，获得色彩较为单一图像，紧接着将降色彩后的图片进行转灰度操作，进一步得到色彩更为单一的图像，再对图像进行均值滤波，最后再利用自定义的3*3的正方形kernel对图像进行形态学膨胀-腐蚀-膨胀操作，得到最后我们需要的图像。检测区域只剩白点和黑色区域，此时只要对图像中的白色区域进行人脸检测即可获得胸卡中人脸的具体位置，从而获得胸卡的人脸图像。

当获得胸卡中人脸图像时，系统将需要匹配的图片读入内存，然后使用OpenCV的Resize函数对图像进行处理，缩放成100*100大小的图像。同时将人脸的图像进行同样的缩放，使得到的图像和胸卡中人脸图像一致。得到缩放后的图像后，对图像进行形态学操作，得到新的人脸图像。通过一些列的图像操作后，获得两张人脸图像直方图，即矩阵，紧接着对这个两个矩阵进行改变结构。将图片从N*M矩阵改成（NM）*1矩阵，然后用两个图像对应位置的像素差值求平方，再将各自的加起来，得到两个总和，比较二者差值，如果在阈值Alpha以内，则认为是同一个人，否则，则认定为不是同一个人。

当识别为同一个人后，系统进行类似上述活体检测人脸图像与胸卡人脸图像匹配，进行活体检测人脸图像和数据库人脸图像比对，当相似度大于预设的相似度阈值时，则判定匹配成功，记录考勤系统，实现考勤，当相似度小于或等于预设的相似度阈值时，则判定匹配失败，向前台发送报警信息，提醒前台实现考勤功能。

基于上述的一种基于动态人脸与胸卡识别的考勤方法，还提出一种基于动态人脸与胸卡识别的考勤方法系统，包括

数据库模块、用于建立员工个人信息数据库，员工个人信息数据库包括但不限于员工个人图像以及员工个人名字；

视频采集模块、用于采集视频流；

第一图像检测模块、用于通过多角度人脸检测函数检测视频流图像中是否包含人脸的局部特征的信息，根据检测结果确定视频流图像中包含的人脸，确定有效的人脸；

跟踪定位模块、用于对包含人脸图像的视频流中人脸进行跟踪定位；

图像提取模块、用于提取包含人脸图像的视频流中图像的单帧图像，生成个体特征头像；

第二图像检测模块、用于当视频流中的人脸到达特定区域时，检测定位包含人脸图像视频流中胸卡位置，同时检测并获取胸卡人脸图像；

第一匹配模块，用于将个体特征头像和胸卡人脸图像进行大小调整，比对直方图相似度，当相似度大于预设的相似度阈值时，则判定匹配成功，进入第二匹配模块，当相似度小于或等于预设的相似度阈值时，则判定匹配失败，向前台发送信息，迎接顾客；

第二匹配模块、用于将个体特征头像或胸卡人脸图像与员工个人信息数据库中的员工个人图像进行大小调整，比对直方图相似度，当相似度大于预设的相似度阈值时，则判定匹配成功，记录考勤系统，实现考勤，当相似度小于或等于预设的相似度阈值时，则判定匹配失败，向前台发送报警信息，提醒前台。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (5)

1.一种基于动态人脸与胸卡识别的考勤方法，其特征在于：包括

S1、建立员工个人信息数据库，员工个人信息数据库包括但不限于员工个人图像以及员工个人名字；

S2、采集视频流；

S3、通过多角度人脸检测函数检测视频流图像中是否包含人脸的局部特征的信息，根据检测结果确定视频流图像中包含的人脸，确定有效的人脸；

S4、对包含人脸图像的视频流中人脸进行跟踪定位；

S5、提取包含人脸图像的视频流中图像的单帧图像，生成个体特征头像；

S6、当视频流中的人脸到达特定区域时，检测定位包含人脸图像视频流中胸卡位置，同时检测并获取胸卡人脸图像；

S7、将个体特征头像和胸卡人脸图像进行大小调整，比对直方图相似度，当相似度大于预设的相似度阈值时，则判定匹配成功，进入步骤S8，当相似度小于或等于预设的相似度阈值时，则判定匹配失败；

S8、将个体特征头像或胸卡人脸图像与员工个人信息数据库中的员工个人图像进行大小调整，比对直方图相似度，当相似度大于预设的相似度阈值时，则判定匹配成功，当相似度小于或等于预设的相似度阈值时，则判定匹配失败。

2.根据权利要求1所述的一种基于动态人脸与胸卡识别的考勤方法，其特征在于：在所述的步骤S3检测人脸之前，还包括一设定识别框的上限和下限步骤，使得人脸在识别框内进行识别，以排除胸卡人脸的误识别。

3.根据权利要求1所述的一种基于动态人脸与胸卡识别的考勤方法，其特征在于：所述的S4中对包含人脸图像的视频流中人脸进行跟踪定位的具体步骤是：

S41、根据Haar算法得到训练集，训练集中的点定义为初始超级跟踪点；

S42、将视频流的每一帧都与训练集进行直方图相似度匹配，相似度大于一相似度阈值的点定为低级跟踪点，低级跟踪点经过加权后跟踪质量大于高质量阈值后可变为超级跟踪点；

S43、分别设定大波门、中波门以及小波门，若匹配后为低级跟踪点，则在中波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则在大波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则减小跟踪质量；若匹配后为超级跟踪点，则在小波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则在中波门内寻找最优疑似点，若寻找成功，更新目标位置参数并对跟踪质量加权，若未寻找到，则减小跟踪质量；

S44、遍历所有最优疑似点，并标记出目标位置，实现跟踪。

4.根据权利要求1所述的一种基于动态人脸与胸卡识别的考勤方法，其特征在于：所述的步骤S6中检测定位包含人脸图像视频流中胸卡位置，同时检测并获取胸卡人脸图像的具体步骤是：

S61、获取人脸以下1/3区域图像，

S62、对图像上的颜色点进行降色彩操作，获得色彩较为单一图像；

S63、降色彩后的图片进行转灰度操作，进一步得到色彩更为单一的图像；

S64、对图像进行均值滤波；

S65、对图像进行形态学膨胀-腐蚀-膨胀操作；

S66、对图像中的白色区域进行检测，获取胸卡中人脸图像位置，并获得胸卡人脸图像。

5.一种基于动态人脸与胸卡识别的考勤系统，其特征在于：包括

数据库模块、用于建立员工个人信息数据库，员工个人信息数据库包括但不限于员工个人图像以及员工个人名字；

视频采集模块、用于采集视频流；

第一图像检测模块、用于通过多角度人脸检测函数检测视频流图像中是否包含人脸的局部特征的信息，根据检测结果确定视频流图像中包含的人脸，确定有效的人脸；

跟踪定位模块、用于对包含人脸图像的视频流中人脸进行跟踪定位；

图像提取模块、用于提取包含人脸图像的视频流中图像的单帧图像，生成个体特征头像；

第二图像检测模块、用于当视频流中的人脸到达特定区域时，检测定位包含人脸图像视频流中胸卡位置，同时检测并获取胸卡人脸图像；

第一匹配模块，用于将个体特征头像和胸卡人脸图像进行大小调整，比对直方图相似度，当相似度大于预设的相似度阈值时，则判定匹配成功，进入第二匹配模块，当相似度小于或等于预设的相似度阈值时，则判定匹配失败；

第二匹配模块、用于将个体特征头像或胸卡人脸图像与员工个人信息数据库中的员工个人图像进行大小调整，比对直方图相似度，当相似度大于预设的相似度阈值时，则判定匹配成功，当相似度小于或等于预设的相似度阈值时，则判定匹配失败。