CN108022318A - 多人人脸识别考勤系统及其考勤方法 - Google Patents

Abstract

本发明提供了一种多人人脸识别考勤系统及其考勤方法，方法包括：记录学生信息和制定考勤现场的排课计划，并将所述学生信息和所述排课计划上传至考勤数据库；根据制定的排课计划，自动采集考勤现场的全景图像文件，并将采集的所述全景图像文件上传至所述考勤数据库；对上传至所述考勤数据库中的所述全景图像文件进行人脸识别处理，切分出所述全景图像文件中的每张人脸图像，对切分出的每张人脸图像与所述考勤数据库中记录的所述学生信息进行匹配，并将匹配结果输出至所述考勤数据库中，建立考勤关系。本发明只需要通过一张现场的全景图像文件，就可以对现场的所有出席人员(N个人)进行自动的身份识别，同时，对缺勤的人员也实现了识别与统计。

Description

多人人脸识别考勤系统及其考勤方法

技术领域

本发明涉及考勤系统，尤其涉及一种多人人脸识别考勤系统及其考勤方法。

背景技术

目前的基于人脸识别的考勤方法主要为采用传统的主成分分析法对检测到的人脸进行识别。考勤者进入考勤系统后，系统判断其人脸数据是否存在于数据库中，若存在，则直接对其进行识别，并将本次检测结果加入数据库。若不存在，则需先对其进行人脸数据采集。该方法的实现需要在识别前对考勤者逐个采集人脸数据。

然而，实际情况中，考勤人员数量较多，若逐一采集人脸数据，将耗费大量时间，数据采集效率低。而且，该方法要求考勤者自主完成人脸数据的采集，难以保证所采集人脸数据的质量。此外，该方法在进行人脸识别时的背景简单、光照稳定、人脸表情单一，然而在实际考勤中，考勤人员较多，背景、光照、姿态和表情等变化非常复杂，传统的基于主成分分析的人脸识别方法在实际复杂情况下识别率较差。

发明内容

鉴于上述现有技术中存在或潜在的不足之处，本发明提供了一种多人人脸识别考勤系统及其考勤方法，只需要通过一种现场的全景图像文件，就可以对现场的所有出席人员(N个人)进行自动的身份识别。

为实现上述技术效果，本发明的第一方面提供了一种多人人脸识别考勤方法，其包括：

记录学生信息和制定考勤现场的排课计划，并将所述学生信息和所述排课计划上传至考勤数据库；

根据制定的排课计划，自动采集考勤现场的全景图像文件，并将采集的所述全景图像文件上传至所述考勤数据库；以及

对上传至所述考勤数据库中的所述全景图像文件进行人脸识别处理，切分出所述全景图像文件中的每张人脸图像，对切分出的每张人脸图像与所述考勤数据库中记录的所述学生信息进行匹配，并将匹配结果输出至所述考勤数据库中，建立考勤关系。

所述多人人脸识别考勤方法进一步的改进在于，记录所述学生信息的步骤，进一步包括：通过自助设备读取学生的证件，自助提取学生信息。

所述多人人脸识别考勤方法进一步的改进在于，记录所述学生信息的步骤，进一步包括：登录所述考勤数据库，手工录入学生信息。

所述多人人脸识别考勤方法进一步的改进在于，所述学生信息至少包括：学生ID信息和人脸图像。

所述多人人脸识别考勤方法进一步的改进在于，制定所述排课计划的步骤，进一步包括：统计每个考勤现场的课程信息和学生的选课信息，建立考勤现场、课程信息和学生的选课信息的唯一对应关系。

所述多人人脸识别考勤方法进一步的改进在于，所述人脸识别处理的步骤，进一步包括：采用基于深度学习的目标检测方法对上传的所述全景图像文件中的人脸图像进行检测、定位；

并且，所述切分出所述全景图像文件中的每张人脸图像的步骤，包括：

将所述全景图像文件中已检测出的所述人脸图像进行切图、编码和归档。

所述多人人脸识别考勤方法进一步的改进在于，所述考勤关系至少包括：上传至所述考勤数据库中的所述全景图像文件中的每张人脸图像与学生信息的匹配关系；

并且，在建立所述考勤关系后，记录未匹配到所述人脸图像的学生信息，并将未成功匹配的信息下发至对应学生。

所述多人人脸识别考勤方法进一步的改进在于，还包括步骤：在下发所述未成功匹配的信息时，指定一申诉期间；

并且，所述考勤数据库在所述申诉期间对所述学生提供证据查询与申诉服务。

本发明的第二方面还提供了一种基于多人的人脸识别考勤系统，其包括：

教务管理子系统，用于记录学生信息和制定考勤现场的排课计划，并将所述学生信息和所述排课计划上传至考勤数据库；

数据采集子系统，用于根据制定的排课计划，自动采集考勤现场的全景图像文件，并将采集的所述全景图像文件上传至所述考勤数据库；以及

人脸识别子系统，用于对上传至所述考勤数据库中的所述全景图像文件进行人脸识别处理，切分出所述全景图像文件中的每张人脸图像，对切分出的每张人脸图像与所述考勤数据库中记录的所述学生信息进行匹配，并将匹配结果输出至所述考勤数据库中；以及

考勤管理子系统，用于接收所述人脸识别子系统上传的所述匹配结果，建立考勤关系。

所述多人人脸识别考勤系统进一步的改进在于，所述考勤关系至少包括：上传至所述考勤数据库中的所述全景图像文件中的每张人脸图像与学生信息的匹配关系；

并且，在建立所述考勤关系后，还包括步骤：记录未匹配到所述人脸图像的学生信息，并将未成功匹配的信息下发至对应学生。

本发明提供了一种自动的、基于N:N人脸识别的全景考勤系统，与其他现有的考勤系统不同之处在于，本发明只需要通过一张现场的全景图像文件，就可以对现场的所有出席人员(N个人)进行自动的身份识别，同时，对缺勤的人员也实现了识别与统计，不仅使被识别人能够在无意识的状态下，不被打扰的完成人脸/身份的识别，还免去了点名人的考勤工作，有效提升了工作效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明多人人脸识别考勤系统的具体实施方式的系统总框图。

图2为本发明多人人脸识别考勤系统中的教务管理子系统的具体实施方式的系统框图。

图3为本发明多人人脸识别考勤系统中的学生管理模块的具体实施方式的系统框图。

图4为本发明多人人脸识别考勤系统中的数据采集子系统的具体实施方式的系统框图。

图5为本发明多人人脸识别考勤系统中的人脸识别子系统的具体实施方式的系统框图。

图6为本发明多人人脸识别考勤方法的具体实施方式的流程框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

首先参阅图1所示，本发明的实施例提供了一种多人人脸识别考勤系统1，其主要包括通过网络进行连接的一教务管理子系统11、一数据采集子系统12、一人脸识别子系统13和一考勤管理子系统14。

其中，教务管理子系统11：用于记录学生信息和制定考勤现场的排课计划，并将学生信息和排课计划上传至考勤数据库。

数据采集子系统12：用于根据制定的排课计划，自动采集考勤现场的全景图像文件，并将采集的全景图像文件上传至考勤数据库。

人脸识别子系统13：用于采用基于深度学习(Deep Learning)的目标检测方法对上传至考勤数据库中的全景图像文件进行人脸识别处理，切分出全景图像文件中的每张人脸图像，对切分出的每张人脸图像与考勤数据库中记录的学生信息进行匹配，并将匹配结果输出至考勤数据库中。

考勤管理子系统14：用于接收人脸识别子系统上传的匹配结果，建立考勤关系。

因此，本发明提供了一种全新的自动点名/考勤模式，通过基于深度学习的智能人脸识别技术，对前端的数据采集设备所采集到的图像信息进行智能分析、比对，自动生成准确的身份识别信息，并进行归档管理。

本发明与现有的人脸识别应用技术有很大的不同。现有的人脸识别技术基本适合与1:1的识别场景，而本发明非常适合N:N识别的应用场景，依托强大的识别能力与精准的识别精度，可以胜任复杂场景的多人同步快速识别需求，比如课堂报名/考勤、会议签到、考场或赛事的安检类身份识别、集会活动现场的嫌疑人识别等。

进一步地，配合图2所示，本发明系统中的教务管理子系统11进一步可分为6大管理模块：课程管理模块111、教室管理模块112、班级管理模块113、学生管理模块114、选课管理模块115，以及将该5大模块按照任务逻辑串联起来的任务计划管理模块116。在同一条计划任务中，课程、教室以及学生的选课报名情况之间，建立了唯一的对应关系，建立考勤现场的排课计划，实现了完备的课程表的数字化管理。教务管理子系统11与考勤数据库通过网络进行连接，以实现数据上传。

再配合图3所示，在学生管理模块，通过自助或者手工的方式，对学生的基本信息进行录入。对于自助录入的场景，自助设备可以自动对居民身份证、护照等证件进行读取，并提取学生的基本信息，包括文字信息(包含学生ID信息)与照片信息(包含人脸图像)，并将照片信息采集到考勤数据库的人脸基准库中，以备后续的自动识别比对用。对于手工录入的场景，教务人员或者学生可以通过智能终端APP或者WEB网页的形式，登录考勤数据库，手工录入学生的基本信息，包括文字、照片等。

再配合图4所示，数据采集子系统12，由安装在考勤现场，如教室或者会场前端的前端采集设备121与云平台数据采集模块122组成，前端采集设备121如图像/视频采集设备，与云平台数据采集模块122通过网络进行连接，云平台数据采集模块122是考勤数据库的一部分。云平台根据教务管理子系统11下发的任务计划(即考勤现场的排课计划)与前端采集设备121保持同步，使前端采集设备按约定自动对考勤现场拍摄全景图片/视频，生产全景图像文件，并通过网络自动上传到云平台数据采集模块122。云平台数据采集模块122对所接收到的数据按照图像文件的格式进行编码、分类与归档，并将文件以任务的形式派送给人脸识别子系统。

接着，再配合图5所示，人脸识别子系统13进一步由预处理模块131、对比模块132组成。预处理模块131对数据采集子系统输送过来的全景图像文件进行处理，采用基于深度学习(Deep Learning)的目标检测方法对图像中的人脸进行检测与定位，以确定本图像中的实际人数，并将该图中所有的已检测出的头像进行切图、编码、归档等操作，之后再调用人脸的对比模块132，对从大图中切出的每张人脸小图像所对应的身份进行匹配，并将最终的识别与匹配结果输出保存到考勤数据库中，建立考勤关系。本发明采用基于深度学习(Deep Learning)的人脸检测与识别方法，深度学习主要运用卷积神经网络(convolutionneural network:CNN)和候选区域(region proposal)算法，具有较高的人脸识别精度。

进一步地，考虑到考勤工作的闭环管理，考勤管理子系统14由考勤查询与统计模块、复议/申诉模块组成。一方面被考勤人能够对识别结果查询与提出复议/申诉，管理人员也可以对考勤结果进行统计与分析，另一方面，可以让系统能够进行深度自学习以提升后续的识别精度与能力。

考勤管理子系统的具体做法可为：考勤关系至少包括：上传至考勤数据库中的全景图像文件中的每张人脸图像与学生信息的匹配关系；

并且，在建立考勤关系之后，记录未匹配到人脸图像的该些/或学生的学生信息，并将未成功匹配的信息下发至对应学生。

进一步地，在下发未成功匹配的信息时，指定一申诉期间；

并且，考勤数据库在申诉期间该些/或该学生提供证据查询与申诉服务。

当前存在一些基于人脸识别的自动考勤技术，虽然已经达到了比较高的识别成功率，但是依然没有进行市场实用，是因为被动式考勤的应用场景非常复杂，比如存在拍摄角度、低头、前排人头遮挡等各种现实问题，因此，即使人脸识别的成功率再高，也无法毫无差错的实现100％的全员识别。然而，考勤管理直接与学生的成绩、在校表现、声誉与信用等环节进行挂钩，容不得出现任何因系统或者技术的缺陷或者疏漏造成考勤的误判。这也是为什么至今为止，基于人脸识别的考勤系统无法在校园中得到应用的根本原因。

在本发明系统中，除了运用基于深度学习的高精度人脸识别技术外，也发明了一种方法，使自动考勤系统实现完全闭环管理，从根本上解决了对考勤结果误判的可能性，该方法主要基于：

在考勤数据库中，根据考勤计划建立对应课程的应勤学生集合(应出勤的学生集合)，在人脸识别子系统完成人脸识别与匹配的操作后，对被考勤学生集合进行分析，若考勤结果与本次课程应勤学生集合中学生的数量、身份等信息相匹配，则本次考勤不存在误判或疏漏；反之，若不匹配，则在应勤学生集合中筛选出未匹配到的缺勤或漏判学生清单，并通过智能终端APP、短信(SMS)、PC客户端(含B/S架构的Web客户端)，将考勤结果以消息或者通知的方式分别下发(Push)给缺勤或者漏判的学生，要求对方在指定的时间周期内，完成对缺勤结果的确认或者申诉。在下发的消息或者通知中，可以提供考勤的原始证据记录，比如现场的考勤照片等。对于需要申诉的学生，可以在考勤的原始证据中通过自身位置标记等方式提交申诉证据，再由后台进行自动或者人工的方式进行核实与判定。若证据属实，后台可以通过自动或者人工的方式调整考勤记录；反之，若不属实，则可以采取诚信降级、学习成绩调整等方式对作假的学生进行处罚。

下面结合图6，对图1所释义的本发明的实施例中的人脸识别考勤系统的考勤方法做进一步详细说明。

如图6所示，该多人人脸识别考勤方法，包括：

步骤101：记录学生信息和制定考勤现场的排课计划，并将学生信息和排课计划上传至考勤数据库；

步骤102：根据制定的排课计划，自动采集考勤现场的全景图像文件，并将采集的全景图像文件上传至考勤数据库；以及

步骤103：对上传至考勤数据库中的全景图像文件进行人脸识别处理，切分出全景图像文件中的每张人脸图像，对切分出的每张人脸图像与考勤数据库中记录的学生信息进行匹配，并将匹配结果输出至考勤数据库中，建立考勤关系。

因此，本发明方法主要涉及三大流程：计划同步流程、图像获取流程和考勤管理流程，在考勤管理子系统、教务管理子系统、数据采集子系统和人脸识别子系统的支持下，实现N：N的多人人脸识别考勤。

首先是计划同步流程：

在教务管理子系统，通过自助或者手工的方式，对学生的基本信息进行录入。对于自助录入的场景，自助设备可以自动对居民身份证、护照进行读取，并提取学生的基本信息，包括文字信息与照片信息，并将照片信息采集到人脸基准库中，以备后续的自动识别比对用。对于手工录入的场景，教务人员或者学生可以通过智能终端APP或者WEB网页的形式，手工录入学生的基本信息，包括文字、照片等。其中，录入的学生信息至少包括：学生ID信息和人脸图像。

同时，在教务管理子系统，在学生完成课程报名后，可根据课程信息、教室信息(即考勤现场)以及学生的选课信息，建立三者之间唯一的对应关系，制定排课计划，并将排课计划通过云平台与数据采集子系统的云平台数据采集模块保持同步。

其次进入图像获取流程：

数据采集子系统，由安装在教室或者会场前端的前端采集设备与云平台数据采集模块组成。云平台根据教务管理子系统下发的任务计划云前端采集设备保持同步，使采集设备按约定自动对现场拍摄全景图片/视频，并通过网络自动上传到云平台数据采集模块。云平台数据采集模块对所接收到的数据按照图像文件的格式进行编码、分类与归档，并将文件以任务的形式派送给人脸识别子系统。

最后进入考勤管理流程：

人脸识别子系统由预处理模块、对比模块组成。预处理模块对数据采集系统输送过来的图像文件进行处理，对图像中的人脸进行检测、定位、计数，以确定本图像中的实际人数，并将该图中所有的头像进行切图、编码、归档等操作，之后再调用人脸的对比模块，对从大图中切出的每张人脸小图像所对应的身份进行匹配，并将最终的识别与匹配结果输出保存到考勤数据库中，建立考勤关系。

考虑到考勤工作的闭环管理，考勤管理子系统由考勤查询与统计模块、复议/申诉模块组成。一方面被考勤人能够对识别结果查询与提出复议/申诉，管理人员也可以对考勤结果进行统计与分析，另一方面，可以让系统能够进行深度自学习以提升后续的识别精度与能力。

需要说明的是，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上所述仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种多人人脸识别考勤方法，其特征在于，包括：

记录学生信息和制定考勤现场的排课计划，并将所述学生信息和所述排课计划上传至考勤数据库；

根据制定的排课计划，自动采集考勤现场的全景图像文件，并将采集的所述全景图像文件上传至所述考勤数据库；以及

对上传至所述考勤数据库中的所述全景图像文件进行人脸识别处理，切分出所述全景图像文件中的每张人脸图像，对切分出的每张人脸图像与所述考勤数据库中记录的所述学生信息进行匹配，并将匹配结果输出至所述考勤数据库中，建立考勤关系。

2.如权利要求1所述的多人人脸识别考勤方法，其特征在于，记录所述学生信息的步骤，进一步包括：通过自助设备读取学生的证件，自助提取学生信息。

3.如权利要求1所述的多人人脸识别考勤方法，其特征在于，记录所述学生信息的步骤，进一步包括：登录所述考勤数据库，手工录入学生信息。

4.如权利要求1～3中任一项所述的多人人脸识别考勤方法，其特征在于，所述学生信息至少包括：学生ID信息和人脸图像。

5.如权利要求1所述的多人人脸识别考勤方法，其特征在于，制定所述排课计划的步骤，进一步包括：统计每个考勤现场的课程信息和学生的选课信息，建立考勤现场、课程信息和学生的选课信息的唯一对应关系。

6.如权利要求1所述的多人人脸识别考勤方法，其特征在于，所述人脸识别处理的步骤，进一步包括：采用基于深度学习的目标检测方法对上传的所述全景图像文件中的人脸图像进行检测、定位并且，所述切分出所述全景图像文件中的每张人脸图像的步骤，包括：

将所述全景图像文件中已检测出的所述人脸图像进行切图、编码和归档。

7.如权利要求1所述的多人人脸识别考勤方法，其特征在于，所述考勤关系至少包括：上传至所述考勤数据库中的所述全景图像文件中的每张人脸图像与学生信息的匹配关系；

并且，在建立所述考勤关系后，记录未匹配到所述人脸图像的学生信息，并将未成功匹配的信息下发至对应学生。

8.如权利要求7所述的多人人脸识别考勤方法，其特征在于，还包括步骤：在下发所述未成功匹配的信息时，指定一申诉期间；

并且，所述考勤数据库在所述申诉期间对所述学生提供证据查询与申诉服务。

9.一种多人人脸识别考勤系统，其特征在于，包括：

教务管理子系统，用于记录学生信息和制定考勤现场的排课计划，并将所述学生信息和所述排课计划上传至考勤数据库；

数据采集子系统，用于根据制定的排课计划，自动采集考勤现场的全景图像文件，并将采集的所述全景图像文件上传至所述考勤数据库；以及

人脸识别子系统，用于对上传至所述考勤数据库中的所述全景图像文件进行人脸识别处理，切分出所述全景图像文件中的每张人脸图像，对切分出的每张人脸图像与所述考勤数据库中记录的所述学生信息进行匹配，并将匹配结果输出至所述考勤数据库中；以及

考勤管理子系统，用于接收所述人脸识别子系统上传的所述匹配结果，建立考勤关系。

10.如权利要求9所述的多人人脸识别考勤系统，其特征在于，所述考勤关系至少包括：上传至所述考勤数据库中的所述全景图像文件中的每张人脸图像与学生信息的匹配关系；

并且，在建立所述考勤关系后，还包括步骤：记录未匹配到所述人脸图像的学生信息，并将未成功匹配的信息下发至对应学生。