CN111914742A - 基于多模态生物特征的考勤方法、系统、终端设备及介质 - Google Patents

Abstract

本申请公开了一种基于多模态生物特征的考勤方法、系统、终端设备及介质，其中方法包括：通过网络摄像机采集所有考勤人员的多张人脸图像和人体图像；对图像进行预处理；将预处理后的图像与各自对应的姓名信息及工号信息存储在识别数据库；用识别数据库里的人脸与步态数据对考勤识别模型进行训练；用训练好的考勤识别模型进行识别，具体为：用网络摄像机实时采集考勤视频，从考勤视频的视频序列里提取视频帧图像，将视频帧图像输入考勤识别模型中识别得到识别结果，将识别结果保存到服务端；由服务端根据识别结果统计得到考勤结果。本申请综合使用人脸识别和步态识别，提高系统识别准确率与稳定性，降低漏识率。

Description

基于多模态生物特征的考勤方法、系统、终端设备及介质

技术领域

本公开一般涉及数据处理技术领域，具体涉及基于多模态生物特征的考勤方法、系统、终端设备及介质。

背景技术

目前，各种智能化、人性化考勤系统已经被广泛应用，但是其主要采用上下班签到方式静态地记录员工出勤情况，无法准确反应员工在工作时间是否在岗。

基于人脸的视频流可以提供人脸时间和空间的连续信息，连贯的且直接地反应待识别人脸的动作和姿态等特征，提高识别的准确性与实时性，因此基于视频的人脸识别技术越来越受到重视；现有的人脸识别的技术越来越成熟，人脸识别的精度较高，但是现有的人脸识别需要被识别的人特别地配合，因此用作考勤的人脸识别给被考勤人员带来了不便，且拍照的人脸特别依赖于光线条件，因此这也从外界条件上降低了人脸识别的准确度。且人脸识别也存在识别盲区，比如存在两个双胞胎长相的人，人脸识别将会出现误识别。

步态识别由于采集数据方便、走路姿势难以模仿、对采集的设备要求不高等特点吸引了更多的关注，由于步态识别技术处于起步阶段，其准确率较低。且步态识别也存在识别盲区，比如两个人体型步态很像时，步态识别将不起作用，会出现误识别。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种识别精度高的基于多模态生物特征的考勤方法、系统、终端设备及介质。

第一方面本申请提供一种基于多模态生物特征的考勤方法，所述方法包括：

通过网络摄像机采集所有考勤人员的多张人脸图像和人体图像；

将采集的所述人脸图像和人体图像进行预处理；

将预处理后的人体图像和人脸图像与各自对应的姓名信息及工号信息对应存储在识别数据库；

用识别数据库里的数据对考勤识别模型进行训练，具体为：

将预处理后的人脸图像和人体图像分别送入卷积神经网络结构的第一卷积层进行特征提取，再经过第一池化层压缩后分别得到人脸特征和人体特征；

将所述人脸特征和人体特征通过特征融合得到融合特征图；

将融合特征图送入卷积神经网络结构的第二卷积层进行特征提取和第二池化层压缩后得到主要特征；

将所有主要特征通过全连接层连接后送入分类器分类，完成考勤识别模型的训练；所述分类器的分类结果与所述姓名信息及工号信息唯一对应；

根据训练好的考勤识别模型进行识别，具体为：

用网络摄像机实时采集考勤视频，从所述考勤视频的视频序列里提取视频帧图像；

将所述视频帧图像输入所述考勤识别模型中识别得到识别结果，所述识别结果包括姓名信息、工号信息及对应时间信息，所述时间信息为所述视频帧图像的拍摄时间；

存储所述识别结果；并根据所述识别结果统计得到考勤结果。

根据本申请实施例提供的技术方案，对人脸图像进行预处理的方式包括中值滤波、直方图均衡、对比度拉伸。

根据本申请实施例提供的技术方案，通过以下方法对人体图像进行预处理：

提取人体图像中的人体轮廓得到二值化步态轮廓图像；

按比例调整所述二值化步态轮廓图像中的人体轮廓，使得所有图像的人体轮廓高度相同，得到标准归一化的二值步态轮廓图像；

将标准归一化的二值步态轮廓图像转换为步态能量图。

根据本申请实施例提供的技术方案，将所述人脸特征和人体特征通过特征融合得到融合特征图具体为：

将具有人脸特征的人脸特征图和具有人体特征的人体特征图分别对应拼接得到所述融合特征图。

第二方面，本申请提供一种基于多模态生物特征的考勤系统，包括布置在考勤场所内的至少一个网络摄像机、服务端和终端；

所述网络摄像机配置用于采集考勤视频，并将考勤视频上传至所述服务端；

所述服务端配置用于接收所述考勤视频，并根据第一方面所述的方法训练考勤模型及用训练完的考勤模型得到识别结果，并存储所述识别结果；

所述服务端还配置用于根据所述识别结果统计得到考勤记录；所述考勤记录包括个人日度考勤表、个人月度考勤表、全体日考勤表、全体月考勤表。

所述终端配置用于通过移动网络从所述服务端读取考勤记录。

根据本申请实施例提供的技术方案，所述服务端为小型服务器。

根据本申请实施例提供的技术方案，所述服务端包括视频处理模块、考勤信息查询模块和用户管理模块；

所述视频处理模块配置用于实时接收所述网络摄像机拍摄的视频，根据第一方面所述的方法训练考勤模型及用训练完的考勤模型得到识别结果，并存储所述识别结果；

所述用户管理模块用于管理用户权限信息，并在接收到终端的查询请求后，根据终端用户的权限反馈查询结果；

所述考勤信息查询模块配置用于根据终端的查询请求查询符合查询请求的考勤记录。

第三方面，本申请提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述基于多模态生物特征的考勤方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述基于多模态生物特征的考勤方法的步骤。

本申请提供的基于多模态生物特征的考勤方法通过在考勤场所布置网络摄像机，可以随时采集被考勤人员的人脸图像和人体图像，不需要被考勤人员的特别配合，给被考勤人员带来了方便；本申请提供的考勤方法通过布控在考勤场所的网络摄像机采集所有考勤人员的多张人脸图像和人体图像，并分别从这些人脸图像和人体图像中提取人脸特征和步态特征，并进行特征融合得到融合特征图，用融合特征图训练分类器，使得考勤模型既可以识别人脸信息又可以识别步态信息，可以很好地解决人脸识别的识别盲区和步态识别的识别盲区的问题，即出现长相很像的人脸时，可以结合步态识别避免误识别，提高识别精度，当出现步态很像的人体时，可以结合人脸识别避免误识别，提高了识别的精度；

由于识别参数的增加和融合，也提高了整体的识别准确度，降低了误识别率；例如单独使用人脸识别时，需要80％的人脸特征符合才能够识别出来，单独使用步态特征时，也需要80％的步态特征符合才能够识别出来；而本方案中，识别过程中可以结合部分人脸特征和部分步态特征来进行识别，例如采用综合符合率来大于等于0.4作为判断基准，其中综合符合率＝人脸特征符合率*人脸特征权重+步态特征符合率*步态特征权重；人脸特征权重和步态特征权重均为0.5；则当人脸特征符合率大于等于0.8，步态特征符合率为0，或者人脸特征符合率为0，步态特征符合率大于等于0.8时，综合负荷率均大于等于0.4，和单独使用人体特征或者步态识别特征的结果一致；例如由于人脸拍摄不清楚，使得只检测出60％的人脸特征符合，由于行走速度太快，使得只检测出40％的步态特征符合；此时无论是单独使用人脸特征识别还是单独使用步态特征识别，均会被判为不符合，而实际是符合的；而使用本方案的综合符合率＝0.6*0.5+0.4*0.5＝0.5，也即整体符合率是可以达到0.4，也认定为符合识别结果，与实际是相符合的，如此可大大降低误识别率。

因此本申请提供的考勤方法既可以避免由于光线原因导致图像不清楚而出现的遗漏识别问题，又可以用人脸识别弥补单纯的步态识别的精度不高的问题，还可以解决人脸识别的识别盲区和步态识别的识别盲区的问题，还可显著降低误识别率；因此本申请提供的技术方案通过特征融合整合了人脸识别和步态识别的优点，提高了识别精度更高和考勤的准确性。

综上所述，本申请采用动态人脸识别技术，利用识别数据库，对输入视频的人脸进行识别，提高系统自动识别的准确性与实时性。采用步态识别技术，可远距离识别，降低了因光照、姿态等因素导致的单模态生物特征识别不到情况的发生，综合使用人脸识别和步态识别，提高了系统识别准确率与稳定性，降低漏识率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请实施例1的流程图；

图2为本申请特征融合后的特征图；

图3为本申请实施例1中的卷积神经网络结构图；

图4为本申请实施例2的系统框图；

图5为本申请实施例3的系统框图。

10、网络摄像机；20、服务端；40、终端。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

实施例1

请参考图1为本实施例提供的一种基于多模态生物特征的考勤方法的流程图，所述方法包括以下步骤：

s10、通过网络摄像机采集所有考勤人员的多张人脸图像和人体图像；

如被考勤的是公司的所有员工，则网络摄像机的布置位置例如可以布置在公司的大门口，可以摄像到所有出入人员的位置；网络摄像机还可以布置在每一个办公室的门口，此时该网络摄像机主要用于考核该办公室人员是否在办公室内，即可考核工作人员是否在工作岗位办公。

以单独设置在公司门口的网络摄像机为例，该网络摄像机采集的各个员工的照片为多个角度的，例如包括正脸、侧脸、抬头、低头；为了提高考勤模型的准确度，还可进一步采集不同光照亮度下的人脸图像和人体图像，或者不同远近度的人脸图像和人体图像。

s20、将采集的所述人脸图像和人体图像进行预处理；

其中，对人脸图像的预处理包括以下方法：中值滤波、直方图均衡、对比度拉伸。

中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点；

直方图均衡化通常用来增加许多图像的全局对比度，尤其是当直方图均衡图像的有用数据的对比度相当接近的时候。通过这种方法，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能；这种方法对于背景和前景都太亮或者太暗的图像非常有用，可以显示上述图像中的更多细节。

对比度拉伸可以达到增强对比度的作用。

根据本申请实施例提供的技术方案，通过以下方法对人体图像进行预处理：

s21、提取人体图像中的人体轮廓得到二值化步态轮廓图像；

s22、按比例调整所述二值化步态轮廓图像中的人体轮廓，使得所有图像的人体轮廓高度相同，得到标准归一化的二值步态轮廓图像；按比例调整所述二值化步态轮廓图像中的人体轮廓具体为：

例如视频图像的大小为12.7cm*8.9cm，确定标准归一化的人体轮廓的高度为5cm，则对于大小为2cm*6cm的人体轮廓，以将其高度缩放至5cm为准，等比例缩放，缩放后得到标准归一化的二值化步态轮廓图像中，人体轮廓的大小为1.67cm*5cm；

s23、将标准归一化的二值步态轮廓图像转换为步态能量图。

步态能量图生成主要有两步，主要为：

1、在标准归一化的二值化步态轮廓图像上对人体轮廓进行裁剪，得到一个步态周期内的裁剪后的人体轮廓图像；

其中裁剪的中心位置可选地采用两种，一种是中心位置为人体宽的一半。另一种是以头顶为中心位置。

2、将一个步态周期内的裁剪后的人体轮廓图像进行叠加合成得到步态能量图。其中以头顶为中心位置裁剪后叠加合成的步态能量图效果较好。

s30、将预处理后的人体图像和人脸图像与各自对应的姓名信息及工号信息对应存储在识别数据库；

预处理后将得到一个员工的多张人脸图像和多张步态能量图，将每张预处理后的人脸图像和步态能量图与和其对应的人脸图像集步态能量图对应存储在识别数据库中。

s40、用识别数据库里的数据对考勤识别模型进行训练，具体为：

s41、将预处理后的人脸图像和人体图像分别送入卷积神经网络结构的第一卷积层进行特征提取，再经过第一池化层压缩后分别得到人脸特征和人体特征；

s42、将所述人脸特征和人体特征通过特征融合得到融合特征图；将所述人脸特征和人体特征通过特征融合得到融合特征图，具体为：

将具有人脸特征的人脸特征图和具有人体特征的人体特征图分别对应拼接得到所述融合特征图；将人脸特征图和人体特征图上下拼接得到的融合特征图如图2所示。

s43、将融合特征图送入卷积神经网络结构的第二卷积层进行特征提取和第二池化层压缩后得到主要特征；

s44、将所有主要特征通过全连接层连接后送入分类器分类，完成考勤识别模型的训练；所述分类器的分类结果与所述姓名信息及工号信息惟一对应；

如图3所示，本实施例提供的卷积神经网络结构包括输入层、两个卷积层、两个池化层、一个全连接层(特征提取层)、一个输出层(softmax分类层)。其中输入层图片大小统一为64*64*1。第一层卷积C1大小3*3，深度为32，padding【padding翻译为填充，该属性定义元素边框与元素内容之间的空间】为same【相同】，步长为1。池化层pool1选择最大值池化，池化核大小为2，步长为2。第二层卷积C2大小3*3，深度为64，padding为same，步长为1。池化层pool2仍然选择最大值池化，池化核大小为2，步长为2。全连接层FC1输出节点个数200。输出层选择softmax，输出节点个数根据待识别人数决定。激活函数均选择ReLU。为防止过拟合，在全连接层FC1中加入正则化，选择50％的dropout正则化方法。优化函数选择交叉熵函数。

s50、用网络摄像机实时采集考勤视频，从所述考勤视频的视频序列里提取视频帧图像；在本实施例中，视频帧图像的提取时间为每间隔设定时间提取1帧，设定间隔时间例如为10秒。

s60、将所述视频帧图像输入所述考勤识别模型中识别得到识别结果，所述识别结果包括姓名信息、工号信息及对应时间信息，所述时间信息为所述视频帧图像的拍摄时间；识别结果有3种，一种是无，此时视频帧图像中没有任何人体或人脸，第二种是识别出的具体的员工的姓名信息及工号信息，第三种是其他人员，此时视频帧图像中有人体，但是该人不是识别数据库中的人，例如为外来人员。

s70、根据所述识别结果保存到服务端；由所述服务端根据所述识别结果统计得到考勤结果。

优选地，存储的识别结果为上述第二种和第三种识别结果，对于第一种“无”的识别结果不做存储。

本实施例的上述考勤方法中采用网络摄像机，动态地获取人脸图像或者人体图像，使得考勤具有不刻意，给员工带来了方便；本申请训练得到了可同时识别人脸和人体的考勤模型，使得本实施例中人脸识别和步态识别可以起到相辅相成的作用，既可以单独凭借人脸识别，又可以步态识别，从而提高了本实施例提供的考勤方法的识别准确度和精度。

由于被考勤人员是面向网络摄像机方向前进，在这段过程中，由于步态识别可以实现远距离识别，所以步态信息率先被检测到，如果再检测到人脸，则最终结果为人脸识别与步态识别结果融合后的，若由于光线、姿态等因素导致没有检测到人脸，则最终识别结果为步态识别结果。

实施例2

本实施例提供一种基于多模态生物特征的考勤系统，如图4所示，包括布置在考勤场所内的至少一个网络摄像机10、服务端20、终端40；

所述网络摄像机10配置用于采集考勤视频，并将考勤视频上传至所述服务端20；

所述服务端20配置用于接收所述考勤视频，并用实施例1所述的方法训练考勤模型及用训练完的考勤模型得到识别结果；

所述服务端20存储所述识别结果并根据所述识别结果统计得到考勤记录；所述考勤记录包括个人日度考勤表、个人月度考勤表、全体日考勤表、全体月考勤表。

所述终端40配置用于通过移动网络从所述服务端读取考勤记录。

上述基于多模态生物特征识别的智能动态考勤系统。网络摄像机与服务端之间，服务端与终端之间通过WLAN网络或者移动网络实现数据的传输。服务端采用小型服务器，提高系统运行的稳定性与动态人脸识别和步态识别速度。采用动态人脸识别技术，既提高了识别效率，又不需干扰被考勤人员而实现考勤。采用步态识别技术，降低在动态人脸识别不到情况下漏识的情况发生，提高了系统的识别率。服务端设计有考勤管理软件，该考勤管理软件包含视频处理模块，考勤信息查询模块，用户管理模块等功能模块，实现实时监视、信息查询和用户管理等功能。终端例如为手机，手机上安装有考勤查询的APP，相关人员按照权限可以远程查看个人或全部的日考勤信息、月考勤信息。

所述视频处理模块配置用于实时接收所述网络摄像机拍摄的视频；

考勤管理软件上的用户管理模块用于管理用户权限信息，并在接收到终端的查询请求后，根据终端用户的权限反馈查询结果；不同的用户有不同的查看权限，例如，企业的总负责人具有查看整个公司所有员工的考勤记录的权限；而部门负责人仅具有查看其所管辖部门内的员工的考勤记录的权限；单个的员工仅具有查看自己的考勤记录的权限。

所述考勤信息查询模块配置用于根据终端的查询请求查询符合查询请求的考勤记录。当用户在终端发出查询请求后，用户管理模块会优先判断该用户的查询内容是否在其权限范围内，如在，则继续将该查询请求发送至考勤信息查询模块查询，考勤信息查询模块将直接把查询的结果反馈至终端；而如果用户管理模块判断该用户的查询内容不在其权限范围内，则直接给终端反馈拒绝访问的提示框。

实施例三：

本实施例提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项目所述目标检测方法的步骤。如图5所示，终端设备例如为计算机，计算机系统包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明的实施例，上文参考流程图1描述的过程可以被实现为计算机软件程序。例如，本发明的实施例一包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例二的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一生成模块、获取模块、查找模块、第二生成模块及合并模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，输入模块还可以被描述为“用于在该基础表中获取多个待探测实例的获取模块”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的目标检测方法。

例如，所述电子设备可以实现如图1中所示的：s10、通过布控在考勤场所的网络摄像机采集所有考勤人员的多张人脸图像和人体图像；s20、将采集的所述人脸图像和人体图像进行预处理；s30、将预处理后的人体图像和人脸图像与各自对应的姓名信息及工号信息对应存储在识别数据库；s40、通过以下步骤用识别数据库里的数据对考勤识别模型进行训练：s50、用网络摄像机实时采集考勤视频，从所述考勤视频的视频序列里提取视频帧图像；s60、将所述视频帧图像输入所述考勤识别模型中识别得到识别结果，s70、根据所述识别结果发送至服务端存储；由所述服务端根据所述识别结果统计得到考勤结果。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种基于多模态生物特征的考勤方法，其特征在于，所述方法包括：

通过网络摄像机采集所有考勤人员的多张人脸图像和人体图像；

将采集的所述人脸图像和人体图像进行预处理；

将预处理后的人体图像和人脸图像与各自对应的姓名信息及工号信息对应存储在识别数据库；

用识别数据库里的数据对考勤识别模型进行训练，具体为：

将预处理后的人脸图像和人体图像分别送入卷积神经网络结构的第一卷积层进行特征提取，再经过第一池化层压缩后分别得到人脸特征和人体特征；

将所述人脸特征和人体特征通过特征融合得到融合特征图；

将融合特征图送入卷积神经网络结构的第二卷积层进行特征提取和第二池化层压缩后得到主要特征；

将所有主要特征通过全连接层连接后送入分类器分类，完成考勤识别模型的训练；所述分类器的分类结果与所述姓名信息及工号信息唯一对应；

根据训练好的考勤识别模型进行识别，具体为：

从所述网络摄像机采集的视频序列里提取视频帧图像；

将所述视频帧图像输入所述考勤识别模型中识别得到识别结果，所述识别结果包括姓名信息及工号信息及对应的时间信息，所述时间信息为所述视频帧图像的拍摄时间；

将所述识别结果保存到服务端；由所述服务端根据所述识别结果统计得到考勤结果。

2.根据权利要求1所述的基于多模态生物特征的考勤方法，其特征在于：对人脸图像进行预处理的方式包括中值滤波、直方图均衡、对比度拉伸。

3.根据权利要求1所述的基于多模态生物特征的考勤方法，其特征在于：通过以下方法对人体图像进行预处理：

提取人体图像中的人体轮廓得到二值化步态轮廓图像；

按比例调整所述二值化步态轮廓图像中的人体轮廓，使得所有图像的人体轮廓高度相同，得到标准归一化的二值步态轮廓图像；

将标准归一化的二值步态轮廓图像转换为步态能量图。

4.根据权利要求1所述的基于多模态生物特征的考勤方法，其特征在于：将所述人脸特征和人体特征通过特征融合得到融合特征图，具体为：

将具有人脸特征的人脸特征图和具有人体特征的人体特征图分别对应拼接得到所述融合特征图。

5.一种基于多模态生物特征的考勤系统，其特征在于：包括布置在考勤场所内的至少一个网络摄像机、服务端和终端；

所述网络摄像机配置用于采集考勤视频，并将考勤视频上传至所述服务端；

所述服务端配置用于接收所述考勤视频，并根据权利要求1至4任意一项所述的方法训练考勤模型及用训练完的考勤模型得到识别结果，并存储所述识别结果；

所述服务端根据所述识别结果统计得到考勤记录；所述考勤记录包括个人日度考勤表、个人月度考勤表、全体日考勤表、全体月考勤表。

所述终端配置用于通过移动网络从所述服务端读取考勤记录。

6.根据权利要求5所述的基于多模态生物特征的考勤系统，其特征在于：所述服务端为小型服务器。

7.根据权利要求5所述的基于多模态生物特征的考勤系统，其特征在于：所述服务端设有视频处理模块、考勤信息查询模块和用户管理模块；

所述视频处理模块配置用于实时接收所述网络摄像机拍摄的视频，根据权利要求1至4任意一项所述的方法训练考勤模型及用训练完的考勤模型得到识别结果，并存储所述识别结果；

所述用户管理模块用于管理用户权限信息，并在接收到终端的查询请求后，根据终端用户的权限反馈查询结果；

所述考勤信息查询模块配置用于根据终端的查询请求查询符合查询请求的考勤记录。

8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任意一项目所述基于多模态生物特征的考勤方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述基于多模态生物特征的考勤方法的步骤。

Images