CN110852703A - 基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质 - Google Patents

基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质 Download PDF

Info

Publication number
CN110852703A
CN110852703A CN201911004543.XA CN201911004543A CN110852703A CN 110852703 A CN110852703 A CN 110852703A CN 201911004543 A CN201911004543 A CN 201911004543A CN 110852703 A CN110852703 A CN 110852703A
Authority
CN
China
Prior art keywords
face
target area
attendance
scanning
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911004543.XA
Other languages
English (en)
Other versions
CN110852703B (zh
Inventor
周燕
曾凡智
邱腾达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN201911004543.XA priority Critical patent/CN110852703B/zh
Publication of CN110852703A publication Critical patent/CN110852703A/zh
Application granted granted Critical
Publication of CN110852703B publication Critical patent/CN110852703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1091—Recording time for administrative or management purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质，所述方法包括：根据预设扫描次数，获取每次扫描的目标区域的人脸数据；利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像；利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到人脸深度特征，所述FaceNet模型采用的损失函数为附加角幅损失函数；将人脸深度特征与数据库的深度特征进行比对，获得识别结果；根据判断得到的各个人员的考勤情况，生成目标区域的考勤记录。本发明可以极大地保留侧脸时涵盖的人脸信息，可以更精准快速地提取脸部特征，因此人脸识别精度较高且可满足多人同时考勤的需求。

Description

基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质
技术领域
本发明涉及一种基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质，属于计算机视觉技术领域。
背景技术
考勤是人力资源管理重要内容，是保证工作人员能够自觉遵守劳动纪律以及工作时间的管理手段。近年来，随着大数据与人工智能的迅速发展，IC卡、指纹识别与人脸识别等考勤方法由于其统计精度高，速度快，节省人力等优点，已逐步取代了传统的人工考勤。IC卡与指纹考勤大多一次只能对一个身份进行认证，人脸识别作为考勤的新兴技术，为考勤系统的发展提供更大的空间和可能性。
人脸识别属于计算机视觉的范畴,特指计算机利用分析比较人脸视觉特征信息自动进行身份鉴别的“智能”技术。其研究范围包含图像采集、人脸检测、人脸对齐、特征表示等过程。近些年来随着深度卷积神经网络D-CNN(Deep-Convolution Neural Network)的引入，人脸识别的准确率得以跨越式提升。但由于光照环境、姿态遮挡、年龄变化、图像质量等难题，人脸识别仍是计算机视觉研究的热点。
2014年提出的DeepFace算法使用深度学习框架，重新研究了人脸的对齐和表示步骤，有效地克服以往人脸对齐方法的缺点和局限性。FaceNet算法，重新设计人脸图像的相似性度量，实现人脸识别，身份验证等任务，这些方法侧重于基于图像特征进行人脸识别，这些较为经典的人脸识别方法侧重单人脸识别，对侧脸识别的准确率不高。
综上所述，传统的IC卡签到、指纹识别、人脸识别等考勤方法，虽然识别精度很高，但大多只能实现正脸的人物身份识别，不能支持侧脸识别且效率较为低下。随着Fisherface、Deepface、FaceNet、Arcface等人脸识别算法的提出，针对图像中正脸识别技术经过多年的研究已日趋成熟。但基于视频流的侧脸多特征融合的人脸识别的研究仍偏少。由于视频流中会存在人脸遮挡及侧度过大，人脸识别难度提高且精度大大降低，无法满足考勤的高效需求。因此，提高侧脸识别精度是需要解决的关键问题。
发明内容
有鉴于此，本发明提供了一种基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质，其针对复杂环境下人脸采集的特殊性，使用多任务级联卷积神经网络对目标区域的人脸数据进行检测，消除人脸特征描述符由于旋转、偏移所产生的影响，极大地保留侧脸时涵盖的人脸信息，并且FaceNet模型的附加角幅损失函数可以充分对侧脸特征优化，在人脸区域保留充分的特征细节，更精准快速地提取脸部特征，因此人脸识别精度较高且可满足多人同时考勤的需求。
本发明的第一个目的在于提供一种基于侧脸多特征融合人脸识别的考勤方法。
本发明的第二个目的在于提供一种基于侧脸多特征融合人脸识别的考勤系统。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种基于侧脸多特征融合人脸识别的考勤方法，所述方法包括：
根据预设扫描次数，获取每次扫描的目标区域的人脸数据；
利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像；
利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到人脸深度特征；其中，所述FaceNet模型采用的损失函数为附加角幅损失函数；
将人脸深度特征与数据库的深度特征进行比对，获得识别结果；
根据每次扫描的识别结果，生成目标区域的考勤记录。
进一步的，所述利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像，具体包括：
将目标区域的人脸数据输入训练好的多任务级联卷积神经网络；其中，所述多任务级联卷积神经网络包括候选提议网络、改善网络和输出网络；
通过候选提议网络、改善网络和输出网络创建图像金字塔；
通过图像金字塔对目标区域的人脸数据进行不同分辨率的近似类比，生成堆叠层数图像；
通过输出网络的全卷积层对堆叠层数图像进行人脸特征保留，得到人脸框及人脸关键点图像；
将人脸框及人脸关键点图像进行尺度变换，得到固定分辨率的人脸框图像。
进一步的，所述将人脸深度特征与数据库的深度特征进行比对，获得识别结果，具体包括：
将人脸深度特征与数据库的深度特征进行欧氏距离的比对，选取最小匹配值；
判断最小匹配值是否小于预设阈值；
若最小匹配值小于预设阈值，则获得匹配成功的识别结果；
若最小匹配值大于或等于预设阈值，则获得匹配失败的识别结果。
进一步的，所述将人脸深度特征与数据库的深度特征进行欧氏距离的比对，选取最小匹配值，具体为：
将人脸深度特征和数据库的深度特征映射到欧几里德空间，计算人脸深度特征与数据库的深度特征之间的欧氏距离，将欧氏距离最小值作为最小匹配值。
进一步的，所述根据每次扫描的识别结果，生成目标区域的考勤记录，具体包括：
若第一次扫描的识别结果指出某个人员在目标区域内时，则判断该人员为准时出勤；
若每次扫描都没有某个人员的识别结果，则判断该人员为缺勤；
若第一次扫描没有某个人员的识别结果，且最后一次扫描的识别结果指出该人员在目标区域内，则判断该人员为迟到；
若第一次扫描的识别结果指出某个人员在目标区域内，且最后一次扫描没有该人员的识别结果，则判断该人员为早退；
若第一次扫描和最后一次扫描的识别结果指出某个人员在目标区域内，且第一次扫描和最后一次扫描之间至少有一次扫描没有该人员的识别结果，则判断该人员为暂离；
根据判断得到的各个人员的考勤情况，生成目标区域的考勤记录。
进一步的，所述附加角幅损失函数，如下式：
Figure BDA0002242334300000031
其中，N为batch size的批量数，y为类别数，θ为附加角，m为添加附加角裕度惩罚因子。
进一步的，任意两次相邻的扫描之间的时间间隔相同。
本发明的第二个目的可以通过采取如下技术方案达到：
一种基于侧脸多特征融合人脸识别的考勤系统，所述系统包括：
获取模块，用于根据预设扫描次数，获取每次扫描的目标区域的人脸数据；
检测模块，用于利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像；
提取模块，用于利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到人脸深度特征；其中，所述FaceNet模型采用的损失函数为附加角幅损失函数；
识别模块，用于将人脸深度特征与数据库的深度特征进行比对，获得识别结果；
生成模块，用于根据每次扫描的识别结果，生成目标区域的考勤记录。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的考勤方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的考勤方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明综合运用机器学习、计算机视觉等相关技术结合实时视频大数据，构建基于侧脸多特征融合的人脸识别框架，在人脸识别框架中，利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，可以对侧度人脸区域进行详尽分析，对人脸框实现人脸对齐，得到固定分辨率的人脸框图像，有效且极大地保留脸部特征，消除了人脸特征描述符由于旋转、偏移所产生的影响，极大地保留侧脸时涵盖的人脸信息，之后利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到高维人脸深度特征，该FaceNet模型采用的损失函数为附加角幅损失函数，可以充分对侧脸特征优化，在人脸区域保留充分的特征细节，更精准快速地提取脸部特征，因此人脸识别精度较高且可满足多人同时考勤的需求。
2、本发明的多任务级联卷积神经网络包括候选提议网络、改善网络和输出网络，候选提议网络作为第一个阶段，获得粗略的人脸区域的候选窗口和边界框的回归向量，包含边界框回归和非极大值抑制合并高度重叠的候选框；改善网络作为第二个阶段，同样使用边界框回归和非极大值抑制过滤失真的人脸区域；输出网络作为第三个阶段，在改善网络中最后一层添加了全卷积层，可以更精细地处理由改善网络输出的人脸区域，并且利用其监督效果对齐人脸，生成人脸关键点。
3、本发明设计特征空间上距离度量来计算人脸的相似性，即通过将人脸深度特征与数据库的深度特征进行欧氏距离的比对，选取最小匹配值，将最小匹配值与预设阈值进行比较得到识别结果，从而实现侧脸多特征融合的人脸识别过程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的基于侧脸多特征融合人脸识别的考勤方法的流程图。
图2为本发明实施例1的人脸检测的流程图。
图3为本发明实施例1的人脸识别的流程图。
图4为本发明实施例2的基于侧脸多特征融合人脸识别的考勤系统的结构框图。
图5为本发明实施例2的检测模块的结构框图。
图6为本发明实施例2的识别模块的结构框图。
图7为本发明实施例3的计算机设备的结构框图。
图8为本发明实施例3的计算机设备安装的课堂考勤软件的人脸识别主程序模块的框架图。
图9为本发明实施例3的接口实体关联关系图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种基于侧脸多特征融合人脸识别的考勤方法，该方法包括以下步骤：
S101、根据预设扫描次数，获取每次扫描的目标区域的人脸数据。
本实施例应用于学校的课堂考勤中，即目标区域为课堂，课堂上的人员为学生，考虑到一节课时长为四十分钟，从上课铃响开始为第一次扫描，之后每隔五分钟扫描一次，即任意两次相邻的扫描之间的时间间隔相同，因此预设扫描次数为八次，获取每次扫描的课堂的人脸数据，该人脸数据为通过摄像头扫描采集得到的视频流数据。可以理解的是，本实施例的目标区域还可以是会议室等。
S102、利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像。
本实施例的多任务级联卷积神经网络(Multi-task convolutional neuralnetwork，简称MTCNN)由mxnet版本预训练caffe文件传入超参数，其包括候选提议网络、改善网络和输出网络，利用多任务级联卷积神经网络对人脸特征窗口进行候选并择优。
如图2所示，该步骤S102具体包括：
S1021、将目标区域的人脸数据输入训练好的多任务级联卷积神经网络。
S1022、通过候选提议网络、改善网络和输出网络创建图像金字塔。
具体地，候选提议网络(P-Net)作为第一个阶段，获得粗略的人脸区域的候选窗口和边界框的回归向量，包含边界框回归和非极大值抑制合并高度重叠的候选框；改善网络(R-Net)作为第二个阶段，同样使用边界框回归和非极大值抑制过滤失真的人脸区域；输出网络(O-Net)作为第三个阶段，在改善网络中最后一层添加了全卷积层，为的是更精细处理由改善网络输出的人脸区域，并且利用其监督效果对齐人脸，生成五个人脸关键点(landmark)；通过候选提议网络、改善网络和输出网络这三个阶段创建图像金字塔。
S1023、通过图像金字塔对目标区域的人脸数据进行不同分辨率的近似类比，生成堆叠层数图像。
具体地，针对目标区域的人脸数据中的同一人脸图像，按照不同的分辨率(即不同尺度缩放，如缩放分别为0.25倍、0.5倍、1倍、1.5倍和2倍)进行堆叠，如面积大(像素长*高)的放在下面，以此类推，即可生成堆叠层数图像。
S1024、通过输出网络的全卷积层对堆叠层数图像进行人脸特征保留，得到人脸框及人脸关键点图像。
S1025、将人脸框及人脸关键点图像进行尺度变换，得到固定分辨率的人脸框图像，该分辨率为112*112。
S103、利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到人脸深度特征。
具体地，本实施例的FaceNet模型使用ResNet50x2在亚洲人种数据集训练好的model.params供给所需超参数数据，利用训练好的FaceNet模型中的嵌入层对固定分辨率的人脸框图像进行特征提取，得到512维的人脸深度特征，主要糅合了颜色特征、纹理特征、形状特征、空间关系特征等。
本实施例的FaceNet模型为经过改进的FaceNet模型，其采用的损失函数由传统的softmax函数和三联子损失函数改进为附加角幅损失函数(additive angular marginloss)，以增强类内样本的相似度和类间样本的多样性，并且增大类外样本的距离，从而最大化分类了界限问题，极大地解决侧脸难以识别的问题，提高了分类效率。
传统的softmax函数，如下式：
Figure BDA0002242334300000071
本实施例采用的附加角幅损失函数是传统的softmax函数的改进，如下式：
Figure BDA0002242334300000072
其中，w为权重，b为偏置项，N为batch size的批量数，y为类别数，θ为附加角，m为添加附加角裕度惩罚因子。
S104、将人脸深度特征与数据库的深度特征进行比对，获得识别结果。
如图3所示，该步骤S104具体包括：
S1041、将人脸深度特征与数据库的深度特征进行欧氏距离的比对，选取最小匹配值。
具体地，将人脸深度特征和数据库的深度特征映射到欧几里德空间，计算人脸深度特征与数据库的深度特征之间的欧氏距离，将欧氏距离最小值作为最小匹配值；其中，数据库的深度特征带有标签。
S1042、判断最小匹配值是否小于预设阈值。
本实施例的预设阈值为用以排除错误识别情况的阈值，若最小匹配值小于预设阈值，则进入步骤S1043，若小于预设阈值大于或等于预设阈值，则进入步骤S1044。
S1043、获得匹配成功的识别结果，即识别的人脸对应的人员在目标区域内，由于匹配成功，返回数据库的深度特征对应的标签。
S1044、获得匹配失败的识别结果，即识别的人脸不是目标区域的人员，由于匹配失败，返回other。
S105、根据每次扫描的识别结果，生成目标区域的考勤记录。
根据每次扫描的识别结果，可以判断得到如下目标区域中各个人员的考勤情况：
A、若第一次扫描的识别结果指出某个人员在目标区域内时，则判断该人员为准时出勤。
B、若每次扫描都没有某个人员的识别结果，则判断该人员为缺勤。
C、若第一次扫描没有某个人员的识别结果，且最后一次扫描的识别结果指出该人员在目标区域内，则判断该人员为迟到。
由于预设扫描次数为八次，最后一次扫描的识别结果指出该人员在目标区域内有以下七种情况：
1)第二次至第八次扫描的识别结果指出该人员在目标区域内。
2)第二次扫描没有该人员的识别结果，第三次至第八次扫描的识别结果指出该人员在目标区域内。
3)第二次和第三次扫描没有该人员的识别结果，第四次至第八次扫描的识别结果指出该人员在目标区域内。
4)第二次至第四次扫描没有该人员的识别结果，第五次至第八次扫描的识别结果指出该人员在目标区域内。
5)第二次至第五次扫描没有该人员的识别结果，第六次至第八次扫描的识别结果指出该人员在目标区域内。
6)第二次至第六次扫描没有该人员的识别结果，第七次和第八次扫描的识别结果指出该人员在目标区域内。
7)第二次至第七次扫描没有该人员的识别结果，第八次扫描的识别结果指出该人员在目标区域内。
D、若第一次扫描的识别结果指出某个人员在目标区域内，且最后一次扫描没有该人员的识别结果，则判断该人员为早退。
由于预设扫描次数为八次，最后一次扫描没有该人员的识别结果有以下七种情况：
1)第二次至第八次扫描没有该人员的识别结果。
2)第二次的识别结果指出某个人员在目标区域内，第三次至第八次扫描没有该人员的识别结果。
3)第二次和第三次的识别结果指出某个人员在目标区域内，第四次至第八次扫描没有该人员的识别结果。
4)第二次至第四次的识别结果指出某个人员在目标区域内，第五次至第八次扫描没有该人员的识别结果。
5)第二次至第五次的识别结果指出某个人员在目标区域内，第六次至第八次扫描没有该人员的识别结果。
6)第二次至第六次的识别结果指出某个人员在目标区域内，第七次和第八次扫描没有该人员的识别结果。
7)第二次至第七次的识别结果指出某个人员在目标区域内，第八次扫描没有该人员的识别结果。
E、若第一次扫描和最后一次扫描的识别结果指出某个人员在目标区域内，且第一次扫描和最后一次扫描之间至少有一次扫描没有该人员的识别结果，则判断该人员为暂离。
由于预设扫描次数为八次，第一次扫描和最后一次扫描之间有六次扫描，这六次扫描至少有一次扫描没有该人员的识别结果，例如第二次扫描没有该人员的识别结果、第三次扫描没有该人员的识别结果、第二次和第三次扫描没有该人员的识别结果、第五次至第七次扫描没有该人员的识别结果等等。
根据上述A～E判断得到的各个人员的考勤情况，生成目标区域的考勤记录。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图4所示，本实施例提供了一种基于侧脸多特征融合人脸识别的考勤系统，该系统包括获取模块401、检测模块402、提取模块403、识别模块404和生成模块405，各个模块的具体功能如下：
所述获取模块401，用于根据预设扫描次数，获取每次扫描的目标区域的人脸数据。
所述检测模块402，用于利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像。
所述提取模块403，用于利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到人脸深度特征；其中，所述FaceNet模型采用的损失函数为附加角幅损失函数。
所述识别模块404，用于将人脸深度特征与数据库的深度特征进行比对，获得识别结果。
所述生成模块405，用于根据每次扫描的识别结果，生成目标区域的考勤记录。
进一步地，所述检测模块402如图5所示，具体包括：
输入单元4021，用于将目标区域的人脸数据输入训练好的多任务级联卷积神经网络；其中，所述多任务级联卷积神经网络包括候选提议网络、改善网络和输出网络。
创建单元4022，用于通过候选提议网络、改善网络和输出网络创建图像金字塔。
生成单元4023，用于通过图像金字塔对目标区域的人脸数据进行不同分辨率的近似类比，生成堆叠层数图像。
保留单元4024，用于通过输出网络的全卷积层对堆叠层数图像进行人脸特征保留，得到人脸框及人脸关键点图像。
尺度变换单元4025，用于将人脸框及人脸关键点图像进行尺度变换，得到固定分辨率的人脸框图像。
进一步地，所述识别模块404如图6所示，具体包括：
比对单元4041，用于将人脸深度特征与数据库的深度特征进行欧氏距离的比对，选取最小匹配值。
判断单元4042，用于判断最小匹配值是否小于预设阈值。
第一获取单元4043，用于若最小匹配值小于预设阈值，则获得匹配成功的识别结果。
第二获取单元4044，用于若最小匹配值大于或等于预设阈值，则获得匹配失败的识别结果。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备为计算机，如图7所示，其通过系统总线701连接的处理器702、存储器、输入装置703、显示器704和网络接口705，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质706和内存储器707，该非易失性存储介质706存储有操作系统、计算机程序和数据库，该内存储器707为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器702执行存储器存储的计算机程序时，实现上述实施例1的考勤方法，如下：
根据预设扫描次数，获取每次扫描的目标区域的人脸数据；
利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像；
利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到人脸深度特征；其中，所述FaceNet模型采用的损失函数为附加角幅损失函数；
将人脸深度特征与数据库的深度特征进行比对，获得识别结果；
根据每次扫描的识别结果，生成目标区域的考勤记录。
进一步的，所述利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像，具体包括：
将目标区域的人脸数据输入训练好的多任务级联卷积神经网络；其中，所述多任务级联卷积神经网络包括候选提议网络、改善网络和输出网络；
通过候选提议网络、改善网络和输出网络创建图像金字塔；
通过图像金字塔对目标区域的人脸数据进行不同分辨率的近似类比，生成堆叠层数图像；
通过输出网络的全卷积层对堆叠层数图像进行人脸特征保留，得到人脸框及人脸关键点图像；
将人脸框及人脸关键点图像进行尺度变换，得到固定分辨率的人脸框图像。
进一步地，所述将人脸深度特征与数据库的深度特征进行比对，获得识别结果，具体包括：
将人脸深度特征与数据库的深度特征进行欧氏距离的比对，选取最小匹配值；
判断最小匹配值是否小于预设阈值；
若最小匹配值小于预设阈值，则获得匹配成功的识别结果；
若最小匹配值大于或等于预设阈值，则获得匹配失败的识别结果。
进一步地，所述将人脸深度特征与数据库的深度特征进行欧氏距离的比对，选取最小匹配值，具体为：
将人脸深度特征和数据库的深度特征映射到欧几里德空间，计算人脸深度特征与数据库的深度特征之间的欧氏距离，将欧氏距离最小值作为最小匹配值。
进一步地，所述根据每次扫描的识别结果，生成目标区域的考勤记录，具体包括：
若第一次扫描的识别结果指出某个人员在目标区域内时，则判断该人员为准时出勤；
若每次扫描都没有某个人员的识别结果，则判断该人员为缺勤；
若第一次扫描没有某个人员的识别结果，且最后一次扫描的识别结果指出该人员在目标区域内，则判断该人员为迟到；
若第一次扫描的识别结果指出某个人员在目标区域内，且最后一次扫描没有该人员的识别结果，则判断该人员为早退；
若第一次扫描和最后一次扫描的识别结果指出某个人员在目标区域内，且第一次扫描和最后一次扫描之间至少有一次扫描没有该人员的识别结果，则判断该人员为暂离；
根据判断得到的各个人员的考勤情况，生成目标区域的考勤记录。
本实施例的计算机设备上可以安装能够实现上述考勤方法的课堂考勤软件，包括人脸识别主程序模块和考勤模块，其中人脸识别主程序模块如图8所示，包括算法单元、接口单元和界面设计单元。
算法单元包括人脸检测子单元和人脸识别子单元，其中人脸检测子单元可以实现的功能是：利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像；人脸识别子单元可以实现的功能：是利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到人脸深度特征；将人脸深度特征与数据库的深度特征进行比对，获得识别结果。
接口单元以Mysql数据库来存储考勤及人脸特征信息，其中对于实体对象的结构关系如下，每一位学生都属于一个班级，每一个班级都有多个学生；每一节课程都对应一个班级，每一个班级都对应多节课程，每一个学生都对应多个考勤状态，每一个考勤状态都对应一个学生，每一个考勤状态都对应一节课程，每一节课程都对应多个考勤状态，每一个用户都可以安排多节课程，每一节课程都对应一个用户；细分学生实体，包含了学生自增长ID、学生姓名、学生学号、预存人脸图片、人脸特征及创建时间；细分班级实体，包含了班级自增长ID、班级名称、班级人数、及创建时间与修改时间；细分课程实体，包含了课程自增长ID、课程号、课程名称、课程时间、课程进行的教室、创建时间及修改时间；还有考勤状态实体和考勤表实体等，如图9所示，为接口实体关联关系图。
界面设计单元使用了Pyqt5作为基础库，运用designer对界面按钮及事件进行设计，实现用户自定义抓拍的延时和选择课程功能，利用多线程编程并行解决视频关键帧截取预处理、调用数据库以及运行多人脸实时识别算法。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的考勤方法，如下：
根据预设扫描次数，获取每次扫描的目标区域的人脸数据；
利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像；
利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到人脸深度特征；其中，所述FaceNet模型采用的损失函数为附加角幅损失函数；
将人脸深度特征与数据库的深度特征进行比对，获得识别结果；
根据每次扫描的识别结果，生成目标区域的考勤记录。
进一步地，所述利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像，具体包括：
将目标区域的人脸数据输入训练好的多任务级联卷积神经网络；其中，所述多任务级联卷积神经网络包括候选提议网络、改善网络和输出网络；
通过候选提议网络、改善网络和输出网络创建图像金字塔；
通过图像金字塔对目标区域的人脸数据进行不同分辨率的近似类比，生成堆叠层数图像；
通过输出网络的全卷积层对堆叠层数图像进行人脸特征保留，得到人脸框及人脸关键点图像；
将人脸框及人脸关键点图像进行尺度变换，得到固定分辨率的人脸框图像。
进一步地，所述将人脸深度特征与数据库的深度特征进行比对，获得识别结果，具体包括：
将人脸深度特征与数据库的深度特征进行欧氏距离的比对，选取最小匹配值；
判断最小匹配值是否小于预设阈值；
若最小匹配值小于预设阈值，则获得匹配成功的识别结果；
若最小匹配值大于或等于预设阈值，则获得匹配失败的识别结果。
进一步地，所述将人脸深度特征与数据库的深度特征进行欧氏距离的比对，选取最小匹配值，具体为：
将人脸深度特征和数据库的深度特征映射到欧几里德空间，计算人脸深度特征与数据库的深度特征之间的欧氏距离，将欧氏距离最小值作为最小匹配值。
进一步地，所述根据每次扫描的识别结果，生成目标区域的考勤记录，具体包括：
若第一次扫描的识别结果指出某个人员在目标区域内时，则判断该人员为准时出勤；
若每次扫描都没有某个人员的识别结果，则判断该人员为缺勤；
若第一次扫描没有某个人员的识别结果，且最后一次扫描的识别结果指出该人员在目标区域内，则判断该人员为迟到；
若第一次扫描的识别结果指出某个人员在目标区域内，且最后一次扫描没有该人员的识别结果，则判断该人员为早退；
若第一次扫描和最后一次扫描的识别结果指出某个人员在目标区域内，且第一次扫描和最后一次扫描之间至少有一次扫描没有该人员的识别结果，则判断该人员为暂离；
根据判断得到的各个人员的考勤情况，生成目标区域的考勤记录。
本实施例中所述的存储介质可以是磁盘、光盘、计算机存储器、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
综上所述，本发明综合运用机器学习、计算机视觉等相关技术结合实时视频大数据，构建基于侧脸多特征融合的人脸识别框架，在人脸识别框架中，利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，可以对侧度人脸区域进行详尽分析，对人脸框实现人脸对齐，得到固定分辨率的人脸框图像，有效且极大地保留脸部特征，消除了人脸特征描述符由于旋转、偏移所产生的影响，极大地保留侧脸时涵盖的人脸信息，之后利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到高维人脸深度特征，该FaceNet模型采用的损失函数为附加角幅损失函数，可以充分对侧脸特征优化，在人脸区域保留充分的特征细节，更精准快速地提取脸部特征，因此人脸识别精度较高且可满足多人同时考勤的需求。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种基于侧脸多特征融合人脸识别的考勤方法，其特征在于，所述方法包括：
根据预设扫描次数，获取每次扫描的目标区域的人脸数据；
利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像；
利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到人脸深度特征；其中，所述FaceNet模型采用的损失函数为附加角幅损失函数；
将人脸深度特征与数据库的深度特征进行比对，获得识别结果；
根据每次扫描的识别结果，生成目标区域的考勤记录。
2.根据权利要求1所述的考勤方法，其特征在于，所述利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像，具体包括：
将目标区域的人脸数据输入训练好的多任务级联卷积神经网络；其中，所述多任务级联卷积神经网络包括候选提议网络、改善网络和输出网络；
通过候选提议网络、改善网络和输出网络创建图像金字塔；
通过图像金字塔对目标区域的人脸数据进行不同分辨率的近似类比，生成堆叠层数图像；
通过输出网络的全卷积层对堆叠层数图像进行人脸特征保留，得到人脸框及人脸关键点图像；
将人脸框及人脸关键点图像进行尺度变换，得到固定分辨率的人脸框图像。
3.根据权利要求1所述的考勤方法，其特征在于，所述将人脸深度特征与数据库的深度特征进行比对，获得识别结果，具体包括：
将人脸深度特征与数据库的深度特征进行欧氏距离的比对，选取最小匹配值；
判断最小匹配值是否小于预设阈值；
若最小匹配值小于预设阈值，则获得匹配成功的识别结果；
若最小匹配值大于或等于预设阈值，则获得匹配失败的识别结果。
4.根据权利要求3所述的考勤方法，其特征在于，所述将人脸深度特征与数据库的深度特征进行欧氏距离的比对，选取最小匹配值，具体为：
将人脸深度特征和数据库的深度特征映射到欧几里德空间，计算人脸深度特征与数据库的深度特征之间的欧氏距离，将欧氏距离最小值作为最小匹配值。
5.根据权利要求1-4任一项所述的考勤方法，其特征在于，所述根据每次扫描的识别结果，生成目标区域的考勤记录，具体包括：
若第一次扫描的识别结果指出某个人员在目标区域内时，则判断该人员为准时出勤；
若每次扫描都没有某个人员的识别结果，则判断该人员为缺勤；
若第一次扫描没有某个人员的识别结果，且最后一次扫描的识别结果指出该人员在目标区域内，则判断该人员为迟到；
若第一次扫描的识别结果指出某个人员在目标区域内，且最后一次扫描没有该人员的识别结果，则判断该人员为早退；
若第一次扫描和最后一次扫描的识别结果指出某个人员在目标区域内，且第一次扫描和最后一次扫描之间至少有一次扫描没有该人员的识别结果，则判断该人员为暂离；
根据判断得到的各个人员的考勤情况，生成目标区域的考勤记录。
6.根据权利要求1-4任一项所述的考勤方法，其特征在于，所述附加角幅损失函数，如下式：
其中，N为batch size的批量数，y为类别数，θ为附加角，m为添加附加角裕度惩罚因子。
7.根据权利要求1-4任一项所述的考勤方法，其特征在于，任意两次相邻的扫描之间的时间间隔相同。
8.一种基于侧脸多特征融合人脸识别的考勤系统，其特征在于，所述系统包括：
获取模块，用于根据预设扫描次数，获取每次扫描的目标区域的人脸数据；
检测模块，用于利用训练好的多任务级联卷积神经网络对目标区域的人脸数据进行检测，得到固定分辨率的人脸框图像；
提取模块，用于利用训练好的FaceNet模型对固定分辨率的人脸框图像进行特征提取，得到人脸深度特征；其中，所述FaceNet模型采用的损失函数为附加角幅损失函数；
识别模块，用于将人脸深度特征与数据库的深度特征进行比对，获得识别结果；
生成模块，用于根据判断得到的各个人员的考勤情况，生成目标区域的考勤记录。
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的考勤方法。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的考勤方法。
CN201911004543.XA 2019-10-22 2019-10-22 基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质 Active CN110852703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911004543.XA CN110852703B (zh) 2019-10-22 2019-10-22 基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911004543.XA CN110852703B (zh) 2019-10-22 2019-10-22 基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN110852703A true CN110852703A (zh) 2020-02-28
CN110852703B CN110852703B (zh) 2023-05-23

Family

ID=69597677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911004543.XA Active CN110852703B (zh) 2019-10-22 2019-10-22 基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN110852703B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310732A (zh) * 2020-03-19 2020-06-19 广东宜教通教育有限公司 高精度人脸认证方法、系统、计算机设备及存储介质
CN111753710A (zh) * 2020-06-18 2020-10-09 北京同城必应科技有限公司 一种应用于物流配送的细分类神经网络人脸识别方法
CN111881876A (zh) * 2020-08-06 2020-11-03 桂林电子科技大学 一种基于单阶无锚检测网络的考勤方法
CN112001219A (zh) * 2020-06-19 2020-11-27 国家电网有限公司技术学院分公司 一种多角度多人脸识别考勤方法及系统
CN112163497A (zh) * 2020-09-22 2021-01-01 广东工业大学 一种基于图像识别的工地事故预测方法及装置
CN113516002A (zh) * 2021-03-05 2021-10-19 武汉特斯联智能工程有限公司 应用智慧社区的基于人脸识别模型的人脸识别方法及装置
CN113657178A (zh) * 2021-07-22 2021-11-16 浙江大华技术股份有限公司 人脸识别方法、电子设备和计算机可读存储介质
CN113869714A (zh) * 2021-09-26 2021-12-31 平安科技（深圳）有限公司 考勤记录方法、装置、计算机设备及存储介质
CN113870453A (zh) * 2021-09-15 2021-12-31 温州大学大数据与信息技术研究院 一种基于人脸识别的学生考勤管理设备
CN114898480A (zh) * 2022-04-12 2022-08-12 广东职业技术学院 一种基于物联网的考勤方法及系统
CN115273863A (zh) * 2022-06-13 2022-11-01 广东职业技术学院 一种基于声音识别和人脸识别的复合网课考勤系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740501A (zh) * 2018-12-28 2019-05-10 广东亿迅科技有限公司 一种人脸识别的考勤方法和装置
CN109829997A (zh) * 2018-12-19 2019-05-31 新大陆数字技术股份有限公司 人员考勤方法及系统
CN110097003A (zh) * 2019-04-29 2019-08-06 中南民族大学 基于神经网络的课堂考勤方法、设备、存储介质及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829997A (zh) * 2018-12-19 2019-05-31 新大陆数字技术股份有限公司 人员考勤方法及系统
CN109740501A (zh) * 2018-12-28 2019-05-10 广东亿迅科技有限公司 一种人脸识别的考勤方法和装置
CN110097003A (zh) * 2019-04-29 2019-08-06 中南民族大学 基于神经网络的课堂考勤方法、设备、存储介质及装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310732A (zh) * 2020-03-19 2020-06-19 广东宜教通教育有限公司 高精度人脸认证方法、系统、计算机设备及存储介质
CN111753710A (zh) * 2020-06-18 2020-10-09 北京同城必应科技有限公司 一种应用于物流配送的细分类神经网络人脸识别方法
CN112001219B (zh) * 2020-06-19 2024-02-09 国家电网有限公司技术学院分公司 一种多角度多人脸识别考勤方法及系统
CN112001219A (zh) * 2020-06-19 2020-11-27 国家电网有限公司技术学院分公司 一种多角度多人脸识别考勤方法及系统
CN111881876B (zh) * 2020-08-06 2022-04-08 桂林电子科技大学 一种基于单阶无锚检测网络的考勤方法
CN111881876A (zh) * 2020-08-06 2020-11-03 桂林电子科技大学 一种基于单阶无锚检测网络的考勤方法
CN112163497A (zh) * 2020-09-22 2021-01-01 广东工业大学 一种基于图像识别的工地事故预测方法及装置
CN112163497B (zh) * 2020-09-22 2023-08-04 广东工业大学 一种基于图像识别的工地事故预测方法及装置
CN113516002A (zh) * 2021-03-05 2021-10-19 武汉特斯联智能工程有限公司 应用智慧社区的基于人脸识别模型的人脸识别方法及装置
CN113657178A (zh) * 2021-07-22 2021-11-16 浙江大华技术股份有限公司 人脸识别方法、电子设备和计算机可读存储介质
CN113870453A (zh) * 2021-09-15 2021-12-31 温州大学大数据与信息技术研究院 一种基于人脸识别的学生考勤管理设备
CN113869714A (zh) * 2021-09-26 2021-12-31 平安科技（深圳）有限公司 考勤记录方法、装置、计算机设备及存储介质
CN114898480A (zh) * 2022-04-12 2022-08-12 广东职业技术学院 一种基于物联网的考勤方法及系统
CN115273863A (zh) * 2022-06-13 2022-11-01 广东职业技术学院 一种基于声音识别和人脸识别的复合网课考勤系统及方法

Also Published As

Publication number Publication date
CN110852703B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110852703B (zh) 基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质
CN110852704B (zh) 基于密集微小人脸识别的考勤方法、系统、设备及介质
Vukadinovic et al. Fully automatic facial feature point detection using Gabor feature based boosted classifiers
CN110728255B (zh) 图像处理方法、装置、电子设备及存储介质
Emeršič et al. Pixel-wise ear detection with convolutional encoder-decoder networks
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
Ali et al. An accurate system for face detection and recognition
Amaro et al. Evaluation of machine learning techniques for face detection and recognition
Xu et al. Identity-constrained noise modeling with metric learning for face anti-spoofing
CN110222660B (zh) 一种基于动态与静态特征融合的签名鉴伪方法及系统
Andiani et al. Face recognition for work attendance using multitask convolutional neural network (MTCNN) and pre-trained facenet
Yang et al. A real-time command system based on hand gesture recognition
del Rio et al. Face-based recognition systems in the ABC e-gates
Shi et al. Smoke detection based on dark channel and convolutional neural networks
Gupta et al. HaarCascade and LBPH Algorithms in Face Recognition Analysis
Khavalko et al. Classification and Recognition of Medical Images Based on the SGTM Neuroparadigm.
CN111753722B (zh) 一种基于特征点类型的指纹识别方法及装置
Hiremani et al. Human and Machine Vision Based Indian Race Classification Using Modified-Convolutional Neural Network.
Guerfi et al. An Efficient GPGPU based Implementation of Face Detection Algorithm using Skin Color Pre-treatment.
CN112183422A (zh) 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质
Salman et al. Facial images improvement in the LBPH algorithm using the histogram equalization method
Zhao et al. A head pose estimation method based on multi-feature fusion
Ranjini et al. Haar Cascade Classifier-based Real-Time Face Recognition and Face Detection
Liu et al. Multi-face detection based on improved gaussian distribution
US20220343681A1 (en) Evaluating method and system for face verification, and computer storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant