CN111260309A - 一种自动化考勤的考勤方法 - Google Patents

一种自动化考勤的考勤方法 Download PDF

Info

Publication number
CN111260309A
CN111260309A CN202010018864.1A CN202010018864A CN111260309A CN 111260309 A CN111260309 A CN 111260309A CN 202010018864 A CN202010018864 A CN 202010018864A CN 111260309 A CN111260309 A CN 111260309A
Authority
CN
China
Prior art keywords
picture
frame
human body
human
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010018864.1A
Other languages
English (en)
Inventor
朱许斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiuwei Information Technology Wuxi Co Ltd
Original Assignee
Jiuwei Information Technology Wuxi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiuwei Information Technology Wuxi Co Ltd filed Critical Jiuwei Information Technology Wuxi Co Ltd
Priority to CN202010018864.1A priority Critical patent/CN111260309A/zh
Publication of CN111260309A publication Critical patent/CN111260309A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1091—Recording time for administrative or management purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自动化考勤的考勤方法，涉及图像处理及模式识别领域，包括在具备深度学习能力的设备中通过深度学习的方式训练人体与人脸检测模块和人脸识别模块；设置从正面拍摄待考勤岗位上的员工的摄像机并将摄像机与具备深度学习能力的设备连接；在摄像机的回传图片中预设定该待考勤岗位上的员工的坐标阈值；使用摄像机在工作时间对待考勤岗位连续或间断拍摄多帧图片等步骤。本发明能够解决无法完全做到自动化考勤的问题。

Description

一种自动化考勤的考勤方法
技术领域
本发明涉及图像处理及模式识别领域，尤其是一种自动化考勤的考勤方法。
背景技术
在某些行业的考勤中，对于员工上班时间的到岗离岗时间有要求。使用传统算法对员工是否在岗进行考勤主要通过人体与人脸检测和人脸识别，人体与人脸检测主要依赖LBP与SIFT等算法，人脸识别主要依赖Haar Cascade算法，单纯依靠着几种算法进行考勤精度较差，造成上岗离岗识别无法完全做到自动化。
实际考勤过程中，经常会出现员工处于低头状态导致人脸识别程序不能进行人脸识别，单独依靠单步检测器SSD算法检测人体和人脸信息会存在误检。
发明内容
本发明所要解决的技术问题是提供一种自动化考勤的考勤方法，解决无法完全做到自动化考勤的问题。
本发明解决其技术问题所采用的技术方案是：一种自动化考勤的考勤方法，包括以下步骤：
S1：在具备深度学习能力的设备中通过深度学习的方式训练人体与人脸检测模块和人脸识别模块；
S2：设置从正面拍摄待考勤岗位上的员工的摄像机并将摄像机与具备深度学习能力的设备连接；
S3：在摄像机的回传图片中预设定该待考勤岗位上的员工的坐标阈值；
S4：使用摄像机在工作时间对待考勤岗位连续或间断拍摄多帧图片；
S5：使用人体与人脸检测模块和人脸识别模块分析每帧图片中人体与人脸信息和人脸识别信息，并通过将该帧图片中的人体与人脸信息和人脸识别信息与该帧图片之前的图片对比交叉验证以及将该帧图片中的人脸识别信息与该待考勤岗位上的员工的坐标阈值对比确定该时刻待考勤员工是否在岗；
S6：用传统统计方法对于员工上岗离岗信息进行统计。
进一步地，所述人体与人脸检测模块使用单步检测器SSD算法实现。
进一步地，所述人脸识别模块使用center-loss算法实现。。
进一步地，所述摄像机能够同时拍摄多个待考勤岗位上的员工。
进一步地，当待考勤岗位上的员工处于抬头状态时，摄像机能够拍摄到该员工完整的脸部；当待考勤岗位上的员工处于低头状态时，摄像机能够拍摄到该员工部分脸部。
进一步地，所述具备深度学习能力的设备为arm处理器架构设备。
进一步地，所述具备深度学习能力的设备为手机或nvidia jetson平台或嵌入式设备。
进一步地，所述该待考勤岗位上的员工的坐标阈值包括该待考勤岗位的左上坐标和右下坐标。
进一步地，所述该帧图片之前的图片为距离该帧图片最近的一张在岗状态的图片。
进一步地，所述步骤S5实施时，按照以下顺序操作：摄像机将拍摄的图片输入具有深度学习能力的设备中，人体与人脸检测模块检测该帧图片是否存在人脸，若存在人脸，则由人脸识别模块检测该帧图片是否能够识别人脸，如果能够识别人脸，则由人脸识别模块检测该帧图片人脸信息是否符合坐标阈值，若符合坐标阈值，则标记当前帧为在岗状态；若不符合坐标阈值，则标记当前帧为离岗状态；若不能识别人脸，则由人体与人脸检测模块检测该帧图片人脸的位置与最近的在岗状态帧是否连续，若连续，则标记当前帧为在岗状态；若不连续，则由人体与人脸检测模块检测该帧图片人体的位置与最近的在岗状态帧是否连续，若连续，则标记当前帧为在岗状态；若不连续，则标记当前帧为离岗状态；若人体与人脸检测模块检测该帧图片不存在人脸，则由人体与人脸检测模块检测该帧图片是否存在人体，若存在人体，则由人体与人脸检测模块检测该帧图片人体的位置与最近的在岗状态帧是否连续，若连续，则标记当前帧为在岗状态；若不连续，则标记当前帧为离岗状态；若人体与人脸检测模块检测该帧图片不存在人体，则标记当前帧为离岗状态。
本发明具有如下有益效果：
本发明通过SSD算法检测人体和人脸信息、通过center-loss算法识别人脸，并且通过图片对比交叉验证和坐标阈值对比来确定该时刻待考勤员工是否在岗，能够实现完全的自动化考勤，考勤精度较高，不会出现误检。
本发明除了普通摄像头和具有深度学习能力的设备以外，没有额外的设备要求，部署灵活。
附图说明
图1为本发明实施例1给出的考勤方法流程图；
图2为本发明实施例1确定该时刻待考勤员工是否在岗的具体流程图。
具体实施方式
实施例1：
如图1和2所示，一种自动化考勤的考勤方法，包括以下步骤：
一、在具备深度学习能力的设备中通过深度学习的方式训练人体与人脸检测模块和人脸识别模块
所述具备深度学习能力的设备为手机或nvidia jetson平台或嵌入式设备。
1.训练人体与人脸检测模块
人体与人脸检测模块使用单步检测器SSD算法实现。
SSD是一种基于深度学习的目标检测模型，SSD的特点主要是多尺度检测，图像中的目标通常都有着不同的尺度，传统的目标检测多在一层特征图上进行检测，多尺度物体检测效果欠佳。低层特征图具有细节信息，看得比较细，而高层特征图中具有高级语义信息，看得比较广，SSD提出同时利用低层特征图和高层特征图进行检测。
图片经过深度网络提取特征后，在最后多个尺度的特征图上输出目标位置信息，然后，这些物体位置信息经过NMS(极大值抑制)算法输出最终的真实物体位置坐标。SSD是经过实验后(例如人体检测与人脸检测)上速度与精度平衡性较好的算法。
2.训练人脸识别模块
人脸识别模块使用center-loss算法实现。
该算法原理简述如下：首先使用深度网络例如mobilenet将人脸图像转换为嵌入空间embedding space上的一个特定长度向量，根据向量之间的欧氏距离，可以判断两张人脸是否属于同一个人。其中，center-loss显式约束了新的条件：不同人脸之间类间距离要尽可能大，相同人脸类内距离尽可能小，该任务可描述为如下：
Figure BDA0002359964520000041
其中，xi为网络输出的人脸向量，cyi为该人脸的中心,实际操作中，该中心的值为该人的平均人脸嵌入向量。
二、设置从正面拍摄待考勤岗位上的员工的摄像机并将摄像机与具备深度学习能力的设备连接
所述摄像机能够同时拍摄多个待考勤岗位上的员工并同时对多名员工进行考勤。当待考勤岗位上的员工处于抬头状态时，摄像机能够拍摄到该员工完整的脸部；当待考勤岗位上的员工处于低头状态时，摄像机能够拍摄到该员工部分脸部。
三、在摄像机的回传图片中预设定该待考勤岗位上的员工的坐标阈值
所述该待考勤岗位上的员工的坐标阈值包括该待考勤岗位的左上坐标和右下坐标。
四、使用摄像机在工作时间对待考勤岗位连续或间断拍摄多帧图片
五、使用人体与人脸检测模块和人脸识别模块分析每帧图片中人体与人脸信息和人脸识别信息，并通过将该帧图片中的人体与人脸信息和人脸识别信息与该帧图片之前的图片对比交叉验证以及将该帧图片中的人脸识别信息与该待考勤岗位上的员工的坐标阈值对比确定该时刻待考勤员工是否在岗
所述该帧图片之前的图片为距离该帧图片最近的一张在岗状态的图片。
该交叉验证流程基于两个假设：如果人员上岗，那么岗位处一定可以检测到人脸或者人体且一段时间内的位置应当连续，反之应当检测不到人脸与人体；如果人脸与人体在位置上是连续的，那么这些帧中所有识别出与未识别出的人脸应当属于同一个人。在实际应用中，有以下几种情景：
A.画面均检测出人体，人脸，并识别出人脸信息；
B.画面检测出人体，检测出人脸，未能识别人脸信息；
C.画面检测出人体，未检出人脸，未能识别人脸信息；
D.画面中未检测出人体，未检出人脸，未能识别人脸信息；
E.画面中未检出人体，检出人脸，识别出人脸信息；
F.画面中未检出人体，检出人脸，未识别出人脸信息。
具体按照以下顺序操作：摄像机将拍摄的图片输入具有深度学习能力的设备中，人体与人脸检测模块检测该帧图片是否存在人脸，若存在人脸，则由人脸识别模块检测该帧图片是否能够识别人脸，如果能够识别人脸，则由人脸识别模块检测该帧图片人脸信息是否符合坐标阈值，若符合坐标阈值，则标记当前帧为在岗状态；若不符合坐标阈值，则标记当前帧为离岗状态；若不能识别人脸，则由人体与人脸检测模块检测该帧图片人脸的位置与最近的在岗状态帧是否连续，若连续，则标记当前帧为在岗状态；若不连续，则由人体与人脸检测模块检测该帧图片人体的位置与最近的在岗状态帧是否连续，若连续，则标记当前帧为在岗状态；若不连续，则标记当前帧为离岗状态；若人体与人脸检测模块检测该帧图片不存在人脸，则由人体与人脸检测模块检测该帧图片是否存在人体，若存在人体，则由人体与人脸检测模块检测该帧图片人体的位置与最近的在岗状态帧是否连续，若连续，则标记当前帧为在岗状态；若不连续，则标记当前帧为离岗状态；若人体与人脸检测模块检测该帧图片不存在人体，则标记当前帧为离岗状态。
六、用传统统计方法对于员工上岗离岗信息进行统计
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (10)

1.一种自动化考勤的考勤方法，其特征在于，包括以下步骤：
S1：在具备深度学习能力的设备中通过深度学习的方式训练人体与人脸检测模块和人脸识别模块；
S2：设置从正面拍摄待考勤岗位上的员工的摄像机并将摄像机与具备深度学习能力的设备连接；
S3：在摄像机的回传图片中预设定该待考勤岗位上的员工的坐标阈值；
S4：使用摄像机在工作时间对待考勤岗位连续或间断拍摄多帧图片；
S5：使用人体与人脸检测模块和人脸识别模块分析每帧图片中人体与人脸信息和人脸识别信息，并通过将该帧图片中的人体与人脸信息和人脸识别信息与该帧图片之前的图片对比交叉验证以及将该帧图片中的人脸识别信息与该待考勤岗位上的员工的坐标阈值对比确定该时刻待考勤员工是否在岗；
S6：用传统统计方法对于员工上岗离岗信息进行统计。
2.如权利要求1所述一种自动化考勤的考勤方法，其特征在于，所述人体与人脸检测模块使用单步检测器SSD算法实现。
3.如权利要求1所述一种自动化考勤的考勤方法，其特征在于，所述人脸识别模块使用center-loss算法实现。
4.如权利要求1所述一种自动化考勤的考勤方法，其特征在于，所述摄像机能够同时拍摄多个待考勤岗位上的员工。
5.如权利要求1所述一种自动化考勤的考勤方法，其特征在于，当待考勤岗位上的员工处于抬头状态时，摄像机能够拍摄到该员工完整的脸部；当待考勤岗位上的员工处于低头状态时，摄像机能够拍摄到该员工部分脸部。
6.如权利要求1所述一种自动化考勤的考勤方法，其特征在于，所述具备深度学习能力的设备为arm处理器架构设备。
7.如权利要求6所述一种自动化考勤的考勤方法，其特征在于，所述具备深度学习能力的设备为手机或nvidia jetson平台或嵌入式设备。
8.如权利要求1所述一种自动化考勤的考勤方法，其特征在于，所述该待考勤岗位上的员工的坐标阈值包括该待考勤岗位的左上坐标和右下坐标。
9.如权利要求1所述一种自动化考勤的考勤方法，其特征在于，所述该帧图片之前的图片为距离该帧图片最近的一张在岗状态的图片。
10.如权利要求1所述一种自动化考勤的考勤方法，其特征在于，所述步骤S5实施时，按照以下顺序操作：摄像机将拍摄的图片输入具有深度学习能力的设备中，人体与人脸检测模块检测该帧图片是否存在人脸，若存在人脸，则由人脸识别模块检测该帧图片是否能够识别人脸，如果能够识别人脸，则由人脸识别模块检测该帧图片人脸信息是否符合坐标阈值，若符合坐标阈值，则标记当前帧为在岗状态；若不符合坐标阈值，则标记当前帧为离岗状态；若不能识别人脸，则由人体与人脸检测模块检测该帧图片人脸的位置与最近的在岗状态帧是否连续，若连续，则标记当前帧为在岗状态；若不连续，则由人体与人脸检测模块检测该帧图片人体的位置与最近的在岗状态帧是否连续，若连续，则标记当前帧为在岗状态；若不连续，则标记当前帧为离岗状态；若人体与人脸检测模块检测该帧图片不存在人脸，则由人体与人脸检测模块检测该帧图片是否存在人体，若存在人体，则由人体与人脸检测模块检测该帧图片人体的位置与最近的在岗状态帧是否连续，若连续，则标记当前帧为在岗状态；若不连续，则标记当前帧为离岗状态；若人体与人脸检测模块检测该帧图片不存在人体，则标记当前帧为离岗状态。
CN202010018864.1A 2020-01-08 2020-01-08 一种自动化考勤的考勤方法 Pending CN111260309A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010018864.1A CN111260309A (zh) 2020-01-08 2020-01-08 一种自动化考勤的考勤方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010018864.1A CN111260309A (zh) 2020-01-08 2020-01-08 一种自动化考勤的考勤方法

Publications (1)

Publication Number Publication Date
CN111260309A true CN111260309A (zh) 2020-06-09

Family

ID=70951132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010018864.1A Pending CN111260309A (zh) 2020-01-08 2020-01-08 一种自动化考勤的考勤方法

Country Status (1)

Country Link
CN (1) CN111260309A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452878A (zh) * 2023-04-20 2023-07-18 广东工业大学 一种基于深度学习算法与双目视觉的考勤方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452878A (zh) * 2023-04-20 2023-07-18 广东工业大学 一种基于深度学习算法与双目视觉的考勤方法及系统
CN116452878B (zh) * 2023-04-20 2024-02-02 广东工业大学 一种基于深度学习算法与双目视觉的考勤方法及系统

Similar Documents

Publication Publication Date Title
CN107633204B (zh) 人脸遮挡检测方法、装置及存储介质
CN111401257B (zh) 一种基于余弦损失在非约束条件下的人脸识别方法
US10635946B2 (en) Eyeglass positioning method, apparatus and storage medium
CN107679448B (zh) 眼球动作分析方法、装置及存储介质
US8867828B2 (en) Text region detection system and method
JP4479478B2 (ja) パターン認識方法および装置
US20220138959A1 (en) Asset tracking systems
CN107633205B (zh) 嘴唇动作分析方法、装置及存储介质
CN101887518B (zh) 人体检测装置与方法
US10650234B2 (en) Eyeball movement capturing method and device, and storage medium
US10489636B2 (en) Lip movement capturing method and device, and storage medium
CN111429483A (zh) 高速跨摄像机多目标跟踪方法、系统、装置及存储介质
CN115240130A (zh) 一种行人多目标跟踪方法、装置和计算机可读存储介质
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN111160169A (zh) 人脸检测方法、装置、设备及计算机可读存储介质
CN110232381B (zh) 车牌分割方法、装置、计算机设备及计算机可读存储介质
CN111814562A (zh) 车辆的识别方法、车辆识别模型的训练方法及相关装置
CN111260309A (zh) 一种自动化考勤的考勤方法
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN113591921A (zh) 图像识别方法及装置、电子设备、存储介质
CN110148133B (zh) 基于特征点及其结构关系的电路板残片图像识别方法
CN111813995A (zh) 一种基于时空关系的行人提取物品行为检测方法及系统
Harish et al. New features for webcam proctoring using python and opencv
Karunakar et al. Smart Attendance Monitoring System (SAMS): A Face Recognition Based Attendance System for Classroom Environment
WO2023279604A1 (en) Re-identification method, training method for target re-identification network and related product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200609