CN111191541A - 基于人脸识别的校园招聘无感签到方法 - Google Patents
基于人脸识别的校园招聘无感签到方法 Download PDFInfo
- Publication number
- CN111191541A CN111191541A CN201911324203.5A CN201911324203A CN111191541A CN 111191541 A CN111191541 A CN 111191541A CN 201911324203 A CN201911324203 A CN 201911324203A CN 111191541 A CN111191541 A CN 111191541A
- Authority
- CN
- China
- Prior art keywords
- face
- faces
- face recognition
- check
- recruitment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000007115 recruitment Effects 0.000 title claims abstract description 26
- 230000001953 sensory effect Effects 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 210000000887 face Anatomy 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 2
- 210000001508 eye Anatomy 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 210000000214 mouth Anatomy 0.000 claims 1
- 210000001331 nose Anatomy 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000007619 statistical method Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种基于人脸识别的校园招聘无感签到方法，该方法基于网络摄像头和人脸识别技术，对网络摄像头采集到的图像进行人脸检测与识别，该系统预先使用人脸注册软件通过学生照片采集人脸信息并将人脸特征、学生姓名、学生学号存储至数据库，在校园招聘现场通过高清摄像头抓拍出入口的学生人脸，并将抓拍的人脸与数据库中人脸信息比对，得到最后的识别结果，最后将识别结果存入数据库中，可实时通过web页面查看招聘会学生的出入情况，并进行统计和分析。本发明将人脸识别技术应用到校园就业招聘领域，代替了传统的人工签到统计方法，并能够以低成本、高效率的方式得到准确的统计分析结果。
Description
技术领域
本发明涉及机器视觉和图像处理技术，具体涉及一种基于人脸识别的校园招聘无感签到方法。
背景技术
信息技术的不断发展便利了人们的生活和工作，也改变了签到的方式。从最初的点名签到、签字签到，然后到后来的电子签到，如指纹签到、移动签到等。签到形式逐渐变得多样化，不同的签到形式适合不同的签到场景。口头、签字签到是最原始的签到方式，在人员比较稳定的场所中，这种签到形式弊端较为明显：浪费资源；实体存储的方式不便于长久保留，容易出现丢失现象；不方便查询签到结果；签到效率低下。这种签到形式基本已经被淘汰。电子签到是目前较为流行的并且较为便利的签到形式，包括指纹签到、id卡签到、移动签到等。指纹签到优点在于操作简单，签到速度快。但是缺点也很明显，比如有些人利用硅胶做成假指纹让他人代替签到；有些人指纹经常无法验证通过，导致签到率较低，签到失败的次数较多。使用指纹签到的时候，经常会遇到因为手指褶皱太多、经常变化导致签到失败，甚至因为手指脱皮严重，导致无法进行签到。id卡签到也是目前应用较为多的签到方式，尤其对于学校与用人单位，但是这种方式虽然有着快捷的优点但是会出现代替签到的严重问题，影响最后的签到统计。移动签到更多的应用是微信扫码签到，但是签到所用的二维码可拍照转发，不在签到现场亦可以签到，与id卡签到有着一样的弊端。
随着AI技术的不断发展，人脸识别技术作为其重要核心技术之一同样有着很大的突破，目前人脸识别在安全监控、身份识别、客流分析、图像重构、人机交互等场景具有广泛应用，引起越来越多的关注。人脸识别技术是一种非强制性、非接触性、高准确率、易于采集、高并发、无侵犯的生物识别技术，人脸识别通过各种摄像头无需与具体的设备接触便可获得人脸图像，同一时刻可以获取多张人脸，对人脸进行识别，并且无需用户主动参与。
现有的签到方法都是面向特定范围的应用领域，也具有各自的特点和应用场景，针对校园招聘会这样的场景，采用传统的签到方式虽然能够保证签到无差错、无代签，但是需要很大的人力资源去统计分析结果，而采用电子签到的方式很容易出现代签的情况，影响统计结果，且以上两种方式都需要用户主动配合。
发明内容
本发明的目的在于提供一种基于人脸识别的校园招聘无感签到方法，将人脸识别技术应用到校园招聘签到场景上，通过在出入口架设网络摄像头以抓取出入人员照片并识别，将识别结果存入后台数据库中，此方法能够以低成本、高效率的方式得到准确的统计分析结果，并很好解决代签问题。
实现本发明目的的技术方案为：一种基于人脸识别的校园招聘无感签到方法，该方法基于签到系统实现，签到系统包括人脸注册模块、人脸识别服务端模块、基于PHP的web前端管理模块；其中人脸注册模块用于将学生人脸特征、学生姓名、学生学号存储到人脸库中；人脸识别服务端模块用于对网络摄像头采集的图像进行人脸检测与识别，以及与web前端管理模块交互；web前端管理模块用于对现场监控视频及其分析处理结果实时查看，所述签到方法包含以下步骤：
步骤1，对网络摄像头rtsp视频流解码得到每一帧图片，并将格式转为通用的Mat格式；
步骤2，将步骤1得到的Mat格式图片，通过人脸检测算法检测出图片中的所有人脸以及人脸部分特征点；
步骤3，将检测出的所有人脸进行人脸对齐操作；
步骤4，将所有对齐后的人脸，逐一用人脸识别模型提取人脸特征，并与数据库中已注册人脸逐一比对计算相似度，通过计算人脸特征间的余弦距离得到相似度，取最高相似度max_similarity；设定人脸相似度阈值threshold，若max_similarity>＝threshold，则识别通过，并将具体人脸信息发到前端html页面以及存入记录数据库中，否则处理下一张人脸；
步骤5，将识别通过与未通过的人脸分别用不同颜色框在图片上标注，并将标注后的图片转成视频流；
步骤6，设计web界面，播放步骤5所得的视频流以及接收步骤4识别通过的人脸信息，并在html页面渲染。
与现有技术相比，本发明的有益效果为：针对校园招聘签到场景，本发明预先使用人脸注册软件通过学生照片采集人脸信息并将人脸特征、学生姓名、学生学号存储至数据库，在校园招聘现场通过高清摄像头抓拍出入口的学生人脸，并将抓拍的人脸与数据库中人脸信息比对，得到最后的识别结果，最后将识别结果存入数据库中，可实时通过web页面查看招聘会学生的出入情况，并进行统计和分析；本发明解决了传统方法签到时间慢、人力资源消耗多、签到查询繁琐等一系列问题，与当前人脸识别签到设备相比，本发明基于校园招聘场景人流量大，检测速度要求高等特点，采用网络高清摄像头，无需用户主动配合，不仅优化了人脸检测速度和人脸识别精度，达到快速准确无感签到，而且能够以可视化的web界面和高效无误的方式获得统计分析结果。
附图说明
图1为本发明基于人脸识别的校园招聘无感签到方法流程图。
图2为本发明的校园招聘无感签系统部署图。
具体实施方式
如图1所示，一种基于人脸识别的校园招聘无感签到方法，基于无感签到系统，系统包括人脸注册模块、人脸识别服务端模块、基于PHP的web前端管理模块；
其中人脸注册模块用于将学生人脸特征、学生姓名、学生学号存储到人脸库中；人脸识别服务端模块用于对网络摄像头采集到的图像进行人脸检测与识别，以及与web前端管理模块交互；web前端管理模块可对现场监控视频及其分析处理结果实时查看，所述签到方法主要包含以下步骤：
步骤1：对网络摄像头rtsp视频流解码得到每一帧图片，并将格式转为通用的Mat格式；
步骤2：将步骤1得到的mat格式图片数据，通过人脸检测算法检测出图片中的所有人脸以及人脸部分特征点；
步骤3：将检测出的所有人脸进行人脸对齐操作；
步骤4：将所有对齐后的人脸，逐一用人脸识别模型提取人脸特征，并与数据库中已注册人脸逐一比对计算相似度，通过计算人脸特征间的余弦距离得到相似度，此处取最高相似度max_similarity；设定人脸相似度阈值threshold，如果max_similarity>＝threshold，则识别通过，并将具体人脸信息发到前端html页面以及存入记录数据库中，否则处理下一张人脸；
步骤5：将识别通过与未通过的人脸分别用绿色和红色框在图片上标注，并将标注后的图片转成视频流；
步骤6：设计web界面，播放步骤5所得的视频流以及接收步骤4识别通过的人脸信息，并在html页面渲染。
进一步的，所述步骤1中rtsp视频流解码利用ffmpeg解析rtsp流，再调用nvidia显卡解码库中解码函数，然后将图像数据从显存拷贝到内存中实现，图像数据格式由NV12变为RGB，解码过程中cpu与gpu资源占用低。
进一步的，所述步骤2中人脸检测算法基于MTCNN改进实现，将caffe版本的MTCNN改成opencv下dnn版本，进行框架加速，检测结果包括人脸、眼睛、嘴巴、鼻子的具体位置。
进一步的，所述步骤4中人脸识别模型基于SphereFace网络结构改进训练实现，修改SphereFace损失函数为ArcFace损失函数。
进一步的，所述步骤5中生成的视频流为实时的rtmp流。
进一步的，所述网络摄像头架设在校园招聘场所出入口。
下面结合实施例对本发明技术方案进行详细说明。
实施例
本实施例中采用的是基于人脸识别的校园招聘无感签到方法，系统硬件架构由工控机、交换机和IPC网络高清摄像头组成，如图2所示，工控机借助交换机与IPC网络高清摄像头相连接。该系统预先使用人脸注册软件通过学生照片采集人脸信息并将学生人脸特征、学生姓名、学生学号存储至数据库，在校园招聘现场通过高清摄像头抓拍出入口的学生人脸，并将抓拍的人脸与数据库中人脸信息比对，得到最后的识别结果，最后将识别结果存入数据库中，可实时通过web页面查看招聘会学生的出入情况，并进行统计和分析。具体流程如下：
步骤1：对高清摄像头rtsp视频流解码得到每一帧图片，并将格式转为通用的Mat格式；
步骤2：将步骤1得到的Mat格式图片数据，通过人脸检测算法检测出图片中的所有人脸以及人脸部分特征点；
步骤3：将检测出的所有人脸进行人脸对齐操作；
步骤4：将所有对齐后的人脸，逐一用人脸识别模型提取人脸特征，并与数据库中已注册人脸逐一比对计算相似度，通过计算人脸特征间的余弦距离得到相似度，此处取最高相似度max_similarity；设定人脸相似度阈值threshold，如果max_similarity>＝threshold，则识别通过，并将具体人脸信息发到前端html页面以及存入记录数据库中，否则处理下一张人脸；
步骤5：将识别通过与未通过的人脸分别用绿色和红色框在图片上标注，并将标注后的图片转成视频流；
步骤6：设计web界面，播放步骤5所得的视频流以及接收步骤4识别通过的人脸信息，并在html页面渲染。
本实施例在ubuntu18.04系统下使用caffe深度学习框架进行实验，实验使用的GPU型号为GeForce GTX 1080Ti，CPU型号为Intel Core i7-6700。从实际应用效果来看，本发明在校园招聘场景有着很好的应用效果，代替了常规签到方法，达到便捷、准确、高效的使用效果。
Claims (7)
1.一种基于人脸识别的校园招聘无感签到方法，其特征在于，该方法基于签到系统实现，签到系统包括人脸注册模块、人脸识别服务端模块、基于PHP的web前端管理模块；其中人脸注册模块用于将学生人脸特征、学生姓名、学生学号存储到人脸库中；人脸识别服务端模块用于对网络摄像头采集的图像进行人脸检测与识别，以及与web前端管理模块交互；web前端管理模块用于对现场监控视频及其分析处理结果实时查看，所述签到方法包含以下步骤：
步骤1，对网络摄像头rtsp视频流解码得到每一帧图片，并将格式转为通用的Mat格式；
步骤2，将步骤1得到的Mat格式图片，通过人脸检测算法检测出图片中的所有人脸以及人脸部分特征点；
步骤3，将检测出的所有人脸进行人脸对齐操作；
步骤4，将所有对齐后的人脸，逐一用人脸识别模型提取人脸特征，并与数据库中已注册人脸逐一比对计算相似度，通过计算人脸特征间的余弦距离得到相似度，取最高相似度max_similarity；设定人脸相似度阈值threshold，若max_similarity>＝threshold，则识别通过，并将具体人脸信息发到前端html页面以及存入记录数据库中，否则处理下一张人脸；
步骤5，将识别通过与未通过的人脸分别用不同颜色框在图片上标注，并将标注后的图片转成视频流；
步骤6，设计web界面，播放步骤5所得的视频流以及接收步骤4识别通过的人脸信息，并在html页面渲染。
2.根据权利要求1所述的基于人脸识别的校园招聘无感签到方法，其特征在于，所述步骤1中rtsp视频流解码利用ffmpeg解析rtsp流，再调用nvidia显卡解码库中解码函数，然后将图像数据从显存拷贝到内存中实现，图像数据格式由NV12变为RGB。
3.根据权利要求1所述的基于人脸识别的校园招聘无感签到方法，其特征在于，所述步骤2中人脸检测算法基于MTCNN改进实现，将caffe版本的MTCNN改成opencv下dnn版本，进行框架加速，检测结果包括人脸、眼睛、嘴巴、鼻子的具体位置。
4.根据权利要求1所述的基于人脸识别的校园招聘无感签到方法，其特征在于，所述步骤4中人脸识别模型基于SphereFace网络结构改进训练实现，修改SphereFace损失函数为ArcFace损失函数。
5.根据权利要求1所述的基于人脸识别的校园招聘无感签到方法，其特征在于，所述步骤5中生成的视频流为实时的rtmp流。
6.根据权利要求1所述的基于人脸识别的校园招聘无感签到方法，其特征在于，所述步骤5中，将识别通过与未通过的人脸分别用绿色和红色框在图片上标注。
7.根据权利要求1所述的基于人脸识别的校园招聘无感签到方法，其特征在于，所述网络摄像头架设在校园招聘场所出入口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324203.5A CN111191541A (zh) | 2019-12-20 | 2019-12-20 | 基于人脸识别的校园招聘无感签到方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324203.5A CN111191541A (zh) | 2019-12-20 | 2019-12-20 | 基于人脸识别的校园招聘无感签到方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111191541A true CN111191541A (zh) | 2020-05-22 |
Family
ID=70707515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911324203.5A Pending CN111191541A (zh) | 2019-12-20 | 2019-12-20 | 基于人脸识别的校园招聘无感签到方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191541A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960186A (zh) * | 2018-07-20 | 2018-12-07 | 南京开为网络科技有限公司 | 一种基于人脸的广告机用户识别方法 |
| CN109003346A (zh) * | 2018-07-13 | 2018-12-14 | 河海大学 | 一种基于人脸识别技术的校园考勤方法及其系统 |
| CN109214303A (zh) * | 2018-08-14 | 2019-01-15 | 北京工商大学 | 一种基于云端api的多线程动态人脸签到方法 |
-
2019
- 2019-12-20 CN CN201911324203.5A patent/CN111191541A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003346A (zh) * | 2018-07-13 | 2018-12-14 | 河海大学 | 一种基于人脸识别技术的校园考勤方法及其系统 |
| CN108960186A (zh) * | 2018-07-20 | 2018-12-07 | 南京开为网络科技有限公司 | 一种基于人脸的广告机用户识别方法 |
| CN109214303A (zh) * | 2018-08-14 | 2019-01-15 | 北京工商大学 | 一种基于云端api的多线程动态人脸签到方法 |
Non-Patent Citations (1)
| Title |
|---|
| JIANKANG DENG等: "ArcFace: Additive Angular Margin Loss for Deep Face Recognition", 《ARXIV:1801.07698V3》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
| CN110543811B (zh) | 一种基于深度学习的非配合式考试人员管理方法及其系统 | |
| CN108921038A (zh) | 一种基于深度学习人脸识别技术的课堂快速点名签到方法 | |
| CN109712284A (zh) | 一种智能校园管理系统及其方法 | |
| CN113903068A (zh) | 基于人脸特征的陌生人监控方法、装置、设备及存储介质 | |
| Bekzod | Face recognition based automated student attendance system | |
| CN109345427B (zh) | 一种结合人脸识别和行人识别技术的教室视频点到方法 | |
| CN111582195B (zh) | 一种汉语唇语单音节识别分类器构建方法 | |
| CN113538720A (zh) | 基于海思智能ai芯片的嵌入式人脸识别考勤方法 | |
| CN111191541A (zh) | 基于人脸识别的校园招聘无感签到方法 | |
| CN113326747A (zh) | 教职工人脸识别考勤方法与系统 | |
| CN111800428A (zh) | 一种数字会议参与实时统计方法及系统 | |
| CN117541442A (zh) | 教学考勤管理方法、装置、设备及存储介质 | |
| Ping et al. | Automatic attendance face recognition for real classroom environments | |
| CN111160211B (zh) | 一种基于人脸识别的教育培训系统 | |
| CN115862172A (zh) | 一种带有表情识别的考勤系统 | |
| Alqudah et al. | Biometric-based smart attendance management system using face recognition and authentication | |
| CN111145413A (zh) | 一种智能门禁系统及其人脸识别方法 | |
| CN111191563A (zh) | 基于数据样本与测试数据集训练的人脸识别方法及系统 | |
| CN117455442B (zh) | 基于统计增强的身份识别方法、系统和存储介质 | |
| Tammisetti et al. | Deep Residual Learning based Attendance Monitoring System | |
| Nizam et al. | Automated Attendance Management System: Leveraging Computer Vision for Efficient Tracking and Monitoring | |
| CN117292419B (zh) | 基于人脸识别的行人追踪定位方法、装置 | |
| RAKSHITHA | FACE BASED CCTV ATTENDANCE MONITORING SYSTEM USING DEEP FACE RECOGNITION | |
| CN117935341B (zh) | 一种基于人脸识别自动签到的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200522 |