CN108921038A - 一种基于深度学习人脸识别技术的课堂快速点名签到方法 - Google Patents

一种基于深度学习人脸识别技术的课堂快速点名签到方法 Download PDF

Info

Publication number
CN108921038A
CN108921038A CN201810581036.1A CN201810581036A CN108921038A CN 108921038 A CN108921038 A CN 108921038A CN 201810581036 A CN201810581036 A CN 201810581036A CN 108921038 A CN108921038 A CN 108921038A
Authority
CN
China
Prior art keywords
face
registering
recognition technology
deep learning
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810581036.1A
Other languages
English (en)
Inventor
汪瑞欣
刘得潭
吴琼
沈振中
徐力群
陶韵成
张宏伟
邱莉婷
霍晨玮
刘冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201810581036.1A priority Critical patent/CN108921038A/zh
Publication of CN108921038A publication Critical patent/CN108921038A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity

Abstract

本发明公开了一种基于深度学习人脸识别技术的课堂快速点名签到方法，涉及计算机视觉技术领域，特别涉及一种人脸识别技术，所述方法包括：可移动端摄像头快速采集目标人脸视频，并生成IP地址；服务端在ubuntu系统下连接移动端提供的IP地址，生成一帧一帧图片；根据MTCNN算法检测人脸图片的关键点，选择Procrustes analysis分析方法人脸对齐；根据已对齐后的人脸图片，选择FaceNet算法进行人脸向量特征化；将收集的人脸向量与数据库中人脸图片的特征向量进行对比，按一定阀值找出与目标人脸图片最相似的人脸图片，并生成文本文件。本发明基于深度学习法对人脸图像进行快速扫描，通过移动端可快速准确识别受化妆、光线、识别背景等因素影响的人脸图片。

Description

一种基于深度学习人脸识别技术的课堂快速点名签到方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于深度学习人脸识别技术的课堂快速点名签到方法。
背景技术
随着多媒体信息化时代的快速发展，信息准确获取、信息表示及信息处理已成为当今科学研究中不可或缺的研究工作和重要的技术手段。人脸识别技术具有的自然性好、无侵犯性和性价比高等优势，使得人脸识别技术在视觉数据处理方面得到了十分广泛的关注和研究。
传统的人脸识别研究主要基于特征脸方法、基于子空间分析的人脸识别算法Fisherface、基于弹性图匹配的方法、SVD分解、人脸等密度线分析匹配、隐马尔可夫模型以及神经网络等方法。深度学习方法是有别于传统方法机器学习领域一新的研究方法，在处理图像、声音和文本这些信号时，通过多个变换阶段分层对数据特征进行描述，进而给出数据的解释，目前在语言识别、计算机视觉等多类应用中取得了突破性的进展。然而，人脸识别技术被应用于公安系统的身份识别、驾驶执照、银行及海关的监控系统及自动门卫系统、单位的考勤、手机解锁等有限场景中，尚未在教育、经济、社区服务等领域得到广泛推广，存在着巨大的潜在应用价值，有待深入挖掘。学校老师的点名方式仍较为传统，不仅费时费力，而且极大影响课堂秩序和效率。因此，有必要基于对深度学习（Deep learning）技术的研究，特别是在卷积神经网络（CNN）在人脸识别应用方面的研究，设计一种基于深度学习人脸识别技术的快速课堂点名签到方案，快速完成学生身份确认，提高课堂点名签到效率。
发明内容
本发明所要解决的技术问题是针对背景技术的不足提供一种基于深度学习人脸识别技术的课堂快速点名签到方法。
本发明为解决上述技术问题采用以下技术方案
一种基于深度学习人脸识别技术的课堂快速点名签到方法，具体包括以下步骤：
步骤1，移动端摄像装置快速获取人脸图像；
步骤2，服务端获得移动端摄像装置的IP地址；
步骤3，服务端对获得的传输视频进行一帧一帧图片的转化；
步骤4，对所述一帧一帧图片利用MTCNN算法进行人脸框以及人脸关键点检测，根据检测到的人脸关键点将人脸图片对齐；
步骤5，将所述对齐后的人脸图片进行人脸特征化，根据特征化后的人脸向量与数据库中目标人脸特征进行对比，按设定阀值找出最相似的人脸图片，并生成文本文件。
作为本发明基于深度学习人脸识别技术的课堂快速点名签到方法的进一步优选方案，在步骤2中，服务端采用urllib库的request方法对移动端摄像装置提供的IP地址进行连接。
作为本发明基于深度学习人脸识别技术的课堂快速点名签到方法的进一步优选方案，在步骤3中，摄像装置提供的传输视频为二进制字节格式，需要转化为服务端opencv支持的图片矩阵格式。
作为本发明基于深度学习人脸识别技术的课堂快速点名签到方法的进一步优选方案，在步骤4中，图片中人脸的定位，即人脸框坐标的寻找，通过MTCNN算法实现。
作为本发明基于深度学习人脸识别技术的课堂快速点名签到方法的进一步优选方案，所述MTCNN算法的结构分为：
Stage1: 在构建图像金字塔的基础上，利用fully convolutional network来进行检测，同时利用boundingbox regression 和 NMS来进行修正；其中，NMS为非极大值限制；
Stage2: 将通过stage1的所有窗口输入作进一步判断，同时也要做boundingboxregression 和 NMS；
Stage3: 在stage2基础上增加更强的约束。
作为本发明基于深度学习人脸识别技术的课堂快速点名签到方法的进一步优选方案，在步骤4中，人脸图对齐采用Procruster analysis统计方法，通过旋转、平移和缩放使得图像A尽可能与图像B的向量点对齐，并利用最小二乘法判断对齐的效果。
作为本发明基于深度学习人脸识别技术的课堂快速点名签到方法的进一步优选方案，在步骤5中，对齐的人脸向量特征化采用FaceNet算法，将每个人脸计算为一512维特征向量。
作为本发明基于深度学习人脸识别技术的课堂快速点名签到方法的进一步优选方案，所述FaceNet算法利用Triplet Loss损失函数来训练函数。
作为本发明基于深度学习人脸识别技术的课堂快速点名签到方法的进一步优选方案，所述FaceNet算法使用嵌入层，将特征从原来的特征空间中映射到一个新的特征空间。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本技术方案提供的移动端摄像装置可对多人进行快速识别，相比目前人脸识别设备，识别效率有很大提高；移动端摄像装置可利用手机视频采集端，快速便捷，硬件要求较低，方案实施成本较低，使得产品具有较强的应用性和推广性。
附图说明
图1是本发明提供的基于深度学习人脸识别技术的课堂快速点名签到方法的实现流程图；
图2 是本发明实现人脸图片向量化的FaceNet算法网络结构图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
针对现有技术中的不足，本发明提出了一种基于深度学习人脸识别技术的课堂快速点名签到方法，下面结合附图以及具体实施例，对本发明进行详细的阐述。
在实施本发明实施例的基于深度学习人脸识别技术的课堂快速点名签到方法之前，预先采集学生群体近期正脸照片，并将采集到的照片集利用算法进行人脸特征的提取并进行512维向量化，储存于服务端（例如，教学多媒体设备），构成人脸比对数据库。
如图1所示，方案的实现涉及移动端和服务端两个平台。移动端设备主要用于快速对教室内的学生进行抓拍，获得学生脸部视频。移动端在快速获得学生脸部视频时，并生成一个IP地址，供服务端在局域网或广域网中连接并获取实时视频。
服务端通过urllib库的request方法，将移动端“IP摄像头”提供的以MPEG-stream二进制字节流格式传输视频转化为opencv支持的图片矩阵格式。实现移动端摄像装置采集的视频到服务端接收到一帧一帧图片的转化。
进一步的，服务端基于MTCNN算法对上述获得的一帧一帧图片进行人脸框以及人脸关键点进行检测，并将检测到的人脸关键点依据Procrustes analysis 统计方法将人脸图进行对齐。
其中，Procrustes analysis是一种用于分析形状分布的统计方法，其利用最小二乘法寻找形状A与形状B之间的仿射变换，并通过旋转、平移和缩放使得图像A的向量与图像B的向量点尽可能的对齐。此外，通过最小二乘法，使得变化后所有点与目标点距离和最小，判断对齐的效果。
对齐后的人脸图片利用FaceNet算法进行人脸的向量特征化，将每个学生人脸都转化为一个512维的特征向量。
其中，如图2所示，FaceNet算法用于人脸图片的向量化。利用卷积神经网络的特征提取能力，并改变常用的交叉熵损失函数为Triple Loss损失函数来训练函数，在普通分类任务的基础上实现较好的聚类效果，即尽可能增大类间距离，缩小类内距离。
根据上述所示，FaceNet算法网络结构分为：Stage1: 在构建图像金字塔的基础上，利用fully convolutional network来进行检测，同时利用boundingbox regression和 NMS（非极大值限制）来进行修正。（全卷积网络是指只有卷积层，可以接受任意尺寸的输入，靠网络stride来自动完成滑窗）；Stage2: 将通过stage1的所有窗口输入作进一步判断，同时也要做boundingbox regression 和 NMS；Stage3: 和stage2相似，在stage2基础上增加了更强的约束。
最后，将生成的512维的特征人脸向量与服务端已储存的学生人脸特征数据库进行比对，按照一定阀值找出最相似的学生。

Claims (9)

1.一种基于深度学习人脸识别技术的课堂快速点名签到方法，其特征在于，具体包括以下步骤：
步骤1，移动端摄像装置快速获取人脸图像；
步骤2，服务端获得移动端摄像装置的IP地址；
步骤3，服务端对获得的传输视频进行一帧一帧图片的转化；
步骤4，对所述一帧一帧图片利用MTCNN算法进行人脸框以及人脸关键点检测，根据检测到的人脸关键点将人脸图片对齐；
步骤5，将所述对齐后的人脸图片进行人脸特征化，根据特征化后的人脸向量与数据库中目标人脸特征进行对比，按设定阀值找出最相似的人脸图片，并生成文本文件。
2.根据权利要求1所述的基于深度学习人脸识别技术的课堂快速点名签到方法，其特征在于，在步骤2中，服务端采用urllib库的request方法对移动端摄像装置提供的IP地址进行连接。
3.根据权利要求1所述的基于深度学习人脸识别技术的课堂快速点名签到方法，其特征在于，在步骤3中，摄像装置提供的传输视频为二进制字节格式，需要转化为服务端opencv支持的图片矩阵格式。
4.根据权利要求1所述的基于深度学习人脸识别技术的课堂快速点名签到方法，其特征在于，在步骤4中，图片中人脸的定位，即人脸框坐标的寻找，通过MTCNN算法实现。
5.根据权利要求4所述的基于深度学习人脸识别技术的课堂快速点名签到方法，其特征在于，所述MTCNN算法的结构分为：
Stage1: 在构建图像金字塔的基础上，利用fully convolutional network来进行检测，同时利用boundingbox regression 和 NMS来进行修正；其中，NMS为非极大值限制；
Stage2: 将通过stage1的所有窗口输入作进一步判断，同时也要做boundingboxregression 和 NMS；
Stage3: 在stage2基础上增加更强的约束。
6.根据权利要求1所述的基于深度学习人脸识别技术的课堂快速点名签到方法，其特征在于，在步骤4中，人脸图对齐采用Procruster analysis统计方法，通过旋转、平移和缩放使得图像A尽可能与图像B的向量点对齐，并利用最小二乘法判断对齐的效果。
7.根据权利要求1所述的基于深度学习人脸识别技术的课堂快速点名签到方法，其特征在于，在步骤5中，对齐的人脸向量特征化采用FaceNet算法，将每个人脸计算为一512维特征向量。
8.根据权利要求7所述的基于深度学习人脸识别技术的课堂快速点名签到方法，其特征在于，所述FaceNet算法利用Triplet Loss损失函数来训练函数。
9.根据权利要求8所述的基于深度学习人脸识别技术的课堂快速点名签到方法，其特征在于，所述FaceNet算法使用嵌入层，将特征从原来的特征空间中映射到一个新的特征空间。
CN201810581036.1A 2018-06-07 2018-06-07 一种基于深度学习人脸识别技术的课堂快速点名签到方法 Pending CN108921038A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810581036.1A CN108921038A (zh) 2018-06-07 2018-06-07 一种基于深度学习人脸识别技术的课堂快速点名签到方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810581036.1A CN108921038A (zh) 2018-06-07 2018-06-07 一种基于深度学习人脸识别技术的课堂快速点名签到方法

Publications (1)

Publication Number Publication Date
CN108921038A true CN108921038A (zh) 2018-11-30

Family

ID=64420234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810581036.1A Pending CN108921038A (zh) 2018-06-07 2018-06-07 一种基于深度学习人脸识别技术的课堂快速点名签到方法

Country Status (1)

Country Link
CN (1) CN108921038A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635766A (zh) * 2018-12-20 2019-04-16 中国地质大学（武汉） 基于小样本的卷积神经网络的人脸拍照考勤方法及系统
CN110363175A (zh) * 2019-07-23 2019-10-22 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
CN110458113A (zh) * 2019-08-14 2019-11-15 旭辉卓越健康信息科技有限公司 一种人脸非配合场景下的小人脸识别方法
CN110879970A (zh) * 2019-10-21 2020-03-13 武汉兴图新科电子股份有限公司 一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统
CN111079718A (zh) * 2020-01-15 2020-04-28 中云智慧（北京）科技有限公司 人脸快速比对方法
CN111753710A (zh) * 2020-06-18 2020-10-09 北京同城必应科技有限公司 一种应用于物流配送的细分类神经网络人脸识别方法
CN113256834A (zh) * 2021-06-01 2021-08-13 杭州魔点科技有限公司 高校点名方法和系统
CN114358795A (zh) * 2022-03-18 2022-04-15 武汉乐享技术有限公司 一种基于人脸的支付方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455958A (zh) * 2013-09-17 2013-12-18 云南大学 一种基于手机平台的课堂考勤方法
CN105336012A (zh) * 2014-08-06 2016-02-17 王鹏飞 一种基于人脸识别的大型会议签到方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455958A (zh) * 2013-09-17 2013-12-18 云南大学 一种基于手机平台的课堂考勤方法
CN105336012A (zh) * 2014-08-06 2016-02-17 王鹏飞 一种基于人脸识别的大型会议签到方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
F.SCHROFF等: "Facenet:A unified embedding for face recognition and clustering", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN》 *
武维: "如何应用MTCNN和FaceNet模型实现人脸检测及识别", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/37705980》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635766A (zh) * 2018-12-20 2019-04-16 中国地质大学（武汉） 基于小样本的卷积神经网络的人脸拍照考勤方法及系统
CN110363175A (zh) * 2019-07-23 2019-10-22 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
CN110458113A (zh) * 2019-08-14 2019-11-15 旭辉卓越健康信息科技有限公司 一种人脸非配合场景下的小人脸识别方法
CN110879970A (zh) * 2019-10-21 2020-03-13 武汉兴图新科电子股份有限公司 一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统
CN110889672B (zh) * 2019-11-19 2022-04-12 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统
CN111079718A (zh) * 2020-01-15 2020-04-28 中云智慧（北京）科技有限公司 人脸快速比对方法
CN111753710A (zh) * 2020-06-18 2020-10-09 北京同城必应科技有限公司 一种应用于物流配送的细分类神经网络人脸识别方法
CN113256834A (zh) * 2021-06-01 2021-08-13 杭州魔点科技有限公司 高校点名方法和系统
CN113256834B (zh) * 2021-06-01 2021-09-14 杭州魔点科技有限公司 高校点名方法和系统
CN114358795A (zh) * 2022-03-18 2022-04-15 武汉乐享技术有限公司 一种基于人脸的支付方法和装置

Similar Documents

Publication Publication Date Title
CN108921038A (zh) 一种基于深度学习人脸识别技术的课堂快速点名签到方法
CN109740413B (zh) 行人重识别方法、装置、计算机设备及计算机存储介质
CN106778604B (zh) 基于匹配卷积神经网络的行人再识别方法
CN109711370B (zh) 一种基于wifi探测和人脸聚类的数据融合方法
CN104915643B (zh) 一种基于深度学习的行人再标识方法
CN111539370A (zh) 一种基于多注意力联合学习的图像行人重识别方法和系统
CN109376637A (zh) 基于视频监控图像处理的人数统计系统
CN108345837A (zh) 一种基于人体区域对齐化特征表达学习的行人再识别方法
CN109767422A (zh) 基于深度学习的管道检测识别方法、存储介质及机器人
CN109214263A (zh) 一种基于特征复用的人脸识别方法
CN109583373B (zh) 一种行人重识别实现方法
CN111241932A (zh) 汽车展厅客流检测与分析系统、方法及存储介质
CN111914761A (zh) 一种热红外人脸识别的方法及系统
CN111539351B (zh) 一种多任务级联的人脸选帧比对方法
CN113705510A (zh) 目标识别跟踪的方法、装置、设备及存储介质
Zhang et al. Indoor space recognition using deep convolutional neural network: a case study at MIT campus
CN111382655A (zh) 一种举手行为识别方法及装置、电子设备
CN111582195B (zh) 一种汉语唇语单音节识别分类器构建方法
CN111199050B (zh) 一种用于对病历进行自动脱敏的系统及应用
CN113627380B (zh) 一种用于智能安防及预警的跨视域行人重识别方法及系统
CN115984968A (zh) 一种学生时空动作识别方法、装置、终端设备及介质
Hu et al. A similarity measure based on Hausdorff distance for human face recognition
CN112819984B (zh) 一种基于人脸识别的课堂多人点名签到方法
CN114022905A (zh) 一种属性感知的域拓展行人重识别方法及系统
CN113221606B (zh) 一种基于ims视频会议登录的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130