CN110543811B - 一种基于深度学习的非配合式考试人员管理方法及其系统 - Google Patents
一种基于深度学习的非配合式考试人员管理方法及其系统 Download PDFInfo
- Publication number
- CN110543811B CN110543811B CN201910636993.4A CN201910636993A CN110543811B CN 110543811 B CN110543811 B CN 110543811B CN 201910636993 A CN201910636993 A CN 201910636993A CN 110543811 B CN110543811 B CN 110543811B
- Authority
- CN
- China
- Prior art keywords
- face
- examination
- information
- database
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000007405 data analysis Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000013523 data management Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 10
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000009432 framing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 abstract 1
- 238000012795 verification Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Educational Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Medical Informatics (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的非配合式考试人员管理方法及其系统，该方法基于深度学习技术，借助现代计算机与网络技术，以人脸检测和识别为手段，摒弃传统考试人员管理中人工检查和登记的落后方式，实现考场中的非配合式人脸检测与识别，从而实现考试人员的身份认证。同时搭建信息管理平台，实现对考生信息及数据的分析与管理。该系统包含视频图像采集模块、处理模块、数据分析与管理模块。其中，处理模块包含基于深度卷积神经网络的人脸检测与人脸识别两个环节，接收由视频图像采集模块传来的图像，在经过一系列处理后将结果传递至数据分析与管理模块进行往后的应用操作。本发明有助于改善优化现有的考试人员管理模式，使其更简便、高效。
Description
技术领域
本发明涉及深度学习技术领域和人脸检测与识别技术领域，具体涉及一种基于深度学习的非配合式考试人员管理方法及其系统。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。
人脸识别技术已成为日常生活中必不可少的一部分，像是在安防系统的身份验证、公安刑侦、安全验证、智能视频监控、智能人机交互等方面都有着广泛的应用。近段时间，随着越来越多大规模的人脸数据集被制作和开放，传统的人脸识别方法已经逐渐被基于卷积神经网络的深度学习方法接替。
随着科技和教育事业的发展，考场的人员管理系统已经得到了越来越广泛的关注和使用，除了传统的人工登记输入、身份证验证登记上传、指纹验证登记上传等技术，人脸识别验证也越来越多地被用于对考场的人员管理中。而考场的人员管理是学校考试体系管理中必不可少的环节，根本目的是协助学校对考生信息和考场人员情况(已到、未到、缺考等)进行统计和管理，遏止代考作弊现象的发生，保证考试的流畅性和公平性。而如今大多数学校的期中考、期末考考试人员管理，采用的手段大多如下：监考老师逐个检查考生学生证(卡)，用笔在考场统计表上登记实到人数和空着的座位的编号，再在考试后将表上交到教务管理中心。这些方式不仅费时费力，效率低下，而且很多时候难以及时发现并防止代考作弊。因此，研究建立一个运行高效、功能完备的考试人员管理系统具有重要的实际意义。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于深度学习的非配合式考试人员管理方法及其系统。
一种基于深度学习的非配合式考试人员管理方法，所述的考试人员管理方法包括以下步骤：
S1、预先在学生信息与人脸数据库中存入对应学生个人信息的人脸照片，并通过预先训练好的深度人脸识别模型得到各人脸对应的特征向量，储存为特征模板；
S2、考试开始前，通过放置在考场正前方顶部的高清摄像头采集含有人脸的图像以及视频，通过计算机软件实现对视频图像的预览和视频文件的保存；
S3、实施人脸检测算法，通过预先训练好的深度人脸检测模型，找出视频图像中所有的人脸对应的位置并用人脸外接矩形框出，在视频图像上将人脸外接矩形可视化出来，并输出人脸外接矩形在图像中的坐标；
S4、将视频图像中除人脸外接矩阵外的部分删掉，裁剪出人脸区域图像；
S5、实施人脸识别算法，通过预先训练好的深度人脸识别模型，从人脸区域图像中提取特征向量，并与数据库中预存的特征模板计算匹配程度；
S6、将数据分析结果传送至监考员终端，并存入考生考场数据库，在考试开始后生成报表传输至教务管理中心。
进一步地，所述的步骤S1包括以下步骤：
S101、预先给学生拍摄正面人脸照片，截取出人脸区域，与学生的个人信息一一对应地存入学生信息与人脸数据库中；
S102、将所有人脸区域图像传入预先训练好的深度人脸识别模型，得到对应的特征向量，储存为特征模板，与图像一一对应地存入学生信息与人脸数据库中。
进一步地，步骤S2中，所述通过放置在考场正前方的高清摄像头采集人脸图像是实时不间断非配合式进行的，即不需要考生在特定的摄像头前停留拍照，只要考生出现在场景范围内，无论考生处于哪个位置、正在进行何种动作与表情、脸部是否正面朝向，位于场景前方顶部的摄像头都实时不间断进行画面采集。
进一步地，所述的步骤S3包括以下步骤：
S301、在所述人脸检测算法中，预先训练好的深度人脸检测模型通过如下损失函数训练选取的深度卷积神经网络得到，其中，深度卷积神经网络应按各自需求选取：
其中，pi为第i个提取到的区域判断为是人脸区域的概率；为第i个提取到的区域是否是人脸区域的标签，即如果是人脸，/>如果不是人脸，/>ti为所预测的人脸边界框的四维坐标向量；/>为真实标签人脸边界框的四维坐标向量；/>为Focal Loss损失函数；/>为smooth L1损失函数；/>为用于将/>回归损失函数对象限制在正样本的指示函数；Ncls和Nreg为各自正样本的总数；λ为权重平衡因子，用于平衡两种损失函数各自占有的权重；
S302、在所述人脸检测算法中，将采集到的当前帧的视频图像输入训练好的深度人脸检测模型中，进行人脸检测，若检测到人脸，则提取当前视频帧以进行后续操作；若未检测到人脸，抛弃当前帧，重新对下一帧视频图像进行人脸检测，直到找出图像中所有的人脸对应的位置并用脸部区域边界框框出；
S303、在所述人脸检测算法中，在视频图像上将人脸外接矩形可视化出来，并输出边界框在图像中的坐标。
进一步地，所述的步骤S4，其具体为：
通过计算机程序自动对图像进行裁剪，保留检测到的人脸区域图像，抛弃非人脸区域图像。
进一步地，所述的步骤S5包括以下步骤：
S501、在所述人脸识别算法中，预先训练好的深度人脸识别模型通过如下损失函数训练选取的深度卷积神经网络得到，其中，深度卷积神经网络应按各自需求选取：
其中，f(x)为用于将输入的图片转化成d维特征向量的映射函数；为输入的裁剪好的人脸区域图片/>所对应的d维特征向量；/>为正样本，即与/>属于同一个体的人脸区域图片/>所对应的d维特征向量；/>为负样本，即与/>属于不同个体的人脸区域图片/>所对应的d维特征向量；α为稳定裕度；
S502、在所述人脸识别算法中，将裁剪后的人脸区域图像传入训练好的深度人脸识别模型中，提取出其特征向量；
S503、在所述人脸识别算法中，通过所述训练好的深度人脸识别模型，将提取到的特征向量与数据库中预存的特征模板计算匹配程度，当其与数据库中的一个特征模板的匹配程度大于设定阈值时，认为人脸匹配成功；若不存在与数据库中的一个特征模板的匹配程度大于设定阈值，认为人脸匹配失败。其中，设定阈值大小应按各自需求确定；
进一步地，所述的步骤S6包括以下步骤：
S601、所述将数据分析结果实时传送至监考员终端包括两种形式：
S601-1、以可视化视频图像形式，包括采集到的视频图像和场景中所有人员的脸部区域边界框；所述边界框显示规则为：如果人脸成功与数据库中人脸匹配，边界框为绿色，如果未能成功匹配，边界框为红色；
S601-2、以统计表形式，包括现场应到人数、现场实到人数、已到人员信息和未到人员信息；S602、所述将数据分析结果存入考生考场数据库，数据分析结果包括考试时间、试室号、考试科目、监考员姓名、现场应到人数、现场实到人数、已到人员信息、未到人员信息、有否未成功匹配人脸的人员；
S603、所述在考试开始后生成报表传输至教务管理中心，报表内容包括考试时间、试室号、考试科目、监考员姓名、现场应到人数、现场实到人数、已到人员信息、未到人员信息、有否未成功匹配人脸的人员。
根据公开的实施例，本发明的第二方面公开了一种用于实现所述一种基于深度学习的非配合式考试人员管理方法的系统，其特征在于，所述的考试人员管理系统包括视频图像采集模块、处理模块、数据分析与管理模块；
所述视频图像采集模块包括：视频图像采集、视频图像显示，完成视频图像的实时采集与显示；
所述处理模块包括：人脸检测、人脸识别，接收视频图像采集模块采集到的视频图像，完成对场景内所有人脸的实时检测和识别；
所述数据分析与管理模块包括：学生信息与人脸数据库、考生考场数据库、信息管理平台。其中，学生信息与人脸数据库预先储存学生个人信息和人脸图像、特征模板；考生考场数据库储存并处理来自处理模块分析出的数据信息，在考试开始后生成报表并发送给教务管理中心；信息管理平台对学生信息与人脸数据库、考生考场数据库进行管理；
进一步地，所述的视频图像采集是通过安置在考场正前方顶部的高清广角摄像头实现的，需保证所述摄像头拍摄区域覆盖整个考场场景。
进一步地，所述的信息管理平台对学生信息与人脸数据库、考生考场数据库进行管理，同时控制权限。具体规则为：将使用者分为普通用户和管理员，根据身份分配不同账号，使用者用账号密码登陆进入本平台，进行各自权限内的操作。其中，普通用户可以查看自己的个人信息和人脸数据、修改平台登陆密码及查看自己的考试信息，包括已到场的场次和未到场的场次等。管理员不仅可以进行以上操作，还可以录入、修改、删除学生的个人信息和人脸数据，查看、下载、传输过去每场考试的考生、考场信息等。
本发明相对于现有技术具有如下的优点及效果：
1)本发明基于非配合人脸检测与识别技术，实现了基于深度学习的非配合式考试人员管理方法及其系统，有助于监考员轻松及时地对考生到场人数进行核验，并查看缺考人员，也能防止非该场考试的考生混入考场，杜绝代考现象的发生，保证考试的公平性。
2)本发明提及的非配合人脸识别不需要考生一个个地在摄像头面前停留拍照、等待验证。只要出现在场景范围内，无论考生处于哪个位置、正在进行何种动作与表情、脸部是否正面朝向，位于场景前方顶部的摄像头都可以进行画面采集，将图像信息传入系统中实时地检测出所有的人脸，并对所有人脸进行识别。提高了对考生身份的验证速度，避免不必要的时间浪费
3)本发明使用极具竞争力的深度学习算法构建高质量的检测与识别模型。在保证检测与识别速度达到实时级别的前提下，有效地减少了光照变化、形状纹理变化、尺度变化、重叠遮盖等不确定因素对模型精度的影响，削弱对场景环境条件的依赖，显著提高模型泛化能力和鲁棒性。
4)本发明形成系统地对考试人员数据进行分析与管理，建立学生信息与人脸数据库、考生考场数据库、信息管理平台，方便学校对考试的数字化、信息化管理与分析，有助于提高考试质量。
附图说明
图1是本发明中实现基于深度学习的非配合式考试人员管理系统的整体结构图。
图2是本发明中实现基于深度学习的非配合式考试人员管理的工作方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于深度学习的非配合式考试人员管理系统，包括视频图像采集模块、处理模块、数据分析与管理模块；
其中，视频图像采集模块包括：视频图像采集、视频图像显示，完成视频图像的实时采集与显示；
处理模块包括：人脸检测、人脸识别，接收视频图像采集模块采集到的视频图像，完成对场景内所有人脸的实时检测和识别；
数据分析与管理模块包括：学生信息与人脸数据库、考生考场数据库、信息管理平台。其中，学生信息与人脸数据库预先储存学生个人信息和人脸图像、特征模板；考生考场数据库储存并处理来自处理模块分析出的数据信息，在考试开始后生成报表并发送给教务管理中心；信息管理平台对学生信息与人脸数据库、考生考场数据库进行管理；
信息管理平台对学生信息与人脸数据库、考生考场数据库进行管理，同时控制权限。具体规则为：将使用者分为普通用户和管理员，根据身份分配不同账号，使用者用账号密码登陆进入本平台，进行各自权限内的操作。其中，普通用户可以查看自己的个人信息和人脸数据、修改平台登陆密码及查看自己的考试信息，包括已到场的场次和未到场的场次等。管理员不仅可以进行以上操作，还可以录入、修改、删除学生的个人信息和人脸数据，查看、下载、传输过去每场考试的考生、考场信息等。
具体实施流程如下：
如图2所示，首先，监考员在开考前登陆考试人员管理系统，若成功登陆，位于教室正前方顶部的高清广角摄像头开启，开始采集视频图像，并在监考员终端实时显示画面。
随后，系统将采集到的画面传入预先训练好的深度人脸检模型中，检测画面中是否存在人脸，若检测到人脸，则提取当前帧进行后续操作；若未检测到人脸，则抛弃当前帧，再对下一视频帧进行人脸检测。用于人脸检测的深度神经网络可选用多种方案，下面给出其中一种实例：
参照收录于2017年ICCV会议上的《S3FD:Single Shot Scale-invariant FaceDetector》一文中，其深度人脸检测神经网络S3FD使用VGG16模型的一部分：从conv1到pool5，并移除其它层，通过对VGG16的fc6和fc7的参数进行上采样，将它们转换为卷积层，然后在它们后面添加额外的卷积层。这些层的尺寸逐渐减小，形成多尺度特征图。选择conv3_3,conv4_3,conv5_3,conv_fc7,conv6_2and conv7_2作为检测层，再使用L2归一化将具有不同的特征尺度的以下三层：conv3_3，conv4_3和conv5_3的范数分别缩放为10、8和5。
同时，为了解决对于小人脸的正负样本严重不平衡问题，使用了max-out策略：即将小目标产生最多的层——conv3_3层的输出通道数改为(Ns+4)，其中Ns>2，而其它所有检测层的输出通道数均为(2+4)，表示二分类和4个回归边界框的坐标。max-out策略将背景分为了Ns-1类，并计算得到这Ns-1类背景的概率，选择一个最大的概率作为最后背景的概率。
使用如下函数作为损失函数对网络进行训练：
其中，pi为第i个提取到的区域判断为是人脸区域的概率。为第i个提取到的区域是否是人脸区域的标签，即如果是人脸，/>如果不是人脸，/>ti为所预测的人脸边界框的四维坐标向量。/>为真实标签人脸边界框的四维坐标向量。/>为Focal Loss损失函数。/>为smooth L1损失函数。/>为用于将/>回归损失函数对象限制在正样本的指示函数。Ncls和Nreg为各自正样本的总数。λ为权重平衡因子，用于平衡两种损失函数各自占有的权重。训练方法运用传统的误差下降原理，具体训练细节的实施可查阅原文。
训练完成即得到深度人脸检测模型，以参数文件的形式存放，再次读取入网络中后可完成检测出画面中的人脸的工作。
随后，如图2，系统对检测到人脸的视频帧图像进行裁剪，保留检测到的人脸区域图像，抛弃非人脸区域图像。
随后，如图2，系统将裁剪好的人脸区域图像传入预先训练好的深度人脸识别模型中，得到特征向量。用于人脸识别的深度神经网络可选用多种方案，下面给出其中一种实例：
参照收录于2015年CVPR会议上的《FaceNet:A Unified Embedding for FaceRecognition and ClusteringFacenet》一文中，其深度人脸识别神经网络FaceNet对比使用了自设计的网络架构及GoogLeNet两种方案，并在网络架构的最后面接入L2归一化，使所有图像的特征即人脸特征向量都被映射到一个超球面上，接着再使用如下函数作为损失函数对网络进行训练：
其中，f(x)为用于将输入的图片转化成d维特征向量的映射函数。为输入的裁剪好的人脸区域图片/>所对应的d维特征向量。/>为正样本，即与/>属于同一个体的人脸区域图片/>所对应的d维特征向量。/>为负样本，即与/>属于不同个体的人脸区域图片/>所对应的d维特征向量。α为稳定裕度。
其中，三元组的选取方法为在线生成，即在每个mini-batch(一小批量的数据)中进行筛选正/负样本。文中的每个mini-batch中，对单个个体选择40张图片作为正样本，随机筛选其它图片作为负样本。mini-batch的大小也可按照需要人为设定。训练方法运用传统的误差下降原理，具体训练细节的实施可查阅原文。
训练完成即得到深度人脸识别模型，以参数文件的形式存放，再次读取入网络中后可完成提取并输出传入人脸的特征向量的工作。
随后，如图2，系统从学生信息与人脸数据库提取预先储存的特征模板，将其与得到的人脸特征向量计算匹配程度，当它们的匹配程度大于设定阈值时，认为人脸匹配成功；若无法使匹配程度大于设定阈值，认为人脸匹配失败。
其中，特征模板在考试前获取，获取方法如下：预先给学生拍摄正面人脸照片，截取出人脸区域，与学生的个人信息一一对应地存入学生信息与人脸数据库中。再将所有人脸区域图像传入预先训练好的深度人脸识别模型，得到对应的特征向量，储存为特征模板，与图像一一对应地存入学生信息与人脸数据库中。
随后，如图2，系统将特征比对数据分析结果以两种形式实时传送至监考员终端，一是以可视化视频图像形式，包括采集到的视频图像和场景中所有人员的脸部区域边界框。边界框规则为：如果人脸成功与数据库中人脸匹配，边界框为绿色，如果未能成功匹配，边界框为红色。二是以统计表形式，包括现场应到人数、现场实到人数、已到人员信息和未到人员信息。
随后，如图2，系统将特征比对数据分析结果同时存入考生考场数据库中，结果包括考试时间、试室号、考试科目、监考员姓名、现场应到人数、现场实到人数、已到人员信息、未到人员信息、有否未成功匹配人脸的人员。
最后，如图2，系统在考试开始后生成报表传输至教务管理中心，报表内容包括考试时间、试室号、考试科目、监考员姓名、现场应到人数、现场实到人数、已到人员信息、未到人员信息、有否未成功匹配人脸的人员。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (2)
1.一种基于深度学习的非配合式考试人员管理方法，其特征在于，所述的考试人员管理方法包括以下步骤：
S1、预先在学生信息与人脸数据库中存入对应学生个人信息的人脸照片，并通过预先训练好的深度人脸识别模型得到各人脸对应的特征向量，储存为特征模板；
S2、考试开始前，通过放置在考场正前方顶部的高清摄像头采集含有人脸的图像以及视频，通过计算机软件实现对视频图像的预览和视频文件的保存；
S3、实施人脸检测算法，通过预先训练好的深度人脸检测模型，找出视频图像中所有的人脸对应的位置并用人脸外接矩形框出，在视频图像上将人脸外接矩形可视化出来，并输出人脸外接矩形在图像中的坐标；
S4、将视频图像中除人脸外接矩形外的部分删掉，裁剪出人脸区域图像；
S5、实施人脸识别算法，通过预先训练好的深度人脸识别模型，从人脸区域图像中提取特征向量，并与数据库中预存的特征模板计算匹配程度；
S6、将数据分析结果传送至监考员终端，并存入考生考场数据库，在考试开始后生成报表传输至教务管理中心；
所述步骤S1包括以下步骤：
S101、预先给学生拍摄正面人脸照片，截取出人脸区域，与学生的个人信息一一对应地存入学生信息与人脸数据库中；
S102、将所有人脸区域图像传入预先训练好的深度人脸识别模型，得到对应的特征向量，储存为特征模板，与图像一一对应地存入学生信息与人脸数据库中；
步骤S2中，通过放置在考场正前方顶部的高清摄像头采集人脸图像是实时不间断非配合式进行的，即不需要考生在特定的摄像头前停留拍照，只要考生出现在场景范围内，无论考生处于哪个位置、正在进行何种动作与表情、脸部是否正面朝向，位于场景前方顶部的摄像头都实时不间断进行画面采集；
所述步骤S3包括以下步骤：
S301、在所述人脸检测算法中，预先训练好的深度人脸检测模型通过如下损失函数训练选取的深度卷积神经网络得到，其中，深度卷积神经网络应按各自需求选取：
其中，pi为第i个提取到的区域判断为是人脸区域的概率；为第i个提取到的区域是否是人脸区域的标签，即如果是人脸，/>如果不是人脸，/>ti为所预测的人脸边界框的四维坐标向量；/>为真实标签人脸边界框的四维坐标向量；/>为FocalLoss损失函数；/>为smooth L1损失函数；/>为用于将/>回归损失函数对象限制在正样本的指示函数；Ncls和Nreg为各自正样本的总数；λ为权重平衡因子，用于平衡两种损失函数各自占有的权重；
S302、在所述人脸检测算法中，将采集到的当前帧的视频图像输入训练好的深度人脸检测模型中，进行人脸检测，若检测到人脸，则提取当前视频帧以进行后续操作；若未检测到人脸，抛弃当前帧，重新对下一帧视频图像进行人脸检测，直到找出图像中所有的人脸对应的位置并用脸部区域边界框框出；
S303、在所述人脸检测算法中，在视频图像上将人脸外接矩形可视化出来，并输出边界框在图像中的坐标；
所述步骤S4具体操作为：通过计算机程序自动对图像进行裁剪，保留检测到的人脸区域图像，抛弃非人脸区域图像；
所述步骤S5包括以下步骤：
S501、在所述人脸识别算法中，预先训练好的深度人脸识别模型通过如下损失函数训练选取的深度卷积神经网络得到，其中，深度卷积神经网络应按各自需求选取：
其中，f(x)为用于将输入的图片转化成d维特征向量的映射函数；为输入的裁剪好的人脸区域图片/>所对应的d维特征向量；/>为正样本，即与/>属于同一个体的人脸区域图片/>所对应的d维特征向量；/>为负样本，即与/>属于不同个体的人脸区域图片所对应的d维特征向量；α为稳定裕度；
S502、在所述人脸识别算法中，将裁剪后的人脸区域图像传入训练好的深度人脸识别模型中，提取出其特征向量；
S503、在所述人脸识别算法中，通过所述训练好的深度人脸识别模型，将提取到的特征向量与数据库中预存的特征模板计算匹配程度，当其与数据库中的一个特征模板的匹配程度大于设定阈值时，认为人脸匹配成功；若不存在与数据库中的一个特征模板的匹配程度大于设定阈值，认为人脸匹配失败；其中，设定阈值大小应按各自需求确定；
所述步骤S6包括以下步骤：
S601、将数据分析结果实时传送至监考员终端包括两种形式：
S601-1、以可视化视频图像形式，包括采集到的视频图像和场景中所有人员的脸部区域边界框；所述边界框显示规则为：如果人脸成功与数据库中人脸匹配，边界框为绿色，如果未能成功匹配，边界框为红色；
S601-2、以统计表形式，包括现场应到人数、现场实到人数、已到人员信息和未到人员信息；
S602、将数据分析结果存入考生考场数据库，数据分析结果包括考试时间、考试室号、考试科目、监考员姓名、现场应到人数、现场实到人数、已到人员信息、未到人员信息、有否未成功匹配人脸的人员；
S603、在考试开始后生成报表传输至教务管理中心，报表内容包括考试时间、试室号、考试科目、监考员姓名、现场应到人数、现场实到人数、已到人员信息、未到人员信息、有否未成功匹配人脸的人员。
2.一种用于实现权利要求1所述一种基于深度学习的非配合式考试人员管理方法的考试人员管理系统，其特征在于，考试人员管理系统包括视频图像采集模块、处理模块、数据分析与管理模块；
所述视频图像采集模块包括：视频图像采集、视频图像显示，完成视频图像的实时采集与显示；
所述处理模块包括：人脸检测、人脸识别，接收视频图像采集模块采集到的视频图像，完成对场景内所有人脸的实时检测和识别；
所述数据分析与管理模块包括：学生信息与人脸数据库、考生考场数据库、信息管理平台；
其中，学生信息与人脸数据库预先储存学生个人信息和人脸图像、特征模板；考生考场数据库储存并处理来自处理模块分析出的数据信息，在考试开始后生成报表并发送给教务管理中心；信息管理平台对学生信息与人脸数据库、考生考场数据库进行管理；
视频图像采集是通过安置在考场正前方顶部的高清广角摄像头实现的，需保证所述摄像头拍摄区域覆盖整个考场场景；
信息管理平台对学生信息与人脸数据库、考生考场数据库进行管理，同时控制权限；具体规则为：将使用者分为普通用户和管理员，根据身份分配不同账号，使用者用账号密码登陆进入本平台，进行各自权限内的操作；其中，普通用户可以查看自己的个人信息和人脸数据、修改平台登陆密码及查看自己的考试信息，包括已到场的场次和未到场的场次；管理员不仅可以进行以上操作，还可以录入、修改、删除学生的个人信息和人脸数据，查看、下载、传输过去每场考试的考生、考场信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910636993.4A CN110543811B (zh) | 2019-07-15 | 2019-07-15 | 一种基于深度学习的非配合式考试人员管理方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910636993.4A CN110543811B (zh) | 2019-07-15 | 2019-07-15 | 一种基于深度学习的非配合式考试人员管理方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110543811A CN110543811A (zh) | 2019-12-06 |
| CN110543811B true CN110543811B (zh) | 2024-03-08 |
Family
ID=68709898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910636993.4A Active CN110543811B (zh) | 2019-07-15 | 2019-07-15 | 一种基于深度学习的非配合式考试人员管理方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110543811B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111144275A (zh) * | 2019-12-24 | 2020-05-12 | 中石化第十建设有限公司 | 一种基于人脸识别的跑步智能测试系统及方法 |
| CN111460226A (zh) * | 2020-04-01 | 2020-07-28 | 山东云缦智能科技有限公司 | 一种基于深度学习的视频人物检索方法及检索系统 |
| CN111539313A (zh) * | 2020-04-21 | 2020-08-14 | 成都佳发安泰教育科技股份有限公司 | 考试作弊行为检测方法及系统 |
| CN113139413A (zh) * | 2020-08-07 | 2021-07-20 | 西安天和防务技术股份有限公司 | 人员管理方法、装置及电子设备 |
| CN112365235A (zh) * | 2020-11-12 | 2021-02-12 | 中建水务环保有限公司 | 一种班前讲话管理系统及管理方法 |
| CN114943922B (zh) * | 2022-06-02 | 2024-04-02 | 浙大城市学院 | 一种基于深度学习的机考可疑行为识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899579A (zh) * | 2015-06-29 | 2015-09-09 | 小米科技有限责任公司 | 人脸识别方法和装置 |
| US20160117944A1 (en) * | 2013-07-03 | 2016-04-28 | Qingdao University | System and Method for Evaluating Experiment Teaching Achievement |
| CN108319921A (zh) * | 2018-02-06 | 2018-07-24 | 高强 | 一种基于人脸识别的自动签到方法及系统 |
| CN109359689A (zh) * | 2018-10-19 | 2019-02-19 | 科大讯飞股份有限公司 | 一种数据识别方法及装置 |
| CN109472247A (zh) * | 2018-11-16 | 2019-03-15 | 西安电子科技大学 | 基于深度学习非配合式的人脸识别方法 |
| CN109977850A (zh) * | 2019-03-23 | 2019-07-05 | 西安电子科技大学 | 基于人脸识别的课堂姓名提示方法 |
-
2019
- 2019-07-15 CN CN201910636993.4A patent/CN110543811B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160117944A1 (en) * | 2013-07-03 | 2016-04-28 | Qingdao University | System and Method for Evaluating Experiment Teaching Achievement |
| CN104899579A (zh) * | 2015-06-29 | 2015-09-09 | 小米科技有限责任公司 | 人脸识别方法和装置 |
| CN108319921A (zh) * | 2018-02-06 | 2018-07-24 | 高强 | 一种基于人脸识别的自动签到方法及系统 |
| CN109359689A (zh) * | 2018-10-19 | 2019-02-19 | 科大讯飞股份有限公司 | 一种数据识别方法及装置 |
| CN109472247A (zh) * | 2018-11-16 | 2019-03-15 | 西安电子科技大学 | 基于深度学习非配合式的人脸识别方法 |
| CN109977850A (zh) * | 2019-03-23 | 2019-07-05 | 西安电子科技大学 | 基于人脸识别的课堂姓名提示方法 |
Non-Patent Citations (1)
| Title |
|---|
| 智能无人监考考试系统设计与研究;李川;《电脑知识与技术》;20181031;第30卷(第14期);第193-195页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110543811A (zh) | 2019-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110543811B (zh) | 一种基于深度学习的非配合式考试人员管理方法及其系统 | |
| CN111695392B (zh) | 基于级联的深层卷积神经网络的人脸识别方法及系统 | |
| Chakraborty et al. | Automatic student attendance system using face recognition | |
| CN109376637A (zh) | 基于视频监控图像处理的人数统计系统 | |
| CN105869085A (zh) | 一种成绩录入系统及图像处理的方法 | |
| CN114463828B (zh) | 基于人证统一的监考方法及系统、电子设备和存储介质 | |
| CN114677644A (zh) | 一种基于教室监控视频的学生入座分布识别方法及系统 | |
| CN112041852A (zh) | 对360度图像中的对象的神经网络标识 | |
| CN111898548A (zh) | 基于机器学习的访客身份认证方法、装置及计算机设备 | |
| CN117541442A (zh) | 教学考勤管理方法、装置、设备及存储介质 | |
| Gupta et al. | HaarCascade and LBPH Algorithms in Face Recognition Analysis | |
| CN111800428A (zh) | 一种数字会议参与实时统计方法及系统 | |
| Yadav et al. | In-browser attendance system using face recognition and serverless edge computing | |
| Gomathy et al. | Face recognition based student detail collection using opencv | |
| CN108564053A (zh) | 基于FaceNet的多摄像头动态人脸识别系统与方法 | |
| Verma et al. | Automated smart artificial intelligence-based proctoring system using deep learning | |
| CN106530199A (zh) | 基于窗口式假设检验的多媒体综合隐写分析方法 | |
| Alqudah et al. | Biometric-based smart attendance management system using face recognition and authentication | |
| Anveshini et al. | Face Recognition Technique based Student Attendance Management System | |
| Nabi et al. | A Comprehensive Face Recognition Solution for Attendance and Social Security System Using CNN | |
| CN112883876A (zh) | 室内行人检测的方法、装置、设备及计算机存储介质 | |
| Muhammad et al. | A generic face detection algorithm in electronic attendance system for educational institute | |
| Surasak et al. | Application of Deep Learning on Student Attendance Checking in Virtual Classroom | |
| Rathi et al. | Multi-Facial Automated Attendance System using Haar Cascade, LBPH, and OpenCV-Based Face Detection and Recognition | |
| CN116935493B (zh) | 一种教育管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |