CN113657300B - 一种基于ai人脸识别技术的在线考试防作弊实现方法 - Google Patents

一种基于ai人脸识别技术的在线考试防作弊实现方法 Download PDF

Info

Publication number
CN113657300B
CN113657300B CN202110960668.0A CN202110960668A CN113657300B CN 113657300 B CN113657300 B CN 113657300B CN 202110960668 A CN202110960668 A CN 202110960668A CN 113657300 B CN113657300 B CN 113657300B
Authority
CN
China
Prior art keywords
examinee
target
examination
frame
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110960668.0A
Other languages
English (en)
Other versions
CN113657300A (zh
Inventor
郭晓丹
刘全
李战军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingruan Innovation Technology Group Co ltd
Original Assignee
Qingruan Innovation Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingruan Innovation Technology Group Co ltd filed Critical Qingruan Innovation Technology Group Co ltd
Priority to CN202110960668.0A priority Critical patent/CN113657300B/zh
Publication of CN113657300A publication Critical patent/CN113657300A/zh
Application granted granted Critical
Publication of CN113657300B publication Critical patent/CN113657300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人脸识别技术领域,具体地说,涉及一种基于AI人脸识别技术的在线考试防作弊实现方法。包括搭建系统网络架构,获取考生信息、通过人脸识别校验考生身份、对全场考生进行摄像监考、对考生行为进行动态监测识别、对考生微表情进行检测识别、对考生状态进行判识,并对存在异常行为的考生进行提示干预、当考生存在作弊行为,则强制提交试卷等步骤。本发明设计可以准确地识别考生的身份,避免出现代考;可以快速定位考试中存在异常行为的考生,并通过考生的微表情中判识考生的行为状态,从而推断考生是否存在作弊行为,保证考试的公平公正;还可以减少组织监考的工作量,同时减少监考员的走动,避免影响考生的考试状态,以便考生更好发挥。

Description

一种基于AI人脸识别技术的在线考试防作弊实现方法
技术领域
本发明涉及人脸识别技术领域,具体地说,涉及一种基于AI人脸识别技术的在线考试防作弊实现方法。
背景技术
“线上考试”是通过网络进行考试的一种:随着网络的发展,考试的形式不局限于现场的实际考核或纸面考核,为了方便与节省时间、成本等,许多考核采用了线上发布、线上完成、线上考核等,其形式也多种多样,诸如采用APP或者插件小程序等形式。传统上,为了保障考试的公平,线上考试一般也会集中统一安排在固定考场内进行,也有部分考生可以通过网络进行远程的计算机线上考试。然而,不管哪种形式的考试,总存在一些或多或少、或轻或重的作弊行为,如代考、网查、小抄、互相抄袭等,在线上考试,尤其是非集中组织的线上考试中,实现防作弊是尤其需要克服的难关。考生在考试中,存在作弊或其他非正常行为时,一般都会表现出异常的行为动作,其面部表情也能够有效地反映出其精神状态。然而,目前却没有行之有效的在线考试防作弊的系统及方法。
发明内容
本发明的目的在于提供一种基于AI人脸识别技术的在线考试防作弊实现方法,以解决上述背景技术中提出的问题。
为实现上述技术问题的解决,本发明的目的之一在于,提供了一种基于AI人脸识别技术的在线考试防作弊实现方法,包括如下步骤:
S1、搭建在线考试防作弊的系统网络架构,连接考试信息管理平台,获取考生的实名信息,包括身份证信息、报考信息、照片等;
S2、考生进入考场时,通过人脸识别装置对考生的身份进行识别校验;
S3、考试全过程中,通过考场内的监控摄像头对全场考生进行摄像监考;
S4、基于监控视频,对全场考生进行行为动作的动态监测识别;
S5、考试全过程中,通过考生座位上的多屏微摄像头,对考生的微表情进行检测识别;
S6、结合动作监测和微表情检测结果,对考生的行为状态进行判识,并根据预设的方式对存在异常行为的考生进行提示干预,同时将异常情况进行上报,并记录在该考生的监控报告中;
S7、当考生出现的异常行为频次超过预设的阈值,或通过摄像监控确认识别出该考生存在作弊行为,则通过后台关闭该考生的考试界面,强制提交试卷,并在该考生信息及试卷上进行标记;
所述S7中,阈值算法表达式为:
f=nt-m
式中,f为超阈的值,nt为当前时刻考生出现的异常行为次数,m为预设的可允许出现的异常行为上限次数;
当f>1,则判断为超阈,可执行强制提交试卷的操作;当f小于等于0,则判断为未超阈,可执行对考生进行提示干预的操作。
作为本技术方案的进一步改进,所述S2中,通过人脸识别装置对考生的身份进行识别校验的方法包括如下步骤:
S2.1、通过人脸识别装置的摄像头,采集考生的动态视频,从视频中获取带有人脸的清洗图像;
S2.2、对图像中的人脸部分进行检测,进行人脸对齐、活体检测处理;
S2.3、经处理后提取考生的人脸特征,并与预先获取及存储在信息管理平台数据库内的考生人脸特征进行对比;
S2.4、人脸特征对比出结果,确认考生的身份,并输出识别结果,对确认身份的考生作出并执行准入指令。
作为本技术方案的进一步改进,所述S4中,对全场考生进行行为动作的动态监测识别的方法包括如下步骤:
S4.1、获取同一摄像头监控视频中不同时间点的若干图像,对获取的图像进行预处理,使图像增强;
S4.2、合成同一画面间隔一定时间的多帧图像组合;
S4.3、将上述多帧图像组合导入YOLO算法模型,通过YOLO算法进行目标检测;
S4.4、通过YOLO算法初始化YCF算法跟踪窗口,并通过KCF算法进行考生目标跟踪;
S4.5、将KCF算法预测的目标位置与YOLO算法目标检测位置在x轴方向上的数值进行比较,通过二者的比值偏移误差率OER来判断目标是否发生偏移;
S4.6、若目标位置发生偏移,则利用此时YOLO算法检测位置作为观测值,若目标未发生偏移,则以KCF算法计算值作为观测值;
S4.7、若目标丢失,则返回步骤S4.4,通过YOLO算法再次进行初始化来重新实现目标跟踪;
S4.8、在图像上更新检测的目标位置,并输出视频中考生运动的跟踪结果;
S4.9、在监控大屏上,通过有色线框标记存在较大行为动作的考生,并通过人脸识别技术确认考生的身份。
作为本技术方案的进一步改进,所述S4.3中,通过YOLO算法进行目标检测的方法包括如下步骤:
S4.3.1、将输入的多帧图像组合划分为S*S的网格,同时通过卷积运算获取特征图;
S4.3.2、分别检测每个网格中是否存在目标,若否,则直接结束检测;若是,则获取目标类型和目标边框;
S4.3.3、获取目标边框的五维参数值,并计算目标类的置信度;
S4.3.4、使用两个全连接层将多维数据拉伸成为一维向量,并通过统一的方式对该向量进行解码并在原图像中绘制出检测结果。
作为本技术方案的进一步改进,所述S4.3.3中,置信度的计算表达式如下:
C=Pr(Obiect)*IoU;
式中,Pr(Obiect)表示网格目标边框中目标存在的可能性,Obiect代表目标对象,IoU用于展示当前模型预测到的目标边框位置的准确性,其表达式为:
其中,box(pre)表示预测的目标边框,box(true)表示真实目标边框。
作为本技术方案的进一步改进,所述S4.4中,通过KCF算法进行考生目标跟踪的方法包括如下步骤:
S4.4.1、先在追踪过程中训练一个目标检测器,使用所需的目标检测器去检测下一帧视频图像来预测该位置是否为所需的目标,再使用新的检测结果去更新训练集;
S4.4.2、在当前帧选取与前一帧目标所在位置的目标区域坐标,提取基本候选样本,建立目标区域模型;
S4.4.3、将目标区域作为正样本、周围不包括目标的区域视为负样本;
S4.4.4、将选定的目标区域和周围区域的循环矩阵进行水平、垂直的循环移位来产生大量的样本,实现目标检测器的训练,依此来进行目标跟踪。
其中,所述S4.4.1中,训练目标检测器的计算表达式如下:
设训练样本集为(xi,yi),则其线性回归函数如下所示:
f(xi)=wTxi
其中,w代表列向量的权重系数,为了降低损失函数,优化算法,进而采用最小二乘法来求解:
minwi(f(xi)-yi)2+λ‖w‖2
其矩阵形式为:
minw‖Xw-y‖2+λ‖w‖2
其中,上式称为脊回归,λ‖w‖2是最小化风险参数,又称为惩罚项,λ是正则化参数,可以防止过拟合,计算权值w,求解公式如下:
w=(XTX+λI)-1XTy;
其中,行向量矩阵表示为X=[x1,x2,x3,x4,...,xn]T,y表示回归值,yi是列向量,因考虑到傅立叶变化中有负数的存在,所以要计算复数矩阵,则将上式转化为复数形式如下:
其中,X的共轭复数转置矩阵为XH
作为本技术方案的进一步改进,所述S4.5中,偏移误差率OER的计算表达式如下:
OER=x/kx;
其中,x为YOLO算法目标检测的目标位置(x,y)在x轴方向上的坐标值,kx为KCF算法预测的目标位置(kx,ky)在x轴方向上的坐标值,OER为两种算法在x轴方向上的比值。
其中,利用KCF算法跟踪目标,通过OER判断是否发生偏移或丢失目标现象,若OER≥β,其中β为偏移阈值,则认为目标跟踪发生偏移,在判断出目标发生偏移后,将此时的YOLO算法目标边框赋值KCF算法重新跟踪;若OER<β,则认为此时目标被跟踪,用KCF算法继续跟踪;若OER=0,此时KCF算法丢失目标,则通过YOLO算法对KCF算法再次进行初始化来再次实现目标跟踪。
其中,YOLO算法与KCF算法联合,可以有效提高目标跟踪的准确率和鲁棒性,且在视频摄像头发生偏转时,也能有效识别并跟踪目标。
作为本技术方案的进一步改进,所述S5中,对考生的微表情进行检测识别的方法包括如下步骤:
S5.1、通过摄像头获取考生的面部表情变化视频,从视频中获取每一帧的静态图像,并筛除模糊的图像信息;
S5.2、将考生的面部表情图像转换为灰度图像,并进行灰度图像的直方图均衡化操作;
S5.3、使用Viola-Jones人脸探测器来定位每一帧的面部区域,通过提取响应块和低维投影,计算出一组初始特征点;
S5.4、采用DRMF的方法对面部区域进行划分,并准确定位面部区域的68个特征点;
S5.5、对图形序列进行预处理,将图像分解为结构部分和纹理部分,对纹理部分进行光流场计算处理;
S5.6、采用光流场计算方式,通过检测两个图像帧之间不断变化的像素强度来推断考生面部表情的运动变化;
S5.7、对图像序列中面部区域的旋转及转化动作进行修正,并在每个分块中计算HOOF特征;
S5.8、对计算结果进行标准化处理,得到归一化后的微表情视频剪辑MDMO特征向量,实现微表情的检测与判识。
作为本技术方案的进一步改进,所述S5.6中,光流场的计算公式为:
I(x,y,t)=I(x+Δx,y+Δy,z+Δt);
其中,(x,y,t)为一个像素的定位,像素变化强度为I(x,y,t),Δx、Δy、Δt分别为像素定位(x,y,t)在两帧之间的移动量。
作为本技术方案的进一步改进,所述S6中,对考生的行为状态进行判识,并根据预设的方法对存在异常行为的考生进行提示干预的方法包括如下步骤:
S6.1、结合行为追踪和考生微表情变化,通过考生的头部动作、手部动作、面部朝向及眼神朝向,确保考生看向考卷并处于认真答题的状态,则监考系统不作反应;
S6.2、若考生头部不动,则通过眼睛开度、嘴唇开度及眨眼频率,判断考生是否处在走神或瞌睡状态,并在屏幕上弹出黄色闪动的提示弹框,计量考生关闭弹窗的反应时间来进一步判识考生状态,并给考场监考员发出前往该考生位置进行查看确认的指令;
S6.3、若考生头部不动,则通过考生的面部朝向、低头角度、眼神朝向及手部动作,判断考生是否在桌下进行小动作,并在屏幕上弹出红色闪动的警告弹框,持续监测弹框后考生的微表情变化,并给考场监考员发出前往该考生位置进行查看确认的指令;
S6.4、若考生头部大幅度转动,则通过考生转头方向、幅度及频率,来判断考生是否处在活动颈椎的状态,并在屏幕上弹出黄色闪动的提示考生注意行为的弹框,后续持续监测;
S6.5、若考生头部动作,则通过考生的转头方向、幅度、频率、眼神朝向及停留时间,判断考生是否存在东张西望的状态,并在屏幕上弹出黄色闪动的警示弹框,持续监测考生后续的动作及微表情;
S6.6、若考生手部动作且动作被判定为非答题状态,则通过考生的面部朝向、眼神朝向,判断考生是否处在非正常动作,并在屏幕上弹出红色闪动的警告弹框,持续监测考生后续动作,并给考场监考员发出前往该考生位置进行查看确认的指令;
S6.7、当管理员从监控大屏中发现考生存在非正常答题的行为,则根据考生动作异常的程度在该考生的答题屏幕上弹出黄色/红色闪动的弹框,持续监测弹框后考生的微表情变化,并给考场监考员发出前往该考生位置进行查看确认的指令。
本发明的目的之二在于,提供了一种基于AI人脸识别技术的在线考试防作弊系统及其运行装置,包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序,处理器用于执行计算机程序时实现上述任一的基于AI人脸识别技术的在线考试防作弊实现方法的步骤。
本发明的目的之三在于,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一的基于AI人脸识别技术的在线考试防作弊实现方法的步骤。
与现有技术相比,本发明的有益效果:
1.该基于AI人脸识别技术的在线考试防作弊实现方法通过智能的AI人脸识别技术,可以快速且准确地识别考生的身份,确保考生亲自考试,避免出现代考;
2.该基于AI人脸识别技术的在线考试防作弊实现方法通过基于视频的行为动作追踪识别,结合人脸识别,可以快速定位考试中存在异常行为的考生并确定其身份,并通过对考生的微表情进行实时检测分析,从考生的微表情中判识考生的行为状态,从而推断考生是否存在作弊行为,保证考试的公平公正;
3.该基于AI人脸识别技术的在线考试防作弊实现方法还可以减少组织监考的工作量,减少监考员人数,同时减少监考员在考场内的走动,避免影响考生的考试状态,减轻考生的心理压力,以便考生更好发挥。
附图说明
图1为本发明的示例性产品架构框图;
图2为本发明的整体方法流程图;
图3为本发明的局部方法流程图之一;
图4为本发明的局部方法流程图之二;
图5为本发明的局部方法流程图之三;
图6为本发明的局部方法流程图之四;
图7为本发明的局部方法流程图之五;
图8为本发明的局部方法流程图之六。
图中:
1、考场;11、考场监控摄像头;12、考试用计算机;13、独立监控摄像头;14、监考员;15、移动通讯终端;2、交换器;3、总控处理器;4、存储云;5、人脸识别装置;6、总控大屏;7、管理员7。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1-图8所示,本实施例的目的在于,提供了一种基于AI人脸识别技术的在线考试防作弊实现方法,包括如下步骤:
S1、搭建在线考试防作弊的系统网络架构,连接考试信息管理平台,获取考生的实名信息,包括身份证信息、报考信息、照片等;
S2、考生进入考场时,通过人脸识别装置对考生的身份进行识别校验;
S3、考试全过程中,通过考场内的监控摄像头对全场考生进行摄像监考;
S4、基于监控视频,对全场考生进行行为动作的动态监测识别;
S5、考试全过程中,通过考生座位上的多屏微摄像头,对考生的微表情进行检测识别;
S6、结合动作监测和微表情检测结果,对考生的行为状态进行判识,并根据预设的方式对存在异常行为的考生进行提示干预,同时将异常情况进行上报,并记录在该考生的监控报告中;
S7、当考生出现的异常行为频次超过预设的阈值,或通过摄像监控确认识别出该考生存在作弊行为,则通过后台关闭该考生的考试界面,强制提交试卷,并在该考生信息及试卷上进行标记;
S7中,阈值算法表达式为:
f=nt-m
式中,f为超阈的值,nt为当前时刻考生出现的异常行为次数,m为预设的可允许出现的异常行为上限次数;
当f>1,则判断为超阈,可执行强制提交试卷的操作;当f小于等于0,则判断为未超阈,可执行对考生进行提示干预的操作。
本实施例中,S2中,通过人脸识别装置对考生的身份进行识别校验的方法包括如下步骤:
S2.1、通过人脸识别装置的摄像头,采集考生的动态视频,从视频中获取带有人脸的清洗图像;
S2.2、对图像中的人脸部分进行检测,进行人脸对齐、活体检测处理;
S2.3、经处理后提取考生的人脸特征,并与预先获取及存储在信息管理平台数据库内的考生人脸特征进行对比;
S2.4、人脸特征对比出结果,确认考生的身份,并输出识别结果,对确认身份的考生作出并执行准入指令。
本实施例中,S4中,对全场考生进行行为动作的动态监测识别的方法包括如下步骤:
S4.1、获取同一摄像头监控视频中不同时间点的若干图像,对获取的图像进行预处理,使图像增强;
S4.2、合成同一画面间隔一定时间的多帧图像组合;
S4.3、将上述多帧图像组合导入YOLO算法模型,通过YOLO算法进行目标检测;
S4.4、通过YOLO算法初始化YCF算法跟踪窗口,并通过KCF算法进行考生目标跟踪;
S4.5、将KCF算法预测的目标位置与YOLO算法目标检测位置在x轴方向上的数值进行比较,通过二者的比值偏移误差率OER来判断目标是否发生偏移;
S4.6、若目标位置发生偏移,则利用此时YOLO算法检测位置作为观测值,若目标未发生偏移,则以KCF算法计算值作为观测值;
S4.7、若目标丢失,则返回步骤S4.4,通过YOLO算法再次进行初始化来重新实现目标跟踪;
S4.8、在图像上更新检测的目标位置,并输出视频中考生运动的跟踪结果;
S4.9、在监控大屏上,通过有色线框标记存在较大行为动作的考生,并通过人脸识别技术确认考生的身份。
进一步地,S4.3中,通过YOLO算法进行目标检测的方法包括如下步骤:
S4.3.1、将输入的多帧图像组合划分为S*S的网格,同时通过卷积运算获取特征图;
S4.3.2、分别检测每个网格中是否存在目标,若否,则直接结束检测;若是,则获取目标类型和目标边框;
S4.3.3、获取目标边框的五维参数值,并计算目标类的置信度;
S4.3.4、使用两个全连接层将多维数据拉伸成为一维向量,并通过统一的方式对该向量进行解码并在原图像中绘制出检测结果。
具体地,S4.3.3中,置信度的计算表达式如下:
C=Pr(Obiect)*IoU;
式中,Pr(Obiect)表示网格目标边框中目标存在的可能性,Obiect代表目标对象,IoU用于展示当前模型预测到的目标边框位置的准确性,其表达式为:
其中,box(pre)表示预测的目标边框,box(true)表示真实目标边框。
进一步地,S4.4中,通过KCF算法进行考生目标跟踪的方法包括如下步骤:
S4.4.1、先在追踪过程中训练一个目标检测器,使用所需的目标检测器去检测下一帧视频图像来预测该位置是否为所需的目标,再使用新的检测结果去更新训练集;
S4.4.2、在当前帧选取与前一帧目标所在位置的目标区域坐标,提取基本候选样本,建立目标区域模型;
S4.4.3、将目标区域作为正样本、周围不包括目标的区域视为负样本;
S4.4.4、将选定的目标区域和周围区域的循环矩阵进行水平、垂直的循环移位来产生大量的样本,实现目标检测器的训练,依此来进行目标跟踪。
其中,S4.4.1中,训练目标检测器的计算表达式如下:
设训练样本集为(xi,yi),则其线性回归函数如下所示:
f(xi)=wTxi
其中,w代表列向量的权重系数,为了降低损失函数,优化算法,进而采用最小二乘法来求解:
minwi(f(xi)-yi)2+λ‖w‖2
其矩阵形式为:
minw‖Xw-y‖2+λ‖w‖2
其中,上式称为脊回归,λ‖w‖2是最小化风险参数,又称为惩罚项,λ是正则化参数,可以防止过拟合,计算权值w,求解公式如下:
w=(XTX+λI)-1XTy;
其中,行向量矩阵表示为X=[x1,x2,x3,x4,...,xn]T,y表示回归值,yi是列向量,因考虑到傅立叶变化中有负数的存在,所以要计算复数矩阵,则将上式转化为复数形式如下:
其中,X的共轭复数转置矩阵为XH
进一步地,S4.5中,偏移误差率OER的计算表达式如下:
OER=x/kx;
其中,x为YOLO算法目标检测的目标位置(x,y)在x轴方向上的坐标值,kx为KCF算法预测的目标位置(kx,ky)在x轴方向上的坐标值,OER为两种算法在x轴方向上的比值。
其中,利用KCF算法跟踪目标,通过OER判断是否发生偏移或丢失目标现象,若OER≥β,其中β为偏移阈值,则认为目标跟踪发生偏移,在判断出目标发生偏移后,将此时的YOLO算法目标边框赋值KCF算法重新跟踪;若OER<β,则认为此时目标被跟踪,用KCF算法继续跟踪;若OER=0,此时KCF算法丢失目标,则通过YOLO算法对KCF算法再次进行初始化来再次实现目标跟踪。
其中,YOLO算法与KCF算法联合,可以有效提高目标跟踪的准确率和鲁棒性,且在视频摄像头发生偏转时,也能有效识别并跟踪目标。
本实施例中,S5中,对考生的微表情进行检测识别的方法包括如下步骤:
S5.1、通过摄像头获取考生的面部表情变化视频,从视频中获取每一帧的静态图像,并筛除模糊的图像信息;
S5.2、将考生的面部表情图像转换为灰度图像,并进行灰度图像的直方图均衡化操作;
S5.3、使用Viola-Jones人脸探测器来定位每一帧的面部区域,通过提取响应块和低维投影,计算出一组初始特征点;
S5.4、采用DRMF的方法对面部区域进行划分,并准确定位面部区域的68个特征点;
S5.5、对图形序列进行预处理,将图像分解为结构部分和纹理部分,对纹理部分进行光流场计算处理;
S5.6、采用光流场计算方式,通过检测两个图像帧之间不断变化的像素强度来推断考生面部表情的运动变化;
S5.7、对图像序列中面部区域的旋转及转化动作进行修正,并在每个分块中计算HOOF特征;
S5.8、对计算结果进行标准化处理,得到归一化后的微表情视频剪辑MDMO特征向量,实现微表情的检测与判识。
具体地,S5.6中,光流场的计算公式为:
I(x,y,t)=I(x+Δx,y+Δy,z+Δt);
其中,(x,y,t)为一个像素的定位,像素变化强度为I(x,y,t),Δx、Δy、Δt分别为像素定位(x,y,t)在两帧之间的移动量。
本实施例中,S6中,对考生的行为状态进行判识,并根据预设的方法对存在异常行为的考生进行提示干预的方法包括如下步骤:
S6.1、结合行为追踪和考生微表情变化,通过考生的头部动作、手部动作、面部朝向及眼神朝向,确保考生看向考卷并处于认真答题的状态,则监考系统不作反应;
S6.2、若考生头部不动,则通过眼睛开度、嘴唇开度及眨眼频率,判断考生是否处在走神或瞌睡状态,并在屏幕上弹出黄色闪动的提示弹框,计量考生关闭弹窗的反应时间来进一步判识考生状态,并给考场监考员发出前往该考生位置进行查看确认的指令;
S6.3、若考生头部不动,则通过考生的面部朝向、低头角度、眼神朝向及手部动作,判断考生是否在桌下进行小动作,并在屏幕上弹出红色闪动的警告弹框,持续监测弹框后考生的微表情变化,并给考场监考员发出前往该考生位置进行查看确认的指令;
S6.4、若考生头部大幅度转动,则通过考生转头方向、幅度及频率,来判断考生是否处在活动颈椎的状态,并在屏幕上弹出黄色闪动的提示考生注意行为的弹框,后续持续监测;
S6.5、若考生头部动作,则通过考生的转头方向、幅度、频率、眼神朝向及停留时间,判断考生是否存在东张西望的状态,并在屏幕上弹出黄色闪动的警示弹框,持续监测考生后续的动作及微表情;
S6.6、若考生手部动作且动作被判定为非答题状态,则通过考生的面部朝向、眼神朝向,判断考生是否处在非正常动作,并在屏幕上弹出红色闪动的警告弹框,持续监测考生后续动作,并给考场监考员发出前往该考生位置进行查看确认的指令;
S6.7、当管理员从监控大屏中发现考生存在非正常答题的行为,则根据考生动作异常的程度在该考生的答题屏幕上弹出黄色/红色闪动的弹框,持续监测弹框后考生的微表情变化,并给考场监考员发出前往该考生位置进行查看确认的指令。
其中,S6中,各种警示干预的方法,均以提示弹框为主,尽量不使用声音提示,避免引起其他考生的注意,也避免影响其他考生的考试状态。
如图1所示,本实施例还提供了一种基于AI人脸识别技术的在线考试防作弊实现方法的示例性产品架构图,包括若干考场1,考场1内规则分布有至少一个考场监控摄像头11,考场1内的若干考场监控摄像头11需完全覆盖所有考生的座位,考场1内规则布设有若干考试用计算机12,考试用计算机12上配备有独立监控摄像头13,考场1内还应配备有监考员14,监控员14携带移动通讯终端15,考场监控摄像头11、独立监控摄像头13均通过交换器2连接到总控处理器3上,考试用计算机12、移动通讯终端15均与总控处理器3通讯连接,总控处理器3外通讯连接有存储云4,存储云4连接线上考试平台并获取存储有所有考生的信息,总控处理器3通讯连接有人脸识别装置5,总控处理器3外还通讯连接有总控大屏6,管理员7可通过总控大屏6进行远程的监考管理。
其中,上述产品架构应用于集中组织的考试场所中。
本实施例中,若考生通过计算机进行独立的远程线上考试,则考场监控摄像头11更换为独立的可通讯的摄像终端,如手机、平板、笔记本计算机等;独立监控摄像头13采用考试用计算机12自带的摄像头或外置摄像头;取消监控员14及移动通讯终端15;人脸识别装置5更换为线上的人脸识别应用平台,考生入场步骤改为线上考试界面准入程序。
本实施例还提供了一种基于AI人脸识别技术的在线考试防作弊系统及其运行装置,该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
处理器包括一个或一个以上处理核心,处理器通过总线与存储器相连,存储器用于存储程序指令,处理器执行存储器中的程序指令时实现上述的基于AI人脸识别技术的在线考试防作弊实现方法。
可选的,存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随时存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
此外,本发明还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述的基于AI人脸识别技术的在线考试防作弊实现方法的步骤。
可选的,本发明还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面基于AI人脸识别技术的在线考试防作弊实现方法的步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,程序可以存储与计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的仅为本发明的优选例,并不用来限制本发明,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于AI人脸识别技术的在线考试防作弊实现方法,其特征在于:包括如下步骤:
S1、搭建在线考试防作弊的系统网络架构,连接考试信息管理平台,获取考生的实名信息,包括身份证信息、报考信息、照片;
S2、考生进入考场时,通过人脸识别装置对考生的身份进行识别校验;
S3、考试全过程中,通过考场内的监控摄像头对全场考生进行摄像监考;
S4、基于监控视频,对全场考生进行行为动作的动态监测识别;具体包括:
S4.1、获取同一摄像头监控视频中不同时间点的若干图像,对获取的图像进行预处理,使图像增强;
S4.2、合成同一画面间隔一定时间的多帧图像组合;
S4.3、将上述多帧图像组合导入YOLO算法模型,通过YOLO算法进行目标检测;其中,通过YOLO算法进行目标检测的方法包括如下步骤:
S4.3.1、将输入的多帧图像组合划分为S*S的网格,同时通过卷积运算获取特征图;
S4.3.2、分别检测每个网格中是否存在目标,若否,则直接结束检测;若是,则获取目标类型和目标边框;
S4.3.3、获取目标边框的五维参数值,并计算目标类的置信度;
S4.3.4、使用两个全连接层将多维数据拉伸成为一维向量,并通过统一的方式对该向量进行解码并在原图像中绘制出检测结果;
S4.4、通过YOLO算法初始化YCF算法跟踪窗口,并通过KCF算法进行考生目标跟踪;
S4.5、将KCF算法预测的目标位置与YOLO算法目标检测位置在x轴方向上的数值进行比较,通过二者的比值偏移误差率OER来判断目标是否发生偏移;
S4.6、若目标位置发生偏移,则利用此时YOLO算法检测位置作为观测值,若目标未发生偏移,则以KCF算法计算值作为观测值;
S4.7、若目标丢失,则返回步骤S4.4,通过YOLO算法再次进行初始化来重新实现目标跟踪;
S4.8、在图像上更新检测的目标位置,并输出视频中考生运动的跟踪结果;
S4.9、在监控大屏上,通过有色线框标记存在较大行为动作的考生,并通过人脸识别技术确认考生的身份;
S5、考试全过程中,通过考生座位上的多屏微摄像头,对考生的微表情进行检测识别;具体包括:
S5.1、通过摄像头获取考生的面部表情变化视频,从视频中获取每一帧的静态图像,并筛除模糊的图像信息;
S5.2、将考生的面部表情图像转换为灰度图像,并进行灰度图像的直方图均衡化操作;
S5.3、使用Viola-Jones人脸探测器来定位每一帧的面部区域,通过提取响应块和低维投影,计算出一组初始特征点;
S5.4、采用DRMF的方法对面部区域进行划分,并准确定位面部区域的68个特征点;
S5.5、对图形序列进行预处理,将图像分解为结构部分和纹理部分,对纹理部分进行光流场计算处理;
S5.6、采用光流场计算方式,通过检测两个图像帧之间不断变化的像素强度来推断考生面部表情的运动变化;
S5.7、对图像序列中面部区域的旋转及转化动作进行修正,并在每个分块中计算HOOF特征;
S5.8、对计算结果进行标准化处理,得到归一化后的微表情视频剪辑MDMO特征向量,实现微表情的检测与判识;
S6、结合动作监测和微表情检测结果,对考生的行为状态进行判识,并根据预设的方式对存在异常行为的考生进行提示干预,同时将异常情况进行上报,并记录在该考生的监控报告中;
S7、当考生出现的异常行为频次超过预设的阈值,或通过摄像监控确认识别出该考生存在作弊行为,则通过后台关闭该考生的考试界面,强制提交试卷,并在该考生信息及试卷上进行标记;
所述S7中,阈值算法表达式为:
f=nt-m
式中,f为超阈的值,nt为当前时刻考生出现的异常行为次数,m为预设的可允许出现的异常行为上限次数;
当f>1,则判断为超阈,可执行强制提交试卷的操作;当f小于等于0,则判断为未超阈,可执行对考生进行提示干预的操作。
2.根据权利要求1所述的基于AI人脸识别技术的在线考试防作弊实现方法,其特征在于:所述S2中,通过人脸识别装置对考生的身份进行识别校验的方法包括如下步骤:
S2.1、通过人脸识别装置的摄像头,采集考生的动态视频,从视频中获取带有人脸的清洗图像;
S2.2、对图像中的人脸部分进行检测,进行人脸对齐、活体检测处理;
S2.3、经处理后提取考生的人脸特征,并与预先获取及存储在信息管理平台数据库内的考生人脸特征进行对比;
S2.4、人脸特征对比出结果,确认考生的身份,并输出识别结果,对确认身份的考生作出并执行准入指令。
3.根据权利要求1所述的基于AI人脸识别技术的在线考试防作弊实现方法,其特征在于:所述S4.3.3中,置信度的计算表达式如下:
C=Pr(Obiect)*IoU;
式中,Pr(Obiect)表示网格目标边框中目标存在的可能性,Obiect代表目标对象,IoU用于展示当前模型预测到的目标边框位置的准确性,其表达式为:
其中,box(pre)表示预测的目标边框,box(true)表示真实目标边框。
4.根据权利要求1所述的基于AI人脸识别技术的在线考试防作弊实现方法,其特征在于:所述S4.4中,通过KCF算法进行考生目标跟踪的方法包括如下步骤:
S4.4.1、先在追踪过程中训练一个目标检测器,使用所需的目标检测器去检测下一帧视频图像来预测该位置是否为所需的目标,再使用新的检测结果去更新训练集;
S4.4.2、在当前帧选取与前一帧目标所在位置的目标区域坐标,提取基本候选样本,建立目标区域模型;
S4.4.3、将目标区域作为正样本、周围不包括目标的区域视为负样本;
S4.4.4、将选定的目标区域和周围区域的循环矩阵进行水平、垂直的循环移位来产生大量的样本,实现目标检测器的训练,依此来进行目标跟踪。
5.根据权利要求1所述的基于AI人脸识别技术的在线考试防作弊实现方法,其特征在于:所述S4.5中,偏移误差率OER的计算表达式如下:
OER=x/kx;
其中,x为YOLO算法目标检测的目标位置(x,y)在x轴方向上的坐标值,kx为KCF算法预测的目标位置(kx,ky)在x轴方向上的坐标值,OER为两种算法在x轴方向上的比值。
6.根据权利要求1所述的基于AI人脸识别技术的在线考试防作弊实现方法,其特征在于:所述S5.6中,光流场的计算公式为:
I(x,y,t)=I(x+Δx,y+Δy,z+Δt);
其中,(x,y,t)为一个像素的定位,像素变化强度为I(x,y,t),Δx、Δy、Δt分别为像素定位(x,y,t)在两帧之间的移动量。
7.根据权利要求1所述的基于AI人脸识别技术的在线考试防作弊实现方法,其特征在于:所述S6中,对考生的行为状态进行判识,并根据预设的方法对存在异常行为的考生进行提示干预的方法包括如下步骤:
S6.1、结合行为追踪和考生微表情变化,通过考生的头部动作、手部动作、面部朝向及眼神朝向,确保考生看向考卷并处于认真答题的状态,则监考系统不作反应;
S6.2、若考生头部不动,则通过眼睛开度、嘴唇开度及眨眼频率,判断考生是否处在走神或瞌睡状态,并在屏幕上弹出黄色闪动的提示弹框,计量考生关闭弹窗的反应时间来进一步判识考生状态,并给考场监考员发出前往该考生位置进行查看确认的指令;
S6.3、若考生头部不动,则通过考生的面部朝向、低头角度、眼神朝向及手部动作,判断考生是否在桌下进行小动作,并在屏幕上弹出红色闪动的警告弹框,持续监测弹框后考生的微表情变化,并给考场监考员发出前往该考生位置进行查看确认的指令;
S6.4、若考生头部大幅度转动,则通过考生转头方向、幅度及频率,来判断考生是否处在活动颈椎的状态,并在屏幕上弹出黄色闪动的提示考生注意行为的弹框,后续持续监测;
S6.5、若考生头部动作,则通过考生的转头方向、幅度、频率、眼神朝向及停留时间,判断考生是否存在东张西望的状态,并在屏幕上弹出黄色闪动的警示弹框,持续监测考生后续的动作及微表情;
S6.6、若考生手部动作且动作被判定为非答题状态,则通过考生的面部朝向、眼神朝向,判断考生是否处在非正常动作,并在屏幕上弹出红色闪动的警告弹框,持续监测考生后续动作,并给考场监考员发出前往该考生位置进行查看确认的指令;
S6.7、当管理员从监控大屏中发现考生存在非正常答题的行为,则根据考生动作异常的程度在该考生的答题屏幕上弹出黄色/红色闪动的弹框,持续监测弹框后考生的微表情变化,并给考场监考员发出前往该考生位置进行查看确认的指令。
CN202110960668.0A 2021-08-20 2021-08-20 一种基于ai人脸识别技术的在线考试防作弊实现方法 Active CN113657300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110960668.0A CN113657300B (zh) 2021-08-20 2021-08-20 一种基于ai人脸识别技术的在线考试防作弊实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110960668.0A CN113657300B (zh) 2021-08-20 2021-08-20 一种基于ai人脸识别技术的在线考试防作弊实现方法

Publications (2)

Publication Number Publication Date
CN113657300A CN113657300A (zh) 2021-11-16
CN113657300B true CN113657300B (zh) 2024-05-07

Family

ID=78480561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110960668.0A Active CN113657300B (zh) 2021-08-20 2021-08-20 一种基于ai人脸识别技术的在线考试防作弊实现方法

Country Status (1)

Country Link
CN (1) CN113657300B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766888A (zh) * 2021-01-08 2021-05-07 尹晓东 基于大数据互联网的工程项目现场招投标智能管理系统及云管理平台
CN114463828B (zh) * 2022-04-13 2022-07-19 武汉博晟安全技术股份有限公司 基于人证统一的监考方法及系统、电子设备和存储介质
CN115146243B (zh) * 2022-07-08 2023-09-15 北京布局未来教育科技有限公司 一种基于数据分析的线上vr考试考生信息核对管理系统
JP7445239B1 (ja) 2023-04-27 2024-03-07 アースアイズ株式会社 試験監視システム、及び、試験監視方法
CN116894978B (zh) * 2023-07-18 2024-03-29 中国矿业大学 一种融合面部情绪与行为多特征的线上考试防作弊系统
CN116664086A (zh) * 2023-08-01 2023-08-29 安徽博诺思信息科技有限公司 一种基于人脸识别技术的线上考试管理系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100119914A (ko) * 2009-05-04 2010-11-12 신중철 웹캠을 이용한 온라인평가 응시자의 진정성 확보 방법 및 시스템
WO2017117788A1 (zh) * 2016-01-07 2017-07-13 汤美 一种考试防作弊系统
WO2017120711A1 (zh) * 2016-01-11 2017-07-20 汤美 一种考试防作弊系统
KR101765770B1 (ko) * 2016-02-29 2017-08-07 손부경 영상 처리를 이용한 온라인 시험의 부정행위 검출 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체
KR20170106736A (ko) * 2016-03-14 2017-09-22 이기곤 스마트 기기를 활용한 시험·감독의 방법 및 절차와 전용 답안지 제작
CN109961000A (zh) * 2018-10-22 2019-07-02 大连艾米移动科技有限公司 一种智能考场防作弊系统
CN111353921A (zh) * 2019-08-19 2020-06-30 深圳市鸿合创新信息技术有限责任公司 一种考试管理方法及系统、电子设备
CN112036299A (zh) * 2020-08-31 2020-12-04 山东科技大学 标准考场环境下的考试作弊行为检测方法及系统
CN112149553A (zh) * 2020-09-21 2020-12-29 西安工程大学 一种考试作弊行为识别方法
CN112633189A (zh) * 2020-12-28 2021-04-09 北京弘远博学科技有限公司 防止考试作弊的方法、装置、电子设备及计算机可读介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100119914A (ko) * 2009-05-04 2010-11-12 신중철 웹캠을 이용한 온라인평가 응시자의 진정성 확보 방법 및 시스템
WO2017117788A1 (zh) * 2016-01-07 2017-07-13 汤美 一种考试防作弊系统
WO2017120711A1 (zh) * 2016-01-11 2017-07-20 汤美 一种考试防作弊系统
KR101765770B1 (ko) * 2016-02-29 2017-08-07 손부경 영상 처리를 이용한 온라인 시험의 부정행위 검출 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체
KR20170106736A (ko) * 2016-03-14 2017-09-22 이기곤 스마트 기기를 활용한 시험·감독의 방법 및 절차와 전용 답안지 제작
CN109961000A (zh) * 2018-10-22 2019-07-02 大连艾米移动科技有限公司 一种智能考场防作弊系统
CN111353921A (zh) * 2019-08-19 2020-06-30 深圳市鸿合创新信息技术有限责任公司 一种考试管理方法及系统、电子设备
CN112036299A (zh) * 2020-08-31 2020-12-04 山东科技大学 标准考场环境下的考试作弊行为检测方法及系统
CN112149553A (zh) * 2020-09-21 2020-12-29 西安工程大学 一种考试作弊行为识别方法
CN112633189A (zh) * 2020-12-28 2021-04-09 北京弘远博学科技有限公司 防止考试作弊的方法、装置、电子设备及计算机可读介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
人脸识别技术在考试系统中的应用研究;关德君;;电脑知识与技术;20200715(20);全文 *
考生异常行为识别技术研究;李凌;;淮北职业技术学院学报;20170615(03);全文 *

Also Published As

Publication number Publication date
CN113657300A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113657300B (zh) 一种基于ai人脸识别技术的在线考试防作弊实现方法
Soukupova et al. Eye blink detection using facial landmarks
WO2019184125A1 (zh) 基于微表情的风险识别方法、装置、设备及介质
US10936882B2 (en) People flow estimation device, display control device, people flow estimation method, and recording medium
Jayant et al. Attendance management system using hybrid face recognition techniques
Lim et al. Automated classroom monitoring with connected visioning system
WO2018219180A1 (zh) 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
Gowsikhaa et al. Suspicious Human Activity Detection from Surveillance Videos.
CN110223322B (zh) 图像识别方法、装置、计算机设备和存储介质
CN108222749B (zh) 一种基于图像分析的智能自动门控制方法
WO2011102416A1 (ja) 移動物体追跡システムおよび移動物体追跡方法
US9892315B2 (en) Systems and methods for detection of behavior correlated with outside distractions in examinations
CN109492595B (zh) 适用于固定群体的行为预测方法和系统
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN108573499A (zh) 一种基于尺度自适应和遮挡检测的视觉目标跟踪方法
JP2012059224A (ja) 移動物体追跡システムおよび移動物体追跡方法
CN112149615A (zh) 人脸活体检测方法、装置、介质及电子设备
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
CN113158913A (zh) 一种人脸口罩佩戴识别方法、系统及终端
CN112733802A (zh) 图像的遮挡检测方法、装置、电子设备及存储介质
Ezzahout et al. Conception and development of a video surveillance system for detecting, tracking and profile analysis of a person
CN112163470A (zh) 基于深度学习的疲劳状态识别方法、系统、存储介质
CN116313103A (zh) 疼痛识别模型的训练方法、疼痛识别方法、装置和介质
CN110458198A (zh) 多分辨率目标识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant