CN112102129A - 一种基于学生端数据处理的智能考试作弊识别系统 - Google Patents

一种基于学生端数据处理的智能考试作弊识别系统 Download PDF

Info

Publication number
CN112102129A
CN112102129A CN202010992068.8A CN202010992068A CN112102129A CN 112102129 A CN112102129 A CN 112102129A CN 202010992068 A CN202010992068 A CN 202010992068A CN 112102129 A CN112102129 A CN 112102129A
Authority
CN
China
Prior art keywords
student
examination
subunit
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010992068.8A
Other languages
English (en)
Inventor
陈润彬
樊奕良
陈斗
许方园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Runbei Intelligent Environment Research Institute Co ltd
Original Assignee
Nanjing Runbei Intelligent Environment Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Runbei Intelligent Environment Research Institute Co ltd filed Critical Nanjing Runbei Intelligent Environment Research Institute Co ltd
Priority to CN202010992068.8A priority Critical patent/CN112102129A/zh
Publication of CN112102129A publication Critical patent/CN112102129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于学生端数据处理的智能考试作弊识别系统，该系统学生需要佩戴配有摄像头的眼镜采集学生视觉信息，屏幕摄像头采集学生脸部信息，麦克风采集环境音频信息，然后对采集到的信息数据进行判别处理。对具有发生作弊嫌疑的非正常事件数据，经过通信传输单元传输到监考管理端中进行非正常事件信息处理，把处理后的结果信息分别储存在监考管理端以及在学生端显示作弊事件的处理结果。与此同时采集学生视觉信息中的考试题目信息，根据维度分析需求，结合出题维度数据表对考生答题维度进行分析，从而得到题目难度维度关联分析结果。

Description

一种基于学生端数据处理的智能考试作弊识别系统
技术领域
本发明涉及图像识别领域，具体涉及一种基于学生端数据处理的智能考试作弊识别系统。
背景技术
随着互联网、大数据日益发展以及普遍大众，网上教育、网上考试已然成为了不可逆转的趋势。在今年我国疫情蔓延时期，网上教学、网上授课、网上考试已经成为教育部认可的教学方式之一。老师与学生通过上网信息交互进行网上授课学习，学生们打破空间约束，不用去学校就可以在家学习课堂上的内容，同时可以通过录制视频回顾教学内容，防止走神错过课堂关键信息；老师们打破了学生数量的约束，一个老师的授课学生数成倍数增长。因此网上授课使得了原有的教学模式发生改变，教学资源的调配得到了优化。
近年来，随着人工智能的迅速升温，人工智能结合互联网，视频监控等技术，实现各种现代化工作，提高生产过程可控性，减少人干预，提高工作效率等目的。目标检测算法是人工智计算机视觉中的一大方向，目标检测主要是通过提取待检测目标的多个样本不用尺度特征训练分类器，训练完成后在待检测图像上做滑动窗口搜索，判断扫描窗口区域是检测目标还是背景，最终输出图像中待检测目标额位置和区域。因此结合目标检测方法在线上实现考试作弊小抄具有一定的实用价值。
网上授课、网上考试也有不可避免的问题缺点，就是学生处于无人监管的状态，特别是在网上考试中，学生的无人监督成为了致命的缺点。目前大部分授课系统是通过对每个学生进行屏幕监视与摄像头监视，老师则通过观察学生的屏幕与摄像头信息判断学生的上课或考试状态。但由老师通过屏幕监视多个学生的考试行为状态所需处理的信息量巨大，并且人工监督容易走神或第三方的干扰，所以非常容易发生误判或漏判。
为了确保学生能自觉完成试题，降低老师对学生考试监管的重复劳动力，通过构建具有考试违规物品识别或违规操作功能的系统成为了需求。目前目标检测、物体识别的卷积神经网络有faster-rcnn、SSD等，并且技术较为成熟，在各个领域都得到了广泛的利用。同时目前没有一套通过收集学生在考场的答题情况对答题维度进行分析的试题优化的系统。
因此本发明设计一种在学生端处理考试行为信息的智能考试作弊识别系统。该系统通过采集学生单元信息，并进行数据处理，将处理后的结果与原视频通过通信传输单元发送给监考管理端进行分析判断考生是否有作弊行为，同时通过考生传来的视频数据答题情况进行考试题目维度分析，进而优化考试题目。
现有的网上考试监管系统大多数为教师需要通过观察考生的电脑屏幕与人脸摄像头进行考试的监督。以这种方式进行考试监管教师必须一直紧盯着屏幕，不能走神或被第三方干扰，因此教师在该考试监管进行考试监管时容易对考生的作弊行为发生误判或漏判，从而导致效率低下、劳动力浪费。并且为了在必要时提供作弊证据该系统需把所有考生的整个考试过程录制下来，这样会占用大量监考管理端系统的存储空间。同时大部分监考系统没有一套通过收集学生在考场的答题情况对答题维度进行分析的试题优化的系统。
发明内容
1.所要解决的技术问题：
针对上述技术问题，本发明提供一种基于学生端数据处理的智能考试作弊识别系统，该系统学生需要佩戴配有摄像头的眼镜采集学生视觉信息，屏幕摄像头采集学生脸部信息，麦克风采集环境音频信息，然后对采集到的信息数据进行判别处理。对具有发生作弊嫌疑的非正常事件数据，经过通信传输单元传输到监考管理端中进行非正常事件信息处理，把处理后的结果信息分别储存在监考管理端以及在学生端显示作弊事件的处理结果。与此同时采集学生视觉信息中的考试题目信息，根据维度分析需求，结合出题维度数据表对考生答题维度进行分析，从而得到题目难度维度关联分析结果。
2.技术方案：
一种基于学生端数据处理的智能考试作弊识别系统，包括若干个相互独立执行的学生端监考单元与监考管理单元；所述学生端监考单元与监考管理单元信息交互；所述学生端监考单元包括学生脸部视频采集子单元、学生视觉视频采集子单元、学生环境音频信号采集子单元、学生耳部音频信号采集子单元以及非正常考试时间分析判断单元；非正常考试时间分析判断单元分析采集子单元输出数据包的数据对学生行为进行判断，若该判断结果为正常考试事件则无后续动作；若判断结果为非正常考试事件则把学生端非正常事件输出数据包经过通信传输单元传到监考管理端处理单元；
学生脸部视频采集子单元包括电子设备自带或者安装于电子设备前端的屏幕摄像头，所述屏幕摄像头用于采集参与考试的学生的面部图像信号；学生视觉视频采集子单元包括安装于参与考试的学生佩戴的眼镜上的学生同眼式视频采集摄像头，所述学生同眼式视频采集摄像头用于采集学生考试时视觉视频信息；学生环境音频信号采集子单元包括安装于学生端的麦克风，所述麦克风用于采集学生端的环境音频数据；学生耳部音频信号采集子单元包括耳机，用于构成学生耳机屏蔽；
所述学生脸部视频采集子单元、学生视觉视频采集子单元、学生环境音频信号采集子单元、学生耳部音频信号采集子单元组成学生监考信息采集单元；考试深度分析子单元接收来自学生监考信息采集单元传输来的数据包，通过对应的数据识别子单元得到数据逻辑标识并记录证据数据；所述数据识别子单元包括学生脸部视频识别子单元、学生视觉视频识别子单元、学生环境音频信号识别子单元；根据识别的内容进行判断采集的信息是否存在为学生端非正常事件，并将辨别出的学生端非正常事件的数据发送至监考管理单元；
所述监考管理单元的监考管理端处理单元接收学生端非正常事件分析判断单元的输出数据，根据预设的权重对违规的信号进行计算得到考试作弊事件值，考试作弊事件值再与预设的触发考试作弊事件阈值进行比较，如果超出阈值范围即判定为作弊事件。
进一步地，所述监考管理单元还包括考试深度分析单元；学生视觉视频数据传输到考试深度分析单元；考试深度分析单元根据学生视觉视频采集子单元采集的视觉视频数据，使用文字识别模型分别对视频中的试题进行题目识别、题目答案提取，并且对考生的题目作答时间进行统计；然后通过答案智能判别单元对学生答题得分进行统计；最后将考生答题得分统计、考生答题时间统计、出题维度数据表与维度分析需求作为特征输入，对考生答题维度进行分析，得出题目难度关系分析结果。
进一步地，学生视觉视频识别子单元用于识别为了识别学生视觉视频中的违禁物品以及社交软件；其中违禁品包括违规使用纸质材料识别、违规使用电子设备；学生视觉视频识别子单元采用SSD神经网络进行目标检测识别，通过把学生视觉视频数据，传输到对违禁物品或社交软件的识别网络中，然后判断输出图片是否出现的违禁物品或社交软件，从而判断该考生是否出现违规行为。
进一步地，学生脸部视频识别子单元通过对屏幕摄像头采集的图像中的人脸位置进行定位、识别以及学生穿戴设备的识别；本过程中采用MT-CNN与Facenet模型进行人脸识别；经过人脸定位后再通过Facenet人脸识别与已知的学生人脸数据库进行比对从而进行身份认证；学生穿戴设备通过上述SSD模型对学生眼镜进行目标检测，计算眼镜与人脸的相对位置，从而判断学生是否有正常穿戴设备。
进一步地，学生环境音频信号采集子单元通过识别学生环境音频信号采集子单元采集的学生环境音频，对音频进行语音识别，判断语音中是否出现与考试相关的敏感关键词，如果现关键词则触发违规言语交流识别单元的逻辑标识符。
3.有益效果：
(1)本发明提出了一套新型线上智能考试作弊识别可行方案。相较于传统的老师一对多线上监考的防考试作弊识别系统，本发明提供了一套效率更高，误判率更低的智能考试作弊识别可行性方案。通过采集学生端信息，对学生端信息数据进行识别处理，然后把输出结果经过通信传输单元传送到监考管理单元进行事件分析。
(2)本发明提出了一套可运行的系统架构。本发明构建了识别计算位于学生端计算机的只能考试识别系统运行架构。该架构可替监考管理端分担大量视频识别处理的运算，在学生端采集学生端信息后直接在本地进行学生端非正常考试事件分析，然后再把输出结果经过通信传输单元传输到监考管理端。
(3)本发明提出优化考试试题的策略方法。本发明通过采集考生视觉视频数据，经过考试题目识别提取，题目答案提取、作答时间统计处理得到考生对试题作答情况信息。考生作答情况信息结合出题维度数据表、维度分析需求得出题目难度关系分析结果，为后续试题优化提供参考。
附图说明
图1为一种基于学生端数据处理的智能考试作弊识别系统的整体结构简图；
图2为一种基于学生端数据处理的智能考试作弊识别系统的数据信息传输示意图；
图3为一种基于学生端数据处理的智能考试作弊识别系统的学生端监考单元的结构示意图；
图4为本发明的非正常考试时间分析判断单元判断是否为非正常事件的流程图；
图5为本发明中的监考管理单元中的监考管理端处理单元的工作流程图；
图6为本发明中的考试深度分析单元的工作流程图；
图7为本发明的整体流程图。
具体实施方式
下面结合附图对本发明进行具体的说明。
如附图1至附图6所示，一种基于学生端数据处理的智能考试作弊识别系统，包括若干个相互独立执行的学生端监考单元与监考管理单元；所述学生端监考单元与监考管理单元信息交互；所述学生端监考单元包括学生脸部视频采集子单元、学生视觉视频采集子单元、学生环境音频信号采集子单元、学生耳部音频信号采集子单元以及非正常考试时间分析判断单元；非正常考试时间分析判断单元分析采集子单元输出数据包的数据对学生行为进行判断，若该判断结果为正常考试事件则无后续动作；若判断结果为非正常考试事件则把学生端非正常事件输出数据包经过通信传输单元传到监考管理端处理单元。
学生脸部视频采集子单元包括电子设备自带或者安装于电子设备前端的屏幕摄像头，所述屏幕摄像头用于采集参与考试的学生的面部图像信号；学生视觉视频采集子单元包括安装于参与考试的学生佩戴的眼镜上的学生同眼式视频采集摄像头，所述学生同眼式视频采集摄像头用于采集学生考试时视觉视频信息；学生环境音频信号采集子单元包括安装于学生端的麦克风，所述麦克风用于采集学生端的环境音频数据；学生耳部音频信号采集子单元包括耳机，用于构成学生耳机屏蔽。
所述学生脸部视频采集子单元、学生视觉视频采集子单元、学生环境音频信号采集子单元、学生耳部音频信号采集子单元组成学生监考信息采集单元；考试深度分析子单元接收来自学生监考信息采集单元传输来的数据包，通过对应的数据识别子单元得到数据逻辑标识并记录证据数据；所述数据识别子单元包括学生脸部视频识别子单元、学生视觉视频识别子单元、学生环境音频信号识别子单元；根据识别的内容进行判断采集的信息是否存在为学生端非正常事件，并将辨别出的学生端非正常事件的数据发送至监考管理单元；
所述监考管理单元的监考管理端处理单元接收学生端非正常事件分析判断单元的输出数据，根据预设的权重对违规的信号进行计算得到考试作弊事件值，考试作弊事件值再与预设的触发考试作弊事件阈值进行比较，如果超出阈值范围即判定为作弊事件。
进一步地，如附图6所示，所述监考管理单元还包括考试深度分析单元；学生视觉视频数据传输到考试深度分析单元，考试深度分析单元根据学生视觉视频采集子单元采集的视觉视频数据，使用文字识别模型分别对视频中的试题进行题目识别、题目答案提取，并且对考生的题目作答时间进行统计；然后通过答案智能判别单元对学生答题得分进行统计；最后将考生答题得分统计、考生答题时间统计、出题维度数据表与维度分析需求作为特征输入，对考生答题维度进行分析，得出题目难度关系分析结果。
进一步地，学生视觉视频识别子单元用于识别为了识别学生视觉视频中的违禁物品以及社交软件；其中违禁品包括违规使用纸质材料识别、违规使用电子设备；学生视觉视频识别子单元采用SSD神经网络进行目标检测识别，通过把学生视觉视频数据，传输到对违禁物品或社交软件的识别网络中，然后判断输出图片是否出现的违禁物品或社交软件，从而判断该考生是否出现违规行为。
进一步地，学生脸部视频识别子单元通过对屏幕摄像头采集的图像中的人脸位置进行定位、识别以及学生穿戴设备的识别；本过程中采用MT-CNN与Facenet模型进行人脸识别；经过人脸定位后再通过Facenet人脸识别与已知的学生人脸数据库进行比对从而进行身份认证；学生穿戴设备通过上述SSD模型对学生眼镜进行目标检测，计算眼镜与人脸的相对位置，从而判断学生是否有正常穿戴设备。
进一步地，学生环境音频信号采集子单元通过识别学生环境音频信号采集子单元采集的学生环境音频，对音频进行语音识别，判断语音中是否出现与考试相关的敏感关键词，如果现关键词则触发违规言语交流识别单元的逻辑标识符。
具体实施例：
如附图1所示，本发明多个学生端监考单元通过信息传输单元一监考管理单元连接，形成学生端与监考管理端多对一关系的智能考试作弊识别系统。各个学生端相互独立执行学生监考信息的采集与数据处理，并通过学生端非正常事件的分析判断得到学生端的数据分析结果，然后经过通信传输单元把学生视觉视频与学生端的非正常事件输出数据包传输到监考管理单元。其数据信息传递如附图2所示。
如附图3所示，学生端监考单元的学生监考信息采集单元为考试的外部设备，采集单元输出数据包则为通过外部设备采集的信息。屏幕摄像头构成学生脸部监视视频采集单元，采集学生脸部监视视频数据；学生佩戴配有摄像头的眼镜构成学生同眼式视频采集单元，采集学生视觉视频数据；麦克风构成学生环境音频采集单元，采集学生环境音频数据；耳机构成学生耳机屏蔽单元。最后把采集单元输出数据包作为本单元的输出分别存储到学生电脑、传输到学生端非正常考试时间分析判断单元，通过通信传输单元把学生视觉视频异步传输数据传输到考试深度分析单元。
在本发明中对学生端非正常考试事件分析具体流程如附图4所示，学生端非正常事件分析判断单元首先接受采集单元输出数据包信息然后通过各个识别单元得到数据逻辑标识并记录证据数据，然后通过判断是否全体事件逻辑标识为0，决定是否输出学生端非正常事件输出数据包。其中采集单元输出数据包分三组数据进行识别处理，分别为学生视觉数据处理、学生环境音频处理、学生脸部监视视频数据处理。具体识别过程为：
(1)视觉数据处理
视觉数据处理目的是为了识别学生视觉视频中的违禁物品或社交软件软件，比如违规使用手机、平板电脑、考试外书籍纸张或微信、QQ等社交软件。本发明采用SSD神经网络进行目标检测识别，通过学生视觉视频数据传输到网络最后输出图片中存在的违禁物体或出现社交软件。SSD采用VGG16作为基础模型，然后在VGG16的基础上新增了卷积层来获得更多的特征图以用于检测。同时SSD利用了多尺度的特征图做检测，在one-stage方法中保证速度情况下提高了识别精度。SSD的损失函数如公式X所示：
Figure BDA0002691183990000061
Figure BDA0002691183990000062
在公式(1)中Lconf表示置信度误差，Lloc表示位置误差，N是先验框的正样本数量，xp ij表示第i个先验框与第j个ground truth匹配情况，并且ground truth的类别为p，cp i表示第i个先验框类别为p的置信度，c0 i表示预测类别为背景。l为先验框的所对应边界框的位置预测值，而g是ground truth的位置参数。
(2)学生环境音频处理
采集学生环境音频，对音频进行语音识别，判断语音中是否出现与考试相关的敏感关键词。若出现关键词则触发违规言语交流识别单元的逻辑标识符。
(3)学生脸部监视视频数据处理
学生脸部监视视频数据处理需先对图像的人脸位置进行定位与识别以及学生穿戴设备的识别。本发明采用MT-CNN与Facenet模型进行人脸识别MT-CNN是基于深度学习的多任务人脸检测模型，该模型由三层级联架构的卷积神经网络与全连接层组成，可以实现对图像人脸进行检测定位。MT-CNN需要训练三个任务，分别为人脸的二分类，人脸框的回归以及人脸关键点定位。
二人脸分类任务的损失函数为：
Figure BDA0002691183990000071
公式(3)中pi表示为网络生成候选框为人脸的概率，
Figure BDA0002691183990000072
为真实标签。
人脸框回归任务的的损失函数为：
Figure BDA0002691183990000073
(4)式中
Figure BDA0002691183990000074
为通过网络预测得到坐标，
Figure BDA0002691183990000075
为真实背景坐标值。
人脸关键点定位任务的损失函数为
Figure BDA0002691183990000076
(5)式中
Figure BDA0002691183990000077
为通过网络预测得到的人脸关键点坐标，
Figure BDA0002691183990000078
则为真实的人脸关键点坐标。
由于MT-CNN为三层级联架构的卷积神经网络，因此训练过程需要最小化约束函数：
Figure BDA0002691183990000081
(6)式中N为训练样本数量，αj表示任务的重要性，
Figure BDA0002691183990000082
为样本的标签，
Figure BDA0002691183990000083
为上述的损失函数，usually the model usedαdet＝1,αbox＝0.5,αlandmark＝0.5in P-Net and R-Net,whileαdet＝1,αbox＝0.5,αlandmark＝0.5in O-Net.
经过人脸定位后再通过Facenet人脸识别与已知的学生人脸数据库进行比对从而进行身份认证。FaceNet的网络结构为Batch输入图片经过Inception结构的CNN模型，再经过L2归一化处理获得表示人脸区域信息的向量，最后模型结构的末端使用triplet loss来直接分类比较人脸数据库。
学生穿戴设备则通过上述SSD模型对学生眼镜进行目标检测，计算眼镜与人脸的相对位置，从而判断学生是否有正常穿戴设备。
如附图5所示为监考管理端处理单元的工作流程图，根据学生端非正常事件分析判断单元的输出数据包得出时间判断结果；即通过通过违规社交软件发生逻辑标识、违规使用纸质材料发生逻辑标识、违规语言交流发生逻辑标识、采集单元费征程穿戴发生标识进行权重计算，目的是为判断学生端的非正常事件是否构成触发考试作弊事件发生的阈值。如公式X所示
Figure BDA0002691183990000084
(7)式中ys、ws分别表示违规社交软件逻辑标识及其权重；yp、wp分别表示违规使用纸质材料发生逻辑标识及其权重；ye、we分别表示违规使用电子设备发生逻辑标识及其权重；yw、ww分别表示采集单元非正常穿戴发生逻辑标识及其权重，p表示触发考试作弊事件发生的阈值。
如附图6所示为考试深度分析单元的工作流程图，该单元通过采集学生的视觉视频数据，使用文字识别模型分别对视频中的试题进行题目识别、题目答案提取，并且对考生的题目作答时间进行统计。然后通过答案智能判别单元对学生答题得分进行统计。最后将考生答题得分统计、考生答题时间统计、出题维度数据表与维度分析需求作为特征输入，对考生答题维度进行分析，得出题目难度关系分析结果。
如附图7所示，本发明首先调用外部设备对学生端信息进行数据采集，然后把采集得到的信息数据进行信息数据识别处理得到学生端非正常考试输出数据包，再把非正常考试输出数据包传出到监考管理端中进行非正常考试输出数据包的判断，并把结果存储在监考管理端同时在学生端进行事件处理结果展示。另一方面把学生端信息数据采集得到的学生视觉视频数据与出题维度数据表、维度需求分析作为输入，进行考试难度分析。
虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (5)

1.一种基于学生端数据处理的智能考试作弊识别系统，其特征在于：包括若干个相互独立执行的学生端监考单元与监考管理单元；所述学生端监考单元均与监考管理单元信息交互；所述学生端监考单元包括学生脸部视频采集子单元、学生视觉视频采集子单元、学生环境音频信号采集子单元、学生耳部音频信号采集子单元以及非正常考试时间分析判断单元；非正常考试时间分析判断单元分析采集子单元输出数据包的数据对学生行为进行判断，若该判断结果为正常考试事件则无后续动作；若判断结果为非正常考试事件则把学生端非正常事件输出数据包经过通信传输单元传到监考管理端处理单元；
学生脸部视频采集子单元包括电子设备自带或者安装于电子设备前端的屏幕摄像头，所述屏幕摄像头用于采集参与考试的学生的面部图像信号；学生视觉视频采集子单元包括安装于参与考试的学生佩戴的眼镜上的学生同眼式视频采集摄像头，所述学生同眼式视频采集摄像头用于采集学生考试时视觉视频信息；学生环境音频信号采集子单元包括安装于学生端的麦克风，所述麦克风用于采集学生端的环境音频数据；学生耳部音频信号采集子单元包括耳机，用于构成学生耳机屏蔽；
所述学生脸部视频采集子单元、学生视觉视频采集子单元、学生环境音频信号采集子单元、学生耳部音频信号采集子单元组成学生监考信息采集单元；考试深度分析子单元接收来自学生监考信息采集单元传输来的数据包，通过对应的数据识别子单元得到数据逻辑标识并记录证据数据；所述数据识别子单元包括学生脸部视频识别子单元、学生视觉视频识别子单元、学生环境音频信号识别子单元；根据识别的内容进行判断采集的信息是否存在为学生端非正常事件，并将辨别出的学生端非正常事件的数据发送至监考管理单元；
所述监考管理单元的监考管理端处理单元接收学生端非正常事件分析判断单元的输出数据，根据预设的权重对违规的信号进行计算得到考试作弊事件值，考试作弊事件值再与预设的触发考试作弊事件阈值进行比较，如果超出阈值范围即判定为作弊事件。
2.根据权利要求1所述的一种基于学生端数据处理的智能考试作弊识别系统，其特征在于：所述监考管理单元还包括考试深度分析单元；学生视觉视频数据传输到考试深度分析单元；考试深度分析单元根据学生视觉视频采集子单元采集的视觉视频数据，使用文字识别模型分别对视频中的试题进行题目识别、题目答案提取，并且对考生的题目作答时间进行统计；然后通过答案智能判别单元对学生答题得分进行统计；最后将考生答题得分统计、考生答题时间统计、出题维度数据表与维度分析需求作为特征输入，对考生答题维度进行分析，得出题目难度关系分析结果。
3.根据权利要求1所述的一种基于学生端数据处理的智能考试作弊识别系统，其特征在于：学生视觉视频识别子单元用于识别为了识别学生视觉视频中的违禁物品以及社交软件；其中违禁品包括违规使用纸质材料识别、违规使用电子设备；学生视觉视频识别子单元采用SSD神经网络进行目标检测识别，通过把学生视觉视频数据，传输到对违禁物品或社交软件的识别网络中，然后判断输出图片是否出现的违禁物品或社交软件，从而判断该考生是否出现违规行为。
4.根据权利要求1所述的一种基于学生端数据处理的智能考试作弊识别系统，其特征在于：学生脸部视频识别子单元通过对屏幕摄像头采集的图像中的人脸位置进行定位、识别以及学生穿戴设备的识别；本过程中采用MT-CNN与Facenet模型进行人脸识别；经过人脸定位后再通过Facenet人脸识别与已知的学生人脸数据库进行比对从而进行身份认证；学生穿戴设备通过上述SSD模型对学生眼镜进行目标检测，计算眼镜与人脸的相对位置，从而判断学生是否有正常穿戴设备。
5.根据权利要求1所述的一种基于学生端数据处理的智能考试作弊识别系统，其特征在于：学生环境音频信号采集子单元通过识别学生环境音频信号采集子单元采集的学生环境音频，对音频进行语音识别，判断语音中是否出现与考试相关的敏感关键词，如果现关键词则触发违规言语交流识别单元的逻辑标识符。
CN202010992068.8A 2020-09-21 2020-09-21 一种基于学生端数据处理的智能考试作弊识别系统 Pending CN112102129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010992068.8A CN112102129A (zh) 2020-09-21 2020-09-21 一种基于学生端数据处理的智能考试作弊识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010992068.8A CN112102129A (zh) 2020-09-21 2020-09-21 一种基于学生端数据处理的智能考试作弊识别系统

Publications (1)

Publication Number Publication Date
CN112102129A true CN112102129A (zh) 2020-12-18

Family

ID=73760480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010992068.8A Pending CN112102129A (zh) 2020-09-21 2020-09-21 一种基于学生端数据处理的智能考试作弊识别系统

Country Status (1)

Country Link
CN (1) CN112102129A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686311A (zh) * 2020-12-30 2021-04-20 杭州电子科技大学 一种在线考试系统
CN113393347A (zh) * 2021-06-07 2021-09-14 武汉华工智云科技有限公司 一种在线考试防作弊的方法和装置
CN117058612A (zh) * 2023-07-20 2023-11-14 北京信诺软通信息技术有限公司 一种在线考试作弊识别方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106898178A (zh) * 2017-01-08 2017-06-27 广东工业大学 一种基于可穿戴设备的考试综合分析系统
CN108833375A (zh) * 2018-05-30 2018-11-16 广州爱易学智能信息科技有限公司 一种智能考试系统
CN108897423A (zh) * 2018-06-27 2018-11-27 武汉华工智云科技有限公司 一种vr眼镜及其在线考试防作弊方法
CN111382611A (zh) * 2018-12-28 2020-07-07 广州盈可视电子科技有限公司 一种考试现场实时监考综合管理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106898178A (zh) * 2017-01-08 2017-06-27 广东工业大学 一种基于可穿戴设备的考试综合分析系统
CN108833375A (zh) * 2018-05-30 2018-11-16 广州爱易学智能信息科技有限公司 一种智能考试系统
CN108897423A (zh) * 2018-06-27 2018-11-27 武汉华工智云科技有限公司 一种vr眼镜及其在线考试防作弊方法
CN111382611A (zh) * 2018-12-28 2020-07-07 广州盈可视电子科技有限公司 一种考试现场实时监考综合管理系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686311A (zh) * 2020-12-30 2021-04-20 杭州电子科技大学 一种在线考试系统
CN113393347A (zh) * 2021-06-07 2021-09-14 武汉华工智云科技有限公司 一种在线考试防作弊的方法和装置
CN117058612A (zh) * 2023-07-20 2023-11-14 北京信诺软通信息技术有限公司 一种在线考试作弊识别方法、电子设备及存储介质
CN117058612B (zh) * 2023-07-20 2024-03-29 北京信诺软通信息技术有限公司 一种在线考试作弊识别方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111046819B (zh) 一种行为识别处理方法及装置
CN112102129A (zh) 一种基于学生端数据处理的智能考试作弊识别系统
WO2019028592A1 (zh) 一种教学辅助方法及采用该方法的教学辅助系统
CN109359521A (zh) 基于深度学习的课堂质量双向评估系统
CN111726586A (zh) 一种生产体系操作规范监测提醒系统
CN111027865B (zh) 基于行为和表情识别的教学分析与质量评估系统及方法
Fu et al. University classroom attendance based on deep learning
CN110543811B (zh) 一种基于深度学习的非配合式考试人员管理方法及其系统
US20210294806A1 (en) Method for monitoring user behavior when interacting with content and a system for its implementation
CN110097283B (zh) 基于人脸识别的教学管理系统及方法
WO2021068781A1 (zh) 一种疲劳状态识别方法、装置和设备
CN115907507B (zh) 一种联合课堂场景的学生课堂行为检测和学情分析方法
CN111523445B (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN111666829A (zh) 多场景多主体身份行为情绪识别分析方法及智能监管系统
CN116050892A (zh) 一种基于人工智能的智能教育评价监督方法
CN112417974A (zh) 一种公共卫生监控方法
Chen et al. MDNN: Predicting Student Engagement via Gaze Direction and Facial Expression in Collaborative Learning.
CN112115870A (zh) 一种基于YOLOv3的考试作弊小抄识别方法
Huang et al. Research on learning state based on students’ attitude and emotion in class learning
CN115171042A (zh) 一种学生课堂行为的识别方法、装置、终端设备及介质
CN112885356B (zh) 一种基于声纹的语音识别方法
CN112597842B (zh) 基于人工智能的运动检测面瘫程度评估系统
CN114764580A (zh) 一种基于无穿戴设备的实时人体手势识别方法
CN110751062B (zh) 一种基于姿态投票的考生姿态序列生成方法
CN117391901B (zh) 一种援外人力资源培训管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination