CN112036299A - 标准考场环境下的考试作弊行为检测方法及系统 - Google Patents

标准考场环境下的考试作弊行为检测方法及系统 Download PDF

Info

Publication number
CN112036299A
CN112036299A CN202010893771.3A CN202010893771A CN112036299A CN 112036299 A CN112036299 A CN 112036299A CN 202010893771 A CN202010893771 A CN 202010893771A CN 112036299 A CN112036299 A CN 112036299A
Authority
CN
China
Prior art keywords
examinee
image
examination
head
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010893771.3A
Other languages
English (en)
Other versions
CN112036299B (zh
Inventor
李孟晓
王保栋
孙农亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202010893771.3A priority Critical patent/CN112036299B/zh
Publication of CN112036299A publication Critical patent/CN112036299A/zh
Application granted granted Critical
Publication of CN112036299B publication Critical patent/CN112036299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Psychiatry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种标准考场环境下的考试作弊行为检测方法及系统，方法包括以下步骤：获取标准考场的考场背景图像，并对标准考场中考生进行实时监控；将实时监控的每一帧图像与考场背景图像进行背景差分处理获得掩模图像，并在掩模图像中确定考生所在的候选区域；在考试开始之前获取考生正坐面签图像，利用预训练的卷积神经网络对考生所在的候选区域进行人脸检测和识别，确认每个考生身份；定位每个考生的人体关键部位，得到考生的肢体常规活动范围；根据考试过程中考生头部和手部的运动状态进行判定其是否存在作弊行为。本发明提高了监控系统的利用效率，能够有效减少考试作弊行为，大幅减轻人工监考负担。

Description

标准考场环境下的考试作弊行为检测方法及系统
技术领域
本发明涉及一种标准考场环境下的考试作弊行为检测方法及系统，属于人工智能和计算机视觉技术领域。
背景技术
计算机技术和监控技术已经广泛应用于人类社会的各个领域，在中小学、高校、技术院校等各类教育机构，教室已普遍安装监控系统，成为日常安防、考试监考的重要工具。目前，监控系统主要起影像记录的作用，要想得到有用的信息，需要大量人员观看并筛选监控视频。近年来，随着人工智能热潮的兴起，模式识别和计算机视觉技术发展迅速，“智慧校园”成为当下流行的热点，监控系统的智能化是其亟待解决的关键技术之一。
监控系统在考试监考中发挥着极其重要的作用。就目前的实际应用情况而言，考场中的监控系统只能起记录考试过程的作用，监考工作主要还是通过人工的方式，监控系统的利用效率较低。为了实现考试作弊行为的智能检测，针对线上考试和线下考试两种不同方式，人们做了相应的研究。
对于线上考试，每个考生使用一台设备，通常一台设备连接一个监控摄像头，很容易得到考生的正面清晰图像。由此，大多数方法首先利用正面人脸图像进行人脸识别，确认考生身份；进而根据屏幕前人脸是否变化来判断是否存在擅自离场、替考或多人考试等作弊行为。针对其他作弊行为，2017年戴承耕在《视线检测在考试监控系统中的研究与应用》中提出一种基于视线检测的考生异常行为检测方法；2019年胡森博在《基于视频的在线考试作弊行为检测方法的研究》中提出一种结合头部姿态、屏幕注视点估计及嘴部状态识别的作弊行为检测方法。这些方法对于在线考试中的作弊行为有一定的检测效果。
对于线下考试，通常一个考场只设置一个或两个监控摄像头，摄像头视野大，考生在图像中所占尺寸较小，与线上考试得到的图像有很大不同。2014年段秀娟在《智能化考试状态识别监控方法研究与仿真》中提出了一种利用傅里叶系数归一化方法提取考试状态特征，再利用聚类RBF神经网络算法对考试状态进行识别，根据人体轮廓的形变判断考生是否存在作弊行为的方法；同年，刘鸾在《基于图像分析的考场视频监视系统分析与研究》中提出一种基于高斯混合背景建模法与肤色分割定位相结合的作弊行为检测方法，定位考生的脸及双手，根据这些关键部位的运动情况判别作弊嫌疑行为；2019年冯超等人在《基于OpenPose的作弊动作辅助识别方法及系统》的专利(申请号为201910122838.0)中提出一种基于OpenPose计算考生实时肢体角度的作弊动作辅助识别方法。可见，对于线下考试中的作弊行为智能检测，存在以下技术问题：(1)图像分析受环境影响大，光照条件变化时，检测效果难以保证；(2)考试作弊行为复杂，类型多样，难以对每一种作弊行为分别进行检测。
发明内容
为了解决上述问题，本发明提出了一种标准考场环境下的考试作弊行为检测方法及系统，能够有效减少考试作弊行为，大幅减轻人工监考负担。
本发明解决其技术问题采取的技术方案是：
第一方面，本发明实施例提供的一种标准考场环境下的考试作弊行为检测方法，包括以下步骤：
获取标准考场的考场背景图像，并对标准考场中考生进行实时监控；
将实时监控的每一帧图像与考场背景图像进行背景差分处理获得掩模图像，并将掩模图像中不为0的区域所对应的监控视频中的每一帧图像的区域作为考生所在的候选区域；
在考试开始之前获取考生正坐面签图像，利用预训练的卷积神经网络对考生所在的候选区域进行人脸检测和识别，确认每个考生身份；
定位每个考生的人体关键部位，得到考生的肢体常规活动范围；
根据考试过程中每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态，并根据考生的肢体是否超出常规活动范围判定其是否存在作弊行为。
作为本实施例一种可能的实现方式，所述标准考场是指光照稳定、室内光线不受外界天气影响和不随时间变化，且设有一个能够获取覆盖全部考生座位监控画面的广角监控摄像头的考场。
作为本实施例一种可能的实现方式，所述广角监控摄像头设置在标准考场的前方屋顶正中央处。
作为本实施例一种可能的实现方式，获取标准考场的考场背景图像的过程为：
在标准考场空场情况下采集一组多帧图像序列；
计算背景图像和每个像素位置的标准差：
Figure BDA0002657400840000031
Figure BDA0002657400840000032
其中，B(m,n)是背景图像，fi(m,n)是第i帧图像，共K1帧图像参与平均，σ(m,n)是背景图像中像素位置(m,n)的标准差。
作为本实施例一种可能的实现方式，所述图像序列时长为20至60秒之间。
作为本实施例一种可能的实现方式，将实时监控的每一帧图像与考场背景图像进行背景差分处理获得掩模图像的过程具体为：
将实时监控的每一帧图像逐帧与考场背景图像进行比较获得掩模图像δj(m,n)，比较公式如下：
Figure BDA0002657400840000041
其中，gj(m,n)是第j帧图像，B(m,n)是背景图像，T(m,n)为阈值。
作为本实施例一种可能的实现方式，定位每个考生的人体关键部位，得到考生的肢体常规活动范围的过程为：
对考试正式开始后N分钟内的实时监控图像根据AlphaPose获得第j帧图像中第s个考生头部位置
Figure BDA0002657400840000042
左手位置
Figure BDA0002657400840000043
和右手位置
Figure BDA0002657400840000044
计算每个考生头部、左手和右手的活动范围：
Figure BDA0002657400840000045
Figure BDA0002657400840000046
Figure BDA0002657400840000047
Figure BDA0002657400840000048
Figure BDA0002657400840000049
Figure BDA00026574008400000410
其中，K2是考试正式开始后N分钟内参与头部、手部位置统计的图像帧数；
Figure BDA00026574008400000411
分别表示第s个考生头部、左手、右手的平均位置；
Figure BDA00026574008400000412
和
Figure BDA00026574008400000413
和
Figure BDA00026574008400000414
和
Figure BDA00026574008400000415
分别表示第s个考生头部、左手、右手的水平方向和垂直方向的标准差，即常规活动范围。
作为本实施例一种可能的实现方式，确定考生头部和手部的运动状态，并根据考生的肢体是否超出常规活动范围判定其是否存在作弊行为的过程为：
根据考试正式开始N分钟之后每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态；
如果考生头部偏离常规活动范围超过一定程度，即当
Figure BDA0002657400840000051
或
Figure BDA0002657400840000052
时，则认为该考生出现疑似作弊行为，向监考人员发送提示警报；
如果考生左手或右手偏离常规活动范围超过一定程度，即：
当左手
Figure BDA0002657400840000053
或
Figure BDA0002657400840000054
时，或者，右手
Figure BDA0002657400840000055
或
Figure BDA0002657400840000056
时，则认为该考生出现疑似作弊行为，向监考人员发送提示警报；
所述α和β为系数。
作为本实施例一种可能的实现方式，所述预训练的卷积神经网络具有一个输入层、三个卷积层与池化层、一个全连接层、一个输出层；其中卷积层卷积核大小为(3,3)，步长为1；池化层采用最大值采样，采样大小为2*2；全连接层神经元个数为512。
第二方面，本发明实施例提供的一种标准考场环境下的考试作弊行为检测系统，包括：
实时监控模块，用于获取标准考场的考场背景图像，并对标准考场中考生进行实时监控；
差分处理模块，用于将实时监控的每一帧图像与考场背景图像进行背景差分处理获得掩模图像，并将掩模图像中不为0的区域所对应的监控视频中的每一帧图像的区域作为考生所在的候选区域；
考生身份确认模块，用于在考试开始之前获取考生正坐面签图像，利用预训练的卷积神经网络对考生所在的候选区域进行人脸检测和识别，确认每个考生身份；
常规活动范围获取模块，用于定位每个考生的人体关键部位，得到考生的肢体常规活动范围；
作弊行为判断模块，用于根据考试过程中每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态，并根据考生的肢体是否超出常规活动范围判定其是否存在作弊行为。
作为本实施例一种可能的实现方式，所述常规活动范围获取模块包括：
关键部位获取模块，用于对考试正式开始后N分钟内的实时监控图像根据AlphaPose获得第j帧图像中第s个考生头部位置、左手位置和右手位置；
活动范围计算模块，用于计算每个考生头部、左手和右手的活动范围。
作为本实施例一种可能的实现方式，所述作弊行为判断模块包括：
运动状态获取模块，用于根据考试正式开始N分钟之后每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态；
作弊行为判定模块，用于根据以下规则判定考生是否存在作弊行为：
如果考生头部偏离常规活动范围超过一定程度，则认为该考生出现疑似作弊行为，向监考人员发送提示警报；
如果考生左手或右手偏离常规活动范围超过一定程度，则认为该考生出现疑似作弊行为，向监考人员发送提示警报。
本发明实施例的技术方案可以具有的有益效果如下：
本发明首先是为了避免光照条件的改变对作弊行为检测的影响，采用了标准考场；在此基础上，提出了一种基于视频监控的考试作弊行为检测的普适性方法，即根据作弊行为的共性，通过检测考生关键部位的异常运动来识别考试作弊行为，涉及两个基本判断：(1)在背景差分获得考生所在区域的基础上，通过人脸检测和识别确认考生身份；(2)根据考生头部和手部的位置及运动状态，判定是否存在作弊行为。本发明改变了目前监控系统只能起影像记录作用的现状，提高了监控系统的利用效率，能够有效减少考试作弊行为，大幅减轻人工监考负担。
附图说明：
图1是根据一示例性实施例示出的一种标准考场环境下的考试作弊行为检测方法的流程图；
图2为一种标准考场中广角监控摄像头的安装示意图；
图3为考生正常考试状态示意图(虚线为头部和手部的常规活动范围)；
图4为考生手部偏离常规活动范围的疑似作弊行为示意图；
图5是根据一示例性实施例示出的一种标准考场环境下的考试作弊行为检测系统的结构图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明：
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
图1是根据一示例性实施例示出的标准考场环境下的考试作弊行为检测方法的流程图。如图1所示，本发明实施例提供的一种标准考场环境下的考试作弊行为检测方法，包括以下步骤：
1、获取标准考场的考场背景图像，并对标准考场中考生进行实时监控。
标准考场环境，是指考场光照稳定，室内光线不受外界天气影响、不随时间变化；在考场中设有一个广角监控摄像头，位于考场前方屋顶正中央，如图2所示，能够监控画面覆盖全部座位。
背景图像的获得方法如下：
在标准考场空场情况下采集一组多帧图像序列，所述图像序列时长为20至60秒之间；
计算背景图像和每个像素位置(m,n)处的灰度变化标准差σ(m,n)：
Figure BDA0002657400840000081
Figure BDA0002657400840000082
其中，B(m,n)是背景图像，fi(m,n)是第i帧图像，共K1帧图像参与平均，σ(m,n)是背景图像中像素位置(m,n)的灰度值标准差。
2、将实时监控的每一帧图像与考场背景图像进行背景差分处理获得掩模图像，并将掩模图像中不为0的区域所对应的监控视频中的每一帧图像的区域作为考生所在的候选区域。
标准考场环境避免了光照条件改变的影响，因此利用背景差分法容易获得考生所在区域。将上述获得的监控视频中的每一帧图像与背景图像进行背景差分，获得掩模图像，掩模图像中不为0的区域所对应的监控视频中的每一帧图像的区域为考生所在的候选区域。
利用背景差分来获得掩模图像δj(m,n)，具体方法是将监控视频中的每一帧图像与背景图像逐帧进行比较，比较方法如下：
Figure BDA0002657400840000083
其中，gj(m,n)是第j帧图像；阈值T(m,n)与像素位置有关，通常取对应像素位置标准差σ(m,n)的1-3倍，本发明取T(m,n)＝2σ(m,n)。
3、在考试开始之前对考生所在的候选区域进行人脸检测和识别，确认每个考生身份。
在考试开始前1分钟，要求考生正坐面签，即利用预训练的卷积神经网络对于前述候选区域进行人脸检测和识别。由于考生座位是固定的，一个座位对应一个考生，因此只要判断候选区域中是否存在人脸，并判别其身份，再与该座位安排考生的身份比对，就可以判定是否存在替考行为。
所述预训练的卷积神经网络具有一个输入层、三个卷积层与池化层、一个全连接层、一个输出层；其中卷积层卷积核大小为(3,3)，步长为1；池化层采用最大值采样，采样大小为2*2；全连接层神经元个数为512。
4、定位每个考生的人体关键部位，得到考生的肢体常规活动范围。
考试正式开始后的前10分钟，考生作弊的可能性较小。在此时间段内，统计每个考生头部和手部的常规活动范围，具体方法如下：
对考试正式开始后10分钟内的实时监控图像根据AlphaPose获得第j帧图像中第s个考生头部位置
Figure BDA0002657400840000091
左手位置
Figure BDA0002657400840000092
和右手位置
Figure BDA0002657400840000093
计算每个考生头部、左手和右手的活动范围：
Figure BDA0002657400840000094
Figure BDA0002657400840000095
Figure BDA0002657400840000096
Figure BDA0002657400840000097
Figure BDA0002657400840000101
Figure BDA0002657400840000102
其中，K2是考试正式开始后10分钟内参与头部、手部位置统计的图像帧数；
Figure BDA0002657400840000103
分别表示第s个考生头部、左手、右手的平均位置；
Figure BDA0002657400840000104
和
Figure BDA0002657400840000105
和
Figure BDA0002657400840000106
和
Figure BDA0002657400840000107
分别表示第s个考生头部、左手、右手的水平方向和垂直方向的标准差，即常规活动范围，如图3所示。
5、根据考试过程中每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态，并根据考生的肢体是否超出常规活动范围判定其是否存在作弊行为。
根据考试正式开始10分钟之后每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态；
如果考生头部偏离常规活动范围超过一定程度，即当
Figure BDA0002657400840000108
或
Figure BDA0002657400840000109
时，则认为该考生出现疑似作弊行为，向监考人员发送提示警报；
如果考生左手或右手偏离常规活动范围超过一定程度，即：
当左手
Figure BDA00026574008400001010
或
Figure BDA00026574008400001011
时，或者，右手
Figure BDA00026574008400001012
如图4所示，或
Figure BDA00026574008400001013
时，则认为该考生出现疑似作弊行为，向监考人员发送提示警报；
所述α和β为系数，取α＝3，β＝2。
考试正式开始10分钟之后，开始进行作弊行为的检测，依照作弊行为判别规则，判定其是否存在作弊行为。
图5是根据一示例性实施例示出的一种标准考场环境下的考试作弊行为检测系统的结构图。如图5所示，本发明实施例提供的一种标准考场环境下的考试作弊行为检测系统，包括：
实时监控模块，用于获取标准考场的考场背景图像，并对标准考场中考生进行实时监控；
差分处理模块，用于将实时监控的每一帧图像与考场背景图像进行背景差分处理获得掩模图像，并将掩模图像中不为0的区域所对应的监控视频中的每一帧图像的区域作为考生所在的候选区域；
考生身份确认模块，用于在考试开始之前获取考生正坐面签图像，利用预训练的卷积神经网络对考生所在的候选区域进行人脸检测和识别，确认每个考生身份；
常规活动范围获取模块，用于定位每个考生的人体关键部位，得到考生的肢体常规活动范围；
作弊行为判断模块，用于根据考试过程中每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态，并根据考生的肢体是否超出常规活动范围判定其是否存在作弊行为。
作为本实施例一种可能的实现方式，所述标准考场是指光照稳定、室内光线不受外界天气影响和不随时间变化，且设有一个能够获取覆盖全部考生座位监控画面的广角监控摄像头的考场。所述广角监控摄像头设置在标准考场的前方屋顶正中央处。
作为本实施例一种可能的实现方式，获取标准考场的考场背景图像的过程为：
在标准考场空场情况下采集一组多帧图像序列；所述图像序列时长为20至60秒之间。
计算背景图像和每个像素位置的标准差：
Figure BDA0002657400840000121
Figure BDA0002657400840000122
其中，B(m,n)是背景图像，fi(m,n)是第i帧图像，共K1帧图像参与平均，σ(m,n)是背景图像中像素位置的标准差。
作为本实施例一种可能的实现方式，将实时监控的每一帧图像与考场背景图像进行背景差分处理获得掩模图像的过程具体为：
将实时监控的每一帧图像逐帧与考场背景图像进行比较获得掩模图像δj(m,n)，比较公式如下：
Figure BDA0002657400840000123
其中，gj(m,n)是第j帧图像，B(m,n)是背景图像，T(m,n)为阈值。
作为本实施例一种可能的实现方式，所述预训练的卷积神经网络具有一个输入层、三个卷积层与池化层、一个全连接层、一个输出层；其中卷积层卷积核大小为(3,3)，步长为1；池化层采用最大值采样，采样大小为2*2；全连接层神经元个数为512。
作为本实施例一种可能的实现方式，所述常规活动范围获取模块包括：
关键部位获取模块，用于对考试正式开始后10分钟内的实时监控图像根据AlphaPose获得第j帧图像中第s个考生头部位置
Figure BDA0002657400840000124
左手位置
Figure BDA0002657400840000125
和右手位置
Figure BDA0002657400840000126
活动范围计算模块，用于计算每个考生头部、左手和右手的活动范围：
Figure BDA0002657400840000127
Figure BDA0002657400840000131
Figure BDA0002657400840000132
Figure BDA0002657400840000133
Figure BDA0002657400840000134
Figure BDA0002657400840000135
其中，K2是考试正式开始后N分钟内参与头部、手部位置统计的图像帧数；
Figure BDA0002657400840000136
分别表示第s个考生头部、左手、右手的平均位置；
Figure BDA0002657400840000137
和
Figure BDA0002657400840000138
和
Figure BDA0002657400840000139
和
Figure BDA00026574008400001310
分别表示第s个考生头部、左手、右手的水平方向和垂直方向的标准差，即常规活动范围，如图3所示。
作为本实施例一种可能的实现方式，所述作弊行为判断模块包括：
运动状态获取模块，用于根据考试正式开始10分钟之后每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态；
作弊行为判定模块，用于根据以下规则判定考生是否存在作弊行为：如果考生头部偏离常规活动范围超过一定程度，即当
Figure BDA00026574008400001311
或
Figure BDA00026574008400001312
时，则认为该考生出现疑似作弊行为，向监考人员发送提示警报；
如果考生左手或右手偏离常规活动范围超过一定程度，即：
当左手
Figure BDA00026574008400001313
或
Figure BDA00026574008400001314
时，或者，右手
Figure BDA00026574008400001315
或
Figure BDA0002657400840000141
时，则认为该考生出现疑似作弊行为，向监考人员发送提示警报；
所述α和β为系数，取α＝3，β＝2。
本发明针对线下考试，提出了一种基于AlphaPose的标准考场环境下的考试作弊行为智能检测方法。其中，AlphaPose是一个精准的多人姿态估计系统，是首个在COCO数据集上可达到70+mAP、在MPII数据集上可达到80+mAP的开源系统。采用标准考场，有效避免了光照的影响；通过找出考生正常考试状态下头部和手部的常规活动范围，结合考生头部和手部的实时位置来判断作弊嫌疑，这是一种有效的作弊嫌疑行为判别方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种标准考场环境下的考试作弊行为检测方法，其特征是，包括以下步骤：
获取标准考场的考场背景图像，并对标准考场中考生进行实时监控；
将实时监控的每一帧图像与考场背景图像进行背景差分处理获得掩模图像，并将掩模图像中不为0的区域所对应的监控视频中的每一帧图像的区域作为考生所在的候选区域；
在考试开始之前获取考生正坐面签图像，利用预训练的卷积神经网络对考生所在的候选区域进行人脸检测和识别，确认每个考生身份；
定位每个考生的人体关键部位，得到考生的肢体常规活动范围；
根据考试过程中每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态，并根据考生的肢体是否超出常规活动范围判定其是否存在作弊行为。
2.根据权利要求1所述的标准考场环境下的考试作弊行为检测方法，其特征是，所述标准考场是指光照稳定、室内光线不受外界天气影响和不随时间变化，且设有一个能够获取覆盖全部考生座位监控画面的广角监控摄像头的考场。
3.根据权利要求2所述的标准考场环境下的考试作弊行为检测方法，其特征是，获取标准考场的考场背景图像的过程为：
在标准考场空场情况下采集一组多帧图像序列；
计算背景图像和每个像素位置的标准差：
Figure FDA0002657400830000011
Figure FDA0002657400830000012
其中，B(m,n)是背景图像，fi(m,n)是第i帧图像，共K1帧图像参与平均，σ(m,n)是背景图像中像素位置(m,n)的标准差。
4.根据权利要求3所述的标准考场环境下的考试作弊行为检测方法，其特征是，将实时监控的每一帧图像与考场背景图像进行背景差分处理获得掩模图像的过程具体为：
将实时监控的每一帧图像逐帧与考场背景图像进行比较获得掩模图像δj(m,n)，比较公式如下：
Figure FDA0002657400830000021
其中，gj(m,n)是第j帧图像，B(m,n)是背景图像，T(m,n)为阈值。
5.根据权利要求4所述的标准考场环境下的考试作弊行为检测方法，其特征是，定位每个考生的人体关键部位，得到考生的肢体常规活动范围的过程为：
对考试正式开始后N分钟内的实时监控图像根据AlphaPose获得第j帧图像中第s个考生头部位置
Figure FDA0002657400830000022
左手位置
Figure FDA0002657400830000023
和右手位置
Figure FDA0002657400830000024
计算每个考生头部、左手和右手的活动范围：
Figure FDA0002657400830000025
Figure FDA0002657400830000026
Figure FDA0002657400830000027
Figure FDA0002657400830000028
Figure FDA0002657400830000029
Figure FDA0002657400830000031
其中，K2是考试正式开始后N分钟内参与头部、手部位置统计的图像帧数；
Figure FDA0002657400830000032
分别表示第s个考生头部、左手、右手的平均位置；
Figure FDA0002657400830000033
和
Figure FDA0002657400830000034
和
Figure FDA0002657400830000035
和
Figure FDA0002657400830000036
分别表示第s个考生头部、左手、右手的水平方向和垂直方向的标准差，即常规活动范围。
6.根据权利要求5所述的标准考场环境下的考试作弊行为检测方法，其特征是，确定考生头部和手部的运动状态，并根据考生的肢体是否超出常规活动范围判定其是否存在作弊行为的过程为：
根据考试正式开始N分钟之后每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态；
如果考生头部偏离常规活动范围超过一定程度，即当
Figure FDA0002657400830000037
或
Figure FDA0002657400830000038
时，则认为该考生出现疑似作弊行为，向监考人员发送提示警报；
如果考生左手或右手偏离常规活动范围超过一定程度，即：
当左手
Figure FDA0002657400830000039
或
Figure FDA00026574008300000310
时，或者，右手
Figure FDA00026574008300000311
或
Figure FDA00026574008300000312
时，则认为该考生出现疑似作弊行为，向监考人员发送提示警报；
所述α和β为系数。
7.根据权利要求1-6任意一项所述的标准考场环境下的考试作弊行为检测方法，其特征是，所述预训练的卷积神经网络具有一个输入层、三个卷积层与池化层、一个全连接层、一个输出层；其中卷积层卷积核大小为(3,3)，步长为1；池化层采用最大值采样，采样大小为2*2；全连接层神经元个数为512。
8.一种标准考场环境下的考试作弊行为检测系统，其特征是，包括：
实时监控模块，用于获取标准考场的考场背景图像，并对标准考场中考生进行实时监控；
差分处理模块，用于将实时监控的每一帧图像与考场背景图像进行背景差分处理获得掩模图像，并将掩模图像中不为0的区域所对应的监控视频中的每一帧图像的区域作为考生所在的候选区域；
考生身份确认模块，用于在考试开始之前获取考生正坐面签图像，利用预训练的卷积神经网络对考生所在的候选区域进行人脸检测和识别，确认每个考生身份；
常规活动范围获取模块，用于定位每个考生的人体关键部位，得到考生的肢体常规活动范围；
作弊行为判断模块，用于根据考试过程中每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态，并根据考生的肢体是否超出常规活动范围判定其是否存在作弊行为。
9.根据权利要求8所述的标准考场环境下的考试作弊行为检测系统，其特征是，所述常规活动范围获取模块包括：
关键部位获取模块，用于对考试正式开始后N分钟内的实时监控图像根据AlphaPose获得第j帧图像中第s个考生头部位置、左手位置和右手位置；
活动范围计算模块，用于计算每个考生头部、左手和右手的活动范围。
10.根据权利要求9所述的标准考场环境下的考试作弊行为检测系统，其特征是，所述作弊行为判断模块包括：
运动状态获取模块，用于根据考试正式开始N分钟之后每一帧图像中考生头部和手部的位置，确定考生头部和手部的运动状态；
作弊行为判定模块，用于根据以下规则判定考生是否存在作弊行为：
如果考生头部偏离常规活动范围超过一定程度，即当
Figure FDA0002657400830000041
或
Figure FDA0002657400830000051
时，则认为该考生出现疑似作弊行为，向监考人员发送提示警报；
如果考生左手或右手偏离常规活动范围超过一定程度，则认为该考生出现疑似作弊行为，向监考人员发送提示警报。
CN202010893771.3A 2020-08-31 2020-08-31 标准考场环境下的考试作弊行为检测方法及系统 Active CN112036299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010893771.3A CN112036299B (zh) 2020-08-31 2020-08-31 标准考场环境下的考试作弊行为检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010893771.3A CN112036299B (zh) 2020-08-31 2020-08-31 标准考场环境下的考试作弊行为检测方法及系统

Publications (2)

Publication Number Publication Date
CN112036299A true CN112036299A (zh) 2020-12-04
CN112036299B CN112036299B (zh) 2022-12-13

Family

ID=73586337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010893771.3A Active CN112036299B (zh) 2020-08-31 2020-08-31 标准考场环境下的考试作弊行为检测方法及系统

Country Status (1)

Country Link
CN (1) CN112036299B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613436A (zh) * 2020-12-28 2021-04-06 中国联合网络通信集团有限公司 考试作弊检测方法和装置
CN112883832A (zh) * 2021-01-29 2021-06-01 北京市商汤科技开发有限公司 应试人员行为管理方法、装置、电子设备及存储介质
CN113269062A (zh) * 2021-05-14 2021-08-17 彭皓 应用于智慧教育的人工智能异常识别方法
CN113269063A (zh) * 2021-05-14 2021-08-17 彭皓 基于大数据和智慧教育的考试管理系统
CN113361311A (zh) * 2021-01-18 2021-09-07 安徽中屏科技有限公司 基于行为预判的考试监控系统和方法
CN113657300A (zh) * 2021-08-20 2021-11-16 青软创新科技集团股份有限公司 一种基于ai人脸识别技术的在线考试防作弊实现方法
CN113655061A (zh) * 2021-09-23 2021-11-16 华志(福建)电子科技有限公司 一种基于图像识别物质熔点的方法及熔点仪
CN113743209A (zh) * 2021-07-30 2021-12-03 北京长峰科威光电技术有限公司 一种用于大规模线上考试的辅助监考方法
CN113784028A (zh) * 2021-09-10 2021-12-10 深圳市鑫程教育科技发展有限公司 一种多场同步的考场秩序监督方法及系统
CN114140751A (zh) * 2021-12-13 2022-03-04 江苏商贸职业学院 一种考场监控方法及系统
CN114882533A (zh) * 2022-05-30 2022-08-09 北京百度网讯科技有限公司 一种考场异常行为检测方法、装置、设备以及存储介质
CN115146243A (zh) * 2022-07-08 2022-10-04 武汉全英教育咨询有限公司 一种基于数据分析的线上vr考试考生信息核对管理系统
CN115830517A (zh) * 2023-02-14 2023-03-21 江西云眼视界科技股份有限公司 基于视频的考场异常帧提取方法及系统
CN117437696A (zh) * 2023-12-20 2024-01-23 山东山大鸥玛软件股份有限公司 基于深度学习的行为监控分析方法、系统、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496016A (zh) * 2011-11-22 2012-06-13 武汉大学 一种基于时空协同框架的红外目标检测方法
CN107491717A (zh) * 2016-06-13 2017-12-19 科大讯飞股份有限公司 考试作弊检测方法和装置
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN109961000A (zh) * 2018-10-22 2019-07-02 大连艾米移动科技有限公司 一种智能考场防作弊系统
CN110781762A (zh) * 2019-09-30 2020-02-11 沈阳航空航天大学 一种基于姿态的考试作弊检测方法
CN111259844A (zh) * 2020-01-21 2020-06-09 陕西师范大学 标准化考场考生实时监控方法
CN111507283A (zh) * 2020-04-21 2020-08-07 浙江蓝鸽科技有限公司 基于课堂场景的学生行为识别方法及系统
CN111539313A (zh) * 2020-04-21 2020-08-14 成都佳发安泰教育科技股份有限公司 考试作弊行为检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496016A (zh) * 2011-11-22 2012-06-13 武汉大学 一种基于时空协同框架的红外目标检测方法
CN107491717A (zh) * 2016-06-13 2017-12-19 科大讯飞股份有限公司 考试作弊检测方法和装置
CN109961000A (zh) * 2018-10-22 2019-07-02 大连艾米移动科技有限公司 一种智能考场防作弊系统
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN110781762A (zh) * 2019-09-30 2020-02-11 沈阳航空航天大学 一种基于姿态的考试作弊检测方法
CN111259844A (zh) * 2020-01-21 2020-06-09 陕西师范大学 标准化考场考生实时监控方法
CN111507283A (zh) * 2020-04-21 2020-08-07 浙江蓝鸽科技有限公司 基于课堂场景的学生行为识别方法及系统
CN111539313A (zh) * 2020-04-21 2020-08-14 成都佳发安泰教育科技股份有限公司 考试作弊行为检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊思: "基于 SVM 的异常行为检测在电子考场中的应用研究", 《湖北第二师范学院学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613436B (zh) * 2020-12-28 2023-08-04 中国联合网络通信集团有限公司 考试作弊检测方法和装置
CN112613436A (zh) * 2020-12-28 2021-04-06 中国联合网络通信集团有限公司 考试作弊检测方法和装置
CN113361311A (zh) * 2021-01-18 2021-09-07 安徽中屏科技有限公司 基于行为预判的考试监控系统和方法
CN112883832A (zh) * 2021-01-29 2021-06-01 北京市商汤科技开发有限公司 应试人员行为管理方法、装置、电子设备及存储介质
CN113269063B (zh) * 2021-05-14 2022-06-03 常州易学网络科技有限公司 基于大数据和智慧教育的考试管理系统
CN113269062A (zh) * 2021-05-14 2021-08-17 彭皓 应用于智慧教育的人工智能异常识别方法
CN113269063A (zh) * 2021-05-14 2021-08-17 彭皓 基于大数据和智慧教育的考试管理系统
CN113269062B (zh) * 2021-05-14 2021-11-26 食安快线信息技术(深圳)有限公司 应用于智慧教育的人工智能异常识别方法
CN113743209A (zh) * 2021-07-30 2021-12-03 北京长峰科威光电技术有限公司 一种用于大规模线上考试的辅助监考方法
CN113657300A (zh) * 2021-08-20 2021-11-16 青软创新科技集团股份有限公司 一种基于ai人脸识别技术的在线考试防作弊实现方法
CN113657300B (zh) * 2021-08-20 2024-05-07 青软创新科技集团股份有限公司 一种基于ai人脸识别技术的在线考试防作弊实现方法
CN113784028B (zh) * 2021-09-10 2023-06-06 深圳市鑫程教育科技发展有限公司 一种多场同步的考场秩序监督方法及系统
CN113784028A (zh) * 2021-09-10 2021-12-10 深圳市鑫程教育科技发展有限公司 一种多场同步的考场秩序监督方法及系统
CN113655061A (zh) * 2021-09-23 2021-11-16 华志(福建)电子科技有限公司 一种基于图像识别物质熔点的方法及熔点仪
CN114140751A (zh) * 2021-12-13 2022-03-04 江苏商贸职业学院 一种考场监控方法及系统
CN114140751B (zh) * 2021-12-13 2024-02-09 江苏商贸职业学院 一种考场监控方法及系统
CN114882533A (zh) * 2022-05-30 2022-08-09 北京百度网讯科技有限公司 一种考场异常行为检测方法、装置、设备以及存储介质
CN115146243A (zh) * 2022-07-08 2022-10-04 武汉全英教育咨询有限公司 一种基于数据分析的线上vr考试考生信息核对管理系统
CN115146243B (zh) * 2022-07-08 2023-09-15 北京布局未来教育科技有限公司 一种基于数据分析的线上vr考试考生信息核对管理系统
CN115830517A (zh) * 2023-02-14 2023-03-21 江西云眼视界科技股份有限公司 基于视频的考场异常帧提取方法及系统
CN117437696A (zh) * 2023-12-20 2024-01-23 山东山大鸥玛软件股份有限公司 基于深度学习的行为监控分析方法、系统、设备及介质

Also Published As

Publication number Publication date
CN112036299B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN112036299B (zh) 标准考场环境下的考试作弊行为检测方法及系统
Hu et al. Research on abnormal behavior detection of online examination based on image information
CN108549854B (zh) 一种人脸活体检测方法
CN103106397B (zh) 基于亮瞳效应的人脸活体检测方法
CN104966070B (zh) 基于人脸识别的活体检测方法和装置
CN109726663A (zh) 在线考试监控方法、装置、计算机设备及存储介质
CN109298785A (zh) 一种监测设备的人机联控系统及方法
Wang et al. Screening early children with autism spectrum disorder via response-to-name protocol
Indi et al. Detection of malpractice in e-exams by head pose and gaze estimation
KR20200012355A (ko) Clm과 가버 웨이블렛을 이용한 얼굴 인증 과정을 구비한 온라인 강의 모니터링 방법
CN113627256B (zh) 基于眨眼同步及双目移动检测的伪造视频检验方法及系统
CN108765014A (zh) 一种基于门禁系统的智能广告投放方法
CN114038062A (zh) 一种基于联合关键点表征的考生异常行为分析方法及系统
Szankin et al. Long distance vital signs monitoring with person identification for smart home solutions
Saif et al. Robust drowsiness detection for vehicle driver using deep convolutional neural network
CN112633217A (zh) 基于三维眼球模型计算视线方向的人脸识别活体检测方法
Phuong et al. An eye blink detection technique in video surveillance based on eye aspect ratio
Kajiwara Driver-condition detection using a thermal imaging camera and neural networks
CN110364260A (zh) 基于指示性语言范式的孤独症早期评估装置及系统
CN116805433B (zh) 一种人体运动轨迹数据分析系统
Yongcun et al. Online examination behavior detection system for preschool education professional skills competition based on MTCNN
CN112907635B (zh) 基于几何分析提取眼部异常运动特征的方法
Zhang et al. An approach of region of interest detection based on visual attention and gaze tracking
KR102038413B1 (ko) 그레이디언트 벡터 필드와 칼만 필터를 이용한 온라인 강의 모니터링 방법
Akinci et al. A video-based eye pupil detection system for diagnosing bipolar disorder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant