CN111598049B - 作弊识别方法和装置、电子设备、以及介质 - Google Patents

作弊识别方法和装置、电子设备、以及介质 Download PDF

Info

Publication number
CN111598049B
CN111598049B CN202010482272.5A CN202010482272A CN111598049B CN 111598049 B CN111598049 B CN 111598049B CN 202010482272 A CN202010482272 A CN 202010482272A CN 111598049 B CN111598049 B CN 111598049B
Authority
CN
China
Prior art keywords
examination
video
examinee
feature vector
cheating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010482272.5A
Other languages
English (en)
Other versions
CN111598049A (zh
Inventor
王建辉
张雪
李文举
赖林光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
ICBC Technology Co Ltd
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
ICBC Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC, ICBC Technology Co Ltd filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010482272.5A priority Critical patent/CN111598049B/zh
Publication of CN111598049A publication Critical patent/CN111598049A/zh
Application granted granted Critical
Publication of CN111598049B publication Critical patent/CN111598049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种作弊识别方法和装置。该方法包括首先获取第一考试视频，第一考试视频为针对第一考生的考试行为录制的视频。然后提取第一考试视频中的每一帧图像对应的特征向量，其中，该特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息，以及将第一考试视频所包含的全部图像对应的特征向量进行组合，得到第一特征向量序列。接着将第一特征向量序列输入到作弊识别模型中，获取作弊识别模型的输出，并在作弊识别模型的输出表征第一考生存在作弊行为时，确定第一考生作弊。本公开还提供了一种作弊识别模型的训练方法和装置、以及一种电子设备及介质。

Description

作弊识别方法和装置、电子设备、以及介质
技术领域
本公开涉及计算机技术领域，更具体地，涉及一种作弊识别方法和装置、一种作弊识别模型的训练方法和训练装置、一种电子设备、以及一种计算机可读存储介质。
背景技术
目前在线考试中主要使用浏览器窗口防切换技术和摄像头录像技术来确认考生本人和防止抄袭。但是，无法防止下列方法作弊：可以采用另外一台电脑来协助搜索答案，获取答案后再输入到考试电脑上面，导致无法判断是否本人真实的知识水平。
目前主流技术主要是根据考试视频中人的姿态特征来判断考生是否存在作弊行为。但这样不能对考生的视线进行监控，并不能对考生是否作弊给出准确的判断。例如，考生可以在姿态保持正常考试状态的情况下，眼睛看向另一个显示有考试答案的显示屏幕来进行答案抄袭。
发明内容
有鉴于此，本公开实施例提供了一种更为准确地判断考生是否作弊的作弊识别方法和装置、电子设备以及介质。
本公开实施例的第一方面，提供了一种作弊识别方法。所述方法包括：获取第一考试视频，其中，所述第一考试视频包括至少一帧图像，所述第一考试视频为针对第一考生的考试行为录制的视频；获取所述第一考试视频对应的第一特征向量序列；以及将所述第一特征向量序列输入到作弊识别模型中，获取所述作弊识别模型的输出，以及在所述作弊识别模型的输出表征所述第一考生存在作弊行为时，确定所述第一考生作弊。其中，所述获取所述第一考试视频对应的第一特征向量序列包括：提取所述第一考试视频中的每一帧图像对应的特征向量，其中，所述特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息；以及将所述第一考试视频所包含的全部图像对应的所述特征向量进行组合，得到所述第一特征向量序列。
根据本公开的实施例，所述提取所述第一考试视频中的每一帧图像对应的特征向量包括：根据图像中是否检测到眼睛，得到第一参数；在检测到眼睛时基于眼睛的瞳孔中心的位置得到第二参数；根据所述瞳孔中心的位置是否位于最大可视范围内，得到第三参数，其中，所述最大可视范围用于限定在正常考试状态下考生眼睛的瞳孔中心的最大允许移动范围；以及至少基于所述第一参数、所述第二参数、以及所述第三参数，得到所述特征向量。
根据本公开的实施例，所述提取所述第一考试视频中的每一帧图像对应的特征向量还包括获取所述最大可视范围。所述获取所述最大可视范围包括：在录制考试视频时分别采集考生在观看考试屏幕的M个边缘时的眼睛的图像，得到M个边缘视点图像，其中，M为大于等于2的整数；从所述M个边缘视点图像中分别提取出眼睛的瞳孔中心的位置，得到M个视点位置；以及基于所述M个视点位置，得到所述最大可视范围。
根据本公开的实施例，所述提取所述第一考试视频中的每一帧图像对应的特征向量还包括：在检测到眼睛时，使用固定尺寸且与人脸相对位置固定的选择框框选住眼睛区域；以该选择框中的预设位置为坐标原点建立坐标系；以及确定眼睛的瞳孔中心在该坐标系中的坐标，以得到眼睛的瞳孔中心的位置。
根据本公开的实施例，所述方法还包括建立所述作弊识别模型。其中，所述建立所述作弊识别模型包括：获取N个第二考试视频，其中所述第二考试视频包括至少一帧图像，一个所述第二考试视频为针对一个第二考生的考试行为录制的视频，其中：所述第二考试视频中所述第二考生是否存在作弊行为为已知，并且以所述第二考试视频的属性信息来表征，其中N为大于等于1的整数；获得与每个所述第二考试视频对应的训练样本数据，以得到N个所述训练样本数据，以及以N个所述训练样本数据训练所述作弊识别模型。所述获得与每个所述第二考试视频对应的训练样本数据包括：提取所述第二考试视频的每一帧图像对应的所述特征向量；将所述第二考试视频所包含的全部图像对应的所述特征向量进行组合，得到所述第二考试视频对应的第二特征向量序列；以所述第二特征向量序列作为输入样本数据，以及以所述属性信息作为输出样本数据，得到所述训练样本数据。
根据本公开的实施例，所述以N个所述训练样本数据训练所述作弊识别模型包括：按照预定规则循环利用N个所述训练样本数据，对所述作弊识别模型进行R轮训练，其中，R为大于等于2的整数。
根据本公开的实施例，所述按照预定规则循环利用N个所述训练样本数据，对所述作弊识别模型进行R轮训练包括：在第一轮训练中，以N个所述训练样本数据训练所述作弊识别模型；以及在第一轮以后的每一轮训练中，以比前一轮减少两个所述训练样本数据后的数据来训练所述作弊识别模型，直到没有可供减少的所述训练样本数据为止，其中，N为大于2的整数。
本公开实施例的第二方面，提供了一种作弊识别模型的训练方法。所述训练方法包括：获取N个第二考试视频，其中所述第二考试视频包括至少一帧图像，所述第二考试视频为针对第二考生的考试行为录制的视频，其中，每个所述第二考试视频为针对每个第二考生的考试行为录制的视频，其中，所述第二考试视频中所述第二考生是否存在作弊行为为已知，并且以所述第二考试视频的属性信息来表征，其中N为大于等于1的整数；获得与每个所述第二考试视频对应的训练样本数据，以得到N个所述训练样本数据；以及以N个所述训练样本数据训练所述作弊识别模型。其中，获得与每个所述第二考试视频对应的训练样本数据，以得到N个所述训练样本数据包括：提取所述第二考试视频的每一帧图像对应的所述特征向量，其中，所述特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息；将所述第二考试视频所包含的全部图像对应的所述特征向量进行组合，得到所述第二考试视频对应的第二特征向量序列；以及，以所述第二特征向量序列作为输入样本数据，以及以所述属性信息作为输出样本数据，得到所述训练样本数据。
根据本公开的实施例，所述提取所述第二考试视频的每一帧图像对应的所述特征向量包括：根据图像中是否检测到眼睛，得到第一参数；在检测到眼睛时基于眼睛的瞳孔中心的位置得到第二参数；根据所述瞳孔中心的位置是否位于最大可视范围内，得到第三参数，其中，所述最大可视范围用于限定在正常考试状态下考生眼睛的瞳孔中心的最大允许移动范围；以及至少基于所述第一参数、所述第二参数、以及所述第三参数，得到所述特征向量。
本公开实施例的第三方面，提供了一种作弊识别装置。所述作弊识别装置包括第一获取模块、特征向量获取模块、以及作弊识别模块。所述第一获取模块用于获取第一考试视频，其中，所述第一考试视频包括至少一帧图像，所述第一考试视频为针对第一考生的考试行为录制的视频。所述特征向量获取模块用于获取所述第一考试视频对应的第一特征向量序列。所述作弊识别模块用于将所述第一特征向量序列输入到作弊识别模型中，获取所述作弊识别模型的输出，以及在所述作弊识别模型的输出表征所述第一考生存在作弊行为时，确定所述第一考生作弊。所述特征向量获取模块包括第一提取子模块、以及第一获得子模块。所述第一提取子模块用于提取所述第一考试视频的每一帧图像对应的所述特征向量；其中，所述特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息。所述第一获得子模块用于将所述第一考试视频所包含的全部图像对应的所述特征向量进行组合，得到所述第一特征向量序列。
根据本公开的实施例，所述作弊识别装置还包括模型建立模块。所述模型建立模块用于建立所述作弊识别模型，包括：获取N个第二考试视频，其中所述第二考试视频包括至少一帧图像，每个所述第二考试视频为针对每个第二考生的考试行为录制的视频，其中，所述第二考试视频中所述第二考生是否存在作弊行为为已知，并且以所述第二考试视频的属性信息来表征，其中N为大于等于1的整数；获得与每个所述第二考试视频对应的训练样本数据，以得到N个所述训练样本数据，以及以N个所述训练样本数据训练所述作弊识别模型。所述获得与每个所述第二考试视频对应的训练样本数据包括：提取所述第二考试视频的每一帧图像对应的所述特征向量；将所述第二考试视频所包含的全部图像对应的所述特征向量进行组合，得到所述第二考试视频对应的第二特征向量序列；以所述第二特征向量序列作为输入样本数据，以及以所述属性信息作为输出样本数据，得到所述训练样本数据。
本公开实施例的第四方面，提供了一种作弊识别模型的训练装置。所述训练装置包括第二获取模块、训练样本获得模块、以及训练模块。所述第二获取模块用于获取N个第二考试视频，其中所述第二考试视频包括至少一帧图像，每个所述第二考试视频为针对每个第二考生的考试行为录制的视频，其中，所述第二考试视频中所述第二考生是否存在作弊行为为已知，并且以所述第二考试视频的属性信息来表征，其中N为大于等于1的整数。所述训练样本获得模块用于获得与每个所述第二考试视频对应的训练样本数据，以得到N个所述训练样本数据。所述训练模块用于以N个所述训练样本数据训练所述作弊识别模型。所述训练样本获得模块包括第二提取子模块、第二获得子模块、以及训练数据获得子模块。第二提取子模块用于提取所述第二考试视频的每一帧图像对应的所述特征向量，其中，所述特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息。第二获得子模块用于将所述第二考试视频所包含的全部图像对应的所述特征向量组合，得到所述第二考试视频对应的第二特征向量序列。训练数据获得子模块用于以所述第二特征向量序列作为输入样本数据，以及以所述属性信息作为输出样本数据，得到所述训练样本数据。
本公开实施例的第五方面，提供了一种电子设备。所述电子设备包括一个或多个存储器、以及一个或多个处理器。所述存储器上存储有计算机可执行指令，所述所述处理器执行所述指令以实现如上第一方面所述的作弊识别方法，或者如上第二方面所述的训练方法。
本公开实施例的第六方面，提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上第一方面所述的作弊识别方法，或者如上第二方面所述的训练方法。
本公开实施例的第七方面，提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上第一方面所述的作弊识别方法，或者如上第二方面所述的训练方法。
上述一个或多个实施例具有如下优点或有益效果：通过从考试视频中的图像中提取出与考生的眼睛的瞳孔中心的位置相关的信息，可以对考生在考试过程中的视线进行分析，并根据在考试过程中检测到眼睛的频率、以及眼睛中瞳孔中心的位置变化特点等，获得在考试过程中考生的视线的行为，进而可以实现根据考试过程中考生的视线行为来判断考生在考试过程中是否存在作弊行为，由此相比于现有技术可以更准确地判断考生是否存在作弊行为。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的作弊识别方法和装置的应用场景；
图2示意性示出了根据本公开实施例的作弊识别方法的流程图；
图3示意性示出了根据本公开实施例的提取图像对应的特征向量的方法流程图；
图4示意性示出了根据本公开实施例的提取图像对应的特征向量中获得眼睛的瞳孔中心的坐标的示意图；
图5示意性示出了根据本公开另一实施例的提取图像对应的特征向量的方法流程图；
图6示意性示出了根据本公开实施例的获取最大可视范围的方法流程图；
图7示意性示出了根据本公开实施例的考生的眼睛看向考试屏幕的左上角时眼睛区域的图示；
图8示意性示出了根据本公开实施例的最大可视范围的示意；
图9示意性示出了根据本公开实施例的瞳孔中心的位置位于最大可视范围之外的示意；
图10示意性示出了根据本公开另一实施例的作弊识别方法的流程图；
图11示意性示出了根据本公开实施例的作弊识别模型的训练方法的流程图；
图12示意性示出了根据本公开实施例的训练方法中对作弊识别模型进行多轮循环训练的方法流程图；
图13示意性示出了根据本公开实施例的作弊识别装置的框图；
图14示意性示出了根据本公开实施例的作弊识别模型的训练装置的框图；以及
图15示意性示出了适于实现根据本公开实施例的方法的计算机系统的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的各个实施例提供了一种应用于在线考试中基于眼睛视线的作弊识别方法和装置、以及对应的作弊识别模型的训练方法和装置，其目的在于通过对考生的眼睛的检测、眼睛定位和/或把视线限制在固定区域(例如，本文中的最大可视范围)内，并通过对比大量案例训练作弊识别模型，来判断坐在电脑面前的考生的作弊行为，提升作弊识别的准确率。
本公开的实施例提供了一种作弊识别模型的训练方法和装置。该训练方法包括：首先获取N个第二考试视频，其中第二考试视频包括至少一帧图像，每个第二考试视频为针对每个第二考生的考试行为录制的视频，其中，第二考试视频中第二考生是否存在作弊行为为已知，并且以第二考试视频的属性信息来表征，其中N为大于等于1的整数；然后获得与每个第二考试视频对应的训练样本数据，以得到N个训练样本数据；接着以N个训练样本数据训练作弊识别模型。其中，上述获得与第二考试视频对应的训练样本数据包括：首先提取所述第二考试视频的每一帧图像对应的所述特征向量，其中，特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息；然后将第二考试视频所包含的全部图像对应的特征向量组合，得到第二考试视频对应的第二特征向量序列；接着以第二特征向量序列作为输入样本数据，以及以属性信息作为输出样本数据，得到训练样本数据。
以此方式，训练得到的作弊识别模型可以根据大量考试视频案例中检测到考生的眼睛的图像比率、以及在检测到考生的眼睛时考生眼睛的瞳孔中心的位置等信息，学习到考试视频中考生的视线在作弊与不作弊情况下的行为特征。
本公开的各个实施例还提供了一种作弊识别方法和装置，利用上述作弊识别模型对考试视频中考生是否存在作弊行为进行判断。该作弊识别方法包括首先获取第一考试视频，其中，第一考试视频包括至少一帧图像，第一考试视频为针对第一考生的考试行为录制的视频，然后获取第一考试视频对应的第一特征向量序列，接着将第一特征向量序列输入到作弊识别模型中，获取所述作弊识别模型的输出，以及在所述作弊识别模型的输出表征所述第一考生存在作弊行为时，确定所述第一考生作弊。其中，上述获取第一考试视频对应的第一特征向量序列包括：首先提取所述第一考试视频中的每一帧图像对应的特征向量，其中，特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息；然后将第一考试视频所包含的全部图像对应的特征向量进行组合，得到第一特征向量序列。
以此方式，在正式考试时可以通过训练完成的作弊识别模型，根据第一考试视频中检测到第一考生的眼睛的图像比率、以及在检测到第一考生的眼睛时眼睛的瞳孔中心的位置等信息，来得到在考试过程中考生的视线行为，进而基于该视线行为来判别第一考生是否存在作弊行为。由此可以在一定程度上提高判断考生是否作弊的准确性。
图1示意性示出了根据本公开实施例的作弊识别方法和装置的应用场景100。
如图1所示，根据该实施例的应用场景100可以包括终端设备101、摄像头102、网络103和服务器104。网络103用以在终端设备101、摄像头102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101上可以安装浏览器或者考试类客户端应用。考生1可以通过在终端设备101上点开浏览器或考试类客户端应用来打开考试界面，参加在线考试。
摄像头102可以录制考生1使用终端设备101进行在线考试过程的考试视频，并将考试视频通过网络103传输给服务器104。在一些实施例中，摄像头102可以内嵌于终端设备101中。
服务器104可以是提供各种服务的服务器，例如对考生1利用终端设备101所浏览的考试网站提供支持的后台管理服务器。或者对考生1利用终端设备101所使用的考试类客户端提供服务的后台管理服务器(仅为示例)。服务器104可以接收考生1在终端设备101在线考试的答题信息，并根据考生1的答题信息评估考生1的答题结果。
服务器104中还可以根据摄像头102采集到的考试视频，应用根据本公开实施例的作弊识别方法，对考生1是否存在作弊行为进行判别。
或者，服务器104也可以利用获取到的大量类似于考生1的在线考试的视频，应用本公开实施例的作弊识别模型的训练方法训练作弊识别模型，以通过该作弊识别模型来判断在线考试过程中是否有考生存在作弊行为。
应该理解，图1中的终端设备、摄像头、网络和服务器的数目以及仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、摄像头、网络和服务器。
需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
图2示意性示出了根据本公开实施例的作弊识别方法的流程图。
如图2所示，该作弊识别方法可以包括操作S210～操作S260。
在操作S210，获取第一考试视频，其中，第一考试视频包括至少一帧图像，第一考试视频为针对第一考生的考试行为录制的视频。
需要说明的是，本文中个第一考试视频和第二考试视频仅为了区分在预测阶段所使用的考试视频和在训练阶段所使用的考试视频，相应的第一考生和第二考生也是用于对不同用途的考试视频中所针对的考生的区分，并不代表第一考生和第二考生不可以是同一个人。
其中，在作弊识别模型的训练过程中所使用的第二考试视频中考生的作弊行为为已知。而在预测阶段所使用的第一考试视频中考生的作弊行为属于判别的对象。其中，第一考试视频或第二考试视频的获取过程，例如都可以类似于图1中通过摄像头102采集考生1的在线考试过程获得的。
第一考试视频可以是从第一考生开考到考试结束全过程中的视频，还可以是从考试全过程的视频中抽取出来的一部分视频，例如通过经验分析可能存在有异常作弊行为的一段视频或需要重点关注的一帧图像或一段视频。
在操作S220，提取所述第一考试视频中的每一帧图像对应的特征向量；其中，特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息。其中，基于眼睛的瞳孔中心的位置而得到的信息例如可以包括瞳孔中心的坐标位置、以及瞳孔中心的位置是否位于最大可视范围内等。
根据本公开的实施例，对于每一帧图像可以首先检测图像中是否有眼睛，以此来统计得到第一考试视频中的异常图像的比率等信息。其中异常图像比如可以包括低头的图像(可能是在笔算、或低头看手机或其他因素)，又比如考生站立或离开的图像等。
对于能够检测到眼睛的图像，例如可以获取到每帧图像中眼睛的瞳孔中心的位置。然后根据该瞳孔中心的位置，提取相应的信息等。由于考试时左右眼的眼动轨迹相符，所以可以只取其中一只眼睛的瞳孔中心的位置进行分析处理。本公开实施例可以通过瞳孔中心的位置来衡量考生在线考试过程中的视线。
在操作S230，将第一考试视频所包含的全部图像对应的特征向量进行组合，得到第一特征向量序列。
在操作S240，将第一特征向量序列输入到作弊识别模型中。
在操作S250，获取所述作弊识别模型的输出。
最后在操作S260，在所述作弊识别模型的输出表征所述第一考生存在作弊行为时，确定所述第一考生作弊。
该作弊识别模型例如可以是决策树模型，是通过从大量已知是否作弊的第二考试视频中提取训练样本数据训练得到的二分类模型，关于该作弊识别模型的训练过程可以参考如下图11和图12的相关描述。
根据本公开的实施例，可以通过对第一考试视频中第一考生的眼睛的检测、以及眼睛的瞳孔中心的位置的分析，来衡量在考试过程中第一考试的视线是否处于正常考试所允许的视线状态，以此来判断第一考生在考试过程中是否存在作弊行为，提升作弊识别的准确率。
根据本公开的实施例，从图像中有针对性地提取与眼睛的瞳孔的中心位置相关的信息作为特征向量，提取出的特征向量的数据量明显少于将视频直接输入神经网络(例如，卷积神经网络)的作弊识别方案，提供了一种硬件成本更低、训练时间更短和对硬件算力要求更低的作弊识别方法。
图3示意性示出了根据本公开实施例的操作S220中提取图像对应的特征向量的方法流程图。图4示意性示出了根据本公开实施例的操作S220中提取图像对应的特征向量中获得眼睛的瞳孔中心的坐标的示意图。
结合图3和图4所示，根据本公开的实施例操作S220可以包括操作S301～操作S303。
首先在操作S301，在检测到眼睛时，使用固定尺寸且与人脸相对位置固定的选择框框选住眼睛区域。
例如，可以使用选择框401框住整个眼睛区域，如图4所示。该选择框401的大小、以及与人脸的相对位置是可以配置的。例如，配置在同一个考试视频中的各帧图像中选择框401的大小固定，而且选择框401相对人脸的位置固定。例如该选择框401可以以左右眼内眼角连线的中点作为选择框401的中心点。
然后在操作S302，以该选择框401中的预设位置为坐标原点建立坐标系。该预设位置例如可以是该选择框401的左下角、右下角、或中心点等任意位置。
接着在操作S303，确定眼睛的瞳孔中心在该坐标系中的坐标，以得到眼睛的瞳孔中心的位置。例如，以该选择框401的左下角为原点坐标，可以得到图像中眼睛的瞳孔中心的坐标(A，B)。
在一个实施例中，可以使用SeetaFace人脸检测引擎检测每一帧图像中的人脸，得到每一帧人脸的眼睛区域和眼睛坐标。例如在SeetaFace人脸检测引擎中配置本公开实施例的选择框401的大小、相对于人脸的位置、坐标原点位置，并输出瞳孔中心的坐标。
根据本公开的实施例，由于同一个考试视频(例如，第一考试视频)中的各帧图像中选择框401的大小固定、且与考生的人脸区域位置相对固定，在该考试视频中的不同图像中均以该选择框401中的预定位置(例如，左下角)为原点，得到的瞳孔中心的位置是相对与考生的人脸区域的位置，因而不同图像中的考生的眼睛的瞳孔中心的坐标具有一致性参考性。
图5示意性示出了根据本公开另一实施例的操作S220提取图像对应的特征向量的方法流程图。
如图5所示，根据本公开的实施例操作S220可以包括操作S502～操作S505。根据本公开的另一些实施例，操作220还可以进一步包括操作S501，其中操作S501可以在操作S504之前执行，例如如图5所示在操作S502之前执行。
在操作S501，获取最大可视范围。最大可视范围用于限定在正常考试状态下考生眼睛的瞳孔中心的最大允许移动范围。例如，最大可视范围中横坐标的范围可以表示为Xmin～Xmax、纵坐标的范围可以表示为Ymin～Ymax。其中，Xmin、Xmax为该最大可视范围中限定的在正常考试状态下考生眼睛的瞳孔中心的横坐标的最大值和最小值。Ymin、Ymax为MaxScope中限定的在正常考试状态下考生眼睛的瞳孔中心的纵坐标的最大值和最小值。
在操作S502，根据图像(例如，第一考试视频中的第i帧图像)中是否检测到眼睛，得到第一参数。例如以NoThi来表示第一参数，其中i为考试视频中图像的编号。如果该第i帧图像没有出现眼睛，则NoThi＝0，如果该第i帧图像中检测到眼睛，则NoThi＝1。
在操作S503，在检测到眼睛时基于眼睛的瞳孔中心的位置得到第二参数。例如该第二参数可以是第i帧图像中的瞳孔中心的坐标(Ai，Bi)。又例如，为了缩短作弊识别模型计算时的梯度下降时间并提升训练和识别效率，可以将图像中的瞳孔中心的坐标(Ai，Bi)进行归一化处理，将数值减少到[0，1]之间。在一个实施例中，归一化处理可以是将将第i帧图像中的瞳孔中心的坐标(Ai，Bi)与该第i帧图像所在的考试视频中的最大可视范围来进行归一化处理得到(Ai’，Bi’)。如下式(1)所示。
在操作S504，根据瞳孔中心的位置是否位于最大可视范围内，得到第三参数。例如，对第i帧图像以Ti来表示第三参数。可以根据第i个图像中的眼睛的瞳孔中心坐标(Ai，Bi)与最大可视范围对比，计算出眼睛是否偏差出该最大可视范围。如果超出则Ti＝1，如果未超出则Ti＝0。
在操作S505，至少基于第一参数NoThi、第二参数(Ai，Bi)或(Ai’，Bi’)、以及第三参数Ti，得到第i帧图像对应的特征向量。例如，第一考试视频中第i帧图像对应的特征向量可以是(Xmin，Ymin，Xmax，Ymax，NoThi，Ai’，Bi’，Ti)。在一个实施例中，当NoThi＝0，即该第i帧图像中没有检测到眼睛时，Ai’、Bi’、及Ti可以取空值或者取任意值(例如，0)进行数据占位。
下表1给出了从第一考试视频中的每一帧图像中提取出特征向量的一个示例。
表1
如表1所示，假设第一考试视频中总共有300帧图像，根据本公开的实施例从每一帧图像中提取出的特征向量示例为一列。
其中，第一考试视频中每一帧图像的最大可视范围相同。从而，在一个实施例中，第一考试视频的第一特征向量序列可以表示为D1＝{(Xmin，Ymin，Xmax，Ymax，NoThil,A1’，B1’，T1)，(Xmin，Ymin，Xmax，Ymax，NoThi2，A2’，B2’，T2)，...，(Xmin，Ymin，Xmax，Ymax，NoTh300，A300’，B300’，T300)。从而，在操作S240中可以将该第一特征向量序列D1输入到作弊识别模型中，来判断该第一考生是否存在作弊行为。
图6示意性示出了根据本公开实施例的操作S501中获取最大可视范围的方法流程图。图7示意性示出了根据本公开实施例的考生的眼睛看向考试屏幕的左上角时眼睛区域的图示。图8示意性示出了根据本公开实施例的最大可视范围的示意。
如图6所示，结合图7和图8，根据本公开的实施例操作S501可以包括操作S601～操作S603。
在操作S601，在录制考试视频时分别采集考生在观看考试屏幕的M个边缘时的眼睛的图像，得到M个边缘视点图像，其中，M为大于等于2的整数。对于常见的矩形屏幕，M个边缘包括上下左右四个边缘。
在操作S602，从M个边缘视点图像中分别提取出眼睛的瞳孔中心的位置，得到M个视点位置。
在操作S603，基于M个视点位置，得到最大可视范围。例如，在图1的应用场景100中，可以在考生1开考之前，让考生1观看终端设备101的显示屏幕的四个角或者四个边缘(例如在显示屏幕的考试界面上指示考生1看向边缘位置)，并录取对应的视频图像。然后可以利用例如SeetaFace人脸检测引擎获取到考生1分别观察这四个角时的视频图像中考生1的眼睛的瞳孔中心的坐标。
例如，如图7所示可以获取当考生1的眼睛看向终端设备101的左上角时瞳孔中心的坐标(a,b)。类似与图7的示意，可以相应地获取当考生1的眼睛看向终端设备101的右上角时瞳孔中心坐标(c,d)，当考生1的眼睛看向终端设备101的左下角时瞳孔中心的坐标(e，f)，以及当考生1的眼睛看向终端设备101的右下角时瞳孔中心的坐标(g,h)。
然后如图8所示，可以从以上四个坐标中取出最大可视范围MaxScope中横坐标的范围Xmin-Xmax、纵坐标的范围Ymin-Ymax，。其中，Xmin取[(a,b)，(c,d)]中的最小横坐标，Ymin取[(e，f)，(g,h)]中的最小纵坐标，Xmax取[(c,d)，(g,h)]中的最大横坐标，以及Ymax取[(c,d)，(a,b)]中的最大纵坐标。
图9示意性示出了根据本公开实施例的瞳孔中心的位置位于最大可视范围之外的示意。
对比图8和图9，在图8所示的图像中考生的眼睛的瞳孔中心位于最大可视范围之内，从而在操作S504中确定的第三参数Ti＝1。
图9所示的考生的眼睛的瞳孔中心位于最大可视范围之外，从而在操作S504中确定的第三参数Ti＝0。考生的眼睛的瞳孔中心位于最大可视范围之外，意味着考生看向了考试屏幕以外的地方，例如，有可能考生在从考试屏幕以外的地方看答案。从而，根据本公开的实施例，在进行作弊识别或者作弊识别模型训练时，可以充分利用例如图9前后的连续多帧图像中考生的瞳孔中心的位置状态，来判断处考生的眼睛的瞳孔中心位于最大可视范围之外的持续时长以及考生实现变换等信息。以此方式，本公开实施例的作弊识别方法不仅可以定位眼睛位置，还可以结合考生视线是否位于最大可视范围内来判断考生是否存在作弊行为。
图10示意性示出了根据本公开另一实施例的作弊识别方法的流程图。
如图10所示，根据本公开的实施例该作弊识别方法除了包括操作S210～操作S260以外，还可以包括操作S1010。
在操作S1010，建立作弊识别模型。具体地，可以通过机器学习算法训练作弊识别模型。本公开实施例的作弊识别模型可以采用决策树模型，使用从一系列的无作弊的第二考试视频中抽取的训练样本数据与从一系列有作弊的第二考试视频中抽取的训练样本数据，对决策树模型进行训练。
在一个实施例中，采用决策树模型时，初始训练主要参数可以选择如下：采用CART二叉树。基于基尼系数(Gini)进行分裂，策略参数使用更适合随机切分的策略Random，决策度最大是深度为10，使用随机数生成器，最小样本数为2，其它参数取算法默认值。
关于作弊识别模型的具体训练过程可以参考下述图11和图12的描述。
图11示意性示出了根据本公开实施例的作弊识别模型的训练方法的流程图。
如图11所示，根据本公开的实施例该作弊识别模型的训练方法可以包括操作S1110～操作S1150。
在操作S1110，获取N个第二考试视频，其中第二考试视频包括至少一帧图像，每个第二考试视频为针对每个第二考生的考试行为录制的视频，其中，第二考试视频中第二考生是否存在作弊行为为已知，并且以第二考试视频的属性信息来表征，其中N为大于等于1的整数。与第一考试视频类似，第二考试视频可以是一次考试过程中的完整考试视频，也可以仅是一段考试视频。
在操作S1120，提取第二考试视频的每一帧图像对应的特征向量，其中，特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息。对第二考试视频中每一帧视频提取特征向量的过程，与从第一考试视频中对每一帧图像提取特征向量的过程类似，具体可以参考图3和图5的描述，在此不再赘述。
在操作S1130，将第二考试视频所包含的全部图像对应的特征向量进行组合，得到第二考试视频对应的第二特征向量序列。该第二特征向量序列D2可以与前述第一特征向量序列D1的获取过程和内容类似，再此不再赘述。
在操作S1140，以第二特征向量序列作为输入样本数据，并以属性信息作为输出样本数据，得到训练样本数据。属性信息例如可以是作弊、无作弊、或者存在作弊嫌疑等，具体可以根据实际需要设置。
在操作S1150，以N个训练样本数据训练作弊识别模型。根据本公开的实施例，在操作S1150中可以按照预定规则循环利用N个训练样本数据，对作弊识别模型进行R轮训练(其中，R为大于等于2的整数)。按照预定规则循环训练可以增加训练次数，提升训练过程所使用的训练样本的数据量，这对于当训练样本数据的数量并不足够大(例如，不足上万条)时，可以有效增大训练样本数据的量，提高模型的训练精度。
按照根据预定规则循环训练，例如可以是将N个训练样本数据重复使用，例如每一轮训练完成之后打乱N个训练样本数据的顺序再训练一轮。或者，按照根据预定规则循环训练，例如也可以是每次按照一定的方式从N个训练样本数据中剔除掉部分训练样本数据后利用剩下的训练样本数据进行训练，例如参考图12的示意。
图12示意性示出了根据本公开实施例的训练方法中操作S1150对作弊识别模型进行多轮循环训练的方法流程图。
如图12所示，根据本公开的实施例操作S1150可以包括操作S1201、操作S1202～操作S1204的循环、以及操作S1205。
具体地，在操作S1201，在第一轮训练中，以N个训练样本数据训练作弊识别模型，其中，N为大于2的整数。
然后在操作S1202，在第一轮以后的每一轮训练中，以比前一轮减少两个训练样本数据。例如，可以随机或者按顺序减少两个训练样本数据。
接着在操作S1203中判断经过操作S1202减少训练样本数据后，剩余的训练样本数据中是否还有可用的训练样本数据。如果有，则在操作S1204中以剩余的训练样本数据继续训练作弊识别模型，然后再执行操作S1202；如果没有，则在操作S1205中输出作弊识别模型，并结束训练过程。
该训练流程中操作S1202～操作S1204的循环的终止条件为操作S1203中判断无可用的训练样本数据。利用以N个训练样本数据每次减少两个训练样本数据的方式循环多轮训练作弊识别模型，直到没有可供减少的训练样本数据为止。
例如，在一个实施例中收集到500个第二考试视频，其中包括有作弊行为的考试视频以及非作弊行为的考试视频各250个。在利用从着500个第二考试视频中提取出的训练样本数据训练作弊识别模型时，可以按照顺序每次去掉2个训练样本数据后进行循环训练。每一轮训练完都保存当前的作弊识别模型。下一轮循环读取作弊识别模型继续训练，如此循环250轮训练，可以得到最终的作弊识别模型；
图13示意性示出了根据本公开实施例的作弊识别装置1300的框图。
如图13所示，根据本公开的实施例，该作弊识别装置1300可以包括第一获取模块1310、特征向量获取模块1320、以及作弊识别模块1330。根据本公开的另一实施例，该作弊识别装置1300还可以进一步包括模型建立模块1340。该作弊识别装置1300可以用于实现参考图2～图10所描述的作弊识别方法。
第一获取模块1310例如可以执行操作S210，用于获取第一考试视频，其中，第一考试视频包括至少一帧图像，第一考试视频为针对第一考生的考试行为录制的视频。
特征向量获取模块1320用于获取第一考试视频对应的第一特征向量序列。其中，特征向量获取模块1320包括第一提取子模块1321、以及第一获得子模块1322。
第一提取子模块1321例如可以执行操作S220，用于提取第一考试视频中的每一帧图像对应的特征向量。其中，该特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息。
第一获得子模块1322例如可以执行操作S230，用于将第一考试视频所包含的全部图像对应的特征向量进行组合，得到第一特征向量序列。
作弊识别模块1330例如可以执行操作S240～操作S260，用于将第一特征向量序列输入到作弊识别模型中，获取所述作弊识别模型的输出，以及在所述作弊识别模型的输出表征所述第一考生存在作弊行为时，确定所述第一考生作弊。
模型建立模块1340例如可以执行操作S1010，用于建立作弊识别模型，包括获取N个第二考试视频，其中第二考试视频包括至少一帧图像，每个第二考试视频为针对每个第二考生的考试行为录制的视频，其中，第二考试视频中第二考生是否存在作弊行为为已知，并且以第二考试视频的属性信息来表征，其中N为大于等于1的整数；获得与第二考试视频对应的训练样本数据，以得到N个训练样本数据，以及以N个训练样本数据训练作弊识别模型。获得与第二考试视频对应的训练样本数据包括：提取第二考试视频的每一帧图像对应的特征向量；将第二考试视频所包含的全部图像对应的特征向量组合，得到第二考试视频对应的第二特征向量序列；以第二特征向量序列作为输入样本数据，以及以属性信息作为输出样本数据，得到训练样本数据。
图14示意性示出了根据本公开实施例的作弊识别模型的训练装置的框图。
如图14所示，根据本公开的实施例，该作弊识别模型的训练装置1400可以包括第二获取模块1410、训练样本获得模块1420、以及训练模块1430。其中，训练样本获得模块1420可以包括第二提取子模块1421、第二获得子模块1422、以及训练数据获得子模块1423。根据本公开的实施例，该训练装置1400可以用于实现参考图11～图12所描述的训练方法。
第二获取模块1410例如可以执行操作S1110，用于获取N个第二考试视频，其中第二考试视频包括至少一帧图像，每个第二考试视频为针对每个第二考生的考试行为录制的视频，其中，第二考试视频中第二考生是否存在作弊行为为已知，并且以第二考试视频的属性信息来表征，其中N为大于等于1的整数。
训练样本获得模块1420用于获得与第二考试视频对应的训练样本数据，以得到N个训练样本数据。
其中，第二提取子模块1421例如可以执行操作S1120，用于提取所述第二考试视频的每一帧图像对应的所述特征向量；其中，特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息。
第二获得子模块1422例如可以执行操作S1130，用于将第二考试视频所包含的全部图像对应的特征向量进行组合，得到第二考试视频对应的第二特征向量序列。
训练数据获得子模块1423例如可以执行操作S1140，用于以第二特征向量序列作为输入样本数据，以及以属性信息作为输出样本数据，得到训练样本数据。
训练模块1430例如可以执行操作S1150，用于以N个训练样本数据训练作弊识别模型。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一获取模块1310、特征向量获取模块1320、以及作弊识别模块1330、模型建立模块1340、第一提取子模块1321、第一获得子模块1322、第二获取模块1410、训练样本获得模块1420、训练模块1430、第二提取子模块1421、第二获得子模块1422、以及训练数据获得子模块1423中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块1310、特征向量获取模块1320、以及作弊识别模块1330、模型建立模块1340、第一提取子模块1321、第一获得子模块1322、第二获取模块1410、训练样本获得模块1420、训练模块1430、第二提取子模块1421、第二获得子模块1422、以及训练数据获得子模块1423中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块1310、特征向量获取模块1320、以及作弊识别模块1330、模型建立模块1340、第一提取子模块1321、第一获得子模块1322、第二获取模块1410、训练样本获得模块1420、训练模块1430、第二提取子模块1421、第二获得子模块1422、以及训练数据获得子模块1423中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图15示意性示出了适于实现根据本公开实施例的方法的计算机系统1500的方框图。图15示出的计算机系统1500仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。该计算机系统1500可以用于实现参考图2～图10所描述的作弊识别方法、或者图11～图12所描述的训练方法。
如图15所示，根据本公开实施例的计算机系统1500包括处理器1501，其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理。处理器1501例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1501还可以包括用于缓存用途的板载存储器。处理器1501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1503中，存储有计算机系统1500操作所需的各种程序和数据。处理器1501、ROM 1502以及RAM 1503通过总线1504彼此相连。处理器1501通过执行ROM 1502和/或RAM1503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1502和RAM 1503以外的一个或多个存储器中。处理器1501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，计算机系统1500还可以包括输入/输出(I/O)接口1505，输入/输出(I/O)接口1505也连接至总线1504。系统1500还可以包括连接至I/O接口1505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507；包括硬盘等的存储部分1508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1510上，以便于从其上读出的计算机程序根据需要被安装入存储部分1508。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1509从网络上被下载和安装，和/或从可拆卸介质1511被安装。在该计算机程序被处理器1501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的作弊识别方法或者训练方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1502和/或RAM 1503和/或ROM 1502和RAM 1503以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种作弊识别方法，包括：
获取第一考试视频，其中，所述第一考试视频包括多帧图像，所述第一考试视频为针对第一考生的考试行为录制的视频；
获取所述第一考试视频对应的第一特征向量序列，包括：
提取所述第一考试视频中的每一帧图像对应的特征向量；
其中，所述特征向量包括表征图像中是否检测到眼睛的信息、
以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息；以及
将所述第一考试视频所包含的全部图像对应的所述特征向量进行组合，得到所述第一特征向量序列；
将所述第一特征向量序列输入到作弊识别模型中；
获取所述作弊识别模型的输出；以及
在所述作弊识别模型的输出表征所述第一考生存在作弊行为时，确定所述第一考生作弊；
其中，所述提取所述第一考试视频中的每一帧图像对应的特征向量还包括：
根据图像中是否检测到眼睛，得到第一参数；
在检测到眼睛时基于眼睛的瞳孔中心的位置得到第二参数；其中，在检测到眼睛时，使用在所述第一考试视频的多帧图像中尺寸固定且与人脸相对位置固定的选择框框选住每一帧图像中的眼睛区域；以该选择框中的预设位置为坐标原点建立坐标系；以及确定眼睛的瞳孔中心在该坐标系中的坐标，以得到眼睛的瞳孔中心的位置；
根据所述瞳孔中心的位置是否位于最大可视范围内，得到第三参数；其中，所述最大可视范围为根据M个边缘视点图像中所述第一考生的眼睛的瞳孔中心的坐标得到的在正常考试状态下考生眼睛的瞳孔中心的最大允许移动范围，其中，所述M个边缘视点图像为在录制所述第一考试视频时分别采集的所述第一考生观看考试屏幕的M个边缘时的眼睛的图像，其中，M为大于等于2的整数；
至少基于所述第一参数、所述第二参数、以及所述第三参数，得到所述特征向量。
2.根据权利要求1所述的方法，其中，所述提取所述第一考试视频中的每一帧图像对应的特征向量还包括获取所述最大可视范围，包括：
在录制所述第一考试视频时分别采集考生在观看考试屏幕的M个边缘时的眼睛的图像，得到M个边缘视点图像；
从所述M个边缘视点图像中分别提取出眼睛的瞳孔中心的位置，得到M个视点位置；以及
基于所述M个视点位置，得到所述最大可视范围。
3.根据权利要求1或2所述的方法，还包括建立所述作弊识别模型，包括：
获取N个第二考试视频，其中所述第二考试视频包括多帧图像，每个所述第二考试视频为针对每个第二考生的考试行为录制的视频，其中：所述第二考试视频中所述第二考生是否存在作弊行为为已知，并且以所述第二考试视频的属性信息来表征，其中N为大于等于1的整数；
获得与每个所述第二考试视频对应的训练样本数据，以得到N个所述训练样本数据，包括：
提取所述第二考试视频的每一帧图像对应的所述特征向量；
将所述第二考试视频所包含的全部图像对应的所述特征向量进行组合，得到所述第二考试视频对应的第二特征向量序列；
以所述第二特征向量序列作为输入样本数据，以及以所述属性信息作为输出样本数据，得到所述训练样本数据；
以及
以N个所述训练样本数据训练所述作弊识别模型。
4.根据权利要求3所述的方法，其中，所述以N个所述训练样本数据训练所述作弊识别模型包括：
按照预定规则循环利用N个所述训练样本数据，对所述作弊识别模型进行R轮训练，其中，R为大于等于2的整数。
5.根据权利要求4所述的方法，其中，所述按照预定规则循环利用N个所述训练样本数据，对所述作弊识别模型进行R轮训练包括：
在第一轮训练中，以N个所述训练样本数据训练所述作弊识别模型；以及
在第一轮以后的每一轮训练中，以比前一轮减少两个所述训练样本数据后的数据来训练所述作弊识别模型，直到没有可供减少的所述训练样本数据为止，其中，N为大于2的整数。
6.一种作弊识别模型的训练方法，包括：
获取N个第二考试视频，其中所述第二考试视频包括多帧图像，每个所述第二考试视频为针对每个第二考生的考试行为录制的视频，其中，所述第二考试视频中所述第二考生是否存在作弊行为为已知，并且以所述第二考试视频的属性信息来表征，其中N为大于等于1的整数；
获得与每个所述第二考试视频对应的训练样本数据，以得到N个所述训练样本数据，包括：
提取所述第二考试视频的每一帧图像对应的特征向量，其中，所述特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息；
将所述第二考试视频所包含的全部图像对应的所述特征向量进行组合，得到所述第二考试视频对应的第二特征向量序列；
以所述第二特征向量序列作为输入样本数据，以及以所述属性信息作为输出样本数据，得到所述训练样本数据；
以及
以N个所述训练样本数据训练所述作弊识别模型；
其中，所述提取所述第二考试视频的每一帧图像对应的特征向量包括：
根据图像中是否检测到眼睛，得到第一参数；
在检测到眼睛时基于眼睛的瞳孔中心的位置得到第二参数；其中，在检测到眼睛时，使用在所述第二考试视频的多帧图像中尺寸固定且与人脸相对位置固定的选择框框选住每一帧图像中的眼睛区域；以该选择框中的预设位置为坐标原点建立坐标系；以及确定眼睛的瞳孔中心在该坐标系中的坐标，以得到眼睛的瞳孔中心的位置；
根据所述瞳孔中心的位置是否位于最大可视范围内，得到第三参数，其中，所述最大可视范围为根据M个边缘视点图像中所述第二考生的眼睛的瞳孔中心的坐标得到的在正常考试状态下考生眼睛的瞳孔中心的最大允许移动范围，其中，所述M个边缘视点图像为在录制所述第二考试视频时分别采集的所述第二考生观看考试屏幕的M个边缘时的眼睛的图像，其中，M为大于等于2的整数；
至少基于所述第一参数、所述第二参数、以及所述第三参数，得到所述特征向量。
7.一种作弊识别装置，包括：
第一获取模块，用于获取第一考试视频，其中，所述第一考试视频包括多帧图像，所述第一考试视频为针对第一考生的考试行为录制的视频；
特征向量获取模块，用于获取所述第一考试视频对应的第一特征向量序列，包括：
第一提取子模块，用于提取所述第一考试视频中的每一帧图像对应的特征向量；其中，所述特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息；
第一获得子模块，用于将所述第一考试视频所包含的全部图像对应的所述特征向量进行组合，得到所述第一特征向量序列；
作弊识别模块，用于将所述第一特征向量序列输入到作弊识别模型中，获取所述作弊识别模型的输出，以及在所述作弊识别模型的输出表征所述第一考生存在作弊行为时，确定所述第一考生作弊；
其中，所述第一提取子模块具体用于：
根据图像中是否检测到眼睛，得到第一参数；
在检测到眼睛时基于眼睛的瞳孔中心的位置得到第二参数；其中，在检测到眼睛时，使用在所述第一考试视频的多帧图像中尺寸固定且与人脸相对位置固定的选择框框选住每一帧图像中的眼睛区域；以该选择框中的预设位置为坐标原点建立坐标系；以及确定眼睛的瞳孔中心在该坐标系中的坐标，以得到眼睛的瞳孔中心的位置；
根据所述瞳孔中心的位置是否位于最大可视范围内，得到第三参数，其中，所述最大可视范围为根据M个边缘视点图像中所述第一考生的眼睛的瞳孔中心的坐标得到的在正常考试状态下考生眼睛的瞳孔中心的最大允许移动范围，其中，所述M个边缘视点图像为在录制所述第一考试视频时分别采集的所述第一考生观看考试屏幕的M个边缘时的眼睛的图像，其中，M为大于等于2的整数；
至少基于所述第一参数、所述第二参数、以及所述第三参数，得到所述特征向量。
8.一种作弊识别模型的训练装置，包括：
第二获取模块，用于获取N个第二考试视频，其中所述第二考试视频包括多帧图像，每个所述第二考试视频为针对每个第二考生的考试行为录制的视频，其中，所述第二考试视频中所述第二考生是否存在作弊行为为已知，并且以所述第二考试视频的属性信息来表征，其中N为大于等于1的整数；
训练样本获得模块，用于获得与每个所述第二考试视频对应的训练样本数据，以得到N个所述训练样本数据，包括：
第二提取子模块，用于提取所述第二考试视频的每一帧图像对应的特征向量，其中，所述特征向量包括表征图像中是否检测到眼睛的信息、以及在检测到眼睛时基于眼睛的瞳孔中心的位置而得到的信息；
第二获得子模块，用于将所述第二考试视频所包含的全部图像对应的所述特征向量组合，得到所述第二考试视频对应的第二特征向量序列；
训练数据获得子模块，用于以所述第二特征向量序列作为输入样本数据，以及以所述属性信息作为输出样本数据，得到所述训练样本数据；
以及
训练模块，用于以N个所述训练样本数据训练所述作弊识别模型
其中，所述第二提取子模块具体用于：
根据图像中是否检测到眼睛，得到第一参数；
在检测到眼睛时基于眼睛的瞳孔中心的位置得到第二参数；其中，在检测到眼睛时，使用在所述第二考试视频的多帧图像中尺寸固定且与人脸相对位置固定的选择框框选住每一帧图像中的眼睛区域；以该选择框中的预设位置为坐标原点建立坐标系；以及确定眼睛的瞳孔中心在该坐标系中的坐标，以得到眼睛的瞳孔中心的位置；
根据所述瞳孔中心的位置是否位于最大可视范围内，得到第三参数，其中，所述最大可视范围为根据M个边缘视点图像中所述第二考生的眼睛的瞳孔中心的坐标得到的在正常考试状态下考生眼睛的瞳孔中心的最大允许移动范围，其中，所述M个边缘视点图像为在录制所述第二考试视频时分别采集的所述第二考生观看考试屏幕的M个边缘时的眼睛的图像，其中，M为大于等于2的整数；
至少基于所述第一参数、所述第二参数、以及所述第三参数，得到所述特征向量。
9.一种电子设备，包括：
一个或多个存储器，其上存储有计算机可执行指令；
一个或多个处理器，所述处理器执行所述指令，以实现：权利要求1～5中任一项所述的作弊识别方法，或者权利要求6所述的训练方法。
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行：权利要求1～5中任一项所述的作弊识别方法，或者权利要求6所述的训练方法。
CN202010482272.5A 2020-05-29 2020-05-29 作弊识别方法和装置、电子设备、以及介质 Active CN111598049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010482272.5A CN111598049B (zh) 2020-05-29 2020-05-29 作弊识别方法和装置、电子设备、以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010482272.5A CN111598049B (zh) 2020-05-29 2020-05-29 作弊识别方法和装置、电子设备、以及介质

Publications (2)

Publication Number Publication Date
CN111598049A CN111598049A (zh) 2020-08-28
CN111598049B true CN111598049B (zh) 2023-10-10

Family

ID=72189709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010482272.5A Active CN111598049B (zh) 2020-05-29 2020-05-29 作弊识别方法和装置、电子设备、以及介质

Country Status (1)

Country Link
CN (1) CN111598049B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070024B (zh) * 2020-09-09 2023-07-11 常州纺织服装职业技术学院 无纸化考试防作弊方法及无纸化考试系统的监考方法
CN113269062B (zh) * 2021-05-14 2021-11-26 食安快线信息技术(深圳)有限公司 应用于智慧教育的人工智能异常识别方法
CN113553499B (zh) * 2021-06-22 2024-08-23 杭州摸象大数据科技有限公司 一种基于营销裂变的作弊探测方法、系统和电子设备
CN114140751B (zh) * 2021-12-13 2024-02-09 江苏商贸职业学院 一种考场监控方法及系统
CN114220168A (zh) * 2021-12-14 2022-03-22 中国科学院深圳先进技术研究院 行为与瞳孔信息同步分析方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090003535A (ko) * 2007-06-15 2009-01-12 에스케이 텔레콤주식회사 수험자의 시선 각도를 이용하여 부정행위를 방지하는방법과 그를 위한 시스템, 서버 및 프로그램을 기록한컴퓨터로 읽을 수 있는 기록매체
CN101916365A (zh) * 2010-07-06 2010-12-15 北京竞业达数码科技有限公司 对考试作弊事件进行智能视频识别的方法
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN103324911A (zh) * 2013-05-30 2013-09-25 苏州福丰科技有限公司 一种基于人脸识别的防作弊系统
CN103631753A (zh) * 2013-12-09 2014-03-12 天津工业大学 递减子空间集成学习算法
CN106991344A (zh) * 2017-03-10 2017-07-28 重庆零二四科技有限公司 防作弊装置及其使用方法
CN110837784A (zh) * 2019-10-23 2020-02-25 中山大学 一种基于人体头部特征的考场偷窥作弊检测系统
CN111079688A (zh) * 2019-12-27 2020-04-28 中国电子科技集团公司第十五研究所 一种人脸识别中的基于红外图像的活体检测的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017027262A1 (en) * 2015-08-07 2017-02-16 Gleim Conferencing, Llc System and method for validating honest test taking

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090003535A (ko) * 2007-06-15 2009-01-12 에스케이 텔레콤주식회사 수험자의 시선 각도를 이용하여 부정행위를 방지하는방법과 그를 위한 시스템, 서버 및 프로그램을 기록한컴퓨터로 읽을 수 있는 기록매체
CN101916365A (zh) * 2010-07-06 2010-12-15 北京竞业达数码科技有限公司 对考试作弊事件进行智能视频识别的方法
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN103324911A (zh) * 2013-05-30 2013-09-25 苏州福丰科技有限公司 一种基于人脸识别的防作弊系统
CN103631753A (zh) * 2013-12-09 2014-03-12 天津工业大学 递减子空间集成学习算法
CN106991344A (zh) * 2017-03-10 2017-07-28 重庆零二四科技有限公司 防作弊装置及其使用方法
CN110837784A (zh) * 2019-10-23 2020-02-25 中山大学 一种基于人体头部特征的考场偷窥作弊检测系统
CN111079688A (zh) * 2019-12-27 2020-04-28 中国电子科技集团公司第十五研究所 一种人脸识别中的基于红外图像的活体检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡森博.基于视频的在线考试作弊行为检测方法的研究.《万方数据中国学位论文全文数据库》.2020,正文第2-5章. *

Also Published As

Publication number Publication date
CN111598049A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598049B (zh) 作弊识别方法和装置、电子设备、以及介质
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
CN110909651B (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
US20210004587A1 (en) Image detection method, apparatus, device and storage medium
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
US10318797B2 (en) Image processing apparatus and image processing method
US11455831B2 (en) Method and apparatus for face classification
US20230030267A1 (en) Method and apparatus for selecting face image, device, and storage medium
US20190236738A1 (en) System and method for detection of identity fraud
Li et al. A data-driven metric for comprehensive evaluation of saliency models
CN111339884B (zh) 图像识别方法以及相关设备、装置
CN110348385B (zh) 活体人脸识别方法和装置
CN106056083A (zh) 一种信息处理方法及终端
KR102331162B1 (ko) 전자 장치에 의해 수행되는 태권도 동작 평가 및 분석 방법
CN110826646A (zh) 机器人视觉测试方法、装置、存储介质及终端设备
CN112559341A (zh) 一种画面测试方法、装置、设备及存储介质
CN112633341A (zh) 一种界面测试方法、装置、计算机设备和存储介质
CN112581444A (zh) 一种异常检测方法、装置及设备
CN114140751B (zh) 一种考场监控方法及系统
CN110427828A (zh) 人脸活体检测方法、装置及计算机可读存储介质
CN111767829B (zh) 一种活体检测方法、装置、系统及存储介质
CN114529912A (zh) 图形验证码识别方法、装置、电子设备及可读存储介质
CN118379781B (zh) 一种基于猝倒面容识别模型的猝倒面容识别方法及装置
CN116012248B (zh) 图像处理方法、装置、计算机设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant