CN109598226A - 基于Kinect彩色及深度信息在线考试作弊判断方法 - Google Patents

基于Kinect彩色及深度信息在线考试作弊判断方法 Download PDF

Info

Publication number
CN109598226A
CN109598226A CN201811444546.0A CN201811444546A CN109598226A CN 109598226 A CN109598226 A CN 109598226A CN 201811444546 A CN201811444546 A CN 201811444546A CN 109598226 A CN109598226 A CN 109598226A
Authority
CN
China
Prior art keywords
network
layer
face
kinect
body work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811444546.0A
Other languages
English (en)
Other versions
CN109598226B (zh
Inventor
王旭晨
刘宏申
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Technology AHUT
Original Assignee
Anhui University of Technology AHUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Technology AHUT filed Critical Anhui University of Technology AHUT
Priority to CN201811444546.0A priority Critical patent/CN109598226B/zh
Publication of CN109598226A publication Critical patent/CN109598226A/zh
Application granted granted Critical
Publication of CN109598226B publication Critical patent/CN109598226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理、计算机视觉及机器学习领域，尤其涉及一种基于Kinect彩色及深度信息在线考试作弊判断方法，包括包括面容和躯干动作数据采集、面容和躯干动作数据预处理、面容和躯干动作数据的输入、构建面容训练网络、构建躯干动作训练网络、构建汇总训练网络、训练网络优化网络的性能以及测试网络验证网络的性能八大步骤；该方法充分利用了Kinect对人脸和躯干关节返回特征数据丰富实用且真实可靠的优势，结合深度学习，既能充分发挥大规模开放在线课程的便利性，又能对在线测评进行有质量的监督，主要解决的问题是学习者在自己计算机前目前常见的无人监督或仅有限监督的测试环境使得在线教育的成绩评价和证书认证在社会上普遍缺少公信力。

Description

基于Kinect彩色及深度信息在线考试作弊判断方法
技术领域
本发明涉及图像处理、计算机视觉及机器学习领域，尤其涉及一 种基于Kinect彩色及深度信息在线考试作弊判断方法。
背景技术
大规模开放在线课程MOOC是一种开放的、允许数以万计的全球 学习者注册并学习的新的在线教育课程。学习者在自己家中或任意地 点登陆在线MOOC课堂即可参与学习及测评。由于MOOC颠覆了传 统院校式教学，其拥有效率高、学习者自主选择性强、优质教育资源 共享性强等优点。教育业界也普遍在接受这一新型教育方式。然而， 在线式教育的特点在考试测评环节也存在弊端。学习者在自己计算机 前无人监督或仅有限监督的测试环境使得在线教育的成绩评价和证书 认证在社会上普遍缺少公信力。本发明致力于设计完成一种在线对人 脸面容和上部分躯干动作检测的作弊判断方法，对在线测评进行有质 量的监督。
Kinect感应器是美国微软公司近年开发的一款针对人脸、躯干 等人体部位的特征采集工具。Kinect有三个镜头，中间的镜头是RGB 彩色1080p高清广角摄像头，左右两边镜头则分别为红外线发射器和 红外线CMOS摄影机所构成的3D结构光深度感应器。Kinect也内建 阵列式麦克风，由多组麦克风同时收音，比对后消除杂音。Kinect同 时提供了一系列检测人脸、躯干等人体部位的特征形态和动作单元的 应用程序接口。Kinect描绘了一组标准脸型的特征数据，定义了标准 脸型中如脸颊、眼睛、鼻子等部位的特征数据坐标均为0，并对每个检 测到的人脸返回一组取值范围为[-2,2]的坐标去描绘该人脸相对于标准脸型的差异。并且对于躯干部位，Kinect返回一组坐标点描绘肘关节、 腕关节、手指关节等关节部位的位置信息。这些信息丰富实用且真实 可靠，为基于该设备设计一套在线考试作弊检测的判断方法提供了基 础。
对于参与在线测评的学习者,通过提取其测评过程的脸部、躯干的 即时特征数据，将实时提取到的数据送入深度网络中，通过网络输出 得到一系列的分类结果监测考试人的作弊行为，比如他人代考、眼神 飘渺未正对屏幕、肢体动作异常等舞弊行为。对于各类作弊行为，系 统自动发出警告，累积到一定次数扣除分数，严重时立即终止考试0 分处理等对应的响应。
发明内容
(一)解决的技术问题
针对学习者在自己特定在线考试环境下所进行的无人监督或仅有 限监督的成绩评价是不可信，基于此的证书认证在社会上普遍缺少公 信力，本发明就是为了主要解决该问题。为此，本发明提出了一种基 于Kinect彩色及深度信息在线对人脸面容和上部分躯干动作检测的作 弊判断方法。
(二)技术方案
本发明通过以下技术方案予以实现：
一种基于Kinect彩色及深度信息在线考试作弊判断方法，包括面 容和躯干动作数据采集、面容和躯干动作数据预处理、面容和躯干动 作数据的输入、构建面容训练网络、构建躯干动作训练网络、构建汇 总训练网络、训练网络优化网络的性能以及测试网络验证网络的性能 八大步骤；
其中，所述面容和躯干动作数据采集，具体包括以下子步骤：
1)n组测试志愿者模拟在线考试情景，分别模拟正常答题和企图 作弊的情况；
2)将Kinect放置于考试人计算机前，使用软件实时采集测试人面 部特征点信息和上半部分肢体动作特征点信息；
面容和躯干动作数据预处理，具体包括以下子步骤：
1)分别对从Kinect中提取到的面部特征点与肢体动作特征点进行 去噪处理，排除一些Kinect在实时提取中采取到的噪声点；
2)将去噪之后的特征点的坐标进行归一化，将它放到同一个特征 空间中，归纳到[0，1]，它的具体公式如下：
x*＝(x-min)/(max-min)
其中，x表示输入，max为样本数据的最大值，min为样本数据的 最小值，x*表示输出；
3)选用主成分分析的方法对重要的特征进行提取，具体为：
3.1)首先对特征点做去均值操作
3.2)计算特征点的协方差矩阵
3.3)计算协方差矩阵的特征值和特征向量
3.4)得到关于人脸和躯干最重要的N维特征
4)分别对从Kinect中提取到的面容和躯干动作数据随机选取一部 分作为训练集，用于深度网络的训练，另一部分被划分为测试集，用 于测试深度网络的性能；
面容和躯干动作数据的输入，具体包括以下子步骤：
1)分别将先前预处理得到的面容和躯干动作数据特征点存入到特 定数据处理包中，并且在后面加入它们各自的标签；
2)引入数据包处理模块，将存在特定数据处理包中的数据和标签 读取出来，并且将标签转换成独热编码；
3)将一串特征点转换为一个矩阵，用于后面输入到深度卷积网络 中训练；
4)将一整批的训练集划分为多个较小的批次，通过每次的迭代送 入到深度网络中；
构建面容训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据面容表情识别作弊的行为， 具体包括以下步骤：
1.1)先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激 活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层， 最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函 数，其作用是计算损失并且反传梯度；
构建躯干动作训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊 的行为，具体包括以下步骤：
1.1)先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激 活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层， 最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函 数，其作用是计算损失并且反传梯度；
构建汇总训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊 的行为，具体包括以下步骤：
1.1)先搭建三层卷积层，每个卷积层后面跟了批量归一化层，激 活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层， 最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函 数，其作用是计算损失并且反传梯度；
训练网络优化网络的性能，具体包括以下子步骤：
1)首先初始化好之前搭建好的各个深层网络中，各个层的权重项、 偏置项和其他参数；
2)设置网络的初始学习率，训练的方式还有梯度下降算法及其参 数；
3)将前面预处理好的数据集分批次送入到网络中去，并且每次迭 代更新网络中的权重，直到网络收敛到最佳状态；
测试网络验证网络的性能，具体包括以下子步骤：
1)调节Kinect的位置和它附近的灯关，使Kinect可以接受到比较 高质量的图像；
2)从Kinect实时的获得数据，并且将这些数据实时的送入到网络 中然后的返回结果。
优选地，所述面容和躯干动作数据采集中的n组测试志愿者，n 取10。
优选地，面容和躯干动作数据采集中的作弊形式包括他人代考、 眼神飘渺未正对屏幕、肢体动作异常等。
优选地，所述面容和躯干动作数据的输入中的标签为他人代考、 眼神飘渺未正对屏幕、肢体动作异常等舞弊行为，并用0、1等标签分 别表示。
优选地，所述卷积层、批量归一化层和激活层有不同的作用，其 具体作用如下：
其中，卷积层的本质是特征图，卷积核则是联系前后两层网络参 数的表达体；
yi＝f(Wixi+bi),i＝1,2,...,10
Wi表示第i层的权重，bi表示第i层的偏置，xi表示第i层的输入，yi表示第i层的输出；
采用Xavier方式初始化权重W后，W满足以下均匀分布；
nj表示该层网络输入单元数目，即卷积层输入特征图数量，nj+1表 示该层网络输出单元数目，即卷积层输出特征图数量；
其中，批归一化层相当于加了一个线性变化，使下一层更加接近 高斯分布的输入，相当于权重w训练时避免了输入的以偏概全；
其中，激活层给深层网络加入一个非线性函数，提高它对更加复 杂的函数的拟合能力；
zi＝max(yi,0)，yi为上一层输出，zi表示激活函数的输出。
优选地，所述的全连接层、dropout层以及softmax层的作用不同， 其具体作用如下：
其中，全连接层起到将学到的“分布式特征表示”映射到样本标 记空间的作用；
其中，dropout层随意让一部分神经元失活，防止模型过拟合；
其中，softmax层根据前面的全连接层的输入，输出每个类别的可 能概率；
Zi表示Z中的第i个网网络输出，aj表示第j个网络输 出的概率分布。
(三)有益效果
采用本发明提供的技术方案，具有如下显著效果：
1、本发明的基于Kinect彩色及深度信息在线对人脸面容和上部分 躯干动作检测的作弊判断方法，相比于现有的在线考试作弊识别方法， 使用到了彩色信息和深度信息，最大化程度利用到了硬件设施为方法 带来的便利性，同时也使得识别质量得到了显著提高；
2、本发明的基于Kinect彩色及深度信息在线对人脸面容和上部分 躯干动作检测的作弊判断方法，在建立训练用的网络的同时，将网络 扩展到五层卷积，以充分的深度提高网络的识别能力和准确度，获得 了更好的作弊行为识别效果；
3、本发明的基于Kinect彩色及深度信息在线对人脸面容和上部分 躯干动作检测的作弊判断方法，相比传统的无人监考识别方法，为对 人像表情与肢体动作提取特征深度网络训练的方式，在识别效率上大 大提高，在大规模开放在线课程在线评测等领域中有着广泛的应用前 景；
4、本发明的基于Kinect彩色及深度信息在线对人脸面容和上部分 躯干动作检测的作弊判断方法，讲面容和躯干动作两大作弊特征部位 充分利用，又由于二者关联度不高必然导致网络学习成本高，选择将 两者分为两个网络训练，并使用两网络的结果集训练最终的汇总判断 网络，既保证了信息的利用率，又大大降低了网络训练成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描 述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图 仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于Kinect彩色及深度信息在线对人脸面容和上部分躯干 动作检测的作弊判断方法流程图；
图2为本发明中数据集的制作流程图；
图3为构建的面容表情与躯干动作网络模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结 合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实 施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
下面结合附图并举实施例，对本发明进行详细阐述。
一种基于Kinect彩色及深度信息在线考试作弊判断方法，其步骤 如下：
(1)面容和躯干动作数据采集，具体包括以下子步骤：
(1.1)10组测试志愿者模拟在线考试情景，分别模拟正常答题和 企图作弊的情况，作弊形式包括他人代考、眼神飘渺未正对屏幕、肢 体动作异常等。
(1.2)将Kinect放置于考试人计算机前，使用软件实时采集测试 人面部特征点信息和上半部分肢体动作特征点信息。
(2)面容和躯干动作数据预处理，具体包括以下子步骤：
(2.1)分别对从Kinect中提取到的面部特征点与肢体动作特征点 进行去噪处理，排除一些Kinect在实时提取中采取到的噪声点。
(2.2)将去噪之后的特征点的坐标进行归一化，将它放到同一个 特征空间中，归纳到[0,1]，它的具体公式如下：
其中，x表示输入，max为样本数据的最大值，min为样本数据的 最小值，x*表示输出。
(2.3)选用主成分分析的方法对重要的特征进行提取，具体为：
(2.3.1)首先对特征点做去均值操作
(2.3.2)计算特征点的协方差矩阵
(2.3.3)计算协方差矩阵的特征值和特征向量
(2.3.4)得到关于人脸和躯干最重要的N维特征
(2.4)分别对从Kinect中提取到的面容和躯干动作数据随机选取 一部分作为训练集，用于深度网络的训练，另一部分被划分为测试集， 用于测试深度网络的性能。
(3)面容和躯干动作数据的输入，具体包括以下子步骤：
(3.1)分别将先前预处理得到的面容和躯干动作数据特征点存入 到特定数据处理包中，并且在后面加入它们各自的标签，如：他人代 考、眼神飘渺未正对屏幕、肢体动作异常等舞弊行为，把它们用0、1 等标签分别表示。
(3.2)引入数据包处理模块，将存在特定数据处理包中的数据和 标签读取出来，并且将标签转换成独热编码。
(3.3)将一串特征点转换为一个矩阵，用于后面输入到深度卷积 网络中训练。
(3.4)将一整批的训练集划分为多个较小的批次，通过每次的迭 代送入到深度网络中。
(4)构建面容训练网络，具体包括以下子步骤：
(4.1)构建一个深度卷积网络，用于根据面容表情识别作弊的行 为，具体包括以下步骤：
(4.1.1)首先，先搭建五层卷积层，每个卷积层后面跟了批量归 一化层，激活层。在这部分中，不同类型的层有有不同的作用，具体 作用介绍如下：
1)卷积层，该层的本质是特征图，卷积核则是联系前后两层网络 参数的表达体。
yi＝f(Wixi+bi),i＝1,2,...,10
其中，Wi表示第i层的权重，bi表示第i层的偏置，xi表示第i层的 输入，yi表示第i层的输出；
另外，采用Xavier方式初始化权重W后，W满足以下均匀分布；
其中，nj表示该层网络输入单元数目，即卷积层输入特征图数量， nj+1表示该层网络输出单元数目，即卷积层输出特征图数量；
2)批归一化层，相当于加了一个线性变化，使下一层更加接近高 斯分布的输入，相当于权重w训练时避免了输入的以偏概全。
3)激活层，给深层网络加入一个非线性函数，提高它对更加复杂 的函数的拟合能力。
zi＝max(yi,0)
其中，yi为上一层输出，zi表示激活函数的输出。
(4.1.2)紧接着，再搭建三层全连接层，前两层全连接层后面再 接一个drop层，最后一个全连接层则接上一个softmax激活函数。在 部分中，不同类型的层有有不同的作用，具体作用介绍如下：
1)全连接层，该层将学到的“分布式特征表示”映射到样本标记 空间的作用。
2)dropout层，随意让一部分神经元失活，防止模型过拟合。
3)softmax层，根据前面的全连接层的输入，输出每个类别的可 能概率。
其中，Zi表示Z中的第i个网网络输出，aj表示第j个网络输出的 概率分布。
(4.1.3)最后，将损失层加入网络中，我们用交叉熵作为深层网 络的损失函数，他的作用是计算损失并且反传梯度。
(5)构建躯干动作训练网络，具体包括以下子步骤：
(5.1)构建一个深度卷积网络，用于根据上半部分躯干动作识别 作弊的行为，具体包括以下步骤：
(5.1.1)首先，先搭建五层卷积层，每个卷积层后面跟了批量归 一化层，激活层。在这部分中，不同类型的层有有不同的作用，具体 作用介绍如下：
1)卷积层，该层的本质是特征图，卷积核则是联系前后两层网络 参数的表达体。
yi＝f(Wixi+bi),i＝1,2,...,10
其中，Wi表示第i层的权重，bi表示第i层的偏置，xi表示第i层的 输入，yi表示第i层的输出；
另外，采用Xavier方式初始化权重W后，W满足以下均匀分布；
2)批归一化层，相当于加了一个线性变化，使下一层更加接近高 斯分布的输入，相当于权重w训练时避免了输入的以偏概全。。
3)激活层，给深层网络加入一个非线性函数，提高它对更加复杂 的函数的拟合能力。
(5.1.2)紧接着，再搭建三层全连接层，前两层全连接层后面再 接一个drop层，最后一个全连接层则接上一个softmax激活函数。在 部分中，不同类型的层有有不同的作用，具体作用介绍如下：
1)全连接层，该层将学到的“分布式特征表示”映射到样本标记 空间的作用。
2)dropout层，随意让一部分神经元失活，防止模型过拟合。
3)softmax层，根据前面的全连接层的输入，输出每个类别的可 能概率。
其中，Zi表示Z中的第i个网网络输出，aj表示第j个网络输出的 概率分布。
(5.1.3)最后，将损失层加入网络中，我们用交叉熵作为深层网 络的损失函数，他的作用是计算损失并且反传梯度。
(6)构建汇总训练网络，具体包括以下子步骤：
(6.1)构建一个深度卷积网络，用于根据上半部分躯干动作识别 作弊的行为，具体包括以下步骤：
(6.1.1)首先，先搭建三层卷积层，每个卷积层后面跟了批量归 一化层，激活层。在这部分中，不同类型的层有有不同的作用，具体 作用介绍如下：
1)卷积层，该层的本质是特征图，卷积核则是联系前后两层网络 参数的表达体。
2)批归一化层，相当于加了一个线性变化，使下一层更加接近高 斯分布的输入，相当于权重w训练时避免了输入的以偏概全。。
3)激活层，给深层网络加入一个非线性函数，提高它对更加复杂 的函数的拟合能力。
(6.1.2)紧接着，再搭建三层全连接层，前两层全连接层后面再 接一个drop层，最后一个全连接层则接上一个softmax激活函数。在 部分中，不同类型的层有有不同的作用，具体作用介绍如下：
1)全连接层，该层将学到的“分布式特征表示”映射到样本标记 空间的作用。
2)dropout层，随意让一部分神经元失活，防止模型过拟合。
3)softmax层，根据前面的全连接层的输入，输出每个类别的可 能概率。
(6.1.3)最后，将损失层加入网络中，我们用交叉熵作为深层网 络的损失函数，他的作用是计算损失并且反传梯度。
(7)训练网络，优化网络的性能，具体包括以下子步骤：
(7.1)首先初始化好，我们之前搭建好的各个深层网络中，各个 层的权重项、偏置项和其他参数。
(7.2)设置网络的初始学习率，训练的方式还有梯度下降算法及 其参数。
(7.3)将前面预处理好的数据集分批次送入到网络中去，并且每 次迭代更新网络中的权重，直到网络收敛到最佳状态。
(8)测试网络，验证网络的性能，具体包括以下子步骤：
(8.1)调节Kinect的位置和它附近的灯关，使Kinect可以接受到 比较高质量的图像。
(8.2)从Kinect实时的获得数据，并且将这些数据实时的送入到 网络中然后的返回结果。
从以上实施例仅用以说明本发明的技术方案，而非对其限制；尽 管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人 员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不 使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，包括面容和躯干动作数据采集、面容和躯干动作数据预处理、面容和躯干动作数据的输入、构建面容训练网络、构建躯干动作训练网络、构建汇总训练网络、训练网络优化网络的性能以及测试网络验证网络的性能八大步骤；
其中，所述面容和躯干动作数据采集，具体包括以下子步骤：
1)n组测试志愿者模拟在线考试情景，分别模拟正常答题和企图作弊的情况；
2)将Kinect放置于考试人计算机前，使用软件实时采集测试人面部特征点信息和上半部分肢体动作特征点信息；
面容和躯干动作数据预处理，具体包括以下子步骤：
1)分别对从Kinect中提取到的面部特征点与肢体动作特征点进行去噪处理，排除一些Kinect在实时提取中采取到的噪声点；
2)将去噪之后的特征点的坐标进行归一化，将它放到同一个特征空间中，归纳到[0，1]，它的具体公式如下：
x*＝(x-min)/(max-min)
其中，x表示输入，max为样本数据的最大值，min为样本数据的最小值，x*表示输出；
3)选用主成分分析的方法对重要的特征进行提取，具体为：
3.1)首先对特征点做去均值操作
3.2)计算特征点的协方差矩阵
3.3)计算协方差矩阵的特征值和特征向量
3.4)得到关于人脸和躯干最重要的N维特征
4)分别对从Kinect中提取到的面容和躯干动作数据随机选取一部分作为训练集，用于深度网络的训练，另一部分被划分为测试集，用于测试深度网络的性能；
面容和躯干动作数据的输入，具体包括以下子步骤：
1)分别将先前预处理得到的面容和躯干动作数据特征点存入到特定数据处理包中，并且在后面加入它们各自的标签；
2)引入数据包处理模块，将存在特定数据处理包中的数据和标签读取出来，并且将标签转换成独热编码；
3)将一串特征点转换为一个矩阵，用于后面输入到深度卷积网络中训练；
4)将一整批的训练集划分为多个较小的批次，通过每次的迭代送入到深度网络中；
构建面容训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据面容表情识别作弊的行为，具体包括以下步骤：
1.1)先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；
构建躯干动作训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊的行为，具体包括以下步骤：
1.1)先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；
构建汇总训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊的行为，具体包括以下步骤：
1.1)先搭建三层卷积层，每个卷积层后面跟了批量归一化层，激活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；
训练网络优化网络的性能，具体包括以下子步骤：
1)首先初始化好之前搭建好的各个深层网络中，各个层的权重项、偏置项和其他参数；
2)设置网络的初始学习率，训练的方式还有梯度下降算法及其参数；
3)将前面预处理好的数据集分批次送入到网络中去，并且每次迭代更新网络中的权重，直到网络收敛到最佳状态；
测试网络验证网络的性能，具体包括以下子步骤：
1)调节Kinect的位置和它附近的灯关，使Kinect可以接受到比较高质量的图像；
2)从Kinect实时的获得数据，并且将这些数据实时的送入到网络中然后的返回结果。
2.根据权利要求1所述的基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，所述面容和躯干动作数据采集中的n组测试志愿者，n取10。
3.根据权利要求1所述的基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，面容和躯干动作数据采集中的作弊形式包括他人代考、眼神飘渺未正对屏幕、肢体动作异常等。
4.根据权利要求1所述的基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，所述面容和躯干动作数据的输入中的标签为他人代考、眼神飘渺未正对屏幕、肢体动作异常等舞弊行为，并用0、1等标签分别表示。
5.根据权利要求1所述的基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，所述卷积层、批量归一化层和激活层有不同的作用，其具体作用如下：
其中，卷积层的本质是特征图，卷积核则是联系前后两层网络参数的表达体；
yi＝f(Wixi+bi),i＝1,2,...,10
Wi表示第i层的权重，bi表示第i层的偏置，xi表示第i层的输入，yi表示第i层的输出；
采用Xavier方式初始化权重W后，W满足以下均匀分布；
nj表示该层网络输入单元数目，即卷积层输入特征图数量，nj+1表示该层网络输出单元数目，即卷积层输出特征图数量；
其中，批归一化层相当于加了一个线性变化，使下一层更加接近高斯分布的输入，相当于权重w训练时避免了输入的以偏概全；
其中，激活层给深层网络加入一个非线性函数，提高它对更加复杂的函数的拟合能力；
zi＝max(yi,0)，yi为上一层输出，zi表示激活函数的输出。
6.根据权利要求1所述的基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，所述的全连接层、dropout层以及softmax层的作用不同，其具体作用如下：
其中，全连接层起到将学到的“分布式特征表示”映射到样本标记空间的作用；
其中，dropout层随意让一部分神经元失活，防止模型过拟合；
其中，softmax层根据前面的全连接层的输入，输出每个类别的可能概率；
Zi表示Z中的第i个网网络输出，aj表示第j个网络输出的概率分布。
CN201811444546.0A 2018-11-29 2018-11-29 基于Kinect彩色及深度信息在线考试作弊判断方法 Active CN109598226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811444546.0A CN109598226B (zh) 2018-11-29 2018-11-29 基于Kinect彩色及深度信息在线考试作弊判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811444546.0A CN109598226B (zh) 2018-11-29 2018-11-29 基于Kinect彩色及深度信息在线考试作弊判断方法

Publications (2)

Publication Number Publication Date
CN109598226A true CN109598226A (zh) 2019-04-09
CN109598226B CN109598226B (zh) 2022-09-13

Family

ID=65959794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811444546.0A Active CN109598226B (zh) 2018-11-29 2018-11-29 基于Kinect彩色及深度信息在线考试作弊判断方法

Country Status (1)

Country Link
CN (1) CN109598226B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353921A (zh) * 2019-08-19 2020-06-30 深圳市鸿合创新信息技术有限责任公司 一种考试管理方法及系统、电子设备
CN112990033A (zh) * 2021-03-23 2021-06-18 江门职业技术学院 异常人员处理方法、系统及计算机可读存储介质
CN113095675A (zh) * 2021-04-12 2021-07-09 华东师范大学 一种网络考试中依靠标识点监控考生动作模式的方法
CN114358135A (zh) * 2021-12-10 2022-04-15 西北大学 一种利用数据增强和特征加权实现的mooc辍学预测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108169A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
CN103106407A (zh) * 2012-12-05 2013-05-15 安徽工业大学 视频段中单只猪侧视图帧属性识别方法
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
US20170368413A1 (en) * 2016-03-12 2017-12-28 Arie Shavit Training system and methods for designing, monitoring and providing feedback of training
CN108171209A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于卷积神经网络进行度量学习的人脸年龄估计方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108169A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
CN103106407A (zh) * 2012-12-05 2013-05-15 安徽工业大学 视频段中单只猪侧视图帧属性识别方法
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
US20170368413A1 (en) * 2016-03-12 2017-12-28 Arie Shavit Training system and methods for designing, monitoring and providing feedback of training
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN108171209A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于卷积神经网络进行度量学习的人脸年龄估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张延安等: "基于深度卷积神经网络与中心损失的人脸识别", 《科学技术与工程》 *
范子健等: "基于多维度体感信息的在线考试异常行为监测", 《计算机工程与科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353921A (zh) * 2019-08-19 2020-06-30 深圳市鸿合创新信息技术有限责任公司 一种考试管理方法及系统、电子设备
CN112990033A (zh) * 2021-03-23 2021-06-18 江门职业技术学院 异常人员处理方法、系统及计算机可读存储介质
CN113095675A (zh) * 2021-04-12 2021-07-09 华东师范大学 一种网络考试中依靠标识点监控考生动作模式的方法
CN113095675B (zh) * 2021-04-12 2022-03-29 华东师范大学 一种网络考试中依靠标识点监控考生动作模式的方法
CN114358135A (zh) * 2021-12-10 2022-04-15 西北大学 一种利用数据增强和特征加权实现的mooc辍学预测方法
CN114358135B (zh) * 2021-12-10 2024-02-09 西北大学 一种利用数据增强和特征加权实现的mooc辍学预测方法

Also Published As

Publication number Publication date
CN109598226B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN109598226A (zh) 基于Kinect彩色及深度信息在线考试作弊判断方法
CN109191588B (zh) 运动教学方法、装置、存储介质及电子设备
CN208421888U (zh) 一种基于人脸识别的学生实时考勤系统
CN104915643B (zh) 一种基于深度学习的行人再标识方法
CN107331220A (zh) 基于增强现实的变电设备运维仿真培训系统和方法
CN107292813A (zh) 一种基于生成对抗网络的多姿态人脸生成方法
CN109657553A (zh) 一种学生课堂注意力检测方法
Hu et al. Research on abnormal behavior detection of online examination based on image information
WO2021077382A1 (zh) 一种学习状态的判断方法、装置及智能机器人
CN106295522A (zh) 一种基于多角度人脸和环境信息的两级防欺骗检测方法
CN111144275A (zh) 一种基于人脸识别的跑步智能测试系统及方法
CN109377429A (zh) 一种人脸识别素质教育智慧评价系统
CN107845300A (zh) 一种实时监控的安全考试系统
CN109101879A (zh) 一种vr虚拟课堂教学的姿态交互系统及实现方法
CN108764640A (zh) 一种基于大数据的个性化的动态教学诊断与改进系统
CN111291613A (zh) 一种课堂表现评价方法及系统
CN110309813A (zh) 一种基于深度学习的人眼状态检测的模型训练方法、检测方法、装置、移动端设备及服务器
CN111382672A (zh) 在线考试的作弊监测方法和装置
CN113313168A (zh) 无人监考的智能防作弊自助考试系统
CN111523445A (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
Yang et al. Research on face recognition sports intelligence training platform based on artificial intelligence
CN110314361A (zh) 一种基于卷积神经网络的篮球进球得分判断方法及系统
CN107818707A (zh) 一种自动出题的考试系统
CN111739636A (zh) 一种基于ppat的心理智能分析系统
Tarek et al. Yoga Trainer for Beginners Via Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant