CN109598226B - 基于Kinect彩色及深度信息在线考试作弊判断方法 - Google Patents

基于Kinect彩色及深度信息在线考试作弊判断方法 Download PDF

Info

Publication number
CN109598226B
CN109598226B CN201811444546.0A CN201811444546A CN109598226B CN 109598226 B CN109598226 B CN 109598226B CN 201811444546 A CN201811444546 A CN 201811444546A CN 109598226 B CN109598226 B CN 109598226B
Authority
CN
China
Prior art keywords
layer
network
kinect
training
trunk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811444546.0A
Other languages
English (en)
Other versions
CN109598226A (zh
Inventor
王旭晨
刘宏申
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Technology AHUT
Original Assignee
Anhui University of Technology AHUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Technology AHUT filed Critical Anhui University of Technology AHUT
Priority to CN201811444546.0A priority Critical patent/CN109598226B/zh
Publication of CN109598226A publication Critical patent/CN109598226A/zh
Application granted granted Critical
Publication of CN109598226B publication Critical patent/CN109598226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理、计算机视觉及机器学习领域，尤其涉及一种基于Kinect彩色及深度信息在线考试作弊判断方法，包括包括面容和躯干动作数据采集、面容和躯干动作数据预处理、面容和躯干动作数据的输入、构建面容训练网络、构建躯干动作训练网络、构建汇总训练网络、训练网络优化网络的性能以及测试网络验证网络的性能八大步骤；该方法充分利用了Kinect对人脸和躯干关节返回特征数据丰富实用且真实可靠的优势，结合深度学习，既能充分发挥大规模开放在线课程的便利性，又能对在线测评进行有质量的监督，主要解决的问题是学习者在自己计算机前目前常见的无人监督或仅有限监督的测试环境使得在线教育的成绩评价和证书认证在社会上普遍缺少公信力。

Description

基于Kinect彩色及深度信息在线考试作弊判断方法
技术领域
本发明涉及图像处理、计算机视觉及机器学习领域，尤其涉及一种基于Kinect彩色及深度信息在线考试作弊判断方法。
背景技术
大规模开放在线课程MOOC是一种开放的、允许数以万计的全球学习者注册并学习的新的在线教育课程。学习者在自己家中或任意地点登陆在线MOOC课堂即可参与学习及测评。由于MOOC颠覆了传统院校式教学，其拥有效率高、学习者自主选择性强、优质教育资源共享性强等优点。教育业界也普遍在接受这一新型教育方式。然而，在线式教育的特点在考试测评环节也存在弊端。学习者在自己计算机前无人监督或仅有限监督的测试环境使得在线教育的成绩评价和证书认证在社会上普遍缺少公信力。本发明致力于设计完成一种在线对人脸面容和上部分躯干动作检测的作弊判断方法，对在线测评进行有质量的监督。
Kinect感应器是美国微软公司近年开发的一款针对人脸、躯干等人体部位的特征采集工具。Kinect有三个镜头，中间的镜头是RGB 彩色1080p高清广角摄像头，左右两边镜头则分别为红外线发射器和红外线CMOS摄影机所构成的3D结构光深度感应器。Kinect也内建阵列式麦克风，由多组麦克风同时收音，比对后消除杂音。Kinect同时提供了一系列检测人脸、躯干等人体部位的特征形态和动作单元的应用程序接口。Kinect描绘了一组标准脸型的特征数据，定义了标准脸型中如脸颊、眼睛、鼻子等部位的特征数据坐标均为0，并对每个检测到的人脸返回一组取值范围为[-2,2]的坐标去描绘该人脸相对于标准脸型的差异。并且对于躯干部位，Kinect返回一组坐标点描绘肘关节、腕关节、手指关节等关节部位的位置信息。这些信息丰富实用且真实可靠，为基于该设备设计一套在线考试作弊检测的判断方法提供了基础。
对于参与在线测评的学习者,通过提取其测评过程的脸部、躯干的即时特征数据，将实时提取到的数据送入深度网络中，通过网络输出得到一系列的分类结果监测考试人的作弊行为，比如他人代考、眼神飘渺未正对屏幕、肢体动作异常等舞弊行为。对于各类作弊行为，系统自动发出警告，累积到一定次数扣除分数，严重时立即终止考试0 分处理等对应的响应。
发明内容
(一)解决的技术问题
针对学习者在自己特定在线考试环境下所进行的无人监督或仅有限监督的成绩评价是不可信，基于此的证书认证在社会上普遍缺少公信力，本发明就是为了主要解决该问题。为此，本发明提出了一种基于Kinect彩色及深度信息在线对人脸面容和上部分躯干动作检测的作弊判断方法。
(二)技术方案
本发明通过以下技术方案予以实现：
一种基于Kinect彩色及深度信息在线考试作弊判断方法，包括面容和躯干动作数据采集、面容和躯干动作数据预处理、面容和躯干动作数据的输入、构建面容训练网络、构建躯干动作训练网络、构建汇总训练网络、训练网络优化网络的性能以及测试网络验证网络的性能八大步骤；
其中，所述面容和躯干动作数据采集，具体包括以下子步骤：
1)n组测试志愿者模拟在线考试情景，分别模拟正常答题和企图作弊的情况；
2)将Kinect放置于考试人计算机前，使用软件实时采集测试人面部特征点信息和上半部分肢体动作特征点信息；
面容和躯干动作数据预处理，具体包括以下子步骤：
1)分别对从Kinect中提取到的面部特征点与肢体动作特征点进行去噪处理，排除一些Kinect在实时提取中采取到的噪声点；
2)将去噪之后的特征点的坐标进行归一化，将它放到同一个特征空间中，归纳到[0，1]，它的具体公式如下：
x*＝(x-min)/(max-min)
其中，x表示输入，max为样本数据的最大值，min为样本数据的最小值，x*表示输出；
3)选用主成分分析的方法对重要的特征进行提取，具体为：
3.1)首先对特征点做去均值操作
3.2)计算特征点的协方差矩阵
3.3)计算协方差矩阵的特征值和特征向量
3.4)得到关于人脸和躯干最重要的N维特征
4)分别对从Kinect中提取到的面容和躯干动作数据随机选取一部分作为训练集，用于深度网络的训练，另一部分被划分为测试集，用于测试深度网络的性能；
面容和躯干动作数据的输入，具体包括以下子步骤：
1)分别将先前预处理得到的面容和躯干动作数据特征点存入到特定数据处理包中，并且在后面加入它们各自的标签；
2)引入数据包处理模块，将存在特定数据处理包中的数据和标签读取出来，并且将标签转换成独热编码；
3)将一串特征点转换为一个矩阵，用于后面输入到深度卷积网络中训练；
4)将一整批的训练集划分为多个较小的批次，通过每次的迭代送入到深度网络中；
构建面容训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据面容表情识别作弊的行为，具体包括以下步骤：
1.1)先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；
构建躯干动作训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊的行为，具体包括以下步骤：
1.1)先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；
构建汇总训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊的行为，具体包括以下步骤：
1.1)先搭建三层卷积层，每个卷积层后面跟了批量归一化层，激活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；
训练网络优化网络的性能，具体包括以下子步骤：
1)首先初始化好之前搭建好的各个深层网络中，各个层的权重项、偏置项和其他参数；
2)设置网络的初始学习率，训练的方式还有梯度下降算法及其参数；
3)将前面预处理好的数据集分批次送入到网络中去，并且每次迭代更新网络中的权重，直到网络收敛到最佳状态；
测试网络验证网络的性能，具体包括以下子步骤：
1)调节Kinect的位置和它附近的灯关，使Kinect可以接受到比较高质量的图像；
2)从Kinect实时的获得数据，并且将这些数据实时的送入到网络中然后的返回结果。
优选地，所述面容和躯干动作数据采集中的n组测试志愿者，n 取10。
优选地，面容和躯干动作数据采集中的作弊形式包括他人代考、眼神飘渺未正对屏幕、肢体动作异常等。
优选地，所述面容和躯干动作数据的输入中的标签为他人代考、眼神飘渺未正对屏幕、肢体动作异常等舞弊行为，并用0、1等标签分别表示。
优选地，所述卷积层、批量归一化层和激活层有不同的作用，其具体作用如下：
其中，卷积层的本质是特征图，卷积核则是联系前后两层网络参数的表达体；
yi＝f(Wixi+bi),i＝1,2,...,10
Wi表示第i层的权重，bi表示第i层的偏置，xi表示第i层的输入，yi表示第i层的输出；
采用Xavier方式初始化权重W后，W满足以下均匀分布；
Figure BDA0001885411890000051
nj表示该层网络输入单元数目，即卷积层输入特征图数量，nj+1表示该层网络输出单元数目，即卷积层输出特征图数量；
其中，批归一化层相当于加了一个线性变化，使下一层更加接近高斯分布的输入，相当于权重w训练时避免了输入的以偏概全；
其中，激活层给深层网络加入一个非线性函数，提高它对更加复杂的函数的拟合能力；
zi＝max(yi,0)，yi为上一层输出，zi表示激活函数的输出。
优选地，所述的全连接层、dropout层以及softmax层的作用不同，其具体作用如下：
其中，全连接层起到将学到的“分布式特征表示”映射到样本标记空间的作用；
其中，dropout层随意让一部分神经元失活，防止模型过拟合；
其中，softmax层根据前面的全连接层的输入，输出每个类别的可能概率；
Figure BDA0001885411890000061
Zi表示Z中的第i个网网络输出，aj表示第j个网络输出的概率分布。
(三)有益效果
采用本发明提供的技术方案，具有如下显著效果：
1、本发明的基于Kinect彩色及深度信息在线对人脸面容和上部分躯干动作检测的作弊判断方法，相比于现有的在线考试作弊识别方法，使用到了彩色信息和深度信息，最大化程度利用到了硬件设施为方法带来的便利性，同时也使得识别质量得到了显著提高；
2、本发明的基于Kinect彩色及深度信息在线对人脸面容和上部分躯干动作检测的作弊判断方法，在建立训练用的网络的同时，将网络扩展到五层卷积，以充分的深度提高网络的识别能力和准确度，获得了更好的作弊行为识别效果；
3、本发明的基于Kinect彩色及深度信息在线对人脸面容和上部分躯干动作检测的作弊判断方法，相比传统的无人监考识别方法，为对人像表情与肢体动作提取特征深度网络训练的方式，在识别效率上大大提高，在大规模开放在线课程在线评测等领域中有着广泛的应用前景；
4、本发明的基于Kinect彩色及深度信息在线对人脸面容和上部分躯干动作检测的作弊判断方法，讲面容和躯干动作两大作弊特征部位充分利用，又由于二者关联度不高必然导致网络学习成本高，选择将两者分为两个网络训练，并使用两网络的结果集训练最终的汇总判断网络，既保证了信息的利用率，又大大降低了网络训练成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于Kinect彩色及深度信息在线对人脸面容和上部分躯干动作检测的作弊判断方法流程图；
图2为本发明中数据集的制作流程图；
图3为构建的面容表情与躯干动作网络模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
下面结合附图并举实施例，对本发明进行详细阐述。
一种基于Kinect彩色及深度信息在线考试作弊判断方法，其步骤如下：
(1)面容和躯干动作数据采集，具体包括以下子步骤：
(1.1)10组测试志愿者模拟在线考试情景，分别模拟正常答题和企图作弊的情况，作弊形式包括他人代考、眼神飘渺未正对屏幕、肢体动作异常等。
(1.2)将Kinect放置于考试人计算机前，使用软件实时采集测试人面部特征点信息和上半部分肢体动作特征点信息。
(2)面容和躯干动作数据预处理，具体包括以下子步骤：
(2.1)分别对从Kinect中提取到的面部特征点与肢体动作特征点进行去噪处理，排除一些Kinect在实时提取中采取到的噪声点。
(2.2)将去噪之后的特征点的坐标进行归一化，将它放到同一个特征空间中，归纳到[0,1]，它的具体公式如下：
Figure RE-GDA0001955274570000081
其中，x表示输入，max为样本数据的最大值，min为样本数据的最小值，x*表示输出。
(2.3)选用主成分分析的方法对重要的特征进行提取，具体为：
(2.3.1)首先对特征点做去均值操作
(2.3.2)计算特征点的协方差矩阵
(2.3.3)计算协方差矩阵的特征值和特征向量
(2.3.4)得到关于人脸和躯干最重要的N维特征
(2.4)分别对从Kinect中提取到的面容和躯干动作数据随机选取一部分作为训练集，用于深度网络的训练，另一部分被划分为测试集，用于测试深度网络的性能。
(3)面容和躯干动作数据的输入，具体包括以下子步骤：
(3.1)分别将先前预处理得到的面容和躯干动作数据特征点存入到特定数据处理包中，并且在后面加入它们各自的标签，如：他人代考、眼神飘渺未正对屏幕、肢体动作异常等舞弊行为，把它们用0、1 等标签分别表示。
(3.2)引入数据包处理模块，将存在特定数据处理包中的数据和标签读取出来，并且将标签转换成独热编码。
(3.3)将一串特征点转换为一个矩阵，用于后面输入到深度卷积网络中训练。
(3.4)将一整批的训练集划分为多个较小的批次，通过每次的迭代送入到深度网络中。
(4)构建面容训练网络，具体包括以下子步骤：
(4.1)构建一个深度卷积网络，用于根据面容表情识别作弊的行为，具体包括以下步骤：
(4.1.1)首先，先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激活层。在这部分中，不同类型的层有有不同的作用，具体作用介绍如下：
1)卷积层，该层的本质是特征图，卷积核则是联系前后两层网络参数的表达体。
yi＝f(Wixi+bi),i＝1,2,...,10
其中，Wi表示第i层的权重，bi表示第i层的偏置，xi表示第i层的输入，yi表示第i层的输出；
另外，采用Xavier方式初始化权重W后，W满足以下均匀分布；
Figure BDA0001885411890000091
其中，nj表示该层网络输入单元数目，即卷积层输入特征图数量， nj+1表示该层网络输出单元数目，即卷积层输出特征图数量；
2)批归一化层，相当于加了一个线性变化，使下一层更加接近高斯分布的输入，相当于权重w训练时避免了输入的以偏概全。
3)激活层，给深层网络加入一个非线性函数，提高它对更加复杂的函数的拟合能力。
zi＝max(yi,0)
其中，yi为上一层输出，zi表示激活函数的输出。
(4.1.2)紧接着，再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数。在部分中，不同类型的层有有不同的作用，具体作用介绍如下：
1)全连接层，该层将学到的“分布式特征表示”映射到样本标记空间的作用。
2)dropout层，随意让一部分神经元失活，防止模型过拟合。
3)softmax层，根据前面的全连接层的输入，输出每个类别的可能概率。
Figure BDA0001885411890000101
其中，Zi表示Z中的第i个网网络输出，aj表示第j个网络输出的概率分布。
(4.1.3)最后，将损失层加入网络中，我们用交叉熵作为深层网络的损失函数，他的作用是计算损失并且反传梯度。
(5)构建躯干动作训练网络，具体包括以下子步骤：
(5.1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊的行为，具体包括以下步骤：
(5.1.1)首先，先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激活层。在这部分中，不同类型的层有有不同的作用，具体作用介绍如下：
1)卷积层，该层的本质是特征图，卷积核则是联系前后两层网络参数的表达体。
yi＝f(Wixi+bi),i＝1,2,...,10
其中，Wi表示第i层的权重，bi表示第i层的偏置，xi表示第i层的输入，yi表示第i层的输出；
另外，采用Xavier方式初始化权重W后，W满足以下均匀分布；
Figure BDA0001885411890000111
2)批归一化层，相当于加了一个线性变化，使下一层更加接近高斯分布的输入，相当于权重w训练时避免了输入的以偏概全。。
3)激活层，给深层网络加入一个非线性函数，提高它对更加复杂的函数的拟合能力。
(5.1.2)紧接着，再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数。在部分中，不同类型的层有有不同的作用，具体作用介绍如下：
1)全连接层，该层将学到的“分布式特征表示”映射到样本标记空间的作用。
2)dropout层，随意让一部分神经元失活，防止模型过拟合。
3)softmax层，根据前面的全连接层的输入，输出每个类别的可能概率。
Figure BDA0001885411890000112
其中，Zi表示Z中的第i个网网络输出，aj表示第j个网络输出的概率分布。
(5.1.3)最后，将损失层加入网络中，我们用交叉熵作为深层网络的损失函数，他的作用是计算损失并且反传梯度。
(6)构建汇总训练网络，具体包括以下子步骤：
(6.1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊的行为，具体包括以下步骤：
(6.1.1)首先，先搭建三层卷积层，每个卷积层后面跟了批量归一化层，激活层。在这部分中，不同类型的层有有不同的作用，具体作用介绍如下：
1)卷积层，该层的本质是特征图，卷积核则是联系前后两层网络参数的表达体。
2)批归一化层，相当于加了一个线性变化，使下一层更加接近高斯分布的输入，相当于权重w训练时避免了输入的以偏概全。。
3)激活层，给深层网络加入一个非线性函数，提高它对更加复杂的函数的拟合能力。
(6.1.2)紧接着，再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数。在部分中，不同类型的层有有不同的作用，具体作用介绍如下：
1)全连接层，该层将学到的“分布式特征表示”映射到样本标记空间的作用。
2)dropout层，随意让一部分神经元失活，防止模型过拟合。
3)softmax层，根据前面的全连接层的输入，输出每个类别的可能概率。
(6.1.3)最后，将损失层加入网络中，我们用交叉熵作为深层网络的损失函数，他的作用是计算损失并且反传梯度。
(7)训练网络，优化网络的性能，具体包括以下子步骤：
(7.1)首先初始化好，我们之前搭建好的各个深层网络中，各个层的权重项、偏置项和其他参数。
(7.2)设置网络的初始学习率，训练的方式还有梯度下降算法及其参数。
(7.3)将前面预处理好的数据集分批次送入到网络中去，并且每次迭代更新网络中的权重，直到网络收敛到最佳状态。
(8)测试网络，验证网络的性能，具体包括以下子步骤：
(8.1)调节Kinect的位置和它附近的灯关，使Kinect可以接受到比较高质量的图像。
(8.2)从Kinect实时的获得数据，并且将这些数据实时的送入到网络中然后的返回结果。
从以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，包括面容和躯干动作数据采集、面容和躯干动作数据预处理、面容和躯干动作数据的输入、构建面容训练网络、构建躯干动作训练网络、构建汇总训练网络、训练网络优化网络的性能以及测试网络验证网络的性能八大步骤；
其中，所述面容和躯干动作数据采集，具体包括以下子步骤：
1)n组测试志愿者模拟在线考试情景，分别模拟正常答题和企图作弊的情况；
2)将Kinect放置于考试人计算机前，使用软件实时采集测试人面部特征点信息和上半部分肢体动作特征点信息；
面容和躯干动作数据预处理，具体包括以下子步骤：
1)分别对从Kinect中提取到的面部特征点与肢体动作特征点进行去噪处理，排除一些Kinect在实时提取中采取到的噪声点；
2)将去噪之后的特征点的坐标进行归一化，将它放到同一个特征空间中，归纳到[0，1]，它的具体公式如下：
x*＝(x-min)/(max-min)
其中，x表示输入，max为样本数据的最大值，min为样本数据的最小值，x*表示输出；
3)选用主成分分析的方法对重要的特征进行提取，具体为：
3.1)首先对特征点做去均值操作
3.2)计算特征点的协方差矩阵
3.3)计算协方差矩阵的特征值和特征向量
3.4)得到关于人脸和躯干最重要的N维特征
4)分别对从Kinect中提取到的面容和躯干动作数据随机选取一部分作为训练集，用于深度网络的训练，另一部分被划分为测试集，用于测试深度网络的性能；
面容和躯干动作数据的输入，具体包括以下子步骤：
1)分别将先前预处理得到的面容和躯干动作数据特征点存入到特定数据处理包中，并且在后面加入它们各自的标签；
2)引入数据包处理模块，将存在特定数据处理包中的数据和标签读取出来，并且将标签转换成独热编码；
3)将一串特征点转换为一个矩阵，用于后面输入到深度卷积网络中训练；
4)将一整批的训练集划分为多个较小的批次，通过每次的迭代送入到深度网络中；
构建面容训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据面容表情识别作弊的行为，具体包括以下步骤：
1.1)先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；
构建躯干动作训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊的行为，具体包括以下步骤：
1.1)先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；
构建汇总训练网络，具体包括以下子步骤：
1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊的行为，具体包括以下步骤：
1.1)先搭建三层卷积层，每个卷积层后面跟了批量归一化层，激活层；
1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；
1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；
训练网络优化网络的性能，具体包括以下子步骤：
1)首先初始化好之前搭建好的各个深层网络中，各个层的权重项、偏置项和其他参数；
2)设置网络的初始学习率，训练的方式还有梯度下降算法及其参数；
3)将前面预处理好的数据集分批次送入到网络中去，并且每次迭代更新网络中的权重，直到网络收敛到最佳状态；
测试网络验证网络的性能，具体包括以下子步骤：
1)调节Kinect的位置和它附近的灯关，使Kinect可以接受到比较高质量的图像；
2)从Kinect实时的获得数据，并且将这些数据实时的送入到网络中然后的返回结果。
2.根据权利要求1所述的基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，所述面容和躯干动作数据采集中的n组测试志愿者，n取10。
3.根据权利要求1所述的基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，面容和躯干动作数据采集中的作弊形式包括他人代考、眼神飘渺未正对屏幕、肢体动作异常等。
4.根据权利要求1所述的基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，所述面容和躯干动作数据的输入中的标签为他人代考、眼神飘渺未正对屏幕、肢体动作异常等舞弊行为，并用0、1等标签分别表示。
5.根据权利要求1所述的基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，所述卷积层、批量归一化层和激活层有不同的作用，其具体作用如下：
其中，卷积层的本质是特征图，卷积核则是联系前后两层网络参数的表达体；
yi＝f(Wixi+bi),i＝1,2,...,10
Wi表示第i层的权重，bi表示第i层的偏置，xi表示第i层的输入，yi表示第i层的输出；
采用Xavier方式初始化权重W后，W满足以下均匀分布；
Figure FDA0001885411880000041
nj表示该层网络输入单元数目，即卷积层输入特征图数量，nj+1表示该层网络输出单元数目，即卷积层输出特征图数量；
其中，批归一化层相当于加了一个线性变化，使下一层更加接近高斯分布的输入，相当于权重w训练时避免了输入的以偏概全；
其中，激活层给深层网络加入一个非线性函数，提高它对更加复杂的函数的拟合能力；
zi＝max(yi,0)，yi为上一层输出，zi表示激活函数的输出。
6.根据权利要求1所述的基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，所述的全连接层、dropout层以及softmax层的作用不同，其具体作用如下：
其中，全连接层起到将学到的“分布式特征表示”映射到样本标记空间的作用；
其中，dropout层随意让一部分神经元失活，防止模型过拟合；
其中，softmax层根据前面的全连接层的输入，输出每个类别的可能概率；
Figure FDA0001885411880000051
Zi表示Z中的第i个网网络输出，aj表示第j个网络输出的概率分布。
CN201811444546.0A 2018-11-29 2018-11-29 基于Kinect彩色及深度信息在线考试作弊判断方法 Active CN109598226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811444546.0A CN109598226B (zh) 2018-11-29 2018-11-29 基于Kinect彩色及深度信息在线考试作弊判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811444546.0A CN109598226B (zh) 2018-11-29 2018-11-29 基于Kinect彩色及深度信息在线考试作弊判断方法

Publications (2)

Publication Number Publication Date
CN109598226A CN109598226A (zh) 2019-04-09
CN109598226B true CN109598226B (zh) 2022-09-13

Family

ID=65959794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811444546.0A Active CN109598226B (zh) 2018-11-29 2018-11-29 基于Kinect彩色及深度信息在线考试作弊判断方法

Country Status (1)

Country Link
CN (1) CN109598226B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353921A (zh) * 2019-08-19 2020-06-30 深圳市鸿合创新信息技术有限责任公司 一种考试管理方法及系统、电子设备
CN112990033A (zh) * 2021-03-23 2021-06-18 江门职业技术学院 异常人员处理方法、系统及计算机可读存储介质
CN113095675B (zh) * 2021-04-12 2022-03-29 华东师范大学 一种网络考试中依靠标识点监控考生动作模式的方法
CN114358135B (zh) * 2021-12-10 2024-02-09 西北大学 一种利用数据增强和特征加权实现的mooc辍学预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106407A (zh) * 2012-12-05 2013-05-15 安徽工业大学 视频段中单只猪侧视图帧属性识别方法
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108171209A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于卷积神经网络进行度量学习的人脸年龄估计方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811747B2 (en) * 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US11511156B2 (en) * 2016-03-12 2022-11-29 Arie Shavit Training system and methods for designing, monitoring and providing feedback of training

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106407A (zh) * 2012-12-05 2013-05-15 安徽工业大学 视频段中单只猪侧视图帧属性识别方法
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN108171209A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于卷积神经网络进行度量学习的人脸年龄估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多维度体感信息的在线考试异常行为监测;范子健等;《计算机工程与科学》;20180215(第02期);全文 *
基于深度卷积神经网络与中心损失的人脸识别;张延安等;《科学技术与工程》;20171218(第35期);全文 *

Also Published As

Publication number Publication date
CN109598226A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN109598226B (zh) 基于Kinect彩色及深度信息在线考试作弊判断方法
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN110414432A (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN111325115B (zh) 带有三重约束损失的对抗跨模态行人重识别方法和系统
CN107292813A (zh) 一种基于生成对抗网络的多姿态人脸生成方法
CN110175501B (zh) 基于人脸识别的多人场景专注度识别方法
CN111681178B (zh) 一种基于知识蒸馏的图像去雾方法
CN109583322A (zh) 一种人脸识别深度网络训练方法和系统
CN102136024B (zh) 生物特征识别性能测评和诊断优化系统
CN109815826A (zh) 人脸属性模型的生成方法及装置
CN109344759A (zh) 一种基于角度损失神经网络的亲属识别方法
CN109086754A (zh) 一种基于深度学习的人体姿态识别方法
CN110826453A (zh) 一种通过提取人体关节点坐标的行为识别方法
CN113762133A (zh) 基于人体姿态识别的自重健身辅助教练系统、方法、终端
CN111582342B (zh) 一种图像识别方法、装置、设备以及可读存储介质
CN110503000B (zh) 一种基于人脸识别技术的教学抬头率测量方法
CN109377429A (zh) 一种人脸识别素质教育智慧评价系统
CN113221655B (zh) 基于特征空间约束的人脸欺骗检测方法
CN114783043B (zh) 一种儿童行为轨迹定位方法和系统
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN114170537A (zh) 一种多模态三维视觉注意力预测方法及其应用
CN111882516A (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN115984956B (zh) 一种人机协同学生课堂投入度多模态可视分析系统
Pei et al. Convolutional neural networks for class attendance
CN113591797B (zh) 一种深度视频行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant