CN110781762B - 一种基于姿态的考试作弊检测方法 - Google Patents

Abstract

本发明公开了一种基于姿态的考试作弊检测方法，包括如下步骤：图像预处理：统一图像尺寸，对图像进行光照补偿，增加图像的对比度；考场视频中人的姿态特征提取：通过深度神经网络获得图像中人的关键点的坐标并完成人体姿态的拼接；考生姿态序列生成：采用基于投票的方法确定考生的位置，然后以图像中检测到的考生的质心与考生位置的欧式距离为判定准则，生成考生在时间上的姿态序列；考生可疑行为识别；作弊考生确定以及作弊片段截取。该基于姿态的考试作弊检测方法可以准确快速的筛选出海量考试监控视频中存在作弊嫌疑的片段，达到节省人力开支、提高工作效率、降低视频回放成本的目的。

Description

一种基于姿态的考试作弊检测方法

技术领域

本发明涉及一种考试作弊检测方法，首先提取视频中人的姿态特征，然后通过对姿态特征进行统计分析，判断考生是否存在作弊行为，适用于各种考试视频分析，属于计算机视觉和视频理解技术领域。

背景技术

为了分析考试中的考风问题，如考生作弊行为、监考老师不作为等，在高考，研究生考试、成人自考和学业水平测试等各类考试后，需要进行考试视频回放。考试视频回放任务需要大量的时间和金钱成本，尤其是大型考试。大型考试有数十个考点，上百个考场，而且考试时间较长(通常在两个小时以上)，需要大量的人力观看考试视频。考试视频回放的费用也是十分高昂的。某省一年需要进行多次考试视频回放，进行一次大型考试视频回放的成本通常在几十万元，一年进行考试视频回放的资金投入就需要上百万元。因此需要一个考试视频大数据分析系统，能自动的分析考生的行为，进而分析考试中存在的问题，一方面对考试的公平、公正起到至关重要的作用，另一方面对作弊行为起到威慑作用，从源头上减少考试作弊的发生。

文献“基于视频行为分析的智能监考辅助系统”运用YOLOv3算法检测出人体以及违禁品边框，接着用MTCNN算法检测面部姿态，最后对行为异常进行检测分析并给出异常警告。该方法受光照影响较大，且对视频的清晰度要求较高，而且对作弊行为分析存在不足。

文献“基于3D卷积双路神经网络的考场行为异常识别”提出了基于双路的考场异常行为识别方法。该方法结合了改进的3D卷积神经网络和双摄像头的监控系统，设计了新的双路网络结构的视频特征提取器，将双路网络提取到的行为特征向量进行融合。该方法适用于具有双摄像头监控的考场，但是现在考场大多为单摄像头监控，此外该方法的误检率比较高。

公开号CN201610418466的专利“考试作弊检测方法和装置”首先获取考场的监控图像；在所述监控图像中检测出考生的局部动作；根据所述局部动作判断所述考生是否作弊，并在判断出所述考生作弊时发出警报。该方法无法对考生的作弊行为进行全面的分析。

公开号CN201910110600的专利“一种考场防作弊监控系统”使用智能穿戴设备、摄像模块、定位模块和监控模块同时检测考生的心率和行为特征，但是这样庞大的系统不仅造价高昂而且使用起来极其麻烦，几乎无法推广。

公开号CN201010226332的专利“对考试作弊事件进行智能视频识别的方法”首先针对考场监控视频，通过高斯混合模型的建立和更新提取考场前景和背景，根据所述前景图像提取运动像素特征值，再将考生在考场中所处区域的特征值提取出来，作为下一步决策树判断的数据，并根据所述决策树的数据来判断相应的作弊事件，但该系统对考生的作弊行为检测有些片面。

因此，提供一种新的考试作弊检测方法，以解决上述问题，成为人们亟待解决的问题。

发明内容

鉴于此，本发明的目的在于提供一种基于姿态的考试作弊检测方法，采用提取考场视频中人体的姿态特征来分析考场中考生的行为特征，进而筛选具有作弊嫌疑考生的视频，同时检测考生的作弊行为，从而减少人力成本，提高工作效率。

本发明提供的技术方案是：一种基于姿态的考试作弊检测方法，包括如下步骤：

S1：图像预处理

统一图像尺寸，采用Gamma矫正对图像进行光照补偿，采用局部直方图均衡增加图像的对比度；

S2：考场视频中人的姿态特征提取

通过深度神经网络模型对经过预处理后的图像进行检测识别，并使用TensorRT对神经网络的推理过程提速，得到图像中人的关键点的坐标并完成人体姿态的拼接；

S3：考生姿态序列生成

采用基于投票的方法确定考生的位置，然后以图像中检测到的考生的质心与考生位置的欧式距离为判定准则，生成考生在时间上的姿态序列；

S4：考生可疑行为识别

根据考生姿态序列，得到考生的姿态变化情况，并根据所述姿态变化情况统计考生的运动频次、考生张望动作频次、考生回头动作频次、考生重复动作频次及考生掏兜动作频次；

S5：作弊考生确定以及作弊片段截取

根据考生的运动频次、张望动作频次、回头动作频次、重复动作频次以及掏兜动作频次计算每个考生的作弊可疑评分Score，按照评分Score对考生进行排序，根据用户的需求选取候选作弊考生人数，同时截取对应考生的张望、回头、重复和掏兜动作片段以供人工审核。

优选，S2中，人的关键点包括：鼻子关键点、左眼关键点、右眼关键点、左耳关键点、右耳关键点、脖子关键点、左肩关键点、右肩关键点、左肘关键点、右肘关键点、左手关键点和右手关键点。

进一步优选，S2中使用TensorRT对神经网络的推理过程提速，得到图像中人的关键点的坐标并完成人体姿态的拼接包括如下步骤：

使用TensorRT对神经网络的推理过程加速，从神经网络模型中得到图像中所有人关键点的置信度矩阵以及肢体方向矩阵；

对于置信度矩阵，若某一点的置信度大于周围其他八个像素点，则认定这个点为关键点，人体关键点集合为S，S＝(S₁,S₂,...,S_J)，其中S_j代表一个关键点，j代表关键点序号；

每个肢体由两个关键点S_i和S_j构成，如果向量

的方向与肢体方向矩阵中对应位置的方向一致，则将S_i与S_j配对形成肢体，得到各部分肢体的集合L，L＝(L₁,L₂,...,L_C)，其中，L代表肢体，c代表肢体序号；

根据肢体之间的连接关系，使用匈牙利算法将匹配得到的所有肢体进行组合，形成若干个人体骨架，即姿态。

进一步优选，S3具体包括如下步骤：

S31：确定考生大致位置：从监控视频中间取500帧作为基础帧，对姿态估计结果进行处理，得到考生在考场中的大致位置；

S32：投票精确定位考生：对整段视频数据的时间中点前后各取半小时数据投票，增加基础帧中有遗漏和有误差的考生位置，统计一小时视频数据每个人出现的频率、离散度，通过比较离散度的大小，找到监考员的位置，去除掉监考员的位置，并得到所有考生的精确位置和活动范围根据考生的邻接位置关系对每一列考生找到一条拟合直线，并对每条直线上的考生进行排序；

S33：考生姿态序列生成：对于每一帧每个考生的姿态，取鼻子，脖子，双肩四个关键点的坐标，由四个坐标中的非零点作外接矩形，以此外接矩形的质心作为姿态质心；如果考生姿态质心在S32中得到的与其对应的活动范围内，则将该姿态并入到该考生的姿态中；遍历整个视频，得到每个考生的姿态序列。

进一步优选，S4具体包括如下步骤：

S41：考生运动编码：以编码的形式衡量考生姿态的变化情况，具体包括四个方面的编码：关键点运动编码、对应夹角变化编码、肢体朝向变化编码、肩膀朝向变化编码；

其中，关键点运动编码，包括脖子、左肩、右肩、左肘、右肘、左腕、右腕关键点的运动编码，首先计算对应关键点的位移量dis，如果dis<T1，则不存在运动编码为0；如果dis>＝T1，则存在运动，并计算运动方向direct，每45度划分一个方向，direct在区间(337.5,22.5]编码为1，每45度为一个编码，编码分别为1到8；对应夹角变化编码，包括左下臂与左上臂夹角、左上臂与肩的夹角、右下臂与右上臂的夹角、右上臂与肩的夹角，如果对应的角度变化大于T2，则编码为1，如果对应角度变化小于-T2，则编码为2，否则编码为0；肢体朝向变化编码，包括左下臂、左上臂、右下臂、右上臂的朝向，如果对应肢体朝向的变化角度大于阈值T3，则编码为1，如果对应角度变化小于-T3，则编码为2，否则编码为0；肩膀朝向变化编码：肩膀朝向包括左倾、右倾和水平三种，水平编码为0，左倾编码为1，右倾编码为2，其中，T1、T2、T3分别为阈值；

S42：考生运动频次统计：根据考生的运动编码变化判定考生是否存在运动并统计考生在考试过程中的运动频次，首先遍历考生运动编码数据，如果存在相同编码的连续片段，则记为一次该编码方向的运动，统计每个考生的运动频次并进行记录；

S43：考生张望动作频次统计：首先检测考生鼻子运动编码中的连续同方向序列作为一次头部运动过程，然后判断该头部运动过程是否符合张望行为，检测考生的张望动作并统计张望频次；

S44：考生回头动作频次统计：首先检测考生头部关键点的运动编码的连续向右或向左的动作，然后根据考生全部关键点的空间关系以及考生头部的纹理特征进行判定，检测考生的回头动作并统计回头动作频次；

S45：考生重复动作频次统计：包括眼睛的重复动作、脖子的重复动作和手的重复动作，重复动作是检测一个时间单元内考生的运动编码序列中是否出现多个相同的运动编码序列，检测考生的重复动作并统计重复动作频次；

S46：考生掏兜动作频次统计：根据考生的手、肘、肩以及头部关键点的运动编码序列判断，检测考生的掏兜动作并统计掏兜动作频次。

本发明提供的基于姿态的考试作弊检测方法，可以对海量考试视频进行事后自动分析，自动筛选有作弊嫌疑考生的视频，同时截取考生作弊行为发生的片段，可以快速准确的完成考试视频回放工作，有巨大的市场应用价值和社会意义。

附图说明

下面结合附图及实施方式对本发明作进一步详细的说明：

图1为本发明提供的基于姿态的考试作弊检测方法的流程图。

具体实施方式

下面将结合具体的实施方案对本发明进行进一步的解释，但并不局限本发明。

如图1所示，本发明提供了一种基于姿态的考试作弊检测方法，包括如下步骤：

S1：图像预处理

不同的地区的考场视频由于环境的不同，会造成监控图像质量的差异性，因此需要对其进行预处理来提升检测效果，包括：图像尺寸的更改、图像的光照补偿以及图像对比度增强，具体地：统一图像尺寸，采用Gamma矫正对图像进行光照补偿，采用局部直方图均衡增加图像的对比度；

S2：考场视频中人的姿态特征提取

通过深度神经网络模型对经过预处理后的图像进行检测识别，并使用TensorRT对神经网络的推理过程提速，得到图像中人的关键点的坐标并完成人体姿态的拼接；

其中，人的关键点优选包括：鼻子关键点、左眼关键点、右眼关键点、左耳关键点、右耳关键点、脖子关键点、左肩关键点、右肩关键点、左肘关键点、右肘关键点、左手关键点和右手关键点。

优选，S2中使用TensorRT对神经网络的推理过程提速，得到图像中人的关键点的坐标并完成人体姿态的拼接包括如下步骤：

使用TensorRT对神经网络的推理过程加速，从神经网络模型中得到图中所有人关键点的置信度矩阵以及肢体方向矩阵；

对于置信度矩阵，若某一点的置信度大于周围其他八个像素点，则认定这个点为关键点，人体关键点集合为S，S＝(S₁,S₂,...,S_J)，其中S_j代表一个关键点，j代表关键点序号；

每个肢体由两个关键点S_i和S_j构成，如果向量

的方向与肢体方向矩阵中对应位置的方向一致，则将S_i与S_j配对形成肢体，得到各部分肢体的集合L，L＝(L₁,L₂,...,L_C)，其中，L代表肢体，c代表肢体序号；

根据肢体之间的连接关系，使用匈牙利算法将匹配得到的所有肢体进行组合，形成若干个人体骨架，即姿态。

S3：考生姿态序列生成

采用基于投票的方法确定考生的位置，然后以图像中检测到的考生的质心与考生位置的欧式距离为判定准则，生成考生在时间上的姿态序列，优选包括如下步骤：

S31：确定考生大致位置：从监控视频中间取500帧作为基础帧，对姿态估计结果进行处理，得到考生在考场中的大致位置；

S32：投票精确定位考生：对整段视频数据的中点前后各取半小时数据投票，增加基础帧中有遗漏和有误差的考生位置，统计一小时视频数据每个人出现的频率、离散度，通过比较离散度的大小，找到监考员的位置，去除掉监考员的位置，并得到所有考生的精确位置和活动范围；根据考生的邻接位置关系对每一列考生找到一条拟合直线，并对每条直线上的考生进行排序；

S33：考生姿态序列生成：对于每一帧每个考生的姿态，取鼻子，脖子，双肩四个关键点的坐标，由四个坐标中的非零点作外接矩形，以此外接矩形的质心作为姿态质心；如果考生姿态质心在S32中得到的与其对应的活动范围内，则将该姿态并入到该考生的姿态中；遍历整个视频，得到每个考生的姿态序列；

S4：考生可疑行为识别

根据考生姿态序列，得到考生的姿态变化情况，并根据所述姿态变化情况统计考生的运动频次、考生张望动作频次、考生回头动作频次、考生重复动作频次及考生掏兜动作频次，优选包括如下步骤：

S41：考生运动编码：以编码的形式衡量考生姿态的变化情况，具体包括四个方面的编码：关键点运动编码、对应夹角变化编码、肢体朝向变化编码、肩膀朝向变化编码；

其中，关键点运动编码，包括脖子、左肩、右肩、左肘、右肘、左腕、右腕关键点的运动编码，首先计算对应关键点的位移量dis，如果dis<T1，则不存在运动编码为0；如果dis>＝T1，则存在运动，并计算运动方向direct，每45度划分一个方向，direct在区间(337.5,22.5]编码为1，每45度为一个编码，编码分别为1到8；对应夹角变化编码，包括左下臂与左上臂夹角、左上臂与肩的夹角、右下臂与右上臂的夹角、右上臂与肩的夹角，如果对应的角度变化大于T2，则编码为1，如果对应角度变化小于-T2，则编码为2，否则编码为0；肢体朝向变化编码，包括左下臂、左上臂、右下臂、右上臂的朝向，如果对应肢体朝向的变化角度大于阈值T3，则编码为1，如果对应角度变化小于-T3，则编码为2，否则编码为0；肩膀朝向变化编码：肩膀朝向包括左倾、右倾和水平三种，水平编码为0，左倾编码为1，右倾编码为2，其中，T1、T2、T3分别为阈值；

S42：考生运动频次统计：根据考生的运动编码变化判定考生是否存在运动并统计考生在考试过程中的运动频次，首先遍历考生运动编码数据，如果存在相同编码的连续片段，则记为一次该编码方向的运动，统计每个考生的运动频次并进行记录；

S43：考生张望动作频次统计：首先检测考生鼻子运动编码中的连续同方向序列作为一次头部运动过程，然后判断该头部运动过程是否符合张望行为，检测考生的张望动作并统计张望频次；

S44：考生回头动作频次统计：首先检测考生头部关键点的运动编码的连续向右或向左的动作，然后根据考生全部关键点的空间关系以及考生头部的纹理特征进行判定，检测考生的回头动作并统计回头动作频次；

S45：考生重复动作频次统计：包括眼睛的重复动作、脖子的重复动作和手的重复动作，重复动作是检测一个时间单元内考生的运动编码序列中是否出现多个相同的运动编码序列，检测考生的重复动作并统计重复动作频次；

S46：考生掏兜动作频次统计：根据考生的手、肘、肩以及头部关键点的运动编码序列判断，检测考生的掏兜动作并统计掏兜动作频次。

S5：作弊考生确定以及作弊片段截取

根据考生的运动频次、张望动作频次、回头动作频次、重复动作频次以及掏兜动作频次计算每个考生的作弊可疑评分Score，按照评分Score对考生进行排序，根据用户的需求选取候选作弊考生人数，同时截取对应考生的张望、回头、重复和掏兜动作片段以供人工审核。

本发明提供的基于姿态的考试作弊检测方法，可以对海量考试视频进行事后自动分析，自动筛选有作弊嫌疑考生的视频，同时截取考生作弊行为发生的片段，可以快速准确的完成考试视频回放工作，有巨大的市场应用价值和社会意义。

Claims (4)

1.一种基于姿态的考试作弊检测方法，其特征在于，包括如下步骤：

S1：图像预处理

统一图像尺寸，采用Gamma矫正对图像进行光照补偿，采用局部直方图均衡增加图像的对比度；

S2：考场视频中人的姿态特征提取

通过深度神经网络模型对经过预处理后的图像进行姿态估计，并使用TensorRT对神经网络的推理过程提速，得到图像中人的关键点的坐标并完成人体姿态的拼接；

S3：考生姿态序列生成

采用基于投票的方法确定考生的位置，然后以图像中检测到的考生的质心与考生位置的欧式距离为判定准则，生成考生在时间上的姿态序列；

S3具体包括如下步骤：

S31：确定考生大致位置：从监控视频中间取500帧作为基础帧，对姿态估计结果进行处理，得到考生在考场中的大致位置；

S32：投票精确定位考生：对整段视频数据的中点前后各取半小时数据投票，增加基础帧中有遗漏和有误差的考生位置，统计一小时视频数据每个人出现的频率、离散度，通过比较离散度的大小，找到监考员的位置，去除掉监考员的位置，并得到所有考生的精确位置和活动范围；根据考生的邻接位置关系对每一列考生找到一条拟合直线，并对每条直线上的考生进行排序；

S33：考生姿态序列生成：对于每一帧每个考生的姿态，取鼻子，脖子，双肩四个关键点的坐标，由四个坐标中的非零点作外接矩形，以此外接矩形的质心作为姿态质心；如果考生姿态质心在S32中得到的与其对应的活动范围内，则将该姿态并入到该考生的姿态中；遍历整个视频，得到每个考生的姿态序列；

S4：考生可疑行为识别

根据考生姿态序列，得到考生的姿态变化情况，并根据姿态变化结果统计考生的运动频次、考生张望动作频次、考生回头动作频次、考生重复动作频次及考生掏兜动作频次；

S5：作弊考生确定以及作弊片段截取

根据考生的运动频次、张望动作频次、回头动作频次、重复动作频次以及掏兜动作频次计算每个考生的作弊可疑评分Score，按照评分Score对考生进行排序，根据用户的需求选取候选作弊考生人数，同时截取对应考生的张望、回头、重复和掏兜动作片段以供人工审核。

2.按照权利要求1所述基于姿态的考试作弊检测方法，其特征在于：S2中，人的关键点包括：鼻子关键点、左眼关键点、右眼关键点、左耳关键点、右耳关键点、脖子关键点、左肩关键点、右肩关键点、左肘关键点、右肘关键点、左手关键点和右手关键点。

3.按照权利要求1所述基于姿态的考试作弊检测方法，其特征在于：S2中使用TensorRT对神经网络的推理过程提速，得到图像中人的关键点的坐标并完成人体姿态的拼接包括如下步骤：

使用TensorRT对神经网络的推理过程加速，采用神经网络得到图像中所有关键点的置信度矩阵以及肢体方向矩阵；

对于置信度矩阵，若某一点的置信度大于周围其他八个像素点，则认定这个点为关键点，人体关键点集合为S，S＝(S₁,S₂,...,S_J)，其中S_j代表一个关键点，j代表关键点序号；

每个肢体由两个关键点S_i和S_j构成，如果向量

的方向与肢体方向矩阵中对应位置的方向一致，则将S_i与S_j配对形成肢体，得到各部分肢体的集合L，L＝(L₁,L₂,...,L_C)，其中，L代表肢体，c代表肢体序号；

根据肢体之间的连接关系，使用匈牙利算法将匹配得到的所有肢体进行组合，形成若干个人体骨架，即姿态。

4.按照权利要求1所述基于姿态的考试作弊检测方法，其特征在于：S4具体包括如下步骤：

S41：考生运动编码：以编码的形式衡量考生姿态的变化情况，具体包括四个方面的编码：关键点运动编码、对应夹角变化编码、肢体朝向变化编码、肩膀朝向变化编码；

其中，关键点运动编码，包括脖子、左肩、右肩、左肘、右肘、左腕、右腕关键点的运动编码，首先计算对应关键点的位移量dis，如果dis<T1，则不存在运动编码为0；如果dis>＝T1，则存在运动，并计算运动方向direct，每45度划分一个方向，direct在区间(337.5,22.5]编码为1，每45度为一个编码，编码分别为1到8；对应夹角变化编码，包括左下臂与左上臂夹角、左上臂与肩的夹角、右下臂与右上臂的夹角、右上臂与肩的夹角，如果对应的角度变化大于T2，则编码为1，如果对应角度变化小于-T2，则编码为2，否则编码为0；肢体朝向变化编码，包括左下臂、左上臂、右下臂、右上臂的朝向，如果对应肢体朝向的变化角度大于阈值T3，则编码为1，如果对应角度变化小于-T3，则编码为2，否则编码为0；肩膀朝向变化编码：肩膀朝向包括左倾、右倾和水平三种，水平编码为0，左倾编码为1，右倾编码为2，其中，T1、T2、T3分别为阈值；

S42：考生运动频次统计：根据考生的运动编码变化判定考生是否存在运动并统计考生在考试过程中的运动频次，首先遍历考生运动编码数据，如果存在相同编码的连续片段，则记为一次该编码方向的运动，统计每个考生的运动频次并进行记录；

S43：考生张望动作频次统计：首先检测考生鼻子运动编码中的连续同方向序列作为一次头部运动过程，然后判断该头部运动过程是否符合张望行为，检测考生的张望动作并统计张望频次；

S44：考生回头动作频次统计：首先检测考生头部关键点的运动编码的连续向右或向左的动作，然后根据考生全部关键点的空间关系以及考生头部的纹理特征进行判定，检测考生的回头动作并统计回头动作频次；

S45：考生重复动作频次统计：包括眼睛的重复动作、脖子的重复动作和手的重复动作，重复动作是检测一个时间单元内考生的运动编码序列中是否出现多个相同的运动编码序列，检测考生的重复动作并统计重复动作频次；

S46：考生掏兜动作频次统计：根据考生的手、肘、肩以及头部关键点的运动编码序列判断，检测考生的掏兜动作并统计掏兜动作频次。

Images