CN110135282B - 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法，通过采用VGG深度神经网络模型检测考生关节以及肢体的位置；计算头部五个关键点的中心点p_c(x,y)，利用距离度量准则计算头部中心点p_c(x,y)与肩部关键点p_s(x,y)之间的距离d_(c,s)来判断是否满足疑似作弊条件；通过前一帧头部中心点p_c ^f(x,y)与当前帧头部中心点p_c ^b(x,y)之间的位移差d_(f,b)及回头次数判断是否满足作弊条件；然后通过进一步计算头部两侧关键点的置信度差判定考生是否存在回头抄袭作弊行为。本方法通过对视频中疑似回头抄袭作弊的考生进行检测，可对考生作弊行为的图像信息进行精确地提取和定位，极大地减轻了相关人员的工作量，提高了工作效率和准确率。

Description

一种基于深度卷积神经网络模型的考生回头抄袭作弊检测 方法

技术领域

本发明涉及计算机视觉与模式识别的技术领域，具体涉及一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法。

背景技术

考生作弊行为检测系统或方法已成为数字图像处理、模式识别、计算机视觉分析领域的新兴应用方向，对考生作弊行为检测的研究，是未来智能信息化普及，各类教育文化考试场地建设的一项关键技术。具有一定的前沿性和导向作用，有着巨大的市场应用价值和社会意义。

考生作弊行为检测方法研究是目前计算机视觉领域的一大难题，现阶段国内外诸多学者团队围绕深度学习神经网络展开了深入研究，但将此技术应用到考生作弊行为检测领域的案例却甚少。

专利“一种基于大数据分析在线考试监考系统”(CN201711022450.0)，以客户端、Web服务器、云储存等网络资源作为载体，通过对IP地址、网关信息、摄像头是否开启等做检测，判断考生是否存在在线作弊行为。专利“一种考场防作弊管理系统”(CN201810152948.7)，基于物联网技术实现硬件条件的升级，通过在教室内安装的多个影像录入模块，实现对考生行为的实时提醒。专利“对考试作弊事件进行智能视频识别的方法”(CN201010226332.3)，采用高斯混合模型对视频中的前景图像和背景图像进行分离，将运动像素特征值作为输入数据对决策树进行训练，该方法以单一的颜色信息作为分类特征，属于浅层特征信息表达，没有充分考虑到纹理、边缘、空间等深度特征信息。且该方法以考生的整体状态作为分类信息，损失掉了考生局部部位的特征，不能够对作弊考生与非作弊考生的特征差异给与充分的表达。而深度特征包含有大量的特征信息，可有效用于考生关节细小动作的分析与识别。此外，还有一些针对不同对象作弊的检测方法研究，如专利“一种作弊站点的检测方法和装置”(CN201711310287.8)，通过采集站点的振动占比信息对网站是否存在作弊操作进行检测，专利“游艺场的作弊检测系统”(CN201680045982.3)，对按照输赢结果进行筹码的回收及偿还的游戏中的作弊行为进行检测的作弊检测系统等。然而，诸如此类的作弊检测系统或检测方法都未能够将现阶段计算机视觉领域研究热点之一的深度神经网络技术引入其中，该技术在此领域的应用尚处空白。

发明内容

本发明的技术任务是针对以上现有技术的不足，而提供一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法，以深度卷积神经网络为支撑，通过提取考生的深度特征信息确定关键点位置及置信度，再采取一定的规则对疑似存在回头作弊行为的考生进行分级判断，最后根据置信度做出考生是否作弊的最终判定。

本发明解决其技术问题所采用的技术方案是：一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法，包括如下步骤：

步骤1:采用VGG深度神经网络模型对图像进行特征提取得到特征向量F，对图像中考生各部位关键点进行检测得到集合P，并计算出对应的置信度C；

步骤2:计算头部五个关键点的中心点p_c(x,y)，利用距离度量准则，求得头部中心点p_c(x,y)与肩部关键点p_s(x,y)之间的距离d_(c,s)，并判断是否满足疑似作弊条件；

步骤3:如果判断存在疑似回头抄袭，则进一步进行二次判断，计算相邻两帧图像中，前一帧头部中心点p_c ^f(x,y)与当前帧头部中心点p_c ^b(x,y)之间的位移差d_(f,b)及回头次数，并判断是否满足作弊条件；

步骤4:如果二次判断结果同样满足作弊条件，则进一步计算头部两侧关键点的置信度差，若差值不低于阈值则可做出终判断，判定考生存在回头抄袭作弊行为。

本发明的技术方案相比现有技术具有的优点在于：

1.本发明采用基于计算机视觉的深度神经网络模型特征提取方法对回头抄袭作弊考生行为进行检测，通过对视频中疑似回头抄袭作弊的考生进行检测，可对考生作弊行为的图像信息进行精确地提取和定位，极大地减轻了相关人员的工作量，提高了工作效率和准确率，具有应用价值和推广前景；

2.提出了基于关键点技术的考生坐姿转头预测方法，同时计算出头部多个关键点的中心点信息，并结合肩部位置信息形成转头判别规则；

3.提出了基于置信度预测的考生坐姿回头判别方法，根据考生头部两侧对称部位的置信度差异化特征，对是否存在回头作弊行为进行判断。

附图说明

图1本发明所述方法流程示意图；

图2人体关键点分布图；

图3关键点检测结果图；

图4置信度计算结果图；

图5回头作弊检测结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供的一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法，流程如图1所示，具体技术方案如下：

第一步，要完成对于图像中考生的全身18个关键点的检测工作，得到每个关键的具体坐标位置，人体18个关键点的分布情况如图2所示，其中，头部的关键点分布最为密集，为准确分析考生头部运动的方向和位移提供了必要的支持；

为了能够提取出图像的深度特征信息，有效地对考生各部位关键点进行精确表达，实现对于关键点的检测及置信度的计算，本发明采用经典的VGG(Visual GeometryGroup Net)深度卷积神经网络对考生各部位的特征信息进行提取得到特征向量集合F，并完成各模型的训练，通过计算每个关节部位的积分图，得到对应的关键点坐标集合P以及每个关键点对应的置信度C，如公式(1)和公式(2)所示：

P＝ρ(F) (1)

其中，P＝{p₍₁₎,p₍₂₎,…,p_(n)}表示图像中n名考生的关键点信息，G则表示图像中关键点真实所在的实际位置，ρ表示卷积神经网络处理过程，σ为高斯分布的参数，C＝{c⁰,c¹,…,c¹⁷}；提取图像特征所采用的VGG深度卷积神经网络共有13层，其中包括卷积层10层，池化层3层，卷积层的大小全部设置为：3×3，池化层的大小全部设置为2×2；对考生进行关键点检测的结果及其对应的置信度情况如图3和图4所示。

第二步，在完成关键点信息获取的预处理阶段后，可以对每名考生是否存在疑似回头作弊行为进行独立的初步判断，由于本方法旨在对考生的回头抄袭作弊进行检测，因此仅对身体的头、肩两部位的部分关键点进行预测判断即可，实验证明此方法可行且高效，在本步骤中，首先根据考生头部的五个关键点位置信息计算出该中心点坐标p_c(x,y)，计算方法如公式(3)所示：

p_c(x,y)＝((p_min(x)+p_max(x))/2,(p_min(y)+p_max(y))/2) (3)

其中，p_max(x)与p_min(x)分别表示头部五个关键点横坐标中的最大值与最小值即，

p_max(y)与p_min(y)分别表示头部五个关键点纵坐标中的最大值与最小值即，

k为关键点的下标。然后根据得到的头部中心点位置，以及第一步骤中已经获得的考生肩部关键点坐标信息，可以计算出头部与肩部的位置关系，这里采用的距离度量准则如公式(4)所示：

d_(c,s)＝|p_c(x)-p_s(x)| (4)

其中，p_s(x)为肩部关键点的横坐标值，s取值为2或5，表示右肩或左肩，d_(c,s)为头部中心点与肩部之间的距离，当头肩两部位之间的距离小于该名考生双肩之间距离的1/3时，则可判断其有疑似回头的行为发生，现取连续N帧图像作为一个滑动窗口，当该窗口内的疑似回头动作次数超过阈值J₁，则可初步判断考生有疑似回头抄袭作弊行为。

第三步，对疑似作弊的考生进行再判断，从当前滑动窗口内，每间隔四帧取一帧图像，在所有图像中的前后相邻两帧里，以第二步骤中得到的考生头部中心点为对象，计算两帧内中心点之间的位移关系进而得出转头方向，具体如公式(5)所示：

其中，d_(f,b)表示前后两帧图像中考生头部的位移，p_c ^b(x,y)为当前帧中考生的头部中心点坐标，p_c ^f(x,y)为前一帧中考生的头部中心点坐标，若直线位移超过一定的大小，则判断其有回头动作，如果在一个滑动窗口内，且同一方向上的回头动作发生次数超过阈值J₂，那么可以再次进一步地判断该名考生有回头抄袭作弊行为的嫌疑。

第四步，对第二步骤和第三步骤中检测出疑似回头作弊的图像帧进行终判断，根据第一步骤中得到的考生眼部和耳部的置信度值c¹⁴、c¹⁵、c¹⁶和c¹⁷，分别对在第二步骤和第三步骤中检测到的包含有疑似回头动作的图像帧，计算其左眼与右眼的置信度差值以及左耳与右耳的置信度差值，如果有任一部位的差值不低于阈值J₃即，

那么即可判定该帧属于回头作弊动作，对所有疑似帧进行逐一判断后，若保留数量仍不低于各自的阈值即J₁和J₂，则可做出最终判断，判定该名考生存在回头抄袭作弊行为。

本发明中的阈值J₁、J₂及J₃可根据实际需求人为设定。

本发明所述方法的回头作弊检测结果如图5所示，当考生头部中心点距离肩部的位置较近，转头动作的前后帧位移较大，且头部左右两侧置信度差值较为明显时，可判定考生存在回头作弊行为，实验证明检测效果较好。

以上技术方案阐述了本发明的技术思路，不能以此限定本发明的保护范围，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上技术方案所作的任何改动及修饰，均属于本发明技术方案的保护范围。

Claims (6)

1.一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法，其特征在于，包括如下步骤：

步骤1:采用VGG深度神经网络模型对图像进行特征提取得到特征向量F，对图像中考生各部位关键点进行检测得到集合P，并计算出对应的置信度C；

步骤2:计算头部五个关键点的中心点p_c(x,y)，利用距离度量准则，求得头部中心点p_c(x,y)与肩部关键点p_s(x,y)之间的距离d_(c,s)，并判断是否满足疑似回头抄袭作弊条件，其中，肩部关键点的横坐标值p_s(x)，s取值为2或5，表示右肩或左肩，当头肩两部位之间的距离d_(c,s)小于该名考生双肩之间距离的1/3时，则可判断其有疑似回头的行为发生，取连续N帧图像作为一个滑动窗口，当该窗口内的疑似回头动作次数超过阈值J₁，则可初步判断考生有疑似回头抄袭作弊行为；

步骤3:如果判断存在疑似回头抄袭作弊，则进一步进行二次判断，从当前滑动窗口内，每间隔四帧取一帧图像，在每间隔四帧取出的所有帧图像中的前后相邻两帧里，计算相邻两帧图像中，前一帧头部中心点p_c ^f(x,y)与当前帧头部中心点p_c ^b(x,y)之间的位移差d_(f,b)及回头次数，并判断是否满足回头抄袭作弊条件，其中，若位移差d_(f,b)超过一定的大小，则判断其有回头动作，如果在一个滑动窗口内，且同一方向上的回头动作发生次数超过阈值J₂，那么可以再次进一步地判断该名考生有回头抄袭作弊行为的嫌疑；

步骤4:如果二次判断结果同样满足回头抄袭作弊条件，则进一步计算头部两侧关键点的置信度差，若差值不低于阈值则可做出终判断，判定考生存在回头抄袭作弊行为。

2.根据权利要求1所述的一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法，其特征在于，所述步骤1具体包括：

采用VGG深度卷积神经网络对考生各部位的特征信息进行提取得到特征向量集合F，并完成网络模型的迭代训练，通过计算每个关节部位的积分图，得到对应的关键点坐标集合P以及每个关键点对应的置信度C，如公式(1)和公式(2)所示：

P＝ρ(F) (1)

其中，P＝{P(1),P(2),…,P(n)}表示图像中n名考生的关键点信息，G则表示图像中关键点真实所在的实际位置，ρ表示卷积神经网络处理过程，σ为高斯分布的参数，C＝{c⁰,c¹,…,c¹⁷}。

3.根据权利要求2所述的一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法，其特征在于，所述步骤1中提取图像特征所采用的VGG深度卷积神经网络共有13层，其中包括卷积层10层，池化层3层，卷积层的大小全部设置为：3×3，池化层的大小全部设置为2×2。

4.根据权利要求1所述的一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法，其特征在于，所述步骤2中头部中心点p_c(x,y)，以及头部中心点p_c(x,y)与肩部关键点p_s(x,y)之间的距离d_(c,s)的计算方法为：

头部中心点p_c(x,y)的计算方法如公式(3)所示：

p_c(x,y)＝((p_min(x)+p_max(x))/2,(p_min(y)+p_max(y))/2) (3)

其中，p_max(x)与p_min(x)分别表示头部五个关键点横坐标中的最大值与最小值即，

p_max(y)与p_min(y)分别表示头部五个关键点纵坐标中的最大值与最小值即，

头部中心点与肩部之间的距离d_(c,s)的计算采用的距离度量准则如公式(4)所示：

d_(c,s)＝|p_c(x)-p_s(x)| (4)

其中，p_c(x)为头部中心点的横坐标，p_s(x)为肩部关键点的横坐标值。

5.根据权利要求1所述的一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法，其特征在于，所述步骤3中判断是否满足回头抄袭作弊条件的方法为：

从当前滑动窗口内，每间隔四帧取一帧图像，在每间隔四帧取出的所有帧图像中的前后相邻两帧里，以步骤2中得到的考生头部中心点为对象，计算两帧内中心点之间的位移关系进而得出转头方向，考生头部的位移差计算如公式(5)所示：

其中，d_(f,b)表示前后两帧图像中考生头部的位移差，p_c ^b(x,y)为当前帧中考生的头部中心点坐标，p_c ^f(x,y)为前一帧中考生的头部中心点坐标。

6.根据权利要求5所述的一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法，其特征在于，所述步骤4具体包括：

对步骤2和步骤3中检测出疑似回头作弊的图像帧进行终判断，根据步骤1中得到的考生眼部和耳部的置信度值c¹⁴、c¹⁵、c¹⁶和c¹⁷，分别对在步骤2和步骤3中检测到的包含有疑似回头动作的图像帧，计算其左眼与右眼的置信度差值以及左耳与右耳的置信度差值，如果有任一部位的差值不低于阈值J₃即，

那么即可判定该帧属于回头作弊动作，对所有疑似帧进行逐一判断后，若保留数量仍不低于各自的阈值即J₁和J₂，则可做出最终判断，判定该名考生存在回头抄袭作弊行为。

Images