CN112818796A - 一种适用于在线监考场景下的智能姿态判别方法和存储设备 - Google Patents

Abstract

本发明涉及计算机视觉算法技术领域，具体为一种适用于在线监考场景下的智能姿态判别方法和存储设备。所述一种适用于在线监考场景下的智能姿态判别方法，包括步骤：获取考生在线考试视频图像帧数据，并对所述视频图像帧数据进行处理得人体关键点坐标；根据所述人体关键点坐标得考生身体姿态的多维向量；输入所述多维向量至预先建立好的姿态判别模型中，根据预先设置的阈值对该考生的身体姿态是否存在异常进行判断。整个过程中，无需人工参与，即可自动化对学生的身体姿态进行判断，进而辅助判断学生是否存在作弊行为等，大大节约人力，减少人为的漏判，使得在线监考可得到更大的推广。

Description

一种适用于在线监考场景下的智能姿态判别方法和存储设备

技术领域

本发明涉及计算机视觉算法技术领域，特别涉及一种适用于在线监考场景下的智能姿态判别方法和存储设备。

背景技术

在线监考是实现远程教育的一个重要过程。区别于传统的现场监考，在线监考的实施过程中监考人员中面临着巨大的监考难度，目前已有的在线监考模式主要还是以传统人工监视(即监考员保持时刻关注所有考生的实时考试画面)为主。存在耗费人力、监考力度不足、防范作弊行为效率低下等缺点。

在线考试中考生的环境各异，尤其是在大规模人员的考试中，监考人员无法保持时刻关注每个考生的实时考试视频。针对在线监考场景，从实时监考的视频画面内容分析，其是一个较为规范的视频场景，主要内容包含考生和考试设备。考试过程，考生动作姿态的变化都可能伴随着作弊行为发生的可能性，若是采用传统的人工肉眼监视远程考试画面，常常会因为发生遗漏从而导致对可疑作弊行为的漏判。

故此，如何识别在线监控环境下的人体姿态并完成对疑似作弊行为的辅助预警成了亟需解决的技术问题。

发明内容

为此，需要提供一种适用于在线监考场景下的智能姿态判别方法，用以解决在线监考过程中，人工无法兼顾每个过程，造成监考力度不足、耗费人力、防范作弊行为效率低下等技术问题。具体技术方案如下：

一种适用于在线监考场景下的智能姿态判别方法，包括步骤：获取考生在线考试视频图像帧数据，并对所述视频图像帧数据进行处理得人体关键点坐标；

根据所述人体关键点坐标得考生身体姿态的多维向量；

输入所述多维向量至预先建立好的姿态判别模型中，根据预先设置的阈值对该考生的身体姿态是否存在异常进行判断。

进一步的，所述“输入所述多维向量至预先建立好的姿态判别模型中”前，还包括步骤：

建立姿态判别模型；

所述“建立姿态判别模型”，具体还包括步骤：

定义考生上半身移动最小概率密度阀值minpost属于(0,1)；

对于所有f(x(t))>minpost的时间段构建集合：

其中f(x)函数为身体姿态多维向量的概率密度；

定义不合理姿态置信度：

VP＝μ(1-f(x(t)))

其中μ为常系数用来调整总体大小。VP是关于X(t)的函数，VP反映了考生在t时刻做出姿态X(t)的不合理程度。该值与f(x)负相关，VP越大说明考生上半身姿态越不寻常。

定义随机变量不合理姿态频次：

即在t₀到t₀+t时间段内考生出现k次不合理姿态的概率为

其中[m(t₀+t)-m(t₀)]表示在t₀到t₀+t时间段内考生出现不合理姿态的平均次数。

进一步的，所述“根据预先设置的阈值对该考生的身体姿态是否存在异常进行判断”，具体还包括步骤：

设置考生异常姿态行为置信度阈值为Minposedence，若考生在(t₁，t₁+t₂)时间段内的频次概率为1-P_k(t₁，t₂)≤Minposedence，则认定为该考生在(t₁，t₁+t₂)内处于异常姿态。

进一步的，还包括步骤：若考生的身体姿态存在异常，则发出预警提示。

进一步的，所述“获取考生在线考试视频图像帧数据”，具体还包括步骤：根据指定帧率抽取视频画面；

所述人体上半身关键点包括以下中的一种或多种：鼻子、右肩、左肩、右肘、左肘、右手腕、左手腕。

为解决上述技术问题，还提供一种存储设备，具体技术方案如下：

一种存储设备，其中存储有指令集，所述指令集用于执行：获取考生在线考试视频图像帧数据，并对所述视频图像帧数据进行处理得人体关键点坐标；

根据所述人体关键点坐标得考生身体姿态的多维向量；

输入所述多维向量至预先建立好的姿态判别模型中，根据预先设置的阈值对该考生的身体姿态是否存在异常进行判断。

进一步的，所述指令集还用于执行：所述“输入所述多维向量至预先建立好的姿态判别模型中”前，还包括步骤：

建立姿态判别模型；

所述“建立姿态判别模型”，具体还包括步骤：

定义考生上半身移动最小概率密度阀值minpost属于(0,1)；

对于所有f(x(t))>minpost的时间段构建集合：

其中f(x)函数为身体姿态多维向量的概率密度；

定义不合理姿态置信度：

VP＝μ(1-f(x(t)))

其中μ为常系数用来调整总体大小。VP是关于X(t)的函数，VP反映了考生在t时刻做出姿态X(t)的不合理程度。该值与f(x)负相关，VP越大说明考生上半身姿态越不寻常。

定义随机变量姿态频次：

即在t₀到t₀+t时间段内考生出现k次不合理姿态的概率为

其中[m(t₀+t)-m(t₀)]表示在t₀到t₀+t时间段内考生出现不合理姿态的平均次数。

进一步的，所述指令集还用于执行：

所述“根据预先设置的阈值对该考生的身体姿态是否存在异常进行判断”，具体还包括步骤：

设置考生异常姿态行为置信度阈值为Minposedence，若考生在(t₁，t₁+t₂)时间段内的频次概率为1-P_k(t₁，t₂)≤Minposedence，则认定为该考生在(t₁，t₁+t₂)内处于异常姿态。

进一步的，所述指令集还用于执行：若考生的身体姿态存在异常，则发出预警提示。

进一步的，所述指令集还用于执行：

所述“获取考生在线考试视频图像帧数据”，具体还包括步骤：根据指定帧率抽取视频画面；

所述人体上半身关键点包括以下中的一种或多种：鼻子、右肩、左肩、右肘、左肘、右手腕、左手腕。

本发明的有益效果是：通过获取考生在线考试视频图像帧数据，并对所述视频图像帧数据进行处理得人体关键点坐标；根据所述人体关键点坐标得考生身体姿态的多维向量；输入所述多维向量至预先建立好的姿态判别模型中，根据预先设置的阈值对该考生的身体姿态是否存在作弊行为进行判断。整个过程中，无需人工参与，即可自动化对学生的身体姿态进行判断，进而辅助判断学生是否存在作弊行为等，大大节约人力，减少人为的漏判，使得在线监考可得到更大的推广。

附图说明

图1为具体实施方式所述一种适用于在线监考场景下的智能姿态判别方法的流程图；

图2a为具体实施方式所述标准帧图示意图；

图2b为具体实施方式所述异常帧示意图；

图3a为具体实施方式所述标准帧图标注图示意图；

图3b为具体实施方式所述异常帧标注示意图；

图4为具体实施方式所述获得输出结果的示意图；

图5为具体实施方式所述一种存储设备的模块示意图。

附图标记说明：

500、存储设备。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

首先对考生在考试过程中可能存在的可疑动作进行规范说明，检测考生手至手臂(上肢)部分的异常姿态。

身体上半部分是考生作弊的高发区域，上肢部分的异常行为通常都能反应出一定的作弊行为迹象。由于手部的动作多样，不同的学生有不同程度上的一些个人的手部小习惯(如手指灵活敲击桌面、托腮思考，双手捧脸等行为)，手部的细小行为多样化且具备的参考作弊价值低；所以我们主要检测的是手至手肘相连的整个骨骼肌的行为姿态变化，手与手肘的连接形成的骨骼肌状态在整个考试过程中是比较稳定的一种行为姿态，我们假定正常考试状态下考生的上半身姿态活动，即骨骼肌坐标是以服从高斯分布的。偶发低频率的姿态变化(例如伸懒腰、轻微转动头部、小范围活动肢体等)根据算法设定的阈值可归纳为正常行为范畴内。若考生出现高频率的转动头部、大范围的姿态活动改变、即基于骨骼肌的姿态识别返回的坐标信息超出预设阈值则认定为具有作弊嫌疑，触发报警机制。

请参阅图1，在本实施方式中，一种适用于在线监考场景下的智能姿态判别方法的具体实施方式如下：

步骤S101：获取考生在线考试视频图像帧数据，并对所述视频图像帧数据进行处理得人体关键点坐标。在实际的应用场景中，会指定在线监考设备摆放角度，规范视频设备角度；(经常默认双摄像机位，一机位为正前方角度主要拍摄为考生的正脸，二机位为侧右方角度用来监控整体考试过程中考生的行为姿态。本申请中默认选用二机位视频画面)；且根据指定帧率抽取视频画面。

并利用现有的基于人体骨骼肌的图像处理方法对抽取的视频图像帧数据进行处理，获取人体关键点坐标在图像内的三维坐标(x,y,z)，所述人体关键点包括以下中的一种或多种：鼻子、右肩、左肩、右肘、左肘、右手腕、左手腕。

步骤S102：根据所述人体关键点坐标得考生身体姿态的多维向量。

将考生的身体姿态记为多维向量：

X(t)是一个多维随机变量，NOSE(t)、RIGHT_SHOULDER(t)、LEFT_SHOULDER(t)、RIGHT_ELBOW(t)、RIGHT_ELBOW(t)、RIGHT_WRIST(t)分别是鼻子、右肩、左肩、右肘、左肘、右手腕、左手腕。它们都是关于t的连续函数。其中X(t)服从于参数为均值向量u(t)和协方差矩阵函数∑(t)的多维高斯过程。

步骤S103：输入所述多维向量至预先建立好的姿态判别模型中。步骤S103之前还包括步骤：建立姿态判别模型；

所述“建立姿态判别模型”，具体还包括步骤：

对考生在时间t₀到t₁的上半身姿态移动频次进行建模。定义考生上半身移动最小概率密度阀值minpost属于(0,1)；

对于所有f(x(t))>minpost的时间段构建集合：

该集合包含所有概率密度较小的上半身姿态运动的时间段，设定这些时间段为更有可能出现作弊行为，而概率密度较大的行为所在的时间段不应给予过多考虑，所以在这里通过常参数minpost过滤掉。通过调节参数minpost可以调节系统对上半身姿态运动的敏感程度，极端情况下若minpost＝0系统会考虑所有姿态。

其中f(x)函数为身体姿态多维向量的概率密度：

其中D为X(t)的维数，∑为D*D的正定矩阵；

定义不合理姿态置信度：

VP＝μ(1-f(x(t)))

其中μ为常系数用来调整总体大小。VP是关于X(t)的函数，VP反映了考生在t时刻做出姿态X(t)的不合理程度。该值与f(x)负相关，VP越大说明考生上半身姿态越不寻常。

定义随机变量姿态频次：

式(1.3)其描述了在时间段(0,t₀)内不合理头部姿态的频次，对于任何t_i<t_j都有Y(t_i)<＝Y(t_j)。因此显然Y(t)是一个计数过程。其中假设Y(t)服从泊松过程，即在t₀到t₀+t时间段内考生出现k次不合理姿态的概率为

建立好姿态判别模型后，将考生身体姿态的多维向量代入至式(1.1)可以得到t时刻考生姿态的概率密度f(x)。f(x)与考生在t时刻进行X(t)姿态的活动概率正相关。因此可以定义不合理姿态致信度VP＝μ(1-f(x))。其中μ为常系数用来调整总体大小。VP是关于X(t)的函数，VP反映了考生在t时刻做出姿态X(t)的不合理程度该值与f(x)是负相关的，VP越大说明考生上半身姿态越不寻常。这个数值将会作为考生头部姿态变化权重应用于接下来的对考生上半身姿态移动频率的建模中。

所述姿态判别模型中，进行数据处理，并执行步骤S104：根据预先设置的阈值对该考生的身体姿态是否存在异常进行判断。具体还包括步骤：

设置考生异常姿态行为置信度阈值为Minposedence，若考生在(t₁，t₁+t₂)时间段内的频次概率为1-P_k(t₁，t₂)≤Minposedence，则认定为该考生在(t₁，t₁+t₂)内处于异常姿态。若考生的身体姿态存在异常，则发出预警提示。

参阅图2a、图2b、图3a、图3b和图4，图2a为一考生在考试过程中处于正常姿态的视频帧，图2b为异常帧。对视频数据进行处理，完成人体关键点坐标的读取，如图3a为标准帧标注图，图3b为异常帧标注图。图4为经过阈值判断获取的判断结果。输出结果。

通过获取考生在线考试视频图像帧数据，并对所述视频图像帧数据进行处理得人体关键点坐标；根据所述人体关键点坐标得考生身体姿态的多维向量；输入所述多维向量至预先建立好的姿态判别模型中，根据预先设置的阈值对该考生的身体姿态是否存在作弊行为进行判断。整个过程中，无需人工参与，即可自动化对学生的身体姿态进行判断，进而辅助判断学生是否存在作弊行为等，大大节约人力，减少人为的漏判，使得在线监考可得到更大的推广。

请参阅图2至图5，在本实施中，所述存储设备500包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端等。所述一种存储设备500的具体实施方式如下：

一种存储设备500，其中存储有指令集，所述指令集用于执行：获取考生在线考试视频图像帧数据，并对所述视频图像帧数据进行处理得人体关键点坐标。在实际的应用场景中，会指定在线监考设备摆放角度，规范视频设备角度；(经常默认双摄像机位，一机位为正前方角度主要拍摄为考生的正脸，二机位为侧右方角度用来监控整体考试过程中考生的行为姿态。本申请中默认选用二机位视频画面)；且根据指定帧率抽取视频画面。

并利用现有的基于人体骨骼肌的图像处理方法对抽取的视频图像帧数据进行处理，获取人体关键点坐标在图像内的三维坐标(x,y,z)，所述人体关键点包括以下中的一种或多种：鼻子、右肩、左肩、右肘、左肘、右手腕、左手腕。

根据所述人体关键点坐标得考生身体姿态的多维向量。

将考生的身体姿态记为多维向量：

X(t)是一个多维随机变量，NOSE(t)、RIGHT_SHOULDER(t)、LEFT_SHOULDER(t)、RIGHT_ELBOW(t)、RIGHT_ELBOW(t)、RIGHT_WRIST(t)分别是鼻子、右肩、左肩、右肘、左肘、右手腕、左手腕。它们都是关于t的连续函数。其中X(t)服从于参数为均值向量u(t)和协方差矩阵函数∑(t)的多维高斯过程。

输入所述多维向量至预先建立好的姿态判别模型中。

进一步的，所述指令集还用于执行：所述“输入所述多维向量至预先建立好的姿态判别模型中”前，还包括步骤：

建立姿态判别模型；

所述“建立姿态判别模型”，具体还包括步骤：

对考生在时间t₀到t₁的上半身姿态移动频次进行建模。定义考生头部移动最小概率密度阀值minpost属于(0,1)；

对于所有f(x(t))>minpost的时间段构建集合：

该集合包含所有概率密度较小的头部姿态运动的时间段，设定这些时间段是更有可能出现作弊行为的，而概率密度较大的行为所在的时间段不应给予过多考虑，所以在这里通过常参数minpost过滤掉。通过调节参数minpost可以调节系统对头部姿态运动的敏感程度，极端情况下若minpost＝0系统会考虑所有姿态。

其中f(x)函数为身体姿态多维向量的概率密度：

其中D为X(t)的维数，∑为D*D的正定矩阵；

定义不合理姿态置信度：

VP＝μ(1-f(x(t)))

其中μ为常系数用来调整总体大小。VP是关于X(t)的函数，VP反映了考生在t时刻做出姿态X(t)的不合理程度。该值与f(x)负相关，VP越大说明考生上半身姿态越不寻常。

定义随机变量姿态频次：

式(1.3)其描述了在时间段(0,t₀)内不合理头部姿态的频次，对于任何t_i<t_j都有Y(t_i)<＝Y(t_j)。因此显然Y(t)是一个计数过程。其中假设Y(t)服从柏松过程，即在t₀到t₀+t时间段内考生出现k次不合理姿态的频次到概率为

其中[m(t₀+t)-m(t₀)]表示在t₀到t₀+t时间段内考生出现不合理姿态的平均次数。

建立好姿态判别模型后，将考生身体姿态的多维向量代入至式(1.1)可以得到t时刻考生姿态的概率密度f(x)。f(x)与考生在t时刻进行X(t)姿态的活动概率正相关。因此可以定义不合理姿态致信度VP＝μ(1-f(x))。其中μ为常系数用来调整总体大小。VP是关于X(t)的函数，VP反映了考生在t时刻做出姿态X(t)的不合理程度该值与f(x)是负相关的，VP越大说明考生上半身姿态越不寻常。这个数值将会作为考生头部姿态变化权重应用于接下来的对考生上半身姿态移动频率的建模中。

所述姿态判别模型中，进行数据处理，根据预先设置的阈值对该考生的身体姿态是否存在异常进行判断。具体还包括步骤：

设置考生异常姿态行为置信度阈值为Minposedence，若考生在(t₁，t₁+t₂)时间段内的频次概率为1-P_k(t₁，t₂)≤Minposedence，则认定为该考生在(t₁，t₁+t₂)内处于异常姿态。若考生的身体姿态存在异常，则发出预警提示。

参阅图2a、图2b、图3a、图3b和图4，图2a为一考生在考试过程中处于正常姿态的视频帧，图2b为异常帧。对视频数据进行处理，完成人体关键点坐标的读取，如图3a为标准帧标注图，图3b为异常帧标注图。图4为经过阈值判断获取的判断结果。输出结果。

通过运行存储设备500内的指令集执行命令：获取考生在线考试视频图像帧数据，并对所述视频图像帧数据进行处理得人体关键点坐标；根据所述人体关键点坐标得考生身体姿态的多维向量；输入所述多维向量至预先建立好的姿态判别模型中，根据预先设置的阈值对该考生的身体姿态是否存在作弊行为进行判断。整个过程中，无需人工参与，即可自动化对学生的身体姿态进行判断，进而辅助判断学生是否存在作弊行为等，大大节约人力，减少人为的漏判，使得在线监考可得到更大的推广。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (10)

1.一种适用于在线监考场景下的智能姿态判别方法，其特征在于，包括步骤：

获取考生在线考试视频图像帧数据，并对所述视频图像帧数据进行处理得人体关键点坐标；

根据所述人体关键点坐标得考生身体姿态的多维向量；

输入所述多维向量至预先建立好的姿态判别模型中，根据预先设置的阈值对该考生的身体姿态是否存在异常进行判断。

2.根据权利要求1所述的一种适用于在线监考场景下的智能姿态判别方法，其特征在于，所述“输入所述多维向量至预先建立好的姿态判别模型中”前，还包括步骤：

建立姿态判别模型；

所述“建立姿态判别模型”，具体还包括步骤：

定义考生上半身移动最小概率密度阀值minpost属于(0，1)；

对于所有f(x(t))＞minpost的时间段构建集合：

其中f(x)函数为身体姿态多维向量的概率密度；

定义不合理姿态置信度：

VP＝μ(1-f(x(t)))

其中μ为常系数用来调整总体大小；

定义随机变量不合理姿态频次：

即在t₀到t₀+t时间段内考生出现k次不合理姿态的概率为

其中[m(t₀+t)-m(t₀)]表示在t₀到t₀+t时间段内考生出现不合理姿态的平均次数。

3.根据权利要求2所述的一种适用于在线监考场景下的智能姿态判别方法，其特征在于，所述“根据预先设置的阈值对该考生的身体姿态是否存在异常进行判断”，具体还包括步骤：

设置考生异常姿态行为置信度阈值为Minposedence，若考生在(t₁，t₁+t₂)时间段内的频次概率为1-P_k(t₁，t₂)≤Minposedence，则认定为该考生在(t₁，t₁+t₂)内处于异常姿态。

4.根据权利要求1所述的一种适用于在线监考场景下的智能姿态判别方法，其特征在于，还包括步骤：

若考生的身体姿态存在异常，则发出预警提示。

5.根据权利要求1所述的一种适用于在线监考场景下的智能姿态判别方法，其特征在于，

所述“获取考生在线考试视频图像帧数据”，具体还包括步骤：根据指定帧率抽取视频画面；

所述人体上半身关键点包括以下中的一种或多种：鼻子、右肩、左肩、右肘、左肘、右手腕、左手腕。

6.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：获取考生在线考试视频图像帧数据，并对所述视频图像帧数据进行处理得人体关键点坐标；

根据所述人体关键点坐标得考生身体姿态的多维向量；

输入所述多维向量至预先建立好的姿态判别模型中，根据预先设置的阈值对该考生的身体姿态是否存在异常进行判断。

7.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“输入所述多维向量至预先建立好的姿态判别模型中”前，还包括步骤：

建立姿态判别模型；

所述“建立姿态判别模型”，具体还包括步骤：

定义考生上半身移动最小概率密度阀值minpost属于(0，1)；

对于所有f(x(t))>minpost的时间段构建集合：

其中f(x)函数为身体姿态多维向量的概率密度；

定义不合理姿态置信度：

VP＝μ(1-f(x(t)))

其中μ为常系数用来调整总体大小；

定义随机变量不合理姿态频次：

即在t₀到t₀+t时间段内考生出现k次不合理姿态的概率为

其中[m(t₀+t)-m(t₀)]表示在t₀到t₀+t时间段内考生出现不合理姿态的平均次数。

8.根据权利要求7所述的一种存储设备，其特征在于，所述指令集还用于执行：

所述“根据预先设置的阈值对该考生的身体姿态是否存在异常进行判断”，具体还包括步骤：

设置考生异常姿态行为置信度阈值为Minposedence，若考生在(t₁，t₁+t₂)时间段内的频次概率为1-P_k(t₁，t₂)≤Minposedence，则认定为该考生在(t₁，t₁+t₂)内处于异常姿态。

9.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：

若考生的身体姿态存在异常，则发出预警提示。

10.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：

所述“获取考生在线考试视频图像帧数据”，具体还包括步骤：根据指定帧率抽取视频画面；

所述人体上半身关键点包括以下中的一种或多种：鼻子、右肩、左肩、右肘、左肘、右手腕、左手腕。

Images