CN117649630A - 一种基于监控视频流的考场作弊行为识别方法 - Google Patents

Abstract

本发明公开了一种基于监控视频流的考场作弊行为识别方法，所述方法包括：S1：采集考场监控的视频数据，并对数据进行人工筛选预处理，制作考场行为数据集；S2：设计基于监控视频流的考场作弊行为识别网络模型，包括空间信息提取通道、时间信息提取通道和时空注意力机制特征融合模块；S3：训练考场作弊行为识别网络，得到训练好的考场作弊行为识别网络模型；S4：将训练好的考场作弊行为识别网络模型进行保存，并部署到实际系统中，用于实时的监控视频流的考场作弊行为识别。本发明通过设计基于监控视频流的考场作弊行为识别网络模型，对考场中考生的行为进行实时检测，提高考场作弊行为的识别准确性。

Description

一种基于监控视频流的考场作弊行为识别方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于监控视频流的考场作弊行为识别方法。

背景技术

在考试场所，作弊行为一直是监管的重大挑战。传统的监管方式，如依赖监考员的肉眼观察，往往难以长时间专注于每个考生。此外，由于技术限制和传统监控手段的局限性，考生往往能巧妙地掩盖或隐藏作弊行为，这使得有效的监测变得困难，对考试的公平性和教育质量构成了威胁。

近年来，人工智能技术的快速发展为教育领域带来了深远的影响。利用监控视频流进行考场作弊行为识别已经成为研究的焦点。针对考场中复杂且难以察觉的作弊行为，通过分析监控视频获取的信息，我们可以准确地检测和识别作弊行为，为提升考试的公平性和安全性提供了重要的技术支持。

中国专利公开号CN112115816A公开了一种名为“基于人脸朝向分析的考场作弊识别算法”。该算法通过识别考生人脸朝向的阈值进行检测，当超过设定阈值时，上传考生的图像供监考人员判断考生是否作弊。这在一定程度上可以准确识别作弊行为，但由于考生行为的复杂性，仅依靠阈值进行判断，误报率较高，而且仍需要监考人员投入大量精力。

因此，针对考场中考生行为的复杂性和作弊行为的难以察觉等问题，有必要提出一种新的方法来克服现有技术的局限性。

发明内容

针对现有技术的以上缺陷或者改进需求，本发明提供了一种基于监控视频流的考场作弊行为识别方法，通过设计基于监控视频流的考场作弊行为识别网络模型，对考场的实时视频流进行实时监测，提高考场作弊行为的识别准确性。

为实现上述目的，按照本发明的一个方面，提供了一种基于监控视频流的考场作弊行为识别方法，所述方法包括以下步骤：

S1：采集考场监控的视频数据，并对视频数据进行人工筛选预处理，制作考场行为数据集，所述数据集包括训练集、验证集和测试集；

S2：设计基于监控视频流的考场作弊行为识别网络模型，所述考场作弊行为识别网络模型包括空间信息提取通道、时间信息提取通道、时空注意力机制特征融合模块和特征融合模块；

所述空间信息提取通道用于提取视频数据中的空间信息，所述空间信息包括考场中的背景环境信息和考生的位置信息；

所述时间信息提取通道用于提取视频数据中的时间信息，所述时间信息包括考生的行为变化和作弊动作特征信息；

所述时空注意力机制特征融合模块用于将所述时间信息提取通道中的时间信息特征融合到所述空间信息提取通道中的空间信息特征中，得到时空特征；

所述特征融合模块将来自空间信息提取通道提取的空间通道特征向量和来自时间信息提取通道提取的时间通道特征向量进行叠加和融合，形成了一个综合特征向量，将所述综合特征向量送入分类器并输出结果；

所述空间信息提取通道和所述时间信息提取通道均由四个阶段构成，每个阶段由数据抽帧模块、线性转换模块、数据降维模块、特征增强模块和特征提取模块中的一个或多个组合而成，所述空间信息提取通道的卷积通道为所述时间信息提取通道的1/8；

S3：使用制作好的考场行为数据集训练所述考场作弊行为识别网络模型，得到训练好的考场作弊行为识别网络模型；

S4：将训练好的考场作弊行为识别网络模型进行保存，并部署到实际系统中，用于实时的监控视频流的考场作弊行为识别。

作为本申请的一实施例，所述步骤S1具体包括以下步骤：

S11：收集考场中不同角度的监控摄像头所捕获的视频数据；

S12：将考场中的考生行为划分为不同类别标签，并人工筛选对应的视频数据；

S13：裁剪出与各类别标签对应的考生行为视频片段，并将每段视频抽帧为图片，按照对应的视频片段的名称创建文件夹，将抽帧图片保存在文件夹中，形成数据集；

S14：人工标注图片，获取数据集中考生的真实位置信息和行为类别信息，并将前后帧图片中的行为类别标签和不同考生进行关联；

S15：将标注好的数据集按照7:2:1的比例划分为训练集、验证集和测试集。

作为本申请的一实施例，所述步骤S2中空间信息提取通道步骤具体包括：

S211：输入的视频数据经过阶段一的数据抽帧模块，采用间隔16帧取一帧的方式，将视频抽帧为低时间高空间分辨率的图像集合，并将其转化为一组高维的特征向量数据；

S212：经过阶段一的线性转化模块，将高维的特征向量数据转化为一维的向量数据，并使用特征提取模块初步提取向量数据中的考场的背景空间信息和考生的局部特征；

S213：在后续的阶段中使用数据降维模块减少向量数据维度，并使用特征提取模块进一步提取考场的背景空间信息和考生的具体特征，所述考生的具体特征包括形状、姿态及面部表情；

S214：在后续的阶段中使用数据降维模块、特征增强模块和特征提取模块的组合，捕获低时间高空间分辨率的图像集合中的空间信息，所述空间信息包括考场中的背景环境信息和考生的位置信息。

作为本申请的一实施例，所述步骤S2中所述时间信息提取通道步骤具体包括：

S221：输入的视频数据经过阶段一的数据抽帧模块，采用间隔2帧取一帧的方式，将视频抽帧为高时间低空间分辨率的图像集合，并将其转化为一组高维的特征向量数据；

S222：经过阶段一的线性转化模块，将高维的特征向量数据转化为一维的向量数据，并使用特征提取模块初步提取向量数据中的快速变化的考生行为信息，所述快速变化的考生行为信息包括眼神、手势以及动作；

S223：在后续的阶段中使用数据降维模块减少向量数据维度，并使用特征提取模块进一步提取细粒度的考生行为信息；

S224：在后续的阶段中使用数据降维模块、特征增强模块和特征提取模块的组合，捕获高时间低空间分辨率的图像集合中的时间信息，所述时间信息包括考生的行为变化和作弊动作特征信息。

作为本申请的一实施例，所述特征提取模块包括多头注意力机制和多层感知机，其步骤具体包括：

首先通过归一化层对输入的监控视频帧进行预处理，消除数据的偏差和噪声；

然后通过多头注意力层对监控视频帧进行自注意力计算，捕获监控视频帧内部的时空关系；

其次通过多层感知机层对特征进行非线性变换和融合，作为进一步处理的输入或输出特征图；

其中多次通过标准化层对特征进行规范化。

作为本申请的一实施例，所述步骤S2中时空注意力机制特征融合模块包括归一化层、多头交叉注意力层、标准化层、多层感知机层、残差连接和随机失活层，其具体步骤包括：

S231：首先通过三维卷积归一化对时间维度进行变换，使时间维度和空间维度统一；

S232：采用多头交叉注意力机制，对每一阶段的输出特征与空间信息提取通道和时间信息提取通道之间的注意力分布图进行计算，将所述时间信息提取通道和空间信息提取通道生成的语义特征和空间特征，在像素区域整合成一维向量的形式；

S233：接着引入随机失活层；

S234：通过多层感知机层和残差连接，对时间特征进行非线性变换和融合处理；

S235：接着引入随机失活层；

S236：最后利用标准化层对处理后的时间特征进行规范化处理，并将处理后的时间特征向量扩展到与空间特征向量相同的维度后进行连接，得到一个综合的时空特征。

作为本申请的一实施例，所述步骤S3具体包括：

S31：使用训练集中的监控视频数据，通过反向传播算法，迭代更新考场作弊行为识别网络模型的参数，检测考场中考生的行为，得到初始考场作弊行为识别网络模型；

S32：使用验证集对训练得到的初始考场作弊行为识别网络模型进行验证，根据验证结果进行考场作弊行为识别网络模型参数的调优，得到优化后的考场作弊行为识别网络模型；

S33：使用测试集对训练得到的优化后的考场作弊行为识别网络模型进行测试，测试其是否能够识别考场作弊行为，如果考场作弊行为识别网络模型不能识别考场作弊行为，则重新训练验证调优考场作弊行为模型，直到得到训练好的考场作弊行为识别网络模型。

作为本申请的一实施例，所述步骤S31中对考场作弊行为识别网络模型训练的过程中包括设计一种类平衡损失函数，所述类平衡损失函数计算公式如下：

其中，N表示训练集中的样本总数，表示平衡因子，用于平衡样本中分布不均类别权重，/>表示每个类别的样本数量占比，/>表示模型对每个类别的预测正确的概率，/>表示指数函数/>，其中/>是一个常数，为自然对数的底数，/>表示自然对数。

本发明的有益效果为：

（1）本发明通过设计基于监控视频流的考场做弊行为识别网络模型，采用了空间信息提取通道和时间信息提取通道双通道分别提取监控视频中的空间信息和时间信息，然后通过时空注意力机制将时间信息特征融合到空间信息特征中，充分地利用视频的多维信息，更好地理解考场中考生的行为特征和变化规律，提高考场作弊行为识别网络模型的识别能力，更准确地识别出作弊行为。

（2）本发明通过在考场作弊行为识别网络模型中设计特征提取模块，所述特征提取模块使用了多头注意力机制和多层感知机的组合，通过计算每个像素点的注意力权重，这样可以突出视频帧中的重要区域，抑制无关区域，提高特征的质量，使考场作弊行为识别网络模型更好地捕获视频帧内部的时空关系，提高特征的语义性和空间性，从而更有效地区分正常行为和作弊行为。

（3）本发明通过在考场作弊行为识别网络模型中设计时空注意力特征融合模块，所述时空注意力特征融合模块使用了多头交叉注意力机制，将两个通道所生成的语义特征和空间特征，在像素区域整合成一维向量的形式，更好地捕获像素点变换剧烈的时间帧和重点动作变化区域，提高特征的细粒度和准确性，从而更敏感地捕捉作弊行为的细微差异和异常现象。

（4）本发明通过在对考场作弊行为识别网络模型的训练过程中设计类别平衡损失函数BSLoss，可以有效地解决样本不平衡的问题，使得每个类别的损失都能得到合理的权重，避免考场作弊行为识别网络模型偏向于多数类别，提高考场作弊行为识别网络模型的准确性和效率，从而更公正地评估考生的作弊行为。

附图说明

图1为本发明实施例中提供的一种基于监控视频流的考场作弊行为识别方法的流程图；

图2为本发明实施例中提供的一种基于监控视频流的考场作弊行为识别方法网络模型结构图；

图3为本发明实施例中提供的一种基于监控视频流的考场作弊行为识别方法网络模型中的特征提取模块结构图；

图4为本发明实施例中提供的一种基于监控视频流的考场作弊行为识别方法网络模型中的时空注意力机制特征融合模块结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

参照图1至图4，本发明第一方面提供了一种基于监控视频流的考场作弊行为识别方法，所述方法包括以下步骤：

S1：采集考场监控的视频数据，并对数据进行人工筛选预处理，制作考场行为数据集，所述数据集包括训练集、验证集和测试集；

S2：设计基于监控视频流的考场作弊行为识别网络模型，所述考场作弊行为识别网络模型包括空间信息提取通道、时间信息提取通道、时空注意力机制特征融合模块和特征融合模块；

所述空间信息提取通道用于提取视频数据中的空间信息，所述空间信息包括考场中的背景环境信息和考生的位置信息；

所述时间信息提取通道用于提取视频数据中的时间信息，所述时间信息包括考生的行为变化和作弊动作特征信息；

所述时空注意力机制特征融合模块用于将所述时间信息提取通道中的时间信息特征融合到所述空间信息提取通道中的空间信息特征中，得到时空特征；

具体的，所述空间信息提取通道会更加关注于空间信息并忽视掉一部分连续的监控视频帧；所述时间信息提取通道上更加关注相邻的监控视频帧之间联系，忽略掉一些空间信息；通过所述时空注意力机制特征融合模块，将空间信息提取通道和时间信息提取通道的特征信息进行融合，充分地利用视频的多维信息，更好地理解考场中考生的行为特征和变化规律，提高考场作弊行为识别网络模型的识别能力，使所述考场作弊行为识别网络模型能够处理运动的时空不对等问题，使考场作弊行为识别网络模型能够更准确的识别监控视频中的考生行为。

S3：使用制作好的考场行为数据集训练所述考场作弊行为识别网络模型，得到训练好的考场作弊行为识别网络模型；

S4：将训练好的考场作弊行为识别网络模型进行保存，并部署到实际系统中，用于实时的监控视频流的考场作弊行为识别。

作为本申请的一实施例，所述步骤S1具体包括以下步骤：

S11：收集考场中不同角度的监控摄像头所捕获的视频数据；

S12：将考场中的考生行为划分为不同类别标签，所述不同类别标签包括读写、思考、东张西望、双手不可见、小抄作弊和手机作弊，并人工筛选对应的视频数据；

S13：裁剪出与各类别标签对应的考生行为视频片段，并将每段视频抽帧为图片，按照对应的视频片段的名称创建文件夹，将抽帧图片保存在文件夹中，形成数据集；

S14：人工标注图片，获取数据集中考生的真实位置信息和行为类别信息，并将前后帧图片中的行为类别标签和不同考生进行关联；

S15：将标注好的数据集按照7:2:1的比例划分为训练集、验证集和测试集。

作为本申请的一实施例，所述空间信息提取通道和所述时间信息提取通道均由四个阶段构成，每个阶段由数据抽帧模块，线性转换模块、数据降维模块、特征增强模块和特征提取模块中的一个或多个组合而成，所述空间信息提取通道的卷积通道为所述时间信息提取通道的1/8，减少网络的计算开销。

作为本申请的一实施例，所述步骤S2中空间信息提取通道步骤具体包括：

S211：输入尺寸为H×W×3×T视频数据，其中，H为视频尺寸高，W为宽，3为RGB通道，T为帧率，经过阶段一的数据抽帧模块，采用间隔16帧取一帧的方式，将视频抽帧为低时间高空间分辨率的图像集合，并将其转化为一组高维的特征向量数据，保持视频中的空间信息的同时减少计算复杂度；

S212：经过阶段一的线性转化模块，将高维的特征向量数据转化成尺寸为56×56×C×T/16的一维向量数据,C为特征通道数，以便后续处理，并使用特征提取模块初步提取向量数据中的考场的背景空间信息和考生的局部特征；

S213：在后续的阶段中使用数据降维模块减少向量数据的空间维度，具体的，所述数据降维模块减少的是高度H和宽度W，并不是空间特征信息，同时使特征通道数翻倍，并将学到的时空特征传递到下一个阶段，并使用特征提取模块进一步提取考场的背景空间信息和考生的具体特征，所述考生的具体特征包括形状、姿态及面部表情；

S214：在后续的阶段中使用数据降维模块、特征增强模块和特征提取模块的组合，以便考场作弊行为识别网络模型捕获低时间高空间分辨率的图像集合中的空间信息，所述空间信息包括考场中的背景环境信息和考生的位置信息。

作为本申请的一实施例，所述步骤S2中所述时间信息提取通道步骤具体包括：

S221：输入尺寸为H×W×3×T的视频数据，经过阶段一的数据抽帧模块，采用间隔2帧取一帧的方式，将视频抽帧为高时间低空间分辨率的图像集合，并将其转化为一组高维的特征向量数据，充分保持视频中包含的时间信息；

S222：经过阶段一的线性转化模块，将高维的特征向量数据转化成尺寸为56×56×C/8×T/2的一维向量数据，以便后续处理，并使用特征提取模块初步提取向量数据中的快速变化的考生行为信息，所述快速变化的考生行为信息包括眼神、手势以及动作；

S223：在后续的阶段中使用数据降维模块减少向量数据的空间维度，同时使特征通道数翻倍，并将学到的时空特征传递到下一个阶段，并使用特征提取模块进一步提取细粒度的考生行为信息；

S224：在后续的阶段中使用数据降维模块、特征增强模块和特征提取模块的组合，以便考场作弊行为识别网络模型捕获高时间低空间分辨率的图像集合中的时间信息，所述时间信息包括考生的行为变化和作弊动作特征信息。

具体的，所述数据降维模块用于减少所述空间信息提取通道和所述时间信息提取通道中每个阶段内的向量数据的空间维度，同时使特征通道数翻倍，因此，所述空间信息提取通道和所述时间信息提取通道中由阶段一到阶段四，每阶段内的向量数据的高度H和宽度W逐半减少，而通道特征数C逐倍增加。

作为本申请的一实施例，所述特征提取模块包括多头注意力机制和多层感知机，由多头注意力机制和多层感知机经过一系列的卷积神经网络连接，以提取和增强视频数据中的关键特征，其步骤具体包括：

首先通过归一化层对输入的监控视频帧进行预处理，消除数据的偏差和噪声，提高数据的质量；

然后通过多头注意力层对监控视频帧进行自注意力计算，捕获监控视频帧内部的时空关系，提高特征的语义性和空间性；

其次通过多层感知机层对特征进行非线性变换和融合，得到更丰富和更精确的特征表示，作为进一步处理的输入或输出特征图；

其中多次通过标准化层对特征进行规范化，使其分布更加均匀，提高考场作弊行为识别网络模型的稳定性。

作为本申请的一实施例，所述步骤S2中时空注意力机制特征融合模块包括归一化层、多头交叉注意力层、标准化层、多层感知机层、残差连接和随机失活层，其具体步骤包括：

S231：面对不同维度的通道特征向量，首先通过三维卷积归一化对时间通道特征向量的时间维度进行变换，使时间通道特征向量的时间维度和空间通道特征向量的空间维度统一，增强特征的表达能力；

S232：采用多头交叉注意力机制，对每一阶段输出特征与空间信息提取通道和时间信息提取通道之间的注意力分布图进行计算，将所述空间信息提取通道和时间信息提取通道生成的空间特征和语义特征，在像素区域整合成一维向量的形式，有助于更好地捕获像素点变换剧烈的时间帧和重点动作变化区域；

S233：接着引入随机失活层，既可以更好地融合特征，提高考场作弊行为识别网络模型的表达能力，又可以降低过拟合的风险，增强考场作弊行为识别网络模型的泛化能力和鲁棒性；

S234：通过多层感知机层和残差连接，对时间特征进行非线性变换和融合处理，得到更丰富和更精确的时间特征；

S235:进一步引入随机失活层，以便更好地融合特征，减少特定特征的依赖，降低过拟合的风险，增强考场作弊行为识别网络模型的泛化能力和鲁棒性；

S236:最后，利用标准化层对处理后的时间特征进行规范化处理，同时使用元素相加的形式，将处理后的时间特征向量扩展到与空间特征向量相同的维度后进行连接，以形成一个综合的时空特征，该时空特征能够为后续的处理提供全面的信息。

作为本申请的一实施例，所述步骤S2中空间信息提取通道和时间信息提取通道通过特征融合模块融合，所述特征融合模块接收来自空间信息提取通道提取的7×7×8C×T/16空间通道特征向量和来自时间信息提取通道提取的7×7×8C/8×T/2时间通道特征向量，通过元素级相加的方式，所述特征融合模块精确地将时间维度上的动态特征与空间维度上的结构特征进行了叠加和融合，保证每个时刻的空间特征都被其对应的时间特征所增强，从而形成了一个具有丰富时空信息的综合特征向量。

所述综合特征向量随后被送入一个精心设计的分类器，所述分类器运用这个强化了的时空特征，进行精确的识别任务，无论是细粒度的动作识别还是复杂场景下的行为分析，都能够以高准确度输出结果。此外，由于特征向量已经融合了关键的时空属性，分类器能够更有效地识别出具有挑战性的模式，比如考场作弊行为，从而在实际应用中提供可靠的支持。通过这种先进的时空特征融合方法，本发明不仅提升了考场作弊行为识别网络模型对时间序列数据的理解深度，也极大地增强了考场作弊行为识别网络模型在各类复杂环境下的泛化能力和实用价值。

作为本申请的一实施例，所述步骤S3具体包括：

S31：使用训练集中的监控视频数据，通过反向传播算法，迭代更新考场作弊行为识别网络模型的参数，使其能够准确地检测到考场中考生的行为，得到初始考场作弊行为识别网络模型；

S32：使用验证集对训练得到的初始考场作弊行为识别网络模型进行验证，评估其在未见过的数据上的表现，根据验证结果进行考场作弊行为识别网络模型参数的调优，以提高模型的泛化能力，进一步优化考场作弊行为识别网络模型并得到优化后的考场作弊行为识别网络模型；

S33：使用测试集对训练得到的优化后的考场作弊行为识别网络模型进行测试，评估其在真实场景中的效果，测试其是否能够准确识别考场作弊行为，如果考场作弊行为识别网络模型不能识别考场作弊行为，测试结果不理想，则重新训练验证调优考场作弊行为模型，直到达到预期的性能，得到训练好的考场作弊行为识别网络模型。

作为本申请的一实施例，所述步骤S31中对考场作弊行为识别网络模型训练的过程中包括设计一种类平衡损失函数，所述类平衡损失函数计算公式如下：

其中，N表示训练集中的样本总数，表示平衡因子，用于平衡样本中分布不均类别权重，/>表示每个类别的样本数量占比，/>表示考场作弊行为识别网络模型对每个类别的预测正确的概率，/>表示指数函数/>，其中/>是一个常数，约等于2.71828，为自然对数的底数，表示自然对数。

本发明通过在对考场作弊行为识别网络模型进行训练的过程中设计类别平衡损失函数BSLoss，可以有效地解决样本不平衡的问题，使得每个类别的损失都能得到合理的权重，避免模型偏向于多数类别，提高模型的准确性和效率，从而更公正地评估考生的作弊行为。

具体的，所述类别平衡损失函数BSLoss通过引入平衡因子和类别占比/>，可以有效地解决样本不平衡的问题，使得每个类别的损失都能得到合理的权重，避免模型偏向于多数类别，提高模型的泛化能力和鲁棒性；

通过使用和/>函数，可以使得损失函数的形式更加简洁和优美，同时也可以避免梯度消失或爆炸的问题，提高模型的收敛速度和稳定性；

通过使用作为预测概率，可以使得损失函数更加符合作弊行为识别的特点，即只关注模型对正确类别的预测概率，而不关注其他类别的预测概率，提高模型的准确性和效率。

本发明通过设计基于监控视频流的考场作弊行为识别网络模型，采用了空间信息提取通道和时间信息提取通道双通道分别提取视频中的空间信息和时间信息，然后通过时空注意力机制将时间信息特征融合到空间信息特征中，充分地利用视频的多维信息，更好地理解考场中考生的行为特征和变化规律，提高模型的识别能力，更准确地识别出作弊行为，实现了对考场中考生的行为实时检测，并输出有考生的行为信息，为智慧教育、智能监测提供有力支持。

以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种基于监控视频流的考场作弊行为识别方法，其特征在于，所述方法包括以下步骤：

S1：采集考场监控的视频数据，并对视频数据进行人工筛选预处理，制作考场行为数据集，所述数据集包括训练集、验证集和测试集；

S2：设计基于监控视频流的考场作弊行为识别网络模型，所述考场作弊行为识别网络模型包括空间信息提取通道、时间信息提取通道时空注意力机制特征融合模块和特征融合模块；

所述空间信息提取通道用于提取视频数据中的空间信息，所述空间信息包括考场中的背景环境信息和考生的位置信息；

所述时间信息提取通道用于提取视频数据中的时间信息，所述时间信息包括考生的行为变化和作弊动作特征信息；

所述时空注意力机制特征融合模块用于将所述时间信息提取通道中的时间信息特征融合到所述空间信息提取通道中的空间信息特征中，得到时空特征；

所述特征融合模块将来自空间信息提取通道提取的空间通道特征向量和来自时间信息提取通道提取的时间通道特征向量进行叠加和融合，形成了一个综合特征向量，将所述综合特征向量送入分类器并输出结果；

所述空间信息提取通道和所述时间信息提取通道均由四个阶段构成，每个阶段由数据抽帧模块、线性转换模块、数据降维模块、特征增强模块和特征提取模块中的一个或多个组合而成，所述空间信息提取通道的卷积通道为所述时间信息提取通道的1/8；

S3：使用制作好的考场行为数据集训练所述考场作弊行为识别网络模型，得到训练好的考场作弊行为识别网络模型；

S4：将训练好的考场作弊行为识别网络模型进行保存，并部署到实际系统中，用于实时的监控视频流的考场作弊行为识别。

2.如权利要求1所述的一种基于监控视频流的考场作弊行为识别方法，其特征在于，所述步骤S1具体包括以下步骤：

S11：收集考场中不同角度的监控摄像头所捕获的视频数据；

S12：将考场中的考生行为划分为不同类别标签，并人工筛选对应的视频数据；

S13：裁剪出与各类别标签对应的考生行为视频片段，并将每段视频抽帧为图片，按照对应的视频片段的名称创建文件夹，将抽帧图片保存在文件夹中，形成数据集；

S14：人工标注图片，获取数据集中考生的真实位置信息和行为类别信息，并将前后帧图片中的行为类别标签和不同考生进行关联；

S15：将标注好的数据集按照7:2:1的比例划分为训练集、验证集和测试集。

3.如权利要求1所述的一种基于监控视频流的考场作弊行为识别方法，其特征在于，所述步骤S2中空间信息提取通道步骤具体包括：

S211：输入的视频数据经过阶段一的数据抽帧模块，采用间隔16帧取一帧的方式，将视频抽帧为低时间高空间分辨率的图像集合，并将其转化为一组高维的特征向量数据；

S212：经过阶段一的线性转化模块，将高维的特征向量数据转化为一维的向量数据，并使用特征提取模块初步提取向量数据中的考场的背景空间信息和考生的局部特征；

S213：在后续的阶段中使用数据降维模块减少向量数据维度，并使用特征提取模块进一步提取考场的背景空间信息和考生的具体特征，所述考生的具体特征包括形状、姿态及面部表情；

S214：在后续的阶段中使用数据降维模块、特征增强模块和特征提取模块的组合，捕获低时间高空间分辨率的图像集合中的空间信息，所述空间信息包括考场中的背景环境信息和考生的位置信息。

4.如权利要求1所述的一种基于监控视频流的考场作弊行为识别方法，其特征在于，所述步骤S2中所述时间信息提取通道步骤具体包括：

S221：输入的视频数据经过阶段一的数据抽帧模块，采用间隔2帧取一帧的方式，将视频抽帧为高时间低空间分辨率的图像集合，并将其转化为一组高维的特征向量数据；

S222：经过阶段一的线性转化模块，将高维的特征向量数据转化为一维的向量数据，并使用特征提取模块初步提取向量数据中的快速变化的考生行为信息，所述快速变化的考生行为信息包括眼神、手势以及动作；

S223：在后续的阶段中使用数据降维模块减少向量数据维度，并使用特征提取模块进一步提取细粒度的考生行为信息；

S224：在后续的阶段中使用数据降维模块、特征增强模块和特征提取模块的组合，捕获高时间低空间分辨率的图像集合中的时间信息，所述时间信息包括考生的行为变化和作弊动作特征信息。

5.如权利要求1所述的一种基于监控视频流的考场作弊行为识别方法，其特征在于，所述特征提取模块包括多头注意力机制和多层感知机，其步骤具体包括：

首先通过归一化层对输入的监控视频帧进行预处理，消除数据的偏差和噪声；

然后通过多头注意力层对监控视频帧进行自注意力计算，捕获监控视频帧内部的时空关系；

其次通过多层感知机层对特征进行非线性变换和融合，作为进一步处理的输入或输出特征图；

其中多次通过标准化层对特征进行规范化。

6.如权利要求1所述的一种基于监控视频流的考场作弊行为识别方法，其特征在于，所述步骤S2中时空注意力机制特征融合模块包括归一化层、多头交叉注意力层、标准化层、多层感知机层、残差连接和随机失活层，其具体步骤包括：

S231：首先通过三维卷积归一化对时间维度进行变换，使时间维度和空间维度统一；

S232：采用多头交叉注意力机制，对每一阶段的输出特征与空间信息提取通道和时间信息提取通道之间的注意力分布图进行计算，将所述时间信息提取通道和空间信息提取通道生成的语义特征和空间特征在像素区域整合成一维向量的形式；

S233：接着引入随机失活层；

S234：通过多层感知机层和残差连接，对时间特征进行非线性变换和融合处理；

S235：接着引入随机失活层；

S236：最后利用标准化层对处理后的时间特征进行规范化处理，并将处理后的时间特征向量扩展到与空间特征向量相同的维度后进行连接，得到一个综合的时空特征。

7.如权利要求1所述的一种基于监控视频流的考场作弊行为识别方法，其特征在于，所述步骤S3具体包括：

S31：使用所述训练集中的监控视频数据，通过反向传播算法，迭代更新考场作弊行为识别网络模型的参数，检测考场中考生的行为，得到初始考场作弊行为识别网络模型；

S32：使用所述验证集对训练得到的初始考场作弊行为识别网络模型进行验证，根据验证结果进行考场作弊行为识别网络模型参数的调优，得到优化后的考场作弊行为识别网络模型；

S33：使用所述测试集对训练得到的优化后的考场作弊行为识别网络模型进行测试，测试其是否能够识别考场作弊行为，如果考场作弊行为识别网络模型不能识别考场作弊行为，则重新训练验证调优考场作弊行为模型，直到得到训练好的考场作弊行为识别网络模型。

8.如权利要求7所述的一种基于监控视频流的考场作弊行为识别方法，其特征在于，所述步骤S3中对考场作弊行为识别网络模型训练的过程中包括设计一种类平衡损失函数，所述类平衡损失函数根据考场作弊行为识别网络模型的预测结果和真实标签，计算考场作弊行为识别网络模型的误差，其计算公式如下：

其中，N表示训练集中的样本总数，表示平衡因子，用于平衡样本中分布不均类别权重，/>表示每个类别的样本数量占比，/>表示模型对每个类别的预测正确的概率，/>表示指数函数/>，其中/>是一个常数，为自然对数的底数，/>表示自然对数。