CN114333070A - 一种基于深度学习的考生异常行为检测方法 - Google Patents

Abstract

本发明提出的一种基于深度学习的考生异常行为检测方法，属于图像分析技术领域。方法包括：对考场监控视频进行视频帧采样，对采样的视频帧标注考生和监考老师的边界框，并利用标注的数据训练目标检测模型；根据异常行为发生位置对考场监控视频进行视频帧采样，对采样的视频帧标注考生的边界框和动作类别，利用标注的数据训练动作识别模型，并进行动作识别模型优化；使用目标检测模型对输入的数据进行目标检测，选择检测得分大于0.9的边界框进入动作识别阶段，通过动作识别模型对得到的边界框内的考生实例进行分类。本发明能够同时检测考生的位置信息和动作信息，有效提高了在考场环境下的异常行为检测的准确率。

Description

一种基于深度学习的考生异常行为检测方法

技术领域

本发明涉及图像分析技术领域，更具体的说是涉及一种基于深度学习的考生异常行为检测方法。

背景技术

目前，在各个行业累积了海量的图像和视频数据，比如公共安全领域的监控视频，交通领域的监控视频，教育考试领域的监控视频等。面对海量的监控视频，单靠人力去对监控视频进行识别是不现实的。理解视频中人类行为已经成为计算机视觉中的一个突出的研究课题，而识别公共场景中监控视频里的人类行为对于公共安全有着重要意义。比如识别地铁站，高铁站乘客的行为，识别人行道上行人的行为，识别考场上考生的异常行为。

教育考试是对受教育者知识水平和能力进行的一种测定，是评判考生学业水平的重要手段，考试的平等和公正对受教育者的合法权益具有十分重要的意义。目前应用与考场监控视频的考生异常行为检测方法主要有无监督的异常行为检测方法和有监督的动作识别方法。

无监督的异常行为检测方法主要有自编码器和未来帧预测方法，主要思想是在训练阶段用正常数据训练，学习正常行为的特征，在测试阶段，根据重构损失来判断正常行为和异常行为。但无监督的异常行为检测方法主要是面向帧级别的异常，对于视频帧中的局部异常并没有太好的识别效果。在行为识别领域常见的任务主要有动作识别，时空动作检测等。动作识别的主要任务是对每个输入视频进行分类，识别出视频中人物做出的动作，即输入视频序列，得到视频对应的类别。动作分类使用的数据集一般先将动作分割好，一个视频片段中包含一个明确的动作，时间较短且有唯一的标签，动作明确干扰少，输入是视频，输出是动作类别。所以对于考场这一复杂且人数多的密集场景，动作分类方法并不适用。时空动作检测主要解决两个任务：识别和定位。目的是知道动作是何时发生以及这是什么动作。时空动作检测的数据集大部分都是未经分割的长视频，场景更加复杂，一个场景可能有多个人做不同的动作。时空动作检测方法一般是先进行特征提取，再根据检测到的边界框进行ROIPooling，最后进行分类。但时空动作检测方法适合检测那些大目标行为，对于小目标的行为识别准确率很差。而考场监控中由于摄像头的位置问题，导致考生在视频帧中的分辨率差别很大，所以对于那些分辨率小的有异常行为的考生，时空动作检测任务并不能准确识别出来。面向考场监控的异常行为检测这一任务相比于其他动作识别任务，场景更加复杂，场景中人物数量更多，而且存在严重的遮挡现象。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种基于深度学习的考生异常行为检测方法，采用目标检测方法和动作识别方法相结合，同时检测考生的位置信息和动作信息，能在复杂的考场环境中更好地识别考生的行为。

本发明为实现上述目的，通过以下技术方案实现：

一种基于深度学习的考生异常行为检测方法，包括如下步骤：

S1：对考场监控视频进行视频帧采样，对采样的视频帧标注考生和监考老师的边界框，并利用标注的数据训练目标检测模型；

S2：根据异常行为发生位置对考场监控视频进行视频帧采样，对采样的视频帧标注考生的边界框和动作类别，利用标注的数据训练动作识别模型，并进行动作识别模型优化；

S3：读取待检测的考场监控视频并进行视频帧采样，标注考生和监考老师的边界框，通过目标检测模型生成目标类别、边界框坐标和相应的检测得分；

S4；将检测得分大于阈值0.9的边界框对应的视频帧进行数据预处理，将处理后的数据输入动作识别模型，以生成考生的行为类别、边界框和相应的概率值。

进一步，步骤S2中，根据异常行为发生位置对考场监控视频进行视频帧采样，对采样的视频帧标注考生的边界框和动作类别，包括：

根据异常行为发生位置在考场监控视频中抽取一分钟时长的短视频，对采取的短视频每间隔一秒采集一个视频帧作为关键帧；

对每一个关键帧标注考生的边界框和动作类别。

进一步，目标检测模型采用Cascade R-CNN算法模型，目标检测模型包括三个级联的检查器，检查器的交并比逐级增大。针对现有的行为识别方法难以识别小目标行为的问题，引入了特征金字塔网络，通过融合多种尺度的特征信息，让小目标行为能在大尺度的特征层上进行映射，使得模型对小目标行为的识别能力大大提高。

进一步，所述目标检测模型利用损失函数进行模型优化，损失函数包括边界框的位置损失函数和分类损失函数。

进一步，所述边界框位置损失函数如下：

其中，x_i是一个image patch，b_i是对应的预测的边界框，g_i是边界框的groundtruth，f是回归器；L_loc采用的是Smooth的L₁损失函数smooth_L1（x）；

所述分类损失函数如下：

其中，h（x_i）表示预测的类别，y_i是标注数据，L_cls采用的是交叉熵损失函数；

由于目标检测模型在结构上使用了级联的R-CNN算法，在每个阶段t，R-CNN算法有自己阈值u^t下的分类器h_t和回归器f_t，其中u^t＞u^t-1，因此所述最终损失函数如下：

其中，

,g是标注数据，λ是平衡系数。

进一步，所述步骤S4中，将检测得分大于阈值0.9的边界框对应的视频帧进行数据预处理，包括：

将检测得分大于阈值0.9的边界框信息在待检测的考场监控视频的基础上进行裁剪，得到视频帧不同的考生子图像块；

根据将检测得分大于阈值0.9的边界框信息在待检测的考场监控视频中抽取关键，对采取的短视频每间隔一秒采集一个视频帧作为关键帧，根据关键帧组成考生的片段；

对考生子图像块进行随机抖动和随机裁剪，采用双线性插值法，将考生子图像块的分辨率调整为224x224，并进行水平翻转和颜色增强。

进一步，所述动作识别模型采用的基于3D ResNet的SlowFast网络作为特征提取网络，并使用在AVA数据集上预训练的权重进行初始化。

进一步，所述动作识别模型通过激活函数和交叉熵损失函数进行优化；所述激活函数采用softmax函数；

所述交叉熵损失函数具体如下：

其中，c是类别数， y_i是标签，p_i是经过softmax函数之后得到的类别是i的概率。

对比现有技术，本发明有益效果在于：

1、本方法提出了一种目标检测和动作识别相结合的方法，分为两个阶段，目标检测阶段和动作识别阶段，能够同时检测考生的位置信息和动作信息，有效提高了在考场环境下的异常行为检测的准确率。

2 、本发明目标检测阶段采用Cascade R-CNN与FPN相结合的方法，对于考场监考视频中存在的考生遮挡现象有很好的识别效果，对于考生与监考老师的区分也更明显了。

3、本发明在动作识别阶段充分利用了目标检测阶段检测到的边界框信息，相比于其他时空动作检测方法对于小目标行为的识别，准确率有了很大的提高。

4、本发明在行为识别阶段引入了特征金字塔网络，通过融合多种尺度的特征信息，让小目标行为能在大尺度的特征层上进行映射，使得模型对小目标行为的识别能力大大提高。

5、本发明采用了带权重的分类损失来优化模型，并使用了带权重的采样策略，使模型更关注样本数量少的异常样本，避免了时空动作检测方法中小目标行为识别准确率低的问题。

由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

附图1是本发明实施例一的方法流程图。

附图2是本发明实施例二的目标检测模型的结构示意图。

附图3是本发明实施例二的动作识别模型的结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做出说明。

实施例一：

如图1所示，本实施例公开了一种基于深度学习的考生异常行为检测方法，包括如下步骤：

S1：对考场监控视频进行视频帧采样，对采样的视频帧标注考生和监考老师的边界框，并利用标注的数据训练目标检测模型。

其中，目标检测模型采用级联式网络Cascade R-CNN算法模型，目标检测模型包括三个级联的检查器，检测器使用的是Faster R-CNN，检查器的交并比逐级增大。目标检测模型利用损失函数进行模型优化，损失函数包括边界框的位置损失函数和分类损失函数。

S2：根据异常行为发生位置对考场监控视频进行视频帧采样，对采样的视频帧标注考生的边界框和动作类别，利用标注的数据训练动作识别模型，并进行动作识别模型优化。

具体来说，根据异常行为发生位置从原视频中提取视频，每个视频时长为1min，共提取了70个视频。 对提取的视频进行视频帧采样，对采样的视频帧标注考生的边界框和动作类别，利用标注的数据训练行为识别模型，并进行行为识别模型优化。其中，动作类别有正常、喝水、举手、站立、捡东西、回头、与监考老师交谈。

在本步骤中，数据的标注过程包括：首先，根据异常行为发生位置在考场监控视频中抽取一分钟时长的短视频，对采取的短视频每间隔一秒采集一个视频帧作为关键帧。然后，对每一个关键帧标注考生的边界框和动作类别。

其中，动作识别模型采用的基于3D ResNet的SlowFast网络作为特征提取网络，并使用在AVA数据集上预训练的权重进行初始化，在特征提取模块引入了特征金字塔机构。动作识别模型通过激活函数和交叉熵损失函数进行优化。

S3：读取待检测的考场监控视频并进行视频帧采样，标注考生和监考老师的边界框，通过目标检测模型生成目标类别、边界框坐标和相应的检测得分。

本步骤为测试阶段，目标检测模型输入是视频帧，通过目标检测模型生成目标类别、边界框坐标和相应的检测得分，保留检测得分大于0.9的考生的边界框信息作为行为识别阶段的输入。

S4；将检测得分大于阈值0.9的边界框对应的视频帧进行数据预处理，将处理后的数据输入动作识别模型，以生成考生的行为类别、边界框和相应的概率值。

其中，数据预处理过程包括：首先，将检测得分大于阈值0.9的边界框信息在待检测的考场监控视频的基础上进行裁剪，得到视频帧不同的考生子图像块。

此时，根据将检测得分大于阈值0.9的边界框信息在待检测的考场监控视频中抽取关键，然后对采取的短视频每间隔一秒采集一个视频帧作为关键帧，根据关键帧组成考生的片段。最后，对考生子图像块进行随机抖动和随机裁剪，采用双线性插值法，将考生子图像块的分辨率调整为224x224，并进行水平翻转和颜色增强。

作为示例的，数据预处理过程包括对输入的多个视频帧进行随机抖动，范围是[256,320]，之后将视频帧随机裁剪到224x224，再采用数据增强策略，包括水平翻转和颜色增强等手段。将输入的视频帧组成一个视频帧片段，每个片段由32帧组成，采帧率是2，也就是说每64帧采样32帧作为行为识别模型的输入，将考生的边界框信息也作为输入，对视频帧片段进行特征提取之后，根据考生的边界框信息进行ROI映射，得到每一名考生的特征，再经过分类网络，得到每一名考生的动作类别。

由此可见，本方法实质上包括目标检测阶段和行为识别阶段两部分。

本方法的目标检测阶段主要任务是区分监考老师和考生的类别，并识别出监考老师和考生的位置信息，前一项是分类任务，后一项是边界框回归任务。为实验本发明在考场数据集上的有效性，将目前流行的一些目标检测算法与本发明提出的目标检测算法进行了对比，结果如下表所示：

表1边界框回归实验结果

表2分类实验结果（AP%）

表1是边界框回归实验结果，表2是分类实验结果。评价指标是AP值，AP是类别的平均准确率，在目标检测领域中常用的评估指标是mAP，即各类别AP的均值。AP值通过PR曲线可以计算得到。AP值表示IoU取不同的阈值得到的结果。AP_[0.5:0.95]表示IoU阈值从0.5到0.95以步长0.05共十个IoU阈值下的十个AP值平均得到的mAP值。AP_s,AP_m,AP_l分别表示模型对小目标，中等目标，大目标的识别准确率。本发明使用的目标检测模型是CascadeR-CNN，其中检测器使用的是FasterRCNN，backbone是ResNet50，还引入了FPN结构，从表1和表2可以看到，本发明的目标检测模型相比其他主流的目标检测模型是有一定优势的。

本方法的行为识别阶段，目的是识别出每一名考生的动作类别。为验证本文行为识别模型的有效性，将本方法与目前主流的行为识别方法进行了比较，结果如表3所示。

表3实验结果比较（AP%）

从表3中可以看到，本方法在行为识别模型中引入了特征金字塔结构之后，对于喝水，回头，举手等小目标动作的识别准确率是有所提升的，在考场数据集上的实验结果表明，本发明提供的基于深度学习的考生异常行为检测方法明显优于其他行为识别方法。

实施例二：

基于实施例一，本实施例公开了一种基于深度学习的考生异常行为检测方法，该方法分为两个阶段，目标检测阶段和动作识别阶段。

一、目标检测阶段：

本阶段包括以下步骤：

1、针对考场监控视频进行采样视频帧。

2、对获取的视频帧进行目标检测任务标注，标注内容包括考生和监考老师的边界框和类别。

3、基于标注的数据训练目标检测模型。

其中，对考场监控视频采样时需要注意，采样的视频帧需要包括正常行为和异常行为，标注的时候也需要标注异常行为的实例类别是考生还是监考老师，比如监考老师在考场中会来回走动，需要标注监考老师在不同位置的边界框信息。考生发生异常行为时，比如考生站立或者喝水等动作，都需要完整标注考生的边界框。如果只标注正常行为的边界框信息，目标检测模型对异常行为的检测准确率会严重下降，这会直接影响动作识别阶段对异常行为的识别准确率。

本阶段采用Cascade R-CNN作为目标检测模型，并使用在COCO数据集上预训练的权值对其进行初始化，模型框架如图2所示。为更好地区分考生和监考老师，把Cascade R-CNN分类器最后一个fc层输出类别修改为2。针对考生和监考老师的特性，在标注时将考生和课桌标注为一个整体，将监考老师可能出现的不同位置都标注下来。需要注意的是异常行为的边界框也需要标注。Cascade R-CNN是基于Faster-RCNN的多阶段的结构，如图2所示，Cascade R-CNN包括一系列IoU逐渐增大的检测器，上一个检测器的输出作为下一个检测器的输入。目标检测模型采用的是三阶段的检测结构，将三个检测器进行级联，Iou阈值设置是[0.5,0.7,0.9]。Cascade R-CNN的核心就是通过不断提高的IoU阈值，在保证正样本数量不减少的情况下训练出高质量的检测器。Cascade R-CNN在进行目标检测时，ROI作用在最后一层，对于小目标来说，卷积池化到最后一层，实际的语义信息不足以进行准确检测，而在考场中，由于考场环境的特殊性，考生之间分辨率差异较大，小目标考生极多。为了能够更好识别小目标的考生，目标检测模型在Cascade R-CNN的基础上引入了FPN结构，同时利用低层特征高分辨率和高层特征的语义信息，通过融合不同层的特征表达，提高模型对小目标检测能力。损失函数包括边界框的位置损失函数和分类损失函数。

位置损失函数如下：

其中，x_i是一个image patch，b_i是对应的预测的边界框，g_i是边界框的groundtruth，f是回归器；L_loc使用的是Smooth L₁ Loss。

。

分类损失如下：

其中，h（x_i）表示预测的类别，y_i是ground truth，L_cls采用的是交叉熵损失函数。

目标检测模型在结构上使用了级联的R-CNN，在每个阶段t，R-CNN算法有自己阈值u^t下的分类器h_t和回归器f_t，其中u^t＞u^t-1，因此所述最终损失函数如下：

其中，

,g是ground truth。λ是平衡系数。t-1阶段检测器的输出是t阶段检测器的输入，随着阈值的增加，检测质量依次提高。

另外，需要特别说明的是，在目标检测阶段，采用级联Faster-RCNN来获取考生和监考老师的边界框。后续动作识别阶段依赖于目标检测阶段得到的考生边界框信息。

二、行为识别阶段：

本阶段包括如下步骤：

1、根据异常行为发生位置从原视频提取视频片段。

2、将提取的视频转成视频帧。

3、对视频帧的关键帧进行标注，标注内容包括考生的边界框和动作类别。

4、基于标注的数据训练行为识别模型。

其中，考虑到考场监控视频是长的视频片段，而考生的异常行为可能是在很短时间内发生的，所以这里抽取考生发生异常行为附近的视频片段，一般为1min的短视频。要标记的内容包括考生的边界框和行为类别，同一时间不同考生可能有不同的行为发生。每一秒取一个视频帧作为关键帧进行标注，关键帧位于这一秒的中间位置，一段1min的视频需要对60帧进行标注。

在本阶段，首先需要进行数据的预处理，具体措施如下：

a、动作识别阶段的输入依赖于目标检测阶段的输出，目标检测阶段检测得分大于阈值0.9的考生的边界框被保留作为行为识别阶段的输入。为解决动作识别和时空动作检测在识别密集场景小目标动作方面准确率不足的问题，在行为识别阶段引入了特征金字塔结构，通过融合多尺度的特征，让小目标行为能在大尺度特征上进行映射，从而提高模型对小目标行为识别的准确率。

b、数据标注时只对关键帧进行标记，每1s取1帧作为关键帧。在得到一名考生的边界框信息之后，以该帧为关键帧，前后共采样32帧组成该考生的clip。

c、对输入的多个视频帧进行随机抖动和随机裁剪，并随机裁剪到224x224，之后进行水平翻转，颜色增强等数据增广操作。

本阶段的动作识别模型采用的特征提取网络是基于3D ResNet的SlowFast网络，并使用在AVA数据集上预训练的权重进行初始化。在特征提取部分引入了特征金字塔结构，与目标检测中的特征金字塔不同，这里的特征都是3D的，所以在FPN中进行上采样时，采用的是体积采样的方式。SlowFast网络是模拟双流网络所提出的，使用慢分支和快分支来模拟动作识别领域的双流网络—图像分支和光流分支。如图3所示，SlowFast网络分为两个分支，慢分支和快分支，慢分支使用一个低帧率，低时间分辨率的CNN网络来分析视频中的静态信息，快分支使用一个高帧率，高时间分辨率的CNN网络来分析视频中的动态信息。图3中上层是慢分支，下层是快分支，α表示采帧率，一般取8，表示快分支的时间通道是慢分支的8倍，β是通道比率，一般取1/8。在动作识别模型中设置快分支采帧率为2，即每2帧采样一帧，video clip设置为32帧，即每64帧采样32帧组成一个clip。从快分支到慢分支通过侧向连接相连，通过侧向连接，来自快分支的数据被送入慢分支中，单一数据样本形状在两个分支中是不同的，快分支是｛αT，S²，βC｝，慢分支是｛T，S²，C｝，分别表示时间，空间和channel的大小。最后，快分支和慢分支进入分类网络进行分类。

在分类部分，慢分支和快分支分别进行全局平均池化，将时间维度的特征进行融合，融合后的特征反映了在这段时间内的考生信息。动作识别模型在最大池化层前加了一个平均池化层，保留更多的特征，在最大池化层之后把慢分支和快分支的特征进行拼接，送入全连接层进行分类。动作识别模型把最后全连接层输出维度设置为考生行为类别数，最后得到该考生的的行为类别。激活函数采用softmax函数，损失函数使用的是交叉熵损失函数，具体如下：

其中，c是类别数，y_i是标签，p_i是经过softmax函数之后得到的类别是i的概率。

由于考生异常行为样本数量少，类别不平衡性很严重，因此这里采用带权重的交叉熵损失函数，考生行为类别有正常，喝水，举手，站立，捡东西，回头，与监考老师交谈，根据不同类别行为样本数量的多少，权重系数设置为[0.05,0.15,0.15,0.15,0.15,0.2,0.15]。

动作识别模型采用了带权重的分类损失来优化模型，使模型更关注样本数量少的异常样本，有效避免了时空动作检测方法中小目标行为识别准确率低的问题。

结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

Claims (8)

1.一种基于深度学习的考生异常行为检测方法，其特征在于，包括如下：

S1，对考场监控视频进行视频帧采样，对采样的视频帧标注考生和监考老师的边界框，并利用标注的数据训练目标检测模型；

S2，根据异常行为发生位置对考场监控视频进行视频帧采样，对采样的视频帧标注考生的边界框和动作类别，利用标注的数据训练动作识别模型，并进行动作识别模型优化；

S3，读取待检测的考场监控视频并进行视频帧采样，标注考生和监考老师的边界框，通过目标检测模型生成目标类别、边界框坐标和相应的检测得分；

S4，将检测得分大于阈值0.9的边界框对应的视频帧进行数据预处理，将处理后的数据输入动作识别模型，以生成考生的行为类别、边界框和相应的概率值。

2.根据权利要求1所述的基于深度学习的考生异常行为检测方法，其特征在于，所述步骤S2中，根据异常行为发生位置对考场监控视频进行视频帧采样，对采样的视频帧标注考生的边界框和动作类别，包括：

根据异常行为发生位置在考场监控视频中抽取一分钟时长的短视频，对采取的短视频每间隔一秒采集一个视频帧作为关键帧；

对每一个关键帧标注考生的边界框和动作类别。

3.根据权利要求1所述的基于深度学习的考生异常行为检测方法，其特征在于，所述目标检测模型采用Cascade R-CNN算法模型，目标检测模型包括三个级联的检查器，检查器的交并比逐级增大。

4.根据权利要求1所述的基于深度学习的考生异常行为检测方法，其特征在于，所述目标检测模型利用损失函数进行模型优化，损失函数包括边界框的位置损失函数和分类损失函数。

5.根据权利要求4所述的基于深度学习的考生异常行为检测方法，其特征在于，所述边界框位置损失函数如下：

其中，x_i是一个image patch，b_i是对应的预测的边界框，g_i是边界框的ground truth，f是回归器；L_loc采用的是Smooth的L₁损失函数smooth_L1（x）；

所述分类损失函数如下：

其中，h（x_i）表示预测的类别，y_i是标注数据，L_cls采用的是交叉熵损失函数；

由于目标检测模型在结构上使用了级联的R-CNN算法，在每个阶段t，R-CNN算法有自己阈值u^t下的分类器h_t和回归器f_t，其中u^t＞u^t-1，因此所述最终损失函数如下：

其中，

,g是标注数据，λ是平衡系数。

6.根据权利要求1所述的基于深度学习的考生异常行为检测方法，其特征在于，所述步骤S4中，将检测得分大于阈值0.9的边界框对应的视频帧进行数据预处理，包括：

将检测得分大于阈值0.9的边界框信息在待检测的考场监控视频的基础上进行裁剪，得到视频帧不同的考生子图像块；

根据将检测得分大于阈值0.9的边界框信息在待检测的考场监控视频中抽取关键，对采取的短视频每间隔一秒采集一个视频帧作为关键帧，根据关键帧组成考生的片段；

对考生子图像块进行随机抖动和随机裁剪，采用双线性插值法，将考生子图像块的分辨率调整为224x224，并进行水平翻转和颜色增强。

7.根据权利要求1所述的基于深度学习的考生异常行为检测方法，其特征在于：所述动作识别模型采用的基于3D ResNet的SlowFast网络作为特征提取网络，并使用在AVA数据集上预训练的权重进行初始化。

8.根据权利要求7所述的基于深度学习的考生异常行为检测方法，其特征在于，所述动作识别模型通过激活函数和交叉熵损失函数进行优化；所述激活函数采用softmax函数；

所述交叉熵损失函数具体如下：

其中，c是类别数， y_i是标签，p_i是经过softmax函数之后得到的类别是i的概率。

Images