CN109815816B - 一种基于深度学习的考生考场异常行为分析方法 - Google Patents

Abstract

本发明公开提供了一种基于深度学习的考生考场异常行为分析方法。通过对考生骨架模型的检测后进行行为特征提取和分析，在考场监控视频中的考生异常行为分析存在明显的效果，能够解决了考场监控视频中人工查找异常，工作效率低及视频存储冗余大，无法过滤无关紧要的视频等问题。

Description

一种基于深度学习的考生考场异常行为分析方法

技术领域

本发明涉及计算机视觉和模式识别领域，具体涉及一种基于深度学习的考生考场异常行为分析方法。

背景技术

考场中的视频监控系统大多处于传统模式，其主要功能和应用还是停留在摄像和存储上，即“只记录不判断”，一旦发现异常情况，只能通过人工回看存储的视频查找异常，因此目前的视频监控主要存在以下问题：需人工回看查找异常，工作效率低；视频存储冗余大，无法过滤无关紧要的视频。

近年来，随着计算机视觉领域的飞速发展，以及机器学习技术、深度学习技术等深度应用，基于监控视频的拓展研究领域越来越广泛，应用相关技术对视频中的人体行为进行分析，将现有的简单行为识别和语义描述推广到更为复杂的未知场景下的行为分析与自然语言描述变的越来越重要。目前视频行为分析方法主要通过深度学习实现，其中主要分为基于端到端的深度神经网络架构的方法和基于目标及骨架模型检测、目标跟踪和目标行为分析多端结合的方法。这两种方法在行为识别方面都取得了不错的效果。

但针对于考场监控视频，由于考场监控视频中存在多个考生目标，考生间隔较小，基于端到端的深度神经网络架构方法对考生行为分析效果不明显，无法准确判断考生是否存在异常行为、智能化的分析考生行为。

发明内容

针对以上问题，本发明的目的在于提供一种基于深度学习的考生考场异常行为分析方法。

本发明为实现上述目的，通过以下技术方案实现：一种基于深度学习的考生考场异常行为分析方法，包括以下步骤：

步骤(1)：通过视频监控装置采集考场视频图像；

步骤(2)：将采集考场视频图像以时间顺序组成图像序列并进行预处理后得到图像序列S；

步骤(3)：对图像序列S进行考生目标检测及考生骨架模型检测，得到每个考生的骨骼模型；

步骤(4)：分别对每个考生的图像序列S和对应的骨骼模型进行关联，建立每个考生的骨骼模型流；

步骤(5)：根据考场行为特点，删除骨骼模型流中记录考生下半身动作的骨骼关节点，得到每个考生在图像序列S中的考生目标骨架模型；

步骤(6)：对目标骨架模型建立统一的坐标系，在统一坐标系中计算连续多帧图像中目标考生的上半身关节坐标点的特征向量v；

步骤(7)：将特征向量v输入到用于识别异常行为特征向量的支持向量机分类器，通过支持向量机分类器分类判断得到考生的异常行为分析结果。

进一步，在步骤(2)中，所述的预处理包括采用高斯滤波平滑和直方图均衡化对图像的噪声进行抑制，所述图像序列S的尺寸为h×w。

进一步，所述步骤(3)包括：采用卷积神经网络在每个阶段设计不同层数和不同大小的卷积核进行考生目标检测及考生骨架模型检测，并采用两个分支的并行结构分别获得考生骨架关节坐标点置信图和考生骨架关节点关联关系。

进一步，所述步骤(4)包括：使用非极大值抑制算法确定每个考生在不同相邻图像序列之间所处的位置，跟踪考生目标，建立连续的图像序列S中每个考生的骨骼模型流。

进一步，所述特征向量v包括：目标考生的上半身关节坐标点的变化幅度值、方向和胳膊连接线、两肩连接线、头部连接线相互之间的角度变化值及所对应运动轨迹。

进一步，所述步骤(3)具体包括：

步骤(3.1)：使用已经预训练好的VGG-19网络模型的conv3_4网络层对图像序列S提取特征并输出相应的特征图F；

步骤(3.2)：特征图F分别输入到已经预训练好的多阶段双分支卷积神经网络中，其中,分支一得到所有考生的骨骼关节点置信图

分支二得到属于每个考生的骨骼关节点关联关系

经过多个阶段迭代后结合骨骼关节点置信图

和每个考生的骨骼关节点关联关系

得到最终的每个考生的骨骼模型。

进一步，在实时考场监控中，所述步骤(7)还包括：收集分析结果错误的特征向量并建立异常行为分析修正库，将特征向量v与修正库中的行为特征向量进行相似度匹配，屏蔽后续相同的识别错误。

进一步，所述步骤(7)具体包括：

步骤(7.1)：建立异常行为分析修正库V＝{v₁,v₂,...,v_n},n＝1,2,...，把分析错误的行为的特征向量依次保存到异常行为分析修正库中，并记录相应的修正后的行为类型；

步骤(7.2)：将异常行为分析修正库中的特征向量v_n与特征向量v进行余弦相似度匹配，并设定相似度阈值T，当两者相似度大于阈值T时，说明两者相似；

步骤(7.3)：将特征向量v输入到支持向量机分类器，当支持向量机分类器分类判得到考生的异常行为分析结果与步骤(7.2)得出相似度匹配输出结果一致时，得到最终的考生异常行为分析结果。

进一步，所述考生考场异常行为包括：转身、起身、转头、伸手。

对比现有技术，本发明有益效果在于：

(1)本发明通过对考生骨架模型的检测后进行行为特征提取和分析，在考场监控视频中的考生异常行为分析存在明显的效果，能够解决了考场监控视频中人工查找异常，工作效率低及视频存储冗余大，无法过滤无关紧要的视频等问题。

(2)由于考场中有多个考生且移动幅度较小，所以使用非极大值抑制算法确定考生在不同相邻图像序列之间所处的位置，实现跟踪考生目标的目的，便于对连续图像序列中的每个考生进行行为分析。

(3)由于考生在考试过程中的行为主要集中体现在考生的头部、肩部、胳膊等上半身部位，对考生进行行为分析主要是对考生上半身部位的分析，去掉与考生行为分析无关的关节，确保对考生上半身骨架关节进行分析，避免受到其他下半身部位的影响。

(4)考虑到对考场实时监控进行考生异常行为分析的应用，有时会出现对某些行为发生了错误的识别，即把正常的行为判定为异常，这样会产生误报，影响正常考试，为了达到即时屏蔽后续还会出现相同错误识别的情况，并在后期可以对支持向量机(SVM)分类器进行重新训练，提高分类性能，本发明能够有效分析修正基于特征向量相似度匹配的异常行为。

由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。

附图说明

附图1是本发明的方法流程图。

附图2是本发明的整体方案流程图。

附图3是考生目标检测及考生骨架模型检测的网络模型示意图。

附图4是连续多帧图像中目标考生的行为变化示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做出说明。

如图1、图2所示的一种基于深度学习的考生考场异常行为分析方法，其特征在于，包括以下步骤：

步骤(1)：通过视频监控装置采集考场视频图像。

考场视频的异常行为分析主要是对考生在考试过程中的异常动作包括考生的转身、起立、伸手、弯腰、侧身等动作行为进行识别。本发明主要针对幅度较大的异常行为进行识别检测，并做了定义，其中转身是指考生在考试过程中转过头去看后方考生的答卷，起立是指考生在考试过程中站起去看前方考生的答卷，伸手是指考生在考试过程中伸手传递违规物品，侧身是指考生在考试过程中侧身去看考生的答卷。所用的实验环境为Linux系统，系统配置为：Inter(R)Xeon E5-2620v4@2.10GHz内存32G和两个内存为16G的NVIDIA TeslaP100GPU显卡，选取视频长度为10秒，分辨率为1080×720的实际考场监控视频，采用每秒采样10帧的策略输入图像序列。

步骤(2)：将采集考场视频图像以时间顺序组成图像序列并进行预处理后得到图像序列S。

在步骤(2)中，所述的预处理包括采用高斯滤波平滑和直方图均衡化对图像的噪声进行抑制，所述图像序列S的尺寸为h×w。

步骤(3)：对图像序列S进行考生目标检测及考生骨架模型检测，得到每个考生的骨骼模型。本步骤主要采用卷积神经网络在每个阶段设计不同层数和不同大小的卷积核进行考生目标检测及考生骨架模型检测，并采用两个分支的并行结构分别获得考生骨架关节坐标点置信图和考生骨架关节点关联关系。

步骤(3)具体包括：

步骤(3.1)：使用已经预训练好的VGG-19网络模型的conv3_4网络层对图像序列S提取特征并输出相应的特征图F。

把经过预处理后的实际考场监控视频输入到已经预训练好的考生目标检测及考生骨架模型检测网络模型中，网络模型包括VGG-19网络模型的conv3_4网络和多阶段双分支网络，输出目标考生的骨架模型坐标点，其中包括关节点为头部、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右臀、右膝、右踝、左臀、左膝、左踝，并与骨架模型坐标点依次对应。

步骤(3.2)：特征图F分别输入到已经预训练好的多阶段双分支卷积神经网络中，如图3所示，其中,分支一得到所有考生的骨骼关节点置信图

分支二得到属于每个考生的骨骼关节点关联关系

经过多个阶段迭代后结合骨骼关节点置信图

和每个考生的骨骼关节点关联关系

得到最终的每个考生的骨骼模型。

其中：上述步骤(2)中用于多个考生目标检测及考生骨架模型检测的网络模型如图3所示，其中C表示卷积层，在所设计的网络模型中，不同分支的每个阶段的输入输出公式如下：

公式(1)中F表示VGG-19网络模型的conv3_4网络层输出的特征图，

和

分别表示网络模型分支一和分支二的函数描述，

表示第k阶段网络模型分支一输出的考生骨骼关节点置信图，

表示第k阶段网络模型分支二输出的骨骼关节点关联关系，为了使网络模型更好的预测考生骨骼关节点置信图

和每个考生的骨骼关节点关联关系

在训练时，分别设计了两个网络分支使用的损失函数

和

另外，考虑到在训练数据集中没有完全标记出所有目标，两个网络分支在k阶段的损失函数计算公式如下：

公式(2)和公式(3)中，集合B₁＝{B_1,1,B_1,2,...,B_1,I},B_1,i∈R^h×w,i∈{1,2,...,I}包含I个骨骼关节点置信图，集合B₂＝{B_2,1,B_2,2,...,B_2,J},B_2,j∈R^h×w×2,j∈{1,2,...,J}包含J个对应于每个考生的骨骼关节点关联关系，

为关节点置信图的真实值，

为关节点关联关系的真实值，W为二进制掩码，当处于位置p的目标没有被标记时W(p)＝0，加入掩码能够充分训练模型，使之有更好的预测效果。结合公式(2)和公式(3)定义了网络模型整体损失函数如下：

公式(4)中L表示网络模型总体损失，k表示第k个阶段，

和

分别表示对应于网络模型分支一和分支二的损失。

步骤(4)：分别对每个考生的图像序列S和对应的骨骼模型进行关联，建立每个考生的骨骼模型流。具体为：使用非极大值抑制算法确定每个考生在不同相邻图像序列之间所处的位置，跟踪考生目标，建立连续的图像序列S中每个考生的骨骼模型流。

由于考场中有多个考生且移动幅度较小，所以使用非极大值抑制算法确定考生在不同相邻图像序列之间所处的位置，实现跟踪考生目标的目的，便于对连续图像序列中的每个考生进行行为分析。

步骤(5)：根据考场行为特点，删除骨骼模型流中记录考生下半身动作的骨骼关节点，得到每个考生在图像序列S中的考生目标骨架模型。由于考生在考试过程中的行为主要集中体现在考生的头部、肩部、胳膊等上半身部位，对考生进行行为分析主要是对考生上半身部位的分析，去掉与考生行为分析无关的关节，确保对考生上半身骨架关节进行分析，避免受到其他下半身部位的影响。

步骤(6)：对目标骨架模型建立统一的坐标系，在统一坐标系中计算连续多帧图像中目标考生的上半身关节坐标点的特征向量v。

根据步骤(5)中，所得到的连续图像序列中的考生目标骨架模型，建立统一坐标系，如图4所示，在统一坐标系中计算连续多帧图像中目标考生的上半身关节坐标点的变化幅度值、方向和胳膊连接线、两肩连接线、头部连接线相互之间的角度变化及所对应运动轨迹组成特征向量v。

其中：上述步骤(6)中，所提取目标考生的行为特征组成特征向量v，是通过以下方式得到：在统一坐标系中，首先骨骼模型中的两个关节点坐标两两计算距离，得到距离向量d，然后计算有三个关节点坐标的连线之间的夹角，得到角度向量a，计算两个关节点坐标的变化方向，得到方向向量o，分别计算由笛卡尔坐标表示和径向坐标表示的对应于骨骼关节坐标点的位置移动轨迹，得到轨迹向量t，对于没有完全检测到的考生骨骼模型，即骨骼模型中某个关节点坐标不存在，将距离向量、角度向量、方向向量、轨迹向量组成行为特征向量时，通过补0的方式使所有组成的特征向量为同样大小，行为特征向量v的组成方式如下；

公式(5)中d表示两个关节点坐标两两计算距离向量，a表示三个关节点坐标的连线之间的夹角向量，o表示两个关节点坐标的变化方向向量，t表示由笛卡尔坐标表示和径向坐标表示的对应于骨骼关节坐标点的位置移动轨迹。

步骤(7)：将特征向量v输入到用于识别异常行为特征向量的支持向量机分类器，通过支持向量机分类器分类判断得到考生的异常行为分析结果。异常行为包括：转身、起身、转头、伸手。

如若应用在在实时考场监控中，所述步骤(7)还包括：收集分析结果错误的特征向量并建立异常行为分析修正库，将特征向量v与修正库中的行为特征向量进行相似度匹配，屏蔽后续相同的识别错误。

进一步，所述步骤(7)具体包括：

步骤(7.1)：建立异常行为分析修正库V＝{v₁,v₂,...,v_n},n＝1,2,...，把分析错误的行为的特征向量依次保存到异常行为分析修正库中，并记录相应的修正后的行为类型；

步骤(7.2)：将异常行为分析修正库中的特征向量v_n与特征向量v进行余弦相似度匹配，并设定相似度阈值T为0.8，当两者相似度大于阈值T时，说明两者相似；

步骤(7.3)：将特征向量v输入到支持向量机分类器，当支持向量机分类器分类判得到考生的异常行为分析结果与步骤(7.2)得出相似度匹配输出结果一致时，得到最终的考生异常行为分析结果。

结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

Claims (8)

1.一种基于深度学习的考生考场异常行为分析方法，其特征在于，包括以下步骤：

步骤(1)：通过视频监控装置采集考场视频图像；

步骤(2)：将采集考场视频图像以时间顺序组成图像序列并进行预处理后得到图像序列S；

步骤(3)：对图像序列S进行考生目标检测及考生骨架模型检测，得到每个考生的骨骼模型；所述步骤(3)包括：采用卷积神经网络在每个阶段设计不同层数和不同大小的卷积核进行考生目标检测及考生骨架模型检测，并采用两个分支的并行结构分别获得考生骨架关节坐标点置信图和考生骨架关节点关联关系；

步骤(4)：分别对每个考生的图像序列S和对应的骨骼模型进行关联，建立每个考生的骨骼模型流；

步骤(5)：根据考场行为特点，删除骨骼模型流中记录考生下半身动作的骨骼关节点，得到每个考生在图像序列S中的考生目标骨架模型；

步骤(6)：对目标骨架模型建立统一的坐标系，在统一坐标系中计算连续多帧图像中目标考生的上半身关节坐标点的特征向量v；

步骤(7)：将特征向量v输入到用于识别异常行为特征向量的支持向量机分类器，通过支持向量机分类器分类判断得到考生的异常行为分析结果。

2.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，在步骤(2)中，所述的预处理包括采用高斯滤波平滑和直方图均衡化对图像的噪声进行抑制，所述图像序列S的尺寸为h×w。

3.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，所述步骤(4)包括：使用非极大值抑制算法确定每个考生在不同相邻图像序列之间所处的位置，跟踪考生目标，建立连续的图像序列S中每个考生的骨骼模型流。

4.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，所述特征向量v包括：目标考生的上半身关节坐标点的变化幅度值、方向和胳膊连接线、两肩连接线、头部连接线相互之间的角度变化值及所对应运动轨迹。

5.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，所述步骤(3)具体包括：

步骤(3.1)：使用已经预训练好的VGG-19网络模型的conv3_4网络层对图像序列S提取特征并输出相应的特征图F；

步骤(3.2)：特征图F分别输入到已经预训练好的多阶段双分支卷积神经网络中，其中,分支一得到所有考生的骨骼关节点置信图分支二得到属于每个考生的骨骼关节点关联关系经过多个阶段迭代后结合骨骼关节点置信图和每个考生的骨骼关节点关联关系得到最终的每个考生的骨骼模型。

6.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，在实时考场监控中，所述步骤(7)还包括：收集分析结果错误的特征向量并建立异常行为分析修正库，将特征向量v与修正库中的行为特征向量进行相似度匹配，屏蔽后续相同的识别错误。

7.如权利要求6所述的基于深度学习的考生考场异常行为分析方法，其特征在于，所述步骤(7)具体包括：

步骤(7.1)：建立异常行为分析修正库V＝{v 1,v 2,...,v n},n＝1,2,...，把分析错误的行为的特征向量依次保存到异常行为分析修正库中，并记录相应的修正后的行为类型；

步骤(7.2)：将异常行为分析修正库中的特征向量v n与特征向量v进行余弦相似度匹配，并设定相似度阈值T，当两者相似度大于阈值T时，说明两者相似；

步骤(7.3)：将特征向量v输入到支持向量机分类器，当支持向量机分类器分类判得到考生的异常行为分析结果与步骤(7.2)得出相似度匹配输出结果一致时，得到最终的考生异常行为分析结果。

8.如权利要求1所述的基于深度学习的考生考场异常行为分析方法，其特征在于，所述考生考场异常行为包括：转身、起身、转头、伸手。

Images