CN111738044A

CN111738044A - 一种基于深度学习行为识别的校园暴力评估方法

Info

Publication number: CN111738044A
Application number: CN202010009107.8A
Authority: CN
Inventors: 杨建锋; 熊剑民; 杨金文; 张帆; 王伟; 魏瀚哲; 陈彦超
Original assignee: Northwestern University
Current assignee: Northwestern University
Priority date: 2020-01-06
Filing date: 2020-01-06
Publication date: 2020-10-02
Anticipated expiration: 2040-01-06
Also published as: CN111738044B

Abstract

一种基于深度学习行为识别的校园暴力评估方法，包括采集分布在校园各处的监控视频数据，以不同地点的监控摄像头作为分类标签，将视频流数据拆分成不同的连续帧组，输入、训练、构建三维卷积神经网络（3D‑CNN）校园暴力评估模型，并采用交叉验证法检验模型的泛化能力；在此基础上对个体新输入的数据识别动作类别，判断其所处位置的安全状况，并对异常行为发出警报。本发明不仅提出利用深度学习进行校园暴力监控的方法，还首次将3D‑CNN应用于校园暴力预警。在大数据时代背景下，不仅保障了管理的科学性、高效性和安全性，更为防治校园暴力提供了一种有效的解决途径。

Description

一种基于深度学习行为识别的校园暴力评估方法

技术领域

本发明属于大数据处理技术领域，具体涉及一种基于深度学习行为识别的校园暴力评估方法。

背景技术

校园暴力是指学生个体之间或教师与学生之间通过肢体、言语及网络传播等方式欺负、羞辱其他同学并对其造成人身、精神伤害的事件。在我们印象中，学校本应是孩子学习和成长的安全之地，但对全球半数青少年来说，情况却并非如此。深受其扰，却无处求援的局面加剧了校园暴力防治的难度，给管理者带来严峻考验。因此，校园暴力防治研究意义重大。

目前，校园暴力防治研究可以分为两大类，一类是传统校园暴力防治研究，另一类是基于大数据的校园暴力防治研究。传统校园暴力防治研究根据统计校园暴力的外显数据探究其深层原因、未来发展趋势以及所带来的影响。常用研究方法包括：调查法、个案分析法、统计法等，数据主要来源于调查问卷和暴露个案。传统研究起源早，历史久远，发展较为成熟，具有研究范围广、深度高、成果多等优点，但还是存在样本数据量小、不具代表性、数据处理耗时费力等不足之处。

基于大数据的校园暴力防治研究与人工智能、智慧物联、数据科学联系紧密，通过多学科深度融合的方式，将海量数据高效整合处理，发现数据之美，探索数据的深层表现，具有数据量大、代表性强、效率高等特点。专利CN201410649012.7公开了一种基于智能手机平台的校园欺凌检测方法，通过手机内置三轴加速计、三轴陀螺仪、麦克风、GPS等模块实现对监控对象的动作、情感及言语欺凌识别，并通过手机短信自动报警，具有准确、快速的优点，但其投入成本高、效率低，无法大面积投入使用；专利CN201611160698.9，CN201910556819.9和CN201910634611.4虽都公开了一种基于校园监控视频数据的智能安全分析方法，但需要辅助包括个人照片、位置在内的各类敏感信息，且针对校园安全评估核心模块，并未能提出一个合理且高效的神经网络模型和模型建立方法。大数据时代背景下，人们往往易于淹没在数据海洋中，被一个个“信息茧房”禁锢，无法突破局限，发现其中价值。由此可见，如何充分挖掘监控视频数据，建立科学、准确、高效的安全评估模型是数据时代校园暴力防治研究的关键。

发明内容

为了弥补上述现有技术的缺陷，本发明旨在提供一种基于深度学习行为识别的校园暴力评估方法，利用3D CNN神经网络从监控视频获取校园安全状况，将大大提高数据采集的高效性、校园安全可控范围及安全评估的准确性，降低人工投入与经费支出，真正实现校园智慧化管理。

为了实现上述目的，本发明采用的技术方案是：

一种基于深度学习行为识别的校园暴力评估方法，包括以下步骤：

1)参考现有公开数据集，结合特定校园应用场景，自制用于构建校园暴力评估神经网络模型所需的视频数据集，并进行数据压缩、集成、清洗和标记等预处理操作。

2)引入深度学习神经网络—3D-CNN，根据需求设计确定隐藏层数量、激活函数选择、各层次卷积核大小等网络内部结构。

3)将步骤1)中的数据集按2:8比例随机划分为测试集和训练集；依照交叉验证法把训练集分为h个不相交的子集，依次输入步骤2) 所设计的3D-CNN网络中，训练构建3D-CNN校园暴力评估模型，

4)摄像头个体新输入的视频数据流经步骤3)所构建的暴力评估模型分析识别行为类别，得出该摄像头所处位置的实时安全状况；如有异常，立即发出警报。

所述的行为信息包括携带器械、表情和肢体动作三个部分。

所述的视频数据包括时间、摄像头编号和位置信息。

所述的校园暴力评估模型中的暴力评估方法包括步骤：

1)定义行为安全范围，确定危险器械种类、遭遇暴力后可能出现的表情以及暴力发生时的肢体动作；

2)人工标记数据，根据上述危险定义，将切分好的数据标记为行为正常与行为异常两类标签。

所述的3D-CNN网络包括预拆分通道层、卷积层、激活层、池化层和完全连接层，在二维帧图像的基础上，引入时间维度，考虑多个连续帧的运动编码信息，从相邻的视频帧生成多个信息通道，并对每个通道进行卷积操作以获得更好的运动特征表示。

所述的数据预处理包括将视频压缩，去除冗余信息，统一视频格式，将每帧图像调整大小；利用一种结合图像底层颜色特征和图像结构信息的冗余帧处理算法去除视频数据中的冗余帧，保留关键帧序列；对异常、重复数据进行清除，错误纠正，缺失数据进行填充等操作；把现有视频数据由RGB三通道处理为包含光流图、灰度图、x 方向梯度和y方向梯度在内的四通道；参照一定标准，人为标记每组数据的行为异常与否，并按每数张连续帧为一组将视频数据集分组；最后利用数据库技术将位置、时间、标签等信息集成统一储存；

本发明的有益效果是：

本发明充分利用大数据时代背景下的数据收集智能化与数据存储大容量化等特点，从校园监控视频数据出发，提出从视频数据评估校园安全状况的方法，消除了个人主观因素对数据采集的影响，让采集的数据更具代表性，提高了校园暴力评估的准确性和高效性。

本发明首次提出将一种新的深度学习模型—3D CNN应用于校园暴力评估，在普通卷积神经网络的基础上加入时间维度向量，提取连续帧的动作特征，丰富动作特征的信息量，对于提升动作识别的准确性和暴力评估的智慧化具有重要意义。

附图说明

图1是本发明一个实例的校园暴力评估模型构建流程图；

图2是本发明一个实例的3D CNN网络工作流程图；

图3是本发明一个实例的分布式校园暴力评估示意图。

具体实施方式

以下结合实施例对本发明进一步叙述，但本发明不局限于以下实施例。

下面结合附图对本发明实施方式作进一步描述。以下实施实例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明使用的监控数据能够全面、直观地反馈校园实时安全状况，利用智能物联设备，自动采集全校范围的所有视频数据，按照数据的图像直观性和时间连续性，训练构建3D-CNN校园暴力评估模型，提取对象的运动行为特征，实现对校园安全状态的实时判定，若有异常，立即触发警报，提醒监控人员，及时发现并制止校园暴力的发生。

一种基于深度学习行为识别的校园暴力评估方法，其特征在于，包括步骤：

1)利用深度学习3D-CNN神经网络，基于监控摄像头的视频数据和行为信息，训练建立校园暴力评估模型；

2)获取摄像头新生成的视频数据，输入评估模型得到该监控位置的实时安全状况。

其中，所述3D CNN网络，包括卷积层、激活层、池化层和完全连接层，在二维图像帧空间的基础上，引入时间维度，考虑多个连续帧的运动编码信息，从相邻的视频帧生成多个信息通道，并对每个通道进行卷积操作以获得更好的运动特征表示。

其中，所述视频数据包括以下信息:获取时间、来源摄像头编号和位置。如表1所示：

表1

其中，所述行为信息包括携带器械、表情和肢体动作三个部分。并分别利用根据表2、表3和表4信息判定行为是否正常。

表2

表3

表4

其中，所述在已有数据基础上进行数据压缩、关键帧提取、数据集成、数据清洗和数据标记包括以下步骤:

进行数据压缩，按一定格式压缩，降低储存容量，去除视频数据中的冗余信息；

提取关键帧，连续的视频其相邻帧之间具有冗余信息，根据这一特性，利用差分法，去除视频中的冗余帧，可帮助节约储存空间，降低模型的学习难度。

进行数据集成，利用数据库技术将各类数据信息集成并统一存储；

进行数据清洗，将视频数据按相同时间间隔拆分为连续帧，并进行异常、重复数据清除，错误纠正，缺失数据进行填充；

数据标记，对处理好的一段连续帧，人为标记行为异常与否标签。其中，所示视频数据具有如表5所示的特征：

表5

其中，构建校园安全评估模型包括以下步骤：

将数据划分为训练集与测试集；

基于深度学习卷积神经网络，增加时间维度，设计3D-CNN网络结构；

参照交叉验证法，将训练集随机划分为不同子集，依次输入 3D-CNN网络训练，提取动作特征，识别动作种类，建立暴力评估模型；

将测试集作为新个体，输入模型得到安全状况评估结果，并计算准确率、召回率和F1参数值以衡量模型分类效果。

实施例

图1是本发明的一个实例的校园暴力评估模型构建流程图，具体步骤如下：

步骤1)获取用于构建暴力评估模型的视频数据集，并进行数据压缩、集成、清洗和标记等预处理操作。

步骤1-1)获取视频数据集，结合现有公开数据集—“VIF数据库” (该数据集由以色列开放大学收集，主要涉及人群暴力行为，由246 个视频组成，视频皆来源于现实暴力录影)，考虑应用场景的特殊性制作构建3D-CNN校园暴力评估模型的数据集。

因校园环境特殊，现有的公开数据集资源并不能满足构建适合校园特定应用场景的暴力评估模型，所以需要根据特定应用场景，通过自制与拷贝现有资源相结合的方式制作数据集。制作时应考虑人群携带器械、表情、肢体动作、光照和气候等综合因素，此外还可根据需要添加其他评估信息。

步骤1-2)数据预处理，将视频压缩，去除冗余信息，统一视频格式，将每帧图像大小降为80*60大小；利用一种结合图像底层颜色特征和图像结构信息的冗余帧处理算法去除视频数据中的冗余帧，保留关键帧序列；对异常、重复数据进行清除，错误纠正，缺失数据进行填充等操作；把现有视频数据由RGB三通道处理为包含光流图、灰度图、x方向梯度和y方向梯度在内的四通道；参照一定标准，人为标记每组数据的行为异常与否，并按每16张连续帧为一组将视频数据集分组；最后利用数据库技术将位置、时间、标签等信息集成统一储存。

步骤2)将数据集按2:8的比例随机划分为测试集和训练集。依照交叉验证法，将全部训练集U分为h个不相交的子集，样本总数为S，则每个子集有S/h个训练样本，对应的子集为{U₁，U₂，U₃，…，U_h}。

步骤3)设计3D-CNN网络结构，并从训练集中每次取出一个子集 U_i，将剩余h-1个子集输入神经网络进行训练，U_i不参与训练，子集U_i的输出准确率为A_i，即为此次训练的结果。将训练h次的准确率 {A₁，A₂，A₃，…，A_h}取平均值，得到最终的准确率A以评估模型的泛化能力。

步骤3-1)3D-CNN神经网络设计包括有预处理层、卷积层、激活层、池化层和全连接层，如图2所示。

步骤3-2)参数初始化服从高斯分布的随机数，期望为0.05，偏置初始化为0.01，迭代次数为50，学习率α为0.001，并将视频数据输入神经网络前向传播，执行卷积操作提取特征，通过输出层输出分类结果。以下内容是对网络中各层工作流程的详细介绍：

①3D-CNN：网络结构中加入了相邻帧时间维度信息的卷积操作，能够实现连续帧动作的处理，数学表达式如下：

其中

表示第i层第j个特征映射中(x,y,z)位置处的卷积结果； max(0,x)为激活函数；b_ij为该特征映射的偏差；m为第i-1层中特征映射的索引；

为第k个特征位置(p,q,r)处的值；P_i，Q_i，R_i为卷积核的宽度、深度和高度。

②拆分通道层Y1：按灰度、x方向梯度和y方向梯度逐帧处理为四通道，原始数据被处理为63个80*60大小的特征图；

③卷积层C1：在第一个卷积层采用两种规格为9*9*5的卷积核对Y1预处理层输出结果执行卷积操作，经处理后输出47*2个72*52大小的特征图；

④池化层P1：也称为下采样层，利用规格为2*2的过滤器对C1 卷积层输出结果进行最大池化，经处理后输出47*2个36*26大小的特征图；

⑤卷积层C2：在第二个卷积层利用两种规格为7*7*5的卷积核对 P1池化层输出结果执行卷积操作，经处理后输出31*4个30*20大小的特征图；

⑥池化层P2：利用规格为2*2的过滤器对C2卷积层输出结果进行最大池化，经处理后输出31*4个15*10大小的特征图；

⑦卷积层C3：在第三个卷积层利用三种规格为8*5*5的卷积核对 P2池化层输出结果执行卷积操作，经处理后输出15*12个8*6大小的特征图；

⑧池化层P3：利用规格为2*2的过滤器对C3卷积层输出结果进行最大池化，经处理后输出15*12个4*3大小的特征图；

⑨卷积层C4：在第三个卷积层利用规格为4*3*1的卷积核对P3 池化层输出结果执行卷积操作，经处理后输出15*12个1*1大小的特征向量；

⑩全连接层F1：利用Softmax函数将最后一个卷积层输出的特征向量，映射到(0,1)区间内，以概率形式展现，输出分类结果。Softmax 函数形式为：

exp(x)表示e^x的指数函数，分子表示输入信号a_k的指数函数，分母表示所有输入信号的指数函数和

激活层：采用ReLU作为激活函数，函数表达式为

激活层被设计在卷积层之后，用以引入非线性特征，帮助提升模型训练速度，并在一定程度上帮助解决梯度消失问题。

步骤3-3)利用有监督学习法，在模型完成前向传播之后，引入二次代价函数作为损失函数，计算模型输出结果与实际结果的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层。在反向传播的过程中，根据误差调整各类参数的值；不断迭代上述步骤3-2)、 3-3)过程，直至模型收敛。以下内容是反向传播的数学推导过程：

①选择损失函数

a^L＝σ(z^L)＝σ(W^La^L-1+b^L)

②计算输出层W,b的梯度

③提取②中式子的相同部分

④计算第l层W，b的梯度

z^l+1＝W^l+1a^l+b^l+1＝W^l+1σ(z^l)+b^l+1

⑤更新参数

步骤4)以测试集为新个体输入已构建好的3D-CNN校园暴力评估模型，计算准确率、召回率和F1参数值以衡量模型分类效果。

①准确率：

②召回率：

③F1：

以上所述内容仅是本发明的一个实例的实施方式，主要用于帮助解释说明发明内容，并不能以此限制发明权益，该技术领域的任何人员都可以在不脱离本发明技术原理的基础上，对本发明做出若干改进及应用场景拓展，但这些变化和改进都应视为本发明的保护范围。

Claims

1.一种基于深度学习行为识别的校园暴力评估方法，其特征在于，包括以下步骤：

1)参考现有公开数据集，结合特定校园应用场景，自制用于构建校园暴力评估神经网络模型所需的视频数据集，并进行数据压缩、集成、清洗和标记等预处理操作；

2)引入深度学习神经网络—3D-CNN，根据需求设计确定隐藏层数量、激活函数选择、各层次卷积核大小等网络内部结构；

3)将步骤1)中的数据集按2:8比例随机划分为测试集和训练集；依照交叉验证法把训练集分为h个不相交的子集，依次输入步骤2)所设计的3D-CNN网络中，训练构建3D-CNN校园暴力评估模型，

2.根据权利要求1所述的一种基于深度学习行为识别的校园暴力评估方法，其特征在于，所述的行为信息包括携带器械、表情和肢体动作三个部分。

3.根据权利要求1所述的一种基于深度学习行为识别的校园暴力评估方法，其特征在于，所述的视频数据包括时间、摄像头编号与位置信息。

4.根据权利要求1所述的一种基于深度学习行为识别的校园暴力评估方法，其特征在于，所述的3D-CNN网络包括预拆分通道层、卷积层、激活层、池化层和完全连接层，在二维帧图像的基础上，引入时间维度，考虑多个连续帧的运动编码信息，从相邻的视频帧生成多个信息通道，并对每个通道进行卷积操作以获得更好的运动特征表示，数学表达式如下：

其中

表示第i层第j个特征映射中(x,y,z)位置处的卷积结果；max()为激活函数；b_ij为该特征映射的偏差；m为第i-1层中特征映射的索引；

5.根据权利要求1所述的一种基于深度学习行为识别的校园暴力评估方法，其特征在于，所述的校园暴力评估模型中的暴力评估方法包括步骤：

6.根据权利要求1所述的一种基于深度学习行为识别的校园暴力评估方法，其特征在于，所述的数据预处理包括进行数据清洗，将视频数据按相同时间间隔拆分为连续帧，并进行异常、重复数据清除，错误纠正，缺失数据进行填充；数据压缩，按一定格式压缩，降低储存容量，去除视频数据中的冗余信息；提取关键帧，连续的视频其相邻帧之间具有冗余信息，根据这一特性，利用差分法，去除视频中的冗余帧，可帮助节约储存空间，降低模型的学习难度；数据集成，利用数据库技术将各类数据信息集成并统一存储；数据标记，对处理好的一段连续帧，人为标记行为异常与否标签。

7.根据权利要求1所述的一种基于深度学习行为识别的校园暴力评估方法，其特征在于，所述交叉验证法包括将将全部训练集U分为h个不相交的子集，样本总数为S，则每个子集有S/h个训练样本，对应的子集为{U₁，U₂，U₃，...，U_h}，并从训练集中每次取出一个子集U_i，将剩余h-1个子集输入神经网络进行训练，U_i不参与训练，子集U_i的输出准确率为A_i，即为此次训练的结果,将训练h次的准确率{A₁，A₂，A₃，...，A_h}取平均值，得到最终的准确率A以评估模型的泛化能力。