CN111738044B - 一种基于深度学习行为识别的校园暴力评估方法 - Google Patents
一种基于深度学习行为识别的校园暴力评估方法 Download PDFInfo
- Publication number
- CN111738044B CN111738044B CN202010009107.8A CN202010009107A CN111738044B CN 111738044 B CN111738044 B CN 111738044B CN 202010009107 A CN202010009107 A CN 202010009107A CN 111738044 B CN111738044 B CN 111738044B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- data
- violence
- campus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000006399 behavior Effects 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000009471 action Effects 0.000 claims abstract description 15
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000013144 data compression Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims description 2
- 230000001902 propagating effect Effects 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 230000008034 disappearance Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 11
- 238000012795 verification Methods 0.000 abstract 1
- 238000011160 research Methods 0.000 description 9
- 230000002265 prevention Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度学习行为识别的校园暴力评估方法，包括采集分布在校园各处的监控视频数据，以不同地点的监控摄像头作为分类标签，将视频流数据拆分成不同的连续帧组，输入、训练、构建三维卷积神经网络（3D‑CNN）校园暴力评估模型，并采用交叉验证法检验模型的泛化能力；在此基础上对个体新输入的数据识别动作类别，判断其所处位置的安全状况，并对异常行为发出警报。本发明不仅提出利用深度学习进行校园暴力监控的方法，还首次将3D‑CNN应用于校园暴力预警。在大数据时代背景下，不仅保障了管理的科学性、高效性和安全性，更为防治校园暴力提供了一种有效的解决途径。
Description
技术领域
本发明属于大数据处理技术领域，具体涉及一种基于深度学习行为识别的校园暴力评估方法。
背景技术
校园暴力是指学生个体之间或教师与学生之间通过肢体、言语及网络传播等方式欺负、羞辱其他同学并对其造成人身、精神伤害的事件。在我们印象中，学校本应是孩子学习和成长的安全之地，但对全球半数青少年来说，情况却并非如此。深受其扰，却无处求援的局面加剧了校园暴力防治的难度，给管理者带来严峻考验。因此，校园暴力防治研究意义重大。
目前，校园暴力防治研究可以分为两大类，一类是传统校园暴力防治研究，另一类是基于大数据的校园暴力防治研究。传统校园暴力防治研究根据统计校园暴力的外显数据探究其深层原因、未来发展趋势以及所带来的影响。常用研究方法包括：调查法、个案分析法、统计法等，数据主要来源于调查问卷和暴露个案。传统研究起源早，历史久远，发展较为成熟，具有研究范围广、深度高、成果多等优点，但还是存在样本数据量小、不具代表性、数据处理耗时费力等不足之处。
基于大数据的校园暴力防治研究与人工智能、智慧物联、数据科学联系紧密，通过多学科深度融合的方式，将海量数据高效整合处理，发现数据之美，探索数据的深层表现，具有数据量大、代表性强、效率高等特点。专利CN201410649012.7公开了一种基于智能手机平台的校园欺凌检测方法，通过手机内置三轴加速计、三轴陀螺仪、麦克风、GPS等模块实现对监控对象的动作、情感及言语欺凌识别，并通过手机短信自动报警，具有准确、快速的优点，但其投入成本高、效率低，无法大面积投入使用；专利CN201611160698.9，CN201910556819.9和CN201910634611.4虽都公开了一种基于校园监控视频数据的智能安全分析方法，但需要辅助包括个人照片、位置在内的各类敏感信息，且针对校园安全评估核心模块，并未能提出一个合理且高效的神经网络模型和模型建立方法。大数据时代背景下，人们往往易于淹没在数据海洋中，被一个个“信息茧房”禁锢，无法突破局限，发现其中价值。由此可见，如何充分挖掘监控视频数据，建立科学、准确、高效的安全评估模型是数据时代校园暴力防治研究的关键。
发明内容
为了弥补上述现有技术的缺陷，本发明旨在提供一种基于深度学习行为识别的校园暴力评估方法，利用3D CNN神经网络从监控视频获取校园安全状况，将大大提高数据采集的高效性、校园安全可控范围及安全评估的准确性，降低人工投入与经费支出，真正实现校园智慧化管理。
为了实现上述目的，本发明采用的技术方案是：
一种基于深度学习行为识别的校园暴力评估方法，包括以下步骤：
1)参考现有公开数据集，结合特定校园应用场景，自制用于构建校园暴力评估神经网络模型所需的视频数据集，并进行数据压缩、集成、清洗和标记等预处理操作。
2)引入深度学习神经网络—3D-CNN，根据需求设计确定隐藏层数量、激活函数选择、各层次卷积核大小等网络内部结构。
3)将步骤1)中的数据集按2:8比例随机划分为测试集和训练集；依照交叉验证法把训练集分为h个不相交的子集，依次输入步骤2)所设计的3D-CNN网络中，训练构建3D-CNN校园暴力评估模型，
4)摄像头个体新输入的视频数据流经步骤3)所构建的暴力评估模型分析识别行为类别，得出该摄像头所处位置的实时安全状况；如有异常，立即发出警报。
所述的行为信息包括携带器械、表情和肢体动作三个部分。
所述的视频数据包括时间、摄像头编号和位置信息。
所述的校园暴力评估模型中的暴力评估方法包括步骤：
1)定义行为安全范围，确定危险器械种类、遭遇暴力后可能出现的表情以及暴力发生时的肢体动作；
2)人工标记数据，根据上述危险定义，将切分好的数据标记为行为正常与行为异常两类标签。
所述的3D-CNN网络包括预拆分通道层、卷积层、激活层、池化层和完全连接层，在二维帧图像的基础上，引入时间维度，考虑多个连续帧的运动编码信息，从相邻的视频帧生成多个信息通道，并对每个通道进行卷积操作以获得更好的运动特征表示。
所述的数据预处理包括将视频压缩，去除冗余信息，统一视频格式，将每帧图像调整大小；利用一种结合图像底层颜色特征和图像结构信息的冗余帧处理算法去除视频数据中的冗余帧，保留关键帧序列；对异常、重复数据进行清除，错误纠正，缺失数据进行填充等操作；把现有视频数据由RGB三通道处理为包含光流图、灰度图、x方向梯度和y方向梯度在内的四通道；参照一定标准，人为标记每组数据的行为异常与否，并按每数张连续帧为一组将视频数据集分组；最后利用数据库技术将位置、时间、标签等信息集成统一储存；
本发明的有益效果是：
本发明充分利用大数据时代背景下的数据收集智能化与数据存储大容量化等特点，从校园监控视频数据出发，提出从视频数据评估校园安全状况的方法，消除了个人主观因素对数据采集的影响，让采集的数据更具代表性，提高了校园暴力评估的准确性和高效性。
本发明首次提出将一种新的深度学习模型—3D CNN应用于校园暴力评估，在普通卷积神经网络的基础上加入时间维度向量，提取连续帧的动作特征，丰富动作特征的信息量，对于提升动作识别的准确性和暴力评估的智慧化具有重要意义。
附图说明
图1是本发明一个实例的校园暴力评估模型构建流程图；
图2是本发明一个实例的3D CNN网络工作流程图；
图3是本发明一个实例的分布式校园暴力评估示意图。
具体实施方式
以下结合实施例对本发明进一步叙述，但本发明不局限于以下实施例。
下面结合附图对本发明实施方式作进一步描述。以下实施实例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明使用的监控数据能够全面、直观地反馈校园实时安全状况，利用智能物联设备，自动采集全校范围的所有视频数据，按照数据的图像直观性和时间连续性，训练构建3D-CNN校园暴力评估模型，提取对象的运动行为特征，实现对校园安全状态的实时判定，若有异常，立即触发警报，提醒监控人员，及时发现并制止校园暴力的发生。
一种基于深度学习行为识别的校园暴力评估方法，其特征在于，包括步骤：
1)利用深度学习3D-CNN神经网络，基于监控摄像头的视频数据和行为信息，训练建立校园暴力评估模型；
2)获取摄像头新生成的视频数据，输入评估模型得到该监控位置的实时安全状况。
其中，所述3D CNN网络，包括卷积层、激活层、池化层和完全连接层，在二维图像帧空间的基础上，引入时间维度，考虑多个连续帧的运动编码信息，从相邻的视频帧生成多个信息通道，并对每个通道进行卷积操作以获得更好的运动特征表示。
其中，所述视频数据包括以下信息:获取时间、来源摄像头编号和位置。如表1所示：
表1
其中，所述行为信息包括携带器械、表情和肢体动作三个部分。并分别利用根据表2、表3和表4信息判定行为是否正常。
表2
表3
表4
其中，所述在已有数据基础上进行数据压缩、关键帧提取、数据集成、数据清洗和数据标记包括以下步骤:
进行数据压缩，按一定格式压缩，降低储存容量，去除视频数据中的冗余信息；
提取关键帧，连续的视频其相邻帧之间具有冗余信息，根据这一特性，利用差分法，去除视频中的冗余帧，可帮助节约储存空间，降低模型的学习难度。
进行数据集成，利用数据库技术将各类数据信息集成并统一存储；
进行数据清洗，将视频数据按相同时间间隔拆分为连续帧，并进行异常、重复数据清除，错误纠正，缺失数据进行填充；
数据标记，对处理好的一段连续帧，人为标记行为异常与否标签。其中，所示视频数据具有如表5所示的特征：
表5
其中，构建校园安全评估模型包括以下步骤：
将数据划分为训练集与测试集；
基于深度学习卷积神经网络，增加时间维度，设计3D-CNN网络结构；
参照交叉验证法，将训练集随机划分为不同子集，依次输入3D-CNN网络训练，提取动作特征，识别动作种类，建立暴力评估模型；
将测试集作为新个体，输入模型得到安全状况评估结果，并计算准确率、召回率和F1参数值以衡量模型分类效果。
实施例
图1是本发明的一个实例的校园暴力评估模型构建流程图，具体步骤如下：
步骤1)获取用于构建暴力评估模型的视频数据集，并进行数据压缩、集成、清洗和标记等预处理操作。
步骤1-1)获取视频数据集，结合现有公开数据集—“VIF数据库”(该数据集由以色列开放大学收集，主要涉及人群暴力行为，由246个视频组成，视频皆来源于现实暴力录影)，考虑应用场景的特殊性制作构建3D-CNN校园暴力评估模型的数据集。
因校园环境特殊，现有的公开数据集资源并不能满足构建适合校园特定应用场景的暴力评估模型，所以需要根据特定应用场景，通过自制与拷贝现有资源相结合的方式制作数据集。制作时应考虑人群携带器械、表情、肢体动作、光照和气候等综合因素，此外还可根据需要添加其他评估信息。
步骤1-2)数据预处理，将视频压缩，去除冗余信息，统一视频格式，将每帧图像大小降为80*60大小；利用一种结合图像底层颜色特征和图像结构信息的冗余帧处理算法去除视频数据中的冗余帧，保留关键帧序列；对异常、重复数据进行清除，错误纠正，缺失数据进行填充等操作；把现有视频数据由RGB三通道处理为包含光流图、灰度图、x方向梯度和y方向梯度在内的四通道；参照一定标准，人为标记每组数据的行为异常与否，并按每16张连续帧为一组将视频数据集分组；最后利用数据库技术将位置、时间、标签等信息集成统一储存。
步骤2)将数据集按2:8的比例随机划分为测试集和训练集。依照交叉验证法，将全部训练集U分为h个不相交的子集，样本总数为S，则每个子集有S/h个训练样本，对应的子集为{U1，U2，U3，...，Uh}。
步骤3)设计3D-CNN网络结构，并从训练集中每次取出一个子集Ui，将剩余h-1个子集输入神经网络进行训练，Ui不参与训练，子集Ui的输出准确率为Ai，即为此次训练的结果。将训练h次的准确率{A1，A2，A3，...，Ah}取平均值，得到最终的准确率A以评估模型的泛化能力。
步骤3-1)3D-CNN神经网络设计包括有预处理层、卷积层、激活层、池化层和全连接层，如图2所示。
步骤3-2)参数初始化服从高斯分布的随机数，期望为0.05，偏置初始化为0.01，迭代次数为50，学习率α为0.001，并将视频数据输入神经网络前向传播，执行卷积操作提取特征，通过输出层输出分类结果。以下内容是对网络中各层工作流程的详细介绍：
①3D-CNN：网络结构中加入了相邻帧时间维度信息的卷积操作，能够实现连续帧动作的处理，数学表达式如下：
其中表示第i层第j个特征映射中(x,y,z)位置处的卷积结果；max(0,x)为激活函数；bij为该特征映射的偏差；m为第i-1层中特征映射的索引；/>为第k个特征位置(p,q,r)处的值；Pi，Qi，Ri为卷积核的宽度、深度和高度。
②拆分通道层Y1：按灰度、x方向梯度和y方向梯度逐帧处理为四通道，原始数据被处理为63个80*60大小的特征图；
③卷积层C1：在第一个卷积层采用两种规格为9*9*5的卷积核对Y1预处理层输出结果执行卷积操作，经处理后输出47*2个72*52大小的特征图；
④池化层P1：也称为下采样层，利用规格为2*2的过滤器对C1卷积层输出结果进行最大池化，经处理后输出47*2个36*26大小的特征图；
⑤卷积层C2：在第二个卷积层利用两种规格为7*7*5的卷积核对P1池化层输出结果执行卷积操作，经处理后输出31*4个30*20大小的特征图；
⑥池化层P2：利用规格为2*2的过滤器对C2卷积层输出结果进行最大池化，经处理后输出31*4个15*10大小的特征图；
⑦卷积层C3：在第三个卷积层利用三种规格为8*5*5的卷积核对P2池化层输出结果执行卷积操作，经处理后输出15*12个8*6大小的特征图；
⑧池化层P3：利用规格为2*2的过滤器对C3卷积层输出结果进行最大池化，经处理后输出15*12个4*3大小的特征图；
⑨卷积层C4：在第三个卷积层利用规格为4*3*1的卷积核对P3池化层输出结果执行卷积操作，经处理后输出15*12个1*1大小的特征向量；
⑩全连接层F1：利用Softmax函数将最后一个卷积层输出的特征向量，映射到(0,1)区间内，以概率形式展现，输出分类结果。Softmax函数形式为：
exp(x)表示ex的指数函数，分子表示输入信号ak的指数函数，分母表示所有输入信号的指数函数和
激活层：采用ReLU作为激活函数，函数表达式为/>激活层被设计在卷积层之后，用以引入非线性特征，帮助提升模型训练速度，并在一定程度上帮助解决梯度消失问题。
步骤3-3)利用有监督学习法，在模型完成前向传播之后，引入二次代价函数作为损失函数，计算模型输出结果与实际结果的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层。在反向传播的过程中，根据误差调整各类参数的值；不断迭代上述步骤3-2)、3-3)过程，直至模型收敛。以下内容是反向传播的数学推导过程：
①选择损失函数
aL＝σ(zL)＝σ(WLaL-1+bL)
②计算输出层W，b的梯度
③提取②中式子的相同部分
④计算第l层W，b的梯度
zl+1＝Wl+1al+bl+1＝Wl+1σ(zl)+bl+1
⑤更新参数
步骤4)以测试集为新个体输入已构建好的3D-CNN校园暴力评估模型，计算准确率、召回率和F1参数值以衡量模型分类效果。
①准确率：
②召回率：
③F1：
以上所述内容仅是本发明的一个实例的实施方式，主要用于帮助解释说明发明内容，并不能以此限制发明权益，该技术领域的任何人员都可以在不脱离本发明技术原理的基础上，对本发明做出若干改进及应用场景拓展，但这些变化和改进都应视为本发明的保护范围。
Claims (6)
1.一种基于深度学习行为识别的校园暴力评估方法，其特征在于，包括以下步骤：
1)结合特定校园应用场景，指定用于构建校园暴力评估神经网络模型所需的视频数据集，并进行数据压缩、集成、清洗和标记预处理操作；
2)引入深度学习神经网络—3D-CNN，根据需求设计确定隐藏层数量、激活函数选择、各层次卷积核大小等网络内部结构；
步骤3)设计3D-CNN网络结构，并从训练集中每次取出一个子集Ui，将剩余h-1个子集输入神经网络进行训练，Ui不参与训练，子集Ui的输出准确率为Ai，即为此次训练的结果；将训练h次的准确率{A1，A2，A3，...，Ah}取平均值，得到最终的准确率A以评估模型的泛化能力；
步骤3-1)3D-CNN神经网络设计包括有预处理层、卷积层、激活层、池化层和全连接层；
步骤3-2)参数初始化服从高斯分布的随机数，期望为0.05，偏置初始化为0.01，迭代次数为50，学习率α为0.001，并将视频数据输入神经网络前向传播，执行卷积操作提取特征，通过输出层输出分类结果；以下内容是对网络中各层工作流程的详细介绍：
①3D-CNN：网络结构中加入了相邻帧时间维度信息的卷积操作，能够实现连续帧动作的处理，数学表达式如下：
其中表示第i层第j个特征映射中(x,y,z)位置处的卷积结果；max(0,x)为激活函数；bij为该特征映射的偏差；m为第i-1层中特征映射的索引；/>为第k个特征位置(p,q,r)处的值；Pi，Qi，Ri为卷积核的宽度、深度和高度；
②拆分通道层Y1：按灰度、x方向梯度和y方向梯度逐帧处理为四通道，原始数据被处理为63个80*60大小的特征图；
③卷积层C1：在第一个卷积层采用两种规格为9*9*5的卷积核对Y1预处理层输出结果执行卷积操作，经处理后输出47*2个72*52大小的特征图；
④池化层P1：也称为下采样层，利用规格为2*2的过滤器对C1卷积层输出结果进行最大池化，经处理后输出47*2个36*26大小的特征图；
⑤卷积层C2：在第二个卷积层利用两种规格为7*7*5的卷积核对P1池化层输出结果执行卷积操作，经处理后输出31*4个30*20大小的特征图；
⑥池化层P2：利用规格为2*2的过滤器对C2卷积层输出结果进行最大池化，经处理后输出31*4个15*10大小的特征图；
⑦卷积层C3：在第三个卷积层利用三种规格为8*5*5的卷积核对P2池化层输出结果执行卷积操作，经处理后输出15*12个8*6大小的特征图；
⑧池化层P3：利用规格为2*2的过滤器对C3卷积层输出结果进行最大池化，经处理后输出15*12个4*3大小的特征图；
⑨卷积层C4：在第三个卷积层利用规格为4*3*1的卷积核对P3池化层输出结果执行卷积操作，经处理后输出15*12个1*1大小的特征向量；
⑩全连接层F1：利用Softmax函数将最后一个卷积层输出的特征向量，映射到(0,1)区间内，以概率形式展现，输出分类结果；Softmax函数形式为：
exp(x)表示ex的指数函数，分子表示输入信号ak的指数函数，分母表示所有输入信号的指数函数和
激活层：采用ReLU作为激活函数，函数表达式为/>激活层被设计在卷积层之后，用以引入非线性特征，帮助提升模型训练速度，并在一定程度上帮助解决梯度消失问题；
步骤3-3)利用有监督学习法，在模型完成前向传播之后，引入二次代价函数作为损失函数，计算模型输出结果与实际结果的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据误差调整各类参数的值；不断迭代上述步骤3-2)、3-3)过程，直至模型收敛；以下内容是反向传播的数学推导过程：
①选择损失函数
aL＝σ(zL)＝σ(WLaL-1+bL)
②计算输出层W，b的梯度
③提取②中式子的相同部分
④计算第l层W，b的梯度
zl+1＝Wl+1al+bl+1＝Wl+1σ(zl)+bl+1
⑤更新参数
步骤4)以测试集为新个体输入已构建好的3D-CNN校园暴力评估模型，计算准确率、召回率和F1参数值以衡量模型分类效果；
①准确率：
②召回率：
③F1：
得出摄像头所处位置的实时安全状况；如有异常，立即发出警报。
2.根据权利要求1所述的一种基于深度学习行为识别的校园暴力评估方法，其特征在于，所述的行为信息包括携带器械、表情和肢体动作三个部分。
3.根据权利要求1所述的一种基于深度学习行为识别的校园暴力评估方法，其特征在于，所述的视频数据包括时间、摄像头编号与位置信息。
4.根据权利要求1所述的一种基于深度学习行为识别的校园暴力评估方法，其特征在于，所述的3D-CNN网络包括预拆分通道层、卷积层、激活层、池化层和完全连接层，在二维帧图像的基础上，引入时间维度，考虑多个连续帧的运动编码信息，从相邻的视频帧生成多个信息通道，并对每个通道进行卷积操作以获得更好的运动特征表示，数学表达式如下：
其中表示第i层第j个特征映射中(x,y,z)位置处的卷积结果；max()为激活函数；bij为该特征映射的偏差；m为第i-1层中特征映射的索引；/>为第k个特征位置(p,q,r)处的值；Pi，Qi，Ri为卷积核的宽度、深度和高度。
5.根据权利要求1所述的一种基于深度学习行为识别的校园暴力评估方法，其特征在于，所述的校园暴力评估模型中的暴力评估方法包括步骤：
1)定义行为安全范围，确定危险器械种类、遭遇暴力后可能出现的表情以及暴力发生时的肢体动作；
2)人工标记数据，根据上述危险定义，将切分好的数据标记为行为正常与行为异常两类标签。
6.根据权利要求1所述的一种基于深度学习行为识别的校园暴力评估方法，其特征在于，所述的数据预处理包括进行数据清洗，将视频数据按相同时间间隔拆分为连续帧，并进行异常、重复数据清除，错误纠正，缺失数据进行填充；数据压缩，按一定格式压缩，降低储存容量，去除视频数据中的冗余信息；提取关键帧，连续的视频其相邻帧之间具有冗余信息，根据这一特性，利用差分法，去除视频中的冗余帧，可帮助节约储存空间，降低模型的学习难度；数据集成，利用数据库技术将各类数据信息集成并统一存储；数据标记，对处理好的一段连续帧，人为标记行为异常与否标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010009107.8A CN111738044B (zh) | 2020-01-06 | 2020-01-06 | 一种基于深度学习行为识别的校园暴力评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010009107.8A CN111738044B (zh) | 2020-01-06 | 2020-01-06 | 一种基于深度学习行为识别的校园暴力评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738044A CN111738044A (zh) | 2020-10-02 |
| CN111738044B true CN111738044B (zh) | 2024-01-19 |
Family
ID=72645971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010009107.8A Active CN111738044B (zh) | 2020-01-06 | 2020-01-06 | 一种基于深度学习行为识别的校园暴力评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738044B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112804491A (zh) * | 2020-12-31 | 2021-05-14 | 重庆惠统智慧科技有限公司 | 一种校园安全监管方法、系统、服务器及存储介质 |
| CN113191182A (zh) * | 2021-03-01 | 2021-07-30 | 哈尔滨理工大学 | 一种基于深度学习的暴力异常行为检测方法 |
| CN113128383A (zh) * | 2021-04-07 | 2021-07-16 | 杭州海宴科技有限公司 | 一种校园学生欺凌行为的识别方法 |
| CN113313087B (zh) * | 2021-07-28 | 2021-11-02 | 江西科技学院 | 无人驾驶汽车的乘客行为监督方法与装置 |
| CN114937230B (zh) * | 2022-07-21 | 2022-10-04 | 海门市三德体育用品有限公司 | 一种基于计算机视觉的健身动作危险性评估方法及系统 |
| CN115601714B (zh) * | 2022-12-16 | 2023-03-10 | 广东汇通信息科技股份有限公司 | 基于多模态数据分析的校园暴力行为识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709511A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 基于深度学习的城市轨道交通全景监控视频故障检测方法 |
| CN107506740A (zh) * | 2017-09-04 | 2017-12-22 | 北京航空航天大学 | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 |
| CN108275524A (zh) * | 2018-01-12 | 2018-07-13 | 东北大学 | 一种基于第一视角视频序列操作评估的电梯维保操作监测与指导装置 |
| WO2018171109A1 (zh) * | 2017-03-23 | 2018-09-27 | 北京大学深圳研究生院 | 基于卷积神经网络的视频动作检测方法 |
-
2020
- 2020-01-06 CN CN202010009107.8A patent/CN111738044B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709511A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 基于深度学习的城市轨道交通全景监控视频故障检测方法 |
| WO2018171109A1 (zh) * | 2017-03-23 | 2018-09-27 | 北京大学深圳研究生院 | 基于卷积神经网络的视频动作检测方法 |
| CN107506740A (zh) * | 2017-09-04 | 2017-12-22 | 北京航空航天大学 | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 |
| CN108275524A (zh) * | 2018-01-12 | 2018-07-13 | 东北大学 | 一种基于第一视角视频序列操作评估的电梯维保操作监测与指导装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于3D卷积双路神经网络的考场行为异常识别;于明学;金鑫;李晓东;吴亚明;;北京电子科技学院学报(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111738044A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738044B (zh) | 一种基于深度学习行为识别的校园暴力评估方法 | |
| CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
| CN104992223B (zh) | 基于深度学习的密集人数估计方法 | |
| CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN106803069A (zh) | 基于深度学习的人群高兴程度识别方法 | |
| CN106790019A (zh) | 基于特征自学习的加密流量识别方法及装置 | |
| CN116363440B (zh) | 基于深度学习的土壤中有色微塑料的识别检测方法及系统 | |
| CN112015901A (zh) | 文本分类方法及装置、警情分析系统 | |
| CN111353399A (zh) | 篡改视频检测方法 | |
| CN114913923A (zh) | 针对单细胞染色质开放性测序数据的细胞类型识别方法 | |
| CN109472733A (zh) | 基于卷积神经网络的图像隐写分析方法 | |
| CN116012653A (zh) | 一种注意力残差单元神经网络高光谱图像分类方法及系统 | |
| CN112766283A (zh) | 一种基于多尺度卷积网络的两相流流型识别方法 | |
| CN116958637A (zh) | 图像检测模型的训练方法、装置、设备及存储介质 | |
| Tian et al. | An Abnormal Behavior Detection Method Leveraging Multi-modal Data Fusion and Deep Mining. | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| CN115292538A (zh) | 一种基于深度学习的地图线要素提取方法 | |
| CN113269093A (zh) | 视频描述中视觉特征分割语义检测方法及系统 | |
| CN112861881A (zh) | 一种基于改进MobileNet模型的蜂窝肺识别方法 | |
| CN112417974A (zh) | 一种公共卫生监控方法 | |
| Bilang et al. | Cactaceae detection using MobileNet architecture | |
| CN108537762B (zh) | 基于深度多尺度网络的二次jpeg压缩图像取证方法 | |
| CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
| CN115578693A (zh) | 一种基于显著性神经网络模型的施工安全预警方法和装置 | |
| CN114496099A (zh) | 细胞功能注释方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |