CN111191528A - 基于深度学习的校园暴力行为检测系统和方法 - Google Patents
基于深度学习的校园暴力行为检测系统和方法 Download PDFInfo
- Publication number
- CN111191528A CN111191528A CN201911295601.9A CN201911295601A CN111191528A CN 111191528 A CN111191528 A CN 111191528A CN 201911295601 A CN201911295601 A CN 201911295601A CN 111191528 A CN111191528 A CN 111191528A
- Authority
- CN
- China
- Prior art keywords
- campus
- algorithm model
- image data
- violent behavior
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010001488 Aggression Diseases 0.000 title claims abstract description 110
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000013135 deep learning Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title abstract description 4
- 238000012549 training Methods 0.000 claims abstract description 78
- 238000012360 testing method Methods 0.000 claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000007726 management method Methods 0.000 claims abstract description 22
- 230000003416 augmentation Effects 0.000 claims abstract description 17
- 238000013523 data management Methods 0.000 claims abstract description 10
- 230000003993 interaction Effects 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 210000002569 neuron Anatomy 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000003062 neural network model Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008676 import Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 208000003098 Ganglion Cysts Diseases 0.000 claims description 3
- 208000005400 Synovial Cyst Diseases 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 18
- 238000011176 pooling Methods 0.000 description 14
- 238000005457 optimization Methods 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000574 ganglionic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Neurology (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的校园暴力行为检测系统和方法，其中，所述检测系统包括：图像数据管理模块，图像数据管理模块用于获取校园暴力行为场景和非校园暴力行为场景的图像数据，并对图像数据进行分类标注和图像增广，以生成训练数据集和测试数据集；深度学习算法训练管理模块，深度学习算法训练管理模块基于神经网络算法模型构建目标算法模型，并根据训练数据集和测试数据集对目标算法模型进行训练和测试，以生成校园暴力行为检测算法模型；人机交互管理模块，人机交互管理模块用于采用校园暴力行为检测算法模型对校园监控实时获取的图像数据进行判断，若判断结果为发生校园暴力，则进行报警。
Description
技术领域
本发明涉及图像检测识别技术领域，具体涉及一种基于深度学习的校园暴力行为检测系统和一种基于深度学习的校园暴力行为检测方法。
背景技术
校园暴力多发生在中小学校园中，大多数情况为学生蓄意滥用躯体力量，在教学楼、宿舍和校园的偏僻角落对一个或多个学生进行肢体殴打，这种暴力行为对被侵害的学生造成严重的生理和心理上的伤害。很多时候学校老师和安保人员本可以通过监控摄像及时发现这种暴力行为，并进行制止，但因为发现不及时或者没有关注监控摄像，错过了制止这种行为的最佳时机。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一，为此，本发明一个目的在于提出一种基于深度学习的校园暴力行为检测系统，能够及时发现校园暴力行为，并进行报警，从而能够提高监视效率，为校园安全提供有效保障。
本发明的第二个目的在于提出一种基于深度学习的校园暴力行为检测方法。
为实现上述目的，本发明第一方面实施例提出了一种基于深度学习的校园暴力行为检测系统，包括：图像数据管理模块，所述图像数据管理模块用于获取校园暴力行为场景和非校园暴力行为场景的图像数据，并对所述图像数据进行分类标注和图像增广，以生成训练数据集和测试数据集；深度学习算法训练管理模块，所述深度学习算法训练管理模块基于神经网络算法模型构建目标算法模型，并根据所述训练数据集和所述测试数据集对所述目标算法模型进行训练和测试，以得到校园暴力行为检测算法模型；人机交互管理模块，所述人机交互管理模块用于采用所述校园暴力行为检测算法模型对校园监控实时获取的图像数据进行判断，若判断结果为发生校园暴力，则进行报警。
根据本发明实施例的基于深度学习的校园暴力行为检测系统，首先通过图像数据管理模块获取所需图像数据，并对所获取图像数据进行分类标注和图像增广，将图像数据分为训练和测试两个数据集，然后通过深度学习算法训练管理模块基于神经网络算法模型构建目标算法模型，并根据训练和测试两个数据集的图像数据进行训练，以生成校园暴力行为检测算法模型，最后通过人机交互管理模块采用所生成的校园暴力行为检测算法模型对校园监控实时获取的图像数据进行判断，若判断结果为发生校园暴力，则进行报警，由此，能够及时发现校园暴力行为，并进行报警，从而能够提高监视效率，为校园安全提供有效保障。
另外，根据本发明上述实施例提出的基于深度学习的校园暴力行为检测系统还可以具有如下附加的技术特征：
具体地，所述图像数据管理模块包括：图像数据获取模块，所述图像数据获取模块用于获取校园暴力行为场景和非校园暴力行为场景的图像数据；标注模块，所述标注模块用于为所述校园暴力行为场景的图像数据标注“是”和为所述非校园暴力行为场景的图像数据标注“否”，并将所述图像数据分为所述训练数据集和所述测试数据集；图像增广模块，所述图像增广模块用于对所述训练数据集进行图像增广，以扩大所述训练数据集的规模。
具体地，所述深度学习算法训练管理模块包括：初始化模型获取模块、图像数据导入模块、反复训练调整模块和检测算法模型生成模块，其中，所述反复训练调整模块用于根据所述神经网络算法模型构建目标算法模型，并通过所述初始化模型获取模块将所述神经网络算法模型迁移到所述目标算法模型中，以获取所述目标算法模型的初始化参数，同时通过所述图像数据导入模块导入所述训练数据集和测试数据集，以根据所述训练数据集对所述目标算法模型进行反复训练，以优化所述目标算法模型参数，并根据所述测试数据集测试训练后的目标算法模型的准确度；所述检测算法模型生成模块用于判断所述目标算法模型的准确度是否达到要求，若所述目标算法模型的准确度达到要求，则保存所述目标算法模型及其参数，生成所述校园暴力行为检测算法模型。
具体地，所述人机交互管理模块包括：监控图像数据获取模块，所述监控图像数据获取模块用于定时获取校园内各个路口和楼道的监控摄像的监控图像数据；判断模块，所述判断模块用于通过所述校园暴力行为检测算法模型对所述监控图像数据进行判断；结果可视化模块，所述结果可视化模块用于将所述判断模块的判断结果可视化；系统报警模块，所述系统报警模块用于在所述判断结果为发生校园暴力时进行报警。
优选地，所述神经网络算法模型为通过ImageNet数据集构建的神经网络模型ResNet-18。
有利地，所述神经网络算法模型包括：softmax激活函数，所述softmax激活函数用于计算所述图像数据表示暴力行为场景“是”和“否”的概率，所述softmax激活函数表达式为：
O＝xw+b
其中，加法运算使用了广播机制，O，
且这两个矩阵的第i行分别为第i张图片的输出O(i)和概率分布
交叉熵损失函数，所述交叉熵损失函数表达式为：
其中，n为样本数，
为预测值，y(i)为真实值。
随机梯度下降算法，所述随机梯度下降算法用于迭代所述目标算法模型参数，以优化损失函数，所述随机梯度下降算法表达式为：
其中，β为每个小批量中的样本个数，η为学习率，wi为随机起始数，b为偏置项。
具体地，所述神经网络算法模型包括全连接层，所述全连接层相当于神经节点之间作内积运算，所述内积运算包括前向计算和后向计算，其中，所述前向计算用于计算每个神经元的输出值，所述前向计算表达式为：
y＝WTx+b
所述后向计算用于计算每个神经元的误差项，所述后向计算表达式为：
其中，y∈Rm×1为神经元的输出，x∈Rn×1为神经元的输入，W∈Rn×m为神经元的权值，b为偏置项，l为该层神经元。
具体地，所述神经网络算法模型中，通过权重矩阵的调整得到所述目标算法模型的极小化误差，所述权重参数的调整方向可表示为：
其中，η为学习率，δ为残差，E为损失函数，Wl为l层神经元权值，xl-1为l层前一层神经元的输入，T为矩阵转置，u卷积核，b为偏置项。
为实现上述目的，本发明第二方面实施例提出了一种基于深度学习的校园暴力行为检测方法，包括以下步骤：获取校园暴力行为和非校园暴力行为场景的图像数据，并对所述图像数据进行分类标注和图像增广，以生成训练数据集和测试数据集；基于神经网络算法模型构建目标算法模型，并根据所述训练数据集和所述测试数据集对所述目标算法模型进行训练和测试，以生成校园暴力行为检测算法模型；采用所述校园暴力行为检测算法模型对校园监控实时获取的图像数据进行判断，若判断结果为发生校园暴力，则进行报警。
根据本发明实施例的基于深度学习的校园暴力行为检测方法，首先通过对获取的图像数据进行分类标注和图像增广，将图像数据分为训练和测试两个数据集，然后基于神经网络算法模型构建目标算法模型，并根据训练和测试两个数据集的图像数据进行训练，以生成校园暴力行为检测算法模型，最后采用该校园暴力行为检测算法模型对校园监控实时获取的图像数据进行判断，并在判断结果为发生校园暴力时进行报警，由此，能够及时发现校园暴力行为，并进行报警，从而能够提高监视效率，为校园安全提供有效保障。
附图说明
图1为本发明实施例的基于深度学习的校园暴力行为检测系统的方框示意图；
图2为本发明一个实施例的基于深度学习的校园暴力行为检测系统的的方框示意图；
图3为本发明实施例的基于深度学习的校园暴力行为检测方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的基于深度学习的校园暴力行为检测系统包括图像数据管理模块10、深度学习算法训练管理模块20和人机交互管理模块30。其中，图像数据管理模块10用于获取校园暴力行为场景和非校园暴力行为场景的图像数据，并对图像数据进行分类标注和图像增广，以生成训练数据集和测试数据集；深度学习算法训练管理模块20基于神经网络算法模型构建目标算法模型，并根据训练数据集和测试数据集对目标算法模型进行训练和测试，以生成校园暴力行为检测算法模型；人机交互管理模块30用于采用校园暴力行为检测算法模型对校园监控实时获取的图像数据进行判断，若判断结果为发生校园暴力，则进行报警。
在本发明的一个实施例中，如图2所示，图像数据管理模块10可包括图像数据获取模块11、标注模块12和图像增广模块13。其中，图像数据获取模块11可用于获取大量校园暴力行为场景和非校园暴力行为场景的图像数据，例如，可获取2000张校园暴力行为场景的图像数据和2000张相似但非校园暴力行为场景的图像数据。
具体地，图像数据获取模块11可获取网络中与校园暴力行为相关场景的图像数据，或者可获取相关工作人员模拟实际场景得到的与校园暴力行为相关场景的图像数据，其中，所获取的图像数据均为RGB彩色图像。进一步地，可对获取的大量校园暴力行为场景和非校园暴力行为场景的图像数据进行筛选，以保证筛选后的图像数据具有实用性，从而能够保证校园暴力行为检测算法模型的准确度。
其中，标注模块12可对筛选出的图像数据进行分类标注，具体地，可人工为校园暴力行为场景的图像数据标注“是”和为非校园暴力行为场景的图像数据标注“否”，并可根据图像数据的不同用途分别存储到不同的文件夹中，例如，可将用于目标算法模型训练和测试两种不同用途的图像数据分别存储到两个不同的文件夹中，其中，80％图像数据用于训练，20％图像数据用于测试。
其中，图像增广模块13可对标注完成的图像数据进行图像增广操作，例如，可对标注完成的图像数据进行图像随机左右翻转操作，以扩大训练数据集的规模，并且通过图像增广操作还可提高校园暴力行为检测算法模型的泛化能力。
在本发明的一个实施例中，神经网络算法模型可为通过ImageNet数据集构建的神经网络模型ResNet-18，神经网络模型ResNet-18可包括输入层、隐含层和输出层，其中，神经网络模型ResNet-18的隐含层可包括卷积层、最大池化层和由残差块组成的四个模块，并且卷积层可通过最大池化层连接到由残差块组成的四个模块。
其中，卷积层可为步幅为2的7×7卷积层，最大池化层可为步幅为2的3×3的最大池化层，每个由残差块组成的模块包括2个残差块，并且每个由残差块组成的模块中的2个残差块均具有相同的输出通道数，其中，每个残差块有2个输出通道数相同的3×3卷积层，每个3×3卷积层后接一个批量归一化层和ReLU激活函数，然后将输入跳过这2个卷积运算后直接加在最后的ReLU激活函数前，该设计要求2个3×3卷积层的输出与输入形状一样，从而可以相加，如需改变通道数，则需引入一个额外的1×1卷积层，将输入变换成需要的形状后再做相加运算。
需要说明的是，四个由残差块组成的模块中的第一模块的通道数与输入通道数相同，由于已经使用了步幅为2的最大池化层，所以无须减小高和宽，之后每个模块的第一个残差块对比上一模块将通道数翻倍，并将高和宽减半。
另外，神经网络模型ResNet-18的输入层可包括RGB通道，输出层为全连接层。
在本发明的一个实施例中，如图2所示，深度学习算法训练管理模块20可包括初始化模型获取模块21、图像数据导入模块22、反复训练调整模块23和检测算法模型生成模块24。其中，反复训练调整模块23用于根据神经网络算法模型构建目标算法模型，并可通过初始化模型获取模块21将神经网络模型ResNet-18迁移到目标算法模型中，以获取目标算法模型的初始化参数，还可通过图像数据导入模块22导入训练数据集和测试数据集，以根据训练数据集对目标算法模型进行反复训练，以优化目标算法模型参数，并及时根据测试数据集测试训练后的目标算法模型的准确度，以防止过拟合的情况发生。
其中，初始化模型获取模块21可将神经网络模型ResNet-18，除输出层以外所有的网络结构及其参数迁移到目标算法模型中。在反复训练调整模块23对目标算法模型进行反复训练调整参数时，可接一个输出通道数为2的全连接输出层，并随机初始化全连接层参数，对目标算法模型进行参数优化，具体地，可采用较小的学习率来微调迁移学习得到的参数，采用较大的学习率来优化最后的全连接层参数，具体可将前者学习率设置为0.001，后者学习率设为0.01。
其中，图像数据导入模块22可将所有的训练数据集的图像数据均缩放为高和宽为224像素的图像数据，以作为输入导入反复训练调整模块23，并可将所有的测试数据集图像数据均缩放为高和宽为256像素的图像数据，然后从中裁剪出高和宽均为224像素的中心区域，以作为输入导入反复训练调整模块23。
其中，检测算法模型生成模块24可判断目标算法模型的预测准确度是否达到要求，并可在准确度达到要求后保存目标算法模型及其参数，生成校园暴力行为检测算法模型。
在本发明的一个实施例中，深度学习算法训练管理模块20基于神经网络算法模型构建的目标算法模型可包括softmax激活函数、交叉熵损失函数和随机梯度下降算法。其中，softmax激活函数可用于计算每张图像数据表示暴力行为场景“是”和“否”的概率，softmax回归的矢量计算表达式为：
O＝xw+b
其中，加法运算使用了广播机制。O，
且这两个矩阵的第i行分别为第i张图片的输出O(i)和概率分布
神经网络算法模型的损失函数为交叉熵损失函数，其表达式为：
其中，n为样本数，
为预测值，y(i)为真实值。
神经网络算法模型的随机梯度下降算法为小批量随机梯度下降算法，可通过不断迭代目标算法模型参数来优化损失函数，具体表达式为：
其中，β为每个小批量中的样本个数，η为学习率，wi为随机起始参数，b为偏置项。
在本发明的一个实施例中，在向目标算法模型输入二维图像时，相应地卷积运算可以用以下公式表达：
z(x,y)＝f(x,y)*g(x,y)＝∑t∑hf(t,h)g(x-t,y-h)
其积分形式为：
z(x,y)＝(f*g)(x,y)＝∫∫f(t,h)g(x-t,y-h)dtdh
如果给定一个尺寸为m*n的卷积核，则有：
其中，f为输入图像，g为卷积核，m和n为核的大小。
另外，目标算法模型可包括全连接层，全连接层相当于神经节点之间作内积运算，内积运算包括前向计算和后向计算。其中，前向计算用于计算每个神经元的输出值，其表达式为：
y＝WTx+b
后向计算用于计算每个神经元的误差项，其表达式为：
其中，y∈Rm×1为神经元的输出，x∈Rn×1为神经元的输入，W∈Rn×m为神经元的权值，b为偏置项，l为该层神经元。
在本发明的一个实施例中，深度学习算法训练管理模块20中目标算法模型训练的目标是得到极小化误差，具体涉及到权重矩阵的调整，权重参数的调整方向可表示为：
其中，η为学习率，δ为残差，也称敏感度，E为损失函数，Wl为l层神经元权值，xl-1为l层前一层神经元的输入，T为矩阵转置，u卷积核，b为偏置项。
神经网络算法模型对应的卷积网络中间层l的残差为：
δl＝(Wl+1)T⊙f′(ul)
在卷积神经网络不同层级的连接关系中，如果前一层为卷积层，当前层为池化层，那么第l层中与第j个卷积核对应残差的计算公式为：
其中，up()为克罗内克积，ul为l层神经元对应的卷积核，
为相应层的学习率，
为第l层中对应第j个卷积核，δl+1为l+1中间层的残差，
为第l+1层的对应第j个池化层的权重值。
如果前一层为池化层，当前层为卷积层，因为其后的卷积层对前面的池化层进行了有部分重叠的卷积运算，所以，前面卷积层中的某个单元会影响后面卷积层中的多个单元，那么，第l层中与第j个池化层对应的残差等于其后卷积层的残差与两者间权重的离散卷积，表达式为：
在本发明的一个实施例中，如图2所示，人机交互管理模块30可包括监控图像数据读取模块31、判断模块32、结果可视化模块33和系统报警模块34。其中，监控图像数据读取模块31可对校园内各个路口和楼道的监控摄像按一定间隔截取图像数据，例如，可每间隔20秒截取一次图像数据，判断模块32可根据校园暴力行为检测算法模型对监控图像数据读取模块实时获取的图像数据进行判断，结果可视化模块33可将判断模块产生的判断结果可视化，系统报警模块34可在判断结果为发生校园暴力时进行报警。
根据本发明实施例的基于深度学习的校园暴力行为检测系统，首先通过图像数据管理模块获取所需图像数据，并对所获取图像数据进行分类标注和图像增广，将图像数据分为训练和测试两个数据集，然后通过深度学习算法训练管理模块基于神经网络算法模型构建目标算法模型，并根据训练和测试两个数据集的图像数据进行训练，以生成校园暴力行为检测算法模型，最后通过人机交互管理模块采用所生成的校园暴力行为检测算法模型对校园监控实时获取的图像数据进行判断，若判断结果为发生校园暴力，则进行报警，由此，能够及时发现校园暴力行为，并进行报警，从而能够提高监视效率，为校园安全提供有效保障。
对应上述实施例中的基于深度学习的校园暴力行为检测系统，本发明还提出了一种基于深度学习的校园暴力行为检测方法，包括以下步骤：
S1，获取校园暴力行为和非校园暴力行为场景的图像数据，并对图像数据进行分类标注和图像增广，以生成训练数据集和测试数据集。
在本发明的一个实施例中，可通过网络获取大量校园暴力行为场景和非校园暴力行为场景的图像数据，例如，可获取2000张校园暴力行为场景的图像数据和2000张相似但非校园暴力行为场景的图像数据。
具体地，可获取网络中与校园暴力行为相关场景的图像数据，或者可获取相关工作人员模拟实际场景得到的与校园暴力行为相关场景的图像数据，其中，所获取的图像数据均为RGB彩色图像。进一步地，可对获取的大量校园暴力行为场景和非校园暴力行为场景的图像数据进行筛选，以保证筛选后的图像数据具有实用性，从而能够保证校园暴力行为检测算法模型的准确度。
进一步地，可对筛选出的具有实际参考作用的图像数据进行分类标注，具体地，可人工为校园暴力行为场景的图像数据标注“是”和为非校园暴力行为场景的图像数据标注“否”，并可根据图像数据的不同用途分别存储到不同的文件夹中，例如，可将用于目标算法模型训练和测试两种不同用途的图像数据分别存储到两个不同的文件夹中，其中，80％图像数据用于训练，20％图像数据用于测试。
进一步地，可对标注完成的图像数据进行图像增广操作，例如，可对标注完成的图像数据进行图像随机左右翻转操作，以扩大训练数据集的规模，并且通过图像增广操作还可提高校园暴力行为检测算法模型的泛化能力。
S2，基于神经网络算法模型构建目标算法模型，并根据训练数据集和测试数据集对目标算法模型进行训练和测试，以生成校园暴力行为检测算法模型。
在本发明的一个实施例中，神经网络算法模型可为通过ImageNet数据集构建的神经网络模型ResNet-18，神经网络模型ResNet-18可包括输入层、隐含层和输出层，其中，神经网络模型ResNet-18的隐含层可包括卷积层、最大池化层和由残差块组成的四个模块，并且上述卷积层可通过最大池化层连接到由残差块组成的四个模块。
其中，卷积层可为步幅为2的7×7卷积层，最大池化层可为步幅为2的3×3的最大池化层，每个由残差块组成的模块包括2个残差块，并且每个由残差块组成的模块中的2个残差块均具有相同的输出通道数，其中，每个残差块有2个输出通道数相同的3×3卷积层，每个3×3卷积层后接一个批量归一化层和ReLU激活函数，然后将输入跳过这2个卷积运算后直接加在最后的ReLU激活函数前，该设计要求2个3×3卷积层的输出与输入形状一样，从而可以相加，如需改变通道数，则需引入一个额外的1×1卷积层，将输入变换成需要的形状后再做相加运算。
需要说明的是，四个由残差块组成的模块中的第一模块的通道数与输入通道数相同，由于已经使用了步幅为2的最大池化层，所以无须减小高和宽，之后每个模块的第一个残差块对比上一模块将通道数翻倍，并将高和宽减半。
另外，神经网络模型ResNet-18的输入层可包括RGB通道，输出层为全连接层。
在本发明的一个实施例中，可通过迁移学习将神经网络模型ResNet-18，除输出层以外所有的网络结构及其参数迁移到目标算法模型中，在进行反复训练调整目标算法模型参数时，可接一个输出通道数为2的全连接输出层，并随机初始化全连接层参数，对目标算法模型进行参数优化，具体地，可将所有的训练数据集的图像数据均缩放为高和宽为224像素的图像数据，并作为输入进行反复训练，并可采用较小的学习率来微调迁移学习得到的参数，采用较大的学习率来优化最后的全连接层参数，具体可将前者学习率设置为0.001，后者学习率设为0.01。
其中，在参数优化过程中，可将所有的测试数据集图像数据均缩放为高和宽为256像素的图像数据，然后从中裁剪出高和宽均为224像素的中心区域，作为输入及时测试训练后的目标算法模型的准确度，以防止过拟合的情况发生。
进一步地，可判断目标算法模型的预测准确度是否达到要求，并可在准确度达到要求后保存目标算法模型及其参数，生成校园暴力行为检测算法模型。
在本发明的一个具体实施例中，基于神经网络算法模型构建的目标算法模型可包括softmax激活函数、交叉熵损失函数和随机梯度下降算法。其中，softmax激活函数可用于计算每张图像数据表示暴力行为场景“是”和“否”的概率，softmax回归的矢量计算表达式为：
O＝xw+b
其中，加法运算使用了广播机制。O，
且这两个矩阵的第i行分别为第i张图片的输出O(i)和概率分布
神经网络算法模型的损失函数为交叉熵损失函数，其表达式为：
其中，n为样本数，
为预测值，y(i)为真实值。
神经网络算法模型的随机梯度下降算法为小批量随机梯度下降算法，可通过不断迭代目标算法模型参数来优化损失函数，具体表达式为：
其中，β为每个小批量中的样本个数，η为学习率，wi为随机起始数，b为偏置项。
在本发明的一个实施例中，在向目标算法模型中，输入二维图像时，相应地卷积运算可以用以下公式表达：
z(x,y)＝f(x,y)*g(x,y)＝∑t∑hf(t,h)g(x-t,y-h)
其积分形式为：
z(x,y)＝(f*g)(x,y)＝∫∫f(t,h)g(x-t,y-h)dtdh
如果给定一个尺寸为m*n的卷积核，则有：
其中，f为输入图像，g为卷积核，m和n为核的大小。
另外，目标算法模型可包括全连接层，全连接层相当于神经节点之间作内积运算，内积运算包括前向计算和后向计算。其中，前向计算通过下列公式计算每个神经元的输出值：
y＝WTx+b
后向计算通过下列公式计算每个神经元的误差项：
其中，y∈Rm×1为神经元的输出，x∈Rn×1为神经元的输入，W∈Rn×m为神经元的权值，b为偏置项，l为该层神经元。
在本发明的一个实施例中，目标算法模型训练的目标是得到极小化误差，具体涉及到权重矩阵的调整，权重参数的调整方向可表示为：
其中，η为学习率，δ为残差，也称敏感度，E为损失函数，Wl为l层神经元权值，xl-1为l层前一层神经元的输入，T为矩阵转置，u卷积核，b为偏置项。
神经网络算法模型对应的卷积网络中间层l的残差为：
δl＝(Wl+1)T⊙f′(ul)
在卷积神经网络不同层级的连接关系中，如果前一层为卷积层，当前层为池化层，那么第l层中与第j个卷积核对应残差的计算公式为：
其中，up()为克罗内克积，ul为l层神经元对应的卷积核，
为相应层的学习率，
为第l层中对应第j个卷积核，δl+1为l+1中间层的残差，
为第l+1层的对应第j个池化层的权重值。
如果前一层为池化层，当前层为卷积层，因为其后的卷积层对前面的池化层进行了有部分重叠的卷积运算，所以，前面卷积层中的某个单元会影响后面卷积层中的多个单元，那么，第l层中与第j个池化层对应的残差等于其后卷积层的残差与两者间权重的离散卷积，表达式为：
S3采用校园暴力行为检测算法模型对校园监控实时获取的图像数据进行判断，若判断结果为发生校园暴力，则进行报警。
具体地，可对校园内各个路口和楼道的监控摄像按一定间隔截取图像数据，例如，可每间隔20秒截取一次图像数据，并可根据校园暴力行为检测算法模型对监控图像数据读取模块实时获取的图像数据进行判断，以及可将校园暴力行为判断模块产生的判断结果可视化，根据可视化判断结果显示为发生校园暴力时进行报警。
根据本发明实施例的基于深度学习的校园暴力行为检测方法，首先通过对获取的图像数据进行分类标注和图像增广，将图像数据分为训练和测试两个数据集，然后基于神经网络算法模型构建目标算法模型，并根据训练和测试两个数据集的图像数据进行训练和测试，以生成校园暴力行为检测算法模型，最后采用该校园暴力行为检测算法模型对校园监控实时获取的图像数据进行判断，并在判断结果为发生校园暴力时进行报警，由此，能够及时发现校园暴力行为，并进行报警，从而能够提高监视效率，为校园安全提供有效保障。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种基于深度学习的校园暴力行为检测系统，其特征在于，包括：
图像数据管理模块，所述图像数据管理模块用于获取校园暴力行为场景和非校园暴力行为场景的图像数据，并对所述图像数据进行分类标注和图像增广，以生成训练数据集和测试数据集；
深度学习算法训练管理模块，所述深度学习算法训练管理模块基于神经网络算法模型构建目标算法模型，并根据所述训练数据集和所述测试数据集对所述目标算法模型进行训练和测试，以生成校园暴力行为检测算法模型；
人机交互管理模块，所述人机交互管理模块用于采用所述校园暴力行为检测算法模型对校园监控实时获取的图像数据进行判断，若判断结果为发生校园暴力，则进行报警。
2.根据权利要求1所述的基于深度学习的校园暴力行为检测系统，其特征在于，所述图像数据管理模块包括：
图像数据获取模块，所述图像数据获取模块用于获取校园暴力行为场景和非校园暴力行为场景的图像数据；
标注模块，所述标注模块用于为所述校园暴力行为场景的图像数据标注“是”和为所述非校园暴力行为场景的图像数据标注“否”，并将所述图像数据分为所述训练数据集和所述测试数据集；
图像增广模块，所述图像增广模块用于对所述训练数据集进行图像增广，以扩大所述训练数据集的规模。
3.根据权利要求2所述的基于深度学习的校园暴力行为检测系统，其特征在于，所述深度学习算法训练管理模块包括：初始化模型获取模块、图像数据导入模块、反复训练调整模块和检测算法模型生成模块，其中，
所述反复训练调整模块用于根据所述神经网络算法模型构建目标算法模型，并通过所述初始化模型获取模块将所述神经网络算法模型迁移到所述目标算法模型中，以获取所述目标算法模型的初始化参数，同时通过所述图像数据导入模块导入所述训练数据集和测试数据集，以根据所述训练数据集对所述目标算法模型进行反复训练，以优化所述目标算法模型参数，并根据所述测试数据集测试训练后的目标算法模型的准确度，
所述检测算法模型生成模块用于判断所述目标算法模型的准确度是否达到要求，若所述目标算法模型的准确度达到要求，则保存所述目标算法模型及其参数，生成所述校园暴力行为检测算法模型。
4.根据权利要求3所述的基于深度学习的校园暴力行为检测系统，其特征在于，所述人机交互管理模块包括：
监控图像数据获取模块，所述监控图像数据获取模块用于定时获取校园内各个路口和楼道的监控摄像的监控图像数据；
判断模块，所述判断模块用于通过所述校园暴力行为检测算法模型对所述监控图像数据进行判断；
结果可视化模块，所述结果可视化模块用于将所述判断模块的判断结果可视化；
系统报警模块，所述系统报警模块用于在所述判断结果为发生校园暴力时进行报警。
5.根据权利要求4所述的基于深度学习的校园暴力行为检测系统，其特征在于，所述神经网络算法模型为通过ImageNet数据集构建的神经网络模型ResNet-18。
6.根据权利要求5所述的基于深度学习的校园暴力行为检测系统，其特征在于，所述神经网络算法模型包括：
softmax激活函数，所述softmax激活函数用于计算所述图像数据表示暴力行为场景“是”和“否”的概率，所述softmax激活函数表达式为：
O＝xw+b
其中，加法运算使用了广播机制，O，
且这两个矩阵的第i行分别为第i张图片的输出O(i)和概率分布
交叉熵损失函数，所述交叉熵损失函数表达式为：
其中，n为样本数，
为预测值，y(i)为真实值；
随机梯度下降算法，所述随机梯度下降算法用于迭代所述目标算法模型参数，以优化损失函数，所述随机梯度下降算法表达式为：
其中，β为每个小批量中的样本个数，η为学习率，wi为随机起始数，b为偏置项。
7.根据权利要求6所述的基于深度学习的校园暴力行为检测系统，其特征在于，所述神经网络算法模型包括全连接层，所述全连接层相当于神经节点之间作内积运算，所述内积运算包括前向计算和后向计算，其中，
所述前向计算用于计算每个神经元的输出值，所述前向计算表达式为：
y＝WTx+b
所述后向计算用于计算每个神经元的误差项，所述后向计算表达式为：
其中，y∈Rm×1为神经元的输出，x∈Rn×1为神经元的输入，W∈Rn×m为神经元的权值，b为偏置项，l为该层神经元。
8.根据权利要求7所述的基于深度学习的校园暴力行为检测系统，其特征在于，所述神经网络算法模型中，通过权重矩阵的调整得到所述目标算法模型的极小化误差，所述权重参数的调整方向可表示为：
其中，η为学习率，δ为残差，E为损失函数，Wl为l层神经元权值，xl-1为l层前一层神经元的输入，T为矩阵转置，u卷积核，b为偏置项。
9.一种基于深度学习的校园暴力行为检测方法，其特征在于，包括以下步骤：
获取校园暴力行为和非校园暴力行为场景的图像数据，并对所述图像数据进行分类标注和图像增广，以生成训练数据集和测试数据集；
基于神经网络算法模型构建目标算法模型，并根据所述训练数据集和所述测试数据集对所述目标算法模型进行训练和测试，以生成校园暴力行为检测算法模型；
采用所述校园暴力行为检测算法模型对校园监控实时获取的图像数据进行判断，若判断结果为发生校园暴力，则进行报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911295601.9A CN111191528B (zh) | 2019-12-16 | 2019-12-16 | 基于深度学习的校园暴力行为检测系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911295601.9A CN111191528B (zh) | 2019-12-16 | 2019-12-16 | 基于深度学习的校园暴力行为检测系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111191528A true CN111191528A (zh) | 2020-05-22 |
| CN111191528B CN111191528B (zh) | 2024-02-23 |
Family
ID=70705829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911295601.9A Active CN111191528B (zh) | 2019-12-16 | 2019-12-16 | 基于深度学习的校园暴力行为检测系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191528B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882809A (zh) * | 2020-07-21 | 2020-11-03 | 重庆现代建筑产业发展研究院 | 一种基于物联网的保障小区消防安全的方法及系统 |
| WO2021244203A1 (zh) * | 2020-05-30 | 2021-12-09 | 华为技术有限公司 | 参数优化的方法、电子设备和存储介质 |
| CN115100589A (zh) * | 2022-06-07 | 2022-09-23 | 慧之安信息技术股份有限公司 | 基于深度学习的校园报警系统 |
| CN115601714A (zh) * | 2022-12-16 | 2023-01-13 | 广东汇通信息科技股份有限公司（Cn） | 基于多模态数据分析的校园暴力行为识别方法 |
| CN117237741A (zh) * | 2023-11-08 | 2023-12-15 | 烟台持久钟表有限公司 | 一种校园危险行为检测方法、系统、装置和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160321506A1 (en) * | 2015-04-30 | 2016-11-03 | Ants Technology (Hk) Limited | Methods and Systems for Audiovisual Communication |
| CN109145822A (zh) * | 2018-08-22 | 2019-01-04 | 佛山铮荣科技有限公司 | 一种深度学习的暴力检测系统 |
| CN110363098A (zh) * | 2019-06-24 | 2019-10-22 | 深圳市中电数通智慧安全科技股份有限公司 | 一种暴力行为预警方法、装置、可读存储介质及终端设备 |
| CN110532959A (zh) * | 2019-08-30 | 2019-12-03 | 大连海事大学 | 基于双通道三维卷积神经网络的实时暴力行为检测系统 |
-
2019
- 2019-12-16 CN CN201911295601.9A patent/CN111191528B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160321506A1 (en) * | 2015-04-30 | 2016-11-03 | Ants Technology (Hk) Limited | Methods and Systems for Audiovisual Communication |
| CN109145822A (zh) * | 2018-08-22 | 2019-01-04 | 佛山铮荣科技有限公司 | 一种深度学习的暴力检测系统 |
| CN110363098A (zh) * | 2019-06-24 | 2019-10-22 | 深圳市中电数通智慧安全科技股份有限公司 | 一种暴力行为预警方法、装置、可读存储介质及终端设备 |
| CN110532959A (zh) * | 2019-08-30 | 2019-12-03 | 大连海事大学 | 基于双通道三维卷积神经网络的实时暴力行为检测系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021244203A1 (zh) * | 2020-05-30 | 2021-12-09 | 华为技术有限公司 | 参数优化的方法、电子设备和存储介质 |
| CN111882809A (zh) * | 2020-07-21 | 2020-11-03 | 重庆现代建筑产业发展研究院 | 一种基于物联网的保障小区消防安全的方法及系统 |
| CN115100589A (zh) * | 2022-06-07 | 2022-09-23 | 慧之安信息技术股份有限公司 | 基于深度学习的校园报警系统 |
| CN115601714A (zh) * | 2022-12-16 | 2023-01-13 | 广东汇通信息科技股份有限公司（Cn） | 基于多模态数据分析的校园暴力行为识别方法 |
| CN115601714B (zh) * | 2022-12-16 | 2023-03-10 | 广东汇通信息科技股份有限公司 | 基于多模态数据分析的校园暴力行为识别方法 |
| CN117237741A (zh) * | 2023-11-08 | 2023-12-15 | 烟台持久钟表有限公司 | 一种校园危险行为检测方法、系统、装置和存储介质 |
| CN117237741B (zh) * | 2023-11-08 | 2024-02-13 | 烟台持久钟表有限公司 | 一种校园危险行为检测方法、系统、装置和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111191528B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191528A (zh) | 基于深度学习的校园暴力行为检测系统和方法 | |
| CN109978893B (zh) | 图像语义分割网络的训练方法、装置、设备及存储介质 | |
| US11176408B2 (en) | Tire image recognition method and tire image recognition device | |
| CN110717481B (zh) | 一种利用级联卷积神经网络实现人脸检测的方法 | |
| US7697765B2 (en) | Learning method and device for pattern recognition | |
| US10592725B2 (en) | Neural network systems | |
| JP2017062713A (ja) | 識別器作成装置、識別器作成方法、およびプログラム | |
| CN111783748B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN109376637A (zh) | 基于视频监控图像处理的人数统计系统 | |
| CN111507227B (zh) | 基于深度学习的多学生个体分割及状态自主识别方法 | |
| JP7313828B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN115331172A (zh) | 一种基于监控视频的车间危险行为识别报警方法及系统 | |
| CN111738044A (zh) | 一种基于深度学习行为识别的校园暴力评估方法 | |
| CN116229560B (zh) | 一种基于人体姿态的异常行为识别方法及系统 | |
| CN114463843A (zh) | 一种基于深度学习的多特征融合鱼类异常行为检测方法 | |
| CN112686462A (zh) | 基于学生画像的异常检测方法、装置、设备及存储介质 | |
| CN111986156A (zh) | 一种斧状利器检测方法、系统、装置和存储介质 | |
| Monigari et al. | Plant leaf disease prediction | |
| CN113128412B (zh) | 一种基于深度学习及火灾监控视频的火灾趋势预测方法 | |
| CN112419243A (zh) | 一种基于红外图像分析的配电房设备故障识别方法 | |
| CN116543333A (zh) | 电力系统的目标识别方法、训练方法、装置、设备和介质 | |
| CN113537240B (zh) | 一种基于雷达序列图像的形变区智能提取方法及系统 | |
| JP7239002B2 (ja) | 物体数推定装置、制御方法、及びプログラム | |
| CN114445862A (zh) | 一种基于线下课堂监控的出勤率检测方法及系统 | |
| Lian et al. | An improved fire and smoke detection method based on YOLOv7 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |