CN110503081A - 基于帧间差分的暴力行为检测方法、系统、设备及介质 - Google Patents
基于帧间差分的暴力行为检测方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN110503081A CN110503081A CN201910817240.3A CN201910817240A CN110503081A CN 110503081 A CN110503081 A CN 110503081A CN 201910817240 A CN201910817240 A CN 201910817240A CN 110503081 A CN110503081 A CN 110503081A
- Authority
- CN
- China
- Prior art keywords
- frame image
- neural networks
- convolutional neural
- difference
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 40
- 239000000284 extract Substances 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 41
- 230000004927 fusion Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 206010000117 Abnormal behaviour Diseases 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开公开了基于帧间差分的暴力行为检测方法、系统、设备及介质，将待检测视频的所有帧图像，均输入到第一卷积神经网络中，输出每一帧图像的外观特征；利用帧间差分法对待检测视频进行处理，提取出若干个差分帧图像；将每一个差分帧图像，均输入到第二卷积神经网络中，输出每一个差分帧图像的动作特征；将每一帧图像的外观特征输入到第一分类器中，输出当前帧图像的第一分类标签；将每一个差分帧图像的动作特征输入到第二分类器中，输出当前差分帧图像的第二分类标签；将第一分类标签和第二分类标签进行融合，输出当前帧图像的暴力行为检测结果；当存在暴力行为图像的帧数超过设定阈值时，则认为待检测视频存在暴力行为。
Description
技术领域
本公开涉及暴力行为检测技术领域，特别是涉及基于帧间差分的暴力行为检测方法、系统、设备及介质。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
基于监控视频的人体行为识别，一直以来都备受中外研究者们的热情关注，原因不仅是由于基于视频的人体的行为识别研究在人机交互领域、安全监控方面、医疗诊断方面等具有非常重要的现实意义，而且行为识别的多领域广泛运用更是让它拥有了更多的研究价值，因此国内外众多科研工作者已经开展了大量的研究工作。基于视频的人体行为识别技术，涉及到了包括模式识别、图像处理和人工智能等多个知识领域，其中可能遇到的各种有待解决的问题包括环境变化、光线变化、目标遮挡等更是为视频中人的行为识别研究带来了很大的挑战。
视频中异常行为的判断还处于人工识别的阶段，人工识别虽然比计算机识别的准确率高，但要通过人工的方式实时地处理大量的监控数据几乎是不可能的，再者想要快速地从大量视频数据中提取有用信息的难度更大。
为了提高视频中异常行为检测的效率与分类的准确率，大量研究者们开始从事计算机视觉相关技术来进行针对视频中异常行为识别方面的研究。通过对监控视频进行分析、定位、跟踪来分析目标的动作序列，另外还通过综合场景特征来实现异常行为的判定，以提高异常行为识别的效率。
随着社会的进步与经济的不断发展，公共安全事务越来越受到社会各界的关注。暴力事件的频繁发生，威胁着每个人的人身和生命安全，而无处不在的监控可以用来防范、制止暴力事件的发生。基于这些实际考虑，我们将重点放在利用计算机视觉和深度学习技术检测人类暴力行为上。
暴力行为检测现在主要有基于全局特征和局部特征两种方法。局部特征大多是提取周围兴趣点的特征描述符，如流强、方向、梯度等，虽然局部特征方法在提供运动的精确表示方面表现良好，但是当场景拥挤时，精确度就大大下降。全局特性多是利用光流直方图来检测拥挤场景中的异常行为。现有的局部和全局方法都是针对特定任务而主观设计的，而基于多特征的暴力行为检测需要提取声音、纹理等特征，在医院、学校等地点这些特征是很难以被提取的。
发明内容
为了解决现有技术的不足，本公开提供了基于帧间差分的暴力行为检测方法、系统、设备及介质；
第一方面，本公开提供了基于帧间差分的暴力行为检测方法；
基于帧间差分的暴力行为检测方法，包括：
将待检测视频的所有帧图像，均输入到预先训练好的第一卷积神经网络中，输出每一帧图像的外观特征；
利用帧间差分法对待检测视频进行处理，提取出若干个差分帧图像；将每一个差分帧图像，均输入到预先训练好的第二卷积神经网络中，输出每一个差分帧图像的动作特征；
将每一帧图像的外观特征输入到预训练的第一分类器中，输出当前帧图像的第一分类标签；
将每一个差分帧图像的动作特征输入到预训练的第二分类器中，输出当前差分帧图像的第二分类标签；
将第一分类标签和第二分类标签进行标签融合，输出当前帧图像的暴力行为检测结果；
当存在暴力行为图像的帧数超过设定阈值时，则认为待检测视频存在暴力行为。
第二方面，本公开还提供了基于帧间差分的暴力行为检测系统；
基于帧间差分的暴力行为检测系统，包括：
外观特征提取模块，其被配置为：将待检测视频的所有帧图像，均输入到预先训练好的第一卷积神经网络中，输出每一帧图像的外观特征；
动作特征提取模块，其被配置为：利用帧间差分法对待检测视频进行处理，提取出若干个差分帧图像；将每一个差分帧图像，均输入到预先训练好的第二卷积神经网络中，输出每一个差分帧图像的动作特征；
第一分类模块，其被配置为：将每一帧图像的外观特征输入到预训练的第一分类器中，输出当前帧图像的第一分类标签；
第二分类模块，其被配置为：将每一个差分帧图像的动作特征输入到预训练的第二分类器中，输出当前差分帧图像的第二分类标签；
融合模块，其被配置为：将第一分类标签和第二分类标签进行标签融合，输出当前帧图像的暴力行为检测结果；
输出模块，其被配置为：当存在暴力行为图像的帧数超过设定阈值时，则认为待检测视频存在暴力行为。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
提供一种基于帧间差分的双通道特征提取和标签融合的视频暴力行为检测方法，其能够精确地从实时监控或视频中识别出发生的暴力行为，使得安全部门能即使得知和制止暴力行为的发生，也解决了人为观察监考的疲惫和疏忽。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为第一个实施例的方法流程图；
图2为第一个实施例的帧间差分方法流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一，本实施例提供了基于帧间差分的暴力行为检测方法；
如图1所示，基于帧间差分的暴力行为检测方法，包括：
将待检测视频的所有帧图像，均输入到预先训练好的第一卷积神经网络中，输出每一帧图像的外观特征；
利用帧间差分法对待检测视频进行处理，提取出若干个差分帧图像；将每一个差分帧图像，均输入到预先训练好的第二卷积神经网络中，输出每一个差分帧图像的动作特征；
将每一帧图像的外观特征输入到预训练的第一分类器中，输出当前帧图像的第一分类标签；
将每一个差分帧图像的动作特征输入到预训练的第二分类器中，输出当前差分帧图像的第二分类标签；
将第一分类标签和第二分类标签进行标签融合，输出当前帧图像的暴力行为检测结果；
当存在暴力行为图像的帧数超过设定阈值时，则认为待检测视频存在暴力行为。
作为一个或多个实施例，所述将待检测视频的所有帧图像，均输入到预先训练好的第一卷积神经网络中，输出每一帧图像的外观特征；其中，预选训练好的第一卷积神经网络的训练步骤，包括：
构建第一卷积神经网络；所述第一卷积神经网络采用VGG-16模型；
构建第一训练集；所述第一训练集为：ImageNet数据集；
将第一训练集输入到第一卷积神经网络中，对第一卷积神经网络进行训练，当第一卷积神经网络的损失函数达到最小值时，停止训练，得到训练好的第一卷积神经网络。
应理解的，所述外观特征，是指：直接将待检测视频的所有帧图像作为第一卷积神经网络输入，并从第一卷积神经网络的第一个全连接层得到的特征向量，即为外观特征。
作为一个或多个实施例，如图2所示，所述利用帧间差分法对待检测视频进行处理，提取出若干个差分帧图像；具体步骤为：
首先，将待检测视频的每一帧图像通过中值滤波处理；
然后，对中值滤波处理后的结果进行差分操作；
然后，对差分操作后的图像帧进行二值化处理，得到差分帧图像；
最后，对待检测视频的所有帧图像进行处理，得到所有的差分帧图像。
进一步地，对中值滤波处理后的结果进行差分操作，具体公式为：
Dk(x,y)＝|fk+1(x,y)-fk(x,y)|
视频的过滤完成后图像帧记为fi(x,y)，这里的i＝1,2,3…,n表示图像的帧数，Dk(x,y)表示差分后的图像。
进一步地，将差分后的图像帧进行二值化：
其中，Tk(x,y)表示二值化后的图像，T为二值化的阈值。
这里用差分帧作为提取动作特征的卷积神经网络的好处是计算简单，可以提高效率，可以达到实时性，方便监控系统的集成；
其中，动作特征提取卷积神经网络的训练使用的是与外观特征提取卷积神经网络相同的数据集，但是，是经过差分处理之后的数据。
作为一个或多个实施例，所述将每一个差分帧图像，均输入到预先训练好的第二卷积神经网络中，输出每一个差分帧图像的动作特征；预先训练好的第二卷积神经网络具体训练步骤为：
构建第二卷积神经网络；所述第二卷积神经网络采用VGG-16模型；
构建第二训练集；所述第二训练集为：ImageNet数据集的差分帧图像；
将第二训练集输入到第二卷积神经网络中，对第二卷积神经网络进行训练，当第二卷积神经网络的损失函数达到最小值时，停止训练，得到训练好的第二卷积神经网络。
应理解的，所述动作特征，是指：将差分帧图像作为第二卷积神经网络的输入，并从第二卷积神经网络的第一个全连接层得到的特征向量，用以描述动作特征。
进一步地，所述预训练的第一分类器，在预训练阶段所使用的训练集是第一卷积神经网络采用ImageNet数据集训练得到的外观特征。
第一分类标签，具体包括：暴力行为外观标签和非暴力行为外观标签；
所述第一分类器为线性SVM分类器；
进一步地，所述预训练的第二分类器，在预训练阶段所使用的训练集是二卷积神经网络采用ImageNet数据集训练得到的动作特征。所述第二分类器为线性SVM分类器；
第二分类标签，具体包括：暴力行为动作标签和非暴力行为动作标签；
作为一个或多个实施例，所述将第一分类标签和第二分类标签进行标签融合，输出当前帧图像的暴力行为检测结果；具体步骤为：对第一分类标签和第二分类标签进行加权融合。
其中，LabelF表示标签融合结果；labela表示第一分类标签，labelm表示第二分类标签；β为权重，δ是标签融合的阈值，δ的值为0.4，δ为融合加权系数，β的值越大对暴力行为检测的特征影响越大，β融合系数的值给定为0.5；如果f的数值大于阈值t的数值，则结果为1。
作为一个或多个实施例，所述当存在暴力行为图像的帧数超过设定阈值时，则认为待检测视频存在暴力行为；具体步骤为：
其中，T为取用视频的时长，阈值τ取自时间轴T中，且τ小于T，τ的值大于等于T/2Label表示检测视频最终标签融合结果；
如果最终计算检测得到的暴力行为总时长小于τ，则这次检测的视频就会被判定为是非暴力的。
VGG-16的模型结构为：该架构共包含5个卷积层(Conv1-5)和3个全连接层(Full1-3)，每一卷积层的细节分三部分给出，第一部分指定卷积滤波器的个数及其接收的大小(num*size*size)；第二部分表示卷积步长(st)和填充(pad)；第三部分为是否局部响应归一化(LRN)以及max-pooling下采样。激活函数为ReLU函数；
激活函数我们使用线性修正单元激活函数(ReLU)，ReLU函数可以表示为：
f(x)＝max(o,x)
此激活函数具有不受饱和的影响、大大加快随机梯度下降算法收敛以及缓解过拟合问题的发生等优点。
其中，选择VGG-16模型的第一个全连接层作为输出，第一个全连接层作为特征，其分类精度要高于其他层，所以是最好的选择；
其中，VGG(Visual Geometry Group)属于牛津大学科学工程系,其发布了一些列以VGG开头的卷积网络模型；
需要说明的是，特征提取所用的卷积神经网络也可以使用其他神经网络模型；
因为线性SVM的预测函数非常简单，所以其分类速度很快，而且因为其优秀的泛化能力，所以在小样本训练集上能够得到很好的结果，这使得本方法的应用更贴合实际。且线性SVM基于结构风险最小化的原则，这样就避免过学习的问题。
实施例二，本实施例提供了基于帧间差分的暴力行为检测系统；
基于帧间差分的暴力行为检测系统，包括：
外观特征提取模块，其被配置为：将待检测视频的所有帧图像，均输入到预先训练好的第一卷积神经网络中，输出每一帧图像的外观特征；
动作特征提取模块，其被配置为：利用帧间差分法对待检测视频进行处理，提取出若干个差分帧图像；将每一个差分帧图像，均输入到预先训练好的第二卷积神经网络中，输出每一个差分帧图像的动作特征；
第一分类模块，其被配置为：将每一帧图像的外观特征输入到预训练的第一分类器中，输出当前帧图像的第一分类标签；
第二分类模块，其被配置为：将每一个差分帧图像的动作特征输入到预训练的第二分类器中，输出当前差分帧图像的第二分类标签；
融合模块，其被配置为：将第一分类标签和第二分类标签进行标签融合，输出当前帧图像的暴力行为检测结果；
输出模块，其被配置为：当存在暴力行为图像的帧数超过设定阈值时，则认为待检测视频存在暴力行为。
本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成方法中的各个操作，为了简洁，在此不再赘述。
所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。
应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.基于帧间差分的暴力行为检测方法，其特征是，包括：
将待检测视频的所有帧图像，均输入到预先训练好的第一卷积神经网络中，输出每一帧图像的外观特征；
利用帧间差分法对待检测视频进行处理，提取出若干个差分帧图像；将每一个差分帧图像，均输入到预先训练好的第二卷积神经网络中，输出每一个差分帧图像的动作特征；
将每一帧图像的外观特征输入到预训练的第一分类器中，输出当前帧图像的第一分类标签；
将每一个差分帧图像的动作特征输入到预训练的第二分类器中，输出当前差分帧图像的第二分类标签；
将第一分类标签和第二分类标签进行标签融合，输出当前帧图像的暴力行为检测结果；
当存在暴力行为图像的帧数超过设定阈值时，则认为待检测视频存在暴力行为。
2.如权利要求1所述的方法，其特征是，所述将待检测视频的所有帧图像，均输入到预先训练好的第一卷积神经网络中，输出每一帧图像的外观特征；其中，预选训练好的第一卷积神经网络的训练步骤，包括：
构建第一卷积神经网络；所述第一卷积神经网络采用VGG-16模型；
构建第一训练集；所述第一训练集为：ImageNet数据集；
将第一训练集输入到第一卷积神经网络中，对第一卷积神经网络进行训练，当第一卷积神经网络的损失函数达到最小值时，停止训练，得到训练好的第一卷积神经网络。
3.如权利要求1所述的方法，其特征是，所述外观特征，是指：直接将待检测视频的所有帧图像作为第一卷积神经网络输入，并从第一卷积神经网络的第一个全连接层得到的特征向量，即为外观特征。
4.如权利要求1所述的方法，其特征是，所述利用帧间差分法对待检测视频进行处理，提取出若干个差分帧图像；具体步骤为：
首先，将待检测视频的每一帧图像通过中值滤波处理；
然后，对中值滤波处理后的结果进行差分操作；
然后，对差分操作后的图像帧进行二值化处理，得到差分帧图像；
最后，对待检测视频的所有帧图像进行处理，得到所有的差分帧图像。
5.如权利要求1所述的方法，其特征是，所述将每一个差分帧图像，均输入到预先训练好的第二卷积神经网络中，输出每一个差分帧图像的动作特征；预先训练好的第二卷积神经网络具体训练步骤为：
构建第二卷积神经网络；所述第二卷积神经网络采用VGG-16模型；
构建第二训练集；所述第二训练集为：ImageNet数据集的差分帧图像；
将第二训练集输入到第二卷积神经网络中，对第二卷积神经网络进行训练，当第二卷积神经网络的损失函数达到最小值时，停止训练，得到训练好的第二卷积神经网络。
6.如权利要求1所述的方法，其特征是，所述动作特征，是指：将差分帧图像作为第二卷积神经网络的输入，并从第二卷积神经网络的第一个全连接层得到的特征向量，用以描述动作特征。
7.如权利要求1所述的方法，其特征是，所述将第一分类标签和第二分类标签进行标签融合，输出当前帧图像的暴力行为检测结果；具体步骤为：对第一分类标签和第二分类标签进行加权融合。
8.基于帧间差分的暴力行为检测系统，其特征是，包括：
外观特征提取模块，其被配置为：将待检测视频的所有帧图像，均输入到预先训练好的第一卷积神经网络中，输出每一帧图像的外观特征；
动作特征提取模块，其被配置为：利用帧间差分法对待检测视频进行处理，提取出若干个差分帧图像；将每一个差分帧图像，均输入到预先训练好的第二卷积神经网络中，输出每一个差分帧图像的动作特征；
第一分类模块，其被配置为：将每一帧图像的外观特征输入到预训练的第一分类器中，输出当前帧图像的第一分类标签；
第二分类模块，其被配置为：将每一个差分帧图像的动作特征输入到预训练的第二分类器中，输出当前差分帧图像的第二分类标签；
融合模块，其被配置为：将第一分类标签和第二分类标签进行标签融合，输出当前帧图像的暴力行为检测结果；
输出模块，其被配置为：当存在暴力行为图像的帧数超过设定阈值时，则认为待检测视频存在暴力行为。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910817240.3A CN110503081B (zh) | 2019-08-30 | 2019-08-30 | 基于帧间差分的暴力行为检测方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910817240.3A CN110503081B (zh) | 2019-08-30 | 2019-08-30 | 基于帧间差分的暴力行为检测方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110503081A true CN110503081A (zh) | 2019-11-26 |
| CN110503081B CN110503081B (zh) | 2022-08-26 |
Family
ID=68590745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910817240.3A Active CN110503081B (zh) | 2019-08-30 | 2019-08-30 | 基于帧间差分的暴力行为检测方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110503081B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104930A (zh) * | 2019-12-31 | 2020-05-05 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN111178182A (zh) * | 2019-12-16 | 2020-05-19 | 深圳奥腾光通系统有限公司 | 一种丢垃圾行为的实时检测方法 |
| CN111368140A (zh) * | 2020-02-19 | 2020-07-03 | 新华智云科技有限公司 | 一种视频标签生成方法及系统 |
| CN111414876A (zh) * | 2020-03-26 | 2020-07-14 | 西安交通大学 | 一种基于时序引导空间注意力的暴力行为识别方法 |
| CN111860286A (zh) * | 2020-07-14 | 2020-10-30 | 艾伯资讯（深圳）有限公司 | 基于混合策略的暴力行为检测方法及系统、存储介质 |
| CN112464807A (zh) * | 2020-11-26 | 2021-03-09 | 北京灵汐科技有限公司 | 视频动作识别方法、装置、电子设备和存储介质 |
| CN112699814A (zh) * | 2020-12-31 | 2021-04-23 | 华南师范大学 | 暴力行为识别方法、暴力行为识别装置及存储介质 |
| CN113283978A (zh) * | 2021-05-06 | 2021-08-20 | 北京思图场景数据科技服务有限公司 | 基于生物基础与行为特征及业务特征的金融风险评估方法 |
| CN113362371A (zh) * | 2021-05-18 | 2021-09-07 | 北京迈格威科技有限公司 | 目标跟踪方法及装置、电子设备、存储介质 |
| CN113469126A (zh) * | 2021-07-23 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种运动状态检测方法、装置、检测设备及存储介质 |
| WO2024139763A1 (zh) * | 2022-12-27 | 2024-07-04 | 中移物联网有限公司 | 一种目标对象检测方法、装置、电子设备及可读存储介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069423A (zh) * | 2015-07-29 | 2015-11-18 | 北京格灵深瞳信息技术有限公司 | 一种人体姿态检测方法及装置 |
| CN106241533A (zh) * | 2016-06-28 | 2016-12-21 | 西安特种设备检验检测院 | 基于机器视觉的电梯乘员综合安全智能监控方法 |
| CN106776884A (zh) * | 2016-11-30 | 2017-05-31 | 江苏大学 | 一种基于多标签组合多分类器的恐怖行为预测方法 |
| CN107194317A (zh) * | 2017-04-24 | 2017-09-22 | 广州大学 | 一种基于网格聚类分析的暴力行为检测方法 |
| US20170289624A1 (en) * | 2016-04-01 | 2017-10-05 | Samsung Electrônica da Amazônia Ltda. | Multimodal and real-time method for filtering sensitive media |
| CN107516296A (zh) * | 2017-07-10 | 2017-12-26 | 昆明理工大学 | 一种基于fpga的运动目标检测跟踪系统及方法 |
| CN108241849A (zh) * | 2017-08-28 | 2018-07-03 | 北方工业大学 | 基于视频的人体交互动作识别方法 |
| CN108351968A (zh) * | 2017-12-28 | 2018-07-31 | 深圳市锐明技术股份有限公司 | 一种针对犯罪活动的告警方法、装置、存储介质及服务器 |
| CN109117771A (zh) * | 2018-08-01 | 2019-01-01 | 四川电科维云信息技术有限公司 | 一种基于锚节点的图像中暴力事件检测系统及方法 |
| CN109359545A (zh) * | 2018-09-19 | 2019-02-19 | 北京航空航天大学 | 复杂低空环境下一种协同监视方法与装置 |
| CN109522945A (zh) * | 2018-10-31 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种群体情感识别方法、装置、智能设备及存储介质 |
| CN109614882A (zh) * | 2018-11-19 | 2019-04-12 | 浙江大学 | 一种基于人体姿态估计的暴力行为检测系统及方法 |
| CN109657597A (zh) * | 2018-12-13 | 2019-04-19 | 南京邮电大学 | 面向个体直播场景的异常行为检测方法 |
| CN109886209A (zh) * | 2019-02-25 | 2019-06-14 | 成都旷视金智科技有限公司 | 异常行为检测方法及装置、车载设备 |
| CN109902612A (zh) * | 2019-02-22 | 2019-06-18 | 北京工业大学 | 一种基于无监督学习的监控视频异常检测方法 |
| CN110046264A (zh) * | 2019-04-02 | 2019-07-23 | 云南大学 | 一种面向手机文档的自动分类方法 |
| CN110161388A (zh) * | 2019-06-10 | 2019-08-23 | 上海交通大学 | 一种高压设备的故障类型识别方法及其系统 |
-
2019
- 2019-08-30 CN CN201910817240.3A patent/CN110503081B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069423A (zh) * | 2015-07-29 | 2015-11-18 | 北京格灵深瞳信息技术有限公司 | 一种人体姿态检测方法及装置 |
| US20170289624A1 (en) * | 2016-04-01 | 2017-10-05 | Samsung Electrônica da Amazônia Ltda. | Multimodal and real-time method for filtering sensitive media |
| CN106241533A (zh) * | 2016-06-28 | 2016-12-21 | 西安特种设备检验检测院 | 基于机器视觉的电梯乘员综合安全智能监控方法 |
| CN106776884A (zh) * | 2016-11-30 | 2017-05-31 | 江苏大学 | 一种基于多标签组合多分类器的恐怖行为预测方法 |
| CN107194317A (zh) * | 2017-04-24 | 2017-09-22 | 广州大学 | 一种基于网格聚类分析的暴力行为检测方法 |
| CN107516296A (zh) * | 2017-07-10 | 2017-12-26 | 昆明理工大学 | 一种基于fpga的运动目标检测跟踪系统及方法 |
| CN108241849A (zh) * | 2017-08-28 | 2018-07-03 | 北方工业大学 | 基于视频的人体交互动作识别方法 |
| CN108351968A (zh) * | 2017-12-28 | 2018-07-31 | 深圳市锐明技术股份有限公司 | 一种针对犯罪活动的告警方法、装置、存储介质及服务器 |
| CN109117771A (zh) * | 2018-08-01 | 2019-01-01 | 四川电科维云信息技术有限公司 | 一种基于锚节点的图像中暴力事件检测系统及方法 |
| CN109359545A (zh) * | 2018-09-19 | 2019-02-19 | 北京航空航天大学 | 复杂低空环境下一种协同监视方法与装置 |
| CN109522945A (zh) * | 2018-10-31 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种群体情感识别方法、装置、智能设备及存储介质 |
| CN109614882A (zh) * | 2018-11-19 | 2019-04-12 | 浙江大学 | 一种基于人体姿态估计的暴力行为检测系统及方法 |
| CN109657597A (zh) * | 2018-12-13 | 2019-04-19 | 南京邮电大学 | 面向个体直播场景的异常行为检测方法 |
| CN109902612A (zh) * | 2019-02-22 | 2019-06-18 | 北京工业大学 | 一种基于无监督学习的监控视频异常检测方法 |
| CN109886209A (zh) * | 2019-02-25 | 2019-06-14 | 成都旷视金智科技有限公司 | 异常行为检测方法及装置、车载设备 |
| CN110046264A (zh) * | 2019-04-02 | 2019-07-23 | 云南大学 | 一种面向手机文档的自动分类方法 |
| CN110161388A (zh) * | 2019-06-10 | 2019-08-23 | 上海交通大学 | 一种高压设备的故障类型识别方法及其系统 |
Non-Patent Citations (2)
| Title |
|---|
| SOUNAK MONDAL 等: "Violent/Non-Violent Video Classification based on Deep Neural Network", 《2017 NINTH INTERNATIONAL CONFERENCE ON ADVANCES IN PATTERN RECOGNITION (ICAPR)》 * |
| 许泽柯: "视频监控中的异常行为检测算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111178182A (zh) * | 2019-12-16 | 2020-05-19 | 深圳奥腾光通系统有限公司 | 一种丢垃圾行为的实时检测方法 |
| CN111104930A (zh) * | 2019-12-31 | 2020-05-05 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN111104930B (zh) * | 2019-12-31 | 2023-07-11 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN111368140B (zh) * | 2020-02-19 | 2023-07-04 | 新华智云科技有限公司 | 一种视频标签生成方法及系统 |
| CN111368140A (zh) * | 2020-02-19 | 2020-07-03 | 新华智云科技有限公司 | 一种视频标签生成方法及系统 |
| CN111414876A (zh) * | 2020-03-26 | 2020-07-14 | 西安交通大学 | 一种基于时序引导空间注意力的暴力行为识别方法 |
| CN111860286A (zh) * | 2020-07-14 | 2020-10-30 | 艾伯资讯（深圳）有限公司 | 基于混合策略的暴力行为检测方法及系统、存储介质 |
| WO2022111506A1 (zh) * | 2020-11-26 | 2022-06-02 | 北京灵汐科技有限公司 | 视频动作识别方法、装置、电子设备和存储介质 |
| CN112464807A (zh) * | 2020-11-26 | 2021-03-09 | 北京灵汐科技有限公司 | 视频动作识别方法、装置、电子设备和存储介质 |
| CN112699814A (zh) * | 2020-12-31 | 2021-04-23 | 华南师范大学 | 暴力行为识别方法、暴力行为识别装置及存储介质 |
| CN112699814B (zh) * | 2020-12-31 | 2023-09-12 | 华南师范大学 | 暴力行为识别方法、暴力行为识别装置及存储介质 |
| CN113283978A (zh) * | 2021-05-06 | 2021-08-20 | 北京思图场景数据科技服务有限公司 | 基于生物基础与行为特征及业务特征的金融风险评估方法 |
| CN113283978B (zh) * | 2021-05-06 | 2024-05-10 | 北京思图场景数据科技服务有限公司 | 基于生物基础与行为特征及业务特征的金融风险评估方法 |
| CN113362371A (zh) * | 2021-05-18 | 2021-09-07 | 北京迈格威科技有限公司 | 目标跟踪方法及装置、电子设备、存储介质 |
| CN113469126A (zh) * | 2021-07-23 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种运动状态检测方法、装置、检测设备及存储介质 |
| WO2024139763A1 (zh) * | 2022-12-27 | 2024-07-04 | 中移物联网有限公司 | 一种目标对象检测方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110503081B (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503081A (zh) | 基于帧间差分的暴力行为检测方法、系统、设备及介质 | |
| CN109615582A (zh) | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 | |
| CN108229268A (zh) | 表情识别及卷积神经网络模型训练方法、装置和电子设备 | |
| CN109543526A (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
| CN106909938B (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
| CN110163876A (zh) | 基于多特征融合的左心室分割方法、系统、设备及介质 | |
| CN110046550A (zh) | 基于多层特征学习的行人属性识别系统及方法 | |
| Xu et al. | Intelligent emotion detection method based on deep learning in medical and health data | |
| CN109508755B (zh) | 一种基于图像认知的心理测评方法 | |
| Ma et al. | WALKING WALKing walking: Action Recognition from Action Echoes. | |
| Ma et al. | Human motion gesture recognition based on computer vision | |
| Yan et al. | SEResU-net for multimodal brain tumor segmentation | |
| Rao et al. | Facial expression recognition with multiscale graph convolutional networks | |
| Li et al. | ET-YOLOv5s: toward deep identification of students’ in-class behaviors | |
| Li et al. | Monitoring and alerting of crane operator fatigue using hybrid deep neural networks in the prefabricated products assembly process | |
| Chen et al. | Efficient transfer learning combined skip-connected structure for masked face poses classification | |
| Sarveshwaran et al. | Investigation on human activity recognition using deep learning | |
| Hristov | Real-time abnormal human activity detection using 1DCNN-LSTM for 3D skeleton data | |
| Cao et al. | Adaptive receptive field U-shaped temporal convolutional network for vulgar action segmentation | |
| Hdioud et al. | Facial expression recognition of masked faces using deep learning | |
| Du et al. | Multivariate time series classification based on fusion features | |
| Abhishek et al. | Human Verification over Activity Analysis via Deep Data Mining | |
| CN115546491A (zh) | 一种跌倒报警方法、系统、电子设备及存储介质 | |
| Xu et al. | New advances in remote heart rate estimation and its application to deepfake detection | |
| Wang et al. | Calorific expenditure estimation using deep convolutional network features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240905 Address after: 230000 b-1018, Woye Garden commercial office building, 81 Ganquan Road, Shushan District, Hefei City, Anhui Province Patentee after: HEFEI WISDOM DRAGON MACHINERY DESIGN Co.,Ltd. Country or region after: China Address before: 250014 No. 88 East Wenhua Road, Shandong, Ji'nan Patentee before: SHANDONG NORMAL University Country or region before: China |