CN107273835A - 基于视频分析的暴力行为智能检测方法 - Google Patents

基于视频分析的暴力行为智能检测方法 Download PDF

Info

Publication number
CN107273835A
CN107273835A CN201710421367.4A CN201710421367A CN107273835A CN 107273835 A CN107273835 A CN 107273835A CN 201710421367 A CN201710421367 A CN 201710421367A CN 107273835 A CN107273835 A CN 107273835A
Authority
CN
China
Prior art keywords
mrow
msub
video
feature
msubsup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710421367.4A
Other languages
English (en)
Inventor
袁家斌
孟子涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201710421367.4A priority Critical patent/CN107273835A/zh
Publication of CN107273835A publication Critical patent/CN107273835A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于视频分析的暴力行为智能检测方法，采用密集轨迹提取算法获取视频图片上的运动特征点，跟踪获取到的运动特征点并计算这些运动特征点在多个连续视频帧上的位置，以得到运动特征点对应的运动轨迹；训练空间流的卷积神经网络以得到基于空间检测的卷积神经网络模型，并利用该模型提取视频的空间特征层；训练时间流的卷积神经网络以得到基于时间检测的卷积神经网络模型，并利用该模型提取视频的时间特征层；将提取到的运动轨迹在神经网络特征层上进行池化，计算得到基于轨迹和深度特征融合的三维特征向量；将三维特征向量作为判别是否发生暴力行为的标准，并通过SVM进行分类。该方法提高了暴力行为检测的准确率并具有较高鲁棒性。

Description

基于视频分析的暴力行为智能检测方法
技术领域
本发明属于视频分析技术，具体涉及一种基于视频分析的暴力行为智能化检测方法。
背景技术
基于视频的暴力行为检测在智能监控、视频内容标注和评级等领域均具有潜在的应用价值。近年来，暴恐事件，群众斗殴事件等不断发生，公共安全问题显得尤为重要。在智能视频监控中实现暴力检测的功能，能够对此类事情报警并及时的进行处理。另外，目前混杂的视频材料在网络上无处不在，其中不乏一些包含暴力、色情等内容的视频，这些视频可能会对少年儿童造成不良影响，如产生心理恐慌、暴力倾向等。因此，利用暴力视频检测方法来对视频内容进行标注和评级，能够有效的对网络进行分类管理。
目前，对暴力行为自动检测的研究主要是利用人工提取的特征进行识别。如基于轨迹提取的方法对暴力行为进行识别，这种方法主要是跟踪兴趣目标得到运动轨迹，通过轨迹的稠密程度来判断暴力行为是否发生，但是由于运动轨迹本身缺乏对描述目标动作的区分性，容易导致将单人的快速或者大幅度的动作误判为暴力行为，即误报率较高。针对此问题，也有人提出了加入局部的动态信息进行区分，但是局部特征依然不能很好的表达整个画面传递的信息。
此外，还有一些人利用光流矢量来进行暴力行为的识别，如MOSIFT特征，局部二值化特征等等。光流场可以计算连续两帧之间目标的移动速度和方向，但是在基于视频的持续行为分析中，该方法依然缺少长期有效的时间信息。
发明内容
为了克服上述技术的不足，本发明结合了手工特征和深度学习特征的优点，提出了一种基于视频分析的暴力行为智能化检测方法。通过计算运动轨迹和卷积神经网络特征层，将二者进行融合得到新的特征作为判别标准，提高了暴力行为检测的准确率；并且本发明的鲁棒性高，能够应对拥挤的视频场景。
基于视频分析的暴力行为智能化检测方法主要包括运动轨迹获取，卷积神经网络特征层计算，特征提取，特征分类四个部分。具体技术方案如下：
一种基于视频分析的暴力行为智能检测方法，包括：
第一部分：采用密集轨迹提取算法获取视频图片上的运动特征点，跟踪获取到的运动特征点并计算这些运动特征点在多个连续视频帧上的位置，以得到运动特征点对应的运动轨迹；
第二部分：输入静态的视频帧，训练空间流的卷积神经网络以得到基于空间检测的卷积神经网络模型，并利用空间流网络模型作为特征提取器提取视频的空间特征层；输入视频的光流场，训练时间流的卷积神经网络以得到基于时间检测的卷积神经网络模型，并利用时间流网络模型作为特征提取器提取视频的时间特征层；
第三部分：将第一部分提取到的运动轨迹在第二部得到的神经网络特征层上进行池化，计算得到基于轨迹和深度特征融合的三维特征向量；
第四部分：将三维特征向量作为判别是否发生暴力行为的标准，并通过SVM进行分类。
进一步的，第一部分是通过网格划分的方式在视频帧上进行密集采样特征点，计算每个像素点自相关矩阵的特征值，并设置阈值T去除低于阈值的无关特征点。
进一步的，阈值T的计算公式如下：
式中，为是视频帧I中像素点i的特征值，，A表示可接受角点的最差质量，A取0.001。
进一步的，采用Shi-Tomasi角点检测算法计算每个像素点自相关矩阵的特征值。
进一步的，第一部分采用的跟踪算法是：
设上一步中密集采样到的某个特征点的坐标为：
Pt＝(xt,yt),
式中，xt,yt表示采样点在t时刻的位置；
采用下式计算该特征点在下一帧图像中的位置为：
式中，ωt＝(ut,vt)为密集光流场，u和v分别代表光流的水平和垂直分量，M代表中值滤波核，尺寸为3x3像素，*为卷积操作；
通过求出特征点在每一帧中图像的位置，最终得到该特征点在视频中的轨迹为：
T＝(ΔPt,ΔPt+1,…,ΔPt+L-1),
式中，位移矢量ΔPt＝Pt+1-Pt＝(xt+1-xt,yt+1-yt)，
经过归一化后，得到长度为2L的特征向量(L为一条轨迹的长度)，一个向量对应一条轨迹。
进一步的，第二部分中，
空间特征层为：
式中，m是第m个特征层，Hm是特征层高度，Wm是特征层宽度，l是视频的长度，Nm是特征层通道数，s表示空间；
时间特征层为：
式中，m是第m个特征层，Hm是特征层高度，Wm是特征层宽度，l是视频的长度，Nm是特征层通道数，s表示空间，t表示时间。
进一步的，第三部分中得到的三维特征向量为计算公式如下：
式中，n∈(s,t)，对应和m是第m个卷积层(即特征层)，k表示第k条轨迹，Tk表示第k条轨迹，表示有n个通道的第m个卷积层，p表示第p个采样点，分别表示第k条轨迹上第p个采样点的位置。
进一步的，第四部分中，在采用SVM进行分类前先将第三部分得到的特征向量进行降维，得到维度为D的特征。
进一步的，对特征利用PCA算法进行降维。
进一步的，利用Fisher向量对降维后的特征进行编码。
通过采用以上技术方案，具有以下有益效果：
(1)通过将深度学习特征与手工特征结合，提高了识别正确率，能够智能高效的从视频中分析出有无暴力行为发生；
(2)因为加入提取轨迹的操作，该方法具有一定的鲁棒性，能够有效的应对拥挤的视频场景。
附图说明
图1是本发明的方法步骤流程图；
图2是空间和时间网络各个特征层的正确率结果图；
图3是PCA降维的正确率结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及具体实施例对本发明作进一步详细说明。
如图1所示的基于视频分析的暴力行为智能检测方法的流程图，包括以下几个部分：
第一部分：运动轨迹获取
(1)采用密集轨迹提取算法获取多个运动特征点。
输入实例视频V，通过网格划分的方式在视频帧上进行密集采样特征点。本发明通过实验改变特征点采样的间隔(即网格的大小W)，来得到不同数量的特征点，W取值为2到20。实验结果显示W＝5时，能够保证算法的识别率和计算效率，因此本发明在该步骤中设置采样网格的大小为5。
采样后，通过Shi-Tomasi角点检测算法计算每个像素点自相关矩阵的特征值，并设置阈值T去除低于阈值的无关特征点，阈值由下式决定：
式中，为是视频帧I中像素点i的特征值，A用来表征可接受角点的最差质量，通过实验改变A的取值，从0.1到0.001。实验结果显示A＝0.001时，能够得到均匀的相关特征点。
(2)利用文献1中所述的跟踪算法对(1)中得到的运动特征点进行跟踪，并得到各特征点对应的运动轨迹。
设上一步中密集采样到的某个特征点的坐标为：
Pt＝(xt,yt),
式中，xt,yt表示采样点在t时刻的位置，则我们可以用下式来计算该特征点在下一帧图像中的位置为：
式中，ωt＝(ut,vt)为密集光流场，u和v分别代表光流的水平和垂直分量。M则代表中值滤波核，尺寸为3x3像素，*为卷积操作。选用中值滤波核，是由于其相比于其他的双线性插值操作具有鲁棒性，求得的轨迹更加平滑。
通过求出特征点在每一帧中图像的位置，最终得到该特征点在视频中的轨迹为：
T＝(ΔPt,ΔPt+1,…,ΔPt+L-1),
式中，位移矢量ΔPt＝Pt+1-Pt＝(xt+1-xt,yt+1-yt)。
经过归一化后，得到长度为2L的特征向量(L为一条轨迹的长度)，一个向量对应一条轨迹。
实施例中，设置L＝15，每条轨迹特征为15*2＝30维向量，实例视频V得到3095条轨迹。
需要说明的是，文献1是指Wang H,Schmid C等人2013年在《计算机视觉国际期刊》发表的《行为识别中的密集轨迹和运动边界描述子》，本发明利用了该文献中密集特征点采样和跟踪技术，得到了第一部分的运动轨迹获取。第二部分：卷积神经网络特征层计算
(1)训练空间流的卷积神经网络，数据是公开的暴力视频数据集(国际冰球比赛)，网络的输入是静态的视频帧(224x224x3)，在vgg19的模型上进行参数调优，初始学习率设置为0.001，训练在500次迭代后停止，正确率达到91.5％。
(2)利用空间流网络模型作为特征提取器，提取视频V的空间特征层。本发明在暴力视频数据集上进行实验对比了不同特征层得到的实验结果，如图2所示，结果显示第四个空间特征层的正确率最高。因此，提取输入视频V的第四个空间特征层。
空间特征层为：
式中，m是第m个特征层，Hm是特征层高度，Wm是特征层宽度，l是视频的长度，Nm是特征层通道数，s表示空间。
(3)训练时间流的卷积神经网络，数据和模型结构同空间网络的相同，输入是视频的光流场(224x224x2L,l为输入光流场的长度)，设置l＝10。初始学习率设置为0.005，训练在100次迭代后停止，正确率达到87％。
(4)利用时间流网络模型作为特征提取器，提取视频V的时间特征层。与空间流提取过程相同，本发明在暴力视频数据集上进行实验对比了不同特征层得到的实验结果如图2所示，结果显示第四个时间特征层的正确率最高。因此，提取输入视频V的第四个时间特征层。
时间特征层为：
式中，m是第m个特征层，Hm是特征层高度，Wm是特征层宽度，l是视频的长度，Nm是特征层通道数，t表示时间。
第三部分：特征提取
利用第一部分提取到的轨迹在第二部分得到的神经网络特征层上进行池化，计算得到基于轨迹和深度特征融合的三维特征其中，对应和计算公式如下：
式中，n∈(s,t)，m是第m个卷积层(即特征层)，k表示第k条轨迹，Tk表示第k条轨迹，表示有n个通道的第m个卷积层，p表示第p个采样点，分别表示第k条轨迹上第p个采样点的位置。
输入视频V经过上述公式计算后，最终得到一个空间流的512x3095维的特征向量Fs和一个时间流的512x3095维的特征向量Ft。
第四部分：特征分类
(1)经过步骤三得到的特征向量Fs和Ft，由于特征向量的维数比较高，因此，在进行编码前可采用PCA算法进行降维。
选择该算法进行特征降维，其一是因为算法简单易于实现；其二是因为该算法能在维数降低的同时还很大程度上保留了原数据的重要信息，适用于本发明中高维的暴力特征数据。
经过实验分析得到维度为D的特征。结果如图3所示，最终设置D＝256。
(2)为了提高最终的分类效果，对降维后的特征向量Fs和Ft进行编码。
由于Fisher向量编码方式在行为识别以及图像分类的工作中均有效地提升了识别效果，因此，本发明选择该方法进行编码。Fisher向量编码是将原始特征向量用GMMs(混合高斯模型)表达后重新编码。本发明中设置GMMs个数K＝256,对向量进行编码得到2KD维的编码向量F′s和F′t。
(3)将得到的两个特征向量F′s和F′t进行特征融合得到最终的特征向量F‘，即为该实例视频的特征描述子。最后，通过一个线性的SVM(支持向量机)进行分类(类别C＝2，即暴力和非暴力)。
通过本方法可以看出，采用轨迹跟踪和特征层相结合的方法，很好的利用了二者在空间和时间上学习视频特征的不同能力，提升了暴力检测行为的准确率；并且该方法的鲁棒性高，不同场景的视频检测都能取得很好的效果。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下，在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (10)

1.一种基于视频分析的暴力行为智能检测方法，其特征在于，包括：
第一部分：采用密集轨迹提取算法获取视频图片上的运动特征点，跟踪获取到的运动特征点并计算这些运动特征点在多个连续视频帧上的位置，以得到运动特征点对应的运动轨迹；
第二部分：输入静态的视频帧，训练空间流的卷积神经网络以得到基于空间检测的卷积神经网络模型，并利用空间流网络模型作为特征提取器提取视频的空间特征层；输入视频的光流场，训练时间流的卷积神经网络以得到基于时间检测的卷积神经网络模型，并利用时间流网络模型作为特征提取器提取视频的时间特征层；
第三部分：将第一部分提取到的运动轨迹在第二部得到的神经网络特征层上进行池化，计算得到基于轨迹和深度特征融合的三维特征向量；
第四部分：将三维特征向量作为判别是否发生暴力行为的标准，并通过SVM进行分类。
2.如权利要求1所述的暴力行为智能化检测方法，其特征在于，第一部分是通过网格划分的方式在视频帧上进行密集采样特征点，计算每个像素点自相关矩阵的特征值，并设置阈值T去除低于阈值的无关特征点。
3.如权利要求2所述的暴力行为智能化检测方法，其特征在于，阈值T的计算公式如下：
<mrow> <mi>T</mi> <mo>=</mo> <mi>A</mi> <mo>*</mo> <msub> <mi>max</mi> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mi>I</mi> </mrow> </msub> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msubsup> <mi>&amp;delta;</mi> <mi>i</mi> <mn>1</mn> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;delta;</mi> <mi>i</mi> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow>
式中，为是视频帧I中像素点i的特征值，A表示可接受角点的最差质量。
4.如权利要求2所述的暴力行为智能化检测方法，其特征在于，采用Shi-Tomasi角点检测算法计算每个像素点自相关矩阵的特征值。
5.如权利要求1所述的暴力行为智能化检测方法，其特征在于，第一部分采用的跟踪算法是：
设上一步中密集采样到的某个特征点的坐标为：
Pt＝(xt,yt),
式中，xt,yt表示采样点在t时刻的位置；
采用下式计算该特征点在下一帧图像中的位置为：
<mrow> <msub> <mi>P</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mi>y</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mi>M</mi> <mo>*</mo> <msub> <mi>&amp;omega;</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <msub> <mo>|</mo> <mrow> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>t</mi> </msub> </mrow> </msub> </mrow>
式中，ωt＝(ut,vt)为密集光流场，u和v分别代表光流的水平和垂直分量，M代表中值滤波核，尺寸为3x3像素，*为卷积操作；
通过求出特征点在每一帧中图像的位置，最终得到该特征点在视频中的轨迹为：
T＝(ΔPt,ΔPt+1,…,ΔPt+L-1),
式中，位移矢量ΔPt＝Pt+1-Pt＝(xt+1-xt,yt+1-yt)，
经过归一化后，得到长度为2L的特征向量，一个向量对应一条运动轨迹。
6.如权利要求1所述的暴力行为智能化检测方法，其特征在于，第二部分中，空间特征层为：
<mrow> <msubsup> <mi>C</mi> <mi>m</mi> <mi>s</mi> </msubsup> <mo>&amp;Element;</mo> <msup> <mi>R</mi> <mrow> <msub> <mi>H</mi> <mi>m</mi> </msub> <mo>&amp;times;</mo> <msub> <mi>W</mi> <mi>m</mi> </msub> <mo>&amp;times;</mo> <mi>l</mi> <mo>&amp;times;</mo> <msub> <mi>N</mi> <mi>m</mi> </msub> </mrow> </msup> <mo>,</mo> </mrow>
式中，m是第m个特征层，Hm是特征层高度，Wm是特征层宽度，l是视频的长度，Nm是特征层通道数，s表示空间；
时间特征层为：
<mrow> <msubsup> <mi>C</mi> <mi>m</mi> <mi>t</mi> </msubsup> <mo>&amp;Element;</mo> <msup> <mi>R</mi> <mrow> <msub> <mi>H</mi> <mi>m</mi> </msub> <mo>&amp;times;</mo> <msub> <mi>W</mi> <mi>m</mi> </msub> <mo>&amp;times;</mo> <mi>l</mi> <mo>&amp;times;</mo> <msub> <mi>N</mi> <mi>m</mi> </msub> </mrow> </msup> <mo>,</mo> </mrow>
式中，m是第m个特征层，Hm是特征层高度，Wm是特征层宽度，l是视频的长度，Nm是特征层通道数，s表示空间，t表示时间。
7.如权利要求1所述的暴力行为智能化检测方法，其特征在于，第三部分中，得到的三维特征向量为计算公式如下：
<mrow> <mi>F</mi> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mi>k</mi> </msub> <mo>,</mo> <msubsup> <mi>C</mi> <mi>m</mi> <mi>n</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>P</mi> </munderover> <msubsup> <mi>C</mi> <mi>m</mi> <mi>n</mi> </msubsup> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>p</mi> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>y</mi> <mi>p</mi> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>z</mi> <mi>p</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
式中，n∈(s,t)，对应和m是第m个卷积层(即特征层)，k表示第k条轨迹，Tk表示第k条轨迹，表示有n个通道的第m个卷积层，p表示第p个采样点，分别表示第k条轨迹上第p个采样点的位置。
8.如权利要求1所述的暴力行为智能化检测方法，其特征在于，第四部分中，在采用SVM进行分类前先将第三部分得到的特征向量进行降维，得到维度为D的特征。
9.如权利要求8所述的暴力行为智能化检测方法，其特征在于，对特征利用PCA算法进行降维。
10.如权利要求9所述的暴力行为智能化检测方法，其特征在于，利用Fisher向量对降维后的特征进行编码。
CN201710421367.4A 2017-06-07 2017-06-07 基于视频分析的暴力行为智能检测方法 Pending CN107273835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710421367.4A CN107273835A (zh) 2017-06-07 2017-06-07 基于视频分析的暴力行为智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710421367.4A CN107273835A (zh) 2017-06-07 2017-06-07 基于视频分析的暴力行为智能检测方法

Publications (1)

Publication Number Publication Date
CN107273835A true CN107273835A (zh) 2017-10-20

Family

ID=60065875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710421367.4A Pending CN107273835A (zh) 2017-06-07 2017-06-07 基于视频分析的暴力行为智能检测方法

Country Status (1)

Country Link
CN (1) CN107273835A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107777498A (zh) * 2017-11-20 2018-03-09 江苏省特种设备安全监督检验研究院 一种电梯轿厢内暴力行为检测方法
CN108154096A (zh) * 2017-12-19 2018-06-12 科大讯飞股份有限公司 一种审讯资料的审查方法及装置
CN108229338A (zh) * 2017-12-14 2018-06-29 华南理工大学 一种基于深度卷积特征的视频行为识别方法
CN108596032A (zh) * 2018-03-21 2018-09-28 浙江大华技术股份有限公司 一种视频中打架行为检测方法、装置、设备及介质
CN108648746A (zh) * 2018-05-15 2018-10-12 南京航空航天大学 一种基于多模态特征融合的开放域视频自然语言描述生成方法
CN109117771A (zh) * 2018-08-01 2019-01-01 四川电科维云信息技术有限公司 一种基于锚节点的图像中暴力事件检测系统及方法
CN109583335A (zh) * 2018-11-16 2019-04-05 中山大学 一种基于时空信息融合的视频人体行为识别方法
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测系统及方法
CN109815921A (zh) * 2019-01-29 2019-05-28 北京融链科技有限公司 加氢站中活动类别的预测方法及装置
CN109919977A (zh) * 2019-02-26 2019-06-21 鹍骐科技（北京）股份有限公司 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN110274590A (zh) * 2019-07-08 2019-09-24 哈尔滨工业大学 一种基于决策树的暴力动作检测方法及系统
CN110276332A (zh) * 2019-06-28 2019-09-24 北京奇艺世纪科技有限公司 一种视频特征处理方法、装置及三维卷积神经网络模型
CN110349371A (zh) * 2019-03-15 2019-10-18 程爱军 安全监控式无线通信系统
CN111027394A (zh) * 2019-11-12 2020-04-17 天津大学 基于孪生三维卷积神经网络的行为分类方法
CN111860395A (zh) * 2020-07-28 2020-10-30 公安部第三研究所 基于视觉和加速度信息实现监所暴力行为检测的方法
CN112507760A (zh) * 2019-09-16 2021-03-16 杭州海康威视数字技术股份有限公司 暴力分拣行为的检测方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015003287A1 (zh) * 2013-07-12 2015-01-15 台湾色彩与影像科技股份有限公司 一种行为辨识及追踪系统及其运作方法
CN105787458A (zh) * 2016-03-11 2016-07-20 重庆邮电大学 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN106778854A (zh) * 2016-12-07 2017-05-31 西安电子科技大学 基于轨迹和卷积神经网络特征提取的行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015003287A1 (zh) * 2013-07-12 2015-01-15 台湾色彩与影像科技股份有限公司 一种行为辨识及追踪系统及其运作方法
CN105787458A (zh) * 2016-03-11 2016-07-20 重庆邮电大学 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN106778854A (zh) * 2016-12-07 2017-05-31 西安电子科技大学 基于轨迹和卷积神经网络特征提取的行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WANG H ET AL: "《Action Recognition with Improved Trajectories》", 《ICCV "13: PROCEEDINGS OF THE 2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
WANG H ET AL: "《Dense Trajectories and Motion Boundary Descriptors for Action Recognition》", 《INTERNATIONAL JOURNALOF COMPUTER VISION》 *
WANG LM ET AL: "《Action Recognition with Trajectory-Pooled Deep-Convolutional Descriptors》", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107777498B (zh) * 2017-11-20 2019-07-19 江苏省特种设备安全监督检验研究院 一种电梯轿厢内暴力行为检测方法
CN107777498A (zh) * 2017-11-20 2018-03-09 江苏省特种设备安全监督检验研究院 一种电梯轿厢内暴力行为检测方法
CN108229338A (zh) * 2017-12-14 2018-06-29 华南理工大学 一种基于深度卷积特征的视频行为识别方法
CN108154096A (zh) * 2017-12-19 2018-06-12 科大讯飞股份有限公司 一种审讯资料的审查方法及装置
CN108596032A (zh) * 2018-03-21 2018-09-28 浙江大华技术股份有限公司 一种视频中打架行为检测方法、装置、设备及介质
CN108596032B (zh) * 2018-03-21 2020-09-29 浙江大华技术股份有限公司 一种视频中打架行为检测方法、装置、设备及介质
CN108648746A (zh) * 2018-05-15 2018-10-12 南京航空航天大学 一种基于多模态特征融合的开放域视频自然语言描述生成方法
CN108648746B (zh) * 2018-05-15 2020-11-20 南京航空航天大学 一种基于多模态特征融合的开放域视频自然语言描述生成方法
CN109117771A (zh) * 2018-08-01 2019-01-01 四川电科维云信息技术有限公司 一种基于锚节点的图像中暴力事件检测系统及方法
CN109117771B (zh) * 2018-08-01 2022-05-27 四川电科维云信息技术有限公司 一种基于锚节点的图像中暴力事件检测系统及方法
CN109583335A (zh) * 2018-11-16 2019-04-05 中山大学 一种基于时空信息融合的视频人体行为识别方法
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测系统及方法
CN109815921A (zh) * 2019-01-29 2019-05-28 北京融链科技有限公司 加氢站中活动类别的预测方法及装置
CN109919977A (zh) * 2019-02-26 2019-06-21 鹍骐科技（北京）股份有限公司 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN109919977B (zh) * 2019-02-26 2020-01-17 鹍骐科技（北京）股份有限公司 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN110349371A (zh) * 2019-03-15 2019-10-18 程爱军 安全监控式无线通信系统
CN110276332B (zh) * 2019-06-28 2021-12-24 北京奇艺世纪科技有限公司 一种视频特征处理方法及装置
CN110276332A (zh) * 2019-06-28 2019-09-24 北京奇艺世纪科技有限公司 一种视频特征处理方法、装置及三维卷积神经网络模型
CN110274590A (zh) * 2019-07-08 2019-09-24 哈尔滨工业大学 一种基于决策树的暴力动作检测方法及系统
CN112507760A (zh) * 2019-09-16 2021-03-16 杭州海康威视数字技术股份有限公司 暴力分拣行为的检测方法、装置及设备
CN112507760B (zh) * 2019-09-16 2024-05-31 杭州海康威视数字技术股份有限公司 暴力分拣行为的检测方法、装置及设备
CN111027394A (zh) * 2019-11-12 2020-04-17 天津大学 基于孪生三维卷积神经网络的行为分类方法
CN111027394B (zh) * 2019-11-12 2023-07-07 天津大学 基于孪生三维卷积神经网络的行为分类方法
CN111860395A (zh) * 2020-07-28 2020-10-30 公安部第三研究所 基于视觉和加速度信息实现监所暴力行为检测的方法

Similar Documents

Publication Publication Date Title
CN107273835A (zh) 基于视频分析的暴力行为智能检测方法
Wang et al. Robust unsupervised video anomaly detection by multipath frame prediction
Zhou et al. Violence detection in surveillance video using low-level features
Wang et al. A robust and efficient video representation for action recognition
CN107330362B (zh) 一种基于时空注意力的视频分类方法
Dong et al. Multi-stream deep networks for person to person violence detection in videos
Zhang et al. Animal detection from highly cluttered natural scenes using spatiotemporal object region proposals and patch verification
CN107563345B (zh) 一种基于时空显著性区域检测的人体行为分析方法
CN109146921B (zh) 一种基于深度学习的行人目标跟踪方法
CN110188637A (zh) 一种基于深度学习的行为识别技术方法
Roy et al. Unsupervised universal attribute modeling for action recognition
JP5604256B2 (ja) 人物動作検出装置およびそのプログラム
CN107862275A (zh) 人体行为识别模型及其构建方法和人体行为识别方法
CN106709419B (zh) 一种基于显著轨迹空间信息的视频人体行为识别方法
Wang et al. Abnormal behavior detection in videos using deep learning
CN103988232A (zh) 使用运动流形来改进图像匹配
Duta et al. Histograms of motion gradients for real-time video classification
Tekin et al. Predicting people’s 3D poses from short sequences
CN111881731A (zh) 基于人体骨架的行为识别方法、系统、装置及介质
Xu et al. Action recognition by saliency-based dense sampling
Zhu et al. Action recognition in broadcast tennis video
Afshar et al. Facial expression recognition in the wild using improved dense trajectories and fisher vector encoding
CN106845375A (zh) 一种基于层级化特征学习的动作识别方法
Roy et al. Foreground segmentation using adaptive 3 phase background model
Mahmoodi et al. Violence detection in videos using interest frame extraction and 3D convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020