CN107451553B - 一种基于超图转变的视频中暴力事件检测方法 - Google Patents
一种基于超图转变的视频中暴力事件检测方法 Download PDFInfo
- Publication number
- CN107451553B CN107451553B CN201710618257.7A CN201710618257A CN107451553B CN 107451553 B CN107451553 B CN 107451553B CN 201710618257 A CN201710618257 A CN 201710618257A CN 107451553 B CN107451553 B CN 107451553B
- Authority
- CN
- China
- Prior art keywords
- hypergraph
- point
- formula
- interest
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
- G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/426—Graphical representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公布了一种基于超图转变模型的视频中暴力事件检测方法,包括前景目标轨迹提取过程、构建超图与相似度量过程和构建超图转变描述子过程;采用超图描述特征点的空间关系,反映运动的姿态信息;为时间序列中相关联的超图之间的转变建模并提出特征描述子HVC,能有效反映动作的强度及稳定性。该方法先对特征点的空间关系以及特征点群体的转变情况分别进行分析,再将其进行联合分析;本发明方法对视频中杂乱的不规律行为敏感,适用于暴力事件的检测。
Description
技术领域
本发明涉及视频数据处理技术,尤其涉及一种基于超图转变的视频中暴力事件检测方法。
背景技术
随着现代社会中视频数据的海量增长,视频内容理解成为了一个重要的研究课题,而监控视频中的暴力事件检测对维护公共安全更是有着重大的意义。通过暴力事件检测技术可以对视频中暴力事件进行自动筛选与识别,一方面可以达到对暴力事件的及时发现的目的,另一方面可以有效地对视频大数据中可能危害公共安全的行为进行高效的离线筛选。但是,检测视频中的暴力事件有着很高的技术难度,其技术难点包括以下几个:
(一)暴力事件具有很强的多态性,难以提取出具有普适性的特征描述;
(二)可用于训练模型的正样本数据太少;
(三)监控视频的分辨率较低等。
现有的用于视频中行为识别与检测的主流方法大都以深度学习为核心技术,使用深度模型对视频内容进行自动特征提取与识别。但是,由于暴力事件的多态性以及可用的训练数据太少,使得需要海量数据作为支撑的深度学习模型在此问题上难以奏效。因此,对于暴力事件检测,基于局部时空特征描述子的方法依然盛行,其主要思想是通过对局部特征描述子(如,时空兴趣点)之间的关系进行建模从而反映行为特征。
发明内容
为了克服上述现有技术的不足,本发明提供一种基于超图转变的视频中暴力事件检测方法,提出暴力事件检测的特征描述子HVC(Histogram of Velocity Changing,超图转变描述子),先对特征点的空间关系以及特征点群体的转变情况分别进行分析,再将其进行联合分析。本发明方法能有效反映动作的强度及稳定性,对杂乱的不规律行为敏感,对于暴力事件检测具有一定普适性。
本发明的原理是:对视频中的时空兴趣点(Spatial Temporal Interest Point,STIP)进行提取和跟踪,同时对视频中的运动前景进行检测与分割;将提取的兴趣点按其所属的前景块进行划分,用前景块对可能存在的噪声兴趣点进行过滤,并按照兴趣点跟踪所得到的轨迹估计前景块的运动轨迹;每一条前景块轨迹对应的是一组运动序列,对于每一个序列,本发明使用前景块中的动作姿态信息及轨迹中姿态的转变信息来对其进行分析,具体如下:先使用超图对每一个前景块中的兴趣点进行建模,以超图构建当前景块中的动作姿态信息;使用本发明中提出的一种新的特征描述子Histogram of Velocity Changing(HVC)对超图的转变过程进行表述;最后将超图与HVC按照前景块轨迹顺序组成链(H-TChain,Hypergraph-Transition Chain,超图转变链)以表述整个运动序列。可以使用隐式马尔科夫模型(HMM)对H-T Chain进行建模,从而得到暴力行为的HMM模型。
本发明提供的技术方案是:
一种基于超图转变的视频中暴力事件检测方法,超图转变包括了超图模型的构建及超图转变过程;采用了超图(Hyper-graph)描述特征点的空间关系,从而反映运动的姿态信息,提出暴力事件检测的特征描述子HVC,先对特征点的空间关系以及特征点群体的转变情况分别进行分析,再将其进行联合分析;具体包括如下步骤:
1)对视频中的时空兴趣点(Spatial Temporal Interest Point,STIP)进行提取和跟踪,同时对视频中的运动前景进行检测与分割;
2)将提取的兴趣点按其所属的前景块进行划分,用前景块对可能存在的噪声兴趣点进行过滤,并按照兴趣点跟踪所得到的轨迹估计前景块的运动轨迹;
步骤1)~2)为前景目标轨迹提取过程,具体地,在视频中,尤其是像素较低的监控视频中,相较于目标跟踪,兴趣点的跟踪更为简单鲁棒。本发明通过兴趣点的轨迹估计出前景目标的轨迹。我们通过式1将第t帧的前景块记为St:
St={st,i}(i=1…n) (式1)
其中,n是第t帧分割所得前景块的数量;st,i表示为式2:
st,i={pt,j}(j=1…m) (式2)
其中,pt,j是前景块中的第j个兴趣点。
当前景块与前景块满足式3时,我们认为两个前景块属于同一序列:
其中,m1是中的兴趣点个数,thd是可以调节的概率阈值。当是在下一帧中追踪到的点时,等于1,否则为0。
3)每一条前景块轨迹对应的是一组运动序列,对于每一个序列,使用前景块中的动作姿态信息及轨迹中姿态的转变信息来对其进行分析;具体如下:
31)构建超图与相似性度量,使用超图对每一个前景块中的兴趣点进行建模,以超图构建当前景块中的动作姿态信息;
超图的构建与相似度量,具体地:
本发明使用超图对前景块中所包含的运动姿态进行建模,超图具有良好的仿射不变性;。对于一个前景块si,我们为其定义超图结构Gi,表示为式4:
Gi=(Vi,Ei,Fi) (式4)
其中,Vi是图中的兴趣点所构成的集合,Ei是图中的超边,每一条边都是由三个点组成的三元组;Fi是点所对应的特征所组成的集合。对于两个超图(如G1和G2),我们定义一个匹配矩阵A来表示他们之间的匹配关系,如式5:
N1与N2分别是两个超图中点的个数。不同块中所含姿态的相似性由最佳匹配下的score值表示,通过式6进行计算:
score(A)=∑i,i′,j,j′,k,k′Hi,i′,j,j′,k,k′Xi,i′Xj,j′Xk,k′ (式6)
其中,Hi,i′,j,j′,k,k′是超边E={i,j,k}与E′={i′,j′,k′}间的相似度量函数,表示为式7。相似性越大,score值越高。
其中,为特征向量,其中aijk定义了三个点的空间关系,如式8:
其中,sin(·)为三角正弦函数,为从点pi指向pj的向量。
32)构建新的特征描述子Histogram of Velocity Changing(HVC)对超图的转变过程进行表述;HVC能有效反映动作的强度及稳定性,对杂乱的不规律行为敏感,适用于暴力事件的检测。
构建HVC如图2所示,图中vi是兴趣点pi处的光流,s是光流计算时相隔的步长。从点pi到点pi+s速度变化的强度,表示为式9:
同时通过式10计算轨迹中各点速度的平均幅值:
最终由所有的轨迹得到从Gk到Gk+1的HVC描述子。
33)最后将超图与HVC按照前景块轨迹顺序组成链(H-T Chain)以表述整个运动序列,对H-T Chain进行建模,得到暴力行为的模型,实现视频中暴力事件检测。
可以使用隐式马尔科夫模型(HMM)对H-T Chain进行建模,从而得到暴力行为的HMM模型。
与现有技术相比,本发明的有益效果是:
本发明方法针对局部特征描述子之间的关系进行建模,提供一种基于超图转变的视频中暴力事件检测方法。与现有方法不同,本发明采用了超图(Hyper-graph)来描述特征点的空间关系从而反映运动的姿态信息。相较于别的图模型,超图具有良好的仿射不变性,在监控视频这一存在多视角的情景下有着更好的表现。同时,为了进一步挖掘运动信息,本发明方法为时间序列中相关联的超图之间的转变进行建模并为之提出一个新的特征描述子HVC。HVC能有效反映动作的强度及稳定性,对杂乱的不规律行为敏感,适用于暴力事件的检测。本发明方法具有如下特点:
(一)首次使用超图的转变过程进行视频中暴力事件的检测;
(二)先对特征点的空间关系以及特征点群体的转变情况分别进行分析,再将其进行联合分析;
(三)提出了一种能有效反映动作的强度及稳定性,对杂乱的不规律行为敏感,适用于暴力事件检测的特征描述子HVC。
本发明所描述的算法在UT-Interaction数据集及BEHAVE数据集上进行了测试,结果表明算法的检测效果优于目前现有方法。
附图说明
图1为本发明方法的整体流程框图。
图2为HVC的构建示意图;
其中,vi是兴趣点pi处的光流,s是光流计算时相隔的步长;Frames为视频帧;Gk和Gk+1分别为编号k和k+1的超图。
图3是本发明具体实施中不同行为的HVC描述子可视化示例;
其中,(a)~(d)分别对应打架、跑、同行、站立徘徊行为的HVC描述子。
图4是采用本发明方法进行检测实施的示意图;
其中,(1)为从滑动窗口当前所观测到的视频片段中跟踪得到的一条运动轨迹;在(2)中,上层是H-T Chain的示意图,其中Gi是序列中的第i个超图;下层是HT Chain所对应的HMM模型中的观测序列,o为观测值;上下层之间的箭头表明H-T Chain中各个部分与HMM观测序列中各个观测值的对应关系。
具体实施方式
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
本发明提供一种基于超图转变的视频中暴力事件检测方法,从姿态信息与姿态的转变过程入手进行暴力事件的检测。首先从视频片段中提取出时空兴趣点并对兴趣点进行跟踪。同时,使用前景分割算法或前景检测算法将运动的前景物体从背景中分割出来并将兴趣点与所属的前景块相关联。然后,用超图对每一个前景块中的兴趣点进行建模,并根据兴趣点的跟踪结果估计前景块所对应目标的运动轨迹。对于每一条运动轨迹,使用HVC对超图的转变进行特征表述。最终,为每一条运动轨迹建立一个H-T Chain模型,并使用隐式马尔可夫模型进行暴力检测。本发明方法的整体流程框图如图1所示。本发明基于超图转变的视频中暴力事件检测方法核心是构建超图转变模型,具体实施中,方法包括:前景目标轨迹提取、超图的构建与相似度量、超图转变描述子(HVC)构建。
1)前景目标轨迹提取:
在视频中,尤其是像素较低的监控视频中,相较于目标跟踪,兴趣点的跟踪更为简单鲁棒。本发明通过兴趣点的轨迹估计出前景目标的轨迹。我们通过式1将第t帧的前景块记为St:
St={st,i}(i=1…n) (式1)
其中,n是第t帧分割所得前景块的数量;st,i表示为式2:
st,i={pt,j}(j=1…m) (式2)
其中,pt,j是前景块中的第j个兴趣点。
当前景块与前景块满足式3时,我们认为两个前景块属于同一序列:
其中,m1是中的兴趣点个数,thd是可以调节的概率阈值。当是在下一帧中追踪到的点时,等于1,否则为0。
2)超图的构建与相似度量:
本发明使用超图对前景块中所包含的运动姿态进行建模。对于一个前景块si,我们为其定义超图结构Gi,表示为式4:
Gi=(Vi,Ei,Fi) (式4)
其中,Vi是图中的兴趣点所构成的集合,Ei是图中的超边,每一条边都是由三个点组成的三元组;Fi是点所对应的特征所组成的集合。对于两个超图(如G1和G2),我们定义一个匹配矩阵A来表示他们之间的匹配关系,如式5:
N1与N2分别是两个超图中点的个数。不同块中所含姿态的相似性由最佳匹配下的score值表示,通过式6进行计算:
score(A)=∑i,i′,j,j′,k,k′Hi,i′,j,j′,k,k′Xi,i′Xj,j′Xk,k′ (式6)
其中,Hi,i′,j,j′,k,k′是超边E={i,j,k}与E′={i′,j′,k′}间的相似度量函数,表示为式7。相似性越大,score值越高。
其中,为特征向量,其中aijk定义了三个点的空间关系,如式8:
其中,sin(·)为三角正弦函数,为从点pi指向pj的向量。
3)超图转变描述子Histogram of Velocity Changing(HVC)构建:
图2为HVC的构建示意图,图中vi是兴趣点pi处的光流,s是光流计算时相隔的步长。我们定义从点pi到点pi+s速度变化的强度,表示为式9:
同时通过式10计算轨迹中各点速度的平均幅值:
最终由所有的轨迹得到从Gk到Gk+1的HVC描述子。图3是不同行为的HVC描述子可视化示例,从左到右分别对应打架,跑,同行与站立徘徊。
以下以BEHAVE数据集为例,来说明本发明算法如何在实际中使用。
BEHAVE是一个包含多人互动的室外监控场景下的视频数据集,其中主要包含有聚集,分开,徘徊,同行,追打等行为。我们为每个动作类别训练独自的HMM模型,并在最终的识别结果上做二分类处理。在轨迹提取阶段,我们将thd值设为0.2;采用谱聚类算法对超图进行聚类,聚类中心数量为25,从而构建词典。在HVC的计算中,我们将设置量化级数M=5,I=12,并建立了包含15个词汇的词典。我们使用大小为80帧的窗口,以20帧为步长在视频中滑动。在每一个块轨迹中,以间隔为3帧构建超图,并以9帧为区间,3帧为步长计算HVC。最终用H-T Chain作为块轨迹的特征描述,并将H-T Chain送入HMM模型进行处理,从而对视频中所有的序列进行分析。其检测实施过程如图4所示。其中,(1)中为从滑动窗口当前所观测到的视频片段中跟踪得到的一条运动轨迹。在(2)中,上层是H-T Chain的示意图,其中Gi是序列中的第i个超图;下层是HT Chain所对应的HMM模型中的观测序列,o为观测值。上下层之间的箭头表明的是H-T Chain中各个部分与HMM观测序列中各个观测值的对应关系。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。
Claims (4)
1.一种基于超图转变的视频中暴力事件检测方法,包括前景目标轨迹提取过程、构建超图与相似度量过程和构建超图转变描述子过程,步骤如下:
前景目标轨迹提取过程,包括步骤1)~2):
1)对视频中的时空兴趣点STIP进行提取和跟踪,同时对视频中的运动前景进行检测与分割;
2)将提取得到的兴趣点按兴趣点所属的前景块进行划分,用前景块对可能存在的噪声兴趣点进行过滤,并按照兴趣点跟踪所得到的轨迹估计前景块的运动轨迹;
构建超图与相似度量过程、构建超图转变描述子的过程将每一条前景块轨迹与一组运动序列建立对应关系;对于每一个序列,使用前景块中的动作姿态信息和轨迹中姿态的转变信息对运动序列进行分析;包括步骤3)~4):
3)构建超图与相似性度量,使用超图对每一个前景块中的兴趣点进行建模,以超图构建当前景块中的动作姿态信息;
对一个前景块si定义超图结构Gi,表示为式4:
Gi=(Vi,Ei,Fi) (式4)
其中,Vi是图中的兴趣点所构成的集合,Ei是图中的超边,每一条边都是由三个点组成的三元组;Fi是点所对应的特征所组成的集合;
对于两个超图G1和G2定义一个匹配矩阵A来表示他们之间的匹配关系,如式5:
N1与N2分别是两个超图中点的个数;不同块中所含姿态的相似性由最佳匹配下的score值表示,通过式6进行计算:
score(A)=∑i,i′,j,j′,k,k′Hi,i′,j,j′,k,k′Xi,i′Xj,j′Xk,k′ (式6)
其中,Hi,i′,j,j′,k,k′是超边E={i,j,k}与E′={i′,j′,k′}间的相似度量函数,表示为式7;相似性越大,score值越高;
其中,为特征向量,其中aijk定义了三个点的空间关系,如式8:
其中,sin(·)为三角正弦函数,为从点pi指向pj的向量;
4)构建特征描述子HVC对超图的转变过程进行表述;
将从点pi到点pi+s速度变化的强度表示为式9:
同时通过式10计算轨迹中各点速度的平均幅值:
由所有的轨迹得到从Gk到Gk+1的HVC描述子;
5)将超图与特征描述子HVC按照前景块轨迹顺序组成超图转变链H-T Chain,用于表述整个运动序列;对H-T Chain进行建模,得到暴力行为的模型,从而实现视频中暴力事件的检测。
2.如权利要求1所述视频中暴力事件检测方法,其特征是,步骤5)具体使用隐式马尔科夫模型HMM对H-T Chain进行建模,得到暴力行为的HMM模型。
3.如权利要求1所述视频中暴力事件检测方法,其特征是,前景目标轨迹提取过程中,通过兴趣点的轨迹估计出前景目标的轨迹;具体地,通过式1将第t帧的前景块记为St:
St={st,i}(i=1…n) (式1)
其中,n是第t帧分割所得前景块的数量;st,i表示为式2:
st,i={pt,j}(j=1…m) (式2)
其中,pt,j是前景块中的第j个兴趣点;
当前景块与前景块满足式3时,则两个前景块属于同一序列:
其中,m1是中的兴趣点个数,thd是可调节的概率阈值;当是在下一帧中追踪到的点时,等于1,否则为0。
4.如权利要求3所述视频中暴力事件检测方法,其特征是,thd值设置为0.2。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710618257.7A CN107451553B (zh) | 2017-07-26 | 2017-07-26 | 一种基于超图转变的视频中暴力事件检测方法 |
PCT/CN2018/080770 WO2019019678A1 (zh) | 2017-07-26 | 2018-03-28 | 一种基于超图转变的视频中暴力事件检测方法 |
US16/476,898 US10679067B2 (en) | 2017-07-26 | 2018-03-28 | Method for detecting violent incident in video based on hypergraph transition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710618257.7A CN107451553B (zh) | 2017-07-26 | 2017-07-26 | 一种基于超图转变的视频中暴力事件检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107451553A CN107451553A (zh) | 2017-12-08 |
CN107451553B true CN107451553B (zh) | 2019-08-02 |
Family
ID=60489051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710618257.7A Active CN107451553B (zh) | 2017-07-26 | 2017-07-26 | 一种基于超图转变的视频中暴力事件检测方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10679067B2 (zh) |
CN (1) | CN107451553B (zh) |
WO (1) | WO2019019678A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107451553B (zh) * | 2017-07-26 | 2019-08-02 | 北京大学深圳研究生院 | 一种基于超图转变的视频中暴力事件检测方法 |
US11295455B2 (en) * | 2017-11-16 | 2022-04-05 | Sony Corporation | Information processing apparatus, information processing method, and program |
CN109785214A (zh) * | 2019-03-01 | 2019-05-21 | 宝能汽车有限公司 | 基于车联网的安全报警方法和装置 |
CN110427806A (zh) * | 2019-06-20 | 2019-11-08 | 北京奇艺世纪科技有限公司 | 视频识别方法、装置及计算机可读存储介质 |
CN110472201B (zh) * | 2019-07-26 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 基于区块链的文本相似性检测方法及装置、电子设备 |
US10909317B2 (en) | 2019-07-26 | 2021-02-02 | Advanced New Technologies Co., Ltd. | Blockchain-based text similarity detection method, apparatus and electronic device |
US11354900B1 (en) * | 2019-08-22 | 2022-06-07 | Meta Platforms, Inc. | Classifiers for media content |
US11282509B1 (en) | 2019-08-22 | 2022-03-22 | Facebook, Inc. | Classifiers for media content |
USD988349S1 (en) | 2019-08-22 | 2023-06-06 | Meta Platforms, Inc. | Display screen or portion thereof with a graphical user interface |
CN111967362B (zh) * | 2020-08-09 | 2022-03-15 | 电子科技大学 | 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法 |
CN112102475B (zh) * | 2020-09-04 | 2023-03-07 | 西北工业大学 | 一种基于图像序列轨迹跟踪的空间目标三维稀疏重构方法 |
CN114529849A (zh) * | 2022-01-14 | 2022-05-24 | 清华大学 | 基于姿态时序超图网络的行人重识别方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279737A (zh) * | 2013-05-06 | 2013-09-04 | 上海交通大学 | 一种基于时空兴趣点的打架行为检测方法 |
CN106339716A (zh) * | 2016-08-16 | 2017-01-18 | 浙江工业大学 | 一种基于加权欧氏距离的移动轨迹相似度匹配方法 |
CN106529477A (zh) * | 2016-11-11 | 2017-03-22 | 中山大学 | 基于显著轨迹和时空演化信息的视频人体行为识别方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2467805B1 (en) * | 2009-08-20 | 2020-08-05 | Koninklijke Philips N.V. | Method and system for image analysis |
US8520975B2 (en) * | 2009-10-30 | 2013-08-27 | Adobe Systems Incorporated | Methods and apparatus for chatter reduction in video object segmentation using optical flow assisted gaussholding |
US20120137367A1 (en) * | 2009-11-06 | 2012-05-31 | Cataphora, Inc. | Continuous anomaly detection based on behavior modeling and heterogeneous information analysis |
KR101348904B1 (ko) * | 2012-01-20 | 2014-01-09 | 한국과학기술원 | 고차 상관 클러스터링을 이용한 이미지 분할 방법, 이를 처리하는 시스템 및 기록매체 |
KR20130091596A (ko) * | 2012-02-08 | 2013-08-19 | 한국전자통신연구원 | 비디오 정보를 통한 인간 행동 예측 방법 |
EP2763077B1 (en) * | 2013-01-30 | 2023-11-15 | Nokia Technologies Oy | Method and apparatus for sensor aided extraction of spatio-temporal features |
US9787640B1 (en) * | 2014-02-11 | 2017-10-10 | DataVisor Inc. | Using hypergraphs to determine suspicious user activities |
US9430840B1 (en) * | 2015-07-23 | 2016-08-30 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for segmenting an image based on motion vanishing points |
CN107451553B (zh) * | 2017-07-26 | 2019-08-02 | 北京大学深圳研究生院 | 一种基于超图转变的视频中暴力事件检测方法 |
US10817259B2 (en) * | 2017-07-31 | 2020-10-27 | Allegro Artificial Intelligence Ltd | System and method for causing actions in a dataset management system |
-
2017
- 2017-07-26 CN CN201710618257.7A patent/CN107451553B/zh active Active
-
2018
- 2018-03-28 WO PCT/CN2018/080770 patent/WO2019019678A1/zh active Application Filing
- 2018-03-28 US US16/476,898 patent/US10679067B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279737A (zh) * | 2013-05-06 | 2013-09-04 | 上海交通大学 | 一种基于时空兴趣点的打架行为检测方法 |
CN106339716A (zh) * | 2016-08-16 | 2017-01-18 | 浙江工业大学 | 一种基于加权欧氏距离的移动轨迹相似度匹配方法 |
CN106529477A (zh) * | 2016-11-11 | 2017-03-22 | 中山大学 | 基于显著轨迹和时空演化信息的视频人体行为识别方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019019678A1 (zh) | 2019-01-31 |
US20200117907A1 (en) | 2020-04-16 |
US10679067B2 (en) | 2020-06-09 |
CN107451553A (zh) | 2017-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107451553B (zh) | 一种基于超图转变的视频中暴力事件检测方法 | |
Chen et al. | Localizing visual sounds the hard way | |
CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
CN105095856B (zh) | 基于掩模的有遮挡人脸识别方法 | |
Yang et al. | Spatio-temporal action detection with cascade proposal and location anticipation | |
Avgerinakis et al. | Recognition of activities of daily living for smart home environments | |
CN107491749B (zh) | 一种人群场景中全局和局部异常行为检测方法 | |
CN105513053B (zh) | 一种用于视频分析中背景建模方法 | |
Wang et al. | Improving human action recognition by non-action classification | |
CN111738218B (zh) | 人体异常行为识别系统及方法 | |
CN106228109A (zh) | 一种基于骨骼运动轨迹的动作识别方法 | |
CN113362374A (zh) | 一种基于目标跟踪网络的高空抛物检测方法及系统 | |
WO2013075295A1 (zh) | 低分辨率视频的服装识别方法及系统 | |
Chen et al. | A trajectory-based ball tracking framework with visual enrichment for broadcast baseball videos | |
Chen et al. | Detecting abnormal behaviors in surveillance videos based on fuzzy clustering and multiple auto-encoders | |
CN103699874A (zh) | 基于surf流和lle稀疏表示的人群异常行为识别方法 | |
CN103577804A (zh) | 基于sift流和隐条件随机场的人群异常行为识别方法 | |
Jiang et al. | An Approach for Crowd Density and Crowd Size Estimation. | |
CN104820711A (zh) | 复杂场景下对人形目标的视频检索方法 | |
Vainstein et al. | Modeling video activity with dynamic phrases and its application to action recognition in tennis videos | |
Jin et al. | Cvt-assd: convolutional vision-transformer based attentive single shot multibox detector | |
CN103092925B (zh) | 一种视频摘要生成方法和装置 | |
Jin et al. | Sparse representation and weighted clustering based abnormal behavior detection | |
Luo et al. | Real-time detection algorithm of abnormal behavior in crowds based on Gaussian mixture model | |
CN106875423A (zh) | 一种用于海量视频流中的移动物体检测与跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |