CN104123544A - 基于视频分析的异常行为检测方法及系统 - Google Patents

基于视频分析的异常行为检测方法及系统 Download PDF

Info

Publication number
CN104123544A
CN104123544A CN201410354097.6A CN201410354097A CN104123544A CN 104123544 A CN104123544 A CN 104123544A CN 201410354097 A CN201410354097 A CN 201410354097A CN 104123544 A CN104123544 A CN 104123544A
Authority
CN
China
Prior art keywords
video
moving region
direction histogram
entropy
detection threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410354097.6A
Other languages
English (en)
Other versions
CN104123544B (zh
Inventor
刘玉进
安国成
郭楠
李洪研
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRSC Communication and Information Group Co Ltd CRSCIC
Original Assignee
CRSC Communication and Information Group Co Ltd CRSCIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRSC Communication and Information Group Co Ltd CRSCIC filed Critical CRSC Communication and Information Group Co Ltd CRSCIC
Priority to CN201410354097.6A priority Critical patent/CN104123544B/zh
Publication of CN104123544A publication Critical patent/CN104123544A/zh
Application granted granted Critical
Publication of CN104123544B publication Critical patent/CN104123544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种基于视频分析的异常行为检测方法及系统。其中方法包括以下步骤:从视频帧中提取行人前景图像;对视频帧进行网格划分,划分为多个网格区域,并设定行人前景图像所在的网格区域为运动区域;采用最近邻法对运动区域进行标记,将相邻的视频帧的运动区域进行关联;计算已标记的运动区域内的光流特征;根据光流特征得到加权方向直方图;计算加权方向直方图的熵;采用混合高斯模型选取检测阈值,根据检测阈值和加权方向直方图的熵检测是否有异常行为发生,并更新检测阈值。其能实时自动地检测出视频场景中的异常行为,避免异常行为扰乱公共场所秩序,危害公共安全及人身安全,减少人员工作量,避免因漏检和误检带来的安全隐患。

Description

基于视频分析的异常行为检测方法及系统
技术领域
本发明涉及行为识别领域,特别是涉及一种基于视频分析的异常行为检测方法及系统。
背景技术
目前大多数视频监控系统还处于传统模式,即“只记录不判断”,因此只能通过事后的视频回放来调查异常情况及取证,存在无法实时判断异常行为及报警的缺点,且需要工作人员不间断地监视场景内的活动,日夜值守,工作量繁重,易受人体感官疲劳影响从而出现漏检和误检的情况,失去了监控系统进行现场实时监控的意义。另一方面,随着监控系统规模的扩大,视频数量海量增大,从中获取有用的信息或者情报越来越难,查找效率低,难以满足监控系统的需求。
发明内容
针对传统视频监控系统无法实时判断异常行为及报警的问题,本发明提供了一种可以实时检测出异常行为发生的基于视频分析的异常行为检测方法及系统。
为达到发明目的,本发明提供一种基于视频分析的异常行为检测方法,包括以下步骤:
从视频帧中提取行人前景图像;
对所述视频帧进行网格划分,划分为多个网格区域,并设定所述行人前景图像所在的所述网格区域为运动区域;
采用最近邻法对所述运动区域进行标记,将相邻的所述视频帧的所述运动区域进行关联;
计算已标记的所述运动区域内的光流特征;
根据所述光流特征得到加权方向直方图;
计算所述加权方向直方图的熵;
采用混合高斯模型选取检测阈值,根据所述检测阈值和所述加权方向直方图的熵检测是否有异常行为发生,并更新所述检测阈值。
作为一种可实施例,所述从视频帧中提取行人前景图像,包括如下步骤:
从视频帧中提取运动前景图像;
根据预设滤波阈值将小面积的所述运动前景图像过滤掉,得到行人前景图像。
作为一种可实施例,所述采用最近邻法对所述运动区域进行标记,将相邻的所述视频帧的所述运动区域进行关联,包括如下步骤:
计算所述运动区域的零阶矩和一阶矩;
根据所述零阶矩和所述一阶矩计算得到所述运动区域的区域中心;
根据所述区域中心计算马氏距离;
将相邻的所述视频帧的所述马氏距离最短的所述运动区域进行关联。
作为一种可实施例,所述采用混合高斯模型选取检测阈值,根据所述检测阈值和所述加权方向直方图的熵检测是否有异常行为发生,并更新所述检测阈值,包括以下步骤:
判断所述加权方向直方图的熵是否大于所述检测阈值;
若是,则判断有异常行为发生;
若否,则判断无异常行为发生;
将当前的加权方向直方图的熵作为新的均值,选取新的标准差,得到新的高斯分布;
将所述新的高斯分布替换所述混合高斯模型中权重最小的高斯分布,形成新的混合高斯模型,根据所述新的混合高斯模型得到新的所述检测阈值。
作为一种可实施例,采用L-K光流算法计算所述运动区域内的光流特征。
本发明还提供一种基于视频分析的异常行为检测系统,包括前景提取模块,区域划分模块,区域标记模块,光流特征计算模块,加权方向直方图模块,熵计算模块和阈值选取更新模块,其中:
所述前景提取模块,用于从视频帧中提取行人前景图像;
所述区域划分模块,用于对所述视频帧进行网格划分,划分为多个网格区域,并设定所述行人前景图像所在的所述网格区域为运动区域;
所述区域标记模块,用于采用最近邻法对运动区域进行标记,将相邻的所述视频帧的所述运动区域进行关联;
所述光流特征计算模块,用于计算已标记的所述运动区域内的光流特征;
所述加权方向直方图模块,用于根据所述光流特征得到加权方向直方图;
所述熵计算模块,用于计算所述加权方向直方图的熵;
所述阈值选取更新模块,用于采用混合高斯模型选取检测阈值,根据所述检测阈值和所述加权方向直方图的熵检测是否有异常行为发生,并更新所述检测阈值。
作为一种可实施例,所述前景提取模块包括提取单元和过滤单元,其中:
所述提取单元,用于从视频帧中提取运动前景图像;
所述过滤单元,用于根据预设滤波阈值将小面积的所述运动前景图像过滤掉,得到行人前景图像。
作为一种可实施例,所述区域标记模块包括第一计算单元,第二计算单元,第三计算单元和关联单元,其中:
所述第一计算单元,用于计算所述运动区域的零阶矩和一阶矩;
所述第二计算单元,用于根据所述零阶矩和所述一阶矩计算得到所述运动区域的区域中心;
所述第三计算单元,用于根据所述区域中心计算马氏距离;
所述关联单元,用于将相邻的所述视频帧的所述马氏距离最短的所述运动区域相应的进行关联。
作为一种可实施例,所述阈值选取更新模块包括判断单元,高斯分布单元和更新单元,其中:
所述判断单元,用于判断所述加权方向直方图的熵是否大于所述检测阈值;若是,则判断有异常行为发生;若否,则判断无异常行为发生;
所述高斯分布单元,用于将当前的加权方向直方图的熵作为新的均值,选取新的标准差,得到新的高斯分布;
所述更新单元,用于将所述新的高斯分布替换所述混合高斯模型中权重最小的高斯分布,形成新的混合高斯模型,根据所述新的混合高斯模型得到新的所述检测阈值。
作为一种可实施例,采用L-K光流算法计算所述运动区域内的光流特征。
本发明的有益效果包括:
本发明的基于视频分析的异常行为检测方法及系统,首先从视频帧中提取行人前景图像,采用预设滤波阈值的方法可将小面积的运动前景图像剔除,较完整地提取行人前景图像,接着对视频帧进行网格划分,网格区域划分使检测阈值随着行人前景图像位置的不同自适应调整,相当于对不同位置进行了归一化,达到检测阈值的位置无关性,网格区域划分后,采用最近邻法对运动区域进行标记,区域标记的目的是使相邻视频帧相应的运动区域进行关联,在同一视频帧中区分不同的运动区域以便进一步分析,运动区域标记后计算光流特征,并根据光流特征生成具有光流幅值特征和光流方向特征的加权方向直方图,计算加权方向直方图的熵,熵越大,运动区域内光流特征加权方向越混乱且有多个主要运动趋势(判断为有异常行为发生),采用混合高斯模型选取检测阈值,检测是否有异常行为发生,并形成新的混合高斯模型更新学习检测阈值,实现检测阈值选取的完全自动化。该方法能够实时检测出视频场景中的异常行为,及时报警给相关人员,避免异常行为扰乱公共场所秩序,危害公共安全及人身安全,同时监控系统自动地检测异常行为,减少人员工作量,避免因漏检和误检带来的安全隐患,提高查找有用信息的效率,满足人们对监控系统的需求。
附图说明
图1为本发明的基于视频分析的异常行为检测方法的一实施例的流程示意图;
图2为本发明的基于视频分析的异常行为检测方法的另一实施例的流程示意图;
图3为本发明的基于视频分析的异常行为检测方法的又一实施例的流程示意图;
图4为本发明的基于视频分析的异常行为检测方法的再一实施例的流程示意图;
图5为本发明的基于视频分析的异常行为检测方法的一实施例的的示意图;
图6为本发明的基于视频分析的异常行为检测系统的一实施例的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明基于视频分析的异常行为检测方法及系统进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参见图1所示,本发明实施例提供一种基于视频分析的异常行为检测方法,包括以下步骤:
S100,从视频帧中提取行人前景图像。
S200,对视频帧进行网格划分,划分为多个网格区域,并设定行人前景图像所在的网格区域为运动区域。
S300,采用最近邻法对运动区域进行标记,将相邻的视频帧的运动区域进行关联。
S400,计算已标记的运动区域内的光流特征。
S500,根据光流特征得到加权方向直方图。
S600,计算加权方向直方图的熵。
S700,采用混合高斯模型选取检测阈值,根据检测阈值和加权方向直方图的熵检测是否有异常行为发生,并更新检测阈值。
本发明的基于视频分析的异常行为检测方法,首先从视频帧中提取行人前景图像,该方法主要研究行人行为是否异常,提取行人前景图像后才能进行后续的视频分析,对视频的每个视频帧进行网格划分,划分为多个网格区域,网格区域划分如图5所示,每个网格区域记录的重心落在该网格区域内的行人前景图像的光流特征对应的加权方向直方图的熵上,实现了检测阈值的位置无关性,采用最近邻法对运动区域进行标记(运动区域为行人前景图像所在的网格区域),将相邻的视频帧对应的运动区域进行关联,实现运动区域的跟踪,相邻视频帧的运动区域相关联,根据跟踪的相邻视频帧的运动区域,可计算出运动区域内的光流特征,根据光流特征生成加权方向直方图,光流特征包括幅值特征和方向特征,加权方向直方图是在方向直方图的基础上加入了幅值特征对方向特征的影响,抑制了由噪声造成的小范围的方向混乱,更好地反映了光流特征的分布情况,其中幅值特征大的方向的权重也较大,计算运动区域内加权方向直方图的熵,熵可用来描述运动区域内光流特征加权方向的混乱程度,混乱程度越大,对应运动区域内的熵也越大,最后采用混合高斯模型完全自动的选取检测阈值,根据检测阈值判断行人行为是否异常,并不断学习更新检测阈值。该方法通过对连续的图像序列或视频流进行图像处理和视频分析,从而实现实时检测出视频场景中的异常行为,将异常行为的告警信息传送给相关人员做相应的处理,避免异常行为扰乱公共场所秩序,对公共安全带来挑战;同时该方法能够自动检测异常行为,减少了人员工作量,避免因漏检和误检带来安全隐患,提高查找有用信息的效率,满足人们对监控系统的需求。
其中,值得说明的是,对视频帧进行网格划分,相当于对不同窗口的特征值进行了一定的归一化。由于监控装置(如相机、摄像机等)架设的角度不同(一般为俯视),视频帧的运动对象常常具有投影关系,使得近邻监控装置的运动对象尺度较大,远离监控装置的运动对象显得较小。在计算光流特征时,当运动前景图像靠近监控装置时,产生的光流特征值较大,导致正常行为判断为异常行为。且对于同一视频场景设置一个全局的检测阈值是不合理的,该检测阈值应该随着不同的图像位置自适应的进行调整,视频帧的网格划分实现了检测阈值的位置无关性。
作为一种可实施方式,参见图2所示,步骤S100包括如下步骤:
S110,从视频帧中提取运动前景图像。
S120,根据预设滤波阈值将小面积的运动前景图像过滤掉,得到行人前景图像。
采用VIBE(Visual Background Extractor,像素级视频背景建模或前景检测算法)提取视频帧中的运动前景图像,运动前景图像包括行人前景图像和其他运动的前景图像,采用VIBE算法,计算量非常小且内存占用少。根据监控装置(如相机、摄像机等)的焦距,安装位置以及拍摄角度等因素人工设定预设滤波阈值T,从视频帧中提取的运动前景图像包括N个运动前景块,判断每个运动前景块是否大于等于预设滤波阈值T,若大于等于,就将该运动前景块保留下来,若小于预设滤波阈值T,就将该运动前景块过滤掉,得到只包括行人的行人前景图像。该方法能够将不是行人前景图像的运动前景图像剔除掉,较完整地提取出行人前景图像,避免其他环境因素影响检测效果。
作为一种可实施方式,参见图3所示,步骤S300包括如下步骤:
S310,计算运动区域的零阶矩和一阶矩。
S320,根据零阶矩和一阶矩计算得到运动区域的区域中心。
S330,根据区域中心计算马氏(Mahalanobis,马哈拉诺比斯)距离。
S340,将相邻的视频帧的马氏距离最短的运动区域相应的进行关联。
该方法是采用最近邻法将相邻视频帧的相应的运动区域进行关联,便于后续步骤计算光流特征。其具体的实现步骤如下所述:设运动区域所在的网格区域的四个顶点坐标为(x1,y1),(x1,y2),(x2,y1)和(x2,y2),计算运动区域的零阶矩M00=∑xyI(x,y),计算运动区域的一阶矩M10=∑xyxI(x,y),M01=∑xyyI(x,y),根据零阶矩和一阶矩计算运动区域的区域中心R=(xc,yc),其中xc=M10/M00,yc=M01/M00,假设视频序列的第i个视频帧有P个运动区域,每个运动区域的区域中心Ri p=(xi cp,yi cp),第i-1个视频帧有Q个运动区域,每个运动区域的区域中心为Rq i-1=(xi-1 cq,yi-1 cq),其中c=1,2,…,m,根据最近邻原则可得:其中p=1,2,…,P,q=1,2,…,Q,将第i视频帧的第p个运动区域与它上一视频帧(第i-1视频帧)中马氏距离最短的运动区域相关联,实现运动区域标记,运动区域标记还区分不同的运动区域以便进一步分析。其中马氏距离表示数据的协方差距离,它可以有效计算两个未知样本集的相似度。
作为一种可实施方式,参见图4所示,步骤S700还包括以下步骤:
S710,判断加权方向直方图的熵是否大于检测阈值;若是,则判断有异常行为发生;若否,则判断无异常行为发生。
S720,将当前的加权方向直方图的熵作为新的均值,选取新的标准差,得到新的高斯分布。
S730,将新的高斯分布替换混合高斯模型中权重最小的高斯分布,形成新的混合高斯模型,根据新的混合高斯模型得到新的检测阈值。
混合高斯模型选取当前的检测阈值,根据加权方向直方图的熵和检测阈值的大小判断是否有异常行为的发生,进而实现监控视频自动地检测异常行为,满足人们对监控系统的需求。
设运动区域A的加权方向直方图的模型为H(A)={hj(A)},j=1,2,…s,其中s为加权方向直方图区间的个数,其中,B为运动区域A内光流特征的个数,为第i个光流特征方向的权值,a(Fi)表示光流特征Fi对应加权方向直方图区间,j为方向区间,δ为克罗内克(Kronecker delta)函数,Cnorm为归一化参数,反映了在该光流特征方向上运动趋势的大小,加权方向直方图加入了幅值特征对方向特征的影响,抑制了由噪声造成的小范围的方向混乱,更好地反映的光流特征的分布情况。计算加权方向直方图的熵EH越大表示运动区域内光流特征的方向越混乱且光流特征方向有多个主要运动趋势。混合高斯模型选取检测阈值,判断计算的加权方向直方图的熵是否大于检测阈值(即光流特征的加权方向直方图的熵在混合高斯模型中每个高斯分布的置信区间的区域外),若是则判断出现异常行为,否则判断为正常行为,且混合高斯模型还可以自动更新学习检测阈值,不断地检测视频场景中的异常行为。每次检测完是否有异常行为后,将加权方向直方图的熵作为新的高斯分布的均值,选取混合高斯模型中所有高斯分布的标准差最大的值作为新的高斯分布的标准差,得到新的高斯分布,该高斯分布取代混合高斯模型中权重最小的高斯分布,得到新的混合高斯模型,新的混合高斯模型选取新的检测阈值,从而实现检测阈值选取的完全自动化,并不断的学习更新。
作为一种可实施方式,采用L-K(Lucas-Kanade)光流算法计算运动区域内的光流特征。
光流特征具有很好的时空特征,包含了像素点的瞬时运动速度矢量信息,但存在计算量大,易受环境影响(如光照、微风或抖动都会带来很大的干扰)的缺点,先提取视频帧中行人前景图像,在对行人前景图像所在的运行区域进行标记,只计算已标记的运动区域内的光流特征,可以加快计算光流特征的速度,且去除了环境对光流特征的影响。设m×m特征窗口的光流特征为(u,v),u代表极坐标上光流特征的幅值,v代表极坐标上光流特征的方向,采用L-K(Lucas-Kanade)光流算法计算光流特征,满足光流特征约束条件Ixu+Iyv+It=0,即:
I x 1 I y 1 I x 2 I y 2 . . . . . . I x n I y n u v = - I t 1 I t 2 . . . I t n
其中:n为特征窗口内像素个数(n=m2),Ix,Iy为行人前景图像的空间梯度,It为行人前景图像的时间梯度,通过求解得到光流特征:
u v = Σ I 2 x i Σ I x i I y i Σ I x i Σ I 2 y i - 1 - Σ I x i I t i - Σ I y i I t i
光流特征的计算复杂度为O(ηN/m2),其中η为行人前景图像占整个图像的比率,N为图像像素点的总个数,m2为特征窗口的大小。一般情况下,行人前景图像的运动区域不超当前视频帧面积的40%,大大减少了运算量。
基于同一发明构思,本发明还提供了一种基于视频分析的异常行为检测系统,由于此系统解决问题的原理与前述一种基于视频分析的异常行为检测方法相似,因此该系统的实施可以参见前述方法的实施,重复之处不再赘述。
本发明实施例提供的基于视频分析的异常行为检测系统,参见图6所示,包括前景提取模块100,区域划分模块200,区域标记模块300,光流特征计算模块400,加权方向直方图模块500,熵计算模块600和阈值选取更新模块700。其中:前景提取模块100,用于从视频帧中提取行人前景图像。区域划分模块200,用于对视频帧进行网格划分,划分为多个网格区域,并设定行人前景图像的网格区域为运动区域。区域标记模块300,用于采用最近邻法对运动区域进行标记,将相邻的视频帧的运动区域进行关联。光流特征计算模块400,用于计算已标记的运动区域内的光流特征。加权方向直方图模块500,用于根据光流特征得到加权方向直方图。熵计算模块600,用于计算加权方向直方图的熵。阈值选取更新模块700,用于采用混合高斯模型选取检测阈值,根据检测阈值和加权方向直方图的熵检测是否有异常行为发生,并更新检测阈值。
本发明的基于视频分析的异常行为检测系统,较完整地提取行人前景图像,有效避免其他环境因素影响检测效果,对每个视频帧进行网格划分,使不同的区域对应不同的检测阈值,达到检测阈值的位置无关性,对行人前景图像所在的网各区域进行标记,将相邻视频帧的运动区域关联起来,便于后续进行分析,根据标记的运动区域计算光流特征,并生成光流特征的加权方向直方图,加权方向直方图可有效表示光流特征的幅值特征和方向特征,运动区域内的光流特征的幅度强度大且运动方向不一致时,认为有异常行为发生,计算加权方向直方图的熵,采用混合高斯模型选取检测阈值,并根据检测阈值和加权方向直方图的熵判断是否有异常行为发生,并不断的更新混合高斯模型,从而更新检测阈值,实现检测阈值选取的自动化。该系统实现了实时检测视频场景中异常行为的需求,监控系统自动检测出异常行为,避免了异常行为扰乱公共场所秩序,危害公共安全及人身安全,减少了人员工作量,避免因漏检和误检带来安全隐患,提高查找有用信息的效率,满足人们对监控系统的需求。
作为一种可实施方式,前景提取模块100包括提取单元110和过滤单元120。其中:提取单元110,用于从视频帧中提取运动前景图像。过滤单元120,用于根据预设滤波阈值将小面积的运动前景图像过滤掉,得到行人前景图像。
作为一种可实施方式,区域标记模块300包括第一计算单元310,第二计算单元320,第三计算单330元和关联单元340。其中:第一计算单元310,用于计算运动区域的零阶矩和一阶矩。第二计算单元320,用于根据零阶矩和一阶矩计算得到运动区域的区域中心。第三计算单元330,用于根据区域中心计算马氏距离。关联单元340,用于将相邻的视频帧的马氏距离最短的运动区域进行关联。
作为一种可实施方式,阈值选取更新模块700包括判断单元710,高斯分布单元720和更新单元730。其中:判断单元,用于判断加权方向直方图的熵是否大于检测阈值;若是,则判断有异常行为发生;若否,则判断无异常行为发生。高斯分布单元720,用于将当前的加权方向直方图的熵作为新的均值,选取新的标准差,得到新的高斯分布。更新单元730,用于将新的高斯分布替换混合高斯模型中权重最小的高斯分布,形成新的混合高斯模型,根据新的混合高斯模型得到新的检测阈值。
作为一种可实施方式,采用L-K光流算法计算运动区域内的光流特征。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于视频分析的异常行为检测方法,其特征在于,包括以下步骤:
从视频帧中提取行人前景图像;
对所述视频帧进行网格划分,划分为多个网格区域,并设定所述行人前景图像所在的所述网格区域为运动区域;
采用最近邻法对所述运动区域进行标记,将相邻的所述视频帧的所述运动区域进行关联;
计算已标记的所述运动区域内的光流特征;
根据所述光流特征得到加权方向直方图;
计算所述加权方向直方图的熵;
采用混合高斯模型选取检测阈值,根据所述检测阈值和所述加权方向直方图的熵检测是否有异常行为发生,并更新所述检测阈值。
2.根据权利要求1所述的基于视频分析的异常行为检测方法,其特征在于,所述从视频帧中提取行人前景图像,包括如下步骤:
从视频帧中提取运动前景图像;
根据预设滤波阈值将小面积的所述运动前景图像过滤掉,得到行人前景图像。
3.根据权利要求1所述的基于视频分析的异常行为检测方法,其特征在于,所述采用最近邻法对所述运动区域进行标记,将相邻的所述视频帧的所述运动区域进行关联,包括如下步骤:
计算所述运动区域的零阶矩和一阶矩;
根据所述零阶矩和所述一阶矩计算得到所述运动区域的区域中心;
根据所述区域中心计算马氏距离;
将相邻的所述视频帧的所述马氏距离最短的所述运动区域进行关联。
4.根据权利要求1所述的基于视频分析的异常行为检测方法,其特征在于,所述采用混合高斯模型选取检测阈值,根据所述检测阈值和所述加权方向直方图的熵检测是否有异常行为发生,并更新所述检测阈值,包括以下步骤:
判断所述加权方向直方图的熵是否大于所述检测阈值;
若是,则判断有异常行为发生;
若否,则判断无异常行为发生;
将当前的加权方向直方图的熵作为新的均值,选取新的标准差,得到新的高斯分布;
将所述新的高斯分布替换所述混合高斯模型中权重最小的高斯分布,形成新的混合高斯模型,根据所述新的混合高斯模型得到新的所述检测阈值。
5.根据权利要求1至4任一项所述的基于视频分析的异常行为检测方法,其特征在于,采用L-K光流算法计算所述运动区域内的光流特征。
6.一种基于视频分析的异常行为检测系统,其特征在于,包括前景提取模块,区域划分模块,区域标记模块,光流特征计算模块,加权方向直方图模块,熵计算模块和阈值选取更新模块,其中:
所述前景提取模块,用于从视频帧中提取行人前景图像;
所述区域划分模块,用于对所述视频帧进行网格划分,划分为多个网格区域,并设定所述行人前景图像所在的所述网格区域为运动区域;
所述区域标记模块,用于采用最近邻法对运动区域进行标记,将相邻的所述视频帧的所述运动区域进行关联;
所述光流特征计算模块,用于计算已标记的所述运动区域内的光流特征;
所述加权方向直方图模块,用于根据所述光流特征得到加权方向直方图;
所述熵计算模块,用于计算所述加权方向直方图的熵;
所述阈值选取更新模块,用于采用混合高斯模型选取检测阈值,根据所述检测阈值和所述加权方向直方图的熵检测是否有异常行为发生,并更新所述检测阈值。
7.根据权利要求6所述的基于视频分析的异常行为检测系统,其特征在于,所述前景提取模块包括提取单元和过滤单元,其中:
所述提取单元,用于从视频帧中提取运动前景图像;
所述过滤单元,用于根据预设滤波阈值将小面积的所述运动前景图像过滤掉,得到行人前景图像。
8.根据权利要求6所述的基于视频分析的异常行为检测系统,其特征在于,所述区域标记模块包括第一计算单元,第二计算单元,第三计算单元和关联单元,其中:
所述第一计算单元,用于计算所述运动区域的零阶矩和一阶矩;
所述第二计算单元,用于根据所述零阶矩和所述一阶矩计算得到所述运动区域的区域中心;
所述第三计算单元,用于根据所述区域中心计算马氏距离;
所述关联单元,用于将相邻的所述视频帧的所述马氏距离最短的所述运动区域相应的进行关联。
9.根据权利要求6所述的基于视频分析的异常行为检测系统,其特征在于,所述阈值选取更新模块包括判断单元,高斯分布单元和更新单元,其中:
所述判断单元,用于判断所述加权方向直方图的熵是否大于所述检测阈值;若是,则判断有异常行为发生;若否,则判断无异常行为发生;
所述高斯分布单元,用于将当前的加权方向直方图的熵作为新的均值,选取新的标准差,得到新的高斯分布;
所述更新单元,用于将所述新的高斯分布替换所述混合高斯模型中权重最小的高斯分布,形成新的混合高斯模型,根据所述新的混合高斯模型得到新的所述检测阈值。
10.根据权利要求6至9任一项所述的基于视频分析的异常行为检测系统,其特征在于,采用L-K光流算法计算所述运动区域内的光流特征。
CN201410354097.6A 2014-07-23 2014-07-23 基于视频分析的异常行为检测方法及系统 Active CN104123544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410354097.6A CN104123544B (zh) 2014-07-23 2014-07-23 基于视频分析的异常行为检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410354097.6A CN104123544B (zh) 2014-07-23 2014-07-23 基于视频分析的异常行为检测方法及系统

Publications (2)

Publication Number Publication Date
CN104123544A true CN104123544A (zh) 2014-10-29
CN104123544B CN104123544B (zh) 2018-03-13

Family

ID=51768949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410354097.6A Active CN104123544B (zh) 2014-07-23 2014-07-23 基于视频分析的异常行为检测方法及系统

Country Status (1)

Country Link
CN (1) CN104123544B (zh)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504367A (zh) * 2014-12-01 2015-04-08 中国科学院信息工程研究所 一种基于级联字典的人群异常检测方法及系统
CN104504233A (zh) * 2014-11-14 2015-04-08 北京系统工程研究所 一种基于多维向量熵随机采样的异常识别方法
CN105426813A (zh) * 2015-10-27 2016-03-23 杭州电子科技大学 一种视频异常行为检测方法
CN105426811A (zh) * 2015-09-28 2016-03-23 高新兴科技集团股份有限公司 一种人群异常行为与人群密度识别方法
CN105761261A (zh) * 2016-02-17 2016-07-13 南京工程学院 一种检测摄像头遭人为恶意破坏的方法
CN105913008A (zh) * 2016-04-07 2016-08-31 杭州电子科技大学 基于假设检验的人群异常事件检测方法
CN106022234A (zh) * 2016-05-13 2016-10-12 中国人民解放军国防科学技术大学 基于光流计算的异常拥挤行为检测算法
CN106022229A (zh) * 2016-05-11 2016-10-12 北京航空航天大学 基于视频运动信息特征提取与自适应增强算法的误差反向传播网络的异常行为识别方法
CN106157325A (zh) * 2015-04-07 2016-11-23 中国科学院深圳先进技术研究院 群体异常行为检测方法及系统
CN106157326A (zh) * 2015-04-07 2016-11-23 中国科学院深圳先进技术研究院 群体异常行为检测方法及系统
CN106326840A (zh) * 2016-08-11 2017-01-11 电子科技大学 一种基于光流直方图熵的人群异常行为检测方法
CN106446922A (zh) * 2015-07-31 2017-02-22 中国科学院大学 一种人群异常行为分析方法
CN106447303A (zh) * 2016-10-22 2017-02-22 辽宁科技大学 一种企业员工行为安全观察装置及观察方法
CN107209054A (zh) * 2015-07-07 2017-09-26 三菱电机株式会社 检查方法以及检查装置
CN107392100A (zh) * 2017-06-17 2017-11-24 复旦大学 用于自动探测监控视频中局部异常的检测方法
CN107862704A (zh) * 2017-11-06 2018-03-30 广东工业大学 一种目标跟踪方法、系统及其使用的云台相机
CN107871213A (zh) * 2017-11-27 2018-04-03 上海众人网络安全技术有限公司 一种交易行为评价方法、装置、服务器以及存储介质
CN108010054A (zh) * 2017-11-15 2018-05-08 中国地质大学(武汉) 分段混合高斯模型的视频图像运动目标提取方法及系统
CN108596157A (zh) * 2018-05-14 2018-09-28 三峡大学 一种基于运动检测的人群惊扰场景检测方法及系统
CN108596045A (zh) * 2018-04-02 2018-09-28 四川大学 一种基于空中监控平台的群体异常行为检测方法
CN108805002A (zh) * 2018-04-11 2018-11-13 杭州电子科技大学 基于深度学习和动态聚类的监控视频异常事件检测方法
CN108830882A (zh) * 2018-05-25 2018-11-16 中国科学技术大学 视频异常行为实时检测方法
CN108985183A (zh) * 2018-06-26 2018-12-11 深圳市唯特视科技有限公司 一种基于实时端到端双流网络的行为检测架构
CN109035651A (zh) * 2018-08-16 2018-12-18 孙春兰 一种提高住宅环境的安全性的方法
CN109544592A (zh) * 2018-10-26 2019-03-29 天津理工大学 针对相机移动的运动目标检测算法
CN109857114A (zh) * 2019-02-26 2019-06-07 温州市职业中等专业学校 校园移动智能机器人及校园智能管理系统
CN110084837A (zh) * 2019-05-15 2019-08-02 四川图珈无人机科技有限公司 基于无人机视频的目标检测与跟踪方法
CN110222616A (zh) * 2019-05-28 2019-09-10 浙江大华技术股份有限公司 行人异常行为检测方法、图像处理装置及存储装置
CN110477846A (zh) * 2019-08-23 2019-11-22 西安交通大学医学院第二附属医院 一种消化内镜异常特征实时标记方法及系统
CN110622220A (zh) * 2017-05-05 2019-12-27 福特全球技术公司 自适应诊断参数化
CN110633643A (zh) * 2019-08-15 2019-12-31 青岛文达通科技股份有限公司 一种面向智慧社区的异常行为检测方法及系统
CN111414789A (zh) * 2019-10-20 2020-07-14 上海辰努智能科技有限公司 一种基于视频网格化的人体回头行为的判定方法
CN111461021A (zh) * 2020-04-01 2020-07-28 中国科学院心理研究所 一种基于光流的微表情检测方法
CN112056301A (zh) * 2020-09-15 2020-12-11 河海大学常州校区 一种变电站自主侦测驱鸟系统
CN112308885A (zh) * 2019-07-29 2021-02-02 顺丰科技有限公司 基于光流的暴力抛扔检测方法、装置、设备和存储介质
CN112364680A (zh) * 2020-09-18 2021-02-12 西安工程大学 一种基于光流算法的异常行为检测方法
CN112380905A (zh) * 2020-10-15 2021-02-19 西安工程大学 一种基于监控视频的直方图结合熵的异常行为检测方法
CN113077437A (zh) * 2021-03-31 2021-07-06 上海晨兴希姆通电子科技有限公司 工件质量检测方法及其系统
WO2022142922A1 (zh) * 2020-12-29 2022-07-07 中兴通讯股份有限公司 道路安全评估方法、视频处理中心及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI391876B (zh) * 2009-02-16 2013-04-01 Inst Information Industry 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品
CN102610228B (zh) * 2011-01-19 2014-01-22 上海弘视通信技术有限公司 音频异常事件检测系统及其标定方法
CN102156983B (zh) * 2011-03-31 2013-03-20 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
KR20130012811A (ko) * 2011-07-26 2013-02-05 목포대학교산학협력단 선박용 지능형 영상 감시 방법
CN103693532B (zh) * 2013-12-26 2016-04-27 江南大学 一种电梯轿厢内暴力行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜鉴豪: ""监控视频中的人体异常行为检测研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504233A (zh) * 2014-11-14 2015-04-08 北京系统工程研究所 一种基于多维向量熵随机采样的异常识别方法
CN104504367B (zh) * 2014-12-01 2018-03-30 中国科学院信息工程研究所 一种基于级联字典的人群异常检测方法及系统
CN104504367A (zh) * 2014-12-01 2015-04-08 中国科学院信息工程研究所 一种基于级联字典的人群异常检测方法及系统
CN106157325A (zh) * 2015-04-07 2016-11-23 中国科学院深圳先进技术研究院 群体异常行为检测方法及系统
CN106157326B (zh) * 2015-04-07 2020-10-27 中国科学院深圳先进技术研究院 群体异常行为检测方法及系统
CN106157326A (zh) * 2015-04-07 2016-11-23 中国科学院深圳先进技术研究院 群体异常行为检测方法及系统
CN107209054A (zh) * 2015-07-07 2017-09-26 三菱电机株式会社 检查方法以及检查装置
CN107209054B (zh) * 2015-07-07 2019-07-19 三菱电机株式会社 检查方法以及检查装置
CN106446922B (zh) * 2015-07-31 2019-10-22 中国科学院大学 一种人群异常行为分析方法
CN106446922A (zh) * 2015-07-31 2017-02-22 中国科学院大学 一种人群异常行为分析方法
CN105426811A (zh) * 2015-09-28 2016-03-23 高新兴科技集团股份有限公司 一种人群异常行为与人群密度识别方法
CN105426811B (zh) * 2015-09-28 2019-03-15 高新兴科技集团股份有限公司 一种人群异常行为与人群密度识别方法
CN105426813A (zh) * 2015-10-27 2016-03-23 杭州电子科技大学 一种视频异常行为检测方法
CN105426813B (zh) * 2015-10-27 2018-09-25 杭州电子科技大学 一种视频异常行为检测方法
CN105761261A (zh) * 2016-02-17 2016-07-13 南京工程学院 一种检测摄像头遭人为恶意破坏的方法
CN105761261B (zh) * 2016-02-17 2018-11-16 南京工程学院 一种检测摄像头遭人为恶意破坏的方法
CN105913008A (zh) * 2016-04-07 2016-08-31 杭州电子科技大学 基于假设检验的人群异常事件检测方法
CN105913008B (zh) * 2016-04-07 2019-03-01 杭州电子科技大学 基于假设检验的人群异常事件检测方法
CN106022229A (zh) * 2016-05-11 2016-10-12 北京航空航天大学 基于视频运动信息特征提取与自适应增强算法的误差反向传播网络的异常行为识别方法
CN106022229B (zh) * 2016-05-11 2019-08-27 北京航空航天大学 基于视频运动信息特征提取与自适应增强算法的误差反向传播网络的异常行为识别方法
CN106022234A (zh) * 2016-05-13 2016-10-12 中国人民解放军国防科学技术大学 基于光流计算的异常拥挤行为检测算法
CN106022234B (zh) * 2016-05-13 2021-06-22 中国人民解放军国防科学技术大学 基于光流计算的异常拥挤行为检测算法
CN106326840A (zh) * 2016-08-11 2017-01-11 电子科技大学 一种基于光流直方图熵的人群异常行为检测方法
CN106447303A (zh) * 2016-10-22 2017-02-22 辽宁科技大学 一种企业员工行为安全观察装置及观察方法
CN110622220A (zh) * 2017-05-05 2019-12-27 福特全球技术公司 自适应诊断参数化
CN110622220B (zh) * 2017-05-05 2023-03-10 福特全球技术公司 自适应诊断参数化
CN107392100A (zh) * 2017-06-17 2017-11-24 复旦大学 用于自动探测监控视频中局部异常的检测方法
CN107392100B (zh) * 2017-06-17 2020-07-07 复旦大学 用于自动探测监控视频中局部异常的检测方法
CN107862704A (zh) * 2017-11-06 2018-03-30 广东工业大学 一种目标跟踪方法、系统及其使用的云台相机
CN107862704B (zh) * 2017-11-06 2021-05-11 广东工业大学 一种目标跟踪方法、系统及其使用的云台相机
CN108010054A (zh) * 2017-11-15 2018-05-08 中国地质大学(武汉) 分段混合高斯模型的视频图像运动目标提取方法及系统
CN108010054B (zh) * 2017-11-15 2020-11-27 中国地质大学(武汉) 分段混合高斯模型的视频图像运动目标提取方法及系统
CN107871213A (zh) * 2017-11-27 2018-04-03 上海众人网络安全技术有限公司 一种交易行为评价方法、装置、服务器以及存储介质
CN107871213B (zh) * 2017-11-27 2021-11-12 上海众人网络安全技术有限公司 一种交易行为评价方法、装置、服务器以及存储介质
CN108596045A (zh) * 2018-04-02 2018-09-28 四川大学 一种基于空中监控平台的群体异常行为检测方法
CN108596045B (zh) * 2018-04-02 2021-08-20 四川大学 一种基于空中监控平台的群体异常行为检测方法
CN108805002A (zh) * 2018-04-11 2018-11-13 杭州电子科技大学 基于深度学习和动态聚类的监控视频异常事件检测方法
CN108805002B (zh) * 2018-04-11 2022-03-01 杭州电子科技大学 基于深度学习和动态聚类的监控视频异常事件检测方法
CN108596157B (zh) * 2018-05-14 2020-08-07 三峡大学 一种基于运动检测的人群惊扰场景检测方法及系统
CN108596157A (zh) * 2018-05-14 2018-09-28 三峡大学 一种基于运动检测的人群惊扰场景检测方法及系统
CN108830882B (zh) * 2018-05-25 2022-05-17 中国科学技术大学 视频异常行为实时检测方法
CN108830882A (zh) * 2018-05-25 2018-11-16 中国科学技术大学 视频异常行为实时检测方法
CN108985183A (zh) * 2018-06-26 2018-12-11 深圳市唯特视科技有限公司 一种基于实时端到端双流网络的行为检测架构
CN109035651A (zh) * 2018-08-16 2018-12-18 孙春兰 一种提高住宅环境的安全性的方法
CN109544592B (zh) * 2018-10-26 2023-01-17 天津理工大学 针对相机移动的运动目标检测算法
CN109544592A (zh) * 2018-10-26 2019-03-29 天津理工大学 针对相机移动的运动目标检测算法
CN109857114A (zh) * 2019-02-26 2019-06-07 温州市职业中等专业学校 校园移动智能机器人及校园智能管理系统
CN110084837B (zh) * 2019-05-15 2022-11-04 四川图珈无人机科技有限公司 基于无人机视频的目标检测与跟踪方法
CN110084837A (zh) * 2019-05-15 2019-08-02 四川图珈无人机科技有限公司 基于无人机视频的目标检测与跟踪方法
CN110222616B (zh) * 2019-05-28 2021-08-31 浙江大华技术股份有限公司 行人异常行为检测方法、图像处理装置及存储装置
CN110222616A (zh) * 2019-05-28 2019-09-10 浙江大华技术股份有限公司 行人异常行为检测方法、图像处理装置及存储装置
CN112308885A (zh) * 2019-07-29 2021-02-02 顺丰科技有限公司 基于光流的暴力抛扔检测方法、装置、设备和存储介质
CN110633643A (zh) * 2019-08-15 2019-12-31 青岛文达通科技股份有限公司 一种面向智慧社区的异常行为检测方法及系统
CN110477846A (zh) * 2019-08-23 2019-11-22 西安交通大学医学院第二附属医院 一种消化内镜异常特征实时标记方法及系统
CN111414789A (zh) * 2019-10-20 2020-07-14 上海辰努智能科技有限公司 一种基于视频网格化的人体回头行为的判定方法
CN111461021A (zh) * 2020-04-01 2020-07-28 中国科学院心理研究所 一种基于光流的微表情检测方法
CN112056301A (zh) * 2020-09-15 2020-12-11 河海大学常州校区 一种变电站自主侦测驱鸟系统
CN112364680A (zh) * 2020-09-18 2021-02-12 西安工程大学 一种基于光流算法的异常行为检测方法
CN112364680B (zh) * 2020-09-18 2024-03-05 西安工程大学 一种基于光流算法的异常行为检测方法
CN112380905A (zh) * 2020-10-15 2021-02-19 西安工程大学 一种基于监控视频的直方图结合熵的异常行为检测方法
CN112380905B (zh) * 2020-10-15 2024-03-08 西安工程大学 一种基于监控视频的直方图结合熵的异常行为检测方法
WO2022142922A1 (zh) * 2020-12-29 2022-07-07 中兴通讯股份有限公司 道路安全评估方法、视频处理中心及存储介质
CN113077437A (zh) * 2021-03-31 2021-07-06 上海晨兴希姆通电子科技有限公司 工件质量检测方法及其系统
CN113077437B (zh) * 2021-03-31 2023-07-25 上海晨兴希姆通电子科技有限公司 工件质量检测方法及其系统

Also Published As

Publication number Publication date
CN104123544B (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
CN104123544A (zh) 基于视频分析的异常行为检测方法及系统
CN101751677B (zh) 基于多摄像机的目标连续跟踪方法
CN105744232B (zh) 一种基于行为分析技术的输电线路视频防外破的方法
Pavlidis et al. Urban surveillance systems: from the laboratory to the commercial world
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN105745687B (zh) 情景感知移动目标检测
CN107705574A (zh) 一种精准快速的道路违章停车全自动抓拍系统
CN103605971B (zh) 一种捕获人脸图像的方法及装置
CN105426820A (zh) 基于安防监控视频数据的多人异常行为检测方法
WO2022078182A1 (zh) 抛出位置获取方法、装置、计算机设备及存储介质
CN101635835A (zh) 智能视频监控方法及系统
CN105141885A (zh) 进行视频监控的方法及装置
CN102930248A (zh) 基于机器学习的人群异常行为检测方法
CN103280052B (zh) 应用于长距离轨道线路智能视频监控的入侵检测方法
CN106355162A (zh) 一种基于视频监控的入侵检测方法
CN104200466A (zh) 一种预警方法及摄像机
Karpagavalli et al. Estimating the density of the people and counting the number of people in a crowd environment for human safety
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
CN109948455A (zh) 一种遗留物体检测方法及装置
CN104159088A (zh) 一种远程智能车辆监控系统及方法
CN103049748B (zh) 行为监测方法及装置
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
Lalonde et al. A system to automatically track humans and vehicles with a PTZ camera
Wang et al. Traffic camera anomaly detection
CN109977796A (zh) 尾随通行检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Liu Yujin

Inventor after: Luo Jing

Inventor after: An Guocheng

Inventor after: Guo Nan

Inventor after: Li Hongyan

Inventor before: Liu Yujin

Inventor before: An Guocheng

Inventor before: Guo Nan

Inventor before: Li Hongyan

CB03 Change of inventor or designer information