CN103198296A - 一种基于贝叶斯惊奇度计算的视频异常行为检测方法及装置 - Google Patents

Abstract

本发明提出了一种基于贝叶斯惊奇度计算的视频异常行为检测方法及装置，该方法包括：提取视频帧中的时空兴趣点(STIP)作为待检测点，采用光流法估计场景中待检测点的运动速度大小和方向作为特征计算惊奇：针对视频在空间维度和时间维度上计算先验和后验概率分布，分别计算每个待检测点的空间惊奇度以及时间惊奇度；再通过时间惊奇度与空间惊奇度合成总惊奇度；当出现多个待监测点惊奇值超过阈值的情况下，则警告出现异常。该装置包括时空兴趣点检测模块、特征提取模块和惊奇计算模块和异常检测模块。根据本发明提供的方法及装置，可以实现对特定几类的突发异常事件的检测，其异常分析算法具有很好的适用性，并且具有很高的分类正确率。

Description

一种基于贝叶斯惊奇度计算的视频异常行为检测方法及装置

技术领域

本发明涉及视频异常分析检测领域，具体而言，本发明涉及一种基于贝叶斯惊奇度计算的视频异常行为检测方法及装置。

背景技术

随着信息技术的发展，近几年由于公共安全的需要，智能监控方面的需求迅速增加。现有的监控需依靠专人值守，传统监控系统无法在事发时预警。后期在大量的视频资料中甄选可以用于证据的工作也是极其耗时的。这无法满足公安，银行，交通等安全敏感的部门对视频监控提出的安防要求。

异常行为辨识是智能监控系统的主要任务。智能监控系统的主要要求是实时性和鲁棒性。目前的研究还主要集中在有限类别简单规则的行为识别或者特定场景中的异常行为检测上。

异常行为的检测有两种常用的方法，一种是先给出异常行为的定义，建立异常行为数据库，检测时进行模板匹配，如场景中出现与数据库中匹配的类似行为，则检测出异常，这类方法主要用来分析单人行为，并且需要大量的先验知识来构建模型，而构建出来的模型在场景适应性和实时性上都存在缺陷。另一种方法是先定义正常行为，检测时将场景中的行为与数据库中的正常行为做似然度计算，如似然度偏离超过门限，则判断为异常。这两种方法虽然能够在固定的场景下建立准确的行为模型，但是需要手工标记大量的行为序列以获取足够的训练样本，这会造成大量人力资源的浪费。

基于无（半）监督的建模方法能够自动地（半自动地）建立行为模型，可以减轻人的负担，同时增强算法的实用性。基于低层特征的方法获取特征简单，该类方法不需跟踪目标，比基于目标跟踪的方法更具有鲁棒性，而且全自动操作，计算速度较快，在一般场景中可以保证实时，这种描述行为的算法一直以来都是行为描述的一个重要方向。

视觉注意机制模拟的是人眼的生理视觉感知，在视频监控中可以应用这种类生物学（Biologically-Plausible）的方法估计出视频中的异常区域，视觉注意机制的视觉惊奇(Surprise)计算，与其他机器视觉方法的区别在于在这个工作中完全不需要针对特殊种类的目标和背景调整算法，使用一个简单但相当全面的贝叶斯惊奇的数学定义，我们能在复杂视频中（比如变化较多的户外场景，公园，拥挤的街道，露天的天台酒吧等）可靠的预测出观测者会注意的区域。但处理不同的场景，不必再训练或者做算法上调整。

早期的显著图模型研究侧重考虑空间信息，而忽略时间信息。一般的，将机器学习系统训练时没有学习的未知新数据的识别称为新颖(novel)检测。新颖检测是在训练阶段，机器学习正常数据，然后使用先前未知的知识，分类机把正常模式和新颖模式区别开来。

惊奇(Surprise)，顾名思义就是发生了某种超出人们预料之外的事件。贝叶斯惊奇计算优于直接测量图像的局部熵与基于生物学的启发式“自底向上”的显著图模型。总的来说，先验知识与后验知识的微小差别产生较小的惊奇程度，而两者剧烈的改变导致较大的惊奇程度，从数学上来说，一个事件当先验概率分布与后验概率分布之间的KL距离很大的时候发生惊奇。

本发明将视觉注意模型中的惊奇计算应用到视频监控领域，类生物学惊奇计算的理论框架是已被证明了的视觉注意模型。本发明在贝叶斯惊奇框架的基础上，提出处理视频数据的分析方法，使用时空惊奇计算模型检测场景中检测点特征的异常改变。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别对实现特定几类的突发异常事件，提出一种基于贝叶斯惊奇模型的异常分析方法及装置。

为实现上述目的，本发明一方面提出了一种基于贝叶斯惊奇度计算的视频异常行为检测方法，其特征在于，包括如下步骤：

采用贝叶斯惊奇理论检测视频中的异常：异常在空间上的显著性邻域特征的先验分布与中心特征的后验分布的较大改变，在时间上的突发性导致历史帧中特征的先验分布与当前帧中特征的后验分布有较大的改变；

在视频中先检测出多个时空兴趣点(STIP)，使用光流估计法提取时空兴趣点的邻域及历史帧中对应位置的运动特征值，该运动特征值包括速度的幅度和方向；

利用参数估计方法计算时间上的先验分布和后验分布，空间上的先验分布和后验分布；已知时间、空间上的先验，后验分布，计算时间维度的KL距离，空间惊奇度，再合成总时空惊奇度；

统计在视频中超过惊奇阈值的兴趣点个数超过一定数量，则当前帧为警告帧，当视频中兴趣点的总时空惊奇度超过预先设定的阈值时，在视频帧中标记出异常区域。

其中，所述惊奇度采用先验分布与后验分布的差别来度量，当它们距离很大时说明导致的惊奇程度大，这里采用一种基于概率的距离度量方法——KL距离；

已知模型中的先验概率P（M），和获得的新数据D，计算得到惊奇度，即先验，后验分布的KL距离；

S(D,M)＝d_KL[P(M|D),P(M)]

在这里采用Gamma/Poisson分布，即先验概率分布为Gamma分布，总体服从Poisson分布，因为该分布更新超参数的方法相对简单，并给出了事件发生的自然概率；

定义Gamma分布如下：

$P\left(M\left(\mathrm{\λ}\right)\right)=\mathrm{\γ}(\mathrm{\λ};\mathrm{\α},\mathrm{\β})={\mathrm{\λ}}^{\mathrm{\α}-1}\frac{{\mathrm{\β}}^{\mathrm{\α}}{e}^{-\mathrm{\β\λ}}}{\mathrm{\Γ}\left(\mathrm{\α}\right)},,\mathrm{\λ}>0---\left(1\right)$

假如已知Gamma先验分布，γ(λ;α,β)，则后验分布可表示为γ(λ';α',β')，带入计算KL距离：

$\mathrm{KL}(\mathrm{\γ}(\mathrm{\λ};\mathrm{\α},\mathrm{\β}),\mathrm{\γ}({\mathrm{\λ}}^{\′};{\mathrm{\α}}^{\′},{\mathrm{\β}}^{\′}))={\mathrm{\α}}^{\′}\log \frac{\mathrm{\β}}{{\mathrm{\β}}^{\′}}+\log \frac{\mathrm{\Γ}\left({\mathrm{\α}}^{\′}\right)}{\mathrm{\Γ}\left(\mathrm{\α}\right)}+{\mathrm{\β}}^{\′}\frac{\mathrm{\α}}{\mathrm{\β}}+(\mathrm{\α}-{\mathrm{\α}}^{\′})\mathrm{\ψ}\left(\mathrm{\α}\right)---\left(2\right)$

其中Γ是Gamma函数，ψ是digamma函数。

其中，先检测视频中的时空兴趣点（STIP）作为候选检测点进行特征提取计算光流；

对于空间维度惊奇值的计算，采用某一个兴趣点的特征参与计算后验概率分布，而它0°-45°-135°邻域点的特征参与计算先验概率分布；对邻域特征使用高斯核权重，离中心兴趣点远的权重小，离中心兴趣点近的权重大，先验概率分布的超参数记为α_p,β_p；后验概率的超参数为α'_p,β'_p；按照(3)式进行超参数的更新；d为当前帧内的待检测位置点的特征值，ζ为衰减因子；进行KL距离的计算从而得到空间惊奇度；Gamma分布中的α参数估计使用Robbins-Monro算法，β参数估计使用最大似然估计法；

${\mathrm{\α}}^{\′}=\mathrm{\α}\·\mathrm{\ζ}+\frac{d}{\mathrm{\β}}$   β′=β·ζ+1       (3)

对于时间维度惊奇值的计算，采用某一个兴趣点前面N-1帧对应位置的特征参与先验概率分布的计算，计算出先验概率分布的超参数α_t,β_p与，而第N帧对应位置的特征参与后验概率分布的计算，得到后验概率分布的超参数α_t',β_p'，之后求得KL距离，计算出时间惊奇值；Gamma分布中的α参数估计使用Robbins-Monro算法，β参数估计使用最大似然估计法；同理直接使用(3)式更新迭代，d为当前帧内检测点上提取出的特征值，ζ为衰减因子；

当知道时间惊奇值与空间惊奇值的时候，得到总时空惊奇值：

S_T和S_S分别对应时间惊奇度和空间惊奇度。

其中，当视频中多个兴趣点的特征分布发生了变化，同时发生变化较大的兴趣点个数较多的情况下，认为发生了异常事件，进行报警；统计每一帧中特征值随时间的变化情况；

T1为特征值的时间空间先验分布和后验分布变化产生惊奇度的门限，N统计的是视频中超过惊奇度阈值的检测点个数，累计的检测点个数超过足以生成报警的门限T2，则当前帧报警，判别准则：

如果监测点的惊奇值(Surprise Value)超过阈值T1，并且每一帧中超过惊奇阈值T1的监测点总数N大于阈值T2，则发出警告帧；

否则，继续检测。

其中，如果前Y帧中有K帧为警告帧，则向用户生成一个‘报警信号’；在某些监控场合中，特征值可能变化的非常缓慢，然而随时间的积累，这种改变才逐渐显现，如特征值经过400帧变化了仅20，是一种极其缓慢的变化，该序列如果采用较低阈值进行检测，则无法检测出这种缓变，造成漏报。

其中，预设值一般与异常事件的期望持续时长相关，异常事件持续时间越长，N设置小于Y，以获得对遮挡和噪声干扰等问题的鲁棒性。

本发明另一方面还提出了一种基于贝叶斯惊奇度计算的视频异常行为检测装置，包括时空兴趣点检测模块、特征提取模块和惊奇计算模块和异常检测模块；

所述时空兴趣点检测模块，用于采用贝叶斯惊奇理论检测视频中的异常：异常在空间上的显著性邻域特征的先验分布与中心特征的后验分布的较大改变，在时间上的突发性导致历史帧中特征的先验分布与当前帧中特征的后验分布有较大的改变；在视频中先检测出多个时空兴趣点(STIP)，

所述特征提取模块，用于使用光流估计法提取时空兴趣点的邻域及历史帧中对应位置的运动特征值，该运动特征值包括速度的幅度和方向；

所述惊奇计算模块，用于利用参数估计方法计算时间上的先验分布和后验分布，空间上的先验分布和后验分布；已知时间、空间上的先验，后验分布，计算时间维度的KL距离，空间惊奇度，再合成总时空惊奇度；

所述异常检测模块，用于统计在视频中超过惊奇阈值的兴趣点个数超过一定数量，则当前帧为警告帧，当视频中兴趣点的总时空惊奇度超过预先设定的阈值时，在视频帧中标记出异常区域。

其中，所述特征提取模块中用于使用光流估计法，邻域范围选择为0°-45°-135°。

本发明的原理在于：

采用贝叶斯惊奇计算理论检测视频中的异常：导致惊奇程度小的数据先验与后验认识分布的微小差别，而惊奇程度大的数据导致先验与后验认识分布的很大改变；

在视频中分布设置许多监测点，计算每一帧中每一个监测点的光流特征；

利用光流数据估计出时间上的先验分布和后验分布，估计出空间上的先验分布和后验分布；

提取已知时间，空间上的先验、后验分布，带入KL距离计算公式得到时间惊奇度，空间惊奇度，再合成总惊奇度；

当场景中整体特征发生变化，同时出现数量较多的惊奇监测点的情况下，认为发生了异常。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

根据本发明实施例提供的方法及装置，基于贝叶斯惊奇计算模型的视频异常事件检测方法，可以实现对特定几类的突发异常事件的检测，其异常分析算法具有很好的适用性，并且具有很高的分类正确率，经过实验，AUC值(ROC曲线下的面积)可以达到0.95以上。

本发明提出的上述方案，对现有系统的改动很小，不会影响系统的兼容性，而且实现简单、高效。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的视频异常事件检测流程框图；

图2为根据本发明实施例的算法总体框图；

图3为根据本发明实施例的时空兴趣点检测示意图；

图4为根据本发明实施例的0°-45°-135°邻域结构示意图；

图5为根据本发明实施例的一维贝叶斯惊奇计算的示意图，其中，计算惊奇值的遗忘因子ζ=0.7，更新时β=1；

图6为根据本发明实施例的检测出个体异常行为实例一；图6(a)向场景左侧奔跑的人，(b)在行走人群中奔跑的人，(c)场景中带飞盘奔跑的儿童；

图7为根据本发明实施例的检测出个体异常行为实例二；图7（a）地铁出口逆行而下的乘客，(b)地铁入口逆行而上的乘客；

图8为根据本发明实施例的检测出个体异常行为实例三；

图9为根据本发明实施例的视频异常分析装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

为了实现本发明之目的，本发明公开了一种基于贝叶斯惊奇计算的视频异常事件检测方法，结合图1所示，该方法包括如下步骤：

S101：本实施例总体算法流程结合图2所示，在视频中先检测时空兴趣点(STIP)，结合图3所示，记录下每个兴趣点在当前帧中的坐标，使用光流估计法对这些位置计算运动特征（速度大小和方向）。光流法采用Horn-Schunck算法。速度以虚数的形式表示，实部为X轴方向的速度分量，虚部为Y轴方向的速度分量。如(x,y,t)，表示指定坐标在t点的瞬时速度。设I(x,y,t)为t时刻(x,y)点的强度，在很短的时间Δt内，x,y分别增加Δx,Δy，可得：

$I(x+\mathrm{\Δx},y+\mathrm{\Δy},t+\mathrm{\Δt})-I(x,y,t)+\frac{\∂I}{\∂x}\mathrm{\Δx}+\frac{\∂I}{\∂y}\mathrm{\Δy}+\frac{\∂I}{\∂t}\mathrm{\Δt}$

同时，考虑到两帧相邻图像的位移足够短，因此：

I(x,y,t)=I(x+Δx,y+Δy,t+Δt)

因此 $\frac{\∂I}{\∂x}\mathrm{\Δx}+\frac{\∂I}{\∂y}\mathrm{\Δy}+\frac{\∂I}{\∂t}\mathrm{\Δt}=0$

$\frac{\∂I}{\∂x}\frac{\mathrm{\Δx}}{\mathrm{\Δt}}+\frac{\∂I}{\∂y}\frac{\mathrm{\Δy}}{\mathrm{\Δt}}+\frac{\∂I}{\∂t}\frac{\mathrm{\Δt}}{\mathrm{\Δt}}=0$

最终可得出结论：

$\frac{\∂I}{\∂x}{V}_x+\frac{\∂I}{\∂y}{V}_y+\frac{\∂I}{\∂t}=0$

这里的V_x,V_y是x和y的速率，或称为I(x,y,t)的光流。

和

是图像(x,y,t)在t时刻特定方向的偏导数。I_x，I_y和I_t的关系可用下式表述：I_xV_x+I_yV_y=-I_t或 $\▿I^T\·\stackrel{\→}{V}=-I_t.$

S102：估计每个兴趣点时间维度的先验概率分布与后验概率分布的超参数。

(1)为了便于进行迭代计算及降低计算复杂度，本实施例假设先验分布与后验分布属于共轭分布（Gamma分布），先验分布中所含的未知参数称为超参数。如，成功概率的共轭分布是贝塔分布Be(α,β)，它含有2个超参数，正态均值的共轭先验分布是正态分布N(μ,σ²)，它也含有2个超参数。本实施例先验分布是Gamma分布，概率密度函数γ(λ;α,β)，则后验分布Gamma概率密度函数为γ(λ;α',β')，有2个超参数α,β。参数α称为形状参数（shape parameter），β称为尺度参数(scale parameter)。

令X~Γ(α,β)；且令

（即

）

$f\left(X\right)=\frac{X^{(\mathrm{\α}-1)}{\mathrm{\λ}}^{\mathrm{\α}}{e}^{(-\mathrm{\λX})}}{\mathrm{\Γ}\left(\mathrm{\α}\right)},X>0$

先验分布根据历史前N帧对应位置的特征值，估计出先验概率分布的超参数α,β，用当前帧对应位置的特征值作为新数据d，按下式更新得到2个超参数α',β'，作为后验概率分布的表达，其中ζ为衰减因子。Gamma分布中的α参数估计使用Robbins-Monro算法，β参数估计使用最大似然估计法。在计算起始阶段设置α,β初值为1。按(5)式计算出时间惊奇度。

${\mathrm{\α}}^{\′}=\mathrm{\α}\·\mathrm{\ζ}+\frac{d}{\mathrm{\β}},{\mathrm{\β}}^{\′}=\mathrm{\β}\·\mathrm{\ζ}+1---\left(6\right)$

(2)在空间维度上，先验分布根据当前帧内0°-45°-135°邻域结构的对应位置的特征值，结合图4所示，用高斯核(Gauss Kernel)作为权重系数，离中心点远的权重小，离中心点近的权重大，加权后估计出先验概率分布的超参数α,β,用当前帧内对应位置的中心点特征值作为新数据d，按(6)式更新得到2个超参数α',β'，作为后验概率分布的表达，其中ζ为衰减因子。Gamma分布中的α参数估计使用Robbins-Monro算法，β参数估计使用最大似然估计法。一维信号计算惊奇值示例如图5所示。

S103：计算先验分布与后验分布的KL距离，计算每一帧中兴趣点的空间惊奇度和时间惊奇度，合成总时空惊奇度。

(1)在时间维度上：已知先验概率分布与后验概率分布服从同一种分布，即Gamma分布，定义Gamma分布如下：

$P\left(M\left(\mathrm{\λ}\right)\right)=\mathrm{\γ}(\mathrm{\λ};\mathrm{\α},\mathrm{\β})={\mathrm{\λ}}^{\mathrm{\α}-1}\frac{{\mathrm{\β}}^{\mathrm{\α}}{e}^{-\mathrm{\β\λ}}}{\mathrm{\Γ}\left(\mathrm{\α}\right)},\mathrm{\λ}>0---\left(4\right)$

先验概率分布可表示为γ(λ;α,β)，后验概率分布可表示为γ(λ;α',β')，则惊奇值可数学上计算按两者的KL距离计算，从而写作：

$\mathrm{KL}(\mathrm{\γ}(\mathrm{\λ};\mathrm{\α},\mathrm{\β}),\mathrm{\γ}({\mathrm{\λ}}^{\′};{\mathrm{\α}}^{\′},{\mathrm{\β}}^{\′}))={\mathrm{\α}}^{\′}\log \frac{\mathrm{\β}}{{\mathrm{\β}}^{\′}}+\log \frac{\mathrm{\Γ}\left({\mathrm{\α}}^{\′}\right)}{\mathrm{\Γ}\left(\mathrm{\α}\right)}+{\mathrm{\β}}^{\′}\frac{\mathrm{\α}}{\mathrm{\β}}+(\mathrm{\α}-{\mathrm{\α}}^{\′})\mathrm{\ψ}\left(\mathrm{\α}\right)---\left(5\right)$

其中Γ是Gamma函数，ψ是Digamma函数。

(2)在空间维度上，与时间惊奇计算类似。先验分布根据当前帧内邻域结构的对应位置的特征值，用高斯核(Gauss Kernel)作为权重系数，加权后估计出先验概率分布的超参数α,β,用当前帧内对应位置的中心点特征值作为新数据d，按(6)式更新得到2个超参数α',β'，作为后验概率分布的表达，按(5)式计算出空间惊奇度。

(3)当知道时间惊奇值与空间惊奇值的时候，结合时间惊奇度和空间惊奇度，最终合成总时空惊奇度；

S_T和S_S分别对应时间惊奇度和空间惊奇度。

S104:当视频中兴趣点的总时空惊奇度超过预先设定的阈值时，定义该点为异常点，每一帧中的异常点超过预设数目，则该帧为警告帧，连续N帧中如有K帧为警告帧，则检测出视频中存在异常，输出一个报警信号。

当视频中多个兴趣点的特征分布发生了变化，同时发生变化较大的兴趣点个数较多（设定阈值T2）的情况下，认为发生了异常事件，进行报警。统计每一帧中特征值随时间的变化情况。

T1为特征值的时间空间先验分布和后验分布变化产生惊奇度的门限，N统计的是视频中超过惊奇度阈值的检测点个数，累计的检测点个数超过足以生成报警的门限T2，则当前帧报警。判别准则：

If(Surprise Value>T1and N>T2)警告帧；

Else继续检测；

如果前Y帧中有K帧为警告帧，则向用户生成一个‘报警信号’。在某些监控场合中，特征值可能变化的非常缓慢，然而随时间的积累，这种改变才逐渐显现，例如特征值经过400帧变化了仅20，是一种极其缓慢的变化，该序列如果采用较低阈值进行检测，则无法检测出这种缓变，造成漏报。

预设值一般与异常事件的期望持续时长相关，异常事件持续时间越长，N设置小于Y，以获得对遮挡和噪声干扰等问题的鲁棒性。

本发明实施例还提出了一种视频异常分析装置，结合图9所示，该装置100包括时空兴趣点检测模块110、特征提取模块120和惊奇计算模块130和异常检测模块140。

其中，时空兴趣点检测模块110，用于使异常检测的范围缩小，提高检测效率，无需对整个场景中的像素做光流估计，或是分块做运动估计，只对这些感兴趣点判断是否异常点。使用Ivan Laptev的STIP(Space Time Interest Points)matlab toolkit--stip-1.1-winlinux.

特征提取模块120，用于使用光流估计法提取时空兴趣点的邻域(0°-45°-135°范围)及历史帧中对应位置的运动特征值（速度大小和方向）。

具体的说，光流法采用Horn-Schunck算法。速度以虚数的形式表示，实部为X轴方向的速度分量，虚部为Y轴方向的速度分量。如(x,y,t)，表示指定坐标在t点的瞬时速度。设I(x,y,t)为t时刻(x,y)点的强度，在很短的时间Δt内，x,y分别增加Δx,Δy，可得：

$I(x+\mathrm{\Δx},y+\mathrm{\Δy},t+\mathrm{\Δt})=I(x,y,t)+\frac{\∂I}{\∂x}\mathrm{\Δx}+\frac{\∂I}{\∂y}\mathrm{\Δy}+\frac{\∂I}{\∂t}\mathrm{\Δt}$

同时，考虑到两帧相邻图像的位移足够短，因此：

I(x,y,t)=I(x+Δx,y+Δy,t+Δt)

因此 $\frac{\∂I}{\∂x}\mathrm{\Δx}+\frac{\∂I}{\∂y}\mathrm{\Δy}+\frac{\∂I}{\∂t}\mathrm{\Δt}=0$

$\frac{\∂I}{\∂x}\frac{\mathrm{\Δx}}{\mathrm{\Δt}}+\frac{\∂I}{\∂y}\frac{\mathrm{\Δy}}{\mathrm{\Δt}}+\frac{\∂I}{\∂t}\frac{\mathrm{\Δt}}{\mathrm{\Δt}}=0$

最终可得出结论：

$\frac{\∂I}{\∂x}{V}_x+\frac{\∂I}{\∂y}{V}_y+\frac{\∂I}{\∂t}=0$

这里的V_x,V_y是x和y的速率，或称为I(x,y,t)的光流。

和

是图像(x,y,t)在t时刻特定方向的偏导数。I_x，I_y和I_t的关系可用下式表述：I_xV_x+I_yV_y=-I_t或 $\▿I^T\·\stackrel{\→}{V}=-I_t.$

惊奇计算模块130，用于估计时间维度和空间维度上特征的先验概率分布超参数和后验概率超参数，并计算它们的KL距离，得出空间惊奇度与时间惊奇度，最后合成总时空惊奇度。

定义Gamma分布如下：

$P\left(M\left(\mathrm{\λ}\right)\right)=\mathrm{\γ}(\mathrm{\λ};\mathrm{\α},\mathrm{\β})={\mathrm{\λ}}^{\mathrm{\α}-1}\frac{{\mathrm{\β}}^{\mathrm{\α}}{e}^{-\mathrm{\β\λ}}}{\mathrm{\Γ}\left(\mathrm{\α}\right)},,\mathrm{\λ}>0---\left(1\right)$

假如已知Gamma先验分布，γ(λ;α,β)，则后验分布可表示为γ(λ';α',β')，带入计算KL距离：

$\mathrm{KL}(\mathrm{\γ}(\mathrm{\λ};\mathrm{\α},\mathrm{\β}),\mathrm{\γ}({\mathrm{\λ}}^{\′};{\mathrm{\α}}^{\′},{\mathrm{\β}}^{\′}))={\mathrm{\α}}^{\′}\log \frac{\mathrm{\β}}{{\mathrm{\β}}^{\′}}+\log \frac{\mathrm{\Γ}\left({\mathrm{\α}}^{\′}\right)}{\mathrm{\Γ}\left(\mathrm{\α}\right)}+{\mathrm{\β}}^{\′}\frac{\mathrm{\α}}{\mathrm{\β}}+(\mathrm{\α}-{\mathrm{\α}}^{\′})\mathrm{\ψ}\left(\mathrm{\α}\right)---\left(2\right)$

其中Γ是Gamma函数，ψ是digamma函数。

Gamma分布中的α参数估计使用Robbins-Monro算法，β参数估计使用最大似然估计法。

异常检测模块140，用于统计在视频中超过惊奇阈值的兴趣点个数超过一定数量，则当前帧为警告帧，且如果连续Y帧中有K个警告帧，则认为发生了异常事件，向用户生成一个‘报警信号’。

T1为特征值的时间空间先验分布和后验分布变化产生惊奇度的门限，N统计的是视频中超过惊奇度阈值的检测点个数，累计的检测点个数超过足以生成报警的门限T2，则当前帧报警。判别准则：

If(Surprise Value>T1and N>T2)警告帧；

Else继续检测；

如果前Y帧中有K帧为警告帧，则向用户生成一个‘报警信号’。在某些监控场合中，特征值可能变化的非常缓慢，然而随时间的积累，这种改变才逐渐显现，例如特征值经过400帧变化了仅20，是一种极其缓慢的变化，该序列如果采用较低阈值进行检测，则无法检测出这种缓变，造成漏报。

预设值一般与异常事件的期望持续时长相关，异常事件持续时间越长，N设置小于Y，以获得对遮挡和噪声干扰等问题的鲁棒性。

本实施例使用UCSD数据库以及Adam提供的数据库，如图6-8所示，每个场景事先要求多个安保人员将易引起注意的事件记录下来，作为Ground Truth。空间惊奇采用9*9的邻域，用本实施例算法检测Entrance、Exit数据库中个体异常行为，与现有Adam算法及GroundTruth比较，如表2所示，表中列出地铁出口处的错误运动方向（9个进入地铁出口的人），测试结果显示本实施例算法比ST-MRF算法在个体异常行为方面具有较高的检测率，低虚警数。针对商场中的异常行为特征主要由运动速度大小决定，如突然奔跑的行人，针对广场有行人逆方向行走或跑动，使用运动速度的方向来判断是否异常，本实施例算法结果显示MALL_1商场中的20个异常行为事件及地铁入口的21个逆方向行走人员都被准确的检测出，如表所示。

表1针对不同场景选取不同特征的检测率

表2本实施例方法与ST-MRF算法检测率虚警数比较(Exit Dataset)

Exit Dataset	wrong direction	false alarm
			Ground Truth	9	0
Adam	9	3
			本文算法	9	1

本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于贝叶斯惊奇度计算的视频异常行为检测方法，其特征在于，包括如下步骤：

采用贝叶斯惊奇理论检测视频中的异常：异常在空间上的显著性邻域特征的先验分布与中心特征的后验分布的较大改变，在时间上的突发性导致历史帧中特征的先验分布与当前帧中特征的后验分布有较大的改变；

在视频中先检测出多个时空兴趣点(STIP)，使用光流估计法提取时空兴趣点的邻域及历史帧中对应位置的运动特征值，该运动特征值包括速度的幅度和方向；

利用参数估计方法计算时间上的先验分布和后验分布，空间上的先验分布和后验分布；已知时间、空间上的先验，后验分布，计算时间维度的KL距离，空间惊奇度，再合成总时空惊奇度；

统计在视频中超过惊奇阈值的兴趣点个数超过一定数量，则当前帧为警告帧，当视频中兴趣点的总时空惊奇度超过预先设定的阈值时，在视频帧中标记出异常区域。

2.如权利要求1所述的一种基于贝叶斯惊奇度计算的视频异常行为检测方法，其特征在于，所述惊奇度采用先验分布后验分布的KL距离来度量，当它们距离很大时发生惊奇，这里采用一种基于概率的距离度量方法——KL距离；

已知模型中的先验概率P（M），和获得的新数据D，计算得到惊奇度，即先验，后验分布的KL距离；

S(D,M)＝d_KL[P(M|D),P(M)]

在这里采用Gamma/Poisson分布，即先验概率分布为Gamma分布，总体服从Poisson分布，因为该分布更新超参数的方法相对简单，并给出了事件发生的自然概率；

定义Gamma分布如下：

$P\left(M\left(\mathrm{\λ}\right)\right)=\mathrm{\γ}(\mathrm{\λ};\mathrm{\α},\mathrm{\β})={\mathrm{\λ}}^{\mathrm{\α}-1}\frac{{\mathrm{\β}}^{\mathrm{\α}}{e}^{-\mathrm{\β\λ}}}{\mathrm{\Γ}\left(\mathrm{\α}\right)},,\mathrm{\λ}>0---\left(1\right)$

假如已知Gamma先验分布，γ(λ;α,β)，则后验分布可表示为γ(λ';α',β')，带入计算KL距离：

$\mathrm{KL}(\mathrm{\γ}(\mathrm{\λ};\mathrm{\α},\mathrm{\β}),\mathrm{\γ}({\mathrm{\λ}}^{\′};{\mathrm{\α}}^{\′},{\mathrm{\β}}^{\′}))={\mathrm{\α}}^{\′}\log \frac{\mathrm{\β}}{{\mathrm{\β}}^{\′}}+\log \frac{\mathrm{\Γ}\left({\mathrm{\α}}^{\′}\right)}{\mathrm{\Γ}\left(\mathrm{\α}\right)}+{\mathrm{\β}}^{\′}\frac{\mathrm{\α}}{\mathrm{\β}}+(\mathrm{\α}-{\mathrm{\α}}^{\′})\mathrm{\ψ}\left(\mathrm{\α}\right)---\left(2\right)$

其中Γ是Gamma函数，ψ是digamma函数。

3.如权利要求1所述的一种基于贝叶斯惊奇度计算的视频异常行为检测方法，其特征在于，先检测视频中的时空兴趣点（STIP）作为候选检测点进行特征提取计算光流；

对于空间维度惊奇值的计算，采用某一个兴趣点的特征参与计算后验概率分布，而它0°-45°-135°邻域点的特征参与计算先验概率分布；对邻域特征使用高斯核权重，离中心兴趣点远的权重小，离中心兴趣点近的权重大，先验概率分布的超参数记为α_p,β_p；后验概率的超参数为α'_p,β'_p；按照(3)式进行超参数的更新；d为当前帧内的待检测位置点的特征值，ζ为衰减因子；进行KL距离的计算从而得到空间惊奇度；Gamma分布中的α参数估计使用Robbins-Monro算法，β参数估计使用最大似然估计法；

${\mathrm{\α}}^{\′}=\mathrm{\α}\·\mathrm{\ζ}+\frac{d}{\mathrm{\β}}$   β'＝β·ζ+1    (3)

对于时间维度惊奇值的计算，采用某一个兴趣点前面N-1帧对应位置的特征参与先验概率分布的计算，计算出先验概率分布的超参数α_t,β_p与，而第N帧对应位置的特征参与后验概率分布的计算，得到后验概率分布的超参数α_t',β_p'，之后求得KL距离，计算出时间惊奇值；Gamma分布中的α参数估计使用Robbins-Monro算法，β参数估计使用最大似然估计法；同理直接使用(3)式更新迭代，d为当前帧内检测点上提取出的特征值，ζ为衰减因子；

当知道时间惊奇值与空间惊奇值的时候，得到总时空惊奇值：

S_T和S_S分别对应时间惊奇度和空间惊奇度。

4.如权利要求1所述的一种基于贝叶斯惊奇度计算的视频异常行为检测方法，其特征在于，当视频中多个兴趣点的特征分布发生了变化，同时发生变化较大的兴趣点个数较多的情况下，认为发生了异常事件，进行报警；统计每一帧中特征值随时间的变化情况；

T1为特征值的时间空间先验分布和后验分布变化产生惊奇度的门限，N统计的是视频中超过惊奇度阈值的检测点个数，累计的检测点个数超过足以生成报警的门限T2，则当前帧报警，判别准则：

如果监测点的惊奇值(Surprise Value)超过阈值T1 ，并且每一帧中超过惊奇阈值T1的监测点总数 N大于阈值T2，则发出警告帧；

否则，继续检测。

5.如权利要求4所述的一种基于贝叶斯惊奇度计算的视频异常行为检测方法，其特征在于，如果前Y帧中有K帧为警告帧，则向用户生成一个‘报警信号’；在某些监控场合中，特征值可能变化的非常缓慢，然而随时间的积累，这种改变才逐渐显现，特征值经过400帧变化了仅20，是一种极其缓慢的变化，该序列如果采用较低阈值进行检测，则无法检测出这种缓变，造成漏报。

6.如权利要求5所述的一种基于贝叶斯惊奇度计算的视频异常行为检测方法，其特征在与，预设值一般与异常事件的期望持续时长相关，异常事件持续时间越长，N设置小于Y，以获得对遮挡和噪声干扰等问题的鲁棒性。

7.一种基于贝叶斯惊奇度计算的视频异常行为检测装置，其特征在于，包括时空兴趣点检测模块、特征提取模块和惊奇计算模块和异常检测模块；

所述时空兴趣点检测模块，用于采用贝叶斯惊奇理论检测视频中的异常：异常在空间上的显著性邻域特征的先验分布与中心特征的后验分布的较大改变，在时间上的突发性导致历史帧中特征的先验分布与当前帧中特征的后验分布有较大的改变；在视频中先检测出多个时空兴趣点(STIP)，

所述特征提取模块，用于使用光流估计法提取时空兴趣点的邻域及历史帧中对应位置的运动特征值，该运动特征值包括速度的幅度和方向；

所述惊奇计算模块，用于利用参数估计方法计算时间上的先验分布和后验分布，空间上的先验分布和后验分布；已知时间、空间上的先验，后验分布，计算时间维度的KL距离，空间惊奇度，再合成总时空惊奇度；

所述异常检测模块，用于统计在视频中超过惊奇阈值的兴趣点个数超过一定数量，则当前帧为警告帧，当视频中兴趣点的总时空惊奇度超过预先设定的阈值时，在视频帧中标记出异常区域。

8.根据权利要求7所述的一种基于贝叶斯惊奇度计算的视频异常行为检测装置，其特征在于，所述特征提取模块中用于使用光流估计法，邻域范围选择为0°-45°-135°。

Images