CN102163290A - 基于时空关联信息的多视角视频监控中异常事件建模方法 - Google Patents

Abstract

本发明涉及视频处理、语义提取等。为提供基于时空关联信息的多视角视频监控中异常事件建模方法，本发明采取的技术方案是，基于时空关联信息的多视角视频监控中异常事件建模方法，包括以下步骤：(1)时空局部特征提取：(a)时空特征兴趣点检测；(b)时空特征兴趣点描述；(2)“词袋”的构建：“词袋”是利用所提取特征点对视频单元进行统计直方图表征的方法，包括码本构建和关键点投影两个步骤：(a)码本构建；(b)基于码本的关键点投影；(3)异常事件建模：具体分为如下两步：(a)对于单目摄像机采集的视频；(b)对于多视角监控视频下异常事件检测模块输出的异常事件出现的概率。本发明主要应用于视频处理。

Description

基于时空关联信息的多视角视频监控中异常事件建模方法

技术领域

本发明涉及视频处理、语义提取等，具体讲涉及一种基于时空关联信息的多视角视频监控中异常事件建模方法。

背景技术

视频监控系统作为现代安防的有效手段，越来越受到社会的重视。然而传统的数字视频监控系统仅仅提供了视频的捕获、存储、分发等简单的功能，而对异常事件判断只能靠人来实现，这样的监控系统不仅需要极其大量的人力来维系，极大地提高了系统的运行成本，而且使用人来长时间监控也降低了系统的安防性能。因此，现有监控系统已经不能满足当前安防的需求。新一代的监控系统以智能的异常事件检测为核心，能够发现监控画面中的异常情况，以最快和最佳的方式发出警报和提供有用信息，更加有效地协助安全人员处理危机，最大限度地降低误报和漏报现象。现有监控视频异常事件检测具有两个显著的缺点：1)现有异常事件检测模块多是通过依赖特定规则的制定对单目摄像头下简单的异常事件(如：逆向行驶、超速行驶等)进行检测，这使得智能监控具有明显的局限性；2)现有检测模块多独立对待各个视角摄像头采集的视频并对其进行分别检测，忽略了各摄像头间在时间和空间上的关联，因此往往造成大量的异常事件错检和漏检。本发明中，针对多视角视频监控中无法通过显著规则定义的异常事件，提出一种通用的多视角视频监控中异常事件建模方法，采用对尺度、旋转、关照等外界因素具有鲁棒性的时空特征点对视频片段的显著特征进行表示，并通过基于特征点的码本构建和分类器学习自动挖掘各类事件的潜在视觉模式，并融合多视角分类器检测结果进行最终判决。

发明内容

为克服现有技术的不足，提供一种适用于无法显性定义判决规则的异常事件检测的视频监控中异常事件建模方法，为达上述目的，本发明采取的技术方案是，基于时空关联信息的多视角视频监控中异常事件建模方法，包括以下步骤：

(1)时空局部特征提取，采用对尺度、旋转、关照等外界因素具有鲁棒性的时空特征点对视频片段的显著特征进行表示，采用综合目标视觉模式特征和运动特征的运动约束的尺度不变特征MoSIFT对时空局部特征进行表征，具体包括特征点检测和描述两个关键部分：

(a)时空特征兴趣点检测：首先，对当前帧采用尺度不变特征SIFT检测子找到具有区分性的极值点作为候选的兴趣点，计算这些点在相邻帧的光流信息，如果之前提取的SIFT点的光流具有足够的强度，则该点就是MoSIFT兴趣点；

(b)时空特征兴趣点描述：为了充分表示MoSIFT点的可区分性，对其描述被分为视觉模式和运动模式两个部分，视觉模式采用SIFT描述子方法用128维方向直方图进行表征，运动模式则通过光流特征的提取和SIFT描述子的格形表示法通过128维方向直方图进行表征，然后通过连接这两个直方图构成MoSIFT特征的256维方向直方图描述；

(2)“词袋”的构建：

“词袋”是利用所提取特征点对视频单元进行统计直方图表征的方法，包括码本构建和关键点投影两个步骤：

(a)码本构建：将从训练样本中提取出的MoSIFT点特征作为训练数据，在高维特征空间通过K-Means算法进行聚类，聚类结果的每一个类被称为一个码字，码字由聚类中心的特征来表示，并且反映了该类中所有特征点的共同属性，用作训练的关键点特征集合被聚类成若干个码字的集合，从而构成码本，码本中所含码字的个数反映了码本的大小；

(b)基于码本的关键点投影：首先，提取视频单元中所有MoSIFT点特征，计算MoSIFT点与码本中每个码字的距离，选取最近距离的码字代表该关键点；其次，建立一个统计直方图，用于统计属于每个码字的关键点个数，将该直方图用作反映MoSIFT点信息的视觉特征，其中直方图的维数等同于码本中码字的个数；

(3)异常事件建模：

异常事件建模即利用视频单元的“词袋”特征表示，通过分类器的学习和多视角检测模型的融合，综合利用多视角信息实现监控视频异常事件的检测，具体分为如下两步：

(a)对于单目摄像机采集的视频：利用“词袋”特征表示和已标注的异常事件的正例和负例样本，通过分类器进行单视角异常事件建模，以采用支持向量机(Support Vector Machine，缩写：SVM)为例进行模型学习，对于支持向量机核函数的选择这里采用x²核函数，其定义K(x_i，x_j)如下：

$K(x_i,x_j)=\exp (-\frac{1}{\mathrm{\γ}}D(x_i,x_j)),\mathrm{\γ}>0$

$D(x_i,x_j)=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|u_i-w_i\left|\right|}^2/(u_i+w_i)$

其中x_i＝(u₁，u₂....u_n)和x_j＝(w₁，w₂....w_n)是训练样本，γ是核参数，D(x_i，x_j)是样本x_i和x_j的x²距离，模型训练过程中，通过训练数据的交叉验证来寻求最优的核参数γ；

(b)对于多视角监控视频下异常事件检测模块输出的异常事件出现的概率：将通过多信息融合方法对异常事件检测进行最终判决，采用有序加权融合算法，具体形式：

$F(a_1,...,a_n)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i{b}_i,$

$s.t.\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i=\mathrm{1,0}\≤w_i\≤1,i=1,...,n$

其中，F表示有序加权融合算子，a_i表示多分类器的判决，b_i表示多分类器判决(a₁，...，a_n)中第i个最大的元素，w_i表示权重，因此该融合问题转化为上式表示的目标函数最优化问题，可以通过对有序加权融合涉及到的如下两个重要因子的最大化实现融合结果的优化：

关联性因子： $\mathrm{orness}\left(W\right)=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(n-i)w_i$

信息量因子： $\mathrm{dispersion}\left(W\right)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i\ln w_i.$

本发明具有以下技术效果：

本发明提出一种通用的多视角视频监控中异常事件建模方法，采用对尺度、旋转、关照等外界因素具有鲁棒性的时空特征点对视频片段的显著特征进行表示，并通过基于特征点的码本构建和分类器学习自动挖掘各类事件的潜在视觉模式，最后通过融合多视角异常事件检测模型判断结果进行最终的判决。该方法可以通过大量样本的学习自动挖掘语义事件潜在的视觉模式，适用于无法显性定义判决规则的异常事件检测，对扩展视频监控系统自动分析和理解的能力以及提高智能监控的准确性具有积极意义。

附图说明

图1基于时空关联信息的多视角视频监控中异常事件建模方法。

具体实施方式

本发明所提出的基于时空关联信息的异常事件建模方法框架如图1所示。针对多视角监控视频中异常事件分析，分别对各摄像头采集视频中特定语义事件进行分类器的学习，然后通过多分类器的融合综合利用多视角下的时空信息进行语义事件的检测。该模型构建包含如下三个关键步骤：

(1)时空局部特征提取

基于局部兴趣点的特征描述的方法能够有效的描述目标及其运动特性，和全局方法相比，基于局部的方法对姿态、光照、遮挡、变形、复杂背景具有良好的不变性。由于监控视频中语义事件通常包含目标的运动特性，因此本发明中采用综合目标视觉模式特征和运动特征的运动约束的尺度不变特征(MoSIFT)[2]对时空局部特征进行表征。

(a)时空特征兴趣点检测：MoSIFT算法通过视频相邻帧在多个尺度下找到时空兴趣点，其计算主要在两个方面：一个是SIFT点的检测[1]；另一个是与SIFT尺度相对应的光流[6]计算。首先，对当前帧采用SIFT检测子[1]找到具有区分性的极值点作为候选的兴趣点，虽然检测出的兴趣点在2维空间具有一定的区分性，但是这样的点与视频中的运动没有关系。例如，与运动无关的复杂背景也会产生很多兴趣点。很明显，只有具有一定运动信息的兴趣点才能为动作识别提供帮助。因此，在得到候选的兴趣点后，需要计算这些点在相邻帧的光流信息[6]。如果之前提取的SIFT点的光流具有足够的强度，则该点就是MoSIFT兴趣点。

(b)时空特征兴趣点描述：为了充分表示MoSIFT点的可区分性，对其描述被分为视觉模式和运动模式两个部分。由于SIFT描述子在物体识别中对物体的缩放、旋转、亮度等都具有很好的不变性，所以在MoSIFT算法中，该描述方法也被采用；此外，由于光流能够检测出一个运动的强度和运动方向，这样与SIFT描述子中像素梯度的幅度和角度相对应，从而对于光流部分也可以采用SIFT描述子一样的格形表示去表述运动信息。对于SIFT和光流的描述，分别采用128维的方向直方图描述，然后通过连接这两个直方图构成MoSIFT特征的256维方向直方图描述。

(2)“词袋”的构建

由于MoSIFT点主要分布在图像的边缘、拐角等显著区域处，不同内容的图像由于灰度、纹理等信息不同造成具有不同个数的关键点，因而导致不同图像中MoSIFT的关键点的总特征维数也就不同，这使得以特征维数相同的训练数据为前提的机器学习方法并不适用。此外，实际情况中每幅图像中往往包含大量MoSIFT点，从而导致总特征维数高、数据量大、消耗大量计算资源、时间复杂度高等严重问题。针对上述问题，采用基于“词袋”思想的关键点投影方法[19]来有效地量化高维关键点特征。该方法通过引入码本将视频中具有相似属性的关键点聚类成码字，大幅度地量化了关键点特征的维数。同时，采用统计直方图的方法使得任一视频单元都可以具有相同维数的描述，从而便于使用各种机器学习的方法进行分类。具体步骤如下：

(a)码本构建：将从训练样本中提取出的MoSIFT点特征作为训练数据，在高维特征空间通过K-Means算法[3]进行聚类。聚类结果的每一个类被称为一个码字，码字由聚类中心的特征来表示，并且反映了该类中所有特征点的共同属性；用作训练的关键点特征集合被聚类成若干个码字的集合，从而构成码本，码本中所含码字的个数反映了码本的大小。

(b)基于码本的关键点投影：首先，提取视频单元中所有MoSIFT点特征，计算MoSIFT点与码本中每个码字的距离，选取最近距离的码字代表该关键点；其次，建立一个统计直方图，用于统计属于每个码字的关键点个数，将该直方图用作反映MoSIFT点信息的视觉特征，其中直方图的维数等同于码本中码字的个数，从而解决了由于关键点特征直接匹配而导致的特征维数不同和由于高维特征引发的计算复杂这样两个问题。

(3)异常事件模型的构建

异常事件建模即利用视频单元的“词袋”特征表示，通过分类器的学习和多视角检测模型的融合，综合利用多视角信息实现监控视频异常事件的检测，具体分为如下两步：(a)对于单目摄像机采集的视频：利用“词袋”特征表示和已标注的某类异常事件的正例和负例样本，通过某种分类器进行单视角异常事件建模，本发明中不失一般性的采用支持向量机(Support Vector Machine，缩写：SVM)进行模型学习[4]，对于支持向量机核函数的选择这里采用x²核函数，其定义K(x_i，x_j)如下：

$K(x_i,x_j)=\exp (-\frac{1}{\mathrm{\γ}}D(x_i,x_j)),\mathrm{\γ}>0$

$D(x_i,x_j)=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|u_i-w_i\left|\right|}^2/(u_i+w_i)$

其中x_i＝(u₁，u₂....u_n)和x_j＝(w₁，w₂....w_n)是训练样本，γ是核参数，D(x_i，x_j)是样本x_j和x_j的x²距离。通过训练数据的交叉认证，可以找到最优的核参数γ。

(b)对于多摄像机采集的视频：由于针对不同摄像头所采集视频可以借助相应的语义事件分类器Classifier(i)计算该事件发生的概率值P(i)，因此对于多摄像机下的语义事件检测需要融合各语义事件分类器进行最终的判决。对于多分类器的融合，需要综合考虑两种极端情况：

1)分类器判决的稀疏性：某些情况下，极少数分类器输出较高概率值，而大部分分类器输出概率值接近于0；2)分类器的强关联性：某些情况下，各分类器均都输出较高概率值。因此，基于有序加权融合思想[5]，将融合判决结果表示为：

$F(a_1,...,a_n)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i{b}_i,$

$s.t.\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i=\mathrm{1,0}\≤w_i\≤1,i=1,...,n$

其中，F表示有序加权融合算子，a_i表示多分类器的判决，b_i表示多分类器判决(a₁，...，a_n)中第i个最大的元素，w_i表示权重。因此该融合问题转化为上式表示的目标函数最优化问题，通过对有序加权融合涉及到的如下两个重要因子的最大化实现融合结果的优化，具体步骤可以参考文献[5]。

关联性因子： $\mathrm{orness}\left(W\right)=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(n-i)w_i$

信息量因子： $\mathrm{dispersion}\left(W\right)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i\ln w_i.$

[1]Lowe，D.G.，“Distinctive Image Features from Scale-Invariant Keypoints”，International Journal of Computer Vision，60，2，pp.91-110，2004.

[2]M.-Y.Chen and A.Hauptmann，″MoSIFT：Reocgnizing Human Actions in Surveillance Videos，″Carnegie Mellon University，Pittsburgh，PA CMU-CS-09-161，September 24，2009

[3]Kanungo，T.；Mount，D.M.；Netanyahu，N.S.；Piatko，C.D.；Silverman，R.；Wu，A.Y..″An efficient k-means clustering algorithm：Analysis and implementation″.IEEE Trans.Pattern Analysis and Machine Intelligence 24：881-892，2002.

[4]Vladimir Vapnik.The Nature of Statistical Learning Theory.Springer-Verlag，1995

[5]Yager，R.R，Ordered weighted averaging aggregation operators in multi-criteria decision making，IEEE Transactions On Systems，Man and Cybernetics，vol.18，pp：183-190，1988.

[6]David J.Fleet and Yair Weiss，″Optical Flow Estimation″.Handbook of Mathematical Models inComputer Vision.Springer，2006.

Claims (1)

1.一种基于时空关联信息的多视角视频监控中异常事件建模方法，其特征是，包括以下步骤：基于时空关联信息的多视角视频监控中异常事件建模方法，包括以下步骤：

(1)时空局部特征提取，采用对尺度、旋转、光照等外界因素具有鲁棒性的时空特征点对视频片段的显著特征进行表示，采用综合目标视觉模式特征和运动特征的运动约束的尺度不变特征MoSIFT对时空局部特征进行表征，具体包括特征点检测和描述两个关键部分：

(a)时空特征兴趣点检测：首先，对当前帧采用尺度不变特征SIFT检测子找到具有区分性的极值点作为候选的兴趣点，计算这些点在相邻帧的光流信息，如果之前提取的SIFT点的光流具有足够的强度，则该点就是运动约束的尺度不变特征MoSIFT兴趣点；

(b)时空特征兴趣点描述：为了充分表示MoSIFT点的可区分性，对其描述被分为视觉模式和运动模式两个部分，视觉模式采用SIFT描述子方法用128维方向直方图进行表征，运动模式则通过光流特征的提取和SIFT描述子的格形表示法通过128维方向直方图进行表征，然后通过连接这两个直方图构成MoSIFT特征的256维方向直方图描述；

(2)“词袋”的构建：

“词袋”是利用所提取特征点对视频单元进行统计直方图表征的方法，包括码本构建和关键点投影两个步骤：

(a)码本构建：将从训练样本中提取出的MoSIFT点特征作为训练数据，在高维特征空间通过K-Means算法进行聚类，聚类结果的每一个类被称为一个码字，码字由聚类中心的特征来表示，并且反映了该类中所有特征点的共同属性，用作训练的关键点特征集合被聚类成若干个码字的集合，从而构成码本，码本中所含码字的个数反映了码本的大小；

(b)基于码本的关键点投影：首先，提取视频单元中所有MoSIFT点特征，计算MoSIFT点与码本中每个码字的距离，选取最近距离的码字代表该关键点；其次，建立一个统计直方图，用于统计属于每个码字的关键点个数，将该直方图用作反映MoSIFT点信息的视觉特征，其中直方图的维数等同于码本中码字的个数；

(3)异常事件建模：

异常事件建模即利用视频单元的“词袋”特征表示，通过分类器的学习和多视角检测模型的融合，综合利用多视角信息实现监控视频异常事件的检测，具体分为如下两步：

(a)对于单目摄像机采集的视频：利用“词袋”特征表示和已标注的异常事件的正例和负例样本，通过分类器进行单视角异常事件建模，以采用支持向量机(Support Vector Machine，缩写：SVM)为例进行模型学习，对于支持向量机核函数的选择这里采用x²核函数，其定义K(x_i，x_j)如下：

$K(x_i,x_j)=\exp (-\frac{1}{\mathrm{\γ}}D(x_i,x_j)),\mathrm{\γ}>0$

$D(x_i,x_j)=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|u_i-w_i\left|\right|}^2/(u_i+w_i)$

其中x_i＝(u₁，u₂....u_n)和x_j＝(w₁，w₂....w_n)是训练样本，γ是核参数，D(x_i，x_j)是样本x_i和x_j的x²距离，模型训练过程中，通过训练数据的交叉验证来寻求最优的核参数γ；

(b)对于多视角监控视频下异常事件检测模块输出的异常事件出现的概率：将通过多信息融合方法对异常事件检测进行最终判决，采用有序加权融合算法，具体形式：

$F(a_1,...,a_n)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i{b}_i,$

$s.t.\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i=\mathrm{1,0}\≤w_i\≤1,i=1,...,n$

其中，F表示有序加权融合算子，a_i表示多分类器的判决，b_i表示多分类器判决(a₁，...，a_n)中第i个最大的元素，w_i表示权重，因此该融合问题转化为上式表示的目标函数最优化问题，可以通过对有序加权融合涉及到的如下两个重要因子的最大化实现融合结果的优化：

关联性因子： $\mathrm{orness}\left(W\right)=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(n-i)w_i$

信息量因子： $\mathrm{dispersion}\left(W\right)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i\ln w_i.$

Images