CN101359401A - 用运动纹理分析执行活动识别和探测活动异常模式的方法 - Google Patents

Abstract

本发明涉及用运动纹理分析执行活动识别和探测活动异常模式的方法。公开了使用运动纹理分析来执行视频分析学的方法。一种方法包括从视频序列中选择多个帧，在多个帧中分析运动纹理以识别流，从流中提取特征，以及表征提取的特征以执行活动辨别。另一种方法包括，从视频序列中选择多个帧，在多个帧中分析运动纹理以识别流，从流中提取第一特征，比较第一特征与在之前的训练阶段提取的第二特征，以及基于该比较，确定第一特征是否指示异常活动。另一种方法包括分割视频序列中给出的帧为多个片，通过分析与片相关联的运动纹理为每一个片构建矢量模型，和聚集具有显示一致模式的矢量模型的多个片。

Description

用运动纹理分析执行活动识别和探测活动异常模式的方法

技术领域

本发明涉及视频监视，且更具体地，涉及使用运动纹理分析来执行视频分析学。

背景技术

近年来随着恐怖份子的活动和威胁，视频监视领域变得日益重要。尤其是，对智能化视频监视的需求增加了，智能化视频监视包括高级事件探测(例如，探测人的活动，比如人倒下、徘徊等)。传统上，使用低级图像处理模块来执行高级事件探测(例如，运动探测模块，比如运动探测和对象追踪)。在这样的运动探测模块中，输入图像中的每一个像素均被分离出来并被在前景区域或背景区域中成组布置。在前景区域中成组布置的像素可能表现为输入图像中的移动对象。典型地，这些前景区域随时间被追踪并且被分析以辨别活动。

然而，使用这些低级图像处理模块存在相关的困难。例如，这样的模块当在拥挤的区域中执行视频分析学时可能是无效的。作为示例，在拥挤的场景中，人和其它的运动对象更可能被分组到一个单独的运动区域中。当一组人被分组到一个单独的运动区域中时，使用视频分析学来执行对该单独的运动区域中的单个人的活动辨别可能变得较为困难。

附图说明

在此参考附图来描述本发明的实施例，其中：

图1是根据一个示例的方法的流程图；

图2根据一个示例，包括被分割为片的视频序列的帧的截屏；

图3根据一个示例，包括帧的描述截屏和相应的矢量模型图；

图4是根据一个示例的3×3方位的片阵列、3×3距离片阵列和3×3矢量模型片阵列的图例；

图5是根据一个示例的3×3矢量模型图的图例；

图6是根据一个示例的包括中心和矢量模型序列的矢量模型图；

图7是根据一个示例，为视频序列的帧的截屏；

图8是根据一个示例的方法的流程图；

图9A、9B、9C、9D、9E和9F根据多个示例，包括多种帧的截屏；

图10根据多个示例，包括多个简化的强度值柱状图；

图11根据多个示例，包括包括多种帧的截屏；

图12是根据一个示例的包括预定矢量的帧的截屏；

图13是根据一个示例的包括指向左边的预定矢量和指向右边的预定矢量的帧的截屏；

图14是根据一个示例动态贝叶斯(Bayesian)网络的方块图。

图15描述了第一和第二表格，其每一个包括独立的一组数值；以及

图16是根据一个示例的方法的流程图。

具体实施方式

I.概述

公开了使用运动纹理分析来执行视频分析学的方法。根据一个示例，方法可包括在显示一致的活动模式的视频序列中分割区域。根据该方法，该方法包括分割视频序列中给出的帧为多个片，通过分析与片相关联的运动纹理为每个片构建矢量模型，以及聚集具有显示一致模式的矢量模型的片。聚集显示一致模式的片(即，在帧中分割区域)可以个别地分割对象，所述对象与其它对象一起作为单独的块移动。因此，由于一组对象作为一个单独的块移动，每一个对象可以被单独地识别。

根据另一个示例，方法可以包括使用运动纹理来辨别视频序列中感兴趣的活动。根据该方法，该方法包括从视频序列中选择多个帧，在所述多个帧中分析运动纹理以识别流，从流中提取特征，以及表征提取的特征以执行活动辨别。例如，执行活动辨别可以帮助用户在拥挤的或稀疏的场景中识别特殊对象的运动，或者分离出拥挤的或稀疏的场景中感兴趣的特殊类型的运动(例如，徘徊、倒下、奔跑、在特殊的方向散步、站立、坐下)。

根据另一个示例，方法可以包括使用运动纹理来探测异常活动。根据该方法，该方法包括从第一视频序列中选择第一多个帧，分析在所述第一多个帧中的运动纹理以识别第一流，从第一流中提取第一特征，比较该第一特征与在前面的训练阶段期间所提取的第二特征，以及基于该比较确定该第一特征是否指示异常活动。例如，确定该第一特征是否指示异常活动可以警告用户对象在的未经许可的方向上移动(例如，进入未经许可的区域)。

通过阅读如下部分并适当参考附图，这些以及其它方面和优点对那些本领域普通技术人员来说将会变得明显。

II.方法I

图1是根据一个示例的方法100的流程图。图1中示出的两个或更多个功能实质上可以同时发生。

该方法100可包括在显示一致活动模式的视频序列中分割区域。如图1中所描述的，在块102，该方法包括分割视频序列中给出的帧为多个片。在块104，该方法包括通过分析与片相关联的运动纹理为每一个片构建矢量模型。在块106，该方法包括聚集具有显示一致模式的矢量模型的片。

在块102，该方法包括分割视频序列中给出的帧为多个片。该给出的帧可为视频序列中的多个帧的一部分。例如，视频序列中的T帧可由时间(例如，t+1、…、t+T)的滑动窗口中被选出。视频序列中给出的帧可包括一个或更多个对象，比如在由滑动窗口设置的时期内可移动或被移动的人或任何其它类型的对象。此外，该给出的帧包括多个像素，每一个像素定义一个独立的像素方位和强度值。

将给出的帧分割为多个片可包括在空间上分割该帧为n片。多个片中的每一片邻接到相邻的片。此外，多片中的每一片可与另一片交迭。

图2根据一个示例，包括被分割为片的视频序列的帧202、204、206和208的截屏200。如示出的，帧202、204、206和208中的每一个分别被分割为第一片210a、210b、210c和210d，以及第二片212a、212b、212c和212d。虽然对每一帧仅描述了两片，给出的帧可被分割为大量的片，并且整个帧更优选地被分割为多个片。如图2中描述的，例如，该第一片210a和第二片212a部分地相互交迭。可选择地，片可以不与另一片交迭。

另外，片可为多种形状中的任何形状，比如正方形、长方形或五边形。此外，每一片包括相应的一组像素。而且，片的像素尺寸可改变。例如，片尺寸范围可在5×5像素尺寸至40×40像素尺寸。由于给出的对象可能与多个片相交，每一片的像素尺寸可以为每一对象的片段的空间分辨率。

在块104，该方法包括通过分析与片相关联的运动纹理为每一片构建矢量模型。每一片的矢量模型可以以多种方式中的任意方式构建。例如，构建矢量模型可包括(i)为多片中的每一片估计运动纹理参数，(ii)为多个片中每一个给出的片和给出的片的每一个相邻片计算所述给出的片的运动纹理参数与所述相邻片的运动纹理参数之间的运动纹理距离，以及(iii)基于多个片中的每一个片的运动纹理距离的计算，为多个片中的每一个片构建矢量模型。

为多个片中的每一个片估计运动纹理参数可使用多种技术中的任意技术来实现，比如多矩阵估计的Soatto次最佳方法。关于多矩阵估计的Soatto的次最佳方法的进一步的细节在S.Soatto、G.Doretto和Y.N.Wu的“Dynamic Textures(动态纹理)”(International Journal of Computer Vision，51，No.2，2003，pp.91-109(“Soatto”))中提供，其在此全文引入作为参考。

在一个实施例中，在估计运动纹理参数之前，帧的每一片可被再成形。这可以包括将每一片再成形到包括维x_p(例如，水平轴)、y_p(例如，垂直轴)和T(例如，时间维)的多维阵列(Y)中。在每一片均以这种方式再成形之后，则每一片的运动纹理参数可被估计。然而，每一片的运动纹理参数也可以被估而不再成形每一片计。

为了估计每一片的运动纹理参数，可以首先数学地近似纹理参数。例如，可通过未知的输入将运动纹理与自动回归的第二顺序的移动平均处理相关联。作为示例，如下的方程可协同表达运动纹理：

$\left\{\begin{array}{cc}x(t+1)=\mathrm{Ax}\left(t\right)+v\left(t\right)& x\left(0\right)=x_0;v\left(t\right)~N(0,Q)\\ y\left(t\right)=\mathrm{Cx}\left(t\right)+w\left(t\right)& w\left(t\right)~N(0,R)\end{array}\right.$

在上面的方程中，y(t)表示观测矢量。该观测矢量y(t)可对应于每一像素的各自强度值，例如，该强度值的范围是0至255。另外，x(t)表示隐藏的状态矢量。与观测矢量y(t)相反，隐藏的状态矢量不可见。此外，A表示系统矩阵，且C表示输出矩阵。另外，v(t)表示系统的驱动输入，比如高斯白噪声，以及w(t)表示与观测每一像素的强度相关联的噪声，比如数字图像强度噪声。关于自动回归的移动平均处理方程的变量的进一步的细节能够在Soatto的文中找到。

一旦每一个片的各自运动纹理被数学地近似，则每一个片的运动纹理参数可被估计。例如，可通过矩阵A、C、Q(驱动输入协方差矩阵，其表示驱动输入的标准偏差v(t))和R(测量噪声的协方差矩阵，其表示高斯噪声的标准偏差w(t))来表示运动纹理参数。为了获得用于矩阵A、C、Q和R的估计，可使用多矩阵估计的Soatto次最佳方法。在这样一个多矩阵估计的方法中，使m＞＞n、rank(C)＝n、和C^TC＝I_n，以从样本路径y(t)识别唯一的模型，其中I_n为识别矩阵。多矩阵估计的次最佳方法如下所示：

(1)首先，对Y执行单个值分解，以使：

Y＝U∑V^T

(2)然后，估计矩阵C为：

$\hat{C}\left(\mathrm{\τ}\right)=U$

(3)接着，状态X的序列被估计为 $\hat{X}=\mathrm{\Σ}{V}^T$

(4)然后，矩阵A被估计为： $\hat{A}=\mathrm{\Σ}{V}^T\left(\begin{array}{cc}0& 0\\ I_{r-1}& 0\end{array}\right)V{\left(V^T\left(\begin{array}{cc}{I}_{r-1}& 0\\ 0& 0\end{array}\right)V\right)}^{-1}{\mathrm{\Σ}}^{-1},$ 其中I_r-1为

(r-1)×(r-1)维的识别矩阵

(5)接着，估计驱动输入为：

v(k)＝x(k)-Ax(k-1)

(6)然后，估计驱动输入协方差矩阵Q为：

$Q=\frac{1}{T-1}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}v\left(t\right)v^{\text{'}}\left(t\right)$

(7)最后，计算测量噪声R的协方差矩阵为：

R＝Y-C*X。

因此，用于矩阵A、C、Q和R的估计可被获得，并且这些矩阵的估计可被用来协同表示每一个片的相应的运动纹理参数。

接着，为多个片中每一个给出的片并且为给出的片的每一个相邻的片构建矢量模型可包括计算给出的片的运动纹理参数与相邻的片的运动纹理参数之间的运动纹理距离。每一个片的运动纹理距离可以以多种方式中的任意方式确定。例如，计算运动纹理距离可包括比较给出的片的运动纹理参数与相邻的片的运动纹理参数。

作为另一个示例，计算给出的片的运动纹理参数与相邻的片的运动纹理参数之间的运动纹理距离可包括确定给出的片的运动纹理参数(即，给出的片的观测)与相邻的片的运动纹理参数(即，相邻的片的相应的观测)之间的各自的Mahalanobis距离。给出的片的运动纹理参数与相邻的片的运动纹理参数之间的Mahalanobis距离可使用A.Chan和N.Vasconcelos的“Mixtures of DynamicTextures(动态纹理的混合)”(Intl.Conf.on Computer Vision，2005(“Chan”))中公开的方法来计算，其在此全文引入作为参考。使用Chan的方法，进行关于通过具有特定运动纹理参数的运动纹理生成测量的序列Y的概率的计算。特别地，这个概率作为测量y(t)和分布∑的估计的

的Mahalanobis距离被计算。该Mahalanobis距离可被定义为 $\mathrm{MDC}(\hat{y},y)=\sqrt{{(\hat{y}-y)}^T\mathrm{\Σ}(\hat{y}-y)},$ 其中∑＝C*E(t)*C′+R，并且E(t)为由卡尔曼滤波器计算的误差协方差矩阵。

接着，为每一个片构建矢量模型可包括基于每一个片的运动纹理距离的计算为每一个片构建矢量模型。每一个片可通过其各自的矢量模型被表示。例如，当使用八邻域为给出的片构建矢量模型时，为给出的片构建矢量模型可包括选择至少一个相邻片。选出的相邻片可包括定义给出的片的运动纹理参数与每一个相邻的片的运动纹理参数之间的最短运动纹理距离的运动纹理参数。此外，矢量模型可发生于给出的片的近似中心并且通常可指向一个或更多个选择的相邻片。另外，矢量模型包括表示给出的片的运动纹理参数与一个或更多个所选择的相邻片的运动纹理参数之间的运动纹理距离的量值。图3根据一个示例，描绘了帧302的截屏以及相应的矢量模型图304。如图3中所描绘的，帧302包括对象308和310，并且矢量模型图304包括与对象308和310分别相对应的矢量模型簇312和314。视图306提供分别与矢量模型簇312和314相对应的矢量模型簇316和318的放大视图。

此外，图4是根据一个示例的3×3方位的片阵列402、3×3距离片阵列404和3×3矢量模型片阵列406的图例。如3×3方位的片阵列402中所示，片408定位在(0，0)，并且连同邻近的相邻片410、412、414、416、418、420、422和424一起被选择(这里，八片邻域被选择)。如3×3距离片阵列404中所示的，在片408与它的每一个相邻片之间的运动纹理距离被计算。例如，在为每一个片估计运动纹理参数之后，片408与片410、412、414、416、418、420、422和424中的每一个之间的各自的Mahalanobis距离被计算。接着，如3×3矢量模型片阵列406中所示的，为片408构建矢量模型426。作为一个示例，片408的矢量模型(即，V(i，j)＝[k，l])可被计算为：

$k(i,j)=\underset{y=-1..1}{\underset{x=-1..1,}{\mathrm{\Σ}}}(1/\mathrm{abs}\left(\mathrm{MDC}(i+x,j+y)\right)*x$

$l(i,j)=\underset{y=-1..1}{\underset{x=-1..1,}{\mathrm{\Σ}}}(1/\mathrm{abs}\left(\mathrm{MDC}(i+x,j+y)\right)*y$

其中k沿x方向和l沿y方向。矢量模型V的幅值s通过 $s=\sqrt{k^2+l^2}$ 得到，并且矢量模型的角α通过 $\mathrm{\α}=\arctan \frac{l}{k}$ 得到。矢量模型的幅值可以反映当前片408与它的相邻片之间的距离。此外，矢量模型可指向与当前片408最相似的片。作为这一计算的结果，片408的矢量模型可以被构建。

接着，在块106，该方法包括聚集具有显示一致模式的矢量模型的片。矢量模型的一致模式可以以多种方式中的任意方式显示。例如，显示一致模式的矢量模型可包括围绕给出的片同中心的矢量模型。为了举例，帧中每一个片的矢量模型可共同定义矢量模型图，并且矢量模型图可包括中心。具有通常指向该中心的矢量模型的片可被聚集。

矢量模型图中的中心可被定义为具有阈值数量的相邻片的片，每一个相邻片具有角度朝向该片的矢量模型。作为在矢量模型图中确定中心的示例，图5是根据一个示例的3×3矢量模型图500的图例。如所描述的，3×3矢量模型图500包括片502的矢量模型，以及矢量模型504、506、508、510、512、514、516和518。矢量模型504、506、508、510、512、514、516和518中的每一个表示相应的相邻片。如图5中所描述的，片502的矢量模型近似为0，并且矢量模型504、506、508、510、512、514、516和518中的每一个角度朝向片502。例如，矢量模型504与片502的水平线520成315°角，矢量模型506与水平线520成270°角，矢量模型508为225°角，矢量模型510为180°角，矢量模型512为135°角，矢量模型514为90°角，矢量模型516为45°角，矢量模型516为0°角。

相应于矢量模型504、506、508、510、512、514、516和518中的每一个的上述每一个角表示可被使用来确定给出的矢量模型角度是否朝向片502的理想角。在这种理想状况下，片502为中心，因为(i)周围的全部八个矢量模型均(ii)角度朝向片502(另外，片502可以是中心，因为片502的矢量模型近似为0)。然而，即使围绕的全部八个矢量模型均角度不朝向片502的情况下，片502仍可以被确定为中心。例如，只要阈值数目的围绕的矢量模型角度朝向片502，它就可被确定为中心。例如，矢量模型的阈值数目的范围由4到8。

比外，即使在给出的矢量模型的角度并未朝向各自的理想角的情况下给出的围绕的矢量模型也可能角度朝向片502。偏离理想角是可能的。作为一个示例，给出的矢量模型的允许的偏离角度的范围可从-θ到θ(例如，θ可为15°)。此外，每一个周围矢量模型的相应的允许偏离角可以相互不同。

一旦矢量模型图的中心被确定，具有通常指向中心的矢量模型的片被聚集。换句话说，包括具有通常指向中心的矢量模型的片的区域被分割。当然，矢量模型图可包含多于一个的中心，在该情况下每一个中心与它自己的通常指向它的矢量模型的相应类相关联。

有多种确定通常指向中心的矢量模型的方式。为了举例说明，图6是根据一个示例的包括中心604和矢量模型序列602的矢量模型图600。矢量模型602序列包括矢量模型606、608、610、612和614。如示出的，矢量模型606的角度朝向矢量模型(或片)608，并且矢量模型608的角度朝向矢量模型610。这样，矢量模型606、608和610协同定义矢量模型的链接列表。另外，因为矢量模型610的角度朝向矢量模型612，并且矢量模型612的角度朝向矢量模型614，矢量模型610、612和614中的每一个也被包括在矢量模型的链接列表中。因此，矢量模型606、608、610、612和614协同定义矢量模型的链接列表中。

因为矢量模型链接列表中的最后的矢量模型614指向中心604，矢量模型链接列表的轨线指向中心604。因为矢量模型链接列表的轨线指向中心604，矢量模型链接列表(即，矢量模型序列602)中的每一个矢量模型被分组到与中心604相对应的类中。

另外，正如每一个中心优选地与它自己的通常指向各自的中心的矢量模型类相对应，每一个矢量模型类优选地与视频序列的帧中的对象相对应。因此，如果给出的帧包括多个对象，聚集具有显示一致模式的矢量模型的片可包括聚集片为多个簇，其中每一个簇对应一个给出的对象。

为了举例说明，图7是根据一个示例的视频序列的帧702的截屏700。如图7中所描述的，帧702包括对象704、706和708。对象704、706和708中的每一个分别被类轮廓线710、712和714(至少部分地)环绕，并且分别包括中心716、718和720。如果描述为相应的矢量模型图，则类轮廓线710、712和714将优选地分别包括通常指向中心716、718和720的矢量模型。因此，中心716、718和720中的每一个分别与类轮廓线(即，矢量模型类)710、712和714相对应，并且类轮廓线710、712和714中的每一个分别与对象704、706和708相对应。之后方法100可重复至块102，以处理视频序列的下一个帧，以及处理视频序列中的每一个其它帧。

接下来，片的一个或更多个簇的表示可被显示给用户，或用作用于活动辨别的输入。片的簇的表示可采用多种形式中的任意形式，比如二进制对象的描述。此外，片的簇可被显示在多种输出设备中的任意输出设备上，比如图形用户界面显示。显示片的一个或更多个簇的表示可帮助用户执行活动辨别和/或分割在帧中一起移动的多个对象。

III.方法II

图8是根据一个示例的方法的流程图800。图8中示出的两个或更多个功能实质上可同时发生。

方法800可包括使用运动纹理来辨别视频序列中感兴趣的活动。如图8中所描绘的，在块802，该方法包括从视频序列中选择多个帧。在块804，该方法包括分析多个帧中的运动纹理以识别流。接下来，在块806，该方法包括从流中提取特征。在块808，该方法包括表征提取的特征以执行活动辨别。

在块802，该方法包括从视频序列中选择多个帧。所述多个帧可包括对应于第一时间的第一帧、对应于第二时间的第二帧以及对应于第三时间的第三帧。此外，第一帧可以包括对象，并且第二和第三帧也可以包括该对象。额外的对象也可以在一个或更多个帧中出现。

在块804，该方法包括分析多个帧中的运动纹理以识别流。该流可以定义帧中各自的区域的时间和空间的分割，并且所述区域可以显示运动的一致形式。此外，在多个帧中分析运动纹理以识别流可包括(i)分割每一个帧为相应的多个片，(ii)为每一个帧识别相应的多个片中的各自的一组片，其中各自的一组片对应于帧中各自的区域，并且(iii)识别流，所述流定义多个帧中的每一个帧中各自的片组的时间和空间的分割，其中每一个帧的各自的片组显示运动的一致形式。

为了示例，图9A包括帧902a和904a的截屏，并且图9B包括帧902b和904b的截屏，图9A和图9B各根据一个示例。在图9A中，帧902a包括对象906a并且帧904a包括对象906b。在这个示例中，对象906a表示处于第一时间的人，并且对象906b表示处于第二时间的同一人。在图9B中，帧902b包括与对象906a相对应的第一组片908，并且帧904b包括与对象906b相对应的第二组片910。处于第一时间的帧902b中的第一组片908与处于第二时间的帧904b中的第二组片910可分别定义帧902b和904b中的每一个中的片组908和910的时间和空间的分割。帧902b和904b中的每一个中的片组908和910分别显示运动的一致形式(例如，对象906a向左移动)。此外，第一组片908可包括第一组像素，第一组像素中的每一个像素定义各自的像素方位和强度值。相似地，第二组片910可包括第二组像素，第二组像素中的每一个像素定义各自的像素方位和强度值。

在块806，该方法包括从流中提取特征。从流中提取特征可采用多种配置中的任意配置。作为一个示例，从流中提取特征可包括产生描绘运动的参数。这种参数的示例包括一组数值，具有指示帧中对象的分割区域的第一数值，指示运动方向的第二数值，以及指示速度的第三数值。图15描绘了包括该组数值的表1502。当然，存在其它描述运动的参数的示例。

作为另一个示例，从流中提取特征可包括构建运动矢量(运动矢量可为更一般的运动纹理模块的示例)。运动矢量可以以多种方式中的任何方式被构建。作为示例，构建第一运动矢量可包括从帧904b中的相对应的像素的强度值中减去帧902b中的每一个像素的强度值以创建强度差值梯度。该强度差值梯度可包括(1)第一组像素中的每一个像素与帧904b中的相对应像素之间，以及(2)第二组像素中的每一个像素与帧902b中的相对应像素之间的各自的强度值差值。(1)第一组像素中的每一个像素与帧904b中的相对应像素之间的强度值差值协同对应于帧902a中的对象906a，并且(2)第二组像素中的每一个像素与帧902b中的相对应像素之间的强度值差值协同对应于帧904a中的对象906b。图9C是根据一个示例的包括强度差值梯度914的帧912的截屏。

强度值差值diff(t)可被计算，其中y(t)为片的t^th帧且T为片的帧数目。例如，diff(t)可被计算为：

diff(t)＝|y(t)-y(t-1)|，t＝1，…，T-1

如上述方程中所描述的，减去强度值可包括求帧902b中每一个像素的强度值与帧904b中相对应像素的强度之间的差值的绝对值。

进一步举例，图10根据多个示例，包括与帧902b相对应的简化的强度值柱状图1000，以及与帧904b相对应的简化的强度值柱状图1002。此外，图10根据一个示例，包括与强度差值梯度914相对应的简化的强度值柱状图1004。

为对象构建第一运动矢量可进一步包括通过使得低于阈值的各自的强度值差值为零来过滤强度差值梯度。使低于阈值的各自的强度值差值为零可以突出对应于重要的强度值差值的像素位置。对应于重要的强度值差值的像素方位可以对应于对象的重要的点，比如对象的轮廓。此外，使得低于阈值的各自的强度值差值为零也可仅允许使用重要的强度值差值来构建第一运动矢量。图9D是根据一个示例的包括过滤的强度差值梯度918的帧916的截屏。

阈值可以以多种方式中的任意方式来计算。例如，对应于第一和第二像素组的强度值可以包括最大强度值(例如，200)，并且阈值可以等于最大强度值的90％，或任何其它百分比(例如，180)。因此，低于180的强度值差值将为零，并且仅仅等于或高于180的强度值将在过滤步骤之后保留。进一步举例，图10根据一个示例，包括与过滤的强度差值梯度918相对应的简化的强度值柱状图1008。当然，存在其它计算阈值的示例。

构建第一运动矢量可进一步包括，基于在过滤的强度差值梯度918中保留的强度值差值，确定对应于在帧902a中的对象906a的第一平均像素方位和对应于在帧904a中的对象906b的第二平均像素方位。图9E是根据一个示例的包括对应于对象906a的第一平均像素位置922和对应于对象906b的第二平均像素位置924的帧920的截屏。

接下来，构建第一运动矢量可以包括构建第一运动矢量，使得该第一运动矢量发生于第一平均像素方位(其可对应于第一片)和在第二平均像素方位(其可对应于第二片)结束。图9F是根据一个示例的包括第一运动矢量928的帧926的截屏。如所示出的，第一运动矢量928发生于第一平均像素方位922和在第二平均像素方位924处结束。

仍为另一个示例，从流中提取特征可包括构建多个运动矢量。每一个运动矢量可以对应于预定数目的帧。作为示例，在多个帧中包括第一帧(帧902a)、第二帧(帧904a)和第三帧(未描述)，可构建对应于第一和第二帧的第一运动矢量，并且可构建对应于第二和第三帧的第二运动矢量。为了举例说明，图11根据一个示例，包括帧926、1102和1104的截屏1100。帧926包括对应于从帧902a到帧904a的对象906a的运动的第一运动矢量928，并且帧1102包括对应于从帧904a到第三帧的对象906b的运动的第二运动矢量1106。

当然，多个运动矢量中给出的运动矢量可对应于多于两个的帧。作为一个示例，给出的运动矢量可对应于三个帧。作为示例，给出的运动矢量可通过求第一与第二运动矢量之和来构建。如图11所示，帧1104包括通过求第一运动矢量928与第二运动矢量1106之和所构建的给定的运动矢量1108。当然，存在其它构建给出的运动矢量的示例。此外，存在其它从流中提取特征的示例。

在块808，该方法包括表征提取的特征以执行活动辨别。表征提取的特征以执行活动辨别可以采用多种配置中的任意配置。例如，当从流中提取的特征包括描述运动的参数时，表征提取的特征可以包括确定描述运动的参数是否在预定的运动模型的阈值之内。作为示例，描述运动的参数可包括表1502中描述的数值组，并且预定的运动模型可包括预定的数值组，作为示例，该预定的数值组在图15的表1504中描述。在这种情况下，确定参数是否在预定的运动模型的阈值之内可以包括比较表1502中的每一个数值与表1504中的相应数值。当然，存在其它确定描述运动的参数是否在预定的运动模型的阈值之内的示例。

作为另一个示例，当从流中提取的特征包括一个运动矢量(或者多个运动矢量)时，表征提取的特征可以包括估计(多个)运动矢量的特征(例如，幅度和/或方向)。表征提取的特征可进一步包括比较(多个)运动矢量的特征与至少一个预定矢量的特征。图12是根据一个示例的包括指向右方的预定矢量1202的帧1200的截屏。比较(多个)运动矢量的量值和方向与预定矢量1202的量值和方向可以包括确定是否各个运动矢量的每一个量值和方向分别在预定矢量1202的量值和方向的阈值之内。例如，基于该比较，用户可以确定视频序列中的对象是否以预定的速度在预定的方向上移动。当然，运动矢量的特征可以与更多预定矢量相比较。举例说明，图13是根据一个示例的包括指向左边的预定矢量1302和指向右边的预定矢量1304的帧1300的截屏。

仍为另一个示例，运动矢量可以穿过片(例如，对应于第一平均像素方位、第二平均像素方位的片，或任何运动矢量可穿过的其它片)，并且表征提取的特征可以包括确定运动矢量与由片定义的运动模式是否相类似。

仍为另一个示例，表征提取的特征以执行活动辨别可以包括执行简单活动辨别。例如，简单活动辨别可以用于确定人群中的每一个人是否在预定的方向上移动(或者不移动)。在简单活动辨别期间，可构建预定的运动模型(例如，在训练期间)。预定运动模型可以以多种方式中的任意方式构建。例如，预定运动模型可以从包含多个预定运动模型的远程或本地数据库中选择。作为另一个示例，预定运动模型可以通过分析样本视频序列来构建。

预定运动模型可以采用多种配置中的任意配置。例如，预定运动模型可以包括预定强度阈值。作为另一个示例，预定运动模型可包括一个或更多个预定矢量。例如，一个或更多个预定矢量可以从数据库中选择，或使用包括在一个或更多个方向上移动的一个或更多个对象的样本视频序列来构建。此外，预定矢量可包括单个预定矢量(例如，指向右方的预定矢量1202)或两个预定矢量(例如，预定矢量1302和1304)。当然，也可以使用额外的预定矢量。

例如，当分析安全区域中的入口通道的视频序列时(例如，在测试阶段)，各自的运动矢量不在(多个)预定矢量的通常方向上的每一个对象(例如，不在预定矢量的精确方向上，并且也不在预定矢量的角度变化的范围内，比如加或减15°)将被标记为异常。可附加地或可选择地，视频序列中的每一个具有超出预定强度阈值的确定范围的强度阈值的对象也可被标记为异常。

作为另一个示例，表征提取的特征以执行活动辨别可以包括执行复杂活动辨别。执行复杂活动探测可以包括确定是否探测到预定数目的简单活动。此外，确定是否探测到预定数目的简单活动可以包括使用图形模块(graphical model)(例如，动态Bayesian网络和/或隐藏Markoy模块)。

举例说明，图14是根据一个示例的动态贝叶斯(Bayesian)网络1400的方块图。如所描述的，动态贝叶斯网络1400包括分别在时间t和t+1处的观测节点(特征)1414和1416、简单活动节点1410和1412、复杂活动探测节点1402和1404以及完成节点1406和1408。完成节点1406和1408分别关联于观测节点1414和1416。尽管描述的是两层动态贝叶斯网络，动态贝叶斯网络1400可以包括多个层。

如所记载的，执行复杂活动探测可以包括确定是否探测到预定数目的简单活动。作为示例，对于三个帧，对象的第一运动矢量可指向右方，且第一运动矢量可计为对象的一个简单活动。在接下来的三帧中，该对象的第二运动矢量可指向左方，且这可计为对象的第二个简单活动。在随后的三帧中，该对象的第三运动矢量可指向上方，且第三运动矢量可计为对象的第三个简单活动。当对象的三个简单活动被探测到时(该三个简单活动可以是相互不同的，或者可以重复)，复杂活动探测节点可被触发。在动态贝叶斯网络1400中，如果从观测节点1414到观测节点1416的转变包括对象的第三个简单活动，完成节点1406可变为逻辑“1”，这样指示一个复杂活动被探测到。另一方面，如果在从观测节点1414到观测节点1416的转变期间对象的三个简单活动都没有被探测到，则完成节点可保持为逻辑“0”，这样指示一个复杂活动没有被探测到。当然，存在探测复杂活动的其它示例。例如，执行活动辨别可以帮助用户在拥挤的场景中识别特定对象的运动。

IV.方法III

图16是根据一个示例的方法1600的流程图。图16中示出的两个或更多个功能实质上可以同时发生，或者以与示出的不同的顺序发生。

方法1600可以包括使用运动纹理来探测异常活动。如图16中所描述的，方法开始于块1602，其中开始测试阶段。在块1602，该方法包括从第一视频序列中选择第一多个帧。在块1604，该方法包括在第一多个帧中分析运动纹理以识别第一流。接下来，在块1606，该方法包括从第一流中提取第一特征。在块1608，该方法包括比较第一特征与在之前的训练阶段提取的第二特征。在块1610，基于该比较，该方法包括确定第一特征是否指示异常活动。

在块1602，该方法包括从第一视频序列中选择第一多个帧。从第一视频序列中选择第一多个帧实质上与块802中从视频序列中选择多个帧相似。

在块1604，该方法包括在第一多个帧中分析运动纹理以识别第一流。同样地，这一步骤实质上与块804中在多个帧中分析运动纹理以识别流是相似的。

在块1606，该方法包括从第一流中提取第一特征。再次，这一步骤实质上为块806中的从流中提取特征。

在块1608，该方法包括比较第一特征与在之前的训练阶段提取的的二特征。该训练阶段可采用多种配置中的任意配置。例如，该训练阶段可以包括从多个存储在本地或远程数据库中的预定特征中选择第二特征。作为另一个示例，该训练阶段可包括(i)从样本视频序列中选择第二多个帧，(ii)在第二多个帧中分析运动纹理以识别第二流，其中第二流定义第二多个帧中各自的区域的第二时间的和第二空间的分割，并且其中该区域识别显示运动的第二一致模式，以及(iii)从第二流中提取第二特征。当然，存在训练阶段的其它示例。

此外，将第一特征与第二特征相比较可采用多种配置中的任意配置。例如，所述第一和第二特征可以包括第一和第二运动纹理模型，并且该第一和第二运动纹理模型可以被比较。作为示例，该第一和第二运动纹理模型可以分别包括第一和第二运动矢量，并且第一和第二运动矢量的量级和/或方向可以被比较。作为另一个示例，第一和第二特征可以分别包括描绘运动的第一和第二参数(例如，第一和第二组数值)，该第一和第二参数可以被比较。当然，存在将第一特征与第二特征相比较的其它示例。

在块1610，基于该比较，该方法包括确定第一特征是否指示异常活动。确定第一特征是否指示异常活动可以包括确定是否第一和第二特征之间的相似性测量值超出了预定阈值。例如，如果第一和第二特征包括第一和第二运动纹理模型，如果第一和第二运动纹理模型之间的相似性测量值超出了预定阈值则可确定为异常活动。作为示例，如果第一和第二运动纹理模型包括第一和第二运动矢量，在第一和第二矢量之间的相似性测量可以包括在第一和第二运动矢量的各自的量级和/或方向之间的测量。如果第一和第二运动矢量的量级和/或方向之间的差异超出了预定阈值，则对象可被标记为异常。

举例说明，预定阈值(例如，允许的对已知的运动模型的偏离)可以包括特征的预定阈值(例如，运动矢量的25°角)。如果第一和第二运动矢量的各自的方向之间的差异在预定阈值内(例如，25°或更小)，则第一特征将不指示异常活动(即，第一特征表征的对象将不被标记为异常)。另一方面，如果第一和第二运动矢量的各自的方向之间的差异大于预定阈值(例如，大于25°)，则第一特征将指示异常活动(即，第一特征表征的对象将被标记为异常)。例如，确定第一特征是否指示异常活动可以帮助用户确定对象是否进入未授权区域。

V.结论

以上描述了本发明的示范性实施例。无论如何，那些本领域技术人员将会明白，所述实施例可被改变和修改而不会背离本发明的由权利要求限定的真正的范围和精神。

Claims (20)

1、一种在视频序列中使用运动纹理来辨别感兴趣的活动的方法，该方法包含：

从视频序列中选择多个帧；

分析多个帧中的运动纹理以识别流，其中该流定义在该多个帧中各个区域的时间和空间的分割，并且其中所述区域显示一致的运动模式；

从所述流中提取特征；并且

表征提取的特征以执行活动辨别。

2、权利要求1的方法，其中分析多个帧中的运动纹理以识别流包括：

分割每一个帧为相应的多个片；

对每一帧，在相应的多个片中识别各个片组，其中所述各个片组对应于该帧中的各个区域；并且

在每一个帧中识别定义各个片组的时间和空间的分割的流，其中每一个帧的所述各个片组显示一致的运动模式。

3、权利要求1的方法，其中从流中提取特征包括构建运动矢量，并且其中表征提取的特征以执行活动认包括估计运动矢量的特征。

4、权利要求3的方法，其中运动矢量穿过片，并且其中表征提取的特征以执行活动辨别还包括确定运动矢量是否相似于由该片定义的运动模式。

5、权利要求1的方法，其中从流中提取特征包括构建多个运动矢量，其中每一个运动矢量对应于预定数目的帧，并且其中表征提取的特征以执行活动辨别包括估计多个运动矢量中的每一个运动矢量的特征。

6、权利要求5的方法，其中表征提取的特征以执行活动辨别还包括比较多个运动矢量中的每一个运动矢量的各自的特征与至少一个预定矢量的特征。

7、权利要求1的方法，其中从流中提取特征包括产生描述运动的参数，并且其中表征提取的特征以执行活动辨别包括确定描述运动的参数是否在预定运动模型的阈值内。

8、权利要求1的方法，其中表征提取的特征以执行活动辨别包括执行简单活动辨别。

9、权利要求1的方法，其中表征提取的特征以执行活动辨别包括执行复杂活动辨别。

10、权利要求9的方法，其中执行复杂活动探测包括确定是否已探测到预定数目的简单活动。

11、权利要求10的方法，其中确定是否已探测到预定数目的简单活动包括使用图形模型。

12、一种使用运动纹理来探测异常活动的方法，该方法包括：

从第一视频序列中选择第一多个帧；

分析第一多个帧中的运动纹理以识别第一流，其中第一流定义第一多个帧中的各个区域的第一时间和第一空间的分割，并且其中所述区域显示第一一致的运动模式；

从第一流中提取第一特征；

比较第一特征与在之前的训练阶段提取的第二特征；并且

基于该比较，确定第一特征是否指示异常活动。

13、权利要求12的方法，其中训练阶段包括：

从第二视频序列中选择第二多个帧；

分析第二多个帧中的运动纹理以识别第二流，其中第二流定义第二多个帧中的各个区域的第二时间和第二空间的分割，并且其中所述区域显示第二一致的运动模式；并且

从第二流中提取第二特征。

14、权利要求12的方法，其中确定第一特征是否指示异常活动包括确定第一与第二特征之间的相似性测量值是否超出了预定阈值。

15、权利要求13的方法，其中从第一流中提取特征包括构建第一运动纹理模型，其中从第二特征提取特征包括构建第二运动纹理模型，其中比较第一特征与第二特征包括比较第一与第二运动纹理模型。

16、权利要求15的方法，其中确定第一特征是否指示异常活动包括确定第一与第二运动纹理模型之间的相似性测量值是否超出了预定阈值。

17、一种在视频序列中分割显示一致活动模式的区域的方法，该方法包括：

a.将给出的帧分割为多个片；

b.通过分析与片相关联的运动纹理为每一个片构建矢量模型；并且

c.聚集具有显示一致模式的矢量模型的多个片。

18、权利要求17的方法，其中给出的帧为视频序列中多个帧的一部分，该方法进一步包括对多个帧中的每一个帧重复步骤a-c。

19、权利要求17的方法，其中聚集具有显示一致模式的矢量模型的多个片包括聚集包括同中心地围绕给出的片的矢量模型的多个片。

20、权利要求17的方法，其中多个片中的每一个片邻接至相邻片，并且其中通过分析与该片相关联的运动纹理为每一个片构建矢量模型包括：

为多个片中的每一个片估计运动纹理参数；

为多个片中每一个给出的片和为每一个与给出的片邻接的相邻片计算在给出的片的运动纹理参数与相邻片的运动纹理参数之间的运动纹理距离；并且

基于多个片中每一个片的运动纹理距离的计算，为多个片中的每一个片构建矢量模型。

Images