CN107169414A - 一种基于稠密轨迹小片段的异常行为检测方法 - Google Patents

Abstract

本发明公开了一种基于稠密轨迹小片段的异常行为检测方法，包括：将视频划分为时空小方块；在时空小方块内构建稠密光流域以获取稠密轨迹小片段；及利用轨迹小片段方向直方图从角度和幅值量化轨迹小片段，确定获得轨迹小片段的HOT描述子；将所得轨迹小片段的HOT描述子作为码本单词构建码本，根据码本单词及构建的码本建立轨迹小片段的相似性拓扑结构，并利用先验概率检测方法计算每个时空小方块中的轨迹小片段是否异常，及根据码本中码本单词的相似性判定所对应的轨迹小片段是否为异常。本发明可降低搜索区域的维度，准确对图片进行异常行为的检测，利用稠密跟踪轨迹更加有效地表示视频序列，具备更高的效率和准确性。

Description

一种基于稠密轨迹小片段的异常行为检测方法

技术领域

本发明涉及一种基于稠密轨迹小片段的异常行为检测方法，属于图像处理技术的领域。

背景技术

近年来拥挤环境下的公共安全正在被高度关注。视频监控系统正在被广泛应用在例如街道安全，交通分析，地铁运输安全等领域。由于在拥挤和动态环境下的行人遮挡和光照条件等的变化，传统的机器视觉方法已经不能满足检测需求。这其中，一个主要的挑战就是在拥挤的环境下，根据时空域来进行异常行为分析。以上的情况说明了异常行为检测的挑战性和难度。

异常行为检测的首要问题是它没有明确的定义。因此，所有异常行为检测方法都是基于检测出罕见的发生事件，并视为异常。视频序列被分为时空组成部分来提取上下文信息，并根据这些上下文信息来进行异常行为分析。由此可见异常行为的定义取决于上下文信息。换句话说，在一个特定上下文中的异常行为放在其他上下文环境下可能就成了正常行为。

现有的检测方法在检测过程中，通常对整幅图片进行异常行为的检测，并没有判定图像中可能发生异常的区域。由于搜索区域的维度较大，传统方法无法有效地保证检测的准确性和快速性。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于稠密轨迹小片段的异常行为检测方法，解决现有的检测方法在检测过程中，搜索区域的维度较大，无法有效地保证检测的准确性和快速性的问题。

本发明具体采用以下技术方案解决上述技术问题：

一种基于稠密轨迹小片段的异常行为检测方法，包括以下步骤：

步骤A、将视频划分为时空小方块；

步骤B、在时空小方块内构建稠密光流域以获取稠密轨迹小片段；及利用轨迹小片段方向直方图从角度和幅值量化轨迹小片段，得到轨迹小片段所对应的HOT描述子；

步骤C、将所得轨迹小片段的HOT描述子作为码本单词构建码本，根据码本单词及构建的码本建立轨迹小片段的相似性拓扑结构，并利用先验概率检测方法计算每个时空小方块中的轨迹小片段是否异常，及根据码本中码本单词的相似性判定所对应的轨迹小片段是否为异常。

进一步地，作为本发明的一种优选技术方案：所述步骤B获取稠密轨迹小片段包括：

从构建稠密光流域获取兴趣点，跟踪光流域的兴趣点获取跟踪轨迹；

由跟踪轨迹在时空小方块的若干个帧内形成稠密轨迹小片段。

进一步地，作为本发明的一种优选技术方案：所述步骤B计算轨迹小片段的方向和幅值采用公式：

其中，表示时空小方块i中轨迹小片段t的角度；MAG^t,i时空小方块i中轨迹小片段t的幅值；和表示时空小方块i中轨迹小片段t的进出点；f和f+1表示时空小方块的邻域帧。

进一步地，作为本发明的一种优选技术方案：所述步骤C包括将相似的HOT描述子归为同一个码本单词来构建码本。

进一步地，作为本发明的一种优选技术方：所述步骤C还包括利用欧式距离权重升级码本单词。

进一步地，作为本发明的一种优选技术方案：所述步骤C建立轨迹小片段的相似性拓扑结构包括：

定义轨迹小片段的集合，确定每个轨迹小片段至集合中心轨迹小片段的相对位置；

根据每个轨迹小片段以及其与中心轨迹小片段的相对位置，确定轨迹小片段的集合以及轨迹小片段的拓扑结构。

本发明采用上述技术方案，能产生如下技术效果：

本发明公开了一种基于分析稠密轨迹小片段的视频异常行为检测方法。首先，为了获取上下文信息，本方法将视频划分为时空小方块。其次，构建稠密光流域以获取稠密轨迹小片段。然后利用轨迹小片段方向直方图从方向和幅值来量化轨迹小片段。最后，本发明建立轨迹片段的拓扑结构，采用拓扑构建方法来分组相似的时空轨迹小片段来构建码本来减少搜索区域的维度，并利用概率机制检测异常行为。不同于传统的光流方法，稠密跟踪轨迹方法更加有效地表示视频序列。公共数据集UCSD,subway和mall等的测试体现出了本算法的检测效率。实验表明本算法在实时性和准确性等的性能优于传统的基于光流法等的方法。

附图说明

图1为本发明方法的流程示意图。

图2为本发明中时空小方块的构建示意图。

图3为本发明中在W的像素尺寸内得到稠密轨迹小片段示意图。

图4(a)至图4(c)为本发明中HOT的形成过程示意图。其中图4(a)中圆圈大小表示轨迹小片段的幅值。图4(b)为只考虑出入点的情况来计算角度信息。图4(c)为HOT直方图的表示示意图。

图5为本发明中上半部分表示数据集中的几帧图像。下半部分表示HOT描述子的方向和幅值投影。

图6为本发明中码本单词的构建的示意图。

图7(a)为本发明中集合中一个轨迹小片段的时空关系。图7(b)码本单词对应于集合E_i中的轨迹小片段的示意图。

图8为本发明视频中时空小方块的相似性地图构建的示意图。

图9(a)至图9(p)为UCSD数据集异常行为检测过程示意图，其中检测出的异常行为用黑色方框表示。

图10(a)至图10(p)为本发明中地铁入口和出口的异常行为检测过程示意图。其中图10(a)至10(h)显示了入口检测帧，图10(h)至10(p)显示了出口检测帧。异常行为被黑色方框标记出。

图11(a)至图11(l)为本发明中mall数据集的异常行为检测过程示意图。其中，异常行为在图中由黑色方框显示。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明提供一种基于稠密轨迹小片段的异常行为检测方法，方法具体包括以下步骤：

步骤A、为了获取上下文信息，将视频划分为时空小方块。

本发明提出了一个快速在线无监督学习检测方法。首先要进行时空小方块的构建，这充分利用了物体的运动信息。构建的3D时空小方块的尺寸是v_x*v_y*v_t。其中v_x*v_y是空间窗口的大小，v_t是时间域的深度。以上的步骤产生了一系列视频金字塔结构。图2显示了时空小方块的构建过程示意图。在空间上，时空小方块分割为许多不重叠的窗口，每帧图片被分为几个部分：f＝f_x*f_y，并且每个小方块由v_t帧组成。本发明的描述子即是在这些时空小方块中对轨迹小片段进行量化。

步骤B、在时空小方块内构建稠密光流域以获取稠密轨迹小片段；及利用轨迹小片段方向直方图从角度和幅值量化轨迹小片段，确定获得轨迹小片段所对应的HOT描述子。

本发展中稠密轨迹的提取通过跟踪光流域的兴趣点来得出。一旦稠密光流域被建立起来，兴趣点的数量就可以轻松得到。除此之外，本发明引入了平滑约束来让轨迹免得更加鲁棒。稠密轨迹可以从多种空间尺寸获得。兴趣点在一个包含W个像素的窗口中被取样并跟踪，通过实验发现当W＝5时，可以获得较好的效果。根据兴趣点跟踪的到的轨迹由下式表示：

其中p t n表示在t帧中第n个轨迹的2D坐标

为了提取稠密光流域，本发明利用了OpenCV库中实现的算法。该算法被证明在速度和准确性上达到了较好的平衡。

在跟踪的过程中，轨迹倾向于从它们的初始位置产生漂移。为了避免此现象，本发明将轨迹的长度限制在v_t帧里。这就是要建立时空小方块的原因。一旦轨迹的长度达到了v_t，就将它从跟踪的过程中移除，并形成轨迹小片段，其过程如图3所示。可以发现稠密轨迹法比通过KLT方法得出的轨迹小片段更加鲁棒。为了更好地提取运动信息，本发明在轨迹周围的时空小方块内对描述子进行计算。

以及，所述轨迹小片段的HOT描述子的获取过程为：在3D视频时空小方块内的兴趣点周围利用局部描述子进行计算。轨迹小片段在时空上代表可刚性物体的运动信息。为了达到行人运动的行为理解目的，本发明引入了方向轨迹小片段直方图HOT来描述运动信息。

由于不用的区域通常展现出不同的运动模式，本发明引入的描述子就是在时空小方块中描述运动轨迹的统计信息，所示图4(a)至图4(c)为本发明中HOT的形成过程示意图。其中图4(a)中圆圈大小表示轨迹小片段的幅值。图4(b)为只考虑出入点的情况来计算角度信息。图4(c)为HOT直方图的表示示意图。

由图4(a)所示，在第一步中，利用光流域提取所有稠密轨迹小片段。对于每一帧，在兴趣点处生成新的轨迹小片段。对于一个给定的视频序列，含有N个轨迹小片段{T¹,...,T^k,...,T^N}。轨迹小片段的长度取决于视频序列的帧率，摄像机的相关位置和场景中运动模式的紧密度。这个过程产生了一大堆用来描述运动模式的轨迹小片段。

图4(b)所示的第二个步骤中，视频序列被分为v_x*v_y*v_t大小的时空小方块。对于每个小方块，轨迹小片段的幅值和角度的计算公式如下：

其中，表示时空小方块i中轨迹小片段t的角度；MAG^t,i时空小方块i中轨迹小片段t的幅值；和表示时空小方块i中轨迹小片段t的进出点。f和f+1表示指控小方块的邻域帧。图4(a)和图4(b)描述了轨迹小片段的概念。

最后，幅值和方向由符号MAG和分别表示。直方图槽B_α,MAG的形成由简单统计幅值角度对的出现次数得出。对直方图进行标准化过程以便量化运动信息。

本发明引入的描述子是基于帧来计算的。为了获取运动上下文信息，考虑时空小方块中帧的范围为k-v_t/2到k+v_t/2。HOT描述子的符号由来表示。由于(1)未来帧信息的需要；(2)异常开始发生时描述子仍然包含前几个正常帧的信息，本方法的异常检测会存在不确定性。但是由于引入了v_t，这是可接受的。HOT描述子表示了每个子区域的期望运动模式，这包含了运动的方向和幅值。图5展示了UCSD数据集中的6帧HOT描述子的投影图像。幅值的大小由白的深度来表示。最终由实验所示，在特定场景中方向可以被统计出。具体的参数选择会在实验部分给出。

步骤C、由轨迹小片段的HOT描述子作为码本单词构建码本，根据码本单词及构建的码本建立轨迹小片段的相似性拓扑结构，并利用先验概率检测方法计算每个时空小方块中的轨迹小片段是否异常，根据码本中码本单词的相似性判定所对应的轨迹小片段是否为异常，即为将与码本中的码本单词的相似性较低的轨迹小片段确定为异常。具体如下：

步骤C1、首先，构建码本过程。具体为：在本发明上述步骤中，一系列轨迹小片段已经形成。但是，所形成的描述子数量非常庞大。例如，在一个一分钟的视频片段内可包含10⁶个轨迹小片段。因此，采用以下方法的原因是提高算法的效率。而且，虽然这些HOT描述子具有很丰富的信息，它们仍然是独立的。因此，将相似的槽分成一组来减少搜索区域的维度。

在本算法中，行人的行为由HOT描述子描述，与此同时用码本单词和码本来描述可视特征。本发明中，可以将相似的HOT描述子归为同一个码本单词来构建码本，将无序的码本单词放在一起构建成为码本。相似的HOT描述子组成了一个码本，由字母B表示。HOT描述子与码本构建的逻辑关系即是将包含相似信息的HOT描述子放在一起，形成一个码本单词。每个HOT描述子都包含了视频片段中的运动轨迹信息。利用这个码本单词来描述此类具有较相似信息的描述子。由图6所示。

第一个码本单词等于第一个B₁。此后，通过比较轨迹小片段和码本单词的相似性来构建或升级码本单词。每个码本单词由权重d_i,j来升级。本发明使用了欧式距离权重。码本单词c_i与B_i的距离由下式所示：

本方法中，码本单词的更新频率f_j非常重要。最后得出一系列符合要求的码本单词C＝{c_i}n i＝1来表示轨迹小片段。由于算法的目的是衡量新发现的集合与已经发现的正常行为的相似性，码本单词的构建需要包含正常行为的视频段。

初始码本构建完成后，根据相似性d_i,j，B_i就对应于其中一个码本单词c_j。码本单词n的数量远远小于轨迹小片段N。另外，其他聚类方法例如K均值法也可用于码本构建。对于不同的数据集，码本构建的数目也不同，码本构建的数目大约为20个左右。

步骤C2、建立轨迹小片段的相似性拓扑结构，本发明采用拓扑构建方法来分组相似的时空轨迹小片段来构建码本来减少搜索区域的维度。其具体过程为：对于异常行为检测，上下文时空信息是非常重要的。传统的异常行为检测方法得出的是一系列无关时空信息的轨迹小片段。本发明引用了概率机制来量化轨迹小片段。考虑HOT描述子产生的码本单词，B代表HOT描述子，C代表所构建的码本。

本发明引用了一个新的可视发现：疑问。引入它的目的就是估计疑问中的每个轨迹小片段为正常的可能性。为了完成此工作，考虑每个轨迹小片段的周围区域R，通过衡量疑问中轨迹小片段的排列的相似性来计算异常可能性。R中包含了许多轨迹小片段，将其称之为视频中轨迹小片段的集合。考虑到轨迹小片段集合的表示，异常行为检测即建立新发现的集合和旧集合之间的相似性地图。为此，本发明考虑了轨迹小片段集合的拓扑相似性来获取它们的上下文信息。引入疑问的目的即是为了在R范围内使用不同时空尺度来获取轨迹小片段信息。即疑问属于发现的一种，为了在不同的时空尺度上获取轨迹小片段而引入。

轨迹小片段的集合用E_i表示。它的空间中点为(x_i,y_i,t_i)，包含了K个轨迹小片段。具体来说，E_i以B_i代表的轨迹小片段为中心，这个轨迹小片段的中点坐标即(x_i,y_i,t_i)，也是轨迹小片段所在视频小方块的中心坐标。图7(a)显示了轨迹小片段集合的相对时空坐标。定义是第K个轨迹小片段的相对位置，B_k的中点是(x_k,y_k,t_k)。的定义由下式给出：

其中K是集合中轨迹小片段的总数。

然后每个位置为(x_i,y_i,t_i)的轨迹小片段集合由一系列轨迹小片段以及它们与中心轨迹小片段的相对位置来表示：

码本单词c∈C对应于每一个轨迹小片段。每个轨迹小片段集合B_k的相似性有公式(4)得出。考虑轨迹小片段对应的码本单词，每个轨迹小片段的集合可由一系列码本单词和他们的时空关系决定。假设是轨迹小片段的描述子的空间，C是上个部分建立的码本。定义c：B→C为一个随机变量，这将一个码本单词对应于一个轨迹小片段。假设c：B→C是表示将码本单词对应于集合中的中心轨迹小片段，则δ：R³→R³是表示码本单词c和中心轨迹小片段c'的相对位置。给定上述一系列假设后，轨迹小片段的集合可由码本单词和他们的时空关系图表示。由图7(b)所示。定义过轨迹小片段的表示方法，并给出对应于HOT描述子的码本单词后，一系列描述每个码本单词的拓扑的假设可被定义。这些假设用来建立新旧发现中码本单词的拓扑之间的相似性地图。考虑每个假设，h，表示成拓扑即h＝(c,c’,δ)。因此，一系列假设H表示每个HOT描述子的拓扑。定义如下式：

假设现在考虑对每帧视频进行取样。假设表示一个新发现，其中B_k表示集合E_i中任意发现的轨迹小片段，B_i表示集合的中心轨迹小片段，是B_k和B_i的相对位置，目的是衡量每个发现中假设的概率。因此，给定一个发现O，每个假设h的先验概率是：

给定发现了的轨迹小片段公式(8)中的先验概率定义了发现码本单词c,c’和它们相对位置δ的概率。那么公式(8)可重写为：

由于一个轨迹小片段B_k被发现，并替换为一个假设的解释c，那么公式(9)中右半部分的第一个因子可以被视为与B_k无关。并且，假设轨迹小片段B_k和B_i是独立的。因此，(9)中右半边的第二个因子B_i可以被移除。因此(9)可以重写为：

另一方面，对应于一个轨迹小片段的码本单词与它的位置无关，所以(10)可以重写为：

将(11)重写得到：

类似地，假设码本单词和它们的位置无关，那么(12)可以重写为：

给定对应于轨迹小片段的码本单词c，以及对应于中心轨迹小片段的码本单词c’，公式(13)中等式右边的第一个因子是时空位置δ的概率。因此，给出一系列轨迹小片段集合，可以建立参数模型和非参数估计。本发明中运用了混合高斯模型。高斯模型的参数利用一个期望值来优化。在公式(13)的等式右边的第二第三个因子P(c’|B_i)和P(c|B_k)表示了每个码本单词的入口，它们由码本单词的分配过程来得出。

利用本发明方法，上述集合组成的可能性可简单计算得出，而不是比较数据集中的所有其他轨迹小片段。本发明接下来介绍了异常行为的检测方法，即选择出发生可能性低的事件。本发明方法更能保持轨迹小片段的时空排列信息同时减少系统配置要求。

步骤C3、利用先验概率检测方法计算每个时空小方块中的轨迹小片段是否异常，将码本中的码本单词的相似性较低的轨迹小片段确定为异常行为，即通过比较码本中的码本单词的相似性来区分行人行为是否异常。

本发明考虑了一系列连续的监控系统场景。对于每个空间样本t，一个简单图片被添加到已发现视频帧中，从而形成了疑问Q。每个疑问中的时空小方块的先验概率用它周围的轨迹小片段集合来计算，并决定该时空小方块是否为异常。

公式(5)详细描述了集合H的拓扑假设。疑问中的轨迹小片段的集合的先验概率表示为期中，表示以(x_i,y_i,t_i)为中点的疑问中的轨迹小片段的集合。因此，给出新旧集合的相似性就被计算出了。也就是说，先验概率应该被最大化：

由于本发明用中心轨迹小片段和它与周围轨迹小片段的相对位置来表示每个集合，并假设每个发现的轨迹小片段是独立的，那么上述公式等式的右侧可重写为集合中每个轨迹小片段的先验概率的产物：

其中，t_k是中的轨迹小片段。t_i是的中心轨迹小片段。是t_k的相对位置，K是集合中轨迹小片段的总数。比较于(13)，公式(15)中的明显可以重写为：

因此(14)中的最大先验概率可以写为：

疑问中每个轨迹小片段的先验概率在码本单词分配过程中被直接地计算出了。先验概率的计算使用了概率分布估计函数。

总结来说，一开始疑问Q在不同的时空尺度上被稠密取样来建立时空小方块来获取不同尺度的轨迹信息。Q与发现O的关系即Q是O的其中一种。O即表示一种拓扑关系，但是Q是在不同时空尺度上构建拓扑关系。利用公式(4),每个轨迹小片段t_k被对应于一个码本单词c。然后每个时空小方块是否异常的概率由集合中轨迹小片段的时空排列来计算。计算过程包含了新发现和旧发现的数据。异常行为的位置信息由阈值化的相似性地图得出,如图8所示。

众所周知，包含异常行为的视频段与已发现视频之间的相似性较低。因此本发明利用相似性地图来判定异常行为。相似性地图的构建基于一个阈值。在本发明的实验部分，本发明统一采用了一个阈值来应用在所有测试集上，并画出相似性地图。并且在相似性地图构建前，本发明引入了时空中值滤波来减小了噪声的影响。

为了验证本发明的方法能够通过建立轨迹片段的拓扑结构，并利用概率机制检测异常行为，特列举验证例进行说明。

本发明引入了许多数据集来衡量本异常行为算法的效率和准确性。本发明用了三个异常行为数据集：UCSD行人数据集，此数据集最近公布并包含两个集合；subway数据集；mall监控数据集。除了第一个数据集，另外两个都是在真事场景下采集的。为了评判算法性能，本发明将所提出算法与其他算法进行比较。例如组成推理法(IBC)，混合动态纹理法(MDT)，时空马可夫随机域法(ST-MRF),局部光流法，以及时空方向能量滤波法。其中IBC法近年来被视为基于像素法的较精确方法之一，与本算法具有相似性能。IBC法通过验证时空小方块和它周围区域的排列来计算图像中每个点的异常可能性。ST-MRF法用局部光流的多重概率PCA模型来建模正常行为，而MDT法可视为基于纹理的动态模型延伸，并且能够同时检测时空异常。虽然后者需要较庞大的训练数据集，但由于其在UCSD数据集上有较好的表现，所以仍用于本发明的算法比较。

本发明使用的第一个数据集为UCSD数据集。此数据集包含了两个行人行走的子数据集，期中含有随机的异常行为发生。此数据集含有不同的拥挤场景，它其中的异常行为是非正常的行人行走方式，例如骑行、轮滑、推车前行以及轮椅前行。UCSD数据集的第一个子数据集ped1包含了34个正常的子视频和36个包含异常的子视频；第二个子数据集ped2包含了16个正常的子视频和14个测试视频。图9(a)至图9(p)显示了本算法在这两个子数据集上的异常行为检测结果，检测出的异常行为用黑色方框表示。图中骑行，轮滑以及驾驶被标记为异常行为。

第二个数据集包含了地铁站的两个真实场景视频。分别是入口和出口的监控视频。入口监控视频时长为96分钟，它包含的正常行为包括下行穿过门禁进入站台。入口视频还包含了共66个异常行为，主要是行走方向错误，不规律的行人运动(突然行下、快速跑动)等。出口视频的时长为43分钟，包含了19个异常行为。主要是行走方向错误以及在出口处闲逛逗留。此数据集没有标记训练以及测试数据。图10(a)至图10(p)显示了此数据集中的一些帧的异常行为检测结果，其中图10(a)至(h)显示了入口检测帧，图10(h)至(p)显示了出口检测帧。异常行为被黑色方框标记出。异常行为检测结果为：图10(a)至(d)为一个行人不合法规地翻越入口；图10(e)至10(h)一个人从入口走出；图10(i)至(p)行人从出口进入。

第三个数据集mall数据集也是在真事实景下采集的，它的场景较前两个场景更加拥挤，包含了2000个视频帧中超过60000数量的行人。尽管此数据集的行人变化很复杂，但是异常行为的模式比较简单，例如摔倒或者突然改变运动方向等。本实验选用了其中的一个数据集，与subway数据集相似的是，此数据集也没有训练和测试序列。图11(a)至图11(l)显示了此数据集的异常行为检测结果，图11(a)至(b)表示向远离摄像机方向奔跑。图11(c)至(e)表示向摄像机方向快速奔跑。图11(f)至(k)表示一个人不停地来回踱步。图11(l)表示一个女人弯腰捡物品。异常行为在图中由黑色方框显示。

最后，性能估计：衡量异常行为检测算法的性能可以基于两个层面：帧级和像素级。在帧级上检测意味着只要此帧任意像素包含异常行为，则将此帧视为异常帧而不管它的位置。而像素级则将异常行为发生的位置精确到像素。本发明使用了基于像素级的检测方法，将异常的时空小方块作为异常检测单位。很明显，这在难度上要大于帧级检测。

本发明在USCD数据集上进行了异常行为检测，并将异常在正确结果图上标记出来。因此检测的异常时空小方块会与正确结果图进行比较。对于UCSD行人数据集，当实际异常行为的40％像素被检测出时，就视为本方法检测结果正确。否则视为误检。表格1显示了本算法正确检测的视频帧检测百分比，并与其它方法进行比较。本算法分别与其它7种方法做了比较，分别是MDT法,Zaharescu and Wildes,Bertini et al,Reddy et al,ST-MRF,Local optical flow,IBC。

表格1

表格1的结果显示出本方法和IBC方法在性能上优于其它方法。而且，当空间发生变形时(ped1)本方法可检测异常行为的鲁棒性较高.实验结果表明光流法在此数据集上的检测结果不佳。相对于其它实时性算法，本算法在计算效率上也具有一定的优势。此外，本算法需要的初始化训练帧也明显少于其它算法。可以看出，利用了时空上下文信息的方法例如时空方向能量滤波法以及本算法在速度上要优于其它算法。

本发明也在其他真实场景数据集上做了实验，即subway数据集。由于没有提供只包含正常行为的训练集，此数据集的训练策略不同于UCSD数据集。因此本发明选择了入口视频的前5分钟和出口视频的前15分钟作为初始化训练集。实验结果展示在表格2中。本发明将本算法与其它3中异常行为方法进行了比较。分别是稀疏重建法，ST-MRF和局部光流法。实验结果表明本方法在性能上达到了较好的效果。

表格2

在数据集subway上的对比实验。表格中第四列的第一个数字表示检测到的异常行为个数，第二个数字表示实际的异常行为个数。

虽然上述实验结果表明本算法能在不同场景下检测出复杂的异常行为，本发明仍然引入了mall数据集。此数据集采用了类似于subway数据集的初始化方法。本发明将本算法与其它两个基于像素级的检测方法进行了比较：时空方向能量法以及局部光流法。由于方法在此数据集中的检测结果不理想，本发明没有与它进行比较。表格3显示了此数据集的实验结果。实验结果表明本算法在性能上优于另外两个对比算法。

表3

在数据集mall上的对比实验。表格中第三列的第一个数字表示检测到的异常行为个数，第二个数字表示实际的异常行为个数。

综上，本发明的方法，利用稠密跟踪轨迹更加有效地表示视频序列。公共数据集UCSD,subway和mall等的测试体现出了本算法的检测效率。实验表明本算法的性能优于传统的基于光流法等的方法。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于稠密轨迹小片段的异常行为检测方法，其特征在于，包括以下步骤：

步骤A、将视频划分为时空小方块；

步骤B、在时空小方块内构建稠密光流域以获取稠密轨迹小片段；及利用轨迹小片段方向直方图从角度和幅值量化轨迹小片段，得到轨迹小片段所对应的HOT描述子；

步骤C、将所得轨迹小片段的HOT描述子作为码本单词构建码本，根据码本单词及构建的码本建立轨迹小片段的相似性拓扑结构，并利用先验概率检测方法计算每个时空小方块中的轨迹小片段是否异常，及根据码本中码本单词的相似性判定所对应的轨迹小片段是否为异常。

2.根据权利要求1所述基于稠密轨迹小片段的异常行为检测方法，其特征在于：所述步骤B获取稠密轨迹小片段包括：

从构建稠密光流域获取兴趣点，跟踪光流域的兴趣点获取跟踪轨迹；

由跟踪轨迹在时空小方块的若干个帧内形成稠密轨迹小片段。

3.根据权利要求1所述基于稠密轨迹小片段的异常行为检测方法，其特征在于：所述步骤B计算轨迹小片段的角度和幅值采用公式：

<mrow> <msup> <mo>&amp;part;</mo> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msup> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mfrac> <mrow> <mo>(</mo> <msubsup> <mi>y</mi> <mrow> <mi>e</mi> <mi>n</mi> <mi>d</mi> </mrow> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>y</mi> <mrow> <mi>b</mi> <mi>e</mi> <mi>g</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mrow> <mi>e</mi> <mi>n</mi> <mi>d</mi> </mrow> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>x</mi> <mrow> <mi>b</mi> <mi>e</mi> <mi>g</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msubsup> <mo>)</mo> </mrow> </mfrac> </mrow>

<mrow> <msup> <mi>MAG</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msup> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>{</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mrow> <mi>f</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>x</mi> <mi>f</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>y</mi> <mrow> <mi>f</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>y</mi> <mi>f</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>}</mo> </mrow>

其中，表示时空小方块i中轨迹小片段t的角度；MAG^t,i时空小方块i中轨迹小片段t的幅值；和表示时空小方块i中轨迹小片段t的进出点；f和f+1表示时空小方块的邻域帧。

4.根据权利要求1所述基于稠密轨迹小片段的异常行为检测方法，其特征在于：所述步骤C包括将相似的HOT描述子归为同一个码本单词来构建码本。

5.根据权利要求1所述基于稠密轨迹小片段的异常行为检测方法，其特征在于：所述步骤C还包括利用欧式距离权重升级码本单词。

6.根据权利要求1所述基于稠密轨迹小片段的异常行为检测方法，其特征在于：所述步骤C建立轨迹小片段的相似性拓扑结构包括：

定义轨迹小片段的集合，确定每个轨迹小片段至集合中心轨迹小片段的相对位置；

根据每个轨迹小片段以及其与中心轨迹小片段的相对位置，确定轨迹小片段的集合以及轨迹小片段的拓扑结构。