CN103392187A - 利用从物体轨迹数据获取的统计和语义特征的场景活动分析 - Google Patents

Abstract

根据场景活动分析中每个轨迹彼此间的相对距离，出现在场景中的物体轨迹信息可以用于将轨迹聚类为多组轨迹。由此，轨迹数据的数据库可以保存包括被聚类为轨迹组的轨迹。该数据库可以用于训练聚类系统，并且利用从作为结果的轨迹组中提取的统计特征，可以对新轨迹进行分析以确定该新轨迹是正常的还是异常的。在此所描述的实施例可以用于确定视频场景是正常的还是异常的。如果该新轨迹被识别为正常，使用所提取的语义数据可以对该新轨迹进行注释。如果该新轨迹被确定为异常，用户可以得到已发生异常行为的通知。

Description

利用从物体轨迹数据获取的统计和语义特征的场景活动分析

背景技术

我们生活的许多方面日益受到监控和记录。视频监控是普遍的，例如新闻、一般信息和安全性目的的记录场景。安全摄像机记录所需位置（例如银行、店面、自动取款机、企业、道路、公园等）的可视信息。

典型的场景活动分析方法要求操作者使用细节（例如位置、时间和事件类型）来指定感兴趣的事件。这在监控摄像机数量大的情况下不仅费力，而且可能丢失之前从未发现的重要事件。

简要概括

根据本发明的一些实施例公开了用于提供有关视频场景的场景活动分析和/或轨迹信息摘要的方法。这种方法可以包括获得视频场景元数据，该视频场景元数据包括关于移动穿过视频场景的多个物体的轨迹的信息。多个轨迹中的每个轨迹按照它们彼此间的相对距离可以被聚类为轨迹组，并且至少部分地基于所述聚类，多个轨迹中的每个轨迹可以被归类为正常轨迹或异常轨迹。有关轨迹组的统计特征可以被提取，并且它们可以用于将轨迹归类为正常轨迹或异常轨迹。可以为每个轨迹组或为每个正常轨迹提取语义数据，并且使用该语义数据（例如以元数据的形式）可以对每个正常轨迹进行注释。

在一些实施例中，聚类可以包括使用多个不同距离度量的多个聚类迭代。在一些实施例中，所述距离度量可以包括轨迹之间的最小距离、轨迹之间的最大距离或轨迹之间的平均距离。在一些实施例中，轨迹组中的统计特征可以包括：物体高度、物体宽度、物体大小、物体速度、物体外观颜色、物体形状、轨迹长度、轨迹持续时间的平均值和标准偏差、移动方向概率、空间上发生的可能、时间上发生的可能等。统计特征间的相似性可以用于聚类。也就是说，具有相似统计特征的轨迹可以聚类在一起。在一些实施例中，所述语义数据包括入口区域、出口区域、代表性轨迹、转折点（pivotal point）和轨迹模式方向、和/或不同轨迹模式间的交叉区域。在一些实施例中，正常轨迹可以是具有与组内其他轨迹相似的统计特征的轨迹。在一些实施例中，异常轨迹是与任何轨迹组都没有关联的轨迹。

本发明还公开了存在于非暂时处理器可读介质上的用于提供关于视频场景的轨迹信息的计算机程序产品。所述计算机可读介质包括指令，用于：根据多个轨迹中的每个轨迹彼此间的相对距离，将每个轨迹聚类为轨迹组；至少部分地基于所述聚类，将每个轨迹归类为正常轨迹或异常轨迹；从每个轨迹组或每个正常轨迹中提取语义数据；以及使用该语义数据对每个正常轨迹进行注释。在一些实施例中，所述指令可以引起所述处理器将多个轨迹中的每个轨迹聚类为轨迹组，包括被配置为引起所述处理器使用不同距离度量迭代地聚类所述多个轨迹的指令。在一些实施例中，如果轨迹被归类为正常轨迹，还包括基于与已分类的一组轨迹相关联的轨迹对正常轨迹进行注释。

本发明还公开了包括输入端、存储器和处理器的轨迹分析系统。该输入端可以被配置成用于接收视频场景元数据，该视频场景元数据包括当物体在视频场景内移动时，关于该物体的轨迹的信息。处理单元可以被通信地耦合到该输入端和该存储器。并且该处理器可被配置用于：根据先前经分析的轨迹中的轨迹之间的相对距离，将每个轨迹聚类为轨迹组；至少部分地基于所述聚类，将每个轨迹识别为正常轨迹或异常轨迹；以及将每个正常轨迹注释为正常轨迹或异常轨迹。

在一些实施例中，处理单元可被配置成用于从每个轨迹组或每个正常轨迹中提取语义数据并且使用该语义数据对正常轨迹进行注释。轨迹分析系统也可以包括用户接口，并且处理单元被配置成在如果一个轨迹为异常轨迹时，通过用户接口通知用户。该轨迹分析系统也可以包括摄像机。

本发明还提供了用于确定视频场景中异常行为的方法。该方法可以包括：从场景的视频数据中创建正常轨迹的数据库，该场景包括沿着轨迹移动穿过场景的多个物体；识别该视频场景内的新轨迹；确定该新轨迹是否是正常轨迹；以及如果该新轨迹不是正常轨迹，通知用户。正常轨迹包括与该视频场景内的多个先前轨迹进行聚类的轨迹。在一些实施例中，正常轨迹包括其距离根据统计特征相似性与组内的多个先前轨迹相接近的轨迹。

在一些实施例中，创建正常轨迹的数据库可以包括：根据每个轨迹与其他轨迹的相对距离，将每个轨迹聚类为轨迹组；至少部分地基于所述聚类，将每个轨迹归类为正常轨迹或异常轨迹；以及将分类结果保存在数据库中。一些实施例中，确定新轨迹是否是正常轨迹包括根据统计特征相似性，确定该新轨迹与存储在数据库中的一个或多个正常轨迹之间的相对距离。

本发明还提供了包括输入端、用户接口、存储器和处理单元的轨迹分析系统。该输入端可以被配置成用于接收视频场景元数据，该视频场景元数据包括当物体在视频场景内移动时，关于该物体的轨迹的信息。该存储器可以被配置成用于存储场景的视频数据中的正常轨迹，该场景的视频数据包括沿着轨迹移动穿过场景的多个物体，其中正常轨迹包括与该视频场景内多个先前的轨迹进行聚类的轨迹。处理单元可以被通信地耦合到该输入端和该存储器。并且该处理单元可以被配置成用于：识别该视频场景内的新轨迹；确定该新轨迹是否是正常轨迹；以及如果该新轨迹不是正常轨迹，通过用户接口通知用户。

根据一些实施例，正常轨迹在该新轨迹根据统计特征导出的分值接近多个先前的轨迹时被识别为正常轨迹。在一些实施例中，该新轨迹基于与所述多个轨迹间的相对距离被识别为接近另一轨迹。该相对距离可以是轨迹之间的最小距离、最大距离和平均距离。在一些实施例中，该新轨迹不仅基于其与所述多个轨迹之间的相对距离被识别为接近另一轨迹，而且还考虑了它们在移动方向、速度、或出现时间等方面的相似性。

在本发明的一些实施例中，轨迹信息可以被用来根据每个轨迹彼此之间的相对距离将轨迹聚类为轨迹组。由此，可以维持轨迹数据的数据库，该数据库包括被组织为轨迹组的轨迹。该数据库可以被用来训练用于识别一个轨迹或一组轨迹为正常和/或异常的系统。根据此信息，可对新轨迹进行分析以确定该新轨迹是正常的还是异常的。这里所描述的实施例可以被用来确定视频场景是正常的还是异常的。如果该新轨迹被确定为异常，用户可以得到已发生异常行为的通知。

在此所描述的项和/或技术可以提供下列一个或多个功能，和/或未提及的其它功能。捕获的图像（如视频）中，较高兴趣的项可以使用比较低兴趣的项更高的分辨率进行显示。较高兴趣的项和较低兴趣的项可以在不同显示器或者单个显示器上进行显示。观察者在显示器上可以相比其他项更清晰地查看兴趣项。活动的物体可通过使用比静止或相对静止的物体更高的分辨率进行跟踪和显示。物体可以使用显示器中较高分辨率的一部分进行显示，以促进使用人眼的高分辨率部分的查看。此外，上面提到的效果可能通过采用不同于所提到的方法得以实现，并且所提到的项/技术可能不一定产生所提到的效果。

附图简述

本专利或申请文件包含至少一幅彩色附图。当请求并且支付必要的费用时，带有彩色附图的该专利或专利申请公开的副本将由专利局提供。

图1是活动摘要（activity summarization）过程的流程图。

图2是活动摘要过程的更详细的流程图。

图3A是各种轨迹的5个节点图。

图3B示出了5个样本轨迹。

图4是对轨迹进行聚类的过程的流程图。

图5是通过迭代的本地节点分组对组内节点进行聚类的过程的流程图。

图6是构建以种子为中心的一组节点的过程的流程图。

图7A-7F是在其上叠加了轨迹的场景实施例。

图8是活动摘要过程的流程图。

图9是处理单元的功能框图。

图10是显示了各种轨迹的影响力区域的框图。

详细描述

本发明公开了分析场景活动的技术。在一些实施例中，技术可以自动获取在场景（视野）内活动的物体的正常行为，并提取这些行为的统计特征和语义特征。所获取的特征可以被用来在分析正常场景行为的同时，识别异常现象。使用这些技术，操作者不需要具有先验的场景知识和像大多数当前视频分析系统那样设置事件规则。

活动摘要的目的之一是为了发现语义上有意义方式下的物体行为的根本模式。在一些技术中，这可以通过分析活动物体的轨迹数据来完成，该活动物体的轨迹数据是从有关是什么、在哪里、在何时以及该物体如何出现在该场景中的视频分析算法中得到的。语义信息能帮助以不同方式对在场景中发生的物体活动的分析，该不同方式从低级别的事件检测，到中级别的事件检测，以及到高级别的活动理解和抽象、法医搜索等。场景活动的语义表示可以通过数据驱动聚类方法自动获取，或必要时通过较小的人工交互获得。

在一些实施例中，考虑一组物体的轨迹，按照它们的目的，这些轨迹可以根据所选特征（如空间位置）进行分组并产生聚类，并且随后应用作为结果的聚类以根据统计特征和语义特征来对它们的共同属性进行建模。使用所获取的统计特征，物体的行为可以被归类为正常活动或异常活动，并且正常活动通过使用其所属聚类的语义特征可以进一步被注释。

当物体在摄像机场景内从一个位置移动到另一个位置时，该物体的视觉再现可以通过轨迹表示。轨迹包括一系列根据被该物体按照出现顺序访问的图像像素坐标的空间位置。轨迹可以建模为

$T_o=\left\{(x_i^o,y_i^o,f_i^o)\right|i=i_s^o...,i_e^o\}$

其中

表示物体o的监控场景的2D图像中的坐标，以及

表示离散时间i的物体特征，该离散时间i的范围可以从物体的开始时间

到物体的消失时间

为了方便起见，可以将其简化为轨迹T_o的对应观察结果的索引编号，具体地，1对应在开始时间的第一次观察结果，2对应第二次观察结果，等等。因此，具有物体o的m个观察结果的轨迹可以被表示为

$T_o=\left\{(x_i^o,y_i^o,f_i^o)\right|i=1...,m\}.$

物体特征

可以表示包括物体移动方向、速度、外观、物体高度、物体宽度等的一系列特征。

参考图1，过程100在方框102处开始并包括4个概括性方框，用于制作场景活动摘要和分析。这些方框包括轨迹预处理104、正常轨迹聚类106、聚类特征提取108和活动分析110。过程100然后在方框112处结束。但是，过程100仅是示例，而非限定。过程100可以被改变，例如通过添加、移除、重排、组合、和/或同时执行方框来进行。

参考图2，过程200包括图中所示的方框，它是场景活动摘要和分析的更详细的过程。但是，过程200仅是示例，而非限定。过程200可以被改变，例如通过添加、移除、重排、组合、和/或同时执行方框来进行。对记录的视频场景可以进行视频分析，并且视频场景内物体的各种轨迹可以被存储在轨迹数据库205中。这些轨迹可以在整个过程200中被使用。可以使用各种技术来生成轨迹数据。此外，轨迹信息可以通过与视频场景相结合或与其分离的方式被存储为元数据。过程200在方框210处开始。在方框215中，轨迹数据被用来生成轨迹数据的图形表示，每个节点呈现轨迹，而边指示在其两个连接的节点之间的距离（如两个轨迹之间的空间距离）。在方框220处，使用将图形分离成子图的图形划分算法可以对轨迹进行聚类。例如，可以制得这样的子图，该子图内的节点包括种子轨迹的最近的相邻节点，根据其分布的统计，这些最近的相邻节点落入该种子轨迹的预期距离范围内。轨迹的聚类基于距离自动生成并且不需要预先知道聚类的数量。作为结果的聚类在用来对图形进行聚类的距离度量的基础上可以变化并且反应不同的性质。因此，使用基于聚类算法的相同图形，可以获得不同的聚类结果以生成不同目标的目的。例如，这可以通过运行控制方框225来完成。

在一些实施例中，可能发生三个聚类运行。其中每个可以包括不同参数，这些不同参数与图形边的距离矩阵的定义、聚类统计更新方案和/或剩余轨迹（不属于任何聚类的轨迹）的处理有关。例如，运行1和2可以被设计用于预处理阶段的轨迹选择。例如，运行3可以被设计用于正常轨迹聚类。例如，每个运行可以使用不同的距离度量对轨迹进行聚类。首先来看运行1。此运行可以采用严格的距离度量来对空间上接近的轨迹进行严格分组并且基于来自方框230处的操作者输入产生聚类。例如，运行1可以使用轨迹之间的最大距离作为聚类度量。如另一个例子，运行1可以使用下面定义的称为距离1的数学函数作为聚类度量。来自方框230处的操作者输入能确定聚类和相关的成员轨迹是否需要被从方框235处移除。在一些实施例中，可以跳过运行1，并且所有收集到的轨迹可以进行运行2。这可能取决于操作者输入是否希望这样。

运行2可以相似于运行1，但所使用的距离度量不是那么严格。在一些实施例中，运行2可以基于轨迹之间的最小距离对轨迹进行聚类。如另一个例子，运行2可以使用下面定义的称为距离2的数学函数作为聚类度量。从运行2中得到的结果可以生成在轨迹中具有更多兼容性的聚类。例如，如果存在两个轨迹，使得其中一个是另一个的一部分，运行2可以确定这两个运行彼此非常接近。

轨迹通过运行1和运行2进入运行3进行进一步聚类。第三距离度量在运行3中被定义，用于计算轨迹之间的平均距离。这不同于使用轨迹之间最大距离的运行1和使用轨迹之间最小距离的运行2。产生正常活动聚类来表示监控场景中的物体轨迹的典型模式。如另一个实例，运行3可以使用下面定义的称为距离3的数学函数作为聚类度量。

方框240可以确定所有过程（例如三个运行（如果三个运行都使用了））是否已经完成。如果是，有关每个轨迹聚类的统计特征可以在方框245处被提取。这些统计特征可以包括，例如物体和轨迹特征（例如物体高度、物体宽度、物体大小、物体速度、物体外观颜色、物体形状、轨迹长度、轨迹持续时间)的平均值和标准偏差、方向概率、空间上发生的可能、时间上发生的可能等。以及在方框250处，可以提取语义特征。这些语义特征可以包括，例如代表性轨迹、入口区域、出口区域、不同轨迹模式之间的交叉区域、转折点和轨迹模式的方向等。

在方框255处，每个轨迹可以被归类为与作为结果的聚类相关联的正常活动或不属于任何聚类的异常活动。例如，此归类可以使用在方框245处提取的统计特征。在一些实施例中，识别轨迹为异常值（outlier）可能是引起关注的原因。例如，在安全场所（例如机场或军事基地），异常行为可能与异常轨迹有关。因此，视频摄像机可以记录来自这些场所的场景并且在此描述的实施例可以将活动归类为异常活动。如果发现这样的活动，管理部门可能得到警告（例如通过发出警告声等等）。如果在方框260处判定轨迹包括正常活动，那么使用语义特征在方框265处可以对该轨迹进行注释。不管在方框260处做出的判定为何，所得结果可以被记录到数据存储器265中，并且过程200可以在框270处结束。

在一些实施例中，不同物体的轨迹可以使用距离度量作为聚类标准进行分组。例如，可以使用一对轨迹之间的空间距离。根据目标任务，可以定义距离度量用于轨迹的离散表示。

假设训练数据集有t个轨迹，用T={T_o|o=1,…,t}表示。设d_ab=d(T_a,T_b)为T_a和T_b之间的距离。训练数据集可以被表示为无向图G=(T,E)，其中T为一组轨迹节点（节点o表示T_o），而E为一组边（边E_ab连接节点a和节点b，其权重d_ab表示两个相连接节点间的距离）。

训练轨迹数据可用时，该距离可以用图形形式表示。图3A中提供了5个节点图的实例，该节点图对应图3B中的5个样本轨迹。当根据它们的空间接近性将它们聚类为组时，通过观察图3B将它们分成两组是合理的。这也可以通过划分图3A中的等效图来完成，其中T₁、T₂和T₃彼此接近，因而可以形成一组，而T₄和T₅彼此接近，因而可以形成另一组，因为每组成员轨迹节点之间的内部距离小，而两组之间的距离大。对于大量的训练轨迹，将图形分为子图可能是具有挑战性的。

不同轨迹可能有不同数量的观察结果，并且测量其中一对轨迹之间的距离可以通过例如通过取样或内插这样的技术先将其归一化为统一的长度（即具有相同数量的观察结果），然后应用传统的距离度量来计算距离的方式完成。另一种可选择的方法是采取可以计算两个不同尺寸点集之间的距离（例如豪斯多夫距离（Hausdorffdistance））的度量。如上所述，结合图2对三个不同聚类运行进行了描述，其中每个运行使用不同的距离来达到不同的目标。考虑两组轨迹，物体a的

物体b的 $T_b=\left\{(x_j^b,y_j^b,f_j^b)\right|j=0,...,n\},$ 三个距离度量定义如下：

距离1： $d_{\mathrm{ab}}^{\max }=\max (d(T_a,T_b),d(T_b,T_a)),$ 其中

$d(T_a,T_b)=\underset{i\∈\{i,...,n\}}{\max }\left(\underset{j\∈\{1,...n\}}{\min }\left(\right||(x_i^a-x_j^b),(y_i^a-y_j^b)|\left|\right)\right)$ 为从T_a到T_b的有向距离，并且

可以取点

和

之间的城市街区距离（city block distance）或欧式距离（Euclidean distance）。类似地，d(T_b,T_a)为T_b到T_a的有向距离。有向距离度量d(T_a,T_b)的基本概念为找到每个T_a观察结果相对于每个T_b观察结果的所有距离的最小值，然后取最大值作为从Ta到Tb的有向距离。最后，

取d(T_a,T_b)和d(T_b,T_a)中较大一个作为两个所考虑的轨迹之间的无向距离。

距离2：

其中取d(T_a,T_b)和d(T_b,T_a)之间的较小值。

距离3： $d_{\mathrm{ab}}^{\mathrm{avg}}=\max (d^{\′}(T_a,T_b),d^{\′}(T_b,T_a)),$ 其中

$d^{\′}(T_a,T_b)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\min }_{j=1}^{n-1}\left(d(x_i^a,y_i^a,L(x_j^b,y_j^b,x_{j+1}^b,y_{j+1}^b)\right),$

并且，如果从

到的垂线的基点位于

内，则

为从点

到连接和

的线段

的垂直距离；否则，

取从到和

的两个距离的较小值。不同于距离1，距离3首先计算从一个轨迹到其他轨迹的每个观察结果的所有垂直距离中的最小距离的平均值，然后选取最大值。

在一些实施例中，两个参数可以被用来控制聚类过程：参数更新模式和移除标志。参数更新模式控制在聚类过程进行时如何更新聚类的距离统计，并且它可以有两种选择：加权平均值和直接算术平均值。参数移除标志可以用于促进异常值轨迹的移除。如果该移除标志是开启的，那么当聚类过程终止时所有剩余未聚类的轨迹被当作异常值并因此被移除。这种轨迹在进一步的聚类过程中不再做考虑。否则，所有剩余未聚类的轨迹将被当作独立的单独聚类并在下一级聚类中进行进一步处理。

参考图4并进一步参考图1-3，过程400包括图中示出的方框，用于对轨迹进行聚类。但是，过程400仅是示例，而非限定。过程400可以被改变，例如通过添加、移除、重排、组合、和/或同时执行方框来进行。过程400在方框402处开始。距离矩阵在方框404处可以被建立。该距离矩阵可以包括图3A的图形表示中的边权重。例如，每一个轨迹与其他每个轨迹之间的距离可以被计算并置于该区域矩阵内。本文中所描述的各种技术可以被用于计算该区域矩阵中的项。

在方框406处，对于每个节点，按照到给定的节点的距离从最近到最远的顺序对所有其他节点进行排序。在方框408处，所有节点可以被分配到一个初始组（如组0），并且该组可以被推入聚类的队列。在方框410处，对该聚类队列进行检查以确定该聚类队列是否是空的。如果该聚类队列是空的，则聚类完成并且过程400前进到方框418。如果该聚类队列不是空的，那么节点的首个组被从该队列中取出，在方框412处对该组内的节点进行聚类。在方框414处，对作为结果的组可以执行后处理。需要进一步处理的组在方框416处被推入聚类队列。

例如，方框414中的后处理可以包括三个阶段。第一阶段，计算组内节点（每个节点表示一个轨迹）轨迹长度的平均值和标准偏差。仅长度在平均长度附近的一定范围内（预设比例乘以长度的标准差）的那些节点被保留，而其他长度过长或过短的节点被认为是异常值并被从该组中移除。第二阶段，如果该组的节点数量小于预先设定的阈值，该组将被移除。第三阶段，确定该组是否需要进一步聚类。如果平均轨迹长度小于其长度标准偏差的2倍，则在方框416处，将其推入聚类队列；否则，该组将被认为是作为最终结果的组，并被传送至步骤418以进行基于聚类的分析。

参照图5，过程500包括图中示出的方框，通过迭代本地节点分组对组内节点进行聚类。如这里所描述的所有过程，过程500仅是示例，并非限制。过程500可以被改变，例如通过添加、移除、重排、组合、和/或同时执行方框来进行。例如，过程500可以执行图4的方框412中或图2的方框220中所示的聚类。在一些实施例中，通过逐渐合并根据预定的合并标准还没有进行聚类的邻近节点，组内聚类可以迭代地产生输入节点的子分组，并且随后选出最优的子分组作为下一个新组（聚类）直到不再有新组产生为止。

每个输入节点在方框505处被视为种子轨迹（给出如节点1、2和t的三个样本）。在方框510处，该种子轨迹可以在通过组合该种子的最近的相邻节点（例如使用图6中所示的过程600）而形成的本地组处居中。因此，每一输入节点具有自己的本地组（510-1、510-2、510-t）。该本地组的质量可以通过其表示组内节点接近程度的紧凑性来测量。该组内所有边（如，对所有可能的节点对）的平均距离越小，该组越紧凑，并且其质量越好。

在方框515处，这些节点可以被分成两种类型的组：一元组和非一元组。如果本地组具有两个或多个节点，该组为非一元组并将其添加到方框520处的非一元组集中；否则，该组为一元组并将其添加到方框525处的一元组集中。一元组的存在表明相关种子节点在某种意义上的直接距离远离于其它节点。在方框530处，对非一元组集进行检查以确定是否存在任何非一元组。如果存在非一元组，所有存在的非一元组中的节点在方框535处按照紧凑性的降序进行排序。这可以通过使用任何类型的排序算法来完成。而且，在方框540处，对节点进行逐个分析以确定它们是否是真正的新组，并且如果是，则在方框545处对它们进行标记。如果其所有节点不属于任何先前的新组，或其属于先前的组的节点接替如在图6中示出的过程600中确定的其节点索引集末尾的连续位置，可认为该组是真正的新组。

在确认所有候选本地组后，对于这些未被接受的非一元组中的每一个，其未分组节点（未聚类到任何新组的节点）在方框550处被移动到剩余节点组，并且在方框555处用新剩余节点对该剩余节点组进行更新。该剩余节点组可以包括未分配给任何新组的节点。剩余节点组中的所有节点然后被送回到方框505处进行组内聚类的下次迭代。继续该过程直到所有本地组在方框530处被识别为一元组，并且迭代聚类过程终止并进一步在方框512处进行后处理。最终的剩余节点组和所有先前获得的新组是作为最终结果的组，这些组被进一步送至后处理阶段。

参照图6，过程600包括图中示出的方框，用于构建集中在种子节点处的一组节点。过程600的目的是为了使轨迹种子的可用最近的相邻节点合并到组中直至合并准则被打破。过程600仅是示例，而非限制；它可以被改变，例如通过添加、移除、重排、组合、和/或同时执行方框来进行。过程600在方框605处开始并在方框610处将输入节点选为轨迹种子。在方框615处可以对过程参数进行初始化。例如，可以设定以下参数：G为本地组中的节点集，n_g为组G中的边（例如节点对的数量）数，s_g为组G中的边的距离之和，以及δ为平均距离，设定为20。尽管这些初始值在图中以特定值示出，这些值仅作为示例。可以使用任何数值进行初始化。该种子的下一个可用最近的相邻节点n可以在方框620处选出。在方框625，可以检索从距离矩阵到该种子的距离。

如在方框630中检验的，如果该距离小于平均距离δ的2倍，所述四个参数在方框635处进行更新。否则过程600前进至方框645。例如，这些参数可以进行如下更新：边数随着G中（例如，连接G中存在的节点与所选择的近邻节点的新边数量）的节点数增加，并且边距离之和s_g随着这些添加的边距离增加。然后将近邻节点n加入到G中并且平均距离δ通过加权函数也被更新。在所述参数在方框635中被更新之后，剩余的近邻节点在方框640处被检查。如果有任何近邻节点仍是还未被考虑的，那么通过返回到方框620处进行下一次运行迭代。否则，不需要进一步的分组，过程600前进至方框645。

返回至方框630处，如果所选择的近邻节点离该种子的距离为至少2倍的平均距离，则该节点不具有成为以该种子为中心的组中成员的资格。然后过程600前进至方框645。如在步骤645中检验的，如果G仅具有该种子，那么G是一元组并且在方框650处对其附加标志。该标志可以用于阻断该种子在随后迭代中的进一步分组。如果G具有两个或多个节点，本地组G_i在步骤655中产生，并计算其对于此本地组中所有边的平均值并将其作为G_i紧凑性的指标保存在δ_i中。

如前所述，聚类过程600的三次运行可以用于获取场景活动模式。运行1和运行2的目的是进行预处理以移除训练数据集中的异常值轨迹并且运行3是进行轨迹模式发现的正式处理。如果通过异常值移除对训练数据集进行预处理，则不需要运行1和2。当采用运行1和2时，它们通过与上面提出的聚类过程相同的方法来实现，并且对其稍加改动来加速该过程。例如，在运行1中，距离度量取距离度量1，并且加权平均值被从近邻节点到该种子的所有距离的平均值的直接算术平均值代替。在运行2中，距离度量取距离度量2，并且加权平均值被直接算术平均值代替。运行3可以使用距离度量3进行聚类过程600。

在运行1聚类中，可以采用上面所描述的豪斯多夫距离度量

即距离1，因为此种度量易于表现出轨迹之间的差异。例如，即使一个轨迹在它们的坐标中是其他轨迹的一部分，

的值也可以是大的。通过使用

在每个作为结果的聚类中的轨迹被认为在保守的和严格的意义上是相似的。这意味着，仅真正相似的轨迹可以属于同一聚类。操作人员通过用户友好界面可以移除异常值聚类。剩余未聚类的轨迹不被移除，除非由人工操作来完成。运行1聚类的目的是提供候选异常值聚类来由操作人员进行移除，同时通过每个子聚类的后处理自动移除怪异轨迹。

在运行2聚类中，采用如上所述的距离2

的度量，这导致能够允许组内轨迹之间的差别的聚类。例如，按照人为判断，分配到同一聚类的轨迹仍然可能明显不同。这种情形的一个例子是两个轨迹的距离

即使在它们的观察结果的坐标中一个是另一个的一部分时亦是如此。运行2聚类的目的是通过每个子聚类的后处理自动移除怪异轨迹。

在运行3聚类中，采用上面所述的距离度量3。由于对距离3使用取平均值的操作，此度量考虑了一个轨迹对于其它轨迹的每个观察结果之间的每个距离。因此，它可以是关于两个轨迹之间距离的真正的整体指示。它不如运行1聚类中的距离1敏感，也不如运行2聚类中距离2宽泛。

聚类之后，训练数据集中的场景活动被减少为多个组，每个组由空间上彼此接近的轨迹组成并且根据其在场景中的空间分布（例如场景活动的空间模式）形成特定聚类。例如，图7B示出了来自图7A中显示的交通训练轨迹数据的彩色编码轨迹聚类。显然，获取的聚类正确地揭示了相应现场交通路线的交通流形态。

给定获取的组G_i，通过在被访问的几何位置上考虑其全部成员轨迹，可以对其统计信息进行提取。需要一种机制在轨迹周围区域内传播其影响，使得其特征（如物体宽度、高度，发生时间，移动方向和速度、例如其所属的组等）可以被传达到其空间的邻近位置。为此，可以定义轨迹在其周围区域内的影响力范围。例如，图10示出了在位置A，B，C和D上的具有4个观察结果（实心正方形表示的4个物体）的轨迹。其影响力范围是由以轨迹路径A→B→C→D为中心的封闭虚线限定的内部区域，并且边界距该路径的最近位置的距离为在该最近位置处的插值宽度的预设比例（例如在图10中为0.5）。

为了计算图10中位置P处的内插宽度，首先找到从P落到路径线段AB的垂线基点P'；然后对分别在A和B上的两个物体宽度之间使用线性内插来估计P'处的物体宽度。类似地，可以对高度、时间发生等进行估计。并且，也可以使用位置P'处物体从A到B的方向和速度。此外，就此轨迹而言，对P'估计的任何特征将被传送到P，这在关连的组的统计特征计算时将会被考虑。影响力范围以外的区域不受此轨迹的影响。

根据影响力范围的概念，基于组的特征因此可以被计算。定义（x,y）为场景中位置的横纵坐标，dir为移动方向，具有从0到8的离散值，分别表示方向：未知（特殊方向（例如保持静止，其不是下面8个确定方向中的任何一个））、向右移动、向右前移动、向前移动、向左前移动、向左移动、向左后移动、向后移动和向右后移动。下面的统计特征定义为：

avg_width_i(x,y)：组G_i在位置（x,y）处的平均物体宽度，其被定义为该组内全部成员轨迹在位置(x,y)处的所有估计宽度的平均值。

std_width_i(x,y)：组G_i在位置（x,y）处物体宽度的标准偏差，其被定义为该组内全部成员轨迹在位置(x,y)处的所有估计宽度的标准偏差。

avg_height_i(x,y)：组G_i在位置（x,y）处物体高度的平均物体高度，按照如avg_width_i(x,y)的类似方法进行计算。

std_height_i(x,y)：组G_i在位置（x,y）处物体高度的标准偏差，按照如std_width_i(x,y)的类似方法进行计算。

avg_speed_i(x,y)：组G_i在位置（x,y）处dir方向上的平均速度，按照如avg_width_i(x,y)的类似方法进行计算。

std_speed_i(x,y)：组G_i在位置（x,y）处dir方向上速度的标准偏差，按照如std_width_i(x,y)的类似方法进行计算。

prob_dir_i(dir,x,y)：组G_i在位置（x,y）处具有移动方向dir的概率。对于每个位置，可以设定9个直方图格的直方图，其每个直方图格对应于上述定义的9个离散方向中的一个，并能被设置用来保持对组G_i中有影响力轨迹具有这个方向的移动方向的计数，并且随后对直方图进行归一化使其和为1。

prob_i(x,y)：组G_i在位置（x,y）处的聚类概率。如果位置（x,y）不在G_i的成员轨迹的任何有影响力范围内，此概率为0。否则，对于每个作为结果的组，找到组内影响力范围包括覆盖位置（x,y）的轨迹，并且随后通过三角核函数（在轨迹上为最高值1，在影响力边界为0，随着到轨迹的距离而减小）累加由那些有影响力的轨迹贡献的概率来计算该组的概率，最后归一化有影响力组的概率，使得它们的和为1。这样，prob_i(x,y)表示位置（x,y）属于G_i的可能性。prob_i(x,y)的范围从0到1。当（x,y）仅正好在G_i的轨迹的影响力范围内时，它有等于1的值。如果具有不同非零标签值的组之间存在差别，并且为场景中的每个位置分配具有最大聚类概率的该组的标签值，而0分配给不在组的任何影响力范围内的位置，那么可以获得场景活动（如图7C表示的与图7B相关的聚类图）聚类图的表示。

prob_hourly_i(h,x,y)：组G_i在位置（x,y）处在每日24小时内的发生概率。对于每个位置，可以设定24个直方图格的直方图，其每个直方图格对应1小时。例如，第1个直方图格保存从晚上12点到凌晨1点对训练数据集中位置（x,y）有影响的组G_i中的轨迹的数量的记录。此处，影响的意思为位置（x,y）在所考虑的轨迹影响力范围内。对直方图进行归一化以使其在24个直方图格上的和为1，并且因此每个直方图格表示在相应小时期间的发生概率。

如果这些轨迹在聚类的影响力范围内具有一个连贯的移动方向，语义特征也可以从轨迹聚类中获得，并且这些特征可能包括作为聚类影响区域开始部分的入口区域，作为聚类影响区域结束部分的出口区域，被定义为聚类成员轨迹之一的代表性轨迹，根据距离度量3该代表性轨迹具有与任何其他聚类成员轨迹的最小平均距离。图7D绘制了一个聚类的示例，入口区域用黑色矩形表示，出口区域用绿色矩形表示。可进一步分析每个代表性轨迹以找到其转折点。转折点是轨迹上有大的方向变化的位置。并且，利用场景中聚类的代表可以获得其交叉点。因此，代表性轨迹可以被简化并且进而被模拟为沿着其移动方向的转折点和交叉点序列。图7E绘制了图7B中所有作为结果的聚类的代表性轨迹，每个轨迹都具有用小矩形表示的转折点和交叉点。图7E中的彩色编码轨迹是图7B中用相同颜色编码的聚类的代表。

从训练数据集的角度来看，利用上述统计特征，出现在场景中的新轨迹可以归类为聚类（正常场景活动）或者不属于任何聚类（异常场景活动性）。对于轨迹T，通过考虑统计特征，计算关于它属于每个获取的聚类的程度的相似性分值，并随后采用其最大值作为最佳值。如果该最佳值小于预设阈值，则认为该轨迹不属于任何获取的聚类。否则，该轨迹为正常活动并且属于具有最大分值的聚类。

相似性分值通过对从轨迹基元（例如物体宽度、物体高度、移动速度、移动方向、空间位置、针对所得聚类的统计资料在轨迹的所有位置上的发生时间）获取的各个分值的加权求和来计算：

score_i=w_i×score_width_i

+w₂×score_height_i

+w₃×score_speed_i

+w₄×score_dir_i

+w₅×score_prob_i

+w₆×score_prob_hourly_i

其中w_i为特征的权重，并且它们控制最终分值中相关特征的影响。基于单一特征的分值按照如下方式计算：

$\mathrm{score}\_{\mathrm{width}}_i=\frac{1}{\left|\right|T\left|\right|}\underset{(x,y)\∈T}{\mathrm{\Σ}}{e}^{-(\mathrm{width}(x,y)-\mathrm{avg}\_{\mathrm{width}}_i(x,y){)}^2/(2\×\mathrm{std}\_{\mathrm{width}}_i{(x,y)}^2)}$

$\mathrm{score}\_{\mathrm{height}}_i=\frac{1}{\left|\right|T\left|\right|}\underset{(x,y)\∈T}{\mathrm{\Σ}}{e}^{-(\mathrm{height}(x,y)-\mathrm{avg}\_{\mathrm{height}}_i(x,y){)}^2/(2\×\mathrm{std}\_{\mathrm{height}}_i(x,y{)}^2)}$

$\mathrm{score}\_{\mathrm{speed}}_i=\frac{1}{\left|\right|T\left|\right|}\underset{(x,y)\∈T}{\mathrm{\Σ}}{e}^{-(\mathrm{speed}(x,y)-\mathrm{avg}\_{\mathrm{speed}}_i(x,y){)}^2/(2\×\mathrm{std}\_{\mathrm{speed}}_i(x,y{)}^2)}$

$\mathrm{score}\_{\mathrm{dir}}_i=\frac{1}{\left|\right|T\left|\right|}\underset{(x,y)\∈T}{\mathrm{\Σ}}\mathrm{prob}\_{\mathrm{dir}}_i(\mathrm{dir}(T,x,y),x,y)$

$\mathrm{score}\_{\mathrm{prob}}_i=\frac{1}{\left|\right|T\left|\right|}\underset{(x,y)\∈T}{\mathrm{\Σ}}{\mathrm{prob}}_i(x,y)$

$\mathrm{score}\_{\mathrm{hourly}}_i=\frac{1}{\left|\right|T\left|\right|}\underset{(x,y)\∈T}{\mathrm{\Σ}}\mathrm{prob}\_{\mathrm{hourly}}_i(h(T,x,y),x,y)$

在上述方案中，获得对轨迹T上各位置（x,y）的相似性，然后进行求和并通过||T||来求平均。||T||表示T的基数，正如在求和计算中涉及的T的位置数。对于例如物体宽度、物体高度和移动速度的特征，使用高斯函数来计算T上位置（x,y）处对组G_i的相似性。在位置（x,y）处的方向相似性是组G_i对于匹配方向dir(T,x,y)的方向概率。在位置（x,y）处的发生时间相似性是G_i在位置（x,y）处T的发生时刻h（T,x,y）时的发生概率。

通过有目的的调整加权值，可以获得不同结果。例如，如果w₄被设定为1，且其他为0，沿错误的方向移动的物体即使位于聚类的影响力范围内也会被检测为异常活动。另一方面，如果w₅被设定为1，且其他为0，沿错误的方向移动的位于聚类的影响力范围内的物体，将被认为是正常活动。因此，可以由操作员来选择检测他们所感兴趣的异常活动。

图7F示出的正常场景活动和异常活动的示例，其中横穿道路的行人被检测为异常活动（用红色表示），而汽车被归类为正常活动（其轨迹为绿色）。

如果新轨迹被归类到聚类中，通过使用所属聚类的语义特征可以对其做进一步注释，以产生关于轨迹状态（例如进入聚类的时间点，通过转折点和交叉点，和离开聚类）的附加信息。相应地，可以产生例如左转、右转等相关移动方向。此外，经注释的轨迹可以使用比保存所有原始（常规）轨迹更有效的方式被保存并减小存储空间。

对于活动摘要，假设可获取轨迹数据集。当提出的方法应用于实时应用时，可以在一定时间段（例如1天、几天、1周、几周或数月）收集训练数据集以获得足够的轨迹。一旦获得了初始训练数据，上述方法能被用于获取场景活动的聚类，并且提取统计特征和语义特征。这些特征能被用于新物体轨迹的实时分析。另一在线获取方案需要更新现有聚类及其导出的特征，使得场景活动分析系统可以保持反映正常场景活动的性质。这可以通过三个额外的过程来达到：替换新正常轨迹所属聚类中的最老的成员轨迹，通过根据新轨迹的基元（例如发生时间、空间位置等）的替换概率来控制该替换；如果聚类在预设时间（即在预设时间内无新轨迹被归类为此聚类）未进行更新，移除废弃聚类；如果在预设时间段内异常轨迹频繁不断发生，则创建新聚类，然后将上述聚类过程应用于在预设时间段的过去时间内发生的异常轨迹，并且如果可能，产生新聚类。每当对聚类进行更新时，移除旧聚类，或创建新聚类，相应地更新相关特征，并且接下来的场景分析从而基于所更新的特征。

参考图8，过程800包括图中所示的方框，用于分析轨迹和在异常轨迹被识别时警告使用者。过程800仅是示例，并非限制；它可以被改变，例如通过添加、移除、重排、组合、和/或同时执行方框来进行。过程800在方框805处开始。在方框810处，过程800获得关于感兴趣场景的视频数据。在一些实施例中，该视频数据可以从包括该视频数据的数据库中获得。在一些实施例中，该视频数据可以直接从视频摄像机或视频采集系统中获得。此外，该视频数据可以随着该视频数据的捕获实时获得。视频数据也可以包括元数据。该元数据可以包括关于在视频场景中查看到的物体和/或在视频场景中发生的事件的数据。

在方框815处，可以对轨迹进行识别。在一些实施例中，通过搜索元数据可以对轨迹进行识别。在其他的实施例中，通过搜索在一段时间内移动通过场景的物体的元数据可以发现轨迹。各种技术可以用于识别轨迹。在方框820处，轨迹可以通过它们彼此之间的相对距离进行聚类。各种技术可以用于聚类。许多这样的技术在这里进行了描述，例如，基于轨迹之间的统计特性之间的相似性的聚类和/或基于轨迹位置之间的相似性之间的聚类。根据所述聚类，轨迹在方框825处识别为正常或异常。类似地，正如这里所描述的，许多技术可以用于识别轨迹为正常或异常。异常轨迹是与轨迹组或轨迹聚类没有关联的轨迹。

如果轨迹在方框830处被识别为正常，则过程800前进至方框835，从轨迹或视频数据（包括元数据）中提取语义数据。在方框840处，正常轨迹可以接着使用语义数据进行注释。过程800进而可以在方框845处结束。但是，如果轨迹在方框830处被识别为异常轨迹，则用户在方框850处可以得到警告。过程800在方框845处结束。用户可以通过许多方式得到警告。例如，可以发送信号到用户接口或可以响警报。包括异常轨迹的视频数据可以被标记或标注为含有异常轨迹。

参考图9，计算机系统900包括处理器905、存储器910、用户接口920和视频捕获或输入系统915（在此被称为视频系统915）。处理器905是可编程设备，例如，中央处理单元（CPU），例如那些由

公司或

制造的）、微控制器、专用集成电路（ASIC）、现场可编程门阵列（FPGA）等。处理器905处理从视频系统915处收到的信息和执行与计算机系统900相关的功能，例如指导、导航和控制功能。存储器910包括随机存取存储器（RAM）、只读存储器（ROM），和/或硬盘。存储器910储存非暂时计算机程序产品，该非暂时计算机程序产品包括处理器可读的、处理器可执行的软件代码，该软件代码包括配置的指令，在执行该指令时，引起处理器905执行这里所描述的各种功能或过程（如过程100、200、400、500、600和/或800的任何一个）。或者，该软件对于处理器905可能是非直接可执行的，但被配置以引起处理器905（例如在指令被编辑和执行时）执行所描述的任何功能。用户接口920可以包括显示和输入设备，例如鼠标和键盘。此外，用户可以使用用户接口输入各种参数（例如讨论的与图6中所示方框615和635相关的参数）和/或从图2中示出的用户230处输入的数据。

配置（包括实现）的其他例子在本公开和所附权利要求书的精神和范围内。例如，由于软件的性质，通过使用由处理器、硬件、固件、硬接线或这些的任意组合执行的软件，上述功能可以被实现。实现特征的功能也可能在物理上位于各种位置，包括被分布以使得部分功能在不同物理位置上得以实现。此外，如这里所使用的，包括在权利要求书中，如在前面加前序“至少一个”的项目列表中使用的“或”表明分离性表，例如，列表“A、B或C中的至少一个”是指A或B或C或者AB或AC或BC或者ABC（即A和B和C）。

此外，如这里所使用的，包括在权利要求书中，“或”如在前面加前序“至少一个”的项目列表中使用“或”表明分离性表，例如，列表“A、B或C中的至少一个”是指A或B或C或者AB或AC或BC或者ABC（即A和B和C）。无线通信网络不具有所有以无线方式传输的通信，而是被配置为具有至少一些以无线方式传输的通信。

而且，可以公开多于一个的发明。

Claims (24)

1.一种用于提供关于视频场景的轨迹信息的方法，所述方法包括：

获得视频场景元数据，所述视频场景元数据包括关于移动穿过所述视频场景的多个物体的轨迹的信息；

将多个轨迹中的每个轨迹根据它们彼此间的相对距离聚类为轨迹组；

提取关于每个轨迹组的统计特征；

至少部分地基于所述聚类，将所述多个轨迹中的每个轨迹归类为正常轨迹或异常轨迹；

提取关于每个轨迹组或每个正常轨迹的语义数据；以及

使用所述语义数据对每个轨迹进行注释。

2.根据权利要求1所述的方法，其中所述聚类包括使用多个不同距离度量的多个聚类迭代。

3.根据权利要求1所述的方法，其中所述距离度量包括从由轨迹之间的最小距离、轨迹之间的最大距离以及轨迹之间的平均距离组成的组中选出的距离度量。

4.根据权利要求1所述的方法，其中所述统计特征包括从由下列项组成的列表中选出的特征：物体高度、物体宽度、物体尺寸、物体速度、物体外观颜色、物体形状，轨迹长度、轨迹持续时间的平均值和标准偏差、以及移动方向概率、空间上发生的可能、时间上发生的可能。

5.根据权利要求1所述的方法，其中所述语义数据包括由入口区域、出口区域、代表轨迹、转折点和轨迹模式方向，以及不同轨迹模式之间的交叉区域组成的组中选出的数据。

6.根据权利要求1所述的方法，如果轨迹被归类为正常轨迹，则所述方法还包括基于与已归类的一组轨迹相关联的轨迹对正常轨迹进行注释。

7.根据权利要求1所述的方法，其中正常轨迹是具有与组内其它轨迹相似的统计特征的轨迹。

8.根据权利要求1所述的方法，其中异常轨迹是与一组轨迹没有关联的轨迹。

9.一种计算机程序产品，其驻留在非暂时处理器可读介质中并且其包括配置为使处理器进行以下操作的指令：

将多个轨迹中的每个轨迹按照它们彼此间的相对距离聚类为轨迹组；

提取关于每个轨迹组的统计特征；

至少部分地基于所述聚类，将所述多个轨迹中的每个轨迹归类为正常轨迹或异常轨迹；

从每个轨迹组或每个正常轨迹中提取语义数据；以及

使用所述语义数据对每个正常轨迹进行注释。

10.如权利要求9所述的计算机程序产品，其中使所述处理器将多个轨迹中的每个轨迹聚类为轨迹组的所述指令包括被配置为使所述处理器使用不同距离度量迭代地聚类所述多个轨迹的指令。

11.如权利要求9所述的计算机程序产品，其中，如果轨迹被归类为正常轨迹，则所述计算机程序产品还包括基于与已归类的一组轨迹相关联的轨迹对正常轨迹进行注释。

12.一种轨迹分析系统，包括：

被配置成接收视频场景元数据的输入端，所述视频场景元数据包括和物体在所述视频场景内移动时的所述物体的轨迹有关的信息；

存储器；以及

通信地耦合到所述输入端和所述存储器的处理单元，并且所述处理单元被配置成：

将每个轨迹根据该轨迹与先前经分析的轨迹的相对距离聚类为轨迹组；

至少部分地基于所述聚类，将所述多个轨迹中的每个轨迹识别为正常轨迹或异常轨迹；以及

将每个正常轨迹注释为正常轨迹或异常轨迹。

13.根据权利要求12所述的轨迹分析系统，其中所述处理单元被配置为：提取每个轨迹组的统计特征，从每个轨迹组或每个正常轨迹中提取语义数据，并且使用所述语义数据对所述正常轨迹进行注释。

14.根据权利要求12所述的轨迹分析系统，所述轨迹分析系统还包括用户接口，其中所述处理单元被配置成在轨迹是异常轨迹时，通过所述用户接口通知用户。

15.根据权利要求12所述的轨迹分析系统，其中所述轨迹分析系统包括摄像机。

16.一种用于确定视频场景中的异常行为的方法，所述方法包括：

从场景的视频数据中创建正常轨迹的数据库，所述场景包括沿着轨迹移动穿过所述场景的多个物体，其中，正常轨迹包括与所述视频场景内的多个先前的轨迹聚类在一起的轨迹；

识别所述视频场景内的新轨迹；

确定所述新轨迹是否是正常轨迹；以及

如果所述新轨迹不是正常轨迹，通知用户。

17.根据权利要求16所述的方法，其中正常轨迹包括其距离按照统计特征相似性接近于组内多个先前轨迹的轨迹。

18.根据权利要求16所述的方法，其中所述创建正常轨迹的数据库包括：

将所述多个轨迹中的每个轨迹根据它们彼此间的相对距离聚类为轨迹组；

至少部分地基于所述聚类，将所述多个轨迹中的每个轨迹归类为正常轨迹或异常轨迹；以及

将所述归类的结果保存在数据库中。

19.根据权利要求16所述的方法，其中确定所述新轨迹是否是正常轨迹包括：确定所述新轨迹与存储在所述数据库中的一个或多个所述正常轨迹之间的按照统计特征相似性的相对距离。

20.一种轨迹分析系统，包括：

被配置成接收视频场景元数据的输入端，所述视频场景元数据包括和物体在所述视频场景内移动时的所述物体的轨迹有关的信息；

用户接口；

存储器，所述存储器被配置成存储来自场景的视频数据的正常轨迹，所述场景包括沿着轨迹移动穿过所述场景的多个物体，其中，正常轨迹包括与所述视频场景内的多个先前的轨迹聚类在一起的轨迹；以及

处理单元，其通信地耦合到所述输入端和所述存储器，并且被配置成：

识别所述视频场景内的新轨迹；

确定所述新轨迹是否是正常轨迹；以及

如果所述新轨迹不是正常轨迹，通过所述用户接口通知用户。

21.根据权利要求20所述的轨迹分析系统，其中，当新轨迹接近多个先前的轨迹时，所述新轨迹被识别为正常轨迹。

22.根据权利要求21所述的轨迹分析系统，其中基于所述新轨迹与多个轨迹之间的相对距离，所述新轨迹被识别为接近所述多个轨迹中的一个轨迹。

23.根据权利要求20所述的轨迹分析系统，其中，当新轨迹基于所述新轨迹与一组轨迹中任何轨迹的方向、速度、或出现时间中的任何一个之间的相似性而与所述一组轨迹中的轨迹相似时，所述新轨迹被识别为正常轨迹。

24.根据权利要求21所述的轨迹分析系统，其中所述相对距离包括从由轨迹之间的最小距离、轨迹之间的最大距离以及轨迹之间的平均距离组成的组中选出的距离度量。

Images