CN102449660B - 用于数据检测的系统和方法 - Google Patents

Abstract

本发明涉及用于从数据中处理、检测和/或通知异常或罕见事件的存在的方法和/或系统。一些公开的方法和/或系统可以被用于大规模数据集合。应用于分析传感器监视录像以识别反常行为。所述传感器数据可以来自于许多传感器类型，包括视频和/或音频。应用于使用压缩传感的方法和/或系统。可以近似实时地实现应用。

Description

用于数据检测的系统和方法

交叉引用

本申请请求澳大利亚临时专利申请号：2009901406，名称为：“异常行为检测”，申请日：2009年4月1日的优先权；以及澳大利亚临时专利申请号：2009905937，名称为：“数据异常检测”，申请日：2009年12月4日的优先权。这些申请的全部内容通过引用结合在本申请中。另外，各个如下参考文献的全部内容通过引用结合在本申请中：http：//www.abilene.iu.edu；A.Lakhina et al.Diagonising network-wide traffic anomalies.In Proc.ACMSIGCOMM,2004；M.Elad.Optimized projections for compressed sensing.IEEETrans.Sig.Process.,55:5695-5702,2007and Effective Anomaly Detection inSensor Networks Data Streams presents at the December 2009Ninth IEEEInternational Conference on Data Mining,Miami Florida,S.Budhaditya et.al.

技术领域

本发明涉及来自数据的异常或罕见事件的检测。在一些实施例中，这种检测可以以自动或近似自动的方式实现，如果需要的话也可以应用于大规模数据。应用于分析视频监视录像以便在人群中识别出少数个人的反常行为。应用于从大规模传感器网络和/或大量在线数据库中分析数据流。在一些实施例中，本发明公开了来自数据，包括大规模数据的异常检测方法和/或系统。可以实时或近似实时地实现某些应用。

背景技术

来自视频数据的异常事件检测是一个复杂的问题，其已经成为过去十几年来的研究主题。位于公共区域的监视摄像机的数量很大，且导致实际中经常无法人工监视来自于摄像机的视频流。因此，强烈需要对于来自视频流的异常事件的自动、或近似自动和/或可扩展的检测。并且还强烈需要能够近似实时、实时或在可接受的时间段内做这些事情。

关于异常事件检测的文章可以大致分为两类：基于模型的方法和基于统计的方法。

在基于模型的方法中，从视频数据中提取出与行为相关的图像特征，这些行为例如为：移动对象的轨迹或形状。然后，典型地，执行受监督的学习步骤，以便根据给定的观察特征学习行为模型。然后可以将该模型应用在推理阶段，以判断当前的场景是否异常。提出了参数和非参数的空时模板方法，并且该方法描述了用于推理步骤的基于启动的分类器。基于模型的方法的主体还考虑将移动对象的轨迹作为用于行为分析的图像特征。

第二种方法基于对整个场景进行统计分析而不是关注于单个目标。该方法与用于事件检测的统计方法相结合，利用图像的底层信息。这种方法的主要优点是简单，这是因为底层特征可以简单地计算得到，另外的优点是具有可靠性，这是因为这些计算不受环境限制而发生变化。因此，统计方法更强健、可靠，能够应用于真实世界的应用中。

底层图像特征例如为SIFT，兴趣点、突出部分和区域检测器。底层图像特征的学习方法包括使用支持向量机(Support Vector Machines，SVM)，概率潜在语义分析(Probabilistic Latent Semantic Analysis，PLSA)以及内核学习。例如，使用图像块群来学习视频中的不规则性；使用主分量分析模拟视频中的样本行为；并使用基于光流表示法的体积特征用于视频中的行为识别。

已有的基于统计方法的文章已经在真实世界场景中获得成功。然而，这些方法受限于与场景的主要特征，也可以称为主要行为相关的异常事件。例如，当从预定义的多个位置查找有意义的集合变化时，构建原型-片段共生矩阵。

用于实际的公共监视兴趣的一个挑战性的问题是，从大量行为正常的人群中检测出一个或几个人的异常行为。现有基于统计的方法无法检测这类异常。例如，现有方法不能在人群中检测出一个游荡的人。

另外，在由大规模传感器网络采集的数据流中检测异常的问题在过去十几年中已经引起了很大兴趣。由于大规模网络变得越来越普遍，因此需要开发一些方法来应对由收集大量数据而带来的挑战。该问题影响了广泛的应用，这是因为由传感器网络采集到的数据可以从网络构建多媒体内容，从监视摄像网络、卫星影像或典型网络业务采集到的数据可以构建视频。

在过去几年中，已经开发了许多用于检测数据库或数据流的不同类型的异常的方法，但这些技术通常都要有重要的假设前提那就是能够得到完整的数据。

随着网络规模的增大，获取用于处理的全部数据流变得越来越困难。因此，在大规模网络中，由于传感器之间的低带宽或长几何距离，并非总能得到用于检测异常的整合点的完整数据。

引入了很多建议以应对获取网络信息的挑战，以便克服物理带宽限制。一个著名的方法是分散法。例如，一个推荐的方法是用于流动数据的分散法，其中，如果观察到的值落在正常范围之外，典型地为预定义窗以外，则传感器仅将信息发送到融合点。如果传感器不发送任何数据，则融合点则默认使用备选值。

另一个技术为列采样，通常典型地仅适用于静态数据库应用。在该选择采样方法中，在列上构建经验分布，基于从经验分布的采样选择少量的列。

对于传感器网络应用的另一个关注点是计算框架的可扩展性，其涉及到花费较少等待时间来应答查询。用于处理数据流的运算复杂度为输入数据的长度L和维度N的函数。在一些情形中，运算复杂度为L或N的二次方程。在一些情形中，其能够相对于L为线性的，但这要求进行迭代估计，例如，期望最大值(Expectation Maximization，EM)达到收敛。EM方法相对于采样尺寸呈线性，但平均来说，它具有非常慢的收敛速率，并且通常不适合在高速数据流中的异常检测。

除了频谱方法以外，上述提到的异常检测方法没能应用输入数据高维度的问题。在频谱方法背后的假设已经由输入数据的低维度的内在结构激发。应当指出的是，当可以得到全部数据集合时的小规模问题，频谱方法能够很好地发挥作用，但不适用于当无法得到全部数据矩阵时的大规模问题。

发明内容

本发明的某些应用使得可以对具有多种量化特性的多个复杂数据流进行分析，从而能够自动或近似自动地识别出异常行为。在一些应用中，可以实时或近似实时地实现。在其他应用中，可以离线或非实时的实现。所公开的方法和系统可以应用于视频分析领域以及一些其他领域和应用中。

所公开的方法和系统相对于现有技术具有许多优点。例如，在现有视频分析应用方面：

一些实施例不需要区分摄像机视野中的对象；

一些实施例仅需要非常有限的人工安装或设置；

一些实施例通过定义什么是正常的以进行训练，而不用在一开始定义什么是不正常的；

一些实施例一旦被提供了采样数据以建立正常参数，将自动识别(到达系统或用户定义的水平)视频流上任何怪异的或例外的运动；

一些实施例不需要判断或定义预编程事件进行检测；

一些实施例会检测出应用软件的用户根本无法预见或预定义的异常；

一些实施例与现有系统相比能够进行更高效的处理，以实时报告事件(主要是因为不需要进行追踪、分割和对象识别)；

一些实施例节省了处理费用和/或提供了更高的处理效率；和/或

一些实施例具有高可扩展性并能够使用压缩感测方法处理大量的摄像机/数据。这些以及其他优点和改进是经过仔细考虑后得到的。

另外，对于用户和/或终端使用者来说，还可能具有一个或多个益处，包括但不限于：

在视频分析空间中，它代替了多个现有的视频分析产品；

为用户节省了费用；

提高了现有系统的性能；

提高了效率；

通过提供实时或近似实时的性能，提高了系统的效力；

由于系统能够从历史数据中自我学习而不需要很难的规则定义，因此没有复杂的设置成本；和/或

代替了昂贵、不及时和/或错误百出的雇员的监督和监视工作。

一些实施例可以作为机器可读代码运行，该代码可以驻留在服务器、个人计算机、大型计算机、小型计算机、移动设备(如PDA或iPhone)或传感器(包括摄像机/数字设备/可穿戴或可植入的传感设备)中。

可以基于时间段将数据流分割为数据集合，例如，一天、一夜、部分天等。当然也存在其他例子用于训练阶段。公开的方法和/或系统能够应用于数据子集。

在一些方面中，一个或多个特征可以为与子集相关联的一个或多个变量。对于视频数据，特征例如为灰阶或色度；所述异常可以为被播放的事件。对于传感器数据，特征为数据容量；所述异常可以被记录在数据中的事件。

在一些方面中，特征也可以为两个数据子集之间的参数的差别。在此情形中，可以对多对子集之间的差别执行分析步骤；被公认为流。在视频的情形中，这被认为是光流。当然，对于所述特征，也可以存在其他举例。

使用此处所公开的实施例，可以处理真实世界的数据集合以检测异常或罕见事件。例如但不限于：视频监视数据；声纳数据；道路业务数据；本地或广域网络业务数据；农业传感器网络；医疗影像数据；电信业务数据；或天文数据。

在一些方面中，当所述数据为视频监视数据流时，各个子集可以为帧，特征可以为各个用于被分析以检测异常行为的连续帧对之间的运动信息，既有个人也有团体，在大量人群中存在正常行为。当然，对于特征，也可以存在其他举例。

在一些实施例中，光流分析可以为通过栅格将视频的各个帧(图像)或足够多的帧分割为单元，然后统计各个单元中的光流向量的数量。该技术提供了关于运动的有用信息，缓解了对对象追踪的需求，并易于计算。当然，对于分析，也可以有其他的举例。

在一些实施例中，可以采用可见词袋模型来表示该光流。通过对序列中全部帧或足够帧的特征向量进行合并，从该可见词袋模型中构建特征-帧矩阵。这类似于文献分析中的术语-文献矩阵，可以使用SVD以类似方式进行分解。当然，对于统计也可以有其他举例。以此方式表示的统计行为可以在结构上被分解为可见的主分量和残余分量。然后可以在残余子空间(正常事件的零空间)中检测异常事件。残余空间中的门限可以使用Q-统计量得到。当然，关于门限的确定，也可以存在其他举例。可以具体识别出所述异常在所述数据集合的位置，以便在同样的数据集合中将其从正常行为中分离出来。

根据本实施例的举例，从大规模公共交通监视视频数据中识别出一个在机场大厅中游荡的人。在该例中，对异常事件的检测是在正常事件的零空间上进行的。随后的读出读数可以为从倾斜角度显示图像和栅格，并在各个单元上叠加表示光流向量的条块；如图2(b)所示。该方法和/或系统可以被用作告警机制，根据该机制可以制定出必要的安全响应。

通过该方法实现的异常行为的检测具有高敏感性，且不论异常行为是否在图像帧中围绕或混合在其他正常行为中。例如，在拥挤的视频场景观察到的异常可能位于人群中间，或者位于周边。

该技术适用于从大规模公共交通监视视频数据中的其他行为中检测出异常行为。在一些应用中，该方法可以请求分析数天的监视视频录像，以提出正常行为的类型。异常行为的持续时间通常为几秒或更多，这依赖于检测出什么样的异常行为。

在一些应用中，当处理普通的大规模数据时，不可能或者不需要接收或处理数据的整个或主要部分以检测异常。在一些应用中，应用前导步骤将所述数据变换到压缩域是很有用处的，使用压缩感测(CompressionSensing，CS)涉及许多带有测量矩阵的数据子集。压缩感测被指定用于将数据减少到可管理的尺寸。然后对压缩数据进行分析及其他步骤。这可以大大减少处理采样的数量，并保持好的异常检测性能。在一些实施例中，如果数据频谱是稀疏的，则异常检测性能有很高的概率大致等于全部数据得到的性能。这是在许多实际状况中会出现的情况。在其他应用中，使用压缩域的检测性能可以提供足够的等效性，使得低于高概率的事件也在实际上是有用的。

所述压缩感测可以被应用于减少特征维度或时间实例或二者均减少，在压缩域减少要处理的数据容量。当然，对于应用压缩感测的方式，也可以存在其他举例

例如，为了减少特征维度，有用的测量矩阵具有输入值为0或+/-1的测量矩阵，其中，输入值为0的概率为2/3，输入值为+/-1的概率为1/6。如果所有的传感器均具有同步的时钟及相同的随机数发生器，便可以设定规则使得传感器依赖于随机数发生器的值发出他们预先调整的读数+/-1。

可选地，在一些应用中，当传感器例如不能在大的空间域的无线通信链路中直接到达中央节点时，则可以应用随机费氏算法将映射值传播到中央节点。

为了减少时间流，例如通过帧子采样，操作员能够请求服务产生随机数并选择对应于随机值+/-1的实例，对这两组实例进行求和，减去他们，并将(非常少量的)的结果迭代发送给所述操作员。

在各个情况中，对所述数据进行处理以将数据变换为不同状态，从而揭露出异常。这些异常本身表明发生在所述数据的真实世界源中；例如真实世界业务的不规则性。

可选地，所述特征在被变换到压缩域之前表示为向量的集合。然后在对所述压缩数据进行门限判决之前，对压缩向量的集合执行分解的步骤，以提取残余子空间。当然，对于特征变换，可以存在其他举例。

一些实施例应用于用于处理、检测和/或通知在至少一个大规模数据集合中存在至少一个罕见事件的方法或系统，包括：接收时间序列数据；将所述时间序列数据或者时间序列数据的一个或多个特征表示为向量、矩阵和/或张量的集合；对至少一个所述向量、矩阵和/或张量的集合进行压缩感测；对选择的被压缩感测的向量、矩阵和/或张量的集合进行分解，以提取残余子空间；通过分析映射到残余子空间中的压缩感测数据识别潜在的罕见事件。

在一些方面中，时间序列数据的一个或多个特征为与时间序列数据的子集相关联的一个或多个变量。在一些方面中，时间序列数据的一个或多个特征为时间序列数据的任意两个子集数据之间任意变量的差别。在一定的应用中，时间序列数据为至少一个视频和音频监视数据的流，各个子集为帧，各个子集为帧，所述特征为各个连续帧对之间的运动或频率信息。

在一些方面中，所述(光流)分析为通过栅格将各个帧分割为单元，然后统计各个单元中光流向量的数量。

在一些应用中，所述光流采用视觉词袋模型表示。在一些方面中，通过合并用于所述序列中全部帧的特征向量，从所述视觉词袋模型构建特征-帧矩阵。

在一定的应用中，所述特征-帧矩阵在结构上然后被分解为可见的主分量和残余分量。

在一些方面中，该方法或这些方法进一步包括：使用Q-统计量检测残余子空间中的异常事件。

在一些应用中，使用前导步骤将所述数据变换到压缩域，以将所述数据减少到可管理的尺寸。

在一些方面中，执行所述变换，以减少压缩域中的特征维度，使用具有输入值为0或+/-1的测量矩阵，其中，输入值为0的概率为2/3，输入值为+/-1的概率为1/6。

在一些应用中，应用随机费氏算法。

在一些方面中，执行所述变换，以减少压缩域中的时间实例，并应用帧子采样。

在一些方面中，在被变换到所述压缩域之前，所述特征被表示为向量的集合。

在一些方面中，识别潜在的罕见事件为将映射到所述残余子空间中的所述数据进行门限判决。

一些实施例为从包含数据子集的时间序列的数据中检测出潜在异常的方法；该方法包括如下包括：接收包含数据子集的时间序列的数据；分析在数据子集的时间序列中的一个或多个特征；将所述一个或多个特征表示为向量的集合；对所述向量的集合进行分解以提取至少一个子空间；将映射到所述至少一个子空间中的数据进行门限判决，以识别潜在异常。

一些实施例是用于处理、检测和/或通知在至少一个大规模数据集合中存在至少一个罕见事件的方法，包括：接收时间序列数据；所述时间序列数据或者时间序列数据的一个或多个特征表示为向量、矩阵和/或张量的集合；对至少一个所述向量、矩阵和/或张量的集合进行压缩感测；对选择的被压缩感测的向量、矩阵和/或张量的集合进行分解，以提取残余子空间；通过分析映射到残余子空间中的压缩感测数据识别潜在的罕见事件。

一些实施例针对从包含数据子集的时间序列的数据中检测出潜在异常的系统；该系统包括：用于接收包含数据子集的时间序列的数据的装置；用于分析数据子集中的时间序列中的一个或多个特征的装置；用于将所述一个或多个特征表示为向量的集合的装置；用于分解所述向量的集合的装置，以提取残余子空间；以及用于将映射到所述残余子空间中的所述数据进行门限判决以识别潜在异常的装置。

在一些实施例中，压缩感测能够被应用于中央处理器，或横跨网络以及在中央处理器进行异常检测。可选地，所述压缩感测和异常检测能够被应用传感器以及传输到中央处理器的仅有的异常帧。本发明考虑了所公开系统和方法运行的各种步骤的各种组合。本领域技术人员可以理解这些可选的结构。一些实施例所涉及的系统包括：至少一个传感器，用于接收包含数据子集的时间序列的数据用于分析；计算机存储器，用于存储所述数据；计算机处理器，用于：将所述时间序列数据或者时间序列数据的特一个或多个征表示为向量、矩阵和/或张量的集合；对至少一个所述向量、矩阵和/或张量的集合进行压缩感测；对选择的被压缩感测的向量、矩阵和/或张量的集合进行分解，以提取残余子空间；以及通过分析映射到残余子空间中的压缩感测数据识别潜在的罕见事件。

一些实施例的系统包括：至少一个传感器，用于接收包含数据子集的时间序列的数据用于分析；计算机存储器，用于存储所述数据；计算机处理器，包括：用于将所述时间序列数据或者时间序列数据的一个或多个特征表示为向量、矩阵和/或张量的集合的装置；用于对至少一个所述向量、矩阵和/或张量的集合进行压缩感测的装置；用于对选择的被压缩感测的向量、矩阵和/或张量的集合进行分解以提取残余子空间的装置；以及用于通过分析映射到残余子空间中的压缩感测数据识别潜在的罕见事件。

在一些系统实施例中，所述计算机处理器与所述至少一个传感器协同定位。

在一些系统实施例中，所述计算机处理器远离所述至少一个传感器。

在一些系统实施例中，其中，所述计算机处理器的一部分远离所述至少一个传感器，并执行通过分析映射到残余子空间中的压缩感测数据识别潜在的罕见事件的步骤。

在一些系统实施例中，其中，所述计算机处理器的功能能够在与所述至少一个传感器协同定位的子处理器及远离所述至少一个传感器的子处理器之间进行分割。

一些应用是针对用于处理、检测和/或通知在至少一个大规模数据集合中存在至少一个罕见事件的系统，包括：用于处理、检测和/或通知在至少一个大规模数据集合中存在至少一个罕见事件的；至少一个处理器，用于接收时间序列数据；至少一个处理器，用于将所述时间序列数据或者时间序列数据的一个或多个特征表示为向量的集合；至少一个处理器，用于对至少一个所述向量的集合进行压缩感测；至少一个处理器，用于对选择的向量进行分解，以提取残余子空间；以及至少一个处理器，用于对映射到所述残余子空间中的所述压缩感测数据进行门限判决。

一些实施例是针对能够近似实时地检测罕见事件的系统，包括：至少一个大规模传感器网络，用于从网络中的至少一个传感器提供时间序列数据；以及至少一个处理器，用于提供：用于从所述网络中的至少一个传感器近似实时地接收时间序列数据的装置；用于将所述时间序列数据或者时间序列数据的一个或多个特征表示为向量、矩阵和/或张量的集合的装置；用于对至少一个所述向量、矩阵和/或张量的集合进行压缩感测的装置；然后用于对选择的被压缩感测的向量、矩阵和/或张量的集合进行分解，以提取残余子空间的装置；以及用于通过分析映射到残余子空间中的压缩感测数据识别潜在的罕见事件的装置。

一些实施例为能够近似实时地检测罕见事件的系统，包括：至少一个大规模传感器网络，用于从网络中的至少一个传感器提供时间序列数据；至少一个处理器，用于从所述网络中的至少一个传感器近似实时地接收时间序列数据；将所述时间序列数据或者时间序列数据的一个或多个特征表示为向量、矩阵和/或张量的集合；对至少一个所述向量、矩阵和/或张量的集合进行压缩感测的装置对选择的被压缩感测的向量、矩阵和/或张量的集合进行分解，以提取残余子空间；以及通过分析映射到残余子空间中的压缩感测数据识别潜在的罕见事件。

在一些应用中，所述至少一个大规模传感器网络至少包括60、100、200、300、400、500、600、700、800、900、1000、2000、5000、10，000或20，000个传感器。在一些方面中，所述系统以节省成本的方式处理所述时间序列数据。在一些方面中，所述子空间为主子空间。在一些方面中，所述子空间为残余子空间。在一些方面中，所述子空间选自所述主子空间、所述残余子空间或其组合。

一些实施例为从包含有数据子集的时间序列的数据中近似自动地检测出异常的方法和/或系统，包括如下步骤：接收包含数据子集的时间序列的数据；分析所述数据子集中的时间序列的一个或多个特征；将所述一个或多个特征表示为向量的集合；对所述向量的集合进行分解以提取残余子空间；对映射到残余子空间中的数据进行门限判决以识别潜在异常；以及产生至少一个识别异常行为的读数。

一些实施例可以被用于已有设备、传感器和/或系统中。

可应用的现有系统和方法需要知道有关什么是异常事件检测的指标。相反，所公开的系统和方法需要知道有关什么是正常的指示。一些实施例通过关注残余子空间而忽略主子空间而发挥作用。一些实施例针对用于检测罕见事件的方法，不需要在检测之前明确罕见事件的特征，该方法包括如下步骤：接收时间序列原始数据；将数据或数据的一个或多个特征表示为向量的集合；对少一个向量的集合进行压缩感测；对压缩感测向量的集合进行分解，以提取主子空间；以及识别映射到主子空间中的感测数据中的罕见事件。

一些实施例为一种或多种来自视频数据的罕见事件的检测方法，该方法包括：从视频流中提取出第一时间序列数据；对使用基于栅格表示的第一时间序列数据进行合并；构建至少部分基于合并的第一时间序列数据的至少一个运动向量；处理所述至少部分基于合并的第一时间序列数据的至少一个运动向量，以确定残余子空间和主子空间；为所述残余子空间确定门限值；从视频流的视频帧中提取出第二时间序列数据；对使用基于栅格表示的第二时间序列数据进行合并；构建至少部分基于合并的第二时间序列数据的至少一个运动向量；比较所述至少部分基于合并的第二时间序列数据的至少一个运动向量与所述门限值；以及如果至少部分基于合并的第二时间序列数据的至少一个运动向量大于所述门限值，则识别出罕见事件。

一些实施例为一种来自视频数据的罕见事件的检测方法，该方法包括：从视频流中提取出第一时间序列数据；对使用基于栅格表示的第一时间序列数据进行合并；构建至少部分基于合并的第一时间序列数据的至少一个运动向量；对所述至少部分基于合并的第一时间序列数据的至少一个运动向量进行压缩感测；处理所述至少部分基于合并的第一时间序列数据的至少一个压缩运动向量，以确定残余子空间和主子空间；为所述残余子空间确定门限值；从视频流的视频帧中提取出第二时间序列数据；对使用基于栅格表示的第二时间序列数据进行合并；构建至少部分基于合并的第二时间序列数据的至少一个运动向量；对至少部分基于合并的第二时间序列数据的至少一个运动向量进行压缩感测；比较至少部分基于合并的第二时间序列数据的至少一个压缩运动向量与门限值；以及如果至少部分基于合并的第二时间序列数据的至少一个压缩运动向量大于所述门限值，则识别出罕见事件。

一些实施例针对一种或多种来自非网络数据的数据流的罕见事件的检测方法，方法包括：从数据流中提取出所述数据的第一特征；对使用基于栅格表示的第一特征进行合并；构建至少部分基于合并的所述第一特征的至少一个特征向量；处理所述至少部分基于合并的第一特征的至少一个特征向量，以确定残余子空间和主子空间；为所述残余子空间确定门限值；从数据流的数据帧中提取出第二特征数据；对使用基于栅格表示的第二特征数据进行合并；构建至少部分基于合并的第二特征数据的至少一个特征向量；比较至少部分基于合并的第二特征数据的至少一个特征向量与所述门限值；以及，如果至少部分基于合并的第二特征数据的至少一个特征向量大于所述门限值，则识别所述罕见事件。

一些实施例针对一种或多种来自数据流的罕见事件检测方法，方法包括：从数据流中提取出数据的第一特征；对使用基于栅格表示的第一特征数据进行合并；构建至少部分基于合并的第一特征数据的至少一个特征向量；对至少部分基于合并的第一特征数据的至少一个特征向量进行压缩感测；处理至少部分基于合并的第一特征数据的至少一个压缩特征向量，以确定残余子空间和主子空间；为所述残余子空间确定门限值；从数据流的数据帧中提取出第二特征数据；对使用基于栅格表示的第二特征数据进行合并；构建至少部分基于合并的第二特征数据的至少一个特征向量；对至少部分基于合并的第二特征数据的至少一个特征向量进行压缩感测；比较至少部分基于合并的第二特征数据的所述至少一个压缩特征向量与所述门限值；以及，如果至少部分基于合并的第二特征数据的至少一个压缩特征向量大于所述门限值，则识别出所述罕见事件。

在一些应用中，可以使用此处公开的实施例将压缩感测与其他检测方法相结合以获得可接受的结果。例如，一种用于处理、检测和/或通知在至少一个大规模数据集合中存在至少一个罕见事件的方法，包括：接收时间序列数据；将所述时间序列数据或者时间序列数据的一个或多个特征表示为向量、矩阵和/或张量的集合；对至少一个向量，矩阵和/或张量的集合进行压缩感测；通过其他统计方法或机器学习方法使用压缩感测数据计算检测统计值；以及通过分析检测统计值来识别潜在的罕见事件。

所公开的方法和系统使用相当标准的设备提供了更加强健的实时或近似实时的罕见事件检测方法。这些方法和系统节约了处理的成和/或提供了比已知基于特定具体参数的情形更高的处理效率。这些方法和系统还减少了设置的复杂度。

在一些不使用压缩传感的应用中，能够基于预设的参数在每秒钟处理相当大量的数据。一些实施例针对用于检测罕见事件存在的一个方法或多个方法，该方法包括：使用多个传感器监视数据集合；以及对由所述传感器接收到的数据进行处理，以近似实时地检测罕见事件的存在；其中，所述数据处理的方式支持使用Intel Core^TM双核3Ghz处理器以大约164Mb/秒进行近似实时地分析。在一些方面中，所述方法能够以140，150，160，170，180，或190Mb/秒进行处理。在一些使用压缩传感的应用中，也能够实时或近似实时地处理相当大量的传感器。一些实施例为用于检测罕见事件存在的一个方法或多个方法，该方法包括：使用多个传感器监视数据集合；以及对由所述传感器接收到的数据进行处理，以近似实时地检测罕见事件的存在；其中，所述数据处理的方式支持使用Intel Core^TM双核3Ghz处理器对从20个传感器获得的数据进行近似实时地分析。在一些方面中，所述方法能够处理15、20、25、30或35传感器。一些方法为用于在视频内容中检测罕见事件存在的一个方法或多个方法，本发明包括：使用多个摄像机监视视频内容；以及处理由摄像机接收到的数据，以近似实时地检测罕见事件的存在；其中，对该数据进行处理的方式支持使用Intel Core^TM双核3Ghz处理器对来自于20个摄像机的数据近似实时地进行分析，帧率为10帧/秒，分辨率为(356*288)(8比特)。假设进行特征提取是在计算异常检测的相同处理器上进行的。如果特征提取在另一处理器中进行，那么对该数据进行处理的方式支持使用IntelCore^TM双核3Ghz处理器以16，400Mb/秒进行近似实时的分析。在一些方面中，该方法能够以14，000、15，000、16，000、17，000、18，000或19，000Mb/秒进行处理。如果特征提取在另一处理器中进行，那么对该数据进行处理的方式支持使用Intel Core^TM双核3Ghz处理器对从2000个传感器获得的数据进行近似实时的分析。在一些方面中，该方法能够处理1500、2000、2500、3000或3500传感器。

在一些使用压缩传感的应用中，能够基于预设的参数在每秒钟处理相当大量的数据。一些实施例针对用于检测罕见事件存在的一个方法或多个方法，该方法包括：使用多个传感器监视数据集合；以及对由所述传感器接收到的数据进行处理，以近似实时地检测罕见事件的存在；其中，所述数据处理的方式支持使用Intel Core^TM双核3Ghz处理器以500Mb/秒进行近似实时地分析。在一些方面中，该方法能够以400、450、500、550或600Mb/秒进行处理。

在一些使用压缩传感的应用中，也能够实时或近似实时地处理相当大量的传感器。一些实施例为用于检测罕见事件存在的一个方法或多个方法，该方法包括：使用多个传感器监视数据集合；以及对由所述传感器接收到的数据进行处理，以近似实时地检测罕见事件的存在；其中，所述数据处理的方式支持使用Intel Core^TM双核3Ghz处理器对从60个传感器获得的数据进行近似实时地分析。在一些方面中，所述方法能够处理50、60、70、80或90个传感器。一些实施例针对针对用于在视频内容中检测罕见事件存在的一个方法或多个方法，该方法包括：使用多个摄像机监视视频内容；对由所述摄像机接收到的数据进行处理以近似实时地检测罕见事件的存在；其中，所述数据处理的方式支持使用Intel Core^TM双核3Ghz处理器对以10帧/秒的帧速率从60摄像机获取的分辨率为356*288(8bits)的数据进行近似实时地分析。这假设特征提取与计算异常检测在同一个处理器中进行。如果所述特征提取在另一处理器中进行，那么数据处理的方式支持使用Intel Core^TM双核3Ghz处理器对50，000Mb/秒进行近似实时的分析。在一些方面中，所述方法能够以40，000、45，000、50，000、55，000或60，000Mb/秒进行处理。如果所述特征提取在另一处理器中进行，那么数据处理的方式支持使用Intel Core^TM双核3Ghz处理器对从6000个传感器获得的数据进行近似实时地分析。在一些方面中，所述方法能够处理5000、6000、7000、8000或9000个传感器。

一些实施例针对用于近似自动地从数据中检测出异常的计算机系统，包括：输入端及装置，用于接收含有一系列数据子集的数据用于分析；计算机存储器及装置，用于存储所述数据；计算机处理器包括：i.用于对数据子集的时间序列中的一个或多个特征进行分析的装置；ii.用于将所述特征表示为向量的集合的装置；iii.用于对所述向量的集合进行分解以提取残余子空间的装置；以及iv.用于对映射到所述残余子空间的数据进行门限判决以识别潜在异常的装置。

一些实施例针对用于近似自动地从数据中检测出异常的计算机系统，包括：输入端，用于接收含有一系列数据子集的数据用于分析；计算机存储器，用于存储所述数据；计算机处理器，用于执行如下步骤：v.对数据子集的时间序列中的一个或多个特征进行分析；vi.将所述特征表示为向量的集合；vii.对所述向量的集合进行分解以提取残余子空间；以及viii.对映射到所述残余子空间的数据进行门限判决以识别潜在异常。

附图说明

结合附图和实施例的详细说明将使本发明的附加特征和优势变得更加明显。

图1为一些实施例的来自包含时间序列数据子集的数据的异常检测过程的流程图。

图2(a)为一些实施例的用于异常行为序列的合并光流图，此处，此处的各个观察值对应于一分钟间隔内计算的运动统计量。

图2(b)为用于异常行为序列的合并光流图，其中，各个观察值对应于一分钟间隔内计算的运动统计量。

图3(a)为一些实施例有正常人群行为的栅格视频帧。

图3(b)为显示人群为密集的100帧正常人群行为的运动分布图。

图3(c)为有正常人群行为以及一个人倚在墙上的栅格视频帧。

图3(d)为100帧正常人群行为的运动分布图，其中有一个人倚在墙上。

图3(e)为有正常人群行为的栅格视频帧。

图3(f)为100帧正常人群行为的运动分布图。

图4为一些实施例的从X_Train(序列S0，摄像机1)计算得到的特征值的幅度图。

图5(a)为一些实施例的在映射到残余子空间后X_Train(序列S0，摄像机1)的各个列向量的幅度图。

图5(b)为在映射到残余子空间后X_Test(序列S3，摄像机1)的各个列向量的幅度图。

图6(a)和(b)为一些实施例的从摄像机1(PETS2007数据集合)得到的序列3中检测出的“异常”行为的两帧。

图7(a)为一些实施例的在映射到残余子空间后X_Train(序列S0，摄像机3)的各个列向量的幅度图。

图7(b)为在映射到残余子空间后X_Test(序列S3，摄像机3)的各个列向量的幅度图。

图8(a)、(b)和(c)分别为显示重度、中度和轻度人群密度的三张拍摄照片。

图9(a)为一些实施例的在映射到残余子空间后X_Train数据的各个列向量的幅度图。

图9(b)为在映射到残余子空间后X_Test1数据的各个列向量的幅度图。

图10(a)、(b)和(c)为一些实施例的显示异常检测的一连串三张屏幕截图。

图11(a)为一些实施例的用于使用PCA的X_Test2数据的特征值的图。

图11(b)为用于使用R-PCA的X_Test2数据的特征值的图。

图12(a)为一些实施例的归一化误诊率(False Positive Rate，FPR)图。

图12(b)为异常检测率的归一化图。

图13(a)为一些实施例的使用完整数据的X_Train数据的特征值图。

图13(b)为使用压缩数据的X_Train数据的特征值图。

图14(a)为一些实施例的使用完整数据的X_Test1数据的残余图。

图14(b)为使用压缩数据(底部)的X_Test1数据的残余图。

图15显示了一些实施例的使用视频数据进行异常检测的流程形式。

图16显示了一些实施例的使用感测视频数据进行异常检测的流程形式。

图17显示了一些实施例的使用数据进行异常检测的流程形式。

图18显示了根据一些实施例在压缩感测数据中进行异常检测的流程形式。

具体实施方式

图1为来自包含时间序列数据子集的数据的异常检测过程的流程图。首先如图1所示，在该举例中，该数据可以为来自于视频摄像机的视频监视数据流。该数据具有时间序列子集的形式，每个子集包含视频数据帧。该数据被典型地存储以便将来使用或者经网络传输给计算机系统用于分析。

在计算机系统中，数据被接收并应用于处理器。通过考虑时空域12内的运动统计量开发出一个异常检测框架。每个图像被栅格分隔成单元，在预定义的时间块内计算每个图像中各个单元的运动统计量。各个单元的运动分布被简单地计算为在那个单元中的光流向量的数量。具体地，如图1所示，当所述数据到达处理器时，该处理器判断接收到的数据是否是大规模的。如果该数据是大规模的，则在执行流分析12之前将该数据转换为压缩域。该流分析生成至少一组向量，该向量使用，例如，视觉词袋模型14被处理。产生的该“词”然后被用于生成特征-帧矩阵16。

PCA分析20识别18主分量22和残余分量24，该残余分量被与门限值进行比较以判断是否存在异常26。

图2(a)显示了从火车站的监视摄像机收集到的300帧第一序列数据的合并运动流。具体地，该图标示了运动流的量，是来自所有单元的运动统计量向量的模的平方，用于在火车站地铁一天五个小时内采集到的数据。图中的各个点显示了一分钟内合并的运动统计量。通常，如果在车站有火车，则正常运动量的特征是很高的，否则它保持很低并引起几乎周期性的升高和降低。

目的为在存在正常行为及不存在正常行为时检测异常事件。考虑了在不同流量场景中各个单元的运动分布。正常行为包括在高峰时段内有大量的人流进入入口点并走出出口点。他们也包括在非高峰时段有少量对象或几乎没有对象。

时空域中运动量统计的任何显著变化均可以被认为是非正常的，并且是异常的潜在候选。图2(b)是第二序列，其中可以看到运动量统计的这种非正常变化，参见100、102、104和106。

参见图3，一些典型的例子将被描述：

例1，图3(a)显示了在人群中的一帧正常行为。该帧被分割为多个单元。图3(b)描绘了用于100帧正常序列的各个单元的运动分布。从图3(b)所示某些单元中的一组条块120的幅度可以看出人群非常稠密。

例2，图3(c)也显示了一帧序列，其中，在正常人群中有一个人倚在墙上一段时间。该单元也被分割成多个单元，且图3(d)显示了在100帧序列中各个单元的运动分布。直观地，在图3(b)和图3(d)所示分布的结构特征之间存在差异，这是由于图3(c)中的“异常”(例如：倚着)行为呈现为图3(d)中的第二组条块122。

例3，图3(e)也显示了人群中的一帧正常行为。在此情形中，有一群人在到处游荡且运动量较低。图3(f)显示了对应的运动分布图，从中可以看到其幅度低于图3(b)。

在地铁中，乘客通常会沿着“行进”通道进和出。这些正常行为引发了地铁中各单元的运动向量的分布。重要的是，该分布也表明了各单元之间的关系。例如，由于穿过单元的流量的平均值而使某些单元趋向于高度相关。这种依赖性为正常事件的结构模式提供了重要的信息。因此，如果，例如一个人或一群人横向穿越地铁，所观察到的运动分布将承载全新的结构信息，这就是异常检测的基础。

类似地，一个游荡的人很可能会导致观察到覆盖游荡轨迹的单元比正常单元更加相关。如果得知了该结构信息，便可以通过将观察到的运动模式映射到由结构引起的空间中，来将正常行为分离出来，使得异常行为能够在残余子空间中更容易地被检测到。

视觉词袋模型用于表示单元中的光流计数值。使用一种方法来从时空域中的人类行为中获得视觉词。使用基于栅格的方法来为各个单元提取光流计数值。各个单元被认为类似于一个术语，各个单元的运动统计量，例如运动流的数量被认为等同于词频。因此，术语的数量等于图像中单元的数量。特征-帧矩阵16以模拟方式被构建为术语-文件矩阵。将单元的数量表示为N，将运动统计量表示为EQ x\s\do5(l)＝[x\s\do5(l)(l)\，...\,x\s\do5(N)(l)]\s\up5(T)。对于一个L帧的序列,EQ X＝[x\s\do5(l)\，...\,x\s\do5(L]。在文件分析中，语义变量(标题)决定了术语的出现概率。类似地，在一些已公开的应用中，正常行为的结构变量决定了单元的运动向量的分布。

为了找出正常行为的结构信息，使用了残余子空间分析方法。在X被中心化后，从特征-帧矩阵X中估算出样本协方差矩阵为ΣX＝(1/L)XXT。假设特征值分解EQΣ\s\do5(x)＝UΛU\s\up5(T)，主子空间与K相关，主要的EQλ\s\do5(l)\，...\，λ\s\do5(K)。到残余子空间24的映射被定义为对于任意观察到的运动模式x，正常的分量为而残余分量为z＝Px。与前述基于统计方法的关键区别在于，我们提出通过考虑平方预测误差(Squared Prediction Error，SPE)统计值26，在残余子空间中检测异常行为。

$t_{\mathrm{SPE}}={\left|\right|z\left|\right|}_2^2={\left|\right|\left({I-U}_K{U}_K^T\right)\left|\right|}_2^2\·---\left(1\right)$

如果z服从多变量正态分布，则在数据正常的零假设情况下，所述SPE统计值服从非中心卡方分布。因此，对于零假设的拒绝可以基于tSPE是否超过对应于期望错误告警率β的特定门限。在参考文献[9]中，Q-统计量用于计算该门限，并涉及到最大的K特征值如下：

$Q_{\mathrm{\β}}={\mathrm{\Φ}}_1{(\frac{c_{\mathrm{\β}}\sqrt{{2\mathrm{\Φ}}_2{h}_0^2}}{{\mathrm{\Φ}}_1}+1+\frac{{\mathrm{\Φ}}_2{h}_0(h_0-1)}{{\mathrm{\Φ}}_1^2})}^{\frac{1}{h_0}}---\left(2\right)$

其中， $h_0=1-\frac{{2\mathrm{\θ}}_1{\mathrm{\θ}}_3}{{3\mathrm{\θ}}_2^2},{\mathrm{\θ}}_i=\underset{j=K+1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_j^i\mathrm{fori}=\mathrm{1,2,3},c_{\mathrm{\β}}=(1-\mathrm{\β})$ 为标准正态分布中的百分位数(percentile in standard normal distribution)。当t_SPE＞Q_β时，则检测到异常行为。

在特定的应用中，为进行异常检测而在残余子空间上进行的分析只有当主分量K的数量足够小时才是有效的。否则，异常行为的能量将会大量地传播到主子空间中，导致较低的可检测性。幸运的是，在实践中，小K的假设似乎能够很好的满足。

为了刻画主子空间，值得注意的是在一些实施例中具有足够的训练数据以反映变化的宽度范围，在该变化中定义了正常行为。在一些大规模应用中，数据量通常非常巨大，因此潜在地阻碍了频谱方法的应用。在该具体举例中，监视视频数据存储在公共交通主管部门的知识库中。通过一个星期的数据采集，从安全摄像机中获得到千百万的帧。由于如存储器或带宽等物理限制，很难直接应用频谱方法。为了应对这一问题，所公开的实施例使用压缩数据。通过使用该实施例，将频谱方法直接应用于压缩数据成为可能。在能够显示出具有足够高概率的情况下，如果数据频谱稀疏，则异常检测性能大致等价于基于完整数据得到的性能，这是在许多实际情况中经常出现的情况。

压缩理论(Compressed Sensing，CS)表明，当由数据向量表示的数据子集较稀疏或可压缩时，能够通过简单的、非自适应、和线性映射y＝Φx来感测数据向量。测量矩阵Φ的行数远远小于列数，即M<<N，表明y的维度远小于x。在适当条件下，当测量矩阵Φ的各列之间大致正交时，则能够通过凸优化问题完美地从y恢复x，这可以通过专门算法高效地解决。

这表明在y中关于x的所有显著信息均被采集到，使得CS成为有用的工具用于信息保存映射技术。当需要进行分类而非恢复时，使用CS的优势在于处理采样的数量减少到M(实践中，M＝O(K logN)<<N)。

在CS域作业的优势在于其压倒性地减少了通信开销并提高了框架的可伸缩性。例如，当网络数据稀疏时，仅需要少量非自适应测量值M来记录主流量的信息。

当CS界主要关注于恢复问题时，即从y推导出x时，我们部分关注于异常检测。因此，由于x的相关信息保存在y中，本公开文件随后将说明可以直接从压缩的数据y检测异常。

在一些实施例中，用于系统设置框架的第一步是使用CS获得压缩数据；该压缩可以采用传感器子采样或时间流子采样二者均采用。

图15显示了公开的特定方法和系统的流程。图15显示了来自视频数据的罕见事件的检测方法。该方法包括：从视频流中提取出第一时间序列数据；对使用基于栅格表示的第一时间序列数据进行合并；构建至少部分基于合并的第一时间序列数据的至少一个运动向量；处理至少部分基于合并的第一时间序列数据的至少一个运动向量，以确定残余子空间和主子空间；为该残余子空间确定门限值；从视频流的视频帧中提取第二时间序列数据；对基于栅格表示的第二时间序列数据进行合并；构建至少部分基于合并的第二时间序列数据的至少一个运动向量；比较至少部分基于合并的第二时间序列数据的至少一个运动向量与所述门限值；如果至少部分基于合并的第二时间序列数据的至少一个运动向量大于所述门限值，则识别出罕见事件。

图16显示了所公开的特定方法和系统的流程。所示方法显示了采用压缩感测的视频数据的异常检测。该来自视频数据的罕见事件的检测方法包括：从视频流中提取出第一时间序列数据；对使用基于栅格表示的第一时间序列数据进行合并；构建至少部分基于合并的第一时间序列数据的至少一个运动向量；对至少部分基于合并的第一时间序列数据的至少一个运动向量进行压缩感测；处理至少部分基于合并的第一时间序列数据的至少一个被压缩的运动向量，以确定残余子空间和主子空间；为残余子空间确定门限值；从视频流的视频帧中提取出第二时间序列数据；对使用基于栅格表示的第二时间序列数据进行合并；构建至少部分基于合并的第二时间序列数据的至少一个运动向量；对至少部分基于合并的第二时间序列数据的至少一个运动向量进行压缩感测；比较至少部分基于合并的第二时间序列数据的至少一个被压缩的运动向量与所述门限值；如果至少部分基于合并的第二时间序列数据的至少一个被压缩的运动向量大于所述门限值，则识别出罕见事件。

图17显示了可以应用于特定的公开的方法和系统的流程。该图针对从数据流中检测出异常。图17显示了来自数据流的罕见事件的检测方法，该方法包括：从数据流中提取出数据的第一特征；对使用基于栅格表示的第一特征进行合并；构建至少部分基于所述合并的第一特征的至少一个特征向量；处理至少部分基于所述合并的第一特征的至少一个特征向量，以确定残余子空间和主子空间；为所述残余子空间确定门限值；从数据流的数据帧中提取出第二特征数据；对使用基于栅格表示的第二特征数据进行合并；构建至少部分基于合并的第二特征数据的至少一个特征向量；比较至少部分基于合并的第二特征数据的至少一个特征向量与所述门限值；如果至少部分基于合并的第二特征数据的至少一个特征向量大于所述门限值，则识别出罕见事件。图17中显示的该流程可以应用于非网络数据。

图18显示了特定的公开方法和系统的流程。图18针对在压缩感测数据中检测异常的方法。图18显示了来自数据流的罕见事件的检测方法，该方法包括：从数据流提取数据的第一特征；对使用基于栅格表示的第一特征数据进行合并；构建至少部分基于合并的第一特征数据的至少一个特征向量；对所述至少部分基于合并的第一特征数据的至少一个特征向量进行压缩感测；对所述至少部分基于合并的第一特征数据的至少一个被压缩的特征向量进行处理，以确定残余子空间和主子空间；为所述残余子空间确定门限值；从所述数据流的数据帧中提取出第二特征数据；对使用基于栅格表示的第二特征数据进行合并；构建至少部分基于合并的第二特征数据的至少一个特征向量；对所述至少部分基于合并的第二特征数据的至少一个特征向量进行压缩感测；比较所述至少部分基于合并的第二特征数据的至少一个被压缩的特征向量与所述门限值进行；如果至少部分基于合并的第二特征数据的至少一个被压缩的特征向量大于所述门限值，则识别出罕见事件。

情况1：对于传感器子采样的情况：在实施例中，已知获得对数据的线性变换y＝Φx被获取作为CS测量矩阵，其中，已知，该CS测量矩阵的输入值为随机变量。CS方法提供多阶CS矩阵，以便在实践中得到有效应用。例如，在界面友好的数据库的CS矩阵中，该输入值有2/3的概率取值为0，有1/6的概率取值为+/-1。如果全部的传感器均具有同步的时钟以及相同的随机数发生器，便可以设定规则使得传感器依赖于随机数发生器的值发出他们预先调整的读数+/-1。可选地，当传感器例如不能在大的空间域的无线通信链路中直接到达中央节点时，则可以应用随机费氏算法(randomgossip algorithm)将映射值y传播到中央节点。与例如分散方法相比的额外优势在于，中央节点现在能够使用残余方法对压缩数据进行分析，并具有几乎最优的性能。

情况2：对于时间流帧子采样的情况：通过使用压缩感测方法以及CS矩阵，操作员能够请求服务产生随机数，并选择对应于随机值+/-1的实例，对这两组实例进行求和，减去他们，并将该L'结果迭代发送给操作员，其中：L'<<L。通过这样做，不仅可以有效利用有限的带宽和存储器，操作也能够好像得到全部数据那样成功检测出异常。

实验例

以下实验例显示了所公开实施例的一些方面。这些例子在本质上并没有进行限制，只是示例性说明了这些公开方法和系统是如何工作的。所提供的以下实验例为非限定的示例。

在这些实验例中，认为异常事件的持续时间大约为10秒。在其他实施例中，可以改变异常事件的持续时间以适应具体应用的需。使用Lucas-Kanade光流特征的算法的openCV应用提取运动信息。

PETS2007基准数据

第一组举例实验使用PETS2007数据集合，由从多个摄像机监视系统获取的视频录像构成。对于PETS数据集合的处理，将用于合计运动总数的时间粒度设定为100帧。

对于训练过程，实验使用S0序列，由以分辨率720*576采集到的4500帧构成。该训练序列不包含异常事件，没有特别指定的行为人，且人群密度(依赖于摄像机)通常为中等。

所使用的第一个PETS2007测试序列为由摄像机1采集到的S3。该序列由2970帧构成且异常为小偷事件。它涉及到两个行为人在短暂的停顿后朝场景中心正常行走，他们继续捡起一个书包，并离开该区域。当该事件发生时，在场景的顶部有大量的人流。因此，为了让举例方法产生正确的结果，需要检测到所述异常且正确标记出异常事件发生的时段。从训练序列和测试序列中创建X_Train和X_Test。由于该序列较短，因此将PCA直接应用于从所描述的训练序列中提取的特征上，并将特征值描绘在图4中。为主子空间130选择最大的三个特征值(即K＝3)，而剩余的特征向量组成所述残余子空间。根据置信水平计算门限Q_β，且选择β值等于0.005。

图5(a)显示了X_Train各列的映射情况，图5(b)显示了进入残余子空间的X_Test各列的映射情况。水平线140表示门限Q_β。

小偷事件被标记在残余子空间中，超过门限Q_β。应当注意的是，残余域的图中显示了两个峰值142和144，对应于相距50帧的事件，因此被认为是相同异常事件的部分。在图6(a)和图6(b)中显示了包含异常的两帧场景。其结果表明举例的方法成功地检测到异常事件的发生。

为了测试该方法在不同环境条件中的强健性，使用由摄像机3采集到的序列S3作为测试集合(带有从摄像机3得到的序列S0用于训练)。

图7显示了进入主子空间和残余子空间中的X_Train和X_Test各列的映射情况。尽管光线及摄像机角度不同，举例的方法仍然成功检测到了异常事件160和162。

从四个序列得到结果总结在表1的前四个条目中。

表1

PTA数据集合

第二组举例实验使用由公共交通主管部门(Public TransportAuthority，PTA)提供的数据，涉及到从中央火车站采集到的视频序列。该视频数据是从两台摄像机——摄像机1(采集到的视频为每秒10帧)和摄像机2(采集到的视频为每秒6帧)。该例子使用来自于这两台摄像机的视频数据用于异常事件检测及可扩展性分析。该视频数据采集了一周七天内每天上午7点到上午11点的时间段内在车站通道内的人的活动。各帧的分辨率为576x 720。该例子将各个帧分割成栅格，对各个单元内的运动流进行量化以产生单元观察矩阵。在早晨不同时间段人群密度变化的举例显示在图8(a)、图8(b)及图(c)中。该序列由提供真实数据信息的专家观看。

异常事件检测

在举例中，为了进行异常事件检测，从两个连续白天的8小时视频中建立训练集合X_Train。从另外两周的观察结果中建立测试数据集合(X_Testl和X_Test2)。由于在X_Train中有90，000帧，在X_Testl和X_Test2中有115，000帧，对300帧(L＝300)内的运动进行合计，仍然使用PCA。为主子空间选择对应于六个最大特征值(K＝6)的六个特征向量，并使用剩余的特征向量组成残余子空间。如图9(a)和图9(b)所示，该举例然后将X_Train和X_Testl映射到残余子空间中。采用与上述举例实验相似的方式计算门限Q_β，其中β＝0.005。

从带有检测到的异常的测试数据中，从三个异常中检测出两个真实的异常180和182，对应于：见图10(a)，将小孩移动并倚靠在墙上，见图10(b)，游荡。

检测到的事件为1分钟长。这些异常由于单元运动分布的变化而发生，尽管其实质上是附近的，可以在残余子空间中清楚地检测到。

被错过的异常是由于它发生在距离摄像机很远的地方，结果，由于运动数据不连续，因此难以检测到。对第二组测试集合(X_Test2)进行同样的实验，再次检测到异常事件“团体游荡”，见图10(c)，发生在“非高峰”时段。

对由两台摄像机采集到的数据进行可扩展性测试。所述数据集合具有大致一百万帧，分辨率为576x 720，在七天内以每秒6帧采集到。使用来自于六天的数据用于训练并使用来自于一天的数据用于测试，对30秒(L＝3000)的运动流进行了合计。然而，在此情况中，计算上述随机化的PCA。20％的总训练向量被进行采样，对小规模的采样数据进行R-PCA。图11(a)显示了通过PCA计算得到的特征值，图11(b)显示了由R-PCA计算得到的特征值。通过100次迭代进行R-PCA计算，对平均结果进行了显示。

在另一组举例实验中，还使用其他PTA视频序列，包括从覆盖楼梯的摄像机采集到的一个序列，从覆盖自动售货机的摄像机采集到的一个序列，以及从覆盖来自两个不同站的轨道的摄像机采集到的三个序列。楼梯和售货机的序列均非常长(分别为8个小时和16个小时)。在轨道数据的情形中，两个训练序列和测试序列非常短，而第三个序列又很长(18个小时)。在这些实验中，总共27个小时的连续视频(无异常)用于训练，总共55个小时的视频用于测试(一些涉及区域行为的视频被去除并使用静态视角对系统进行评估)。结果总结在表1中。总之，共有20个真实异常存在于PTA视频流中，本举例方法能够正确识别出18个异常，并产生两个错误判错及10个错误判对。其中的错误判对主要是由于难以区分是闯入售货机的人还是维护人员等。错误判错是由于移动发生在距离摄像机很远的地方。

可扩展性能

如上所述，使用压缩数据的公开方法和系统对于网络异常检测及前述从视频录像进行异常行为检测均是可扩展的。对于网络数据，使用真实世界基准数据集合(Abilene)和模拟数据集合，具体指定我们框架的测试异常检测能力。对于视频数据，使用PTA数据的子集。

网络异常检测

该举例实验的目的是使用真实世界数据集合在压缩域中确定容量异常检测。网络中的业务流量是指在网络中各对入口节点和出口节点之间流动的业务的量。也被认为是源目标(Origin Destination，OD)流，也就是业务在源入网点(Point of Presence，PoP)进入主干网且在目标PoP离开。该流有两个主要特征，也就是(i)由正常业务模式(例如，每天的需求波动)引起的正常行为，正如Abilene数据集合所示。

所述Abilene数据集合包括在数个月的时间段内从41条网络链路收集到的读数。参见http：//www.abilene.iu.edu。使用涵盖两星期时间段的数据的子集(每周1008个测量值)。数据的大部分反映正常网络状况，在原始数据集合中仅有六个真实异常(手动检测到)。另外，在A.Lakhina et al.Diagonising network-wide traffic anomalies.In Proc。ACM SIGCOMM，2004描述的过程之后注入45个不同幅度的综合异常。

从第一周得到的轨迹用于进行训练，而从第二周得到的轨迹用作测试数据。在进行异常检测之前，通过使用随机矩阵来应用CS理论；例如，随机高斯矩阵、随机伯努利矩阵、随机部分傅立叶矩阵或他们的组合。

为了获得好的测量矩阵，举例实验以随机高斯矩阵开始，然后应用最近由Elad推荐的算法。参见M.Elad.Optimized projections for compressedsensing。IEEE Trans.Sig.Process.，55：5695-5702，2007。该算法利用了这样的事实，各列被归一化为单位规范的Φ的互相关系数是格拉姆矩阵G＝ΦT非对角元素的最大幅度值，其中，格拉姆矩阵具有秩M。因此，通过迭代收缩格拉姆矩阵的输入值，迫使其秩成为M，并取平方根，从而使Φ达到指定的秩M的更小的互相关系数。

模拟网络业务数据集合

在该组举例实验中，在大量网络业务模拟中使用异常检测，参见A.Lakhina et al.Diagonising network-wide traffic anomalies.In Proc.ACMSIGCOMM，2004，其中，本地监视器N的数量从500到2000，时间实例为L＝2000。产生的综合数据集合如下：网络信号被表示为x，x＝s+n，其中，它由两部分组成：s表征数据的长期结构，n表示本地时间变量。

参见A.Lakhina et al。Diagonising network-wide traffic anomalies.In Proc.ACM SIGCOMM，2004，已经表明信号在一些基础中是稀疏的，n仍然具有类似噪声的行为。此处认为噪声n为iid高斯，均值为0，方差为σ2。在考虑网络业务的全天特性之后，选择DCT作为基础。主分量的数量为K＝4，在这些环境中可以为合理地在稀疏性和在主子空间中采集到的能量值之间进行权衡。此处，加入均值为0，σ＝0:01的高斯噪声(n)。为了模拟异常网络状况，在执行完A.Lakhina et al.Diagonising network-wide trafficanomalies.In Proc.ACM SIGCOMM，2004中规定的流程之后，在数据中注入70个不同幅度的异常。

当选择CS测量值(M)的数量时，要考虑在性能和误差率之间进行权衡。为CS的维度M选择较小值能够减少计算的复杂性，但代价是由于测量矩阵互相关系数的增加会造成潜在的性能低下。在CS的文献中，频繁推荐O(K logN)的值。如果M过低，误差率会变得更大。如果M过大，误差率的减少并不非常明显而计算时间会呈二次方增加。因此，对于这些举例实验，当节点数量为500、1000和2000时，确定M的适当值分别为118、280和450。测量矩阵为分别具有互相关系数为0.37、0.35及0.20的随机高斯矩阵。

使用正常的快照用于训练数据和异常数据。随机生成高斯测量矩阵，其中，M＝280，N＝1000。使用Elad的算法，M.Elad.Optimized projectionsfor compressed sensing。IEEE Trans。Sig。Process.，55：5695-5702，2007，从初始相关系数0：55得到互相关系数0：35。根据置信水平计算门限Q。当对全部及压缩数据集合应用异常检测时，保存主导特征值的数量。

通过考虑网络及监视容量的异常来验证前导步骤。根据实施例，对于网络数据，对从Abilene网络收集到的四周的真实业务轨迹执行的算法进行评估，参见http：//www.abilene.iu.edu，并依照典型网络发发模拟综合数据。该实验验证了对于真实的数据集合，使用压缩数据的本实施例所述方法实现了检测率超过94％的等效性能。

对于综合数据，实验表明残余子空间分析方法对于高维度的数据在压缩域比非压缩域表现得甚至更好。而且，推荐的方法需要更少的存储器和存储空间，并且比使用原始数据的原始频谱方法快100倍。

PTA视频数据集合

对于该举例实验，进行时间子采样以便有效减少来自于PTA知识库的数据流的量。

此处，使用在一周中每天的高峰时段(7AM到11AM)从火车站的走廊采集到的视频数据。在火车站的入口点和出口点从两个不同的摄像机收集到分辨率为570x720的25fps视频数据。使用从五个连续天得到的视频用于训练集体X_Train，其中，每天有4个小时的连续视频，将第六天(X_Test1)和第七天(X_Test2)的视频仅用于测试。为了进行训练，初始合计的时间窗为L＝7200，栅格单元数为N＝100，窗长为10秒。

时间流数据被子采样，使得当快照长度(L)很大时，快照减少到M，M<<L。一个问题是选择M的值以达到最优性能。图12显示了当M为了上述数据集合从100变到300时的错误判对率(False Positive Rate，FPR)和异常检测率(均被标准化为1)。当M位于190～230中时，FPR最小且检测率最大。有效地，来自于服务器的数据流的量从L＝7200减少到M＝220，以应用带宽限制。图13和图14进一步表明使用压缩数据大致保存频谱属性并且残余行为几乎是相似的。

本发明可以应用于各种领域，例如但不限于应用于提高对公共区域和道路的安全监视效率。它可以与告警及响应系统相结合。它也可以应用于其他领域，如城市规划及拥堵管理。

Claims (20)

1.一种用于处理、检测和/或通知在至少一个大规模数据集合中存在至少一个罕见事件的方法，包括：

接收时间序列数据；

将所述时间序列数据或者所述时间序列数据的一个或多个特征表示为向量、矩阵和/或张量的集合；

对至少一个所述向量、矩阵和/或张量的集合进行压缩感测；

对至少一个被压缩感测的向量、矩阵和/或张量的集合进行分解，以提取残余子空间；

利用计算装置通过分析映射到残余子空间中的压缩感测数据识别潜在的罕见事件。

2.根据权利要求1所述的方法，其中，所述时间序列数据的一个或多个特征为与所述时间序列数据的子集相关联的一个或多个变量。

3.根据权利要求1所述的方法，其中，所述时间序列数据的一个或多个特征为在所述时间序列数据的任意两个子集数据之间任意变量的差别。

4.根据权利要求3所述的方法，其中，所述时间序列数据为至少一个视频和音频监视数据的流，各个子集为帧，所述特征为各个连续帧对之间的运动或频率信息。

5.根据权利要求3所述的方法，其中，所述时间序列数据为视频数据的流，各个子集为帧，所述特征为各个连续帧对之间的运动信息，所述运动信息由以下方式确定：通过栅格将各个帧分割为单元，然后统计各个单元中光流向量的数量，以提供光流信息。

6.根据权利要求5所述的方法，其中，所述光流信息采用视觉词袋模型表示。

7.根据权利要求6所述的方法，其中，通过合并用于所述序列中全部帧的特征向量，从所述视觉词袋模型构建特征-帧矩阵。

8.根据权利要求7所述的方法，其中，所述特征-帧矩阵在结构上然后被分解为可见的主分量和残余分量。

9.根据权利要求8所述的方法，进一步包括：使用基于Q-统计量的测试统计检测残余子空间中的异常事件。

10.根据权利要求1所述的方法，其中，使用前导步骤将所述数据变换到压缩域，以将所述数据减少到可管理的尺寸。

11.根据权利要求10所述的方法，其中，执行将所述数据转换成压缩域的前导步骤，以减少压缩域中的特征维度，使用具有输入值为0或+/-1的测量矩阵，其中，输入值为0的概率为2/3，输入值为+/-1的概率为1/6。

12.根据权利要求11所述的方法，其中，应用随机费氏算法。

13.根据权利要求10所述的方法，其中，执行将所述数据转换成压缩域的前导步骤，以减少压缩域中的时间实例，并应用帧子采样。

14.根据权利要求10所述的方法，其中，在被变换到所述压缩域之前，所述特征被表示为向量的集合。

15.根据权利要求1所述的方法，其中，所述识别潜在的罕见事件为将映射到所述残余子空间中的所述数据进行门限判决。

16.一种用于处理、检测和/或通知在至少一个大规模数据集合中存在至少一个罕见事件的系统，包括：

至少一个传感器，用于接收包括数据子集的时间序列的数据，用于分析；

计算机存储器，用于存储所述数据；

计算机处理器，用于：

将所述时间序列数据或者所述时间序列数据的一个或多个特征表示为向量、矩阵和/或张量的集合；

对至少一个所述向量、矩阵和/或张量的集合进行压缩感测；

对选择的被压缩感测的向量、矩阵和/或张量的集合进行分解，以提取残余子空间；以及

通过分析映射到残余子空间中的压缩感测数据识别潜在的罕见事件。

17.根据权利要求16所述的系统，其中，所述计算机处理器与所述至少一个传感器协同定位。

18.根据权利要求16所述的系统，其中，所述计算机处理器远离所述至少一个传感器。

19.根据权利要求16所述的系统，其中，所述计算机处理器的一部分远离所述至少一个传感器，并执行通过分析映射到残余子空间中的压缩感测数据识别潜在的罕见事件的步骤。

20.根据权利要求16所述的系统，其中，所述计算机处理器的功能在与所述至少一个传感器协同定位的子处理器及远离所述至少一个传感器的子处理器之间进行分割。