CN105279365A - 用于学习异常检测的样本的方法 - Google Patents

Abstract

本发明提供一种用于学习异常检测的样本的方法。该方法通过使用分治过程概括训练时间序列数据首先学习最终样本集来检测时间序列数据中的异常。然后，针对测试时间序列数据的每一个窗口，确定到最终样本集中的最接近样本的距离，其中，所述距离是异常分数。最后，当针对窗口的异常分数大于阈值时，通报异常。

Description

用于学习异常检测的样本的方法

技术领域

本发明总体涉及信号处理，并且更具体地，涉及检测实值时间序列数据中的异常。

背景技术

对于许多应用，可以生成并分析时间序列数据。例如，自动设备监视可以避免工业设备的高费用维修。这可以通过分析由设备上或设备附近的传感器获得的时间序列数据以检测可以表示设备需要维护或维修的异常来完成。

因此，期望有效地学习一维时间序列数据的模型。然后，可以使用该模型来检测来自相同源的未来测试时间序列数据中的异常。典型地，从没有异常的训练时间序列来学习该模型。

已知用于学习时间序列数据的模型的多种方法。一种简单且有效的方法使用整个训练时间序列数据作为模型。换句话说，将整个训练时间序列存储为模型。因此，可以忽略训练时间。为了检测异常，将测试时间序列的每一个窗口与训练时间序列的每一个窗口进行比较，并且将到最接近匹配窗口的距离用作异常分数。如果异常分数大于阈值，则通报(signaling)异常，参见Keogh等人的“HOTSAX:FindingtheModelUnusualTimeSeriesSubsequence:AlgorithmsandApplications,”ICDM2005。该方法的主要缺点在于，其需要存储可能非常大的整个训练时间序列，和具有大范围的不同类型的时间序列数据，并且异常分数的计算很慢，计算很慢会妨碍使用该方法用于实时应用。

用于对时间序列数据建模的另一类方法使用预测技术。这类方法使用时间序列数据的大量先前值来预测当前值，参见Ma等人的“OnlineNoveltyDetectiononTemporalSequences,”SIGKDD2003以及Koskivaara的“ArtificialNeuralNetworksforPredictingPatternsinAuditingMonthlyBalances,”J.oftheOperationalResearchSociety,1996。虽然那些预测模型可以是紧凑的，但是所述模型可能不能准确地预测一些时间序列数据。

用于对时间序列数据建模的另一种方法是作为穿过d维特征空间的轨迹(trajectory)。已经使用d维空间中的分段线性路径或框(box)来有效地表示在训练时间序列数据中的有效路径，参见Mahoney等人的“TrajectoryBoundaryModelingofTimeSeriesforAnomalyDetection,”WorkshoponDataMiningMethodsforAnomalyDetectionatKDD,2005。用于学习的该方法具有O(nlogn)的复杂性。

一种稍微不同的方法确定用于表示时间序列数据的短窗口的子空间，并且然后用自回归模型或密度估计对子空间中的轨迹建模，参见Liu等人的“ModelingHeterogeneousTimeSeriesDynamicstoProfileBigSensorDatainComplexPhysicalSystems,”IEEEConf.onBigData,2013。

Jones等人的于2013年7月1日提交的名为“MethodforDetectingAnomaliesinaTimeSeriesDatawithTrajectoryandStochasticComponents”的美国专利申请Sn.13/932,238描述了一种通过将从测试时间序列数据中提取的通用特征与从训练时间序列数据获得的通用特征进行比较以确定分数来检测时间序列数据中的异常的方法。通用特征表征时间序列数据的轨迹分量和时间序列数据的随机分量。然后，如果异常分数大于阈值，则检测到异常。在该专利申请中没有公开用于从训练时间序列有效地学习通用特征的集合(其是一类样本(exemplar))的方法。

因此，需要有效地学习针对时间序列的准确且紧凑的模型，该模型可以应用于很多不同类型的时间序列数据。

发明内容

本发明的实施方式提供一种使用从训练时间序列数据学习的模型来有效且准确地检测一维时间序列数据中的异常的方法。

本发明的主要思想在于，将训练时间序列数据建模为样本的集合。这些样本表示时间序列数据中的各种不同的窗口或子序列。最终样本集基本小于训练时间序列数据中的重叠窗口的总集合。

样本学习过程使用分治(divide-and-conquer)的思想，以将时间序列数据划分为较小的分块(chunk)，学习针对每一个分块的样本的集合，并且然后组合结果。得到的样本学习过程具有O(nw)的时间复杂性(在平均情况下)，其中，n是训练时间序列数据的尺寸，并且w是窗口的尺寸。

因为训练时间序列数据被相对小数量的样本有效地概括，所以得到的样本的集合使得异常检测非常快。此外，所学习的模型产生针对各种不同时间序列数据的非常准确的异常检测方法。

附图说明

图1是根据本发明的实施方式的用于检测时间序列数据中的异常的方法的流程图；以及

图2是根据本发明的实施方式的用于学习异常的集合的分治过程的示意图。

具体实施方式

异常检测方法

图1示出了用于检测时间序列数据中的异常的方法。如本领域中已知的，该方法的步骤可以在处理器100中执行，该处理器100经由总线连接至存储器和输入/输出接口。

通过使用分治过程200概括训练时间序列数据101来学习样本111的集合。样本是时间序列数据的类似窗口的集合的代表。在图2中示出了分治过程的细节。

对于测试时间序列数据102的每一个窗口，确定120到最接近样本的距离。该距离用作异常分数121。

然后，当针对窗口的异常分数大于阈值T时，通报130异常131。

分治过程

如图2所示，分治过程将初始样本集201划分为多个分块202。然后，将选择过程和组合过程220、230、240、250的序列205应用于分块。选择过程从样本的给定集合中选择样本的较小集合。选择样本的较小集合以很好地表示给定集合。简单的选择过程的示例反复地合并分块中的两个最接近样本，直到分块中的样本之间的最小最近邻间距大于阈值T为止。

组合过程简单地将来自两个分块的所有样本放入一个分块中。选择和组合的该处理205继续进行，直到剩下单个分块为止。然后，最终选择操作260产生最终样本集203。

统计和平滑轨迹(SST)特征

时间序列数据的窗口被表示为轨迹分量和统计分量，所述轨迹分量表征窗口内的时间序列数据的形状，所述统计分量表征随机分量。这些窗口在时间上滑动且重叠。包括轨迹分量和统计分量的特征向量被称为统计和平滑轨迹(SST)特征。

给出表示时间序列数据的类似窗口的集合的SST特征的集合，我们通过平均轨迹分量和平均统计分量，以及针对轨迹分量和统计分量的每个元素的标准偏差来确定该集合的样本。

我们用于学习概括训练时间序列数据的样本的集合的过程包括以下步骤。

确定针对训练时间序列数据中的每一个重叠窗口的SST特征向量，并且限定等于所有SST特征向量的集合的初始样本集201。

我们对类似的重叠窗口执行样本的初始合并220。

我们还使用分治学习过程200来压缩初始样本集。

下文将更详细地描述这些步骤中的每一个。

特征向量

等于SST特征的初始集合的初始样本集的计算是明确的(straightforward)。我们使用滑动窗口105，并且在每个窗口内，确定轨迹分量和统计分量。使用窗口内的时间序列值的简单固定窗口滑动平均(runningaverage)来确定轨迹分量，以在减去窗口的平均值之后产生平滑的时间序列数据。

因为平滑，所以可以丢弃平滑时间序列数据中的一半的值而不丢失重要信息。这产生具有w/2个元素的轨迹分量。统计分量是对窗口中的时间序列数据值确定的统计量(statistic)的小的集合，其被设计用于表征初始时间序列窗口中的随机信息。

统计分量包括平均值、标准偏差、绝对差均值、由窗口尺寸划分的多个平均交叉(meancrossing)、正差(positivedifference)的百分比、零差(zerodifference)的百分比、以及由窗口尺寸划分的正差序列的平均尺寸。

将轨迹分量和统计分量组合为单个特征向量产生w/2+7个实值的向量。初始样本集被设置为等于SST特征向量的初始集合，且所有标准偏差分量均设为0。

由于重叠子序列通常在序列之间具有小距离，所以我们通过合并类似重叠序列的SST特征向量来减小初始样本集的尺寸。为了合并两个SST特征向量，我们对两个向量进行加权平均。针对每一个特征向量的权重是已被平均到该特征向量中的特征向量的数量。

在初始合并210之后，我们使用分治过程200来有效地选择最终样本集203。分治过程将初始样本集201划分210为尺寸为C的多个分块，其中，C是该过程的参数。对于每一个分块，执行选择过程。在一个实施方式中，对每一个分块执行的选择过程是反复(iterative)合并过程。该反复合并过程首先针对分块中的每一个样本，找到该分块中的最接近的相邻样本。该过程使用距离函数

$\mathrm{dist}(v_1,v_2)={\mathrm{\Σ}}_{i=1}^l{(v_1\·t\left(i\right)-v_2\·t\left(i\right))}^2+\frac{l}{7}{\mathrm{\Σ}}_{i=1}^7{(v_1\·s\left(i\right)-v_2\·s\left(i\right))}^2---\left(1\right)$

其中，v₁和v₂是两个特征向量，v_j·t是v_j的轨迹分量，并且v_j·s是v_j的统计分量。使用提前放弃(earlyabandoning)来计算距离函数，提前放弃表示如果部分和已经大于目前最近邻间距，则提前结束计算。之间具有最小距离的两个样本被合并。合并两个样本包括计算两个样本的加权平均值，其中，针对样本的权重等于已被平均到该样本中的样本的数量。确定在分块内的被合并样本的最接近相邻样本(nearestneighbor)，并且重新计算具有两个样本中的一个样本作为最接近相邻样本的任何其它样本的最接近相邻样本。

合并两个最接近样本的该处理继续进行，直到针对分块中的所有剩余样本的最小最近邻间距大于阈值T为止。此时，选择过程终止并且返回针对分块的样本的剩余集合。

在另一个实施方式中，对每一个分块执行的选择过程是例如k-均值聚类(k-meansclustering)的常规聚类算法。

在将选择过程应用于每一个分块之后，通过将来自两个分块的所有样本简单地放入一个新分块中，将多对分块组合为一个新分块。然后，对新分块中的每一个执行选择过程，并且然后组合这些分块，以此类推，直到仅剩余一个分块为止。对该一个剩余的分块执行最终选择过程，以产生针对整个训练集合的最终样本集。这是由分层(hierarchical)样本学习过程返回的最终样本集，如图2所示。

Claims (9)

1.一种用于检测时间序列数据中的异常的方法，所述方法包括以下步骤：

通过使用分治过程概括训练时间序列数据来学习最终样本集；

针对测试时间序列数据的每一个窗口，确定到所述最终样本集中的最接近样本的距离，其中，所述距离是异常分数；以及

当针对窗口的所述异常分数大于阈值时，通报异常，

其中，这些步骤在处理器中执行。

2.根据权利要求1所述的方法，其中，每一个样本都表示所述时间序列数据的类似窗口的集合。

3.根据权利要求1所述的方法，其中，所述分治过程进一步包括：

将所述训练时间序列数据中的初始样本集划分为多个分块；

将选择过程和组合过程的序列应用于所述多个分块，直到仅剩余一个分块为止；以及

将最终选择过程应用于剩余分块的样本，以产生所述最终样本集。

4.根据权利要求3所述的方法，其中，所述时间序列数据的每一个窗口都被表示为轨迹分量和统计分量，所述轨迹分量表征所述窗口内的所述时间序列数据的形状，所述统计分量表征随机分量，并且包括所述轨迹分量和所述统计分量的特征向量是统计和平滑轨迹(SST)特征，并且其中，所述窗口在时间上是滑动的和重叠的。

5.根据权利要求4所述的方法，该方法进一步包括：

确定针对所述训练时间序列数据中的每一个窗口的所述SST特征，并且限定等于所有SST特征的集合的所述初始样本集。

6.根据权利要求1所述的方法，该方法进一步包括：

使所述时间序列数据平滑。

7.根据权利要求5所述的方法，其中，所述统计分量包括平均值、标准偏差、绝对差均值、由窗口尺寸划分的多个平均交叉、正差的百分比、零差的百分比、以及由所述窗口尺寸划分的正差序列的平均尺寸。

8.根据权利要求5所述的方法，其中，所述选择过程反复地合并最接近相邻样本，并且其中，通过计算所述SST特征的平均值来进行所述样本的合并。

9.根据权利要求7所述的方法，其中，所述距离是

$\mathrm{dist}(v_1,v_2)={\mathrm{\Σ}}_{i=1}^l{(v_1.t\left(i\right)-v_2.t\left(i\right))}^2+\frac{l}{7}{\mathrm{\Σ}}_{i=1}^7{(v_1.s\left(i\right)-v_2.s\left(i\right))}^2$

其中，v₁和v₂是两个特征向量，v_j·t是v_j的轨迹分量，并且v_j·s是v_j的统计分量。