CN111971942A

CN111971942A - 季节性数据的异常检测和处理

Info

Publication number: CN111971942A
Application number: CN201980024113.6A
Authority: CN
Inventors: J·加普尔
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2018-04-05
Filing date: 2019-03-27
Publication date: 2020-11-20
Anticipated expiration: 2039-03-27
Also published as: CN111971942B; US20190311297A1; EP3777083A1; US11165799B2; WO2019195039A1

Abstract

本文公开了用于评估和分析计算系统数据以进行异常检测和处理的系统和设备。在一个例子中，用于检测异常的操作包括：获得根据计算系统的操作产生的源事件数据流；将源事件流转换为频率信号；根据频率信号识别估计的季节性；将估计的季节性缩放到计算系统的操作产生的目标事件流；基于与估计的季节性的偏差来识别目标事件流的主向量的异常；以及使计算系统基于所识别的异常来执行动作。在另一个例子中，这些操作包括：将估计的季节性缩放到指示次要向量的目标事件流的子集；并基于该数据子集与估计的季节性之间的偏差，识别次要向量的异常。

Description

季节性数据的异常检测和处理

背景技术

已经在各种各样的计算机操作设置中执行了数据分析，以识别偏离预期模式或结果的异常或离群值(outlier)。分析数据集中的异常的常规方法，通常仅限于比较相似时间段内获得的数据(例如，星期一生成的数据与前一星期一生成的数据)。这种类型的比较通常需要进行许多数据观察并指定手动调整的参数和规则，以识别期望的模式以及是否发生偏差。结果，常规方法通常无法在短时间内检测到异常，或者在只有少量数据可用时无法检测到异常。

使用常规统计学方法来分析异常也遇到了类似的局限性，同时如果观察到错误的模式，还会引入更高的误报率(false positive rate)。尽管已提出并研究了一些先进的机器学习技术来从数据集中执行异常分析，但要有效地使用机器学习技术，则需要大量标记的训练数据，并且需要人工参与训练机器学习模型来产生有用的结果。

发明内容

在附图和下面的详细描述文本中，提供了本发明主题的实施例的各种细节。应当理解的是，以下部分提供了这些实施例中的一些的概括性示例。

概括地说，本文描述的实施例涉及对计算系统操作产生的数据以及在计算系统操作内产生的数据的异常检测，具体而言，本文描述的实施例涉及对高度季节性的数据的处理和分析以检测异常。在一个例子中，实施例可以包括：执行电子操作以从计算系统事件中检测异常，所述操作包括：获得源事件数据流，所述源事件数据流是根据计算系统的操作产生的；将所述源事件数据流转换为频率信号；根据所述频率信号识别估计的季节性(seasonality)；将所估计的季节性缩放到目标事件数据流，所述目标事件数据流是根据所述计算系统的操作产生的；基于所述目标事件数据流与所估计的季节性之间的偏差，来识别所述目标事件数据流的主向量的一个或多个异常；以及使所述计算系统基于根据所述目标事件数据流中确定的所述一个或多个已识别异常来执行动作。

在另外的例子中，实施例可以执行包括以下的操作：将所估计的季节性缩放到所述目标事件数据流的子集，其中，所述目标事件数据流的所述子集指示一个或多个次要向量；基于所述目标事件数据流的所述子集与所估计的季节性之间的偏差，识别所述一个或多个次要向量的一个或多个异常，使得在所述计算系统中执行的所述动作进一步基于所述一个或多个次要向量的所述一个或多个已识别异常。在另外的例子中，实施例可以提供包括以下的操作：通过从所述目标事件数据流的所述子集中去除超出所估计的季节性的数据值，来生成剩余数据(residual data)；将统计学方法应用于所述剩余数据，以从所述剩余数据中识别所述一个或多个次要向量的所述一个或多个异常。在一个例子中，所述主向量是基于所述计算系统的使用，使得所述一个或多个次要向量分别基于所述计算系统的所述使用中表示的一个或多个软件应用程序的使用。

在另外的例子中，将所估计的季节性缩放到所述目标事件数据流的所述操作包括：从所述频率信号中减去所估计的季节性以识别一组剩余，使得识别所述一个或多个异常的所述操作包括对所述一组剩余进行统计学分析。另外，在一个例子中，所述源事件流指示每时间间隔从计算系统获得的事件的计数，使得对所述源事件数据流进行转换以将所述事件的计数表示为所述频率信号。另外，在一个例子中，所述频率信号表示趋势、季节性、异常、以及噪声的组合，使得所述目标事件数据流是基于具有相似的季节性模式的所识别的观测向量来选择的。另外，在一个例子中，将所述源事件数据流转换为所述频率信号的所述操作包括：将所述源事件数据流变换为分量频率，并应用低通滤波器。另外，在一个例子中，将所述源事件数据流转换为所述频率信号的所述操作还包括：向所述频率信号应用快速傅立叶变换，以及应用所述低通滤波器以排除超过定义值的数据值。

本文所讨论的实施例包括一种计算设备，其包括处理硬件(例如，处理器)和存储器硬件(例如，存贮设备或易失性存储器)，其中所述存储器硬件包括在其上实体的指令，使得当这些指令被所述处理硬件执行时，使所述计算设备实现、执行或协调所述电子操作。本文所讨论的另一个实施例包括一种计算机程序产品，例如可以由机器可读介质或其它存储设备体现的计算机程序产品，其提供用于实现、执行或协调所述电子操作的指令。本文所讨论的另一个实施例包括一种可在所述计算设备的处理硬件上操作以实现、执行或协调所述电子操作的方法。

如本文所讨论的，可以在客户端计算系统、服务器计算系统或分布式或联网系统(和多个系统)处，执行用于实现上面所描述的电子操作的各方面的逻辑、命令或指令，其中这些计算系统包括用于该系统的任何数量的外形因素，例如桌面型计算机或笔记本电脑、诸如平板电脑、上网本和智能手机之类的移动设备、客户端、虚拟机和服务器托管的机器实例等等。本文所讨论的另一个实施例包括将本文讨论的技术并入其它形式，其包括并入其它形式的编程逻辑、硬件配置或专用组件或模块，包括具有执行这些技术的功能的相应单元的装置。用于实现这些技术的功能的各个算法可以包括上面描述的电子操作中的一些或全部序列，或者包括附图和下面的详细描述中描述的其它方面。

提供本概括部分以便用简化的形式介绍本发明主题的各方面，在以下的详细描述的文本中进一步解释了本发明的主题。本概括部分并不是旨在标识本发明的关键特征或必需特征，并且本概括部分中列出的元素的特定组合和顺序也不是旨在对所主张的主题的元素进行限制。

附图说明

在不一定按比例绘制的附图中，相同的数字可以在不同的视图中描述相似的组件。具有不同字母后缀的相同数字可以表示相似组件的不同实例。在附图的各个图中，通过示例而非限制的方式示出了一些实施例，其中：

图1根据示例，示出了用于收集和分析从计算系统操作产生的季节性数据的场景。

图2根据示例，示出了在一段时间内发生的事件流的图表表示。

图3根据示例，示出了用于对事件流执行异常检测的操作的流程图。

图4根据示例，示出了对图2中所表示的事件流的分量频率的图表表示。

图5根据示例，示出了针对图2中所表示的事件流的分量频率的频谱图的图表表示。

图6根据示例，示出了从图2中表示的事件流导出的估计的季节性值的图表表示。

图7根据示例，示出了从图2中表示的事件流导出的事件的计数和相对于事件的计数的估计季节性的图表表示。

图8根据示例，示出了从图2中表示的事件流导出的、相对于剩余事件的事件的计数和季节性的图表表示。

图9根据示例，示出了从图2中表示的事件流导出的、整个活动流中的季节性去除剩余的图表表示。

图10和图11根据示例，示出了基于对图2至图9所表示的事件流执行的分析，来估计季节性并从相关活动流中识别异常的图表表示。

图12根据示例，示出了对主向量和多个次要向量执行分析的操作流程。

图13根据示例，示出了用于检测和响应来自计算系统事件的异常的方法的流程图。

图14根据示例，示出了用于实现检测来自计算系统事件的异常并进行响应的操作的计算系统的硬件和功能组件的框图。

具体实施方式

在以下描述中，公开了用于分析数据，并执行各种工作流以检测、识别和响应计算系统数据值中的异常、离群值、以及其它变化的方法、配置和相关装置。考虑到季节性和其它类型的动态或自适应变化，可以使用这些技术对暖和热路径中的数据进行分析。该数据分析的结果可以用于监测或修改源计算系统或平台、另一个计算系统或平台，或者在数据评估系统或平台内引起另一种效果。

本文所讨论的技术可以应用于各种类型的计算系统数据，仅需在调整时进行微小的变化。因此，与需要进行广泛设置或者需要针对数据的类型和来源定制大量数据规则和约束的现有方法相反，本文公开的技术从一开始就提供有用的异常监测和响应。本文所讨论的技术也可以与现有方法进行对比，现有方法需要大量的时间和人力或计算资源来训练和维护参数，并且需要收集大量的历史观测数据来进行训练和使用。

季节性(seasonality)表示时间序列中特定间隔的定期的重复变化。这种变化通常使得很难从时间序列数据集中获得有用的度量和信息。例如，季节性可能掩盖离群值数据点(或者看起来是离群值的数据点)，而这些数据点实际上可能仅仅是正常的增强活动时期的结果。下面的技术包括从时间序列数据中识别和删除季节性值，以便可以客观地观察、分析和响应剩余数据的过程。在给定的适当场景中，可以使用下面技术来减少或消除数据中的大量季节性状况，从而在有限的训练观测情况下，更容易从暖或热的路径数据中实时地检测异常。

在一个例子中，异常检测的过程包括以下变化：使用数据集的主向量从数据集值中分离季节性；将数据缩放到数据集值中的次要(非主要)向量的幅度；以及使用从次要向量中减去季节性而产生的剩余值来检测异常。可以将该过程部署到多达与主向量相关的次要向量中。这使得可以监测大量的事件或活动，并且因此不仅可以识别系统中的异常情况，还可以识别错误的精确来源和位置。结果，该过程提供了重要且有用的异常检测，并确定故障的根本原因。

本文所讨论的技术可以执行增强形式的数据分析，并且在计算机和信息系统中执行的技术过程中具有附带的益处。这些益处可以包括：提高了对计算操作数据流产生的动作的响应速度和控制；提高了数据季节性评估的准确性和精度；提高了数据记录分析的速度；提高了针对大型数据集的规模；以及改善了结果和输出，其包括对异常的来源或根本原因的简化识别。伴随着计算机系统本身技术操作的改进(其包括改进处理器、内存、带宽或其它计算系统资源的使用)，可以实现这些益处。此外，这些益处也可以用于发起或触发其它动态计算机活动，从而带来进一步的技术优势并改进电子操作系统。

图1提供了用于收集和分析季节性数据，以评估从各个计算设备产生的数据中的异常的示例性场景100的概述。如图1中所示，数据消费者计算设备152、154、156、158通过使用应用编程接口148或其它接口，经由网络150来访问事件生成计算系统140。事件生成计算系统140可以操作软件应用程序146和操作系统144以促进API 148的操作。如以下示例中所讨论的，在场景100中针对异常来测量、记录和分析API 148的操作。消费者计算设备可以包括服务器152、商业/工业计算平台154、个人计算机156、移动计算设备158以及其它形式的外形的系统。但是，应当理解的是，由于本文的异常检测过程可以应用于许多不同的环境和设置，因此特定类型的数据消费者和事件生成过程的类型可以显著地变化。

在一个例子中，事件生成计算系统140进行操作以从正常系统操作中产生事件数据并进行存储。因此，“事件”可以包括以可识别的方式发生的离散的系统操作。例如，作为API 148、软件应用程序146、操作系统144和事件生成计算系统148的其它方面的操作的一部分，对各种事件和事件动作进行记录并保存在事件数据存储148中。例如，事件数据存储148可以提供事件生成计算系统140内用于托管时间序列数据集中的各个数据点、样本或集合。在其它例子中，事件数据可以传送到其它远程数据存储，或者由其它远程数据存储(例如，在云托管的存储中)托管。事件数据还可以由事件生成计算系统140、网络150的组件、操作系统144、软件应用程序146或其他实体进行聚合、细化、过滤或者以其它方式进行处理。同样，在其它例子中，其它计算系统可以提供或补充事件数据。

托管在事件数据存储148中或者从其获取(或者从事件生成计算系统140的其它地方获取)的事件数据，可以以事件测量数据136的形式传送给事件分析计算系统110。例如，事件测量数据136可以直接或间接地表示事件数据(例如，作为事件数据的抽象或聚集)，其中，响应于事件分析计算系统110与事件生成计算系统130之间交换的响应请求而经由网络130传送该数据。如图所示，还可以将该事件测量数据136与包括事件测量数据存储134的事件测量数据系统132一起存储、持久化或托管。

在一个例子中，事件分析计算系统110可以包括执行一系列进程的操作系统120，这些进程包括用于根据本文所讨论的异常检测过程来请求、过滤、评估和分析事件测量数据136的数据评估进程122和异常处理进程124。例如，出于操作异常检测过程的目的，数据评估进程122可以检索事件测量数据136的存储或缓存版本。又例如，异常处理进程124可以操作一系列算法或功能，其中这些算法或功能用于产生标识异常的数据输出160。可以结合本文中进一步讨论的异常检测过程，以汇总或详细的数据值、图形表示或映射或计算机系统命令的形式提供该数据输出160。虽然在数据输出160中描绘了具有图形显示的计算系统，但应当理解，场景100并不限于任何特定形式的输出，并且在一些情况下，可以将直接计算机处理或操作、数据记录和存储或命令，作为异常检测过程的结果来执行或实现。涉及使用网络化、基于云的、虚拟化或分布式计算系统过程的其它变型，也可能导致场景100以及附带的输入和输出发生变化。

在下面的例子中，可以结合产生异常的季节性数据流的任何组或集合来使用异常检测的过程。异常检测的过程还可以用于触发或导致计算系统中各种数量或类型的有用数据输出。在一个例子中，用于检测异常的过程可以包括用于对来自原始、过滤或处理的数据的事件流中的数据进行处理和分析的顺序工作流。该顺序工作流可以包括：首先，识别具有高度相关的季节性模式但不一定具有相同幅度的观测值的时间序列向量；其次，识别将用于隔离季节性模式的一个向量(本文称为主向量)，并且所有其它时间序列向量都将称为次要向量；第三，在主向量中识别季节性；第四，将在主向量中识别的季节性缩放为次要向量的幅度并进行减去，其结果称为余数(remainder)；第五，使用一种或多种方法(例如，统计学方法)来检测余数中的离群值。基于对这些异常的检测，可以执行各种响应、状态和计算机操作。

本文所公开的异常检测过程可以应用于检测计算系统的多个操作特征和方面内的异常。具体而言，异常检测可以适用于存在主要事件(例如，执行、启动、打开、下载等等)并伴随着次要事件和活动(例如，由于主要事件而执行的活动和产生的数据)的任何软件系统或子系统。以下部分提供了此类操作用例的示例，其中主要事件与“主向量”相关联，而次要事件与“次要”或“次要向量”相关联。

计算系统平台。举一个例子，异常检测过程可用于评估计算系统平台的运行，其中该计算系统平台执行许多软件过程、应用程序和服务。平台使用情况代表主向量，并且平台上应用程序或服务的启动(或者源自于其的事件)代表次要向量。可以在平台应用程序上识别异常，并且可以将应用程序中的根本原因应用程序或事件识别为过程的输出。

软件应用程序操作。举一个例子，异常检测过程可用于评估软件应用程序中的事件的操作。在软件应用程序设置中，应用程序的启动代表主向量，而应用程序内的事件则代表次要向量。可以在软件应用程序内识别异常，并且可以将该应用程序内的根本原因事件/动作识别为过程的输出。

云服务。举一个例子，异常检测过程可用于评估云服务的操作。在云服务场景中，对云操作的访问代表主向量。云中的事件代表次要向量。在云中识别出异常，并且可以将应用程序内的根本原因动作/文件访问识别为过程的输出。

云应用程序。举一个例子，异常检测过程可用于评估云应用程序的操作。诸如办公效率应用程序(例如，文字处理程序、电子表格、演示文稿、笔记记录应用程序)、企业软件应用程序等等之类的云应用程序通常根据一天中的时间、一周中的一天、预先安排的活动和假期等等，创建大量的季节性数据。由于此类软件应用程序的使用产生大量的数据，因此可能会从正在进行的云应用程序进程中生成各种各样的主向量(例如，应用程序访问或执行)和次要向量(例如，应用程序事件)。

应用程序编程接口场景。举一个例子，异常检测过程可用于分析API使用产生的数据。在API使用场景中，对工作负荷的所有API调用均代表主向量。对特定API工作负荷的调用代表次要向量。异常分析过程可以允许在使用API的情况下检测异常，并找出有问题的API。

网络中断场景。在一个例子中，异常检测过程可用于对数据通信网络执行网络中断分析。在网络分析场景中，所有对网络的访问事件都代表主向量。单个访问或访问位置表示次要向量。可以在单个访问点内识别异常，并将错误的访问位置识别为输出。

图2根据示例，示出了在一段时间内发生的事件流的图表表示200。图表表示200特别代表沿四十天时间轴230(水平轴)映射的事件轴220(垂直轴)的计数的测量210。例如，测量210可以标识原始事件流，该原始事件流在整个四十天的时间段内按每10-15分钟的时间段进行桶事件计数。在该例子中，给定发生的每周周期(例如，作为周一至周五和周六、周日模式的结果)，需要7天的时间来捕获季节性的模式。其它时间段和范围也可以结合本发明的技术一起应用。

测量210的活动向量f(x)代表四个分量：趋势(t)；异常(a)；季节性(s)；和噪声(n)；使得活动向量＝f(x)＝t+s+a+n。因此，异常检测过程的第一步是将数据隔离，并将其划分为可以进行分析以指示活动趋势的一组测量值。虽然测量210包括各种各样的变化，但是测量210包括可能不能立即观察到的大的季节性因素。使用本技术，可以在判断某些数据值是否异常的过程中考虑季节性。

诸如数据质量平台(DQP)之类的常规异常检测方法和类似方法仅将当前时间段与具有相似季节性模式的先前时间段进行比较。例如，只能将星期一与之前的星期一进行比较。结果，这些技术没有显式地考虑季节性。除了季节性可能遇到的偏差之外，常规方法还存在一些缺点：

首先，常规方法需要对先前时段进行多次观察(在图2的例子中，使用几个星期一进行比较，以确定特定星期一的值)。这增加了在部署任何分析之前收集观察值所需要的时间。此外，如果在先前的训练期间出现异常，则必须排除这种异常，并考虑历史来训练模型。

第二，常规方法中应用的模型高度依赖于调整参数，该调整参数试图平衡季节性和噪声以识别异常。这些调整参数的训练可能很耗时，因此在大量不同事件上进行部署是不可行的。

第三，常规方法中应用的模型没有考虑主要事件和次要事件之间的关系。例如，可以为特定事件部署DQP系统，但不使用该信息来评估相关事件中的异常。此外，即使专门设计DQP模型来分析应用程序启动中的异常或者应用程序中的特定事件，也无需考虑应用程序启动与该应用程序中的事件的活动级别之间的关系。

从以下段落中将显而易见的是，相对于DQP和许多其它类型的常规异常建模和分析，本文所公开的异常检测过程对季节性的考虑可以提供处理速度和准确性的改进。

图3根据示例，示出了用于对数据流执行异常检测的操作的流程图300。部分地通过图4至图10的数据描述来说明这些操作。如本文的示例中所使用的，暖路径通常是指对异常检测有5到15分钟的延迟的数据，而热路径通常是指对异常检测有60秒的最大延迟的数据。然而，本文的异常检测技术的适用性可以与暖或热路径数据的其它变化一样发生，或者在使用历史数据(可被视为冷数据)时出现。

在操作310中，执行初始操作以识别具有季节性模式的数据观测。常规地，将在时间序列数据中观测到此类向量，即使所有事件或向量的幅度差异很大，季节性状况的周期性在所有事件或向量中都是相似的。在这种情况下，不仅需要确定存在季节性，而且要在整个数据集中预期具有相同的季节性，因此需要大量的领域知识。即，在主向量中观测到的季节性将大致相当于次要向量中的季节性。然而，通过流程图300的方法，以无缝的方式进行季节性的识别和评估。

在操作320中，执行操作以识别主向量。可以将主向量视作为能够从中可以得出季节性的观测值的主(或主要)向量。因此，该向量应当反映整个数据集中常见的季节性。虽然主向量内的季节性的整体幅度并不重要，但是季节性的每个分量的相对幅度在主向量和次要向量之间应当相当。

在操作330中，执行进一步的操作以在主向量内隔离趋势并估计季节性。这可以通过将数据变换为频谱，然后应用基于幅度的高通滤波器来完成。在应用阈值后重建该信号将隔离季节性。

在操作340中，执行进一步的操作以评估主向量中的异常，并且在操作350中，执行进一步的操作以将季节性缩放至次要向量的幅度，并检测特定事件或起源中的异常。

在一个例子中，输入是由趋势(t)、季节性(s)、异常(a)、以及噪声(n)组成的离散时间间隔上的事件的计数向量，其通过函数f(x)＝t+s+a+n来表示，并且，可以通过基于频率幅度对变换后的去趋势(de-trended)数据应用阈值来得出预期的季节性。通过训练和测试过程来确定应当使用的阈值。用此方式，该阈值可以相当于另一种算法的调整参数，并通过λ来给出。另外，在一个例子中，快速傅里叶变换(“FFT”，通过“fft”函数体现)可以结合估计季节性，对一组输入数据进行采样。

在以下方程式中，fft(s+a+n)[λ]是大于阈值参数的原始、去趋势数据的频率向量，并且fft^-1是加阈值(thresholded)频率的逆变换：

E(s)＝fft^-1(fft(s+a+n)[λ])

该方法的结果是对该时间段的季节性趋势的估计。估计的季节性与去趋势数据之间的差异等于使用传统统计学方法检测离群值所评估的剩余(r)：

r＝s+a+n-E(s)＝a+n+ε

在确定理论上的‘真实’季节性时，可以考虑加阈值FFT模型的有效性。在上式中，该差异由(ε)来表示。这些剩余的幅度相比于异常的幅度加上噪声，决定了检测异常的模型的有效性。因此，如果误差加上噪声大于异常本身，则该模型将无法进行检测。

从中导出FFT的训练时段的后续时段应当用于评估模型的有效性。具体而言，可以将季节性估计的误差的幅度、异常的幅度、以及噪声进行如下所述地比较：

ε＝s-E(s)

一旦正确识别并评估了季节性，就可以将季节性缩放到相关活动向量(称为次要向量)的幅度。继续前面的示例，如果主向量捕获统一的离散时间间隔内的应用程序的全部启动，则次要向量捕获相同的时间间隔内的相关活动(例如，应用程序内部的动作)。用此方式，主向量和次要向量紧密相关，但是规模不同。缩放的预期或估计的季节性指数可以计算为：

然后，将预期的或估计的季节性指数乘以次要向量，以适当地缩放季节性：

E_m(s)＝E_i(s)*max(f_m(x))

通过取给定时间段内次要向量的标准偏差加上或减去一个作为附加输入参数的乘数来考虑噪声。然后，将置于该时间间隔以外的次要向量的观测值确定为异常。

在操作360中，可以通过评估次要向量中的剩余，来识别一个或多个异常的事件来源或根本原因。如上所述，这可以通过隔离每个次要向量中的剩余来执行，如通过从次要向量中减去在主向量中确定的经缩放的季节性(从操作350中产生)来计算得出。然后，可以使用统计学技术对这些剩余进行评估，以识别异常。最后，在操作370中，在识别出特定的异常和事件来源的情况下，计算系统可以使各种响应(操作、动作等)对异常做出响应。因此，异常检测过程可以部署到次要向量的整个系统，输出是异常的来源或根本原因的识别。

在以下段落中，图4至图11提供了异常检测过程的进一步的图形说明，其应用于图2中表示的事件数据集中的测量210。作为第一示例，图4和图5示出了季节性的示例评估，其中图4示出了图2的事件流的分量频率的图表表示400，而图5针对图2中表示的事件流的分量频率，示出了频谱图的图表表示500。

在图表表示400中，相对于在时间段轴440上的事件的计数轴430，识别出图表数据值410。图表数据值410是从表示训练周期的等效持续时间的先前时间段生成的。当新数据流进入时间序列时，该训练时间段可以在分析时间段之后的固定间隔内。这具有减轻趋势变化随时间的影响的效果。通过超参数(λ)来控制时间序列中识别的季节性的量。在图表表示500中，相对于幅度值轴530和频率值轴540来识别数据值。可以通过将数据变换为分量频率，然后应用等于λ510的低通滤波器，来估计季节性。对高于截止频率值(λ)的值进行隔离，并忽略为噪声。

图6示出了使用从图4和图5获得的处理后的数据值，来识别从图2中表示的事件流导出的估计季节性值的图表表示600。在该例子中，平均数据值610(例如，与数据值410的平均值相对应)绘制在整个时间段轴640上的事件的计数轴630上。这用于生成估计季节性值612的模型。具体而言，可以根据基于低通滤波器的输出重建信号，来执行估计季节性值612的生成。如上所述，可以通过下式来执行此操作：

E(s)＝fft^-1(fft(s+a+n)[λ])

图7示出了事件的计数和相对于事件的计数的估计的季节性的示例性图表表示700，图8示出了相对于剩余事件的事件的计数和季节性的示例性图表表示800。图表表示700具体示出了在整个时间段轴740上映射的事件的计数轴730，以说明估计的季节性值712相对于训练期间(如图所示，为期7天的训练周期)的数据值710的比较。

图表表示800具体示出了剩余事件数据计数(其绘制在整个时间段轴840上映射的剩余事件的计数轴830中)，以反映去除训练时段中估计的季节性数据。如上所述，可以通过下式来计算剩余：

r＝s+a+n-E(s)＝a+n+ε

图9示出了应用于整个活动流(其衍生自图2所示的事件流)的季节性去除剩余的图表表示900，并且以类似于图表表示800中所示的方式进行示出。图表表示900指示沿着时间段轴940上的剩余轴930映射的剩余值910，该时间段轴940已扩展到较大的时间段(活动流的整个时间段，为期40天)。在图表表示900中描绘的整个活动流，在上式中用a+n+ε来表示。用此方式，可以通过从原始信号中减去估计的季节性，并对剩余进行统计学分析以识别异常，来确定整个事件流或较小事件流(例如，涉及热或暖路径数据)的剩余。

图10和图11根据示例，示出了基于对以上针对图2至图9讨论的事件流执行的分析，来估计季节性并从主要(超集)和相关(子集)活动流中识别异常的图表表示1000、1100。如图10所示，图表表示1000示出了主向量轴1030相对于时间段轴1040的剩余数据值1010(去除了估计的季节性的数据值)的映射。线1020是应用于剩余以识别主向量内的异常、以及该时段内是否存在趋势变化的常规统计学计算(例如，滚动平均值或者其它类型的移动平均值)。

此外，如图11所示，图表表示1100示出了次要向量的数据事件的计数，例如，其根据主向量跟踪的数据事件的子集(例如，特定类型或特征的事件)确定的。如图所示，相对于一组剩余数据值1110的季节性调整后的最大值1120的估计，映射在相对于时间轴1140的次要向量计数轴1130中。值得注意的是，可以很容易地识别超过季节性调整后的最大值1120的值，例如显示为数据值1125A和数据值1125B(以及没有附图标记的超过最大值1120的其它数据值)。可以将这些数据值1125识别为异常，即使剩余数据值1110中的许多其他尖峰没有被识别为异常。

图12根据示例，示出了对主向量和多个次要向量执行分析的操作流程。如图所示，作为主向量分析的一部分，可以执行以下的各个步骤：从数据集中识别主向量(操作1210)，从数据集中隔离趋势和季节性(操作1220)，评估主向量中的异常(操作1230)，以及消除趋势并消除季节性(操作1240)。主向量分析的结果对应于图10中所示的数据可视化。但是，该操作流程扩展为分析多个次要向量，以基于各个事件X₁至X_n来检测异常(操作1250)，因为主向量被解构为多个次要向量。因此，各个次要向量分析的结果可以对应于图11中所示的数据可视化(针对每个适用的子集事件流1至n进行重复)。

图13是根据示例，用于检测和响应于来自计算系统事件的异常的示例方法的流程图1300。应当理解，流程图1300的操作可以结合计算机实现的方法、计算机程序产品上的指令、或者计算设备的配置(或者在多个这样的方法、产品或计算之中)来实现。举一个例子，这些电子操作由计算设备执行，该计算设备包括处理器以执行电子操作来实现该方法。但是，软件和硬件实施方式的其它变型也可以实现该方法。

如图所示，流程图1300的操作开始于操作1310，以从源事件流获得、接收或处理数据，其中该源事件流是由计算系统(例如，相同的计算系统、受监测的计算系统等等)的操作产生的。流程图的操作在操作1320继续，将源事件数据流转换为频率信号。在另一个例子中，将源事件流转换为指示每个时间间隔从系统的操作获得的事件的计数，使得将事件数据流转换为代表事件的计数的频率信号。在另外的例子中，在操作1330处，可以对频率信号进行聚合、滤波和平滑处理。例如，可以通过对信号进行快速傅立叶变换，然后应用低通滤波器以排除超过定义值的数据值，来将事件数据流进一步转换为信号。

流程图1300的操作在操作1340处继续，从频率信号中识别估计的季节性，并且在操作1350处，将估计的季节性缩放到目标事件流。在一个例子中，目标事件数据流也是从计算系统的操作中产生的，例如来自热路径数据或暖路径数据。在一个例子中，将估计的季节性缩放到目标事件数据流包括：从信号中减去估计的季节性，以识别一组剩余。

流程图1300的操作在操作1360处继续，基于目标事件数据流与估计的季节性的偏差，从目标事件流中识别主向量的一个或多个异常。在一个例子中，识别异常包括：对一组剩余进行统计学分析。

流程图1300的操作还在操作1370处继续，基于目标事件数据流的子集与估计的季节性的偏差，识别至少一个次要向量的一个或多个异常。例如，可以通过将估计的季节性缩放到目标事件数据流的所述子集，来确定所述至少一个次要向量，其中目标事件数据流的该子集表示至少一个次要向量。在另一个例子中，主向量是基于计算系统的使用，并且所述一个或多个次要向量分别是基于在计算系统的使用中表示的一个或多个软件应用程序的使用。此外，在另一个例子中，通过从目标事件数据流的所述子集中删除超过估计的季节性的数据值，来生成用于确定异常的剩余数据，并将统计学方法应用于该剩余数据以从剩余数据中识别所述至少一个次要向量的一个或多个异常。

流程图1300的操作结束，使计算系统执行来自计算系统的动作或者与计算系统一起执行动作。在操作1380处，这些动作可以是基于根据目标事件数据流确定的一个或多个识别的异常，或者是来自于所述至少一个次要向量的一个或多个识别的异常。可以根据本文所讨论的例子，利用相同或不同的计算系统来执行任何数量的动作。例如，根据本文讨论的场景和用例，可以在API、云服务、软件应用程序、计算平台中触发或控制各种类型的补救、纠正、警报或修改操作。

图14示出了事件分析计算系统1410和事件来源计算系统1440的硬件和功能组件的框图1400，该硬件和功能组件用于实现对数据流的异常检测(例如，通过上述的示例来实现)。应当理解的是，虽然在图14中描绘了某些硬件和功能组件，但是，在作为单独系统或组件的其它附图中，这些组件的特征可以集成到单个系统或服务中(例如，集成在包括数据收集和分析特征的单个计算系统中)。此外，虽然仅配置了一个(客户端)事件分析计算系统和一个(服务器)事件来源计算系统，但是应当理解，这些系统的特征可以分布在一个或多个计算系统之间(其包括分布在基于云的处理设置中)。

如图所示，事件分析计算系统1410包括：处理电路1411(例如，CPU)和存储器1412(例如，易失性或非易失性存储器)，用于执行电子操作(例如，通过指令)以处理数据来检测、识别并响应异常(例如，实现图1-13中所示的技术)；数据存储1413，用于存储命令、指令和其它数据，以操作和使用异常检测、识别和响应操作；通信电路1414，用于经由有线或无线网络组件与外部网络或设备通信，以进行异常检测、识别和响应操作；输入设备1415(例如，字母数字、基于指向的、触觉、音频输入设备)以接收来自人类用户的输入；以及输出设备1416(例如，视觉、听觉、触觉输出设备)，以向人类用户提供输出。

在一个例子中，事件分析计算系统1410适于例如通过异常检测处理或功能1422、异常响应处理1424、以及数据评估处理1430，在操作系统平台1420(例如，由电路或软件指令实现)内，根据事件流执行异常处理，其中，异常检测处理或功能1422用于检测目标数据流(或产生该数据流的目标计算系统)的操作中的一个或多个异常的条件，异常响应处理1424用于作为识别所述一个或多个异常的结果而执行某种效应或操作，数据评估处理1430用于具体地实现对来自数据流的异常值进行分析的处理。虽然图14描绘了相同计算系统1410内的操作系统1420中的组件1430、1422、1424的执行，但应当理解，可以在其它计算系统(其包括在基于服务器(例如，云)的部署中协调的多个计算系统)上执行这些组件。

在一个例子中，事件分析计算系统1410适于通过各个特征来实施数据评估处理1430，这些特征包括：用于分析数据流中的主向量的主向量计算功能1432(例如，电路或软件指令)；用于分析数据流中的次要向量的次要向量计算功能1434(例如，电路或软件指令)；用于估计数据流的季节性分量的季节性评估功能1436(例如，电路或软件指令)；以及用于考虑(删除或减少)数据流的季节性组成部分，以协助异常处理的剩余评估功能1438(例如，电路或软件指令)。

如图所示，事件来源计算系统1440包括用于执行电子操作(例如，经由指令)以生成、收集并提供用于与计算系统操作有关的事件流的数据(例如，提供用于以上参考图1-13讨论的事件流分析的数据)的处理电路1443(例如，CPU)和存储器1445(例如，易失性或非易失性存储器)。事件来源计算系统1440还包括数据存储1444，以存储用于所描述的事件数据收集和数据分析操作的命令、指令和其它数据；以及通信电路1446，其中通信电路1446用于通过有线或无线网络组件与外部网络或设备进行通信，以进行事件数据收集和数据分析操作。在一个例子中，服务器计算系统1440适于通过各个特征来协调数据的收集，这些特征包括：事件流处理1452(例如，电路或软件指令)，其用于在一个时间段内监测和记录来自被监测的计算系统或软件功能的数据值；以及活动处理1454(例如，电路或软件指令)，其用于监测被监测的计算系统或软件功能中发生的各个活动。由事件来源计算系统1440和事件分析计算系统1410执行的角色和操作的其它变型，也可以实现本文讨论的异常检测技术。

如上所述，可以以机器或设备(例如，装置)、方法(例如，过程)或计算机或机器可读介质(例如，制品或装置)形式，来提供本文所描述的电子操作的实施例。例如，可以将实施例实现为存储在机器可读存储介质上的指令，其可以被处理器读取并执行以执行本文所描述的操作。机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储信息的任何非临时性机制。机器可读介质可以包括用于存储一个或多个指令的单个介质或多个介质(例如，集中式或分布式数据库、和/或关联的高速缓存和服务器)。

机器可读介质可以包括能够存储、编码或携带由机器执行的指令并且使机器执行本公开内容的任何一种或多种方法的任何有形介质，或者包括能够存储、编码或携带由此类指令使用或与之关联的数据结构的任何有形介质。机器可读介质应当被理解为包括但不限于固态存储器、光学和磁性介质以及其它形式的存储设备。机器可读介质的特定示例包括非易失性存储器，例如包括但不限于：半导体存储器件(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存设备；诸如内部硬盘和可移动磁盘之类的磁盘；磁光盘和光盘。还可以使用传输介质，在通信网络上发送或接收指令(例如，使用多种传输协议中的任何一种，通过网络接口设备来发送或接收)。

虽然本文的示例涉及各种形式的云服务和基础设施服务网络，但应当理解的是，可以经由各种类型的通信网络将各个服务、系统和设备通信地耦合。通信网络的例子包括局域网(LAN)、广域网(WAN)、互联网、移动电话网络、普通旧式电话(POTS)网络和无线数据网络(例如Wi-Fi、2G/3G、4G LTE/LTE-A、5G或其它个域网、局域网或广域网)。

用于促进和执行本文所描述的电子操作的实施例可以以硬件、固件和软件中的一种或组合来实现。本说明书中描述的功能单元或能力可以称为或标记为组件、处理功能或模块，以便更具体地强调它们的实现独立性。可以通过任何数量的软件或硬件形式来体现这样的组件。例如，组件或模块可以实现为包括定制电路或现成半导体(例如，逻辑芯片、晶体管或其它分立组件)的硬件电路。也可以在诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等等之类的可编程硬件设备中实现组件或模块。也可以在软件中实现组件或模块，以便由各种类型的处理器执行。所标识的可执行代码的组件或模块可以例如包括计算机指令的一个或多个物理或逻辑块，例如，可以将计算机指令组织成对象、过程或功能。所标识的组件或模块的可执行文件无需在物理上放置在一起，而是可以包含存储在不同位置的不同指令，当这些指令在逻辑上结合在一起时，可以构成组件或模块，并实现该组件或模块的既定目的。

实际上，可执行代码的组件或模块可以是单一一条指令，也可以是许多条指令，甚至可以分布在几个不同的代码段上、不同的程序之间、以及分布在多个存储器设备或处理系统上。特别地，所描述的过程(例如，命令和控制服务)的某些方面可以在与部署该代码的处理系统不同的处理系统(例如，在云托管数据中心的计算机中)上执行。类似地，操作数据可以包括在各个组件或模块内，可以以任何适当的形式来体现，并且可以在任何适当的类型的数据结构内进行组织。可以将操作数据收集为单个数据集，操作数据也可以分布在不同的位置(其包括分布在不同的存储设备上)。

在上面的详细描述中，可以将各种特征组合在一起以简化本公开内容。然而，由于实施例可以以所描述的特征的一个子集为特征，所以权利要求书可能没有阐述本文所公开的每一个特征。此外，实施例可以包括比特定示例中公开的特征更少的特征。因此，所附权利要求据此并入到具体实施方式中，并且权利要求本身作为单独的实施例。

Claims

1.一种计算设备，包括：

处理器；以及

存储器设备，其包括在其上实现的指令，其中，当所述指令由所述处理器执行时，使所述处理器执行操作以从计算系统事件中检测异常，所述操作包括：

获得源事件数据流，所述源事件数据流是根据计算系统的操作产生的；

将所述源事件数据流转换为频率信号；

根据所述频率信号识别估计的季节性；

将所述估计的季节性缩放到目标事件数据流，所述目标事件数据流是根据所述计算系统的操作产生的；

基于所述目标事件数据流与所述估计的季节性之间的偏差，来识别所述目标事件数据流的主向量的一个或多个异常；以及

使所述计算系统基于根据所述目标事件数据流确定的所述一个或多个已识别异常来执行动作。

2.根据权利要求1所述的计算设备，所述操作还包括：

将所述估计的季节性缩放到所述目标事件数据流的子集，所述目标事件数据流的所述子集指示一个或多个次要向量；以及

基于所述目标事件数据流的所述子集与所述估计的季节性之间的偏差，来识别所述一个或多个次要向量的一个或多个异常；

其中，在所述计算系统中执行的所述动作是进一步基于所述一个或多个次要向量的所述一个或多个已识别异常的。

3.根据权利要求2所述的计算设备，所述操作还包括：

通过从所述目标事件数据流的所述子集中去除超出所述估计的季节性的数据值，来生成剩余数据；以及

将统计学方法应用于所述剩余数据，以从所述剩余数据中识别所述一个或多个次要向量的所述一个或多个异常。

4.根据权利要求2所述的计算设备，其中，所述主向量是基于所述计算系统的使用的，并且其中，所述一个或多个次要向量分别基于所述计算系统的所述使用中表示的一个或多个软件应用程序的使用。

5.根据权利要求2所述的计算设备，其中，所述主向量和所述一个或多个次要向量来自于：

由所述主向量表示的所述计算系统的使用、以及所述一个或多个次要向量表示的所述计算系统中的软件应用程序的启动或事件；

由所述主向量表示的所述计算系统中的软件应用程序的启动、以及所述一个或多个次要向量表示的所述软件应用程序中的事件；

由所述主向量表示的所述计算系统对云进程的访问、以及由所述一个或多个次要向量表示的所述计算系统对所述云进程引起的事件；

由所述主向量表示的所述计算系统使用的网络中的访问事件的组合、以及所述一个或多个次要向量表示的所述网络中的相应访问事件或访问；或者

由所述主向量表示的对所述计算系统使用的工作负荷源的API调用的组合、以及由所述一个或多个次要向量表示的对所述工作负荷源的相应API调用。

6.根据权利要求1所述的计算设备，其中，将所述估计的季节性缩放到所述目标事件数据流的所述操作包括：从所述频率信号中减去所述估计的季节性以识别一组剩余，并且其中，识别所述一个或多个异常的所述操作包括对所述一组剩余进行统计学分析。

7.根据权利要求1所述的计算设备，其中，所述源事件流指示每时间间隔从计算系统获得的事件的计数，其中，对所述源事件数据流进行转换以将所述事件的计数表示为所述频率信号。

8.根据权利要求1所述的计算设备，其中，所述频率信号表示趋势、季节性、异常、以及噪声的组合，并且其中，所述目标事件数据流是基于具有相似的季节性模式的所识别的观测向量来选择的。

9.根据权利要求1至8中的任何一项所述的计算设备，其中，将所述源事件数据流转换为所述频率信号的所述操作包括：将所述源事件数据流变换为分量频率，并且应用低通滤波器。

10.根据权利要求9所述的计算设备，其中，将所述源事件数据流转换为所述频率信号的所述操作还包括：向所述频率信号应用快速傅立叶变换，以及应用所述低通滤波器以排除超过定义值的数据值。

11.一种方法，包括利用处理器和计算设备的存储器执行的多个操作，所述多个操作包括：

接收源事件数据流，所述源事件数据流是根据计算系统的操作产生的；

将所述源事件数据流转换为频率信号；

根据所述频率信号识别估计的季节性；

12.根据权利要求11所述的方法，所述操作还包括：

13.根据权利要求12所述的方法，所述操作还包括：

将统计学方法应用于所述剩余数据，以从所述剩余数据中识别所述一个或多个次要向量的所述一个或多个异常；

其中，所述主向量是基于所述计算系统的使用的，并且其中，所述一个或多个次要向量分别基于所述计算系统的所述使用中表示的一个或多个软件应用程序的使用。

14.根据权利要求11所述的方法，其中，将所述估计的季节性缩放到所述目标事件数据流的所述操作包括：从所述频率信号中减去所述估计的季节性以识别一组剩余，并且其中，识别所述一个或多个异常的所述操作包括对所述一组剩余进行统计学分析。

15.根据权利要求11至14中的任何一项所述的方法，其中，将所述源事件数据流转换为所述频率信号的所述操作包括：将所述源事件数据流变换为分量频率，向所述频率信号应用快速傅立叶变换，以及应用低通滤波器以排除超过定义值的数据值。