CN106104496B

CN106104496B - 用于任意时序的不受监督的异常检测

Info

Publication number: CN106104496B
Application number: CN201580014770.4A
Authority: CN
Inventors: V·弗里诺夫; P·佩里欧来里斯; D·斯塔罗斯京; A·德贝纳斯特; E·阿克初林; A·克利莫弗; T·明卡; A·施彭格勒
Original assignee: 微软技术许可有限责任公司
Priority date: 2014-03-18
Filing date: 2015-03-13
Publication date: 2019-07-30
Also published as: EP3671466A1; EP3120248A1; WO2015142627A1; US9652354B2; CN106104496A; US20150269050A1; EP3120248B1

Abstract

从执行中的程序检查表示性能计数器的时序序列可提供关于潜在的故障、在网络上流量方面的繁忙时间段、密集的处理周期等的重要线索。不受监督的异常检测器可检测任意时序的异常。来自统计数据、信号处理和机器学习的已知技术的组合可被用于标识不受监督的数据上的异常值，并用于捕捉类似于边缘检测、尖峰检测和模式误差异常之类的异常。关于异常是否被检测到的布尔和概率结果可被提供。

Description

用于任意时序的不受监督的异常检测

技术领域

本公开涉及数据点异常检测。

背景技术

异常(也知晓为：离群值、新奇事物、噪音、偏差、罕见值或例外)可被定义为与预期不同的任何事物。在计算机科学中，异常检测指的是标识不符合预期模式或不符合组中的其他项的数据、事件或条件。在一些情况下遇到异常指示处理不正常并由此可呈现用于调查的起始点。传统地，异常可由人类研究踪迹来检测。踪迹是可来自于应用、进程、操作系统、硬件组件和/或网络的信息的日志。鉴于当今计算机系统的当前复杂性，这从来不是件容易的工作，而是正快速变得对于人类而言近似不可能完成的工作。

基于用作用于定义什么是正常以及什么是异常的基线的参考数据的可用性，异常检测被分类为受监督的、半受监督的或不受监督的。受监督的异常检测通常涉及基于被标记为“正常”的第一类型的数据以及被标记为“不正常”的第二类型的数据来训练分类器。半受监督的异常检测通常涉及从一种类型的经标记的数据中构造表示正常行为的模型：从被标记为正常的数据中或从被标记为不正常的数据中，但是这两种类型的经标记的数据不被提供。不受监督的异常检测检测数据中的异常，其中数据不被用户手动地标记。

发明内容

用于不受监督的异常检测的系统和方法实现对于在任意时序序列中高度可能不正常的值的自动检测。如本文中使用的，一序列指集合中值的进展。时序序列或时序指任意数据序列，其中该序列中的每个项与时间点相关联。异常可通过监视并处理对应的时序来被实时地检测，即使时序具有发展中的分布，即时序不是固定的而是随着时间改变或发展。时序中的数据在被处理前不被标记。时序中的数据在被处理后不被标记。数据被评分，而不使用经标记的数据。不使用用于合并反馈或先验知识的系统。统计学、信号处理和机器学习技术可被应用来标识时序中的异常。异常检测可基于使用Z测试和处理遵循高斯分布模式的时序的技术的组合。

Z测试是基于计算当前点的实际值与对应序列的平均值之间的距离(以其标准偏差为单位)的统计测试(知晓为z分数)。Z测试的结果是指示当前点是异常值还是不是异常值的布尔值。遵循高斯类型的分布的数据指落在对称钟形曲线形状中的数据。

一个或多个异常的正式数学定义可被捕捉，而无需监督。取自于统计数据、信号处理和机器学习的统计方法可被用于建模时序并分析其分布来检测数据中的异常。输入时序的投影可基于各种算法，包括但不限于，线性预测编码、一阶导数、二阶导数等。投影指传入数据在其通过流水线中的各个阶段时取决于所应用的处理的转换。对评分(即，异常检测结果)频率的控制可基于使用变量范围的时间窗口的缓冲。算法的校准和/或训练可基于来自十个或更多个数据点中的可指定数量的数据点。当异常被标识时，布尔和概率结果的组合可被产生，从而潜在地提升可靠性。结果可基于分布以及检测到的异常的类型来被分类。时序的分布的改变可被动态地监视，使得对性能计数器数据点的处理的动态且自动的调整可发生。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

附图说明

在附图中：

图1a示出根据本文中描述的主题的各方面的系统100的一示例，其监视一组件和并检测由该组件产生的时序中的异常；

图1b示出根据本文中描述的主题的各方面的系统101的一部分的更加详细的示例；

图2a示出了根据本文中公开的主题的各方面的检测异常的方法200的示例；

图2b示出根据本文中公开的主题的各方面的异常显示230的示例；

图3是根据本文公开的主题的各方面的计算环境的示例的框图。

具体实施方式

概览

可在时序中标识异常，而无需事先知晓特定序列的异常是什么。取自于统计数据、信号处理和机器学习的统计方法可被用于建模时序、分析其分布并预测异常是什么。本文中描述的各技术可广泛地应用：本文中描述的不受监督的异常检测器可检测任意执行中的应用或服务中的异常。为了给出一个非限制示例，一个应用是云计算平台和基础结构，诸如但不限于微软公司创建的AZURE。AZURE可被用于构建、部署和管理应用和服务。

执行中的应用产生数个称为性能计数器的数据序列。性能计数器可反映运行在特定硬件上的对应的应用实例的健康。性能计数器可包括与CPU(中央处理单元)负载、存储器、网络I/O(输入/输出)、例外率、堆中的字节、存储器存储中的对象以及本领域的技术人员已知的许多其他事物相关联的计数器。通常，对于单个应用，针对每个硬件单元可使用多于一百个的计数器。自动地检测时序值中的异常可使得问题能够被更快速地发现并可使得问题能够在它们发生时就被修复。当今计数器通常被记录并在之后以离线方式来检查。这种方式在当今可能是不够的。许多其中性能计数器被监视的情况需要非常及时地检测异常、诊断问题并且改正情况。自动地检测被持续监视的组件中的异常可使得组件的所有者或操作者能够在异常行为发生时被通知该异常行为，并可因此产生降低的平均检测时间(MTTD)和减少平均缓解时间(MTTM)。

描述应用在过去如何表现的历史数据可能不可用。根据本文中描述的主题的各方面的不受监督的异常检测器可在应用或其他类型的组件运行时确定应用应当如何表现。快速地推断组件的正常和不正常行为表明，通常没有足够的时间来等待大量的统计样本以做出关于时序内数据段的特征(正常相较于异常)的预测。本文中描述的异常检测器可基于从如十个数据点那么少的数据点中的可指定数量的数据点来校准和/或训练分类器。本文中描述的异常检测器可适于顺应动态地改变的时序。假肯定(被错误标记为异常的正常值)被最小化并且几乎没有假否定(被错误标记为正常的异常值)被产生。

可在任意执行中的组件执行或操作时通过持续地监视和处理性能计数器数据点来在针对该组件的任意性能计数器中检测到异常。当异常被检测到时，该异常可被存储。异常可与任意相关信息一起被显示给观察者(例如，客户、用户界面、应用等)。检测到的异常的类型可至少包括：范围外值异常、尖峰异常、模式误差异常以及陡然变化或边缘异常。

本文中描述的异常检测器可被实现为监视基础结构内的规则。这样的规则可封装被应用到时序的逻辑片段。规则可处理特定组件的特定性能计数器的数据点。根据本文中描述的主题的一些方面，在规则内，在一个阶段中数据的分布被检测，在另一个阶段中预处理被执行，在另一阶段中异常被检测并且在另一个阶段中后处理被执行。结果或另一类型的异常的指示可被提供。

在以上列出的第一阶段中，性能计数器的时序的分布可被确定。时序的分布可以是每个可能值出现的相对次数的描述。例如，在CPU性能计数器的情况中，98％使用的值是罕见的，而20％-70％范围中的值可被认为是正常且常见的。在预处理步骤中，可从数据点中提取特征，诸如但不限于当前数据点值到时序的平均值的距离。异常检测算法可被应用到异常检测阶段中的数据。如果结果是肯定的(即，指示异常的标识的肯定)，则结果可被发送到后处理阶段。取决于检测到的异常的类型，可跟随不同的处理路径。如果数据点被表征为多于一个的异常，(例如，尖峰和范围外值两者)，则后处理可确保只产生一个异常事件，从而减少噪音。

不同的分析处理路径可并行地执行。处理路径可将所有传入的性能计数器时序作为输入来接收。可在初始“预热阶段”中观察到时序的正常行为。在预热阶段期间，根据本文中描述的主题的一些方面，不产生异常警报。传入的数据点可被用于使用Z测试和高斯分布算法来训练分类器。在预热阶段之后，对异常的检测可开始。

边缘检测、尖峰检测和模式误差处理路径可处理其时序遵循高斯分布模式的数据。因为不是所有的性能计数器都遵循高斯分布模式，所以可提供附加的异常检测处理路径。这个路径可接收任意时序分布。为了确定数据流所展示的行为以及因而将时序分类为遵循高斯分布模式的一种或不遵循高斯分布的一种，标准Z测试算法可被应用在原始数据上。正常值的标准偏差可被估计并与在预热阶段期间被动态确定的阈值进行比较。例如，对于散布有偶尔的1的全0序列，正常值的标准偏差将保持为0，即低于阈值并且没有异常产生。无法将一技术(诸如Z测试)应用在原始数据上可加宽尖峰并可在过滤隔离的异常值时生成更多噪音。

传入的数据点可被并行地发送到Z测试算法(范围外检测)和基于高斯的处理路径。Z测试正常值(正常的值)可被传递到确定序列的统计分布的分布分析组件。这可持续地完成。对于非高斯序列而言切换到经高斯模式化的序列是可能的。同时，传入的数据点可被发送到平滑数据信号的组件，从而移除噪音。

对于高斯处理路径中的每一者，包括但不限于平均值、距平均值的距离、标准偏差等在内的特征可被接收。预处理结果可被发送到一对算法，该对算法包括Z测试算法以及致力于处理遵循高斯分布模式的数据的算法。在操作中，根据本文中描述的主题的一些方面，各对算法中的每一对根据独立于其他处理路径接收自每个处理路径的数据被训练(例如，在预热阶段期间)。

在后处理阶段期间，由异常检测处理路径和分布检测组件产生的所有结果可被处理。如果异常被检测到，检测到异常的处理路径可被确定。如果流的分布是高斯并且异常由高斯处理路径中的一个或多个检测到，则产生异常事件。如果检测到的异常匹配其他分布(离散值、零值、二进制)并且异常由范围外处理路径检测到，则异常事件也可被允许来传播相同或另一性能存储。所有其他检测到的异常可被忽略。

Z测试、线性预测编码(用于标识模式中的误差)、低通滤波器和Kolmogorov-Smirnov(柯莫果夫-史迈诺夫)测试(用于标识到标准化的高斯分布的距离的算法)是机器学习和信号处理领域中详细描述的标准算法。

用于任意时序的不受监督的异常检测

图1a示出根据本文中描述的主题的各方面的系统100的一示例，其监视一组件和/或检测由该组件产生的时序中的异常。系统100的全部或部分可以驻留在诸如下面参考图3所描述的计算机之类的一个或多个计算机或计算设备上。系统100或其部分可以被提供为独立系统或插件或附件。

系统100或其部分可包括从某一服务(如云中)获得的信息或可在云计算环境中操作。云计算环境可以是其中计算服务不被拥有但被按需提供的环境。例如，信息可驻留在联网云中的多个设备上，和/或数据可被存储在云内的多个设备上。

系统100可包括一个或多个计算设备，如计算设备102。所构想的计算设备包括但不限于台式计算机、平板计算机、膝上型计算机、笔记本计算机、个人数字助理、智能电话、蜂窝电话、移动电话等。诸如计算设备102等计算设备可包括一个或多个处理器(如处理器142等)和与该一个或多个处理器通信的存储器(如存储器144)。

系统100可包括下列各项中的一个或多个：组件(诸如组件150)、监视器(诸如监视器152)、数据(诸如数据154)、异常检测器(诸如异常检测器156)、异常存储(诸如异常存储156)和/或显示器160。系统100可包括一个或多个程序模块，该一个或多个程序模块包括监视器152。监视器152可监视组件(诸如组件150)的执行或操作。监视器152可持续地或间歇地或按需来监视组件150。监视器152可收集由组件150产生的或与组件150相关联的数据154。监视器152可被合并在异常检测器156内。

组件150可以是应用、进程、操作系统、硬件部件、网络、网络交换机或产生数据154或伴有数据154的产生的任意组件，该数据154包括但不限于性能计数器。性能计数器可包括与CPU负载、存储器、网络I/O相关联的性能计数器以及本领域的技术人员已知的多种其他类型的性能计数器。数据154可包括踪迹数据。数据154可包括可作为数字或字符串的时序来查看的踪迹事件序列。数据154可被异常检测器156使用来提供关于组件150的信息，诸如组件150是正常地操作还是发生故障。数据154可被持续地或间歇地或按需地或其组合地收集。由监视器152收集的数据154中的一些或全部可被提供到异常检测器，诸如异常检测器156。

异常检测器156可处理接收自监视器152的数据154中的一些或全部。异常检测器156可自动地检测时序数据中在预期值的正常范围之外的值。即使缺乏描述组件150在过去如何表现的历史数据，异常检测器156依然能自动地检测时序数据中在预期值的正常范围之外的值。异常检测器156可在组件正在执行时动态地自动检测时序数据中在预期值的正常范围之外的值。异常检测器156可自动地适应由组件150产生的或与组件150相关联的数据中的改变。异常检测器156可通过持续地监视并评估性能计数器数据点来实时地自动检测任一应用中任一性能计数器中的异常。异常检测器156可使用时序数据来分析问题的原因，在问题发生之前预测该问题或与问题被检测到一样迅速地来对该问题作出反应。异常检测器156可将与异常相关联的信息存储在异常存储(诸如异常存储158)中。与异常相关联的信息可被显示在显示器160上。组件150、监视器152、数据154、异常检测器156、异常存储158和显示器160中的全部或一些可以在相同的计算设备上或在不同的计算设备上。

图1b示出根据此处所公开的主题的各方面的检测任意时序中的异常的系统101的一示例的框图。系统101的全部或部分可以驻留在诸如下面参考图3所描述的计算机之类的一个或多个计算机或计算设备上。系统101或其部分可以被提供为独立系统或插件或附件。

系统101或其部分可包括从某一服务(如云中)获得的信息或可在云计算环境中操作。云计算环境可以是其中计算服务不被拥有但被按需提供的环境。例如，信息可驻留在联网云中的多个设备上，和/或数据可被存储在云内的多个设备上。

系统101可包括一个或多个计算设备，如计算设备102。所构想的计算设备包括但不限于台式计算机、平板计算机、膝上型计算机、笔记本计算机、个人数字助理、智能电话、蜂窝电话、移动电话等。诸如计算设备102等计算设备可包括一个或多个处理器(如处理器142等)和与该一个或多个处理器通信的存储器(如存储器144)。

系统101可包括一个或多个程序模块，该一个或多个程序模块包括异常检测器(诸如异常检测器103)。异常检测器103可包括从数据中提取性能计数器数据点的一个或多个程序模块(未显示)。替代地，数据提取程序模块可以在异常检测器103的外部。所提供的数据可来自于监视器，诸如但不限于图1a的监视器152。异常检测器103可包括检测数据的分布的一个或多个程序模块(未显示)。替代地，数据分布程序模块可以在异常检测器103的外部。性能计数器的时序的分布可以是每个值出现的相对次数的描述。在例如中央处理单元(CPU)的情况下，98％使用的值相对于处于20-70％的范围中的值而言是罕见的。由此，处于20％到70％的范围中的值可被认为是正常的，而98％使用的值可被认为是异常的。

异常检测器103可包括执行预处理阶段的一个或多个程序模块(诸如预处理模块104)、执行异常检测阶段的一个或多个程序模块(诸如异常检测阶段模块106)以及执行后处理阶段的一个或多个模块(诸如异常检测输出分析模块130)。异常检测器103还可包括一个或多个异常存储(诸如性能计数器存储132)。

预处理模块104可包括下列各项中的一个或多个：数据平滑模块112、Z测试模块114、模式误差检测模块116、尖峰检测模块118和/或边缘检测模块120。异常检测阶段模块106可包括以下中的一个或多个：组合的、Z测试和/或高斯分布处理模块，诸如Z测试、高斯模块122和/或分布检测器模块128。结果可被显示在显示设备(诸如显示器126)上。预处理模块104可从数据点中提取特征。特征可包括诸如当前数据点值到时序的平均值的距离之类的特征。

异常检测器103可接收数据(诸如数据110)。数据110可以是任意时序数据。数据110可以是数据序列，包括但不限于由执行中的或操作中的组件(诸如图1a的组件150)产生的性能计数器。性能计数器可包括与CPU加载、存储器、网络I/O(输入/输出)等相关联的计数器。性能计数器可接收自应用、进程、操作系统、硬件组件、网络交换机等。

数据110可接收自监视一个或多个组件(诸如执行中的应用(未显示))的性能监视系统、一个或多个处理器(诸如处理器142等)、存储器(诸如存储器144等)。数据110可接收自云计算平台和基础结构，诸如但不限于由Microsoft Corporation(微软公司)创建的AZURE。数据110可接收自一个或多个计算机或计算设备。数据110可被提供到可减少噪音的数据平滑模块(诸如数据平滑模块112)。数据平滑模块112可以是低通滤波器。数据110内不理想的频率可基于设计(诸如但不限于Chebychev(切匹雪夫)滤波器的设计)来使用低通滤波器被移除。Chebychev滤波器是在滤波器的范围上最小化理想的和实际滤波器特征之间的误差、但在通带中具有波纹的模拟或数字滤波器。根据本文中描述的主题的一些方面的低通滤波器是预处理阶段的一部分。低通滤波器可滤除输入时序中的小的变化。(这些小的变化可能以其他方式恶化异常值处理路径的性能结果。)使用低通滤波器的过滤可减少假肯定的数量。根据本文中描述的主题的一些方面，20阶的横向滤波器可被使用。横向滤波器可出于其稳定性而替代自回归滤波器被选择。因为没有输入时序的先验统计知识可用，所以自回归滤波器对于某些输入顺序而言可变得不稳定。数据110可同时被提供到Z测试模块，诸如z测试模块114。

根据本文中描述的主题的一些方面，多个处理路径可并行运行。处理路径中的每一个检测单个类型的异常。第一类型的处理路径可处理遵循高斯分布模式的数据，而第二类型的处理路径可处理不遵循高斯分布的数据。处理路径(数据110到Z测试模块114到分布检测模块128)可基于各个数据点来检测范围外的异常。在这个处理路径中，可检测到范围外异常(例如，单个数据点的值明显地在范围外)。范围外异常可按每个数据点来计算。如果当前数据点的值与对应性能计数器的时序的平均值之间的差的绝对值大于阈值，则可产生“范围外”类型的异常。

根据本文中描述的主题的一些方面，其他处理路径(针对遵循高斯分布的数据)可基于经平滑的数据点来检测异常。处理路径2(数据110到数据平滑模块112到边缘检测模块120)可检测边缘异常。边缘异常指的是性能计数器时序中急降或急升的出现。如果该下降或该上升的绝对值大于性能计数器时序的标准偏差乘以预热阶段期间计算的阈值，则可产生“边缘检测”类型的异常。

处理路径3(数据110到数据平滑模块112到尖峰检测模块118)可检测尖峰异常。尖峰异常对应于性能计数器序列中正的或负的尖峰的存在。如果平均值的一序列被标识为尖峰，则可产生“尖峰检测”类型的异常。技术上，这等效于将平均值的二阶导数与预热阶段期间计算的阈值进行比较。超过该阈值指示异常。

处理路径4(数据110到数据平滑模块112到模式误差检测模块116)可检测线性预测误差或模式误差异常。线性预测误差异常可以是性能计数器序列中非预期模式的出现的结果。这在信号是重复模式时可能尤其明显。时序可在预热阶段期间被建模为具有高斯噪音的自回归过程。假设该序列在整个执行阶段期间保持固定，则自回归过程可预测每个即将到来的数据点的预期值。如果预期值和实际值之间的差的绝对值大于在预热阶段期间定义的阈值，则可产生“预测误差”类型的异常。

被组合使用来用于在异常检测阶段中检测异常的算法可包括：致力于处理遵循高斯分布的数据的算法和Z测试算法。高斯算法可输出指示数据点是正常值或异常值的概率的变量。接着可基于概率值来做出决策以确定是否产生一事件。

Z测试是基于计算当前点的实际值与对应序列的平均值之间的距离(以其标准偏差为单位)的统计测试(知晓为z分数)。结果是指示实际点是否是异常值的布尔值。

在算法训练(预热阶段)期间，路径中所涉及的算法可基于对应性能计数器序列的实际值来校准它们的内部参数。预热阶段可使得分析性能计数器的算法能够确定计数器的典型或正常行为是什么并针对性能计数器值的正常分布来进行比较。预热阶段使得能够获得准确的结果，从而减少假肯定。假肯定是错误地产生异常。预热阶段还可被称为训练阶段。根据本文中描述的主题的各方面的预热阶段完全是自动化的。不需要人为干预或附加信息。本文中描述的路径可在预热阶段结束之后开始检测异常。预热阶段的默认持续时间可被设为30分钟，即大约30个数据点(给定每分钟1个数据点的速率)。根据本文中描述的主题的各方面，默认预热时间段可通过改变配置文件中的值来被改变。算法可被进一步训练并可在初始预热阶段之外来继续学习。

针对预热阶段的输入可以是原始性能计数器值。第一可配置数量的数据点可被收集在缓冲器中并被用于校准各个异常检测算法。虽然从预热阶段中没有生成输出，但是异常检测算法的内部状态可被影响。异常检测算法的状态可由几个数据类型double(双精度)的值来表示。对于一些算法(诸如高斯分布算法)，状态可以是6个数据类型double的值和3个数据类型integer(整数)的值的集合，而对于Z测试，状态可以是4个数据类型double的值的集合。这种状态的持续存在可确保算法维持对性能计数器的整个历史的知晓，即使在重新循环和重新部署之外。

对应于检测到的各类型的异常的多个路径可被实现。每个路径集可检测单个组件的单个性能计数器序列中的异常。根据本文中描述的主题的一些方面，每个性能计数器可被部署一个路径集。

对于“范围外”类型的异常，每个数据点可被顺序地处理。根据本文中描述的主题的一些方面，不需要缓冲。假设从对应于单个性能计数器和单个组件的规则中检索到来自一对象的数据序列。该序列中的每个数据点可被提供到Z测试，其可确定数据点是否是异常值。异常值可被发送到后处理以用于异常检测输出分析。Z测试可使用布尔值(真或假)来指示结果。正常值(正常的值)可被发送到分布分析组件。

对于边缘检测路径，假设从对应于单个性能计数器和单个组件的规则中接收到来自一对象的数据序列。该序列可使用30分钟的翻转(重用)窗口来被缓冲。假设每分钟一数据点的采样速率，缓冲器大小将包括30个数据点。缓冲器上的算术平均值可被计算。所得到的序列的采样速率是每个窗口持续时间一个值，即，每30分钟一个值。在这个得到的序列上，一阶导数可被计算，其对应于当前缓冲器的各值的平均值与先前缓冲器的各值的平均值之间的差。结果可被提供到Z测试以及可确定一阶导数值是否是异常值的高斯异常值检测器。Z测试可使用布尔值(真或假)来指示结果。同时，高斯异常值检测器可推断一阶导数值对应于异常值的概率。

对于尖峰检测路径，计算二阶导数而非一阶导数。该路径的所有其他组件均与边缘检测路径的相同。

对于模式误差检测路径，数据可以与在其他路径中相同的方式被处理。附加算法可被使用来确定平均值序列上的预测误差。每时间窗口所确定的平均值可被提供到线性预测编码器，其可生成预期值。这个值和实际值之间的差的绝对值将被提供到Z测试以及可确定其是否是异常值的高斯异常值检测器。对异常值的检测可对应于原始序列中的错误模式。线性预测编码器的状态可被存储在类型double的一维数组中。

为了产生异常事件，任意策略可被应用到路径的结果来确定数据点是否指示异常。一个选项是利用匿名策略，其中路径在异常事件被产生之前将数据点表征为不正常。其他策略可应用。Z测试算法可输出布尔值(真或假)。高斯算法可输出其值的范围从0到1的概率。为了使得异常检测更加可靠，以下推理可被应用：如果概率超过预先定义的阈值(例如，高于65％)并且Z测试确认数据点是异常，则异常事件可被产生并可被发送以用于后处理。

所产生的异常事件可包括至少以下字段：

1.时间戳。在窗口操作已经被应用的情况下，该时间戳将对应于窗口的结束，

2.对应于异常的类型的路径标识符(“边缘检测”、“范围外”、“尖峰检测”、“预测误差”)，

3.性能计数器名称。

每个流水线可产生其自己的异常事件。后处理可以是最终步骤，其中产生自每个路径的异常事件被聚集。在数据点在多于一个的路径中被声明为是异常的情况下，异常事件可被组合成单个事件，该单个事件携带其在其中被检测到的路径的所有标识符。

图2示出了根据本文公开的主题的各方面的用于不受监督的异常检测的方法200的示例。图2a中所述的方法可由诸如但不限于参考图1a和1b中所述的那些系统之类的系统来实施。尽管方法200描述了顺序执行的一系列操作，但要理解，方法200不受所示顺序的次序的限制。例如，一些操作可以与所描述的不同的次序发生。另外，一个操作可以与另一操作并发发生。在一些实例中，不是所有的所描述操作都被执行。

在操作202，一组件可被监视，如以上更充分描述的。该组件可以与数据相关联或可产生数据，该数据包括性能计数器。性能计数器数据可从由该组件产生的数据中提取。该数据可作为数字或字符串的时序来查看。该数据可由异常检测器来接收，如以上更充分描述的。性能计数器数据点可从接收到的数据中提取。在操作204，该数据所遵循的数据分布可被确定。根据本文中描述的主题的一些方面，为了确定数据流所展示的行为，Z测试算法可被应用到原始数据。正常值的标准偏差可与可在预热阶段期间被动态确定的阈值进行比较。例如，对于具有偶尔1的全0序列，正常值的标准偏差将保持为0，即低于阈值并且没有异常值产生。传入的数据点可被并行地发送到Z测试算法(范围外检测)和数据平滑模块两者，如以上更充分描述的。

在操作206，预处理可被执行。在预处理操作期间，可从数据点中提取特征。特征可包括诸如当前数据点值到时序的平均值的距离。在操作208，异常可被检测。根据本文中描述的主题的一些方面，可在异常检测期间使用四条分析流水线来检测四种不同类型的异常。四条流水线可并行地执行。每条流水线可将传入的性能计数器时序取为输入。在异常检测期间，每条流水线可尝试在初始预热阶段中学习时序的正常行为。根据本文中描述的主题的一些方面，在预热阶段期间，不产生异常警报。在预热阶段期间，传入的数据点可被用于训练组合的Z测试/高斯分布算法。根据本文中描述的主题的一些方面，预热阶段可通常持续30到60分钟。

在预热阶段之后，分析流水线可开始检测异常。边缘检测、尖峰检测和模式误差流水线可对其时序遵循高斯分布模式的数据进行工作。其时序不遵循高斯分布的数据可被范围外的流水线处理。如果异常检测操作的结果是肯定的(异常已经被标识)，则异常可在操作210被发送到后处理。在一数据点被多于一个的异常表征的情况下(例如，一数据点值对应于尖峰并对应于范围外值)，后处理操作可确保只有一个异常事件产生，其可减少噪音。在操作212，结果可被提供。结果可以视觉或电子格式来提供。

图2b示出可针对所选时间间隔02/5 7:30am 252到02/5 7:45am 254所显示的异常结果250的示例。异常结果可以任意有形形式来提供。表格256可包括可针对组件258被跟踪的度量(“性能度量存储”)。在异常结果250中，可跟踪的度量可包括，例如：％总处理器时间260、％代理/主机处理器时间261、可用字节262、请求执行时间(总)263、％处理器时间264、％处理器时间(总)265、建立的连接(平均)266、建立的连接(总)267、线程计数268、正在执行的请求269等等。在异常结果250中，一个度量(即建立的连接(总)267)被选择(如被单选按钮279指示的)。描绘该度量如何改变以及检测到的异常的计数的图表被显示在图表270中。在图表270中，在由两条垂直线(垂直线272a和垂直线272b)指示的间隔内检测到了两个异常。将指针悬停在垂直线之一的上方可触发异常的值以及异常所发生的时间的显示。

检测到的异常包括执行中的应用中的不正常的行为：在第一异常之前，在区域273处，由运行该应用的计算机建立的网络连接的总数徘徊于1000之下。在指示第一所显示的异常的点274处，连接的数量急剧地增加到＞5000并接着仅仅在两分钟之后在指示第二异常的点275处急剧地跌落回去。发生了一些可能需要应用的所有者或操作者注意的事情。可以理解，图2b中示出的显示是可被提供给用户来提供关于检测到的异常的信息的显示的非限制示例。

合适的计算环境的示例

为了提供有关本文所公开主题的各方面的上下文，图3以及以下讨论旨在提供其中可以实现本文所公开主题的各实施例的合适计算环境510的简要概括描述。尽管本文所公开的主题是在诸如程序模块等由一个或多个计算机或其他计算设备执行的计算机可执行指令的通用上下文中描述的，但本领域技术人员将认识到，本文所公开的主题的各部分还能够结合其他程序模块和/或硬件和软件的组合来实现。通常，程序模块包括执行特定任务或实现特定数据类型的例程、程序、对象、物理人为产物、数据结构等。通常，程序模块的功能可在各个实施例中按需进行组合或分布。计算环境510只是合适的操作环境的一个示例，并且不旨在对此处所公开的主题的使用范围或功能提出任何限制。

参考图3，描述了计算机512形式的计算设备。计算机512可包括至少一个处理单元514、系统存储器516和系统总线518。至少一个处理单元514可执行被存储在诸如但不限于系统存储器516之类的存储器中的指令。处理单元514可以是各种可用处理器中的任何一种。例如，处理单元514可以是图形处理单元(GPU)。这些指令可以是用于实现被描述为由上述一个或多个组件或模块所执行的功能的指令或用于实现上述方法中的一个或多个的指令。也可以使用双微处理器及其他多处理器体系结构作为处理单元514。计算机512可被用于支持在显示屏上呈现图形的系统中。在另一示例中，计算设备的至少一部分可以用在包括图形处理单元的系统中。系统存储器516可包括易失性存储器520和非易失性存储器522。非易失性存储器522可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)或闪存。易失性存储器520可包括可充当外高速缓冲存储器的随机存取存储器(RAM)。系统总线518将包括系统存储器516的系统物理人为产物耦合到处理单元514。系统总线518可以是几种类型的总线结构中的任何一种，包括存储器总线、存储控制器、外围总线、外总线或局部总线，并且可以使用各种可用总线体系结构中的任一种。计算机512可包括处理单元514可通过系统总线518访问的数据存储。数据存储可包括用于图形呈现的可执行指令、3D模型、素材、材质等。

计算机512通常包括各种计算机可读介质，诸如易失性和非易失性介质、可移动和不可移动介质。计算机可读介质可以通过用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术来实现。计算机可读介质包括计算机可读存储介质(也称为计算机存储介质)以及通信介质。计算机存储介质包括物理(有形)介质，诸如但不限于可存储所希望的数据以及可由计算机512访问的RAM、ROM、EEPROM、闪存或其他存储器技术、CDROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储设备。通信介质包括诸如但不限于通信信号、调制载波或可被用于传递所希望的信息以及可由计算机512访问的任何其他无形介质之类的介质。

将理解，图3描述了可充当用户与计算机资源之间的媒介的软件。该软件可以包括可存储在盘存储524上的操作系统528，该操作系统可分配计算机512的资源。盘存储524可以是通过诸如接口526等不可移动存储器接口连接到系统总线518的硬盘驱动器。系统应用530利用由操作系统528通过存储在系统存储器516或者存储在磁盘存储524上的程序模块532和程序数据534对资源的管理。可以理解，计算机可用各种操作系统或操作系统的组合来实现。

用户可通过输入设备536向计算机512输入命令或信息。输入设备536包括但不限于定点设备，诸如鼠标、跟踪球、指示笔、触摸垫、键盘、话筒、语音识别和姿势识别系统等。这些及其他输入设备通过系统总线518经由接口端口538连接到处理单元514。接口端口538可表示串行端口、并行端口、通用串行总线(USB)等。输出设备540可与输入设备使用相同类型的端口。提供输出适配器542以举例说明存在像监视器、扬声器、以及打印机的需要特定适配器的一些输出设备540。输出适配器542包括但不限于，在输出设备540和系统总线518之间提供连接的视频卡和声卡。其他设备和/或系统和/或设备，诸如远程计算机544，可提供输入和输出两种能力。

计算机512可以使用到诸如远程计算机544之类的一个或多个远程计算机的逻辑连接来在联网环境中操作。远程计算机544可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，并且通常包括许多或所有以上相对于计算机512所描述的元件，但在图3中仅示出了存储器存储设备546。远程计算机544可经由通信连接550逻辑地连接。网络接口548涵盖诸如局域网(LAN)和广域网(WAN)这样的通信网络，但也可包括其他网络。通信连接550是指用来将网络接口548连接到总线518的硬件/软件。通信连接550可以在计算机512内或外并且包括诸如调制解调器(电话、电缆、DSL和无线)和ISDN适配器、以太网卡等内和外技术。

可以理解，所示网络连接仅是示例，并且可以使用在计算机之间建立通信链路的其他手段。本领域的普通技术人员可以理解，计算机512或其他客户机设备可作为计算机网络的一部分来部署。在这一点上，本文所公开的主题涉及具有任意数量的存储器或存储单元以及在任意数量的存储单元或卷上发生的任意数量的应用和进程的任何计算机系统。本文所公开的主题的各方面可应用于具有部署在网络环境中的具有远程或本地存储的服务器计算机和客户计算机的环境。本文所公开的主题的各方面也可应用于具有编程语言功能、解释和执行能力的独立计算设备。

本文所述的各种技术可结合硬件或软件，或在适当时以其组合来实现。由此，本文所公开的方法和装置或其特定方面或部分可采取包含在诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质等有形介质中的程序代码(即，指令)的形式，其中当程序代码被加载到诸如计算机等机器内并由其执行时，该机器成为用于实现本文所公开的主题的各方面的装置。如此出所用的，术语“机器可读存储介质”应被用来排除提供(即存储和/或传输)任何形式的传播信号的任何机制。在程序代码在可编程计算机上执行的情况下，计算设备通常将包括处理器、该处理器可读的存储介质(包括易失性和非易失性的存储器和/或存储元件)、至少一个输入设备、以及至少一个输出设备。可例如通过使用数据处理API等来利用域专用编程模型各方面的创建和/或实现的一个或多个程序可用高级过程语言或面向对象的编程语言来实现以与计算机系统通信。然而，如果需要，该程序可以用汇编语言或机器语言来实现。在任何情形中，语言可以是编译语言或解释语言，且与硬件实现相结合。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims

1.一种用于任意时序的不受监督的异常检测的系统，包括：

至少一个处理器；

连接到所述至少一个处理器的存储器；以及

包括异常检测器的至少一个模块，所述至少一个模块被加载到所述至少一个处理器内时致使所述至少一个处理器通过以下来标识包括由一组件生成的性能计数器的时序中的未预期值的异常：

确定所述时序内数据点的分布；

执行所述时序的预处理，包括基于所述时序的统计测试对所述时序的分类；

检测所述时序内的异常，包括在检测之前学习所述时序的正常行为并且使用所述数据点来训练包括Z测试和高斯分布技术的技术组合以及使用所述包括Z测试和高斯分布技术的技术组合来检测异常；以及

执行对所检测到的异常的后处理，所述后处理确保在所述数据点被多于一个异常表征的情况下只产生一个异常事件。

2.如权利要求1所述的系统，其特征在于，提供给所述异常检测器以供训练的数据仅仅是未经标记的数据。

3.如权利要求1所述的系统，其特征在于，由所述异常检测器检测到的异常是以下之一：

范围外异常、尖峰异常、边缘异常或模式误差异常。

4.如权利要求1所述的系统，其特征在于，进一步包括：

模块，所述模块在被加载到所述至少一个处理器时致使所述至少一个处理器：

检测具有发展中的分布的时序内的异常。

5.一种用于任意时序的不受监督的异常检测的方法，包括：

由计算设备的处理器接收包括未经标记的性能计数器的时序；

确定所述时序内数据点的分布；

并行地将输入数据提供到多个处理路径；

在缺乏定义异常数据的经标记的数据以及缺乏定义正常数据的经标记的数据的情况下标识所述时序内的异常，包括在标识之前学习所述时序的正常行为并且使用所述数据点来训练包括Z测试和高斯分布技术的技术组合以及使用所述包括Z测试和高斯分布技术的技术组合来检测异常；

提供关于异常检测的布尔或概率结果中的至少一个；以及

执行对所标识的异常的后处理，所述后处理确保在所述数据点被多于一个异常表征的情况下只产生一个异常事件。

6.如权利要求5所述的方法，其特征在于，所标识的异常中的一个异常是边缘异常、范围外异常、模式误差异常或尖峰异常中的至少一个。

7.如权利要求5所述的方法，其特征在于，进一步包括：

适配于具有发展中的分布的时序。

8.一种包括计算机可读指令的计算机可读存储介质，所述计算机可读指令在被执行时使计算设备的至少一个处理器：

确定性能计数器的时序序列内的数据点的分布；

执行预处理，包括基于所述时序的统计测试对所述时序的分类；

检测所述时序内的异常，包括在检测之前学习所述时序的正常行为并且使用所述数据点来训练包括Z测试和高斯分布技术的技术组合以及使用所述包括Z测试和高斯分布技术的技术组合来检测异常，

其中范围外异常通过确定当前数据点的值与对应性能计数器的所述时序的平均值之间的差的绝对值是否大于在异常检测的训练阶段期间计算的阈值来被检测，

其中边缘异常通过确定跌落或上升的绝对值是否大于所述时序的标准偏差乘以在异常检测的训练阶段期间计算的阈值来被检测，

其中尖峰异常通过确定平均值的二阶导数是否超过在异常检测的训练阶段期间计算的阈值来被检测，

其中模式误差异常通过在异常检测的预热阶段期间将序列建模为具有高斯噪音的自回归进程来被检测，

预测所述时序中每个即将到来的数据点的预期值；

确定所述预期值与实际值之间的差的绝对值大于在异常检测的训练阶段期间定义的阈值；以及

9.一种包括用于执行如权利要求5-7中的任一项所述的方法的装置的计算机系统。

10.一种具有指令的计算机可读存储介质，所述指令在被执行时使机器执行如权利要求5-7中的任一项所述的方法。