CN102187327B - 趋势确定和识别 - Google Patents

Abstract

一种系统包括处理器和耦合到该处理器的警报模块。该处理器监视性能数据；确定该性能数据的子集，该子集与性能不佳的量度相关；确定该子集的趋势，该趋势与该量度相关；以及识别所述趋势的发生。该警报模块基于该识别输出警报。

Description

趋势确定和识别

背景技术

在信息处理环境中，大量的各种性能数据是可用的。系统性能监视器在硬件级别、操作系统级别、数据库级别、中间件级别和应用级别收集性能数据。收集和使用大量可用的性能数据是一项要求相当多资源的繁重任务。在一些情况下，收集和使用性能数据不利地影响性能以及因此影响性能数据本身。高效的收集和使用性能数据是希望的。

附图说明

对于本发明的实施例的具体说明现在将参照附图进行，附图中：

图1A示出了根据至少一些实施例的用于趋势确定和识别的系统。

图1B示出了根据至少一些实施例的用于趋势确定和识别的系统。

图1C示出了提供用于趋势确定和识别的性能数据的栈。

图2示出了根据至少一些实施例的具有用于趋势确定和识别的计算机可读介质的系统。

图3示出了根据至少一些实施例的趋势确定和识别的方法。

注释和术语

在以下权利要求书和说明书中通篇使用某些术语来表示特定组件。本领域普通技术人员会理解，不同的实体可能使用不同的名字来表示组件。本文件不打算区分名字不同而非功能不同的组件。在以下讨论和权利要求中，术语“包括”和“包含”以开放的方式被使用，并且因此应当解释为意指“包括，但不限于…”。而且，术语“耦合”意欲表示光学的、无线的、间接电连接、或直接电连接。因此，如果第一设备耦合到第二设备，该连接可以是通过经由其它设备和连接的间接电连接，通过直接光学连接等。此外，术语“系统”表示两个或更多个硬件组件的集合，并且可以用于表示电子设备。

具体实施方式

以下讨论针对本发明的各种实施例。尽管这些实施例的一个或多个可能是优选的，但是公开的实施例不应解释为或以其他方式用作限制包括权利要求的本公开的范围，除非另有说明。此外，本领域普通技术人员会理解以下说明具有广泛应用，并且任意实施例的讨论仅意欲例证该实施例，并且不意欲暗示包括权利要求的本公开的范围限于该实施例。

公开了趋势确定和识别。基于机器学习的自调节预测性能模型采用性能数据来监视系统性能水平，在各个层面控制监视水平以使得动态地决定收集的性能数据的种类和细节，并且确定潜在的服务水平目标违背。这样，模型在不同的部署情形、配置和工作负荷下捕获性能数据。模型自身调节和改善以提高预测性能。此外，大量性能数据中的每一条数据可用于被收集，但是避免了过度的不必要的监视，节省了时间和资源。因此，模型的实施导致更少的违背以及相对于竞争者的时间和资源优势。

参考图1A，系统100包括处理器102和耦合至处理器102的警报模块104。参考图1B，在至少一个实施例中，系统100是计算机。这样，处理器102是计算机处理器，以及警报模块104是计算机显示器。许多处理器和警报模块是可能的。例如，在至少一个实施例中，处理器102包括多个计算机处理器，以及警报模块104包括耦合至音频扬声器的发光二极管。

处理器102优选地监视性能数据。图1C示出提供用于趋势确定和识别的性能数据189的栈199。栈199包括从其测量性能数据189的各层硬件和软件。性能数据189优选地由系统性能监视器在硬件层197、操作系统层195、中间件层193和应用层191收集。这些层的每一层提供多种类型的性能数据。硬件层197提供硬件性能数据187，例如硬件性能计数器等。操作系统层195提供操作系统性能数据185，例如I/O/秒，存储器分配，页面故障，页面命中(hits)，驻留存储器大小，CPU使用，分组/秒等。中间件层193提供中间件性能数据183，例如查询/秒，读取的元组(tuples read)，高速缓冲存储器中的页面命中，盘I/O，表扫描，请求/秒，连接等。应用层191提供应用性能数据，例如响应时间，未完成的请求，先前事务等。许多类型的性能数据是可能的。在至少一个实施例中，从网络收集性能数据。这样，硬件层197提供了用于整个网络的硬件的硬件性能数据187。类似地，其它层提供了整个网络的性能数据。在至少一个实施例中，性能数据包括应用度量和操作系统度量。然而，监视任意类型的性能数据都是可能的。

处理器102优选地基于监视的性能数据构造符合SLO的模型。对于给定的SLO，令S＝{符合SLO，违背SLO}为可能状态的集合。在任意时间t，SLO的状态S_t可以是这两个状态中的一个。令M_t表示值的矢量[m₀，m₁，m₂，...，m_n]_t，所述值由处理器102使用被监视的性能指示符收集。处理器102优选地构造模型F(M，k，Δ)，该模型将输入矢量[M_t-k，M_t-k+1，...，M_t]映射到SLO在时间t+Δ的状态S_t+Δ。在至少一个实施例中，阈值k和Δ是参数。在至少一个其他实施例中，参数k无穷大，并且处理器102使用性能指示符值的所有可用的历史来构造模型F(M，k，Δ)。存在处理器102用来构造模型F(M，k，Δ)的各种机器学习技术。例如，处理器102中使用的机器学习技术包括，但不限于，朴素贝叶斯分类器，支持矢量机器，决策树，贝叶斯网络或神经网络。对于这些技术的细节，参考T.Hastie，R.Tibrishani，和J.Friedman的The elements of statistical learning，Springer，2001。在至少一个实施例中，处理器102优选地基于给定的训练集在近似函数F(M，k，Δ)的分类器C中构造模型F(M，k，Δ)，该训练集包括性能指示符的过去观测结果和SLO度量的观测状态。

在至少一个实施例中，处理器102将性能指示符的值与这些值随时间的方向性进行组合。令D_t＝[{+，＝，-}₁，{+，＝，-}₂，{+，＝，-}₃，...，{+，＝，-}_n]_t为方向性矢量，指示M_t和M_t-1之间的方向差异。D_t中的每个元素e_j指示M_t中的对应度量j是否已经增加({+}值)，减少({-}值)，或保持相同({＝}值)。在至少一个实施例中，处理器102构造模型F(M，k，Δ)，该模型将输入矢量[M_t，D_t-k，D_t-k+1，...，D_t]映射到SLO在时间t+Δ的状态S_t+Δ。

尽管监视每一条性能数据是可能的，但是当性能数据的量增加时监视成本将非常高。这样，处理器102确定与性能不佳(underperformance)的量度相关的性能数据的子集。在至少一个实施例中，性能不佳的量度基于服务水平目标(“SLO”)。SLO优选地是服务提供方和客户之间的服务水平协定(“SLA”)的一部分。SLO是测量服务提供方的性能的协定手段，并且有助于管理期望并且避免双方之间的争执。在至少一个实施例中，SLA是指定SLO的整个协定，即提供什么服务，和如何支持服务，以及时间，地点，成本，性能，和涉及的各方的责任。SLO是SLA的具体可测量特性，例如可用性，吞吐量，频率，响应时间和质量。例如，网站主控服务和网站拥有者之间的SLO可以是应当在一秒以下完成所提交的事务的99％，并且性能不佳的量度准确追踪SLO。换句话说，与性能不佳的量度相关的性能数据的子集可以是例如在少于10分钟内使网站业务增至三倍。

在至少一个实施例中，处理器102使用特征选择技术选择性能指示符的子集。处理器102选择M的子集M_*，以使得它们对应的模型F^*(M_*)和F(M)之间的差异相对于训练集是最小的。处理器102优选地使用在每一步消除单一度量m的贪婪算法，以使得|F(M-m)-F(M)|最小。

在至少一个实施例中，子集对应于一个SLO。然而，在至少一个其他实施例中，SLO由一个或多个性能指示符组成，所述性能指示符被组合以产生SLO成就值。这样，SLO可以取决于多个分量，每个分量具有性能指示符测量。当用于计算SLO成就值时应用到性能指示符测量的权重取决于服务的性质和服务提供方和客户将优先级给予哪些分量。优选地，在这样的实施例中，多个分量的每一个对应于性能数据的它自己的子集。通过该方式，性能不佳的量度是性能不佳的子量度的组合。在至少一个实施例中，子集和性能不佳的量度之间的相关值必须在可编程的阈值以上。这样，选择包括在子集中的性能数据的元素不会过度包含或包含不足。

如果子集适当地与性能不佳的量度相关，子集可以被监视以预料量度。如果量度对应于SLO违背，则能够预料SLA协定的违反。

处理器102确定性能数据的子集的趋势，该趋势也与性能不佳的量度相关。优选地，处理器102确定与SLO违背本身相关的趋势。确定性能数据的子集的趋势包括确定子集的一个元素以某种方式进行行为表现，另一个元素以某种方式进行行为表现等，其中每个行为可以独立于每个其他行为，并且每一个行为不需要同时发生。该行为包括线性的、指数的、算术的、几何等的增加、减少、振荡、随机运动等。该行为还包括方向性。例如，两种行为{n₁＝1，n₂＝2，n₃＝3}和{n₁＝3，n₂＝2，n₃＝1}是不同的行为，即使每个行为包含相同的值，其中n_x是元素的第x个值。前一行为是网站业务增至三倍，而后一行为是网站业务减少至三分之一。在至少一个实施例中，行为也可表示为阈值。例如，{1＜n₁＜2，2＜n₂＜3，3＜n₃＜4}。具体地，元素的第一值是在1和2之间，第二值是在2和3之间等。作为例子，可通过确定在特定时间段内一个元素增加而另一个元素同时减少来确定趋势。注意元素的行为不需要总是同时发生。许多可调整的参数可用于增加趋势和性能不佳的量度之间的相关，其允许性能不佳的量度的更准确的预测。此类参数包括以下任意一个或全部：用于子集的性能数据的元素的数量，为每个元素收集的样本的数量，每个元素的记录速率，元素的变化率，整个趋势的变化率和性能数据本身的不同元素之间的相关，例如如果一个元素的变化导致另一个元素的变化。许多可调整的参数和参数的组合都是可能的。在至少一个实施例中，趋势是子集的子趋势的组合。例如，处理器确定性能数据的不同子集，当每一个子集以其自己的特定方式进行行为表现时，所述不同子集会导致SLO违背，但是当少于全部的子集呈现其行为时所述不同子集不会导致SLO违背。

在至少一个实施例中，处理器102在确定趋势之后停止监视除了子集之外的性能数据。因为监视本身是使用系统资源的增加的开销，保持专用于监视的系统资源的量处于最小是有利的。这样，停止监视与性能不佳的量度很少相关或不相关的性能数据的性能是优选的。通过监视子集，处理器102仍然能够识别趋势的发生。在这种识别后，在至少一个实施例中，处理器102监视性能数据的第二子集。优选地，第二子集包括至少一个不在该子集中的元素。系统管理者更喜欢在事实发生后研究各种数据源以确定SLO违背的根本原因，并且诊断信息的收集的这种动态控制(何时以及什么种类的更详细监视和探测作为第二子集被开启)在SLO违背发生的情况下帮助系统管理者。然而，在正常操作期间收集相同级别的诊断信息是资源的低效使用。如果违背确实发生，处理器102优选地自动改善性能数据的子集。许多改善方法是可能的。

机器学习技术确定和改善趋势，所述趋势在性能数据和性能不佳的量度之间建立相关。由于机器学习技术根据多样的数据集创建相关的简明表示，该技术对于确定哪些性能度量导致性能不佳和哪些性能度量能够被安全地忽略是理想的。这样，系统100是自我改善的。具体地，SLO违背的实例提供用于训练机器学习模型的正面例子，而没有SLO违背的正常操作条件提供用于训练的负面例子。这样，与性能不佳相关的性能数据的子集能够自动地被调整，并且如果高度相关的子集由于任何原因突然或逐渐地变得不相关，子集能够被调整以保持高度相关。通过这种方式，正面和负面例子的稳定提供允许自我改善。人为改善也是可能的。

警报模块104优选地基于趋势的识别而输出警报。在至少一个实施例中，处理器102发送信号到警报模块104以输出警报。在至少一个实施例中，该警报是包含视觉警报、音频警报和电子邮件警报等的警报的组合。许多报警方法是可能的。优选地，性能不佳的量度是性能不佳的未来量度，并且在性能不佳的未来量度发生之前输出警报。在至少一个实施例中，性能不佳的未来量度是基于SLO的。

参考图2，在各种实施例中，计算机可读介质988包括易失存储器(例如随机存取存储器等)，非易失储存器(例如只读存储器，闪存，硬盘驱动器，CD-ROM等)或者其组合。计算机可读介质包括由处理器982执行的软件984(包括固件)。在本文件中描述的一个或多个动作由处理器982在软件执行期间实施。优选地，计算机可读介质988存储软件程序984，当由处理器982执行时，软件程序984使得处理器982监视性能数据和确定性能数据的子集，该子集与性能不佳的量度相关。优选地，处理器982确定子集的趋势，该趋势与该量度相关。在至少一个实施例中，进一步使得处理器982在确定趋势之后停止监视除了该子集之外的性能数据。处理器982优选地识别趋势的发生。在至少一个实施例中，进一步使得处理器982在识别趋势的发生之后监视性能数据的第二子集，该第二子集包括至少一个不在该子集中的元素。处理器982优选地基于所述识别输出警报。在至少一个实施例中，该警报是到警报模块104的信号。

图3示出了根据至少一些实施例的趋势确定和识别的方法300，其开始于302且结束于316。在该方法期间执行在本文件中描述的一个或多个步骤。在304，监视性能数据。在306，确定性能数据的子集，该子集与性能不佳的量度相关。在308，确定子集的趋势，该趋势与该量度相关。在至少一个实施例中，在310，在确定趋势后停止监视除了该子集之外的性能数据。在312，识别趋势的发生。在314，基于识别输出警报。在至少一个实施例中，警报是到警报模块的信号。

以上讨论旨在说明本发明的原理和各个实施例。一旦以上公开被充分理解，许多变形和修改对本领域普通技术人员来说是显而易见的。以下权利要求意欲被解释为涵盖了所有这样的变形和修改。

Claims (11)

1.一种设备，包括：

用于监视性能数据的装置；

用于在该性能数据中确定多个子集的装置，其中该多个子集中的每一个与性能不佳的量度相关；

用于在该子集中确定与该量度相关的趋势的装置；

用于基于在可编程阈值以上的多个子集中的每一个的性能不佳的度量识别所述趋势的发生的装置；以及

用于基于该识别输出警报的装置，

其中所述设备进一步包括用于在确定趋势之后停止监视除了该子集之外的性能数据的装置；

其中该性能不佳的量度是基于服务水平目标的。

2.如权利要求1的设备，进一步包括用于在识别了趋势的发生之后监视性能数据的第二子集的装置，该第二子集包括至少一个不在该多个子集中的元素。

3.如权利要求1的设备，其中该量度是性能的子量度的组合。

4.如权利要求1的设备，其中该趋势是子集的子趋势的组合。

5.如权利要求1的设备，其中性能数据包括应用度量、操作系统度量、中间件度量和硬件度量。

6.如权利要求5的设备，其中中间件度量选自由每秒的查询、读取的元组、高速缓冲存储器中的页面命中、盘输入/输出、页面命中、每秒的请求、连接和表扫描组成的组。

7.如权利要求5的设备，其中操作系统度量选自由每秒的输入/输出操作、存储器分配、页面故障、页面命中、驻留存储器大小、中央处理单元使用和每秒传送的分组组成的组。

8.如权利要求5的设备，其中应用度量选自由先前的事务、响应时间和未完成请求组成的组。

9.如权利要求1的设备，其中该性能不佳的量度是性能不佳的未来量度。

10.如权利要求9的设备，其中该性能不佳的未来量度是基于服务水平目标的。

11.一种方法，包括：

监视性能数据；

在该性能数据中确定多个子集，其中该多个子集中的每一个与性能不佳的量度相关；

在该多个子集中确定与该量度相关的趋势；

基于在可编程阈值以上的多个子集中的每一个的性能不佳的度量识别所述趋势的发生；以及

基于该识别输出警报，

其中所述方法进一步包括在确定趋势之后停止监视除了该子集之外的性能数据；

其中该性能不佳的量度是基于服务水平目标的。