CN102257520A - 应用的性能分析 - Google Patents

应用的性能分析 Download PDF

Info

Publication number
CN102257520A
CN102257520A CN2008801323775A CN200880132377A CN102257520A CN 102257520 A CN102257520 A CN 102257520A CN 2008801323775 A CN2008801323775 A CN 2008801323775A CN 200880132377 A CN200880132377 A CN 200880132377A CN 102257520 A CN102257520 A CN 102257520A
Authority
CN
China
Prior art keywords
performance metric
unusual
metric data
time
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801323775A
Other languages
English (en)
Other versions
CN102257520B (zh
Inventor
C.卡哈娜
R.莫谢
I.加维什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weifosi Co., Ltd
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN102257520A publication Critical patent/CN102257520A/zh
Application granted granted Critical
Publication of CN102257520B publication Critical patent/CN102257520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software

Abstract

提供了用于分析应用的性能的方法和系统的实施例。在该方面，用于分析性能的方法的实施例尤其包括：随着时间的推移从所述应用收集性能量度数据；将所述性能量度数据分割成表示表现出相似的性能量度行为的相邻时间样本的组的时间段；确定时间段中的异常的存在；以及使异常段与可用于系统的其它数据相关联以确定异常的原因。

Description

应用的性能分析
相关申请的交叉引用
本申请涉及由Mehmet K. Ozonat在2008年10月1日提交的题为“Segment-Based Technique and System for Detecting Performance Anomalies and Changes for a Computer-Based Service”的共同待决美国专利申请No. 12/243262（HP公开号200800555），其被通过引用整体地结合到本文中。
背景技术
大规模分布式网络服务的性能量度行为方面的异常可以是可能导致网络服务提供商的收入损失和服务用户的降低的满意度的服务问题症状。性能量度行为方面的异常的准确检测能够影响正确的诊断、恢复和使服务问题的影响最小化。可以使用在线检测（例如，采取作为量度测量的异常的实时检测）和离线检测（例如指示过去行为的变化或重发问题的存储测量结果中的异常的检测）二者来发现和解决服务问题。
可以通过信息技术（IT）管理工具以规则间隔的时间间隔对诸如响应时间或吞吐量的性能量度进行采样。某些IT管理工具通过为各种性能量度设置阈值来检测性能异常，例如，当性能量度超过或低于指定阈值时检测到异常。在某些情况下，可以在性能量度或者超过上阈值或者低于下阈值时生成警报。
采用基于阈值的异常检测技术的性能管理工具可能导致假警报。在某些情况下，性能量度可能在不存在任何主要服务问题的情况下超过其阈值。例如，即使在不存在任何服务问题的情况下，预期具有被设置在其历史值的第99百分位的阈值的量度大约在每100个时间样本中超过阈值一次，产生假警报。然而，基于阈值的方法不可能提供所检测的异常的全局观点，诸如性能异常是孤立事件还是较大模式的结果。
附图说明
现在将参考以下附图来描述本发明的实施例。图中的组件不一定按比例描绘，而是将重点放在清楚地示出本发明的原理上。此外，在图中，同样的附图标记遍及多个视图指定相应的部分。
图1是依照本公开的一个实施例的分析系统的图示； 
图2是示出依照本公开的一个实施例的、在图1的分析系统中实现的分析方法的示例性实施例的流程图；以及 
图3是示出依照本公开的一个实施例的、在图1的分析系统中实现的主动异常确定方法的示例性实施例的流程图。
具体实施方式
简而言之，一个实施例尤其包括一种用于分析应用的性能的方法。所述方法包括随着时间的推移从应用收集性能量度数据；将性能量度数据分割成表示表现出相似的性能量度行为的相邻时间样本的组的时间段；确定时间段中的异常的存在；以及使异常段与可用于系统的其它数据相关联以确定异常的原因。
另一实施例尤其包括计算机可读存储介质，该计算机可读存储介质包括用于分析应用的性能的程序。所述程序在被计算机处理器执行时促使处理器执行下述步骤：从应用收集性能量度数据；将性能量度数据分割成时间段；确定时间段中的异常的存在；以及使性能量度数据相关联以确定异常的原因。
另一实施例尤其包括用于分析应用的性能的系统。所述系统包括：分析模块，其被配置为从应用收集性能量度数据，该分析模块还被配置为识别所收集的性能量度数据的多个时间段中的一个或多个时间段中的异常；分段引擎，其被配置为将所收集的性能量度数据分割成时间段；以及相关引擎，其被配置为确定所识别的异常的原因。
在研究以下附图和详细说明之后，本公开的其它系统、方法、特征和优点将是或变得对于本领域的技术人员来说显而易见。意图在于所有此类附加的系统、方法、特征和优点被包括在本说明内，在本发明的范围内，并且受到所附权利要求的保护。
基于阈值的方法不可能提供所检测的异常的全局观点。当检测到性能异常时，管理员可能需要知道异常是否是在时间上孤立的，其是否是较大异常时间段的一部分，或者在整个异常时间段（例如具有比正常的响应时间高的时段）的过程中性能量度如何改变。此外，在具有多个量度的系统中，在两个相关联软件应用的诸如例如响应时间的性能量度的子集之间可能存在强依赖性。因此，异常判定（例如，异常（诸如，例如超过阈值的响应时间）的识别）可以基于联合子集中的量度数据而不是单独地，要求基于各种量度的规则的设置。即使在仅几个量度的情况下，对给出准确的异常判定的规则进行公式化对于管理员来说也可能是挑战性的任务。
另外，性能量度可能表现出多模式行为，例如，多个正常性能行为。如果多模式行为是由于例如每天或每周的周期性效应而引起的，则可以基于天或周的时间来设置用于性能量度的不同阈值。然而，多模式行为还可能是由于诸如服务维护之类的非周期性效应而引起的。因此，在跨越多个数据中心和地区分布的大规模服务中，可能每周存在几百个至几千个非周期性效应。
本公开的实施例可以连续地监视应用，从该应用收集性能量度数据（在本文中也称为“量度”），并且分析该量度数据以确定应用的行为。该应用可以是业务的IT基础结构的任何部分，包括软件或硬件。可以被收集的性能量度的某些示例可以包括但不限于应用的响应时间、每单位时间的不可用性的数目（不可用性可以包括例如错误、超时、或应用不能处理用户的请求的任何时间）、吞吐量、每秒命中（hits）或日志文件的尺寸。可以收集并分析描述应用的行为的任何量度。通过分析，即使没有阈值被越过，也可以在应用的行为中主动地检测异常。还可以将所检测的异常隔离以查明异常的根本原因以便避免该异常逐步升级并影响业务。可以与用于管理业务服务和应用的可用性和性能的惠普的业务可用性中心（BAC）软件相结合地使用主动分析系统的实施例，虽然不限于此类环境和/或平台。
图1示出包括分析模块110的分析系统100的实施例。分析模块110监视并从应用160收集量度数据。应用160可以是例如在管理员希望监视的业务中使用的任何IT组件。应用160的实施例可以包括软件和硬件组件两者，或者可以仅包括软件。应用160是IT基础结构150的一部分，并且得到支持组件170的支持。支持组件170可以是与应用160相交互的IT基础结构150的任何部分。虽然示出了用于图1的支持组件170的单个方框，但是这仅仅是出于说明的目的。支持组件170可以包括任何数目的软件和硬件组件。另外，包括应用160和支持组件170的IT基础结构150可以包括在例如业务中使用的任何计算机软件和硬件。数据库140包括关于构成IT基础结构150的元件之间的关系的信息，包括应用160与支持组件170之间的关系。分析模块110与分段引擎120和相关引擎130通信。分段引擎120使用例如信息理论和统计学习技术来将量度数据分割成表现出相似的性能量度行为的相邻时间样本的组。
相关引擎130使所述段与系统中可用的其它基于时间的数据相关联，以查明异常的根本原因。在这样做时，分析模块110可以查询数据库140。下面针对图2和图3来更详细地讨论分析系统100的各种元件的功能和交互作用。
参考图2，示出了分析方法200的示例性实施例，从分析模块110在方框210中从应用160收集性能量度开始。然后，在方框220中，分段引擎120使用例如统计学习算法将从应用160收集的性能量度数据分割成时间段。每个段可以涉及在从应用160采集的性能量度中看到的一段时间的不同行为。可以通过监视用户与应用的交互来被动地收集量度数据，或者可以由充当用户的代理来收集量度数据。
在某些非限制性实施例中，可以使用参数的、高斯混合分布对所述段进行建模，其中，所述混合的每个组成部分表示一段。可以通过使量度的真实、未知分布与高斯混合模型之间的统计距离最小化来发现各段的位置（即，段开始或结束时的时间样本）和段特性（即，段的统计特征，诸如但不限于均值向量和协方差矩阵）。所述距离在信息理论中也称为失配。可以离线地（例如根据历史数据）或在线地（例如根据最近测量的量度）来发现段。在某些实施例中，可以使用预定阈值来确定发现段的时间。在由Mehmet K. Ozonat在2008年10月1日提交的共同待决美国专利申请No. 12/243262（HP公开号200800555）中描述了上述类型的适当无阈值分段系统的实施例的进一步的细节，所述美国专利申请通过引用被整体地结合到本文中，虽然可以使用其它分段算法。
在方框230中，分析模块110确定特定时间段是否表现出异常160；下面关于图3来讨论异常确定方法的实施例的细节。异常行为可以如何表现或出现的示例包括但不限于：用于一个或多个量度的静态或动态阈值被越过；诸如错误或超时之类的可用性问题；或相对于先前时间段而言，正在分析的段中的响应时间的增加。
一旦在框230中识别到异常段，则在方框240中，对数据库140查询关于应用160的支持组件170。数据库140存储IT基础结构150的状态，包括构成IT基础结构150的各种组件之间的关系。数据库140可以是例如配置管理数据库（CMDB）。CMDB存储包括应用和业务服务的IT基础结构150的各部分之间的关系，以及可能已经对IT基础结构150进行的任何改变。在某些实施方式中，CMDB可以包括富含数据模型，该模型包括诸如但不限于服务器、网络、存储器和软件的物理元件，以及诸如但不限于业务服务、虚拟专用网络、终端用户和服务水平协议的逻辑元件二者。在某些实施例中，可以通过随属关系映射软件来填充和维护数据模型。然后，在方框250中，相关引擎130使支持组件170的量度与应用160的性能量度相关联，以滤出症状并查明异常的根本原因。在一个实施例中，将支持组件170的量度数据存储在数据库140中。在其它实施例中，可以将量度数据存储在单独的数据库中（图1中未示出）。在某些实施例中，可以利用标识符（ID）来将分析模块110的监视链接到数据库。如果在异常时段期间，在特定支持组件与应用160的量度之间存在强相关，则该特定支持组件可能是异常的原因。相关引擎130可以利用统计归纳技术和概率模型作为复杂IT系统的自动化决策、管理和控制的基础；然而，可以使用量度相关的任何适当方法。可以在Cohen等人的美国专利公开No. 2007/0083513；Cohen等人的美国专利No. 7,194,935；以及Goldszmidt等人的美国专利公开No. 2006/0188011中找到量度相关系统的示例。
在一个实施例中，尤其是，根据所收集的量度数据来创建签名。例如，可以将所测量的量度的原始值组合以形成签名。可以为每个时间间隔提供签名。签名和与所识别的问题相关联的相应的注解被存储在数据库中。可以使用集群算法将后续签名与所存储的签名相比较。可以根据相似签名的注解来确定潜在的问题。
在另一实施例中，将所测量的量度数据放置在（多个）向量中。然后可以使（多个）向量同步并由具有服务水平目标（SLO）的关系来表征所述（多个）向量。可以使用已识别的关键量度来生成指示SLO状态的模型。将后续测量的量度与所生成的模型相比较，以确定哪个SLO状态最接近地拟合。
在方框260中，由分析模块110来执行共性分析，以使用过去的异常作为知识库来使所识别的异常与过去的异常相关联，以识别所识别的异常的原因。在一个实施例中，尤其是，可以将过去的异常（或异常段）存储在单独的数据库中。所识别的异常段与过去的异常段之间的相似性可以指示所识别的异常的原因与过去的异常相同。某些异常在时间上可以是周期性或重复发生的，具有相似的签名，共享相似的应用错误，或者从相同的位置发生；相似的异常可以具有相同的根本原因。在方框270中，分析模块110识别问题模式，诸如可缩放性或负载平衡问题模式，并基于所识别的模式将异常分类到异常类别中。在一个实施例中，分析模块110包括反馈阶段，其了解组织的问题，使该问题与问题模式相关联，并使用所识别的模式来识别将来的问题并将其分类。在某些实施例中，模式可以是一般的，并且与所有组织有关，例如，其中并发用户的数目可能影响应用性能的可缩放性问题。在其它实施例中，使用学习来识别组织所特有的问题。例如，学习可以使一般解决方案适应于组织的特定问题。异常可以用信号通知到更大异常的累计时段，可以通过与过去的异常模式的比较来对其进行辨识。在方框280中，分析模块110预计（project）在方框270中识别的模式中的趋势，并分析随着时间的推移的该趋势以识别可能的将来的问题。
图3是示出在分析系统100中实现的主动异常段确定方法300的示例性实施例的流程图。方法300通过将应用160的基线状态与在正在分析的时间段期间收集的量度相比较来在方框310中开始。可以根据由应用和系统监视器报告的测量结果来连续地计算该基线。在某些实施例中，可以在正常行为的确定中考虑异常值、停机时间和问题。在其它实施例中，可以利用滑动窗口来考虑随时间推移的IT中的变化。可以将基线存储在数据库140中或另一单独的数据库中。还可以将基线保存在档案中以提供随时间推移的基线历史或当其变得无关时将其删除。可以使用数学算法来确定在所述段中是否存在违犯（violation），违犯发生多少次，和违犯的严重性。在某些实施例中，基于所计算的标准偏差来确定违犯。例如，如果测量结果超过与正常行为（或基线）的标准偏差的预定倍数，则视为已经发生了违犯。在一个实施例中，尤其是，将为3的标准偏差视为用于学习（基线）行为的阈值。
在方框320中，将正在分析的段与先前的段相比较，以查看是否已发生性能的劣化。在此步骤中注意诸如使量度值爬升或下降之类的趋势，因为其会预示异常的开始。在方框330中，查询数据库140以确定在正在分析的时间段期间是否对应用160或其支持组件170进行了改变。然后使所进行的任何改变与在数据库140中列出的改变请求（RFC）相关联，以确定该改变是根据计划的还是无计划的。RFC是针对对IT基础结构150的未来计划的改变的请求；如果改变不具有相应的RFC，则该改变是无计划的。对IT基础结构150的改变可能引起性能量度中的异常行为。在方框340中，对数据库140进行进一步查询以确定在正在分析的段中在应用或其基础结构上是否发生事件；可以考虑该事件的严重性。事件包括作为来自用户的抱怨的结果的输入（或标签（ticket）），或者作为针对监视器定义的规则的结果的自动打开。最后，在方框350中，分析模块110基于在方框310～340中收集的信息来确定正在分析的段是否包含异常。
分析系统的实施例可以通过分析并预计性能行为来在异常变成问题并影响业务之前识别该异常。从数据库检索关于IT基础结构的各部分的信息消除了对于支持IT基础结构的不同部分的不同团队之间的协作的需求。可以通过使用量度相关性和共性分析来使根本原因分析自动化。可以使用问题模式来将异常分成多个类别，允许基于其分类来识别异常的根本原因。
已经出于图示和说明的目的提出了本公开的实施例的前述公开。其并不旨在是穷举的或使本公开局限于所公开的精确形式。根据上述公开，本文所述的实施例的许多变更和修改对于本领域的普通技术人员来说将是显然的。请注意，上述示例并不意图是限制性的。还可以预期可以包括许多上述特征的系统和方法的附加实施例。在研究以下附图和详细说明之后，本公开的其它系统、方法、特征和优点将是或变得对于本领域的技术人员来说显而易见。意图在于所有此类附加系统、方法、特征和优点被包括在本说明内并在本公开的范围内。
可以以硬件、软件、固件或其组合来实现本公开的实施例。在（一个或多个）各种实施例中，以存储在存储器中并由适当的指令执行系统执行的软件或固件来实现系统组件。如果以硬件实现，如在某些实施例中，则可以用在本领域中全部众所周知的任何以下技术或其组合来实现系统组件：具有用于对数据信号实现逻辑功能的逻辑门的（一个或多个）离散逻辑电路、具有适当组合逻辑门的专用集成电路（ASIC）、（一个或多个）可编程门阵列（PGA）、现场可编程门阵列（FPGA）等。
软件组件可以包括用于实现逻辑功能的可执行指令的有序列表，可以体现在任何计算机可读介质中以供指令执行系统、装置或设备使用或与之相结合地使用，所述指令执行系统、装置或设备诸如为基于计算机的系统、包含处理器的系统、或能够从指令执行系统、装置或设备获取指令并执行该指令的其它系统。另外，本公开的范围包括在在硬件或软件构造的介质中体现的逻辑中体现一个或多个实施例的功能。
除非以其他方式特别说明或在所使用的上下文内以其他方式理解，否则诸如尤其是“能够”、“可”、“可能”或“可以”之类的条件语言一般旨在传达的是某些实施例可以包括但不要求某些特征、元件和/或步骤。因此，此类条件语言通常并不旨在暗示以任何方式对一个或多个实施例要求特征、元件和/或步骤，或者一个或多个实施例必须包括用于在有或没有用户输入或提示的情况下判定在任何特定实施例中是否包括或将执行这些特征、元件和/或步骤的逻辑。
应将流程图中的任何处理说明或方框理解为表示包括用于实现该处理中的特定逻辑功能或步骤的一个或多个可执行指令的代码部分、或段、模块，并且替换实施方式被包括在本公开的优选实施例的范围内，其中，可以不按所示或所讨论的顺序来执行功能，包括基本上同时地或按照相反顺序，其取决于所涉及的功能，如本公开的领域中的理性技术人员将理解的那样。

Claims (12)

1. 一种用于分析应用的性能的方法，包括： 
随着时间的推移从所述应用收集性能量度数据；
将所述性能量度数据分割成表示表现出相似的性能量度行为的相邻时间样本的组的时间段；
确定时间段中的异常的存在；以及
使异常段与可用于系统的其它数据相关联以确定异常的原因。
2. 权利要求1的方法，其中，所述性能量度数据包括响应时间、每单位时间的不可用性的数目、吞吐量和每秒命中中的至少一个。
3. 权利要求1的方法，其中，确定异常的存在包括：将所述应用的基线状态与来自时间段的性能量度数据相比较，以确定在所述时间段中的异常的存在。
4. 权利要求1的方法，其中，确定异常的存在包括：将来自时间段的性能量度数据与来自过去的时间段的性能量度数据相比较，以确定在所述时间段中的异常的存在。
5. 权利要求1的方法，还包括：对数据库查询关于在时间段期间发生的对所述应用的改变或对所述应用的支持组件的改变。
6. 权利要求1的方法，还包括：查询数据库，以在检测到来自时间段的性能量度数据中的异常时识别所述应用的支持组件。
7. 权利要求6的方法，其中，可用于系统以便相关的所述其它数据包括来自所述时间段的支持组件的一组性能量度数据。
8. 权利要求1的方法，还包括：执行所检测到的异常段与过去的异常段之间的共性分析。
9. 权利要求1的方法，还包括：识别所收集的性能量度数据中的模式，并基于所识别的模式将所述异常分类到类别中。
10. 权利要求9的方法，还包括：预计所识别的模式中的趋势以识别将来的异常。
11. 一种计算机可读存储介质，其包括用于分析应用的性能的程序，该程序在被计算机处理器执行时促使处理器执行下述步骤： 
从所述应用收集性能量度数据； 
将所述性能量度数据分割成时间段； 
确定时间段中的异常的存在；以及 
使性能量度数据相关联以确定异常的原因。
12. 一种用于分析应用的性能的系统，包括： 
分析模块，其被配置为从所述应用收集性能量度数据，所述分析模块还被配置为识别所收集的性能量度数据的多个时间段中的一个或多个时间段中的异常；
分段引擎，其被配置为将所收集的性能量度数据分割成时间段；以及
相关引擎，其被配置为确定所识别的异常的原因。
CN200880132377.5A 2008-10-16 2008-10-16 应用的性能分析 Active CN102257520B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/080113 WO2010044797A1 (en) 2008-10-16 2008-10-16 Performance analysis of applications

Publications (2)

Publication Number Publication Date
CN102257520A true CN102257520A (zh) 2011-11-23
CN102257520B CN102257520B (zh) 2018-02-06

Family

ID=42106768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880132377.5A Active CN102257520B (zh) 2008-10-16 2008-10-16 应用的性能分析

Country Status (4)

Country Link
US (1) US8635498B2 (zh)
EP (1) EP2350933A4 (zh)
CN (1) CN102257520B (zh)
WO (1) WO2010044797A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309793A (zh) * 2012-03-07 2013-09-18 国际商业机器公司 排名分析工具的方法和系统
CN110047286A (zh) * 2019-04-20 2019-07-23 深圳市元征科技股份有限公司 一种车辆事故分析方法及装置

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175863B1 (en) * 2008-02-13 2012-05-08 Quest Software, Inc. Systems and methods for analyzing performance of virtual environments
US8943478B2 (en) * 2009-07-14 2015-01-27 International Business Machines Corporation Fault detection and localization in dynamic software applications
JP5418250B2 (ja) * 2010-01-26 2014-02-19 富士通株式会社 異常検出装置、プログラム、及び異常検出方法
US9336331B2 (en) * 2010-04-26 2016-05-10 Ca, Inc. Detecting, using, and sharing it design patterns and anti-patterns
JP5267736B2 (ja) * 2010-06-07 2013-08-21 日本電気株式会社 障害検出装置、障害検出方法およびプログラム記録媒体
US20120022907A1 (en) * 2010-07-22 2012-01-26 Rockwell Automation Technologies, Inc. Social networking in an asset performance management system
US8683591B2 (en) * 2010-11-18 2014-03-25 Nant Holdings Ip, Llc Vector-based anomaly detection
EP2742662A2 (en) * 2011-08-10 2014-06-18 Riverbed Technology, Inc. Application performance analysis that is adaptive to business activity patterns
CN103164327A (zh) * 2011-12-12 2013-06-19 深圳市快播科技有限公司 程序运行效率分析方法及装置
JP5865486B2 (ja) * 2012-03-30 2016-02-17 日本電信電話株式会社 利用者体感品質推定装置、端末ボトルネック判定装置、類似操作抽出装置、及び方法、並びにプログラム
WO2013186870A1 (ja) * 2012-06-13 2013-12-19 株式会社日立製作所 サービス監視システム、及び、サービス監視方法
US9229800B2 (en) 2012-06-28 2016-01-05 Microsoft Technology Licensing, Llc Problem inference from support tickets
US9262253B2 (en) * 2012-06-28 2016-02-16 Microsoft Technology Licensing, Llc Middlebox reliability
US9009535B2 (en) * 2012-08-16 2015-04-14 International Business Machines Corporation Anomaly detection at the level of run time data structures
US10333820B1 (en) 2012-10-23 2019-06-25 Quest Software Inc. System for inferring dependencies among computing systems
US9557879B1 (en) 2012-10-23 2017-01-31 Dell Software Inc. System for inferring dependencies among computing systems
US9325748B2 (en) 2012-11-15 2016-04-26 Microsoft Technology Licensing, Llc Characterizing service levels on an electronic network
US9565080B2 (en) 2012-11-15 2017-02-07 Microsoft Technology Licensing, Llc Evaluating electronic network devices in view of cost and service level considerations
US8661299B1 (en) * 2013-05-31 2014-02-25 Linkedin Corporation Detecting abnormalities in time-series data from an online professional network
US9350601B2 (en) 2013-06-21 2016-05-24 Microsoft Technology Licensing, Llc Network event processing and prioritization
US20150039749A1 (en) * 2013-08-01 2015-02-05 Alcatel-Lucent Canada Inc. Detecting traffic anomalies based on application-aware rolling baseline aggregates
US9454423B2 (en) 2013-09-11 2016-09-27 Dell Products, Lp SAN performance analysis tool
US9720758B2 (en) * 2013-09-11 2017-08-01 Dell Products, Lp Diagnostic analysis tool for disk storage engineering and technical support
US9396200B2 (en) 2013-09-11 2016-07-19 Dell Products, Lp Auto-snapshot manager analysis tool
GB2518151A (en) 2013-09-11 2015-03-18 Ibm Network anomaly detection
US10223230B2 (en) 2013-09-11 2019-03-05 Dell Products, Lp Method and system for predicting storage device failures
US10203833B2 (en) 2013-11-26 2019-02-12 Entit Software Llc Recommending application modifications using image area counts
US20150248339A1 (en) * 2014-02-28 2015-09-03 Netapp, Inc. System and method for analyzing a storage system for performance problems using parametric data
US9436411B2 (en) 2014-03-28 2016-09-06 Dell Products, Lp SAN IP validation tool
US11005738B1 (en) 2014-04-09 2021-05-11 Quest Software Inc. System and method for end-to-end response-time analysis
US9479414B1 (en) 2014-05-30 2016-10-25 Dell Software Inc. System and method for analyzing computing performance
US10291493B1 (en) 2014-12-05 2019-05-14 Quest Software Inc. System and method for determining relevant computer performance events
US10534700B2 (en) 2014-12-09 2020-01-14 Micro Focus Llc Separating test verifications from test executions
US9274758B1 (en) 2015-01-28 2016-03-01 Dell Software Inc. System and method for creating customized performance-monitoring applications
US9996577B1 (en) 2015-02-11 2018-06-12 Quest Software Inc. Systems and methods for graphically filtering code call trees
US9760467B2 (en) 2015-03-16 2017-09-12 Ca, Inc. Modeling application performance using evolving functions
US10229028B2 (en) 2015-03-16 2019-03-12 Ca, Inc. Application performance monitoring using evolving functions
US10318367B1 (en) * 2015-05-15 2019-06-11 United Services Automobile Association (Usaa) Systems and methods for computer infrastructure monitoring and maintenance
US10187260B1 (en) 2015-05-29 2019-01-22 Quest Software Inc. Systems and methods for multilayer monitoring of network function virtualization architectures
US10031815B2 (en) * 2015-06-29 2018-07-24 Ca, Inc. Tracking health status in software components
FR3038406B1 (fr) * 2015-07-02 2018-06-22 Bull Sas Mecanisme de diagnostic automatique a partir d'informations issues d'un systeme de surveillance applicative
US10200252B1 (en) 2015-09-18 2019-02-05 Quest Software Inc. Systems and methods for integrated modeling of monitored virtual desktop infrastructure systems
US10291463B2 (en) * 2015-10-07 2019-05-14 Riverbed Technology, Inc. Large-scale distributed correlation
CN105302657B (zh) * 2015-11-05 2020-12-15 网易宝有限公司 一种异常情况分析方法和装置
US10191792B2 (en) 2016-03-04 2019-01-29 International Business Machines Corporation Application abnormality detection
US10037239B2 (en) * 2016-03-28 2018-07-31 Wlpro Limited System and method for classifying defects occurring in a software environment
US10614085B2 (en) * 2016-05-26 2020-04-07 International Business Machines Corporation System impact based logging with enhanced event context
US10614398B2 (en) 2016-05-26 2020-04-07 International Business Machines Corporation System impact based logging with resource finding remediation
US10230601B1 (en) 2016-07-05 2019-03-12 Quest Software Inc. Systems and methods for integrated modeling and performance measurements of monitored virtual desktop infrastructure systems
US10637745B2 (en) * 2016-07-29 2020-04-28 Cisco Technology, Inc. Algorithms for root cause analysis
CN107707376B (zh) * 2017-06-09 2018-08-03 贵州白山云科技有限公司 一种监控和告警的方法和系统
US10970395B1 (en) 2018-01-18 2021-04-06 Pure Storage, Inc Security threat monitoring for a storage system
US11010233B1 (en) 2018-01-18 2021-05-18 Pure Storage, Inc Hardware-based system monitoring
US20190236497A1 (en) * 2018-01-31 2019-08-01 Koninklijke Philips N.V. System and method for automated model selection for key performance indicator forecasting
US10922204B2 (en) * 2018-06-13 2021-02-16 Ca, Inc. Efficient behavioral analysis of time series data
CN113454600B (zh) * 2019-03-04 2024-04-09 华为云计算技术有限公司 使用跟踪数据在分布式系统中进行自动根因分析
FR3096475B1 (fr) * 2019-05-21 2021-05-21 Cartesiam Procede d’apprentissage pour la detection d’anomalies implemente sur un microcontroleur et procede de detection d’anomalies associe
US11288117B2 (en) * 2019-08-06 2022-03-29 Oracle International Corporation Predictive system remediation
US11038988B2 (en) * 2019-08-26 2021-06-15 Citrix Systems, Inc. System and methods for providing user analytics and performance feedback for web applications
US11941116B2 (en) 2019-11-22 2024-03-26 Pure Storage, Inc. Ransomware-based data protection parameter modification
US11657155B2 (en) 2019-11-22 2023-05-23 Pure Storage, Inc Snapshot delta metric based determination of a possible ransomware attack against data maintained by a storage system
US11500788B2 (en) 2019-11-22 2022-11-15 Pure Storage, Inc. Logical address based authorization of operations with respect to a storage system
US11687418B2 (en) 2019-11-22 2023-06-27 Pure Storage, Inc. Automatic generation of recovery plans specific to individual storage elements
US11645162B2 (en) 2019-11-22 2023-05-09 Pure Storage, Inc. Recovery point determination for data restoration in a storage system
US11615185B2 (en) 2019-11-22 2023-03-28 Pure Storage, Inc. Multi-layer security threat detection for a storage system
US11675898B2 (en) 2019-11-22 2023-06-13 Pure Storage, Inc. Recovery dataset management for security threat monitoring
US11720714B2 (en) 2019-11-22 2023-08-08 Pure Storage, Inc. Inter-I/O relationship based detection of a security threat to a storage system
US11651075B2 (en) 2019-11-22 2023-05-16 Pure Storage, Inc. Extensible attack monitoring by a storage system
US11755751B2 (en) 2019-11-22 2023-09-12 Pure Storage, Inc. Modify access restrictions in response to a possible attack against data stored by a storage system
US11341236B2 (en) 2019-11-22 2022-05-24 Pure Storage, Inc. Traffic-based detection of a security threat to a storage system
US11625481B2 (en) 2019-11-22 2023-04-11 Pure Storage, Inc. Selective throttling of operations potentially related to a security threat to a storage system
US11520907B1 (en) 2019-11-22 2022-12-06 Pure Storage, Inc. Storage system snapshot retention based on encrypted data
US11720692B2 (en) 2019-11-22 2023-08-08 Pure Storage, Inc. Hardware token based management of recovery datasets for a storage system
US11416364B2 (en) * 2020-03-27 2022-08-16 Vmware, Inc. Methods and systems that identify dimensions related to anomalies in system components of distributed computer systems using clustered traces, metrics, and component-associated attribute values
US11880272B2 (en) * 2020-03-27 2024-01-23 VMware LLC Automated methods and systems that facilitate root-cause analysis of distributed-application operational problems and failures by generating noise-subtracted call-trace-classification rules
US11880271B2 (en) * 2020-03-27 2024-01-23 VMware LLC Automated methods and systems that facilitate root cause analysis of distributed-application operational problems and failures
US11113174B1 (en) * 2020-03-27 2021-09-07 Vmware, Inc. Methods and systems that identify dimensions related to anomalies in system components of distributed computer systems using traces, metrics, and component-associated attribute values
US11817994B2 (en) * 2021-01-25 2023-11-14 Yahoo Assets Llc Time series trend root cause identification

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040088400A1 (en) * 2002-10-31 2004-05-06 Jeremy Daggett Method and apparatus for providing a baselining and auto-thresholding framework
CN1662901A (zh) * 2002-06-25 2005-08-31 国际商业机器公司 用于在分布式环境中监视应用性能的方法和系统
CN101021810A (zh) * 2007-03-08 2007-08-22 山东浪潮齐鲁软件产业股份有限公司 软件系统性能评估方法
US20080016412A1 (en) * 2002-07-01 2008-01-17 Opnet Technologies, Inc. Performance metric collection and automated analysis
US20080126413A1 (en) * 2006-11-03 2008-05-29 Computer Associates Think, Inc. Baselining backend component error rate to determine application performance
CN101233491A (zh) * 2005-07-14 2008-07-30 国际商业机器公司 检测集群环境中动态工作负载调度的不平衡的系统和方法
US20080195369A1 (en) * 2007-02-13 2008-08-14 Duyanovich Linda M Diagnostic system and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000008806A1 (en) * 1998-08-03 2000-02-17 Firstsense Software, Inc. Systems and methods for monitoring distributed applications using diagnostic information
KR100428070B1 (ko) * 2000-07-05 2004-04-30 삼성에스디에스 주식회사 정보 시스템의 운영상태 체크 시스템 및 방법, 그프로그램의 소스를 기록한 기록매체
KR20060063236A (ko) * 2004-12-07 2006-06-12 (주)인포그레스 트래픽 데이터 파일 분석 기반의 분산 애플리케이션트랜잭션 성능 분석 방법
KR100803889B1 (ko) * 2006-02-07 2008-02-14 주식회사 케이티프리텔 클라이언트 단말로 제공되는 서비스 성능 분석 방법 및시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1662901A (zh) * 2002-06-25 2005-08-31 国际商业机器公司 用于在分布式环境中监视应用性能的方法和系统
US20080016412A1 (en) * 2002-07-01 2008-01-17 Opnet Technologies, Inc. Performance metric collection and automated analysis
US20040088400A1 (en) * 2002-10-31 2004-05-06 Jeremy Daggett Method and apparatus for providing a baselining and auto-thresholding framework
CN101233491A (zh) * 2005-07-14 2008-07-30 国际商业机器公司 检测集群环境中动态工作负载调度的不平衡的系统和方法
US20080126413A1 (en) * 2006-11-03 2008-05-29 Computer Associates Think, Inc. Baselining backend component error rate to determine application performance
US20080195369A1 (en) * 2007-02-13 2008-08-14 Duyanovich Linda M Diagnostic system and method
CN101021810A (zh) * 2007-03-08 2007-08-22 山东浪潮齐鲁软件产业股份有限公司 软件系统性能评估方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309793A (zh) * 2012-03-07 2013-09-18 国际商业机器公司 排名分析工具的方法和系统
CN103309793B (zh) * 2012-03-07 2016-06-22 国际商业机器公司 排名分析工具的方法和系统
CN110047286A (zh) * 2019-04-20 2019-07-23 深圳市元征科技股份有限公司 一种车辆事故分析方法及装置

Also Published As

Publication number Publication date
EP2350933A1 (en) 2011-08-03
CN102257520B (zh) 2018-02-06
US8635498B2 (en) 2014-01-21
EP2350933A4 (en) 2012-05-23
WO2010044797A1 (en) 2010-04-22
US20110276836A1 (en) 2011-11-10

Similar Documents

Publication Publication Date Title
CN102257520A (zh) 应用的性能分析
Ott A Markov decision model for a surveillance application and risk-sensitive Markov decision processes
US11748227B2 (en) Proactive information technology infrastructure management
US9389946B2 (en) Operation management apparatus, operation management method, and program
Arisholm et al. A systematic and comprehensive investigation of methods to build and evaluate fault prediction models
CN102713861B (zh) 操作管理装置、操作管理方法以及程序存储介质
US20090292743A1 (en) Modeling user access to computer resources
US20160055044A1 (en) Fault analysis method, fault analysis system, and storage medium
US20110055620A1 (en) Identifying and Predicting Errors and Root Causes in a Data Processing Operation
US20140053025A1 (en) Methods and systems for abnormality analysis of streamed log data
EP1897055A2 (en) Method and system for determining effectiveness of a compliance program
US9799007B2 (en) Method of collaborative software development
US11507674B2 (en) Quantifying privacy impact
WO2018107292A1 (en) System and method for earthquake risk mitigation in building structures
Lai et al. Accelerated multiple alarm flood sequence alignment for abnormality pattern mining
CN103518192B (zh) 大规模服务的实时诊断流水线
Weiss Predicting telecommunication equipment failures from sequences of network alarms
US11665185B2 (en) Method and apparatus to detect scripted network traffic
Gosnell et al. Exploring the Mahalanobis-Taguchi approach to extract vehicle prognostics and diagnostics
JP5200678B2 (ja) サービシステム、サービスシステム管理方法、及びプログラム
US11915180B2 (en) Systems and methods for identifying an officer at risk of an adverse event
US20200391885A1 (en) Methods and systems for identifying aircraft faults
Azvine et al. Intelligent process analytics for CRM
MARKOVIĆ et al. A contribution to continual software service improvement based on the six-step service improvement method
Naeni et al. Modeling Uncertainty in Evaluating the Project Performance

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20170117

Address after: American Texas

Applicant after: HEWLETT PACKARD ENTERPRISE DEVELOPMENT LP

Address before: American Texas

Applicant before: Hewlett Packard Development Co.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180612

Address after: American California

Patentee after: Antite Software Co., Ltd.

Address before: American Texas

Patentee before: HEWLETT PACKARD ENTERPRISE DEVELOPMENT LP

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: Utah, USA

Patentee after: Weifosi Co., Ltd

Address before: California, USA

Patentee before: Antiy Software Co.,Ltd.

CP03 Change of name, title or address