CN100351808C - 对测量进行计算和传递的方法和系统 - Google Patents

对测量进行计算和传递的方法和系统 Download PDF

Info

Publication number
CN100351808C
CN100351808C CNB2004800019337A CN200480001933A CN100351808C CN 100351808 C CN100351808 C CN 100351808C CN B2004800019337 A CNB2004800019337 A CN B2004800019337A CN 200480001933 A CN200480001933 A CN 200480001933A CN 100351808 C CN100351808 C CN 100351808C
Authority
CN
China
Prior art keywords
value
application
affairs
data
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004800019337A
Other languages
English (en)
Other versions
CN1735868A (zh
Inventor
斯蒂格·A·奥尔森
戴维·M·尤古
吉萨·维贾扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1735868A publication Critical patent/CN1735868A/zh
Application granted granted Critical
Publication of CN100351808C publication Critical patent/CN100351808C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/87—Monitoring of transactions

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Complex Calculations (AREA)

Abstract

这里提供的解决方案示例包含：(a)利用多个探测器，从生产环境收集数据；(b)使用该数据的至少一部分，执行有关可用性或响应时间、或所述两者的计算；(c)输出由该计算产生的统计值；以及(d)为多个应用执行上述(a)-(c)，借此可以比较这些应用。另一个示例包含：从多个探测器接收用于多个事务步骤的数据；基于该数据而计算统计值；把该统计值映射到至少一个阈值；以及输出该映射的表示。

Description

对测量进行计算和传递的方法和系统
技术领域
本发明通常涉及信息处理，并尤其涉及用于评估网络环境中的信息处理的性能的方法和系统。
背景技术
已提出了用于监控、模拟、或测试web站点的各种方法。然而，这些方法中的一些实质上解决不同的问题(例如，模拟和假定现象(hypotheticalphenomena)的问题)，并因而明显不同于本发明。其它示例包括可从诸如AtestoTechnologies Inc.、Keynote Systems、以及Mercury Interactive Corporation的厂商得到的服务。这些服务可涉及在探测计算机(probe computer)上运行的脚本。上述方法不一定允许某些有用的比较。
测量诸如web站点、web服务、或者可由大量用户经由网络访问的其它应用的应用的性能是非常有用的。考虑两个或更多这样的应用，比较数值测定是非常有用的。例如，准确的估算或者比较可允许抢先管理、并减少补救问题的平均时间。然而，准确的估算或者比较可能受阻于不一致的测量计算和传递(communicate)。不一致、可变、或者大量定制的技术是普遍的。还没有普遍接受的技术在已被部署在生产环境中的应用上使用。用于对测量进行计算和传递的不一致技术导致诸如不可靠的性能数据、以及用于管理、培训和创建报告的增加的成本的问题。因此，需要解决与不一致的测量计算和传递有关的问题的系统和方法。
发明内容
从本发明第一方面来看，提供了一种用于对测量进行计算和传递的方法，所述方法包含：(a)利用多个探测器，从生产环境收集由多个应用内的一个应用所执行的多个事务步骤的数据；(b)用所述收集数据的至少一部分，执行有关所述多个事务步骤的可用性或者响应时间至少之一的计算；(c)输出由所述执行的计算而产生的统计值，其中所述输出还包括输出每个应用的多个事务步骤的统计值；(d)为所述多个应用执行上述步骤(a)-(c)；以及对所述多个应用比较每个应用的多个事务步骤的统计值。
优选地，本发明提供了一种方法，进一步包含：输出与至少一个阈值一致或者不一致的表示。
优选地，本发明规定，所述执行计算进一步包含计算标准性能值；并且所述输出进一步包含输出所述标准性能值。
优选地，本发明规定，计算标准性能值进一步包含：利用事务步骤的成功执行；以及利用用于所述事务步骤的响应时间的第95个百分点。
优选地，本发明规定，所述执行计算进一步包含计算事务步骤的可用性比例；并且所述输出进一步包含输出所述事务步骤的可用性比例。
优选地，本发明规定，所述执行计算进一步包含计算总可用性比例；并且所述输出进一步包含输出所述总可用性比例。
优选地，本发明规定，所述执行计算进一步包含为每个应用的多个事务步骤而执行下面的步骤(a)-(c)：(a)利用事务步骤的成功执行；(b)利用所述事务步骤的响应时间；以及(c)计算平均性能值；而且其中，所述输出进一步包含输出所述平均性能值。
优选地，本发明规定，将所述平均性能值与对应阈值相比较；并且其中，所述输出进一步包含报告所述比较的结果。
优选地，本发明规定，所述输出进一步包含：当所述平均性能值大于所述对应阈值时，以特定模式输出所述平均性能值。
优选地，本发明规定，所述以特定模式进行输出进一步包含以特定颜色进行输出，并且，该特定颜色为红色。
优选地，本发明规定，所述执行计算进一步包含计算与至少一个阈值相关联的调整的可用性值；并且，所述输出进一步包含输出所述调整的可用性值。
从本发明第二方面来看，本发明提供了一种用于对测量进行计算和传递的方法，所述方法包含：从多个探测器接收用于多个事务步骤的数据；基于所述数据计算统计值；将所述统计值映射到至少一个阈值；以及输出所述映射的表示。
优选地，本发明规定进一步包含：为多个应用执行所述接收数据、所述计算、所述映射、以及所述输出；借此可以比较所述多个应用。
优选地，本发明规定进一步包含：在应用操作的管理中利用所述表示。
优选地，本发明规定进一步包含：为标准性能值执行所述计算、所述映射、以及所述输出。优选地，本发明规定进一步包含：为调整的可用性值执行所述计算、所述映射、以及所述输出。
优选地，本发明规定进一步包含：设计应用；设置所述至少一个阈值；将所述至少一个阈值文档化；以及开发所述应用；借此针对于所述至少一个阈值而测量所述应用的性能。
优选地，本发明规定进一步包含：映射所述数据到所述至少一个阈值；以及输出所述数据的所述映射的表示。
从第三方面来看，本发明提供了一种用于对测量进行计算和传递的系统，所述系统包含：用于从多个探测器接收用于多个事务步骤的数据的装置；用于基于所述数据而计算统计值的装置；用于将所述统计值映射到至少一个阈值的装置；以及用于输出所述映射的表示的装置。
优选地，本发明规定，所述用于接收数据的装置、所述用于计算的装置、所述用于映射的装置、以及所述用于输出的装置为多个应用而进行操作；借此可以比较所述多个应用。
优选地，本发明规定，所述用于计算的装置、所述用于映射的装置、以及所述用于输出的装置为标准性能值而进行操作。
优选地，本发明规定，所述用于计算的装置、所述用于映射的装置、以及所述用于输出的装置为调整的可用性值而进行操作。
优选地，本发明提供了：用于将所述数据映射到所述至少一个阈值的装置；以及用于输出所述数据的所述映射的表示的装置。
从本发明的第四方面来看，提供了一种可直接加载到数字计算机的内部存储器中的计算机程序产品，其包含用于执行的软件代码部分，当所述产品在计算机上运行时，执行如上所述的本发明。
对上述问题的解决方案的示例包含：(a)利用多个探测器，从生产环境收集数据；(b)利用该数据的至少一部分，执行有关可用性或响应时间、或所述两者的计算；(c)输出由该计算产生的统计值；以及(d)为多个应用执行上述的(a)-(c)，借此可以比较这些应用。
解决方案的另一个示例包含：从多个探测器接收用于多个事务步骤的数据；基于该数据计算统计值；将该统计值映射到至少一个阈值；以及输出该映射的表示。
附图说明
下面参照附图、仅以示例的方式来详细描述本发明的实施例，附图中：
图1图解了能够执行本发明的计算机系统的简化示例；
图2为图解可如何针对于为一个或者多个应用传递测量而实现本发明的一个示例的方框图；
图3A和图3B图解了具有来自远程探测器的数据和统计值的报告的示例；
图4A和图4B图解了具有来自本地探测器的数据和统计值的报告的示例；
图5图解了一个给出可用性总结的报告的示例；
图6为图解可怎样在应用的开发、部署和管理中利用测量的一个示例的方框图；
图7为图解根据本发明的优选实施例的传递测量的示例的具有循环的流程图；以及
图8为图解根据本发明的优选实施例的、对测量进行计算和传递的另一个示例的流程图。
具体实施方式
以下示例涉及一台或多台计算机的使用，并可涉及一个或多个通信网络的使用。本发明不限于在其上运行本发明的计算机的类型，并且不限于所使用的网络的类型。本发明不限于用于输出的介质或格式的类型。用于提供图形输出的方法可包括：例如，在纸上用手绘制草图、在纸上打印图像或数字、在屏幕上显示图像或数字、或这些方法的某个组合。例如，可以在纸上提供解决方案的模型，而且，以后该模型可以是用于通过计算机而实现的设计的基础。
以下是在本发明的说明书、以及在权利要求中使用的术语的定义：
关于数字的“大约”，包含由于测量方法、人为误差、统计方差、舍入规则、以及有效数字位所产生的偏差。
“应用(application)”意指用于计算机技术的任何特定使用、或允许用于计算机技术的特定使用的任何软件。
“可用性”意指被访问或使用的能力。
“业务过程”意指涉及任何企业、团体、或组织对计算机使用的任何过程；该过程可涉及提供任何类型的商品或服务。
“客户-服务器应用”意指涉及利用服务的客户、以及提供服务的服务器的任何应用。这样的服务示例包含但不限于：信息服务、交易服务、对数据库的访问、以及对音频或视频内容的访问。
“比较”意指为了找到任何相似或者差别的目的而集合在一起，所述相似或者差别包含定性或者定量的相似或者差别。“比较”可涉及对下述问题的回答，这些问题包括但不限于：“测量的响应时间大于阈值响应时间？”或“由远程探测器测量的响应时间明显大于由本地探测器测量的响应时间？”。
“组件”意指任何元件或者部分，并可包含由硬件或软件、或所述两者组成的元件。
“计算机可用介质”意指用于利用计算机进行通信的任何载波、信号或者传输设备，以及任何类型的计算机存储器，如软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、CD-ROM、快闪ROM、非易失性ROM、以及非易失性存储器。
“映射”意指关联、匹配或者相关。
“测量”意指估算或者定量。
“输出”或“正在输出”意指以某些方式产生、传输、或打开，所述方式包含但不限于：在纸上打印、或在屏幕上显示、写到盘中、或使用音频设备。
“性能(performance)”意指执行或者进行；例如，“性能”可涉及包括可用性、响应时间、完成批处理的时间、或其它方面的应用操作的任何方面。
“探测器”意指在估算、探查、或者对组件功能或应用性能进行定量中使用的任何计算机；例如，“探测器”可以是执行脚本、用作客户端、以及向服务器请求服务的个人计算机。
“生产环境”意指任何实际的工作条件的集合，其中发生日常工作或事务。
“响应时间”意指对请求或者信号的响应所经过的时间。
“脚本”意指在估算、探查、或者对性能进行定量中使用的任何程序；例如，脚本可使计算机根据事务方案而发送请求或信号。可以以例如Perl的脚本语言或某个其它编程语言来编写脚本。
“服务级协议”(或者“SLA”)意指在提供商和用户之间的任何口头或者书面协议。例如，“服务级协议”包括但不限于：在厂商和客户之间的协议、以及在信息技术部门和最终用户之间的协议。例如，“服务级协议”可涉及一个或多个客户-服务器应用，并可包括有关可用性、响应时间或者解决问题的规范。
“统计值(statistic)”意指从样本中计算出的任何数值测定。
使用计算机“存储”数据或信息意指在诸如软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、CD-ROM、快闪ROM、非易失性ROM、和非易失性存储器的任何类型的计算机存储器中，在任意时间长度中，放置该数据或者信息的方法。“阈值”意指用作边界、标准、或目标的任意值；例如，“阈值”可以来源于客户需求、共同目的、服务级协议、工业标准、或其它来源。
图1图解了可用于实践本发明的信息处理系统的简化示例。本发明可以在包括嵌入式系统、个人计算机、工作站、服务器、以及大型机的各种硬件平台上实现。图1的计算机系统具有至少一个处理器110。处理器110经由系统总线112互连到随机存取存储器(RAM)116、只读存储器(ROM)114、以及用于将诸如盘单元120和带驱动器140的外设连接到总线112的输入/输出(I/O)适配器118。该系统具有用户接口适配器122，用于将键盘124、鼠标126、或诸如音频输出设备166和音频输入设备168的其它用户接口设备连接到总线112。该系统具有：通信适配器134，用于将信息处理系统连接到通信网络150；以及显示适配器136，用于将总线112连接到显示设备138。通信适配器134可将图1中绘出的系统链接到几百甚至几千个类似的系统、或诸如远程打印机、远程服务器、或远程存储单元的其它设备。图1中绘出的系统可链接到局域网(有时被称为内联网)、以及例如因特网的广域网。
虽然在图1中描述的计算机系统能够执行此处描述的过程，但这个计算机系统仅为计算机系统的一个示例。本领域的技术人员应理解：很多其它的计算机系统设计能够执行此处描述的过程。
图2为图解可如何针对于为一个或者多个应用传递测量而实现本发明的一个示例的方框图。从概述开始，这个示例包含利用在221和235处示出的两个或更多探测器，从生产环境(数据中心211)收集数据。这些探测器和它们的软件是用于测量一个或多个应用(应用201和在202处的网页一起表示一个或多个应用)性能的装置。这个示例包含利用该数据的至少一部分，而执行有关可用性或响应时间、或者所述两者的计算。图2示出了用于将数据或统计值、或所述两者映射到阈值的方法：在235处的远程探测器向数据库222发送由测量过程产生的数据。作为将数据或统计值、或所述两者映射到阈值的方法，报告生成器232和它的软件使用阈值规范(用262处的“SLA规范”表示)，并创建近实时(neat-real-time)的报告(用报告242表示)。阈值可来源于服务级协议(用262处的“SLA规范”表示)、或来源于客户需求、共同目的、工业标准、或其它来源。请将图3A、3B、以及5视为用报告242表示的报告的示例。请将图4A和4B视为用报告241表示的报告的示例。报告241和242是输出数据或统计值或所述两者的方法、以及将数据或统计值或所述两者映射到阈值的方法。
换句话说，在221和235处示出的探测器、在231和232处所示的报告生成器、以及在它们之中链接的通信(用箭头表示)可包含：用于从多个探测器接收数据的装置；用于基于该数据而计算统计值的装置；以及用于将该统计值映射到至少一个阈值的装置。在231和232处的报告生成器、以及报告241和242可包含：用于输出该映射的表示的装置。要注意到：在替换示例中，报告生成器232可以从251和222处的数据库中获得数据，然后生成报告241和242。
现在转向图2的某些细节，可以比较两个或更多的应用(应用201和202处的网页一起表示一个或多个应用)。被比较的应用不一定要驻留在同一数据中心211处；图2示出了一个简化示例。为了从商业web站点中给出某些非限制性的示例，所述应用可包含：创建客户的定单的应用；在履行客户定单中利用的应用；响应客户的查询的应用；以及支持实时事务的应用。例如，比较应用可涉及比较对一些问题的回答，所述问题例如是：应用可用于它的用户的时间比例是多少？这个可用性数值在几个星期或者几个月期间的稳定性如何？完成一个普通事务步骤(例如，登录步骤)花费多少时间？
图2中的示例可涉及探测(连接235处的远程探测器和应用201、以及连接本地探测器221和应用201的箭头)在业务过程中的事务步骤、以及将每个事务步骤映射到执行目标。例如，在事务级别上测量响应时间。这些事务步骤可以是在使用应用中所涉及的任何步骤。某些示例为在使用web站点、web应用、web服务、数据库管理软件、客户关系管理系统、企业资源规划系统、或者机会管理业务过程中所涉及的步骤。例如，业务过程中的每个事务步骤都被标识和文档化(document)。一种文档化事务步骤的好方法如下。可以表格形式显示事务步骤，该表格包含该事务步骤号、步骤名称、以及最终用户所采取的、用来执行该步骤的动作的描述。例如，可读取表格中的一行如下。步骤号：“NAQS2”，步骤名称：“登录”，描述：“输入登录ID/密码。点击登录按钮”。
继续图2的某些细节，在221和235处示出的本地和远程探测器上配置相同的脚本，以测量在201处的相同应用的性能。配置不同的脚本来测量在201处的不同应用的性能(例如，如果两个脚本版本在软件设置方面略有不同，则可以认为它们是相同的脚本)。本地探测器221提供除因特网之外的信息，而远程探测器235提供包括因特网(在290处示出)的信息。因此，可以对该信息进行比较，以确定性能或者可用性问题是应用201本身的作用(function)(基础结构特定或应用特定)还是因特网290的作用。探测器测量对请求的响应时间。连接235处的远程探测器和应用201的双头箭头表示请求和响应，并且连接本地探测器221和应用201的双头箭头也是如此。
现在转向从多个探测器接收数据的某些细节，组件探测器测量包括服务器、LAN、和服务的基础结构组件的可用性、利用率和性能。可将本地组件探测器(LCP)在本地中部署在主机站点、服务递送中心或数据中心(例如，在211处)。
网络探测器测量网络基础结构响应时间和可用性。如果测量内联网，则可将远程网络探测器(RNP)部署在本地主机站点或数据中心(例如，在211处)中，或者，如果测量因特网，则可将远程网络探测器部署在因特网服务提供商(ISP)站点处。
应用探测器测量应用和业务过程的可用性和性能。
本地应用探测器(LAP)：部署在本地主机站点或数据中心(例如，在211处)中的应用探测器被命名为本地应用探测器。
远程应用探测器(RAP)：从远程位置部署的应用探测器被称为远程应用探测器。
“探测器”的概念是逻辑概念。因此，例如，实现本地应用探测器实际上可包含实现多个物理探测器。
为探测器提供脚本将包含：定义由最终用户频繁执行的一组事务。采用多个探测器将包含：在每个具有相对大数目的最终用户的位置放置至少一个远程探测器(在图2中的235处示出)。要注意到：远程应用探测器事务和本地应用探测器事务应当是相同的事务。该示例在本地测量所有事务(在221处示出)，以便可将本地应用响应时间与远程应用响应时间相比较(在450处的双头箭头表示比较)。这可提供对于应用性能问题的理解。例如，用于内部客户的组织内部应用的端对端测量可涉及在内联网上的RAP，而用于客户、业务伙伴、供应商等的组织外部应用的端对端测量可涉及在因特网上的RAP(在235处示出)。图2中的示例涉及定义代表性的事务集、以及在相关的最终用户位置部署远程应用探测器(在235处示出)。
将图2中的这个示例容易地推广到除基于web的应用之外的其它环境。例如，在201处的一个或更多应用可以是任何客户-服务器应用。某些示例为其中客户直接连接到服务器的web站点、web应用、数据库管理软件、客户关系管理系统、企业资源规划系统、或机会管理业务过程。
图3A和图3B图解了具有通过探测web站点而产生的、来自远程探测器的数据以及统计值的报告的示例。可以与探测其它类型web站点，或者探测其它类型的应用相结合而产生类似的报告。可以每天产生象这样的报告。
虚线AA示出了报告被分成两个图表的位置。刚好在行330之上的波浪线示出从这个示例中省略行的位置，以使长度可管理。列303-312显示以秒为单位的响应时间数据。列303-311中的每列都表示事务步骤。列312表示所有事务步骤的响应时间的总计。在行321的列标题中示出了对事务步骤的描述。列313使用颜色代码来显示可用性信息。在这个示例中，由深色阴影显示特定颜色，参见列311中的单元。例如，如果完成了所有事务步骤，则列313中的单元是绿色的；否则该单元是红色的，表示执行所有事务步骤的尝试失败。因此，由于业务过程可以跨越部署在多个主机中心中的多个应用，所以，列313可提供来自探测位置的、端对端可用性的测量。列302示出了探测位置和因特网服务提供商信息。列301示出了脚本执行的时间。从行323向下到行330中的每行都表示脚本的一次重复；这些行中的每行都表示将如何由web站点处理一个最终用户的业务过程的执行。
转向图3A和图3B的某些细节，这个示例涉及把数据和统计值与阈值相比较。为了报告这个比较的结果，在这个示例中使用了颜色。行322示出了阈值。在每列中，将对事务步骤的响应时间和对应的阈值相比较。例如，列303用于“打开URL”步骤。对于该步骤，列303报告多个探测器的每个脚本执行的结果。这个示例涉及以特定模式输出大于对应阈值的、任何测量出的响应时间值。以特定模式输出可意指：例如，以特定颜色输出、或利用诸如高亮显示或特定符号的某个其它可视化提示，来进行输出(例如，该特定颜色可以是红色)。
继续图3A和图3B的细节，这个示例涉及计算和输出统计值。在单元331-369中的每个中，统计值与行322中的对应阈值对齐。单元331-369反映了统计值的计算、映射、和输出。在行330中，单元331-339显示了平均性能值。这个统计值涉及利用事务步骤的成功执行、利用对事务步骤的响应时间、计算平均性能值、以及输出平均性能值(在行330中)。在这个示例中，失败的执行和超时的执行没有被包括在对平均性能值的计算中，而是在行350中以比率来表示，并且影响可用性结果，这个示例还涉及：把平均性能值与对应阈值(在行322中)相比较；以及报告该比较结果(在行330中)。这个示例还涉及：当平均性能值大于对应阈值(在行322中)时，以特定模式(在行330中)输出该平均性能值。以特定模式输出可意指以特定颜色(例如，该特定颜色可以是红色)输出、或利用如上所述的某个其它可视化提示而输出。例如，取决于在省略的行中的值，当在单元333中的平均性能值大于对应阈值(在行322中)时，可以以红色来显示该平均性能值。
继续图3A和图3B的细节，这个示例涉及计算标准性能值、并且输出(行340，单元341-349)该标准性能值。这个示例涉及利用事务步骤的成功执行、以及利用用于该事务步骤的响应时间的第95个百分点。在单元341-349中的每个中，标准性能值与在行322中的对应阈值对齐。行340、单元341-349反映了对标准性能值的计算、映射、和输出。
继续图3A和图3B的细节，这个示例涉及计算事务步骤的可用性比例、以及输出事务步骤的可用性比例(在行350和360中)。在行350、单元351-359中，将该比例表示为成功尝试执行的比率。在行360、单元361-369中，将该比例表示为成功执行的百分比(事务步骤的“总计”百分比)。
继续图3B的细节，这个示例涉及计算总可用性比例、以及输出该总可用性比例(在单元371和372处)。在单元371中，将该比例表示为成功执行的百分比。在单元372中，将该比例表示为成功尝试执行的比率。这个比例表示包含多个事务步骤的业务过程的成功执行。
图4A和图4B图解了具有来自本地探测器的数据和统计值的报告的示例。可将这个示例自身视为涉及一个探测器的示例，或可以与图3A和图3B中示出的示例一起看待。通常，这些特征类似于上面关于图3A与图3B而描述的那些特征，因而不会在此冗长地重复那些特征。报告可包含错误消息(未在这个示例中显示)。该报告可包含：报告来源于本地探测器的数据和统计值的子集(图4A和图4B中示出的报告)；报告来源于远程探测器的数据和统计值的子集(图3A和图3B中示出的报告)；以及对于所述子集而采用类似的报告格式。因此，有利于来自本地探测器和来自远程探测器的数据和统计值的比较。以类似的方法，对于来自两个或更多应用的数据和统计值采用类似的报告格式将有利于对这些应用的比较。对于阈值，要注意到：替换示例可涉及在本地和远程报告之间不同的阈值。可能需要对阈值进行调整，以考虑与因特网有关的延迟。
现在转到图4A和图4B中示出的特别的特征，虚线AA示出了将该报告分成两个图表的位置。刚好在行330之上的波浪线显示从这个示例中省略了行的位置，以使长度可管理。列403-412以秒为单位显示了响应时间数据。列403-411中的每列都表示一个事务步骤。列412表示所有事务步骤的响应时间的总计。在行421的列标题中示出了对事务步骤的描述。列413显示可用性信息。列402示出探测位置。列401示出脚本执行的时间。从行423向下到行330中的每行都表示脚本的一次重复。行422示出了阈值。在每列中，将用于事务步骤的响应时间与对应的阈值相比较。
在单元331-369中的每个中，统计值与在行422中的对应阈值对齐。单元331-369反映了统计值的计算、映射、和输出。在行330中，单元331-339显示了平均性能值。在行340中，单元341-349显示了标准性能值。在行350、单元351-359中，将事务步骤的可用性比例表示为成功尝试执行的比率。在行360、单元361-369中，将该比例表示为成功执行的百分比。最后，图4B中的这个示例涉及总可用性比例的计算和输出。在单元371中，将该比例表示为成功执行的百分比，而在单元372中，将该比例表示为成功尝试执行的比率。
图5图解了给出可用性总结的报告的示例。这是在持续时间周期(例如，30天周期)上提供一致可用性报告的一种方法。列501显示日期。列502显示每日总可用性，例如，诸如可从图3B的单元371处得到的总可用性比例。这里，对于24小时的周期而计算每日总可用性，并将其表示为百分比。
列503显示基于列502的每日总可用性的标准总可用性(例如，30天移动平均)。这里，根据最近30天周期(移动平均，24×30)而计算标准的总可用性，并且将其表示为百分比。
列504显示每日调整的可用性。例如，基于某个阈值，例如在规定营业时间期间使应用可用的、向客户的承诺，而计算所述每日调整的可用性。换句话说，例如，对列504的值进行调整，以针对于对客户的承诺或服务级别协议而测量可用性。列504是把测量映射到阈值的一种方法。列504反映了对调整的可用性值的计算、映射、和输出。在这个示例中，根据在规定营业时间期间捕获的、每日过滤过的测量，而计算每日调整的可用性，并将其表示为百分比。这个值用于评价与可用性阈值的一致性。
列505显示基于列504的每日调整可用性的标准调整的可用性(例如，30天的移动平均数)。在这个示例中，根据跨越最近30天周期的、在规定营业时间期间捕获的每日过滤过的测量，而计算标准的调整可用性(移动平均，规定的营业时间×30)。列505可以提供在30天周期上的累积视图，反映了应用或者业务过程的稳定程度。在列505中，从2月9日的100％到2月10日的99.9％的改变示出了列502和504中的2月10日的值96％的影响。在列502和504中，2月10日的值96％指明可用性故障等于1小时。
图6为图解在应用的开发、部署和管理中可以怎样利用测量的一个示例的方框图。从概述开始，块601、602、603、和604代表应用(例如，基于web的业务应用)的典型开发过程的示例。这个示例从块601处的概念阶段开始，随后是块602的计划阶段、以及块603处的开发阶段。在块604处的验证或测试阶段之后，部署应用，并进入块605处的操作管理阶段。
块602和610由箭头连接起来，表示在计划阶段，要理解和文档化610处的客户需求(例如，性能或者可用性目标)。因此，块610包含设置阈值、以及文档化所述阈值。在块603处，通过开发该应用而继续进行工作。文档化阈值可以在开发应用中提供引导、并促进良好的设计决策。一旦开发，便相对于所述阈值而估算应用。因此，由箭头将在块604处的验证或测试阶段与块610连接，表示相对于610处的阈值而测量应用的性能。这可以导致在块604处的验证或测试阶段中，标识出一个改善应用性能的机会。
作为部署到生产环境中的应用，建立了一些参数以促进由探测器进行的一致测量。因此，图6中的示例还包含：部署该应用(从块604处的验证或测试阶段转变到块605处的操作)、提供用于该应用的操作测量策略(在块620处，例如指定如何对测量进行计算和传递)、以及提供该应用的探测解决方案(在块630处)。上面与图2中的221和235处的探测器相结合而描述了块630处的探测解决方案。块620、630、和605由箭头连接，代表在605处对应用操作的管理中，对620处的操作测量的利用、以及对630处的探测解决方案的利用。例如，在605处的操作管理阶段可涉及：利用来自620处的操作测量的输出、以及630处的探测解决方案。可以在对应用操作的管理、标识改善应用性能的机会、以及采取校正动作中利用统计值到阈值的映射表示。
在图6的示例中，将如何在生产环境中测量性能的文档化与对性能信息的传递一起集成到开发过程中，下面会结合图7和8对性能信息的传递进行进一步的描述。
图7为图解根据本发明的示教的传递测量的示例的具有循环的流程图。例如，可以为两个或更多应用而利用传递测量，借此可以比较那些应用；或者如图6所示，传递测量可以和软件开发过程集成在一起。图7中的示例从块701开始，其提供了脚本。提供脚本可包含：定义一组由最终用户频繁执行的事务。提供脚本可涉及分解业务过程。例如业务过程的测量方面可以：表示由最终用户执行的最普通的任务、练习应用的主要组件、覆盖多个主机站点、跨越多个应用、或涉及应当在组件级别上被监控的特定基础结构组件。
使用在块701处开发的脚本，本地和远程应用探测器可测量无论是简易还是复杂的、可重复事务的端对端用户体验。端对端测量集中于从最终用户的观点来测量业务过程(如由可重复的事件序列所定义的那样)。端对端测量倾向于跨越多个应用、服务、和基础结构。示例将包括：创建定单、查询定单等。实现在探测器上运行的脚本的方法是公知的(参见下面的示例实现细节)。厂商提供涉及在探测器上运行的脚本的各种服务。
块702表示设置阈值。例如，阈值可以来源于服务级协议[SLA]、或来自图6中的块610所示的源，如客户要求、性能或者可用性目标、或共同目的。
在上面针对于图2而给出的描述中涵盖了在703和704处的操作。这些操作是：块703，根据该脚本而获得应用性能的第一探测器测量；以及块704，根据该脚本而获得该应用性能的第二探测器测量。换句话说，块703和704可涉及从多个探测器接收用于多个事务步骤的数据。
图7中的示例继续到块705，其将测量映射到阈值。块705处的操作可包含：基于该数据计算统计值、将该统计值映射到至少一个阈值、以及输出该映射的表示。报告提供了将数据或统计值映射到阈值的方法。例如，参见图3A、3B、4A、4B、和5。
可重复地执行703、704、和705处的操作(显示为在判断706处得到的“否”分支，并且该路径返回到块703)，直到该过程终止(显示为在判断706处得到的“是”分支，并且该过程在块707处终止)为止。可为多个应用而执行图7中的操作，借此可以对应用进行比较。
图8为图解根据本发明的示教的对测量进行计算和传递的另一个示例的流程图。图8中的示例从块801开始，其从探测器接收输入。块801处的操作可包含：利用多个探测器，从生产环境中收集数据。该示例继续到块802，执行计算。这可涉及：利用该数据的至少一部分，而执行有关可用性或响应时间、或所述两者的计算。接下来，块803处的操作可包含：输出响应时间或可用性数据、输出阈值、以及输出由计算生成的统计值，如响应时间或可用性统计值。
如同图7一样，块801-803处的操作可被重复地执行。可以为多个应用而执行块801-803处的操作，借此可以比较这些应用。
对于图7和8，在上述处理过程中的操作次序可以改变。例如，在图7中，在本发明的实践范围内，设置阈值的块702出现在提供脚本的块701之前，或者和它同时出现。本领域技术人员将认识到：如上所述，可以以多少有所不同的次序来排列图7和8中的块，但是仍然描述了本发明。可以向上述框图中加入一些块来描述细节、或可选特征；可以减掉某些块来示出简化示例。
主要回头参考图2，该详细说明的最后部分提供了示例实现的细节。在一个示例中，图2的235处所示的远程探测器由可从Mercury InteractiveCorporation获得的、对探测服务的订约(contract)而实现，但是，可使用来自其它厂商的服务，或者，可以通过其它方法来实现远程探测(例如，在各个因特网服务提供商(ISP)处直接放置探测器)。远程探测器235可用于每个探测器探测一个特定站点；探测器也具有探测多个站点的能力。每个站点可以有多个脚本。远程探测器235位于在web站点(用应用201表示)所支持的世界的一部分中的各个ISP处。在一个示例中，远程探测器235每60分钟执行脚本。还可以使用其它长度的间隔。如果使用了235处的多个远程探测器，则可以在小时上错开探测执行时间，以确保贯穿小时而测量web站点的性能。235处的远程探测器向数据库222发送由测量过程产生的数据。在一个示例中，通过使用Mercury Interactive的数据库来实现数据库222，但可以使用其它数据库管理软件，如以商标DB2(IBM所有)、ORACLE、INFORMIX、SYBASE、MYSQL、微软公司(Microsoft Corporation)的SQLSERVER销售的软件产品，或者类似的软件。在一个示例中，通过使用MercuryInteractive的软件和web站点而实现报告生成器232，但是可以使用其它的自动报告工具，如下面为本地探测数据所描述的报告生成器(示出为报告生成器231)。IBM与Mercury Interactive的协议包含以下内容：在232处的MercuryInteractive软件使用IBM的规范(表示为262处的“SLA规范”)，并且以IBM所要求的格式来创建近实时报告(表示为报告242)；IBM的规范和格式受到保密的公开协议保护；经由在232处的Mercury Interactive的web站点、以安全方式提供242处的报告；对该报告的访问限于IBM实体(web站点所有者、主机中心、以及IBM的全球指挥中心)。
继续示例实现的某些细节，我们在主机站点本地定位应用探测器(例如，在数据中心211内的221处所示的本地探测器)，并且在相关最终用户站点远程定位应用探测器(235处的远程探测器)。这不仅练习应用代码和应用主机站点基础结构，还探测应用和网络从应用主机站点递送数据到远程最终用户站点的能力。在我们从客户观点测量用户可用性和性能(235处的远程探测器)的同时，我们还在应用被部署的位置处测量该应用的可用性和性能(在数据中心211内的221处显示的本地探测器)。这提供了基准性能测量数据，其可用于分析来自远程探测器(235处)的性能测量。
在一个示例中，本地探测器221由利用IBM的企业探测平台(EnterpriseProbe P1atform)技术的个人计算机来实现，但可以使用其它类型的硬件和软件。本地探测器221位于IBM网络上，该网络刚好在安置web站点的中心处的隔火墙之外。本地探测器221用于每个探测器探测一个特定站点。每个站点可以有多个脚本。在一个示例中，本地探测器221每20分钟执行该脚本。还可以使用其它长度的间隔。在一个示例中，本地应用探测器221自动向由操作部门使用的管理控制台205发送事件。
在一个示例中，本地探测器221把由测量过程产生的数据发送给数据库251。由使用以商标DB2(IBM所有)销售的软件产品实现数据库251，但是可以使用其它的数据库管理软件，如以商标ORACLE、INFORMIX、SYBASE、MYSQL、微软公司(Microsoft Corporation)的SQL SERVER销售的软件产品，或者类似的软件。对于本地探测器数据，自动报告工具(显示为报告生成器231)在每设置间隔持续运行，从数据库251获得数据，并且经由电子邮件发送报告241给这些IBM实体：web站点所有者、主机中心、以及IBM全球指挥中心。还可以在设置间隔把报告241发布在web站点上。通过使用Perl脚本语言以及AIX操作系统来实现报告生成器231。然而，可以使用某个其它编程语言，而且可以使用其它操作系统，如L1NUX或其它形式的UNIX、或某些版本的微软公司的WINDOWS、或某个其它操作系统。
继续示例实现的细节，开发了用于操作测量的标准策略(适于测量两个或更多应用的性能)。这个测量策略有利于对IBM的电子商务主动性业务量的一致评估。根据本发明的示教，以类似方法，可以为由某个其它组织利用的其它应用而开发测量策略。上述测量策略包含：包括应用的计划和意外停机时间在内的每周7天、每天24小时连续地测量应用的性能。上述测量策略包含：从代表应用客户基础的探测器位置(用图2中235处的探测器表示)测量应用的性能。上述测量策略包含：利用大约15分钟的采样间隔(例如，每小时采样4次，在一次采样和下一次采样之间间隔大约15分钟)。优选地，可使用大约10分钟到大约15分钟的采样间隔。
为了测量可用性，上述测量策略包含：从至少两个不同的探测位置测量应用的可用性。优选方法使用至少两个远程探测器(用235处示出的探测器表示)，并利用远离应用前端的探测位置。本地探测器和远程探测器(用图2中的221和235处显示的探测器表示)可以用作替换。上述测量策略包含：只有当每一事务步骤都在超时周期内成功时，才把应用或者业务过程定级为“可用”。在一个示例中，作为把一个业务过程定级为“可用”的前提条件，该策略要求每一事务步骤在该请求的大约45秒内成功。超过45秒阈值的事务被认为是失败的事务，而且认为该业务过程是不可用的。
最后对实现细节作出总结，图3A、3B、4A和4B图解了利用通过探测web站点产生的数据生成的报告示例，它们起售后支持功能的作用。探测器使用表示有关产品保证的典型查询的脚本。还要注意到：这些方框图图解了其中使用超文本标记语言(HTML)来创建报告的示例，但是可以使用其它的语言，如可扩展标记语言(XML)。
总之，我们已经示出了解决与不一致测量有关的问题的解决方案示例，尤其是示出了用于对测量进行计算和传递的解决方案示例。
本发明的一种可能实现为应用，即来自诸如计算机存储器之类的计算机可用介质、由计算机处理器执行的一组指令(程序代码)。在由计算机需要之前，该组指令可以存储在其它计算机存储器中，例如，在硬盘驱动器中，或者诸如光盘(用于在CD ROM中最终使用)或者软盘(用于在软盘驱动器中最终使用)的可移动存储器中，或者经由因特网或者其它计算机网络下载。因此，本发明可以被实现为具有计算机可执行指令用于在计算机中使用的计算机可用介质。此外，虽然在有选择地由软件启动或者重构的通用计算机中，可方便地实现所述的各种方法，但是本领域技术人员也应当认识到：这样的方法可以在硬件、固件、或者配置为执行该方法的更专用的装置中执行。
这个专利文献公开的一部分包含属于版权保护的资料。在该专利文献或者专利公开以专利商标局专利文件或者档案形式出现时，版权所有者不反对任何人对它进行传真复制，但无论如何，仍然保留全部版权。

Claims (15)

1、一种用于对测量进行计算和传递的方法，所述方法包含：
(a)利用多个探测器，从生产环境收集由多个应用内的一个应用所执行的多个事务步骤的数据；
(b)用所述收集数据的至少一部分，执行有关所述多个事务步骤的可用性或响应时间至少之一的计算；
(c)输出由所述执行的计算产生的统计值，其中所述输出还包括输出每个应用的多个事务步骤的统计值；
(d)为所述多个应用执行以上步骤(a)-(c)；以及
对所述多个应用比较每个应用的多个事务步骤的统计值。
2、如权利要求1所述的方法，进一步包含：
输出和至少一个阈值一致或者不一致的表示。
3 如权利要求1所述的方法，其中，
所述执行计算进一步包含计算标准性能值；以及
所述输出进一步包含输出所述标准性能值。
4、如权利要求3所述的方法，其中，所述计算标准性能值进一步包含：
利用事务步骤的成功执行；以及
利用用于所述事务步骤的响应时间的第95个百分点。
5、如权利要求1所述的方法，其中：
所述执行计算进一步包含计算事务步骤的可用性比例；以及
所述输出进一步包含输出所述事务步骤的可用性比例。
6、如权利要求1所述的方法，其中：
所述执行计算进一步包含计算总可用性比例；以及
所述输出进一步包含输出所述总可用性比例。
7、如权利要求1所述的方法，其中，所述执行计算进一步包含为每个应用的多个事务步骤执行下面的步骤(a)-(c)：
(a)利用事务步骤的成功执行；
(b)利用用于所述事务步骤的响应时间；以及
(c)计算平均性能值；以及
其中，所述输出进一步包含输出所述平均性能值。
8、如权利要求7所述的方法，进一步包含：
将所述平均性能值与对应阈值相比较；以及
其中，所述输出进一步包含报告所述比较的结果。
9、如权利要求8所述的方法，其中，所述输出进一步包含：当所述平均性能值大于所述对应阈值时，以特定模式输出所述平均性能值。
10、如权利要求1所述的方法，其中：
所述执行计算进一步包含与至少一个阈值相关联地计算调整的可用性值；以及
所述输出进一步包含输出所述调整的可用性值。
11、一种用于对测量进行计算和传递的系统，所述系统包含：
用于从多个探测器接收用于多个事务步骤的数据的装置；
用于基于所述数据计算统计值的装置；
用于将所述统计值映射到至少一个阈值的装置；以及
用于输出所述映射的表示的装置。
12、如权利要求11所述的系统，其中：
所述用于接收数据的装置、所述用于计算的装置、所述用于映射的装置、以及所述用于输出的装置为多个应用而进行操作；
借此比较所述多个应用。
13、如权利要求11所述的系统，其中：
所述用于计算的装置、所述用于映射的装置、以及所述用于输出的装置为标准性能值而进行操作。
14、如权利要求11所述的系统，其中：
所述用于计算的装置、所述用于映射的装置、以及所述用于输出的装置为调整的可用性值进行操作。
15、如权利要求11所述的系统，进一步包含：
用于将所述数据映射到所述至少一个阈值的装置；以及
用于输出所述数据映射的表示的装置。
CNB2004800019337A 2003-03-06 2004-02-12 对测量进行计算和传递的方法和系统 Expired - Fee Related CN100351808C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/383,853 2003-03-06
US10/383,853 US20040205184A1 (en) 2003-03-06 2003-03-06 E-business operations measurements reporting

Publications (2)

Publication Number Publication Date
CN1735868A CN1735868A (zh) 2006-02-15
CN100351808C true CN100351808C (zh) 2007-11-28

Family

ID=32961330

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800019337A Expired - Fee Related CN100351808C (zh) 2003-03-06 2004-02-12 对测量进行计算和传递的方法和系统

Country Status (6)

Country Link
US (2) US20040205184A1 (zh)
EP (1) EP1602033A2 (zh)
CN (1) CN100351808C (zh)
AU (1) AU2004217337A1 (zh)
CA (1) CA2513944A1 (zh)
WO (1) WO2004079481A2 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8086720B2 (en) 2002-01-31 2011-12-27 International Business Machines Corporation Performance reporting in a network environment
US8527620B2 (en) 2003-03-06 2013-09-03 International Business Machines Corporation E-business competitive measurements
US7047291B2 (en) * 2002-04-11 2006-05-16 International Business Machines Corporation System for correlating events generated by application and component probes when performance problems are identified
US7043549B2 (en) * 2002-01-31 2006-05-09 International Business Machines Corporation Method and system for probing in a network environment
US7412502B2 (en) * 2002-04-18 2008-08-12 International Business Machines Corporation Graphics for end to end component mapping and problem-solving in a network environment
US7269651B2 (en) * 2002-09-26 2007-09-11 International Business Machines Corporation E-business operations measurements
US8583472B2 (en) * 2004-09-10 2013-11-12 Fmr Llc Measuring customer service levels
US7562065B2 (en) * 2005-04-21 2009-07-14 International Business Machines Corporation Method, system and program product for estimating transaction response times
US20070078793A1 (en) * 2005-09-21 2007-04-05 Dearing Stephen M System and method for aggregating item delivery information
US8166157B2 (en) * 2007-03-23 2012-04-24 Fmr Llc Enterprise application performance monitors
EP2288986A4 (en) * 2008-04-28 2013-01-09 Strands Inc SYSTEMS FOR DISTRIBUTING PERSONALIZED RECOMMENDATIONS OF FINANCIAL PRODUCTS BASED ON USER DATA
US8275882B2 (en) * 2009-08-04 2012-09-25 International Business Machines Corporation System and method for goal driven threshold setting in distributed system management
US9037549B2 (en) * 2010-12-08 2015-05-19 Infosys Limited System and method for testing data at a data warehouse
US9703688B2 (en) * 2014-04-03 2017-07-11 International Business Machines Corporation Progress metric for combinatorial models
CN105786682A (zh) * 2016-02-29 2016-07-20 上海新炬网络信息技术有限公司 一种规避软件性能故障的实施系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732218A (en) * 1997-01-02 1998-03-24 Lucent Technologies Inc. Management-data-gathering system for gathering on clients and servers data regarding interactions between the servers, the clients, and users of the clients during real use of a network of clients and servers
US5812780A (en) * 1996-05-24 1998-09-22 Microsoft Corporation Method, system, and product for assessing a server application performance
CN1238495A (zh) * 1998-05-11 1999-12-15 国际商业机器公司 分布式计算环境中应用程序可用性和响应的监控与报告
US6108700A (en) * 1997-08-01 2000-08-22 International Business Machines Corporation Application end-to-end response time measurement and decomposition
US6449739B1 (en) * 1999-09-01 2002-09-10 Mercury Interactive Corporation Post-deployment monitoring of server performance

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5295244A (en) * 1990-09-17 1994-03-15 Cabletron Systems, Inc. Network management system using interconnected hierarchies to represent different network dimensions in multiple display views
DE69132279T2 (de) * 1990-09-17 2001-01-18 Cabletron Systems Inc Verfahren zur Isolierung eines Netzwerkfehlers
US5459837A (en) * 1993-04-21 1995-10-17 Digital Equipment Corporation System to facilitate efficient utilization of network resources in a computer network
US5664106A (en) * 1993-06-04 1997-09-02 Digital Equipment Corporation Phase-space surface representation of server computer performance in a computer network
US5581482A (en) * 1994-04-26 1996-12-03 Unisys Corporation Performance monitor for digital computer system
US6513060B1 (en) * 1998-08-27 2003-01-28 Internetseer.Com Corp. System and method for monitoring informational resources
IE77337B1 (en) * 1995-08-15 1997-12-03 Broadcom Eireann Research Limi A communication network management system
US5872973A (en) * 1995-10-26 1999-02-16 Viewsoft, Inc. Method for managing dynamic relations between objects in dynamic object-oriented languages
EP0786883B1 (en) * 1996-01-29 2006-05-24 Agilent Technologies, Inc. (a Delaware corporation) Method and apparatus for making quality of service measurements on a connection across a network
JP3374638B2 (ja) * 1996-02-29 2003-02-10 株式会社日立製作所 システム管理／ネットワーク対応表示方法
US5768501A (en) * 1996-05-28 1998-06-16 Cabletron Systems Method and apparatus for inter-domain alarm correlation
US5696701A (en) * 1996-07-12 1997-12-09 Electronic Data Systems Corporation Method and system for monitoring the performance of computers in computer networks using modular extensions
JP3591996B2 (ja) * 1996-08-29 2004-11-24 Ｋｄｄｉ株式会社 帯域確保型ｖｐｎ構築方法
US5944782A (en) * 1996-10-16 1999-08-31 Veritas Software Corporation Event management system for distributed computing environment
US6055493A (en) * 1997-01-29 2000-04-25 Infovista S.A. Performance measurement and service quality monitoring system and process for an information system
US6151688A (en) * 1997-02-21 2000-11-21 Novell, Inc. Resource management in a clustered computer system
US5787254A (en) * 1997-03-14 1998-07-28 International Business Machines Corporation Web browser method and system for display and management of server latency
US6425006B1 (en) * 1997-05-13 2002-07-23 Micron Technology, Inc. Alert configurator and manager
US6052733A (en) * 1997-05-13 2000-04-18 3Com Corporation Method of detecting errors in a network
JP2002505060A (ja) * 1997-06-16 2002-02-12 テレフオンアクチーボラゲツト エル エム エリクソン 電気通信性能管理システム
DE19727036A1 (de) * 1997-06-25 1999-01-07 Ibm System und Verfahren zur Leistungsmessung von Anwendungen mittels Nachrichten
US5978475A (en) * 1997-07-18 1999-11-02 Counterpane Internet Security, Inc. Event auditing system
US6078956A (en) * 1997-09-08 2000-06-20 International Business Machines Corporation World wide web end user response time monitor
IL121898A0 (en) * 1997-10-07 1998-03-10 Cidon Israel A method and apparatus for active testing and fault allocation of communication networks
DE19746904B4 (de) * 1997-10-23 2004-09-30 Telefonaktiebolaget L M Ericsson (Publ) Verkehrsdaten-Bewertungsgerät und zugeordnetes Verfahren für ein Netzwerk mit dynamischer Vermittlung
CA2220578A1 (en) * 1997-11-10 1999-05-10 Northern Telecom Limited Distributed service network
IL136219A0 (en) * 1997-11-20 2001-05-20 Xacct Technologies Inc Network accounting and billing system and method
US6041352A (en) * 1998-01-23 2000-03-21 Hewlett-Packard Company Response time measuring system and method for determining and isolating time delays within a network
US6175832B1 (en) * 1998-05-11 2001-01-16 International Business Machines Corporation Method, system and program product for establishing a data reporting and display communication over a network
US6141699A (en) * 1998-05-11 2000-10-31 International Business Machines Corporation Interactive display system for sequential retrieval and display of a plurality of interrelated data sets
US6260070B1 (en) * 1998-06-30 2001-07-10 Dhaval N. Shah System and method for determining a preferred mirrored service in a network by evaluating a border gateway protocol
US6278966B1 (en) * 1998-06-18 2001-08-21 International Business Machines Corporation Method and system for emulating web site traffic to identify web site usage patterns
US6336138B1 (en) * 1998-08-25 2002-01-01 Hewlett-Packard Company Template-driven approach for generating models on network services
US6401119B1 (en) * 1998-09-18 2002-06-04 Ics Intellegent Communication Software Gmbh Method and system for monitoring and managing network condition
US6182125B1 (en) * 1998-10-13 2001-01-30 3Com Corporation Methods for determining sendable information content based on a determined network latency
US6167445A (en) * 1998-10-26 2000-12-26 Cisco Technology, Inc. Method and apparatus for defining and implementing high-level quality of service policies in computer networks
US6219705B1 (en) * 1998-11-12 2001-04-17 Paradyne Corporation System and method of collecting and maintaining historical top communicator information on a communication device
US6529475B1 (en) * 1998-12-16 2003-03-04 Nortel Networks Limited Monitor for the control of multimedia services in networks
US6789050B1 (en) * 1998-12-23 2004-09-07 At&T Corp. Method and apparatus for modeling a web server
US6397359B1 (en) * 1999-01-19 2002-05-28 Netiq Corporation Methods, systems and computer program products for scheduled network performance testing
US6260062B1 (en) * 1999-02-23 2001-07-10 Pathnet, Inc. Element management system for heterogeneous telecommunications network
FR2790348B1 (fr) * 1999-02-26 2001-05-25 Thierry Grenot Systeme et procede de mesure des durees de transfert et des taux de pertes dans des reseaux de telecommunication haut-debit
DE69934871T2 (de) * 1999-03-05 2007-07-05 International Business Machines Corp. Verfahren und System zur optimalen Auswahl eines Webfirewalls in einem TCP/IP Netzwerk
US6587878B1 (en) * 1999-05-12 2003-07-01 International Business Machines Corporation System, method, and program for measuring performance in a network system
US6556659B1 (en) * 1999-06-02 2003-04-29 Accenture Llp Service level management in a hybrid network architecture
US6973490B1 (en) * 1999-06-23 2005-12-06 Savvis Communications Corp. Method and system for object-level web performance and analysis
US6505244B1 (en) * 1999-06-29 2003-01-07 Cisco Technology Inc. Policy engine which supports application specific plug-ins for enforcing policies in a feedback-based, adaptive data network
US6654803B1 (en) * 1999-06-30 2003-11-25 Nortel Networks Limited Multi-panel route monitoring graphical user interface, system and method
US6779032B1 (en) * 1999-07-01 2004-08-17 International Business Machines Corporation Method and system for optimally selecting a Telnet 3270 server in a TCP/IP network
US6606581B1 (en) * 2000-06-14 2003-08-12 Opinionlab, Inc. System and method for measuring and reporting user reactions to particular web pages of a website
US6760719B1 (en) * 1999-09-24 2004-07-06 Unisys Corp. Method and apparatus for high speed parallel accessing and execution of methods across multiple heterogeneous data sources
US6457143B1 (en) * 1999-09-30 2002-09-24 International Business Machines Corporation System and method for automatic identification of bottlenecks in a network
US6859831B1 (en) * 1999-10-06 2005-02-22 Sensoria Corporation Method and apparatus for internetworked wireless integrated network sensor (WINS) nodes
US6701342B1 (en) * 1999-12-21 2004-03-02 Agilent Technologies, Inc. Method and apparatus for processing quality of service measurement data to assess a degree of compliance of internet services with service level agreements
US6550024B1 (en) * 2000-02-03 2003-04-15 Mitel Corporation Semantic error diagnostic process for multi-agent systems
US6701363B1 (en) * 2000-02-29 2004-03-02 International Business Machines Corporation Method, computer program product, and system for deriving web transaction performance metrics
US7159237B2 (en) * 2000-03-16 2007-01-02 Counterpane Internet Security, Inc. Method and system for dynamic network intrusion monitoring, detection and response
US7930285B2 (en) * 2000-03-22 2011-04-19 Comscore, Inc. Systems for and methods of user demographic reporting usable for identifying users and collecting usage data
US6904458B1 (en) * 2000-04-26 2005-06-07 Microsoft Corporation System and method for remote management
US6734878B1 (en) * 2000-04-28 2004-05-11 Microsoft Corporation System and method for implementing a user interface in a client management tool
US6944798B2 (en) * 2000-05-11 2005-09-13 Quest Software, Inc. Graceful degradation system
US6766368B1 (en) * 2000-05-23 2004-07-20 Verizon Laboratories Inc. System and method for providing an internet-based correlation service
US7171654B2 (en) * 2000-05-25 2007-01-30 The United States Of America As Represented By The Secretary Of The Navy System specification language for resource management architecture and corresponding programs therefore
US6510463B1 (en) * 2000-05-26 2003-01-21 Ipass, Inc. Service quality monitoring process
US6996517B1 (en) * 2000-06-06 2006-02-07 Microsoft Corporation Performance technology infrastructure for modeling the performance of computer systems
US6751661B1 (en) * 2000-06-22 2004-06-15 Applied Systems Intelligence, Inc. Method and system for providing intelligent network management
EP1410281A2 (en) * 2000-07-10 2004-04-21 BMC Software, Inc. System and method of enterprise systems and business impact management
US6745235B2 (en) * 2000-07-17 2004-06-01 Teleservices Solutions, Inc. Intelligent network providing network access services (INP-NAS)
US6662235B1 (en) * 2000-08-24 2003-12-09 International Business Machines Corporation Methods systems and computer program products for processing complex policy rules based on rule form type
GB0021416D0 (en) * 2000-08-31 2000-10-18 Benchmarking Uk Ltd Improvements relating to information processing
US6973622B1 (en) * 2000-09-25 2005-12-06 Wireless Valley Communications, Inc. System and method for design, tracking, measurement, prediction and optimization of data communication networks
US7606898B1 (en) * 2000-10-24 2009-10-20 Microsoft Corporation System and method for distributed management of shared computers
JP4328459B2 (ja) * 2000-10-27 2009-09-09 Ｎｅｃエンジニアリング株式会社 ネットワークのサービス品質測定システム及びその方法
US7171588B2 (en) * 2000-10-27 2007-01-30 Empirix, Inc. Enterprise test system having run time test object generation
US7231606B2 (en) * 2000-10-31 2007-06-12 Software Research, Inc. Method and system for testing websites
US6950868B1 (en) * 2000-10-31 2005-09-27 Red Hat, Inc. Method of and apparatus for remote monitoring
US7600014B2 (en) * 2000-11-16 2009-10-06 Symantec Corporation Method and system for monitoring the performance of a distributed application
US6857020B1 (en) * 2000-11-20 2005-02-15 International Business Machines Corporation Apparatus, system, and method for managing quality-of-service-assured e-business service systems
US7814194B2 (en) * 2000-12-07 2010-10-12 International Business Machines Corporation Method and system for machine-aided rule construction for event management
US6792459B2 (en) * 2000-12-14 2004-09-14 International Business Machines Corporation Verification of service level agreement contracts in a client server environment
KR20030065552A (ko) * 2000-12-18 2003-08-06 와이어리스 밸리 커뮤니케이션 인크 위치의 텍스트 및 그래픽 경계 설정과 측정의 해석을 위한시스템 및 방법
US7925703B2 (en) * 2000-12-26 2011-04-12 Numedeon, Inc. Graphical interactive interface for immersive online communities
US20020087679A1 (en) * 2001-01-04 2002-07-04 Visual Insights Systems and methods for monitoring website activity in real time
US6757543B2 (en) * 2001-03-20 2004-06-29 Keynote Systems, Inc. System and method for wireless data performance monitoring
US6732118B2 (en) * 2001-03-26 2004-05-04 Hewlett-Packard Development Company, L.P. Method, computer system, and computer program product for monitoring objects of an information technology environment
US20040015846A1 (en) * 2001-04-04 2004-01-22 Jupiter Controller, Inc. System, device and method for integrating functioning of autonomous processing modules, and testing apparatus using same
US7010593B2 (en) * 2001-04-30 2006-03-07 Hewlett-Packard Development Company, L.P. Dynamic generation of context-sensitive data and instructions for troubleshooting problem events in a computing environment
US6738933B2 (en) * 2001-05-09 2004-05-18 Mercury Interactive Corporation Root cause analysis of server system performance degradations
US6941367B2 (en) * 2001-05-10 2005-09-06 Hewlett-Packard Development Company, L.P. System for monitoring relevant events by comparing message relation key
US6871324B2 (en) * 2001-05-25 2005-03-22 International Business Machines Corporation Method and apparatus for efficiently and dynamically updating monitored metrics in a heterogeneous system
US6708137B2 (en) * 2001-07-16 2004-03-16 Cable & Wireless Internet Services, Inc. System and method for providing composite variance analysis for network operation
US20030120762A1 (en) * 2001-08-28 2003-06-26 Clickmarks, Inc. System, method and computer program product for pattern replay using state recognition
US20030061232A1 (en) * 2001-09-21 2003-03-27 Dun & Bradstreet Inc. Method and system for processing business data
US7054922B2 (en) * 2001-11-14 2006-05-30 Invensys Systems, Inc. Remote fieldbus messaging via Internet applet/servlet pairs
US6941358B1 (en) * 2001-12-21 2005-09-06 Networks Associates Technology, Inc. Enterprise interface for network analysis reporting
US7363368B2 (en) * 2001-12-24 2008-04-22 International Business Machines Corporation System and method for transaction recording and playback
US6766278B2 (en) * 2001-12-26 2004-07-20 Hon Hai Precision Ind. Co., Ltd System and method for collecting information and monitoring production
US6633835B1 (en) * 2002-01-10 2003-10-14 Networks Associates Technology, Inc. Prioritized data capture, classification and filtering in a network monitoring environment
US7043549B2 (en) * 2002-01-31 2006-05-09 International Business Machines Corporation Method and system for probing in a network environment
US8086720B2 (en) * 2002-01-31 2011-12-27 International Business Machines Corporation Performance reporting in a network environment
US7269651B2 (en) * 2002-09-26 2007-09-11 International Business Machines Corporation E-business operations measurements
US7047291B2 (en) * 2002-04-11 2006-05-16 International Business Machines Corporation System for correlating events generated by application and component probes when performance problems are identified
US7171689B2 (en) * 2002-02-25 2007-01-30 Symantec Corporation System and method for tracking and filtering alerts in an enterprise and generating alert indications for analysis
US7231442B2 (en) * 2002-04-03 2007-06-12 Tonic Software, Inc. Global network monitoring system
US7260645B2 (en) * 2002-04-26 2007-08-21 Proficient Networks, Inc. Methods, apparatuses and systems facilitating determination of network path metrics
US20030221000A1 (en) * 2002-05-16 2003-11-27 Ludmila Cherkasova System and method for measuring web service performance using captured network packets
US6990433B1 (en) * 2002-06-27 2006-01-24 Advanced Micro Devices, Inc. Portable performance benchmark device for computer systems
US6885302B2 (en) * 2002-07-31 2005-04-26 Itron Electricity Metering, Inc. Magnetic field sensing for tamper identification
US20040153358A1 (en) * 2003-01-31 2004-08-05 Lienhart Deborah A. Method and system for prioritizing user feedback
US8069075B2 (en) * 2003-03-05 2011-11-29 Hewlett-Packard Development Company, L.P. Method and system for evaluating performance of a website using a customer segment agent to interact with the website according to a behavior model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812780A (en) * 1996-05-24 1998-09-22 Microsoft Corporation Method, system, and product for assessing a server application performance
US5732218A (en) * 1997-01-02 1998-03-24 Lucent Technologies Inc. Management-data-gathering system for gathering on clients and servers data regarding interactions between the servers, the clients, and users of the clients during real use of a network of clients and servers
US6108700A (en) * 1997-08-01 2000-08-22 International Business Machines Corporation Application end-to-end response time measurement and decomposition
CN1238495A (zh) * 1998-05-11 1999-12-15 国际商业机器公司 分布式计算环境中应用程序可用性和响应的监控与报告
US6449739B1 (en) * 1999-09-01 2002-09-10 Mercury Interactive Corporation Post-deployment monitoring of server performance

Also Published As

Publication number Publication date
EP1602033A2 (en) 2005-12-07
AU2004217337A1 (en) 2004-09-16
CN1735868A (zh) 2006-02-15
WO2004079481A2 (en) 2004-09-16
US20040205184A1 (en) 2004-10-14
US20080052141A1 (en) 2008-02-28
WO2004079481A3 (en) 2005-10-13
CA2513944A1 (en) 2004-09-16

Similar Documents

Publication Publication Date Title
CN100351808C (zh) 对测量进行计算和传递的方法和系统
US7472037B2 (en) System and methods for quantitatively evaluating complexity of computing system configuration
US9996408B2 (en) Evaluation of performance of software applications
US11620139B2 (en) Adaptive data analytics service
US20090070734A1 (en) Systems and methods for monitoring software application quality
US7624176B2 (en) Method and system for programmatically generating synthetic transactions to monitor performance and availability of a web application
US8001068B2 (en) System and method for calibrating and extrapolating management-inherent complexity metrics and human-perceived complexity metrics of information technology management
US8219358B2 (en) Platform matching systems and methods
US20140013308A1 (en) Application Development Environment with Services Marketplace
CN105324756A (zh) 云服务性能调优和基准测试
US7269651B2 (en) E-business operations measurements
CN1734427A (zh) 基于事务处理的性能模型的自动化确认和校准
Singh et al. Bug tracking and reliability assessment system (btras)
Wood Software reliability from the customer view
Bodık et al. Advanced tools for operators at Amazon. com
US20130167106A1 (en) Method and system for real-time view of software product quality
US20210109750A1 (en) Code quality linked rewards
CN113674797B (zh) 基于蛋白质组的数据检测系统、方法、设备及存储介质
EP2804138A1 (en) Software product consistency assessment
Carvalho Structural Clustering of Web Pages for Usage Pattern Mining
Bodık et al. Advanced tools for operators at Amazon. com
Smith Measuring the maintainability of Commercial Off-the-Shelf (COTS) based systems: A complexity approach
Haug et al. Summaries of PIE reports
Turtiainen VIII. MANAGING CHANGE WITH SOFTWARE REVIEWS
JP2005301922A (ja) プログラミング回答提示方法およびプログラミング回答提示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071128

Termination date: 20110212