CN102473132A - 监控软件应用的性能的方法 - Google Patents

监控软件应用的性能的方法 Download PDF

Info

Publication number
CN102473132A
CN102473132A CN2010800339097A CN201080033909A CN102473132A CN 102473132 A CN102473132 A CN 102473132A CN 2010800339097 A CN2010800339097 A CN 2010800339097A CN 201080033909 A CN201080033909 A CN 201080033909A CN 102473132 A CN102473132 A CN 102473132A
Authority
CN
China
Prior art keywords
network
user
designator
tolerance
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800339097A
Other languages
English (en)
Other versions
CN102473132B (zh
Inventor
大卫·约翰·佩奇
R·L·G·奥吉尔威
J·M·皮特斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Actual Experience PLC
Original Assignee
Queen Mary and Westfiled College University of London
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Queen Mary and Westfiled College University of London filed Critical Queen Mary and Westfiled College University of London
Publication of CN102473132A publication Critical patent/CN102473132A/zh
Application granted granted Critical
Publication of CN102473132B publication Critical patent/CN102473132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3457—Performance evaluation by simulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

监控在连接至网络的计算设备上运行的软件应用的性能水平的方法，包括：监控网络上的至少一个站的信息交换；测量至少两个性能指示符度量，例如延迟、抖动、丢失、响应时间、吞吐量、有效吞吐量和对象大小；从指示符度量的非线性组合中推导出指示符参数。可对每个指示符度量运用变换以获得相应的推导值，然后将推导值相加组合以获得指示符参数。变换具有第一区域和第二区域，在第一区域内推导值相对弱地依赖于相应的度量，在第二区域推导值相对强地依赖于相应的度量。分数值可由用户输入，指示用户对软件应用的性能的感知，并与推导出的指示符参数比较。依赖于用户输入的分数，可改变用于推导指示符参数的计算。依赖于推导出的指示符参数，可触发诊断追踪。指示符参数的值和相关追踪数据可收集在数据库中，并被校对以诊断和/或预测计算机系统中的问题。

Description

监控软件应用的性能的方法
本发明涉及对计算机软件应用的监控，更具体地，涉及对联网的软件应用的性能的测量、管理和感知优化。
企业越来越依赖软件应用来完成和实现经济目标。企业进程可被分类为那些涉及人的直接参与的进程，例如万维网应用(webapplication)、语音应用和视频应用；以及那些没有人参与的进程，例如仅有机器的工厂环境。
企业对软件应用的依赖意味着，应用性能不佳的影响会是巨大的，尤其是当用户意识到性能不佳，并因为应用妨碍了他们高效完成任务的能力而对该应用感到失望或恼火时。这会具有严重的负面经济影响，降低企业进程效率，打击企业内的员工士气，并降低了客户忠诚度和企业之外的那些品牌价值。因此，企业必须确保各个应用始终如一地执行，并处于符合其支持的内部或外部企业进程的需要的水平，即确保用户不会对其使用的应用感到失望。
然而，这并不是简单的，因为用户或机器所体验到的应用性能取决于日益复杂的根本的IT基础结构。例如，IT基础结构通常会涉及多种技术，例如固定和移动无线网络、局域网(LAN)、公共和专用广域网(WAN)(互联网和内联网)、数据中心、服务器、缓存、虚拟机、专有和开放通信协议。这些技术常常作为服务通过多个第三方——例如服务提供商(SP)——提供给企业，这会增加IT基础结构的管理复杂度。每个技术常要求部署数十、数百或者数千个单个系统。在运行中，每个系统和技术的行为不仅不同，而且根据系统上任意时刻的负荷是动态的。最终，用户所感知到的应用体验是许多交互的单个系统行为的结果。更为复杂的是，不同的应用以不同的方式受到I T基础结构系统的组合行为的影响，因此感知也不同。
因此，代表企业利益的应用性能管理(APM)的实施需要专业的技术人员以及先进的APM工具。目前可提供一系列APM工具和技术。一些APM工具关注IT基础结构技术的子集的性能管理。尽管这对于在系统级别上管理这些技术是有用的，但是这些工具的一个缺陷是，它们常常不能管理支撑一个应用的所有技术，因此不能管理用户所感知到的应用性能。因此，一些APM工具关注应用的整体的、端到端的性能。这些工具的方法要么是主动的，要么是被动的。
主动工具能够模拟用户应用体验，例如通过执行模拟用户如何使用一个应用的脚本。通常，脚本在连接至企业的IT基础结构的工作站上执行。在模拟期间执行测量，为APM专家提供数据，帮助他们了解应用的性能。例如，可以测量应用的响应时间。
相反，被动工具使用硬件和软件仪器测量用户对应用的实际使用。仪器点可被放置在IT基础结构中的不同位置，例如在数据中心或其他主要的企业位置。可测量实际的用户通信量，且为APM专家提供数据，帮助他们了解应用的性能。同样，测量通常描述应用的响应时间。
响应时间测量的一个优势是，对于工程师来说响应时间是一个用来理解的直观概念。然而，响应时间测量的一个明显缺陷是，它不是一个对用户所感知到的性能的可靠指示，且不能指示用户是否对应用失望或者其他。这个感知的差异起源于各个用户以不同的方式使用同一应用，或者对同一应用有不同的性能预期。因此用户对性能具有独特的个人感知。类似地，由于用户使用不同的应用来实现不同的任务，因此用户可能不会因为一个应用的响应时间慢而失望，但是可能会因为类似的另一个应用的响应慢而失望，尤其是如果任务的紧急性或重要性发生变化时。
简单的响应时间测量的另一缺陷是，它不能解释是什么IT基础结构行为或系统行为组合导致性能降低，或者不能解释什么行为或者行为的组合会在未来导致性能降低。这使得对于APM专家来说难于诊断和确定具有不利经济影响(即由于失望的用户)的IT基础结构行为。
响应时间测量的另一缺陷是，它不能指示IT基础结构行为或系统行为的组合导致用户感知到的性能降低的时刻。
被动APM工具的另一缺陷是，这些工具要求对单个应用使用的协议和编码有详细的理解。这常意味着因有限的APM供应商资源，被动APM工具不支持所有的应用或应用类型。
主动APM工具在它们开始运行前通常必须学习脚本或者具有手动产生的脚本。这常意味着因有限的IT专家资源，主动APM工具不支持所有的应用或应用类型。
许多被动APM工具的另一缺陷是，它们要求安装和支持物理测量仪器设备。这些设备的购买、安装和运行成本通常较高，限制了它们的部署范围。被动APM工具还可存储个人用户数据，这些数据常会产生其他安全或隐私问题，从而导致企业的管理成本更高。
根据本发明，提供一种监控软件应用的性能水平的方法，所述软件应用运行在连接至计算机网络的计算设备上，并与一个或多个连接至网络的设备通信，该方法包括：
监控在所述网络上的至少一个站上的信息交换，例如信息包；
测量与所述信息交换相关的至少两个性能指示符度量；以及
从所述指示符度量的非线性组合中推导出一个指示符参数。
在本发明的又一方面中，提供一种诊断和/或预测包括计算机网络的计算机系统中的问题的方法，所述方法包括从连接至计算机网络的多个计算设备的每一个中，将根据前述的监控方法推导出的指示符参数收集在数据库中，并从所收集的参数中校对数据，以诊断和/或预测所述计算机系统中的问题。
这样的一个系统可包括用于触发对所述网络的诊断追踪的工具，依赖于所述指示符参数的值，刺激来自所述网络或所述计算基础结构的响应，且其中收集在数据库中的步骤包括，收集从依赖于所述指示符参数的值而被触发的所述诊断追踪得出的数据的步骤。
优选的度量是延迟、抖动、丢失、响应时间、吞吐量、有效吞吐量和对象大小中的一个或多个。
本文中使用的术语“软件应用”还包括在连接至网络的设备之间通信的对等应用和机器到机器应用。
本发明是基于这样一个认识，即用户对网络应用的性能的感知与容易被测量的性能指示符度量不是以线性方式相关。相反，它反应出对这些度量存在复杂的相关性，这些相关性的形式是非线性的，且通常显示至少第一区域和第二区域，其中在该第一区域所述用户感知相对不受度量变化的影响，而在该第二区域所述用户感知相对强地受到度量变化的影响。相应的，在本发明的优选实施方案中，非线性变换被应用到每个所述指示符度量，以获得相应的推导值，且所述推导值中的至少两个被相加组合，以获得所述指示符参数。所述非线性变换如此产生第一区域和第二区域，其中在所述第一区域内所述相应的推导值相对弱地依赖于所述相应的度量，在所述第二区域所述相应的推导值相对强地依赖于所述相应的度量。所述变换可以多种方式执行，例如通过具有线性、或非线性分量段的分段数学函数，或通过多元有理函数，所述变换可近似相应的分段数学函数的值。或者，可利用简单的二维查找表。
对于每个非线性推导值的一般原则是：存在一个范围的度量值，对于该范围的度量值，对非线性推导值(因此对用户感知)仅具有少量影响；以及另一个范围的值，对于该另一范围的值，用户感知的质量随着度量变化明显降低。还可以有另外一个范围的值，其中感知质量的下降已经是可注意到的，并继续下降，但是没有到严重的程度。在所述范围中还可有一些部分，其中相应的推导值在度量值的该范围的一个子集上对相应的度量非弱依赖或强依赖。这可发生在如果所述软件应用响应于所检测到的减损来调整其操作时，例如如果所述信息丢失超过阈值，启用一种前向纠错机制来保护免受信息丢失。这种调整可提供用户感知的改善，但是仅在有限范围的度量值上，在该范围以外，推导值仍对相应度量弱依赖或强依赖。
指示符参数(或计算的用户感知分数)，表明用户对所述软件应用的性能的感知，并提供了比单一度量的测量值明显更可靠的用户体验的指示符。现有方法通常仅测量单个参数(通常为响应时间，或吞吐量)，测量值对该单个度量(依照用户感知)的重要性通常没有被量化。用户感知分数是一组用户的代理对于他们对所述软件应用的性能的感知的投票。在其一般形式中，代理是非特定的一组投票者。对于机器到机器应用，分数表示位于该设备上的代理用户的感知。
形成指示符的其他分量的非线性推导值可具有不同的感知含义，例如与所述软件应用的交互性相关，且可对应于所述软件应用一部分的通信的不同分量，例如从分立的网络缓存或网站服务器传递的静态和动态万维网内容(web content)。
计算的指示符参数可以按照定性或定量方式图形可视化。通常，图形指示符被简化为显示或总结用户感知的多个水平(例如“很差”、“差”、“可以”、“好”和“很好”)。用于计算用户感知分数的过程可以调整其参数值，以随着一组投票者的代理而改变分数的专一性。视哪些人正在调整参数以及如何调整，该专一性的范围可从一般的、非特定参数，到特定组，再变化到特定用户。例如，工作站可从用户处接收反馈，指示用户的个人体验是否与显示的图形指示符一致，且响应所述用户输入，自动改变用于计算指示符分量和整个指示符参数(被称作用户感知配置)的计算方法。或者，组织机构中的公司I T团队可负责调整用户感知配置，以将其调节至具体用户组的需要，以及他们对特定软件应用的感知要求。对于机器到机器应用，参数被调整以表示对要求与其他机器通信的机器的进程的影响。
指示符参数可被用于触发(直接地或概率上地)对网络和计算基础结构的诊断追踪。这使得能够在用户感知变差的时候(或者根据用户感知正在变差的可能性的比例)检查这些基础结构的行为。现有方法通常在用户感知正在变差被报告和进行诊断调查之间存在相当长的时间延迟。此外，单一的度量测量不能够被用作针对诊断追踪的可靠的触发器，这是因为测量值的重要性没有按照用户感知被量化。
相应地，在本发明的一个优选方面，该方法包括如下步骤，即，依赖于所述指示符参数的值，触发对所述网络的诊断追踪，以刺激来自所述网络或所述计算基础结构的响应。
在一个实施方案中，信息交换的监控可在所述计算设备上执行。替代地(或额外地)，所述信息交换的监控除了在所述计算设备上执行以外，还可以在连接至网络的设备上执行。
与一些软件应用相关的信息交换可在所述设备上被监控，且为每个应用(例如每个网站)提供分立的图形显示以及触发分立的诊断追踪。
信息监控可以是被动的(例如，通过测量应用产生的包的往返时间)或主动的(例如，向网络和计算基础结构提供定制要求，以测试对特定激励的响应)。
关于许多用户对网络的用户感知体验的数据，可被收集在数据库中，在时间和空间(位置)上校对，并被用于总结、诊断和预测由网络和计算基础结构所导致的感知问题。
从用户反馈得到的数据可被收集在数据库中，并被校对以提供用户感知分数的计算配置，这些配置对于不同的应用类型和用户种类而有所变化，从一般到特定。
结合附图，下文将详细描述本发明的一些优选实施方案。
图1是根据本发明的操作方法的示意图。
图2到6示出了适用于将各种指示符度量变换成相应的推导值，以产生性能指示符的变换形式。
图1示意性示出了根据本发明的一个优选方法，其中第一步是收集两个或更多个指示符度量(1)。然后将收集的指示符度量在信号处理设备2中以非线性方式(将在下文更详细描述)数学组合，以产生相应的推导值或“指示符分量”(3)。随后将若干个这样的推导值(3)在另一个计算元件(4)中相加组合，以产生指示计算出的用户感知分数的指示符参数(5)。该指示符参数(5)可以由计算元件(6)处理，并在显示元件7上图形显示。
反馈(8)可由用户、或者由企业I T团队提供，并被用于经由控制机构(9)变换指示符参数的计算，得到输入参数(10)。数据可被收集在数据库整理(11)中，并被处理以产生输出(12)，该输出(12)总结、诊断和预测由网络和计算基础结构导致的感知问题。
图2到6图形示出了变换形式，其可被用于将指示符度量有效吞吐量(单位为比特/秒)、丢失(表示为丢失率)、(往返)延迟(秒)、响应时间(秒)和对象大小(比特)变换成相应的推导值，以产生性能指示符。为方便，并为了提供有意义的上下文情景，相应的非线性推导值分别被指定为快速性(celerity)、连续性(contiguity)、相互性(reciprocity)、响应性(responsiveness)和颗粒性(granularity)。概念上而言，这些推导值与下列性能相关的概念有关：
快速性：对信息被传递并呈现给用户的速度的感知；
连续性：对例如由信息的丢失或延迟传递导致的信息流的中断(或缺失)的感知；
相互性：对可由信息的相互交换维持的会话互动的感知；
响应性：对软件应用传递可感知的有意义的信息对象(或一组对象)的时间性的感知；
颗粒性：对例如通过编解码速率或内容大小所测量的应用对象的详细程度的感知。
从用户中心角度来说，这些推导值具有端到端意义，因此通常由在用户的计算设备上测量的性能指示符度量推导出。然而，推导值还可由测量的具有局部意义的性能指示符度量产生(由此相互联系而获得端到端意义)，或者可在信息流的路径上被采样。
应用可包括在两个或更多个网络连接设备(例如机器、工作站、服务器)之间的信息流的多个分量，且信息流的每个分量可具有其自身的测量得出的性能指示符度量和感知指示符分量。
从图2到6可看出，每个推导值是通过对相应度量的非线性变换而获得的。在每一种情形中，图形的形式示出了第一区域和第二区域，在第一区域内，相应的推导值相对弱地依赖于相应的度量，在第二区域内，相应的推导值相对强地依赖于相应的度量。因此，如图2示出的，例如对于在1,000,000到2,000,000bps之间的有效吞吐量值，获得的“快速性”值相对弱地依赖于所测量的有效吞吐量值，但是对于500,000到1,000,000bps之间的有效吞吐量值，获得的“快速性”值相对强地依赖于所测量的有效吞吐量值。同样，如图3示出的，对于0.25到0.5之间的丢失率值，“连续性”值相对弱地依赖于所测量的丢失率，但是对于0.05到0.15之间的丢失率值，“连续性”值相对强地依赖于所测量的丢失率。其他三个推导出的参数示出了对相应的基础度量的类似的非线性相关性。
该相关性的性质可通过针对每个度量和相应的推导值进行实验来经验性地确定。随后可通过具有线性或非线性分量段的分段数学函数、或通过多元有理函数来近似所述变换。或者，可利用简单的二维查找表。
推导出的指示符参数可以是两个或更多个非线性推导值分量(3)的相加组合。能够通过用户反馈而被修正的参数(10)，可被用于改变计算所述推导出的指示符参数的方式，以使得代理更具专一性地适应和预测用户感知分数，例如，针对单独的用户或者用户组，以及针对单独的应用或应用类型。该适应可直接由用户发起，或由用户的代理例如公司IT团队发起。
所述用户感知分数能够通过各种各样的方式被利用，通过视觉呈现、报告和诊断(12)。现在将分别基于TCP和UDP通信建立的联网软件应用，来详细描述两个具体实施例。
第一实施例是一个网站的例子，其集中了一系列的内容类型和对象大小，并经由TCP与用户的web浏览器通信。用户对网站的感知是由如下因素综合得出的：内容结构和大小、web服务器提供内容的能力、网络基础结构向用户的web浏览器传递内容的能力、以及用户的设备或工作站将内容呈现给用户的能力。
给出了所有五个感知贡献类型(3)，并利用下列测量的性能指示符度量：有效吞吐量(x1)、有效丢失(x2)、往返延迟(x3)、响应时间(x4)和对象大小(x5)。
该实施例的数学组合可以如下表示：
Figure BDA0000133178170000081
其中
a＝(04.444·10-5 -3.444·10-5 -10-5)
b＝(0 100000 1000000 2000000)
c＝(-50 0 0 0)
Φ(·)是海维赛德(Heaviside)阶跃函数
Figure BDA0000133178170000082
其中
a＝(0.4 -95 -4370 46806 -229983 665999 -1250167 1592700 -1405434 860190-358514 97096 -15408 1087)
Figure BDA0000133178170000083
其中
a＝(-0.1 14.2 -1825.6 32304 -264056 1159425 -3065700 5137225 -5508120 3667760-1382893 225760)
Figure BDA0000133178170000091
其中
a＝(-2.8 -11 13.8)
b＝(0 1.5 8.45)
c＝(0 0 0)
Figure BDA0000133178170000092
其中
a：＝(-4·10-4 3.98·10-4 2·10-6)
b：＝(0 10000 1000000)
c：＝(0 0 0)
指示符参数——用户感知分数(5)由下式给出：
UPS＝100+快速性(x1)+连续性(x2)+相互性(x3)+响应性(x4)+颗粒性(x5)，
且其被硬限制为0到100的范围(即如果总和小于0则被设置为0，如果总和超过100则被设置为100)。
第二实施例是一个交互的对等应用的例子(在该具体实施例中是一个语音应用，但是相同方法可适用于其他交互的对等应用)。这个应用对消息流或消息信号(可以是连续的或间断的)进行编码，例如使用编解码器对语音消息流进行编码，并将产生的比特流放在一个或多个基于UDP的包流(在各方与该交互的应用之间的每个方向上至少一个)中。用户对该交互的应用的感知是由如下因素综合得出的：各方之间实现的比特速率(或者包速率)、以及网络基础结构在该速率下以最小丢失和抖动以及以足够低的往返延迟支持通话交互的传递包流的能力。
给出了五个感知贡献类型中的四个(即，使用不可忽略的分子因数)，并利用下列测量的性能指示符度量：吞吐量(x1)、有效丢失(x2)、往返延迟(x3)、和对象大小(x5，应用每秒钟为每个消息流或消息信号产生的比特数，即比特率)。
该实施例的数学组合可以如下表示：
Figure BDA0000133178170000101
其中
a＝(0 1.25·10-3 -0.75·10-3 -0.5·10-3)
b＝(0 20000 40000 70000)
c＝(-40 0 0 0)
Figure BDA0000133178170000102
其中
a＝(0.4 -200 -19370 436740 -4517742 27542621 -108844504 291930000 -542327435698798345 -613155445 349600093 -116794010 17350734)
其中有效丢失x2是丢失或迟到的包与总计发送的包的比值。
其中
a＝(-0.29 20.56 -766.75 6855.59 -29341.33 68709.83 -97409.63 87653.78 -50493.4718068.78 -3661.87 321.4)
Figure BDA0000133178170000104
其中
a＝(0 2.2410-4 -1.30810-4 -9.37510-5)
b＝(0 15000 64000 128000)
c＝(-17 0 0 0)
指示符参数——用户感知分数由下式给出：
UPS＝100+快速性(x1)+连续性(x2)+相互性(x3)+颗粒性(x5)，
且其被硬限制为0到100的范围。
通过具体示例的方式，使用图2到6的示例性曲线，根据本发明的一个指示符参数可如下确定：
有效吞吐量(测量的)是750000bps，因此快速性是-21。
经历的丢失率是2％，因此连续性是-3。
经历的往返延迟是110ms，因此相互性是-1.5。
响应时间是0.67s，因此响应性是-2。
下载的是500000比特的对象，因此颗粒性是-5。
因此，指示符参数的计算值是：100-21-3-1.5-2-5＝67.5
假设现在延迟和丢失增加(例如由于网络堵塞)，则这对可获得的有效吞吐量有影响(有效吞吐量减少)，因此增加了下载对象的响应时间。
新的值是：
有效吞吐量减少到325000bps，因此快速性是-40。
经历的丢失率是3％，因此连续性是-5。
经历的往返延迟是220ms，因此相互性是-2。
响应时间是1.5s，因此响应性是-4。
下载的是500000比特的对象，因此颗粒性是-5。
总的感知质量是：100-40-5-2-4-5＝44。
可注意到，一个通式可被表示为覆盖基于TCP和UDP的实施例。连续性被表示为丢失和延迟到达(即因为抖动而延迟)的函数，但是在TCP的情形中，抖动的贡献可忽略；在基于UDP的公式中，响应性被包括在内，但是其他因数可忽略。
计算出的用户感知分数可以依据时间绘制，且在合适的时间标度上累积成柱状图的柱，柱的大小对应于用户感知的定性的不同的水平(例如“很差”、“差”、“可以”、“好”和“很好”)。
在短的时间标度上(数量级为分钟)，可视化使得用户可以提供关于用户感知分数与用户的(或他们的代理的)软件应用的实际体验的一致性的反馈。该反馈可被用于调整用于产生指示符分量的数学组合的因数，从而调整所述分数。根据用户的技术理解水平，可向用户提供此反馈的不同水平的详情。一种选择是为五个类型的指示符分量中的每一个提供独立的比例控制。在最简单的形式中，这通过控制度量轴的比例来实现。例如如果si是度量xi的比例参数，则该万维网应用的用户感知分数可由下式给出：
UPS＝100+快速性(x1.x1)+连续性(s2.x2)+相互性(s3.x3)+响应性(s4.x4)+颗粒性(s5.x5)
在另一种形式中，每一个指示符分量yi是指示符度量xi的函数fi()，即
yi＝fi(xi)
可以通过调整反馈参数——ai和si来改变，如给出的：
yi＝ai fi(sixi)，
其中ai是指示符分量yi的附加因数，si是度量xi的比例参数。
一个替代方案是，以协调方式从单一“交互性”控制中驱动这些比例或反馈参数控制。这后一种方法使得能够将软件应用在如下范围上进行分类：从高度主动(例如会话式，像语音或游戏应用)，到交易式(例如需要充分响应的交互式数据应用)，再到被动的(例如流，或者文件传输，其中重点是有足够高的下载速度)。
例如，如果ai和si是指示符分量yi和指示符度量xi的反馈参数，I是交互性控制，范围从主动(I＞1)到被动(0＜I＜1)，则反馈参数可被以如下方式表示为交互性控制的函数。对于连续性、相互性和响应性(即i分别为2、3、4)，这些可被表示为：
ai＝1+0.4log(I)
si＝0.9I
对于快速性和颗粒性(即i分别为1、5)，反馈控制ai和si可以被如下表示：
ai＝1+0.5log(I)
si＝0.2I
反馈可以从现场或实验室环境中的用户获得。在现场中，减损可以在其发生时观察和被体验到。在实验室中，减损以受控方式引入系统，以降低软件应用的质量。用户组以投票形式反馈他们各自的分数，表明他们在所体验到的减损条件下的软件应用的性能的感知。将用户输入的分数与推导出的指示符分数进行比较，例如通过在一维回归分析中调整交互性控制，或者通过在多维回归分析中调整两个或更多个反馈参数控制。
同样在短的时间标度上，当前分数值(或者对分数的统计测量)可被用于触发对网络和计算基础结构的诊断追踪。实现诊断追踪的一种方式是具有此分数的阈值，在该阈值以下则启动诊断追踪，在该阈值之上则停止诊断追踪。一种替代方法是将指示符参数反映作为来自众多用户的平均分数的代理，以概率方式触发诊断追踪。例如，该分数被用作分布参数，且可以计算在阈值以下的概率。该概率随着分数值的减小而增大，从而更频繁地触发诊断追踪。
在较长的时间标度上(数量级为小时或天)，用户感知分数、他们的感知分量、基础性能指示符度量以及诊断追踪的结果可以被累积、校对和关联。这些作为规划进程的信息有许多可能的用途。例如，可累积网络和计算基础结构元件上的柱状图总况(由诊断追踪结果所识别)，并使用趋势技术预测哪些基础结构元件最可能导致感知问题，从而要求容量升级。
除了上文具体描述的内容，在随附权利要求的范围内，许多修改都是可能的。

Claims (15)

1.一种监控软件应用的性能水平的方法，所述软件应用运行在连接至计算机网络的计算设备上，并与一个或多个连接至网络的设备通信，该方法包括：
监控在所述网络上的至少一个站上的信息交换；
测量与所述信息交换相关的至少两个性能指示符度量；以及
从所述指示符度量的非线性组合中推导出一个指示符参数。
2.根据权利要求1所述的方法，其中所述至少两个性能指示符度量包括延迟、抖动、丢失、响应时间、吞吐量、有效吞吐量和对象大小中的至少两个。
3.根据前述权利要求任一项所述的方法，其中所述信息交换是信息包的交换。
4.根据前述权利要求任一项所述的方法，其中所述软件应用是万维网应用、协作应用、游戏应用、语音应用、视频应用、或者机器到机器应用。
5.根据前述权利要求任一项所述的方法，还包括：
对每一个所述指示符度量运用变换，以获得相应的推导值，其中所述变换如此产生第一区域和第二区域，其中在所述第一区域内所述推导值相对弱地依赖于相应的度量，在所述第二区域内所述推导值相对强地依赖于相应的度量；以及
将至少两个所述推导值相加结合，以获得所述指示符参数。
6.根据权利要求5所述的方法，其中一个第一所述度量与所述计算设备和一个连接至网络的设备之间的信息交换相关，且第二所述度量与所述计算设备和一个连接至网络的第二设备之间的信息交换相关，其中这两个度量都与同一软件应用相关。
7.根据权利要求5所述的方法，其中一个第一所述推导值指示静态万维网内容，一个第二所述推导值指示动态万维网内容，其中所述静态万维网内容和所述动态万维网内容由分立的网络缓存或万维网服务器所传递。
8.根据前述权利要求任一项所述的方法，包括其中所述计算设备包括用于帮助用户输入一个用户输入的分数值的工具，其中所述用户输入的分数值指示所述用户对所述软件应用的性能的感知，且其中所述系统包括用于将所述用户输入的分数与所述推导出的指示符参数进行比较的工具，且可选的，用于依赖于所述用户输入的分数来修正用于推导所述推导出的指示符参数的计算的工具。
9.根据前述权利要求任一项所述的方法，包括产生关于计算出的指示符参数的可视化图形的步骤。
10.根据前述权利要求任一项所述的方法，包括依赖于所述指示符参数的值来触发对所述网络的诊断追踪的步骤，以刺激来自所述网络或所述计算基础结构的响应。
11.根据权利要求10所述的方法，其中通过所述诊断追踪刺激来自所述网络或所述计算基础结构的响应是路由数据、路由性能数据、系统性能数据、CPU数据、或与计算机网络节点或连接至网络的设备相关的其他管理数据或性能数据。
12.根据前述权利要求任一项所述的方法，其中为运行在所述计算设备上的多个软件应用中的每一个推导一个单独的所述指示符参数。
13.根据前述权利要求任一项所述的方法，其中通过获得关于应用产生的信息交换的度量，来被动地执行所述监控，或者，其中通过创建一个具体适应于测试所述计算基础结构或所述网络基础结构对一个具体刺激的响应的信息交换，来主动地执行所述监控。
14.一种诊断和/或预测包括计算机网络的计算机系统中的问题的方法，所述方法包括从连接至计算机网络的多个计算设备的每一个中，将根据前述权利要求任一项要求的方法推导出的指示符参数收集在数据库中，并从所述收集的参数中校对数据，以诊断和/或预测所述计算机系统中的问题。
15.根据权利要求14所述的方法，其中所述系统包括用于触发对所述网络的诊断追踪的工具，以依赖于所述指示符参数的值来刺激来自所述网络或所述计算基础结构的响应，且其中收集在数据库中的步骤包括，收集从依赖于所述指示符参数的值而被触发的所述诊断追踪得出的数据的步骤。
CN201080033909.7A 2009-07-24 2010-07-21 监控软件应用的性能的方法 Active CN102473132B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB0912931.3A GB0912931D0 (en) 2009-07-24 2009-07-24 Method of monitoring the performance of a software application
GB0912931.3 2009-07-24
PCT/EP2010/060575 WO2011009892A1 (en) 2009-07-24 2010-07-21 Method of monitoring the performance of a software application

Publications (2)

Publication Number Publication Date
CN102473132A true CN102473132A (zh) 2012-05-23
CN102473132B CN102473132B (zh) 2014-12-31

Family

ID=41066797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080033909.7A Active CN102473132B (zh) 2009-07-24 2010-07-21 监控软件应用的性能的方法

Country Status (6)

Country Link
US (1) US9477573B2 (zh)
EP (1) EP2457164B1 (zh)
CN (1) CN102473132B (zh)
ES (1) ES2773044T3 (zh)
GB (1) GB0912931D0 (zh)
WO (1) WO2011009892A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105579956A (zh) * 2013-04-04 2016-05-11 谷歌公司 移动应用性能预测
CN109597366A (zh) * 2017-10-02 2019-04-09 费希尔-罗斯蒙特系统公司 用于对过程控制系统的多站点性能监测的系统和方法
CN112988542A (zh) * 2021-04-08 2021-06-18 马上消费金融股份有限公司 一种应用评分方法、装置、设备和可读存储介质
CN114691258A (zh) * 2020-12-29 2022-07-01 深圳Tcl新技术有限公司 系统性能的显示方法、系统、智能设备及存储介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307847A1 (en) * 2010-12-06 2013-11-21 The Regents Of The University Of California Rendering and encoding adaptation to address computation and network
US8984122B2 (en) * 2011-08-05 2015-03-17 Bank Of America Monitoring tool auditing module and method of operation
US8990183B2 (en) * 2012-06-06 2015-03-24 Microsoft Technology Licensing, Llc Deep application crawling
CN103812720B (zh) * 2012-11-15 2015-04-01 腾讯科技（深圳）有限公司 一种网络加速管理方法及装置
US10409353B2 (en) * 2013-04-17 2019-09-10 Qualcomm Incorporated Dynamic clock voltage scaling (DCVS) based on application performance in a system-on-a-chip (SOC), and related methods and processor-based systems
US10552852B1 (en) * 2014-03-11 2020-02-04 Vmware, Inc. Service monitor for monitoring and tracking the performance of applications running on different mobile devices
WO2015167470A1 (en) * 2014-04-29 2015-11-05 Hewlett-Packard Development Company, Lp Measuring user action performance by classifying user actions
US10102101B1 (en) * 2014-05-28 2018-10-16 VCE IP Holding Company LLC Methods, systems, and computer readable mediums for determining a system performance indicator that represents the overall operation of a network system
US10725891B2 (en) * 2014-05-30 2020-07-28 Micro Focus Llc Evaluating user experience
EP3152672A4 (en) * 2014-06-04 2018-01-03 EntIT Software LLC Evaluating user experience
CN104021078B (zh) * 2014-06-13 2016-07-06 中国民航信息网络股份有限公司 软件监控装置及方法
WO2016171644A1 (en) * 2015-04-20 2016-10-27 Hewlett Packard Enterprise Development Lp Security indicator scores
US11106337B2 (en) * 2016-03-11 2021-08-31 Sap Se Adaptation of user interfaces based on a frustration index
US10475090B2 (en) 2016-07-11 2019-11-12 Micro Focus Llc Calculating user experience scores
CN106528390A (zh) * 2016-11-04 2017-03-22 智者四海（北京）技术有限公司 一种应用监控方法及装置
US10680908B2 (en) 2017-05-23 2020-06-09 International Business Machines Corporation User interface with expected response times of commands
US10671507B2 (en) 2018-10-25 2020-06-02 Capital One Services, Llc Application performance analytics platform
KR20200112494A (ko) 2019-03-22 2020-10-05 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11431591B2 (en) * 2019-05-01 2022-08-30 Citrix Systems, Inc. Systems and methods for presenting workspace experience indicator on user interface
US10938699B1 (en) * 2019-10-01 2021-03-02 Cisco Technology, Inc. Systems and methods for monitoring and addressing network performance issues
CN113094082B (zh) * 2021-04-07 2024-02-13 北京字跳网络技术有限公司 微服务依赖关系确定方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7197428B1 (en) * 2003-11-12 2007-03-27 Sprint Communications Company L.P. Method for performance monitoring and modeling
CN101021810A (zh) * 2007-03-08 2007-08-22 山东浪潮齐鲁软件产业股份有限公司 软件系统性能评估方法
US7369967B1 (en) * 2004-12-27 2008-05-06 Sprint Communications Company L.P. System and method for monitoring and modeling system performance

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9087319B2 (en) * 2002-03-11 2015-07-21 Oracle America, Inc. System and method for designing, developing and implementing internet service provider architectures
US6856943B2 (en) 2002-03-26 2005-02-15 Sun Microsystems, Inc. User perception tool
US7480912B2 (en) * 2003-05-29 2009-01-20 International Business Machines Corporation Method for policy-based, autonomically allocated storage
US7284153B2 (en) * 2003-11-17 2007-10-16 International Business Machines Corporation Apparatus, method, and system for logging diagnostic information
US7412503B2 (en) * 2003-11-21 2008-08-12 International Business Machines Corporation Method and apparatus for the dynamic introduction of new attributes into policies
US20050149809A1 (en) * 2003-12-10 2005-07-07 International Business Machines Corporation Real time determination of application problems, using a lightweight diagnostic tracer
US7171337B2 (en) * 2005-06-21 2007-01-30 Microsoft Corpoartion Event-based automated diagnosis of known problems
US7596583B2 (en) * 2007-03-29 2009-09-29 International Business Machines Corporation Dynamic learning in redesigning a composition of web services
US20090125496A1 (en) * 2007-11-13 2009-05-14 B-Hive Networks, Inc Network device and method for monitoring of backend transactions in data centers
US8359581B2 (en) * 2008-12-10 2013-01-22 International Business Machines Corporation Automatic collection of diagnostic traces in an automation framework
GB2467769B (en) * 2009-02-13 2011-04-13 Amdocs Software Systems Ltd Method and system for specifying planned changes to a communications network
US8751284B2 (en) * 2009-04-30 2014-06-10 United Parcel Service Of America, Inc. Systems and methods for a real-time workflow platform using Petri net model mappings
US8332811B2 (en) * 2009-04-30 2012-12-11 United Parcel Service Of America, Inc. Systems and methods for generating source code for workflow platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7197428B1 (en) * 2003-11-12 2007-03-27 Sprint Communications Company L.P. Method for performance monitoring and modeling
US7369967B1 (en) * 2004-12-27 2008-05-06 Sprint Communications Company L.P. System and method for monitoring and modeling system performance
CN101021810A (zh) * 2007-03-08 2007-08-22 山东浪潮齐鲁软件产业股份有限公司 软件系统性能评估方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105579956A (zh) * 2013-04-04 2016-05-11 谷歌公司 移动应用性能预测
CN105579956B (zh) * 2013-04-04 2019-03-15 谷歌有限责任公司 移动应用性能预测
CN109597366A (zh) * 2017-10-02 2019-04-09 费希尔-罗斯蒙特系统公司 用于对过程控制系统的多站点性能监测的系统和方法
CN114691258A (zh) * 2020-12-29 2022-07-01 深圳Tcl新技术有限公司 系统性能的显示方法、系统、智能设备及存储介质
CN112988542A (zh) * 2021-04-08 2021-06-18 马上消费金融股份有限公司 一种应用评分方法、装置、设备和可读存储介质
CN112988542B (zh) * 2021-04-08 2021-11-30 马上消费金融股份有限公司 一种应用评分方法、装置、设备和可读存储介质

Also Published As

Publication number Publication date
US20120166636A1 (en) 2012-06-28
CN102473132B (zh) 2014-12-31
GB0912931D0 (en) 2009-09-02
US9477573B2 (en) 2016-10-25
WO2011009892A1 (en) 2011-01-27
EP2457164A1 (en) 2012-05-30
ES2773044T3 (es) 2020-07-09
EP2457164B1 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
CN102473132B (zh) 监控软件应用的性能的方法
US11870700B2 (en) Monitoring a communication network
US10585773B2 (en) System to manage economics and operational dynamics of IT systems and infrastructure in a multi-vendor service environment
Jin et al. Nevermind, the problem is already fixed: proactively detecting and troubleshooting customer dsl problems
US20200313971A1 (en) Capacity management of computing resources based on time series analysis
US6003090A (en) System for determining network connection availability between source and destination devices for specified time period
US6901442B1 (en) Methods, system and computer program products for dynamic filtering of network performance test results
US7953843B2 (en) System and method for evaluating a heterogeneous cluster for supporting expected workload in compliance with at least one service parameter
US8234229B2 (en) Method and apparatus for prediction of computer system performance based on types and numbers of active devices
CN1936849A (zh) 资源动态调整方法及设备
US20230043526A1 (en) Bandwidth allocation using machine learning
CN105677538A (zh) 一种基于故障预测的云计算系统自适应监测方法
US20140095696A1 (en) Evaluating utilization of one or more computer systems
CN1955932B (zh) 用于在分布式计算系统中的性能和策略分析的方法和装置
CN103002005A (zh) 云服务监测系统
CN107704387B (zh) 用于系统预警的方法、装置、电子设备及计算机可读介质
JP6481299B2 (ja) 監視装置、サーバ、監視システム、監視方法および監視プログラム
US20050228879A1 (en) System and method for determining a streaming media server configuration for supporting expected workload in compliance with at least one service parameter
US11935077B2 (en) Operational predictive scoring of components and services of an information technology system
US7617313B1 (en) Metric transport and database load
CN117221069A (zh) 一种基于微服务器架构的管理方法及装置
CN115080363B (zh) 一种基于业务日志的系统容量评估方法及装置
US9253325B1 (en) Online technical support management
CN102930346B (zh) 一种soa服务平均故障间隔时间预测方法
Bose et al. A framework for model-based continuous improvement of global it service delivery operations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Free format text: FORMER OWNER: PAGE DAVID JOHN

Effective date: 20140304

Owner name: REAL EXPERIENCE INC.

Free format text: FORMER OWNER: QUEEN MARY UNIVERSITY OF LONDON

Effective date: 20140304

CB02 Change of applicant information

Address after: London, England

Applicant after: QUEEN MARY University OF LONDON

Applicant after: Page, David John

Address before: London, England

Applicant before: Queen Mary And Westfield College University Of London

Applicant before: Page, David John

CB02 Change of applicant information
COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: QUEEN MARY AND WISTER FILTER ACADEMY OF LONDON UNIVERSITY TO: QUEEN MARY UNIVERSITY OF LONDON

TA01 Transfer of patent application right

Effective date of registration: 20140304

Address after: London, England

Applicant after: ACTUAL EXPERIENCE PLC

Address before: London, England

Applicant before: QUEEN MARY University OF LONDON

Applicant before: Page, David John

TA01 Transfer of patent application right
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP02 Change in the address of a patent holder

Address after: bath

Patentee after: ACTUAL EXPERIENCE PLC

Address before: London, England

Patentee before: ACTUAL EXPERIENCE PLC