CN100428173C - 确定系统性能特征的方法和系统 - Google Patents

确定系统性能特征的方法和系统 Download PDF

Info

Publication number
CN100428173C
CN100428173C CNB2006101157250A CN200610115725A CN100428173C CN 100428173 C CN100428173 C CN 100428173C CN B2006101157250 A CNB2006101157250 A CN B2006101157250A CN 200610115725 A CN200610115725 A CN 200610115725A CN 100428173 C CN100428173 C CN 100428173C
Authority
CN
China
Prior art keywords
performance
performance metric
range
metric
incident
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006101157250A
Other languages
English (en)
Other versions
CN1955935A (zh
Inventor
T·M·阿姆斯特德
L·R·迈耶
P·E·沙尔特
R·A·希勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1955935A publication Critical patent/CN1955935A/zh
Application granted granted Critical
Publication of CN100428173C publication Critical patent/CN100428173C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3414—Workload generation, e.g. scripts, playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/349—Performance evaluation by tracing or monitoring for interfaces, buses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种使得能够捕获设备之间通过互连总线进行的基于包的通信事务、以便测量性能的方法和装置。当事件经过系统时，通过在不同位置捕获事件可确定性能度量。通过为所捕获的事件计算性能度量并将这样的度量与预先规定的性能范围和/或自学习的性能范围进行比较，可在运行时间验证性能。另外，本发明的实施例提供总线通信流的动态适应调整以生成潜在的失败情况。对于某些实施例，可在模拟环境中执行这里所介绍的性能验证。

Description

确定系统性能特征的方法和系统
技术领域
本发明一般涉及在连接两个设备的互连总线上交换数据包，尤其涉及测量和验证这种交换的性能。
背景技术
片上系统(SOC)通常在单个芯片上包括一个或多个集成处理器核心、某种类型的嵌入存储器例如在处理器核心之间共享的高速缓存、以及外围接口例如外部总线接口以形成完整的(或几乎完整的)系统。外部总线接口经常用于通过外部总线在这些系统与诸如外部存储控制器、输入/输出(I/O)控制器或图形处理单元(GPU)等外部设备之间以包的形式传递数据。
这样一种系统的性能可能取决于可能包括设备特性、互连总线特性、存储器层次结构、操作系统和多种其他因素在内的几个因素。考虑这些因素之后，仍可以对系统性能的范围做出合理的预测。但是，人们通常希望在模拟(simulation)期间验证性能落入这些范围。例如，人们可能希望验证发送和接收设备之间通过互连总线进行通信的吞吐量(或带宽)以及等待时间(或响应时间)落入它们的预测范围。
通常，模拟牵涉到运行预先规定的测试用例，这些预先规定的测试用例被建模为对正常系统运行进行仿真(emulate)。在模拟期间，监视总线通信流(traffic)，捕获总线上令人感兴趣的事件，并且基于所捕获的事件测量性能。所捕获的事件以及它们的性能度量被记录在模拟日志中。只有在模拟之后用户才能查看模拟日志中的所有总线事件并识别落在所预测的性能范围之外的事件的类别。然而，由于模拟日志中所包含的信息颇为隐晦，因此需要付出相当大的努力来对那些没有落在其性能范围内的事件的类别进行人工分析、识别和解析(parse)。传统模拟的另一问题在于预先规定的测试用例可能不足以测试总线事件的给定类别。例如，测试用例可能不包含足够数量的读操作。结果，对读操作的性能测量可能不具备统计意义上的显著性。
传统测试方法的又一问题是：当性能的预测范围过于宽泛时，如果不进行繁琐的人工分析，不太可能检测出性能的恶化。例如，如果与两设备之间的特定事务相关联的平均等待时间被预测为1秒，但测量出的平均等待事件仅为0.2秒，那么，不太可能捕获到平均等待时间从0.2秒到0.8秒的恶化，即使性能上存在显著的、不合意的改变。
因此，需要用于测量和验证通过互连总线连接的设备之间基于包的数据交换的性能的改进的方法和设备。
发明内容
本发明实施例一般提供了用于测量和验证设备间通过互连总线的、基于包的通信事务的性能的方法、计算机可读存储介质以及系统。
一个实施例提供了用于确定系统性能特性的方法。该方法一般包括：执行程序以使得数据在系统中至少两个设备间经由总线被交换，通过至少一个接口监视器捕获指示在该至少两个设备间交换的数据的事件，基于在程序执行期间所捕获的事件计算出一个或多个性能度量，将计算出的性能度量存储在数据库中，以及确定计算出的性能度量是否落在所确定的性能范围之内。
另一个实施例提供了一种计算机可读存储介质，其包含一种用于确定系统性能特性的程序。当该程序由处理器执行时，其执行一般包括以下内容的操作：生成将在系统中至少两个设备间通过总线被交换的数据，通过至少一个接口监视器捕获指示在该至少两个设备间交换的数据的事件，基于在程序执行期间所捕获的事件计算出一个或多个性能度量，将计算出的性能度量存储在数据库中，以及确定计算出的性能度量是否落在所确定的性能范围之内。
又一个实施例提供了一种一般包括以下内容的系统：第一处理设备，通过总线与第一处理设备相耦合的第二处理设备，用于捕获指示经由总线在该至少两个处理设备间交换的数据的事件的至少一个接口监视器，以及性能监视器，其中，该性能监视器被配置为：基于所捕获的事件计算出一个或多个性能度量，将计算出的一个或多个性能度量存储在数据库中，以及确定计算出的性能度量是否落在所确定的性能范围之内。
附图说明
为了可以更详细地明了获得本发明的上述特征、优点以及目标的方式，可通过参照在附图中示出的本发明的实施例，阅读对上面简短总结过的本发明的详细描述。
然而，由于本发明允许其他等同的、有效的实施例，要注意到的是，附图仅示出了本发明的典型实施例，因此不应被认为是对其范围的限定。
图1示出了根据本发明一个实施例的示例性测试环境；
图2为用于捕获总线事件以及为那些事件计算性能度量的示例性操作的流程图；
图3为用于验证所捕获的总线事件落在预先规定的性能范围内的示例性操作的流程图；
图4为用于验证所捕获的事件落在自学习的性能范围内的、所执行的操作的流程图。
具体实施方式
本发明的实施例使得可以捕获设备间通过互连总线的、基于包的通信事务以测量性能。当事件经过系统时，通过在不同节点上捕获事件可确定性能度量。通过计算所捕获的事件的性能度量并将这种性能度量与预先规定的性能范围和/或自学习的性能范围进行比较可以在运行时间验证性能。另外，本发明的实施例提供总线通信流的动态适应调整(tailoring)以生成潜在的失败情况。
下面参照本发明的实施例。但是应当明了，本发明并不限于所介绍的具体实施例。相反，可以考虑用下述特征和要素的任意组合来实施和实现本发明，而无论它们是否牵涉到不同的实施例。另外，在不同的实施例中，本发明提供了优于现有技术的大量优点。然而，尽管本发明的实施例可获得优于其他可能的解决方案和/或现有技术的优点，但某个特定的优点是否由给出的实施例获得并不对本发明构成限制。因此，下面的方面、特征、实施例和优点仅作说明之用，而不应被当作是所附权利要求的要素或限制，除非权力要求中明确提出。类似地，谈到“本发明”不应被解释为对这里所公开的任何发明主题的概括，也不应被当作是所附权利要求的要素或限制，除非权力要求中明确提出。
示例性测试系统
图1示出了一种示例性测试系统，其中，性能监视器100监视互连总线180(例如，通常被称为前端总线)上两设备(或节点)120与130之间的性能。举例而言，两设备120与130可以为中央处理单元(CPU)和图形处理单元(GPU)。对于某些实施例，总线180可以为双向多位总线，例如具有用于从CPU到GPU的通信的八条或八条以上的线以及用于从GPU到CPU的通信的另外八条或八条以上的线。
设备120与130之间的通信可以被链路接口监视器(IM)140监视。链路IM 140可以为被配置为连同时钟信号对互连总线180的数据线进行采样的软件和/或硬件的任意组合。链路IM可被进一步配置为检查所采样的数据并识别预先规定的事件类别。如果捕获到已知的事件，链路IM可通知性能监视器在互连总线180上出现该事件。举例而言，通过在连接CPU和GPU的互连总线上发送读取包，CPU可在GPU的特定位置上进行读操作。当总线上出现读取包时，用于互联总线的链路IM可捕获该读取包并通知性能监视器在总线上发现了读取包。
在本发明的某些实施例中，链路IM可被配置为向互连总线180上注入噪声。可执行这种噪声注入以模拟系统正常运行期间互连总线上的实际噪声。在其他实施例中，链路IM还可被配置为在总线上所捕获的事件被分派到目的设备之前将错误引入到该事件中。例如，链路IM可切换(toggle)包中的某些位。如同噪声注入一样，可执行这种错误引入以模拟系统正常运行期间在传递包的时候可能发生的实际错误。引入这些错误的目的可以是验证目的设备是否正确地确定包中的错误(例如，通过采用循环冗余校验(CRC))，并执行可能包括校正错误位或请求重新发送该包的错误校正步骤。尽管上述实施例介绍了由链路IM执行噪声和错误注入，本领域技术人员可以认识到，可以由分开的和独立的设备例如刺激(irritator)设备来执行这种噪声和错误注入。
每一设备120与130可分别由单元驱动器160与161驱动。每一单元驱动器可以为这样的软件，该软件被配置为使所关联的设备执行包括向其他设备发送包在内的一系列功能。举例而言，单元驱动器160可以生成对设备120指令以通过互连总线180向设备130发送读取包。由单元160与161到设备120与130的这种指令可分别由应用接口监视器(IM)150与151监视。每一应用IM可以为被配置为连同时钟信号对连接应用IM与所关联设备的数据线进行采样的软件和/或硬件的任意组合。另外，每一应用IM可被配置为检验所采样的数据并识别出预先规定的指令类别。如同链路IM一样，如果捕获到已知的指令，应用IM可通知性能监视器出现到所关联设备的事件。
链路IM 140和应用IM 150以及151所捕获的事件可被性能监视器100接收并存储在共享数据库170中。在本发明的某些实施例中，性能监视器可在数据库170中存储与每一所捕获的事件相关联的时间戳。例如，性能监视器可在数据库中存储由接口监视器所捕获的每一事件的模拟时间。
性能监视器100可被配置为基于所捕获的事件为系统计算几种性能度量。例如，为了计算经过设备120的读操作的等待时间，性能监视器可以将由单元驱动器160发布并由应用IM 150捕获的读指令以及由链路IM140捕获的、相关联的读取包的时间戳相减。类似地，性能监视器还可通过将由链路IM 140捕获的读取包以及相关联的数据包的时间戳相减来计算通过互连总线180在设备1与设备2之间的读响应的等待时间。可定义几种其它类似的性能度量来测量系统的等待时间与吞吐量。
性能监视器还可被进一步配置为在共享数据库170中存储所计算的性能度量。例如，性能监视器可在数据库170中存储写和读操作的等待时间。可允许用户查询数据库170以产生表示不同总线事件的性能结果的图表。这样的图表可允许用户容易地比较同一测试运行和/或不同测试运行中的总线事件之间的结果。
性能监视器100可被配置为基于预先规定的或自学习的性能范围101将模拟测试评定为失败。性能范围101可规定上下范围界限或上阈值或下阈值。预先规定的范围可由用户在系统上运行测试之前规定。预先规定的范围可任意选择或按照考虑诸如设备特性、系统体系结构、系统软件等因素所计算出的理想性能度量来选择。另一方面，自学习范围可根据数据库170中包含的、历史的系统性能数据来计算。例如，自学习范围可通过计算先前获得的性能度量的平均值或通过选择位于或接近表示历史性能结果的钟形曲线波峰的值来确定。用于计算性能范围的任何其他合理的方法可被用于基于历史性能来确定预期的性能。
图2为根据本发明实施例所执行以捕获和存储总线事件的示例性操作的流程图。这些操作可由例如图1所示的部件在执行某个特定程序的同时执行，该程序被设计为仿真正常系统操作(并产生典型的总线通信流)。然而，本领域技术人员将会认识到，图2的操作可由其他部件来执行，另外，图1所示的部件可具有执行其他操作的能力。
通过捕获总线上的事件，操作开始于步骤201。如前所述，链路IM或应用IM可检测指示设备之间或单元驱动器与所关联的设备之间的事务的事件，捕获这样一种事件并将其发送给性能监视器。在本发明某些实施例中，链路IM和应用IM可以为性能监视器的一部分，因此，事件可以由性能监视器直接捕获。如同所示出的那样，所捕获的事件可被存储在共享数据库170中。
在步骤202中，性能监视器可解释所捕获的事件并为该事件计算性能度量。这可能要求性能监视器查询数据库以找到与所捕获事件相关联的其他事件。例如，当性能监视器捕获到互连总线180上的读取包时，为了计算读操作穿过设备120的等待时间，其可以从数据库170中查询从单元驱动器160所发出的读指令。此时，还可能计算几种其他性能度量。
在步骤203中，性能监视器可在共享数据库中存储所计算的性能度量。被存储在数据库中的性能度量此后可被用于为系统性能计算自学习范围。
图3为为了在运行时间期间验证系统性能是否落入预先规定的范围而执行的典型操作的流程图。通过获取用户规定的范围，该操作开始于步骤301。在该步骤中，可提示用户为一个或多个性能度量规定范围。或者，也可允许用户选择在先前的模拟中使用过的、预先规定的范围。还可将预先规定的范围集组织成测试概要(test profile)。每一测试概要可包含性能范围设置的唯一组合。可提示用户在模拟一开始时选择这些概要中的一个。在本发明的一个实施例中，可为多个模拟测试选择预先规定的范围，以便利用相同的、预先规定的参数进行批测试。
在步骤302中，通过单元驱动器为设备生成激励、以便模拟系统正常运行并产生典型的总线通信流，模拟开始。随着模拟的继续，性能监视器执行图2中所概述的步骤以捕获事件并测量性能。在本发明的某些实施例中，性能监视器可只在模拟运行预先确定的一段时间之后才计算性能结果。当每一事件被捕获且性能度量被计算时，执行步骤303中的测试以确定所计算的性能度量是否落入预先规定的范围。如果对所捕获事件的、所计算的性能度量落在其预先规定的范围之外，可停止模拟并可生成系统失败消息。在本发明的某些实施例中，只有当某个特定阈值数量的事件落在预先规定的范围之外时才可停止模拟。在失败情况发生的时停止模拟可节省珍贵的模拟时间并使性能验证更有效率。
另一方面，如果性能度量被认为落入预先规定的范围，性能监视器继续捕获事件并为事件计算性能度量，直到另一性能度量落在预先规定的范围以外或在步骤304中检测到测试结束(end-of-test)。如果检测到测试结束且所有性能度量落入预先规定的范围，则模拟运行被认为是成功的。
图4为所执行的用于在运行时期间验证系统的性能落入由系统确定的范围(自学习的范围)的示例性操作的流程图。通过确定将被用于验证性能度量的范围，操作开始于步骤401。所述范围可通过从数据库170中查询由先前运行的模拟所存储的性能度量并基于这样的历史数据计算自学习的范围来确定。如同上文讨论的那样，例如计算平均值和正态曲线波峰的任何方法可被用于基于历史数据来确定所预期的性能范围。
在步骤402中，一旦确定了自学习的性能范围，模拟可开始。如同对图3的介绍中那样，当事件在运行时期间被捕获时，性能监视器可监视事件以及为事件计算性能度量。可以为其后的对自学习范围的计算存储这些所计算出的性能度量。然而，在本发明的某些实施例中，性能监视器可将用于所捕获事件的计算出的性能度量用于动态更新正被应用在当前模拟中的自学习范围。
在步骤403中，如果用于所捕获的事件的计算出的性能度量落在自学习范围之外，可停止模拟并可生成系统失败消息。在本发明某些实施例中，仅当某个特定阈值数量的事件落在自学习的范围之外时才可停止模拟。另一方面，如果性能度量被认为落在预先规定的范围内，性能监视器继续捕获事件并为事件计算性能度量，直到另一性能落在自学习范围之外或在步骤404中检测到测试结束。如果检测到测试结束且所有性能度量落在预先规定的范围内，则模拟运行被认为是成功的。
在本发明的某些实施例中，可允许用户配置性能监视器以比较所捕获事件的性能度量与预先规定的范围、自学习的范围或预先规定的范围及自学习的范围两者。例如，当数据库170不包含足够的信息以计算出具有统计意义上的显著性的自学习范围时，用户可以选择根据用户规定的范围来运行模拟。另一方面，当怀疑预先规定的范围过于宽泛时，用户可根据自学习范围运行模拟以便检测在性能上的任何剧烈变化。或者，用户可选择根据预先规定的和自学习范围两者来运行模拟以获得对性能进行验证的两种方法的好处。
动态命令加权
在模拟期间采用预先规定的测试用例来生成通信流的一个普遍问题在于导致事件的问题可能不能由测试用例充分测试。例如，测试用例可能仅具有少许读操作，其可能不足以引起失败情况。因此，必须编写具有足够读操作的另一测试用例。然而，在这种方法下，为考虑到失败情况的所有不同的排列和组合，将不得不写入不计其数的测试用例。
本发明提供了通过基于运行时结果给命令加权，来动态适应调整由单元驱动器生成的事件。例如，如果写操作等待时间被认为接近失败情况，可动态调节与该写操作相关联的权重参数，使得更为频繁地产生该写操作。一种确定性能度量是否接近失败情况的方法可以为：确定性能度量是否落在预先规定的范围和/或自学习的范围之内和阈值范围之外。
再次参照图1，性能检测器100可包含基于运行时结果计算不同类别的事件的权重并向单元驱动器160和161提供反馈的必要逻辑。响应于该反馈，单元驱动器可分派指令以反映指令的动态调节后的权重。
结论
通过在模拟期间实时监视关键性能度量，并接着使用该信息以及预先规定的和/或自学习的性能范围以及基于实时结果的用来使模拟失败的动态命令加权，本发明可通知用户存在潜在的问题并识别出引起问题的事件。结果，可获得对系统性能的更有效率且更为有效的验证。
尽管前述内容针对本发明的实施例，在不脱离本发明基本范围的情况下可设计出本发明其他的以及进一步的实施例，且本发明的范围由所附权利要求书确定。

Claims (14)

1.一种用于确定通过互连总线进行通信的系统性能特性的方法，包括：
执行程序以使得数据通过总线在所述系统的至少两个设备之间被交换；
由至少一个接口监视器捕获指示在所述至少两个设备之间被交换的数据的事件；
在程序执行期间基于所述捕获的事件计算一个或多个性能度量，其中所述性能度量是与系统的等待时间和吞吐量有关的性能度量；
将所述计算得出的性能度量存储在数据库中；
确定所述计算得出的性能度量是否落入确定的性能范围，以及
响应于确定计算得出的性能度量落在所述预先确定的性能范围之内和阈值范围之外，在程序执行期间改变一个或多个事件发生的速率。
2.根据权利要求1的方法，其中，所述确定的性能范围由用户规定。
3.根据权利要求2的方法，进一步包括：判断所述计算得出的性能度量是否落入在所述程序执行期间计算得出的自学习性能范围。
4.根据权利要求1的方法，其中，所述确定的性能范围为通过以下步骤生成的自学习性能范围：
查询所述数据库以接收先前存储的性能度量的样本；以及
基于先前存储的性能度量的所述样本的值，计算所述自学习性能范围。
5.根据权利要求4的方法，其中，先前存储的性能度量的所述样本包括在执行所述程序前存储的至少一些性能度量。
6.根据权利要求5的方法，其中，先前存储的性能度量的所述样本进一步包括在执行所述程序期间存储的至少一些性能度量。
7.一种系统，包括：
第一处理设备；
通过总线与所述第一处理设备相耦合的第二处理设备；
用于捕获指示在至少两个所述处理设备之间通过所述总线交换的数据的事件的至少一个接口监视器；
性能监视器，其被配置为：基于所述捕获的事件计算一个或多个性能度量，将一个或多个所述计算出的性能度量存储在数据库中，以及确定所述计算出的性能度量是否落入确定的性能范围；响应于确定计算得出的性能度量落在所述预先确定的性能范围之内和阈值范围之外，在程序执行期间改变一个或多个事件发生的速率，其中所述性能度量是与系统的等待时间和吞吐量有关的性能度量。
8.根据权利要求7的系统，其中，所述确定的性能范围由用户规定。
9.根据权利要求8的系统，其中，所述性能监视器被进一步配置为：确定所述计算出的性能度量是否落入在所述程序执行期间计算得出的自学习的性能范围。
10.根据权利要求7的系统，其中，所述性能监视器被配置为通过以下步骤生成所述确定的性能范围：
查询所述数据库以接收先前存储的性能度量的样本；以及
基于先前存储的性能度量的所述样本的值，计算自学习性能范围。
11.根据权利要求10的系统，其中，先前存储的性能度量的所述样本包括在执行所述程序之前存储的至少一些性能度量。
12.根据权利要求11的系统，其中，先前存储的性能度量的所述样本进一步包括在执行所述程序期间存储的至少一些性能度量。
13.根据权利要求7的系统，其中，所述第一处理设备为中央处理单元(CPU)且所述第二处理设备为图形处理单元(GPU)。
14.根据权利要求7的系统，其中，所述第一处理设备为输入/输出(I/O)桥芯片。
CNB2006101157250A 2005-10-26 2006-08-11 确定系统性能特征的方法和系统 Expired - Fee Related CN100428173C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/259,294 US7324922B2 (en) 2005-10-26 2005-10-26 Run-time performance verification system
US11/259,294 2005-10-26

Publications (2)

Publication Number Publication Date
CN1955935A CN1955935A (zh) 2007-05-02
CN100428173C true CN100428173C (zh) 2008-10-22

Family

ID=37986348

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101157250A Expired - Fee Related CN100428173C (zh) 2005-10-26 2006-08-11 确定系统性能特征的方法和系统

Country Status (2)

Country Link
US (3) US7324922B2 (zh)
CN (1) CN100428173C (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266786B2 (en) * 2002-11-05 2007-09-04 Sonics, Inc. Method and apparatus for configurable address mapping and protection architecture and hardware for on-chip systems
US7324922B2 (en) 2005-10-26 2008-01-29 International Business Machines Corporation Run-time performance verification system
US8253748B1 (en) * 2005-11-29 2012-08-28 Nvidia Corporation Shader performance registers
US7809928B1 (en) 2005-11-29 2010-10-05 Nvidia Corporation Generating event signals for performance register control using non-operative instructions
US7730068B2 (en) * 2006-06-13 2010-06-01 Microsoft Corporation Extensible data collectors
US7970746B2 (en) * 2006-06-13 2011-06-28 Microsoft Corporation Declarative management framework
US8572295B1 (en) * 2007-02-16 2013-10-29 Marvell International Ltd. Bus traffic profiling
US20090112932A1 (en) * 2007-10-26 2009-04-30 Microsoft Corporation Visualizing key performance indicators for model-based applications
US8826242B2 (en) * 2007-11-27 2014-09-02 Microsoft Corporation Data driven profiling for distributed applications
US8229723B2 (en) * 2007-12-07 2012-07-24 Sonics, Inc. Performance software instrumentation and analysis for electronic design automation
US8225143B2 (en) * 2008-01-28 2012-07-17 International Business Machines Corporation Method and apparatus to inject noise in a network system
US8073820B2 (en) * 2008-04-07 2011-12-06 Sonics, Inc. Method and system for a database to monitor and analyze performance of an electronic design
US8032329B2 (en) * 2008-09-04 2011-10-04 Sonics, Inc. Method and system to monitor, debug, and analyze performance of an electronic design
US8972995B2 (en) 2010-08-06 2015-03-03 Sonics, Inc. Apparatus and methods to concurrently perform per-thread as well as per-tag memory access scheduling within a thread and across two or more threads
US20120317266A1 (en) * 2011-06-07 2012-12-13 Research In Motion Limited Application Ratings Based On Performance Metrics
US9280437B2 (en) * 2012-11-20 2016-03-08 Bank Of America Corporation Dynamically scalable real-time system monitoring
GB2523865B (en) * 2013-07-05 2021-03-24 Pismo Labs Technology Ltd Methods and systems for sending and receiving information data
CN103744771A (zh) * 2014-01-28 2014-04-23 中国工商银行股份有限公司 一种监控主机性能基准偏差的方法、设备及系统
CN105630645B (zh) * 2014-11-06 2019-10-11 南京中兴软件有限责任公司 虚拟机性能确定方法及装置
US10089307B2 (en) * 2014-12-31 2018-10-02 International Business Machines Corporation Scalable distributed data store
US9952956B2 (en) * 2015-07-06 2018-04-24 International Business Machines Corporation Calculating the clock frequency of a processor
CN105045716B (zh) * 2015-07-31 2018-09-21 小米科技有限责任公司 权限管理方法和装置
US11126367B2 (en) * 2018-03-14 2021-09-21 Western Digital Technologies, Inc. Storage system and method for determining ecosystem bottlenecks and suggesting improvements
US11153152B2 (en) * 2018-11-21 2021-10-19 Cisco Technology, Inc. System and methods to validate issue detection and classification in a network assurance system
US11475008B2 (en) * 2020-04-28 2022-10-18 Capital One Services, Llc Systems and methods for monitoring user-defined metrics

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701363B1 (en) * 2000-02-29 2004-03-02 International Business Machines Corporation Method, computer program product, and system for deriving web transaction performance metrics
CN1573709A (zh) * 2003-05-22 2005-02-02 微软公司 用于检测异常的自学习方法和系统
CN1685317A (zh) * 2002-09-26 2005-10-19 飞思卡尔半导体公司 性能监控器及其方法

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4011009A (en) * 1975-05-27 1977-03-08 Xerox Corporation Reflection diffraction grating having a controllable blaze angle
US3986020A (en) * 1975-09-25 1976-10-12 Bell Telephone Laboratories, Incorporated Common medium optical multichannel exchange and switching system
US4450554A (en) * 1981-08-10 1984-05-22 International Telephone And Telegraph Corporation Asynchronous integrated voice and data communication system
US4797879A (en) * 1987-06-05 1989-01-10 American Telephone And Telegraph Company At&T Bell Laboratories Packet switched interconnection protocols for a star configured optical lan
US4873681A (en) * 1988-01-26 1989-10-10 Bell Communications Research, Inc. Hybrid optical and electronic packet switch
US4900119A (en) * 1988-04-01 1990-02-13 Canadian Patents & Development Ltd. Wavelength selective optical devices using optical directional coupler
US5023845A (en) * 1988-10-31 1991-06-11 The United States Of America As Represented By The Secretary Of The Navy Embedded fiber optic beam displacement sensor
US4970714A (en) * 1989-01-05 1990-11-13 International Business Machines Corp. Adaptive data link protocol
US5005167A (en) * 1989-02-03 1991-04-02 Bell Communications Research, Inc. Multicast packet switching method
US5103340A (en) * 1989-02-21 1992-04-07 International Business Machines Corporation Multiple-cavity optical filter using change of cavity length
US4926299A (en) * 1989-05-30 1990-05-15 Gilson Warren E Portable flashlight
EP0439646B1 (en) * 1990-01-30 1995-03-15 Hewlett-Packard Company Optical star network protocol and system with minimised delay between consecutive packets
US5140655A (en) * 1990-09-04 1992-08-18 At&T Bell Laboratories Optical star coupler utilizing fiber amplifier technology
US5539559A (en) * 1990-12-18 1996-07-23 Bell Communications Research Inc. Apparatus and method for photonic contention resolution in a large ATM switch
US5093743A (en) * 1990-12-28 1992-03-03 At&T Bell Laboratories Optical packet switch
FR2672169B1 (fr) * 1991-01-24 1993-04-09 Alcatel Nv Procede et reseau de communication sur fibres optiques avec multiplexage en frequences.
US5191626A (en) * 1991-04-22 1993-03-02 The Trustees Of Columbia University In The City Of New York Optical communications system and method
EP0533391A3 (en) * 1991-09-16 1993-08-25 American Telephone And Telegraph Company Packet switching apparatus using pipeline controller
US5257113A (en) * 1991-09-20 1993-10-26 International Business Machines Corporation Video mixing technique using JPEG compressed data
US5212743A (en) * 1992-02-12 1993-05-18 At&T Bell Laboratories Automatic polarization controller having broadband, reset-free operation
US5915054A (en) * 1992-03-05 1999-06-22 Fuji Xerox Co., Ltd. Star coupler for an optical communication network
US5311360A (en) * 1992-04-28 1994-05-10 The Board Of Trustees Of The Leland Stanford, Junior University Method and apparatus for modulating a light beam
US5485297A (en) * 1992-10-09 1996-01-16 Alcatel N.V. Optical switching matrix
US5519526A (en) * 1992-10-21 1996-05-21 California Institute Of Technology Optical protocols for communication networks
JP3516972B2 (ja) * 1993-04-22 2004-04-05 株式会社東芝 通信システム
US5343542A (en) * 1993-04-22 1994-08-30 International Business Machines Corporation Tapered fabry-perot waveguide optical demultiplexer
JPH06350646A (ja) * 1993-06-08 1994-12-22 Nec Corp 光波長選択制御方式
EP0639015B1 (en) * 1993-07-14 2005-02-09 Nippon Telegraph And Telephone Corporation Photonic frequency routing type time division highway switch
DE69424311T2 (de) * 1993-11-08 2000-12-14 British Telecomm Querverbindungssystem für ein optisches netzwerk
US5455699A (en) * 1993-12-21 1995-10-03 At&T Corp. Large capacity multi-access wavelength division multiplexing packet network
US5864414A (en) * 1994-01-26 1999-01-26 British Telecommunications Public Limited Company WDM network with control wavelength
US5500761A (en) * 1994-01-27 1996-03-19 At&T Corp. Micromechanical modulator
US5487120A (en) * 1994-02-09 1996-01-23 International Business Machines Corporation Optical wavelength division multiplexer for high speed, protocol-independent serial data sources
US5530575A (en) * 1994-09-09 1996-06-25 The Trustees Of Columbia University Systems and methods for employing a recursive mesh network with extraplanar links
US5680234A (en) * 1994-10-20 1997-10-21 Lucent Technologies Inc. Passive optical network with bi-directional optical spectral slicing and loop-back
US5500858A (en) * 1994-12-20 1996-03-19 The Regents Of The University Of California Method and apparatus for scheduling cells in an input-queued switch
US5515361A (en) * 1995-02-24 1996-05-07 International Business Machines Corporation Link monitoring and management in optical star networks
US5661592A (en) * 1995-06-07 1997-08-26 Silicon Light Machines Method of making and an apparatus for a flat diffraction grating light valve
US5781537A (en) * 1995-07-07 1998-07-14 International Business Machines Corporation Setting up, taking down and maintaining connections in a communications network
US6449660B1 (en) * 1995-07-31 2002-09-10 International Business Machines Corporation Object-oriented I/O device interface framework mechanism
US5739945A (en) * 1995-09-29 1998-04-14 Tayebati; Parviz Electrically tunable optical filter utilizing a deformable multi-layer mirror
US6041071A (en) * 1995-09-29 2000-03-21 Coretek, Inc. Electro-optically tunable external cavity mirror for a narrow linewidth semiconductor laser
US5631758A (en) * 1995-10-26 1997-05-20 Lucent Technologies Inc. Chirped-pulse multiple wavelength telecommunications system
US5739935A (en) * 1995-11-14 1998-04-14 Telefonaktiebolaget Lm Ericsson Modular optical cross-connect architecture with optical wavelength switching
US5825528A (en) * 1995-12-26 1998-10-20 Lucent Technologies Inc. Phase-mismatched fabry-perot cavity micromechanical modulator
FR2743233B1 (fr) * 1995-12-28 1998-01-23 Alcatel Nv Systeme de repartition de signaux optiques
US5729527A (en) * 1995-12-29 1998-03-17 Tellabs Operations, Inc. Fault management in a multichannel transmission system
US5751469A (en) * 1996-02-01 1998-05-12 Lucent Technologies Inc. Method and apparatus for an improved micromechanical modulator
US5659418A (en) * 1996-02-05 1997-08-19 Lucent Technologies Inc. Structure for membrane damping in a micromechanical modulator
US5796504A (en) * 1996-03-13 1998-08-18 Hughes Electronics Fiber-optic telemetry system and method for large arrays of sensors
US6108311A (en) * 1996-04-29 2000-08-22 Tellabs Operations, Inc. Multichannel ring and star networks with limited channel conversion
US5793746A (en) * 1996-04-29 1998-08-11 International Business Machines Corporation Fault-tolerant multichannel multiplexer ring configuration
US6212182B1 (en) * 1996-06-27 2001-04-03 Cisco Technology, Inc. Combined unicast and multicast scheduling
WO1998004954A1 (en) * 1996-07-26 1998-02-05 Italtel S.P.A. Tunable add/drop optical device
US5745271A (en) * 1996-07-31 1998-04-28 Lucent Technologies, Inc. Attenuation device for wavelength multiplexed optical fiber communications
US5923644A (en) * 1996-10-03 1999-07-13 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for processing multicast cells in an input-queued multicast switch
US5912749A (en) * 1997-02-11 1999-06-15 Lucent Technologies Inc. Call admission control in cellular networks
GB9704587D0 (en) * 1997-03-05 1997-04-23 Fujitsu Ltd Wavelength-division multiplexing in passive optical networks
JPH10262000A (ja) * 1997-03-19 1998-09-29 Fujitsu Ltd パッシブオプチカルネットワークにおける障害復旧方法及び装置
US6025944A (en) * 1997-03-27 2000-02-15 Mendez R&D Associates Wavelength division multiplexing/code division multiple access hybrid
US5870221A (en) * 1997-07-25 1999-02-09 Lucent Technologies, Inc. Micromechanical modulator having enhanced performance
US5943454A (en) * 1997-08-15 1999-08-24 Lucent Technologies, Inc. Freespace optical bypass-exchange switch
JPH1187812A (ja) * 1997-09-12 1999-03-30 Fujitsu Ltd 利得等化器及び該利得等化器を備えた光伝送システム
US6025950A (en) * 1997-09-22 2000-02-15 Coretek, Inc. Monolithic all-semiconductor optically addressed spatial light modulator based on low-photoconductive semiconductors
US6097533A (en) * 1997-10-21 2000-08-01 Antec Corporation Optical amplifier for CATV system with forward and reverse paths
US5974207A (en) * 1997-12-23 1999-10-26 Lucent Technologies, Inc. Article comprising a wavelength-selective add-drop multiplexer
US5914804A (en) * 1998-01-28 1999-06-22 Lucent Technologies Inc Double-cavity micromechanical optical modulator with plural multilayer mirrors
US6301274B1 (en) * 1998-03-30 2001-10-09 Coretek, Inc. Tunable external cavity laser
US6188477B1 (en) * 1998-05-04 2001-02-13 Cornell Research Foundation, Inc. Optical polarization sensing apparatus and method
US5943158A (en) * 1998-05-05 1999-08-24 Lucent Technologies Inc. Micro-mechanical, anti-reflection, switched optical modulator array and fabrication method
US6417944B1 (en) * 1998-05-28 2002-07-09 3Com Corporation Asynchronous transfer mode switch utilizing optical wave division multiplexing
US6216237B1 (en) * 1998-06-19 2001-04-10 Lucent Technologies Inc. Distributed indirect software instrumentation
US6525850B1 (en) * 1998-07-17 2003-02-25 The Regents Of The University Of California High-throughput, low-latency next generation internet networks using optical label switching and high-speed optical header generation, detection and reinsertion
US7110669B2 (en) * 1998-07-22 2006-09-19 Synchrodyne Networks, Inc. Time driven wavelength conversion-based switching with common time reference
US5949801A (en) * 1998-07-22 1999-09-07 Coretek, Inc. Tunable laser and method for operating the same
US5949571A (en) * 1998-07-30 1999-09-07 Lucent Technologies Mars optical modulators
US5943155A (en) * 1998-08-12 1999-08-24 Lucent Techonolgies Inc. Mars optical modulators
KR100271210B1 (ko) * 1998-09-01 2000-11-01 윤덕용 광회선 분배기
US6278959B1 (en) * 1999-03-19 2001-08-21 International Business Machines Corporation Method and system for monitoring the performance of a data processing system
US6356544B1 (en) * 1999-05-03 2002-03-12 Fujitsu Network Communications, Inc. SONET add/drop multiplexer with packet over SONET capability
US6192173B1 (en) * 1999-06-02 2001-02-20 Nortel Networks Limited Flexible WDM network architecture
EP1204227B1 (en) * 1999-08-13 2006-12-27 Fujitsu Limited Optical communication system and terminal device
US6222954B1 (en) * 1999-09-17 2001-04-24 Light Bytes, Inc. Fault-tolerant fiber-optical beam control modules
US6407851B1 (en) * 2000-08-01 2002-06-18 Mohammed N. Islam Micromechanical optical switch
US6532090B1 (en) * 2000-02-28 2003-03-11 Lucent Technologies Inc. Wavelength selective cross-connect with reduced complexity
US6870836B1 (en) * 2000-03-31 2005-03-22 Nortel Networks Limited System and method for transfer of IP data in an optical communication networks
EP1162860A3 (en) * 2000-06-08 2006-01-11 Alcatel Scalable WDM optical IP router architecture
EP1172681A3 (en) * 2000-07-13 2004-06-09 Creo IL. Ltd. Blazed micro-mechanical light modulator and array thereof
US6920287B1 (en) * 2000-08-01 2005-07-19 Nortel Networks Limited Smart connect
US6401851B1 (en) * 2000-09-14 2002-06-11 Deere & Company Hood assembly
US6925259B2 (en) * 2000-10-12 2005-08-02 At&T Corp. MAC protocol for optical packet-switched ring network
US7000026B2 (en) * 2000-12-22 2006-02-14 Nortel Networks Limited Multi-channel sharing in a high-capacity network
US6721475B1 (en) * 2000-12-22 2004-04-13 Cheetah Omni, Llc Apparatus and method for providing gain equalization
US6721473B1 (en) * 2001-02-02 2004-04-13 Cheetah Omni, Llc Variable blazed grating based signal processing
US20030061006A1 (en) * 2001-09-24 2003-03-27 Richards Kevin T. Evaluating performance data describing a relationship between a provider and a client
US7110671B1 (en) * 2001-12-03 2006-09-19 Cheetah Omni, Llc Method and apparatus for scheduling communication using a star switching fabric
US7260655B1 (en) * 2001-12-03 2007-08-21 Cheetah Omni, Llc Optical routing using star switching fabric with reduced effective switching time
US7209657B1 (en) * 2001-12-03 2007-04-24 Cheetah Omni, Llc Optical routing using a star switching fabric
US20040019457A1 (en) * 2002-07-29 2004-01-29 Arisha Khaled A. Performance management using passive testing
US6975963B2 (en) * 2002-09-30 2005-12-13 Mcdata Corporation Method and system for storing and reporting network performance metrics using histograms
US7076397B2 (en) * 2002-10-17 2006-07-11 Bmc Software, Inc. System and method for statistical performance monitoring
WO2006032028A2 (en) * 2004-09-13 2006-03-23 Reactivity, Inc. Metric-based monitoring and control of a limited resource
US7324922B2 (en) 2005-10-26 2008-01-29 International Business Machines Corporation Run-time performance verification system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701363B1 (en) * 2000-02-29 2004-03-02 International Business Machines Corporation Method, computer program product, and system for deriving web transaction performance metrics
CN1685317A (zh) * 2002-09-26 2005-10-19 飞思卡尔半导体公司 性能监控器及其方法
CN1573709A (zh) * 2003-05-22 2005-02-02 微软公司 用于检测异常的自学习方法和系统

Also Published As

Publication number Publication date
US7324922B2 (en) 2008-01-29
CN1955935A (zh) 2007-05-02
US7747414B2 (en) 2010-06-29
US20080071499A1 (en) 2008-03-20
US20080133489A1 (en) 2008-06-05
US20070093986A1 (en) 2007-04-26

Similar Documents

Publication Publication Date Title
CN100428173C (zh) 确定系统性能特征的方法和系统
US9251032B2 (en) Method, computer program, and information processing apparatus for analyzing performance of computer system
CN106055464B (zh) 数据缓存集群压力测试装置及方法
US7315807B1 (en) System and methods for storage area network simulation
CN110287081A (zh) 一种服务监控系统和方法
CN104615477A (zh) 运行中的fpga 系统的周期精确级重放和调试
CN107066390A (zh) 一种动态内存泄漏检测方法及系统
CN110224885A (zh) 设备监控的告警方法、装置、存储介质及电子设备
CN114048520B (zh) 跨芯片访问控制的检测系统
US7092360B2 (en) Monitor, system and method for monitoring performance of a scheduler
CN115359307B (zh) 一种基于大数据的接触网验损缺陷数据管理方法及系统
CN101211296A (zh) 一种测试代价敏感的系统故障定位方法及其装置
CN111639073A (zh) 边缘计算接入方法及边缘计算节点装置
CN114281657A (zh) 一种系统日志采集方法及装置
KR101090556B1 (ko) 반도체 집적 회로, 디버그·트레이스 회로, 및 반도체 집적 회로 동작 관측 방법
CN104780123B (zh) 一种网络包收发处理装置及其设计方法
CN101146147B (zh) 一种单板信号的辅助测试系统及方法
KR101330143B1 (ko) Ｃａｎ 게이트웨이 자동 테스트 방법
CN116244133A (zh) 硬盘测试管理方法、系统、终端及存储介质
CN100362360C (zh) 带检验信号监控功能的检验装置及遥控检验系统
CN113947049A (zh) 一种提高功能覆盖率的自反馈芯片验证平台
ZHANG et al. Approach to anomaly detection in microservice system with multi-source data streams
CN110519102A (zh) 一种服务器故障识别方法、装置及存储介质
CN110501993A (zh) 一种机载悬挂投放装置状态监测方法
CN111157942A (zh) 一种窃电事件监控方法、电子监控设备和防窃电系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081022

Termination date: 20110811