CN1734427A - 基于事务处理的性能模型的自动化确认和校准 - Google Patents

Abstract

所述的系统、方法和数据结构针对基于事务处理的性能模型的自动化配置。基础架构的模型是用现有管理工具所提供的数据来创建和自动配置的，所述现有管理工具被设计用于监视基础架构。这些自动配置的模型可用来仿真当前配置或其它可能配置中的基础架构的性能。所述模型也可以通过比较仿真结果和测得的数据来自动确认和校准。

Description

基于事务处理的性能模型的自动化确认和校准

相关申请的相互参考

本申请要求于2004年8月2日提交的第60/598,569号美国临时申请的优先权，后者题为“SYSTEM AND METHOD FOR PROCESSING PERFORMANCEMODELS TO REFLECT ACTUAL COMPUTER SYSTEM DEPLOYMENTSCENARIOS”，其内容通过引用被结合于此。

本申请涉及第09/632,521号美国专利申请，题为“A PERFORMANCETECHNOLOGY INFRASTRUCTURE FOR MODELING THE PERFORMANCE OFCOMPUTER SYSTEMS”，其内容通过引用被结合于此。

本申请涉及第10/053,733号美国专利申请，题为“LATE BINDING OFRESOURCE ALLOCATION IN A PERFORMANCE SIMULATIONINFRASTRUCTURE”，其内容通过引用被结合于此。

本申请涉及第10/053,731号美国专利申请，题为“EVALUATING HARDWAREMODELS HAVING RESOURCE CONTENTION”，其内容通过引用被结合于此。

本申请涉及第10/304,601号美国专利申请，题为“ACTION BASED SERVICESIN A PERFORMANCE SIMULATION INFRASTRUCTURE”，其内容通过引用被结合于此。

背景技术

计算机系统基础架构已经成为许多企业的重要资产之一。这对于大大依赖于基于网络的服务的企业尤其如此。为了确保平稳和可靠的操作，投资了大量资源来捕获和维护计算机系统基础架构。一般而言，计算机系统基础架构的每个子系统都由该子系统的专用组件来监视，比如一性能计数器。由专用组件生成的数据可由该子系统专家的管理员来分析，以确保该子系统平稳地运行。

一个成功的企业通常需要提高和扩展其跟上用户需求的能力。理想情况下，这一企业的计算机系统基础架构必须能恒定地适合这一变化的企业环境。实际上，它花了大量的工作和专门知识以便能分析和评估现有基础架构的性能。例如，如果一企业预期到特定类型事务处理的增加，则通常需要性能计划来确定怎样扩展现有基础架构的性能以管理这一增加。

一种执行性能计划的方式是向分析员咨询。尽管工作负荷数据对于每个子系统可用，然而分析员需要每个系统的实质情况以及大量工作以便能预测为了提高现有基础架构的性能需要添加或重新配置哪些组件。由于对费用和所花力气的相当大的要求，雇佣一个分析员来实现性能计划一般是昂贵的提议。

另一种执行性能计划的方式是使用一可用的分析工具来预测对工作负荷提高的要求。然而，目前可用的许多常规工具是仅仅从历史数据中推断的程序，它们不是很准确或灵活。同样，会需要作出主观决定来选择能给出预计要求的组件。

本领域的技术人员尚未得知能准确实现性能计划的用户友好的工具。

附图说明

结合附图审阅以下详细描述，将能更好地理解本发明的这些及其它特征和优点，附图中

图1示出用于自动配置基于事务处理的性能模型的示例系统。

图2示出图1所示的自动化建模模块的示例组件。

图3示出用于仿真一基础架构的性能的示例过程。

图4示出用于自动配置一基础架构的模型的示例过程。

图5示出使用自动配置的模型来仿真一基础架构的示例过程。

图6示出用于实现所述的系统和方法的示例性计算机设备。

图7示出使用一确认的模型来仿真基础架构性能的示例过程。

图8示出用于确认基础架构模型的示例过程。

图9示出使用一应用专用计数器所提供的数据来校准一设备模型的示例过程。

图10示出使用由不同工作负荷级别的重复仿真所提供的数据来校准一设备模型的示例过程。

具体实施方式

这里所述的系统、方法和数据结构涉及基于事务处理的性能模型的自动化配置。使用被设计成用于监视基础架构的现有管理工具所提供的数据来创建并自动配置基础架构的模型。这些自动配置的模型可用来在当前的配置或其它可能的配置中仿真基础架构的性能。

下面所述的自动化性能模型配置系统能够有效且准确地执行性能建模。该系统使用户能以快速和效能成本划算的方式执行各类分析。例如，所述系统可用于为当前的基础架构执行一性能分析，当前基础架构包括硬件和软件组件。系统可以从各个配置数据库导入数据来表示信息技术(IT)基础架构的最新或过去部署。该模型配置可用作分析系统性能的基线。分析类型可以包括容量计划、瓶颈分析等等。容量计划包括预测系统的将来使用要求并确保系统具有足够容量来满足这些要求的过程。瓶颈分析包括分析现有系统以确定系统中的哪些组件接近于最大容量地工作的过程。如果要提高总系统容量，那么这些是首先要被替换的组件。

所述的系统也可用于执行一假设分析。通过使用基线模型，用户可以根据对配置作出的一个或多个变化来预测基础架构的性能。假设分析场景的例子包括工作负荷的提高、硬件和/或软件配置参数的改变等等。

所述系统还可用于自动化的容量报告。例如，用户可以为系统定义一特定的时间间隔以产生自动化的容量计划报告。当这一时间间隔过去时，系统导入上一次报告周期的数据，并且自动配置所述模型。然后，系统使用经配置的模型来执行仿真，并且为系统的将来容量生成报告。如果系统容量不足以进行下一次报告周期，则系统会产生一警告。

所述系统可用于操作上的故障诊断。例如，一操作管理应用可以通知IT管理员：已经超出了性能阈值。管理员可以使用所述系统来表示系统的当前配置。然后，管理员可以执行一仿真来标识性能警告是否是容量问题的缘由。特别是，管理员可以确定性能警报是由系统的固有容量限制所引起还是由其它因素引起，比如由其它用户在系统上运行的其它应用。

图1示出用于自动配置基于事务处理的性能模型的示例系统。在一种实现中，示例系统可以包括自动化模型配置模块100和仿真模块130，它们在图1中为说明起见用分开的模块描述。在实际实现中，自动化模型配置模块100和仿真模块130可以组合成单个组件。示例系统被配置以建模基础架构110，并且模拟事件和事务处理，用在各个配置中仿真基础架构110的性能。

基础架构110是由一个或多个网络所述的设备的系统。企业实体可以使用基础架构110把基于网络的服务提供给雇员、消费者、厂商、合作伙伴等等。如图1所示，基础架构110可以包括各类设备，比如服务器111、存储器112、路由器和交换机113、负载平衡器114等等。设备111-114的每一个还可以包括一个或多个逻辑组件，比如程序、操作系统或其它类型的软件。

管理模块120被配置成管理基础架构110。管理模块可以包括收集和处理和基础架构110相关联的数据的任何硬件或软件组件，比如变化和配置管理(CCM)应用或者操作管理(OM)应用。例如，管理模块120可以包括由微软公司开发的服务器管理工具，比如微软公司的操作管理器(MOM)、系统管理服务器(SMS)、系统中心产品套件等等。一般而言，管理模块所提供的数据用于管理和监视基础架构110。例如，系统管理器可以使用管理模块120所提供的数据来规则地维持系统性能。在该例中，管理模块所提供的数据还用来自动创建用于仿真的模型。

管理模块120被配置成提供和基础架构110相关联的各类数据。例如，管理模块120可以被配置成提供常数的输入，比如来自基础架构110的逻辑拓扑的应用组件列表、事务处理工作流程、来自用户工作负荷的参数名列表、动作成本等等。管理模块120可以被配置成提供可配置的输入，比如基础架构110的物理拓扑、应用组件从逻辑拓扑到物理硬件上的逻辑映射、来自用户工作负荷的参数值等等。

管理模块120也可以包括发现应用(discovery application)，所述发现应用被特别写来返回和一特定的分布式服务器应用的配置有关的信息。例如，发现应用可以包括微软公司Exchange服务器的WinRoute、微软公司WINDOWS服务器的WMI事件消费装置(event consumer)等等。这些发现应用可以被视为一特定应用的CCM/OM的专用版本。然而，这些应用一般根据需要而运行，而不是作为CCM/OM服务而运行。发现应用可用来获得配置性能模型所需的物理拓扑、逻辑映射和参数值，获得的方式类似于为CCM/OM数据库所述的方式。CCM/OM数据库可以结合为每一个发现应用定制的转换步骤而使用。数据可以被直接返回，而不是从数据库中提取。然而，该方法在执行发现应用的同时会涉及额外的延迟。

数据存储器123被配置成保存管理模块120所提供的数据。数据可以组织为任一种数据结构，比如一个或多个操作数据库、数据仓库等等。数据存储器123可以包括与基础架构110的物理或逻辑拓扑有关的数据。数据存储器123也可以包括与工作负荷、事务处理工作流程或动作成本有关的数据。这种数据可以体现为事件跟踪技术所生成的轨迹的形式，所述事件跟踪技术比如WINDOWS(ETW)的事件跟踪(Event Tracing)或是微软公司SQL跟踪。

自动化模型配置模块100被配置成获得有关于基础架构110的信息并且自动为基础架构110的每个组件创建和配置模型103用于仿真。模型103充当到仿真模块130的输入。

自动化模型配置模块100可以与基础架构100交互，并且进行网络发现以检取用于构成模型的数据。然而，自动化模型配置模块100一般被配置为从操作数据库和数据仓库获得数据，所述操作数据库或数据仓库保存由基础架构100的管理组件所收集到的信息。例如，自动化模型配置模块100可以从数据存储器123检取数据，数据存储器123包含管理模块120所提供的数据。

自动化模型配置模块100可以提供任一类模型用于输入到仿真模块130。在一实施例中，自动化模型配置为基础架构110生成与物理拓扑、逻辑拓扑、工作负荷、事务处理工作流程和动作成本有关的模型。

用于建模基础架构110的物理拓扑的数据可以包括正在被仿真的硬件列表，包括各个组件的性能以及组件怎样互连。通常选择具体程度来和能容易获得性能数据的程度相匹配。例如，微软公司WINDOWS操作系统可以使用性能计数器来表达性能数据。这些计数器一般举例为CPU、网络接口卡和盘驱动器。自动化模型配置模块100可以通过在物理拓扑描述中把系统表示为单独的CPU、网络接口卡和盘驱动器，从而建模这一系统。每个组件类型会有一匹配的硬件模型，该匹配的硬件模型用于计算该组件上的事件所花的时间。因此，CPU组件类型由CPU硬件模块表示，CPU硬件模块计算了CPU动作所花的时间，比如计算。

自动化模型配置模块100可以使用一分级的可扩展标记语言(XML)格式对硬件信息编码，把服务器表示为服务器在物理上所包含的设备的容器(container)。组件可以用一模板来描述，该模板可以对该组件的性能进行编码。例如，“PIII Xeon700MHz”模板对以700MHz的时钟速度运行的因特尔奔腾三(Intel PIII)Xeon CPU的性能和能力进行编码。在组件已经以这一分级方式被命名和描述后，物理拓扑描述还可以包括组件间的网络链接。物理拓扑描述可以表示为组件名字对的列表，用相应网络的属性加标签。在服务器中存在不止一个网络接口卡(NIC)时，正在使用的特定NIC也可以被指定。下面是和物理拓扑建模有关的一示例代码。

         <active_device name＝″WebSrv1″count＝″1″>

               <！--Compaq DL-580-->

               <active_device name＝″cpu″count＝″4″>

                    <rct name＝″cpu″/>

                    <use_template name＝″Cpu：PIII Xeon 700

                 MHz″/>

               </active_device>

         </active_device>

基础架构110逻辑拓扑的数据建模可以包括被建模的应用的软件组件(或服务)列表，以及组件怎样被映射到物理拓扑中所述硬件的描述。软件组件列表可以作为应用模型的一部分来提供。例如，一电子商务网站的应用模型可能包括表示一web服务器的应用组件，比如微软公司互联网信息服务，以及包括表示数据库服务器的另一硬件组件，比如微软公司SQL服务器。每个应用组件的描述都可以包括应用组件为了运行所需的硬件动作。

应用组件到硬件上的逻辑到物理的映射可以用运行各自应用组件的服务器列表(以物理拓扑来描述)以及怎样在服务器上进行负载平衡的描述来表达。注意到，这不必要是一对一的映射。单个应用组件可以扩展到多台服务器上，单个服务器可以宿有几个应用组件。以下是与逻辑拓扑建模有关的示例代码。

         <service name＝″IIS″policy＝″roundrobin″>

               <serverlist>

                    <server name＝″WebSrv1″/>

                    <server name＝″WebSrv2″/>

                    <server name＝″WebSrv3″/>

               </serverlist>

               <actionscheduling>

                    <schedule action＝″Compute″

                 policy＝″freerandom″>

                            <target device＝″cpu″/>

                    </schedule>

               </actionscheduling>

         </service>

用于建模基础架构110工作负荷的数据可以包括名字/值对的列表，定义了影响被仿真系统的性能的数字参数。例如，上述电子商务网站可能包括多个并发用户的参数、它们执行不同事务处理所用的频率等等。以下是与工作负荷建模有关的示例代码。

        <pardef>

            <parameter varname＝″AlertsTPS″descr＝″Alerts

            transactions per second″type＝″float″

            value＝″203.″/>

            <parameter varname＝″LogTPS″descr＝″Logging

            transactions per second″type＝″float″

            value＝″85.5″/>

        </pardef>

在一种实现中，自动化模型配置模块100被配置成：用管理模块120所提供的数据存储器123内的现有数据来自动配置基础架构110的模型。例如，自动化模型配置模块100可以自动配置物理拓扑、应用组件从逻辑拓扑到物理硬件上的逻辑映射、以及来自工作负荷的参数值。一般而言，自动化模型配置模块100可以首先把模型创建为以通用术语描述硬件或软件的模板。然后，自动化模型配置模块110配置所述模型以反映被建模的各项的具体实例，比如硬件模型怎样连接、软件模型怎样配置或使用等等。

仿真模块130被配置成：使用自动化模型配置模块100所生成和配置的模型来仿真基础架构110所执行的仿真动作。仿真模块130可以包括一基于事件的仿真引擎，该引擎仿真了基础架构110的事件。例如，所述事件可以包括软件组件的动作。事件根据用户负载生成，然后由基础硬件执行。通过计算每个事件所花的时间并且弥补事件间的相关性，仿真了被建模的硬件和软件的性能各方面。

上面参照图1所述的系统可以用在任一IT基础架构上。例如，典型的企业IT环境具有多个地理缩放的数据中心(datacenter)，在复杂的网络中组织了几百台服务器。用户通常难以手动地捕获这一环境的配置。一般而言，要求用户仅建模其环境的一小个子集。即使在这种情况下，建模过程都是劳动密集型的。所述系统使基于事件的仿真的性能建模对于广泛的用户基础是可用的。系统通过使用可从企业管理软件得到的现有信息来自动配置性能模型。

通过自动化和简化模型的配置，所述系统使用户能在多种环境下执行性能计划。例如，通过使用户能快速配置模型以表示当前的部署，系统使用户能创建每周或每天的容量报告，即使在有快速变化的环境中。频繁的容量报告使IT专家能前摄性地管理一基础架构，比如在性能问题发生前预计到并纠正它们。

上述系统还使用户能容易地对一组织的较大部份建模，以便分析较宽范围的性能因数。例如，邮件服务器部署会影响多个数据中心。如果相关配置数据可用，则邮件服务器现有基础架构的模型可以自动配置，模型可用来预测首尾相连的事务处理的等待时间，例如确定从亚洲办公室向美国总部发送电子邮件的等待时间。这种分析的另一示例好处是计算由于亚洲/美国WAN链路的邮件话务量引起的使用情况。

使用所述系统的性能分析也可以用来对数据中心的操作进行故障诊断。例如，像MOM这样的操作管理软件可以发出和邮件服务器上缓慢响应时间有关的一个警告。IT专家可以使用该系统来自动配置表示系统当前状态的模型、仿真预期的性能、以及确定问题是由于容量问题或由于某些其它原因而引起的。

图2示出图1所示的自动化建模模块100的示例组件。如图2所示，自动化建模模块100可以包括物理拓扑建模模块201、逻辑拓扑建模模块202以及事件分析模块203。模块201-203仅为说明目的而示出。在实际实现中，模块201-203一般集成在一个组件内。

物理拓扑模块201被配置成建模一基础架构的物理拓扑。物理拓扑可以从CCM应用、OM应用或发现应用中所直接检取的数据中导出。例如，数据可以从图1内的管理模块120检取。一般锷，物理拓扑使用从管理模块120的操作数据库或数据仓库检取的数据来导出。

所检取的数据一般包含用于构成基础架构的模块的信息，比如服务器列表以及它们所包含的硬件组件、以及网络的物理拓扑(例如服务器间的互连)。物理拓扑模块201还可以被配置成把所检取的数据转换成一种用于创建仿真中可用的模型的格式。例如，所检取的数据可以被转换成XML格式。物理拓扑模块201也可以被配置成滤除外来的信息。例如，所检取的数据可以包含基础架构组件的内存大小、即使一般不为仿真直接建模内存大小。物理拓扑模块201还可以被配置以执行所检取数据的“语义扩展”。例如，物理拓扑模块201可以把一磁盘驱动器的名称(可以简单的字符串表示)转换成具有磁盘大小、存取时间、转速等值的适当模板。物理拓扑模块201可以被配置成从不同应用转换各种类型格式的数据。

逻辑拓扑建模模块202被配置成把软件组件映射到从管理模块120所提供的数据中导出的物理硬件模型上。来自CCM应用和OM应用的数据都可以使用。例如，CCM应用可以记录微软公司Exchange服务器的存在或不存在，即使Exchange服务器可能在Exchange系统中有几个不同作用之一。相反，用于监视Exchange服务器的OM应用也可以包括完整的配置信息，比如Exchange服务器的作用，该信息又可用来宣布Exchange的性能模型所对应的应用组件。逻辑拓扑建模模块202可以被配置成把基本格式的数据转换成适用于仿真模型的格式，并且用于滤除不需要的信息，比如任何未被建模的应用的存在。

工作负荷建模模块203被配置成从用户工作负荷导出参数值。一般而言，这些值是由从管理模块210检取的数据中导出的。所检取的数据可以包含与被监视的一个或多个应用所经历的工作负荷有关的当前或历史信息。典型的性能计数器可以包括并发用户的数目、被请求的不同事务处理类型的数目等等。可以执行一转换步骤，从所检取数据的基本格式转换成可在仿真模型中使用的格式，并且在必要时进行数学转换。例如，OM数据库可能记录在一小时时间内请求的不同类型事务处理的个体数目，而模型可以把这同一信息表示为一小时内的事务处理总数、加上每一个不同类型的事务处理的百分比。

图3示出用于仿真基础架构性能的示例过程300。在方框301，标识了与一基础架构相关联的拓扑和性能数据。所标识的数据可由基础架构的一个或多个管理应用提供。数据可由管理应用直接提供，或者通过操作数据库或数据仓库来提供。

在方框303，处理所标识的数据以获得基础架构模型的输入。例如，拓扑数据可以被转换成可由一建模模块或一仿真模块使用的格式，比如XML格式。性能数据可以被转换成便于表示工作负荷的形式。

在方框305，基础架构模型用建模输入自动配置。将会在图4中讨论用于自动配置基础架构模型的示例过程。简言之，该模型用来自管理应用的现有数据来配置，比如与物理拓扑、逻辑拓扑、工作负荷、事务处理工作流程、动作成本等等有关的数据。

在方框307，基于模型执行一个或多个仿真。仿真通过用基础架构的物理或逻辑组件模型来模拟事件和动作而执行。仿真在基础架构的当前配置或可能配置上执行。将会在图5中讨论使用自动配置的模型来仿真一基础架构的示例过程。在方框309，输出仿真的结果。

图4示出用于自动配置基础架构的模型的示例过程400。过程400可以由图1和2所示的自动化模型配置模块100来实现。在方框401，硬件组件用基础架构的管理应用所提供的物理拓扑来配置。物理拓扑数据可以包括基础架构的设备的硬件配置以及这些设备的组件。物理拓扑数据也可以包括设备怎样连接的信息。

在方框403，软件模型可以从基础架构的管理应用所提供的逻辑拓扑数据来确定。逻辑拓扑数据可以包括与基础结构的设备上的软件组件以及软件组件的配置有关的信息。在方框405，软件模型被映射为硬件模型。

在方框407，从基础架构的管理应用中确定工作负荷数据、事务处理工作流程数据以及动作成本。特别是，数据可以定义由硬件和软件组件执行的事件和动作、以及与这些事件和动作相关联的时间和工作负荷。在方框409，数据被集成到模型内。例如，可以配置软件和硬件模型在执行所定义的事件和动作时反映模型的性能。

图5示出使用自动配置的模型来仿真一基础设施的示例过程500。过程500可由图1所示的仿真模块130所实现。在方框501，接收到执行仿真的指令。指令可以包括与怎样执行仿真有关的信息。例如，指令可以执行要用基础架构的现有配置或者一经修改的配置来执行仿真。指令可以指定仿真的工作负荷，比如使用基础架构的当前工作负荷或者基础架构一个或多个组件的不同工作负荷。

在方框503，确定现有基础架构的模型。一般而言，模型通过建模模块来提供，并被自动配置以反映基础架构的当前状态。在决定框505，确定是否要改变基础架构模型的配置。在实际实现变化前，可以执行配置改变了的基础架构的仿真来预测性能影响。如果没有配置变化，过程500就移至方框513。

返回决定框505，如果确定要改变配置，过程500就移至方框507，在那里标识对基础架构的变化。所述变化可以涉及基础架构的任何方面，比如物理拓扑、逻辑拓扑或性能参数。在方框509，按照所标识的变化来修改该模型。在方框513，使用经修改的模型来执行仿真。

图6示出用于实现所述系统和方法的示例性计算机设备600。在其最基本的配置中，计算设备600一般包括至少一个中央处理单元(CPU)605和内存610。

根据计算设备的实际配置和类型，内存610可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等等)或者两者的某一组合。此外，计算设备600也可以有附加的特征/功能。例如，计算设备600可以包括多个CPU。所述的方法可由计算设备600内的任一处理单元以任一方式执行。例如，所述的过程可由多个CPU并行执行。

计算设备600也可以包括附加的存储器(可移动和/或不可移动)，包括但不限于：磁性或光学磁盘或磁带。这种附加存储器在图6中用存储器615说明。计算机存储媒介包括以用于存储信息的任一方法或技术实现的易失性和非易失性、可移动和不可移动的媒介，所述信息比如计算机可读指令、数据结构、程序模块或其它数据。内存610和存储器615都是计算机存储媒介的例子。计算机存储媒介包括但不限于：RAM、ROM、EEPROM、闪存或其它内存技术、CD-ROM、数字化视频光盘(DVD)或其它光学存储器、磁性盒带、磁带、磁盘存储器或其它磁性存储设备、或可用来保存期望信息并能由计算设备600存取的任何其它媒介。任何这样的计算机存储媒介都可以是计算设备600的一部分。

计算设备600也可以包含使设备能与其它设备通信的通信设备640。通信设备640是通信媒介的一个例子。通信媒介一般在已调数据信号中体现计算机可读指令、数据结构、程序模块或其它数据，所述已调数据信号比如载波或其它传输机制，并且包括任何信息传送媒介。术语“已调数据信号”意指其一个或多个特征以对信号内信息编码的方式设置或改变的信号。例如、但非限制，通信媒介包括像有线网络和直线连接这样的有线媒介、以及像声学、RF、红外或其它无线媒介这样的无线媒介。这里使用的术语“计算机可读媒介”包括计算机存储媒介和通信媒介。所述方法可以以任一形式的任一计算机可读媒介来编码，比如数据、计算机可执行指令等等。

计算设备600也可以具有输入设备635，比如键盘、鼠标、笔、语音输入设备、触摸输入设备等等。也可以包括像显示器、扬声器、打印机等这样的输出设备630。所有这些设备都是本领域公知的，并且无须详细讨论。

如上所述，所述的系统、方法和数据结构能用来自可用管理应用的数据自动地配置基础架构模型。通过结合一自动化确认和校准特征而增强了这些系统、方法和数据结构。模型可以被确认和校准到用户所选的准确程度。

在已经自动配置了基础架构的模型后，可以执行确认来确保该模型的性能预测在用户执行的程度内是准确的。如果未达到指定的准确性程度，则可以执行校准来修改模型的不可配置的方面，以便达到指定的准确性。模型的可配置方面，比如硬件、拓扑、工作负荷等等的表示，一般不被校准所改变。校准可以改变与模型相关联的参数，比如动作成本、背景负载或其它作为模型模板一部分的参数。

动作成本是表示一特定硬件资源上一特定事务处理步骤的资源要求的数值。动作成本可以用对于所使用的硬件设备类型所特定的手段来度量。一般而言，动作成本独立于设备的特定实例。例如，CPU的动作成本可以以计算的兆周来度量，而磁盘的动作成本可以以所需的磁盘传输次数和所传输的数据量来度量。不同的CPU和磁盘可能采用不同数量的仿真时间来处理要求相同动作成本的动作。动作成本一般在基础架构模型的开发期间获得，通过在性能实验室内建模该应用来获得。

理想情况下，一特定设备类型(例如CPU)的全部动作成本都可以用单个数值(例如兆周)来描述，可以在该设备类型的全部实例上准确地缩放。实践中，缩放可能不简单。例如，以两倍时钟速度在CPU上运行相同的动作可能不会导致用一半时间来完成该动作。弥补影响这一非线性缩放的全部因素通常是不实际的。即使提供了能准确弥补全部可能因素的非常复杂的模型，也由于多种原因而仍旧不能使用该模型。例如，计算最终结果所需的时间和/或内存可能比简单模型所需的要高得多，导致高得惊人的长仿真时间。同样，对于简单的数据收集和模型配置来说，所需的输入变量数目可能过大。可能不期望花很多的时间和精力来测试应用和硬件。

为了减轻模型准确性和复杂度之间的困难折衷问题，可以用校准来得到两者的好处，例如对于宽范围的输入，可以以指定的最小准确性来使用一简单、快速的模型。可以实现确认来确定建模准确性是否充分。可以实现校准来调节动作成本，以便较好地反映所使用的特定输入集。

背景负载是在实践中通常遇到的另一个变量，但一般不在常规模型中实现。背景负载是指由不是工作负荷模型一部分的应用来使用硬件资源。例如，病毒检验程序可以使每个所读取的磁盘需要额外的CPU开销，以便扫描磁盘内的内容是否有病毒签名。局域网(LAN)是另一个例子，因为LAN很少作用于单个应用。更为常见的是，LAN在运行多个应用的多台计算机间共享，每一台计算机对网络都有其自身的影响。有时，用户可能获悉这一背景负载，并且可以包括该负载作为初始模型配置的一部分，例如通过指定LAN的固定使用率百分比。然而，更为常见的是，用户不知道这些额外效应，仅仅直到性能模型似乎不准确。

此外，一些背景负载效应可能不是恒定的，而是取决于工作负荷。病毒检验程序是一个例子。通常，磁盘操作独立于CPU而建模。磁盘模型内可能未提供一“CPU成本”字段。病毒检验程序的效应看上去是对包含磁盘存取动作的全部事务处理的增加了的CPU成本。

为了确认一性能模型的准确性，可以捕获被建模应用的性能。性能数据可以用统计计数器来捕获，统计计数器度量应用、以及应用在其上执行的硬件设备的性能方面。例如，可以使用微软公司WINDOWS公布的“性能计数器”。其它例子包括由应用程序为度量性能所创建的硬件度量(例如CPU所使用的CPU时间量)和计数器，所述性能比如平均事务处理速率。

一般开发了模型来使用性能计数器度量作为模型配置信息的一部分。可以选择模型的抽象程度来匹配性能信息的可用性。模型的输出也可以用这些性能计数器来表示。例如，输出可以包括在一系列仿真事务处理期间在特定的CPU上使用了多少CPU时间、以及应用所持续的平均事务处理速率。

如上所述，在自动化配置期间，可以从OM数据库导入与被建模的应用有关的信息。这一数据库的例子是由微软公司操作管理器(MOM)所保持的数据库，包括被建模应用的性能计数器的历史值。这些计数器既能捕获输入工作负荷(例如所处理的事务处理数目)，又能捕获观察到的结果(例如所耗用的CPU时间)。

确认可以包括：采用自动配置的模型；把模型输入设置为从OM数据库得到的历史观察到的性能计数器值(例如每小时的事务处理数目)；运行一性能仿真；以及把所预测的结果和历史观察到的性能计数器值(例如所耗用的CPU时间)相比较。对于一预测到的性能计数器值，性能模型的准确性既可以以相对方式(即百分比)、又可以以绝对方式(如兆周数)来表示。所需的准确性可以以这两种方式的任一种来表示。此外，性能计数器可以分成组。所需的准确性可以总体上应用于该组。例如，用户可能要求全部磁盘带宽预测准确到20％以内，或者前端web服务器上的全部CPU兆周预测准确到5％以内。

性能计数器可以基于计数器的范围被组织成两类。一些计数器应用于一特定应用。例如，对于邮件服务器应用可以施加由应用所造成的CPU使用情况。这些计数器可以被定义为应用专用计数器。操作系统(OS)也负责监视系统的总性能、并且施加计数器，比如总CPU使用情况。这些系统范围的计数器可以包括使用在系统上执行的全部应用。在模型中存在误差时，这些计数器可以用来确定误差的源头。误差可以表征为工作负荷相关误差以及工作负荷无关误差。

工作负荷相关误差包括这样的误差：其大小根据应用工作负荷的函数而变化。例如，工作负荷相关误差可能源自于错误的建模假设、启动效应(例如冷缓存)、应用饱和(如锁定)、丢失的事务处理类别等等。丢失的事务处理类别是非常常见的，因为一般来说，仅仅建模最常用的事务处理，而不是建模全部所支持的事务处理。工作负荷相关误差的效应可以通过把应用专用计数器和建模结果相比较来确定。例如，如果邮件服务器应用的预期CPU使用率为10％，而应用的实际CPU使用率为15％，则这5％的差异就是工作负荷相关误差。

工作负荷无关误差包括其大小独立于工作负荷的误差。工作负荷无关误差一般源自于从OS或模型中未包括的其它工作负荷而来的开销。例如，单个服务器设备可能既运行一邮件服务器应用、又运行一文件服务器应用。邮件服务器应用模型可能不会弥补由文件服务器应用所引起的设备使用情况。工作负荷无关误差的效应可以通过把系统范围的计数器和应用专用计数器进行比较而计算。例如，如果邮件服务器应用的CPU使用率为25％，而总CPU使用率为35％，则这10％的差异就是由于常数负载或背景负载而造成的工作负荷无关误差。

可以提供所需准确性限制的缺省值作为基本模型的一部分。例如，如果在实践中已经发现磁盘模型特别准确，则可以把缺省的所需准确性设备5％，因为这一范围外的值更加可能是隐藏的基本因素的结果，比如背景负载。相反，如果已知CPU模型较不准确，则可以把缺省的所需准确性设为20％以避免从结果得出不准确的结论。

可以把准确性分组以简化信息显示并且减少用户负载。例如，确认用户界面会以一准确性范围(例如-6％到+7％)示出前端web服务器的单独表示。而不是示出一数据中心内全部前端web服务器的准确性。彩色编码会进一步增强界面的可用性。例如，准确性落在用户指定限制内的性能计数器可以以绿色显示，接近限制的计数器可以以橙色显示，超出限制的计数器以红色显示。

如果用户对全部性能计数器的所观察准确性相对于预测准确性感到满意，则确认过程完成，用户可能使用该模型来执行假设分析，对于最终结果更有信心。否则，可以在确认之后执行一个或多个校准周期。

校准包括调节基本性能模型的动作成本或背景负载以提高模型确认的准确性。如果不准确的基本原因取决于工作负荷(即工作负荷相关误差)，则调节动作成功可能产生期望的效应。如果基本原因独立于工作负荷，例如另一应用正在使用LAN带宽的百分比，则调节动作成本会对于除了为确认选用的一个级别以外的所有工作负荷级别都导致不准确的结果。

调节背景负载可以通过包括工作负荷相关背景负载的概念来提高模型确认的准确性。背景负载可以是一常数，或是和当前工作负荷相乘的一个标量。背景负载可按照各个设备来应用，而不是按照各个动作而应用。然而，为了捕获模型低估应用性能的情况，可以扩展背景负载以包括一负载荷(即基于模型调节设备容量，使其高于它应该的容量)。负载荷可用来弥补设备比模型结果更好地缩放的情况。

背景负载的概念可用于在仿真中所使用的基本硬件模型的资源容量。背景负载可以是恒定的(即工作负荷无关误差)，或是工作负荷相关的，并且充当正面或负面的因素。调节背景负载所用的正确数量取决于基本模型。如果模型是线性的，则和纠正因素相乘是充分的。然而，较复杂的模型可能需要独特的计算来确定适当的纠正因素。根据缺省的准确性值，这些计算被提供作为硬件模型内的校准功能。这一校准功能可以以所观察的不准确性为每一设备类型调用。校准功能可以返回适当的因素或常数量，以此来改变资源成本，以便把不准确性设为为零。

在观察到不准确性误差后，执行分析以确定不准确性的哪一部分是由于常数效应，而哪一部分是由于工作负荷相关效应。这一确定可以通过比较两次仿真的结果来作出。确定也可以通过把应用专用计数器的结果和系统范围性能计数器的结果进行比较而作出。

仿真所进行的不准确性评估包括用两个不同的工作负荷值来进行两次仿真，并且确定这两次仿真的不准确性是保持相同还是变化。可以使用第二仿真的任何工作负荷变化，比如前一工作负荷的一半或两倍。把工作负荷加倍可能导致非线性的性能效应，比如接近饱和的单独分量。例如，总系统的性能可能变为指数的，即使行为通常是线性的。隐藏，在第二仿真中使用工作负荷的一半可能在许多情况下提供较好的结果。然而，在第二仿真中的一半工作负荷在初始工作负荷很低时可能并不期望，因为模型正在接近性能计数器的细度(level of granularity)，且性能效应可能在噪声中丢失。因此，使用这一解决方案的校准包括：

a)在第二段时间以不同的工作负荷强度(如工作负荷的一半)来运行仿真；

b)对于需要校准的每一个被建模的硬件设备：

I)把第一和第二次仿真的所观察性能计数器和预测的性能计数器以确定设备是应该应用一常数背景负载还是一可变背景负载；

II)调用适当硬件模型的校准功能、提供常数或可变背景负载误差、以及获得相应的常数或可变背景负载因数；

III)向基本设备应用负载因数。

仿真进行的不准确性评估可以表示如下：

            e＝I·e_v+e_cu_m-u_p＝I·e_v+e

其中I表示负载，e表示总误差，e_c表示常数误差，e_v表示由于负载造成的可变误差，u_p表示预测的设备使用率，u_m表示测得的设备使用率。

在以上公式中，u_m、u_p和I是已知的。以两种负载运行仿真导致了具有2个未知数的2个公式的简单系统。因此，e_v和e_c容易确定。

使用性能计数器进行的不准确性评估一般要求应用专用计数器和系统范围性能计数器成对的可用性，表征了同一设备的使用率水平。校准可以如下执行：

a)确定误差是由于背景负载造成的(例如预测的使用率计数器减去系统范围计数器)。结果是应用于设备的常数背景负载。

b)确定工作负荷相关的误差(例如预测的使用率计数器减去应用专用计数器)。结果是根据负载的函数来应用背景负载。

c)向基本设备应用组合的负载因数。

在完成校准步骤后，可以再次进行确认。

图7示出使用一确认模型来仿真基础架构性能的示例过程700。过程700类似于图3所示的过程300，但包括方框307后的额外步骤。

在决定框703，确定是否会进行自动配置模型的确认。如果不是，过程700就继续到方框309。如果将执行确认，则过程700移至方框707，在那里确认该模型。将会结合图8讨论用于确认模型的示例过程。该过程接着移至方框707，在那里输出仿真结果。

图8示出用于确认基础架构的模型的示例过程800。在方框803，标识来自仿真的结果。在方框805，从度量确定工作负荷数据。测得的工作负荷数据由管理模块提供给基础架构。在方框807，仿真结果与测得的工作负荷数据相比较。从比较中计算出误差。在决定框809，确定误差是否在可接受的水平内。如果是，过程800就移至方框815，在那里确认模型。

返回决定框809，如果误差不在可接受的水平内，则过程800移至方框811，在那里确定基础架构的各个设备的负载因数。负载因数通过把总性能计数器所提供的数据和应用专用计数器所提供的数据进行比较而确定。负载因数也可以从以两个不同工作负荷水平执行的两次仿真所生成的结果来确定。将会结合图9和10讨论这些方法的例子。

在方框813，用负载因数来校准该模型。例如，模型可以被配置以弥补仿真期间作为常数背景负载的工作负荷无关误差，并且基于工作负荷水平来缩放工作负荷相关误差。在方框815，在校准后确认模型。应该理解，方框809、811和813中的步骤可以重复，直到误差在可接受的水平内为止。

图9示出使用应用专用计数器所提供的数据来校准一设备模型的示例过程900。在方框903，从仿真中标识一使用率值。在方框907，使用系统范围的计数器所提供的数据来确定总误差。例如，通过从仿真设备的使用率值中减去系统范围计数器所提供的使用率值来确定总误差。总误差可以表示一背景负载，该背景负载包括一工作负荷相关分量(例如未被建模的应用负载)和一工作负荷无关分量(例如由设备的OS所生成的负载)。这一背景负载产生了误差，因为负载在仿真期间未被模型弥补。

在方框909，使用应用专用计数器所提供的数据来确定工作负荷相关误差。应用专用计数器确定应用的使用率。工作负荷相关误差可以从和应用相关联的仿真和实际使用率值之差来确定。其余的总误差是独立于工作负荷的常数误差。在方框911，从常数误差和工作负荷相关误差中计算用于校准的负载因数。

图10示出使用以不同工作负荷水平的重复仿真所提供的数据来校准一设备模型的示例过程1000。在方框1005，标识来自两个工作负荷水平的测得的使用率值。在方框1007，确定两个工作负荷水平的仿真使用率值。在方框1009，计算两个工作负荷水平的总误差。例如，总误差可以通过从测得的数据中减去仿真结果而计算。总误差表示未被模型弥补的背景负载。

在方框1015，通过比较两个工作负荷水平的总误差来计算工作负荷相关误差。例如，如果总误差在两个工作负荷水平下是不同的，则该差异表示误差取决于工作负荷。其余误差是独立于工作负荷的。在方框1017，从工作负荷无关误差和工作负荷相关误差中确定一负载因数。

为了实现自动配置模型的确认和校准，图1和2所示的自动化建模模块100可以被配置成实现上面讨论的过程800、900和1000。

虽然已经示出和描述了本发明的优选实施例，但是可以理解，这里可以作出各种变化，而不背离本发明的精神和范围。

Claims (32)

1.一种用于为包含多个设备的基础架构建模的计算机实现的方法，所述基础架构由一管理应用监视，所述计算机实现的方法包括：

生成基础架构的模型；

使用管理应用所提供的信息来配置所述模型；

用所述模型进行仿真；

从仿真中标识性能数据；

至少部份基于仿真性能数据与管理应用所提供的测得的性能数据的比较来计算一误差；以及

如果所述误差在一阈值内则确认所述模型。

2.如权利要求1所述的计算机实现的方法，其特征在于还包括：

为基础架构内的一设备确定一仿真使用率值；

从与所述设备相关联的系统计数器确定所述设备的测得的使用率值；

通过把仿真使用率值和测得的使用率值相比较来确定一总设备误差；以及

用所述总设备误差来校准所述模型。

3.如权利要求2所述的计算机实现的方法，其特征在于，校准所述模型通过调节与所述设备相关联的动作成本或背景负载中的至少一个而执行。

4.如权利要求1所述的计算机实现的方法，其特征在于还包括：

从一应用专用计数器确定测得的应用使用率值，所述应用专用计数器和在基础架构内一设备上执行的应用相关联；

为所述应用确定一仿真应用使用率值；

至少部份基于测得的应用使用率值和仿真的应用使用率值的比较来确定一工作负荷相关误差；以及

至少部份基于所述工作负荷相关误差来校准所述模型。

5.如权利要求4所述的计算机实现的方法，其特征在于还包括：

为所述设备确定一仿真使用率值；

从和所述设备相关联的系统计数器确定设备的测得的使用率值；

至少部份基于仿真使用率值和测得的使用率值的比较来确定一总设备误差；

从所述总设备误差和所述工作负荷相关误差中确定一常数误差；以及

至少部份基于所述常数误差来校准所述模型。

6.如权利要求1所述的计算机实现的方法，其特征在于还包括：

从仿真中为基础架构中一设备确定第一仿真使用率值；

从与所述设备相关联的系统计数器中确定设备的测得的使用率值；以及

通过把第一仿真使用率值和测得的使用率值相比较而确定第一设备误差。

7.如权利要求6所述的计算机实现的方法，其特征在于还包括：

对所述模型进行第二仿真；

从第二仿真中确定所述设备的第二仿真使用率值；

通过把第二仿真使用率值和测得的使用率值相比较而确定第二设备误差。

8.如权利要求6所述的计算机实现的方法，其特征在于还包括：

通过把所述第一设备误差和所述第二设备误差进行比较来确定与所述设备相关联的工作负荷无关误差和工作负荷相关误差；以及

至少部份基于所述工作负荷无关误差和所述工作负荷相关误差来校准所述模型。

9.如权利要求8所述的计算机实现的方法，其特征在于，所述工作负荷无关误差至少部份基于第一设备误差和第二设备误差之差来确定。

10.如权利要求8所述的计算机实现的方法，其特征在于，校准所述模型通过调节与所述设备相关联的动作成本或背景负载中的至少一个来执行。

11.用计算机可执行指令编码的一个或多个计算机可读介质，所述指令用于执行权利要求1所述的计算机实现的方法。

12.被配置成执行权利要求1所述的计算机实现的方法的一种装置。

13.一种用于校准一基础架构的模型的计算机实现的方法，所述计算机实现的方法包括：

用基础架构模型来进行仿真；

标识所述基础架构模型中包括的设备模型，所述设备模型和基础架构内一设备相关联；

从仿真中为设备上执行的应用确定第一使用率水平；

从度量中为所述应用确定第二使用率水平；

通过把第一使用率水平和第二使用率水平相比较而确定一工作负荷相关误差；以及

至少部份基于所述工作负荷相关误差来校准所述设备模型。

14.如权利要求13所述的计算机实现的方法，其特征在于，至少部份基于所述工作负荷相关误差来校准所述设备模型包括：用随工作负荷缩放的因数来纠正所述设备模型。

15.如权利要求13所述的计算机实现的方法，其特征在于，所述第二使用率水平从和所述应用相关联的应用专用计数器中确定。

16.如权利要求13所述的计算机实现的方法，其特征在于还包括：

从仿真中为所述设备确定第三使用率水平；

从度量中为所述设备确定第四使用率水平；

通过把所述第三使用率水平和所述第四使用率水平相比较而确定一设备误差；

从所述设备误差和所述工作负荷相关误差中确定一常数误差；以及

至少部份基于所述常数误差来校准所述设备模型。

17.如权利要求16所述的计算机实现的方法，其特征在于，至少部分基于所述常数误差来校准所述设备模型包括：用不随工作负荷变化的常数因数来纠正所述设备模型。

18.如权利要求16所述的计算机实现的方法，其特征在于还包括：

确认基础架构内的各个设备模型；以及

为不被确认的每个设备进行标识、确定和校准步骤。

19.用用于执行权利要求13所述的计算机实现的方法的计算机可执行指令编码的一个或多个计算机可读介质。

20.被配置成执行权利要求13所述的计算机实现的方法的一种装置。

21.一种用于自动校准一基础架构的模型的计算机实现的方法，所述计算机实现的方法包括：

执行具有第一工作负荷的第一仿真；

进行具有不同于第一工作负荷的第二负荷的第二仿真；

从第一仿真中为一设备确定第一仿真使用率水平，所述设备被表示为基础架构模型内的一设备模型；

从第二仿真中为所述设备确定第二仿真使用率水平；

从度量中为所述设备确定第一实际使用率水平，所述第一实际使用率水平和第一工作负荷相关联；

从度量中为所述设备确定第二实际使用率水平，所述第二实际使用率水平和第二工作负荷相关联；

计算和所述第一仿真相关联的第一误差，所述第一误差表示第一仿真使用率水平和第一实际使用率水平之差；

计算和所述第二仿真相关联的第二误差，所述第二误差表示第二仿真使用率水平和第二实际使用率水平之差；以及

计算表示第一误差和第二误差之差的工作负荷相关误差；以及

用所述工作负荷相关误差来校准所述设备模型。

22.如权利要求21所述的计算机实现的方法，其特征在于还包括：

确定表示第一误差和第二误差的共同分量的工作负荷无关误差；以及

用工作负荷无关误差来校准设备模型。

23.如权利要求21所述的计算机实现的方法，其特征在于还包括：

确认基础架构内的每个设备模型；以及

为不被确认的每个设备进行确定、计算和校准步骤。

24.用用于执行权利要求21所述的计算机实现的方法的计算机可执行指令编码的一个或多个计算机可读介质。

25.被配置成执行权利要求21中所述的计算机实现的方法的一种装置。

26.一种系统，包括：

用基础架构的模型进行仿真的装置；

用于标识基础架构模型内表示的设备模型的装置；

用于确定所述设备的仿真设备使用率水平的装置；

用于确定所述设备的实际设备使用率水平的装置；以及

至少部份基于所述仿真设备使用率水平和所述实际设备使用率水平的比较来计算一设备误差的装置；以及

至少部份基于所述设备误差来确认所述设备模型的装置。

27.如权利要求26所述的系统，其特征在于还包括：

用于确定所述设备的仿真应用使用率水平的装置；

用于确定所述设备的实际应用使用率水平的装置；

至少部份基于所述仿真应用使用率水平和所述实际应用使用率水平的比较来确定一工作负荷相关因数的装置；以及

使用一工作负荷相关因数来校准所述设备的装置。

28.如权利要求27所述的系统，其特征在于还包括：

至少部份基于所述设备误差和所述工作负荷相关因数来计算一工作负荷无关因数的装置；以及

使用一工作负荷无关因数来校准所述设备的装置。

29.如权利要求27所述的系统，其特征在于还包括：

用一不同的工作负荷来进行另一仿真的装置；

为所述另一仿真计算另一设备误差的装置；

至少部份基于两个设备误差的比较来确定一工作负荷相关因数的装置；以及

使用一工作负荷相关因数来校准所述设备的装置。

30.如权利要求29所述的系统，其特征在于还包括：

至少部份基于两个设备误差间的比较来计算一工作负荷无关因数的装置；以及

使用一工作负荷无关因数来校准所述设备的装置。

31.一种系统，包括：

至少部份基于基础架构的模型来进行仿真的装置；

从和一基础架构相关联的性能计数器自动收集数据的装置；以及

通过把仿真结果和收集到的数据相比较来自动确认所述模型的装置。

32.如权利要求31所述的系统，其特征在于还包括：

用于计算所述仿真结果和收集到的数据之间的误差的装置；以及

至少部份基于所述误差来自动校准所述模型的装置。

Images