CN103038786A - 用于测试和证明客户计算机系统上的虚拟设备的系统 - Google Patents

Abstract

一种系统包括客户计算机系统，所述客户计算系统被配置成从厂商计算机系统接收测试并且在所述客户计算机系统上执行所述测试以测试和证明在所述客户计算机系统上的虚拟设备。客户计算机系统响应于测试失败将测试失败数据提供给所述厂商计算机系统，并且所述客户计算机系统响应于所述测试通过提供所述虚拟设备的基线。

Description

用于测试和证明客户计算机系统上的虚拟设备的系统

背景技术

通常，软件产品在该产品被投放市场之前由厂商进行测试和证明。产品的质量保证团队更新回归测试套件以覆盖在投放到市场的每个建立（build）中引入的改变。然而，即使客户对产品和客户的计算机系统应用全部更新，这个过程在产品的生命周期中也不能自始至终保证产品无缺陷。

产品在从其被部署在客户的计算机环境中的那天起其生命周期期间经历若干改变。这些改变包括平台更新、产品更新、系统配置改变、网络配置改变、以及产品配置改变。当运行时环境发展时，在某一时刻，引入到环境中的改变使产品中断。遗憾的是，这样的中断可能不立即地显露。替代地，这样的中断可能仅在嵌入的特征被触发之后才显露，这可能是中断之后的许多天或者甚至是几周。

当缺陷显露时，客户不知道什么引起了该缺陷并且因此提出与厂商的支持呼叫。由于细节的有限的知识和运行时环境的发展，支持团队可能花费长时间识别问题的根本原因，这会引起客户不满。即使客户使用产品环境的备份，如果缺陷被诸如系统或网络配置之类的外部参数触发则备份也不奏效。

由于这些和其他原因，存在对于本发明的需要。

附图说明

图1是图示了包括厂商计算机系统和客户计算机系统的系统的一个实施例的图。

图2是图示了能够在图1的系统中采用的计算机系统的一个实施例的图。

图3是图示了厂商计算机系统中的厂商SaaS环境的一个实施例的图。

图4是图示了客户计算机系统中的管理的客户计算环境的一个实施例的图。

图5是图示了第一主机机器和第二主机机器的一个实施例的图。

图6是图示了图1的系统的一个实施例的操作的流程图。

具体实施方式

在以下详细描述中，对形成于此一部分的附图进行参考，并且在附图中通过图示的方式示出了其中可以实践本发明的特定实施例。在这点上，方向术语，诸如“顶部”、“底部”、“前面”、“背面”、“在前的”、“后面的”等被参考正被描述的（一个或多个）图的方位来使用。因为本发明的实施例的部件能够被定位在多个不同的方位，所以方向术语是出于图示的目的而使用的并且决不是限制性的。应当理解的是，在不背离本发明的范围的情况下，可以利用其他实施例并且可以做出结构或逻辑改变。以下详细描述因此将不在限制的意义上进行，并且本发明的范围由随附权利要求来限定。

图1是图示了包括厂商计算机系统22和客户计算机系统24、26、以及28的系统20的一个实施例的图。厂商计算机系统22被经由通信路径32通信地耦合到网络30，诸如因特网或万维网。客户计算机系统24、26、以及28分别被经由通信路径34、36、以及38通信地耦合到网络30。厂商计算机系统22和客户计算机系统24、26、以及28经由网络30进行通信。在其他实施例中，系统20包括任何合适数量的客户计算机系统，诸如一个或多个客户计算机系统。

系统20使用软件即服务（SaaS）和虚拟化技术来建立。虚拟应用(vApp)在管理的客户计算环境中工作，诸如图4的管理的客户计算环境300。客户计算机系统24、26、以及28中的每一个都表示管理的客户计算环境，诸如图4的管理的客户计算环境300。每个vApp都包括连接在一起的一个或多个虚拟机（VM）。系统20包括管理的客户计算环境中的包括VM的vApp的测试。这减少了其为客户和厂商识别问题的根本原因花费的时间，这增加了客户满意。

在系统20中，客户能够经由厂商计算机系统22或通过其他销售渠道来购买一个或多个vApp并且经由厂商计算机系统22订阅用于所购买的vApp的部署后的vApp证明服务。vApp证明服务提供了用于测试vApp并且证明vApp在订阅客户的计算机系统上操作的vApp更新和回归测试套件更新，所述订阅客户的计算机系统诸如客户计算机系统24、26以及28中的一个。测试套件中的测试包括用于测试vApp的测试脚本和测试数据两者。通信软件被安装和/或激活在订阅客户的计算机系统中以用于与厂商计算机系统22进行通信。同样地，监控软件被安装和/或激活在订阅客户的计算机系统中以用于监控客户的计算机系统并且用于将关于客户的计算机系统的运行时环境信息发送到厂商计算机系统22。运行时环境信息包括操作系统、服务包、更新、补丁、和产品信息、以及硬件和网络配置，诸如处理器的数目和因特网协议版本（IPV）。如果客户不订阅vApp证明服务，则所购买的vApp在客户的计算环境中正常地起作用，但是vApp证明服务对非订阅客户不是可用的。在一个实施例中，客户订阅vApp证明服务并且安装订阅密钥以使得能够实现vApp证明服务。在一个实施例中，客户订阅vApp证明服务诸如90天、每年、或超过一年之类的时间段。

在订阅客户的计算机系统上安装和/或激活的监控软件来监控订阅客户的计算机系统的运行时环境中的改变。监控软件检测包括操作系统、硬件、以及产品中的改变的平台中的改变，其中，改变包括用于每个项目的补丁和更新。如果检测到改变，则订阅客户的计算机系统通知厂商计算机系统22。

客户计算机系统24、26、以及28招致至少两种类型的改变。第一种类型的改变是可容易地识别的改变，诸如操作系统更新或服务包升级。第二类型的改变是不可容易地检测到的配置改变，诸如对于一个或多个环境变量的改变或对于一个或多个注册表关键码值（registry key values）的改变。监控软件检测第一类型的可容易地识别的改变，但是监控软件不检测第二类型的配置改变。

如果第一类型的可容易地识别的改变首先由厂商前摄性地识别到，则在没有客户计算机系统的帮助的情况下，厂商建立合并了厂商计算机系统22上的改变的新的运行时环境。新的运行时环境与订阅客户的当前证明的计算环境外加经识别的改变相同，其中，订阅客户的计算环境经由发送到厂商计算机系统22的运行时计算环境信息知道。厂商运行旧的测试套件并且建立和运行新的测试套件以在新的运行时环境中测试vApp。如果发生失败，则厂商生成被提供给订阅客户计算机系统的vApp更新和测试套件更新。在这种情形下，如果在订阅客户的计算机系统上的监控软件检测到先前识别的改变并且通知厂商计算机系统22，则vApp更新和测试套件更新已经可用于下载并且可用于在客户计算机系统上测试vApp。

如果第一类型的可容易地识别的改变首先由订阅客户的计算机系统中的监控软件识别到，则厂商接收已检测到的改变的通知，并且响应于该通知开始支持案例（case）。支持人员经由发送到厂商计算机系统22的运行时环境信息在厂商计算机系统22上建立与订阅客户的计算机系统上的运行时环境相同的运行时环境。支持人员然后使用新近建立的运行时环境在厂商计算机系统22上测试vApp。厂商支持人员运行旧的测试套件并且建立和运行新的测试套件以在新的运行时环境中测试vApp。诸如vApp更新和测试套件更新之类的更新被提供给客户计算机系统以用于下载和在客户计算机系统上测试vApp。

订阅客户的计算机系统，诸如客户计算机系统24、26以及28中的一个，从厂商计算机系统22下载vApp更新和测试套件更新以在订阅客户的计算机系统的运行时环境中测试vApp。订阅客户的计算机系统经由测试套件来测试vApp以检测在订阅客户的计算机系统上发生的失败。这些失败可能由于由不可容易地检测到的客户计算机系统24、26以及28的配置改变招致的第二类型的改变。订阅客户的计算机系统检测失败并且向厂商计算机系统22通知该失败。作为响应，厂商在与订阅客户的计算机系统上的运行时环境相同的厂商计算机系统22上的运行时环境中并且使用来自订阅客户的计算机系统的配置和值测试vApp。厂商生成被订阅客户的计算机系统下载以用于在订阅客户的计算机系统上测试vApp的vApp更新和测试套件更新。这个过程重复直到测试套件在订阅客户的计算机系统上通过为止。在通过之后，订阅客户的计算机系统对vApp进行基线对齐并且存储每个vApp的基线拷贝，其中，能够在等待更新的同时使用基线版本。

图2是图示了能够在系统20中采用的计算机系统100的一个实施例的图。计算机系统100包括物理计算部件并且可以包括虚拟机。在一个实施例中，厂商计算机系统22与计算机系统100相同或类似。在一个实施例中，由客户计算机系统24、26以及28表示的被管理的客户计算环境中的一个或多个与计算机系统100相同或类似。

计算机系统100包括至少包括一个处理单元，即处理器102的处理器架构和存储器104。存储器104是易失性存储器、非易失性存储器、或这两个的一些组合。在一个实施例中，存储器104被布置在诸如高速缓存的存储器层级中。

计算机系统100包括附加的储存器，所述储存器包括不可移动的储存器106和可移动的储存器108。这个附加的储存器包括设备，诸如磁盘、光盘、固态存储器、和/或闪速存储设备。处理器102与存储器104和不可移动的储存器106进行通信并且被经由存储路径110通信地耦合到可移动的储存器108。附加的储存器存储信息，诸如计算机可读指令、数据结构、程序模块、和/或其他数据。

计算机系统100被配置成运行能够被与组成系统平台的一个或多个软件应用一起存储在存储媒体上的操作系统软件程序。存储器104、不可移动的储存器106以及可移动的储存器108都是能够被用来存储所期望的信息的计算机存储媒体的示例。计算机系统100还包括经由通信路径114通信地耦合到处理器102的一个或多个通信连接112。通信连接112允许计算机系统100与能够被用来存储期望的信息并且由计算机系统100访问的其他计算机/应用进行通信。

计算机系统100的用户接口部件包括：一个或多个输入设备116，诸如键盘、定点设备（例如，鼠标）、语音输入设备、和/或触摸输入设备；以及一个或多个输出设备118，诸如显示器和/或打印机。输入设备116和输出设备118被经由输入/输出路径120通信地耦合到处理器102。

图3是图示了诸如厂商计算机系统22（图1中所示）的厂商计算机系统中的厂商SaaS环境200的一个实施例的图。厂商SaaS环境200包括用户接口202、测试套件204、以及vApp证明服务206。

在208处，厂商支持人员经由用户接口202访问厂商SaaS环境200。厂商支持人员包括工程师、技术人员以及为厂商工作的管理人员。用户接口202被通信地耦合到测试套件储存库204并且经由厂商通信路径210通信地耦合到vApp证明服务206，这给予厂商支持人员对测试套件储存库204和vApp证明服务206的访问。在一个实施例中，用户接口202包括诸如输入设备116和输出设备118（图2中所示）之类的设备。

测试套件储存库204是包括用于测试由厂商销售的vApp的回归测试套件的数据库。所存储的测试套件包括针对测试原始vApp发行而开发的测试套件和响应于在本领域（field）中发生的改变和失败而建立的新的vApp发行和/或更新。这些改变和失败包括第一类型的可容易地识别的改变和第二类型的配置改变。在第一类型的可容易地识别的改变由厂商或订阅客户的计算机系统中的监控软件识别到之后，厂商支持人员运行旧的测试套件并且建立和运行新的测试套件以在新的运行时环境中测试vApp。这些旧的和新的测试套件被存储在测试套件储存库204中并且从其中访问。厂商支持人员经由用户接口202存储并且访问测试套件，并且客户的计算机系统经由vApp证明服务206访问旧的和新的测试套件。在客户的计算机系统上测试了vApp之后，vApp证明服务206被通知失败并且厂商支持人员在包括来自订阅客户的计算机系统的配置的新的运行时环境中测试vApp。厂商支持人员生成被存储在测试套件储存库204中并且从其中访问的vApp更新和测试套件更新。在一个实施例中，测试套件储存库204被存储在一个或多个存储媒体中，诸如存储器104、非易失性储存器106、和/或可移动的储存器108（图2中所示）。

vApp证明服务206在厂商SaaS环境200中操作以将订阅服务提供给厂商的客户。vApp证明服务206被通过测试套件储存库204建立并且被经由测试套件通信路径212通信地耦合到测试套件储存库204。vApp证明服务206经由测试套件通信路径212和测试套件标识（ID）从测试套件储存库204中检索测试套件。测试套件ID唯一地标识测试套件并且包括来自客户的环境的建立ID和其他参数，诸如操作系统名称和版本，以及服务包信息。建立ID包括vApp产品号、vApp版本号、以及vApp被建立以在其上运行的平台。建立ID每当存在投放到市场的新的全部/部分vApp建立时改变，包括升级、补丁、以及热修复。厂商支持人员经由用户接口202将用于每个vApp建立的测试套件上载到测试套件储存库204中。在一个实施例中，vApp证明服务206被经由诸如处理器102（图2中所示）之类的处理器执行。

vApp证明服务206与诸如客户计算机系统24、26、以及28（图1中所示）之类的客户计算机系统进行通信，以将订阅服务提供给客户。订阅服务包括：使客户订阅服务；从订阅客户的计算机系统接收改变和失败通知；以及将订阅密钥、测试套件、以及测试套件更新提供给订阅客户的计算机系统。vApp证明服务206经由网络通信路径214与客户计算机系统进行通信。在一个实施例中，vApp证明服务206经由网络通信路径214将购买的vApp提供给客户的计算机系统。

vApp证明服务206是基于任何合适的网络服务技术的网络服务，包括使用代理和数据加密的网络服务技术。在一个实施例中，vApp证明服务206被作为使用JAX-WS标准的RESTful 网络服务来建立。在一个实施例中，vApp证明服务206是基于SOAP的。

vApp证明服务206将测试套件提供给客户以用于在客户的计算机系统上测试由厂商所销售的vApp。测试套件被客户经由网络通信路径214下载，以用于在客户的计算机系统上测试购买的vApp。为了下载测试套件，客户将测试套件ID提供给vApp证明服务206，所述vApp证明服务206从测试套件储存库204中检索所识别的测试套件并且将所检索到的测试套件提供给客户。vApp证明服务206针对购买的vApp提供原始测试套件和测试套件更新，包括响应于厂商识别的软件和/或硬件改变而建立的测试套件更新。

vApp证明服务206从订阅客户的计算机系统中的监控软件接收第一类型的可容易地识别的改变的通知和来自在订阅客户的计算机系统上运行测试套件的测试失败的通知。同样地，vApp证明服务206从订阅客户的计算机系统接收客户计算机系统平台和/或配置数据。vApp证明服务206经由用户接口202接收这些报告并且通知厂商支持人员。

厂商支持人员使用客户计算机系统平台和/或从订阅客户的计算机系统所获得的配置数据在厂商计算机系统上再创建订阅客户的计算机系统。厂商支持人员在厂商计算机系统上经由已再创建的客户计算机系统测试vApp。如果vApp未通过测试，则厂商支持人员更新vApp并且建立包括测试套件更新的新的测试套件以用于测试已更新的vApp。在通过新的测试套件之后，vApp更新被提供给其计算机系统和vApp包含最近测试的改变的客户，并且新的测试套件被存储在测试套件储存库204中并且经由网络通信路径214提供给订阅客户的计算机系统。在一个实施例中，vApp更新被经由vApp证明服务206和网络通信路径214来提供。该过程继续直到问题被解决为止。

图4是图示了客户计算机系统中的管理的客户计算环境300的一个实施例的图。客户计算机系统24、26以及28（图1中所示）中的每一个都表示管理的客户计算环境，诸如管理的客户计算环境300。管理的客户计算环境300被经由网络通信路径302通信地耦合到厂商SaaS环境200。

管理的客户计算环境300包括基线管理系统304、第一主机机器306、以及第二主机机器308。基线管理系统304被经由测试路径310、基线路径312、以及监控路径340通信地耦合到第一主机机器306和第二主机机器308。第一主机机器306和第二主机机器308仅仅是可以在诸如管理的客户计算环境300的管理的客户计算环境中的机器的示例。在其他实施例中，管理的客户计算环境300包括基线管理系统304和任何合适数目的主机机器，诸如没有主机机器、一个主机机器、或两个以上的主机机器。

管理的客户计算环境300包括监控在管理的客户计算环境300中的改变的监控软件并且将改变通知提供给厂商SaaS环境200。管理的客户计算环境300还将测试失败通知提供给厂商SaaS环境200。响应于这些报告或通知，厂商计算机系统将一个或多个测试套件提供给客户计算机系统。同样地，厂商计算机系统在不使用来自客户计算机系统的报告或通知的情况下响应于计算机软件和硬件中的改变提供一个或多个测试套件。

基线管理系统304管理客户的计算机系统中的至少一些，包括：客户的对vApp证明服务的订阅；将改变通知传送或上载到厂商计算机系统；从厂商计算机系统下载回归测试套件；在客户的计算机系统上测试vApp；将测试失败通知上载到厂商计算机系统；以及在客户的计算机系统上对vApp进行基线对齐。基线管理系统304经由网络通信路径302与厂商SaaS环境200进行通信。

在管理的客户计算环境300中，第一主机机器306和第二主机机器308是不同的物理计算机器。第一主机机器306是执行经由厂商所接收到的一个或多个vApp的第一物理计算机器。在第一主机机器306上的所接收到的vApp中的每一个都包括在第一主机机器306上被执行的一个或多个VM。第二主机机器308是执行经由厂商所接收到的一个或多个vApp的第二物理计算机器。第二主机机器308上的所接收到的vApp中的每一个都包括在第二主机机器308上被执行的一个或多个VM。在一个实施例中，第一主机机器306执行vApp的一个或多个VM，而第二主机机器308执行同一vApp的一个或多个其他VM。

基线管理系统304以及第一主机机器306和第二主机机器308在逻辑上是不同的机器。在一个实施例中，基线管理系统304在不同于第一主机机器306和第二主机机器308的物理计算机器上运行。在一个实施例中，基线管理系统304是在第一主机机器306上运行的VM，其中基线管理系统304是与vApp中的VM相比不同的VM。在一个实施例中，基线管理系统304是在第二主机机器308上运行的VM，其中基线管理系统304是与vApp中的VM相比不同的VM。在其他实施例中，管理的客户计算环境300包括一个物理计算机器，所述物理计算机器包括基线管理系统304和来自厂商的vApp，其中基线管理系统304是与vApp中的VM相比不同的VM。

基线管理系统304包括五个模块：vApp证明订户314、监控服务342、测试执行管理器316、基线服务318、以及用户接口320。基线管理系统还包括三个存储模块：测试套件和结果储存器322、部署配置数据库324、以及基线对齐的版本储存器326。在一个实施例中，vApp证明订户314、监控服务342、测试执行管理器316、以及基线服务318是经由诸如处理器102（图2中所示）之类的处理器所执行的软件程序。在一个实施例中，测试套件和结果储存器322、部署配置数据库324、和/或基线对齐的版本储存器326在一个或多个存储媒体中，诸如存储器104、非易失性储存器106、和/或可移动的储存器108（图2中所示）。

vApp证明订户314作为对vApp证明服务的订户操作并且经由网络通信路径302与vApp证明服务206进行通信。vApp证明订户314管理客户的计算机系统中的vApp订阅服务的激活；将关于管理的客户计算环境300的信息或数据上载到厂商计算机系统；将改变通知上载到厂商计算机系统；从厂商计算机系统下载回归测试套件；以及将失败的测试结果或通知上载到厂商计算机系统。vApp证明订户314被经由网络通信路径302通信地耦合到厂商SaaS环境200。此外，vApp证明订户314被经由改变通知路径344通信地耦合到监控服务342，经由测试路径328通信地耦合到测试执行管理器316，并且经由存储路径330通信地耦合到测试套件和结果储存器322。在一个实施例中，vApp证明订户314从厂商接收订阅密钥以激活客户的计算机系统中的vApp订阅服务。在一个实施例中，vApp证明订户314下载vApp订阅服务软件以激活客户的计算机系统中的vApp订阅服务。

新的vApp和vApp更新被经由vApp证明订户314用基线管理系统304来注册。对于每个新的vApp或vApp更新而言，vApp证明订户314获得建立ID和/或测试套件ID并且从厂商SaaS环境200请求测试套件。vApp证明服务206从测试套件储存库204中检索测试套件并且vApp证明订户314经由网络通信路径302从vApp证明服务206下载已检索到的测试套件。vApp证明订户314经由存储路径330将已下载的测试套件存储在测试套件和结果储存器322中。在一个实施例中，vApp证明订户314经由存储路径330将已下载的测试套件存储在测试套件和结果储存器322中，并且经由测试路径328通知测试执行管理器316新的测试套件已经被下载到测试套件和结果储存器322。

监控服务342管理在管理的客户计算环境300中的改变的监控。监控服务342被经由监控路径340通信地耦合到第一主机机器306和第二主机机器308。监控服务342与一个或多个vApp监控代理进行通信以监控第一主机机器306和第二主机机器308中的vApp。在一个实施例中，一个或多个监控代理是监控服务342的一部分。在一个实施例中，一个或多个监控代理是一个或多个主机机器的一部分，所述主机机器诸如第一主机机器306和第二主机机器308，其中监控服务342远程地与一个或多个监控代理进行通信以监控vApp。

监控服务342经由数据路径346填充并且保持部署配置数据库324，并且监控服务342经由改变通知路径344将改变通知提供给vApp证明订户314，其将该改变通知上载到厂商SaaS环境200。响应于这些报告或通知，厂商计算机系统将一个或多个测试套件提供给客户计算机系统。

测试执行管理器316管理在管理的客户计算环境300中的对vApp的测试套件执行的调度和协调。测试执行管理器316经由测试路径310通信地耦合到第一主机机器306和第二主机机器308。测试执行管理器316与一个或多个vApp测试代理进行通信以测试第一主机机器306和第二主机机器308中的vApp。在一个实施例中，一个或多个测试代理是测试执行管理器316的一部分。在一个实施例中，一个或多个测试代理是一个或多个主机机器的一部分，所述主机机器诸如第一主机机器306和第二主机机器308，其中测试执行管理器316远程地激活一个或多个测试代理以测试vApp。

为了测试vApp，测试执行管理器316从测试套件和结果储存器322中检索与vApp相对应的测试套件，其中测试执行管理器316被经由存储路径332通信地耦合到测试套件和结果储存器322。测试执行管理器316将已检索到的测试套件传送到测试代理，所述测试代理进行vApp的拷贝并且将测试套件插入到vApp的拷贝中以获得测试结果。测试代理将测试结果传送到测试执行管理器316，所述测试执行管理器316将测试结果存储在测试套件和结果储存器322中并且将测试结果传送到用户接口320。同样地，测试执行管理器316向vApp证明订户314通知测试失败，并且vApp证明订户314将失败的测试结果上载到vApp证明服务206。如果vApp通过，则测试执行管理器316通知基线服务318，其中测试执行管理器316被经由通知路径334通信地耦合到基线服务318。

测试执行管理器316与部署配置数据库324进行通信以在被管理的客户计算环境300中找到vApp，并且调度vApp的测试。部署配置数据库324包括管理的客户计算环境300的拓扑，包括诸如第一主机机器306和第二主机机器308的主机机器、（一个或多个）vApp位置和用途、以及（一个或多个）VM位置和用途。部署配置数据库324还包括对于管理的客户计算环境300的改变的历史。测试执行管理器316经由配置路径336通信地耦合到部署配置数据库324。在一个实施例中，部署配置数据库324包括用于测试vApp的时间调度。

在vApp通过所有的测试套件之后，测试执行管理器316通知基线服务318和用户接口320。响应于该通知，基线服务318通知进行vApp的拷贝的基线代理，其中基线服务318被经由基线路径312通信地耦合到第一主机机器306和第二主机机器308。基线服务318从基线代理接收vApp的拷贝并且对作为vApp的最后的已知好的版本的vApp的拷贝进行基线对齐。基线服务318将vApp的经基线对齐的拷贝存储在基线对齐的版本储存器326中，其中基线服务318被经由存储路径338通信地耦合到基线对齐的版本储存器326中。为了恢复到vApp的先前的拷贝，vApp的经存储的基线对齐的版本中的一个被从基线对齐的版本储存器326中检索。在一个实施例中，基线对齐的版本储存器326存储vApp的历史基线对齐的拷贝。在一个实施例中，基线对齐的版本储存器326仅仅存储vApp的最近基线对齐的拷贝。在一个实施例中，基线服务318包括基线代理，所述基线代理远程地进行vApp的拷贝并且将vApp拷贝传递到基线服务318。在一个实施例中，基线代理是主机机器的一部分，所述主机机器诸如第一主机机器306和第二主机机器308中的一个，并且基线服务318远程地激活基线代理以进行vApp的复制并且将vApp的拷贝传送到基线服务318。

用户接口320提供客户支持人员对管理的客户计算环境300的访问，包括对vApp证明订户314、测试执行管理器316、以及基线服务318的访问。客户支持人员，包括工程师、技术人员、以及管理人员能够访问设置测试和基线频率以及部署配置。用户接口320还生成报告，诸如通过/失败报告以及其中检测到失败的配置。用户接口320经由为了清楚而未被示出的通信路径通信地耦合到vApp证明订户314、测试执行管理器316以及基线服务318。在一个实施例中，用户接口320包括诸如输入设备116和输出设备118（图2中所示）之类的设备。

图5是图示了第一主机机器306和第二主机机器308的一个实施例的图。第一主机机器306和第二主机机器308包括三个vApp：400处的vApp1、402处的vApp2、以及404处的vApp3。400处的vApp1包括三个VM：VM1.1、VM1.2以及VM1.3，其彼此进行通信以提供在400处的vApp1。402处的vApp2包括三个VM：VM2.1、VM2.2以及VM2.3，其彼此进行通信以提供在402处的vApp2。404处的vApp3包括两个VM：VM3.1和VM3.2，其彼此进行通信以提供在404处的vApp3。

第一主机机器306包括第一vApp监控代理422、第一vApp基线代理406、以及第一vApp测试代理408，其被经由vApp1路径414和第一vApp3路径416通信地耦合到400处的vApp1和作为404处的vApp3的一部分的VM3.1。第二主机机器308包括第二vApp监控代理424、第二vApp基线代理410、以及第二vApp测试代理412，其被经由vApp2路径418和第二vApp3路径420通信地耦合到402处的vApp2和作为404处的vApp3的一部分的VM3.2。第一vApp监控代理422和第二vApp监控代理424被经由监控路径340通信地耦合到监控服务342。第一vApp测试代理408和第二vApp测试代理412被经由测试路径310通信地耦合到测试执行管理器316。第一vApp基线代理406和第二vApp基线代理410被经由基线路径312通信地耦合到基线服务318。

监控服务342与第一vApp监控代理422和第二vApp监控代理424进行通信以监控第一主机机器306和第二主机机器308中的vApp。第一vApp监控代理422和第二监控代理424经由监控路径340将更新提供给监控服务342。监控服务342将改变通知提供给vApp证明订户314，所述vApp证明订户314将该改变通知上载到厂商SaaS环境200。

在操作中，测试执行管理器316从测试套件和结果储存器322中检测与三个vApp：400处的vApp1、402处的vApp2以及404处的vApp3中的一个相对应的测试套件。测试执行管理器316经由部署配置数据库324确定第一主机机器306和第二主机机器308中的哪一个包括与所检索到的测试套件相对应的vApp。如果对应的vApp是400处的vApp1，则第一主机机器306中的第一vApp测试代理408接收测试套件，进行400处的vApp1的拷贝，并且将测试套件插入到400处的vApp1的拷贝中以获得测试结果。如果对应的vApp是402处的vApp2，则第二主机机器308中的第二vApp测试代理412接收测试套件，进行402处的vApp2的拷贝，并且将测试套件插入到402处的vApp2的拷贝中以获得测试结果。如果对应的vApp是404处的vApp3，则第一主机机器306中的第一vApp测试代理408和第二主机机器308中的第二vApp测试代理412分别接收用于测试VM3.1和VM3.2的测试套件中的至少一些。第一vApp测试代理408进行VM3.1的拷贝并且将测试套件插入到VM3.1的拷贝中以获得测试结果，而第二vApp测试代理412进行VM3.2的拷贝并且将测试套件插入到VM3.2的拷贝中以获得测试结果。

第一vApp测试代理408和第二vApp测试代理412将测试结果传送到测试执行管理器316，所述测试执行管理器316将测试结果存储在测试套件和结果储存器322中并且将测试结果传送到用户接口320。测试执行管理器316向vApp证明订户314通知测试失败，并且vApp证明订户314将失败的测试结果上载到vApp证明服务206。

如果被测试的vApp通过，则测试执行管理器316通知基线服务318，其通知包括被测试的vApp的（一个或多个）主机机器306和308中的（一个或多个）vApp基线代理406和410。如果被测试的vApp是400处的vApp1，则第一主机机器306中的第一vApp基线代理406被激活以进行400处的vApp1的拷贝。如果被测试的vApp是402处的vApp2，则第二主机机器308中的第二vApp基线代理410被激活进行402处的vApp2的拷贝。如果被测试的vApp是404处的vApp3，则第一主机机器306中的第一vApp基线代理406和第二主机机器308中的第二vApp基线代理410被激活以分别进行VM3.1和VM3.2的拷贝。

基线服务318从（一个或多个）基线代理406和410接收被测试的vApp的拷贝并且对作为被测试的vApp的最后已知的好的版本的被测试的vApp的拷贝进行基线对齐。基线服务318将经基线对齐的拷贝存储在基线对齐的版本储存器326中。

图6是图示了用于向vApp证明服务的订户的系统20的一个实施例的操作的流程图。在500处，在订阅客户的计算环境300中安装的监控软件监控订阅客户的计算机系统的运行时环境中的改变。在502处，监控软件检测平台中的改变，包括操作系统、硬件和/或产品的改变，其中平台的改变包括针对每个项目的补丁和更新。如果检测到改变，则订阅客户的计算机系统通知厂商计算机系统22。同样地，在504处，厂商在没有从客户计算机系统接收到通知的情况下识别计算机软件和硬件中的改变。

在506处，厂商支持人员使用客户计算机系统平台和/或从订阅客户的计算机系统所获得的配置数据在厂商计算机系统22上再创建订阅客户的计算机系统。厂商支持人员经由厂商计算机系统22上的已再创建的客户计算机系统测试一个或多个vApp。在508处，如果vApp失败，则厂商支持人员更新vApp并且建立新的测试套件，包括用于测试经更新的vApp的测试套件更新。在通过新的测试套件之后，vApp更新被提供给客户并且新的测试套件被存储在测试套件储存库204中并且经由网络通信路径214提供给订阅客户的计算机系统。

在510处，vApp证明服务206从测试套件储存库204中检索一个或多个测试套件，并且vApp证明订户314从vApp证明服务206下载更新的vApp和已检索的（一个或多个）测试套件。同样地，如果在512处客户购买新的vApp，则在510处vApp证明订户314从vApp证明服务206下载已购买的vApp和测试套件。vApp证明订户314将已下载的（一个或多个）测试套件存储在测试套件和结果储存器322中。

在514处，测试执行管理器316从测试套件和结果储存器322中检索与vApp相对应的测试套件。测试执行管理器316经由部署配置数据库324确定第一主机机器306和第二主机机器308中的哪一个包括与所检索到的测试套件相对应的vApp。如果对应的vApp是400处的vApp1，则第一主机机器306中的第一vApp测试代理408接收测试套件，进行400处的vApp1的拷贝，并且将测试套件插入到400处的vApp1的拷贝中以获得测试结果。如果对应的vApp是402处的vApp2，则第二主机机器308中的第二vApp测试代理412接收测试套件，进行402处的vApp2的拷贝，并且将测试套件插入到402处的vApp2的拷贝中以获得测试结果。如果对应的vApp是404处的vApp3，则第一主机机器306中的第一vApp测试代理408和第二主机机器308中的第二vApp测试代理412分别接收用于测试VM3.1和VM3.2的测试套件中的至少一些。第一vApp测试代理408进行VM3.1的拷贝并且将测试套件插入到VM3.1的拷贝中以获得测试结果，而第二vApp测试代理412进行VM3.2的拷贝并且将测试套件插入到VM3.2的拷贝中以获得测试结果。第一vApp测试代理408和第二vApp测试代理412将测试结果传送到测试执行管理器316，所述测试执行管理器316将测试结果存储在测试套件和结果储存器322中并且将测试结果传送到用户接口320。

在516处，如果vApp未通过测试，则测试执行管理器316向vApp证明订户314通知测试失败并且vApp证明订户314将失败的测试结果上载到vApp证明服务206。过程在506处继续，其中厂商支持人员使用客户计算机系统平台和从订阅客户的计算机系统所获得的配置数据在厂商计算机系统22上再创建订阅客户的计算机系统。接下来，厂商支持人员在厂商计算机系统22上在所再创建的客户计算机系统上测试vApp。该过程在508、510以及514处继续。

在518处，如果在订阅客户的计算机系统上测试的vApp通过，则测试执行管理器316通知基线服务318。在520处，基线服务318通知包括通过vApp的（一个或多个）主机机器306和308中的（一个或多个）vApp基线代理406和410。如果被测试的vApp是400处的vApp1，则第一主机机器306中的第一vApp基线代理406被激活以进行400处的vApp1的拷贝。如果被测试的vApp是402处的vApp2，则第二主机机器308中的第二vApp基线代理410被激活以进行402处的vApp2的拷贝。如果被测试的vApp是404处的vApp3，则第一主机机器306中的第一vApp基线代理406和第二主机机器308中的第二vApp基线代理410被激活以分别进行VM3.1和VM3.2的拷贝。同样地，在520处，基线服务318从（一个或多个）基线代理406和410接收被测试的vApp的拷贝并且对作为被测试的vApp的最后已知的好的版本的被测试的vApp的拷贝进行基线对齐。在522处，基线服务318将经基线对齐的拷贝存储在基线对齐的版本储存器326中。

系统20基本上保证了订阅客户的vApp是完整的并且在由厂商证明的条件下运行。系统20通过前摄性地并且在早期阶段检测vApp中的缺陷来逐渐灌输信心，避免了停机时间的偶发事件。同样地，如果存在vApp问题，则订阅客户能够恢复到vApp的最后已知的证明的、基线对齐的版本。此外，软件厂商通过与客户共享测试套件产生收益。

尽管已经在本文中说明并且描述了特定实施例，但是本领域的普通技术人员应当了解的是，在不背离本发明的范围的情况下，各种替代的和/或等同的实施方式可以代替所示出和所描述的特定实施例。本申请旨在覆盖在本文中所讨论的特定实施例的任何适应或变化。因此，意图是此发明仅仅由权利要求和其等同物来限制。 

Claims (15)

1.一种系统，包括：

客户计算机系统，其被配置成从厂商计算机系统接收测试并且在所述客户计算机系统上执行所述测试以测试和证明所述客户计算机系统上的虚拟设备，其中，所述客户计算机系统响应于所述测试失败将测试失败数据提供给所述厂商计算机系统，并且所述客户计算机系统响应于所述测试通过提供所述虚拟设备的基线。

2.根据权利要求1所述的系统，其中，所述客户计算机系统被配置成监控它本身并且将关于所述客户计算机系统中的改变的报告提供给所述厂商计算机系统，所述厂商计算机系统响应于所述报告将所述测试提供给所述客户计算机系统。

3.根据权利要求2所述的系统，包括所述厂商计算机系统，所述厂商计算机系统被配置成：接收所述报告并且在将所述客户计算机系统中的所述改变合并到所述厂商计算机系统之后测试所述厂商计算机系统上的所述虚拟设备，并且如果所述测试失败，则针对所述虚拟设备提供更新。

4.根据权利要求1所述的系统，其中，在不使用来自所述客户计算机系统的报告的情况下，响应于计算机软件和硬件中的改变而创建所述测试。

5.根据权利要求1所述的系统，其中，所述客户计算机系统被配置成在所述客户计算机系统上进行所述虚拟设备的拷贝并且对所述虚拟设备的所述拷贝执行所述测试。

6.根据权利要求1所述的系统，其中，所述客户计算机系统包括一个或多个主机计算机，并且所述虚拟设备包括多个虚拟机，从而使得所述一个或多个主机计算机中的每一个都包括所述虚拟设备中的至少一个虚拟机。

7.根据权利要求1所述的系统，包括所述厂商计算机系统。

8.一种存储用于控制客户计算机系统执行包括以下的方法的指令的计算机可读存储介质：

监控所述客户计算机系统以检测所述客户计算机系统中的改变；

将关于所述客户计算机系统中的所述改变的报告提供给厂商计算机系统，其中，响应于所述报告来提供测试；

在所述客户计算机系统处从所述厂商计算机系统接收所述测试；以及

在所述客户计算机系统上执行所述测试以测试在所述客户计算机系统上的虚拟设备。

9.存储用于控制所述客户计算机系统执行权利要求8并且包括以下的所述的方法的指令的计算机可读存储介质：

响应于所述测试失败将测试失败数据提供给所述厂商计算机系统；以及

响应于所述测试通过对所述虚拟设备进行基线对齐。

10.存储用于控制所述客户计算机系统执行权利要求8并且包括以下的指令的计算机可读存储介质：

将测试结果存储在所述客户计算机系统中；

将基线对齐的版本存储在所述客户计算机系统中；以及

使用所述虚拟应用的所述存储的基线对齐的版本中的一个。

11.一种测试的方法，其包括：

建立用于测试虚拟设备的测试；

将所述测试中的至少一个从厂商计算机系统传输到客户计算机系统以用于测试所述客户计算机系统上的所述虚拟设备；

在所述厂商计算机系统处从所述客户计算机系统接收测试失败数据；

在所述厂商计算机系统处接收客户计算机系统配置数据；

在所述厂商计算机系统上再创建所述客户计算机系统；以及

在所述厂商计算机系统上经由所述再创建的客户计算机系统测试所述虚拟设备。

12.根据权利要求11所述的方法，包括：

在所述厂商计算机系统上经由所述再创建的客户计算机系统解决所述虚拟设备的问题；以及

基于解决所述问题针对所述虚拟设备提供更新。

13.根据权利要求11所述的方法，其中，建立用于测试所述虚拟设备的测试包括：

在不使用所述客户计算机系统配置数据的情况下，响应于软件和硬件改变而建立测试。

14.根据权利要求11所述的方法，其中，建立用于测试所述虚拟设备的测试包括：

在所述厂商计算机系统处接收关于所述客户计算机系统的改变的报告；

在所述厂商计算机系统上再创建改变的客户计算机系统；以及

建立用于测试所述改变的客户计算机系统上的所述虚拟设备的测试。

15.根据权利要求14所述的方法，包括：

在所述厂商计算机系统上经由所述再创建的改变的客户计算机系统解决所述虚拟设备的问题；以及

在解决所述问题之后针对所述虚拟设备提供更新。

Images