CN101681267A - 使用仿真和虚拟化的基于表现的测试系统和方法 - Google Patents

使用仿真和虚拟化的基于表现的测试系统和方法 Download PDF

Info

Publication number
CN101681267A
CN101681267A CN200780039065A CN200780039065A CN101681267A CN 101681267 A CN101681267 A CN 101681267A CN 200780039065 A CN200780039065 A CN 200780039065A CN 200780039065 A CN200780039065 A CN 200780039065A CN 101681267 A CN101681267 A CN 101681267A
Authority
CN
China
Prior art keywords
computer implemented
server
hard drive
virtual
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200780039065A
Other languages
English (en)
Inventor
C·克劳赫尔斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Corp
Original Assignee
Thomson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Corp filed Critical Thomson Corp
Publication of CN101681267A publication Critical patent/CN101681267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45537—Provision of facilities of other operating environments, e.g. WINE
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

允许重新使用虚拟服务器映像和改变其用途的系统，通过提供多个虚拟硬盘驱动器映像来为基于表现的测试提供不同的应用环境。

Description

使用仿真和虚拟化的基于表现的测试系统和方法
在本说明书中引用的所有参考文献及其参考文献通过引用结合于本文中，其适合于教导附加的或替换的细节、特征和/或技术背景。
技术领域
本发明总体涉及一种基于表现(performance-based)的测试计算机系统和方法，该测试计算机系统和方法利用仿真和虚拟化技术来允许对不同方案的即兴(extemporaneous)选择，以判断用户对于一个或多个应用程序的技能。
背景技术
基于表现的测试(″PBT″)是一种测验方法，其中候选者必须与真实或模拟的系统交互。PBT将应试者置于一种或多种情形中，其中应试者必须使用他或她的知识，展示他或她的技能、解决常见问题和/或执行故障排除任务，测试设计者(test crafter)相信这些与执行特定任务和活动所需要的专门知识和技能相关。在许多行业和职业中将PBT用于测试能力。例如，经常采用基于表现的测试对消防队员、警官、航空飞行员和飞行甲板船员进行测试。如果他们的测试得分低于关键的表现指标，则将他们送回训练或否则丢掉工作。
PBT可以采取交互式软件模拟的形式，其中测试项目模拟特定软件产品的行为，并且在模拟环境中应试者被要求在该模拟内正确地执行指定功能。交互式软件模拟是一种特别有用的策略，用于测量利用计算机软件程序的熟练程度。不同于使用户线性地经过一系列学习的基于计算机的训练(″CBT″)，交互式软件模拟将用户置于计算机应用的模拟中并且要求应试者执行功能，好象他们使用真实软件一样。交互式软件模拟可以允许应用在该应用不必具有专门的编程″钩(hook)″的情况下以及在真实应用不必呈现在测试工作站的情况下被模拟。这种程序可以是自足(self-contained)的，消除了在不同的操作系统、产品版本和语言之间的变化。
在信息技术密集的时代，公司期待把对了解计算机(computer-savvy)个体的雇用流水线化。这包括评价他们的教育需要。
如果在试用期之后发现雇员无力执行雇用或训练他或她所要做的工作，那么评估潜在和当前的雇员可能是高代价的冒险。在高度竞争和快速发展的领域，到达工作场所的雇员掌握他们的工作所需要的能力是至关重要的。在没有哪个可能的候选者具有所有必要的技能和能力的情况下，测试能指明哪个候选者需要最小的训练量。它还能够展示候选者是否具有技能以开始工作和他们是否具有对材料足够强的掌握来通过在职训练获得其余技能。
计算机表现测试复杂的程度可能变化很大--从测试使用字处理软件的秘书到测试在复杂的计算机系统管理中的专业信息技术。这种大范围变化测试的管理员必须建立满足工作标准的环境。特别地，该管理员必须注意每次给定测试时的有效性和可靠性问题。
有效性指的是测试准确地测量了它意欲估量的技能或技能组的证明。评价测试有效性的方法包括内容、结构和标准验证。内容的有效性指的是通常由主题专家提供的证明，证明测试中的项目覆盖了完成由该测试测量的工作所需要的最重要和频繁使用的知识、技能和能力。结构的有效性指的是测试中的个体项目准确测量了被测主题的证明。标准的有效性指的是总体测试准确地与某个其它的独立测量相关的证明。
可靠性涉及测试提供与用户表现相关的一致的、可重复信息的能力。可靠性是有效性的必要条件。可靠性取决于测试任务的模拟的一致性和对任务的响应等级的一致性。对于测试中介来说，他们计算机表现测试的准确性、有效性和可靠性是主要卖点。
计算机系统管理员可以为PBT频繁地提供完整的网络系统，包括工作站、服务器、应用和文档。计算机网络可能必然伴有连接的集线器、连线和软件。需要人来使该网络运行以提供所期望的应用平台，例如字处理、计算机辅助设计等等。
在主计算机的领域，具有多服务器的网络曾经处理从网站到应用支持、电子邮件和记账的所有事物。随着对更多分离和更多服务的需要的上升，采用更多服务器来应付该需要。然而，设备的增加导致管理人员对以要求的可靠性水平维持每个单位的管理感到困难。
近来已引入一种使用″虚拟机″的方法，其被诸如IBM的公司首先用于主机上。所谓的″虚拟化″是呈现计算资源的逻辑分组或子集以便可以用超过原始配置的益处的方式来访问这些计算资源的过程。术语″虚拟机″涉及形成虚拟化环境的软件，即对客户操作系统来说看起来似乎是硬件但是实际由主机系统模拟和包含的环境。虚拟机的一种类型是IBM的VMware虚拟机。
互联网托管公司(internet hosting company)成为虚拟化的最初用户。采用虚拟服务器的抽象概念，托管公司可以在一台计算机上支持多个网络服务器，显著地减少他们的维护和支持费用。尽管在共享机器上操作，虚拟化可以具有给全部环境提供专用机器的所有安全性的效果，同时共享为系统管理员提供的备份、存档、监控和相关服务。
具有类似的体系结构或设计规范的一组机器可以被认为是相同″族″的成员。尽管因为一组机器的体系结构和设计依据相类似而使得它们可以处在相同的族中，但根据它们的时钟速度及其他性能参数机器可能在族内大范围变化。
每族机器执行只有该族才有的指令。特定机器或机器族可以执行的指令的综合集被称为该机器的″指令集″。举例来说，Intel 80x86处理器族使用的指令集与PowerPC处理器族使用的指令集不兼容。
在计算机系统之间特定族的唯一性典型地还导致与其它计算机系统的硬件体系结构的元件的不兼容性。例如，采用源自Intel 80x86处理器族的处理器制造的计算机系统的硬件体系结构与采用源自PowerPC处理器族的处理器制造的计算机系统的硬件体系结构不同。因为机器指令集和计算机系统的硬件体系结构的唯一性，典型地将应用软件程序写成在运行特定操作系统的特定计算机系统上运行。
为了扩展可以在特定计算机系统上运行的操作系统和应用程序的数目，已经开发了一种技术领域，其中具有被称为主机的一类中央处理器(″CPU″)的给定计算机将包括基于软件和/或硬件的仿真器，该仿真器允许该主计算机对称为客户机的一种无关类型的CPU的指令集进行仿真。从而，该主计算机将响应于给定客户机指令执行使得一个或多个主机指令被调用的应用。因此，该主计算机可以运行为其自己的硬件体系结构设计的软件和为具有无关的硬件体系结构的计算机而写的软件二者。
通常，仿真器被分成大致对应于被仿真计算机的子系统的模块。最经常地，仿真器由以下模块组成：CPU仿真器或CPU模拟器(这两个术语经常可互换)；存储器子系统模块；以及各种I/O装置仿真器。一般，出于对性能或简单性的考虑常常不对总线仿真，并且虚拟外围设备直接与CPU或存储器子系统通信。
中央处理器模拟器常常是仿真器的最复杂的部分。很多的仿真器是采用″预封装″CPU模拟器来写的，以便专注于对特定机器的良好以及有效的仿真。CPU模拟器的最简单形式是解释器，该解释器遵循被仿真程序代码的执行流，并且对于遇到的每个机器码指令都在该主处理器上执行语义上相当于原指令的操作。
当在主计算机系统上对客户计算机系统仿真时，由于客户计算机系统在该主计算机系统中仅仅以硬件体系结构的操作的软件表示的形态存在，客户计算机系统被认为是虚拟机。术语″仿真器″和″虚拟机″有时可交地使用，以表示对整个计算机系统的硬件体系结构的模仿或仿真的能力。从而″仿真″涉及虚拟机的完整形式，其中完整的硬件体系结构被复制。不同于仅仅试图再现程序行为的″模拟″，″仿真″试图对被仿真的装置的状态建模。在主计算机(例如具有PowerPC处理器的计算机系统)的操作系统软件以及硬件体系结构上执行应用的仿真程序模仿整个客户计算机系统的操作。仿真程序作为在主机的硬件体系结构和由客户计算机系统的仿真环境内运行的软件传送的指令之间的互换。整个网络行业都在使用仿真，以测试在完全实施之前首次展示的新软件。
管理员目前通过有规律的备份来确保服务器状态。如果出现系统故障，管理员可以用较少的延迟使系统恢复在线。在备份实践中更加密集的任务是取得例如盘驱动器等环境的″映像(image)″。映像是包含数据存储介质或装置的完整的内容和结构的计算机文件。映像具有在环境故障的情况下不必复制该结构的优点。包含该结构的映像文件否定了这样做的需要，从而减少恢复或建立驱动器或环境的时间。
被仿真的计算机系统通常涉及虚拟硬盘驱动器映像的使用。为了给客户机操作系统仿真物理硬盘驱动器的存在，仿真程序创建了虚拟硬盘驱动器映像。该仿真程序将该虚拟硬盘驱动器映像呈现给客户机操作系统。客户机操作系统将从该虚拟硬盘驱动器映像引导，并且将为需要从硬盘驱动器读取或写入到硬盘驱动器的所有其它功能而参考虚拟硬盘驱动器映像。该虚拟硬盘驱动器映像常常作为计算机系统物理硬盘驱动器上的单个文件而存在。从而，客户计算机系统的虚拟硬盘驱动器的整个内容表示为主计算机系统的物理硬盘驱动器上的一个文件。
在目前的计算机表现测试中，管理员必须手动地创建不仅测试本身而且还有环境。通常，这种测试被设置在网络系统中的多个计算机上。对于每个可能的方案，必须存在用统一的方式呈现测试并且存档测试的方法，使得在没有对系统管理员过度负担的情况下随后可以给出该测试。在某些情况下，测试提供者可能需要几百个适当的测试实例以便从中采样。他们典型地寻找一种直接并且易管理的手段来提供这种测试。让系统管理员配置和重新配置测试平台是费力的，尤其考虑到对关于公司投资的更好回报的要求。所有这些可能是高费用的。
基于计算机表现的测试与多选格式测试相比可能同样是更加昂贵的，因为前者可能明显地要求更多的时间在对应答的适当性评估上。尽管可以设计测验的得分以提供有些粒度和离散的回答，然而由于对关于基于表现的测试可获得的建议方案的响应存在多个正确路径，明显正确的或错误的回答与多选测试相比通常更不常见。
需要对基于计算机表现的测试方法进行改进，使得该方法不要求许多的独立计算机的设置或对系统管理员在网络系统上配置和重新配置测试平台的普遍需要。此外，需要基于计算机表现的测试方法能够允许依据被指定进行测试的应试者来测试即兴管理。此外，需要能改进基于表现的测试的粒度以便更加充分地评价被测试者的技能的新方法。
发明内容
在此向多个应试者提供了一种计算机实现方法，用于利用软件来提供不同的基于表现的测试。这种方法包括在一个服务器上仿真操作系统以形成多个虚拟服务器映像。该多个虚拟服务器映像可以与表示多个不同的基于表现的测试的多个硬盘驱动器映像相关联。可使用多个虚拟服务器映像之一来执行多个应用映像以便允许与多个硬盘驱动器映像中的至少一个交互。可选地，至少一个仿真操作系统可以是相同族的操作系统的单独的实例，或可以是另一族操作系统的单独的实例，或者处于或不处于与基础操作系统相同族的操作系统中。该计算机实现方法还可以包括随机选择多个硬盘驱动器映像之一以便与虚拟服务器映像交互的步骤，其中例如虚拟硬盘驱动器映像中的一个或多个是字处理文档或图形描述。
一个实施例包括向应试者提供一组基于表现的测试的计算机实现系统，所述系统包括：具有基础操作系统的服务器；驻留在该服务器上的仿真器，该仿真器对操作系统族中的至少一个操作系统进行仿真；在操作上与仿真器相关联的数据存储装置，该数据存储装置存储可使用至少一个仿真操作系统执行的至少一个应用程序的映像，并且数据存储装置存储可使用至少一个仿真操作系统执行的多个不同的虚拟硬盘驱动器映像，每个虚拟硬盘驱动器在操作上被配置成向应试者描绘不同的方案。可选地，该仿真器的操作系统可以或不必与该服务器的操作系统不同。该仿真器可以是软件或硬件仿真器，或者可以包括硬件和软件二者。数据存储装置可以是服务器的一部分，也可以是该服务器的一部分或远离该服务器。一个或多个虚拟硬盘驱动器映像可以在操作上与两个或更多应用程序映像相关联。计算机实现系统还可以包括在操作上被配置成从多个虚拟硬盘驱动器映像之中随机地选择一个虚拟硬盘驱动器映像的随机选择软件。关于一个或多个虚拟硬盘驱动器的描绘可以要求来自应试者的一组应答。该计算机实现系统进一步包括定义一组规则以便针对该描绘自动地分析来自应试者的该组应答的适当性的程序。
另一实施例包括一种包含数据结构的计算机可读数据传输，包括：第一部分，识别由客户端向收容了多个虚拟服务器映像的服务器请求的虚拟服务器映像；第二部分，识别存储在与该服务器相关联的存储设备上的应用映像和硬盘驱动器映像，该存储设备收容了多个应用映像和与该应用映像相关联的硬盘驱动器映像。该传输进一步包括第三部分，用于将该客户端与其它客户端区分开来。
又一个实施例包括一种向第一用户和第二用户提供一组基于表现的测试的计算机实现方法，包括：采用在公用硬件体系结构上的共享硬件对操作系统、一个或多个应用软件程序和两个或更多硬盘驱动器进行仿真，以便产生与第一用户相关联的第一信号和与第二用户相关联的明显不同的第二信号；以及存储所述第一信号和所述第二信号。可选地，该仿真步骤可以使用虚拟化技术。该方法还可以包括传送第一信号和第二信号的步骤。该至少一个软件程序可以选自例如包括以下的组：字处理程序、图形处理程序、画图处理程序、视频处理程序或音频处理程序。
附图说明
图1以图解形式例示了本发明的示范性系统服务器；以及；
图2是用于计算机系统中的仿真操作环境的硬件和软件体系结构的逻辑层的图。
具体实施方式
在测试中对特定事实的知识的展示不等同于应试者以有意义的方式应用知识的能力。为了更加适当地判断学习和理解，建议使用基于表现的测试。一种类型的基于表现的测试是交互式计算机模拟，其中测试项目模拟特定软件产品的行为并且请求用户在该模拟内正确地执行指定功能。
与交互式计算机模拟相关联的问题是可能需要应试者针对不被设计成在相同的操作系统上运行的多个软件产品展示出效率。在过去，使用这些产品中的每一个的技能测试可能要求使用多个不同的计算机。然而，近来已经在这样的计算环境中开发出仿真策略，即该计算环境允许在公共的硬件部分上运行更多的根本不同族的软件程序之一。
图2例示用于计算机系统107中的示范性传统仿真操作环境的硬件和软件体系结构的逻辑层的图。仿真程序111运行在主机操作系统109和主机硬件体系结构108上。仿真程序111对包括客户机操作系统115的客户计算机系统113仿真。客户机软件应用117运行在客户机操作系统115上。在图2的仿真操作环境中，由于该仿真程序111的操作，客户机软件应用117可以运行在计算机系统107上，即使客户机软件应用117可能被设计成运行在一般与主机操作系统109和主机硬件体系结构108不兼容的操作系统上。
这种仿真策略允许诸如服务器的单个硬件部分被分离出来，以允许软件应用运行在公用硬件上，尽管这种应用正常地只能使用不同的操作系统来执行。
在本发明的实施例中，仿真策略被用来允许采用多个不同的软件应用与配置的操作系统无关地来挑战(challenge)各个应试者。例如，这种系统将允许采用MacIntosh画图程序以及Microsoft Word来测试应试者的技能。然而，在此认识到将服务器分成多个独立的虚拟服务器本身并不能克服基于表现的测试的管理员所面对的问题，即他们必须经常地对测试进行更新和重定格式(reformat)以确保后来的应试者不向先前的应试者学习。
为了克服这种问题，在一个实施例中提供了多个虚拟硬盘驱动器映像，其中的每一个都针对可由虚拟服务器宿留(host)的应用来执行的不同方案。该虚拟服务器映像可以将这种虚拟硬盘驱动器映像用于重建不同的应用环境，以及在同一应用内给不同的应试者提供不同的数据。通过改变不同的虚拟硬盘驱动器映像，可以重新使用虚拟服务器映像和改变其用途，由此显著地降低了开发基于性能的评价方案的成本。
例如，应试者试图展示他或她关于Visio或另一专有的画图程序的能力，该应试者可能被要求制备特定的图表或图画。如果应试者在电机工程公司的市场部门中谋职，与程序相关联的虚拟硬盘驱动器映像可能选自这样的一个或多个虚拟硬盘驱动器映像，其提出要求应试者在引入图画或制备流程图中展示熟练程度的方案。如果应试者谋职作为电机工程师，出于测试目的的该虚拟硬盘驱动器映像可能选自提出要求应试者制备电路图的方案的一个或多个虚拟硬盘驱动器映像。在所有情况下，采用画图程序来测试该应试者的能力，但是各个都面临着对他们在公司的预期任务来说是重要的现实方案。
在一个实施例中，出于应用的测试目的选择的特定虚拟硬盘驱动器映像可能是全部或部分地随机选择的。例如，一电机工程师应试者可能面临着用计算机起草一种类型的电路的任务，而另一应试者可能面临着用计算机起草另一种类型的电路的任务。可以用直接的方式(例如，电路图方案)来选择虚拟硬盘驱动器映像的初始选择；然而，最终选择使用哪个虚拟硬盘驱动器映像呈现在特定应试者面前可能是随机的。随机化在测试时或以后在防止一应试者影响另一应试者的应答上是有用的。
呈现给应试者的方案可能是用应试者执行的一系列命令或请求的形式。例如，应试者可能被请求使用软件程序来确定特定工程结构上的压力和张力、解决通过已出现的方案来表示的IT问题或总结为解决方案所必需的数据。
在一个实施例中，提供了自动对应试者对给定PBT的应答进行评分(grade)的软件程序。这种程序被配置成对照应答库来比较应答(按键等等)，每一个应答都被给予预定的点数分值(point grade value)。这种应答库可能编辑自先前的应答或当应试者进行PBT时被主动编辑(其中在其后添加适当的″评分″)。如果应试者的应答被发现不在库中，则可以要求手动评分。
现在转向图1，示出了本公开的示例性实施例系统服务器105。这种系统服务器105包括划分成多个虚拟服务器(例如，虚拟服务器号码1(10)至虚拟服务器号码N(10′))的服务器。每个虚拟服务器可以具有被授权具有访问该虚拟服务器的根(15、15′)入口的一个或多个用户(5、5′、5″、5′″和5″″)。每个虚拟服务器可以被设计成对可以利用不同系统库(35、35′)的不同系统软件(30、30′)进行仿真。系统库(35、35′)可以包括系统软件(30、30′)可以使用的许多预编辑例程的集合，并且这些预编辑例程允许链接至多个程序。
系统服务器105包括允许在该服务器上创建和执行不同的虚拟服务器(10至10′)的虚拟化软件层40。系统服务器105运行在其自己的、可能与虚拟服务器环境不同的主机操作系统45上。系统服务器105包括软件和硬件(50)组件二者，并且典型地在允许由多个工作站同时访问的网络环境(55)中运行。
每个虚拟服务器(10至10′)在操作上被配置成允许在多个应用映像(85/90至100)中和在多个虚拟硬盘驱动器映像(60、65、70、75至80)中选择，以允许用户(5、5′、5″、5′″和5″″)基于对虚拟服务器(10至10′)、应用映像(85/90至100)和虚拟硬盘驱动器映像(60、65、70、75至80)的选择针对用于各种应试者的任何应用程序来考虑不同的方案。可以完全或部分地随机选择虚拟硬盘驱动器映像(60、65、70、75至80)，以便在随机的基础上提供向应试者呈现的不同方案。通过随机改变应试者可能碰到的方案，不允许应试者欺骗或死记硬背地学习来通过测试。
关于优选实施例的声明
尽管已经相对于上文描述本发明，本领域技术人员将容易地理解在不脱离正如附加权利要求所定义的本发明的精神或范围的情况下可以作出各种改变和/或修改。

Claims (24)

1.一种向应试者提供一组基于表现的测试的计算机实现系统，所述系统包括：
具有基础操作系统的服务器；
驻留在所述服务器上的仿真器，所述仿真器对操作系统族中的至少一个操作系统进行仿真；
在操作上与所述仿真器相关联的数据存储装置，所述数据存储装置存储能使用所述至少一个被仿真的操作系统执行的至少一个应用程序的映像，并且所述数据存储装置存储能使用所述至少一个被仿真的操作系统执行的多个不同的虚拟硬盘驱动器映像，每个虚拟硬盘驱动器在操作上被配置成向所述应试者描绘不同的方案。
2.如权利要求1所述的计算机实现系统，其中所述仿真器的操作系统与所述服务器的基础操作系统不同。
3.如权利要求1所述的计算机实现系统，其中所述仿真器的操作系统并不与所述服务器的基础操作系统不同。
4.如权利要求1所述的计算机实现系统，其中所述仿真器是软件仿真器。
5.如权利要求1所述的计算机实现系统，其中所述仿真器是硬件仿真器。
6.如权利要求1所述的计算机实现系的，其中所述仿真器包括硬件和软件二者。
7.如权利要求1所述的计算机实现系统，其中所述数据存储装置是所述服务器的一部分。
8.如权利要求1所述的计算机实现系统，其中所述数据存储装置远离所述服务器。
9.如权利要求1所述的计算机实现系统，其中一个或多个虚拟硬盘驱动器映像在操作上与两个或更多应用程序映像相关联。
10.如权利要求1所述的计算机实现系统，进一步包括在操作上被配置成从多个虚拟硬盘驱动器映像之中随机地选择一个虚拟硬盘驱动器映像的随机选择软件。
11.如权利要求1所述的计算机实现系统，其中涉及一个或多个虚拟硬驱动的所述描绘要求来自所述应试者的一组应答。
12.如权利要求11所述的计算机实现系统，进一步包括定义一组规则的程序，该组规则用于针对所述描绘自动分析来自所述应试者的该组应答的适当性。
13.一种用于向多个应试者提供不同的利用软件的基于表现的测试的计算机实现方法，所述方法包括：
在一个服务器上对操作系统仿真，以便形成多个虚拟服务器映像；
使所述多个虚拟服务器映像中的每一个与表示多个不同的基于表现的测试的多个硬盘驱动器映像相关联，并且能使用所述多个虚拟服务器映像之一执行多个应用映像以便允许一个或多个应用映像与所述多个硬盘驱动器映像中的至少一个的交互。
14.如权利要求13所述的计算机实现方法，其中至少一个被仿真的操作系统处在与基础服务器操作系统相同的操作系统族中。
15.如权利要求13所述的计算机实现方法，其中至少一个被仿真的操作系统并不处在与基础服务器操作系统相同的操作系统族中。
16.如权利要求13所述的计算机实现方法，进一步包括：随机选择所述多个硬盘驱动器映像之一以便与所述虚拟服务器映像交互。
17.如权利要求13所述的计算机实现方法，其中所述虚拟硬盘驱动器映像中的一个或多个是字处理文档。
18.如权利要求13所述的计算机实现方法，其中所述虚拟硬盘驱动器映像中的一个或多个为图形描述。
19.一种包含数据结构的计算机可读数据传输，包括：
第一部分，识别客户端向收容了多个虚拟服务器映像的服务器请求的虚拟服务器映像；
第二部分，识别存储在与所述服务器相关联的存储设备上的应用映像和硬盘驱动器映像，所述存储设备收容了多个应用映像和与所述应用映像相关联的硬盘驱动器映像。
20.如权利要求19所述的计算机可读数据传输，进一步包括：
第三部分，用于将所述客户端与其它客户端区分开来。
21.一种向第一用户和第二用户提供一组基于表现的测试的计算机实现方法，包括：
采用在公用硬件体系结构之上的共享硬件对操作系统、一个或多个应用软件程序和两个或更多硬盘驱动器进行仿真，以产生与所述第一用户相关联的第一信号和与所述第二用户相关联的明显不同的第二信号；以及
存储所述第一信号和所述第二信号。
22.如权利要求21所述的计算机实现方法，其中仿真步骤采用了虚拟化技术。
23.如权利要求21所述的计算机实现方法，进一步包括传送所述第一信号和所述第二信号。
24.如权利要求21所述的计算机实现方法，其中至少一个软件程序选自包括以下的组：字处理程序、图形处理程序、画图处理程序、视频处理程序、音频处理程序。
CN200780039065A 2006-08-29 2007-08-27 使用仿真和虚拟化的基于表现的测试系统和方法 Pending CN101681267A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/468,250 2006-08-29
US11/468,250 US10013268B2 (en) 2006-08-29 2006-08-29 Performance-based testing system and method employing emulation and virtualization
PCT/US2007/076881 WO2008027831A2 (en) 2006-08-29 2007-08-27 Performance-based testing system and method employing emulation and virtualization

Publications (1)

Publication Number Publication Date
CN101681267A true CN101681267A (zh) 2010-03-24

Family

ID=39136754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780039065A Pending CN101681267A (zh) 2006-08-29 2007-08-27 使用仿真和虚拟化的基于表现的测试系统和方法

Country Status (7)

Country Link
US (2) US10013268B2 (zh)
EP (1) EP2069929A4 (zh)
JP (1) JP2010503024A (zh)
KR (1) KR20090095541A (zh)
CN (1) CN101681267A (zh)
MY (1) MY149469A (zh)
WO (1) WO2008027831A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253884A (zh) * 2011-05-12 2011-11-23 中兴通讯股份有限公司 模拟单板软件运行环境的方法及装置
CN106816057A (zh) * 2017-01-25 2017-06-09 公安部上海消防研究所 一种虚拟消防训练系统
CN110221926A (zh) * 2019-05-27 2019-09-10 中国电建集团华东勘测设计研究院有限公司 一种高拱坝浇筑进度仿真的隔离计算管理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5274075B2 (ja) * 2008-03-31 2013-08-28 キヤノン株式会社 画像形成装置、画像形成処理方法及びプログラム
KR101058993B1 (ko) 2009-10-26 2011-08-23 한국조폐공사 가상드라이브 방식의 스마트카드 테스트 장치 및 방법
CN102521092A (zh) * 2011-12-31 2012-06-27 曙光信息产业股份有限公司 硬盘测试方法和装置
WO2013123563A1 (en) * 2012-02-24 2013-08-29 Remasys Pty Ltd Router-based end-user performance monitoring
CN104951396B (zh) 2014-03-31 2018-01-30 国际商业机器公司 基于虚拟机创建软件性能测试环境的方法和装置

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4637797A (en) * 1985-01-11 1987-01-20 Access Learning Technology Corporation Software training system
US4772206A (en) * 1986-03-10 1988-09-20 International Business Machines Corporation Multi-mode teaching simulator
US4937036A (en) * 1986-04-28 1990-06-26 Xerox Corporation Concurrent display of data from two different display processors and user interface therefore
US5313620A (en) * 1989-04-06 1994-05-17 Bell Communications Research, Inc. Selective receiver for each processor in a multiple processor system
US5240419A (en) * 1991-07-15 1993-08-31 Hughes Training, Inc. Condition monitor request processing system
US5395243A (en) * 1991-09-25 1995-03-07 National Education Training Group Interactive learning system
US5481667A (en) * 1992-02-13 1996-01-02 Microsoft Corporation Method and system for instructing a user of a computer system how to perform application program tasks
US5493658A (en) * 1992-03-26 1996-02-20 International Business Machines Corporation Interactive online tutorial system with monitoring function for software products
EP0568386A3 (en) * 1992-05-01 1995-08-16 R Brent Johnson Console simulator, multi-console management system, and console management distribution system
DE69431386T2 (de) * 1993-10-05 2003-05-15 Seiko Epson Corp Verfahren und Gerät zur Erzeugung eines Programms für parallele Verarbeitung
US5597312A (en) * 1994-05-04 1997-01-28 U S West Technologies, Inc. Intelligent tutoring method and system
AU695912B2 (en) * 1994-06-07 1998-08-27 Skillsoft Ireland Limited A computer based training system
US5577186A (en) * 1994-08-01 1996-11-19 Mann, Ii; S. Edward Apparatus and method for providing a generic computerized multimedia tutorial interface for training a user on multiple applications
US5602982A (en) * 1994-09-23 1997-02-11 Kelly Properties, Inc. Universal automated training and testing software system
US5907696A (en) * 1996-07-03 1999-05-25 Cabletron Systems, Inc. Network device simulator
US5823781A (en) * 1996-07-29 1998-10-20 Electronic Data Systems Coporation Electronic mentor training system and method
US5816820A (en) * 1996-09-18 1998-10-06 Kelly Properties, Inc. Simulation generation system
US6246975B1 (en) * 1996-10-30 2001-06-12 American Board Of Family Practice, Inc. Computer architecture and process of patient generation, evolution, and simulation for computer based testing system
US6009256A (en) * 1997-05-02 1999-12-28 Axis Systems, Inc. Simulation/emulation system and method
US6347943B1 (en) * 1997-10-20 2002-02-19 Vuepoint Corporation Method and system for creating an individualized course of instruction for each user
US7016811B2 (en) * 2001-08-15 2006-03-21 National Instruments Corporation Network-based system for configuring a programmable hardware element in a measurement system using hardware configuration programs generated based on a user specification
CA2239666A1 (en) * 1998-06-04 1999-12-04 Hsin-Kuo Lee Digital traffic signal device
US6704764B1 (en) * 1998-06-18 2004-03-09 Hewlett-Packard Development Company, L.P. Method and apparatus for a servlet server class
US6219047B1 (en) * 1998-09-17 2001-04-17 John Bell Training agent
US6732220B2 (en) * 1999-02-17 2004-05-04 Elbrus International Method for emulating hardware features of a foreign architecture in a host operating system environment
US6340977B1 (en) * 1999-05-07 2002-01-22 Philip Lui System and method for dynamic assistance in software applications using behavior and host application models
US6850953B1 (en) * 1999-08-23 2005-02-01 Sun Microsystems, Inc. Creating multiple sets of data by spawning a secondary virtual machine
US6766311B1 (en) * 1999-11-09 2004-07-20 Worldcom, Inc. State transition system and method in interactive computer-based training
US6371765B1 (en) * 1999-11-09 2002-04-16 Mciworldcom, Inc. Interactive computer-based training system and method
US6386882B1 (en) * 1999-11-10 2002-05-14 Medtronic, Inc. Remote delivery of software-based training for implantable medical device systems
US6438353B1 (en) * 2000-03-29 2002-08-20 General Electric Method, system and storage medium for providing training to multiple users
US7047176B2 (en) * 2000-05-05 2006-05-16 Fujitsu Limited Method and system for hardware simulation
US6985937B1 (en) 2000-05-11 2006-01-10 Ensim Corporation Dynamically modifying the resources of a virtual server
US6990663B1 (en) 2000-06-08 2006-01-24 International Business Machines Corporation Hypervisor virtualization of OS console and operator panel
JP2001357221A (ja) * 2000-06-09 2001-12-26 Kensuke Taoka インターネット上のエミュレーション技術を利用したサービスの提供
JP2002007329A (ja) * 2000-06-20 2002-01-11 Nec Corp コンピュータシステム
AU2001273322A1 (en) * 2000-07-10 2002-02-05 Educational Testing Service System and methods for computer-based testing using network-based synchronization of information
US7506265B1 (en) * 2000-07-17 2009-03-17 Microsoft Corporation System and method for displaying images of virtual machine environments
TW470904B (en) * 2000-07-28 2002-01-01 Inventec Corp Interactive instruction system and method
CA2317825C (en) * 2000-09-07 2006-02-07 Ibm Canada Limited-Ibm Canada Limitee Interactive tutorial
US20020082858A1 (en) 2000-09-12 2002-06-27 Infolibria, Inc. Managing distribution and local execution of computing resources
US6884171B2 (en) * 2000-09-18 2005-04-26 Nintendo Co., Ltd. Video game distribution network
US6907569B1 (en) * 2000-10-25 2005-06-14 Adobe Systems Incorporated “Show me” user interface command with scroll tracking
US6813766B2 (en) 2001-02-05 2004-11-02 Interland, Inc. Method and apparatus for scheduling processes based upon virtual server identifiers
US6931366B2 (en) * 2001-03-29 2005-08-16 Ford Motor Company Method and apparatus for analyzing a design
US6968350B2 (en) 2001-04-07 2005-11-22 Microsoft Corporation Method for establishing a virtual hard drive for an emulated computer system running on a host computer system
US6944785B2 (en) 2001-07-23 2005-09-13 Network Appliance, Inc. High-availability cluster virtual server system
US7594220B2 (en) * 2001-08-14 2009-09-22 National Instruments Corporation Configuration diagram with context sensitive connectivity
US7200545B2 (en) * 2001-12-28 2007-04-03 Testout Corporation System and method for simulating computer network devices for competency training and testing simulations
US7089172B2 (en) * 2001-12-28 2006-08-08 Testout Corporation System and method for simulating a computer environment and evaluating a user's performance within a simulation
IL147560A0 (en) * 2002-01-10 2002-08-14 Sphera Technologies Ltd A method and system for hosting a plurality of dedicated servers
US7331791B2 (en) * 2002-03-05 2008-02-19 Novell, Inc. System and method for evaluating a person's information technology skills
US7080378B1 (en) 2002-05-17 2006-07-18 Storage Technology Corporation Workload balancing using dynamically allocated virtual servers
US7300285B2 (en) * 2002-05-24 2007-11-27 Smtm Technologies Llc Method and system for skills-based testing and training
JP2004021102A (ja) * 2002-06-19 2004-01-22 Eigyotatsu Kofun Yugenkoshi 会話練習システムおよびその方法
US7356771B2 (en) * 2002-07-09 2008-04-08 Openpages Adaptive content platform and method of using same
US7313793B2 (en) * 2002-07-11 2007-12-25 Microsoft Corporation Method for forking or migrating a virtual machine
US6782424B2 (en) 2002-08-23 2004-08-24 Finite State Machine Labs, Inc. System, method and computer program product for monitoring and controlling network connections from a supervisory operating system
US7299468B2 (en) * 2003-04-29 2007-11-20 International Business Machines Corporation Management of virtual machines to utilize shared resources
WO2004104825A1 (en) 2003-05-15 2004-12-02 Applianz Technologies, Inc. Systems and methods of creating and accessing software simulated computers
US7376949B2 (en) 2003-10-01 2008-05-20 Hewlett-Packard Development Company, L.P. Resource allocation and protection in a multi-virtual environment
US20050114595A1 (en) 2003-11-26 2005-05-26 Veritas Operating Corporation System and method for emulating operating system metadata to provide cross-platform access to storage volumes
US20060070067A1 (en) * 2004-06-03 2006-03-30 Dell Products L.P. Method of using scavenger grids in a network of virtualized computers
US7640543B2 (en) 2004-06-30 2009-12-29 Intel Corporation Memory isolation and virtualization among virtual machines
US7620895B2 (en) * 2004-09-08 2009-11-17 Transcensus, Llc Systems and methods for teaching a person to interact with a computer program having a graphical user interface
US20060085784A1 (en) * 2004-10-15 2006-04-20 Microsoft Corporation Systems and methods for authoring and accessing computer-based materials using virtual machines
US8221126B2 (en) * 2004-11-22 2012-07-17 Bravobrava L.L.C. System and method for performing programmatic language learning tests and evaluations
US8370819B2 (en) * 2005-03-25 2013-02-05 Microsoft Corporation Mechanism to store information describing a virtual machine in a virtual disk image
US20070033592A1 (en) * 2005-08-04 2007-02-08 International Business Machines Corporation Method, apparatus, and computer program product for adaptive process dispatch in a computer system having a plurality of processors

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253884A (zh) * 2011-05-12 2011-11-23 中兴通讯股份有限公司 模拟单板软件运行环境的方法及装置
CN102253884B (zh) * 2011-05-12 2016-05-11 中兴通讯股份有限公司 模拟单板软件运行环境的方法及装置
CN106816057A (zh) * 2017-01-25 2017-06-09 公安部上海消防研究所 一种虚拟消防训练系统
CN106816057B (zh) * 2017-01-25 2019-03-22 公安部上海消防研究所 一种虚拟消防训练系统
CN110221926A (zh) * 2019-05-27 2019-09-10 中国电建集团华东勘测设计研究院有限公司 一种高拱坝浇筑进度仿真的隔离计算管理方法

Also Published As

Publication number Publication date
JP2010503024A (ja) 2010-01-28
WO2008027831A2 (en) 2008-03-06
EP2069929A4 (en) 2012-06-13
US10628191B2 (en) 2020-04-21
EP2069929A2 (en) 2009-06-17
US10013268B2 (en) 2018-07-03
WO2008027831A3 (en) 2008-04-17
US20080070222A1 (en) 2008-03-20
KR20090095541A (ko) 2009-09-09
US20180293092A1 (en) 2018-10-11
MY149469A (en) 2013-08-30

Similar Documents

Publication Publication Date Title
US10628191B2 (en) Performance-based testing system and method employing emulation and virtualization
Leach Introduction to software engineering
Braude et al. Software engineering: modern approaches
Molyneaux The art of application performance testing: from strategy to tools
US6058493A (en) Logging and reproduction of automated test operations for computing systems
Rumeser et al. A systematic review of project management serious games: Identifying gaps, trends, and directions for future research
US20220107882A1 (en) Rendering engine component abstraction system
US20100047760A1 (en) Method and system for delivering performance based emulation testing
Matthies et al. Prof. CI: Employing continuous integration services and Github workflows to teach test-driven development
CN113837908A (zh) 一种基于课程的网络培训系统与方法
EP3432295A1 (en) Flight deck simulation and training system and method
Melani Black Box Testing Using Equivalence Partition Method in Sintana Application
Winner Challenges of automotive systems engineering for industry and academia
Rothwell et al. An interface for verification and validation of unmanned systems mission planning: Communicating mission objectives and constraints
Chou et al. An educational tool for visualizing students' program tracing processes
Staroverova et al. Development of a Virtual Training Simulator of an Assembly Machine for the Automobile Tires Manufacturing
Scacchi et al. Virtual system acquisition: approach and transition
Chemuturi Computer programming for beginners: A Step-by-Step Guide
Laverghetta et al. Test and evaluation of autonomous vehicles using simulated environments
Lyu et al. Simulated Troubleshooting of Civil Aircraft Based on Operation and Maintenance Database
Cem Kaner Carts before horses: Using preparatory exercises to motivate lecture material
Sørhus Applying Learning Analytics in the course TDT4100 at NTNU
Liu et al. A Practice of Flight Deck Evaluation in Civil Aircraft
Tiglao Virtual machine modules for use by DOD C4I support centers
Ufimtsev et al. Introducing performance engineering by means of tools and practical exercises.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100324