CN102736972B - 对待测试应用的测试例进行处理的方法和系统 - Google Patents

对待测试应用的测试例进行处理的方法和系统 Download PDF

Info

Publication number
CN102736972B
CN102736972B CN201110085746.3A CN201110085746A CN102736972B CN 102736972 B CN102736972 B CN 102736972B CN 201110085746 A CN201110085746 A CN 201110085746A CN 102736972 B CN102736972 B CN 102736972B
Authority
CN
China
Prior art keywords
application
tested
test case
software
sexual intercourse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110085746.3A
Other languages
English (en)
Other versions
CN102736972A (zh
Inventor
李中杰
潘永高
朱俊
田瑞雄
何乐
王庆波
田春华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to CN201110085746.3A priority Critical patent/CN102736972B/zh
Priority to US13/435,807 priority patent/US8850265B2/en
Publication of CN102736972A publication Critical patent/CN102736972A/zh
Application granted granted Critical
Publication of CN102736972B publication Critical patent/CN102736972B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种对待测试应用的测试例进行处理的方法和系统。该方法包括：评估至少两个待测试应用，以确定所述至少两个待测试应用相互之间的相容性关系；获取所述至少两个待测试应用的测试例，并确定所述至少两个待测试应用的测试例所需要的资源和执行时间；根据所述至少两个待测试应用之间的相容性关系、所述至少两个待测试应用的测试例所需要的资源和执行时间，聚类所述至少两个待测试应用的测试例到至少一个虚拟机实例，以在所述至少一个虚拟机实例上对所述至少两个待测试应用的测试例进行测试。根据本发明的各实施方式，能提高虚拟机实例的利用率。

Description

对待测试应用的测试例进行处理的方法和系统
技术领域
本发明的各实施方式涉及信息技术，更具体地，本发明的各实施方式涉及对待测试应用的测试例进行处理的方法和系统。
背景技术
企业的IT架构通常是非常复杂的，可能会包含以非常复杂的方式互相耦合的成百上千个应用。在这样的情况下，对应用进行测试是一项具有挑战性的工作。在整个软件开发预算中，测试是最大的资金和时间消耗方面之一。服务器的30％到50％专用于测试，并且大多数测试服务器的使用率小于10％。因此非常浪费资源。
已经有一些公司向用户提供云测试环境，用户可以在需要测试的时候使用这些公司的相应的测试环境，以节约资源。
在目前，应用云测试环境的通常做法是单独地根据测试各个应用所要求的原始的硬件和软件配置，将各个应用分配到具有相应配置的不同虚拟机(VM)实例。以这样的方式，避免了性能规划。但是，由于原始的硬件和软件配置可能没有很好规划，性能超出需求，因此会造成许多浪费。
发明内容
因此，需要一种克服上述问题的对待测试应用的测试例进行处理的方案。
根据本发明的一个方面，提出了一种对待测试应用的测试例进行处理的方法，包括：评估至少两个待测试应用，以确定所述至少两个待测试应用相互之间的相容性关系；获取所述至少两个待测试应用的测试例，并确定所述至少两个待测试应用的测试例所需要的资源和执行时间；根据所述至少两个待测试应用之间的相容性关系、所述至少两个待测试应用的测试例所需要的资源和执行时间，聚类所述至少两个待测试应用的测试例到至少一个虚拟机实例，以在所述至少一个虚拟机实例上对所述至少两个待测试应用的测试例进行测试。
根据本发明的第二方面，提出了一种对待测试应用的测试例进行处理的系统，包括：评估器，配置成评估至少两个待测试应用，以确定所述至少两个待测试应用相互之间的相容性关系；确定器，配置成获取所述至少两个待测试应用的测试例，并确定所述至少两个待测试应用的测试例所需要的资源和执行时间；聚类器，配置成根据所述至少两个待测试应用之间的相容性关系、所述至少两个待测试应用的测试例所需要的资源和执行时间，聚类所述至少两个待测试应用的测试例到至少一个虚拟机实例，以在所述至少一个虚拟机实例上对所述至少两个待测试应用的测试例进行测试。
根据本发明的各实施方式，能够将根据现有技术将分配到不同虚拟机实例的至少两个待测试应用的测试例分配到同一个性能满足要求的虚拟机实例，因此能提高虚拟机实例的利用率。
附图说明
通过以下结合附图的说明，并且随着对本发明实施方式的更全面了解，本发明实施方式的其他目的和效果将变得更加清楚和易于理解，其中：
图1示出了根据本发明的一个实施方式的对待测试应用的测试例进行处理的方法的流程图；
图2示意性地示出了确定的一个测试例的内存消耗情况；
图3示出了根据现有技术的将待测试应用A1的测试例和待测试应用A2的测试例分配到虚拟机实例的情形；
图4示出了根据本发明的实施方式的将待测试应用A1的测试例和待测试应用A2的测试例分配到虚拟机实例的情形；
图5示出了根据本发明的另一个实施方式的对待测试应用的测试例进行处理的方法的流程图；
图6示出了根据本发明的一个实施方式的对待测试应用的测试例进行处理的系统的框图；
图7示出了根据本发明的另一个实施方式的对待测试应用的测试例进行处理的系统的框图；
图8示出了根据本发明的一个实施方式的云计算节点；
图9示出了根据本发明的一个实施方式的云计算环境；以及
图10示出了根据本发明的一个实施方式的抽象模型层。
在所有的上述附图中，相同的标号表示具有相同、相似或相应的特征或功能。
具体实施方式
下面参考附图详细描述本发明的各实施方式。
附图中的流程图和框图，图示了按照本发明各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本发明的一个实施方式中，根据至少两个待测试应用之间的相容性关系、至少两个待测试应用的测试例所需要的资源和执行时间，聚类至少两个待测试应用的测试例到至少一个虚拟机实例，以在至少一个虚拟机实例上对至少两个待测试应用的测试例进行测试。
根据本发明的一个实施方式，消除了由于如下的行为所造成的可能的虚拟机实例利用率的浪费：由将可以驻留在一个虚拟机实例的多个待测试应用的测试例分配到不同的虚拟机实例。
图1示出了根据本发明的一个实施方式的对待测试应用的测试例进行处理的方法的流程图。如图1所示，该方法100包括步骤S110，评估至少两个待测试应用，以确定所述至少两个待测试应用相互之间的相容性关系；步骤S120，获取所述至少两个待测试应用的测试例，并确定所述至少两个待测试应用的测试例所需要的资源和执行时间；步骤S130，根据所述至少两个待测试应用之间的相容性关系、所述至少两个待测试应用的测试例所需要的资源和执行时间，聚类所述至少两个待测试应用的测试例到至少一个虚拟机实例，以在所述至少一个虚拟机实例上对所述至少两个待测试应用的测试例进行测试。
在一个实施方式中，至少两个待测试应用相互之间的相容性关系至少包括如下的一种：硬件相容性关系，和软件相容性关系。
硬件相容性关系指的是一个待测试应用所要求的硬件与另一个待测试应用所要求的硬件是否相容。
根据本发明的一个实施方式，基于两个待测试应用所要求的硬件的类型是否相同来确定两个待测试应用之间的硬件相容性关系。
当两个待测试应用所要求的硬件的类型相同时，确定两个待测试应用之间的硬件相容性关系为相容。
当两个待测试应用所要求的硬件的类型不相同时，确定两个待测试应用之间的硬件相容性关系为不相容。
例如，如果一个待测试应用要求CPU、内存、硬盘和交换机，而另外一个待测试应用要求CPU、内存、硬盘和网卡，则由于两个待测试应用所要求的硬件的类型不相同，确定在这两个待测试应用之间硬件相容性关系为不相容。
根据本发明的一个实施方式，还可以基于不同的类型的硬件的存在是否对两个待测试应用的执行造成影响来确定两个待测试应用之间的硬件相容性关系。
在一个待测试应用所要求的硬件的类型与另一个待测试应用所要求的硬件的类型不相同的情况下，当不同的类型的硬件的存在对两个待测试的应用的执行不会造成影响时，确定在这两个待测试应用之间的硬件相容性关系为相容；当不同的类型的硬件的存在对两个待测试的应用的执行造成影响时，确定在这两个待测试应用之间的硬件相容性关系为不相容。
例如，如果一个待测试应用要求CPU、内存、硬盘和交换机，而另外一个待测试应用要求CPU、内存、硬盘和网卡，并且如果对于这两个待测试应用来说，存在网卡和交换机对它们的执行并不会造成任何的影响，则确定在这两个待测试应用之间硬件相容性关系为相容；如果对于这两个待测试应用来说，存在网卡和交换机对它们的执行造成影响，则确定在这两个待测试应用之间硬件相容性关系为不相容。
当然，本领域的技术人员应当理解，还可以具有其他的用于确定两个待测试应用之间的硬件相容性关系的规则。
例如，在本发明的一个实施方式中，还可以基于两个待测试应用所要求的具体硬件是否相同来确定两个待测试应用之间的硬件相容性关系。
在一个待测试应用所要求的硬件的类型与另一个应用所要求的硬件的类型相同的情况下，当一个待测试应用所要求的具体硬件和另一个待测试应用所要求的具体硬件相同时，例如都要求DDR(双倍数据速率)2内存时，确定在这两个待测试应用之间硬件相容性关系为相容；当一个待测试应用所要求的具体硬件和另一个待测试应用所要求的具体硬件不相同时，例如一个待测试应用要求DDR2内存，另一个待测试应用要求DDR3内存时，确定在这两个待测试应用之间硬件相容性关系为不相容。
软件相容性关系指的是一个待测试应用所要求的软件与另一个待测试应用所要求的软件是否相容。
根据本发明的一个实施方式，基于两个待测试应用所要求的软件的类型是否相同来确定两个待测试应用之间的软件相容性关系。
当两个待测试应用所要求的软件的类型不相同时，确定两个待测试应用之间的软件相容性关系为不相容。
当两个待测试应用所要求的软件的类型相同时，确定两个待测试应用之间的软件相容性关系为相容。
例如，如果一个待测试应用要求如下软件：
操作系统、Web服务器、数据库、编译工具；
而另一个待测试应用要求如下软件：
操作系统、Web服务器、数据库、编译工具，
则由于两个待测试应用所要求的软件的类型相同，确定在这两个待测试应用之间软件相容性关系为相容。
在本发明的一个实施方式中，还基于两个待测试应用所要求的具体软件是否相同来确定两个待测试应用之间的软件相容性关系。
在一个待测试应用所要求的软件的类型与另一个待测试应用所要求的软件的类型相同的情况下，当一个待测试应用所要求的具体软件和另一个待测试应用所要求的具体软件相同时，例如都要求操作系统、WEB服务器、数据库、编译工具时，确定在这两个待测试应用之间软件相容性关系为相容；当一个待测试应用所要求的具体软件和另一个待测试应用所要求的具体软件不相同时，例如一个待测试应用要求操作系统、WEB服务器、数据库、编译工具，另一个待测试应用要求Linux操作系统、WEB服务器、数据库、编译工具时，确定在这两个待测试应用之间软件相容性关系为不相容。
在本发明的一个实施方式中，还基于两个待测试应用所要求的具体软件的版本是否兼容来确定两个待测试应用之间的软件相容性关系。
在一个待测试应用所要求的具体软件和另一个待测试应用所要求的具体软件相同的情况下，当一个待测试应用所要求的具体软件的版本和另一个待测试应用所要求的具体软件的版本兼容，即具体软件的较高版本包括该具体软件的较低版本的功能时，例如一个待测试应用要求7操作系统、7.0WEB服务器、10g数据库、4编译工具，另一个待测试应用要求XP操作系统、7.0WEB服务器、10g数据库、4编译工具，并且7操作系统与XP操作系统兼容，即7操作系统包括XP操作系统的功能时，确定在这两个待测试应用之间软件相容性关系为相容；当一个待测试应用所要求的具体软件的版本和另一个待测试应用所要求的具体软件的版本不兼容，即具体软件的较高版本不包括该具体软件的较低版本的某些功能时，确定在这两个待测试应用之间软件相容性关系为不相容。
根据本发明的一个实施方式，还基于两个待测试应用的配置是否冲突来确定两个待测试应用之间的软件相容性关系。
两个待测试应用的配置是否冲突的例子包括两个待测试应用的端口号配置是否冲突。
例如，当两个待测试应用都使用缺省8443端口号的情况下，就发生了配置冲突。
当两个待测试应用的配置冲突时，确定两个待测试应用之间的软件相容性关系为不相容。
当两个待测试应用的配置不冲突时，确定两个待测试应用之间的软件相容性关系为相容。
在本发明的一个实施例中，还基于两个待测试应用中的至少一个的配置是否可修改来确定两个待测试应用之间的软件相容性关系。
在两个待测试应用的配置冲突的情况下，当两个待测试应用中的至少一个的配置可修改时，确定两个待测试应用之间的软件相容性关系为相容；当两个待测试应用的配置都不可修改时，确定两个待测试应用之间的软件相容性关系为不相容。
当然，本领域的技术人员应当理解，还可以有其他的用于确定两个待测试应用之间的软件相容性关系的规则。
例如，在本发明的一个实施方式中，还基于不同的类型的软件的存在是否对两个待测试应用的执行造成影响来确定两个待测试应用之间的软件相容性关系。
在一个待测试应用所要求的软件的类型与另一个待测试应用所要求的软件的类型不相同的情况下，当不同的类型的软件的存在对两个待测试应用的执行不会造成影响时，确定两个待测试应用之间的软件相容性关系为相容；当不同的类型的软件的存在对两个待测试应用的执行造成影响时，确定两个待测试应用之间的软件相容性关系为不相容。
在本发明的一个实施方式中，还基于不同的具体软件的存在是否对两个待测试应用的执行造成影响来确定两个待测试应用之间的软件相容性关系。
在一个待测试应用所要求的具体软件与另一个待测试应用所要求的具体软件不相同的情况下，当不同的具体软件的存在对两个待测试应用的执行不会造成影响时，确定两个待测试应用之间的软件相容性关系为相容；当不同的具体软件的存在对两个待测试应用的执行造成影响时，确定两个待测试应用之间的软件相容性关系为不相容。
一般地，应用具有描述其硬件和软件要求的文档，可以通过程序读取该文档来获得上述硬件和软件要求。
另外，可以通过分析根据某种应用配置框架的每个应用的配置文件，来确定每个应用的配置是否冲突。
可以在应用相容性关系矩阵中存储多个待测试应用相互之间的相容性关系。
可以具有两个应用相容性关系矩阵，一个用于硬件，一个用于软件。
硬件相容性关系矩阵(MHW)记录了每对待测试应用之间的每个硬件要求项的相容性关系。表1示出了MHW的例子。
A1 A2 A3
A1 X (1，0) (0，1)
A2 X (0，0)
A3 X
表1
在该例子中，有三个待测试应用A1、A2、A3，且每个待测试应用有两个硬件要求项。[A1、A2]的元素(1，0)代表A1和A2的第一硬件要求项是相容的，但A1和A2的第二硬件要求项不相容。[A1、A3]的元素(0，1)代表A1和A3的第一硬件要求项不相容，但A1和A3的第二硬件要求项相容。[A2、A3]的元素(0，0)代表A2和A3的第一硬件要求项不相容，并且A2和A3的第二硬件要求项也不相容。
软件相容性关系矩阵(MSW)记录了每对待测试应用之间的每个软件要求项的相容性关系。其类似于MHW，这里不对其进行过多的描述。
返回步骤S120，在一个实施方式中，可以使用JProfiler确定至少两个待测试应用的测试例所需要的资源和执行时间。
在一个实施方式中，待测试应用的测试例所需要的资源可以包括如下的一种或多种：CPU、内存、存储容量。当然，本领域的技术人员应当理解，待测试应用的测试例所需要的资源不局限于上述三种，还可以包括其他资源，例如带宽等。
图2示意性地示出了确定的一个测试例的内存消耗情况。在图2中，横坐标表示时间，纵坐标表示消耗掉的内存。在图2中，标号210表示基准内存消耗，即，不运行测试例光运行应用就需要消耗的内存的量，标号220表示峰值内存消耗，标号230表示稳定内存消耗。
本领域的技术人员可以理解，确定的一个测试例的CPU消耗情况、存储空间消耗情况类似于图2中所描述的内存消耗情况。
在一个实施方式中，可以基于峰值资源消耗、稳定资源消耗或峰值资源消耗和稳定资源消耗的平均来将至少两个个待测试应用的测试例聚类到至少一个虚拟机实例。
在本发明的一个实施方式中，将至少两个待测试应用中相互之间的相容性关系为相容的待测试应用的测试例中相互之间所需要的资源和执行时间匹配的测试例，聚类到至少一个虚拟机实例。
这里，匹配指的是各测试例所需要的资源之和匹配于虚拟机实例提供的资源，例如各测试例所需要的资源之和等于或小于虚拟机实例提供的资源，并且各测试列的执行时间相同或相对于不匹配的测试例相差不多，从而可以提高虚拟机实例的利用率。
下述表2示出了确定的待测试应用A1的测试例T1和T2、待测试应用A2的测试例T1和T2、以及待测试应用A1和待测试应用A2的基准，即不运行任何测试例，就光运行待测试应用A1和A2，所消耗的CPU和内存资源和运行时间。
应用 测试例/基准 CPU(赫兹) 内存(比特) 运行时间
A 1 基准 0.5G 0.5G
T1 0.1G 0.4G 2天
T2 1G 0.5G 5天
A2 基准 0.3G 0.6
T1 0.3G 1G 4天
T2 0.1G 0.15G 2天
表2
如表2所示，待测试应用A1的基准消耗CPU0.5G，内存500M，待测试应用A1的测试列T1消耗CPU0.1G，内存400M，并需要运行2天，待测试应用A1的测试列T2消耗CPU1G，内存500M，并需要运行5天。待测试应用A2的基准消耗CPU0.3G，内存600M，待测试应用A2的测试列T1消耗CPU0.3G，内存1G，并需要运行4天，待测试应用A2的测试列T2消耗CPU0.1G，内存150M，并需要运行2天。
表3A-3C示出了相应的虚拟机实例提供的资源。
级别 CPU(赫兹) 内存(比特) 存储容量(比特)
小 1G 1.7G 160G
大 4G 7.5G 850G
超大 8G 15G 1690G
表3A
级别 CPU(赫兹) 内存(比特) 存储容量(比特)
超大 6.5G 17.1G 420G
双倍超大 13G 34.2G 850G
四倍超大 26G 68.4G 1690G
表3B
级别 CPU(赫兹) 内存(比特) 存储容量(比特)
中等 5G 1.7G 350G
超大 20G 7G 1690G
表3C
其中表3A是针对标准虚拟机实例的，表3B是针对高内存虚拟机实例的，而表3C是针对高CPU实例的。
如表3A所示，标准小虚拟机实例提供的资源为：1GCPU，1.7G内存，160G存储容量；标准大虚拟机实例提供的资源为：4GCPU，7.5G内存，850G存储容量；标准超大虚拟机实例提供的资源为：8GCPU，15G内存，1690G存储容量。
如表3B所示，高内存超大虚拟机实例提供的资源为：6.5GCPU，17.1G内存，420G存储容量；高内存双倍超大虚拟机实例提供的资源为：13GCPU，34.2G内存，850G存储容量；高内存四倍超大虚拟机实例提供的资源为：26GCPU，68.4G内存，1690G存储容量。
如表3C所示，高CPU中等虚拟机实例提供的资源为：5GCPU，1.7G内存，350G存储容量；高CPU超大虚拟机实例提供的资源为：20GCPU，7G内存，1690G存储容量。
并且，假定经过评估，待测试应用A1和待测试应用A2之间的硬件相容性关系和软件相容性关系都为相容。
图3示出了根据现有技术的将待测试应用A1的测试例和待测试应用A2的测试例分配到虚拟机实例的情形。
在现有技术中，将A1的测试例分配到一个虚拟机实例5天，而将A2的测试例分配到另一个虚拟机实例4天。
由于对于待测试应用A1来说，根据表2，总的CPU资源需求是0.5+0.1+1＝1.6G，总的内存资源需求是0.5+0.4G+0.5G＝1.4G，对于待测试应用A2来说，总的CPU资源需求是0.3+0.3G+0.1G＝0.7G，总的内存资源需求是0.6+1+0.15G＝1.75G。根据表3A-3C所示的虚拟机实例所提供的资源，将待测试应用A1的测试例和A2的测试例分别分配到标准大虚拟机实例。
图4示出了根据本发明的实施方式的将待测试应用A1的测试例和待测试应用A2的测试例分配到虚拟机实例的情形。
在一个实施方式中，根据表3A-3C所示的虚拟机实例所提供的资源，根据表2所示的待测试应用A1的测试例T1和T2、待测试应用A2的测试例T1和T2、以及待测试应用A1和待测试应用A2的基准的资源消耗情况和运行时间，并基于待测试应用A1和待测试应用A2之间的硬件相容性关系和软件相容性关系都为相容的假定，把待测试应用A1的测试例T2和待测试应用A2的测试例T1分配到表3A所示的标准大虚拟机实例5天，把待测试应用A1的测试例T1和待测试应用A2的测试例T2分配到表3A所示的标准小虚拟机实例2天。
与将待测试应用A1测试例和待测试应用A2测试例分别分配到标准大虚拟机实例5天和4天的现有技术相比，根据本发明的实施方式的把待测试应用A1的测试例T2和待测试应用A2的测试例T1分配到标准大虚拟机实例5天，把待测试应用A1的测试例T1和待测试应用A2的测试例T2分配到标准小虚拟机实例2天能明显地提高虚拟机的利用率，从占用二个标准大虚拟机实例5天和4天变成占用1个标准大虚拟机实例5天和1个标准小虚拟机实例2天。
图5示出了根据本发明的另一个实施方式的对待测试应用的测试例进行处理的方法的流程图。该方法500与图1中示出的根据本发明的一个实施方式的对待测试应用的测试例进行处理的方法100相比，还包括步骤S125。在步骤S125，基于某一规则(例如基于功能)，将测试例分组。也就是说，将执行相同功能的测试例分组到一起。并且，在步骤S130，以测试例组为粒度来聚类待测试应用的测试例到至少一个虚拟机实例。
例如，对于网店，测试例可以分组为用户管理测试例组、库存管理测试例组、购买测试例组、支付测试例组、客户服务测试例组、发货测试例组等等。在测试例组中的测试例在一个虚拟机实例上顺序地执行。为此，需要将测试例组中的所有测试例的资源消耗和执行时间相加来获得测试例组的资源消耗和执行时间。
图6示出了根据本发明的一个实施方式的对待测试应用的测试例进行处理的系统的框图。
如图6所示，该系统600包括：评估器610，配置成评估至少两个待测试应用，以确定所述至少两个待测试应用相互之间的相容性关系；确定器620，配置成获取所述至少两个待测试应用的测试例，并确定所述至少两个待测试应用的测试例所需要的资源和执行时间；聚类器630，配置成根据所述至少两个待测试应用之间的相容性关系、所述至少两个待测试应用的测试例所需要的资源和执行时间，聚类所述至少两个待测试应用的测试例到至少一个虚拟机实例，以在所述至少一个虚拟机实例上对所述至少两个待测试应用的测试例进行测试。
其中至少两个待测试应用相互之间的相容性关系至少包括如下的一种：硬件相容性关系，和软件相容性关系。
硬件相容性关系指的是一个待测试应用所要求的硬件与另一个待测试应用所要求的硬件是否相容。
根据本发明的一个实施方式，评估器610基于两个待测试应用所要求的硬件的类型是否相同来确定两个待测试应用之间的硬件相容性关系。
当两个待测试应用所要求的硬件的类型相同时，确定两个待测试应用之间的硬件相容性关系为相容。
当两个待测试应用所要求的硬件的类型不相同时，确定两个待测试应用之间的硬件相容性关系为不相容。
根据本发明的一个实施方式，评估器610还可以基于不同的类型的硬件的存在是否对两个待测试应用的执行造成影响来确定两个待测试应用之间的硬件相容性关系。
在一个待测试应用所要求的硬件的类型与另一个待测试应用所要求的硬件的类型不相同的情况下，当不同的类型的硬件的存在对两个待测试的应用的执行不会造成影响时，确定在这两个待测试应用之间的硬件相容性关系为相容；当不同的类型的硬件的存在对两个待测试的应用的执行造成影响时，确定在这两个待测试应用之间的硬件相容性关系为不相容。
在本发明的一个实施方式中，评估器610还可以基于两个待测试应用所要求的具体硬件是否相同来确定两个待测试应用之间的硬件相容性关系。
在一个待测试应用所要求的硬件的类型与另一个应用所要求的硬件的类型相同的情况下，当一个待测试应用所要求的具体硬件和另一个待测试应用所要求的具体硬件相同时，确定在这两个待测试应用之间硬件相容性关系为相容；当一个待测试应用所要求的具体硬件和另一个待测试应用所要求的具体硬件不相同时，确定在这两个待测试应用之间硬件相容性关系为不相容。
软件相容性关系指的是一个待测试应用所要求的软件与另一个待测试应用所要求的软件是否相容。
根据本发明的一个实施方式，评估器610基于两个待测试应用所要求的软件的类型是否相同来确定两个待测试应用之间的软件相容性关系。
当两个待测试应用所要求的软件的类型不相同时，确定两个待测试应用之间的软件相容性关系为不相容。
当两个待测试应用所要求的软件的类型相同时，确定两个待测试应用之间的软件相容性关系为相容。
在本发明的一个实施方式中，评估器610还基于两个待测试应用所要求的具体软件是否相同来确定两个待测试应用之间的软件相容性关系。
在一个待测试应用所要求的软件的类型与另一个待测试应用所要求的软件的类型相同的情况下，当一个待测试应用所要求的具体软件和另一个待测试应用所要求的具体软件相同时，确定在这两个待测试应用之间软件相容性关系为相容；当一个待测试应用所要求的具体软件和另一个待测试应用所要求的具体软件不相同时，确定在这两个待测试应用之间软件相容性关系为不相容。
在本发明的一个实施方式中，评估器610还基于两个待测试应用所要求的具体软件的版本是否兼容来确定两个待测试应用之间的软件相容性关系。
在一个待测试应用所要求的具体软件和另一个待测试应用所要求的具体软件相同的情况下，当一个待测试应用所要求的具体软件的版本和另一个待测试应用所要求的具体软件的版本兼容，即具体软件的较高版本包括该具体软件的较低版本的功能时，确定在这两个待测试应用之间软件相容性关系为相容；当一个待测试应用所要求的具体软件的版本和另一个待测试应用所要求的具体软件的版本不兼容，即具体软件的较高版本不包括该具体软件的较低版本的某些功能时，确定在这两个待测试应用之间软件相容性关系为不相容。
根据本发明的一个实施方式，评估器610还基于两个待测试应用的配置是否冲突来确定两个待测试应用之间的软件相容性关系。
当两个待测试应用的配置冲突时，确定两个待测试应用之间的软件相容性关系为不相容。
当两个待测试应用的配置不冲突时，确定两个待测试应用之间的软件相容性关系为相容。
在本发明的一个实施例中，评估器610还基于两个待测试应用中的至少一个的配置是否可修改来确定两个待测试应用之间的软件相容性关系。
在两个待测试应用的配置冲突的情况下，当两个待测试应用中的至少一个的配置可修改时，确定两个待测试应用之间的软件相容性关系为相容；当两个待测试应用的配置都不可修改时，确定两个待测试应用之间的软件相容性关系为不相容。
在本发明的一个实施方式中，评估器610还基于不同的类型的软件的存在是否对两个待测试应用的执行造成影响来确定两个待测试应用之间的软件相容性关系。
在一个待测试应用所要求的软件的类型与另一个待测试应用所要求的软件的类型不相同的情况下，当不同的类型的软件的存在对两个待测试应用的执行不会造成影响时，确定两个待测试应用之间的软件相容性关系为相容；当不同的类型的软件的存在对两个待测试应用的执行造成影响时，确定两个待测试应用之间的软件相容性关系为不相容。
在本发明的一个实施方式中，评估器610还基于不同的具体软件的存在是否对两个待测试应用的执行造成影响来确定两个待测试应用之间的软件相容性关系。
在一个待测试应用所要求的具体软件与另一个待测试应用所要求的具体软件不相同的情况下，当不同的具体软件的存在对两个待测试应用的执行不会造成影响时，确定两个待测试应用之间的软件相容性关系为相容；当不同的具体软件的存在对两个待测试应用的执行造成影响时，确定两个待测试应用之间的软件相容性关系为不相容。
其中每个待测试应用的每个测试例所需要的资源至少包括如下的一种或多种：CPU、内存、存储容量。
当然，本领域的技术人员应当理解，每个待测试应用的每个测试例所需要的资源不局限于上述三种，还可以包括其他资源，例如带宽等。
在本发明的一个实施方式中，聚类器630将至少两个待测试应用中相互之间的相容性关系为相容的待测试应用的测试例中相互之间所需要的资源和执行时间匹配的测试例，聚类到至少一个虚拟机实例。
这里，匹配指的是各测试例所需要的资源之和匹配于虚拟机实例提供的资源，例如各测试例所需要的资源之和等于或小于虚拟机实例提供的资源，并且各测试列的执行时间相同或相对于不匹配的测试例相差不多，从而可以提高虚拟机实例的利用率。
图7示出了根据本发明的另一个实施方式的对待测试应用的测试例进行处理的系统的框图。系统700与图6中示出的根据本发明的一个实施方式的对待测试应用的测试例进行处理的系统600相比，还包括分组器625。分组器625基于某一规则(例如基于功能)，将测试例分组。也就是说，将执行相同功能的测试例分组到一起。并且，聚类器630以测试例组为粒度来聚类待测试应用的测试例到一个或多个虚拟机实例。
本发明的各实施方式可以在云环境中实现。但是，应当明白，尽管本公开包括关于云计算的详细描述，本公开所记载的技术方案的实现却不限于云计算环境。本发明的实施例能够结合现在已知的或以后开发的任何其它类型的计算环境而实现。
云计算是一种服务交付模型，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源例如是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务，是以最小的管理成本或者最少的与服务提供者的交互就能快速提供和释放的资源。这种云模型可以包括至少五个特征，至少三个服务模型和至少四个部署模型。
特征如下：
按需自助式服务：云消费者能单方面自动地按需提供计算能力，诸如服务器时间和网络存储，而无需与服务提供者进行人工交互。
广泛的网络接入：云计算能力可在网络上获取，并且是通过标准机制获取的，标准机制促进通过不同种类瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理PDA)对云的使用。
资源池：将提供者的计算资源归入资源池，通过多租户(munti-tenant)模式服务于多重消费者，不同的实体资源和虚拟资源按照需要被动态地分配和再分配。因为消费者一般不控制甚至不知道所提供的资源的确切位置，但是可能在较高的抽象程度上指定位置(例如国家、州或数据中心)，所以有一种位置独立感。
迅速的弹性：能迅速和有弹性地(有时是自动地)提供计算资源，以实现快速地扩展并且能快速地释放。对于消费者来说，可用的计算资源常常显得是无限的，在任何时候都能获取任何数量的计算资源。
可测量的服务：云系统通过利用适于服务(例如存储、处理、带宽和活动用户帐号)类型的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。
服务模型如下：
软件即服务(SaaS)：给予消费者使用提供者在云基础架构上运行的应用的能力。应用是可通过诸如网络浏览器的瘦客户机接口从各种客户机设备访问的(例如基于网络的电子邮件)。可能除了是有限的特定于用户的应用配置设置外，消费者既不管理也不控制底层的云基础架构，包括网络、服务器、操作系统、存储、乃至单个应用能力。
平台即服务(PaaS)：向消费者提供的能力是在云基础架构上部署消费者创建的或获得的应用，这些应用是用提供者所支持的程序设计语言和工具创建的。消费者不管理或控制基础的云基础架构，包括网络、服务器、操作系统或存储，但是对所部署的应用具有控制权，对托管环境配置的应用也可能有控制权。
基础架构即服务(IaaS)：给予消费者提供处理、存储、网络和消费者能在其中部署和运行任意软件的基础计算资源的能力，其中软件可包括操作系统和应用程序。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和所部署的应用具有控制权，对选择的网络部件(例如主机防火墙)也可能拥有有限的控制权。
部署模型如下：
私有云：云基础架构是单独为某个组织运行的。云基础架构可以由该组织管理，也可以由第三方管理，可以存在于组织内，也可以存在于组织外。
共同体云：云基础架构被若干个组织共享，支持有共同利害关系(例如使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理，可以存在于组织内，也可以存在于组织外。
公共云：云基础架构向公众或大型产业群提供，并由出售云服务的组织拥有。
混合云：云基础架构是两个或更多的云(私有云、共同体云或公共云)的合成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。
云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础结构。
现在参考图8，图中显示了一个云计算节点的例子。云计算节点800仅仅是合适的云计算节点的一个示例，而并不意味着对本发明的实施例的功能和使用的范围的任何限制。总之，云计算节点800能够被实现和/或执行以上所述的任何功能。
在云计算节点800中有一个计算机系统/服务器812，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器812一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器812可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器812可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
如图8所示，云计算节点800中的计算机系统/服务器812是以通用计算设备的形式表现的。计算机系统/服务器812的部件可以包括但不限于：一个或者多个处理器或者处理单元816，系统存储器828，连接不同系统部件(包括系统存储器828和处理单元816)的总线818。
总线818表示几种类型的总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任何总线结构的局域总线。举例(但不限于这些示例)来说，这些体系结构包括工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围部件互连(PCI)总线。
计算机系统/服务器812典型地包括多种计算机系统可读介质。这些介质可以为可被计算机系统/服务器812访问的任何可获得的介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器828可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)830和/或高速缓存存储器832。计算机系统/服务器812可以进一步包括其它可以移动的/不可移动的，易失性/非易失性计算机系统存储介质。仅作为举例，存储系统834可以被提供用于读出和写入不可移动的、非易失性磁介质(未示出，通常称为“硬盘驱动器”)。尽管图中未示出，可以提供用于对可移动的非易失性磁盘(录入“软盘”)读写的磁盘驱动器，以及对可移动的非易失性光盘——诸如CD-ROM，DVD-ROM或者其它光介质——读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线818相连。如以下将进一步表示和描述的那样，存储器828可以包括至少一个程序产品，该程序产品有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
有一组(至少一个)程序模块842的程序/实用工具840，可以被存储在存储器828中，这样的程序模块842例如(但不限于)操作系统、一个或者多个应用程序、其它程序模块以及程序数据。操作系统、一个或者多个应用程序、其它程序模块、程序数据中的每一个或它们的某种组合中可能包括网络环境的实现。程序模块842通常执行这里描述的本发明的实施例中的功能和/或方法。
计算机系统/服务器812也可以与一个或多个外部设备814——诸如键盘、指向设备、显示器824等等——通信，与一个或者多个使用户能与计算机系统/服务器812交互的设备通信，和/或与使计算机系统/服务器812能与一个或多个其它计算设备通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口822进行。并且，计算机系统/服务器812还可以通过网络适配器820与一个或者多个网络——诸如局域网(LAN)，广域网(WAN)和/或公共网络(例如因特网)——通信。如图所示，网络适配器820通过总线818与计算机系统/服务器812的其它模块通信。应当明白，尽管图中未示出，其它硬件和/或软件模块可以与计算机系统/服务器812一起使用。例子包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统，等等。
现在参考图9，该图描述了示例性的云计算环境900。如图所示，云计算环境900包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点800，本地计算设备诸如个人数字辅助设备(PDA)或者是移动电话954A，台式电脑954B，笔记本电脑954C，和/或汽车计算机系统954N。节点800之间可以相互通信。可以在在一个或者多个网络——诸如如上所述的私有云、共同体云、公共云或混合云或者它们的组合——中，将节点800进行物理或者虚拟分组(图中未示出)。这允许云计算环境900提供云消费者无需在本地计算设备上维护资源就能请求的基础架构即服务、平台即服务和/或软件即服务。应当明白，图9示出的各类计算设备954A-N仅仅是示意性的，计算节点800以及云计算环境900可以与任何类型的网络上的和/或网络可寻址的连接上的任何类型的计算设备(例如使用网络浏览器)通信。
现在参考图10，该图示出了云计算环境900(图9)提供的一组功能抽象层。首先应当明白，图10所示的部件、层以及功能都仅仅是示意性的，本发明的实施例不限于此。如图所示，提供了下列层和对应功能：
硬件和软件层1060包括硬件和软件部件。硬件部件的例子包括：主机——例如系统；基于RISC(精简指令集计算机)体系结构的服务器——例如系统；系统；系统；存储设备；网络和网络部件。软件部件的例子包括：网络应用服务器软件——例如应用服务器软件；数据库软件——例如数据库软件。(IBM，zSeries，pSeries，xSeries，BladeCenter，WebSphere以及DB2是国际商业机器公司在全世界各地注册的商标)。
虚拟层1062提供一个抽象层，该层可以提供下列虚拟实体的例子：虚拟服务器、虚拟存储、虚拟网络(包括虚拟私有网络)、虚拟应用和操作系统，以及虚拟客户端。
在一个示例中，管理层1064可以提供下述功能：资源供应功能提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取，包括本发明中的应用测试；计量和定价功能在云计算环境内资源被使用时进行成本跟踪，并为这些资源的消费提供帐单和发票。在一个例子中，这些资源可以包括应用软件许可。安全功能为云消费者和任务提供身份认证，为数据和其它资源提供保护。用户门户为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能提供云计算资源的分配和管理，以满足必需的服务水平。服务水平协议(SLA)计划和履行功能为根据SLA的预测了未来需求的云计算资源提供预先安排和供应。
工作负载层1066提供了云计算环境可能实现的功能的示例。在该层中，可提供的工作负载或功能的示例包括：地图绘制与导航、软件开发及生命周期管理、虚拟教室的教学提供、数据分析处理、交易的处理、移动桌面等。
应当注意，为了使本发明更容易理解，上面的描述省略了对于本领域的技术人员来说是公知的，并且对于本发明的实现可能是必需的更具体的一些技术细节。
本领域的技术人员还应当理解，本发明不限于上面所描述的步骤，本发明也包括对上面所描述的步骤进行的组合、顺序变换等。本发明的最终范围由所附的权利要求限定。
提供本发明的说明书的目的是为了说明和描述，而不是用来穷举或将本发明限制为所公开的形式。对本领域的普通技术人员而言，许多修改和变更都是可以的。本领域技术人员还应该理解，可以通过软件，硬件，固件或者它们的结合的方式，来实现本发明实施例中的方法和装置。在优选实施方式中，本发明实现为软件，其包括但不限于固件、驻留软件、微代码等。本发明可以实现为一种计算机程序产品，包含存储在计算机可读的介质上的程序代码，其在被计算机执行时执行本发明实施例中所述的方法。出于描述目的，计算机可用或计算机可读机制可以是任何有形的装置，其可以包含、存储、通信、传播或传输程序以由指令执行系统、装置或设备使用或与其结合使用。
介质可以是电的、磁的、光的、电磁的、红外线的、或半导体的系统(或装置或器件)或传播介质。计算机可读介质的例子包括半导体或固态存储器、磁带、可移动计算机磁盘、随机访问存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。目前光盘的例子包括紧凑盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)和DVD。
因此，选择并描述实施方式是为了更好地解释本发明的原理及其实际应用，并使本领域普通技术人员明白，在不脱离本发明实质的前提下，所有修改和变更均落入由权利要求所限定的本发明的保护范围之内。

Claims (18)

1.一种对待测试应用的测试例进行处理的方法，包括：
评估至少两个待测试应用，以确定所述至少两个待测试应用相互之间的相容性关系；
获取所述至少两个待测试应用的测试例，并确定所述至少两个待测试应用的测试例所需要的资源和执行时间；
根据所述至少两个待测试应用之间的相容性关系、所述至少两个待测试应用的测试例所需要的资源和执行时间，聚类所述至少两个待测试应用的测试例到至少一个虚拟机实例，以在所述至少一个虚拟机实例上对所述至少两个待测试应用的测试例进行测试,
其中所述至少两个待测试应用相互之间的相容性关系至少包括硬件相容性关系和软件相容性关系中的一个。
2.根据权利要求1所述的方法，其中基于两个待测试应用所要求的硬件的类型是否相同来确定所述两个待测试应用之间的硬件相容性关系。
3.根据权利要求1所述的方法，其中基于两个待测试应用所要求的软件的类型是否相同来确定所述两个待测试应用之间的软件相容性关系。
4.根据权利要求3所述的方法，其中还基于两个待测试应用所要求的具体软件是否相同来确定所述两个待测试应用之间的软件相容性关系。
5.根据权利要求4所述的方法，其中还基于两个待测试应用所要求的具体软件的版本是否兼容来确定所述两个待测试应用之间的软件相容性关系。
6.根据权利要求5所述的方法，其中还基于两个待测试应用的配置是否冲突来确定所述两个待测试应用之间的软件相容性关系。
7.根据权利要求6所述的方法，其中还基于两个待测试应用中的至少一个的配置是否可修改来确定所述两个待测试应用之间的软件相容性关系。
8.根据权利要求1所述的方法，还包括：基于某一规则，将所述至少两个待测试应用的测试例分组，并且聚类所述至少两个待测试应用的测试例到至少一个虚拟机实例包括以所述测试例组为粒度来聚类所述至少两个待测试应用的测试例到至少一个虚拟机实例。
9.根据权利要求1所述的方法，其中将所述至少两个待测试应用中相互之间的相容性关系为相容的待测试应用的测试例中相互之间所需要的资源和执行时间匹配的测试例，聚类到所述至少一个虚拟机实例。
10.一种对待测试应用的测试例进行处理的系统，包括：
评估器，配置成评估至少两个待测试应用，以确定所述至少两个待测试应用相互之间的相容性关系；
确定器，配置成获取所述至少两个待测试应用的测试例，并确定所述至少两个待测试应用的测试例所需要的资源和执行时间；
聚类器，配置成根据所述至少两个待测试应用之间的相容性关系、所述至少两个待测试应用的测试例所需要的资源和执行时间，聚类所述至少两个待测试应用的测试例到至少一个虚拟机实例，以在所述至少一个虚拟机实例上对所述至少两个待测试应用的测试例进行测试,
其中所述至少两个待测试应用相互之间的相容性关系至少包括硬件相容性关系和软件相容性关系中的一个。
11.根据权利要求10所述的系统，其中所述评估器基于两个待测试应用所要求的硬件的类型是否相同来确定所述两个待测试应用之间的硬件相容性关系。
12.根据权利要求10所述的系统，其中所述评估器基于两个待测试应用所要求的软件的类型是否相同来确定所述两个待测试应用之间的软件相容性关系。
13.根据权利要求12所述的系统，其中所述评估器还基于两个待测试应用所要求的具体软件是否相同来确定所述两个待测试应用之间的软件相容性关系。
14.根据权利要求13所述的系统，其中所述评估器还基于两个待测试应用所要求的具体软件的版本是否兼容来确定所述两个待测试应用之间的软件相容性关系。
15.根据权利要求14所述的系统，其中所述评估器还基于两个待测试应用的配置是否冲突来确定所述两个待测试应用之间的软件相容性关系。
16.根据权利要求15所述的系统，其中所述评估器还基于两个待测试应用中的至少一个的配置是否可修改来确定所述两个待测试应用之间的软件相容性关系。
17.根据权利要求10所述的系统，还包括：
分组器，配置成基于某一规则，将所述至少两个待测试应用的测试例分组，并且聚类器以所述测试例组为粒度来聚类所述至少两个待测试应用的测试例到至少一个虚拟机实例。
18.根据权利要求10所述的系统，其中聚类器将所述至少两个待测试应用中相互之间的相容性关系为相容的待测试应用的测试例中相互之间所需要的资源和执行时间匹配的测试例，聚类到所述至少一个虚拟机实例。
CN201110085746.3A 2011-03-30 2011-03-30 对待测试应用的测试例进行处理的方法和系统 Expired - Fee Related CN102736972B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110085746.3A CN102736972B (zh) 2011-03-30 2011-03-30 对待测试应用的测试例进行处理的方法和系统
US13/435,807 US8850265B2 (en) 2011-03-30 2012-03-30 Processing test cases for applications to be tested

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110085746.3A CN102736972B (zh) 2011-03-30 2011-03-30 对待测试应用的测试例进行处理的方法和系统

Publications (2)

Publication Number Publication Date
CN102736972A CN102736972A (zh) 2012-10-17
CN102736972B true CN102736972B (zh) 2016-03-09

Family

ID=46928939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110085746.3A Expired - Fee Related CN102736972B (zh) 2011-03-30 2011-03-30 对待测试应用的测试例进行处理的方法和系统

Country Status (2)

Country Link
US (1) US8850265B2 (zh)
CN (1) CN102736972B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960645A (zh) * 2017-12-22 2019-07-02 迈普通信技术股份有限公司 脚本测试方法、装置及脚本测试系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103795582A (zh) * 2012-10-30 2014-05-14 上海今日在线科技发展有限公司 一种基于云服务平台实现的测试方法
CN103795744A (zh) * 2012-10-30 2014-05-14 上海今日在线科技发展有限公司 一种在线测试云服务平台
CN104144084B (zh) * 2013-05-10 2017-12-01 腾讯科技（深圳）有限公司 终端状态的监控方法及装置
CN103645989B (zh) * 2013-12-26 2017-04-19 大唐移动通信设备有限公司 一种测试用例所需测试资源的分析装置以及方法
CN104750537B (zh) * 2013-12-31 2020-07-14 腾讯科技（深圳）有限公司 一种执行测试用例的方法和装置
US10042747B2 (en) 2014-11-12 2018-08-07 International Business Machines Corporation System and method for determining requirements for testing software
CN106095690A (zh) * 2016-06-23 2016-11-09 维沃移动通信有限公司 应用的测试方法及移动终端
KR20180075073A (ko) * 2016-12-26 2018-07-04 삼성전자주식회사 사물인터넷 프레임워크 및 이의 운영 방법
US10613856B2 (en) * 2017-08-24 2020-04-07 International Business Machines Corporation Automatic machine-learning high value generator
US20200050540A1 (en) * 2018-08-10 2020-02-13 International Business Machines Corporation Interactive automation test
CN111240794B (zh) * 2018-11-28 2023-06-13 阿里巴巴集团控股有限公司 容器镜像提取方法、装置以及容器镜像测试方法、装置
US11397667B2 (en) * 2020-02-20 2022-07-26 Accenture Global Solutions Limited Software test case sequencing
WO2021189229A1 (en) * 2020-03-24 2021-09-30 Citrix Systems, Inc. Inter-application relevance management for application virtualization platform
CN112579454B (zh) * 2020-12-23 2023-02-24 武汉木仓科技股份有限公司 一种任务数据的处理方法、装置以及设备
CN112835788B (zh) * 2021-01-13 2023-10-27 哈尔滨工程大学 一种评估Linux应用程序与操作系统兼容性的方法
CN115865193B (zh) * 2023-02-27 2023-05-09 中国人民解放军火箭军工程大学 一种用于反射内存组网性能测试的装置及其方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655817A (zh) * 2009-09-24 2010-02-24 成都市华为赛门铁克科技有限公司 图形用户界面测试方法及测试装置
CN101814055A (zh) * 2010-04-06 2010-08-25 南京大学 一种测试用例聚类取样方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805795A (en) * 1996-01-05 1998-09-08 Sun Microsystems, Inc. Method and computer program product for generating a computer program product test that includes an optimized set of computer program product test cases, and method for selecting same
US7039912B1 (en) * 1998-05-12 2006-05-02 Apple Computer, Inc. Integrated computer testing and task management systems
US7917895B2 (en) * 2001-07-27 2011-03-29 Smartesoft, Inc. Automated software testing and validation system
US7213175B2 (en) * 2002-01-09 2007-05-01 Microsoft Corporation Methods and systems for managing an application's relationship to its run-time environment
US7627312B2 (en) * 2005-02-03 2009-12-01 Satyam Computer Services Ltd. System and method for self-testing of mobile wireless devices
US7694181B2 (en) * 2005-12-12 2010-04-06 Archivas, Inc. Automated software testing framework
US9294296B2 (en) 2007-10-31 2016-03-22 Hewlett Packard Enterprise Development Lp Automated test execution in a shared virtualized resource pool
JP5119027B2 (ja) * 2008-03-31 2013-01-16 株式会社野村総合研究所 情報処理装置およびプログラム解析方法
US8191048B2 (en) * 2008-11-21 2012-05-29 Oracle America, Inc. Automated testing and qualification of software-based, network service products
US20100180260A1 (en) * 2009-01-10 2010-07-15 TestingCzars Software Solutions Private Limited Method and system for performing an automated quality assurance testing
CN101996117B (zh) * 2009-08-27 2014-02-12 鸿富锦精密工业（深圳）有限公司 计算机测试系统及方法
US20130275946A1 (en) * 2012-04-16 2013-10-17 Oracle International Corporation Systems and methods for test development process automation for a test harness

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655817A (zh) * 2009-09-24 2010-02-24 成都市华为赛门铁克科技有限公司 图形用户界面测试方法及测试装置
CN101814055A (zh) * 2010-04-06 2010-08-25 南京大学 一种测试用例聚类取样方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960645A (zh) * 2017-12-22 2019-07-02 迈普通信技术股份有限公司 脚本测试方法、装置及脚本测试系统

Also Published As

Publication number Publication date
US20120254660A1 (en) 2012-10-04
US8850265B2 (en) 2014-09-30
CN102736972A (zh) 2012-10-17

Similar Documents

Publication Publication Date Title
CN102736972B (zh) 对待测试应用的测试例进行处理的方法和系统
CN103946831B (zh) 用于模板的成本感知的选择以供应共享资源的系统和方法
CN104731658B (zh) 供应和合并共享资源以最大化资源可用性的方法和系统
CN104424013B (zh) 在计算环境中部署虚拟机的方法和设备
CN103299274B (zh) 确定运行图像的最佳计算环境的系统和方法
CN104765620B (zh) 一种程序模块部署的方法和系统
CN102759979B (zh) 一种虚拟机能耗估计方法及装置
CN105051693B (zh) 管理计算机服务器能力的方法、装置和系统
CN103455486B (zh) 安置数据库的方法和系统
US10467128B2 (en) Measuring and optimizing test resources and test coverage effectiveness through run time customer profiling and analytics
CN104067265B (zh) 用于支持在云中的安全应用部署的系统和方法
CN103677998B (zh) 虚拟化计算环境中的资源分配方法和系统
CN104866513A (zh) 用于跨租户数据访问的系统和方法
CN104216662B (zh) 用于跨远程复制关系的卷布置的方法和系统
CN103238138A (zh) 用于云环境中的分区部署/重部署的网络接口
CN103379114A (zh) 用于在MapReduce系统中保护隐私数据的方法和装置
CN104679591A (zh) 用于在云环境中进行资源分配的方法和装置
CN103716347B (zh) 建立虚拟机的方法、装置和云服务器
CN102981908A (zh) 用于从预先供应的虚拟机池选择虚拟机的方法和系统
CN103593755A (zh) 授权计算资源访问的方法和系统
CN103814358A (zh) 服务器群内的虚拟机放置
CN105446793A (zh) 迁移虚拟资产的方法和设备
US20210034374A1 (en) Determining optimal compute resources for distributed batch based optimization applications
CN103226518A (zh) 一种在存储管理系统中进行卷扩展的方法和装置
US10686720B2 (en) Integrated capacity and architecture design tool

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160309

Termination date: 20210330

CF01 Termination of patent right due to non-payment of annual fee