CN101484881A

CN101484881A - 用于软件测试的方法和系统

Info

Publication number: CN101484881A
Application number: CNA2007800254133A
Authority: CN
Inventors: J·本特森; N·哈格曼; M·托恩达尔
Original assignee: Telefonaktiebolaget LM Ericsson AB
Current assignee: Telefonaktiebolaget LM Ericsson AB
Priority date: 2006-07-05
Filing date: 2007-07-05
Publication date: 2009-07-15
Anticipated expiration: 2027-07-05
Also published as: EP1876532A1; US20090204851A1; CN101484881B; WO2008003764A2; WO2008003764A3

Abstract

用于测试软件的系统和方法，包括自含式软件代码容器。自含式软件代码容器包括描述功能的软件代码、用于监控测试环境的探查监视、用于在内部处理发生的错误的本地错误处理器、用于在软件代码的执行期间分析功能软件的性能并将结果输出到执行控制块的分析块和结果块。

Description

用于软件测试的方法和系统

技术领域

本发明涉及软件测试，特别地，涉及电信系统中的软件验证。

背景

当用于电信的新的软件和系统被开发时，它们需要被验证以保证它们满足系统的需求。测试系统的一种常见方式是，让测试者检查所有不同的用例(UCUse Case)，其中UC是系统需求规范，并且每个UC可以是单个功能，例如语音呼叫、“无线应用协议”(WAP)、多媒体消息系统(MMS Multimedia MessagingSystem)、“无线一键通”(PoC Push to talk Over Cellular)等等。还可以是同时被测试的若干功能的组合，也被称为并发(concurrency)用例，但也可以是性能用例，其中若干功能被同时地且重复地测试。功能需要被单独地测试并且与其他功能联合地测试，从而产生大量的不同的组合以及代码开发的相应需求。因此，一个新的功能可能导致成倍的新测试用例(test case)或组合需要在测试执行开始之前被开发和验证。

当多种形式的新功能被实现到电信系统软件中的时候，不同功能的组合几乎都潜在地增加，并且因此需要被编写(compose)并在所实现的电信系统软件上测试的TC的数量、以及因此在测试系统中测试软件可能需要被修改的位置的数量，都会潜在地增加。另一个方面是，在测试期间由于测试环境中的问题而发生的错误，在测试期间这些错误通常不会被直接监控(monitor)。因此，网络或平台状态，例如，通常在测试期间不会被监控。因此与网络问题或故障相关的任何错误，以及移动平台状态和发生在移动平台中的错误，需要通过测试日志的人工分析来识别。然而，这种人工分析是非常耗时的。

在所属技术领域中，用于使测试不同硬件和软件的方式系统化的许多不同的方式已经被开发出来。在WO-A2-03/09691中，公开了用于测试包含若干模块的应用的系统和方法。该系统通过测试用例与输入数据相关，以使得每个模块可以为每个测试用例提供不同的数据。控制器执行所述模块并为所述模块确定执行次序。所公开的系统和方法缺少对被测测试用例的参数的监控，并且看起来更适合作为规划工具而不是真正的测试工具。在WO-A2-02/056541中，公开了用于测试通信网络组件的方法和系统。该系统包括包含类属过程(genericprocedure)的类属包(generic package)，所述类属过程跨越设备特定的封包(package)以执行公共功能，例如启动和清除。因此能够使用类属命令为公共过程写测试用例。所公开的系统和方法为过程的某些部分提供公共代码语言的平台，但是对于待测试的增加功能、或代码的每次改变而言仍然需要编码。

需要一种测试工具，其在不需要为功能被测试之处的每一用例而对相同功能进行编码的情况下实现对大量的不同用例的测试。还存在对在测试期间监控特定参数的可能性的需求，以使得那些并非由于被测软件或用例的缘故而失败的失败测试能够被从测试数据中自动分离出来。

发明内容

本发明的一个目标是，提供用于高效测试软件功能的手段。

根据第一方面，提供了一种在测试环境中测试软件的方法。根据该方法，启动执行控制块。执行控制块执行至少一个测试用例的一个或多个自含式(self-contained)软件代码容器(container)。执行所述一个或多个自含式软件代码容器的第一自含式软件代码容器的软件。第一自含式软件代码容器的分析器块监控第一自含式软件代码容器的功能块的执行。所述功能块包含待测试的编码功能。第一自含式软件代码容器的探查(probe)监视(surveillance)块监控测试环境的参数。第一自含式软件代码容器的本地错误处理器(handler)块在本地处理第一自含式软件代码容器内部的错误。第一自含式软件代码容器的结果块从探查监视块和分析器块收集数据。结果块进一步根据所收集的数据产生测试结果数据。所产生的测试结果数据被输出到执行控制块。

该方法可能包括与第一自含式软件代码容器的软件并行或在其之后执行第二或更多自含式软件代码容器的软件。

本地错误处理器块可以产生错误数据。所述错误数据可以被输出到执行控制块。

执行控制块可以响应于来自第一自含式软件代码容器的信号，而使第二自含式软件代码容器的软件的执行同步。

根据第二方面，一种计算机程序产品包含计算机程序代码装置，用于在所述计算机程序代码装置由具有计算机能力的电子设备运行时，执行所述方法。

根据第三方面，一种计算机可读介质，具有存储于其上的计算机程序产品，所述计算机程序产品包括计算机程序代码装置，用于当所述计算机程序代码装置由具有计算机能力的电子设备运行时，执行所述方法。

根据第四方面，提供一种在测试环境中测试软件的系统。该系统包含自含式软件代码容器。每个自含式软件代码容器包括包含待测试的编码功能的功能块。每个自含式软件代码容器进一步包含探查监视块、分析器块、结果块以及本地错误处理器块。探查监视块适合于监控测试环境的参数。分析器块适合于分析功能块的执行数据。结果块适合于从探查监视块和分析器块收集数据，以及根据所述来自探查监视块和分析器块的数据产生测试结果数据。本地错误处理器块适合于处理自含式软件代码容器中的内部错误。该系统进一步包含执行控制块，适合于通过组合一个或多个自含式软件代码容器而形成测试用例。此外，执行控制块被安排为接收由一个或多个自含式软件代码容器的结果块所产生的测试结果数据。

执行控制块可适合于使一个或多个自含式软件代码容器的执行同步。

每个自含式软件代码容器的本地错误处理器块可适合于产生并输出错误数据。执行控制块可被安排为接收所述错误数据。

本地错误处理器块可适于清除错误并依次地(orderly)终止它被包含于其中的自含式软件代码容器的执行。

一些实施例的优势在于，提供一种测试系统，所述测试系统能够系统地处理每个用例以使得每个用例仅需被编码一次。此外，一些实施例的优势在于，提供一种测试方法，所述测试方法能够系统地处理每个用例以使得每个用例仅需被编码一次。

附图简述

在下面，将参考随附的附图来对本发明进行解释，其中：

图1是根据本发明的自含式软件代码容器的概观；

图2是使用根据本发明的自含式软件代码容器的测试集(test suite)执行的概观；

图3示出了使用根据本发明的自含式软件代码容器的功能测试的例子；

图4示出了使用根据本发明的自含式软件代码容器的并发(concurrency)测试的例子；

图5示出了使用根据本发明的自含式软件代码容器的性能测试的例子；

图6是根据本发明的自含式容器的详细描述；以及

图7示出了根据本发明的自含式软件代码容器的执行的流程图。

详细描述

本发明的思想是要创建高智能的自含式软件代码容器，也叫做S3C。如根据本发明所使用的自含式软件代码容器是一种虚拟并且独立的单元，包含计算机编码的不同块，每个块代表与自含式软件代码容器内的其他块互连的一种功能、一种工具等，并且具有将被连接到测试系统的输入和输出连接器。自含式软件代码容器包含描述特定功能的计算机代码，例如语音呼叫、“无线应用协议”(WAP)或多媒体消息系统(MMS)。它还进一步包含用于处理在测试期间发生在容器内部的错误的系统；用于监控影响测试的被测系统的特定参数的探查监视；以及用于对该自含式软件代码容器内部所描述或编码的功能的性能进行分析的数据分析。

执行控制块(ECB)，结合不同的自含式软件代码容器，以便为不同的测试目的创建测试用例(TC)或测试集。每个S3C能够与任何其他的S3C结合以创建高度复杂的系统测试。ECB将作为用于结合S3C以形成不同TC的管理单元或测试管理器而工作。

每个功能以及该功能的所有变化都仅被包含在一个S3C中。因此，如果特定功能需要被重编程或重编码，那么仅需要对包含该特定功能的单个S3C进行编程或重编程。所述变化可能是由于错误报告、升级的API接口、分析方法中的改变等等而引起的。每个功能可以包含若干不同的下级功能或子功能，例如语音呼叫功能包括例如建立语音呼叫、接通语音呼叫以及结束语音呼叫等等之类的子功能。

为了保证S3C中包含的功能代码都遵照其规定的要求，并且任何未修改的代码都没有受到S3C内部的其他改变的影响，用于监控在待测试的软件中激活的电信软件探针(probe)的装置(换言之，一种质量控制方案)被纳入S3C中。软件监视探针允许在软件或测试系统被执行期间，实时地观察或跟踪在测试中的软件代码中的变量。通常该软件探查监视功能监控系统的状态，其中该S3C中所包含的不同功能在该系统上测试。该探查监视能够监控系统的任意状态，数据流、无线电网络中的异常或任何其他重要的系统行为。

图1中示出了S3C的概观。S3C包含若干个输入/输出连接，用来为S3C提供输入数据、错误数据、同步数据等等。它还进一步包括探查监视块、建立块、功能块、分析器块、结果块以及本地错误处理器块。

探查监视块监控测试环境的参数。例如，探查监视块监控在测试中的设备或软件的基本功能，例如网络状态、存储器测量、CPU负荷以及系统的其他一般参数。探查监视块还为S3C中的特定功能块启动测试和验证平台(TVP)探针。探查监视块在S3C执行期间启动并监控TVP探测点。然后探查监视数据在结果块中被分析。

建立块包含在S3C中包含的功能被执行之前初始化和建立所用的信息。它还包含关于如何建立特定功能的不同变化的信息，例如，呼叫建立可以是GSM呼叫、WCDMA呼叫等等。

功能块包含编码功能，例如，语音呼叫功能。它还进一步包括信号，例如能够被用于不同S3C之间的同步的S3C触发信号以及S3C确认信号。

分析器块分析与被执行的功能有关的信息，或执行数据。该信息可以是用于语音呼叫的音频质量测量，用于语音呼叫的音频&视频同步分析，等等。

结果块收集来自分析器块和探查监视块的数据。所收集的数据或信息被组合并评价，以便获取测试结果。从结果块得到的典型结果是S3C的功能通过测试、失败或者出现了测试环境错误。结果块还报告S3C的结果、测试的日志、或者发生了宕机dump)。

智能本地错误处理器块处理S3C中的内部错误，例如测试对象的意外行为。如果发生了错误，则本地错误处理器将清除并以结构的方式终止该S3C功能的执行。

如从图1中所理解的那样，S3C的不同块彼此连接，以便一起实现上述的自含式软件代码容器功能。每个S3C都将由相应的块构建而成。

现在将说明S3C的不同的应用。所示出的应用是通过在不同的时间点将不同的S3C组合而实现的典型的系统测试。执行控制块(ECB)处理不同的S3C的同步。被测试的功能的故障通常将会过早地终止一个或多个S3C，从而导致ECB重新启动S3C并继续利用下一用例(UC)进行测试。

在图2中，示出了测试集或TC执行的例子。该测试从功能测试开始，这里不同的S3C被单独地测试，参见图2的左边。向下的箭头和向上的箭头分别表示启动信号和关闭信号。此后性能和并发测试能够被执行，参见图2的右边，这里功能被启动，并且此后在第一功能运行的同时并行功能被启动和关闭。

在图3中，更详尽地示出了功能测试的测试集。四个不同的功能或S3C被独立地测试；语音呼叫、WAP、MMS以及FSU(文件系统单元)。首先语音呼叫功能的测试由ECB来执行，此后，执行WAP功能、MMS功能、以及FSU功能的测试。

在图4中，更详尽地示出了用于并发测试的测试集。并发测试意味着包含特定功能的S3C被启动，这里是语音呼叫功能。当第一功能在运行时，启动不同的用例以测试是否第一功能继续满足要求或者是否第一功能的某些部分失败。在图4中，待测试的主S3C或第一S3C是语音呼叫。ECB将启动语音呼叫S3C以形成并发用例，并且等待该S3C开始。此后，ECB将启动第一组合S3C，这里是WAP。WAPS3C将执行该测试并结束。此后，ECB启动下一功能S3C，MMS。重复这一步骤直到所有测试都被执行。当所有并发UC已经被运行时，ECB将使被测的语音呼叫S3C关闭。不同UC的同步是由S3C触发动能和S3C确认功能来处理的。

在图5中，更详尽地示出了用于性能测试的测试集，其中被测试的S3C，在这里是WAP S3C，被重复地测试，以便查看是否该S3C满足系统要求，甚至在大量重复测试之后。ECB还能够运行作为上述测试的任意组合的TC或测试集。

在图6中，公开了根据本发明的S3C概念的详细描述。首先，ECB发送In(输入)-参数到S3C容器以启动该S3C，由此In-参数由第一向下箭头来指示。此后，ECB等待S3C启动，并且当S3C内部所包含的功能被建立时，该S3C返回S3C触发信号到ECB以证实其状态。ECB能够使其他S3C启动，或者等待第一S3C结束并发送Out(输出)-参数到ECB。Out-参数指示该S3C结束并且该S3C中的被测功能的结果是可用的。可能的结果类型有：通过、失败以及测试环境错误(例如无线电网络错误、服务提供者错误，数据网络错误)。该测试环境错误可能是，例如指示电信网络在测试期间出现了问题(go down)。参见图6的右下角示出的例子，其中该图表示出了在测试S3C容器的功能时的网络故障。测试环境错误由S3C内部所包含的探查监视功能来处理，其也是由图1或6中的S3C概观所示的In-参数来启动的。

如果在第一S3C运行时，有另外的S3C被启动，那么S3C触发信号和S3C确认信号被用来使不同的S3C的开始和结束同步。

在图7中示出了单个自含式软件代码容器的执行的流程图。S3C的执行包括第一步骤110，启动ECB。此后在步骤120中，ECB执行S3C。与S3C执行的步骤并行地，步骤150，本地错误的处理被激活并且在该S3C执行期间发生的错误被在本地处理。S3C的执行激活了测试环境的探查监视监控，步骤140。在步骤160，S3C的性能被分析，并且在步骤170，S3C的执行的结果、与步骤150的来自本地错误处理的结果以及步骤140的测试环境监控的结果一起，被输出到ECB。如果在执行中涉及若干S3C，那么根据用例的复杂度，将若干相似的并行或顺序操作包含在S3C的执行中。

如上所述，自含式软件代码容器以及软件探针被用在用于使用参考无线电网络、或者实际的无线电网络或者它们的组合的电信手机的测试平台的系统中，并且其中被测试的软件模块可以是平台软件，但自含式软件代码容器是测试系统软件的一部分，并且软件探针是被测试软件的一部分。然而自含式软件代码容器和软件探针还能够被用于测试无线电网络。

本发明可以被嵌入到计算机程序产品中，其使得这里描述的方法和功能得以实现。当所述计算机程序产品在具有计算机能力的系统中被载入并运行时可以实现本发明。计算机程序、软件程序、程序产品或软件，在当前的上下文中意指旨在直接地、或者在转变为另一种语言、代码或表示法之后使具有处理能力的系统执行特定功能的任意表达、采用任意编程语言、代码或表示法的指令集。

本发明不限于上述的以及附图中所示的实施例，但可以在所附权利要求所限定的本发明的范围之内以任意方式对其进行增补和修改。

Claims

1、一种用于在测试环境中测试软件的方法，其中所述方法包括：

-启动执行控制块，其中所述执行控制块执行至少一个测试用例的一个或多个自含式软件代码容器；

-执行所述一个或多个自含式软件代码容器的第一自含式软件代码容器的软件；

-第一自含式软件代码容器的分析器块监控第一自含式软件代码容器的功能块的执行，其中所述功能块包括待测试的编码功能；

-第一自含式软件代码容器的探查监视块监控测试环境的参数；

-第一自含式软件代码容器的本地错误处理器块在本地处理第一自含式软件代码容器内部的错误；

-第一自含式软件代码容器的结果块从探查监视块和分析器块收集数据；并根据所收集的数据产生测试结果数据；以及

-将所产生的测试结果数据输出到执行控制块。

2、根据权利要求1所述的方法，其中所述方法包括：

-与第一自含式软件代码容器的软件并行或在其后执行第二或更多自含式软件代码容器的软件。

3、根据权利要求1或2所述的方法，其中所述方法包括：

-本地错误处理器块产生错误数据；以及

-将错误数据输出到执行控制块。

4、根据权利要求2所述的方法，其中所述方法包括：

-响应于来自第一自含式软件代码容器的信号，执行控制块使第二自含式软件代码容器的软件的执行同步。

5、一种计算机程序产品，包括计算机程序代码装置，用于当所述计算机程序代码装置由具有计算机能力的电子设备运行时执行根据权利要求1-4中任意一项所述的方法。

6、一种计算机可读介质，具有存储于其上的计算机程序产品，所述计算机程序产品包括计算机程序代码装置，用于当所述计算机程序代码装置由具有计算机能力的电子设备运行时执行根据权利要求1—4中任意一项所述的方法。

7、一种用于在测试环境中测试软件的系统，包括：

一个或多个自含式软件代码容器，其中每个自含式软件代码容器包括：

-包括待测试的编码功能的功能块；

-适于监控测试环境的参数的探查监视块；

-适于分析功能块的执行数据的分析器块；

-适于从探查监视块和分析器块收集数据、并根据来自探查监视块和分析器块的所述数据产生测试结果数据的结果块；以及

-适于处理自含式软件代码容器中的内部错误的本地错误处理器块；以及

适于执行至少一个测试用例的一个或多个自含式软件代码容器、并接收由所述一个或多个自含式软件代码容器的每个结果块所产生的测试结果数据的执行控制块。

8、根据权利要求7所述的系统，其中执行控制块适于使所述一个或多个自含式软件代码容器的执行同步。

9、根据权利要求7或8所述的系统，其中

每个自含式软件代码容器的本地错误处理器块适于产生并输出错误数据；以及

执行控制块被安排来接收所述错误数据。

10、根据权利要求7-9中任意一项所述的系统，其中本地错误处理器块适于清除错误并依次地终止它被包含于其中的自含式软件代码容器的执行。