CN102999320B - 测试用例自动生成方法和系统 - Google Patents

Abstract

本申请提供了一种测试用例自动生成方法，包括：步骤101，获取测试参数和参数组合策略，并根据参数组合策略生成多组测试数据；步骤102，选取一组测试数据，依据预设模型确定测试动作的输入参数及期待输出；步骤103，基于所确定的各测试动作输入参数及期待输出，依据预设模型调用测试动作的顺序创建动态测试路径，动态测试路径为有序存放测试动作、校验动作的数组容器；步骤104，输出动态测试路径，得到一组测试用例。本申请还提供了一种实现前述方法的测试用例自动生成系统。本申请的测试用例自动生成方法和系统，能够解决测试用例编写耗时和覆盖率低的问题。

Description

测试用例自动生成方法和系统

技术领域

本申请涉及计算机测试技术领域，特别是涉及一种测试用例自动生成方法及系统。

背景技术

计算机产品在投入使用前通常需要进行测试，例如，根据已知产品的功能设计规格对产品进行测试，以验证产品的每个功能是否符合要求，或者根据以及产品的内部工作过程对产品进行测试，以验证产品的每个内部操作是否符合设计规格要求等等。

其中，自动化测试通常根据测试用例编写测试代码来实现，测试用例指为特定目标而开发的一组测试输入、执行条件和预期结果。在进行测试时通常是程序员根据测试用例来编写测试代码。因为对于某一计算机产品来说，会有较多的测试用例和测试代码，人工编写无疑会增加编写时间，从而增加测试成本。另外，在测试用例较多的情况下，如果全部人工编写会增加整个测试时间，而选择部分则会导致测试用例和代码的覆盖率降低，无法保证产品被充分测试。

发明内容

本申请所要解决的技术问题是提供一种测试用例自动生成方法和系统，能够解决测试用例编写耗时和覆盖率低的问题。

为了解决上述问题，本申请公开了一种测试用例自动生成方法，包括以下步骤：

步骤101，获取预设模型的测试参数的数据和参数组合策略，并根据参数组合策略生成多组测试数据；

步骤102，选取一组测试数据，依据预设模型确定各测试动作的输入参数以及期待输出结果；

步骤103，基于所确定的各测试动作的输入参数以及期待输出结果，依据预设模型调用测试动作的顺序创建动态测试路径，所述动态测试路径为有序存放测试动作、校验动作的数组容器；

步骤104，根据设定计算机语言的语法输出动态测试路径，得到一组测试用例；所述测试用例包括与所设语法相应的语言的测试代码。

进一步地，通过以下步骤创建动态测试路径：

基于预设模型，若一测试动作被调用，记住调用参数，返回关联该测试动作的动态结果，并将测试动作加入到动态测试路径；

基于预设模型，当一校验动作被调用时，若被校验值的类型为动态结果，则将前述步骤获取的对测试动作的期待输出结果赋值给该动态结果。

进一步地，

所述动态测试路径还包括：有序存放的日志信息；

则，所述创建动态测试路径的步骤还包括：

基于预设模型，当一日志动作被调用时，将日志动作及相关信息加入动态测试路径。

进一步地，

针对不同的测试场景，建立相应的预设模型；

所述预设模型包括：

对应API或功能接口的测试动作；

由多个测试动作有序组成的测试步骤；所述多个测试步骤组成一个测试场景；

用于校验两个对象是否相等的校验动作；

包括日志类别和内容的日志动作。

进一步地，所述预先定义的数据组合策略包括：

按照笛卡尔乘积展开测试参数；或

按照每次只变更一类参数的原则展开测试参数。

进一步地，所述动态结果的取值操作包括：

取Map或者数组中的元素；或

取属性，从最初始的动态结果到最后的动态结果是一条取值路径。

为了解决上述问题，本申请还公开了一种测试用例生成系统，包括：

测试数据生成模块，用于获取预设模型的测试参数数据与数据组合策略，并根据数据组合策略生成多组测试数据；

期待输出结果获取模块，用于选取一组测试数据，获取该组测试数据执行测试模型时测试动作的期待输出结果；

动态测试路径创建模块，用于基于所确定的各测试动作的输入参数以及期待输出结果，依据预设模型创建动态测试路径，所述动态测试路径为有序存放测试动作、校验动作与日志信息的数组容器；

测试用例生成模块，根据设定的计算机语言的语法输出动态测试路径，得到一组测试用例，直到所有测试数据都生成测试用例；所述测试用例包括与所设语法相应的语言的测试代码。

进一步地，所述动态测试路径创建模块包括：

动态结果返回单元，用于基于预设模型，若一测试动作被调用，返回动态结果，并将测试动作加入动态测试路径；

校验单元，用于基于预设模型，当一校验动作被调用时，若被校验值的类型为动态结果，则将前述步骤获取的期待输出结果赋值给被校验值。

进一步地，所述动态测试路径创建模块包括：

日志信息添加单元，用于基于预设模型，当一日志动作被调用时，将日志动作及相关信息加入动态测试路径。

进一步地，所述测试数据生成模块包括：

数据组合策略确定单元，用于按照笛卡尔乘积展开测试参数或按照每次只变更一类参数的原则展开测试参数。

与现有技术相比，本申请包括以下优点：

本申请的测试用例生成方法是：先获取测试场景模型(测试模型)的参数与参数组合策略生成一组或多组测试数据后，再结合每一组测试数据执行测试模型而产生对应的测试用例。其中，对每一组测试数据，在执行测试模型时，当测试动作被调用时并真实执行得到返回值而是返回一与该测试动作关联的模拟值，即动态结果，并且当该值被校验时，动态结果记住期望值，同时按照测试动作与日志信息动作在模型中被调用的顺序，存入到一个指定的顺序容器中，即动态测试路径；在一组测试数据在模型执行完成后，根据动态测试路径来自动生成测试用例。本方法无需多次重复编写同一测试场景下的测试用例代码，节省编写时间，同时，因为模型会根据输入的参数生成所有的测试数据，并自动生成所有测试数据的测试用例，提高了测试用例的覆盖率。

另外，本申请提供编写测试模型的基本框架，利用脚本语言编写测试模型，并且测试数据动态组合后生成测试代码与展示测试路径视图。一个测试模型是对一类测试用例的抽象，可以生成一个或多个测试用例，维护一个测试模型即可以维护一类测试用例。

当然，实施本申请的任一产品不一定需要同时达到以上所述的所有优点。

附图说明

图1是本申请的测试用例生成方法实施例一的流程图；

图2是本申请的测试用例生成系统实施例一的结构示意图；

图3是本申请的测试用例生成系统实例的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

参照图1，示出本申请的一种测试用例自动生成方法实施例一，包括以下步骤：

步骤101，获取预设模型的测试参数的数据和参数组合策略，并根据参数组合策略生成多组测试数据。

其中，参数组合策略根据需要来定义，如，按照笛卡尔乘积展开测试参数、或者按照每次只变更一类参数的原则展开测试参数等等。测试参数是指API(Application Programming Interface，应用程序编程接口)或者接口功能的参数或者预设模型所需要的逻辑参数。

其中，按照笛卡尔乘积展开测试参数，如{“d1”：[a，b]”，“d2”：[c，d]”}，将被展开为4组(a，c)、(a，d)、(b，a)、(b，d)，此种测试数据生成方法是对测试中出现的所有情形做了全面覆盖，有利于代码提高覆盖率。

按照每次只变更一类参数的原则展开测试数据，如{“d1”：[a，b]”，“d2”：[c，d]”}，将被展开为3组(a，c)、(a，d)、(b，a)。如果将第一个数据设为默认值，这种测试数据生成方法使每一个测试参数可能出现的值都被覆盖到。

步骤102，选取一组测试数据，依据预设模型确定各测试动作的输入参数以及期待输出结果。

在对计算机产品进行测试时，在输入数据和测试动作一定的情况下，则其输出结果是一定的，因此根据测试数据和测试动作就能确定其期待输出结果。

步骤103，基于所确定的各测试动作的输入参数以及期待输出结果，依据预设模型调用测试动作的顺序创建动态测试路径，所述动态测试路径为有序存放测试动作、校验动作的数组容器。

具体的，动态测试路径的创建过程可以包括以下步骤：

基于预设模型，若一测试动作被调用，记住调用参数，返回关联该测试动作的动态结果，并将测试动作加入到动态测试路径；

当一校验动作被调用时，若被校验值的类型为动态结果，则将前述步骤获取的期待输出结果赋值给该动态结果。

当预设模型中的测试动作被调用时，并不执行测试动作得到真实的返回值，而是返回一个关联该测试动作的模拟值，即动态结果(DynamicParam)。其中，任何对DynamicParam的取值操作都返回一个新DynamicParam；对DynamicParam取值操作有两种，一种是“[]”，将DynamicParam看作数组或者Map取其元素；另一种是“.”，将DynamicParam看作对象取其属性；从最初始的DynamicParam到最后DynamicParam是一条取值路径，如，最初始的DynamicParam为rsp，经过多次取值后可能为：rsp[0][‘data’].value；对动态结果作校验就相当于将取值路径指向期待的结果，如将期待结果赋值给rsp[0][‘data’].value。

步骤104，根据设定计算机语言的语法输出动态测试路径，得到一组测试用例；所述测试用例包括与所设语法相应的语言的测试代码。

动态测试路径包括测试动作的具体输入和期待输出结果、日志信息，根据预设计算机语言的语法顺序输出动态测试路径中的测试动作和日志信息即可得到一组测试用例。测试用例则包括与所设语法相应的语言的测试代码。如附图中PythonTestRunner、JavaTestRunner可生成Python语言、Java语言的测试代码等等。

步骤105，返回步骤102，直到所有测试数据都生成测试用例。

优选地，所述动态测试路径还包括：有序存放的日志信息。那么创建动态测试路径的步骤还包括：

基于预设模型，当一日志动作被调用时，将日志动作及相关信息加入动态测试路径。

参照图2，示出本申请的测试用例生成系统实施例，包括测试数据生成模块10、期待输出结果获取模块20、动态测试路径创建模块30和测试用例生成模块50。

测试数据生成模块10，用于获取测试参数数据和参数组合策略，并根据参数组合策略生成多组测试数据。

期待输出结果获取模块20，用于选取一组测试数据，获取该组测试数据下测试动作的期待输出结果。

动态测试路径创建模块30，基于所确定的各测试动作的输入参数以及期待输出结果，依据预设模型创建动态测试路径，所述动态测试路径为有序存放测试动作、校验动作的数组容器。

测试用例生成模块50，根据设定的语法输出动态测试路径，得到一组测试用例，直到所有测试数据都生成测试用例；所述测试用例包括与所设语法相应的语言的测试代码。

优选地，动态测试路径创建模块包括动态结果返回单元和校验单元。动态结果返回单元，用于基于预设模型，若一测试动作被调用，返回记住调用该测试动作参数的动态结果，并将测试动作加入到动态测试路径。校验单元，用于基于预设模型，当一校验动作被调用时，若被校验值的类型为动态结果，则将前述步骤获取的期待输出结果赋值给动态结果。

优选地，动态测试路径创建模块还包括日志信息添加单元，用于基于预设模型，当一日志动作被调用时，将日志动作及相关信息加入动态测试路径。

优选地，测试数据生成模块10包括数据组合策略确定单元，用于按照笛卡尔乘积展开测试参数或按照每次只变更一类参数的原则展开测试参数。

参照图3，下面结合具体的实例对本申请的测试用例自动生成方法和系统进行详细的说明。

对于前述的测试用例自动生成方法实施例，可以通过针对不同的测试场景，建立相应的预设模型来实现。预设的模型可以包括：

对应API或功能接口的测试动作(Action)；

由多个测试动作有序组成的测试步骤(TestStep)；所述多个测试步骤组成一个测试场景(Scenario)；

用于校验两个对象是否相等的校验动作(Assertion)；如校验两个对象是否相等AreEqual(expectedObj，actualObj，msg)；

包括日志类别和内容的日志动作(Logger)。

通过前述的预设模型实现测试用例自动生成的过程如下：

Step1，获取被标识为Model的类(模型)，并创建其实例。

Step2，通过Python反射机制获取Model类中方法类型为Scenario(测试场景)的方法，与Scenario中的参数Param与Where。

Step3，初始化测试模型，调用SetUp；初始化测试用例调用BeginTestCase。

Step4，对Model类中的每一个类型为Scenario的方法，根据Param(测试参数)与Where(数据组合策略)生成测试场景的测试数据组，如上例中，用笛卡尔乘积产生多组测试数据。

Step5，对每一组测试数据，调用场景对应的方法，执行该方法就是通过模型确定每个Action(测试动作)的输入数据以及期待输出；同时创建或者清空动态测试路径(有序存放Action、Logger、Assert语句的数组容器)。

Step6，当Action被调用时，不被真实执行，而是直接返回关联该Action的DynamicParam(动态结果)，同时记住调用参数并将该Action加入到动态测试路径中。

Step7，当Assert(校验机制)被调用时，如果被校验的值类型是DynamicParam，将期待输出值赋值给DynamicParam的取值路径。

Step8，当Logger(日志信息)被调用时，将Logger的输入加入到动态测试路径中。

Step9：场景方法执行结束，调用EndTestHandler，这时在动态测试路径中，有Action的具体输入和期待输出(校验Action的返回值)、日志信息的有序序列。用不同语言的语法输出顺序输出动态测试路径，即可得到测试用例；

Step10：返回Step5，执行下一组测试数据的测试用例生成，直至完成所有测试数据组；这个场景的测试用例生成结束，调用EndScenarioHandler；

Step11：返回Step4，执行下一个类型为Scenario的方法，直至所有的方法被执行完；模型结束，调用EndModelHandler；在生成测试用例时，这一步意味着测试用例所在的类已经结束，应该输出类的结束符号，如Java和C#中应输出“}”。

其中，在展开第(1)类测试模型时，每次调用Action时，记住调用该Action的测试数据，同时不返回该Action的真实执行结果，而返回一个模拟结果，即动态结果(DynamicParam)；在Assertion校验Action的结果时，不去校验DynamicParam的真实值，而只是让DynamicParam记住这个期待值。对于Logger，同样可以记住日志的内容与日志的类别。如此，在测试模型展开后，Action就表现为输入(调用参数)和输出(期待的结果)；Scenario就表现为由有具体输入与期待输出的Action和有日志类别与日志内容的Logger组成的有序序列，即动态测试路径。

在展开第(2)类测试模型时，先获取所有的TestStep信息，然后根据TestStep(测试步骤)中的from与to状态生成状态矩阵，这个状态矩阵就是一张有向图，深度优先遍历有向图中所有最长的路径，即可以得到测试用例的动态测试路径。在遍历有向图时，会遇到环路，因此在遍历之前需要定义环路重复次数，与环路检测。环路检测机制：每一个TestStep里记录一个访问次数，当被访问到时，次数增加1，如果访问次数大于环路重复数，终止访问；在搜索一条路径之前，清空所有TestStep的访问次数。每一条动态测试路径就相当于(1)中的Scenario，从而可以用(1)的方式来生成测试用例。生成好动态测试路径后，按照序列顺序将Action或者Logger输出来就可以得到测试代码或者测试路径。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本申请所提供的测试用例自动生成方法及系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种测试用例自动生成方法，其特征在于，针对不同的测试场景，建立相应的预设模型；所述的方法包括以下步骤：

步骤101，获取预设模型的测试参数的数据和参数组合策略，并根据参数组合策略生成多组测试数据；

步骤102，选取一组测试数据，依据预设模型确定各测试动作的输入参数以及期待输出结果；

步骤103，基于所确定的各测试动作的输入参数以及期待输出结果，依据预设模型调用测试动作的顺序创建动态测试路径，所述动态测试路径包括：有序存放测试动作、校验动作的数组容器和有序存放的日志信息；

步骤104，根据设定计算机语言的语法输出动态测试路径，得到一组测试用例；所述测试用例包括与所设语法相应的语言的测试代码；

其中，预先定义的参数组合策略包括：按照笛卡尔乘积展开测试参数；或按照每次只变更一类参数的原则展开测试参数。

2.如权利要求1所述的测试用例自动生成方法，其特征在于，通过以下步骤创建动态测试路径：

基于预设模型，若一测试动作被调用，记住调用参数，返回关联该测试动作的动态结果，并将测试动作加入到动态测试路径；

基于预设模型，当一校验动作被调用时，若被校验值的类型为动态结果，则将前述步骤获取的对测试动作的期待输出结果赋值给该动态结果。

3.如权利要求1所述的测试用例自动生成方法，其特征在于，所述创建动态测试路径的步骤还包括：

基于预设模型，当一日志动作被调用时，将日志动作及相关信息加入动态测试路径。

4.如权利要求1所述的测试用例自动生成方法，其特征在于，

所述预设模型包括：

对应API或功能接口的测试动作；

由多个测试动作有序组成的测试步骤；所述多个测试步骤组成一个测试场景；

用于校验两个对象是否相等的校验动作；

包括日志类别和内容的日志动作。

5.如权利要求2所述的测试用例自动生成方法，其特征在于，所述动态结果的取值操作包括：

取Map或者数组中的元素；或

取属性，从最初始的动态结果到最后的动态结果是一条取值路径。

6.一种测试用例生成系统，其特征在于，针对不同的测试场景，建立相应的预设模型；所述系统包括：

测试数据生成模块，用于获取预设模型的测试参数数据与数据组合策略，并根据数据组合策略生成多组测试数据；

期待输出结果获取模块，用于选取一组测试数据，获取该组测试数据执行测试模型时测试动作的期待输出结果；

动态测试路径创建模块，用于基于所确定的各测试动作的输入参数以及期待输出结果，依据预设模型创建动态测试路径，所述动态测试路径包括：有序存放测试动作、校验动作的数组容器和有序存放的日志信息；

测试用例生成模块，根据设定的计算机语言的语法输出动态测试路径，得到一组测试用例，直到所有测试数据都生成测试用例；所述测试用例包括与所设语法相应的语言的测试代码；

其中，预先定义的参数组合策略包括：按照笛卡尔乘积展开测试参数；或按照每次只变更一类参数的原则展开测试参数。

7.如权利要求6所述的测试用例生成系统，其特征在于，所述动态测试路径创建模块包括：

动态结果返回单元，用于基于预设模型，若一测试动作被调用，返回动态结果，并将测试动作加入动态测试路径；

校验单元，用于基于预设模型，当一校验动作被调用时，若被校验值的类型为动态结果，则将获取的期待输出结果赋值给被校验值。

8.如权利要求6所述的测试用例生成系统，其特征在于，所述动态测试路径创建模块包括：

日志信息添加单元，用于基于预设模型，当一日志动作被调用时，将日志动作及相关信息加入动态测试路径。