CN109815108A

CN109815108A - 一种基于权重的组合测试用例集优先化排序方法及系统

Info

Publication number: CN109815108A
Application number: CN201811501066.3A
Authority: CN
Inventors: 黄如兵; 宗炜雯; 陈锦富
Original assignee: Jiangsu University
Current assignee: Jiangsu University
Priority date: 2018-12-10
Filing date: 2018-12-10
Publication date: 2019-05-28
Anticipated expiration: 2038-12-10
Also published as: CN109815108B

Abstract

本发明公开了一种基于权重的组合测试用例集优先化排序方法及系统，包括如下步骤：步骤1，根据待测程序的参数集合，确定组合覆盖力度t的范围，基于组合覆盖力度t生成待测程序的t维组合，定义为集合A；步骤2，对待测程序的测试用例集合进行优先化排序，记录每次优化整个测试用例集的时间开销和运行200次后的平均时间开销，将结果集和时间开销以文件的形式输出；步骤3，将得到的优化后的测试用例集对待测程序进行仿真实验，记录其错误检测率。本发明在保证时间开销的前提下，使得到的优化后的测试用例集能够在仿真实验中有更好的错误检测率，从而减少实际测试中测试阶段所需的时间成本，提高测试效率。

Description

一种基于权重的组合测试用例集优先化排序方法及系统

技术领域

本发明属于软件测试领域，涉及一种基于权重的组合测试用例集优先化排序方法(FICBPW)，对待排序的测试用例集进行优化排序。

背景技术

当前，计算机技术的日新月异，推动着社会各行各业的发展，大到国家经济文化的发展，小到日常生活的进步。然而，随着人们对软件系统的需求日益增多，以及计算机软件系统的规模不断增长，软件系统中的软件故障或者失效也随之产生，软件测试的重要性逐步显示。

随着软件系统的功能的多样化与复杂化，许多因素可能影响着软件系统的行为，这些因素统称为参数。同时这些参数都有一些可选值或可选项，定义为参数值。从功能测试的角度出发，最理想的方法是将所有这些参数和参数的参数值的所有组合(简称组合空间)作为测试用例进行测试(即穷尽测试)。然而，在许多实际的软件系统中，随着参数和参数值的个数的增长，穷尽测试的测试用例个数按指数级增长。为此，测试人员需要从中有选择性的挑选一部分测试用例来进行测试，同时要保证被测试程序中的错误能被有效的发现。

在众多功能测试方法中，最基础的测试方法就是随机测试，但是，随机测试没有考虑和利用一些额外的信息，其测试效果还是很有限的。除了随机测试，另一种广泛应用于组合空间的测试方法是基于组合覆盖的测试(即组合测试)。由于无法覆盖组合空间的所有参数可选值的组合，组合测试一般选取一个合适的组合覆盖力度t，以保证所生成的测试用例集能够覆盖被测软件中任意t个参数之间的相互作用。已经被提出的相关算法有FICBP(基于固定组合覆盖力度的组合测试用例优先化排序方法)，FICBPR(基于重复1维组合覆盖的测试用例集优先化排序方法)。但是目前提出的所有算法，都是首先对组合空间进行t维度覆盖，每次达到全部覆盖时就将组合空间的覆盖情况置空，重新开始对组合空间进行覆盖的这一过程，也就是丢掉了之前组合覆盖的信息，因此每次得到的优化后的测试用例集合仅仅是一个局部最优解而不是全局最优解。为了解决这个问题，且在较低的时间开销里提高错误检测率，本发明提出权重的概念，将每次对组合覆盖的信息都保留并且进行计算，使得每次得到的测试用例都是最优解，以保证得到的优化后的测试用例集有更高的错误检测率，本发明提出的方法就更加具有意义。

发明内容

为了能够更好的提高软件测试技术效能，在有限时间内发现更多的错误，本发明在基于固定组合覆盖测试用例优先化排序算法(FICBP)的基础上，提出了基于权重的组合测试用例集优先化排序方法。另外，针对该方法设计了仿真实验，对比三种算法，验证了提出方法的有效性。本发明的技术方案包括如下步骤：

步骤1，根据待测程序的参数集合，确定组合覆盖力度t的范围，基于组合覆盖力度t生成待测程序的t维组合，定义为集合A；

步骤2，对待测程序的测试用例集合进行优先化排序，记录每次优化整个测试用例集的时间开销和运行200次后的平均时间开销，将结果集和时间开销以文件的形式输出；

步骤3，将得到的优化后的测试用例集对待测程序进行仿真实验，记录其错误检测率。

上述步骤1的具体步骤如下：

步骤1.1，根据待测程序的参数集合，确定组合覆盖力度t的范围；

步骤1.2，确定一个组合覆盖力度t，基于t生成待测程序参数的所有t维组合，记为集合A；

步骤1.3，初始化这个集合，对每个t维组合的权重置0；

上述步骤2的具体步骤如下：

步骤2.1，从测试用例集合T中随机取一个测试用例t1，该测试用例作为被选中的测试用例加入到最终的优化后的测试用例集合S中；

步骤2.2，将加入到结果集S中的这个测试用例所包含的t维组合在集合A中进行标注，给对应的每一个t维组合的权重进行加1操作；

步骤2.3，从测试用例集合T中去除该测试用例；

步骤2.4，对集合T中剩余的所有测试用例进行遍历，对比集合A中t维组合，计算每个测试用例包含的覆盖集合A的t维组合的总权重；

步骤2.5，选择权重最小的测试用例加入到结果集S中；

步骤2.6，重复步骤2.2，2.3；

步骤2.7，重复步骤2.4，2.5，2.6，直到集合T中没有测试用例；

步骤2.8，将结果集T作为一个文件输出，将方法的执行时间输出；

步骤2.9，运行以上步骤200次，记录运行200次的平均时间，并输出；

上述步骤3的具体步骤如下：

步骤3.1，将运行200次后得到的优化后的测试用例集运用到待测程序上，计算每个优化后的测试用例集合的错误检测率NAPFD；其中NAPFD的公式如下：

其中N'是测试用例集T的大小，F是集合T中包含的m个错误的集合。SF_i是集合T经过优化排序后的测试用例集合S在执行直到发现第i个错误所需的测试用例的数量，p代表实际操作中测试用例集检测到待测程序中错误个数的错误率。

步骤3.2，将步骤3.1的运行结果作为文件输出；

进一步，本发明还设计了基于权重的组合测试用例集优先化排序方法(FICBPW)的仿真系统，所述仿真系统主界面包括4个菜单项：实验参数配置，相关信息文件导入，算法运行，结果文件输出。

其中4个菜单项分别代表4个功能模块：其中实验参数配置模块实现的是对仿真实验的实验配置，选择其中一个算法，确定固定组合覆盖力度的大小，实验运行的次数；相关信息文件导入模块实现的是导入待测程序的参数集合和待测程序的未被排序的测试用例集；当实验配置完成，运行对应的算法，获得其优化后的测试用例集和算法运行的时间开销，将优化后的测试用例集导入到系统，选择对应的待测程序，得到错误检测率。最后，将其形成文件输出。对获得的文件使用origin软件对其数据进行处理，对比三种算法的NAPFD值，如图6，三种算法为FICBP算法(基于固定组合覆盖力度的组合测试用例优先化排序方法)，FICBPR算法(基于重复1维组合覆盖的测试用例集优先化排序方法)和本发明提出的FICBPW算法(基于权重的组合测试用例集优先化排序方法)，验证本发明的有效性。

本发明的有益效果：

1、本发明旨在实现基于权重的组合测试用例集优先化排序方法，实现了在一定的时间开销内获得错误检测率相对更高的测试用例集，基于现阶段的组合测试技术，测试用例对组合空间的覆盖情况仅仅考虑是否覆盖，而不考虑覆盖次数，没有将这一关键信息应用起来，得到的优化后的测试用例仅仅是局部最优解，而不是全局最优解。因此本发明提出将每次测试用例对组合空间的覆盖情况都考虑进去的概念，在此基础上设置了权重的概念，来试图解决这一技术空白。

2、在基于该发明的方法基础上，提出了仿真系统工具，针对三种算法，可以生成不同待测程序的优化后的测试用例集，并且导入到系统中，进行仿真实验，得到它们的错误检测率，同时生成文件导出。

3、本发明在保证时间开销的前提下，使得到的优化后的测试用例集能够在仿真实验中有更好的错误检测率，从而减少实际测试中测试阶段所需的时间成本，提高测试效率。

附图说明

图1是基于权重的组合测试用例优先化排序方法流程图。

图2是运行待测程序的仿真实验的流程图。

图3是系统FICBPW方法的界面图。

图4是运行FICBPW方法后得到的优化后的部分测试用例集文件。

图5是运行FICBPW方法200次后得到的部分时间开销文件。

图6是三种算法的NAPFD对比图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

为了能够得到基于组合覆盖的全局最优解，本发明在基于固定组合覆盖测试用例优先化排序算法(FICBP)的基础上，提出了基于权重的组合测试用例集优先化排序方法。另外，针对该方法设计了仿真实验，验证了提出方法的有效性。首先，定义本发明所涉及到的几个概念，具体定义如下。

定义1待测系统(SUT):待测系统被许多因素影响着，每个因素又对应着许多参数值。

定义2组合测试：组合测试(CIT)旨在用尽可能少的测试用例覆盖参数级的组合，以找到导致的程序失败的参数组合为目标。

定义3组合测试配置文件CTP(F,L,C)：CTP是SUT的模型，其中F＝{f₁,f₂,…,f_k}是k个参数的集合，L＝{L₁,L₂…,L_k}是k个参数(或参数组合)的集合，使得每个L_i对应于一个f_i(i＝1,2,…,k)，C是不同参数之间的约束集。

例如，具有参数约束的以下CTP，包含两个约束和三个参数，其中前两个参数具有两个参数值，最后一个参数具有三个参数值。由于各参数包括的参数个数对SUT模型没有影响，在不丧失通用性的情况下，本发明使用了CTP的缩写形式:CTP(|L₁||L₂|…|L_k|,C)。上面的CTP示例可以表示为CTP(2²3¹,C＝{(-0-2),(-1+6)})。

定义4测试用例：一个测试用例可以表示为(l₁,l₂,…,l_k)的k元组，其中l_i∈L_i(i＝1,2,…,k)。如果满足所有CTP约束(C)，则称测试用例有效。

定义5η维参数组合：

通常，η维参数组合也称为η级模式，η称为组合的大小。同样的，如果一个η维参数组合满足所有约束(C)，则该测试用例有效。当η＝k时，η维参数组合是SUT的(潜在)测试用例。测试用例tc＝(l₁,l₂,…,l_k)可以覆盖η维参数组合φ＝((l′_i1,l′_i2,…l′_iη)，其中l'代表某一具体参数，当且仅当对于1≤j≤η,l_ij＝l_i'_j,即参数f_ij在tc和中是相同的。显然，每个测试用例可以覆盖C(k,η)η维参数组合。为了便于描述，我们将CombSet(η,tc)定义为测试用例tc所覆盖的η维参数组合；和CombSet(η,T)作为T中所有测试用例所覆盖的η维参数组合的集合，即CombSet(η,T)＝U_tc∈T CombSet(η,tc)。

定义6固定组合覆盖力度FCA：FCA表示为FCA(N；τ,k,|L₁||L₂|…|L_k|)，是一个N×k矩阵，具有以下性质:(a)每个列i(1≤i≤k)只包含来自集合L_i的元素；(b)矩阵的每一行是SUT的测试用例；(c)对于任何τ参数，N×τ子矩阵至少覆盖对应τ列的所有有效τ维参数组合一次。由于在构造FCA时力度τ是固定的，因此FCA也称为τ维组合覆盖。

对本发明的实现过程进行抽象，使用仿真实验进行了方法的验证，对比三种算法，同时，后续也会有针对实际软件产品的系统开发。

如图1所示，本发明的一种基于权重的组合测试用例优先化排序方法，包括：

步骤1，根据待测程序的参数集合，确定组合覆盖力度t的范围，基于组合覆盖力度t生成待测程序的t维组合，定义为集合A，其具体步骤如下：

步骤1.2，确定一个组合覆盖力度t,基于t生成待测程序参数的所有t维组合，记为集合A；

步骤1.3，初始化这个集合，对每个t维组合的权重置0；

步骤2，根据本发明，对待测程序的测试用例集合进行优先化排序，记录每次优化整个测试用例集的时间开销和运行200次后的平均时间开销，将结果集和时间开销以文件的形式输出，如图2，其具体步骤如下：

步骤2.2，将加入到结果集S中的测试用例所包含的t维组合在集合A中进行标注，给对应的每一个t维组合的权重进行加1操作；

步骤2.3，从测试用例集合T中去除该测试用例；

步骤2.4，对集合T中剩余的所有测试用例进行遍历，对比集合A中的t维组合，计算每个测试用例包含的覆盖集合A的t维组合的总权重；

步骤2.5，选择权重最小的测试用例加入到结果集S中；

步骤2.6，重复步骤2.2，2.3；

步骤2.7，重复步骤2.4，2.5，2.6，直到集合T中没有测试用例；

步骤2.8，将结果集T作为一个文件输出，如图4，并将方法执行时间输出如图5；

步骤2.9，运行以上步骤200次，记录运行200次的平均时间，并输出，如图5；

步骤3，将得到的优化后的测试用例集对待测程序进行仿真实验，记录其错误检测率，其具体步骤如下：

其中N是测试用例集T的大小，F是集合T中包含的m个错误的集合。SF_i是集合T经过优化排序后的测试用例集合S在执行直到发现第i个错误所需的测试用例的数量，p代表测试用例集检测到待测程序中的错误率。

步骤3.2，将3.1步骤的运行结果作为文件输出；

本发明还设计了基于权重的组合测试用例集优先化排序方法(FICBPW)的仿真系统；所述仿真系统主界面包括4个菜单项：实验参数配置，相关信息文件导入，算法运行，结果文件输出。

其中4个菜单项分别代表4个功能模块：其中实验参数配置模块实现的是对仿真实验的实验配置，选择其中一个算法，确定固定组合覆盖力度的大小，实验运行的次数；相关信息文件导入模块实现的是导入待测程序的参数集合和待测程序的未被排序的测试用例集，如图3；当实验配置完成，运行对应的算法，获得其优化后的测试用例集和算法运行的时间开销，如图4，图5，将优化后的测试用例集导入到系统，选择对应的待测程序，得到错误检测率。最后，将其形成文件输出。对获得的文件使用origin软件对其数据进行处理，对比三种算法的NAPFD值，如图6，三种算法为FICBP算法(基于固定组合覆盖力度的组合测试用例优先化排序方法)，FICBPR算法(基于重复1维组合覆盖的测试用例集优先化排序方法)和本发明提出的FICBPW算法(基于权重的组合测试用例集优先化排序方法)，验证本发明的有效性。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims

1.一种基于权重的组合测试用例集优先化排序方法，其特征在于，包括如下步骤：

步骤2，对待测程序的测试用例集合进行优先化排序，记录每次优化整个测试用例集的时间开销和运行200次后的平均时间开销，将结果集和时间开销以文件的形式输出。

2.根据权利要求1所述的一种基于权重的组合测试用例集优先化排序方法，其特征在于，所述步骤1的具体实现包括如下：

步骤1.3，初始化这个集合，对每个t维组合的权重置0。

3.根据权利要求1所述的一种基于权重的组合测试用例集优先化排序方法，其特征在于，所述步骤2的具体实现包括如下：

步骤2.2，将加入到结果集S中的这个测试用例所包含的t维组合在集合A中进行标注，给对应的每一个t维组合的权重进行加1操作。

步骤2.3，从测试用例集合T中去除该测试用例；

步骤2.5，选择权重最小的测试用例加入到结果集S中；

步骤2.6，重复步骤2.2，2.3；

步骤2.7，重复步骤2.4，2.5，2.6，直到集合T中没有测试用例；

步骤2.9，运行以上步骤200次，记录运行200次的平均时间，并输出。

4.根据权利要求3所述的一种基于权重的组合测试用例集优先化排序方法，其特征在于，还包括步骤3：将得到的优化后的测试用例集对待测程序进行仿真实验，记录其错误检测率NAPFD。

5.根据权利要求4所述的一种基于权重的组合测试用例集优先化排序方法，其特征在于，所述步骤3的具体实现包括：

其中N是测试用例集T的大小，F是集合T中包含的m个错误的集合。SF_i是集合T经过优化排序后的测试用例集合S在执行直到发现第i个错误所需的测试用例的数量，p代表实际操作中测试用例集检测到待测程序中错误个数的错误率。

步骤3.2，将步骤3.1的运行结果作为文件输出。

6.根据权利要求4或5所述的一种基于权重的组合测试用例集优先化排序方法，其特征在于，所述步骤3的仿真实验是在仿真系统中实现；所述仿真系统主界面包括4个菜单项：实验参数配置，相关信息文件导入，算法运行，结果文件输出。

7.根据权利要求6所述的一种基于权重的组合测试用例集优先化排序方法，其特征在于，所述4个菜单项分别代表4个功能模块：其中实验参数配置模块实现的是对仿真实验的实验配置，选择其中一个算法，确定固定组合覆盖力度的大小，实验运行的次数；相关信息文件导入模块实现的是导入待测程序的参数集合和待测程序的未被排序的测试用例集；当实验配置完成，运行对应的算法，获得其优化后的测试用例集和算法运行的时间开销，将优化后的测试用例集导入到系统，选择对应的待测程序，得到错误检测率；最后，将其形成文件输出。

8.一种用于基于权重的组合测试用例集优先化排序方法的仿真系统，其特征在于，主界面包括4个菜单项：实验参数配置，相关信息文件导入，算法运行，结果文件输出；

所述4个菜单项分别代表4个功能模块：其中实验参数配置模块实现的是对仿真实验的实验配置，选择其中一个算法，确定固定组合覆盖力度的大小，实验运行的次数；相关信息文件导入模块实现的是导入待测程序的参数集合和待测程序的未被排序的测试用例集；当实验配置完成，运行对应的算法，获得其优化后的测试用例集和算法运行的时间开销，将优化后的测试用例集导入到系统，选择对应的待测程序，得到错误检测率；最后，将其形成文件输出。