CN105718368A - 一种软件测试数据扩增方法 - Google Patents

Abstract

一种软件测试数据扩增方法，针对原有测试数据集难以满足新版本软件测试需求的问题，首先分析新版本程序的代码，提取出待测程序的所有路径和路径条件；然后根据路径条件判定原有测试数据的穿越路径，并与新版本程序需要覆盖的目标路径构建相似矩阵，依据相似矩阵在原有测试数据中选择合适的测试数据作为初始的进化种群；最后再根据原有测试数据的穿越路径和目标路径不同子路径节点所对应的输入分量，确定自适应粒子群算法操作进化个体的位置，进而生成新的测试数据。本发明结合白盒测试技术与自适应粒子群算法进行软件测试数据扩增，从而在测试数据集的扩增方面具有较高的效率和稳定性。

Description

一种软件测试数据扩增方法

技术领域

本发明属于软件测试技术领域，特别是在回归测试技术领域，用于进行测试数据集的扩增，以满足新版本软件的测试需求，是一种软件测试数据扩增方法。

背景技术

在回归测试的过程中，测试人员通过重新测试新版本软件，以验证新版本软件没有被加入新的错误或引起其它代码产生错误，现有的回归测试研究通常分为三大类：测试数据选择、测试数据修复和测试数据集扩增。在过去的几十年中，回归测试研究主要集中在测试数据选择上，其主要任务是如何在原有的测试数据集中进行挑选，以满足新版本软件的部分需求，然而挑选原有测试数据往往不能测试到软件的新增功能。

测试数据扩增是指根据已有的测试数据信息和程序演化信息来生成新的测试数据集，该测试数据集与经过选择和修复的测试数据集合并共同满足新版本的测试需求。测试数据集扩增主要针对程序的修改和新增部分。与传统测试数据生成不同，测试数据集扩增强调利用已执行测试数据信息和程序演化信息辅助生成新测试数据，以期提高生成效率并获得更具针对性的测试数据。当前的测试数据扩增主要基于符号执行、启发式搜索等测试数据生成技术，大体上可以分为两类：第1类是面向行为的测试数据扩增技术，即期望新测试数据显示演化软件的执行变化；第2类是面向覆盖的测试数据集扩增技术，即期望新测试数据覆盖演化软件的新增和修改部分。

已有测试数据集扩增方法主要是利用已运行的测试数据集动态信息结合软件演化的静态信息产生新的测试用例，但这些测试数据集扩增技术主要依赖符号执行等传统生成技术，限制条件多且难以用于大规模程序。不同测试用例生成方法和测试数据集扩增效率仍缺乏一个系统的比较分析，缺乏一个有效的用于测试数据集自动扩增的方法。

发明内容

本发明要解决的问题是：原有测试数据集难以满足新版本软件的测试需求，需要一种新的测试数据扩增方法在消耗较少资源的情况下，有效的在原有测试数据的基础上生成新的测试数据。

本发明的技术方案为：一种软件测试数据扩增方法，首先根据原有测试数据的穿越路径和目标路径的相似度构建相似矩阵，选择合适的测试数据作为初始的进化种群；其次根据穿越路径和目标路径不同子路径节点对应的输入分量，确定自适应粒子群算法操作进化个体的位置，最终生成满足新版本程序测试需求的测试数据；包括以下步骤：

(1)使用Soot代码分析工具，将新版本程序P转化成一种类型化的三地址码Jimple，从中提取出程序P中的所有路径P_path和路径条件PC；

(2)根据路径条件PC判定测试数据集T的穿越路径P_cros，并由P_path-P_cros得到新版本程序P需要覆盖的目标路径P_target；

(3)采用路径的相似性来衡量测试数据之间的相似度：对于程序P的路径p_i和p_j穿越的节点序列分别为和其中|p_i|为路径p_i穿越的节点个数，|p_j|为路径p_j穿越的节点个数，记路径p_i和p_j穿越的相同节点个数记为N_same，则路径p_i相对于p_j的路径相似度记为S(p_i，p_j)，可表示为：

S(p_i，p_j)＝N_smae/|p_j|

所得的路径相似度即为测试数据之间的相似度；

(4)根据步骤(3)中路径相似度计算方法，构建目标路径P_target与穿越路径P_cross的相似度矩阵

其中，m＝|P_cross|，n＝|P_target|，s_ij为测试数据t_i的穿越路径p(t_i)与目标路径的相似度1≤i≤m，1≤j≤n，若存在k∈{1，2，…，m}，m＝|P_cross|，使得则选择第k行对应的测试数据t_k作为测试数据扩增的初始测试数据；

(5)根据选择出的测试数据t_k的穿越路径p(t_k)与目标路径的不同子路径结合步骤(1)从程序P提取出的路径条件PC，确定不同子路径p_sub的节点所对应的输入分量；

(6)利用测试数据t在程序P的穿越路径p(t)与目标路径P_target的相似度构建适应度函数 $\{\begin{array}{c}\max \left(f_1\right(t),f_2(t),\mathrm{...}{f}_s(t\left)\right)\\ \begin{array}{cc}s.t.& t\∈T\end{array}\end{array},$ 其中1≤i≤s，s＝|P_target|，以步骤(4)选择的初始测试数据作为输入，将自适应粒子群算法作用于步骤(5)确定的输入分量，进行迭代，生成新的测试数据；重复步骤(6)，直至生成覆盖所有目标路径的测试数据或达到最大迭代次数为止。

本发明的特点在于：(1)提出了测试数据之间相似性的度量方式；(2)结合路径条件确定了造成测试数据执行路径与目标路径不同的原因——输入分量；(3)结合白盒测试与自适应粒子群算法进行测试数据扩增，通过实验表明，本发明能够通过较低的代价更稳定的进行路径覆盖。

本发明通过白盒测试技术对待测程序进行代码分析，提取出待测程序的所有路径和路径条件，利用路径条件判定原有测试数据穿越的路径，并与待测程序的路径信息进行比较，获取出待测程序需要覆盖的目标路径；然后根据目标路径和穿越路径之间的相似度在原测试数据集中选择进化个体的初始种群，并利用目标路径和穿越路径的差异点确定自适应粒子群算法操作的输入分量，从而对测试数据个体进行演化，达到生成新的测试数据的目的。程序静态分析和智能算法相结合的方法，能够有效降低新测试数据的生成代价，提高新增测试数据的稳定性。

附图说明

图1为本发明的流程图

图2为本发明的Jimple中间代码转化示例

图3为本发明的不同测试数据扩增方法迭代次数的均值

图4为本发明的不同测试数据扩增方法运行时间的均值

图5为本发明的不同测试数据扩增方法迭代次数的标准差

图6为本发明的不同测试数据扩增方法在Tcas上的目标路径覆盖率变化情况

具体实施方式

如图1，本发明结合软件的演化信息与自适应粒子群算法在回归测试中进行测试数据扩增，以较低的成本达到更高的路径覆盖率，其具体步骤如下：

(1)使用Soot代码分析工具，将新版本程序P转化成—种类型化的三地址码Jimple，从中提取出程序P中的所有路径P_path和路径条件PC；

Jimple中间代码转化示例如图2所示，在示例中，Jimple中间代码将示例代码的各个分支使用label标识，并通过使用goto语句进行label之间的跳转，可以方便的解析出示例程序的路径和路径条件。示例程序的路径和路径条件如表1所示。

表1：示例程序的路径和路径条件

路径	路径条件
		label0	(i0/2＝0)
label1，label2，label6	(i0/2≠0)&&(i0＞45)
		label1，label3，label4，label6	(i0/2！≠0)&&(i0≤45)&&(i1＞6)
label1，label3，label5	(i0/2！≠0)&&(i0≤45)&&(i1≤6)

(2)根据路径条件PC判定测试数据集T的穿越路径P_cross，并由P_path-P_cross得到新版本程序P需要覆盖的目标路径P_target；

(3)采用路径的相似性来衡量测试数据之间的相似度：对于程序P的路径p_i和p_j穿越的节点序列分别为和记路径p_i和p_j穿越的相同节点个数记为N_same，则路径p_i相对于p_j的路径相似度记为S(p_i，p_j)，可表示为：

S(p_i，p_j)＝N_same/|p_j|

所得的路径相似度即为测试数据之间的相似度；

(4)根据步骤(3)中路径相似度计算方法，构建目标路径T_target与穿越路径P_cross的相似度矩阵

其中，m＝|P_cross|，n＝|P_target|，s_ij为测试数据t_i的穿越路径p(t_i)与目标路径的相似度1≤i≤m，1≤j≤n，若存在k∈{1，2，…，m}，m＝|P_cross|，使得则选择第k行对应的测试数据t_k作为测试数据扩增的初始测试数据；

(5)根据选择出的测试数据t_k的穿越路径p(t_k)与目标路径的不同子路径结合步骤(1)从程序P提取出的路径条件PC，确定不同子路径p_sub的节点所对应的输入分量；

以表1为例，假设目标路径p^*＝{label1，label3，label5}，路径条件pc^*＝(i0/2！≠0)&&(i0≤45)&&(i1＞6)，若存在某一测试数据t穿越的路径p(t)＝{label1，label3，label4，label6}，路径条件pc(t)＝(i0/2！≠0)&&(i0≤45)&&(i1≤6)，则目标路径p^*与穿越路径p(t)的不同子路径为p^*-p^*∩p(t)＝{label5}，与路径条件pc^*和pc(t)对照可知，造成测试数据穿越的路径不经过label5的决定性原因在于i1，那么使测试数据t进化成覆盖目标路径p^*的测试数据，只需对输入分量i1操作即可。

(6)利用测试数据t在程序P的穿越路径p(t)与目标路径P_target的相似度构建适应度函数 $\{\begin{array}{c}\max \left(f_1\right(t),f_2(t),\mathrm{...}{f}_s(t\left)\right)\\ \begin{array}{cc}s.t.& t\∈T\end{array}\end{array},$ 其中1≤i≤s，s＝|P_target|，以步骤(4)选择的初始测试数据作为输入，将自适应粒子群算法作用于步骤(5)确定的输入分量，进行迭代，生成新的测试数据；重复步骤(6)，直至生成覆盖所有目标路径的测试数据或达到最大迭代次数为止。

本发明涉及的自适应粒子群算法的基本思想是以测试数据穿越路径与目标路径的相似度指导测试数据个体进行进化方向，并根据当前种群的聚集情况自适应的调整惯性权重，平衡算法全局和局部的搜索能力，最终达到覆盖目标路径的目的。

在步骤(6)中利用自适应粒子群算法作用于输入分量生成新的测试数据的主要过程如下：

①计算初始选择的测试数据集的适应值f(t_k)，将其分别设为每个测试数据初始的局部最优解f_l，选取最大的适应值作为全局最优解f_g。

②根据测试种群的聚集情况，自适应的调整粒子群算法的惯性权重w，其具体的调整方法为：

首先计算测试数据的粒子聚集度δ，δ＝|f_g-f′_avg|，其中f_g为测试数据的全局最优适应值；f_avg为测试数据的平均适应值；f′_avg通过测试数据集中适应值不小于f_avg的粒子适应值再次平均得到。然后结合每个测试数据的适应值和测试数据集的聚集度进行自适应调整惯性权重w，其调整方案如下：

(a)若f(t_k)＞f′_avg，则认为测试数据t比较接近目标解，惯性权重w应较小：

$w=w_{\max }-\frac{(w_{\max }-w_{\min })\left|f\right(t_k)-f_{avg}^{\′}|}{|f\left(t_k\right)-f_{avg}^{\′}|}$

其中，w_max和w_min为常量。

(b)若f_avg≤f(t_k)≤f′_avg，则认为该测试数据的状况相对普通，则随着迭代次数的增加，应在搜索解的过程中非线性的逐渐减小，利用余弦定理可以很好的描述：

$w=w_{\min }+(w_{max}-w_{\min })\frac{1+cos\frac{t}{T}\mathrm{\π}}{2}$

其中，t为当前进化代数，T为最大进化代数。

(c)若f(t_k)＜f_avg，则认为测试数据集的状况较差，当过早的收敛，需要增大w打破当前的稳定；当过于发散时，需要减小w使种群趋于收敛，利用指数函数可以很好的描述：

$W=C-\frac{1}{1+\exp (-\mathrm{\δ})}$

其中，C为常数。

③将当前的测试数据的输入分量、惯性权重w、局部最优解f_l和全局最有解f_g代入经过约简的进化方程生成下一代的测试数据生成新的测试数据；其中c₁和c₂为常数，f₁和f₂为(0，1)之间的随机数。

下面将通过具体的实施例来说明本发明的实施。

通过实验来验证本测试数据扩增技术的有效性。为了说明本发明的有效性，我们在相同的条件下，对测试程序各定义一个或多个修改点，分别使用本方法、传统遗传算法和随机法运行20次，生成覆盖目标路径的测试数据，记录每种方法的进化代数和耗时，分别计算它们的平均值和标准差，以此来衡量测试数据扩增方法的效率和稳定性。

(1)实验对象

在选择实验对象时，测试程序除了选用三角形判定程序Triangle之外，还选择了基准程序NextDay以及Siemens程序集中的Tcas和Schedule，上述程序广泛应用于验证不同测试方法的有效性，属于经典的实验程序。

(2)评估准测

本发明的目标是更加高效的覆盖被测试程序的路径，因此选择运行效率、稳定性和收敛性三个方面作为衡量标准。其中运行效率通过测试数据扩增方法的迭代次数的均值进行衡量；稳定性通过测试数据扩增方法的迭代次数的标准差进行衡量；收敛性通过测试数据扩增方法覆盖目标路径的变化率来衡量。

(3)实验实施

基于Java实现整个测试数据扩增方法的过程，待测程序的路径和路径条件通过Soot代码分析工具解析得到。设定测试数据扩增方法的最大迭代次数为1000次，若扩增方法的迭代次数达到1000时，还未生成覆盖目标路径的测试数据，则将迭代次数设为1000，标准差设为0。

通过大量实验的经验得到，自适应粒子群的参数为w_max＝1.8，w_min＝0.4，C＝1.5，c₁＝c₂＝2时，效果较好。

(4)结果分析

20次的实验结果如图3、图4、图5、图6所示，在图3和图4中本发明的迭代次数均值和运行时间均值明显少于其它两种方法，说明了本发明在效率方面就有较好的效果；在生成覆盖目标路径的测试数据前提下，图5中本发明迭代次数的标准差低于其它两种方法，说明了本发明在软件测试数据扩增方面具有较高的稳定性；图6以空中防撞系统Tcas为例，本方法在迭代的过程中较快的完成了对目标路径的覆盖，有效的避免了局部收敛。

综合实验数据可知，在相同条件下，本发明的测试数据扩增效率优于基于遗传算法的测试数据扩增方法和随机测试数据生成方法；在收敛方面，本发明对最优解具有较快的收敛速度，且有效避免了陷入局部收敛的问题。

Claims (1)

1.一种软件测试数据扩增方法，其特征在于包括以下步骤：

(1)使用Soot代码分析工具，将新版本程序P转化成一种类型化的三地址码Jimple，从中提取出程序P中的所有路径P_path和路径条件PC；

(2)根据路径条件PC判定测试数据集T的穿越路径P_cross，并由P_path-P_cross得到新版本程序P需要覆盖的目标路径P_target；

(3)采用路径的相似性来衡量测试数据之间的相似度：对于程序P的路径p_i和p_j穿越的节点序列分别为和其中|p_i|为路径p_i穿越的节点个数，|p_j|为路径p_j穿越的节点个数，记路径p_i和p_j穿越的相同节点个数记为N_same，则路径p_i相对于p_j的路径相似度记为S(p_i，p_j)，可表示为：

S(p_i，p_j)＝N_smae/|p_j|

所得的路径相似度即为测试数据之间的相似度；

(4)根据步骤(3)中路径相似度计算方法，构建目标路径P_target与穿越路径P_cross的相似度矩阵

其中，m＝|P_cross|，n＝|P_target|，s_ij为测试数据t_i的穿越路径p(t_i)与目标路径的相似度1≤i≤m，1≤j≤n，若存在k∈{1，2，…，m}，m＝|P_cross|，使得则选择第k行对应的测试数据t_k作为测试数据扩增的初始测试数据；

(5)根据选择出的测试数据t_k的穿越路径p(t_k)与目标路径的不同子路径结合步骤(1)从程序P提取出的路径条件PC，确定不同子路径P_sub的节点所对应的输入分量；

(6)利用测试数据t在程序P的穿越路径p(t)与目标路径P_target的相似度构建适应度函数 $\left\{\begin{array}{c}max\left(f_1\right(t),f_2(t),...f_s(t\left)\right)\\ \begin{array}{cc}s.t.& t\∈T\end{array}\end{array}\right.,$ 其中1≤i≤s，s＝|P_target|，以步骤(4)选择的初始测试数据集作为输入，将自适应粒子群算法作用于步骤(5)确定的输入分量，进行迭代，生成新的测试数据；重复步骤(6)，直至生成覆盖所有目标路径的测试数据集或达到最大迭代次数为止。