CN101908020B - 一种基于分类挖掘和版本变更的测试用例优先化方法 - Google Patents

Abstract

本发明公开了一种基于分类挖掘和版本变更的测试用例优先化方法，首先收集不同版本下的测试用例执行结果和模块变更的信息，转化成测试用例执行结果数据矩阵和模块变更数据矩阵；再为每个测试用例建立分类挖掘训练和预测所需训练集；选择贝叶斯分类HNB和AODE两个分类挖掘模型，对每个测试用例采用对应的训练集进行模型训练；根据训练好的模型预测新版本中每个测试用例发现软件缺陷的概率；根据模型预测的综合结果，结合回归测试执行的时间限制，对测试用例进行优先化排序。本发明能够以较少的测试用例数量更快更多发现新版本软件缺陷。

Description

一种基于分类挖掘和版本变更的测试用例优先化方法

技术领域

本发明涉及软件自动化测试中的回归测试用例选择，特别涉及在软件系统存在大量升级版本、以及存在大量测试用例的情况下，根据测试用例在此前版本的历史数据及新版本的变更数据，挖掘出版本变更与测试用例执行结果之间的关系，从而在新版本回归测试中指导测试用例的优先选择。

背景技术

软件系统在整个产品生命周期中面临持续的升级换代和变更(称为软件演化)以满足不断变化的软件需求，这需要频繁对软件系统实施回归测试，使得回归测试成本在软件产品生命周期总成本中占据较大比例。研究指出，回归测试成本占据高达80％的测试总成本，在软件维护成本中占到50％左右。研究回归测试选择技术，提高回归测试的效率和有效性，能够降低回归测试成本，带来可观的经济效益。在回归测试中，测试人员需要复用已有测试用例。在软件系统开发和升级过程中存在大量可用的测试用例，如何重用并选择测试集成为回归测试的核心问题。在测试资源和时间约束下，测试用例优先化技术能够提高回归测试的缺陷检测率，从而减少所需的测试用例数量，在保证测试效果的前提下降低测试成本。

测试集优先化技术根据回归测试需求的优先化目标将已有的测试用例进行排序，使高优先级的测试用例先于低优先级的测试用例执行。传统测试优先化技术主要从代码覆盖角度，以代码的全覆盖为目标完成测试用例的优先化排序；需要获得测试用例在以前版本的代码覆盖情况，且需要覆盖所有的软件代码。考虑到缺陷通常由新的修改导致，而新的修改又通常只占据全部代码的一部分；本发明方法通过考虑软件最近的代码变更，结合测试用例在旧版本上的执行历史，预测测试用例在新版本上的“不通过率”(即发现软件缺陷的概率)，以指导完成对测试用例的优先选取，达到以较少的测试用例数量更快更多发现新版本软件缺陷的目标。

发明内容

本发明是以较少数量的测试用例更快更多的发现新版本软件缺陷为目标，提出一种测试用例的优先化方法。

为实现上述目的，本发明所述基于分类挖掘和版本变更的测试用例优先化方法，包括了以下步骤：

1)历史数据预处理：收集不同版本下的测试用例执行结果和模块变更的信息，转化成不同版本下测试用例执行结果数据矩阵和不同版本间模块变更数据矩阵；

2)分类挖掘训练集构建：根据步骤1)得到的两个数据矩阵，为每个测试用例建立分类挖掘训练和预测所需训练集；

3)分类挖掘训练和预测：选择贝叶斯分类HNB和AODE两个分类挖掘模型，对每个测试用例采用对应的训练集进行模型训练；根据训练好的模型预测新版本中每个测试用例发现软件缺陷的概率；

4)测试用例优先化排序：根据模型预测的综合结果，结合回归测试执行的时间限制，对测试用例进行优先化排序。

上述于步骤1)中执行结果数据矩阵的转化过程为：收集每个版本v_j下各测试用例t_i的执行结果r_ij，构建测试用例执行结果数据矩阵R(m，n)＝[r_ij]_m×n，其中m为测试用例数量；n为软件版本数量；r_ij为矩阵元素，表示测试用例t_i在软件版本v_j上的执行结果，r_ij共有三个取值：0表示测试通过；1表示测试未通过；null(空值)表示在版本v_j中测试用例t_i未被执行过。

上述步骤1)中模块变更数据矩阵的转化过程为：选定样例版本v₀；参照版本v₀，收集每个版本v_j中各模块Mod_k的变更情况δ_jk，构建模块变更矩阵Δ(n，l)＝[δ_jk]_n×l，其中l为软件包含的模块数量；矩阵元素δ_jk表示版本v_j同样例版本v₀在模块Mod_k上相比是否发生变更，共有两个取值：0表示版本v_j跟样例版本v₀相比较，在模块Mod_k上未发生变更；1表示版本v_j跟样例版本v₀相比较，在模块Mod_k上发生变更。

上述步骤2)的分类挖掘训练集构建过程是：为每个测试用例构建分类挖掘训练集，给定测试用例集T中的测试用例t_i，考虑执行过测试用例t_i的每个版本v_j，将版本v_j中每个模块Mod_k的变更信息δ_jk和该测试用例t_i在版本v_j的执行结果r_ij合并成一个数据向量：<δ_j1，δ_j2，...，δ_jl，r_ij>；然后将测试用例t_i在各版本的数据向量合并成矩阵，构成测试用例t_i的训练集Trainset_i；针对测试用例t_i，训练集Trainset_i＝[Δ，R_i]，是一个n’×(l+1)的矩阵，其中Δ(n’，l)取自模块变更数据矩阵Δ(n，l)，且不考虑未执行用例t_i的版本；R_i是一个n’×1向量，是测试用例执行结果矩阵R(m，n)中第i行的转置，表示测试用例t_i在n个版本中的执行结果，同样不考虑未执行用例t_i的版本。

上述步骤3)分类挖掘训练和预测中选择贝叶斯分类模型HNB和AODE进行训练和预测的过程是：载入这两个模型并进行初始化，其中载入HNB时以默认方式初始化；载入AODE时设置最小频度freq，缺省情况取1；若训练集较大时增加freq值。对每个测试用例t_i，载入对应的训练集Trainset_i进行训练；当训练集较大时设置最大训练步数和最大训练时间。组织新版本的模块变更信息，填入检验集Testset_i＝[Δ_new，θ_i]，其中新版本模块变更向量Δ_new＝{δ_1，new，δ_2，new，...，δ_l，new}；将检验集代入上一个步骤训练好的分类挖掘模型，预测出测试用例t_i在新版本的执行结果θ_i，这个值是浮点值(处于0和1之间)，代表测试用例t_i能够发现新版本中软件缺陷的概率；综合所有测试用例的预测结果，最终输出是一个三元组集合Prof＝{<t_i，θ_i，type>|t_i∈t，0＜θ_i≤1，1≤i≤m，type∈{HNB，AODE}}。

上述步骤4)的测试用例优先化排序的过程是：首先取测试用例t_i对应的Prof集合中两个三元组，将其中的两个θ_i求和取平均值，得到测试用例t_i发现新版本软件缺陷的最终预测概率p_i；然后根据每个测试用例发现软件缺陷的最终概率p_i对所有测试用例进行排序；最后根据回归测试阶段的最大允许时间time_max，选取在time_max内能够完成的前m’个测试用例构成最终的回归测试用例集。

本发明方法考虑到缺陷通常由新的修改导致，而新的修改又通常只占据全部代码的一部分；基于最近的代码变更，结合测试用例在以往版本上的执行历史，采用贝叶斯分类挖掘模型预测各测试用例在新版本中发现软件缺陷的概率，指导完成对测试用例的优先选取。本发明能够以较少的测试用例数量更快更多发现新版本软件缺陷。实证数据表明使用本发明方法优先排序的测试用例执行序列在发现新版本软件缺陷效率方面远远优于原始测试用例序列，接近最理想排序的效果。

下面结合附图进行详细说明。

附图说明

图1是基于分类挖掘和版本变更的测试用例优先化方法总体流程图，

图2是测试数据预处理的流程图，

图3是记录不同版本下测试用例执行结果信息的数据矩阵，

图4是模块变更数据预处理的流程图，

图5是记录不同版本下模块变更信息的数据矩阵，

图6是分类挖掘训练集构建的流程图，

图7是每个测试用例的分类挖掘训练集的组织结构示意图，

图8是分类挖掘训练和预测的流程图，

图9是利用预测结果完成测试用例优先化排序的处理流程图。

具体实施方式

如图1所示，本发明方法处理流程包含历史数据预处理、分类挖掘训练集构建、分类挖掘训练和预测、以及测试用例优先化排序四个模块。其中历史数据预处理模块负责收集和提取不同版本下测试用例执行结果，以及模块变更的历史数据，转化成后续处理所需的不同版本下测试用例执行结果数据矩阵和模块变更数据矩阵；分类挖掘训练集构建模块利用不同版本下测试用例执行结果数据矩阵和模块变更数据矩阵，为每个测试用例建立分类挖掘训练时所需的训练集；分类挖掘训练和预测模块采用不同的分类挖掘模型，基于每个测试用例的训练集进行训练，采用训练后模型预测测试用例在新版本中的执行结果；最后测试用例优先化排序模块跟据预测的执行结果，对所有测试用例进行优先化排序，优先执行排在前面的测试用例。下面详细介绍每个模块的实施步骤：

模块1是历史数据预处理模块，包含测试数据预处理和模块变更数据预处理两个部分。图2所示为测试数据预处理流程。首先收集并组织各个版本下测试用例的执行结果信息。第一步先确定测试用例执行结果矩阵的版本数n和测试用例数m。令软件系统的版本数量为n，版本集合V＝{v₁，v₂，...，v_n}；共有m个相异的测试用例，测试用例集T＝{t₁，t₂，...，t_m}。然后建立如表1所示的测试用例执行结果矩阵R(m，n)＝[r_ij]_m×n，其中r_ij为矩阵元素，表示测试用例t_i在版本v_j上的执行结果。r_ij共有三个取值：0表示测试通过；1表示测试未通过；null(空值)表示在版本v_j中测试用例t_i未被执行过。矩阵中所有元素r_ij先初始化为null，然后根据测试用例t_i在版本v_j上的执行结果对矩阵中各元素r_ij进行赋值。

图4是版本变更数据预处理的流程图。首先确定软件系统包含的模块数量。令软件系统包含l个模块(模块的划分标准根据软件系统特征和测试覆盖粒度来定义，如将Java程序的一个对象定义为一个模块)，于是软件系统System＝{Mod₁，Mod₂，...，Mod_l}。接下来需要确定样例版本v₀。样例版本用来作为版本变更的参照标准，选取样例版本可遵循以下标准：第一样例版本应该是一个的稳定版本，功能和结构完整，第二样例版本应该包含软件系统System的所有模块，第三样例版本应该是测试用例执行出错几率最小的版本，即质量最稳定的版本。基于样例版本v₀，以模块为单位构建版本变更矩阵Δ(n，l)＝[δ_jk]_n×l，如图5所示。其中变更矩阵元素δ_jk表示版本v_j跟样例版本v₀相比较在模块Mod_k上是否发生变更。δ_jk有两个取值：0表示版本v_j跟样例版本v₀相比较，在模块Mod_k上未发生变更；1表示版本v_j在模块Mod_k上相对样例版本v₀有变更。

模块2是分类挖掘训练集构建模块，其处理流程如图6所示。训练集构建基于模块变更跟测试用例相关联的假设：每个测试用例t_i对于不同模块缺陷具有不同程度的检测能力，而新缺陷是由于新版本中某些模块中发生变更引入的；在某个模块发生变更时，一些测试用例会更敏感，即其缺陷检测能力将高于其他测试用例，于是模块变更同测试用例的执行结果具有关联性，可通过分类挖掘予以分析和测定。

如图6所示，为每个测试用例构建分类挖掘训练集。给定测试用例集T中的测试用例t_i，考虑执行过用例t_i的每个版本v_j，将版本v_j中每个模块Mod_k的变更信息δ_jk和该用例t_i在版本v_j执行结果r_ij合并成一个数据向量：<δ_j1，δ_j2，...，δ_jl，r_ij>；然后将用例t_i在各版本的数据向量合并成矩阵，构成用例t_i的训练集Trainset_i。

每个训练集的组织结构如图7所示。对测试用例t_i，训练集Trainset_i＝[Δ，R_i]，是一个n’×(l+1)的矩阵。其中Δ(n’，l)取自模块变更数据矩阵Δ(n，l)，不考虑未执行用例t_i的版本；R_i是一个n’×1向量，是测试用例执行结果矩阵R(m，n)中第i行的转置，表示测试用例t_i在n个版本中的执行结果，同样不考虑未执行用例t_i的版本。

在分类挖掘中，训练集由一组记录(Record)组成，每个记录分成属性(Attribute)和类标签(Class Label)，类标签对应分类结果。在这里，训练集的一行作为一个记录，前l列即l个模块的变更情况作为属性，最后一列既执行结果r_ij作为类标签。

模块3是分类挖掘训练和预测模块，其处理流程如图8所示。本发明方法在分类挖掘训练和预测部分选用HNB和AODE这两个贝叶斯分类模型。AODE是一种半朴素贝叶斯技术，同朴素贝叶斯技术相比，降低了属性间相互独立性要求，能够在实际应用中有效提高分类结果的准确性。HNB是另一种贝叶斯技术，结合简单贝叶斯模型和贝叶斯网络模型的优点，同时克服了简单贝叶斯模型的属性独立假设，以及贝叶斯网络结构学习耗时的缺点。

如图8所示，在步骤3.1中分别载入这两个模型并进行初始化。由于HNB不需要设置任何参数，因此在载入HNB时以默认方式初始化。对于AODE，需要设置最小频度freq，该参数为整数，表示出现至少freq次的组合予以考虑。正常情况取1即可；若训练集较大，也可适当增加freq的值，减少偶然组合的影响。在步骤3.2中，对每个测试用例t_i，载入对应的训练集Trainset_i进行训练。当训练集较大时，可设置最大训练步数和最大训练时间。在步骤3.3中，准备好新版本的模块变更信息，以训练集相同的格式要求填入检验集Testset_i＝[Δ_new，θ_i]。其中新版本变更信息集合Δ_new＝{δ_1，new，δ_2，new，...，δ_l，new}，代表新版本中的模块变更向量。将检验集代入上一个步骤训练好的分类挖掘模型，预测出测试用例t_i在新版本的执行结果θ_i，这个值是浮点值(处于0和1之间)，代表测试用例t_i能够发现新版本中软件缺陷的概率。

综合所有测试用例的预测结果，模块3的最终输出是一个三元组集合Prof＝{<t_i，θ_i，type>|t_i∈t，0＜θ_i≤1，1≤i≤m，type∈{HNB，AODE}}，其中t_i为测试用例；type是选用的分类模型；概率θ_i表示测试用例t_i能够发现新版本软件缺陷的概率，θ_i越高表示测试用例t_i的价值越高，越值得优先测试。

模块4是测试用例优先化排序模块，其处理流程如图9所示。由于本发明方法采用HNB和AODE两个贝叶斯分类挖掘模型分别预测，在步骤4.1中首先取测试用例t_i对应的Prof集合中两个三元组，将其中的两个θ_i求和取平均值，得到测试用例t_i发现新版本软件缺陷的最终预测概率p_i。然后在步骤4.2中，根据每个测试用例发现软件缺陷的最终概率p_i对所有测试用例进行排序。最后在步骤4.3中，考虑回归测试阶段的时间是有限的，令回归测试的总时间为time_max，选取在time_max内能够完成的前m’个测试用例构成最终的回归测试用例集。

为验证本发明方法的有效性，设计实验选取7个软件系统的历史测试数据和版本数据集完成测试用例优先化。这7个软件系统分别是：replace，printtokens，printtokens2，schedule，schedule2，tcas及totinfo。它们是软件测试领域权威的公开数据集，最初由西门子公司的研究人员建立。实验采用WEKA提供的HNB和AODE分类挖掘模型实现。WEKA是Java语言实现的数据挖掘平台，在数据挖掘领域得到了广泛的认可和应用。

实验选择M₁准则衡量优先化方法的有效性。M₁是公认的评价黑盒测试有效性的准则，M₁考虑测试执行过程中已检测到缺陷的测试用例占能够检测到缺陷的用例总数比例的变化，不考虑是否检测到重复的缺陷。M₁计算公式如下：

$M_1=\frac{\frac{1}{2}{\mathrm{\&Sigma;}}_{i=1}^m((2m-2i+1)\&times;f_i)}{m\&times;{\mathrm{\&Sigma;}}_{i=1}^m{f}_i}$

其中m为测试集规模，f_i代表测试用例是否能够检测到缺陷(对应t_i在新版本的执行结果r_i)：0表示未检测到缺陷，1表示能够检测缺陷。

表1

	Optimal	本发明方法	Original
				printtokens	99.16	54.12	35.13
printtokens2	97.28	85.92	32.78
				schedule	98.32	62.37	25.70
schedule2	94.42	62.42	26.54
				totinfo	95.98	82.53	44.45
replace	94.39	81.52	44.16
				tcas	97.62	83.20	46.61

表1所示是本发明方法在7个西门子数据集上的M₁值。其中Optimal是理想化的最优测试用例排序，是逆向推导的排序，由于事先不可预知测试用例在新版本的执行结果，所以Optimal代表M₁上界，且不可达成。Original是没有经过排序的原始测试用例序列。综合上表的数据，本发明方法取得的M₁值在各个数据集上均远远优于未排序的原始测试序列，接近理想的Optimal序列的效果。

Claims (3)

1.一种基于分类挖掘和版本变更的测试用例优先化方法，其特征在于包括以下步骤：

1)历史数据预处理：收集不同版本下的测试用例执行结果和模块变更的信息，转化成不同版本下测试用例执行结果数据矩阵和不同版本间模块变更数据矩阵；其中执行结果数据矩阵的转化过程为：收集每个版本v_j下各测试用例t_i的执行结果r_ij，构建测试用例执行结果数据矩阵R(m，n)＝[r_ij]_m×n，其中m为测试用例数量；n为软件版本数量；r_ij为矩阵元素，表示测试用例t_i在软件版本v_j上的执行结果，r_ij共有三个取值：0表示测试通过；1表示测试未通过；null即空值，表示在版本v_j中测试用例t_i未被执行过；

模块变更数据矩阵的转化过程为：选定样例版本v₀；参照版本v₀，收集每个版本v_j中各模块Mod_k的变更情况δ_jk，构建模块变更矩阵Δ(n，l)＝[δ_jk]_n×l，其中l为软件包含的模块数量，n为软件版本数量；矩阵元素δ_jk表示版本v_j同样例版本v₀在模块Mod_k上相比是否发生变更，共有两个取值：0表示版本v_j跟样例版本v₀相比较，在模块Mod_k上未发生变更；1表示版本v_j跟样例版本v₀相比较，在模块Mod_k上发生变更；

2)分类挖掘训练集构建：根据步骤1)得到的两个数据矩阵，为每个测试用例建立分类挖掘训练和预测所需训练集；分类挖掘训练集构建过程是：为每个测试用例构建分类挖掘训练集，给定测试用例集T中的测试用例t_i，考虑执行过测试用例t_i的每个版本v_j，将版本v_j中每个模块Mod_k的变更信息δ_jk和该测试用例t_i在版本v_j的执行结果r_ij合并成一个数据向量：<δ_j1，δ_j2，...，δ_jl，r_ij>；然后将测试用例t_i在各版本的数据向量合并成矩阵，构成测试用例t_i的训练集Trainset_i；针对测试用例t_i，训练集Trainset_i＝[Δ，R_i]，是一个n’×(l+1)的矩阵，其中Δ(n’，l)取自模块变更数据矩阵Δ(n，l)，且不考虑未执行用例t_i的版本；R_i是一个n’×1向量，是测试用例执行结果矩阵R(m，n)中第i行的转置，表示测试用例t_i在n个版本中的执行结果，同样不考虑未执行用例t_i的版本；

3)分类挖掘训练和预测：选择贝叶斯分类HNB和AODE两个分类挖掘模型，对每个测试用例采用对应的训练集进行模型训练；根据训练好的模型预测新版本中每个测试用例发现软件缺陷的概率；

4)测试用例优先化排序：根据模型预测的综合结果，结合回归测试执行的时间限制，对测试用例进行优先化排序。

2.根据权利要求1所述的基于分类挖掘和版本变更的测试用例优先化方法，其特征在于步骤3)中分类挖掘训练和预测中选择贝叶斯分类模型HNB和AODE进行训练和 预测的过程是：载入这两个模型并进行初始化，其中载入HNB时以默认方式初始化；载入AODE时设置最小频度freq，缺省情况取1；若训练集较大时增加freq值；对每个测试用例t_i，载入对应的训练集Trainset_i进行训练；当训练集较大时设置最大训练步数和最大训练时间；组织新版本的模块变更信息，填入检验集Testset_i＝[Δ_new，θ_i]，其中新版本模块变更向量Δ_new＝{δ_1，new，δ_2，new，...，δ_l，Δnew}；将检验集代入上一个步骤训练好的分类挖掘模型，预测出测试用例t_i在新版本的执行结果θ_i，这个值是浮点值，并处于0和1之间，代表测试用例t_i能够发现新版本中软件缺陷的概率；综合所有测试用例的预测结果，最终输出是一个三元组集合Prof＝{<t_i，θ_i，type>|t_i∈T，0＜θ_i≤1，1≤i≤m，type∈{HNB，AODE}}。

3.根据权利要求2所述的基于分类挖掘和版本变更的测试用例优先化方法，其特征在于步骤4)的测试用例优先化排序的过程是：首先取测试用例t_i对应的Prof集合中两个三元组，将其中的两个θ_i求和取平均值，得到测试用例t_i发现新版本软件缺陷的最终预测概率p_i；然后根据每个测试用例发现软件缺陷的最终概率p_i对所有测试用例进行排序；最后根据回归测试阶段的最大允许时间time_max，选取在time_max内能够完成的前m’个测试用例构成最终的回归测试用例集。 

Images