CN101908017B - 一种基于部分多重覆盖的回归测试用例筛选方法 - Google Patents

Abstract

本发明公开了一种基于部分多重覆盖的回归测试用例筛选方法，首先根据软件系统特征和测试用例库的历史数据，构建测试需求覆盖矩阵；再针对修改组件，将测试需求集划分为关注集和无关集；采用HATS算法选择回归测试集；对于测试用例库的维护，采用基于风险或操作剖面定义测试需求的多重覆盖策略；根据给定的多重覆盖策略，采用MHATS算法筛选测试用例集。本发明通过多重覆盖策略来保留冗余的测试用例，从而在精简测试用例库时维持测试用例库的缺陷检测能力；另外在选择回归测试集时面向部分覆盖，同时避免覆盖不相干的测试需求，在进一步减少测试用例数量的同时，降低测试执行和分析的成本。

Description

一种基于部分多重覆盖的回归测试用例筛选方法

技术领域

本发明涉及回归测试下软件系统的测试用例筛选方法，特别涉及软件系统开发和升级中存在大量测试用例的情况下，针对需要回归测试的系统组件，通过达到充分有效的测试需求覆盖来筛选测试用例，降低回归测试成本。

背景技术

软件系统不管是在开发过程中还是在发布以后，总是面临不断的修正和升级。在每一次修改后，为确保软件系统未变更的功能和组件没有受到当前修改的负面影响，需要对软件系统进行充分的回归测试。由于复用的软件组件没有得到充分的回归测试，曾导致阿里亚娜5型火箭发射失败，造成巨大的损失。这说明回归测试的必要性。在当前流行的增量式开发和快速迭代式开发中，新版本的连续发布需要频繁的回归测试；在敏捷(极限)编程环境下，更要求软件系统每天都通过若干次回归测试。这使得回归测试成本在软件开发成本中占据很大比重。如何有效选择回归测试策略从而能够以低成本高质量完成软件系统的回归测试是本发明需要考虑的问题。

直接决定回归测试成本的测试策略是测试用例库的维护和回归测试集的选择操作。在软件系统的开发和升级过程中，不同的开发团队和人员不断增添新的测试用例到测试用例库，这使得库中存在大量冗余的测试用例。如何有效删除冗余的测试用例，并根据软件系统当前的变更选择合适的回归测试集是降低回归测试成本并保证回归测试质量的关键所在。一个测试用例是否冗余决定于它覆盖的测试需求。一个被测软件可以视为测试需求的集合。测试需求定义为被测软件的测试覆盖单元，例如从结构角度，测试需求可以定义为语句块、程序分支、或者变量的定义-引用对；从功能角度，测试需求可以定义为输入的等价类划分、输出的等价类划分、或者功能项等。当前较多的考虑是从结构角度定义测试需求，例如语句块或程序分支。

测试用例约简技术被用于删除冗余的测试用例和选择合适的回归测试集。其原理是：每个测试用例都覆盖一个测试需求集合，可以选择最少数量的测试用例集，只要它们覆盖的测试需求集合的并集等于被测软件，那么这个选定集合就可以用于组成回归测试集或者构成精简后的测试用例库。传统约简技术的问题是：如果用于删除测试用例库中冗余的测试用例，则因为保留的测试用例数量太少，回归测试的缺陷检测能力不能得到保证；如果用于回归测试集选择，则因为约简后的测试用例集覆盖了所有的测试需求，而当前回归测试往往仅需关注被修改的组件，于是又选择了过多的测试用例，增加了回归测试成本。

当前软件系统的修改非常频繁，需要采用面向部分覆盖的回归测试；即只针对修改的软件组件选择回归测试集并达到对相关测试需求的充分覆盖，而避开其他不相干的测试需求。这种处理有以下优点：其一缺陷修复向来不是一次性完成，避开未修复的缺陷组件可以减少“预防性”代码并规避未修复缺陷的干扰；其二软件系统总是包含复用和购买的组件，这些组件的代码或者不可见，或者其修改不可控，绕开这些组件可以完成更有效的回归测试；其三有一些组件可能尚在开发或修改中，能够避开这些未完成组件可以实施更早的回归测试。

发明内容

本发明的主要目的是针对软件系统回归测试时的测试用例库维护问题和回归测试集选择问题，提出一种基于部分多重覆盖的回归测试用例筛选方法，一方面降低测试用例库的冗余度同时保证用例库的缺陷检测能力；另一方面针对修改组件选择回归测试用例，减少回归测试集的规模，在保证回归测试质量前提下降低回归测试成本。

为实现本发明所述目的，本发明采用如下的步骤：

1)首先根据软件系统特征和测试用例库的历史数据，构建测试需求覆盖矩阵；具体过程为：将被测软件系统视为测试需求集合R，测试用例库视为测试用例集合T，根据测试用例库中测试用例的历史执行数据，构筑测试覆盖矩阵Δ(R，T)；根据Δ(R，T)，给定测试用例t_j，可了解该测试用例的覆盖需求集R_j；给定测试需求r_i，可了解该测试需求的执行用例集T_i。

2)针对修改组件，将测试需求集R划分为关注集CR和无关集R-CR，其中关注集CR是与当前软件修改相关的测试需求集合，包含本次回归测试必须充分覆盖的测试需求；而无关集R-CR是与当前修改无关的测试需求集合；关注集需要被充分测试，以保证回归测试的质量；而无关集可以尽量避开，以降低回归测试的成本。

3)采用HATS算法选择回归测试集，针对关注集CR，选择最少数量的测试用例充分覆盖关注集中的所有测试需求；针对无关集R-CR，选择对无关集中测试需求覆盖少的测试用例；通常一个较大(复杂)的测试用例会同时覆盖较多的关注需求和无关需求，HATS算法设定一个权值，平衡考虑对关注需求的覆盖和对无关需求的避免。

4)对于测试用例库的维护，采用基于风险或操作剖面定义的测试需求多重覆盖策略；按照操作剖面，不同的测试需求对使用者的重要程度或使用频率互不相同。对较重要的和使用频率较高的测试需求，需要更多的覆盖次数。另外不同测试需求所代表的风险-即可疑程度或关键程度等也各不相同，其中需求关键程度可采用卡诺(Kano)模型描述。风险较大的测试需求也需要更多的覆盖次数。

5)根据给定的多重覆盖策略，采用MHATS算法筛选测试用例集，MHATS算法重复调用HATS算法，直到所有测试需求被覆盖指定次数。实例验证表明基于多重覆盖策略维护测试用例库，既可以减少用例库的冗余度，又可以有效保证用例库的缺陷检测能力。

上述步骤2)中集合操作“-”的含义定义如下：

(A和B是两个集合)。

上述步骤3)的HATS算法遵循启发式贪婪搜索模式，采用不断迭代的方法，一次选择一个或多个局部最优(如覆盖最多数量关注需求或者覆盖最少数量无关需求)的测试用例，直到关注集CR中所有测试需求都被覆盖；HATS算法包括三个测试用例筛选策略：

策略1.必选策略，如果当前关注集cur_CR中存在测试需求r_i，r_i仅被当前用例集cur_T中唯一的一个测试用例t_j覆盖，则用例t_j必然被选入当前选择集cur_Select；

策略2.替代策略，如果当前用例集cur_T中存在两个测试用例t_j和t_k，t_j覆盖的当前关注集cur_CR中需求子集包含t_k覆盖的cur_CR中需求子集，且t_j覆盖的无关需求子集被t_k覆盖的无关需求子集包含，则用例t_k可以从集合cur_T中删除；

策略3.优选策略，选择当前用例集cur_T中最合适的测试用例t_j，t_j覆盖“尽可能多”的当前关注集cur_CR中测试需求，同时覆盖“尽可能少”的无关集中测试需求。

策略3所述的优选策略定义两个指标：贡献指标和损益指标；测试用例t_j的贡献指标ζ_j的定义公式为：

${\mathrm{\ζ}}_j=\frac{|R_j\∩\mathrm{cur}\_\mathrm{CR}|}{|\mathrm{cur}\_\mathrm{CR}|}$

表示t_j覆盖的关注需求占集合cur_CR的比例；用例t_j的损益指标υ_j的定义公式为：

${\mathrm{\υ}}_j=1-\frac{|R_j\∩(R-\mathrm{CR})|}{|R-\mathrm{CR}|}$

表示t_j未覆盖的无关需求占无关需求集的比例；为综合考虑用例t_j对关注集的覆盖和对无关集的避免，引入权重因子α(0≤α≤1)，定义t_j的效用指标ω_j为其贡献指标和损益指标的加权和，公式如下：

ω_j＝α·ζ_j+(1-α)·υ_j。

因子α越大，表示越关注贡献指标，即对关注需求的覆盖越重视；α越小，表示越关注损益指标，即对无关需求的避免越重视。优选策略选择集合cur_T中具有最大效用指标值的测试用例。实例表明同全覆盖用例集约简相比较，HATS算法可以进一步较大程度降低约简后用例集规模，从而节约测试成本。

上述步骤4)的多重覆盖策略的具体过程为：针对测试需求集R定义需求覆盖表Θ_R，Θ_R是一个二元组集合，定义公式如下：

Θ_R＝{<r_i，θ_i>|r_i∈R∧θ_i≥0∧θ_i≤|T_i|}

对测试需求集合R中的每一个测试需求r_i，有且仅有一个二元组<r_i，θ_i>属于Θ_R，其中θ_i是需求r_i的覆盖次数要求，即至少需要θ_i个不同的测试用例覆盖需求r_i，T_i表示需求r_i的执行用例集，需求覆盖表Θ_R通过软件系统的操作剖面或者卡诺模型来导出。

上述步骤5)的MHATS算法具体过程为：给定需求覆盖表Θ_R，MHATS算法在每一次迭代中，将尚未满足覆盖次数要求的测试需求用于组成关注集CR，已满足的测试需求则组成无关集，以此调用HATS算法。这样处理可以使集合R中所有测试需求最终被覆盖的次数尽量符合覆盖表Θ_R的约定。除用于测试用例库维护外，MHATS算法也可以用于回归测试集选择。

本发明方法在测试用例约简过程中通过多重覆盖策略来保留冗余的测试用例，从而在精简测试用例库时维持测试用例库的缺陷检测能力；另外在选择回归测试集时面向部分覆盖，同时避免覆盖不相干的测试需求，这样处理可以使一些复杂的覆盖大量测试需求的测试用例不被选入回归测试集，从而在进一步减少测试用例数量的同时，降低测试执行和分析的成本。

附图说明

图1是基于部分多重覆盖的回归测试用例筛选方法的技术框架，

图2是一个简单示例程序及其测试用例库的测试历史数据，

图3是图2中示例程序对应的测试需求覆盖矩阵，

图4是HATS算法的流程图，

图5是HATS算法中优选策略的流程图，

图6是卡诺(Kano)模型中需求类型示意图，

图7是MHATS算法的流程图，

图8是HATS算法测试用例集约简效果同全覆盖约简的比较图，

图9是MHATS算法测试用例集约简的效果图，

图10是MHATS算法约简用例集的缺陷检测能力同单覆盖约简的比较图。

具体实施方式

图1所示为基于部分多重覆盖的回归测试用例筛选方法的技术框架。框架的输入是被测软件系统和回归测试用例库；输出是针对当前软件修改所选择的回归测试集，以及精简后的回归测试用例库。技术框架分成五个部分：首先根据被测软件组成和回归测试用例库的历史数据构建测试覆盖矩阵。接下来考虑两个应用场景：其一是根据当前软件修改选择合适的回归测试集；其二是约简回归测试用例库，删除冗余的测试用例。考虑场景一，第一步根据当前修改组件将测试用例集划分为关注需求集和无关需求集；第二步运用HATS算法选择回归测试集；输出是针对当前修改的回归测试集。考虑场景二，第一步根据软件组成和需求特点建立多重覆盖策略；第二步运用MHATS算法约简回归测试用例库；输出是精简后的回归测试用例库。其中多重覆盖策略可应用于场景一，在测试成本和时间允许的情况下补充回归测试用例，提高回归测试的质量。

首先根据被测软件组成和回归测试用例库的历史测试数据构建测试覆盖矩阵。被测软件可以认为是一个测试需求集合R＝{r₁，r₂，...r_N}，其中r_i代表第i个测试需求。测试需求是被测程序的测试覆盖单元，一般从软件结构角度可以定义为语句块、程序分支、或者变量定义-引用对；从功能角度可以定义为输入的等价类划分、输出的等价类划分、或者功能项等。从功能角度到结构角度可以定义映射关系，如输入空间划分出的一个等价类可以映射到一个语句块或程序分支的集合。

回归测试用例库是一个测试用例集合T＝{t₁，t₂，...，t_n}，其中t_j代表第j个测试用例。根据历史测试数据，测试用例t_j执行后会覆盖测试需求集合的一个子集，称为t_j的覆盖需求集

根据各个测试用例的覆盖需求集，给定测试需求r_i，可以确定测试需求r_i的执行用例集

其中包含覆盖需求r_i的所有测试用例。根据测试需求集R和测试用例集T之间的覆盖关系可以构建测试需求覆盖矩阵Δ(R，T)。Δ(R，T)是一个|R|×|T|的二进制矩阵，其中|R|和|T|分别代表集合R和T中的元素数量。矩阵元素δ_ij的定义如公式(1)所示。

按照测试需求覆盖矩阵Δ(R，T)，测试用例t_j的覆盖需求集R_j对应Δ(R，T)的一列，而测试需求r_i的执行用例集T_i对应Δ(R，T)的一行。矩阵元素δ_ij为1当且仅当t_j∈T_i或者r_i∈R_j。

图2所示为一个简单的示例程序及其测试用例库的测试覆盖数据。图3所示为其对应的测试需求覆盖矩阵。图3中测试用例t₆的覆盖需求集R₆＝{r₁，r₂，r₃，r₄，r₆，r₇，r₁₃}；而测试需求r₆对应的执行用例集T₆＝{t₁，t₅，t₆，t₈}。测试用例t₁的覆盖需求集同用例t₆的覆盖集相同，但两个用例的执行结果不同。说明两者虽然覆盖了相同的测试需求，但缺陷检测能力并不相同。测试需求r₁₂的执行用例集T₁₂为空集，说明需求r₁₂没有被任何用例覆盖。

接下来考虑应用场景一，即针对当前软件修改选择合适的回归测试集。第一步针对当前修改组件将测试需求集R划分为关注需求集CR和无关需求集R-CR。其中集合操作“-”的含义由公式(2)定义。

(A和B是两个集合)    (2)

关注集CR同当前的软件修改直接相关，包含本次回归测试必须充分覆盖的测试需求。无关集中的测试需求同当前软件修改不相干，在选择回归测试集时避免覆盖无关集中的测试需求可以降低回归测试执行和分析的成本。这基于以下五个方面的考虑：

1.减少必须覆盖的测试需求数量可以进一步减少所需的回归测试用例数量，从而降低测试成本和时间；

2.避免覆盖无关的测试需求可以避免涉及无关的测试需求和代码，从而减少测试分析的工作量和成本；

3.缺陷修复向来不是一次性完成，避开未修复的缺陷组件可以减少“预防性”代码并规避未修复缺陷的干扰，增加回归测试的可行性；

4.软件程序总是包含复用和购买的组件，这些组件的代码或者不可见，或者其修改不可控，绕开这些组件可以完成更有效的测试，减少软件测试的依赖性；

5.有一些组件可能尚在开发和修改中，能够避开这些未完成组件可以实施更早的测试，增加目标软件的可测试性。

第二步是选择回归测试集，既充分覆盖关注集CR，又避免覆盖无关集。给定测试需求集合R，其代表用例集Υ_R是一个测试用例集合，所包含的测试用例覆盖集合R中所有的测试需求。显然代表用例集Υ_R可用于组成回归测试集。为减少回归测试成本，需要寻求最小规模的代表用例集Υ_R，其对应的问题就是测试用例集约简问题。针对测试用例集T＝{t₁，t₂，...，t_n}，令集合∏＝{R₁，R₂，...，R_n}，为各测试用例覆盖需求集所组成的集合。解决测试用例集约简问题等同于寻找集合∏中的最少元素，使其并集等于集合R。后者是著名的最小覆盖集问题，已被证明是NP完全问题。

考虑测试需求集的部分覆盖使问题更进一步，给定关注集CR，要求寻找最优的代表用例集Υ_CR，达到以下两个目标：

目标1.Υ_CR中的测试用例数量最少，即：min(|Υ_CR|)；

目标2.无关需求的覆盖数量最少，即：

解决部分覆盖测试用例集约简问题同样是一个NP完全问题。本发明采用HATS算法解决该问题。HATS算法遵循启发式贪婪搜索模式，采用不断迭代的方法，一次选择一个(或多个)局部最优(如覆盖最多数量关注需求或者覆盖最少数量无关需求)的测试用例，直到集合CR中所有测试需求都被覆盖。HATS算法定义以下标记：

cur_T：当前的备选测试用例集；

cur_CR：当前的关注需求集，其中的测试需求尚未被覆盖；

cur_Select：本次迭代选择的测试用例集合。

HATS算法基于以下三个策略选择测试用例：

策略1.必选策略。如果集合cur_CR中存在测试需求r_i，r_i仅被集合cur_T中唯一的一个测试用例t_j覆盖，则用例t_j必然被选入集合cur_Select。

策略2.替代策略。如果集合cur_T中存在两个测试用例t_j和t_k，t_j覆盖的cur_CR中需求子集包含t_k覆盖的cur_CR中需求子集(即

)，且t_j覆盖的无关需求子集被t_k覆盖的无关需求子集包含，则用例t_k可以从集合cur_T中删除。

策略3.优选策略。选择集合cur_T中最合适的测试用例t_j，t_j覆盖“尽可能多”的cur_CR中关注需求，同时覆盖“尽可能少”的无关需求。

图4所示是HATS算法的执行流程图。算法的输入是测试需求集R、关注需求集CR、和测试用例集T，输出是代表用例集Υ_CR，即针对当前修改的回归测试集。在每次迭代中，首先应用替代策略删除集合cur_T中冗余的测试用例；然后应用必选策略组成集合cur_Select；如果不能应用必选策略，则应用优选策略选择合适的测试用例组成cur_Select；接下来从cur_T中移除cur_Select中用例，同时将cur_Select并入输出集合Υ_CR；最后删除cur_CR中被cur_Select中用例覆盖的关注需求。

考虑优选策略，一个问题是给定测试用例t_j，如果t_j覆盖较多数量的关注需求，那么通常也会覆盖较多数量的无关需求。这里需要一个折中，为此定义两个指标：贡献指标和损益指标。测试用例t_j的贡献指标ζ_j的定义由公式(3)描述，表示t_j覆盖的关注需求占集合cur_CR的比例。用例t_j的损益指标υ_j的定义由公式(4)描述，表示t_j未覆盖的无关需求占无关需求集的比例。

${\mathrm{\&zeta;}}_j=\frac{|R_j\&cap;\mathrm{cur}\_\mathrm{CR}|}{|\mathrm{cur}\_\mathrm{CR}|}---\left(3\right)$

${\mathrm{\&upsi;}}_j=1-\frac{|R_j\&cap;(R-\mathrm{CR})|}{|R-\mathrm{CR}|}---\left(4\right)$

显然两个指标越高，表示测试用例t_j越合适。为综合考虑用例t_j对关注集的覆盖和对无关集的避免，定义t_j的效用指标ω_j为其贡献指标和损益指标的加权和，公式(5)描述了这个定义。其中α(0≤α≤1)为权重因子，α越大，表示越关注贡献指标，即对关注需求的覆盖越重视；α越小，表示越关注损益指标，即对无关需求的避免越重视。

ω_j＝α·ζ_j+(1-α)·υ_j    (5)

优选策略选择集合cur_T中具有最大效用指标值的测试用例，其处理流程如图5所示。针对cur_T中每一个测试用例t_j，首先计算其效用指标，然后选择第一个具有最大效用指标值的测试用例作为输出。

考虑应用场景2，即约简和维护回归测试用例库。第一步是根据软件组成和需求特点建立多重覆盖策略。多重覆盖策略意味着每一个测试需求被覆盖不止一次，这要求保留冗余的测试用例。考虑图2和图3所示的例子，其中测试用例t₁和t₆的覆盖需求集等同。按用例集约简要求，用例t₁和t₆只需保留一个。但在本例中t₁和t₆的执行结果并不相同，说明两个用例可以检测不同的缺陷，删除其中一个会降低测试用例库的缺陷检测能力。

多重覆盖策略可以基于操作剖面或需求风险来定义。两者都针对功能性需求。操作剖面定义了软件系统的使用方式，其中软件被认为是操作的集合，一个操作一般对应软件的一个功能项，各操作相互独立。操作剖面定义每个操作出现的几率，所有几率值累加为1。显然出现几率高的操作应该具有更多的覆盖次数。例如操作a的出现几率是0.2，操作b的出现几率是0.1，那么操作a被覆盖的次数应该是操作b被覆盖次数的2倍。

需求风险可基于需求项的可疑程度或关键程度来确定。一种定义需求风险的设施是卡诺模型(Kano Model)。图6所示是卡诺模型定义的三种需求类型。其中基本型需求是必须的，实现程度不够会使客户满意度大幅下降，但实现的非常充分也并不能使客户满意；期望型需求是客户期望得到的，客户满意度基本同其实现程度成正比；兴奋性需求不是必备的，但充分的实现会极大提高客户的满意度。显然这三类需求需要不同的覆盖次数。一种设定是以期望型需求的覆盖次数为基准，当软件尚未成型质量并不稳定时，基本型需求的覆盖次数高于期望型需求，而兴奋性需求的覆盖次数则低于期望型需求；当软件已经成型质量稳定后，兴奋型需求的覆盖次数将高于期望型需求，而基本型需求的覆盖次数则低于期望型需求。

运用需求跟踪矩阵可以将功能性需求的覆盖次数要求转化为结构性需求(如语句块)的覆盖次数要求。多重覆盖策略可以采用需求覆盖表描述。给定需求集R，其对应的需求覆盖表Θ_R是一个二元组集合，定义由公式(6)描述。对集合R中的每一个需求r_i，有且仅有一个二元组<r_i，θ_i>属于Θ_R，其中θ_i是测试需求r_i的覆盖次数要求，即至少需要θ_i个不同的测试用例覆盖需求r_i。

Θ_R＝{<r_i，θ_i>|r_i∈R∧θ_i≥0∧θ_i≤|T_i|}    (6)

第二步是运用MHATS算法根据需求覆盖表Θ_R约简回归测试用例库。给定测试需求集合R和对应的需求覆盖表Θ_R，MHATS算法寻找最优的多重覆盖代表用例集Υ_MR，达到以下两个目标：

目标1.Υ_MR中的测试用例数量最少，即：min(|Υ_MR|)；

目标2.各测试需求被Υ_MR中不同测试用例的覆盖次数满足Θ_R中要求，即：

MHATS算法通过重复调用HATS算法，直到所有测试需求被覆盖指定次数。MHATS算法增加以下标记：

cur_Θ_R：当前的需求覆盖表，对测试需求r_i，对应的θ_i表示尚欠缺的覆盖次数。

图7所示为MHATS算法的执行流程。算法的输入是测试需求集R、需求覆盖表Θ_R和测试用例集T，输出是多重覆盖代表用例集Υ_MR，即约简后的测试用例库。在每一次迭代中，算法首先根据当前的需求覆盖表cur_Θ_R组建还需要覆盖的测试需求集cur_CR。然后以cur_CR为关注需求集、cur_T为测试用例集调用HATS算法。HATS算法尝试寻找测试用例集覆盖cur_CR中的测试需求，同时避免覆盖cur_CR以外的测试需求。这种处理可以使集合R所有需求最终被覆盖的次数尽量符合覆盖表Θ_R的约定。HATS算法的输出被赋予cur_Select集合，后者被并入Υ_MR，同时从cur_T中移除；然后用于调整cur_Θ_R。因为在覆盖表Θ_R中，测试用例r_i要求覆盖的次数θ_i少于能够覆盖需求r_i的测试用例数量(即θ_i≤|T_i|)，所以在有限次迭代和调用HATS算法后，MHATS算法能够成功结束，所得到的代表用例集Υ_MR满足覆盖表Θ_R的要求。

除用于测试用例库维护外，MHATS算法也可以用于回归测试集选择。此时如果测试需求r_i不属于关注集CR，则对应的θ_i为0；如果需求r_i属于集合CR，则根据选定的多重覆盖策略，θ_i设置为大于等于1的合适值。在测试成本和时间许可的前提下，这样处理可以提高回归测试的质量。

为说明本发明在技术上的先进性。我们采用开源软件NanoXML和JTopas检验测试用例集筛选效果，包括约简规模和约简后用例集的缺陷检测能力，其中测试需求定义为语句块。设计30个实验，每个实验中选择不同的CR集合，占R集合的比例从3％～20％不等，符合实际软件项目的情况。首先比较部分覆盖测试用例集约简(HATS算法)和全覆盖用例集约简所得到的约简后用例集规模，如图8所示。这里全覆盖用例集约简算法采用经典的HGS算法，HGS_T代表全覆盖约简；HATS_0.1和HATS_0.5分别表示因子α的值为0.1和0.5。为便于比较，图中纵坐标采用约简集占初始用例集规模的百分比值。从图中箱型图可以看出，HATS算法可以进一步较大程度降低约简后用例集规模，从而节约测试成本。当权重因子α设置为较大的值(0.5)时，规模约简的效果更好。

其次考察多重覆盖约简(MHATS算法)对测试用例集的规模约简效果。考察30个实验，在每个实验中，由覆盖CR集合的所有测试用例构成初始用例集，观察MHATS算法约简后用例集规模占初始集规模的百分比值；在每一次迭代中，MHATS算法调用的是HATS_0.1，如图9所示。为简单起见，覆盖表Θ_R中各测试需求要求的覆盖次数等同。如MHATS₂表示所有测试需求要求2个以上的测试用例覆盖；如果对测试需求r_i，其执行用例集T_i规模小于对应的θ_i，则θ_i降为|T_i|。按图中箱型图可以看出，当覆盖表Θ_R中θ值为3时，约简后用例集规模一般不超过初始用例集的20％；即使θ值升为8，除个别情况外，约简集规模一般也不超过初始集的30％。这样处理可以较大程度减少测试用例库规模和冗余度，降低测试用例库维护的成本。

最后考察多重覆盖约简对测试用例集缺陷检测能力的维持能力。对每个实验，只考虑针对CR集合的覆盖和缺陷检测。为确保实验充分性，采用变异杀除率MS(英文对应名称Mutation Score)作为缺陷检测能力的衡量。变异杀除率MS指先对被测软件程序做充分变异，如对一段程序生成尽可能多的变异程序，每个变异程序包含一个操作符或操作数上的差异；然后运行测试用例集，计算能够发现缺陷的变异程序数量占全部变异程序数量的比值。显然MS值越高说明测试用例集的缺陷检测能力越好。这里比较MHATS算法所得约简集同单覆盖约简(HGS算法)所得约简集的缺陷检测能力，如图10所示。为便于比较，约简集的变异杀除率MS_Υ显示的是占初始用例集杀除率MS_T的百分比值。从图10中可以看出，多重覆盖约简集的缺陷检测能力明显优于单覆盖约简。同初始用例集相比较，除个别情况外，多重覆盖约简集的缺陷检测能力能够维持在初始用例集的95％以上，从而在降低测试成本的同时有效保证了回归测试的质量。

Claims (2)

1.一种基于部分多重覆盖的回归测试用例筛选方法，其特征在于包括以下步骤：

1)首先根据软件系统特征和测试用例库的历史数据，构建测试需求覆盖矩阵；具体过程为：将被测软件系统视为测试需求集合R，测试用例库视为测试用例集合T，根据测试用例库中测试用例的历史执行数据，构筑测试需求覆盖矩阵Δ(R，T)；Δ(R，T)是一个|R|×|T|的二进制矩阵，其中|R|和|T|分别代表集合R和T中的元素数量，矩阵元素δ_ij的定义如公式(1)所示：

按照测试需求覆盖矩阵Δ(R，T)，测试用例t_j的覆盖需求集R_j对应Δ(R，T)的一列，而测试需求r_i的执行用例集T_i对应Δ(R，T)的一行；矩阵元素δ_ij为1当且仅当t_j∈T_i或者r_i∈R_j；

2)针对修改组件，将测试需求集R划分为关注集CR和无关集R-CR，其中关注集CR是与当前软件修改相关的测试需求集合，包含本次回归测试必须充分覆盖的测试需求；而无关集R-CR是与当前修改无关的测试需求集合；集合操作“-”的含义定义如下：

A和B是两个集合；

3)采用HATS算法选择回归测试集，针对关注集CR，选择最少数量的测试用例充分覆盖关注集中的所有测试需求；针对无关集R-CR，选择对无关集中测试需求覆盖少的测试用例；上述的HATS算法遵循启发式贪婪搜索模式，采用不断迭代的方法，一次选择一个或多个局部最优的测试用例，直到关注集CR中所有测试需求都被覆盖；HATS算法包括三个测试用例筛选策略：

策略1.必选策略，如果当前关注集cur_CR中存在测试需求r_i，r_i仅被当前用例集cur_T中唯一的一个测试用例t_j覆盖，则用例t_j必然被选入当前选择集cur_Select；

策略2.替代策略，如果当前用例集cur_T中存在两个测试用例t_j和t_k，t_j覆盖的当前关注集cur_CR中需求子集包含t_k覆盖的cur_CR中需求子集，且t_j覆盖的无关需求子集被t_k覆盖的无关需求子集包含，则用例t_k可以从集合cur_T中删除；

策略3.优选策略，选择当前用例集cur_T中最合适的测试用例t_j，t_j覆盖“尽可能多”的当前关注集cur_CR中测试需求，同时覆盖“尽可能少”的无关集中测试需求；

4)对于测试用例库的维护，采用基于风险或操作剖面定义测试需求的多重覆盖策略；具体过程为：针对测试需求集R定义需求覆盖表Θ_R，Θ_R是一个二元组集合，定义公式如下：

Θ_R＝{<r_i，θ_i>|r_i∈R∧θ_i≥0∧θ_i≤|T_i|} 

对测试需求集合R中的每一个测试需求r_i，有且仅有一个二元组<r_i，θ_i>属于Θ_R，其中θ_i是需求r_i的覆盖次数要求，即至少需要θ_i个不同的测试用例覆盖需求r_i，T_i表示需求r_i的执行用例集，需求覆盖表Θ_R通过软件系统的操作剖面或者卡诺模型来导出；

5)根据给定的多重覆盖策略，采用MHATS算法筛选测试用例集，MHATS算法重复调用HATS算法，直到所有测试需求被覆盖指定次数；其具体过程为：给定需求覆盖表Θ_R，MHATS算法在每一次迭代中，将尚未满足覆盖次数要求的测试需求用于组成关注集CR，已满足的测试需求则组成无关集，以此调用HATS算法，使各测试需求被覆盖的次数尽量符合覆盖表Θ_R的约定。

2.根据权利要求1所述的基于部分多重覆盖的回归测试用例筛选方法，其特征在于步骤3)中策略3所述的优选策略定义两个指标：贡献指标和损益指标；测试用例t_j的贡献指标ζ_j的定义公式为：

其中集合R_j表示用例t_j的覆盖需求集，表示t_j覆盖的关注需求占集合cur_CR的比例；用例t_j的损益指标υ_j的定义公式为：

表示t_j未覆盖的无关需求占无关需求集的比例；并引入权重因子α，0≤α≤1，定义t_j的效用指标ω_j为其贡献指标和损益指标的加权和，公式如下：

ω_j＝α·ζ_j+(1-α)·υ_j。 

Images