CN104461908A - 一种基于软件组合测试的回归测试用例重用方法 - Google Patents

Abstract

本发明公开了一种基于软件组合测试的回归测试用例重用方法，本发明所述方法主要包括以下步骤：计算新模型所有需要覆盖的组合；对于已有的每条测试用例尝试重用，若能重用，则将其转换为新模型下的测试用例，加入新的测试用例集，并去掉该测试用例覆盖的组合，否则该测试用例不可重用，将其抛弃；若还有未被覆盖的组合，则按照传统组合测试生成方法补充新的测试用例，覆盖剩余未被覆盖的组合，并加入新的测试用例集；最终得到的测试用例集就是重用了已有测试用例的回归组合测试用例集。

Description

一种基于软件组合测试的回归测试用例重用方法

技术领域

本发明涉及一种回归测试用例重用方法，特别是涉及一种利用软件组合测试在待测系统中生成测试用例的回归测试用例重用的方法。

背景技术

软件测试用于发现软件系统中的缺陷，是软件系统开发中的重要环节之一。当今软件系统规模越来越大，结构日趋复杂，使得软件更容易产生缺陷。而软件中的缺陷往往会导致各种各样的问题，如软件崩溃、财产损失甚至危及人身安全。软件组合测试是一种非常有效的软件测试方法，该方法用于测试多参数系统。在组合测试中，被测系统被看作一个黑盒，其行为受到多个参数(或称因素)相互作用的影响，这些参数可能是系统的配置、内部事件、外部输入等。这个多参数模型称为组合测试模型。D.Kuhn等人的研究表明，在某些系统中，大多数的软件错误是少数参数(一般不超过3个)取特定组合时引起的，这种错误称作组合错误。因此，如果能够测试到所有这样少数参数之间的组合，则被测系统中的大多数组合错误都可以被检测到。在软件组合测试中，通常使用覆盖数组作为测试用例集。覆盖数组是一个矩阵，其中的每一行对应一条测试用例，每一列对应一个参数。给定覆盖强度t，一个t强度的覆盖数组能够保证对于任意t列，该数组覆盖这t列所对应参数之间的所有组合。与此同时，由于覆盖数组精简的特性，其行数较少。因此组合测试可以采用较少数量的测试用例，达到较高的错误覆盖率。

组合测试用例集(覆盖数组)的生成技术有很多，其中一种是一维扩展策略。该策略先计算所有需要覆盖的组合，然后逐条生成测试用例，直到所有组合都被覆盖。每条测试用例的生成准则为覆盖尽量多未被覆盖的组合。

传统的组合测试方法是假设待测软件多参数模型中的参数之间是互相独立的。但在实际应用中，软件各因素间往往存在一定的约束关系，从而使这些因素中某些取值的组合受到一定限制。在生成组合测试用例集的过程当中，每条测试用例都必须满足参数间的约束，否则该测试用例无效，无法被执行，其覆盖到的参数组合也无法被测试到。在处理参数约束的过程中，经常会用到约束求解技术。约束求解技术以一组约束为输入，尝试生成一个满足所有约束的解(可行解)。若存在可行解，则这组约束可满足，并返回找到的可行解；若不存在可行解，则这组约束不可满足，也就说明这些约束之间存在矛盾。因此，在约束存在时，一维扩展策略中生成的每条测试用例都应当满足所有约束，并覆盖尽量多未被覆盖的组合。已有的工具或算法，如AETG-SAT、PICT等，处理约束的方法多分为两层：在高层对参数进行赋值，以覆盖尽量多未被覆盖的组合；当需要判断当前的赋值是否满足约束时，调用低层的求解器进行判断。而也有一类方法如Cascade，将整条新测试用例生成转化为待约束的优化问题进行求解。

在实际应用组合测试时，往往由于待测系统的测试需求发生变更，或待测系统本身的变更，导致参数化模型需要进行相应的变更。常见的变更类型有：增加或删除参数，增加或删除参数取值，增加、删除或变更约束。在参数化模型发生改变后，需要重新生成组合测试用例集，来达到新模型下的覆盖要求。这个过程称为组合测试的回归测试。若针对新的参数化模型重新生成测试用例集，往往新的测试用例集和旧模型下的测试用例集差异很大，重新测试的代价相对较高。而事实上，旧模型下的测试用例集，往往有很大一部分可以在新模型下进行重用，从而降低重新测试的代价。大多数已有的组合测试测试用例生成的流程都是在模型给定的情况下进行，并没有考虑模型变更后，如何进行回归组合测试的问题。

本发明涉及的一种回归测试用例重用方法的目标是在参数化模型发生变更后，在满足新模型下覆盖要求的前提下，尽可能重用原模型下已有的测试用例，以减小新增的测试开销。

发明内容

本发明针对的是组合回归测试问题，提出了一种基于软件组合测试的回归测试用例重用方法，能够在满足新模型下覆盖要求的前提下，尽可能重用原模型下已有的测试用例，以减小新增的测试开销。

为了实现本发明的目的，采用的技术方案概述如下：一种基于软件组合测试的回归测试用例重用方法，包括以下步骤：

(1)计算软件组合测试模型变更后的新模型下所有需要覆盖的参数组合；

(2)对于已有的每条测试用例尝试重用，若能重用，则将其转换为新模型下的测试用例，加入新的测试用例集，并从需要覆盖的参数组合中去掉该测试用例覆盖的参数组合，否则该测试用例不可重用，将该测试用例抛弃；

(3)经过步骤(2)之后，若还有需要覆盖的参数组合，则按照传统组合测试测试生成方法补充新的测试用例，覆盖剩余需要覆盖的参数组合，并加入新的测试用例集；

(4)最终得到的测试用例集就是重用了已有测试用例的回归组合测试用例集。

所述步骤(2)具体包括以下步骤：

(2-1)将已有的每条测试用例按照软件组合测试模型变更后的新模型进行适配，根据新模型中参数及参数取值的增减进行适当裁剪，得到新模型下的一条部分测试用例；

(2-2)将步骤(2-1)得到的每条测试用例编码成约束集；

(2-3)将新模型的所有约束和步骤(2-2)生成的约束集合并，并进行约束求解，尝试生成一条满足合并后约束集的测试用例；若生成成功，说明该测试用例能够重用，并将得到的测试用例加入新的测试用例集，并从需要覆盖的组合中去掉该测试用例覆盖的组合；否则说明该测试用例不可重用，将该测试用例抛弃；

(2-4)重复执行步骤(2-1)至(2-3)，直到检查完所有测试用例的可重用性。

所述步骤(2-1)具体包括以下步骤：

(2-1-1)若对于每条已有的测试用例，其中的某个参数或取值在新的待测系统模型下不出现，则将该参数从该测试用例中去除；

(2-1-2)若待测系统变更后的模型增加了一个新参数，则对于每条已有的测试用例，该参数在转换成的测试用例中取值任意，不做限定。

所述步骤(2-2)具体包括以下步骤：

(2-2-1)对于每个测试用例中的每个参数-取值对，将该参数-取值对编码为“该参数取该值”形式的约束；

(2-2-2)将步骤(2-2-1)得到的所有约束加入约束集中，即得到最终编码后的约束集。

与现有技术相比，本发明具有以下优点：

本发明给出了一种在待测系统模型变更后，能够重用原模型下已有的组合测试用例的方法，可以在满足新模型下覆盖要求的前提下，尽可能重用原模型下已有的测试用例，以减小新增的测试开销。

附图说明

图1是本发明方法在实施例中的实现的总体流程图；

图2是本发明方法在实施例中的实现的重用测试用例过程(步骤b))的流程图；

图3是本发明方法在实施例中的实现的适配已有测试用例过程(步骤b1))的流程图；

图4是本发明方法在实施例中的实现的将测试用例编码成约束过程(步骤b2))的流程图。

具体实施方式

本发明采用重用已有测试用例和生成新测试用例的方法进行回归测试，其中已有的测试用例是在使用组合测试技术针对原模型生成的。该方法的使用位于待测系统模型变更后进行回归测试的阶段，可重用的测试用例加上新生成的测试用例构成最终回归测试的测试用例集。

下面举一个简单的组合测试回归测试场景，说明本发明的工作流程。

假设某待测系统的参数化模型包含4个参数v₁,v₂,v₃,v₄，每个参数取值范围都是{0,1}，如表1所示。该待测系统不包含约束。假设先前对该待测系统进行过组合测试，假设已有两条测试用例(0,1,0,0)和(0,1,1,0)。

表1 旧的参数化模型

参数	v1	v2	v3	v4
					取值范围	{0,1}	{0,1}	{0,1}	{0,1}

假设该待测系统变更后的新模型去掉了参数v₁，新增了参数v₅，新增约束(v₂＝1)→(v₃＝1)(该约束表示，当参数v₂取1时，参数v₃必须取1)，如表2所示。

表2 变更后的参数化模型

假设需要生成变更后模型下的2强度组合测试用例集。则本发明中所述组合测试的回归测试用例重用方法的实施过程如下：

a)计算新模型所有需要覆盖的组合，对于该示例，需要覆盖的组合包括：

{v₂＝0,v₃＝0},{v₂＝0,v₃＝1},{v₂＝1,v₃＝1},

{v₂＝0,v₄＝0},{v₂＝0,v₄＝1},{v₂＝1,v₄＝0},{v₂＝1,v₄＝1},

{v₂＝0,v₅＝0},{v₂＝0,v₅＝1},{v₂＝1,v₅＝0},{v₂＝1,v₅＝1},

{v₃＝0,v₄＝0},{v₃＝0,v₄＝1},{v₃＝1,v₄＝0},{v₃＝1,v₄＝1},

{v₃＝0,v₅＝0},{v₃＝0,v₅＝1},{v₃＝1,v₅＝0},{v₃＝1,v₅＝1},

{v₄＝0,v₅＝0},{v₄＝0,v₅＝1},{v₄＝1,v₅＝0},{v₄＝1,v₅＝1}。

由于{v₂＝1,v₃＝0}违反约束(v₂＝1)→(v₃＝1)，因此该组合不需要覆盖；

b)对于已有的两个测试用例(0,1,0,0)和(0,1,1,0)尝试重用；

c)在执行步骤b)之后，仍有未被覆盖的组合，因此按照传统组合测试测试生成方法补充新的测试用例，覆盖剩余未被覆盖的组合，并加入新的测试用例集；

d)最终得到的测试用例集就是重用了已有测试用例的回归组合测试用例集。

其中步骤b)对于已有测试用例(0,1,0,0)尝试重用的具体实施过程如下：

b1)将已有的每条测试用例按照新的组合测试模型进行适配，根据新模型中参数及参数取值的增减进行适当裁剪，得到新模型下的一条测试用例(1,0,0,-)；

b2)将步骤b1)得到的测试用例编码成约束，得到约束集{v₂＝1,v₃＝0,v₄＝0}；

b3)将新模型的所有约束(v₂＝1)→(v₃＝1)和步骤b2)生成的约束合并，得到约束集{v₂＝1,v₃＝0,v₄＝0,(v₂＝1)→(v₃＝1)}；

b4)尝试生成一条满足该约束集的测试用例。使用约束求解发现该约束集不可满足；

b5)由于b4)中的生成失败，说明测试用例(0,1,0,0)不可重用，将其抛弃。

其中步骤b1)中的裁剪过程具体实施如下：

b1-1)测试用例(0,1,0,0)中，参数v1在新的待测系统模型下不出现，将其从去除，得到部分测试用例(1,0,0)；

b1-2)变更后的新模型增加了一个新参数v5，该参数在部分测试用例中的取值不限，得到部分测试用例(1,0,0,-)；

步骤b2)中将部分测试用例编码成约束的具体实施流程如下：

b2-1)对于测试用例(1,0,0,-)中的每个参数-取值对，将其编码为“该参数取该值”形式的约束，分别得到v₂＝1,v₃＝0,v₄＝0；

b2-2)将步骤b2-1)得到的所有约束放入约束集中，得到编码后的约束集{v₂＝1,v₃＝0,v₄＝0}。

步骤b)对于已有测试用例(0,1,1,0)尝试重用的具体实施过程如下：

b1’)将已有的每条测试用例按照新的组合测试模型进行适配，根据新模型中参数及参数取值的增减进行适当裁剪，得到新模型下的一条测试用例(1,1,0,-)；

b2’)将步骤b1)得到的测试用例编码成约束，得到约束集{v₂＝1,v₃＝1,v₄＝0}；

b3’)将新模型的所有约束(v₂＝1)→(v₃＝1)和步骤b2)生成的约束合并，得到约束集{v₂＝1,v₃＝1,v₄＝0,(v₂＝1)→(v₃＝1)}；

b4’)尝试生成一条满足该约束集的测试用例。使用约束求解判断该约束集可满足，并得到一个可行解(v₂＝1,v₃＝1,v₄＝0,v₅＝1)；

b5’)由于b4)中的生成成功，将其生成的测试用例(1,1,0,1)加入新模型下的测试用例集，并从需要覆盖的组合中去掉该测试用例覆盖的组合，剩余需要覆盖的组合为

{v₂＝0,v₃＝0},{v₂＝0,v₃＝1},

{v₂＝0,v₄＝0},{v₂＝0,v₄＝1},{v₂＝1,v₄＝1},

{v₂＝0,v₅＝0},{v₂＝0,v₅＝1},{v₂＝1,v₅＝0},

{v₃＝0,v₄＝0},{v₃＝0,v₄＝1},{v₃＝1,v₄＝1},

{v₃＝0,v₅＝0},{v₃＝0,v₅＝1},{v₃＝1,v₅＝0},

{v₄＝0,v₅＝0},{v₄＝1,v₅＝0},{v₄＝1,v₅＝1}。

其中步骤b1’)和步骤b2’)的具体实施过程分别与步骤b1)和步骤b2)类似，不再赘述。

最终得到的测试用例集就是重用了已有测试用例的回归组合测试用例集，如表3所示，其中第一条测试用例为重用测试用例(0,1,1,0)所生成的测试用例，其余为新的测试用例。

表3 新模型下的测试用例集

v2	v3	v4	v5
				1	1	0	1
0	1	1	0
				0	0	1	1
0	0	0	0
				1	1	1	0

综上，本发明在组合测试回归测试过程中，通过重用已有的组合测试生成的测试用例，生成变更后参数化模型下的新测试用例集，从而减少重新测试的开销。

上述仅以优选实施例对本发明进行说明，非因此即局限本发明的权利范围，因此，在不脱离本发明思想的情况下，凡运用本发明说明书及附图内容所为的等效变化，均理同包含于本发明的权利要求范围内。

Claims (4)

1.一种基于软件组合测试的回归测试用例重用方法，其特征在于包括以下步骤：

(1)计算软件组合测试模型变更后的新模型下所有需要覆盖的参数组合；

(2)对于已有的每条测试用例尝试重用，若能重用，则将其转换为新模型下的测试用例，加入新的测试用例集，并从需要覆盖的参数组合中去掉该测试用例覆盖的参数组合，否则该测试用例不可重用，将该测试用例抛弃；

(3)经过步骤(2)之后，若还有需要覆盖的参数组合，则按照传统组合测试测试生成方法补充新的测试用例，覆盖剩余需要覆盖的参数组合，并加入新的测试用例集；

(4)最终得到的测试用例集就是重用了已有测试用例的回归组合测试用例集。

2.如权利要求1所述的方法，其特征在于：所述步骤(2)具体包括以下步骤：

(2-1)将已有的每条测试用例按照软件组合测试模型变更后的新模型进行适配，根据新模型中参数及参数取值的增减进行适当裁剪，得到新模型下的一条部分测试用例；

(2-2)将步骤(2-1)得到的每条测试用例编码成约束集；

(2-3)将新模型的所有约束和步骤(2-2)生成的约束集合并，并进行约束求解，尝试生成一条满足合并后约束集的测试用例；若生成成功，说明该测试用例能够重用，并将得到的测试用例加入新的测试用例集，并从需要覆盖的组合中去掉该测试用例覆盖的组合；否则说明该测试用例不可重用，将该测试用例抛弃；

(2-4)重复执行步骤(2-1)至(2-3)，直到检查完所有测试用例的可重用性。

3.如权利要求2所述的方法，其特征在于：所述步骤(2-1)具体包括以下步骤：

(2-1-1)若对于每条已有的测试用例，其中的某个参数或取值在新的待测系统模型下不出现，则将该参数从该测试用例中去除；

(2-1-2)若待测系统变更后的模型增加了一个新参数，则对于每条已有的测试用例，该参数在转换成的测试用例中取值任意，不做限定。

4.如权利要求2所述的方法，其特征在于，所述步骤(2-2)具体包括以下步骤：

(2-2-1)对于每个测试用例中的每个参数-取值对，将该参数-取值对编码为“该参数取该值”形式的约束；

(2-2-2)将步骤(2-2-1)得到的所有约束加入约束集中，即得到最终编码后的约束集。