CN113485940A - 一种基于参数抽象建模的组合测试用例生成方法 - Google Patents

Abstract

本发明公开了一种基于参数抽象建模的组合测试用例生成方法，属于软件工程领域。包括：步骤1，初步构建参数抽象模型。利用边界值法保障抽象值完整性来优化抽象模型；步骤2，根据参数之间的关联关系、覆盖强度和语义正确性等标准来定义关系和约束，然后依赖约束之间的关联关系以及约束条件与约束对象之间的关联关系对约束条件约简，最后完成抽象模型的构建；步骤3，根据抽象模型设置合理的组合因素，利用PICT组合测试工具生成抽象测试用例，然后将抽象测试用例根据相关规则转换为具体测试用例，进而测试程序对象。本方法在保证了缺陷检测效果的同时提升了测试效率。

Description

一种基于参数抽象建模的组合测试用例生成方法

技术领域

本发明属于软件测试中的测试用例生成领域，涉及一种基于参数抽象建模的组合测试用例生成方法。

背景技术

在软件测试的各个阶段中，测试用例生成是最重要的活动之一，也是最关键的挑战之一，它对整个测试过程的有效性和效率有很大的影响。其中，组合测试是应用较广的测试用例生成方法之一。组合测试方法通过精心构造一组测试用例来系统地对任意τ个参数间的相互作用进行覆盖。研究发现软件开发中70％左右的故障通常是由一个参数或两个参数间的相互作用所触发的，而与故障相关的参数往往不超过六个。输入参数模型是通过一组参数和这些参数的值来表示被测系统的输入空间。测试用例是所有参数值的一个特定组合。如果正确地建模了测试参数和值，组合测试方法仅需使用一个较小的τ值就能在极大降低测试成本的同时获得较高的故障检测能力。输入参数模型是测试对象输入空间的模型，可以基于测试对象的实际输入参数，也可以基于一些抽象参数，这些抽象参数又是实际参数的函数。国外学者Grindal和Offut提出了一种结构化的输入参数建模方法，为定义参数、值、约束和关系提供了指导。国外学者Segall等人报告了几种常见的组合模型，包括可选和条件排除的值、多选、范围和边界、多重性和对称性、辅助聚合或共性。国外学者Ghandehari等人报告了一个将组合测试应用于西门子数据集的实验，并应用Grindal等人所提的建模方法和Segall等人所提的组合模型对西门子数据集进行输入建模，生成具体测试用例。并且，在他们的实验中，一些如位置参数的抽象参数可以被认为是一个具体参数的属性。然而，Ghandehari等人所提出的输入参数抽象模型仍然存在抽象参数冗余、抽象参数过于细化以及抽象值不完整的缺陷。

为了进一步改善参数抽象模型，提高测试效果和测试效率，本方法通过判断抽象元素之间是否具有共同特征以及判断去除共同特征的抽象参数是否重复来去除抽象参数的冗余，并从关联关系、覆盖强度、语义正确性等方面来定义关系和约束，通过约束之间的关联关系和约束与约束对象之间的关联关系来约简关系和约束，实现参数抽象模型的构建与优化。

发明内容

为了解决现有研究缺少报告组合测试中参数抽象建模过程的细节以及现有参数抽象模型仍然存在抽象参数冗余、抽象参数过于细化以及抽象值不完整的问题，本发明提出了一种基于参数抽象建模的组合测试用例生成方法，在详细阐述了为参数建立抽象模型以及生成具体测试用例的过程的基础上，提出了优化抽象模型的重要方法。并且将本方法应用于西门子数据集进行实验，把实验结果与国外学者Ghandehari等人所提的西门子数据集的抽象模型进行测试的实验结果作对比，验证了提出方法测试效率较高、效果较好的优势。

本发明的技术方案如下：

步骤1，通过分析程序对象规格，识别各种可能影响程序行为的因素，从而定义抽象参数，赋予其抽象含义和抽象值，初步构建参数抽象模型。另外通过共同特征去除抽象参数冗余，利用边界值法保障抽象值完整性来优化抽象模型；

步骤2，根据参数之间的关联关系、覆盖强度和语义正确性等标准来定义关系和约束，然后依赖约束之间的关联关系以及约束条件与约束对象之间的关联关系对约束条件约简，最后完成抽象模型的构建；

步骤3，根据抽象模型设置合理的组合因素，利用PICT组合测试工具生成抽象测试用例，然后将抽象测试用例根据相关规则转换为具体测试用例，进而测试程序对象。

进一步方案，上述步骤1的具体步骤如下：

步骤1.1，分析程序对象规范，根据可能影响程序行为的多个方面，识别可代表程序行为因素的候选抽象参数，构成候选抽象参数集，同时根据其代表的程序行为定义抽象含义。接着，使用等价划分法为候选抽象参数集中的所有参数取值。至此，初步确定了构建抽象模型的抽象参数；

步骤1.2，判断由步骤1.1找到的抽象参数之间是否具有共同特征，若有则将共同特征提取出来作为一个抽象参数，然后判断去除共同特征的抽象参数是否与其他抽象参数重复，若重复则删除冗余抽象参数；

步骤1.3，采用边界值法进一步保障抽象参数取值的完整性，避免取值不完整造成测试不全面的问题；至此，步骤1.2和步骤1.3是对参数抽象模型的第一次优化。

进一步方案，上述步骤2的具体步骤如下：

步骤2.1，由步骤1中对构建的参数抽象模型进行分析可知参数之间的关联关系，比如是否源于同一个输入参数，以及不同参数组合的不同覆盖强度，根据关联关系和覆盖强度为抽象模型定义关系；

步骤2.2，抽象参数对应的具体测试用例需要满足一定的语义要求，比如两个抽象参数只能有一个取零值，据此可为抽象模型定义相关约束。另外，考虑到约束还可用于帮助测试的有效对比，比如代表打印输出的抽象参数必须执行且只能在最后执行，进一步完善约束条件；

步骤2.3，观察约束条件之间的关联关系和约束条件与约束对象之间的关系，若存在几个约束条件均相关联且都针对一个约束对象进行设计的情况，可将该约束对象转换为一个新的抽象参数，赋予抽象值、抽象含义，删除牵涉的约束条件，同时去除冗余抽象参数，实现了抽象模型的第二次优化，完成了抽象模型的构建。

进一步方案，上述步骤3的具体步骤如下：

步骤3.1，根据抽象模型设置合理的组合因素，利用PICT组合测试工具生成抽象测试用例；

步骤3.2，判断抽象参数的分类。抽象参数可分为两类，第一类即：可与具体取值一一映射的抽象参数，也就是说，该类抽象参数代表的影响程序的行为因素与具体取值中的任何值相互等价；第二类即：无法与具体取值一一映射的抽象参数，需要根据其抽象含义(比如出现次数、出现位置等)在对应的具体测试用例的生成中进行体现；

步骤3.3，将抽象测试用转换为具体测试用例。针对第一类抽象参数，用对应具体取值中的任一值代表抽象参数；针对第二类抽象参数，根据其抽象含义在转换中具体实现，根据以上两种对策，生成具体测试用例。

与现有技术相比，本发明的有益效果：

1、基于参数抽象建模的组合测试用例生成方法详尽报告了为输入参数建立抽象模型的各个步骤，一方面具备通过共同特征减少抽象参数简化模型的优势，另一方面具备对复杂约束与关系通过抽象参数的调整进行约简的优势，同时还利用等价划分法和边界值法保证了抽象值的完整性，在确保测试效果的基础上，精简了抽象模型，节省了时间开销。

2、基于参数抽象建模的组合测试用例生成方法能很好地适用于组合测试生成方法。通常，组合模型的参数并不直接映射到系统的用户输入，而是测试之间可变性的功能点的高级表示。正确地识别模型的参数集、它们的值以及它们之间的限制可能极具挑战。一个程序的抽象模型参数越多，组合测试中的测试组合随之增加，相应地增加测试成本，降低了测试效率。我们的方法构建一个合适的抽象模型并对其进行优化，使其能利用尽可能少的测试用例覆盖尽可能多的缺陷，在保证检测效果至少不下降的情况下还提高了测试效率。

3、基于参数抽象建模的组合测试用例生成方法的检测缺陷的准确率很高。使用本方法构建的参数抽象模型与根据国外学者Ghandehari等人提出的抽象模型针对相同程序对象在同样的测试环境下进行测试的测试结果对比，本发明提出的方法的缺陷检测率在组合因素可取的范围内时都达到了90％以上，而国外学者Ghandehari等人提出的模型在同样组合因素下未达到90％。

附图说明

图1是一种基于参数抽象建模的组合测试用例生成方法的流程图。

图2是记录参数抽象模型建立的流程图。

图3是记录为建立的抽象模型定义关系与约束的流程图。

图4是记录抽象测试用例转换为具体测试用例的流程图。

图5是对程序replace使用本方法较使用国外学者Ghandehari等人方法在组合因素为1、2、3时的缺陷检测率的对比图。

图6是对程序replace使用本方法较使用国外学者Ghandehari等人方法在组合因素为1、2、3时的测试用例生成数量与生成时间之比的对比图。

图7是对程序schedule使用本方法较使用国外学者Ghandehari等人方法在组合因素为1、2、3、4时的缺陷检测率的对比图。

图8是对程序schedule使用本方法较使用国外学者Ghandehari等人方法在组合因素为1、2、3、4时的测试用例生成数量与生成时间之比的的对比图。

图9是对程序printtokens取组合因素1、2、3、4、5、6、7时使用本方法进行测试的缺陷检测率。由于国外学者Ghandehari等人并未详细描述为printtokens构建的参数抽象模型，所以不对该程序作对比试验。

图10是对程序printtokens使用本方法在组合因素为1、2、3、4、5、6、7时的测试用例生成数量与生成时间之比的对比图。

具体实施方式

为了能够更清楚地理解本发明一种基于参数抽象建模的组合测试用例生成方法的技术内容，下面结合附图和具体实施案例对本发明作进一步说明，须指出的是，所描述给出的实施案例旨在便于对本发明的理解，而对其没有任何限定要求。

本发明给出的一种基于参数抽象建模的组合测试用例生成方法的流程图如图1所示。第一步程序对象规范，识别可能影响程序行为的多因素；第二步识别可代表程序行为因素的候选抽象参数集；第三步根据候选集中的参数代表的程序行为给其定义抽象含义，并使用等价划分法为所有参数取值。第四步判断候选集中的抽象参数之间是否具有共同特征，若是则将共同特征提取出来作为一个抽象参数，然后判断去除共同特征的抽象参数是否与其他抽象参数重复，若重复则删除冗余抽象参数；第五步采用边界值法完善参数的抽象值，避免取值不完整造成测试无法全面；第六步根据参数之间的关联关系、覆盖强度、语义要求定义关系与约束，然后观察约束条件之间的关联关系和约束条件与约束对象之间的关系，若存在几个约束条件均相关联且都针对一个约束对象进行设计的情况，可将该约束对象转换为一个新的抽象参数，赋予抽象值、抽象含义，删除牵涉的约束条件，同时去除冗余抽象参数；第七步实现参数抽象模型的构建；第八步根据构成的抽象模型来确定组合因素的范围，设置合理的组合因素，利用PICT组合测试工具生成抽象测试用例；第九步，通过抽象参数与具体值的直接映射或者抽象参数代表的抽象含义(比如出现位置)，将抽象测试用例转换为具体测试用例，进而测试程序对象。

下面以程序对象replace为实施案例，说明本发明方法的实施过程。

步骤1，通过分析程序对象规格，识别各种可能影响程序行为的因素，从而定义抽象参数，赋予其抽象含义和抽象值，初步构建参数抽象模型；另外通过共同特征去除抽象参数冗余，利用边界值法保障抽象值完整性来优化抽象模型；

参照图2，repalce的抽象模型构建过程如下：

步骤101通过分析程序repalce规范可知该程序用于在输入文本中找到模式的每个匹配项，并用替换模式替换匹配项。它具有三个输入参数，分别为模式(pattern)、替换模式(substitute)、输入文本(inputfile)。由以上分析确定可能影响系统行为的因素；步骤102从步骤101确定的因素中选取候选抽象参数，构成候选抽象参数集；步骤103是为步骤102中构建的候选抽象参数集中的抽象参数根据其代表的程序行为定义抽象含义，使用等价划分法得到其抽象值；步骤104用来判断候选抽象参数之间是否具有共同特征，若是则转到步骤106，即把共同特征提取出来作为一个抽象参数，接着执行步骤107判断去除共同特征的抽象参数是否与其他抽象参数有重复，若是则执行步骤108，删除冗余抽象参数，接着执行步骤105，步骤104和步骤107中的判断若为否，也执行步骤105；步骤105是采用边界值法再次完善抽象参数的取值，进一步保障抽象值的完整性，避免造成测试用例低覆盖率的问题。

步骤2，根据参数之间的关联关系、覆盖强度和语义正确性等标准来定义关系和约束，然后依赖约束之间的关联关系以及约束条件与约束对象之间的关联关系对约束条件约简，最后完成抽象模型的构建。

参照图3，生成具体测试用例的过程如下：

步骤201根据步骤构建的抽象模型中参数之间的关联关系、覆盖强度、语义要求来定义关系与约束；步骤202通过观察约束条件之间的关联关系和约束条件与约束对象之间的关系，判断是否存在几个约束条件均相关联且都针对一个约束对象进行设计的情况，若有则执行步骤204，将该约束对象转换为一个新的抽象参数，赋予抽象值、抽象含义，删除牵涉的约束条件，同时去除冗余抽象参数，接着转到步骤203，步骤202的判断若为否，也转到步骤203；步骤203完成参数抽象模型的构建。

步骤3，根据抽象模型设置合理的组合因素，利用PICT组合测试工具生成抽象测试用例，然后将抽象测试用例根据相关规则转换为具体测试用例，进而测试程序对象。

参照图4，生成具体测试用例的过程如下：

步骤301根据构造的抽象模型及其约束与关系选取合适的组合因素；步骤302根据步骤301的组合因素利用PICT生成抽象测试用例；步骤303判断抽象测试用例中的抽象参数代表的影响程序的行为因素是否与具体取值中的任何值相互等价；若是则转到步骤304，用对应具体取值中的任一值代表抽象参数；若否转到步骤305，也就是无法与具体取值一一映射的抽象参数，需要根据其代表抽象含义(比如出现次数、出现位置等)在对应的具体测试用例的生成中进行体现；最后，步骤306根据前两步的规则将对应的抽象测试用例转换为具体测试用例。

为验证本方法的有效性，选择西门子数据集中的程序replace、程序schedule、程序printtokens作为测试程序，针对程序replace、程序schedule，将本方法与国外学者Ghandehari等人方法进行了对比试验，由于国外学者Ghandehari等人并未详细描述为printtokens构建的抽象模型，所以不对该程序作对比试验。程序对应的利用本方法构建的抽象模型及其相关含义解释如表1和表2、表3和表4、表5和表6所示，相应的测试结果如表7、表8、表9所示，缺陷检测率的实验结果如图5、图6、图7所示。结果显示，本方法所构建的抽象模型更为精简，同时提升了测试效果以及测试效率，验证了本方法在组合测试用例生成中构建参数抽象模型的优势。

表1程序repalce的抽象模型

约束与关系：

1、{pat_character,pat_question,pat_range,pat_negate,pat_at,pat_acharacter}@6：表示这六个参数构成一个子模型，且此子模型组合因素为6，该子模型代表父抽象模型的一个抽象参数，其值就是子模型的所有组合；

2、{sub_character,sub_an,sub_acharacter,sub_and}@1：意义同上。

表2程序repalce参数抽象模型中参数的代表具体值及代表程序行为

表3程序schedule的抽象模型

约束与关系：

1、{new_job,new_pro_queue}@2：表示这两个参数构成一个子模型，且此子模型组合因素为2，该子模型代表父抽象模型的一个抽象参数，其值就是子模型的所有组合；

2、{upgrade_prio,upgrade_queue,upgrade_ratio}@3：含义同上；

3、{unblock,unblock_ratio}@2：含义同上；

4、{ori_pro_1,ori_pro_2,ori_pro_3}@1：含义同上；

5、IF[finish]＝0THEN[flush]<>0；：表示若finish取0，则flush不为0；

6、IF[flush]＝0THEN[finish]<>0；：表示若flush取0，则finish不为0；

表4程序schedule参数抽象模型中参数的代表具体值及代表程序行为

表5程序printtokens的抽象模型

表6程序printtokens参数抽象模型中参数的代表具体值及代表程序行为

表7程序replace在取组合因素1、2、3时的实验对比结果

表8程序schedule在取组合因素1、2、3、4时的实验对比结果

表9程序printtokens在组合因素分别取1、2、3、4、5、6、7时的缺陷检测率

综上，本发明公开了一种基于参数抽象建模的组合测试用例生成方法，属于软件工程领域。包括：步骤1，通过分析程序对象规格，识别各种可能影响程序行为的因素，从而定义抽象参数，赋予其抽象含义和抽象值，初步构建参数抽象模型。另外通过共同特征去除抽象参数冗余，利用边界值法保障抽象值完整性来优化抽象模型；步骤2，根据参数之间的关联关系、覆盖强度和语义正确性等标准来定义关系和约束，然后依赖约束之间的关联关系以及约束条件与约束对象之间的关联关系对约束条件约简，最后完成抽象模型的构建；步骤3，根据抽象模型设置合理的组合因素，利用PICT组合测试工具生成抽象测试用例，然后将抽象测试用例根据相关规则转换为具体测试用例，进而测试程序对象。本方法在保证了缺陷检测效果的同时提升了测试效率，节约了时间开销，与现有应用于西门子数据集的抽象模型所生成的测试用例进行测试结果的对比，实验结果验证了本发明在缺陷检测的准确性和有效性上更有优势。

Claims (4)

1.一种基于参数抽象建模的组合测试用例生成方法，其特征在于，包括如下步骤：

步骤1，通过分析程序对象规格，识别各种可能影响程序行为的因素，从而定义抽象参数，赋予其抽象含义和抽象值，初步构建参数抽象模型；另外通过共同特征去除抽象参数冗余，利用边界值法保障抽象值完整性来优化抽象模型；

步骤2，根据参数之间的关联关系、覆盖强度和语义正确性等标准来定义关系和约束，然后依赖约束之间的关联关系以及约束条件与约束对象之间的关联关系对约束条件约简，最后完成抽象模型的构建；

步骤3，根据抽象模型设置合理的组合因素，利用PICT组合测试工具生成抽象测试用例，然后将抽象测试用例根据相关规则转换为具体测试用例，进而测试程序对象。

2.根据权利要求1所述的一种基于参数抽象建模的组合测试用例生成方法，其特征在于，所述步骤1的具体实现包括如下步骤：

步骤1.1，分析程序对象规范，根据可能影响程序行为的多个方面，识别可代表程序行为因素的候选抽象参数，构成候选抽象参数集，同时根据其代表的程序行为定义抽象含义；接着，使用等价划分法为候选抽象参数集中的所有参数取值，至此，初步确定了构建抽象模型的抽象参数；

步骤1.2，判断由步骤1.1找到的抽象参数之间是否具有共同特征，若有则将共同特征提取出来作为一个抽象参数，然后判断去除共同特征的抽象参数是否与其他抽象参数重复，若重复则删除冗余抽象参数；

步骤1.3，采用边界值法进一步保障抽象参数取值的完整性，避免取值不完整造成测试不全面的问题；至此，步骤1.2和步骤1.3是对参数抽象模型的第一次优化。

3.根据权利要求1所述的一种基于参数抽象建模的组合测试用例生成方法，其特征在于，所述步骤2的具体实现包括如下步骤：

步骤2.1，由步骤1中对构建的参数抽象模型进行分析可知参数之间的关联关系，考虑是否源于同一个输入参数，以及不同参数组合的不同覆盖强度，根据关联关系和覆盖强度为抽象模型定义关系；

步骤2.2，抽象参数对应的具体测试用例需要满足一定的语义要求，假如两个抽象参数只能有一个取零值，据此可为抽象模型定义相关约束，另外，考虑到约束还可用于帮助测试的有效对比，假如代表打印输出的抽象参数必须执行且只能在最后执行，进一步完善约束条件；

步骤2.3，观察约束条件之间的关联关系和约束条件与约束对象之间的关系，若存在几个约束条件均相关联且都针对一个约束对象进行设计的情况，可将该约束对象转换为一个新的抽象参数，赋予抽象值、抽象含义，删除牵涉的约束条件，同时去除冗余抽象参数，实现了抽象模型的第二次优化，完成了抽象模型的构建。

4.根据权利要求1所述的一种基于参数抽象建模的组合测试用例生成方法，其特征在于，所述步骤3的具体实现包括如下步骤：

步骤3.1，根据抽象模型设置合理的组合因素，利用PICT组合测试工具生成抽象测试用例；

步骤3.2，判断抽象参数的分类，抽象参数可分为两类，第一类即：可与具体取值一一映射的抽象参数，也就是说，该类抽象参数代表的影响程序的行为因素与具体取值中的任何值相互等价；第二类即：无法与具体取值一一映射的抽象参数，需要根据其抽象含义(比如出现次数、出现位置等)在对应的具体测试用例的生成中进行体现；

步骤3.3，将抽象测试用转换为具体测试用例。针对第一类抽象参数，用对应具体取值中的任一值代表抽象参数；针对第二类抽象参数，根据其抽象含义在转换中具体实现，根据以上两种对策，生成具体测试用例。

Images