CN102368226A - 一种基于扩展有限状态机可行路径分析的测试用例自动生成方法 - Google Patents

Abstract

一种自动化测试用例生成方法，基于扩展有限状态机可行路径分析，由于不可行路径的存在使得扩展有限状态机模型中生成测试用例仍然是一个难题，本发明通过路径可行性分析尽可能的避开不可行路径、自动化的生成测试用例和创建测试预言。特征是结合了静态分析和动态分析技术来找到一个较小的可行路径集合达到指定的路径覆盖准则，此外还给出了路径可行性评估策略，开发了可执行模型，通过运行时信息反馈和分散搜索ScatterSearch技术来自动生成测试数据和创建测试预言。静态和动态两种可行性分析技术的结合大大提高了测试用生成的效率，实际应用中可以减少测试过程的代价，提高软件测试的质量。

Description

一种基于扩展有限状态机可行路径分析的测试用例自动生成方法

技术领域

本发明属于软件测试技术领域，尤其是模型测试技术领域，用于扩展有限状态机(Extended Finite State Machine)中路径可行性分析，一种基于扩展有限状态机的自动化测试用例生成方法。

背景技术

软件测试是软件发展过程的重要阶段，据估计测试花费占整个软件开发过程的花费的30％-50％。目前测试的方式主要以人工测试为主，人工测试准确性较差，需要花费大量时间和费用。而测试自动化方法可以减少测试过程的代价，提高软件测试的质量。自动化生成测试用例的一种典型方法是创建软件的测试模型，并且在模型的基础上自动化生成测试用例。近年来，随着面向对象技术的成熟和广泛应用，基于模型软件测试方法得到了快速的发展，成为研究的热点之一，引起了学术界和工业界的广泛关注。模型驱动的测试方法是在软件开发过程中通过建立各个级别的模型，在此基础上进行测试用例的生成、测试用例的执行和测试用例的评估，以检测软件中存在的错误，验证实际系统是否符合实际需求，扩展有限状态机(Extended Finite State Machine)是其中应用最广泛的模型之一。扩展有限状态机(Extended Finite State Machine)是由有限状态机(Finite State Machine)扩充而来，有限状态机模型只能表达实际应用的控制流部分而扩展有限状态机则既可以表达控制流也可以表达数据流部分，描述复杂的应用系统更加适合。

目前已有许多基于有限状态机模型的测试序列生成方法，通用的方法是利用图论的方法遍历有限状态机，生成测试序列以达到规定的覆盖。然而利用扩展有限状态机生成测试用例仍然是一个开放研究课题，扩展有限状态机中不可行路径的存在使得传统的基于有限状态机的方法不能应用于扩展有限状态机模型，扩展有限状态机模型中路径是否可行是个不可判定问题，目前还没有相关的有效方法能够全面检测扩展有限状态机模型中存在的不可行路径。此外对应路径的测试数据生成和测试预言(oracle)自动化问题也是扩展有限状态机模型测试的难题，测试预言是用来判定一个被测系统是否正确的一种机制。

基于可行路径分析的测试用例自动生成技术旨在解决上述问题。该测试用例自动化生成方法通过路径可行性分析尽可能的避开不可行路径、自动化的生成测试用例，并且达到规定的测试充分准则。该方法结合了静态分析和动态分析技术来找到一个较小的可行路径集合达到指定的路径覆盖准则，此外还开发了可执行模型，通过运行时信息反馈和分散搜索(Scatter Search)技术来直接指导测试数据的生成。可执行模型带来的另一个好处是可以用来自动化的创建测试预言。

发明内容

本发明要解决的问题是：通过路径可行性分析识别部分不可行路径，并尽可能的避开其余的具有较高不可行概率的路径，自动化生成路径对应的测试数据和的创建测试预言，大大提高测试用例生成的效率。

本发明的技术方案为：一种自动化测试用例生成方法，基于扩展有限状态机可行路径分析，通过路径可行性分析尽可能的避开不可行路径，自动化生成测试用例和创建测试预言，结合静态分析和动态分析技术获取可行路径集合达到指定的路径覆盖准则，包括以下步骤：

1)根据扩展有限状态机模型生成测试路径候选集，利用遍历、循环路径分析和插入方法，生成从扩展有限状态机模型的起始状态结点到其他结点的所有路径作为候选路径，并约束规定路径中只插入有限次循环路径或自循环路径；

2)路径可行性评估策略，利用静态分析技术对候选路径集中的路径进行分析，首先识别出其中不可行路径，将这部分不可行路径从路径候选集中移除，然后对其余路径的可行性提出评估公式，对其进行不可行概率评估并计算出评估值，对候选路径集中的路径按不可行概率从小到大进行排序；

3)开发可执行模型，利用图论遍历方法和表达式语义解析工具使得扩展有限状态机模型可执行化，可执行模型定义了模型的动态行为并通过使用语义执行使得静态模型具有类似程序的动态执行能力；

4)自动生成测试数据和测试预言，由步骤3)的可执行模型的动态执行过程获得相应的运行时反馈信息，利用所述反馈信息结合分散搜索技术ScatterSearch来指导测试数据生成并自动创建测试预言，生成的测试用例触发对应的路径；

测试用例的生成过程为：首先从步骤1)和步骤2)生成的测试路径候选集中按不可行概率顺序选取一条候选路径，检查该路径中的边是否被指定的测试充分性准则覆盖，若是则跳过该路径选取候选集中的下一条路径进行生成，以避开不可行路径，提高测试用例生成的效率，同时动态识别不可行路径；否则利用步骤3)开发的可执行模型和步骤4)获取的运行时反馈信息，结合分散搜索方法Scatter Search，对选择的路径进行语义执行，并利用反馈信息搜索状态空间中的解，若在规定迭代次数范围内找到解集则将结果加入测试用例结果集，否则认为该路径不可执行。

步骤1)具体为：首先利用图论的递归遍历算法找出从扩展有限状态模型源结点到其他所有结点间的所有简单状态路径，所述简单状态路径由状态序列构成，且路径中不含循环；并识别出扩展有限状态机模型中所有的状态循环路径，所述状态循环路径由状态序列构成，源结点和终止结点相同，包括自循环路径；检查简单状态路径，检查其实是否有能和状态循环路径匹配的结点，若是，则将状态循环路径插入简单路径，生成状态路径候选集；再利用全组合方法将状态路径转换为迁移路径集合，并将生成的迁移路径集合作为最终的测试路径候选集。

步骤2)中所述可行性评估公式为：

$f=\left\{\begin{array}{ccc}\frac{\underset{i=0}{\overset{k}{\mathrm{\Σ}}}v\left({\mathrm{df}}_i\right)}{{\left|\mathrm{TP}\right|}^d}& \mathrm{If}& \underset{i=0}{\overset{k}{\mathrm{\Σ}}}v\left({\mathrm{df}}_i\right)\≠0\\ 0-\left|\mathrm{TP}\right|& \mathrm{If}& \underset{i=0}{\overset{k}{\mathrm{\Σ}}}v\left({\mathrm{df}}_i\right)=0\end{array}\right.$

f为评估值，其中df_i为迁移路径中存在于迁移之间的definition-p-use对，v(df_i)为迁移路径中存在的definition-p-use对的建议惩罚值，k是迁移路径中存在的definition-p-use对的个数，|TP|是迁移路径的长度，d是用来调整路径长度影响的权值。

步骤4)通过由步骤3)中可执行模型的动态执行过程来获得相应的运行时反馈信息，获取的反馈信息如下：

$F_e=\frac{\left|{\mathrm{SP}}_t\right|}{\left|\mathrm{TP}\right|}\×100$

其中|TP|是指定用来生成测试用例的路径的长度，这里长度是指路径中包含的迁移的数量，|SP_t|是当前测试用例从源状态结点开始能够连续触发的路径长度。

本发明结合静态分析和动态分析技术来找到一个较小的可行路径集合达到指定的路径覆盖准则，首先利用静态分析技术对路径进行评估，找出部分不可行路径，并对其他路径进行不可行概率评估。由于静态技术只能部分的识别不可行路径，所以还需要利用动态分析技术最终识别不可行路径，动态分析技术利用可执行模型、运行时信息反馈和分散搜索Scatter Search技术来识别不可行路径、实现测试数据和对应测试预言的自动生成。

本发明的特点在于：1、该方法结合了静态分析和动态分析技术来找到一个较小的可行路径集合达到指定的路径覆盖准则，大大减少了不可行路径对测试用例生成效率的影响；2、提出了对应路径可行性评估策略给出了评估值计算公式；3、通过语义分析解析技术开发了可执行模型来获取运行时反馈信息，并利用分散搜索方法Scatter Search来指导测试用例的生成；4、自动化的生成测试预言；同时，本发明首次将运行时反馈信息和分散搜索方法Scatter Search引入到基于扩展有限状态机的测试用例生成过程中。将这4点结合，通过实验表明，本发明能有效的自动生成测试用例和测试预言，并且大大提高了生成的效率，节省了程序员选择测试用例的时间成本，减少测试过程的代价，提高软件测试的质量。

附图说明

图1为本发明的总体实施流程图。

图2为本发明实施例中，静态分析和动态分析技术识别的不可行路径的结果比较。

具体实施方式

本发明的总体实施流程图如图1所示，该方法结合静态分析和动态分析技术对路径可行性进行分析，尽可能的避开具有较高不可行概率的路径，自动化生成路径对应的测试数据和的输出预言，并且达到规定的测试充分准则，大大提高测试用例生成的效率。其具体步骤如下：

1)根据扩展有限状态机模型生成测试路径候选集。这个过程利用遍历、循环路径分析和插入方法生成从扩展有限状态机模型起始状态结点到其他结点的所有路径作为候选路径。由于扩展有限状态机模型中通常包括循环路径和自循环路径，为了提高测试覆盖率，本发明方法利用循环路径分析和插入方法在生成的路径中插入循环路径或自循环路径，然而循环路径或自循环路径之间可能有嵌套的情况存在，这样会导致路径数量无穷大，所以本发明方法还引入了一个约束，规定路径中只插入有限次循环路径或自循环路径。具体方法如下：首先利用图论的递归遍历算法找出从扩展有限状态模型源结点到其他所有结点间的所有简单状态路径，所述简单状态路径由状态序列构成，且路径中不含循环；识别出扩展有限状态机模型中所有的状态循环路径，所述状态循环路径由状态序列构成，源结点和终止结点相同，包括自循环路径；检查简单状态路径，检查其实是否有能和状态循环路径匹配的结点，若是，则将状态循环路径插入简单路径，最终生成状态路径候选集；由于扩展有限状态机模型的复杂性：同一起始状态结点和终止结点之间可能存在多个迁移，因此状态路径中的一条边可能对应多个迁移，为了更好的分析迁移中的谓词条件和操作，本发明再利用全组合方法将状态路径转换为迁移路径，所述迁移路径由迁移序列构成，最终生成迁移路径候选集。

2)路径可行性评估策略。利用静态分析技术对候选路径集中的路径进行分析，首先识别出其中不可行路径，将这部分不可行路径从路径候选集中移除；然后对其余路径提出评估公式对其进行不可行概率的评估并计算出评估值，对候选路径集中的路径按不可行概率从小到大进行排序。具体评估建议值如表1所示：

表1迁移路径中definition-p-use对的建议惩罚值

其中Guard为谓词逻辑运算，g^op的运算符取{＜，＞，≠，＝，≤，≥}，op类型分别为{pv，vv，vc}，分别代表参量与变量之间的谓词运算，变量与变量之间的谓词运算以及变量与常量之间的运算。Action代表定义(赋值)运算，op^pv表示参量与变量之间的赋值运算，op^vv表示变量与变量之间的赋值运算，op^vc表示常量与变量之间的赋值运算。当扩展有限状态机模型的特定路径中含有definition-p-use对时，可以根据其操作类型和谓词使用类型取相应的惩罚值评估路径的可行性。具体方法如下：

设<ti，tj>为路径TP的definition-p-use对，ti定义变量v的值为常量C1，而t_j为对变量v和常量C2的谓词操作，若出现以下6种情况之一，则路径不可行：

情况1：t_j中的谓词操作符g^vc为“＝”，并且常量C1≠C2.

情况2：t_j中的谓词操作符g^vc为“＞”，并且常量C1≤C2.

情况3：t_j中的谓词操作符g^vc为“＜”，并且常量C1≥C2.

情况4：t_j中的谓词操作符g^vc为“≥”，并且常量C1＜C2.

情况5：t_j中的谓词操作符g^vc为“≤”，并且常量C1＞C2.

情况6：t_j中的谓词操作符g^vc为“≠”，并且常量C1＝C2.

对于不能直接判定是否可行的路径，本发明提出的可行性评估值计算公式如下：

$f=\left\{\begin{array}{ccc}\frac{\underset{i=0}{\overset{k}{\mathrm{\&Sigma;}}}v\left({\mathrm{df}}_i\right)}{{\left|\mathrm{TP}\right|}^d}& \mathrm{If}& \underset{i=0}{\overset{k}{\mathrm{\&Sigma;}}}v\left({\mathrm{df}}_i\right)\&NotEqual;0\\ 0-\left|\mathrm{TP}\right|& \mathrm{If}& \underset{i=0}{\overset{k}{\mathrm{\&Sigma;}}}v\left({\mathrm{df}}_i\right)=0\end{array}\right.$

其中df_i路径迁移中definition-p-use对，v(df_i)为表1中列出的对应惩罚值而k是路径中存在的definition-p-use对的个数，|TP|是路径的长度，d是用来调整路径长度影响的权值。

3)利用遍历方法和程序语义解析工具Jeval使得扩展有限状态机模型可执行化，可执行模型定义了模型的动态行为并通过使用语义执行使得静态模型具有类似程序的动态执行能力，Jeval是提供可加入的、高性能、数学、布尔和函数表达式的解析和运算的API资源包。

4)生成测试数据和测试预言。由步骤3)的动态执行过程，可以获得相应的运行时反馈信息，利用分散搜索技术Scatter Search来指导测试数据生成，生成的测试用例能够触发对应的路径，在此过程还动态识别不可行路径。模型执行中收集的反馈信息如下：

$F_e=\frac{\left|{\mathrm{SP}}_t\right|}{\left|\mathrm{TP}\right|}\&times;100$

其中|TP|是指定用来生成测试用例的路径的长度(这里长度是指路径中包含的迁移的数量)|SP_t|当前测试用例从源状态结点开始能够连续触发的路径长度。

测试用例的生成过程首先从步骤1)和步骤2)生成的测试路径候选集中按顺序选取一条候选路径，检查该路径中的边是否被指定测试充分性准则覆盖，若是则跳过该路径选取候选集中的下一条路径。否则利用步骤3)开发的可执行模型和步骤4)定义的运行时反馈信息，结合分散搜索方法Scatter Search，对选择的路径进行语义执行，并利用反馈信息搜索状态空间中的解。若在规定迭代次数范围内找到解集则将结果加入测试用例结果集，最终的测试用例包括：路径，对应测试数据和测试预言。

下面通过具体的实施例子来说明本发明的实施。

本发明选择了ATM、INRES protocol、Class2 protocol和SCP protocol四个实际应用模型作为实验模型，表2列出了上述模型的详细信息。

表2实验模型详细信息

目标模型	状态数目	迁移数目	输入参数个数
				ATM	9	23	6
INRES protocol	8	18	2
				Class2 protocol	6	21	10
SCP protocol	4	8	4

表2中列出了四个目标模型对应的属性，状态数目为目标模型存在的状态数量，迁移数目为扩展有限状态机模型中发生从一个状态迁移到另一状态的情况的数量，输入参数的个数为激发模型行为属性所需要的输入参数的个数，而参数的值由本发明自动生成。

实验结果分析：

表3实验结果统计

表3中，候选路径数目为生成的候选路径集中路径的数量，而可行分析后路径数目是通过可行性分析后移除了不可行路径并进行排序操作后候选路径集中路径的数目，这些路径中的部分路径最终被选择参与最终的测试用例和测试预言的自动生成。可行路径数目为最终选定的测试用例集中可行路径的数目，覆盖迁移数目为这些可行路径覆盖的模型中的迁移。从表中可以看出，有些模型并未能100％覆盖，是因为这些模型对循环的次数有特定要求才能完全覆盖，但为了控制候选路径的数量，本实验限定了只包含循环路径和自循环迁移一次。

表4为使用路径分析评估技术和未使用路径评估分析生成测试用例的结果比较，其中迭代次数为分散搜索方法Scatter Search成功生成测试用例所需要的迭代次数，执行时间为生成测试用例所需花费的时间代价。从表3可以看出，如果未使用可行路径静态分析技术，本发明也可利用路径候选集生成方法、可执行模型、运行时信息反馈和分散搜索方法Scatter Search成功生成测试用例和测试预言，但使用可行路径评估策略后，则可以大大提高生成的效率。

表4使用静态分析和未使用静态分析技术的结果比较

图2为使用静态分析技术和动态分析技术分别对四个实验模型的不可行路径的识别情况，从图中可以看出静态分析只能部分的识别出不可行路径而动态分析过程则能识别出更多的不可行路径。

综上所述，表3、表4和图2可以说明，本发明结合静态分析和动态分析技术对路径可行性进行分析，可以移除部分识别的不可行路径，并尽可能的避开具有较高不可行概率的路径，能够有效的自动化生成路径对应的测试用例和创建测试预言，达到规定的测试充分准则，大大提高测试用例生成的效率。

Claims (4)

1.一种自动化测试用例生成方法，其特征是基于扩展有限状态机可行路径分析，通过路径可行性分析尽可能的避开不可行路径，自动化生成测试用例和创建测试预言，结合静态分析和动态分析技术获取可行路径集合达到指定的路径覆盖准则，包括以下步骤：

1)根据扩展有限状态机模型生成测试路径候选集，利用遍历、循环路径分析和插入方法，生成从扩展有限状态机模型的起始状态结点到其他结点的所有路径作为候选路径，并约束规定路径中只插入有限次循环路径或自循环路径；

2)路径可行性评估策略，利用静态分析技术对候选路径集中的路径进行分析，首先识别出其中不可行路径，将这部分不可行路径从路径候选集中移除，然后对其余路径的可行性提出评估公式，对其进行不可行概率评估并计算出评估值，对候选路径集中的路径按不可行概率从小到大进行排序；

3)开发可执行模型，利用图论遍历方法和表达式语义解析工具使得扩展有限状态机模型可执行化，可执行模型定义了模型的动态行为并通过使用语义执行使得静态模型具有类似程序的动态执行能力；

4)自动生成测试数据和测试预言，由步骤3)的可执行模型的动态执行过程获得相应的运行时反馈信息，利用所述反馈信息结合分散搜索技术ScatterSearch来指导测试数据生成并自动创建测试预言，生成的测试用例触发对应的路径；

测试用例的生成过程为：首先从步骤1)和步骤2)生成的测试路径候选集中按不可行概率顺序选取一条候选路径，检查该路径中的边是否被指定的测试充分性准则覆盖，若是则跳过该路径选取候选集中的下一条路径进行生成，以避开不可行路径，提高测试用例生成的效率，同时动态识别不可行路径；否则利用步骤3)开发的可执行模型和步骤4)获取的运行时反馈信息，结合分散搜索方法Scatter Search，对选择的路径进行语义执行，并利用反馈信息搜索状态空间中的解，若在规定迭代次数范围内找到解集则将结果加入测试用例结果集，否则认为该路径不可执行。

2.根据权利要求1所述的一种自动化测试用例生成方法，其特征是步骤1)具体为：首先利用图论的递归遍历算法找出从扩展有限状态模型源结点到其他所有结点间的所有简单状态路径，所述简单状态路径由状态序列构成，且路径中不含循环；并识别出扩展有限状态机模型中所有的状态循环路径，所述状态循环路径由状态序列构成，源结点和终止结点相同，包括自循环路径；检查简单状态路径，检查其实是否有能和状态循环路径匹配的结点，若是，则将状态循环路径插入简单路径，生成状态路径候选集；再利用全组合方法将状态路径转换为迁移路径集合，并将生成的迁移路径集合作为最终的测试路径候选集。

3.根据权利要求1所述的一种自动化测试用例生成方法，其特征是步骤2)中所述可行性评估公式为：

$f=\left\{\begin{array}{ccc}\frac{\underset{i=0}{\overset{k}{\mathrm{\&Sigma;}}}v\left({\mathrm{df}}_i\right)}{{\left|\mathrm{TP}\right|}^d}& \mathrm{If}& \underset{i=0}{\overset{k}{\mathrm{\&Sigma;}}}v\left({\mathrm{df}}_i\right)\&NotEqual;0\\ 0-\left|\mathrm{TP}\right|& \mathrm{If}& \underset{i=0}{\overset{k}{\mathrm{\&Sigma;}}}v\left({\mathrm{df}}_i\right)=0\end{array}\right.$

f为评估值，其中df_i为迁移路径中存在于迁移之间的definition-p-use对，v(df_i)为迁移路径中存在的definition-p-use对的建议惩罚值，k是迁移路径中存在的definition-p-use对的个数，|TP|是迁移路径的长度，d是用来调整路径长度影响的权值。

4.根据权利要求1所述的一种自动化测试用例生成方法，其特征是步骤4)通过由步骤3)中可执行模型的动态执行过程来获得相应的运行时反馈信息，获取的反馈信息如下：

$F_e=\frac{\left|{\mathrm{SP}}_t\right|}{\left|\mathrm{TP}\right|}\&times;100$

其中|TP|是指定用来生成测试用例的路径的长度，这里长度是指路径中包含的迁移的数量，|SP_t|是当前测试用例从源状态结点开始能够连续触发的路径长度。

Images