CN110502447A - 一种基于图的回归测试用例优先排序方法 - Google Patents

Abstract

本发明涉及一种基于图的回归测试用例优先排序方法,属于软件测试领域。首先收集测试用例及运行时的语句执行信息，构造语句覆盖矩阵；其次，通过杰卡德距离函数计算成对的用例覆盖集合之间的距离，构造测试用例间的相异矩阵；然后，对测试用例进行编码，根据代码覆盖信息和测试用例相异矩阵构建图；最后，将测试用例中语句覆盖最大的用例作为初始顶点，通过基于测试用例搜索的图遍历算法遍历图，生成基于图的测试用例优先排序序列。本发明解决了目前存在的回归测试用例优先排序方法执行时间过长，结果稳定性较差等问题，提高了测试的效率。

Description

一种基于图的回归测试用例优先排序方法

技术领域

本发明属于软件测试技术领域，特别是在回归测试技术领域，用于测试用例优先级的排序，主要解决测试用例优先排序中效率低的问题，达到降低测试成本的目的，是一种测试用例优化方法。

背景技术

软件测试是使用人工或自动手段来运行或测定某个系统的过程，旨在检验是否满足规定的需求。作为软件开发过程中的一个重要组成部分，软件测试贯穿整个软件生命周期。它是软件生命周期中一项非常重要而且复杂的工作，对软件可靠性保障有着重要意义。软件的改正性维护、适应性维护以及完善性维护都将引起软件的变化，由于修改了原来的缺陷将可能导致更多的缺陷产生。因此修改缺陷后应集中对可能受影响的模块进行回归测试，以确保修改缺陷后不引入新的软件缺陷。回归测试是软件开发与维护过程中代价最昂贵的活动之一，占了总测试预算的80％，软件维护阶段总费用的50％。高效的软件回归测试过程能够尽早地发现修复后存在的回归错误、缺陷和失效，以便为错误定位与错误修复节省更多的资源，从而提高软件测试效率。

回归测试的特点是一种编程测试，以确认代码的修改不会影响现有代码功能。软件随着时间的推移而发展，导致软件测试套件的测量增加，这使得执行成本高昂。通常使用三种技术进行回归测试：测试用例最小化/减少(TSM/TSR)，测试用例选择(TCS)，测试用例优先排序(TCP)。

测试套件最小化是一种消除测试套件中重复测试用例以减少回归测试中测试用例数量的方法。在这确定测试用例之间的方法相似性和差异，然后将其删除或相应地复制一个。验证修改使用部分软件测试套件选择。测试套件选择用于测试套件将用于验证的问题。最后，测试套件优先级用于查找改进覆盖属性的测试套件的排名。在软件维护期间，使用该技术通过从测试套件中删除重复的测试用例来降低成本并重用测试用例，消除重复的测试用例并降低成本回归测试过程。

测试用例选择是从中选择测试用例的过程各种测试案例适合。它用于修复影响软件的bug。在回归测试中，测试套件的选择是基于bug的复杂性。

测试用例优先排序，为了降低回归测试的成本，软件测试人员可以组织他们的优先级，目标是那些具有更高优先级，在某种程度上，在回归测试过程中先运行。此策略提供了一种在故障检测顺序重新运行和调度具有最高优先级的测试用例的方法,获得具有更快代码覆盖率的测试用例的最高优先级。

测试用例优先排序方法主要有：

1、基于代码的TCP技术，主要有贪心算法、遗传算法、爬山算法、粒子群等算法，在对问题求解时，这些算法有较高的时间复杂度，同时效果稳定性差，每次得到的效果不稳定。

2、基于模型的TCP技术，将这类系统用扩展有限状态自动机(EFSM)进行描述,EFSM模型由状态(state)和迁移(transition)构成，通过对比修改前后模型可以识别出模型差异,在修改后的模型上执行所有测试用例,搜集测试用例对模型差异的覆盖信息,并基于覆盖信息排序。

3、基于需求的TCP技术，在对测试用例排序时考虑如下的影响因素:需求变更的可能性、客户定义的需求优先级、需求的实现复杂度和需求的缺陷倾向性.该方法的不足在于,一些影响因素的取值需要人工估计,造成取值具有主观性并会影响随后的排序效果。

现今，已提出了多种使用不同软件信息的测试用例排序技术，软件信息包括代码覆盖信息、代码复杂度等。软件信息间的底层结构、关联信息等都有助于提高测试用例排序技术。测试用例间具有关联性。相似的测试用例具有相似的软件错误检测能力。

发明内容

在回归测试中，白盒测试要从大量测试用例中选择最重要的测试用例优先对待测程序进行测试，以提高测试中程序错误发现能力，传统优化算法在测试用例优先排序中存在稳定性差，耗时长的问题，因此需要一种测试用例优先排序的新方法。

本发明的技术方案为：一种基于图的回归测试用例优先排序方法，排序时首先考虑测试用例之间的差异性。根据代码间相异性指导测试用例优先排序，具体包括以下几个步骤：

(1)测试用例覆盖信息收集，针对待测程序P，使用已经设计好的测试用例集进行测试，测试用例集用Ω，Ω＝{T₁,T₂,…,T_n},其中T_i(1≤i≤n)为测试用例集中第i个测试用例，使用代码覆盖收集工具收集代码覆盖信息，假设P中有m条语句，得到语句覆盖矩阵A_m×n，A_ij＝1表示第i个测试用例执行中覆盖了第j条语句，A_ij＝0表示第i个测试用例执行中未覆盖第j条语句；

(2)使用杰卡德距离(jaccard distance,J_dist)计算测试用例间的相似性，J_dist距离计算：

J_dist(T_i,T_j)表示测试用例T_i和T_j的相似性，记为S(T_i,T_j),P表示T_i和T_j属性值为1的个数，Q表示T_i属性值为1且T_j属性值为0的个数，R表示T_i属性值为0且T_j属性值为1的个数；

(3)根据(2)中相似性,构建测试用例集Ω间的相似性矩阵M

其中，S_ij为测试用例T_i与T_j的相似性,即S_ij＝J_dist(T_i,T_j)，1≤i≤n,1≤j≤n；

(4)编码，个体表示一个测试用例优先排序序列，测试用例优先排序序列就是由测试用例编号组成的有序序列，每一个个体被编码成一个有序测试用例编号串编码的长度为测试用例的个数n；

(5)生成图，首先定义图形属性，图的主要元素是节点和边，为了映射测试用例优先排序到图，提取测试用例的某些特征并将其映射到图中，增加节点和边额外功能，使用代码覆盖率作为测试的指标，定义具有以下属性的图节点：节点标签＝{T₁,T₂,…,T_n}和节点值＝{代码覆盖率},确定节点之间的边，从(3)中的相似性矩阵M选择S_ij作为T_i与T_j点之间的边的属性值，生成图G；

(6)遍历图，使用基于测试用例搜索的图遍历算法，遍历(5)构造的图G，记U为图G的顶点集，V为遍历的顶点集，TE_u,v为(u,v)的权值，v.value为v顶点的值,u∈U,v∈V；

1)开始时，U＝Ω，V＝Φ，选择顶点值最大的顶点加入到V中；

2)修正U-V到其余顶点V的最大极，选择具有极大值的v.value+TE_u,v，对应的顶点v加入到V中；

3)重复2)直到V＝Ω；

经过上述步骤，V中包含了图G的所有顶点，V中顶点的顺序为基于图的回归测试用例优先排序方法的路径，输出的最优测试用例优先级排序序列。

本发明的有益效果

发明中提出测试用例间相似性的度量；根据测试用例的语句覆盖率集和测试用例间的相似矩阵，构造图模型；利用基于图的回归测试用例优先排序方法选择测试用例间的最大差异性生成测试用例优先排序的序列增加了代码的覆盖速率；实验结果显示(由图2显示)，本方法生成最优测试用例排序结果的速度快，稳定性好，能提高测试效率，节约测试成本。

附图说明

图1为本发明的流程图

图2为本发明的Scribe-java的APSC变化图

具体实施方式

以Scribe-java的源程序的测试用例优先排序为例，结合附图1对发明提出的一种基于图模型的的回归测试用例优先排序方法的具体实施方式进行说明。

(1)测试用例覆盖信息收集，针对待测程序，使用已经设计好的测试用例集进行测试，Scribe-java的源程序有849条语句，用51测试用例进行测试，测试用例集用Ω表示，Ω＝{T₁,T₂,…,T₅₁}，其中T_i为测试用例集中第i个测试用例，使用代码覆盖收集工具收集代码覆盖信息，得到语句覆盖矩阵A_51×849，A_ij＝1表示第i个测试用例覆盖了第j条语句，A_ij＝0表示第i个测试用例未覆盖第j条语句；

(2)使用J_dist计算测试用例间的相似性，计算测试用例之间的相似性，J_dist距离计算：

T₁＝[0000000011101111111111111111111100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000111111011000000000011111111111111000000000000000000010111000110100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000111111111111111000000000000000000000001101001100000000000000000000000000001111111100111000000000000000000000000000]

T₂＝[0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000001110001000000000000000000000000000000000000010000110000000000000000000001100]

P＝3,Q＝80,R＝6，J_dist(T₁,T₂)＝0.96629214,记为S(T₁,T₂),P表示T_i和T_j属性值为1的个数，Q表示T_i属性值为1且T_j属性值为0的个数，R表示T_i属性值为0且T_j属性值为1的个数；

(3)根据(2)中相似性,构建测试用例集Ω间的相似性矩阵M

其中，S_ij为测试用例T_i与T_j的相似性,即S_ij＝J_dist(T_i,T_j),1≤i≤51，1≤j≤51；

(4)编码，个体表示一个测试用例优先排序序列，测试用例优先排序序列就是由测试用例编号组成的有序序列，每一个个体被编码成一个有序测试用例编号串,编码的长度为测试用例的个数51；

(5)生成图，首先定义图形属性，图的主要元素是节点和边，为了映射测试用例优先排序到图，提取测试用例的某些特征并将其映射到图中，为节点和边增加额外功能，使用代码覆盖率作为测试的指标，定义具有以下属性的图节点：

节点标签＝(T₁,T₂,T₃,T₄,…,T₅₁)

节点值＝(0.18061674,0.017621145,0.14757709,0.06167401,…,0.03524229),确定节点之间的边，从(3)中的相似性矩阵M选择S_ij作为T_i与T_j点之间的边的属性值，生成图G；

(6)遍历图，使用基于测试用例搜索的图遍历算法，遍历(5)构造的图G，记U为图G的顶点集，V为遍历的顶点集，TE_u,v为(u,v)的权值，v.value为v顶点的值,u∈U,v∈V；

1)开始时，U＝Ω，V＝Φ，选择顶点值最大的顶点加入到V中,计算max(v.value)＝0.18281938,v＝T₉,V＝{T₉}，U＝{T₁,T₂,…,T₈,T₁₀,…,T₅₀,T₅₁}；

2)修正U到其余顶点V的最大极，选择具有极大值的v.value+TE_u,v，计算max(v.value+TE_u,v)＝1.046255507对应的顶点v＝T₄₆加入到中,V＝{T₉,T₄₆},U＝{T₁,T₂,…,T₈,T₁₀,…,T₄₅,T₄₇,…,T₅₀,T₅₁}；

3)重复2)直到

U＝Φ,V＝{8,46,0,2,39,31,4,40,17,28,10,6,30,25,12,35,42,18,3,41,49,47,9,37,21,19,20,14,13,50,34,29,11,43,27,23,15,32,26,22,45,48,24,1,44,38,33,36,16,7,5}；

经过上述步骤，V中包含了图G的所有顶点，V中顶点的顺序为基于图的回归测试用例优先排序方法的路径，输出的最优测试用例优先级排序序列为：

(8,46,0,2,39,31,4,40,17,28,10,6,30,25,12,35,42,18,3,41,49,47,9,37,21,19,20,14,13,50,34,29,11,43,27,23,15,32,26,22,45,48,24,1,44,38,33,36,16,7,5)。

通过以上过程可以实现白盒测试的阐述了优先排序,针对Scribe-java程序的语句覆盖信息，分别使用贪心算法，遗传算法和本方法执行，计算贪心算法，遗传算法，正序，随机，逆序的评价指标APSC(verage Percentage of Statement Coverage)，

其中TS_i(1<i<454)表示可以覆盖到第i个语句块的测试用例在该执行次序中的位置。

图2是贪心算法，遗传算法(30次迭代)，正序，随机，逆序的APSC变化图，对比图中方法的评价值，从图2可以看出，本方法的评价值大于其他方法的评价值，针对白盒测试中测试用例优先排序，本方法具有更快的收敛速度。

综合实验数据可知，在相同条件下，本发明提出的基于图的测试用例优先排序方法跟其他方法相比能更早的覆盖语句；本方法生成最优测试用例排序结果的速度快，稳定性好，能提高测试效率。

Claims (2)

1.一种基于图的回归测试用例优先排序方法，其特征在于包括以下步骤：

(1)测试用例覆盖信息收集，针对待测程序P，使用已经设计好的测试用例集进行测试，测试用例集用Ω，Ω＝{T₁，T₂，...，T_n}，其中T_i(1≤i≤n)为测试用例集中第i个测试用例，使用代码覆盖收集工具收集代码覆盖信息，假设P中有m条语句，得到语句覆盖矩阵A_m×n，A_ij＝1表示第i个测试用例执行中覆盖了第j条语句，A_ij＝0表示第i个测试用例执行中未覆盖第j条语句；

(2)使用杰卡德距离(jaccard distance，J_dist)计算测试用例间的相似性，J_dist距离计算：

J_dist(T_i，T_j)表示测试用例T_i和T_j的相似性，记为S(T_i，T_j)，P表示T_i和T_j属性值为1的个数，Q表示T_i属性值为1且T_j属性值为0的个数，R表示T_i属性值为0且T_j属性值为1的个数；

(3)根据(2)中相似性，构建测试用例集Ω间的相似性矩阵M

其中，s_ij为测试用例T_i与T_j的相似性，即s_ij＝J_dist(T_i，T_j)，1≤i≤n，1≤j≤n；

(4)编码，个体表示一个测试用例优先排序序列，测试用例优先排序序列就是由测试用例编号组成的有序序列，每一个个体被编码成一个有序测试用例编号串编码的长度为测试用例的个数n；

(5)生成图，首先定义图形属性，图的主要元素是节点和边，为了映射测试用例优先排序到图，提取测试用例的某些特征并将其映射到图中，增加节点和边的额外功能，使用代码覆盖率作为测试的指标，定义具有以下属性的图节点：节点标签＝{T₁，T₂，...，T_n}和节点值＝{代码覆盖率}，确定节点之间的边，从(3)中的相似性矩阵M选择S_ij作为T_i与T_j点之间的边的属性值，生成图G；

(6)遍历图，使用基于测试用例搜索的图遍历算法，遍历(5)构造的图G，记U为图G的顶点集，V为遍历的顶点集，TE_u，v为(u，v)的权值，v.value为v顶点的值，u∈U，v∈V；

1)开始时，U＝Ω，V＝Φ，选择顶点值最大的顶点加入到V中；

2)修正U-V到其余顶点V的最大极，选择具有极大值的v.value+TE_u，v，对应的顶点v加入到V中；

3)重复2)直到V＝Ω；

经过上述步骤，V中包含了图G的所有顶点，V中顶点的顺序为基于图的回归测试用例优先排序方法的路径，输出的最优测试用例优先级排序序列。

2.根据权利要求1所述的一种基于图模型的回归测试用例优先排序方法，其特征在于：该方法可以应用于测试用例优先级的快速排序，解决目前存在的回归测试用例优先排序方法执行时间过长，结果稳定性较差等问题，提高了测试的效率。