CN102831055B - 基于加权属性的测试用例选择方法 - Google Patents

Abstract

基于加权属性的测试用例选择方法，在实验程序上运行所有的测试用例，获得每个测试用例的执行剖面，执行剖面为测试用例在执行过程中所调用的函数序列，使用k-means聚类算法对剖面进行聚类，聚类结束后在每一个类簇中应用基于属性权重的策略挑选出测试用例审查，选出最可能失效的测试用例。本发明作为一种改进交互式测试结果审查推荐技术，引入了软件错误定位技术，通过改变执行剖面中属性的权重，使得和错误相关的属性的权重更大，使得聚类过程能更好的把失败的测试用例聚在一起，从而使得测试人员只要检测较少的测试用例就可以发现更多的失败的测试用例。

Description

基于加权属性的测试用例选择方法

技术领域

本发明属于软件测试技术领域，尤其是软件测试中测试用例选择领域，用于测试用例审查，是一种测试用例取样技术。

背景技术

在软件的测试过程中为了找出软件中的错误，有时候开发者要人工审查大量的测试用例，判断其是否执行失败。然后通过审查执行失败的测试用例帮助找到软件中出错的地方，继而纠正错误。所以有时候软件测试的开销是非常巨大的，但这个开销又是必须花费的。

交互式测试结果审查推荐技术的目标就是减少软件测试过程中的人工开销。该技术会自动的推荐最可能执行失败的测试用例给开发者审查，避免了开发者需要人工的逐个执行每一个测试用例并检查它是成功的还是失败的。

传统的测试结果审查推荐技术的主要流程如下：1执行所有的测试用例，得到每一个测试用例的执行剖面。执行剖面就是软件执行过程中的使用的各种元素的序列，如语句，函数，变量等的被使用情况。2对执行剖面进行聚类。3用不同的策略从每个类簇中挑选测试用例审查。这些策略统称为簇取样技术（cluster sampling）.不同的测试用例推荐技术的主要区别在于从类簇中筛选测试用例的方法不同。

最近已经有对cluster sampling技术的研究把软件错误定位的思想引入到了最后挑选测试用例审查的过程，这种技术被称为基于执行频谱的测试用例取样技术ESBS（Execution Spectra Based Strategy），这种cluster sampling技术其基本的思想如下：被越多的失败的测试用例调用的软件元素越可能存在错误。我们称这种软件元素为可疑元素。反过来使用可疑元素越多的测试用例越可能是失败的测试用例。

最理想的情况是聚类后失败的测试用例和成功的测试用例被完全区分开，能引发相同错误的测试用例被放在同一个类簇中。引发不同错误的测试用例被放在不同的类簇中。在这种情况下，开发者只需要在每一个类簇中取极少数的测试用例审查就可以定位所有的错误。

因为现有的聚类算法只能在一定程度上把失败的测试用例放在相同的类中。所以这些技术虽然可以比检查所有测试用例节省开销，但是由于聚类精度不够，即聚类不可能把所有的失败测试用例和成功测试用例区分开来，在实际过程中开发者依然要审查大量的成功的测试用例。

发明内容

本发明要解决的问题是：传统的测试结果审查推荐技术所采用的从类簇中筛选测试用例的方法精度不够，在实际过程中开发者依然要审查大量的成功的测试用例来完成测试用例的选择。

本发明的技术方案为：基于加权属性的测试用例选择方法，在实验程序上运行所有的测试用例，获得每个测试用例的执行剖面，执行剖面为测试用例在执行过程中所调用的函数序列，函数序列的每一个函数作为测试用例的一个属性，如果函数被调用则在序列中的值为1反之则为0，然后分析选出最可能失效的测试用例：使用k-means聚类算法对执行剖面进行聚类，类簇个数为总测试用例个数的5%，聚类结束后在每一个类簇中应用基于属性权重的策略WAS技术不断挑选出测试用例审查，挑选方法如下：应用错误定位技术根据每个函数被失败或成功的测试用例执行的次数和审查结果，不断改变每个函数的分值，所打的分值即函数的权值，在所有的类簇都执行过上述过程后，用每个函数的权值代替初始的执行剖面中每个函数的值，用改变后的执行剖面重新聚类，在新的聚类结果上进一步挑选测试用例，分析选出最可能失效的测试用例。

基于属性权重的策略WAS技术具体步骤如下：

初始时每个函数的致信值都置为0，设定阈值CT为1，所有致信值小于1的函数都是可疑函数，测试用例执行的可疑函数的个数为测试用例的可疑值，

1）测试用例选择，即从k-means聚类算法聚类后得到的类簇中选出一个可疑值最大的测试用例，可疑值用来度量测试用例失效的可能性大小；

2）函数致信值计算，先审查选中的测试用例是通过还是失效，然后分析函数序列的执行信息，以函数作为程序执行元素，计算每个程序执行元素的致信值，以致信值度量每个元素失效的可能性，如果这个测试用例通过，则它调用的每一个函数的致信值加1，反之减1；

3）执行错误定位技术，实验程序的每一个函数被赋予4个属性<anp,anf，aep,aef＞，它们表示了某一函数与测试用例失效或通过的关系：

anp：没有执行这个函数并且通过的测试用例个数；

anf：没有执行这个函数并且失效的测试用例个数；

aep：执行这个函数并且通过的测试用例个数；

aef：执行这个函数并且失效的测试用例个数；

如果选择的测试用例通过，则每一个调用的函数aep+1，每一个没有调用的函数anp+1；如果选择的测试用例失效，每一个调用的函数aef+1，每一个没有调用的函数anf+1；然后检查选择的测试用例个数是否达到事先设定的阈值TL，如果选择的测试用例个数达到TL，执行步骤4），否则执行步骤5），其中设置TL为总测试用例个数的5%；

4）使用杰卡德排序标准（Jaccard ranking metric）计算函数权重Function weight，如下：

$\mathrm{Function\; weight}=\frac{\mathrm{aef}}{\mathrm{aef}+\mathrm{anf}+\mathrm{aep}}$

如果在原始剖面中一个函数是被调用的，即函数序列中的值为1，则用计算的权重来替代函数在剖面中的值，然后删除剖面中已经被选出的测试用例，产生新的执行剖面并进行聚类，聚类结束后重新从第一步开始执行；

5）可疑测试用例鉴别，通过每个函数的致信值确定可疑函数，如果一个函数的致信值小于设定的阈值CT，则判为可疑函数，可疑函数选择完成后产生一个可疑函数集合，每一个测试用例的可疑值就是它调用的可疑函数的个数，可疑值大于0的测试用例都被认为是可疑的测试用例，即最可能失效的测试用例；如果测试用例的可疑值都为0，就选择另一个类簇并重新从步骤1）开始执行，否则继续在这个类簇中，重新执行步骤1），继续选择测试用例。

每一次聚类结束后每个函数的致信值都重置为0，即在进行函数致信值计算之前，每一个函数都是可疑函数。

聚类算法不能像我们所期望的那样把失败的测试用例和成功的测试用例分开的其中一个原因是：算法把执行剖面中的属性都同等看待。在k-means聚类过程中，计算测试用例剖面之间的距离是一个重要的过程，各种距离计算公式都可以使用，欧式距离和海明距离是两种使用最多的距离。通常聚类在计算各个测试用例距离时，每种属性的权重都是1。设两个测试用例T，T`的剖面分别为T:<e1,e2,…，en>,T`:<e`1,e`2,…，e`n>，它们之间的距离是但仅仅使用这种方法，聚类结果并不理想，因为他并没有更加关注出错的软件元素，如函数，语句等。因此现有技术的聚类不够精确。

本发明提出了一种改进的簇取样技术：基于属性权重的策略WAS（WeightedAttribute based Strategy），该技术在ESBS的基础上进行改进，把软件错误定位技术和簇取样技术相结合；选用欧式距离度量公式作为相异性方程；所引用的软件错误定位技术是在所有的软件错误定位技术中被证明是最优的。

本发明通过迭代的改变函数的权重创建新的执行剖面和聚类，使得聚类效果逐渐提升，从而使得选出的测试用例是失效的测试用例的概率大大增加，这样就大大减少了审查测试用例的人工消耗。

本发明作为一种改进交互式测试结果审查推荐技术引入了软件错误定位技术，通过改变执行剖面中属性的重要程度即权重，使得和错误相关的属性的权重更大。使得聚类过程能更好的把失败的测试用例聚在一起。从而使得测试人员只要检测较少的测试用例就可以发现更多的失败的测试用例。

附图说明

图1为本发明WAS的主要流程。

图2为本发明WAS和与之比较的ESBS在flex程序上的运行结果。

图3为本发明WAS和与之比较的ESBS在grep程序上的运行结果。

图4为本发明WAS和与之比较的ESBS在gzip程序上的运行结果。

具体实施方式

本发明使用的三个主要技术分别是k-means聚类技术，簇取样（cluster sampling）技术和错误定位（fault localization）技术。下面介绍方法的流程并具体说明本发明所使用的各项技术的实施方式。

1k-means聚类技术

因为k-means聚类技术是通用的聚类方法所以在这里不做仔细说明。本发明所确定的类簇个数为总测试用例个数的%5。

2fault localization技术

fault localization技术是一种可以帮助诊断软件中的失效的技术。它根据每一个语句或函数失效的可能性大小对程序语句或函数进行排序。测试用例通过（pass）或失效（fail）的审查信息，以及测试用例调用的函数或执行的语句信息被收集用来为每一个函数或语句计算一个权重。这些权重可以被用来排序语句或函数。权重越大的函数或语句被认为越可能失效。

在fault localization技术中每一个函数或语句被赋予4个属性anp、anf、aep和aef，它们的含义如下：

anp：没有执行这个函数或语句并且pass的测试用例个数；

anf：没有执行这个函数或语句并且fail的测试用例个数；

aep：执行这个函数或语句并且pass的测试用例个数；

aef：执行这个函数或语句并且fail的测试用例个数；

有多种排序指标（ranking metric）可以使用这四个属性值为每个函数或语句计算权重，在本发明中我们使用Jaccard ranking metric计算权重。Jaccard ranking metric如下：

$\mathrm{Function\; weight}=\frac{\mathrm{aef}}{\mathrm{aef}+\mathrm{anf}+\mathrm{aep}}$

3WAS技术

WAS技术是基于ESBS的cluster sampling技术。在WAS中，每一个函数有一个致信值（confidence），设阈值CT，confidence小于CT的为可疑函数（suspiciousfunction），即可能存在错误的函数。CT值可以被设为大于0的不同的值，在本发明中CT值设为1。每一个测试用例有一个可疑值（suspiciousness）,即它调用的可疑函数的个数。只要一个测试用例的可疑值大于等于0，就认为这个测试用例是可疑的测试用例（suspicious test case）。

WAS的流程如下：

第一步：测试用例选择。即从任意选择的类簇中选出一个可疑值最大的测试用例，如果有多个测试用例的可疑值相同，则从中随机选择一个。

第二步：函数致信值计算。先执行测试用例结果审查。即审查选中的测试用例是pass还是fail。然后执行函数致信值计算。如果这个测试用例pass则它调用的每一个函数的致信值加1，反之减1。

第三步：<anp,anf，aep,aef＞计算。如果选择的测试用例pass，则每一个调用的函数aep+1，每一个没有调用的函数anp+1。如果选择的测试用例fail，每一个调用的函数aef+1，每一个没有调用的函数anf+1。然后检查选择的测试用例个数是否达到事先设定的阈值TL。如果选择的测试用例个数达到TL，函数权重计算将被执行，否则第五步可疑测试用例鉴别将被执行。在本发明中我们设置TL为总测试用例个数的5%。

第四步：函数权重计算。为每一个函数计算Jaccard metric来给每一个一个函数一个权重。如果在原始剖面中一个函数时被调用的，则用计算的权重来替代函数在剖面中的值。然后通过删除剖面中已经被选出的测试用例的来产生新的执行剖面并进行聚类。聚类结束后我们会重新从第一步开始执行。

第五步：可疑测试用例鉴别。首先执行可疑函数选择，即在所有函数中识别出可疑函数，如果一个函数的致信值小于CT，那个函数就是一个可疑函数。可疑函数选择完成后会产生一个可疑函数集合。然后计算测试用例可疑值，每一个测试用例的可疑值就是它调用的可疑函数的个数。可疑值大于0的测试用例都被认为是可疑的测试用例，得到可疑测试用例集。如果集合为空，就选择另一个类簇并重新从第一步开始执行。否则重新执行第一步，继续在这个类簇中选择测试用例。

当我们发现每一个聚类中都没有可疑的测试用例时停止整个过程。每一次聚类结束后每个函数的致信值都会重置为0。即初始时每一个函数都是可疑函数。图1展示了WAS的具体流程。

下面通过具体的实例来说明本发明的实施

本发明选择了三个C程序作为实验程序。三个程序均为开源程序，并且提供了测试用例集。表1列出了这三个程序的详细信息。

本发明的具体实施方式如下：

1从所有的测试用例中找出真正的所有失效的测试用例:

我们用相同的测试用例分别在实验程序的正确版本和错误版本上运行并且收集它们的输出，如果两个输出是不同的，则这个测试用例就是失效的测试用例。

2创建执行剖面

本发明使用工具gcov帮助收集运行程序的覆盖率信息。整个过程包含三个主要的阶段：注入、执行和报告。注入阶段在源代码的基础上注入一些辅助信息。注入完毕后，编译器将产生可执行代码。随着测试用例的运行，注入后的代码将被执行，覆盖信息将随之被记录到日志。日志保存了程序元素被执行的次数。最终，覆盖率信息被计算，并产生可阅读的报告。gcov提供了六种粒度的度量，本发明选择函数作为实验粒度。我们通过对日志的分析产生了程序的执行剖面。

3选择评估方法

本发明选择失效测试用例检测率（failure detection ratio）和测试用例选择比率（testselection ratio）作为评估标准，test selection ratio越小failure detection ratio越高说明方法效果越好。公式如下：

$\mathrm{failure}\det \mathrm{ection\; ratio}(\%)=\frac{F1}{F}*100\%$

$\mathrm{test\; selection\; ratio}(\%)=\frac{T1}{N}*100\%$

其中F1代表选出的失效测试用例的个数。F代表总共的测试用例的个数。T1代表方法选出的测试用例的个数。N代表总共的测试用例的个数。

4技术实现

本发明用数据挖掘工具weka来聚类程序执行剖面并使用k-means作为聚类算法。我们使用java语言分别实现了WAS和ESBS并分别计算了两种方法的失效测试用例检测率和测试用例选择比率。我们分别对两种算法作了20次实验并对收集的实验结果计算平均值。

5实验结果分析

因为我们的方法是在ESBS的方法基础上改进而得到的，并且ESBS是已知sampling技术中效果最好的技术，所以我们对WAS和ESBS进行了比较。我们比较了二者的失效测试用例检测率和测试用例选择比率。失效测试用例检测率反应了方法发现失效测试的能力，测试用例选择比率反应了方法的开销的多少。

从图2，3，4中看出，本发明方法WAS在flex，grep和gzip上都可以比ESBS在检查较少的测试用例的情况下发现更多的失效测试用例。改变函数置信度阈值（CT）可以使其失效测试用例检测率（failure detection ratio）增加，但从图中可以看出WAS始终比ESBS更加有效。

Claims (2)

1.基于加权属性的测试用例选择方法，其特征是在实验程序上运行所有的测试用例，获得每个测试用例的执行剖面，执行剖面为测试用例在执行过程中所调用的函数序列，函数序列的每一个函数作为测试用例的一个属性，如果函数被调用则在序列中的值为1反之则为0，然后分析选出最可能失效的测试用例：使用k-means聚类算法对执行剖面进行聚类，类簇个数为总测试用例个数的5％，聚类结束后在每一个类簇中应用基于属性权重的策略WAS技术不断挑选出测试用例审查，挑选方法如下：应用错误定位技术根据每个函数被失败或成功的测试用例执行的次数和审查结果，不断改变每个函数的分值，所打的分值即函数的权值，在所有的类簇都挑选出测试用例审查后，用每个函数的权值代替初始的执行剖面中每个函数的值，用改变后的执行剖面重新聚类，在新的聚类结果上进一步挑选测试用例，分析选出最可能失效的测试用例；

所述基于属性权重的策略WAS技术具体步骤如下：

初始时每个函数的致信值都置为0，设定阈值CT为1，所有致信值小于1的函数都是可疑函数，测试用例执行的可疑函数的个数为测试用例的可疑值，

1)测试用例选择，即从k-means聚类算法聚类后得到的类簇中选出一个可疑值最大的测试用例，可疑值用来度量测试用例失效的可能性大小；

2)函数致信值计算，先审查选中的测试用例是通过还是失效，然后分析函数序列的执行信息，以函数作为程序执行元素，计算每个程序执行元素的致信值，以致信值度量每个元素失效的可能性，如果这个测试用例通过，则它调用的每一个函数的致信值加1，反之减1；

3)执行错误定位技术，实验程序的每一个函数具有以下3个属性：<anf,aep,aef>，它们表示了某一函数与测试用例失效或通过的关系：

anf：没有执行这个函数并且失效的测试用例个数；

aep：执行这个函数并且通过的测试用例个数；

aef：执行这个函数并且失效的测试用例个数；

如果选择的测试用例通过，则每一个调用的函数aep+1，如果选择的测试用例失效，每一个调用的函数aef+1，得到函数的分值；然后检查选择的测试用例个数是否达到事先设定的阈值TL，如果选择的测试用例个数达到TL，执行步骤4)，否则执行步骤5)，其中设置TL为总测试用例个数的5％；

4)使用杰卡德排序标准计算函数权重Function weight，即函数的权值，如下：

$\mathrm{Function\; weight}=\frac{\mathrm{aef}}{\mathrm{aef}+\mathrm{anf}+\mathrm{aep}}$

如果在原始执行剖面中一个函数是被调用的，即函数序列中的值为1，则用计算的权重来替代函数在原始执行剖面中的值，然后删除所有执行剖面中已经被选出的测试用例的执行剖面，对产生的新的执行剖面进行聚类，聚类结束后重新从步骤1)开始执行；

5)可疑测试用例鉴别，通过每个函数的致信值确定可疑函数，如果一个函数的致信值小于设定的阈值CT，则判为可疑函数，可疑函数选择完成后产生一个可疑函数集合，每一个测试用例的可疑值就是它调用的可疑函数的个数，可疑值大于0的测试用例都被认为是可疑的测试用例，即最可能失效的测试用例；如果测试用例的可疑值都为0，就选择另一个类簇并重新从步骤1)开始执行，否则继续在这个类簇中，重新执行步骤1)，继续选择测试用例。

2.根据权利要求1所述的基于加权属性的测试用例选择方法，其特征是每一次聚类结束后每个函数的致信值都重置为0，即在进行函数致信值计算之前，每一个函数都是可疑函数。