CN103500142A

CN103500142A - 面向动态Web应用的多目标测试用例优先级测试方法

Info

Publication number: CN103500142A
Application number: CN201310476944.1A
Authority: CN
Inventors: 陈振宇; 邹云潇; 房春荣; 高则宝
Original assignee: Nanjing University
Current assignee: Nanjing University
Priority date: 2013-10-12
Filing date: 2013-10-12
Publication date: 2014-01-08
Anticipated expiration: 2033-10-12
Also published as: CN103500142B

Abstract

面向动态Web应用的多目标测试用例优先级测试方法，在回归测试中采用基于元素覆盖和语句覆盖的多目标测试用例优先级技术，使用多个目标对基于动态web应用的测试用例进行优先级排序，优先级高的测试用例将被优先执行。本发明在不进行任何约简测试用例的前提下，对测试用例的执行顺序进行了重新排序，这样一方面使得测试用例集合的错误检测能力不受影响，另一方面提高了错误检测的速率，使得程序员可以尽早地找到更多的错误，节省了程序员寻找错误的时间成本。

Description

面向动态Web应用的多目标测试用例优先级测试方法

技术领域

本发明属于计算机技术中的软件测试技术领域，尤其是软件测试中回归测试技术领域，用于基于分布的测试用例优先级技术，依据执行剖面在剖面空间中的分布对测试用例的执行顺序进行优先级排序，是一种测试用例集优化技术，具体为一种面向动态Web应用的多目标测试用例优先级测试方法。

背景技术

对于工业程序，测试用例集通常包含数以千计甚至更多的测试用例。执行全部的测试用例代价昂贵，这种情况对于回归测试尤为明显：随着程序的不断演化，测试用例数目不断增多；在有限的资源限制下，很难重新执行每个测试用例。

测试用例优先级技术旨在解决上述问题。测试用例优先级技术根据一些准则重新排列测试用例被执行的顺序，优先级高的测试用例将被优先执行。本发明主要针对回归测试场景，关注于通用的回归测试情况，即测试用例优先级技术将应用于基础版本而不考虑其上发生的任何代码改变。

测试用例优先级技术的目的是，如果一组测试用例按照特定的顺序执行，那么该组测试用例更容易满足某个目标。理想情况下，测试用例应该按照尽可能早地最大化错误检测能力来排序。但在错误信息未知之前，照此排序是不切实际的。因此，测试用例优先级技术使用代理，尽可能早的最大化代理的某种属性，希望能够尽早最大化错误检测能力。

传统的测试用例优先级技术使用单目标覆盖信息作为代理。它们关注于尽可能早地最大化某一种特定的程序元素，如语句、分支、数据流/控制流等的覆盖率，希望以此达到最大化错误检测能力；这种技术被称为基于单目标的测试用例优先级技术。常见的基于单目标的优先级技术包括贪心算法、遗传算法等等。

然而，近几年的学术研究指出，单一的元素覆盖率这一目标并不一定能够保证获得高的错误检测能力，特别是在基于动态web技术的应用中。

发明内容

本发明要解决的问题是：改进针对动态web应用的测试用例优先级技术。

本发明的技术方案为：面向动态Web应用的多目标测试用例优先级测试方法，在回归测试中采用测试用例优先级技术，使用多个目标对基于动态web应用的测试用例进行优先级排序，优先级高的测试用例将被优先执行；其中，使用语句覆盖和元素覆盖信息作为排序的度量依据，使用基于开销的多目标覆盖信息作为排序的适应函数，所述多目标覆盖信息是指一个测试用例对于每一个覆盖目标的满足情况的加权总和，开销指执行一个测试用例所需的代价，适应函数为衡量一个测试用例在单位开销下的覆盖程度的量化标准，每一个测试用例基于其覆盖和开销具有对应的适应函数值，使用额外贪心算法根据每个测试用例的适应函数值对测试用例集中的测试用例进行排序，根据排序执行测试用例，具体为：

设待选测试用例池中包含所有的待选测试用例，遍历待选测试用例池，选择第一个测试用例，它具有最大的适应函数值，将选出的测试用例加入已选测试用例集合中，并移出待选测试用例池；之后查看被选出的测试用例是否发现新的程序错误，如果有则继续检验当前是否已检测到了全部的程序错误，如果是则测试结束，表明当前的已选测试用例集合找到了程序全部错误，如果没有找到全部错误，检测选择的测试用例数据是否达到了设定的测试用例选择数目，如果已达到则测试结束，如果没有达到测试用例选择数目，则检测当前已选测试用例对目标是否达到100%覆盖，如果是则清空覆盖为0，若当前目标覆盖不为100%或已被清零，重新遍历待选测试用例池，选择下一个测试用例，开始下一个迭代过程。

在所述额外贪心算法中，适应函数值的计算为：已选测试用例对各目标覆盖为已知参数，对测试用例集中每一个待选测试用例，计算每个目标下每个待选测试用例与已选测试用例相比额外的覆盖率，将待选测试用例每个目标的额外覆盖率加权求和并除以它的开销，获得每个待选测试用例适应函数值。

在软件测试中，程序运行时，程序元素的覆盖情况对于测试用例的错误检测能力具有十分重要的影响。对于动态web应用程序，不同的目标关注不同类型的程序元素。例如，基于HTML元素的覆盖目标侧重对程序浏览器端界面的检测，对于前端显示中和用户交互过程中的错误具有更强的检测能力；而基于代码语句的覆盖目标则侧重服务器端逻辑，更利于检测出后端程序逻辑中所隐藏的错误。因此，使用多个目标进行测试用例的排序可以增强对程序的错误检测能力，提高错误的检测速率。本发明提出对动态web应用的多目标测试用例排序思想，使用基于多目标的额外贪心算法作为测试用例选择的算法；检验基于由前端元素覆盖和后端语句覆盖所组成的多目标与基于单目标的测试用例排序方法对于程序的错误检测能力；选用基于覆盖和开销的适应函数评价测试用例。

基于元素覆盖和语句覆盖的多目标测试用例优先级技术由此被本发明首次提出。相比现有技术中每次测试时使用单个目标覆盖进行检测，本发明将原来的单个目标集合起来实现多目标测试用例优先级技术，作为一种改进，多目标测试用例优先级技术基于动态web应用程序的特点，考虑测试用例对多个目标的满足程度，对测试用例执行顺序进行重新排序。动态web应用依赖前台交互界面和后台逻辑实现功能，利用语句覆盖率和控件覆盖率作为两个目标，是为了选出对前端界面和后端逻辑的综合覆盖水平达到最大的测试用例并优先执行，所述事件为应用程序的用户界面上可以发出的操作，如菜单的选择，按钮的点击等。覆盖率刻画了测试用例对被测程序的检测能力，一个测试用例只可能探测到它所覆盖的程序部分中的故障和错误，高多目标覆盖率对于错误检测十分有用，而对多目标的覆盖率是由适应函数来量化衡量的。适应函数使用已选测试用例集和待选测试用例对于每一个目标的覆盖率作为参数，计算出选中当前待选测试用例后新的测试用例集在单位开销下对于多目标的覆盖率。最后，基于多目标的测试用例优先级技术根据适应函数为测试用例的执行顺序重新排序，希望被选中的测试用例可以尽早的达到对所有目标的百分之一百覆盖率。这主要是依据以下思想：覆盖相同程序元素的测试用例通常具有相似的行为和相似的错误检测能力。因为一个测试用例只能检测出其所能覆盖的程序部分中所隐藏的错误，因此执行的下一个测试用例覆盖尚未被覆盖的程序部分，则有更大的可能性能够尽早检测出更多的错误。换句话说，使测试用例更早的达到对每个目标的100%覆盖可以提高错误检测的速率。

本发明的有益效果是：在不进行任何约简测试用例的前提下，对测试用例的执行顺序进行了重新排序，这样一方面使得测试用例集合的错误检测能力不受影响，另一方面提高了错误检测的速率，使得程序员可以尽早地找到更多的错误，节省了程序员寻找错误的时间成本。

附图说明

图1为额外贪心算法的流程图。

图2为本发明实例中，测试用例优化技术的错误检测能力对比，实验程序为schoolmate。

图3为本发明实例中，测试用例优化技术的错误检测能力对比，实验程序为timeclock。

具体实施方式

本发明在回归测试中采用测试用例优先级技术，使用多个目标对基于动态web应用的测试用例进行优先级排序，优先级高的测试用例将被优先执行；其中，使用语句覆盖和元素覆盖信息作为排序的度量依据，使用基于开销的多目标覆盖信息作为排序的适应函数，所述多目标覆盖信息是指一个测试用例对于每一个覆盖目标的满足情况的加权总和，开销指执行一个测试用例所需的代价，适应函数为衡量一个测试用例在单位开销下的覆盖程度的量化标准，每一个测试用例基于其覆盖和开销具有对应的适应函数值，使用额外贪心算法根据每个测试用例的适应函数值对测试用例集中的测试用例进行排序，根据排序执行测试用例，进行测试。本发明的主要的算法是测试用例优化的额外贪心算法，下面对算法做出介绍，主要流程如图1所示。首先初始化待选测试用例池，此时待选测试用例池中包含所有的待选测试用例。算法首先遍历待选测试用例池，选择第一个测试用例，它具有最大的目标适应函数。将选出的测试用例加入已选测试用例集合中，并移出待选测试用例池。之后，查看被选出的测试用例是否发现新的程序错误，如果有则表明已选测试用例集合可发现更多的程序错误，检验当前是否已检测到了全部的程序错误，如果是则算法结束，表明当前的已选测试用例集合找到了程序全部错误，检测结束。如果没有找到全部错误，算法检测是否选择了足够多的测试用例，即检测选择的测试用例数据是否达到了设定的测试用例选择数目，如果选择了足够多的测试用例，此时算法结束。测试用例选择数目为一个可调参数，在实施例中，该参数设定为待选测试用例池中测试用例个数的三分之一。如果没有选择足够个数的测试用例，算法检测当前已选测试用例对目标是否达到100%覆盖，如果是则清空覆盖为0，若当前目标覆盖不为100%或已被清零，则算法重新遍历待选测试用例，开始下一个迭代过程。

表1：实验程序的信息

实验程序	版本	文件数	代码行数	错误数
					schoolmate	1.5.4	63	8181	23
timeclock	1.0.2	62	20789	13

本发明选择了2个动态web应用程序作为实验程序。两个实验程序均为SourceForge上的开源程序。表1列出两个实验程序的详细信息。

以两个动态web应用程序为例，本发明的具体实施方式如下。

1、准备实验程序的测试用例集

本发明中使用Selenium工具，为每个实验程序生成大量可执行的测试用例脚本。Selenium是适用于动态web应用程序的测试用例生成工具，录制用户的测试行为，即用户与动态web应用程序前端网页的交互事件序列作为脚本，自动生成可以回放的测试用例。同时使用XDEBUG工具帮助收集运行程序的覆盖率信息，XDEBUG可以记录每个测试用例执行时对程序语句的覆盖情况。此外，通过在源程序中添加输出信息，我们可以收集每个测试用例可以探测到的程序中的错误。表2列出了2个实验程序各自的测试用例集的详细信息。

表2：实验程序的测试用例集

实验程序	测试用例总数	事件总数	发现的错误总数
				schoolmate	195	5305	23
timeclock	155	9074	13

2、实验程序错误统计

为了验证算法的错误检测能力，本发明收集了SourceForge上两个待测动态web应用程序的用户所汇报的错误以及测试用例检测到的错误作为程序错误。通过在程序错误处添加输出，记录每个测试用例执行时可以发现的程序错误信息。

3、实现测试用例优先级技术

本发明选择语句覆盖、元素覆盖和执行开销作为三个单目标，发明中所指多目标即综合考虑语句覆盖、元素覆盖及开销这三个目标。本发明使用Java语言实现了测试用例排序的额外贪心算法，算法实质是每次基于已有测试用例集合T挑选适应函数值最大的测试用例t，适应函数f(t,T)定义如下：

对于单目标，已选的测试用例集合T已覆盖的元素集合为C(T)，待选的测试用例t覆盖的元素集合为C(t)，测试用例t基于T的增量覆盖率AC(t,T)是指：在T没有覆盖的所有程序元素中被t覆盖到的元素的比例。定义测试用例t的开销为Cost(t)，则单目标的适应函数定义如下：

f (t, T) = \frac{AC (t, T)}{Cost (t)}

基于多目标的测试用例适应函数公式如下：

f (t, T) = Σ_{j = 1}^{M} (w_{j} * f_{j}),

Σ_{j = 1}^{M} w_{j} = 1

其中j为多目标中的第j个目标，w_j是目标j的加权权重，此值一般为1，表示所有目标权重相同，也可由测试人员自行设置。f_j为此目标下测试用例t基于已选测试用例集合T的适应函数。其中，所有目标的权重之和为1。

5、实验结果分析

图2和图3显示了不同目标的测试用例优先级算法的错误检测能力，与现有的语句符号或元素覆盖测试方法，本发明的基于多目标的测试用例优先级测试方法确实能够提高测试用例检测错误的速率。对于schoolmate程序，多目标方法比语句覆盖多检测22.2%错误，比元素覆盖多检测57.1%错误。对于timeclock程序，多目标方法比语句覆盖多检测48.1%错误，比元素覆盖多检测7.9%错误。

一、使用基于语句覆盖率和元素覆盖率的单目优先级技术在错误检测能力上的优劣：

在实验程序timeclock中，元素覆盖策略的性能明显优于语句覆盖策略。而在实验程序schoolmate中结论则相反。这种实验现象的产生是基于两个实验程序的特性不同。timeclock程序中实现前台交互的代码部分所占比重很大，其前台交互的复杂度远大于后台逻辑，因此元素覆盖更利于探测用户交互界面中所隐藏的程序错误。相对而言，schoolmate的前台简单，其后台逻辑复杂度显著高于前台交互，使用语句覆盖更易于触发后台逻辑中的错误。两个实验程序的不同特性决定了实验结果的不一致性。

二、使用多目标与单目标测试用例优先级技术在错误检测能力上的优劣：

基于多目标的优先级技术是否比单目标具有更强的错误检测能力？实验给出了肯定答案。从图2和图3可以看出虽然语句覆盖目标和元素覆盖目标在schoolmate和schoolmate两个程序中各有千秋，但是两个实验程序中多目标覆盖的错误检测能力都明显优于每一个单目标。对于schoolmate程序，多目标方法比语句覆盖多检测22.2%错误，比元素覆盖多检测57.1%错误。对于timeclock程序，多目标方法比语句覆盖多检测48.1%错误，比元素覆盖多检测7.9%错误。

早期的研究已显示界面测试（包括动态web程序的界面测试）与传统控制台输出的程序测试有所不同。用户交互界面可以为系统交互提供便捷的同时，也会为系统整体带来额外的复杂度。从实验程序可以看出，一个简单的前台界面事件序列会调用大量的后台逻辑语句来相应。在某些情况下，微小的前台输入参数改变对后台的检测能力可能会出现极大的不同，因此与元素相比，语句覆盖目标更利于发现程序的后台逻辑错误。然而，后台逻辑具有很强的复用性，单纯的语句覆盖无法触发交互界面的异常，在这种情况下元素覆盖目标更利于发现交互状态中的错误。多目标在动态web应用程序上的使用可以弥补单目标各自的缺陷，从而获得更强的错误检测能力。

Claims

1.面向动态Web应用的多目标测试用例优先级测试方法，其特征是在回归测试中采用测试用例优先级技术，使用多个目标对基于动态web应用的测试用例进行优先级排序，优先级高的测试用例将被优先执行；其中，使用语句覆盖和元素覆盖信息作为排序的度量依据，使用基于开销的多目标覆盖信息作为排序的适应函数，所述多目标覆盖信息是指一个测试用例对于每一个覆盖目标的满足情况的加权总和，开销指执行一个测试用例所需的代价，适应函数为衡量一个测试用例在单位开销下的覆盖程度的量化标准，每一个测试用例基于其覆盖和开销具有对应的适应函数值，使用额外贪心算法根据每个测试用例的适应函数值对测试用例集中的测试用例进行排序，根据排序执行测试用例，具体为：

2.根据权利要求1所述的面向动态Web应用的多目标测试用例优先级测试方法，其特征是在所述额外贪心算法中，适应函数值的计算为：已选测试用例对各目标覆盖为已知参数，对测试用例集中每一个待选测试用例，计算每个目标下每个待选测试用例与已选测试用例相比额外的覆盖率，将待选测试用例每个目标的额外覆盖率加权求和并除以它的开销，获得每个待选测试用例适应函数值。

3.根据权利要求1或2所述的面向动态Web应用的多目标测试用例优先级测试方法，其特征是设定的测试用例选择数目为所有待选测试用例总数的三分之一。