CN107544906B

CN107544906B - 一种基于内容非敏感性DOM骨架等价判定的Web自动化测试方法

Info

Publication number: CN107544906B
Application number: CN201710798531.3A
Authority: CN
Inventors: 杨瑞; 蔡虹
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-09-07
Filing date: 2017-09-07
Publication date: 2020-12-25
Anticipated expiration: 2037-09-07
Also published as: CN107544906A

Abstract

一种基于内容非敏感性DOM骨架(Content‑Insensitive DOM Skeleton)等价判定的Web自动化测试方法，利用基于内容非敏感性DOM骨架(Content‑Insensitive DOM Skeleton)的相似度判定方法，以此来减少页面内容和子结构（sub‑structure）对页面等价性判断带来的负面影响。并将该判定方法在全局和本地两个层次上运用于Crawling‑based自动化测试框架，分析并挖掘动态Web页面之间的行为关系，动态生成描述系统行为的状态模型和测试用例。该发明能够极大的减少Web测试中模型的规模、测试用例的数量以及测试的时间代价，避免测试死循环，提高测试的效率和有效性。

Description

一种基于内容非敏感性DOM骨架等价判定的Web自动化测试方法

1.技术领域

本发明属于软件测试技术领域，尤其是Web测试技术领域，提出基于Content-Insensitive DOM Skeleton的相似度度量方法来判定页面或状态等价性，尽量避免阻碍Web自动化测试实施的负面因素，并在全局和本地两个层次上将该方法运用于Crawling-based的测试框架中实现完整的Web应用自动化测试。

2.背景技术

随着软件技术的不断发展和推进，软件系统在社会各个领域中起着越来越重要的作用。计算机软件规模的不断增长，使得软件质量问题逐渐成为制约计算机发展和应用的瓶颈之一。作为软件生命周期过程中的一个重要环节，软件测试对于保证和提高软件产品的质量起着不可替代的重要作用。

随着互联网技术的快速发展，基于Web的应用变的非常普及，功能也变的越来越强大。与传统应用相比，Web应用更加的灵活，用户不需要安装客户端，软件的更新发布以及使用更加的快速方便。然而Web应用的技术多样性、异构性、快速更新以及分布式等特点也给测试带来了巨大的挑战。这些特性使得传统的测试方法不能直接使用在动态Web应用的测试中。因此，迫切需要对传统测试方法进行改进或提出新的Web应用测试方法并实现测试的自动化。研究针对Web特点的测试用例生成方法具有及其重要的意义。

实现自动化Web测试的一种典型方法是基于动态爬取(Crawling-based)的方法。在此过程中动态的生成软件的行为模型和测试用例，也可以在模型的基础上自动化生成新的测试用例。目前，针对Web测试的自动化建模方法主要分为基于状态的建模方法(State-based)和基于导航(Navigation-based)的建模方法。

两种建模方法目的都是为了更好的描述Web页面、组件之间的变迁关系，为测试用例和测试预言的生成提供很好的辅助。但由于Web应用，尤其是数据驱动的Web应用会动态的产生不计其数的页面，在自动化测试和建模过程中这会导致状态或页面的爆炸问题，即使是一个较小的应用也存在巨大的建模空间。因此，如何恰当的判定两个网页或状态的等价性并以此为基础减少模型的大小和测试用例的数量就成了动态Web测试中最关键的问题之一。

目前已经有一些关于在测试环境下判定页面或状态是否等价的方法，但是这些方法仍然存在一些弱点，不能够适应数据驱动的Web应用。通过我们的分析发现，主要是由于在数据驱动的Web应用存在着一些影响自动化测试的深层次负面因素。

首先就是网页内容对测试的影响。和传统的基于搜索引擎的爬取技术不同，在测试环境下，网页的内容反而会对自动化测试带来负面影响。这是由于Web应用中一组服务端代码通常会从数据库中取得相关数据，并生成HTML源文件传输到客户端浏览器进行显示。本质上这些页面都是由服务端有限的程序脚本在运行过程中结合数据库中的数据动态生成的。数据库中的数据越多，客户端产生的动态页面也就越多，典型的例子如News System。这些由一组相同的服务端程序代码生成的页面一般具有相同的网页框架和不同的页面内容。为了减少测试代价，这些具有相同框架、不同内容的页面可以认为是等价的，只需要测试指定的次数。如果不能正确的判定这些页面或状态的相似性，测试代价就会极大的增加。

另外一个影响Web自动化测试的因素是许多页面中存在着数量不等的子结构。这是由于服务端的一组程序代码在生成客户端页面时还通常会利用循环来填充子框架结构(sub –structure)和内容到客户端页面中。生成的子结构数量依赖于循环运行的次数。典型的例子包括BBS、E-Commerce System等。如果不能消除这些子结构对页面或状态等价判定的影响，也会极大的阻碍Web自动化测试的进行。

此外，由于在Web应用运行过程中用户或测试程序与系统的交互行为也会动态生成新的页面，而新的页面中也可能存在新的可交互组件，这就可能导致对Web应用系统的自动化测试会不断产生新的页面导致整个测试无法停止。其根本原因也是由于不子结构对测试带来的负面影响。

目前的国内外研究还不能消除以上因素对自动化测试的影响，针对以上问题，我们发明了基于Content-Insensitive DOM Skeleton相似度判定方法，并将其运行到Crawling-based Web 应用自动化测试中，有效的减少了页面内容和子结构(sub-structure)对自动化测试带来的影响，在保证测试覆盖的前提下，极大的减少了模型的规模和测试用例的数量，并能够避免现有方法在一些应用测试中陷入循环无法正常退出的情况，极大的提高了测试的效率。该方法时间效率上也占有优势。

3.发明内容

本发明要解决的问题是：在Web自动化测试中，减少页面内容和子结构(sub-structure) 对页面等价性判断带来的负面影响，并将该判定方法在全局和本地两个层次上运用于 Crawling-based自动化测试过程，极大的减少模型规模、测试用例的数量和运行时间，避免测试死循环，有效提高测试的效率和有效性。

本发明的技术方案为：

以Web页面爬取技术和动态分析技术为基础，结基于Content-Insensitive DOMSkeleton 的相似度判定方法，分析并挖掘动态Web页面之间的行为关系，动态生成描述系统行为的有限状态机模型和测试用例，实现Web应用的自动化测试。总体过程如下：

S1.设定测试配置并加载动态Web测试运行环境，载入指定起始测试页面，并获取起始页面的Content-Insensitive DOM Skeleton，并起始页面加入模型，并将起始页面作为当前页面。

S2.获取当前网页中的可点击元素(事件)，利用深度或广度优先算法，驱动事件运行，动态载入新的页面，并获取新页面的Content-Insensitive DOM Skeleton。

S3.利用Mongue-Elkan比较方法对相邻页面的Content-Insensitive DOMSkeleton进行本地比较，判定等价性，若不等价，则回退到前一页面；若等价，则将新页面对应的状态和模型中已有的状态进行全局比较，若模型中没有页面与新页面等价，则将新页面加入模型中，记录相关行为并生成测试用例，并将新页面设置为系统当前页面；否则回退到前一页面。

S4.S2-S3进行迭代直到停止。

本发明的特点在于：

(1)首次提出了Content-Insensitive DOM Skeleton概念，并将其运用与页面和状态相似度分析中，有效消除内容对Web自动化测试中动态建模和测试用例生成的负面影响。

(2)利用自然语言中处理中的特殊文本相似度方法消除子结构(sub-structure)对Web自动化测试的负面影响。

(3)与现有一些方法相比，该方法具有良好的时间运行效率，能够极大的减小模型和测试用例的规模并保持相似的覆盖率，在某些应用中覆盖率甚至有所超越。

4.附图说明

图1为本发明的实施流程图。

图2为本发明与已有方法实施后达到的文件覆盖数量比较。

5.具体实施方式

本发明的总体实施流程图如图1所示，该方法Crawling-based方法作为Web自动化测试框架，在此过程中动态抽取Web页面的Content-Insensitive DOM Skeleton，并利用基于Token 的Mongue-Elkan文本相似度方法对页面间的Content-Insensitive DOMSkeleton进行页面等价性判定，尽量消除页面内容和子结构对自动化测试带来的不利影响。

在整体框架中，判断页面是否等价主要基于Content-Insensitive DOM Skeleton的页面等价性判定方法。本发明的主要技术包括以下步骤：

(1)动态页面载入。

该过程在测试运行中利用Selenium调用系统中的浏览器生成测试程序本身的浏览器线程，以此获取当前页面的HTML代码，并通过分析HTML代码中的可点击元素(事件)，并可以利用Selenium驱动获取的事件，实现基于Crawling-based Web自动化测试。

(2)Content-Insensitive DOM Skeleton获取

我们首先给HTML DOM的基本概念。HTML DOM(Document Object Model，DOM)是W3C推荐的处理HTML语言的标准编程接口。HTML文档结点的对象被组织在一个树形结构中，用来表示文档中对象的标准模型就称为DOM。因此，HTML文档中的所有内容都可以看成是一个嵌套的结点。HTML整个文档可以一个文档结点，每个HTML元素是元素节点，元素内的Text、Attribute、Annotation等也可以看成结点。因此，HTML DOM将HTML 文档视作树结构，称之为DOM树。下面我们给出Content-Insensitive DOM Skeleton定义。

定义1.N＝(r,n_i)为DOM树,其中r为根元素,n_i为N的子DOM树，r为n_i的父节点。 i＝1,2,...t，t≥0。

定义2.若存在DOM树N＝(r,n_i),如果

其中c是r中的文本结点，若将r中c去除，可得N’＝(r’,n_i’),则N’为Content-Insensitive DOM Skeleton。

本发明获取Web页面的Content-Insensitive DOM Skeleton方法的主要步骤如下：

I.通过动态载入方法获取页面的HTML源码，并对源码进行预处理，修复HTML源码不规范元素。

II.对HTML源码进行解析，生成DOM树。

III.利用递归方法对DOM树进行遍历，分析结点的类型,Id、TagName，若结点元素类型为Text，则将该节点从DOM树中删除，保留Id、TagName、Attribute和Annotation等元素。

IV.递归遍历不含Text的DOM树，将遍历的元素连接生成文本字符串，各结点元素间需要以空格分隔，作为Web页面的Content-Insensitive DOM Skeleton。

(3)Content-Insensitive DOM Skeleton等价性判定

在获得Content-Insensitive DOM Skeleton之后，还需要判定两个Content-Insensitive DOM Skeleton之间的等价性。由于Content-Insensitive DOM Skeleton中可能存在若干个数量不等的子结构，而且这些子结构(sub-structure)在页面中没有相应的模式和规律。因此需要采用特殊方法来消除子结构(sub-structure)对等价性判定的影响。本发明使用了自然语言处理中基于 Token的Mongue-Elkan度量方法，Mongue-Elkan采用了递归匹配方法来将输入文本分割为若干Tokens，然后计算Token间的距离。研究表明Mongue-Elkan度量公式能够有效识别文本中包含的Tokens。该度量策略可以结合其它距离度量方法如编辑距离(edit distance)来判定两个 Tokens之间的相似性。Mongue-Elkan度量公式具体表示如下。

公式(1)中,t₁和t₂分别表示两个输入的文本字符串。|t₁|和|t₂|分别表示两个文本中的Token 数量.t_1i表示文本t₁中第i个Token.类似地,t_2j表示文本t₂中第j个Token.sim'(t_1i,t_2j)则是用来度量两个Token t_1i和t_2j之间相似度的方法。Mongue-Elkan框架采用了灵活的策略，没有具体指定sim'(t_1i,t_2j)的具体方法。在发明中，我们使用了Levenshtein公式来计算两个Token之间的距离。Monge-Elkan公式最终的结果的值在区间[0,1]，值越高则两个文本之间的相似度越高。

为方便理解，我们给出两个具体的例子。

Text1＝"this atest"；

Text2＝"this atest"；

Text1和Text2是两个需要进行相似度比较的文本。可以看出Text1和Text2都包含了非文本子结构(sub-structure)“”.这和包含一定数量子结构的Content-Insensitive DOM Skeleton类似。在上面的例子中Sim_ME(Text1,Text2)＝1.0.

Text3＝"this aaccessexceltest"；

Text4＝"this awordpowerpointflashtest"；

当比较的内容不是Content-Insensitive DOM Skeleton，而是完整的DOM树,Sim_ME(Text3, Text4)＝0.89。从上面的例子可以看出，Content-Insensitive DOM Skeleton结合Monge-Elkan公式可以有效消除Web页面中文本和子结构对(sub-structure)对等价性判定的影响。此外，在应用中还需要指定一个阈值来判定Content-Insensitive DOMSkeleton之间的等价性，建议阈值是0.96至1之间。

(3)Carwling-based Web自动化测试实现

为实现完整的Web自动化测试，还需要将上述方法运用于Carwling-based Web自动化测试框架，具体的框架请参见图1。在本发明中，我们从全局和本地两个层次对页面等价性进行判定。在本地层次，利用以上方法对测试运行中相邻的两个页面进行等价性判定。若是不等价，则还需要在全局层次，将新页面状态和模型中已有的页面状态进行等价性判定，若不等价，则将新页面状态加入模型中。

下面通过具体的实施例子来说明本发明的实施。

我们将本发明应用于7个规模较大的开源PHP应用，分别是WikkaWiki、Phpbb、Openconf、 Phpaacms、Nibble、Opencart和Xblog。我们开发了相关的统计工具和自动化插桩工具来辅助实验分析。其中自动化统计工具来对出了上述开源Web应用特征进行统计。自动化插桩工具对整个应用的PHP源码进行自动化插桩，统计自动化测试过程中源码级覆盖率和PHP文件级覆盖率。表1列出了相关信息。

实验的运行环境为Windows 10 64位操作系统，Intel core i5 4300U CPU,8G内存,256G SSD硬盘。Web服务器软件环境为PHP 5.7+IIS 10.0。数据库服务软件为MySQL6.3。

表1实验对象特征统计信息

其中“#文件”表示该Web应用中包含的文件数量。”#PHP文件”表示该应用中包含的PHP 源代码文件的数量。“#代码行”表示PHP源代码文件所包含的所有代码行的总和。“#类”是 PHP源代码文件所包含的类的数量。“#函数”是PHP源代码文件所包含的函数的总数。“#PHP 插桩文件”表示被自动化工具插桩的PHP文件数量。可以看出有部分PHP文件未被插桩是因为有部分目录或文件在插桩配置中被指定跳过。是因为部分PHP文件如安装目录、Cache 或语言包对统计并没有帮助。

为了更好的对我们的方法进行评估，在实验中我们和自动化测试工具Crawljax中的方法进行了比较。试验中对于测试工具的配置，输入数据除了超级用户和对应的密码外，都采用随机的方式进行输入或点击，自动化测试运行时间上届设定为12小时。由于Web应用的负责性和输入的随机性导致多次测试运行会导致结果上的偏差，为了尽量减小偏差，每次运行后，程序代码中的基本配置和数据库中的数据都会恢复到同一初始状态。即使这样，仍然有部分应用会由于随机输入的问题导致运行结果不能一致。因此，我们对每个应用进行三次测试运行，对于结果不一致的，我们选覆盖最好的一次。运行结果如表2所示。

表2两种方法运行结果比较

表2中，“目标对象”栏为测试工具进行自动化测试的目标对象。表中“EQ-M”表示Crawljax 中的方法，“CIDSS”表示本发明的方法。“#状态”栏下“EQ-M”表示EQ-M方法测试运行后所得模型中状态的数量。“#状态”栏下“CIDSS”表示本发明方法运行后所得模型中的状态数量。“SRR”表示相对于“EQ-M”方法，“CIDSS”方法对模型状态的约简比率。“#测试路径”栏下“EQ-M”和“CIDSS”分别代表两种方法产生的测试路径数量。“TRR”则表示相对于“EQ-M”方法，“CIDSS”方法对测试路径的约简比率。“#行覆盖”栏下“EQ-M”和“CIDSS”分别表示两种方法测试运行后覆盖的代码行总数。“CM”表示对于“EQ-M”方法，“CIDSS”方法代码行覆盖的比率。“运行时间”栏则表示两种方法的运行时间，其中使用“EQ-M”方法测试WikkaWiki和Phpbb时，两个应用陷入了循环而无法正常停止。

从表中可以看出，本发明的方法，对测试产生的模型大小有了大幅度的减小，其中有3 个应用达到了90％以上。5个应用在50％以上。最低的Xblog达最少的25％，这是因为Xblog 是应用中唯一没有使用数据库而使用文件存储数据的应用。该应用的数据驱动特征相对不明显。对于测试路径的约简有四个应用在50％以上。最少的WikkaWiki为3.1％，这是因为在 WikkaWiki中存在大量已有的非数据库驱动生成的页面，所以测试路径相对约简较少。针对 Opencart的测试，“EQ-M”则多次产生溢出崩溃，未能统计测试路径数量。

在覆盖率方面，“CIDSS”基本保持了和“EQ-M”相似的覆盖率，部分应用有轻微降低。 Phpbb中本发明的方法在模型状态和测试路径数量都有大幅度减少的情况下，覆盖率甚至有所超越。可以看出，在三个应用中“CIDSS”的覆盖率保持和“EQ-M”相同或有所超越。只有Opencart为88.3％，其余均为95％以上。

在运行时间方面，除了Openconf，“CIDSS”方法均获胜。更重要的是，“CIDSS”方法有效避免了陷入测试死循环。

因此，本发明的方法在基本保持覆盖不变的情况下，在对模型状态和测试路径做了大幅度的减少，而且时间效率上总体占优，也能够有效避免陷入测试死循环。

为了进一步分析两种方法的覆盖情况，我们还从文件级覆盖角度对两种方法进行了比较。具体结果如图2所示。

图2给出了两种方法在7个Web应用中达到的文件覆盖数量。其中左边的柱状图表示“EQ-M”方法获得的PHP文件覆盖数量；右边的柱状图表示本发明获得的PHP文件覆盖数量。每组柱状图下部数字相同的部分表示在两种方法中都获得覆盖的PHP文件，柱状图的上部表示两种方法获得的不同的文件覆盖数量。从图中可以看出，在大幅度降低模型规模和测试路径的情况下，本发明的方法在4个应用中覆盖了和“EQ-M”方法相同甚至更多的PHP文件。在三个应用中覆盖文件的数量比“EQ-M”方法相对少。也就是说在对测试做大幅度约简的情况下，在文件级别的覆盖本发明的方法还取得了总体上的优势。

因此，从运行评估来看，本发明的方法极大的减少模型规模、测试用例的数量和运行时间，避免测试死循环，能够有效提高测试的效率和有效性。

Claims

1.一种基于内容非敏感性DOM骨架等价判定的Web自动化测试方法，利用基于内容非敏感性DOM骨架的相似度判定方法，以此来减少页面内容和子结构对页面等价性判断带来的负面影响，并将该判定方法在全局和本地两个层次上运用于Crawling-based自动化测试框架，分析并挖掘动态Web页面之间的行为关系，动态生成描述系统行为的状态模型和测试用例；

内容非敏感性DOM骨架定义如下：

定义1 内容非敏感性DOM骨架：将DOM树N记为N＝(r,n_i)，其中r为根元素，n_i为N的子DOM树，r为n_i的父结点，i＝1,2,...t，t≥0；若

c为r中的文本结点，将r中c去除，可得N’＝(r’,n_i’)，则称N’为内容非敏感性DOM骨架；

该方法包括以下步骤：

(1)设定测试配置并加载动态Web测试运行环境，载入指定起始测试页面，并获取起始页面的内容非敏感性DOM骨架，将起始页面加入状态模型，并将起始页面作为当前页面；

(2)获取当前网页中的可点击事件，利用深度或广度优先算法，驱动事件运行，动态载入新的页面，并获取新页面的内容非敏感性DOM骨架；

(3)利用Mongue-Elkan比较方法对相邻页面的内容非敏感性DOM骨架进行本地比较，判定等价性，若不等价，则回退到前一页面；若等价，则将新页面对应的状态和模型中已有的状态进行全局比较，若模型中没有页面与新页面等价，则将新页面加入模型中，记录相关行为并生成测试用例，并将新页面设置为系统当前页面；否则回退到前一页面；

(4)根据步骤(2)-(3)进行迭代直到停止。

2.根据权利要求1中所述的一种基于内容非敏感性DOM骨架等价判定的Web自动化测试方法，步骤(3)是利用步骤(2)获取的页面内容非敏感性DOM骨架进行等价判定，方法是使用Mongue-Elkan度量框架消除页面中存在的子结构对等价判定的影响，度量公式具体表示如下：

公式(1)中,t₁和t₂分别表示两个输入的文本字符串，|t₁|和|t₂|分别表示两个文本中的Token数量， t_1i表示文本t₁中第i个Token，t_2j表示文本t₂中第j个Token，sim'(t_1i,t_2j)是用来度量两个Token t_1i和t_2j之间相似度的方法，使用Levenshtein公式来计算两个Token之间的相似度，公式最终结果的值在区间[0,1]，值越高则两个文本之间的相似度越高。

3.根据权利要求1中所述的一种基于内容非敏感性DOM骨架等价判定的Web自动化测试方法，步骤(3)中等价性判定在全局和本地两个层次上运用于Crawling-based自动化测试过程，本地层次是指动态爬取过程中相邻页面之间的等价性判定，全局层次是指在本地比较的基础上，将判定为新页面或新状态的内容非敏感性DOM骨架与模型存在的全局页面或状态进行等价性判定，本地和全局的比较方法，做选择性组合或调整，对于相似度阈值，推荐取值范围为[0.96,1.0]。