CN1938690B

CN1938690B - 将自动测试脚本持续转换成抽象测试用例表示的方法和系统

Info

Publication number: CN1938690B
Application number: CN2005800064163A
Authority: CN
Inventors: 约翰·兰道尔·维斯特; 萨希施·K.·M.·戈皮纳兰内尔; 安德鲁·海安-查尔·金
Original assignee: Symphony Services Corp
Current assignee: Harman Connected Services Inc
Priority date: 2004-01-13
Filing date: 2005-01-06
Publication date: 2010-07-07
Anticipated expiration: 2025-01-06
Also published as: CA2553441A1; US20050160322A1; US7581212B2; EP1709539A2; JP2007519105A; CN1938690A; WO2005071543A3; IL176821A0; WO2005071543A2

Abstract

本发明提供一种使用语义分析的一般技术，其可以用于将从通常可用或专有测试自动工具产生的特定自动测试脚本(及其底层的测试用例)转换成抽象测试用例表示。抽象测试用例表示基于包括应用状态(状态信息)、外部指令序列(控制流信息)和输入数据的测试用例表示模型。抽象表示本质上提供测试用例的平台独立表示。应用对象模型提供捕获测试下应用的结构和行为性质所需的表示能力。抽象测试用例表示可以相对于来自应用元数据仓库的特定对象信息而确认并进一步由该信息丰富。最后，对象信息和输入数据可以与控制流信息分离以提供测试脚本的自动参数确定。

Description

将自动测试脚本持续转换成抽象测试用例表示的方法和系统

技术领域

本发明一般地涉及管理测试用例的方法和系统，尤其涉及转换已转换成抽象表示的测试用例的方法和系统。

背景技术

在暴露程序缺陷方面提供足够覆盖和效力的适当测试用例的创建和维护是一项非常有挑战性且资源密集的活动。测试用例管理的当前方法不保证测试用例的可重用性和可维护性。这导致从一个版本到另一个版本、从一种环境到另一种环境以及从一种平台到另一种平台测试用例创建的重复周期。

测试用例创建的当前方法是以多种编程语言中一种手工编程或使用记录/回放系统记录测试用例。在两种方法中，测试用例作为已知为测试脚本的编程语言语句序列创建和管理。这些测试脚本然后通过将它们看作存储磁盘上的文件的一组实用程序管理。

这样管理测试用例的一个缺点在于它们依赖于目标执行环境。不同测试执行环境支持不同的脚本语言并且相同的操作在这些环境中将由不同的语句表示。如果企业软件公司决定改变测试执行环境，所有他们的测试用例不得不在新的环境中重新创建。

考虑到这种努力所需的基本投资，许多软件开发组织将依赖于单个厂商的测试执行环境。另外，在用户化环境中测试企业应用也表现出一种挑战。大多数企业应用基本上在它们客户环境中用户化。相对于一套标准测试程序测试应用可以保证应用没有以不期望的方式更改。假设这种测试用例可以减少这种应用在客户场所的首次展示时间以及提高现场支持活动的效率。客户不能支持与软件供应商相同的测试执行环境使这变得不可能。

企业应用需要跨越大量平台的测试。这些平台涉及彼此配合的操作系统、数据库系统和其他应用的技术堆栈。为了有效管理测试用例，脚本将不依赖于任何特定平台。

几乎所有企业应用都支持国际化和地方化，相同的测试可以使用不同语言和不同地区格式的数据集执行是重要的。为了实现这一点，数据集必须与测试场景分离。当测试用例作为脚本管理时，这需要一个人手工确定脚本的参数。这又涉及高等技工的基本投资。

如前一段落描述的确定参数的测试用例也需要保证足够的覆盖。相同的测试场景必须以不同的数据集、不同的边界条件值例如执行以保证系统的正常机能。

当企业应用从一个版本迁移至下一个时，甚至细小改变例如用户界面的布局改变可能导致测试用例的改变。使用脚本的测试用例表示中抽象的缺乏基本上降低测试用例的可重用性而增加维护成本。

所有企业应用都具有在许多不同上下文中重复的功能性。以模块化方式创建测试用例的能力提高其可重用性。针对相同功能性的测试用例可以在使用相同功能性的测试场景中重复使用。大多数脚本编辑环境通过过程支持提供模块化。这种过程抽象局限于它们的能力，因为测试用例不仅包括过程抽象而且包括数据抽象。设计测试用例管理系统中的适当抽象使得测试用例可以模块化方式建立并有效且有力地重新组合。

需要将自动测试脚本转换成抽象测试用例表示的改进系统和方法。

发明内容

因此，本发明的一个目的在于提供将特定自动测试脚本转换成抽象测试用例表示的方法和系统。

本发明的另一个目的在于提供使用语义分析的方法和系统，用于将从通常可用或专有测试自动工具产生的特定自动测试脚本(及其底层的测试用例)转换成抽象测试用例表示。

本发明的另一个目的在于提供将特定自动测试脚本转换成抽象测试用例表示的方法和系统，其中抽象测试用例表示基于包括应用状态(状态信息)、外部交互序列(控制流信息)和输入数据的测试用例表示模型。

本发明的再一个目的在于提供将特定自动测试脚本转换成抽象测试用例表示的方法和系统，抽象表示提供测试用例的平台独立表示。

本发明的又一个目的在于提供将特定自动测试脚本转换成抽象测试用例表示的方法和系统，其中抽象测试用例表示基于提供捕获测试下应用的结构和行为性质所需的表示能力的测试用例表示模型。

本发明的另一个目的在于提供将特定自动测试脚本转换成抽象测试用例表示的方法和系统，并且抽象测试用例表示相对于来自应用元数据仓库的特定对象信息而确认并且由该信息丰富。

本发明的另一个目的在于提供将特定自动测试脚本转换成抽象测试用例表示的方法和系统，其中对象信息和输入数据与控制流信息分离以提供测试脚本的自动参数确定。

本发明的这些和其他目的在转换测试用例的方法中实现，其导入以一种或多种脚本语言编写的测试用例。测试用例转换成包括应用状态、外部交互序列和输入数据的抽象表示。测试用例的抽象表示存储在数据库系统中。

在本发明另一种实施方案中，转换测试用例的系统包括导入以一种或多种脚本语言编写的测试用例的处理器。提供用于将测试用例转换成包括应用状态、外部交互序列和输入数据的抽象表示的逻辑；以及存储测试用例的抽象表示的数据库。

在本发明另一种实施方案中，计算机系统包括连接到存储器的处理器。存储器存储可由处理器执行的、用于将测试用例转换成包括应用状态、外部交互序列和输入数据的抽象表示的程序指令。数据库存储测试用例的抽象表示。

在本发明另一种实施方案中，载体介质包括将测试用例转换成包括应用状态、外部交互序列和输入数据的抽象表示的程序指令。数据库存储测试用例的抽象表示的程序指令。

为了实现本发明，提供了一种将测试用例转换成抽象表示的方法，包括：导入以一种或多种脚本语言编写的测试用例；分析导入的测试用例的脚本的语法，其中语法分析产生抽象语法树形式的分析树；使用语义分析将导入的测试用例转换成抽象表示，其中所述语义分析基于应用对象模型将抽象语法树转换为测试用例的抽象表示，所述抽象表示包括应用状态、外部交互序列和输入数据，其中每个应用状态表示应用在定义外部交互上下文的测试下的运行时间快照并且包括一组应用对象、其属性和属性值，外部交互序列表示由外部代理在应用对象上调用的事件，所述输入数据包括与所述事件相对应的数据；以及将所述测试用例的所述抽象表示存储到数据库系统中。

为了实现本发明，提供了一种用于将测试用例转换成抽象表示的系统，包括：用于导入以一种或多种脚本语言编写的测试用例的装置；用于分析导入的测试用例的脚本的语法的装置，其中语法分析产生抽象语法树形式的分析树；用于使用语义分析将导入的测试用例转换成抽象表示的装置，其中所述语义分析基于应用对象模型将抽象语法树转换为测试用例的抽象表示，所述抽象表示包括应用状态、外部交互序列和输入数据，其中每个应用状态表示应用在定义外部交互上下文的测试下的运行时间快照并且包括一组应用对象、其属性和属性值，外部交互序列表示由外部代理在应用对象上调用的事件，并且所述输入数据包括与所述事件相对应的数据；以及用于将所述测试用例的所述抽象表示存储到数据库系统中的装置。

附图说明

图1是说明本发明的测试用例转换实施方案的一种实施方案的示意图。

图2是说明图1实施方案的一般流程图。

图3是说明在本发明一种实施方案中使用的应用状态和交互表示的关系的示意图。

图4是说明以本发明的方式使用的测试用例导入的一种实施方案的示意图。

图5是说明以本发明的方式使用的导入处理的一种实施方案的流程图。

图6是说明可以本发明一种实施方案的方式使用的应用对象模型的示意图。

图7是说明可以本发明的方式使用的语义分析的一种实施方案的流程图。

图8是说明可以用来实现本发明的图1测试用例转换实施方案的计算机系统的示意图。

图9是说明本发明测试用例转换实施方案的一种实施方案的示意图。

图10是说明使用组成、抽象形式和确认的本发明测试用例转换实施方案的一种实施方案的示意图。

图11是说明可以用来实现图9和10测试转换实施方案的计算机系统的示意图。

具体实施方式

参考图1和2，本发明的一种实施方案是转换测试用例的系统10和方法。导入以一种或多种脚本语言编写的测试用例12。测试用例12然后转换成抽象表示14，其包括一种或多种应用状态16、外部交互序列18和输入数据20。抽象表示14存储在数据库系统22中。多种不同的数据库系统22可以使用，包括但不局限于，关系数据库管理系统、XML数据库管理系统等。

应用状态16表示应用在定义外部交互上下文的测试下的运行时间快照。在一种实施方案中，如图3所示，应用状态16是一组应用对象24，例如网页或窗口控制或账户对象等。每个应用对象24与一组属性26及其值相关联。例如，网页可以具有称作url的属性26，其包含与当前网页相对应的统一资源定位器(URL)，以及称作标题的属性26，其包含当前网页的标题。在一种实施方案中，该组应用状态16在测试用例12中表示并且以分层方式排列。

使用的脚本语言可以是用于记录或编辑测试用例的类型化或未类型化编程语言。外部交互序列18可以表示由外部代理28在应用对象24上调用的事件。外部代理28可以是人工代理或其他软件代理。交互序列可以包括捕获顺序、并发、循环、条件交互等的流控制结构32。

如图4所示，在一种实施方案中，语法分析34可以为引入的脚本而实现。语法分析器34可以为每种脚本语言实现一个。语法分析器34可以利用在扩展巴科斯诺尔范式(EBNF)中指定的语法分析规则36。语法分析可以产生抽象语法树(AST)38形式的分析树。使用本发明处理脚本的方法的一种实施方案在图5流程图中说明。

在一种实施方案中，实现基于应用对象模型(AOM)44将AST 38转换成抽象测试用例表示42的语义分析40。语义分析40将表示为AST 38的测试用例分解为应用状态16、外部交互序列和输入数据。

如图6所示，AOM 44可以是在测试下模拟应用的元数据表示。元数据表示的组成部分包括，但不局限于，应用对象24的应用对象类型定义48，每个应用对象24类型的属性定义50，由每个应用对象24类型支持的方法和事件52的定义，事件52在应用状态16上效果的定义等。使用本发明执行语义分析的方法的一种实施方案在图7流程图中说明。

应用对象类型定义48可以包括每个应用对象24类型的另外分类，并且可以是(i)分层，(ii)容器和(iii)简单(simple)。分层对象类型与其自己的应用状态16相关联。可以包含其他对象实例的应用对象类型16是容器型。例如，网页可以由分层对象类型表示且网页中的表格由容器型表示。页面中的标签由简单对象类型表示。与分层应用对象类型16相关联的状态是模态应用状态或非模态应用状态。模态应用状态限制对当前应用状态16中可用的应用对象24实例的可能交互。对话窗口例如将所有用户交互限制于当前对话窗口。

事件52在应用状态16上的效果捕获事件52对应用状态16的一个或多个结果。事件52的结果可以是给定类型对象实例的创建、对象类型实例的删除、该类型现有对象属性的修改、对象类型实例的选择等。

分层对象类型的创建或选择可以导致新的应用状态16的形成，与该对象类型相关联的应用状态16的选择等。

在另一种实施方案中，测试用例12的抽象表示14使用来自应用元数据仓库54的信息丰富。测试用例12的抽象表示14可以通过提取与在引入的测试脚本中缺少的测试用例12相关联的应用对象24的那些属性26的值来丰富。测试用例12的丰富可以分离测试用例12及其记录或编辑环境等，并且允许在应用元数据表示54中固定的属性26的使用。例如，应用元数据仓库54中的识别字段56可以用来识别给定对象24，代替依赖语言的显示标签。这提高测试用例12的可重用性。因为不同的测试执行环境可以使用不同的属性26来识别相同的应用对象16，这种分离提供平台独立性。

在一种实施方案中，应用对象属性26和输入数据与外部交互序列分离以提供自动参数确定。通过自动分离数据和测试用例场景，系统10极大地减少确定脚本参数所涉及的手工劳动。使用应用对象模型，与每个事件52相关联的输入数据与场景定义分离。应用相同的处理以存储对象属性26。输入数据定义形成为场景中涉及的事件52而驱动的嵌套表格数据类型定义，以及应用对象模型中的对象事件定义。这允许匹配该定义的任何数据集应用于同一组场景。

在本发明另一种实施方案中，如图8所示，计算机系统110包括连接到存储器114的处理器112。存储器114存储可由处理器112执行的程序指令116，用于将测试用例转换成包括应用状态、外部交互序列和输入数据的抽象表示。数据库116存储测试用例的抽象表示。语法分析器118可以为引入的脚本而包括。语法分析器118产生抽象语法树(AST)120形式的分析树。

逻辑122提供以实现语义分析并且基于应用对象模型(AOM)将AST 120转换成抽象测试用例表示122。逻辑124使用来自应用元数据仓库126的信息丰富抽象测试用例表示。逻辑126将应用对象属性和输入数据与外部交互序列分离以提供自动参数确定。

在本发明另一种实施方案中，如图9和10所示，提供产生测试用例212的方法和系统210。测试用例212从包括应用状态216、外部交互序列218和来自数据存储222的测试用例的输入数据220的抽象表示214中产生。测试用例212产生，然后被确认。测试用例212转换成测试脚本224。多种数据存储222可以使用，包括但不局限于，关系数据库管理系统、XML数据库管理系统、文件系统等。

应当理解，应用状态216可以与应用状态26相同。

在一种实施方案中，规则226为测试用例定义的组成部分，也就是应用状态216、外部交互序列218和输入数据220的选择而提供，像数据驱动测试用例产生的规则228一样。选择规则226可以使用查询语言来指定，包括但不局限于，SQL、Xquery、从以编程语言编写的代码中调用的API等。查询语言的使用允许测试用例从现场客户数据产生。

在本发明一种实施方案中，测试用例212的产生包括如测试用例212的输入数据集222指示地组成测试用例212。多个数据集230可以为测试用例212的输入数据集220的至少一部分或全部提供。这导致多个测试用例212或在每个数据集230的循环控制结构中重复的外部交互序列的产生。对于输入数据220的一部分，多个数据集230的使用导致与在循环控制结构例如“while”循环中重复的输入数据的该部分相对应的交互序列。

在一种实施方案中，输入数据220的每个元素使用数据有效性标记232标记为有效或无效。输入数据220中有效性标记232的存在，其不同于当记录或编辑测试用例212时与输入数据220相对应的有效性标记，导致包括异常处理的适当交互序列的产生步骤。例如，存储在抽象表示214中的测试用例可以具有当提供有效输入数据集220时的正常交互序列218。抽象表示也可以包含在异常条件例如无效数据进入的情况下遵循的交互序列218。当从该抽象表示以及无效输入数据产生测试用例212的产生器将创建包括异常情况的交互序列218而不是正常交互交互序列的测试用例。

产生的测试用例212可以相对于外部应用元数据仓库238而确认。确认行为可以通过另外的确认规则240来控制。

测试用例212从内部表示到脚本语言的转换可以通过平台相关映射234。平台相关映射包括语言映射和其他环境映射。使用的语言映射可以将作为关于应用对象的事件而捕获的外部交互218映射成脚本语言236的适当语句。不止一种语言映射可以同时提供。这允许多种测试执行环境的测试脚本的产生。另外的环境映射提供以支持另外的平台独立性。例如，如果测试下的应用使用第三方报表书写程序，测试用例可以使用一般报表书写程序对象表示，并且特定报表书写程序的映射可以通过环境映射而提供。这一级别的支持可以延伸到任何级别的底层平台。

在本发明另一种实施方案中，如图11所示，提供有计算机系统310，其包括处理器312和连接到处理器310的存储器314。存储器314存储测试用例316从抽象表示318的基于规则的产生。抽象表示318包括应用状态、外部交互序列以及来自数据存储的测试用例的输入数据以产生测试用例。逻辑320确认测试用例。逻辑322为将测试用例转换成测试脚本而提供。

逻辑320规定测试用例定义的组成部分，也就是应用状态、外部交互序列和输入数据彼此以及与应用对象模型一致。逻辑320可以是外部确认逻辑。外部确认逻辑可以包括相对于应用元数据仓库确认产生的测试用例的步骤。

计算机系统310也可以包括提供测试用例定义的组成部分，也就是应用状态、外部交互序列和输入数据的选择规则；数据驱动测试用例产生的规则的逻辑324。计算机系统310也可以包括提供数据驱动测试用例产生的逻辑326。逻辑326可以如输入数据指示地组成测试用例。

虽然本发明的实施方案已经说明和描述，这些实施方案并不打算说明和描述本发明的全部可能形式。相反地，在本说明书中使用的文字是描述而不是限制的文字，并且应当理解，可以进行各种改变而不背离本发明的本质和范围。

Claims

1.一种将测试用例转换成抽象表示的方法，包括：

导入以一种或多种脚本语言编写的测试用例；

分析导入的测试用例的脚本的语法，其中语法分析产生抽象语法树形式的分析树；

使用语义分析将导入的测试用例转换成抽象表示，其中所述语义分析基于应用对象模型将抽象语法树转换为测试用例的抽象表示，所述抽象表示包括应用状态、外部交互序列和输入数据，其中每个应用状态表示应用在定义外部交互上下文的测试下的运行时间快照并且包括一组应用对象、其属性和属性值，外部交互序列表示由外部代理在应用对象上调用的事件，所述输入数据包括与所述事件相对应的数据；以及

将所述测试用例的所述抽象表示存储到数据库系统中。

2.根据权利要求1的方法，其中与测试用例相对应的应用状态以分层方式排列。

3.根据权利要求1的方法，其中数据库系统是关系数据库管理系统。

4.根据权利要求1的方法，其中数据库系统是XML数据库管理系统。

5.根据权利要求1的方法，其中脚本语言是用于记录或编辑测试用例的类型化或未类型化编程语言。

6.根据权利要求1的方法，其中外部代理是人工代理或软件代理。

7.根据权利要求1的方法，其中交互序列包括捕获顺序、并发、循环和条件交互的流控制结构。

8.根据权利要求1的方法，其中为每种脚本语言实现一个用于分析脚本的语法分析器。

9.根据权利要求8的方法，其中语法分析器利用在扩展巴科斯诺尔范式中指定的语法分析规则。

10.根据权利要求1的方法，其中语义分析将表示为抽象语法树的测试用例分解为应用状态、外部交互序列和输入数据。

11.根据权利要求1的方法，其中应用对象模型是在测试下模拟应用的元数据表示。

12.根据权利要求11的方法，其中元数据表示包括应用对象的对象类型定义。

13.根据权利要求11的方法，其中元数据表示包括每个应用对象类型的属性定义。

14.根据权利要求11的方法，其中元数据表示包括由每个应用对象类型支持的方法和事件的定义。

15.根据权利要求11的方法，其中元数据表示包括事件在应用状态上的效果的定义。

16.根据权利要求12的方法，其中应用对象类型定义包括每个应用对象类型到分层、容器和简单类型的分类。

17.根据权利要求16的方法，其中分层应用对象类型与其自己的应用状态相关联；其中可以包含其他对象实例的应用对象类型称为容器型。

18.根据权利要求17的方法，其中与分层应用对象类型相关联的状态是模态应用状态或非模态应用状态。

19.根据权利要求18的方法，其中模态应用状态限制对当前应用状态中可用的应用对象实例的可能交互。

20.根据权利要求16的方法，其中事件在应用状态上的效果是捕获事件对应用状态的一个或多个结果。

21.根据权利要求20的方法，其中事件的结果选自给定类型的新的对象实例的创建、给定类型的对象实例的删除、现有对象实例属性的修改以及对象类型实例的选择。

22.根据权利要求21的方法，其中分层类型的对象的新实例的创建导致新的应用状态的创建。

23.根据权利要求21的方法，其中分层类型的对象实例的选择导致与该对象实例相关联的应用状态的选择。

24.根据权利要求1的方法，还包括：

使用来自应用元数据仓库的信息丰富测试用例的抽象表示。

25.根据权利要求24的方法，其中测试用例的抽象表示的丰富包括：提取与在引入的测试脚本中缺少的测试用例相关联的应用对象的属性的值。

26.根据权利要求24的方法，其中丰富测试用例的抽象表示包括分离测试用例及其记录或编辑环境。

27.根据权利要求24的方法，其中丰富测试用例的抽象表示允许在应用元数据表示中固定的属性的使用。

28.根据权利要求27的方法，包括：使用应用元数据仓库中给定对象的识别字段来提高测试用例的可重用性，代替使用用来表示可以基于应用的场所改变的用户接口中相同对象的标签。

29.根据权利要求27的方法，包括：使用识别字段来识别不同测试执行环境中的给定应用对象，其中所述不同测试执行环境使用不同属性来识别相同的应用对象。

30.根据权利要求29的方法，其中丰富测试用例的抽象表示允许测试执行环境独立的测试用例的表示。

31.根据权利要求1的方法，还包括：

将应用对象属性和输入数据从外部交互序列中分离以提供自动参数确定。

32.一种用于将测试用例转换成抽象表示的系统，包括：

用于导入以一种或多种脚本语言编写的测试用例的装置；

用于分析导入的测试用例的脚本的语法的装置，其中语法分析产生抽象语法树形式的分析树；

用于使用语义分析将导入的测试用例转换成抽象表示的装置，其中所述语义分析基于应用对象模型将抽象语法树转换为测试用例的抽象表示，所述抽象表示包括应用状态、外部交互序列和输入数据，其中每个应用状态表示应用在定义外部交互上下文的测试下的运行时间快照并且包括一组应用对象、其属性和属性值，外部交互序列表示由外部代理在应用对象上调用的事件，并且所述输入数据包括与所述事件相对应的数据；以及

用于将所述测试用例的所述抽象表示存储到数据库系统中的装置。

33.根据权利要求32的系统，还包括：

用于选择分层类型的对象实例以导致与该对象实例相关联的应用状态的选择的装置。

34.根据权利要求32的系统，还包括：

用于丰富测试用例的抽象表示以允许测试执行环境独立的测试用例的表示的装置。

35.根据权利要求32的系统，还包括：

用于将应用对象属性和输入数据从外部交互序列中分离以提供自动参数确定的装置。