CN1731747A - 自动化测试框架系统及方法 - Google Patents

Abstract

本发明提供一种自动化测试框架系统及其方法，该系统包括逻辑拓扑描述模块，用来描述测试用例所需逻辑设备的属性及其逻辑拓扑关系；物理拓扑描述模块，用来描述测试集所用的物理设备属性及物理拓扑关系；逻辑物理拓扑映射模块，用来完成所述逻辑拓扑模块和物理拓扑模块的映射关系。通过在自动化测试框架系统中引入上述模块，很好的解决了自动化测试系统对物理测试环境的依赖，具有较好的移植性。

Description

自动化测试框架系统及方法

技术领域

本发明涉及一种自动化测试框架系统及方法，特别是涉及一种可移植的自动化框架测试系统及方法。

背景技术

近年来，随着被测试系统复杂度的不断攀升，测试消耗的资料越来越庞大。如何提升测试效率，降低缺陷成本是每个测试人员关心的问题。目前流行的处理方法是：细分测试项，功能性测试由自动化测试来完成，而宝贵的测试人力尽可能投入到难度更大的系统测试中。

测试的过程通常是根据测试例下发配置命令到设备，然后读取设备侧的输出，输出与预期吻合则判定功能正常，否则，功能为异常。

自动化测试则是将上述测试过程完全由系统自动控制完成。测试人员事先根据测试例定制好测试脚本，然后使用自动化测试系统自动将脚本下发到被测设备，并捕获设备侧的输出，通过将输出与固化在脚本中预期结果比较从而得出测试结论。

从自动化测试的原理可看出，自动化测试的主要工作量是花费在测试环境的搭建和测试脚本的编写上。而这两者又是密不可分的，在测试脚本中必然要初始化测试环境，所以一旦环境发生变化，测试脚本都需要修改。由此可见，评价自动化测试系统的优劣主要是看它跨环境的能力。如果环境变了，自动化系统的改动小，我们则认为该系统是高效的。

测试脚本对测试环境的强依赖问题并没有太好的解决方案。一般大公司的做法是：标准化测试环境，即将被测设备细化为几个大的子系统，为每一子系统定制一个自动化测试环境，并固化下来。这样固化的环境至少可以保证较长时间不会变动，从而保证基于该环境开发的脚本也无需变动。这种方案存在很多欠缺：

●仪器设备利用率低，组网不灵活，只适合于大公司专业的自动化测试实验室使用；

●脚本中存在的环境配置语句既降低了程序的可读性，又难以维护；

一旦子系统的功能升级导致环境变更，脚本修改的工作量非常可观；

目前，业界广泛采用的方案是：定义物理环境的初始化文件，完成对物理设备/接口、物理连接的基本配置。为了获得一定的移植性，初始化文件中会将影响移植性的设备配置(如设备接口IP、接口名称等)设置成全局变量，在脚本中直接引用这些变量。如果设备配置发生变化，可以直接修改初始化文件，而使用变量的脚本基本保持不变。

这种方案通过变量置换获得一定的移植性，但仍存在很大的局限：

●未能解决测试脚本与物理环境的捆绑问题；

这种方式对环境的要求提高了，但脚本的灵活性却降低了。测试脚本中使用的设备/链路仍然是固定在物理环境的某些设备和链路上。一旦物理环境发生变化，不光初始化文件要变，脚本必然也要变。

例如，我们在测试三层及以上的协议的时候，并不关心设备间连接的接口类型是什么，封装的二层协议是什么，无论是Ethernet(以太网)、PPP(点对点)、FrameRelay(帧中继)，只要设备间存在一条能互通的链路就可以了。但使用物理环境的初始化文件，接口名称已经写死在文件中，如果文件里设备互连用的接口名称是Ethernet0/0/0，那么不要说运行例如Serial的其他协议，就是以太网口插的槽位不对，脚本都不能运行。

●仪器设备利用率低，组网不灵活

试想一下，脚本1使用了设备A、B和链路A-B，脚本2使用了设备C、D和链路C-D，链路A-B要求两端是以太口，链路C-D没有要求。那么，为了运行这两个脚本，我们需要4台设备，但实际上2台就够了。

●脚本的继承性差，维护工作量大。

发明内容

本发明所要解决的技术问题是提供一种可移植的自动化测试框架系统和方法，能解决测试脚本对具体物理环境较强的依赖性问题。

为此，本发明的一个方面是提供一种可移植的自动化测试系统，该系统包括：

逻辑拓扑描述模块，用来描述测试用例所需逻辑设备的属性及其逻辑拓扑关系；物理拓扑描述模块，用来描述测试集所用的物理设备属性及物理拓扑关系；逻辑物理拓扑映射模块，用来完成所述逻辑拓扑模块和物理拓扑模块的映射关系。

其中所述逻辑拓扑描述模块为逻辑拓扑文件，所述物理拓扑描述模块为测试床文件。

另外，该系统进一步包括：

逻辑拓扑解析模块，用来解析所述逻辑拓扑描述模块的逻辑拓扑描述；

物理拓扑解析模块，用来解析所述物理拓扑描述模块的物理拓扑描述。

进一步的，所述系统还包括：测试集执行模块，用来执行测试集；测试用例护行模块，用来执行测试用例。

本发明的另一目的是提供一种自动化测试方法，包括下列步骤：

解析测试环境的物理拓扑；解析测试用例中所定义的逻辑拓扑；将所述逻辑拓扑映射到所述物理拓扑。

另外，该方法还可以包括下列步骤：

描述测试环境的物理拓扑，形成测试床文件并存储；描述测试用例的逻辑拓扑，形成逻辑拓扑文件并存储。

其中，通过测试床文件解析测试环境的物理拓扑，通过逻辑拓扑文件解析测试用例中的逻辑拓扑。

另外，所述测试床文件可以为多个，分别对应不同的测试物理环境，当改变测试物理环境时，所述物理拓扑解析模块解析相对应的测试床文件。

本发明的另一方面是提供一种自动化测试方法，包括下列步骤：

(1)描述测试物理环境的物理拓扑并存储；

(2)描述测试用例的逻辑拓扑并存储；

(3)读取所述测试用例的测试脚本并解析其所依赖的逻辑拓扑；

(4)读取所述描述测试物理环境的物理拓扑并解析；

(5)映射所述逻辑拓扑到所述物理拓扑；

(6)执行所述测试用例定义的操作。

另外，该方法可以进一步包括下列步骤：

判断测试集是否执行完毕，若未执行完则返回步骤(3)。

由于本发明提供的系统具有测试用例逻辑拓扑描述模块、测试物理环境的物理拓扑描述模块，并且能在测试系统运行时，通过逻辑物理拓扑映射模块实时映射测试用例的逻辑拓扑和测试环境的物理拓扑，从而建立了测试用例及其所用测试环境的对应关系，并进一步执行测试用例。因而就很好的屏蔽了测试用例脚本对测试环境物理设备及其连接关系的依赖。当测试物理环境变化时，只要修改相应的测试环境物理拓扑的描述，即可保留原测试用例脚本无变化便可执行新的测试用例；另外，当测试用例变化时，只要修改相应的测试用例逻辑拓扑描述，即可实现测试脚本的重用，因而减少了测试用例脚本的维护量，并且使得测试系统能够方便快捷的实现测试脚本的移植。

本发明提供的方法中，用物理拓扑解析模块解析测试环境的物理拓扑；用逻辑拓扑解析模块解析测试用例中的逻辑拓扑；用逻辑物理拓扑映射模块映射所述逻辑拓扑到所述物理拓扑。从而也较好的实现了测试脚本的环境适应即可移植性，当测试环境或测试用例变化时，只要做很少量的修改即可完成目的。

通过以下结合附图对本发明所进行的详细描述，本发明的优点将更加清楚。

附图说明

图1是本发明提供的可移植自动化测试系统的分层原理图。

图2是本发明提供的测试用例、逻辑拓扑文件、测试床文件之间的对应关系图。

图3是本发明提供的一个具体实施例中逻辑拓扑、测试床、物理设备之间的映射关系图。

图4是本发明提供的可移植自动化测试框架系统的模块组成图。

图5是本发明提供的可移植自动化测试方法的流程示意图。

具体实施方式

虽然本发明能有多种不同形式的具体实施方式，但以下我们将以网络设备的测试为例结合附图重点阐述本发明的实质精神所在，这并不意味着本发明所应用的具体实例只能局限在特定测试环境中，相反，本领域的普通技术人员会知道，本申请书所提供的具体实施方案只是其中多种有利用法中的一些示例，通常，任何具有依赖于物理环境的测试脚本的系统都将是本发明赖以改进的现有技术。

首先，在本文件中，将使用下列定义：

●测试床文件(TestBed)：对应于真实物理组网环境的描述文件，描述了测试环境中所有设备的特性、访问方法及他们之间的连接信息。

●逻辑拓扑：是某个测试脚本运行所必备的最简环境描述，这个环境是虚拟的。

●逻辑拓扑文件：是测试脚本运行所必备的最简物理环境对应的拓扑结构。是描述逻辑拓扑的文件，其中的设备和接口采用的虚拟的名称。

●测试脚本：是数据通信产品的自动测试的过程实现，主要执行对设备进行发送配置命令、结果检查动作。

●测试集：共享同一测试床(测试环境)的多个测试脚本的集合。

●逻辑拓扑映射：指逻辑设备和接口对应到实际测试环境之中的物理设备和接口，完成用例拓扑和测试床(实际的测试环境)之间的映射。

本发明所提供的可移植自动化测试框架系统的组成概要可以参考图1所示。图1中示出了本发明的一个具体实施例中测试系统的逻辑结构组成。其中，图形用户接口(101)、测试脚本层(102)、物理设备适配层(105)及第三方底层库(106)都是一般常见自动化测试系统所具备的逻辑结构。

其中测试脚本层102可以看作测试系统中测试脚本的集合，记载测试任务要完成的测试用例，比如对于网络协议的测试来说，测试脚本A可以是用来测试以太网协议的测试脚本，测试脚本B可以是用来测试OSPF协议的测试脚本，测试脚本C可以是用来测试ATM协议的测试脚本。当然，这里的举例只是示意性的。

本领域的普通技术人员会知道，物理设备适配层105及第三方(比如测试仪器和设备提供商)底层库106对应着自动化测试系统中的测试床的概念，是实现测试脚本层和测试床物理环境交互的接口。测试床实质意思是完成测试集所需要的测试环境设备的集合。测试床的搭建依赖于测试集要完成的任务，比如上述测试集中所包括的测试脚本A的运行需要1台以太网交换机和1台PC机，测试脚本B的运行需要2台路由器，而测试脚本C的运行需要2台交换机，则可以认为，测试床的组成将是2台交换机、2台路由器和1台PC机。

本领域中熟练的技术人员会知道，以上所阐述测试脚本和测试床的直接交互组合是目前业界中测试系统通常结构，正如背景技术中所阐述的，测试脚本中直接对测试床结构的引用将造成测试脚本难以移植、重用的不可克服的缺陷。

因此，在本发明中，为实现可移植的自动化测试系统，关键一点是使得测试脚本获得可移植性，即必须消除测试脚本对测试床的直接引用。我们发现，影响脚本可移植性的决定性因素是测试脚本中对测试设备的物理属性，例如网络设备的IP地址、接口名称等的直接引用，以及，测试脚本对测试床中物理设备间的连接关系的直接引用。因此，为了达到消除测试脚本对物理测试环境的依赖的目的，我们做了一系列的改进，其核心思想是分层。

继续参考图1，我们在实际组网的物理环境即测试床和测试脚本之间抽象出了逻辑拓扑层103和物理拓扑层104，脚本对物理环境(设备对象、设备端口地址)的引用都使用逻辑变量，而实际物理环境的组成也通过逻辑变量及连接关系来对应，在实际运行中，从逻辑拓扑到实际组网的物理拓扑的映射(设备、链路)由自动化测试系统自动完成。总之，本系统将实际组网的物理拓扑引用从脚本中间接隔离，从根本上解决测试脚本对物理环境的强依赖问题。

由此可以看出，本领域中的普通技术人员会很容易想到上述分层思想的一系列具体的实现。在本发明的一个具体实施方式中，我们通过引入测试床文件(对应物理拓扑层104)、逻辑拓扑文件(对应逻辑拓扑层103)及对测试脚本的编写做相应的改动等一系列的改进来帮助实现上述分层思想的具体实现，并具体通过在系统中引入一系列的模块来动态实现从逻辑拓扑到物理环境的映射，以下将进一步结合附图来具体阐述这些具体实施方式，但不消说，本领域中的熟练技术人员应该知道，凡是具有上述逻辑分层思想的测试系统和方法都是包含在本发明所要求保护的范围之内的。

定义测试床文件

为了支持分层的思想，我们首先用一个文件即测试床文件对测试床的物理拓扑进行了描述。测试床(TestBed)文件是用来描述一套独立的测试环境中所有设备的特性、访问方法及他们之间的连接信息的。多个相互独立的测试环境可以用不同的测试床文件进行描述。测试床文件可以采用多种格式形成，在本发明的一个具体实施例中，采用了Window Initial(.ini)文件的结构，总体结构是先描述每一个设备的信息，再描述连接信息。在实际运行中，利用此文件完成测试用例逻辑拓扑到实际物理拓扑的映射。测试床文件的内容通常由两部分组成：

1、设备描述

设备类型(type)：设备具体型号，从指定的类型列表中选择。

设备接口(interface)：即物理连接设备的端口。

设备名(access-name)：物理设备别名，被设备连接引用。

访问连接(access-line)：即向设备传送命令的连线，设备上的接口。

访问通道(access-channel)：即运行自动化测试系统的终端连接设备的接口。

2、设备间连接定义

语法如下：

链路名，设备名A  设备接口1接口IP/掩码  设备名B  设备接口2  接口IP/掩码。

其中，A、B表示链路两端的设备名。

以上即是本发明的一个具体实施例中，为了支持逻辑分层思想所做的一系列改动，改动后的文件、数据结构是相互对应的。下面结合图2、图3来说明改进后的相关文件、定义和数据结构之间的对应关系。

参考图2，图2示出了本发明的分层思想，即在测试床的物理拓扑结构和测试用例所要应用的逻辑拓扑结构之间构造逻辑拓扑映射，逻辑拓扑映射主要是用于描述一些物理设备与逻辑设备的之间的关系。根据图2，本领域中的普通技术人员可以毫无困难的得知，一个测试床的物理拓扑结构可以映射到多个逻辑拓扑，而一个逻辑拓扑也可以对应到多个测试脚本。反之，一个测试脚本一定对应一个逻辑拓扑，而一个逻辑拓扑一定是一个测试床物理拓扑的子集。

进一步的，图3给出了一个更为具体的例子帮助我们理解上述分层的思想。如图3所示，假设实际网络中存在一条PC与路由器以太网口相连的物理链路，在测试床文件中，该链路被描述成物理设备PC1、RTA间的链路；在逻辑拓朴映射中，逻辑设备HOST、RTA被映射到物理设备PC1、RTA上；逻辑接口toRTA、PORT1被映射到物理接口0000和Ethernet0/0上；在测试脚本中，对物理设备RTA的所有操作都是通过RTA的访问函数来完成。如：路由器的以太网口名称为$intf(RTA，PORT1)，地址为$addr(RTA，PORT1)，PC与路由器相连的接口地址为$addr(HOST，toRTA)”。由上，本领域中的普通技术人员会看出，既然影响移植性的接口地址、掩码等元素不在脚本中直接出现，脚本自然就拥有了可移植性。

定义逻辑拓扑文件

为了解决直接引用测试床的物理拓扑结构从而造成脚本移植的困难，在本发明的一个具体实施例中，测试用例所用的逻辑上的最简测试环境的描述被定义在逻辑拓扑文件中，其说明的是每个测试用例运行所必须具备的拓扑环境，其中的设备和接口采用的虚拟的名称(后面我们称之为逻辑设备和逻辑接口，与最终实际使用的设备名称和接口名称相对应)。使用逻辑设备和逻辑接口名称可以使测试用例脚本的编写与实际物理环境相独立，从而增加了脚本的可移植性和可读性。

进一步的，更准确地说，可以认为逻辑拓扑文件中记载的用例拓扑描述并没有直接指明哪个逻辑设备对应到哪个物理设备，它只是描述了从物理设备、物理链路中筛选所需设备、链路的规则。

在本发明的一个具体实施例中，为了实现用例拓扑的描述，我们定义了一系列的规则来帮助实现，其中最重要的是链路和设备接口的定义，举例来说链路的语法如下：

<TOPOLOGY>“链路名  逻辑设备名A  逻辑接口  逻辑设备名B  逻辑接口”

每条链路用一个<TOPOLOGY>语句进行映射，第一个关键字链路名，余下的关键字则是脚本中描述链路时使用的虚拟设备名和虚拟接口。

设备/接口的语法如下：

<TOPOLOGY>“逻辑设备名设备类型

      逻辑接口名1  接口类型

      ……

      逻辑接口名n  接口类型”

每个设备用一个<TOPOLOGY>语句进行映射，第一行为设备的类型描述，后面每一行为此设备的接口的类型描述。这里的设备类型和接口类型都有标准定义。

脚本编写的改进

为支持上述逻辑分层思想的实现，还需要对脚本编写的规范重新定义。关键的一点就是要屏蔽直接引用物理设备的属性从而造成对脚本难以移植性的干扰，在本发明的一个具体实施例中，我们封装了一系列的函数来访问设备属性，从而排除了其对脚本可移植性的干扰，即：

●物理接口名称：      intf(逻辑设备名称，逻辑接口名称)

●接口IP地址：        addr(逻辑设备名称，逻辑接口名称)

●接口网段地址：      net(逻辑设备名称，逻辑接口名称)

●接口网络掩码：      mask(逻辑设备名称，逻辑接口名称)

●接口网络掩码长度：  masklen(逻辑设备名称，逻辑接口名称)

●接口网络反掩码：    wildcard(逻辑设备名称，逻辑接口名称)

●接口路由：          rtEntry(逻辑设备名称，逻辑接口名称)

●接口有类路由：      class_rtEntry(逻辑设备名称，逻辑接口名称)

以上我们阐述了为了分层思想的实现而作的一系列改进的准备工作。在实际测试过程中，要利用测试床文件、逻辑拓扑文件，并对重新规范的测试脚本来很好的完成测试，还必须实时的解析上述文件并实现逻辑拓扑到物理拓扑的映射，这需要引入相应的模块来完成，在本发明的一个具体实施例中，我们通过改进一般常用的自动化测试系统的功能来实现，下面结合附图1和图4进一步具体说明测试系统中的功能改进。

一般来说，解析执行测试脚本的功能需要一系列的功能模块的组合，这些功能模块通常用软件来实现，并且这些功能模块的组合被称为测试平台或更准确的，测试架构。正如上文所述，测试架构的逻辑概要组成可参考图1，即图形用户接口101、第三方底层库106、测试脚本层102和物理设备适配层105。在本发明中，由于我们引入了逻辑拓扑层103和物理拓扑层104，所以必须实现各层之间的一系列解析和交互。在本发明的一个具体实施例中，为了支持逻辑拓扑层的引入和对新定义的脚本、测试床文件的应用，特别是要在实际运行中，实时解析测试脚本并完成逻辑拓扑到实际物理环境的映射，我们为测试架构增添了若干新的核心模块。

参考图4中，图4只示出了本发明的一个具体实施方式中测试架构改进后核心组成模块，但不消说，这里的示教只是示意性的，并不代表对本发明保护范围的限制。本领域的普通技术人员会知道，改进后的测试架构和一般自动化测试系统的关键不同是测试床解析模块403、逻辑拓扑解析模块404和逻辑物理拓扑映射模块405的引入。其中测试床解析模块403用来实现对测试床文件的解析，逻辑拓扑解析模块404则用来实现对逻辑拓扑文件的解析，逻辑物理拓扑映射模块405用来实现从逻辑拓扑到物理拓扑的映射。另外，为适应测试脚本规范的改进，我们对在一般自动化测试系统均有的测试集执行模块401和测试用例执行模块402也作了功能上的改进。另外，测试架构还能自动完成设备和仪器的初始化工作，包括和测试设备/测试仪器建立连接，对已指定的端口进行初始化操作(配置IP地址等)。

从以上的描述可以得知，本发明所提供的系统通过对测试床物理拓扑环境的提取存储和测试用例中的逻辑拓扑的定义，并利用逻辑拓扑映射完成测试用例和测试床的实时对应，较好的解决了测试系统的不同物理环境的移植问题。总之，一般来说，本发明所提供的可移植的自动化测试系统具有如下模块：

逻辑拓扑描述模块，用来描述测试用例所需逻辑设备的属性及其逻辑拓扑关系；物理拓扑描述模块，用来描述测试集所用的物理设备属性及物理拓扑关系；逻辑物理拓扑映射模块，用来完成所述逻辑拓扑模块和物理拓扑模块的映射关系。

在此基础之上，我们将讨论本发明所提供的自动化测试系统可移植的方法，参考图4，图4示出了本发明的一个具体实施例中该方法的主要步骤。但在此之前，本领域中的普通技术人员会知道，我们需要首先根据测试集搭建测试环境，其中包括测试集中的测试用例的编写要遵守我们在上文中所提到的规范；另外，可能需要手工形成测试床文件，并加载上文所述的测试平台。然后，自动测试系统的运行步骤可通过图5结合图4来理解。

首先在步骤S1，由测试用户通过图形用户接口(101)来指定测试床文件和测试集；

在步骤S2，测试床解析模块403解析测试床文件，获得测试环境中所有设备的特性、访问方法及它们间的连接信息，并将其存储到设备列表和链接列表中；

在步骤S3，由测试集执行模块401读取测试集中的脚本，测试用例执行模块402分解测试集中的测试用例脚本；

在步骤S4，逻辑拓扑解析模块404分析出脚本依赖的逻辑拓朴；

在步骤S5，逻辑物理拓扑映射模块405将脚本使用的逻辑设备和逻辑接口映射到实际物理环境中；

在步骤S6，测试用例执行模块401控制执行测试例定义的操作，完成测试用例定义的测试功能；

在步骤S7，判断测试集是否执行完毕，若未执行完毕则返回步骤S3，否则进入步骤S8；

在步骤S8，生成基于测试集的测试结果汇总。

本发明已经根据具体的实施例和附图进行了详细描述，但这些描述并非用于限制本发明。在不偏离本发明的精神和范围内，可以对其进行修改和改进。

Claims (10)

1.一种自动化测试框架系统，其特征在于包括

逻辑拓扑描述模块，用来描述测试用例所需逻辑设备的属性及其逻辑拓扑关系；

物理拓扑描述模块，用来描述测试集所用的物理设备属性及物理拓扑关系；

逻辑物理拓扑映射模块，用来完成所述逻辑拓扑模块和物理拓扑模块的映射关系。

2.如权利要求1所述的系统，其特征在于

所述逻辑拓扑描述模块为逻辑拓扑文件，所述物理拓扑描述模块为测试床文件。

3.如权利要求1或2所述的系统，其特征在于所述系统还包括：

逻辑拓扑解析模块，用来解析所述逻辑拓扑描述模块的逻辑拓扑描述；

物理拓扑解析模块，用来解析所述物理拓扑描述模块的物理拓扑描述。

4.如权利要求3所述的系统，其特征在于所述系统进一步包括：

测试集执行模块，用来执行测试集；

测试用例执行模块，用来执行测试用例。

5.一种自动化测试方法，其特征在于包括如下步骤：

解析测试环境的物理拓扑；

解析测试用例中所定义的逻辑拓扑；

将所述逻辑拓扑映射到所述物理拓扑。

6.如权利要求5所述的方法，其特征在于所述方法还包括下列步骤：

描述测试环境的物理拓扑，形成测试床文件并存储；

描述测试用例的逻辑拓扑，形成逻辑拓扑文件并存储。

7.如权利要求6所述的方法，其特征在于通过测试床文件解析测试环境的物理拓扑，通过逻辑拓扑文件解析测试用例中的逻辑拓扑。

8.如权利要求7所述的方法，其特征在于所述测试床文件可以为多个，分别对应不同的测试物理环境，当改变测试物理环境时，所述物理拓扑解析模块解析相对应的测试床文件。

9.一种自动化测试方法，其特征在于包括下列步骤：

(1)描述测试物理环境的物理拓扑并存储；

(2)描述测试用例的逻辑拓扑并存储；

(3)读取所述测试用例的测试脚本并解析其所依赖的逻辑拓扑；

(4)映射所述逻辑拓扑到所述物理拓扑；

(5)执行所述测试用例定义的操作。

10.如权利要求9所述的方法，其特征在于所述测试用例为多个形成测试集，并进一步包括下列步骤：

判断测试集是否执行完毕，若未执行完则返回步骤(3)。

Images