CN102333005B - 自动化测试系统中的测试仪控制方法 - Google Patents

Abstract

本发明设计数据通信领域的自动化测试技术，其公开了一种自动化测试系统中的测试仪控制方法，最大程度的提高测试仪的利用率，同时充分考虑测试仪使用的灵活性，尽量减少自动化测试过程中的人工干预工作。其技术方案的要点可概括为：通过将物理测试仪上的端口进行分组，并创建相同分组数量的虚拟测试仪与各端口组进行关联，通过控制虚拟测试仪来控制物理测试仪上对应的端口组执行测试任务。本发明适用于通信设备进行自动化测试。

Description

自动化测试系统中的测试仪控制方法

技术领域

本发明涉及数据通信领域中的自动化测试技术，特别涉及一种自动化测试系统中的测试仪控制方法。

背景技术

目前自动化测试技术在数据通信领域的广泛应用在很大程度上释放了测试人员的重复工作量，同时自动化测试技术也为降低产品开发成本、缩减开发周期以及保证产品质量上作出了巨大贡献。

随着自动化测试技术的发展，自动化测试覆盖的测试内容不断的丰富和扩展，使得越来越多的被测设备和辅测设备应用在自动化测试技术中。目前一个比较典型的自动化测试系统如图1所示：整个测试系统可分为两个部分：即控制网络和测试网络，其中测试网络由拓扑交换机、各被测设备、各辅测设备构成，测试的时候通过拓扑交换机来构造各种不同的拓扑结构进行各种测试；控制网络由控制中心和各被测设备、各辅测设备构成，其中控制中心是测试系统的核心设备，负责自动化脚本的运行、资源分配并根据自动化脚本的需要控制所需的被测设备和辅测设备，向其发送各种指令完成测试。

在上述测试系统中，被测设备往往是各个公司自己的产品，而辅测设备一般采用的是PC机，而PC机所能提供的性能测试及所能承担的测试辅助工作都是非常有限的。在数据通信产品的测试中，一方面需要通过辅测设备构造各种报文以提供各种流量，这些流量可以是正常的业务流量，也可以是不正常的网络攻击流量；另一方面，由于当前数据通信设备性能的快速提升，也需要辅测设备能够产生超大流量的数据用于性能测试。而目前的状况是：PC机无论是在灵活性或其它性能方面都已经无法满足测试要求，往往需要在测试系统中引入更强大的第三方的专用测试仪表，比如思博伦公司的TestCenter、Smartbits等产品。

要将第三方的专用测试仪表纳入到企业的自动化测试中并非一件容易的事情，但需要考虑到兼容性和成本问题。目前主要有两种处理方式：1.直接引入测试仪表供应商提供的一套完整的自动化测试方案，此种方式具备以下缺点：软件和辅助设备的资金投入非常庞大，并且不能和已有的测试系统融合，要么运行两套系统，如此会增加维护成本，要么推翻自己已有的自动化系统，重做脚本，耗费更是巨大；2.利用测试仪表提供的一些控制API(应用程序接口)在现有的测试平台上进行扩展，这样做同样面临一个问题，即测试仪表的利用率问题，一台测试仪表动辄几十上百万，如果不能有效的利用测试仪表，也将会是一项非常巨大的耗费，另外测试仪表在已有的自动化平台中能否灵活应用，达到自动化的效果也是一大问题，如果因为引入了测试仪表却在自动化测试过程中增加了更多人工干预，对企业来说也是非常不合理的。

因此，在企业已有的测试系统中如何扩展支持测试仪表，如何灵活、有效的利用测试仪表是目前企业的自动化测试中亟待解决的问题。

发明内容

本发明所要解决的技术问题是：提出一种自动化测试系统中的测试仪控制方法，最大程度的提高测试仪的利用率，同时充分考虑测试仪使用的灵活性，尽量减少自动化测试过程中的人工干预工作。

本发明解决上述技术问题所采用的方案是：自动化测试系统中的测试仪控制方法，包括以下步骤：

a.测试配置步骤：将一个具有多个端口的物理测试仪配置为多个具有少量端口的虚拟测试仪，并将被测试设备与虚拟测试仪进行连接；

b.测试控制及执行步骤：将测试任务分配到不同的虚拟测试仪中，通过控制虚拟测试仪来控制物理测试仪上对应的端口执行测试任务。

具体的，步骤a中所述测试配置的详细步骤如下：

a1.统计物理测试仪上可用于测试的物理端口；

a2.将统计出来的物理端口划分为N个端口组；

a3.创建N个虚拟测试仪，并分别与物理测试仪上的N个端口组进行关联，N为正整数；

a4.根据测试需求确定物理测试仪上的端口组与被测设备的连接方式，并进行连接；

a5.更新自动化环境配置文件。

具体的，步骤b中所述测试控制及执行的详细步骤如下：

b1.统计测试任务中对物理测试仪的使用需求；

b2.根据统计出来的使用需求给测试任务分配虚拟测试仪；

b3.通过控制虚拟测试仪来控制物理测试仪上对应的端口组；

b4.执行测试任务直至测试结束，释放虚拟测试仪资源。

进一步，步骤a2中所述端口组可独立、并行执行测试任务。

进一步，步骤a4中，根据测试需求选择物理测试仪上的端口组与被测设备的连接方式的具体方法是：若需要对被测设备进行性能测试，则选择物理测试仪上的端口组与被测设备直接连接；若需要对被测设备进行一般功能测试，则选择物理测试仪上的端口组通过拓扑交换机与被测设备间接连接。

进一步，在所述物理测试仪上的端口组通过拓扑交换机与被测设备连接的方式中，物理测试仪上的端口组和被测设备的端口在拓扑交换机上通过QinQ的方式相连。

进一步，步骤a5中，所述自动化环境配置文件中包含了整个自动化测试系统中所有设备的配置信息以及设备之间的连接信息。

具体的所述配置信息包括设备名、类型、产品型号、设备的管理IP、登录设备的用户名和密码；所述设备之间的连接信息包括设备的对端设备名称、接口/端口名、链路的类型、连接类型。

进一步，步骤b1中，所述使用需求包括：物理测试仪的端口组的使用数量及各端口组与被测设备的连接方式。

进一步，步骤b3中，通过控制虚拟测试仪来控制物理测试仪上对应的端口组的具体方法是：通过自动化环境配置文件中设备的管理IP、登录设备的用户名和密码以及物理测试仪提供的管理API来访问物理测试仪，并控制虚拟测试仪对应的物理端口。

本发明的有益效果是：使得价格昂贵的测试仪资源能够在自动化测试过程中得到最充分的利用；同时通过将测试仪的端口组通过直连或间接连接被测设备的方式，以提高测试仪在自动化测试中的灵活性，减少因测试任务变化导致需要增加的人工干预工作；本发明还方便企业在自己已有的自动化测试系统中扩展对测试仪的支持，大大的降低了对自动化测试中测试仪成本的投入，让测试仪同时最大程度的并行、独立地执行多个任务，以提高测试仪的执行效率，从而降低自动化测试成本。

附图说明

图1为传统技术中的自动化测试系统结构示意图；

图2为本发明中的测试仪控制方法流程图；

图3为测试配置具体步骤的实现流程图；

图4为测试控制及执行的具体步骤的实现流程图；

图5为本发明实施例中引入测试仪后的自动化测试系统结构示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步的描述。

本发明公开了一种自动化测试系统中的测试仪控制方法，最大程度的提高测试仪的利用率，同时充分考虑测试仪使用的灵活性，尽量减少自动化测试过程中的人工干预工作。其主要实现手段是：通过将物理测试仪上的端口进行分组，并创建相同分组数量的虚拟测试仪与各端口组进行关联，通过控制虚拟测试仪来控制物理测试仪上对应的端口组执行测试任务，如此可以实现多个测试任务独立、并行执行，使得价格昂贵的测试仪资源在自动化测试过程中得到最充分的利用，也降低了自动化测试成本；同时，通过将测试仪上的端口组根据测试需求选择直接或间接连接被测设备的方式，可提高测试仪在自动化测试中的使用灵活性，减少因测试任务变化而需要增加的人工干预工作，提高测试效率。

参见图2，本发明中的测试仪控制方法采用以下两大步骤完成：

a.测试配置步骤：将一个具有多个端口的物理测试仪配置为多个具有少量端口的虚拟测试仪，并将被测试设备与虚拟测试仪进行连接；

b.测试控制及执行步骤：将测试任务分配到不同的虚拟测试仪中，通过控制虚拟测试仪来控制物理测试仪上对应的端口组执行测试任务。

参见图3，为本发明测试仪器控制方法中测试配置步骤的实施例，具体包括如下步骤：

a1.统计物理测试仪上可用于测试的物理端口；

a2.将统计出来的物理端口划分为N个端口组；

a3.创建N个虚拟测试仪，并分别与物理测试仪上的N个端口组进行关联，N为正整数；

a4.根据测试需求确定物理测试仪上的端口组与被测设备的连接方式，并进行连接；

a5.更新自动化环境配置文件。

参见图4，为本发明测试仪器控制方法中测试控制及执行步骤的实施例，具体包括如下步骤：

b1.统计测试任务中对物理测试仪的使用需求；

b2.根据统计出来的使用需求给测试任务分配虚拟测试仪；

b3.通过控制虚拟测试仪来控制物理测试仪上对应的端口组；

b4.执行测试任务直至测试结束，释放虚拟测试仪资源。

下面结合实施例进行阐述：

以思博伦公司的测试仪TestCenter为例，TestCenter是一种专门用于测试数据通信设备的仪表，该测试仪分为机框和测试板卡，一个机框可以同时支持多张板卡，每张板卡上有多个测试端口，每两个测试端口为一个端口组，通常这个端口组中的一个端口用于发送流量，另一个端口用于接收流量。该仪表支持多个测试人员同时登录测试仪，并分别控制不同的测试端口进行独立的测试工作。

参见图3，引入测试仪TestCenter后的自动化测试系统可划分为两部分：即控制网络和测试网络，其中测试网络由拓扑交换机、测试仪TestCenter、各被测设备及各辅测设备构成；控制网络由控制中心和测试仪TestCenter、各被测设备、各辅测设备组网组成。其中，测试仪TestCenter上有8个测试端口p1到p8可供测试用，每两个测试端口可以并行、独立的完成一项测试任务。

针对上述自动化测试系统，要实现本发明中的测试仪控制方法，分为两个大的步骤：

1.自动化测试环境的配置：

首先，将该测试仪的8个测试端口分为4个端口组：p1p2、p3p4、p5p6、p7p8；然后，创建4个虚拟测试仪TC1、TC2、TC3、TC4并分别与各端口组进行关联，即虚拟测试仪TC1关联端口组p1p2，虚拟测试仪TC2关联端口组p3p4，虚拟测试仪TC3关联端口组p5p6，虚拟测试仪TC4关联端口组p7p8；接着，根据需求选择测试仪与被测设备的连接方式，一般来说，若需要对被测设备进行性能测试，则选择测试仪上的端口组与被测设备直接连接；若需要对被测设备进行一般功能测试，则选择测试仪上的端口组与被测设备间接连接(如：通过拓扑交换机进行连接)，这是因为性能测试往往要求在被测设备接口处的数据吞吐量较大，如果由测试仪发出的流量再经过拓扑交换机转发给被测设备，拓扑交换机的性能将会成被测设备性能测试的瓶颈，但是这种直连方式的缺点是被测设备更换以后需要人工将连接测试仪的端口变更到新的被测设备上；对于一般的功能测试而言，往往不需要在测试网络中传输大量的数据，拓扑交换机是可以承担这些数据量的转发工作，而不影响测试效果，因此可以选择通过拓扑交换机间接连接的方式，这种方式的优点是即使被测设备更换，也无需改变测试仪的端口连接；因此可以根据测试需要，灵活选择测试仪与被测设备的连接方式，尽量减少在自动化测试过程中的人工干预工作。在本例中，是将TC1对应的端口组与被测设备1进行直连，TC2、TC3、TC4对应的端口组与其他被测设备之间均是通过拓扑交换机相连。

在选择连接方式之后，在自动化环境配置文件中添加虚拟测试仪的相关配置，添加的内容包括虚拟测试仪名称、测试仪的管理IP、以及测试仪连接的对端设备和连接类型，其中连接类型表示是“直连被测设备”还是“间接连接拓扑交换机”。添加虚拟测试仪相关配置后的自动化环境配置文件，记录了整个自动化测试系统中用到的所有的设备信息和设备之间的连接信息，设备信息可以包括设备名称、类型、产品型号、管理IP、登录设备需要的用户名、密码等信息，设备之间的连接信息包括设备的对端设备名称、接口/端口名、链路的类型(有以太链路、POS链路、E1链路等)、连接类型等信息。

2.自动化测试执行过程中对测试仪的分配及控制方法：

在正式执行自动化脚本之前，往往自动化测试平台会先为测试任务分配设备资源，这些资源包括被测设备、辅测设备，针对需要测试仪的测试任务来说，测试仪就是其中的一种辅测设备。在设备分配时，测试平台首先会根据测试拓扑统计需要使用的测试仪端口组数量以及测试仪各端口组与被测设备的连接方式，如果需要某个端口组与被测设备之间为直连方式，则一一遍历被测设备，并检查被测设备的直连对端是否为与该端口组相关联的虚拟测试仪，如果是则分配该连接两端的被测设备和虚拟测试仪给测试任务，图3中分配的结果就是将被测设备1和TC1分配给测试任务；如果需要测试仪的某个端口组与被测设备之间为通过拓扑交换机间接连接的方式，则从空闲的设备资源中，分配一个空闲的与拓扑交换机连接的被测设备和一个空闲的与拓扑交换机连接的虚拟测试仪，然后在拓扑交换机上通过QinQ的方式实现被测设备和测试仪之间的信息的透传，从而实现被测设备与测试仪之间的连接通信，图3中的分配结果是选择TC2、TC3、TC4中空闲的一个与被测设备2至被测设备n中空闲的一个分配给测试任务。

如：将TC2和被测设备2被分配给测试任务，自动化平台利用自动化环境配置文件中保存的虚拟测试仪TC2的管理IP和测试仪提供的管理API，访问物理测试仪并控制TC2对应的p3p4端口，然后执行测试任务，在测试任务执行中，根据测试平台需要通过测试仪提供的API向测试仪发送指令直至完成测试。测试任务结束以后释放占用的被测设备和虚拟测试仪。

为便于理解，在本申请中对QinQ技术进行一下简介：QinQ技术叫做VLAN dotlq tunnel、802.1Q tunnel、VLAN Stacking技术，标准出自于IEEE 802.1ad，基于802.1Q协议的扩展，在原有的802.1Q报文包头上又增加一层802.1Q标签(VLAN标签)实现，通过双层标签，使VLAN个数增加为4094×4094。QinQ将用户私网VLAN Tag封装在公网VLAN Tag中，使报文带着两层VLAN Tag穿越运营商的骨干网络(公网)。在公网中，报文根据外层VLAN Tag(即公网VLAN Tag)传播，用户私网VLAN Tag被屏蔽。在拓扑交换机上通过QinQ来连接被测设备和辅测设备除了可以测试其他网络协议以外还可以测试VLAN相关的协议，如果通过VLAN来连接被测和辅测设备则无法正常测试VLAN相关协议。

除了本例中所述的测试仪TestCenter外，目前其他测试数据通信设备的仪表，基本都具备这样的并行测试功能，本发明中的测试控制方法也适用于其他类似的测试仪。

Claims (8)

1.自动化测试系统中的测试仪控制方法，其特征在于：包括以下步骤：

a.测试配置步骤：将一个具有多个端口的物理测试仪配置为多个具有少量端口的虚拟测试仪，并将被测试设备与虚拟测试仪进行连接；

b.测试控制及执行步骤：将测试任务分配到不同的虚拟测试仪中，通过控制虚拟测试仪来控制物理测试仪上对应的端口执行测试任务；

步骤a中所述测试配置的详细步骤如下：

a1.统计物理测试仪上可用于测试的物理端口；

a2.将统计出来的物理端口划分为N个端口组；

a3.创建N个虚拟测试仪，并分别与物理测试仪上的N个端口组进行关联，N为正整数；

a4.根据测试需求确定物理测试仪上的端口组与被测设备的连接方式，并进行连接；

a5.更新自动化环境配置文件；

步骤a4中，根据测试需求确定物理测试仪上的端口组与被测设备的连接方式的具体方法是：若需要对被测设备进行性能测试，则选择物理测试仪上的端口组与被测设备直接连接；若需要对被测设备进行一般功能测试，则选择物理测试仪上的端口组通过拓扑交换机与被测设备间接连接。

2.如权利要求1所述的自动化测试系统中的测试仪控制方法，其特征在于：步骤a2中所述端口组可独立、并行执行测试任务。

3.如权利要求1所述的自动化测试系统中的测试仪控制方法，其特征在于：在所述物理测试仪上的端口组通过拓扑交换机与被测设备间接连接的方式中，物理测试仪上的端口组和被测设备的端口在拓扑交换机上通过QinQ的方式相连。

4.如权利要求1任意一项所述的自动化测试系统中的测试仪控制方法，其特征在于：步骤a5中，所述自动化环境配置文件中包含了整个自动化测试系统中所有设备的配置信息以及设备之间的连接信息。

5.如权利要求4所述的自动化测试系统中的测试仪控制方法，其特征在于：所述配置信息包括设备名、类型、产品型号、设备的管理IP、登录设备的用户名和密码；所述设备之间的连接信息包括设备的对端设备名称、接口/端口名、链路的类型和连接类型。

6.如权利要求1-5任一项所述的自动化测试系统中的测试仪控制方法，其特征在于：步骤b中所述测试控制及执行的详细步骤如下：

b1.统计测试任务中对物理测试仪的使用需求；

b2.根据统计出来的使用需求给测试任务分配虚拟测试仪；

b3.通过控制虚拟测试仪来控制物理测试仪上对应的端口组；

b4.执行测试任务直至测试结束，释放虚拟测试仪资源。

7.如权利要求6任意一项所述的自动化测试系统中的测试仪控制方法，其特征在于：步骤b1中，所述使用需求包括：物理测试仪的端口组的使用数量及各端口组与被测设备的连接方式。

8.如权利要求7所述的自动化测试系统中的测试仪控制方法，其特征在于：步骤b3中，通过控制虚拟测试仪来控制物理测试仪上对应的端口组的具体方法是：通过自动化环境配置文件中设备的管理IP、登录设备的用户名和密码以及物理测试仪提供的管理API来访问物理测试仪，并控制虚拟测试仪对应的物理端口。

Images