CN1328689C - 一种系统产品的自动化测试方法 - Google Patents

Abstract

本发明公开了一种系统产品的自动化测试方法，包括提取测试仪器仪表需要设置的各项参数，设计保存测试用例的数据库；设计测试参数录入界面；录制与编辑测试通用脚本；回放测试过程。所述方法是将测试用例用测试时仪器需设置的参数进行表征，利用数据库进行存储和管理；对仪器进行操作的脚本部分编写实现通用化，使操作与数据分离，提供一种基于仪器仪表的图形化界面工具，利用捕捉/回放测试进行自动化测试的方法，使测试者能灵活地创建、修改测试用例，提高了测试工作的效率和质量，可用于对系统产品的测试。

Description

一种系统产品的自动化测试方法

技术领域

本发明涉及自动测试领域，尤其涉及对系统产品的测试。

背景技术

在产品的研发过程中，产品进入系统测试阶段后，为了保证产品的质量，需要对其在模拟实际的使用环境下的功能和性能进行全面的测试。随着在测试过程中对产品缺陷的发现，开发人员需要对产品设计进行修改。为了保证对原有错误的修改不会引入新的错误，需要多次对产品进行回归测试。产品的每次测试均需要由测试人员人工搭建环境来模拟实际的使用条件，我们称构造测试环境。为了保证测试结果的准确，还需要借助于测试仪器仪表的使用来完成系统各项指标的测量。为了方便使用，大多数仪器仪表提供图形化的操作界面，有的采用嵌入式操作系统，有的提供可在计算机上安装的控制软件包。

仪器仪表的使用使得测试结果的准确有了保证，但是在实际的测试工作中，有以下几点因素影响了测试效率与质量的提高。

虽然测试仪器提供图形化的操作界面，但由于在测试过程中随着不同的测试需要仪器的设置经常被更改，仪器的配置文件不易于保存与管理。针对不同产品的同项指标测试，需要测试人员手工重复进行对测试仪器设置->等待测试结果->保存测试结果的操作，这些繁杂的操作与等待导致人力的浪费，降低了测试效率。

同一产品的不同项指标测试结果如果具有一定的关联性，需要测试人员等待某个测试项目的结束，依据前项测试结果对测试仪器进行设置以继续其他项目的测试，测试项目无法连续进行，占用了宝贵的人力资源。

由不同的测试人员实施回归测试，不能确保前版本测试中的测试用例的准确重复，测试质量无法保证。

在夜晚等休息时间，测试仪器和网元设备由于无人操作，处于闲置的状态。而工作时间内测试环境的紧张往往造成测试的延误，拖延了开发周期。

用自动化测试代替繁重的手工测试，提高测试的效率和质量一直是系统测试工作的改进方向。目前商用的捕捉/回放测试工具能够记录下所有的用户与应用程序以及数据库服务器的交互操作以测试脚本的形式存储，并根据脚本重复所有用户执行的操作，因此常被用于系统的回归测试与故障验证，是一种可行的自动化测试工具。但是这种工具的单纯应用也存在以下不足：

由于每个测试用例是以测试脚本的形式存在并保存的，测试的数据随着测试步骤的录制被嵌在脚本中而不是以独立的形式存在，当测试人员需要创建新的测试用例时，需要重新对仪器进行操作以录制新脚本，或者在已有测试脚本中寻找需更改的参数进行修改。这样就不能对测试用例做针对性的更改。这其中的重复性工作导致测试的前期准备工作周期过长，影响测试的效率。

当需要对不同产品进行测试时，测试人员需要重新录制测试脚本，测试脚本不能做到通用。随着测试用例的积累，脚本库将变得庞大，难于管理，这些都给测试工作带来很大困难。

发明内容

本发明所要解决的技术问题是：在产品的系统测试阶段，利用捕捉/回放测试工具模拟测试者对测试仪器的操作过程，减少系统测试人员的重复、繁杂操作；提供灵活的修改、创建测试用例的途径，用全面的测试用例来使系统测试更加完善，达到提高测试效率和测试质量的目的。另外，通过记录和管理描述测试用例的测试参数保证不同版本测试时测试用例的一致性，满足回归测试的要求。

本发明所述的一种系统产品的自动化测试方法，包括以下步骤：

步骤一提取测试仪器仪表需要设置的各项参数，设计保存测试用例的数据库记录包含描述测试用例所需的所有数据；

测试用例以表(Table)的形式存在数据库中，表通过参数录入界面程序在动态运行中根据需要进行创建、修改、查看和删除，表的名称应与数据录入界面中面向用户的用例文件名称一致。

步骤二设计测试参数录入界面

参数录入界面支持所有测试参数的录入；

以用例文件的形式保存录入数据，用例文件名除用文字形式表述用例外还包含用例执行次数信息(缺省次数为1)。当用户要求保存参数时，动态创建数据库表，将数据写入表。把所得到的用例文件形成一个项目文件，也称为项目信息，对每个产品测试而言，只需要维护一个项目文件。

步骤三录制与编辑测试通用脚本

按照操作执行的功能将测试过程划分模块；

打开数据库，按照测试步骤从数据库中提取参数并取代录制的脚本中的测试参数。

步骤四：回放测试过程。

采用本发明所述的方法，利用捕捉/回放测试工具的录制和回放功能，无须测试人员干预，避免了测试者的繁杂劳动，而且测试过程的回放能更准确地保证重复前版本的测试；通过参数录入界面可以方便的创建、修改测试用例，为系统测试提供更多用例，提高测试质量；通过相同的数据库记录测试的参数数据，在一个脚本中可以完成不同测试过程的自动衔接。当两个测试过程的运行存在时间的先后关系时，可以在前一个过程完成后由脚本读取相关测试结果做相关运算存入数据库中做为后续测试过程的参数数据；利用脚本的回放可以实现测试的自动化，提高测试效率。

与现有技术相比，采用本发明所述方法，避免了单纯利用捕捉/回放测试工具录制脚本带来的脚本庞大、修改脚本困难的弊病，使测试者能灵活地创建、修改测试用例。测试用例由测试仪器仪表设置参数表征，使用例的回放更加准确，也便于保存和管理，提高测试工作的效率和质量。

附图说明

图1是本发明的基本原理图

图2是本发明的一个实施例

图3是参数数据录入人机界面程序流程图

图4是测试通用脚本功能模块分解图

图5是通用测试脚本流程图

具体实施方式

以下结合附图对本发明所述技术方案的实施作进一步的详细描述：

图1是本发明的基本原理图。

本发明所述的方法主要是将测试用例用测试时仪器需设置的参数进行表征，利用数据库进行存储和管理；对仪器进行操作的脚本部分编写实现通用化，使操作与数据分离，提供一种基于仪器仪表的图形化界面工具，利用捕捉/回放测试进行自动化测试的方法。

测试所需参数数据不与捕捉/回放工具的脚本绑定在一起，而是存放在数据库。脚本则尽量实现与具体参数无关，通过访问数据库的方法来获取存储在数据库的参数数据，然后加以执行。

采用本发明所述的方法，首先需要构造一个测试仪器测试参数录入的人机界面，将仪器需要设置的参数数据存入数据库中。其次针对测试仪器录制一个测试脚本，将具体的测试仪器参数从脚本原型中提取出来，代之以标志变量，形成通用化的脚本。当捕捉/回放工具的测试通用脚本运行时，打开数据库，将参数数据逐个取出，做为脚本中标志变量的值输入测试仪器的控制界面，模拟人工测试的仪器参数设置，进行自动测试。

图2是本发明的一个实施例：利用Robot与SmartBits仪器的SmartApplication软件相结合进行数据通信产品性能的自动测试。

美国Rational公司的Robot是一种的商业化的捕捉/回放测试工具。其主要原理是截获windows消息转化为相应的脚本进行保存、编辑和回放，主要应用于系统的回归测试中。

SmartBits是美国spirent公司的一种性能测试仪器，可用于连接以太网、ATM、广域网、令牌环网的交换机、路由器的性能测试。SmartApplication是SmartBits的一种GUI应用界面，与测试仪器的硬件部分分离，需要在PC机上安装并通过网络实现对仪器的控制。SmartApplicaiton能测试的指标有四项：吞吐量(throughput)、延时(latecny)、丢包率(packet loss)和背对背(back to back)。

由于吞吐量测试的值决定延时、丢包率和背对背测试的测试参数设置范围，所以在此实施例中首先对单路的吞吐量进行测试，通过脚本记录吞吐量的测试值后，根据经验取一定范围做后续单路延时、丢包率和背对背缓冲能力的测试。

在本实施例中，将Robot与SmartApplication结合起来，可以对数据通信产品进行各种速率条件下的性能测试。

图3是本发明实施例中参数数据录入界面的程序流程图。设计参数录入界面的目的是为了将测试者与底层的数据库操作隔离开来。对测试者而言，参数录入的过程就是生成一个测试用例的过程。通过参数录入人机界面输入所有测试参数数据，录入界面以用例文件的形式保存用例，并将参数数据写入数据库。

以下详细介绍该程序流程的设计：

首先，测试参数的录入界面应具备在下述要素：

参数录入界面支持所有测试参数的录入；

以“用例文件”的形式保存录入数据，用例文件名除用文字形式表述用例外还包含用例执行次数信息(缺省次数为1)。当用户要求保存参数时，动态创建数据库表，将数据写入表。

把所得到的用例文件用项目管理的方式集中起来进行维护，形成一个项目文件(也称为项目信息)，对每个产品测试而言，只需要维护一个项目文件。

为了满足回归测试的要求，参数录入界面提供对原有用例文件的修改、编辑功能。这通过参数录入界面的文件打开功能实现。程序对用户选择的用例文件是否真实存在进行判断，只有当此用例文件存在时，程序将用例文件从数据库中调出。如果用户并不从已有的用例文件中进行选择，表明用户想创建新的用例。

当用户按照参数录入界面完成测试参数的输入后，将数据存储到用例文件中。程序对将要保存的用例文件进行判断，若用例文件是已经存在的，将向用户提示并用最新录入的数据覆盖原有用例文件内容。如果用例文件并不存在，程序认为这些数据将存储为新的用例文件，在数据库中生成新的表，并将录入的测试参数写入新的用例文件中。

用户完成用例文件的保存后，需要按照项目对用例文件进行管理，因此将用例文件加入项目。程序对用户加入的项目文件是否真实存在进行判断。如果项目文件是真实存在的，程序将用例文件名写入项目文件中，否则将创建新的项目文件，并将用例文件名写入项目文件中。图4是测试通用脚本功能模块分解图。为了便于脚本的维护，将测试脚本按照功能模块进行划分。此实施例中就将与测试仪器的连接与断开做为单独的功能模块。当测试需要将一个测试项目进行多次或者连续进行多个项目测试时，只须对脚本中的测试功能模块加设循环或者调用其他测试过程的脚本。在本发明的实施例中，对吞吐量的测试和对延时的测试属于不同的测试项目。需要时，可以将对延时的测试过程单独录制成脚本，当通用脚本中测试吞吐量的过程完成之后，直接调用延时测试脚本，依次类推，可以自动地连续将四项指标的测试完成。

图5是通用测试脚本流程图，通用测试脚本的流程如下：

测试脚本打开SmartApplication的界面后，通过网络取得对SmartBits仪器的控制权。脚本对指定的数据库和项目文件是否存在，是否为空进行判断。数据库和项目文件任一为空，脚本按照出现异常的情况退出测试。

当数据库和项目文件都不为空，测试脚本打开数据库，取出项目文件中用例文件指向的表中的数据，输入SmartApplication的界面。脚本以仪器操作界面中的标志性对象为依据判断测试步骤是否结束。测试步骤结束后，脚本自动按照用户定制的要求保存测试结果。脚本对用例文件是否执行了用户要求的次数和项目文件中用例文件是否都被执行过进行判断，直到全部测试用例按照指定的次数执行完毕，关闭数据库。

测试完成后，脚本自动断开与SmartBits的连接，关闭SamrtApplication的界面。

从以上实施例可以看出，在实际的测试工作中，减轻系统测试人员负担，避免重复劳动，比单纯的应用捕捉/回放测试工具更为简洁、灵活。

Claims (3)

1 一种系统产品的自动化测试方法，包括以下步骤：

步骤一  提取测试仪器仪表需要设置的各项参数，设计保存测试用例的数据库；

步骤二  设计测试参数录入界面；

步骤三  录制与编辑测试通用脚本；

步骤四  测试通用脚本运行时，打开数据库，将参数逐个取出，输入测试参数录入界面，模拟测试仪器仪表参数设置，进行自动测试。

2 如权利要求1所述的系统产品的自动化测试方法，其特征是：步骤一包括：

记录包含描述测试用例所需的所有数据；

测试用例以表的形式存在数据库中。

3 如权利要求1所述的系统产品的自动化测试方法，其特征是：步骤二进一步包括：

所述参数录入界面支持所有测试参数的录入；

当用户要求保存参数时，通过所述参数录入界面，动态创建数据库表，将数据写入表。

Images