CN105005532A - 一种自动化测试应用程序接口稳定性的系统及方法 - Google Patents

Abstract

本发明公开了一种自动化测试应用程序接口稳定性的系统及方法，其中所述系统包括：运行控制器、监控与日志生成器、用例生成器、用例模板库以及运行策略库；其中，所述运行控制器分别与所述监控与日志生成器、用例生成器以及运行策略库相连，所述用例生成器与所述用例模板库连接；其中，所述运行控制器用于根据应用程序的后台接口类型，读取所述运行策略库的测试策略并调用用例生成器生成测试用例，最后读取上述测试用例进行测试运行，并监控测试策略的运行以及测试异常时的恢复功能。该系统可自动生成应用程序后台接口的测试用例，测试用例覆盖率广，还可自定义策略运行测试，具有自动化运行测试的功能，自动生成详细测试日志。

Description

一种自动化测试应用程序接口稳定性的系统及方法

技术领域

本发明涉及计算机信息技术领域，特别涉及一种自动化测试应用程序接口稳定性的系统及方法。

背景技术

现在计算机对应用程序后台接口功能测试的方法很多，比如基于Web UI接口测试框架，该接口测试框架介绍了一套自动化接口功能测试方法以及一种新型测试用例的结构设计；还有淘宝的接口测试框架，该接口测试框架趋向于白盒测试；但是对应用程序后台接口稳定性的测试基本没有，随着现在互联网的环境越来越复杂，应用程序后台接口受到恶性攻击的可能性越来越大，应用程序后台接口的安全与稳定性也变得越来越重要，接口在复杂多变的环境中还能正常工作是现在的重中之重，因此亟待提出一种自动化测试应用程序后台接口稳定性的系统及方法，实现全方位的接口测试，保证应用程序后台接口面对复杂网络环境下的功能稳定性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种自动化测试应用程序接口稳定性的系统及方法，可自动生成应用程序后台接口的测试用例，测试用例覆盖率广，还可自定义策略运行测试，具有自动化运行测试的功能，自动生成详细测试日志log。

根据公开的实施例，本发明第一方面公开了一种自动化测试应用程序接口稳定性的系统，所述系统包括：运行控制器、监控与日志生成器、用例生成器、用例模板库以及运行策略库；其中，所述运行控制器分别与所述监控与日志生成器、用例生成器以及运行策略库相连，所述用例生成器与所述用例模板库连接；

其中，所述运行控制器用于根据应用程序的后台接口类型，读取所述运行策略库的测试策略并调用用例生成器生成测试用例，最后读取上述测试用例进行测试运行，并监控测试策略的运行以及测试异常时的恢复功能；

所述运行策略库用于设置并存储不同应用程序后台接口的测试策略；

所述用例模板库用于编写并存储不同应用程序后台接口的测试模板；

所述用例生成器用于根据所述运行控制器发布的运行策略，读取所述用例模板库相应的测试模板，并根据上述运行策略对应的参数生成测试用例；

所述监控与日志生成器用于监控测试运行时各请求的返回状态，以及接口异常时日志的记录与生成。

进一步的，所述应用程序后台接口的测试策略包括并发用户数、测试用例运行次数、测试用例运行的选择策略、测试运行时间、测试对象。

进一步的，所述运行控制器还用于获取应用程序后台接口的参数信息，所述参数信息包括接口信息和测试数据，其中所述接口信息包括通信协议、接口地址、接口名称或/和接口版本号。

进一步的，所述用例生成器与系统外部内存连接，所述用例生成器调用用例模板库生成测试用例数据并写入系统外部内存中。

进一步的，所述运行控制器与系统外部内存连接，并读取驻存在系统外部内存中的测试用例数据。

进一步的，所述运行策略库中的测试策略是在稳定性测试之前事先设置的，所述用例模板库中的用例模板是在稳定性测试之前事先编写的。

根据公开的实施例，本发明第二方面公开了一种自动化测试应用程序接口稳定性的方法，包括下列步骤:

所述运行策略库根据所述运行控制器的命令生成需要运行的应用程序后台接口第一测试策略并传递给所述运行控制器；

所述运行控制器解析应用程序后台接口第一测试策略，确定接口测试的参数数据；

所述用例生成器接受所述运行控制器的调用后读取用例模板库中相应的用例模板，并根据上述运行策略对应的参数生成测试用例，然后写入系统外部内存中；

所述运行控制器读取驻存在系统外部内存中的测试用例数据，按照上述应用程序后台接口第一测试策略运行此应用程序接口稳定性的测试；

所述监控与日志生成器用于实时监控应用程序后台接口的状态，记录上述后台接口异常日志信息；

所述监控与日志生成器在测试运行完毕后生成并输出测试报告。

进一步的，所述运行控制器读取驻存在系统外部内存中的测试用例数据，按照上述应用程序后台接口第一测试策略运行此应用程序接口稳定性的测试之前，还包括:

所述运行控制器获取应用程序后台接口的参数信息，所述参数信息包括接口信息和测试数据，其中，所述接口信息包括通信协议、接口地址、接口名称或/和接口版本号。

进一步的，所述运行策略库根据所述运行控制器的命令生成需要运行的应用程序后台接口第一测试策略并传递给所述运行控制器之前，还包括：

设置所述运行策略库中的测试策略和编写所述用例模板库中的用例模板。

本发明相对于现有技术具有如下的优点及效果：

1)本发明公开的一种自动化测试应用程序接口稳定性的系统可通过用例生成器自动生成应用程序接口的测试用例，测试用例种类覆盖率广，能够基于各个业务场景对接口进行全面测试，提高接口测试的全面性和可靠性。

2)本发明公开的一种自动化测试应用程序接口稳定性的系统可调用运行策略库自定义测试策略运行应用程序接口测试。

3)本发明公开的一种自动化测试应用程序接口稳定性的系统还可以实现自动化运行测试，具有详细的测试日志log输出，方便开发人员和用户查阅。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是实施例一中一种自动化测试应用程序接口稳定性的系统结构框图；

图2是实施例二中一种自动化测试应用程序接口稳定性的方法流程图；

图3是实施例二中另一种自动化测试应用程序接口稳定性的方法流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下根据实施例分别进行详细说明。

实施例一

请参见图1，图1是本实施例一中一种自动化测试应用程序接口稳定性的系统结构框图。图1所示的一种自动化测试应用程序接口稳定性的系统，应用于智能终端设备，所述智能终端设备包括台式计算机、移动笔记本电脑、智能测试终端设备等等，该系统首先通过开发设计人员事先设置的运行策略和编写的用例模板后，针对不同的应用程序后台接口自定义或者自动生成运行策略和测试用例，测试用例覆盖率广，还可自动生成详细测试日志log，方便开发设计人员查看测试结果。

下面结合图1，具体说明一种自动化测试应用程序接口稳定性的系统的结构组成。如图所示，本实施例公开的自动化测试应用程序接口稳定性的系统包括：运行控制器、监控与日志生成器、用例生成器、用例模板库以及运行策略库。

上述各个部件的连接关系为：

运行控制器分别与监控与日志生成器、用例生成器、运行策略库相连，其中，运行控制器还与系统外部内存连接，可读取系统外部内存中的临时驻存数据。

用例生成器与用例模板库连接，同时还与系统外部内存连接，可向系统外部内存中写入用例模板库生成的用例模板数据。

以上连接关系的描述都是参照附图1中一种自动化测试应用程序接口稳定性的系统的结构框图。

1、运行控制器：主要负责控制应用程序后台接口测试的整个过程，监控测试策略的运行以及测试异常时的恢复功能。其类似于电脑中的CPU，是自动化测试应用程序接口稳定性的系统的核心部件，其功能主要是根据应用程序的后台接口类型，读取相应运行策略库的运行策略，然后依据运行策略调用用例生成器，用例生成器生成用例存入系统外部内存中，最后运行控制器从系统外部内存中读取用例数据运行。

运行控制器在进行应用程序后台接口测试之前，还需要先获取应用程序接口的参数信息，这里，参数信息可包括接口信息和测试数据。其中，接口信息可包括通信协议、接口地址、接口名称或接口版本号等信息中的一种或几种。

比如，自动化测试应用程序接口稳定性的系统运行在本地客户端，而应用程序运行在服务器，或者测试过程中应用程序需要与远端服务器进行信息交换，则此时通信协议是指客户端与服务器间的通信协议，可选的通信协议包括HTTP协议(HyperText Transfer Protocol，超文本传输协议)、HESSIAN协议和DUBBO协议，其中，HESSIAN协议和DUBBO协议是本领域技术人员知晓的基于HTTP协议的网络传输协议。

2、运行策略库：主要用于设置并存储各种应用程序后台接口测试策略，所述应用程序后台接口测试策略包括但不限于：并发用户数、用例运行次数、用例运行的选择策略(随机选择，顺序选择等)、测试运行时间、测试对象等信息，运行控制器通过读取相应的运行策略，就可确定一次完整的测试任务。

3、用例模板库：为了能够完全自动化生成一系列的用例，需要编写应用程序后台接口用例的相应模板，用例生成器在得到与之相连的运行控制器发布的运行策略后，可以根据相应的模板生成一系列接口测试用例，达到接口各种请求数据都能覆盖全面的目的。

4、用例生成器：该用例生成器主要负责应用程序后台接口用例的生成工作，用例生成器的工作原理为：首先在得到与之相连的运行控制器发布的运行策略后，然后读取相应的模板，对请求的运行策略中各个参数按照参数类型进行随机生成具体的参数值，生成一系列测试用例，并且需要保证参数值覆盖率。

在实际测试过程中，系统交互往往是比较复杂的，并且通常会存在多种业务场景，人工测试将很难全面覆盖不同的交互场景。可以理解，所述测试用例可以具体用于表征通过所述接口进行交互的各业务场景。

5、监控与日志生成器：主要负责应用程序后台接口测试运行时后台接口对各类请求的返回状态进行监控，以及后台接口异常时工作日志log的记录与输出工作。

监控与日志生成器的工作原理为：当应用程序后台接口测试运行时，实时监控各个后台接口对各类请求的返回状态，当后台接口的返回状态异常时，把错误的状态及对应的请求类型记录在工作日志log中，并输出到对应的存储路径下的文件夹中或直接显示在显示装置中，方便开发研究人员对照查看。

在另一优选的实施例中，所述用例生成器与系统外部内存连接，用例模板库生成的测试用例模板数据通过用例生成器向系统外部内存中写入，以供后继由运行控制器调用读取。

在另一优选的实施例中，所述运行控制器也与系统外部内存连接，通过读取驻存在内存中的测试用例模板数据后，运行应用程序接口稳定性的测试。

在另一优选的实施例中，运行策略库中的运行策略是在测试之前事先设置的，同理，用例模板库中的用例模板是事先由研究开发人员事先编写的。

综上所述，本实施例中公开的一种自动化测试应用程序接口稳定性的系统可通过用例生成器自动生成应用程序接口的测试用例，测试用例种类覆盖率广，能够基于各个业务场景对接口进行全面测试，提高接口测试的全面性和可靠性；可调用运行策略库自定义测试策略运行应用程序接口测试，还可以实现自动化运行测试，具有详细的测试日志log输出，方便开发人员和用户查阅。

实施例二

本实施例公开了一种自动化测试应用程序接口稳定性的方法，该方法配合实例一中公开的一种自动化测试应用程序接口稳定性的系统实现，可自动生成应用程序后台接口的测试用例，测试用例覆盖率广，还可自定义策略运行测试，具有自动化运行测试，自动生成详细测试日志log。具体的流程步骤如附图2中所示，包括：

步骤S201、运行策略库根据运行控制器的命令生成需要运行的应用程序后台接口第一测试策略并传递给运行控制器，所述应用程序后台接口测试策略包括但不限于：并发用户数、用例运行次数、用例运行的选择策略(随机选择，顺序选择等)、测试运行时间、测试对象等信息。

步骤S202、运行控制器解析应用程序后台接口第一测试策略，确定此处接口测试的参数数据。

运行控制器根据解析的应用程序后台接口第一测试策略，读取相关策略参量，比如上述步骤中涉及到的并发用户数、用例运行次数、用例运行的选择策略(随机选择，顺序选择等)、测试运行时间、测试对象等信息，就可相应确定此次稳定性测试中后台接口测试的参数数据。

步骤S203、调用用例生成器，用例生成器读取用例模板库中相应的用例模板，对请求的运行策略中各个参数数据按照参数类型进行随机生成具体的参数值，进而生成对应的测试用例，并将测试用例模板数据通过用例生成器直接写入系统外部内存中。

步骤S204、运行控制器读取驻存在系统外部内存中的测试用例模板数据，按照上述步骤中生成的应用程序后台接口第一测试策略运行此次应用程序接口稳定性的测试。

步骤S205、监控与日志生成器在运行控制器运行此次应用程序接口稳定性的测试的过程中实时监控各个接口的状态，记录各个接口异常日志信息；

步骤S206、测试运行完毕后，监控与日志生成器生成并输出测试报告。

当应用程序后台接口测试运行时，实时监控各个后台接口对各类请求的返回状态，当后台接口的返回状态异常时，把错误的状态及对应的请求类型记录在工作日志log中，并输出到对应的存储路径下的文件夹中或直接显示在显示装置中，方便开发研究人员对照查看。

在另一优选的实施例中，本实施例公开的一种自动化测试应用程序接口稳定性的方法，还包括步骤S2001、设置运行策略库中的运行策略和步骤S2002、编写用例模板库中的用例模板，上述两个准备步骤都是由开发研究人员根据测试系统的需要依据经验及智慧进行开发，是不可或缺的必备前期步骤，在具体实践过程中，上述运行策略库和用例模板库可以定期或者随时根据需要自动更新或者由开发研究人员手动更新。具体参照附图3中所示。

在另一优选的实施例中，本实施例公开的一种自动化测试应用程序接口稳定性的方法，在所述步骤S204、运行控制器读取驻存在系统外部内存中的测试用例模板数据，按照上述步骤中生成的应用程序后台接口第一测试策略运行此次应用程序接口稳定性的测试之前，还包括步骤S2003、运行控制器获取应用程序后台接口的参数信息，这里，参数信息可包括接口信息和测试数据。其中，接口信息可包括通信协议、接口地址、接口名称或接口版本号等信息中的一种或几种。

比如，自动化测试应用程序接口稳定性的系统运行在本地客户端，而应用程序运行在服务器，或者测试过程中应用程序需要与远端服务器进行信息交换，则此时通信协议是指客户端与服务器间的通信协议，可选的通信协议包括HTTP协议(HyperText Transfer Protocol，超文本传输协议)、HESSIAN协议和DUBBO协议，其中，HESSIAN协议和DUBBO协议是本领域技术人员知晓的基于HTTP协议的网络传输协议。

综上所述，本实施例二中公开的一种自动化测试应用程序接口稳定性的方法，基于实施例一中公开的自动化测试应用程序接口稳定性的系统进行操作使用，可自动生成应用程序后台接口的测试用例，测试用例覆盖率广，还可自定义策略运行测试，具有自动化运行测试的功能，自动生成详细测试日志log。

需要进一步说明的是，本领域普通技术人员可以意识到，结合本文中所公开的上述实施例描述的各示例的器、库及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种自动化测试应用程序接口稳定性的系统，其特征在于，所述系统包括：运行控制器、监控与日志生成器、用例生成器、用例模板库以及运行策略库；其中，所述运行控制器分别与所述监控与日志生成器、用例生成器以及运行策略库相连，所述用例生成器与所述用例模板库连接；

其中，所述运行控制器用于根据应用程序的后台接口类型，读取所述运行策略库的测试策略并调用用例生成器生成测试用例，最后读取上述测试用例进行测试运行，并监控测试策略的运行以及测试异常时的恢复功能；

所述运行策略库用于设置并存储不同应用程序后台接口的测试策略；

所述用例模板库用于编写并存储不同应用程序后台接口的测试模板；

所述用例生成器用于根据所述运行控制器发布的运行策略，读取所述用例模板库相应的测试模板，并根据上述运行策略对应的参数生成测试用例；

所述监控与日志生成器用于监控测试运行时各请求的返回状态，以及接口异常时日志的记录与生成。

2.根据权利要求1所述的一种自动化测试应用程序接口稳定性的系统，其特征在于，

所述应用程序后台接口的测试策略包括并发用户数、测试用例运行次数、测试用例运行的选择策略、测试运行时间、测试对象。

3.根据权利要求1所述的一种自动化测试应用程序接口稳定性的系统，其特征在于，

所述运行控制器还用于获取应用程序后台接口的参数信息，所述参数信息包括接口信息和测试数据，其中所述接口信息包括通信协议、接口地址、接口名称或/和接口版本号。

4.根据权利要求1至3任一所述的一种自动化测试应用程序接口稳定性的系统，其特征在于，

所述用例生成器与系统外部内存连接，所述用例生成器调用用例模板库生成测试用例数据并写入系统外部内存中。

5.根据权利要求1至3任一所述的一种自动化测试应用程序接口稳定性的系统，其特征在于，

所述运行控制器与系统外部内存连接，并读取驻存在系统外部内存中的测试用例数据。

6.根据权利要求1至3任一所述的一种自动化测试应用程序接口稳定性的系统，其特征在于，

所述运行策略库中的测试策略是在稳定性测试之前事先设置的，所述用例模板库中的用例模板是在稳定性测试之前事先编写的。

7.一种自动化测试应用程序接口稳定性的方法，其特征在于，包括下列步骤:

所述运行策略库根据所述运行控制器的命令生成需要运行的应用程序后台接口第一测试策略并传递给所述运行控制器；

所述运行控制器解析应用程序后台接口第一测试策略，确定接口测试的参数数据；

所述用例生成器接受所述运行控制器的调用后读取用例模板库中相应的用例模板，并根据上述运行策略对应的参数生成测试用例，然后写入系统外部内存中；

所述运行控制器读取驻存在系统外部内存中的测试用例数据，按照上述应用程序后台接口第一测试策略运行此应用程序接口稳定性的测试；

所述监控与日志生成器用于实时监控应用程序后台接口的状态，记录上述后台接口异常日志信息；

所述监控与日志生成器在测试运行完毕后生成并输出测试报告。

8.根据权利要求7所述的一种自动化测试应用程序接口稳定性的方法，其特征在于，所述运行控制器读取驻存在系统外部内存中的测试用例数据，按照上述应用程序后台接口第一测试策略运行此应用程序接口稳定性的测试之前，还包括:

所述运行控制器获取应用程序后台接口的参数信息，所述参数信息包括接口信息和测试数据，其中，所述接口信息包括通信协议、接口地址、接口名称或/和接口版本号。

9.根据权利要求7所述的一种自动化测试应用程序接口稳定性的方法，其特征在于，

所述运行策略库根据所述运行控制器的命令生成需要运行的应用程序后台接口第一测试策略并传递给所述运行控制器之前，还包括：

设置所述运行策略库中的测试策略和编写所述用例模板库中的用例模板。