CN102495799A - 移动终端的自动化测试系统和方法 - Google Patents

Abstract

本发明涉及一种移动终端的自动化测试系统，包括：测试管理服务器，用于管理测试资源、管理测试任务、监控测试状态、发送测试报告和保存测试日志；测试PC客户端，它包括有测试脚本开发调试环境模块和测试执行模块；移动测试终端，它是安装有移动测试终端代理模块的移动终端。本发明采用测试逻辑和测试用例分开的方式组织用户测试任务，提高测试系统的可维护性，创建、修改和维护测试脚本的工作量大大减少，降低用户使用自动化测试系统的成本，方便用户修改测试用例。

Description

移动终端的自动化测试系统和方法

技术领域

本发明属于移动通信的技术领域，更具体地说本发明涉及一种对移动终端的自动化测试系统和方法。

背景技术

随着移动互联行业和物联网的兴起，应用层软件比之以往无论在功能还是结构的复杂程度上都大大提高了，而且随着新的移动平台操作系统的推出，同一款软件需要在更多的不同终端设备上进行测试，导致需要大量的软件测试工程师对软件进行测试和跟踪，从而使得各生产厂商对研发过程中的软件测试投入了大量的人力物力。为此许多生产厂商迫切希望能够找到一种高效通用的应用层软件测试的方法，能够自动地进行移动终端应用层软件的测试，提高测试效率，降低移动终端产品的研发测试费用。然而目前国际流行的移动终端软件自动化测试系统(如TestQuest)还存在一些严重的缺陷，在录制、使用和维护自动化测试脚本过程中比较繁琐，会给使用自动化测试的用户带来额外的工作压力，并且测试效率低下，测试准确率也有待提高。

发明内容

本发明为解决现有技术中移动终端软件测试中测试效率低下、测试准确率不高的技术问题，提供一种针对移动终端的自动化测试系统。

为了解决上述技术问题，本发明采用了以下技术方案：

本发明移动终端的自动化测试系统，包括：

测试管理服务器，用于管理测试资源、创建测试任务、管理测试任务、监控测试状态、发送测试报告和保存测试日志；其中，所述测试任务由若干测试工程按照一定的测试逻辑组成；所述测试逻辑指组织测试过程的逻辑条件；所述测试工程指由若干测试数据与测试脚本组合而成的测试，所述测试脚本与所述测试数据独立；所述测试脚本为测试用例分解成的基本测试动作的计算机可读测试指令的集合；所述测试用例根据所述测试逻辑配置成测试任务；

测试PC客户端，包括提供开发设计测试脚本环境和显示测试设备屏幕内容的测试脚本开发调试环境子模块和接收并运行所述测试管理服务器测试任务的测试执行子模块；

测试终端代理程序模块，安装在待测所述移动终端上，接收所述测试管理服务器的测试指令、解析并执行所述测试指令、返回测试结果。

所述测试管理服务器包括如下单元中的一种或多种：

a)测试脚本基本信息管理单元，管理上传到所述测试管理服务器的测试脚本，开启共享功能；

b)测试脚本规则管理单元，按一定测试逻辑组建测试规则，所述测试逻辑规则根据前一次测试工程的通过率判断是否要执行下一个测试工程；

c)测试任务管理单元，将测试规则应用于某一待测移动终端上形成测试任务；

d)测试日志管理单元，管理测试执行子模块上传的日志；

e)用户角色管理单元，分配不同的用户权限给不同的用户角色，所述用户角色包括管理员、一般用户和高级用户；

f)测试报告管理单元，根据测试日志内容归纳出测试报告，并将测试报告以电子邮件形式发送给指定邮箱地址；

g)测试脚本版本控制单元，提供源码版本控制服务给测试脚本开发用户使用；

h)测试计划管理单元，完成对待测移动终端进行测试计划的管理；

i)测试设备状态监控单元，用于监控被测试终端的工作状态，所述工作状态包括脱机状态、联机状态和测试状态；

j)测试执行子模块状态监控，用于监控测试执行子模块的工作状态；

k)测试状态监控单元，用于监控所有的测试任务的运行状态，包括测试完成、测试中、测试终止和测试失败；

l)测试队列监控单元，用于安排多个测试任务排队。

所述测试管理服务器还包括测试设备状态管理单元，用于监控当前连接的所有测试设备。

所述的测试管理服务器还包括测试数据存储单元，用于存储包括测试脚本、测试日志和测试报告等的数据信息。

所述测试执行子模块包括：

a)测试脚本执行管理单元，用于测试脚本的执行控制，包括解析测试执行，下发测试指令，回收测试执行结果；

b)测试脚本预处理单元，用于接收测试任务，解包测试任务压缩包，获取测试数据。

所述测试脚本开发调试环境子模块，设置有以下单元中的一种或多种：

a)测试脚本设计单元，负责测试脚本的编写调试；

b)可视化测试脚本设计单元，采取可视化工作方式按测试逻辑组合测试工程；

c)脚本编写辅助单元，自动提示系统所支持的测试接口；

d)脚本版本控制单元，记录修改脚本历史记录；

e)脚本调试单元，提供调试功能；

f)测试用例的数据组成单元，按照测试逻辑将测试工程组合成测试规则，所述测试工程由测试脚本和测试数据组成；

g)测试日志浏览单元，用于查看测试日志记录；

h)测试设备列表单元，用于管理和使用当前系统所连接的所有测试设备；

i)测试进度监控单元，用于监控当前测试进度信息；

j)IDE工作状态监控单元，用于监控当期IDE的工作信息。

同时，提供一种移动终端的自动化测试方法，具体包括如下步骤：

a)编写测试脚本，所述测试脚本指自动执行测试过程或部分测试过程的计算机可读测试指令；

b)准备测试数据；

c)按照需求将测试数据填入测试脚本组成测试工程；

d)依据测试逻辑配置测试工程组成测试规则，所述测试规则被应用于被测设备并开始测试生成测试任务；所述测试逻辑指组织测试过程的逻辑条件；

e)执行测试任务；

f)返回执行结果数据；

g)比对所述执行结果数据，判定测试结果。

所述步骤d)中的测试规则和测试任务由测试管理服务器创建，所述测试管理服务器据此生成测试任务数据包发送给测试执行子模块。

所述步骤e)具体包括：所述测试执行子模块接收所述测试任务数据包，解析出所述测试任务数据包中包含的测试脚本并执行测试脚本，并发送测试指令到待测移动终端；待测移动终端接收并执行所述测试指令，并返回所述测试指令的执行结果数据。

所述步骤a)中还包括建立测试脚本开发调试环境的步骤。

所述测试脚本开发调试环境采取可视化工作方式按照所述测试逻辑组合测试工程。

在所述步骤a)之前，还包括分析测试需求，总结测试用例，将所述测试用例分解成基本测试动作的步骤。

本发明采用测试逻辑和测试用例分开的方式生成测试任务，提高测试系统的可维护性，创建、修改和维护测试脚本的工作量大大减少，降低用户使用自动化测试系统的成本，方便用户修改测试用例。

附图说明

图1是本发明的移动终端的自动化测试系统的结构框图；

图2是本发明一个实施例的移动终端的自动化测试方法的流程图；

图中附图标记表示为：1-测试管理服务器，2-测试PC客户端，3-测试终端代理程序模块。

具体实施方式

参见图1和图2所示，作为本发明一个实施例的一种移动终端的自动化测试系统，包括，测试管理服务器1，用于管理测试资源、创建测试任务、管理测试任务、监控测试状态、发送测试报告和保存测试日志；其中，所述测试任务由若干测试工程按照一定的测试逻辑组成；所述测试逻辑指组织测试过程的逻辑条件；所述测试工程指由若干测试数据与测试脚本组合而成的测试，所述测试脚本与所述测试数据独立；所述测试脚本为测试用例分解成的基本测试动作的计算机可读测试指令的集合；所述测试用例根据所述测试逻辑配置成测试任务；测试PC客户端2，包括提供开发设计测试脚本环境和显示测试设备屏幕内容的测试脚本开发调试环境子模块和接收并运行所述测试管理服务器1测试任务的测试执行子模块；测试终端代理程序模块3，安装在待测所述移动终端上，接收所述测试管理服务器1的测试指令、解析并执行所述测试指令、返回测试结果。

其中，所述测试管理服务器1包括以下单元：

a)测试脚本基本信息管理单元，管理上传到所述测试管理服务器1的测试脚本，开启共享功能供其他人使用；

b)测试脚本规则管理单元，按一定测试逻辑组建测试规则，所述测试逻辑规则根据前一次测试用例的通过率判断是否要执行下一个测试用例；

c)测试任务管理单元，将测试规则应用于某一待测移动终端上形成测试任务；

d)测试日志管理单元，管理测试执行子模块上传的日志；

e)用户角色管理单元，分配不同的用户权限给不同的用户角色，所述用户角色包括管理员、一般用户和高级用户；

f)测试日志管理单元，根据测试日志内容归纳出测试报告，并将测试报告以电子邮件形式发送给指定邮箱地址；

g)测试脚本版本控制单元，提供源码版本控制服务给测试脚本开发用户使用，方便用户管理测试脚本；

h)测试计划管理单元，完成对待测移动终端进行测试计划的管理；

i)测试设备状态监控单元，用于监控被测试终端的工作状态，所述工作状态包括脱机状态、联机状态和测试状态；

j)测试执行子模块状态监控，用于监控测试执行子模块的工作状态；

k)测试状态监控单元，用于监控所有的测试任务的运行状态，包括测试完成、测试中、测试终止和测试失败；

l)测试队列监控单元，用于安排多个测试任务排队。

所述测试管理服务器1还包括测试设备状态管理单元，用于监控当前连接的所有测试设备。

所述的测试管理服务器1还包括测试数据存储单元，用于存储包括测试脚本、测试日志和测试报告等的数据信息。

所述测试执行子模块包括以下单元：

a)测试脚本执行管理单元，用于测试脚本的执行控制，包括解析测试执行，下发测试执行，回收测试执行结果；

b)测试脚本预处理单元，用于接收测试任务，解包测试任务压缩包，获取测试数据。

所述测试脚本开发调试环境子模块，设置有：

a)测试脚本设计单元，负责测试脚本的编写调试，支持Javascript、Python等脚本语言；

b)可视化测试脚本设计单元，采取可视化工作方式按测试逻辑组合测试工程；

c)脚本编写辅助单元，自动提示系统所支持的测试接口，方便脚本编写工作，提高脚本开发效率；

d)脚本版本控制单元，记录修改脚本历史记录，方便团队协作编写脚本；

e)脚本调试单元，提供调试功能，辅助测试脚本的编写；

f)测试用例的数据组成单元，按照测试逻辑将测试数据组合成测试用例，按照测试逻辑将测试工程组合成测试规则，而测试工程由测试脚本和测试数据组成，采用测试逻辑和测试数据分开的方式组织用户测试用例，提高可维护性，降低用户使用自动化测试系统的成本，方便用户修改测试用例，这也是本发明区别于现有技术的主要技术创新点。

如下将从浏览器的功能测试角度，用具体的数据加以分析：以三个测试用例为例。

测试用例ID	测试用例描述
		001	打开手机浏览器应用进入指定页面下载Mp3。
002	打开手机浏览器应用进入指定页面下载Jpg。
		003	打开手机浏览器应用进入指定页面下载txt。

下面将把现有技术中测试系统与本发明测试系统完成录制回放进行工作量的比较：

首先，在代码的创建上：

现有测试系统中的录制回放：对于三个测试用例，需要进行三遍代码的录制，这样才能完成三个测试用例。

本发明中的测试系统进行现有测试系统中的录制回放：只需书写一遍代码，然后将相应的参数(下载的文件格式)进行修改，即可完成三个测试用例的录制。

对于三个测试用例，创建新的脚本所用时间数据(实际的工作时间)

代码的修改上：

现有测试系统中的录制回放：如果用户的需求有一定的变化，而且这个变化又是用个通用的部分，比如通过另外一个途径打开浏览器，如果是录制的话，就需要把三个测试用例录制的脚本在共同的部分全部修改。

本发明的测试系统：如果用户的需求有一定的变化，而且这个变化又是用个通用的部分，比如通过另外一个途径打开浏览器，我们只需要修改一个地方即可，因为我们的脚本只有一套。

对于三个测试用例，修改已有的脚本所用时间数据(实际的工作时间)：

代码的维护成本上：

现有测试系统中的录制回放：对于三个测试用例，需要维护三套脚本，试想一下，如果测试用例数量很多的话，需要维护的工作量将会很大。

本发明的测试系统：对于三个测试用例，只需要一套脚本。

对于三个测试用例，维护已有的脚本所用时间数据(实际的工作时间)：

由上述分析可见，本发明的测试系统在一个测试用例的情况下，其新建、修改和维护代码的时间成本相对于现有技术中的测试系统新建、修改和维护代码的时间成本基本相同；随着测试用例的增多，其新建、修改和维护代码的时间成本相对于现有技术中的测试系统新建、修改和维护代码的时间成本优势越来越明显。适用于自动化测试系统，可大大减少测试工作量，降低测试成本。

g)测试日志浏览单元，用于查看测试日志记录；

h)测试设备列表单元，用于管理和使用当前系统所连接的所有测试设备；

i)测试进度监控单元，用于监控当前测试进度信息；

j)IDE(全称Integrated Development，意为集成开发环境)工作状态监控单元，用于监控当期IDE的工作信息。

同时提供一种移动终端的自动化测试方法，具体参见图2所示，包括如下步骤：

S01、编写测试脚本：具体包括分析测试需求，总结测试用例，并将所述测试用例分解成基本动作，将该基本动作编写成计算机可读测试指令的集合即为测试脚本；同时，建立可视化的所述测试脚本开发调试环境；

S02、准备测试数据，所述测试脚本和所述测试数据独立；

S03、按照需求将测试数据填入测试脚本组成测试工程；

S04、所述测试脚本开发调试环境采取可视化工作方式按照所述测试逻辑组合配置所述测试工程生成测试规则，所述测试逻辑和所述测试工程独立；所述测试规则被应用于被测设备并开始测试生成测试任务，所述测试逻辑指组织测试过程的逻辑条件；所述测试管理服务器1据此生成测试任务数据包发送给测试执行子模块；

S05、所述测试执行子模块接收所述测试任务数据包，解析出所述测试任务数据包中包含的测试脚本并执行测试脚本，并发送测试指令到待测移动终端；待测移动终端接收并执行所述测试指令，并返回所述测试指令的执行结果数据；

S06、根据执行结果数据判定测试结果。

所述测试脚本开发调试和测试执行运行在测试PC客户端2。当然对本领域技术人员而言，当被测移动终端的内存和处理能力发展到一定程度，也可以代替单独的测试PC客户端2，用于测试脚本开发调试和执行测试任务。

本发明的自动化测试系统工作原理是通过按测试需求的逻辑编写测试脚本；通过测试脚本驱动测试接口；测试设备根据测试接口执行测试动作并回馈测试结果；根据回馈的测试接口的执行结果判定测试结果。同时采取分布式结构来部署整体测试系统，各个模块的功能相对独立，以通信协议方式进行联动工作，形成高效自动化测试系统。此系统是开放式系统，即任何符合通信协议的被测试终端都可以被此自动化测试系统所支持。

本发明的自动化测试系统能够利用Python & JavaScript语言设计开发测试脚本；管理测试资源(测试PC，测试设备，测试脚本，测试日志和测试报告)；自定义测试任务；监控测试状态；监控测试设备运行状态；发送测试结果、生成测试报告；并且还能够支持多国语言、用户自定义测试验证模块插件以及测试脚本版本控制。

本发明的优点在于：相对国际流行的自动化测试系统而言，本发明的自动化测试系统和方法采用测试逻辑和测试用例分离的方式，根据测试用例和测试逻辑组织测试任务，提高测试系统的可维护性，创建、修改和维护测试脚本的工作量大大减少，降低用户使用自动化测试系统的成本，方便用户修改测试用例。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (12)

1.一种移动终端的自动化测试系统，其特征在于：包括，

测试管理服务器，用于管理测试资源、创建测试任务、管理测试任务、监控测试状态、发送测试报告和保存测试日志；其中，所述测试任务由若干测试工程按照一定的测试逻辑组成；所述测试逻辑指组织测试过程的逻辑条件；所述测试工程指由若干测试数据与测试脚本组合而成的测试，所述测试脚本与所述测试数据独立；所述测试脚本为测试用例分解成的基本测试动作的计算机可读测试指令的集合；

测试PC客户端，包括提供开发设计测试脚本环境和显示测试设备屏幕内容的测试脚本开发调试环境子模块和接收并运行所述测试管理服务器测试任务的测试执行子模块；

测试终端代理程序模块，安装在所述待测移动终端上，接收所述测试管理服务器的测试指令、解析并执行所述测试指令、返回测试结果。

2.根据权利要求1所述的自动化测试系统，其特征在于：所述测试管理服务器包括如下单元中的一种或多种：

   a) 测试脚本基本信息管理单元，管理上传到所述测试管理服务器的测试脚本，开启共享功能；

   b) 测试脚本规则管理单元，按一定测试逻辑组建测试规则，所述测试逻辑规则根据前一次测试工程的通过率判断是否要执行下一个测试工程；

   c) 测试任务管理单元，将测试规则应用于某一待测移动终端上形成测试任务；

   d) 测试日志管理单元，管理测试执行子模块上传的日志；

   e) 用户角色管理单元，分配不同的用户权限给不同的用户角色，所述用户角色包括管理员、一般用户和高级用户；

   f) 测试报告管理单元，根据测试日志内容归纳出测试报告，并将测试报告以电子邮件形式发送给指定邮箱地址；

   g) 测试脚本版本控制单元，提供源码版本控制服务给测试脚本开发用户使用；

   h) 测试计划管理单元，完成对待测移动终端进行测试计划的管理；

   i) 测试设备状态监控单元，用于监控被测试终端的工作状态，所述工作状态包括脱机状态、联机状态和测试状态；

   j) 测试执行子模块状态监控，用于监控测试执行子模块的工作状态；

   k) 测试状态监控单元，用于监控所有的测试任务的运行状态，包括测试完成、测试中、测试终止和测试失败；

   l) 测试队列监控单元，用于安排多个测试任务排队。

3.根据权利要求2所述的自动化测试系统，其特征在于：所述测试管理服务器还包括测试设备状态管理单元，用于监控当前连接的所有测试设备。

4.根据权利要求3所述的自动化测试系统，其特征在于：所述的测试管理服务器还包括测试数据存储单元，用于存储包括测试脚本、测试日志和测试报告等的数据信息。

5.根据权利要求4所述的自动化测试系统，其特征在于:所述测试执行子模块包括：

   a) 测试脚本执行管理单元，用于测试脚本的执行控制，包括解析测试指令，下发测试指令，回收测试执行结果；

   b) 测试脚本预处理单元，用于接收测试任务，解包测试任务压缩包，获取测试数据。

6.根据权利要求5所述的自动化测试系统，其特征在于:所述测试脚本开发调试环境子模块，设置有以下单元中的一种或多种：

   a) 测试脚本设计单元，负责测试脚本的编写调试;

   b) 可视化测试脚本设计单元，采取可视化工作方式按测试逻辑组合测试工程;

   c) 脚本编写辅助单元，自动提示系统所支持的测试接口;

   d) 脚本版本控制单元，记录修改脚本历史记录;

   e) 脚本调试单元，提供调试功能;

   f) 测试用例的数据组成单元，按照测试逻辑将测试工程组合成测试规则;

   g) 测试日志浏览单元，用于查看测试日志记录;

   h) 测试设备列表单元，用于管理和使用当前系统所连接的所有测试设备；

   i) 测试进度监控单元，用于监控当前测试进度信息；

   j) IDE工作状态监控单元，用于监控当期IDE的工作信息。

7.一种移动终端的自动化测试方法，其特征在于，包括如下步骤：

a)编写测试脚本，所述测试脚本指自动执行测试过程或部分测试过程的计算机可读测试指令；

b)准备测试数据；

c)按照需求将测试数据填入测试脚本组成测试工程；

d)依据测试逻辑配置测试工程组成测试规则，所述测试规则被应用于被测设备并开始测试生成测试任务；所述测试逻辑指组织测试过程的逻辑条件；

e)执行测试任务；

f)返回执行结果数据；

g)比对所述执行结果数据，判定测试结果。

8.根据权利要求7所述的自动化测试方法，其特征在于：所述步骤d)中的测试规则和测试任务由测试管理服务器创建，所述测试管理服务器据此生成测试任务数据包发送给测试执行子模块。

9.根据权利要求8所述的自动化测试方法，其特征在于：所述步骤e)具体包括：所述测试执行子模块接收所述测试任务数据包，解析出所述测试任务数据包中包含的测试脚本并执行测试脚本，并发送测试指令到待测移动终端；待测移动终端接收并执行所述测试指令，并返回所述测试指令的执行结果数据。

10.根据权利要求9所述的自动化测试方法，其特征在于：所述步骤a)中还包括建立测试脚本开发调试环境的步骤。

11.根据权利要求10所述的自动化测试方法，其特征在于：所述测试脚本开发调试环境采取可视化工作方式按照所述测试逻辑组合测试工程。

12.根据权利要求11所述的自动化测试方法，其特征在于：在所述步骤a)之前，还包括分析测试需求，总结测试用例，将所述测试用例分解成基本测试动作的步骤。

Images