CN104794048B

CN104794048B - 一种ui自动化测试方法和系统

Info

Publication number: CN104794048B
Application number: CN201410020636.2A
Authority: CN
Inventors: 江进朋
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2014-01-17
Filing date: 2014-01-17
Publication date: 2017-10-24
Anticipated expiration: 2034-01-17
Also published as: CN104794048A

Abstract

本发明提供了一种UI自动化测试方法和系统，测试用例与测试代码分别存储于不同的文件，并由测试用例驱动测试代码的运行；所述测试代码在运行过程中调用图片定位工具提供的API进行控件定位。在本发明中控件定位不再依赖控件属性，而是采用图片匹配定位的方式，从而提高了测试效率，同时测试用例与测试代码分离，无需采用额外的代码进行测试用例的解析，进一步提高了测试效率，并且后期对测试用例的删减、修改或统计只需要在测试用例的文件中进行，不必重新编写测试代码，方便进行管理和维护。

Description

一种UI自动化测试方法和系统

【技术领域】

本发明涉及计算机测试技术领域，特别涉及一种UI（用户界面）自动化测试方法和系统。

【背景技术】

目前越来越多的公司或企业在平时的质量保证工作中引入UI自动化来代替人工测试，以提高效率降低人力成本，但是UI自动化测试框架不管是通过人工写代码还是通过录制脚本的方式，都是基于页面上控件的定位，而控件定位的过程是相当耗时的，目前采用的定位方式都是基于控件属性的，这就会造成有些控件属性是随机变化或者不存在的，那么定位就更加耗时，并且给UI自动化测试框架带来不稳定性。

另外，现有的UI自动化测试框架基于ruby（一种面向对象程序设计的脚本语言），测试代码与测试用例写在同一个文件中，需要额外的代码对测试用例进行解析，编辑起来也很麻烦。

【发明内容】

有鉴于此，本发明提供了一种UI自动化测试方法和系统，以便于提高测试效率，同时实现实例的更有效组织。

具体技术方案如下：

本发明提供了一种用户界面UI自动化测试方法，该方法包括：

测试用例与测试代码分别存储于不同的文件，并由测试用例驱动测试代码的运行；

所述测试代码在运行过程中调用图片定位工具提供的应用程序编程接口API来进行控件定位。

根据本发明一优选实施方式，在UI自动化测试框架中集成testNG插件或者在testNG基础上的二次封装工具插件以实现所述测试用例与测试代码分别存储于不同的文件，并由测试用例驱动测试代码的运行；

所述在testNG基础上的二次封装工具包括JSpec、jtester或者Qtester。

根据本发明一优选实施方式，所述由测试用例驱动测试代码的运行包括：

各测试用例驱动编辑器中各测试用例对应的测试代码进行调试运行。

根据本发明一优选实施方式，该方法还包括：

将调试通过的测试代码提交到持续集成服务器，由持续集成服务器将测试代码发送到能够运行该测试代码的自动化执行机器上运行。

根据本发明一优选实施方式，所述测试代码在运行过程中调用图片定位工具提供的API来进行控件定位包括：

所述测试代码在运行过程中，如果进行某控件的定位，则从预设目录下获取该控件的截图并调用图片定位工具提供的API，获取图片定位工具利用该控件的截图在被测对象上进行匹配后得到的控件定位结果。

本发明还提供了一种UI自动化测试系统，该系统包括：

用例组织单元，用于将测试用例与测试代码分别存储于不同的文件；

代码运行单元，用于在所述测试用例的驱动下运行测试代码，所述测试代码在运行过程中调用图片定位工具提供的API来进行控件定位。

根据本发明一优选实施方式，所述用例组织单元采用在UI自动化测试框架中集成testNG插件或者在testNG基础上的二次封装工具插件以实现所述测试用例与测试代码分别存储于不同的文件；所述在testNG基础上的二次封装工具包括JSpec、jtester或者Qtester。

根据本发明一优选实施方式，所述代码运行单元具体包括：代码调试子单元，用于在各测试用例的驱动下，在编辑器中对各测试用例对应的测试代码进行调试运行。

根据本发明一优选实施方式，所述代码运行单元还包括代码提交子单元，该系统还包括持续集成服务器和自动化执行机器；

所述代码提交子单元，用于将调试通过的测试代码提交到所述持续集成服务器；

所述持续集成服务器，用于将测试代码发送到能够运行该测试代码的自动化执行机器；

所述自动化执行机器，用于运行接收到的测试代码。

根据本发明一优选实施方式，所述测试代码在运行过程中，如果进行某控件的定位，则从预设目录下获取该控件的截图并调用图片定位工具提供的API，获取图片定位工具利用该控件的截图在被测对象上进行匹配后得到的控件定位结果。

由以上技术方案可以看出，在本发明中控件定位不再依赖控件属性，而是采用图片匹配定位的方式，从而提高了测试效率，同时测试用例与测试代码分离，无需采用额外的代码进行测试用例的解析，进一步提高了测试效率，并且后期对测试用例的删减、修改或统计只需要在测试用例的文件中进行，不必重新编写测试代码，方便进行管理和维护。

【附图说明】

图1为本发明实施例一提供的UI自动化测试方法流程图；

图2为本发明实施例一对应的系统架构示意图；

图3为本发明实施例一提供的自动化测试的基本代码结构；

图4为本发明实施例二提供的UI自动化测试系统的结构图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明的核心思想在于：在组织测试用例时，采用测试用例与测试代码分离的方式，将测试用例与测试代码分别存储于不同的文件，在测试代码中调用采用图片匹配定位工具的API（应用程序编程接口）来进行控件定位。下面通过实施例一对本发明提供的UI自动化测试方法进行详细描述。

实施例一、

图1为本发明实施例一提供的UI自动化测试方法流程图，该流程图对应的系统架构如图2中所示。如图1中所示，该方法具体包括：

步骤101：通过在JSpec中编写的测试用例驱动编辑器中测试代码的运行。

在本发明中要实现测试用例与测试代码分别存储于不同的文件，并由测试用例驱动测试代码的运行，需要将testNG或者在testNG基础上的二次封装工具引入UI自动化测试，即在UI自动化测试框架中集成testNG插件或者在testNG基础上的二次封装工具插件。testNG（Testing Next Gerneration，下一代测试技术）是一种开源工具，根据JUnit和Nunit思想而构建的利用注释来强化测试功能的测试框架。上述在testNG基础上的二次封装工具可以包括但不限于JSpec、jtester或者Qtester。

在本发明实施例中在UI自动化测试框架中集成JSpec插件，采用JSpec所提供的story的方式来组织测试用例。在以往的技术中，JSpec通常用于单元测试，在本发明实施例中将单元测试的框架引入UI自动化测试框架，在此UI自动化测试框架可以采用Eclipse（Eclipse是一个开放源代码的、基于Java的可扩展开发平台，用于通过插件组件构建开发环境）。

举一个例子来说明利用JSpec提供的Story方式来组织测试用例的方式，假设需要在百度搜索框中分别输入“mp3”、“mp4”、“mp5”关键字进行查询测试，那么利用JSpec组织测试用例的格式如下：

○Story

功能描述：测试百度搜索

作者：***

修改时间：2013-12-13

测试用例集合：

[Case01]input:mp3

[Case02]input:mp4

[Case03]input:mp5

○Scenario case1:input:mp3

○Given init test data

○When testJSpec

【input=“mp3”】

○Then check result

○Then delete test data

○Scenario case2:input:mp4

○Given init test data

○When testJSpec

【input=“mp4”】

○Then check result

○Then delete test data

○Scenario case3:input:mp5

○Given init test data

○When testJSpec

【input=“mp5”】

○Then check result

○Then delete test data

上述格式中，Story到Scenario中间的部分是测试用例的说明部分，类似注释，主要说明本次测试用例集合主要测试什么功能，包括哪些测试用例。每一个Scenario对应一个测试用例，其中Given部分是测试数据准备部分，如果没有可以为空；When部分是测试代码所在部分，方法名，对应测试代码中的测试方法；【】中的部分为传递的参数；Then部分是测试后的检验和校验以及测试数据清理，如果没有可以为空。

这种组织形式的好处在于，Story中每个测试用例十分清晰，无需额外的代码进行解析；如果后期需要添加测试用例，只需要在Story中添加一个Scenario即可，或者，如果需要删减、修改或统计测试用例，也只需要在Story文件中进行编辑，给UI自动化开发和维护带来很大的方便。

如果采用jtester，则采用wiki文件来组织测试用例，如果采用Qtester，则可以采用wiki文件或excel文件来组织测试用例，在此不再一一赘述。

步骤102：编辑器中测试代码的调试运行过程中调用sikuli提供的API进行控件定位。

在UI自动化测试的开发过程中，自动化执行测试之前会在编辑器中对编写的测试代码进行调试，调试过程中的测试代码运行按照测试用例的驱动。在本发明实施例中，测试代码的业务逻辑层调用底层的API进行控件定位，该API是采用图片匹配定位方式的工具提供的，本发明实施例中以sikuli为例，还可以采用诸如webdriver等其他工具。

sikuli是一种图形脚本语言，可以利用控件截图在页面上进行匹配的方式进行控件定位。本发明实施例中在Eclipse中引入sikuli提供的控件截图包，在测试代码的业务逻辑层中调用sikuli提供的API实现控件定位。

本UI自动化测试的基本代码结构可以如图3中的目录结构所示，其中，testJSpec.java是测试代码，可以根据自己的需要调整目录结构。testJSpec.story是测试用例组织管理文件，一般是和相对应的测试代码放在一起，从而方便实现测试代码的驱动，可见测试用例和测试代码是分别放在.story文件和.java文件中的。img目录中存放的是控件定位时用到的图片，此图片需要根据页面具体的控件进行截图。

测试代码在运行过程中，如果进行某控件的定位，则从img目录下获取该控件的截图并调用sikuli提供的API，获取sikuli利用该控件的截图在被测页面上进行匹配后得到的空间定位结果。需要说明的是，在本实施例中以页面上控件的定位为例，当然也可以用于其他被测对象的控件定位，例如客户端中某些游戏类应用的控件定位等。

通过调用图片匹配定位工具的API来实现控件定位，相比较现有技术中基于控件属性的方式，一方面提高了效率，另一方面也避免属性变化或不存在所带来的无法定位的缺陷。

另外，当测试代码编写完成后，如果后期面对业务升级需要对页面中的控件元素进行变动，在此只需要做两步：一是重新截取发生变动的控件的截图，保存在img目录中，二是在测试代码中修改一下对图片的引用即可。完全不需要重新编写测试代码，大大降低了维护成本。

步骤103：将调试通过的测试代码提交到jenkins服务器，将各测试代码发送到对应的自动化执行机器上运行。

对于调试通过的测试代码在进行具体的测试执行时，由能够运行该测试代码的自动化执行机器来运行。jenkins服务器是一种基于java开发的持续集成服务器，也可以采用其他持续集成服务器。jenkin服务器会将各测试代码发送至能够运行该测试代码的自动化执行机器上。

在自动化执行机器上运行测试代码时，同样地，在测试代码的运行过程中调用sikuli提供的API进行控件定位。这种实现方式还有一个好处，例如如果对于某个UI自动化测试需要在不同浏览器下执行测试用例，那么只需要截取不同浏览器下页面控件的截图存储于img目录下，jenkins服务器将测试用例分发到对应的浏览器执行即可，例如可以通过app.openAPP()函数来启动对应的浏览器。

以上是对本发明所提供的方法进行的详细描述，下面通过实施例二对本发明所提供的系统进行详细描述。

实施例二、

图4为本发明实施例二提供的UI自动化测试系统的结构图，如图4所示，该系统可以包括用例组织单元10和代码运行单元20，还可以包括持续集成服务器30和自动化执行机器40。

其中用例组织单元10将测试用例与测试代码分别存储于不同的文件。具体地，可以采用在UI自动化测试框架中集成testNG插件或者在testNG基础上的二次封装工具插件以实现所述测试用例与测试代码分别存储于不同的文件；上述在testNG基础上的二次封装工具包括JSpec、jtester或者Qtester。在组织测试用例时，如果采用JSpec，则采用story文件存储测试用例，一个story文件中可以包括一个以上的测试用例，每个测试用例对应有测试代码。如果采用jtester，则采用wiki文件来组织测试用例，如果采用Qtester，则可以采用wiki文件或excel文件来组织测试用例，在此不再一一赘述。

在测试用例的驱动下代码运行单元20运行测试代码，测试代码在运行过程中调用图片定位工具提供的API来进行控件定位。

具体地，代码运行单元20可以进一步包括代码调试子单元21，还可以进一步包括代码提交子单元22。

在UI自动化测试的开发过程中，自动化执行测试之前会在编辑器中对编写的测试代码进行调试，因此在story文件中包含的各测试用例的驱动下，代码调试子单元21在编辑器中对各测试用例对应的测试代码进行调试运行。测试代码在运行过程中，如果进行某控件的定位，则从预设目录下获取该控件的截图并调用图片定位工具提供的API，获取图片定位工具利用该控件的截图在被测对象上进行匹配后得到的控件定位结果。其中图片定位工具可以采用诸如sikuli或webdriver等工具。

然后由代码提交子单元22将调试通过的测试代码提交到持续集成服务器30。持续集成服务器30将测试代码发送到能够运行该测试代码的自动化执行机器40，再由自动化执行机器40运行接收到的测试代码。在此可以采用诸如jenkins服务器，也可以采用其他持续集成服务器。

同样的测试代码在持续集成服务器30上运行时，如果进行某控件的定位，则从预设目录下获取该控件的截图并调用图片定位工具提供的API，获取图片定位工具利用该控件的截图在被测对象上进行匹配后得到的控件定位结果。其中图片定位工具可以采用诸如sikuli或webdriver等工具。

本发明进行的UI自动化测试所涉及的控件可以是页面控件，这种情况下自动化执行机器40可以是浏览器，如果涉及的控件是其他应用对象的控件，诸如客户端的游戏应用中的控件，则自动化执行机器40可以是具体的客户端。总之持续集成服务器30会将测试代码分发给能够运行该测试代码的自动化执行机器40上运行。

由以上描述可以看出，本发明提供的方法和系统具备以下优点：

1）控件定位不再依赖控件属性，而是采用图片匹配定位的方式，从而提高了测试效率，经实验验证，图片匹配定位的方式能够使得开发UI自动化代码的效率提高50%～60%。

2）在本发明中，如果后期页面重构或者变更了，只需要更换控件截图和修改的测试代码的图片引用即可，无需重新编写测试代码，可以使后期维护成本节省100%到200%。

3）在组织测试用例时，将测试用例与测试代码分离，一方面无需采用额外的代码对测试用例进行解析，另一方面后期对测试用例的删减、修改或统计，只需要在存储测试用例的文件中进行，不必重新编写测试代码，方便进行管理和维护。

4）采用图片匹配的方式定位控件，不在基于控件的属性，避免了控件属性变化或不存在而造成的控件无法定位，提高了UI自动化运行的稳定性。

5）对于不同的测试需求，例如测试所针对的浏览器类型的不同，仅需要针对具体的浏览器类型进行控件截图即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种用户界面UI自动化测试方法，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，在UI自动化测试框架中集成testNG插件或者在testNG基础上的二次封装工具插件以实现所述测试用例与测试代码分别存储于不同的文件，并由测试用例驱动测试代码的运行；

所述在testNG基础上的二次封装工具包括JSpec、jtester、Qtester三者中的任意组合。

3.根据权利要求1所述的方法，其特征在于，所述由测试用例驱动测试代码的运行包括：

4.根据权利要求3所述的方法，其特征在于，该方法还包括：

5.根据权利要求1至4任一权项所述的方法，其特征在于，所述测试代码在运行过程中调用图片定位工具提供的API来进行控件定位包括：

6.一种UI自动化测试系统，其特征在于，该系统包括：

7.根据权利要求6所述的系统，其特征在于，所述用例组织单元采用在UI自动化测试框架中集成testNG插件或者在testNG基础上的二次封装工具插件以实现所述测试用例与测试代码分别存储于不同的文件；所述在testNG基础上的二次封装工具包括JSpec、jtester、Qtester三者中的任意组合。

8.根据权利要求6所述的系统，其特征在于，所述代码运行单元具体包括：代码调试子单元，用于在各测试用例的驱动下，在编辑器中对各测试用例对应的测试代码进行调试运行。

9.根据权利要求8所述的系统，其特征在于，所述代码运行单元还包括代码提交子单元，该系统还包括持续集成服务器和自动化执行机器；

所述自动化执行机器，用于运行接收到的测试代码。

10.根据权利要求6至9任一权项所述的系统，其特征在于，所述测试代码在运行过程中，如果进行某控件的定位，则从预设目录下获取该控件的截图并调用图片定位工具提供的API，获取图片定位工具利用该控件的截图在被测对象上进行匹配后得到的控件定位结果。