CN111611157A - Gms持续集成构建自动化测试方法及系统 - Google Patents

Abstract

本发明公开了一种GMS持续集成构建自动化测试方法及其系统，该方法包括：固件编译步骤，编译服务器根据Jenkins服务器的第一控制指令，同步代码，编译固件，并将固件同步给若干指定的测试主机；测试处理步骤，所述测试主机根据Jenkins服务器的第二控制指令，通过adb连接若干待测试设备，将所述固件烧写至所述待测试设备，对所述待测试设备的环境进行设置，执行GMS测试，并将测试结果并上传至测试分析服务器；结果分析步骤，所述测试分析服务器根据Jenkins服务器的第三控制指令，统计分析所述测试结果，并发送相应的测试分析结果邮件。本发明至少具有以下的有益效果：降低了人力成本，提高了GMS测试效率更高，自动化覆盖率高，基本不需要投入测试人力，复用性强。

Description

GMS持续集成构建自动化测试方法及系统

技术领域

本发明涉及计算机测试领域，特别涉及一种GMS持续集成构建自动化测试方法及系统。

背景技术

随着android系统的广泛使用，企业想要提升android电子产品的销量，则需要考虑进入海外市场。而海外市场的电子产品若通过GMS认证，能带来较大的竞争优势。要获取Google Mobile Service(GMS，谷歌移动服务)认证，搭载Android系统的电子产品(如平板)需要在GMS测试中输出0fail(即零失败)报告。

目前针对获取谷歌认证的测试手段，暂时没有较好的解决办法，基本上是加大投入人力以完成测试结果的输出，0fail报告输出的效率慢且耗费人力。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种GMS持续集成构建自动化测试方法，能够减少人力消耗提升测试效率。

本发明还提出一种采用上述GMS持续集成构建自动化测试方法的GMS持续集成构建自动化测试系统。

根据本发明的第一方面实施例的GMS持续集成构建自动化测试方法，包括：固件编译步骤，编译服务器根据Jenkins服务器的第一控制指令，同步代码，编译固件，并将所述固件同步给若干指定的测试主机；测试处理步骤，所述测试主机根据所述Jenkins服务器的第二控制指令，通过adb连接若干待测试设备，将所述固件烧写至所述待测试设备，对所述待测试设备的环境进行设置，执行GMS测试，并将测试结果并上传至测试分析服务器；结果分析步骤，所述测试分析服务器根据所述Jenkins服务器的第三控制指令，统计分析所述测试结果，并发送相应的测试分析结果邮件。

根据本发明实施例的GMS持续集成构建自动化测试方法，至少具有如下有益效果：通过Jenkins服务器控制编译服务器及测试主机自主完成测试任务，有效地降低了人力成本，提高了GMS测试效率更高，自动化覆盖率高，基本不需要投入测试人力；能够自动化测试CTS、GTS、STS、VTS、cts_on_gsi、cts_instant，performance；通过搭建多台测试主机，可以同时完成多个产品线的GMS自动化测试；复用性强，对于android产品的迭代有较好的优势。

根据本发明的一些实施例，所述测试处理步骤包括：固件烧写步骤，所述测试主机接收到同步的所述固件，利用phoenixsuit烧写工具将所述固件烧写至所述待测试设备；环境设置步骤，通过发送第四控制指令给所述待测试设备，完成所述待测试设备的开机引导、设备设置及多媒体拷贝；GMS测试步骤，获取所述测试主机中的GMS测试套件的路径，执行GMS测试。自动完成固件烧写，测试环境准备及执行测试，减少人力消耗。

根据本发明的一些实施例，所述设备设置包括：亮度、锁屏、休眠时间及烧写gsi。通过设备设置，操持相应的测试环境，提高测试准确性。

根据本发明的一些实施例，所述GMS测试步骤还包括：检测GMS测试套件是否为需更新，若有更新，则获取最新的GMS测试套件，按预定的规则创建文件夹，将最新的所述GMS测试套件解压到相应的文件夹内，完成所述GMS测试套件的同步。自动获取使用最新GMS测试套件，利于迭代测试，为企业的GMS认证提供便利。

根据本发明的一些实施例，所述GMS测试步骤还包括：判断单次所述GMS测试的测试结果是否为零失败，若否，则重新执行所述GMS测试步骤，直到单次所述GMS测试的测试结果为零失败或所述GMS测试步骤的重复执行次数达到预设执行次数。避免干扰，防止测试误失败，保证测试覆盖率。

根据本发明的第二方面实施例的GMS持续集成构建自动化测试系统，包括：固件编译模块，用于根据第一控制指令同步代码，编译成相应的固件；测试处理模块，用于根据第二控制指令通过adb连接若干待测试设备，烧写所述固件至待测试设备，对所述待测试设备的环境进行设置，执行GMS测试，并上传测试结果；结果分析模块，用于根据第三控制指令统计分析所述测试结果，并发送相应的测试分析结果邮件；Jenkins服务控制模块，用于发送所述第一控制指令、所述第二控制指令及所述第三控制指令，分别控制所述固件编译模块、所述测试处理模块及所述结果分析模块执行相应的任务。

根据本发明实施例的GMS持续集成构建自动化测试系统，至少具有如下有益效果：能够自动化测试CTS、GTS、STS、VTS、cts_on_gsi、cts_instant，performance；通过将测试执行模块部署在测试主机，搭建多台测试主机即可同时完成多个产品线的GMS自动化测试；降低了人力成本，提高了GMS测试效率更高，自动化覆盖率高，基本不需要投入测试人力；复用性强，对于android产品的迭代有较好的优势。

根据本发明的一些实施例，所述测试处理模块包括：固件烧写模块，用于利用phoenixsuit烧写工具将所述固件烧写至所述待测试设备；测试执行模块，用于通过第四控制指令完成所述待测试设备的环境设置，以及，获取的GMS测试套件，执行GMS测试。自动完成固件烧写，测试环境准备及执行测试，减少人力消耗。

根据本发明的一些实施例，所述测试执行模块包括：环境设置模块，用于通过第四控制指令完成所述待测试设备的开机引导、设备设置及多媒体拷贝；GMS测试模块，用于根据最新的所述GMS测试套件的路径，执行GMS测试。通过模块化流程，自动完成测试设备的环境准备及测试过程，提升测试效率，减少人力投入。

根据本发明的一些实施例，所述测试执行模块还包括：测试套件更新模块，用于检测GMS测试套件是否需要更新，若需要更新，则获取最新的GMS测试套件，按预定的规则创建文件夹，将最新的所述GMS测试套件解压到相应的文件夹内，完成所述GMS测试套件的同步。确保GMS测试套件使用最新的版本，便于迭代测试，为GMS认证提供便利。

根据本发明的一些实施例，所述测试执行模块还包括补测控制模块，用于检测单次所述GMS测试的测试结果是否为零失败，若否，则控制所述GMS测试模块重新执行测试，直到单次所述GMS测试的测试结果为零失败或测试重复执行次数达到预设执行次数；结果分析模块还包括测试结果存储模块，用于存储提取的提取所述GMS测试的测试结果。补测控制模块通过补测有效防止自动化测试中偶然事件干扰造成的测试结果失败；测试结果统一存入方便管理分析并发送相应的邮件。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的方法的主要步骤示意图；

图2为本发明实施例的方法的详细构建测试流程示意图；

图3为本发明实施例的系统的示意框图；

图4为本发明实施例的系统的详细示意框图；

图5为本发明实施例的系统中各模块部署后的示意图。

附图标记：

固件编译步骤S100、测试处理步骤S200、结果分析步骤S300、固件烧写步骤S210、环境设置步骤S220、GMS测试步骤S230；

固件编译模块100、测试处理模块200、结果分析模块300、Jenkins服务控制模块400；固件烧写模块210、测试执行模块220、环境设置模块221、GMS测试模块222、测试套件更新模块223、补测控制模块224；测试结果存储模块310、测试结果分析模块320、邮件发送模块330。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

名词解释：

GMS：Google Mobile Service，谷歌移动服务。

Jenkins：Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。

adb:Android Debug Bridge(安卓调试桥)tools。它就是一个命令行窗口，用于通过电脑端与模拟器或者真实设备交互。

phoenixsuit:一种固件升级工具，支持固件烧写升级，支持烧写单个分区，支持各种平板电脑的刷机。

gsi：generic system image，即通用系统镜像，谷歌提供的一个system镜像文件。

本发明的实施例中的方法步骤，参照图1，包括：固件编译步骤S100、测试处理步骤S200及结果分析步骤S300。其中固件编译步骤S100中，编译服务器接收Jenkins服务器的第一控制指令，根据第一控制指令来同步代码，编译固件，并将生成的固件发送给指定的若干测试主机。测试处理步骤S200中，测试主机根据Jenkins服务器的第二控制指令，通过adb连接相应的待测试设备，烧写固件到待测试设备中，设置待测试设备的环境，执行GMS测试，并将测试结果上报给测试分析服务器。结果分析步骤S300中，测试分析服务器根据Jenkins服务器的第三控制指令，统计分析相应的测试结果，并根据测试分析结果发送相应的邮件给相关人员。显然，通过Jenkins服务器的第一控制指令、第二控制指令及第三控制指令，通过搭建多台测试主机，可以同时完成多个产品线的GMS自动化测试；相比于投入人力，具有极大的优势。需要理解的是，在本发明的实施例中，Jenkins服务器的第一控制指令、第二控制指令及第三控制指令可以是定时触发也可以由事件触发，例如：编译服务器生成固件后反馈给Jenkins服务器编译完成的信息，Jenkins服务器据此向测试主机发送第二控制指令；Jenkins服务器、编译服务器及测试分析服务器也不限定为不同的实体服务器。

在测试处理步骤S200中，参照图2，包括：固件烧写步骤S210、环境设置步骤S220、GMS测试步骤S230。在Jenkins服务器发送的第二控制指令控制下，首先，测试主机进行固件烧写步骤S210，利用phoenixsuit烧写工具将同步的固件烧写至待测试设备中；在环境设置步骤S220，利用python脚本对待测试设备的测试环境进行设置，完成待测试设备的开机引导、设备设置及多媒体拷贝等，包括，但不限于，亮度、锁屏、休眠时间及烧写gsi；在GMS测试步骤S230中，获取GMS测试套件的路径，执行GMS测试。参见图2，在本发明的实施例中，GMS测试步骤S230还包括：GMS测试套件的更新及补测控制。若检测发现GMS测试套件有更新，则下载最新的GMS测试套件按指定规则创建相应的文件夹，并将该最新的GMS测试套件解压到该文件夹，完成GMS测试套件的同步。在单次GMS测试完成后，会检测本次测试用例的测试结果是否为0fail，若出现错误或异常，则返回重新进行GMS测试，直到满足下述两个条件之一：本次测试结果为0fail，或者，测试重复执行次数达到预设执行次数。一旦单次GMS测试结果出现0fail或者测试重复执行次数已达上限(即预设执行次数)，即退出测试，并发送所有相关的测试结果文件给测试分析服务器。测试分析服务器在第三控制指令下完成统计分析，生成测试分析结果报告，并根据测试分析结果，给相应的人员发送邮件。

在本发明的实施例的方法中，所有的测试过程都在Jenkins服务器的控制下有序地进行，保证了自动化测试的正确性及有效性。

本发明的实施例中的系统示例参照图3，包括：固件编译模块100、测试处理模块200、结果分析模块300及Jenkins服务控制模块400。其中Jenkins服务控制模块400，用于发送第一控制指令、第二控制指令及第三控制指令，分别控制固件编译模块100、测试处理模块200及结果分析模块300执行相应的任务。固件编译模块100，用于根据第一控制指令同步代码，编译成相应的固件。测试处理模块200，用于根据第二控制指令通过adb连接若干待测试设备，烧写固件至待测试设备，对待测试设备的环境进行设置，执行GMS测试，并上传测试结果。结果分析模块，用于根据第三控制指令统计分析测试结果，并发送相应的测试分析结果邮件。

参照图4，本发明的实施例中的测试处理模块200包括：固件烧写模块210及测试执行模块220。固件烧写模块210，用于利用phoenixsuit烧写工具将同步的固件烧写至待测试设备中。测试执行模块220，用于通过第四控制指令完成待测试设备的环境设置，以及，获取的GMS测试套件，执行GMS测试，测试执行模块220包括：环境设置模块221、GMS测试模块222、测试套件更新模块223及补测控制模块224。在本发明的实施例中，第四控制指令表现为python脚本，应理解的是，也可以采用其它语言的脚本或可执行文件进行控制。环境设置模块221用于通过第四控制指令完成待测试设备的开机引导、设备设置及多媒体拷贝等测试前环境设置准备工作。GMS测试模块222用于根据最新的GMS测试套件的路径执行GMS测试，测试相应的用例。测试套件更新模块223用于检测GMS测试套件是否需要更新，以及相应的下载同步操作，包括：按指定的规则创建新的文件夹，对GMS测试套件进行解压。补测控制模块224用于检测单次GMS测试结果是否为零失败，若不为零失败，则控制GMS测试模块222重新执行预设的执行次数，若期间单次GMS测试结果出现零失败，则不再控制GMS测试模块222重复执行；应理解的是，控制GMS测试模块222重新执行测试的用例内容可以是全部用例也可以仅包括测试结果为错误或异常的用例。在本发明的实施例中，结果分析模块300包括：测试结果存储模块310、测试结果分析模块320及邮件发送模块330。所有测试主机上传的测试结果被存放于测试结果存储模块310中，测试结果分析模块320根据第三控制指令对相应的测试结果数据进行统计分析，并通过邮件发送模块330将测试分析结果发送给相应的工作人员。

参照图5，在本发明的实施例中，Jenkins服务控制模块400被部署到Jenkins服务器，固件编译模块100被部署至编译服务器，测试处理模块200被部署至测试主机，而结果分析模块300被部署至测试分析服务器(图5中未标识出)。Jenkins服务器负责控制作为slave节点(从节点)的测试主机，完成相关自动化脚本的执行。编译服务器完成自动化编译固件，并把固件传送至测试主机，测试主机则通过adb连接待测试设备，完成固件烧写、环境设置及执行GMS测试。本发明的实施例中，测试主机还负责将GMS测试产生的测试结果上报给测试分析服务器，由测试分析服务器在Jenkins服务器相应的控制下进行统计分析，得出测试分析结果，并发送邮件给相应人员。

本发明的实施例能够能够自动化测试CTS、GTS、STS、VTS、cts_on_gsi、cts_instant，performance；并可以在A63、A64、A50 Android O，A50、A33 Android P，A50Android 10等产品线上运用，对比前期的纯投入测试人力，可以节省3到4个测试人力，测试周期从5天缩减到2天，且可以充分利用周末以及工作日晚上的时间，为企业的GMS认证工作带来极大的便利。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种GMS持续集成构建自动化测试方法，其特征在于，包括：

固件编译步骤，编译服务器根据Jenkins服务器的第一控制指令，同步代码，编译固件，并将所述固件同步给若干指定的测试主机；

测试处理步骤，所述测试主机根据所述Jenkins服务器的第二控制指令，通过adb连接若干待测试设备，将所述固件烧写至所述待测试设备，对所述待测试设备的环境进行设置，执行GMS测试，并将测试结果并上传至测试分析服务器；

结果分析步骤，所述测试分析服务器根据所述Jenkins服务器的第三控制指令，统计分析所述测试结果，并发送相应的测试分析结果邮件。

2.根据权利要求1所述的GMS持续集成构建自动化测试方法，其特征在于，所述测试处理步骤包括：

固件烧写步骤，所述测试主机接收到同步的所述固件，利用phoenixsuit烧写工具将所述固件烧写至所述待测试设备；

环境设置步骤，通过发送第四控制指令给所述待测试设备，完成所述待测试设备的开机引导、设备设置及多媒体拷贝；

GMS测试步骤，获取所述测试主机中的GMS测试套件的路径，执行GMS测试。

3.根据权利要求2所述的GMS持续集成构建自动化测试方法，其特征在于，所述设备设置包括：亮度、锁屏、休眠时间及烧写gsi。

4.根据权利要求2所述的GMS持续集成构建自动化测试方法，其特征在于，所述GMS测试步骤还包括：

检测GMS测试套件是否为需更新，若有更新，则获取最新的GMS测试套件，按预定的规则创建文件夹，将最新的所述GMS测试套件解压到相应的文件夹内，完成所述GMS测试套件的同步。

5.根据权利要求2所述的GMS持续集成构建自动化测试方法，其特征在于，所述GMS测试步骤还包括：

判断单次所述GMS测试的测试结果是否为零失败，若否，则重新执行所述GMS测试步骤，直到单次所述GMS测试的测试结果为零失败或所述GMS测试步骤的重复执行次数达到预设执行次数。

6.一种GMS持续集成构建自动化测试系统，其特征在于，包括：

固件编译模块，用于根据第一控制指令同步代码，编译成相应的固件；

测试处理模块，用于根据第二控制指令通过adb连接若干待测试设备，烧写所述固件至待测试设备，对所述待测试设备的环境进行设置，执行GMS测试，并上传测试结果；

结果分析模块，用于根据第三控制指令统计分析所述测试结果，并发送相应的测试分析结果邮件；

Jenkins服务控制模块，用于发送所述第一控制指令、所述第二控制指令及所述第三控制指令，分别控制所述固件编译模块、所述测试处理模块及所述结果分析模块执行相应的任务。

7.根据权利要求6所述的GMS持续集成构建自动化测试系统，其特征在于，所述测试处理模块包括：

固件烧写模块，用于利用phoenixsuit烧写工具将所述固件烧写至所述待测试设备；

测试执行模块，用于通过第四控制指令完成所述待测试设备的环境设置，以及，获取的GMS测试套件，执行GMS测试。

8.根据权利要求7所述的GMS持续集成构建自动化测试系统，其特征在于，所述测试执行模块包括：

环境设置模块，用于通过第四控制指令完成所述待测试设备的开机引导、设备设置及多媒体拷贝；

GMS测试模块，用于根据最新的所述GMS测试套件的路径，执行GMS测试。

9.根据权利要求8所述的GMS持续集成构建自动化测试系统，其特征在于，所述测试执行模块还包括：

测试套件更新模块，用于检测GMS测试套件是否需要更新，若需要更新，则获取最新的GMS测试套件，按预定的规则创建文件夹，将最新的所述GMS测试套件解压到相应的文件夹内，完成所述GMS测试套件的同步。

10.根据权利要求8所述的GMS持续集成构建自动化测试系统，其特征在于，所述测试执行模块还包括补测控制模块，用于检测单次所述GMS测试的测试结果是否为零失败，若否，则控制所述GMS测试模块重新执行测试，直到单次所述GMS测试的测试结果为零失败或测试重复执行次数达到预设执行次数；

结果分析模块还包括测试结果存储模块，用于存储提取的提取所述GMS测试的测试结果。

Images