CN105446878A - 一种持续的程序自动化测试方法 - Google Patents

Abstract

本发明涉及一种持续的程序自动化测试方法，该方法实现过程中采用CI工具以及自动化测试框架，通过将自动化测试框架提供的自动化测试功能与CI工具提供的CI功能相结合来实现。与现有技术相比，本发明具有能够持续的自动的进行测试并且能够及时的通知测试和开发测试结果，实时监测项目质量，减少人力成本等优点。

Description

一种持续的程序自动化测试方法

技术领域

本发明涉及一种程序测试方法，尤其是涉及一种持续的程序自动化测试方法。

背景技术

现有自动化测试方法，配置工程师构建出新安装包后，通知自动化测试工程师。自动化测试工程师需要先手工去程序发布地址找到最新程序，找到程序后下载至测试环境中。下载之后需要先清理旧的测试环境再部署新安装包，然后在搭建好的自动化测试运行环境中更新测试用例，并在自动化测试工具中选择要运行的测试用例点击运行按钮开始执行自动化测试用例。待自动化测试完成后再去查看测试结果，如有需要的话，自动化测试工程师需要手动将收集的测试结果绘制成报表并通过邮件发送给其他相关人员。

以上的方案在部署测试环境和执行自动化测试以及收集自动化结果方面均是手动实现，无法实现真正的自动化，也无法持续的进行测试，测试的完成时间无法及时获知，在版本号发生变更未能及时获知的情况下，容易出现未能及时进行自动化测试的情况，旧的自动化测试方案在维护测试环境以及运行自动化测试方面消耗太多不必要的人力成本，在环境部署方面也容易出现失误的情况，不利于健康的运行自动化测试。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种持续的程序自动化测试方法，能够持续的自动的进行测试并且能够及时的通知测试和开发测试结果，实时监测项目质量，减少人力成本。

本发明的目的可以通过以下技术方案来实现：

一种持续的程序自动化测试方法，其特征在于，该方法实现过程中采用CI工具以及自动化测试框架，通过将自动化测试框架提供的自动化测试功能与CI工具提供的CI功能相结合来实现。

所述的CI工具设置任务间相互关联触发的特点，将程序编译、测试环境部署、运行自动化测试、邮件通知测试进行完美的结合。

所述的自动化测试框架例实现一套完整的自动化测试方案，包括自动执行测试用例、自动收集测试结果、自动化记录运行日志。

所述的CI工具中的版本控制系统插件提供自动化测试用例、环境部署脚本和程序代码管理功能。

所述的环境部署脚本内容包含获取最新编译的程序、清理测试环境、部署获取到的最新程序。

所述的CI工具的自动通知发送功能来实现实时监控测试结果。

所述的CI工具的log功能对每次测试结果的整合收集最终实现可视化图形效果。

该方法具体包括：测试环境准备和自动化部署；

所述的测试环境准备包括：

101)在设备或虚拟机上搭建所需的测试环境；

102)在CI工具上将该设备或虚拟机设置为测试环境节点机；

103)在CI工具上新建环境部署任务，并将运行节点设置为刚刚建立好的测试环境节点机；

104)在环境部署任务中通过CI工具的版本控制系统插件，自动下载环境部署脚本，并设置自动构建程序包的任务为上游任务，这样在上游任务完成后自动运行环境部署任务；

105)通过环境部署脚本来对测试环境进行清理，并部署新测试环境；

106)在环境部署任务中加入邮件通知功能以便随时获知环境是否正常部署完成；

所述的自动化部署包括：

201)将自动化运行环境部署到一台设备或虚拟机上，该设备或虚拟机只做运行自动化运行用，不用做部署测试环境；

202)测试环境与自动化运行环境分开两台独立设备或虚拟机；

203)在CI工具上将自动化运行环境的机器，设置为自动化运行节点机；

204)在CI工具上新建自动化测试任务，并将运行节点设置为刚刚建立好的自动化运行节点机；

205)将更新后的测试用例提交到版本控制系统上，通过CI工具的版本控制系统插件来自动更新测试用例；

206)在CI工具上编写执行自动化测试的相关命令，并设置将自动化测试结果保存至指定路径；

207)通过CI工具的插件功能自动读取自动化测试结果并显示在对应的任务界面，并形成直观清晰的曲线图；

208)在执行自动化测试用例的同时自动记录每个测试用例的运行过程，并形成log文件保存至指定路径，方便随时查看用例运行情况；

209)设置环境部署任务为上游任务，并设置在环境部署完成后自动触发自动化测试任务；

210)增加邮件自动通知，将自动化测试用例执行结果发送给相关人员，这样便随时随地的掌握测试结果。

与现有技术相比，本发明具有以下优点：

1)旧的自动化测试在环境部署方面对手动工作的依赖较多，需要人为的去下载页面或者去指定的地方获取安装包到本地来进行部署，而本发明中的方法则可以完全摆脱人工干预过程，做到完全的自动化部署，从而确保环境是最新的程序环境。

2)旧的自动化测试在运行自动化测试用例方面，需要手动去点击自动化测试工具的开始按钮来执行，运行完之后不会有邮件或者其他方式通知测试人员自动化测试已经运行完，需要人为定时去看，运行完之后还需要去打开测试结果，运用本发明中的方法可以完全摆脱人为操作，在编写好自动化测试命令后即可结合CI工具实现完全自动运行。

3)旧的自动化测试在持续运行方面受人为因素影响，无法做到按时按需运行。

总之，本发明从环境部署到自动运行测试用例到自动收集测试结果再到将测试结果报表邮件通知相关人员全部自动化运行，大大的节省了人力成本，且可以避免由于人为因素造成的各种异常，同时直观的报表和日志系统，方便团队随时查看自动化测试的运行状况。

附图说明

图1为本发明的具体流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明基于CI的特性来实现，实现过程中需要用到CI工具例如Jenkins、自动化测试框架例如RobotFramework、版本控制系统例如SVN，通过将自动化测试框架提供的自动化测试功能与CI工具提供的CI功能相结合来实现。

1)通过分布式CI工具可以设置任务间相互关联触发的特点可以将程序编译、测试环境部署、运行自动化测试、邮件通知测试进行完美的结合。

2)需要设计一套测试环境的部署脚本，脚本内容包含获取最新编译的程序、清理测试环境、部署获取到的最新程序。

3)基于自动化测试框架实现一套完整的自动化测试方案，包括自动执行测试用例、自动收集测试结果、自动化记录运行日志。

4)借助SVN或者GIT等版本控制系统来提供自动化测试用例、环境部署脚本、程序代码管理功能。

5)通过CI工具的自动通知发送功能来实现实时监控测试结果。

6)通过CI工具的log功能对每次测试结果的整合收集最终实现可视化图形等效果。

名词解释及工具介绍说明：

CI：英文全称Continuousintegration，中文意思为“持续集成”，持续集成是一种软件开发实践，即团队开发成员经常集成他们的工作，通过每个成员至少集成一次，也就意味着每天可能回发生多次集成。每次集成都通过自动化的构建(包括编译，发布自动化测试)来验证。从而尽早的发现集成错误。

自动化测试：一般是指软件测试的自动化，软件测试就是在预设条件下运行系统或应用程序，评估运行结果，预先条件应包括正常条件和异常条件。自动化测试是把以人为驱动的测试转化为机器执行的一种过程。通常，在设计了测试用例并通过评审之后，由测试人员根据测试用例中描述的规程一步步执行测试，得到实际结果与期望结果的比较。在此过程中，为了节省人力、时间或硬件资源，提高测试效率，便引入了自动化测试的概念。

Jenkins：Jenkins是一套开源的CI工具，起源于Hudson，Hudson继续走商业化道路，而Jenkins则作为开源软件。Jenkins将程序的可持续化集成变为可能，其主要的功能有：1、持续的软件版本发布/测试项目。2、监控外部调用执行的工作。3、自动发送邮件通知构建结果。

RobotFramework：RobotFramework是一款python编写的功能自动化测试框架。具备良好的扩展性，支持关键字驱动，可以同时测试多种类型的客户端或者接口，可以进行分布式测试执行。只要用于轮次很多的验收和验收测试驱动开发。

实施案例：

实施案例分为两大步骤，第一个步骤为测试环境准备，第二个步骤为自动化部署。

环境准备：

1.在设备(或虚拟机)上搭建所需的测试环境(原始系统和网络)。

2.在CI工具上将该机器设置为测试环境节点机。

3.在CI工具上新建环境部署任务，并将运行节点设置为刚刚建立好的测试环境节点机。

4.在环境部署任务中通过CI工具的版本控制系统插件，自动下载环境部署脚本，并设置自动构建程序包的任务为上游任务，这样就可以在上游任务完成后自动运行环境部署任务。

5.通过环境部署脚本来对测试环境进行清理，并部署新测试环境。

6.可在环境部署任务中加入邮件通知功能以便随时获知环境是否正常部署完成。

自动化部署：

1.将自动化运行环境部署到一台设备(或虚拟机)上，该设备(或虚拟机)只做运行自动化运行用，不用做部署测试环境。

2.测试环境与自动化运行环境分开两台独立设备(或虚拟机)，分开两台设备(或虚拟机)的原因是将运行自动化的机器作为一台管理机器，可以通过自动化运行环境来管理多台测试环境，从而形成一个分布式管理结构，在测试环境损坏无法恢复的情况下可以直接在另一台设备上新搭建测试环境即可重新开始运行自动化测试。

3.在CI工具上将自动化运行环境的机器，设置为自动化运行节点机。

4.在CI工具上新建自动化测试任务，并将运行节点设置为刚刚建立好的自动化运行节点机。

5.将更新后的测试用例提交到版本控制系统上，通过CI工具的版本控制系统插件来自动更新测试用例。

6.在CI工具上编写执行自动化测试的相关命令，并设置将自动化测试结果保存至指定路径。

7.通过CI工具的插件功能自动读取自动化测试结果并显示在对应的任务界面，并形成直观清晰的曲线图。

8.在执行自动化测试用例的同时自动记录每个测试用例的运行过程，并形成log文件保存至指定路径，方便随时查看用例运行情况。

9.设置环境部署任务为上游任务，并设置在环境部署完成后自动触发自动化测试任务。

10.增加邮件自动通知，将自动化测试用例执行结果发送给相关人员，这样便可以随时随地的掌握测试结果。

至此整个自动运行自动化测试已经实施完毕。实施案例流程可见图1。

Claims (8)

1.一种持续的程序自动化测试方法，其特征在于，该方法实现过程中采用CI工具以及自动化测试框架，通过将自动化测试框架提供的自动化测试功能与CI工具提供的CI功能相结合来实现。

2.根据权利要求1所述的一种持续的程序自动化测试方法，其特征在于，所述的CI工具设置任务间相互关联触发的特点，将程序编译、测试环境部署、运行自动化测试、邮件通知测试进行完美的结合。

3.根据权利要求1所述的一种持续的程序自动化测试方法，其特征在于，所述的自动化测试框架例实现一套完整的自动化测试方案，包括自动执行测试用例、自动收集测试结果、自动化记录运行日志。

4.根据权利要求1所述的一种持续的程序自动化测试方法，其特征在于，所述的CI工具中的版本控制系统插件提供自动化测试用例、环境部署脚本和程序代码管理功能。

5.根据权利要求4所述的一种持续的程序自动化测试方法，其特征在于，所述的环境部署脚本内容包含获取最新编译的程序、清理测试环境、部署获取到的最新程序。

6.根据权利要求1所述的一种持续的程序自动化测试方法，其特征在于，所述的CI工具的自动通知发送功能来实现实时监控测试结果。

7.根据权利要求1所述的一种持续的程序自动化测试方法，其特征在于，所述的CI工具的log功能对每次测试结果的整合收集最终实现可视化图形效果。

8.根据权利要求1所述的一种持续的程序自动化测试方法，其特征在于，该方法具体包括：测试环境准备和自动化部署；

所述的测试环境准备包括：

101)在设备或虚拟机上搭建所需的测试环境；

102)在CI工具上将该设备或虚拟机设置为测试环境节点机；

103)在CI工具上新建环境部署任务，并将运行节点设置为刚刚建立好的测试环境节点机；

104)在环境部署任务中通过CI工具的版本控制系统插件，自动下载环境部署脚本，并设置自动构建程序包的任务为上游任务，这样在上游任务完成后自动运行环境部署任务；

105)通过环境部署脚本来对测试环境进行清理，并部署新测试环境；

106)在环境部署任务中加入邮件通知功能以便随时获知环境是否正常部署完成；

所述的自动化部署包括：

201)将自动化运行环境部署到一台设备或虚拟机上，该设备或虚拟机只做运行自动化运行用，不用做部署测试环境；

202)测试环境与自动化运行环境分开两台独立设备或虚拟机；

203)在CI工具上将自动化运行环境的机器，设置为自动化运行节点机；

204)在CI工具上新建自动化测试任务，并将运行节点设置为刚刚建立好的自动化运行节点机；

205)将更新后的测试用例提交到版本控制系统上，通过CI工具的版本控制系统插件来自动更新测试用例；

206)在CI工具上编写执行自动化测试的相关命令，并设置将自动化测试结果保存至指定路径；

207)通过CI工具的插件功能自动读取自动化测试结果并显示在对应的任务界面，并形成直观清晰的曲线图；

208)在执行自动化测试用例的同时自动记录每个测试用例的运行过程，并形成log文件保存至指定路径，方便随时查看用例运行情况；

209)设置环境部署任务为上游任务，并设置在环境部署完成后自动触发自动化测试任务；

210)增加邮件自动通知，将自动化测试用例执行结果发送给相关人员，这样便随时随地的掌握测试结果。