CN111240997A

CN111240997A - 一种端到端自动化测试方法

Info

Publication number: CN111240997A
Application number: CN202010094508.8A
Authority: CN
Inventors: 于超; 赵靖荣
Original assignee: Orca Data Technology Xian Co Ltd
Current assignee: Orca Data Technology Xian Co Ltd
Priority date: 2020-02-16
Filing date: 2020-02-16
Publication date: 2020-06-05

Abstract

本发明公开了一种端到端自动化测试方法，为用户展现测试阶段的各个子任务的操作类型；其中，子任务为自动化测试过程中各个阶段的任务；接收用户选择的各个子任务和测试用例；根据所述各个子任务和测试用例生成工作流文件；根据所述工作流文件执行测试过程，并记录各个子任务的测试日志与测试结果；根据所述各个子任务的测试日志与测试结果，生成工作流测试报告；通过使用本发明的自动化测试方法，可以极大地节省人力资源，测试人员可以将节省的时间用在其他非自动化或者关键的测试任务上面；本方法使得硬件资源可以全天候地支持测试任务，不需要人工干预，在相同的时间内可以完成更多的测试任务。

Description

一种端到端自动化测试方法

【技术领域】

本发明属于计算机自动化测试技术领域，尤其涉及一种端到端自动化测试方法。

【背景技术】

自动化测试一般是指软件测试的自动化，是把以人为驱动的测试行为转化为机器执行的一种过程。通常，在设计了测试用例并通过评审之后，由测试人员根据测试用例中描述的规程一步步执行测试，得到实际结果与期望结果的比较。在此过程中，为了节省人力、时间或硬件资源，提高测试效率，便引入了自动化测试的概念。

当前，企业级软件越来越复杂，为了确保产品质量与提供可靠的产品给用户，研发企业必须付出更多的精力与成本。测试人员花掉了大量的时间用于部署测试环境，包括部署所需的操作系统，装与配置目标测试软件与第三方软件；然后执行自动化测试用例；最后根据测试结果编写测试报告。

虽然现有的一些测试技术已经自动化了这些任务中的一项或几项，但是这些自动化后的任务是相互隔绝、互不联系的。测试人员必须等待前序任务完成后，才能准备与执行后续的任务。在这种工作模式下，测试人员大量的时间被浪费在了各个任务衔接阶段的等待之中。

【发明内容】

本发明的目的是提供一种端到端自动化测试方法，以减少测试中各任务衔接阶段的等待时间。

本发明采用以下技术方案：一种端到端自动化测试方法，包括：

为用户展现测试阶段的各个子任务的操作类型；其中，子任务为自动化测试过程中各个阶段的任务；

接收用户选择的各个子任务和测试用例；

根据所述各个子任务和测试用例生成工作流文件；

根据所述工作流文件执行测试过程，并记录各个子任务的测试日志与测试结果；

根据所述各个子任务的测试日志与测试结果，生成工作流测试报告。

进一步地，接收用户选择的各个子任务包括：

接收各个子任务以及各个子任务对应的配置参数。

进一步地，根据所述各个子任务和测试用例生成工作流文件包括：

获取所述测试用例中各个子任务的执行顺序，根据所述执行顺序生成工作流文件。

进一步地，生成工作流测试报告之后还包括：

备份所述工作流文件和工作流测试报告。

进一步地，所述子任务包括部署操作系统、安装与配置测试软件、安装与配置补丁文件和安装与配置第三方产品。

本发明的有益效果是：通过使用本发明的自动化测试方法，可以极大地节省人力资源，测试人员可以将节省的时间用在其他非自动化或者关键的测试任务上面；本方法使得硬件资源可以全天候地支持测试任务，不需要人工干预，在相同的时间内可以完成更多的测试任务。

【附图说明】

图1为现有技术中测试人员的工作流程图；

图2为本发明实施例中的用户界面示意图；

图3为本发明实施例与现有技术的测试方法好费时间对比图。

【具体实施方式】

下面结合附图和具体实施方式对本发明进行详细说明。

在现有技术中，企业级软件越来越复杂，为了确保产品质量与提供可靠的产品给用户，研发企业必须付出更多的精力与成本。测试人员花掉了大量的时间用于部署测试环境，包括部署所需的操作系统，装与配置目标测试软件与第三方软件；然后执行自动化测试用例；最后根据测试结果编写测试报告。

虽然现有的一些测试技术已经自动化了这些任务中的一项或几项，比如部署操作系统，RedHat系统支持KickStart方式部署，HPUX支持GoldenImage方式部署；而对于测试软件或者第三方软件，我们也可以通过静默安装方式完成其安装与配置任务。但是这些自动化后的任务是相互隔绝、互不联系的。测试人员必须等待前序任务完成后，才能准备与执行后续的任务。在这种工作模式下，如图1所示，测试人员大量的时间被浪费在了各个任务衔接阶段的等待之中。

根据观察分析，测试人员在执行测试项目期间有大量的重复任务，比如反复部署操作系统，更新目标测试软件版本等等。在测试中，这些重复任务必须被执行同时几乎对提高产品质量没有任何帮助，阻碍了测试人员把有限的工作时间用于能够真正发现产品缺陷的地方。

通过分析当前的软件测试工作流程，发现各项任务衔接阶段的等待时间是完全可以避免的。或者说可以通过一种工具整合所有这些隔绝的、独立的、分离的任务，让它们按照设定的顺序执行。这样测试人员可以完全从这些等待中脱离出来从事其他工作任务。由此得出，测试领域真正需要的是一种类似于“流水线”的工具，这种工具能够把所有的任务按照设定的执行顺序串联起来。

本发明提及的智能端到端自动化测试方法包括一个工作流引擎与其定义的工作流文件。智能自动化测试框架能够整合服务器与客户端操作系统部署，测试目标软件与第三方软件集成安装，跟踪执行各类自动化测试用例，最后分析测试结果形成测试报告并上传到框架指定的位置。测试人员通过图形用户接口很容易地发起一项工作流，该自动化测试框架负责执行并按照指定的顺序执行工作流中的各项任务。这会极大地减轻测试人员的测试负担与加强硬件的利用率，因此，可以提高整体测试效率。

本实施例公开的一种端到端自动化测试方法，包括：

为用户展现测试阶段的各个子任务的操作类型；其中，子任务为自动化测试过程中各个阶段的任务；接收用户选择的各个子任务和测试用例；根据各个子任务和测试用例生成工作流文件；根据工作流文件执行测试过程，并记录各个子任务的测试日志与测试结果；根据各个子任务的测试日志与测试结果，生成工作流测试报告。

通过使用本发明的自动化测试方法，可以极大地节省人力资源，测试人员可以将节省的时间在其他非自动化或者关键的测试任务上面；本方法使得硬件资源可以全天候地支持测试任务，不需要人工干预，在相同的时间内可以完成更多的测试任务。

工作流引擎-JobEngine，本实施例中把一系列完成端到端测试的相关任务统一称为一次工作流。通过上面的分析，本实施例中子任务包括部署操作系统、安装与配置测试软件、安装与配置补丁文件、安装与配置第三方产品、执行测试用例和输出测试报告。

具体的，部署操作系统是通过接入各种操作系统支持的自动化部署方式完成操作系统的部署任务。安装与配置产品是通过参数文件实现产品的静默安装与配置。安装与配置补丁是通过参数文件实现产品补丁的静默安装与配置。安装与配置第三方产品是通过参数文件实现第三方产品的静默安装与配置。

另外，因为各个子任务必须具有一定的配置参数才能完成正常的安装，所以，上述的接收用户选择的各个子任务包括：接收各个子任务以及各个子任务对应的配置参数。

由于工作流文件是测试任务的整体执行过程，因此，根据各个子任务和测试用例生成工作流文件包括：获取测试用例中各个子任务的执行顺序，根据执行顺序生成工作流文件。

在本实施例中，为了持久化工作流，生成工作流测试报告之后还包括：备份工作流文件和工作流测试报告。这样，在下一次执行相同或者类型的测试任务时，可以直接调用该工作流文件或者其中的子任务文件，以减少生成工作流文件的时间。

测试人员选择与设定的各项子任务与子任务参数可以持久化到工作流文件里，当下一次遇到同类型的测试需求时，测试人员只需从工作流文件中加载已经定义好的子任务与相关参数，进一步降低测试人员花在测试准备环节中的时间成本。

在本申请实施例中，工作流文件采用XML文件格式，方便各种文本编辑器编辑与读取。工作流文件的定义如下：

本实施例中，通过接入外部自动化用例框架执行测试用例并收集测试日志与测试结果。根据子任务的测试日志与测试结果，生成工作流测试报告并完成测试数据备份。这些子任务可以灵活地加入工作流或移出工作流。工作流引擎负责从工作流中提取出各项子任务，根据设定的执行顺序提交给相应的自动化基础设施执行，并且从其获取测试日志与测试结果。

如图2所示，通过唯一并且友好的图形用户接口，测试人员根据测试的需求选择与组合各项子任务，整合成一次工作流，然后对于每一项子任务，通过图形用户接口输入必要的任务参数并持久化到工作流，比如选择操作系统版本，选择所需安装的软件版本与配置参数，选择测试用例等等，一旦各项子任务参数设定完成后，提交工作流到工作流引擎。工作流引擎负责子任务调度与任务执行数据汇总。

通过本发明的端到端短自动化测试方法，用于测试人员高效地执行各项任务：

1.设计了一个工作流引擎执行测试人员定义的工作流；

2.工作流包括一系列不相关的但有前后顺序依赖的子任务；

3.工作流可以通过工作流文件持久化以备重复使用；

4.测试人员可以自定义子任务。

而且，通过本发明的方法，测试人员可以自定义子任务扩展测试框架，增强本技术方案的测试能力。产品补丁可以在更短地时间内用更少的人力完成质量验证工作。通过提供外部集成接口，本技术方案可以无缝地集成到产品补丁发布系统，扩大产品补丁的测试覆盖率，确保补丁发布质量。

根据图3可知，本发明的端到端自动化测试方法，极大地降低了自动化测试所用的时间。本方法还能够整合服务器与客户端操作系统部署，测试目标软件与第三方软件集成安装，跟踪执行各类自动化测试用例，最后分析测试结果形成测试报告并上传到框架指定的位置。测试人员通过图形用户接口很容易地发起一项工作流，该自动化测试框架负责执行并按照指定的顺序执行工作流中的各项任务。这会极大地减轻测试人员的测试负担与加强硬件的利用率，因此可以提高整体测试效率。

Claims

1.一种端到端自动化测试方法，其特征在于，包括：

接收用户选择的各个子任务和测试用例；

根据所述各个子任务和测试用例生成工作流文件；

2.如权利要求1所述的一种端到端自动化测试方法，其特征在于，接收用户选择的各个子任务包括：

接收各个子任务以及各个子任务对应的配置参数。

3.如权利要求2所述的一种端到端自动化测试方法，其特征在于，根据所述各个子任务和测试用例生成工作流文件包括：

4.如权利要求3所述的一种端到端自动化测试方法，其特征在于，生成工作流测试报告之后还包括：

备份所述工作流文件和工作流测试报告。

5.如权利要求2-4任一所述的一种端到端自动化测试方法，其特征在于，所述子任务包括部署操作系统、安装与配置测试软件、安装与配置补丁文件和安装与配置第三方产品。