CN107480050A - 一种自动测试更新包的测试方法 - Google Patents

Abstract

本发明涉及一种自动测试更新包的测试方法，包括以下步骤：1)测试升级过程本身是否正常，通过判断自动测试更新后的软件环境与全新安装的软件环境是否一致来实现；2)自动获取两个版本之间发生变更的模块；3)测试软件更新前产生的数据及配置在更新后是否可以正常使用；4)以上三个步骤全部完成后，在Jenkins上设置任务关联，设置三个任务依次运行，前一个任务执行完成后自动触发下一个任务执行。与现有技术相比，本发明具有提升了更新包的测试效率等优点。

Description

一种自动测试更新包的测试方法

技术领域

本发明涉及软件测试领域，尤其是涉及一种自动测试更新包的测试方法。

背景技术

现有的测试更新包的方法为手工测试，所有操作手工完成，费时费力，有大量的重复工作，并且测试效率低、投入人员多。

Jenkins是一个开源项目，提供了一种易于使用的持续集成系统，使开发者从繁杂的集成中解脱出来，专注于更为重要的业务逻辑实现上。同时Jenkins能实施监控集成中存在的错误，提供详细的日志文件和提醒功能，还能用图表的形式形象地展示项目构建的趋势和稳定性。因此如何利用Jenkins平台来实现测试更新包自动测试，从而提高测试效率，成为当下需要解决的技术问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种自动测试更新包的测试方法，提升了更新包的测试效率，将测试更新包所需要的人力成本从原先的120人天缩减到60人天，为企业节省人力成本、提高研发效率。

本发明的目的可以通过以下技术方案来实现：

一种自动测试更新包的测试方法，包括以下步骤：

1)测试升级过程本身是否正常，通过判断自动更新后的软件环境与全新安装的软件环境是否一致来实现；

2)自动获取两个版本之间发生变更的模块；

3)测试软件更新前产生的数据及配置在更新后是否可以正常使用；

4)以上三个步骤全部完成后，在Jenkins上设置任务关联，设置三个任务依次运行，前一个任务执行完成后自动触发下一个任务执行。

所述的步骤1)测试升级过程本身是否正常具体实现过程如下：

101)：利用Jenkins调用shell脚本实现高版本及低版本的自动部署，自动实现低版本环境的更新；

102)：利用Jenkins调用提前写好的shell脚本升级低版本环境；

103)：利用Jenkins调用提前写好的Python脚本，比较两个环境中所有文件的md5值，如有差异则判断有差异的文件是否属于允许差异的文件并将文件路径记录到文本文件中；

104)：利用shell脚本调用dump命令分别导出两个环境中的数据库的表结构并上传ftp，解析.sql文件中的内容，并比较表结构是否一致并返回结果。

所述的结果判断标准具体如下：

(1)文件：软件环境中以下几类文件在使用过程中可能会被程序修改，包括：.config文件、.log文件、.dat文件、.db文件、.pid文件、.json文件，正常升级成功的情况下，只有这几类文件会出现不一致的情况，否则升级过程本身是存在问题的；

(2)数据库：数据库的表结构必须完全一致才算测试通过，数据库中的数据内容因环境配置信息不同或者使用信息是可能存在不同的，所以不要求数据内容必须相同。

所述的步骤2)自动获取两个版本之间发生变更的模块具体为：

201)：使用svn diff命令查看两个版本之间对应的代码变更路径，记录到文本文件中；

202)：将代码路径与模块的对应关系逐行记录到一个文本文件中；

203)：写脚本读取上述两步生成的文件内容，根据代码变更路径及、代码路径与模块的对应关系逐一进行匹配，如果存在变更路径及其模块名，记录到文本文件中并上传至FTP服务器中。

根据步骤201)至203)，分析出在这两个版本之间发生变更的所有的模块，后续的测试中，只测试发生变更的模块，用于精准分析更新包对原有版本来说带来的变化，从而使得测试更有针对性，测试效率进一步提升。

所述的步骤3)测试软件更新前产生的数据及配置在更新后是否可以正常使用具体为：

301)：自动部署低版本控制台；

302)：准备自动测试用例并添加标签；

303)：写脚本实现从FTP服务器读取步骤2)生成的文件，并自动生成自动测试用例在命令行执行需要的执行参数；

304)：在命令行中触发自动测试框架RobotFramework执行指定的测试用例，从而生成更新前的测试数据；

305)：自动升级低版本控制台；

306)：在命令行中触发自动测试框架RobotFramework执行指定的测试用例，从而验证更新前的测试数据及软件配置的正确性及可用性，以及更新后程序功能是否正常。

与现有技术相比，本发明具有以下优点：

1、在保证测试效果的前提下，更新包测试中的绝大多数的测试工作实现了自动化完成，一键触发完成所有测试工作。

2、使用该方法后仅需要非常少的人员就可以完成更新包的测试工作，测试周期也大大缩短。

3、归避由于人为测试所造成的测试偏差，让测试过程更简单、快速，结果更准确、可靠。以前偶尔由于人员流动或调整，导致测试安排不熟悉的人员执行用例，执行结果的可靠性不能完全保证。当前执行结果可通过自动化完全确保。

附图说明

图1为更新包自动测试流程图；

图2为测试升级过程本身是否正常的流程图；

图3为获取发生变更的模块的流程图；

图4为验证升级后数据及功能的正确性的流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明将整个更新包的测试分为三大部分(验证升级过程本身是否正常、验证升级前的数据在升级后是否正常可用、验证升级后的软件是否正常可用)，三个部分都测试通过之后，整个更新包测试通过。三个部分均自动完成，可实现在Jenkins上一键触发所有测试过程。整体方案如图1所示。

第一部分：自动测试更新后的软件环境与全新安装的软件环境是否一致，即测试升级过程本身是否正常，具体过程如图2所示。

比较方案：

1)准备A、B两套环境，A环境中利用Jenkins自动部署低版本的环境并执行自动升级。B环境自动部署高版本的环境。

2)获取软件安装后的环境A里所有相关文件的md5值，与使用更新包更新后的环境B的md5值进行比较。

3)获取软件安装后的环境A数据库的表结构，与使用更新包更新后的环境B的数据库表结构进行比较。

结果判断标准：

1)文件：

软件环境中以下几类文件在使用过程中可能会被程序修改，包括：

.config文件、.log文件、.dat文件、.db文件、.pid文件、.json文件等等。正常升级成功的情况下，只有这几类文件会出现不一致的情况，否则升级过程本身是存在问题的。

2)数据库：

数据库的表结构必须完全一致才算测试通过，数据库中的数据内容因环境配置信息不同或者使用信息是可能存在不同的，所以不要求数据内容必须相同。

测试方法：

第一步：利用Jenkins调用shell脚本实现高版本及低版本的自动部署，自动实现低版本环境的更新。

第二步：利用Jenkins调用提前写好的shell脚本升级低版本环境。

第三步：利用Jenkins调用提前写好的Python脚本，比较两个环境中所有文件的md5值，如有差异则判断有差异的文件是否属于允许差异的文件并将文件路径记录到文本文件中。

第四步：利用shell脚本调用dump命令分别导出两个环境中的数据库的表结构并上传ftp，解析.sql文件中的内容，并比较表结构是否一致并返回结果。

第二部分：自动获取两个版本之间发生变更的模块，如图3所示。

实现方案：

第一步：使用svn diff命令查看两个版本之间对应的代码变更路径，记录到文本文件。

第二步：将代码路径与模块的对应关系逐行记录到一个文本文件中。

第三步：写脚本读取上述两步生成的文件内容，根据代码变更路径及与其与模块的对应关系逐一进行匹配，如果存在变更路径及其模块名，记录到文本文件中并上传至FTP服务器中。

根据上述三个步骤，可以分析出在这两个版本之间发生变更的所有的模块。后续的测试中，只测试发生变更的模块。该步骤的目的是精准分析更新包对原有版本来说带来的变化，从而使得测试更有针对性，测试效率进一步提升。

第三部分：测试软件更新前产生的数据及配置在更新后是否可以正常使用。测试更新后的软件是否可以正常运行所有功能，如图4所示。

测试方案：

1)根据第二部分得出的变更模块列表，利用Jenkins自动部署这些受影响模块的自动化测试，用于模拟用户使用。

2)自动执行升级。

3)使用测试程序验证更新后的软件中的数据是否正常、是否可以正常使用。

实现步骤：

1)自动部署低版本控制台。

2)准备自动测试用例并添加标签。

3)写脚本实现从FTP服务器读取步骤二生成的文件，并自动生成自动测试用例在命令行执行需要的执行参数。

4)在命令行中触发自动测试框架RobotFramework执行指定的测试用例(根据标签)，从而生成更新前的测试数据。

5)自动升级低版本控制台。

6)在命令行中触发自动测试框架RobotFramework执行指定的测试用例(根据标签)，从而验证更新前的测试数据及软件配置的正确性及可用性，以及更新后程序功能是否正常。

以上三个部分全部完成后，在Jenkins上设置任务关联，设置三个任务依次运行，前一个任务执行完成后自动触发下一个任务执行。

具体实施例：某企业级软件产品需要在向用户发布了一个版本的一个月之后，向用户发布一个更新包，该更新包包含了该产品在一个月内的所有变更。该更新包的测试工作需要在一天内完成。

具体实施方式举例：

第一步：在Jenkins上创建任务Job1.1，该Job用于从指定路径拷取低版本的安装包到目标机器A，并执行自动安装。后续测试过程中只需要触发这个任务执行即可。

第二步：在Jenkins上创建任务Job1.2，该Job用于执行自动升级。

第三步：在Jenkins上创建任务Job1.3，该Job用于从指定路径拷取高版本的安装包到目标机器B，并执行自动安装。

第四步：在Jenkins上创建任务Job1.4，该Job用于触发测试脚本判断A机器与B机器上的程序文件是否一致，判断规则为：配置文件及数据库数据文件允许存在差异，其余文件不允许存在差异。判断结束后，输出判断结果。

第五步：在Jenkins上创建任务Job1.5，该Job用于触发测试脚本判断A机器与B机器上的数据库表结构是否一致，输出判断结果及不一致的内容。

第六步：在Jenkins上创建任务Job1，该任务依次调用job1.1、job1.2、job1.3、job1.4、job1.5，并输出最终结果。

第七步：在Jenkins上创建任务Job2，该Job用于获取高版本及低版本之间的代码变化，并根据指定的规则判断哪些模块发生了变化，以及变更了哪些内容，执行完成后写到文本文件中并上传至FTP服务器中。设置任务执行顺序为Job1执行完成后自动触发执行Job2。

第八步：在Jenkins上创建各个模块的自动测试任务，并准备好所需要的测试环境，确保各个模块对应的任务均可以正常执行。

第九步：在Jenkins上创建Job3.1，该Job用于根据第五步中获取到的变更模块，自动触发Jenkins执行对应模块的环境部署及任务部署。

第十步：在Jenkins上创建任务Job3.2，该Job用于执行自动升级，然后触发自动测试用例，检查1)在系统升级之后，升级之前产生的数据是否可以正常使用。2)系统升级之后，升级涉及到的模块的功能是否正常。

第十一步：在Jenkins上创建任务Job3，该job用于调用job3.1及job3.2依次执行。设置任务执行顺序为Job2执行完成后自动触发执行Job3。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种自动测试更新包的测试方法，其特征在于，包括以下步骤：

1)测试升级过程本身是否正常，通过判断自动更新后的软件环境与全新安装的软件环境是否一致来实现；

2)自动获取两个版本之间发生变更的模块；

3)测试软件更新前产生的数据及配置在更新后是否可以正常使用；

4)以上三个步骤全部完成后，在Jenkins上设置任务关联，设置三个任务依次运行，前一个任务执行完成后自动触发下一个任务执行。

2.根据权利要求1所述的一种自动测试更新包的测试方法，其特征在于，所述的步骤1)测试升级过程本身是否正常具体实现过程如下：

101)：利用Jenkins调用shell脚本实现高版本及低版本的自动部署，自动实现低版本环境的更新；

102)：利用Jenkins调用提前写好的shell脚本升级低版本环境；

103)：利用Jenkins调用提前写好的Python脚本，比较两个环境中所有文件的md5值，如有差异则判断有差异的文件是否属于允许差异的文件并将文件路径记录到文本文件中；

104)：利用shell脚本调用dump命令分别导出两个环境中的数据库的表结构并上传ftp，解析.sql文件中的内容，并比较表结构是否一致并返回结果。

3.根据权利要求2所述的一种自动测试更新包的测试方法，其特征在于，所述的结果判断标准具体如下：

(1)文件：软件环境中以下几类文件在使用过程中可能会被程序修改，包括：.config文件、.log文件、.dat文件、.db文件、.pid文件、.json文件，正常升级成功的情况下，只有这几类文件会出现不一致的情况，否则升级过程本身是存在问题的；

(2)数据库：数据库的表结构必须完全一致才算测试通过，数据库中的数据内容因环境配置信息不同或者使用信息是可能存在不同的，所以不要求数据内容必须相同。

4.根据权利要求1所述的一种自动测试更新包的测试方法，其特征在于，所述的步骤2)自动获取两个版本之间发生变更的模块具体为：

201)：使用svn diff命令查看两个版本之间对应的代码变更路径，记录到文本文件中；

202)：将代码路径与模块的对应关系逐行记录到一个文本文件中；

203)：写脚本读取上述两步生成的文件内容，根据代码变更路径及、代码路径与模块的对应关系逐一进行匹配，如果存在变更路径及其模块名，记录到文本文件中并上传至FTP服务器中。

5.根据权利要求4所述的一种自动测试更新包的测试方法，其特征在于，根据步骤201)至203)，分析出在这两个版本之间发生变更的所有的模块，后续的测试中，只测试发生变更的模块，用于精准分析更新包对原有版本来说带来的变化，从而使得测试更有针对性，测试效率进一步提升。

6.根据权利要求1所述的一种自动测试更新包的测试方法，其特征在于，所述的步骤3)测试软件更新前产生的数据及配置在更新后是否可以正常使用具体为：

301)：自动部署低版本控制台；

302)：准备自动测试用例并添加标签；

303)：写脚本实现从FTP服务器读取步骤2)生成的文件，并自动生成自动测试用例在命令行执行需要的执行参数；

304)：在命令行中触发自动测试框架RobotFramework执行指定的测试用例，从而生成更新前的测试数据；

305)：自动升级低版本控制台；

306)：在命令行中触发自动测试框架RobotFramework执行指定的测试用例，从而验证更新前的测试数据及软件配置的正确性及可用性，以及更新后程序功能是否正常。