CN106970880B - 一种分布式自动化软件测试方法及系统 - Google Patents

Abstract

本发明公开了一种分布式自动化软件测试方法及系统。本方法为：1)服务器端加载软件测试任务列表和各客户端的配置文件；检查各客户端的状态，建立一客户端状态表；选取具有相同功能的两待测算法A、B；2)各客户端根据算法A进行环境部署；服务器端从该软件测试任务列表中选取未执行的测试任务，并将其发送给选取的客户端；3)客户端执行收到的测试任务并将测试结果发送给服务器端；4)客户端根据算法B更新环境部署，重复步骤1)～3)；5)服务器端判断各测试任务对应的两测试结果是否发生变化；对于出现性能退化的测试任务，基于二分法进行测试，最终自动定位出导致被测模块性能退化的补丁。本发明便于开发人员对相应问题进行分析解决。

Description

一种分布式自动化软件测试方法及系统

技术领域

本发明属于计算机软件技术领域；涉及一次在多台计算机上进行软件测试的情景，提出了一种分布式自动化软件测试方法及系统。

背景技术

软件测试(或者叫软件检测)是用来鉴定软件的正确性、完整性、安全性和质量的过程。软件测试是一种实际输出与预期输出间的审核或者比较过程，目的是为了在规定的条件下对程序进行操作，以发现程序错误，衡量软件质量，并对其是否能满足设计要求进行评估的过程。软件测试伴随着软件的产生而产生，早期由软件开发人员自己负责完成，现在有专门的测试人员完成。

目前大型软件的功能越来越复杂，相对应的测试工作也越来越复杂和繁重。在实际的测试工作中，经常会有针对某一软件进行多次不同的测试的需求，比如针对Linux内核的性能测试，会覆盖内核核心组件(内存、I/O子系统、进程调度、文件系统、网络等)，需要对相关核心组件的性能进行测试，涉及到的不同模块有数十个，每个模块又有数十个甚至上百个测试点，最后涉及到的测试用例会有几百个或者上千个。

软件测试主流的方法是人工手动进行一一测试，并对测试结果进行记录。通常在设计了测试用例并通过评审之后，由测试人员根据测试用例中描述的规程一步步执行测试，得到实际结果与期望结果的比较。手动测试的优点在于人可以对测试用例的结果进行合理的处理和应对，尤其是当测试结果不可预测的时候，但缺点也很明显----效率比较低下，在此过程中，为了节省人力、时间或硬件资源，提高测试效率，便引入了自动化测试的概念。

软件自动化测试是将以人为驱动的测试行为转化为机器执行的一种过程。软件自动化测试研究领域主要集中在软件测试流程的自动化管理以及动态测试的自动化(如单元测试、功能测试以及性能方面)。在这两个领域与手工测试相比，测试自动化的优势是明显的。首先自动化测试可以提高测试效率，使测试人员更加专注于新的测试模块的建立和开发，从而提高测试覆盖率；其次，自动化测试更便于测试资产的数字化管理，使得测试资产在整个测试生命周期内可以得到复用，这个特点在功能测试和回归测试中尤其具有意义；此外，测试流程自动化管理可以使机构的测试活动开展更加过程化。SilkTest就是一个传统的自动化测试软件，该软件可以测试java或者C/S结构的测试场景，非常的高效和灵活，但是和传统的自动化测试软件一样，该软件仅适合执行一次测试用例的场景，对于需要执行两次测试用例并对两次的测试结果进行自动化分析的场景并不适用。但是在实际工作中，经常有两次测试并对比的场景，比如实现了一个新的CPU调度算法，为了检验新算法的有效性，需要首先基于默认的CPU调度算法进行测试获取其性能指标，然后更换新的CPU调度算法后再次测试并获取相关数据，然后对前后两次的数据进行对比。传统的自动化软件测试并不支持这种场景。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种分布式自动化软件测试方法及系统。该系统可以通过服务器将测试任务(测试任务是每次分配的最小单元，一个测试任务可以包含多个测试用例)自动化的分发给不同的客户端计算机去运行，测试完成后将测试结果统一到服务器管理，然后根据需求自动向客户端计算机发布环境更新任务并随后发起第二次测试任务，并统一收集管理第二次的测试结果。当两次测试工作结束后，会自动的对两次的测试结果进行对比分析，并输出分析结果。

本发明的分布式自动化软件测试系统，其技术方案如下。

本技术方案如图1所示，主要包括服务器端、客户端以及二者之间通信的消息队列这三部分的技术开发。通过一个服务器端Master和多个附属的客户端Slave计算机来共同构建该自动化测试框架。服务器端Master控制了软件测试的整个流程，根据当前客户端的当前的测试任务执行情况(情况分为两个维度，一种为资源均衡的维度，涉及到已分配的任务数，已执行的任务数和待执行的任务数；另一种是历史执行测试任务的维度，这个维度主要涉及第二次测试任务的时候需要考虑某任务第一次在哪个机器执行。任务调度的时候需要同时考虑这两个维度)，为客户端分配相应的测试任务，并接受客户端返回的测试结果，并对结果进行分析；客户端根据服务器的指令，对收到的测试任务进行测试，并将测试结果反馈给服务器；服务器与客户端之间，通过消息队列进行通信。

1)如图2所示，服务器端主要包含系统初始化模块、任务发送模块、结果采集模块、结果对比分析模块以及问题补丁定位模块。初始化模块主要完成软件测试任务列表的加载(测试任务由Master节点初始化和统一管理)，客户端配置文件的加载(信息包括客户端Slave机器的IP地址，OS类型，CPU型号，特殊硬件如TCM等客户端的必要信息)，并向客户端发起心跳请求，确保各个客户端处于可用的状态；任务分发模块负责查找未被执行的测试任务和空闲的客户端，并为空闲的客户端分配任务；结果采集模块接收客户端反馈的测试结果，并将该结果存储在数据库中；结果对比分析模块从数据库中读取前后两次测试的结果进行对比，分析并输出有差距的测试结果项；问题补丁定位模块，是通过结果对比分析模块的分析结果，基于二分法进行自动化测试，定位导致被测模块性能退化的补丁。

2)如图3所示，客户端主要包括环境初始化、更新环境和执行检测三大部分。环境初始化主要是对环境初始化和部署等工作，进行一些通用的检测工作的准备，更新环境主要是针对具体的测试任务做一些具体的测试工具的安装和部署。执行检测主要是根据服务器端的任务分发列表，对具体测试任务进行运行，运行结束后，将检测结果等信息传入至消息队列中，待服务器端获取并对其进行分析。

3)消息队列主要作为服务器端和客户端的桥梁，为双方进行消息的传递。服务器端会将测试任务提交给消息队列，各个客户端在消息队列上进行注册，然后接受消息队列中发给自己的任务，并执行。当客户端执行完任务后，也会将测试结果发送给消息队列，等候服务器去获取。消息队列使得服务器端与客户端之间能够进行异步通信，同时也可规范服务器端与客户端之间的通信协议：队列中包括队列头、消息类型、ID信息、消息内容、队列尾等。服务器端将心跳信息、任务的分发等写入消息队列，供客户端识别、提取、分析使用；客户端将测试任务、客户端ID、测试的结果等信息写入消息队列，供服务器端识别、提取、分析使用。

具体步骤如下：

1)服务器端系统初始化：首先加载用例测试表、客户端配置表等配置文件，完成对服务器端的初始化，然后向各个客户端发出心跳信息，检查各个客户端是否处于正常状态。

2)客户端收到心跳消息后，会对自身的基础环境进行检查，如果一切正常则向服务端回复就绪的响应。

3)服务器端会根据客户端的响应来更新客户端状态表，然后向各个客户端发送初始化的命令，让其准备工作。

4)客户端根据服务器端的初始化命令，会安装必要的测试工具如fio等。

5)服务器分发任务：根据维护的客户端Slave元数据和测试任务的元数据，从中选取未执行的任务和空闲的客户端，将任务发送给空闲客户端执行。

6)客户端获取任务：监听消息队列，当获取到服务器端的任务分发消息时，跳转7)。

7)客户端解析任务：解析任务，以得到任务号、测试列表以及Client_id等信息。

8)客户端执行测试：在相应的客户端执行指定的测试任务。测试结果以文件的形式输出，其中包括测试任务名以及测试后所得的相关数据、指标等。

9)客户端反馈测试结果：得到测试结果后，通过消息队列给服务器发送当前测试任务的任务号、Client_id、状态和最终结果等信息。

10)服务器结果采集：接收来自客户端反馈的测试结果并将该结果存储在数据库里。

11)第二次任务执行：根据需求更新各个客户端系统配置，通过集成补丁的方式更新测试任务的源码，同时按照5)到10)的步骤发起第二次测试任务的处理。

12)服务器结果对比分析：将两次的测试结果进行自动化比对、计算，并自动输出有差异的部分，具体信息包括：测试任务、以百分比值来表示的差异程度(百分比的正负表示的性能提升与退化)。

13)服务器定位问题补丁：根据12)输出的分析结果，对于出现性能退化的测试任务，基于二分法进行测试，最终自动定位出导致被测模块性能退化的补丁。

i.首先定位出，出现性能退化的测试任务，以及对应的代码模块；

ii.根据i)定位的代码模块，自动定位出与之相关联的补丁patches；

iii.根据ii)定位出的patches，对patches进行二分法测试，重复步骤5)～13)执行二分迭代测试；

iv.在patches的最后一次二分测试中，导致性能退化的patch即为问题补丁，输出给开发人员进一步分析使用。

与现有技术相比，本发明的积极效果为：

(1)传统的自动化测试软件多基于单机模式，本发明基于分布式模式，采用Master-Slave架构，更加的灵活高效；

(2)传统的自动化测试软件均没有提供测试两次并对两次的测试结果进行自动化分析的功能，本发明提供了对比测试并自动化地对两次测试结果进行分析的功能。

(3)传统的自动化测试软件都停留在执行测试及输出测试结果方面，无法定位导致被测模块出问题的具体原因；本发明基于二分法，提供了自动定位问题补丁的功能，便于开发人员对相应问题进行分析解决。

附图说明

图1分布式自动化软件测试系统整体架构；

图2服务器端架构图；

图3客户端架构图；

图4为二分法测试流程图。

具体实施方式

下面通过实例对本发明作进一步的说明，但不以任何方式限制本发明的范围。

设定如下测试场景：服务器一台，server；客户端4台，分别为client1、client2、client3、client4；用例测试表有5个检测项，为case1、case2、case3、case4、case5，5个测试项的具体内容如表1：

表1为5个case的描述

Case名	描述
		Case1	基于ltp对于btrfs文件系统进行测试
Case2	基于ltp对于CPU的调度性能进行测试
		Case3	基于ltp对于进程间管理进行测试
Case4	基于ltp对于内存管理进行测试
		Case5	基于ltp对于系统调用进行测试

服务器的数据库中已经存有一份预期测试结果数据。

实施步骤如下：

1)服务器端系统初始化：加载测试表case1～case5、客户端配置表等配置文件，完成对服务器端的初始化，然后向客户端client1～client4发送初始化的命令，命令中含有脚本会让其下载相应的依赖软件包ltp并进行安装；

2)客户端环境部署：接收到来自服务器端的环境初始化命令后，运行命令，安装ltp工具相关的环境。

3)客户端就绪反馈：客户端完成初始化以后，会给服务器端发送就绪信号。

4)服务器任务分发：根据客户端的反馈，发现当前有4个空闲client，5个测试任务；服务器端会给客户端和测试任务进行编号，然后将case1分发给client1、将case2分发给client2、将case3分发给client3、将case4分发给client4、此时4个客户端都处于忙碌状态，对操作系统的不同功能点进行测试，对于测试任务case5没有合适的客户端可以执行，则case5继续等待。

5)客户端client1～client4获取任务：监听消息队列，当获取到服务器端的任务分发消息时，跳转6)。

6)客户端解析任务：解析任务，以得到任务号、测试列表以及Client_id等信息，如client1会收到case1的任务，即基于ltp对于btrfs文件系统进行测试。

7)客户端执行测试：在相应的客户端执行指定的测试任务，如client1会开始执行基于ltp对于btrfs文件系统进行测试。

8)客户端反馈测试结果：client1～client4得到测试结果后，通过消息队列给服务器发送当前测试任务的任务号、Client_id、状态和最终结果等信息。假设此处，client3最先完成测试反馈，则服务器同时跳转4)，将测试任务case5分发到client3中执行测试。

9)服务器结果采集：接收来自客户端反馈的测试结果并将该结果存储在数据库里。

10)第二次任务执行：更新客户端配置如更换CPU的调度算法，从原先的A算法切换到了待测试的B算法，切换时，使用patches集成的方式进行更新。同时按照5)到9)的步骤发起第二次测试任务的处理。

11)服务器结果对比分析：当所有测试任务完成后，会在数据库中将前后两次测试结果读出来分析，假设此处分析出性能有明显改变的检测项为case2，则最后将会输出一个分析结果，该结果显示case2的前后的测试结果有差异，也即CPU的调度算法的切换对最后结果产生了影响。若该影响为性能提升，则输出对比分析结果，不跳转12)；若发生性能退化，则跳转12)，进行问题补丁定位。

12)服务器问题补丁定位：根据11)得出的前后两次测试任务的分析结果，首先自动执行测试项定位，再基于二分法，自动定位问题补丁。其中：

测试项定位：指的是根据11)的结果，自动定位造成性能退化的测试项case，再自动定位对应的代码模块以及相关联的patches。

二分法测试：指的是采用二分法进行迭代测试。针对上述已定位的、相关联的补丁序列patches，逐步将其中导致性能退化的部分分为两组，将这两组patches分别集成到第一次测试任务的被测代码中，再分别进行迭代测试，最终自动定位出问题补丁，输出给开发人员进行问题的分析解决。

原理流程如图4所示，其步骤为：

i.假设在步骤11)中，导致第二次测试任务较第一次测试任务出现性能退化的case是case2，即对CPU调度性能的测试；

ii.根据其代码目录，可定位相关的代码模块为sched/目录下的代码；

iii.在所有patches中，查找与此模块代码相关的patches，此处假设有8个patches；

iv.基于二分法，对这8个patches进行二分测试：patch1-patch 4为一组，patch5-patch 8为一组，分两次集成至第一次测试任务的代码后进行测试，分别重复步骤4)～11)，执行测试、返回测试结果，并将测试结果与第一次测试结果比较；

v.假设集成patch1-patch 4的代码模块经测试、结果分析后，有性能退化，而集成patch5-patch 8的代码模块经测试、结果分析后，没有性能退化，则对patch1-patch 4再次进行二分测试；

vi.将patch1-patch 2分为一组，patch3-patch 4分为一组，分两次集成至第一次测试任务的代码后进行测试，分别重复步骤4)～11)，执行测试、返回测试结果，并将测试结果与第一次测试结果比较；

vii.假设集成patch1-patch 2的代码模块经测试、结果分析后，没有性能退化，而集成patch3-4的代码模块经测试、结果分析后，有性能退化，则对patch3-patch 4再次进行二分测试；

viii.将patch3分为一组，patch4分为一组，分两次集成至第一次测试任务的代码后进行测试，分别重复步骤4)～11)，执行测试、返回测试结果，并将测试结果与第一次测试结果比较；

ix.假设集成patch3的代码模块经测试、结果分析后，有性能退化，而集成patch4的代码模块经测试、结果分析后，没有性能退化，由于此时出现性能退化的patch只有patch3，无法继续二分，所以将patch3确定为造成CPU调度性能退化的最终原因，并输出给开发人员后续使用。

Claims (6)

1.一种分布式自动化软件测试方法，其步骤为：

1)服务器端加载软件测试任务列表和各客户端的配置文件；检查各客户端的状态，建立一客户端状态表；选取具有相同功能的两待测算法A、B；

2)各客户端根据待测算法A进行环境部署；服务器端从该软件测试任务列表中选取未执行的测试任务，并将其发送给根据客户端状态选取的客户端；

3)客户端执行收到的测试任务并将测试结果发送给服务器端；

4)客户端根据待测算法B更新环境部署，重复执行步骤1)～3)；

5)服务器端判断各测试任务对应的两测试结果是否发生变化；如果测试任务a在待测算法B对应的测试结果中的性能与在待测算法A对应的测试结果中的性能对比为性能提升，则直接输出测试任务a的对比结果；如果测试任务b在待测算法B对应的测试结果中的性能与在待测算法A对应的测试结果中的性能对比为性能退化，则定位到测试任务b对应的代码模块以及相关联的补丁；

6)将测试任务b对应的代码模块相关联的补丁分为两组，然后将这两组补丁分别集成到该待测算法A中后，分别进行迭代测试，最终自动定位出问题补丁；其中自动定位出问题补丁的方法为：基于二分法，将测试任务b对应的代码模块相关联的补丁分为两组，即A组和B组，分两次集成至该待测算法A中后进行测试，并将A组的测试结果、B组的测试结果分别与测试任务b在待测算法A对应的测试结果中的性能对比，选取出对比结果为性能退化的组，即为A组；然后对A组补丁分为两组，分两次集成至该待测算法A中后进行测试，并将两测试结果分别与测试任务b在待测算法A对应的测试结果中的性能对比，选取出对比结果为性能退化的组，再次迭代执行分组、测试，直至无法继续二分，然后将最后一次迭代得到的两测试结果分别与测试任务b在待测算法A对应的测试结果中的性能对比，将对比结果为性能退化的组中的补丁确定为问题补丁。

2.如权利要求1所述的方法，其特征在于，服务器端与客户端之间通过一消息队列进行通信，其中，各客户端在消息队列上进行注册，服务器端将测试任务提交给该消息队列，各客户端接受消息队列中发给自己的测试任务，并将测试任务的测试结果发送给该消息队列，服务器端通过该消息队列获取所述测试结果。

3.如权利要求1或2所述的方法，其特征在于，所述配置文件的信息包括客户端的IP地址、操作系统类型、CPU型号、需加载的设定硬件。

4.一种分布式自动化软件测试系统，其特征在于，包括一服务器端和多个客户端；服务器端包括任务分发模块、结果采集模块、结果对比分析模块和问题补丁定位模块；其中，服务器端加载软件测试任务列表和各客户端的配置文件，并向客户端发起心跳请求，确保各个客户端处于可用的状态；任务分发模块负责查找未被执行的测试任务和空闲的客户端，并为空闲的客户端分配任务；结果采集模块接收客户端反馈的测试结果，并将该结果存储在数据库中；结果对比分析模块从数据库中读取前后两次测试结果进行对比，分析并输出测试结果有变化的测试任务对应的代码模块以及相关联的补丁；问题补丁定位模块通过结果对比分析模块的分析结果，基于二分法进行自动化测试，定位导致测试结果性能退化的补丁；

客户端，根据当前的待测算法进行环境部署，执行服务器端分发的测试任务并将测试结果发送给服务器端；其中待测算法包括具有相同功能的两待测算法A、B；

其中问题补丁定位模块基于二分法，将测试任务b对应的代码模块相关联的补丁分为两组，即A组和B组，分两次集成至该待测算法A中后进行测试，并将A组的测试结果、B组的测试结果分别与测试任务b在待测算法A对应的测试结果中的性能对比，选取出对比结果为性能退化的组，即为A组；然后对A组补丁分为两组，分两次集成至该待测算法A中后进行测试，并将两测试结果分别与测试任务b在待测算法A对应的测试结果中的性能对比，选取出对比结果为性能退化的组，再次迭代执行分组、测试，直至无法继续二分，然后将最后一次迭代得到的两测试结果分别与测试任务b在待测算法A对应的测试结果中的性能对比，将对比结果为性能退化的组中的补丁确定为问题补丁。

5.如权利要求4所述的系统，其特征在于，服务器端与客户端之间通过一消息队列进行通信，其中，各客户端在消息队列上进行注册，服务器端将测试任务提交给该消息队列，各客户端接受消息队列中发给自己的测试任务，并将测试任务的测试结果发送给该消息队列，服务器端通过该消息队列获取所述测试结果。

6.如权利要求4所述的系统，其特征在于，所述配置文件的信息包括客户端的IP地址、操作系统类型、CPU型号、需加载的设定硬件。

Images