CN101447892A - 分布式测试方法和系统、以及测试服务器 - Google Patents

Abstract

本发明公开了一种分布式测试方法和系统、以及测试服务器，其中，该测试服务器包括：通信管理单元，用于实现测试客户端与测试服务器、以及测试执行端与测试服务器之间的通信连接；测试管理单元，用于管理测试任务的执行，以及访问测试实体管理单元获取测试任务所需的测试实体的信息，其中，测试实体包括测试客户端、测试执行端、以及被测设备；测试实体管理单元，用于管理或监测测试实体；安全监控单元，用于对测试客户端进行鉴权和认证，监控测试执行端执行测试任务的状况，以及监控测试实体对测试数据库的操作。使用本发明，能够解决相关技术中分布式测试系统中测试流程自动化管理不集中的问题。

Description

分布式测试方法和系统、以及测试服务器

技术领域

本发明涉及通信领域，具体地，涉及一种分布式测试方法和系统、以及测试服务器。

背景技术

分布式测试系统是由网络互联的多执行端(Test Executer，简称为TE)根据测试任务对被测设备(Device Under Test，简称为DUT)进行测试的系统，其中，由测试管理端(Test Manager，简称为TM)统一管理分布式的执行端。目前，针对分布式测试系统的研究，集中在以下两方面。

第一，针对单测试管理客户端-多测试执行端(1-N)的分布式测试系统架构的研究。图1示出了根据相关技术的单测试管理客户端-多测试执行端(1-N)的分布式测试系统的结构，如图1所示，该种系统涉及到若干个用于控制至少一个被测设备(Device Under Test，简称为DUT)(图1中所示的DUT1、DUT2、...、DUTx)的测试执行端(Test Executer，简称为TE)(图1中所示的TE1、TE2、...、TEm)，以及一个用于控制该执行端的测试管理客户端(TestManager，简称为TM)，测试执行端与被测设备过网络互联，管理客户端与测试执行端通过网络互联进行数据传递；被测设备的测试用例设置于相应的测试执行端上；测试客户端通过设置其上的流程用例调度管理测试执行端上的测试用例，从而实现分布式测试。

上述系统中存在以下两个主要问题：首先，测试用例设置在不同的测试执行端上，造成测试用例的冗余，难以实现用例的集中管理和版本控制；其次，该系统采用一个测试客户端控制若干个测试执行端，控制集中，难以共享测试资源，测试客户端通过集中管理中心提交测试任务不方便，难以灵活使用测试资源。

第二，针对多测试管理客户端-多测试执行端(N-N)的分布式测试系统架构的研究。图2示出了根据相关技术的多测试管理客户端-多测试执行端(N-N)的分布式测试系统的结构。如图2所示，该系统涉及到若干个用于控制至少一个被测设备(图2中所示的DUT1、DUT2、...、DUTx)的测试执行端(图2中所示的TE1、TE2、...、TEm)，以及若干个用于控制该执行端的测试管理客户端，管理客户端与测试执行端也是通过网络互联进行数据传递。这种系统实现了对测试执行端的灵活调度和测试资源的充分使用。

而上述系统中主要存在以下三个问题：首先，在N-N的分布式测试系统中，这种分布式测试系统管理的复杂的胖客户端增加了测试管理系统的复杂性；其次，每个测试管理端都要负责对多测试执行端的管理，难以实现测试管理端的协调；还有，对测试执行端的调度管理也集中在执行端处理，增加了执行端的复杂性。

另外，在分布式测试系统中，如何有效管理分布式资源，合理、高效实施基于分布式测试系统的测试，尤其是自动化测试，也是一个研究的重点。尽管上述两种系统充分利用了物理上分布的各种测试资源，但对于测试资源的管理、测试流程管理等问题没有很好的解决。

基于管理上出现的问题，目前还提出了一种包括测试管理系统、自动化测试系统、测试浏览器等的测试管理系统。但是，该测试管理系统侧重于解决分布式资源的管理，适用于解决手工测试与自动化测试的集中管理，在进行测试流程自动化管理时的效果不理想，且自动化测试的处理效率不高。

可见，针对相关技术中存在的无法有效实现分布式测试系统中测试流程自动化管理的问题，目前尚未提出有效的解决方案。

发明内容

考虑到相关技术中存在的无法有效实现分布式测试系统中测试流程自动化管理的问题而做出本发明，为此，本发明的主要目的在于提供一种改进的分布式测试方案，以解决相关技术中的上述问题。

根据本发明的一个方面，提供了一种测试服务器。

根据本发明的测试服务器包括：通信管理单元，用于实现测试客户端与测试服务器、以及测试执行端与测试服务器之间的通信连接；测试管理单元，连接至通信管理单元和测试实体管理单元，用于管理测试任务的执行，以及访问测试实体管理单元获取测试任务所需的测试实体的信息，其中，测试实体包括测试客户端、测试执行端、以及被测设备；测试实体管理单元，连接至通信管理单元和测试管理单元，用于管理或监测测试实体；安全监控单元，连接至通信管理单元、测试管理单元、以及测试实体管理单元，用于对测试客户端进行鉴权和认证，监控测试执行端执行测试任务的状况，以及监控测试实体对测试数据库的操作。

优选地，上述通信管理单元包括：通信连接模块，用于接收、解析并转发测试客户端、测试执行端以及测试服务器之间的通信消息，用于建立测试客户端与测试执行端之间的跨网络连接，以及用于管理测试客户端的地址信息；隧道管理模块，连接至通信连接模块，用于为处于同一网络内的测试客户端与测试执行端建立进行直接通信的隧道；路由模块，连接至通信连接模块，用于根据预先建立的客户端与测试执行端之间的路由表、以及跨网络连接或隧道进行客户端与测试执行端之间的路由选择，并维护和更新路由表；邮件模块，连接至通信连接模块，用于根据测试执行端执行测试任务的结果以及邮件发送策略进行邮件配置，并将配置的邮件发送给测试客户端。

优选地，上述测试管理单元包括：测试任务管理模块，用于管理测试客户端提交的测试任务以及测试任务队列，并根据测试执行端的状况调度测试任务，以及通过将测试任务分解成多个子任务来进行负载均衡管理；日志管理模块，用于根据测试执行端执行测试任务的结果采集原始测试日志，以及根据测试客户端的命令对采集的原始测试日志进行日志分拣、日志整合以及日志查询；测试用例管理模块，连接至测试任务管理模块，用于管理测试用例的信息和测试用例版本，以及根据相关命令对测试用例进行查询。

优选地，上述测试实体管理单元包括：测试执行端管理模块，用于管理测试执行端的配置信息，监控测试执行端的状态；被测设备管理模块，连接至测试执行端管理模块，用于管理被测设备的配置信息，根据配置的配置信息为测试任务配置相应的被测设备，以及管理被测环境和配置的被测设备的拓扑结构；测试客户端管理模块，用于管理测试客户端的配置信息，并根据测试客户端的配置信息对测试客户端进行鉴权以及权限的管理。

优选地，上述安全监控单元包括：监控模块，用于监控测试执行端执行测试任务的状况，以及监控测试实体对测试数据库的操作；安全模块，用于在需要建立测试客户端与测试执行端之间的隧道的情况下，根据测试客户端的地址对测试客户端进行身份验证。

根据本发明的另一个方面，提供了一种分布式测试系统。

根据本发明的分布式测试系统包括测试服务器、测试数据库、至少一个测试客户端、至少一个测试执行端、以及至少一个被测设备，其中，上述测试客户端用于向测试服务器提交测试任务；上述测试服务器用于将测试任务下发给测试执行端，并获取测试执行端执行测试任务的测试日志，以及将测试日志反馈给测试客户端；上述测试数据库用于存储并管理测试资源信息；上述测试执行端用于根据测试任务中包含的测试用例，在被测设备上执行测试用例、获取测试结果，根据测试结果生成测试日志，并将测试日志反馈给测试服务器；上述被测设备用于执行测试执行端下发的测试用例，并向测试执行端返回测试结果。

根据本发明的又一个方面，提供了一种分布式测试方法。

根据本发明的分布式测试方法包括：测试服务器接收测试客户端提交的测试任务；测试服务器将测试任务发送到测试执行端，以使测试执行端根据测试任务中的测试用例进行测试并获取测试结果，以及根据测试结果创建测试日志；测试服务器接收来自于测试执行端的测试日志；测试服务器根据测试日志生成邮件，并将邮件发送给测试客户端。

优选地，测试客户端提交的测试任务可以包括：测试客户端根据其在测试服务器中查询并选择的测试用例创建的测试任务；和/或，测试服务器根据测试客户端提交的自动生成测试任务请求和/或测试任务的信息选择测试用例并基于所选测试用例创建的测试任务。

优选地，该方法还包括：根据当前的测试任务量以及测试资源，确定是否将测试任务分解成多个并行执行的子测试任务。

优选地，上述测试日志包括以下至少之一：测试结果、测试趋势报告、结果异常检索。

通过本发明的上述技术方案，通过测试服务器集中管理测试任务流程和测试资源，能够使测试服务器将通过测试客户端提交的测试任务分配到测试执行端，并监控测试执行端执行测试任务，以及根据测试任务的执行结果为测试用户发送测试结果信息，避免测试用户的参与测试任务的执行过程，从而能够解决相关技术中分布式测试系统中测试流程自动化管理不集中的问题，进而可以提高测试任务自动化执行的程度，达到自动化管理测试流程的目的。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据相关技术的单测试管理客户端-多测试执行端(1-N)的分布式测试系统的结构框图；

图2是根据相关技术的多测试管理客户端-多测试执行端(N-N)的分布式测试系统的结构框图；

图3是根据本发明装置实施例的TS的结构框图；

图4是根据本发明优选实施例的TS的结构框图；

图5是根据本发明系统实施例的分布式测试系统的结构框图；

图6是根据本发明方法实施例的分布式测试方法的流程图；

图7是根据本发明方法实施例的分布式测试方法的优选处理流程图；

图8是根据本发明方法实施例的分布式测试方法的具体实现过程的信令流程图。

具体实施方式

功能概述

考虑到相关技术中存在的无法有效实现分布式测试系统中测试流程自动化管理的问题，本发明提出了一种分布式测试方法和系统、以及测试服务器，其中，使测试服务器(Test Server，简称为TS)将由测试客户端(Test Client，简称为TC)提交的测试任务分配到测试执行端(Test Executer，简称为TE)，监控TE执行测试任务的状况，以及根据测试任务的执行结果为TC发送测试结果信息，避免测试用户参与任务的执行过程，实现了测试的自动化管理。

下面结合附图对本发明的实施例进行说明应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。

装置实施例

根据本发明的实施例，提供了一种TS。

图3示出了根据本发明装置实施例的TS的结构，如图3所示，根据本发明装置实施例的TS包括：通信管理单元2、测试管理单元4、测试实体管理单元6、安全监控单元8。下面详细说明上述单元的功能。

图3中所示的TS中的各个模块的功能如下：

通信管理单元2，用于实现TC与TS、以及TE与TS之间的通信连接；

测试管理单元4，连接至通信管理单元2和测试实体管理单元6，用于管理测试任务的执行，以及访问测试实体管理单元获取测试任务所需的测试实体的信息，其中，测试实体包括TC、TE、以及被测设备(Device Under Test，简称为DUT)；

测试实体管理单元6，连接至通信管理单元2和测试管理单元4，用于管理或监测测试实体；

安全监控单元8，连接至通信管理单元2、测试管理单元4、以及测试实体管理单元6，用于对TC进行鉴权和认证，监控TE执行测试任务的状况，以及监控测试实体对测试数据库(Test Database，简称为TD)的操作。

借助于本实施例提供的TS，通过设置通信管理单元、测试管理单元、测试实体管理单元、安全监控单元，能够对测试任务和测试实体进行集中管理，提供测试任务执行的自动化程度。

基于以上的描述，图4进一步示出了根据本发明优选实施例的TS的结构，如图4所示，根据本发明优选实施例的TS包括通信管理单元42、测试管理单元44、测试实体管理单元46和安全监控单元48。

其中，通信管理单元42可以包括：通信连接模块420、路由模块422、邮件模块424、隧道管理模块426。其中，通信连接器420用于解析TC与TS以及TE与TS之间的通信消息，以及将解析的结果上传到路由模块；并且，通信连接器420与路由模块422协同，用于实现跨网络的TC与TE之间的互联。

(一)通信管理单元42

通信连接模块420，用于接收、解析并转发TC、TE以及TS之间的通信消息，用于建立TC与TE之间的跨网络连接，以及用于管理TC的地址信息。

隧道管理模块426，连接至通信连接模块420，用于为处于同一网络的TC与TE建立或撤除隧道(或成为通信隧道)。这里所说的隧道可以是TC与TE之间的直接通信连接，隧道对TC或TE是透明的，当隧道建立后，TC可以直接发送测试命令到TE，TE完执行命令后发送结果到TC，省去TS的处理环节，从而提高了效率，也减轻TS的处理负担；并且，在自动化测试过程中，TE可以直接将测试日志发送到TC，从而降低了即时消息的时延。

路由模块422，连接至通信连接模块420，用于为TC与TE的通信进行路由选择操作，该操作可以包括：将TC发出的测试命令转发到相应的TE，或者将TE的响应转发到相应的TC，实现TC或TE的通信消息交互；并用于建立和维护TC与TE之间的路由表，优选地，路由表可以存储在TD。

邮件模块424，连接至通信连接模块420，用于邮件发送配置、发送策略控制、日志发送和错误报告；即，该模块主要用于在无人值守的自动化测试过程中，当自动化测试任务完成，将测试报告(或测试日志)发送到相应的TC。

(二)测试管理单元44

测试管理单元44，用于管理包括围绕测试任务的一系列管理和监控工作，例如，测试任务的提交、测试任务的执行、测试结果报告等测试环节，以及访问测试实体管理单元获取测试任务所需的测试实体的信息。测试管理单元44可以包括：测试任务管理模块440、日志管理模块442、测试用例管理模块444。

测试任务管理模块440用于管理TC提交的测试任务，测试任务队列、测试任务调度以及负载均衡。其中，测试任务调度用于为测试任务分配TE和DUT，以及，在多任务以及测试资源紧张情况下，根据测试任务来协调分配测试资源。负载均衡是当任务量大并且测试资源充足情况下，可以将大任务分解成一系列子任务，并分配到不同的TE执行，有助于缩短任务执行周期。测试任务管理模块440还用于实现任务派发策略功能，即，在派发测试任务时判断是否需要为该测试任务附加测试用例。

日志管理模块442用于根据TE执行测试任务的结果来采集原始测试日志，分拣日志、整合日志以及查询日志。测试日志由TE生成，并分布在不同物理区域(即，分布在各TE中)，日志管理模块442将日志汇总到TD；并且，根据分拣策略，将采集到的日志加工成不同类型的日志，如概要日志、详细日志；以及将子任务输出的原始测试日志加工成整合日志。TS对日志进行处理后可形成便于TC分析处理的测试日志。日志管理模块442还可以负责系统日志的采集和处理，其中包括TC操作日志、安全监控日志等，并且向邮件模块424提供访问接口，用于测试日志的自动发送。

测试用例管理模块444，为测试任务管理模块440提供访问接口，用于测试用例管理、响应测试任务管理模块440的查询操作提供测试用例信息、以及版本管理，其中测试用例可以存储在TD中。测试用例管理模块444可以对TC提供测试用例列表，用户根据该列表从TS中获取测试用例信息；另一方面，测试用例管理模块444根据测试任务，将测试用例发送到TE；还用于在TS与TC，或者TS与TE间建立FTP文件传输服务，根据TC或者TE请求，向TE传输测试用例。

(三)测试实体管理单元46

测试实体管理单元46用于管理或监测所述测试实体。测试实体管理单元46可以包括TE管理模块460、TC管理模块462、DUT管理模块464。

TE管理模块460，用于对TE进行配置管理，以及对TE的状态进行监控。其中，TE的配置信息可以存储在TD中，并可以为TC所访问查询；TE的状态可以包括空闲状态、工作状态和故障状态，对TE的状态进行监控可以为自动化的任务调度提供依据，并且提高自动化测试的程度。

TC管理模块462，用于对TC的配置信息进行管理、并根据该配置信息对TC进行鉴权和权限管理。

DUT管理模块464，连接至TE管理模块，用于对DUT的配置信息进行管理，根据该配置信息为测试任务配置相应的DUT，管理被测环境管理以及根据测试任务配置的被测DUT的拓扑管理。其中，DUT的配置信息可以存储在TD中，并可以为TC所访问查询。

(四)安全监控单元48

安全监控单元48包括：监控模块480和安全模块482。

监控模块480，用于与上述TE管理模块460协调负责TE执行异常监控与容错处理，这样可以保证无人值守的自动化测试任务的执行，监控模块480还可用于监控TC或TE对TD进行的操作，以及用于对TC的地址信息进行管理。

安全模块482，用于在需要建立TC与TE之间的隧道的情况下，根据TE的地址对TC进行身份验证。

可以看出，根据本发明实施例的测试TS能够对测试流程进行集中统一的管理，并且能够实现自动执行测试任务，避免测试过程中测试人员的参与。

系统实施例

根据本发明的实施例，提供了一种分布式测试系统。

图5示出了根据本发明系统实施例的分布式测试系统的结构，如图5所示，根据本发明系统实施例的分布式测试系统包括TS 1、TD 3、多个TC 5(即，TC 5-1至TC 5-n)、多个TE 7(即，TE 7-1至TE 7-m)、以及多个DUT 9(即，DUT 9-1至DUT 9-x)，并且TS 1、TD 3、多个TC 5、多个TE 7、以及多个DUT 9之间均通过网络互联。其中，TS 1是分布式测试系统的中枢，用于管理和调度测试流程、以及测试资源；TD是测试资源的存储中心，可以为TS 1、TC 5、以及TE 7所访问；TC 5为测试用户提供基于GUI方式的测试平台(或称为测试界面)；TE 7是分布在测试环境中的执行实体，用于执行TS 1下发的多种测试任务；其中，处于不同网络中的TC 5与TE 7之间可以通过TS 1中的通信连接器和路由模块进行通信，处于同一网络中的TC 5与TE 7之间可以通过TS 1中的隧道模块进行通信。下面对上述各实体进行详细说明。

(一)TS 1

用于将测试任务下发给TE 7，并获取TE 7执行测试任务的测试日志，以及将测试日志反馈给TC 5。优选地，TS 1的功能与上述图3所示的TS的功能类似，这里不再赘述。优选地，隧道建立的情况可参考图5中虚线所示的连接情况。

(二)TD 3

用于存储并管理测试资源信息，存储的内容可以包括：测试用例的信息、测试任务的信息、测试日志的信息、测试TC 5的配置信息、TE 7的配置信息、测试环境信息等。优选地，TD 3可以是一个单独的实体，也可以是位于TS 1中的一个功能模块。

(三)TC 5，为用户提供综合测试管理平台，即，为测试用户访问TS 1或TE 7提供接口，其中，TC 5可以包括：TC通信模块(未示出)、登陆管理模块(未示出)、自动化测试管理模块(未示出)、以及手工测试管理模块(未示出)。

具体地，TC通信模块用于实现TC 5与TS 1或TC 5与TE 7间的通信消息交互，并负责TC 5与TS 1间的同步。登陆管理模块，对测试用户进行鉴权和登陆验证。自动化测试接口模块为测试用户访问TS 1或TE 7提供多种接口，通过该模块测试用户可以查询TS1中的测试资源和测试设备的信息，例如，测试用例信息、TE信息。测试任务建立模块用于根据通过自动化测试接口模块查询的结果，创建测试任务，并将该测试任务通过TC 5通信模块发送到TS 1。

并且，自动化测试管理模块可以进一步包括：测试用例查询模块、测试配置模块、测试任务模块、执行端控制模块、日志查询模块。其中，测试用例查询模块用于从TS 1查询存储于TS 3的测试用例，并选择测试用例，由下述测试任务模块生成测试任务，并提交到TS 1。执行端控制模块用于发出测试任务的控制命令，例如，启动、终止等命令。在测试执行过程或执行完成，通过日志查询模块获取任务日志。

手工测试管理模块提供了手工测试的功能，即，由测试用户通过TC 5下发测试命令到DUT 9，并且DUT 9向TC 5返回执行结构。具体地，手工测试的操作过程为，TC 5送测试命令到TE 7或经TS1到TE 7，TE 7根据测试命令在DUT 9上执行测试并等待测试结果，并最终将测试结果送到TC 5，实现远程的命令测试。其中，在命令交互的过程中由通信模块负责同步处理。

(四)TE 7

TE 7，用于根据测试任务中包含的测试用例，在DUT 9上执行测试用例、获取测试结果，根据测试结果生成测试日志，并将测试日志反馈给TS 1。优选地，该模块可以包括：TE通信模块(未示出)、命令解析模块(未示出)、测试任务执行模块(未示出)。

其中，TE通信模块用于TE 7与TS 1或者TE 7与TC 5的通信消息的交互，并负责与TS 1间的同步监控。命令解析模块用于对测试任务中的测试命令进行解析，其中，测试命令可以包括执行端操作命令和DUT测试命令。测试任务执行模块用于根据命令解析模块对测试命令进行解析的结果以及测试流程来执行测试任务。

此外，测试任务执行模块可以进一步包括：测试任务处理模块(未示出)、测试任务执行模块(未示出)和测试日志模块(未示出)，其中，测试任务处理模块可从TS 1接收测试任务以及根据测试任务从TS1获取测试用例，测试执行模块则用于启动执行引擎、遍历测试任务执行，测试日志模块用于采集输出测试日志到TS 1的日志管理模块。即，接收测试任务(即测试命令)以及根据测试命令从TS1(或TD3)中获取测试用例、启动执行引擎、遍历执行测试任务、通过TE7通信模块测试日志输出到TS 1，其中，执行引擎可以是工具命令语言(Tool Command Language，tcl)解释器，优选地，测试用例可以采用tcl语言编写，这样，测试用例无需编译即可执行。

(五)DUT 9

用于执行TE 7下发的测试用例，并向TE 7返回测试结果。

借助于本实施例提供的分布式测试系统，能够通过TS对测试任务和测试实体进行集中管理，有效提高测试任务执行的自动化程度。

方法实施例

根据本实施例，提供了一种分布式测试方法。

图6示出了根据本发明方法实施例的分布式测试方法的流程，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图6所示，根据本发明方法实施例的分布式测试方法包括以下处理过程。

步骤S602，TS接收TC提交的测试任务；

步骤S604，TS将测试任务发送到TE，以使TE根据测试任务中的测试用例进行测试并获取测试结果，以及根据测试结果创建测试日志；

步骤S606，TS接收来自于TE的测试日志；

步骤S608，TS根据测试日志生成邮件并将邮件发送给TC。

借助于本实施例提供的方法，能够使TS将测试用户提交的测试任务分配相关的TE、并监控测试任务的执行、以及根据测试任务的执行结果为测试用户发送测试结果信息(例如测试日志)，并且，在任务的执行过程中无需测试用户的参与，能够实现测试流程的集中管理，以及测试任务的自动化执行。

下面详细说明上述处理的过程。

在步骤S602中，TC提交的测试任务可以通过两种方式来创建：方式一，TC根据其在TS中查询并选择的测试用例创建的测试任务；方式二，TS根据TC提交的自动生成测试任务请求和/或测试任务的信息选择测试用例并基于所选测试用例创建的测试任务。

在步骤S604中，TS可以根据当前的测试任务量以及测试资源，确定是否将测试任务分解成多个并行执行的子测试任务。

在步骤S606和S608中，上述的测试信息可以包括：测试结果、测试趋势报告、结果异常检索。

优选地，在上述步骤中，TS与TC和TE之间的通信消息的格式可以定义为如表一所示的格式。

表1

下面将对表1所示的结构进行详细说明。

(1)消息头部，占用1个字节，用于描述通信消息类型，其中，通信消息类型包括：执行消息、任务消息、测试用例查询、测试日志查询、用例FTP、日志FTP、返回用例查询结果、返回日志查询结果、隧道消息、认证消息等。

(2)消息长度，占用2个字节，用于描述消息体的长度。

(3)消息体，用于描述该消息的具体参数，实现格式化的消息传输，优选地，采用可扩展标记语言XML(eXtensible MarkupLanguage)来描述消息体。

其中，上述通信消息可以包括以下的消息：

执行消息，包括：启动、暂停、继续和停止等。由测试TC发出控制所使用的测试TE，消息由测试TS处理并控制测试TE；或者由测试TS发送自动化执行测试任务；

任务消息，用于控制任务的提交或派发，具体指由TC提交测试任务到TS并在消息体以XML格式化任务；或由测试TS派发测试任务到TE并在消息体以XML格式化任务；

用例查询消息，指由TC发起的查询请求，并在消息体附加XML格式化的查询参数；TS查询完成并返回XML格式化的查询结果；

日志查询消息，指由TC发起的查询请求，并在消息体附加XML格式化的查询参数；TS查询完成并返回XML格式化的查询结果。

用例FTP消息，是指在TC与测试TS或者TE与测试TS间建立的FTP文件传输，并在消息体附加XML格式的用例列表；

日志FTP消息，是指在TC与测试TS建立的FTP文件传输，并在消息体附加XML格式的日志列表；

隧道消息或者认证消息，是在TC与TE建立隧道过程中的交互消息，其中也可包括测试TS的处理。

优选地，在上述步骤中，当测试TC与测试TE分布在异构网络中时，二者之间要通过测试TS的通信连接器与路由模块实现通信消息的交互。在路由管理模块中，一般的路由条目可以表示为表二所示的结构。

表2

 

端点A	端点B
		TC1	TE1
TC1	TE2
		TC2	TE3
……	……

如表2所示，根据上述条目，测试TS从源分布式实体(即TC)接收到数据时，查找路由并转发到目的分布式实体(即TS)。例如，来自TC 1的数据会转发到TE 1与TE 2，来自TC 2的数据转发到TE 3，来自TE 2的数据转发到TC 1。

TS的路由功能对TC或者TE是透明的，即，发送者只需要发送消息到测试TS，由路由模块处理消息的转发。例如，对于上述执行命令，TC只需要发送该执行命令，而具体发送目的地，由TS路由模块来处理；又例如，来自TE的测试日志，具体送到哪一个TC，也是由测试TS的路由模块处理。

优选地，本实施例提供TS路由学习功能，该功能的具体实施流程如下：

步骤1，TC提交测试任务，并申请TE；TS处理通过该测试任务后，就生成一条路由条目添加到路由表；

步骤2，TS在进行测试任务调度后，为测试任务分配TE，这时也生成一条路由条目；

步骤3，TC发送访问TE请求，TS处理通过该请求后，生成一条路由条目；

步骤4，当TC退出或者释放占用的TE，或者TE任务完成，TS将更新路由表，删除相应条目。

优选地，本实施例提供隧道功能，即，在分布式测试架构中，当TC与TE部署在一个网段内(例如，TC1：168.1.6.6/255.255.0.0，TE1：168.1.8.144/255.255.0.0)，可以直接在二者之间建立网络通信连接，该网络通信连接即隧道。隧道对TC或者TE是透明的，由测试TS发起并处理。隧道建立的实施流程可以包括以下的步骤：

步骤1，TS检测TE与TC处在同一网络，并发起隧道建立命令到TC，并附加参数(TE的IP、PORT)；

步骤2，TC接收到隧道命令，解析参数，获取TE的IP、PORT，并向目的TE发起通信连接请求；

步骤3，TE接收到连接请求，向TS请求用户认证，并附加请求者的描述信息(TC标识，如IP)；

步骤4，TS查询登陆表，并进行隧道建立验证，如通过则通知TE；否则拒绝建立隧道；

步骤5，TE收到验证结果，如验证通过则接收TC隧道建立请求，添加TC到对端列表；

步骤6，TS维护该隧道建立配置信息。

隧道建立后(如图5中TC与TE的虚线所示)，双方的通信首先送到隧道处理，省去TS的路由功能。隧道拆除的过程就是双方通信处理移交到TS的过程。隧道拆除具体包括：

步骤1，TS发起隧道拆除命令到TC与TE；

步骤2，TE断开与TC的通信连接，并通知TS；

步骤3，TS维护隧道拆除配置信息。

优选地，本实施例提供的方法，也可支持手工测试，即，将TC作为一种TE，通过分布式系统登陆到DUT，实现TC与DUT的实时交互的测试方法。具体如下：

步骤1，TC、TS分别与TE建立通信网络，并且，TE与DUT建立通信网络。TC、TS与TE之间的通信采用TCP\IP协议，TE与DUT之间的通信则采用telnet协议或者串口通信的方式。

步骤2，当TC与TE处于同一网络，TS可以在TC与TE之间协商建立隧道，节省TC与TE命令交互经由TS处理这一环节。当二者处于不同网络，比如远程的公司支持与现场调试，只有通过所述分布式系统实现跨网络通信。

步骤3，TC发送测试交互命令到TE，TE执行DUT测试命令并返回执行结果。在TC看来，其操作命令直接送到DUT，所述分布式系统则是透明的，而这中透明则是构建分布式测试系统必备的特性。

基于以上描述，图7进一步示出了根据本发明方法实施例的分布式测试方法的优选处理流程，图8示出了根据本发明方法实施例的分布式测试方法的具体实现过程的信令流程，该方法可以用于对分布式测试资源进行协同调度以及自动化测试流程集中管理。

如图7所示，优选地，根据本发明方法实施例的分布式测试方法包括以下处理：

步骤71，测试用户通过TC访问TS查询测试用例、生成测试任务，并将测试任务提交给TS。步骤71可以进一步包括步骤711至步骤713(步骤711至步骤713未在图7中示出)：

步骤711，测试用户通过TC输入查询参数提交到TS，该查询命令被提交到TS的测试用例管理模块，TS的测试用例管理模块将查询结果打包反馈到TC；

步骤712，TC接收到查询结果并解析生成测试用例列表；

步骤713，TC根据图形化用例列表，选择测试用例，生成测试任务，根据测试任务配置测试参数，并将测试任务提交到TS，其中，测试参数可以包括测试任务通过率、测试任务优先级等。

步骤71可对应于上述步骤S602。

步骤72，TS处理测试任务，如果存在可调度TE，则下发测试任务到TE，否则等待可调度TE。步骤72可以进一步包括步骤721至步骤724(步骤721至步骤724未在图7中示出)：

步骤721，TS的测试任务管理模块接收测试任务，参考任务配置参数追加任务到任务队列，进一步处理；

步骤722，TS中的TE管理模块查询可调用TE，如果存在可以调用TE，通知任务管理模块，转到203；否则转到204；

步骤723，测试任务管理模块根据任务派发策略，如果需要附加测试用例，则附加测试用例并派发任务到TE；

步骤724，TE管理模块不断监控可用TE，当有TE任务完成或者注册到TS，则通知测试任务管理模块进行进一步的处理；。

步骤72可对应于上述步骤S604。

步骤73，TE接收测试任务，并执行该测试任务。步骤73可以进一步包括步骤731至步骤733(步骤731至步骤733未在图7中示出)：

步骤731，如果测试任务附加有测试用例，则取到本地；否则检测本地是否有需要的用例，如果没有则从TS获取；

步骤732，TE的命令解析模块解析测试任务及配置参数，加载底层支撑库，初始化测试环境，并由TE的测试任务执行模块启动执行引擎；

步骤733，命令解析模块依次解析测试任务，遍历任务中的每个测试用例，送到执行引擎执行，并记录下测试结果和测试日志。

步骤74，TE完成测试任务的执行，TS从TE收集测试日志，并通知TC。步骤74进一步包括步骤741至步骤744(步骤741至步骤744未在图7中示出)：

步骤741，TE任务完成，通知TS；

步骤742，TS的测试任务管理模块更新任务队列，TE管理模块更新所记录的TE的状态；

步骤743，TS的日志管理模块从TE搜集测试日志，并进行日志分拣整合，整合后的日志可以包括测试用户所需的测试信息，其中，测试信息包括测试结果、测试趋势报告、结果异常检索等；

步骤744，TS的邮件模块生成邮件，并添加测试概要附件，发送到相关责任人，其中，测试概要附件包括上述的测试信息。

步骤73和步骤74可对应于上述步骤S606至步骤S608。

步骤75，测试用户收到邮件后或者根据需要通过TC查询以及获取任务测试日志，并对测试日志进行相关的分析处理。

图8示出了根据本发明方法实施例的分布式测试方法的具体实现过程的信令流程，如图8所示，该信令流程包括以下步骤。

步骤801，TC输入用户名，口令等，登陆TS，TS的TC管理模块验证TC的身份和权限，验证通过则记录该TC条目到TD；

步骤802-803，TC从TS查询测试用例，并生成测试用例列表；TC生成测试任务，并提交到TS；步骤801至步骤803可对应于上述步骤S602；

步骤804-805，TS接收测试任务并添加到任务队列，查询并分配可以调度的TE，下达测试任务到TE，如果不存在可用TE，则测试任务挂起，并不断监控可用TE；步骤804-805可对应于上述步骤S604；

步骤806-807，TE接收测试任务，解析测试任务，从TS获取测试用例到TE本地，通知TS执行就绪；

步骤808，TS启动TE，执行测试任务，TE管理更新TE工作状态；

步骤809-810，TE启动执行引擎，登陆DUT，解析并遍历测试任务，获取每个测试用例，送执行引擎执行，并生成测试日志；

步骤811，传送测试日志，测试日志传送分为三个模式：TE送日志到TS，TS送测试日志到TC，并且如果TC与TE如果建立隧道，则直接TE直接送日志到TC；步骤806-813可对应于上述步骤S606至步骤S608；

步骤812-813，TE任务执行完成，注销DUT，并通知TS完成测试任务；

步骤814-815，TS释放TE，TE管理更新TE工作状态并通知TC任务完成；

步骤816-817，TC查询测试任务执行日志，并注销登陆到TS。

综上所述，借助于本发明的技术方案，通过设置测试服务器来集中管理测试任务流程和测试资源，并通过测试服务器将通过测试客户端提交的测试任务分配到测试执行端，监控测试执行端执行测试任务，以及根据测试任务的执行结果为测试用户发送测试结果信息，在任务的执行过程中无需测试用户的参与，能够有效解决相关技术中无法有效实现分布式测试系统中测试流程自动化管理、以及管理效率低下的问题，进而可以提高测试任务自动化执行的程度、达到测试流程自动化管理的目的。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种测试服务器，其特征在于，包括：

通信管理单元，用于实现测试客户端与所述测试服务器、以及测试执行端与所述测试服务器之间的通信连接；

测试管理单元，连接至所述通信管理单元和测试实体管理单元，用于管理测试任务的执行，以及访问所述测试实体管理单元获取所述测试任务所需的测试实体的信息，其中，所述测试实体包括所述测试客户端、所述测试执行端、以及被测设备；

所述测试实体管理单元，连接至所述通信管理单元和所述测试管理单元，用于管理或监测所述测试实体；

安全监控单元，连接至所述通信管理单元、所述测试管理单元、以及所述测试实体管理单元，用于对所述测试客户端进行鉴权和认证，监控所述测试执行端执行所述测试任务的状况，以及监控所述测试实体对测试数据库的操作。

2.根据权利要求1所述的测试服务器，其特征在于，所述通信管理单元包括：

通信连接模块，用于接收、解析并转发所述测试客户端、所述测试执行端以及所述测试服务器之间的通信消息，用于建立所述测试客户端与所述测试执行端之间的跨网络连接，以及用于管理所述测试客户端的地址信息；

隧道管理模块，连接至所述通信连接模块，用于为处于同一网络内的所述测试客户端与所述测试执行端建立进行直接通信的隧道；

路由模块，连接至所述通信连接模块，用于根据预先建立的所述客户端与所述测试执行端之间的路由表、以及所述跨网络连接或所述隧道进行所述客户端与所述测试执行端之间的路由选择，并维护和更新所述路由表；

邮件模块，连接至所述通信连接模块，用于根据所述测试执行端执行所述测试任务的结果以及邮件发送策略进行邮件配置，并将配置的所述邮件发送给所述测试客户端。

3.根据权利要求1所述的测试服务器，其特征在于，所述测试管理单元包括：

测试任务管理模块，用于管理所述测试客户端提交的测试任务以及测试任务队列，并根据所述测试执行端的状况调度测试任务，以及通过将测试任务分解成多个子任务来进行负载均衡管理；

日志管理模块，用于根据所述测试执行端执行所述测试任务的结果采集原始测试日志，以及根据所述测试客户端的命令对采集的所述原始测试日志进行日志分拣、日志整合以及日志查询；

测试用例管理模块，连接至所述测试任务管理模块，用于管理测试用例的信息和测试用例版本，以及根据相关命令对测试用例进行查询。

4.根据权利要求1所述的测试服务器，其特征在于，所述测试实体管理单元包括：

测试执行端管理模块，用于管理测试执行端的配置信息，监控测试执行端的状态；

被测设备管理模块，连接至所述测试执行端管理模块，用于管理被测设备的配置信息，根据配置的所述配置信息为测试任务配置相应的被测设备，以及管理被测环境和配置的所述被测设备的拓扑结构；

测试客户端管理模块，用于管理所述测试客户端的配置信息，并根据所述测试客户端的所述配置信息对所述测试客户端进行鉴权以及权限的管理。

5.根据权利要求1所述的测试服务器，其特征在于，所述安全监控单元包括：

监控模块，用于监控所述测试执行端执行所述测试任务的状况，以及监控所述测试实体对测试数据库的操作；

安全模块，用于在需要建立所述测试客户端与测试执行端之间的隧道的情况下，根据所述测试客户端的地址对所述测试客户端进行身份验证。

6.一种分布式测试系统，包括测试服务器、测试数据库、至少一个测试客户端、至少一个测试执行端、以及至少一个被测设备，其特征在于，

所述测试客户端用于向所述测试服务器提交测试任务；

所述测试服务器用于将所述测试任务下发给所述测试执行端，并获取所述测试执行端执行所述测试任务的测试日志，以及将所述测试日志反馈给所述测试客户端；

所述测试数据库用于存储并管理测试资源信息；

所述测试执行端用于根据所述测试任务中包含的测试用例，在所述被测设备上执行所述测试用例、获取所述测试结果，根据所述测试结果生成测试日志，并将所述测试日志反馈给所述测试服务器；

所述被测设备用于执行所述测试执行端下发的测试用例，并向所述测试执行端返回所述测试结果。

7.一种分布式测试方法，其特征在于，包括：

测试服务器接收测试客户端提交的测试任务；

所述测试服务器将所述测试任务发送到所述测试执行端，以使所述测试执行端根据所述测试任务中的测试用例进行测试并获取测试结果，以及根据所述测试结果创建测试日志；

所述测试服务器接收来自于所述测试执行端的所述测试日志；

所述测试服务器根据所述测试日志生成邮件，并将所述邮件发送给所述测试客户端。

8.根据权利要求7所述的方法，其特征在于，所述测试客户端提交的所述测试任务包括：

所述测试客户端根据其在所述测试服务器中查询并选择的测试用例创建的所述测试任务；和/或

所述测试服务器根据所述测试客户端提交的自动生成测试任务请求和/或所述测试任务的信息选择测试用例开基于所选测试用例创建的测试任务。

9.根据权利要求7所述的方法，其特征在于，在所述测试服务器将所述测试任务发送到所述测试执行端之前，所述方法还包括：

根据当前的测试任务量以及测试资源，确定是否将所述测试任务分解成多个并行执行的子测试任务。

10.根据权利要求7所述的方法，其特征在于，所述测试日志包括以下至少之一：

测试结果、测试趋势报告、结果异常检索。

Images