CN104734902B - 测试系统及其服务端 - Google Patents

Abstract

一种测试系统及其服务端，所述测试系统的服务端包括：主调度服务器、从调度服务器、测试服务器和跟踪装置；所述主调度服务器包括主调度单元，所述从调度服务器和测试服务器分别包括执行单元，所述从调度服务器还包括从调度单元；所述主调度单元适于执行调度任务，所述调度任务包括分配测试任务至从调度服务器或测试服务器；所述从调度单元适于在所述主调度服务器异常时执行调度任务；所述执行单元适于执行所述主调度单元或从调度单元分配的测试任务；所述跟踪装置适于当检测到测试异常时，结束正在执行的测试用例。本发明技术方案测试系统及其服务端稳定性好且测试效率高。

Description

测试系统及其服务端

技术领域

本发明涉及自动测试技术领域，尤其涉及一种测试系统及其服务端。

背景技术

随着移动终端产品的日益增加，移动终端的性能和功能备受用户关注，因此，移动终端的测试工作对于保证移动终端质量尤为重要。

现有的一种自动化测试系统的结构如图1所示，包括移动终端1、测试服务器2和测试设备3。测试服务器2执行测试任务，通过测试设备3对移动终端1进行各种测试，所述测试任务包括多个测试用例。

现有的测试系统存在以下缺点：

当测试服务器出现异常时，则整个测试过程就会中断或终止，因此，现有的自动化测试系统的稳定性较差。

当测试出现异常造成系统瘫痪时，需要重新启动系统并重新执行测试任务，如果频繁启动系统，系统性能也会受到影响，不仅测试效率降低，测试成本也会增加。

测试任务通常需要测试人员根据被测移动终端的类型编写测试用例或选择对应的测试用例进行组合，而随着移动终端类型的持续增多，测试人员的工作量日益加重，测试效率也逐步降低。

针对不同的测试需求，还需要测试人员频繁的改动测试环境和配置测试平台，这需要测试人员投入较多的时间和精力，且人为因素和环境因素对测试过程以及测试结果带来的潜在影响，都会降低测试效率。

发明内容

本发明技术方案解决的是现有的自动测试系统的稳定性差和测试效率低的问题。

为解决上述技术问题，本发明技术方案提供一种测试系统的服务端，包括：主调度服务器、从调度服务器、测试服务器和跟踪装置；所述主调度服务器包括主调度单元，所述从调度服务器和测试服务器分别包括执行单元，所述从调度服务器还包括从调度单元；所述主调度单元适于执行调度任务，所述调度任务包括分配测试任务至从调度服务器或测试服务器，所述测试任务包括至少一个测试用例；所述从调度单元适于在所述主调度服务器异常时执行调度任务；所述执行单元适于执行所述主调度单元或从调度单元分配的测试任务，以通过测试设备对移动终端进行测试；所述跟踪装置适于当检测到测试异常时，结束正在执行的测试用例；所述测试异常包括服务器异常、测试设备异常和移动终端异常中的至少一种。

可选的，所述主调度单元和从调度单元分别包括第一分配子单元、第二分配子单元和第三分配子单元中的至少一个分配子单元；所述第一分配子单元适于按照优先级分配测试任务；所述第二分配子单元适于按照时间顺序分配测试任务；所述第三分配子单元适于按照执行所需时间分配测试任务。

可选的，所述主调度单元和从调度单元分别包括第一分配子单元和第四分配子单元；所述第一分配子单元适于按照优先级分配测试任务；所述第四分配子单元适于按照时间顺序分配相同优先级的测试任务。

可选的，所述主调度单元和从调度单元分别包括第一分配子单元和第五分配子单元；所述第一分配子单元适于按照优先级分配测试任务；所述第五分配子单元适于按照时间顺序和执行所需时间分配相同优先级的测试任务。

可选的，所述主调度单元或从调度单元适于分配测试任务至处于空闲状态或待执行的测试任务较少的执行单元。

可选的，所述从调度单元适于优先分配测试任务至所述测试服务器。

可选的，所述测试任务包括对应于相同测试类型的测试用例，所述测试任务的测试类型为所述测试用例对应的测试类型，所述测试类型为移动终端支持的通信模式。

可选的，所述主调度服务器和从调度服务器分别还包括类型获取单元和任务建立单元；所述类型获取单元适于从测试用例库中获取与要验证的测试用例对应的测试类型；所述任务建立单元适于建立至少一包括所述要验证的测试用例的测试任务。

可选的，所述主调度服务器和从调度服务器分别还包括任务检查单元，所述任务检查单元适于在分配测试任务前，检查所述所述任务建立单元建立的测试任务的规范性和合理性。

可选的，所述跟踪装置包括：异常检测单元，适于在测试任务的执行阶段，检测是否出现测试异常；结束控制单元，适于当所述异常检测单元检测到测试异常时，控制相应的执行单元结束正在执行的测试用例。

可选的，所述跟踪装置还包括：保存控制单元，适于当测试任务中预设数量的测试用例执行时所述异常检测单元均检测到测试异常，控制相应的执行单元保存所述测试任务的执行进度；重启控制单元，适于在所述保存控制单元控制相应的执行单元保存所述测试任务的执行进度后，控制相应的服务器和测试设备中的至少一个设备重新启动；在重新启动后，所述相应的服务器继续执行所述测试任务。

可选的，所述跟踪装置还包括：重复控制单元，适于控制相应的执行单元重复执行所述测试任务直到执行次数达到预设次数或者所述测试任务中所有的测试用例均测试通过，其中，每次重复执行测试任务时只执行在前次执行测试任务时测试未通过的测试用例。

可选的，所述跟踪装置还包括：反馈单元，适于通过电子邮件反馈测试报告。

可选的，所述从调度服务器和测试服务器分别还包括连接端口和测试端口，所述执行单元适于在执行测试任务时，通过所述连接端口与移动终端建立通信连接，通过所述测试端口与对应的测试设备建立通信连接，所述对应的测试设备基于所执行的测试任务的测试类型确定。

可选的，所述主调度单元或从调度单元适于分配测试任务至对应的执行单元，所述对应的执行单元基于要分配的测试任务的测试类型和执行单元所连接的测试设备确定。

可选的，所述从调度服务器和测试服务器分别还包括中断单元，所述中断单元适于在分配的测试任务的优先级高于所述执行单元正在执行的测试任务的优先级时，控制所述执行单元中断正在执行的测试任务，并执行所述分配的测试任务。

可选的，所述从调度服务器还包括状态检测单元，所述状态检测单元适于检测所述主调度服务器的状态。

可选的，所述的测试系统的服务端还包括保存单元，适于当所述主调度服务器、从调度服务器和测试服务器断电时，保存任务调度和测试任务的执行进度。

本发明技术方案还提供一种测试系统，包括至少一测试设备和所述的服务端，所述测试设备与网络制式对应，所述测试设备适于与所述从调度服务器或测试服务器相连接。

与现有技术相比，本发明的技术方案至少具有以下有益效果：

测试系统的服务端包括主调度服务器、从调度服务器和测试服务器，各服务器分工明确，主调度服务器或从调度服务器负责调度测试任务，从调度服务器和测试服务器负责执行测试任务，将任务调度和任务执行分开，避免调度与测试的混乱和冲突，确保测试任务调度不中断，提高了测试系统及其服务端的稳定性，并且可以使得测试资源最优化。

跟踪装置实时地检测测试异常，以跟踪测试任务的执行，可以在有测试异常时及时结束正在执行的测试用例，以及时终止可能引起测试错误的测试用例，由此减少因测试异常而造成的测试系统瘫痪的可能性，提高了测试系统的稳定性。

当测试任务中有预设数量的测试用例执行时均检测到测试异常，重新启动系统后按照测试进度继续执行所述测试任务，避免了频繁启动系统对系统性能的影响，也保证了测试任务执行的连续性，从而提高了测试效率，降低了测试成本。

通过不同的分配子单元调度测试任务，有效地分配测试任务至合适的执行单元，使得测试任务的执行更为高效，从而提高了测试效率。

类型获取单元和任务建立单元根据测试用例对应的测试类型自动建立测试任务，由此减轻了测试人员的工作量，提高了测试效率。

在执行测试任务前，检查测试任务的规范性和合理性可以将不正确的测试任务及时反馈给测试人员和系统管理员，避免因为不合理的测试任务浪费测试资源。

重复控制单元控制执行单元重复执行测试任务，再次执行测试未通过的测试用例可以减小非确定因素对执行测试用例的影响，从而提高测试通过率。

通过电子邮件反馈测试报告，可以实时地将测试进展反馈给测试人员或系统管理人员，使得测试人员或系统管理人员能够尽早发现测试错误，改进测试方案和测试系统。并且，测试人员或系统管理人员也不需一直监控测试系统，可以通过阅读电子邮件随时了解测试进度和测试结果。

采用不同的测试设备分别实现不同网络制式下的测试，多模相关的测试，可以根据不同的被测移动终端支持的通信模式，配置不同的测试设备进行组合测试，由此可以使得测试最优化。

附图说明

图1是现有的一种测试系统的结构示意图；

图2是本发明实施例的测试系统的结构示意图；

图3是本发明实施例的测试系统的服务端的结构示意图；

图4是本发明实施例的主调度服务器和从调度服务器的调度权转让的流程示意图；

图5是本发明实施例的测试系统的服务端的结构示意图；

图6是本发明实施例的测试系统的服务端的结构示意图；

图7是本发明实施例的服务端的跟踪装置的结构示意图；

图8是基于图7所示跟踪装置的测试任务的执行流程；

图9是本发明实施例的服务端的跟踪装置的结构示意图；

图10是基于图9所示跟踪装置的测试任务的执行流程。

具体实施方式

本发明实施例提供一种测试系统及其服务端，所述测试系统如图2所示，包括至少一测试设备TI和服务端SV，测试设备TI与网络制式对应，所述网络制式包括2G网络（如GSM），3G网络（如TD-SCDMA、WCDMA、CDMA2000），4G网络（如LTE）等，一般来说，每一测试设备TI（也称为测试仪）对应一种网络制式，服务端SV适于与测试设备TI相连接，通过测试设备TI对被测移动终端MS进行各种测试。

采用不同的测试设备分别实现不同网络制式下的测试，多模相关的测试，可以根据不同的被测移动终端支持的通信模式，配置不同的测试设备进行组合测试。所述通信模式为网络制式与单模、双模或多模的组合，例如，GSM单模、TD-SCDMA单模、WCDMA单模、TD-LTE单模、FDD-LTE单模、GSM/TD-SCDMA双模、GSM/WCDMA双模、GSM/TD-SCDMA/WCDMA三模、GSM/TD-SCDMA/TD-LTE三模、GSM/TD-SCDMA/FDD-LTE三模、GSM/WCDMA/TD-LTE三模、GSM/WCDMA/FDD-LTE三模、GSM/TD-SCDMA/TD-LTE/WCDMA/FDD-LTE五模等。

服务端SV包括：主调度服务器SV1、从调度服务器SV2、测试服务器SV3和跟踪装置（图中未示出）。其中，主调度服务器SV1主要负责测试任务的调度，将测试任务分配给从调度服务器SV2或测试服务器SV3，主调度服务器SV1不执行测试任务；从调度服务器SV2主要是执行测试任务，也可以临时负责测试任务的调度，将测试任务分配给测试服务器SV3或自身，从调度服务器SV2执行测试任务和调度测试任务可以是并行的；测试服务器SV3主要是执行测试任务。将服务端分为主调度服务器、从调度服务器和测试服务器可以使得测试资源最优化。所述跟踪装置可以设置于主调度服务器、从调度服务器和测试服务器中的至少一服务器中，用于跟踪测试任务的执行过程，实时检测测试过程中的异常并进行相应控制，以维持系统的运行稳定。

通常，被测移动终端可以通过数据线（如USB数据线）与从调度服务器或测试服务器进行通信连接；被测移动终端可以通过射频线与测试设备进行通信连接；测试设备可以通过网线或连接卡（如GPIB连接卡）与从调度服务器或测试服务器进行通信连接，或者，与从调度服务器和测试服务器进行通信连接。

需要说明的是，图2仅是示例性的示出了两台测试设备TI和两部被测移动终端MS，可以理解，根据实际测试需求，测试设备的数量可以相应增减，从调度服务器和测试服务器可以分别与多部被测移动终端建立通信连接，从调度服务器和测试服务器也可以分别与多台测试设备建立通信连接，被测移动终端也可以同时与多台测试设备建立通信连接。

下面结合附图对本发明实施例的测试系统的服务端进行详细说明。

图3所示的本发明实施例的测试系统的服务端包括主调度服务器SV1、从调度服务器SV2、测试服务器SV3。主调度服务器SV1包括主调度单元SV11，从调度服务器SV2包括从调度单元SV21、执行单元SV22和跟踪装置SV27，测试服务器SV3包括执行单元SV32和跟踪装置SV37。

主调度单元SV11适于执行调度任务，所述调度任务包括分配测试任务至从调度服务器或测试服务器。

从调度单元SV21适于在主调度服务器SV11异常时执行调度任务。

执行单元SV22、SV32适于执行主调度单元SV11或从调度单元SV21分配的测试任务。

在从调度服务器SV2和测试服务器SV3中分别设置跟踪装置SV27、SV37，以分别对相应的执行单元SV22、SV32执行测试任务进行实时跟踪。

在具体实施时，主调度服务器SV1的主调度单元SV11拥有测试任务的调度权；当主调度服务器SV1异常时，调度权转让给从调度服务器SV2的从调度单元SV21，当主调度服务器SV1恢复正常时，调度权转让给主调度服务器SV1的主调度单元SV11。

主调度服务器和从调度服务器的调度权转让的流程如图4所示，主调度服务器比从调度服务器拥有更高的调度权，在二者同时正常工作时，主调度服务器拥有调度权，负责执行调度任务，从调度服务器执行测试任务。当主调度服务器异常时，例如断电、死机等，并且从调度服务器捕获到这一信号时，调度权转让给从调度服务器，从调度服务器就拥有调度权，临时负责执行调度任务，并跟踪主调度服务器的状态，当检测到主调度服务器恢复正常时，从调度服务器将测试任务的调度权转让给主调度服务器。

为实现对主调度服务器SV1的状态跟踪，从调度服务器SV2还可以进一步包括状态检测单元（未图示），所述状态检测单元适于检测主调度服务器SV1的状态。当所述状态检测单元检测到主调度服务器SV1状态异常时，发送触发信号至从调度单元SV21，以触发从调度单元SV21执行调度任务，当所述状态检测单元检测到主调度服务器SV1状态恢复正常时，发送终止信号至从调度单元SV21，以终止从调度单元SV21执行调度任务，转让调度权给主调度单元SV11。需要说明的是，在其他实施例中，也可以不需要状态检测单元，而是由从调度单元SV21直接捕获主调度服务器的状态信号，以启动或终止执行调度任务。

主调度单元SV11和从调度单元SV21在拥有调度权的情况下，由分配子单元（未图示）根据相同的调度策略来分配测试任务。所述调度策略可以是基于测试任务的优先级、测试任务的获取时间、测试任务的执行所需时间、从调度服务器和测试服务器的状态等。

本发明实施例的主调度单元SV11和从调度单元SV21可以是分别包括第一分配子单元、第二分配子单元和第三分配子单元中的任意一个分配子单元。

所述第一分配子单元适于按照优先级分配测试任务。通常，所述第一分配子单元将优先级高的测试任务优先分配至从调度服务器SV2的执行单元SV22或者测试服务器SV3的执行单元SV32，对于优先级相同的测试任务则可以按任意顺序分配。

所述第二分配子单元适于按照时间顺序分配测试任务。通常，按照先到先服务的原则，所述第二分配子单元将获取时间较早的测试任务优先分配至从调度服务器SV2的执行单元SV22或者测试服务器SV3的执行单元SV32。

所述第三分配子单元适于按照执行所需时间分配测试任务。通常，所述第三分配子单元将执行所需时间较短的测试任务优先分配至从调度服务器SV2的执行单元SV22或者测试服务器SV3的执行单元SV32。

本发明实施例的主调度单元SV11和从调度单元SV21也可以是分别包括第一分配子单元、第二分配子单元和第三分配子单元中的多个分配子单元，由一个选择子单元根据用户指示或随机选择一个分配子单元进行任务调度。

本发明实施例的主调度单元SV11和从调度单元SV21还可以是分别包括第一分配子单元和第四分配子单元。所述第一分配子单元适于按照优先级分配测试任务；所述第四分配子单元适于按照时间顺序分配相同优先级的测试任务。

具体可以是，所述第一分配子单元将优先级高的测试任务优先分配至从调度服务器SV2的执行单元SV22或者测试服务器SV3的执行单元SV32。对于优先级相同的测试任务，则所述第四分配子单元将获取时间较早的测试任务优先分配至从调度服务器SV2的执行单元SV22或者测试服务器SV3的执行单元SV32。

本发明实施例的主调度单元SV11和从调度单元SV21还可以是分别包括第一分配子单元和第五分配子单元；所述第一分配子单元适于按照优先级分配测试任务；所述第五分配子单元适于按照时间顺序和执行所需时间分配相同优先级的测试任务。

具体可以是，所述第一分配子单元将优先级高的测试任务优先分配至从调度服务器SV2的执行单元SV22或者测试服务器SV3的执行单元SV32。对于优先级相同的测试任务，则所述第五分配子单元综合考虑获取时间和执行所需时间，可以将获取时间相近的测试任务中执行所需时间较短的测试任务优先分配至从调度服务器SV2的执行单元SV22或者测试服务器SV3的执行单元SV32。例如，同时等待同一测试资源（从调度服务器或测试服务器）的优先级等级相同的测试任务A和测试任务B，测试任务A所需的测试时间为3小时，测试任务B所需的测试时间为8小时，即使测试任务A比测试任务B晚些发起，也会先调度执行测试任务A。

主调度单元SV11和从调度单元SV21可以随意地将测试任务分配至从调度服务器SV2的执行单元SV22或者测试服务器SV3的执行单元SV32。在本发明实施例中，主调度单元SV11和从调度单元SV21可以根据从调度服务器SV2和测试服务器SV3的状态来确定将测试任务分配至从调度服务器SV2的执行单元SV22还是测试服务器SV3的执行单元SV32。

具体可以是，所述主调度单元SV11或从调度单元SV21的分配子单元可以分配测试任务至处于空闲状态或较空闲的执行单元，例如，如果从调度服务器SV2的执行单元SV22处于空闲状态，测试服务器SV3的执行单元SV32正在执行测试任务，则主调度单元SV11或从调度单元SV21的分配子单元可以分配测试任务至执行单元SV22。又例如，如果从调度服务器SV2中待执行的测试任务多于测试服务器SV3中待执行的测试任务，则主调度单元SV11或从调度单元SV21的分配子单元可以分配测试任务至执行单元SV32。

当从调度服务器SV2拥有调度权时，为避免从调度服务器SV2的资源冲突或确保从调度服务器SV2的工作效率，从调度单元SV21也可以优先分配测试任务至测试服务器SV3的执行单元SV32。

所述主调度单元或从调度单元还可以是适于分配测试任务至对应的执行单元，所述对应的执行单元基于要分配的测试任务的测试类型和执行单元所连接的测试设备确定，所述测试类型为被测移动终端支持的通信模式。

具体可以是，当要分配的测试任务的测试类型与一执行单元正在执行或待执行的测试任务的测试类型相同或相关时，则该执行单元所连接的测试设备也是执行所述要分配的测试任务所需连接的测试设备，该执行单元可以称为对应的执行单元，基于提高测试效率的考虑，可以将所述要分配的测试任务分配至所述对应的执行单元。例如，要分配的测试任务的测试类型为GSM/TD-SCDMA双模，执行单元SV22正在执行的测试任务的测试类型为GSM单模，执行单元SV32正在执行的测试任务的测试类型为GSM/TD-SCDMA双模，则主调度单元SV11或从调度单元SV21的分配子单元可以分配测试任务至执行单元SV22或执行单元SV32，更好地，是分配至执行单元SV32。又如，要分配的测试任务的测试类型为GSM/WCDMA双模，执行单元SV22正在执行的测试任务的测试类型为TD-SCDMA单模，执行单元SV32正在执行的测试任务的测试类型为GSM/TD-SCDMA双模，则主调度单元SV11或从调度单元SV21的分配子单元可以分配测试任务至执行单元SV22。

进一步，所述测试任务可以是由测试人员建立并输入的，而本发明实施例的测试系统则可以根据测试用例自动建立测试任务，由此减轻了测试人员的工作量，提高了测试效率。

图5所示的本发明实施例的测试系统的服务端，与图3相比，主调度服务器SV1和从调度服务器SV2分别还包括类型获取单元和任务建立单元。具体地，主调度服务器SV1还包括类型获取单元SV13和任务建立单元SV14，从调度服务器SV2还包括类型获取单元SV23和任务建立单元SV24。通过本实施例进一步对测试任务的获取进行说明。

类型获取单元SV13、SV23适于从测试用例库中获取与要验证的测试用例对应的测试类型，所述测试类型为移动终端支持的通信模式。任务建立单元SV14、SV24适于建立至少一测试任务，所述测试任务包括对应同一测试类型的测试用例。

当主调度服务器SV1拥有调度权时，测试任务由类型获取单元SV13和任务建立单元SV14获取；当从调度服务器SV2拥有调度权时，测试任务由类型获取单元SV23和任务建立单元SV24获取。

具体实施时，测试人员可以根据测试需求，在输入界面中填写并提交测试单。测试单主要包括测试单名称（Test_ID）、测试需要验证的测试用例（case）的名称、软件版本路径、平台信息、测试优先级以及是否通过定时发送邮件告知测试单对应的测试任务的进展情况等。Test_ID可以突出测试的特征信息，例如测试人员的姓名，测试目的等。

类型获取单元SV13或SV23将测试单中的每一个case与服务器上case库里保存的case进行匹配，确定每一个case对应的测试类型。case库中的case是按不同的测试类型存放和维护的，测试类型包括GSM单模、TD-SCDMA单模、WCDMA单模、TD-LTE单模、FDD-LTE单模、GSM/TD-SCDMA双模、GSM/WCDMA双模、GSM/TD-SCDMA/WCDMA三模、GSM/TD-SCDMA/TD-LTE三模、GSM/TD-SCDMA/FDD-LTE三模、GSM/WCDMA/TD-LTE三模、GSM/WCDMA/FDD-LTE三模、GSM/TD-SCDMA/TD-LTE/WCDMA/FDD-LTE五模等。如果所选case的测试类型一致，则任务建立单元SV14或SV24生成一个测试用例列表（case list）；如果所选case的测试类型不一致，则根据不同的测试类型生成若干个case list。举例来说，一个测试单中的case的测试类型包含GSM单模、TD-SCDMA单模和GSM/WCDMA双模，则会被分成GSM单模对应的case list、TD-SCDMA单模对应的case list和GSM/WCDMA双模对应的case list，每一个case list对应一个测试任务。

在本发明实施例中，所述主调度服务器和从调度服务器分别还可以包括任务检查单元（未图示），所述任务检查单元适于在分配测试任务前，检查所述所述任务建立单元建立的测试任务的规范性和合理性。

具体可以是，在所述任务建立单元建立测试任务后，所述任务检查单元检测到测试任务，检查测试任务对应的测试单的内容是否正确，例如，检查填写的软件版本路径是否正确、检测填写的平台是否存在，当一台服务器上同时搭载多部移动终端时，要检测对应的终端的端口是否存在、通信是否正常。内容不正确的测试单会被退回，并定位错误，通过邮件发送给系统管理员和测试人员，便于测试人员及时更改测试单。这样就可以将内容不正确的测试单第一时间反馈给测试人员和系统管理员，避免因为不合理的测试任务浪费测试资源。

主调度单元SV11或从调度单元SV21将内容正确的测试单对应的测试任务分配至从调度服务器SV2的执行单元SV22或测试服务器SV3的执行单元SV32。具体如何分配可以参考上述实施例的相关说明。

上述本发明实施例的测试系统的服务端还可以包括连接端口和测试端口，所述执行单元适于在执行测试任务时，通过所述连接端口与移动终端建立通信连接，通过所述测试端口与对应的测试设备建立通信连接，所述对应的测试设备基于所执行的测试任务的测试类型确定，所述测试类型为移动终端支持的通信模式。

以图6所示的本发明实施例的测试系统的服务端为例，相比于图5，从调度服务器SV2还包括至少一连接端口SV25和至少一测试端口SV26。测试服务器SV3还包括至少一连接端口SV35和至少一测试端口SV36。通过本实施例进一步对测试任务的执行进行说明。

从调度服务器SV2和测试服务器SV3可以通过有线或无线方式建立通信连接，连接端口SV25、SV35用于与移动终端建立通信连接，测试端口SV26、SV36用于与测试设备建立通信连接。连接端口和测试端口的类型根据通信连接的类型确定。

举例来说，移动终端通过USB数据线连接到从调度服务器SV2和测试服务器SV3，则对应选择的连接端口为USB接口。GSM相关的测试，选择安捷伦8960（Agilent8960）测试仪，则对应选择的测试端口为GPIB连接卡；TD-SCDMA相关的测试，选择的测试仪是罗德与施瓦茨SMU200A（Rohde&Schwarz SMU200A），则对应选择的测试端口为网卡；WCDMA相关测试选择的测试仪是罗德与施瓦茨CMU200（Rohde&Schwarz CMU200），则对应选择的测试端口为GPIB连接卡。

执行单元SV22、SV32在获取测试任务后，根据测试任务的测试类型，配置测试环境，例如，GSM单模的测试环境则对应配置为Agilent8960测试仪，GSM/TD-SCDMA双模的测试环境则对应配置为由Agilent8960测试仪和Rohde&Schwarz SMU200A组合而成。执行单元SV22、SV32自动扫描和检测端口，通过对应的测试端口与测试仪连接，通过连接端口获取移动终端的芯片类型，匹配正确的测试平台。

执行单元SV22、SV32发送相应的AT命令使移动终端进入下载模式，自动下载测试单上填写的软件版本路径下的软件版本。针对程序频繁改动的程序回归测试和验证测试，既节省了人力，又充分利用了资源。

执行单元SV22、SV32检测到软件版本下载完成的标志后，就会关闭软件版本下载界面，进入测试界面，执行测试。执行单元SV22、SV32可以按照测试用例列表所列的测试用例的顺序依次执行测试用例，所述测试用例列表列出了在执行测试任务时要执行的测试用例。

在执行单元SV22、SV32执行测试任务的过程中，跟踪单元SV27、SV37分别跟踪执行单元SV22、SV32执行测试任务的过程。具体地，跟踪单元SV27适于在执行单元SV22执行测试任务时，检测从调度服务器SV2、与从调度服务器SV2连接的测试设备和移动终端，以确定是否有从调度服务器异常、测试设备异常和移动终端异常中的至少一种测试异常；当检测到测试异常时，结束执行单元SV22正在执行的测试用例。跟踪单元SV37适于在执行单元SV32执行测试任务时，检测测试服务器SV3、与测试服务器SV3连接的测试设备和移动终端，以确定是否有测试服务器异常、测试设备异常和移动终端异常中的至少一种测试异常；当检测到测试异常时，结束执行单元SV32正在执行的测试用例。

请参考图7，本发明实施例的服务端的跟踪装置可以包括：异常检测单元31和结束控制单元32。

异常检测单元31适于在测试任务的执行阶段，检测是否出现测试异常。具体实施时，异常检测单元31适于跟踪测试任务的执行，在所跟踪的测试任务中的每个测试用例的执行过程中，实时地检测测试异常。所述测试异常包括服务器异常、测试设备异常和移动终端异常中的至少一种。所述服务器异常可以包括：测试界面错误、测试进程冲突、测试进程误关闭、服务器死机或断电等。所述测试设备异常可以包括：测试设备死机、断电或非正常关闭等。所述移动终端异常可以包括：终端丢端口现象、协处理器异常或应用处理器异常等。可以采用一些现有技术对测试服务器和测试设备进行实时检测，以确定是否出现测试异常。

结束控制单元32适于当异常检测单元31检测到测试异常时，控制相应的执行单元结束正在执行的测试用例。所述相应的执行单元是指执行异常检测单元31所跟踪的测试任务的执行单元，对于跟踪装置SV27，相应的执行单元为执行单元SV22；对于跟踪装置SV37，相应的执行单元为执行单元SV32。

当检测到测试异常时，结束控制单元32控制相应的执行单元结束正在执行的测试用例是引起所述测试异常的测试用例，进一步还可以对结束执行的测试用例加标记，用于标识该测试用例测试未通过或未完成（fail）。在本发明实施例中，针对不同的测试异常，可以通过添加不同的标记以进行区别。当一个测试用例执行完成，即在该测试用例执行的过程中未检测到测试异常，执行单元记录该测试用例为测试通过（pass）。

在执行一个测试用例时，实时地检测执行测试任务的服务器和测试设备，以跟踪测试任务的执行，可以在有测试异常时及时结束正在执行的测试用例，以及时终止可能引起测试错误的测试用例，由此减少因测试异常而造成的测试系统瘫痪的可能性。

进一步，如图7所示，本发明实施例的服务端的跟踪装置还可以包括：保存控制单元33和重启控制单元34。

保存控制单元33适于当测试任务中预设数量的测试用例执行时异常检测单元31均检测到测试异常，控制相应的执行单元保存所述测试任务的执行进度。保存所述测试任务的执行进度可以是保存未执行的测试用例的列表。

所述当测试任务中预设数量的测试用例执行时异常检测单元均检测到测试异常可以包括以下任一种或多种情况：（1）连续第一预设量的测试用例执行时均检测到测试服务器异常；（2）连续第二预设量的测试用例执行时均检测到测试设备异常；（3）连续第三预设量的测试用例执行时均检测到移动终端异常；（4）第四预设量的测试用例执行时均检测到测试服务器异常；（5）第五预设量的测试用例执行时均检测到测试设备异常；（6）第六预设量的测试用例执行时均检测到移动终端异常；（7）第七预设量的测试用例执行时均检测到测试异常。

各预设量的数值可以根据实际需求进行相应地设置，在此不做限定。预设数量的测试用例执行时均检测到测试异常可以是判断是否连续执行的一定数量的测试用例在执行时均出现同一类测试异常，如上述（1）至（3）所列举的情况。预设数量的测试用例执行时均检测到测试异常也可以是判断是否在执行时出现同一类测试异常的测试用例的数量达到了一定的数量，无论这些测试用例是否是连续执行的，如上述（4）至（6）所列举的情况。预设数量的测试用例执行时均检测到测试异常还可以不区分测试异常的类别，只要是在执行时出现测试异常的测试用例的数量达到了一定的数量，如上述（7）所列举的情况。

重启控制单元34适于当测试任务中预设数量的测试用例执行时异常检测单元31均检测到测试异常，在保存控制单元33控制相应的执行单元保存所述测试任务的执行进度后，控制相应的服务器和测试设备中的至少一个设备重新启动。在重新启动后，所述相应的服务器继续执行所述测试任务。对于跟踪装置SV27，相应的服务器为从调度服务器SV2，相应的测试设备为执行所述测试任务时与从调度服务器SV2相连接的测试设备；对于跟踪装置SV37，相应的服务器为测试服务器SV3，相应的测试设备为执行所述测试任务时与测试服务器SV3相连接的测试设备。

保存所述测试任务的执行进度后，重新启动测试系统中的至少一个设备，可以是重启测试服务器和测试设备，在本发明实施例中，是针对不同情况，相应地重启产生异常的设备，如：针对情况（1）、（4）则可以重新启动相应的服务器（如从调度服务器或测试服务器）；针对情况（2）、（5）则可以重新启动相应的测试设备，通常可以通过控制相应的服务器向测试设备发送命令来重启测试设备；针对情况（7）可以重新启动服务器和测试设备；而针对情况（3）、（6），由于是移动终端异常，检测到的现象通常是服务器不能正常识别移动终端或不能与移动终端进行正常通信，因此所采取的措施也可以是重新启动相应的服务器。

基于图7所示的跟踪装置，本发明实施例的测试任务的执行流程可以如图8所示，具体地，开始执行测试任务，执行步骤S21，检测是否测试异常，若是则执行步骤S22；若否则执行步骤S23。步骤S22，结束正在执行的测试用例，接着执行步骤S24。步骤S23，判断当前测试用例是否执行完成，若是则执行步骤S26，若否则执行步骤S21。步骤S24，判断是否预设数量的测试用例执行时均检测到测试异常，若是则执行步骤S25，若否则执行步骤S26。步骤S25，保存所述测试任务的执行进度，重新启动相应的服务器和测试设备中的至少一个设备，接着执行步骤S27。步骤S26，判断是否还有未执行的测试用例，若是则执行步骤S27，若否则当前测试任务测试结束，具体可以是判断当前测试任务的测试用例列表中是否还有没有执行的测试用例。步骤S27，继续执行另一测试用例，接着执行步骤S21，具体实施时，可以按照当前测试用例列表中的测试用例的顺序，继续执行下一个测试用例。当相应的服务器或测试设备重新启动后，由于保存了未执行的测试用例的列表，则继续执行列表中的测试用例相当于按照重启前保存的测试任务进度继续执行测试任务，通过保存测试进度，在重新后按照测试进度恢复测试任务可以保证测试任务执行的连续性，提高测试效率。

图8示出了一次测试任务执行过程，在一次测试任务执行过程中，每个测试用例执行一次，执行完成的测试用例记录为测试通过（pass）的测试用例，在执行过程中因测试异常被终止的测试用例记录为测试未通过（fail）的测试用例。进一步地，为了减小非确定因素对执行测试用例的影响，可以多次重复执行测试任务直到执行次数达到预设次数或者所述测试任务中所有的测试用例均测试通过，每次重复执行测试任务时，可以只执行在前次执行测试任务时测试未通过的测试用例。因此，本发明实施例的服务端的跟踪装置还可以包括重复控制单元，如图9所示，重复控制单元35适于控制相应的服务器重复执行所述测试任务直到执行次数达到预设次数或者所述测试任务中所有的测试用例均测试通过，每次重复执行测试任务时，可以只执行在前次执行测试任务时测试未通过的测试用例。重复控制单元35可以根据异常检测单元31的检测结果来判断是否所有的测试用例均测试通过。

基于图9所示的跟踪装置，本发明实施例的测试任务的执行流程可以如图10所示，具体地，执行步骤S41，设置测试任务的执行次数为1，接着执行步骤S42。步骤S42，执行测试任务。第一次执行测试任务的过程可以如图8所示，接着执行步骤S43。步骤S43，执行次数加1，判断执行次数是否达到预设次数，若是，即测试次数等于预设次数，则执行步骤S44；若否，即测试次数小于预设次数，则执行步骤S45。所述预设次数为大于1的整数，可以根据实际需求进行设置，考虑到测试时间不宜过长，测试次数也不宜设置太大，一般可以设置为3～5次。步骤S44，执行测试任务。执行测试任务的过程可以参考图8，与步骤S42略有不同的是，本次执行测试任务时，仅执行在前次执行测试任务时测试未通过的测试用例。步骤S44是最后一次执行测试任务，无论测试任务中的测试用例是否全都测试通过，本次执行完成后则结束所述测试任务的执行流程。步骤S45，执行测试任务。执行测试任务的过程可以参考图8，与步骤S42略有不同的是，本次执行测试任务时，仅执行在前次执行测试任务时测试未通过的测试用例。步骤S45后继续执行步骤S46，判断是否所有的测试用例均测试通过，若是则结束，若否则执行步骤S43。

本发明实施例的服务端的跟踪装置还可以包括：反馈单元，适于通过电子邮件方式反馈测试报告。

具体实施时，执行单元SV22、SV32对每一个case进行测试，每一个case生成一个文件扩展名为.txt的跟踪（trace）文件和相应的日志（log，例如，dsplog、armlog等），log的产生与保存是可选的，如果产生log信息，log是经过压缩后保存在服务器上的，以节约存储空间。

执行单元SV22、SV32在测试过程产生一个文件扩展名为.txt的测试（Test）文件，实时记录每个case的测试结果（pass、fail）以及每个case完成测试的测试时间。

执行单元SV22、SV32在每次执行测试任务后，还可以统计测试pass的case数目和测试fail的case数目，计算出case的通过率（pass ratio），并将统计结果和计算结果记录在测试文件中。

所述测试报告（Test Report）可以包括跟踪文件、日志、测试任务的执行进度和测试文件等中的至少一个。例如在执行测试用例时，可以实时地将测试用例的跟踪文件和日志反馈给测试人员或系统管理人员；在测试任务的执行过程中，可以实时地将测试用例的跟踪文件和测试任务的执行进度反馈给测试人员或系统管理人员；在测试任务执行结束后，可以将测试文件反馈给测试人员或系统管理人员。

通过电子邮件将测试报告发送给测试人员或系统管理人员，可以在测试异常时，及时通知测试人员或系统管理人员，使得测试人员或系统管理人员能够尽早发现测试错误，改进测试方案和测试系统。并且，测试人员或系统管理人员也不需一直监控测试系统，可以通过阅读电子邮件随时了解测试进度和测试结果。

上述本发明实施例的测试系统的服务端中，从调度服务器和测试服务器分别还可以包括中断单元，所述中断单元适于在分配的测试任务的优先级高于所述执行单元正在执行的测试任务的优先级时，控制所述执行单元中断正在执行的测试任务，并执行所述分配的测试任务。

通常情况下，执行单元按照测试任务的分配时间依次执行测试任务，当有新分配的测试任务时，若新分配的测试任务的优先级高于执行单元正在执行的测试任务的优先级，所述中断单元控制所述执行单元中断正在执行的测试任务，并执行所述新分配的测试任务；所述执行单元在执行完所述新分配的测试任务后，继续执行被中断的测试任务。

另外，在所述执行单元执行测试任务时，测试系统的系统管理员拥有超级权限，所述执行单元可以根据接收到的系统管理员的指令暂停和终止任何优先级等级的测试任务，将测试资源释放出来，转向执行临时出现的最紧急的测试任务。

需要说明的是，上述本发明实施例中，分别在从调度服务器和测试服务器中设置跟踪装置，以分别对从调度服务器和测试服务器执行测试任务的过程进行跟踪，本领域技术人员可以理解，在其他实施例中，跟踪装置还可以设置在服务端的任一服务器中或者作为服务端的一个独立设备，所述跟踪装置可以同时对从调度服务器和测试服务器执行测试任务的过程进行跟踪，当检测到测试异常时，对相应的服务器（即正在执行引起所述测试异常的测试任务的服务器）和/或相应的测试设备执行相应控制，从而确保测试稳定性和测试任务执行的连续性。

另外，本发明实施例的测试系统的服务端还可以包括适于当所述主调度服务器、从调度服务器和测试服务器断电时，保存任务调度和测试任务的执行进度。具体实施时，保存单元可以设置于主调度服务器、从调度服务器和测试服务器，当服务端的所有服务器断电时，执行任务调度的主调度服务器或从调度服务器可以实时保存任务调度列表，执行测试任务的从调度服务器和/或测试服务器可以实时保存测试任务列表；当服务端的服务器正常工作时，主调度服务器或从调度服务器继续调度断电时保存的任务调度列表中的测试任务，从调度服务器和/或测试服务器继续执行断电时保存的测试任务列表中的测试用例，由此可以保证测试任务的调度和执行的连续性。

本领域技术人员可以理解，上述实施例的服务器的全部或部分是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质可以是ROM、RAM、磁碟、光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (23)

1.一种测试系统的服务端，其特征在于，包括：主调度服务器、从调度服务器、测试服务器和跟踪装置；所述主调度服务器包括主调度单元，所述从调度服务器和测试服务器分别包括执行单元，所述从调度服务器还包括从调度单元；

所述主调度单元适于执行调度任务，所述调度任务包括分配测试任务至从调度服务器或测试服务器，所述测试任务包括至少一个测试用例；

所述从调度单元适于在所述主调度服务器异常时执行调度任务；

所述执行单元适于执行所述主调度单元或从调度单元分配的测试任务，以通过测试设备对移动终端进行测试；

所述跟踪装置适于当检测到测试异常时，结束正在执行的测试用例；所述测试异常包括服务器异常、测试设备异常和移动终端异常中的至少一种；

其中，所述跟踪装置包括：

异常检测单元，适于在测试任务的执行阶段，检测是否出现测试异常；

结束控制单元，适于当所述异常检测单元检测到测试异常时，控制相应的执行单元结束正在执行的测试用例；

保存控制单元，适于当测试任务中预设数量的测试用例执行时所述异常检测单元均检测到测试异常，控制相应的执行单元保存所述测试任务的执行进度；

重启控制单元，适于在所述保存控制单元控制相应的执行单元保存所述测试任务的执行进度后，控制相应的服务器和测试设备中的至少一个设备重新启动；在重新启动后，所述相应的服务器继续执行所述测试任务。

2.如权利要求1所述的测试系统的服务端，其特征在于，所述主调度单元和从调度单元分别包括第一分配子单元、第二分配子单元和第三分配子单元中的至少一个分配子单元；

所述第一分配子单元适于按照优先级分配测试任务；

所述第二分配子单元适于按照时间顺序分配测试任务；

所述第三分配子单元适于按照执行所需时间分配测试任务。

3.如权利要求1所述的测试系统的服务端，其特征在于，所述主调度单元包括第一分配子单元和第四分配子单元，所述从调度单元包括第一分配子单元和第四分配子单元；

所述第一分配子单元适于按照优先级分配测试任务；

所述第四分配子单元适于按照时间顺序分配相同优先级的测试任务。

4.如权利要求1所述的测试系统的服务端，其特征在于，所述主调度单元包括第一分配子单元和第五分配子单元，所述从调度单元包括第一分配子单元和第五分配子单元；

所述第一分配子单元适于按照优先级分配测试任务；

所述第五分配子单元适于按照时间顺序和执行所需时间分配相同优先级的测试任务。

5.如权利要求1所述的测试系统的服务端，其特征在于，所述主调度单元或从调度单元适于分配测试任务至处于空闲状态或待执行的测试任务较少的执行单元。

6.如权利要求1所述的测试系统的服务端，其特征在于，所述从调度单元适于优先分配测试任务至所述测试服务器。

7.如权利要求1所述的测试系统的服务端，其特征在于，所述测试任务包括对应于相同测试类型的测试用例，所述测试任务的测试类型为所述测试用例对应的测试类型，所述测试类型为移动终端支持的通信模式。

8.如权利要求7所述的测试系统的服务端，其特征在于，所述主调度服务器还包括类型获取单元和任务建立单元，所述从调度单元还包括类型获取单元和任务建立单元；

所述类型获取单元适于从测试用例库中获取与要验证的测试用例对应的测试类型；

所述任务建立单元适于建立至少一包括所述要验证的测试用例的测试任务。

9.如权利要求8所述的测试系统的服务端，其特征在于，所述主调度服务器和从调度服务器分别还包括任务检查单元，所述任务检查单元适于在分配测试任务前，检查所述所述任务建立单元建立的测试任务的规范性和合理性。

10.如权利要求7所述的测试系统的服务端，其特征在于，所述通信模式为网络制式与单模、双模或多模的组合。

11.如权利要求1所述的测试系统的服务端，其特征在于，所述当测试任务中预设数量的测试用例执行时均出现测试异常包括以下至少一种情况：

连续第一预设量的测试用例执行时均检测到服务器异常；

连续第二预设量的测试用例执行时均检测到测试设备异常；

连续第三预设量的测试用例执行时均检测到移动终端异常；

第四预设量的测试用例执行时均检测到服务器异常；

第五预设量的测试用例执行时均检测到测试设备异常；

第六预设量的测试用例执行时均检测到移动终端异常；

第七预设量的测试用例执行时均检测到测试异常。

12.如权利要求1所述的测试系统的服务端，其特征在于，所述跟踪装置还包括：重复控制单元，适于控制相应的执行单元重复执行所述测试任务直到执行次数达到预设次数或者所述测试任务中所有的测试用例均测试通过，其中，每次重复执行测试任务时只执行在前次执行测试任务时测试未通过的测试用例。

13.如权利要求1所述的测试系统的服务端，其特征在于，所述跟踪装置还包括：反馈单元，适于通过电子邮件反馈测试报告。

14.如权利要求1所述的测试系统的服务端，其特征在于，所述跟踪装置设置在从调度服务器和测试服务器中。

15.如权利要求1所述的测试系统的服务端，其特征在于，所述服务器异常包括以下任一种情况：测试界面错误、测试进程冲突、测试进程误关闭和服务器死机或断电。

16.如权利要求1所述的测试系统的服务端，其特征在于，所述测试设备异常包括：测试设备死机或断电。

17.如权利要求1所述的测试系统的服务端，其特征在于，所述移动终端异常包括以下至少一种情况：终端丢端口现象、协处理器异常和应用处理器异常。

18.如权利要求1至17任一项所述的测试系统的服务端，其特征在于，所述从调度服务器还包括连接端口和测试端口，所述测试服务器还包括连接端口和测试端口，所述执行单元适于在执行测试任务时，通过所述连接端口与移动终端建立通信连接，通过所述测试端口与对应的测试设备建立通信连接，所述对应的测试设备基于所执行的测试任务的测试类型确定。

19.如权利要求18所述的测试系统的服务端，其特征在于，所述主调度单元或从调度单元适于分配测试任务至对应的执行单元，所述对应的执行单元基于要分配的测试任务的测试类型和执行单元所连接的测试设备确定。

20.如权利要求1至17任一项所述的测试系统的服务端，其特征在于，所述从调度服务器和测试服务器分别还包括中断单元，所述中断单元适于在分配的测试任务的优先级高于所述执行单元正在执行的测试任务的优先级时，控制所述执行单元中断正在执行的测试任务，并执行所述分配的测试任务。

21.如权利要求1至17任一项所述的测试系统的服务端，其特征在于，所述从调度服务器还包括状态检测单元，所述状态检测单元适于检测所述主调度服务器的状态。

22.如权利要求1至17任一项所述的测试系统的服务端，其特征在于，还包括保存单元，适于当所述主调度服务器、从调度服务器和测试服务器断电时，保存任务调度和测试任务的执行进度。

23.一种测试系统，其特征在于，包括至少一测试设备和权利要求1至22任一项所述的服务端，所述测试设备与网络制式对应，所述测试设备适于与所述从调度服务器或测试服务器相连接。