CN103577907A - 一种持续集成测试方法和系统 - Google Patents

Abstract

本申请提供了一种持续集成测试方法，可以适用于各种测试环境，复用性比较高，并且可以减少维护中的工作量和复杂度。所述的方法包括：一个持续集成项目同时监测在各个真实环境中运行的待测目标；当检测到某个真实环境中运行的待测目标达到预设条件时，获取所述待测目标运行的真实环境对应的环境标识；通过发送测试命令，调用测试用例，其中，所述测试命令中包括所述环境标识；所述测试用例根据所述环境标识，配置相应的测试环境；在所述测试环境中执行测试用例中的测试脚本，并获取最终的测试结果。本申请所述的方法复用性较高，并且即使待测目标改变，也仅需维护1个CI项目和1个测试用例，大大的将提了持续集成测试的工作量和复杂度。

Description

一种持续集成测试方法和系统

技术领域

本申请涉及测试技术，特别是涉及一种持续集成测试方法和系统。

背景技术

CI（Continuous integration，持续集成）是一种软件开发实践，即团队开发成员经常集成它们的工作，通常每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试)来验证，从而尽快地发现集成错误。许多团队发现这个过程可以大大减少集成的问题，让团队能够更快的开发内聚的软件。

在持续集成测试中，首先可以建立CI项目，通过所述CI项目对待测目标进行监控，一旦发现待测目标出现变化，就可以调用测试脚本进行测试。测试时为保证测试的准确性，应当确保测试脚本运行的测试环境与待测目标运行的真实环境一致。

因此，现有技术将测试环境和测试脚本硬编码在一个测试用例中。在进行持续集成测试时，一个CI项目，监测某一真实环境中运行的待测目标，并在测试时调用对应的测试用例，其中，所述测试用例中的测试环境与所述真实环境保持一致。

若同一待测目标由于不同的需求而运行在n个真实环境中，此时就需要建立n个CI项目，调用n个测试用例，其中，n为正整数。实际上，这n个测试脚本中仅仅是测试环境不同。

综上，上述将测试环境和测试脚本硬编码在一个测试用例中的方法，复用性比较低。并且，一个待测目标对应n个CI项目和n个测试用例，一旦待测目标改变，就同时要维护n个CI项目和n个测试用例，导致持续集成测试的工作量和复杂度大大提升。

因此，本领域技术人员迫切解决的一个技术问题是，提出一种持续集成测试方法，可以适用于各种测试环境，复用性比较高，并且可以减少维护中的工作量和复杂度。

发明内容

本申请提供一种持续集成测试方法，可以适用于各种测试环境，复用性比较高，并且可以减少维护中的工作量和复杂度。

为了解决上述问题，本申请公开了一种持续集成测试方法，包括：

一个持续集成项目同时监测在各个真实环境中运行的待测目标；

当检测到某个真实环境中运行的待测目标达到预设条件时，获取所述待测目标运行的真实环境对应的环境标识；

通过发送测试命令，调用测试用例，其中，所述测试命令中包括所述环境标识；

所述测试用例根据所述环境标识，配置相应的测试环境；

在所述测试环境中执行测试用例中的测试脚本，并获取最终的测试结果。

优选的，所述测试用例根据所述环境标识，配置相应的测试环境，包括：

根据所述环境标识，对测试用例中的状态位进行赋值；

通过赋值的状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。

优选的，所述环境标识为状态参数，

根据所述环境标识，对测试用例中的状态位进行赋值，包括：

以系统属性的方式通知所述测试用例，将所述状态参数赋值给所述状态位。

优选的，所述测试用例根据所述环境标识，配置相应的测试环境，包括：

以系统插件的方式，将所述环境标识通知给所述测试用例的状态位；

通过所述状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。

优选的，所述预设条件为达到检测时间，或，待测目标发生变化。

优选的，所述的方法还包括：

预先获取所述待测目标运行的真实环境和所述测试环境的对应关系；

配置测试环境的环境标识，并建立所述环境标识与所述待测目标运行的真实环境对应关系。

相应的，本申请还公开了一种持续集成测试系统，包括：持续集成项目和测试用例，其中：

所述持续集成项目，包括：

监测模块，用于同时监测在各个真实环境中运行的待测目标；

获取模块，用于当检测到某个真实环境中运行的待测目标达到预设条件时，获取所述待测目标运行的真实环境对应的环境标识；

发送模块，用于通过发送测试命令，调用测试用例，其中，所述测试命令中包括所述环境标识；

所述测试用例，包括

配置模块，用于根据所述环境标识，配置相应的测试环境；

测试模块，用于在所述测试环境中执行测试用例中的测试脚本，并获取最终的测试结果。

优选的，所述环境配置模块，包括：

第一状态位配置子模块，用于根据所述环境标识，对测试用例中的状态位进行赋值；

第一环境识别子模块，用于通过赋值的状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件

优选的，所述环境标识为状态参数，所述第一状态位配置子模块，还用于以系统属性的方式通知所述测试用例，将所述状态参数赋值给所述状态位。

优选的，所述环境配置模块，包括：

第二状态位配置子模块，用于以系统插件的方式，将所述环境标识通知给所述测试用例的状态位；

第二环境识别子模块，用于通过所述状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。

优选的，所述预设条件为达到检测时间，或，待测目标发生变化。

优选的，所述的持续集成项目，还包括：

环境关联模块，用于预先获取所述待测目标运行的真实环境和所述测试环境的对应关系；

标识配置模块，用于配置测试环境的环境标识，并建立所述环境标识与所述待测目标运行的真实环境对应关系。

与现有技术相比，本申请包括以下优点：

首先，本申请将测试环境与测试用例分离，因此可以一个持续集成项目同时监测在各个真实环境中运行的待测目标，当检测到某个真实环境中运行的待测目标达到预设条件时，获取所述待测目标运行的真实环境对应的环境标识。然后根据所述环境标识，配置相应的测试环境，在所述测试环境中执行测试用例中的测试脚本，并获取最终的测试结果。本申请所述的方法复用性较高。并且本申请所述的方法即使待测目标改变，也仅需维护1个CI项目和1个测试用例，大大的将提了持续集成测试的工作量和复杂度。

其次，本申请可以采用属性赋值方式配置测试环境，也可以采用插件方式配置测试环境，测试环境的配置方法灵活、多变。

附图说明

图1是本申请现有技术中所述持续集成测试示意图；

图2是本申请实施例所述持续集成测试示意图；

图3是本申请实施例所述一种持续集成测试方法流程图；

图4是本申请所述一种Hudson服务器的结构简化图；

图5是本申请实施例所述一种持续集成测试系统结构图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

参照图1，给出了本申请现有技术中所述持续集成测试示意图。

现有技术中，将测试环境和测试脚本硬编码在一个测试用例中。在进行持续集成测试时，一个CI项目，监测某一真实环境中运行的待测目标，并在测试时调用对应的测试用例。

若同一待测目标由于不同的需求而运行在n个真实环境中，此时就需要建立n个CI项目，调用n个测试用例，其中，n为正整数。实际上，这n个测试脚本中仅仅是测试环境不同。

因此，现有技术所述的方法复用性比较低，并且维护中会大大提升持续集成测试的工作量和复杂度。

本申请提出一种持续集成测试方法，可以适用于各种测试环境，复用性比较高，并且可以减少维护中的工作量和复杂度。

参照图2，给出了本申请实施例所述持续集成测试示意图。

参照图3，给出了本申请实施例所述一种持续集成测试方法流程图。

步骤11，一个持续集成项目同时监测在各个真实环境中运行的待测目标；

同一个待测目标可以运行在不同的真实环境中，现有技术中，一个持续集成项目仅对应一个真实环境中运行的待测目标，而本申请中可以采用一个持续集成项目同时监控在各个真实环境中运行的待测目标。

步骤12，当检测到某个真实环境中运行的待测目标达到预设条件时，获取所述待测目标运行的真实环境对应的环境标识；

例如，待测目标在真实环境A、B和C中运行，当检测到真实环境B中运行的待测目标达到预设条件时，此时可以获取所述待测目标运行的真实环境B对应的环境标识B＇。

优选的，所述预设条件为达到检测时间，或，待测目标发生变化。

本申请预设了检测时间，若某个真实环境中运行的待测目标达到检测时间，则获取所述待测目标运行的真实环境对应的环境标识。并且，本申请在待测目标发生变化，例如检测到某个真实环境中运行的待测目标中的代码变更，则获取所述待测目标运行的真实环境对应的环境标识。

由于所述测试用例中的测试环境应当与所述真实环境保持一致，因此后续可以根据所述环境标识确定测试环境。

步骤13，通过发送测试命令，调用测试用例，其中，所述测试命令中包括所述环境标识；

然后持续集成项目可以发送测试命令以调用测试用例，进行持续集成测试。其中，所述测试命令中包括所述环境标识。

步骤14，所述测试用例根据所述环境标识，配置相应的测试环境；

然后，测试用例获取所述环境标识，并根据所述环境标识，配置相应的测试环境，则所述测试环境与所述真实环境一致。

其中，测试环境是指测试运行其上的软件和硬件环境的描述，以及任何其它与被测软件交互的软件，包括驱动和桩。测试环境是指为了完成软件测试工作所必需的计算机硬件、软件、网络设备、历史数据的总称。

稳定和可控的测试环境，可以使测试人员花费较少的时间就完成测试用例的执行，也无需为测试用例、测试过程的维护花费额外的时间，并且可以保证每一个被提交的缺陷都可以在任何时候被准确的重现。

步骤15，在所述测试环境中执行测试用例中的测试脚本，并获取最终的测试结果。

在所述测试环境中执行测试用例中的测试脚本，进行持续集成测试，获取最终的测试结果。

综上所述，本申请将测试环境与测试用例分离，因此可以一个持续集成项目同时监测在各个真实环境中运行的待测目标，当检测到某个真实环境中运行的待测目标达到预设条件时，获取所述待测目标运行的真实环境对应的环境标识。然后根据所述环境标识，配置相应的测试环境，在所述测试环境中执行测试用例中的测试脚本，并获取最终的测试结果。本申请所述的方法复用性较高。并且本申请所述的方法即使待测目标改变，也仅需维护1个CI项目和1个测试用例，大大的将提了持续集成测试的工作量和复杂度。

本申请中对测试环境的配置方式有多种，例如：

1、属性赋值方式；

优选的，所述测试用例根据所述环境标识，配置相应的测试环境，包括：

根据所述环境标识，对测试用例中的状态位进行赋值；通过赋值的状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。

测试用例在配置测试环境时，可以根据所述环境标识，对测试用例中的状态位进行赋值，然后通过赋值的状态位，可以识别出测试环境，然后获取所述测试环境的配置文件，然后根据所述配置文件给测试用例配置所述测试环境其中，所述配置文件包括服务器配置文件和数据库配置文件。

例如，环境标识为B＇，可以识别出测试环境为B＇，配置测试环境为B＇的配置文件，包括服务器配置文件和数据库配置文件。

其中，状态位的赋值可采用属性赋值的方式，具体步骤如下：

优选的，所述环境标识为状态参数，

根据所述环境标识，对测试用例中的状态位进行赋值，包括：

以系统属性的方式通知所述测试用例，将所述状态参数赋值给所述状态位。

状态位的赋值可采用属性赋值的方式，所述环境标识可以为状态参数因此在获取到所述环境标识即状态参数后，可以以系统属性的方式通知所述测试用例，将所述状态参数赋值给所述状态位。

2、插件方式。

优选的，所述测试用例根据所述环境标识，配置相应的测试环境，包括：

以系统插件的方式，将所述环境标识通知给所述测试用例的状态位；通过所述状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。

本申请还可以采用系统插件的方式配置测试环境，获取到环境标识后，可以通过系统插件将所述环境标识通知给所述测试用例的状态位，然后通过状态位可以识别出测试环境，然后获取所述测试环境的配置文件，然后根据所述配置文件给测试用例配置所述测试环境其中，所述配置文件包括服务器配置文件和数据库配置文件。

当然，本申请的测试环境还可以采用其他的方式，上述未一一列举，不用理解为是对本申请的限制。

综上所述，本申请可以采用属性赋值方式配置测试环境，也可以采用插件方式配置测试环境，测试环境的配置方法灵活、多变。

优选的，所述的方法还包括：

预先获取所述待测目标运行的真实环境和所述测试环境的对应关系；配置测试环境的环境标识，并建立所述环境标识与所述待测目标运行的真实环境对应关系。

由于所述测试用例中的测试环境应当与所述真实环境保持一致，因此，本申请可以预先获取所述待测目标运行的真实环境，并获取所述真实环境和所述测试环境的对应关系。然后配置测试环境的环境标识，建立所述环境标识与所述待测目标运行的真实环境对应关系。因此，当检测到某一真实环境中运行的待测目标需要进行持续集成测试时，可以通过所述环境标识与所述待测目标运行的真实环境对应关系，获取到对应的环境标识，后续就可以通过所述环境标识配置上相应的测试环境。

参照图4，给出了本申请所述一种Hudson服务器的结构简化图。

本申请采用Hudson服务器，它一个可扩展的持续集成引擎。它提供了持续执行自动化测试的功能，比如通过时间间隔触发、根据代码变更触发等，大大增加了自动化测试用例有效执行的机率。

本申请可以采用自动化测试框架执行测试用例，例如，以属性赋值的方式切换测试环境，因此自动化测试框架支持基于系统属性的测试环境自动切换。

1、自动化测试框架以状态位方式识别并支持多个测试环境：

1）假设：

自动化测试框架中的有关服务器项配置于文件：server.conf

自动化测试框架中的有关数据库项配置于文件：db.conf

2）为支持多个测试环境，对应配置多套配置项：

测试环境1：

服务器项配置文件：1-server.conf

数据库项配置文件：1-db.conf

测试环境2

服务器项配置文件：2-server.conf

数据库项配置文件：2-db.conf

......

测试环境n

服务器项配置文件：n-server.conf

数据库项配置文件：n-db.conf

3）自动化测试框架支持状态位识别：

状态位conf_file=1时，识别到测试环境1配置文件：

服务器项配置文件识别为1-server.conf

数据库项配置文件识别为1-db.conf

状态位conf_file=2时，识别到测试环境2配置文件：

服务器项配置文件识别为2-server.conf

数据库项配置文件识别为2-db.conf

......

状态位conf_file=n时，识别到测试环境n配置文件：

服务器项配置文件识别为n-server.conf

数据库项配置文件识别为n-db.conf

2、自动化测试框架的状态位支持系统属性赋值（作为外围自动切换配置的通道）：SystemProperties.set(″conf_file″,conf_value)；

例如，Hudson的CI项目通过构建时执行的命令行，将状态位的赋值以系统属性的方式通知自动化测试框架：确定本次构建测试关联哪一个测试环境，具体命令行如：

clean install-Dats.config.conf_file=1：状态位conf_file赋值为1

clean install-Dats.config.conf_file=2：状态位conf_file赋值为2

......

clean install-Dats.config.conf_file=n：状态位conf_file赋值为n

本申请可以应用于多种测试当中，例如功能测试和回归测试等，本申请对此不做限定。

参照图5，给出了本申请实施例所述一种持续集成测试系统结构图。

相应的，本申请还提供了一种持续集成测试系统，包括：持续集成项目11和测试用例12

所述持续集成项目11，包括：

监测模块111，用于同时监测在各个真实环境中运行的待测目标；

获取模块112，用于当检测到某个真实环境中运行的待测目标达到预设条件时，获取所述待测目标运行的真实环境对应的环境标识；

发送模块113，用于通过发送测试命令，调用测试用例，其中，所述测试命令中包括所述环境标识；

所述测试用例12，包括

环境配置模块121，用于根据所述环境标识，配置相应的测试环境；

测试模块122，用于在所述测试环境中执行测试用例中的测试脚本，并获取最终的测试结果。

优选的，所述环境配置模块121，包括：

第一状态位配置子模块，用于根据所述环境标识，对测试用例中的状态位进行赋值；

优选的，所述环境标识为状态参数，所述第一状态位配置子模块，还用于以系统属性的方式通知所述测试用例，将所述状态参数赋值给所述状态位。

第一环境识别子模块，用于通过赋值的状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件；

第二状态位配置子模块，用于以系统插件的方式，将所述环境标识通知给所述测试用例的状态位；

第二环境识别子模块，用于通过所述状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。

优选的，所述预设条件为达到检测时间，或，待测目标发生变化。

优选的，所述的持续集成项目11还包括：

环境关联模块，用于预先获取所述待测目标运行的真实环境和所述测试环境的对应关系；

标识配置模块，用于配置测试环境的环境标识，并建立所述环境标识与所述待测目标运行的真实环境对应关系。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上对本申请所提供的一种持续集成测试方法和系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种持续集成测试方法，其特征在于，包括：

一个持续集成项目同时监测在各个真实环境中运行的待测目标；

当检测到某个真实环境中运行的待测目标达到预设条件时，获取所述待测目标运行的真实环境对应的环境标识；

通过发送测试命令，调用测试用例，其中，所述测试命令中包括所述环境标识；

所述测试用例根据所述环境标识，配置相应的测试环境；

在所述测试环境中执行测试用例中的测试脚本，并获取最终的测试结果。

2.根据权利要求1所述的方法，其特征在于，所述测试用例根据所述环境标识，配置相应的测试环境，包括：

根据所述环境标识，对测试用例中的状态位进行赋值；

通过赋值的状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。

3.根据权利要求2所述的方法，其特征在于，所述环境标识为状态参数，

根据所述环境标识，对测试用例中的状态位进行赋值，包括：

以系统属性的方式通知所述测试用例，将所述状态参数赋值给所述状态位。

4.根据权利要求1所述的方法，其特征在于，所述测试用例根据所述环境标识，配置相应的测试环境，包括：

以系统插件的方式，将所述环境标识通知给所述测试用例的状态位；

通过所述状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。

5.根据权利要求1所述的方法，其特征在于，所述预设条件为达到检测时间，或，待测目标发生变化。

6.根据权利要求1所述的方法，其特征在于，还包括：

预先获取所述待测目标运行的真实环境和所述测试环境的对应关系； 

配置测试环境的环境标识，并建立所述环境标识与所述待测目标运行的真实环境对应关系。

7.一种持续集成测试系统，其特征在于，包括：持续集成项目和测试用例，其中：

所述持续集成项目，包括：

监测模块，用于同时监测在各个真实环境中运行的待测目标；

获取模块，用于当检测到某个真实环境中运行的待测目标达到预设条件时，获取所述待测目标运行的真实环境对应的环境标识；

发送模块，用于通过发送测试命令，调用测试用例，其中，所述测试命令中包括所述环境标识；

所述测试用例，包括

配置模块，用于根据所述环境标识，配置相应的测试环境；

测试模块，用于在所述测试环境中执行测试用例中的测试脚本，并获取最终的测试结果。

8.根据权利要求7所述的系统，其特征在于，所述环境配置模块，包括：

第一状态位配置子模块，用于根据所述环境标识，对测试用例中的状态位进行赋值；

第一环境识别子模块，用于通过赋值的状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。

9.根据权利要求8所述的系统，其特征在于，所述环境标识为状态参数，所述第一状态位配置子模块，还用于以系统属性的方式通知所述测试用例，将所述状态参数赋值给所述状态位。

10.根据权利要求9所述的系统，其特征在于，所述环境配置模块，包括：

第二状态位配置子模块，用于以系统插件的方式，将所述环境标识通知给所述测试用例的状态位； 

第二环境识别子模块，用于通过所述状态位识别测试环境的配置文件，给测试用例配置所述测试环境，其中，所述配置文件包括服务器配置文件和数据库配置文件。

11.根据权利要求7所述的系统，其特征在于，所述预设条件为达到检测时间，或，待测目标发生变化。

12.根据权利要求7所述的系统，其特征在于，所述的持续集成项目，还包括：

环境关联模块，用于预先获取所述待测目标运行的真实环境和所述测试环境的对应关系；

标识配置模块，用于配置测试环境的环境标识，并建立所述环境标识与所述待测目标运行的真实环境对应关系。 

Images