CN110096396B - 分组测试的控制方法、分布式应用系统及存储介质 - Google Patents

Abstract

本发明提供了一种分组测试的控制方法、分布式应用系统及存储介质，该方法包括：根据分组测试的设置信息，客户端生成配置文件；客户端将配置文件写入zookeeper服务器；zookeeper服务器基于zookeeper策略将配置文件下发至进行分组测试的一个或者多个测试服务器；一个或者多个测试服务器基于配置文件执行分组测试，进而通过客户端生成分组测试的配置文件，再利用zookeeper服务器在分布式应用中对分组测试的配置文件进行下发，能够简化分组测试的配置操作，无需在对应执行分组测试的服务器上进行配置信息的一一修改，进而提升分组测试的使用灵活性和应用范围，利用zookeeper服务器上的zookeeper策略在分布式应用系统中进行分组测试的分流，提高分布式应用系统的稳定性。

Description

分组测试的控制方法、分布式应用系统及存储介质

技术领域

本发明属于网络技术领域，特别是涉及一种分组测试的控制方法、分布式应用系统及存储介质。

背景技术

分布式应用系统中，在对各个应用所提供的服务的程序/系统的更新或者优化时，需通过大量的分组测试，以利用分组测试的结果进行算法效果的评估，保证发布的程序或者系统版本的稳定性，例如在灰度版本发布时，需要进行灰度版本和稳定版本之间的差异化测试。

在现有技术中，进行一连串的分组测试时，有时还需预先计算不同分组测试间的正交组合，同时为每一种组合分配一个桶(Bucket)，也就是进行分组分流后的测试。由于分组测试可能在分布式应用系统中的不同应用中执行，现有技术中依靠硬编码的条件语句，进而将分组测试的相关信息设置于各个分布式应用中，增加了测试管理和参数调整的难度，对于测试结果的评估也难以实现。此外，在分组测试项目较多但用户流量较小的情况下，分配到每个分组测试项目上的流量过少，而导致测试结果不准确。

发明内容

有鉴于此，本发明提供一种分组测试的控制方法、分布式应用系统及存储介质，以便解决现有技术中在分布式系统中进行分组测试存在的难以进行测试管理和参数调整的问题。

依据本发明的第一方面，提供了一种分组测试的控制方法，应用于包括zookeeper服务器、至少一个客户端、至少一个测试服务器以及存储器的分布式应用系统，所述方法包括：

根据分组测试的设置信息，所述客户端生成配置文件，所述设置信息包括所述分组测试对应的每个测试事件和事件分类策略，所述配置文件中包括所述分组测试的分组比例、所述分组测试的每个分组的事件内容以及所述分组测试的名称信息；

所述客户端将所述配置文件写入所述zookeeper服务器；

所述zookeeper服务器基于zookeeper策略将所述配置文件下发至进行所述分组测试的一个或者多个测试服务器；

所述一个或者多个测试服务器基于所述配置文件执行所述分组测试。

依据本发明的第二方面，提供了一种分布式应用系统，该分布式应用系统包括zookeeper服务器、至少一个客户端、至少一个测试服务器以及存储器；

其中，所述客户端，用于根据分组测试的设置信息，生成配置文件，所述设置信息包括所述分组测试对应的每个测试事件和事件分类策略，所述配置文件中包括所述分组测试的分组比例、所述分组测试的每个分组的事件内容以及所述分组测试的名称信息；

所述客户端，还用于将所述配置文件写入所述zookeeper服务器；

所述zookeeper服务器，用于基于zookeeper策略将所述配置文件下发至进行所述分组测试的一个或者多个测试服务器；

所述一个或者多个测试服务器，用于基于所述配置文件执行所述分组测试。

依据本发明的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的分组测试的控制方法的步骤。

针对在先技术，本发明具备如下优点：

根据分组测试的设置信息，所述客户端生成配置文件，所述设置信息包括所述分组测试对应的每个测试事件和事件分类策略，所述配置文件中包括所述分组测试的分组比例、所述分组测试的每个分组的事件内容以及所述分组测试的名称信息；所述客户端将所述配置文件写入所述zookeeper服务器；所述zookeeper服务器基于zookeeper策略将所述配置文件下发至进行所述分组测试的一个或者多个测试服务器；所述一个或者多个测试服务器基于所述配置文件执行所述分组测试。进而通过客户端生成分组测试的配置文件，再利用zookeeper服务器在分布式应用中对分组测试的配置文件进行下发，能够简化分组测试的配置操作，在每次需对配置文件修改时，无需分别在对应执行分组测试的服务器上进行配置信息的一一修改，进而提升分组测试的使用灵活性和应用范围，利用zookeeper服务器上的zookeeper策略在分布式应用系统中进行分组测试的分流，提高分布式应用系统的稳定性。此外，基于zookeeper服务器对分布式应用系统中的分组测试的管理，便于调用分组测试的结果，进而进行分组测试的效果评估。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例提供的一种分组测试的控制方法的步骤流程图；

图2是本发明实施例提供的一种进行分组测试控制的逻辑结构示意图；

图3是本发明实施例提供的一种分组测试的控制方法的步骤流程图；

图4是本发明实施例提供的一种分组测试的控制方法的步骤流程图；

图5是本发明实施例提供的一种分组测试的控制方法的具体步骤流程图；

图6是本发明实施例提供的一种分组测试的控制方法的具体步骤流程图；

图7是本发明实施例提供的一种分布式应用系统的框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1是本发明实施例提供的一种分组测试的控制方法的步骤流程图，该方法应用于包括zookeeper服务器、至少一个客户端、至少一个测试服务器以及存储器的分布式应用系统，如图1所示，该方法可以包括：

步骤101，根据分组测试的设置信息，客户端生成配置文件。

其中，设置信息包括分组测试对应的每个测试事件和事件分类策略，配置文件中包括分组测试的分组比例、分组测试的每个分组的事件内容以及分组测试的名称信息。

在具体应用中，本发明实施例中将以A/B测试作为分组测试为例进行说明，其中“A”和“B”分别指2个变体，分组测试作为网络分析中的一种常用工具用于确定哪个变体更“有效”、“受欢迎”或者“快速”等。因此，对于一个分组测试，需要确定分组测试对应的每个测试事件，例如一个A/B测试是用于测试一个网页/程序/系统的两个版本：新版本和旧版本之间的用户满意度，进而可以确定A/B测试的两个测试事件分别为：A-新版本、B-旧版本；另外，还需确定有百分之多少的用户使用新版本，以及有百分之多少的用户使用旧版本，且需确保使用新版本的用户比例加上使用旧版本的用户比例之和为1，也就是事件分类策略，对应确定每个测试事件占所有测试事件的比例，设置分类方法等。示例地，事件分类策略为平均分配时，使用新版本的用户比例为50％，则使用旧版本的用户比例为50％。此外，本发明所涉及的分组测试也可以是超多两个分组的测试，具体实现方式类似。

示例地，在进行分组测试之前，预先获取到该分组测试对应的上述设置信息，客户端根据该设置信息生成配置文件，该配置文件例如是具有预设语言格式的脚本，其中包括分组测试的配置信息，以便于zookeeper服务器利用zookeeper策略进行分布式应用系统内服务注册与调控时，将下发上述配置文件后，一个或者多个测试服务器基于配置文件中的配置信息进行分组测试。

由于一般进行分组测试时，都是多次重复测试，以便获取更为有效的测试结果，但对于同一种分组测试的配置保持不变，因此将根据该分组测试的设置信息所生成对应的配置文件，写入zookeeper服务器之后，能够在分布式应用中自动重复执行该分组测试，无需重新配置，同时在测试项目过多但流量过少的情况下，通过自动执行分组测试以提升测试流量，进而克服流量过少而带来的测试结果不够准确的问题。此外，能够在分组测试执行于不同应用上，即不同测试服务器上时，进行对应的测试分流，以简化对于在不同应用间的分组测试的操作。

步骤102，客户端将配置文件写入zookeeper服务器。

在具体应用中，zookeeper服务器是利用zookeeper策略对分布式应用进行协调的服务器，该zookeeper策略是基于包括临时节点和永久节点的树形结构进行协调控制的策略。其中，zookeeper策略作为一个分布式的服务框架，基于类似于文件系统的目录节点树方式进行数据存储，进而通过监控和维护所述存储的数据状态的变化，从而实现数据的集群化管理。zookeeper中的节点被称为Znode，分为临时节点和永久节点，节点的类型在创建节点时一旦被确定，就无法再改变。临时节点的生命周期依赖于创建它们的会话，一旦会话结束，临时节点将被自动删除，用户也可以进行手动删除，且临时节点不允许拥有子节点；而永久节点只有在客户端显示执行删除操作的时候才能被删除。

需要说明的是，本发明提出的zookeeper服务器可以是一个实体的服务器设备，用于执行zookeeper策略的对分布式应用中的所有设备进行配置调控；或者还可以是集成在一个硬件设备上的功能模块，作为虚拟功能模块，本发明不做限制。

因此，基于zookeeper策略对分组测试的配置进行管理并向分布式应用系统中的一个或者多个测试服务器进行配置文件的下发，不仅能够快速对测试内容、参数、比例等进行修改，并且可以实时实现配置的修改，进而简化分组测试的配置管理和维护的操作，提高效率。

步骤103，zookeeper服务器基于zookeeper策略将配置文件下发至进行分组测试的一个或者多个测试服务器。

在具体应用中，zookeeper策略基于分层的目录节点树结构，用于确保分布式应用系统中的各个测试服务器处于同步状态。具体的，zookeeper策略的内容用于指示：将整个分布式应用系统的配置信息(其中包括配置文件)放入目录节点树结构的一个目录节点中，并通知所有相关的测试服务器持续对这个目录节点进行监听，一旦测试服务器发现其所监听的目录节点上的配置信息发生变化，zookeeper服务器会受到触发，从而向各测试服务器下发通知，以告知各测试服务器存在配置信息的更新，以便于各测试服务器进一步分别从zookeeper服务器获取新的配置信息(例如是配置文件)，进而应用到测试服务器上(进行分组测试)，以保证下发至测试服务器的配置文件的准确性和一致性，同时对分布式应用系统的配置进行统一管理。需要说明的是，配置信息中除了包括配置文件之外，还包括分布式应用系统的其他设置的信息，例如用于设置分布式应用系统中所提供的应用服务的信息。

示例地，如图2所示，客户端将根据设置信息所生成的配置文件，写入zookeeper服务器后，zookeeper服务器根据实际的分组测试的类型确定即将执行分组测试的测试服务器，并基于zookeeper策略通知即将执行分组测试的测试服务器且下发对应的配置文件；此外在配置文件出现修改的情况下，能够更新对应的测试服务器上的配置文件。如，分组测试是在一个应用内进行不同方法或者类型的测试，且该应用执行于测试服务器4上，则zookeeper服务器将该配置文件下发至测试服务器4上，以便于在测试服务器4上实现对应的分组测试。类似的，当分组测试是在不同应用间进行的，这多个应用所执行的服务器分别为测试服务器1、测试服务器2以及测试服务器3的情况下，则zookeeper服务器将配置文件分别下发至测试服务器1、测试服务器2以及测试服务器3，即在上述多个测试服务器上实现在不同应用间的分组测试。

需要说明的是，如图2所示，上述多个测试服务器(测试服务器1、测试服务器2、测试服务器3、测试服务器4以及其他未在图中示出的测试服务器)都是注册在zookeeper服务器上的服务器，zookeeper服务器基于zookeeper策略对其进行配置和控制，其中，虚线箭头表示将测试服务器注册在zookeeper服务器上，实线箭头表示zookeeper服务器下发配置文件下发，虚线表示分组测试所涉及的测试服务器。

步骤104，一个或者多个测试服务器基于配置文件执行分组测试。

综上所述，本发明提供的分组测试的控制方法，根据分组测试的设置信息，客户端生成配置文件；客户端将配置文件写入zookeeper服务器；zookeeper服务器基于zookeeper策略将配置文件下发至进行分组测试的一个或者多个测试服务器；一个或者多个测试服务器基于配置文件执行分组测试，进而通过客户端生成分组测试的配置文件，再利用zookeeper服务器在分布式应用中对分组测试的配置文件进行下发，能够简化分组测试的配置操作，在每次需对配置文件修改时，无需分别在对应执行分组测试的服务器上一一进行配置信息的修改，进而提升分组测试的使用灵活性和应用范围，利用zookeeper服务器上的zookeeper策略在分布式应用系统中进行分组测试的分流，提高分布式应用系统的稳定性。

图3是本发明实施例提供的一种分组测试的控制方法的步骤流程图，如图3所示，步骤101所述的根据分组测试的设置信息，客户端生成配置文件，可以包括：

步骤1011，根据设置信息，客户端确定分组测试的类型。

其中，该类型包括在同一测试服务器上进行测试的第一类型或者在多个测试服务器之间进行测试的第二类型。

示例地，在同一测试服务器上表示该第一类型的分组测试将在一个应用内进行；在多个测试服务器之间表示该第二类型的分组测试将涉及到多个应用，每个应用执行于不同的测试服务器，进而在进行分组测试时，会涉及到在不同测试服务器，即不同硬件设备间的测试分流，因此，配置文件中应对应进行配置信息的设置，以保证第二类型的分组测试的实现。

步骤1012，根据设置信息，客户端生成与分组测试的类型对应的配置文件。

其中，配置文件具有预设语言格式，例如是JSON(中文：JavaScript对象表示法；英文：JavaScript Object Notation)语言格式或者PROTOBUF(中文：谷歌协议缓存；英文：Google Protocol Buffer)语言格式。

在具体应用中，配置文件中可以包括分组测试的名称、版本、说明，以及分组测试的每个测试时间的名称以及对应的赋值(这个值可以是既可以是字符串或数字等简单变量，也可以是PROTOBUF编译出的类等复杂对象)；分组测试中每个测试事件的比例(相加的和为1)以及分组测试的分组策略、条件等信息。配置文件用于对分组测试的配置信息进行设置，进而保证分组测试在一个或者多个测试服务器上按照预先确定的设置信息被执行。

若分组测试的每个测试事件属于同一应用下进行的不同类型或方法的测试时，即直接在对应的测试服务器上进行相应的分组测试，无需在配置文件中设置对其他测试服务器的调用和对测试的分流。

但若分组测试要将测试请求分流到不同的测试服务器上进行测试时，例如可以将执行分组测试的测试服务器按照分组策略进行分组后，再在配置文件中将测试服务器所对应的IP地址注册到zookeeper策略中树状结构的临时节点下，进而通过zookeeper策略实现在不同的测试服务器上进行分组测试。

因此，根据对分组测试的类型进行的判断，再分别执行步骤1012，以生成配置文件。

可选的，在分组测试的类型为第一类型的情况下，如图4所示，步骤1012所述的根据设置信息，客户端生成与分组测试的类型对应的配置文件，可以包括：

步骤401，根据事件分类策略和分组测试的每个测试事件，客户端确定分组测试的分组比例、分组测试的名称信息以及分组测试的每个分组的事件内容。

其中，名称信息包括分组测试的每个分组的名称和对每个分组的名称对应的赋值。

例如，图2所示，该分组测试执行于测试服务器4上，该分组测试包括A组和B组，其中，A组是基于算法(algorithmbased)的，也就是执行算法所推荐的服务，B组是基于规则(rulebased)的，也就是执行规则所推荐的服务，且设置A组所占比例为0.8，B组为1-0.8＝0.2。

步骤402，利用预设语言格式，客户端对分组测试的分组比例、分组测试的名称信息以及分组测试的每个分组的事件内容进行转换，得到配置文件。

在具体应用中，基于JSON语言格式或者PROTOBUF语言格式对步骤401所确定的信息进行转换。如以JSON语言格式为例，在“buckets”(分组)字段下，包括“name”(每个分组的名称)字段以及对应的“bucket_value”(每个分组的名称对应赋值)字段，还可以包括对每个测试时间的说明“description”字段，每个分组的事件内容定义在“payload”字段下，以说明该分组对应的事件。

例如，A组的“name”字段对应：“algorithmbased”，“bucket_value”字段对应：-1(名称对应赋值)，“description”字段对应：“do algorithmBased recommend”，事件内容定义为，“payload”：{“string_value”:“algorithmBasedRecommendService”}(说明该A组是执行基于算法所推荐的服务)。

类似的，B组的“name”字段对应：“rulebased”，“bucket_value”字段对应：0，“description”字段对应:“do ruleBased recommend”，事件内容定义为，“payload”：{“string_value”:“ruleBasedRecommendService”}(说明该B组是执行基于规则所推荐的服务)。

此外，利用“length”表示每个分组所占的比例，示例地，在配置文件中对应的语句：“bucket_value”为0的情况下，“length”:0.8，即A组的比例为0.8；相应的，B组的比例为0.2可以表示为：在“bucket_value”为-1的情况下，“length”:0.2。

此外，在配置文件中还可以包括对分组测试的名称、版本以及其他说明的语句，示例地，“name”(分组测试的名称):“recommend”(表示该分组测试为推荐策略测试)，“version”(版本信息):“201X-XX-XX”(该分组测试的以测试日期作为版本信息)，“description”(其他说明):“recommend product for customers”(表明该分组测试是用于对顾客进行产品推荐的测试)等，进而对以上语句进行组合而生成一个完整的配置文件。

可选的，在分组测试的类型为第二类型的情况下，如图5所示，步骤1012所述的根据设置信息，客户端生成与分组测试的类型对应的配置文件，可以包括：

步骤501，客户端获取用于进行分组测试的多个测试服务器。

示例地，由于在不同分布式应用之间的分组测试，其使用多个不同的测试服务器，每个测试服务器具有不同IP地址，端口等，需要首先根据分组测试确定这多个测试服务器，再利用下面步骤确定具体的配置文件。

步骤502，基于测试事件的事件分类策略，客户端对多个测试服务器进行分组，以将分组后的多个测试服务器对应的互联网协议地址注册在相应的节点下。

其中，节点是与分组测试的每个测试事件对应生成的在树形结构中的临时节点。

示例地，如图2所示，由于分组测试是在多个测试服务器(测试服务器1、测试服务器2以及测试服务器3)上进行的，其每个测试服务器所对应的IP地址为分别为ip1、ip2、ip3。首先根据测试事件的事件分类策略，对多个测试服务器进行分组，如，A组执行基于算法所推荐的服务，测试服务器1和测试服务器2用于测试A组对应的服务，则将ip1和ip2分到A组；测试服务器3用于测试基于规则所推荐的服务，也就属于B组，将ip3分到B组。之后再根据上述分组，分别将各个测试事件对应的分组注册为树形结构的临时节点，例如A组所对应的临时节点为recommend_service_a，再将ip1和ip2对应注册在recommend_service_a节点下；类似的，B组所对应的临时节点为recommend_service_b，将ip3注册在recommend_service_b节点下。

步骤503，客户端将每个测试事件对应的远程调用命令作为分组测试的每个分组的事件内容。

由于第二类型的分组测试涉及到在分布式应用系统中的多个应用之间的分流，将配置文件中的分组测试的每个分组的事件内容对应设置为分布式应用调用的RPC(中文：远程过程调用协议；英文：Remote Procedure Call Protocol)命令，替代图4所示实施例中所述的事件内容，也就是“payload”字段对应的内容，例如，对应上述分组方式可以将配置文件中的语句对应修改为：

A组的“payload”:{“service_name”:“recommend_service_a”，“method_name”:“recommendMethod”}，也就是直接调用A组对应的临时节点“recommend_service_a”所对应的测试服务器，以对基于算法的推荐服务进行测试；B组的“payload”:{“service_name”:“recommend_service_b”，“method_name”:“recommendMethod”}，也就是直接调用B组对应的临时节点“recommend_service_b”所对应的测试服务器，以对基于规则的推荐服务进行测试。

步骤504，根据分组测试对应的每个测试事件和事件分类策略，客户端确定分组测试的名称信息以及分组测试的分组比例。

其中，名称信息包括分组测试的每个分组的名称和对每个分组的名称对应的赋值。

示例地，该步骤可以参考上述图4所述的步骤所述，此处为了避免重复，不再赘述。

步骤505，按照预设语言格式，客户端对分组测试的分组比例、分组测试的名称信息、分组测试的每个分组的事件内容进行转换，得到配置文件。

示例地，对应修改分组测试的名称信息以及说明，如A组的“name”字段对应：“recommend_service_a”(A组所注册的临时节点)，“value”字段对应：-1(A组的名称赋值)，“description”字段对应：“recommend service a branch”(推荐服务分支A)；B组的“name”字段对应：“recommend_service_B”(B组所注册的临时节点)，“value”字段对应：-0(B组的名称赋值)，“description”字段对应：“recommend service b branch”(推荐服务分支B)。每个分组的比例的设置方式与上一实施例所述相同，此处不再赘述。

通过上述步骤得到第二类型对应的配置文件后，测试服务器将从zookeeper服务器上获取到该配置文件，即可以获知对应分流的RPC调用信息，从而基于RPC调用实现在不同服务器之间的服务分流。另外，如果在部署应用服务时，使用本发明所提出的方法将新版本和老版本，分别注册为树状结构中的不同节点(临时节点)，再利用配置文件实现按比例的服务分流，即可以作为一种实现灰度版本发布的方式。

此外，需要说明的是，根据本发明提出的技术方案，使得一个应用内的逻辑分流(在应用内的分组测试)和跨应用(多个测试服务器之间)的服务分流可以以多种方式结合，也就是既可以分别调用它们，从而形成分层、独立的分组测试；也可以将整个下层(底层)的分组测试作为上层(顶层)的分组测试的测试事件，即将下层的分组测试的名称赋值给上层的一个分组测试的测试事件(“bucket”下的“name”字段)，从而形成相关联的、分层的分组测试。

可选的，图6是本发明实施例提供的一种分组测试的控制方法的具体步骤流程图，如图6所示，在步骤104之后，该方法还可以包括：

步骤105，在分组测试完成后，一个或者多个测试服务器将分组测试的结果保存在存储器中。

示例地，在分布式应用系统中可以设置对应的存储器，例如是数据库，进而用于在分组测试完成后，将分组测试的结果保存在其上，以便于之后对于该分组测试的结果进行调用和查看。

步骤106，在分组测试完成后，一个或者多个测试服务器响应于结果获取请求，利用分布式应用系统中的调用链，将分组测试的结果返回至结果获取请求的发起方。

其中，调用链用于在分布式应用系统中的多个测试服务器和/或客户端之间基于远程过程调用协议进行数据信息交互。

示例地，除了利用步骤105将分组测试的结果保存在存储器上之外，还可以根据客户端所发起的对分组测试的结果进行查看的请求，即结果获取请求，通过执行分组测试的一个或者多个测试服务器将所执行的分组测试的结果，例如保存在一个结果对象中，再将其塞进调用链的通信包中，从而将测试结果传回发起方(客户端)，以便于客户端根据该分组测试的结果进行评估。例如，确定在分布式应用系统中对应的测试服务器上一共进行了多少次分组测试，以及该分组测试的结果是什么(哪个版本更优、哪个版本更快等)，不仅可以基于这些信息对本次测试效果进行评估，还可以与之前在存储器中存储的，与本次分组测试相类似的分组测试的结果进行对比，从而优化和改进测试对应的配置信息。

图7是本发明实施例提供的一种分布式应用系统的框图，如图7所示，分布式应用系统包括zookeeper服务器710、至少一个客户端720、至少一个测试服务器730以及存储器740的分布式应用系统，其中，

客户端720，用于根据分组测试的设置信息，生成配置文件，设置信息包括分组测试对应的每个测试事件和事件分类策略，配置文件中包括分组测试的分组比例、分组测试的每个分组的事件内容以及分组测试的名称信息；

客户端720，还用于将配置文件写入zookeeper服务器710；

zookeeper服务器710，用于基于zookeeper策略将配置文件下发至进行分组测试的一个或者多个测试服务器730；

一个或者多个测试服务器730，用于基于配置文件执行分组测试。

可选的，客户端720，还用于：

根据设置信息，确定分组测试的类型，类型包括在同一测试服务器上进行测试的第一类型或者在多个测试服务器之间进行测试的第二类型；

根据设置信息，生成与分组测试的类型对应的配置文件。

可选的，配置文件具有预设语言格式，分组测试的类型为第一类型，客户端720，还用于：

根据事件分类策略和分组测试的每个测试事件，确定分组测试的分组比例、分组测试的名称信息以及分组测试的每个分组的事件内容，名称信息包括分组测试的每个分组的名称和对每个分组的名称对应的赋值；

利用预设语言格式，对分组测试的分组比例、分组测试的名称信息以及分组测试的每个分组的事件内容进行转换，得到配置文件。

可选的，配置文件具有预设语言格式，分组测试的类型为第二类型，zookeeper策略是基于包括临时节点和永久节点的树形结构进行控制的策略，客户端720，还用于：

获取用于进行分组测试的多个测试服务器；

基于测试事件的事件分类策略，对多个测试服务器进行分组，以将分组后的多个测试服务器对应的互联网协议地址注册在相应的节点下，其中，节点是与分组测试的每个测试事件对应生成的在树形结构中的临时节点；

将每个测试事件对应的远程调用命令作为分组测试的每个分组的事件内容；

根据分组测试对应的每个测试事件和事件分类策略，确定分组测试的名称信息以及分组测试的分组比例，名称信息包括分组测试的每个分组的名称和对每个分组的名称对应的赋值；

按照预设语言格式，客户端对分组测试的分组比例、分组测试的名称信息、分组测试的每个分组的事件内容进行转换，得到配置文件。

可选的，该分布式应用系统700包括：

一个或者多个测试服务器730，还用于在一个或者多个测试服务器基于配置文件执行分组测试的步骤之后，在分组测试完成后，将分组测试的结果保存在存储器740中。

一个或者多个测试服务器730，还用于在分组测试完成后，响应于结果获取请求，利用分布式应用系统中的调用链，将分组测试的结果返回至结果获取请求的发起方；调用链用于在分布式应用系统中的多个测试服务器和/或客户端之间基于远程过程调用协议进行数据信息交互。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述分组测试的控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。

对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此提供的分组测试的控制方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的欺诈判别方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (11)

1.一种分组测试的控制方法，其特征在于，应用于包括zookeeper服务器、至少一个客户端、至少一个测试服务器以及存储器的分布式应用系统，所述方法包括：

根据分组测试的设置信息，所述客户端生成配置文件，所述设置信息包括所述分组测试对应的每个测试事件和事件分类策略，所述配置文件中包括所述分组测试的分组比例、所述分组测试的每个分组的事件内容以及所述分组测试的名称信息；

所述客户端将所述配置文件写入所述zookeeper服务器；

所述zookeeper服务器基于zookeeper策略将所述配置文件下发至进行所述分组测试的一个或者多个测试服务器；所述zookeeper策略用于指示所述zookeeper服务器将所述配置文件放入目录节点树结构的一个目录节点中，并通知所有相关的测试服务器对所述目录节点进行监听，如果所监听的目录节点上的配置信息发生变化，所述zookeeper服务器受到触发，向所述一个或者多个测试服务器下发通知，以便于所述一个或者多个测试服务器分别从所述zookeeper服务器获取新的配置信息；

所述一个或者多个测试服务器基于所述配置文件执行所述分组测试。

2.根据权利要求1所述的方法，其特征在于，所述根据分组测试的设置信息，所述客户端生成配置文件，包括：

根据所述设置信息，所述客户端确定所述分组测试的类型，所述类型包括在同一测试服务器上进行测试的第一类型或者在多个测试服务器之间进行测试的第二类型；

根据所述设置信息，所述客户端生成与所述分组测试的类型对应的配置文件。

3.根据权利要求2所述的方法，其特征在于，所述配置文件具有预设语言格式，所述分组测试的类型为所述第一类型，所述根据所述设置信息，所述客户端生成与所述分组测试的类型对应的配置文件，包括：

根据所述事件分类策略和所述分组测试的每个测试事件，所述客户端确定所述分组测试的分组比例、所述分组测试的名称信息以及所述分组测试的每个分组的事件内容，所述名称信息包括所述分组测试的每个分组的名称和对所述每个分组的名称对应的赋值；

利用所述预设语言格式，所述客户端对所述分组测试的分组比例、所述分组测试的名称信息以及所述分组测试的每个分组的事件内容进行转换，得到所述配置文件。

4.根据权利要求2所述的方法，其特征在于，所述配置文件具有预设语言格式，所述分组测试的类型为所述第二类型，所述zookeeper策略是基于包括临时节点和永久节点的树形结构进行控制的策略，所述根据所述设置信息，所述客户端生成与所述分组测试的类型对应的配置文件，包括：

所述客户端获取用于进行所述分组测试的多个测试服务器；

基于所述测试事件的事件分类策略，所述客户端对所述多个测试服务器进行分组，以将分组后的所述多个测试服务器对应的互联网协议地址注册在相应的节点下，其中，所述节点是与所述分组测试的每个测试事件对应生成的在所述树形结构中的临时节点；

所述客户端将所述每个测试事件对应的远程调用命令作为所述分组测试的每个分组的事件内容；

根据所述分组测试对应的每个测试事件和所述事件分类策略，所述客户端确定所述分组测试的名称信息以及所述分组测试的分组比例，所述名称信息包括所述分组测试的每个分组的名称和对所述每个分组的名称对应的赋值；

按照预设语言格式，所述客户端对所述分组测试的分组比例、所述分组测试的名称信息、所述分组测试的每个分组的事件内容进行转换，得到所述配置文件。

5.根据权利要求1所述的方法，其特征在于，在所述一个或者多个测试服务器基于所述配置文件执行所述分组测试的步骤之后，所述方法还包括：

在所述分组测试完成后，所述一个或者多个测试服务器将所述分组测试的结果保存在所述存储器中；或者

在所述分组测试完成后，所述一个或者多个测试服务器响应于结果获取请求，利用所述分布式应用系统中的调用链，将所述分组测试的结果返回至所述结果获取请求的发起方；所述调用链用于在所述分布式应用系统中的多个测试服务器和/或所述客户端之间基于远程过程调用协议进行数据信息交互。

6.一种分布式应用系统，其特征在于，所述分布式应用系统包括zookeeper服务器、至少一个客户端、至少一个测试服务器以及存储器，

其中，所述客户端，用于根据分组测试的设置信息，生成配置文件，所述设置信息包括所述分组测试对应的每个测试事件和事件分类策略，所述配置文件中包括所述分组测试的分组比例、所述分组测试的每个分组的事件内容以及所述分组测试的名称信息；

所述客户端，还用于将所述配置文件写入所述zookeeper服务器；

所述zookeeper服务器，用于基于zookeeper策略将所述配置文件下发至进行所述分组测试的一个或者多个测试服务器；所述zookeeper策略用于指示所述zookeeper服务器将所述配置文件放入目录节点树结构的一个目录节点中，并通知所有相关的测试服务器对所述目录节点进行监听，如果所监听的目录节点上的配置信息发生变化，所述zookeeper服务器受到触发，向所述一个或者多个测试服务器下发通知，以便于所述一个或者多个测试服务器分别从所述zookeeper服务器获取新的配置信息；

所述一个或者多个测试服务器，用于基于所述配置文件执行所述分组测试。

7.根据权利要求6所述的系统，其特征在于，所述客户端，还用于：

根据所述设置信息，确定所述分组测试的类型，所述类型包括在同一测试服务器上进行测试的第一类型或者在多个测试服务器之间进行测试的第二类型；

根据所述设置信息，生成与所述分组测试的类型对应的配置文件。

8.根据权利要求7所述的系统，其特征在于，所述配置文件具有预设语言格式，所述分组测试的类型为所述第一类型，所述客户端，还用于：

根据所述事件分类策略和所述分组测试的每个测试事件，确定所述分组测试的分组比例、所述分组测试的名称信息以及所述分组测试的每个分组的事件内容，所述名称信息包括所述分组测试的每个分组的名称和对所述每个分组的名称对应的赋值；

利用所述预设语言格式，对所述分组测试的分组比例、所述分组测试的名称信息以及所述分组测试的每个分组的事件内容进行转换，得到所述配置文件。

9.根据权利要求7所述的系统，其特征在于，所述配置文件具有预设语言格式，所述分组测试的类型为所述第二类型，所述zookeeper策略是基于包括临时节点和永久节点的树形结构进行控制的策略，所述客户端，还用于：

获取用于进行所述分组测试的多个测试服务器；

基于所述测试事件的事件分类策略，对所述多个测试服务器进行分组，以将分组后的所述多个测试服务器对应的互联网协议地址注册在相应的节点下，其中，所述节点是与所述分组测试的每个测试事件对应生成的在所述树形结构中的临时节点；

将所述每个测试事件对应的远程调用命令作为所述分组测试的每个分组的事件内容；

根据所述分组测试对应的每个测试事件和所述事件分类策略，确定所述分组测试的名称信息以及所述分组测试的分组比例，所述名称信息包括所述分组测试的每个分组的名称和对所述每个分组的名称对应的赋值；

按照预设语言格式，所述客户端对所述分组测试的分组比例、所述分组测试的名称信息、所述分组测试的每个分组的事件内容进行转换，得到所述配置文件。

10.根据权利要求6所述的系统，其特征在于，所述系统包括：

所述一个或者多个测试服务器，还用于在所述一个或者多个测试服务器基于所述配置文件执行所述分组测试的步骤之后，在所述分组测试完成后，将所述分组测试的结果保存在所述存储器中；或者

所述一个或者多个测试服务器，还用于在所述分组测试完成后，响应于结果获取请求，利用所述分布式应用系统中的调用链，将所述分组测试的结果返回至所述结果获取请求的发起方；所述调用链用于在所述分布式应用系统中的多个测试服务器和/或所述客户端之间基于远程过程调用协议进行数据信息交互。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的分组测试的控制方法的步骤。

Images