CN105610654A

CN105610654A - 一种服务器、策略在线测试的方法及系统

Info

Publication number: CN105610654A
Application number: CN201610117808.7A
Authority: CN
Inventors: 雷龙艳; 章岑; 杨田; 周盛; 潘柏宇; 王冀
Original assignee: 1Verge Internet Technology Beijing Co Ltd
Current assignee: Alibaba China Co Ltd
Priority date: 2016-03-02
Filing date: 2016-03-02
Publication date: 2016-05-25
Anticipated expiration: 2036-03-02
Also published as: CN105610654B

Abstract

本发明公开一种服务器、策略在线测试的方法及系统，该方法包括：接收策略在线测试请求；按照预先设定的顺序建立各个策略的测试层，并分配各个策略测试层中测试桶的流量比例；将测试流量依次通过各个策略测试层，并按照各个策略测试层中测试桶的流量比例分配到相应的测试桶中进行在线测试；收集各个策略测试层中测试桶的测试结果进行比较，获取各个策略测试层中最优的策略。本发明所述的策略在线测试的方法避免了各个策略团队之间沟通流量分配困难、团队依赖性强的问题，降低了多个策略测试的成本。

Description

一种服务器、策略在线测试的方法及系统

技术领域

本发明涉及策略测试的技术领域，涉及一种服务器、策略在线测试的方法及系统。

背景技术

在互联网等技术领域，每一种新的策略都是由技术人员在线下进行实验获得的，而新获得的策略与现有的策略比较是否具有优势无法从线下实验中获取，因为在线下实验中无法模拟出上线后变化万千的真实线上环境，也就无法预知新策略与原策略相比，谁更优。为了比较新策略与原策略的好坏以决定是否替换原策略，一般会通过在线AB测试(ABTest)的方式，使用一定流量来检测比较新策略与原策略的好坏，通过观察检测一段时间后确定更具优势的策略上线有利于始终保证系统策略为最优策略。

AB测试(ABTest)其实是一种“先验”的实验体系，属于预测型结论，AB测试是在新策略上线时，将一定的线上流量按比例分为多份分别对应新策略及原策略进行线上测试，其中每一份流量被称为一个桶，上述测试进行一段时间后通过线下统计各个桶中的效果数据，进行比较得出最具优势的策略的一种测试方法。

目前采用的AB测试为单层实验架构，预先设置好各个测试桶的流量比例，按照该比例将系统流量分配到各个测试桶中进行测试，比如，某次实验包括新测试桶A、原策略小流量桶B及原策略大流量桶C，其流量比例为3:3:4，在流量抵达时，有0.3的概率通过A桶、0.3的概率通过B桶、0.4的概率通过C桶，经过一段时间的观察后，通过比较A桶和B桶的效果数据来确定新策略与原策略的优劣，如图1所示。

单层实验架构AB测试的优点是架构简单，方便测试，但是对于多个新策略进行测试时，首先，各个策略团队之间需要预先协商好各个策略的流量分配比例，流量分配一致的实验可以放在一个测试桶中进行试验，如果流量分配不一致的实验需要进一步地进行流量细分，比如，有1、2两个新策略分为A、B、C、D、E五个测试桶，按照比例2:2:1:1:4的流量分配比例，其中，桶A和B为策略1的测试桶，同时为策略2的原测试桶；桶C和D为策略2的测试桶，同时为策略1的原测试桶；桶E为策略1和策略2的原测试桶。通过比较A-E桶的效果数据来确定新策略1、新策略2与各自原策略的优劣，如图2所示。

然而，这种单层构架的AB测试在测试多个新策略时，会造成各个策略团队之间沟通流量分配困难、团队依赖性强，从而提高了测试成本；再者，当需要测试的新策略较多时，需要进行的实验越多，造成流量比例分配越细，而分配的小流量又会降低实验的可信度，最终影响测试的准确性。

因此，提供一种能实现各个新策略独立进行测试，且保证测试准确性的新策略在线测试方法是本领域亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种策略在线测试的方法及系统，解决了单层构架的AB测试在测试多个新策略时，各个策略团队之间沟通流量分配困难、团队依赖性强，以及测试多个新策略需要进行多次实验，带来的流量比例分配细，从而降低实验的可信度，最终影响测试的准确性的问题。并且，本发明还提出一种设置有该策略在线测试的系统的服务器。

为了解决上述技术问题，本发明提出一种策略在线测试的方法，该方法包括：

接收策略在线测试请求；

按照预先设定的顺序建立各个策略的测试层，并分配各个策略测试层中测试桶的流量比例；

将测试流量依次通过各个策略测试层，并按照各个策略测试层中测试桶的流量比例分配到相应的测试桶中进行在线测试；

收集各个策略测试层中测试桶的测试结果进行比较，获取各个策略测试层中最优的策略。

在一可选实施例中，所述按照预先设定的顺序建立各个策略的测试层，并分配各个策略测试层中测试桶的流量比例，包括：

当有新的策略需要进行测试时，在已有策略层基础上增加新策略的测试层，并按照预先设定分新增加策略测试层中测试桶的流量比例。

在一可选实施例中，测试流量依次通过各个策略测试层，并按照各个策略测试层中测试桶的流量比例分配到相应的测试桶中进行在线测试，包括：

将上一层策略测试层中各个测试桶中测试完的测试流量分别按下一层策略测试层中各个测试桶中的流量比例通过所述下一层策略测试层中的各个测试桶进行在线测试。

在一可选实施例中，在所述测试流量流经各个策略的测试层之前，计算所述测试流量的哈希值，并根据所述哈希值及该策略测试层的流量比例将所述测试流量分配至该测试层的相应测试桶中进行在线测试。

在一可选实施例中，计算所述测试流量的哈希值，包括：利用每层的名称标识及流量标识作为计算所述哈希值的种子。

在一可选实施例中，采用MD5算法计算所述测试流量的哈希值。

另一方面，为实现上述策略在线测试的方法，本发明还提出了一种策略在线测试的系统，包括：接收模块、测试层建立模块、测试模块及处理模块，其中，

所述接收模块，用于接收策略在线测试请求；

所述测试层建立模块，用于按照预先设定的顺序建立各个策略的测试层，并分配各个策略测试层中测试桶的流量比例；

所述测试模块，用于将测试流量依次通过各个策略测试层，并按照各个策略测试层中测试桶的流量比例分配到相应的测试桶中进行在线测试；

所述处理模块，用于收集各个策略测试层中测试桶的测试结果进行比较，获取各个策略测试层中最优的策略。

在一可选实施例中，所述测试层建立模块，包括：测试层建立单元及测试层增加单元，其中，

所述测试层建立单元，用于按照预先设定的顺序建立各个策略的测试层，并分配各个策略测试层中测试桶的流量比例；

所述测试层增加单元，用于当有新的策略需要进行测试时，在已有策略层基础上增加新策略的测试层，并按照预先设定分新增加策略测试层中测试桶的流量比例。

在一可选实施例中，所述测试模块，包括：测试单元，其中，

所述测试单元，用于将上一层策略测试层中各个测试桶中测试完的测试流量分别按下一层策略测试层中各个测试桶中的流量比例通过所述下一层策略测试层中的各个测试桶进行在线测试。

在一可选实施例中，所述测试模块，还包括：计算单元，其中，

所述计算单元，用于在所述测试流量流经各个策略的测试层之前，计算所述测试流量的哈希值；

所述测试单元，还用于根据所述哈希值及该策略测试层的流量比例将所述测试流量分配至该测试层的相应测试桶中进行在线测试。

在一可选实施例中，所述计算单元，用于利用每层的名称标识及流量标识作为计算所述哈希值的种子。

在一可选实施例中，所述计算单元，用于采用MD5算法计算所述测试流量的哈希值。

本发明还提出了一种服务器，该服务器设置有上述的策略在线测试的系统。

与现有技术相比，本发明所述的服务器、策略在线测试的方法及系统，实现了如下的有益效果：

(1)本发明所述的策略在线测试的方法及系统针对每个需要测试的策略设置一个独立的策略层进行测试，各个策略层之间测试流量的分配按照各自预先设置的比例相互独立，使得各个策略层流量分配无依赖，也就避免了各个策略团队之间沟通流量分配困难、团队依赖性强的问题，降低了多个策略测试的成本。

(2)本发明所述的策略在线测试的方法及系统针对每个需要测试的策略设置一个独立的策略层进行测试，当存在较多待测试策略时，按照分层的形式利用总体流量针对各个策略独立进行测试，避免了因为进行较多的实验引起流量分配过细降低实验可信度的问题，保证了在对各个策略进行测试时的准确性。

(3)本发明的策略在线测试的方法及系统利用同一流量对各个待测试策略分层的方式进行测试，各个策略的测试按照流式进行，使得策略测试整体有序、高效快捷，同时，在测试策略较多时，也不用另行增加测试流量，简化了多个策略的测试过程。

当然，实施本发明的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为现有技术中单层策略测试的示意图；

图2为现有技术中针对多个策略的单层策略测试的示意图；

图3为本发明的策略在线测试的方法的一个实施例的流程示意图；

图4为本发明实施例一中建立多个策略测试层的一个可选实施例的示意图；

图5为本发明实施例二所述策略在线测试的方法的一个可选实施例的示意图；

图6为本发明实施例二所述计算哈希值进行每个测试层流量分配的一个可选实施例示意图；

图7为本发明实施例二中对A、B两个策略进行在线测试的一个可选流量分配方式的示意图；

图8A为本发明实施例三中对策略进行在线测试的一个可选流量分配方式的示意图；

图8B为本发明实施例三中对策略进行在线测试时新增策略测试层的一个可选流量分配方式的示意图；

图9为本发明中一个策略在线测试的系统的一个可选实施例的示意图。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

实施例1

如图3所示，为本发明的策略在线测试的方法的一个实施例的流程示意图。在本实施例中，针对每个需要测试的策略设置一个独立的策略层进行测试，各个策略层之间测试流量的分配按照各自预先设置的比例相互独立，使得各个策略层流量分配无依赖，避免了各个策略团队之间沟通流量分配困难的问题，同时降低了策略团队之间的沟通成本。本实施例中策略在线测试的方法包括以下步骤：

步骤101、接收策略在线测试请求。

技术人员在线下开发的每一个新策略都需要与原有的策略进行优劣对比后才能确定更有利的策略进行上线。因为在线下很难模拟出变化万千的线上环境，在线下测试中得不出实际更优的策略，因此，在本技术领域中，通常采用AB测试的形式，将线上流量，例如采用cookie作为标识的流量，按照预先设定的比例流经各个测试策略进行测试，通过线上测试的结果数据对比即可反映出新策略与原有策略的优劣，通过这种方式简单、直观、准确地挑选出了更有利的策略进行上线。

步骤102、按照预先设定的顺序建立各个策略的测试层，并分配各个策略测试层中测试桶的流量比例。

在本实施例中，每个策略测试层都独立地用于一个策略的测试，预先设定好测试流量从一个策略测试层流向下一个策略测试层的策略分层顺序，例如图4所示，为本实施例中建立多个策略测试层的一个可选实施例的示意图，第一层为A策略测试层、第二层为B策略测试层。

并且，各个策略测试层中的新策略与原有策略的流量分配比例也是预先确定好的，且相互独立，各个策略团队可以自定义其策略的测试流量比例，做到了各个测试实验之间干扰最小，因为各个策略测试层之间是前后关系，并无父子关系，所以各个策略测试层之间的测试并无依赖性。比如，A策略测试层包括A1、A2、及A3三个测试桶，流量分配比例分别为30％、30％及40％，其中测试桶A1及测试桶A2分别用于进行A的新策略及A的原有策略的在线测试，测试桶A3可以用于A的原有策略的大流量测试，也可以用于剩余的流量通过；B策略测试层包括B1、B2、及B3三个测试桶，流量分配比例分别为40％、40％及20％，其中测试桶B1及测试桶B2分别用于进行B的新策略及B的原有策略的在线测试，测试桶B3可以用于B的原有策略的小流量测试，也可以用于剩余的流量通过。每个策略层中，新策略与相应的原有策略的流量比例设置一致，便于后续对两者测试结果的比较。

步骤103、将测试流量依次通过各个策略测试层，并按照各个策略测试层中测试桶的流量比例分配到相应的测试桶中进行在线测试。

优选地，系统的策略测试流量经过各个策略测试层时，随机地按照预定的比例流经各个策略层中的测试桶进行策略测试，每一层测试后的流量又随机地流经下一策略测试层进行在线测试。如此，最初的测试总流量都是作为每一层的测试流量随机按各层预定比例进行测试，当存在较多待测试策略时，按照分层的形式利用总体流量针对各个策略独立进行测试，避免了因为进行较多的实验引起流量分配过细降低实验可信度的问题，保证了在对各个策略进行测试时的准确性。

步骤104、收集各个策略测试层中测试桶的测试结果进行比较，获取各个策略测试层中最优的策略。

经过在线测试之后，收集各个策略测试层测试桶中的测试结果，通过结果数据比较确定各个策略层的最优策略。例如，某个策略层有策略1、策略2、策略3及原有策略同时进行测试，结果为：策略2＞策略1＞策略3＞原有策略，则选取策略2为该策略层的最优策略。

实施例2

如图5所示，为本发明实施例所述策略在线测试的方法的一个可选实施例。本实施例相对于实施例1所示实施例中的流程，可选地描述了在策略在线测试过程中建立及新增策略测试层、计算并进行各层流量分配的过程。本实施例中所述方法包括以下步骤：

步骤201、接收策略在线测试请求。

步骤202、按照预先设定的顺序建立各个策略的测试层，并分配各个策略测试层中测试桶的流量比例。

步骤203、当有新的策略需要进行测试时，在已有策略层基础上增加新策略的测试层，并按照预先设定分新增加策略测试层中测试桶的流量比例。

步骤204、在所述测试流量流经各个策略的测试层之前，计算所述测试流量的哈希值(hash值)，并根据所述哈希值及该策略测试层的流量比例将所述测试流量分配至该测试层的相应测试桶中进行在线测试。

其中，哈希，又叫散列，就是把任意长度的输入(又叫做预映射)，通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间。在理想情况下，哈希函数应该把集合中不相等的实例均匀分布到所有可能的哈希值上，要想达到这种理想情形是非常困难的。本发明采用java语言的字符串String对象的hashcode()函数来实现哈希值的计算，计算公式为：s[0]*31^(n-1)+s[1]*31^(n-2)+...+s[n-1]，其中s[i]是字符串的第i个字符的ASCII码值，n是字符串的长度，符号^是指数幂。

优选地，计算所述测试流量的哈希值时，利用每层的名称标识及流量标识作为计算所述哈希值的种子。通过每一层策略名称标识及流量标识作为种子计算得到的哈希值与该层中测试桶中流量比例比较获得流量的分配方式，计算得到的哈希值落在哪个测试桶的流量比例范围内，该部分的流量就流经该测试桶进行测试。例如，如图6所示为本实施例计算哈希值进行每个测试层流量分配的一个可选实施例示意图，以cookie作为流量标识，在A策略测试层中，包括A1、A2及A3三个测试桶，其中，预先设定测试桶A1的流量比例为30％，测试桶A2的流量比例为30％，测试桶A3的流量比例为40％，当计算到的哈希值大于0而小于30％的流量流经测试桶A1进行测试，当计算到的哈希值大于30％而小于60％的流量流经测试桶A2进行测试，当计算到的哈希值大于60％而小于100％的流量流经测试桶A3进行测试。同样地，第二层包括B1、B2及B3三个测试桶，流量分配比例分别为40％、40％和20％，当流量流经第二层策略测试层之前也通过该层哈希值与其流量比例进行判断分配。其中，A_expName是第一层实验模块的名称标识，B_expName是第二层实验模块的名称标识，该名称与cookie字符串组合形成了不同实验层的种子，第一层的hash值h1和第二层的hash值h2没有关联，这样就保证了两层的流量分配的正确性。

更优选地，本实施例采用MD5算法计算所述测试流量的哈希值。MD5算法(MessageDigestAlgorithmMD5全称为消息摘要算法第五版)，为计算机安全领域广泛使用的一种散列函数，用以提供消息的完整性保护。MD5算法以512位分组来处理输入的信息，且每一分组又被划分为16个32位子分组，经过了一系列的处理后，算法的输出由四个32位分组组成，将这四个32位分组级联后将生成一个128位散列值。MD5算法经过填充，使其位长对512求余的结果等于448；初始化变量，初始的128位值为初试链接变量，这些参数用于第一轮的运算，以大端字节序来表示，处理分组数据后输出计算结果。采用MD5算法具有以下优点：压缩性，任意长度的数据，算出的MD5值长度都是固定的；容易计算，从原数据计算出MD5值很容易；抗修改性，对原数据进行任何改动，哪怕只修改一个字节，所得到的MD5值都有很大区别；强抗碰撞性，已知原数据和其MD5值，想找到一个具有相同MD5值的数据是非常困难的。

因此，采用MD5算法根据测试的整体流量计算每一层测试的哈希值，以确定测试流量在每一层的测试桶中的流量分配方式，保证了策略在线测试过程中流量的准确分配的同时，还便于将测试应用于自动化计算程序中，使得策略的在线测试精准、高效快捷地进行。

如图7所示，为本实施例中对A、B两个策略进行测试的流量分配示意图，如下为图7中对A、B两个策略进行测试的流量分配对应的层配置结构描述：

设置第一层为A策略的测试层，在第一层中分为测试桶A1、A2及A3三个策略测试桶，其流量分配分别为30％、30％和40％，则测试流量到达第一测试层时，分别按照30％、30％和40％的比例流经测试桶A1、A2及A3三个策略测试桶中进行测试。

第二层设置为B策略的测试层，在第二层中分为测试桶B1、B2及B3三个策略测试桶，其流量分配分别为40％、40％和20％，则在所述第一层测试桶A1、A2及A3三个测试桶中测试完的流量又分别按照40％、40％和20％的比例流经测试桶B1、B2及B3三个策略测试桶进行测试。

将上述两个测试层的测试结果分别输出以反应出该流量对A策略及B策略各自的测试效果。

步骤205、将上一层策略测试层中各个测试桶中测试完的测试流量分别按下一层策略测试层中各个测试桶中的流量比例通过所述下一层策略测试层中的各个测试桶进行在线测试。

步骤206、收集各个策略测试层中测试桶的测试结果进行比较，获取各个策略测试层中最优的策略。

本实施例所述的策略在线测试的方法针对每个需要测试的策略设置一个独立的策略层进行测试，当存在较多待测试策略时，按照分层的形式利用总体流量针对各个策略独立进行测试，避免了因为进行较多的实验引起流量分配过细降低实验可信度的问题，保证了在对各个策略进行测试时的准确性。同时，还针对各个测试层设置了流量分配的计算方式，保证了策略在线测试的准确、高效地进行。

实施例3

如图8A及8B所示，示出了发明中一个策略在线测试的方法的可选实施例，在本实施例中，采用cookie作为流量标识，在专门为中小广告主打造的自助式广告投放系统中，算法团队负责系统中的算法设计与优化。现在算法团队同时有两个实验需要在线检验策略效果：策略1(IdeaSelect)的测试是素材选择策略的实验，广告主设定的一次广告投放往往包含1到3个素材，每次投放只能从这多只素材里选择出一只进行投放，之前是随机选择策略，每只素材被选择到的机会均等。现在想加入新的策略2(Bid)：根据算法对素材预估的点击率大小进行素材选择，优先地选择预估点击率大的素材，新策略期望得到更好的投放效果。第二个是出价策略实验，之前是按策略1来进行出价的，现在想加入新策略2来进行对比实验，故设计两层实验架构，如图8A所示，该素材选择策略与出价策略两层测试实验的配置如下：

设置第一层为素材选择策略的测试层，在第一层中分为测试桶A1、A2及A3三个策略测试桶，其流量分配分别为30％、30％和40％，则测试流量到达第一测试层时，分别按照30％、30％和40％的比例流经测试桶A1、A2及A3三个策略测试桶中进行测试。

第二层设置为出价策略的测试层，在第二层中分为测试桶B1、B2及B3三个策略测试桶，其流量分配分别为40％、40％和20％，则在所述第一层测试桶A1、A2及A3三个测试桶中测试完的流量又分别按照40％、40％和20％的比例流经测试桶B1、B2及B3三个策略测试桶进行测试。

将上述两个测试层的测试结果分别输出以反应出该流量对素材选择策略及出价策略各自的测试效果。

其中，测试桶A1、A2分别用于策略1中新策略与原有策略的测试，而经过测试桶A1和A2后剩余的测试流量流经默认的测试桶A3；测试桶B1、B2分别用于策略2中新策略与原有策略的测试，而经过测试桶B1和B2后剩余的测试流量流经默认的测试桶B3。

在上述策略1和策略2的测试基础上，增加一个策略3(Button)测试层：用于按钮外观设计策略的测试，如图8B所示，该素材选择策略、出价策略及按钮外观设计策略三层测试实验的配置如下：

第三层设置为按钮外观设计策略的测试层，在第三层中分为测试桶C1、C2及C3三个策略测试桶，其流量分配分别为20％、20％和60％，则在所述第二层测试桶B1、B2及B3三个测试桶中测试完的流量又分别按照20％、20％和60％的比例流经测试桶C1、C2及C3三个策略测试桶进行测试。

其中，在策略3(Button)测试层中，测试桶C1、C2分别用于策略3中新策略与原有策略的测试，而经过测试桶C1和C2后剩余的测试流量流经默认的测试桶C3。

将上述三个测试层的测试结果分别输出以反应出该流量对素材选择策略、出价策略及按钮外观设计策略各自的测试效果。

实施例4

如图9所示，示出了发明中一个策略在线测试的系统的可选实施例，用于实现上述实施例中所述的方法，其技术方案本质上与上述实施例一致。上述附图所示实施例中相应的描述，同样适用于本实施例当中。

本实施例中，所述导航路测的系统包括：接收模块301、测试层建立模块302、测试模块303及处理模块304，其中：

所述接收模块301，用于接收策略在线测试请求；

所述测试层建立模块302，用于按照预先设定的顺序建立各个策略的测试层，并分配各个策略测试层中测试桶的流量比例；

所述测试模块303，用于将测试流量依次通过各个策略测试层，并按照各个策略测试层中测试桶的流量比例分配到相应的测试桶中进行在线测试；

所述处理模块304，用于收集各个策略测试层中测试桶的测试结果进行比较，获取各个策略测试层中最优的策略。

作为一种可选的实施方式，所述测试层建立模块302包括：测试层建立单元321及测试层增加单元322，其中，

所述测试层建立单元321，用于按照预先设定的顺序建立各个策略的测试层，并分配各个策略测试层中测试桶的流量比例；

所述测试层增加单元322，用于当有新的策略需要进行测试时，在已有策略层基础上增加新策略的测试层，并按照预先设定分新增加策略测试层中测试桶的流量比例。

作为一种可选的实施方式，所述测试模块303包括：测试单元331，其中，

所述测试单元331，用于将上一层策略测试层中各个测试桶中测试完的测试流量分别按下一层策略测试层中各个测试桶中的流量比例通过所述下一层策略测试层中的各个测试桶进行在线测试。

作为一种可选的实施方式，所述测试模块303，还包括：计算单元332，其中，

所述计算单元332，用于在所述测试流量流经各个策略的测试层之前，计算所述测试流量的哈希值；

所述测试单元331，还用于根据所述哈希值及该策略测试层的流量比例将所述测试流量分配至该测试层的相应测试桶中进行在线测试。

作为一种可选的实施方式，所述计算单元332，还用于利用每层的名称标识及流量标识作为计算所述哈希值的种子。

作为一种可选的实施方式，所述计算单元332，还用于采用MD5算法计算所述测试流量的哈希值。

需要指出的是，上述的策略在线测试的系统可设置于服务器中，用于进行策略的在线测试。

在本实施例中，所述的策略在线测试的系统针对每个需要测试的策略设置一个独立的策略层进行测试，当存在较多待测试策略时，按照分层的形式利用总体流量针对各个策略独立进行测试，且设置了流量分配的随机计算方式，避免了因为进行较多的实验引起流量分配过细降低实验可信度的问题，保证了在对各个策略进行测试时的准确性。

通过以上各个实施例可知，本发明所述的服务器、策略在线测试的方法及系统存在的有益效果是：

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

上述说明示出并描述了本发明的若干可选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.一种策略在线测试的方法，其特征在于，包括：

接收策略在线测试请求；

2.根据权利要求1所述的策略在线测试的方法，其特征在于，所述按照预先设定的顺序建立各个策略的测试层，并分配各个策略测试层中测试桶的流量比例，包括：

3.根据权利要求1或2所述的策略在线测试的方法，其特征在于，测试流量依次通过各个策略测试层，并按照各个策略测试层中测试桶的流量比例分配到相应的测试桶中进行在线测试，包括：

4.根据权利要求1或2所述的策略在线测试的方法，其特征在于，在所述测试流量流经各个策略的测试层之前，计算所述测试流量的哈希值，并根据所述哈希值及该策略测试层的流量比例将所述测试流量分配至该测试层的相应测试桶中进行在线测试。

5.根据权利要求4所述的策略在线测试的方法，其特征在于，计算所述测试流量的哈希值，包括：

利用每层的名称标识及流量标识作为计算所述哈希值的种子。

6.根据权利要求4所述的策略在线测试的方法，其特征在于，采用MD5算法计算所述测试流量的哈希值。

7.一种策略在线测试的系统，其特征在于，包括：接收模块、测试层建立模块、测试模块及处理模块，其中，

所述接收模块，用于接收策略在线测试请求；

8.根据权利要求7所述的策略在线测试的系统，其特征在于，所述测试层建立模块，包括：测试层建立单元及测试层增加单元，其中，

9.根据权利要求6或7所述的策略在线测试的系统，其特征在于，所述测试模块，包括：测试单元，其中，

10.根据权利要求6或7所述的策略在线测试的系统，其特征在于，所述测试模块，还包括：计算单元，其中，

11.根据权利要求10所述的策略在线测试的系统，其特征在于，所述计算单元，用于利用每层的名称标识及流量标识作为计算所述哈希值的种子。

12.根据权利要求10所述的策略在线测试的系统，其特征在于，所述计算单元，用于采用MD5算法计算所述测试流量的哈希值。

13.一种服务器，其特征在于，设置有权利要求7至12任一项所述的策略在线测试的系统。