CN110290024A - 策略上线前测试方法、装置及设备 - Google Patents

Abstract

本发明提供一种策略上线前测试方法、装置及设备。该方法包括：确定满足预设流量比例的第一实验策略和第二实验策略。确定满足预设流量比例的第一待测流量和第二待测流量，其中，第二待测流量中包括与第一待测流量相同流量分布且相同流量大小的第三待测流量。按照第一实验策略，对第一待测流量进行实验，获得第一待测流量对应的第一实验结果。按照第二实验策略，对第二待测流量进行实验，获得第三待测流量对应的第二实验结果。若第一实验结果优于第二实验结果，则将第二实验策略替换为第一实验策略；若第二实验结果优于第一实验结果，则将第一实验策略替换为第二实验策略。从而解决了传统技术中代码冗余和重复的问题，降低了开发和维护成本。

Description

策略上线前测试方法、装置及设备

技术领域

本发明涉及测试技术领域，尤其涉及一种策略上线前测试方法、装置及设备。

背景技术

ABTest已逐渐成为优化应用程序中的页面或者网页的主流方法，可用于增加转化率、注册等网页指标。

ABTest本质上是个分离式组间实验，即同一产品使用两个策略应用在不同的用户群体，如让一部分用户使用A策略，另一部分用户使用B策略。然后，通过日志记录各个用户群体的使用情况，并通过如点击率、转化率等相关指标，得出A策略和B策略中的哪个策略会更符合预期设计目标，并最终将用户流量全部切换至符合预期设计目标策略。

在传统ABTest小流量测试过程中，例如，测试系统先建立一个新的a页面，该a页面可能在标题字体、背景颜色、布局设置或者措辞等方面与旧的b页面有所不同。然后，测试系统将a页面和b页面以随机方式同时推送给所有浏览用户，此时两个策略均上线一次。接着，测试系统统计通过a页面到达网址内页的用户占比，以及通过b页面到达网址内页的用户占比。

若通过a页面到达网址内页的用户占比大于通过b页面到达网址内页的用户占比，则说明a页面得到了用户的喜欢，进而，测试系统将a页面推送给所有浏览用户，此时新策略再上线一次。

若通过a页面到达网址内页的用户占比小于通过b页面到达网址内页的用户占比，则说明a页面未得到用户的喜欢，进而，测试系统将b页面推送给所有浏览用户，此时默认旧策略。

然而，传统ABtest小流量测试过程中，不仅多个策略的软件代码会共存，导致测试系统中存在冗余代码，且多个策略需要多次上线，增加了策略开发和上线的成本。

发明内容

本发明提供一种策略上线前测试方法、装置及设备，以解决传统技术中不同策略存在软件代码冗余而占用过多空间以及需要策略多次上线而增加成本的问题。

第一方面，本发明提供一种策略上线前测试方法，包括：

确定满足预设流量比例的第一实验策略和第二实验策略；

确定满足所述预设流量比例的第一待测流量和第二待测流量，其中，所述第二待测流量中包括与所述第一待测流量相同流量分布且相同流量大小的第三待测流量；

按照所述第一实验策略，对所述第一待测流量进行实验，获得所述第一待测流量对应的第一实验结果；

按照所述第二实验策略，对所述第二待测流量进行实验，获得所述第三待测流量对应的第二实验结果；

若所述第一实验结果优于所述第二实验结果，则将所述第二实验策略替换为所述第一实验策略；若所述第二实验结果优于所述第一实验结果，则将所述第一实验策略替换为所述第二实验策略。

可选地，所述第一实验策略和所述第二实验策略处于相同的存储空间。

可选地，所述确定满足所述预设流量比例的第一待测流量和第二待测流量，包括：

按照所述预设流量比例，将待测用户总流量划分为所述第一待测流量和所述第二待测流量。

可选地，所述预设流量比例为根据业务类型确定的。

可选地，还包括：

将第一标识添加至所述第一待测流量中；

获得所述第一待测流量对应的第一实验结果，包括：

获得携带有所述第一标识的第一实验结果。

可选地，还包括：

将第二标识添加至所述第三待测流量中；

获得所述第三待测流量对应的第二实验结果，包括：

获得携带有所述第二标识的第二实验结果。

可选地，所述按照所述第一实验策略，对所述第一待测流量进行实验，获得所述第一待测流量对应的第一实验结果，包括：

按照所述第一实验策略，对所述第一待测流量进行实验，经过预设时长后，获得所述第一实验结果；

所述按照所述第二实验策略，对所述第二待测流量进行实验，获得所述第三待测流量对应的第二实验结果，包括：

按照所述第二实验策略，对所述第二待测流量进行实验，经过所述预设时长后，获得所述第二实验结果。

第二方面，本发明提供一种策略上线前测试装置，包括：

第一确定模块，用于确定满足预设流量比例的第一实验策略和第二实验策略；

第二确定模块，用于确定满足所述预设流量比例的第一待测流量和第二待测流量，其中，所述第二待测流量中包括与所述第一待测流量相同流量分布且相同流量大小的第三待测流量；

第一实验模块，用于按照所述第一实验策略，对所述第一待测流量进行实验；

获取模块，用于获得所述第一待测流量对应的第一实验结果；

第二实验模块，用于按照所述第二实验策略，对所述第二待测流量进行实验；

所述获取模块，还用于获得所述第三待测流量对应的第二实验结果；

判断模块，用于判断所述第一实验结果是否优于所述第二实验结果；

替换模块，用于在所述判断模块判断所述第一实验结果优于所述第二实验结果时，将所述第二实验策略替换为所述第一实验策略；在所述判断模块判断所述第二实验结果优于所述第一实验结果时，将所述第一实验策略替换为所述第二实验策略。

可选地，所述第一实验策略和所述第二实验策略处于相同的存储空间。

可选地，所述第二确定模块，具体用于按照所述预设流量比例，将待测用户总流量划分为所述第一待测流量和所述第二待测流量。

可选地，所述预设流量比例为根据业务类型确定的。

可选地，所述策略上线前测试装置还包括：

添加模块，用于将第一标识添加至所述第一待测流量中；

所述获取模块，具体用于获得携带有所述第一标识的第一实验结果。

可选地，所述添加模块，还用于将第二标识添加至所述第三待测流量中；

所述获取模块，具体用于获得携带有所述第二标识的第二实验结果。

可选地，所述获取模块，还具体用于经过预设时长后，获得所述第一实验结果以及所述第二实验结果。

上述第二方面以及上述第二方面的各可能的设计中所提供的策略上线前测试装置，其有益效果可以参见上述第一方面和第一方面的各可能的实施方式所带来的有益效果，在此不再赘述。

第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面和第一方面的各可能的实施方式所述的策略上线前测试方法。

第四方面，本发明提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面和第一方面的各可能的实施方式所述的策略上线前测试方法。

本发明提供的策略上线前测试方法、装置及设备，通过确定满足预设流量比例的第一实验策略和第二实验策略，以及确定满足预设流量比例的第一待测流量和第二待测流量。其中，第二待测流量中包括与第一待测流量相同流量分布且相同流量大小的第三待测流量。这样，按照第一实验策略，可以对第一待测流量进行实验。按照第二实验策略可以对第二待测流量进行实验。为了便于比较第一实验策略和第二实验策略的效果，从全部实验结果中，获得第一待测流量对应的第一实验结果，以及获得第三待测流量对应的第二实验结果。进而，当第一实验结果优于第二实验结果时，可以将第二实验策略替换为第一实验策略。当第二实验结果优于第一实验结果时，可以将第一实验策略替换为第二实验策略。本发明中，通过逻辑划分不同策略的软件代码，不仅解决了传统技术中不同策略存在软件代码冗余的问题，节省了存储空间，由于一份代码中保留一个策略，解决了传统技术中不同策略存在软件代码重复的问题，无需维护新旧策略，降低了维护的成本，提升了代码后续的迭代效率，且策略无需两次全流量上线，降低了策略上线的成本。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为一种策略上线前测试方法的场景示意图；

图2为本发明提供的策略上线前测试方法的场景示意图；

图3为本发明提供的策略上线前测试方法的流程图；

图4为本发明提供的策略上线前测试装置的结构示意图；

图5为本发明提供的策略上线前测试装置的结构示意图；

图6为本发明提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了测试系统在策略上线前执行的传统测试过程，如图1所示，测试系统中的待测试模块包括第一实验策略和第二实验策略，该待测试模块包括：判断模块和不同的策略模块(图1中以第一策略模块和第二策略模块进行示意)，其中，该待测试模块可以用于判断用户流量命中的策略，第一策略模块用于实现第一实验策略，第二策略模块用于实现第二实验策略。

进一步地，测试系统会将全部用户流量发送给待测试模块，由该待测试模块中的判断模块判断用户流量命中了哪个策略，该待测试模块再将对应的用户流量发送给对应的第一策略模块和第二策略模块。此时，第一实验策略和第二实验策略均上线一次。接着，第一策略模块实施对应的实验策略，得到第一实验结果，第二策略模块实施对应的实验策略，得到第二实验结果。然后，测试系统比较第一实验结果和第二实验结果，确定最终采用的策略。

例如，应用程序进行ABTest小流量实验时，传统测试系统中策略的软件代码一般设计如下：

其中，abtest_tag是测试系统中的请求参数，标识不同策略对应的预设比较的用户流量，比如，常见情况下从用户流量抽流20％作为A流量，20％作为B流量，剩余的60％不参与ABTest小流量。abtest_gflags是在测试系统中的配置文件中配置的，标识现在是否为ABTest小流量实验阶段。

整个测试过程描述如下：

首先，测试系统处于ABTest小流量阶段，此时，abtest_gflags设置为true，且发起新策略和旧策略的代码全量上线。

此时，有20％的A流量走新策略strategy1，并通过set_hit_flag设置命中流量的回传标记为1。有80％的流量走旧策略strategy2，且有20％的B流量会通过set_hit_flag设置命中流量的回传标记为2。

其次，测试系统在小流量结束后，在请求参数中已经没有abtest_tag，即既不等于A，也不等于B。

如果strategy1的效果比strategy2好，那么配置文件中的abtst_gflags设置为false，然后，测试系统再次发起全量上线。这样，100％的用户流量都会走strateg1。

如果strategy2的效果比strategy1号，那么测试系统不需要进行任何操作，即默认100％的流量都走旧策略strateg2。

然而，上述传统测试过程中，多个策略的软件代码会共存，且多个策略的实现位置不同，容易导致测试系统中存在冗余代码。多数情况下，新策略会比旧策略的效果要好，造成至少两次修改代码和两次全量上线，增加了策略开发和上线的成本。通常，在新策略上线后，测试系统仍会存在无用的遗留代码，且新策略和旧策略会存在一些重复代码，导致测试系统中的遗留代码和重复代码越来越多，过多占用测试系统的存储空间。

为了解决上述问题，本实施例提供一种策略上线前测试方法、装置、设备及存储介质，通过引入用户流量分流，将不同策略在存储空间上不进行划分且在逻辑上进行划分，方便分流后的用户流量可以实现逻辑转发，实现不同策略的实验，避免了策略冗余设计和策略多次上线的问题，大大降低了成本。

其中，本实施例的策略上线前测试方式可适用于各种测试系统中，如Web网站自动化测试系统或手机端APP测试系统，本实施例提供的策略上线前测试方法可以由服务器执行，也可以由终端设备执行，本实施例对此不做限定。

其中，终端设备(terminal device)包括但不限于移动台(MS，Mobile Station)、移动终端(Mobile Terminal)、移动电话(Mobile Telephone)、手机(handset)及便携设备(portable equipment)等，该终端设备可以经无线接入网(RAN，Radio Access Network)与一个或多个核心网进行通信，例如，终端设备可以是移动电话(或称为“蜂窝”电话)、具有无线通信功能的计算机等，终端设备还可以是带无线收发功能的电脑、虚拟现实(VirtualReality，VR)终端设备、AR终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等，且终端设备上安装的操作系统包括但不限于：IOS、Android、windows、linux、Mac OS等操作系统。在不同的网络中终端可以叫做不同的名称，例如：用户设备，移动台，用户单元，站台，蜂窝电话，个人数字助理，无线调制解调器，无线通信设备，手持设备，膝上型电脑，无绳电话，无线本地环路台、电视等。为描述方便，本实施例中简称为终端设备。

图2示出了测试系统在策略上线前执行的本实施例测试过程，如图2所示，测试系统包括虚拟转发层、逻辑子系统1和逻辑子系统2。

其中，该虚拟转发层是一个通用的服务模块，便于后续的所有策略实验的使用。该虚拟转发层可以用于接收并分配用户总流量，并向逻辑子系统1和逻辑子系统2分发部分用户总流量。

为了便于说明，以测试系统中包括第一实验策略和第二实验策略为例。其中，逻辑子系统1可以用于执行第一实验策略，逻辑子系统2可以用于执行第二实验策略，且逻辑子系统1和逻辑子系统2在物理部署上并不需要任何处理，仅仅是逻辑划分的概念，例如可以使用BNS/DNS进行划分。这样，第一实验策略和第二实验策略处于相同的存储空间，且处于不同的逻辑划分，从而测试系统无需存储冗余软件代码，节省了空间。

下面，以图2所示的测试系统作为执行主体，通过具体实施例，对本实施例的策略上线前测试方法的具体实现过程进行详细说明。

图3为本发明提供的策略上线前测试方法的流程图，如图3所示，本实施例的策略上线前测试方法可以包括：

S101、确定满足预设流量比例的第一实验策略和第二实验策略。

结合图2，测试系统中的虚拟转发层在进行ABTest测试过程之前，可以根据实际情况，并结合具体经验，对预设流量比例进行事先设置。进而，测试系统中的虚拟转发层可以根据该预设流量比例，在逻辑上对第一实验策略和第二实验策略进行调配。这样，第一实验策略和第二实验策略各自对应的用户流量满足该预设流量比例，使得用户流量可以定向依据第一实验策略或者第二实验策略进行实验。

其中，本实施例对预设流量比例的设置不做限定。可选地，测试系统中的虚拟转发层可以根据业务类型确定该预设流量比例，也可以根据实际的用户总流量确定该预设流量比例。

例如，该预设流量比例为1：4，则20％的用户流量定向依据第一实验策略进行实验，80％的用户流量定向依据第二实验策略进行实验。

S102、确定满足预设流量比例的第一待测流量和第二待测流量，其中，第二待测流量中包括与第一待测流量相同流量分布且相同流量大小的第三待测流量。

结合图2，测试系统中的虚拟转发层可以根据该预设流量比例，分配第一实验策略和第二实验策略各自对应的用户流量。其中，第一实验策略对应的第一待测流量，第二实验策略对应的第二待测流量，且第一待测流量和第二待测流量满足该预设流量比例。

为了便于比较不同策略的效果，结合图2，测试系统中的虚拟转发层还可以在第二待测流量中确定第三待测流量。其中，该第三待测流量与第一待测流量的流量大小相同。例如，20％的用户流量为第一待测流量，80％的用户流量为第二待测流量，则80％的用户流量中，有20％的用户流量为第三待测流量，有60％的用户流量为除第三待测流量之外的剩余待测流量，这两部待测流量共同组成第二待测流量。

并且，无论是针对每个点的精确需求，还是针对某个类型的范需求，该第三待测流量与第一待测流量需要保持一致，即该第三待测流量与第一待测流量的流量分布相同。

S103、按照第一实验策略，对第一待测流量进行实验，获得第一待测流量对应的第一实验结果。

S104、按照第二实验策略，对第二待测流量进行实验，获得第三待测流量对应的第二实验结果。

结合图2，测试系统中的虚拟转发层可以将第一待测流量分发给逻辑子系统1，可以将第二待测流量分发给逻辑子系统2。这样，逻辑子系统1可以按照第一实验策略，对第一待测流量进行实验。逻辑子系统2可以按照第二实验策略，对第二待测流量进行实验。

在实验结束后，为了便于比较实验结果，测试系统可以从全部实验结果中，获得第一待测流量对应的第一实验结果以及第三待测流量对应的第二实验结果。其中，实验结果可以包括但不限于为点击率或者转化率等与用户的使用情况相关的指标。

需要说明的是，上述S103和S104之间没有时序上的先后顺序，且S103和S104可以同时执行，也可以顺序执行。

S105、判断第一实验结果是否优于第二实验结果。

本实施例中，测试系统可以比较第一实验结果和第二实验结果，并根据判断结果，确定是上线第一实验策略还是第二实验策略。进而，在第一实验结果优于第二实验结果时，执行步骤S1061；在第二实验结果优于第一实验结果时，执行步骤S1062。

S1061、将第二实验策略替换为第一实验策略。

当第一实验结果优于第二实验结果时，说明第一实验策略的效果优于第二实验策略的效果，第一实验策略更加符合用户的使用情况，且第一实验策略更为用户所喜欢，因此，测试系统可以将第二实验策略替换成第一实验策略。

S1062、将第一实验策略替换为第二实验策略。

当第二实验结果优于第一实验结果时，说明第二实验策略的效果优于第一实验策略的效果，第二实验策略更加符合用户的使用情况，且第二实验策略更为用户所喜欢，因此，测试系统可以将第一实验策略替换成第二实验策略。

例如，第一实验策略为新策略，第二实验策略为旧策略。如果新策略的效果比旧策略的效果好，则测试系统继续在逻辑子系统2的所有设备上上线新策略，完成全流量的转换过程。此时，测试系统不再需要保留旧策略，也不再需要如传统技术中设置的abtest_gflags等标记，也无需一些复杂的判断逻辑等。如果新策略的效果比旧策略的效果差，则测试系统只需要将之前上线逻辑子系统1的设备上上线的新策略回滚到旧版本。

另外，新策略的代码开发阶段，测试系统无需在代码中同时保留新策略和旧策略，只需要在新策略的代码分支中只保留新策略的代码即可。

假设共有100台机器，且新策略比旧策略的效果好，则在本实施例的ABTest小流量测试过程中，测试系统中的虚拟转发层确定预设流量比例为1：4，则逻辑子系统1的20台机器上线新策略，逻辑子系统2的80台机器上线旧策略。确定新策略全流量上线后，有80台机器需要上线新策略，共180台机器上线策略。而在传统ABTest小流量测试过程中，100台机器既要上线新策略又要上线旧策略。确定新策略全流量上线后，旧策略还需上线100台机器，共有300台机器上线策略。

由于策略上线需要重启机器中的服务，且重启服务是有损耗的，易导致重启过程中服务的可用性降低，请求得不到响应，造成用户损失。且每次策略上线耗时较长，导致研发人员、测试人员以及运维人员等人力成本增加。基于上述描述，相较于传统技术而言，本实施例的测试方法策略上线次数小，提高了机器中服务器质量，保障用户的使用感，减少了各种人力成本。

本实施例提供的策略上线前测试方法，通过确定满足预设流量比例的第一实验策略和第二实验策略，以及确定满足预设流量比例的第一待测流量和第二待测流量。其中，第二待测流量中包括与第一待测流量相同流量分布且相同流量大小的第三待测流量。这样，按照第一实验策略，可以对第一待测流量进行实验。按照第二实验策略可以对第二待测流量进行实验。为了便于比较第一实验策略和第二实验策略的效果，从全部实验结果中，获得第一待测流量对应的第一实验结果，以及获得第三待测流量对应的第二实验结果。进而，当第一实验结果优于第二实验结果时，可以将第二实验策略替换为第一实验策略。当第二实验结果优于第一实验结果时，可以将第一实验策略替换为第二实验策略。本实施例中，通过逻辑划分不同策略的软件代码，不仅解决了传统技术中不同策略存在软件代码冗余的问题，节省了存储空间，由于一份代码中保留一个策略，解决了传统技术中不同策略存在软件代码重复的问题，无需维护新旧策略，降低了维护的成本，提升了代码后续的迭代效率，且策略无需两次全流量上线，降低了策略上线的成本。

在上述图3实施例的基础上，在S102之前，结合图2，测试系统中的虚拟转发层还可以从存储设备(如终端中的应用程序或者网页，或者存储有用户总流量的数据库设备)中获取待测用户总流量。

为了重复利用用户流量，该虚拟转发层可以按照预设流量比例，将待测用户总流量划分为第一待测流量和第二待测流量。另外，该虚拟转发层也可以选用待测用户总流量的部分，确定满足预设流量比例的第一待测流量和第二待测流量。

在上述图3实施例的基础上，为了便于准确确定第一实验结果，结合图2，测试系统中的虚拟转发层可以将第一标识添加至第一待测流量中，这样，对第一待测流量进行实验后的实验结果便可以携带有第一标识，进而，测试系统可以从全部实验结果中获取携带有第一标识的实验结果作为第一实验结果。

其中，第一标识可以采用第一用户流量中的用户名称或者用户ID等形式，也可以采用数字、字母或者二进制数等形式，本实施例对此不做限定。

在上述图3实施例的基础上，为了便于准确确定第二实验结果，结合图2，测试系统中的虚拟转发层可以将第二标识添加至第二待测流量中，这样，对第二待测流量进行实验后的实验结果便可以携带有第二标识，进而，测试系统可以从全部实验结果中获取携带有第二标识的实验结果作为第二实验结果。

其中，第二标识可以采样第二用户流量中的用户名称或者用户ID等形式，也可以采用数字、字母或者二进制数等形式，本实施例对此不做限定。

考虑到第一待测流量的实际数据量较大等问题，测试系统可以按照第一实验策略，对第一待测流量进行实验，经过预设时长后，获得第一实验结果，便于实验可以结束充分，有利于提高实验的准确度以及比较的精准度。

考虑到第二待测流量的实际数据量较大等问题，测试系统可以按照第二实验策略，对第二待测流量进行实验，经过预设时长后，获得第二实验结果，便于实验可以结束充分，有利于提高实验的准确度以及比较的精准度。

图4为本发明提供的策略上线前测试装置的结构示意图，如图4所示，本实施例的策略上线前测试装置10包括：

第一确定模块11，用于确定满足预设流量比例的第一实验策略和第二实验策略；

第二确定模块12，用于确定满足预设流量比例的第一待测流量和第二待测流量，其中，第二待测流量中包括与第一待测流量相同流量分布且相同流量大小的第三待测流量；

第一实验模块13，用于按照第一实验策略，对第一待测流量进行实验；

获取模块14，用于获得第一待测流量对应的第一实验结果；

第二实验模块15，用于按照第二实验策略，对第二待测流量进行实验；

获取模块14，还用于获得第三待测流量对应的第二实验结果；

判断模块16，用于判断第一实验结果是否优于第二实验结果；

替换模块17，用于在判断模块16判断第一实验结果优于第二实验结果时，将第二实验策略替换为第一实验策略；在判断模块16判断第二实验结果优于第一实验结果时，将第一实验策略替换为第二实验策略。

可选地，第一实验策略和第二实验策略处于相同的存储空间。

可选地，第二确定模块12，具体用于按照预设流量比例，将待测用户总流量划分为第一待测流量和第二待测流量。

可选地，预设流量比例为根据业务类型确定的。

图5为本发明提供的策略上线前测试装置的结构示意图，如图5所示，本实施例的策略上线前测试装置10在图4所示装置结构的基础上，还包括：

添加模块18，用于将第一标识添加至第一待测流量中；

获取模块14，具体用于获得携带有第一标识的第一实验结果。

可选地，添加模块18，还用于将第二标识添加至第三待测流量中；

获取模块14，具体用于获得携带有第二标识的第二实验结果。

可选地，获取模块14，还具体用于经过预设时长后，获得第一实验结果以及第二实验结果。

本发明实施例提供的策略上线前测试装置，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。

本发明中可以根据上述方法示例对策略上线前测试装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明各实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图6为本发明提供的电子设备的硬件结构示意图。如图6所示，该电子设备20，用于实现上述任一方法实施例中对应于服务器或终端设备的操作，本实施例的电子设备20可以包括：存储器21和处理器22；

存储器21，用于存储计算机程序；

处理器22，用于执行存储器存储的计算机程序，以实现上述实施例中的策略上线前测试方法。具体可以参见前述方法实施例中的相关描述。

可选地，存储器21既可以是独立的，也可以跟处理器22集成在一起。

当存储器21是独立于处理器22之外的器件时，电子设备20还可以包括：

总线23，用于连接存储器21和处理器52。

可选地，本实施例还包括：通信接口24，该通信接口24可以通过总线23与处理器22连接。处理器22可以控制通信接口23来实现电子设备20的上述的接收和发送的功能。

本实施例提供的电子设备可用于执行上述的策略上线前测试方法，其实现方式和技术效果类似，本实施例此处不再赘述。

本发明还提供一种计算机可读存储介质，计算机可读存储介质包括计算机程序，计算机程序用于实现如上实施例中的策略上线前测试方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种策略上线前测试方法，其特征在于，包括：

确定满足预设流量比例的第一实验策略和第二实验策略；

确定满足所述预设流量比例的第一待测流量和第二待测流量，其中，所述第二待测流量中包括与所述第一待测流量相同流量分布且相同流量大小的第三待测流量；

按照所述第一实验策略，对所述第一待测流量进行实验，获得所述第一待测流量对应的第一实验结果；

按照所述第二实验策略，对所述第二待测流量进行实验，获得所述第三待测流量对应的第二实验结果；

若所述第一实验结果优于所述第二实验结果，则将所述第二实验策略替换为所述第一实验策略；若所述第二实验结果优于所述第一实验结果，则将所述第一实验策略替换为所述第二实验策略。

2.根据权利要求1所述的方法，其特征在于，所述第一实验策略和所述第二实验策略处于相同的存储空间。

3.根据权利要求1或2所述的方法，其特征在于，所述确定满足所述预设流量比例的第一待测流量和第二待测流量，包括：

按照所述预设流量比例，将待测用户总流量划分为所述第一待测流量和所述第二待测流量。

4.根据权利要求3所述的方法，其特征在于，所述预设流量比例为根据业务类型确定的。

5.根据权利要求1或2所述的方法，其特征在于，还包括：

将第一标识添加至所述第一待测流量中；

获得所述第一待测流量对应的第一实验结果，包括：

获得携带有所述第一标识的第一实验结果。

6.根据权利要求1或2所述的方法，其特征在于，还包括：

将第二标识添加至所述第三待测流量中；

获得所述第三待测流量对应的第二实验结果，包括：

获得携带有所述第二标识的第二实验结果。

7.根据权利要求1或2所述的方法，其特征在于，所述按照所述第一实验策略，对所述第一待测流量进行实验，获得所述第一待测流量对应的第一实验结果，包括：

按照所述第一实验策略，对所述第一待测流量进行实验，经过预设时长后，获得所述第一实验结果；

所述按照所述第二实验策略，对所述第二待测流量进行实验，获得所述第三待测流量对应的第二实验结果，包括：

按照所述第二实验策略，对所述第二待测流量进行实验，经过所述预设时长后，获得所述第二实验结果。

8.一种策略上线前测试装置，其特征在于，包括：

第一确定模块，用于确定满足预设流量比例的第一实验策略和第二实验策略；

第二确定模块，用于确定满足所述预设流量比例的第一待测流量和第二待测流量，其中，所述第二待测流量中包括与所述第一待测流量相同流量分布且相同流量大小的第三待测流量；

第一实验模块，用于按照所述第一实验策略，对所述第一待测流量进行实验；

获取模块，用于获得所述第一待测流量对应的第一实验结果；

第二实验模块，用于按照所述第二实验策略，对所述第二待测流量进行实验；

所述获取模块，还用于获得所述第三待测流量对应的第二实验结果；

判断模块，用于判断所述第一实验结果是否优于所述第二实验结果；

替换模块，用于在所述判断模块判断所述第一实验结果优于所述第二实验结果时，将所述第二实验策略替换为所述第一实验策略；在所述判断模块判断所述第二实验结果优于所述第一实验结果时，将所述第一实验策略替换为所述第二实验策略。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的策略上线前测试方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的策略上线前测试方法。