CN109739757A - 一种ab测试方法及装置 - Google Patents

Abstract

本发明实施例公开了一种AB测试方法及装置，该方法包括对多个试验层中的每个试验层执行试验策略确定步骤，以确定每个请求流量在每个试验层中的目标试验策略，多个试验层中的每个试验层均包括基准试验和待测试验，试验策略确定步骤包括：响应于至少一个用户在目标应用内的触发请求，获取至少一个用户的请求流量；确定至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验并将第i个请求流量分流至目标试验；将目标试验中的试验策略确定为第i个请求流量在试验层中对应的目标试验策略，i＝1,…N，N为至少一个用户的请求流量的数量。本发明实施例解决现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

Description

一种AB测试方法及装置

技术领域

本发明实施例涉及AB测试领域，尤其涉及一种AB测试方法及装置。

背景技术

一般，AB测试是应用设计中用于区分两种设计对收益最大化目标(如点击率等)效果支撑程度的一种试验手段，主要用于比较两种设计的优劣程度。现有的AB测试方法通常是通过同时发布两个或多个版本的应用后收集相关使用数据，再进行人工对比分析。

但是，这种方法很大程度上依赖于开发人员的经验，往往会背离用户的真正喜好，并且，由于产品的优化迭代周期一般比较长，但是现有的测试方法并不能够同时进行多个试验，从而不适于广泛的产品优化推广。

发明内容

本发明实施例提供一种AB测试方法及装置，以解决现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

为解决上述技术问题，本发明是这样实现的：

第一方面，提供了一种AB测试方法，其包括：

对多个试验层中的每个试验层执行试验策略确定步骤，以确定每个请求流量在每个试验层中的目标试验策略，其中，所述多个试验层在目标应用内创建，所述多个试验层中的每个试验层均包括基准试验和待测试验，所述试验策略确定步骤包括：

响应于至少一个用户在所述目标应用内的触发请求，获取所述至少一个用户的请求流量；

确定所述至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将所述第i个请求流量分流至所述目标试验；所述目标试验为所述试验层中包括的基准试验和待测试验中的一个；

将所述目标试验中的试验策略，确定为所述第i个请求流量在所述试验层中对应的目标试验策略，i＝1,…N，N为所述至少一个用户的请求流量的数量。

第二方面，还提供一种AB测试装置，其包括：

控制单元和执行策略确定单元，所述控制单元用于控制所述执行策略确定单元对多个试验层中的每个试验层执行试验策略确定步骤，以确定每个请求流量在每个试验层中的目标试验策略，其中，所述多个试验层在目标应用内创建，所述多个试验层中的每个试验层均包括基准试验和待测试验；其中，所述执行策略确定单元包括：

获取单元，用于响应于至少一个用户在所述目标应用内的触发请求，获取所述至少一个用户的请求流量；

分流单元，用于确定所述至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将所述第i个请求流量分流至所述目标试验，所述目标试验为所述试验层中包括的基准试验和待测试验中的一个；

目标试验策略确定单元，用于将所述目标试验中的试验策略，确定为所述第i个请求流量在所述试验层中对应的目标试验策略，i＝1,…N，N为所述至少一个用户的请求流量的数量。

第三方面，提供了一种电子设备，其包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方法的步骤。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

在本发明实施例中，AB测试方法通过对每个试验层执行试验策略确定步骤，确定至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将第i个请求流量分流至目标试验，以将目标试验中的试验策略确定为第i个请求流量在试验层中对应的目标试验策略，从而确定出每个请求流量在每个试验层中的目标实验策略。如此，本发明实施例的方法通过同时在每个试验层中对至少一个用户的每个请求流量进行划分(即将每个请求流量分流至对应的目标试验中)，且不同试验层之间的请求流量的分流互不影响，以确定出每个请求流量对应的目标试验策略，从而可以提高AB测试的速度，以加快产品策略的迭代速度，以解决现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明实施例的一部分，本发明实施例的示意性实施例及其说明用于解释本发明实施例，并不构成对本发明实施例的不当限定。在附图中：

图1是根据本发明的一个实施例的AB测试方法的示意性流程图；

图2是根据本发明的一个实施例的AB测试方法的示意性原理图；

图3是根据本发明的另一个实施例的AB测试方法的示意性流程图；

图4是根据本发明的再一个实施例的AB测试方法的示意性流程图；

图5是根据本发明的再一个实施例的AB测试方法的示意性流程图；

图6是根据本发明的一个具体实施例的AB测试方法的示意性流程图；

图7是根据本发明的另一个具体实施例的AB测试方法的示意性流程图；

图8是根据本发明的一个实施例的AB测试装置的示意性结构图；

图9是根据本发明的一个实施例的AB测试系统的示意性结构框图；

图10是根据本发明的一个实施例的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例具体实施例及相应的附图对本发明实施例技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

一般，现有的AB测试方法通常是通过同时发布两个或多个版本的应用后收集相关使用数据，再进行人工对比分析。这种方法很大程度上依赖于开发人员的经验，往往会背离用户的真正喜好，并且，每次进行试验都需要事先在应用内部配置好相应的试验参数才可进行试验。此外，由于产品的优化迭代周期一般比较长，但是现有的测试方法并不能够同时进行多个试验，从而不适于广泛的产品优化推广。

为解决上述技术问题，本发明实施例提出一种AB测试方法，可应用于终端设备的某一应用内，下面先对本发明实施例提供的一种AB测试方法进行说明。

需要说明的是，实施本发明实施例提供的一种AB测试方法及装置的执行主体，可以是执行该方法的客户端对应的服务器，具体可以是确定信息受众的客户端的服务器上的一个信息推送平台，例如，微博客户端的服务器上的广告推送平台。本发明实施例对实施上述方法及装置的具体实施主体不做限定。

本发明实施例的AB测试方法可包括对多个试验层中的每个试验层执行试验策略确定步骤，以确定每个请求流量在每个试验层中的目标试验策略，其中，多个试验层在目标应用内创建，多个试验层中的每个试验层均包括基准试验和待测试验。以本发明实施例的测试方法测试某个具体策略为例，比如，用户在刷淘宝时，淘宝首页的背景色显示的是红色还是橙色，其中，显示红色可表示为试验A的策略，显示橙色可表示为试验B的策略。当获取触发淘宝app的请求流量后，根据执行试验策略确定步骤后，下发红色或橙色策略，app收到策略后，则执行对应的策略，并向用户进行展示。

其中，如图1所示，试验策略确定步骤包括：

步骤102.响应于至少一个用户在目标应用内的触发请求，获取至少一个用户的请求流量。

其中，一个用户可触发一个请求流量，也可触发多个请求流量。比如说，用户a在一天内只刷过一次微博，则在一天内可记为用户a在微博中触发了一个请求流量。又比如说，用户a在一天内刷过n次微博，则可记为用户a触发n个请求流量。

步骤104.确定至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将第i个请求流量分流至目标试验；目标试验为试验层中包括的基准试验和待测试验中的一个。

其中，如图2所示，分层试验原理为：每个策略组(每一试验层包括的试验参数集合)单独占一个试验层，试验层包括基准试验、待测试验(试验1，试验2，试验3，剩余流量的试验)，每个试验层的待测试验的数量可不一样，分层试验模型主要是通过流量层级正交，实现流量的高度复用。其中，流量层级正交，是指位于不同试验层的多个试验之间相互独立，没有依赖关系，某一试验层的策略发生变化不会影响其他试验层的试验。而用户的请求流量会穿透每一个试验层，同时在每层都会重新进行流量划分。每一试验层均占有100％的请求流量，试验层中的子试验(基准试验、待测试验)可以指定占用的流量百分比(即对每一子试验对应的请求流量预设一流量占比范围)。如果某一试验层不能完全划分完所有请求流量，则剩下的所有请求流量被划分到该试验层的剩余流量子试验中，该剩余流量子试验的试验策略与基准试验的试验策略完全一样。

其中，确定至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，可包括：

步骤302.基于试验层的标识和第i个请求流量的标识，确定第i个请求流量的哈希值。

步骤304.根据试验层中的基准试验和待测试验对应的预设流量占比范围和第i个请求流量的哈希值，确定第i个请求流量在试验层中对应的目标试验。其中，第i个请求流量的哈希值在目标试验对应的请求流量的预设流量占比范围内。

应理解，确定每个请求流量对应的目标试验策略，可根据每个请求流量对应的哈希值确定。比如，当计算出第i个请求流量的哈希值后，可将哈希值与试验层中的基准试验和待测试验对应的预设流量占比范围进行对比(其中，通过人工指定等方式预先设定好每个试验层中的基准试验和待测试验的流量占比范围)，然后将具有该请求流量的哈希值的预设流量占比范围对应的试验确定为目标试验，从而将该请求流量分流至该目标试验中。

具体而言，当请求流量穿透每个试验层中时，需要对每一个试验层中的请求流量的哈希值进行重新计算(当请求流量穿过不同的试验层时，该请求流量的哈希值可能会不同)，然后，根据哈希值确定该请求流量会命中该试验层中的某一试验(基准试验或待测试验)。需要说明的是，当待测试验为多个时，则会命中该试验层中的某一待测试验。其中，哈希值计算的公式如下：

bucketID＝Hash(layerID,identifier)％1000

其中，layerID是试验层的标识，作为试验层之间的离散因子，以保证不同试验层之间请求流量的正交性(位于不同试验层的多个试验之间相互独立，没有依赖关系，某一试验层的策略发生变化不会影响其他试验层的试验)。identifier是请求流量的标识，可以支持多种类型，第i个请求流量的标识包括如下其中的一种：用户的标识；用户的标识加日期；随机值。即，请求流量的标识包括但不限于用户ID，用户ID加日期标识，随机值等。

其中，将用户ID作为identifier是为保证同一用户的请求可以落在一个试验中，以保证用户体验的一致性。而将用户ID加日期作为identifier是为保证同一用户在一天内的请求落在同一个试验中。将随机值作为identifier，是将每次的请求流量完全打散到各个试验中，在这种情况下，一般无法保证用户体验的一致性。

由此，计算得到的哈希值bucketID范围一般在[0，1000)区间，待测试验、基准试验以及剩余流量试验完全划分该区间，根据bucketID的值选择相应的目标试验。

譬如，在创建试验项目时，创建多个试验层，其中某一试验层包括基准试验A，待测试验B，待测试验C，并预设基准试验A对应的请求流量的流量占比范围为[0，100)，待测试验B对应的请求流量的流量占比范围为[100，400)，待测试验C对应的请求流量的流量占比范围为[400，1000)。然后，根据哈希值的计算公式确定出在该试验层中的第2个请求流量的哈希值为500，则确定第2个请求流量命中待测试验C，即确定第2个请求流量在试验层中对应的目标试验为待测试验C，并将第2个请求流量分流至待测试验C中。如此，将所有的请求流量按照该方式分别分流至与请求流量的哈希值对应的目标试验中。

步骤106.将目标试验中的试验策略，确定为第i个请求流量在试验层中对应的目标试验策略，i＝1,…N，N为至少一个用户的请求流量的数量。

由于本发明实施例的AB测试方法通过对每个试验层执行试验策略确定步骤，确定至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将第i个请求流量分流至目标试验，以将目标试验中的试验策略确定为第i个请求流量在试验层中对应的目标试验策略，从而确定出每个请求流量在每个试验层中的目标实验策略。如此，本发明实施例的方法通过同时在每个试验层中对至少一个用户的每个请求流量进行划分(即将每个请求流量分流至对应的目标试验中)，且不同试验层之间的请求流量的分流互不影响，以确定出每个请求流量对应的目标试验策略，从而可以提高AB测试的速度，以加快产品策略的迭代速度，以解决现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

需要说明的是，AB测试方法中的AB可以表示为某一试验层的不同试验，可将A表示为基准试验，B表示为待测试验，而待测试验可以为一个，也可以为多个。

在上述一个实施例中，触发请求可包括属性信息，目标试验为所述待测试验中的一个，如图4所示，本发明实施例的方法还包括：

步骤402.基于触发请求中的属性信息，确定触发请求是否满足预设条件。

其中，将目标试验中的试验策略，确定为第i个请求流量在试验层中对应的目标试验策略，包括：

步骤404.在触发请求满足预设条件的情况下，确定目标试验的试验策略为第i个请求流量在试验层中对应的目标试验策略。

显然，在触发请求未满足预设条件的情况下，说明命中的目标试验不符合测试条件，则将基准试验中的默认试验策略确定为第i个请求流量在试验层中对应的目标试验策略。

需要说明的是，在本发明实施例中，可对特定的请求流量进行试验，这种情况下需要限定某个特定的请求流量团，比如，某个年龄段的用户、某个地区的用户或者使用某种类型设备的用户。当对第i个请求流量分流后，可确定该请求流量命中的目标试验，并返回目标试验的试验策略以及基准试验的默认策略。其中，该请求流量命中的目标试验为待测试验中的一个，可根据触发请求中的属性信息确定触发请求是否满足该试验层的限定条件(预设条件)，以在满足该试验层限定条件的情况下，将确定出该请求流量最终对应的目标试验策略为目标试验的试验策略。如此，可使得本发明实施例的测试方法适用于某个特定的流量团进行试验，并可提高AB测试的速度，以加快产品策略的迭代速度，解决了现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

其中，属性信息包括如下至少一种：用户的年龄和/或性别；用户所在的地域；设备的类型信息等等。

在上述另一个实施例中，触发请求包括属性信息，如图5所示，在确定至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将第i个请求流量分流至目标试验之前，包括：

步骤502.基于触发请求中的属性信息，确定触发请求是否满足预设条件。

其中，确定至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将第i个请求流量分流至目标试验，包括：

步骤504.在触发请求满足预设条件的情况下，确定至少一个待测试验中的一个试验为第i个请求流量在试验层中对应的目标试验，以将第i个请求流量分流至目标试验。

而在触发请求未满足预设条件的情况下，说明命中的目标试验不符合测试条件，则将基准试验中的默认试验策略确定为第i个请求流量在试验层中对应的目标试验策略。

应理解，在AB测试方法中，可对特定的请求流量进行试验，这种情况下需要限定某个特定的请求流量团，比如，某个年龄段的用户、某个地区的用户或者使用某种类型设备的用户。因此，可在对第i个请求流量进行分流之前，可根据触发请求的属性信息确定该触发请求是否满足该试验层的限定条件，从而在满足条件的情况下，确定该试验层的至少一个待测试验中的试验该请求流量的目标试验，或者在不满足条件的情况下，直接确定该试验层的基准试验为该请求流量的目标试验，从而根据确定的目标试验确定该请求流量的目标试验策略。如此，可使得本发明实施例的测试方法适用于某个特定的流量团进行试验，并可提高AB测试的速度，以加快产品策略的迭代速度，解决了现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

需要说明的是，上述实施例所提供方法的各步骤的一些执行主体可以是同一设备，或者，该方法也可由不同设备作为执行主体。比如，步骤102、104的执行主体可以为同一个执行主体，而步骤102的执行主体则可以为另一执行主体；又比如，步骤102、104、102的执行主体均可以为同一个执行主体，如均可由数据处理单元进行执行处理等等。

在本发明一个具体的实施例中，如图6所示，AB测试方法的实现过程可以为：

首先，接收至少一个用户在目标应用内的触发请求，并获取至少一个用户的请求流量。其中，已建立好试验项目，该试验项目可包括多个试验层，每个试验层均包括基准试验和一个或多个待测试验。

然后，确定至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将第i个请求流量分流至目标试验，以返回该请求流量命中的目标试验的策略和基准试验的默认策略。需要说明的是，该目标试验的策略并不一定是最终所确定的请求流量对应的目标试验策略。

最后，根据触发请求中的属性信息确定该属性信息是否满足预设条件(由下游使用方根据自身已知的信息判断是否满足该试验层的限定条件)，并在满足预设条件的情况下，确定出该请求流量最终对应的目标试验策略为上步骤中由请求流量命中的目标试验的策略，并可将相应的试验信息记入日志中。反之，则确定该请求流量最终对应的目标试验策略为基准试验的默认策略，可不记录试验信息。

在本发明另一个具体的实施例中，如图7所示，AB测试方法的实现过程可以为：

首先，接收至少一个用户在目标应用内的触发请求，并获取至少一个用户的请求流量。其中，已建立好试验项目，该试验项目可包括多个试验层，每个试验层均包括基准试验和一个或多个待测试验。

其次，确定触发请求中的属性信息是否满足预设条件。需要说明的是，AB测试相同的各个使用方在请求试验策略的同时将自身已知的可能作为试验限定条件信息同时发送给系统，流量团划分发生在系统内部，由系统判断是否满足限定条件，对满足限定条件的请求流量进行哈希分流，返回试验策略并记录日志埋点；不满足限定条件的流量直接返回默认策略。

最后，在属性信息满足预设条件的情况下，确定至少一个待测试验中的一个试验为第i个请求流量在试验层中对应的目标试验，并将第i个请求流量分流至目标试验，以将该目标试验对应的策略确定为第i个请求流量的目标试验策略。在属性信息未满足预设条件的情况下，确定基准试验为第i个请求流量在试验层中对应的目标试验，并将第i个请求流量分流至目标试验，以将基准试验对应的默认策略确定为第i个请求流量的目标试验策略。

由此可见，上述两个具体实施例的方法通过同时在每个试验层中对至少一个用户的每个请求流量进行划分(即将每个请求流量分流至对应的目标试验中)，且不同试验层之间的请求流量的分流互不影响，以确定出每个请求流量对应的目标试验策略，并且，本发明实施例的测试方法不仅可以适用于某个特定的流量团进行试验，而且还可提高AB测试的速度，以加快产品策略的迭代速度，解决了现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

本发明实施例还提供一种AB测试装置，其包括：执行策略确定单元820和控制单元810，控制单元810用于控制执行策略确定单元820对多个试验层中的每个试验层执行试验策略确定步骤，以确定每个请求流量在每个试验层中的目标试验策略，其中，多个试验层中的每个试验层均包括基准试验和待测试验；其中，执行策略确定单元820包括：获取单元821，用于响应于M个用户在目标应用内的触发请求，获取M个用户的请求流量；分流单元822，用于确定M个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将第i个请求流量分流至目标试验，目标试验为试验层中包括的基准试验和待测试验中的一个；目标试验策略确定单元823，用于将第i个请求流量对应的目标试验中的试验策略，确定为第i个请求流量在试验层中对应的目标试验策略，M为大于或等于1的正整数，i＝1,…N，N为至少一个用户的请求流量的数量。

其中，分流单元822可用于基于试验层的标识和第i个请求流量的标识，确定第i个请求流量的哈希值，并根据试验层中的基准试验和待测试验对应的预设流量占比范围和第i个请求流量的哈希值，确定第i个请求流量在试验层中对应的目标试验。其中，第i个请求流量的哈希值在目标试验对应的请求流量的预设流量占比范围内。

由于本发明实施例的AB测试装置通过执行策略确定单元820对每个试验层执行试验策略确定步骤，通过分流单元822确定至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将第i个请求流量分流至目标试验，以将目标试验中的试验策略确定为第i个请求流量在试验层中对应的目标试验策略，从而确定出每个请求流量在每个试验层中的目标实验策略。如此，本发明实施例的装置通过同时在每个试验层中对至少一个用户的每个请求流量进行划分(即将每个请求流量分流至对应的目标试验中)，且不同试验层之间的请求流量的分流互不影响，以确定出每个请求流量对应的目标试验策略，从而可以提高AB测试的速度，以加快产品策略的迭代速度，以解决现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

在上述一个实施例中，触发请求可包括属性信息，目标试验可以为待测试验中的一个，AB测试装置还包括判断单元824，用于基于触发请求中的属性信息确定触发请求是否满足预设条件；目标试验策略确定单元823则用于在触发请求满足预设条件的情况下，确定目标试验的试验策略为第i个请求流量在试验层中对应的目标试验策略。

如此，本发明实施例的测试装置可适用于某个特定的流量团进行试验，并可提高AB测试的速度，以加快产品策略的迭代速度，解决了现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

在上述另一个实施例中，触发请求包括属性信息，AB测试装置还包括：判断单元824，用于基于触发请求中的属性信息确定触发请求是否满足预设条件；分流单元822用于在属性信息满足预设条件的情况下，确定多个待测试验中的一个试验为第i个请求流量在试验层中对应的目标试验，以将第i个请求流量分流至目标试验。如此，目标试验策略确定单元823则可用于将目标试验的试验策略确定为第i个请求流量在试验层中对应的目标试验策略。

如此，在AB测试装置中，可对特定的请求流量进行试验，这种情况下需要限定某个特定的请求流量团，比如，某个年龄段的用户、某个地区的用户或者使用某种类型设备的用户。因此，可在对第i个请求流量进行分流之前，可根据触发请求的属性信息确定该触发请求是否满足该试验层的限定条件，从而在满足条件的情况下，确定该试验层的至少一个待测试验中的试验该请求流量的目标试验，或者在不满足条件的情况下，直接确定该试验层的基准试验为该请求流量的目标试验，从而根据确定的目标试验确定该请求流量的目标试验策略。如此，可使得本发明实施例的测试装置适用于某个特定的流量团进行试验，并可提高AB测试的速度，以加快产品策略的迭代速度，解决了现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

如图9所示，本发明实施例还可提出一种AB测试系统，上述任一项实施例所述的方法的实现集中在流量分发中的SDK里。整个AB测试系统形成了一个封闭的回路，从请求流量入口开始，到试验策略下发，并通过实时和离线数据的计算，最后展示在试验控制中心。本发明实施例的AB测试系统提供了一个统一的流量分发入口，其中集成了AB测试SDK。另外，可支持其他使用方通过自己的流量分发模块集成SDK后作为流量分发入口。

如此，本发明实施例的AB测试系统通过同时在每个试验层中对至少一个用户的每个请求流量进行划分(即将每个请求流量分流至对应的目标试验中)，且不同试验层之间的请求流量的分流互不影响，以确定出每个请求流量对应的目标试验策略，从而可以提高AB测试的速度，以加快产品策略的迭代速度，以解决现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

图10为实现本发明实施例的电子设备的硬件结构示意图。如图10所示，该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、处理器1010、以及电源1011等部件。本领域技术人员可以理解，图10中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器1010，用于执行以下方法：

对多个试验层中的每个试验层执行试验策略确定步骤，以确定每个请求流量在每个试验层中的目标试验策略，其中，所述多个试验层在目标应用内创建，所述多个试验层中的每个试验层均包括基准试验和待测试验，所述试验策略确定步骤包括：

响应于至少一个用户在所述目标应用内的触发请求，获取所述至少一个用户的请求流量；

确定所述至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将所述第i个请求流量分流至所述目标试验；所述目标试验为所述试验层中包括的基准试验和待测试验中的一个；

将所述目标试验中的试验策略，确定为所述第i个请求流量在所述试验层中对应的目标试验策略，i＝1,…N，N为所述至少一个用户的请求流量的数量。

由于本发明实施例的AB测试方法通过对每个试验层执行试验策略确定步骤，确定至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将第i个请求流量分流至目标试验，以将目标试验中的试验策略确定为第i个请求流量在试验层中对应的目标试验策略，从而确定出每个请求流量在每个试验层中的目标实验策略。如此，本发明实施例的方法通过同时在每个试验层中对至少一个用户的每个请求流量进行划分(即将每个请求流量分流至对应的目标试验中)，且不同试验层之间的请求流量的分流互不影响，以确定出每个请求流量对应的目标试验策略，从而可以提高AB测试的速度，以加快产品策略的迭代速度，以解决现有技术中由于测试方法不能进行多个试验而导致产品的优化迭代周期长的问题。

应理解的是，本发明实施例中，射频单元1001可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器1010处理；另外，将上行的数据发送给基站。通常，射频单元1001包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元1001还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块1002为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元1003可以将射频单元1001或网络模块1002接收的或者在存储器1009中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元1003还可以提供与电子设备1000执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元1003包括扬声器、蜂鸣器以及受话器等。

输入单元1004用于接收音频或视频信号。输入单元1004可以包括图形处理器(Graphics Processing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1006上。经图形处理器10041处理后的图像帧可以存储在存储器1009(或其它存储介质)中或者经由射频单元1001或网络模块1002进行发送。麦克风10042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1001发送到移动通信基站的格式输出。

电子设备1000还包括至少一种传感器1005，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板10061的亮度，接近传感器可在电子设备1000移动到耳边时，关闭显示面板10061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器1005还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，其中红外线传感器能够通过发射和接收红外光测量物体与电子设备之间的距离，在此不再赘述。

显示单元1006用于显示由用户输入的信息或提供给用户的信息。显示单元1006可包括显示面板10061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板10061。

用户输入单元1007可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板10071上或在触控面板10071附近的操作)。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1010，接收处理器1010发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板10071。除了触控面板10071，用户输入单元1007还可以包括其他输入设备10072。具体地，其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板10071可覆盖在显示面板10061上，当触控面板10071检测到在其上或附近的触摸操作后，传送给处理器1010以确定触摸事件的类型，随后处理器1010根据触摸事件的类型在显示面板10061上提供相应的视觉输出。虽然在图10中，触控面板10071与显示面板10061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板10071与显示面板10061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元1008为外部装置与电子设备1000连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元1008可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备1000内的一个或多个元件或者可以用于在电子设备1000和外部装置之间传输数据。

存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1009可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1010是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器1009内的软件程序和/或模块，以及调用存储在存储器1009内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器1010可包括一个或多个处理单元；优选的，处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

电子设备1000还可以包括给各个部件供电的电源1011(比如电池)，优选的，电源1011可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备1000包括一些未示出的功能模块，在此不再赘述。

优选地，本发明实施例还提供一种电子设备，包括处理器1010，存储器1009，存储在存储器1009上并可在所述处理器1010上运行的计算机程序，该计算机程序被处理器1010执行时实现上述图1所示的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图1所示的方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明实施例的权利要求范围之内。

Claims (14)

1.一种AB测试方法，其特征在于，包括：

对多个试验层中的每个试验层执行试验策略确定步骤，以确定每个请求流量在每个试验层中的目标试验策略，其中，所述多个试验层在目标应用内创建，所述多个试验层中的每个试验层均包括基准试验和待测试验，所述试验策略确定步骤包括：

响应于至少一个用户在所述目标应用内的触发请求，获取所述至少一个用户的请求流量；

确定所述至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将所述第i个请求流量分流至所述目标试验；所述目标试验为所述试验层中包括的基准试验和待测试验中的一个；

将所述目标试验中的试验策略，确定为所述第i个请求流量在所述试验层中对应的目标试验策略，i＝1,…N，N为所述至少一个用户的请求流量的数量。

2.如权利要求1所述的方法，其特征在于，所述确定所述至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，包括：

基于所述试验层的标识和所述第i个请求流量的标识，确定所述第i个请求流量的哈希值；

根据所述试验层中的基准试验和待测试验对应的预设流量占比范围和所述第i个请求流量的哈希值，确定所述第i个请求流量在所述试验层中对应的目标试验。

3.如权利要求2所述的方法，其特征在于：

所述第i个请求流量的哈希值在所述目标试验对应的请求流量的预设流量占比范围内。

4.如权利要求2所述的方法，其特征在于，所述第i个请求流量的标识包括如下其中的一种：

所述用户的标识；

所述用户的标识加日期；

随机值。

5.如权利要求1所述的方法，所述触发请求包括属性信息，其特征在于，所述目标试验为所述待测试验中的一个，所述方法还包括：

基于所述触发请求中的属性信息，确定所述触发请求是否满足预设条件；

其中，将所述目标试验中的试验策略，确定为所述第i个请求流量在所述试验层中对应的目标试验策略，包括：

在所述触发请求满足预设条件的情况下，确定所述目标试验的试验策略为所述第i个请求流量在所述试验层中对应的目标试验策略。

6.如权利要求1所述的方法，所述触发请求包括属性信息，其特征在于，在所述确定所述至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将所述第i个请求流量分流至所述目标试验之前，包括：

基于所述触发请求中的属性信息，确定所述触发请求是否满足预设条件；

其中，所述确定所述至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将所述第i个请求流量分流至所述目标试验，包括：

在所述触发请求满足预设条件的情况下，确定至少一个所述待测试验中的一个试验为所述第i个请求流量在试验层中对应的目标试验，以将所述第i个请求流量分流至所述目标试验。

7.如权利要求5或6所述的方法，其特征在于，所述属性信息包括如下至少一种：

所述用户的年龄；

所述用户的性别；

所述用户所在的地域。

8.一种AB测试装置，其特征在于，包括：

控制单元和执行策略确定单元，所述控制单元用于控制所述执行策略确定单元对多个试验层中的每个试验层执行试验策略确定步骤，以确定每个请求流量在每个试验层中的目标试验策略，其中，所述多个试验层在目标应用内创建，所述多个试验层中的每个试验层均包括基准试验和待测试验；

其中，所述执行策略确定单元包括：

获取单元，用于响应于至少一个用户在所述目标应用内的触发请求，获取所述至少一个用户的请求流量；

分流单元，用于确定所述至少一个用户的请求流量中的第i个请求流量在试验层中对应的目标试验，并将所述第i个请求流量分流至所述目标试验，所述目标试验为所述试验层中包括的基准试验和待测试验中的一个；

目标试验策略确定单元，用于将所述目标试验中的试验策略，确定为所述第i个请求流量在所述试验层中对应的目标试验策略，i＝1,…N，N为所述至少一个用户的请求流量的数量。

9.如权利要求8所述的装置，其特征在于，所述分流单元用于：

基于所述试验层的标识和所述第i个请求流量的标识，确定所述第i个请求流量的哈希值，并根据所述试验层中的基准试验和待测试验对应的预设流量占比范围和所述第i个请求流量的哈希值，确定所述第i个请求流量在所述试验层中对应的目标试验。

10.如权利要求9所述的装置，其特征在于：

所述第i个请求流量的哈希值在所述目标试验对应的请求流量的预设流量占比范围内。

11.如权利要求8所述的装置，所述触发请求包括属性信息，其特征在于，所述目标试验为所述待测试验中的一个，所述执行策略确定单元还包括：

判断单元，用于基于所述触发请求中的属性信息确定所述触发请求是否满足预设条件；

所述目标试验策略确定单元用于在所述触发请求满足预设条件的情况下，确定所述目标试验的试验策略为所述第i个请求流量在所述试验层中对应的目标试验策略。

12.如权利要求8所述的装置，所述触发请求包括属性信息，其特征在于，所述执行策略确定单元还包括：

判断单元，用于基于所述触发请求中的属性信息确定所述触发请求是否满足预设条件；

所述分流单元用于在所述属性信息满足预设条件的情况下，确定至少一个所述待测试验中的一个试验为所述第i个请求流量在试验层中对应的目标试验，以将所述第i个请求流量分流至所述目标试验。

13.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。