CN116340142A - 一种ab测试分流的实现方法 - Google Patents

Abstract

本发明提供一种AB测试分流的实现方法，包括以下步骤：在AB测试平台中，采用分桶模式，将每个试验层中上线试验分配的流量和分桶进行关联绑定；AB测试平台采用分流算法，确定移动端App的试验配置信息。本发明提供一种AB测试分流的实现方法，在AB测试平台中，在同一个试验层下其它试验流量发生改变的情况下，本发明提供的分流方法能够确保同一个设备ID在分流计算后落入试验的流量是不变的，保证用户在试验过程中环境的稳定性，不随其它试验流量的突变影响终端的体验。

Description

一种AB测试分流的实现方法

技术领域

本发明属于AB测试优化技术领域，具体涉及一种AB测试分流的实现方法。

背景技术

现有AB测试过程中，经常会面临以下问题：产品在版本迭代的过程中，需要对方案进行决策，例如对移动端App或网页端某个按钮的icon做替换时，选择用新的icon还是继续用旧的icon，按钮位置位于左边还是右边等。因此，需要在AB测试平台进行试验，AB测试平台创建试验并且给试验分配一定比例的流量，初始时试验能够正常的执行，即分配给试验的流量，能够使用户正常按照试验中设置的icon展示。但是，由于同一个试验层下其它试验流量的调整或试验的下线，导致该试验流量窗口占比也会相应发生改变，原本落入该试验的App用户发生了偏移，造成部分用户在试验过程中产生环境的不稳定性，会随其它试验流量的突变影响终端的体验。

发明内容

针对现有技术存在的缺陷，本发明提供一种AB测试分流的实现方法，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种AB测试分流的实现方法，包括以下步骤：

步骤1，在AB测试平台中，采用分桶模式，将每个试验层中上线试验分配的流量和分桶进行关联绑定，包括：

步骤1.1，在AB测试平台中，创建n个试验层，每个试验层具有试验层ID；

步骤1.2，对于每个试验层，表示为试验层Layer_i，i＝1,2,…,n，均执行步骤1.3-步骤1.5；

步骤1.3，初始化试验层Layer_i：

设置试验层Layer_i可分配的流量总量为100份，初始化生成100个分桶，即：分桶总数量与试验层Layer_i可分配的流量总量份数相同；每个分桶初始桶状态为未占用状态；100个分桶的桶索引位置分别为：0,1,…,99；

步骤1.4，在试验层Layer_i上线m个试验，每个试验表示为试验test_ij，j＝1,2,…,m，确定分配给试验test_ij的流量份数为C_ij，并将相同数量的状态为未占用状态的分桶绑定给该试验test_ij，此时绑定给该试验test_ij的各个分桶的桶状态更新为占用状态，并在每个分桶的数据结构内记录绑定的试验test_ij的试验ID；同一试验层Layer_i上线的所有试验所绑定的分桶数量最大值为100个；

对于试验层Layer_i中每个试验test_ij，将其所分配的总流量作为整体，进一步划分为100份，100份流量份数的标识分别为：0,1,…,99；进一步配置试验test_ij具有k个试验组group，确定分配给每个试验组group的流量份数区间；其中，各个试验组group的流量份数区间合并后形成流量份数为100；

步骤1.5，将试验层ID，每个试验层Layer_i的分桶信息、试验层Layer_i中每个试验test_ij的试验组group的流量份数区间存储到缓存；其中，分桶信息包括：桶状态、桶索引位置以及绑定的试验ID；

步骤2，AB测试平台采用分流算法，确定移动端App的试验配置信息，包括：

步骤2.1，移动端App具有设备ID；移动端App将携带设备ID的试验配置请求发送给AB测试平台；

步骤2.2，AB测试平台依次遍历每个试验层Layer_i，得到该移动端App在每个试验层Layer_i的试验配置信息；因此，所有试验层Layer_i的试验配置信息形成该移动端App在AB测试平台的总试验配置信息；

其中，对于任意试验层Layer_i，采用以下方法，得到移动端App在试验层Layer_i的试验配置信息：

步骤2.2.1，AB测试平台将设备ID和试验层Layer_i的试验层ID进行组装拼接，得到拼接字符串；

步骤2.2.2，对拼接字符串进行哈希hash计算，得到哈希值；对哈希值按10000进行取模计算，再取绝对值，得到余数z；

步骤2.2.3，试验层Layer_i中试验确定过程：

对余数z进行除100后的取整数运算，得到数值f1；数值f1即为初始确定的该移动端App在当前试验层Layer_i分配的分桶索引位置；

查找缓存，校验当前试验层Layer_i中分桶索引位置为数值f1的分桶的桶状态是否为占用状态，如果为否，则表明该分桶没有被相关试验所绑定，则结束对本层试验层Layer_i的试验配置信息确定流程；如果为是，则该分桶已绑定的试验ID所对应的试验，即为在试验层Layer_i中确定对移动端App进行的试验；

步骤2.2.4，试验中试验组的确定过程：

对余数z按100进行取模计算，得到数值f2；

在步骤2.2.3确定的试验的各个试验组所对应的流量份数区间中，包含数值f2的流量份数区间所对应的试验组，即为确定的试验组；

由此完成移动端App在试验层Layer_i的试验配置信息，所述试验配置信息即为在试验层Layer_i中确定的试验，以及在确定的试验中确定的试验组。

优选的，当某个试验在试验层Layer_i下线时，释放该试验所绑定的流量，方法为：对该试验关联绑定的分桶的信息进行更新，包括：将分桶的状态更新为未占用状态，同时，将分桶绑定的设备ID置为空值，并更新缓存。

优选的，步骤2.1具体为：

移动端App读取运行该移动端App的移动端设备的设备ID，通过SDK提供的接口，将设备ID发送给AB测试平台的分流接口。

优选的，步骤2.1和步骤2.2之间，还包括：

AB测试平台接收到来自于移动端App的设备ID后，校验设备ID是否有效，如果无效，则结束对该移动端App的分流流程；如果有效，则再继续执行步骤2.2。

本发明提供的一种AB测试分流的实现方法具有以下优点：

本发明提供一种AB测试分流的实现方法，在AB测试平台中，在同一个试验层下其它试验流量发生改变的情况下，本发明提供的分流方法能够确保同一个设备ID在分流计算后落入试验的流量是不变的，保证用户在试验过程中环境的稳定性，不随其它试验流量的突变影响终端的体验。

附图说明

图1为本发明提供的一种AB测试分流的实现方法的流程示意图；

图2为本发明提供的一种AB测试分流的实现方法的原理图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种AB测试分流的实现方法，在AB测试平台中，在同一个试验层下其它试验流量发生改变的情况下，本发明提供的分流方法能够确保同一个设备ID在分流计算后落入试验的流量是不变的，保证用户在试验过程中环境的稳定性，不随其它试验流量的突变影响终端的体验。

参考图1，本发明提供一种AB测试分流的实现方法，包括以下步骤：

步骤1，在AB测试平台中，采用分桶模式，将每个试验层中上线试验分配的流量和分桶进行关联绑定，包括：

步骤1.1，在AB测试平台中，创建n个试验层，每个试验层具有试验层ID；

步骤1.2，对于每个试验层，表示为试验层Layer_i，i＝1,2,…,n，均执行步骤1.3-步骤1.5；

步骤1.3，初始化试验层Layer_i：

AB测试平台中的每个试验层Layer_i创建后，都需要进行一次分桶数据初始化过程。初始化方法为：设置试验层Layer_i可分配的流量总量为100份，初始化生成100个分桶，即：分桶总数量与试验层Layer_i可分配的流量总量份数相同；每个分桶初始桶状态为未占用状态；100个分桶的桶索引位置分别为：0,1,…,99；

因此，对于每个试验层Layer_i，将流量和分桶进行关联，采用分桶的模式表示可分配流量。

步骤1.4，在试验层Layer_i上线m个试验，每个试验表示为试验test_ij，j＝1,2,…,m，确定分配给试验test_ij的流量份数为C_ij，并将相同数量的状态为未占用状态的分桶绑定给该试验test_ij，此时绑定给该试验test_ij的各个分桶的桶状态更新为占用状态，并在每个分桶的数据结构内记录绑定的试验test_ij的试验ID；同一试验层Layer_i上线的所有试验所绑定的分桶数量最大值为100个；

例如，结合图2，试验层Layer₁当前共上线3个试验，分别为试验A、试验B和试验C，试验层Layer₁可分配的流量总量为100份，分配给试验A、试验B和试验C的流量份数分别为：30份，30份和40份。因此，试验A绑定0-29索引位置的分桶，试验B绑定30-59索引位置的分桶，试验C绑定60-99索引位置的分桶。也就是说，对于每个上线的试验，根据分配给该试验的流量份数，分配相应数量的分桶。

本发明中，在AB测试平台中上线的试验会立即将流量与分桶进行关联绑定，例如试验配置的流量为30份，则分配相应的30个分桶与试验进行关联绑定，试验层总的可分配流量也会对应减少30份。

对于试验层Layer_i中每个试验test_ij，将其所分配的总流量作为整体，进一步划分为100份，100份流量份数的标识分别为：0,1,…,99；进一步配置试验test_ij具有k个试验组group，确定分配给每个试验组group的流量份数区间；其中，各个试验组group的流量份数区间合并后形成流量份数为100；

例如，仍然结合图2，对于试验A，共包括3个试验组，分别为：试验组1、试验组2和试验组3。分配给试验组1、试验组2和试验组3的流量比分别为：40％、30％和30％，因此，分配给试验组1、试验组2和试验组3的流量份数区间分别为：0,1,…,39，40,41,…,69，70,71,…,99。

当某个试验在试验层Layer_i下线时，释放该试验所绑定的流量，方法为：对该试验关联绑定的分桶的信息进行更新，包括：将分桶的状态更新为未占用状态，同时，将分桶绑定的设备ID置为空值，并更新缓存。

本发明中，同一个试验层下，多个试验之间共同分配使用试验层的流量，试验之间分配的流量互斥，例如在同一试验层下，上线的试验流量已消耗30％，则新创建的试验最多只可使用70％流量，以此类推。对于试验层中操作下线的试验，其绑定的流量也会随着试验下线释放掉，试验流量关联绑定的分桶状态也会立即更新成未占用状态0。并且在AB测试平台上操作的试验上线和试验下线都会立即刷新缓存数据，保证分流算法的准确性。

步骤1.5，将试验层ID，每个试验层Layer_i的分桶信息、试验层Layer_i中每个试验test_ij的试验组group的流量份数区间存储到缓存；其中，分桶信息包括：桶状态、桶索引位置以及绑定的试验ID；

本发明中，每个分桶的数据结构包括：桶状态，桶索引位置和试验ID三部分。其中，桶状态包括占用状态和未占用状态，未占用状态表明该分桶未被某个上线试验绑定，可用0表示。占用状态表明该分桶已被某个上线试验绑定，可用1表示。通过分流算法计算得到的桶索引位置后，通过分桶的数据结构，可进一步获取到桶状态以及绑定的试验ID。

步骤2，AB测试平台采用分流算法，确定移动端App的试验配置信息，包括：

步骤2.1，移动端App具有设备ID；移动端App将携带设备ID的试验配置请求发送给AB测试平台；

本步骤具体为：

移动端App读取运行该移动端App的移动端设备的设备ID，通过SDK提供的接口，将设备ID发送给AB测试平台的分流接口。

步骤2.1和步骤2.2之间，还包括：AB测试平台接收到来自于移动端App的设备ID后，校验设备ID是否有效，如果无效，则结束对该移动端App的分流流程；如果有效，则再继续执行步骤2.2。

步骤2.2，AB测试平台依次遍历每个试验层Layer_i，得到该移动端App在每个试验层Layer_i的试验配置信息；因此，所有试验层Layer_i的试验配置信息形成该移动端App在AB测试平台的总试验配置信息；

其中，对于任意试验层Layer_i，采用以下方法，得到移动端App在试验层Layer_i的试验配置信息：

步骤2.2.1，AB测试平台将设备ID和试验层Layer_i的试验层ID进行组装拼接，得到拼接字符串；

例如，设备ID为12345，试验层Layer₁的试验层ID为90012，则拼接字符串为：1234590012。

由于不同试验层的试验层ID不同，因此，同一个设备ID在不同试验层的拼接字符串不同，由此保证后续步骤的哈希值等运算结果的不同，体现不同试验层的差异性。

步骤2.2.2，对拼接字符串进行哈希hash计算，得到哈希值；对哈希值按10000进行取模计算，再取绝对值，得到余数z；计算公式：abs(hash(设备ID+试验层ID)％10000)；abs为取绝对值的运算符。

步骤2.2.3，试验层Layer_i中试验确定过程：

对余数z进行除100后的取整数运算，除数100是整个试验层下的分桶总数，得到数值f1；数值f1即为初始确定的该移动端App在当前试验层Layer_i分配的分桶索引位置；计算公式：abs(hash(设备ID+试验层ID)％10000)/100；采用此种计算方法，可保证设备ID经计算后得到0到99区间中的一个数值，只要试验中分配的流量没有减少，即试验流量绑定的分桶数量没有减少，则这个设备ID分流计算后必定会落入到该试验中。

查找缓存，校验当前试验层Layer_i中分桶索引位置为数值f1的分桶的桶状态是否为占用状态，如果为否，则表明该分桶没有被相关试验所绑定，则结束对本层试验层Layer_i的试验配置信息确定流程；如果为是，则该分桶已绑定的试验ID所对应的试验，即为在试验层Layer_i中确定对移动端App进行的试验；本发明中，桶的状态表示该分桶是否被上线试验分配的流量关联绑定，分桶的状态主要有两种，分别是0和1，其中状态0表示桶未被上线的试验流量关联绑定，为未占用状态；1则表示分桶已被上线的试验流量关联绑定，为占用状态。

在得到分桶索引位置后，可以从分桶数据中获取绑定的试验ID，即该移动端App用户落入的试验，例如：分桶索引位置结果为32，本试验层下有三个试验，试验1、2、3流量分配分别为30、30、40，则分桶索引位置对应流量绑定的试验为试验2，通过得到的试验ID可以进一步获取该试验下配置的各个试验组信息，包括试验组分配的流量，试验组配置的变量值等。

本发明中，为了提高AB测试分流算法的运算性能，将分流算法计算相关的试验信息存入缓存中，包括试验层、试验、各个试验组信息，从而减少数据查询过程中的时间消耗。

步骤2.2.4，试验中试验组的确定过程：

对余数z按100进行取模计算，模值100代表试验下的试验组流量总份数，得到数值f2；

在步骤2.2.3确定的试验的各个试验组所对应的流量份数区间中，包含数值f2的流量份数区间所对应的试验组，即为确定的试验组；计算公式：abs(hash(设备ID+试验层ID)％10000)％100。

如图2，试验中设置三个试验组分别为试验组1、试验组2、试验组3，流量分配为40％、30％、30％，取模100运算结果为41，则最终会命中到试验组2。

由此完成移动端App在试验层Layer_i的试验配置信息，所述试验配置信息即为在试验层Layer_i中确定的试验，以及在确定的试验中确定的试验组。

本发明中，AB测试平台设置多个试验层，对于每个试验层，通过对设备ID分流运算的处理，可以得到设备ID在一个试验层中落入的试验信息和试验组信息，依次遍历所有的试验层重复分流运算逻辑，最终得到移动端App在AB测试平台上触发的所有试验信息。

本发明提供一种AB测试分流的实现方法，具有以下特点：

本发明的分流算法目的是将线上的App用户按照固定的流量比例分配到不同试验中，并且能够一直保持试验的流量和用户的分配关系，以此来避免因其它试验流量的突变影响终端的体验问题，所以将试验层下的试验流量和分桶进行关联绑定，并且使用hash取模的方式将一个App用户固定在0到99的区间中，这样只要对应试验的流量(分桶)区间没有减少，则这个App用户和试验的关系就不会改变，这个App用户通过分流算法计算后必定还是会落入到该试验。

本发明提供一种AB测试分流的实现方法，具有以下优点：

在对同一个设备ID分流计算时，只要试验中分配的流量没有减少，即试验流量绑定的分桶没有减少，则这个设备ID分流计算后必定会落入到该试验。本发明提供的分流方法能够确保同一个设备ID在分流计算后落入试验的流量是不变的，保证用户在试验过程中环境的稳定性，不随其它试验流量的突变影响终端的体验。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种AB测试分流的实现方法，其特征在于，包括以下步骤：

步骤1，在AB测试平台中，采用分桶模式，将每个试验层中上线试验分配的流量和分桶进行关联绑定，包括：

步骤1.1，在AB测试平台中，创建n个试验层，每个试验层具有试验层ID；

步骤1.2，对于每个试验层，表示为试验层Layer_i，i＝1,2,…,n，均执行步骤1.3-步骤1.5；

步骤1.3，初始化试验层Layer_i：

设置试验层Layer_i可分配的流量总量为100份，初始化生成100个分桶，即：分桶总数量与试验层Layer_i可分配的流量总量份数相同；每个分桶初始桶状态为未占用状态；100个分桶的桶索引位置分别为：0,1,…,99；

步骤1.4，在试验层Layer_i上线m个试验，每个试验表示为试验test_ij，j＝1,2,…,m，确定分配给试验test_ij的流量份数为C_ij，并将相同数量的状态为未占用状态的分桶绑定给该试验test_ij，此时绑定给该试验test_ij的各个分桶的桶状态更新为占用状态，并在每个分桶的数据结构内记录绑定的试验test_ij的试验ID；同一试验层Layer_i上线的所有试验所绑定的分桶数量最大值为100个；

对于试验层Layer_i中每个试验test_ij，将其所分配的总流量作为整体，进一步划分为100份，100份流量份数的标识分别为：0,1,…,99；进一步配置试验test_ij具有k个试验组group，确定分配给每个试验组group的流量份数区间；其中，各个试验组group的流量份数区间合并后形成流量份数为100；

步骤1.5，将试验层ID，每个试验层Layer_i的分桶信息、试验层Layer_i中每个试验test_ij的试验组group的流量份数区间存储到缓存；其中，分桶信息包括：桶状态、桶索引位置以及绑定的试验ID；

步骤2，AB测试平台采用分流算法，确定移动端App的试验配置信息，包括：

步骤2.1，移动端App具有设备ID；移动端App将携带设备ID的试验配置请求发送给AB测试平台；

步骤2.2，AB测试平台依次遍历每个试验层Layer_i，得到该移动端App在每个试验层Layer_i的试验配置信息；因此，所有试验层Layer_i的试验配置信息形成该移动端App在AB测试平台的总试验配置信息；

其中，对于任意试验层Layer_i，采用以下方法，得到移动端App在试验层Layer_i的试验配置信息：

步骤2.2.1，AB测试平台将设备ID和试验层Layer_i的试验层ID进行组装拼接，得到拼接字符串；

步骤2.2.2，对拼接字符串进行哈希hash计算，得到哈希值；对哈希值按10000进行取模计算，再取绝对值，得到余数z；

步骤2.2.3，试验层Layer_i中试验确定过程：

对余数z进行除100后的取整数运算，得到数值f1；数值f1即为初始确定的该移动端App在当前试验层Layer_i分配的分桶索引位置；

查找缓存，校验当前试验层Layer_i中分桶索引位置为数值f1的分桶的桶状态是否为占用状态，如果为否，则表明该分桶没有被相关试验所绑定，则结束对本层试验层Layer_i的试验配置信息确定流程；如果为是，则该分桶已绑定的试验ID所对应的试验，即为在试验层Layer_i中确定对移动端App进行的试验；

步骤2.2.4，试验中试验组的确定过程：

对余数z按100进行取模计算，得到数值f2；

在步骤2.2.3确定的试验的各个试验组所对应的流量份数区间中，包含数值f2的流量份数区间所对应的试验组，即为确定的试验组；

由此完成移动端App在试验层Layer_i的试验配置信息，所述试验配置信息即为在试验层Layer_i中确定的试验，以及在确定的试验中确定的试验组。

2.根据权利要求1所述的一种AB测试分流的实现方法，其特征在于，当某个试验在试验层Layer_i下线时，释放该试验所绑定的流量，方法为：对该试验关联绑定的分桶的信息进行更新，包括：将分桶的状态更新为未占用状态，同时，将分桶绑定的设备ID置为空值，并更新缓存。

3.根据权利要求1所述的一种AB测试分流的实现方法，其特征在于，步骤2.1具体为：

移动端App读取运行该移动端App的移动端设备的设备ID，通过SDK提供的接口，将设备ID发送给AB测试平台的分流接口。

4.根据权利要求1所述的一种AB测试分流的实现方法，其特征在于，步骤2.1和步骤2.2之间，还包括：

AB测试平台接收到来自于移动端App的设备ID后，校验设备ID是否有效，如果无效，则结束对该移动端App的分流流程；如果有效，则再继续执行步骤2.2。

Images