CN110168595A - 基于采样模拟的快速ab测试方法 - Google Patents

Abstract

本发明公开了一种基于采样模拟的快速AB测试方法，A)为每个样本随机生成一个测试参数组合作为投放参数；B)将投放参数进行运营，一个运行周期后进行LTV的统计；C)构建机器学习模型；D)调整采样空间及采样间隔，重新进行采样，将若干个投放参数分别代入机器学习模型，得到各自对应的LTV的预测值；E)选取前M个较高的值进行实际的运营测试，并判断LTV的运营测试值与LTV的预测值是否吻合，如是，认为对应的投放参数是最优参数，执行F)；否则，返回步骤D)；F)将最优参数投入到实际生产；G)定期执行步骤A)至E)，使最优参数随着环境的变化而变化。本发明通过较少轮数的AB测试就找到最优参数、能提升AB测试效率。

Description

基于采样模拟的快速AB测试方法

技术领域

本发明涉及游戏广告投放领域，特别涉及一种基于采样模拟的快速AB测试方法。

背景技术

在游戏广告投放中，每天广告投放次数，每天投放频率以及每天奖励金额都会影响到客户终身价值(life time value，简称LTV)，如何快速找到一个合适的投放次数、投放频率及每天奖励成为游戏广告投放环节的一个重要问题。LTV就是一个统计值，是用户终身价值，游戏中主要是用户的消费，加上用户点击广告产生的价值，很多用户主要是点击广告产生价格，从用户进来直到用户流失，一共产生了多少价值。

现有寻找投放次数、投放频率和每天奖励金额的主要方法是进行AB测试(A/BTesting)，通过较多轮AB测试找到相对较好的参数值，但由于LTV往往需要较长时间才能获取到，因此实际生产中由于时间的限制往往较难进行很多轮测试，如何通过较少轮数的AB测试就能找最优参数(投放次数、投放频率、每天奖励)就显得非常关键。

现有技术中采用梯度提升决策树(Gradient Boosting Decision Tree，简称GBDT)来进行AB测试。现有的技术方案是通过多轮AB测试才能找到最优参数(即投放次数、投放频率和每天奖励金额)。比如每天投放次数为1～5共5个值，投放频率为1～4小时共4个值，奖励金额20～50共30个值，则总共需要进行的AB测试轮数为5*4*30＝600轮。这600轮测试中每一轮取一个不同的参数，最后看哪一组参数LTV最高，则取为最优参数。由于LTV往往需要较长时间才能获取到，因此实际生产中由于时间的限制往往较难进行很多轮测试。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种通过较少轮数的AB测试就找到最优参数、能提升AB测试效率的基于采样模拟的快速AB测试方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于采样模拟的快速AB测试方法，包括如下步骤：

A)按照事先设定的参数采样部分的采样空间及采样间隔，为每个样本随机生成一个测试参数组合作为用户的投放参数；所述投放参数为用户的投放次数、投放频率和奖励金额的参数组合；所述奖励金额为总奖励金额或每天的奖励金额；

B)将所述投放参数进行运营，一个运行周期后对用户进行LTV的统计；

C)以所述投放参数为依据构建特征，以用户的LTV为目标值，构建机器学习模型；

D)调整所述事先设定的参数采样部分的采样空间及采样间隔，重新进行采样，将重新采样得到的用户的投放次数、投放频率和奖励金额进行排列组合，得到若干个所述投放参数，将若干个所述投放参数分别代入所述机器学习模型，得到各自对应的LTV的预测值；

E)从所述LTV的预测值中选取前M个较高的值进行实际的运营测试，并判断LTV的运营测试值与所述LTV的预测值是否吻合，如是，认为对应的投放参数是最优参数，执行步骤F)；否则，返回步骤D)；所述M为大于0的整数；

F)将所述最优参数投入到实际生产；

G)定期执行步骤A)至步骤E)，使所述最优参数随着环境的变化而变化。

在本发明所述的基于采样模拟的快速AB测试方法中，所述步骤B)中，所述LTV的统计如下：

其中，F_i为用户第i天的游戏充值，V_i为用户第i天浏览和点击广告产生的价值，N为观察天数。

在本发明所述的基于采样模拟的快速AB测试方法中，所述步骤A)进一步包括：

A1)随机从1～5次中选一个参数作为用户的投放次数；

A2)随机从1～4小时中选一个参数作为所述用户的投放频率；

A3)随机从20～50元奖励金额中选一个作为所述用户的奖励金额；

A4)将所述用户投放次数、用户投放频率和用户奖励金额组合后作为当前样本的投放参数；

A5)重复步骤A1)至A4)得到多个样本的投放参数。

在本发明所述的基于采样模拟的快速AB测试方法中，所述步骤C)进一步包括：

C1)初始化，估计使损失函数极小化的常数值；

C2)计算所述损失函数的负梯度在当前模型的值，将其作为残差的估计；

C3)估计回归树叶节点区域，以拟合残差的近似值；

C4)利用线性搜索估计叶节点区域的值，使所述损失函数极小化；

C5)更新回归树；

C6)得到所述机器学习模型，所述机器学习模型的特征为所述投放参数，所述机器学习模型的的目标值为用户的LTV。

在本发明所述的基于采样模拟的快速AB测试方法中，所述步骤D)进一步包括：

D1)将投放次数调整为0.1～10次，以0.1为间隔共100个取值；

D2)将投放频率调整为0.1～5小时，以0.1为间隔共50个取值；

D3)将奖励金额调整为0～100元，共100个取值；

D4)将所述投放次数次数的100个取值、投放频率的50个取值和奖励金额的100个取值进行排列组合，得到100*50*100＝5000000种投放参数；

D5)将所述5000000种投放参数分别代入所述机器学习模型，得到各自对应的LTV的预测值。

实施本发明的基于采样模拟的快速AB测试方法，具有以下有益效果：通过随机采样加机器学习的方法构建投放参数与LTV的对应关系并形成机器学习模型，通过模拟仿真的方法寻找最优投放参数，以减少AB测试轮提升级AB测试效率，因此本发明通过较少轮数的AB测试就找到最优参数、能提升AB测试效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于采样模拟的快速AB测试方法一个实施例中的流程图；

图2为所述实施例中按照事先设定的参数采样部分的采样空间及采样间隔，为每个样本随机生成一个测试参数组合作为用户的投放参数的具体流程图；

图3为所述实施例中以投放参数为依据构建特征，以用户的LTV为目标值，构建机器学习模型的具体流程图；

图4为所述实施例中调整事先设定的参数采样部分的采样空间及采样间隔，重新进行采样，将重新采样得到的用户的投放次数、投放频率和奖励金额进行排列组合，得到若干个投放参数，将若干个投放参数分别代入机器学习模型，得到各自对应的LTV的预测值的具体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明基于采样模拟的快速AB测试方法实施例中，该基于采样模拟的快速AB测试方法的流程图如图1所示。图1中，该基于采样模拟的快速AB测试方法包括如下步骤：

步骤S01按照事先设定的参数采样部分的采样空间及采样间隔，为每个样本随机生成一个测试参数组合作为用户的投放参数：本步骤中，再进行AB测试时，不再进行AB分组，而是为每个样本随机生成一个测试参数组合。具体的，本步骤中，按照事先设定的参数采样部分的采样空间及采样间隔，其中，投放参数为用户的投放次数、投放频率和奖励金额的参数组合；上述奖励金额可以是总奖励金额，也可以是每天的奖励金额。通过该步骤S01可以实现以随机采样的方式为用户分配投放参数。

步骤S02将投放参数进行运营，一个运行周期后对用户进行LTV的统计：本步骤中，将上述投放参数进行运营，在AB测试时收集用户的LTV所需要的时间，一个运行周期后对用户进行LTV的统计。

步骤S03以投放参数为依据构建特征，以用户的LTV为目标值，构建机器学习模型：本步骤中，使用机器学习方法进行模型的训练，例如：采用梯度提升决策算法，以投放参数(每个用户采样到的参数组合)为依据构建特征，以每个用户的LTV为目标值，构建机器学习模型。

步骤S04调整事先设定的参数采样部分的采样空间及采样间隔，重新进行采样，将重新采样得到的用户的投放次数、投放频率和奖励金额进行排列组合，得到若干个投放参数，将若干个投放参数分别代入机器学习模型，得到各自对应的LTV的预测值：本步骤中，对事先设定的参数采样部分的采样空间及采样间隔进行调整，例如：扩大事先设定的参数采样部分的采样空间，并缩小采样间隔，重新进行采样，将重新采样得到的用户的投放次数、投放频率和奖励金额进行排列组合，这样会得到若干种参数组合，即得到若干个投放参数，然后将这若干个投放参数分别代入机器学习模型，也就是根据训练出来的机器学习模型，输入仿真参数(投放参数)，通过计算就会得到各自对应的LTV的预测值。

步骤S05从LTV的预测值中选取前M个较高的值进行实际的运营测试，并判断LTV的运营测试值与LTV的预测值是否吻合：本步骤中，将LTV的预测值按照从高到低的顺序排列，从LTV的预测值中选取前M个较高的值(即排在前M位的LTV的预测值)进行实际的运营测试，并判断LTV的运营测试值与LTV的预测值是否吻合，如果判断的结果为是，则执行步骤S06；否则，返回步骤S04，通过调节步骤S03和步骤S04中的参数范围和参数步长(即事先设定的参数采样部分的采样空间及采样间隔)来重新进行最优参数寻找，直至LTV的预测值与LTV的运营测试值吻合。其中，上述M为大于0的整数。

值得一提的市面，这里的吻合指的是LTV的运营测试值与LTV的预测值之间的误差为设定的误差范围内，也即验证模拟仿真中最优参数与实际运营投放结构是否一致。如果LTV的运营测试值与LTV的预测值之间的误差不在误差范围内，则表示LTV的运营测试值与LTV的预测值不吻合。

步骤S06认为对应的投放参数是最优参数：如果上述步骤S05的判断结果为是，则执行本步骤。本步骤中，认为对应的投放参数是最优参数，也就是认为找到了最优参数。执行完本步骤，执行步骤S07。当找到最优参数后，可以将非测试用户运用最优参数进行投放。

步骤S07将最优参数投入实际生产：本步骤中，将最优参数投入到实际生产。

步骤S08定期执行步骤S01至步骤S06，使最优参数随着环境的变化而变化：本步骤中，定期执行步骤S01至步骤S06，也就是定时进行机器学习模型的更新，使最优参数随着环境的变化而变化，保证随着环境的变化，最优参数也随之变化。对于定期，这个时间间隔的大小和业务要求有关，如果环境变化快，需要及时反应，间隔时间可以短一点，如果环境变化慢，间隔时间可以长一点，一般是以天为单位。本发明通过随机采样加机器学习的方法构建投放参数与LTV的对应关系并形成机器学习模型，通过模拟仿真的方法寻找最优投放参数，以减少AB测试轮提升级AB测试效率，因此本发明通过较少轮数的AB测试就找到最优参数、能提升AB测试效率。

对于本实施例而言，在步骤S02中，LTV的统计如下：

其中，Fi为用户第i天的游戏充值，Vi为用户第i天浏览和点击广告产生的价值，N为观察天数。

对于本实施例而言，上述步骤S01还可进一步细化，其细化后的流程图如图2所示。图2中，上述步骤S01进一步包括如下步骤：

步骤S11随机从1～5次中选一个参数作为用户的投放次数：本步骤中，随机从1～5次中选一个参数作为用户的投放次数。

步骤S12随机从1～4小时中选一个参数作为用户的投放频率：本步骤中，随机从1～4小时中选一个参数作为用户的投放频率。

步骤S13随机从20～50元奖励金额中选一个作为用户的奖励金额：本步骤中，随机从20～50元奖励金额中选一个作为用户的奖励金额。

步骤S14将用户投放次数、用户投放频率和用户奖励金额组合后作为当前样本的投放参数：本步骤中，将用户投放次数、用户投放频率和用户奖励金额组合后作为当前样本的投放参数。

步骤S15重复步骤S11至S14得到多个样本的投放参数：本步骤中，重复步骤S11至S14得到多个样本的投放参数。

对于本实施例而言，上述步骤S03还可进一步细化，其细化后的流程图如图3所示。图3中，上述步骤S03进一步包括如下步骤：

步骤S31初始化，估计使损失函数极小化的常数值：本步骤中，初始化，估计使损失函数极小化的常数值。

步骤S32计算损失函数的负梯度在当前模型的值，将其作为残差的估计：本步骤中，计算损失函数的负梯度在当前模型的值，将其作为残差的估计。

步骤S33估计回归树叶节点区域，以拟合残差的近似值：本步骤中，计回归树叶节点区域，以拟合残差的近似值。

步骤S34利用线性搜索估计叶节点区域的值，使损失函数极小化：本步骤中，利用线性搜索估计叶节点区域的值，使损失函数极小化。

步骤S35更新回归树：本步骤中，更新回归树。

步骤S36得到机器学习模型，机器学习模型的特征为投放参数，机器学习模型的的目标值为用户的LTV：本步骤中，得到机器学习模型，机器学习模型的特征为投放参数，机器学习模型的的目标值为用户的LTV。由于梯度提升决策算法已是常用的算法，这里不再详细阐述。

对于本实施例而言，上述步骤S04还可进一步细化，其细化后的流程图如图4所示。图4中，上述步骤S04进一步包括如下步骤：

步骤S41将投放次数调整为0.1～10次，以0.1为间隔共100个取值：本步骤中，将投放次数调整为0.1～10次，以0.1为间隔共100个取值。

步骤S42将投放频率调整为0.1～5小时，以0.1为间隔共50个取值：本步骤中，将投放频率调整为0.1～5小时，以0.1为间隔共50个取值。

步骤S43将奖励金额调整为0～100元，共100个取值：本步骤中，将奖励金额调整为0～100元，共100个取值。

步骤S44将投放次数次数的100个取值、投放频率的50个取值和奖励金额的100个取值进行排列组合，得到100*50*100＝5000000种投放参数：本步骤中，将投放次数次数的100个取值、投放频率的50个取值和奖励金额的100个取值进行排列组合，得到100*50*100＝5000000种投放参数(参数组合)。

步骤S45将5000000种投放参数分别代入机器学习模型，得到各自对应的LTV的预测值：本步骤中，将5000000种投放参数分别代入机器学习模型，通过计算可以得到各自对应的LTV的预测值。

总之，本发明通过随机采样加机器学习的方法构建投放参数与LTV的对应关系并形成机器学习模型，通过模拟仿真的方法寻找最优投放参数，以减少AB测试轮提升级AB测试效率，只需较少几轮AB测试即可以在较大的参数空间中找到最优投放参数，因此本发明通过较少轮数的AB测试就找到最优参数、能提升AB测试效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于采样模拟的快速AB测试方法，其特征在于，包括如下步骤：

A)按照事先设定的参数采样部分的采样空间及采样间隔，为每个样本随机生成一个测试参数组合作为用户的投放参数；所述投放参数为用户的投放次数、投放频率和奖励金额的参数组合；所述奖励金额为总奖励金额或每天的奖励金额；

B)将所述投放参数进行运营，一个运行周期后对用户进行LTV的统计；

C)以所述投放参数为依据构建特征，以用户的LTV为目标值，构建机器学习模型；

D)调整所述事先设定的参数采样部分的采样空间及采样间隔，重新进行采样，将重新采样得到的用户的投放次数、投放频率和奖励金额进行排列组合，得到若干个所述投放参数，将若干个所述投放参数分别代入所述机器学习模型，得到各自对应的LTV的预测值；

E)从所述LTV的预测值中选取前M个较高的值进行实际的运营测试，并判断LTV的运营测试值与所述LTV的预测值是否吻合，如是，认为对应的投放参数是最优参数，执行步骤F)；否则，返回步骤D)；所述M为大于0的整数；

F)将所述最优参数投入到实际生产；

G)定期执行步骤A)至步骤E)，使所述最优参数随着环境的变化而变化。

2.根据权利要求1所述的基于采样模拟的快速AB测试方法，其特征在于，所述步骤B)中，所述LTV的统计如下：

其中，F_i为用户第i天的游戏充值，V_i为用户第i天浏览和点击广告产生的价值，N为观察天数。

3.根据权利要求1或2所述的基于采样模拟的快速AB测试方法，其特征在于，所述步骤A)进一步包括：

A1)随机从1～5次中选一个参数作为用户的投放次数；

A2)随机从1～4小时中选一个参数作为所述用户的投放频率；

A3)随机从20～50元奖励金额中选一个作为所述用户的奖励金额；

A4)将所述用户投放次数、用户投放频率和用户奖励金额组合后作为当前样本的投放参数；

A5)重复步骤A1)至A4)得到多个样本的投放参数。

4.根据权利要求1所述的基于采样模拟的快速AB测试方法，其特征在于，所述步骤C)进一步包括：

C1)初始化，估计使损失函数极小化的常数值；

C2)计算所述损失函数的负梯度在当前模型的值，将其作为残差的估计；

C3)估计回归树叶节点区域，以拟合残差的近似值；

C4)利用线性搜索估计叶节点区域的值，使所述损失函数极小化；

C5)更新回归树；

C6)得到所述机器学习模型，所述机器学习模型的特征为所述投放参数，所述机器学习模型的的目标值为用户的LTV。

5.根据权利要求3所述的基于采样模拟的快速AB测试方法，其特征在于，所述步骤D)进一步包括：

D1)将投放次数调整为0.1～10次，以0.1为间隔共100个取值；

D2)将投放频率调整为0.1～5小时，以0.1为间隔共50个取值；

D3)将奖励金额调整为0～100元，共100个取值；

D4)将所述投放次数次数的100个取值、投放频率的50个取值和奖励金额的100个取值进行排列组合，得到100*50*100＝5000000种投放参数；

D5)将所述5000000种投放参数分别代入所述机器学习模型，得到各自对应的LTV的预测值。