CN105913145A - 一种基于数据驱动的ab测试方法 - Google Patents

Abstract

本发明公开了一种基于数据驱动的AB测试方法，首先设定与网络平台一致的优化指标，并根据优化指标设定对应的迭代方案，建立模块开关控制迭代方案中的测试变量，收集用户的交互数据，对交互数据进行统计分析，依据数据分析结果判断迭代方案优劣。本发明的有益效果：通过基于数据驱动的AB测试产品优化方法，突破了对个人经验的依赖，并且通过数据挖掘实现了快速获取反馈，产品快速迭代优化，适用于互联网行业产品优化，广告行业产品优化，以及其他行业的可通过用户反馈数据收集分析进行的产品优化。

Description

一种基于数据驱动的AB测试方法

技术领域

本发明涉及一种基于数据驱动的AB测试方法。

背景技术

AB测试，是一种新兴的产品优化方法，可以用于增加转化率注册率等产品指标。AB测试本质上是个分离式组间试验，以前进行AB测试的技术成本和资源成本相对较高，但现在一系列专业的可视化试验工具的出现，AB测试已越来越成为产品优化常用的方法。

简单来说，AB测试就是在两个或多个产品的优化方案中选出最优方案的方法。例如，期望优化产品的某个特性，通常是期望某项数据提升时，需要对产品某处进行调整。对此可以提出若干版本，但是现有的理论无法判定哪种方案最佳，此时可将这几个版本同时上线，以小流量运行一段时间获得数据反馈，来判断版本优劣。

经过调研，在国内到目前为止产品的优化，尚且依然采用调研或者基于后台数据的人工分析来做出。但是这种方法对个人经验依赖性强，且往往偏离了用户的喜好趋势，产品优化迭代慢，优秀的优化方案推广难，不适于广泛的产品优化推广，有行业、用户定位、地域、时效性等等局限性。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于数据驱动的AB测试方法，能够准确、快速的获得可靠测试数据。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于数据驱动的AB测试方法，首先设定与网络平台一致的优化指标，并根据优化指标设定对应的迭代方案，建立模块开关控制迭代方案中的测试变量，收集用户的交互数据，对交互数据进行统计分析，依据数据分析结果判断迭代方案优劣。

进一步的，包括如下步骤：

步骤一，设定优化指标，并保证该优化指标与网络平台的优化指标一致；

步骤二，根据所述优化指标设计对应的迭代方案，并在所述迭代方案中明确测试变量；

步骤三，建立模块开关，通过该模块开关来控制所述测试变量；

步骤四，开发新模块，将创建完毕的所述优化指标和所述开关模块集成至程序代码中；

步骤五，上传所述交互数据到tracker服务器；

步骤六，对收集的所述交互数据进行统计分析，进而得出试验的试验报告，依照试验报告判断迭代方案的优劣。

进一步的，还包括创建试验，将选定好的模块开关和优化指标进行试运行，以获取试验数据。

进一步的，所述优化指标包括定义指标和复合指标。

进一步的，将交互数据进行统计分析后，可根据分析结果重新设计迭代方案。

本发明的有益效果：通过基于数据驱动的AB测试产品优化方法，突破了对个人经验的依赖，并且通过数据挖掘实现了快速获取反馈，产品快速迭代优化，适用于互联网行业产品优化，广告行业产品优化，以及其他行业的可通过用户反馈数据收集分析进行的产品优化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例所述的基于数据驱动的AB测试方法的系统流程图；

图2是根据本发明实施例所述的基于数据驱动的AB测试方法的系统后端详细流程图；

图3是根据本发明实施例所述的基于数据驱动的AB测试方法的Web前端详细流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，根据本发明实施例所述的一种基于数据驱动的AB测试方法，首先设定与网络平台一致的优化指标，并根据优化指标设定对应的迭代方案，建立模块开关控制迭代方案中的测试变量，收集用户的交互数据，对交互数据进行统计分析，依据数据分析结果判断迭代方案优劣。

所述的基于数据驱动的AB测试方法，包括如下步骤：

S101步骤一，设定优化指标，并保证该优化指标与网络平台的优化指标一致；

其中的优化指标，是对网站、APP业务数据的量化衡量计数，是用户根据衡量标准需要自己定义的业务相关指标。开发者可以使用自定义的模块变量和指标来区分并衡量不同情况下用户和网站、APP的交互数据或任何其他业务数据之间的差异。通过定义监测指标，可以从各种角度了解用户与网站、APP互动的情况。该优化指标的确定办法可以从公司的业务目标出发，找到一个能衡量业务价值的核心指标，该指标通常和公司营收相关，是一个易于理解和沟通、可测量及量化比较的比率形式的指标。通过该核心业务指标，还需根据应用性质把它分解为多个应用关键指标，然后围绕各个关键指标来制定相应的具体开发和试验优化指标。

S102步骤二，根据优化指标设计对应的迭代方案，并在迭代方案中明确测试变量；

S103步骤三，建立模块开关，通过模块开关来控制上述测试变量；

模块开关是根据测试的优化指标和目标对象确定的各种测试变量。一个模块开关可以用于多个测试版本之中。可以定义多个模块开关，然后根据试验的目的在试验的测试版本中选用相应的模块开关，并在需要进行对比的不同测试版本中设置该模块开关的不同变量值。在一个典型的简单AB测试活动中，多个相关的测试版本都只指定一个测试变量，具有不同的变量值，代表所测试目标对象的不同方案。

对于模块开关的选择，可根据选定的优化指标、产品模块的功能特性和其他手段来确定需要试验的模块和具体的开关值。可以包括：您的产品经验、过往累计的试验结果、用户反馈和调查、竞争产品的相关信息等。通过不断进行试验，各个模块开关对优化指标的影响效果会逐渐得到验证，之后就可以把产品模块逐步进行全面的部署。

在Web平台的“模块开关”频道中需要对将要使用的模块开关进行定义。

模块开关具有以下配置值：

模块开关名称：这是一个用来代表模块开关的唯一标识符，命名只允许英文字母和数字。

模块开关描述：这是用来对模块开关进行说明的描述，可包括任意字符。

类型：指定模块开关的变量数据类型。其中，可用的类型包括：Boolean，Integer，Number和String。

缺省值：指定模块开关变量缺省情况下的数据值。如果没有选用某模块开关，该开关的变量值就是缺省值。

根据试验的目标对象的性质，为对应的模块开关选择合适的变量类型，使AB测试系统更易于统计数据和清晰地展示试验报告。例如：

测试是否需要可点击的登录按钮：变量数据类型可以设置为“Boolean”类型。

测试按钮颜色对点击率的影响：变量数据类型可以设置为“String”类型。

测试页面展示的产品数量对转化率的影响：变量数据类型可以设置为“Integer”类型。

模块开关的缺省值应该设置为普通情况下(没有进行测试的运行实例)该变量应该具有的值。

弃用的模块开关：如果某个模块开关不再需要试验，可选择“弃用”将该开关转为弃用状态，系统将不再展示该开关。

S104步骤四，开发新模块，将创建完毕的优化指标和开关模块集成至程序代码中。

S105步骤五，上传所述交互数据到tracker服务器；

交互数据收集后，将指标数据和指标名称，试验名称，App ID等数据一起发送到AB测试系统的日志服务器。AB测试系统会对日志数据进行持续的统计分析，可设置每小时更新一次试验数据的统计报告。网站、App通过AppAdhoc SDK除了发送定义好的优化指标，还可以发送一些自动跟踪的事件类指标，如点击次数。上述指标为事件指标，该事件指标在AB测试系统中缺省是不关注的，试验报告中不会展示这些指标的数据。如果需要详细查看事件指标的数据，可以把该指标转为关注的优化指标。

S106步骤六，对收集的用户交互数据进行统计分析,进而得出试验的试验报告，依照试验报告判断迭代方案的优劣。

进一步的，还包括创建试验，将选定好的模块开关和优化指标进行试运行，以获取试验数据。

当运行一组试验时，为了获取到可信的结果，同时将风险降到最低，需要为每个版本分配特定的流量。进入应用的所有流量为100％，在试验中设置了流量之后，就会有对应数量的用户会进入到试验版本。对于单一用户，如果初次进入了某一试验版本，二次启动后依旧会进入该版本。AB测试系统通过科学的试验流量分割算法使得每个测试版本的用户群体都具有相同的代表性，对比结果是科学可信的。

在试验开始前或者运行中，可以为每个试验版本分配流量。进入试验版本界面，设置数值。通常在试验运行之初，建议分配较小流量，验证后可进一步调整。但如果流量过小，可能导致试验结果不稳定存在偶然性，这需要结合自身流量情况计算后设定。缺省版本作为对照，流量不应小于其他试验版本，因此在设定试验组的试验版本流量之后，缺省版本流量会自动设置为等同于试验版本中流量最大的版本。

试验运行的基本单位是“测试版本”，一个测试版本代表了一个固定比例流量上具有某种模块开关组合的App运行实例。如果要进行某项试验活动，例如，测试购买按钮在红绿蓝三种颜色情况下的转化率，而当前购买按钮的颜色是蓝色，就需要建立两个测试版本，一个代表红色按钮，一个代表绿色按钮，这两个测试版本和默认运行版本的测试数据进行对比分析，就可以得出红绿蓝三种颜色哪个更利于转化率提升的结论。

当然对于测试版本来说，可以查看当前运行的或者全部的测试版本列表，或者查看某个试验组包含的测试版本列表，列表简要列出了每个测试版本的情况，可包括：所监测优化指标及相对缺省版本的数据变化、包含的模块开关及测试值、该测试版本分配到的流量比例、测试版本的运行天数及状态。

通过测试版本和试验组来进行试验活动。测试版本是试验的基本单位，多个相关的测试版本组成一个试验组，用于完成特定的测试任务。

测试版本有以下配置值：

测试版本名称：这是一个用来代表测试版本的唯一标识符，命名只允许英文字母和数字。

测试版本描述：这是用来对测试版本进行说明的描述，可包括任意字符。

试验组：测试版本所属试验组，默认新建一个试验组，也可选择加入一个已有试验组。

优化指标：选择衡量试验效果的相关指标，可以指定多个指标。

模块开关：根据测试目标对象指定对应的模块开关。

测试流量分配：指定分配给该测试版本的流量百分比。建议初始指定的流量比例小于1％，然后根据运行情况再调整。

测试开始时间：指定该测试版本开始的日期。

测试结束时间：指定该测试版本结束的日期。

试验组：用来组织和管理具有相同测试目标的一组相关的测试版本，这些测试版本通常具有相同的模块开关和优化指标。新建一个测试版本时，如果没有指定所属试验组，系统默认会创建一个包含该测试版本的试验组。

其中，如果要创建一个包含多个测试版本的试验组，具体操作步骤是：

新建一个测试版本，默认创建一个试验组；

接着创建其他测试版本，指定所属试验组为第一个测试版本所属的试验组；

如果要进行典型的AB测试，尽快进行试验并得出结论，可以为目标设置几个不同测试版本(方案)，属于同一个试验组，每个测试版本具有相同的优化指标和单个或多个模块开关(不同的变量值)，分配有相同比例的测试流量，相同的测试和开始时间。这几个测试版本同时运行一段时间之后，就可以对试验组的数据进行比较分析，逐步得出结论。

建立测试版本之后，即可开启测试。当测试运行一段时间，试验数据已经足够得出试验结论的时候，您就可以结束该试验相关的测试版本。如果是立即开始一个测试实例，当天收集的数据是不完整的。您也可以等待该测试版本到了指定的开始日期之后自动开始运行，然后到了指定结束日期自动停止。

该测试版本的详细信息，包括所监测优化指标在运行期内的简要数据和图表，并可以进行流量分配、运行及停止等管理操作。

当然还可以以当前测试版本为模版创建一个新的测试版本，即为克隆版本。

经过一段时间的测试，如果得出结论该测试版本表现满意，则可以把该测试版本正式发布。发布测试版本就是把该版本所用模块开关的缺省值设为该版本对应的模块开关变量值，从而把该版本的模块方案应用到缺省版本的用户中。

AB测试系统可为您建立的每个测试版本生成一个二维码，是一个用于管理测试版本的方便工具。

试验报告：指定试验组的概要数据报告。概要报告和指标的详细报告都是每小时更新一次数据。

概要报告：展示指定试验组中各测试版本的优化指标在运行日期范围内的合计及平均数据，并且可以根据需要选择试验组内任意测试版本和缺省的基准版本一起进行对比分析，结果以图表的形式展示。

选择测试版本：首先要选择需要查看数据的测试版本，通常是那些需要进行比较分析的相关的测试版本。注意：如果一个测试版本还没有运行，或者没有收集到数据，它是不可选的。

数据报表：综合数据表格展示了包括缺省版本在内的及所选定的各测试版本的优化指标数据。各优化指标的数值均包括平均值和总值，平均值＝总值/活跃用户数。

进一步的，所述优化指标包括定义指标和复合指标。

定义指标是在向AB测试系统发送自定义指标值之前，必须先在AB测试系统的Web平台中对其进行定义。自定义的优化指标可具有以下配置值：

指标名称：这是一个用来代表指标的唯一标识符，命名只允许英文字母和数字。

指标描述：这是用来对指标进行说明的描述，可包括任意字符。

同一个指标在发送指标数据时使用的名称和定义时指定的名称必须一致，没有定义的指标，AB测试系统是不进行数据统计的。

复合指标不需要像优化指标一样汇报数据，但它包含一个计算公式，用来在已有优化指标的基础上计算出一个复合型的指标数值。

计算公式：支持在现有优化指标上进行+-*/和()运算。例如，转化率的复合指标计算公式可以定义为：“ConversionStat/PageviewStat”，转化次数ConversionStat和页面浏览量PageviewStat都是需要汇报的优化指标。

如果不再关注某个优化指标，可在AB测试系统中把该指标转为不关注状态，系统将不再展示该指标的数据，不过此时指标的数据仍然可以被收集和记录。

AB测试系统后端详细流程功能定义，同时可参考图2所示：

集成SDK的客户端：用户首先需要集成AB测试系统提供的SDK，然后按照其提供的接口发送客户端数据到服务器。

模块开关处理：SDK首先会请求后端模块开关处理程序，后者依据用户在Web前端设置的试验数量、每个试验分配的流量来计算产生模块开关。

计算方式为：参与试验a的设备数量＝试验a的流量*该客户端的总设备数量/总的试验流量，总的试验流量是100，然后以1为单位给试验分配流量。

服务器端tracker：接收客户端发送来的数据然后转化成JSON数据格式存储到kafka，JSON数据格式如下：

{"app_key":"asdfaf","client_id":"asdfasf","summary":{"key":"asdfasf","value":10},"custom":{"key":"asdfasf","value":10},"stats":[{"key":"asdfasf","value":10,"timestamp":123133,"experiment_ids":["1_a","2_b"]}]}。

kafka：开源的分布式消息系统，用于在AB测试系统接收客户端上报的数据并进行存储。

实时数据处理：实时的从kafka获取数据，然后依据均值、方差、求和、置信区间、变化显著性的计算规则计算每个试验的优化指标的数据。求和就是某个试验的优化指标上报数据的总和；均值就是优化指标的总和/参与这个试验的用户数；方差就是优化指标的平方和/参与这个试验的用户数-均值*均值。

置信区间计算方式如下：

ci＝1.96*√(方差/参与这个试验的用户数)

[均值-ci，均值+ci]

变化显著性计算方式如下：

变量定义：默认版本的优化指标a的均值x1，试验版本的优化指标a的均值x2，默认版本的优化指标a的方差v1,试验版本的优化指标a的方差v2，默认版本的参与设备数n1，试验版本的参与用户数n2

z_value＝(x2-x1)/√(v1/n1+v2/n2)

d1＝0.0498673470,d2＝0.0211410061,d3＝0.0032776263,d4＝0.0000380036,d5＝0.0000488906,d6＝0.0000053830

a＝|z_value|

t＝1.0+a*(d1+a*(d2+a*(d3+a*(d4+a*(d5+a*d6)))))

t＝t^4

t＝1.0/(t+t)；

如果z_value大于等于0则t＝1-t

如果t大于0.5则t＝1t，最终得到的t值就是变化显著性值

spark实时数据处理：计算过程和上文实时数据处理一样区别是这里采用了spark计算架构。

定时数据分析：通过每天定时运行，计算用户的App留存数据，计算方法为：昨天依然活跃的用户数/n天前来的新用户数。

实时非预定义统计：用户通过web前端提交临时统计条件到服务器，服务器通过impala运行sql来计算用户的临时统计需求，计算方法如同实时数据处理部分。

impala、hive、spark都是开源的基于Hadoop集群的计算引擎。

mongodb和redis是开源的数据库。

为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。

综上所述，借助于本发明的上述技术方案，通过基于数据驱动的AB测试产品优化方法，突破了对个人经验的依赖，并且通过数据挖掘实现了快速获取反馈，产品快速迭代优化，适用于互联网行业产品优化，广告行业产品优化，以及其他行业的可通过用户反馈数据收集分析进行的产品优化。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于数据驱动的AB测试方法，其特征在于，首先设定与网络平台一致的优化指标，并根据优化指标设定对应的迭代方案，建立模块开关控制迭代方案中的测试变量，收集用户的交互数据，对交互数据进行统计分析，依据数据分析结果判断迭代方案优劣。

2.根据权利要求1所述的基于数据驱动的AB测试方法，其特征在于，包括如下步骤：

步骤一，设定优化指标，并保证该优化指标与网络平台的优化指标一致；

步骤二，根据所述优化指标设计对应的迭代方案，并在所述迭代方案中明确测试变量；

步骤三，建立模块开关，通过该模块开关来控制所述测试变量；

步骤四，开发新模块，将创建完毕的所述优化指标和所述开关模块集成至程序代码中；

步骤五，上传所述交互数据到tracker服务器；

步骤六，对收集的所述交互数据进行统计分析，进而得出试验的试验报告，依照试验报告判断迭代方案的优劣。

3.根据权利要求2所述的基于数据驱动的AB测试方法，其特征在于，还包括创建试验，将选定好的模块开关和优化指标进行试运行，以获取试验数据。

4.根据权利要求3所述的基于数据驱动的AB测试方法，其特征在于，所述优化指标包括定义指标和复合指标。

5.根据权利要求4所述的基于数据驱动的AB测试方法，其特征在于，将交互数据进行统计分析后，可根据分析结果重新设计迭代方案。