CN111784173B

CN111784173B - Ab实验数据处理方法、装置、服务器及介质

Info

Publication number: CN111784173B
Application number: CN202010659019.2A
Authority: CN
Inventors: 李钢; 谢辉志; 彭博; 程大曦
Original assignee: Alipay Hangzhou Information Technology Co Ltd
Current assignee: Alipay Hangzhou Information Technology Co Ltd
Priority date: 2020-07-09
Filing date: 2020-07-09
Publication date: 2022-06-03
Anticipated expiration: 2040-07-09
Also published as: CN111784173A

Abstract

本说明书实施例公开一种AB实验数据处理方法、装置、服务器及介质，在所述方法中，将目标业务场景下的低响应用户数据划分为实验组数据以及对照组数据，并基于低响应用户在AB实验开始前的历史用户数据，对实验组数据以及对照组数据进行修正，得到对照组修正数据以及实验组修正数据，修正后数据的方差得到了缩减，提高了实验分析的灵敏度，基于对照组修正数据基于实验组修正数据，对AB实验的局部平均处理效果进行估计，确定AB实验的显著性，有效的估计出实际受到实验影响的用户的实验效果，有效改善低响应场景下实验效果被稀释的问题。

Description

AB实验数据处理方法、装置、服务器及介质

技术领域

本说明书实施例涉及计算机技术领域，尤其涉及一种AB实验数据处理方法、装置、服务器及介质。

背景技术

随着科学技术的不断发展，AB实验被应用到很多场景中，例如，某些应用的新功能在上线前通过AB实验在预估新功能上线后的效果，或者，为了提升特定指标，在产品的页面上增加新的板块，通过AB实验来检验指标是否提升。但在很多AB实验中，由于用户对实验因子的低响应现象，造成实验组用户被实验影响的比例过低，从而导致实验组和对照组之间的指标差异值低于实际值，使得实验效果被稀释。

发明内容

本说明书实施例提供一种AB实验数据处理方法、装置、服务器及介质。

第一方面，本说明书实施例提供一种AB实验数据处理方法，包括：

基于目标业务场景下的低响应用户的用户数据，确定AB实验的对照组数据以及实验组数据；

根据所述低响应用户在所述AB实验开始前的历史用户数据，对所述对照组数据以及所述实验组数据进行修正，得到对照组修正数据以及实验组修正数据；

基于所述对照组修正数据，以及所述实验组修正数据，对所述AB实验的局部平均处理效果进行估计，得到估计结果；

基于所述估计结果，确定所述AB实验的显著性。

第二方面，本说明书实施例提供一种AB实验数据处理装置，包括：

数据确定模块，用于基于目标业务场景下的低响应用户的用户数据，确定AB实验的对照组数据以及实验组数据；

数据修正模块，用于根据所述低响应用户在所述AB实验开始前的历史用户数据，对所述对照组数据以及所述实验组数据进行修正，得到对照组修正数据以及实验组修正数据；

处理模块，用于基于所述对照组修正数据，以及所述实验组修正数据，对所述AB实验的局部平均处理效果进行估计，得到估计结果；

显著性确定模块，用于基于所述估计结果，确定所述AB实验的显著性。

第三方面，本说明书实施例提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行上述AB实验数据处理方法的步骤。

第四方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述AB实验数据处理方法的步骤。

本说明书实施例有益效果如下：

本说明书实施例中的方案，将目标业务场景下的低响应用户数据划分为实验组数据以及对照组数据，并基于低响应用户在AB实验开始前的历史用户数据，对实验组数据以及对照组数据进行修正，得到对照组修正数据以及实验组修正数据，进一步的基于对照组修正数据基于实验组修正数据，对AB实验的局部平均处理效果进行估计，得到估计结果，进而根据估计结果确定AB实验的显著性。上述方案中，通过对实验组数据以及对照组数据进行修正，降低了数据方差，提高了实验分析的灵敏度，通过局部平均处理效果来估计那些实际受到影响的用户的实验效果，能够有效改善低响应场景下实验效果被稀释的问题，准确的反映实验是否有效，为实验决策提供了数据基础，避免了由于实验效果被稀释导致的对实验的反复修改以及检验的过程，大大节约了实验资源。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本说明书实施例第一方面提供的一种AB实验数据处理方法的流程图；

图2为本说明书实施例第二方面提供的一种AB实验数据处理装置的示意图；

图3为本说明书实施例第三方面提供的服务器的示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。

第一方面，本说明书实施例提供一种AB实验数据处理方法，如图1所示，为本说明书实施例提供的一种AB实验数据处理方法的流程图，该方法包括以下步骤：

步骤S12：基于目标业务场景下的低响应用户的用户数据，确定AB实验的对照组数据以及实验组数据；

步骤S14：根据所述低响应用户在所述AB实验开始前的历史用户数据，对所述对照组数据以及所述实验组数据进行修正，得到对照组修正数据以及实验组修正数据；

步骤S16：基于所述对照组修正数据，以及所述实验组修正数据，对所述AB实验的局部平均处理效果进行估计，得到估计结果；

步骤S18：基于所述估计结果，确定所述AB实验的显著性。

本说明书实施例中提供的AB实验数据处理方法，可以应用在服务器中，也可以应用在终端设备中。该方法适用于各种存在的低响应率的场景中，用于改善实验效果被稀释的问题。应说明的是，低响应率是针对用户群体而言的整体响应率，例如，在划分实验分组时，对于划分到同一组的用户来说，若该组响应用户的比例整体低于一个预设值，则认为该组的用户为低响应用户。

举例来讲，当一组用户登录某应用程序的平均次数小于预设登录次数时，该组用户为应用程序登录场景下的低响应用户。或者，当一组用户针对某应用程序的点击率低于预设点击率时，该组用户为应用程序低点击率场景下的低响应用户。

在一个实施例中，支付应用A在某个页面增加了针对低活跃度的低响应用户的特惠活动区块，通过AB实验来预测该活动区块是否能提高低响应用户的活跃度。实验组展示活动区块，对照组不展示，但是业务认为活动区域的曝光并没有真正影响用户，因为这些低响应用户可能没有注意到这个活动区块。只有用户发生点击行为后，才认为用户受到了该活动区块的影响。该实验的目的是准确的衡量点击行为是否对低响应用户的活跃度造成显著影响。但是，由于分到实验组的用户本身因为是低响应用户，所以发生点击的概率较低，直接使用全体曝光用户来比较，即使该实验有效果也被稀释了。本说明书实施例提提供的方法可以用于解决上述实验效果被稀释的问题。

首先，在步骤S12中，目标业务场景可以根据实际需要进行设定，例如，目标业务场景可以为支付应用A的用户登录场景，也可以为支付应用A的用户消费场景。以目标业务场景为支付应用A的用户登录场景为例，该场景下用户的响应度为使用支付应用A时的点击率，获取该场景下的用户群体，如果获取到的用户群体的整体点击率小于预设值，或者用户群体的平均登录天数小于预设值，则用户群体中的用户均为低响应用户。应理解的是，预设值可以根据实际情况来进行设置，这里不做限定。

为了更好的理解本说明书实施例中的AB实验数据处理方法，下面以AB实验为测试支付应用A的特定区块的点击对登录次数的拉动作用为例，来进行说明。

本说明书实施例中，用户数据至少包括与AB实验相关的实验指标数据以及响应指标数据，其中，实验指标数据可以为衡量实验效果的数据，用于表示AB实验所关心的结果；响应指标数据可以为用于表示用户是否接受某种处理的指标数据。在本实施例中，用户数据包括用户在AB实验期间的登录天数、以及用户在AB实验期间的点击率。其中，登录天数为实验指标数据，点击率为响应指标数据。当然，根据AB实验的内容不同，实验指标数据和响应指标数据也会不同，这里不做限定。

在进行实验组数据以及对照组数据划分时，可以通过多种方式来实现，本说明书实施例中，可以通过以下方式划分：对所述低响应用户的用户数据进行随机分流，确定所述对照组数据以及所述实验组数据。

具体来讲，通过随机分流得到的分流结果可以看做是一个辅助变量，该实施例中AB实验对应的辅助变量(Instrumental Variable，IV)为是否展示特定区块，对是否展示特定区块进行随机分流，其中，实验组展示特定区块，对照组不展示特定区块。

为了降低实验组数据以及对照组数据的方差，增加实验效果的显著性，改善被稀释的实验效果，本说明书实施例中，通过步骤S14，采用实验前的历史用户数据对实验期间的用户数据进行修正，在保证均值无偏的前提下，得到方差更低、更敏感的实验指标数据。

在具体实施过程中，历史用户数据可以根据实际需要进行选择，例如选择预定时间内的用户数据作为历史用户数据。在一种实施方式中，可以采用以下方式来实现：确定所述AB实验的实验时间长度；基于所述实验时间长度，确定所述低响应用户在所述AB实验开始前与所述实验时间长度等长的历史时长内产生的用户数据，作为所述历史用户数据。

具体来讲，AB实验需要采集用户在一个月内产生的用户数据，那么AB实验的实验时间长度为一个月，确定AB实验开始前一个月内统计到的相同用户产生的用户数据，作为历史用户数据。由于实验前的用户数据的方差是已知的，且和当前实验本身无关，因此能够合理的移除实验期间的用户数据的方差而不会影响到实验效果。

进一步的，步骤S14可以通过以下方式实现：基于所述历史用户数据的实验指标数据，分别对所述对照组数据以及所述实验组数据中的实验指标数据进行修正，得到实验指标数据修正后的对照组数据，作为所述对照组修正数据，以及得到实验指标数据修正后的实验组数据，作为所述实验组修正数据。

在具体实施过程中，可以采用CUPED(Controlled-experiment Using Pre-Experiment Data)来进行实验指标数据的修正。具体来讲，在执行CUPED时，用X表示用户在实验期间的实验指标数据(如登录天数)，包含用户数据x₁～x_n，用Y来表示进入实验前，相同用户在与实验时间长度等长的历史时长内产生的数据(如登录天数)，包含历史用户数据y₁～y_n，修正后的实验指标数据Z可以表示为：

Z＝X-θY

其中，θ为系数，Z的方差为：

Var(Z)＝Var(X-θY)

＝Var(X)+θ²Var(Y)-2θCov(X,Y)

使得方差最小的θ满足一阶条件：

因此，可以得到：

通过上述方式，可以得到修正后的实验指标数据，针对实验组数据和对照组数据，可以分别采用上述方式，根据各组用户的历史用户数据的实验指标数据，对各组的实验指标数据进行修正，得到实验组修正数据以及对照组修正数据。进一步采用实验组修正数据以及对照组修正数据，执行局部平均处理效果(Local Average Treatment Effect，LATE)的计算。

本说明书实施例中，局部平均处理效果可以通过以下方式进行计算：

其中，在本实施例中，LATE为AB实验的局部平均处理效果，Y₁为实验组人均登录天数，Y₀为对照组的人均登录天数，D₁为实验组的点击率，D₀为对照组的点击率，LATE、Y₁、Y₀、D₁、D₀均为估计量，Y₁、Y₀为根据修正后的实验指标数据得到的估计量。

进一步，在得到LATE之后，对LATE进行显著性检验，显著性检测可以通过方差估计、T检验等方式进行确定，这里不做限定。在计算局部平均处理效果之后，可以得到一个点估计和一个区间估计，本说明书实施例中，如果区间估计不包含0，则表明统计显著，如果包含0，则表明不显著。如果实验效果显著，则本实施例中展示特定区块能够显著提高低响应人群的活跃度，显著提升了低响应人群的登录次数。如果实验效果不显著，则可以进一步的根据倾向得分模型进行定向圈人，将点击占比提高，从而缓解估计偏差。

在具体实施过程中，倾向得分可以通过以下方式来实现：在所述AB实验的显著性为非统计显著时，获取所述低响应用户的目标特征数据；基于所述目标特征数据，以及预设的倾向分评估模型，确定每个低响应用户针对所述AB实验的倾向得分；基于所述每个低响应用户的倾向得分，将所述低响应用户进行人群划分，得到N组实验分组数据以及与每组实验分组数据相匹配的对照分组数据，N为大于1的整数；基于所述每组实验分组数据以及与所述每组实验分组数据相匹配的对照分组数据，确定所述AB实验的显著性。

本说明书实施例中，低响应用户的目标特征数据可以包括用户的基本特征，如性别、年龄等，用户的行为特征，如用户的登录次数，还可以包括用户的其他特征数据，这里不做限定。

将用户的目标特征数据输入到预设的倾向分评估模型中，得到每个低响应用户的倾向得分。预设的倾向分评估模型是预先训练好的模型，该模型可以是逻辑回归模型或xgboost模型，本说明书实施例中，在进行倾向分评估模型的训练时，可以将采集到的低响应用户的目标特征数据作为模型的训练数据，将用户是否点击特定区块作为标签，根据上述训练数据和标签进行模型训练，以得到训练好的预设的倾向分评估模型。在预设的倾向分评估模型的使用过程中，输入低响应用户的目标特征数据，能够得到低响应用户点击特定区块的概率，并将其作为该用户的倾向得分。

在得到每个低响应用户的倾向得分后，进行人群划分，本说明书实施例中，为了保证后续估计的无偏性，可以根据AB实验的实际响应率来进行人群划分。举例来讲，在AB实验中实验组用户实际的点击率为10％，基于实际的点击率来确定多个人群覆盖率的阈值，例如，基于实际响应率确定最大阈值，如最大阈值为实际响应率的2倍，即覆盖率为20％，然后根据预设的分组数进行等分，例如，预设的分组数为5，则覆盖率为1％、5％、10％、15％、20％，将倾向得分从高到低进行排序，选取上述不同覆盖率作为阶段策略，进行人群划分，分别得到实验分组数据以及对照分组数据。当然，还可以通过其他方式来确定实验分组数据以及对照分组数据，这里不做限定。

进一步的，在得到多组实验分组数据以及对照分组数据之后，针对所述每组实验分组数据，以及与所述每组实验分组数据相匹配的对照分组数据，对所述AB实验的局部平均处理效果进行估计，得到分组估计结果，共计得到N个分组估计结果；对所述N个分组估计结果进行融合，得到融合后的目标估计结果，并基于所述目标估计结果，确定所述AB实验的显著性。

具体来讲，针对每组实验分组数据以及与其相匹配的对照组分组数据来说，进行局部平均处理效果估计时，可以重复执行上述CUPED以及LATE的处理过程，

针对每组实验分组数据以及与其相匹配的对照分组数据，进行局部平均处理效果估计，当然，也可以重复执行上述CUPED以及LATE的处理过程，即对实验指标进行修正，然后计算局部平均处理效果，作为与该组人群的分组估计结果，共计得到N个分组估计结果。

进一步的，对N个分组估计结果进行信息融合，每个分组估计结果包括区间估计结果和/或点估计结果，信息融合的方式可以根据实际需要进行选择。本说明书实施例中，可以采用多传感器信息融合，在融合时，可以选取各自的方差的倒数作为加权系数。以两个分组估计结果为例，多传感器信息融合可以通过以下公式来实现：

其中，x₃为融合后的目标估计结果，x₁和x₂分别对应两个分组的分组估计结果，δ₁和δ₂分别对应两个分组的标准差，

本说明书实施例中，如果最终的区间估计中包含0，则表明实验在响应指标(是否点击特定区块)的差异上是统计不显著的，如果不包含0，则表明在该指标上的差异是统计显著的。

进一步的，本说明书实施例中，在基于最终得到的估计结果，确定AB实验的显著性之后，还包括：若AB实验存在显著性，则执行AB实验对应的实验决策，若AB实验不存在显著性，则停止执行AB实验对应的实验决策。

具体来讲，仍以上述AB实验为测试支付应用A的特定区块的点击对登录次数的拉动作用为例，该AB实验的实验决策为在支付应用A中展示特定区块，如果过上述方法得到的估计结果表明该AB实验存在显著性，则执行在支付应用A中展示特定区块的决策，若不存在显著性，则表明特定区块对低响应用户的登录次数没有显著作用，此时停止在支付应用A中展示特定区块。

综上所述，本说明书实施例中的方案，通过局部平均处理效果来估计那些实际受到指标影响的用户的实验效果，通过CUPED来降低方差，提高实验分析的灵敏度，以及通过倾向分评估模型来预测低响应用户是否会接收实验处理的概率，利用倾向得分进行定向圈人，将点击占比提高，从而缓解估计误差。可见，本说明书实施例中的方案能够有效改善低响应场景下实验效果被稀释的问题，准确的反映实验是否有效，为实验决策提供了数据基础。另外，由于本说明书实施例中的方案能够有效改善被稀释的实验效果，避免了由于实验效果被稀释导致的对实验的反复修改以及检验的过程，大大节约了实验资源。

第二方面，基于同一发明构思，本说明书实施例提供一种AB实验数据处理装置，请参考图2，该装置包括：

数据确定模块21，用于基于目标业务场景下的低响应用户的用户数据，确定AB实验的对照组数据以及实验组数据；

数据修正模块22，用于根据所述低响应用户在所述AB实验开始前的历史用户数据，对所述对照组数据以及所述实验组数据进行修正，得到对照组修正数据以及实验组修正数据；

处理模块23，用于基于所述对照组修正数据，以及所述实验组修正数据，对所述AB实验的局部平均处理效果进行估计，得到估计结果；

显著性确定模块24，用于基于所述估计结果，确定所述AB实验的显著性。

在一种可选实现方式中，数据确定模块21，用于：

对所述低响应用户的用户数据进行随机分流，确定所述对照组数据以及所述实验组数据。

在一种可选实现方式中，所述装置还包括：

时长确定模块，用于确定所述AB实验的实验时间长度；

历史数据确定模块，用于基于所述实验时间长度，确定所述低响应用户在所述AB实验开始前与所述实验时间长度等长的历史时长内产生的用户数据，作为所述历史用户数据。

在一种可选实现方式中，所述低响应用户的数据包括实验指标数据，数据修正模块22，用于：

基于所述历史用户数据的实验指标数据，分别对所述对照组数据以及所述实验组数据中的实验指标数据进行修正，得到实验指标数据修正后的对照组数据，作为所述对照组修正数据，以及得到实验指标数据修正后的实验组数据，作为所述实验组修正数据。

在一种可选实现方式中，所述装置还包括：

特征获取模块，用于在所述AB实验的显著性为非统计显著时，获取所述低响应用户的目标特征数据；

倾向得分获取模块，用于基于所述目标特征数据，以及预设的倾向分评估模型，确定每个低响应用户针对所述AB实验的倾向得分；

人群划分模块，用于基于所述每个低响应用户的倾向得分，将所述低响应用户进行人群划分，得到N组实验分组数据以及与每组实验分组数据相匹配的对照分组数据，N为大于1的整数；

检测模块，用于基于所述每组实验分组数据以及与所述每组实验分组数据相匹配的对照分组数据，确定所述AB实验的显著性。

在一种可选实现方式中，所述检测模块，用于：

针对所述每组实验分组数据，以及与所述每组实验分组数据相匹配的对照分组数据，对所述AB实验的局部平均处理效果进行估计，得到分组估计结果，共计得到N个分组估计结果；

对所述N个分组估计结果进行信息融合，得到融合后的目标估计结果，并基于所述目标估计结果，确定所述AB实验的显著性。

关于上述装置，其中各个模块的具体功能已经在本说明书实施例提供的AB实验数据处理方法的实施例中进行了详细描述，此处将不做详细阐述说明。

第三方面，基于与前述实施例中AB实验数据处理方法同样的发明构思，本说明书实施例还提供一种服务器，如图3所示，包括存储器404、处理器402及存储在存储器404上并可在处理器402上运行的计算机程序，所述处理器402执行所述程序时实现前文所述AB实验数据处理方法的步骤。

其中，在图3中，总线架构(用总线400来代表)，总线400可以包括任意数量的互联的总线和桥，总线400将包括由处理器402代表的一个或多个处理器和存储器404代表的存储器的各种电路链接在一起。总线400还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口406在总线400和接收器401和发送器403之间提供接口。接收器401和发送器403可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器402负责管理总线400和通常的处理，而存储器404可以被用于存储处理器402在执行操作时所使用的数据。

第四方面，基于与前述实施例中基于AB实验数据处理方法的发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述AB实验数据处理方法中的步骤。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。

显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims

1.一种AB实验数据处理方法，所述方法包括：

基于目标业务场景下的低响应用户的用户数据，确定AB实验的对照组数据以及实验组数据，其中，在划分实验分组时，针对划分到同一组的用户，若该组响应用户的比例低于预设值，则该组的用户为所述低响应用户；

基于所述估计结果，确定所述AB实验的显著性。

2.根据权利要求1所述的方法，所述基于目标业务场景下的低响应用户的用户数据，确定AB实验的对照组数据以及实验组数据，包括：

3.根据权利要求1所述的方法，所述根据所述低响应用户在所述AB实验开始前的历史用户数据，对所述对照组数据以及所述实验组数据进行修正，得到对照组修正数据以及实验组修正数据之前，所述方法还包括：

确定所述AB实验的实验时间长度；

基于所述实验时间长度，确定所述低响应用户在所述AB实验开始前与所述实验时间长度等长的历史时长内产生的用户数据，作为所述历史用户数据。

4.根据权利要求1所述的方法，所述低响应用户的数据包括实验指标数据，所述根据所述低响应用户在所述AB实验开始前的历史用户数据，对所述对照组数据以及所述实验组数据进行修正，得到对照组修正数据以及实验组修正数据，包括：

5.根据权利要求1所述的方法，所述确定所述AB实验的显著性之后，所述方法还包括：

在所述AB实验的显著性为非统计显著时，获取所述低响应用户的目标特征数据；

基于所述目标特征数据，以及预设的倾向分评估模型，确定每个低响应用户针对所述AB实验的倾向得分；

基于所述每个低响应用户的倾向得分，将所述低响应用户进行人群划分，得到N组实验分组数据以及与每组实验分组数据相匹配的对照分组数据，N为大于1的整数；

基于所述每组实验分组数据以及与所述每组实验分组数据相匹配的对照分组数据，确定所述AB实验的显著性。

6.根据权利要求5所述的方法，所述基于所述每组实验分组数据以及与所述每组实验分组数据相匹配的对照分组数据，确定所述AB实验的显著性，包括：

7.一种AB实验数据处理装置，所述装置包括：

数据确定模块，用于基于目标业务场景下的低响应用户的用户数据，确定AB实验的对照组数据以及实验组数据，其中，在划分实验分组时，针对划分到同一组的用户，若该组响应用户的比例低于预设值，则该组的用户为所述低响应用户；

8.根据权利要求7所述的装置，所述数据确定模块，用于：

9.根据权利要求7所述的装置，所述装置还包括：

时长确定模块，用于确定所述AB实验的实验时间长度；

10.根据权利要求7所述的装置，所述低响应用户的数据包括实验指标数据，所述数据修正模块，用于：

11.根据权利要求7所述的装置，所述装置还包括：

12.根据权利要求11所述的装置，所述检测模块，用于：

13.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。