CN108415845B

CN108415845B - Ab测试系统指标置信区间的计算方法、装置和服务器

Info

Publication number: CN108415845B
Application number: CN201810266136.5A
Authority: CN
Inventors: 敖红波; 杨水石; 黄柏翔
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2018-03-28
Filing date: 2018-03-28
Publication date: 2019-05-31
Anticipated expiration: 2038-03-28
Also published as: CN108415845A

Abstract

本发明涉及计算机技术领域，公开了一种AB测试系统指标置信区间的计算方法、装置和服务器。该AB测试系统指标置信区间的计算方法包括以下步骤：将AB测试系统管理的流量进行第一预设值次全局划分，得到各次全局划分下对应分成的若干个组，所述各次全局划分之间相互平行；计算各次全局划分对应的若干个组对应的指标值，得到各次全局划分相应数量的若干个数值；根据从各次全局划分的若干数值中随机抽取的数值，得到各次全局划分中第二预设值个分组大小对应的差异值；合并各次全局划分中所述第二预设值个分组大小对应的差异值；根据合并后的差异值，得到置信区间。本发明提高了置信区间本身的准确性，对AB测试系统指标变化的置信程度提供更可靠的支持。

Description

AB测试系统指标置信区间的计算方法、装置和服务器

技术领域

本发明涉及计算机技术领域，特别是涉及一种AB测试系统指标置信区间的计算方法、装置和服务器。

背景技术

随着互联网应用的深入发展，人类逐渐从信息匮乏的时代迈进了信息大爆炸的新纪元，互联网上浩如烟海的新闻咨询以及玲琅满目的视频信息让徜徉在网络世界中的人们无从选择。信息大爆炸的时代背景下，有效和无效信息并存，这导致人们获取对自己有益信息的代价大增，因此如何更加准确的帮助用户获取到有益信息成了互联网时代核心技术之一，也正是在这个大背景下，推荐系统应运而生了。推荐系统的核心使命就是尽最大可能给用户提供其喜欢的或对其有益的信息，避免用户被淹没在无效信息的海洋中。推荐系统在互联网新闻，短视频，电子商务等领域应用广泛，是一种动态变化的系统，通过获取用户对系统所推荐内容的行为信息，不断优化内部策略和算法，提升推荐质量和用户体验，使用户受益。其中，推荐系统推荐质量的优化是通过不间断的算法和策略迭代来实现的，而算法和策略的迭代又是通过AB测试来完成的。AB测试指在推荐系统中有算法A和B，想要评估A和B两个算法哪个效果更好，需要先定义一系列指标，例如点击率等，然后通过在不同用户组上分别使用算法A和算法B进行线上内容推荐，并且评估使用了特定算法的组中的指标值，用来判断算法A和算法B孰优孰劣。AB测试是一种评估算法或策略效果，实现算法或策略迭代的核心方法，AB测试系统正是实施AB测试方案的一种系统。使用AB测试系统的实验实施者提供可靠的指标数据用于判断不同用户组上所采用的算法的优劣。由于不同用户组在使用AB测试系统中，不同用户组上的指标数值可能产生完全相反的变化趋势，则使得无法直接根据不同用户组上的指标数值变化来用来判断算法A和算法B孰优孰劣。

对于上述问题，在现有技术中，将置信区间应用在AB测试系统的指标分析中，通过分别计算各个指标的变化率的置信区间，可以获得各个指标的变化率的置信度，通过各个指标差异的置信度来判断哪一个指标的变化率才更加可信，进而用以判断算法A和算法B孰优孰劣。而置信区间的计算方法有两种，其一在实际的AB测试中，由于需要求取置信区间的指标的分布在一般情况下未知，则首先需要先假定一个总体分布，然后通过统计学方法得到一个指标满足的复杂分布，再构造统计量，获得相关参数，但实际情况中，各自服从的指标分布可能有差异，因此无法用统一的解决方案求解所有指标的置信区间，而需要逐个指标按照特定情况计算，成本极大，使用也不方便；其二采用bootstrap方法，用经验分布去近似真正的分布，但该方法针对AB测试只在开始时进行一次全局流量划分，然后以该划分为标准进行后续置信区间的计算，使得采用模拟的指标的经验分布求得的置信区间偏窄，导致指标值在不进行任何实验策略改进的两个正交分组中的差异较为显著，容易误导了实验实施者对指标差异可信程度的判定。

对此，亟需提出一种求取高准确度置信区间的方法。

发明内容

本发明提供AB测试系统指标置信区间的计算方法、装置和服务器，提高了置信区间本身的准确性，对AB测试系统指标变化的置信程度提供更可靠的支持。

第一方面，本发明提供了一种AB测试系统指标置信区间的计算方法，包括以下步骤：

将AB测试系统管理的流量进行第一预设值次全局划分，得到各次全局划分下对应分成的若干个组，所述各次全局划分之间相互平行；

计算各次全局划分对应的若干个组对应的指标值，得到各次全局划分相应数量的若干个数值；

根据从各次全局划分的若干数值中随机抽取的数值，得到各次全局划分中第二预设值个分组大小对应的差异值；

合并各次全局划分中所述第二预设值个分组大小对应的差异值；

根据合并后的差异值，得到置信区间。

结合第一方面，本发明在第一方面的第一种实施方式中，所述合并各次全局划分中所述第二预设值个分组大小对应的差异值，包括以下步骤：

整合各次全局划分中所述第二预设值个分组大小对应的差异值，获得第三预设值个分组大小对应的差异值；

将所述第三预设值个分组大小对应的差异值升序排列，获得数列；

其中，所述第三预设值为第一预设值*第二预设值。

结合第一方面的第一种实施方式，本发明在第一方面的第二种实施方式中，所述根据各次全局划分中所述第二预设值个分组大小对应的差异值合并后的数值，得到置信区间，包括以下步骤：

将置信水平乘以所述第三预设值，取整后得到的数值作为索引值；

将根据所述索引值在所述数列中查找到的差异值，作为所述置信水平对应的差异值；

根据所述置信水平对应的差异值，得到置信区间。

结合第一方面，本发明在第一方面的第三种实施方式中，所述根据从各次全局划分的若干数值中随机抽取的数值，得到各次全局划分中第二预设值个分组大小对应的差异值，包括以下步骤：

根据从各次全局划分的若干个数值中随机抽取的数值，得到各次全局划分中单个分组大小对应的差异值；

循环所述根据从各次全局划分的若干个数值中随机抽取的数值，计算各次全局划分中单个分组大小对应的差异值的步骤，直至得到各次全局划分中第二预设值个分组大小对应的差异值。

结合第一方面的第三种实施方式，本发明在第一方面的第四种实施方式中，所述根据从各次全局划分的若干个数值中随机抽取的数值，计算各次全局划分中单个分组大小对应的差异值，包括以下步骤：

对从各次全局划分的若干个数值中随机抽取第四预设值个数值求和，得到各次全局划分中的第一样本和；

对从各次全局划分的剩余的若干个数值中随机抽取第四预设值个数值求和，得到各次全局划分的第二样本和；

将1减(第二样本和除以第一样本和)的值作为各次全局划分中单个分组大小对应的差异值。

结合第一方面，本发明在第一方面的第五种实施方式中，所述将AB测试系统管理的流量进行第一预设值次平行的全局划分中，各次全局划分均将全部用户划分到不同的组中，且每个用户只属于一个组。

第二方面，本发明提供一种AB测试系统指标置信区间的计算装置，包括以下模块：

划分模块，用于将AB测试系统管理的流量进行第一预设值次全局划分，得到各次全局划分下对应分成的若干个组，所述各次全局划分之间相互平行；

第一计算模块，用于计算各次全局划分对应的若干个组对应的指标值，得到各次全局划分相应数量的若干个数值；

第二计算模块，用于根据从各次全局划分的若干数值中随机抽取的数值，得到各次全局划分中第二预设值个分组大小对应的差异值；

合并模块，用于合并各次全局划分中所述第二预设值个分组大小对应的差异值；

第三计算模块，用于根据合并后的差异值，得到置信区间。

结合第二方面，本发明在第二方面的第一种实施方式中，所述合并模块包括以下单元：

整合单元，用于整合各次全局划分中所述第二预设值个分组大小对应的差异值，获得第三预设值个分组大小对应的差异值；

排序单元，用于将所述第三预设值个分组大小对应的差异值升序排列，获得数列；

其中，所述第三预设值为第一预设值*第二预设值。

结合第二方面的第一种实施方式，本发明在第二方面的第二种实施方式中，所述第三计算模块包括以下单元：

索引单元，用于将置信水平乘以所述第三预设值，取整后得到的数值作为索引值；

查找单元，用于将根据所述索引值在所述数列中查找到的差异值，作为所述置信水平对应的差异值；

计算单元，用于根据所述置信水平对应的差异值，得到置信区间。

结合第二方面，本发明在第二方面的第三种实施方式中，所述第二计算模块包括以下单元：

差异值计算单元，用于根据从各次全局划分的若干个数值中随机抽取的数值，得到各次全局划分中单个分组大小对应的差异值；

循环单元，用于循环所述根据从各次全局划分的若干个数值中随机抽取的数值，计算各次全局划分中单个分组大小对应的差异值的步骤，直至得到各次全局划分中第二预设值个分组大小对应的差异值。

结合第二方面的第三种实施方式，本发明在第二方面的第四种实施方式中，所述差异值计算单元包括以下子单元：

第一求和子单元，用于对从各次全局划分的若干个数值中随机抽取第四预设值个数值求和，得到各次全局划分中的第一样本和；

第二求和子单元，用于对从各次全局划分的剩余的若干个数值中随机抽取第四预设值个数值求和，得到各次全局划分的第二样本和；

差异值计算子单元，用于将1减(第二样本和除以第一样本和)的值作为各次全局划分中单个分组大小对应的差异值。

结合第二方面，本发明在第二方面的第五种实施方式中，所述划分模块包括用于将AB测试系统所管理的流量进行第一预设值次全局划分，其中各次全局划分均将全部用户划分到不同的组中，且每个用户只属于一个组。

第三方面，本发明提供一种服务器，包括存储器以及处理器，所述存储器用于存储计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的AB测试系统指标置信区间的计算方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述的AB测试系统指标置信区间的计算方法。

与现有技术相比，本发明至少具有以下优点：

1.在本发明提供的AB测试系统指标置信区间的计算方法、装置和服务器中，将AB测试系统管理的流量进行第一预设值次全局划分，得到各次全局划分下对应分成的若干个组，所述各次全局划分之间相互平行，并且以该分组情况作为后续的置信区间的计算基础。其中，对AB测试系统管理的流量进行多次全局划分，且各次全局划分之间相互平行，降低了单次全局划分的随机性，减轻了实际情况下单次全局划分对置信区间计算结果的影响，提高了置信区间计算的准确性。

2.在本发明提供的AB测试系统指标置信区间的计算方法、装置和服务器中，将各次全局划分中所述第二预设值个分组大小对应的差异值合并，并根据合并后的差异值，得到置信区间。其中，将各次全局划分中所述第二预设值个分组大小对应的差异值合并，增加了样本数的同时，将各次全局划分中相互平行独立的指标值，通过合并产生了联系，该方法简单易行，同时减轻了实际情况下单次全局划分下划分随机性的各相互平行独立的指标值对置信区间计算结果的影响，提高了置信区间计算的准确性，且对AB测试系统指标变化的置信程度提供更可靠的支持。具体地，本发明对指标差异分布的模拟更加接近实际应用中的情况，使得基于该模拟分布得到的置信区间更加符合实际，克服了未进行任何策略改动的两个正交分组之间的差异值突破置信区间的显著性判定边界的问题，使得置信区间本身更加准确。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例一的第一种方法流程图；

图2是本发明实施例一的第二种方法流程图；

图3是本发明实施例一的第三种方法流程图；

图4是本发明实施例一的第四种方法流程图；

图5是本发明实施例二的第一种模块框图；

图6是本发明实施例二的第二种模块框图；

图7是本发明实施例二的第三种模块框图；

图8是本发明实施例二的第四种模块框图；

图9是本发明实施例二的第五种模块框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通讯方式实现通讯，包括但不限于，基于3GPP、LTE、WIMAX的移动通讯、基于TCP/IP、UDP协议的计算机网络通讯以及基于蓝牙、红外传输标准的近距无线传输方式。

下面结合附图对本发明所提供的AB测试系统指标置信区间的计算方法、装置和服务器的具体实施方式进行详细介绍。在此，本发明的示意性实施例及其说明用于解释本发明，但不作为对本发明的限定。

实施例一

结合图1，本发明实施例提供一种AB测试系统指标置信区间的计算方法，包括以下步骤：

S01将AB测试系统管理的流量进行第一预设值次全局划分，得到各次全局划分下对应分成的若干个组，所述各次全局划分之间相互平行；

其中，AB测试系统主要负责管理流量分配和相应的指标计算等任务，其流量分配主要是通过多重正交实现，多重正交实现划分是将AB测试系统所管理的流量进行多次全局划分。在本实施例中，对AB测试系统管理的流量进行第一预设值次全局划分，其中每一次全局划分均将全部用户划分到不同的组中，且每个用户只属于一个组，组内用户之间互不干扰；各次全局划分之间相互平行，即相同的用户在多次平行的划分中可以同时存在，大量用户行为的统计结果在多个平行划分中互不干扰。

具体地，所述将AB测试系统管理的流量进行第一预设值次平行的全局划分其，中各次全局划分均将全部用户划分到不同的组中，且每个用户只属于一个组。

在本实施例中，假设第一预设值为M，而将AB测试系统所管理的流量进行一次全局划分，分成的若干个组，优选为分成100*10ⁿ个组(n为非负偶数，一般取0或者2)，将第一次全局划分标记为M₁，最后一次全局划分标记为M_M，则在步骤S01中得到的各次全局划分下对应分成的若干个组的关系可表述如表1：

全局划分次数	各对应分成的组的数量
		M<sub>1</sub>	100*10<sup>n</sup>个
M<sub>2</sub>	100*10<sup>n</sup>个
		…	…
M<sub>M</sub>	100*10<sup>n</sup>个

表1各次全局划分与对应分成的各个组之间的数值关系列表

S02计算各次全局划分对应的若干个组对应的指标值，得到各次全局划分相应数量的若干个数值；

其中，AB测试系统的指标计算主要是将采用了不同算法的用户组上的指标值计算出来。在本实施例中，指标值的计算为在预先定义一系列指标的情况下，如点击率等，通过不同用户组上分别使用算法A和算法B进行线上内容推荐，而计算出对应特定算法的用户组的指标值。该指标值表征在AB测试系统中不同用户组分别使用算法A和算法B对应的测试结果。所述计算各次全局划分对应的若干个组对应的指标值中，由于各次全局划分对应的若干个组中包括有采用了A算法的用户组，也有采用了B算法的用户组，所以对应计算得出的指标值包括了采用A算法和B算法计算而得的数值。其中，一个用户组对应一个指标值，一个指标值对应一个数值。

继续沿用步骤S01中的例子进行说明，每一次全局划分对应具有100*10ⁿ个组，而一个组对应计算得出一个对应的指标值，即每一次全局划分下对应得到100*10ⁿ个数值，关系如表2：

全局划分次数	各对应分成的组的数量	对应的指标值的数量
			M<sub>1</sub>	100*10<sup>n</sup>个	100*10<sup>n</sup>个
M<sub>2</sub>	100*10<sup>n</sup>个	100*10<sup>n</sup>个
			…	…	…
M<sub>M</sub>	100*10<sup>n</sup>个	100*10<sup>n</sup>个

表2各次全局划分下，各分组与对应的指标值之间的数值关系列表

进一步地，在本实施例中，为便于举例，将上述各指标值对应的数值通过X₁，X₂，X₃…X_m(m＝1，2，3…100*10ⁿ)记录。

S03根据从各次全局划分的若干数值中随机抽取的数值，得到各次全局划分中第二预设值个分组大小对应的差异值；

具体地，结合图2，步骤S03所述根据从各次全局划分的若干数值中随机抽取的数值，得到各次全局划分中第二预设值个分组大小对应的差异值，包括以下步骤：

S031根据从各次全局划分的若干个数值中随机抽取的数值，得到各次全局划分中单个分组大小对应的差异值；

进一步地，结合图3，步骤S031所述根据从各次全局划分的若干个数值中随机抽取的数值，得到各次全局划分中单个分组大小对应的差异值，包括以下步骤：

S0311对从各次全局划分的若干个数值中随机抽取第四预设值个数值求和，得到各次全局划分中的第一样本和；优选地，所述第四预设值小于所述各次全局划分的若干个数值。

其中，所述从各次全局划分的若干数值中随机抽取第四预设值个数值为在步骤S02中各次全局划分对应的X₁，X₂，X₃…X_m(m＝1，2，3…100*10ⁿ)各数值中抽取第四预设值个数值。在本实施例中，为便于举例，将所述第四预设值采用k*10ⁿ(n取流量划分时的数值n，k取自然数，且k<100)记录。

假设在某一次全局划分中，步骤S0311中对若干个数值进行随机抽取，抽取到了X₁…X_x(1<x<m)，则对其各个数值求和，形成第一样本和S₁。

S0312对从各次全局划分的剩余的若干个数值中随机抽取第四预设值个数值求和，得到各次全局划分的第二样本和；

具体地，所述从各次全局划分的剩余的若干个数值中随机抽取第四预设值个数值为将步骤S0311中已抽取过的数值排除后，从剩余的若干个数值中随机抽取第四预设值个数值。其中，每一次全局划分对应的步骤S0311和步骤S0312中在若干个数值中随机抽取出的数量相同。亦即，在步骤S0312中，所述第四预设值仍可采用k*10ⁿ(n取流量划分时的数值n，k取自然数，且k<100)记录。对其从各次全局划分的剩余的若干个数值中随机抽取的第四预设值个数值求和得第二样本和S₂。

S0313将1减(第二样本和除以第一样本和)的值作为各次全局划分中单个分组大小对应的差异值。

具体地，结合上述举例，所述单个分组大小的差异值=其作为各次全局划分中，一次抽样的差异百分比。

S032循环所述根据从各次全局划分的若干个数值中随机抽取的数值，计算各次全局划分中单个分组大小对应的差异值的步骤，直至得到各次全局划分中第二预设值个分组大小对应的差异值。

具体地，所述环所述根据从各次全局划分的若干个数值中随机抽取的数值，计算各次全局划分中单个分组大小对应的差异值的步骤，直至得到各次全局划分中第二预设值个分组大小对应的差异值为循环执行步骤S0311、S0312、S0313第二预设值次最终使得每一次全局划分中，均得到第二预设值个分组大小为的差异值。其中，结合上述举例，在本实施例中，假设第二预设值为N，此处完成步骤S032后，则各次全局划分对应均获得N个分组大小为的差异值。其中，在本实施例中，截至步骤S03，以上各个方法步骤中以各次全局划分的若干个组为基础进行的后续计算步骤或所产生的数值相互之间独立不干扰。进一步地，步骤S01中将AB测试系统所管理的流量进行的第一预设值次全局划分，可为独立步骤，如下：

将AB测试系统所管理的流量进行一次全局划分，得到若干个组；

计算若干个组对应的指标值，得到相应数量的若干个数值；

根据从若干数值中随机抽取的数值，得到第二预设值个分组大小对应的差异值；

循环上述三个步骤，直至得到第一预设值个全局划分下对应的第二预设值个分组大小对应的差异值；各次全局划分之间相互平行。

S04合并各次全局划分中所述第二预设值个分组大小对应的差异值；

进一步地，由于对AB测试系统所管理的流量进行了M次平行的全局划分，此时即为获得M*N个分组大小为的差异值。

具体地，结合图4，步骤S04所述合并各次全局划分中所述第二预设值个分组大小对应的差异值，包括以下步骤：

S041整合各次全局划分中所述第二预设值个分组大小对应的差异值，获得第三预设值个分组大小对应的差异值；

S042将所述第三预设值个分组大小对应的差异值升序排列，获得数列；

其中，所述第三预设值为第一预设值*第二预设值，即M*N。由于各次全局划分下，个用户组相互独立互不干扰，其使得对应的指标值均互不干扰，而在本步骤中，将各次全局划分中所述第二预设值个分组大小对应的差异值合并，为将各次全局划分中所对应的各个分组大小对应的差异值作为同一项数据资源加以利用，亦即通过步骤S041首先将各个差异值整合，通过步骤S042中将所有差异值进行升序排序形成数列，使得原各独立互不干扰的差异值，通过简单的排序，形成相互关联的差异值，以减轻实际情况下单次全局划分对置信区间计算结果的影响。

S05根据合并后的差异值，得到置信区间。

进一步地，步骤S05所述根据合并后的差异值，得到置信区间，包括以下步骤：

根据所述置信水平对应的差异值，得到置信区间。

其中，所述置信水平为一个固定值，在本实施例中，优选为90％，对应地，所述索引值即为90％*M*N(取整)。而所述置信水平对应的差异值即为在所述数列中，依次排序下，索引所对应位置的差异值。

实施例二

结合图5，为了进一步对上述实施例所述的AB测试系统指标置信区间的计算方法进行阐述，对其进行模块化说明，提供AB测试系统指标置信区间的计算装置，其包括以下模块：

划分模块51，用于将AB测试系统管理的流量进行第一预设值次全局划分，得到各次全局划分下对应分成的若干个组，所述各次全局划分之间相互平行；

具体地，所述划分模块51包括用于将AB测试系统所管理的流量进行第一预设值次全局划分，其中各次全局划分均将全部用户划分到不同的组中，且每个用户只属于一个组。

第一计算模块52，用于计算各次全局划分对应的若干个组对应的指标值，得到各次全局划分相应数量的若干个数值；

第二计算模块53，用于根据从各次全局划分的若干数值中随机抽取的数值，得到各次全局划分中第二预设值个分组大小对应的差异值；

具体地，结合图6，所述第二计算模块53包括以下单元：

差异值计算单元531，用于根据从各次全局划分的若干个数值中随机抽取的数值，得到各次全局划分中单个分组大小对应的差异值；

进一步地，结合图7，所述差异值计算单元531包括以下子单元：

第一求和子单元5311，用于对从各次全局划分的若干个数值中随机抽取第四预设值个数值求和，得到各次全局划分中的第一样本和；

第二求和子单元5312，用于对从各次全局划分的剩余的若干个数值中随机抽取第四预设值个数值求和，得到各次全局划分的第二样本和；

差异值计算子单元5313，用于将1减(第二样本和除以第一样本和)的值作为各次全局划分中单个分组大小对应的差异值。

循环单元532，用于循环所述根据从各次全局划分的若干个数值中随机抽取的数值，计算各次全局划分中单个分组大小对应的差异值的步骤，直至得到各次全局划分中第二预设值个分组大小对应的差异值。

其中，所述第四预设值小于所述各次全局划分的若干个数值。

合并模块54，用于合并各次全局划分中所述第二预设值个分组大小对应的差异值；

具体地，结合图8，所述合并模块54包括以下单元：

整合单元541，用于整合各次全局划分中所述第二预设值个分组大小对应的差异值，获得第三预设值个分组大小对应的差异值；

排序单元542，用于将所述第三预设值个分组大小对应的差异值升序排列，获得数列；

其中，所述第三预设值为第一预设值*第二预设值。

第三计算模块55，用于根据合并后的差异值，得到置信区间。

进一步地，结合图9，所述第三计算模块55包括以下子单元：

索引单元551，用于将置信水平乘以所述第三预设值，取整后得到的数值作为索引值；

查找单元552，用于将根据所述索引值在所述数列中查找到的差异值，作为所述置信水平对应的差异值；

计算单元553，用于根据所述置信水平对应的差异值，得到置信区间。

实施例三

本发明实施例提供一种服务器，包括：

一个或多个处理器；

存储器；

以及一个或多个计算机程序，所述一个或多个计算机程序存储在所述存储器中；所述一个或多个计算机程序被所述一个或多个处理器执行时实现如实施例一所述的AB测试系统指标置信区间的计算方法。

该服务器传统上包括处理器和以存储器形式的计算机程序产品或者计算机可读介质。存储器可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如，用于程序代码的存储空间可以包括分别用于实现上面的方法中的各种步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为所述的便携式或者固定存储单元。该存储单元可以具有存储器类似布置的存储段或者存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括用于执行根据本发明的方法步骤的程序代码，即可以由例如处理器读取的代码，这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。

在本发明实施例中，该服务器所包括的处理器具有以下功能：

根据合并后的差异值，得到置信区间。

也即处理器具备执行上述的实施例一所述AB测试系统指标置信区间的计算方法的功能，在此不再赘述。

实施例四

本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现实施例一所述的AB测试系统指标置信区间的计算方法。

其中，所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

上述本发明实施例的序号仅仅为了描述，不代表实施例的优劣。以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种AB测试系统指标置信区间的计算方法，其特征在于，包括以下步骤：

根据合并后的差异值，得到置信区间。

2.根据权利要求1所述的方法，其特征在于，所述合并各次全局划分中所述第二预设值个分组大小对应的差异值，包括以下步骤：

其中，所述第三预设值为第一预设值*第二预设值。

3.根据权利要求2所述的方法，其特征在于，所述根据合并后的差异值，得到置信区间，包括以下步骤：

根据所述置信水平对应的差异值，得到置信区间。

4.根据权利要求1所述的方法，其特征在于，所述根据从各次全局划分的若干数值中随机抽取的数值，得到各次全局划分中第二预设值个分组大小对应的差异值，包括以下步骤：

根据从各次全局划分的若干个数值中随机抽取的数值，计算各次全局划分中单个分组大小对应的差异值；

5.根据权利要求4所述的方法，其特征在于，所述根据从各次全局划分的若干个数值中随机抽取的数值，计算各次全局划分中单个分组大小对应的差异值，包括以下步骤：

将的值作为各次全局划分中单个分组大小对应的差异值。

6.根据权利要求1所述的方法，其特征在于，所述将AB测试系统管理的流量进行第一预设值次全局划分中，各次全局划分均将全部用户划分到不同的组中，且每个用户只属于一个组。

7.一种AB测试系统指标置信区间的计算装置，其特征在于，包括以下模块：

第三计算模块，用于根据合并后的差异值，得到置信区间。

8.根据权利要求7所述的装置，其特征在于，所述合并模块包括以下单元：

其中，所述第三预设值为第一预设值*第二预设值。

9.根据权利要求8所述的装置，其特征在于，所述第三计算模块包括以下单元：

10.根据权利要求7所述的装置，其特征在于，所述第二计算模块包括以下单元：

11.根据权利要求10所述的装置，其特征在于，所述差异值计算单元包括以下子单元：

差异值计算子单元，用于将的值作为各次全局划分中单个分组大小对应的差异值。

12.根据权利要求7所述的装置，其特征在于，所述划分模块包括用于将AB测试系统所管理的流量进行第一预设值次全局划分，其中各次全局划分均将全部用户划分到不同的组中，且每个用户只属于一个组。

13.一种服务器，包括存储器以及处理器，所述存储器用于存储计算机程序，该计算机程序被处理器执行时实现权利要求1-6中任一项所述的AB测试系统指标置信区间的计算方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-6中任一项所述的AB测试系统指标置信区间的计算方法。