CN107766235A - 一种基于随机分流的a/b测试方法 - Google Patents
一种基于随机分流的a/b测试方法 Download PDFInfo
- Publication number
- CN107766235A CN107766235A CN201710794614.5A CN201710794614A CN107766235A CN 107766235 A CN107766235 A CN 107766235A CN 201710794614 A CN201710794614 A CN 201710794614A CN 107766235 A CN107766235 A CN 107766235A
- Authority
- CN
- China
- Prior art keywords
- user
- group
- test
- customer terminal
- terminal webpage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010998 test method Methods 0.000 title claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/3668—Testing of software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于随机分流的A/B测试方法，所述方法包括如下步骤：a)在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有所述测试变量的各个版本中引入SDK；b)客户端页面上线，对访问所述各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器；c)每个所述服务器中的所有用户根据用户操作进行第二次分流，按照所述测试变量的标签将具有相同操作的用户作为一组；d)根据步骤c)中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统。本发明A/B测试方法能够科学地验证用户对产品不同的客户端页面倾向性，使选出的客户端页面更加合理。
Description
技术领域
本发明涉及互联网技术领域，特别涉及一种基于随机分流的A/B测试方法。
背景技术
A/B测试是一种为同一个目标制定两个方案比如两个页面，让一部分用户使用一种方案，另一部分用户使用另一种方案，记录下用户的使用情况，筛选出更符合设计目标的方案。在实际操作过程之中往往设置单一变量进行多个方案并行测试，通过一定的筛选条件选出最理想的方案。
现有技术中A/B测试方法展现在用户面前的客户端页面只有一种方案，也就是说用户只能看到一种客户端页面版本，看不到与其对比的其他客户端页面版本的方案。现有技术由于A/B测试方法在用户面前展示的上述情况，往往会出现针对同一用户虽然对其中一种方案的客户端页面进行了访问点击，但是并不能确定该用户偏好于该方案，该用户仍然存在对另一种方案更加偏好的可能性，从而造成客户端页面系统测试的不精确性。
因此，为了解决上述问题，需要能够本能够科学地验证用户对不同的客户端页面倾向性，使选出的客户端页面更加合理的一种基于随机分流的A/B测试方法
发明内容
本发明的目的在于提供一种基于随机分流的A/B测试方法，所述方法包括如下步骤：
a)在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有所述测试变量的各个版本中引入SDK；
b)客户端页面上线，对访问所述各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器；
c)每个所述服务器中的所有用户根据用户操作进行第二次分流，按照所述测试变量的标签将具有相同操作的用户作为一组；
d)根据步骤c)中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统。
优选地，所述各个版本的每两个版本的的客户端页面系统之间配置单一测试变量。
优选地，所述测试变量为客户端页面系统的可视化操作部件。
优选地，所述第一次分流为随机分流。
优选地，步骤d)中所述效果测试按照如下方法进行测试：
d1)计算不同组之间的测试平均效果估计值；
d2)根据计算得到的平均效果估计值，得到测试结果。
优选地，所述平均效果估计值通过计算，其中P为平均效果估计值，为第一组用户对第二组用户操作的测试变量的平均潜在值，为第二组用户相对于第一组用户操作的测试变量的平均潜在值。
优选地，所述第一组用户对第二组用户操作的测试变量的平均潜在值通过如下方式计算：
其中N1为第一组用户的数目，Y1i为第一组用户中第i个用户对第二组用户操作的测试变量的平均潜在值。
优选地，所述第二组用户对第一组用户操作的测试变量的平均潜在值通过如下方式计算：
其中N2为第二组用户的数目，Y2i为第二组用户中第i个用户对第一组用户操作的测试变量的平均潜在值。
优选地，若所述平均效果估计值P＞0，则第二组用户操作的测试变量所属的客户端页面系统胜出；
若所述平均效果估计值P＜0，则第一组用户操作的测试变量所属的客户端页面系统胜出。
本发明提供的一种基于随机分流的A/B测试方法能够科学地验证用户对产品不同的客户端页面倾向性，更加准确地对不同版本的客户端页面进行筛选，使选出的客户端页面更加合理。
应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：
图1示意性示出了本发明基于随机分流的A/B测试方法的流程框图；
图2示出了本发明基于随机分流的A/B测试方法的第一次分流和第二次分流的示意图；
图3示出了本发明平均效果估计的示意图。
具体实施方式
通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中，将参考附图描述本发明的实施例，相关技术术语应当是本领域技术人员所熟知的。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤，除非另有说明。
下面通过具体的实施例对本发明提供的一种基于随机分流的A/B测试方法进行说明，在如下实施例中，本领域技术人员可以理解的是A/B测试过程中并不限于两个客户端页面系统，可以是多个客户端页面系统并行测试，实施例中为了更加清楚简洁的将本发明的内容进行阐释选用两个客户端页面系统进行说明。如图1所示本发明基于随机分流的A/B测试方法的流程框图，本发明提供的一种基于随机分流的A/B测试方法包括如下步骤：
S101、客户端页面系统配置测试变量
A/B测试方法的测试过程中需要对进行测试的不同客户端页面系统的版本配置测试变量，以便确定出何种客户端页面系统更加具有用户的倾向性。优选地，测试变量为客户端页面系统的可视化操作部件。
根据本发明，实施例中在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有测试变量的各个版本中引入SDK(软件开发工具包)。各个版本的每两个版本的的客户端页面系统之间配置单一测试变量。SDK用于服务器调用客户端，获取客户端页面的用户操作数据。
进一步地说明，本实施例中以客户端A和客户端B两个版本的客户端页面系统为例，客户端A页面系统的展示页面中测试变量为圆形操作按钮，客户端B页面系统的展示页面中测试变量的矩形操作按钮。客户端A和客户端B的页面系统其它内容和完全一样，仅仅为上述的单一变量不同。根据本发明，对圆形操作按钮和矩形操作按钮分别选用不同的标签，以方便在后续的第二次分流中分选出不同组的用户。
S102、用户第一次分流
客户端页面上线，将上述的两个不同版本的客户端上线，本领域技术人员应当理解每一个用户仅仅面对一个版本的客户端(客户端A或客户端B)。对访问各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器，第一次分流为随机分流。如图2所示本发明基于随机分流的A/B测试方法的第一次分流和第二次分流的示意图，本实施例中使用客户端A和客户端B的用户总共有N个用户，分别为1号用户、2号用户、…、N号用户。将N个用户随机分流，在一些实施例中可以采用伯努利分布的方式进行向不同服务器分配，在另一些实施例中也可以按用户的顺序依次循环向服务器分配，例如：1号用户分配给Ⅰ号服务器，2号用户分配给Ⅱ服务器，3号用户分配给Ⅰ号服务器，4号用户分配给Ⅱ号服务器，…。
S103、用户第二次分流
每个所述服务器中的所有用户根据用户操作进行第二次分流，按照测试变量的标签将具有相同操作的用户作为一组。本实施例中示例性地以Ⅰ号服务器中的所有用户进行第二次分流，Ⅱ号服务器中的第二次分流以及下文中的测试过程与Ⅰ号服务器相同，这里不再累述。
Ⅰ号服务器内的所有用户根据用户的按照用户对测试变量的操作进行分组，将具有相同操作的用户作为一组。本发明测试变量设置有标签，利用标签对用户分组，本实施例中对客户端A页面的圆形操作按钮进行点击的用户作为a组，对客户端B页面的矩形操作按钮进行点击的用户作为b组，对既未对客户端A页面的圆形操作按钮进行点击，也未对客户端B页面的矩形操作按钮进行点击的用户剔除。需要说明的是本发明只有两组用户的数目为同一数量级，才进行下文步骤S104的测试分析。
S104、测试分析，筛选客户端页面系统
根据步骤S103中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统。具体通过如下的方法进行测试分析：
S401、计算不同组之间的测试平均效果估计值
由于第二次分流后的用户依然具有对另一客户端页面的操作按钮点击的潜在性，需要通过计算测试平均效果估计值来进行精确测试分析，不同组之间的测试平均效果估计值通过计算，其中P为平均效果估计值，为第一组用户对第二组用户操作的测试变量的平均潜在值，为第二组用户相对于第一组用户操作的测试变量的平均潜在值。如图3所示本发明平均效果估计的示意图，a组用户为点击客户端A页面的圆形操作按钮的第一组用户，b组用户为点击客户端B页面的矩形操作按钮的第二组用户。
a组中的用户依然存在点击客户端B页面的矩形操作按钮的潜在性，b组中的用户依然存在点击客户端A页面的圆形操作按钮的潜在性。本发明通过第一组用户对第二组用户操作的测试变量的平均潜在值第二组用户相对于第一组用户操作的测试变量的平均潜在值的差值得到测试平均效果估计值。
根据本发明，实施例中第一组用户对第二组用户操作的测试变量的平均潜在值通过如下方式计算：
其中N1为第一组用户的数目，Y1i为第一组用户中第i个用户对第二组用户操作的测试变量的平均潜在值。本实施例中a组用户中利用每一个用户点击客户端B页面的矩形操作按钮的潜在值计算a组用户点击客户端B页面的矩形操作按钮的潜在值。
第二组用户对第一组用户操作的测试变量的平均潜在值通过如下方式计算：
其中N2为第二组用户的数目，Y2i为第二组用户中第i个用户对第一组用户操作的测试变量的平均潜在值。本实施例中b组用户中利用每一个用户点击客户端A页面的圆形操作按钮的潜在值计算b组用户点击客户端A页面的圆形操作按钮的潜在值。
对于上述测试平均效果估计值的计算，在测试过程中每一组中的用户数目保持固定不变。例如随着测试的时间推移，a组中的用户数目始终为N1，b组中的用户数目始终为N2。
S402、根据计算得到的平均效果估计值，得到测试结果。
若平均效果估计值P＞0，则第二组用户操作的测试变量所属的客户端页面系统胜出；
若平均效果估计值P＜0，则第一组用户操作的测试变量所属的客户端页面系统胜出。
优选地，本发明若Ⅰ号服务器与Ⅱ号服务器中胜出的客户端页面系统一致，则该客户端页面系统为胜出的客户端页面系统；若Ⅰ号服务器与Ⅱ号服务器中胜出的客户端页面系统不一致，则比较Ⅰ号服务器与Ⅱ号服务器计算得到的平均效果估计值P的绝对值的大小，大者为胜出的客户端页面系统。
本发明提供的一种基于随机分流的A/B测试方法能够科学地验证用户对产品不同的客户端页面倾向性，更加准确地对不同版本的客户端页面进行筛选，使选出的客户端页面更加合理。本发明一种基于随机分流的A/B测试方法采用两次分流，利用多个服务器进行测试分析降低测试过程服务器的压力。
结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。
Claims (9)
1.一种基于随机分流的A/B测试方法，其特征在于，所述方法包括如下步骤：
a)在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有所述测试变量的各个版本中引入SDK；
b)客户端页面上线，对访问所述各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器；
c)每个所述服务器中的所有用户根据用户操作进行第二次分流，按照所述测试变量的标签将具有相同操作的用户作为一组；
d)根据步骤c)中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统。
2.根据权利要求1所述的方法，其特征在于，所述各个版本的每两个版本的的客户端页面系统之间配置单一测试变量。
3.根据权利要求1或2所述的方法，其特征在于，所述测试变量为客户端页面系统的可视化操作部件。
4.根据权利要求1所述的方法，其特征在于，所述第一次分流为随机分流。
5.根据权利要求1所述的方法，其特征在于，步骤d)中所述效果测试按照如下方法进行测试：
d1)计算不同组之间的测试平均效果估计值；
d2)根据计算得到的平均效果估计值，得到测试结果。
6.根据权利要求5所述的方法，其特征在于，所述平均效果估计值通过计算，其中P为平均效果估计值，为第一组用户对第二组用户操作的测试变量的平均潜在值，为第二组用户相对于第一组用户操作的测试变量的平均潜在值。
7.根据权利要求6所述的方法，其特征在于，所述第一组用户对第二组用户操作的测试变量的平均潜在值通过如下方式计算：
其中N1为第一组用户的数目，Y1i为第一组用户中第i个用户对第二组用户操作的测试变量的平均潜在值。
8.根据权利要求6所述的方法，其特征在于，所述第二组用户对第一组用户操作的测试变量的平均潜在值通过如下方式计算：
其中N2为第二组用户的数目，Y2i为第二组用户中第i个用户对第一组用户操作的测试变量的平均潜在值。
9.根据权利要求6所述的方法，其特征在于，若所述平均效果估计值P＞0，则第二组用户操作的测试变量所属的客户端页面系统胜出；
若所述平均效果估计值P＜0，则第一组用户操作的测试变量所属的客户端页面系统胜出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710794614.5A CN107766235B (zh) | 2017-09-06 | 2017-09-06 | 一种基于随机分流的a/b测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710794614.5A CN107766235B (zh) | 2017-09-06 | 2017-09-06 | 一种基于随机分流的a/b测试方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107766235A true CN107766235A (zh) | 2018-03-06 |
| CN107766235B CN107766235B (zh) | 2021-04-09 |
Family
ID=61265285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710794614.5A Active CN107766235B (zh) | 2017-09-06 | 2017-09-06 | 一种基于随机分流的a/b测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107766235B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108829602A (zh) * | 2018-06-21 | 2018-11-16 | 北京金山安全软件有限公司 | 一种测试方法、装置、电子设备及存储介质 |
| CN109445811A (zh) * | 2018-09-07 | 2019-03-08 | 平安科技（深圳）有限公司 | 灰度发布方法、装置、计算机设备及计算机存储介质 |
| CN111309614A (zh) * | 2020-02-17 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | A/b测试方法、装置及电子设备 |
| CN112162928A (zh) * | 2020-10-15 | 2021-01-01 | 网易（杭州）网络有限公司 | 游戏的测试方法、装置、电子设备及计算机可读介质 |
| CN112199296A (zh) * | 2020-10-29 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 页面测试方法、装置、计算机设备和存储介质 |
| CN113176992A (zh) * | 2021-04-08 | 2021-07-27 | 深圳依时货拉拉科技有限公司 | A/b实验分流方法、装置、设备和计算机可读存储介质 |
| US12008345B2 (en) | 2019-01-17 | 2024-06-11 | Red Hat Israel, Ltd. | Split testing associated with detection of user interface (UI) modifications |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102576A (zh) * | 2013-04-12 | 2014-10-15 | 阿里巴巴集团控股有限公司 | 一种多版本测试方法和装置 |
| CN104348679A (zh) * | 2013-08-08 | 2015-02-11 | 阿里巴巴集团控股有限公司 | 一种分桶测试的方法、装置和系统 |
| US9478059B2 (en) * | 2014-07-28 | 2016-10-25 | PocketGems, Inc. | Animated audiovisual experiences driven by scripts |
-
2017
- 2017-09-06 CN CN201710794614.5A patent/CN107766235B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102576A (zh) * | 2013-04-12 | 2014-10-15 | 阿里巴巴集团控股有限公司 | 一种多版本测试方法和装置 |
| CN104348679A (zh) * | 2013-08-08 | 2015-02-11 | 阿里巴巴集团控股有限公司 | 一种分桶测试的方法、装置和系统 |
| US9478059B2 (en) * | 2014-07-28 | 2016-10-25 | PocketGems, Inc. | Animated audiovisual experiences driven by scripts |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108829602A (zh) * | 2018-06-21 | 2018-11-16 | 北京金山安全软件有限公司 | 一种测试方法、装置、电子设备及存储介质 |
| CN109445811A (zh) * | 2018-09-07 | 2019-03-08 | 平安科技（深圳）有限公司 | 灰度发布方法、装置、计算机设备及计算机存储介质 |
| CN109445811B (zh) * | 2018-09-07 | 2024-05-28 | 平安科技（深圳）有限公司 | 灰度发布方法、装置、计算机设备及计算机存储介质 |
| US12008345B2 (en) | 2019-01-17 | 2024-06-11 | Red Hat Israel, Ltd. | Split testing associated with detection of user interface (UI) modifications |
| CN111309614A (zh) * | 2020-02-17 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | A/b测试方法、装置及电子设备 |
| CN111309614B (zh) * | 2020-02-17 | 2022-10-18 | 支付宝(杭州)信息技术有限公司 | A/b测试方法、装置及电子设备 |
| CN112162928A (zh) * | 2020-10-15 | 2021-01-01 | 网易（杭州）网络有限公司 | 游戏的测试方法、装置、电子设备及计算机可读介质 |
| CN112162928B (zh) * | 2020-10-15 | 2024-03-15 | 网易（杭州）网络有限公司 | 游戏的测试方法、装置、电子设备及计算机可读介质 |
| CN112199296A (zh) * | 2020-10-29 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 页面测试方法、装置、计算机设备和存储介质 |
| CN113176992A (zh) * | 2021-04-08 | 2021-07-27 | 深圳依时货拉拉科技有限公司 | A/b实验分流方法、装置、设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107766235B (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107766235A (zh) | 一种基于随机分流的a/b测试方法 | |
| Max-Moerbeck et al. | A method for the estimation of the significance of cross-correlations in unevenly sampled red-noise time series | |
| Milone et al. | The hubble space telescope uv legacy survey of galactic globular clusters–ix. the atlas of multiple stellar populations | |
| CN101467015B (zh) | 在电容性矩阵压力传感器中的电容性节点测量 | |
| US10969952B2 (en) | Color and texture match ratings for optimal match selection | |
| CN105610654B (zh) | 一种服务器、策略在线测试的方法及系统 | |
| Murphy et al. | A meta-analysis of hypothetical bias in stated preference valuation | |
| Brimioulle et al. | Dark matter halo properties from galaxy–galaxy lensing | |
| US9759619B2 (en) | Pressure sensitive film and manufacturing method thereof | |
| Hoßfeld et al. | SOS: The MOS is not enough! | |
| Brown et al. | The role of atomic hydrogen in regulating the scatter of the mass–metallicity relation | |
| AU2020289863B2 (en) | Flagging advertisement frames for automatic content recognition | |
| US20060233666A1 (en) | Visual display for meter testing bodily fluids | |
| Wolniak et al. | The concept study of Servqual method’s gap | |
| CN109308552A (zh) | 一种业务策略评估方法、装置及电子设备 | |
| WO2009042254A3 (en) | System and method for analysis and visual representation of brand performance information | |
| CN105868254A (zh) | 信息推荐方法及装置 | |
| Sheth | The halo-model description of marked statistics | |
| CN105118107A (zh) | 应用巡检方法及装置 | |
| Ahad et al. | How to interpret measurements of diffuse light in stacked observations of groups and clusters of galaxies | |
| CN104833870A (zh) | 各向异性导电特性的测定 | |
| US20170011072A1 (en) | Dataset chart scaling | |
| CN109597744A (zh) | 数据异动分析方法及装置 | |
| Trevithick et al. | The effect of observer experience levels on the variability of fractional ground cover reference data | |
| CN102621390B (zh) | 方块电阻测量方法以及方块电阻测量装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211103 Address after: 410221 Room 401, building 17, Changsha Zhongdian Software Park, No. 39, Jianshan Road, high tech Development Zone, Changsha, Hunan Patentee after: Changsha Youheng Network Technology Co.,Ltd. Address before: Room 102, Building 15, No. 3, Garden Road, Haidian District, Beijing 100083 Patentee before: BEIJING WUBA DAOJIA INFORMATION TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right |