CN107766235B - 一种基于随机分流的a/b测试方法 - Google Patents

一种基于随机分流的a/b测试方法 Download PDF

Info

Publication number
CN107766235B
CN107766235B CN201710794614.5A CN201710794614A CN107766235B CN 107766235 B CN107766235 B CN 107766235B CN 201710794614 A CN201710794614 A CN 201710794614A CN 107766235 B CN107766235 B CN 107766235B
Authority
CN
China
Prior art keywords
users
test
client
group
client page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710794614.5A
Other languages
English (en)
Other versions
CN107766235A (zh
Inventor
刘文轩
郭栩男
姚中柱
曹杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Youheng Network Technology Co Ltd
Original Assignee
Beijing Wuba Daojia Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wuba Daojia Information Technology Co ltd filed Critical Beijing Wuba Daojia Information Technology Co ltd
Priority to CN201710794614.5A priority Critical patent/CN107766235B/zh
Publication of CN107766235A publication Critical patent/CN107766235A/zh
Application granted granted Critical
Publication of CN107766235B publication Critical patent/CN107766235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于随机分流的A/B测试方法，所述方法包括如下步骤：a)在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有所述测试变量的各个版本中引入SDK；b)客户端页面上线，对访问所述各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器；c)每个所述服务器中的所有用户根据用户操作进行第二次分流，按照所述测试变量的标签将具有相同操作的用户作为一组；d)根据步骤c)中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统。本发明A/B测试方法能够科学地验证用户对产品不同的客户端页面倾向性，使选出的客户端页面更加合理。

Description

一种基于随机分流的A/B测试方法
技术领域
本发明涉及互联网技术领域，特别涉及一种基于随机分流的A/B测试方法。
背景技术
A/B测试是一种为同一个目标制定两个方案比如两个页面，让一部分用户使用一种方案，另一部分用户使用另一种方案，记录下用户的使用情况，筛选出更符合设计目标的方案。在实际操作过程之中往往设置单一变量进行多个方案并行测试，通过一定的筛选条件选出最理想的方案。
现有技术中A/B测试方法展现在用户面前的客户端页面只有一种方案，也就是说用户只能看到一种客户端页面版本，看不到与其对比的其他客户端页面版本的方案。现有技术由于A/B测试方法在用户面前展示的上述情况，往往会出现针对同一用户虽然对其中一种方案的客户端页面进行了访问点击，但是并不能确定该用户偏好于该方案，该用户仍然存在对另一种方案更加偏好的可能性，从而造成客户端页面系统测试的不精确性。
因此，为了解决上述问题，需要能够本能够科学地验证用户对不同的客户端页面倾向性，使选出的客户端页面更加合理的一种基于随机分流的A/B测试方法
发明内容
本发明的目的在于提供一种基于随机分流的A/B测试方法，所述方法包括如下步骤：
a)在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有所述测试变量的各个版本中引入SDK；
b)客户端页面上线，对访问所述各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器；
c)每个所述服务器中的所有用户根据用户操作进行第二次分流，按照所述测试变量的标签将具有相同操作的用户作为一组；
d)根据步骤c)中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统。
优选地，所述各个版本的每两个版本的客户端页面系统之间配置单一测试变量。
优选地，所述测试变量为客户端页面系统的可视化操作部件。
优选地，所述第一次分流为随机分流。
优选地，步骤d)中所述效果测试按照如下方法进行测试：
d1)计算不同组之间的测试平均效果估计值；
d2)根据计算得到的平均效果估计值，得到测试结果。
优选地，所述平均效果估计值通过
Figure GDA0002938801640000021
计算，其中P为平均效果估计值，
Figure GDA0002938801640000022
为第一组用户对第二组用户操作的测试变量的平均潜在值，
Figure GDA0002938801640000023
为第二组用户相对于第一组用户操作的测试变量的平均潜在值。
优选地，所述第一组用户对第二组用户操作的测试变量的平均潜在值
Figure GDA0002938801640000024
通过如下方式计算：
Figure GDA0002938801640000025
其中N1为第一组用户的数目，Y1i为第一组用户中第i个用户对第二组用户操作的测试变量的潜在值。
优选地，所述第二组用户对第一组用户操作的测试变量的平均潜在值
Figure GDA0002938801640000026
通过如下方式计算：
Figure GDA0002938801640000027
其中N2为第二组用户的数目，Y2i为第二组用户中第i个用户对第一组用户操作的测试变量的潜在值。
优选地，若所述平均效果估计值P＞0，则第二组用户操作的测试变量所属的客户端页面系统胜出；
若所述平均效果估计值P＜0，则第一组用户操作的测试变量所属的客户端页面系统胜出。
本发明提供的一种基于随机分流的A/B测试方法能够科学地验证用户对产品不同的客户端页面倾向性，更加准确地对不同版本的客户端页面进行筛选，使选出的客户端页面更加合理。
应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：
图1示意性示出了本发明基于随机分流的A/B测试方法的流程框图；
图2示出了本发明基于随机分流的A/B测试方法的第一次分流和第二次分流的示意图；
图3示出了本发明平均效果估计的示意图。
具体实施方式
通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中，将参考附图描述本发明的实施例，相关技术术语应当是本领域技术人员所熟知的。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤，除非另有说明。
下面通过具体的实施例对本发明提供的一种基于随机分流的A/B测试方法进行说明，在如下实施例中，本领域技术人员可以理解的是A/B测试过程中并不限于两个客户端页面系统，可以是多个客户端页面系统并行测试，实施例中为了更加清楚简洁的将本发明的内容进行阐释选用两个客户端页面系统进行说明。如图1所示本发明基于随机分流的A/B测试方法的流程框图，本发明提供的一种基于随机分流的A/B测试方法包括如下步骤：
S101、客户端页面系统配置测试变量
A/B测试方法的测试过程中需要对进行测试的不同客户端页面系统的版本配置测试变量，以便确定出何种客户端页面系统更加具有用户的倾向性。优选地，测试变量为客户端页面系统的可视化操作部件。
根据本发明，实施例中在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有测试变量的各个版本中引入SDK(软件开发工具包)。各个版本的每两个版本的客户端页面系统之间配置单一测试变量。SDK用于服务器调用客户端，获取客户端页面的用户操作数据。
进一步地说明，本实施例中以客户端A和客户端B两个版本的客户端页面系统为例，客户端A页面系统的展示页面中测试变量为圆形操作按钮，客户端B页面系统的展示页面中测试变量的矩形操作按钮。客户端A和客户端B的页面系统其它内容和完全一样，仅仅为上述的单一变量不同。根据本发明，对圆形操作按钮和矩形操作按钮分别选用不同的标签，以方便在后续的第二次分流中分选出不同组的用户。
S102、用户第一次分流
客户端页面上线，将上述的两个不同版本的客户端上线，本领域技术人员应当理解每一个用户仅仅面对一个版本的客户端(客户端A或客户端B)。对访问各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器，第一次分流为随机分流。如图2所示本发明基于随机分流的A/B测试方法的第一次分流和第二次分流的示意图，本实施例中使用客户端A和客户端B的用户总共有N个用户，分别为1号用户、2号用户、…、N号用户。将N个用户随机分流，在一些实施例中可以采用伯努利分布的方式进行向不同服务器分配，在另一些实施例中也可以按用户的顺序依次循环向服务器分配，例如：1号用户分配给Ⅰ号服务器，2号用户分配给Ⅱ服务器，3号用户分配给Ⅰ号服务器，4号用户分配给Ⅱ号服务器，…。
S103、用户第二次分流
每个所述服务器中的所有用户根据用户操作进行第二次分流，按照测试变量的标签将具有相同操作的用户作为一组。本实施例中示例性地以Ⅰ号服务器中的所有用户进行第二次分流，Ⅱ号服务器中的第二次分流以及下文中的测试过程与Ⅰ号服务器相同，这里不再累述。
Ⅰ号服务器内的所有用户根据用户的按照用户对测试变量的操作进行分组，将具有相同操作的用户作为一组。本发明测试变量设置有标签，利用标签对用户分组，本实施例中对客户端A页面的圆形操作按钮进行点击的用户作为a组，对客户端B页面的矩形操作按钮进行点击的用户作为b组，。需要说明的是本发明只有两组用户的数目为同一数量级，才进行下文步骤S104的测试分析。
S104、测试分析，筛选客户端页面系统
根据步骤S103中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统。具体通过如下的方法进行测试分析：
S401、计算不同组之间的测试平均效果估计值
由于第二次分流后的用户依然具有对另一客户端页面的操作按钮点击的潜在性，需要通过计算测试平均效果估计值来进行精确测试分析，不同组之间的测试平均效果估计值通过
Figure GDA0002938801640000051
计算，其中P为平均效果估计值，
Figure GDA0002938801640000052
为第一组用户对第二组用户操作的测试变量的平均潜在值，
Figure GDA0002938801640000053
为第二组用户相对于第一组用户操作的测试变量的平均潜在值。如图3所示本发明平均效果估计的示意图，a组用户为点击客户端A页面的圆形操作按钮的第一组用户，b组用户为点击客户端B页面的矩形操作按钮的第二组用户。
a组中的用户依然存在点击客户端B页面的矩形操作按钮的潜在性，b组中的用户依然存在点击客户端A页面的圆形操作按钮的潜在性。本发明通过第一组用户对第二组用户操作的测试变量的平均潜在值
Figure GDA0002938801640000054
第二组用户相对于第一组用户操作的测试变量的平均潜在值
Figure GDA0002938801640000055
的差值得到测试平均效果估计值。
根据本发明，实施例中第一组用户对第二组用户操作的测试变量的平均潜在值
Figure GDA0002938801640000056
通过如下方式计算：
Figure GDA0002938801640000057
其中N1为第一组用户的数目，Y1i为第一组用户中第i个用户对第二组用户操作的测试变量的潜在值。本实施例中a组用户中利用每一个用户点击客户端B页面的矩形操作按钮的潜在值计算a组用户点击客户端B页面的矩形操作按钮的潜在值(页面刷新一次，点击一次，没点击到的时候可能潜在点击另一个页面按钮。通过点击率来解释)。
第二组用户对第一组用户操作的测试变量的平均潜在值
Figure GDA0002938801640000061
通过如下方式计算：
Figure GDA0002938801640000062
其中N2为第二组用户的数目，Y2i为第二组用户中第i个用户对第一组用户操作的测试变量的潜在值。本实施例中b组用户中利用每一个用户点击客户端A页面的圆形操作按钮的潜在值计算b组用户点击客户端A页面的圆形操作按钮的潜在值。
对于上述测试平均效果估计值的计算，在测试过程中每一组中的用户数目保持固定不变。例如随着测试的时间推移，a组中的用户数目始终为N1，b组中的用户数目始终为N2。
S402、根据计算得到的平均效果估计值，得到测试结果。
若平均效果估计值P＞0，则第二组用户操作的测试变量所属的客户端页面系统胜出；
若平均效果估计值P＜0，则第一组用户操作的测试变量所属的客户端页面系统胜出。
优选地，本发明若Ⅰ号服务器与Ⅱ号服务器中胜出的客户端页面系统一致，则该客户端页面系统为胜出的客户端页面系统；若Ⅰ号服务器与Ⅱ号服务器中胜出的客户端页面系统不一致，则比较Ⅰ号服务器与Ⅱ号服务器计算得到的平均效果估计值P的绝对值的大小，大者为胜出的客户端页面系统。
本发明提供的一种基于随机分流的A/B测试方法能够科学地验证用户对产品不同的客户端页面倾向性，更加准确地对不同版本的客户端页面进行筛选，使选出的客户端页面更加合理。本发明一种基于随机分流的A/B测试方法采用两次分流，利用多个服务器进行测试分析降低测试过程服务器的压力。
结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (7)

1.一种基于随机分流的A/B测试方法，其特征在于，所述方法包括如下步骤：
a)在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有所述测试变量的各个版本中引入SDK；
b)客户端页面上线，对访问所述各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器；
c)每个所述服务器中的所有用户根据用户操作进行第二次分流，按照所述测试变量的标签将具有相同操作的用户作为一组；
d)根据步骤c)中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统，其中，
所述测试分析按照如下方法进行测试：
d1)计算不同组之间的测试平均效果估计值；
d2)根据计算得到的平均效果估计值，得到测试结果；
所述平均效果估计值通过
Figure FDA0002938801630000012
计算，其中P为平均效果估计值，
Figure FDA0002938801630000013
为第一组用户对第二组用户操作的测试变量的平均潜在值，
Figure FDA0002938801630000014
为第二组用户相对于第一组用户操作的测试变量的平均潜在值。
2.根据权利要求1所述的方法，其特征在于，所述各个版本的每两个版本的客户端页面系统之间配置单一测试变量。
3.根据权利要求1或2所述的方法，其特征在于，所述测试变量为客户端页面系统的可视化操作部件。
4.根据权利要求1所述的方法，其特征在于，所述第一次分流为随机分流。
5.根据权利要求1所述的方法，其特征在于，所述第一组用户对第二组用户操作的测试变量的平均潜在值
Figure FDA0002938801630000015
通过如下方式计算：
Figure FDA0002938801630000011
其中N1为第一组用户的数目，Y1i为第一组用户中第i个用户对第二组用户操作的测试变量的潜在值。
6.根据权利要求1所述的方法，其特征在于，所述第二组用户对第一组用户操作的测试变量的平均潜在值
Figure FDA0002938801630000022
通过如下方式计算：
Figure FDA0002938801630000021
其中N2为第二组用户的数目，Y2i为第二组用户中第i个用户对第一组用户操作的测试变量的潜在值。
7.根据权利要求1所述的方法，其特征在于，若所述平均效果估计值P＞0，则第二组用户操作的测试变量所属的客户端页面系统胜出；
若所述平均效果估计值P＜0，则第一组用户操作的测试变量所属的客户端页面系统胜出。
CN201710794614.5A 2017-09-06 2017-09-06 一种基于随机分流的a/b测试方法 Active CN107766235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710794614.5A CN107766235B (zh) 2017-09-06 2017-09-06 一种基于随机分流的a/b测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710794614.5A CN107766235B (zh) 2017-09-06 2017-09-06 一种基于随机分流的a/b测试方法

Publications (2)

Publication Number Publication Date
CN107766235A CN107766235A (zh) 2018-03-06
CN107766235B true CN107766235B (zh) 2021-04-09

Family

ID=61265285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710794614.5A Active CN107766235B (zh) 2017-09-06 2017-09-06 一种基于随机分流的a/b测试方法

Country Status (1)

Country Link
CN (1) CN107766235B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829602A (zh) * 2018-06-21 2018-11-16 北京金山安全软件有限公司 一种测试方法、装置、电子设备及存储介质
CN111309614B (zh) * 2020-02-17 2022-10-18 支付宝(杭州)信息技术有限公司 A/b测试方法、装置及电子设备
CN112162928B (zh) * 2020-10-15 2024-03-15 网易（杭州）网络有限公司 游戏的测试方法、装置、电子设备及计算机可读介质
CN112199296B (zh) * 2020-10-29 2022-09-23 腾讯科技（深圳）有限公司 页面测试方法、装置、计算机设备和存储介质
CN113176992B (zh) * 2021-04-08 2022-02-15 深圳依时货拉拉科技有限公司 A/b实验分流方法、装置和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102576A (zh) * 2013-04-12 2014-10-15 阿里巴巴集团控股有限公司 一种多版本测试方法和装置
CN104348679A (zh) * 2013-08-08 2015-02-11 阿里巴巴集团控股有限公司 一种分桶测试的方法、装置和系统
US9478059B2 (en) * 2014-07-28 2016-10-25 PocketGems, Inc. Animated audiovisual experiences driven by scripts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102576A (zh) * 2013-04-12 2014-10-15 阿里巴巴集团控股有限公司 一种多版本测试方法和装置
CN104348679A (zh) * 2013-08-08 2015-02-11 阿里巴巴集团控股有限公司 一种分桶测试的方法、装置和系统
US9478059B2 (en) * 2014-07-28 2016-10-25 PocketGems, Inc. Animated audiovisual experiences driven by scripts

Also Published As

Publication number Publication date
CN107766235A (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
CN107766235B (zh) 一种基于随机分流的a/b测试方法
CN105610654B (zh) 一种服务器、策略在线测试的方法及系统
Oñorbe et al. How to zoom: bias, contamination and Lagrange volumes in multimass cosmological simulations
Chen et al. On the statistical properties of testing effectiveness measures
CN109766176B (zh) 一种基于大规模网络空间探测的扫描进度计算方法及装置
US20200327452A1 (en) Learning System
US20190197077A1 (en) Machine learning based identification of broken network connections
US9891281B1 (en) Method and system for automatically identifying test runs contributing to coverage events of interest in verification test data
CN109388376A (zh) 软件开发风险评估方法、装置、设备及可读存储介质
US9141522B1 (en) Virtual cluster immune system for dynamic testing
CN112488769B (zh) 广告投放测试方法、装置、设备及存储介质
WO2006007588A2 (en) Method and system for test case generation
CN105868956A (zh) 一种数据处理方法及装置
Spriggs et al. The Fornax3D project: Planetary nebulae catalogue and independent distance measurements to Fornax cluster galaxies
Kitchenham et al. Evaluating software engineering methods and tools: part 9: quantitative case study methodology
CN106406835A (zh) 一种报表生成方法和报表生成装置
US9348733B1 (en) Method and system for coverage determination
CN110597728A (zh) 构建测试数据的方法、装置及系统
CN106687997B (zh) 用于标识待预测事件的时滞指标的方法和系统
US8595686B2 (en) Software modification estimate method and software modification estimate system
WO2013018376A1 (ja) システムパラメータ設定支援システム、システムパラメータ設定支援装置のデータ処理方法、およびプログラム
CN108270727A (zh) 异常数据分析方法和装置
US20130332225A1 (en) Risk-profile generation device
US9882927B1 (en) Periodicity detection
CN108073503A (zh) 一种组件成熟度的评测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211103

Address after: 410221 Room 401, building 17, Changsha Zhongdian Software Park, No. 39, Jianshan Road, high tech Development Zone, Changsha, Hunan

Patentee after: Changsha Youheng Network Technology Co.,Ltd.

Address before: Room 102, Building 15, No. 3, Garden Road, Haidian District, Beijing 100083

Patentee before: BEIJING WUBA DAOJIA INFORMATION TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right