CN117033946A - Ab实验方法、装置、计算机设备及计算机可读存储介质 - Google Patents
Ab实验方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117033946A CN117033946A CN202311218646.2A CN202311218646A CN117033946A CN 117033946 A CN117033946 A CN 117033946A CN 202311218646 A CN202311218646 A CN 202311218646A CN 117033946 A CN117033946 A CN 117033946A
- Authority
- CN
- China
- Prior art keywords
- experiment
- layer
- time slice
- time
- experimental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 204
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000010410 layer Substances 0.000 claims abstract description 132
- 238000011084 recovery Methods 0.000 claims abstract description 36
- 230000002441 reversible effect Effects 0.000 claims abstract description 14
- 239000002356 single layer Substances 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 13
- 238000002955 isolation Methods 0.000 claims description 7
- 230000008901 benefit Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000003556 assay Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000007405 data analysis Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- OQEBBZSWEGYTPG-UHFFFAOYSA-N 3-aminobutanoic acid Chemical compound CC(N)CC(O)=O OQEBBZSWEGYTPG-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种AB实验方法，包括：确定AB实验的实验层数；当AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；当AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐。每一层采用时间片固定顺序轮播与隔天反转的实验方式；根据AB实验回收周期进行数据回收。本发明提供的AB实验方法对于单层实验增加了实验组别间的同质性，缩短了实验观察周期；对于多层嵌套实验，实现了流量高效利用，科学处理了不同实验层间的干扰，后期实验数据分析可以根据嵌套结构计算多个实验叠加的效果，量化上一层实验对下一层产生影响。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种AB实验方法、装置、计算机设备及计算机可读存储介质。
背景技术
目前在Web(网页)或App(应用程序)的策略迭代上，广泛使用AB实验的结果作为决策依据。它的核心原理是在同一时间内，相似的用户被随机分流，分别访问不同策略生效的网页或应用程序，分析师通过收集不同组用户的行为数据和业务数据，分析评估出策略的最佳版本。货运场景涉及用户、订单和司机三个分流对象，对一个元素的简单随机分流不能保证实验同质性，而且随机分流在大样本上效果较好，货运市场存在样本量受限的情况，且货运调度匹配复杂，对同一分流对象存在多个实验并存的现象，因此，简单的随机分流并不能满足货运的复杂场景，尤其是在存在多个实验层交叉时。
发明内容
本发明的目的在于提供一种AB实验方法、装置、计算机设备及计算机可读存储介质，旨在解决货运场景下AB实验存在多个实验层交叉时的问题。
第一方面，本发明提供了一种AB实验方法，包括：
S101、确定AB实验的实验层数；
S102、当所述AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；
S103、当所述AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐；每一层采用时间片固定顺序轮播与隔天反转的实验方式；
S104、根据所述AB实验回收周期进行数据回收。
第二方面，本发明提供了一种AB实验装置，包括：
判断模块，用于确定AB实验的实验层数；
单层实施模块，用于当所述AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；
多层实施模块，用于当所述AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐。每一层采用时间片固定顺序轮播与隔天反转的实验方式；
回收模块，用于根据所述AB实验回收周期进行数据回收。
第三方面，本发明提供了一种计算机设备，包括：
一个或多个处理器；
存储器；以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上所述AB实验方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的AB实验方法的步骤。
在本发明中提供了一种AB实验方法，对于单层实验采用时间片固定顺序轮播且隔天反转的实验方式，增加了实验组别之间的同质性，以及保证各组流量与预期一致，相比于一般的时间片实验，可以缩短实验观察周期。对于多层嵌套实验，实现了流量高效利用，科学处理了不同实验层间的干扰，后期实验数据分析可以根据嵌套结构计算多个实验叠加的效果，量化上一层实验对下一层产生影响。
附图说明
图1A是本发明实施例一提供的AB实验方法的流程图；
图1B是本发明实施例一提供的三层嵌套实验的时间片关系示意图；
图1C是本发明实施例一提供的不同时间片长度下的实验周期和跨片率曲线图；
图2是本发明实施例二提供的AB实验装置的功能模块框图；
图3是本发明实施例三提供的计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
如图1A所示，本发明实施例一提供了一种AB实验方法100，包括以下步骤：
S101、确定AB实验的实验层数；在实际应用中，为了最大化利用流量，有时需要在同一批流量上做多个实验，即AB实验的层数是多层，多层实验相比单层实验需要额外的实验设计。
S102、当AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式。
AB实验的基本假设之一是实验组和对照组之间不会存在互相干扰（SUTVA假设），即个体的潜在结果是不会随其他个体是否接受处理而改变的。但在货运场景常见的订单分流场景下，同一时间下运力承接了实验组和对照组的订单，这时候优势的策略组会吸引更多或更优质的运力（即运力竞争），放大了实验组和对照组的差异。
为了缓解运力竞争对实验结果的影响，我们在货运场景下引入时间片实验，但运力竞争仍然存在。运力竞争是否存在以及严重程度可以由跨片率（履约完成跨片单量 / 履约完成单量 * 100%）这一指标衡量，时间片越小，订单同质性变好，但跨片率越大，实验和对照组之间的干扰越大；时间片越长，跨片率越小，但时间片与时间片之间的同质性就会变差，此时很难保证分流的均匀性，只能将观测周期拉长，因此在考虑时间片长度时，需要同时考虑运力竞争问题和分流的同质性问题。
更具体地，确定时间片长度的步骤具体包括：
Step A确定待选时间片范围，一般的时间片长度在2小时之内，更长的时间片则实验周期过长，使得迭代业务策略变得不可行，例如将待选时间片选定为：最短时间片1分钟，最长时间片2小时，其他时间片以最短时间片为基准按照步长1分钟（或者其他步长，例如2分钟、5分钟等）递增；
Step B绘制待选时间片的实验周期和跨片率曲线图，首先计算待选时间片的实验周期和跨片率，将待选时间片中的每一个时间片，在历史数据上做多次模拟仿真实验，根据每一个时间片长度将流量分成实验组和对照组，观察业务指标自然波动情况，当波动趋于稳定的时候，即是当前时间片下的实验周期。同时，再计算每个时间片下的跨片率，最后绘制出不同时间片长度下的实验周期曲线和跨片率曲线，两者是此消彼长的关系，如图1C所示；
Step C按照业务需要选择时间片长度，具体包括：
场景一：当要求实验周期短时，选择长度小于阈值下限的短时间片，例如阈值下限是10分钟，此时流量同质性好，但跨片率高导致组间干扰大；
场景二：当要求实验周期适中时，选择长度大于等于阈值下限且小于等于阈值上限的中等时间片，例如阈值上限是1小时，此时流量同质性好，但存在一定的组间干扰；
场景三：当要求实验周期长时，选择时间片长度大于阈值上限的长时间片，此时流量同质性差，但组间干扰小。
其中，阈值下限小于阈值上限，阈值下限和阈值上限是可以根据不同业务变化的，一般按场景二选择，可以平衡实验周期和跨片率的影响。
如果单一流量只叠加一个实验，在确定时间片长度之后，采用时间片固定顺序轮播与隔天反转的实验方式，对于一天内的时间片，有固定顺序轮播和随机轮播两种方式，其中随机轮播引入额外方差使得流量难以同质，因此两个流量组别一般采用ABAB式交替轮播，同时为了缩短实验观察周期，增强同质性，次日开始翻转轮播顺序，转为BABA，直到实验周期结束。
S103、当AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐；每一层采用时间片固定顺序轮播与隔天反转的实验方式。
为了最大化利用流量，有时需要在同一批城市上做多个实验，也就是存在多层AB实验，为了能在回收时将各层之间的相互干扰量化出来，需要对不同层实验的时间片重合方式进行限制，实现上一层时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐。
如图1B所示，第一层实验的时间片是：第一层_m和第一层_n，两个时间片都是1小时的时间片，第二层实验的时间片是：第二层_x和第二层_y，两个时间片都是30分钟的时间片，并且内嵌在第一层的时间片内，且首尾对齐，第三层实验的时间片是：第三层_a和第三层_b，两组是15分钟时间片，并且内嵌在第二层的时间片内，且首尾对齐。这样可以平衡和抵消掉层与层之间的干扰，还可以方便打包回收多个实验叠加的效果，方便评估上一层实验是否会对下一层产生影响，同时量化该影响。
S104、根据AB实验回收周期进行数据回收。嵌套实验上线后，数据回收需要区分短期和长期回收周期。短期回收周期只考虑在该观察周期下，当前层的实验流量是否同质，不考虑嵌套实验中其他层实验的干扰，所以短期回收周期的下限是在当前观察周期下，当前层的实验组和对照组之间的流量达到同质所需的最短时间；长期回收周期考虑到其他层实验的干扰，是更加严格和更加同质的回收周期，长期回收周期的下限是考虑实验其他层的干扰后达到同质所需的最短时间。
例如，当实验进行到第t天的时候，当前实验组和对照组之间的流量在这以后都能达到同质，就认为第t天是该实验的短期回收周期下限。在货运场景下，考察同质性的维度包括但不限于订单维度分布、司机维度分布等，其中，
订单维度分布是指订单在小时、里程、车型、城市等级、大区上的分布等，司机维度分布是指每小时可用司机数、单均一公里内司机密度等。
短期回收周期下限的计算过程具体是：
针对实验组、对照组的数据，做分布曲线拟合优度检验（卡方检验），原假设H0：观察频数和期望频数一致，备择假设H1：观察频数和期望频数不一致，自由度为df=R-1，R为分类变量的类型的个数，统计量计算公式为：
其中，fo实际观测次数，fe是理论分布次数，据此，可得不同时间片长度对应的短期回收周期下限估计结果如下：
以上短期回收周期下限仅为预估值，随实验的实验城市和实验日期起点的不同而不同。
长期回收周期考虑到其他层实验的干扰，是更加严格和更加同质的回收周期。如果每层有2组实验，共有n层，那么长期回收周期不短于2n天。假设第一层有两个组m、n，第二层有两个组x、y，第三层有两个组a、b，那么在嵌套实验下，三层实验一共2*2*2 = 8种组合方式，即需要经过8天才能遍历全部的组合，最科学的回收周期为不小于8天。
在本发明实施例的一些其他例子中，AB实验进行中还面临新增实验层的情况，此时方法100还包括步骤：当AB实验新增实验层时，判断是否可进行嵌套实验，当可以嵌套时，将新增实验嵌套入当前AB实验中；当不可以嵌套时，实施隔离实验。
在当前AB实验进行中，如果有新的试验需要加入已有的AB实验中时，判断新增实验是否可以嵌套入当前AB实验中，当全部满足下述条件时方可嵌套：
新实验加入后AB实验总层数不超过四层；
新实验加入后每层实验的分组数目不变；
新实验的时间片轮播周期起点是每天0点。
当不能满足嵌套时，例如：嵌套实验已有层数过多，单个实验的时间片长度无法配合上述嵌套实验，分流时间不一致，比如按照订单创建时间分流和司机请求服务的分流，此时可进行隔离实验，具体是：将城市分成同质的两类，一类只做嵌套实验，另一类只做隔离实验，例如，根据订单量级和配对率分层抽样，检验分层的两类城市的订单数、响应、配对、或取消中的一种或多种的方差齐性和期望的一致性，一类城市只做嵌套实验，另一类城市只做隔离实验。
在本发明实施例的一些其他例子中，AB实验进行中还面临新增实验扩量的情况，此时方法100 还包括步骤：当AB实验需要扩量时，根据AB实验的收益性质确定扩量。具体是：
A、当AB实验的短期收益正向、显著且逻辑清晰，可在其他城市群上直接100%扩量，扩量的时间节点优选是在每天的0点，其中短期收益显著是指经过统计检验后是显著的；
B、当AB实验收益正向但不显著，需要在另一批城市上继续观察时，可与其他已有实验的城市群进行互换，但是需要等到对方实验达到短期回收周期后且实验是否有收益有结论后，在下个周期开始的时间节点进行互换；
当前实验扩量包括：若当前实验每层有2组实验时当前实验只能从50%扩到100%，若当前实验每层有3个组，只能由34%扩到67%或100%，不可扩到其它比例，在当前层的当前翻转周期结束当天的零点操作实验下线。
本发明实施例一提供的一种AB实验方法，对于单层实验采用时间片固定顺序轮播且隔天反转的实验方式，增加了实验组别之间的同质性，以及保证各组流量与预期一致，相比于一般的时间片实验，可以缩短实验观察周期。对于多层嵌套实验，实现了流量高效利用，科学处理了不同实验层间的干扰，后期实验数据分析可以根据嵌套结构计算多个实验叠加的效果，量化上一层实验对下一层产生影响。
实施例二：
本发明实施例二提供了一种AB实验装置200，包括：
判断模块201，用于确定AB实验的实验层数；
单层实施模块202，用于当AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；
多层实施模块203，用于当AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐。每一层采用时间片固定顺序轮播与隔天反转的实验方式；
回收模块204，用于根据AB实验回收周期进行数据回收。
本发明实施例二提供的AB实验装置与本发明实施例一提供的AB实验方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
实施例三：
如图3所示，本发明实施例三提供了一种计算机设备300，包括：
一个或多个处理器301；
存储器302；以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如实施例一提供的AB实验方法的步骤。
实施例四：
本发明实施例四提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一提供的AB实验方法的步骤。
在本发明中提供了一种AB实验方法，对于单层实验采用时间片固定顺序轮播且隔天反转的实验方式，增加了实验组别之间的同质性，以及保证各组流量与预期一致，相比于一般的时间片实验，可以缩短实验观察周期。对于多层嵌套实验，实现了流量高效利用，科学处理了不同实验层间的干扰，后期实验数据分析可以根据嵌套结构计算多个实验叠加的效果，量化上一层实验对下一层产生影响。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种AB实验方法，其特征在于，所述方法包括：
S101、确定AB实验的实验层数；
S102、当所述AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；
S103、当所述AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐；每一层采用时间片固定顺序轮播与隔天反转的实验方式；
S104、根据所述AB实验回收周期进行数据回收。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：当所述AB实验新增实验层时，判断是否可进行嵌套实验，当可以嵌套时，将新增实验嵌套入当前AB实验中；当不可以嵌套时，实施隔离实验。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：当所述AB实验需要扩量时，根据所述AB实验的收益性质确定扩量。
4.如权利要求1所述的方法，其特征在于，所述AB实验回收周期包括短期回收周期和长期回收周期，所述短期回收周期的下限是在当前观察周期下，当前层的实验组和对照组之间的流量达到同质所需的最短时间，所述长期回收周期是考虑实验其他层的干扰后达到同质所需的最短时间。
5.如权利要求2所述的方法，其特征在于，当所述AB实验新增实验层时，判断是否可进行嵌套实验，当全部满足以下条件时可进行嵌套实验：新实验加入后AB实验总层数不超过四层、新实验的时间片轮播周期起点是每天0点、以及新实验加入后每层实验的分组数目不变；否则不可以进行嵌套实验，实施隔离实验，具体是将城市分成同质的两类，一类只做嵌套实验，另一类只做隔离实验。
6.如权利要求3所述的方法，其特征在于，当所述AB实验需要扩量时，根据所述AB实验的收益性质确定扩量，包括：
当所述AB实验的短期收益正向、显著且逻辑清晰，在其他城市群上直接100%扩量，扩量的时间节点是在每天的0点；
当所述AB实验收益正向但不显著，其他城市群上的实验达到短期回收周期且实验是否有收益有结论后，在下个周期开始的时间节点进行互换；
其中，若当前实验每层有2组实验时当前实验只能从50%扩到100%，若当前实验每层有3组实验时，只能由34%扩到67%或100%，在当前层的当前翻转周期结束当天的零点操作实验下线。
7.如权利要求1所述的方法，其特征在于，所述实验每一层时间片长度确定的步骤包括：
确定待选时间片范围；
绘制待选时间片的实验周期和跨片率曲线图；
按照业务需求选择时间片长度，具体是：
当要求实验周期短时，选择长度小于阈值下限的短时间片；
当要求实验周期适中时，选择长度大于等于所述阈值下限且小于等于阈值上限的中等时间片；
当要求实验周期长时，选择时间片长度大于所述阈值上限的长时间片，其中所述阈值下限小于所述阈值上限，且所述阈值下限和阈值上限是根据不同业务需求确定的。
8.一种AB实验装置，其特征在于，所述装置包括：
判断模块，用于确定AB实验的实验层数；
单层实施模块，用于当所述AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；
多层实施模块，用于当所述AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐；每一层采用时间片固定顺序轮播与隔天反转的实验方式；
回收模块，用于根据所述AB实验回收周期进行数据回收。
9.一种计算机设备，包括：
一个或多个处理器；
存储器；以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的AB实验方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的AB实验方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311218646.2A CN117033946B (zh) | 2023-09-21 | 2023-09-21 | Ab实验方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311218646.2A CN117033946B (zh) | 2023-09-21 | 2023-09-21 | Ab实验方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117033946A true CN117033946A (zh) | 2023-11-10 |
| CN117033946B CN117033946B (zh) | 2023-12-22 |
Family
ID=88635659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311218646.2A Active CN117033946B (zh) | 2023-09-21 | 2023-09-21 | Ab实验方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117033946B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140114731A1 (en) * | 2012-10-19 | 2014-04-24 | Schweitzer Engineering Laboratories, Inc. | Voting Scheme for Time Alignment |
| CN104348679A (zh) * | 2013-08-08 | 2015-02-11 | 阿里巴巴集团控股有限公司 | 一种分桶测试的方法、装置和系统 |
| US10185970B1 (en) * | 2017-04-21 | 2019-01-22 | Amazon Technologies, Inc. | Determining a run time for experiments performed at a network accessible site |
| CN109583670A (zh) * | 2017-09-28 | 2019-04-05 | 北京嘀嘀无限科技发展有限公司 | 基于时间片轮转的对照实验方法、系统及计算机装置 |
| CN110569193A (zh) * | 2019-09-05 | 2019-12-13 | 广州华多网络科技有限公司 | A/b测试界面的设置方法、a/b测试方法及相关设备 |
| CN110990270A (zh) * | 2019-11-28 | 2020-04-10 | 百度在线网络技术（北京）有限公司 | Ab实验实现方法、装置、电子设备及存储介质 |
| CN112269743A (zh) * | 2020-10-30 | 2021-01-26 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种a/b测试方法及装置 |
| CN115361340A (zh) * | 2022-08-24 | 2022-11-18 | 深圳依时货拉拉科技有限公司 | Ab实验分流方法、装置、计算机设备和存储介质 |
-
2023
- 2023-09-21 CN CN202311218646.2A patent/CN117033946B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140114731A1 (en) * | 2012-10-19 | 2014-04-24 | Schweitzer Engineering Laboratories, Inc. | Voting Scheme for Time Alignment |
| CN104348679A (zh) * | 2013-08-08 | 2015-02-11 | 阿里巴巴集团控股有限公司 | 一种分桶测试的方法、装置和系统 |
| US10185970B1 (en) * | 2017-04-21 | 2019-01-22 | Amazon Technologies, Inc. | Determining a run time for experiments performed at a network accessible site |
| CN109583670A (zh) * | 2017-09-28 | 2019-04-05 | 北京嘀嘀无限科技发展有限公司 | 基于时间片轮转的对照实验方法、系统及计算机装置 |
| CN110569193A (zh) * | 2019-09-05 | 2019-12-13 | 广州华多网络科技有限公司 | A/b测试界面的设置方法、a/b测试方法及相关设备 |
| CN110990270A (zh) * | 2019-11-28 | 2020-04-10 | 百度在线网络技术（北京）有限公司 | Ab实验实现方法、装置、电子设备及存储介质 |
| CN112269743A (zh) * | 2020-10-30 | 2021-01-26 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种a/b测试方法及装置 |
| CN115361340A (zh) * | 2022-08-24 | 2022-11-18 | 深圳依时货拉拉科技有限公司 | Ab实验分流方法、装置、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| DIANE TANG等: "Overlapping Experiment Infrastructure: More, Better, Faster Experimentation", KDD\'10: PROCEEDINGS OF 16TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING, pages 17 - 26 * |
| DOWNEY.凯: "七千字带你了解一小部分 AB 实验面试题", pages 1 - 7, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/653883950> * |
| 货拉拉技术: "货拉拉A/B实验分流算法实践", pages 1 - 13, Retrieved from the Internet <URL:https://juejin.cn/post/7133089484098240548> * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117033946B (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102541858B (zh) | 基于映射和规约的数据均衡性处理方法、装置及系统 | |
| CN105487930A (zh) | 一种基于Hadoop的任务优化调度方法 | |
| CN103595805A (zh) | 一种基于分布式集群的数据放置方法 | |
| CN103701894A (zh) | 动态资源调度方法与系统 | |
| CN106815254A (zh) | 一种数据处理方法和装置 | |
| CN102393839A (zh) | 并行数据处理系统及方法 | |
| CN102779183B (zh) | 数据查询的方法、设备及系统 | |
| Ng et al. | A graph-theoretic approach to interval scheduling on dedicated unrelated parallel machines | |
| Wu et al. | An M/G/1 retrial G-queue with non-exhaustive random vacations and an unreliable server | |
| CN117033946B (zh) | Ab实验方法、装置、计算机设备及计算机可读存储介质 | |
| CN117271100B (zh) | 算法芯片集群调度方法、装置、计算机设备和存储介质 | |
| CN111044062B (zh) | 路径规划、推荐方法和装置 | |
| Aghayi | Cost efficiency measurement with fuzzy data in DEA | |
| Yang et al. | Multi-agent reinforcement learning based file caching strategy in mobile edge computing | |
| CN102081624A (zh) | 一种数据查询的方法及查询服务器 | |
| CN111507541A (zh) | 货量预测模型构建方法、货量测量方法、装置及电子设备 | |
| Wang et al. | Do economic complexity and trade diversification promote green growth in the BRICTS region? Evidence from advanced panel estimations | |
| CN107203633B (zh) | 数据表推数处理方法、装置及电子设备 | |
| CN106933882A (zh) | 一种大数据增量计算方法和装置 | |
| CN104866493A (zh) | 一种提升信息的曝光率的方法和装置 | |
| Tatarenko | Game-theoretic learning and distributed optimization in memoryless multi-agent systems | |
| Kang et al. | A dispatching algorithm for parallel machines with rework processes | |
| CN115695432B (zh) | 一种负载均衡方法、装置、电子设备及存储介质 | |
| CN103020276A (zh) | 一种社交对象搜索方法及装置 | |
| CN116909758B (zh) | 算力任务的处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |