CN110324252A - 一种多变量变体ab测试流量分配方法 - Google Patents

一种多变量变体ab测试流量分配方法 Download PDF

Info

Publication number
CN110324252A
CN110324252A CN201910449611.7A CN201910449611A CN110324252A CN 110324252 A CN110324252 A CN 110324252A CN 201910449611 A CN201910449611 A CN 201910449611A CN 110324252 A CN110324252 A CN 110324252A
Authority
CN
China
Prior art keywords
flow
multivariable
modification
allocation method
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910449611.7A
Other languages
English (en)
Inventor
徐源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Mei Mei Minister Science And Technology Ltd
Original Assignee
Chengdu Mei Mei Minister Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Mei Mei Minister Science And Technology Ltd filed Critical Chengdu Mei Mei Minister Science And Technology Ltd
Priority to CN201910449611.7A priority Critical patent/CN110324252A/zh
Publication of CN110324252A publication Critical patent/CN110324252A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888—Throughput
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种多变量变体AB测试流量分配方法，采用物理切割的方式控制网关流量入口，将网关入口流量均分给若干个变量；以及采用代码耦合的方式对用户流量逻辑判断进行统一部署分配至各个用户组。本发明在运维便利性、实验扩展性以及影响局部性上，都更优。正常上线部署即可，而且控制逻辑集中，实验扩展性强。

Description

一种多变量变体AB测试流量分配方法
技术领域
本发明属于计算机信息处理技术领域，特别是涉及一种多变量变体AB测试流量分配方法。
背景技术
多变量变体A/B测试实验平台，在落地过程，涉及到流量分配的一个通用问题：通过物理分配来控制实际用户流量。这种方法扩展性差：例如进行N个实验，每组实验分为M组，则需要M*N个分支，而且需要代码部署和分流路由进行联动部署；还要有代码分支和分流路由控制逻辑分散；更麻烦的是需要区分不同分支、不同机器，并配合分流路由，这些都为运维带来复杂的工作。
因此，如何解决上述问题成为本领域人员研究的重点。
发明内容
本发明的目的就是提供一种多变量变体AB测试流量分配方法，能完全解决上述现有技术的不足之处。
本发明的目的通过下述技术方案来实现：
一种多变量变体AB测试流量分配方法，采用物理切割的方式控制网关流量入口，将网关入口流量均分给若干个变量；以及采用代码耦合的方式对用户流量逻辑判断进行统一部署分配至各个用户组。
作为优选，所述物理切割的方式根据实际用户所能达到的数量值确定。
作为优选，物理切割的方式包括采用单独路由器、路由器和二层交换机结合、三次网络交换机。
作为优选，变量的个数与用户的个数相同。
作为优选，用户流量逻辑判断的控制方法为：从1至M当中随机生成1个数字,用cookie存储到客户端,此cookie包含唯一的访问者标识符，它将在浏览器关闭时被删除，通过数字控制用户分组,系列实验会在用户每次进入时将其分配给测试或控制组。
作为优选，所述流量均分采用轮询或优先级的方式读取待发通道的数据并向目标网络互连设备发送。
作为优选，流量均分时还包括对数据流发送流量进行测试。
作为优选，对数据流发送流量进行测试时，采用公式T＝F×N计算发送端系统最大吞吐量，式中，T为发送端系统最大吞吐量，单位为bps；F为发送端设定的系统时钟频率，单位为MHz；N为发送端总线位宽，单位为位。
作为优选，对数据流发送流量进行测试时，采用公式Vi＝8fi(Li+12+8)计算第i条测试数据流的发送速率Vi；式中Vi为第i条测试数据流的发送速率，单位为bps；fi为第i条测试数据流的帧速率，单位为fps；Li为第i条测试数据流的帧长度，单位为字节
与现有技术相比，本发明的有益效果在于：
本发明在运维便利性、实验扩展性以及影响局部性上，都更优。正常上线部署即可，而且控制逻辑集中(局部不影响全局)，实验扩展性强。逻辑判断上采取科学的用户流量分配算法，确保用户流量分配的科学性和准确性，支持分层分流并可根据不同用户属性定向分流。通过精准且高效的算法，确保单个用户每次登录应用时被分到的试验版本是唯一的。实际分流效果非常接近目标流量分配比例，且用户量越大分流结果越精确，用户可以随时在试验的进行过程中调节试验版本之间的流量分配比例。还支持根据用户标签来实现精准定向分流，例如：设备标签、用户标签等。
附图说明
图1是本发明的流程示意图；
具体实施方式
下面结合具体实施例和附图对本发明作进一步的说明。
如图1所示，一种多变量变体AB测试流量分配方法，采用物理切割的方式控制网关流量入口，将网关入口流量均分给若干个变量，以及采用代码耦合的方式对用户流量逻辑判断进行统一部署分配至各个用户组；
具体采用的物理切割方式需根据实际用户所能达到的数量值确定，比如单独路由器、路由器和二层交换机结合、三次网络交换机等；
具体流量均分采用轮询或优先级的方式读取待发通道的数据并向目标网络互连设备发送，其中，所述轮询方式是指在发送时段内以顺序的方式查询各个待发通道，如果该待发通道内有数据则向目标网络互连设备发送，如果没有，则跳转到下一个待发通道直至查询到待发通道有数据为止；所述优先级方式是指依据待发通道的优先级，从高到低依次发送该待发通道内的数据；
具体的实现用户流量逻辑判断控制方法：从1—m当中随机生成1个数字,m为用户数量，用cookie存储到客户端,此cookie包含唯一的访问者标识符，它将在浏览器关闭时被删除。通过数字控制用户分组,例如25％的A组用户、25％的B组用户、25％的C组用户、25％的X组用户，用户可以按如下分组：
1-25数字的用户,被标记为用户组A；
26-50数字的用户,被标记为用户组B；
51-75数字的用户，被标记成用户组C；
75-m数字的用户，被标记成用户组X；
进一步的，本发明在均分流量时还包括对数据流发送流量进行测试；具体的测试数据流发送流量控制方法，采用公式T＝F×N计算发送端系统最大吞吐量，式中，T为发送端系统最大吞吐量，单位为bps；F为发送端设定的系统时钟频率，单位为MHz；N为发送端总线位宽，单位为位；
测试数据流发送流量控制方法，采用公式Vi＝8fi(Li+12+8)计算第i条测试数据流的发送速率Vi；式中Vi为第i条测试数据流的发送速率，单位为bps；fi为第i条测试数据流的帧速率，单位为fps；Li为第i条测试数据流的帧长度，单位为字节；
在现有技术默认情况下，系列实验会在用户每次进入时将其随机分配给测试组和控制组(这称为“基于进入的拆分”)。这意味着如果有人进行三次进入，则现有的条件下可能会发生几种情况之一：
第一：进行三次测试；
第二：进行一次测试，两次对照处理；
第三：进行两次测试，一次对照处理；
第四：进行三次对照处理。
而本发明通过我们新的基于cookie的分割，系统现在可以选择将进入者单独分配给专用的测试，也可以单独分配给专用的控制组。这意味着如果某人如果被映射到测试组并执行三次进入，则所有这三项都将接受测试处理。通过启用基于cookie的拆分，可以保持用户体验的一致性，因为用户被永久分配给实验的测试或控制组。
本发明根据实验版本间指标情况，在入口分配采用物理分配，在程序逻辑上采用代码耦合对各版本进行流量统一部署。确保单个用户每次登录应用时被分到的试验版本是唯一的，确保用户流量分配的科学性和准确性，提升实验效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多变量变体AB测试流量分配方法，其特征在于，采用物理切割的方式控制网关流量入口，将网关入口流量均分给若干个变量；以及采用代码耦合的方式对用户流量逻辑判断进行统一部署分配至各个用户组。
2.根据权利要求1所述的一种多变量变体AB测试流量分配方法，其特征在于：变量的个数与用户的个数相同。
3.根据权利要求1所述的一种多变量变体AB测试流量分配方法，其特征在于：所述物理切割的方式根据实际用户所能达到的数量值确定。
4.根据权利要求1所述的一种多变量变体AB测试流量分配方法，其特征在于：物理切割的方式包括采用单独路由器、路由器和二层交换机结合、三次网络交换机。
5.根据权利要求1所述的一种多变量变体AB测试流量分配方法，其特征在于：所述用户流量逻辑判断的控制方法为：从1至M当中随机生成1个数字,用cookie存储到客户端,此cookie包含唯一的访问者标识符，它将在浏览器关闭时被删除，通过数字控制用户分组,系列实验会在用户每次进入时将其分配给测试或控制组。
6.根据权利要求1所述的一种多变量变体AB测试流量分配方法，其特征在于：所述流量均分采用轮询或优先级的方式读取待发通道的数据并向目标网络互连设备发送。
7.根据权利要求1所述的一种多变量变体AB测试流量分配方法，其特征在于：流量均分时还包括对数据流发送流量进行测试。
8.根据权利要求7所述的一种多变量变体AB测试流量分配方法，其特征在于：对数据流发送流量进行测试时，采用公式T＝F×N计算发送端系统最大吞吐量，式中，T为发送端系统最大吞吐量，单位为bps；F为发送端设定的系统时钟频率，单位为MHz；N为发送端总线位宽，单位为位。
9.根据权利要求7所述的一种多变量变体AB测试流量分配方法，其特征在于：对数据流发送流量进行测试时，采用公式Vi＝8fi(Li+12+8)计算第i条测试数据流的发送速率Vi；式中Vi为第i条测试数据流的发送速率，单位为bps；fi为第i条测试数据流的帧速率，单位为fps；Li为第i条测试数据流的帧长度，单位为字节。
CN201910449611.7A 2019-05-28 2019-05-28 一种多变量变体ab测试流量分配方法 Pending CN110324252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910449611.7A CN110324252A (zh) 2019-05-28 2019-05-28 一种多变量变体ab测试流量分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910449611.7A CN110324252A (zh) 2019-05-28 2019-05-28 一种多变量变体ab测试流量分配方法

Publications (1)

Publication Number Publication Date
CN110324252A true CN110324252A (zh) 2019-10-11

Family

ID=68119334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910449611.7A Pending CN110324252A (zh) 2019-05-28 2019-05-28 一种多变量变体ab测试流量分配方法

Country Status (1)

Country Link
CN (1) CN110324252A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113055248A (zh) * 2021-03-12 2021-06-29 土巴兔集团股份有限公司 流量分配方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973582A (zh) * 2014-05-28 2014-08-06 重庆重邮汇测通信技术有限公司 测试数据流发送流量控制方法及系统
CN105373480A (zh) * 2015-12-15 2016-03-02 广州唯品会信息科技有限公司 优化ABTest系统分流的方法及系统
CN108845936A (zh) * 2018-05-31 2018-11-20 阿里巴巴集团控股有限公司 一种基于海量用户的ab测试方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973582A (zh) * 2014-05-28 2014-08-06 重庆重邮汇测通信技术有限公司 测试数据流发送流量控制方法及系统
CN105373480A (zh) * 2015-12-15 2016-03-02 广州唯品会信息科技有限公司 优化ABTest系统分流的方法及系统
CN108845936A (zh) * 2018-05-31 2018-11-20 阿里巴巴集团控股有限公司 一种基于海量用户的ab测试方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113055248A (zh) * 2021-03-12 2021-06-29 土巴兔集团股份有限公司 流量分配方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN103999415B (zh) 一种用于合并网络应用的装置、方法和中间件
Frater et al. A new statistical model for traffic generated by VBR coders for television on the broadband ISDN
CN106027410B (zh) 一种控制器负载均衡的方法及装置
CN102724103B (zh) 代理服务器、分层次网络系统及分布式工作负载管理方法
CN106100964B (zh) 一种虚拟网络映射的方法和装置
CN106559349A (zh) 业务传输速率的控制方法及装置、系统
CN108449286A (zh) 网络带宽资源分配方法及装置
CN105871602A (zh) 一种统计流量的控制方法、装置和系统
CN110222880A (zh) 业务风险的确定方法、模型训练方法和数据处理方法
CN110838031A (zh) 一种基于ABtest的数据运营方法和装置
CN106294233A (zh) 一种直接内存访问的传输控制方法及装置
CN108287856A (zh) 服务范围确定方法、装置及电子设备
CN106331210A (zh) 一种云计算网络中的ip地址分配方法及装置
CN105592487A (zh) 一种lte网络业务流量评估方法及装置
CN104243332A (zh) 基于dpi识别的分通道应用流量控制方法
CN112036696A (zh) 任务分配方法、任务分配装置、存储介质和电子设备
CN109035777A (zh) 交通运行态势分析方法及系统
CN104022951B (zh) 一种网络服务路径的建立方法及系统
CN110363414A (zh) 配送区域的划分方法及装置
CN110109800A (zh) 一种服务器集群系统的管理方法及装置
CN110324252A (zh) 一种多变量变体ab测试流量分配方法
CN116260720A (zh) 网络资源部署方法、装置、电子设备及存储介质
CN110020775A (zh) 一种风险交易管控方法及装置
CN104598584A (zh) 一种信息系统考核数据的处理方法及设备
CN104320382A (zh) 分布式的实时流处理装置、方法和单元

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191011

RJ01 Rejection of invention patent application after publication