CN117118874A - 流量调整方法、装置、计算机设备及计算机可读存储介质 - Google Patents
流量调整方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117118874A CN117118874A CN202311369684.8A CN202311369684A CN117118874A CN 117118874 A CN117118874 A CN 117118874A CN 202311369684 A CN202311369684 A CN 202311369684A CN 117118874 A CN117118874 A CN 117118874A
- Authority
- CN
- China
- Prior art keywords
- experiment
- flow
- groups
- screening
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000002474 experimental method Methods 0.000 claims abstract description 484
- 238000012216 screening Methods 0.000 claims abstract description 246
- 230000008569 process Effects 0.000 claims abstract description 79
- 238000012360 testing method Methods 0.000 claims description 62
- 230000014759 maintenance of location Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/062—Generation of reports related to network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种流量调整方法、装置、计算机设备及计算机可读存储介质;本申请可以配置目标实验的相关数据,目标实验包括多个实验组,相关数据包括多个实验组各自的流量占比;根据流量占比,在目标实验的实验过程中向多个实验组分配实验流量,从而得到实验组在至少一个统计维度的流量统计数据;根据流量统计数据,从多个实验组中确定筛除实验组以及至少两个保留实验组;将筛除实验组从目标实验中清空,并将筛除流量占比划分为至少两个子流量占比,基于至少两个子流量占比对至少两个保留实验组各自的流量占比进行调整;本申请可以在实验过程中清空筛除实验组,并将筛除实验组的流量等比例调整至保留实验组,有效提升实验效率。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种流量调整方法、装置计算机设备及计算机可读存储介质。
背景技术
随着互联网更新需求的增长,流量实验逐渐成为常见的方案评估手段,流量实验可以设置多个实验组,每个实验组对应一种方案,为每个实验组分配实验流量,并基于方案向实验流量呈现内容,可以根据实验流量的反馈最终确定全流量上线的目标方案。现有的流量实验通常在实验前确定实验组的数量,并基于固定的实验组运行实验,实验效率较低。
发明内容
本申请实施例提供一种流量调整方法、装置、计算机设备及计算机可读存储介质,可以在实验过程中清空部分实验组,并将这部分实验组的流量等比例调整至其他保留下来的实验组,有效提升实验效率。
本申请实施例提供一种流量调整方法,包括:
配置目标实验的相关数据,目标实验包括多个实验组,相关数据包括多个实验组各自的流量占比,流量占比表征目标实验运行过程中向各个实验组分配的流量在实验流量中的占比,实验流量包括为目标实验分配的流量;运行目标实验,并根据流量占比,在目标实验的实验过程中向多个实验组分配实验流量,从而得到实验组在至少一个统计维度的流量统计数据;根据流量统计数据,从多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,筛除实验组对应筛除流量占比,保留实验组对应保留流量占比;将筛除实验组从目标实验中清空,并将筛除流量占比划分为至少两个子流量占比,至少两个子流量占比之间的比例关系与至少两个保留流量占比之间的比例关系相等;向至少两个保留流量占比分别添加至少两个子流量占比,以得到至少两个保留实验组各自的调整后流量占比。
相应地,本申请实施例还提供了一种流量调整装置,包括:
配置模块,用于配置目标实验的相关数据,目标实验包括多个实验组,相关数据包括多个实验组各自的流量占比,流量占比表征目标实验运行过程中向各个实验组分配的流量在实验流量中的占比,实验流量包括为目标实验分配的流量;
运行模块,用于运行目标实验,并根据流量占比,在目标实验的实验过程中向多个实验组分配实验流量,从而得到实验组在至少一个统计维度的流量统计数据;
确定模块,用于根据流量统计数据,从多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,筛除实验组对应筛除流量占比,保留实验组对应保留流量占比;
划分模块,用于将筛除实验组从目标实验中清空,并将筛除流量占比划分为至少两个子流量占比,至少两个子流量占比之间的比例关系与至少两个保留流量占比之间的比例关系相等;
调整模块,用于向至少两个保留流量占比分别添加至少两个子流量占比,以得到至少两个保留实验组各自的调整后流量占比。
在本申请的一些实施例中,统计维度包括约束统计维度,相关数据还包括至少一个约束统计维度对应的预设约束阈值,确定模块可以具体用于:
若存在实验组的至少一个约束统计维度的流量统计数据与其对应的预设约束阈值不匹配,确定实验组为筛除实验组;
确定多个实验组中的至少两个保留实验组,保留实验组与筛除实验组不同。
在本申请的一些实施例中,统计维度包括优化统计维度,确定模块可以具体用于:
将任意两个实验组结合,得到至少两个实验组集,实验组集包括第一实验组和第二实验组;
若预设第一数量个优化统计维度上,第一实验组的流量统计数据均大于第二实验组的流量统计数据,确定第一实验组为筛除实验组;
从多个实验组中确定至少两个保留实验组,保留实验组与筛除实验组不同。
在本申请的一些实施例中,统计维度包括优化统计维度,目标实验还包括至少一个对照组,多个实验组包括第三实验组,确定模块可以具体用于:
分别计算每个优化统计维度上第三实验组的流量统计数据与对照组的流量统计数据之间的差值;
若预设第二数量个优化统计维度的差值均与其对应的预设差值阈值匹配、且目标实验的当前功效值与预设功效阈值匹配,确定第三实验组为筛除实验组;
从多个实验组中确定至少两个保留实验组,保留实验组与筛除实验组不同。
在本申请的一些实施例中,统计维度包括优化统计维度,确定模块可以包括分值确定子模块、组数确定子模块、排序子模块和实验组确定子模块,其中,
分值确定子模块,用于根据流量统计数据,确定多个实验组各自的至少一个筛除分值;
组数确定子模块,用于确定目标实验的目标筛除组数;
排序子模块,用于对多个筛除分值进行排序,得到多个实验组的排序结果;
实验组确定子模块,用于根据排序结果,从多个实验组中确定目标筛除组数个筛除实验组。
在本申请的一些实施例中,分值确定子模块包括历史单元和分值单元,其中,
历史单元,包括获取实验组的至少一个统计维度的历史流量统计数据;
分值单元,包括计算历史流量统计数据与流量统计数据之间的差异绝对值,并确定差异绝对值为实验组的筛除分值。
在本申请的一些实施例中,实验组对应第一筛除分值和至少一个第二筛除分值,排序结果包括第一筛除分值对应的第一排序结果、以及至少一个第二筛除分值对应的至少一个第二排序结果,筛除分值对应优先级信息,优先级信息表征第一筛除分值的优先级高于第二筛除分值,实验组确定子模块具体用于:
根据优先级信息,基于第一排序结果,从多个实验组中确定第一组数个筛除实验组,并基于第二排序结果,从多个实验组中确定第二组数个筛除实验组,第一组数与第二组数的和值为目标筛除组数。
在本申请的一些实施例中,流量调整装置还包括迭代模块,其中,
迭代模块,用于确定所述至少两个保留实验组各自的调整后流量占比为新的流量占比、以及确定所述至少两个保留实验组为新的实验组,返回执行根据所述流量占比,在所述目标实验的实验过程中向所述多个实验组分配所述实验流量的步骤,直至所述目标实验的迭代次数与预设迭代次数匹配。
相应地,本申请实施例还提供一种计算机设备,包括处理器和存储器,存储器存储有计算机程序,处理器用于运行存储器内的计算机程序,以实现本申请实施例提供的流量调整方法中的步骤。
相应地,本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其中,计算机程序被处理器执行以实现本申请实施例提供的流量调整方法中的步骤。
相应地,本申请实施例还提供一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行以实现本申请实施例提供的流量调整方法中的步骤。
本申请实施例可以在实验过程中统计每个实验组在至少一个统计维度的流量统计数据,根据流量统计数据评估各个实验组在实验过程中的表现,并确定其中表现不佳的筛除实验组,及时将筛除实验组清空,并将配置给筛除实验组的流量等比例调整至多个实验组中的保留实验组,保证后续实验过程中流量统计数据的准确性,总体上可以有效提升目标实验的实验效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的流量调整方法的场景示意图;
图2是本申请实施例提供的流量调整方法的流程示意图;
图3是本申请实施例提供的流量调整装置的另一流程示意图;
图4是本申请实施例提供的流量调整装置的流量调整示意图;
图5是本申请实施例提供的流量调整装置的另一流程示意图;
图6是本申请实施例提供的流量调整装置的结构示意图;
图7是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
可以理解的是,在本申请的若干实施例中,涉及到用户信息(如实验流量、流量统计数据)等相关的数据,当本申请实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应”于以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例了提供一种流量调整方法、装置、计算机设备及计算机可读存储介质,流量调整装置可以集成在流量调整系统中,流量调整系统可以集成在至少一个计算机设备上,该计算机设备可以包括终端、服务器在内的至少一种。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能会议设备、智能屏幕等等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
参见图1,图1为本申请的一个场景示意图,服务器可以配置目标实验的相关数据,目标实验包括多个实验组,相关数据包括多个实验组各自的流量占比,可以运行目标实验,并根据流量占比,在目标实验的实验过程中向多个实验组分配实验流量,从而统计得到实验组在至少一个统计维度的流量统计数据,然后服务器可以根据流量统计数据,从多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,将筛除实验组从目标实验中清空,并将筛除实验组的筛除流量占比划分为至少两个子流量占比,至少两个子流量占比之间的比例关系与至少两个保留流量占比之间的比例关系相等,向至少两个保留流量占比分别添加至少两个子流量占比,以得到至少两个保留实验组各自的调整后流量占比。
图1为本申请的流量调整系统的应用场景的一个示例,主要用于介绍而非本申请的流量调整系统,在实际应用本申请实施例所描述的技术方案的过程中,可以对流量调整系统所包含的计算机设备、以及各个计算机设备所执行的步骤进行灵活调整,并不局限于图1中描述的内容。
下面将结合实施例对本申请的流量调整方法进行进一步介绍。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
图2示出了本申请的流量调整方法的一个流程示意图,如图2,流量调整方法可以包括:
110、配置目标实验的相关数据,目标实验包括多个实验组,相关数据包括多个实验组各自的流量占比,流量占比表征目标实验运行过程中向各个实验组分配的流量在实验流量中的占比,实验流量包括为目标实验分配的流量。
其中,目标实验可以包括在互联网全流量上线前,需要通过实验流量对至少一个备选方案进行评估的实验,目标实验可以包括至少一个实验组,每个实验组对应一个备选方案,根据实际需求,在一些应用场景下,至少两个实验组中可以包括至少一个对照组。实验组为多个的情况下,目标实验为对多个备选方案进行评估的实验,多个备选方案为互相可替代的并列方案,通过目标实验的评估数据,可以从多个备选方案中确定全流量上线的目标实验。多个备选方案对应的数据可以如多条文本、多组参数、多张图片、多条音视频、多个字符等等,具体地可以根据方案特点灵活确定,在此不做限制。多个备选方案可以如多个备选视频标题、多个备选动画效果、设置不同参数的多个算法,等等。
其中,相关数据可以包括运行目标实验所需的数据,相关数据可以包括流量占比,流量占比可以表征目标实验运行过程中向实验组分配的流量在实验流量中的占比,实验流量包括为目标实验分配的流量,比如,目标实验可以包括4个实验组,对应4个备选方案,4个实验组各自的流量占比可以分别为5、3、1、1,实验流量可以包括1000个互联网用户。
相关数据还可以包括预设显著阈值,预设显著阈值用于衡量数据、或数据的变化量是否显著,若数据、或其变化量小于预设显著阈值,则认为此数据、或其变化量不显著,在目标实验的相关数据处理过程中忽略此数据、或其变化量;若数据、或其变化量大于或等于预设显著阈值,则认为此数据或其变化量显著,基于此数据或变化量进行相关后续操作。比如,预设显著阈值可以为0.005,则若一数据小于0.005,则忽略此数据。
比如,目标实验1包括N个实验组,这N个实验组分别对应N个备选方案,N个备选方案为针对算法1的N组参数,算法1为针对互联网用户的短视频推荐算法配置N个实验组各自的流量占比:流量占比1、流量占比2、……、流量占比N,其中,N为正整数。
120、运行目标实验,并根据流量占比,在目标实验的实验过程中向多个实验组分配实验流量,从而得到实验组在至少一个统计维度的流量统计数据。
其中,统计维度可以包括运行目标实验过程中实验组的流量可进行数据统计的维度,比如,统计维度可以如基于备选方案向实验流量推送多媒体内容的过程中,分配至实验组的流量对数据的响应、或流量的相关方面,比如,多媒体内容的点击情况、多媒体内容的互动情况、多媒体内容的停留时长、基于多媒体内容的消费金额等,又比如,设定时间段内反馈次数的变化幅度等。
其中,流量统计数据可以包括在统计维度进行统计汇总所得数据,实验组过程中向实验组分配的流量通常为多个互联网用户,流量统计数据可以包括将向实验组分配的各个互联网用户在统计维度上的整合所得数据,比如,针对多媒体内容的互动情况,流量统计数据可以实验组内流量的为点赞总数、点赞率、评论率、平均评论字数等,又比如,针对基于多媒体内容的消费金额,流量统计数据可以实验组内流量的为人均消费金额、消费金额中位数、消费金额总数等等。
具体地,运行目标实验可以包括,基于流量占比,向各个实验组分配实验流量,并向流量推送基于其所属实验组对应的备选方案确定的多媒体内容,比如,若备选方案为多个动画效果,分别对应多个实验组,运行实验的过程,即基于多个实验组各自的实验占比,向实验组分配流量,在流量的用户页面显示其所属实验组对应的动画效果,可以统计实验组的流量对动画效果的响应程度(如互动率、停留时长等)。
比如,根据N个实验组各自的流量占比,在目标实验的实验过程向N个实验组分别分配流量,并向流量推送推荐短视频,该推荐短视频为基于流量所属实验组对应参数的算法1确定的短视频,统计各个实验组的流量在对推荐短视频的响应、或流量的相关信息,流量统计数据包括推荐短视频的平均观看时长、人均观看数量、点赞率,观看推荐短视频期间的转化消费率、人均消费金额等等。
130、根据流量统计数据,从多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,筛除实验组对应筛除流量占比,保留实验组对应保留流量占比。
其中,筛除实验组包括在实验进行过程中欲清空的实验组,筛除实验组通常为实验过程中表现不佳的实验组,通过各实验组的流量统计数据可以从多个实验组中确定筛除实验组,具体地,比如,可以将同一统计维度下,各组的流量统计数据进行排序,根据排序结果从多个实验组中确定筛除实验组和保留实验组。
比如,根据N个实验组各自的流量统计数据,从N个实验组中确定M个筛除实验组和P个保留实验组,其中,M和P均为正整数,且M与P的和值小于等于N。
在本申请的一些实施例中,统计维度可以包括约束统计维度,相关数据还可以包括约束统计维度对应的预设约束阈值,此种情况下根据流量统计数据,从多个实验组中确定筛除实验组和保留实验组的过程可以包括:若存在实验组的至少一个约束统计维度的流量统计数据与其对应的预设约束阈值不匹配,确定该实验组为筛除实验组,再从多个实验组中确定至少两个保留实验组,筛除实验组和保留实验组不同。
目标实验可以包括多个约束统计维度,约束统计维度可以对应预设约束阈值,约束统计维度的流量统计数据可以用于衡量备选方案对应实验组是否满足继续目标实验的至少一个条件,具体地,可以分别判断实验组的每个约束统计维度的流量统计数据是否与其对应的预设约束阈值匹配,若存在至少一个约束统计维度的流量统计数据不匹配,确定此实验组在目标实验中表现不佳,作为待清空的筛除实验组。
在一些实施例中,流量统计数据还可以包括对数据进行统计推断所得数据。
本申请实施例中的匹配可以理解为大于、小于、等于等情况,具体地可以根据实际情况灵活处理,在此不做限制。
比如,约束统计维度的流量统计数据可以包括观看推荐短视频期间的人均消费金额、以及预设时间段内推荐短视频的点赞率相对于对照组的跌幅,相关数据包括预设金额阈值和预设跌幅阈值,可以判断实验组3的人均消费金额是否大于预设金额阈值、以及跌幅是否小于预设跌幅阈值,若任一不满足,则确定实验组3为筛除实验组。
在本申请的一些实施例中,统计维度包括优化统计维度,此种情况下根据流量统计数据,从多个实验组中确定筛除实验组和保留实验组的过程可以包括:
将任意两个实验组结合,得到至少两个实验组集,实验组集包括第一实验组和第二实验组;若预设第一数量个优化统计维度上,第一实验组的流量统计数据均大于第二实验组的流量统计数据,确定第一实验组为筛除实验组;从多个实验组中确定至少两个保留实验组。
优化统计维度的流量统计数据可以包括衡量备选方案是否为最终的目标方案的相关数据,目标实验运行过程中,如果一个实验组的预设第一数量个(预设第一数量可以如目标实验中实验组的数量)优化统计维度的流量统计数据均优于另一实验组,则前一实验组显然更有可能成为最终的目标方案,此时可以将后一实验组确定为筛除实验组。
具体地,可以首先将多个实验组中的任意两个实验组组合,得到多个实验组集,然后对每个实验组集所包括的第一实验组和第二实验组的所有流量统计数据进行比较,确定第一实验组的预设第一数量个优化统计维度的流量统计数据是否均优于第二实验组,其中,优于可以根据实际情况灵活确定,如大于、小于等,若是则确定第二实验组为筛除实验组。
比如,目标实验可以包括8个优化统计维度,将N个实验组两两组合,其中,实验组3和实验组4构成一个实验组集,分别比较实验组3的所有优化统计维度的流量统计数据是否均优于实验组4,若是,确定实验组4为筛除实验组。
在本申请的一些实施例中,统计维度包括优化统计维度,目标实验还包括至少一个对照组,此种情况下根据流量统计数据,从多个实验组中确定筛除实验组和保留实验组的过程可以包括:分别计算每个优化统计维度上第三实验组的流量统计数据与对照组的流量统计数据之间的差值;若预设第二数量个优化统计维度的差值均与其对应的预设差值阈值匹配、且目标实验的当前功效值与预设功效阈值匹配,确定第三实验组为筛除实验组;从多个实验组中确定至少两个保留实验组。
优化统计维度的流量统计数据可以包括衡量备选方案是否为最终的目标方案的相关数据,目标实验还可以设置对照组,将实验组与对照组进行比较,可以判断实验组是否有明显改进,因此,若目标实验运行过程中,一实验组的预设第二数量(如目标实验中全部实验组的数量)个优化统计维度的流量统计数据相对于对照组均不显著,可以认为此实验组对应备选方案效果较差,确定此实验组为筛除实验组。
具体地,可以计算实验组的所有优化统计维度的流量统计数据与对照组的流量统计数据之间的差值,比如,优化统计维度1的差值可以为:实验组1的优化统计维度1的流量统计数据1与对照组的优化统计维度1的流量统计数据2之间的差值。优化统计维度可以对应预设差值阈值,若预设第二数量个优化统计维度的差值均与其对应的预设差值阈值匹配,可以确定此实验组为筛除实验组。
比如,目标实验可以包括8个优化统计维度,可以计算实验组1的所有优化统计维度的流量统计数据与对照组的流量统计数据的8个差值,若这8个差值均与其所属优化统计维度对应的预设差值阈值匹配,确定实验组1为筛除实验组。
在本申请的一些实施例中,还可以将目标实验的当前功效值作为确定筛除实验组的一个因素,进一步提升筛除实验组的可信度,比如,若实验组的预设第二数量个优化统计维度的差值均与其对应的预设差值阈值匹配、且目标实验的当前功效值与预设功效阈值匹配,确定该实验组为筛除实验组。
比如,若8个差值均与其所属优化统计维度对应的预设差值阈值匹配、且目标实验的当前功效值与预设功效阈值匹配,确定实验组1为筛除实验组。
从多个实验组中确定至少两个保留数据组的方式可以有多种,比如,可以将除筛除实验组以外的其他实验组确定为保留实验组,又比如,可以基于流量统计数据,从多个实验组中筛选出表现较好的保留实验组。
在本申请的一些实施例中,还可以限定一次流量调整过程中筛除实验组的数量,保证目标实验在后续进程仍为有效、高效的。首先,可以确定目标实验的目标筛除组数,此过程可以包括多种方式,如目标筛除组数可以属于相关数据,在配置相关数据的阶段可以获取此目标筛除组数,又如可以基于实验组的组数进行计算,如预设一次流量调整清空不超过a%的实验组,则可以基于实验组组的组数和a计算确定目标筛除组数,等等。
然后,可以根据流量统计数据为每个实验组分别确定至少一个筛除分值,筛除分值可以表征实验组对应备选方案在流量侧的效果,筛除分值越高,该备选方案的效果越差,其对应实验组作为筛除实验组的可能性越高。确定筛除分值的方式可以有多种,比如,可以将实验组的所有约束统计维度的流量统计数据相加,所得和值作为筛除分值。
又比如,可以获取实验组的至少一个统计维度的历史流量统计数据,历史流量统计数据可以包括目标实验先前已进行阶段进行数据统计所得的流量统计数据,再计算历史流量统计数据和流量统计数据之间的差异绝对值,统计维度包括多个的情况下,可以对多个差异绝对值求和,得到总的差异绝对值,确定一个统计维度对应的差异绝对值、或多个统计维度对应的总的差异绝对值为实验组的筛除分值。差异绝对值可以具体如相对差异绝对值。此处统计维度可以包括约束统计维度、优化统计维度等。差异绝对值可以基于约束统计维度的流量统计数据计算得到,比如,可以计算实验组该约束统计维度的流量统计数据、以及历史流量统计数据之间的差值,再基于差值、流量统计数据/历史流量统计数据,计算相对差异绝对值。
最后,可以对多个筛除分值进行排序,得到多个实验组的排序结果,并基于排序结果从多个实验组中确定目标筛除组数个筛除实验组,如排序结果可以包括对按照从高到底对筛除分值进行排序,得到每个实验组的排序结果,将前目标筛除组数个排序结果的实验组确定为筛除实验组。
在本申请的一些实施例中,一个实验组的筛除分值可以包括多个,对应地,可以排序得到多个排序结果,多个筛除分值对应优先级信息,优先级信息可以表征每个筛除分值在所有筛除分值中的优先级,可以根据优先级信息和排序结果,从多个实验组中确定目标筛除组数个筛除实验组。具体地,可以基于优先级高的筛除分值所得的排序结果先确定若干个筛除实验组,若已确定的筛除实验组的数量小于目标筛除组数,再基于优先级次高的筛除分值所得的排序结果确定若干筛除实验组,若已确定的筛除实验组的数量仍小于目标筛除组数,再基于优先级第三高的筛除分值所得的排序结果确定若干筛除实验组,重复判断和确定若干筛除实验组的过程,直至得到目标筛除组数个筛除实验组。
比如,实验组的筛除分值包括第一筛除分值和第二筛除分值,对应地,排序结果包括第一排序结果和第二排序结果,筛除分值的优先级信息表征第一筛除分值的优先级大于第二筛除分值,具体地,可以根据优先级信息,基于第一排序结果,从多个实验组中确定第一组数个筛除实验组,并基于第二排序结果,从多个实验组中确定第二组数个筛除实验组,第一组数与第二组数的和值为目标筛除组数。
140、将筛除实验组从目标实验中清空,并将筛除流量占比划分为至少两个子流量占比,至少两个子流量占比之间的比例关系与至少两个保留流量占比之间的比例关系相等。
本申请在确定表现不佳备选方案对应的筛除实验组后,在目标实验的进行过程中及时将筛除实验组清空,目标实验的后续过程无需再向表现不佳的实验组分配流量,无需针对表现不佳的备选方案进行无效的资源消耗,后续可以基于保留实验组继续进行目标实验,更快确定其中表现较好的实验组,进而确定最终的目标方案,有效提升实验效率。
本申请可以在实验过程清空筛除实验组,还可以将筛除实验组的流量占比等比例划分至将要继续实验的至少两个保留实验组,不改变保留实验组之间的流量占比的比例关系,有效保证实验组后续进行的数据处理过程的有效性,以及目标实验的实验结论的准确性。具体地,可以确定多个保留实验组各自的流量占比之间的比例关系,将筛除实验组的流量占比划分为多个子流量占比,此比例关系与这多个子流量占比之间的比例关系相同。若筛除实验组有多个,可以分别对每个筛除实验组的流量占比进行划分,分别将得到的子流量占比向保留实验组调整。
如,保留实验组1和保留实验组2的流量占比分别为2和3,将筛除实验组1的流量占比为1,则将其划分为子流量占比1和子流量占比2,分别为:0.4和0.6, 0.4和0.6之间的比例关系与2和3之间的比例关系保持一致。
150、向至少两个保留流量占比分别添加至少两个子流量占比,以得到至少两个保留实验组各自的调整后流量占比。
比如,可以将子流量占比1:0.4、子流量占比2:0.6分别调整至保留实验组1和保留实验组2,调整后的保留实验组1和保留实验组3的流量占比分别为2.4和3.6。
在本申请的一些实施例中,目标实验要进行多轮重复实验,配置目标实验的相关数据的过程可以包括配置目标实验的预设迭代次数,在进行一轮实验后可以进行从多个实验组中确定筛除实验组和保留实验组,清空筛除实验组,并将筛除实验组的流量占比等比例调整至保留实验组,再进行新一轮的实验,重复此过程,直至已进行实验的迭代次数与预设迭代次数匹配,则目标实验结束。
本申请实施例可以在实验过程中统计每个实验组在至少一个统计维度的流量统计数据,根据流量统计数据评估各个实验组在实验过程中的表现,并确定其中表现不佳的筛除实验组,及时将筛除实验组清空,并将配置给筛除实验组的流量等比例调整至多个实验组中的保留实验组,保证后续实验过程中流量统计数据的准确性,总体上可以有效提升目标实验的实验效率。
下面将结合具体示例对本申请的流量调整方法进行进一步介绍,参见图3,流量调整方法可以包括:
210、服务器配置目标实验的相关数据,目标实验包括多个实验组,相关数据包括目标实验的预设迭代次数、多个实验组各自的流量占比、至少一个优化统计维度的预设优化阈值、以及至少一个约束统计维度的预设约束阈值,流量占比表征目标实验运行过程中向各个实验组分配的流量在实验流量中的占比,实验流量包括为目标实验分配的流量。
比如,目标实验可以包括a个实验组,分别对应a个备选方案,预设迭代次数为b次,确定用于目标实验的实验流量为d个互联网用户,目标实验的目的可以包括从多个备选方案确定目标方案,也即在多个实验组中,找到在至少一个优化迭代维度上表现最优的实验组,优化迭代维度的优化方向(表现最优)可以包括流量统计数据最大、最小、最接近目标值(预设优化阈值)等。
在目标实验运行过程中,还需要配置至少一个约束统计维度的预设约束阈值,可以在目标实验的进行过程中,可以判断实验组在约束统计维度的流量统计数据与预设约束阈值是否匹配,此处的匹配可以包括大于或等于、小于或等于,等等,若匹配则确定此实验组对应备选方案表现不佳。
服务器还可以为各个实验组配置流量占比,流量占比可以表征目标实验运行过程中向各个实验组分配的流量在实验流量中的占比。
220、服务器运行目标实验,并根据流量占比,在目标实验的实验过程中向多个实验组分配实验流量,从而得到实验组在至少一个约束统计维度的流量统计数据、以及在至少一个优化统计维度的流量统计数据。
比如,在目标实验运行过程中,服务器可以基于流量占比向a个实验组分配互联网用户,并向互联网用户展示基于其所属实验组对应备选方案所确定的数据,服务器可以在实验运行过程中在多个统计维度对互联网用户对数据的反馈进行统计,得到至少一个约束统计维度的流量统计数据、至少一个优化统计维度的流量统计数据等。目标实验会进行多轮迭代,可以在确定到达迭代时间时,获取约束统计维度的流量统计数据、以及优化统计维度的流量统计数据。
230、服务器基于约束统计维度的流量统计数据、优化统计维度的流量统计数据、预设优化阈值、以及预设约束阈值,确定实验组的至少一个筛除分值。
比如,实验组的筛除分值可以包括优先级依次降低的第一筛除分值、第二筛除分值和第三筛除分值,第一筛除分值的计算过程可以包括:确定实验组的约束统计维度的流量统计数据是否满足约束,对流量统计数据进行假设检验,确定假定值(p-value),若假定值小于预设阈值、且该与数额统计维度的流量统计数据与历史流量统计数据的差值(即跌幅)大于预设阈值,确定该约束统计维度的流量统计数据不满足约束,计算跌幅的相对差异绝对值,将所有不满足预设的约束统计维度对应的相对差异绝对值求和,得到实验组的第一筛除分值。
第二筛除分值的计算过程可以包括:一个实验组集包括第一实验组和第二实验组,若第一实验组的所有优化统计维度的流量统计数据均优于第二实验组,计算每一优化统计维度上第一实验组的流量统计数据与历史流量统计数据之间的差值(即跌幅),计算跌幅的相对差异绝对值,并对所有相对差异绝对值求和,得到第二实验组的第二筛除分值。
在本申请的一些实施例中,此处的跌幅也可以为优化统计维度上第一实验组的流量统计数据与第二实验组的流量统计数据之间的差值。
第三筛除分值的计算过程可以包括:若实验组的所有优化统计维度的流量统计数据均与对照组的流量统计数据之间的差值均小于预设敏感度阈值(即不显著)、且目标实验的实验功效小于预设功效阈值,计算实验组的所有优化统计维度的流量统计数据与历史流量统计数据的跌幅,并计算跌幅的相对差异绝对值,对所有相对差异绝对值求和,得到该实验组的第三筛除分值。
在本申请的一些实施例中,此处的跌幅也可以为实验组的所有优化统计维度的流量统计数据与对照组的流量统计数据之间的差值。
240、服务器对多个实验组各自的筛除分值进行排序,得到排序结果。
比如,服务器可以对多个实验组各自的第一筛除分值进行排序,得到第一排序结果;对多个实验组各自的第二筛除分值进行排序,得到第二排序结果;对多个实验组各自的第三筛除分值进行排序,得到第三排序结果。
250、服务器根据排序结果,从多个实验组确定至少一个筛除实验组和至少两个保留实验组,筛除实验组对应筛除流量占比,保留实验组对应保留流量占比。
服务器可以基于筛除分值的优先级信息,优先根据第一排序结果确定第一数量个筛除实验组,若第一数量小于预先设置的目标筛除组数,可以再基于第二排序结果确定第二数量个筛除实验组,若第一数量与第二数量的和值仍小于预先设置的目标筛除组数,可以再基于第三排序结果确定第三数量个筛除实验组。多个实验组中除筛除实验组以外的实验组即为保留实验组。
在本申请的一些实施例中,也可以基于预设多个筛除条件,判断实验组是否与任一筛除条件匹配,若匹配则确定该实验组为筛除实验组,对多个实验组均判断完成后,除筛除实验组以外的实验组确定为保留实验组,筛除条件可以包括:若实验组的任一约束统计维度的流量统计数据不满足约束,若不满足则确定该实验组为筛除实验组,判断是否满足约束的过程包括:是否满足约束,对流量统计数据进行假设检验,确定假定值(p-value),若假定值小于预设阈值、且该与数额统计维度的流量统计数据与历史流量统计数据的差值(即跌幅)大于预设阈值,确定该约束统计维度的流量统计数据不满足约束。
筛除条件还可以包括:将实验组两两组合,得到多个实验组集,一个实验组集包括第一实验组和第二实验组,若第一实验组的所有优化统计维度的流量统计数据均优于第二实验组,确定此第二实验组为筛除实验组。
筛除条件还可以包括:若实验组的所有优化统计维度的流量统计数据均与对照组的流量统计数据之间的差值均小于预设敏感度阈值(即不显著)、且目标实验的实验功效小于预设功效阈值,确定该实验组为筛除实验组。
260、服务器将筛除实验组从目标实验中清空,并将筛除流量占比划分为至少两个子流量占比,至少两个子流量占比之间的比例关系与至少两个保留流量占比之间的比例关系相等。
270、服务器向至少两个保留流量占比分别添加至少两个子流量占比,以得到至少两个保留实验组各自的调整后流量占比。
比如,参见图4,目标实验在时间点4包括实验组组A1、A2、B1、B4,各个实验组的流量占比可见时间点4的柱形图,在时间4与时间5期间进行流量调整后,将实验组B4的流量占比等比例调整至实验组A1、A2、B1中,时间点5时实验组A1、A2、B1的各流量占比之间的比例与时间点4时实验组A1、A2、B1的各流量占比之间比例保持一致。
280、服务器确定至少两个保留实验组各自的调整后流量占比为新的流量占比、以及确定至少两个保留实验组为新的实验组,返回执行根据流量占比,在目标实验的实验过程中向实验组分配实验流量的步骤,直至目标实验的迭代次数与预设迭代次数匹配。
比如,参见图5,可以首先配置实验,配置若干参数,参数可以包括:优化指标(预设优化阈值)、约束指标(预设约束指标)、业务敏感度(预设显著阈值)等,为目标实验的各个实验组配置流量占比,上线各个实验组并运行目标实验,若当前时间点达到迭代时间,对各个实验组进行评估,具体地:获取各个实验组的历史迭代数据(包括各个统计维度的流量统计数据),并基于历史迭代数据确定需要清零的实验组,清零实验组并确定清零实验组的流量占比分配至各个保留的实验组的子流量占比,将子流量占比分别分配至各个保留的实验组以更新各个保留的实验组的流量,上线各个保留的实验组并运行实验,直至迭代次数达到预设迭代次数,结束实验。
本申请可以在目标实验的整个期间,及时发现并清空表现不佳的实验组,并将这些实验组的流量等比例调整至保留的实验组,从而保证整个实验过程的检验有效性、提升实验效率。
为了更好地实施以上方法,本申请实施例还提供一种流量调整装置,如图6所示,该流量调整装置可以包括配置模块310、运行模块320、确定模块330、划分模块340、以及调整模块350,具体地:
配置模块310,用于配置目标实验的相关数据,目标实验包括多个实验组,相关数据包括多个实验组各自的流量占比,流量占比表征目标实验运行过程中向各个实验组分配的流量在实验流量中的占比,实验流量包括为目标实验分配的流量;
运行模块320,用于运行目标实验,并根据流量占比,在目标实验的实验过程中向多个实验组分配实验流量,从而得到实验组在至少一个统计维度的流量统计数据;
确定模块330,用于根据流量统计数据,从多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,筛除实验组对应筛除流量占比,保留实验组对应保留流量占比;
划分模块340,用于将筛除实验组从目标实验中清空,并将筛除流量占比划分为至少两个子流量占比,至少两个子流量占比之间的比例关系与至少两个保留流量占比之间的比例关系相等;
调整模块350,用于向至少两个保留流量占比分别添加至少两个子流量占比,以得到至少两个保留实验组各自的调整后流量占比。
在本申请的一些实施例中,统计维度包括约束统计维度,相关数据还包括至少一个约束统计维度对应的预设约束阈值,确定模块330可以具体用于:
若存在实验组的至少一个约束统计维度的流量统计数据与其对应的预设约束阈值不匹配,确定实验组为筛除实验组;
确定多个实验组中的至少两个保留实验组,保留实验组与筛除实验组不同。
在本申请的一些实施例中,统计维度包括优化统计维度,确定模块330可以具体用于:
将任意两个实验组结合,得到至少两个实验组集,实验组集包括第一实验组和第二实验组;
若预设第一数量个优化统计维度上,第一实验组的流量统计数据均大于第二实验组的流量统计数据,确定第一实验组为筛除实验组;
从多个实验组中确定至少两个保留实验组,保留实验组与筛除实验组不同。
在本申请的一些实施例中,统计维度包括优化统计维度,目标实验还包括至少一个对照组,多个实验组包括第三实验组,确定模块330可以具体用于:
分别计算每个优化统计维度上第三实验组的流量统计数据与对照组的流量统计数据之间的差值;
若预设第二数量个优化统计维度的差值均与其对应的预设差值阈值匹配、且目标实验的当前功效值与预设功效阈值匹配,确定第三实验组为筛除实验组;
从多个实验组中确定至少两个保留实验组,保留实验组与筛除实验组不同。
在本申请的一些实施例中,统计维度包括优化统计维度,确定模块330可以包括分值确定子模块、组数确定子模块、排序子模块和实验组确定子模块,其中,
分值确定子模块,用于根据流量统计数据,确定多个实验组各自的至少一个筛除分值;
组数确定子模块,用于确定目标实验的目标筛除组数;
排序子模块,用于对多个筛除分值进行排序,得到多个实验组的排序结果;
实验组确定子模块,用于根据排序结果,从多个实验组中确定目标筛除组数个筛除实验组。
在本申请的一些实施例中,分值确定子模块包括历史单元和分值单元,其中,
历史单元,包括获取实验组的至少一个统计维度的历史流量统计数据;
分值单元,包括计算历史流量统计数据与流量统计数据之间的差异绝对值,并确定差异绝对值为实验组的筛除分值。
在本申请的一些实施例中,实验组对应第一筛除分值和至少一个第二筛除分值,排序结果包括第一筛除分值对应的第一排序结果、以及至少一个第二筛除分值对应的至少一个第二排序结果,筛除分值对应优先级信息,优先级信息表征第一筛除分值的优先级高于第二筛除分值,实验组确定子模块具体用于:
根据优先级信息,基于第一排序结果,从多个实验组中确定第一组数个筛除实验组,并基于第二排序结果,从多个实验组中确定第二组数个筛除实验组,第一组数与第二组数的和值为目标筛除组数。
在本申请的一些实施例中,流量调整装置还包括迭代模块,其中,
迭代模块,用于确定至少两个保留实验组各自的调整后流量占比为新的流量占比、以及确定至少两个保留实验组为新的实验组,返回执行根据流量占比,在目标实验的实验过程中向多个实验组分配实验流量的步骤,直至目标实验的迭代次数与预设迭代次数匹配。
本申请中,配置模块310可以配置目标实验的相关数据,目标实验包括多个实验组,相关数据包括多个实验组各自的流量占比,流量占比表征目标实验运行过程中向各个实验组分配的流量在实验流量中的占比,实验流量包括为目标实验分配的流量,运行模块320可以运行目标实验,并根据流量占比,在目标实验的实验过程中向多个实验组分配实验流量,从而得到实验组在至少一个统计维度的流量统计数据,确定模块330可以根据流量统计数据,从多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,筛除实验组对应筛除流量占比,保留实验组对应保留流量占比,划分模块340可以将筛除实验组从目标实验中清空,并将筛除流量占比划分为至少两个子流量占比,至少两个子流量占比之间的比例关系与至少两个保留流量占比之间的比例关系相等,调整模块350可以向至少两个保留流量占比分别添加至少两个子流量占比,以得到至少两个保留实验组各自的调整后流量占比。
本申请实施例可以在实验过程中统计每个实验组在至少一个统计维度的流量统计数据,根据流量统计数据评估各个实验组在实验过程中的表现,并确定其中表现不佳的筛除实验组,及时将筛除实验组清空,并将配置给筛除实验组的流量等比例调整至多个实验组中的保留实验组,保证后续实验过程中流量统计数据的准确性,总体上可以有效提升目标实验的实验效率。
本申请实施例还提供一种计算机设备,如图7所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,该计算机设备可以是终端或者服务器等,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图7中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的计算机程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和计算机程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储计算机程序以及模块,处理器401通过运行存储在存储器402的就计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,该计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器401会按照如下的指令,将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
配置目标实验的相关数据,目标实验包括多个实验组,相关数据包括多个实验组各自的流量占比,流量占比表征目标实验运行过程中向各个实验组分配的流量在实验流量中的占比,实验流量包括为目标实验分配的流量;运行目标实验,并根据流量占比,在目标实验的实验过程中向多个实验组分配实验流量,从而得到实验组在至少一个统计维度的流量统计数据;根据流量统计数据,从多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,筛除实验组对应筛除流量占比,保留实验组对应保留流量占比;将筛除实验组从目标实验中清空,并将筛除流量占比划分为至少两个子流量占比,至少两个子流量占比之间的比例关系与至少两个保留流量占比之间的比例关系相等;向至少两个保留流量占比分别添加至少两个子流量占比,以得到至少两个保留实验组各自的调整后流量占比。
本申请实施例可以在实验过程中统计每个实验组在至少一个统计维度的流量统计数据,根据流量统计数据评估各个实验组在实验过程中的表现,并确定其中表现不佳的筛除实验组,及时将筛除实验组清空,并将配置给筛除实验组的流量等比例调整至多个实验组中的保留实验组,保证后续实验过程中流量统计数据的准确性,总体上可以有效提升目标实验的实验效率。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种流量调整方法中的步骤。例如,该计算机程序可以执行如下步骤:
配置目标实验的相关数据,目标实验包括多个实验组,相关数据包括多个实验组各自的流量占比,流量占比表征目标实验运行过程中向各个实验组分配的流量在实验流量中的占比,实验流量包括为目标实验分配的流量;运行目标实验,并根据流量占比,在目标实验的实验过程中向多个实验组分配实验流量,从而得到实验组在至少一个统计维度的流量统计数据;根据流量统计数据,从多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,筛除实验组对应筛除流量占比,保留实验组对应保留流量占比;将筛除实验组从目标实验中清空,并将筛除流量占比划分为至少两个子流量占比,至少两个子流量占比之间的比例关系与至少两个保留流量占比之间的比例关系相等;向至少两个保留流量占比分别添加至少两个子流量占比,以得到至少两个保留实验组各自的调整后流量占比。以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种流量调整方法中的步骤,因此,可以实现本申请实施例所提供的任一种流量调整方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述流量调整方法的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的一种流量调整方法、装置、计算机设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种流量调整方法,其特征在于,所述方法包括:
配置目标实验的相关数据,所述目标实验包括多个实验组,所述相关数据包括所述多个实验组各自的流量占比,所述流量占比表征所述目标实验运行过程中向各个所述实验组分配的流量在实验流量中的占比,所述实验流量包括为所述目标实验分配的流量;
运行所述目标实验,并根据所述流量占比,在所述目标实验的实验过程中向所述多个实验组分配所述实验流量,从而得到所述实验组在至少一个统计维度的流量统计数据;
根据所述流量统计数据,从所述多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,所述筛除实验组对应筛除流量占比,所述保留实验组对应保留流量占比;
将所述筛除实验组从所述目标实验中清空,并将所述筛除流量占比划分为至少两个子流量占比,所述至少两个子流量占比之间的比例关系与所述至少两个保留流量占比之间的比例关系相等;
向所述至少两个保留流量占比分别添加所述至少两个子流量占比,以得到所述至少两个保留实验组各自的调整后流量占比。
2.根据权利要求1所述的方法,其特征在于,所述统计维度包括约束统计维度,所述相关数据还包括至少一个约束统计维度对应的预设约束阈值,
所述根据所述流量统计数据,从所述多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,包括:
若存在实验组的至少一个约束统计维度的流量统计数据与其对应的预设约束阈值不匹配,确定所述实验组为筛除实验组;
确定所述多个实验组中的至少两个保留实验组,所述保留实验组与所述筛除实验组不同。
3.根据权利要求1所述的方法,其特征在于,所述统计维度包括优化统计维度,
所述根据所述流量统计数据,从所述多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,包括:
将任意两个所述实验组结合,得到至少两个实验组集,所述实验组集包括第一实验组和第二实验组;
若预设第一数量个所述优化统计维度上,所述第一实验组的流量统计数据均大于所述第二实验组的流量统计数据,确定所述第一实验组为筛除实验组;
从所述多个实验组中确定至少两个保留实验组,所述保留实验组与所述筛除实验组不同。
4.根据权利要求1所述的方法,其特征在于,所述统计维度包括优化统计维度,所述目标实验还包括至少一个对照组,所述多个实验组包括第三实验组,
所述根据所述流量统计数据,从所述多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,包括:
分别计算每个所述优化统计维度上所述第三实验组的流量统计数据与所述对照组的流量统计数据之间的差值;
若预设第二数量个所述优化统计维度的差值均与其对应的预设差值阈值匹配、且所述目标实验的当前功效值与预设功效阈值匹配,确定所述第三实验组为筛除实验组;
从所述多个实验组中确定至少两个保留实验组,所述保留实验组与所述筛除实验组不同。
5.根据权利要求1所述的方法,其特征在于,所述根据所述流量统计数据,从所述多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,包括:
根据所述流量统计数据,确定所述多个实验组各自的至少一个筛除分值;
确定所述目标实验的目标筛除组数;
对所述多个筛除分值进行排序,得到所述多个实验组的排序结果;
根据所述排序结果,从所述多个实验组中确定目标筛除组数个筛除实验组。
6.根据权利要求5所述的方法,其特征在于,所述根据所述流量统计数据,确定所述多个实验组各自的至少一个筛除分值,包括:
获取实验组的所述至少一个统计维度的历史流量统计数据;
计算所述历史流量统计数据与所述流量统计数据之间的差异绝对值,并确定所述差异绝对值为所述实验组的筛除分值。
7.根据权利要求6所述的方法,其特征在于,所述实验组对应第一筛除分值和至少一个第二筛除分值,所述排序结果包括第一筛除分值对应的第一排序结果、以及至少一个第二筛除分值对应的至少一个第二排序结果,
所述筛除分值对应优先级信息,所述优先级信息表征所述第一筛除分值的优先级高于所述第二筛除分值,
所述根据所述排序结果,从所述多个实验组中确定目标筛除组数个筛除实验组,包括:
根据所述优先级信息,基于所述第一排序结果,从所述多个实验组中确定第一组数个筛除实验组,并基于所述第二排序结果,从所述多个实验组中确定第二组数个筛除实验组,所述第一组数与所述第二组数的和值为所述目标筛除组数。
8.根据权利要求1所述的方法,其特征在于,所述向所述至少两个保留流量占比分别添加所述至少两个子流量占比,以得到所述至少两个保留实验组各自的调整后流量占比之后,还包括:
确定所述至少两个保留实验组各自的调整后流量占比为新的流量占比、以及确定所述至少两个保留实验组为新的实验组,返回执行根据所述流量占比,在所述目标实验的实验过程中向所述多个实验组分配所述实验流量的步骤,直至所述目标实验的迭代次数与预设迭代次数匹配。
9.一种流量调整装置,其特征在于,所述装置包括:
配置模块,用于配置目标实验的相关数据,所述目标实验包括多个实验组,所述相关数据包括所述多个实验组各自的流量占比,所述流量占比表征所述目标实验运行过程中向各个所述实验组分配的流量在实验流量中的占比,所述实验流量包括为所述目标实验分配的流量;
运行模块,用于运行所述目标实验,并根据所述流量占比,在所述目标实验的实验过程中向所述多个实验组分配所述实验流量,从而得到所述实验组在至少一个统计维度的流量统计数据;
确定模块,用于根据所述流量统计数据,从所述多个实验组中确定至少一个筛除实验组以及至少两个保留实验组,所述筛除实验组对应筛除流量占比,所述保留实验组对应保留流量占比;
划分模块,用于将所述筛除实验组从所述目标实验中清空,并将所述筛除流量占比划分为至少两个子流量占比,所述至少两个子流量占比之间的比例关系与所述至少两个保留流量占比之间的比例关系相等;
调整模块,用于向所述至少两个保留流量占比分别添加所述至少两个子流量占比,以得到所述至少两个保留实验组各自的调整后流量占比。
10.一种计算机设备,其特征在于,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行权利要求1至8任一项所述的流量调整方法中的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行权利要求1至8任一项所述的流量调整方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311369684.8A CN117118874B (zh) | 2023-10-23 | 2023-10-23 | 流量调整方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311369684.8A CN117118874B (zh) | 2023-10-23 | 2023-10-23 | 流量调整方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117118874A true CN117118874A (zh) | 2023-11-24 |
CN117118874B CN117118874B (zh) | 2024-01-05 |
Family
ID=88798684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311369684.8A Active CN117118874B (zh) | 2023-10-23 | 2023-10-23 | 流量调整方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117118874B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150120856A1 (en) * | 2013-10-29 | 2015-04-30 | Solana Networks Inc. | Method and system for processing network traffic flow data |
CN111884949A (zh) * | 2020-08-05 | 2020-11-03 | 支付宝(杭州)信息技术有限公司 | Ab实验的分流方案确定、分流实现方法、装置及系统 |
CN113315672A (zh) * | 2020-02-27 | 2021-08-27 | 腾讯科技(深圳)有限公司 | 流量分配方法及装置、电子设备及计算机可读存储介质 |
CN115130026A (zh) * | 2021-03-24 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 目标对象的确定方法、装置、介质及电子设备 |
-
2023
- 2023-10-23 CN CN202311369684.8A patent/CN117118874B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150120856A1 (en) * | 2013-10-29 | 2015-04-30 | Solana Networks Inc. | Method and system for processing network traffic flow data |
CN113315672A (zh) * | 2020-02-27 | 2021-08-27 | 腾讯科技(深圳)有限公司 | 流量分配方法及装置、电子设备及计算机可读存储介质 |
CN111884949A (zh) * | 2020-08-05 | 2020-11-03 | 支付宝(杭州)信息技术有限公司 | Ab实验的分流方案确定、分流实现方法、装置及系统 |
CN115130026A (zh) * | 2021-03-24 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 目标对象的确定方法、装置、介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117118874B (zh) | 2024-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110457589B (zh) | 一种车辆推荐方法、装置、设备及存储介质 | |
CN108334601B (zh) | 基于标签主题模型的歌曲推荐方法、装置及存储介质 | |
CN105677881A (zh) | 一种信息推荐方法、装置及服务器 | |
US11216518B2 (en) | Systems and methods of providing recommendations of content items | |
WO2021197388A1 (zh) | 一种联邦学习中用户的索引方法及联邦学习装置 | |
US11381635B2 (en) | Method of operating a server apparatus for delivering website content, server apparatus and device in communication with server apparatus | |
CN111144957A (zh) | 信息投放方法、装置、服务器及存储介质 | |
CN117118874B (zh) | 流量调整方法、装置、计算机设备及计算机可读存储介质 | |
CN112669091A (zh) | 数据处理方法、装置及存储介质 | |
CN115002049B (zh) | 资源分配的方法及装置 | |
CN112866358B (zh) | 一种物联网服务重调度的方法、系统及装置 | |
CN112488764B (zh) | 营销策略匹配方法、系统及计算机可读存储介质 | |
CN113177613A (zh) | 系统资源数据分配方法及装置 | |
CN114048010A (zh) | 服务超时时间的控制方法、装置、设备以及存储介质 | |
CN112181829A (zh) | Ab实验的用户分流方法、装置、终端及介质 | |
CN114374881B (zh) | 分配用户流量的方法、装置、电子设备及存储介质 | |
CN111754056B (zh) | 模型评估方法以及相关装置 | |
CN111949742B (zh) | 一种选品方法和装置 | |
Ryu et al. | User adaptive recommendation model by using user clustering based on decision tree | |
CN111798076A (zh) | 常驻区域推荐方法、装置、电子设备及存储介质 | |
CN118260618A (zh) | 模型生成方法、客户识别方法、装置、设备及存储介质 | |
CN114356572A (zh) | 一种为任务分配资源的方法、装置及存储介质 | |
CN116010075A (zh) | 一种资源分配方法及装置、计算机可读存储介质 | |
CN115292138A (zh) | 一种场景识别方法、系统及电子设备 | |
CN115311104A (zh) | 用于数字社区宣传的意见领袖动态选取方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |