CN115145801B - A/b测试流量分配方法、装置、设备及存储介质 - Google Patents
A/b测试流量分配方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115145801B CN115145801B CN202211075869.3A CN202211075869A CN115145801B CN 115145801 B CN115145801 B CN 115145801B CN 202211075869 A CN202211075869 A CN 202211075869A CN 115145801 B CN115145801 B CN 115145801B
- Authority
- CN
- China
- Prior art keywords
- feature
- test
- value
- training sample
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 162
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 178
- 238000006243 chemical reaction Methods 0.000 claims abstract description 143
- 230000009466 transformation Effects 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 12
- 238000012545 processing Methods 0.000 abstract description 12
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 238000012896 Statistical algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000001801 Z-test Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种A/B测试流量分配方法、装置、设备及存储介质，所述A/B测试流量分配方法包括：获取待投放页面的特征信息，其中，待投放页面至少包含两个；将特征信息输入至预设的测试预测模型，并基于测试预测模型，对特征信息进行转化预测处理，得到下一周期待投放页面的预测转化表现值，其中，测试预测模型是基于特征训练样本、特征训练样本的转化表现标签以及特征训练样本的时间周期标签，对待训练模型进行训练得到的；基于预测转化表现值，确定所述待投放页面的流量分配。本申请训练测试预测模型的过程中加入特征训练样本的时间周期标签，即在下一周期所述待投放页面的预测转化表现值的过程中考虑时间维度，以此提高模型预测的准确度。
Description
技术领域
本申请涉及测试技术领域，尤其涉及一种A/B测试流量分配方法、装置、设备及存储介质。
背景技术
目前，页面投放对用户进行A/B测试，根据测试结果来投放用户转化率更高的页面。当前测试结果的计算主要采用统计学算法（如Z-Test、T-Test等算法）对历史数据进行对比分析。这种做法的一个问题是，对历史数据，无论是距离现在远近，都是同样看待，给予同样的权重。举例来说，如果A、B两个版本的对比试验，前期A版本转化表现好，后期B版本表现好，基于统计学算法，前后期数据放在一起，A、B两个版本的转化表现可能没有显著差别，但是，实际上，未来一个周期继续投放B版本却很可能会取得更好的效果，因此预测投放页面的准确率低。
发明内容
本申请的主要目的在于提供一种A/B测试流量分配方法、装置、设备及存储介质，旨在解决现有技术中预测投放页面的准确率低的技术问题。
为实现以上目的，本申请提供一种A/B测试流量分配方法，所述A/B测试流量分配方法包括：
获取待投放页面的特征信息，其中，所述待投放页面至少包含两个；
将所述特征信息输入至预设的测试预测模型，并基于所述测试预测模型，对所述特征信息进行转化预测处理，得到下一周期所述待投放页面的预测转化表现值，其中，所述测试预测模型是基于特征训练样本、所述特征训练样本的转化表现标签以及所述特征训练样本的时间周期标签，对待训练模型进行训练得到的；
基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面。
可选地，所述获取待投放页面的特征信息的步骤之前，所述方法包括：
获取特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签；
基于所述特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签，确定具有所述时间周期标签的特征权重；
基于所述特征训练样本、所述特征训练样本的转化表现标签以及所述特征权重，对预设的待训练模型进行迭代训练，得到具有满足精度条件的测试预测模型。
可选地，所述基于所述特征训练样本、所述特征训练样本的转化表现标签以及所述特征权重，对预设的待训练模型进行迭代训练，得到具有满足精度条件的测试预测模型的步骤，包括：
将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值；
将所述预测特征转化表现值与所述特征训练样本的转化表现值标签进行差异计算，得到误差结果；
基于所述误差结果，判断所述误差结果是否满足预设误差阈值范围指示的误差标准；
若所述误差结果未满足所述预设误差阈值范围指示的误差标准，返回将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值的步骤，直到所述训练误差结果满足所述预设误差阈值范围指示的误差标准后停止训练，得到所述测试预测模型。
可选地，所述基于所述测试预测模型，对所述特征信息进行转化预测处理，得到下一周期所述待投放页面的预测转化表现值的步骤，包括：
基于所述测试预测模型，利用所述特征权重，确定每一特征信息的特征值；
基于所述特征值，计算每一所述待投放页面的下一周期的预测转化表现值。
可选地，所述特征权重是具有时间周期标签，且包括每一特征信息的特征权重。
可选地，所述基于所述转化表现，确定所述待投放页面间的流量分配，并基于所述流量分配，投放所述待投放页面的步骤之后，所述方法包括：
获取页面投放后下一周期的实际转化表现值；
基于所述预测转化表现值和所述实际转化表现值，更新所述测试预测模型。
可选地，所述基于所述预测转化表现值和所述实际转化表现值，更新所述测试预测模型的步骤，包括：
基于所述预测转化表现值和所述实际转化表现值，确定特征权重的变化值；
基于所述特征权重的变化值，更新所述测试预测模型。
本申请还提供一种A/B测试流量分配装置，所述A/B测试流量分配装置包括：
获取模块，用于获取待投放页面的特征信息，其中，所述待投放页面至少包含两个；
预测模块，用于将所述特征信息输入至预设的测试预测模型，并基于所述测试预测模型，对所述特征信息进行转化预测处理，得到下一周期所述待投放页面的预测转化表现值，其中，所述测试预测模型是基于特征训练样本、所述特征训练样本的转化表现标签以及所述特征训练样本的时间周期标签，对待训练模型进行训练得到的；
分配模块，用于基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面。
本申请还提供一种A/B测试流量分配设备，所述A/B测试流量分配设备包括：存储器、处理器以及存储在存储器上的用于实现所述A/B测试流量分配方法的程序，
所述存储器用于存储实现A/B测试流量分配方法的程序；
所述处理器用于执行实现所述A/B测试流量分配方法的程序，以实现所述A/B测试流量分配方法的步骤。
本申请还提供一种存储介质，所述存储介质上存储有实现A/B测试流量分配方法的程序，所述实现A/B测试流量分配方法的程序被处理器执行以实现所述A/B测试流量分配方法的步骤。
本申请提供的一种A/B测试流量分配方法、装置、设备及存储介质，与相比，在本申请中，获取待投放页面的特征信息，其中，所述待投放页面至少包含两个；将所述特征信息输入至预设的测试预测模型，并基于所述测试预测模型，对所述特征信息进行转化预测处理，得到下一周期所述待投放页面的预测转化表现值，其中，所述测试预测模型是基于特征训练样本、所述特征训练样本的转化表现标签以及所述特征训练样本的时间周期标签，对待训练模型进行训练得到的；基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面。即在本申请中，训练测试预测模型的过程中加入特征训练样本的时间周期标签，即在下一周期所述待投放页面的预测转化表现值的过程中考虑时间维度，以此提高模型预测页面转化表现值的准确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本申请A/B测试流量分配方法第一实施例的流程示意图；
图3为本申请A/B测试流量分配装置的模块示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
本申请实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）播放器、MP4（Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及A/B测试流量分配程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的A/B测试流量分配程序。
参照图2，本申请实施例提供一种A/B测试流量分配方法，所述A/B测试流量分配方法包括：
步骤S100，获取待投放页面的特征信息，其中，所述待投放页面至少包含两个；
步骤S200，将所述特征信息输入至预设的测试预测模型，并基于所述测试预测模型，对所述特征信息进行转化预测处理，得到下一周期所述待投放页面的预测转化表现值，其中，所述测试预测模型是基于特征训练样本、所述特征训练样本的转化表现标签以及所述特征训练样本的时间周期标签，对待训练模型进行训练得到的；
步骤S300，基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面。
在本实施例中，具体的应用场景可以是：
页面投放对用户进行A/B测试，根据测试结果采用统计学算法对历史数据进行对比分析，来投放用户转化率更高的页面。但是对历史数据，无论是距离现在远近，都是同样看待，给予同样的权重，导致预测投放页面的准确率低。
具体步骤如下：
步骤S100，获取待投放页面的特征信息，其中，所述待投放页面至少包含两个；
在本实施例中，所述的A/B测试流量分配方法应用于A/B测试流量分配装置。
在本实施例中，A/B测试是指为页面或流程制作两个（A/B）或多个（A/B/n）版本，即至少包含两个，页面可以是应用于网页Web或应用程序App的页面，在同一时间维度，分别让组成成分相同或相似的访客群组随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最优版本，进行流量分配以及投放。
在本实施例中，待投放页面即A/B测试中的不同版本的页面，至少包含两个，即两个或两个以上不同版本的页面。
在本实施例中，特征信息为组成所述待投放页面的特征的信息，例如，页面主题颜色、页面商品类型等，特征信息的数量由待投放页面确定，不同版本的待投放页面之间的特征信息数量可以是相同的，也可以是不同的。
在本实施例中，装置获取待投放页面的特征信息的方式可以是测试人员自行上传至装置获取的，也可以是装置提取所述待投放页面的特征得到的。
在步骤S100，获取待投放页面的特征信息的步骤之前，所述方法包括以下步骤A100-A300：
步骤A100，获取特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签；
在本实施例中，历史数据包括特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签，所述历史数据为之前预设的时间周期内的数据，其中，预设的时间周期可以是过去一年内，也可以是过去六个月内，在此不做具体限定。
在本实施例中，所述特征训练样本为用于训练的特征样本，包括一定数量的特征信息。
在本实施例中，所述特征训练样本的转化表现值标签为对应于特征训练样本的转化表现值，例如，去年参加A/B测试的特征训练样本X、Y，X的转化表现值为70，Y的转化表现值为30，即特征训练样本X的转化表现值标签为70，特征训练样本Y的转化表现值标签为30。
在本实施例中，所述转化表现值为用户访问页面所产生的数据值，包括用户转化率、用户页面停留时长、用户注册、用户商品购买率等因素，根据页面性质不同，转化表现所包括的因素也不同，例如，商品销售性质的页面的转化表现所包含的因素包括用户转化率、商品购买率、销售收入、用户停留时长等，网站注册性质的页面的转化表现所包含的因素包括用户转化率、用户注册人数、用户停留时长等。装置通过获取不同因素的数据，并将此数据通过预设的转化公式，转换为所述转化表现值。
在本实施例中，所述特征训练样本的时间周期标签，即特征训练样本进行A/B测试时所处的时间周期，可以是具体到某一月份，也可以是具体到某一天，例如，参加A/B测试的特征训练样本X的时间周期标签为20年8月份，特征训练样本Y的时间周期标签为20年9月份。
步骤A200，基于所述特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签，确定具有所述时间周期标签的特征权重；
在本实施例中，装置基于所述特征训练样本和所述特征训练样本的转化表现值标签，确定所述特征训练样本的每一特征的特征权重，并基于所述特征训练样本的时间周期标签，最终得到具有所述时间周期标签的每一特征的特征权重。具体地，特征训练样本即测试页面，具有预设数量的特征信息，根据所述特征训练样本对应的转化表现值，确定每一特征的特征权重，并根据特征训练样本对应的时间周期标签，得到具有所述时间周期标签的每一特征的特征权重。例如，参加A/B测试的特征训练样本X，具有X1、X2、X3三个特征信息，特征训练样本X的时间周期标签为8月份，特征训练样本X的整体转化表现值为70，其中具体的特征转化表现值：X1的表现值为40，X2的表现值为20，X3的表现值为10，计算得到X1的权重为0.57，X2的权重为0.28，X3的权重为0.15，时间标签为8月份。
步骤A300，基于所述特征训练样本、所述特征训练样本的转化表现标签以及所述特征权重，对预设的待训练模型进行迭代训练，得到具有满足精度条件的测试预测模型。
在本实施例中，装置基于所述特征训练样本、所述特征训练样本的转化表现标签以及所述特征权重，对预设的待训练模型进行迭代训练，得到具有满足精度条件的测试预测模型。
具体地，所述步骤A300，包括以下步骤A310-A340：
步骤A310，将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值；
在本实施例中，装置将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值，其中，预测特征转化表现值是在训练中的模型进行预测测试得到的。
步骤A320，将所述预测特征转化表现值与所述特征训练样本的转化表现值标签进行差异计算，得到误差结果；
在本实施例中，将所述预测特征转化表现值与所述特征训练样本的转化表现值标签进行差异计算，即验证训练中的模型所得到的结果是否与已知的结果相一致，并进行结果之间的差异计算，得到误差结果。
步骤A330，基于所述误差结果，判断所述误差结果是否满足预设误差阈值范围指示的误差标准；
在本实施例中，由于模型训练后的结果与实际的结果存在误差，允许误差结果在预设的误差阈值范围内，以此进一步判断所述误差结果是否满足预设误差阈值范围指示的误差标准。
步骤A340，若所述误差结果未满足所述预设误差阈值范围指示的误差标准，返回将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值的步骤，直到所述训练误差结果满足所述预设误差阈值范围指示的误差标准后停止训练，得到所述测试预测模型。
在本实施例中，若所述误差结果未满足所述预设误差阈值范围指示的误差标准，则表示模型在此次训练中误差存在过大，则返回将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值的步骤，即进行迭代训练，直到所述训练误差结果满足所述预设误差阈值范围指示的误差标准后停止训练，得到满足精度条件的所述测试预测模型，以此提高模型预测的准确性。
步骤S200，将所述特征信息输入至预设的测试预测模型，并基于所述测试预测模型，对所述特征信息进行转化预测处理，得到下一周期所述待投放页面的预测转化表现值，其中，所述测试预测模型是基于特征训练样本、所述特征训练样本的转化表现标签以及所述特征训练样本的时间周期标签，对待训练模型进行训练得到的；
在本实施例中，装置将所述特征信息输入至预设的测试预测模型，并基于所述测试预测模型，对所述特征信息进行转化预测处理，得到下一周期所述待投放页面的预测转化表现值，通过训练测试预测模型的过程中加入特征训练样本的时间周期标签的得到的测试预测模型，对待投放页面的特征信息进行转化预测，得到下一周期所述待投放页面的预测转化表现值，以此提高模型预测的准确度。
在本实施例中，下一周期可以将一天作为一周期，也可以将一周作为一周期，也可以将一个月作为一周期，在此不做具体限定。
具体地，所述步骤S200，包括以下步骤S210-S220：
步骤S210，基于所述测试预测模型，利用所述特征权重，确定每一特征信息的特征值；
在本实施例中，待投放页面包括预设数量的特征信息，例如页面主题颜色、页面商品类型等。
在本实施例中，所述特征权重是具有时间周期标签，且包括每一特征信息的特征权重。装置基于所述测试预测模型，利用所述特征权重，确定每一特征信息的特征值，由于同一特征信息，在不同的时间周期会产生的影响不同，所以在不同的时间周期，同一特征信息的特征权重也会不同，因此要引入具有时间周期标签的特征权重，以此提高模型预测的准确度，例如，待投放页面的主题颜色为冷色调，在冬季9月份-12月份，会降低用户的点击率，影响到用户转化率，所以权重会下降，若此主题颜色放在夏季5月份-8月份，提升了用户的转化率，此特征的权重会上升，因此此特征在5月份-8月份的特征值会高于9月份-12月份。
步骤S220，基于所述特征值，计算每一所述待投放页面的下一周期的预测转化表现值。
在本实施例中，装置基于待投放页面的每一特征的特征值，计算每一所述待投放页面的下一周期的预测转化表现值，例如，参加8月份时期A/B测试的待投放页面X，具有X1、X2、X3三个特征信息，X1的表现值为40，X2的表现值为20，X3的表现值为10，最终的预测转化表现值为70。
步骤S300，基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面。
在本实施例中，装置基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面。例如，参加A/B测试的待投放页面X和Y，待投放页面X的预测转化表现值为70，待投放页面Y的预测转化表现值为30，则待投放页面X分配的流量占70%，待投放页面Y分配的流量占30%。
在步骤S300，基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面的步骤之后，所述步骤包括以下步骤B100-B200：
步骤B100，获取页面投放后下一周期的实际转化表现值；
在本实施例中，装置在根据预测转化表现值去分配所述待投放页面的步骤之后，获取页面投放后下一周期的实际转化表现值，即在页面投放后，获取实际转化表现值。
步骤B200，基于所述预测转化表现值和所述实际转化表现值，更新所述测试预测模型。
在本实施例中，由于预测转化表现值和所述实际转化表现值会存在误差，所以装置基于所述预测转化表现值和所述实际转化表现值，更新所述测试预测模型，具体的，更新所述测试预测模型可以是继续训练的更新策略，即将旧的模型作为基础模型，用新的数据更新模型；也可以是模型融合更新策略，即不改变旧的模型，将旧模型的预测结果和新模型的预测结果进行融合。
具体地，所述步骤B200，包括以下步骤B210-B220：
步骤B210，基于所述预测转化表现值和所述实际转化表现值，确定特征权重的变化值；
在本实施例中，装置采用模型融合更新策略，将新模型的特征权重和旧模型的特征权重相融合，装置基于所述实际转化表现值，修正所述预测转化表现值，得到特征权重的变化值，确定新测试预测模型模型的每一特征的特征权重，以此更新所述测试预测模型，需要说明的是，转化表现值还包括每一特征的特征表现值，根据实际转化表现值得到的特征权重带有时间周期标签，即为本时间周期下的特征权重。例如，参加A/B测试的待投放页面X，预测转化表现值为70，特征X1预测表现值为40，X2为20，X3为10，实际转化表现值为50，特征X1实际表现值为30，X2为10，X3为10，即特征X1变化值为-10，X2变化值为-10。
步骤B220，基于所述特征权重的变化值，更新所述测试预测模型。
在本实施例中，装置基于所述特征权重的变化值，确定新测试预测模型模型的每一特征的特征权重，更新所述测试预测模型。
本申请提供的一种A/B测试流量分配方法、装置、设备及存储介质，与相比，在本申请中，获取待投放页面的特征信息，其中，所述待投放页面至少包含两个；将所述特征信息输入至预设的测试预测模型，并基于所述测试预测模型，对所述特征信息进行转化预测处理，得到下一周期所述待投放页面的预测转化表现值，其中，所述测试预测模型是基于特征训练样本、所述特征训练样本的转化表现标签以及所述特征训练样本的时间周期标签，对待训练模型进行训练得到的；基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面。即在本申请中，训练测试预测模型的过程中加入特征训练样本的时间周期标签，即在下一周期所述待投放页面的预测转化表现值的过程中考虑时间维度，以此提高模型预测页面转化表现值的准确度。
本申请还提供一种A/B测试流量分配装置，所述A/B测试流量分配装置包括：
获取模块10，用于获取待投放页面的特征信息，其中，所述待投放页面至少包含两个；
预测模块20，用于将所述特征信息输入至预设的测试预测模型，并基于所述测试预测模型，对所述特征信息进行转化预测处理，得到下一周期所述待投放页面的预测转化表现值，其中，所述测试预测模型是基于特征训练样本、所述特征训练样本的转化表现标签以及所述特征训练样本的时间周期标签，对待训练模型进行训练得到的；
分配模块30，用于基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面。
可选地，所述A/B测试流量分配装置还包括：
样本获取模块，用于获取特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签；
特征权重确定模块，用于基于所述特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签，确定具有所述时间周期标签的特征权重；
训练模块，用于基于所述特征训练样本、所述特征训练样本的转化表现标签以及所述特征权重，对预设的待训练模型进行迭代训练，得到具有满足精度条件的测试预测模型。
可选地，所述训练模块，包括：
转化表现值预测模块，用于将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值；
差异计算模块，用于将所述预测特征转化表现值与所述特征训练样本的转化表现值标签进行差异计算，得到误差结果；
判断模块，用于基于所述误差结果，判断所述误差结果是否满足预设误差阈值范围指示的误差标准；
迭代训练模块，用于若所述误差结果未满足所述预设误差阈值范围指示的误差标准，返回将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值的步骤，直到所述训练误差结果满足所述预设误差阈值范围指示的误差标准后停止训练，得到所述测试预测模型。
可选地，所述预测模块20，包括：
特征值确定模块，用于基于所述测试预测模型，利用所述特征权重，确定每一特征信息的特征值；
计算模块，用于基于所述特征值，计算每一所述待投放页面的下一周期的预测转化表现值。
可选地，所述A/B测试流量分配装置还包括：
实际转化表现值获取模块，用于获取页面投放后下一周期的实际转化表现值；
更新模块，用于基于所述预测转化表现值和所述实际转化表现值，更新所述测试预测模型。
可选地，所述更新模块，包括：
特征权重变化值确定模块，用于基于所述预测转化表现值和所述实际转化表现值，确定特征权重的变化值；
模型更新模块，用于基于所述特征权重的变化值，更新所述测试预测模型。
本申请A/B测试流量分配装置具体实施方式与上述A/B测试流量分配方法各实施例基本相同，在此不再赘述。
参照图1，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，该A/B测试流量分配设备还可以包括矩形用户接口、网络接口、摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏（Display）、输入子模块比如键盘（Keyboard），可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
本领域技术人员可以理解，图1中示出的A/B测试流量分配设备结构并不构成对A/B测试流量分配设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块以及A/B测试流量分配程序。操作系统是管理和控制A/B测试流量分配设备硬件和软件资源的程序，支持A/B测试流量分配程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与A/B测试流量分配系统中其它硬件和软件之间通信。
在图1所示的A/B测试流量分配设备中，处理器1001用于执行存储器1005中存储的A/B测试流量分配程序，实现上述任一项所述的A/B测试流量分配方法的步骤。
本申请A/B测试流量分配设备具体实施方式与上述A/B测试流量分配方法各实施例基本相同，在此不再赘述。
本申请还提供一种存储介质，所述存储介质上存储有实现A/B测试流量分配方法的程序，所述实现A/B测试流量分配方法的程序被处理器执行以实现如下所述A/B测试流量分配方法：
获取待投放页面的特征信息，其中，所述待投放页面至少包含两个；
将所述特征信息输入至预设的测试预测模型，并基于所述测试预测模型，对所述特征信息进行转化预测处理，得到下一周期所述待投放页面的预测转化表现值，其中，所述测试预测模型是基于特征训练样本、所述特征训练样本的转化表现标签以及所述特征训练样本的时间周期标签，对待训练模型进行训练得到的；
基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面。
可选地，所述获取待投放页面的特征信息的步骤之前，所述方法包括：
获取特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签；
基于所述特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签，确定具有所述时间周期标签的特征权重；
基于所述特征训练样本、所述特征训练样本的转化表现标签以及所述特征权重，对预设的待训练模型进行迭代训练，得到具有满足精度条件的测试预测模型。
可选地，所述基于所述特征训练样本、所述特征训练样本的转化表现标签以及所述特征权重，对预设的待训练模型进行迭代训练，得到具有满足精度条件的测试预测模型的步骤，包括：
将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值；
将所述预测特征转化表现值与所述特征训练样本的转化表现值标签进行差异计算，得到误差结果；
基于所述误差结果，判断所述误差结果是否满足预设误差阈值范围指示的误差标准；
若所述误差结果未满足所述预设误差阈值范围指示的误差标准，返回将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值的步骤，直到所述训练误差结果满足所述预设误差阈值范围指示的误差标准后停止训练，得到所述测试预测模型。
可选地，所述基于所述测试预测模型，对所述特征信息进行转化预测处理，得到下一周期所述待投放页面的预测转化表现值的步骤，包括：
基于所述测试预测模型，利用所述特征权重，确定每一特征信息的特征值；
基于所述特征值，计算每一所述待投放页面的下一周期的预测转化表现值。
可选地，所述特征权重是具有时间周期标签，且包括每一特征信息的特征权重。
可选地，所述基于所述转化表现，确定所述待投放页面间的流量分配，并基于所述流量分配，投放所述待投放页面的步骤之后，所述方法包括：
获取页面投放后下一周期的实际转化表现值；
基于所述预测转化表现值和所述实际转化表现值，更新所述测试预测模型。
可选地，所述基于所述预测转化表现值和所述实际转化表现值，更新所述测试预测模型的步骤，包括：
基于所述预测转化表现值和所述实际转化表现值，确定特征权重的变化值；
基于所述特征权重的变化值，更新所述测试预测模型。
本申请存储介质具体实施方式与上述A/B测试流量分配方法各实施例基本相同，在此不再赘述。
本申请还提供一种计算机程序产品、包括计算机程序，该计算机程序被处理器执行时实现上述的A/B测试流量分配方法的步骤。
本申请计算机程序产品的具体实施方式与上述A/B测试流量分配方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (8)
1.一种A/B测试流量分配方法，其特征在于，所述A/B测试流量分配方法包括：
获取特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签，其中，所述特征训练样本包括预设数量的特征信息；
基于所述特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签，确定具有所述时间周期标签的所述特征训练样本的每一特征信息的特征权重；
基于所述特征训练样本、所述特征训练样本的转化表现值标签以及所述特征权重，对预设的待训练模型进行迭代训练，得到具有满足精度条件的测试预测模型；
获取待投放页面的特征信息，其中，所述待投放页面至少包含两个；
将所述特征信息输入至预设的测试预测模型，并基于所述测试预测模型，利用所述特征权重，确定每一特征信息的特征值；
基于所述特征值，计算每一所述待投放页面的下一周期的预测转化表现值；
基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面。
2.如权利要求1所述的A/B测试流量分配方法，其特征在于，所述基于所述特征训练样本、所述特征训练样本的转化表现值标签以及所述特征权重，对预设的待训练模型进行迭代训练，得到具有满足精度条件的测试预测模型的步骤，包括：
将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值；
将所述预测特征转化表现值与所述特征训练样本的转化表现值标签进行差异计算，得到误差结果；
基于所述误差结果，判断所述误差结果是否满足预设误差阈值范围指示的误差标准；
若所述误差结果未满足所述预设误差阈值范围指示的误差标准，返回将所述特征训练样本和所述特征权重输入至所述待训练模型，得到预测特征转化表现值的步骤，直到所述误差结果满足所述预设误差阈值范围指示的误差标准后停止训练，得到所述测试预测模型。
3.如权利要求1所述的A/B测试流量分配方法，其特征在于，所述特征权重是具有时间周期标签，且包括每一特征信息的特征权重。
4.如权利要求1所述的A/B测试流量分配方法，其特征在于，所述基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面的步骤之后，所述方法包括：
获取页面投放后下一周期的实际转化表现值；
基于所述预测转化表现值和所述实际转化表现值，更新所述测试预测模型。
5.如权利要求4所述的A/B测试流量分配方法，其特征在于，所述基于所述预测转化表现值和所述实际转化表现值，更新所述测试预测模型的步骤，包括：
基于所述预测转化表现值和所述实际转化表现值，确定特征权重的变化值；
基于所述特征权重的变化值，更新所述测试预测模型。
6.一种A/B测试流量分配装置，其特征在于，所述A/B测试流量分配装置包括：
样本获取模块，用于获取特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签，其中，所述特征训练样本包括预设数量的特征信息；
权重确定模块，用于基于所述特征训练样本、所述特征训练样本的转化表现值标签以及所述特征训练样本的时间周期标签，确定具有所述时间周期标签的所述特征训练样本的每一特征信息的特征权重；
训练模块，用于基于所述特征训练样本、所述特征训练样本的转化表现值标签以及所述特征权重，对预设的待训练模型进行迭代训练，得到具有满足精度条件的测试预测模型；
获取模块，用于获取待投放页面的特征信息，其中，所述待投放页面至少包含两个；
特征值确定模块，用于将所述特征信息输入至预设的测试预测模型，并基于所述测试预测模型，利用所述特征权重，确定每一特征信息的特征值；
计算模块，用于基于所述特征值，计算每一所述待投放页面的下一周期的预测转化表现值；
分配模块，用于基于所述预测转化表现值，确定所述待投放页面的流量分配，并基于所述流量分配，投放所述待投放页面。
7.一种A/B测试流量分配设备，其特征在于，所述A/B测试流量分配设备包括：存储器、处理器以及存储在存储器上的用于实现所述A/B测试流量分配方法的程序，
所述存储器用于存储实现A/B测试流量分配方法的程序；
所述处理器用于执行实现所述A/B测试流量分配方法的程序，以实现如权利要求1至5中任一项所述A/B测试流量分配方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有实现A/B测试流量分配方法的程序，所述实现A/B测试流量分配方法的程序被处理器执行以实现如权利要求1至5中任一项所述A/B测试流量分配方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211075869.3A CN115145801B (zh) | 2022-09-05 | 2022-09-05 | A/b测试流量分配方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211075869.3A CN115145801B (zh) | 2022-09-05 | 2022-09-05 | A/b测试流量分配方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115145801A CN115145801A (zh) | 2022-10-04 |
| CN115145801B true CN115145801B (zh) | 2023-03-24 |
Family
ID=83416054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211075869.3A Active CN115145801B (zh) | 2022-09-05 | 2022-09-05 | A/b测试流量分配方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115145801B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661052B (zh) * | 2022-10-13 | 2023-09-12 | 高峰医疗器械(无锡)有限公司 | 牙槽骨的骨质检测方法、装置、设备及存储介质 |
| CN116366448B (zh) * | 2023-06-01 | 2023-08-18 | 南京云眼科技有限公司 | 流量分配方法、装置、设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102117466A (zh) * | 2011-02-25 | 2011-07-06 | 北京开心人信息技术有限公司 | 一种定向投放网络广告的方法及系统 |
| CN102592235A (zh) * | 2011-12-28 | 2012-07-18 | 北京品友互动信息技术有限公司 | 一种互联网广告投放系统 |
| CN114626881A (zh) * | 2022-03-04 | 2022-06-14 | 深圳前海微众银行股份有限公司 | 广告投放控制方法、装置、设备、存储介质及程序产品 |
-
2022
- 2022-09-05 CN CN202211075869.3A patent/CN115145801B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115145801A (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108768875B (zh) | 应用的灰度发布方法、装置及计算机可读存储介质 | |
| CN115145801B (zh) | A/b测试流量分配方法、装置、设备及存储介质 | |
| CN104838405B (zh) | 用于应用程序的测试框架的方法和系统 | |
| CN110264274B (zh) | 客群划分方法、模型生成方法、装置、设备及存储介质 | |
| CN110674349B (zh) | 视频poi识别方法、装置及电子设备 | |
| CN109688183B (zh) | 群控设备识别方法、装置、设备及计算机可读存储介质 | |
| CN113592535B (zh) | 一种广告推荐方法、装置、电子设备和存储介质 | |
| CN110320378B (zh) | 质控测试申请方法、装置、设备及计算机可读存储介质 | |
| CN112836128A (zh) | 信息推荐方法、装置、设备和存储介质 | |
| CN114880310A (zh) | 一种用户行为分析方法、装置、计算机设备及存储介质 | |
| CN104765609A (zh) | 软件关联资源推荐方法、获取方法及相应的装置 | |
| CN112529679A (zh) | 企业授信模型的构建方法、装置、设备及可读存储介质 | |
| CN113886721A (zh) | 个性化兴趣点推荐方法、装置、计算机设备及存储介质 | |
| CN110392115B (zh) | 区块链节点管理方法、装置和可读存储介质 | |
| CN112418443A (zh) | 基于迁移学习的数据处理方法、装置、设备及存储介质 | |
| CN112381236A (zh) | 联邦迁移学习的数据处理方法、装置、设备及存储介质 | |
| CN112905451A (zh) | 应用程序的自动化测试方法及装置 | |
| CN111291868A (zh) | 网络模型训练方法、装置、设备及计算机可读存储介质 | |
| CN113869964B (zh) | 一种数据处理方法和相关装置 | |
| CN110796200B (zh) | 数据分类方法、终端、装置及存储介质 | |
| CN115222478A (zh) | 产品消息推送方法、电子设备及可读存储介质 | |
| CN108009393B (zh) | 数据处理方法、装置及计算机可读存储介质 | |
| CN112418442A (zh) | 联邦迁移学习的数据处理方法、装置、设备及存储介质 | |
| CN112418441A (zh) | 基于迁移学习的数据处理方法、装置、设备及存储介质 | |
| CN116366448B (zh) | 流量分配方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231201 Address after: 3101, 3rd Floor, Building 7, 11th District, No. 188 South Fourth Ring West Road, Fengtai District, Beijing, 100000 RMB Patentee after: Beijing heliyuntong Technology Co.,Ltd. Address before: 210000 science and technology innovation center, No.18, Tiancheng Road, Binjiang Economic Development Zone, Jiangning District, Nanjing City, Jiangsu Province Patentee before: Nanjing Yunyan Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |