CN115130026A - 目标对象的确定方法、装置、介质及电子设备 - Google Patents

Abstract

本公开提供一种目标对象的确定方法、装置、介质及电子设备，涉及数据处理技术领域。该方法包括：确定在进行迭代计算之前第i实验组与对照组之间关于目标指标的差值的数据分布，得到先验分布；根据总样本量、在k次迭代过程中关于第i实验组的样本量和关于对照组的样本量，计算第i实验组与对照组之间关于目标指标的差值的第i数据分布，k为正整数；根据先验分布和第i数据分布，确定第i实验组与对照组之间关于目标指标的差值的第i后验分布；根据N个实验组分别对应的后验分布更新N个实验组各自的流量，并根据N个实验组更新后的流量确定目标对象。本方案无需大量的数据支持，同时能够有效提升目标对象的确定准确度。

Description

目标对象的确定方法、装置、介质及电子设备

技术领域

本公开涉及数据处理技术领域，具体而言，涉及一种目标对象的确定方法、目标对象的确定装置，以及实现上述方法的计算机可读存储介质和电子设备。

背景技术

日常工作或者生活中，经常会遇到需要在众多对象中确定出一个或多个对象的情景。例如，在众多视频中选择待观看的视频，在众多首歌曲中确定出待听的歌曲，或者在浏览购物网站时从众多商品中筛选出待点击以浏览详情的商品等等。

相关技术提供的确定目标对象的方案一般是采用机器学习技术的方式实现。然而，为了提升对目标对象的预测准确度，需要海量的样本来训练机器学习模型，因而相关技术提供的方案需要大量的数据支持以及较多的算力资源。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种目标对象的确定方法、目标对象的确定装置、电子设备以及计算机可读存储介质，无需大量的数据支持且在一定程度上节省算力资源。

根据本公开的一个方面，提供一种目标对象的确定方法，该方法包括：确定在进行迭代计算之前第i实验组与对照组之间关于目标指标的差值的数据分布，得到先验分布；根据总样本量、在k次迭代过程中关于上述第i实验组的样本量和关于上述对照组的样本量，计算上述第i实验组与上述对照组之间关于上述目标指标的差值的第i数据分布，k为正整数；根据上述先验分布和上述第i数据分布，确定上述第i实验组与上述对照组之间关于上述目标指标的差值的第i后验分布；根据N个实验组分别对应的后验分布更新上述N个实验组各自的流量，并根据上述N个实验组更新后的流量确定目标对象，N为正整数，i为不大于N的正整数。

根据本公开的一个方面，提供一种目标对象的确定装置，所述装置包括：先验分布确定模块、计算模块、后验分布确定模块以及目标对象确定模块。

其中，上述先验分布确定模块，被配置为：确定在进行迭代计算之前第i实验组与对照组之间关于目标指标的差值的数据分布，得到先验分布；上述计算模块，被配置为：根据总样本量、在k次迭代过程中关于上述第i实验组的样本量和关于上述对照组的样本量，计算上述第i实验组与上述对照组之间关于上述目标指标的差值的第i数据分布，k为正整数；上述后验分布确定模块，被配置为：根据上述先验分布和上述第i数据分布，确定上述第i实验组与上述对照组之间关于上述目标指标的差值的第i后验分布；以及，上述目标对象确定模块，被配置为：根据N个实验组分别对应的后验分布更新上述N个实验组各自的流量，并根据上述N个实验组更新后的流量确定目标对象，N为正整数，i为不大于N的正整数。

在示例性的实施例中，基于前述方案，上述计算模块被具体配置为：确定在第j次迭代时上述第i实验组的第一样本量、第一样本均值以及第一方差估计值，j为不大于k的正整数；确定在第j次迭代时上述对照组的第二样本量、第二样本均值以及第二方差估计值；根据上述总样本量、上述第一样本量、上述第二样本量、上述第一样本均值以及上述第二样本均值，确定关于上述第i数据分布的均值；根据上述总样本量、上述第一样本量、上述第二样本量、上述第一方差估计值以及上述第二方差估计值，确定关于上述第i数据分布的方差。

在示例性的实施例中，基于前述方案，上述后验分布确定模块被具体配置为：根据上述先验分布的方差和上述第i数据分布的方差，确定上述第i后验分布的方差；以及，根据上述先验分布的均值、上述先验分布的方差、上述第i数据分布的均值以及上述第i数据分布的方差，确定上述第i后验分布的均值。

在示例性的实施例中，基于前述方案，上述先验分布为正态分布，上述第i数据分布为正态分布，以及上述后验分布为正态分布。

在示例性的实施例中，基于前述方案，上述目标对象确定模块包括流量更新子模块。

其中，上述流量更新子模块被配置为：通过对第k次迭代时所述第i实验组的样本进行采样；获取满足所述后验分布的目标采样点；根据所述目标采样点与总采样点的比例，确定所述第i实验组更新后的流量与总流量的比例，得到对N个实验组各自的流量。

在示例性的实施例中，基于前述方案，上述目标对象确定模块还包括目标确定子模块。

其中，上述目标确定子模块被配置为：获取每个实验组更新后的流量与总流量的比例，在确定存在流量比例大于第一预设值的实验组的情况下，将流量较多的M个实验组作为所述目标对象，M为小于N的正整数；或，计算上述N个实验组的剩余价值，在确定存在剩余价值小于第二预设值的实验组的情况下，将流量较多的M个实验组作为所述目标对象。

在示例性的实施例中，基于前述方案，上述装置还包括：运行时长确定模块。

其中，上述运行时长确定模块被配置为：获取迭代运行时长；在确定迭代运行时长不高于第三预设值的情况下，计算所述第i实验组与所述对照组之间关于所述目标指标的差值的第i数据分布。

在示例性的实施例中，基于前述方案，上述装置还包括：防控指标模块。

其中，上述防控指标模块被配置为：在确定迭代运行时长高于所述第三预设值的情况下，确定所述第i实验组与所述对照组之间关于所述目标指标的差值不低于第四预设值。

在示例性的实施例中，基于前述方案，上述装置还包括：流量分配模块。

其中，上述流量分配模块被配置为：在确定关于上述第i实验组与上述对照组之间关于上述目标指标的差值低于上述第四预设值的情况下，将上述第i实验组对应的流量分配至其他实验组。

在示例性的实施例中，基于前述方案，上述流量分配确定模块被具体配置为：根据上述其他实验组的数据，将上述第i实验组对应的流量平均分配至上述其他实验组中的每个实验组。

在示例性的实施例中，基于前述方案，上述目标指标为视频点击率、视频收藏量、视频转发量或播放时长与视频总时长的占比，上述对照组和上述N个实验组为不同的视频，上述流量为点击观看视频的用户数，上述样本为点击观看视频的用户，其中，上述目标对象确定模块，被具体配置为：根据点击观看视频的用户数，在多个视频中确定出一个或多个目标视频。

在示例性的实施例中，基于前述方案，上述目标指标为商品点击率、商品收藏量或商品转发量，上述对照组和上述N个实验组为不同的商品，上述流量为点击浏览商品的用户数，上述样本为点击浏览商品的用户，其中，上述目标对象确定模块，还被具体配置为：根据点击浏览商品的用户数，在多个商品中确定出一个或多个目标商品，以供用户点击查看目标商品的详情。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任意实施例所述的目标对象的确定方法。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面中任意实施例所述的目标对象的确定方法。

根据本公开的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的目标对象的确定方法。

本公开示例性实施例可以具有以下部分或全部有益效果：

在本公开的一示例实施方式所提供的确定目标对象的方案中，设置多个实验组与对照组进行测试，以供多个实验组中确定出目标对象。具体地，对于第i实验组与对照组之间关于目标指标的差值，先确定在进行迭代计算之前时的先验分布。然后在迭代过程中根据各组的样本量再确定关于上述目标指标的差值的第i数据分布。然后，根据先验分布和第i数据分布确定后验分布。进一步地，根据N个实验组分别对应的后验分布更新N个实验组各自的流量，进而根据每个实验组更新后的流量来确定，目标对象。一方面，相较于相关技术，无需大量的数据支持且在一定程度上节省算力资源。另一方面，通过上述方案确定后验分布然后根据各个实验组对应的后验分布进行流量分配的方式可以有效避免辛普森悖论，从而有效提升确定目标对象的准确度。再一方面，本方案在迭代过程中动态的调整不同实验组的流量分布，有利于进一步提升确定目标对象的准确度，同时有利于提升实验效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开一实施例的目标对象的确定方案的示例性应用环境的系统架构的示意图。

图2示意性示出了根据本公开的一实施例的目标对象的确定方法的流程示意图。

图3示意性示出了本公开另一实施例的目标对象的确定方法的流程示意图。

图4示出本公开一示例性实施例中后验分布的确定方法的流程示意图。

图5示出了可以应用本公开另一实施例的目标对象的确定装置的结构示意图。

图6示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

针对日常工作或者生活中经常遇到的，在众多对象中确定出一个或多个对象(可称作确定目标对象)的场景，另一种相关技术中采用固定样本的t-test检验的方式来确定目标对象。具体地，在实验前确定好实验收集的样本量。并在实验到达样本量时，使用t-test方法进行假设检验的技术。然而，该方法无法在实验的过程中动态的调整流量，且需要累积一定量的样本，才能达到一个比较高的检验精度，因此实验效率较低。

针对相关技术存在的问题，本技术方案提供一种目标对象的确定方法、目标对象的确定装置，计算机可读存储介质及电子设备，以在一定程度上解决上述问题。

示例性的，图1示出了可以应用本公开一实施例的目标对象的确定方案的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端110、网络120以及服务器130。其中，终端110、网络120以及服务器130之间通过网络120连接。

示例性的，终端110为可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。网络120可以是能够在终端110和服务器130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路、无线通信链路或者光纤电缆等等，本申请在此不做限制。服务器130可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云端服务器。

本公开实施例所提供的目标对象的确定方法可以由服务器130中的任何一个节点执行。相应地，目标对象的确定装置一般设置于服务器130中。但本领域技术人员容易理解的是，本公开实施例所提供的目标对象的确定方法也可以由终端110执行，相应的，目标对象的确定装置也可以设置于相应的终端中，本示例性实施例中对此不做特殊限定。

需要说明的是，当人们尝试探究两种变量(比如新生录取率与性别)是否具有相关性的时候，会分别对之进行分组研究。然而，在分组比较中都占优势的一方，在总评中有时反而是失势的一方。1951年，在E.H.辛普森发表的论文中阐述了上述现象。之后人们以他的名字命名此悖论为辛普森悖论。在上述确定目标对象的过程中，若对原始样本使用中心极限定理计算实验组与对照组之间的样本差异，则会引入辛普森悖论问题。而本技术方案中采用分层加权的方式计算实验组与对照组的相对差异(将在下述实施例中进行详细描述)，能够避免直接将所有数据合并带来的辛普森悖论的问题。

同时，相较于相关技术，本技术方案通过确定第i实验组与对照组之间关于目标指标的差值的第i后验分布的方式来动态调整不同实验组的流量分布，从而无需累积一定量的样本便能达到一个比较高的检验精度，进而在有效提升确定目标对象的准确度的同时还可以提升实验效率。

具体地，通过服务器130确定第i实验组与对照组之间关于目标指标的差值的第i后验分布的方案如下：

确定在进行迭代计算之前第i实验组与对照组之间关于目标指标的差值的数据分布，得到先验分布。在k次迭代过程中，获取关于第i实验组中的样本量以及关于对照组的样本量。进一步地，根据总样本量、迭代过程中关于第i实验组的样本量和关于对照组的样本量，计算第i实验组与对照组之间关于目标指标的差值的第i数据分布。再根据先验分布和第i数据分布，确定第i实验组与对照组之间关于目标指标的差值的第i后验分布。

以下先对本公开提供的目标对象的确定方法实施例的进行详细阐述：

其中，图2出本公开一示例性实施例中目标对象的确定方法的流程示意图。参考图2该方法包括：

步骤S210，确定在进行迭代计算之前第i实验组与对照组之间关于目标指标的差值的数据分布，得到先验分布；

步骤S220，根据总样本量、在k次迭代过程中关于所述第i实验组的样本量和关于所述对照组的样本量，计算所述第i实验组与所述对照组之间关于所述目标指标的差值的第i数据分布，k为正整数；

步骤S230，根据所述先验分布和所述第i数据分布，确定所述第i实验组与所述对照组之间关于所述目标指标的差值的第i后验分布；以及，

步骤S240，根据N个实验组分别对应的后验分布更新所述N个实验组各自的流量，并根据所述N个实验组更新后的流量确定目标对象，N为正整数，i为不大于N的正整数。

在本图2所示实施例所提供的目标对象的确定方案中，设置多个实验组与对照组进行测试，以供多个实验组中确定出目标对象。一方面，相较于相关技术，无需大量的数据支持且在一定程度上节省算力资源。另一方面，通过上述方案确定后验分布然后根据各个实验组对应的后验分布进行流量分配的方式可以有效避免辛普森悖论，从而有效提升确定目标对象的准确度。再一方面，本方案在迭代过程中动态的调整不同实验组的流量分布，有利于进一步提升确定目标对象的准确度。

需要说明的是，上述目标指标可以是指一个单独的指标，还可以是多个指标。在是多个指标的情况下则采用多个指标的均值的方式实现本方案。例如，步骤S210中确定的是第i实验组与对照组之间关于目标指标的均值差值的数据分布，得到上述先验分布。又例如，在步骤S220中计算第i实验组与对照组之间关于所述目标指标的均值差值的第i数据分布。可见，本方案能够依据实验任意指定的指标结果来调整各实验组流量，具有较高实用性与灵活性。

在示例性的实施例中，本技术方案的使用场景可以是：在多个视频中，确定出用户最有可能点击收看的一个或多个目标视频。在该使用场景中，上述目标指标为视频点击率、视频收藏量、视频转发量或播放时长与视频总时长的占比，上述对照组和上述N个实验组为不同的视频，上述流量是指点击观看视频的用户数，上述样本是指点击观看视频的用户。

在示例性的实施例中，本技术方案的使用场景还可以是：在多个商品中，确定出用户最有可能点击查看详情的一个或多个目标商品。在该使用场景中，上述目标指标为商品点击率、商品收藏量或商品转发量，上述对照组和上述N个实验组为不同的商品，上述流量是指点击浏览商品的用户数，上述样本是指点击浏览商品的用户。

需要说明的是，本技术方案不限于上述使用场景，还可以应用于其他使用场景，对此不作限定。

在示例性的实施例中，图3示出本公开另一示例性实施例中目标对象的确定方法的流程示意图，以下结合图3对图2所示实施例中各个步骤的具体实施方式进行详细说明：

参考图3，在步骤S31中，配置实验参数，包括：指标类型、指标约束、指标防护以及迭代运行时长。

其中，上述指标类型可以是视频点击率、视频收藏量、视频转发量或播放时长与视频总时长的占比，还可以是商品点击率、商品收藏量或商品转发量等。本方案中实验目标即为最大化上述目标指标。上述目标指标可以是一个指标，也可以是多个指标的加权平均。

上述指标约束是在目标值相同的情况下，不满足约束的实验组的流量会比满足约束的实验组的流量小，具体细节可见更新各实验组新的流量分布的实施例。

上述指标防护是指关于同一指标，保证实验组与对照组的相对差异不能低于某个值。如果关于目标指标，实验组a与对照组的相对差异低于该值，则说明实验组a触发指标防护。

在步骤S32中，配置各个实验组的初始流量。

示例性的，各个实验组以及对照组的初始流量相同。

步骤S33:上线各个实验组。

步骤S34:运行实验。即进行第一次迭代计算。

步骤S35:判断是否达到迭代运行时长。

示例性的，通过计算距离运行开始时间是否大于第三预设值的方式，来确定是否达到迭代运行时长。其中，上述第三预设值可以根据诗句需求设定，对此不作限定。本方案设置迭代时间的限制，在确定到达迭代时间的情况下执行步骤S311以判断当前是否存在触发指标防护的实验组。

具体的，在示例性的实施例中，为了提高该方案的可用性，本实施例还监控迭代过程中是否出现指标结果降低过多的实验组。例如，继续参考图3，在步骤S311中，判断是否达到指标防护。

示例性的，确定第i实验组与对照组的相对差异是否低于第四预设值，若低于该值，说明第i实验组指标结果降低过多，则执行步骤S312：将触发指标防护的实验组的流量设置为零，并将该组流量进行重分配。示例性的，第i实验组对应的流量清零，并将相应的分配至其他实验组。为了流量分配公平性以及进一步提升方案可用性，将第i实验组对应的流量平均分配至其他实验组中的每个实验组。进一步地，执行步骤S310：更新各个实验组流量；执行步骤S33：上线各个实验组；以及步骤S34：运行实验。

示例性的，确定不存在低于上述第四预设值的实验组，说明不存在指标结果降低过多的实验组，则继续运行实验(步骤S34)。其中，上述第四预设值为根据实际需求设置的数值，对此不作限定。

在步骤S35中确定没有到达迭代时长的情况下执行步骤S36。

在执行步骤S36之前，在步骤S35’中，确定先验分布。

具体的，确定在进行迭代计算之前第i实验组与对照组之间关于目标指标的差值的数据分布，得到先验分布。其中，第i(i取值为1,2,3，……，N)实验组为N个实验组中的任意一个。

示例性的，在上述目标指标为一个指标的情况下，则直接获取关于该指标第i实验组与对照组之间差值的数据分布。在上述目标指标为多个指标的情况下，则获取第i实验组与对照组之间关于多个指标的均值差值的数据分布。

示例性的，本方案中上述先验分布为正态分布，记作

在步骤S36中，获取历史迭代数据。以及，在步骤S37中，确定指标均值对应的后验分布。

本技术方案中，时间对各个实验组以及对照组的影响是相同的，以实验组的一个指标为例，对照组的指标均值μ_C(t)和第i实验组的指标均值μ_Ti(t)可以表示为：

μ_C(t)＝θ_C+f(t)

μ_Ti(t)＝θ_Ti+f(t)

其中，θ_C和θ_Ti是常量，f(t)表示时间对各个实验组以及对照组的影响。例如，上述对照组为商品X，上述第i实验组为商品Y_i，(如，第1实验组为商品Y₁，第2实验组为商品Y₂等)，在上述指标为商品点击量的情况下，则f(t)表示时间对商品点击量(指标值)的影响量，例如可以是在相同的时间点，外界因素(如，展示商品的网页布局等)对对照组商品X和对第i实验组的商品Y_i的曝光量是相同的。

示例性的，图4示出本公开一示例性实施例中后验分布的确定方法的流程示意图。参考图4，该实施例包括：

步骤S410，确定在第j次迭代时所述第i实验组的第一样本量、第一样本均值以及第一方差估计值，j为不大于k的正整数。以及，步骤S410’，确定在第j次迭代时所述对照组的第二样本量、第二样本均值以及第二方差估计值。

示例性的，实验到当前时刻运行了k次迭代，实验的总样本量为n，第j(j＝1,2,3，……，k)次迭代时对应的总样本量为n_j＝n_j,C+n_j,Ti。

其中，n_j,Ti为第i实验组的在第j次迭代的样本量，即上述第一样本量；n_j,C为对照组在第j次迭代的样本量，即上述第二样本量；

为第i实验组在第j次迭代的样本均值，即上述第一样本均值；

为对照组在第j次迭代的样本均值，即上述第二样本均值；

为对照组总体方差的估计量，即上述第二方差估计值；

为第i实验组总体方差的估计量，即上述第一方差估计值。

进而执行步骤S420，根据所述总样本量、所述第一样本量、所述第二样本量、所述第一样本均值以及所述第二样本均值，确定关于所述第i数据分布的均值T_ni。具体的，根据以下公式确定第i数据分布的均值T_ni：

以及执行步骤S420’，根据所述总样本量、所述第一样本量、所述第二样本量、所述第一方差估计值以及所述第二方差估计值，确定关于所述第i数据分布的方差

具体的，根据以下公式确定第i数据分布的方差

从而，得到第i实验组与所述对照组之间关于目标指标的差值的第i数据分布，即正态分布

需要说明的是，在确定上述第i数据分布的均值及方差的过程中，在j取值为1,2,3……，k的不同情况下分别进行加权计算(即“分层加权”)。也就是说，本方案采用分层加权的方式计算实验组与对照组的相对差异，能够避免直接将所有数据合并带来的辛普森悖论的问题，从而使得实验总收益最大化。而相关技术中一般直接对原始样本使用中心极限定理计算上述实验组与对照组之间的样本差异，而相关技术的方式则会引入辛普森悖论问题。

进一步地，基于上述先验分布

和上述第i数据分布

通过共轭的性质确定第i实验组与对照组之间关于目标指标的差值的第i后验分布。具体的，参考图4，分别通过步骤S430确定上述第i后验分布的方差，以及通过步骤S430’确定上述第i后验分布的均值。

在步骤S430中，根据所述先验分布的方差和所述第i数据分布的方差，确定所述第i后验分布的方差。具体的，根据以下公式确定第i数据分布的方差

在步骤S430’中，根据所述先验分布的均值、所述先验分布的方差、所述第i数据分布的均值以及所述第i数据分布的方差，确定所述第i后验分布的均值。具体的，根据以下公式确定第i数据分布的均值μ_1i：

继续参考图3，在步骤S38中，根据每个实验组对应的后验分布更新各个实验组的流量分布。

在示例性的实施例中，通过对第k次迭代时所述第i实验组的样本进行采样，根据采样结果确定对所述第i实验组的流量与总流量的比例，得到对N个实验组各自的流量。

具体的，本实施例采用蒙特卡洛的方法来计算各个实验组流量更新后的流量比例。例如，对任意一个实验组做10000次蒙特卡洛采样，然后计算第i实验组采样到的样本最优的次数n_i，则该组的流量比例为n_i/10000。从而得到每个实验组的流量比例，使得流量重新进行了分配。

继续参考图3，在步骤S39中，判断当前模型是否收敛。

示例性的，步骤S39中确定模型是否收敛的实施例如下：

一种确定模型是否收敛的实施例中，确定是否存在流量比例大于95％的实验组。根据步骤S38进行流量更新后的实验组的流量进行统计。且在存在流量比例大于95％的实验组，则说明当前模型不收敛；否则，说明当前模型收敛。

另一种确定模型是否收敛的实施例中，确定是否存在剩余价值小于1％的实验组。且在存在剩余价值小于1％的实验组，则说明当前模型不收敛；否则，说明当前模型收敛。

具体的，确定上述剩余价值的实施例如下：

从各个实验组分别对应的后验分布中采样多次(例如，10000次)，每一次采样中，真实最大指标值为R，理论最优组的指标值为O，则该次采样得到了一个剩余价值(R-O)/O，10000次采样得到了10000次这样的剩余价值，计算这10000个剩余价值的0.95分位点作为该实验组的剩余价值。

示例性的，若当前模型不收敛，则说明还没有确定出最佳的实验组，需要继续进行迭代实验。则执行步骤S310，更新各个实验组的流量。具体的，将根据步骤S38进行流量更新后的实验组上线(步骤S33)，继续运行实验(步骤S34)。

示例性的，若当前模型收敛，则说明已经确定出最佳的实验组，无需继续进行迭代实验。则可以在N个实验组中选择流量最大的组作为最终的目标对象，或者根据实际需求，将流量大于预设值的多个实验组均作为目标对象向用户推荐。

例如，在视频推荐的场景中，将不同的视频分别作为上述N个实验组以及对照组，且在目标指标为点击率、流量为点击视频的用户数的情况下，执行上述方案。并在上步骤S39中确定当前模型不收敛的情况下，则可以将流量大于预设值的多个视频均作为目标对象向用户推荐。

本技术方案方案通过设置多个实验组与对照组进行测试，实现在多个实验组中确定出目标对象。一方面，相较于相关技术，无需大量的数据支持且在一定程度上节省算力资源。另一方面，通过上述方案确定后验分布然后根据各个实验组对应的后验分布进行流量分配的方式可以有效避免辛普森悖论，从而有效提升确定目标对象的准确度。再一方面，本方案在迭代过程中动态的调整不同实验组的流量分布，有利于进一步提升确定目标对象的准确度。同时，实验过程中设置指标防控，有效监控迭代过程中是否出现指标结果降低过多的实验组，以提高该方案的可用性。

本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由处理器(包含CPU和GPU)执行的计算机程序。在该计算机程序被处理器执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

以下对本技术方案提供的配置于云端服务器的目标对象的确定装置进行介绍：

参考图5所示，该目标对象的确定装置500包括：先验分布确定模块501、计算模块502、后验分布确定模块503以及目标对象确定模块504。

其中，上述先验分布确定模块501，被配置为：确定在进行迭代计算之前第i实验组与对照组之间关于目标指标的差值的数据分布，得到先验分布；上述计算模块502，被配置为：根据总样本量、在k次迭代过程中关于上述第i实验组的样本量和关于上述对照组的样本量，计算上述第i实验组与上述对照组之间关于上述目标指标的差值的第i数据分布，k为正整数；上述后验分布确定模块503，被配置为：根据上述先验分布和上述第i数据分布，确定上述第i实验组与上述对照组之间关于上述目标指标的差值的第i后验分布；以及，上述目标对象确定模块504，被配置为：根据N个实验组分别对应的后验分布更新上述N个实验组各自的流量，并根据上述N个实验组更新后的流量确定目标对象，N为正整数，i为不大于N的正整数。

在示例性的实施例中，基于前述方案，上述计算模块502被具体配置为：确定在第j次迭代时上述第i实验组的第一样本量、第一样本均值以及第一方差估计值，j为不大于k的正整数；确定在第j次迭代时上述对照组的第二样本量、第二样本均值以及第二方差估计值；根据上述总样本量、上述第一样本量、上述第二样本量、上述第一样本均值以及上述第二样本均值，确定关于上述第i数据分布的均值；根据上述总样本量、上述第一样本量、上述第二样本量、上述第一方差估计值以及上述第二方差估计值，确定关于上述第i数据分布的方差。

在示例性的实施例中，基于前述方案，上述后验分布确定模块503被具体配置为：根据上述先验分布的方差和上述第i数据分布的方差，确定上述第i后验分布的方差；以及，根据上述先验分布的均值、上述先验分布的方差、上述第i数据分布的均值以及上述第i数据分布的方差，确定上述第i后验分布的均值。

在示例性的实施例中，基于前述方案，上述先验分布为正态分布，上述第i数据分布为正态分布，以及上述后验分布为正态分布。

在示例性的实施例中，基于前述方案，上述目标对象确定模块504包括流量更新子模块5041。

其中，上述流量更新子模块5041被配置为：通过对第k次迭代时所述第i实验组的样本进行采样；获取满足所述后验分布的目标采样点；根据所述目标采样点与总采样点的比例，确定所述第i实验组更新后的流量与总流量的比例，得到对N个实验组各自的流量。

在示例性的实施例中，基于前述方案，上述目标对象确定模块504还包括目标确定子模块5042。

其中，上述目标确定子模块5042被配置为：获取每个实验组更新后的流量与总流量的比例，在确定存在流量比例大于第一预设值的实验组的情况下，将流量较多的M个实验组作为所述目标对象，M为小于N的正整数；或，计算上述N个实验组的剩余价值，在确定存在剩余价值小于第二预设值的实验组的情况下，将流量较多的M个实验组作为所述目标对象。

在示例性的实施例中，基于前述方案，上述装置还包括：运行时长确定模块505。

其中，上述运行时长确定模块505被配置为：获取迭代运行时长；在确定迭代运行时长不高于第三预设值的情况下，计算所述第i实验组与所述对照组之间关于所述目标指标的差值的第i数据分布。

在示例性的实施例中，基于前述方案，上述装置还包括：防控指标模块506。

其中，上述防控指标模块506被配置为：在确定迭代运行时长高于所述第三预设值的情况下，确定所述第i实验组与所述对照组之间关于所述目标指标的差值不低于第四预设值。

在示例性的实施例中，基于前述方案，上述装置还包括：流量分配模块507。

其中，上述流量分配模块507被配置为：在确定关于上述第i实验组与上述对照组之间关于上述目标指标的差值低于上述第四预设值的情况下，将上述第i实验组对应的流量分配至其他实验组。

在示例性的实施例中，基于前述方案，上述流量分配模块507被具体配置为：根据上述其他实验组的数据，将上述第i实验组对应的流量平均分配至上述其他实验组中的每个实验组。

在示例性的实施例中，基于前述方案，上述目标指标为视频点击率、视频收藏量、视频转发量或播放时长与视频总时长的占比，上述对照组和上述N个实验组为不同的视频，上述流量为点击观看视频的用户数，上述样本为点击观看视频的用户，其中，上述目标对象确定模块504，被具体配置为：根据点击观看视频的用户数，在多个视频中确定出一个或多个目标视频。

在示例性的实施例中，基于前述方案，上述目标指标为商品点击率、商品收藏量或商品转发量，上述对照组和上述N个实验组为不同的商品，上述流量为点击浏览商品的用户数，上述样本为点击浏览商品的用户，其中，上述目标对象确定模块504，还被具体配置为：根据点击浏览商品的用户数，在多个商品中确定出一个或多个目标商品，以供用户点击查看目标商品的详情。

上述目标对象的确定装置中各模块或单元的具体细节已经在对应的目标对象的确定方法中进行了详细的描述，因此此处不再赘述。

图6示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图6示出的电子设备的计算机系统600仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括处理器601，其中处理器601可以包含：图形处理单元(Graphics Processing Unit，GPU)、中央处理单元(Central Processing Unit，CPU)，其可以根据存储在只读存储器(Read-Only Memory，ROM)602中的程序或者从存储部分608加载到随机访问存储器(Random Access Memory，RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统操作所需的各种程序和数据。处理器(GPU/CPU)601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(Input/Output，I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器(GPU/CPU)601执行时，执行本申请的系统中限定的各种功能。在一些实施例中，计算机系统600还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (15)

1.一种目标对象的确定方法，其特征在于，所述方法包括：

确定在进行迭代计算之前第i实验组与对照组之间关于目标指标的差值的数据分布，得到先验分布；

根据总样本量、在k次迭代过程中关于所述第i实验组的样本量和关于所述对照组的样本量，计算所述第i实验组与所述对照组之间关于所述目标指标的差值的第i数据分布，k为正整数；

根据所述先验分布和所述第i数据分布，确定所述第i实验组与所述对照组之间关于所述目标指标的差值的第i后验分布；

根据N个实验组分别对应的后验分布更新所述N个实验组各自的流量，并根据所述N个实验组更新后的流量确定目标对象，N为正整数，i为不大于N的正整数。

2.根据权利要求1所述的方法，其特征在于，根据总样本量、在k次迭代过程中关于所述第i实验组的样本量和关于所述对照组的样本量，计算所述第i实验组与所述对照组之间关于所述目标指标的差值的第i数据分布，包括：

确定在第j次迭代时所述第i实验组的第一样本量、第一样本均值以及第一方差估计值，j为不大于k的正整数；

确定在第j次迭代时所述对照组的第二样本量、第二样本均值以及第二方差估计值；

根据所述总样本量、所述第一样本量、所述第二样本量、所述第一样本均值以及所述第二样本均值，确定关于所述第i数据分布的均值；

根据所述总样本量、所述第一样本量、所述第二样本量、所述第一方差估计值以及所述第二方差估计值，确定关于所述第i数据分布的方差。

3.根据权利要求1所述的方法，其特征在于，根据所述先验分布和所述第i数据分布，确定所述第i实验组与所述对照组之间关于所述目标指标的差值的第i后验分布，包括：

根据所述先验分布的方差和所述第i数据分布的方差，确定所述第i后验分布的方差；

根据所述先验分布的均值、所述先验分布的方差、所述第i数据分布的均值以及所述第i数据分布的方差，确定所述第i后验分布的均值。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述先验分布为正态分布，所述第i数据分布为正态分布以及所述后验分布为正态分布。

5.根据权利要求1至3中任意一项所述的方法，其特征在于，根据N个实验组分别对应的后验分布更新所述N个实验组各自的流量，包括：

通过对第k次迭代时所述第i实验组的样本进行采样；

获取满足所述后验分布的目标采样点；

根据所述目标采样点与总采样点的比例，确定所述第i实验组更新后的流量与总流量的比例，得到对N个实验组各自的流量。

6.根据权利要求1至3中任意一项所述的方法，其特征在于，根据所述N个实验组更新后的流量确定目标对象，包括：

获取每个实验组更新后的流量与总流量的比例，在确定存在流量比例大于第一预设值的实验组的情况下，将流量较多的M个实验组作为所述目标对象，M为小于N的正整数；或，

计算所述N个实验组的剩余价值，在确定存在剩余价值小于第二预设值的实验组的情况下，将流量较多的M个实验组作为所述目标对象。

7.根据权利要求1至3中任意一项所述的方法，其特征在于，计算所述第i实验组与所述对照组之间关于所述目标指标的差值的第i数据分布，包括：

获取迭代运行时长；

在确定迭代运行时长不高于第三预设值的情况下，计算所述第i实验组与所述对照组之间关于所述目标指标的差值的第i数据分布。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在确定迭代运行时长高于所述第三预设值的情况下，确定所述第i实验组与所述对照组之间关于所述目标指标的差值不低于第四预设值。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

在确定关于所述第i实验组与所述对照组之间关于所述目标指标的差值低于所述第四预设值的情况下，将所述第i实验组对应的流量分配至其他实验组。

10.根据权利要求9所述的方法，其特征在于，将所述第i实验组对应的流量分配至其他实验组，包括：

根据所述其他实验组的数据，将所述第i实验组对应的流量平均分配至所述其他实验组中的每个实验组。

11.根据权利要求1至3中任意一项所述的方法，其特征在于，所述目标指标为视频点击率、视频收藏量、视频转发量或播放时长与视频总时长的占比，所述对照组和所述N个实验组为不同的视频，所述流量为点击观看视频的用户数，所述样本为点击观看视频的用户，其中，

根据所述N个实验组更新后的流量确定目标对象，包括：

根据点击观看视频的用户数，在多个视频中确定出一个或多个目标视频。

12.根据权利要求1至3中任意一项所述的方法，其特征在于，所述目标指标为商品点击率、商品收藏量或商品转发量，所述对照组和所述N个实验组为不同的商品，所述流量为点击浏览商品的用户数，所述样本为点击浏览商品的用户，其中，

根据所述N个实验组更新后的流量确定目标对象，包括：

根据点击浏览商品的用户数，在多个商品中确定出一个或多个目标商品，以供用户点击查看目标商品的详情。

13.一种目标对象的确定装置，其特征在于，所述装置包括：

先验分布确定模块，被配置为：确定在进行迭代计算之前第i实验组与对照组之间关于目标指标的差值的数据分布，得到先验分布；

计算模块，被配置为：根据总样本量、在k次迭代过程中关于所述第i实验组的样本量和关于所述对照组的样本量，计算所述第i实验组与所述对照组之间关于所述目标指标的差值的第i数据分布，k为正整数；

后验分布确定模块，被配置为：根据所述先验分布和所述第i数据分布，确定所述第i实验组与所述对照组之间关于所述目标指标的差值的第i后验分布；

目标对象确定模块，被配置为：根据N个实验组分别对应的后验分布更新所述N个实验组各自的流量，并根据所述N个实验组更新后的流量确定目标对象，N为正整数，i为不大于N的正整数。

14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；

所述计算机程序被处理器执行时实现如权利要求1至12中任意一项所述的目标对象的确定方法。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至12中任意一项所述的目标对象的确定方法。

Images