CN112016945A - 广告变量评估方法、装置及存储介质 - Google Patents

Abstract

本申请提供一种广告变量评估方法、装置及存储介质，其中，该方法包括：获取实验广告的行为日志，该行为日志中的每条记录携带有实验变量的标识，该行为日志包括：第一行为日志和第二行为日志，根据该第一行为日志中每条记录携带的实验变量的标识，确定出该实验广告的多种实验变量，根据该多种实验变量中每种实验变量的效果概率分布和第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果，其无需破坏现有广告系统，并且不存在向每个子广告单元分配相同比例流量的情况，解决了现有技术中存在的广告系统损坏和广告流量分配方式不合理的问题。

Description

广告变量评估方法、装置及存储介质

技术领域

本申请涉及通信技术领域，尤其涉及一种广告变量评估方法、装置及存储介质。

背景技术

随着网络技术的发展，广告主采用投放效果好的广告变量(例如，广告创意)投放目标广告，可以促进转化，提升收益。因而，如何确定每种广告变量的广告投放结果是进行针对性的广告推送，降低投放风险的关键。

在现有技术的广告变量评估方法中，广告主首先建立用于广告实验的广告单元，其次根据要评估的广告变量的数量，将广告单元拆分成多个子广告单元，以使多个子广告单元分别使用不同的广告变量投放目标广告，随后通过随机分配相同比例流量的方式向每个子广告单元投放广告，最后统计出每个子广告单元的曝光数、点击数和点击率等效果指标作为广告变量的评估结果展示给广告主，从而基于所有子广告单元的评估结果确定每种广告变量的评估结果。

然而，上述方法需要将广告单元拆分成多个子广告单元且分配相同比例流量，其不仅破坏了现有广告系统，而且存在流量分配方式不合理的问题。

发明内容

本申请提供一种广告变量评估方法、装置及存储介质，以克服现有广告变量评估方法中存在的广告系统损坏和流量分配方式不合理的问题。

本申请第一方面提供的一种广告变量评估方法，包括：

获取实验广告的行为日志，所述行为日志中的每条记录携带有实验变量的标识，所述行为日志包括：第一行为日志和第二行为日志；

根据所述第一行为日志中每条记录携带的实验变量的标识，确定出所述实验广告的多种实验变量；

根据所述多种实验变量中每种实验变量的效果概率分布和所述第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果。

在第一方面的一种可能设计中，所述方法还包括：

基于每种实验变量的广告投放结果，更新每种实验变量的投放比例；

按照每种实验变量更新后的投放比例，投放所述实验广告。

在第一方面的另一种可能设计中，所述根据所述多种实验变量中每种实验变量的效果概率分布和所述第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果，包括：

建立所述多种实验变量中每种实验变量的效果概率分布，每个效果概率分布用于表征以对应实验变量投放所述实验广告时用户执行第二行为的概率；

根据所述第二行为日志中的每条记录携带的实验变量的标识，更新每种实验变量的效果概率分布，得到更新后的多个效果概率分布；

根据所述更新后的多个效果概率分布，更新每种实验变量的胜出概率，并将每种实验变量的胜出概率作为每种实验变量的广告投放结果。

在第一方面的上述可能设计中，所述多种实验变量的数量为N，则所述根据所述更新后的多个效果概率分布，确定出每种实验变量的胜出概率，包括：

根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，其中，N和M均为大于或等于2的整数；

基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵；

基于所述M×N矩阵，在所述M行的每行中分别确定出概率值最大的实验变量，并确定出每种实验变量的胜出概率。

在第一方面的再一种可能设计中，所述方法还包括：

实时获取所述实验广告中每种实验变量的胜出概率；

检测所述多种实验变量中是否存在胜出概率是否高于预设阈值的实验变量；若是，则停止发布所述实验广告，若否，持续发布所述实验广告。

在第一方面的上述可能设计中，在所述停止发布所述实验广告之后，所述方法还包括：

从每种实验变量的效果概率分布中抽取每种实验变量的多个效果概率值；

基于每种实验变量的多个效果概率值，确定每种实验变量的评估结果和置信区间。

可选的，所述实验变量为广告创意。

本申请第二方面提供一种广告变量评估装置，包括：获取模块和处理模块；

所述获取模块，用于获取实验广告的行为日志，所述行为日志中的每条记录携带有实验变量的标识，所述行为日志包括：第一行为日志和第二行为日志；

所述处理模块，用于根据所述第一行为日志中每条记录携带的实验变量的标识，确定出所述实验广告的多种实验变量，以及根据所述多种实验变量中每种实验变量的效果概率分布和所述第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果。

在第二方面的一种可能设计中，所述处理模块，还用于基于每种实验变量的广告投放结果，更新每种实验变量的投放比例，以及按照每种实验变量更新后的投放比例，投放所述实验广告。

在第二方面的另一种可能设计中，所述处理模块，具体用于建立所述多种实验变量中每种实验变量的效果概率分布，每个效果概率分布用于表征以对应实验变量投放所述实验广告时用户执行第二行为的概率，根据所述第二行为日志中的每条记录携带的实验变量的标识，更新每种实验变量的效果概率分布，得到更新后的多个效果概率分布，以及根据所述更新后的多个效果概率分布，更新每种实验变量的胜出概率，并将每种实验变量的胜出概率作为每种实验变量的广告投放结果。

在第二方面的上述可能设计中，所述多种实验变量的数量为N，则所述处理模块，还具体用于根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，其中，N和M均为大于或等于2的整数，基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵，以及基于所述M×N矩阵，在所述M行的每行中分别确定出概率值最大的实验变量，并确定出每种实验变量的胜出概率。

在第二方面的再一种可能设计中，所述获取模块，还用于实时获取所述实验广告中每种实验变量的胜出概率；

所述处理模块，还用于检测所述多种实验变量中是否存在胜出概率是否高于预设阈值的实验变量，若是，则停止发布所述实验广告，若否，持续发布所述实验广告。

在第二方面的上述可能设计中，所述处理模块，还用于在停止发布所述实验广告之后，从每种实验变量的效果概率分布中抽取每种实验变量的多个效果概率值，并基于每种实验变量的多个效果概率值，确定每种实验变量的评估结果和置信区间。

可选的，所述实验变量为广告创意。

本申请第三方面提供一种广告变量评估装置，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面以及第一方面各可能设计中所述的方法。

本申请第四方面提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如第一方面以及第一方面各可能设计中所述的方法。

本申请实施例提供的广告变量评估方法、装置及存储介质，通过获取实验广告的行为日志，该行为日志中的每条记录携带有实验变量的标识，该行为日志包括：第一行为日志和第二行为日志，根据该第一行为日志中每条记录携带的实验变量的标识，确定出该实验广告的多种实验变量，根据该多种实验变量中每种实验变量的效果概率分布和第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果。该技术方案，无需破坏现有广告系统，并且不存在向每个子广告单元分配相同比例流量的情况，从而避免了现有技术中存在的广告系统损坏和广告流量分配方式不合理的问题。

附图说明

图1为本申请实施例提供的广告变量评估方法的应用场景示意图；

图2为本申请实施例提供的广告变量评估方法实施例一的流程示意图；

图3为本申请实施例提供的广告变量评估方法实施例二的流程示意图；

图4为本申请实施例提供的广告变量评估方法实施例三的流程示意图；

图5为本申请实施例提供的广告变量评估方法实施例四的流程示意图；

图6为本申请实施例提供的广告变量评估方法实施例五的流程示意图；

图7为本申请实施例提供的广告变量评估装置实施例一的结构示意图；

图8为本申请实施例提供的广告变量评估装置实施例二的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

示例性的，图1为本申请实施例提供的广告变量评估方法的应用场景示意图。如图1所示，该应用场景可以包括：相互通信的服务器11和客户端12。其中，该服务器11包括：实验控制模块111、存储模块112、效果分析模块113和效果评估模块114。

其中，广告主在服务器11上建立用于发布实验广告的广告单元，确定要测试的实验变量，该服务器11的实验控制模块111负责把实验广告的多种实验变量发送到客户端12，这样用户在客户端12上对实验广告执行第一行为或者第一行为和第二行为时，可以调用对应的服务产生对应的行为日志流，并且使得行为日志流可以携带实验变量的标识。

示例性的，在本实施例中，该第一行为可以指广告曝光，第二行为可以指广告点击。本申请实施例并不限定用户行为的具体表现形式，其还可以包括收藏行为、加购行为等，其可以根据对应的应用场景进行确定，此处不再赘述。

示例性的，本实施例中的实验变量可以为广告创意。相应的，不同的实验变量可以是不同广告创意等。本申请实施例并不对实验变量的具体表现形式进行限定，其可以根据实际情况确定。

示例性的，存储模块112可以用于存储产生的上述行为日志流，为后续效果分析模块113提供信息来源。值得说明的是，本申请实施例并不限定该存储模块112具体存储的内容，例如，其还可以用于存储其他调用服务的程序代码等内容，其可以根据实际情况确定，此处不再赘述。

示例性的，该效果分析模块113可以负责周期性或实时的从存储模块112采集上述行为日志流，并通过对该行为日志流进行分析处理，得到广告系统线上可以反映广告效果的广告效果数据，并按照不同实验变量进行统计后发给效果评估模块114，以更新该效果评估模块114前一次获取到的广告效果参数。

可选的，在本申请的实施例中，效果评估模块114可以接收效果分析模块113的广告效果数据，并定期计算每种实验变量的实验效果，以及根据所有实验变量的实验效果变量值，确定出每种实验变量的胜出概率，并基于每种实验变量的胜出概率的大小确定是否可以停止实验广告的发布。

示例性的，该效果评估模块114确定出某个人群的获胜概率超过预设的阈值(如90％)时，可以向实验控制模块111发送停止信号，以使得实验控制模块111基于该停止信号，停止实验广告的发布。

在本实施例中，客户端12也可以称为用户端，其与服务器11相对应，是为客户提供本地服务的程序。通常情况下，常用的客户端包括：如万维网使用的网页浏览器，收寄电子邮件时的电子邮件客户端，以及即时通讯的客户端软件等。每一个客户端软件的实例都可以向一个服务器或应用程序服务器发出请求。

在本实施例中，服务器11也即服务器端，其是为客户端服务的，其可以处理客户端12发送的请求，并在处理完毕后反馈给客户端12。

在图1所示的广告线上系统中，广告主在线上发布实验广告，以确定出不同实验变量的效果，进而为后续广告的定位投放奠定基础。

本申请实施例针对现有广告变量评估方法中存在的广告系统损坏和流量分配方式不合理的问题，提出了一种广告变量评估方法，通过获取实验广告的行为日志，该行为日志中的每条记录携带有实验变量的标识，该行为日志包括：第一行为日志和第二行为日志，根据该第一行为日志中每条记录携带的实验变量的标识，确定出该实验广告的多种实验变量，根据该多种实验变量中每种实验变量的效果概率分布和第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果。该技术方案，无需破坏现有广告系统，并且不存在向每个子广告单元分配相同比例流量的情况，从而避免了现有技术中存在的广告系统损坏和广告流量分配方式不合理的问题。

下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为本申请实施例提供的广告变量评估方法实施例一的流程示意图。该方法可以适用于图1所示的应用场景中的服务器。可选的，如图2所示，该方法可以包括如下步骤：

步骤21：获取实验广告的行为日志，该行为日志中的每条记录携带有实验变量的标识，该行为日志包括：第一行为日志和第二行为日志。

可选的，在本实施例中，用户在客户端执行设定的行为时，服务器可以调用对应的服务产生行为日志，并存储在服务器的存储模块中。

示例性的，用户在客户端执行第一行为时，服务器可以调用第一行为对应的服务产生第一行为日志，在本实施例中，第二行为是第一行为的后续行为，用户只有执行了第一行为，才有可能执行第二行为。因而，若用户执行第一行为后，还执行了第二行为，则服务器可以调用第二行为对应的服务产生第二行为日志。

值得说明的是，实验广告的行为日志可以携带实验变量的标识，即行为日志中的每条记录均携带有实验变量的标识。可选的，该行为日志的每条记录还可能携带时间戳等信息，本申请实施例并不对其进行限定，其可以根据实际情况确定。

步骤22：根据上述第一行为日志中每条记录携带的实验变量的标识，确定出该实验广告的多种实验变量。

在本实施例中，由于实验广告的行为日志中每条记录均携带有实验变量的标识，所以，通过对第一行为日志的每条记录进行分析，按照预设的实验变量进行划分，可以确定出实验广告的多种实验变量。例如，实验广告的实验变量的数量为N个，且N为大于或等于2的整数。

示例性的，广告主刚开始在服务器上投放实验广告时，首先基于每个广告变量的分配相同流量的形式投放实验广告，所以，通过分析第一行为日志中实验广告携带的实验变量的标识可以便可以确定出实验广告的多种实验变量。

步骤23：根据上述多种实验变量中每种实验变量的效果概率分布和第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果。

可选的，在本实施例中，为了确定出实验广告以不同实验变量发布时的广告投放效果，可以建立上述多种实验变量的效果概率分布，再结合上述获取到的第二行为日志中每条记录携带的实验变量的标识，统计并更新每种实验变量的效果概率分布，最后通过计算的方式确定出每种实验变量的广告投放结果。

示例性的，上述多种实验变量可以是多种广告创意，广告主通过不同的广告创意发布实验广告时可以得到不同的广告投放效果，其可以为后续广告主的针对性投放奠定基础。

本申请实施例提供的广告变量评估方法，通过获取实验广告的行为日志，该行为日志中的每条记录携带有实验变量的标识，该行为日志包括：第一行为日志和第二行为日志，根据该第一行为日志中每条记录携带的实验变量的标识，确定出该实验广告的多种实验变量，根据该多种实验变量中每种实验变量的效果概率分布和第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果。该技术方案，无需破坏现有广告系统，并且不存在向每个子广告单元分配相同比例流量的情况，从而避免了现有技术中存在的广告系统损坏和广告流量分配方式不合理的问题。

示例性的，在本申请实施例的一种可能设计中，图3为本申请实施例提供的广告变量评估方法实施例二的流程示意图。如图3所示，在本实施例中，在上述步骤23之后，该方法还可以包括如下步骤：

步骤31：基于每种实验变量的广告投放结果，更新每种实验变量的投放比例。

在本申请的实施例中，广告主刚开始在服务器上发布上述实验广告时，首先基于各实验变量平均分配流量的方式发布实验广告。随着时间的推移，当该实验广告投放一定时间时，服务器可以基于统计到的每种实验变量的广告投放效果，即确定出每种实验变量的胜出概率时，更新每种实验变量的投放比例。例如，通过增大广告投放效果较好的实验变量的流量，缩小广告投放效果较差的实验变量的流量等方式。

步骤32：按照每种实验变量更新后的投放比例，投放上述实验广告。

示例性的，服务器为每种实验变量重新分配投放比例后，可以基于更新后的投放比例进行广告实验的投放。

可选的，在本实施例中，当用户打开某一网页时，服务器可以从上述多种实验变量对应的效果概率分布中分别多个效果概率值，确定出效果概率值最大的实验变量，以该实验变量的形式将实验广告播出，从而呈现给用户。

值得说明的是，在本申请的实施例中，以每种实验变量播放的概率可以与每种实验变量的评估胜出概率相同，因而，以投放效果较好的实验变量进行播放的概率更大，分配的流量更大，提升了用户执行第二行为的概率，提升了实验广告的整体投放效果。

本申请实施例提供的广告变量评估方法，在确定出每种实验变量的广告投放结果后，基于每种实验变量的广告投放结果，更新每种实验变量的投放比例，按照每种实验变量更新后的投放比例，投放上述实验广告。该技术方案中，通过对不同实验变量的投放比例进行更新，并基于更新后的投放比例进行投放，提高了实验广告的整体投放效果。

示例性的，在本申请实施例的另一种可能设计中，图4为本申请实施例提供的广告变量评估方法实施例三的流程示意图。如图4所示，在本实施例中，上述步骤23可以通过如下步骤实现：

步骤41：建立多种实验变量中每种实验变量的效果概率分布，每个效果概率分布用于表征以对应实验变量投放所述实验广告时用户执行第二行为的效果概率。

示例性的，本申请实施例针对根据第一行为日志确定的多种实验变量，分别建立每种实验变量的效果概率分布，以利用效果概率分布来表征以每种实验变量投放上述实验广告时用户执行第二行为的概率。

例如，本实施例以实验广告的N个实验变量进行解释说明。对于上述N个实验变量，建立N个效果概率分布。具体的，对于N个实验变量中的第n个实验变量，其效果概率分布为

其中，该θ_n代表用户执行第二行为时以第n个实验变量进行投放上述实验广告的效果概率，P(.)是概率分布，

是第n个实验变量的参数向量，例如，以第n个实验变量投放实验广告时的用户组成的向量。

值得说明的是，在本实施例中，在实验广告开始投放之前，第n个实验变量的初始参数向量可以表示为

其对应的效果概率分布

被称为先验分布。

通常情况下，先验分布

一般设置为均匀分布，第二行为的执行被认为平均分布在一个区间，例如，第二行为为点击行为，则θ_n表示点击率，先验分布

可以假设为(0,1)的均匀分布。

步骤42：根据该第二行为日志中的每条记录携带的实验变量的标识，更新每种实验变量的效果概率分布，得到更新后的多个效果概率分布。

可选的，在本实施例中，第二行为日志是用户执行第一行为后执行第二行为的记录，对于第二行为日志中的每条记录，首先根据该记录确定出用户执行第二行为时该实验广告对应的实验变量，再确定出用户执行第一行为后再执行第二行为的概率，相应的，更新该实验变量的效果概率分布。类似的，根据第二行为日志中的所有记录更新上述N个实验变量的效果概率分布，最后得到更新后的N个效果概率分布。

示例性的，在本实施例中，对于第一行为是广告曝光，第二行为是广告点击，这时服务器可以收集以第n个实验变量投放广告时，用户看到实验广告后的行为数据

(比如点击)，并且根据贝叶斯定理更新该第n个实验变量的效果随机变量θ_n的分布(也称为后验分布)：

其中，

表示以第n个实验变量投放实验广告时，用户在第t个时间窗内执行第二行为的效果概率(例如，点击率)，

表示以第n个实验变量投放实验广告时，用户在第t个时间窗内执行第二行为(例如，点击)的概率，

表示用户在第t个时间窗内执行第二行为时，以第n个实验变量投放实验广告的效果概率，

表示用户在第t个时间窗内执行第二行为时，以第n个实验变量投放实验广告的概率。

因而，根据上述分析可知，以第n个实验变量投放实验广告时，用户执行第二行为的概率越大，更新后的效果概率分布的概率值也会相对增大。

值得说明的是，本申请实施例对行为日志的处理可以以时间窗为单位进行分析，服务器每次可以获取一个时间窗内的记录，对该时间窗内的记录处理完毕后再处理下一个时间窗内的记录，直到确定出可以终止实验广告为止。

步骤43：根据该更新后的多个效果概率分布，更新每种实验变量的胜出概率，并将每种实验变量的胜出概率作为每种实验变量的广告投放结果。

在本实施例中，当服务器对获取到的行为日志处理完成后，基于更新后的N个效果概率分布，更新以每种实验变量执行第一行为后再执行第二行为的概率，进而基于更新后的概率，更新每种实验变量的胜出概率，从而将将每种实验变量的胜出概率作为每种实验变量的广告投放结果。

关于本步骤的具体实现可以参见下述图5所示实施例中的记载，此处不再赘述。

本申请实施例提供的广告变量评估方法，通过建立多种实验变量中每种实验变量的效果概率分布，以表征以每种实验变量投放实验广告时用户执行第二行为的效果概率，根据该第二行为日志中的每条记录携带的实验变量的标识，更新每种实验变量的效果概率分布，得到更新后的多个效果概率分布，以及根据该更新后的多个效果概率分布，更新每种实验变量的胜出概率，并将每种实验变量的胜出概率作为每种实验变量的广告投放结果。该技术方案中，利用效果概率分布来评估每种实验变量的胜出概率，可以直观对比所有的实验变量的胜出概率，可以确定出以每种实验变量投放实验广告时的投放效果，提高了实验评估结果的准确度。

可选的，在本申请实施例的上述可能实现方式中，图5为本申请实施例提供的广告变量评估方法实施例四的流程示意图。如图5所示，以多种实验变量的数量为N进行解释说明。在本实施例中，上述步骤43中的根据所述更新后的多个效果概率分布，更新每种实验变量的胜出概率可以通过如下步骤实现：

步骤51：根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，其中，N和M均为大于或等于2的整数。

在本实施例中，若广告主确定出实验广告的实验变量为上述基于第一行为日志确定的N个实验变量，这时对于上述更新后的N个效果概率分布，可以利用预设的抽样算法，对每个效果概率分布分别抽取M次，从而得到每个效果概率分布的M个效果概率值。

类似的，服务器可以利用预设的抽样算法，确定出N个效果概率分布分别对应的M个效果概率值。可选的，该M为大于或等于2的整数，M越大后续确定的胜出概率越准确，但是M越大，计算越复杂，方案实现越困难，实际应用中可以根据实际情况确定，此处不再赘述。

可选的，在本实施例中，预设的抽样算法例如可以是Thompson抽样算法，关于如何利用该Thompson抽样算法对每个效果概率分布进行抽样得到M个效果概率值的具体实现与现有技术类似，此处不再赘述。

步骤52：基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵。

在本实施例中，由于每个效果概率分布对应M个效果概率值，一共有N个效果概率分布，这样以每个效果概率分布抽取出的M个效果概率值为行，以N个效果概率分布为列，可以得到M行、N列的M×N矩阵，例如，该M×N矩阵可以表示为如下形式：

步骤53：基于该M×N矩阵，在M行的每行中分别确定出概率值最大的实验变量，并确定出每种实验变量的胜出概率。

示例性的，在本实施例中，对于该M×N矩阵，对于M行中的所有概率值，从每行中确定出最大概率值所在的列，再确定出该最大概率值所对应的实验变量，将该实验变量确定为该行的胜出实验变量。

以此类推，对于上述M行，可以在每行中确定出最大概率值所在的列，进而确定出每行的胜出实验变量，最后统计每种实验变量的胜出次数，分别除以总次数M，就可以确定出每种实验变量的胜出概率。

本申请实施例提供的广告变量评估方法，首先根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，再基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵，最后基于该M×N矩阵，在M行的每行中分别确定出概率值最大的实验变量，并确定出每种实验变量的胜出概率。该技术方案中，通过形成矩阵的方式可以确定出每种实验变量的胜出概率，实现方案简单，胜出概率计算结果准确，提升了整个实验广告的投放准确度。

进一步的，在本申请上述任一实施例的基础上，图6为本申请实施例提供的广告变量评估方法实施例五的流程示意图。如图6所示，在本实施例中，该广告变量评估方法还可以包括如下步骤：

步骤61：实时获取该实验广告中每种实验变量的胜出概率。

示例性的，参照上述图1所示的应用场景，服务器可以实时获取该实验广告中每种实验变量的广告投放信息，从而确定出每种实验变量的胜出概率。

步骤62：检测多种实验变量中是否存在胜出概率是否高于预设阈值的实验变量；若是，则执行步骤63，若否，则执行步骤64。

可选的，在本实施例中，为了降低实验广告的预算成本，服务器中可以预先配置实验广告投放结束的控制条件。示例性的，以胜出概率为例，该控制条件可以是判断是否终止的预设阈值。

相应的，在本实施例中，服务器可以实时检测实验广告的上述多种实验变量的胜出概率是否高于预设阈值，再根据判断结果执行相应的处理操作。具体的，参见下述步骤63和步骤64中的记载。

步骤63：停止发布上述实验广告。

步骤64：持续发布上述实验广告。

示例性的，在本实施例中，当服务器检测到多种实验变量中存在胜出概率是否高于预设阈值(比如，80％，90％等)的实验变量，例如，某一类型的广告创意，则可以停止发布实验广告，否则，持续发布实验广告，在保证实验结果可靠性的前提小，降低实验广告的预算成本。

可选的，服务器确定可以停止实验时，可以通过实验控制模块停止实验。本实施例在保证对各个实验变量进行科学比较的前提下，能够智能停止实验广告的发布，有效的避免了广告费用被浪费到效果不佳的实验变量上，节省了广告主的预算费用。

进一步的，在本实施例中，如图6所示，在上述步骤63之后，该方法还可以包括如下步骤：

步骤65：从每种实验变量的效果概率分布中分别抽取每种实验变量的多个效果概率值。

可选的，在本申请的实施例中，可以通过随机或预设的抽样算法从每种实验变量的效果概率分布中抽取多个效果概率值，以利用该多个效果概率值分析每种实验变量的评估结果。

步骤66：基于每种实验变量的多个效果概率值，确定每种实验变量的评估结果和置信区间。

当实验广告停止发布后，该服务器还可以根据实验数据给出分析评估报告，例如，确定出每种实验变量的胜出概率，给出每种实验变量的评估结果和置信区间等。

示例性的，在本实施例中，可以将每种实验变量的多个效果概率值的平均值作为每种实验变量的评估结果，将每种实验变量的多个效果概率值中排序位于第10个百分位数到第90个百分位数的区间作为每种实验变量的80％置信区间。

例如，对于具有K个实验变量的实验广告，对于第k个实验变量，可以利用M行、K列的M×K矩阵，使用第k列的M行数据，将M行中所有概率值的平均值作为平均评估结果，将M个概率值中位于第10个百分位数到第90个百分位数的区间作为此实验变量的80％置信区间，也即，假设M个概率值对应的区间为[0,1]，则将该区间[0,1]中的位于[0.1,0.9]区间范围内的概率值作为此实验变量的80％置信区间。

在本申请实施例中，在实验变量的评估结束之后，还可以给出每种实验变量的评估结果和置信区间等评估报告，提高了评估方法的智能性，提高了广告主投放实验广告时的体验。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图7为本申请实施例提供的广告变量评估装置实施例一的结构示意图。该装置可以集成在上述图1所示的服务器中，也可以通过服务器实现。如图7所示，该装置可以包括：获取模块71和处理模块72。

其中，该获取模块71，用于获取实验广告的行为日志，所述行为日志中的每条记录携带有实验变量的标识，所述行为日志包括：第一行为日志和第二行为日志；

该处理模块72，用于根据所述第一行为日志中每条记录携带的实验变量的标识，确定出所述实验广告的多种实验变量，以及根据所述多种实验变量中每种实验变量的效果概率分布和所述第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果。

示例性的，在本实施例的一种可能设计中，该处理模块72，还用于基于每种实验变量的广告投放结果，更新每种实验变量的投放比例，以及按照每种实验变量更新后的投放比例，投放所述实验广告。

示例性的，在本实施例的另一种可能设计中，该处理模块72，具体用于建立所述多种实验变量中每种实验变量的效果概率分布，每个效果概率分布用于表征以对应实验变量投放所述实验广告时用户执行第二行为的概率，根据所述第二行为日志中的每条记录携带的实验变量的标识，更新每种实验变量的效果概率分布，得到更新后的多个效果概率分布，以及根据所述更新后的多个效果概率分布，更新每种实验变量的胜出概率，并将每种实验变量的胜出概率作为每种实验变量的广告投放结果。

在本实施例的上述可能设计中，所述多种实验变量的数量为N，则该处理模块72，还具体用于根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，其中，N和M均为大于或等于2的整数，基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵，以及基于所述M×N矩阵，在所述M行的每行中分别确定出概率值最大的实验变量，并确定出每种实验变量的胜出概率。

示例性的，在本申请实施例的再一种可能设计中，上述获取模块71，还用于实时获取所述实验广告中每种实验变量的胜出概率；

该处理模块72，还用于检测所述多种实验变量中是否存在胜出概率是否高于预设阈值的实验变量，若是，则停止发布所述实验广告，若否，持续发布所述实验广告。

在本申请实施例的上述可能设计中，该处理模块72，还用于在停止发布所述实验广告之后，从每种实验变量的效果概率分布中抽取每种实验变量的多个效果概率值，并基于每种实验变量的多个效果概率值，确定每种实验变量的评估结果和置信区间。

可选的，所述实验变量为广告创意。

本申请实施例提供的装置，可用于执行图2至图6所示实施例中的方法，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。

图8为本申请实施例提供的广告变量评估装置实施例二的结构示意图。如图8所示，该装置可以包括：处理器81、存储器82、通信接口83和系统总线84，所述存储器82和所述通信接口83通过所述系统总线84与所述处理器81连接并完成相互间的通信，所述存储器82用于存储计算机指令，所述通信接口83用于和其他设备进行通信，所述处理器81执行所述计算机指令时实现如上述图2至图6所示实施例的方案。

该图8中提到的系统总线可以是外设部件互连标准(peripheral componentinterconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。所述系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可选的，本申请实施例还提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上述图2至图6所示实施例的方法。

可选的，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行上述图2至图6所示实施例的方法。

本申请实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在存储介质中，至少一个处理器可以从所述存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述图2至图6所示实施例的方法。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。

可以理解的是，在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种广告变量评估方法，其特征在于，包括：

获取实验广告的行为日志，所述行为日志中的每条记录携带有实验变量的标识，所述行为日志包括：第一行为日志和第二行为日志；

根据所述第一行为日志中每条记录携带的实验变量的标识，确定出所述实验广告的多种实验变量；

根据所述多种实验变量中每种实验变量的效果概率分布和所述第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于每种实验变量的广告投放结果，更新每种实验变量的投放比例；

按照每种实验变量更新后的投放比例，投放所述实验广告。

3.根据权利要求1所述的方法，其特征在于，所述根据所述多种实验变量中每种实验变量的效果概率分布和所述第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果，包括：

建立所述多种实验变量中每种实验变量的效果概率分布，每个效果概率分布用于表征以对应实验变量投放所述实验广告时用户执行第二行为的概率；

根据所述第二行为日志中的每条记录携带的实验变量的标识，更新每种实验变量的效果概率分布，得到更新后的多个效果概率分布；

根据所述更新后的多个效果概率分布，更新每种实验变量的胜出概率，并将每种实验变量的胜出概率作为每种实验变量的广告投放结果。

4.根据权利要求3所述的方法，其特征在于，所述多种实验变量的数量为N，则所述根据所述更新后的多个效果概率分布，确定出每种实验变量的胜出概率，包括：

根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，其中，N和M均为大于或等于2的整数；

基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵；

基于所述M×N矩阵，在所述M行的每行中分别确定出概率值最大的实验变量，并确定出每种实验变量的胜出概率。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

实时获取所述实验广告中每种实验变量的胜出概率；

检测所述多种实验变量中是否存在胜出概率是否高于预设阈值的实验变量；若是，则停止发布所述实验广告，若否，持续发布所述实验广告。

6.根据权利要求5所述的方法，其特征在于，在所述停止发布所述实验广告之后，所述方法还包括：

从每种实验变量的效果概率分布中抽取每种实验变量的多个效果概率值；

基于每种实验变量的多个效果概率值，确定每种实验变量的评估结果和置信区间。

7.根据权利要求1所述的方法，其特征在于，所述实验变量为广告创意。

8.一种广告变量评估装置，其特征在于，包括：获取模块和处理模块；

所述获取模块，用于获取实验广告的行为日志，所述行为日志中的每条记录携带有实验变量的标识，所述行为日志包括：第一行为日志和第二行为日志；

所述处理模块，用于根据所述第一行为日志中每条记录携带的实验变量的标识，确定出所述实验广告的多种实验变量，以及根据所述多种实验变量中每种实验变量的效果概率分布和所述第二行为日志中每条记录携带的实验变量，确定每种实验变量的广告投放结果。

9.一种广告变量评估装置，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述权利要求1-7任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-7任一项所述的方法。

Images