CN110689372A - 广告投放实验的控制方法、装置及广告投放实验平台 - Google Patents

Abstract

本发明公开了一种广告投放实验的控制方法、装置和广告投放实验平台，其中，该方法包括：按照处于实验平台的竞价队列中的广告实验对象在单位时间内的预算，以及广告实验对象对应的实验桶的流量占比，获取实验桶在单位时间内的预算；在当前单位时间内，在预设的控制周期到达时，获取在实验过程中实验桶在当前单位时间内的消耗；在实验桶在当前单位时间内的消耗不小于实验桶在单位时间内的预算的情况下，将实验桶对应的广告实验对象从实验平台的竞价队列中删除。通过本发明，可以保证放量前后广告投放效果的一致性。

Description

广告投放实验的控制方法、装置及广告投放实验平台

技术领域

本申请涉及计算机技术领域，尤其涉及一种广告投放实验的控制方法、装置及广告投放实验平台。

背景技术

目前，由于大数据驱动，使得效果指标的量化评估成为了可能。为了实现好的广告投放效率，线上运行的每一个广告策略都可以进行相应的实验和效果分析，通过量化分析来评估该广告策略效果的好坏。广告策略可能需要不断地尝试，并进行合理地流量均匀分流，经过多轮线上A/B test实验迭代，以形成最终的决策值。因此，在广告为核心业务的移动互联网公司，一般都配置有一套支持广告策略快速迭代和支持大规模并行实验的广告实验平台。

其中，法拉第(Faraday)全流量分层实验平台是目前应用较为广泛的一种广告实验平台。该实验平台支持大规模广告策略并发实验，提供了多种流量均匀分流模式，全面的广告指标跟踪评估，实验效果实时反馈等。图1是法拉第分层实验模型的架构示意图，如图1所示，该实验模型包括若干实验层(一、二、三)。每层上有若干子实验(即实验桶)，层与层流量正交。其中，层与层流量下次是指位于不同层的多个试验相互独立，没有依赖关系，某一层试验组的策略发生变化，不会影响其他层的试验。流量能够穿透该试验项目下的每一个试验层，同时在每层都会重新进行流量划分。每一层均占有100％的流量，每个实验桶可以指定占用的流量百分比。

目前，每个实验对象对应的实验桶(流量实验)的流量分配可以按以下公式进行：

bucket_id＝Hash(identifer,layer_id)mod1000，其中，layer_id是层id，identifer是离散因子，从而可以把每次的请求流量完全打散到各个实验桶中，通常identifer的取值为用户id、请求id。

在法拉第实验平台上实验时期望得到多少流量也得到同样比例的预算。但在实际中发现不同的实验策略对投放速度可以产生影响(比如过滤型策略降低投放速度，奖励型策略增大投放速度)。由于实验预算是共用的，投放速度快的策略会可能获取到更多的预算(比如，在图2中，实验桶A的流量占比50％，但是得到70％的预算，而实验桶B的流程占比同样是50％，但只得到了30％的预算)，从而因策略而多得到预算进而可能使某些指标正向显著(典型地，如收入指标)。当实验全量后，预算固定的情况下，放量前正向显著的指标可能不显著，造成放量前后效果差异较大。

发明内容

本发明实施例提供一种广告投放实验的控制方案，用以解决现有广告投放实验放量前后差异较大的问题。

本发明实施例提供一种广告投放实验的控制方法，包括：按照处于实验平台的竞价队列中的广告实验对象在单位时间内的预算，以及所述广告实验对象对应的实验桶的流量占比，获取所述实验桶在单位时间内的预算；在当前单位时间内，在预设的控制周期到达时，获取在实验过程中所述实验桶在当前单位时间内的消耗；在所述实验桶在当前单位时间内的消耗不小于所述实验桶在单位时间内的预算的情况下，将所述实验桶对应的所述广告实验对象从所述实验平台的竞价队列中删除。

本发明实施例还提供一种广告投放实验的控制装置，包括：第一获取模块，用于按照处于实验平台的竞价队列中的广告实验对象在单位时间内的预算，以及所述广告实验对象对应的实验桶的流量占比，获取所述实验桶在单位时间内的预算；第二获取模块，用于在当前单位时间内，在预设的控制周期到达时，获取在实验过程中所述实验桶在当前单位时间内的消耗；控制模块，用于在所述实验桶在当前单位时间内的消耗不小于所述实验桶在单位时间内的预算的情况下，将所述实验桶对应的所述广告实验对象从所述实验平台的竞价队列中删除。

本发明实施例还提供一种广告投放实验系统，包括：竞价队列存储模块、分流模型、预算和消耗监测模块、实时流计算模块和分布式数据存储模块，以及上述的广告投放实验的控制装置。

在本发明实施例中，在实验桶在当前单位时间内的消耗超过该实验桶在单位时间内的预算的情况下，将该实验桶对应的广告实验对象从实验平台的竞价队列中删除，即不再向进入该实验桶的用户(流量)投放该广告实验对象，从而使得各个实验桶只可以使用预设的预算，各个实验桶在预算上相互独立、相互不干扰，解决了由于各个实验桶共用预算而导致放量前后广告投放效果相差较大的问题，保证了放量前后广告投放效果的一致性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为相关技术中法拉第分层实验模型的架构示意图；

图2a为相关技术中一种实验中实验桶的流量占比的示意图；

图2b为相关技术中一种实验中实验桶的预算占比的示意图；

图3为本发明实施例1提供的一种广告投放实验的控制方法的流程图；

图4为本发明实施例1中一种实验中实验桶的预算占比的示意图；

图5为本发明实施例2提供的一种广告投放实验的控制装置的结构示意图；以及

图6为本发明实施例3提供的一种广告投放实验的控制系统的架构示意图。

具体实施方式

下面将结合本发明实施例及相应的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图，详细说明本发明各实施例提供的技术方案。

实施例1

本实施例提供了一种广告投放实验的控制方法，该方法对广告投放实验的过程中，对竞价队列中的广告实验对象进行控制，以缩小放量前后用于衡量广告投放效果的指标的差异。

图3为本实施例中的一种广告投放实施的控制方法的流程图，如图3所示，该方法包括以下步骤S302-步骤S306。

步骤S302，按照处于实验平台的竞价队列中的广告实验对象在单位时间内的预算，以及该广告实验对象对应的实验桶的流量占比，获得该实验桶在单位时间内的预算。

在本实施例中，广告实验对象即实验平台中进行实验的广告，也可以称为计划。

在具体应用中，竞价队列用于对投放给用户的广告(在本实施例中则是广告实验对象)进行排序。在广告投放过程中，广告主将根据自己的产品特性的潜在用户群体，设置人群定向投放。比如年龄、地域以及性别等条件。当有用户请求(即流量)进入时，系统对对应请求的人进行属性分析，与广告主定向的人群属性进行匹配，匹配出所有符合该人群定向特征的广告，然后进行竞价队列的排序，进而根据屏蔽信息、平滑投放和点击率预估等条件，从竞价队列筛选出一个或多个最优广告展现给用户。

在本实施例中，预算是广告主对广告实验对象的消耗的预估，一般来说，预估的预算应该能够反应该广告实验对象消耗的上限。

在本实施例的一个可选实施方式中，可以按照下面公式确定广告实验对象在单位时间内的预算：

广告实验对象在单位时间内的预算＝min(min(广告实验对象的单位时间限额、广告实验对象所属的账户的单位时间限额、广告实验对象所属的账户的余额、广告实验对象所属的系列的总预算与该系列当前的总消耗之差)，广告实验对象距离当前单位时间最近的n个单位时间中的单位时间消耗的最大值)，其中，n为大于等于1的整数。

在上述可选实施方式中，广告实验对象的单位时间限额、广告实验对象所属的账户的单位时间限额和广告实验对象所属的系列的总预算(即广告实验对象在当前投放周期的总预算)均是预设的，具体可以根据广告主的需求或系统的要求进行设置，本实施例对此并不作限定。而广告实验对象所属的账户的余额则是广告实验对象所属的账户投入的账务的余额，系列当前的总消耗则是该系列在当前投放周期消耗的总量。广告实验对象距离当前单位时间最近的n个单位时间中的单位时间消耗的最大值则是则该广告实验对象在过去的n个单位时间中消耗最大的一个单位时间内的消耗值，其中，n的取值可以根据具体应用设置，例如，如果以日为单位时间，则可以n＝3，具体如何设置，本实施例并不作限定。

在本实施例中，单位时间可以是一天，也可以是一小时，还可以是一周，具体值可以根据实际实验应用中广告投放的控制策略来决定，具体本实施例中不作限定。

在本实施例，按照广告实验对象在当前单位时间内的预算和实验桶的流量占比获取实验桶在单位时间内的预算，可以将单位时间内的预算按照流量占比分配到各实验桶(流量实验)上，从而使得预算占比与流量占比匹配。在本实施例的一个可选实施方式中，在步骤S302中，在获取实验桶在单位时间内的预算时，可以将广告实验对象在单位时间内的预算与该实验桶的流量占比之积作为该实验桶在单位时间内的预算。采用这种方式，各个实验桶的预算占比与实验桶的流量占比相同，则在该可选实施方式中，如果实验桶A的流量占和实验桶B的流量占比如图2a所示，分别为50％，而实验桶A的预算占比和实验桶B的预算占比也分别为50％，如图4所示。

步骤S304，在当前单位时间内，在预设的控制周期到达时，获取在实验过程中实验桶在当前单位时间内的消耗。

步骤S306，在实验桶在当前单位时间内的消耗不小于实验桶在单位时间内的预算的情况下，将实验桶对应的广告实验对象从实验平台的竞价队列中删除。

在本实施例中，为了保护各个实验桶的消耗不会超过预设的预算，可以周期性地判断实验桶在当前单位时间内的消耗是否到达该实验桶在单位时间内的预算，如果是，则将该实验桶对应的广告实验对象从实验平台的竞价队列中删除，即不再将广告实验对象投放给进入该实验桶的用户，从而可以使得各个实验桶在预算上相互独立，不会相互干扰，避免由于预算共用所引起的指标不置信的问题。

在具体应用中，当某个系列下的非广告实验对象消耗完该系列在投放周期的总预算时，将导致该系列下的广告实验对象下线。因此，为了避免由于同一系列下的非广告实验对象消耗过大，而影响广告实验对象，在本实施例的一个可选实施方式中，该方法还可以包括：按照同一个系列的总预算(即同一系列在当前投放周期的总预算)与该系列下的广告实验对象的总预算(即该系列下的广告实验对象在当前投放周期的总预算)，获取该系列下的非广告实验对象的系列预算，例如，非广告实验对象的系列预算＝该系列的总预算(即该系列总的财务预算)-该系列下的广告实验对象在的总预算(在该系列下包括多个广告实验对象的情况下，该项的值为该系列下的各个广告实验对象在当前投放周期的预算的总和)。而在预设的控制周期到达时，该方法还可以包括以下步骤1-步骤3：

步骤1，获取该系列当前的总消耗(即该系列在当前投放周期的总消耗)和该系列下的广告实验对象当前的总消耗(即该系列下的各个广告实验对象在当前投放周期的消耗的总和)，在具体应用中，可以通过实验平台的精益洞察后端直接获取到该系列当前的总消耗，再收集各个广告实验对象当前的消耗，进而可以获取该系列下的广告实验对象当前的总消耗(在该系列下的广告实验对象包括多个的情况下，则该总消耗为该系列下的广告实验对象在当前投放周期的消耗总和)；

步骤2，按照该系列当前的总消耗和该系列下的广告实验对象当前的总消耗，获取该系列下的非广告实验对象当前的系列消耗。例如，该系列下的非广告实验对象当前的系列消耗＝该系列当前的总消耗-该系列下的广告实验对象当前的总消耗；

步骤3，在非广告实验对象当前的系列消耗不小于非广告实验对象的系列预算的情况下，将该非广告实验对象从实验平台的竞价队列中删除。即在该可选实施方式中，同系列下的非广告实验对象与广告实验对象在单位时间内的预算独立，互不干扰，某一系列下的非广告实验对象在消耗完该系列下的非广告实验对象的系列预算后，从竞价队列中删除，不再消耗预算，避免了由于同一系列下的非广告实验对象的消耗过大而影响同一系列下的广告实验对象。

在具体应用中，当某个账户下的非广告实验对象消耗完该账户的单位时间限额(即该账户单位时间的预算总额)时，将导致该账户下的广告实验对象下线。因此，为了避免由于同一账户下的非广告实验对象在当前单位时间内的消耗过大，而影响广告实验对象的投放，在本实施例的一个可选实施方式中，该方法还可以包括：按照同一个账户的单位时间限额与该账户下的广告实验对象在单位时间内的总预算，获取该账户下的非广告实验对象在单位时间内的账户预算，例如，该账户下的非广告实验对象在单位时间的账户预算＝该账户的单位时间限额-该账户下的广告实验对象在单位时间的总预算(在某个账户下的广告实验对象为多个的情况下，该项的值为该账户下的各个广告实验对象在单位时间的预算的总和)。而在预设的控制周期到达时，该方法还可以包括以下步骤1-步骤3：

步骤1，获取该账户当前单位时间内的总消耗和该账户下的广告实验对象在当前单位时间的总消耗。在具体应用中，可以通过实验平台的精益洞察后端直接获取到该账户在当前单位时间的总消耗，再收集每个实验桶反馈的当前单位时间的消耗，可以得到各个广告实验对象当前单位时间的消耗，进而可以获取该账户下的广告实验对象在当前单位时间内的总消耗(在该账户下的广告实验对象包括多个的情况下，则获取的该账户下的广告实验对象当前单位时间的消耗为该账户下的广告实验对象当前单位时间的消耗总和)；

步骤2，按照该账户当前单位时间内的总消耗和该账户下的广告实验对象在当前单位时间内的总消耗，获取该账户下的非广告实验对象在当前单位时间内的账户消耗。例如，该账户下的非广告实验对象在当前单位时间内的账户消耗＝该账户当前单位时间内的总消耗-该账户下的广告实验对象在当前单位时间内的总消耗；

步骤3，在该账户下的非广告实验对象在当前单位时间内的账户消耗不小于该账户下的非广告实验对象在单位时间内的账户预算的情况下，将该账户下的非广告实验对象从实验平台的竞价队列中删除。即在该可选实施方式中，同账户下的非广告实验对象与广告实验对象在单位时间的预算独立，互不干扰，某一账户下的非广告实验对象在消耗完该账户下的非广告实验对象在单位时间内的预算后，从竞价队列中删除，不再消耗预算，避免了由于同一账户下的非广告实验对象在单位时间内的消耗过大而影响同一账户下的广告实验对象。

例如，假如某个账户下的广告实验对象在单位时间内的预算为500，该账户的单位时间限额为2000，该账户下的广告实验对象在当前单位时间内的总消耗为200，则该账户下的非广告实验对象在单位时间内的预算＝2000-500＝1500，而该账户下的非广告实验对象在当前单位时间内的消耗＝1700(该账户在当前单位时间内的总消耗)-200(广告实验对象在当前单位时间内的总消耗)＝1500，该账户下的非广告实验对象在当前单位时间内的消耗与该账户下的非广告实验对象在单位时间内的预算相等，即该账户下非广告实验对象在单位时间内的消耗达到预算，将该账户下的非广告实验对象从竞价队列中删除，不再允许该账户下的非广告实验对象继续消耗该账户的预算。

在具体应用中，当某个账户下的非广告实验对象消耗完该账户的账户余额(即该账户的财务余额)时，也将导致该账户下的广告实验对象下线。因此，为了保证同一账户下的广告实验对象的投入，可以在账户余额不足的情况下，将该账户下的非广告实验对象从实验平台的竞价队列中删除，以避免该账户下的非广告实验对象继续消耗该账户的预算。因此，在本实施例的一个可选实施方式中，该方法还可以包括以下步骤：

步骤1，获取实验平台下的各个账户当前的账户余额；

步骤2，对于任一账户，在该账户当前的账户余额不大于该账户下的广告实验对象的预算的情况下，将该账户下的非广告实验对象从实验平台的竞价队列中删除。

在上述可选实施方式中，可以在将广告实验对象投放到实验平台开始执行实验策略后，确定了广告实验对象在单位时间内的预算，然后执行上述步骤1和步骤2，判断账户当前的账户余额是否足够，或者，也可以在上述步骤304中所述的控制周期到达时进行判断，具体本实施例中不作限定。在账户当前的账户余额大于该账户下的广告实验对象的预算的情况下，允许该账户下的非广告实验对象继续投放，否则，不允许该账户下的非广告实验对象继续投放，以保证投放的广告实验对象有足够的预算。

通过本实施例提供的技术方案，在实验桶在当前单位时间内的消耗超过该实验桶在单位时间内的预算的情况下，将该实验桶对应的广告实验对象从实验平台的竞价队列中删除，即不再向进入该实验桶的用户(流量)投放该广告实验对象，从而使得各个实验桶只可以使用预设的预算，各个实验桶在预算上相互独立、相互不干扰，解决了由于各个实验桶共用预算而导致放量前后广告投放效果相差较大的问题。并且，在本实施例的可选实施方式中，同系列下或同账户下的广告实验对象和非广告实验对象在单位时间内的预算相互独立，非广告实验对象在单位时间内消耗不能超过非广告实验对象在单位时间内的预算，避免了由于非广告实验对象的消耗过大，而导致广告实验对象不能投放的问题。

实施例2

本实施例提供了一种广告投放实验的控制装置，该装置可以用于实施上述实施例1所提供的广告投放实验的控制方法。

图5为本实施例提供的一种广告投放实验的控制装置的结构示意图，如图5所示，该装置主要包括：第一获取模块501、第二获取模块502和控制模块503。

下面主要对上述各个模块的功能进行描述，其它未尽事宜与上述实施例1相似，在此不再赘述。

在本实施例提供的一种广告投放实验的控制装置中，第一获取模块501，用于按照处于实验平台的竞价队列中的广告实验对象在单位时间内的预算，以及所述广告实验对象对应的实验桶的流量占比，获取所述实验桶在单位时间内的预算；第二获取模块502，用于在当前单位时间内，在预设的控制周期到达时，获取在实验过程中所述实验桶在当前单位时间内的消耗；控制模块503，用于在所述实验桶在当前单位时间内的消耗不小于所述实验桶在单位时间内的预算的情况下，将所述实验桶对应的所述广告实验对象从所述实验平台的竞价队列中删除。

在本实施例中，预算是广告主对广告实验对象的消耗的预估，一般来说，预估的预算应该能够反应该广告实验对象消耗的上限。例如，在本实施例的一个可选实施方式中，可以按照下面公式确定广告实验对象在单位时间内的预算：

广告实验对象在单位时间内的预算＝min(min(广告实验对象的单位时间限额、广告实验对象所属的账户的单位时间限额、广告实验对象所属的账户的余额、广告实验对象所属的系列的总预算与该系列当前的总消耗之差)，广告实验对象距离当前单位时间最近的n个单位时间中的单位时间消耗的最大值)，其中，n为大于等于1的整数。

在本实施例中，单位时间可以是一天，也可以是一小时，还可以是一周，具体值可以根据实际实验应用中广告投放的控制策略来决定，具体本实施例中不作限定。

在本实施例，按照广告实验对象在当前单位时间内的预算和实验桶的流量占比获取实验桶在单位时间内的预算，可以将单位时间内的预算按照流量占比分配到各实验桶(流量实验)上，从而使得预算占比与流量占比匹配。在本实施例的一个可选实施方式中，第一获取模块501按照以下方式获取所述实验桶在单位时间内的预算：将所述广告实验对象在单位时间内的预算与所述实验桶的流量占比之积作为所述实验桶在单位时间内的预算。

采用本实施例提供的上述装置，控制模块503可以周期性地判断实验桶在当前单位时间内的消耗是否到达该实验桶在单位时间内的预算，如果是，则将该实验桶对应的广告实验对象从实验平台的竞价队列中删除，即不再将广告实验对象投放给进入该实验桶的用户，从而可以使得各个实验桶在预算上相互独立，不会相互干扰，避免由于预算共用所引起的指标不置信的问题。

在具体应用中，当某个系列下的非广告实验对象消耗完该系列在当前投放周期的总预算时，将导致该系列下的广告实验对象下线。因此，为了避免由于同一系列下的非广告实验对象消耗过大，而影响广告实验对象，在本实施例的一个可选实施方式中，第一获取模块501，还用于按照同一个系列的总预算与该系列下的广告实验对象的总预算，获取该系列下的非广告实验对象的系列预算；第二获取模块502，还用于在所述预设的控制周期到达时，获取所述系列当前的总消耗和所述系列下的广告实验对象当前的总消耗；以及按照所述系列当前的总消耗和所述系列下的广告实验对象当前的总消耗，获取所述系列下的非广告实验对象当前的系列消耗；控制模块503，还用于在所述非广告实验对象当前的系列消耗不小于所述非广告实验对象的系列预算的情况下，将所述非广告实验对象从所述实验平台的竞价队列中删除。通过该可选实施方式，同系列下的非广告实验对象与广告实验对象在单位时间内的预算独立，互不干扰，某一系列下的非广告实验对象在消耗完该系列下的非广告实验对象的预算后，从竞价队列中删除，不再消耗预算，避免了由于同一系列下的非广告实验对象的消耗过大而影响同一系列下的广告实验对象。

在具体应用中，当某个账户下的非广告实验对象消耗完该账户的单位时间限额(即该账户单位时间的预算总额)时，将导致该账户下的广告实验对象下线。因此，为了避免由于同一账户下的非广告实验对象在当前单位时间内的消耗过大，而影响广告实验对象的投放，在本实施例的一个可选实施方式中，第一获取模块501，还用于按照同一个账户的单位时间限额与该账户下的广告实验对象在单位时间内的总预算，获取该账户下的非广告实验对象在单位时间内的账户预算；第二获取模块502，还用于在所述预设的控制周期到达时，获取所述账户当前单位时间内的总消耗和所述账户下的广告实验对象在当前单位时间内的总消耗；按照所述账户当前单位时间内的总消耗和所述账户下的广告实验对象在当前单位时间内的总消耗，获取所述账户下的非广告实验对象在当前单位时间内的账户消耗；控制模块503，还用于在所述当前单位时间内的账户消耗不小于所述账户预算的情况下，将所述账户下的非广告实验对象从所述实验平台的竞价队列中删除。

在具体应用中，当某个账户下的非广告实验对象消耗完该账户的账户余额(即该账户的财务余额)时，也将导致该账户下的广告实验对象下线。因此，为了保证同一账户下的广告实验对象的投入，可以在账户余额不足的情况下，将该账户下的非广告实验对象从实验平台的竞价队列中删除，以避免该账户下的非广告实验对象继续消耗该账户的预算。因此，在本实施例的一个可选实施方式中，第二获取模块502，还用于获取所述实验平台下的各个账户当前的账户余额；控制模块503，还用于对于任一账户，在所述账户当前的账户余额不大于所述账户下的广告实验对象在单位时间内的总预算的情况下，将所述账户下的非广告实验对象从所述实验平台的竞价队列中删除。

通过本实施例提供的装置，控制模块503可以在实验桶在当前单位时间内的消耗超过该实验桶在单位时间内的预算的情况下，将该实验桶对应的广告实验对象从实验平台的竞价队列中删除，即不再向进入该实验桶的用户(流量)投放该广告实验对象，从而使得各个实验桶只可以使用预设的预算，各个实验桶在预算上相互独立、相互不干扰，解决了由于各个实验桶共用预算而导致放量前后广告投放效果相差较大的问题。并且，在本实施例的可选实施方式中，同系列下或同账户下的广告实验对象和非广告实验对象的预算相互独立，非广告实验对象在单位时间内消耗不能超过非广告实验对象在单位时间内的预算，避免了由于非广告实验对象的消耗过大，而导致广告实验对象不能投放的问题。

实施例3

本实施例提供了一种广告投放实验平台，该系统在现有的广告投放实验系统的基础上，增加了如实施例2所示的广告投放实验的控制装置。

图6是本实施例提供的一种广告投放实验平台的架构示意图，广告投放实验的控制装置可以位于分流模块602中。在该广告投放实验系统中，如图6所示，在广告投放实验中，预算和消耗监测模块605向分布式数据存储模块604提供广告实验对象在单位时间内的预算、各系列和/或各账户的预算以及各系列和/或各账户的总消耗等，而实时流计算模块603则监控实验平台中各个实验桶当前的消耗，将各个实验桶当前的消耗提供给分布式数据存储模块604，每到一个控制周期，分流模块602向分布式数据存储模块604请求数据，并根据分布式数据存储模块604返回的数据，执行与实施例1相应的判断，根据判断结果，确定是否将竞价队列存储模块601存储的竞价队列中的一个或多个的广告实验对象和/或非广告实验对象删除。

需要说明的是，虽然上述实施例中以广告投放实验的控制装置位于分流模块602中为例进行说明，但并不限于此，例如，广告投放实验的控制装置也可以作为一个独立的设备，连接在分流模块602与竞价队列存储模块601之间。具体本发明实施例并不作限定。

本实施例的一个可选实施方式中，该广告投放实验平台可以为法拉第全流量分层实验平台，在该可选实施方式中，分流模块602可以通过法拉第SDK(软件开发工具包，Software Development Kit)实现，分布式数据存储模块604可以采用Redis集群数据库实现，而实时流计算模块603可以为法拉第全流量分层实验平台中的实时流计算平台(D+)，预算和消耗监测模块605则可以为法拉第全流量分层实验平台中的精益洞察后端。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种广告投放实验的控制方法，其特征在于，包括：

按照处于实验平台的竞价队列中的广告实验对象在单位时间内的预算，以及所述广告实验对象对应的实验桶的流量占比，获取所述实验桶在单位时间内的预算；

在当前单位时间内，在预设的控制周期到达时，获取在实验过程中所述实验桶在当前单位时间内的消耗；

在所述实验桶在当前单位时间内的消耗不小于所述实验桶在单位时间内的预算的情况下，将所述实验桶对应的所述广告实验对象从所述实验平台的竞价队列中删除。

2.根据权利要求1所述的方法，其特征在于，

所述方法还包括：按照同一个系列的总预算与该系列下的广告实验对象的总预算，获取该系列下的非广告实验对象的系列预算；

在所述预设的控制周期到达时，所述方法还包括：获取所述系列当前的总消耗和所述系列下的广告实验对象当前的总消耗；按照所述系列当前的总消耗和所述系列下的广告实验对象当前的总消耗，获取所述系列下的非广告实验对象当前的系列消耗；在所述非广告实验对象当前的系列消耗不小于所述非广告实验对象的系列预算的情况下，将所述非广告实验对象从所述实验平台的竞价队列中删除。

3.根据权利要求1或2所述的方法，其特征在于，

所述方法还包括：按照同一个账户的单位时间限额与该账户下的广告实验对象在单位时间内的总预算，获取该账户下的非广告实验对象在单位时间内的账户预算；

在所述预设的控制周期到达时，所述方法还包括：获取所述账户当前单位时间内的总消耗和所述账户下的广告实验对象在当前单位时间内的总消耗；按照所述账户当前单位时间内的总消耗和所述账户下的广告实验对象在当前单位时间内的总消耗，获取所述账户下的非广告实验对象在当前单位时间内的账户消耗；在所述当前单位时间内的账户消耗不小于所述账户预算的情况下，将所述账户下的非广告实验对象从所述实验平台的竞价队列中删除。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取所述实验平台下的各个账户当前的账户余额；

对于任一账户，在所述账户当前的账户余额不大于所述账户下的广告实验对象在单位时间内的总预算的情况下，将所述账户下的非广告实验对象从所述实验平台的竞价队列中删除。

5.根据权利要求1或2所述的方法，其特征在于，所述广告实验对象在单位时间内的预算按照以下方式确定：

广告实验对象在单位时间内的预算＝min(min(广告实验对象的单位时间限额、广告实验对象所属的账户的单位时间限额、广告实验对象所属的账户的余额、广告实验对象所属的系列的总预算与该系列当前的总消耗之差)，广告实验对象距离当前单位时间最近的n个单位时间中的单位时间消耗的最大值)，其中，n为大于等于1的整数。

6.根据权利要求1或2所述的方法，其特征在于，按照投放到实验平台的广告实验对象在单位时间内的预算，以及所述广告实验对象对应的实验桶的流量占比，获取所述实验桶在单位时间内的预算，包括：

将所述广告实验对象在单位时间内的预算与所述实验桶的流量占比之积作为所述实验桶在单位时间内的预算。

7.一种广告投放实验的控制装置，其特征在于，包括：

第一获取模块，用于按照处于实验平台的竞价队列中的广告实验对象在单位时间内的预算，以及所述广告实验对象对应的实验桶的流量占比，获取所述实验桶在单位时间内的预算；

第二获取模块，用于在当前单位时间内，在预设的控制周期到达时，获取在实验过程中所述实验桶在当前单位时间内的消耗；

控制模块，用于在所述实验桶在当前单位时间内的消耗不小于所述实验桶在单位时间内的预算的情况下，将所述实验桶对应的所述广告实验对象从所述实验平台的竞价队列中删除。

8.根据权利要求7所述的装置，其特征在于，

所述第一获取模块，还用于按照同一个系列的总预算与该系列下的广告实验对象的总预算，获取该系列下的非广告实验对象的系列预算；

所述第二获取模块，还用于在所述预设的控制周期到达时，获取所述系列当前的总消耗和所述系列下的广告实验对象当前的总消耗；以及按照所述系列当前的总消耗和所述系列下的广告实验对象当前的总消耗，获取所述系列下的非广告实验对象当前的系列消耗；

所述控制模块，还用于在所述非广告实验对象当前的系列消耗不小于所述非广告实验对象的系列预算的情况下，将所述非广告实验对象从所述实验平台的竞价队列中删除。

9.根据权利要求7或8所述的装置，其特征在于，

所述第一获取模块，还用于按照同一个账户的单位时间限额与该账户下的广告实验对象在单位时间内的总预算，获取该账户下的非广告实验对象在单位时间内的账户预算；

所述第二获取模块，还用于在所述预设的控制周期到达时，获取所述账户当前单位时间内的总消耗和所述账户下的广告实验对象在当前单位时间内的总消耗；按照所述账户当前单位时间内的总消耗和所述账户下的广告实验对象在当前单位时间内的总消耗，获取所述账户下的非广告实验对象在当前单位时间内的账户消耗；

所述控制模块，还用于在所述当前单位时间内的账户消耗不小于所述账户预算的情况下，将所述账户下的非广告实验对象从所述实验平台的竞价队列中删除。

10.根据权利要求9所述的装置，其特征在于，

所述第二获取模块，还用于获取所述实验平台下的各个账户当前的账户余额；

所述控制模块，还用于对于任一账户，在所述账户当前的账户余额不大于所述账户下的广告实验对象在单位时间内的总预算的情况下，将所述账户下的非广告实验对象从所述实验平台的竞价队列中删除。

11.根据权利要求7或8所述的装置，其特征在于，所述第一获取模块按照以下方式获取所述实验桶在单位时间内的预算：

将所述广告实验对象在单位时间内的预算与所述实验桶的流量占比之积作为所述实验桶在单位时间内的预算。

12.一种广告投放实验平台，包括：竞价队列存储模块、分流模块、预算和消耗监测模块、实时流计算模块和分布式数据存储模块，其特征在于，还包括权利要求7至11任一项所述的装置。

Images