CN104851023B - 一种实时竞价在线反馈控制方法及系统 - Google Patents

Abstract

本发明提供了一种实时竞价在线反馈控制方法及系统，属于互联网广告以及信息处理领域。该实时竞价在线反馈控制系统嵌入到需求方平台的竞价系统中，所述需求方平台的竞价系统包括竞价计算器，所述需求方平台接收来自公开广告交易平台的竞价请求，然后由所述竞价计算器进行价格评估并给出竞价；所述实时竞价在线反馈控制系统包括控制器、执行器和监测器；所述监测器接收并统计所有竞标成功的信息以及用户反馈信息，并将收集到的数据进行计算，得出当前广告投放效果的关键业绩指标，并发送给所述控制器；所述竞标成功的信息包括所有成功竞标的有效花销。

Description

一种实时竞价在线反馈控制方法及系统

技术领域

本发明属于互联网广告以及信息处理领域，具体涉及一种实时竞价在线反馈控制方法及系统，对实时竞价广告活动中关键业绩指标进行在线反馈控制。

背景技术

实时竞价广告兴起于2009年，是互联网数字广告的一种新形式。它通过计算机程序高速运算完成广告主对每一次广告展示的单独竞价。如图1所示，一次实时竞价广告展示流程基本如下：

1.用户访问媒体资源如网站或APP时带来一次广告展示机会；

2.这次展示机会通过供应端平台或广告网络平台以竞价请求的方式发送给公开交易平台；

3.公开交易平台给注册在它上面的所有需求端平台发送该竞价请求；

4.每个需求端平台根据广告主的需要对该竞价请求进行价格评估并出价；

5.广告交易平台对短时间(100毫秒)收集到的所有出价进行对比，价格最高者的广告最终会在此次展示中曝光；

6.用户对曝光广告的反馈信息(例如广告点击和转化)被追踪并发回至需求方平台。在竞价的过程中，广告主对每次展示机会的出价取决于对这些机会的价值的评估(如，通过竞价请求中的对应的用户的信息以及广告位的信息去评估该展示有多大几率会带来用户的点击或广告的转化)。然而，尽管实时竞价能够比传统在线广告带来更高的投资回报率以及更好的效果广告投放，在投放过程中，各项主要的关键业绩指标(KPI，如广告活动中的每1000次展示的成本、每个点击的有效成本以及赢得每次展示机会的概率等)在不同时间点的波动很大，严重阻碍广告主把控和优化这些关键业绩指标。

伴随实时竞价的出现以及其技术的不断成熟，广告主越来越看重实时竞价广告活动效果的优化，现有的实现方式大部分是在需求方平台中优化竞价的算法。这些优化算法通常包括：

1.广告点击率和转化率的预估，也即是对每次广告展示机会的价值的预估(可参考文献：Lee，Kuangchih，et al.″Estimating conversion rate in display advertisingfrom past performance data.″U.S.Patent Application 13/584,545.文献：Oentaryo，Richard J.，et al.″Predicting response in mobile advertising with hierarchicalimportanceaware factorization machine.″Proceedings of the 7th ACMinternational conference on Web search and data mining.ACM，2014.)。这是最常见的互联网广告优化问题。准确地预估广告的点击率或转化率使得广告主能够有效的对每次广告展示机会进行估值(好比在交易中对商品的准确估值)，从而给出最优的出价。

2.市场价分布估计，也即是对每次广告展示机会的花销的预估(可参考文献：Cui，Ying，et al.″Bid landscape forecasting in online ad exchange marketplace.″Proceedings of the 17th ACM SIGKDD international conference on Knowledgediscovery and data mining.ACM，2011.文献：Lang，Kevin J.，Benjamin Moseley，andSergei Vassilvitskii.″Handling forecast errors while bidding for displayadvertising.″Proceedings of the 21st international conference on World WideWeb.ACM，2012)。市场价指的是对某次广告展示机会众多广告主出价中最高的价格。这里市场是参与竞价的成百上千的广告主的整体。由于要估计市场对具体的某一次广告展示机会十分困难，目前业界都是做市场价在多次展示机会上的分布的估计。

3.竞价算法的函数及参数优化。竞价算法的函数是指从对一次广告展示机会预估的价值和花销到最终出价的映射。目前业界流行的竞价函数都是一个针对于预估点击率的线性函数(可参考文献：Perlich，Claudia，et al.″Bid optimizing and inventoryscoring in targeted online advertising.″Proceedings of the 18th ACM SIGKDD interna tional conference on Knowledge discovery and data mining.ACM，2012)，优化工作是调节线性函数的斜率和截距参数。另外也有研究工作提出一种针对于预估点击率的凹函数来作为竞价函数(可参考文献：Zhang，Weinan，Shuai Yuan，and Jun Wang.″Optimalreal-time bidding for display advertising.″Proceedings of the 20th ACM SIGKDDinternational conference on Knowledge discovery and data mining.ACM，2014)。

4.除了对每次广告展示机会出价算法的优化，广告主还希望自己的预算在时间或者流量上有一个更优的分配。例如广告主希望预算在一段时间内平稳地花完，这样在一天的任何时刻用户都能看到相应的广告。这种预算在时间和流量上的分配算法可以使得广告活动在受众上有更大的曝光率，广告的效果也会随之提升，可参考文献Lee，KuangChih，AliJalali，and Ali Dasdan.″Real time bid optimization with smooth budget deliveryin online advertising.″Proceedings of the Seventh International Workshop onData Mining for Online Advertising.ACM，2013。

但是，以上的这些优化算法都无法解决实时竞价广告中关键业绩指标波动大并且无法有效控制的问题。另外，这些算法在广告效果的优化上只能起到提高的作用，并不能保证关键业绩指标能达到某个目标值。

现有唯一一项与控制广告效果关键业绩指标有关的技术是在文献“Chen，Ye，etal.″Real-time bidding algorithms for performance-based display adallocation.″Proceedings of the 17th ACM SIGKDD international conference onKnowledge discovery and data mining.ACM，2011”中提出的。该工作中作者提出用PI反馈控制器以及Waterlevel反馈控制器控制不同广告活动的展示流量率，从而控制并优化某个媒体的广告收入，但其有如下不足：

1.其是针对单个媒体投放多个广告活动的广告流量动态分配算法，旨在通过控制每个广告活动的展示流量率来最大化媒体的收入，而不能在实时竞价广告生态环境中代表单个广告主在需求方平台中实施竞价控制，不能控制和优化单个广告主的关键业绩指标。

2.在其场景下，媒体自身提供私有交易市场，并且为广告主提供的服务是基于每次点击付费的受邀竞价服务，其内部拍卖策略是一价拍卖，也即是在优化算法中计算广告主在每次展示机会上的有效花销即为其出价。其不能应用于：对接在公开交易平台(广告交易平台的类型可以分为公开广告交易平台open Ad exchange与私有广告交易平台privateAd exchange。二者的区别在于，公开广告交易平台上售卖的广告位资源来自大量的不同媒体，它们将自身对接的媒体资源以竞价请求的方式售卖给广告需求方平台；而私有广告交易平台上售卖的广告位资源则通常来自单一媒体，一般是比较大型如新浪等门户媒体，它们自建私有市场来售卖自身资源；)中的公开竞价模式的广告主，广告主基于每1000次广告展示付费，其拍卖策略是二价拍卖，也即是广告主对每次展示的付费由拍卖中第二高的竞标价决定。两者的运行机制完全不同。

3.其仅仅针对每个广告活动的展示流量率做控制。在更多重要的关键业绩指标上没有非常突出的控制效果，例如点击有效花销、每一千次展示花销等等。而且其可运用的场景很少，可控制和优化的目标很少。

在实时竞价环境中，广告活动的各项关键业绩指标通常随时间有较大幅度的波动，而波动的根源是实时竞价机制中存在的大量的不确定性，如每个展示机会的市场价格(即最高的竞争者的出价)、展示机会的数量随时间的分布以及影响展示机会价值评估的用户行为等等。这些不确定性进而影响广告主对广告活动关键业绩指标的控制和优化。目前在需求端平台中，一方面，没有一项技术能够实现对广告活动中各项关键业绩指标的有效控制。例如，在保证得到足够多的总点击量的基础上，将某次广告活动的平均每个点击的有效成本控制在指定范围内。另一方面，现有的广告效果优化算法只能确保关键业绩指标在各项约束条件下朝着最大化的方向进行优化，无法预估和确保优化的量。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种实时竞价在线反馈控制方法及系统，实现广告主对其广告活动中的大多数关键业绩指标(如，每1000次广告展示的成本、每个用户点击的有效成本以及赢得每次展示机会的概率等)的有效控制。在广告活动开始前，广告主指定某项关键业绩指标的目标值(该值需在合理范围内)，随后由本发明系统在规定时间及预算范围内使得该指标收敛于目标值。此外，在一些特定情况下，本发明提出的优化方法能够计算出最优的目标控制值，将其应用在本发明的控制系统中能够实现广告投放效果不同程度上的优化，即通过控制来达到对效果优化量的预估和保证。

本发明是通过以下技术方案实现的：

一种实时竞价在线反馈控制系统，其嵌入到需求方平台的竞价系统中，所述需求方平台的竞价系统包括竞价计算器，所述需求方平台接收来自公开广告交易平台的竞价请求，然后由所述竞价计算器进行价格评估并给出竞价；

所述实时竞价在线反馈控制系统包括控制器、执行器和监测器；

所述监测器接收并统计所有竞标成功的信息以及用户反馈信息，并将收集到的数据进行计算，得出当前广告投放效果的关键业绩指标，并发送给所述控制器；所述竞标成功的信息包括所有成功竞标的有效花销；

所述控制器将所述当前关键业绩指标以及广告主设定好的目标参考值进行对比，计算得出误差值，然后控制器根据控制函数对误差值进行处理得出反馈控制信号，并将反馈控制信号发送给执行器；

所述执行器接收来自竞价计算器的竞价，并根据所述反馈控制信号对下一周期竞价计算器得出的竞价进行调整，然后将调整后的竞价作为竞价回复发送给所述公开广告交易平台。

所述监测器监测并统计的指标包括竞价系统参与竞价次数、广告展示次数，即竞标成功次数、用户点击次数、总花销；

所述监测器通过这些指标计算出当前关键业绩指标的实际值。

所述关键业绩指标包括有效点击花销和竞价成功率。

所述控制器采用PID控制器。

所述控制函数如下：

其中，φ(t_k+1)为反馈控制信号，λ_P，λ_I及λ_D分别为PID的控制参数，为从开始控制到当前控制周期的误差值的和，为当前控制周期的误差值随时间的变化率。

所述执行器以反馈控制信号和竞价计算器得到的竞价作为输入信号，通过自身的执行函数，输出一个调整后的竞价；

所述执行函数如下：

b_a(t)≡b(t)·e^φ(t)，(3)

其中，t为控制周期，b(t)为竞价计算器得到的竞价，φ(t)为反馈控制信号，ba(t)为调整后的竞价；当φ(t)为0时，此时竞价不需要调整，即ba(t)＝b(t)。

一种利用所述实时竞价在线反馈控制系统实现的实时竞价在线反馈控制方法，包括：S1，公开广告交易平台将竞价请求发送给需求方平台，由需求方平台中的竞价计算器给出竞价；

S2，接收并统计所有竞标成功的信息以及用户反馈信息，并将收集到的数据进行计算，得出当前广告投放效果的关键业绩指标，；

S3，将所述当前关键业绩指标以及广告主设定好的目标参考值进行对比，计算得出误差值，然后根据控制函数对误差值进行处理得出反馈控制信号；

S4，根据所述反馈控制信号利用执行函数对下一周期竞价计算器得出的竞价进行调整，然后将调整后的竞价作为竞价回复发送给所述公开广告交易平台。

所述S3是这样实现的：

利用公式(1)获得误差值：

e(t_k)＝x_r-x(t_k) (1)

其中e(t_k)为误差值，x_r为关键业绩指标的目标参考值，x(t_k)为当前广告投放效果的关键业绩指标；

然后根据所述控制函数对误差值进行线性、积分及导数处理得到反馈控制信号。

所述S3进一步包括对PID控制器的控制参数λ_P，λ_I及λ_D进行优化，具体如下：

(1)将该广告主的近期展示成功的数据设为训练数据集，将所有广告展示的数据按照历史的时间分布进行排序，并根据数据量大小分为40或60等分(即为之前提到的控制周期)；

(2)设计一个模拟竞价系统，将训练数据集中的每个成功曝光的广告数据以新的展示机会的形式在该模拟竞价系统的内部运转，进行以下模拟：

分别给定λ_P，λ_I及λ_D可能的取值范围，对这三个参数的各个取值进行组合，每一组中包含三个参数的一个取值，对于每一组λ_P，λ_I及λ_D，以40或60轮为控制周期，将其应用于模拟竞价系统中，计算出每组参数的评估控制效果的指标以及在控制结束后所带来的广告效果投放时的关键业绩指标；

所述广告数据包括受众信息及此次展示的市场价格；

所述评估控制效果的指标包括上升时间、调节时间、最大超调量、稳态误差以及稳态标准差；在训练过程中，为φ(t_k+1)的取值设置上下界；

(3)使用网格搜索法从步骤(2)得到的结果中找到最优评估控制效果的指标，该最优评估控制效果的指标对应的参数λ_P，λ_I及λ_D即为最优参数，将该最优参数应用于测试数据集中，即未来广告活动投放中。

所述S3进一步包括：通过控制关键业绩指标至某个特定计算的目标参考值，使得广告活动的投放效果得到可预测程度的优化，具体如下：

一个需求方平台接收的竞价请求流量能够来自一个或多个渠道，每个能将竞价流量的效果分开的特征对应一个渠道，所述能将竞价流量的效果分开的特征包括所对接的公开交易平台、广告受众的地区、广告投放时间以及客户端设备；

输入每个渠道的c_i ^*、ξ_i ^*、a_i和b_i，其中，c_i ^*为该渠道在一段时间内的平均点击数；ξ_i ^*为广告活动历时的平均有效点击花销；

a_i和b_i为对广告活动在每个渠道的点击数和对应的有效点击花销构成的曲线进行拟合得到最优的参数；

将每个渠道的c_i ^*、ξ_i ^*、a_i和b_i代入公式(15)，并采用快速的数值方法求解公式(15)得到α：

其中参数

然后将求得的α代入公式(14)得到每个渠道的最优有效点击花销ξ_i的值

将所述最优有效点击花销ξ_i的值设为该渠道针对有效点击花销的控制器的参考值，当控制器将每个渠道的有效点击花销都调整至其对应的参考值时，广告活动的总点击数将会被最大化，而且当有效点击花销成功收敛于最优目标参考值时，根据给定的广告预算，能够预估点击数。

与现有技术相比，本发明的有益效果是：

(1)本系统能够有效控制实时竞价需求方平台中的广告投放效果的多项关键业绩指标，使得广告主在具有诸多不确定性的实时竞价市场中能够更直接地把控其广告活动的投放效果。

(2)通过计算最优的目标参考值，使用上述控制系统能够降低有效点击花销这项关键业绩指标，进而达到效果优化，在给定的预算下，能够计算出此次广告活动的总点击数，进而实现可优化的量的预估。

附图说明

图1实时竞价广告投放及数据交互流程图

图2本发明实时竞价反馈控制系统内部和与外部广告生态圈的交互流程

图3-1广告活动1使用反馈控制后的有效点击花销的投放效果

图3-2广告活动1使用反馈控制后的竞价成功率的投放效果

图3-3广告活动2使用反馈控制后的有效点击花销的投放效果

图3-4广告活动2使用反馈控制后的竞价成功率的投放效果

图4-1无控制、单渠道控制多渠道控制在8个测试广告活动中的点击数对比

图4-2无控制、单渠道控制、多渠道控制在8个测试广告活动中的有效点击花销对比

图4-3无控制、单渠道控制、多渠道控制在8个测试广告活动中的点击率对比

图4-4多渠道控制与无控制在8个测试广告活动中的点击数提高率对比

图4-5多渠道控制与单渠道控制在8个测试广告活动中的点击数提高率对比

图4-6无控制、单渠道控制、多渠道控制在8个测试广告活动中的展示数对比

图4-7无控制、单渠道控制、多渠道控制在8个测试广告活动中的每千次展示花销对比

图4-8无控制、单渠道控制、多渠道控制在8个测试广告活动中的竞价成功率对比

图5：实施例二中使用本发明对测试广告活动分别做单渠道和多渠道的有效点击花销投放效果

图6-1广告活动1在3个公开广告交易平台中的一段时间内的点击数与其有效点击花销的关系

图6-2广告活动2在3个公开广告交易平台中的一段时间内的点击数与其有效点击花销的关系

图6-3广告活动3在3个公开广告交易平台中的一段时间内的点击数与其有效点击花销的关系

图7具体实施例一：控制广告活动2的有效点击花销至目标值50分/点击。

具体实施方式

下面结合附图对本发明作进一步详细描述：

为了实现上述控制及优化的目的，本发明将机械自动化中的经典控制理论应用于实时竞价广告投放机制当中，结合大数据的分析，创造性地研发出一个能够适用于实时竞价广告投放的反馈控制系统。如图2所示，本发明将经典的反馈控制装置嵌入到需求方平台的竞价系统当中，图中灰色装置为嵌入的反馈控制装置，主要包含控制器、执行器、监测器这些模块装置，而白色部分则为传统的竞价系统。到目前为止，从未有人将反馈控制系统应用到实时竞价需求端平台的竞价系统中去实现对实时竞价广告投放的关键业绩指标的控制及优化。另外，此反馈控制系统核心在于二次调整竞价计算器得到的价格，完全独立于原本竞价系统中的竞价计算器，使其能够无缝嵌入到任何需求端平台的竞价系统当中。

控制器的改进如下：

如图2所示，在每一轮控制周期的最开始阶段，监测器首先将收集到的上一周期的效果数据(进行相应的计算，得出当前的广告投放效果的关键业绩指标(即被控制的指标的当前值x(t_k)，而x_r是所要控制到的目标参考值)并传给控制器，控制器结合当前关键业绩指标以及事先设定好的目标参考值进行对比计算得出误差值如公式(1)所示(针对每个关键业绩指标都使用公式(1)进行计算)。

e(t_k)＝x_r-x(t_k) (1)

其中x_r为关键业绩指标的目标值，而x(t_k)为当前值。随后控制器根据PID控制函数，如公式(2)所示，对误差值进行线性，积分及导数处理而得出反馈控制信号φ(t_k+1)并将其传给执行器。

其中λ_P，λ_I及λ_D分别为PID的控制参数，为从开始控制到当前控制周期的误差值的和，为当前控制周期的误差值的斜率(反映出下一轮误差的趋势)。另外，本发明对PID控制器进行了改进，使得整个反馈控制系统能够适应具有强烈的不确定性的实时竞价大环境中。对于不同广告主的不同广告活动，都能找到一组合适的λ_P，λ_I及λ_D参数使得接下来的控制目标能够顺利完成，也就是说通过这组参数实现针对某广告活动的实时竞价动态及不确定性的建模，而找到这组参数的方法是通过广告主的历史数据进行训练分析得到的。

具体方法为：

1)将该广告主近期的展示成功的数据设为训练数据集，所有广告展示的数据必须严格按照历史的时间分布进行排序，并根据数据量大小分为40或60等分；

2)为了得到广告投放在线上执行控制或控制+优化时的PID控制参数，首先在线下模拟一个和外界实时竞价环境类似的系统(该系统是指基本的实时竞价广告投放生态圈系统，包括竞价系统、在线反馈控制系统以及外部系统如交易平台)，将收集到的该广告活动在过去投放的数据(未嵌入反馈控制系统时投放的数据)作为训练数据集，将训练数据集中的每个成功曝光的广告数据(包括受众信息及此次展示的市场价格)以新的竞价请求的形式在内部系统运转以模拟广告的投放及反馈控制。

3)本发明评估控制效果的指标主要包括上升时间，调节时间，最大超调量，稳态误差以及稳态标准差。

4)在训练过程中，由于实时竞价自身动态环境具有强烈的不确定性，为适应此环境使得模拟控制能够有效地进行直到完成控制目标，本发明为φ(t_k+1)的取值设置上下界。例如，倘若在上一个控制周期中，由于用户行为的不确定性，获得的点击量微乎其微，使得整体的有效点击花销大幅度增加，控制器会使得竞价系统大幅度降低出价，进而导致在接下来的控制周期中，由于价格过低很难赢得新的广告展示，于是无法提高点击量，进而无法提高有效点击花销，从而使得控制系统完全失效。

5)通过网格搜索的方法找出控制效果及KPI相对最佳的PID控制参数。分别给定λ_P，λ_I及λ_D可能的取值范围，以40或60轮为控制周期，分别将这些参数的不同的组合应用于训练数据模拟的实时竞价环境中，对于给定的每一组PID参数λ_P，λ_I及λ_D，计算出这组参数是否能完成控制任务并评估其控制效果，根据上述控制效果的指标筛选出最优的一组λ_P，λ_I及λ_D，将其应用于测试数据集(即未来广告活动投放)中。如果该PID参数能够控制某广告活动过去近期的投放，它也能适用于该广告活动近期将来的投放中。

无论是在内部模拟竞价环境来训练最优控制参数或将得到的最优参数应用到实际环境中，都离不开本发明所研发的整套反馈控制系统。

执行器的作用在于调整出价价格。控制器在每轮控制周期都会产生一个反馈控制信号并传给控制系统中的执行器，同时传入的还有独立的竞价计算器生成的一个对本次展示机会竞价的价格。执行器以反馈控制信号和本次价格作为输入信号，通过自身的执行函数，输出一个实际用于竞价的价格。本发明对执行器的改进主要体现在对执行函数的改进，如公式(3)所示，

b_a(t)≡b(t)·e^φ(t)，(3)

其中b(t)为竞价计算器得到的价格，φ(t)为反馈控制信号。当φ(t)为0时，此时价格不需要调整，即ba(t)＝b(t)。在反馈控制理论中，执行函数通常是线性函数，文献“Chen，Ye，et al.″Real-time bidding algorithms for performance-based display adallocation.″Proceedings of the 17th ACM SIGKDD international conference onKnowledge discovery and data mining.ACM，2011”中同样将反馈控制理论用于广告效果的控制当中，不过其目的主要是为了优化媒体供应方的收入，文献中使用的执行函数即为一个线性函数，然而线性函数在实时竞价广告需求方出价的控制当中有一个明显的缺陷，通过大规模的实验发现，线性函数的在调控出价时会因为负反馈信号强烈，使得出价为负数。而在实时竞价这种强烈动荡的环境中，强烈的负反馈信号较为常见，产生的负数竞价价格不会赢得任何新的广告曝光，也不会产生新的花销，得到新的点击或转化，最终导致系统的瘫痪。本发明提出的指数形式的执行函数能完全解决了这一缺陷，并且搭配上面提出的反馈控制信号的上下界，能够较线性函数更好地将反馈控制信号所要调控的大小表达出来。

除了能有效控制关键业绩指标，本发明的反馈控制系统还有一项重要的应用：通过控制关键业绩指标至某个特定计算的目标参考值，使得广告活动的投放效果得到优化。

通过计算最优有效点击花销值来最大化广告活动的点击数的数学模型如下：

首先引入一个“多渠道”的概念。由于一个需求方平台往往与多个公开广告交易平台对接，每个广告活动可以通过其竞价系统对这多个公开广告交易平台的竞价请求做出竞价回应。由图1可以看出，在不同的公开广告交易平台的拍卖是独立于其他交易平台的，所以来自每个交易平台的竞价请求都伴随着不同的竞价对手以及用户群体。于是广告活动在不同的公开广告交易平台的投放效果是不同的。基于这种考虑，对一个广告活动的优化方案其实要建立在每个公开广告交易平台上。除了公开广告交易平台的不同外，一些其他的特征也能将竞价流量的效果分开，例如用户的地区、广告投放时间以及客户端设备等等。在此统称这些可以将竞价流量分开的特征为“渠道”。

对设置一个多渠道流量的广告活动在每个渠道的有效点击花销来最大化广告活动的点击数的数学模型如下：

对一个多渠道流量的广告活动，定义其在渠道上一段时间内的点击数相对于有效点击花销ξ_i的函数是c_i(ξ_i)。优化问题则如公式(4)和(5)：

公式(5)表示为了最大化一段时间内(一般指一个广告活动投放时间内)的总点击数，有了这个约束，即所有渠道的花销共和＝广告活动的预算。而每个渠道i的花销＝总点击数c_i(ξ_i)*有效点击花销ξ_i(即有效的每个点击的成本)。

需要寻找每个渠道的最优有效点击花销值ξ_i来最大化广告活动的总点击数，并且这些渠道上面的花销之和由这个广告活动的总预算B作为上限。这个优化问题的拉格朗日公式为：

其中α是拉格朗日乘数。计算公式(6)对ξ_i的偏导数并将其设置为0可得到方程：

其中，公式(7)对每个渠道都成立，所以能够使用α对于任意两个渠道i和j去实现跨渠道等式：

所以能得到最优解，即最优目标参考值的条件为公式(5)及公式(10)：

现在具体定义函数c_i(ξ)_i的形式。函数的具体形式可以根据具体的广告数据来选取。例如对图6-1至图6-3的广告活动在每个渠道的点击数和对应的有效点击花销呈一个光滑凹函数形状，由此可以定义c_i(ξ)_i为

其中ξ^* _i是广告活动历时的平均有效点击花销，c^* _i是在一段时间内的平均点击数。根据如图6-1至图6-3的数据拟合得到最优的参数a_i和b_i。将公式(11)带入到公式(10)中，可以得到：

于是公式(10)可以写成

由此可得：

将公式(11)和(14)带入到公式(5)中，得到：

其中参数

公式(15)一般没有显示解(即一般没有可以直接用公式符号表达的解，因为公式(15)中累加项个数(即渠道个数)不定，并且每项的指数(bi+1)一般都非正整数。在此情况下，只能用数值迭代的方法求数值解。)，通过快速的数值方法求解α(具体如下：将1/α看做一个未知数x，当求出了x，1/x则为α。于是公式(15)写成：

可以等价为求函数

的最小值的解(也即是时的解)。首先求f(x)对x的导数

(附加公式 1)

求解x的数值迭代公式为

X←X-η^＊f’(X) (附加公式2)

这里η为数值求解的步长，取η＝0.01。这个迭代计算一直到x连续三次的更新值之间差距都不到0.01为止。得到了x之后，1/x则为α。)，并将其带入公式(14)则可以得到每个渠道的最优有效点击花销ξ_i

具体实施时，输入数据是每个渠道的c_i ^*，ξ_i ^*和a_i和b_i。

然后根据公式(15)里面计算出每个渠道的δ_i，然后根据上面的附加公式1和附件公式2通过数据迭代求解出x，也即是1/α。将其带入公式(14)则可以算出每个渠道的最优有效点击花销ξ_i的值。。

当广告活动只存在一个渠道时，或将整个广告活动看作一个渠道的时候，该优化模型仍然成立，只是所有多渠道求和的运算都退化为在一个渠道的计算。

通过此数学模型计算出了测试广告活动在每个渠道的最优有效点击花销c_i之后，将其设为该渠道针对有效点击花销的反馈控制系统的参考值。当反馈控制系统将每个渠道的有效点击花销都调整至参考值时，广告活动的总点击数将会被最大化，而且当有效点击花销成功收敛于最优目标值时，给定一个的总预算，点击数便能够被预估，完全解决了前面所提到的无法预估优化量的问题。利用本发明方法，不同渠道之间的控制是独立的，目标参考值也不一样，监测器统计的上一周期的投放效果数据以及用户反馈信息会分别被计算出各个渠道的关键业绩指标，然后发给控制器，控制器分别计算出各个渠道的反馈控制信号，发给执行器，执行器就各自的反馈控制信号分别对不同渠道的出价进行调整，使得不同渠道的关键业绩指标稳定在各自的目标参考值。

下面的测试是基于品友互动于2014年公开的实时竞价广告数据集。该数据集包含了9个广告活动在2013年的10天竞价数据，其中包括6475万条竞价记录，其中1950万次广告展示，148万次广告点击，1.6万次广告转化。每条记录分为三个部分：

1.竞价请求包含的各种信息，如用户ID、兴趣标签、时间、地点、操作系统、浏览器等等；

2.本次拍卖成功竞价。该价格即为赢得广告展示的临界值。竞价系统的出价需要高于此价格才能使广告被展示出来。

3.用户对广告的反馈，即是否点击和是否转化。

基于此数据集，采用的测试方法如下：

1.广告主给定关键业绩指标的目标值，例如设置有效点击价格为0.30元/点击。

2.测试环境模拟公开广告交易平台向需求方平台的测试竞价系统(嵌入本发明的反馈控制系统)发送竞价请求。每次发送的请求数据来自数据集中的每条成功竞价的记录。

3.测试竞价系统在本发明的反馈控制系统的调解下给出竞价，将竞价回复返回给模拟公开广告交易平台。

4.模拟公开广告交易平台比较返回的竞价和历史记录的拍卖成功竞价判断该次测试竞价系统在该次竞价中是否成功，并将成功信息以及相应的花费返回给竞价系统。

5.监测器监视多项指标，包括竞价系统参与竞价次数、广告展示次数、用户点击次数、总花销等等。监测器通过这些指标计算出关键业绩指标的实际值，并发送至控制器的输入端。控制器计算出新的控制信号并通过执行器调整接下来的出价。

观测关键业绩指标随着时间(或者反馈轮数)变化是否被成功控制在目标值的上下10％的范围内，判断控制是否成功。定义这个区域为误差带。

控制评估指标如下：

1.上升时间：控制指标第一次进入误差带的时间；

2.调节时间：控制指标开始稳定在误差带的时间；

3.最大超调量：控制指标越过参考值另一侧的最大百分比；

4.稳态误差：控制指标稳定在误差带后偏离参考值的平均值相对于参考值的百分比；

5.稳态标准差：控制指标稳定在误差带后的标准差值对于参考值的百分比。

关键业绩指标控制效果如下：

测试控制效果的关键业绩指标为(1)有效点击花销和(2)竞价成功率。表1和表2分别给出9个测试广告活动在这两项测试控制效果的关键业绩指标上的控制效果，其中表1为本发明控制有效点击花销的控制效果，表2为本发明控制竞价成功率的控制效果。这里的上升时间和调节时间数值都为调节轮数，每轮对应的时间约为2小时。测试总共40轮，所以只要能在40轮内将测试关键业绩指标控制在误差带以内便算是成功的控制案例。

表1

表2

从表1和2中可以看出本发明能有效地对不同类型广告活动的有效点击花销和竞价成功率进行控制。两项指标在控制达到稳态之后都特别准确和稳定，稳态误差和稳态标准差都不超过5％。另外相比于有效点击花销，竞价成功率的控制更加快速有效。这是因为竞价成功率的外界影响因素只有市场价的波动，而相比之下有效点击花销则进一步与用户点击行为高度相关，提高了投放效果的不确定性，进而提高了控制难度。

图3-1至图3-4给出了使用本发明对两个广告活动的有效点击花销以及竞价成功率两项关键业绩指标的控制效果，其中实线代表广告活动实时的关键业绩指标值，黑色水平虚线代表任务的关键业绩指标参考值。可以看出，在对两个测试广告活动的有效点击花销以及竞价成功率两项关键业绩指标的控制十分成功，指标值在控制数轮之后均十分接近参考值，达到了在实时竞价环境中有效控制关键业绩指标的发明目标。

基于反馈控制的广告投放效果优化如下：

测试的广告投放效果是广告活动的在给定预算的基础上的总点击数。此任务需要控制的是有效点击花销。通过前述模型计算有效点击花销的最优值并将其设置为反馈控制系统的参考值，观测在反馈控制系统将有效点击花销控制在参考值附近的同时，广告活动的总点击数是否有所提升。

通常情况下，每个广告活动关注的流量可能来自于多个渠道，例如多个公开广告交易网平台。具体地，分别做多渠道的反馈控制优化有效点击花销，也可以做广告活动整体的有效点击花销：

多渠道的反馈控制优化有效点击花销：对于每个连接多个公开广告交易平台的广告活动，将其在每一个公开广告交易平台的竞价看做一个独立的系统，分配一个独立的反馈控制系统来控制它在该交易平台中的有效点击花销。每个交易平台的有效点击花销参考值通过前述优化数学模型计算得到。

单渠道的反馈控制优化有效点击花销：对于每个广告活动，我们不区分它的流量渠道，对其分配一个反馈控制系统来控制它在该交易平台中的有效点击花销。该广告活动的有效点击花销参考值通过前文描述的数学模型计算得到。

表3

表3给出了多渠道控制的广告活动在每个公开广告交易平台中的控制效果，可以看出，多渠道控制的广告活动在每个公开广告交易平台中其有效点击花销均被有效地控制在误差带中。单渠道的控制效果同表1相同。

图4-1至图4-8给出了无反馈控制组、单渠道反馈控制组和多渠道反馈控制组在多个广告绩效指标上的对比。首先，在这个优化广告活动点击数的任务中，可以看到带反馈控制系统的两组在点击数、有效点击花销以及广告点击率三项点击相关的指标中均明显优于无反馈控制的对照组。在展示数、每千次展示花销和竞价成功率这三项展示相关的指标中，带反馈控制系统的两组在展示数和每千次展示花销上均优于无控制的对照组。尽管带反馈控制的两组的竞价成功率比无反馈控制的对照组低，这是因为计算出的最优有效点击花销低于默认值，以至于反馈控制系统压低每次的出价进而来压低广告活动的有效点击花销。压低的出价使得竞价成功率降低。但在该任务中，优化的是点击数而不是竞价成功率。进一步，多渠道反馈控制组在8个测试广告活动中的7个获得了比单渠道反馈控制组更多的点击数，这也验证了本发明分渠道做反馈控制和优化的动机。

图5给出了使用本发明对测试广告活动分别做单渠道和多渠道的有效点击花销控制效果，其中三条黑色水平虚线代表该测试广告活动在3个渠道(即公开广告交易平台)中计算的最优有效点击花销参考值。此外，一旦预算花完，相应有效点击花销的值随即停止改变，接下来的部分呈一条水平线。可以观察到本发明成功将3个渠道的有效点击花销稳定在了相应的最优参考值附近。这些参考值都低于无反馈控制的对照组的有效点击花销值，这是因为市场竞争较为激烈，压低有效点击花销可以在保证预算花完的要求下提高点击数量。本实施例展示了本发明达到了有效控制广告活动的关键业绩指标从而优化广告投放效果的发明目标。

为便于对本发明实施例的理解，在本发明实施例分别将结合附图对实时竞价需求方平台中的两个广告活动分别进行反馈控制及反馈控制+效果优化的详细实施说明。具体实施例中涉及到的两个广告活动的数据选自品友互动于2014年公开的实时竞价广告数据集。

实施例一：在实施例一中，提供对有效点击花销KPI的反馈控制。设置它的有效点击花销目标参考值x_r为50分/点击。为了得到有效的反馈控制系统的参数λ_P，λ_I及λ_D，使用该广告活动头7天的广告竞价数据来训练模型参数。具体地，分别给定λ_P，λ_I及λ_D可能的取值范围，运用网格搜索分别将这些参数的不同的组合应用于训练数据模拟的实时竞价环境中，根据上述控制效果的指标筛选出最优的一组λ_P，λ_I及λ_D，将其应用于测试数据集(即后3天广告活动投放)中。

基于有效点击花销参考值50分/点击和该广告主头7天的训练数据，训练得到的控制器的最优参数为：

λ_P＝6.0E-5

λ_I＝2.0E-5

λ_D＝1.0E-4

在每一次控制信号更新时刻t_k，监测器模块根据当前记录的点击数和花销，通过花销/点击数得到广告活动当前的有效点击花销x(t_k)。通过公式(1)得到本轮的误差项e(t_k)。进一步根据训练得到的参数λ_P，λ_I及λ_D可以通过公式(2)可以得到下一轮的控制信号φ(t_k+1)。

在下一轮中，竞价系统接收到每一个竞价请求后，竞价计算器模块计算原始出价b(t)。执行器模块基于原始出价b和控制信号φ(t_k+1)根据公式(3)调整出价至ba(t)。

图7给出了广告活动2在测试数据集上反馈控制系统对其有效点击花销的投放效果。可以明显地观察到，广告活动2的有效点击花销用一开始的170分/点击迅速降低至参考值50分/点击，经过两次相对较大的波动之后，从第7轮开始稳定在了45分/点击到55分/点击这一误差带之中，完成了控制目标。

实施例二：在此实施例中，对广告活动1做多渠道的有效点击花销的控制和优化。根据该广告活动在训练数据上平均3天的表现，得到该广告活动在其对接的3个公开广告交易平台上有效点击花销和3天内点击数的数据关系，如图6-1所示。用公式(11)的函数形式拟合图6-1的3条曲线，得到的三组拟合参数为：

在给定预算815分的情况下，根据公式(15)以及上面得到的每个渠道的参数a和b，可以算出拉格朗日乘数α的值，然后根据公式(14)算出每个渠道的最优有效点击花销的值。

广告活动1分别在三个公开交易平台(渠道)投放的最优有效点击花销：

1 2.58分/点击

2 2.31分/点击

3 2.23分/点击

对该广告活动的三个渠道分别开启一个反馈控制系统，每个反馈控制系统的参数训练方法同实施例一中描述一样，而每个反馈控制系统的参考值就是相应渠道的最优有效点击花销值。在训练出一组控制器的参数λ_P，λ_I及λ_D使得每个渠道的控制系统都能达到最优控制效果及投放效果之后，测试该广告活动在之后3天的测试数据上的投放效果，如图5所示

图5给出了使用本发明对测试广告活动分别做单渠道和多渠道的有效点击花销控制效果，其中三条黑色水平虚线代表该测试广告活动在3个渠道(即公开广告交易平台)中计算的最优有效点击花销参考值。此外，一旦预算花完，相应有效点击花销的值随即停止改变，接下来的部分呈一条水平线。可以观察到本发明成功将3个渠道的有效点击花销稳定在了相应的最优参考值的误差带内。这些参考值都低于无反馈控制的对照组的有效点击花销值，这是因为市场竞争较为激烈，通过建模和计算最优地压低有效点击花销可以在保证预算花完的要求下提高总点击量。本实施例展示了本发明达到了有效控制广告活动的关键业绩指标从而优化广告投放效果的发明目标并使得总点击量相比对照组提高了160％。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (7)

1.一种实时竞价在线反馈控制系统，其嵌入到需求方平台的竞价系统中，所述需求方平台的竞价系统包括竞价计算器，所述需求方平台接收来自公开广告交易平台的竞价请求，然后由所述竞价计算器进行价格评估并给出竞价；其特征在于：

所述实时竞价在线反馈控制系统包括控制器、执行器和监测器；

所述监测器接收并统计所有竞标成功的信息以及用户反馈信息，并将收集到的数据进行计算，得出当前广告投放效果的关键业绩指标，并发送给所述控制器；所述竞标成功的信息包括成功竞标的有效花销；

所述控制器将所述当前关键业绩指标以及广告主设定好的目标参考值进行对比，计算得出误差值，然后控制器根据控制函数对误差值进行处理得出反馈控制信号，并将反馈控制信号发送给执行器；

所述执行器接收来自竞价计算器的竞价，并根据所述反馈控制信号对下一周期竞价计算器得出的竞价进行调整，然后将调整后的竞价作为竞价回复发送给所述公开广告交易平台；所述监测器监测并统计的指标包括竞价系统参与竞价次数、广告展示次数，即竞标成功的次数、用户点击次数、总花销；

所述监测器通过这些指标计算出当前关键业绩指标的实际值；

所述关键业绩指标包括有效点击花销和竞价成功率。

2.根据权利要求1所述的实时竞价在线反馈控制系统，其特征在于：所述控制器采用PID控制器；

所述控制函数如下：

其中，e(t_k)为当前控制周期的误差值，φ(t_k+1)为反馈控制信号，λ_P,λ_I及λ_D分别为PID的控制参数，为从开始控制到当前控制周期的误差值的和，为当前控制周期的误差值随时间的变化率。

3.根据权利要求2所述的实时竞价在线反馈控制系统，其特征在于：所述执行器以反馈控制信号和竞价计算器得到的竞价作为输入信号，通过自身的执行函数，输出一个调整后的竞价；

所述执行函数如下：

b_a(t)≡b(t)·e^φ(t) (3)

其中，t为控制周期，b(t)为竞价计算器得到的竞价，φ(t)为反馈控制信号，b_a(t)为调整后的竞价；当φ(t)为0时，此时竞价不需要调整，即b_a(t)＝b(t)。

4.一种利用权利要求1至3任一所述实时竞价在线反馈控制系统实现的实时竞价在线反馈控制方法，其特征在于：所述方法包括：

S1，公开广告交易平台将竞价请求发送给需求方平台，由需求方平台中的竞价计算器给出竞价；

S2，接收并统计所有竞标成功的信息以及用户反馈信息，并将收集到的数据进行计算，得出当前广告投放效果的关键业绩指标；

S3，将所述当前关键业绩指标以及广告主设定好的目标参考值进行对比，计算得出误差值，然后根据控制函数对误差值进行处理得出反馈控制信号；

S4，根据所述反馈控制信号利用执行函数对下一周期竞价计算器得出的竞价进行调整，然后将调整后的竞价作为竞价回复发送给所述公开广告交易平台。

5.根据权利要求4所述的方法，其特征在于：所述S3是这样实现的：

利用公式(1)获得误差值：

e(t_k)＝x_r-x(t_k) (1)

其中e(t_k)为误差值，x_r为关键业绩指标的目标参考值，x(t_k)为当前广告投放效果的关键业绩指标；

然后根据所述控制函数对误差值进行线性、积分及导数处理得到反馈控制信号。

6.根据权利要求5所述的方法，其特征在于：所述S3进一步包括对PID控制器的控制参数λ_P,λ_I及λ_D进行优化，具体如下：

(1)将该广告主的近期展示成功的数据设为训练数据集，将所有广告展示的数据按照历史的时间分布进行排序，并根据数据量大小分为40或60等分；

(2)设计一个模拟竞价系统，将训练数据集中的每个成功曝光的广告数据以新的展示机会的形式在该模拟竞价系统的内部运转，进行以下模拟：

分别给定λ_P,λ_I及λ_D可能的取值范围，对这三个参数的各个取值进行组合，每一组中包含三个参数的一个取值，对于每一组λ_P,λ_I及λ_D，以40或60轮为控制周期，将其应用于模拟竞价系统中，计算出每组参数的评估控制效果的指标以及在控制结束后所带来的广告效果投放时的关键业绩指标；

所述广告数据包括受众信息及此次展示的市场价格；

所述评估控制效果的指标包括上升时间、调节时间、最大超调量、稳态误差以及稳态标准差；在训练过程中，为φ(t_k+1)的取值设置上下界；

(3)使用网格搜索法从步骤(2)得到的结果中找到最优评估控制效果的指标，该最优评估控制效果的指标对应的参数λ_P,λ_I及λ_D即为最优参数，将该最优参数应用于测试数据集中，即未来广告活动投放中。

7.根据权利要求5或6所述的方法，其特征在于：所述S3进一步包括：通过控制关键业绩指标至某个特定计算的目标参考值，使得广告活动的投放效果得到可预测程度的优化，具体如下：

一个需求方平台接收的竞价请求流量能够来自一个或多个渠道，每个能将竞价流量的效果分开的特征对应一个渠道，所述能将竞价流量的效果分开的特征包括所对接的公开交易平台、广告受众的地区、广告投放时间以及客户端设备；

输入每个渠道的c_i ^*、ξ_i ^*、a_i和b_i，其中，c_i ^*为该渠道在一段时间内的平均点击数；ξ_i ^*为广告活动历时的平均有效点击花销；

a_i和b_i为对广告活动在每个渠道的点击数和对应的有效点击花销构成的曲线进行拟合得到最优的参数；

将每个渠道的c_i ^*、ξ_i ^*、a_i和b_i代入公式(15)，并采用快速的数值方法求解公式(15)得到α：

其中，α是拉格朗日乘数，B是总预算，参数

然后将求得的α代入公式(14)得到每个渠道的最优有效点击花销ξ_i的值

将所述最优有效点击花销ξ_i的值设为该渠道针对有效点击花销的控制器的参考值，当控制器将每个渠道的有效点击花销都调整至其对应的参考值时，广告活动的总点击数将会被最大化，而且当有效点击花销成功收敛于最优目标参考值时，根据给定的广告预算，能够预估点击数。