CN107067274A - 一个基于混合学习模型的dsp实时竞价广告系统 - Google Patents

Abstract

本发明公开了一种基于混合学习模型的DSP实时竞价广告系统，包括：RTB广告出价引擎模块、离线模型训练模块和在线模型训练模块；其中，所述RTB广告出价引擎模块用于连接所述离线模型训练模块和在线模型训练模块，并结合两者或者之一生成的CTR模型，调用其CTR预测引擎进行预测相应广告的CTR值，进行相应的广告投放。

Description

一个基于混合学习模型的DSP实时竞价广告系统

技术领域

本发明属于一种基于混合学习模型的DSP实时竞价广告系统，属于计算机领域。

背景技术

广告主对于移动程序化购买的需求也在不断加强，推动了移动程序化购买市场的整体发展。程序化购买是开发者进行流量变现的重要渠道之一，开发者对于库存资源的开放意愿提高，部分明星应用hero App积极将资源转向程序化购买，从而推动了市场规模，DSP为广告主提供一个综合性的操作平台，广告主可以通过一个平台管理多个渠道的流量来源，避免复杂的媒体购买方式带来的资源浪费。DSP利用RTB可以从广告交易平台中实时的按需购买广告。并以受众为中心的购买模式

现有RTB竞价主要从以下几个因素进行决策：

1.受众定向投放技术

客户根据受众的人口统计学特征和兴趣爱好采买受众，包括地理位置、年龄、性别、职业/行业、收入状态、婚姻状态、教育程度和兴趣爱好从AdExchange的流量中来采买受众；

2.反作弊技术

根据当前用户访问页面内容相关性，和广告进行匹配，做出投放；

3.流量质量评估

分析流量请求的低价的分布情况，即请求广告位的价格的概率分布。

4.CTR预估

通过采集的投放数据培训CTR预估的模型来预测广告的点击率；

5.在线机器学习(Online learning)

不需要维护一个固定的训练集，每次新数据来，学习更新模型，然后继续接收新数据，继续更新模型。不必要一定有训练的过程，可以一边预测的同时一边训练；

6.离线机器学习(batch learning)

一次性批量输入给学习算法.先用训练集进行训练，然后才进行预测，这种方式训练的模型上线后，更新的周期会比较长(一般是一天，效率高的时候为一小时)，这种模型上线后，一般是静态的(一段时间内不会改变)，不会与线上的状况有任何互动，假设预测错了，只能在下一次更新的时候完成更正。

针对广告出价流程，以模块为单位，进行描述：

(一)出价模块

1.出价请求反作弊处理；

判断请求的流量是否为作弊流量或者是历史投放证明的低价值请求；

如果请求为作弊请求或者为低价值的请求，则放弃此次竞价，否则到第2步；

2.广告过滤

1)广告加载；

根据广告位信息加载可投放的广告；

2)广告过滤

判断请求的信息是否满足广告设置的定投条件，包括是否为定投的设备信息、定投的应用，定投的应用类型、是否在应用黑名单中。

设备信息：机型、品牌、制造商、设备类型、网络类型、运营商、操作系统版本；

3.受众判别

根据出价请求或者用户的标识，通过表示加载用户的人口统计学信息和兴趣爱好的标签；轮询广告，判断用户是否为广告定向的受众，如果是，在加入到候选列表，如果不是，在继续轮询知道遍历所有可投放的广告；

4.CTR预测

通过出价的信息和广告信息，使用基于历史数据通过机器学习培训的CTR预测模型，预测所有广告在请求上下文的约束下的各自的点击率CTR；

5.根据3计算的广告点击率计算所有广告投放的ROE

6.根据计算的ROE来对候选的广告进行排序；

7.在5中根据ROE排序的广告中选取ROE最高的广告,将选择的广告和出价借个返回给ADX；

(二)模型培训模块

1.采集竞价请求的数据，包括竞价数据、赢价数据、展示数据，监测数据；

2.对数据进行预处理，包括处理异常处理和数据转换，使之对培训模型更加友好；

3.使用处理后的批量数据通过机器学习算法来训练离线的模型，得到可信的模型后提供给出价引擎来预测广告的CTR。

现在基于RTB竞价的DSP在广告投放的关键的CTR预测的模型使用上缺少足够多的灵活性，很多都是基于历史数据通过离线的机器学习技术来训练CTR预估的模型，对于一个新的DSP或者对于新对接的ADX，缺少历史数据来训练模型，在这种情况下，使用离线历史数据来培训模型显示不显示，这就需要考虑使用在线的机器学习方式来培训CTR预测模型，比如在线学习的机器学习方式，可以变预测变训练，当前对模型的使用和算法缺少灵活性。

发明内容

本发明所要解决的技术问题是提供一种基于混合学习模型的DSP实时竞价广告系统，用于解决现有技术存在的问题。

本发明解决上述技术问题所采取的技术方案如下：

一种基于混合学习模型的DSP实时竞价广告系统，包括：RTB广告出价引擎模块、离线模型训练模块和在线模型训练模块；

其中，所述RTB广告出价引擎模块用于连接所述离线模型训练模块和在线模型训练模块，并结合两者或者之一生成的CTR模型，调用其CTR预测引擎进行预测相应广告的CTR值，进行相应的广告投放。

优选的是，所述离线模块训练模块，包括：

离线采集数据单元，用于采集竞价请求的数据，包括竞价数据、赢价数据、展示数据，监测数据；

离线数据预处理单元，用于对数据进行预处理，包括处理异常处理和数据转换，使之对培训模型更加友好；

离线训练单元，用于使用处理后的批量数据通过机器学习算法来训练离线的模型，得到可信的模型后提供给所述RTB广告出价引擎模块以预测广告的CTR。

优选的是，所述在线数据训练模块，包括：

在线采集数据单元，用于接收竞价请求后续的投放广告的赢价、展示和点击的数据；

在线数据预处理单元，用于将数据预测成预测模型可接受的数据；

在线训练单元，用于将数据给在线机器学习的训练模型，生成新的模型，并同步更新引擎中的CTR预估模型。

优选的是，所述RTB广告出价引擎模块，具体包括：

广告加载单元，用于根据广告位信息加载可投放的广告；

广告过滤单元，用于判断请求的信息是否满足广告设置的定投条件，包括是否为定投的设备信息、定投的应用，定投的应用类型、是否在应用黑名单中，其中，设备信息：机型、品牌、制造商、设备类型、网络类型、运营商、操作系统版本；

反作弊处理单元，包括：判断请求的流量是否为作弊流量或者是历史投放证明的低价值请求，如果请求为作弊请求或者为低价值的请求，则放弃此次竞价。

优选的是，还包括：

受众判别单元，用于根据出价请求或者用户的标识，通过表示加载用户的人口统计学信息和兴趣爱好的标签；轮询广告，判断用户是否为广告定向的受众，如果是，在加入到候选列表，如果不是，在继续轮询知道遍历所有可投放的广告。

优选的是，加载模型单元，用于根据请求来源的ADX，加载设置的CTR预测的模型；

判别模型策略是离线还是在线，如果在线，使用的算法；如果离线，判别模型使用的算法；

CRT预估单元，用于当使用的为离线生成的CTR模型，在根据请求的上下文、请求的用户信息和广告来调用CTR预估模型来计算广告的点击率；

使用的为在线生成的CTR模型，则根据请求的上下文、请求的用户信息和广告来调用CTR预估模型来计算广告的点击率，并使用数据调用在线机器学习模块来在线更新模型，并获取新的模型；

排序单元，用于根据计算的ROE来对候选的广告进行排序；

广告选择单元，用于根据ROE排序的广告中选取ROE最高的广告,将选择的广告和出价借个返回给ADX。

优选的是，所述RTB广告出价引擎模块，还包括：

统计单元，用于统计广告展示、点击监测上报的数据来统计广告的投放效果，展示数、点击数、CTR。

优选的是，还包括：

CTR预测模型训练模块，用于选择已经有历史投放数据的AdExchange，同步离线的批量数据进行机器学习的训练；

或者，在线学习的FTRL模型，然后更新竞价系统模型，给下一个竞价请求来使用。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，

图1是现有技术的示意图；

图2是本发明的系统的示意图；

图3是本发明的系统的部分工作原理示意图；

图4是本发明系统的部分工作原理示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

CPM：按广告每千次被展现，成为一个CPM；

RTB：实时竞价

CTR:点击转化率

ADX：广告交易市场

DSP：广告需求方平台

ROE：投资回报率

GBDT：随机梯度下降树

LR：逻辑回归算法

libFM：因子机

RF:随机森林

FTRL：Follow The Regularized Leader

对于一个竞价的DSP系统，需要综合考虑历史和未来的流量去兼顾两者的CTR的预估。即根据实际的情况灵活的配置算法的训练方式，并能有一套模型选择的系统

如图2所示，一种基于混合学习模型的DSP实时竞价广告系统，包括：RTB广告出价引擎模块、离线模型训练模块和在线模型训练模块；

其中，所述RTB广告出价引擎模块用于连接所述离线模型训练模块和在线模型训练模块，并结合两者或者之一生成的CTR模型，调用其CTR预测引擎进行预测相应广告的CTR值，进行相应的广告投放。

优选的是，所述离线模块训练模块，包括：

离线采集数据单元，用于采集竞价请求的数据，包括竞价数据、赢价数据、展示数据，监测数据；

离线数据预处理单元，用于对数据进行预处理，包括处理异常处理和数据转换，使之对培训模型更加友好；

离线训练单元，用于使用处理后的批量数据通过机器学习算法来训练离线的模型，得到可信的模型后提供给所述RTB广告出价引擎模块以预测广告的CTR。

优选的是，所述在线数据训练模块，包括：

在线采集数据单元，用于接收竞价请求后续的投放广告的赢价、展示和点击的数据；

在线数据预处理单元，用于将数据预测成预测模型可接受的数据；

在线训练单元，用于将数据给在线机器学习的训练模型，生成新的模型，并同步更新引擎中的CTR预估模型。

优选的是，所述RTB广告出价引擎模块，具体包括：

广告加载单元，用于根据广告位信息加载可投放的广告；

广告过滤单元，用于判断请求的信息是否满足广告设置的定投条件，包括是否为定投的设备信息、定投的应用，定投的应用类型、是否在应用黑名单中，其中，设备信息：机型、品牌、制造商、设备类型、网络类型、运营商、操作系统版本；

反作弊处理单元，包括：判断请求的流量是否为作弊流量或者是历史投放证明的低价值请求，如果请求为作弊请求或者为低价值的请求，则放弃此次竞价。

优选的是，还包括：

受众判别单元，用于根据出价请求或者用户的标识，通过表示加载用户的人口统计学信息和兴趣爱好的标签；轮询广告，判断用户是否为广告定向的受众，如果是，在加入到候选列表，如果不是，在继续轮询知道遍历所有可投放的广告。

优选的是，加载模型单元，用于根据请求来源的ADX，加载设置的CTR预测的模型；

判别模型策略是离线还是在线，如果在线，使用的算法；如果离线，判别模型使用的算法；

CRT预估单元，用于当使用的为离线生成的CTR模型，在根据请求的上下文、请求的用户信息和广告来调用CTR预估模型来计算广告的点击率；

使用的为在线生成的CTR模型，则根据请求的上下文、请求的用户信息和广告来调用CTR预估模型来计算广告的点击率，并使用数据调用在线机器学习模块来在线更新模型，并获取新的模型；

排序单元，用于根据计算的ROE来对候选的广告进行排序；

广告选择单元，用于根据ROE排序的广告中选取ROE最高的广告,将选择的广告和出价借个返回给ADX。

优选的是，所述RTB广告出价引擎模块，还包括：

统计单元，用于统计广告展示、点击监测上报的数据来统计广告的投放效果，展示数、点击数、CTR。

优选的是，还包括：

CTR预测模型训练模块，用于选择已经有历史投放数据的AdExchange，同步离线的批量数据进行机器学习的训练；

或者，在线学习的FTRL模型，然后更新竞价系统模型，给下一个竞价请求来使用。

技术实现原理，如下：

第一步：针对不同的ADX配置不同的使用不同的机器学习训练方式生成的算法，如果一个ADX有相关的历史数据，并且已经通过离线的机器学习过程配训过CTR出价的算法，并且算法的可信度在设置的置信区间，则配置使用离线数据训练生成的CTR预测算法；如果为新对接的ADX,当前没有可以使用的通过离线数据批量训练的CTR预测算法可以用，则配置此ADX使用在线的机器学习算法。

第二步：一个ADX的发送一个广告的竞价请求，首先对流量做作弊监测，如果是作弊流量做放弃出价；对于非作弊请求，先加载广告，根据请求的上下问和广告设置要求的上下文的设置来过滤广告，选择可继续投放的广告，先根据请求里面的用户ID来获取用户的人口统计学信息和标签，如果不是广告选择受众，则广告不对请求出价，否则，则通过请求和广告来进行CTR预测

第三步：根据请求来源来判断请求来自于那个ADX。获取使用的CTR预估的模型，如果使用离线批量数据培训生成的CTR模型，则调用其CTR预测引擎进行预测，如果配置的是在线机器学习模型，这将参数传递给在线机器学习CTR模型，获取预测值，同时更新模型参数

对于离线模型的更新，随时数据不但增长，安时间间隔更新模型，是模型更加准确。

当用户请求访问时，分析其访问行为，其行为包括如下：请求广告、统计展示广告、统计点击广告；针对不同行为，走不同处理流程。请求广告时，为用户在合适时间选取一个合适广告，展示到用户面前，便于满足用户当时需求或兴趣，提高用户体验，减少用户信息检索成本。针对统计效果，根据实际效果，做动态调整和优化。

(一)RTB广告出价引擎模块

1.出价请求反作弊处理

判断请求的流量是否为作弊流量或者是历史投放证明的低价值请求；

如果请求为作弊请求或者为低价值的请求，则放弃此次竞价，否则到第2步；

2.广告过滤

3)广告加载

根据广告位信息加载可投放的广告；

4)广告过滤

判断请求的信息是否满足广告设置的定投条件，包括是否为定投的设备信息、定投的应用，定投的应用类型、是否在应用黑名单中。

设备信息：机型、品牌、制造商、设备类型、网络类型、运营商、操作系统版本；

3.受众判别

根据出价请求或者用户的标识，通过表示加载用户的人口统计学信息和兴趣爱好的标签；轮询广告，判断用户是否为广告定向的受众，如果是，在加入到候选列表，如果不是，在继续轮询知道遍历所有可投放的广告；

4.加载使用的模型

根据请求来源的ADX，加载设置的CTR预测的模型；

5.判别使用的模型

判别模型策略是离线还是在线，如果在线，使用的算法(FTRL)；如果离线，判别模型使用的算法(GBDT+LR,RF+LR，GBDT+LibFM、RF+libFm)；

6.CRT预估

6.1步骤5)选择的CTR预估使用的为离线生成的CTR模型，在根据请求的上下文、请求的用户信息和广告来调用CTR预估模型来计算广告的点击率

6.2步骤5)选择的CTR预估使用的为在线生成的CTR模型，在根据请求的上下文、请求的用户信息和广告来调用CTR预估模型来计算广告的点击率，并使用数据调用在线机器学习模块来在线更新模型，并获取新的模型；

7.根据计算的ROE来对候选的广告进行排序

8.在5中根据ROE排序的广告中选取ROE最高的广告,将选择的广告和出价借个返回给ADX；

(二)离线模型培训模块

1.采集竞价请求的数据，包括竞价数据、赢价数据、展示数据，监测数据

2.对数据进行预处理，包括处理异常处理和数据转换，使之对培训模型更加友好；

3.使用处理后的批量数据通过机器学习算法来训练离线的模型，得到可信的模型后提供给出价引擎来预测广告的CTR。

(三)在线数据训练模块

1.接收竞价请求后续的投放广告的赢价、展示和点击的数据

2.将数据预测成预测模型可接受的数据

3.将数据给在线机器学习的训练模型，生成新的模型，并同步更新引擎中的CTR预估模型

其中，系统预先根据AdExchange的情况来配置通过批量学习训练的CTR预测的模型

1)模型训练

a)机器学习方式的选择

选择已经有历史投放数据的AdExchange，同步离线的批量数据进行机器学习的训练

b)数据预处理

从log文件中加载历史数据，对数据进行清洗和采样

c)使用采样的批量数据来选择CTR预测的模型

模型训练和选择：使用GBDT+LR、RF+LR、GBDT+libFm、RF+libFM做候选算法，以上算法经过培训后，在测试数据上测试，使用logloss作为评估指标，选择logloss最小的算法作为CTR预测算法，最终选择GBDT+LR作为对选定的AdExchange的CTR预测的算法

2)模型配置

为选择的AdExchange配置使用的模型为在离线批量数据选择的CTR预测模型GBDT+LR

3)广告发布

针对选择的AdExchange发布多条广告来为RTB出价，设置广告的受众(区域、性别、年龄、婚姻状况、职业、兴趣爱好)和对请求上下文的要求(媒介类型、设备信息)

4)广告竞价

a)出价请求反作弊处理

判断请求的流量是否为作弊流量(来自于黑名单的App等等)或者是历史投放证明的低价值请求(CTR低于设置的阀值)

如果请求为作弊请求或者为低价值的请求，则放弃此次竞价，否则到第b)步

b)广告加载

根据广告位信息加载可投放的广告

c)广告过滤

判断请求的信息是否满足广告设置的定投条件，包括是否为定投的设备信息、定投的应用，定投的应用类型、是否在应用黑名单中。

设备信息：机型、品牌、制造商、设备类型、网络类型、运营商、操作系统版本

d)受众判别

根据出价请求或者用户的标识，通过表示加载用户的人口统计学信息和兴趣爱好的标签；轮询广告，判断用户是否为广告定向的受众，如果是，在加入到候选列表，如果不是，在继续轮询知道遍历所有可投放的广告

e)加载使用的模型

根据请求来源的AdEexchange，加载设置的CTR预测的模型

f)判别使用的模型

判别模型策略为离线批量数据所训练的GBDT+LR模型算法，使用次算法在下一步进行CTR的预测

g)CRT预估

在根据请求的上下文、请求的用户信息和广告来调用GBDT+LR模型来计算广告的点击率

h)根据计算的ROE来对候选的广告进行排序

在h)中根据ROE排序的广告中选取ROE最高的广告,将选择的广告和出价借个返回给ADX

5)效果反馈

统计广告展示、点击监测上报的数据来统计广告的投放效果，展示数、点击数、CTR(广告的点击率)

需要说明的是，对于上述方法实施例而言，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于混合学习模型的DSP实时竞价广告系统，其特征在于，包括：RTB广告出价引擎模块、离线模型训练模块和在线模型训练模块；

其中，所述RTB广告出价引擎模块用于连接所述离线模型训练模块和在线模型训练模块，并结合两者或者之一生成的CTR模型，调用其CTR预测引擎进行预测相应广告的CTR值，进行相应的广告投放。

2.根据权利要求1所述的基于混合学习模型的DSP实时竞价广告系统，其特征在于，所述离线模块训练模块，包括：

离线采集数据单元，用于采集竞价请求的数据，包括竞价数据、赢价数据、展示数据，监测数据；

离线数据预处理单元，用于对数据进行预处理，包括处理异常处理和数据转换，使之对培训模型更加友好；

离线训练单元，用于使用处理后的批量数据通过机器学习算法来训练离线的模型，得到可信的模型后提供给所述RTB广告出价引擎模块以预测广告的CTR。

3.根据权利要求1所述的基于混合学习模型的DSP实时竞价广告系统，其特征在于，所述在线数据训练模块，包括：

在线采集数据单元，用于接收竞价请求后续的投放广告的赢价、展示和点击的数据；

在线数据预处理单元，用于将数据预测成预测模型可接受的数据；

在线训练单元，用于将数据给在线机器学习的训练模型，生成新的模型，并同步更新引擎中的CTR预估模型。

4.根据权利要求1所述的基于混合学习模型的DSP实时竞价广告系统，其特征在于，所述RTB广告出价引擎模块，具体包括：

广告加载单元，用于根据广告位信息加载可投放的广告；

广告过滤单元，用于判断请求的信息是否满足广告设置的定投条件，包括是否为定投的设备信息、定投的应用，定投的应用类型、是否在应用黑名单中，其中，设备信息：机型、品牌、制造商、设备类型、网络类型、运营商、操作系统版本；

反作弊处理单元，包括：判断请求的流量是否为作弊流量或者是历史投放证明的低价值请求，如果请求为作弊请求或者为低价值的请求，则放弃此次竞价。

5.根据权利要求4所述的基于混合学习模型的DSP实时竞价广告系统，其特征在于，还包括：

受众判别单元，用于根据出价请求或者用户的标识，通过表示加载用户的人口统计学信息和兴趣爱好的标签；轮询广告，判断用户是否为广告定向的受众，如果是，在加入到候选列表，如果不是，在继续轮询知道遍历所有可投放的广告。

6.根据权利要求1所述的基于混合学习模型的DSP实时竞价广告系统，其特征在于，加载模型单元，用于根据请求来源的ADX，加载设置的CTR预测的模型；

判别模型策略是离线还是在线，如果在线，使用的算法；如果离线，判别模型使用的算法；

CRT预估单元，用于当使用的为离线生成的CTR模型，在根据请求的上下文、请求的用户信息和广告来调用CTR预估模型来计算广告的点击率；

使用的为在线生成的CTR模型，则根据请求的上下文、请求的用户信息和广告来调用CTR预估模型来计算广告的点击率，并使用数据调用在线机器学习模块来在线更新模型，并获取新的模型；

排序单元，用于根据计算的ROE来对候选的广告进行排序；

广告选择单元，用于根据ROE排序的广告中选取ROE最高的广告,将选择的广告和出价借个返回给ADX。

7.根据权利要求1所述的基于混合学习模型的DSP实时竞价广告系统，其特征在于，所述RTB广告出价引擎模块，还包括：

统计单元，用于统计广告展示、点击监测上报的数据来统计广告的投放效果，展示数、点击数、CTR。

8.根据权利要求1所述的基于混合学习模型的DSP实时竞价广告系统，其特征在于，还包括：

CTR预测模型训练模块，用于选择已经有历史投放数据的AdExchange，同步离线的批量数据进行机器学习的训练；

或者，在线学习的FTRL模型，然后更新竞价系统模型，给下一个竞价请求来使用。