CN104391883A - 一种基于迁移学习的在线广告受众排序方法 - Google Patents

Abstract

一种基于迁移学习的在线广告受众排序方法，旨在根据互联网受众对广告的潜在相关性对受众进行排序，使得预算不足的长尾广告主能够通过购买排序靠前的固定数量的用户进行广告投放。本方法假设用户历史行为域与其对广告的偏好域在不同特征空间里，并通过定义相关性转换矩阵建立两者的关系，以减少非相关用户历史行为信息对其广告偏好的影响，进而提出一种改进的基于迁移学习的相关性计算算法——TransferBM25。在此基础上，该方法通过对广告历史数据的预处理、特征抽取、模型训练以及效果评测四个步骤，得到最终的受众排序模型，并根据该模型对广告受众进行排序，从而使得排序后排名靠前的用户具有更高的广告点击概率。

Description

一种基于迁移学习的在线广告受众排序方法

技术领域

本发明涉及互联网广告数据预处理、特征抽取、模型训练、效果评测方法，特别涉及一种基于迁移学习的在线广告受众排序方法。

背景技术

科技与互联网在全球的快速发展，带动了一个具有巨大经济价值的新兴产业——在线广告产业。在线广告区别于传统的线下购买的广告投放模式，具有可交互性、可定制、可跟踪、可送达的特点。根据其特点，为优化在线广告的投放效果，使广告主、媒体、受众的收益最大化，一个新兴的学科“计算广告学”诞生了。“计算广告学”旨在根据给定的用户和上下文内容，通过计算得到与之最匹配的广告并进行精准定向投放。

行为定向是在线广告中一种主流的受众定向方式，其根据用户的在线历史行为如搜索和网页浏览日志等，将广告正确的投放给对其感兴趣的用户。传统的行为定向方式通过对用户行为进行建模，按照用户对广告的兴趣偏好输出成百上千的用户分段，且每个用户分段会被给予一个标签，如“体育”、“旅行”等，广告主会通过这些标签来判断是否够购买这些用户分段，以尽可能的将广告投放给对其产品感兴趣的受众。然而，这样的受众选择方法过于依赖人工经验，且用户分段中可能包含数百万的用户，一些长尾广告主由于预算有限无法负担起如此大量的用户。为了有效利用有限的预算，广告主希望选择更小范围的受众。根据用户对广告的潜在兴趣，并通过对广告与用户的相关性排序，广告主选择相关性排序靠前的固定数量的用户进行广告投放，从而获得更好的广告收益。该问题称为受众排序问题。受众排序依赖于传统的行为定向中用户行为历史与其对广告的偏好具有潜在相似性的假设。尽管用户的历史行为与其对广告的潜在兴趣有很强的关联性，但是同一用户不同的历史行为信息并不具有完全相同的潜在兴趣意图。例如，某用户的历史查询中包含较多的“牛仔裤”及“迁移学习”，但这两个查询与其对广告的兴趣意图具有不同层次的关联性。“牛仔裤”更有可能是是对“牛仔裤”服饰感兴趣，如果推荐给其“牛仔裤”的广告，其点击的概率较大；而对于查询“迁移学习”，可能用户只想获得与“迁移学习”的相关概念，而并不能认为其对“迁移学习”的广告感兴趣，何况几乎不存在关于“迁移学习”的广告。

综上，本方法提出一种基于迁移学习的在线广告受众排序方法，该方法基于排序学习模型并根据用户对广告的潜在相关性对广告受众进行排序。与传统的行为定向假设不同，本方法假设用户历史行为与用户对广告的潜在兴趣是两个不同的域，存在于不同的特征空间内。通过定义一个转换矩阵建立两个域之间的关系，并提出一种改进的BM25相关性算法——TransferBM25用以减少非相关查询的影响。通过实验表明，本方法提出在线广告受众排序方法是有效的，并且在相同的学习排序模型下，引入迁移知识的TransferBM25在广告点击率提升方面优于传统的BM25相关性算法。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提出一种基于迁移学习的在线广告受众排序方法。首先，该方法提出基于排序学习模型，并按用户对广告的潜在相关性对广告受众进行排序。其次，与传统的行为定向假设不同，该方法假设用户历史行为与用户对广告的潜在偏好是两个不同的域，存在于不同的特征空间内。通过定义一个转换矩阵建立两个域之间的关系，并提出一个改进BM25相关性计算算法——TransferBM25，在刻画广告与用户之间的相关性的同时，减少非相关历史行为的影响。最后，该方法提出评价受众排序效果的指标，以验证本方法的正确性与有效性。

本发明解决其技术问题所采用的技术方案：一种基于迁移学习的在线广告受众排序方法，包括数据预处理、特征抽取、模型训练、效果评测四部分。

数据预处理过程如下：

1.抽取广告标题及其描述信息；

2.从互联网历史日志中，抽取用户长期的搜索引擎查询信息，并将其聚合在一起；

特征抽取过程如下：

1.提出引入迁移知识的改进BM25算法——TransferBM25，用于计算广告与用户的相关性分数；

2.计算用于排序学习模型训练的特征值；

模型训练过程如下：

1.采用基于pairwise的SVM Ranking排序学习模型进行训练；

实验评测过程如下：

1.提出用于受众排序效果评价的指标；

2.基于训练后的最优模型对测试数据集中的受众进行排序并对其效果进行评测；

本发明与现有技术相比所具有的优点是：

1.本发明所述的基于迁移学习的在线广告受众排序方法，基于排序学习模型按用户对广告的潜在相关性对广告受众进行排序，使得排序靠前的用户具有更高的广告点击概率，从而广告主能够有效利用预算，选择靠前的固定数量的用户进行广告投放，获得更好的广告收益。

2.本发明所述的基于迁移学习的在线广告受众排序方法，与传统的行为定向假设不同，提出用户历史行为与用户对广告的潜在偏好是两个不同的域，存在于不同的特征空间内的假设，并根据该假设提出引入迁移知识的改进BM25相关性算法——TransferBM25，将用户历史行为作为辅助域知识迁移到用户对广告的潜在兴趣的目标域，从而减少非相关查询的影响，帮助排序算法更好地刻画用户对广告的相关性特征。通过实验表明，广告受众通过本方法进行排序后，排序靠前的用户具有更高的广告点击率，且引入迁移知识的TransferBM25算法比传统的BM25算法在该问题上有更好的效果提升。

附图说明

图1为本发明方法整体框架结构图；

图2为同一排序模型下，TransferBM25与BM25在指标CTR N ％_a下的对比示意图；

图3为同一排序模型下，TransferBM25与BM25在指标Impr10_a下的对比示意图。

具体实施方式

本发明的基于迁移学习的在线广告受众排序方法的整体流程图如图1所示。整体流程包括数据预处理、特征抽取、模型训练、效果评测四部分。

(一)数据预处理

1.抽取广告标题与描述信息

在线广告通常提供广告标题和广告描述来呈现广告的具体内容，广告描述比较于广告标题是对广告内容更详尽的表达。广告标题属于简练的短文本信息，广告描述属于详细的长文本信息。本方法通过对广告标题与描述信息的抽取、分词，并用向量空间模型中的词袋模型来表征一幅在线广告。

2.从互联网历史日志中，抽取用户长期的搜索引擎查询信息，并将其聚合在一起在互联网使用场景下，用户搜索查询行为大多发生在搜索引擎上，用户的历史查询内容与用户的兴趣意图有很强的关联，本方法通过对用户的长期历史查询内容进行合并汇总、分词，并用向量空间模型中的词袋模型来表示某一用户。

(二)特征抽取

1.提出引入迁移知识的改进BM25算法——TransferBM25，用于计算广告与用户的相关性分数

受众排序的主要目标是广告受众经过排序后，使得排名靠前的用户对广告具有更高的点击概率。因此，直接的想法是基于用户的历史广告点击行为去反映他们对广告的偏好。然而，在真实的应用场景中，用户的广告点击行为是非常稀疏的，很多用户从未点击过广告，因此传统的解决方法是基于用户的其他历史行为，如浏览内容、搜索查询等做了一个权衡。尽管这些历史行为与他们对广告的偏好有很强的关联性，但是它们不能完全准确的反映其对广告的潜在意图。如，搜索“牛仔裤”比搜索“迁移学习”具有更强的广告偏好暗示。

“翻译学习”是迁移学习中的一种，其通过定义一个转换矩阵，将辅助域“翻译”到目标域，从而建立两个特征域空间的关系。本方法基于迁移学习的思想，定义R(a|q)来表示查询q与广告a的相关性，其表达式为：

对于与广告相关性很差的查询，使用次数多，而召回的广告少，因此R(a|q)分值会很低；而对于与广告相关性较强的查询而言，R(a|q)则会得到较高的分值。本方法定义转换矩阵T[i,j]＝R(a_j|q_i)，则引入迁移知识的用户查询矩阵为U_transfer＝U_query*T，其中U_query为原始用户查询矩阵。

相关性特征是排序模型中最主要的特征，其需要计算广告自身信息与用户历史行为信息间的相关度分数，在信息检索领域主要用于计算相关性分数的方法为BM25算法，通过前面的分析，本方法将某一用户对应的历史查询信息U看作为文档，将某一广告A相应描述信息Q看作为查询，并引入本方法提出的迁移转换矩阵T[i,j]，提出一个改进的BM25算法——transferBM25，用于刻画广告与用户间的相关性。

对于给定的广告A，用户U以及包含关键词q₁...q_n的广告查询Q，TransferBM25定义为：

$\mathrm{TransferBM}25(A,U,Q)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{IDF}\left(q_i\right)*R\left(A\right|q_i)*\frac{f(q_i,U)*(k+1)}{f(q_i,U)+k*(1-b+b*\frac{\left|U\right|}{\mathrm{avgdl}})}$

其中f(q_i,U)为q_i在用户历史查询U中出现的词频，其计算方法为f(q_i,U)＝|q_i|/|q∈U|，|U|为用户历史查询中包含的关键词个数，avgl为用户集合中所有用户历史查询中平均包含的关键词个数。k与b为调节参数。R(A|q_i)与前文定义相同，表示查询q_i对广告A的相关度分值。IDF(q_i)为对q_i的反文档频率，其通常计算的方法如下：

$\left(q_i\right)=\log \frac{N-n\left(q_i\right)+0.5}{n\left(q_i\right)+0.5}$

其中N为用户集合中包含的用户个数，n(q_i)为包含查询词q_i的用户个数。

TransferBM25不仅能够反应出广告与用户间的相关性，而且通过引入迁移知识可以减少非相关性查询对相关性分数的影响。

2.计算用于排序学习模型训练的特征值

对于本方法所述的在线广告受众排序算法而言，本方法需要提取三方面的特征：广告自身特征，用户行为特征以及广告与用户间联合特征。目前的在线广告大多以两种方式呈现，一种为多媒体形式的展示广告，另一种为文本形式的搜索广告，两种广告均包含对于该广告的标题信息以及详细描述信息，其中标题信息是对广告描述信息更加精炼的表达。对于互联网用户而言，包含网页浏览以及搜索查询行为，而搜索查询行为一般比网页浏览内容具有更强的用户意图描述。本方法抽取广告标题和描述两种文本信息作为对广告的特征描述A，抽取用户搜索查询行为作为对用户的特征描述U。此类特征称为基础特征，且建模方法采用基于词袋(Bag of words)的向量空间建模，对广告及用户的文本描述进行分词，并去除过高频词及过低频词，最后采用基于词频-反文档频率(TD-IDF)的加权技术评估词对于该文本以及训练文本集的重要程度。基于广告A和用户U的基础特征，提取两者间的关联特征，主要包含两种：一种为低层次的相关性分数特征，其特征计算方法采用本方法提出的TransferBM25算法；另外一种为高层次的相似度特征，其特征计算方法采用话题模型LDA的在话题空间中余弦相似度。综上，本方法主要提取表1所列特征用于排序学习训练。

表格1  用于模型训练的特征数据

(三)模型训练

本方法将受众排序问题看作是一种排序学习问题，与信息检索中的文档搜索类似，将广告a看作是查询，用户u看作是文档，并按照两者间的相关性用广告去检索出相关用户集。并且，将用户u对广告a的行为看作是相关性标签，定义l＝1表示用户u点击了广告a，l＝0表示用户u浏览但是没有点击。根据相关性标签，生成所有用户对＜u₁,u₂＞表示用户u₁相对用户u₂对广告的偏好程度。其中用户u用于从用户历史行为抽取的特征向量x表示，受众排序旨在按照排序分数f(x)＝η^Tx对用户进行排序，其中η是特征权重向量。对于一组广告，如果两个用户u_i和u_j都浏览了这个广告，但是u_i点击了这些广告，而用户u_j并没有，则认为u_i比u_j对这组广告更加感兴趣。我们定义(u_i,u_j)为一个偏序对，且为每个偏序对赋予一个置信度值c_i,j。c_i,j用于表示表征u_i比u_j对这组广告感兴趣程度的置信度，其被定义为：

$c_{i,j}=\frac{\mathrm{clic}{k}_i}{\mathrm{impre}{s}_i}*\mathrm{\σ}\left(\mathrm{impre}{s}_j\right)$

其中，click_i和impres_i分别为用户i在该组广告中点击与浏览的次数。σ(.)为Sigmoid函数impres_j为用户j在该组广告中浏览的次数。

定义U为所有用户集合，C为点击了广告的用户集合，那么训练集P可以形式化定义为：

P＝{(u_i,u_j,c_i,j)|u_i∈C,u_j∈U-C}

Pairwise是排序学习模型中的一种，其排序目标是最小化期望经验风险，即所有训练对的平均损失。并采用正则化方法避免过拟合问题。最后问题可形式化的表示为最小化如下目标函数：

${\min }_{\mathrm{\η}}L(\mathrm{\η},P)+C{\left|\right|\mathrm{\η}\left|\right|}_2^2$

其中，L(η,P)是在训练数据集P中所有偏序对的经验风险：

$L(\mathrm{\η},P)=\frac{1}{\left|P\right|}{\mathrm{\Σ}}_{(u_i,u_j)\∈P}l(f(\mathrm{\η},x_i),f(\mathrm{\η},x_j))$

其中l(.,.)为定义在偏序对上的损失函数，f(η,x_i)＝η^Tx_i是预测函数，其中η为相应的特征权重向量。项为L2正则项用于防止模型过于复杂，产生过拟合现象。本方法选取pairwise排序学习模型中被广泛应用的SVM ranking模型进行训练。

(四)效果评测

1.提出用于受众排序效果评价的指标

本方法采用KDD Cup 2012 track2的用于广告点击率预测数据集。该份数据收集自腾讯公司的soso搜索引擎日志，共包含155750158条记录，用户每次会话(session)可能会有多个广告展现，来自多个会话中的同样的广告在同样的上下文基础上被聚合为一个实例。每个实例可以看作是一个向量，主要包含广告点击次数、广告展示次数、广告URL、广告ID、深度、查询ID及对应查询词、关键词、广告标题信息、广告描述信息、用户ID等。本方法从该份数据集中抽取被频繁点击的5000个广告及其对应的702168用户数据进行实验，且对于每个广告其平均点击率CTR_avg统计值在0.011±0.005范围内。此外，需要对实验数据进行预处理，首先对每个广告抽取其广告标题及描述信息，对每个用户抽取其所有的查询词记录并进行聚合，作为用户的表征信息；然后用步骤二中所述方法对广告及用户进行特征建模；最后本方法通过K折交叉验证法进行实验，即首先随机地将数据集切分为K个互不相交的大小相同的子集，然后利用K-1个子集的数据训练模型，利用余下的子集测试模型；由于该方法共有K种可能性组合，将该过程重复进行K次，最后选出K次评测中平均误差最小的模型作为最后的输出模型。在本实验当中，我们取K＝5，即随机抽取4000个广告及其对应的用户集作为训练集数据，其余广告及其相应用户集作为测试集数据的方案进行实验。

为验证受众排序的正确性与有效性，使最终的排序结果能够有效地反应出排序靠前的用户会具有更高的广告点击率，本方法采用两种评价指标。首先，对于给定广告a，定义：

${\mathrm{CTR}}_{a,u}=\frac{{\mathrm{Click}}_{a,u}+{\mathrm{\α}}_a}{\mathrm{Impressi}{\mathrm{on}}_{a,u}+{\mathrm{\β}}_a}$

其中CTR N ％_a用来表示排序在前N％的用户的平均点击率，CTR_a,u表示用户u的对于广告a的点击率，其中Click_a,u为用户u对广告a的点击次数，Im pression_a,u为用户u对广告a的浏览次数，α_a和β_a别为基于先验统计的所有用户对广告a的平均点击次数与平均广告展现次数。其次，本方法定义：

$\mathrm{Impr}{10}_a\frac{\mathrm{CTR}{10}_a-\mathrm{CTR}{100}_a}{\mathrm{CTR}{100}_a}$

表示排序靠前10％数量的用户对广告a的点击率相比所有用户平均点击率的提升程度。

2.基于训练后的最优模型对测试数据集中的受众进行排序并对其效果进行评测

本节将采用本方法所提出的引进迁移知识的TransferBM25算法作为提取广告A和用户U的相关度分数的计算方法，并与使用传统的OkapiBM25算法进行对比。两者分别在同一SVM Ranking排序学习模型下对待训练数据进行训练，最终分别收敛于最优求解模型ω_T和ω_O。在测试集的广告中，对于同一广告A对应的用户集合U中的每一个用户x_u按照f(x)＝ω*x_u作为权重进行降序排列，得到最终的受众排序结果。

为验证基于TransferBM25算法得到的ω_T模型的有效性和正确性，本节基于上节所述的两种评价指标对ω_T和ω_O进行对比，其中基于TransferBM25与基于OkapiBM25相关性特征提取算法的受众排序结果在评价指标CTR N ％_a下的对比结果如图2所示。

将测试集中的1000个广告按照基于模型ω_O的点击率提升程度指标Impr10_a的值进行降序排列，并均匀分到个50组。然后，对每组中广告分别求基于模型ω_T和模型ω_O对应的Impr10_a平均值，其分布情况如图3所示。通过图3可以看出，所有组内的Impr10_a均值均大于0，证明排序后的前10％的用户其点击率相对于总体点击率均有提升，且平均提升值在2.6左右，甚至对于某些提升效果好的广告而言可以达到4.5左右。此外，除个别组以外，近90％以上的广告组，其采用的模型ω_T的排序效果在点击率提升程度方面要优于模型ω_O。

通过以上实验结果可以看出，用户经过受众排序模型排序后，排名靠前的用户具有更高的广告点击率，证明本方法所提出的受众排序模型是有效的，且引入迁移知识的TransferBM25受众排序模型优于传统的基于OkapiBM25的受众排序模型。

Claims (5)

1.一种基于迁移学习的在线广告受众排序方法，其特征在于，包括如下步骤：数据预处理、特征抽取、模型训练和效果评测；

步骤一：数据预处理过程如下：

1)抽取广告标题及其描述信息；

2)从互联网历史日志中，抽取用户长期的搜索引擎查询信息，并将其聚合在一起；

步骤二：特征抽取过程如下：

1)提出引入迁移知识的改进BM25算法——TransferBM25，用于计算广告与用户的相关性分数；

2)计算用于排序学习模型训练的特征值；

步骤三：模型训练过程如下：

1)采用基于Pairwise的SVM Ranking排序学习模型进行训练；

步骤四：实验评测过程如下：

1)提出用于受众排序效果评价的指标；

2)基于训练后的最优模型对测试数据集中的受众进行排序并对其效果进行评测。

2.根据权利要求1所述的基于迁移学习的在线广告受众排序方法，其特征在于步骤二：假设用户历史行为域与其对广告的偏好域在不同特征空间里，并通过定义相关性转换矩阵建立两者的关系，以减少非相关用户历史行为信息对其广告偏好的影响，定义R(a|q)来表示查询q与广告a的相关性，其表达式为：

对于与广告相关性很差的查询，使用次数多，而召回的广告少，因此R(a|q)分值会很低；而对于与广告相关性较强的查询而言，R(a|q)则会得到较高的分值；定义转换矩阵T[i,j]＝R(a_j|q_i)，则引入迁移知识的用户查询矩阵为U_transfer＝U_query*T，其中U_query为原始用户查询矩阵。

3.根据权利要求2所述的基于迁移学习的在线广告受众排序方法，其特征在于：步骤二中所述的TransferBM25方法如下：

对于给定的广告A，用户U以及包含关键词q₁...q_n的广告查询Q，TransferBM25定义为：

$\mathrm{TransferBM}25(A,U,Q)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{IDF}\left(q_i\right)*R\left(A\right|q_i)*\frac{f(q_i,U)*(k+1)}{f(q_i,U)+k*(1-b+b*\frac{\left|U\right|}{\mathrm{avgdl}})}$

其中f(q_i,U)为q_i在用户历史查询U中出现的词频，其计算方法为f(q_i,U)＝|q_i|/|q∈U|，|U|为用户历史查询中包含的关键词个数，avgl为用户集合中所有用户历史查询中平均包含的关键词个数，k与b为调节参数。R(A|q_i)表示查询q_i对广告A的相关度分值；IDF(q_i)为对q_i的反文档频率，其计算的方法如下：

$\mathrm{IDF}\left(q_i\right)=\log \frac{N-n\left(q_i\right)+0.5}{n\left(q_i\right)+0.5}$

其中N为用户集合中包含的用户个数，n(q_i)为包含查询词q_i的用户个数。

4.根据权利要求1所述的基于迁移学习的在线广告受众排序方法，其特征在于：步骤三：与信息检索中的文档搜索类似，将广告a看作是查询，用户u看作是文档，并按照两者间的相关性用广告去检索出相关用户集；将用户u对广告a的行为看作是相关性标签；定义l＝1表示用户u点击了广告a，l＝0表示用户u浏览但是没有点击；根据相关性标签，生成所有用户对＜u₁,u₂＞表示用户u₁相对用户u₂对广告的偏好程度；并根据基于pairwise的SVM ranking排序学习模型进行训练。

5.根据权利要求1所述的基于迁移学习的在线广告受众排序方法，其特征在于：提出两种用于评价受众排序效果的指标；首先，对于给定广告a，定义：

${\mathrm{CTR}}_{a,u}=\frac{{\mathrm{Click}}_{a,u}+{\mathrm{\α}}_a}{\mathrm{Im}{\mathrm{pression}}_{a,u}+{\mathrm{\β}}_a}$

其中CTRN％_a用来表示排序在前N％的用户的平均点击率，CTR_a,u表示用户u对于广告a的点击率，其中Click_a,u为用户u对广告a的点击次数，Im pression_a,u为用户u对广告a的浏览次数，α_a和β_a别为基于先验统计的所有用户对广告a的平均点击次数与平均广告展现次数；其次，定义：

${\mathrm{Impr}10\%}_a=\frac{{\mathrm{CTR}10\%}_a-{\mathrm{CTR}100\%}_a}{{\mathrm{CTR}100\%}_a}$

表示排序靠前10％数量的用户对广告a的点击率相比所有用户平均点击率的提升程度。