CN103996088A - 基于多维特征组合逻辑回归的广告点击率预测方法 - Google Patents

Abstract

本发明公开了一种基于多维特征组合逻辑回归的广告点击率预测方法，包括步骤：S1、从已获取的点击率数据中分别提取用户层次、媒体层次和广告层次的层次结构的特征信息；S2、对户层次、媒体层次和广告层次的层次结构的特征信息进行多维组合，将特征信息中的一维特征信息进行三三组合得到三维特征组合，构成由三维特征信息组合的特征向量，以表示用户聚类；S3、重复S2，得到由三维特征信息组合的特征向量的学习集；S4、将S3中得到学习集进行训练和测试逻辑回归模型，用以预测广告点击率。

Description

基于多维特征组合逻辑回归的广告点击率预测方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于多维特征组合逻辑回归的广告点击率预测方法。 

背景技术

计算广告是在目前需求环境下兴起的一个分支学科，是根据给定用户和网页内容通过计算得到与之最匹配的广告并进行精准定向投放的一种广告投放机制。互联网计算广告产业链中包含三类基本角色：广告主(Advertiser)、广告媒体(Publisher)、用户(User)。其中广告主希望通过向有效用户投放合适的广告来提高用户购买商品或是网站注册等行为的可能性，从而获取最优的宣传效果；用户希望看到有用的广告信息而不是骚扰信息；发布者则可通过发布广告获取应有的版面利润，因此在三方利益交互过程中，广告点击率(Click Through Rate,CTR)是三方获取利益的重要核心和平衡点，是精准投放广告、最大化广告主、用户利益的重要环节。 

逻辑回归(Logistic Regression)模型是用于预测二进制分类结果的分类模型，被广泛应用在诸多领域，适用于响应变量是二分类(0/1)变量的情况，其目标是对响应变量取二值之一的概率建模，而不是直接预测其取值。逻辑回归模型能够很好地描述0/1概率问题，因此可以用于广告点击率模型。所谓点击率模型是用来量化点击事件的数据指标，点击率模型的建立包括不同的用户、广告以及网页特征信息，而这些特征信息正是造成广告点击率差异的原因，通过已有的信息数据训练出逻辑回归模型参数，去预估广告CTR。 

逻辑回归模型因其能够拟合广告点击发生事件常被应用到广告点击率预测中，预测结果受到多方面因素的影响，然而传统的一维特征向量模型训练得出的预测模型有效性不佳，通过预测模型计算得到的广告点击率不可靠。 

发明内容

本发明针对现有技术存在的上述不足，提供了一种基于多维特征组合逻辑回归的广告点击率预测方法，本发明通过以下技术方案实现： 

一种基于多维特征组合逻辑回归的广告点击率预测方法，包括步骤： 

S1、从已获取的点击率数据中分别提取用户层次、媒体层次和广告层次的层次结构的特征信息； 

S2、对户层次、媒体层次和广告层次的层次结构的特征信息进行多维组合，将特征信息中的一维特征信息进行三三组合得到三维特征组合，构成包括三维特征信息组合的特征向量，以表示用户聚类； 

S3、重复S2，得到包括三维特征信息组合的特征向量的学习集； 

S4、将S3中得到学习集进行训练和测试逻辑回归模型，用以预测广告点击率。 

较佳的，步骤S4中将学习集中的80％用以训练逻辑回归模型，20％用以测试逻辑回归模型。 

较佳的，步骤S4中逻辑回归模型为： 

$P(Y=1|x)=\mathrm{\π}\left(x\right)=\frac{1}{1+e^{-g\left(x\right)}};$

其中g(x)＝β₀+β₁x₁+β₂x₂+...+β_kx_k，β＝(β₀,β₁,...,β_k)^T是逻辑回归模型参数，定义不发生事件的条件概率为： 

$P(Y=0|x)=1-P(Y=1|x)=1-\frac{1}{1+e^{-g\left(x\right)}}=1+\frac{1}{1+e^{-g\left(x\right)}};$

其中y＝1|0分别表示点击与不点击，假设有N个观测值构成的总体Y1，Y2，…，YN，从中随机抽取了n个作为样本，标注为y1，y2，…，yn，假定pi＝P(yi＝1|xi)为给定条件下得到yi＝1的条件概率，而在同样条件下yi＝0的条件概率为P(yi＝0|xi)＝1-pi，得到一个观测值的概率为： 

P(yi)＝pi^yi(1-pi)^1-yi； 

各项观测值相互独立，他们的联合分布可以表示为各边际分布的乘积： 

$l\left(\mathrm{\β}\right)={\mathrm{\Π}}_{i=1}^n{\mathrm{pi}}^{\mathrm{yi}}{(1-\mathrm{pi})}^{1-\mathrm{yi}};$

式中n即n个观测值，求出似然函数的值最大的参数估计，以求出参数β＝(β₀,β₁,...,β_k)，使上式取得最大值，并对其两边取对数得到： 

$L\left(\mathrm{\β}\right)={\mathrm{\Σ}}_{i=1}^n[\mathrm{yi}\·\ln \left(\mathrm{\π}\left(\mathrm{xi}\right)\right)+(1-\mathrm{yi})\ln (1-\mathrm{\π}\left(\mathrm{xi}\right))];$

求解出让概率取得最大值的逻辑回归模型参数向量β，代入上式，得到广告点击率预测值： 

$\mathrm{CTR}=f(x,\mathrm{\β})=\frac{1}{1+e^{-{\mathrm{\β}}^{t}x}};$

x即由一维征、二维、三维三种特征信息组合的特征向量。 

较佳的，步骤S3中还包括：对每一包括三维特征信息组合的特征向量赋予一ID，学习集内的对每一包括三维特征信息组合的特征向量的ID连续。 

本发明采用多维组合特征向量能够训练出预测性较好的逻辑回归模型，能够算出更加准确的广告点击率预测值，从而最大化广告主与互联网用户的商业利益。 

附图说明

图1所示的是本发明提取的层次结构的特征信息示意图； 

图2所示的是本发明对层次结构的特征信息进行多维组合的一示意图； 

图3所示的是本发明对层次结构的特征信息进行多维组合的另一示意图； 

图4所示的是三种维度训练模型的AUC指标对比的示意图； 

图5所示的是三种维度训练模型的RMSE指标对比的示意图； 

图6所示的是三种维度训练模型的oe指标对比的示意图。 

具体实施方式

以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。 

为了便于对本发明实施例的理解，下面将结合附图以具体实施例为例作进一步的解释说明，且各个实施例不构成对本发明实施例的限定。 

应用逻辑回归模型进行预测主要分为两个步骤[2]，首先是运用训练及构建逻辑回归模型，即通过机器学习得到逻辑回归模型中的重要特征向量参数β，然后再针对测试集套用参数模型公式对其进行预测。考虑k个独立变量的向量x＝(x1,x2,…xk)，假设条件概率P(Y＝1|X)＝p为根据观测量相对于某事件发生的概率(广告点击事件)。逻辑回归模型可表示为 

其中g(x)＝β₀+β₁x₁+β₂x₂+...+β_kx_k，β＝(β₀,β₁,...,β_k)^T是逻辑回归模型参数，e表示exp，即以自然常数e为底的指数函数，定义不发生事件的条件概率为 

构建逻辑回归模型的目的是为了计算出逻辑回归方程中的参数。其中，y＝1|0，分别表示点击与不点击，假设有N个观测值构成的总体Y1，Y2，…，YN。从中随机抽取了n个作为样本，标注为y1，y2，…，yn。假定pi＝P(yi＝1|xi)为给定条件下得到yi＝1的条件概率，而在同样条件下yi＝0的条件概率为P(yi＝0|xi)＝1-pi。于是得到一个观测值的概率为： 

因为各项观测值相互独立，他们的联合分布可以表示为各边际分布的乘积： 

上式中为n个观测的似然函数。目标是能够求出是这一似然函数的值最大的参数估计。求最大似然估计的核心就是求出参数β＝(β₀,β₁,...,β_k)，使得上式取得最大值。对公式4两边取对数则得到公式5。 

求解出可以让概率取得最大值的逻辑回归模型参数向量β，代入公式5计算预测CTR值。 

在β的训练和CTR的预测过程中，特征向量x一直是计算的核心参数，x代表CTR预测的各项特征指标，我们可以定义x＝{user,page,ad}。正如背景技术中所述，在实际的逻辑模型训练过程中，采用这些信息作为特征向量存在以下问题： 

1、特征向量的维素xi间耦合度比较低，不能良好的表达事件发生的上下文关系； 

2、面对海量、稀疏的数据通过这些有限的特征向量来训练获得精准的值是非常困难的。 

因此，本发明在后续详细阐述如何从这些信息中形成有效的特征向量。 

在整个广告投放机制中，显性存在的特征信息(日志文件中获取到的属性信息)并不是很丰富，尤其是面对海量、稀疏的数据通过这些有限的特征向量来训练计算获得精准的值是非常困难的。事实上，除了显性的特征信息外，还有很多隐性存在的特征信息是无法用一维特征数据来有效表示的，例如用户在网站中的意图，动作发生的趋势，以及“相似用户”群的行为的联系等等。当用户可以按照一定的方式进行聚类时，那么对用户信息的描述可以由特定的一个人转换为一类人的信息，对于统计模型而言，个体的特征信息是没有说明价值的，而只有聚类后的特征信息才是有意义的数据。 

在特征信息数据中，天然的存在着隐含的层次关系结构。例如一个网页属于一个网站(广告媒体)，而这个网站属于又属于一个网站分类(如购物类、新闻类等)，再如一个广告属于一次广告宣传活动，而这个活动又属于某一个广告主，对用户而言同样有这样的结构存在。那么可以将这样的层次结构用图1来表示。 

特征信息的层次化结构表示可以定义显性存在的和隐形存在的用户群。显性存在的用户群可以通过一组用户特征对每一个用户进行标识性描述(例如，基本信息，地理位置，常用网站类型等等)，对这些用户根据相似性度量，例如欧几里得距离进行聚类，从而获得显性的用户群。另一方面，隐形的用户群是基于层次结构的特征而不是一维的特征信息。举个例子，一组访问明确分类网站的用户，比如运动，可被视为隐形存在的用户群聚类，采用笛卡尔乘积{用户×网站类型}的形式来表示这样的分组。用一维线性的特征向量可以表示基本的数据状态，而二维、三维的特征组合可以表示具有用户聚类以及上下文关系的特征向量。 

为了能够更加有效地表述特征信息并且建立合理的用户聚类，我们在进行逻辑回归模型训练时所采用的特征向量包括了一维、二维、三维的三种特征参数组合方式，也就是公式6中，x＝{x一维，x二维，x三维}，最佳的为使用x＝{x三维，x三维，x三维}，即只要包括有三维特征组合，且越多越好。采用层次化的多维组合特征应用到逻辑回归模型的训练中去，有效地解决了 上述的两个问题。 

本文在大规模日志信息上分别用一维特征、二维、三维特征组合，用逻辑回归算法来训练广告CTR预测模型，并对结果进行对比分析。实验分为三个部分，首先从日志信息中提取有效信息形成训练集，然后是通过训练集来进行逻辑回归算法训练广告CTR预测模型，最后是对训练出的广告CTR预测模型进行测试。实验中的开发语言全部采用Java，因为涉及到大数据量的计算，使用分布式平台Hadoop，实验数据来自某互联网广告公司过去一周真实的日志数据信息。因为训练集的随机抽样，会对实验结果有一定程度的影响，所以为了使实验结果更具说服力，以下进行了五次实验进行结果对比。 

第一步：特征提取。原始日志如图日志中记录了用户ID，URL，网站域名，广告位ID等等。日志中的每一条数据相当于广告的一次次点击。从日志可抽取的一维特征，由一维特征两两组合、三三组合生成二维、三维特征组合，为了方便的表示每一组特征组合，并且为了能使特征组合使用在模型训练中，需要为每一个组合特征赋予一个ID，组合特征是采用连续的ID来表示的。如图2、3所示。 

第二步：生成学习集。 

第三步：CTR预测过程中基于逻辑回归的模型训练。本阶段的实验中分别通过采用一维、二维、三维特征组合进行特征提取。学习集随机的按照8:2分开，80％的用于训练模型，20％的用于测试模型。 

整个实验过程的伪代码如下。 

实验结果： 

(1)AUC指标。在计算广告学中，AUC(Area Under Curve)经常用于统计ROC(Receiver Operating Characteristics常被用于模式识别、分类器的结果展现和性能评测)曲线的面积，用来量化评估逻辑回归模型的质量。AUC在0-1之间，越大表示模型的预测性越好。训练好模型之后，用测试集代入到模型之中，计算CTR预测值并将其代入计算AUC。AUC越高，表示预测值越接近真实值。从实验得出，采用多维特征组合比用一维特征组合训练出的模型有明显的AUC指标的提升。实验结果如图4所示。 

(2)RMSE指标。RMSE(root-mean-square error)表示均方根误差，表示样本离散程度。五次实验中，从结果可以看出，采用三维特征训练的模型rmse比较小而且趋于平稳，说明三维模型效果最好。实验结果如图5所示。 

(3)点击数的观察值与期望值的比例。观察点击数(observation click)与期望点击数(expected click)的比例，简称oe。在广告CTR预测的实际运用中，广告点击的观察值越接近于期望值，即oe越接近于1，说明模型预测性越好。结果可得出，采用三维特征模型的oe值最接近于1，说明该模型效果最好。实验结果如图6所示。 

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。 

Claims (4)

1.一种基于多维特征组合逻辑回归的广告点击率预测方法，其特征在于，包括步骤：

S1、从已获取的点击率数据中分别提取用户层次、媒体层次和广告层次的层次结构的特征信息；

S2、对户层次、媒体层次和广告层次的层次结构的特征信息进行多维组合，将特征信息中的一维特征信息进行三三组合得到三维特征组合，构成包括三维特征信息组合的特征向量，以表示用户聚类；

S3、重复S2，得到包括三维特征信息组合的特征向量的学习集；

S4、将S3中得到学习集进行训练和测试逻辑回归模型，用以预测广告点击率。

2.根据权利要求1所述的基于多维特征组合逻辑回归的广告点击率预测方法，其特征在于，步骤S4中将学习集中的80％用以训练逻辑回归模型，20％用以测试逻辑回归模型。

3.根据权利要求1所述的基于多维特征组合逻辑回归的广告点击率预测方法，其特征在于，步骤S4中所述逻辑回归模型为：

$P(Y=1|x)=\mathrm{\π}\left(x\right)=\frac{1}{1+e^{-g\left(x\right)}};$

其中g(x)＝β₀+β₁x₁+β₂x₂+...+β_kx_k，β＝(β₀,β₁,...,β_k)^T是逻辑回归模型参数，定义不发生事件的条件概率为：

$P(Y=0|x)=1-P(Y=1|x)=1-\frac{1}{1+e^{-g\left(x\right)}}=1+\frac{1}{1+e^{-g\left(x\right)}};$

其中y＝1|0分别表示点击与不点击，假设有N个观测值构成的总体Y1，Y2，…，YN，从中随机抽取了n个作为样本，标注为y1，y2，…，yn，假定pi＝P(yi＝1|xi)为给定条件下得到yi＝1的条件概率，而在同样条件下yi＝0的条件概率为P(yi＝0|xi)＝1-pi，得到一个观测值的概率为：

P(yi)＝pi^yi(1-pi)^1-yi；

各项观测值相互独立，他们的联合分布可以表示为各边际分布的乘积：

$l\left(\mathrm{\β}\right)={\mathrm{\Π}}_{i=1}^n{\mathrm{pi}}^{\mathrm{yi}}{(1-\mathrm{pi})}^{1-\mathrm{yi}};$

式中n即n个观测值，求出似然函数的值最大的参数估计，以求出参数β＝(β₀,β₁,...,β_k)，使上式取得最大值，并对其两边取对数得到：

$L\left(\mathrm{\β}\right)={\mathrm{\Σ}}_{i=1}^n[\mathrm{yi}\·\ln \left(\mathrm{\π}\left(\mathrm{xi}\right)\right)+(1-\mathrm{yi})\ln (1-\mathrm{\π}\left(\mathrm{xi}\right))];$

求解出让概率取得最大值的逻辑回归模型参数向量β，代入上式，得到广告点击率预测值：

$\mathrm{CTR}=f(x,\mathrm{\β})=\frac{1}{1+e^{-{\mathrm{\β}}^{t}x}};$

x即所述由三维特征信息组合的特征向量。

4.根据权利要求1所述的基于多维特征组合逻辑回归的广告点击率预测方法，其特征在于，步骤S3中还包括：对每一包括三维特征信息组合的特征向量赋予一ID，学习集内的对每一包括三维特征信息组合的特征向量的ID连续。