CN103310003A

CN103310003A - 一种基于点击日志的新广告点击率预测方法及系统

Info

Publication number: CN103310003A
Application number: CN2013102678132A
Authority: CN
Inventors: 伍顺敏; 纪文迪; 王晓玲; 何晓丰; 周傲英
Original assignee: East China Normal University
Current assignee: East China Normal University
Priority date: 2013-06-28
Filing date: 2013-06-28
Publication date: 2013-09-18

Abstract

本发明公开了一种基于点击日志的新广告点击率预测方法及系统，该方法包括以下步骤:特征抽取步骤，通过对点击日志进行自动分析，抽取出有意义的特征后对其生成待用数据文件，通过所述数据文件将点击日志转化为可用于训练的结构化文档；模型训练步骤，用逻辑回归对所述结构化文档进行机器学习，得到预测模型；点击率预测步骤，根据候选待预测广告是否为新广告，对其选用不同方法预测出其点击率。本发明的方法提供了完整的点击日志分析方法，减少了人工代价；所提出的预测方法能够针对无历史数据的新广告根据其自身性质给出其潜在点击率，使得此类广告能得到更精准的投放。

Description

一种基于点击日志的新广告点击率预测方法及系统

技术领域

本发明涉及信息检索和机器学习技术领域，具体地说是一种基于点击日志的新广告点击率预测方法及系统。

背景技术

互联网的快速发展，给人们带来了爆炸式的信息，每天人们在互联网上的点击行为都会带来许多点击日志，这些点击日志包含许多有用的特征可用来预测点击率，但是传统的方法包含了太多人工，从中挖掘出有用的信息代价很大。

对于搜索引擎和一些互联网广告投放公司来说，能按照用户提交的查询检索出匹配的信息文档和适合的广告并不是最重要的，更重要的是如何将这些查询结果以一种更优化的顺序呈现给用户。因为用户总是偏向于点击最靠前的结果，对于广告更是如此。对广告来说，一种盛行的付费模式，按用户点击次数付费给投放网站使得点击率在文档排序中成为一个重要的因素。

影响用户点击一个广告或是文档的因素有很多，用户自身的喜好和查询意图是关键因素，如果用户提交了一次较模糊的查询，搜索引擎并不能理解用户的查询意图，此时搜索引擎会根据一些传统方法，如GOOGLE会利用其PageRank算法对网页进行打分，标志其重要性，但这种做法却没有考虑到单用户的需要。而点击率是标志着用户喜好的一个特性，在排序时将其考虑进去会得到更优的结果。

然而对于那些没有历史数据的新广告，由于没有投放数据反馈并且获得市场反响的需要一定周期，一开始往往对其不能精准的投放，会造成用户流失。

发明内容

本发明的目的是为解决上述技术问题而提供的一种基于点击日志的新广告点击率预测方法及系统，该方法大大减少了人工在处理点击日志时所发挥的作用，使得人工代价可以用在更为专业的领域内；同时也大大提高了计算点击率的精确性，并且其适用于预测无历史数据的新广告的潜在点击率，使得新广告在缺乏市场回馈的时候能获得更精准的投放，以便获得更好的收益。

实现本发明目的的具体技术方案是：

一种基于点击日志的新广告点击率预测方法，它包括以下步骤：

特征抽取步骤，通过对点击日志进行自动分析，抽取出有意义的特征后对其生成待用数据文件，通过所述数据文件将点击日志转化为可用于训练的结构化文档；

模型训练步骤，用逻辑回归对所述结构化文档进行机器学习，得到预测模型；

点击率预测步骤，根据候选待预测广告是否为新广告，如果是新广告则通过聚类找到与其相似性最高的一组广告，并将新的特征值设定为这组广告特征的平均值；否则即用训练数据对其进行特征抽取。

所述特征抽取步骤具体包括：

a）根据点击日志数据量大小，去除总曝光次数小于某一阀值的广告记录；

b）针对每一个点击日志中的特征，生成针对每个特征值平均点击率的数据文件；

c）对于每一条广告记录，将其全部特征值替代为所述数据文件中相对应的平均点击率，得到待训练的结构化文档。

所述点击率预测步骤具体包括：

a）判断当前广告记录是否存在历史数据，即判断其是否为新广告；

b）如果广告存在历史数据，则在所述数据文件中查找对应特征值的平均点击率，用其替换原本特征值，而后代入预测模型进行预测；

c）若广告不存在历史数据，则用聚类的方法找出历史数据中与其最相近的一类广告，以此类广告特征的平均点击率作为其特征值。

所述数据文件是以每个特征为单位，记录此特征每个特征值和其平均点击率的结构化文档。

所述数据文件的生成步骤具体包括：

a）对点击日志包含的特征，计算其包含的特征值的平均点击率；

b）判断此特征辨别度是否大于阀值；

c）对于辨别度不够大的特征，用合并算法将特征值合并；

d）重复上述步骤b）和步骤c），直至此特征的辨别度大于阀值，生成数据文件。

所述数据文件生成步骤b）中的辨别度为：

定义D来区分一个特征是否具有辨别度，对于某一特征f，其辨别度D的定义如下式：

式中，N表示特征f具有的特征值的数量，F表示每个特征值的平均点击率，并按降序排列。

所述数据文件生成步骤c）的合并算法具体包括：

a）按曝光次数降序排列特征值；

b）将曝光次数最小的特征值与其曝光次数最接近的特征值合并；

c）更新两者的平均点击率。

所述聚类方法是根据新广告的文本属性特征，采用TF-IDF方法描述新广告与历史数据中广告的相似性，并以此为基础进行聚类。

一种基于点击日志的新广告点击率预测系统，该系统包括：

特征抽取模块，通过对点击日志进行自动分析，抽取出有意义的特征后对其生成待用数据文件，通过所述数据文件将点击日志转化为可用于训练的结构化文档；

模型训练模块，用逻辑回归对所述结构化文档进行机器学习，得到预测模型；

点击率预测模块，根据候选待预测广告是否为新广告，如果是新广告则通过聚类找到与其相似性最高的一组广告，并将新的特征值设定为这组广告特征的平均值；否则即用训练数据对其进行特征抽取。

与现有技术相比，本发明至少存在以下优点：

本发明的方法提供了完整的点击日志分析方法，减少了人工代价；所提出的预测方法能够针对无历史数据的新广告根据其自身性质给出其潜在点击率，使得此类广告能得到更精准的投放。

本发明用的点击日志处理方法和点击率预测方法并不只适用在广告领域，其也可应用至一般的文档检索领域。

附图说明

图1为本发明实施例1处理点击日志的流程图；

图2为本发明实施例2系统结构图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

实施例1

本发明方法包括三阶段，第一阶段为对点击日志进行处理的特征抽取阶段，第二阶段为预测模型的训练阶段，第三阶段为广告点击率预测阶段。

参阅图1，下面详细叙述本实施例第一阶段的具体过程：

步骤1：根据点击日志数据量大小，去除总曝光次数小于某一阀值的广告记录。

具体地，根据对一些数据集的分析，这些点击日志在一定程度上都服从长尾效应，即包含许多在用户前曝光次数不够的广告，所以处理的第一步，应该设定α为阀值，:移除曝光次数低于此阀值的广告。

曝光次数不足使得这些广告样本量太少，计算的平均点击率并不能代表其真实的内在点击率，容易对后续模型训练造成影响，结果会产生偏差。而这些被移除的广告在后续预测阶段会被当作无历史数据的新广告被预测。

步骤2：针对每一个点击日志中的特征，生成针对每个特征值平均点击率的数据文件。

具体的，经过步骤1的初步筛选后，对此点击日志中的包含的特征进行筛选，抽取出具有高辨别度的特征后生成其各自的平均点击率数据文件。其中点击日志的特征通常包含广告点击次数、广告曝光次数，广告ID、广告在网页中所处位置和深度、查询ID和广告的自有属性，包括广告的标题、描述、关键词等。平均点击率的数据文件以如下格式存在，如特征QueryID的文件格式为（QueryID，AvgCTR）。

所述数据文件的生成过程具体包含以下子步骤：

步骤21：对点击日志包含的特征f，根据如下公式计算其包含的特征值的平均点击率。

（1）

其中n为特征f中特征值为F的样本大小，N是点击日志中包含的特征数量。计算得到特征值F的平均点击率。

步骤22：判断此特征辨别度是否大于阀值θ。

根据特征f所包含的所有特征值之间的平均点击率差异大小，通过定义辨别度D，用如下公式来计算此特征是否有足够辨别性：

（2）

其中N表示特征f具有的特征值的数量，F表示每个特征值的平均点击率，并按降序排列。D值越高则说明其辨别度越大，其在训练时所作出的贡献也越大。

具体的，此辨别度的提出是为了能在同一水平上看出待训练特征的重要性。表1中给出了三个特征分别为位置-深度、用户使用的浏览器和广告ID。正如广告的位置和深度信息会在很大程度上影响广告的点击率预测，其辨别度D具有在三个特征中最大的值。

表1 不同特征的辨别度

特征	特征值的数量	辨别度D
			位置-深度	6	18
浏览器	17	17
			广告ID	10000	10

步骤23：对于辨别度不够大的特征，用合并算法将特征值合并。

具体的，此过程是为了使得训练时使用的特征都能有较高的权重。不同特征值平均点击率差别是很大的，平均点击率最小的几乎可以为0。为减少训练时额外的误差并且保证每个特征在模型训练阶段都对提高预测模型正确性有所帮助，提出了一种合并算法，此算法不断进行迭代，将曝光次数最小的特征值F与其曝光次数最接近的特征值合并，直至特征f的辨别度D大于规定的阀值θ，具体算法如下：

1）按F降序排列得到

，按I升序得到

，其中F是特征f的特征值平均点击率向量，I是特征f的曝光次数向量，C是特征f的点击次数向量。

2）计算特征f中的特征值F_2,i的曝光次数是否小于平均值，即：

(3)

其中Total 是特征f的总曝光次数，N为自然数，代表特征f包含的特征值的数量，i为1至N间取值，t是特征值的最小取样率。

3）对于曝光次数未达到平均值的特征值F_i，在f₂中将曝光次数最小的特征值与其曝光次数最接近的特征值合并。

4）计算合并后平均点击率，更新至在f₁中对应F_2,i数据行F_1,k，替换原有平均点击率值，计算方法如下：

F_1,k=(C_1,k+C_2,i)/(I_1,k+I_2,i) (4)

5）返回。

至此，本合并算法结束。

步骤24：重复步骤22和步骤23，直至此特征的辨别度大于阀值，生成数据文件。

步骤3：对于每一条广告记录，将其全部特征值替代为所述数据文件中相对应的平均点击率，得到待训练的结构化文档。

以上步骤1-3为本实施例第一阶段的特征抽取阶段的具体过程，得到了结构化的文档用作后续模型训练的输入。

在第一阶段后，进入第二阶段，即模型训练阶段，此阶段用逻辑回归对第一阶段得到的结构化文档进行机器学习，得到预测模型。

在众多机器学习算法中，逻辑回归是一种高效又表现理想的算法。逻辑回归会充分用到所有的特征练预测模型，不像针对广告展示的推荐方法只考虑用户的行为习惯信息或者信息检索的方法将查询和内容的匹配放在第一位。表2将第一阶段使用的点击日志处理方法与其他方法同样用逻辑回归进行训练的结果做了比较，结果证明本发明所提出的特征抽取方法是最优的。

表2 不同特征抽取方法的结果比较

	验证集上的AUC	测试集上的AUC
			基线	0.5251	0.5110
一般逻辑回归方法	0.8152	0.7888
			本发明所提出的特征抽取方法	0.8406	0.8196

表2中，基线代表使用日志中原本的未经处理的特征值进行训练，一般的逻辑回归方法为针对同一数据集，人工进行特征提取，并运用逻辑回归来训练模型所得出的最好结果。AUC是很好的评价基于预测的分类好坏的指标，用AUC来评价本发明提出的特征抽取方法证明本方法优于其他相关领域的方法。

第三阶段为广告点击率预测阶段，具体包括以下步骤：

步骤1：判断当前广告记录是否存在历史数据，即判断其是否为新广告。

步骤2：如果广告存在历史数据，则在所述数据文件中查找对应特征值的平均点击率，用其替换原本特征值，而后代入模型进行预测。

步骤3：如果广告不存在历史数据，则用聚类的方法找出历史数据中与其最相近的一类广告，以此类广告的平均点击率作为其特征值。

具体的，将如何得出无历史数据广告的内在点击率问题转换成找到与此新广告最相似的集合，即转换成了聚类问题，在此情况下预测的点击率即为所述相似集合中所有广告的平均点击率。一个新广告x的平均点击率y可以下式表示：

（3）

其中n是x属于的聚类Xi 的大小，代表此聚类中第j条广告的平均点击率。

对于新广告来说，即使没有历史数据，也可以根据其自身的一些特征找到与其最相近的一类广告。本发明对所有文本特征计算tf-idf值，用tf-idf矩阵作为聚类模型的输入，运用tf-idf能从文本的内容上进行聚类，以此方法计算出的相似性更为准确。Tf值的计算公式如下：

（4）

其中，广告a有n个文本性质的特征a1，a2…an如关键词，标题，描述等等。

接下来，需要将广告的真实点击率与通过提出的针对新广告的预测方法的结果进行比对，证明提出的聚类方法比一般方法更有效。

表3 点击率预测方法的比较

	一般方法	聚类后
			AUC	0.6158	0.7442

结果如表3所示，本聚类方法的预测效果比一般仅用所有广告的平均点击率代替的方法更优。

由此，本实施例通过三阶段的处理，得到了对无历史数据的新广告的点击率预测。使得新广告在缺乏市场回馈的时候能获得更精准的投放，以便获得更好的收益。

实施例2

图2为本发明系统结构图，下面详述该系统的组成。

该系统包括特征抽取模块、模型训练模块及点击率预测模块。

特征抽取模块，通过对点击日志进行自动分析，抽取出有意义的特征后对其生成待用数据文件，通过所述数据文件将点击日志转化为可用于训练的结构化文档。

模型训练模块，用逻辑回归对所述结构化文档进行机器学习，得到预测模型。

具体的，在用户提交点击日志作为输入后，特征提取作为预处理阶段的步骤在服务器上进行。设定训练数据每个星期更新一次，并且将两个星期内的点击日志作为训练数据，系统会自动在固定时间重新训练数据。

具体的，在运行阶段，系统以预测模型和此阶段提交的待预测广告作为输入，根据其是否拥有历史数据作为判断标准来进行预测的方法选择。最后输出其预测出的点击率。

Claims

1.一种基于点击日志的新广告点击率预测方法，其特征在于，该方法包括以下步骤：

点击率预测步骤，根据候选待预测广告是否为新广告，若是新广告则通过聚类找到与其相似性最高的一组广告，并将新的特征值设定为这组广告特征的平均值；否则即用训练数据对其进行特征抽取。

2.如权利要求1所述的方法，其特征在于，所述特征抽取步骤具体包括：

3.如权利要求1所述的方法，其特征在于，所述点击率预测步骤具体包括：

b）如果广告存在历史数据，则在所述数据文件中查找对应特征值的平均点击率，用其替换原本特征值,而后代入预测模型进行预测；

4.如权利要求1或2所述的方法，其特征在于，所述数据文件是以每个特征为单位，记录此特征每个特征值和其平均点击率的结构化文档。

5.如权利要求1或2所述的方法，其特征在于，所述数据文件的生成步骤具体包括：

b）判断此特征辨别度是否大于阀值；

c）对于辨别度不够大的特征，用合并算法将特征值合并；

d）重复步骤b）和步骤c），直至此特征的辨别度大于阀值，生成数据文件。

6.如权利要求5所述的方法，其特征在于，所述步骤b）中的辨别度为：

Figure 2013102678132100001DEST_PATH_IMAGE001

7.如权利要求5所述的方法，其特征在于，所述步骤c）的合并算法具体包括：

a）按曝光次数降序排列特征值；

c）更新两者的平均点击率。

8.如权利要求3所述的方法，其特征在于，所述聚类方法是根据新广告的文本属性特征，采用TF-IDF方法描述新广告与历史数据中广告的相似性，并以此为基础进行聚类。

9.一种基于点击日志的新广告点击率预测系统，其特征在于该系统包括：

点击率预测模块，根据候选待预测广告是否为新广告，若是新广告则通过聚类找到与其相似性最高的一组广告，并将新的特征值设定为这组广告特征的平均值；否则即用训练数据对其进行特征抽取。