CN108960293A - 基于fm算法的ctr预估方法及系统 - Google Patents

Abstract

本发明提供的基于FM算法的CTR预估方法及系统，该方法在Spark集群对ml包实现FM模型扩展，并对FM模型做降维优化，得到准线性模型；选取待测环境下不同的特征组合，对准线性模型进行模型训练；对不同特征组合的模型训练结果做A/B Test，选取效果最好的特征组合和训练后的准线性模型作为最佳模型，并在HDFS中做持久化；调用最佳模型的准线性模型，根据最佳模型的特征组合选取待测环境下的特征，将选取的特征传入调用的准线性模型中计算，得到CTR预估结果。通过FM模型能自动学习高阶属性的权值，不用通过人工的方式选取特征来做交叉，考虑特征之间的关系，增强了模型的泛化能力，并且适合处理稀疏数据，能够用于对时间要求较高的计算广告方向的CTR预估。

Description

基于FM算法的CTR预估方法及系统

技术领域

本发明属于计算机技术领域，具体涉及基于FM算法的CTR预估方法及系统。

背景技术

CTR(Click-Through-Rate)即点击通过率，是互联网广告常用的术语，指网络广告(图片广告/文字广告/关键词广告/排名广告/视频广告等)的点击到达率，即该广告的实际点击次数除以广告的展现量。CTR预估是互联网主流应用(广告、推荐、搜索等)中的关键技术环节，预估准确性直接影响了互联网产品的用户体验以及收入。在广告行业中，广告点击率预估是程序化广告交易框架的非常重要的组件，点击率预估主要有两大指标：

1.排序指标。排序指标是最基本的指标，排序的好坏决定了我们有没有能力把最合适的广告找出来去呈现给最合适的用户以获取最佳的商业价值。

2.数值指标。数值指标是进一步的指标，是竞价环节进一步优化的基础，该指标由广告投放端决定。如果我们对CTR普遍低估，我们出价会相对保守，从而使得预算花不出去或是花得太慢，从而无法达到广告主的预算；如果我们对CTR普遍高估，我们的出价会相对激进，从而导致CPC太高而达不到广告主预期的效果。

业界针对CTR预估问题大量使用的是广义线性模型LR(Logistic Regression，逻辑回归)+人工特征工程。LR使用了Logit变换将函数值映射到0-1区间，映射后的函数值就是CTR的预估值。LR作为线性模型很容易并行化，可以轻松的处理上亿条训练样本，性能较高。但这种解法存在天然的不足，由于线性模型的学习能力有限，需要引入大量的领域知识来人工设计特征以及特征之间的交叉组合来间接补充算法的非线性学习能力，非常消耗人力和机器资源，且需要大量的经验积累，在不同领域迁移后难以保证预测的效果。

另外，目前业界也有一些效果不错的非线性模型不断被提出来，并被工程实践且取得不错效果，但这些模型都或多或少存在一些不足。比如Kernel方法，因为复杂度太高而不易实现；比如Tree based方法，这个是由Facebook团队在2014年首先提出，有效地解决了LR模型的特征组合问题，但缺点就是仍然是对历史行为的记忆，缺乏推广性。深度神经网络非线性拟合能力足够强，但面对广告这样的大规模工业级稀疏数据，适合数据规律的、具备推广性的网络结构业界依然在探索中，尤其是要做到端到端规模化上线，还需要更多的探索。

发明内容

针对现有技术中的缺陷，本发明提供基于FM算法的CTR预估方法及系统，不用通过人工的方式选取特征来做交叉，能够用于对时间要求较高的计算广告方向的CTR预估。

第一方面，一种基于FM算法的CTR预估方法，包括：

在Spark集群对ml包实现FM模型扩展，并对FM模型做降维优化，得到准线性模型；

选取待测环境下不同的特征组合，对准线性模型进行模型训练；

对不同特征组合的模型训练结果做A/B Test，选取效果最好的特征组合和训练后的准线性模型作为最佳模型，并在HDFS中做持久化；

调用最佳模型的准线性模型，根据最佳模型的特征组合选取待测环境下的特征，将选取的特征传入调用的准线性模型中计算，得到CTR预估结果。

进一步地，所述FM模型的目标函数如下：

二次项参数ω_ij组成一个对称阵W,对称阵W分解为W＝V^TV,V的第j列便是第j维特征的隐向量,每个参数ω_ij＝<v_i,v_j>，因此FM模型可以转化为：

其中ω₀∈R,V∈R^n×k，R为实数，R^n×k为n×k的矩阵，n为样本特征数量，k为隐向量长度，i、j为变量，x_i为第i个特征的值，v_i为x_i的隐向量，ω₀和ω_i为FM模型的参数。

进一步地，所述准线性模型如下：

进一步地，所述待测环境的特征包括联网方式、地域、广告位和/或手机品牌。

第二方面，一种基于FM算法的CTR预估系统，包括：

构建单元：用于在Spark集群对ml包实现FM模型扩展，并对FM模型做降维优化，得到准线性模型；

训练单元：用于选取待测环境下不同的特征组合，对准线性模型进行模型训练；

对比单元：对不同特征组合的模型训练结果做A/B Test，，选取效果最好的特征组合和训练后的准线性模型作为最佳模型，并在HDFS中做持久化；

预估单元：用于调用最佳模型的准线性模型，根据最佳模型的特征组合选取待测环境下的特征，将选取的特征传入调用的准线性模型中计算，得到CTR预估结果。

进一步地，所述FM模型的目标函数如下：

二次项参数ω_ij组成一个对称阵W,对称阵W分解为W＝V^TV,V的第j列便是第j维特征的隐向量,每个参数ω_ij＝<v_i,v_j>，因此FM模型可以转化为：

其中ω₀∈R,V∈R^n×k，R为实数，R^n×k为n×k的矩阵，n为样本特征数量，k为隐向量长度，i、j为变量，x_i为第i个特征的值，v_i为x_i的隐向量，ω₀和ω_i为FM模型的参数。

进一步地，所述准线性模型如下：

进一步地，所述待测环境的特征包括联网方式、地域、广告位和/或手机品牌。

由上述技术方案可知，本发明提供的基于FM算法的CTR预估方法及系统，FM(Factorization Machine)模型能自动学习高阶属性的权值，不用通过人工的方式选取特征来做交叉，考虑特征之间的关系，增强了模型的泛化能力，并且适合处理稀疏数据，能够用于对时间要求较高的计算广告方向的CTR预估。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为实施例一提供的方法流程图。

图2为实施例二提供的系统模块框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例一：

一种基于FM算法的CTR预估方法，参见图1，包括：

S1：在Spark集群对ml包实现FM模型扩展，并对FM模型做降维优化，得到准线性模型；

具体地，Spark集群可用来构建大型的、低延迟的数据分析应用程序。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark是在Scala语言中实现的，它将Scala用作其应用程序框架，而Scala的语言特点也铸就了大部分Spark的成功。

步骤S1参考了Spark实现的机器学习库，使实际的机器学习具有可扩展性和易用性。步骤S1在依托Spark实现FM算法的同时，考虑了Spark官方推荐实现DataFrame的API而非RDD的API，这是因为DataFrames提供比RDD更友好的API、Tungsten、Catalyst优化以及跨语言的统一API。在扩展时对Spark原org.apache.spark.ml包做了FM算法的扩展。

该步骤考虑到做大规模的数据训练集和特征工程时，需要反复使用FM算法训练模型，故在实现中依托Spark框架，实现可以在大规模数据集的情况下高效的做模型训练，将资源利用最大化，得以在工程中快速实践并运用到生产中。

S2：选取待测环境下不同的特征组合，对准线性模型进行模型训练；

具体地，将特征组合和相关的超参数传入准线性模型进行模型训练。待测环境属于数据稀疏的场景，所述待测环境的特征包括联网方式、地域、广告位和/或手机品牌。针对数据稀疏的场景选取FM算法，相比其他算法具有绝对的优势。

S3：对不同特征组合的模型训练结果做A/B Test，选取效果最好的特征组合和训练后的准线性模型作为最佳模型，并在HDFS中做持久化；

具体地，A/B Test为显著性检验，在评估效果最好时，可以使用AUC或者相对熵去判断预估效果。AUC的值越大，当前的分类算法越有可能将正样本排在负样本前面，即能够更好的分类；相对熵的值越大，代表真实分布和近似分布的差异越大，反之越小。

具体地，FM算法相对于LR算法，不需要做联合特征，在特征选取中可以极大地减少特征选取的复杂度。HDFS是一个文件系统，用于存储文件，通过统一的命名空间、目录树来定位文件,并且是分布式的，由很多服务器联合起来实现其功能，集群中的服务器各自负责角色。

S4：调用最佳模型的准线性模型，根据最佳模型的特征组合选取待测环境下的特征，将选取的特征传入调用的准线性模型中计算，得到CTR预估结果。

具体地，CTR预估结果为请求流量中指示点击该广告，或请求流量中指示没有点击该广告。进一步地可以对步骤S2-S4做反复迭代测试以及优化，使得模型的结果更精准可靠。

该方法通过FM模型自动学习高阶属性的权值，不用通过人工的方式选取特征来做交叉，考虑特征之间的关系，增强了模型的泛化能力，并且适合处理稀疏数据，能够用于对时间要求较高的计算广告方向的CTR预估。

实施例二：

实施例二在实施例一的基础上，增加了以下内容：

FM模型是线性模型目标函数与交叉组合特征的加和，所述FM模型的目标函数如下：

二次项参数ω_ij组成一个对称阵W,对称阵W分解为W＝V^TV,V的第j列便是第j维特征的隐向量,每个参数ω_ij＝<v_i,v_j>，因此FM模型可以转化为：

其中ω₀∈R,V∈R^n×k，R为实数，R^n×k为n×k的矩阵，n为样本特征数量，k为隐向量长度，其中k远远大于n，i、j为变量，x_i为第i个特征的值，v_i为x_i的隐向量，ω₀和ω_i为FM模型的参数。

从时间复杂度上来看，直接计算的时间复杂度应该为O(kn²)，因为所有的成对的相互作用都必须计算。由于分解机特征是成对的、没有直接依赖模型参数的两个变量，所以成对的特征可以重新表达，其过程如下：

此外，在数据稀疏的情况下，x中的大部分元素值都是0，因此只需要计算非零元素的总和即可。因此在数据稀疏的情况中，分解机的时间复杂度是

通过对目标函数交叉组合特征部分巧妙的分解合并，将原有两两交叉组合特征的时间复杂度由O(kn²)简化为O(kn)，目标函数前半部分是线性的，两部分求和的时间复杂度依旧是O(kn)，完成了FM模型的降维。

该方法通过以上模型实现在大规模数据集下的分布式运算，减少了模型训练的时间以及模型的运算时间，让FM得以在时间要求很高的互联网广告行业中得以应用。

本发明实施例所提供的方法，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例三：

一种基于FM算法的CTR预估系统，参见图2，包括：

构建单元：用于在Spark集群对ml包实现FM模型扩展，并对FM模型做降维优化，得到准线性模型；

训练单元：用于选取待测环境下不同的特征组合，对准线性模型进行模型训练；

对比单元：对不同特征组合的模型训练结果做A/B Test，选取效果最好的特征组合和训练后的准线性模型作为最佳模型，并在HDFS中做持久化；

预估单元：用于调用最佳模型的准线性模型，根据最佳模型的特征组合选取待测环境下的特征，将选取的特征传入调用的准线性模型中计算，得到CTR预估结果。

进一步地，所述FM模型的目标函数如下：

二次项参数ω_ij组成一个对称阵W,对称阵W分解为W＝V^TV,V的第j列便是第j维特征的隐向量,每个参数ω_ij＝<v_i,v_j>，因此FM模型可以转化为：

其中ω₀∈R,V∈R^n×k，R为实数，R^n×k为n×k的矩阵，n为样本特征数量，k为隐向量长度，i、j为变量，x_i为第i个特征的值，v_i为x_i的隐向量，ω₀和ω_i为FM模型的参数。

进一步地，所述准线性模型如下：

进一步地，所述待测环境的特征包括联网方式、地域、广告位和/或手机品牌。

本发明实施例所提供的系统，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种基于FM算法的CTR预估方法，其特征在于，包括：

在Spark集群对ml包实现FM模型扩展，并对FM模型做降维优化，得到准线性模型；

选取待测环境下不同的特征组合，对准线性模型进行模型训练；

对不同特征组合的模型训练结果做A/B Test，选取效果最好的特征组合和训练后的准线性模型作为最佳模型，并在HDFS中做持久化；

调用最佳模型的准线性模型，根据最佳模型的特征组合选取待测环境下的特征，将选取的特征传入调用的准线性模型中计算，得到CTR预估结果。

2.根据权利要求1所述基于FM算法的CTR预估方法，其特征在于，所述FM模型的目标函数如下：

二次项参数ω_ij组成一个对称阵W,对称阵W分解为W＝V^TV,V的第j列便是第j维特征的隐向量,每个参数ω_ij＝<v_i,v_j>，因此FM模型可以转化为：

其中ω₀∈R,V∈R^n×k，R为实数，R^n×k为n×k的矩阵，n为样本特征数量，k为隐向量长度，i、j为变量，x_i为第i个特征的值，v_i为x_i的隐向量，ω₀和ω_i为FM模型的参数。

3.根据权利要求2所述基于FM算法的CTR预估方法，其特征在于，所述准线性模型如下：

4.根据权利要求2所述基于FM算法的CTR预估方法，其特征在于，

所述待测环境的特征包括联网方式、地域、广告位和/或手机品牌。

5.一种基于FM算法的CTR预估系统，其特征在于，包括：

构建单元：用于在Spark集群对ml包实现FM模型扩展，并对FM模型做降维优化，得到准线性模型；

训练单元：用于选取待测环境下不同的特征组合，对准线性模型进行模型训练；

对比单元：对不同特征组合的模型训练结果做A/B Test，选取效果最好的特征组合和训练后的准线性模型作为最佳模型，并在HDFS中做持久化；

预估单元：用于调用最佳模型的准线性模型，根据最佳模型的特征组合选取待测环境下的特征，将选取的特征传入调用的准线性模型中计算，得到CTR预估结果。

6.根据权利要求5所述基于FM算法的CTR预估系统，其特征在于，所述FM模型的目标函数如下：

二次项参数ω_ij组成一个对称阵W,对称阵W分解为W＝V^TV,V的第j列便是第j维特征的隐向量,每个参数ω_ij＝<v_i,v_j>，因此FM模型可以转化为：

其中ω₀∈R,V∈R^n×k，R为实数，R^n×k为n×k的矩阵，n为样本特征数量，k为隐向量长度，i、j为变量，x_i为第i个特征的值，v_i为x_i的隐向量，ω₀和ω_i为FM模型的参数。

7.根据权利要求6所述基于FM算法的CTR预估系统，其特征在于，所述准线性模型如下：

8.根据权利要求5所述基于FM算法的CTR预估系统，其特征在于，

所述待测环境的特征包括联网方式、地域、广告位和/或手机品牌。