CN114358813A - 一种基于场矩阵因子分解机改进的广告投放方法及系统 - Google Patents

一种基于场矩阵因子分解机改进的广告投放方法及系统 Download PDF

Info

Publication number
CN114358813A
CN114358813A CN202111433251.5A CN202111433251A CN114358813A CN 114358813 A CN114358813 A CN 114358813A CN 202111433251 A CN202111433251 A CN 202111433251A CN 114358813 A CN114358813 A CN 114358813A
Authority
CN
China
Prior art keywords
layer
data
fmfm
module
advertisement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111433251.5A
Other languages
English (en)
Other versions
CN114358813B (zh
Inventor
孙开伟
宣立德
冉雪
刘虎
李彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202111433251.5A priority Critical patent/CN114358813B/zh
Publication of CN114358813A publication Critical patent/CN114358813A/zh
Application granted granted Critical
Publication of CN114358813B publication Critical patent/CN114358813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明请求保护一种基于场矩阵因子分解机改进的广告投放方法。方法为:收集广告数据并对所述广告数据进行预处理,将空值或者无用的数据进行填充或删除操作,并将连续型特征进行分桶处理为离散型特征,并进行one‑hot编码处理,并规划出训练集以及测试集;将预处理后的数据集输入到嵌入层,所述嵌入层是一层全连接神经网络,将高维稀疏的one‑hot特征转化为定长的低维稠密的特征向量;将嵌入层的输出部分分别输入到FmFM层和DNN层进行低阶特征交叉和高阶特征交叉,把FmFM和DNN层的输出进行加和并且经过sigmoid函数得到输出值,按照输出值进行广告投放,利用测试集对模型进行评估验证。本发明利用FmFM模型改进,得到更加简便的点击率预估模型,同时只需要更少的参数量可以得到更好的结果。

Description

一种基于场矩阵因子分解机改进的广告投放方法及系统
技术领域
本发明属于推荐系统领域,具体涉及到点击率预测领域,以及从系数矩阵得到稠密矩阵的深度学习领域。
背景技术
现如今我们处于一个信息爆炸的时代,怎样在海量的信息中找到自己想要的信息对于普通的用户来说极为的困难,对于商家来说,投放成功的广告是一件极其重要的问题,广告投放的好,可以为商家带来丰厚的利润,反之,高额的广告费用会让商家蒙受巨大的损失,针对类似问题,点击率预测是推荐系统中的一项重要研究工作。
点击率(Click through rate,简称CTR)预估是推荐系统中的经典问题之一。点击率预估主要就是寻找出用户最有可能点击的项目并按照概率大小排序。目前,在点击率预估领域,常使用的模型主要为逻辑回归模型,因子分解机模型及其结合多层感知机衍生出来的一系列模型。
但是这些模型有一些问题,一是特征之间的交互没有考虑特征域之间的关系,二是特征组合之间没有考虑特征组合与特征组合之间相互影响的关系。
经过检索,公开号为CN106777069A,一种基于矩阵因子分解的个性化推荐方法,其特征在于,包括:搭建面向大数据的计算平台;在已搭建的计算平台内计算目标用户和其它用户的相似性;基于矩阵因子分解并结合目标用户和其它用户的相似性对目标用户未选择过的商品进行评分预测;对目标用户未选择过的商品按照预测的评分大小进行排序后推荐给目标用户。该专利基于矩阵分解的模型,通过训练得出用户矩阵和商品矩阵,并通过用户矩阵与商品矩阵的内积得到评分值进行预测,该发明在特征融合方面存在着明显的不足,没有对特征进行交互,导致寻找不到有利于推荐的融合特征,本专利通过场矩阵因子分解机进行特征间的二阶交叉,通过DNN网络进行特征间的深度交叉,充分利用了特征交叉的优势得到更多有用的信息。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于场矩阵因子分解机改进的广告投放方法及系统。本发明的技术方案如下:
一种基于场矩阵因子分解机改进的广告投放方法,其包括以下步骤:
收集广告数据并对所述广告数据进行预处理,将空值或者无用的数据进行填充或删除操作,并将连续型特征进行分桶处理为离散型特征,并进行one-hot编码处理,并规划出训练集以及测试集;
将预处理后的数据集输入到嵌入层,所述嵌入层是一层全连接神经网络,将高维稀疏的one-hot特征转化为定长的低维稠密的特征向量;
将嵌入层的输出部分分别输入到FmFM场矩阵因子分解机层和DNN深度神经网络层进行低阶特征交叉和高阶特征交叉,把FmFM和DNN层的输出进行加和并且经过sigmoid函数得到输出值,并且按照输出值排序进行广告投放。
进一步的,所述数据预处理具体包括:使用numpy,pandas工具包进行数据的填充与删除修改,通过使用sklearn包中KBinsDiscretizer方法将连续型特征进行分桶处理成离散型特征,再使用sklearn中的one-hotEncoder进行处理所有的特征离散型特征;最后将数据集划分为训练集和测试集采用train_test_split方法。
进一步的,所述通过使用sklearn包中KBinsDiscretizer方法将连续型特征进行分桶处理成离散型特征,具体包括:
KBinsDiscretizer首先对数据的范围按照一定的间隔分为若干份等长的区间,对属于同一个区间的数值取一个相同的值,不同的区间则取不同的值,因此连续型的特征也转换成了分类的特征类型
再使用sklearn中的one-hotEncoder进行处理所有的特征离散型特征;
one-hotEncoder通过将离散的特征转变为特征矩阵,首先确定分类变量,其次转换为二进制向量表示。经过one-hot处理后的向量得到的是稀疏矩阵。
进一步的,将得到的低维稠密向量输入到深度神经网络DNN中和浅层的特征交叉模块FmFM中,再将各自的预测结果通过加和再经过sigmoid函数得到广告的点击率预测结果:
Figure BDA0003381069130000031
其中
Figure BDA0003381069130000032
代表广告点击率预估的输出结果,yFmFM代表FmFM模块的预测结果,yDNN代表DNN模块的预测结果。
进一步的,所述FmFM模块具体包含一个场因子分解机,场因子分解机的公式为:
Figure BDA0003381069130000033
其中m代表特征个数,w,υ分别要训练的参数和特征向量,i代表第i个特征,w0代表偏置权重,
Figure BDA0003381069130000034
表示模型的线性部分,
Figure BDA0003381069130000035
表示二阶特征交叉部分,MF(i),F(j)表示特征域i和特征域j之间的交互强度矩阵。
进一步的,还包括采用测试集和评估指标对模型的效果进行验证的步骤,具体包括:
评估指标和loss函数包含:AUC,二分类交叉熵损失,所述AUC的计算方式为:
Figure BDA0003381069130000041
其中M,N分别是正样本个数和负样本的个数;ranki代表第i个样本的序号,概率得分从小到大排,排在第rank个位置;
二分类交叉熵损函数的计算方式为:
Figure BDA0003381069130000042
其中y是标签,
Figure BDA0003381069130000043
是预测为正的概率。
一种基于场矩阵因子分解机改进的广告投放系统,其包括:
预处理模块:用于收集广告数据并对所述广告数据进行预处理,将空值或者无用的数据进行填充或删除操作,并将连续型特征进行分桶处理为离散型特征,并进行one-hot编码处理,并规划出训练集以及测试集;
嵌入模块:所述嵌入模块是一层全连接神经网络,用于将预处理后的数据集输入到嵌入层,将高维稀疏的one-hot特征转化为定长的低维稠密的特征向量;
处理模块:用于将嵌入层的输出部分分别输入到FmFM层和DNN层进行低阶特征交叉和高阶特征交叉,把FmFM和DNN层的输出进行加和并且经过sigmoid函数得到输出值;按照输出值进行广告投放;
验证模块:用于采用测试集和评估指标对模型的效果进行验证的步骤,具体包括:评估指标和loss函数包含:AUC,二分类交叉熵损失。
本发明的优点及有益效果如下:
1:本发明的基于FmFM改进的广告点击率预测方法,以基于FmFM的模型作为基础,考虑到了对于不同的特征域之间的交互关系,并且相比之前的模型具有更加灵活的建模特征域之间交互关系的方式,对比FM模型不考虑特征域之间交互关系,FwFM模型用一个固定的标量考虑不同特征域之间的交互关系,FFM使用巨大的参数量表示每个特征和每个特征域之间的交互关系,FmFM使用一个交互矩阵来表示特征域之间的交互关系,既相比于FwFM使用了一种更加灵活的方式,又比之FFM模型使用了小得多的参数量,完成了效果不差于以往模型的广告点击率预测方式。
2:采用了不同于以往模型对连续特征给一个embedding的方式,采用分桶的处理办法解决连续型特征的预处理。
通常的方式有no_embedding方法和Field_Embedding方法,第一种直接将数据喂入模型,连续性特征数据处理速度慢,不利于模型的上线,第二种方法把属于同一特征域的特征给相同的embedding,使得特征之间的差异性得不到体现,不利于模型的推荐结果,通过分桶的方法更加灵活多变的处理连续特征,有利于模型的效果。
附图说明
图1是本发明提供优选实施例的总体图
图2是本发明的模型结构图
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
如图1所示为本发明的一种基于场矩阵因子分解机改进的广告投放方法,通过处理criteo公开数据集,根据本发明进行特征处理以及模型训练,从而得到广告点击率的预测,进而选择更合适的广告投放。
1:数据预处理,通过对数据进行分析,对连续型特征的缺失值使用0填补,对离散型特征使用-1填补缺失值,之后对连续型特征通过sklearn中KBinsDiscretizer方法进行分桶处理成离散型特征,再使用sklearn中的LabelEncoder进行处理所有的特征离散型特征。最后将数据集划分为训练集和测试集。
2:将第一步得到的训练集通过模型嵌入层完成输入向量压缩至低维稠密向量。在本例中,每个field压缩成8维的低维稠密向量即V(i)=[e0,e1,e2,e3,e4,e5,e6,e7].
3将第二步中得到的低维稠密向量放入我们的广告投放模型(DeepFmFM)中,在DeepFmFM模型中如图1所示,主要由两部分组成,包括FmFM模块和DNN模块,两个模块共享相同的输入数据。
对于FmFM模块,通过将嵌入层后的向量传入FmFM模块,特征之间进行二阶交叉,并且得到线性部分和二阶交互部分的值。随后对其进行加和处理得到FmFM部分的值。
对于DNN部分,是为了弥补FmFM模块没有在高阶特征方面交叉的特征的缺点,将低维稠密特征输入到DNN中,利用前馈神经网络进行高阶交叉,得到DNN模块的预测结果。在本例中DNN模块由3个隐含层组成,每层的神经元个数分别为256,128,64,使用relu函数作为激活函数,最后再加一层全连接层神经元个数为1,不使用激活函数随后得到DNN模块的输出。
4:随后将上一步得到的两个模块的输出加和后计算sigmoid值,并且作为最后的结果返回。
5:采用测试集和评价指标对上一步训练所得的广告投放模型进行测试与验证,评估指标包括AUC,以及二分类交叉熵损失函数。
优选的,还包括一种基于场矩阵因子分解机改进的广告投放系统,其包括:
预处理模块:用于收集广告数据并对所述广告数据进行预处理,将空值或者无用的数据进行填充或删除操作,并将连续型特征进行分桶处理为离散型特征,并进行one-hot编码处理,并规划出训练集以及测试集;
嵌入模块:所述嵌入模块是一层全连接神经网络,用于将预处理后的数据集输入到嵌入层,将高维稀疏的one-hot特征转化为定长的低维稠密的特征向量;
处理模块:用于将嵌入层的输出部分分别输入到FmFM层和DNN层进行低阶特征交叉和高阶特征交叉,把FmFM和DNN层的输出进行加和并且经过sigmoid函数得到输出值;按照输出值进行广告投放;
验证模块:用于采用测试集和评估指标对模型的效果进行验证的步骤,具体包括:评估指标和loss函数包含:AUC,二分类交叉熵损失。
所述AUC的计算方式为:
Figure BDA0003381069130000071
其中M,N分别是正样本个数和负样本的个数;ranki代表第i个样本的序号,概率得分从小到大排,排在第rank个位置。
二分类交叉熵损函数的计算方式为:
Figure BDA0003381069130000072
其中y是标签,
Figure BDA0003381069130000073
是预测为正的概率。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于场矩阵因子分解机改进的广告投放方法,其特征在于,包括以下步骤:
收集广告数据并对所述广告数据进行预处理,将空值或者无用的数据进行填充或删除操作,并将连续型特征进行分桶处理为离散型特征,并进行one-hot编码处理,并规划出训练集以及测试集;
将预处理后的数据集输入到嵌入层,所述嵌入层是一层全连接神经网络,将高维稀疏的one-hot特征转化为定长的低维稠密的特征向量;
将嵌入层的输出部分分别输入到FmFM场矩阵因子分解机层和DNN深度神经网络层进行低阶特征交叉和高阶特征交叉,把FmFM和DNN层的输出进行加和并且经过sigmoid函数得到输出值,并且按照输出值排序进行广告投放。
2.根据权利要求1所述的一种基于场矩阵因子分解机改进的广告投放方法,其特征在于,所述数据预处理具体包括:使用numpy,pandas工具包进行数据的填充与删除修改,通过使用sklearnbao包中KBinsDiscretizer方法将连续型特征进行分桶处理成离散型特征,再使用sklearn中的one-hotEncoder进行处理所有的特征离散型特征;最后将数据集划分为训练集和测试集采用train_test_split方法。
3.根据权利要求1所述的一种基于场矩阵因子分解机改进的广告投放方法,其特征在于,所述通过使用sklearnbao包中KBinsDiscretizer方法将连续型特征进行分桶处理成离散型特征,具体包括:
KBinsDiscretizer首先对数据的范围按照一定的间隔分为若干份等长的区间,对属于同一个区间的数值取一个相同的值,不同的区间则取不同的值,因此连续型的特征也转换成了分类的特征类型;
再使用sklearn中的one-hotEncoder进行处理所有的特征离散型特征;one-hotEncoder通过将离散的特征转变为特征矩阵,首先确定分类变量,其次转换为二进制向量表示;经过one-hot处理后的向量得到的是稀疏矩阵。
4.根据权利要求1-3任一项所述的一种基于场矩阵因子分解机改进的广告投放方法,其特征在于,将得到的低维稠密向量输入到深度神经网络DNN中和浅层的特征交叉模块FmFM中,再将各自的预测结果通过加和再经过sigmoid函数得到广告的点击率预测结果:
Figure FDA0003381069120000021
其中
Figure FDA0003381069120000022
代表广告点击率预估的输出结果,yFmFM代表FmFM模块的预测结果,yDNN代表DNN模块的预测结果。
5.根据权利要求4所述的一种基于场矩阵因子分解机改进的广告投放方法,其特征在于,所述FmFM模块具体包含一个场因子分解机,场因子分解机的公式为:
Figure FDA0003381069120000023
其中m代表特征域个数,w,υ分别表示分别要训练的参数和特征向量,i代表第i个特征域,w0代表偏置权重,
Figure FDA0003381069120000024
表示模型的线性部分,
Figure FDA0003381069120000025
表示二阶特征交叉部分,MF(i),F(j)表示特征域i和特征域j之间的交互强度矩阵。
6.根据权利要求4所述的一种基于场矩阵因子分解机改进的广告投放方法,其特征在于,还包括采用测试集和评估指标对模型的效果进行验证的步骤,具体包括:
评估指标和loss函数包含:AUC,二分类交叉熵损失,所述AUC的计算方式为:
Figure FDA0003381069120000026
其中M,N分别是正样本个数和负样本的个数;ranki代表第i个样本的序号,概率得分从小到大排,排在第rank个位置;
二分类交叉熵损函数的计算方式为:
Figure FDA0003381069120000031
其中y是标签,
Figure FDA0003381069120000032
是预测为正的概率。
7.一种基于场矩阵因子分解机改进的广告投放系统,其特征在于,包括:
预处理模块:用于收集广告数据并对所述广告数据进行预处理,将空值或者无用的数据进行填充或删除操作,并将连续型特征进行分桶处理为离散型特征,并进行one-hot编码处理,并规划出训练集以及测试集;
嵌入模块:所述嵌入模块是一层全连接神经网络,用于将预处理后的数据集输入到嵌入层,将高维稀疏的one-hot特征转化为定长的低维稠密的特征向量;
处理模块:用于将嵌入层的输出部分分别输入到FmFM层和DNN层进行低阶特征交叉和高阶特征交叉,把FmFM和DNN层的输出进行加和并且经过sigmoid函数得到输出值;按照输出值进行广告投放;
验证模块:用于采用测试集和评估指标对模型的效果进行验证的步骤,具体包括:评估指标和loss函数包含:AUC,二分类交叉熵损失。
CN202111433251.5A 2021-11-29 2021-11-29 一种基于场矩阵因子分解机改进的广告投放方法及系统 Active CN114358813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111433251.5A CN114358813B (zh) 2021-11-29 2021-11-29 一种基于场矩阵因子分解机改进的广告投放方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111433251.5A CN114358813B (zh) 2021-11-29 2021-11-29 一种基于场矩阵因子分解机改进的广告投放方法及系统

Publications (2)

Publication Number Publication Date
CN114358813A true CN114358813A (zh) 2022-04-15
CN114358813B CN114358813B (zh) 2024-05-28

Family

ID=81097850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111433251.5A Active CN114358813B (zh) 2021-11-29 2021-11-29 一种基于场矩阵因子分解机改进的广告投放方法及系统

Country Status (1)

Country Link
CN (1) CN114358813B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078312A (zh) * 2023-09-05 2023-11-17 北京玖众科技股份有限公司 一种基于人工智能的广告投放管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365297A (zh) * 2020-12-04 2021-02-12 东华理工大学 一种广告点击率预估方法
CN112446739A (zh) * 2020-12-10 2021-03-05 中科人工智能创新技术研究院(青岛)有限公司 一种基于分解机和图神经网络的点击率预测方法及系统
CN112612920A (zh) * 2020-12-29 2021-04-06 上海海事大学 基于领域交互信息强度因子分解机的电影点击率预估方法
CN112884513A (zh) * 2021-02-19 2021-06-01 上海数鸣人工智能科技有限公司 基于深度因子分解机的营销活动预测模型结构和预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365297A (zh) * 2020-12-04 2021-02-12 东华理工大学 一种广告点击率预估方法
CN112446739A (zh) * 2020-12-10 2021-03-05 中科人工智能创新技术研究院(青岛)有限公司 一种基于分解机和图神经网络的点击率预测方法及系统
CN112612920A (zh) * 2020-12-29 2021-04-06 上海海事大学 基于领域交互信息强度因子分解机的电影点击率预估方法
CN112884513A (zh) * 2021-02-19 2021-06-01 上海数鸣人工智能科技有限公司 基于深度因子分解机的营销活动预测模型结构和预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尚燕敏;曹亚男;韩毅;李阳;张闯;: "基于主题和大众影响的用户动态行为倾向预测", 计算机学报, no. 07, 20 December 2017 (2017-12-20), pages 3 - 19 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078312A (zh) * 2023-09-05 2023-11-17 北京玖众科技股份有限公司 一种基于人工智能的广告投放管理方法及系统
CN117078312B (zh) * 2023-09-05 2024-02-27 北京玖众科技股份有限公司 一种基于人工智能的广告投放管理方法及系统

Also Published As

Publication number Publication date
CN114358813B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN111222332B (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN109299396B (zh) 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN112818861B (zh) 一种基于多模态上下文语义特征的情感分类方法及系统
Zhang et al. DBNCF: Personalized courses recommendation system based on DBN in MOOC environment
CN111667022A (zh) 用户数据处理方法、装置、计算机设备和存储介质
CN111753209A (zh) 一种基于改进时序卷积网络的序列推荐列表生成方法
Huynh et al. Context-similarity collaborative filtering recommendation
CN115688024A (zh) 基于用户内容特征和行为特征的网络异常用户预测方法
Zouzou et al. Text sentiment analysis with CNN & GRU model using GloVe
CN115879508A (zh) 一种数据处理方法及相关装置
CN112069399A (zh) 一种基于交互匹配的个性化搜索系统
CN113656699B (zh) 用户特征向量确定方法、相关设备及介质
Park et al. An effective 3D text recurrent voting generator for metaverse
CN114358813B (zh) 一种基于场矩阵因子分解机改进的广告投放方法及系统
CN114168790A (zh) 一种基于特征自动组合的个性化视频推荐方法及系统
CN113538079A (zh) 一种推荐模型的训练方法及装置、一种推荐方法及装置
CN116910357A (zh) 一种数据处理方法及相关装置
Lalitha et al. Analysis of customer reviews using deep neural network
CN113010774B (zh) 一种基于动态深度注意力模型的点击率预测方法
Postalcioglu et al. Comparison of Neural Network Models for Nostalgic Sentiment Analysis of YouTube Comments
CN115129863A (zh) 意图识别方法、装置、设备、存储介质和计算机程序产品
Xiong et al. L-RBF: A customer churn prediction model based on lasso+ RBF
CN113076424A (zh) 一种面向不平衡文本分类数据的数据增强方法及系统
Ji [Retracted] Research on Recognition Effect of DSCN Network Structure in Hand‐Drawn Sketch
Annam et al. Emotion-Aware Music Recommendations: A Transfer Learning Approach Using Facial Expressions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant