CN112700274A - 一种基于用户偏好的广告点击率预估方法 - Google Patents
一种基于用户偏好的广告点击率预估方法 Download PDFInfo
- Publication number
- CN112700274A CN112700274A CN202011605515.6A CN202011605515A CN112700274A CN 112700274 A CN112700274 A CN 112700274A CN 202011605515 A CN202011605515 A CN 202011605515A CN 112700274 A CN112700274 A CN 112700274A
- Authority
- CN
- China
- Prior art keywords
- preference
- user
- advertisement
- click
- rate estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 38
- 230000007774 longterm Effects 0.000 claims abstract description 34
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 41
- 230000006399 behavior Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 241000269810 Pagrus Species 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 241000288105 Grus Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 102000003668 Destrin Human genes 0.000 description 1
- 108090000082 Destrin Proteins 0.000 description 1
- RPNUMPOLZDHAAY-UHFFFAOYSA-N Diethylenetriamine Chemical compound NCCNCCN RPNUMPOLZDHAAY-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Entrepreneurship & Innovation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于用户偏好的广告点击率预估方法。所述方法包括以下步骤：采集数据获得每个用户的广告点击序列；对广告点击序列进行预处理，获得序列训练数据集；构建基于用户偏好网络的点击率预估模型；采用预处理得到的训练数据集对基于用户偏好网络的点击率预估模型进行迭代训练；输入用户完整的广告点击序列，利用训练获得的基于用户偏好网络的点击率预估模型学习用户偏好特征，获得点击率预估结果。本发明引入了新颖的注意力机制，不仅同时考虑了用户序列中隐含的长短期偏好，还进一步地学习用户漂移偏好及融合偏好，能克服现有方法在用户偏好多样多维与漂移建模上的不足，从用户偏好学习的角度有效提升广告点击率预估的准确性。
Description
技术领域
本发明涉及推荐系统领域，更具体地，涉及一种基于用户偏好的广告点击率预估方法。
背景技术
点击率预估是广告投放和推荐中的关键环节。点击率预估在在线广告领域中即广告点击量与投放量之比,衡量了广告被用户点击的概率.其准确性直接关系着平台用户体验与在线广告平台收益,具有极其重要的研究价值。在点击购买等一系列行为中体现的偏好信息极大影响着用户是否会点击一个广告商品。
目前，广告点击率预估方法大致分为两种，一种是基于传统机器学习方法作点击率预估，如逻辑回归、梯度提升树、因子分解机等，这类方法难以学习特征高阶交互关系，同时十分依赖领域知识和特征工程。另一种则基于深度学习方法作点击率预估，这一类方法目前多围绕提高模型特征表示与交互能力的角度设计新的结构，借助DNN建模高阶特征，通过低阶与高阶特征组合提高模型特征表示能力,如Wide&Deep、DeepFM、PNN、DSTN等。
这些方法关注于提高模型学习低阶和高阶特征及其交互关系的能力，忽视了从挖掘用户偏好的角度提升点击率预估的效果,难以充分利用行为序列中隐含的用户偏好信息。少有的从偏好学习角度提出的方法如DIN、DIEN等存在仅仅考虑局部短期偏好或偏好学习结构过于原始等的不足，目前的点击率预估方法还缺乏对用户偏好多样多维特性、漂移特性的深入发掘和利用。
发明内容
本发明针对上述现有技术的不足，提供了一种基于用户偏好的广告点击率预估方法，既能同时学习全局长期历史偏好和局部短期历史偏好，实现长短期偏好特征互补，也能提取细粒度多维度的偏好漂移特征与偏好融合特征，可以有效提高点击率预估的准确性。
本发明的目的至少通过如下技术方案之一实现。
一种基于用户偏好的广告点击率预估方法，所述方法包括以下步骤：
S1、采集商业平台中的用户广告点击记录及用户和广告相应属性数据，按时间先后整理获得每个用户的广告点击序列；
S2、对广告点击序列进行预处理，对长度不足或长度超出限定长度的点击序列进行异常处理，获得序列训练数据集；
S3、构建基于用户偏好网络的点击率预估模型，包括用户长短期偏好子网、偏好漂移子网、偏好融合子网的构建；
S4、采用预处理得到的训练数据集对基于用户偏好网络的点击率预估模型进行迭代训练；
S5、输入用户完整的广告点击序列，利用训练获得的基于用户偏好网络的点击率预估模型学习用户偏好特征，获得点击率预估结果。
进一步地，步骤S1中，所述用户广告点击记录包括用户id编号、点击查看且购买的广告商品id编号、购买时间，用于记录用户点击查看且购买过的广告商品；所述用户和广告相应属性数据包括用户性别、用户年龄段、用户平台等级、广告商品价格、广告商品评价等级、广告商品销量大小。
进一步地，按时间先后整理获得每个用户的广告点击序列具体如下：
将每个用户的购买行为按unix时间戳进行排序；
可以在python中编写程序将采集的数据按照unix时间戳进行排序，或者采用excel按时间戳进行排序。
进一步地，步骤S2包括以下步骤：
S2.1、点击率预估模型的嵌入层需要根据规范的索引查找广告、用户对应的嵌入向量，对广告点击序列中出现过的所有用户、广告分别建立新的统一索引编号，将广告点击序列中的用户id编号、广告商品id编号分别映射为新建的索引编号；
S2.2、为了有利于点击率预估模型的训练，保证点击率预估的效果，对长度不符合要求的广告点击序列异常处理：剔除长度低于指定长度a的广告点击序列，截断长度超过限定长度b的广告点击序列，截断方法只保留最近发生的广告点击序列，丢弃时间过于久远的部分；
S2.3、对每一条用户广告点击序列，假设序列包括n个购买行为，a≤n≤b，则分割前n-1个购买行为和第n个购买行为，在后续点击率预估模型训练时点击率预估模型输入前n-1个购买行为，利用第n个购买行为作监督，在训练完成后点击率预估模型作预测时输入的则是完整的用户行为序列。
进一步地，步骤S3中，所述基于用户偏好网络的点击率预估模型包括输入层、嵌入层、用户偏好提取层、特征全连接层和输出层，具体如下：
输入层的输入包括用户广告点击序列、点击率预估的用户属性和点击率预估的商品属性；用户广告点击序列由按时间顺序排列的用户点击购买过的广告商品的索引编号构成；点击率预估的用户属性包括点击率预估用户的索引编号及用户性别、年龄段、用户平台等级；点击率预估的商品属性包括需要判断是否进行推荐的点击率预估商品的索引编号及商品价格、评价等级、销量大小；
嵌入层用户id编号和广告商品id编号将输入层输入的用户广告点击序列、点击率预估的用户属性及商品属性映射为固定长度、随机初始化的嵌入向量；
用户偏好提取层在设计的三个偏好子网中引入多头注意力机制(Multi-HeadAttention)与压缩-激发注意力机制(Squeeze-and-Excitation Attenton,SE Attention)两种注意力机制，基于门控循环单元(Gated Recurrent Unit,GRU)与融合偏好注意力门的门控循环单元(Gated Recurrent Unit with Preference Attention Gate,PAGRU)学习用户长短期偏好、漂移偏好和融合偏好；
全连接层将长短期偏好特征、漂移偏好特征和融合偏好特征与嵌入层根据用户id编号和广告商品id编号进行映射得到的嵌入向量、采用独热编码嵌入得到的用户和广告商品的附加属性对应的特征向量进行向量拼接，通过基于多层感知机(Multi-LayerPerceptron,MLP)的全连接神经网络(Fully Connected Neural Network,FNN)学习特征间的高阶交互关系；
输出层借助Softmax函数获得点击率预估结果。
进一步地，输入层的输入中，构成用户广告点击序列的广告商品的索引编号、点击率预估用户的索引编号、点击率预估商品的索引编号这三者为最基本的输入数据，不可缺失；其他的用户和商品属性为附加属性，在实际中若采集不到这些附加属性可选择统一不输入，不会影响点击率预估模型的运行及有效性的验证。
进一步地，所述用户偏好提取层包括长短期偏好子网、偏好漂移子网、偏好融合子网；用户偏好提取层的具体构建步骤如下：
S3.1、基于GRU搭建长短期偏好子网：将经由嵌入层转换后的用户广告点击序列依次输入GRU单元，GRU单元每一个时间步长的隐状态向量视为用户在不同时间的历史偏好向量，反映用户在不同时间即每一个时间步长的历史偏好信息，GRU单元在最后一个步长的输出即为提取的短期偏好表示，长期偏好的表示则由GRU所有时间步长的输出构成；获得用户的长短期偏好表示后，借助Multi-Head Attention在不同子空间下对用户长短期偏好与广告商品的多维度关系进行建模，提取出不同维度下细粒度多维度的长短期偏好特征；
S3.2、基于PAGRU单元搭建偏好漂移子网：偏好漂移子网接收长短期偏好子网中GRU单元在每一个时间步长的隐状态向量即历史偏好向量和用户广告点击序列作为输入，以差位结合的方式借助PAGRU融合t时刻用户广告点击行为与长短期偏好子网在t-1时刻学习到的偏好上下文信息提取偏好漂移特征；
S3.3、基于SE Attention中的压缩-激活结构搭建偏好融合网络：偏好融合网络接收长短期偏好提取网络和偏好漂移网络提取的长短期偏好特征和偏好漂移特征作为输入，采用全局平均池化(Global Average Pooling)将多偏好特征压缩至单通道，通过双层bottlenect结构的FNN进行偏好融合，学习多特征跨通道间的复杂交互关系，获得偏好融合特征。
进一步地，步骤S3.2中，所述PAGRU单元设计了偏好注意力门，控制偏好上下文信息对漂移偏好的影响程度，对偏好上下文信息进行激活或抑制，计算方法如下所示：
at＝sigm(Wpapt-1+Whaht-1+ba)； (1)
rt＝sigm(Wxrxt+Whrht-1+Wpr(at⊙pt-1)+br)； (2)
zt＝sigm(Wxzxt+Whzht-1+Wpz(at⊙pt-1)+bz)； (3)
其中，ht是t时刻PAGRU的隐状态，代表t时刻计算得到的漂移偏好；pt-1是t-1时刻的用户偏好信息，at是t时刻的偏好注意力门，xt代表t时刻用户所购买商品的嵌入向量，rt是重置门，zt是更新门，
是候选状态，Wpa和Wha、ba分别是偏好漂移子网对应偏好注意力门的两个参数矩阵和偏置项，Wxr、Whr、Wpr、br分别是偏好漂移子网对应重置门的三个参数矩阵和偏置项，Wxz、Whz、Wpz、bz分别是偏好漂移子网对应更新门的三个参数矩阵和偏置项，Wxh、Whh、Wph、bh分别是偏好漂移子网对应候选状态的三个参数矩阵和偏置项，sigm、tanh分别为sigmoid、tanh激活函数；⊙是向量点乘运算。
进一步地，步骤S4具体如下：
将整个训练数据集按照9：1的比例划分为训练集和测试集，采用负对数似然函数作为点击率预估模型的损失函数，如公式(6)所示：
其中，
是整个训练集，共包括N条训练数据对应N个用户，x＝[xu,xb,xa]属于
表示每一条训练数据，xu,xb,xa分别表示CTR预估用户索引、广告点击序列、CTR预估商品索引，广告点击序列xb＝[b1,b2,…,bn]，其中bn表示用户第n个购买行为点击购买的商品索引，y属于{0,1}表示用户是否点击了CTR预估商品，p(x)表示模型预测的用户点击CTR预估商品的概率；
同时在损失函数中添加一个辅助项，利用用户i点击序列中t+1时刻点击的广告
监督长短期偏好子网在t时刻提取到的用户i偏好表示
在t+1时刻随机负采样一个t+1时刻用户i并未点击的广告
分别计算
与
与
的内积，并通过sigmoid激活函数转换为用户i对
的点击概率，计算点击概率的负对数似然损失，即公式(7)：
其中σ表示激活sigmoid函数。整体损失函数如公式(8)所示：
L＝Ltarget+α*Laux； (8)
其中α是超参，用于平衡辅助偏好学习损失和CTR预估损失的权重。
进一步地，步骤S5具体包括以下步骤：
S5.1、输入用户整个完整的点击序列，由嵌入层映射为低维稠密向量；
S5.2、依次经由长短期偏好子网和偏好漂移子网引入Multi-head Attention提取出长短、期偏好特征与偏好漂移特征；
S5.3、经由偏好融合子网引入SE Attention提取出偏好融合特征；
S5.4、将长短期偏好特征、偏好漂移特征、偏好融合特征与用户、商品其他属性特征在特征全连接层融合，通过基于MLP的FNN网络在输出层获得最终的点击率预估结果。
本发明与现有技术相比，具有的优点和有益效果是：
1.本发明基于用户广告点击序列挖掘对CTR预估有重要影响的用户偏好，不仅同时考虑全局长期偏好和局部短期偏好的影响，实现长短期偏好互补，还提出并设计基于PAGRU的偏好漂移建模与基于SE Attention的偏好融合。同时，借助Multi-head Attention提取根据细粒度和多维度的偏好特征，从而有效提高了点击率预估的准确性。
2.本发明采用基于深度神经网络的方法构建模型，模型能借助深度神经网络自动学习有效的用户偏好特征并建模多特征间的复杂交互关系，不依赖成本高昂的特征工程，具有节省人力资源、降低成本、泛用性高的优点。
附图说明
图1为本发明实施例的整体流程图。
图2为本发明实施例基于用户偏好网络的点击率预估模型的整体架构图。
图3为本发明实施长短期偏好子网结构图。
图4为本发明实施例偏好漂移子网PAGRU结构图。
图5为本发明实施例偏好融合子网结构图。
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的说明，但本发明的实施方式不限于此。
实施例：
一种基于用户偏好的广告点击率预估方法，如图1所示，包括以下步骤：
S1、采集商业平台中的用户广告点击记录及用户和广告相应属性数据，按时间先后整理获得每个用户的广告点击序列；
所述用户广告点击记录包括用户id编号、点击查看且购买的广告商品id编号、购买时间，用于记录用户点击查看且购买过的广告商品；所述用户和广告相应属性数据包括用户性别、用户年龄段、用户平台等级、广告商品价格、广告商品评价等级、广告商品销量大小。
按时间先后整理获得每个用户的广告点击序列具体如下：
将每个用户的购买行为按unix时间戳进行排序；
可以在python中编写程序将采集的数据按照unix时间戳进行排序，或者采用excel按时间戳进行排序。
本实施例采集1689187条记录，整理获得192403个用户的点击行为序列。
S2、对广告点击序列进行预处理，本实施例中，设置指定长度为4，限定长度为100，对长度不足或长度超出限定长度的点击序列进行异常处理，获得序列训练数据集，包括以下步骤：
S2.1、点击率预估模型的嵌入层需要根据规范的索引查找广告、用户对应的嵌入向量，对广告点击序列中出现过的所有用户、广告分别建立新的统一索引编号，将广告点击序列中的用户id编号、广告商品id编号分别映射为新建的索引编号；
S2.2、为了有利于点击率预估模型的训练，保证点击率预估的效果，对长度不符合要求的广告点击序列异常处理：过滤长度低于指定长度4的广告点击序列，截断长度超过限定长度100的广告点击序列，截断方法只保留最近发生前100个的广告点击商品，丢弃时间过于久远的部分；
S2.3、对每一条用户广告点击序列，假设序列包括n个购买行为，4≤n≤100，则分割前n-1个购买行为和第n个购买行为，在后续点击率预估模型训练时点击率预估模型输入前n-1个购买行为，利用第n个购买行为作监督，在训练完成后点击率预估模型作预测时输入的则是完整的用户行为序列。
S3、构建基于用户偏好网络的点击率预估模型，包括用户长短期偏好子网、偏好漂移子网、偏好融合子网的构建；
如图2所示，所述基于用户偏好网络的点击率预估模型包括输入层、嵌入层、用户偏好提取层、特征全连接层和输出层，具体如下：
输入层的输入包括用户广告点击序列、点击率预估的用户属性和点击率预估的商品属性；用户广告点击序列由按时间顺序排列的用户点击购买过的广告商品的索引编号构成；点击率预估的用户属性包括点击率预估用户的索引编号及用户性别、年龄段、用户平台等级；点击率预估的商品属性包括需要判断是否进行推荐的点击率预估商品的索引编号及商品价格、评价等级、销量大小；
输入层的输入中，构成用户广告点击序列的广告商品的索引编号、点击率预估用户的索引编号、点击率预估商品的索引编号这三者为最基本的输入数据，不可缺失；其他的用户和商品属性为附加属性，在实际中若采集不到这些附加属性可选择统一不输入，不会影响点击率预估模型的运行及有效性的验证。
嵌入层用户id编号和广告商品id编号将输入层输入的用户广告点击序列、点击率预估的用户属性及商品属性映射为固定长度、随机初始化的嵌入向量，本实施例中，将用户、广告商品的嵌入向量长度统一设置为36；
本实施例中，对于用户和商品附加属性采用独热编码的方式，对于附加属性中的用户性别、广告商品评价等级，采用独热编码嵌入为固定长度的特征向量，例如特征向量“01”表示性别为男，特征向量“10”表示性别为女；对于附加属性中的用户年龄段、用户平台等级、广告商品价格、广告商品销量大小通过划分区间，同样采用独热编码嵌入为固定长度的特征向量，例如商品价格在1-100、100-1000，1000-10000，10000以上分别用特征向量“1000”、“0100”、“0010”、“0001”表示；
用户偏好提取层在设计的三个偏好子网中引入多头注意力机制(Multi-HeadAttention)与压缩-激发注意力机制(Squeeze-and-Excitation Attenton,SE Attention)两种注意力机制，基于门控循环单元(Gated Recurrent Unit,GRU)与融合偏好注意力门的门控循环单元(Gated Recurrent Unit with Preference Attention Gate,PAGRU)学习用户长短期偏好、漂移偏好和融合偏好，本实施例中，将Multi-Head Attention超参注意力头数设置为4；
所述用户偏好提取层包括长短期偏好子网、偏好漂移子网、偏好融合子网；用户偏好提取层的具体构建步骤如下：
S3.1、基于GRU搭建长短期偏好子网：将经由嵌入层转换后的用户广告点击序列依次输入GRU单元，GRU单元每一个时间步长的隐状态向量视为用户在不同时间的历史偏好向量，反映用户在不同时间即每一个时间步长的历史偏好信息，GRU单元在最后一个步长的输出即为提取的短期偏好表示，长期偏好的表示则由GRU所有时间步长的输出构成；获得用户的长短期偏好表示后，借助Multi-Head Attention在不同子空间下对用户长短期偏好与广告商品的多维度关系进行建模，提取出不同维度下细粒度多维度的长短期偏好特征，长短期偏好子网结构如附图3所示；长短期偏好特征的提取算法分别如表1和表2所示。
表1基于Multi-Head Attention的短期偏好特征提取算法
表3-2基于Multi-Head Attention的长期偏好特征提取算法
S3.2、基于PAGRU单元搭建偏好漂移子网：偏好漂移子网接收长短期偏好子网中GRU单元在每一个时间步长的隐状态向量即历史偏好向量和用户广告点击序列作为输入，以差位结合的方式借助PAGRU融合t时刻用户广告点击行为与长短期偏好子网在t-1时刻学习到的偏好上下文信息提取偏好漂移特征；
如图4所示，所述PAGRU单元设计了偏好注意力门，控制偏好上下文信息对漂移偏好的影响程度，对偏好上下文信息进行激活或抑制，计算方法如下所示：
at＝sigm(Wpapt-1+Whaht-1+ba)； (1)
rt＝sigm(Wxrxt+Whrht-1+Wpr(at⊙pt-1)+br)； (2)
zt＝sigm(Wxzxt+Whzht-1+Wpz(at⊙pt-1)+bz)； (3)
其中，ht是t时刻PAGRU的隐状态，代表t时刻计算得到的漂移偏好；pt-1是t-1时刻的用户偏好信息，at是t时刻的偏好注意力门，xt代表t时刻用户所购买商品的嵌入向量，rt是重置门，zt是更新门，
是候选状态，Wpa和Wha、ba分别是偏好漂移子网对应偏好注意力门的两个参数矩阵和偏置项，Wxr、Whr、Wpr、br分别是偏好漂移子网对应重置门的三个参数矩阵和偏置项，Wxz、Whz、Wpz、bz分别是偏好漂移子网对应更新门的三个参数矩阵和偏置项，Wxh、Whh、Wph、bh分别是偏好漂移子网对应候选状态的三个参数矩阵和偏置项，sigm、tanh分别为sigmoid、tanh激活函数；⊙是向量点乘运算。
S3.3、基于SE Attention中的压缩-激活结构搭建偏好融合网络：偏好融合网络接收长短期偏好提取网络和偏好漂移网络提取的长短期偏好特征和偏好漂移特征作为输入，采用全局平均池化(Global Average Pooling)将多偏好特征压缩至单通道，通过双层bottlenect结构的FNN进行偏好融合，学习多特征跨通道间的复杂交互关系，获得偏好融合特征，偏好融合子网结构如图5所示。
全连接层将长短期偏好特征、漂移偏好特征和融合偏好特征与嵌入层根据用户id编号和广告商品id编号进行映射得到的嵌入向量、采用独热编码嵌入得到的用户和广告商品的附加属性对应的特征向量进行向量拼接，通过基于多层感知机(Multi-LayerPerceptron,MLP)的全连接神经网络(Fully Connected Neural Network,FNN)学习特征间的高阶交互关系；
输出层借助Softmax函数获得点击率预估结果。
S4、采用预处理得到的训练数据集对基于用户偏好网络的点击率预估模型进行迭代训练，具体如下：
本实施例中，训练参数Epoch设成3，Batch size设成128，最优化算法采取Adam，初始学习率设成0.001，每个epoch训练完后学习率衰减为原来的二分之一；将整个训练数据集按照9：1的比例划分为训练集和测试集，采用负对数似然函数作为点击率预估模型的损失函数，如公式(6)所示：
其中，
是整个训练集，共包括N条训练数据对应N个用户，x＝[xu,xb,xa]属于
表示每一条训练数据，xu,xb,xa分别表示CTR预估用户索引、广告点击序列、CTR预估商品索引，广告点击序列xb＝[b1,b2,…,bn]，其中bn表示用户第n个购买行为点击购买的商品索引，y属于{0,1}表示用户是否点击了CTR预估商品，p(x)表示模型预测的用户点击CTR预估商品的概率；
同时在损失函数中添加一个辅助项，利用用户i点击序列中t+1时刻点击的广告
监督长短期偏好子网在t时刻提取到的用户i偏好表示
在t+1时刻随机负采样一个t+1时刻用户i并未点击的广告
分别计算
与
与
的内积，并通过sigmoid激活函数转换为用户i对
的点击概率，计算点击概率的负对数似然损失，即公式(7)：
其中σ表示激活sigmoid函数。整体损失函数如公式(8)所示：
L＝Ltarget+α*Laux； (8)
其中α是超参，用于平衡辅助偏好学习损失和CTR预估损失的权重，本实施例中，设置α为0.5。
S5、输入用户完整的广告点击序列，利用训练获得的基于用户偏好网络的点击率预估模型学习用户偏好特征，获得点击率预估结果，具体包括以下步骤：
S5.1、输入用户整个完整的点击序列，由嵌入层映射为固定长度为36的低维稠密向量；
S5.2、依次经由长短期偏好子网和偏好漂移子网引入Multi-head Attention提取出长短、期偏好特征与偏好漂移特征；
S5.3、经由偏好融合子网引入SE Attention提取出偏好融合特征；
S5.4、将长短期偏好特征、偏好漂移特征、偏好融合特征与用户、商品其他属性特征在特征全连接层融合，通过基于MLP的FNN网络在输出层获得最终的点击率预估结果。
本实施例采用Tensorflow 1.2开源平台，编程语言Python3.5，GPU加速组件是CUDA8.0、cuDNN 7.0.5构建和训练模型，本实施例在运行时显卡需有5G以上可分配的显存。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于用户偏好的广告点击率预估方法，其特征在于，包括以下步骤：
S1、采集商业平台中的用户广告点击记录及用户和广告相应属性数据，按时间先后整理获得每个用户的广告点击序列；
S2、对广告点击序列进行预处理，对长度不足或长度超出限定长度的点击序列进行异常处理，获得序列训练数据集；
S3、构建基于用户偏好网络的点击率预估模型，包括用户长短期偏好子网、偏好漂移子网、偏好融合子网的构建；
S4、采用预处理得到的训练数据集对基于用户偏好网络的点击率预估模型进行迭代训练；
S5、输入用户完整的广告点击序列，利用训练获得的基于用户偏好网络的点击率预估模型学习用户偏好特征，获得点击率预估结果。
2.根据权利要求1所述的一种基于用户偏好的广告点击率预估方法，其特征在于，所述用户广告点击记录包括用户id编号、点击查看且购买的广告商品id编号、购买时间，用于记录用户点击查看且购买过的广告商品；所述用户和广告相应属性数据包括用户性别、用户年龄段、用户平台等级、广告商品价格、广告商品评价等级、广告商品销量大小。
3.根据权利要求2所述的一种基于用户偏好的广告点击率预估方法，其特征在于，按时间先后整理获得每个用户的广告点击序列具体如下：
将每个用户的购买行为按unix时间戳进行排序；
可以在python中编写程序将采集的数据按照unix时间戳进行排序，或者采用excel按时间戳进行排序。
4.根据权利要求3所述的一种基于用户偏好的广告点击率预估方法，其特征在于，步骤S2包括以下步骤：
S2.1、对广告点击序列中出现过的所有用户、广告分别建立新的统一索引编号，将广告点击序列中的用户id编号、广告商品id编号分别映射为新建的索引编号；
S2.2、对长度不符合要求的广告点击序列异常处理：剔除长度低于指定长度a的广告点击序列，截断长度超过限定长度b的广告点击序列；
S2.3、对每一条用户广告点击序列，假设序列包括n个购买行为，a≤n≤b，则分割前n-1个购买行为和第n个购买行为，在后续点击率预估模型训练时点击率预估模型输入前n-1个购买行为，利用第n个购买行为作监督，在训练完成后点击率预估模型作预测时输入的则是完整的用户行为序列。
5.根据权利要求4所述的一种基于用户偏好的广告点击率预估方法，其特征在于，步骤S3中，所述基于用户偏好网络的点击率预估模型包括输入层、嵌入层、用户偏好提取层、特征全连接层和输出层，具体如下：
输入层的输入包括用户广告点击序列、点击率预估的用户属性和点击率预估的商品属性；用户广告点击序列由按时间顺序排列的用户点击购买过的广告商品的索引编号构成；点击率预估的用户属性包括点击率预估用户的索引编号及用户性别、年龄段、用户平台等级；点击率预估的商品属性包括需要判断是否进行推荐的点击率预估商品的索引编号及商品价格、评价等级、销量大小；
嵌入层用户id编号和广告商品id编号将输入层输入的用户广告点击序列、点击率预估的用户属性及商品属性映射为固定长度、随机初始化的嵌入向量；
用户偏好提取层在设计的三个偏好子网中引入多头注意力机制(Multi-HeadAttention)与压缩-激发注意力机制(Squeeze-and-Excitation Attenton,SE Attention)两种注意力机制，基于门控循环单元(Gated Recurrent Unit,GRU)与融合偏好注意力门的门控循环单元(Gated Recurrent Unit with Preference Attention Gate,PAGRU)学习用户长短期偏好、漂移偏好和融合偏好；
全连接层将长短期偏好特征、漂移偏好特征和融合偏好特征与嵌入层根据用户id编号和广告商品id编号进行映射得到的嵌入向量、采用独热编码嵌入得到的用户和广告商品的附加属性对应的特征向量进行向量拼接，通过基于多层感知机(Multi-Layer Perceptron,MLP)的全连接神经网络(Fully Connected Neural Network,FNN)学习特征间的高阶交互关系；
输出层借助Softmax函数获得点击率预估结果。
6.根据权利要求5所述的一种基于用户偏好的广告点击率预估方法，其特征在于，输入层的输入中，构成用户广告点击序列的广告商品的索引编号、点击率预估用户的索引编号、点击率预估商品的索引编号这三者为最基本的输入数据，不可缺失；其他的用户和商品属性为附加属性，在实际中若采集不到这些附加属性可选择统一不输入，不会影响点击率预估模型的运行及有效性的验证。
7.根据权利要求5所述的一种基于用户偏好的广告点击率预估方法，其特征在于，所述用户偏好提取层包括长短期偏好子网、偏好漂移子网、偏好融合子网；用户偏好提取层的具体构建步骤如下：
S3.1、基于GRU搭建长短期偏好子网：将经由嵌入层转换后的用户广告点击序列依次输入GRU单元，GRU单元每一个时间步长的隐状态向量视为用户在不同时间的历史偏好向量，反映用户在不同时间即每一个时间步长的历史偏好信息，GRU单元在最后一个步长的输出即为提取的短期偏好表示，长期偏好的表示则由GRU所有时间步长的输出构成；获得用户的长短期偏好表示后，借助Multi-Head Attention在不同子空间下对用户长短期偏好与广告商品的多维度关系进行建模，提取出不同维度下细粒度多维度的长短期偏好特征；
S3.2、基于PAGRU单元搭建偏好漂移子网：偏好漂移子网接收长短期偏好子网中GRU单元在每一个时间步长的隐状态向量即历史偏好向量和用户广告点击序列作为输入，以差位结合的方式借助PAGRU融合t时刻用户广告点击行为与长短期偏好子网在t-1时刻学习到的偏好上下文信息提取偏好漂移特征；
S3.3、基于SE Attention中的压缩-激活结构搭建偏好融合网络：偏好融合网络接收长短期偏好提取网络和偏好漂移网络提取的长短期偏好特征和偏好漂移特征作为输入，采用全局平均池化(GlobalAverage Pooling)将多偏好特征压缩至单通道，通过双层bottlenect结构的FNN进行偏好融合，学习多特征跨通道间的复杂交互关系，获得偏好融合特征。
8.根据权利要求7所述的一种基于用户偏好的广告点击率预估方法，其特征在于，步骤S3.2中，所述PAGRU单元设计了偏好注意力门，控制偏好上下文信息对漂移偏好的影响程度，对偏好上下文信息进行激活或抑制，计算方法如下所示：
at＝sigm(Wpapt-1+Whaht-1+ba)； (1)
rt＝sigm(Wxrxt+Whrht-1+Wpr(at⊙pt-1)+br)； (2)
zt＝sigm(Wxzxt+Whzht-1+Wpz(at⊙pt-1)+bz)； (3)
其中，ht是t时刻PAGRU的隐状态，代表t时刻计算得到的漂移偏好；pt-1是t-1时刻的用户偏好信息，at是t时刻的偏好注意力门，xt代表t时刻用户所购买商品的嵌入向量，rt是重置门，zt是更新门，
是候选状态，Wpa和Wha、ba分别是偏好漂移子网对应偏好注意力门的两个参数矩阵和偏置项，Wxr、Whr、Wpr、br分别是偏好漂移子网对应重置门的三个参数矩阵和偏置项，Wxz、Whz、Wpz、bz分别是偏好漂移子网对应更新门的三个参数矩阵和偏置项，Wxh、Whh、Wph、bh分别是偏好漂移子网对应候选状态的三个参数矩阵和偏置项，sigm、tanh分别为sigmoid、tanh激活函数；⊙是向量点乘运算。
9.根据权利要求8所述的一种基于用户偏好的广告点击率预估方法，其特征在于，步骤S4具体如下：
将整个训练数据集按照9：1的比例划分为训练集和测试集，采用负对数似然函数作为点击率预估模型的损失函数，如公式(6)所示：
其中，
是整个训练集，共包括N条训练数据对应N个用户，x＝[xu,xb,xa]属于
表示每一条训练数据，xu,xb,xa分别表示CTR预估用户索引、广告点击序列、CTR预估商品索引，广告点击序列xb＝[b1,b2,…,bn]，其中bn表示用户第n个购买行为点击购买的商品索引，y属于{0,1}表示用户是否点击了CTR预估商品，p(x)表示模型预测的用户点击CTR预估商品的概率；
同时在损失函数中添加一个辅助项，利用用户i点击序列中t+1时刻点击的广告
监督长短期偏好子网在t时刻提取到的用户i偏好表示
在t+1时刻随机负采样一个t+1时刻用户i并未点击的广告
分别计算
与
与
的内积，并通过sigmoid激活函数转换为用户i对
的点击概率，计算点击概率的负对数似然损失，即公式(7)：
其中σ表示激活sigmoid函数；整体损失函数如公式(8)所示：
L＝Ltarget+α*Laux； (8)
其中α是超参，用于平衡辅助偏好学习损失和CTR预估损失的权重。
10.根据权利要求1～9任一项所述的一种基于用户偏好的广告点击率预估方法，其特征在于，步骤S5具体包括以下步骤：
S5.1、输入用户整个完整的点击序列，由嵌入层映射为低维稠密向量；
S5.2、依次经由长短期偏好子网和偏好漂移子网引入Multi-head Attention提取出长短、期偏好特征与偏好漂移特征；
S5.3、经由偏好融合子网引入SE Attention提取出偏好融合特征；
S5.4、将长短期偏好特征、偏好漂移特征、偏好融合特征与用户、商品其他属性特征在特征全连接层融合，通过基于MLP的FNN网络在输出层获得最终的点击率预估结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011605515.6A CN112700274A (zh) | 2020-12-29 | 2020-12-29 | 一种基于用户偏好的广告点击率预估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011605515.6A CN112700274A (zh) | 2020-12-29 | 2020-12-29 | 一种基于用户偏好的广告点击率预估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112700274A true CN112700274A (zh) | 2021-04-23 |
Family
ID=75512351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011605515.6A Pending CN112700274A (zh) | 2020-12-29 | 2020-12-29 | 一种基于用户偏好的广告点击率预估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112700274A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883285A (zh) * | 2021-04-28 | 2021-06-01 | 北京搜狐新媒体信息技术有限公司 | 一种信息推荐方法及装置 |
| CN113706211A (zh) * | 2021-08-31 | 2021-11-26 | 平安科技（深圳）有限公司 | 基于神经网络的广告点击率预测方法及系统 |
| CN113888238A (zh) * | 2021-10-25 | 2022-01-04 | 重庆邮电大学 | 一种广告点击率预测方法、装置及计算机设备 |
| CN114445121A (zh) * | 2021-12-27 | 2022-05-06 | 天翼云科技有限公司 | 一种广告点击率预测模型构建及广告点击率预测方法 |
| CN116933055A (zh) * | 2023-07-21 | 2023-10-24 | 重庆邮电大学 | 一种基于大数据的短视频用户点击预测方法 |
| CN117876038A (zh) * | 2024-03-12 | 2024-04-12 | 云筑信息科技(成都)有限公司 | 一种ctr预估模型推荐方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108897823A (zh) * | 2018-06-21 | 2018-11-27 | 山东大学 | 基于深度学习注意力机制的个性化商品检索方法及装置 |
| CN110008409A (zh) * | 2019-04-12 | 2019-07-12 | 苏州市职业大学 | 基于自注意力机制的序列推荐方法、装置及设备 |
| CN110929164A (zh) * | 2019-12-09 | 2020-03-27 | 北京交通大学 | 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 |
| CN111369278A (zh) * | 2020-02-19 | 2020-07-03 | 杭州电子科技大学 | 一种基于用户长短时期兴趣建模的点击率预测方法 |
| CN111382350A (zh) * | 2020-01-15 | 2020-07-07 | 浙江传媒学院 | 融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法 |
-
2020
- 2020-12-29 CN CN202011605515.6A patent/CN112700274A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108897823A (zh) * | 2018-06-21 | 2018-11-27 | 山东大学 | 基于深度学习注意力机制的个性化商品检索方法及装置 |
| CN110008409A (zh) * | 2019-04-12 | 2019-07-12 | 苏州市职业大学 | 基于自注意力机制的序列推荐方法、装置及设备 |
| CN110929164A (zh) * | 2019-12-09 | 2020-03-27 | 北京交通大学 | 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 |
| CN111382350A (zh) * | 2020-01-15 | 2020-07-07 | 浙江传媒学院 | 融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法 |
| CN111369278A (zh) * | 2020-02-19 | 2020-07-03 | 杭州电子科技大学 | 一种基于用户长短时期兴趣建模的点击率预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孙晓燕;聂鑫;暴琳;陈杨: "扬州大学学报(自然科学版)", 29 February 2020 * |
| 陈巧红，董雯，孙麒，贾宇波: "浙江理工大学学报(自然科学版)", 30 September 2018, pages: 587 - 592 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883285A (zh) * | 2021-04-28 | 2021-06-01 | 北京搜狐新媒体信息技术有限公司 | 一种信息推荐方法及装置 |
| CN112883285B (zh) * | 2021-04-28 | 2021-08-13 | 北京搜狐新媒体信息技术有限公司 | 一种信息推荐方法及装置 |
| CN113706211A (zh) * | 2021-08-31 | 2021-11-26 | 平安科技（深圳）有限公司 | 基于神经网络的广告点击率预测方法及系统 |
| CN113706211B (zh) * | 2021-08-31 | 2024-04-02 | 平安科技（深圳）有限公司 | 基于神经网络的广告点击率预测方法及系统 |
| CN113888238A (zh) * | 2021-10-25 | 2022-01-04 | 重庆邮电大学 | 一种广告点击率预测方法、装置及计算机设备 |
| CN113888238B (zh) * | 2021-10-25 | 2024-04-09 | 重庆邮电大学 | 一种广告点击率预测方法、装置及计算机设备 |
| CN114445121A (zh) * | 2021-12-27 | 2022-05-06 | 天翼云科技有限公司 | 一种广告点击率预测模型构建及广告点击率预测方法 |
| CN116933055A (zh) * | 2023-07-21 | 2023-10-24 | 重庆邮电大学 | 一种基于大数据的短视频用户点击预测方法 |
| CN116933055B (zh) * | 2023-07-21 | 2024-04-16 | 重庆邮电大学 | 一种基于大数据的短视频用户点击预测方法 |
| CN117876038A (zh) * | 2024-03-12 | 2024-04-12 | 云筑信息科技(成都)有限公司 | 一种ctr预估模型推荐方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111222332B (zh) | 一种结合注意力网络和用户情感的商品推荐方法 | |
| CN112700274A (zh) | 一种基于用户偏好的广告点击率预估方法 | |
| CN109255506B (zh) | 一种基于大数据的互联网金融用户贷款逾期预测方法 | |
| CN102902691B (zh) | 推荐方法及系统 | |
| CN112381581B (zh) | 一种基于改进Transformer的广告点击率预估方法 | |
| CN115082147B (zh) | 一种基于超图神经网络的序列推荐方法及装置 | |
| CN111784455A (zh) | 一种物品推荐方法及推荐设备 | |
| CN112765480B (zh) | 一种信息推送方法、装置及计算机可读存储介质 | |
| Romdhane et al. | An efficient approach for building customer profiles from business data | |
| CN112487199B (zh) | 一种基于用户购买行为的用户特征预测方法 | |
| CN111259140B (zh) | 一种基于lstm多实体特征融合的虚假评论检测方法 | |
| CN110930219B (zh) | 一种基于多特征融合的个性化电商推荐方法 | |
| CN112884551B (zh) | 一种基于近邻用户和评论信息的商品推荐方法 | |
| CN108230007A (zh) | 一种用户意图的识别方法、装置、电子设备及存储介质 | |
| CN110619540A (zh) | 一种神经网络的点击流预估方法 | |
| CN112288554B (zh) | 商品推荐方法和装置、存储介质及电子装置 | |
| CN112396492A (zh) | 基于图注意力网络和双向长短期记忆网络的会话推荐方法 | |
| CN114861050A (zh) | 一种基于神经网络的特征融合推荐方法及系统 | |
| CN116304299A (zh) | 一种融和用户兴趣演化和梯度提升算法的个性化推荐方法 | |
| CN114942974A (zh) | 电商平台商品用户评价情感倾向分类方法 | |
| CN117314593B (zh) | 一种基于用户行为分析的保险项目推送方法及系统 | |
| CN116362836A (zh) | 基于用户行为序列的农产品推荐算法 | |
| CN115953217A (zh) | 商品评分推荐方法及其装置、设备、介质、产品 | |
| CN114493724A (zh) | 一种基于多任务学习的竞价关键词效果预估模型构建方法 | |
| Yang et al. | Artmap-based data mining approach and its application to library book recommendation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |