CN116051175A - 基于深度多兴趣网络的点击率预测模型及预测方法 - Google Patents

基于深度多兴趣网络的点击率预测模型及预测方法 Download PDF

Info

Publication number
CN116051175A
CN116051175A CN202310024780.2A CN202310024780A CN116051175A CN 116051175 A CN116051175 A CN 116051175A CN 202310024780 A CN202310024780 A CN 202310024780A CN 116051175 A CN116051175 A CN 116051175A
Authority
CN
China
Prior art keywords
user
behavior
interest
network
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310024780.2A
Other languages
English (en)
Inventor
洪昶
刘伟
吕昊辰
吴明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Intellectual Property Protection Center Chongqing Motorcycle Automobile Intellectual Property Information Center
Original Assignee
Chongqing Intellectual Property Protection Center Chongqing Motorcycle Automobile Intellectual Property Information Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Intellectual Property Protection Center Chongqing Motorcycle Automobile Intellectual Property Information Center filed Critical Chongqing Intellectual Property Protection Center Chongqing Motorcycle Automobile Intellectual Property Information Center
Priority to CN202310024780.2A priority Critical patent/CN116051175A/zh
Publication of CN116051175A publication Critical patent/CN116051175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0203—Market surveys; Market polls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及电子商务信息处理技术领域，尤其涉及一种基于深度多兴趣网络的点击率预测模型及预测方法。所述模型包括编码层、用户行为网络、物品行为网络和输出层。应用该模型将用户行为和物品行为中的高维稀疏特征转化为低维稠密向量；通过用户行为网络提取用户对候选项目的综合兴趣和当前兴趣；将用户行为网络输出的兴趣作为查询键，通过物品行为网络挖掘物品行为中的用户与目标用户间的相似性兴趣，获得当前物品的流行度；将用户行为网络输出、物品行为网络输出、候选物品和目标用户嵌入编码连接，计算目标用户点击候选物品的概率。本发明关注用户侧兴趣和物品侧兴趣，分别提取用户行为和物品行为中的多种不同兴趣模式，更符合真实世界中用户的兴趣表达。

Description

基于深度多兴趣网络的点击率预测模型及预测方法
技术领域
本发明涉及电子商务信息处理技术领域，尤其涉及一种基于深度多兴趣网络的点击率预测模型及预测方法。
背景技术
在现代电子商务中，为了增加企业收入和提升用户体验，点击率(click-throughrate,CTR)预测一直是其中最重要任务之一。在电子商务系统中用户通常拥有点击、收藏、购买等多种行为，而点击则是这所有行为的基础。点击率预测质量直接决定了用户体验和企业商业价值，因此，点击率预测研究引起了学术界和工业界的广泛关注。
下面介绍下目前常见的几种点击率预测方法以及它们存在的缺陷。
基于特征交互的点击率预测方法只针对单点的数据进行特征交互提取，而现代推荐系统和个性化搜索通常是基于连续的用户行为，这些用户历史行为数据中蕴含的信息非常个性化并丰富多样，通过学习用户历史行为信息能进一步提升模型性能上限。
随着深度神经网络技术的发展，基于用户行为序列的方法，如循环神经网络(recurrent neural network,RNN)被用在推荐系统GRU4REC中按时序建模用户行为上的交互物品，但这种方法对用户行为序列中的物品学习固定表示，不能反应不同物品反应用户兴趣的不同程度。
随着注意力网络技术的发展，DIN设计了注意激活单元来聚合用户历史行为中的交互物品信息，以此自适应的学习用户对不同商品的不同兴趣表示，增强了模型表达能力。然而，用户的偏好可能会随着时间出现动态演化，用户行为中的交互信息可能会存在时序依赖关系。DIEN使用GRU和注意力机制分别用于建模用户行为中各时刻兴趣的表示和演化，其中的辅助损失网络虽然增强了模型训练中的监督信号，但也引入了额外的非线性变换，不利于学习到用户兴趣和物品向量间的语义相关性。这些基于用户行为序列的模型不仅忽略了物品行为中的丰富信息，而且它们往往只关注了用户的单一兴趣模式，限制了兴趣表达能力。这些方法都是关注于挖掘用户行为中已交互物品信息来反应用户个性化偏好，DUMN则尝试引入物品行为建模目标用户与物品行为中的用户的相关性来反映目标用户偏好。但它独立的学习各个用户对候选物品的兴趣，不利于捕捉用户间的协同过滤信息。这些工作虽然通过挖掘用户潜在兴趣偏好有效的建模了点击率预测任务。但它们都受限于从单一角度理解用户兴趣，未能充分挖掘出用户行为和物品行为中的多种用户兴趣模式，限制了模型性能。
发明内容
针对上述现有点击率预测方法存在的问题，本文将重点关注如何从用户行为和物品行为中学习多种兴趣表示，以此来提升兴趣表示学习的精度和广度，达到提升点击率预测模型性能上限的目的。
本发明的具体方案如下：
一种基于深度多兴趣网络的点击率预测模型，包括：
编码层，用于将用户行为和物品行为中的原始点击时刻与当前推荐时刻的时间间隔以及目标用户编码和物品编码特征转化为低维稠密向量；
用户行为网络，包括综合兴趣提取层和当前兴趣提取层，所述综合兴趣提取层应用时间间隔感知的注意力机制从用户的历史行为中提取用户对候选项目的综合兴趣，所述当前兴趣提取层应用循环神经网络提取用户行为上的潜在兴趣变化，并将最后时刻的潜在兴趣作为当前兴趣；
物品行为网络，包括用户-用户兴趣提取层和物品流行度提取层，所述用户-用户兴趣提取层用于挖掘物品行为中的用户与目标用户间的相似性兴趣，所述物品流行度提取层通过注意力机制自适应聚合物品行为上的时间间隔嵌入向量得到当前物品的流行度；
输出层，用于将用户行为网络输出、物品行为网络输出、候选物品和目标用户嵌入编码连接，计算目标用户点击候选物品的概率。
进一步，所述当前兴趣提取层采用三元损失函数作为辅助损失函数监督当前兴趣的学习过程。
进一步，所述用户-用户兴趣提取层将用户行为网络的输出兴趣作为查询，并组合使用键和值，应用多头注意力机制计算物品行为中的每个用户与目标用户的相似性兴趣，得到用户-用户兴趣。
进一步，所述物品流行度提取层首先采用注意力机制计算不同用户对目标用户的影响因子，再以这些影响因子为权重自适应聚合不同用户的点击时刻间隔向量得到物品流行度，表示如下：
其中，公式(20)通过注意力网络计算不同用户对目标用户的影响因子，公式(21)使用softmax函数来归一化不同用户对目标用户的影响因子使其符合概率分布，为归一化前的用户j对目标用户u的影响因子，αj为用户影响因子，eu为目标用户嵌入向量，表示物品行为中的第j个用户的嵌入向量，表示物品行为中第j个用户的点击时间间隔嵌入向量，b为网络学习参数，为当前时刻候选物品i的物品行为长度，sp代表候选物品的当前流行度。
进一步，所述输出层由三层全连接网络和PReLU激活函数组成，最后输出通过sigmoid函数将预测概率归一化到0到1。
采用上文所述的模型进行训练，包括以下步骤：
S1、将用户行为和物品行为中的原始点击时刻与当前推荐时刻的时间间隔以及目标用户编码和物品编码特征输入到编码矩阵，通过深度学习优化算法对大量数据的拟合学习，将这些高维稀疏特征转化为低维稠密向量；
S2、通过用户行为网络挖掘用户历史行为中不同的兴趣表达以及用户行为上的潜在兴趣变化，提取用户对候选项目的综合兴趣和当前兴趣；
S3、将用户行为网络输出的兴趣作为查询键，通过物品行为网络挖掘物品行为中的用户与目标用户间的相似性兴趣，并通过注意力机制自适应聚合物品行为上的时间间隔嵌入向量得到当前物品的流行度；
S4、将用户行为网络输出、物品行为网络输出、候选物品和目标用户嵌入编码连接，计算目标用户点击候选物品的概率。
步骤S1的具体过程如下：
S11、按时间排序构建用户和物品的历史行为序列，其中用户行为参数包括历史交互物品、交互时间，物品行为参数包括历史交互用户行为、交互时间；
S12、计算用户行为交互时间、物品行为交互时间与当前推荐时刻的时间间隔ttiv，公式如下：
ttiv＝t-tpre (2)，
其中tpre代表用户行为交互时间或物品行为交互时间，t代表当前推荐时刻；
S13、采用2的指数间隔，将时间间隔映射为one-hot向量：
xtiv＝[sign(ttiv,0,1),sign(ttiv,1,2),...,sign(ttiv,2j,+∞)] (3)，
其中sign(x,y,z)为指示函数，如果x大于等于y并且x小于z则
sign(x,y,z)＝1，否则sign(x,y,z)＝0；
S14、将one-hot向量转换为低维稠密向量：
其中Wtime表示时间间隔编码矩阵，代表时间间隔编码后的nt维稠密向量；用户行为中的历史交互物品和时间间隔编码后分别得到用户行为下的历史交互物品嵌入序列和交互时间嵌入序列 是用户u在t时刻前的用户行为长度；物品行为中的已交互用户、交互时间、已交互用户历史交互物品编码后分别得到物品行为下的已交互用户嵌入序列交互时间嵌入序列和已交互用户历史交互物品嵌入序列 是物品i在t时刻前的物品行为长度。
步骤S2的具体过程如下：
S21、将编码后的用户行为中的历史交互物品嵌入序列交互时间嵌入序列输入到用户行为网络，利用基于时间间隔感知的注意力机制提取用户对候选项目的综合兴趣；
S22、将编码后的用户行为中的历史交互物品嵌入序列输入到用户行为网络，利用循环神经网络提取用户行为上的潜在兴趣变化，并将最后时刻的潜在兴趣作为当前兴趣；
S23、连接S21和S22的两种兴趣输出作为最后用户行为网络提取出的兴趣表示。
步骤S3的具体过程如下：
S31、将用户行为网络输出的兴趣表示和编码后的物品行为中的已交互用户历史交互物品嵌入序列输入到物品行为网络，采用多头注意力机制组合使用查询、键和值的不同的子空间表示，捕获不同子空间表示下的相似兴趣，聚合这些相似性兴趣，得到用户-用户兴趣；
S32、将编码后的物品行为中的交互时间嵌入序列输入到用户行为网络，采用注意力机制计算不同用户对目标用户的影响因子，再以此为权重聚合不同的交互时间间隔，提取候选物品的当前流行度；
S33、连接S31和S32的两种输出作为最后物品行为网络提取出的兴趣表示。
步骤S4中，采用多层感知机对S2、S3输出进行融合，多层感知机中间层使用PReLU激活函数，最终输出采用Sigmoid激活函数归一化预测点击率到0-1的范围。
步骤S22中，采用三元损失函数约束循环神经网络的隐藏表示趋近用户下一个点击物品嵌入向量，远离随机负采样出来的未点击物品嵌入向量，公式如下：
其中，为第j+1个交互物品向量，为第j+1个随机负采样产生的未点击物品向量，β为超参数，Laux表示三元辅助损失用于监督当前兴趣的表示学习，hj代表GRU的隐藏向量表示；步骤S23连接综合兴趣和当前兴趣得到用户行为网络的最终输出，形式化如下：
其中，为循环神经网络最终时刻的隐藏状态，代表了用户行为演化到目前的当前兴趣表示，sc代表用户行为网络提取出的综合兴趣表示。
本发明针对电商场景中用户同一时间存在多种兴趣的现象，提出一种新颖的深度多兴趣网络(deep multi-interest network,DMN)，可以更好的模拟用户的真实兴趣表现，最终实现了高性能的点击率预测，避免了以往方法从单一角度提取兴趣表示的局限性，为真实场景使用提供了一种更具商业价值的推荐策略。本发明的整体模型包含用户行为网络和物品行为网络两部分，首先，在用户行为网络中，分别应用时间感知的注意力网络和循环神经网络分别来捕捉目标用户的综合兴趣和当前兴趣。并且，引入三元辅助损失来监督当前兴趣的学习，以此来提升兴趣表示学习的质量。其次，在物品行为网络中，连接综合兴趣和当前兴趣作为查询输入到多头注意力网络中建模目标用户兴趣与物品行为中的用户间的用户-用户兴趣，捕获了用户间的协同过滤信息。此外，通过注意力机制聚合物品行为上的用户点击时间，刻画出了当前时刻候选物品的流行度表示，以此反映用户对热门物品的独特偏好。最后，综合兴趣、当前兴趣、用户-用户兴趣和物品流行度共同输入到多层感知机进行点击率预测。
本发明的有益效果：
1、本发明提出了基于深度多兴趣网络预测点击率，设计了用户行为网络和物品行为网络分别关注用户侧兴趣和物品侧兴趣，分别提取用户行为和物品行为中的多种不同兴趣模式，更符合真实世界中用户的兴趣表达。
2、本发明首次引入三元辅助损失监督当前兴趣的学习，为建模兴趣表示与物品表示的语义相关性提供了一种新的方法，并提升了兴趣表示学习的质量。
3、本发明在物品行为网络中引入多头注意力机制为目标用户和物品行为中的用户自适应学习相关关系，使模型具备了捕获用户间协同过滤信息的能力，达到了利用相关用户来反应目标用户偏好的目的。
4、本发明在物品行为网络中设计了物品流行度提取层，通过物品一段时间内的流行度来反映物品对用户的客观吸引力，相比单一兴趣建模方式，本发明方法提取出的用户兴趣范围更广、表达能力更强。
附图说明
图1是本发明所述的深度多兴趣网络架构图；
图2是本发明所述的用户行为网络架构图。
具体实施方式
本发明所述的点击率预测模型是基于深度多兴趣网络(DMN)构建，该深度多兴趣网络架构如图1所示，包括编码层(或称嵌入层)、用户行为网络、物品行为网络和输出层。下面对本发明所述的点击率预测模型及运行过程进行详细说明。
1.1前言
在对模型架构进行详细描述前，先介绍下用户行为和物品行为的定义。
用户行为：给定一个用户u和当前推荐时间t，用户行为是用户按时间顺序交互过的物品和时间戳列表，形式化为
物品行为：给定一个物品i和当前推荐时间t，物品行为是已点击过物品i的用户、交互时间和用户已交互物品列表组成。形式化为其中表示在t时刻前用户交互过的物品集合。
在DMN中，用户特征域为用户id和用户行为；物品特征域包含物品id、物品类别和物品行为。因此，形式化描述在t时间，目标用户u点击候选项目i的预测点击率为：
其中，θ表示模型，p为模型对用户u点击物品i的预测概率。
1.2编码层
编码层也称嵌入层，用于将用户行为和物品行为中的原始点击时刻与当前推荐时刻的时间间隔以及目标用户编码和物品编码特征输入到编码矩阵，通过深度学习优化算法对大量数据的拟合学习，将这些高维稀疏特征转化为低维稠密向量。编码过程如下：
S11、按时间排序构建用户和物品的历史行为序列，其中用户行为参数包括历史交互物品、交互时间，物品行为参数包括已交互用户、交互时间和已交互用户历史交互物品；
S12、计算用户行为交互时间、物品行为交互时间与当前推荐时刻的时间间隔ttiv，公式如下：
ttiv＝t-tpre (2)，
其中tpre代表用户行为交互时间或物品行为交互时间，t代表当前推荐时刻；
S13、历史交互时间间隔遵循指数分布，采用2的指数间隔，将时间间隔映射为one-hot向量：
xtiv＝[sign(ttiv,0,1),sign(ttiv,1,2),...,sign(ttiv,2j,+∞)] (3)，
其中sign(x,y,z)为指示函数，如果x大于等于y并且x小于z则
sign(x,y,z)＝1，否则sign(x,y,z)＝0；
S14、将one-hot向量转换为低维稠密向量：
其中Wtime表示时间间隔编码矩阵，代表时间间隔编码后的nt维稠密向量；用户行为中的历史交互物品和时间间隔编码后分别得到用户行为下的历史交互物品嵌入序列和交互时间嵌入序列 是用户u在t时刻前的用户行为长度；物品行为中的已交互用户、交互时间、已交互用户历史交互物品编码后分别得到物品行为下的已交互用户嵌入序列交互时间嵌入序列和已交互用户历史交互物品嵌入序列 是物品i在t时刻前的物品行为长度。
1.3用户行为网络
如图2所示，本发明的用户行为网络分为综合兴趣提取层和当前兴趣提取层。
1.3.1综合兴趣提取层
由于用户历史行为中的项目多种多样，在捕捉用户综合兴趣时，交互项目与目标项目的相关性将直接决定其对综合兴趣构建的贡献度。注意力网络被广泛的用于为用户交互历史中的每个项目分配自适应权重。以往的方法在使用注意力网络学习自适应权重时都隐含地假设了用户行为中的历史交互与当前时刻具有相同的时间间隔，然而，用户的交互间隔长短不一，一般情况下用户不同时间间隔交互项目会对当期综合兴趣的构建产生不同程度的贡献，针对这一特点，本发明在综合兴趣提取层中设计时间间隔感知的注意力机制压缩用户历史行为中的冗余信息、提取高质量的综合兴趣表示。
基于时间间隔感知的注意力机制描述如下：
其中，表示用户行为中的第j个交互物品的ni维稠密向量嵌入，表示当前时刻与用户交互第j个物品时间间隔的nt维稠密向量嵌入，为用户行为中第j个物品未归一化前的注意力权重，γj为用户行为中第j个物品归一化后的注意力权重，从公式(5)可见，该注意力权重不仅反映了用户历史交互物品与候选物品的相关性，同时也刻画出了不同时间间隔对权重大小贡献程度不同的事实。表示当前t时刻用户行为的长度，σ为sigmiod激活函数，b为注意力网络学习参数。通过加权求和的方式聚合用户行为中的物品向量得到用户对候选项目的综合兴趣sc：
1.3.2当前兴趣提取层
用户的兴趣往往是动态演化的，交互项目之间具有一定的因果关系。举例来说，当一个用户购买了电脑、鼠标后，他的兴趣可能集中在键盘、硬盘这些物品上。这种时序演化兴趣仅随交互项目变化，与候选项目无关。本发明利用循环神经网络(GRU)来提取用户行为上的潜在兴趣变化，并将最后时刻的潜在兴趣作为当前兴趣，GRU提取各时刻潜在兴趣如下：
其中hj为GRU循环神经网络的第j个隐藏状态，Wr、Wz、Wh、Uh为GRU循环神经网络学习参数，bz、br、bh为GRU循环神经网络偏置学习参数，zj、rj分别代表重置门权重和更新门权重。
为了最大化当前兴趣和物品嵌入向量的语义相关性，不同于以往的模型构建辅助损失网络监督当前兴趣表示学习，本发明使用三元损失函数(Triplet Loss)作为当前兴趣提取层的辅助损失函数来增强监督信号。这使得当前兴趣向量的表示学习不需要额外的非线性变换就能直接与物品嵌入向量在同一向量空间展现出高度相关性。为当前兴趣的表示学习提供了一种更高效、更高质的辅助损失构建方式。具体而言，对循环神经网络每个时刻的隐藏状态，将目标用户下一个交互物品作为正例，从物品集合中随机抽样一个作为负例。Triplet Loss辅助损失直接约束GRU的隐藏表示趋近用户下一个点击物品嵌入向量，远离随机负采样出来的未点击物品嵌入向量。形式化公式如下：
其中，为第j+1个交互物品向量，为第j+1个随机负采样产生的未点击物品向量，β为超参数。可见，当GRU按照时序训练完毕后，最后时刻的GRU隐藏状态，即为我们所需提取的当前兴趣表示。因此，连接综合兴趣和当前兴趣得到用户行为网络的最终输出，形式化如下：
其中，为GRU最终时刻的隐藏状态，代表了用户行为演化到目前的当前兴趣表示，sc代表用户行为网络提取出的综合兴趣表示。
1.4物品行为网络
用户兴趣不仅体现在其自身的行为中，同时物品行为中也蕴含有用户丰富的兴趣模式。具体而言，在向目标用户推荐候选物品时，可以借助协同过滤的思想，利用物品行为上的用户与目标用户的相似性来反应目标用户兴趣。这不仅挖掘出了用户在本地未曾表现出的兴趣模式，还能增加推荐的新颖性。此外，真实世界中的购物节，促销等活动会使得某些物品在短时间得到大量点击变成热门物品。对于这些热门物品，用户可能会表现出与以往不同的兴趣。这些兴趣模式都蕴含在物品行为中，而以往的模型往往只关注到提取用户行为上的用户兴趣，从而导致最终模型性能上限不高，
为此，本发明专门设计了物品行为网络来关注物品行为中蕴含的不同兴趣模式，通过物品行为网络和用户行为网络分别提取的兴趣模式间的相互补充、相互增强以此达到了最大限度的丰富用户兴趣表征，使得用户兴趣表征中蕴含有来自用户行为和物品行为中的多种兴趣模式，大大增强了模型的表达能力。本发明将物品行为网络划分为用户-用户兴趣提取层和物品流行度提取层来分别提取用户-用户兴趣和物品流行度。
1.4.1用户-用户兴趣提取层
在用户-用户兴趣提取层的目标是挖掘物品行为中的用户与目标用户间的相似性兴趣，以此来捕获用户间的协同过滤信息。本发明采用多头的机制允许注意力机制组合使用查询、键和值的不同的子空间表示，以此捕获更多的有效信息，大大增强了用户-用户兴趣的表达能力。对于物品行为中任一用户um，在多头注意力机制中，查询、键、值投影矩阵计算如下:
Q＝WQsu
其中，su表示用户行为网络输出的兴趣，t′表示用户um点击候选物品的时间，WQ、WK、WV是多头注意力网络中的投影矩阵。
注意力计算公式如下：
dk代表查询、键、值的维度。连接多头计算结果以捕获不同表示子空间下的相似兴趣：
其中，Wj Q、Wj K、Wj V分别代表第j个头中的查询、键、值投影矩阵，headj代表第j个子空间上的向量表示。多头注意力计算为物品行为中的每个用户都生成了一个与目标用户兴趣的相似性兴趣表示，为了聚合这些兴趣表示，注意力激活权重被用于为它们分配不同的权重。公式如下:
其中，b为网络学习参数，为归一化前的用户m与目标用户u的兴趣相似性程度因子，αm为归一化后的用户m与目标用户u的兴趣相似性程度因子，代表当前时刻候选物品i的物品行为长度，加权各个用户相似性兴趣得到用户-用户兴趣如下：
1.4.2物品流行度提取层
由于热点事件或者促销活动的影响，在特定的时刻某些物品会迅速成为流行物品，对于这种流行物品用户往往会表现出不同与以往的兴趣，这在以往的研究中往往是被忽视的。以往的研究往往仅仅关注用户主观兴趣，但用户有时候也会被客观因素影响其兴趣。为了扩展用户兴趣表达范围，并精准刻画出此类客观环境变化导致用户兴趣变化的现象。本发明通过某个物品在近期的点击量情况刻画这种促销或者热度事件变化。比如一个物品在近期被大量用户点击，那么可认为该物品此时的流行度较高，反之亦然。由于目标用户受不同用户影响程度不同，不同用户的点击行为对流行度的贡献程度可能不同。为此，为了计算物品当前时刻的流行度，如图1所示，首先采用注意力机制计算不同用户对目标用户的影响因子，再以这些影响因子为权重自适应聚合不同用户的点击时刻间隔向量得到物品流行度，表示如下：
其中，公式(20)通过注意力网络计算不同用户对目标用户的影响因子大小，公式(21)使用softmax函数来归一化不同用户对目标用户的影响因子使其符合概率分布，为归一化前的用户j对目标用户u的影响因子，αj为归一化后的用户j对目标用户u的影响因子，eu为目标用户嵌入向量，表示物品行为中的第j个用户的嵌入向量，表示物品行为中第j个用户的点击时间间隔嵌入向量，b为网络学习参数，为当前时刻候选物品i的物品行为长度，sp代表候选物品的当前流行度。
1.5输出层
将用户行为网络输出、物品行为网络输出、候选物品和目标用户嵌入编码连接作为输入来计算目标用户点击候选物品的概率。输出层由一个三层全连接网络和PReLU激活函数组成，最后输出通过sigmoid函数将预测概率归一化到0到1。公式如下:
h0＝concat(eu,ei,su,si,sp) (23)
其中，p为深度多兴趣网络预测点击率，为第i个全连接层的学习参数。
1.6网络优化
点击率预测(CTR)任务本质上是一个二分类任务，交叉熵损失由于收敛快，梯度稳定等特性被广泛用于分类任务。因此，采用交叉熵损失作为目标损失如下：
其中，N表示数据集大小，pi表示第i条样本的预测点击率，yui∈{0,1}表示点击标签。结合当前兴趣提取层中的三元辅助损失，模型最终的优化目标可表示为：
L＝Ltarget+β·Laux (27)
β为超参数，用来平衡三元辅助损失和目标损失的权重占比。

Claims (11)

1.一种基于深度多兴趣网络的点击率预测模型，其特征在于包括：编码层，用于将用户行为和物品行为中的原始点击时刻与当前推荐时刻的时间间隔以及目标用户编码和物品编码特征转化为低维稠密向量；
用户行为网络，包括综合兴趣提取层和当前兴趣提取层，所述综合兴趣提取层应用时间间隔感知的注意力机制从用户的历史行为中提取用户对候选项目的综合兴趣，所述当前兴趣提取层应用循环神经网络提取用户行为上的潜在兴趣变化，并将最后时刻的潜在兴趣作为当前兴趣；
物品行为网络，包括用户-用户兴趣提取层和物品流行度提取层，所述用户-用户兴趣提取层用于挖掘物品行为中的用户与目标用户间的相似性兴趣，所述物品流行度提取层通过注意力机制自适应聚合物品行为上的时间间隔嵌入向量得到当前物品的流行度；
输出层，用于将用户行为网络输出、物品行为网络输出、候选物品和目标用户嵌入编码连接，计算目标用户点击候选物品的概率。
2.根据权利要求1所述的基于深度多兴趣网络的点击率预测模型，其特征在于：所述当前兴趣提取层采用三元损失函数作为辅助损失函数监督当前兴趣的学习过程。
3.根据权利要求1所述的基于深度多兴趣网络的点击率预测模型，其特征在于：所述用户-用户兴趣提取层将用户行为网络的输出兴趣作为查询，并组合使用键和值，应用多头注意力机制计算物品行为中的每个用户与目标用户的相似性兴趣，得到用户-用户兴趣。
4.根据权利要求1所述的基于深度多兴趣网络的点击率预测模型，其特征在于：所述物品流行度提取层首先采用注意力机制计算不同用户对目标用户的影响因子，再以这些影响因子为权重自适应聚合不同用户的点击时刻间隔向量得到物品流行度，表示如下：
其中，公式(20)通过注意力网络计算不同用户对目标用户的影响因子，公式(21)使用softmax函数来归一化不同用户对目标用户的影响因子使其符合概率分布，为归一化前的用户j对目标用户u的影响因子，αj为用户影响因子，eu为目标用户嵌入向量，表示物品行为中的第j个用户的嵌入向量，表示物品行为中第j个用户的点击时间间隔嵌入向量，为网络学习参数，为当前时刻候选物品i的物品行为长度，sp代表候选物品的当前流行度。
5.根据权利要求1所述的基于深度多兴趣网络的点击率预测模型，其特征在于：所述输出层由三层全连接网络和PReLU激活函数组成，最后输出通过sigmoid函数将预测概率归一化到0到1。
6.一种基于深度多兴趣网络的点击率预测方法，其特征在于：采用权利要求1-5所述的模型进行训练，包括以下步骤：
S1、将用户行为和物品行为中的原始点击时刻与当前推荐时刻的时间间隔以及目标用户编码和物品编码特征输入到编码矩阵，通过深度学习优化算法对大量数据的拟合学习，将这些高维稀疏特征转化为低维稠密向量；
S2、通过用户行为网络挖掘用户历史行为中不同的兴趣表达以及用户行为上的潜在兴趣变化，提取用户对候选项目的综合兴趣和当前兴趣；
S3、将用户行为网络输出的兴趣作为查询键，通过物品行为网络挖掘物品行为中的用户与目标用户间的相似性兴趣，并通过注意力机制自适应聚合物品行为上的时间间隔嵌入向量得到当前物品的流行度；
S4、将用户行为网络输出、物品行为网络输出、候选物品和目标用户嵌入编码连接，计算目标用户点击候选物品的概率。
7.根据权利要求6所述的基于深度多兴趣网络的点击率预测方法，其特征在于：步骤S1的具体过程如下：
S11、按时间排序构建用户和物品的历史行为序列，其中用户行为参数包括历史交互物品、交互时间，物品行为参数包括历史交互用户行为、交互时间；
S12、计算用户行为交互时间、物品行为交互时间与当前推荐时刻的时间间隔ttiv，公式如下：
ttiv＝t-tpre (2)，
其中tpre代表用户行为交互时间或物品行为交互时间，t代表当前推荐时刻；
S13、采用2的指数间隔，将时间间隔映射为one-hot向量：
xtiv＝[sign(ttiv,0,1),sign(ttiv,1,2),...,sign(ttiv,2j,+∞)] (3)，
其中sign(x,y,z)为指示函数，如果x大于等于y并且x小于z则
sign(x,y,z)＝1，否则sign(x,y,z)＝0；
S14、将one-hot向量转换为低维稠密向量：
其中Wtime表示时间间隔编码矩阵,代表时间间隔编码后的nt维稠密向量；用户行为中的历史交互物品和时间间隔编码后分别得到用户行为下的历史交互物品嵌入序列和交互时间嵌入序列是用户u在t时刻前的用户行为长度；物品行为中的已交互用户、交互时间、已交互用户历史交互物品编码后分别得到物品行为下的已交互用户嵌入序列交互时间嵌入序列和已交互用户历史交互物品嵌入序列 是物品i在t时刻前的物品行为长度。
8.根据权利要求6所述的基于深度多兴趣网络的点击率预测方法，其特征在于：步骤S2的具体过程如下：
S21、将编码后的用户行为中的历史交互物品嵌入序列交互时间嵌入序列输入到用户行为网络，利用基于时间间隔感知的注意力机制提取用户对候选项目的综合兴趣；
S22、将编码后的用户行为中的历史交互物品嵌入序列输入到用户行为网络，利用循环神经网络提取用户行为上的潜在兴趣变化，并将最后时刻的潜在兴趣作为当前兴趣；
S23、连接S21和S22的两种兴趣输出作为最后用户行为网络提取出的兴趣表示。
9.根据权利要求6所述的基于深度多兴趣网络的点击率预测方法，其特征在于：步骤S3的具体过程如下：
S31、将用户行为网络输出的兴趣表示和编码后的物品行为中的已交互用户历史交互物品嵌入序列输入到物品行为网络，采用多头注意力机制组合使用查询、键和值的不同的子空间表示，捕获不同子空间表示下的相似兴趣，聚合这些相似性兴趣，得到用户-用户兴趣；
S32、将编码后的物品行为中的交互时间嵌入序列输入到用户行为网络，采用注意力机制计算不同用户对目标用户的影响因子，再以此为权重聚合不同的交互时间间隔，提取候选物品的当前流行度；
S33、连接S31和S32的两种输出作为最后物品行为网络提取出的兴趣表示。
10.根据权利要求6所述的基于深度多兴趣网络的点击率预测方法，其特征在于：步骤S4中，采用多层感知机对S2、S3输出进行融合，多层感知机中间层使用PReLU激活函数，最终输出采用Sigmoid激活函数归一化预测点击率到0-1的范围。
11.根据权利要求8所述的基于深度多兴趣网络的点击率预测方法，其特征在于：步骤S22中，采用三元损失函数约束循环神经网络的隐藏表示趋近用户下一个点击物品嵌入向量，远离随机负采样出来的未点击物品嵌入向量，公式如下：
其中，为第j+1个交互物品向量，为第j+1个随机负采样产生的未点击物品向量，β为超参数，Laux表示三元辅助损失用于监督当前兴趣的表示学习，hj代表GRU的隐藏向量表示；步骤S23连接综合兴趣和当前兴趣得到用户行为网络的最终输出，形式化如下：
其中，为循环神经网络最终时刻的隐藏状态，代表了用户行为演化到目前的当前兴趣表示，Sc代表用户行为网络提取出的综合兴趣表示。
CN202310024780.2A 2023-01-09 2023-01-09 基于深度多兴趣网络的点击率预测模型及预测方法 Pending CN116051175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310024780.2A CN116051175A (zh) 2023-01-09 2023-01-09 基于深度多兴趣网络的点击率预测模型及预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310024780.2A CN116051175A (zh) 2023-01-09 2023-01-09 基于深度多兴趣网络的点击率预测模型及预测方法

Publications (1)

Publication Number Publication Date
CN116051175A true CN116051175A (zh) 2023-05-02

Family

ID=86115946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310024780.2A Pending CN116051175A (zh) 2023-01-09 2023-01-09 基于深度多兴趣网络的点击率预测模型及预测方法

Country Status (1)

Country Link
CN (1) CN116051175A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628179A (zh) * 2023-05-30 2023-08-22 道有道科技集团股份公司 一种用户操作数据的可视化与人机交互推荐方法
CN116911954A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 基于兴趣和流行度推荐物品的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628179A (zh) * 2023-05-30 2023-08-22 道有道科技集团股份公司 一种用户操作数据的可视化与人机交互推荐方法
CN116628179B (zh) * 2023-05-30 2023-12-22 道有道科技集团股份公司 一种用户操作数据的可视化与人机交互推荐方法
CN116911954A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 基于兴趣和流行度推荐物品的方法及装置
CN116911954B (zh) * 2023-09-12 2024-01-05 深圳须弥云图空间科技有限公司 基于兴趣和流行度推荐物品的方法及装置

Similar Documents

Publication Publication Date Title
Hou et al. A deep-learning prediction model for imbalanced time series data forecasting
CN112381581B (zh) 一种基于改进Transformer的广告点击率预估方法
CN111209386B (zh) 一种基于深度学习的个性化文本推荐方法
Kim et al. Rate coding or direct coding: Which one is better for accurate, robust, and energy-efficient spiking neural networks?
CN116051175A (zh) 基于深度多兴趣网络的点击率预测模型及预测方法
CN112364976B (zh) 基于会话推荐系统的用户偏好预测方法
CN110781409B (zh) 一种基于协同过滤的物品推荐方法
CN112765480B (zh) 一种信息推送方法、装置及计算机可读存储介质
CN108876044B (zh) 一种基于知识增强神经网络的线上内容流行度预测方法
Li et al. Attentive capsule network for click-through rate and conversion rate prediction in online advertising
CN111563770A (zh) 一种基于特征差异化学习的点击率预估方法
CN113962294B (zh) 多类型事件预测模型
CN110619540A (zh) 一种神经网络的点击流预估方法
CN111259140A (zh) 一种基于lstm多实体特征融合的虚假评论检测方法
CN112700274A (zh) 一种基于用户偏好的广告点击率预估方法
CN111753209A (zh) 一种基于改进时序卷积网络的序列推荐列表生成方法
CN112765461A (zh) 一种基于多兴趣胶囊网络的会话推荐方法
Tan et al. Multi-node load forecasting based on multi-task learning with modal feature extraction
Pan et al. A variational point process model for social event sequences
Stergiou et al. Application of deep learning and chaos theory for load forecasting in Greece
CN114971784B (zh) 一种融合自注意力机制基于图神经网络的会话推荐方法与系统
CN114969533A (zh) 一种基于用户长短期偏好的序列推荐方法
Wang et al. An enhanced multi-modal recommendation based on alternate training with knowledge graph representation
CN115510322A (zh) 一种基于深度学习的多目标优化推荐方法
CN113821724B (zh) 一种基于时间间隔增强的图神经网络推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination