CN114529077A - 一种基于会话内异构行为的点击率预测方法 - Google Patents

一种基于会话内异构行为的点击率预测方法 Download PDF

Info

Publication number
CN114529077A
CN114529077A CN202210137611.5A CN202210137611A CN114529077A CN 114529077 A CN114529077 A CN 114529077A CN 202210137611 A CN202210137611 A CN 202210137611A CN 114529077 A CN114529077 A CN 114529077A
Authority
CN
China
Prior art keywords
session
user
sequence
interest
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210137611.5A
Other languages
English (en)
Inventor
韩启龙
马懋群
宋洪涛
徐悦竹
李丽洁
张海涛
王也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202210137611.5A priority Critical patent/CN114529077A/zh
Publication of CN114529077A publication Critical patent/CN114529077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Molecular Biology (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Probability & Statistics with Applications (AREA)

Abstract

本发明提出了一种基于会话内异构行为的点击率预测方法，获得用户信息数据集、项目信息数据集和用户行为序列数据集，分别对三种数据集进行预处理，并分为训练集和测试集；构建基于会话内异构行为的点击率预测模型；训练构建的基于会话内异构行为的点击率预测模型；将待推荐用户的个人信息、待推荐项目信息和待推荐用户行为序列输入到训练后的基于会话内异构行为的点击率预测模型，计算用户对目标项目的点击率，根据点击率将项目进行排序，并将排序后的项目列表推荐给用户；本发明同时考虑了用户与项目之间的多种异构行为对用户兴趣的影响，利用注意力机制计算不同类型的行为对兴趣的影响权重，更加精准地提取用户的兴趣。

Description

一种基于会话内异构行为的点击率预测方法
技术领域
本发明属于点击率预测领域，具体地，涉及一种基于会话内异构行为的点击率预测方法。
背景技术
随着信息技术的不断发展，互联网上用户量及信息量的指数级递增造成了信息过载的现象，越来越多的技术倾向于利用用户与项目的历史交互信息来了解每个用户的兴趣，从而为用户提供个性化的推荐服务。而序列推荐系统与传统的协同过滤和基于内容过滤的推荐系统不同，它考虑并捕获了用户的行为序列、用户与项目之间的交互、用户偏好以及项目受欢迎程度随时间变化的演变模式。因此序列推荐能够更加精准地表达用户上下文信息、意图、目标以及项目的消费趋势，从而进行更加精准的预测和推荐。序列推荐系统主要通过对序列中用户与项目之间的交互进行建模，从而推荐用户可能感兴趣的项目。与传统的推荐系统相比，序列推荐系统的特点在于主要根据用户的历史交互信息对用户的兴趣进行预测，用户本身信息及项目本身信息仅仅作为辅助信息的一部分。而用户的历史交互信息中所包含的有效信息有限，无法直观地表达出用户的兴趣与意图。因此序列推荐系统需要根据有限的用户与项目交互序列表达出来的用户偏好来预测用户的真实兴趣并做出针对性推荐。
传统的推荐系统由于缺少相关技术的支撑，所以倾向于在学习用户表征的时候只选择从单一类型的用户-项目交互行为中进行学习，例如在点击率预测任务中仅考虑用户点击项目的交互行为。但是在现实世界中，用户与项目之间的交互并不仅仅是简单的点击浏览行为，还包括其他的行为类型，例如，用户在网上购物时通常会依次浏览多个商品进行比较，将喜欢的商品收藏或加入购物车，然后购买其中的一个或几个商品。用户进行比较的商品通常属于同一类别，而最后购买的多个商品通常在功能等方面可以进行互补且属于不同类别。因此在多行为类型的会话中存在更为复杂的依赖关系。也就是说，依赖不仅存在于同一类型的交互中(例如浏览)，还存在于不同类型的交互中(例如浏览和购买)。同时，最终用户购买的多个商品是同一个会话中用户不同兴趣的体现。而这种多类型的异构行为中隐含了更加复杂的依赖关系。
Wang等人曾提出只利用同一类型的用户行为进行预测具有局限性，忽略了其他行为所提供的信息的重要性，这些信息在目标行为稀疏且重要的情况下具有重要意义，他们提出一种基于会话的多关系图神经网络模型(MGNN-SPred)，将所有行为序列构建成了多关系项图。2016年Twardowski将异构行为的思想融入到了基于RNN的模型中进行下一项推荐的任务。2019年You等人在研究中提出了一个将时间卷积网络与GRU结合起来进行下一项预测的模型(HierTCN)，也在其中加入了异构行为的元素。
综上所述，目前的研究工作主要存在的问题是在推荐系统中所利用的用户行为类型过于单一，一定程度上忽视了在同一个会话中用户的异构行为对用户在该会话内所体现出的兴趣的影响是不同的。
发明内容
本发明针对在推荐系统中利用的用户行为类型过于单一问题，克服现有技术的不足，提出了一种基于会话内异构行为的点击率预测方法；本发明在推荐系统中考虑用户在同个会话中存在的多种兴趣，将用户的行为序列进行更加精准的划分。同时考虑了用户与项目之间的多种异构行为对用户兴趣的影响，利用注意力机制计算不同类型的行为对兴趣的影响权重，更加精准地提取用户的兴趣，并对曝光给该用户的项目的点击率进行更加精准的计算。
本发明通过以下技术方案实现：
一种基于会话内异构行为的点击率预测方法：
所述方法具体包括以下步骤：
步骤1：获得用户信息数据集、项目信息数据集和用户行为序列数据集，分别对三种数据集进行预处理，并分为训练集和测试集；
步骤2：构建基于会话内异构行为的点击率预测模型；
步骤3：训练步骤2构建的基于会话内异构行为的点击率预测模型；
步骤4：将待推荐用户的个人信息、待推荐项目信息和待推荐用户行为序列输入到步骤3训练后的基于会话内异构行为的点击率预测模型，计算用户对目标项目的点击率，根据点击率将项目进行排序，并将排序后的项目列表推荐给用户。
进一步地，在步骤1中，具体包括以下步骤：
步骤1.1：从用户个人信息数据集中，提取包括用户id、性别和年龄的用户个人信息；
步骤1.2：从项目信息数据集中，提取包括项目id、卖方id、品牌id、类别id和价格的项目具体信息；
步骤1.3：从用户行为序列数据集中，提取包括进行交互的用户id、被交互项目id以及用户对项目的交互类型的用户行为序列；
步骤1.4：对三种数据集进行预处理，以8:2的比例划分为训练集和测试集。
进一步地，在步骤2中，具体包含以下步骤：
步骤2.1：获得用户信息嵌入向量、项目信息嵌入向量和用户行为序列的嵌入向量；
其中用户信息嵌入向量表示为XU，项目信息嵌入向量表示为XI，用户行为序列嵌入向量表示为S；
步骤2.2：将步骤2.1中获取的用户行为序列的嵌入向量S输入到行为序列分割处理层，将行为序列分割成会话序列-1，对会话序列按照行为类型及交互项目类型进一步分割为会话序列-2，利用注意力机制计算每个行为类型的影响权重并形成加权会话序列；
步骤2.3：将步骤2.2中形成的加权会话序列输入到transformer编码层中进行兴趣提取，捕获会话内部的依赖关系，输出基于会话内依赖的兴趣序列；
步骤2.4：将步骤2.3中输出的基于会话内依赖的兴趣序列输入到一个Bi-LSTM层中进一步提取用户兴趣，捕获会话间的依赖关系，输出基于会话内和会话间依赖的兴趣序列。
进一步地，在步骤2.2中，
通过将用户行为序列的嵌入向量S以设定时间为间隔进行分割，并过滤掉不含有行为序列的嵌入向量以形成会话序列-1；
通过在每个会话序列-1上进一步按照交互项目的类别分割成更小的会话，最终将用户行为序列的嵌入向量S划分成多个会话Q；
其中第k个会话可以表示为Qk＝[b1；…；bi；…；bT]，T是会话长度，bi是用户在一个会话中的第i次交互的向量表示；
对于每一个会话序列，根据用户与项目的四种交互类型将会话表达为Qk＝[B1；B2；B3；B4]，所述四种交互类型分别为浏览、收藏、加入购物车以及购买；其中第k个行为类型的行为序列为
Figure BDA0003504995960000041
nk为以第k种行为类型进行交互的次数，Nk是四种行为中最大交互次数，对于每个Bk中的
Figure BDA0003504995960000042
到
Figure BDA0003504995960000043
以0补全；
加权会话序列为将四种行为类型输入到一个注意力层中，利用注意力机制计算每个行为类型的影响因子，计算第i个行为的影响因子αi；
公式为：
Figure BDA0003504995960000044
其中WB是训练的权重矩阵；
加权后行为向量为：
Figure BDA0003504995960000045
最终输出加权后的k个会话Q′，且
Figure BDA0003504995960000046
进一步地，在步骤2.3中，
首先为每个会话添加一个位置编码BE：
Figure BDA0003504995960000047
BE(k,t，c)代表了第k个会话中第t个物品的嵌入向量的第c个位置的偏置项，
Figure BDA0003504995960000048
为第k个会话的偏置项，
Figure BDA0003504995960000049
为第t个物品的偏置项，
Figure BDA00035049959600000410
为第c个位置的偏置项，将偏置项加入到会话表示中进行更新，更新后的会话为：Q′＝Q′+BE；
利用多头自注意机制对这种关系进行建模，令Q′k＝[Q′k1；…；Q′kh；…；Q′kH]，其中Q′kh是Q′k的第h个头部，H是头的数量，第h个头的输出为：headh＝Attention(Q′khWQ，Q′khWK，Q′khWV)，其中WQ，WK，WV都是线性矩阵，将所有的头部输出联结起来，输入到一个前馈神经网络中，其输出为：
Figure BDA00035049959600000411
其中FFN是前馈神经网络，WO是线性矩阵；
最后经过一个平均池化操作，得到兴趣序列Ik：
Figure BDA00035049959600000412
将其输入到一个激活单元中计算带权重的兴趣表征，计算方式如下：
Figure BDA00035049959600000413
Figure BDA00035049959600000414
其中WI是符合维度的线性矩阵。
进一步地，在步骤2.4中，首先计算Bi-LSTM的每个隐藏状态并形成混合了上下文信息的兴趣表征：
Figure BDA0003504995960000051
其中
Figure BDA0003504995960000052
和
Figure BDA0003504995960000053
分别是LSTM前向传播和反向传播对应时刻的隐藏状态；
然后将所述计算Bi-LSTM的每个隐藏状态并形成混合了上下文信息的兴趣表征输入到一个激活单元中计算带权重且混合了上下文信息的兴趣表征，计算方式如下：
Figure BDA0003504995960000054
Figure BDA0003504995960000055
其中WH是符合维度的线性矩阵。
进一步地，在步骤3中，具体包括如下步骤：
步骤3.1：将训练集中的数据输入到步骤2所述的基于会话内异构行为的点击率预测模型，得到基于会话内依赖的兴趣序列以及基于会话内和会话间依赖的兴趣序列；
步骤3.2：将用户信息嵌入表示、项目信息嵌入表示、基于会话内依赖的兴趣序列以及基于会话内和会话间依赖的兴趣序列输入到预测模块，得到用户对于目标项目的点击概率；
步骤3.3：通过计算预测的点击率与真实点击率之间的误差来更新模型的参数并优化损失函数，训练得到最优的基于会话内异构行为的点击率预测模型；
所述失函数具体计算如下：
Figure BDA0003504995960000056
其中yc为样本真实值，
Figure BDA0003504995960000057
为预测值。
进一步地，在步骤4中，将所述项目点击率进行排序，取前k个得分最高的项目推荐给用户。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现上述任一项所述方法的步骤。
本发明有益效果
本发明在推荐系统中考虑用户在同个会话中存在的多种兴趣，将用户的行为序列进行更加精准的划分，以获得点击率预测效果的提升；同时还通过考虑同一会话内的异构行为对用户在该会话内的兴趣的影响不同，不仅提高了对用户兴趣预测的准确性，还进一步地提升了对广告点击率的预测效果。
本发明考虑了用户与项目之间的多种异构行为对用户兴趣的影响，利用注意力机制计算不同类型的行为对兴趣的影响权重，更加精准地提取用户的兴趣，并对曝光给该用户的项目的点击率进行更加精准的计算。
附图说明
图1为本发明所述方法的流程图；
图2为本发明所述方法的模型框架图；
图3为本发明所述方法的分割处理层部分结构图；
图4为本发明所述方法的transformer编码层部分结构图；
图5为本发明所述方法的Bi-LSTM部分结构图；
图6为本发明所述方法最终预测部分结构图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1至图6。
一种基于会话内异构行为的点击率预测方法：
所述方法具体包括以下步骤：
步骤1：获得用户信息数据集、项目信息数据集和用户行为序列数据集，分别对三种数据集进行预处理，并分为训练集和测试集；
步骤2：构建基于会话内异构行为的点击率预测模型；
步骤3：训练步骤2构建的基于会话内异构行为的点击率预测模型；
步骤4：将待推荐用户的个人信息、待推荐项目信息和待推荐用户行为序列输入到步骤3训练后的基于会话内异构行为的点击率预测模型，计算用户对目标项目的点击率，根据点击率将项目进行排序，并将排序后的项目列表推荐给用户。
在步骤1中，具体包括以下步骤：
步骤1.1：从用户个人信息数据集中，提取包括用户id、性别和年龄的用户个人信息；
步骤1.2：从项目信息数据集中，提取包括项目id、卖方id、品牌id、类别id和价格的项目具体信息；
步骤1.3：从用户行为序列数据集中，提取包括进行交互的用户id、被交互项目id以及用户对项目的交互类型的用户行为序列；
步骤1.4：对三种数据集进行预处理，以8:2的比例划分为训练集和测试集。
在步骤2中，具体包含如下步骤：
步骤2.1：获得用户信息嵌入向量、项目信息嵌入向量和用户行为序列的嵌入向量；
通过嵌入将用户和项目的稀疏特征转换为低维密集向量，其中用户信息嵌入向量表示为XU，项目信息嵌入向量表示为XI，用户行为序列嵌入向量表示为S；
步骤2.2：将步骤2.1中获取的用户行为序列的嵌入向量S输入到行为序列分割处理层，将行为序列分割成会话序列-1，对会话序列按照行为类型及交互项目类型进一步分割为会话序列-2，利用注意力机制计算每个行为类型的影响权重并形成加权会话序列；
步骤2.3：将步骤2.2中形成的加权会话序列输入到transformer编码层中进行兴趣提取，捕获会话内部的依赖关系，输出基于会话内依赖的兴趣序列；
步骤2.4：将步骤2.3中输出的基于会话内依赖的兴趣序列输入到一个Bi-LSTM层中进一步提取用户兴趣，捕获会话间的依赖关系，输出基于会话内和会话间依赖的兴趣序列。
在步骤2.2中，
通过将用户行为序列的嵌入向量S以设定时间为间隔进行分割，并过滤掉不含有行为序列的嵌入向量以形成会话序列-1；所述设定时间优选为30分钟；
通过在每个会话序列-1上进一步按照交互项目的类别分割成更小的会话，最终将用户行为序列的嵌入向量S划分成多个会话Q；
其中第k个会话可以表示为Qk＝[b1；…；bi；…；bT]，T是会话长度，bi是用户在一个会话中的第i次交互的向量表示；
对于每一个会话序列，根据用户与项目的四种交互类型将会话表达为Qk＝[B1；B2；B3；B4]，所述四种交互类型分别为浏览、收藏、加入购物车以及购买；其中第k个行为类型的行为序列为
Figure BDA0003504995960000081
nk为以第k种行为类型进行交互的次数，Nk是四种行为中最大交互次数，对于每个Bk中的
Figure BDA0003504995960000082
到
Figure BDA0003504995960000083
以0补全；
加权会话序列为将四种行为类型输入到一个注意力层中，利用注意力机制计算每个行为类型的影响因子，计算第i个行为的影响因子αi；
公式为：
Figure BDA0003504995960000084
其中WB是训练的权重矩阵；
加权后行为向量为：
Figure BDA0003504995960000085
最终输出加权后的k个会话Q′，且
Figure BDA0003504995960000086
在步骤2.3中，
首先为每个会话添加一个位置编码BE：
Figure BDA0003504995960000087
BE(k，t，c)代表了第k个会话中第t个物品的嵌入向量的第c个位置的偏置项，
Figure BDA0003504995960000088
为第k个会话的偏置项，
Figure BDA0003504995960000089
为第t个物品的偏置项，
Figure BDA00035049959600000810
为第c个位置的偏置项，将偏置项加入到会话表示中进行更新，更新后的会话为：Q′＝Q′+BE；
利用多头自注意机制对这种关系进行建模，令Q′k＝[Q′k1；…；Q′kh；…；Q′kH]，其中Q′kh是Q′k的第h个头部，H是头的数量，第h个头的输出为：headh＝Attention(Q′khWQ，Q′khWK，Q′khWV)，其中WQ，WK，WV都是线性矩阵，将所有的头部输出联结起来，输入到一个前馈神经网络中，其输出为：
Figure BDA00035049959600000811
其中FFN是前馈神经网络，WO是线性矩阵；
最后经过一个平均池化操作，得到兴趣序列Ik：
Figure BDA00035049959600000812
将其输入到一个激活单元中计算带权重的兴趣表征，计算方式如下：
Figure BDA00035049959600000813
Figure BDA0003504995960000091
其中WI是符合维度的线性矩阵。
在步骤2.4中，首先计算Bi-LSTM的每个隐藏状态并形成混合了上下文信息的兴趣表征：
Figure BDA0003504995960000092
其中
Figure BDA0003504995960000093
和
Figure BDA0003504995960000094
分别是LSTM前向传播和反向传播对应时刻的隐藏状态；
然后将所述计算Bi-LSTM的每个隐藏状态并形成混合了上下文信息的兴趣表征输入到一个激活单元中计算带权重且混合了上下文信息的兴趣表征，计算方式如下：
Figure BDA0003504995960000095
Figure BDA0003504995960000096
其中WH是符合维度的线性矩阵。
在步骤3中，具体包括如下步骤：
步骤3.1：将训练集中的数据输入到步骤2所述的基于会话内异构行为的点击率预测模型，得到基于会话内依赖的兴趣序列以及基于会话内和会话间依赖的兴趣序列；
步骤3.2：将用户信息嵌入表示、项目信息嵌入表示、基于会话内依赖的兴趣序列以及基于会话内和会话间依赖的兴趣序列输入到预测模块，得到用户对于目标项目的点击概率；
对于用户U，待推荐项目I，步骤3.2所述的预测模块将用户a的信息嵌入向量XU、待推荐项目的信息嵌入向量XI、基于会话内依赖的兴趣序列UI以及基于会话内和会话间依赖的兴趣序列UH进行横向拼接，输入到以RELU作为激活函数的MLP层，然后利用softmax函数来计算用户点击目标项目的概率
Figure BDA0003504995960000097
步骤3.3：通过计算预测的点击率与真实点击率之间的误差来更新模型的参数并优化损失函数，训练得到最优的基于会话内异构行为的点击率预测模型；
所述失函数具体计算如下：
Figure BDA0003504995960000098
其中yc为样本真实值，
Figure BDA0003504995960000099
为预测值。
在步骤4中，将所述项目点击率进行排序，取前k个得分最高的项目推荐给用户。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现上述任一项所述方法的步骤。
以上对本发明所提出的一种基于对比学习和多头自注意力机制的多模态情感分析方法，进行了详细介绍，对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于会话内异构行为的点击率预测方法，其特征在于：
所述方法具体包括以下步骤：
步骤1：获得用户信息数据集、项目信息数据集和用户行为序列数据集，分别对三种数据集进行预处理，并分为训练集和测试集；
步骤2：构建基于会话内异构行为的点击率预测模型；
步骤3：训练步骤2构建的基于会话内异构行为的点击率预测模型；
步骤4：将待推荐用户的个人信息、待推荐项目信息和待推荐用户行为序列输入到步骤3训练后的基于会话内异构行为的点击率预测模型，计算用户对目标项目的点击率，根据点击率将项目进行排序，并将排序后的项目列表推荐给用户。
2.根据权利要求1所述方法，其特征在于：
在步骤1中，具体包括以下步骤：
步骤1.1：从用户个人信息数据集中，提取包括用户id、性别和年龄的用户个人信息；
步骤1.2：从项目信息数据集中，提取包括项目id、卖方id、品牌id、类别id和价格的项目具体信息；
步骤1.3：从用户行为序列数据集中，提取包括进行交互的用户id、被交互项目id以及用户对项目的交互类型的用户行为序列；
步骤1.4：对三种数据集进行预处理，以8∶2的比例划分为训练集和测试集。
3.根据权利要求2所述方法，其特征在于：
在步骤2中，具体包含以下步骤：
步骤2.1：获得用户信息嵌入向量、项目信息嵌入向量和用户行为序列的嵌入向量；
其中用户信息嵌入向量表示为XU，项目信息嵌入向量表示为XI，用户行为序列嵌入向量表示为S；
步骤2.2：将步骤2.1中获取的用户行为序列的嵌入向量S输入到行为序列分割处理层，将行为序列分割成会话序列-1，对会话序列按照行为类型及交互项目类型进一步分割为会话序列-2，利用注意力机制计算每个行为类型的影响权重并形成加权会话序列；
步骤2.3：将步骤2.2中形成的加权会话序列输入到transformer编码层中进行兴趣提取，捕获会话内部的依赖关系，输出基于会话内依赖的兴趣序列；
步骤2.4：将步骤2.3中输出的基于会话内依赖的兴趣序列输入到一个Bi-LSTM层中进一步提取用户兴趣，捕获会话间的依赖关系，输出基于会话内和会话间依赖的兴趣序列。
4.根据权利要求3所述方法，其特征在于：
在步骤2.2中，
通过将用户行为序列的嵌入向量S以设定时间为间隔进行分割，并过滤掉不含有行为序列的嵌入向量以形成会话序列-1；
通过在每个会话序列-1上进一步按照交互项目的类别分割成更小的会话，最终将用户行为序列的嵌入向量S划分成多个会话Q；
其中第k个会话可以表示为Qk＝[b1；…；bi；…；bT]，T是会话长度，bi是用户在一个会话中的第i次交互的向量表示；
对于每一个会话序列，根据用户与项目的四种交互类型将会话表达为Qk＝[B1；B2；B3；B4]，所述四种交互类型分别为浏览、收藏、加入购物车以及购买；其中第k个行为类型的行为序列为
Figure FDA0003504995950000021
nk为以第k种行为类型进行交互的次数，Nk是四种行为中最大交互次数，对于每个Bk中的
Figure FDA0003504995950000022
到
Figure FDA0003504995950000023
以0补全；
加权会话序列为将四种行为类型输入到一个注意力层中，利用注意力机制计算每个行为类型的影响因子，计算第i个行为的影响因子αi；
公式为：
Figure FDA0003504995950000024
其中WB是训练的权重矩阵；
加权后行为向量为：
Figure FDA0003504995950000025
最终输出加权后的k个会话Q′，且
Figure FDA0003504995950000026
5.根据权利要求4所述方法，其特征在于：在步骤2.3中，
首先为每个会话添加一个位置编码BE：
Figure FDA0003504995950000027
BE(k，t，c)代表了第k个会话中第t个物品的嵌入向量的第c个位置的偏置项，
Figure FDA0003504995950000028
为第k个会话的偏置项，
Figure FDA0003504995950000029
为第t个物品的偏置项，
Figure FDA00035049959500000210
为第c个位置的偏置项，将偏置项加入到会话表示中进行更新，更新后的会话为：Q′＝Q′+BE；
利用多头自注意机制对这种关系进行建模，令Q′k＝[Q′k1；…；Q′kh；…；Q′kH]，其中Q′kh是Q′k的第h个头部，H是头的数量，第h个头的输出为：headh＝Attention(Q′khWQ，Q′khWK，Q′khWV)，其中WQ，WK，WV都是线性矩阵，将所有的头部输出联结起来，输入到一个前馈神经网络中，其输出为：
Figure FDA0003504995950000031
其中FFN是前馈神经网络，WO是线性矩阵；
最后经过一个平均池化操作，得到兴趣序列Ik：
Figure FDA0003504995950000032
将其输入到一个激活单元中计算带权重的兴趣表征，计算方式如下：
Figure FDA0003504995950000033
Figure FDA0003504995950000034
其中WI是符合维度的线性矩阵。
6.根据权利要求5所述方法，其特征在于：
在步骤2.4中，首先计算Bi-LSTM的每个隐藏状态并形成混合了上下文信息的兴趣表征：
Figure FDA0003504995950000035
其中
Figure FDA0003504995950000036
和
Figure FDA0003504995950000037
分别是LSTM前向传播和反向传播对应时刻的隐藏状态；
然后将所述计算Bi-LSTM的每个隐藏状态并形成混合了上下文信息的兴趣表征输入到一个激活单元中计算带权重且混合了上下文信息的兴趣表征，计算方式如下：
Figure FDA0003504995950000038
Figure FDA0003504995950000039
其中WH是符合维度的线性矩阵。
7.根据权利要求3所述方法，其特征在于：
在步骤3中，具体包括以下步骤：
步骤3.1：将训练集中的数据输入到步骤2所述的基于会话内异构行为的点击率预测模型，得到基于会话内依赖的兴趣序列以及基于会话内和会话间依赖的兴趣序列；
步骤3.2：将用户信息嵌入表示、项目信息嵌入表示、基于会话内依赖的兴趣序列以及基于会话内和会话间依赖的兴趣序列输入到预测模块，得到用户对于目标项目的点击概率；
步骤3.3：通过计算预测的点击率与真实点击率之间的误差来更新模型的参数并优化损失函数，训练得到最优的基于会话内异构行为的点击率预测模型；
所述失函数具体计算如下：
Figure FDA0003504995950000041
其中yc为样本真实值，
Figure FDA0003504995950000042
为预测值。
8.根据权利要求7所述方法，其特征在于：
在步骤4中，将所述项目点击率进行排序，取前k个得分最高的项目推荐给用户。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
CN202210137611.5A 2022-02-15 2022-02-15 一种基于会话内异构行为的点击率预测方法 Pending CN114529077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210137611.5A CN114529077A (zh) 2022-02-15 2022-02-15 一种基于会话内异构行为的点击率预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210137611.5A CN114529077A (zh) 2022-02-15 2022-02-15 一种基于会话内异构行为的点击率预测方法

Publications (1)

Publication Number Publication Date
CN114529077A true CN114529077A (zh) 2022-05-24

Family

ID=81623469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210137611.5A Pending CN114529077A (zh) 2022-02-15 2022-02-15 一种基于会话内异构行为的点击率预测方法

Country Status (1)

Country Link
CN (1) CN114529077A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114417817A (zh) * 2021-12-30 2022-04-29 中国电信股份有限公司 一种会话信息切割方法和装置
WO2023246735A1 (zh) * 2022-06-21 2023-12-28 华为技术有限公司 一种项目推荐方法及其相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114417817A (zh) * 2021-12-30 2022-04-29 中国电信股份有限公司 一种会话信息切割方法和装置
WO2023246735A1 (zh) * 2022-06-21 2023-12-28 华为技术有限公司 一种项目推荐方法及其相关设备

Similar Documents

Publication Publication Date Title
Wu et al. Session-based recommendation with graph neural networks
US20220198289A1 (en) Recommendation model training method, selection probability prediction method, and apparatus
CN108648049B (zh) 一种基于用户行为区别建模的序列推荐方法
CN111222332B (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及系统
WO2021139164A1 (zh) 一种基于长短期兴趣的序列化推荐方法
CN110955826B (zh) 基于改进型循环神经网络单元的推荐系统
US20220171760A1 (en) Data processing method and apparatus, computer-readable storage medium, and electronic device
CN108665311B (zh) 一种基于深度神经网络的电商用户时变特征相似性计算推荐方法
CN114529077A (zh) 一种基于会话内异构行为的点击率预测方法
CN112381581A (zh) 一种基于改进Transformer的广告点击率预估方法
CN108230009B (zh) 一种用户偏好的预测方法及装置，电子设备
CN111737578A (zh) 一种推荐方法及系统
CN112819575B (zh) 一种考虑重复购买行为的会话推荐方法
CN113190751B (zh) 一种融合关键词生成的推荐方法
CN112085525A (zh) 一种基于混合模型的用户网络购买行为预测研究方法
CN111695024A (zh) 对象评估值的预测方法及系统、推荐方法及系统
CN113297487A (zh) 一种基于注意力机制增强门控循环单元的序列推荐系统及方法
CN115438787A (zh) 行为预测系统的训练方法及装置
CN115860870A (zh) 一种商品推荐方法、系统、装置及可读介质
CN116757747A (zh) 基于行为序列和特征重要性的点击率预测方法
CN116091174A (zh) 推荐策略优化系统、方法、装置及相关设备
Wang et al. Jointly modeling intra-and inter-transaction dependencies with hierarchical attentive transaction embeddings for next-item recommendation
CN110956528B (zh) 一种电商平台的推荐方法及系统
Varasteh et al. An Improved Hybrid Recommender System: Integrating Document Context-Based and Behavior-Based Methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination