CN114116995A - 基于增强图神经网络的会话推荐方法、系统及介质 - Google Patents

基于增强图神经网络的会话推荐方法、系统及介质 Download PDF

Info

Publication number
CN114116995A
CN114116995A CN202111182313.XA CN202111182313A CN114116995A CN 114116995 A CN114116995 A CN 114116995A CN 202111182313 A CN202111182313 A CN 202111182313A CN 114116995 A CN114116995 A CN 114116995A
Authority
CN
China
Prior art keywords
session
node
graph
neural network
conversation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111182313.XA
Other languages
English (en)
Inventor
曹紫涵
沈艳艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202111182313.XA priority Critical patent/CN114116995A/zh
Publication of CN114116995A publication Critical patent/CN114116995A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于增强图神经网络的会话推荐方法、系统及介质，包括：步骤1：获取会话内用户点击物品的序列数据并进行过滤；步骤2：构建会话感知图神经网络，将用户在会话内交互物品序列转换为有向图结构，每个物品转换为唯一结点，并在图中加入会话结点学习当前会话表示，物品结点间的有向边表示物品交互的先后顺序；步骤3：通过门控图神经网络进行会话图上的消息传播，捕获邻居结点的信息以更新当前结点；步骤4：利用注意力机制结合物品的位置编码，增强会话结点表示；步骤5：根据用户交互的历史物品序列学习的会话表示，预测用户下一时刻的交互行为。本发明能够有效的捕捉物品与整个会话的关系，提高用户行为预测精度。

Description

基于增强图神经网络的会话推荐方法、系统及介质
技术领域
本发明涉及会话推荐技术领域，具体地，涉及一种基于增强图神经网络的会话推荐方法、系统及介质。
背景技术
近年来，随着隐私保护的意识逐渐提升，会话推荐在推荐系统中扮演着重要的角色，即利用匿名用户在会话的交互行为预测该用户下一时刻的操作。由于会话内包含的信息十分有限，所以如何利用用户有限的交互行为来刻画用户的喜好变得具有挑战性。为了解决这一关键问题，一些研究使用循环神经网络以捕获会话交互序列的顺序信息，并对用户的长期兴趣进行建模。但是这类工作只能捕获到用户交互物品间单一的关系，为了捕获交互物品间更复杂的关系，另一类研究使用图神经网络来对用户的喜好进行建模。具体地，将会话序列转换为图结构，每个物品结点通过信息传播提取所有邻居结点的信息，从而提升了会话推荐的准确率。
专利文献CN112258262A(申请号：202010969069.0)公开了一种基于卷积自注意力网络的会话推荐方法，具体为：步骤1，将会话内每个物品表示为由物品嵌入与位置嵌入相加而得的低维向量；步骤2，对步骤1所得的低维向量进行序列建模和意图建模，分别捕捉会话的序列信息和关键意图信息，步骤3，基于得到的拼接序列信息和关键意图信息，由选择地预测用户下一步点击重复物品或不重复物品。
然而现有基于图神经网络的工作都注重刻画物品与物品之间关系，忽略了物品与整个会话序列的关系，如构建的会话图内只能通过边来体现物品与物品间先后交互顺序，不能体现物品在整个会话序列中的位置信息。本发明提出一种增强图神经网络的会话推荐方法，与现有图神经网络推荐方法有以下几点区别：1)我们将会话转换成图结构时，在图中加入一个会话级别结点以捕捉物品与整个会话的关系，而现有方法构建的会话图中结点都为物品级别结点。2)我们在图神经网络与带有位置编码的注意力层结合加强会话结点的表示，在信息传播和聚集后获得包含物品与会话关系的会话表征。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于增强图神经网络的会话推荐方法、系统及介质。
根据本发明提供的基于增强图神经网络的会话推荐方法，包括：
步骤1：获取会话内用户点击物品的序列数据并进行过滤；
步骤2：构建会话感知图神经网络，将用户在会话内交互物品序列转换为有向图结构，每个物品转换为唯一结点，并在图中加入会话结点学习当前会话表示，物品结点间的有向边表示物品交互的先后顺序；
步骤3：通过门控图神经网络GGNN进行会话图上的消息传播，捕获邻居结点的信息以更新当前结点；
步骤4：利用注意力机制结合物品的位置编码，增强会话结点表示；
步骤5：根据用户交互的历史物品序列学习的会话表示，预测用户下一时刻的交互行为，实现用户下一时刻交互行为的推荐。
优选的，所述会话感知图神经网络对获取的会话内用户点击物品的序列数据进行预处理，包括：去除会话中被点击频率超出预设范围的物品，过滤会话序列长度仅为1的会话数据，将每一条会话数据分割多条会话数据以增强数据。
优选的，构建会话图，包括：
输入会话内用户点击物品序列s＝{v1,v2,…,vn}，输出对应的会话图G＝(V,Ain,Aout)，其中，V是所构建图中结点集合，由物品结点v1,v2,…,vn和会话结点vs组成；Ain,Aout为构建图的邻接矩阵；
点击序列中邻接物品结点vi和物品结点vi+1之间构建有向边；
会话中每个物品结点vi都与会话结点vs构建有向边。
优选的，构建物品-会话交互模型，包括嵌入层、门控图神经网络层以及注意力层；
所述嵌入层：输入构建的会话图结点集合V，将每一个结点vi表示为一个向量vi，输出会话图结点的向量表示v1,v2,…,vn,vs；
所述门控图神经网络层：
输入会话序列构建的会话图G＝(V,Ain,Aout)，利用门控图神经网络GGNN捕捉图中每个结点与邻居结点的关系，并更新结点的表征，表达式为：
Figure BDA0003297767090000021
Figure BDA0003297767090000031
Figure BDA0003297767090000032
其中，fin和fout是两个函数，分别计算通过入边、出边连接vi的邻居结点传递的信息；Nin(i)和Nout(i)分别表示通过入边、出边连接vi的邻居结点集合；
Figure BDA0003297767090000033
表示结点vi在图神经网络第l层的状态向量；Win和Wout分别表示入边、出边连接的邻居结点信息的投影矩阵；bin和bout表示偏移量；j表示相对位置最小距离阈值；k表示相对位置最大距离阈值；
所述注意力层：
输入会话图中所有结点向量v1,v2,…,vn,vs，使用注意力机制结合位置编码捕捉物品结点在会话序列中的位置信息和每一个用户点击的物品对于会话的贡献度，以重新调整会话结点的向量表示；首先为每个物品生成一个位置编码，表达式为：
Figure BDA0003297767090000034
Figure BDA0003297767090000035
其中，n表示当前会话序列的长度；li∈[1,n]表示vi在会话序列中的位置；
Figure BDA0003297767090000036
和
Figure BDA0003297767090000037
表示物品vi的逆序位置编码；
Figure BDA0003297767090000038
和
Figure BDA0003297767090000039
Figure BDA00032977670900000310
是两个位置编码的参数矩阵。
优选的，使用注意力机制结合位置信息，给不同物品结点计算不同的重要性权重，来加强会话结点的表示，表达式为：
Figure BDA00032977670900000311
Figure BDA00032977670900000312
Figure BDA00032977670900000313
其中，
Figure BDA00032977670900000314
包含物品结点对于整个会话重要程度信息和位置信息；
Figure BDA00032977670900000315
表示会话序列中除去vi以外的物品结点的集合；ai表示第i个物品结点向量vi的权重；σ是sigmod激活函数；wa、
Figure BDA00032977670900000316
以及
Figure BDA00032977670900000317
是权重矩阵；ba是偏移量；
利用门控机制结合门控图神经网络中所有物品结点聚合的会话信息和注意力机制所聚合的会话信息，表达式为：
Figure BDA00032977670900000318
其中，β表示包含品结点对于整个会话重要程度信息和位置信息的
Figure BDA00032977670900000319
的权重；
Figure BDA00032977670900000320
和
Figure BDA0003297767090000041
是矩阵权重；
Figure BDA0003297767090000042
和
Figure BDA0003297767090000043
是偏移量；
调整并更新会话结点向量
Figure BDA0003297767090000044
Figure BDA0003297767090000045
其中，
Figure BDA0003297767090000046
为会话结点在第l层的最终表示。
优选的，构建融合及预测模型，包括：输入为第L层的会话向量
Figure BDA0003297767090000047
和最后一个点击物品向量
Figure BDA0003297767090000048
输出最终会话表征hs进行预测；
利用最后一个点击的物品向量
Figure BDA0003297767090000049
代表用户近期的喜好，并使用门控图神经网络结合长期兴趣和近期喜好，得到会话结点向量的权重γ和当前输入会话序列的最终表征hs，表达式为：
Figure BDA00032977670900000410
Figure BDA00032977670900000411
其中，
Figure BDA00032977670900000417
和
Figure BDA00032977670900000418
是矩阵权重；
Figure BDA00032977670900000419
和
Figure BDA00032977670900000420
是偏移量；
利用会话表征hs计算用户下一次点击物品的概率，表达式为：
Figure BDA00032977670900000412
其中，
Figure BDA00032977670900000413
表示数据集中所有物品被用户下一次点击概率分布；|I|表示数据集中物品集合I的所有物品的数量；E由所有物品的嵌入向量组成。
优选的，利用分类问题的交叉熵目标函数作为基于会话推荐系统的目标函数，目标函数为：
Figure BDA00032977670900000414
其中，L表示训练的目标函数；
Figure BDA00032977670900000415
表示输入样本后模型预测的下一次点击物品为物品i的概率；yi表示样本s下一个点击物品的真实值；τ表示训练集，s表示训练集中的训练样本包含用户会话内历史点击序列数据和下一次点击物品。
优选的，为了防止模型过拟合，在每层神经网络添加随机失活dropout，然后对模型参数添加L2正则项，最终的目标函数为：
Figure BDA00032977670900000416
其中，Θ表示模型的所有参数；λ表示一个控制正则项惩罚强度的超参；||Θ||表示Θ的范数。
根据本发明提供的基于增强图神经网络的会话推荐系统，包括：
模块M1：获取会话内用户点击物品的序列数据并进行过滤；
模块M2：构建会话感知图神经网络，将用户在会话内交互物品序列转换为有向图结构，每个物品转换为唯一结点，并在图中加入会话结点学习当前会话表示，物品结点间的有向边表示物品交互的先后顺序；
模块M3：通过门控图神经网络GGNN进行会话图上的消息传播，捕获邻居结点的信息以更新当前结点；
模块M4：利用注意力机制结合物品的位置编码，增强会话结点表示；
模块M5：根据用户交互的历史物品序列学习的会话表示，预测用户下一时刻的交互行为，实现用户下一时刻交互行为的推荐。
根据本发明提供的存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明基于增强图构建方法、图神经网络信息传播和软注意力机制，更好地学习会话表示，能够有效的捕捉物品与整个会话的关系，从而提高用户交互行为推荐的准确率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的优选例提供的会话推荐方法框架结构示意图；
图2为本发明的优选例提供的会话推荐模型结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1：
如图1，根据本发明提供的一种基于图神经网络的会话推荐方法，包括：
数据预处理步骤：获取会话内用户点击物品序列数据，对获取的会话点击数据进行预处理，获得预处理后数据；
会话感知图神经网络构建步骤：将用户在会话内交互物品序列转换为有向图结构，每个物品转换为唯一结点，并在图中加入一个会话结点学习当前会话表示，物品结点间的有向边表示物品交互的先后顺序；通过结点在图结构上的信息传播捕捉邻居结点的特征，更新结点的表示，并通过注意力机制增强会话的表示；
用户交互预测步骤：根据会话内用户交互的历史物品序列学习的会话表示来预测用户下一时刻的交互行为，实现用户下一时刻交互行为的推荐。
具体地，所述会话感知图神经网络：
所述对获取的会话点击数据进行预处理包括：
对会话数据进行预处理：去除会话中被点击频率过小的物品，过滤会话序列长度仅为1的会话数据，将每一条会话数据分割多条会话数据以增强数据，获得预处理后的会话数据；
具体地，所述会话感知图神经网络：
如图2，所述基于增强图神经网络的会话推荐模型包括：构建会话图、物品-会话交互模块、融合及预测模块；
所述构建会话图：
输入会话匿名用户点击物品序列s＝{v1,v2,…,vn}，输出对应的会话图G＝(V,Ain,Aout)，其中V是所构建图中结点集合，由物品结点v1,v2,…,vn和会话结点vs组成；Ain,Aout为构建图的邻接矩阵。点击序列中邻接物品结点vi和物品结点vi+1之间构建有向边；会话中每个物品结点vi都与会话结点vs构建有向边。
所述物品-会话交互模块包括：嵌入层、门控图神经网络层以及注意力层。
所述嵌入层：输入构建的会话图结点集合V，嵌入层先将每一个结点vi表示为一个向量vi，输出会话图结点的向量表示v1,v2,…,vn,vs。
所述门控图神经网络层：
输入会话序列构建的会话图G＝(V,Ain,Aout)，利用门控神经网络GGNN来捕捉图中每个结点与邻居结点的关系，并更新结点的表征，具体流程如下：
Figure BDA0003297767090000061
Figure BDA0003297767090000062
Figure BDA0003297767090000063
其中，GGNN表示门控图神经网络；fin和fout是两个函数，分别计算通过入边/出边连接vi的邻居结点传递的信息；Nin(i)和Nout(i)分别表示通过入边/出边连接vi的邻居结点集合；
Figure BDA0003297767090000071
表示结点vi在图神经网络第l层的状态向量；Win和Wout分别表示入边/出边连接的邻居结点信息的投影矩阵；bin和bout表示偏移量：
所述注意力层：
输入会话图中所有结点向量v1,v2,…,vn,vs，本层使用注意力机制结合位置编码捕捉物品结点在会话序列中的位置信息和每一个用户点击的物品对于会话的贡献度，以重新调整会话结点的向量表示。首先为每个物品生成一个位置编码：
Figure BDA0003297767090000072
Figure BDA0003297767090000073
其中，n表示当前会话序列的长度；li∈[1,n]表示vi在会话序列中的位置；
Figure BDA0003297767090000074
和
Figure BDA0003297767090000075
表示物品vi的逆序位置编码；
Figure BDA0003297767090000076
和
Figure BDA0003297767090000077
Figure BDA0003297767090000078
是两个位置编码的参数矩阵；k表示相对位置最大距离阈值，假设位置信息超过一定范围不再有用。
为了捕捉物品结点在原会话点击序列中的位置信息，使用注意力机制结合位置信息，给不用物品结点计算不同的重要性权重来加强会话结点的表示：
Figure BDA0003297767090000079
Figure BDA00032977670900000710
Figure BDA00032977670900000711
其中，
Figure BDA00032977670900000712
包含了物品结点对于整个会话重要程度信息和位置信息；
Figure BDA00032977670900000713
表示会话序列中除去vi以外的物品结点的集合；ai表示第i个物品结点向量vi的权重；σ是sigmod激活函数；wa、
Figure BDA00032977670900000714
以及
Figure BDA00032977670900000715
是权重矩阵；ba是偏移量；
为了更好的结合门控图神经网络中所有物品结点聚合的会话信息和注意力机制所聚合的会话信息，本发明利用门控机制来结合这两个部分的信息：
Figure BDA00032977670900000716
其中，β表示包含品结点对于整个会话重要程度信息和位置信息的
Figure BDA00032977670900000717
的权重；
Figure BDA00032977670900000718
和
Figure BDA00032977670900000719
是矩阵权重；
Figure BDA00032977670900000720
和
Figure BDA00032977670900000721
是偏移量；
调整并更新会话结点向量
Figure BDA0003297767090000081
Figure BDA0003297767090000082
其中，
Figure BDA0003297767090000083
表示会话结点在第l层的最终表征；
所述融合及预测模块：
输入物品-会话交互模块第L层的会话向量
Figure BDA0003297767090000084
和最后一个点击物品向量
Figure BDA0003297767090000085
输出最终会话表征hs进行预测；为了捕捉用户长期兴趣和近期喜好，利用最后一个点击的物品向量vlast代表用户近期的喜好，并使用门控神经网络结合长期兴趣和近期喜好：
Figure BDA0003297767090000086
Figure BDA0003297767090000087
其中，γ表示会话结点向量的权重；hs表示当前输入会话序列的最终表征；
Figure BDA0003297767090000088
和
Figure BDA0003297767090000089
是矩阵权重；
Figure BDA00032977670900000810
和
Figure BDA00032977670900000811
是偏移量；
利用会话表征hs计算用户下一次点击物品的概率：
Figure BDA00032977670900000812
其中，
Figure BDA00032977670900000813
表示数据集中所有物品被用户下一次点击概率分布；|I|表示数据集中物品集合I的所有物品的数量；E由所有物品的嵌入向量组成；
具体地，所述会话感知图神经网络：
所述对增强图神经网络的会话推荐模型进行训练，获得训练后的模型：
利用分类问题的交叉熵目标函数作为基于会话推荐系统的目标函数，目标函数如下：
Figure BDA00032977670900000814
其中，L表示训练的目标函数；
Figure BDA00032977670900000815
表示输入样本s后模型预测的下一次点击物品为物品i的概率；yi表示样本s下一个点击物品的真实值；τ表示训练集，s表示训练集中的训练样本包含用户会话内历史点击序列数据和下一次点击物品；
为了防止模型过拟合，采用了dropout和L2正则项技术，具体来说，在每层神经网络添加随机失活dropout，然后对模型参数添加L2正则项，最终的目标函数为：
Figure BDA00032977670900000816
其中，Θ表示模型的所有参数；λ表示一个控制正则项惩罚强度的超参；||Θ||表示Θ的范数，即模长；
由于Adam优化器更适合不稳定的训练目标而且它能动态调整学习率以更快收敛，因此利用Adam优化器做梯度下降训练模型。
具体地，所述用户交互预测：
所述会话内用户交互的历史物品序列指：用户在当前会话内所点击的物品序列。
根据本发明提供的一种基于增强图神经网络的会话推荐系统，包括：
数据预处理模块：获取会话内用户点击物品序列数据，对获取的会话点击数据进行预处理，获得预处理后数据；
会话感知图神经网络构建模块：将用户在会话内交互物品序列转换为有向图结构，每个物品转换为唯一结点，并在图中加入一个会话结点学习当前会话表示，物品结点间的有向边表示物品交互的先后顺序；通过结点在图结构上的信息传播捕捉邻居结点的特征，更新结点的表示，并通过注意力机制增强会话的表示；
用户交互预测模块：根据会话内用户交互的历史物品序列学习的会话表示来预测用户下一时刻的交互行为，实现用户下一时刻交互行为的推荐。
具体地，所述会话感知图神经网络：
所述对获取的会话点击数据进行预处理包括：
对会话数据进行预处理：去除会话中被点击频率过小的物品，过滤会话序列长度仅为1的会话数据，将每一条会话数据分割多条会话数据以增强数据，获得预处理后的会话数据；
具体地，所述会话感知图神经网络：
所述基于增强图神经网络的会话推荐模型包括：构建会话图、物品-会话交互模块、融合及预测模块；
所述构建会话图：
输入会话匿名用户点击物品序列s＝{v1,v2,…,vn}，输出对应的会话图G＝(V,Ain,Aout)，其中V是所构建图中结点集合，由物品结点v1,v2,…,vn和会话结点vs组成；Ain,Aout为构建图的邻接矩阵。点击序列中邻接物品结点vi和物品结点vi+1之间构建有向边；会话中每个物品结点vi都与会话结点vs构建有向边。
所述物品-会话交互模块包括：嵌入层、门控图神经网络层以及注意力层。
所述嵌入层：输入构建的会话图结点集合V，嵌入层先将每一个结点vi表示为一个向量vi，输出会话图结点的向量表示v1,v2,…,vn,vs。
所述门控图神经网络层：
输入会话序列构建的会话图G＝(V,Ain,Aout)，利用门控神经网络GGNN来捕捉图中每个结点与邻居结点的关系，并更新结点的表征，具体流程如下：
Figure BDA0003297767090000101
Figure BDA0003297767090000102
Figure BDA0003297767090000103
其中，GGNN表示门控图神经网络；fin和fout是两个函数，分别计算通过入边/出边连接vi的邻居结点传递的信息；Nin(i)和Nout(i)分别表示通过入边/出边连接vi的邻居结点集合；
Figure BDA0003297767090000104
表示结点vi在图神经网络第l层的状态向量；Win和Wout分别表示入边/出边连接的邻居结点信息的投影矩阵；bin和bout表示偏移量：
所述注意力层：
输入会话图中所有结点向量v1,v2,…,vn,vs，本层使用注意力机制结合位置编码捕捉物品结点在会话序列中的位置信息和每一个用户点击的物品对于会话的贡献度，以重新调整会话结点的向量表示。首先为每个物品生成一个位置编码：
Figure BDA0003297767090000105
Figure BDA0003297767090000106
其中，n表示当前会话序列的长度；li∈[1,n]表示vi在会话序列中的位置；
Figure BDA0003297767090000107
和
Figure BDA0003297767090000108
表示物品vi的逆序位置编码；
Figure BDA0003297767090000109
和
Figure BDA00032977670900001010
Figure BDA00032977670900001011
是两个位置编码的参数矩阵；k表示相对位置最大距离阈值，假设位置信息超过一定范围不再有用。
为了捕捉物品结点在原会话点击序列中的位置信息，使用注意力机制结合位置信息，给不用物品结点计算不同的重要性权重来加强会话结点的表示：
Figure BDA00032977670900001012
Figure BDA00032977670900001013
Figure BDA00032977670900001014
其中，
Figure BDA00032977670900001015
包含了物品结点对于整个会话重要程度信息和位置信息；
Figure BDA00032977670900001016
表示会话序列中除去vi以外的物品结点的集合；ai表示第i个物品结点向量vi的权重；σ是sigmod激活函数；wa、
Figure BDA0003297767090000111
以及
Figure BDA0003297767090000112
是权重矩阵；ba是偏移量；
为了更好的结合门控图神经网络中所有物品结点聚合的会话信息和注意力机制所聚合的会话信息，本发明利用门控机制来结合这两个部分的信息：
Figure BDA0003297767090000113
其中，β表示包含品结点对于整个会话重要程度信息和位置信息的
Figure BDA0003297767090000114
的权重；
Figure BDA0003297767090000115
和
Figure BDA0003297767090000116
是矩阵权重；
Figure BDA0003297767090000117
和
Figure BDA0003297767090000118
是偏移量；
调整并更新会话结点向量
Figure BDA0003297767090000119
Figure BDA00032977670900001110
其中，
Figure BDA00032977670900001111
表示会话结点在第l层的最终表征；
所述融合及预测模块：
输入物品-会话交互模块第L层的会话向量
Figure BDA00032977670900001112
和最后一个点击物品向量
Figure BDA00032977670900001113
输出最终会话表征hs进行预测；为了捕捉用户长期兴趣和近期喜好，利用最后一个点击的物品向量vlast代表用户近期的喜好，并使用门控神经网络结合长期兴趣和近期喜好：
Figure BDA00032977670900001114
Figure BDA00032977670900001115
其中，γ表示会话结点向量的权重；hs表示当前输入会话序列的最终表征；
Figure BDA00032977670900001116
和
Figure BDA00032977670900001117
是矩阵权重；
Figure BDA00032977670900001118
和
Figure BDA00032977670900001119
是偏移量；
利用会话表征hs计算用户下一次点击物品的概率：
Figure BDA00032977670900001120
其中，
Figure BDA00032977670900001121
表示数据集中所有物品被用户下一次点击概率分布；|I|表示数据集中物品集合I的所有物品的数量；E由所有物品的嵌入向量组成；
具体地，所述会话感知图神经网络：
所述对增强图神经网络的会话推荐模型进行训练，获得训练后的模型：
利用分类问题的交叉熵目标函数作为基于会话推荐系统的目标函数，目标函数如下：
Figure BDA00032977670900001122
其中，L表示训练的目标函数；
Figure BDA00032977670900001123
表示输入样本s后模型预测的下一次点击物品为物品i的概率；yi表示样本s下一个点击物品的真实值；τ表示训练集，s表示训练集中的训练样本包含用户会话内历史点击序列数据和下一次点击物品；
为了防止模型过拟合，采用了dropout和L2正则项技术，具体来说，在每层神经网络添加随机失活dropout，然后对模型参数添加L2正则项，最终的目标函数为：
Figure BDA0003297767090000121
其中，Θ表示模型的所有参数；λ表示一个控制正则项惩罚强度的超参；||Θ||表示Θ的范数，即模长；
由于Adam优化器更适合不稳定的训练目标而且它能动态调整学习率以更快收敛，因此利用Adam优化器做梯度下降训练模型。
所述会话历史点击数据指：用户在当前会话内所点击的物品序列。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现上述中任一项所述的基于增强图神经网络的会话推荐方法的步骤。
实施例2：
实施例2为实施例1的优选例。
以Diginetica数据集为例。该数据集包括一个电商网站的五个多月的会话点击数据，我们将最近几周的点击数据作为测试数据。我们将依次进行以下步骤。
(1)数据预处理
(1a)过滤：将会话中物品在整个数据集出现次数小于5的物品过滤，并过滤会话长度为1的会话。
(1b)分割：将会话序列按子序列分割为多条会话数据。
(1c)嵌入向量初始化：将会话中的物品通过嵌入层初始化以准备输入模型。
(2)训练模型
(2a)初始化模型参数：随机初始化模型中的参数。
(2b)使用训练集训练模型：我们每次从测试集中选取256个样本组成一个batch输入模型进行训练，初始化学习率为0.001，并设置每3个epoch以1e-5的衰减率进行衰减。图神经网络层数我们选取了{1,2,3,4,5}分别进行了测试，并选取表现最好的超参数。每个模型我们训练30个epoch，经实验，每个模型都在30个epoch以内收敛。
(2c)选择超参数：通过设置不同的超参数，如图神经网络层数，物品向量的维度和相对位置最大距离阈值等，来训练模型。最终我们通过验证集来比较不同模型的表现，选出预测精度最高的模型作为最终模型。
(3)预测
(3a)使用(2)中训练并选择的最优模型来对测试集进行预测。
本发明基于增强的图神经网络，通过一种新的图构建方式和图神经网络层，加入一个会话级别的结点来捕捉交互物品与整个交互会话序列的关系，从而提升用户行为预测的准确率。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于增强图神经网络的会话推荐方法，其特征在于，包括：
步骤1：获取会话内用户点击物品的序列数据并进行过滤；
步骤2：构建会话感知图神经网络，将用户在会话内交互物品序列转换为有向图结构，每个物品转换为唯一结点，并在图中加入会话结点学习当前会话表示，物品结点间的有向边表示物品交互的先后顺序；
步骤3：通过门控图神经网络GGNN进行会话图上的消息传播，捕获邻居结点的信息以更新当前结点；
步骤4：利用注意力机制结合物品的位置编码，增强会话结点表示；
步骤5：根据用户交互的历史物品序列学习的会话表示，预测用户下一时刻的交互行为，实现用户下一时刻交互行为的推荐。
2.根据权利要求1所述的基于增强图神经网络的会话推荐方法，其特征在于，所述会话感知图神经网络对获取的会话内用户点击物品的序列数据进行预处理，包括：去除会话中被点击频率超出预设范围的物品，过滤会话序列长度仅为1的会话数据，将每一条会话数据分割多条会话数据以增强数据。
3.根据权利要求1所述的基于增强图神经网络的会话推荐方法，其特征在于，构建会话图，包括：
输入会话内用户点击物品序列s＝{v1，v2，...，vn}，输出对应的会话图G＝(V，Ain，Aout)，其中，V是所构建图中结点集合，由物品结点v1，v2，...，vn和会话结点vs组成；Ain，Aout为构建图的邻接矩阵；
点击序列中邻接物品结点vi和物品结点vi+1之间构建有向边；
会话中每个物品结点vi都与会话结点vs构建有向边。
4.根据权利要求3所述的基于增强图神经网络的会话推荐方法，其特征在于，构建物品-会话交互模型，包括嵌入层、门控图神经网络层以及注意力层；
所述嵌入层：输入构建的会话图结点集合V，将每一个结点vi表示为一个向量vi，输出会话图结点的向量表示v1，v2，...，vn，vs；
所述门控图神经网络层：
输入会话序列构建的会话图G＝(V，Ain，Aout)，利用门控图神经网络GGNN捕捉图中每个结点与邻居结点的关系，并更新结点的表征，表达式为：
Figure FDA0003297767080000021
Figure FDA0003297767080000022
Figure FDA0003297767080000023
其中，fin和fout是两个函数，分别计算通过入边、出边连接vi的邻居结点传递的信息；Nin(i)和Nout(i)分别表示通过入边、出边连接vi的邻居结点集合；
Figure FDA0003297767080000024
表示结点vi在图神经网络第l层的状态向量；Win和Wout分别表示入边、出边连接的邻居结点信息的投影矩阵；bin和bout表示偏移量；j表示相对位置最小距离阈值；k表示相对位置最大距离阈值；
所述注意力层：
输入会话图中所有结点向量v1，v2，...，vn，vs，使用注意力机制结合位置编码捕捉物品结点在会话序列中的位置信息和每一个用户点击的物品对于会话的贡献度，以重新调整会话结点的向量表示；首先为每个物品生成一个位置编码，表达式为：
Figure FDA0003297767080000025
Figure FDA0003297767080000026
其中，n表示当前会话序列的长度；li∈[1，n]表示vi在会话序列中的位置；
Figure FDA0003297767080000027
和
Figure FDA0003297767080000028
表示物品vi的逆序位置编码；
Figure FDA0003297767080000029
和
Figure FDA00032977670800000210
Figure FDA00032977670800000211
是两个位置编码的参数矩阵。
5.根据权利要求4所述的基于增强图神经网络的会话推荐方法，其特征在于，使用注意力机制结合位置信息，给不同物品结点计算不同的重要性权重，来加强会话结点的表示，表达式为：
Figure FDA00032977670800000212
Figure FDA00032977670800000213
Figure FDA00032977670800000214
其中，
Figure FDA00032977670800000215
包含物品结点对于整个会话重要程度信息和位置信息；
Figure FDA00032977670800000216
表示会话序列中除去vi以外的物品结点的集合；ai表示第i个物品结点向量vi的权重；σ是sigmod激活函数；wa、
Figure FDA00032977670800000217
以及
Figure FDA00032977670800000218
是权重矩阵；ba是偏移量；
利用门控机制结合门控图神经网络中所有物品结点聚合的会话信息和注意力机制所聚合的会话信息，表达式为：
Figure FDA0003297767080000031
其中，β表示包含品结点对于整个会话重要程度信息和位置信息的
Figure FDA0003297767080000032
的权重；
Figure FDA0003297767080000033
和
Figure FDA0003297767080000034
是矩阵权重；
Figure FDA0003297767080000035
和
Figure FDA0003297767080000036
是偏移量；
调整并更新会话结点向量
Figure FDA0003297767080000037
Figure FDA0003297767080000038
其中，
Figure FDA0003297767080000039
为会话结点在第l层的最终表示。
6.根据权利要求5所述的基于增强图神经网络的会话推荐方法，其特征在于，构建融合及预测模型，包括：输入为第L层的会话向量
Figure FDA00032977670800000310
和最后一个点击物品向量
Figure FDA00032977670800000311
输出最终会话表征hs进行预测；
利用最后一个点击的物品向量
Figure FDA00032977670800000312
代表用户近期的喜好，并使用门控图神经网络结合长期兴趣和近期喜好，得到会话结点向量的权重γ和当前输入会话序列的最终表征hs，表达式为：
Figure FDA00032977670800000313
Figure FDA00032977670800000314
其中，
Figure FDA00032977670800000319
和
Figure FDA00032977670800000320
是矩阵权重；
Figure FDA00032977670800000321
和
Figure FDA00032977670800000322
是偏移量；
利用会话表征hs计算用户下一次点击物品的概率，表达式为：
Figure FDA00032977670800000315
其中，
Figure FDA00032977670800000316
表示数据集中所有物品被用户下一次点击概率分布；|I|表示数据集中物品集合I的所有物品的数量；E由所有物品的嵌入向量组成。
7.根据权利要求6所述的基于增强图神经网络的会话推荐方法，其特征在于，利用分类问题的交叉熵目标函数作为基于会话推荐系统的目标函数，目标函数为：
Figure FDA00032977670800000317
其中，L表示训练的目标函数；
Figure FDA00032977670800000318
表示输入样本后模型预测的下一次点击物品为物品i的概率；yi表示样本s下一个点击物品的真实值；τ表示训练集，s表示训练集中的训练样本包含用户会话内历史点击序列数据和下一次点击物品。
8.根据权利要求7所述的基于增强图神经网络的会话推荐方法，其特征在于，为了防止模型过拟合，在每层神经网络添加随机失活dropout，然后对模型参数添加L2正则项，最终的目标函数为：
Figure FDA0003297767080000041
其中，Θ表示模型的所有参数；λ表示一个控制正则项惩罚强度的超参；||Θ||表示Θ的范数。
9.一种基于增强图神经网络的会话推荐系统，其特征在于，执行权利要求1-8中任一项所述的基于增强图神经网络的会话推荐方法，包括：
模块M1：获取会话内用户点击物品的序列数据并进行过滤；
模块M2：构建会话感知图神经网络，将用户在会话内交互物品序列转换为有向图结构，每个物品转换为唯一结点，并在图中加入会话结点学习当前会话表示，物品结点间的有向边表示物品交互的先后顺序；
模块M3：通过门控图神经网络GGNN进行会话图上的消息传播，捕获邻居结点的信息以更新当前结点；
模块M4：利用注意力机制结合物品的位置编码，增强会话结点表示；
模块M5：根据用户交互的历史物品序列学习的会话表示，预测用户下一时刻的交互行为，实现用户下一时刻交互行为的推荐。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202111182313.XA 2021-10-11 2021-10-11 基于增强图神经网络的会话推荐方法、系统及介质 Pending CN114116995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111182313.XA CN114116995A (zh) 2021-10-11 2021-10-11 基于增强图神经网络的会话推荐方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111182313.XA CN114116995A (zh) 2021-10-11 2021-10-11 基于增强图神经网络的会话推荐方法、系统及介质

Publications (1)

Publication Number Publication Date
CN114116995A true CN114116995A (zh) 2022-03-01

Family

ID=80441927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111182313.XA Pending CN114116995A (zh) 2021-10-11 2021-10-11 基于增强图神经网络的会话推荐方法、系统及介质

Country Status (1)

Country Link
CN (1) CN114116995A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827728A (zh) * 2022-06-23 2022-07-29 中国传媒大学 节目数据推荐方法及系统
CN115600609A (zh) * 2022-10-27 2023-01-13 国电南瑞科技股份有限公司（Cn） 一种基于项目表示增强的会话推荐方法、存储介质及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827728A (zh) * 2022-06-23 2022-07-29 中国传媒大学 节目数据推荐方法及系统
CN114827728B (zh) * 2022-06-23 2022-09-13 中国传媒大学 节目数据推荐方法及系统
CN115600609A (zh) * 2022-10-27 2023-01-13 国电南瑞科技股份有限公司（Cn） 一种基于项目表示增强的会话推荐方法、存储介质及装置
CN115600609B (zh) * 2022-10-27 2024-05-14 国电南瑞科技股份有限公司 一种基于项目表示增强的会话推荐方法、存储介质及装置

Similar Documents

Publication Publication Date Title
US11790238B2 (en) Multi-task neural networks with task-specific paths
CN112150210B (zh) 一种基于ggnn网络的改进型神经网络推荐方法及系统
KR102532658B1 (ko) 신경 아키텍처 검색
JP6854921B2 (ja) タスク固有のポリシーおよび共有ポリシーをもつマルチタスクニューラルネットワークシステム
CN110457589B (zh) 一种车辆推荐方法、装置、设备及存储介质
JP6853354B2 (ja) 混合エキスパートニューラルネットワーク
CN111339433B (zh) 基于人工智能的信息推荐方法、装置、电子设备
WO2019155064A1 (en) Data compression using jointly trained encoder, decoder, and prior neural networks
CN111602148A (zh) 正则化神经网络架构搜索
CN109919221B (zh) 基于双向双注意力机制图像描述方法
CN112256980A (zh) 一种基于动态图注意力网络的多关系协同过滤推荐
CN114116995A (zh) 基于增强图神经网络的会话推荐方法、系统及介质
CN109960761A (zh) 信息推荐方法、装置、设备及计算机可读存储介质
CN111245673A (zh) 一种基于图神经网络的sdn时延感知方法
CN114202061A (zh) 基于生成对抗网络模型及深度强化学习的物品推荐方法、电子设备及介质
CN113505924B (zh) 一种基于级联时空特征的信息传播预测方法及系统
CN111506814A (zh) 一种基于变分自注意力网络的序列推荐方法
CN112765461A (zh) 一种基于多兴趣胶囊网络的会话推荐方法
CN113761359B (zh) 数据包推荐方法、装置、电子设备和存储介质
CN114637911A (zh) 一种注意力融合感知网络的下一个兴趣点推荐方法
CN115221396A (zh) 基于人工智能的信息推荐方法、装置及电子设备
Ngo et al. Adaptive anomaly detection for internet of things in hierarchical edge computing: A contextual-bandit approach
CN117216281A (zh) 一种基于知识图谱的用户兴趣扩散推荐方法及系统
Tembine Mean field stochastic games: Convergence, Q/H-learning and optimality
CN112700003A (zh) 网络结构搜索方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination