CN115658864A - 一种基于图神经网络和兴趣注意力网络的会话推荐方法 - Google Patents

一种基于图神经网络和兴趣注意力网络的会话推荐方法 Download PDF

Info

Publication number
CN115658864A
CN115658864A CN202211304412.5A CN202211304412A CN115658864A CN 115658864 A CN115658864 A CN 115658864A CN 202211304412 A CN202211304412 A CN 202211304412A CN 115658864 A CN115658864 A CN 115658864A
Authority
CN
China
Prior art keywords
graph
interest
user
matrix
session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211304412.5A
Other languages
English (en)
Inventor
崔少国
独潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Normal University
Original Assignee
Chongqing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Normal University filed Critical Chongqing Normal University
Priority to CN202211304412.5A priority Critical patent/CN115658864A/zh
Publication of CN115658864A publication Critical patent/CN115658864A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于图神经网络和兴趣注意力网络的会话推荐方法,包括以下步骤:S1、收集用户点击物品的历史会话序列数据集进行预处理;S2、将用户的历史会话序列数据建模为会话有向图进行数据初始化;S3、将会话有向图输入到图神经网络中得到会话有向图中每一个物品节点的图嵌入向量;S4、将图嵌入向量送入兴趣注意力网络中并采用注意力层进行加权区分,得到用户长期兴趣偏好向量,并取当前会话中最后一个点击物品的图嵌入向量作为当前兴趣偏好向量,将两者进行融合得到最终用户会话表示;S5、将最终用户会话表示通过预测模块计算所有候选物品的推荐概率值并根据概率值进行排序,将概率值最大的物品推荐给用户。本申请能提高会话推荐结果准确性。

Description

一种基于图神经网络和兴趣注意力网络的会话推荐方法
技术领域
本发明涉及会话推荐技术领域,具体涉及一种基于图神经网络和兴趣注意力网络的会话推荐方法。
背景技术
近年来,随着数字经济和人工智能的飞速发展,人们每天会面临海量信息。大数据时代给人们的生活、学习、工作等方面带来巨大便利的同时,随之也产生了严重的信息过载(Information Overload)问题。如何快速有效地从复杂多样的数据中获取有价值的信息成为了当前大数据发展的主要难题。
解决信息过载问题的一个非常有潜力的方法就是推荐系统。其根据用户的需求、兴趣等,将用户感兴趣的信息、产品等推荐给用户,而且不需要用户提供明确的需求。和搜索引擎相比,推荐系统可以通过研究用户的兴趣偏好,进行算法建模,由算法模型发现用户的兴趣爱好,从而引导用户找到自己所需的信息。
传统的推荐方法是根据所有用户物品的历史交互数据来建模用户对物品的长期且静态的兴趣偏好,主要包括协同过滤、基于内容的推荐方法和混合推荐方法。其中,最经典的算法是协同过滤,如矩阵分解等。协同过滤是目前应用最广泛的推荐算法,但同时也存在严重的数据稀疏和冷启动问题。此外,经典的协同过滤算法采用浅层的模型,无法学习到用户和物品之间的深层次的特征信息。基于内容的推荐方法通过寻找与用户的历史交互物品相似的物品来进行推荐,但此方法需要有效的特征提取,传统的浅层模型依赖于人工设计并提取特征,其有效性和可扩展性都非常有限,制约了基于内容的推荐方法的性能。
推荐系统一般都倾向于利用所有用户对物品的交互历史来进行用户兴趣建模,这种做法一般认为用户的所有历史交互对其当前的兴趣爱好都同等重要,但在现实生活中,用户对物品的选择不仅取决于其长期的历史偏好,而且还取决于近期的短期偏好,这种短期偏好在用户所有历史行为数据中通常只占小部分,另一方面,用户对物品的兴趣偏好往往是动态的,而不是静态的,其兴趣是随着时间的推移而发生变化的。
为解决上述问题,基于会话的推荐作为推荐算法应运而生,与上述推荐方法所不同的是,基于会话的推荐从用户的历史行为中生成的会话中学习用户的兴趣偏好,每个会话由多个用户-物品交互数据组成,这些交互在连续的一段时间内同时发生并且每一个会话都是具有明确边界的交互列表。基于会话的推荐方法旨在捕捉用户短期且动态的兴趣偏好,从而提供更及时、更准确的推荐。
由于会话数据都是随着时间推移的序列数据,从物品之间相邻的角度来看,物品序列可以转换为图结构数据,其中每个物品可以与一个或多个后续物品连接,连续的物品之间有一条边连接。基于序列图,使用图神经网络可以通过迭代传播捕获物品之间的转换关系,并且学习具有代表性的物品嵌入向量。
当前基于会话的推荐方法中,一般认为用户的行为受两种因素影响:一种是在短时期内不会发生变化的用户长期兴趣偏好,这是用户的一般性兴趣;另一种是用户的短期兴趣偏好,代表用户当前的兴趣,动态性比较强。
而本申请的发明人经过研究发现,目前基于图神经网络的会话推荐模型中存在以下问题:(1)根据用户有限的会话信息,如何高效地为用户提供更加准确的物品推荐;(2)基于图神经网络,如何更有效地获取物品之间的转换关系;(3)如何有效地提取用户长期兴趣偏好并且和当前兴趣偏好进行融合。
发明内容
针对现有基于图神经网络的会话推荐模型中存在的技术问题,本发明提供一种基于图神经网络和兴趣注意力网络的会话推荐方法,该方法考虑到用户点击物品与物品之间的转换关系,通过使用一种兴趣注意力网络来捕获用户长期的兴趣偏好,并且与短期的当前会话信息进行融合,从而更准确地表示用户兴趣和意图,提高会话推荐结果的准确性,更好地为用户提供服务。
为了解决上述技术问题,本发明采用了如下的技术方案:
一种基于图神经网络和兴趣注意力网络的会话推荐方法,包括以下步骤:
S1、收集用户点击物品的历史会话序列数据集,并对数据集进行预处理;
S2、将用户的历史会话序列数据建模为会话有向图,并对会话有向图进行数据初始化,其中会话有向图的节点表示用户在会话中点击的物品,会话有向图节点之间的边表示用户点击物品的顺序关系;
S3、将会话有向图输入到图神经网络中得到会话有向图中每一个物品节点的图表示向量即图嵌入向量,此时每一个物品节点的图嵌入向量包含了物品之间的上下文转换关系;
S4、将图神经网络输出的图嵌入向量送入基于多头自注意力机制和前馈神经网络的兴趣注意力网络中,采用注意力层对物品的图嵌入向量进行加权区分,通过兴趣注意力网络捕获用户长期的全局兴趣偏好向量即长期兴趣偏好向量sg,并且取当前会话中最后一个点击物品的图嵌入向量作为当前兴趣表示向量即当前兴趣偏好向量sl,将用户长期兴趣偏好向量sg和当前兴趣偏好向量sl进行融合,得到最终的用户会话表示;
S5、将最终的用户会话表示通过预测模块计算所有候选物品的推荐概率值,将概率值最大的物品推荐给用户,以此进行物品个性化推荐,且上述所有步骤搭建的方法模型使用交叉熵损失函数进行训练。
进一步,所述步骤S1中对数据集进行预处理包括:将会话序列长度为1的会话进行删除,将交互少于5次的物品进行删除,将会话序列中最后一个物品提取出来作为数据集的标签。
进一步,所述步骤S2中对会话有向图进行数据初始化包括以下步骤:
S21、根据所有用户对物品点击的重复次数,为会话有向图中的每一条边进行加权,然后通过除以物品节点的度来对权重进行归一化处理,得到归一化后的入度矩阵
Figure BDA0003905206360000041
和出度矩阵
Figure BDA0003905206360000042
其中,
Figure BDA0003905206360000043
表示n×n的二维实数空间;
S22、将会话中的物品经过统一嵌入层映射到d维的嵌入空间中,得到每一个物品的嵌入向量[v1,v2,...,vi,...,vn],
Figure BDA0003905206360000044
其中,
Figure BDA0003905206360000045
表示维度为d的一维实数空间。
进一步,所述步骤S3具体包括将会话有向图输入到门控图神经网络,从而捕获物品之间图结构关系特征即物品之间的上下文转换关系,首先对于会话有向图中t时刻的每个节点vt,不同节点之间的信息传递过程为:
Figure BDA0003905206360000046
其中,Concat表示向量之间的拼接操作,
Figure BDA0003905206360000047
分别表示节点vt的入度矩阵和出度矩阵的第t行向量,
Figure BDA0003905206360000048
表示d×d的二维实数空间,b(I)
Figure BDA0003905206360000049
表示偏置向量,
Figure BDA00039052063600000410
表示d维的一维实数空间;然后,将at和会话有向图中前一时刻的节点vt-1输入到门控图神经网络中,得到图神经网络的输出ht,具体计算过程如下:
zt=σ(Wzat+Uzvt-1)
rt=σ(Wrat+Urvt-1)
Figure BDA00039052063600000411
Figure BDA00039052063600000412
其中,Wz、Wr
Figure BDA00039052063600000413
及Uz、Ur
Figure BDA00039052063600000414
均为可学习的参数矩阵,
Figure BDA00039052063600000415
分别表示2d×d和d×d的二维实数空间,σ(·)表示sigmoid激活函数,tanh表示双曲正切激活函数,⊙表示矩阵对应元素位置相乘,zt和rt分别表示门控图神经网络中门控循环单元的更新门和重置门,更新门决定要保留的信息,而重置门决定要丢弃的信息。
进一步,所述步骤S4具体包括以下步骤:
S41、所述兴趣注意力网络首先通过一个映射函数
Figure BDA0003905206360000051
将n个历史物品映射为用户所偏好的k类潜在兴趣,其中,
Figure BDA0003905206360000052
分别表示n×d和k×d的二维实数空间,然后得到物品节点的低维兴趣表示H(I)=f(H)=DT·H,其中D为物品到兴趣映射的分布矩阵,DT表示D矩阵的转置矩阵,H表示图神经网络输出由n个1×d维的图嵌入向量组成的图嵌入矩阵;D矩阵的计算公式为:D=softmax(H·δT),其中,softmax表示归一化指数函数,
Figure BDA0003905206360000053
是一个可学习的参数矩阵,δT表示δ矩阵的转置矩阵;
S42、将H矩阵通过WQ、WK
Figure BDA0003905206360000054
映射转换为Q、K、
Figure BDA0003905206360000055
矩阵,其次将多头自注意力机制中的K、
Figure BDA0003905206360000056
通过物品到兴趣的映射函数f映射为K'、
Figure BDA0003905206360000057
矩阵,最终得到所有物品节点的表示:
Figure BDA0003905206360000058
其中,d表示物品的嵌入维度;
S43、通过两层带有GeLU激活函数的线性变换组成的前馈神经网络,从而使得模型具有学习非线性特征的能力,前馈神经网络的计算过程如下:
E=FFN(F)=GeLU(W1F+b1)W2+b2+F
其中,W1
Figure BDA0003905206360000059
是可学习的参数矩阵,b1和b2是偏置向量;
为方便描述,将上述步骤S41~S43过程定义为E=IAN(H);
S44、通过多个兴趣注意力网络层,捕获到更深层次的特征信息,第一层定义为E(1)=E,第L层兴趣注意力网络定义为E(L)=IAN(E(L-1)),其中E(L)是兴趣注意力网络最后一层的输出;
S45、通过一个注意力层,得到每一个图嵌入向量的权重α,将该权重α和图神经网络输出的嵌入矩阵H进行相乘,得到最终表示的用户长期兴趣偏好向量sg,计算过程如下:
Figure BDA0003905206360000061
sg=α·H
其中,w是可学习参数,
Figure BDA0003905206360000062
表示矩阵E(L)的转置矩阵;
S46、将当前会话中最后一个点击物品的图嵌入向量作为当前兴趣偏好向量sl,即sl=ht,将长期兴趣偏好向量sg和当前兴趣偏好向量sl进行权重相加,得到最终的用户会话表示sf=ωsg+(1-ω)sl,其中ω为长期兴趣偏好的权重因子。
进一步,所述步骤S5中将最终的用户会话表示通过预测模块计算所有候选物品的推荐概率值,以此进行物品个性化推荐具体包括:将最终的用户会话表示通过softmax函数按下式来计算所有候选物品的推荐概率值,并按概率值的大小进行排序,得到用户最有可能点击的物品,以此进行物品个性化推荐:
Figure BDA0003905206360000063
其中,
Figure BDA0003905206360000064
表示最终预测概率值,
Figure BDA0003905206360000065
表示用户会话表示sf的转置矩阵,v表示物品节点初始向量。
进一步,所述步骤S5中方法模型训练时采用下列交叉熵损失函数作为目标函数:
Figure BDA0003905206360000066
其中,yi是表示物品vi经独热编码后的真实标签值,
Figure BDA0003905206360000067
是预测概率值,n表示物品个数,ln(.)表示以e为底的对数函数。
与现有技术相比,本发明提供的基于图神经网络和兴趣注意力网络的会话推荐方法具有以下有益效果:
1、本发明使用图神经网络捕获物品之间的转换关系,并通过兴趣注意力网络提取用户历史兴趣偏好即长期全局兴趣偏好,弥补以往基于图神经网络的会话推荐方法中缺少对用户兴趣的建模。
2、本发明使用兴趣注意力网络对用户兴趣偏好进行注意力加权,即将历史兴趣偏好向量和当前兴趣偏好向量进行加权融合,从而更准确地表示用户兴趣和意图,由此使得每一个物品对推荐结果有不同的影响,更有利于建模用户的兴趣偏好,提高了推荐的准确性。
附图说明
图1是本发明提供的基于图神经网络和兴趣注意力网络的会话推荐方法流程示意图。
图2是本发明提供的基于图神经网络和兴趣注意力网络的会话推荐方法模型示意图。
图3是本发明提供的兴趣注意力网络结构示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。
请参考图1至图3所示,本发明提供一种基于图神经网络和兴趣注意力网络的会话推荐方法,包括以下步骤:
S1、收集用户点击物品的历史会话序列数据集,并对数据集进行预处理;
S2、将用户的历史会话序列数据建模为会话有向图,并对会话有向图进行数据初始化,其中会话有向图的节点表示用户在会话中点击的物品,会话有向图节点之间的边表示用户点击物品的顺序关系;
S3、将会话有向图输入到图神经网络中得到会话有向图中每一个物品节点的图表示向量即图嵌入向量,此时每一个物品节点的图嵌入向量包含了物品之间的上下文转换关系;
S4、将图神经网络输出的图嵌入向量送入基于多头自注意力机制和前馈神经网络的兴趣注意力网络中,采用注意力层对物品的图嵌入向量进行加权区分,通过兴趣注意力网络捕获用户长期的全局兴趣偏好向量即长期兴趣偏好向量sg,并且取当前会话中最后一个点击物品的图嵌入向量作为当前兴趣表示向量即当前兴趣偏好向量sl,将用户长期兴趣偏好向量sg和当前兴趣偏好向量sl进行融合,得到最终的用户会话表示;
S5、将最终的用户会话表示通过预测模块计算所有候选物品的推荐概率值,将概率值最大的物品推荐给用户,以此进行物品个性化推荐,且上述所有步骤搭建的方法模型使用交叉熵损失函数进行训练。
作为具体实施例,所述步骤S1中对数据集进行预处理包括:将会话序列长度为1的会话进行删除,将交互少于5次的物品进行删除,将会话序列中最后一个物品提取出来作为数据集的标签。
作为具体实施例,所述步骤S2中对会话有向图进行数据初始化包括以下步骤:
S21、根据所有用户对物品点击的重复次数,为会话有向图中的每一条边进行加权,然后通过除以物品节点的度来对权重进行归一化处理,得到归一化后的入度矩阵
Figure BDA0003905206360000081
和出度矩阵
Figure BDA0003905206360000082
其中,
Figure BDA0003905206360000083
表示n×n的二维实数空间;
S22、将会话中的物品经过统一嵌入层映射到d维的嵌入空间中,得到每一个物品的嵌入向量[v1,v2,...,vi,...,vn],
Figure BDA0003905206360000084
其中,
Figure BDA0003905206360000085
表示维度为d的一维实数空间。
作为具体实施例,所述步骤S3具体包括将会话有向图输入到门控图神经网络,从而捕获物品之间图结构关系特征即物品之间的上下文转换关系,首先对于会话有向图中t时刻的每个节点vt,不同节点之间的信息传递过程为:
Figure BDA0003905206360000086
其中,Concat表示向量之间的拼接操作,
Figure BDA0003905206360000087
分别表示节点vt的入度矩阵和出度矩阵的第t行向量,
Figure BDA0003905206360000088
表示d×d的二维实数空间,b(I)
Figure BDA0003905206360000091
表示偏置向量,
Figure BDA0003905206360000092
表示d维的一维实数空间;然后,将at和会话有向图中前一时刻的节点vt-1输入到门控图神经网络中,得到图神经网络的输出ht,具体计算过程如下:
zt=σ(Wzat+Uzvt-1)
rt=σ(Wrat+Urvt-1)
Figure BDA0003905206360000093
Figure BDA0003905206360000094
其中,Wz、Wr
Figure BDA0003905206360000095
及Uz、Ur
Figure BDA0003905206360000096
均为可学习的参数矩阵,
Figure BDA0003905206360000097
分别表示2d×d和d×d的二维实数空间,σ(·)表示sigmoid激活函数,tanh表示双曲正切激活函数,⊙表示矩阵对应元素位置相乘,zt和rt分别表示门控图神经网络中门控循环单元的更新门和重置门,更新门决定要保留的信息,而重置门决定要丢弃的信息。
作为具体实施例,所述步骤S4具体包括以下步骤:
S41、所述兴趣注意力网络首先通过一个映射函数
Figure BDA0003905206360000098
将n个历史物品映射为用户所偏好的k类潜在兴趣,其中,
Figure BDA0003905206360000099
分别表示n×d和k×d的二维实数空间,然后得到物品节点的低维兴趣表示H(I)=f(H)=DT·H,其中D为物品到兴趣映射的分布矩阵,DT表示D矩阵的转置矩阵,H表示图神经网络输出由n个1×d维的图嵌入向量组成的图嵌入矩阵;D矩阵的计算公式为:D=softmax(H·δT),其中,softmax表示归一化指数函数,
Figure BDA00039052063600000910
是一个可学习的参数矩阵,δT表示δ矩阵的转置矩阵;
S42、将H矩阵通过WQ、WK
Figure BDA00039052063600000911
映射转换为Q、K、
Figure BDA00039052063600000912
矩阵,其次将多头自注意力机制中的K、
Figure BDA00039052063600000913
通过物品到兴趣的映射函数f映射为K'、
Figure BDA00039052063600000914
矩阵,最终得到所有物品节点的表示:
Figure BDA0003905206360000101
其中,d表示物品的嵌入维度;
S43、通过两层带有GeLU激活函数的线性变换组成的前馈神经网络,从而使得模型具有学习非线性特征的能力,前馈神经网络的计算过程如下:
E=FFN(F)=GeLU(W1F+b1)W2+b2+F
其中,W1
Figure BDA0003905206360000102
是可学习的参数矩阵,b1和b2是偏置向量;
为方便描述,将上述步骤S41~S43过程定义为E=IAN(H);
S44、通过多个兴趣注意力网络层,捕获到更深层次的特征信息,第一层定义为E(1)=E,第L层兴趣注意力网络定义为E(L)=IAN(E(L-1)),其中E(L)是兴趣注意力网络最后一层的输出;
S45、通过一个注意力层,得到每一个图嵌入向量的权重α,将该权重α和图神经网络输出的嵌入矩阵H进行相乘,得到最终表示的用户长期兴趣偏好向量sg,计算过程如下:
Figure BDA0003905206360000103
sg=α·H
其中,w是可学习参数,
Figure BDA0003905206360000104
表示矩阵E(L)的转置矩阵;
S46、将当前会话中最后一个点击物品的图嵌入向量作为当前兴趣偏好向量sl,即sl=ht,将长期兴趣偏好向量sg和当前兴趣偏好向量sl进行权重相加,得到最终的用户会话表示sf=ωsg+(1-ω)sl,其中ω为长期兴趣偏好的权重因子。
作为具体实施例,所述步骤S5中将最终的用户会话表示通过预测模块计算所有候选物品的推荐概率值,以此进行物品个性化推荐具体包括:将最终的用户会话表示通过softmax函数按下式来计算所有候选物品的推荐概率值,并按概率值的大小进行排序,得到用户最有可能点击的物品,以此进行物品个性化推荐:
Figure BDA0003905206360000111
其中,
Figure BDA0003905206360000112
表示最终预测概率值,
Figure BDA0003905206360000113
表示用户会话表示sf的转置矩阵,v表示物品节点初始向量。
作为具体实施例,所述步骤S5中方法模型训练时采用下列交叉熵损失函数作为目标函数:
Figure BDA0003905206360000114
其中,yi是表示物品vi经独热编码后的真实标签值,
Figure BDA0003905206360000115
是预测概率值,n表示物品个数,ln(.)表示以e为底的对数函数。
与现有技术相比,本发明提供的基于图神经网络和兴趣注意力网络的会话推荐方法具有以下有益效果:
1、本发明使用图神经网络捕获物品之间的转换关系,并通过兴趣注意力网络提取用户历史兴趣偏好即长期全局兴趣偏好,弥补以往基于图神经网络的会话推荐方法中缺少对用户主要兴趣的建模。
2、本发明使用兴趣注意力网络对用户兴趣偏好进行注意力加权,即将历史兴趣偏好向量和当前兴趣偏好向量进行加权融合,从而更准确地表示用户兴趣和意图,由此使得每一个物品对推荐结果有不同的影响,更有利于建模用户的兴趣偏好,提高了推荐的准确性。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于图神经网络和兴趣注意力网络的会话推荐方法,其特征在于,包括以下步骤:
S1、收集用户点击物品的历史会话序列数据集,并对数据集进行预处理;
S2、将用户的历史会话序列数据建模为会话有向图,并对会话有向图进行数据初始化,其中会话有向图的节点表示用户在会话中点击的物品,会话有向图节点之间的边表示用户点击物品的顺序关系;
S3、将会话有向图输入到图神经网络中得到会话有向图中每一个物品节点的图表示向量即图嵌入向量,此时每一个物品节点的图嵌入向量包含了物品之间的上下文转换关系;
S4、将图神经网络输出的图嵌入向量送入基于多头自注意力机制和前馈神经网络的兴趣注意力网络中,采用注意力层对物品的图嵌入向量进行加权区分,通过兴趣注意力网络捕获用户长期的全局兴趣偏好向量即长期兴趣偏好向量sg,并且取当前会话中最后一个点击物品的图嵌入向量作为当前兴趣表示向量即当前兴趣偏好向量sl,将用户长期兴趣偏好向量sg和当前兴趣偏好向量sl进行融合,得到最终的用户会话表示;
S5、将最终的用户会话表示通过预测模块计算所有候选物品的推荐概率值,将概率值最大的物品推荐给用户,以此进行物品个性化推荐,且上述所有步骤搭建的方法模型使用交叉熵损失函数进行训练。
2.根据权利要求1所述的基于图神经网络和兴趣注意力网络的会话推荐方法,其特征在于,所述步骤S1中对数据集进行预处理包括:将会话序列长度为1的会话进行删除,将交互少于5次的物品进行删除,将会话序列中最后一个物品提取出来作为数据集的标签。
3.根据权利要求1所述的基于图神经网络和兴趣注意力网络的会话推荐方法,其特征在于,所述步骤S2中对会话有向图进行数据初始化包括以下步骤:
S21、根据所有用户对物品点击的重复次数,为会话有向图中的每一条边进行加权,然后通过除以物品节点的度来对权重进行归一化处理,得到归一化后的入度矩阵
Figure FDA0003905206350000021
和出度矩阵
Figure FDA0003905206350000022
其中,
Figure FDA0003905206350000023
表示n×n的二维实数空间;
S22、将会话中的物品经过统一嵌入层映射到d维的嵌入空间中,得到每一个物品的嵌入向量[v1,v2,…,vi,…,vn],
Figure FDA0003905206350000024
其中,
Figure FDA0003905206350000025
表示维度为d的一维实数空间。
4.根据权利要求3所述的基于图神经网络和兴趣注意力网络的会话推荐方法,其特征在于,所述步骤S3具体包括将会话有向图输入到门控图神经网络,从而捕获物品之间图结构关系特征即物品之间的上下文转换关系,首先对于会话有向图中t时刻的每个节点vt,不同节点之间的信息传递过程为:
Figure FDA0003905206350000026
其中,Concat表示向量之间的拼接操作,
Figure FDA0003905206350000027
分别表示节点vt的入度矩阵和出度矩阵的第t行向量,
Figure FDA0003905206350000028
表示d×d的二维实数空间,
Figure FDA0003905206350000029
表示偏置向量,
Figure FDA00039052063500000210
表示d维的一维实数空间;然后,将at和会话有向图中前一时刻的节点vt-1输入到门控图神经网络中,得到图神经网络的输出ht,具体计算过程如下:
zt=σ(Wzat+Uzvt-1)
rt=σ(Wrat+Urvt-1)
Figure FDA00039052063500000211
Figure FDA00039052063500000212
其中,
Figure FDA00039052063500000213
Figure FDA00039052063500000214
均为可学习的参数矩阵,
Figure FDA00039052063500000215
分别表示2d×d和d×d的二维实数空间,σ(·)表示sigmoid激活函数,tanh表示双曲正切激活函数,⊙表示矩阵对应元素位置相乘,zt和rt分别表示门控图神经网络中门控循环单元的更新门和重置门,更新门决定要保留的信息,而重置门决定要丢弃的信息。
5.根据权利要求1所述的基于图神经网络和兴趣注意力网络的会话推荐方法,其特征在于,所述步骤S4具体包括以下步骤:
S41、所述兴趣注意力网络首先通过一个映射函数
Figure FDA0003905206350000031
将n个历史物品映射为用户所偏好的k类潜在兴趣,其中,
Figure FDA0003905206350000032
分别表示n×d和k×d的二维实数空间,然后得到物品节点的低维兴趣表示H(I)=f(H)=DT·H,其中D为物品到兴趣映射的分布矩阵,DT表示D矩阵的转置矩阵,H表示图神经网络输出由n个1×d维的图嵌入向量组成的图嵌入矩阵;D矩阵的计算公式为:D=softmax(H·δT),其中,softmax表示归一化指数函数,
Figure FDA0003905206350000033
是一个可学习的参数矩阵,δT表示δ矩阵的转置矩阵;
S42、将H矩阵通过
Figure FDA0003905206350000034
映射转换为
Figure FDA0003905206350000035
矩阵,其次将多头自注意力机制中的
Figure FDA0003905206350000036
通过物品到兴趣的映射函数f映射为
Figure FDA0003905206350000037
矩阵,最终得到所有物品节点的表示:
Figure FDA0003905206350000038
其中,d表示物品的嵌入维度;
S43、通过两层带有GeLU激活函数的线性变换组成的前馈神经网络,从而使得模型具有学习非线性特征的能力,前馈神经网络的计算过程如下:
E=FFN(F)=GeLU(W1F+b1)W2+b2+F
其中,
Figure FDA0003905206350000039
是可学习的参数矩阵,b1和b2是偏置向量;
为方便描述,将上述步骤S41~S43过程定义为E=IAN(H);
S44、通过多个兴趣注意力网络层,捕获到更深层次的特征信息,第一层定义为E(1)=E,第L层兴趣注意力网络定义为E(L)=IAN(E(L-1)),其中E(L)是兴趣注意力网络最后一层的输出;
S45、通过一个注意力层,得到每一个图嵌入向量的权重α,将该权重α和图神经网络输出的嵌入矩阵H进行相乘,得到最终表示的用户长期兴趣偏好向量sg,计算过程如下:
Figure FDA0003905206350000041
sg=α·H
其中,w是可学习参数,
Figure FDA0003905206350000042
表示矩阵E(L)的转置矩阵;
S46、将当前会话中最后一个点击物品的图嵌入向量作为当前兴趣偏好向量sl,即sl=ht,将长期兴趣偏好向量sg和当前兴趣偏好向量sl进行权重相加,得到最终的用户会话表示sf=ωsg+(1-ω)sl,其中ω为长期兴趣偏好的权重因子。
6.根据权利要求1所述的基于图神经网络和兴趣注意力网络的会话推荐方法,其特征在于,所述步骤S5中将最终的用户会话表示通过预测模块计算所有候选物品的推荐概率值,以此进行物品个性化推荐具体包括:将最终的用户会话表示通过softmax函数按下式来计算所有候选物品的推荐概率值,并按概率值的大小进行排序,得到用户最有可能点击的物品,以此进行物品个性化推荐:
Figure FDA0003905206350000043
其中,
Figure FDA0003905206350000044
表示最终预测概率值,
Figure FDA0003905206350000045
表示用户会话表示sf的转置矩阵,v表示物品节点初始向量。
7.根据权利要求1所述的基于图神经网络和兴趣注意力网络的会话推荐方法,其特征在于,所述步骤S5中方法模型训练时采用下列交叉熵损失函数作为目标函数:
Figure FDA0003905206350000051
其中,yi是表示物品vi经独热编码后的真实标签值,
Figure FDA0003905206350000052
是预测概率值,n表示物品个数,ln(.)表示以e为底的对数函数。
CN202211304412.5A 2022-10-24 2022-10-24 一种基于图神经网络和兴趣注意力网络的会话推荐方法 Pending CN115658864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211304412.5A CN115658864A (zh) 2022-10-24 2022-10-24 一种基于图神经网络和兴趣注意力网络的会话推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211304412.5A CN115658864A (zh) 2022-10-24 2022-10-24 一种基于图神经网络和兴趣注意力网络的会话推荐方法

Publications (1)

Publication Number Publication Date
CN115658864A true CN115658864A (zh) 2023-01-31

Family

ID=84990935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211304412.5A Pending CN115658864A (zh) 2022-10-24 2022-10-24 一种基于图神经网络和兴趣注意力网络的会话推荐方法

Country Status (1)

Country Link
CN (1) CN115658864A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304279A (zh) * 2023-03-22 2023-06-23 烟台大学 基于图神经网络的用户偏好演化主动感知方法及系统
CN116485501A (zh) * 2023-04-28 2023-07-25 北京邮电大学 一种基于图嵌入与注意力机制的图神经网络会话推荐方法
CN116595157A (zh) * 2023-07-17 2023-08-15 江西财经大学 基于用户意图融合的动态兴趣转移型会话推荐方法与系统
CN116662501A (zh) * 2023-05-18 2023-08-29 哈尔滨工程大学 一种基于会话上下文信息的会话推荐方法
CN116684480A (zh) * 2023-07-28 2023-09-01 支付宝(杭州)信息技术有限公司 信息推送模型的确定及信息推送的方法及装置
CN117172884A (zh) * 2023-10-31 2023-12-05 上海为旌科技有限公司 兴趣地点推荐方法、装置、电子设备和存储介质
CN118134606A (zh) * 2024-05-06 2024-06-04 烟台大学 基于用户偏好的服务推荐方法、系统、设备和存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304279A (zh) * 2023-03-22 2023-06-23 烟台大学 基于图神经网络的用户偏好演化主动感知方法及系统
CN116304279B (zh) * 2023-03-22 2024-01-26 烟台大学 基于图神经网络的用户偏好演化主动感知方法及系统
CN116485501A (zh) * 2023-04-28 2023-07-25 北京邮电大学 一种基于图嵌入与注意力机制的图神经网络会话推荐方法
CN116485501B (zh) * 2023-04-28 2024-02-27 北京邮电大学 一种基于图嵌入与注意力机制的图神经网络会话推荐方法
CN116662501A (zh) * 2023-05-18 2023-08-29 哈尔滨工程大学 一种基于会话上下文信息的会话推荐方法
CN116595157A (zh) * 2023-07-17 2023-08-15 江西财经大学 基于用户意图融合的动态兴趣转移型会话推荐方法与系统
CN116595157B (zh) * 2023-07-17 2023-09-19 江西财经大学 基于用户意图融合的动态兴趣转移型会话推荐方法与系统
CN116684480A (zh) * 2023-07-28 2023-09-01 支付宝(杭州)信息技术有限公司 信息推送模型的确定及信息推送的方法及装置
CN116684480B (zh) * 2023-07-28 2023-10-31 支付宝(杭州)信息技术有限公司 信息推送模型的确定及信息推送的方法及装置
CN117172884A (zh) * 2023-10-31 2023-12-05 上海为旌科技有限公司 兴趣地点推荐方法、装置、电子设备和存储介质
CN118134606A (zh) * 2024-05-06 2024-06-04 烟台大学 基于用户偏好的服务推荐方法、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
CN115658864A (zh) 一种基于图神经网络和兴趣注意力网络的会话推荐方法
CN110119467B (zh) 一种基于会话的项目推荐方法、装置、设备及存储介质
CN111222332B (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN110232480B (zh) 利用变分的正则化流实现的项目推荐方法及模型训练方法
CN112214685A (zh) 一种基于知识图谱的个性化推荐方法
CN114817663B (zh) 一种基于类别感知图神经网络的服务建模与推荐方法
CN110032679B (zh) 一种基于层次注意力网络的动态新闻推荐的方法
CN110910218A (zh) 一种基于深度学习的多行为迁移推荐方法
CN110363282A (zh) 一种基于图卷积网络的网络节点标签主动学习方法和系统
CN114693397B (zh) 一种基于注意力神经网络的多视角多模态商品推荐方法
CN113590965B (zh) 一种融合知识图谱与情感分析的视频推荐方法
CN116204729B (zh) 一种基于超图神经网络的跨领域群组智能推荐方法
CN113641811B (zh) 促进购买行为的会话推荐方法、系统、设备及存储介质
CN110738314B (zh) 一种基于深度迁移网络的点击率预测方法及装置
CN114117229A (zh) 一种基于有向和无向结构信息的图神经网络的项目推荐方法
CN111159242B (zh) 一种基于边缘计算的客户端重排序方法及系统
CN115018573B (zh) 一种基于异构图和对比学习的会话推荐方法
CN114168819B (zh) 一种基于图神经网络的岗位匹配方法及装置
CN116883751A (zh) 基于原型网络对比学习的无监督领域自适应图像识别方法
CN115687760A (zh) 一种基于图神经网络的用户学习兴趣标签预测方法
CN116228368A (zh) 一种基于深度多行为网络的广告点击率预测方法
CN109800424B (zh) 一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法
CN114238773A (zh) 基于对比学习和双边协同的下一个兴趣点推荐方法和装置
CN115439770A (zh) 一种内容召回方法、装置、设备及存储介质
CN116452241B (zh) 一种基于多模态融合神经网络的用户流失概率计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination