CN115618128A - 一种基于图注意力神经网络的协同过滤推荐系统及方法 - Google Patents

一种基于图注意力神经网络的协同过滤推荐系统及方法 Download PDF

Info

Publication number
CN115618128A
CN115618128A CN202211286016.4A CN202211286016A CN115618128A CN 115618128 A CN115618128 A CN 115618128A CN 202211286016 A CN202211286016 A CN 202211286016A CN 115618128 A CN115618128 A CN 115618128A
Authority
CN
China
Prior art keywords
user
samples
target node
node
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211286016.4A
Other languages
English (en)
Inventor
李凯
朱江强
齐静
彭锦佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University
Original Assignee
Hebei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University filed Critical Hebei University
Priority to CN202211286016.4A priority Critical patent/CN115618128A/zh
Publication of CN115618128A publication Critical patent/CN115618128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于图注意力神经网络的协同过滤推荐系统及方法。本发明所述基于图注意力神经网络的协同过滤推荐系统，首先利用图注意力网络通过量化目标节点的邻居信息对其的重要程度提高节点向量表示的质量；然后使用目标节点的高阶邻居信息丰富其向量表示，再通过平均汇聚获得节点的最终向量表示；最后，利用内积对用户和物品进行建模。本发明所述基于图注意力神经网络的协同过滤推荐系统，可快速从大量物品中召回用户可能喜好的物品，可适用于电子商务、社交媒体、广告和新闻等领域。

Description

一种基于图注意力神经网络的协同过滤推荐系统及方法
技术领域
本发明涉及推荐系统领域，具体地说是一种基于图注意力神经网络的协同过滤推荐系统及方法。
背景技术
在信息技术时代，推荐系统作为解决信息过载的有效解决方案已经广泛应用于电子商务、社交媒体、新闻和广告等领域。推荐系统基于购买和点击等历史交互预测用户下一次可能产生交互的物品来为用户提供个性化服务。协同过滤作为推荐系统中广泛使用的算法之一，其主要思想是假设具有相似交互的用户对物品具有相似的偏好，通常协同过滤的关键组件是用户(物品)的向量表示和用户-物品交互模型。随着机器学习的发展，图神经网络在向量表示方面表现突出，结合图神经网络的推荐系统成为主流。
鉴于此，本发明提出了一种基于图注意力神经网络的协同过滤推荐系统。应用该系统，可以在推荐场景中通过图注意力神经网络获得高质量的用户(物品)向量表示，再通过内积建模用户和物品之间的交互，可以实现较好的个性化推荐服务。
发明内容
本发明的目的就是提供一种基于图注意力神经网络的协同过滤推荐系统及方法，以获得高质量的用户、物品向量表示，实现较好的个性化推荐服务。
本发明是这样实现的：一种基于图注意力神经网络的协同过滤推荐系统，包括采样模块和模型训练模块；模型训练模块包括图注意力网络层、汇聚层和预测层；图注意力网络层用于将用户和物品原始向量表示通过消息传递到目标节点，目标节点聚合其邻居向量表示输出自身新的向量表示；汇聚层用于将目标节点不同网络层的输出汇聚之后生成目标节点的最终向量表示；预测层用于使用内积建模用户和物品之间的交互，输出用户对物品的喜好程度；
所述目标节点聚合其邻居向量，具体是：采用图注意力网络，通过注意力机制量化目标节点的邻居信息对其的重要程度；
所述汇聚层在对目标节点不同网络层的输出进行汇聚时采用平均汇聚的方式生成目标节点的最终向量表示；
所述采样模块通过用户的隐式反馈对样本进行选取，将与用户产生过交互的样本视为正样本，未产生过交互的样本视为负样本；所述采样模块通过跳连接的方法从负样本中选取有效负样本作为难负样本。
优选的，所述图注意力网络层数为3。
优选的，采用用户和物品的ID作为训练数据，将用户和物品的ID通过Xavier初始化获取用户和物品原始向量表示，即通过嵌入层将用户和物品的ID映射到低维密集向量。
上述方案中，目标节点聚合其邻居向量表示输出自身新的向量表示，具体表达公式如下：
Figure BDA0003899942690000021
式(6)中，
Figure BDA0003899942690000022
和
Figure BDA0003899942690000023
分别表示用户节点和物品节点聚合h阶邻居信息之后的输出，
Figure BDA0003899942690000024
和
Figure BDA0003899942690000025
为消息传递的权重，
Figure BDA0003899942690000026
和
Figure BDA0003899942690000027
为第h-1网络层的输出。h即为图注意力网络层数。
应用上述基于图注意力神经网络的协同过滤推荐系统，本发明所提供的基于图注意力神经网络的协同过滤推荐方法，包括如下步骤：
a、由采用模块通过用户的隐式反馈对样本进行选取，将与用户产生过交互的样本视为正样本，未产生过交互的样本视为负样本；所述采样模块通过跳连接的方法从负样本中选取有效负样本作为难负样本；
b、模型训练模块通过正样本和难负样本对模型进行训练；具体包括：
b-1、通过图注意力网络层使用户和物品原始向量表示通过消息传递到目标节点，目标节点聚合其邻居向量表示输出自身新的向量表示；所述目标节点聚合其邻居向量具体是：采用图注意力网络，通过注意力机制量化目标节点的邻居信息对其的重要程度；
b-2、通过汇聚层将目标节点不同网络层的输出平均汇聚之后生成目标节点的最终向量表示；
b-3、通过预测层使用内积建模用户和物品之间的交互，输出用户对物品的喜好程度。
优选的，步骤b-1中，目标节点聚合其邻居向量的表达方式如下：
Figure BDA0003899942690000028
式(2)中，vui和viu分别表示用户u和物品i聚合其对应邻居信息后生成的新的向量表示，POL(·)为聚合函数；vi和vu分别为用户u邻居节点的向量表示和物品i邻居节点的向量表示，αui和αiu分别为邻居节点信息对目标节点的重要程度值；
结合注意力机制，聚合函数POL(·)定义为：
Figure BDA0003899942690000031
式(3)中，Tu和Ti分别表示与用户u产生过交互的物品集和与物品i产生过交互的用户集；对于用户u其与邻居节点之间的依赖关系的量化如下：
Figure BDA0003899942690000032
式(4)中，
Figure BDA0003899942690000033
是一个单层的前馈神经网络，使用LeakyReLU激活函数，并使用softmax函数对其进行归一化处理；αui的完整公式如下所示：
Figure BDA0003899942690000034
式(5)中，
Figure BDA0003899942690000035
是参数化的权重向量，T表示转置操作，||表示将两个嵌入向量进行拼接操作，
Figure BDA0003899942690000036
作为参数化共享的权重矩阵将输入特征进行线性变换。
优选的，步骤b-2中，用户节点的最终向量表示
Figure BDA0003899942690000037
和物品节点的最终向量表示
Figure BDA0003899942690000038
如下：
Figure BDA0003899942690000039
式(7)中，h为图注意力网络层数，
Figure BDA00038999426900000310
和
Figure BDA00038999426900000311
分别为用户节点和物品节点第h网络层的数。
优选的，图注意力网络层数h为3。
优选的，步骤a中，所述采样模块通过跳连接的方法从负样本中选取有效负样本作为难负样本，具体包括如下步骤：从负样本中随机抽取设定数量的负样本作为负样本候选集；将负样本候选集中负样本的向量表示按不同网络层的输出分为h+1个簇，然后将对应正样本插入负样本候选集生成难负样本候选集(此处插入正样本是把正样本信息融合到负样本中，具体见下面公式(10))；使用目标用户的向量表示与难负样本候选集中每个簇的向量表示做内积筛选出难负样本的h+1个向量表示，最后通过平均汇聚合成难负样本。
步骤a中，形成难负样本的具体表达公式如下：
Figure BDA00038999426900000312
式(10)中，
Figure BDA0003899942690000041
和
Figure BDA0003899942690000042
表示正样本和负样本(指负样本候选集中的负样本)的向量表示，θ(h)为混合因子，取值范围为(0，1)；
Figure BDA0003899942690000043
表示插入正样本之后的负样本向量表示，fQ(·)为查询负样本对应用户的向量表示，
Figure BDA0003899942690000044
为最终合成难负样本的h阶向量表示。
本发明的优点在于：
(1)本发明所述基于图注意力神经网络的协同过滤推荐系统，结合了图神经网络，通过自注意力挖掘相邻节点之间的依赖关系，生成高质量的节点向量表示。
(2)本发明所述基于图注意力神经网络的协同过滤推荐系统，采用嵌入空间合成难负样本的跳连接混合方法，避免了在大量负样本中难以抽取难负样本的问题。并且该方法中没有可训练的参数，降低了训练模型的复杂度。
(3)本发明所述基于图注意力神经网络的协同过滤推荐系统，设计了多个图注意力神经网络的堆叠，避免对目标节点引入噪声数据。
(4)本发明所述基于图注意力神经网络的协同过滤推荐系统，可快速从大量物品中召回用户可能喜好的物品，可适用于电子商务、社交媒体、广告和新闻等领域。
附图说明
图1是本发明所提供的基于图注意力神经网络的协同过滤推荐系统的结构框图。
图2是本发明根据情景的具体需求所构建的用户-物品二部图。
图3是本发明中多个图注意力神经网络叠加的结构示意图。
图4是本发明采用跳连接进行负采样的方法框架图。
图5是本发明方法与传统NGCF相比在Amazon、Yelp2018和Gowalla三个数据集上的训练结果对比图。
具体实施方式
结合图1，本发明所述基于图注意力神经网络的协同过滤推荐系统由采样模块和模型训练模块两部分构成。由于模型训练模块采用pairwise损失，所以需要选取正样本和负样本。采样模块通过用户的隐式反馈(如点击、观看时长等)对样本进行选取，将与用户产生过交互的样本视为正样本，未产生过交互的样本视为负样本。
模型训练模块包含图注意力网络层、汇聚层和预测层。图注意力网络层中用户和物品原始向量表示通过消息传递到目标节点(当前计算的节点)，目标节点聚合其邻居向量表示输出自身新的向量表示(设置图注意力网络层数h最大为3)；汇聚层将目标节点不同网络层的输出汇聚之后生成目标节点的最终向量表示；预测层使用内积建模用户和物品之间的交互，输出用户对物品的喜好程度。
本发明所述基于图注意力神经网络的协同过滤推荐系统，适用于电子商务、社交媒体、新闻和广告等存在推送的场景。在大多数推荐场景中的数据具有图结构的特性，而图神经网络对处理图结构的数据具有很强的表示能力，因此能够满足大多数推荐场景。
推荐场景中根据情景的具体需求构建用户-物品二部图，将用户和物品看作图中的节点，如图2所示。图2中左半部分表示用户节点，右半部分为物品节点。如果用户节点与物品节点之间产生过交互(如：点击、购买等)，则在它们之间连接一条边。图中，u1为目标节点，节点i1和i3看作其一阶邻居节点，根据高阶连通性，节点u1、u2和u3看作其二阶邻居，以此类推可获取其高阶邻居。
本发明只采用用户和物品的ID(排序编号)作为训练数据，为了图神经网络易于训练，将用户和物品的ID通过Xavier初始化获取原始的节点向量表示(将节点的原始向量表示视为h＝0使得网络输出)，即通过嵌入层将用户和物品的ID映射到低维密集向量。原始向量表示被用作图注意力网络的输入进行训练，上层网络的梯度可以直接反向传播到输入层，使模型易于训练，且避免训练网络过程中梯度消失的问题。因此，将用户集和物品集定义为用户向量表示集Eu和物品向量表示集Ei：
Figure BDA0003899942690000051
式(1)中Eu和Ei分别表示用户和物品向量表示集，Nu和Ni分别为用户集和物品集的数量，d为向量表示的维度数量。
假设一个用户与一个物品之间产生过交互行为，对于该用户而言，这个物品可以表示为该用户的一个特征。同样，该用户可以作为这个物品的一个特征。因此，聚合操作对于丰富节点信息是必不可少的。现存大部分图神经网络方法使用易于实现的平均聚合，平等地抽取目标节点的邻居信息。但当其邻居节点对目标节点的重要性程度显著不同时，平均聚合方法无法满足高质量节点向量表示的需求。平均聚合虽简单易实现，但对邻居节点的信息可靠性并没有做出定量的分析，这样导致目标节点会引入噪声数据，从而降低了节点向量表示的质量。为了克服这个问题，本发明采用图注意力网络，通过注意力机制量化目标节点的邻居信息对其的重要程度。目标节点(用户或物品)的聚合方法如式(2)所示：
Figure BDA0003899942690000052
式(2)中vui和viu分别表示用户u和物品i聚合邻居信息后生成新的向量表示，POL(·)为聚合函数。vi和vu分别为用户u邻居节点的向量表示和物品i邻居节点的向量表示，αui和αiu分别为邻居节点信息对目标节点的重要程度值。结合注意力机制，聚合函数POL(·)定义为：
Figure BDA0003899942690000061
式(3)中Tu和Ti分别表示与用户u产生过交互的物品集和与物品i产生过交互的用户集。在用户-物品交互图中，每个节点只用ID标识符来表示，没有其他节点属性特征。本发明仅使用节点ID的向量表示作为模型输入，所以消息传递过程中采用简单的线性结构来提取邻居信息。对于用户u其与邻居节点之间依赖关系的量化如下：
Figure BDA0003899942690000062
式(4)中
Figure BDA0003899942690000063
是一个单层的前馈神经网络，使用LeakyReLU激活函数(负输入部分的斜率为0.2)，如图1左下角所示。为了使目标节点的同阶邻居重要性值易于比较，使用softmax函数对其进行归一化处理。综上，αui的完整公式如式(5)所示：
Figure BDA0003899942690000064
式(5)中
Figure BDA0003899942690000065
是参数化的权重向量，d′为向量维度，T表示转置操作，||表示将两个嵌入向量进行拼接操作。
Figure BDA0003899942690000066
作为参数化共享的权重矩阵将输入特征进行线性变换，提高网络输出的表达能力。
本发明所述基于图注意力神经网络的协同过滤推荐系统，采用单层图注意力神经网络的情况下，结合上述聚合方法可以得到节点新的向量表示(向量表示中含有节点一阶邻居信息)。基于图结构的数据，节点邻居的数量不尽相同。低阶邻居丰富的节点对高阶邻居依赖比较弱，低阶邻居比较少的节点对高阶邻居依赖比较强。因此，为了综合考虑丰富节点的向量表示，通过叠加多个图注意力神经网络来丰富节点的向量表示，如图3所示。
通过迭代图注意力网络实现多个网络的堆叠，上层网络的输出作为下层网络的输入，节点的原始向量表示作为第一层网络的输入，这种高阶连通性对于编码协作信号以估计相邻节点之间的相关性分数是必不可少的。系统中每层图注意力网络输出目标节点更新后的向量表示，不同层网络的输出包含不同阶的邻居信息。用户节点和物品节点更新可以表示为：
Figure BDA0003899942690000067
式(6)中
Figure BDA0003899942690000071
和
Figure BDA0003899942690000072
分别表示用户节点和物品节点聚合h阶邻居信息之后的输出，
Figure BDA0003899942690000073
和
Figure BDA0003899942690000074
为消息传递的权重，
Figure BDA0003899942690000075
和
Figure BDA0003899942690000076
为h-1层网络的输出。完成整个邻居聚合之后，假设目标节点为节点u1和节点i5，则更新后的目标节点获取到四个向量表示
Figure BDA0003899942690000077
和
Figure BDA0003899942690000078
具有丰富低阶邻居的节点对高阶协作信息的依赖程度较低，而具有较少低阶邻居的节点则更高依赖于高阶协作信息。因此，需要一个汇聚模块平衡高阶协作信息和低阶协作信息。
早期的工作直接利用最后一次汇聚操作作为节点的最终向量表示，即
Figure BDA0003899942690000079
对于节点的多种表示，较低网络层的输出作为最终向量表示可以更好地反应节点自身的特征，较高网络层的输出能更好的反应邻居信息。因此，本发明使用平均汇聚来平衡自身特征和邻居信息。用户节点的最终向量表示
Figure BDA00038999426900000710
和物品节点的最终向量表示
Figure BDA00038999426900000711
如下：
Figure BDA00038999426900000712
本发明所述基于图注意力神经网络的协同过滤推荐系统，首先利用图注意力网络通过量化目标节点的邻居信息对其的重要程度提高节点向量表示的质量；然后使用目标节点的高阶邻居信息丰富其向量表示，再通过汇聚获得节点的最终向量表示；最后，利用内积对用户和物品进行建模。则用户对物品的喜好得分为：
Figure BDA00038999426900000713
本发明所述基于图注意力神经网络的协同过滤推荐系统，学习排名任务是通过假设用户喜欢的物品应该比其他物品排名更高，为用户提供一个排序的物品列表。但是，每个用户的物品排名只能从仅包含正面观察的隐式反馈中推断出来。一个简单的解决方案是假设用户更喜欢观察到的物品而不是未观察到的物品，由于大量未观察到的物品，本发明利用负采样简化之后贝叶斯损失：
Figure BDA00038999426900000714
式(9)中，O＝{(u,i+,i-)|(u,i+)∈O+,(u,i-)∈O-}表示成对的训练数据，i+表示正样本，i-表示负样本；y可根据公式(8)进行计算。与用户之间产生过交互并被观察到的样本集为正样本集O+，否则视为负样本集O-。σ(·)为激活函数，并使用Adam优化器优化模型。
本发明所述基于图注意力神经网络的协同过滤推荐系统，模型训练需要抽取正样本和负样本，将与用户产生过交互的物品视为正样本，与用户未产生过交互的物品视为负样本。在推荐场景中数据量一般都非常大，在大数据量的场景中与用户产生过交互的物品数量远小于物品的总数，也就是说正样本远小于负样本。对于一个用户来说负样本的基数太大，难以提取有效的负样本(难负样本)。由式(9)可知，模型在训练过程中需要更高质量的负样本来提升模型的性能。通常，接近正样本的负样本为高质量的难负样本，可以让模型更好地理解正样本和负样本之间的界限。因此，为了获取高质量的负样本，采用跳连接(HopMixing)的方法在嵌入空间合成难负样本。
一个负样本通过三层图注意力网络的输出和原始向量表示获取到四个向量表示，在大量的负样本中随机抽取一定数量(C)的负样本作为负样本候选集。将负样本候选集中负样本的向量表示按不同层网络的输出分为h+1个簇，然后将对应用户正样本特征插入负样本候选集生成难负样本候选集(M)(即将正样本的信息融入到负样本候选集的负样本中)。使用目标用户的向量表示与难负样本中每个簇的向量表示做内积筛选出难负样本的h+1个向量表示，最后通过平均汇聚合成难负样本。具体公式可以表示为：
Figure BDA0003899942690000081
式(10)中
Figure BDA0003899942690000082
和
Figure BDA0003899942690000083
表示正样本和负样本的向量表示，θ(h)为混合因子或称混合系数，取值范围为(0，1)。
Figure BDA0003899942690000084
表示插入正样本之后的负样本向量表示，fQ(·)为查询负样本对应用户的向量表示。
Figure BDA0003899942690000085
为最终合成难负样本的h阶向量表示。最终通过平均汇聚操作获取新的难负样本。跳连接负采样方法框架如图4所示。
由于目标节点的邻居稀疏性不同，因此需要同时考虑低阶邻居信息和高阶邻居信息。邻居丰富的目标节点更注重低阶邻居信息，对高阶邻居信息依赖比较弱。而邻居匮乏的目标节点则更注重高阶邻居。因此，汇聚层将上游任务的输出进行平均汇聚，得到目标节点的最终向量表示。
通过上述的模型训练得到用户和物品的最终向量表示。为了提供给用户个性化推荐服务，通过目标用户的最终向量表示与物品的最终向量表示做内积得到用户对物品的喜好程度，根据物品喜好程度排名对用户进行推荐。
本发明所述基于图注意力神经网络的协同过滤推荐系统，通过在公开数据集上进行对比实验来说明方法的有效性。本发明分别在Gowalla、Yelp2018和Amazon三个公共数据集上进行实验。Gowalla数据集是从Gowalla获取的签到数据集，每个用户的每一次签到作为一条记录；Yelp2018数据集收集于2018年的Yelp挑战赛，用户消费过的餐厅或酒吧等当地企业被视为一条记录；Amazon数据集是Amazon-review产品推荐数据集中的一个子数据集。该实验筛选一定数量物品范围内的用户数据，选取Yelp2018数据集中用户交互次数不低于25次的数据，其他两个数据集选取用户交互次数不低于20次的数据。
本发明所述基于图注意力神经网络的协同过滤推荐系统，采用TopK推荐方法，设置参数K＝20。采用了召回率Recall和归一化折损累计增益(Normalized DiscountedCumulative Gain,NDCG)两种评价指标来评估模型。Recall用来衡量推荐列表中用户有过交互行为的物品数量占测试集中与用户有过交互的所有物品数量的比例，召回率越高模型的效果越好。Recall的公式表示为：
Figure BDA0003899942690000091
式(11)中，U表示测试集中用户的集合，Lu为模型的推荐列表，
Figure BDA0003899942690000092
为测试集中用户u的真实交互列表。NDCG衡量了推荐列表中用户对不同位置推荐物品的喜好得分，喜好得分越高的物品排序越靠前，其推荐效果越好，NDCG得分越高。NDCG的公式表示为：
Figure BDA0003899942690000093
式(12)中relp＝{0,1}表示p位置上的相关度，DCG为折损累计增益，iDCG为理想情况下DCG的最大值，TP表示按照相关性从大到小的顺序排序。
本发明所述基于图注意力神经网络的协同过滤推荐系统，具体实验中，嵌入向量的维度为64，使用Xavier方法对输入数据进行初始化，采用Adam优化器对模型进行优化。实验设置学习率在{0.0005,0.001,0.005}范围内调整，L2正则化系数取值范围为{1e-5,1e-4,1e-3}，LeakyReLU激活函数输入小于零部分斜率为0.2。负样本候选集大小选取范围为{4,8,16,32}，当设置为8时，模型获得较好性能。合成难负样本正混合阶段(正混合阶段即指将正样本的信息融入到负样本候选集的负样本中)设置混合系数θ服从0到1的均匀分布。
本发明在上述三个数据集上对7个模型进行了对比实验，实验结果如表1所示。
表1 GACF与对比模型的性能比较
Figure BDA0003899942690000094
Figure BDA0003899942690000101
a)MF(Bpr:Bayesian personalized ranking from implicit feedback)在三个数据集上表现较差，说明在用户和物品表示向量携带信息匮乏的情况下，内积不足以捕捉用户物品交互数据中的复杂结构信息。
b)NeuMF(Neural collaborative filtering)性能优于MF，其使用Embedding层来学习用户和物品的低维向量表示，用多层神经网络代替矩阵分解模型中的内积操作，证明了用户物品Embedding之间非线性特征交互的重要性。
c)CMN(Collaborative memory network for recommendation systems)在Yelp2018和Amazon数据集上召回率均优于除本发明外的其他对比模型，这可能是模型中引入注意力机制的效果。CMN指定每个邻居节点的注意力得分，而不是相等的权重。证明了在异质网络中注意力机制能够提升节点的表示。
d)SpectralCF(Spectral collaborative filtering)在三个数据集中性能表现比较稳定，性能优于MF和NeuMF。这表明了采用图神经网络来进行推荐要优于一般的深度学习推荐模型。
e)LR-GCCF(Revisiting graph based collaborative filtering:A linearresidual graph convolutional network approach)在Gowalla数据集中性能优于其他模型，虽然引入了残差结构缓解过平滑问题，但其模型的提升主要是由于LR-GCCF比NGCF更轻量(去除了非线性变化以及减少了训练参数)。
f)NGCF(Neural graph collaborative filtering)在对比模型中推荐效果较好，在Gowalla数据集中NGCF稍优于本发明(GACF)，这是由于数据集中用户对物品的喜好程度非常接近，此时，本发明中基于自适应注意力机制的邻居聚合模块近似为平均加权求和。在稀疏度更低的Yelp2018上，本发明的推荐结果明显远优于NGCF，表明注意力机制能够更精确捕捉嵌入信号。
g)本发明(GACF)在Yelp2018和Amazon数据集上均优于其他模型，与其他模型中最优的相比在NDCG@20分别提升11％和15％。只有在Gowalla数据集上性能略低于NGCF和LR-GCCF。通过添加注意力机制聚合邻居信息，提升节点表示的质量，实验结果充分验证了该方法的合理性和有效性。本发明遵循高阶连通性原则挖掘高阶邻域信息，而CMN只学习到了一阶邻居，表明高阶协同信号在基于图的嵌入学习中的重要性。与LR-GCCF相比，GACF在Yelp2018和Amazon数据集上均优于LR-GCCF，这是由于LR-GCCF采用拼接汇聚而本发明采用平均汇聚，经过平均汇聚的评分矩阵多了交叉项。NGCF使用传统图卷积的方式聚合邻居信息，而本发明采用注意力机制更精准的获取节点表示。与NGCF相比，本发明去掉了特征变换并且减少了训练参数，采用自适应的注意力机制来区分节点之间的重要程度，使得本发明速度优于NGCF，如图5所示。
本发明对不同数量图注意力网络层系统性能进行了对比分析，实验结果如表2所示。
表2图注意力网络数量对本发明性能的影响
Figure BDA0003899942690000111
当图注意力网络数量为3时，本发明达到较好的性能。网络数量小于3的情况，可能模型不足以学到更多协同信号。为了达到更具表现力和更了解图结构的模型，通过增加图注意力网络数量来实现，但当图注意力网络数大于3时，系统性能不增反而下降，这是由于节点表示收敛到不可区分的向量，出现过度平滑问题。在Yelp2018和Amazon数据集上，网络数量较小时性能反而较好，这是由于数据集中节点具有丰富的低阶邻居节点，对高阶邻居依赖较低。
本发明所述基于图注意力神经网络的协同过滤推荐系统，针对负样本候选集数量的大小对系统的影响进行分析，分别观察取值{4,,8,16,32}范围内系统的性能，实验结果如表3所示。
表3候选负样本数量对GACF性能的影响
Figure BDA0003899942690000112
Figure BDA0003899942690000121
从系统架构考虑，随着负样本候选集的增大系统的准确性也随之提升，但在实验中并不明显，这是由于数据集的规模限制。本发明将候选集的大小设置为8，在三个数据集上均能达到较好的性能。
本发明所述基于图注意力神经网络的协同过滤推荐系统，对本发明中负采样的方法进行了消融实验，探索系统架构的合理性。为了验证跳连接负采样方法的有效性，采用随机负采样方法RNS(Random Negative Sampling)与跳连接负采样方法进行对比实验，具体实验结果如表4所示。
表4负采样对GACF的影响
Figure BDA0003899942690000122
在基于图神经网络的推荐中，使用原始负样本数据的随机负采样方法受限于原始负样本的质量。而跳连接负采样方法在嵌入空间合成难负样本，提升了负样本的质量，进而提升了系统的学习能力和泛化性能，达到较好的推荐效果。

Claims (10)

1.一种基于图注意力神经网络的协同过滤推荐系统，其特征是，包括采样模块和模型训练模块；模型训练模块包括图注意力网络层、汇聚层和预测层；图注意力网络层用于将用户和物品原始向量表示通过消息传递到目标节点，目标节点聚合其邻居向量表示输出自身新的向量表示；汇聚层用于将目标节点不同网络层的输出汇聚之后生成目标节点的最终向量表示；预测层用于使用内积建模用户和物品之间的交互，输出用户对物品的喜好程度；
所述目标节点聚合其邻居向量，具体是：采用图注意力网络，通过注意力机制量化目标节点的邻居信息对其的重要程度；
所述汇聚层在对目标节点不同网络层的输出进行汇聚时采用平均汇聚的方式生成目标节点的最终向量表示；
所述采样模块通过用户的隐式反馈对样本进行选取，将与用户产生过交互的样本视为正样本，未产生过交互的样本视为负样本；所述采样模块通过跳连接的方法从负样本中选取有效负样本作为难负样本。
2.根据权利要求1所述的基于图注意力神经网络的协同过滤推荐系统，其特征是，所述图注意力网络层数为3。
3.根据权利要求1所述的基于图注意力神经网络的协同过滤推荐系统，其特征是，采用用户和物品的ID作为训练数据，将用户和物品的ID通过Xavier初始化获取用户和物品原始向量表示，即通过嵌入层将用户和物品的ID映射到低维密集向量。
4.根据权利要求1所述的基于图注意力神经网络的协同过滤推荐系统，其特征是，目标节点聚合其邻居向量表示输出自身新的向量表示，具体表达公式如下：
Figure FDA0003899942680000011
式(6)中，
Figure FDA0003899942680000012
和
Figure FDA0003899942680000013
分别表示用户节点和物品节点聚合h阶邻居信息之后的输出，
Figure FDA0003899942680000014
和
Figure FDA0003899942680000015
为消息传递的权重，
Figure FDA0003899942680000016
和
Figure FDA0003899942680000017
为第h-1网络层的输出。
5.一种基于图注意力神经网络的协同过滤推荐方法，其特征是，该方法采用了权利要求1所述基于图注意力神经网络的协同过滤推荐系统，包括如下步骤：
a、由采用模块通过用户的隐式反馈对样本进行选取，将与用户产生过交互的样本视为正样本，未产生过交互的样本视为负样本；所述采样模块通过跳连接的方法从负样本中选取有效负样本作为难负样本；
b、模型训练模块通过正样本和难负样本对模型进行训练；具体包括：
b-1、通过图注意力网络层使用户和物品原始向量表示通过消息传递到目标节点，目标节点聚合其邻居向量表示输出自身新的向量表示；所述目标节点聚合其邻居向量具体是：采用图注意力网络，通过注意力机制量化目标节点的邻居信息对其的重要程度；
b-2、通过汇聚层将目标节点不同网络层的输出平均汇聚之后生成目标节点的最终向量表示；
b-3、通过预测层使用内积建模用户和物品之间的交互，输出用户对物品的喜好程度。
6.根据权利要求5所述的基于图注意力神经网络的协同过滤推荐方法，其特征是，步骤b-1中，目标节点聚合其邻居向量的表达方式如下：
Figure FDA0003899942680000021
式(2)中，vui和viu分别表示用户u和物品i聚合其对应邻居信息后生成的新的向量表示，POL(·)为聚合函数；vi和vu分别为用户u邻居节点的向量表示和物品i邻居节点的向量表示，αui和αiu分别为邻居节点信息对目标节点的重要程度值；
结合注意力机制，聚合函数POL(·)定义为：
Figure FDA0003899942680000022
式(3)中，Tu和Ti分别表示与用户u产生过交互的物品集和与物品i产生过交互的用户集；对于用户u其与邻居节点之间的依赖关系的量化如下：
Figure FDA0003899942680000023
式(4)中，
Figure FDA0003899942680000024
是一个单层的前馈神经网络，使用LeakyReLU激活函数，并使用softmax函数对其进行归一化处理；αui的完整公式如下所示：
Figure FDA0003899942680000025
式(5)中，
Figure FDA0003899942680000026
是参数化的权重向量，T表示转置操作，||表示将两个嵌入向量进行拼接操作，
Figure FDA0003899942680000027
为参数化共享的权重矩阵将输入特征进行线性变换。
7.根据权利要求5所述的基于图注意力神经网络的协同过滤推荐方法，其特征是，步骤b-2中，用户节点的最终向量表示
Figure FDA0003899942680000031
和物品节点的最终向量表示
Figure FDA0003899942680000032
如下：
Figure FDA0003899942680000033
式(7)中，h为图注意力网络层数，
Figure FDA0003899942680000034
和
Figure FDA0003899942680000035
分别为用户节点和物品节点第h网络层的数。
8.根据权利要求7所述的基于图注意力神经网络的协同过滤推荐方法，其特征是，图注意力网络层数h为3。
9.根据权利要求8所述的基于图注意力神经网络的协同过滤推荐方法，其特征是，步骤a中，所述采样模块通过跳连接的方法从负样本中选取有效负样本作为难负样本，具体包括如下步骤：从负样本中随机抽取设定数量的负样本作为负样本候选集；将负样本候选集中负样本的向量表示按不同网络层的输出分为h+1个簇，然后将对应正样本插入负样本候选集生成难负样本候选集；使用目标用户的向量表示与难负样本候选集中每个簇的向量表示做内积筛选出难负样本的h+1个向量表示，最后通过平均汇聚合成难负样本。
10.根据权利要求8所述的基于图注意力神经网络的协同过滤推荐方法，其特征是，步骤a中，形成难负样本的具体表达公式如下：
Figure FDA0003899942680000036
式(10)中，
Figure FDA0003899942680000037
和
Figure FDA0003899942680000038
表示正样本和负样本候选集中负样本的向量表示，θ(h)为混合因子，取值范围为(0，1)；
Figure FDA0003899942680000039
表示插入正样本之后的负样本向量表示，fQ(·)为查询负样本对应用户的向量表示，
Figure FDA00038999426800000310
为最终合成难负样本的h阶向量表示。
CN202211286016.4A 2022-10-20 2022-10-20 一种基于图注意力神经网络的协同过滤推荐系统及方法 Pending CN115618128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211286016.4A CN115618128A (zh) 2022-10-20 2022-10-20 一种基于图注意力神经网络的协同过滤推荐系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211286016.4A CN115618128A (zh) 2022-10-20 2022-10-20 一种基于图注意力神经网络的协同过滤推荐系统及方法

Publications (1)

Publication Number Publication Date
CN115618128A true CN115618128A (zh) 2023-01-17

Family

ID=84864440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211286016.4A Pending CN115618128A (zh) 2022-10-20 2022-10-20 一种基于图注意力神经网络的协同过滤推荐系统及方法

Country Status (1)

Country Link
CN (1) CN115618128A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542720A (zh) * 2023-07-05 2023-08-04 湖北工业大学 一种基于图卷积网络的时间增强信息序列推荐方法及系统
CN116955833A (zh) * 2023-09-20 2023-10-27 四川集鲜数智供应链科技有限公司 一种用户行为分析系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542720A (zh) * 2023-07-05 2023-08-04 湖北工业大学 一种基于图卷积网络的时间增强信息序列推荐方法及系统
CN116542720B (zh) * 2023-07-05 2023-09-19 湖北工业大学 一种基于图卷积网络的时间增强信息序列推荐方法及系统
CN116955833A (zh) * 2023-09-20 2023-10-27 四川集鲜数智供应链科技有限公司 一种用户行为分析系统及方法
CN116955833B (zh) * 2023-09-20 2023-11-28 四川集鲜数智供应链科技有限公司 一种用户行为分析系统及方法

Similar Documents

Publication Publication Date Title
Darban et al. GHRS: Graph-based hybrid recommendation system with application to movie recommendation
CN115618128A (zh) 一种基于图注意力神经网络的协同过滤推荐系统及方法
CN109190030B (zh) 融合node2vec和深度神经网络的隐式反馈推荐方法
CN112950324B (zh) 一种知识图谱辅助的成对排序个性化电商推荐方法及系统
CN113409121B (zh) 一种基于异构图表达学习的跨境电商推荐方法
Kazienko et al. Multidimensional social network: model and analysis
CN113378048B (zh) 一种基于多视角知识图谱注意力网络的个性化推荐方法
CN111881363A (zh) 一种基于图交互网络的推荐方法
CN111582509A (zh) 一种基于知识图谱表示学习和神经网络的协同推荐方法
CN112364242A (zh) 针对上下文感知型的图卷积推荐系统
CN112800326A (zh) 一种改进的多任务学习与知识图谱结合的Ripp-MKR推荐方法
Wang et al. Atne-trust: Attributed trust network embedding for trust prediction in online social networks
CN113704438B (zh) 一种基于分层注意力机制的异构图的会话推荐方法
CN115168721A (zh) 融合协同变换与时态感知的用户兴趣推荐方法及系统
Chen et al. Graph enhanced neural interaction model for recommendation
CN116186309B (zh) 基于融合用户意图的交互兴趣图的图卷积网络推荐方法
Liu et al. TCD-CF: Triple cross-domain collaborative filtering recommendation
Dridi et al. Exploiting context-awareness and multi-criteria decision making to improve items recommendation using a tripartite graph-based model
CN116304372A (zh) 一种融合群组的协作知识图网络推荐方法
Thirunavukarasu et al. People to people recommendation using coupled nonnegative boolean matrix factorization
CN116204628A (zh) 一种知识图谱增强的物流知识神经协同过滤推荐方法
CN113704439B (zh) 一种基于多来源信息异构图的会话推荐方法
CN115391555A (zh) 一种用户感知的知识图谱推荐系统及方法
CN115809339A (zh) 跨领域推荐方法、系统、设备及存储介质
Fu et al. Preference-aware heterogeneous graph neural networks for recommendation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination