CN114139066A - 一种基于图神经网络的协同过滤推荐系统 - Google Patents

Abstract

本发明公开一种基于图神经网络的协同过滤推荐系统，包括用户‑项目二部图生成模块、嵌入信息生成模块、隐式关系构建模块、数据融合模块和推荐模块；本发明使用基于注意力的记忆网络学习分别构建的用户‑用户和项目‑项目图，以获取相邻对之间的关系信息。该模型同时学习所有三种图形，通过信息融合层统一多属性和隐式关系信息，实现端到端推荐。

Description

一种基于图神经网络的协同过滤推荐系统

技术领域

本发明涉及数据挖掘领域，具体是基于图神经网络的建模多属性和隐含关系信息的协同过滤推荐系统。

背景技术

由于推荐系统中用户和项目的交互可以自然地建模为用户-项目二分图，许多新兴的研究致力于探索协同过滤方法的图方面。使得图卷积神经领域在推荐系统中取得了相当有效的成果。实际上，用户-项目的交互通常源于更多复杂的潜在因素，比如用户的特定偏好。现有方法曾提出使用用户-项目二分图来理解动机的差异，但没有明确提出影响差异的因素并对其建模，同时又忽略了用户对和项目对之间的相似性。多重限制使他们无法更有效地捕捉细粒度的用户偏好。

在信息过载的互联网环境下，用户希望更高效地获取感兴趣的信息，公司也希望产品能够最大限度地吸引和留住用户，从而实现发展。推荐系统就是这样诞生的，它是为了产生个性化的项目推荐和处理信息过载问题而设计的。由于推荐系统在实践中收到了有效的反馈，它不仅在学术界引起了极大的兴趣，而且在工业界也得到了广泛的发展。

对于许多现代推荐系统来说，常用且有效的解决方案是协同过滤(CF)技术，其基本假设是“过去共享相似购买的人在未来往往有相似的选择”。矩阵分解算法在CF算法的基础上增加了隐向量的概念。向量是从用户-项目交互的记录中推断出来的，但只考虑了用户和项目的特征，缺少用户-项目交互的明确组合。本质上，这种用户-项目交互信息可以自然地建模成图。图可以包含更明确的交互信息，同时增加用户和项目之间的连通性。最近，图形卷积神经网络已经成为各种图形学习任务的最佳性能架构之一。GC-MC使用两个多链接图形卷积层来聚合用户特征和项目特征。NGCF建立了用户-项目二分图来收集一阶邻域信息。

尽管它们有效，但仍然存在两个重要的局限性。首先，这些方法未区分不同用户的购买动机。但是在现实世界中，用户决策背后的动机是多方面的。人的个人属性会极大的影响喜好。例如，一个热爱科学和技术并以此谋生的人，购买高科技产品的数量和可能性比购买仅仅外观可爱的东西要高得多。但另一个有文艺属性的人的选择可能相反。一个人会根据自己不同的属性喜欢不同属性的物品。属性来源于一个人的性格、职业、专业方向等，并不是短时间内培养出来的兴趣。而且，由于属性影响的选择往往会占多数且更稳定。因此，这些不区分购买动机的方法不可避免地会丢失细粒度的有价值信息。最近的工作通过设置多个组件来捕捉更复杂的交互特征，但是仍然没有做到使用更全面和有效的信息来提供可解释的建议。第二，这些方法只考虑二部图中节点的特征，把图当作一个独立的个体。忽略二分图外的用户-用户和项目-项目关系也是一个非常重要的信号。隐式关系可以通过用户-用户和项目-项目图来建模，以反映更复杂的交互特征。

图1展示了一个简单的例子。如果忽略用户的潜在属性，不考虑购买动机的差异，那便无法比较用户u1购买产品i3或i4的可能性。然而，假设考虑到潜在属性对偏好的影响——用户u1、u3和u4更喜欢高科技产品，而用户u2更喜欢艺术品——可以确定项目i4比i3更适合u1。因为，从用户-物品交互层面来看，物品i4是由偏爱高科技产品的用户购买的，更符合用户u1的购买动机。从用户-用户和物品-物品层面，根据购买物品属性的相似性，可以推断出u3和u1的偏好更相似。这种类似的关系可以通过隐式关系建模来捕捉。因此有必要设计一个能够在两个层次上描述细粒度用户偏好的推荐系统。

发明内容

本发明的目的是提供一种基于图神经网络的协同过滤推荐系统，包括用户-项目二部图生成模块、多属性嵌入信息生成模块、隐式关系构建模块、数据融合模块和推荐模块；

所述用户-项目二部图生成模块获取用户对若干待推荐项目的评分，生成用户-项目二部图

并传输至多属性嵌入信息生成模块和隐式关系构建模块；

所述多属性嵌入信息生成模块对所述用户-项目二部图

进行处理，生成用户多属性嵌入信息和项目多属性嵌入信息，并传输至数据融合模块；

所述隐式关系构建模块利用用户-项目二部图构造用户-用户及项目-项目图建模隐式关系信息，并传输至数据融合模块；

所述数据融合模块对用户多属性嵌入信息、项目多属性嵌入信息、隐性关系信息进行融合，得到用户及项目的最终嵌入表示；所述最终嵌入表示传输至推荐模块；

所述推荐模块基于用户及项目的最终嵌入表示计算用户对项目的偏好评级。

进一步，将用户对项目的评分建模为用户-项目二部图

其中，

和

分别代表用户集和待推荐项目集；

和

分别表示用户集和待推荐项目集的特征矩阵；N_u为用户总数；N_i为待推荐项目总数；d表示特征维数；评分集

包含用户对每个已交互项目的评分等级；评分集

R为最高评分等级；ε表示边集合；集合ε中的任意条边e＝(u，i，r)∈ε表示用户u对项目i有明确评分等级r。

进一步，所述多属性嵌入信息生成模块生成用户和项目嵌入信息的步骤包括：

1)从用户-项目二部图中提取M个潜在属性空间；其中，第m个潜在属性空间影响用户-项目交互中的第m个交互可能性；

2)提取用户潜在属性空间

和项目潜在属性空间

其中，用户u的第m个潜在属性空间

和项目i的第m个潜在属性空间

分别如下所示：

式中，W＝{W₁，W₂，…，WM}为用户潜在属性空间变换矩阵；Q＝{Q₁，Q₂，…，Q_M}为项目潜在属性空间变换矩阵；m＝1，…，M；u_u、p_i为用户u、项目i的特征；

3)计算用户u在第m个潜在属性空间下与项目i交互的可能性

即：

式中，att_node表示节点级注意力神经网络；

4)利用softmax函数计算权重系数

即：

式中，σ表示激活函数；a_m表示在第m个潜在属性空间下的节点级注意力向量；

为项目集；

5)计算用户u的潜在属性空间集

其中，用户u的第m个潜在属性特征

如下所示：

计算每个潜在属性空间的权重，即：

式中，

表示第M个潜在属性空间的权重，att_spac表示属性空间级注意力神经网络；

6)计算用户u的本身潜在属性特征和其潜在属性空间的联合嵌入

即：

式中，C_m表示权重矩阵；b_m表示偏置向量；

计算第m个潜在属性空间的重要性

即：

式中，q表示注意力向量；b表示偏置；

归一化计算得到第m个潜在属性空间的权重

即：

7)生成二部图模块的用户嵌入信息z_u和项目嵌入信息z_i，即：

式中，

为项目i第m个潜在属性空间的权重；

为项目i的第m个潜在属性特征。

进一步，所述隐式关系构建模块构建隐式关系信息的步骤包括：

1)通过用户-项目二部图，基于余弦相似度构造用户-用户图和项目-项目图来表示相似用户和相似项目，根据多图分别建模用户和项目的隐式关系；

首先计算有相似偏好用户的联合嵌入c_u，即：

式中，u_n表示第n个用户；u_(n，l)表示与用户u_n有相似偏好的第l个用户；⊙表示点乘；

2)建立联合嵌入矩阵

即：

式中，

为记忆矩阵；j＝1，...，N；N为不同潜在属性空间中相似用户数量；

3)计算相似用户的注意力权重

即：

式中，K表示在不同潜在属性空间中相似用户的注意力关键矩阵；Kj为矩阵K的元素；

4)归一化得到相似用户的注意力权重α_j，即：

5)计算关联向量

即：

式中，关联向量

用于表征与用户u_n有相似偏好的第l个用户对用户u_n偏好的影响；

6)建立用于确定关联向量权重的深度神经网络，即：

式中，

表示关联向量

的权重；

深度神经网络的输入为关联向量，输出为关联向量权重；

关联向量权重

如下所示：

式中，W为模型参数；

7)计算每个有相似偏好用户的影响权重，即：

式中，L_n表示所有与用户u_n有相似偏好的用户；

8)生成隐式关系信息v_u，即：

进一步，所述数据融合模块所述推荐模块存储有MLP网络；

所述MLP网络的输入为用户关联信息U_u＝[z_u||v_u]·A_u和项目关联信息I_i＝[z_i||v_i]·A_i，输出为用户u对项目i的偏好等级r′_ui；中间参数A_u＝softmax(σ(W_a1·z_u+W_a2·v_u))，A_i＝softmax(σ(W_a1·z_i+W_a2·v_i))；v_u、v_i分别为用户、物品的隐式关系信息；W_a1、W_a2为计算系数；

MLP网络输出用户u对项目i的偏好等级r′_ui的过程如下所示：

g₁＝[U_u||I_i]，

g₂＝σ(W₂·g₁+b₂)，

…

g_l＝σ(W_l·g_l-1+b_l)，

r′_ui＝w^T·g_l， (20)

式中，l是隐藏层的索引；g_l表示隐藏层；w为权值，b_l为偏置。

进一步，MLP网络的目标函数

如下所示：

式中，训练参数θ＝{W，Q}；；λ和θ表示正则化权重；

其中，函数方程

如下所示：

式中，

表示观察到的偏好等级；r_ui表示用户u对项目i的真实偏好等级。

进一步，所述推荐模块基于用户对项目的偏好等级向用户发送推荐项目信息的方法为：将偏好等级大于阈值ε的项目发送给用户。

进一步，还包括存储用户-项目二部图生成模块、多属性嵌入信息生成模块、隐式关系构建模块、数据融合模块和推荐模块数据的数据库。

值得说明的是，多属性因素和隐式关系因素被准确地提出并建模。对于给定的用户项目二分图，首先提取多个属性。然后利用两层注意机制区分属性空间的概率分布，最后对属性因子进行建模。同时，稀疏正则化可以缓解这些反映相似动机的属性因素造成的过拟合。对于隐式关系部分，使用单独构建的用户-用户和项目-项目图。基于注意的记忆模块用于学习节点对之间的特定关系向量，然后使用关系级注意自动选择信息丰富的邻居进行偏好建模。

本发明的技术效果是毋庸置疑的，本文提出了一种新的推荐模型，该模型明确提出并建模了影响用户特定偏好的两个隐含因素——潜在属性和隐含关系。MI-CF通过用户-项目二分图聚合多属性空间，并额外建立用户-用户和项目-项目图，通过记忆模块对邻居对的相似关系信息进行建模。通过将多个图纳入嵌入学习过程，实现了端到端推荐。此外为了避免多属性因素反映相似动机的问题，本发明使用了稀疏正则化器来解决可能的过拟合。本发明在三个公开数据集上进行了广泛的实验，显示了MI-CF的性能增益。进一步的实验定量地验证了本发明提出的模型每个组成部分的有效性，证明了细粒度隐式因素的有效性和可解释性。

本发明提出了一种新的基于图神经网络的协同过滤方法——MI-CF，该方法基于属性级注意力和隐式关系聚合来捕捉用户行为背后的细粒度隐式因素。

本发明使用基于注意力的记忆网络学习分别构建的用户-用户和项目-项目图，以获取相邻对之间的关系信息。该模型同时学习所有三种图形，通过信息融合层统一多属性和隐式关系信息，实现端到端推荐。

本发明在三个公共数据集上进行了广泛的实验来评估本发明提出的方法。实验结果表明了MI-CF的有效性和可解释性。

附图说明

图1为存在不同购买动机的玩具购买记录示例；

图2为本发明系统框架；

图3为用户部分基于注意力的记忆模块；

图4为潜在属性空间对三个真实数据集的影响；图4(a)为潜在属性空间对Yelp数据集的影响；图4(b)为潜在属性空间对Amazon数据集的影响；图4(c)为潜在属性空间对MovieLens数据集的影响；

图5为嵌入信息对三个真实数据集的影响；图5(a)为嵌入信息对Yelp数据集的影响；图5(b)为嵌入信息对Amazon数据集的影响；图5(c)为嵌入信息对MovieLens数据集的影响。

具体实施方式

下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。

实施例1：

一种基于图神经网络的协同过滤推荐系统，包括用户-项目二部图生成模块、多属性嵌入信息生成模块、隐式关系构建模块、数据融合模块和推荐模块；

所述用户-项目二部图生成模块获取用户对若干待推荐项目的评分，生成用户-项目二部图

并传输至多属性嵌入信息生成模块和隐式关系构建模块；

所述多属性嵌入信息生成模块对所述用户-项目二部图

进行处理，生成用户多属性嵌入信息和项目多属性嵌入信息，并传输至数据融合模块；

所述隐式关系构建模块利用用户-项目二部图构造用户-用户及项目-项目图建模隐式关系信息，并传输至数据融合模块；

所述数据融合模块对用户多属性嵌入信息、项目多属性嵌入信息、隐性关系信息进行融合，得到用户及项目的最终嵌入表示；所述最终嵌入表示传输至推荐模块；

所述推荐模块基于用户及项目的最终嵌入表示计算用户对项目的偏好评级。

进一步，将用户对项目的评分建模为用户-项目二部图

其中，

和

分别代表用户集和待推荐项目集；

和

分别表示用户集和待推荐项目集的特征矩阵；N_u为用户总数；N_i为待推荐项目总数；d表示特征维数；评分集

包含用户对每个已交互项目的评分等级；评分集

R为最高评分等级；ε表示边集合；集合ε中的任意条边e＝(u，i，r)∈ε表示用户u对项目i有明确评分等级r。

所述多属性嵌入信息生成模块生成用户和项目嵌入信息的步骤包括：

1)从用户-项目二部图中提取M个潜在属性空间；其中，第m个潜在属性空间影响用户-项目交互中的第m个交互可能性；

2)提取用户潜在属性空间

和项目潜在属性空间

其中，用户u的第m个潜在属性空间

和项目i的第m个潜在属性空间

分别如下所示：

式中，W＝{W₁，W₂，…，W_M}为用户潜在属性空间变换矩阵；Q＝{Q₁，Q₂，…，Q_M}为项目潜在属性空间变换矩阵；m＝1，…，M；u_u、p_i为用户u、项目i的特征；

3)计算用户u在第m个潜在属性空间下与项目i交互的可能性

即：

式中，att_node表示节点级注意力神经网络；

4)利用softmax函数计算权重系数

即：

式中，σ表示激活函数；a_m表示在第m个潜在属性空间下的节点级注意力向量；

为项目集；

5)计算用户u的潜在属性空间集

其中，用户u的第m个潜在属性特征

如下所示：

计算每个潜在属性空间的权重，即：

式中，

表示第M个潜在属性空间的权重，att_spac表示属性空间级注意力神经网络；

6)计算用户u的本身潜在属性特征和其潜在属性空间的联合嵌入

即：

式中，C_m表示权重矩阵；b_m表示偏置向量；

计算第m个潜在属性空间的重要性

即：

式中，q表示注意力向量；b表示偏置；

归一化计算得到第m个潜在属性空间的权重

即：

7)生成二部图模块的用户嵌入信息z_u和项目嵌入信息z_i，即：

式中，

为项目i第m个潜在属性空间的权重；

为项目i的第m个潜在属性特征。

所述隐式关系构建模块构建隐式关系信息的步骤包括：

1)通过用户-项目二部图，基于余弦相似度构造用户-用户图和项目-项目图来表示相似用户和相似项目，根据多图分别建模用户和项目的隐式关系；

首先计算有相似偏好用户的联合嵌入c_u，即：

式中，u_n表示第n个用户；u_(n，l)表示与用户u_n有相似偏好的第l个用户；⊙表示点乘；

2)建立联合嵌入矩阵

即：

式中，

为记忆矩阵；j＝1，...，N；N为不同潜在属性空间中相似用户数量；

3)计算相似用户的注意力权重

即：

式中，K表示在不同潜在属性空间中相似用户的注意力关键矩阵；Kj为矩阵K的元素；

4)归一化得到相似用户的注意力权重α_j，即：

5)计算关联向量

即：

式中，关联向量

用于表征与用户u_n有相似偏好的第l个用户对用户u_n偏好的影响；

6)建立用于确定关联向量权重的深度神经网络，即：

式中，

表示关联向量

的权重；

深度神经网络的输入为关联向量，输出为关联向量权重；

关联向量权重

如下所示：

式中，W为模型参数；

7)计算每个有相似偏好用户的影响权重，即：

式中，L_n表示所有与用户u_n有相似偏好的用户；

8)生成隐式关系信息v_u，即：

所述数据融合模块所述推荐模块存储有MLP网络；

所述MLP网络的输入为用户关联信息U_u＝[z_u||v_u]·A_u和项目关联信息I_i＝[z_i||v_i]·A_i，输出为用户u对项目i的偏好等级r′_ui；中间参数A_u＝softmax(σ(W_a1·z_u+W_a2·v_u))，A_i＝softmax(σ(W_a1·z_i+W_a2·v_i))；v_u、v_i分别为用户、物品的隐式关系信息；W_a1、W_a2为计算系数；

MLP网络输出用户u对项目i的偏好等级r′_ui的过程如下所示：

g₁＝[U_u||I_i]，

g₂＝σ(W₂·g₁+b₂)，

…

g_l＝σ(W_l·g_l-1+b_l)，

r′_ui＝w^T·g_l， (20)

式中，l是隐藏层的索引；g_l表示隐藏层；w为权值，b_l为偏置。

进一步，MLP网络的目标函数

如下所示：

式中，训练参数θ＝{W，Q}；；λ和θ表示正则化权重；

其中，函数方程

如下所示：

式中，

表示观察到的偏好等级；r_ui表示用户u对项目i的真实偏好等级。

所述推荐模块基于用户对项目的偏好等级向用户发送推荐项目信息的方法为：将偏好等级大于阈值ε的项目发送给用户。

进一步，还包括存储用户-项目二部图生成模块、多属性嵌入信息生成模块、隐式关系构建模块、数据融合模块和推荐模块数据的数据库。

实施例2：

参见图2和图3，一种基于图神经网络的协同过滤推荐系统，包括用户-项目二部图生成模块、多属性嵌入信息生成模块、隐式关系构建模块、数据融合模块和推荐模块。

所述用户-项目二部图生成模块获取用户对若干待推荐项目的评分，生成用户-项目二部图

并传输至多属性嵌入信息生成模块和隐式关系构建模块。

将用户对项目的评分建模为用户-项目二部图

其中，

和

分别代表用户集和待推荐项目集。

和

分别表示用户集和待推荐项目集的特征矩阵。N_u为用户总数。N_i为待推荐项目总数。d表示特征维数。评分集

包含用户对每个已交互项目的评分等级。评分集

R为最高评分等级。ε表示边集合。集合ε中的任意条边e＝(u，i，r)∈ε表示用户u对项目i有明确评分等级r。

所述多属性嵌入信息生成模块对所述用户-项目二部图

进行处理，生成用户多属性嵌入信息和项目多属性嵌入信息，并传输至数据融合模块。

所述多属性嵌入信息生成模块生成用户和项目嵌入信息的步骤包括：

1)从用户-项目二部图中提取M个潜在属性空间。其中，第m个潜在属性空间影响用户-项目交互中的第m个交互可能性。

2)提取用户潜在属性空间

和项目潜在属性空间

其中，用户u的第m个潜在属性空间

和项目i的第m个潜在属性空间

分别如下所示：

式中，W＝{W₁，W₂，…，W_M}为用户潜在属性空间变换矩阵。Q＝{Q₁，Q₂，…，Q_M}为项目潜在属性空间变换矩阵。

3)计算用户u在第m个潜在属性空间下与项目i交互的可能性

即：

式中，att_node表示节点级注意力神经网络。

4)利用softmax函数计算权重系数

即：

式中，σ表示激活函数。a_m表示在第m个潜在属性空间下的节点级注意力向量。

为项目集。

5)计算用户u的潜在属性空间集

其中，用户u的第m个潜在属性特征

如下所示：

计算每个潜在属性空间的权重，即：

式中，

表示第M个潜在属性空间的权重，att_spac表示属性空间级注意力神经网络。

6)计算用户u的本身潜在属性特征和其潜在属性空间的联合嵌入

即：

式中，C_m表示权重矩阵。b_m表示偏置向量。

计算第m个潜在属性空间的重要性

即：

式中，q表示注意力向量。b表示偏置。

归一化计算得到第m个潜在属性空间的权重

即：

7)生成二部图模块的用户嵌入信息z_u和项目嵌入信息z_i，即：

式中，

为项目i第m个潜在属性空间的权重。

为项目i的第m个潜在属性特征。项目嵌入信息z_i的计算过程与用户嵌入信息的计算过程类似。

所述隐式关系构建模块利用用户-项目二部图构造用户-用户及项目-项目图建模隐式关系信息，并传输至数据融合模块。

所述隐式关系构建模块构建隐式关系信息的步骤包括：

1)通过用户-项目二部图，基于余弦相似度构造用户-用户图和项目-项目图来表示相似用户和相似项目，根据多图分别建模用户和项目的隐式关系。

首先计算有相似偏好用户的联合嵌入c_u，即：

式中，u_n表示第n个用户。u_(n，l)表示与用户u_n有相似偏好的第l个用户。⊙表示点乘。

2)建立联合嵌入矩阵

即：

式中，

记忆矩阵。

3)计算相似用户的注意力权重

即：

式中，K表示在不同潜在属性空间中相似用户的注意力关键矩阵。

4)归一化得到相似用户的注意力权重α_j，即：

5)计算关联向量

即：

式中，关联向量

用于表征与用户u_n有相似偏好的第l个用户对用户u_n偏好的影响。

6)建立用于确定关联向量权重的深度神经网络，即：

式中，

表示关联向量

的权重。

深度神经网络的输入为关联向量，输出为关联向量权重。

关联向量权重

如下所示：

式中，W为模型参数。

7)计算每个有相似偏好用户的影响权重，即：

式中，L_n表示所有与用户u_n有相似偏好的用户。

8)生成隐式关系信息v_u，即：

所述数据融合模块对用户多属性嵌入信息、项目多属性嵌入信息、隐性关系信息进行融合，得到用户及项目的最终嵌入表示。所述最终嵌入表示传输至推荐模块。

所述数据融合模块所述推荐模块存储有MLP网络。

所述MLP网络的输入为用户关联信息U_u＝[z_u||v_u]·A_u和项目关联信息I_i＝[z_i||v_i]·A_i，输出为用户u对项目i的偏好等级r′_ui。中间参数A_u＝softmax(σ(W_a1·z_u+W_a2·v_u))，A_i＝softmax(σ(W_a1·z_i+W_a2·v_i))。

MLP网络输出用户u对项目i的偏好等级r′_ui的过程如下所示：

g₁＝[U_u||I_i]，

g₂＝σ(W₂·g₁+b₂)，

…

g_l＝σ(W_l·g_l-1+b_l)，

r′_ui＝w^T·g_l， (20)

式中，l是隐藏层的索引。g_l表示隐藏层。w为权值，b为偏置。

MLP网络的目标函数

如下所示：

式中，训练参数θ＝{W，Q}。。λ和θ表示正则化权重。

其中，函数方程

如下所示：

式中，

表示观察到的偏好等级。r_ui表示用户u对项目i的真实偏好等级。

所述推荐模块基于用户及项目的最终嵌入表示计算用户对项目的偏好评级。

所述推荐模块基于用户对项目的偏好等级向用户发送推荐项目信息的方法为：将偏好等级大于阈值ε的项目发送给用户。

一种基于图神经网络的协同过滤推荐系统，还包括存储用户-项目二部图生成模块、多属性嵌入信息生成模块、隐式关系构建模块、数据融合模块和推荐模块数据的数据库。

实施例2：

参见图4和图5，一种基于图神经网络的协同过滤推荐系统的验证实验，内容如下：

本实施例在三个真实数据集上进行实验来评估本实施例的模型。此外，本实施例对每个提议的部件进行了广泛的消融研究。同时通过实验探究不同的信息融合方法对结果的影响。

数据集和评价指标

本实施例在三个真实数据集上进行了广泛的实验：MovieLens、Amazon和Y elp，这些数据集是公共可访问的，并且在域、大小和稀疏性方面有所不同。

-MovieLens-100K：电影推荐中广泛采用的基准数据集，包含943个用户对1682部电影的10万个评价

-Amazon：一个广泛使用的产品推荐数据集，包含从1000个用户到1000个项目的65170个评级。

-Yelp：商户点评数据集，包含1,286个用户对2,614个项目的30,838个评级。

对于每个数据集，本实施例随机选择80％的历史评分作为训练集，其余的作为测试集。

对于所有实验，本实施例根据两个广泛使用的评估协议来评估本实施例的模型和基线：作为评估指标的为均方根误差(RMSE)和平均绝对误差(MAE)。

基线

本实施例研究了以下模型的性能。矩阵分解方法：PMF[18]，BiasMF[19]和LLORMA-Local[20]。基于自动编码器的方法：AUTOREC[21]和CF-NADE[22]。基于图形卷积网络的协同过滤模型：GC-MC[23]。此外对I-AUTOREC和I-CF-NADE本实施例还使用了基于项目的设置，这样比基于用户的设置具有更好的性能。

参数设置

本实施例用高斯分布随机初始化模型参数，然后使用Adam作为优化器。批次大小和学习率分别在{64，128，256}和{0.0005，0.001，0.002}中选取。除了多属性提取部分外，应用了dropout方法，其概率选在{0.3，0.4，0.5}中进行测试。L0正则化的参数是根据文献[25]设定的。本实施例在{1，2，3，4}范围内改变属性空间的数量。对于基于注意力的内存模块，M中的内存片数对于Yelp设置为4，对于Amazon和Movielens设置为8。对于神经网络，本实施例根据经验对所有神经部分采用两层，激活函数为Relu。该模型由Pytorch实现，嵌入维数从{16，32，64，128，256，512}中选择，用于不同的实验。所有基线都被初始化为相应的论文，在神经网络模型方面，本实施例使用相同的嵌入维数进行公平比较。然后仔细调整以实现最佳性能。

与基线的比较

表二报告了与基线相比的总体业绩。每个结果是5次随机初始化运行的平均性能。根据这些结果，本实施例得出以下结论：

本实施例的模型始终优于所有基线，表明本实施例的模型在推荐方面的有效性。更准确地说，本实施例的模型相对于RMSE的最好结果分别提高了9.32％、1.70％和1.28％。对于MAE，本实施例的模型分别比最好优化了8.94％、1.51％和1.15％。这表明，通过利用多个图和多个注意机制来挖掘潜在信息，本实施例的模型可以更好地预测评级。

yelp数据集具有较高的稀疏性，但本实施例的模型在yelp数据集上的性能有了显著提高。这充分说明了通过添加多个图可以更好地获取信息，从而在使用协作过滤时更有效地缓解稀疏性问题

可以观察到，I-AUTOREC、I-CFENDO、GCMC和MCCF的表现普遍优于PMF、BiasMF和LLORMA-Local，这表明了神经网络模型的强大。同时，在这些基线中，基于神经网络的模型的整体性能优于其他模型，这意味着神经网络在图形数据的性能方面具有强大的作用。

消融研究

本实施例在Yelp和Amazon数据集上进行消融分析，从仅有Bipar-GCN层开始，然后添加IRM层但不使用存储模块，最后添加完整IRM层。表三说明了每个组成部分的贡献。所有消融实验的嵌入维度均为128。对于结果最好的基线，本实施例将它的嵌入维度设置为64，因为此时结果优于设置为128的情况。

本实施例提出了一种新颖推荐系统模型MI-CF，旨在为协同过滤推荐系统建模多属性和隐式关系因素。其想法是明确探索影响用户购买动机的两重因素，以揭示在交互背后的细粒度因素。首先利用用户-项目二分图建模用户和项目的多属性，并将特定用户-项目对的潜在语义分别编码表示为属性空间。其次明确建模用户-用户图和项目-项目图，利用记忆注意网络和关系注意力在细粒度层面上对节点建模。从两个角度构建了三个嵌入的可用数据，极大地丰富了表示能力，并反映了细粒度的用户偏好。在三个真实数据集上的大量实验证明了本实施例的方法的有效性，并且消融研究定量地验证了每个成分做出的重要贡献。

Claims (8)

1.一种基于图神经网络的协同过滤推荐系统，其特征在于：包括用户-项目二部图生成模块、所述多属性嵌入信息生成模块、隐式关系构建模块、数据融合模块和推荐模块。

所述用户-项目二部图生成模块获取用户对若干待推荐项目的评分，生成用户-项目二部图g，并传输至多属性嵌入信息生成模块和隐式关系构建模块；

所述多属性嵌入信息生成模块对所述用户-项目二部图g进行处理，生成用户多属性嵌入信息和项目多属性嵌入信息，并传输至数据融合模块；

所述隐式关系构建模块利用用户-项目二部图构造用户-用户及项目-项目图建模隐式关系信息，并传输至数据融合模块；

所述数据融合模块对用户多属性嵌入信息、项目多属性嵌入信息、隐性关系信息进行融合，得到用户及项目的最终嵌入表示；所述最终嵌入表示传输至推荐模块；

所述推荐模块基于用户及项目的最终嵌入表示计算用户对项目的偏好评级。

2.根据权利要求1所述的一种基于图神经网络的协同过滤推荐系统，其特征在于：将用户对项目的评分建模为用户-项目二部图

其中，u和

分别代表用户集和待推荐项目集；

和

分别表示用户集和待推荐项目集的特征矩阵；N_u为用户总数；N_i为待推荐项目总数；d表示特征维数；评分集

包含用户对每个已交互项目的评分等级；评分集

R为最高评分等级；ε表示边集合；集合ε中的任意条边e＝(u，i，r)∈ε表示用户u对项目i有明确评分等级r。

3.根据权利要求1所述的一种基于图神经网络的协同过滤推荐系统，其特征在于，所述多属性嵌入信息生成模块生成用户和项目嵌入信息的步骤包括：

1)从用户-项目二部图中提取M个潜在属性空间；其中，第m个潜在属性空间影响用户-项目交互中的第m个交互可能性；

2)提取用户潜在属性空间

和项目潜在属性空间

其中，用户u的第m个潜在属性空间

和项目i的第m个潜在属性空间

分别如下所示：

式中，W＝{W₁，W₂，…，W_M}为用户潜在属性空间变换矩阵；Q＝{Q₁，Q₂，…，Q_M}为项目潜在属性空间变换矩阵；m＝1，…，M；u_u、p_i为用户u、项目i的特征；

3)计算用户u在第m个潜在属性空间下与项目i交互的可能性

即：

式中，att_node表示节点级注意力神经网络；

4)利用softmax函数计算权重系数

即：

式中，σ表示激活函数；a_m表示在第m个潜在属性空间下的节点级注意力向量；

为项目集；

5)计算用户u的潜在属性空间集

其中，用户u的第m个潜在属性特征

如下所示：

计算每个潜在属性空间的权重，即：

式中，

表示第M个潜在属性空间的权重，att_spac表示属性空间级注意力神经网络；

6)计算用户u的本身潜在属性特征和其潜在属性空间的联合嵌入

即：

式中，C_m表示权重矩阵；b_m表示偏置向量；

计算第m个潜在属性空间的重要性

即：

式中，q表示注意力向量；b表示偏置；

归一化计算得到第m个潜在属性空间的权重

即：

7)生成二部图模块的用户嵌入信息z_u和项目嵌入信息z_i，即：

式中，

为项目i第m个潜在属性空间的权重；

为项目i的第m个潜在属性特征。

4.根据权利要求1所述的一种基于图神经网络的协同过滤推荐系统，其特征在于，所述隐式关系构建模块构建隐式关系信息的步骤包括：

1)通过用户-项目二部图，基于余弦相似度构造用户-用户图和项目-项目图来表示相似用户和相似项目，根据多图分别建模用户和项目的隐式关系；

首先计算有相似偏好用户的联合嵌入c_u，即：

式中，u_n表示第n个用户；u_(n，l)表示与用户u_n有相似偏好的第l个用户；⊙表示点乘；

2)建立联合嵌入矩阵

即：

式中，

为记忆矩阵；j＝1，...，N；N为不同潜在属性空间中相似用户数量；

3)计算相似用户的注意力权重

即：

式中，K表示在不同潜在属性空间中相似用户的注意力关键矩阵；Kj为矩阵K的元素；

4)归一化得到相似用户的注意力权重α_j，即：

5)计算关联向量

即：

式中，关联向量

用于表征与用户u_n有相似偏好的第l个用户对用户u_n偏好的影响；

6)建立用于确定关联向量权重的深度神经网络，即：

式中，

表示关联向量

的权重；

深度神经网络的输入为关联向量，输出为关联向量权重；

关联向量权重

如下所示：

式中，W为模型参数；

7)计算每个有相似偏好用户的影响权重，即：

式中，L_n表示所有与用户u_n有相似偏好的用户；

8)生成隐式关系信息v_u，即：

5.根据权利要求1所述的一种基于图神经网络的协同过滤推荐系统，其特征在于，所述数据融合模块所述推荐模块存储有MLP网络；

所述MLP网络的输入为用户关联信息U_u＝[z_u||v_u]·A_u和项目关联信息I_i＝[z_i||v_i]·A_i，输出为用户u对项目i的偏好等级r′_ui；中间参数A_u＝softmax(σ(W_a1·z_u+W_a2·v_u))，A_i＝softmax(σ(W_a1·z_i+W_a2·v_i))；v_u、v_i分别为用户、物品的隐式关系信息；W_a1、W_a2为计算系数；

MLP网络输出用户u对项目i的偏好等级r′_ui的过程如下所示：

g₁＝[U_u||I_i]，

g₂＝σ(W₂·g₁+b₂)，

…

g_l＝σ(W_l·g_l-1+b_l)，

r′_ui＝w^T·g_l， (20)

式中，l是隐藏层的索引；g_l表示隐藏层；w为权值，b_l为偏置。

6.根据权利要求1所述的一种基于图神经网络的协同过滤推荐系统，其特征在于，MLP网络的目标函数

如下所示：

式中，训练参数θ＝{W，Q}；；λ和θ表示正则化权重；

其中，函数方程

如下所示：

式中，

表示观察到的偏好等级；r_ui表示用户u对项目i的真实偏好等级。

7.根据权利要求1所述的一种基于图神经网络的协同过滤推荐系统，其特征在于，所述推荐模块基于用户对项目的偏好等级向用户发送推荐项目信息的方法为：将偏好等级大于阈值ε的项目发送给用户。

8.根据权利要求1所述的一种基于图神经网络的协同过滤推荐系统，其特征在于，还包括存储用户-项目二部图生成模块、多属性嵌入信息生成模块、隐式关系构建模块、数据融合模块和推荐模块数据的数据库。

Images