CN111523047B - 基于图神经网络的多关系协同过滤算法 - Google Patents

Abstract

本发明提供了一种基于图神经网络的多关系协同过滤算法，包括：步骤1，对用户与物品的历史交互数据进行处理，从中抽取所有用户序列U^U和物品序列S^I；步骤2，分别将每个用户序列S^U和每个物品序列S^I分别构造为用户关系图G^U＝(V^U,E^U)和物品关系图G^I＝(V^I,E^I)。本发明所提供的基于图神经网络的多关系协同过滤算法，从用户与物品交互数据中通过构造物品关系图和用户关系图同时对物品关系和用户关系进行建模，并将多关系融入用户与物品交互的学习过程中，学习多关系对用户与物品交互的影响，从而使模型能够更好对用户偏好进行建模。

Description

基于图神经网络的多关系协同过滤算法

技术领域

本发明涉及信息处理技术领域，特别涉及一种基于图神经网络的多关系协同过滤算法。

背景技术

协同过滤是在工业界中应用最广泛的推荐算法之一，可以有效解决海量数据带来的“信息过载”问题。协同过滤可以基于用户与物品的历史交互数据(如评分、点击)学习用户的偏好，从而为用户生成新的推荐内容。好的推荐算法不仅能够帮助用户找到感兴趣的内容，提升用户体验，还能为商家增加流量，创造丰厚的利润。

然而传统的协同过滤模型，如矩阵分解，神经协同过滤等，在对用户偏好进行建模时往往只考虑了用户与物品之间的关系，而忽视了物品之间的关系和用户之间的关系，从而不足以从用户与物品历史交互中充分地学习到用户的偏好，用户与物品的交互行为通常受到两方面因素的影响：1.用户的历史偏好，由用户历史交互过的物品之间的关系所体现，能直接影响用户对一个新物品的兴趣，现有的考虑物品关系的协同过滤算法并没有考虑到用户角色在用户与物品交互中的重要作用；2.用户的社交关系，即用户之间的关系，一个用户的偏好往往受到其社交朋友的影响，从而间接的影响用户的决策行为，而现有的考虑用户关系的推荐模型同样也没有考虑到物品之间复杂的关系，而且需要明确的社交关系数据，这在现实中往往难以获取，另外，传统的推荐模型也没有考虑不同历史物品(用户)的关系对模型预测用户偏好的贡献是不同的。

综上所述，在协同过滤中，同时考虑用户与物品、物品与物品以及用户与用户之间的多种关系对与用户偏好的建模是至关重要的。

发明内容

本发明提供了一种基于图神经网络的多关系协同过滤算法，其目的是为了解决传统的协同过滤模型在对用户偏好进行建模时往往只考虑了用户与物品之间的关系，而忽视了物品之间的关系和用户之间的关系，从而不足以从用户与物品历史交互中充分地学习到用户的偏好的问题。

为了达到上述目的，本发明的实施例提供了一种基于图神经网络的多关系协同过滤算法，包括：

步骤1，对用户与物品的历史交互数据进行处理，从中抽取所有用户序列S^U和物品序列S^I；

步骤2，分别将每个用户序列S^U和每个物品序列S^I分别构造为用户关系图G^U＝(V^U,E^U)和物品关系图G^I＝(V^I,E^I)，其中，V^U为用户关系图中的所有用户节点，E^U为用户关系图中的用户节点之间边的集合，V^I为物品关系图中的所有物品节点，E^I为物品关系图中的物品节点之间边的集合；

步骤3，同时将用户ID、物品ID和对应的用户关系图G^U、物品关系图G^I输入到MRCF模型中，通过初始化嵌入矩阵E^u、Eⁱ、

分别将用户ID、物品ID、用户关系图中的用户节点和物品关系图中的物品节点映射为嵌入向量，分别表示为e_u∈R^d、e_i∈R^d、

和

其中，d表示嵌入向量的维度；

步骤4，对步骤3中得到的用户关系图和物品关系图中的节点嵌入向量

和

通过关系化图神经网络来学习用户关系图中的用户节点之间的复杂关系和物品关系图中物品节点之间的复杂关系，得到不断更新之后的节点嵌入向量

和

步骤5，对于步骤4得到的所有节点更新之后的嵌入向量

和

可以组成用户关系图的嵌入矩阵G_u和物品关系图的嵌入矩阵G_i，再通过简单点积注意力机制学习不同历史用户节点关系对目标用户的影响和不同历史物品节点关系对目标物品的影响，并生成用户关系图和物品关系图的全局表示g_u和g_i；

步骤6，对于步骤3得到的用户ID和物品ID的嵌入向量e_u和e_i，步骤5得到的对应的用户关系图和物品关系图的全局表示g_u和g_i，将用户关系图的全局表示g_u和用户ID的嵌入向量e_u相连接，将物品关系图的全局表示g_i与物品ID的嵌入向量e_i相连接；

步骤7，通过训练模型，最小化模型的损失函数，计算出损失函数的梯度，通过梯度的反向传播优化模型的参数，生成满意的推荐效果的推荐模型。

其中，所述步骤3具体包括：

MRCF模型设置有输入与嵌入层、关系化图神经网络、简单点积注意力机制、交互层和预测层；

输入与嵌入层分别将一个用户ID映射为一个嵌入向量和一个物品ID映射为一个嵌入向量，符号分别为e_u∈R^d和e_i∈R^d，并将用户关系图和物品关系图中节点的嵌入向量分别描述为

和

其中，d表示嵌入向量的维度；通过构造一个参数矩阵，实现一个嵌入向量的查找表如下所示：

其中，u表示用户，i表示物品，M和N分别表示用户和物品的数目。

其中，所述步骤4具体包括：

关系化图神经网络将用户与物品的交互显式地建模并且融合到学习物品关系图和用户关系图中节点的嵌入向量的过程中，关系化图神经网络在每次更新物品关系图中节点的嵌入向量前对节点的嵌入向量的信息进行重新构建如下所示：

其中，

表示重新构建后的节点的嵌入向量，W_r表示可以训练的权重矩阵，将节点信息映射到潜在空间中，将用户u和物品i的交互信息通过

的方式编码进了节点的信息传递中，⊙表示逐元素相乘，

表示归一化系数，N_u表示用户u历史交互过所有的物品；

使节点信息在物品关系图中进行传播，即为每个节点汇聚它们邻居节点的嵌入向量，例如，在第t个时间步，第k个物品节点的信息传播过程可以定义为如下公式：

其中，T表示节点信息传播的次数，A表示用户u对应的物品关系图的邻接矩阵，A_k表示邻接矩阵的第k列，表示了节点k与其他节点的邻接关系，若物品i与物品j相连，则A_ij＝w_ij，否则为0，a_k为汇聚了节点k的所有邻居节点之后的信息，在节点之间的信息传递完成后，使用门控循环单元来控制上一个时间步的邻居节点的信息的融入，并且更新当前节点的嵌入向量：

生成更新门如下所示：

其中，z表示更新门；

生成重置门如下所示：

其中，r表示重置门；

生成节点当前时间步的侯选嵌入向量如下所示：

在门的控制下，将侯选嵌入向量和节点上一个时间步的嵌入向量进行合并，作为节点的更新之后的嵌入向量如下所示：

在节点信息传播了T次步骤之后，得到物品关系图中每个节点最终的嵌入向量

使用

代替

物品关系图中每个节点的最终嵌入向量不仅包含了节点自身的特征，还包含了T跳的邻居节点的特征。

其中，所述步骤5具体包括：

对于步骤4中所得到更新之后的图节点嵌入向量，提出了一种改进的点积注意力机制：简单点积注意力机制，显式的建模关系图对目标用户和目标物品的影响，并且赋予每个节点嵌入不一样的权重后汇聚生成关系图的动态全局表示，简单点积注意力机制的形式化表示如下所示：

其中，Q,K,V分别代表向量矩阵，Q表示queries，k表示keys，V表示values，W_q表示用于映射的参数矩阵，

表示缩放因子，为了防止点积操作产生过大的输出值将Softmax函数推入梯度极小的区域；

使用当前的用户嵌入向量e_u或物品嵌入向量e_i作为Q，用户关系图或物品关系图中的节点嵌入同时作为k和V，用户关系图中节点的嵌入矩阵可以被定义为

物品关系图中节点的嵌入矩阵可以被定义为

因此，注意力函数的输入中Q等同于用户的嵌入向量e_u或物品的嵌入向量e_i，K和V等同于用户关系图中的节点嵌入矩阵G_u或者物品关系图中的节点嵌入矩阵G_i，关系图中节点嵌入向量对当前用户或者物品的影响可以用以下公式计算：

g_u＝Attention(e_u,G_u,G_u) (9)

g_i＝Attention(e_i,G_i,G_i) (10)

其中，e_u或e_i等同于公式(8)中输入的Q，g_u或g_i等同于公式(8)中输入的K和V，G_u表示用户关系图中节点的嵌入矩阵，G_i表示物品关系图中节点的嵌入矩阵。

其中，所述步骤6具体包括：

将用户关系图的全局表示g_u和用户ID的嵌入向量e_u相连接，将物品关系图的全局表示g_i与物品ID的嵌入向量e_i相连接如下所示：

其中，

表示目标用户最终向量表示，

表示目标物品的最终向量表示，式(11)中“||”符号表示向量连接操作，通过这种方式，能学习到用户关系对目标用户的影响，还能学习到物品关系对目标物品的影响。

其中，所述步骤6还包括：

多层感知机的具体形式为：

其中，W_L表示第L层感知机的权重矩阵，b_L表示第L层感知机的偏置向量，ACT表示激活函数，a_L表示第L层感知机的输入向量；通过多层感知机学习

和

之间的高阶交互，最后预测用户对物品的交互分数

所述基于图神经网络的多关系协同过滤算法使用整流线性单元作为激活函数，在获得了交互层的输出a_L后，计算预测分数

作为用户和物品交互的概率，计算方式如下：

其中，σ(·)是sigmoid函数,W表示预测层的权重矩阵，通过公式(13)，MRCF模型会输出一个0到1范围内的值，作为预测用户对物品的兴趣值。

其中，所述步骤7具体包括：

MRCF模型的损失函数采用的是二元交叉熵损失函数，如下所示：

其中，

表示MRCF模型预测用户u对物品i的交互分数，y_ui表示训练样本中用户u对物品i的真实交互分数。

本发明的上述方案有如下的有益效果：

本发明的上述实施例所述的基于图神经网络的多关系协同过滤算法，从用户与物品交互数据中通过构造物品关系图和用户关系图同时对物品关系和用户关系进行建模，通过关系化图神经网络学习图中物品之间的高阶关系和用户之间的高阶关系，通过简单点积注意力机制可以为关系图中每个物品节点和每个用户节点计算不同的权重，从而学习不同历史物品对目标物品的影响和不同历史用户对目标用户的影响，能够有效地对多关系建模，并将多关系融入用户与物品交互的学习过程中，学习多关系对用户与物品交互的影响，从而使模型能够更好对用户偏好进行建模。

附图说明

图1为本发明的多关系建模图；

图2为本发明的模型架构图；

图3为本发明的实验结果比较图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的协同过滤模型在对用户偏好进行建模时往往只考虑了用户与物品之间的关系，而忽视了物品之间的关系和用户之间的关系，从而不足以从用户与物品历史交互中充分地学习到用户的偏好的问题，提供了一种基于图神经网络的多关系协同过滤算法。

如图1至图3所示，本发明的实施例提供了一种基于图神经网络的多关系协同过滤算法，包括：步骤1，对用户与物品的历史交互数据进行处理，从中抽取所有用户序列S^U和物品序列S^I；步骤2，分别将每个用户序列S^U和每个物品序列S^I分别构造为用户关系图G^U＝(V^U,E^U)和物品关系图G^I＝(V^I,E^I)，其中，V^U为用户关系图中的所有用户节点，E^U为用户关系图中的用户节点之间边的集合，V^I为物品关系图中的所有物品节点，E^I为物品关系图中的物品节点之间边的集合；步骤3，同时将用户ID、物品ID和对应的用户关系图G^U、物品关系图G^I输入到MRCF模型中，通过初始化嵌入矩阵E^u、Eⁱ、

分别将用户ID、物品ID、用户关系图中的用户节点和物品关系图中的物品节点映射为嵌入向量，分别表示为e_u∈R^d、e_i∈R^d、

和

其中，d表示嵌入向量的维度；步骤4，对步骤3中得到的用户关系图和物品关系图中的节点嵌入向量

和

通过关系化图神经网络来学习用户关系图中的用户节点之间的复杂关系和物品关系图中物品节点之间的复杂关系，得到不断更新之后的节点嵌入向量

和

步骤5，对于步骤4得到的所有节点更新之后的嵌入向量

和

可以组成用户关系图的嵌入矩阵G_u和物品关系图的嵌入矩阵G_i，再通过简单点积注意力机制学习不同历史用户节点关系对目标用户的影响和不同历史物品节点关系对目标物品的影响，并生成用户关系图和物品关系图的全局表示g_u和g_i；步骤6，对于步骤3得到的用户ID和物品ID的嵌入向量e_u和e_i，步骤5得到的对应的用户关系图和物品关系图的全局表示g_u和g_i，将用户关系图的全局表示g_u和用户ID的嵌入向量e_u相连接，将物品关系图的全局表示g_i与物品ID的嵌入向量e_i相连接；步骤7，通过训练模型，最小化模型的损失函数，计算出损失函数的梯度，通过梯度的反向传播优化模型的参数，生成满意的推荐效果的推荐模型。

本发明的上述实施例所述的基于图神经网络的多关系协同过滤算法，物品序列为一个用户历史交互过的所有物品组成，并按照时间戳进行排序，属于同一个物品序列的所有物品之间的关系体现了用户的历史偏好，同样，用户序列为与同一个物品有过交互的所有用户组成，按照时间戳排序，根据集体智慧的思想，可以认为与同一个物品产生过交互的不同用户之间存在着一定的协同相似度，隐含着他们之间的协同关系，通过隐式反馈数据构建的用户关系，称之为“隐式社交关系”，所述基于图神经网络的多关系协同过滤算法并不需要明确的社交关系数据，从而更具有一般性。通过引入了图结构分别对复杂的物品关系和用户关系进行建模，图1描述了多关系的建模流程图，从图1中可以发现图结构的数据比序列结构包含了更丰富的信息，越能体现物品之间复杂的联系和用户之间复杂的联系，例如，图1(b)中的物品关系图中的物品节点i₂、i₃和i₄组成了的强连通分量，反映了它们之间密切的链接关系，这是序列结构数据很难捕捉到的。所述步骤2中的物品关系图具体的构图规则为：对于一个用户u，它的物品序列可以表示为一个序列

并且按照时间戳进行排序，其中，i_u,k∈I表示曾与用户u产生过交互行为的物品。因大量的数据，对于计算成本和空间成本太昂贵，用户的兴趣往往会随着时间的推移而发生变化，时间越近的行为越能够表达出用户的近期偏好，则不能使用用户的全部历史行为信息，基于如上的考虑，选择每个用户的最近交互的K个物品，如果两个物品在序列中接连的出现，那么它们之间就由一条有向边相连。例如：一条边

表示一个用户在行为序列中接连的访问了物品i_s,k-1和物品i_s,k，见图1。由于可能会在序列中重复出现多个物品，因此，根据两个关联物品的出现总数除以该边缘的起始节点的出度，为每个边缘分配归一化的权重w_ij，具体而言，边的权重w_ij等于行为历史中转移到物品i的物品j的归一化频率，这样，构造的物品关系图可以基于隐式数据表示物品的协作相似性和复杂过渡。用户关系图的构建与物品关系图的构建规则同理。

其中，所述步骤3具体包括：MRCF模型设置有输入与嵌入层、关系化图神经网络、简单点积注意力机制、交互层和预测层；

输入与嵌入层分别将一个用户ID映射为一个嵌入向量和一个物品ID映射为一个嵌入向量，符号分别为e_u∈R^d和e_i∈R^d，并将用户关系图和物品关系图中节点的嵌入向量分别描述为

和

其中，d表示嵌入向量的维度；通过构造一个参数矩阵，实现一个嵌入向量的查找表如下所示：

其中，u表示用户，i表示物品，M和N分别表示用户和物品的数目。

本发明的上述实施例所述的基于图神经网络的多关系协同过滤算法，用户ID与用户关系图中的节点不共享嵌入向量，物品ID与物品关系图中的节点不共享嵌入向量，使MRCF模型更加灵活并且能更好的学习向量表征。

其中，所述步骤4具体包括：

关系化图神经网络将用户与物品的交互显式地建模并且融合到学习物品关系图和用户关系图中节点的嵌入向量的过程中，关系化图神经网络在每次更新物品关系图中节点的嵌入向量前对节点的嵌入向量的信息进行重新构建如下所示：

其中，

表示重新构建后的节点的嵌入向量，W_r表示可以训练的权重矩阵，将节点信息映射到潜在空间中，将用户u和物品i的交互信息通过

的方式编码进了节点的信息传递中，⊙表示逐元素相乘，

表示归一化系数，N_u表示用户u历史交互过所有的物品；

使节点信息在物品关系图中进行传播，即为每个节点汇聚它们邻居节点的嵌入向量，例如，在第t个时间步，第k个物品节点的信息传播过程可以定义为如下公式：

其中，T表示节点信息传播的次数，A表示用户u对应的物品关系图的邻接矩阵，A_k表示邻接矩阵的第k列，表示了节点k与其他节点的邻接关系，若物品i与物品j相连，则A_ij＝w_ij，否则为0，a_k为汇聚了节点k的所有邻居节点之后的信息，在节点之间的信息传递完成后，使用门控循环单元来控制上一个时间步的邻居节点的信息的融入，并且更新当前节点的嵌入向量：

生成更新门如下所示：

其中，z表示更新门；

生成重置门如下所示：

其中，r表示重置门；

生成节点当前时间步的侯选嵌入向量如下所示：

在门的控制下，将侯选嵌入向量和节点上一个时间步的嵌入向量进行合并，作为节点的更新之后的嵌入向量如下所示：

在节点信息传播了T次步骤之后，得到物品关系图中每个节点最终的嵌入向量

使用

代替

物品关系图中每个节点的最终嵌入向量不仅包含了节点自身的特征，还包含了T跳的邻居节点的特征。

本发明的上述实施例所述的基于图神经网络的多关系协同过滤算法，提出了一种新的图神经网络结构，称作关系化图神经网络，关系化图神经网络基于门控图神经网络(Gated Graph Neural Networks，GGNN)改进而来，关系化图神经网络能将用户与物品的交互显式地建模并且融合到学习物品关系图中节点的嵌入向量和用户关系图中节点的嵌入向量的过程中，关系化图神经网络不仅可以学习图中物品节点之间和用户节点之间的高阶关系，还能将用户于物品的交互信号融入到学习过程中，通过式(2)-式(7)的操作可以得到更新之后物品关系图中每个物品节点的向量表示，更新之后用户关系图中每个用户节点的向量表示也可以通过式(2)-式(7)类似的操作得到，更新门和重置门，控制哪些信息应该被保留和丢弃，T表示节点信息传播的次数，传一次就是一跳邻居，即关系化图神经网络的层数，一层就等于传播一次。

其中，所述步骤5具体包括：对于步骤4中所得到更新之后的图节点嵌入向量，提出了一种改进的点积注意力机制：简单点积注意力机制，显式的建模关系图对目标用户和目标物品的影响，并且赋予每个节点嵌入不一样的权重后汇聚生成关系图的动态全局表示，简单点积注意力机制的形式化表示如下所示：

其中，Q,K,V分别代表向量矩阵，Q表示queries，k表示keys，V表示values，W_q表示用于映射的参数矩阵，

表示缩放因子，为了防止点积操作产生过大的输出值将Softmax函数推入梯度极小的区域；

使用当前的用户嵌入向量e_u或物品嵌入向量e_i作为Q，用户关系图或物品关系图中的节点嵌入同时作为k和V，用户关系图中节点的嵌入矩阵可以被定义为

物品关系图中节点的嵌入矩阵可以被定义为

因此，注意力函数的输入中Q等同于用户的嵌入向量e_u或物品的嵌入向量e_i，K和V等同于用户关系图中的节点嵌入矩阵G_u或者物品关系图中的节点嵌入矩阵G_i，关系图中节点嵌入向量对当前用户或者物品的影响可以用以下公式计算：

g_u＝Attention(e_u,G_u,G_u) (9)

g_i＝Attention(e_i,G_i,G_i) (10)

其中，e_u或e_i等同于公式(8)中输入的Q，g_u或g_i等同于公式(8)中输入的K和V，G_u表示用户关系图中节点的嵌入矩阵，G_i表示物品关系图中节点的嵌入矩阵。

本发明的上述实施例所述的基于图神经网络的多关系协同过滤算法，可以注意到简单点积注意力机制只在最后对Softmax函数之后应用了非线性变换，参数量仅为原始Transformer中的点积注意力机制的参数三分之一，有助于加快模型训练速度，这是一种更加简单注意力的方式。

其中，所述步骤6具体包括：将用户关系图的全局表示g_u和用户ID的嵌入向量e_u相连接，将物品关系图的全局表示g_u与物品ID的嵌入向量e_i相连接如下所示：

其中，

表示目标用户最终向量表示，

表示目标物品的最终向量表示，式(11)中“||”符号表示向量连接操作，通过这种方式，能学习到用户关系对目标用户的影响，还能学习到物品关系对目标物品的影响。

其中，所述步骤6还包括：多层感知机的具体形式为：

其中，W_L表示第L层感知机的权重矩阵，b_L表示第L层感知机的偏置向量，ACT表示激活函数，a_L表示第L层感知机的输入向量；通过多层感知机学习

和

之间的高阶交互，最后预测用户对物品的交互分数

所述基于图神经网络的多关系协同过滤算法使用整流线性单元作为激活函数，在获得了交互层的输出a_L后，计算预测分数

作为用户和物品交互的概率，计算方式如下：

其中，σ(·)是sigmoid函数,W表示预测层的权重矩阵，通过公式(13)，MRCF模型会输出一个0到1范围内的值，作为预测用户对物品的兴趣值。

其中，所述步骤7具体包括：MRCF模型的损失函数采用的是二元交叉熵损失函数，如下所示：

其中，

表示MRCF模型预测用户u对物品i的交互分数，y_ui表示训练样本中用户u对物品i的真实交互分数。

本发明的上述实施例所述的基于图神经网络的多关系协同过滤算法，可以用任何编程语言实现部署，通过在两个真实世界的数据集下进行实验，使用常用推荐指标HR和NDCG评估模型效果，为了评估所述基于图神经网络的多关系协同过滤算法在推荐任务上的表现，基于三个真实世界中推荐数据集进行实验分析：MovieLens，Amazon music(Amusic)和Retailrocket。这些数据集在场景主题，大小，稀疏性都有所不同,并且在网上都能公开获取，然后将所述基于图神经网络的多关系协同过滤算法与五个对比算法进行对比实验，使用常用推荐评价指标HR和NDCG进行评估实验效果。

采用了留一法(Leave-one-out)作为模型的评估方法，对于每个用户，保留他最近的一次交互数据作为测试集，其余的作为训练集，由于在评估阶段，对于每一个用户都与全部的物品进行评估排序是非常耗时的，所以遵循以下的策略：在用户没有交互过的物品中随机采样99个物品，与用户的最近的一次交互的物品组成测试集，对于这100个测试物品，模型将会对其预测用户感兴趣的概率并且排序，使用两个评价指标来衡量模型推荐的质量：Hit Ratio(HR)和Normalized discounted cumulative gain(NDCG)。HR@k是衡量推荐任务中召回率的常用指标，用来测量测试物品是否在推荐列表的前k位(1表示在，0表示不在)。NDCG@k是一个常用的衡量推荐列表排序质量的指标，正样本被排序在列表的越前面则得到的分数越高。

对五个不同的对比算法进行说明：ItemPop：这是一种非个性化的方法，常作为推荐任务的基准。它根据商品的流行度进行排序，例如物品被交互过的次数，然后向用户推荐最热门的一些物品。MF：这是标准的矩阵分解方法，通过物品向量和用户向量的点积来建模用户的偏好。NeuMF：神经因子分解机模型通过利用多层感知机来建模用户-物品交互的高阶特征，对MF模型进行了扩展。NAIS：此方法使用注意力机制对用户交互过的物品进行聚集，考虑了物品与物品之间的关系，是前沿的推荐算法。DeepICF：此方法是ItemCF的变种，使用深度神经网络对物品之间的高阶关系进行建模从而进行推荐。

对实验参数设置进行详细说明：为了公平起见，对于每一个模型，都会在验证集上使用网格搜索进行调参，选取每个模型表现最好的超参数，验证集由每个用户最近的第二次交互的物品组成。使用Adam方法优化除了ItemPop之外的所有的模型，其中嵌入向量的维度batch_size的大小固定为256。为了防止过拟合，对于每个基于学习的模型，在{1e^-5,1e^-4,…,1}范围对正则化系数lambda进行调整。至于嵌入向量的大小d，在实验中评估了{16，32，64，128}范围中的值。对于MRCF模型的交互层设置为两层隐藏全连接网络，维度分别为200，80。对于负采样比例，在范围{2，3，4，5}中进行调整。所有模型都是从头开始训练，使用Xavier初始化方法对基于学习的模型参数的进行初始化。关于学习率，在范围{0.00001，0.0001，…，0.1}之间进行调整。对于MRCF模型，物品序列和用户序列的最大值K的选取范围为{20，30，50，80，100}。对于基线方法的其他的参数，使用默认值。

实验分析：图3汇总了每个模型在不同数据集上的结果，通过对实验结果进行分析，观察到：MRCF模型一直在所有的数据集上表现最好，取得了最高的HR、NDCG分数，MRCF模型通过关系化图神经网络同时学习用户之间的高阶关系和物品之间的高阶关系，而MF，NeuMF仅仅考虑了用户和物品之间的关系，这说明了多关系对用户偏好影响的重要性。此外，相比于DeepICF模型，MRCF模型使用图结构建模用户之间丰富的联系和物品之间丰富的联系，使用关系化图神经网络学习关系图中用户节点之间的高阶关系和物品节点之间的高阶关系，并且通过简单点积注意力机制捕捉不同用户对目标用户影响的关系强弱和不同物品对目标物品影响的关系强弱，最后再利用多层感知机将用户关系和物品关系融入到用户与物品交互的学习过程中，而DeepICF和NAIS并没有显式的对用户间的复杂关系和物品间的复杂关系进行建模，也没有考虑到用户偏好的动态变化，由实验结果可以得出，相较于其他的推荐算法，所述基于图神经网络的多关系协同过滤算法可以有效提升推荐效果。

本发明的上述实施例所述的基于图神经网络的多关系协同过滤算法，同时考虑了物品关系和用户关系对用户偏好的影响，有效提升推荐效果，基于用户与物品交互数据，通过将物品序列和用户序列构造成图，分别对物品之间的复杂关系和用户之间的复杂关系进行了建模，提出了关系化图神经网络，学习用户关系图中用户节点之间的高阶关系和物品关系图中物品节点之间的高阶关系，提出了简单点积注意力机制，学习不同历史用户对目标用户的影响和不同历史物品对目标物品的影响。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于图神经网络的多关系协同过滤方法，其特征在于，包括：

步骤1，对用户与物品的历史交互数据进行处理，从中抽取所有用户序列S^U和物品序列S^I；

步骤2，分别将每个用户序列S^U和每个物品序列S^I分别构造为用户关系图G^U＝(V^U,E^U)和物品关系图G^I＝(V^I,E^I)，其中，V^U为用户关系图中的所有用户节点，E^U为用户关系图中的用户节点之间边的集合，V^I为物品关系图中的所有物品节点，E^I为物品关系图中的物品节点之间边的集合；

步骤3，同时将用户ID、物品ID和对应的用户关系图G^U、物品关系图G^I输入到MRCF模型中，通过初始化嵌入矩阵分别将用户ID、物品ID、用户关系图中的用户节点和物品关系图中的物品节点映射为嵌入向量，分别表示为e_u∈R^d、e_i∈R^d、

和

其中，d表示嵌入向量的维度；具体包括：

MRCF模型设置有输入与嵌入层、关系化图神经网络、简单点积注意力机制、交互层和预测层；

输入与嵌入层分别将一个用户ID映射为一个嵌入向量和一个物品ID映射为一个嵌入向量，符号分别为e_u∈R^d和e_i∈R^d，并将用户关系图和物品关系图中节点的嵌入向量分别描述为

和

其中，d表示嵌入向量的维度；通过构造一个参数矩阵，实现一个嵌入向量的查找表如下所示：

其中，u表示用户，i表示物品，M和N分别表示用户和物品的数目；

步骤4，对步骤3中得到的用户关系图和物品关系图中的节点嵌入向量

和

通过关系化图神经网络来学习用户关系图中的用户节点之间的复杂关系和物品关系图中物品节点之间的复杂关系，得到不断更新之后的节点嵌入向量

和

步骤5，对于步骤4得到的所有节点更新之后的嵌入向量

和

可以组成用户关系图的嵌入矩阵G_u和物品关系图的嵌入矩阵G_i，再通过简单点积注意力机制学习不同历史用户节点关系对目标用户的影响和不同历史物品节点关系对目标物品的影响，并生成用户关系图和物品关系图的全局表示g_u和g_i；

其中，所述步骤5具体包括：

对于步骤4中所得到更新之后的图节点嵌入向量，提出了一种改进的点积注意力机制：简单点积注意力机制，显式的建模关系图对目标用户和目标物品的影响，并且赋予每个节点嵌入不一样的权重后汇聚生成关系图的动态全局表示，简单点积注意力机制的形式化表示如下所示：

其中，Q,K,V分别代表向量矩阵，Q表示queries，k表示keys，V表示values，W_q表示用于映射的参数矩阵，

表示缩放因子，为了防止点积操作产生过大的输出值将Softmax函数推入梯度极小的区域；

使用当前的用户嵌入向量e_u或物品嵌入向量e_i作为Q，用户关系图或物品关系图中的节点嵌入同时作为k和V，用户关系图中节点的嵌入矩阵可以被定义为

物品关系图中节点的嵌入矩阵可以被定义为

因此，注意力函数的输入中Q等同于用户的嵌入向量e_u或物品的嵌入向量e_i，K和V等同于用户关系图中的节点嵌入矩阵G_u或者物品关系图中的节点嵌入矩阵G_i，关系图中节点嵌入向量对当前用户或者物品的影响可以用以下公式计算：

g_u＝Attention(e_u,G_u,G_u) (9)

g_i＝Attention(e_i,G_i,G_i) (10)

其中，e_u或e_i等同于公式(8)中输入的Q，g_u或g_i等同于公式(8)中输入的K和V，G_u表示用户关系图中节点的嵌入矩阵，G_i表示物品关系图中节点的嵌入矩阵；

步骤6，对于步骤3得到的用户ID和物品ID的嵌入向量e_u和e_i，步骤5得到的对应的用户关系图和物品关系图的全局表示g_u和g_i，将用户关系图的全局表示g_u和用户ID的嵌入向量e_u相连接，将物品关系图的全局表示g_i与物品ID的嵌入向量e_i相连接；

步骤7，通过训练模型，最小化模型的损失函数，计算出损失函数的梯度，通过梯度的反向传播优化模型的参数，生成推荐模型。

2.根据权利要求1所述的基于图神经网络的多关系协同过滤方法，其特征在于，所述步骤4具体包括：

关系化图神经网络将用户与物品的交互显式地建模并且融合到学习物品关系图和用户关系图中节点的嵌入向量的过程中，关系化图神经网络在每次更新物品关系图中节点的嵌入向量前对节点的嵌入向量的信息进行重新构建如下所示：

其中，

表示重新构建后的节点的嵌入向量，W_r表示可以训练的权重矩阵，将节点信息映射到潜在空间中，将用户u和物品i的交互信息通过

的方式编码进了节点的信息传递中，⊙表示逐元素相乘，

表示归一化系数，N_u表示用户u历史交互过所有的物品；

使节点信息在物品关系图中进行传播，即为每个节点汇聚它们邻居节点的嵌入向量，在第t个时间步，第k个物品节点的信息传播过程可以定义为如下公式：

其中，T表示节点信息传播的次数，A表示用户u对应的物品关系图的邻接矩阵，A_k表示邻接矩阵的第k列，表示了节点k与其他节点的邻接关系，若物品i与物品j相连，则A_ij＝w_ij，否则为0，a_k为汇聚了节点k的所有邻居节点之后的信息，在节点之间的信息传递完成后，使用门控循环单元来控制上一个时间步的邻居节点的信息的融入，并且更新当前节点的嵌入向量：

生成更新门如下所示：

其中，z表示更新门；

生成重置门如下所示：

其中，r表示重置门；

生成节点当前时间步的侯选嵌入向量如下所示：

在门的控制下，将侯选嵌入向量和节点上一个时间步的嵌入向量进行合并，作为节点的更新之后的嵌入向量如下所示：

在节点信息传播了T次步骤之后，得到物品关系图中每个节点最终的嵌入向量

使用

代替

物品关系图中每个节点的最终嵌入向量不仅包含了节点自身的特征，还包含了T跳的邻居节点的特征。

3.根据权利要求2所述的基于图神经网络的多关系协同过滤方法，其特征在于，所述步骤6具体包括：

将用户关系图的全局表示g_u和用户ID的嵌入向量e_u相连接，将物品关系图的全局表示g_i与物品ID的嵌入向量e_i相连接如下所示：

其中，

表示目标用户最终向量表示，

表示目标物品的最终向量表示，式(11)中“||”符号表示向量连接操作，通过这种方式，能学习到用户关系对目标用户的影响，还能学习到物品关系对目标物品的影响。

4.根据权利要求3所述的基于图神经网络的多关系协同过滤方法，其特征在于，所述步骤6还包括：

多层感知机的具体形式为：

其中，W_L表示第L层感知机的权重矩阵，b_L表示第L层感知机的偏置向量，ACT表示激活函数，a_L表示第L层感知机的输入向量；通过多层感知机学习

和

之间的高阶交互，最后预测用户对物品的交互分数

所述基于图神经网络的多关系协同过滤方法使用整流线性单元作为激活函数，在获得了交互层的输出a_L后，计算预测分数

作为用户和物品交互的概率，计算方式如下：

其中，σ(·)是sigmoid函数,W表示预测层的权重矩阵，通过公式(13)，MRCF模型会输出一个0到1范围内的值，作为预测用户对物品的兴趣值。

5.根据权利要求4所述的基于图神经网络的多关系协同过滤方法，其特征在于，所述步骤7具体包括：

MRCF模型的损失函数采用的是二元交叉熵损失函数，如下所示：

其中，

表示MRCF模型预测用户u对物品i的交互分数，y_ui表示训练样本中用户u对物品i的真实交互分数。

Images