CN113590900A

CN113590900A - 一种融合动态知识图谱的序列推荐方法

Info

Publication number: CN113590900A
Application number: CN202110869346.5A
Authority: CN
Inventors: 丁领兵; 刘学军
Original assignee: Nanjing Tech University
Current assignee: Nanjing Tech University
Priority date: 2021-07-29
Filing date: 2021-07-29
Publication date: 2021-11-02

Abstract

本发明设计了一种融合动态知识图谱的序列推荐方法。利用用户在最近一段会话内的项目序列去预测用户下一个可能交互的项目，从而根据会话内的项目序列较好的捕捉用户的短期偏好。项目序列和操作序列的特征表示分别采用门控图神经网络和循环神经网络学习；同时，利用有关项目知识(例如商品品牌、评级、类别等)构建动态知识图谱，融入动态知识图谱方法在时间维度上采用图卷积网络(GCN)进行建模来学习节点的嵌入，并使用长短期记忆(LSTM)演化图卷积网络中的参数(权重矩阵)，以捕捉图序列的动态，从而更为有效的预测用户的下一个交互项目。

Description

一种融合动态知识图谱的序列推荐方法

技术领域

本发明设计一种序列推荐的方法，具体涉及利用神经网络学习项目嵌入和操作的嵌入，以及融合动态知识图谱作为辅助信息进行序列推荐的方法。

背景技术

推荐系统的主要挑战是如何从历史交互信息中学习到有效的用户和物品表示，从而更好的刻画用户偏好。协同过滤等基于历史行为挖掘用户或项目相似性的传统算法很难满足一些复杂场景下的业务需求。由于很多用户和项目信息具有图结构，而且图神经网络擅长表示学习，因此，一些工作已将图神经网络应用到推荐系统中。基于内容的推荐系统和基于协同过滤推荐系统，通常建模用户的长期和静态的偏好，不同于这些传统的推荐系统，基于会话的推荐系统作为序列推荐的子分支，旨在利用用户在最近一段会话内的交互物品序列，捕获用户短期和动态的偏好，去预测下一个可能进行交互的物品，从而给用户提供即时精准的推荐服务。

现有研究多数从宏观的角度看待会话，即只是把会话看作一些用户交互过的项目序列，而不考虑用户对这些项目具体进行了什么类型的操作。实际上，即使两个用户交互的是同一个项目，但如果具体交互的操作类型不同也会反映用户不同的偏好。而且针对用户和项目交互的稀疏性问题中，对物品知识的利用不够充分，即大多数会话推荐模型只基于以往交互过的物品来推断用品的偏好，因此当交互记录稀疏时，不能充分学习会话的表示，推荐效果也不理想。

将知识图谱作为辅助信息引入到推荐系统的方法在近年来受到广泛的关注。基于知识图谱的推荐系统，对知识图谱的应用主要有三种方式，基于嵌入的方法、基于路径的方法和联合的方法。然而无论是基于知识图谱嵌入的方法和基于路径的方法，其主要思想都是将包含实体和关系的知识图谱嵌入到连续的低维向量中。知识图谱是事实的结构化表示，由实体、关系和语义描述组成。知识可以用事实的三元组形式来表示(头实体，关系，尾实体)或者(h，r，t)表示。当考虑知识图谱的图结构时，知识图谱可以看作是一个图，在图中可以表示为节点和边，每个节点表示现实世界中存在的实体，而每条边表示实体与实体之间的关系。简单来说，知识图谱就是把所有不同种类的信息连接在一起而得到的关系网络，比如社交网络。当前的知识图谱大多关注静态知识图谱，忽略了时间信息，但很多结构化的知识只在特定的时间段内有效，而事实的演化遵循一个时间序列。所以近年来的研究开始将时间信息融入到知识图谱中，称为动态知识图谱，所以本文融合动态知识图谱进行序列推荐。

发明内容

本发明设计了一种融合动态知识图谱的序列推荐方法，即SR-DKG-DNN模型。利用用户在最近一段会话内的项目序列去预测用户下一个可能交互的项目，从而根据会话内的项目序列较好地捕捉用户的短期偏好。项目序列和操作序列的特征表示分别采用门控图神经网络和循环神经网络学习；同时，利用有关项目知识(例如商品品牌、评级、类别等)构建动态知识图谱，融入动态知识图谱方法在时间维度上采用图卷积网络(GCN)进行建模来学习节点的嵌入，并使用长短期记忆(LSTM)演化图卷积网络中的参数(权重矩阵)，以捕捉图序列的动态。动态知识图谱作为辅助信息从而增强序列推荐的准确性和可解释性。

先是获取数据集，并对数据集进行预处理。然后进行会话信息建模，分别通过门控图神经网络和循环神经网络，学习项目嵌入和操作嵌入，然后将两者串联训练生成会话表示，同时使用软注意机制来为会话中每个项目行为的嵌入分配适当的权重。动态知识图谱的嵌入学习是通过图卷积神经网络学习节点特征，长短时记忆网络基于当前和历史信息在时间t更新权重矩阵，然后通过TransE进行知识图谱嵌入学习，得到知识图谱嵌入学习的损失函数。最后将知识图谱的嵌入和序列推荐模型合并到多任务学习中，进行序列推荐。

对比实验结果得出，相较于传统的模型FPMC、GRUREC+(BPR/CE)、SR-GNN、M-SR，所提出的SR-DKG-DNN方法在各项指标上都有明显的提升，特别是在有冷启动项和数据稀疏问题上。这样的结果证明了融入知识图谱能够缓解冷启动项目的稀疏性问题。同时引入动态知识图谱作为辅助信息，能够更好的捕获用户短期和动态的偏好，从而给用户提供更实时和精准的推荐服务。

附图说明

图1是本发明所述的一种融合动态知识图谱的序列推荐方法的总体框架图。

具体实施方法

下面结合附图和具体实施方式，对本发明做进一步地说明，本实施例采用从中国著名的电子商务网站京东中提取的JDATA数据集：

如图1所示，获取数据集，并对数据集进行预处理，形成项目序列和操作序列，然后进行会话信息建模，分别通过门控图神经网络和循环神经网络，学习项目嵌入和操作嵌入，生成会话表示。动态知识图谱的嵌入学习是通过图卷积神经网络学习节点特征，长短时记忆网络基于当前和历史信息在时间t更新权重矩阵，然后通过TransE进行知识图谱嵌入学习，得到知识图谱嵌入学习的损失函数。最后将知识图谱的嵌入和序列推荐模型合并到多任务学习中，进行序列推荐。

数据集采用JDATA数据集，该数据集提取自中国著名的电子商务网站京东。它包含了两个月内京东上的用户行为流。操作类型包括点击、订购、评论、添加购物车和收藏。实验中使用的产品属性包括品牌、商店、类别和推出年份。将JDATA中会话的持续时间阈值设置为1小时，过滤掉了长度为1的会话以及在数据集中出现不到3次的项目。对于此数据集，我们将较早的90％用户行为作为训练集，并将随后的(最近的)10％用户行为作为测试集。为了证明引入项目知识来缓解冷启动项目问题的有效性，我们在数据集上增加了两个额外的操作。首先是保留只出现在测试集中的项目，即冷启动项目；其次是模拟一个稀疏的JDATA数据集，表示为Demo，只保留早期的1％用户行为。这样的稀疏数据集有更大比例的冷启动项目。

为了利用GGNN学习项目嵌入，首先要将项目序列转换成有向图。形式上，给定一个会话项目序列

对应的有向图是G_s＝(V，E)。在图G_s中，每个节点代表Sⁱ中的唯一项，每个有向边

连接Sⁱ中的两个连续项。需要说明的是一个项目经常在会话中重复出现。为了更好的对图G_s建模，进一步将其构造为一个加权有向图。边的归一化权重

计算为

在Sⁱ中的出现频率除以项

在Sⁱ中作为前一项出现的频率。

在GGNN的初始步骤中，对于图G_s中给定的项目节点v，通过查找项嵌入矩阵得到其初始嵌入

并作为其初始隐藏状态

基于GNN的迭代传播基本原理，将h-th(1≤h≤H)步骤中的隐藏状态作为H步后的v的项嵌入，即

由于G_s是一个加权有向图，所以使用A+∈R^|V×V|和A-∈R^|V×V|这两个邻接矩阵分别表示图G_s的输入邻接矩阵和输出邻接矩阵。然后，根据下式更新计算

其中所有的W_s是d×d矩阵。σ是Sigmoid函数，⊙是元素乘法。此外，

分别为复位门和更新门。第h步中第v项的隐藏状态即为

是基于其先前的状态

和候选状态

来计算的。在H步之后，可以获得G_s中所有项目节点的学习嵌入，故Sⁱ中的项目嵌入表示为：

根据G_s的构造，给定一个会话，一个项目只有一个学习嵌入，不管它是否在序列中递归。因此，

可能有反复出现的项目嵌入。如果一个项目出现在多个会话中，它们可能有不同的学习嵌入，因为不同的会话对应不同的G_s。

使用

表示输入到GRU中的操作序列，它的初始嵌入

也是通过在运算嵌入矩阵中查找得到的。然后，其学习的嵌入

是由GRU输出的第k步中的隐藏状态(向量)，其基于

和第(k-1)步中的隐藏状态计算为：

其中GRU(·)表示以一个GRU单位计算，Φ_GRU表示所有GRU参数。事实上，

是

的学习嵌入。为了计算

设置

因此，获得了S^o所有操作的学习嵌入，表示为：

操作也可能作为序列中的一个项目重复出现。根据GRU原理，在操作序列中重复出现的操作有多个不同的嵌入。

连接

和

以获得给定会话中L个项目行为的嵌入，生成会话表示。得到描述项目及行为序列的会话表示向量

具体表示为：

其中

是串联操作。基于这样的操作行为嵌入，具有相同项目序列但不同操作序列的两个会话仍然具有不同的表示，可以捕捉用户细微的偏好进行推荐。

为了表示会话的全局偏好，使用软注意机制来为会话中每个项目行为的嵌入分配适当的权重，因为不同的项目行为具有不同的优先级。具体来说，给定一个项目行为m_t(1≤t≤L)，其注意力权重计算为：

α_t＝β^Tσ(W₁m_L+W₂m_t+b_α)

其中b_α，β∈R^2d和W₁，W₂∈R^2d，然后会话的全局表示为：

最后，会话的最终表示如下：

s＝W₃[m_L；s_g]∈R^d

在获得会话s的表示后，通过输入一个会话s和候选项嵌入

组成的MLP计算最终得分

然后进行Softmax操作。因此可以得到：

为了训练SR-DKG-DNN，首先收集足够的训练样本，表示为<s，j，ysj>，其中如果项j是用户在会话s之后的下一个交互项，则y_sj＝1，否则y_sj＝0。然后采用二元交叉熵损失函数，所以会话推荐的损失表示为：

其中S和I为训练样本的会话集和项目集。

图卷积神经网络(GCN)是一种连接模型，它通过图的节点之间的消息传递来捕捉图的依赖关系，可以表示来自领域的具有任意深度的信息，因此非常适合知识图谱的学习。

一个图卷积神经网络的一般表达式为：

其中

A是图的邻接矩阵，I为单位矩阵，

σ是激活函数，

X_t为网络的输入。

在动态知识图谱中，不同时刻t的图结构是不同的。在时间t，第l层将邻接矩阵A_t和节点嵌入矩阵

作为输入，并使用权重矩阵

将节点嵌入矩阵更新为

作为输出。因此可以将一般表达式改写成t时刻的表达式：

对于

X_t为t时刻的输入，是图的初始特征矩阵，在此方法中表示的是图中各节点的编码矩阵。

在通常的图卷积网络中

是不变的，而在动态知识图谱中，不同时刻t的图结构可能是不同的，为了反映图结构随时间的演化，令

是随时间步和卷积层变化的，即

采用长短时记忆网络去更新

具体更新公式如下：

通过上述分析可以看出，采用长短时记忆网络，用t-1时刻的

去更新

能够反映了不同时刻图谱演化的影响。

在包含项目的时序动态知识图谱中，通过GCN和RNN构建知识图的动态演化，并构建了与物品有关的知识图谱，当中物品可视为一大类实体节点。在模型中引入TransE的训练损失来学习知识嵌入，因此将知识嵌入学习的损失函数是定义为：

其中d是L₁或者L₂的距离，K是整个系统中动知识图谱三元组的集合，(h′，r，t′)是负例三元组。

一般来说，如果两个学习任务相互关联，那么将两个学习任务合并到多任务学习(MTL)范式中要比分别实现它们各自的目标更有效。在MTL中，一个任务的学习结果可以作为提示，指导另一个任务更好地学习。因此，在SR-DKG-DNN中，将知识嵌入学习作为辅助任务导入MTL范式，以辅助推荐任务。

在的场景中，MTL的目标是最大化的模型参数Φ给定的知识三元组的集合k和推荐系统的训练集y的后验概率。根据贝叶斯规则，这个目标为：

其中，p(Φ)是Φ的先验概率，它被设置为遵循零均值和0.1标准差的高斯分布。p(k|Φ)是在Φ下观察到k的可能性，p(y|Φ，k)是在k和Φ下观察到y的可能性，定义为伯努利分布的乘积。

MTL的目标综合损失函数L表示为：

其中

为防止过拟合的正则化项，λ₁、λ₂为控制参数。

Claims

1.一种融合动态知识图谱的序列推荐方法，其特征在于，所述方法包括以下步骤：

步骤一：获取数据集，对数据集进行预处理；

步骤二：会话信息建模：学习项目嵌入和操作嵌入，生成会话表示；

步骤三：动态知识图谱的嵌入学习：图卷积神经网络学习节点特征，长短时记忆网络基于当前和历史信息在时间t更新权重矩阵W_t ^(l)，提高TransE进行知识图谱嵌入学习，得到知识图谱嵌入学习的损失函数；

步骤四：将知识图谱的嵌入和序列推荐模型合并到多任务学习中。

2.根据权利要求1所述的一种融合动态知识图谱的序列推荐方法，其特征在于，步骤一所述的获取数据集以及数据预处理包括以下步骤：

步骤一：数据集采用JDATA数据集；

步骤二：对JDATA数据集进行预处理，筛选掉不符合规则的数据，设置训练集和测试集。

3.根据权利要求1所述的一种融合动态知识图谱的序列推荐方法，其特征在于，步骤二所述的会话信息建模，包括以下步骤：

(1)：利用GGNN学习项目嵌入，将项目序列转换成有向图，给定一个会话项目序列Sⁱ＝

对应的有向图是G_s＝(V，E)，在图G_s中，每个节点代表Sⁱ中的唯一项，每个有向边

连接Sⁱ中的两个连续项；进一步将其构造为一个加权有向图边的归一化权重

计算为

在Sⁱ中的出现频率除以项

在Sⁱ中作为前一项出现的频率；

并作为其初始隐藏状态

由于G_s是一个加权有向图，所以使用A⁺∈R^|V×V|和A^-∈R^|V×V|这两个邻接矩阵分别表示图G_s的输入邻接矩阵和输出邻接矩阵，然后，根据下式更新计算

其中所有的W_s是d×d矩阵，σ是Sigmoid函数，⊙是元素乘法，此外，

分别为复位门和更新门；第h步中第v项的隐藏状态即为

是基于其先前的状态

和候选状态

来计算的，在H步之后，可以获得G_s中所有项目节点的学习嵌入，故Sⁱ中的项目嵌入表示为：

根据G_s的构造，

可能有反复出现的项目嵌入，不同的会话对应不同的G_s；

(2)：使用

表示输入到GRU中的操作序列，它的初始嵌入

也是通过在运算嵌入矩阵中查找得到的，其学习的嵌入

是由GRU输出的第k步中的隐藏状态，其基于

和第(k-1)步中的隐藏状态计算为：

其中GRU(·)表示以一个GRU单位计算，Φ_GRU表示所有GRU参数，事实上，

是

的学习嵌入，为了计算

设置

因此，获得了S^o所有操作的学习嵌入，表示为：

操作也可能作为序列中的一个项目重复出现，根据GRU原理，在操作序列中重复出现的操作有多个不同的嵌入；

(3)：生成会话表示：连接

和

以获得给定会话中L个项目行为的嵌入，生成会话表示，得到描述项目及行为序列的会话表示向量

具体表示为：

其中

是串联操作，基于这样的操作行为嵌入，具有相同项目序列但不同操作序列的两个会话仍然具有不同的表示，可以捕捉用户细微的偏好进行推荐；

为了表示会话的全局偏好，使用软注意机制来为会话中每个项目行为的嵌入分配适当的权重，因为不同的项目行为具有不同的优先级，，给定一个项目行为m_t(1≤t≤L)，其注意力权重计算为：

α_t＝β^Tσ(W₁m_L+W₂m_t+b_α)

其中b_α，β∈R^2d和W₁，W₂∈R^2d，然后会话的全局表示为：

最后，会话的最终表示如下：

s＝W₃[m_L；s_g]∈R^d

在获得会话s的表示后，通过输入一个会话s和候选项嵌入

组成的MLP计算最终得分

然后进行Softmax操作，可以得到：

为了训练SR-DKG-DNN，首先收集足够的训练样本，表示为<s，j，y_sj>，其中如果项j是用户在会话s之后的下一个交互项，则y_sj＝1，否则y_sj＝0，然后采用二元交叉熵损失函数，所以会话推荐的损失表示为：

其中S和I为训练样本的会话集和项目集。

4.根据权利要求1所述的一种融合动态知识图谱的序列推荐方法，其特征在于，步骤三所述的动态知识图谱的嵌入学习包括以下步骤：

(1)：图卷积神经网络(GCN)是一种连接模型，它通过图的节点之间的消息传递来捕捉图的依赖关系，可以表示来自领域的具有任意深度的信息，

一个图卷积神经网络的一般表达式为：

其中

A是图的邻接矩阵，I为单位矩阵，

σ是激活函数，

X_t为网络的输入，

在动态知识图谱中，不同时刻t的图结构是不同的，在时间t，第l层将邻接矩阵A_t和节点嵌入矩阵

作为输入，并使用权重矩阵

将节点嵌入矩阵更新为

作为输出，因此可以将一般表达式改写成t时刻的表达式：

对于

为t时刻的输入，是图的初始特征矩阵，在此方法中表示的是图中各节点的编码矩阵；

(2)：在动态知识图谱中，不同时刻t的图结构可能是不同的，为了反映图结构随时间的演化，令

是随时间步和卷积层变化的，即

采用长短时记忆网络去更新

具体更新公式如下：

采用长短时记忆网络，用t-1时刻的

去更新

能够反映了不同时刻图谱演化的影响；(3)：在包含项目的时序动态知识图谱中，通过GCN和RNN构建知识图的动态演化，并构建了与物品有关的知识图谱，当中物品可视为一大类实体节点，在模型中引入TransE的训练损失来学习知识嵌入，因此将知识嵌入学习的损失函数是定义为：

5.根据权利要求1所述的一种融合动态知识图谱的序列推荐方法，其特征在于，步骤四所述的将知识图谱的嵌入和序列推荐模型合并到多任务学习中包括以下步骤：

(1)：在SR-DKG-DNN中，将知识嵌入学习作为辅助任务导入多任务学习MTL范式，以辅助推荐任务；

在的场景中，MTL的目标是最大化的模型参数Φ给定的知识三元组的集合k和推荐系统的训练集y的后验概率，根据贝叶斯规则，这个目标为：

其中，p(Φ)是Φ的先验概率，它被设置为遵循零均值和0.1标准差的高斯分布。p(k|Φ)是在Φ下观察到k的可能性，p(y|Φ，k)是在k和Φ下观察到y的可能性，定义为伯努利分布的乘积；

(2)：MTL的目标综合损失函数L表示为

其中

为防止过拟合的正则化项，λ₁、λ₂为控制参数。