CN111522962A - 序列推荐方法、装置及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种序列推荐方法、装置及计算机可读存储介质。其中，方法包括预先将用户集‑项目集构成的双向图和知识图谱结合并统一为混合知识图谱；将待推荐用户和混合知识图谱的历史交互序列输入序列推荐模型中；该模型包括知识图嵌入模块、图注意力网络和循环神经网络；知识图嵌入模块将混合知识图谱的所有节点编码为向量，图注意力网络根据每个节点的嵌入和相邻节点的嵌入递归更新各节点的嵌入以捕获全局的用户‑项目和项目‑项目之间的关系；循环神经网络对用户交互序列项目进行编码以获取用户的动态偏好；最后根据该模型的输出确定待推荐用户的推荐序列信息，从而基于知识图中实体与局部图上下文之间的高阶依赖关系进行高准确度的序列推荐。

Description

序列推荐方法、装置及计算机可读存储介质

技术领域

本申请涉及深度挖掘技术领域，特别是涉及一种序列推荐方法、装置及计算机可读存储介质。

背景技术

在信息爆炸的时代，序列推荐系统被广泛应用于各个领域如电子商务、社交媒体、新闻门户网站等，帮助用户从海量信息中发现自己感兴趣的内容。在这些场景中，用户的兴趣通常为动态的、不断变化的。可以理解的是，准确表征用户的动态偏好、且可提取项目的协作信号有利于构建有效推荐系统。

传统序列推荐系统基于马尔可夫链模型进行构建，该模型假设前一个动作或前几项是下一个活动的基础，并可成功地模拟推荐的短期项目转换。但是，根据马尔科夫假设，一个独立结合的过去交互可能会限制推荐的效果。为了解决该模型存在的技术问题，相关技术采用知识增强序列推荐应用基于RNN(递归神经网络模型)的模型来捕获序列用户偏好，并进一步结合知识图来增强键值记忆网络的语义表示。其中，RNN以将每个用户的历史交互记录编码为隐藏状态。隐藏状态还用于预测用户的下一个动作。受益于使用高级存储单元结构例如长短期记忆(LSTM)和门控循环单元(GRU)探索项目和项目之间的序列关系，RNN方法已经成功地被应用于各种场景。

尽管相关技术可通过引入知识增强的记忆网络来捕获属性级用户偏好，序列推荐相比传统技术有效。但是，该方法由于没有考虑知识图中实体与局部图上下文之间的高阶依赖关系，无法准确高效地为用户推荐信息。

鉴于此，如何基于知识图中实体与局部图上下文之间的高阶依赖关系进行序列推荐，提高序列推荐的准确度，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种序列推荐方法、装置及计算机可读存储介质，基于知识图中实体与局部图上下文之间的高阶依赖关系进行序列推荐，有效提高了序列推荐的准确度。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种序列推荐方法，包括：

将待推荐用户和混合知识图谱的历史交互序列输入序列推荐模型中；所述混合知识图谱为用户集-项目集构成的双向图和知识图谱统一合并的图谱；

根据所述序列推荐模型的输出确定所述待推荐用户的推荐序列信息；

其中，所述序列推荐模型包括知识图嵌入模块、图注意力网络和循环神经网络；所述知识图嵌入模块用于将所述混合知识图谱的所有节点编码为向量表示，所述图注意力网络根据每个节点的嵌入和相邻节点的嵌入递归更新各节点的嵌入以用于捕获全局的用户-项目和项目-项目之间的关系；所述循环神经网络用于对用户交互序列项目进行编码以获取用户的动态偏好。

可选的，所述序列推荐模型为利用目标序列推荐关系式训练得到，所述目标序列推荐关系式为：

式中，O为所述序列推荐模型的训练样本数据集，u为所述待推荐用户，i,j为所述项目集中的项目序号，

为所述待推荐用户与某个项目交互的得分，h、r、t为所述知识图谱中的头节点、连接关系和尾节点，σ(·)为逻辑sigmoid函数，Θ为所有可训练参数集合，

G为所述双向图，t′为从实体集合中随机选取的一个负样例实体。

可选的，所述将所述混合知识图谱的所有节点编码为向量表示包括：

利用TransR知识图嵌入方法将所述混合知识图谱的所有节点编码为向量表示。

可选的，所述根据每个节点的嵌入和相邻节点的嵌入递归更新各节点的嵌入以用于捕获全局的用户-项目和项目-项目之间的关系包括：

当前节点融合相邻节点的嵌入得到自我中心网络模型e_Nk，所述自我中心网络模型e_Nk为：

基于融合关系式融合实体e_k和其自我中心网络模型e_Nk作为给定实体k的下一层输出，所述融合关系式为：

将所述给定实体k从第一层到第l层传播后的输出连接为向量作为所述给定实体k的最终表示；

基于递归神经网络拟合各输出序列以使每个项目嵌入包含全局协同信号；

式中，h、r、t为所述知识图谱中头节点、连接关系和尾节点，N_k＝{(h，γ，t)|(h，r，t)∈G，h＝k}，

为初始化实体，G为所述双向图，厅为给定实体且k∈ε，π(h，r，t)用于确定从相邻实体t传播至给定实体k的信息量；

为两层网络之间的维度转换矩阵，⊙为元素积，LeakyReLU为激活函数。

可选的，所述循环神经网络用于对用户交互序列项目进行编码以获取用户的动态偏好包括：

所述循环神经网络通过编码关系式将上一时刻用户偏好信息和当前项目嵌入向量

作为输入计算当前时刻用户偏好信息，所述编码关系式为：

式中，

为当前时刻t所述待推荐用户偏好信息，u为所述待推荐用户，GRU()为GRU神经网络核，

为上一时刻t-1所述待推荐用户偏好信息，φ为所述GRU神经网络的所有参数。

本发明实施例另一方面提供了一种序列推荐装置，包括：

混合知识图谱生成模块，用于将用户集-项目集构成的双向图和知识图谱统一合并为混合知识图谱；

模型输入模块，用于将待推荐用户和所述混合知识图谱的历史交互序列输入序列推荐模型中；所述序列推荐模型包括知识图嵌入模块、图注意力网络和循环神经网络；所述知识图嵌入模块用于将所述混合知识图谱的所有节点编码为向量表示，所述图注意力网络根据每个节点的嵌入和相邻节点的嵌入递归更新各节点的嵌入以用于捕获全局的用户-项目和项目-项目之间的关系；所述循环神经网络用于对用户交互序列项目进行编码以获取用户的动态偏好；

信息推荐模块，用于根据所述序列推荐模型的输出确定所述待推荐用户的推荐序列信息。

可选的，所述序列推荐模型为利用目标序列推荐关系式训练得到，所述目标序列推荐关系式为：

式中，O为所述序列推荐模型的训练样本数据集，u为所述待推荐用户，i,j为所述项目集中的项目序号，

为所述待推荐用户与某个项目交互的得分，h、r、t为所述知识图谱中的头节点、连接关系和尾节点，σ(·)为逻辑sigmoid函数，Θ为所有可训练参数集合，

G为双向图，t′为从实体集合中随机选取的一个实体，λ为已知常数。

可选的，所述图注意力网络具体用于：

当前节点融合相邻节点的嵌入得到自我中心网络模型e_Nk，所述自我中心网络模型e_Nk为：

基于融合关系式融合实体e_k和其自我中心网络模型e_Nk作为给定实体k的下一层输出，所述融合关系式为：

将所述给定实体k从第一层到第l层传播后的输出连接为向量作为所述给定实体k的最终表示；

式中，h、r、t为所述知识图谱中的用户偏好参数、关系参数和时间参数，N_k＝{(h，γ，t)|(h，r，t)∈G，h＝k}，

为初始化实体，G为所述双向图，厅为给定实体且k∈ε，π(h，r，t)用于确定从相邻实体t传播至给定实体k的信息量；

为两层网络之间的维度转换矩阵，⊙是元素积，LeakyReLU是激活函数。

本发明实施例还提供了一种序列推荐装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述序列推荐方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有序列推荐程序，所述序列推荐程序被处理器执行时实现如前任一项所述序列推荐方法的步骤。

本申请提供的技术方案的优点在于，首先将用户-项目双向图和知识图结合成一个统一的图，并将统一图的所有节点用编码成向量表示。然后，图注意力网络根据每个节点的嵌入和相邻节点的嵌入，递归地传播邻居节点的信息，调整节点的嵌入以更新每个节点的嵌入，充分挖掘知识图谱中实体的属性之间的连接关系，通过显式地利用实体之间的高阶关系来捕获序列项目的上下文依赖性和知识图谱中项目的语义信息，充分的捕获项目之间基于属性的协同信号、挖掘全局用户-项目之间的关系，利用循环神经网络对包含丰富辅助语义信息的用户交互序列项目进行编码，以捕获动态用户偏好，从而可基于从用户的集体行为和知识图中充分挖掘项目的协同信息来预测用户下一步的交互行为，提高序列推荐的准确度和有效性。

此外，本发明实施例还针对序列推荐方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种序列推荐方法的流程示意图；

图2为本发明实施例提供的另一种序列推荐方法的流程示意图；

图3为本发明实施例提供的序列推荐装置的一种具体实施方式结构图；

图4为本发明实施例提供的序列推荐装置的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1和图2，图1为本发明实施例提供的一种序列推荐方法的流程示意图，本发明实施例可包括以下内容：

S101：将用户集-项目集构成的双向图和知识图谱统一合并为混合知识图谱。

其中，用户集是为包括多个用户信息的集合，每个用户可作为实体对象，项目集为包括多个项目信息的集合，项目可为商品信息、情报信息、科技文献信息等等，例如将用户集可表示为集合U＝{u₁，u₂，…，u_|U|}，项目集可表示成集合I＝{i₁，i₂，…，i_|I|}，其中|U|和|I|分别表示集合中用户数量和集合中项目数量。用户集中的用户可使用过项目集中的一个项目或多个项目甚至是没有任何使用过项目，这均不影响本申请的实现。用户集和项目集作为可训练样本集的交互数据构成用户-项目双向图，该双向图可表示为G₁＝{(u，y_u，i，i)|u∈U，i∈I}若用户u已经和项目i交互，则y_u，i＝1；否则，y_u，i＝0，用户u为用户集中的第u个用户，项目i为项目集中的第i个项目。知识图谱可为现有任何一种知识图谱，知识图谱的所有三元组可表示成集合G₂＝{(h，r，t)|h，t∈ε，r∈R}，其中ε＝{e₁，e₂，…，e_|ε|}是所有实体的集合，R＝{r₁，r₂，…，r_|R|}是所有关系的集合。每个三元组表示从头实体h到尾实体t之间存在一个关系r。

鉴于相关技术中知识图并没有提高推荐性能的充分考虑不同实体的属性之间的关系，可将双向图和知识图谱统一合并为混合知识图谱。基于项目-实体对齐集，可把用户-项目的双向图G₁和知识图谱G₂结合成一个统一的图，也即合并统一为混合知识图谱，混合知识图谱可表示为G＝{(h，r，t)|h，t∈ε′，r∈R′}，其中ε′＝ε∪U和R′＝R∪{Interact}。额外的关系Interact是在用户u和项目i之间的已知交互y_u，i＝1。

在模型训练过程中，可把混合知识图谱G和用户u的历史交互序列

作为训练样本集进行输入，其中索引t表示相关时间索引，学习一个函数来预测用户下一个交互的项目

学习得到的函数也即序列推荐模型。模型训练完成后，将混合知识图谱G和待推荐用户输入至序列推荐模型中，也即执行S102步骤。

S102：将待推荐用户和混合知识图谱的历史交互序列输入序列推荐模型中。

在本申请中，序列推荐模型可包括知识图嵌入模块、图注意力网络和循环神经网络；知识图嵌入模块用于将混合知识图谱的所有节点编码为向量表示，图注意力网络根据每个节点的嵌入和相邻节点的嵌入递归更新各节点的嵌入以用于捕获全局的用户-项目和项目-项目之间的关系；循环神经网络用于对用户交互序列项目进行编码以获取用户的动态偏好。也就是说，序列推荐模型的框架为端到端的知识图注意力网络增强序列推荐框架，该框架通过显式地利用实体之间的高阶关系来捕获序列项目的上下文依赖性和知识图谱中项目的语义信息。图注意力网络模块根据每个节点的嵌入和相邻节点的嵌入，递归更新每个节点的嵌入，其中还可利用一个神经注意机制学习相邻节点的权值以区分当前节点的各相邻节点重要性。最后，还可基于循环神经网络如RNN网络对用户的序列交互进行编码，以捕获动态用户偏好。从而可以从用户的集体行为和知识图谱中充分挖掘项目的协同信息，进而预测用户下一步的交互行为，交互行为为待推荐用户未来的感兴趣项目，也即S103步骤的待推荐用户的推荐序列信息。

S103：根据序列推荐模型的输出确定待推荐用户的推荐序列信息。

在本发明实施例提供的技术方案中，首先将用户-项目双向图和知识图结合成一个统一的图，并将统一图的所有节点用编码成向量表示。然后，图注意力网络根据每个节点的嵌入和相邻节点的嵌入，递归地传播邻居节点的信息，调整节点的嵌入以更新每个节点的嵌入，充分挖掘知识图谱中实体的属性之间的连接关系，通过显式地利用实体之间的高阶关系来捕获序列项目的上下文依赖性和知识图谱中项目的语义信息，充分的捕获项目之间基于属性的协同信号、挖掘全局用户-项目之间的关系，利用循环神经网络对包含丰富辅助语义信息的用户交互序列项目进行编码，以捕获动态用户偏好，从而可基于从用户的集体行为和知识图中充分挖掘项目的协同信息来预测用户下一步的交互行为，提高序列推荐的准确度和有效性。

可以理解的是，在知识传播之前，为了方便模型处理数据，可将输入模型的信息即混合知识图谱中的实体和关系做向量化表示。首先随机初始化实体和关系表示为

知

可选择一个被广泛使用的知识图嵌入方法TransR来将实体做嵌入表示，也就是说，本申请可利用TransR知识图嵌入方法将所述混合知识图谱的所有节点编码为向量表示。TransR学习图中的实体和关系的嵌入表示要求实体和关系满足限制：

如果三元组(h，r，t)在图中存在，其中，

知

表示将实体表示映射到关系r的空间中。如上面描述的一样，给定一个三元组(h，r，t)，可有如下能量得分函数：

其中，F_kg(h，r，t)的得分越低，三元组就更可能为真，反之亦然。相似于BPR，TransR的损失函数定义可如下所示：

L_kg＝∑_{(h，rt，t′)∈Γ}-lnσ(F_kg(h，r，t′)-F_kg(h，r，t)) (2)

式中，

h、r、t为所述知识图谱中的头节点、连接关系和尾节点，t′为从集合

中随机选出的一个负样例实体。σ(·)是逻辑sigmoid函数。

在本申请中，知识图谱中包含大量的实体属性信息，利用实体与其局部图上下文之间的依赖关系，充分捕获项目之间基于属性的协同信号，挖掘全局用户-项目之间的关系。本申请将图形注意网络来同时捕获全局的用户-项目和项目-项目之间的关系。然后基于RNN的方法来拟合序列，此时每个项目嵌入表示已经包含了全局协同信号。下述阐述本发明实施例如何通过图注意力网络递归的传播节点嵌入：

首先可先给定一个实体k∈ε和一个三元组集合，三元组集合可表示为N_k＝{(h，γ，t)|(h，r，t)∈G，h＝k}。在一层传播之后，节点k融合了邻居节点的嵌入的自我中心网络模型可表示如下：

其中，π(h，r，t)决定多少信息从邻居实体t传播到实体k中，π(h，r，t)可定义如下：

π′(h，r，t)＝(W_re_t)^Ttanh(W_re_h+e_r) (4)

式中，tanh是记过函数，关系式(5)是为了正则化实体h和它的每个邻居之间的相关度得分。需要指出的是，当计算关系式(3)中的π(h，r，t)的时候，实体k的每个邻居是这里的参数h。

基于上面获取的自我中心网络模型，可利用融合关系式融合实体e_k和它的自我中心网络模型

作为这实体k的下一层的输出表示。融合关系式可表示如下：

其中

为两层网络之间的维度转换矩阵，⊙是元素积，LeakyReLU为激活函数。

为了发掘更多信息，可堆叠更多的传播层去从更高跳的邻居节点中获取更多层的连接信息。在第l层，实体k在第l层的输出可表示如下：

其中，实体k的第l层的自我中心网络模型可表示如下：

式中

是来自于上一信息传播层，它保留了实体t的前(l-1)跳的邻居的信息。

在l层的传播之后，本申请为每个实体学习到了多个表示，分别表示为

可将这些表示连接成一个向量表示作为实体k的最终表示，也即将给定实体k从第一层到第l层传播后的输出连接为向量作为给定实体k的最终表示；最后基于递归神经网络拟合各输出序列以使每个项目嵌入包含全局协同信号；计算如下：

其中，||表示连接操作，从而可获得实体嵌入集ε^*＝{e′₁，…，e′_k，…，e′_|ε|}，

d′＝d+d⁽¹⁾+d⁽²⁾+…+d^(L)，然后可映射它们到一个全连接层。

从而获得了新的实体嵌入集

根据项目实体对齐集可获得了新的项目嵌入矩阵

显然，通过多层的嵌入传播，用户项目之间和基于属性的项目之间的协同信息被无缝的融合到表示学习过程中。

可以理解的是，应用序列推荐方法来对用户的历史交互进行建模，这些交互通常遵循时间顺序。RNN在各种序列编码任务中被证明是有效的。LSTM(Long Short-TermMemory，长短期记忆网络)和GRU是RNN的两种典型变体，它们的提出是为了解决RNN在处理长依赖关系时的不足。因为GRU的结构比LSTM更简单，并且在大多数情况下与LSTM具有类似的效果，本申请可选择GRU(GRU(GatedRecurrent Unit，LSTM变体)作为序列编码器，也即循环神经网络可为GRU神经网络。给定一个用户u的交互序列

可队项目嵌入矩阵

中检索出输入项目的嵌入表示

GRU通过编码关系式把先前隐藏状态

(也即上一时刻用户偏好信息)和当前项目嵌入向量

作为输入计算当前隐藏状态

(也即当前时刻用户偏好信息)，编码关系式可表示为：

式中，

为当前时刻t所述待推荐用户偏好信息，u为待推荐用户，GRU(·)为GRU神经网络核，

为上一时刻t-1所述待推荐用户偏好信息，φ为GRU神经网络的所有参数。

通过序列推荐方法的计算，可得到了最终的用户偏好表示形式

本申请对用户表示

和从矩阵I^*上检索出的项目表示

进行内积，所得分数作为排序的依据，即可表示为：

得分越高，用户u接下来交互项目i的概率越高。此外，本申请还可用BPR损失来优化本申请的序列推荐模型，计算如下：

其中O＝{(u，i，j)|(u，i)∈Q⁺，(u，j)∈Q^-}是训练集，Q⁺表示用户u和项目i之间的正样例，而Q^-表示随机列举的负样例。

最终通过最小化关系式(2)和关系式(12)联合表示的目标函数同时将L₂正则化引入来防止过拟合来训练序列推荐模型，序列推荐模型为利用

训练得到，也即序列推荐模型为利用目标序列推荐关系式训练得到，目标序列推荐关系式可表示为：

式中，O为序列推荐模型的训练样本数据集，u为待推荐用户，i，j为项目集中的项目序号，

为待推荐用户与某个项目交互的得分，h、r、t为知识图谱中的头节点、连接关系和尾节点，σ(·)为逻辑sigmoid函数，Θ为所有可训练参数集合，G为双向图，t′为从实体集合中随机选取的一个负样例实体，λ为已知常数。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1只是一种示意方式，并不代表只能是这样的执行顺序。

本发明实施例还针对序列推荐方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的序列推荐装置进行介绍，下文描述的序列推荐装置与上文描述的序列推荐方法可相互对应参照。

基于功能模块的角度，参见图3，图3为本发明实施例提供的序列推荐装置在一种具体实施方式下的结构图，该装置可包括：

混合知识图谱生成模块301，用于将用户集-项目集构成的双向图和知识图谱统一合并为混合知识图谱；

模型输入模块302，用于将待推荐用户和混合知识图谱的历史交互序列输入序列推荐模型中；序列推荐模型包括知识图嵌入模块、图注意力网络和循环神经网络；知识图嵌入模块用于将混合知识图谱的所有节点编码为向量表示，图注意力网络根据每个节点的嵌入和相邻节点的嵌入递归更新各节点的嵌入以用于捕获全局的用户-项目和项目-项目之间的关系；循环神经网络用于对用户交互序列项目进行编码以获取用户的动态偏好；

信息推荐模块303，用于根据序列推荐模型的输出确定待推荐用户的推荐序列信息。

可选的，在本实施例的一些实施方式中，所述序列推荐模型为利用目标序列推荐关系式训练得到，目标序列推荐关系式为：

式中，O为序列推荐模型的训练样本数据集，u为待推荐用户，i,j为项目集中的项目序号，

为待推荐用户与某个项目交互的得分，h、r、t为知识图谱中的头节点、连接关系和尾节点，σ(·)为逻辑sigmoid函数，Θ为所有可训练参数集合，G为双向图，t′为从实体集合中随机选取的一个负样例实体。

作为另外一种可选的实施方式，图注意力网络可具体用于：

当前节点融合相邻节点的嵌入得到自我中心网络模型e_Nk，自我中心网络模型e_Nk为：

基于融合关系式融合实体e_k和其自我中心网络模型e_Nk作为给定实体k的下一层输出，融合关系式为：

将给定实体k从第一层到第l层传播后的输出连接为向量作为给定实体k的最终表示；

式中，h、r、t为知识图谱中的头节点、连接关系和尾节点，N_k＝{(h，γ，t)|(h，r，t)∈G，h＝k}，

为初始化实体，G为双向图，k为给定实体且k∈ε，π(h，r，t)用于确定从相邻实体t传播至给定实体k的信息量；

为两层网络之间的维度转换矩阵，⊙是元素积，LeakyReLU是激活函数。

本发明实施例所述序列推荐装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例基于知识图中实体与局部图上下文之间的高阶依赖关系进行序列推荐，有效提高了序列推荐的准确度。

上文中提到的序列推荐装置是从功能模块的角度描述，进一步的，本申请还提供一种序列推荐装置，是从硬件角度描述。图4为本申请实施例提供的另一种序列推荐装置的结构图。如图4所示，该装置包括存储器40，用于存储计算机程序；

处理器41，用于执行计算机程序时实现如上述实施例提到的序列推荐方法的步骤。

其中，处理器41可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器41可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器41也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器41可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器41还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器40可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器40还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器40至少用于存储以下计算机程序401，其中，该计算机程序被处理器41加载并执行之后，能够实现前述任一实施例公开的序列推荐方法的相关步骤。另外，存储器40所存储的资源还可以包括操作系统402和数据403等，存储方式可以是短暂存储或者永久存储。其中，操作系统402可以包括Windows、Unix、Linux等。数据403可以包括但不限于序列推荐结果对应的数据等。

在一些实施例中，序列推荐装置还可包括有显示屏42、输入输出接口43、通信接口44、电源45以及通信总线46。

本领域技术人员可以理解，图4中示出的结构并不构成对序列推荐装置的限定，可以包括比图示更多或更少的组件，例如传感器47。

本发明实施例所述序列推荐装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例基于知识图中实体与局部图上下文之间的高阶依赖关系进行序列推荐，有效提高了序列推荐的准确度。

可以理解的是，如果上述实施例中的序列推荐方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，本发明实施例还提供了一种计算机可读存储介质，存储有序列推荐程序，所述序列推荐程序被处理器执行时如上任意一实施例所述序列推荐方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例基于知识图中实体与局部图上下文之间的高阶依赖关系进行序列推荐，有效提高了序列推荐的准确度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种序列推荐方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种序列推荐方法，其特征在于，包括：

将待推荐用户和混合知识图谱的历史交互序列输入序列推荐模型中；所述混合知识图谱为用户集-项目集构成的双向图和知识图谱统一合并的图谱；

根据所述序列推荐模型的输出确定所述待推荐用户的推荐序列信息；

其中，所述序列推荐模型包括知识图嵌入模块、图注意力网络和循环神经网络；所述知识图嵌入模块用于将所述混合知识图谱的所有节点编码为向量表示，所述图注意力网络根据每个节点的嵌入和相邻节点的嵌入递归更新各节点的嵌入以用于捕获全局的用户-项目和项目-项目之间的关系；所述循环神经网络用于对用户交互序列项目进行编码以获取用户的动态偏好。

2.根据权利要求1所述的序列推荐方法，其特征在于，所述序列推荐模型为利用目标序列推荐关系式训练得到，所述目标序列推荐关系式为：

式中，O为所述序列推荐模型的训练样本数据集，u为所述待推荐用户，i,j为所述项目集中的项目序号，

为所述待推荐用户与某个项目交互的得分，h、r、t为所述知识图谱中的头节点、连接关系和尾节点，σ(·)为逻辑sigmoid函数，Θ为所有可训练参数集合，

G为所述双向图，t′为从实体集合中随机选取的一个负样例实体。

3.根据权利要求2所述的序列推荐方法，其特征在于，所述将所述混合知识图谱的所有节点编码为向量表示包括：

利用TransR知识图嵌入方法将所述混合知识图谱的所有节点编码为向量表示。

4.根据权利要求1至3任意一项所述的序列推荐方法，其特征在于，所述根据每个节点的嵌入和相邻节点的嵌入递归更新各节点的嵌入以用于捕获全局的用户-项目和项目-项目之间的关系包括：

当前节点融合相邻节点的嵌入得到自我中心网络模型e_Nk，所述自我中心网络模型e_Nk为：

基于融合关系式融合实体e_k和其自我中心网络模型e_Nk作为给定实体k的下一层输出，所述融合关系式为：

将所述给定实体k从第一层到第l层传播后的输出连接为向量作为所述给定实体k的最终表示；

基于递归神经网络拟合各输出序列以使每个项目嵌入包含全局协同信号；

式中，h、r、t为所述知识图谱中的头节点、连接关系和尾节点，N_k＝{(h，γ，t)|(h，r，t)∈G，h＝k}，

为初始化实体，G为所述双向图，k为给定实体且k∈ε，π(h，r，t)用于确定从相邻实体t传播至给定实体k的信息量；

为两层网络之间的维度转换矩阵，⊙为元素积，LeakyReLU为激活函数。

5.根据权利要求4所述的序列推荐方法，其特征在于，所述循环神经网络用于对用户交互序列项目进行编码以获取用户的动态偏好包括：

所述循环神经网络通过编码关系式将上一时刻用户偏好信息和当前项目嵌入向量

作为输入计算当前时刻用户偏好信息，所述编码关系式为：

式中，

为当前时刻t所述待推荐用户偏好信息，u为所述待推荐用户，GRU(·)为GRU神经网络核，

为上一时刻t-1所述待推荐用户偏好信息，φ为所述GRU神经网络的所有参数。

6.一种序列推荐装置，其特征在于，包括：

混合知识图谱生成模块，用于将用户集-项目集构成的双向图和知识图谱统一合并为混合知识图谱；

模型输入模块，用于将待推荐用户和所述混合知识图谱的历史交互序列输入序列推荐模型中；所述序列推荐模型包括知识图嵌入模块、图注意力网络和循环神经网络；所述知识图嵌入模块用于将所述混合知识图谱的所有节点编码为向量表示，所述图注意力网络根据每个节点的嵌入和相邻节点的嵌入递归更新各节点的嵌入以用于捕获全局的用户-项目和项目-项目之间的关系；所述循环神经网络用于对用户交互序列项目进行编码以获取用户的动态偏好；

信息推荐模块，用于根据所述序列推荐模型的输出确定所述待推荐用户的推荐序列信息。

7.根据权利要求6所述的序列推荐装置，其特征在于，所述序列推荐模型为利用目标序列推荐关系式训练得到，所述目标序列推荐关系式为：

式中，O为所述序列推荐模型的训练样本数据集，u为所述待推荐用户，i,j为所述项目集中的项目序号，

为所述待推荐用户与某个项目交互的得分，h、r、t为所述知识图谱中的头节点、连接关系和尾节点，σ(·)为逻辑sigmoid函数，Θ为所有可训练参数集合，

G为所述双向图，t′为从实体集合中随机选取的一个负样例实体。

8.根据权利要求7所述的序列推荐装置，其特征在于，所述图注意力网络具体用于：

当前节点融合相邻节点的嵌入得到自我中心网络模型e_Nk，所述自我中心网络模型e_Nk为：

基于融合关系式融合实体e_k和其自我中心网络模型e_Nk作为给定实体k的下一层输出，所述融合关系式为：

将所述给定实体k从第一层到第l层传播后的输出连接为向量作为所述给定实体k的最终表示；

式中，h、r、t为所述知识图谱中的头节点、连接关系和尾节点，N_k＝{(h，γ，t)|(h，r，t)∈G，h＝k}，

为初始化实体，G为所述双向图，k为给定实体且k∈ε，π(h，r，t)用于确定从相邻实体t传播至给定实体k的信息量；

为两层网络之间的维度转换矩阵，⊙是元素积，LeakyReLU是激活函数。

9.一种序列推荐装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述序列推荐方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有序列推荐程序，所述序列推荐程序被处理器执行时实现如权利要求1至5任一项所述序列推荐方法的步骤。

Images