CN116204719A - 一种双曲空间下知识增强的多任务推荐方法 - Google Patents

Abstract

本发明提出了一种双曲空间下知识增强的多任务推荐方法，包括以下步骤：S1，将实体映射到双曲空间中，充分捕获实体的非欧特征，得到用户嵌入和物品嵌入；S2，将知识图谱中的三元组信息进行训练，得到基于对象实体的知识感知表示；S3，将所述物品嵌入和知识增强训练的实体向量进行联合交替训练，所述知识增强训练的实体向量包括多个知识感知表示，使得实体之间能够共享特征信息，并且训练按照得到的用户信息为用户的具体偏好继续训练，得到满足用户偏好的物品实体。本发明方法将用户和物品建模与知识图谱建模作为两个独立但相关的任务，利用双曲空间的延展性和强适应性，捕获实体之间的复杂的非欧式关系，实现用户与物品的高阶交互关系。

Description

一种双曲空间下知识增强的多任务推荐方法

技术领域

本发明涉及物品推荐领域，特别是涉及一种双曲空间下知识增强的多任务推荐方法。

背景技术

推荐系统的首要目的就是给用户提供更好的推荐，协同过滤的无疑是推荐领域中应用最为广泛的方法，它根据用户的历史行为信息挖掘出用户的兴趣偏好，从而将符合特征的物品推荐给用户。可是基于协同过滤的推荐算法往往会出现长尾问题和冷启动问题，比如用户第一次使用推荐系统时，因为缺乏用户物品历史交互信息，从而无法给出符合用户特征的推荐。基于知识图谱(KGs)的推荐方法可以有效地解决协同过滤的局限性。研究者们利用知识图谱作为辅助信息进行推荐的方法能够有效缓解这些问题。因此，兴起了研究者们的研究热潮。

虽然将KGs作为辅助信息来进行推荐的方法已经得到了广泛的应用与研究，但是大多数基于KGs的推荐方法只是单纯地利用辅助信息进行编码，缺少了与实体之间的高阶交互性，并没有挖掘出用户与物品之间的潜在联系。多任务学习是比较常用的解决方式，它强调知识图谱建模辅助推荐，与此同时，推荐系统训练用户和物品的特征并将带有特征的项与知识图谱结合训练，从而得到拥有共同特征的嵌入实体。在多种基于多任务学习的推荐算法中，MKR模型以解决数据稀疏性的问题出发，设计出了一种深度的端到端的框架，加强学习物品与实体间的高阶交互能力。但是它只强调多任务学习对辅助任务的优化作用，由于没有对协调优化推荐和图神经网络建模进行改进，导致算法复杂达到指数级形式，其优化性能还有待提高。

随着技术地不断深入，基于多任务学习的推荐算法需要进行改进。一方面，欧式空间虽然为我们提供了观察模型的视觉上的友好，但是许多复杂数据类型往往会高出欧氏空间的几何表示。比如CFKG模型，构建了用户-物品KG，以用户历史行为信息进行推荐，但它在很大程度上只是单纯地将知识图谱看作一条条完整的信息链，或说是只是简单地将原始数据嵌入到KG里，可是非欧式空间的数据并不能被完全利用，进而无法捕获推荐域中通常存在的高阶关系。另一方面，基于图注意力网络(GAT)的算法集中于显示用户与物品之间的交互关系，但对于预训练实体嵌入的方法非常耗时。因此，我们认为，由于嵌入的空间不具备观察非欧式空间的数据属性，进而将没有观察到的数据归结为噪声会造成失真效应；同样重要的是模型训练时也要考虑时间成本和实用性。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种双曲空间下知识增强的多任务推荐方法。

为了实现本发明的上述目的，本发明提供了一种双曲空间下知识增强的多任务推荐方法，包括以下步骤：

S1，将实体映射到双曲空间中，充分捕获实体的非欧特征，得到用户嵌入和物品嵌入；

S2，将知识图谱中的三元组信息进行训练，得到基于对象实体的知识感知表示；

S3，将所述物品嵌入和知识增强训练的实体向量进行联合交替训练，所述知识增强训练的实体向量包括多个知识感知表示，使得实体之间能够共享特征信息，并且训练按照得到的用户信息为用户的具体偏好继续训练，得到满足用户偏好的物品实体(物品实体为所有三元组的尾实体组成的集合)，从而使得推荐系统能够捕获用户对于物品最真实的偏好。

进一步地，S1包括以下步骤：

S1-1，在欧氏空间中取得最原始的用户和物品表示；

S1-2，使用洛伦兹表示法表示用户和物品的嵌入：

首先我们固定原点o，o为双曲空间中任意一点；将原点o作为参考点，在原点o的切线空间τ_oH^d上进行高斯分布采样，得到了用户和物品在切线空间上的初始化嵌入：

θ′_u,θ′_i～N(0,σI_d×d) (1)

其中θ′_u表示用户在切线空间上的初始化嵌入；

θ′_i表示物品在切线空间上的初始化嵌入；

θ′_u,θ′_i～N(0,σI_d×d)表示θ′_u,θ′_i服从于正态分布，期望为0，方差为σI_d×d；

σ表示标准差；

I_d×d表示物品集合；

然后将得到的初始化特征矩阵(初始化嵌入)进行适应性阔列：θ″_u＝[0；θ′_u]；θ″_i＝[0；θ′_i]，得到嵌入矩阵θ″_u,θ″_i∈τ_oH^d，[；]表示连接操作；

再将嵌入矩阵θ″_u,θ″_i通过指数映射操作映射到双曲空间中，指数映射操作如下：

其中k超参数为超参数，k＝-1/c，c表示曲率；

由此，得到了用户和物品在双曲空间H^d中的高阶特征嵌入：

θ_u＝exp_o(θ″_u)；θ_i＝exp_o(θ″_i) (3)

其中θ_u表示用户在双曲空间H^d中的高阶特征嵌入；

θ_i表示物品在双曲空间H^d中的高阶特征嵌入；

θ″_u表示用户的嵌入矩阵；

θ″_u表示物品的嵌入矩阵；

最后在双曲空间中将所有用户所对应的特征物品进行对数映射，得到用户-物品特征嵌入：

e_u＝log_o(θ_u)

e_i＝log_o(θ_i) (5)

其中，arcosh()表示反双曲函数；

<·,·>表示内积；

<·,·>_L表示洛伦兹内积；

x为切线空间上任意一点；

k表示负曲率常数；

||||_L表示L范数；

e_u表示用户特征嵌入；

e_i表示物品特征嵌入；

log_o()表示以点o进行对数运算，将双曲空间中的embedding映射到欧式空间；

O是切线空间所通过指数映射，对应在双曲空间上的点；即经过映射之后的原点。

进一步地，还包括：双曲损失函数可以被定义为：

L_H＝max(d_H(θ_u,θ_i)-d_H(θ_u,θ_j)+m,0) (6)

其中d_H(·,·)表示用户与物品的相关程度；

θ_u表示用户在双曲空间H^d中的高阶特征嵌入；

θ_i表示用户对应的物品(正样本)i在双曲空间H^d中的高阶特征嵌入；

θ_j表示用户不对应的物品(负样本)j在双曲空间H^d中的高阶特征嵌入。

进一步地，S2包括以下步骤：

S2-1，采用KGE训练知识图，训练后得到实体embedding；所述知识图由若干三元组信息组成；

S2-2，利用感知图注意力网络嵌入的方法生成具有不同权重的尾实体，从而将尾实体的隐式含义表示出来，获取不同头实体和关系实体的不同意义；所述注意力网络具有四层神经网络结构，前三层为Relu函数。

我们旨在采用KGE预训练知识图谱，将得到的关于物品的特征信息进行分类，利用设计的注意力网络对具有不同特征的物品(三元组实体)进行感知，得到最适合物品的特征信息，从而起到了知识增强的效果。

进一步地，若所述KGE为TransH，则S2-1包括以下步骤：

S2-1-1，对每一个三元组将头实体的嵌入和尾实体的嵌入投影到超参平面上，投影设置为h⊥和t⊥：

其中h⊥表示头实体的嵌入投影；

h表示初始头实体；

表示w在超参平面上的投影；

w_r表示超参平面法向量；

t⊥表示尾实体的嵌入投影；

t表示原始尾实体；

S2-1-2，若为不完整三元组，则利用相同投影的完整三元组进行补全；

S2-1-3，训练后得到实体embedding，预处理完成。

进一步地，还包括：采用评分函数评价补全后的三元组的合理性，所述评分函数为：

其中d_r表示关系向量；

表示二范数的平方。

进一步地，还包括损失函数：

其中Max表示取最大值；

d_r表示关系向量；

表示二范数的平方。

进一步地，S2-2包括以下步骤：

首先，构建知识图谱三元组(h,r,t)中尾实体的注意力a_i，表示为：

其中∏(·)表示头实体和关系的一种感知注意力潜在属性权重；

然后进行缩放操作：将KGE训练后的实体embedding经过三层激活函数ReLU后，再将得到的结果进行Sigmoid：

表示头实体和关系的一种感知注意力潜在属性权重；

再将得到的关系实体和头实体进行联合加权操作，将感知特征项提取出来，得到尾实体：

表示尾实体的嵌入；

r_i表示关系实体；

表示头实体的嵌入；

在感知注意力嵌入之后，将加权注意力的尾实体表示为对象实体

并采用l个基于对象实体的知识感知表示集合，用e_l表示：

其中

表示第l个基于对象实体的知识感知表示。

进一步地，S3包括以下步骤：

将实体向量e_l和物品嵌入v_l通过concat操作进行合并得到的特征矩阵，使得物品与关联实体都共同具有了二者的特征。然后将得到的特征矩阵映射到潜在的向量空间中，并输出下一层的特征矩阵；

先构造一个训练权重w_l∈R^d和拟合向量μ_l∈R^d，其中训练权重w_l的作用压缩特征矩阵的维度，从而得到l+1次训练的物品嵌入和实体向量(实体嵌入)：

其中v_l+1表示第l+1个物品嵌入；

·^T表示矩阵的转置；

w_l ^VV表示第l次训练时两个物品实体对应的权重；

w_l ^VE表示第l次训练时物品实体与用户实体对应的权重；

表示偏差；

w_l ^EE表示第l次训练时两个用户实体对应的权重；

最后，将最后一次训练迭代得到的v_l+1作为输出结果[v]，[v]表示应该给用户推荐的物品；

所述潜在特征矩阵C_l通过以下方式构建：

C_l表示l层特征联合矩阵，C_l∈R^d*d；

v_l表示第l个物品嵌入，v_l∈R^d；

.^T表示矩阵的转置；

e_l表示经过知识增强训练的实体向量，e_l∈R^d；

d是维度。

进一步地，还包括损失函数：

L_H表示推荐模块的损失函数；

L_KGE表示KGE模块中的损失；

其中λ₁、λ₂是平衡参数，用于调整各损失函数的值域；

u,v表示用户集合和项目集合；

σ(·)函数表示非线性激活函数Sigmoid；

(h,r,t)表示初始三元组；

(h′,r′,t′)表示训练后的三元组；

G表示知识图谱；

ε是正则化项。

综上所述，由于采用了上述技术方案，本发明方法将用户和物品建模与知识图谱建模作为两个独立但相关的任务，一方面，利用双曲空间的延展性和强适应性，捕获实体之间的复杂的非欧式关系，实现用户与物品的高阶交互关系。另一方面，把推荐场景下所有可利用的信息实体之间的丰富交互建模成异质图，利用图注意力网络聚合异质信息，区分不同知识邻域的辅助信息并嵌入到用户和物品的节点表征向量中，以缓解用户与物品交互信息稀疏的问题，并且能挖掘出向量空间中用户与物品的潜在语义关系。另外，通过多任务学习的方法用于共同优化图链接预测与推荐任务，使得模型同时捕获到显式和隐式的特征，进而提升模型的推荐效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明HKMR模型的总体架构示意图。

图2是本发明双曲映射模块的工作图表示。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明方法以多任务的形式出发，将用户设置为U＝{u₁,...u_m}，物品设置为I＝{i₁,...i_n}，如果用户和物品有交互属性，则以R_u,i表示；

三元组以(h_m,r_m,t_m)为同一组表示，h_m表示第m个三元组的头实体，r_m表示第m个三元组的关系实体，t_m表示第m个三元组的尾实体；通过多任务学习的方式分别得到最终的结果。主要目标是预测用户对于未知物品的最终打分情况。

本发明方法是基于HKMR模型实现的，HKMR模型的总体架构如图1所示，包括：

(1)双曲映射模块：将实体映射到双曲空间，双曲映射模块的输入为u、i的原始embedding，输出为富有非欧结构特征的u，i的embedding；

双曲映射模块包含两个空间映射层，第一层为双曲映射层(对数映射)，目的是将处于欧几里得空间的数据映射到双曲空间中，使得处于欧氏空间中不能被观察到的非欧数据能够在空间中得到表示，从而实现了特征数据在数量上的提升。第二层为指数投影层，目的是将得到提升的数据投影会欧式空间，方便进行后续的特征计算。

双曲映射模块的创新点如下：传统的在欧式空间的推荐算法忽略本来存在但在欧氏空间观察不到的非欧结构数据，这样会在真实场景下用户的真实偏好进行错误的评估，本发明方法旨在解决这种局限性，充分利用双曲空间的延展性特点，将具有复杂结构的数据进行捕获，在推荐的真实场景下，最大化收集用户-物品特征信息，从而对用户进行合理地推荐。

(2)知识增强模块：在双曲空间中加强图节点的特征信息。

(1)第一步KGE训练：输入为(h，r，t)，输出为训练后的(h，r，t)；目的是随着训练的接续进行三元组的信息会更加完整。(2)第二部尾实体注意力训练：输入KGE训练后的(h，r，t)，输出为富有特征的(h，r，t)，第三部分，而主要是使用t尾实体。

知识增强模块的创新点如下：对于推荐系统，将物品进行合理地推荐是推荐系统要解决的问题，用户的需求不能是有什么物品就推荐什么物品，物品的特征信息是判断推荐系统是否将物品推荐给用户的关键。知识图作为推荐的辅助信息，大部分知识图谱是残缺的，或者说特征信息不全。本发明方法旨在解决这种局限性，采用TransH预训练知识图谱，将得到的关于物品的特征信息进行分类，利用我们设计的注意力网络对具有不同特征的物品(三元组实体)进行感知，得到最适合物品的特征信息，从而起到了知识增强的效果。

(3)特征联合模块：将前两个模块得到的具有物品特征的embedding进行联合交替训练，使得实体之间能够共享特征信息，从而使得推荐系统能够捕获用户对于物品最真实的偏好。特征联合模块的输入为双曲映射模块中得到的item-embedding和知识增强模块中得到的tail-embedding。输出为具有全部特征的物品实体embedding。

特征联合模块的创新点如下：传统的多任务学习的方法将特征进行笛卡儿积操作，这种操作有两个弊端：第一，算法的时间复杂度较高，在推荐算法中不但要考虑推荐的准确性也要考虑时间成本。第二，轮换训练产生的特征属性不够强，如果在双曲映射模块中得到了用户对物品的打分近似于0这一信息，那么就代表这一部分得到的特征会特别少，但在知识增强部分得到了物品的积极属性，如果是笛卡儿积的方式，这样得到的最终打分就会非常低(接近于0)，这样得到的特征属性相应会特别少。(可以近似将打分作为特征属性处理，打分就是物品的某一特征属性)，通过传统的推荐方式显然推荐效果不佳。我们将二者进行concat操作，将二者得到的特征属性共享，这样扩大了物品的特征属性，从而能进行更好的推荐。

1双曲映射模块：

双曲映射模块的工作如图2所示，图2中可以直观地反应经过双曲映射后正样本与负样本之间的距离变化。其中

为正样本在切线空间中的表示，/>

为负样本在切线空间中的表示，/>

d_H分别表示在切线空间和双曲空间中的距离，o表示初始化原点，O表示经过双曲映射后的样本之间交互形成的原点，o′表示经过双曲变换的原点表示。

我们在欧氏空间中取得最原始的用户和物品表示，使用洛伦兹表示法表示用户和物品的嵌入。首先我们固定原点o，o为双曲空间中任意一点，原点o表示为：

H^d表示双曲空间；将原点作为我们的参考点，曲率c我们将它设置为超参数k＝-1/c；我们在原点o的切线空间τ_oH^d上进行高斯分布采样，得到了用户和物品在切线空间上的初始化嵌入：

θ′_u,θ′_i～N(0,σI_d×d) (1)

其中θ′_u表示用户在切线空间上的初始化嵌入；

θ′_i表示物品在切线空间上的初始化嵌入；

θ′_u,θ′_i～N(0,σI_d×d)表示θ′_u,θ′_i服从于正态分布，期望为0，方差为σI_d×d；

σ表示标准差；

I_d×d表示物品集合；

再将得到的初始化特征矩阵进行适应性阔列：θ″_u＝[0；θ′_u]；θ″_i＝[0；θ′_i]，得到嵌入矩阵θ″_u,θ″_i∈τ_oH^d，[；]表示连接操作。为了得到双曲空间中用户与物品的嵌入，我们将其映射到双曲空间中τ_oH^d→H^d，→为映射符号：

exp_o(x)表示对数运算；

cosh()表示双曲余弦函数；

|| ||_L表示L范数；

k表示负曲率常数；

sinh()表示双曲正弦函数；

x∈τ_oH^d为切线空间上任意一点且满足

通过我们设置的指数映射操作就能得到了用户和物品在双曲空间H^d中的高阶特征嵌入：

其中θ_u表示用户在双曲空间H^d中的高阶特征嵌入；

θ_i表示物品在双曲空间H^d中的高阶特征嵌入；

θ″_u表示用户的嵌入矩阵；

θ″_u表示物品的嵌入矩阵；

我们得到的用户和物品的双曲空间嵌入适用于所有的用户{θ_u}_u∈U和物品{θ_i}_i∈I。最后我们在双曲空间中将所有用户所对应的特征物品进行对数映射，得到了我们所需要的用户-物品特征嵌入：

e_u＝log_o(θ_u)

e_i＝log_o(θ_i) (5)

其中，arcosh()表示反双曲函数；

<·,·>表示内积；

<·,·>_L表示洛伦兹内积；

x为切线空间上任意一点；

k表示负曲率常数；

||||_L表示L范数；

e_u表示用户特征嵌入；

e_i表示物品特征嵌入；

log_o()表示以点o进行对数运算，将双曲空间中的embedding映射到欧式空间。

O是切线空间所通过指数映射，对应在双曲空间上的点；即经过映射之后的原点。

我们设置一个距离常数m，基于距离的推荐模型需要进行采样抽取，对于每一个用户u，我们形式上将正样本设置为R_u,i＝1，负样本设置为R_u,j＝0；于是双曲损失函数可以被定义为：

L_H＝max(d_H(θ_u,θ_i)-d_H(θ_u,θ_j)+m,0) (6)

其中d_H(·,·)表示用户与物品的相关程度；

θ_u表示用户在双曲空间H^d中的高阶特征嵌入；

θ_i表示用户对应的物品(正样本)i在双曲空间H^d中的高阶特征嵌入；正样本

θ_j表示用户不对应的物品(负样本)j在双曲空间H^d中的高阶特征嵌入。

其中用户与物品的相关程度采用洛伦兹距离公式来表示：

d_H(x,y)表示x,y的相关程度；

c表示曲率；

cosh^-1表示反三角函数计算；

<·,·>_L表示洛伦兹内积；

2知识增强模块：

知识图谱嵌入模型KGE在基于知识图谱的推荐系统里起着预训练的作用。TransE是KGE的一种处理方式，虽然得到了较为广泛地应用，但是它的基本思想满足了e_h+r≈e_t，很可能导致一个关系对应多个头实体或者尾实体，从而产生一对多，多对一，多对多的问题。其中e_h表示头实体的embedding，r表示关系实体，e_t表示尾实体的embedding。因此，为了解决这些问题，我们在知识图谱建模中使用TransH的方法训练知识图，知识图谱即知识图，用多个三元组表示。其核心思想就是为每一个三元组中的关系设置一个超参平面，对于一个三元组(h,r,t)，将头实体的嵌入和尾实体的嵌入投影到超参平面上，将投影设置为h⊥和t⊥，如果原三元组(h,r,t)是一个不完整的三元组，那么我们可以训练拥有相同投影的完整三元组，达到补全知识图谱的效果。此外，我们设置了评分函数

来评价补全后的三元组的合理性。

其中h⊥表示头实体的嵌入投影；

h表示初始头实体；

表示w在超参平面上的投影；

w_r表示超参平面法向量；

t⊥表示尾实体的嵌入投影；

t表示原始尾实体。

我们将公式(9)、(9)代入评分函数

得到KGE的评分函数为：

其中d_r表示关系向量；

表示二范数的平方；

由此，我们为了区分正确的三元组和残缺的三元组，我们使用了基于边距的排名来进行损失评估，为区分双曲边距值，我们用n表示欧式边距值：

经过KGE训练后的实体我们认为还会缺少特征性，我们在通过三元组实体的特征，捕获用户兴趣偏好这个思想上进一步深化，针对每个尾实体的潜在含义，从而找到合适的物品。因为在知识图谱中，当尾实体具有不同的关系实体和头实体时，尾实体潜在含义就变得非常有意义了。比如，《我不是药神》和《泰囧》这两部电影，这两部电影在主角和导演上都具有很高的相似性，如果以情感或者种类来进行分类，则二者又变得不太相似。为了合理地处理类似的问题，我们提出了利用感知图注意力网络嵌入的方法生成具有不同权重的尾实体，从而将尾实体的隐式含义尽可能地表示出来，获取不同头实体和关系实体的不同意义，从而提高对用户的推荐准确性。我们设计尾实体注意力网络，旨在于训练模型时目标更具有针对性，将实体信息进行聚合，从而提升尾实体的特征。每一个实体都会存在一个权重，这个权重是随机生成的。通过训练得到的尾实体也会存在一个权重，这个权重会根据得到的实体进一步进行随机生成的，生成方式和生成原始实体的权重同理。

首先，我们将补全后的知识图谱三元组(h,r,t)进行处理，我们先构建一个尾实体的注意力a_i，其表示为：

其中，

表示第i个头实体的嵌入；

r_i表示关系的嵌入；

表示尾实体的嵌入；

∏(·)表示头实体和关系的一种感知注意力潜在属性权重，我们这里使用了ReLU函数和Sigmoid函数，同时我们设计的注意力网络具有四层神经网络结构，前三层为Relu函数：

其中σ表示Sigmoid函数；

W₁设置为通过注意力网络的权重矩阵；

W₀()表示可训练的注意力权重矩阵；

表示头实体/>

与关系实体r_i之间的串联操作；

||为串联操作；δ是合理存在的偏差常数，δ随着下标不同而表示为不同层数的常数。

然后进行缩放操作，将KGE训练后的实体embedding经过三层激活函数ReLU后，再将得到的结果进行Sigmoid：

表示头实体和关系的一种感知注意力潜在属性权重；

为了更好地实现知识关联获取，解决关注哪一个相邻尾实体的问题，我们设置了一个关注函数A_l，满足(h′,r′,t′)∈A_l，l表示第几层的三元组数据。

由于初始实体集中的实体表征是类似于特征项，所以用户与物品应该具有很强的联系，我们将得到的关系实体和头实体进行联合加权操作，将感知特征项提取出来，得到尾实体：

表示尾实体的嵌入；

r_i表示关系实体；

表示头实体的嵌入；

在感知注意力嵌入之后，我们将加权注意力的尾实体表示为对象实体

我们设计了l个基于对象实体的知识感知表示集合，用e_l表示：

其中

表示第l个基于对象实体的知识感知表示。

3特征联合模块：

我们的算法将推荐系统和知识图谱建模作为两个独立但相关的任务，为了提高二者之间的高阶交互性，我们设置了一个特征联合模块。经过训练后的各个特征相对比较完善，但实体向量e_l和物品向量v_l是对同一类别对象的两种不同的解释，所以他们之间的数据联合共享可以让双方获得来自另一方的额外特征数据，从而弥补了自身的数据稀疏性的不足。首先我们为实体向量e_l和物品向量v_l构建它们的潜在特征矩阵C_l：

C_l表示l层特征联合矩阵，C_l∈R^d*d；

v_l表示第l个物品嵌入(物品向量)，v_l∈R^d；

·^T表示矩阵的转置；

e_l表示经过知识增强训练的实体向量，e_l∈R^d；

d是维度。

我们将实体向量e_l和物品向量v_l通过concat操作进行合并，使得物品item与关联实体entity都共同具有了二者的特征。然后将得到的特征矩阵映射到潜在的向量空间中，并输出下一层的特征矩阵。先构造一个训练权重w_l∈R^d和拟合向量μ_l∈R^d，训练权重w_l的作用是压缩特征矩阵的维度，以便于下一步操作：

其中v_l+1表示第l+1个物品嵌入；

·^T表示矩阵的转置；

w_l ^VV表示第l次训练时两个物品实体对应的权重；

w_l ^VE表示第l次训练时物品实体与用户实体对应的权重；

表示偏差；

w_l ^EE表示第l次训练时两个用户实体对应的权重；

最后，将最后一次训练迭代得到的v_l+1作为输出结果[v]，[v]表示应该给用户推荐的物品。值得注意的是，特征联合模块是为了尽可能地将项目item与关联实体entity的特征进行交互学习。

4损失函数设置

我们将分别对推荐模块和知识图谱建模模块进行损失函数的搭建，其中推荐模块的损失函数设置，以双曲损失函数L_H为主；知识图谱建模模块的损失函数设置，我们以KGE的损失作为KG的损失。

本文提到的损失函数公式如下所示：

第一项L_H表示推荐模块的损失函数；第二项L_KGE表示KGE模块中的损失。

其中λ₁、λ₂是平衡参数，用于调整各损失函数的值域；

u,v表示用户集合和项目集合；

σ(·)函数表示非线性激活函数Sigmoid；

(h,r,t)表示初始三元组；

(h′,r′,t′)表示训练后的三元组；

G表示知识图谱；

ε是正则化项。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种双曲空间下知识增强的多任务推荐方法，其特征在于，包括以下步骤：

S1，将实体映射到双曲空间中，充分捕获实体的非欧特征，得到用户嵌入和物品嵌入；

S2，将知识图谱中的三元组信息进行训练，得到基于对象实体的知识感知表示；

S3，将所述物品嵌入和知识增强训练的实体向量进行联合交替训练，所述知识增强训练的实体向量包括多个知识感知表示，使得实体之间能够共享特征信息，并且训练按照得到的用户信息为用户的具体偏好继续训练，得到满足用户偏好的物品实体。

2.根据权利要求1所述的一种双曲空间下知识增强的多任务推荐方法，其特征在于，S1包括以下步骤：

S1-1，在欧氏空间中取得最原始的用户和物品表示；

S1-2，使用洛伦兹表示法表示用户和物品的嵌入：

首先我们固定原点o，o为双曲空间中任意一点；将原点o作为参考点，在原点o的切线空间τ_oH^d上进行高斯分布采样，得到了用户和物品在切线空间上的初始化嵌入：

θ′_u,θ′_i～N(0,σI_d×d) (1)

其中θ′_u表示用户在切线空间上的初始化嵌入；

θ′_i表示物品在切线空间上的初始化嵌入；

θ′_u,θ′_i～N(0,σI_d×d)表示θ′_u,θ′_i服从于正态分布，期望为0，方差为σI_d×d；

σ表示标准差；

I_d×d表示物品集合；

然后将得到的初始化特征矩阵进行适应性阔列：θ″_u＝[0；θ′_u]；θ″_i＝[0；θ′_i]，得到嵌入矩阵θ″_u,θ″_i∈τ_oH^d，[；]表示连接操作；

再将嵌入矩阵θ″_u,θ″_i通过指数映射操作映射到双曲空间中，指数映射操作如下：

其中k超参数为超参数，k＝-1/c，c表示曲率；

由此，得到了用户和物品在双曲空间H^d中的高阶特征嵌入：

θ_u＝exp_o(θ″_u)；θ_i＝exp_o(θ″_i) (3)

其中θ_u表示用户在双曲空间H^d中的高阶特征嵌入；

θ_i表示物品在双曲空间H^d中的高阶特征嵌入；

θ″_u表示用户的嵌入矩阵；

θ″_u表示物品的嵌入矩阵；

最后在双曲空间中将所有用户所对应的特征物品进行对数映射，得到用户-物品特征嵌入：

e_u＝log_o(θ_u)

e_i＝log_o(θ_i) (5)

其中，arcosh()表示反双曲函数；

<·,·>表示内积；

<·,·>_L表示洛伦兹内积；

x为切线空间上任意一点；

k表示负曲率常数；

|| ||_L表示L范数；

e_u表示用户特征嵌入；

e_i表示物品特征嵌入；

log_o()表示以点o进行对数运算，将双曲空间中的embedding映射到欧式空间；

O是经过映射之后的原点。

3.根据权利要求1所述的一种双曲空间下知识增强的多任务推荐方法，其特征在于，还包括：双曲损失函数可以被定义为：

L_H＝max(d_H(θ_u,θ_i)-d_H(θ_u,θ_j)+m,0) (6)

其中d_H(·,·)表示用户与物品的相关程度；

θ_u表示用户在双曲空间H^d中的高阶特征嵌入；

θ_i表示用户对应的物品i在双曲空间H^d中的高阶特征嵌入；

θ_j表示用户不对应的物品j在双曲空间H^d中的高阶特征嵌入。

4.根据权利要求1所述的一种双曲空间下知识增强的多任务推荐方法，其特征在于，S2包括以下步骤：

S2-1，采用KGE训练知识图，训练后得到实体embedding；所述知识图由若干三元组信息组成；

S2-2，利用感知图注意力网络嵌入的方法生成具有不同权重的尾实体，从而将尾实体的隐式含义表示出来，获取不同头实体和关系实体的不同意义；所述注意力网络具有四层神经网络结构，前三层为Relu函数。

5.根据权利要求4所述的一种双曲空间下知识增强的多任务推荐方法，其特征在于，若所述KGE为TransH，则S2-1包括以下步骤：

S2-1-1，对每一个三元组将头实体的嵌入和尾实体的嵌入投影到超参平面上，投影设置为h⊥和t⊥：

其中h⊥表示头实体的嵌入投影；

h表示初始头实体；

表示w在超参平面上的投影；

w_r表示超参平面法向量；

t⊥表示尾实体的嵌入投影；

t表示原始尾实体；

S2-1-2，若为不完整三元组，则利用相同投影的完整三元组进行补全；

S2-1-3，训练后得到实体embedding，预处理完成。

6.根据权利要求5所述的一种双曲空间下知识增强的多任务推荐方法，其特征在于，还包括：采用评分函数评价补全后的三元组的合理性，所述评分函数为：

其中d_r表示关系向量；

表示二范数的平方。

7.根据权利要求5所述的一种双曲空间下知识增强的多任务推荐方法，其特征在于，还包括损失函数：

其中Max表示取最大值；

d_r表示关系向量；

表示二范数的平方。

8.根据权利要求4所述的一种双曲空间下知识增强的多任务推荐方法，其特征在于，S2-2包括以下步骤：

首先，构建知识图谱三元组(h,r,t)中尾实体的注意力a_i，表示为：

其中∏(·)表示头实体和关系的一种感知注意力潜在属性权重；

然后进行缩放操作：将KGE训练后的实体embedding经过三层激活函数ReLU后，再将得到的结果进行Sigmoid：

表示头实体和关系的一种感知注意力潜在属性权重；

再将得到的关系实体和头实体进行联合加权操作，将感知特征项提取出来，得到尾实体：

表示尾实体的嵌入；

r_i表示关系实体；

表示头实体的嵌入；

在感知注意力嵌入之后，将加权注意力的尾实体表示为对象实体

并采用l个基于对象实体的知识感知表示集合，用e_l表示：

其中

表示第l个基于对象实体的知识感知表示。

9.根据权利要求1所述的一种双曲空间下知识增强的多任务推荐方法，其特征在于，S3包括以下步骤：

将实体向量e_l和物品嵌入v_l通过concat操作进行合并得到的特征矩阵，然后将得到的特征矩阵映射到潜在的向量空间中，并输出下一层的特征矩阵；

先构造一个训练权重w_l∈R^d和拟合向量μ_l∈R^d，其中训练权重w_l的作用压缩特征矩阵的维度，从而得到l+1次训练的物品嵌入和实体向量：

其中v_l+1表示第l+1个物品嵌入；

·^T表示矩阵的转置；

w_l ^VV表示第l次训练时两个物品实体对应的权重；

w_l ^VE表示第l次训练时物品实体与用户实体对应的权重；

表示偏差；

w_l ^EE表示第l次训练时两个用户实体对应的权重；

最后，将最后一次训练迭代得到的v_l+1作为输出结果[v]，[v]表示应该给用户推荐的物品；

所述潜在特征矩阵C_l通过以下方式构建：

C_l表示l层特征联合矩阵，C_l∈R^d*d；

v_l表示第l个物品嵌入，v_l∈R^d；

·^T表示矩阵的转置；

e_l表示经过知识增强训练的实体向量，e_l∈R^d；

d是维度。

10.根据权利要求1所述的一种双曲空间下知识增强的多任务推荐方法，其特征在于，还包括损失函数：

其中L_H表示推荐模块的损失函数；

L_KGE表示KGE模块中的损失；

λ₁、λ₂是平衡参数，用于调整各损失函数的值域；

u,v表示用户集合和项目集合；

σ(·)函数表示非线性激活函数Sigmoid；

(h,r,t)表示初始三元组；

(h′,r′,t′)表示训练后的三元组；

G表示知识图谱；

ε是正则化项。

Images