CN111737592B - 一种基于异构传播协同知识感知网络的推荐方法 - Google Patents

Abstract

本发明提出一种基于异构传播协同知识感知网络的推荐方法，通过协同传播对用户和物品间协同信号进行显式编码，并提出了一种将协同信号与知识关联组合在一起的方法。具体而言，采用异构传播策略来显式编码两种信息，并应用知识感知注意力机制来区分不同基于知识的邻居的贡献，提供了一种将协同信息与知识信息结合在一起的新方法。

Description

一种基于异构传播协同知识感知网络的推荐方法

技术领域

本发明属于个性化推荐技术领域，更为具体地讲，涉及一种基于异构传播协同知识感知网络的推荐方法。

背景技术

基于协同过滤的推荐系统通常存在着数据稀疏性和冷启动问题，有效解决上述问题的方式是引入辅助信息。知识图谱作为一种知识辅助信息在推荐系统中被广泛研究和应用。现有的基于知识图谱的推荐方法主要集中在如何有效地编码知识图谱中的知识关联上，却忽略了潜在于用户-物品交互信息中的协同信号。

目前将协同信号与知识联系相结合的推荐方法是将用户-物品的交互图和知识图谱进行结合，形成协同知识图谱，再利用协同知识图谱学习用户和物品的隐向量表示从而进行推荐。但这种做法有三个问题：

1、将用户视为与实体相同的节点，这对新用户非常不友好，一旦有新用户加入，需要重新构建和训练整个图。

2、该方法假设用户-物品图中的高阶交互与知识图谱中的高阶关联为相同权重，但实际上二者处于不同的向量空间，应该赋予不同的表示。

3、该方法在构建用户-物品的高阶交互时往往会带来更多的噪声，导致隐向量的学习不够高效。

发明内容

针对以上问题，本发明提出了一种基于异构传播协同知识感知网络的推荐方法，利用构建了异构传播的协同知识感知网络的模型，该模型显式编码了协同信号，并将信号无缝结合到高阶的知识联系中。该系统利用一种异构传播结构，包括协同传播和知识图谱传播，将用户-物品交互信息和知识信息放在两个不同维度空间，并以更自然的方式进行组合。这样可以充分利用用户-物品的交互信息和高阶的知识图谱信息，提升推荐效果。

本发明的技术方案为：一种基于异构传播协同知识感知网络的推荐方法，首先构建异构传播的协同知识感知网络结构的模型，包括如下步骤：

步骤1、数据分析：在数据分析整理阶段，将所有的历史交互数据进行划分，用于建模、验证、测试；

步骤2、行为建模：对于用户，根据历史交互数据，找出和用户有过交互的所有物品，将物品对应到知识图谱中的实体，构成表示用户的实体集合；所述历史交互数据包括用户的购买记录、点击记录；

步骤3、协同信息：对于物品，根据历史数据，寻找到所有与该物品有历史交互的用户，构成历史用户集合；对于用户集合中的每一个用户，找到其交互过的物品；所有用户交互过的物品对应到知识图谱中的实体，构成表示物品的实体集合；步骤、知识游走：对于表示用户/物品的初始实体集合，沿着知识图谱层级结构进行传播而不断得到新的实体集；

步骤5、利用注意力机制的嵌入方法，每一层的实体集合输出一个隐向量；

步骤6、向量表示：对于用户/物品，保留初始实体集合的嵌入向量，计算初始的嵌入向量；

步骤7、嵌入集合：为了保留所有的信息，汇集用户的嵌入向量，得到向量集合；

步骤8、向量聚合：聚合所有的向量，得到用户/物品最终的向量表示结果；

步骤9、预测结果：计算用户向量和物品向量的点积，该结果就是预测用户与物品产生交互的概率；

步骤10、损失迭代：使用函数计算模型对于单个用户推荐效果的损失，拟合训练数据中的实际交互数据；

步骤11、召回计算：将模型训练好之后，计算测试集中的测试用户和测试物品的交互概率，检验推荐模型的效果；对于经过训练的用户和物品，按照预测交互概率从大到小进行排序，输出排名靠前的物品。

进一步的，步骤2和步骤3还包括：

协同信号传播：提出利用用户的历史交互信息作为用户显式编码的协同信号，利用物品的协同物品信息作为物品显式编码的协同信号；

知识种子获取：以协同信号为知识图谱中的游走种子的关联集合，寻找其对应的知识图谱中的实体种子集合，该集合即为知识种子。

进一步的，步骤4还包括：

知识关联传播：利用知识种子进行游走传播，显式编码知识关联信息；

进一步的，步骤5-8还包括：

异构信息结合：将协同信号传播得到的协同信息和知识关联传播得到的知识信息两种异构信息进行结合来共同表示用户和物品。

进一步的，构建异构传播的协同知识感知网络的模型，包括：

异构传播层，异构传播层包括两个模块：协同传播模块和知识图谱传播模块，协同传播模块用于将关键协同信号显式编码为用户和物品的表示，而知识图谱传播模块沿图谱中的链接传播知识关联，递归地扩展用户和项目的表示；

知识感知的注意力嵌入层，知识图谱中的尾节点在具有不同的头节点和关系时需要赋予不同的权重，知识感知的注意力嵌入层产生尾节点的注意力权重，以揭示它在获得不同的头实体和关系时所具有的不同含义；

预测层，不同层中的表示强调不同的高阶连接性和首选项相似性，实现了三种类型的聚合器，将多种表示形式聚合为用户和物品的单个向量，并利用向量进行预测。

有益效果：

本发明的技术优点在于通过显式地编码用户和物品的交互协同信号，并且利用知识感知注意力机制区分了知识图谱中相连的不同实体对于推荐效果的贡献，充分利用了用户和物品的交互信息以及知识图谱中的知识信息。在召回率、AUC等推荐系统指标中，取得了比当前最新的方法更好的匹配推荐效果。

附图说明

图1是本发明系统中的异构传播协同知识感知网络的模型结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。

图1是本发明系统中的异构传播协同知识感知网络的模型结构图。本发明基于异构传播协同知识感知网络进行推荐的方法，包括以下步骤：

步骤1：在数据分析整理阶段，将所有的历史交互数据按照6:2:2的比例进行划分，60％的数据用于建模，20％的数据用于验证，20％的数据用于测试推荐效果。

步骤2：对于用户，根据用户的购买记录、点击记录等历史交互数据，找出和用户有过交互的所有物品，构成表示用户的初始实体集合：

其中，使用u表示用户，v表示物品，e表示知识图谱中的实体，

表示从物品到知识图谱中的实体的映射，y_uv＝1表示用户与物品存在历史交互。

步骤3：对于物品v，根据历史数据，寻找到所有与该物品有历史交互的用户，构成历史用户集合，之后对于历史用户集合里的每一个用户，找到该用户对应的历史交互物品，构成物品v的协同物品集合：

其中v_u表示用户u交互过的物品。

将步骤3得到的物品集合中的物品与知识图谱中实体进行对齐，得到新的能够表示物品v的初始实体集合：

步骤4：对于表示用户/物品的初始实体集合，沿着知识图谱层级结构进行传播而不断得到新的实体集。l表示传播层数，根据l-1层的实体集合，得到l层结果：

使用

表示知识图谱，(h，r，t)表示知识图谱中的一个三元组，h是头结点，r是关系，t是尾结点。

表示用户或者物品经过第l层传播得到的实体集合，L表示在知识图谱上最远的传播距离，o代表u或v。

为了捕获知识图谱中包含的信息，取出所有以实体集合中的实体作为头结点的三元组集合。

步骤5：通过利用了注意力机制的嵌入方法，每一层的实体集合会输出一个隐向量，下面进行具体说明。

以通过l层传播得到的三元组集合

中的第i个三元组(h，r，t)为例。首先经过一个三层的神经网络计算出该三元组对应的注意力权重：

上式中，

r_i分别表示头结点，关系的嵌入向量，ReLU(x)表示函数max(0，x)，W₀，W₁，W₂分别表示第1，2，3层神经网络可训练权重参数，b₀，b₀，b₀表示第1，2，3层神经网络可训练偏差参数，σ(x)表示函数

||表示向量连接操作。

之后利用下式对注意力权重进行归一化：

其中exp(x)＝e^x，h′，r′，t′表示同一三元组集合下的所有三元组中的头结点，关系和尾节点。

利用下式得到三元组(h，r，t)对应的注意力嵌入：

其中

表示尾节点。

最后计算通过l层传播得到的三元组集合

总体的嵌入向量：

步骤6：对于用户/物品，保留初始实体集合的嵌入向量，利用下式计算初始的嵌入向量：

步骤7：为了保留所有的信息，汇集用户的嵌入向量，得到向量集合：

特别地，由于物品在知识图谱中拥有直接相连的实体，这些实体与物品具有很强的联系，因此利用下式得到这部分实体集合的嵌入向量：

类似地，通过下面的公式得到表示物品的向量集合：

步骤8：为了最终实现对于推荐结果的预测，使用下面的公式聚合所有的向量，得到用户/物品最终的向量表示结果：

上式中，

步骤4中已提到o代表u或v，

即

即表示用户/物品的向量集合W_a表示神经网络可训练权重参数，b_a表示神经网络可训练偏差参数，n代表聚合的最大层数。

步骤9：计算用户向量和物品向量的点积，该结果就是预测用户与物品产生交互的概率：

步骤10：为了能够拟合训练数据中的实际交互数据，使用下面的函数计算模型对于单个用户推荐效果的损失：

其中

表示交叉熵损失函数，

表示有交互关系的用户-物品对，即正样本，

表示没有交互关系的用户-物品对，即负样本。

之后计算在所有用户上的损失，利用L2正则项防止过拟合：

其中λ是预定义的超参数，Θ为参数空间，包含所有参数。

步骤11：将模型训练好之后，经过步骤S9，计算测试集中的测试用户和测试物品的交互概率，检验推荐模型的效果。对于经过训练的用户和物品，按照预测交互概率从大到小进行排序，输出排名靠前的物品。

本申请提供的一种端到端的异构传播协同知识感知网络模型，在用户的历史交互数据基础上，自然地结合推荐物品领域的知识图谱增强了推荐效果。在本申请中通过使用异构传播机制显式地编码用户和物品的交互协同信号，并且利用知识感知注意力机制区分了知识图谱中相连的不同实体对于推荐效果的贡献，最终实现了较好的推荐效果。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于异构传播协同知识感知网络的推荐方法，首先构建异构传播的协同知识感知网络结构的模型，其特征在于，包括如下步骤：

步骤1、数据分析：在数据分析整理阶段，将所有的历史交互数据进行划分，用于建模、验证、测试；

步骤2、行为建模：对于用户，根据历史交互数据，找出和用户有过交互的所有物品，将物品对应到知识图谱中的实体，构成表示用户的实体集合；所述历史交互数据包括用户的购买记录、点击记录；

步骤3、协同信息：对于物品，根据历史数据，寻找到所有与该物品有历史交互的用户，构成历史用户集合；对于用户集合中的每一个用户，找到其交互过的物品；所有用户交互过的物品对应到知识图谱中的实体，构成表示物品的实体集合；

步骤4、知识游走：对于表示用户/物品的初始实体集合，沿着知识图谱层级结构进行传播而不断得到新的实体集；

步骤5、利用注意力机制的嵌入方法，每一层的实体集合输出一个隐向量；具体包括：

对通过l层传播得到的三元组集合

中的第i个三元组(h,r,t)为，首先经过一个三层的神经网络计算出该三元组对应的注意力权重，之后对注意力权重进行归一化，并计算得到三元组(h,r,t)对应的注意力嵌入，最后计算通过l层传播得到的三元组集合

总体的嵌入向量：

步骤6、向量表示：对于用户/物品，保留初始实体集合的嵌入向量，计算初始的嵌入向量；

步骤7、嵌入集合：为了保留所有的信息，汇集用户的嵌入向量，得到向量集合；

步骤8、向量聚合：聚合所有的向量，得到用户/物品最终的向量表示结果；

步骤9、预测结果：计算用户向量和物品向量的点积，该结果就是预测用户与物品产生交互的概率；

步骤10、损失迭代：使用函数计算模型对于单个用户推荐效果的损失，拟合训练数据中的实际交互数据；

步骤11、召回计算：将模型训练好之后，计算测试集中的测试用户和测试物品的交互概率，检验推荐模型的效果；对于经过训练的用户和物品，按照预测交互概率从大到小进行排序，输出排名靠前的物品；

步骤2和步骤3还包括：

协同信号传播：提出利用用户的历史交互信息作为用户显式编码的协同信号，利用物品的协同物品信息作为物品显式编码的协同信号；

知识种子获取：以协同信号为知识图谱中的游走种子的关联集合，寻找其对应的知识图谱中的实体种子集合，该集合即为知识种子。

2.根据权利要求1所述的一种基于异构传播协同知识感知网络的推荐方法，同时利用协同信号和知识关联的异构传播表示策略，其特征在于，步骤4还包括：

知识关联传播：利用知识种子进行游走传播，显式编码知识关联信息。

3.根据权利要求1所述的一种基于异构传播协同知识感知网络的推荐方法，同时利用协同信号和知识关联的异构传播表示策略，其特征在于，步骤5-8还包括：

异构信息结合：将协同信号传播得到的协同信息和知识关联传播得到的知识信息两种异构信息进行结合来共同表示用户和物品。

4.根据权利要求1所述的一种基于异构传播协同知识感知网络的推荐方法，其特征在于，构建异构传播的协同知识感知网络的模型，包括：

异构传播层，异构传播层包括两个模块：协同传播模块和知识图谱传播模块，协同传播模块用于将关键协同信号显式编码为用户和物品的表示，而知识图谱传播模块沿图谱中的链接传播知识关联，递归地扩展用户和项目的表示；

知识感知的注意力嵌入层，知识图谱中的尾节点在具有不同的头节点和关系时需要赋予不同的权重，知识感知的注意力嵌入层产生尾节点的注意力权重，以揭示它在获得不同的头实体和关系时所具有的不同含义；

预测层，不同层中的表示强调不同的高阶连接性和首选项相似性，实现了三种类型的聚合器，将多种表示形式聚合为用户和物品的单个向量，并利用向量进行预测。

Images