CN112488791A - 一种基于知识图谱卷积算法的个性化推荐方法 - Google Patents

一种基于知识图谱卷积算法的个性化推荐方法 Download PDF

Info

Publication number
CN112488791A
CN112488791A CN202011385310.1A CN202011385310A CN112488791A CN 112488791 A CN112488791 A CN 112488791A CN 202011385310 A CN202011385310 A CN 202011385310A CN 112488791 A CN112488791 A CN 112488791A
Authority
CN
China
Prior art keywords
entity
vector
receptive field
hop
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011385310.1A
Other languages
English (en)
Inventor
张海龙
颜金尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN202011385310.1A priority Critical patent/CN112488791A/zh
Publication of CN112488791A publication Critical patent/CN112488791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Abstract

一种基于知识图谱卷积算法的个性化推荐方法属于混合推荐系统领域；该方法首先构建每个物品在领域知识图谱中的1至d跳实体感受野集合，以图卷积算法聚合d至1跳感受野实体的嵌入向量，计算出含有高阶邻居信息的物品嵌入向量；聚合过程中在图卷积算法的基础上使用知识图谱表示学习模型DistMult以及表示用户兴趣分布的注意力机制提高嵌入向量表达能力；借鉴矩阵分解模型，将迭代生成的高阶物品嵌入向量与用户嵌入向量进行乘积，并使用Sigmoid函数输出预测的交互概率；使用最大后验概率估计推理出混合用户‑物品交互矩阵损失函数和知识图谱表示学习损失函数的联合损失函数。本发明丰富了物品嵌入向量的高阶特征表示，增强了实体及关系嵌入向量的表达准确性。

Description

一种基于知识图谱卷积算法的个性化推荐方法
技术领域
本发明属于混合推荐系统领域，尤其涉及一种基于知识图谱卷积算法的个性化推荐模型。
背景技术
近年来科学技术尤其是互联网的蓬勃发展使人类社会开始面临严重的“信息过载”问题，如何在有限的互联网页面更有效的显示最能够吸引用户的内容成为各大技术公司竞相追逐的热点。这一过程中，各种推荐算法获得了长足的发展。推荐算法意图对于给定的用户物品对，首先估算用户可能与此物品发生交互的得分，然后基于得分高低将物品排序，并最终将TopN的物品推荐给用户。经典的协同过滤推荐算法尝试对用户的兴趣特征和物品的属性特征进行联合建模，并通过向量运算估算出交互概率。更早的基于内容的推荐算法则简单的考虑物品在内容上的相似性，并通过历史行为记录给用户推荐相似的物品。以上算法存在可解释性较差、冷启动、精确度不足等问题。而混合推荐算法则通过综合多种推荐算法的优良性，具有更好的推荐效果。比如融合协同过滤与知识图谱表示学习的推荐算法和融合矩阵分解与循环神经网络的推荐模型。其中，由于知识图谱包含用户和物品的丰富信息，基于知识图谱的推荐受到了越来越多的关注。这类算法主要分为两种，一种是通过元路径方法计算知识图谱中的物品相似性，另一种是使用知识图谱表示学习模型自动获得实体及关系的语义嵌入。元路径法严重依赖于人工选择的元路径特性，而表示学习模型虽然克服了这一缺点，但其学习到的表示向量只适合在知识图谱内部进行推理计算，缺少用户兴趣特征的融入。
近年来，随着非欧几里得空间数据——图数据的大量增长，适合对其进行建模的图卷积神经网络模型吸引了大量的关注。其在挖掘有效拓扑信息、处理异质数据、提取关键复杂特征方面具有较好的可靠性。知识图谱属于一种典型的图数据。目前，基于知识图谱的图卷积神经网络推荐模型主要通过聚合邻域信息对实体进行建模，但在聚合方式上处理的过于简单，使得实体及关系的向量表示不够精确，推荐效果有待提高。
发明内容
本发明针对目前基于知识图谱的图卷积神经网络模型在聚合邻域信息时处理过于简单，实体及关系的向量表示不够精确的问题，提出一种基于知识图谱表示学习与图卷积算法进行信息聚合的个性化精准推荐方法。该方法在聚合邻域信息时先通过知识图谱表示学习模型DistMult进行了严格的关系推理，然后使用注意力机制计算所得推理嵌入向量的加权和，可以提高实体及关系嵌入表示的准确性，进而改善推荐结果的准确性与可解释性。
本发明采用的技术方案如下：
一种基于知识图谱卷积算法的个性化推荐方法，该方法通过聚合物品实体嵌入向量在领域知识图谱中的多跳感受野信息从而学习其高阶特征表示；首先构建每个物品在领域知识图谱中的1至d跳实体感受野集合，然后以图卷积算法聚合d至1跳感受野实体的嵌入向量，最终计算出含有高阶邻居信息的物品嵌入向量；聚合过程中在图卷积算法的基础上使用知识图谱表示学习模型DistMult以及表示用户兴趣分布的注意力机制提高嵌入向量表达能力；方法借鉴矩阵分解模型，将迭代生成的高阶物品嵌入向量与用户嵌入向量进行乘积，并使用Sigmoid函数输出预测的交互概率；方法基于贝叶斯公式，使用最大后验概率估计推理出混合用户-物品交互矩阵损失函数和知识图谱表示学习损失函数的联合损失函数，并使用Adam算法进行优化；方法在构建训练数据时使用了负采样方法，并使用AUC与F1值评价性能。
进一步的，所述构建领域知识图谱的方法具体为：
(1)获取由三元组(头实体h，关系r，尾实体t)表示的通用知识图谱，并基于实体的标签属性过滤出本领域的子知识图谱；
(2)如果通用知识图谱不涵盖本领域知识，则使用命名实体识别及关系抽取技术基于本领域已经积累的数据资料构建领域知识图谱。
进一步的，所述生成物品实体v的1至d跳感受野的方法具体为：
(1)确定感受野深度d与某跳感受野集合的长度f，设感受野集合的第0跳感受野集合由候选物品v及其邻居实体集合t组成的三元组(h,r,t)构成。
(2)对于当前第c跳感受野集合，选择其所包含每一个实体h与直接邻居节点t形成的(h,r,t)三元组组成c+1跳感受野集合。如果c+1跳感受野集合长度大于f，就进行随机采样；如果小于f，就进行重复采样。
(3)取c+1跳感受野集合为新的当前感受野集合，重复步骤(2)，直到|c|+1＝d。
进一步的，所述以图卷积算法聚合物品实体v的d至1跳感受野表示向量，从而生成实体v的高阶嵌入向量的步骤具体为：
(1)对用户物品对<u,v>以及感受野集合中的三元组(h,r,t)，从物品实体v的最远d跳感受野实体t开始聚合，生成新的d-1跳感受野邻居实体嵌入向量hnew。
(2)设当前感受野集合是第c跳，则聚合过程中使用表示学习关系模型r·h＝t推理出新的c-1跳感受野实体嵌入向量hnew。
(3)在推理对应头实体嵌入hnew时，同时计算用户嵌入向量u与关系嵌入向量r的相似度s。
(4)计算用户u在本跳感受野集合中所有相似度s的归一化权重向量w。
(5)将推理出的每个头实体向量hnew与对应归一化权重w相乘并求和，生成新的聚合头实体嵌入向量hc。
(6)计算hc与原c-1跳感受野实体嵌入向量h之和，并将结果添加一层非线性激活函数，输出结果hagg最终作为新的c-1阶感受野嵌入向量tc-1。
(7)取新构建的c-1跳感受野中三元组(hc-1,r,tc-1)以及用户物品对<u,v>作为输入，迭代执行步骤2至步骤6共d-1次，取最后一次聚合生成的第0跳感受野的实体嵌入向量h0作为物品实体v的最终嵌入表示向量。
进一步的，所述方法基于知识图谱表示学习模型DistMult，以公式R·h＝t建模第c跳感受野三元组(h,r,t)中尾实体嵌入向量t与头实体嵌入向量h之间的表示关系，并基于逆矩阵运算推理出头实体向量h＝R-1·t，其中，h表示头实体嵌入向量，R表示三元组中的关系转换矩阵，R-1表示关系转换矩阵的逆矩阵，t表示尾实体嵌入向量。
进一步的，所述方法通过注意力机制区分用户对不同关系r的兴趣大小。注意力机制先计算用户嵌入向量u与关系嵌入向量r的相似度数值s＝uT·r，然后使用Softmax函数计算实体第c跳感受野中所有相似度的归一化权重。
进一步的，所述方法先计算用户嵌入向量u与新物品嵌入向量h0的内积，然后通过Sigmoid函数计算用户与物品交互的概率。
进一步的，所述方法生成训练数据时，对于有历史交互行为的用户物品对直接转换为正样本，并使用负采样法从没有与用户发生过交互的物品集合中筛选出和正样本同等数量的负样本。
进一步的，所述方法的训练目标是最大化如下的后验概率：
Figure BDA0002809491780000041
其中，p(θ)表示模型参数的先验概率，假设其服从均值为0，方差为对角矩阵的高斯分布；p(G|θ)表示给定模型参数θ时观察到的知识图谱G的似然；p(Y|θ，G)表示给定模型参数θ和知识图谱G时观察到的交互矩阵的似然。
进一步的，所述方法基于对数似然函数和pairwise排序模型推理出联合代价函数，并通过Adam算法进行模型参数优化更新。
Figure BDA0002809491780000042
上式第一项表示根据交互矩阵信息计算的总交叉熵损失，其保证模型在正样本上的损失较小，在负样本上的损失较大。其中U表示用户集合，
Figure BDA0002809491780000043
表示样本标签，
Figure BDA0002809491780000044
表示正样本集合，
Figure BDA0002809491780000045
表示样本预测值，
Figure BDA0002809491780000051
表示交叉熵损失，Tu表示负样本数量，即
Figure BDA0002809491780000052
vi～P(vi)表示负样本满足均匀分布。第二项保证表示学习模型ETRE的计算结果在正样本上接近于1，在负样本上接近于0。其中E表示实体的嵌入向量，R表示关系r的转换矩阵，r表示关系r的嵌入矩阵，Ir表示关系r的指示张量切片，λ3表示权重衰减系数。最后两项表示待学习参数的L2正则化项，其中W表示模型中的其它待学习参数，λ1、λ2分别表示权重衰减系数。
模型基于上述代价函数计算梯度，并通过Adam算法进行待学习参数的取值更新。
本发明的有益效果如下：
本发明采用图卷积算法由远及近的聚合知识图谱中实体的多跳感受野嵌入向量，丰富了物品的高阶嵌入特征表示；本发明使用知识图谱表示学习模型实体的邻接关系，使得实体及关系嵌入向量的语义结构信息更加准确；本发明基于注意力机制描绘用户对不同实体关系的兴趣分布，使得对用户的兴趣刻画更加精准，并增强了可解释性；本发明最终提升了推荐结果的准确性与可解释性，改善了冷启动问题。
附图说明
图1是本发明涉及的推荐流程示意图；
图2是本发明涉及的推荐方法训练流程图；
图3是本发明涉及的聚合全部d跳感受野嵌入向量的计算过程，其中白色方块表示物品实体v，ei[j]表示某一实体嵌入向量，j表示实体v的第j跳感受野，i表示实体ei[j]在实体v的第j跳感受野集合中的编号；
图4是本发明涉及的聚合物品的某跳感受野嵌入向量的计算过程。
具体实施方式
下面结合附图对本发明的技术方案作进一步详细描述。
如图1和图2所示，一种基于知识图谱卷积算法的个性化推荐方法，该方法通过聚合物品实体嵌入向量在领域知识图谱中的多跳感受野信息从而学习其高阶特征表示；方法首先构建每个物品在领域知识图谱中的1至d跳实体感受野集合，然后以图卷积算法聚合d至1跳感受野实体的嵌入向量，最终计算出含有高阶邻居信息的物品嵌入向量；聚合过程中在图卷积算法的基础上使用知识图谱表示学习模型DistMult以及表示用户兴趣分布的注意力机制提高嵌入向量表达能力；方法借鉴矩阵分解模型，将迭代生成的高阶物品嵌入向量与用户嵌入向量进行乘积，并使用Sigmoid函数输出预测的交互概率；方法基于贝叶斯公式，使用最大后验概率估计推理出混合用户-物品交互矩阵损失函数和知识图谱表示学习损失函数的联合损失函数，并使用Adam算法进行优化；方法在构建训练数据时使用了负采样方法，并使用AUC与F1值评价性能。
上述构建领域知识图谱的方法具体为：
(1)获取由三元组(头实体h，关系r，尾实体t)表示的通用知识图谱，并基于实体的标签属性过滤出本领域的子知识图谱。例如，对于开源的通用知识图谱Wikidata，通过过滤实体的instances of属性为film从而构建出电影知识图谱。
(2)如果通用知识图谱不涵盖本领域知识，则使用命名实体识别及关系抽取技术基于本领域已经积累的数据资料构建领域知识图谱。
上述生成物品实体1至d跳感受野的方法具体为：
(1)确定感受野深度d与某跳感受野集合的长度f，设感受野集合的第0跳感受野集合由候选物品v及其邻居实体集合t组成的三元组(h,r,t)构成。
(2)对于当前第c跳感受野集合，选择其所包含每一个实体h与直接邻居节点t形成的(h,r,t)三元组组成c+1跳感受野集合。如果c+1跳感受野集合长度大于f，就进行随机采样；如果小于f，就进行重复采样。
(3)取c+1跳感受野集合为新的当前感受野集合，重复步骤(2)，直到|c|+1＝d。
上述以图卷积算法聚合物品实体v的d至1跳感受野嵌入向量，从而生成实体v的高阶嵌入向量的步骤如图3所示：
S1、对用户物品对<u,v>以及感受野集合中的三元组(h,r,t)，从物品实体v的最远d跳感受野实体t开始聚合，生成新的d-1跳感受野邻居实体嵌入向量hnew。具体步骤如图4所示：
S2.1、对于c跳感受野三元组(h,r,t)，本方法通过知识图谱表示学习模型DistMult，以公式R·h＝t建模尾实体嵌入向量t与头实体嵌入向量h之间的表示关系，并基于逆矩阵运算推理出头实体向量h＝R-1·t，其中，h表示头实体嵌入向量，R表示三元组中的关系转换矩阵，R-1表示关系转换矩阵的逆矩阵，t表示尾实体嵌入向量；聚合过程先使用关系模型h＝R-1·t推理出新的d-1跳感受野实体嵌入向量hnew。
S2.2、在推理对应头实体嵌入hnew时，同时计算用户嵌入向量u与关系嵌入向量r的相似度数值s＝uT·r。
S2.3、基于注意力机制，使用Softmax函数计算实体第c跳感受野中所有相似度的归一化权重：
Figure BDA0002809491780000071
其中u表示用户嵌入向量，
Figure BDA0002809491780000072
表示实体对<v，vi>之间的关系嵌入向量，Nv(j)表示物品v的第j跳感受野集合的邻居尾实体集合。
S2.4、将推理出的每个头实体向量hnew与对应归一化权重w相乘并求和，生成新的聚合头实体嵌入向量hc：
Figure BDA0002809491780000073
其中
Figure BDA0002809491780000074
表示上文中的归一化权重w，Nh(c)表示物品v的第c跳感受野集合的邻居尾实体集合。
S2.5、计算hc与原c-1跳感受野实体嵌入向量h之和，并将结果添加一层非线性激活函数，输出结果hagg最终作为新的c-1阶感受野嵌入向量tc-1。
hagg＝σ(w1(hc+h)+b)
其中，hc表示各邻居尾实体嵌入向量的加权和，h表示物品v的原d-1阶嵌入向量，w1和b表示待学习的模型参数，σ表示非线性激活函数。
S3、取新构建的c-1跳感受野中三元组(hc-1,r,tc-1)以及用户物品对<u,v>作为输入，迭代执行步骤S2.1至S2.5共d-1次，取最后一次聚合生成的第0跳感受野的实体嵌入向量h0作为物品实体v的最终嵌入表示向量。
本发明最后通过计算用户嵌入向量u与新物品嵌入向量vu(h0)的内积，然后通过Sigmoid函数输出用户与物品交互的概率：
Figure BDA0002809491780000081
在生成训练样本时，考虑到方法预测的是用户物品对(u,v)交互的概率，故方法将有历史交互行为的用户物品对直接转换为正样本，并使用负采样法从没有与用户发生过交互的物品集合中筛选出和正样本同等数量的负样本。
基于以上建模过程，本发明优化目标是最大化如下的后验概率，其中θ表示本方法待学习的参数，G和Y分别表示已知的知识图谱信息与交互矩阵信息
max p(θ|G，Y)
基于贝叶斯公式，上式即为最大化如下等式：
Figure BDA0002809491780000082
其中，p(θ)表示模型参数的先验概率，假设其服从均值为0，方差为对角矩阵的高斯分布；p(G|θ)表示给定模型参数θ时观察到的知识图谱G的似然；p(Y|θ，G)表示给定模型参数θ和知识图谱G时观察到的交互矩阵的似然。将上式取负对数，并参考pairwise排序模型的代价函数，得出本方法的优化目标是最小化如下的对数似然联合代价函数。
Figure BDA0002809491780000091
上式第一项表示根据交互矩阵信息计算的总交叉熵损失，其保证模型在正样本上的损失较小，在负样本上的损失较大。其中U表示用户集合，
Figure BDA0002809491780000092
表示样本标签，
Figure BDA0002809491780000093
表示正样本集合，
Figure BDA0002809491780000094
表示样本预测值，
Figure BDA0002809491780000095
表示交叉熵损失，Tu表示负样本数量，即
Figure BDA0002809491780000096
vi～P(vi)表示负样本满足均匀分布。第二项保证表示学习模型ETRE的计算结果在正样本上接近于1，在负样本上接近于0。其中E表示实体的嵌入向量，R表示关系r的转换矩阵，r表示关系r的嵌入矩阵，Ir表示关系r的指示张量切片，λ3表示权重衰减系数。最后两项表示待学习参数的L2正则化项，其中W表示模型中的其它待学习参数，λ1、λ2分别表示权重衰减系数。
模型基于上述代价函数计算梯度，并通过Adam算法进行待学习参数的数值更新。
实验验证对比结果如下：
本发明方法和各种基准方法基于微软Satori知识图谱在MovieLens-20M数据集上的实验对比结果如表1所示。在AUC和F1-score指标上，本发明方法均取得了最好的效果。
表1：实验对比结果
模型 AUC F1-score
SVD 0.963 0.919
LibFM 0.959 0.906
RippleNet 0.968 0.912
KGCN-sum 0.978 0.932
This Model 0.982 0.940

Claims (9)

1.一种基于知识图谱卷积算法的个性化推荐方法，其特征在于，通过聚合物品实体嵌入向量在领域知识图谱中的多跳感受野信息从而学习其高阶特征表示；首先构建每个物品在领域知识图谱中的1至d跳实体感受野集合，然后以图卷积算法聚合d至1跳感受野实体的嵌入向量，最终计算出含有高阶邻居信息的物品嵌入向量；聚合过程中在图卷积算法的基础上使用知识图谱表示学习模型DistMult以及表示用户兴趣分布的注意力机制提高嵌入向量表达能力；借鉴矩阵分解模型，将迭代生成的高阶物品嵌入向量与用户嵌入向量进行乘积，并使用Sigmoid函数输出预测的交互概率；基于贝叶斯公式，使用最大后验概率估计推理出混合用户-物品交互矩阵损失函数和知识图谱表示学习损失函数的联合损失函数。
2.根据权利要求1所述的方法，其特征在于，所述构建领域知识图谱的方法具体为：
(1)获取由三元组(头实体h，关系r，尾实体t)表示的通用知识图谱，并基于实体的标签属性过滤出本领域的子知识图谱；
(2)如果通用知识图谱不涵盖本领域知识，则使用命名实体识别及关系抽取技术基于本领域已经积累的数据资料构建领域知识图谱。
3.根据权利要求1所述的方法，其特征在于，所述生成物品实体v的1至d跳感受野的方法具体为：
(1)确定感受野深度d与某跳感受野集合的长度f，设感受野集合的第0跳感受野集合由候选物品v及其邻居实体集合t组成的三元组(h，r，t)构成；
(2)对于当前第c跳感受野集合，选择其所包含每一个实体h与直接邻居节点t形成的(h，r，t)三元组组成c+1跳感受野集合；如果c+1跳感受野集合长度大于f，就进行随机采样；如果小于f，就进行重复采样；
(3)取c+1跳感受野集合为新的当前感受野集合，重复步骤(2)，直到|c|+1＝d。
4.根据权利要求1所述的方法，对比现有方法，其特征在于，所述以图卷积算法聚合物品实体v的d至1跳感受野嵌入向量，从而生成实体v的高阶嵌入向量的步骤具体为：
(1)对用户物品对<u，v>以及感受野集合中的三元组(h，r，t)，从物品实体v的最远d跳感受野实体t开始聚合，生成新的d-1跳感受野邻居实体嵌入向量hnew；
(2)设当前感受野集合是第c跳，则聚合过程中使用表示学习关系模型r·h＝t推理出新的c-1跳感受野实体嵌入向量hnew；
(3)在推理对应头实体嵌入hnew时，同时计算用户嵌入向量u与关系嵌入向量r的相似度s；
(4)计算用户u在本跳感受野集合中所有相似度s的归一化权重向量w；
(5)将推理出的每个头实体向量hnew与对应归一化权重w相乘并求和，生成新的聚合头实体嵌入向量hc；
(6)计算hc与原c-1跳感受野实体嵌入向量h之和，并将结果添加一层非线性激活函数，输出结果hagg最终作为新的c-1阶感受野嵌入向量tc-1；
(7)取新构建的c-1跳感受野中三元组(hc-1，r，tc-1)以及用户物品对<u，v>作为输入，迭代执行步骤2至步骤6共d-1次，取最后一次聚合生成的第0跳感受野的实体嵌入向量h0作为物品实体v的最终嵌入表示向量。
5.根据权利要求1所述的方法，其特征在于，对于c跳感受野三元组(h，r，t)，基于知识图谱表示学习模型DistMult，以公式R·h＝t建模尾实体嵌入向量t与头实体嵌入向量h之间的表示关系，并基于逆矩阵运算推理出头实体向量h＝R-1·t，其中，h表示头实体嵌入向量，R表示三元组中的关系转换矩阵，R-1表示关系转换矩阵的逆矩阵，t表示尾实体嵌入向量。
6.根据权利要求1所述的方法，其特征在于，通过注意力机制区分用户对不同关系r的兴趣大小；注意力机制先计算用户嵌入向量u与关系嵌入向量r的相似度数值s＝uT·r，然后使用Softmax函数计算实体第c跳感受野中所有相似度的归一化权重。
7.根据权利要求1所述的方法，其特征在于，方法先计算用户嵌入向量u与新物品嵌入向量h0的内积，然后通过Sigmoid函数计算用户与物品交互的概率。
8.根据权利要求1所述的方法，其特征在于，方法生成训练数据时，对于有历史交互行为的用户物品对直接转换为正样本，并使用负采样法从没有与用户发生过交互的物品集合中筛选出和正样本同等数量的负样本。
9.根据权利要求1所述的方法，其特征在于，基于对数似然函数和pairwise排序模型推理出联合代价函数，并通过Adam算法进行模型参数优化更新；
模型优化目标定义为最大化如下的后验概率，其中θ表示模型参数，G表示知识图谱，Y表示交互矩阵：
max p(θ|G，Y)
基于贝叶斯公式，上式即为最大化如下等式：
Figure FDA0002809491770000021
其中，p(θ)表示模型参数的先验概率，假设其服从均值为0，方差为对角矩阵的高斯分布；p(G|θ)表示给定模型参数θ时观察到的知识图谱G的似然；p(Y|θ，G)表示给定模型参数θ和知识图谱G时观察到的交互矩阵的似然；将上式取负对数，并参考pairwise排序模型的代价函数，得出本方法的优化目标是最小化如下的对数似然联合代价函数；
Figure FDA0002809491770000031
上式第一项表示根据交互矩阵信息计算的总交叉熵损失，其保证模型在正样本上的损失较小，在负样本上的损失较大；其中U表示用户集合，
Figure FDA0002809491770000032
表示样本标签，
Figure FDA0002809491770000033
表示正样本集合，
Figure FDA0002809491770000034
表示样本预测值，
Figure FDA0002809491770000035
表示交叉熵损失，Tu表示负样本数量，即
Figure FDA0002809491770000036
vi～P(vi)表示负样本满足均匀分布；第二项保证表示学习模型ETRE的计算结果在正样本上接近于1，在负样本上接近于0；其中E表示实体的嵌入向量，R表示关系r的转换矩阵，r表示关系r的嵌入矩阵，Ir表示关系r的指示张量切片，λ3表示权重衰减系数；最后两项表示待学习参数的L2正则化项，其中W表示模型中的其它待学习参数，λ1、λ2分别表示权重衰减系数；
模型基于上述代价函数计算梯度，并通过Adam算法进行待学习参数的数值更新。
CN202011385310.1A 2020-11-30 2020-11-30 一种基于知识图谱卷积算法的个性化推荐方法 Pending CN112488791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011385310.1A CN112488791A (zh) 2020-11-30 2020-11-30 一种基于知识图谱卷积算法的个性化推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011385310.1A CN112488791A (zh) 2020-11-30 2020-11-30 一种基于知识图谱卷积算法的个性化推荐方法

Publications (1)

Publication Number Publication Date
CN112488791A true CN112488791A (zh) 2021-03-12

Family

ID=74938593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011385310.1A Pending CN112488791A (zh) 2020-11-30 2020-11-30 一种基于知识图谱卷积算法的个性化推荐方法

Country Status (1)

Country Link
CN (1) CN112488791A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905900A (zh) * 2021-04-02 2021-06-04 辽宁工程技术大学 基于图卷积注意力机制的协同过滤推荐算法
CN113342994A (zh) * 2021-07-05 2021-09-03 成都信息工程大学 一种基于无采样协作知识图网络的推荐系统
CN113360772A (zh) * 2021-07-02 2021-09-07 中国科学技术大学 一种可解释性推荐模型训练方法与装置
CN113590946A (zh) * 2021-07-26 2021-11-02 西安工程大学 一种基于知识图谱实体锚定的网络资源推荐方法和装置
CN113918677A (zh) * 2021-10-18 2022-01-11 智联(无锡)信息技术有限公司 基于知识图谱自动化链路分层的数据处理方法、装置及计算机可读介质
CN113918834A (zh) * 2021-10-22 2022-01-11 重庆理工大学 融合社交关系的图卷积协同过滤推荐方法
CN114240539A (zh) * 2021-11-26 2022-03-25 电子科技大学 一种基于Tucker分解和知识图谱的商品推荐方法
CN114491055A (zh) * 2021-12-10 2022-05-13 浙江辰时科技集团有限公司 基于知识图谱的推荐算法
CN114756694A (zh) * 2022-06-16 2022-07-15 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于知识图谱的推荐系统、推荐方法和相关设备
CN115146075A (zh) * 2022-07-11 2022-10-04 中科雨辰科技有限公司 一种获取知识图谱的数据处理系统
WO2023039901A1 (zh) * 2021-09-18 2023-03-23 京东方科技集团股份有限公司 一种文本推荐方法、模型训练方法、装置及可读存储介质
CN116402589A (zh) * 2023-06-05 2023-07-07 湖南师范大学 一种基于知识图和旋转编码的商品推荐方法及系统

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905900A (zh) * 2021-04-02 2021-06-04 辽宁工程技术大学 基于图卷积注意力机制的协同过滤推荐算法
CN112905900B (zh) * 2021-04-02 2023-11-17 辽宁工程技术大学 基于图卷积注意力机制的协同过滤推荐方法
CN113360772A (zh) * 2021-07-02 2021-09-07 中国科学技术大学 一种可解释性推荐模型训练方法与装置
CN113360772B (zh) * 2021-07-02 2022-09-09 中国科学技术大学 一种可解释性推荐模型训练方法与装置
CN113342994B (zh) * 2021-07-05 2022-07-05 成都信息工程大学 一种基于无采样协作知识图网络的推荐系统
CN113342994A (zh) * 2021-07-05 2021-09-03 成都信息工程大学 一种基于无采样协作知识图网络的推荐系统
CN113590946A (zh) * 2021-07-26 2021-11-02 西安工程大学 一种基于知识图谱实体锚定的网络资源推荐方法和装置
WO2023039901A1 (zh) * 2021-09-18 2023-03-23 京东方科技集团股份有限公司 一种文本推荐方法、模型训练方法、装置及可读存储介质
CN113918677A (zh) * 2021-10-18 2022-01-11 智联(无锡)信息技术有限公司 基于知识图谱自动化链路分层的数据处理方法、装置及计算机可读介质
CN113918834B (zh) * 2021-10-22 2022-10-28 重庆理工大学 融合社交关系的图卷积协同过滤推荐方法
CN113918834A (zh) * 2021-10-22 2022-01-11 重庆理工大学 融合社交关系的图卷积协同过滤推荐方法
CN114240539B (zh) * 2021-11-26 2022-08-02 电子科技大学 一种基于Tucker分解和知识图谱的商品推荐方法
CN114240539A (zh) * 2021-11-26 2022-03-25 电子科技大学 一种基于Tucker分解和知识图谱的商品推荐方法
CN114491055A (zh) * 2021-12-10 2022-05-13 浙江辰时科技集团有限公司 基于知识图谱的推荐算法
CN114756694A (zh) * 2022-06-16 2022-07-15 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于知识图谱的推荐系统、推荐方法和相关设备
CN114756694B (zh) * 2022-06-16 2022-10-14 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于知识图谱的推荐系统、推荐方法和相关设备
CN115146075A (zh) * 2022-07-11 2022-10-04 中科雨辰科技有限公司 一种获取知识图谱的数据处理系统
CN116402589A (zh) * 2023-06-05 2023-07-07 湖南师范大学 一种基于知识图和旋转编码的商品推荐方法及系统
CN116402589B (zh) * 2023-06-05 2023-09-15 湖南师范大学 一种基于知识图和旋转编码的商品推荐方法及系统

Similar Documents

Publication Publication Date Title
CN112488791A (zh) 一种基于知识图谱卷积算法的个性化推荐方法
CN111523047B (zh) 基于图神经网络的多关系协同过滤算法
CN108388651B (zh) 一种基于图核和卷积神经网络的文本分类方法
CN108829763B (zh) 一种基于深度神经网络的影评网站用户的属性预测方法
Wyse et al. Inferring structure in bipartite networks using the latent blockmodel and exact ICL
CN113590900A (zh) 一种融合动态知识图谱的序列推荐方法
CN112364976B (zh) 基于会话推荐系统的用户偏好预测方法
CN110263236B (zh) 基于动态多视图学习模型的社交网络用户多标签分类方法
CN110264372B (zh) 一种基于节点表示的主题社团发现方法
Duma et al. Sparseness reduction in collaborative filtering using a nearest neighbour artificial immune system with genetic algorithms
CN115062237A (zh) 基于图神经网络和知识图谱结合的文化资源推荐方法
CN111445963A (zh) 一种基于图节点信息聚合的子图同构约束求解方法
CN114693397A (zh) 一种基于注意力神经网络的多视角多模态商品推荐方法
CN115577283A (zh) 一种实体分类方法、装置、电子设备及存储介质
Pham et al. Unsupervised training of Bayesian networks for data clustering
CN109933720B (zh) 一种基于用户兴趣自适应演化的动态推荐方法
CN111738514B (zh) 利用局部距离和节点秩优化函数的社交网络社区发现方法
CN113111256A (zh) 基于深度知识图谱的生产工单推荐方法
CN114896514B (zh) 一种基于图神经网络的Web API标签推荐方法
Ahmed et al. Clustering research papers using genetic algorithm optimized self-organizing maps
CN114842247A (zh) 基于特征累加的图卷积网络半监督节点分类方法
CN115840853A (zh) 一种基于知识图谱和图注意力网络的课程推荐系统
Sabancı et al. Random ensemble mars: model selection in multivariate adaptive regression splines using random forest approach
JP2010073195A (ja) 協調フィルタリング処理方法および協調フィルタリング処理プログラム
CN114564594A (zh) 一种基于双塔模型的知识图谱用户偏好实体召回方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination