CN113378048B - 一种基于多视角知识图谱注意力网络的个性化推荐方法 - Google Patents

一种基于多视角知识图谱注意力网络的个性化推荐方法 Download PDF

Info

Publication number
CN113378048B
CN113378048B CN202110647492.3A CN202110647492A CN113378048B CN 113378048 B CN113378048 B CN 113378048B CN 202110647492 A CN202110647492 A CN 202110647492A CN 113378048 B CN113378048 B CN 113378048B
Authority
CN
China
Prior art keywords
user
graph
layer
convolution
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110647492.3A
Other languages
English (en)
Other versions
CN113378048A (zh
Inventor
张元鸣
徐洲帅
肖刚
陆佳炜
程振波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110647492.3A priority Critical patent/CN113378048B/zh
Publication of CN113378048A publication Critical patent/CN113378048A/zh
Application granted granted Critical
Publication of CN113378048B publication Critical patent/CN113378048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于多视角知识图谱注意力网络的个性化推荐方法，包括以下步骤：1)构建多视角知识图谱；2)根据多视角知识图谱构建其相对应的直接邻接矩阵和间接邻接矩阵；3)设计图注意力网络，基于注意力机制学习多视角特征信息得到用户和对象的向量表示；4)基于图注意力网络提取知识图谱的社交、关系、交互特征信息；5)对知识图谱注意力网络进行训练学习到用户和对象的最终向量表示。本发明通过学习知识图谱中的多视角特征，提高了推荐系统的准确率。

Description

一种基于多视角知识图谱注意力网络的个性化推荐方法
技术领域
本发明涉及知识图谱、推荐系统等领域，特别给出了一种基于多视角知识图谱注意力网络的个性化推荐方法。
背景技术
随着互联网技术的快速发展，用户可选择的信息越来越丰富，但是也让用户面临着因信息数量过大而导致的“信息过载”问题。如何更好的为用户提供感兴趣的信息成为研究的热点，而推荐系统正是解决这一问题的有效方法，通过分析用户和推荐对象的属性来挖掘出用户的兴趣点，并将用户感兴趣的对象推荐给用户以满足用户的个性化需求。
现今，推荐系统面临的主要问题是数据稀疏性和冷启动问题。数据稀疏性指的是对于庞大的用户和推荐对象而言，仅存在少量的交互信息，使得传统的推荐方法效率不高。冷启动指的是对于新的用户或对象，无法进行有效的推荐。
现有主要的推荐模型包括传统的推荐模型、基于深度学习的推荐模型和基于知识图谱的推荐模型。传统的推荐模型的主要思想是通过对用户和对象的特征向量进行比对或交叉来进行推荐，协同过滤(IEEE Distributed Systems Online,2003)基于用户和对象的ID来表示特定的向量，然后通过内积等操作，对这一交互关系进行建模。但是协同过滤技术往往会导致头部效应，使得冷门的对象获得较少的推荐机会，并且其无法加入用户、物品和上下文的特征信息，结果往往不够准确。为了缓解这一问题，研究者们提出FM(International Conference on Data Mining,2010)，其将用户和对象的所有特征映射在隐向量中，通过对隐向量特征进行相互交叉，得到不同的特征对，丰富了特征间的交互信息，但是其特征众多，容易导致特征计算爆炸。
基于深度学习的推荐模型是使用神经网络来自动学习用户和对象的交互特征，以此来进行预测。AutoRec(International World Wide Web Conferences,2015)提出通过自编码器对共现矩阵进行编码，使得用户和对象的编码结果在一定程度上集成自身信息，但是其结构较为简单，存在一定的表达能力不足的问题，DIN(ACM Knowledge Discovery andData Mining,2018)通过引入注意力机制，使得每个用户的兴趣在模型中呈现多样性，但是存在数据稀疏性问题。
基于知识图谱的推荐模型是将知识图谱(KG)作为辅助信息引入到推荐系统中，通过知识图谱中丰富的语义关联和结构信息来挖掘出用户和对象的潜在联系，以此来提高推荐的性能。KGCN(International World Wide Web Conferences,2019)在知识图谱上使用图卷积(GCN)的思想，在计算KG中给定实体的表示时，将其邻域的信息进行聚合，通过卷积的不断迭代，得到最后的实体表示，以此来捕获用户的高阶个性化兴趣。KGAT(ACMKnowledge Discovery and Data Mining,2019)在KG上进行图注意力网络，对每段关系施以不同的权重，以此来捕获用户的偏好兴趣。
然而，现有基于知识图谱的推荐系统往往只关注于单一视角下的特征，如对象的邻域信息和用户的社交信息，不能全面的捕获知识图谱中的特征信息，导致推荐系统的准确率较低。
发明内容
为了进一步提高推荐准确率，本发明提出一种基于多视角知识图谱注意力网络的个性化推荐方法，该方法能够提取多视角知识图谱特征信息，并通过引入图注意力机制进一步聚合偏好信息，提升重要结构信息的影响，降低噪声结构信息带来的影响，获得更高的推荐准确率。
为了解决技术问题本发明采用如下的技术方案：
一种基于多视角知识图谱注意力网络的个性化推荐方法，包括以下步骤：
1)构建多视角知识图谱
在知识图谱中，根据节点之间的关系定义三种不同视角下的知识图谱：
定义1：社交图谱：该视角的知识图谱描述了用户间的社交关系，用来对用户社交特征建模；
设用户集合为U＝{u1，u2，...，uN}，社交图谱定义为：
KGU＝{(ui，uj)|ui，uj∈U}；
定义2：关系图谱：该视角的知识图谱描述了推荐对象和推荐对象间的关联关系，用来对推荐对象的内在关联特征进行建模；
设推荐对象集合为V＝(v1，v2，...，vM)，关系图谱定义为：
KGV＝{(va，vb)|va，vb∈V}；
定义3：交互图谱：该视角的知识图谱描述了用户和推荐对象间的交互关系，用来对用户和推荐对象的兴趣特征进行建模；
根据用户的集合U和对象集合V，交互图谱定义为：
KGI＝{(ui，va)|ui∈U，va∈V}；
上述三种知识图谱分别从不同视角对用户和推荐对象的语义关系进行描述；
2)建立知识图谱邻接矩阵
根据知识图谱中节点间的链接关系，定义两种邻接关系：
定义4：直接邻节点：在知识图谱中存在直接链接关系的一对节点，节点间的距离为1；
定义5：间接邻节点：在知识图谱中存在一条通路的一对节点，节点间的距离大于1；
设用户数量为N，推荐对象数量为M，分别构建社交图谱、关系图谱、交互图谱的直接邻接矩阵：
Figure BDA0003109684730000031
其中As为社交图谱的直接邻接矩阵，AO关系图谱的直接邻接矩阵，AI为交互图谱的直接邻接矩阵；矩阵中其中若两个节点互为直接邻节点，则对应位置的值为1，否则为0；
同时，分别构建社交图谱、关系图谱、交互图谱的间接邻接矩阵：
Figure BDA0003109684730000032
其中A′S为社交图谱的间接邻接矩阵，A′O为社交图谱的间接邻接矩阵，A′I为社交图谱的间接邻接矩阵；矩阵中若两个节点互为间接邻节点，则间接邻节点对应位置的值为1，否则为0；
3)设计图注意力网络
图注意力网络包括一层输入层以及两层隐藏层，输入层为三种知识图谱的直接邻接矩阵和间接邻接矩阵，两层隐藏层通过卷积操作学习直接邻接节点和间接邻接节点的信息，两层隐藏层训练后的输出以及输入层的向量进行拼接作为实体的最终向量表示；
由于节点间的关联关系并不完全相同，因此采用注意力机制来计算节点之间的关联关系，对各自邻域中的节点进行不同程度的聚合，计算公式如下：
Figure BDA0003109684730000041
Figure BDA0003109684730000042
其中，
Figure BDA0003109684730000043
表示Nodei,Nodej两节点之间的注意力系数，[]表示向量的拼接，
Figure BDA0003109684730000044
为参数矩阵，
Figure BDA0003109684730000045
为偏差，σ表示的是非线性激活函数，在计算完注意力系数后，使用softmax函数对其归一化，得到当前节点的所有权重系数之和为1的概率分布；
4)基于图注意力网络提取知识图谱的特征信息
(4.1)提取用户社交特征
将社交图谱的直接邻接矩阵和间接邻接矩阵输入到图注意力网络中，提取该视角下用户的社交特征；
输入As和A′S，用户i在社交图谱中第l+1层的向量表示为
Figure BDA0003109684730000046
具体公式如下：
Figure BDA0003109684730000047
其中，
Figure BDA0003109684730000048
表示当前用户i在第l+1层卷积中与社交图谱中的邻居用户j之间的注意力系数，
Figure BDA0003109684730000049
表示用户j在第l层卷积的向量表示；
(4.2)提取对象关系特征
将关系图谱的直接邻接矩阵和间接邻接矩阵输入到图注意力网络中，提取该视角对象关系特征；
输入AO和A′O，对象m在关系图谱中第l+1层的向量表示为
Figure BDA00031096847300000410
具体公式如下：
Figure BDA00031096847300000411
其中，
Figure BDA00031096847300000412
表示当前对象m在第l+1层卷积中与关系图谱中的邻居对象n之间的注意力系数，
Figure BDA00031096847300000413
表示对象n在第l层卷积的向量表示；
(4.3)提取交互特征
将交互图谱的直接邻接矩阵和间接邻接矩阵输入到图注意力网络中，提取该视角下用户和对象的兴趣变化特征；
(4.4)多视角特征融合
在本模型中，用户和对象实体的特征在层与层之间传递的时候，都会聚合它上一层自身的特征以及它在多视角状态下的邻节点的特征，并且在聚合多视角下的特征时，赋予他们不同权重，以此来有所偏重的进行特征融合；
(4.5)多层图卷积特征输出
在上述的用户和对象的各层卷积操作都计算完成后，拼接三层的输出结果来作为用户和对象最终的向量表示
5)知识图谱注意力网络训练与预测
将上述得到的用户最终向量
Figure BDA0003109684730000051
和对象最终向量
Figure BDA0003109684730000052
进行内积，得到最终的概率
Figure BDA0003109684730000053
其中
Figure BDA0003109684730000054
定义如下：
Figure BDA0003109684730000055
其中，sigmoid()函数将向量映射到[0,1]范围内，输出概率；
然后根据上述计算出的概率
Figure BDA0003109684730000056
通过损失函数与样本中正确的标签
Figure BDA0003109684730000057
进行损失计算，并通过Adam优化器来最小化损失函数，损失函数定义为：
Figure BDA0003109684730000058
其中，
Figure BDA0003109684730000059
为样本中的样本数，
Figure BDA00031096847300000510
为样本中正确的标签；
接着不断循环训练过程，不断缩小损失，使得用户和对象的嵌入收敛，得到最终的用户和对象嵌入；
最终根据收敛后的用户和对象嵌入的参数来进行推荐。
进一步，所述(4.3)的过程如下：
(4.3.1)提取用户交互特征
输入AI和A′I，用户i在交互图谱中第l+1层的向量表示为
Figure BDA00031096847300000511
具体公式如下：
Figure BDA00031096847300000512
其中，
Figure BDA00031096847300000513
表示当前用户i在第l+1层卷积中与交互图谱中的邻居对象k之间的注意力系数，
Figure BDA00031096847300000514
表示对象k在第l层卷积的向量表示；
(4.3.1)提取对象交互特征
输入AI和A′I，对象m在交互图谱中第l+1层的向量表示为
Figure BDA00031096847300000515
具体公式如下：
Figure BDA00031096847300000516
其中，
Figure BDA00031096847300000517
表示当前对象m在第l+1层卷积中与交互图谱中的邻居用户t之间的注意力系数，
Figure BDA00031096847300000518
表示用户t在第l层卷积的向量表示。
再进一步，所述(4.4)的过程如下：
(4.4.1)用户特征融合
输入用户社交特征
Figure BDA0003109684730000061
用户交互特征
Figure BDA0003109684730000062
和用户在上层卷积中的向量
Figure BDA0003109684730000063
进行用户多视角特征融合，用户i在第l+1层卷积中的向量表示为
Figure BDA0003109684730000064
具体公式如下：
Figure BDA0003109684730000065
其中，η是用于平衡来自上层用户卷积聚合结果和当前多视角下的用户卷积聚合结果的权重，
Figure BDA0003109684730000066
表示当前用户i在第l+1层卷积中与
Figure BDA0003109684730000067
之间的注意力系数，
Figure BDA0003109684730000068
表示当前用户i在第l+1层卷积中与
Figure BDA0003109684730000069
之间的注意力系数；
(4.4.2)对象特征融合
输入对象关系特征
Figure BDA00031096847300000610
对象交互特征
Figure BDA00031096847300000611
和对象在上层卷积中的向量
Figure BDA00031096847300000612
进行对象多视角特征融合，对象m在第l+1层卷积中的向量表示为
Figure BDA00031096847300000613
具体公式如下：
Figure BDA00031096847300000614
其中，θ是用于平衡来自上层对象卷积聚合结果和当前多视角下的对象卷积聚合结果的权重，
Figure BDA00031096847300000615
表示当前对象m在第l+1层卷积中与
Figure BDA00031096847300000616
之间的注意力系数，
Figure BDA00031096847300000617
表示当前对象m在第l+1层卷积中与
Figure BDA00031096847300000618
之间的注意力系数。
更进一步，所述(4.5)的过程如下：
(4.5.1)用户特征输出
将用户的三层卷积输出结果进行拼接，作为用户特征的最终输出向量
Figure BDA00031096847300000619
具体公式如下：
Figure BDA00031096847300000620
其中，
Figure BDA00031096847300000621
分别表示用户在图注意力网络模型中的输入层、第一层卷积、第二层的卷积结果。
(4.5.2)对象特征输出
将对象的三层卷积输出结果进行拼接，作为对象特征的最终输出向量
Figure BDA00031096847300000622
具体公式如下：
Figure BDA00031096847300000623
其中，
Figure BDA00031096847300000624
分别表示对象在图注意力网络模型中的输入层、第一层卷积、第二层的卷积结果。
本发明的有益效果为：本发明给出的基于多视角知识图谱注意力网络的个性化推荐方法，其优势在于能够从不同角度关注用户和对象，分别捕获用户社交关系变化特征、对象关系变化特征、用户对象兴趣变化特征，并且通过引入图注意力机制，对不重要的邻域节点所带来的噪声进行剔除，对重要的邻域节点进行重点关注，使得每个邻域节点都能对当前节点的贡献都有所不同，提高了推荐系统的准确率。
附图说明
图1是多视角知识图谱示意图。
图2是基于Last.FM的音乐数据所构建的知识图谱。
图3是本发明的模型框架图。
具体实施方式
下面结合附图对本发明的作进一步说明
参照图1、图2、图3，一种基于多视角知识图谱注意力网络的个性化推荐方法，包括以下步骤：
1)构建多视角知识图谱
对知识图谱进行划分，根据节点之间的关系划分出多视角的知识图谱，如图1所示的社交图谱、关系图谱、交互图谱，分别捕获用户社交关系变化特征、对象关系变化特征、用户对象兴趣变化特征；
2)构造知识图谱邻接矩阵
对于步骤(1)中的三种多视角下的知识图谱，根据图谱中的节点之间的链接关系来构建出邻接矩阵，以图2的知识图谱为例，图2(a)是基于Last.FM的音乐数据所构建的知识图谱，为便于表示将其抽象为图2(b)的表示形式；
直接邻接矩阵反映节点之间是否直接相连，例如，图2中的用户u1与用户u2、u5、u6相连，则(As)(1,2)＝(As)(2,1)＝(As)(1,5)＝(As)(5,1)＝(As)(1,6)＝(As)(6,1)＝1，因此，图2的知识图谱在社交图谱中的直接邻接矩阵As表示为：
Figure BDA0003109684730000081
间接邻接矩阵反映节点之间是否间接连接，因此，图2的知识图谱在社交图谱中的间接邻接矩阵A′S表示为：
Figure BDA0003109684730000082
同理，图2的知识图谱在关系图谱的直接邻接矩阵AO中(AO)(1,2)＝(AO)(2,1)＝(AO)(2,3)＝(AO)(3,2)＝(AO)(4,5)＝(AO)(5,4)＝1，其余元素均为0，间接邻接矩阵A′O中(A′O)(1,3)＝(A′O)(3，1)＝1，其余元素均为0；图2的知识图谱在交互图谱的直接邻接矩阵AI中(AI)(2，1)＝(AI)(3，1)＝(AI)(4，3)＝(AI)(5,4)＝(AI)(6，4)＝(AI)(7,4)＝(AI)(8,4)＝1，其余元素均为0，间接邻接矩阵A′I中(A′I)(2，3)＝(A′I)(3,2)＝(A′I)(5，6)＝(A′I)(6，5)＝(A′I)(5，7)＝(A′I)(7,5)＝(A′I)(5，8)＝(A′I)(8,5)＝(A′I)(6,7)＝(A′I)(7,6)＝(A′I)(6,8)＝(A′I)(8,6)＝(A′I)(7,8)＝(A′I)(8,7)＝1，其余元素均为0；
3)设计图注意力网络
图注意力网络，其结构包括一层输入层以及两层隐藏层，各层向量维度为[64,64,64]，并对三层向量进行拼接作为实体的最终向量表示，将步骤(2)得到的多视角下的直接邻接矩阵As、AO、AI和间接邻接矩阵A′S、A′O、A′I输入到图注意力网络中，并通过公式(1)、(2)来对各自邻域中的节点进行不同程度上的聚合，以此来学习知识图谱中多视角下的特征信息。
4)基于图注意力网络提取知识图谱的特征信息，过程如下：
(4.1)提取用户社交特征
将步骤(1)中得到的社交图谱的直接邻接矩阵As和间接邻接矩阵A′S输入到步骤(3)中的图注意力网络模型中，通过公式(3)得到当前用户的社交特征向量，例如图2中的用户u2在计算当前层的向量表示时，需要根据公式(1)、(2)计算出的注意力系数来有所偏好的聚合上一层中的直接邻节点u1和间接邻节点u5、u6的特征向量。
(4.2)提取对象关系特征
将步骤(1)中得到的关系图谱的直接邻接矩阵AO和间接邻接矩阵A′O输入到步骤(3)中的图注意力网络模型中，通过公式(4)得到当前对象的关系特征向量，例如图2中的对象i1在计算当前层的向量表示时，需要根据公式(1)、(2)计算出的注意力系数来有所偏好的聚合上一层中的直接邻节点i2和间接邻节点i3的特征向量。
(4.3)提取交互特征
将步骤(1)中得到的交互图谱的直接邻接矩阵AI和间接邻接矩阵A′I输入到步骤(3)中的图注意力网络模型中，通过公式(5)、(6)得到当前用户对象的交互特征向量，例如图2中的用户u2在计算当前层的向量表示时，需要根据公式(1)、(2)计算出的注意力系数来有所偏好的聚合上一层中的直接邻节点i2和间接邻节点u3的特征向量。
(4.4)多视角特征融合
通过将步骤(4.1)-(4.3)中得到当前层中的用户社交特征向量、对象关系特征向量以及用户对象的交互特征向量输入到公式(7)、(8)进行特征融合，并根据公式(1)、(2)计算出的注意力系数来有所偏好的聚合各视角下的特征向量，最终融合得到当前层的用户和对象的特征向量。
(4.5)多层图卷积特征输出
重复步骤(4.1)-(4.4)，得到三层用户和对象的特征向量表示，将其输入到公式(9)、(10)得到用户和对象的最终向量表示。
5)知识图谱注意力网络训练与预测
首先，将步骤(3.5)中得到的用户和对象的最终向量表示输入到公式(11)中，得到最终的推荐概率
Figure BDA0003109684730000091
。
其次，根据公式(12)的损失函数缩小公式(11)中计算出的概率
Figure BDA0003109684730000092
与正确的标签
Figure BDA0003109684730000101
之间的损失，使得计算出的概率不断的逼近正确的标签，从而让用户和对象向量更加准确。
接着不断循环训练过程，不断缩小损失，使得用户和对象的嵌入收敛，得到最终的用户和对象嵌入；
最终根据收敛后的用户和对象嵌入的参数来进行推荐。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (4)

1.一种基于多视角知识图谱注意力网络的个性化推荐方法，其特征在于，所述方法包括以下步骤：
1)构建多视角知识图谱
在知识图谱中，根据节点之间的关系定义三种不同视角下的知识图谱：
定义1：社交图谱：该视角的知识图谱描述了用户间的社交关系，用来对用户社交特征建模；
设用户集合为U＝{u1,u2,…,uN}，社交图谱定义为：
KGU＝{(ui,uj)|ui,uj∈U}；
定义2：关系图谱：该视角的知识图谱描述了推荐对象和推荐对象间的关联关系，用来对推荐对象的内在关联特征进行建模；
设推荐对象集合为V＝(v1,v2,…,vM)，关系图谱定义为：
KGV＝{(va,vb)|va,vb∈V}；
定义3：交互图谱：该视角的知识图谱描述了用户和推荐对象间的交互关系，用来对用户和推荐对象的兴趣特征进行建模；
根据用户的集合U和对象集合V，交互图谱定义为：
KGI＝{(ui,va)|ui∈U,va∈V}；
上述三种知识图谱分别从不同视角对用户和推荐对象的语义关系进行描述；
2)建立知识图谱邻接矩阵
根据知识图谱中节点间的链接关系，定义两种邻接关系：
定义4：直接邻节点：在知识图谱中存在直接链接关系的一对节点，节点间的距离为1；
定义5：间接邻节点：在知识图谱中存在一条通路的一对节点，节点间的距离大于1；
设用户数量为N，推荐对象数量为M，分别构建社交图谱、关系图谱、交互图谱的直接邻接矩阵：
Figure FDA0003636501800000011
其中As为社交图谱的直接邻接矩阵，AO为关系图谱的直接邻接矩阵，AI为交互图谱的直接邻接矩阵；矩阵中其中若两个节点互为直接邻节点，则对应位置的值为1，否则为0；
同时，分别构建社交图谱、关系图谱、交互图谱的间接邻接矩阵：
Figure FDA0003636501800000021
其中A′S为社交图谱的间接邻接矩阵，A′O为社交图谱的间接邻接矩阵，A′I为社交图谱的间接邻接矩阵；矩阵中若两个节点互为间接邻节点，则间接邻节点对应位置的值为1，否则为0；
3)设计图注意力网络
图注意力网络包括一层输入层以及两层隐藏层，输入层为三种知识图谱的直接邻接矩阵和间接邻接矩阵，两层隐藏层通过卷积操作学习直接邻接节点和间接邻接节点的信息，两层隐藏层训练后的输出以及输入层的向量进行拼接作为实体的最终向量表示；
由于节点间的关联关系并不完全相同，因此采用注意力机制来计算节点之间的关联关系，对各自邻域中的节点进行不同程度的聚合，计算公式如下：
Figure FDA0003636501800000022
Figure FDA0003636501800000023
其中，
Figure FDA0003636501800000024
表示Nodei,Nodej两节点之间的注意力系数，[]表示向量的拼接，
Figure FDA0003636501800000025
为参数矩阵，
Figure FDA0003636501800000026
为偏差，σ表示的是非线性激活函数，在计算完注意力系数后，使用softmax函数对其归一化，得到当前节点的所有权重系数之和为1的概率分布；
4)基于图注意力网络提取知识图谱的特征信息，过程如下：
(4.1)提取用户社交特征
将社交图谱的直接邻接矩阵和间接邻接矩阵输入到图注意力网络中，提取该视角下用户的社交特征；
输入As和A′S，用户i在社交图谱中第l+1层的向量表示为
Figure FDA0003636501800000027
具体公式如下：
Figure FDA0003636501800000028
其中，
Figure FDA0003636501800000029
表示当前用户i在第l+1层卷积中与社交图谱中的邻居用户j之间的注意力系数，
Figure FDA00036365018000000210
表示用户j在第l层卷积的向量表示；
(4.2)提取对象关系特征
将关系图谱的直接邻接矩阵和间接邻接矩阵输入到图注意力网络中，提取该视角对象关系特征；
输入AO和A′O，对象m在关系图谱中第l+1层的向量表示为
Figure FDA0003636501800000031
具体公式如下：
Figure FDA0003636501800000032
其中，
Figure FDA0003636501800000033
表示当前对象m在第l+1层卷积中与关系图谱中的邻居对象n之间的注意力系数，
Figure FDA0003636501800000034
表示对象n在第l层卷积的向量表示；
(4.3)提取交互特征
将交互图谱的直接邻接矩阵和间接邻接矩阵输入到图注意力网络中，提取该视角下用户和对象的兴趣变化特征；
(4.4)多视角特征融合
在本模型中，用户和对象实体的特征在层与层之间传递的时候，都会聚合它上一层自身的特征以及它在多视角状态下的邻节点的特征，并且在聚合多视角下的特征时，赋予他们不同权重，以此来有所偏重的进行特征融合；
(4.5)多层图卷积特征输出
在上述的用户和对象的各层卷积操作都计算完成后，拼接三层的输出结果来作为用户和对象最终的向量表示；
5)知识图谱注意力网络训练与预测
将上述得到的用户最终向量
Figure FDA0003636501800000035
和对象最终向量
Figure FDA0003636501800000036
进行内积，得到最终的概率
Figure FDA0003636501800000037
其中
Figure FDA0003636501800000038
定义如下：
Figure FDA0003636501800000039
其中，sigmoid()函数将向量映射到[0,1]范围内，输出概率；
然后根据上述计算出的概率
Figure FDA00036365018000000310
通过损失函数与样本中正确的标签
Figure FDA00036365018000000311
进行损失计算，并通过Adam优化器来最小化损失函数，损失函数定义为：
Figure FDA00036365018000000312
其中，
Figure FDA00036365018000000313
为样本中的样本数，
Figure FDA00036365018000000314
为样本中正确的标签；
接着不断循环训练过程，不断缩小损失，使得用户和对象的嵌入收敛，得到最终的用户和对象嵌入；
最终根据收敛后的用户和对象嵌入的参数来进行推荐。
2.如权利要求1所述的一种基于多视角知识图谱注意力网络的个性化推荐方法，其特征在于，所述(4.3)的过程如下：
(4.3.1)提取用户交互特征
输入AI和A′I，用户i在交互图谱中第l+1层的向量表示为
Figure FDA0003636501800000041
具体公式如下：
Figure FDA0003636501800000042
其中，
Figure FDA0003636501800000043
表示当前用户i在第l+1层卷积中与交互图谱中的邻居对象k之间的注意力系数，
Figure FDA0003636501800000044
表示对象k在第l层卷积的向量表示；
(4.3.1)提取对象交互特征
输入AI和A′I，对象m在交互图谱中第l+1层的向量表示为
Figure FDA0003636501800000045
具体公式如下：
Figure FDA0003636501800000046
其中，
Figure FDA0003636501800000047
表示当前对象m在第l+1层卷积中与交互图谱中的邻居用户t之间的注意力系数，
Figure FDA0003636501800000048
表示用户t在第l层卷积的向量表示。
3.如权利要求1或2所述的一种基于多视角知识图谱注意力网络的个性化推荐方法，其特征在于，所述(4.4)的过程如下：
(4.4.1)用户特征融合
输入用户社交特征
Figure FDA0003636501800000049
用户交互特征
Figure FDA00036365018000000410
和用户在上层卷积中的向量
Figure FDA00036365018000000411
进行用户多视角特征融合，用户i在第l+1层卷积中的向量表示为
Figure FDA00036365018000000412
具体公式如下：
Figure FDA00036365018000000413
其中，η是用于平衡来自上层用户卷积聚合结果和当前多视角下的用户卷积聚合结果的权重，
Figure FDA00036365018000000414
表示当前用户i在第l+1层卷积中与
Figure FDA00036365018000000415
之间的注意力系数，
Figure FDA00036365018000000416
表示当前用户i在第l+1层卷积中与
Figure FDA00036365018000000417
之间的注意力系数；
(4.4.2)对象特征融合
输入对象关系特征
Figure FDA00036365018000000418
对象交互特征
Figure FDA00036365018000000419
和对象在上层卷积中的向量
Figure FDA00036365018000000420
进行对象多视角特征融合，对象m在第l+1层卷积中的向量表示为
Figure FDA00036365018000000421
具体公式如下：
Figure FDA00036365018000000422
其中，θ是用于平衡来自上层对象卷积聚合结果和当前多视角下的对象卷积聚合结果的权重，
Figure FDA0003636501800000051
表示当前对象m在第l+1层卷积中与
Figure FDA0003636501800000052
之间的注意力系数，
Figure FDA0003636501800000053
表示当前对象m在第l+1层卷积中与
Figure FDA0003636501800000054
之间的注意力系数。
4.如权利要求1或2所述的一种基于多视角知识图谱注意力网络的个性化推荐方法，其特征在于，所述(4.5)的过程如下：
(4.5.1)用户特征输出
将用户的三层卷积输出结果进行拼接，作为用户特征的最终输出向量
Figure FDA0003636501800000055
具体公式如下：
Figure FDA0003636501800000056
其中，
Figure FDA0003636501800000057
分别表示用户在图注意力网络模型中的输入层、第一层卷积、第二层的卷积结果；
(4.5.2)对象特征输出
将对象的三层卷积输出结果进行拼接，作为对象特征的最终输出向量
Figure FDA0003636501800000058
具体公式如下：
Figure FDA0003636501800000059
其中，
Figure FDA00036365018000000510
分别表示对象在图注意力网络模型中的输入层、第一层卷积、第二层的卷积结果。
CN202110647492.3A 2021-06-10 2021-06-10 一种基于多视角知识图谱注意力网络的个性化推荐方法 Active CN113378048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110647492.3A CN113378048B (zh) 2021-06-10 2021-06-10 一种基于多视角知识图谱注意力网络的个性化推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110647492.3A CN113378048B (zh) 2021-06-10 2021-06-10 一种基于多视角知识图谱注意力网络的个性化推荐方法

Publications (2)

Publication Number Publication Date
CN113378048A CN113378048A (zh) 2021-09-10
CN113378048B true CN113378048B (zh) 2022-07-26

Family

ID=77573510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110647492.3A Active CN113378048B (zh) 2021-06-10 2021-06-10 一种基于多视角知识图谱注意力网络的个性化推荐方法

Country Status (1)

Country Link
CN (1) CN113378048B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153996B (zh) * 2022-02-10 2022-04-12 北京帝测科技股份有限公司 多图注意力协同的地学知识图谱更新方法和装置
CN114707427B (zh) * 2022-05-25 2022-09-06 青岛科技大学 基于有效邻居取样最大化的图神经网络的个性化建模方法
CN115439197A (zh) * 2022-11-09 2022-12-06 广州科拓科技有限公司 基于知识图谱深度学习的电子商务推荐方法及系统
CN117216417B (zh) * 2023-11-07 2024-02-20 北京智谱华章科技有限公司 融合知识信息和协同信息的推荐方法、装置、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10831827B2 (en) * 2016-04-01 2020-11-10 International Business Machines Corporation Automatic extraction of user mobility behaviors and interaction preferences using spatio-temporal data
CN111539786B (zh) * 2020-04-15 2022-05-06 清华大学 条件注意力网络及其在个性化推荐中的应用方法及装置
CN111914895B (zh) * 2020-06-29 2022-08-26 河海大学 基于多层注意力机制并融合图谱的水利门户信息推荐方法
CN112507132B (zh) * 2020-12-14 2022-08-05 天津大学 一种基于知识图谱和注意力机制的推荐方法

Also Published As

Publication number Publication date
CN113378048A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113378048B (zh) 一种基于多视角知识图谱注意力网络的个性化推荐方法
CN108920641B (zh) 一种信息融合个性化推荐方法
CN113362131B (zh) 一种融合知识图谱和用户交互的图模型智能商品推荐方法
CN109190030B (zh) 融合node2vec和深度神经网络的隐式反馈推荐方法
CN113378047B (zh) 一种基于多方面增强的图神经网络推荐方法
CN111143705B (zh) 一种基于图卷积网络的推荐方法
CN114265986B (zh) 一种融合知识图谱结构与路径语义的信息推送方法和系统
WO2023098098A1 (zh) 一种基于注意力机制与超图卷积的标签感知推荐方法
CN111881363A (zh) 一种基于图交互网络的推荐方法
CN115860880B (zh) 基于多层异质图卷积模型的个性化商品推荐方法及系统
CN115374347A (zh) 一种基于知识图注意力网络的社交推荐方法
CN115760279A (zh) 基于知识图谱和多头注意力的双目标跨域推荐方法及系统
CN113240086A (zh) 一种复杂网络链接预测方法及系统
CN114925268A (zh) 基于图神经网络的推荐方法、系统、电子设备及计算机可读介质
CN114579852A (zh) 一种基于图卷积网络与注意力机制的推荐方法
CN112364245B (zh) 基于异构信息网络嵌入的Top-K电影推荐方法
CN113590976A (zh) 一种空间自适应图卷积网络的推荐方法
CN112765490A (zh) 一种基于知识图谱和图卷积网络的信息推荐方法及系统
CN116821519A (zh) 一种基于图结构的系统过滤和降噪的智能推荐方法
CN116304336A (zh) 融合知识图谱和图神经网络的课程推荐方法
CN116204628A (zh) 一种知识图谱增强的物流知识神经协同过滤推荐方法
CN114547325B (zh) 一种概率超图驱动的地学知识图谱推理优化系统和方法
CN113744023B (zh) 一种基于图卷积网络的双通道协同过滤推荐方法
CN115391555A (zh) 一种用户感知的知识图谱推荐系统及方法
CN115098770A (zh) 融合强化学习和知识图谱链路传播的在线课程推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant