CN114756694B - 基于知识图谱的推荐系统、推荐方法和相关设备 - Google Patents
基于知识图谱的推荐系统、推荐方法和相关设备 Download PDFInfo
- Publication number
- CN114756694B CN114756694B CN202210677070.5A CN202210677070A CN114756694B CN 114756694 B CN114756694 B CN 114756694B CN 202210677070 A CN202210677070 A CN 202210677070A CN 114756694 B CN114756694 B CN 114756694B
- Authority
- CN
- China
- Prior art keywords
- user
- article
- knowledge
- representation
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003993 interaction Effects 0.000 claims abstract description 57
- 230000002452 interceptive effect Effects 0.000 claims abstract description 21
- 230000008447 perception Effects 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 230000004931 aggregating effect Effects 0.000 claims abstract description 4
- 238000012512 characterization method Methods 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 26
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 18
- 239000000126 substance Substances 0.000 claims description 15
- 230000006399 behavior Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000003064 k means clustering Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000012886 linear function Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Animal Behavior & Ethology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的一种基于知识图谱的推荐系统、推荐方法和相关设备,系统包括:用户历史信息嵌入模块根据用户的历史交互行为生成用户表征;知识感知嵌入模块利用知识感知的注意力机制,为用户和物品生成知识加权表征;动态信息共享模块基于神经网络,根据用户物品交互的二部图以及物品侧的知识图谱得到用户/物品热门种子,计算每个用户/物品与用户/物品热门种子的相似度,根据相似度共享用户/物品热门种子的动态表征;将知识加权表征和所述动态表征进行聚合,得到每个用户和物品的最终表征并进行点积获得最后的预测值。本发明将各用户/物品与其相似的热门用户/物品进行动态的信息共享,缓解了用户侧和物品侧的冷启动问题。
Description
技术领域
本发明涉及数据应用技术领域,特别是涉及一种基于知识图谱的推荐系统、推荐方法和相关设备。
背景技术
为了解决当前在线应用中的信息爆炸问题,提高用户体验,推荐系统应运而生。它旨在利用历史用户行为来捕捉用户偏好,从而推荐一些可能会被用户喜欢的物品。然而在实际的推荐场景中,用户和物品都是不断增长的,推荐系统会频繁地面临新注册的用户或新入库的物品——冷启动问题。那么如何解决冷启动问题,在缺乏历史行为数据的前提下进行个性化、并让用户满意的推荐是至关重要的。
近些年,知识图谱的研究引起了越来越多学者的注意。知识图谱是有向的异构图,其中节点代表实体,边代表实体之间的关系。知识图谱可以表示推荐系统中物品之间的各种关系,建立用户和物品之间的隐形联系,因此引入知识图谱作为辅助信息能在一定程度上缓解推荐中的冷启动问题。
现有基于知识图谱进行推荐的方法主要分为三类:1)基于正则的方法:这类方法通常设计一个额外的损失函数来捕获知识图谱中的知识关联。通过共享的物品表征,推荐任务和图谱的表示学习任务可以融合在一起。但是这类方法往往用一个固定的参数去刻画知识正则部分的对整体的任务的贡献,这不够灵活,因为在训练过程中正则部分的贡献往往是动态变化的;2)基于路径的方法:这类方法利用在知识图谱上预定义的连接模式(元路径、元图)来捕获用户和物品之间的知识关联性,但是预定义这些连接模式往往需要一定专家知识。在缺少领域知识的情况下,预定义这种模式是非常困难的,特别是在复杂的知识图谱上;3)基于传播的方法:这类方法主要基于图神经网络的框架去迭代地更新实体表征,最终各用户/物品的表征由自身和其采样到的多跳实体表征组合构成。然而这类方法大多主要关注知识图谱侧的知识关系传播,而并没有完全挖掘出用户物品侧的交互信息。此外,上述提出的这些方法在解决冷启动问题时并没有考虑相似用户或是相似物品之间的关系。
发明内容
本发明针对上述问题,考虑到通常相似的用户往往有相似的物品偏好,相似的物品也可能会被相同的用户交互,提供了一种基于知识图谱的推荐系统、推荐方法和相关设备,旨在增强相似用户以及相似物品之间的交互,让热门用户/物品的信息流向与其相似的冷门用户/物品中,从而缓解了用户侧和物品侧的冷启动问题。
本发明的第一方面,提供了一种基于知识图谱的推荐系统,所述推荐系统包括推荐任务模块、用户历史信息嵌入模块、知识感知嵌入模块以及动态信息共享模块;
其中,所述推荐任务模块提供用户物品交互的二部图以及物品侧的知识图谱并给出推荐任务,确定推荐任务为预测一对用户物品中用户与物品产生交互的概率;
所述用户历史信息嵌入模块根据用户的历史交互行为生成用户表征;
所述知识感知嵌入模块利用知识感知的注意力机制,为用户和物品生成知识加权表征;
所述动态信息共享模块基于神经网络,根据用户物品交互的二部图以及物品侧的知识图谱得到用户热门种子和物品热门种子,利用所述用户表征和所述知识加权表征计算每个用户与用户热门种子、每个物品与物品热门种子的相似度,根据所述相似度共享用户和物品热门种子的动态表征;
所述动态信息共享模块将所述知识加权表征和所述动态表征进行聚合,得到每个用户和每个物品的最终表征,将用户最终表征和物品最终表征进行点积获得最后的预测值即为用户与物品交互的概率。
在一些实施例中,所述用户历史信息嵌入模块根据用户的历史交互行为利用注意力机制来生成用户表征。
在一些实施例中,所述知识感知嵌入模块利用知识感知的注意力机制,为所述用户和物品生成知识加权表征,具体表达式为:
其中,表示用户/物品在k跳的知识加权表征,表示用户或物品,表示用户或物品的k跳三元邻居集合,表示知识图谱中的三元组,其中代表头实体,代表尾实体,代表头实体和尾实体之间的关系,表示在知识图谱中采样的跳数,表示头实体和尾实体之间产生的注意力系数,表示尾实体的表征向量。
在一些实施例中,所述动态信息共享模块利用用户物品交互的二部图以及物品侧的知识图谱进行k-means聚类算法,得到最接近聚类中心点的用户热门种子和物品热门种子。
在一些实施例中,利用所述用户表征和所述知识加权表征计算每个用户与用户热门种子、每个物品与物品热门种子的相似度,具体包括:
其中,表示神经网络全连接层最后一层的输出,是的第i维,表示当前用户与第i个用户热门种子之间的相似度或当前物品与第i个物品热门种子之间的相似度,,表示全连接层的层数,表示非线性函数sigmoid,、是全连接网络各层的训练参数,表示用户或物品的表征向量,表示平均聚合函数,表示在知识图谱中采样的跳数。
在一些实施例中,所述根据所述相似度共享用户和物品热门种子的动态表征,具体包括:
在一些实施例中,所述动态信息共享模块将所述知识加权表征和所述动态表征进行聚合,得到每个用户和每个物品的最终表征,具体表达式为:
本发明的第二方面,提供了一种基于知识图谱的推荐方法,所述方法包括以下步骤:
利用推荐任务模块提供用户物品交互的二部图以及物品侧的知识图谱并给出推荐任务,对于一对用户物品,确定推荐任务为该用户与该物品产生交互的概率;
利用用户历史信息嵌入模块根据用户的历史交互行为生成用户表征;
利用知识感知嵌入模块利用知识感知的注意力机制,为用户和物品生成知识加权表征;
利用基于神经网络的动态信息共享模块,根据用户物品交互的二部图以及物品侧的知识图谱得到用户热门种子和物品热门种子,利用所述用户表征和所述知识加权表征计算每个用户与用户热门种子、每个物品与物品热门种子的相似度,根据所述相似度共享用户和物品热门种子的动态表征;
利用动态信息共享模块将所述知识加权表征和所述动态表征进行聚合,得到每个用户和物品的最终表征,将用户最终表征和物品最终表征进行点积获得最后的预测值即为用户与物品交互的概率。
本发明的第三方面,提供了一种电子设备,包括:处理器;以及存储器,其中,所述存储器中存储有计算机可执行程序,当由所述处理器执行所述计算机可执行程序时,执行上述基于知识图谱的推荐方法。
本发明的第四方面,提供了一种计算机可读存储介质,其上存储有程序,所述程序在被处理器执行时,使得所述处理器执行上述基于知识图谱的推荐方法。
本发明提供的一种基于知识图谱的推荐系统、推荐方法和相关设备,基于知识图谱的推荐系统为动态信息分享的知识注意力神经网络系统,由于相似的用户往往有相似的物品偏好以及相似的物品也可能会被相同的用户交互,将各用户/物品与其相似的热门用户/物品进行动态的信息共享,同时缓解了用户侧和物品侧的冷启动问题,同时,系统设计了用户历史信息嵌入模块和知识感知嵌入模块,能同时从历史交互和知识关联两个方面去寻找相似的用户/物品。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中基于知识图谱的推荐系统结构示意图;
图2是本发明实施例中推荐任务模块方法示意图;
图3是本发明实施例中用户历史信息嵌入模块方法示意图;
图4是本发明实施例中知识感知嵌入模块方法示意图;
图5是本发明实施例中动态信息共享模块方法示意图;
图6是本发明实施例中基于知识图谱的推荐方法示意图;
图7是本发明实施例中电子设备的架构。
具体实施方式
为进一步对本发明的技术方案作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的步骤。
本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或硬件获取模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本发明实施例针对一种基于知识图谱的推荐系统、推荐方法和相关设备,提供了如下实施例:
基于本发明的实施例1
本实施例用于说明基于知识图谱的推荐系统,如图1所示,为本实施例的系统结构框图,推荐系统100包括推荐任务模块1001、用户历史信息嵌入模块1002、知识感知嵌入模块1003以及动态信息共享模块1004;
其中,推荐任务模块1001提供用户物品交互的二部图以及物品侧的知识图谱并给出推荐任务,对于一对用户物品,确定推荐任务为该用户与该物品产生交互的概率,如图2所示,为推荐任务模块1001示意图,表示用户,表示物品,表示实体,图2只示出了用户物品交互的二部图以及物品侧的知识图谱的小部分,其他类似部分省略,通过推荐任务模块1001给出的用户物品交互的二部图以及物品侧的知识图谱,确定推荐任务为一对用户物品即图示中的用户与物品产生交互的概率;
如图3所示,用户历史信息嵌入模块1002根据用户的历史交互行为生成用户表征,在一些实施例中,用户历史信息嵌入模块1002根据用户的历史交互行为利用注意力机制来生成用户表征。
在一些实施例中,历史交互信息可以揭示用户的偏好,可以利用它们来生成用户的表征。首先,对于不同的交互物品,在生成用户表征时每个物品会有不同的贡献值;其次在预测该用户与不同目标物品交互的概率时,相同的交互物品也会有不同的贡献值。对于给定用户和他的历史交互序列,其中p表示历史交互序列个数,对于预测用户和目标物品的交互概率时,使用如下的注意力机制来生成用户表征:
如图4所示,知识感知嵌入模块1003利用知识感知的注意力机制,为用户和物品生成知识加权表征;在一些实施例中,除了观察到的有限的交互信息之外,还考虑利用用户/物品之间的知识关联来帮他们找到相似的热门用户/物品,因此发明人提出了一个知识感知的嵌入模块。具体地,对于知识图谱中的每个三元组,其中代表头实体,代表尾实体,代表这两个实体之间的关系,定义用户/物品的k跳的三元邻居为:
在一些实施例中,为了加速学习过程,从各跳三元邻居集合中采样出固定数目子集,即。由于不同的三元组含有不同的意义,使用注意力机制从知识图谱中提取知识信息,具体来说,给用户/物品的k跳三元邻居集合,对于每个属于的三元组,考虑头部实体和尾部实体之间关系产生一个注意力系数:
其中,表示用户/物品在k跳的知识加权表征,不同的k捕捉不同的高阶知识关联,表示用户或物品,表示用户/物品的k跳三元邻居集合,表示知识图谱中的三元组,其中代表头实体,代表尾实体,代表头实体和尾实体之间的关系,表示在知识图谱中采样的跳数,表示头实体和尾实体之间产生的注意力系数,表示尾实体的表征向量。
如图5所示,动态信息共享模块1004基于神经网络,根据用户物品交互的二部图以及物品侧的知识图谱得到用户热门种子和物品热门种子,利用用户表征和知识加权表征计算每个用户和用户热门种子、每个物品与物品热门种子之间的相似度,根据相似度共享用户热门种子和物品热门种子的动态表征;
在一些实施例中,动态信息共享模块1004利用用户物品交互的二部图以及物品侧的知识图谱进行k-means聚类算法,得到最接近聚类中心点的m个用户/物品热门种子。
动态信息共享模块1004的目标是寻找到每个用户和物品相似的热门用户和物品,并与其动态地共享表征。在一些实施例中,先定义固定数量m个的热门用户/物品为热门种子,这些被选中的热门种子彼此应该具有区分性,以尽可能地代表不同的用户偏好或物品属性。因此,通过基于用户物品的交互信息进行k-means聚类算法,找出最接近这些聚类中心点的m个热门种子:,并为m个热门种子建立共享表征,命名为种子嵌入:,如图5所示为k-means聚类算法计算得出的热门种子m=4的示意图。
在一些实施例中,利用用户表征和知识加权表征计算每个用户与用户热门种子、物品与物品热门种子之间的相似度,它通过以一个全连接网络进行实现,具体包括:
其中,表示神经网络全连接层最后一层的输出,结合了从历史互动信息和知识关联信息,它帮助寻找函数为各用户和物品找到历史交互信息相似或知识关联信息相似的热门种子,是的第i维,表示当前用户与第i个用户热门种子或当前物品与第i个物品热门种子之间的相似度,,表示全连接层的层数,表示非线性函数sigmoid,、是全连接网络各层的训练参数,表示用户/物品的表征向量,当为时, 表示用户的表征向量,当为时, 表示物品的表征向量,表示平均聚合函数,表示在知识图谱中采样的跳数。
在一些实施例中,根据相似度共享用户热门种子和物品热门种子的动态表征,具体包括:
热门种子的表征直接来自于自身。随着从历史互动信息和知识关联信息中学习到更多的信息,寻找函数和种子表征被动态地学习和更新,这使得冷门用户/物品能够从有类似历史偏好或知识偏好的热门用户/物品那里获得额外的信息;热门种子充足的交互信息使得他们的种子表征可以被充分地学习。由于共享表征,那些与热门用户/物品相似的冷门用户/物品的表征也可以被更新,让热门用户/物品的信息流向与其相似的冷门用户/物品中,大大提升了冷门用户/物品的表征质量,从而缓解了用户侧和物品侧的冷启动问题。
如图5所示,动态信息共享模块1004将知识加权表征和动态表征进行聚合,得到每个用户和物品的最终表征,将用户最终表征和物品最终表征进行点积获得最后的预测值即为用户与物品交互的概率。
在一些实施例中,动态信息共享模块1004将知识感知嵌入模块生成的知识加权表征和动态共享用户/物品热门种子的表征进行聚合,得到每个用户和物品的最终表征,具体表达式为:
在一些实施例中,对系统模型的训练通过用交叉熵损失函数进行更新:
其中,表示用户的物品正样本,表示用户的物品负样本,表示系统模型预测的用户与物品产生交互的概率,表示正则项的系数,是交叉熵函数,是系统模型中的训练参数,使用正则防止系统模型过拟合,对于正样本有,对于负样本。
本实施例提供的一种基于知识图谱的推荐系统,为动态信息分享的知识注意力神经网络系统,由于相似的用户往往有相似的物品偏好以及相似的物品也可能会被相同的用户交互,将各用户/物品与其相似的热门用户/物品进行动态的信息共享,同时缓解了用户侧和物品侧的冷启动问题,同时,系统设计了用户历史信息嵌入模块和知识感知嵌入模块,能同时从历史交互和知识关联两个方面去寻找相似的用户/物品。
基于本发明的实施例2
本实施例用于说明基于知识图谱的推荐方法,如图6所示,为基于知识图谱的推荐方法流程图,具体包括以下步骤:
S601、利用推荐任务模块提供用户物品交互的二部图以及物品侧的知识图谱并给出推荐任务,对于一对用户物品,确定推荐任务为该用户与该物品产生交互的概率;
在一些实施例中,如图2中推荐任务模块所示,表示用户,表示物品,表示实体,图2只示出了用户物品交互的二部图以及物品侧的知识图谱的小部分,其他类似部分省略,通过推荐任务模块给出的用户物品交互的二部图以及物品侧的知识图谱,确定推荐任务为一对用户物品即图示中的用户与物品产生交互的概率;
S602、利用用户历史信息嵌入模块根据用户的历史交互行为生成用户表征;
在一些实施例中,历史交互信息可以揭示用户的偏好,可以利用它们来生成用户的表征。首先,对于不同的交互物品,在生成用户表征时每个物品会有不同的贡献值;其次在预测该用户与不同目标物品交互的概率时,相同的交互物品也会有不同的贡献值。对于给定用户和他的历史交互序列,其中p表示历史交互序列个数,对于预测用户和目标物品的交互概率时,使用如下的注意力机制来生成用户表征:
S603、利用知识感知嵌入模块利用知识感知的注意力机制,为用户和物品生成知识加权表征;
在一些实施例中,除了观察到的有限的交互信息之外,还考虑利用用户/物品之间的知识关联来帮他们找到相似的热门用户/物品,因此发明人提出了一个知识感知的嵌入模块。具体地,对于知识图谱中的每个三元组,其中代表头实体,代表尾实体,代表这两个实体之间的关系,定义用户/物品的k跳的三元邻居为:
在一些实施例中, 为了加速学习过程,从各跳三元邻居集合中采样出固定数目子集,即。由于不同的三元组含有不同的意义,使用注意力机制从知识图谱中提取知识信息,具体来说,给用户/物品的k跳三元邻居集合,对于每个属于的三元组,考虑头部实体和尾部实体之间关系产生一个注意力系数:
其中,表示用户/物品在k跳的知识加权表征,不同的k捕捉不同的高阶知识关联,表示用户或物品,表示用户/物品的k跳三元邻居集合,表示知识图谱中的三元组,其中代表头实体,代表尾实体,代表头实体和尾实体之间的关系,表示在知识图谱中采样的跳数,表示头实体和尾实体之间产生的注意力系数,表示尾实体的表征向量。
S604、利用基于神经网络的动态信息共享模块,根据用户物品交互的二部图以及物品侧的知识图谱得到用户/物品热门种子,利用用户表征和知识加权表征计算每个用户/物品与用户/物品热门种子的相似度,根据每个用户/物品与用户/物品热门种子的相似度共享用户/物品热门种子的动态表征;
在一些实施例中,动态信息共享模块利用用户物品交互的二部图以及物品侧的知识图谱进行k-means聚类算法,得到最接近聚类中心点的m个用户热门种子和m个物品热门种子。
动态信息共享模块的目标是寻找到每个用户/物品相似的热门用户/物品,并与其动态地共享表征。在一些实施例中,先定义固定数量m个的热门用户/物品为热门种子,这些被选中的热门种子彼此应该具有区分性,以尽可能地代表不同的用户偏好或物品属性。因此,通过基于用户物品的交互信息进行k-means聚类算法,找出最接近这些聚类中心点的m个热门种子:,并为m个热门种子建立共享表征,命名为种子嵌入:,如图5所示为k-means聚类算法计算得出的热门种子m=4的示意图。
在一些实施例中,利用用户表征和知识加权表征计算每个用户与用户热门种子、物品与物品热门种子之间的相似度,它通过以一个全连接网络进行实现,具体包括:
其中,表示神经网络全连接层最后一层的输出,结合了从历史互动信息和知识关联信息,它帮助寻找函数为各用户和物品找到历史交互信息相似或知识关联信息相似的热门种子,是的第i维,表示当前用户与第i个用户热门种子或当前物品与第i个物品热门种子之间的相似度,,表示全连接层的层数,表示非线性函数sigmoid,、是全连接网络各层的训练参数,表示用户/物品的表征向量,当为时,表示用户的表征向量,当为时,表示物品的表征向量,表示平均聚合函数,表示在知识图谱中采样的跳数。
在一些实施例中,根据相似度共享用户和物品热门种子的动态表征,具体包括:
热门种子的表征直接来自于自身。随着从历史互动信息和知识关联信息中学习到更多的信息,寻找函数和种子表征被动态地学习和更新,这使得冷门用户/物品能够从有类似历史偏好或知识偏好的热门用户/物品那里获得额外的信息;热门种子充足的交互信息使得他们的种子表征可以被充分地学习。由于共享表征,那些与热门用户/物品相似的冷门用户/物品的表征也可以被更新,让热门用户/物品的信息流向与其相似的冷门用户/物品中,大大提升了冷门用户/物品的表征质量,从而缓解了用户侧和物品侧的冷启动问题。
S605、利用动态信息共享模块将知识加权表征和动态表征进行聚合,得到每个用户和物品的最终表征,将用户最终表征和物品最终表征进行点积获得最后的预测值即为用户与物品交互的概率。
在一些实施例中,动态信息共享模块将知识感知嵌入模块生成的知识加权表征和动态共享用户/物品热门种子的表征进行聚合,得到每个用户和物品的最终表征,具体表达式为:
在一些实施例中,对系统模型的训练通过用交叉熵损失函数进行更新:
其中,表示用户的物品正样本,表示用户的物品负样本,表示系统模型预测的用户与物品产生交互的概率,表示正则项的系数,是交叉熵函数,是系统模型中的训练参数,使用正则防止系统模型过拟合,对于正样本有,对于负样本。
本实施例提供的一种基于知识图谱的推荐方法,受到相似的用户往往有相似的物品偏好以及相似的物品也可能会被相同的用户交互的启发,找到各用户/物品的相似热门用户/物品,通过动态的信息共享,热门用户/物品的信息流向与其相似的冷门用户/物品中,从而缓解了用户侧和物品侧的冷启动问题。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和步骤,也不是必须按所描述的顺序执行。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
基于本发明的实施例3
根据本发明实施例的系统也可以借助于图7所示的电子设备的架构来实现。图7示出了该电子设备的架构。如图7所示,包括:计算机系统701、系统总线703、一个或多个CPU704、输入/输出702、存储器705等。存储器705可以存储电子设备处理和/或通信使用的各种数据或文件以及CPU所执行包括实施例2方法的程序指令。图7所示的架构只是示例性的,在实现不同的设备时,根据实际需要调整图7中的一个或多个组件。
基于本发明的实施例4
本发明实施例也可以被实现为计算机可读存储介质。根据实施例4的计算机可读存储介质上存储有计算机可读指令。当所述计算机可读指令由处理器运行时,可以执行参照以上附图描述的根据本发明实施例2的基于知识图谱的推荐方法。
本发明实施例提供的一种基于知识图谱的推荐系统、推荐方法和相关设备,基于知识图谱的推荐系统为基于动态信息分享的知识注意力神经网络系统,由于相似的用户往往有相似的物品偏好以及相似的物品也可能会被相同的用户交互,将各用户/物品与其相似的热门用户/物品进行动态的信息共享,同时缓解了用户侧和物品侧的冷启动问题,同时,系统设计了用户历史信息嵌入模块和知识感知嵌入模块,能同时从历史交互和知识关联两个方面去寻找相似的用户/物品。
在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的步骤、方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种步骤、方法所固有的要素。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (8)
1.一种基于知识图谱的推荐系统,其特征在于,推荐系统包括推荐任务模块、用户历史信息嵌入模块、知识感知嵌入模块以及动态信息共享模块;
其中,推荐任务模块提供用户物品交互的二部图以及物品侧的知识图谱并给出推荐任务,确定推荐任务为预测一对用户物品中用户与物品产生交互的概率;
用户历史信息嵌入模块根据用户的历史交互行为生成用户表征;
知识感知嵌入模块利用知识感知的注意力机制,为用户和物品生成知识加权表征;
动态信息共享模块基于神经网络,根据用户物品交互的二部图以及物品侧的知识图谱得到用户热门种子和物品热门种子,利用用户表征和知识加权表征计算每个用户与用户热门种子、每个物品与物品热门种子的相似度,根据相似度共享用户热门种子和物品热门种子的动态表征;
动态信息共享模块将知识加权表征和动态表征进行聚合,得到每个用户和每个物品的最终表征,将用户最终表征和物品最终表征进行点积获得最后的预测值即为用户与物品交互的概率;
其中, 所述知识感知嵌入模块利用知识感知的注意力机制,为用户和物品生成知识加权表征,具体表达式为:
其中, 表示用户/物品在k跳的知识加权表征,o表示用户 或物品i,表示用户或物品的k跳三元邻居集合,表示知识图谱中的三元组,其中代表头实体,代表尾实体,代表头实体和尾实体之间的关系,表示在知识图谱 中采样的跳数,表示头实体和尾实体之间产生的注意力系数,表示尾实体的表征向量;
利用用户表征和知识加权表征计算每个用户与用户热门种子、每个物品与物品热门种子的相似度,具体包括:
2.根据权利要求1所述的基于知识图谱的推荐系统,其特征在于,所述用户历史信息嵌入模块根据用户的历史交互行为利用注意力机制来生成用户表征。
3.根据权利要求1所述的基于知识图谱的推荐系统,其特征在于,所述动态信息共享模块利用用户物品交互的二部图以及物品侧的知识图谱进行k-means聚类算法,得到最接近聚类中心点的用户热门种子和物品热门种子。
6.一种基于知识图谱的推荐方法,其特征在于,所述方法包括以下步骤:
利用推荐任务模块提供用户物品交互的二部图以及物品侧的知识图谱并给出推荐任务,对于一对用户物品,确定推荐任务为预测一对用户物品中用户与物品产生交互的概率;
利用用户历史信息嵌入模块根据用户的历史交互行为生成用户表征;
利用知识感知嵌入模块利用知识感知的注意力机制,为用户和物品生成知识加权表征;
利用基于神经网络的动态信息共享模块,根据用户物品交互的二部图以及物品侧的知识图谱得到用户热门种子和物品热门种子,利用用户表征和知识加权表征计算每个用户与用户热门种子、每个物品与物品热门种子的相似度,根据相似度共享用户和物品热门种子的动态表征;
利用动态信息共享模块将知识加权表征和动态表征进行聚合,得到每个用户和物品的最终表征,将用户最终表征和物品最终表征进行点积获得最后的预测值即为用户与物品交互的概率;
其中, 所述知识感知嵌入模块利用知识感知的注意力机制,为用户和物品生成知识加权表征,具体表达式为:
其中, 表示用户/物品在k跳的知识加权表征,o表示用户 或物品i,表示用户或物品的k跳三元邻居集合,表示知识图谱中的三元组,其中代表头实体,代表尾实体,代表头实体和尾实体之间的关系,表示在知识图谱 中采样的跳数,表示头实体和尾实体之间产生的注意力系数,表示尾实体的表征向量;
利用用户表征和知识加权表征计算每个用户与用户热门种子、每个物品与物品热门种子的相似度,具体包括:
7.一种电子设备,其特征在于,包括:处理器;以及存储器,其中,所述存储器中存储有计算机可执行程序,当由所述处理器执行所述计算机可执行程序时,执行权利要求6所述的推荐方法。
8.一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如权利要求6所述的推荐方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210677070.5A CN114756694B (zh) | 2022-06-16 | 2022-06-16 | 基于知识图谱的推荐系统、推荐方法和相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210677070.5A CN114756694B (zh) | 2022-06-16 | 2022-06-16 | 基于知识图谱的推荐系统、推荐方法和相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114756694A CN114756694A (zh) | 2022-07-15 |
CN114756694B true CN114756694B (zh) | 2022-10-14 |
Family
ID=82336786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210677070.5A Active CN114756694B (zh) | 2022-06-16 | 2022-06-16 | 基于知识图谱的推荐系统、推荐方法和相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114756694B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116450938A (zh) * | 2023-04-07 | 2023-07-18 | 北京欧拉认知智能科技有限公司 | 一种基于图谱的工单推荐实现方法及系统 |
CN116756203B (zh) * | 2023-06-13 | 2024-06-11 | 淮阴工学院 | 一种基于碳减排目标的知识图谱驱动冷链物流设备选型方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105138624A (zh) * | 2015-08-14 | 2015-12-09 | 北京矩道优达网络科技有限公司 | 一种基于在线课程用户数据的个性化推荐方法 |
CN112488791A (zh) * | 2020-11-30 | 2021-03-12 | 中国传媒大学 | 一种基于知识图谱卷积算法的个性化推荐方法 |
CN112507132A (zh) * | 2020-12-14 | 2021-03-16 | 天津大学 | 一种基于知识图谱和注意力机制的推荐方法 |
CN112989064A (zh) * | 2021-03-16 | 2021-06-18 | 重庆理工大学 | 一种聚合知识图神经网络和自适应注意力的推荐方法 |
CN113010778A (zh) * | 2021-03-10 | 2021-06-22 | 北京明略软件系统有限公司 | 一种基于用户历史兴趣的知识图谱推荐方法和系统 |
CN113158033A (zh) * | 2021-03-19 | 2021-07-23 | 浙江工业大学 | 一种基于知识图谱偏好传播的协同推荐模型构建方法 |
CN113590900A (zh) * | 2021-07-29 | 2021-11-02 | 南京工业大学 | 一种融合动态知识图谱的序列推荐方法 |
CN113934936A (zh) * | 2021-10-22 | 2022-01-14 | 南京邮电大学 | 融合知识图卷积网络和用户偏好的推荐算法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3094507A1 (en) * | 2019-10-25 | 2021-04-25 | The Governing Council Of The University Of Toronto | Systems, devices and methods for transfer learning with a mixture of experts model |
CN112149004B (zh) * | 2020-10-30 | 2022-10-25 | 中国科学院计算技术研究所 | 一种基于协同知识图谱的个性化推荐方法 |
CN114491247A (zh) * | 2022-01-17 | 2022-05-13 | 南京邮电大学 | 一种基于知识图谱和用户长短期兴趣的推荐方法 |
-
2022
- 2022-06-16 CN CN202210677070.5A patent/CN114756694B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105138624A (zh) * | 2015-08-14 | 2015-12-09 | 北京矩道优达网络科技有限公司 | 一种基于在线课程用户数据的个性化推荐方法 |
CN112488791A (zh) * | 2020-11-30 | 2021-03-12 | 中国传媒大学 | 一种基于知识图谱卷积算法的个性化推荐方法 |
CN112507132A (zh) * | 2020-12-14 | 2021-03-16 | 天津大学 | 一种基于知识图谱和注意力机制的推荐方法 |
CN113010778A (zh) * | 2021-03-10 | 2021-06-22 | 北京明略软件系统有限公司 | 一种基于用户历史兴趣的知识图谱推荐方法和系统 |
CN112989064A (zh) * | 2021-03-16 | 2021-06-18 | 重庆理工大学 | 一种聚合知识图神经网络和自适应注意力的推荐方法 |
CN113158033A (zh) * | 2021-03-19 | 2021-07-23 | 浙江工业大学 | 一种基于知识图谱偏好传播的协同推荐模型构建方法 |
CN113590900A (zh) * | 2021-07-29 | 2021-11-02 | 南京工业大学 | 一种融合动态知识图谱的序列推荐方法 |
CN113934936A (zh) * | 2021-10-22 | 2022-01-14 | 南京邮电大学 | 融合知识图卷积网络和用户偏好的推荐算法 |
Non-Patent Citations (5)
Title |
---|
An Approach for Constructing Knowledge Map Embedded in the Social Relationship Network;Yun Zhang 等;《2010 International Conference on E-Business and E-Government》;20101030;1750-1754 * |
基于电影属性和交互信息的电影推荐算法;顾亦然 等;《南京理工大学学报》;20220430;第46卷(第2期);177-184 * |
基于知识图谱用户偏好传播的实体推荐模型;刘勤等;《计算机应用研究》;20201005(第10期);52-57 * |
基于知识图谱的个性化学习模型与支持机制研究;刘凤娟 等;《中国电化教育》;20220507(第5期);75-81+90 * |
基于知识图谱的推荐算法研究;文峰 等;《沈阳理工大学学报》;20211210;第40卷(第6期);13-17 * |
Also Published As
Publication number | Publication date |
---|---|
CN114756694A (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111523047B (zh) | 基于图神经网络的多关系协同过滤算法 | |
CN110866190B (zh) | 训练用于表征知识图谱的图神经网络模型的方法及装置 | |
Yin et al. | A deeper graph neural network for recommender systems | |
CN114756694B (zh) | 基于知识图谱的推荐系统、推荐方法和相关设备 | |
CN109544306B (zh) | 一种基于用户行为序列特征的跨领域推荐方法及装置 | |
Wei et al. | Fast adaptation for cold-start collaborative filtering with meta-learning | |
US9619749B2 (en) | Neural network and method of neural network training | |
CN112989064B (zh) | 一种聚合知识图神经网络和自适应注意力的推荐方法 | |
CN110619081A (zh) | 一种基于交互图神经网络的新闻推送方法 | |
CN108595533B (zh) | 一种基于协同过滤的物品推荐方法、存储介质及服务器 | |
CN112488791A (zh) | 一种基于知识图谱卷积算法的个性化推荐方法 | |
Li et al. | Multi-objective self-paced learning | |
Sun et al. | APL: Adversarial pairwise learning for recommender systems | |
WO2022252458A1 (zh) | 一种分类模型训练方法、装置、设备及介质 | |
CN110737730B (zh) | 基于无监督学习的用户分类方法、装置、设备及存储介质 | |
CN112580728B (zh) | 一种基于强化学习的动态链路预测模型鲁棒性增强方法 | |
CN113590976A (zh) | 一种空间自适应图卷积网络的推荐方法 | |
Wang et al. | Feature subspace transfer for collaborative filtering | |
Luo et al. | Multinomial Bayesian extreme learning machine for sparse and accurate classification model | |
CN116501956A (zh) | 一种基于分层图对比学习的知识感知多域推荐方法及系统 | |
CN115098692A (zh) | 跨域推荐方法、装置、电子设备及存储介质 | |
Huang et al. | On the improvement of reinforcement active learning with the involvement of cross entropy to address one-shot learning problem | |
CN117216281A (zh) | 一种基于知识图谱的用户兴趣扩散推荐方法及系统 | |
CN114579852A (zh) | 一种基于图卷积网络与注意力机制的推荐方法 | |
CN109697511B (zh) | 数据推理方法、装置及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |