CN110275964B - 基于知识图谱与循环神经网络的推荐模型 - Google Patents

基于知识图谱与循环神经网络的推荐模型 Download PDF

Info

Publication number
CN110275964B
CN110275964B CN201910562890.8A CN201910562890A CN110275964B CN 110275964 B CN110275964 B CN 110275964B CN 201910562890 A CN201910562890 A CN 201910562890A CN 110275964 B CN110275964 B CN 110275964B
Authority
CN
China
Prior art keywords
diffusion
preference
user
knowledge graph
recommendation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910562890.8A
Other languages
English (en)
Other versions
CN110275964A (zh
Inventor
程淑玉
黄淑桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910562890.8A priority Critical patent/CN110275964B/zh
Publication of CN110275964A publication Critical patent/CN110275964A/zh
Application granted granted Critical
Publication of CN110275964B publication Critical patent/CN110275964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于知识图谱与循环神经网络的推荐模型，包括有知识图谱特征学习模块、扩散偏好集和循环神经网络推荐模块；知识图谱特征学习模块为知识图谱中的每个实体和关系学习得到一个低维向量，扩散偏好集包括有h+1层扩散偏好集
Figure DDA0002108762440000011
h为扩散层数，每层相邻的扩散偏好集之间通过知识图谱连接，循环神经网络推荐模块对用户扩散偏好集进行学习，获取包含更多有用信息的更深层次的用户偏好表示，用于后续预测用户喜欢某个物品的概率。本发明利用知识图谱以及偏好扩散思想获取用户的扩散偏好集，将扩散偏好集作为循环神经网络的输入，以学习到更深层次的用户偏好特征表示，用于后续预测用户喜欢某个物品的概率。

Description

基于知识图谱与循环神经网络的推荐模型
技术领域
本发明涉及大数据推荐模型领域，具体是一种基于知识图谱与循环神经网络的推荐模型。
背景技术
推荐系统能够根据用户的属性档案和历史行为记录，学习用户的兴趣偏好，并从海量的内容中筛选出用户可能感兴趣的部分推荐给用户，解决了大数据时代下的信息过载问题，提高了用户体验，被大量应用在新闻、电影、书籍等在线内容和服务平台。协同过滤推荐是目前应用最广泛的推荐方法，它以用户对物品的偏好为基础，发现物品本身的相关性，为用户推荐具有相关性的物品；或者发现用户的相关性，然后将该用户偏好的物品推荐给其他具有相关性的用户。由于协同过滤推荐依赖用户的历史偏好数据，且偏好数据十分稀疏，从而降低了推荐的精确度。同时，新用户和新物品还将面临冷启动问题。
为了解决这些问题，研究者们尝试将额外的辅助信息引入推荐算法中，来丰富用户、物品或者信息的描述，从而弥补用户的历史偏好数据集的稀疏或缺失。常用的辅助信息包括：社交网络、用户/物品属性、图像/文本等多媒体信息、上下文信息、知识图谱等。
知识图谱是近年来新兴的一种辅助信息，其基本结构是一种有向异构图。知识图谱是Google于2012年5月17日正式提出的，是一种揭示实体之间关系的异构语义网络，可以对现实世界的事物及其相互关系进行形式化的描述。知识图谱中，节点E＝{e1,e2,e3,...,e|E|}代表实体或者概念，边R＝{r1,r2,r3,...,r|R|}代表实体/概念之间的各种语义关系。一个三元组(h,r,t)表示一条知识，两个实体间存在着某种关系，其中h表示知识的头节点，t表示尾节点。若干三元组的集合
Figure BDA0002108762420000011
构成一个知识图谱。知识图谱特征学习(KGE)是网络特征学习的一个子领域，它为知识图谱中的每个实体和关系学习得到一个低维向量，降低知识图谱的高维性和异构性，同时保持图中原有的结构或语义信息。一般而言，KGE的模型[12]分为两类:(1)、基于语义的匹配模型：这类模型使用基于相似度的评分函数评估三元组的置信度，将实体和关系映射到语义空间中进行相似度度量。典型代表有ANALOGY[14]、ComplEx[15]、DisMult[16]等；(2)、基于距离的翻译模型：这类模型的核心思想是将实体和关系投影到同一空间下，然后使用基于距离的评分函数评估三元组的置信度，将关系视为从头节点实体到尾节点实体的翻译。典型代表有TransE、TransH、TransD、TransR等。
将知识图谱引入推荐系统能够提供用户、物品之间更丰富的语义关联，从而进一步提高推荐的准确率。基于知识图谱的推荐系统分为两类，一类采用的是基于知识图谱特征学习(knowledge graph embedding，KGE)方法，如Fuzheng Zhang等提出的CKE模型，该模型首先进行物品的知识图谱特征、文本特征及图像特征学习，然后将这些特征应用于协同过滤；Hongwei Wang等提出DKN模型，该模型首先学习新闻标题的词向量和实体向量、实体上下文向量，然后通过卷积神经网络的框架进行融合得到新闻实体的特征向量，用于后续的个性化推荐，这些模型中的知识图谱特征学习模块和推荐模块是相互独立的，其中知识图谱特征学习模块学习到的实体特征表示更适用于知识图谱内部的应用，如实体间的连接预测，对推荐生成的帮助比较有限。另一类采用的是基于开放链接数据(linked opendata，LOD)的方法，如Xiao Yu等提出的PE模型，Qianqi Fang等提出的Meta-Graph[10]模型都采取将知识图谱视为一个异构信息网络，构造物品之间的基于meta-path或meta-graph的特征。例如，“电影->题材->电影->主演->电影”这条meta-path可以连接两首歌曲，因此可以视为一种挖掘歌曲之间的潜在关系的方式。这类方法的优点是充分且直观地利用了知识图谱的网络结构，缺点是需要手动设计meta-path或meta-graph，使得模型在实践中难以优化。
发明内容
本发明要解决的技术问题是提供一种基于知识图谱与循环神经网络的推荐模型,利用知识图谱以及偏好扩散思想获取用户的扩散偏好集，将扩散偏好集作为循环神经网络的输入，以学习到更深层次的用户偏好特征表示，用于后续预测用户喜欢某个物品的概率。
本发明的技术方案为：
基于知识图谱与循环神经网络的推荐模型，包括有知识图谱特征学习模块、扩散偏好集和循环神经网络推荐模块；所述的知识图谱特征学习模块为知识图谱中的每个实体和关系学习得到一个低维向量，降低知识图谱的高维性和异构性，同时保持图中原有的结构或语义信息；所述的扩散偏好集包括有h+1层扩散偏好集
Figure BDA0002108762420000031
h为扩散层数，每层相邻的扩散偏好集之间通过知识图谱连接，相邻的两层扩散偏好集中，上一层扩散偏好集的每个实体通过知识图谱连接到下一层扩散偏好集的对应实体，最后得到整体扩散偏好集/>
Figure BDA0002108762420000032
所述的循环神经网络推荐模块对用户扩散偏好集进行学习，获取包含更多有用信息的更深层次的用户偏好表示，用于后续预测用户喜欢某个物品的概率。
所述的知识图谱特征学习模块采用基于距离的翻译模型要求所有真实三元组(h,r,t)应满足h+r≈t；因此相关的损失函数定义为：
Figure BDA0002108762420000033
式(1)中，σ表示sigmoid函数
Figure BDA0002108762420000034
sigmoid函数/>
Figure BDA0002108762420000035
中的f(x)的定义是归一化指数函数，e-x的定义是e的-x次幂。
所述的循环神经网络推荐模块首先将遗忘门和输入门合成了一个单一的更新门，更新门用于确定前一个状态信息被传递到当前状态中的程度：
rt＝σ(Wrxt+Urht-1) (2)，
式(2)中的rt表示更新门，σ为参数，xt为第t个时间步的输入向量，ht-1为前一时刻(t-1)状态信息，Wr、Ur分别为输入序列xt、ht-1连接到更新门的权重矩阵；
然后重置门用于确定忽略前一个状态信息的程度：
zt＝σ(Wzxt+Uzht-1) (3)，
式(3)中的zt表示重置门、Wz、Uz分别为输入序列xt、ht-1连接到重置门的权重矩阵；
候选状态
Figure BDA0002108762420000041
的计算如下：
Figure BDA0002108762420000042
式(4)中，
Figure BDA0002108762420000043
为候选时刻状态信息、ht-1为前一时刻的状态信息、W、U为权重矩阵；
当前状态是前一个状态和候选状态之间的线性插值：
Figure BDA0002108762420000044
式(5)，ht当前时刻状态信息、ht-1为前一时刻的状态信息；
再采用基于物品的注意力机制，对输入的不同部分进行线性组合，从而构成用户的偏好特征表示：
Figure BDA0002108762420000045
其中，αjn表示第j个隐藏状态和最后第n个状态的匹配程度，其中n是用户扩散偏好集Eu的大小，表示了第j个物品对用户u的相对重要性，从而确定了在推荐过程中哪些物品应该被重视，而哪些物品应该相对被忽略；hn为最后第n时刻状态信息。
其中，式(6)中的αjn的计算如下：
Figure BDA0002108762420000046
式(7)中，hn为最后第n个状态信息、hj为第j个隐藏状态信息；
得到用户的偏好特征表示之后，预测用户u喜欢某个候选物品ci的概率：
Figure BDA0002108762420000051
式(8)中，
Figure BDA0002108762420000052
为用户喜欢某个候选物品的概率，uT为用户矩阵的转置；
最后，通过最小化真实值和预测值间的交叉熵损失来训练模型：
Figure BDA0002108762420000053
其中qi为预测概率分布，而pi为真实概率分布；
因此，最终的损失函数为：
Loss＝LKGE+Lpredict (10)。
所述的更新门是采用门控循环单元进行合成的，门控循环单元作为RNN单元是长短期记忆网络的一种变体，RNN的输入序列不是单纯的时序关系，而是基于用户扩散偏好集的层次关系，内部层次的物品位于输入序列的前面，外部层次的物品位于输入序列的后面。
本发明的优点：
(1)、本发明提出通过“偏好扩散”自发挖掘用户的潜在偏好，将知识图谱特征学习融入到推荐模型内，利用知识图谱中实体的连接获取用户扩散偏好集，丰富了用户的偏好信息，具有很好的可解释性。
(2)、本发明针对用户历史偏好数据稀疏问题，提出利用循环神经网络(RNN)进行推荐，将用户扩散偏好集作为循环神经网络的输入，结合基于物品的注意力机制对用户扩散偏好集进行学习，获取包含更多有用信息的更深层次的用户偏好表示，用于后续预测用户喜欢某个物品的概率，
综上所述，本发明的推荐方法取得最好的推荐效果，因为它利用了物品属性信息，考虑了物品之间的语义关系，而且考虑用户消费偏好物品的顺序的同时，还引入了用户扩散偏好集，丰富了用户历史偏好数据。
附图说明
图1是知识图谱样例图。
图2是利用循环神经网络的推荐模型框架图。
图3是电影数据集MovieLens-1M在本发明算法与其他推荐算法的点击率预测图，其中，从左至右的柱状分别表示为BPR-MF推荐算法、RNNRec推荐算法、CKE推荐算法、RippleNet推荐算法和Proposed推荐算法。
图4是图书数据集Book-Crossing在本发明算法与其他推荐算法的点击率预测图，其中，从左至右的柱状分别表示为BPR-MF推荐算法、RNNRec推荐算法、CKE推荐算法、RippleNet推荐算法和Proposed推荐算法。
图5是电影数据集MovieLens-1M在本发明Proposed算法与其他推荐算法下不同K值的召回率线形图，其中，从下至上的线条分别表示为BPR-MF推荐算法、CKE推荐算法、RippleNet推荐算法、RNNRec推荐算法和Proposed推荐算法,且BPR-MF推荐算法、CKE推荐算法、RippleNet推荐算法在K为10处有交叉点。
图6是电影数据集MovieLens-1M在本发明Proposed算法与其他推荐算法下不同K值的准确率线形图，其中，从下至上的线条分别表示为BPR-MF推荐算法、CKE推荐算法、RippleNet推荐算法、RNNRec推荐算法和Proposed推荐算法，且RNNRec推荐算法和Proposed推荐算法在K为20和60处有交叉点。
图7是图书数据集Book-Crossing在本发明Proposed算法与其他推荐算法下不同K值的召回率线形图，其中，从下至上的线条分别表示为BPR-MF推荐算法、CKE推荐算法、RippleNet推荐算法、RNNRec推荐算法和Proposed推荐算法，且RippleNet推荐算法、RNNRec推荐算法和Proposed推荐算法在K为10处有交叉点，RNNRec推荐算法和Proposed推荐算法在K为30-50之间有交叉点。
图8是图书数据集Book-Crossing在本发明Proposed算法与其他推荐算法下不同K值的准确率线形图，其中，从下至上的线条分别表示为BPR-MF推荐算法、CKE推荐算法、RippleNet推荐算法、RNNRec推荐算法和Proposed推荐算法，且RNNRec推荐算法和Proposed推荐算法在K为50-60之间有交叉点。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于知识图谱与循环神经网络的推荐模型，包括有知识图谱特征学习模块、扩散偏好集和循环神经网络推荐模块；
知识图谱特征学习模块为知识图谱中的每个实体和关系学习得到一个低维向量，降低知识图谱的高维性和异构性，同时保持图中原有的结构或语义信息；知识图谱特征学习模块采用基于距离的翻译模型要求所有真实三元组(h,r,t)应满足h+r≈t；因此相关的损失函数定义为：
Figure BDA0002108762420000071
式(1)中，σ表示sigmoid函数
Figure BDA0002108762420000072
sigmoid函数/>
Figure BDA0002108762420000073
中的f(x)的定义是归一化指数函数，e-x的定义是e的-x次幂。
一个用户的偏好集可以通过知识图谱的连接，逐层往外扩散，形成扩散偏好集；扩散偏好集包括有h+1层扩散偏好集
Figure BDA0002108762420000074
h为扩散层数，每层相邻的扩散偏好集之间通过知识图谱连接，相邻的两层扩散偏好集中，上一层扩散偏好集的每个实体通过知识图谱连接到下一层扩散偏好集的对应实体，最后得到整体扩散偏好集/>
Figure BDA0002108762420000075
如图1中电影“霸王别姬”和主演“张国荣”之间有连接，而“张国荣”又与其主演的电影“风月”之间有连接，那么喜欢电影“霸王别姬”的用户的偏好就可以通过这个关系，扩散到电影“风月”上了；
循环神经网络推荐模块对用户扩散偏好集进行学习，获取包含更多有用信息的更深层次的用户偏好表示，用于后续预测用户喜欢某个物品的概率，整体架构如图2所示；
循环神经网络推荐模块首先将遗忘门和输入门合成了一个单一的更新门，更新门用于确定前一个状态信息被传递到当前状态中的程度：
rt＝σ(Wrxt+Urht-1) (2)，
式(2)中的rt表示更新门，σ为参数，xt为第t个时间步的输入向量，ht-1为前一时刻(t-1)状态信息，Wr、Ur分别为输入序列xt、ht-1连接到更新门的权重矩阵；
然后重置门用于确定忽略前一个状态信息的程度：
zt＝σ(Wzxt+Uzht-1) (3)，
式(3)中的zt表示重置门、Wz、Uz分别为输入序列xt、ht-1连接到重置门的权重矩阵；
候选状态
Figure BDA0002108762420000081
的计算如下：
Figure BDA0002108762420000082
式(4)中，
Figure BDA0002108762420000083
为候选时刻状态信息、ht-1为前一时刻的状态信息、W、U为权重矩阵；
当前状态是前一个状态和候选状态之间的线性插值：
Figure BDA0002108762420000084
式(5)，ht当前时刻状态信息、ht-1为前一时刻的状态信息；
再采用基于物品的注意力机制，对输入的不同部分进行线性组合，从而构成用户的偏好特征表示：
Figure BDA0002108762420000085
其中，αjn表示第j个隐藏状态和最后第n个状态的匹配程度，其中n是用户扩散偏好集Eu的大小，表示了第j个物品对用户u的相对重要性，从而确定了在推荐过程中哪些物品应该被重视，而哪些物品应该相对被忽略；hn为最后第n时刻状态信息。
其中，式(6)中的αjn的计算如下：
Figure BDA0002108762420000091
式(7)中，hn为最后第n个状态信息、hj为第j个隐藏状态信息；
得到用户的偏好特征表示之后，预测用户u喜欢某个候选物品ci的概率：
Figure BDA0002108762420000092
式(8)中，
Figure BDA0002108762420000093
为用户喜欢某个候选物品的概率，uT为用户矩阵的转置；
最后，通过最小化真实值和预测值间的交叉熵损失来训练模型：
Figure BDA0002108762420000094
其中qi为预测概率分布，而pi为真实概率分布；
因此，最终的损失函数为：
Loss＝LKGE+Lpredict (10)。
其中，更新门是采用门控循环单元进行合成的，门控循环单元作为RNN单元是长短期记忆网络的一种变体，RNN的输入序列不是单纯的时序关系，而是基于用户扩散偏好集的层次关系，内部层次的物品位于输入序列的前面，外部层次的物品位于输入序列的后面。
实验设置与结果分析：
(1)、数据集介绍：
采用了电影数据集MovieLens-1M和图书数据集Book-Crossing。其中MovieLens-1M包括了6036个用户，2445部电影，以及百万条评分信息。Book-Crossing包括了17860个用户，14967本图书，以及百万条评分信息。把用户的高评分数据(评分大于等于4为高分)转化为用标记1代表已评分，从而将MovieLens-1M的显示反馈数据转化为隐式反馈数据。由于Book-Crossing数据集比较稀疏，所以把所有评分数据都用标记1表示。另外，为每个用户随机选取若干部未观看的电影以及图书，并加上标记0，数量与已评分项的数量相同。采用Hongwei Wang等用Microsoft Satori公开知识库为数据集构建知识图谱。
(2)、实验设置：
实验的具体参数设置如表1。其中，d表示物品特征表示的维度和用户特征表示的维度，h表示扩散偏好集的层数，m表示扩散偏好集的每层大小，λ表示KGE损失的权重，η表示模型学习率。
表1实验参数设置
d h m λ η
MovieLens-1M 16 3 32 0.01 0.02
Book-Crossing 4 4 32 0.01 0.001
将数据集划分80％数据作为训练集，20％数据作为测试集。实验结果均为5次重复实验得出的平均值。实验共在两种情景下进行：(1)点击率预测，度量标准为精确率Acc和AUC；(2)Top-K列表推荐，度量标准为回收率recall@K、准确率precision@K。
(3)、算法比较：
将本发明Proposed算法与其他优秀的推荐算法进行比较，在点击率预测及Top-K列表推荐情景下的结果如图3-图8所示。
其中，BPR-MF是基于贝叶斯个性化排序的矩阵分解，通过构建用户对不同物品的偏序关系进行协同过滤的推荐。该方法在两个数据集上的召回率和精确度都是最低，效果最不理想，因为它只考虑了不同物品对用户的影响力的差别，而完全忽略了对物品语义信息的利用；
RNNRec是根据用户的时序的异构行为，例如浏览、购买等，利用RNN模型去预测用户喜欢某个物品等概率。本实验中，仅把用户行为划分为有评分和无评分两种，没有利用多种异构交互行为。该方法点击率预测仅次于RippleNet和本文方法，并且在Top-K列表推荐情景下优于RippleNet。
CKE是先进行物品的KGE学习、文本特征学习、图像特征学习，并将这些特征引用于协同过滤推荐。在本文实验中，只利用了KGE，而没有利用文本特征和图像特征，所以效果相对会差一些，仅优于BPR-MF。
RippleNet是将知识图谱特征学习融入推荐模型，利用“偏好扩散”结合注意力机制得到用户的偏好特征表示。RippleNet取得很好的效果，但是相比本文提出的用RNN学习深层次用户偏好特征的方法，RippleNet只是对用户的扩散偏好集采用了注意力机制的方法来获取用户偏好特征，因此效果还是略逊色一点。
(4)、总结：
在所有对比方法中，本发明的方法取得最好的推荐效果，因为它利用了物品属性信息，考虑了物品之间的语义关系，而且考虑用户消费偏好物品的顺序的同时，还引入了用户扩散偏好集，丰富了用户历史偏好数据。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.基于知识图谱与循环神经网络的推荐系统，其特征在于：包括有知识图谱特征学习模块、扩散偏好集和循环神经网络推荐模块；所述的知识图谱特征学习模块为知识图谱中的每个实体和关系学习得到一个低维向量，降低知识图谱的高维性和异构性，同时保持图中原有的结构或语义信息；所述的扩散偏好集包括有h+1层扩散偏好集
Figure FDA0004274689380000011
h为扩散层数，每层相邻的扩散偏好集之间通过知识图谱连接，相邻的两层扩散偏好集中，上一层扩散偏好集的每个实体通过知识图谱连接到下一层扩散偏好集的对应实体，最后得到整体扩散偏好集/>
Figure FDA0004274689380000012
所述的循环神经网络推荐模块对用户扩散偏好集进行学习，获取包含更多有用信息的更深层次的用户偏好表示，用于后续预测用户喜欢某个物品的概率；
所述的知识图谱特征学习模块采用基于距离的翻译模型要求所有真实三元组(h,r,t)应满足h+r≈t；因此相关的损失函数定义为：
Figure FDA0004274689380000013
式(1)中，三元组(h,r,t)表示一条知识，h表示知识的头节点，t表示尾节点；若干三元组的集合
Figure FDA0004274689380000014
构成一个知识图谱；σ表示sigmoid函数
Figure FDA0004274689380000015
sigmoid函数/>
Figure FDA0004274689380000016
中的f(x)的定义是归一化指数函数，e-x的定义是e的-x次幂；
所述的循环神经网络推荐模块首先将遗忘门和输入门合成了一个单一的更新门，更新门用于确定前一个状态信息被传递到当前状态中的程度：
rt＝σ(Wrxt+Urht-1) (2)，
式(2)中的rt表示更新门，σ为参数，xt为第t个时间步的输入向量，ht-1为前一时刻(t-1)状态信息，Wr、Ur分别为输入序列xt、ht-1连接到更新门的权重矩阵；
然后重置门用于确定忽略前一个状态信息的程度：
zt＝σ(Wzxt+Uzht-1) (3)，
式(3)中的zt表示重置门、Wz、Uz分别为输入序列xt、ht-1连接到重置门的权重矩阵；
候选状态
Figure FDA0004274689380000021
的计算如下：
Figure FDA0004274689380000022
式(4)中，
Figure FDA0004274689380000023
为候选时刻状态信息、ht-1为前一时刻的状态信息、W、U为权重矩阵；
当前状态是前一个状态和候选状态之间的线性插值：
Figure FDA0004274689380000024
式(5)，ht当前时刻状态信息、ht-1为前一时刻的状态信息；
再采用基于物品的注意力机制，对输入的不同部分进行线性组合，从而构成用户的偏好特征表示：
Figure FDA0004274689380000025
其中，αjn表示第j个隐藏状态和最后第n个状态的匹配程度，其中n是用户扩散偏好集Eu的大小，表示了第j个物品对用户u的相对重要性，从而确定了在推荐过程中哪些物品应该被重视，而哪些物品应该相对被忽略；hn为最后第n时刻状态信息；
其中，式(6)中的αjn的计算如下：
Figure FDA0004274689380000026
式(7)中，hn为最后第n个状态信息、hj为第j个隐藏状态信息；
得到用户的偏好特征表示之后，预测用户u喜欢某个候选物品ci的概率：
Figure FDA0004274689380000027
式(8)中，
Figure FDA0004274689380000028
为用户喜欢某个候选物品的概率，uT为用户矩阵的转置；
最后，通过最小化真实值和预测值间的交叉熵损失来训练模型：
Figure FDA0004274689380000031
其中qi为预测概率分布，而pi为真实概率分布；
因此，最终的损失函数为：
Loss＝LKGE+Lpredict (10)。
2.根据权利要求1所述的基于知识图谱与循环神经网络的推荐系统，其特征在于：所述的更新门是采用门控循环单元进行合成的，门控循环单元作为RNN单元是长短期记忆网络的一种变体，RNN的输入序列不是单纯的时序关系，而是基于用户扩散偏好集的层次关系，内部层次的物品位于输入序列的前面，外部层次的物品位于输入序列的后面。
CN201910562890.8A 2019-06-26 2019-06-26 基于知识图谱与循环神经网络的推荐模型 Active CN110275964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910562890.8A CN110275964B (zh) 2019-06-26 2019-06-26 基于知识图谱与循环神经网络的推荐模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910562890.8A CN110275964B (zh) 2019-06-26 2019-06-26 基于知识图谱与循环神经网络的推荐模型

Publications (2)

Publication Number Publication Date
CN110275964A CN110275964A (zh) 2019-09-24
CN110275964B true CN110275964B (zh) 2023-07-14

Family

ID=67963295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910562890.8A Active CN110275964B (zh) 2019-06-26 2019-06-26 基于知识图谱与循环神经网络的推荐模型

Country Status (1)

Country Link
CN (1) CN110275964B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717099B (zh) * 2019-09-25 2022-04-22 优地网络有限公司 一种推荐影片的方法及终端
CN110879864B (zh) * 2019-10-29 2022-06-07 南京大学 一种基于图神经网络和注意力机制的上下文推荐方法
CN111078854B (zh) * 2019-12-13 2023-10-27 北京金山数字娱乐科技有限公司 问答预测模型的训练方法及装置、问答预测方法及装置
CN111310063B (zh) * 2020-02-03 2022-05-03 电子科技大学 基于神经网络的记忆感知门控因子分解机物品推荐方法
CN111522962B (zh) * 2020-04-09 2023-05-02 苏州大学 序列推荐方法、装置及计算机可读存储介质
CN111539786B (zh) * 2020-04-15 2022-05-06 清华大学 条件注意力网络及其在个性化推荐中的应用方法及装置
CN111651678B (zh) * 2020-06-18 2023-12-22 达观数据有限公司 一种基于知识图谱的个性化推荐方法
CN112085158A (zh) * 2020-07-21 2020-12-15 西安工程大学 一种基于堆栈降噪自编码器的图书推荐方法
CN112101984A (zh) * 2020-08-16 2020-12-18 复旦大学 一种融合用户微观行为和知识图谱的会话推荐模型
CN111931069B (zh) * 2020-09-25 2021-01-22 浙江口碑网络技术有限公司 用户兴趣确定方法、装置及计算机设备
CN112149004B (zh) * 2020-10-30 2022-10-25 中国科学院计算技术研究所 一种基于协同知识图谱的个性化推荐方法
CN112417313A (zh) * 2020-11-24 2021-02-26 云南大学 一种基于知识图卷积网络的模型混合推荐方法
CN112417306B (zh) * 2020-12-10 2024-02-02 北京工业大学 基于知识图谱的推荐算法性能优化的方法
CN112528149A (zh) * 2020-12-15 2021-03-19 河北远东通信系统工程有限公司 一种融合知识图谱及贝叶斯网络的智能推荐方法
CN112633927B (zh) * 2020-12-23 2021-11-19 浙江大学 一种基于知识图谱规则嵌入的组合商品挖掘方法
CN112632296B (zh) * 2020-12-31 2022-09-23 上海交通大学 基于知识图谱具有可解释性的论文推荐方法及系统、终端
CN113420215B (zh) * 2021-06-23 2023-08-29 东北大学 一种面向兴趣点推荐的可解释生成方法
CN113378056B (zh) * 2021-06-28 2023-09-26 特赞（上海）信息科技有限公司 获取创意案例的数据处理方法和装置
CN115631008B (zh) * 2021-07-16 2024-02-13 腾讯科技（深圳）有限公司 商品推荐方法、装置、设备及介质
CN113673773B (zh) * 2021-08-25 2024-01-23 山东科技大学 一种融合知识背景和学习时间预测的学习路径推荐方法
CN114637923B (zh) * 2022-05-19 2022-09-02 之江实验室 基于层次注意力图神经网络的数据信息推荐方法和装置
CN115905691A (zh) * 2022-11-11 2023-04-04 云南师范大学 一种基于深度强化学习的偏好感知推荐方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516235A (zh) * 2016-06-17 2017-12-26 阿里巴巴集团控股有限公司 商品偏好预估方法和装置
CN108920527A (zh) * 2018-06-07 2018-11-30 桂林电子科技大学 一种基于知识图谱的个性化推荐方法
CN109376864A (zh) * 2018-09-06 2019-02-22 电子科技大学 一种基于堆叠神经网络的知识图谱关系推理算法
CN109492157A (zh) * 2018-10-24 2019-03-19 华侨大学 基于rnn、注意力机制的新闻推荐方法及主题表征方法
CN109598586A (zh) * 2018-11-30 2019-04-09 哈尔滨工程大学 一种基于注意力模型的推荐方法
CN109815345A (zh) * 2019-02-25 2019-05-28 南京大学 一种基于路径的知识图谱嵌入方法
CN109844708A (zh) * 2017-06-21 2019-06-04 微软技术许可有限责任公司 通过聊天机器人推荐媒体内容
CN109903117A (zh) * 2019-01-04 2019-06-18 苏宁易购集团股份有限公司 一种用于商品推荐的知识图谱处理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8392263B2 (en) * 2008-02-24 2013-03-05 What Now, Inc. Method and system for selecting and conveying relevant and personalized gifts using online personal gift profile
CN105138508A (zh) * 2015-08-06 2015-12-09 电子科技大学 一种基于偏好扩散的上下文推荐系统
US10349134B2 (en) * 2017-05-10 2019-07-09 Accenture Global Solutions Limited Analyzing multimedia content using knowledge graph embeddings
CN108647251B (zh) * 2018-04-20 2021-06-18 昆明理工大学 基于宽深度门循环联合模型的推荐排序方法
CN109063188A (zh) * 2018-08-28 2018-12-21 国信优易数据有限公司 一种实体推荐方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516235A (zh) * 2016-06-17 2017-12-26 阿里巴巴集团控股有限公司 商品偏好预估方法和装置
CN109844708A (zh) * 2017-06-21 2019-06-04 微软技术许可有限责任公司 通过聊天机器人推荐媒体内容
CN108920527A (zh) * 2018-06-07 2018-11-30 桂林电子科技大学 一种基于知识图谱的个性化推荐方法
CN109376864A (zh) * 2018-09-06 2019-02-22 电子科技大学 一种基于堆叠神经网络的知识图谱关系推理算法
CN109492157A (zh) * 2018-10-24 2019-03-19 华侨大学 基于rnn、注意力机制的新闻推荐方法及主题表征方法
CN109598586A (zh) * 2018-11-30 2019-04-09 哈尔滨工程大学 一种基于注意力模型的推荐方法
CN109903117A (zh) * 2019-01-04 2019-06-18 苏宁易购集团股份有限公司 一种用于商品推荐的知识图谱处理方法及装置
CN109815345A (zh) * 2019-02-25 2019-05-28 南京大学 一种基于路径的知识图谱嵌入方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Enhancing collaborative recommendation performance by combining user preference and trust-distrust propagation in social networks;Wei-Po Lee 等;《Knowledge-Based Systems》;第106卷;125-134 *
基于用户偏好的深度学习推荐系统;汪加林;《中国优秀硕士学位论文全文数据库 信息科技辑》(第06期);I138-654 *

Also Published As

Publication number Publication date
CN110275964A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN110275964B (zh) 基于知识图谱与循环神经网络的推荐模型
Wu et al. A hierarchical attention model for social contextual image recommendation
Salehi et al. Hybrid attribute-based recommender system for learning material using genetic algorithm and a multidimensional information model
Salehi et al. Hybrid recommendation approach for learning material based on sequential pattern of the accessed material and the learner’s preference tree
CN112232925A (zh) 一种融合知识图谱对商品进行个性化推荐的方法
CN107833117B (zh) 一种考虑标签信息的贝叶斯个性化排序推荐方法
US11188830B2 (en) Method and system for user profiling for content recommendation
CN111382361B (zh) 信息推送方法、装置、存储介质和计算机设备
León et al. Applying logistic regression to relevance feedback in image retrieval systems
CN109840833B (zh) 贝叶斯协同过滤推荐方法
CN112380433B (zh) 面向冷启动用户的推荐元学习方法
CN110083764A (zh) 一种协同过滤算法冷启动问题的解决方法
CN112632296B (zh) 基于知识图谱具有可解释性的论文推荐方法及系统、终端
CN112256965A (zh) 一种基于lambdaMart的神经协同过滤模型推荐方法
CN114065048A (zh) 基于多异构图图神经网络的物品推荐方法
Grivolla et al. A hybrid recommender combining user, item and interaction data
CN113221003B (zh) 一种基于对偶理论的混合过滤推荐方法及系统
Lu et al. Recommender system based on scarce information mining
Castillo et al. ExUP recommendations: Inferring user's product metadata preferences from single-criterion rating systems
CN110795640A (zh) 一种弥补群组成员差异的自适应组推荐方法
CN115935067A (zh) 面向社会化推荐的语义与结构视图融合的物品推荐方法
OUAFTOUH et al. Flat and hierarchical user profile clustering in an e-commerce recommender system
Panagiotakis et al. A user training error based correction approach combined with the synthetic coordinate recommender system
Livinus et al. Recommender system in big data environment
Li et al. Collaborative filtering recommendation based on multi-domain semantic fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant