CN112149004B - 一种基于协同知识图谱的个性化推荐方法 - Google Patents

一种基于协同知识图谱的个性化推荐方法 Download PDF

Info

Publication number
CN112149004B
CN112149004B CN202011187518.2A CN202011187518A CN112149004B CN 112149004 B CN112149004 B CN 112149004B CN 202011187518 A CN202011187518 A CN 202011187518A CN 112149004 B CN112149004 B CN 112149004B
Authority
CN
China
Prior art keywords
embedding
quaternion
user
entity
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011187518.2A
Other languages
English (en)
Other versions
CN112149004A (zh
Inventor
黄庆明
李朝鹏
许倩倩
姜阳邦彦
操晓春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202011187518.2A priority Critical patent/CN112149004B/zh
Publication of CN112149004A publication Critical patent/CN112149004A/zh
Application granted granted Critical
Publication of CN112149004B publication Critical patent/CN112149004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9536Search customisation based on social or collaborative filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于知识图谱的个性化推荐方法,包括:S1、将用户集中的用户与物品集中的物品的历史交互数据和原有知识图谱结合到协同知识图谱中,在所述协同知识图谱中将用户与其交互物品在知识图谱中对应的实体使用有向边进行连接;S2、用四元数向量表示协同知识图谱中的每一个实体和关系;S3、采用注意力机制将实体的四元数嵌入沿着协同知识图谱的路径进行偏好传播与聚合;S4、基于完成偏好传播与聚合后的协同知识图谱,构建偏好分数预测函数计算每个用户与不同物品的偏好分数;S5、采用损失函数联合优化协同知识图谱的嵌入和偏好分数预测函数;S6、采用优化后的偏好分数预测函数预测用户对新物品的偏好分数,得到针对用户的新物品推荐列表。

Description

一种基于协同知识图谱的个性化推荐方法
技术领域
本发明涉及多媒体领域和自然语言处理领域,具体来说涉及知识图谱的个性化推荐领域,更具体地说,涉及一种基于协同知识图谱的个性化推荐方法。
背景技术
随着互联网的迅速发展,人们可获得的数据量呈指数级别增长,面对信息过载,用户很难从众多候选物品中挑选出自己真正感兴趣的物品。为了改善用户体验,给用户提供个性化的建议,推荐系统得到广泛应用。推荐系统中最为常用的算法是协同过滤算法,它根据历史的用户-物品交互信息计算用户相似度,从而进行推荐。这种算法通常是有效的,但是当历史用户-物品交互信息比较稀疏以及面对冷启动问题时,其性能大打折扣。为此,研究人员使用混合的推荐算法,将用户或物品的辅助信息引入协同过滤算法,作为对稀疏交互数据的补充,从而提高推荐算法的性能。
在多种多样的辅助信息中,知识图谱基于其易于获取、语义信息丰富、结构优良的有点,受到研究人员的广泛关注。将知识图谱引入推荐系统,利用其丰富的语义信息对用户-物品交互信息进行补充,有利于提高推荐结果的准确性;此外,知识图谱的连接结构,也有助于推荐结果的多样性和可解释性。现有的基于知识图谱的推荐算法通常可以分为基于嵌入的方法、基于路径的方法和混合的方法,但是这两种方法均存在一些缺陷,下面分别进行说明:
基于嵌入的方法使用知识图谱得到的物品嵌入作为物品特征,如结合物品的文本信息嵌入、图像信息嵌入和知识图谱结构信息嵌入作为物品的最终嵌入,从而进行推荐,这样的方法灵活性很高,但是其使用的嵌入算法更关注图谱补全等任务,而不是推荐任务,因此推荐效果的提升有限。基于路径的方法利用知识图谱中的连接路径显式地为推荐提供额外信息,如基于知识图谱中的连接结构,学习元路径的表示,从而描述用户-物品交互,这种方法非常直观,但是严重依赖预先定义好的有效的元路径和领域知识,因此其使用受到限制。
综合以上描述可知,混合的方法以知识图谱中的连接结构为指导信息,设计偏好传播机制对学习到的嵌入进行更新,从而得到更合理的用户和物品表示。其中,例如有人提出的模拟水波的传播形式,将用户偏好信息沿着知识图谱的路径进行显式传播,从而对用户和物品进行建模;或者在统一的用户-物品知识图谱上度量高阶关系辅助推荐算法。以上方法虽然对推荐算法的性能有所提升,但是现有的基于知识图谱的推荐算法使用实数向量表示用户、物品、实体和关系,其表达能力有限,且不具备内在的反对称性,因此会限制知识图谱种实体和关系之间的建模,影响最终的推荐效果。
发明内容
因此,本发明的目的在于克服上述现有技术的缺陷,提供一种新个性化推荐方法,即通过引入四元数,基于协同知识图谱的个性化推荐方法。
本发明提供一种基于知识图谱的个性化推荐方法,用于为用户进行新物品推荐,包括:S1、将用户集中的用户与物品集中的物品的历史交互数据和原有知识图谱结合到协同知识图谱中,在所述协同知识图谱中将用户与其交互物品在知识图谱中对应的实体使用有向边进行连接;S2、用四元数向量表示协同知识图谱中的每一个实体和关系;S3、采用注意力机制将实体的四元数嵌入沿着协同知识图谱的路径进行偏好传播与聚合;S4、基于完成偏好传播与聚合后的协同知识图谱,构建偏好分数预测函数计算每个用户与不同物品的偏好分数;S5、采用损失函数联合优化协同知识图谱的嵌入和偏好分数预测函数;S6、采用优化后的偏好分数预测函数预测用户对新物品的偏好分数,得到针对用户的新物品推荐列表。
优选的,在所述协同知识图谱中,所述实体包括用户集中的用户、物品集中的物品、原有知识图谱中的其他原有实体;所述关系包括用户与物品的历史双向交互关系和原有知识图谱中的其他原有关系。
在本发明的一些实施例中,所述步骤S2包括:
S21、用四元数向量表示协同知识图谱中的实体和关系,其中,协同知识图谱中包含多个由头实体、关系、尾实体组成的三元组,每个三元组中的头实体、关系、尾实体均用四元数向量表示,得到其各自对应的初始四元数嵌入;头实体的初始四元数向量表示为:wh=ah+bhi+chj+dhk,其中,h表示头实体,ah、bh、ch、dh为维度为l的实数向量,i,j,k为虚数单位数,满足汉密尔顿规则i2=j2=k2=ijk=-1;尾实体的初始四元数向量表示为:wt=at+bti+ctj+dtk,其中,t表示尾实体,at、bt、ct、dt为维度为l的实数向量;关系的初始四元数向量表示:wr=ar+bri+crj+drk,其中,r表示关系,ar、br、cr、dr为维度为l的实数向量。
S22、求取三元组中关系的初始四元数嵌入对应的共轭四元数嵌入,并分别对关系的初始四元数嵌入以及其对应共轭四元数嵌入进行标准化;其中,所述关系的初始四元数嵌入对应的共轭四元数嵌入为:
Figure BDA0002751773160000031
Figure BDA0002751773160000032
对关系的初始四元数嵌入和对应共轭四元数嵌入通过如下方式进行标准化:
Figure BDA0002751773160000033
其中,
Figure BDA0002751773160000034
是标准化的关系初始四元数嵌入,
Figure BDA0002751773160000035
是标准化的关系共轭四元数嵌入,a′r,b′r,c′r,d′r是标准化的关系初始四元数嵌入对应的实数向量,
Figure BDA0002751773160000036
是标准化的关系共轭四元数嵌入对应的实数向量,|wr|与
Figure BDA0002751773160000037
分别表示wr
Figure BDA0002751773160000038
的模长。
S23、使用汉密尔顿乘积对头实体的初始四元数嵌入和尾实体的初始四元数嵌入进行旋转,分别获得旋转后的头实体的四元数嵌入和旋转后的尾实体的四元数嵌入;在本发明的一些实施例中,通过如下方式对头实体和尾实体进行旋转:
计算头实体的初始四元数嵌入与标准化的关系的共轭四元数嵌入之间的汉密尔顿乘积,获得旋转后的头实体的四元数嵌入:
Figure BDA0002751773160000039
其中w′h表示旋转后的头实体四元数嵌入,a′h,b′h,c′h,d′h表示旋转后的头实体四元数嵌入对应的实数向量,⊙表示两个实数向量之间的哈达马乘积。
计算尾实体的初始四元数嵌入与标准化的关系的共轭四元数嵌入之间的汉密尔顿乘积,获得旋转后的尾实体的四元数嵌入:
Figure BDA0002751773160000041
其中,w′t表示旋转后的尾实体四元数嵌入,a′t,b′t,c′t,d′t表示旋转后的尾实体四元数嵌入对应的实数向量。
S24、计算旋转后的头实体的四元数嵌入与旋转后的尾实体的四元数嵌入之间的内积以度量该头实体和尾实体所在三元组的可信度;在本发明的一些实施例中,通过如下方式计算三元组的可信度:
Figure BDA0002751773160000042
其中,g(h,r,t)表示三元组可信度分数计算函数。
S25、在协同知识图谱中随机抽取实体替换已存在的三元组中的尾实体以构建多个新的三元组,基于构建的新的三元组和协同知识图谱中已存在的三元组对协同知识图谱的损失函数进行更新,以使协同知识图谱中已存在的三元组的可信度高于新构建的三元组;在本发明的一些实施例中,通过如下方式对协同知识图谱的损失函数进行更新:
Figure BDA0002751773160000043
其中,
Figure BDA0002751773160000044
表示协同知识图谱损失函数,(h,r,t)表示协同知识图谱总已经存在的三元组,(h,r,t′)表示新的三元组,ln表示对数函数,σ表示sigmoid激活函数,
Figure BDA0002751773160000045
是由协同知识图谱中已有三元组和新的三元组组成的针对协同知识图谱学习四元数嵌入的训练集,
Figure BDA0002751773160000046
表示协同知识图谱。
在本发明的一些实施例中,所述步骤S3包括:
S31、使用双曲正切激活函数tanh激活旋转后的头实体四元数嵌入和旋转后的尾实体四元数嵌入,并计算三元组注意力分数以度量过关系从尾实体传播到头实体的偏好信息:
Figure BDA0002751773160000047
其中,π(h,r,t)表示三元组(h,r,t)的注意力分数。
S32、对三元组的注意力分数进行归一化处理,得到归一化后的注意力分数:
Figure BDA0002751773160000048
其中,exp表示以自然常数e为底数的指数函数,
Figure BDA0002751773160000051
表示实体h的邻居三元组集合,r′和t′表示该集合中任意一个三元组中的关系和尾实体。
S33、采用归一化后的三元组注意力分数计算所有头实体的邻居三元组表示的线性组合,以捕获头实体的一阶结构信息的四元数嵌入实现偏好传播:
Figure BDA0002751773160000052
其中,
Figure BDA0002751773160000053
表示头实体h的一阶结构信息的四元数嵌入。
S34、将所有头实体的初始四元数嵌入与其邻居三元组的四元数嵌入进行聚合,获得聚合后的头实体通过偏好传播增强的四元数嵌入:
Figure BDA0002751773160000054
其中,
Figure BDA0002751773160000055
表示头实体h通过偏好传播增强的四元数嵌入,
Figure BDA0002751773160000056
表示该四元数嵌入对应的实数向量,LeakyRelu是激活函数,P1、P2是可训练的四元数权重矩阵,且P1=A1+B1i+C1j+D1k,P2=A2+B2i+C2j+D2k,其中
Figure BDA0002751773160000057
Figure BDA0002751773160000058
Figure BDA0002751773160000059
是大小为l′×l的二维实数矩阵。
在本发明的一些实施例中,所述步骤S4包括:
S41、从所有头实体通过偏好传播增强的四元数嵌入组成的集合中筛选出用户通过偏好传播增强的四元数嵌入以及物品通过偏好传播增强的四元数嵌入,然后分别计算用户和物品的最终四元数嵌入。
其中,连接用户的初始四元数嵌入与用户通过偏好传播增强的四元数嵌入获得用户最终的四元数嵌入:
Figure BDA00027517731600000510
其中,
Figure BDA00027517731600000511
表示用户u的最终四元数嵌入,wu表示用户u的初始四元数嵌入,
Figure BDA00027517731600000512
表示用户u通过偏好传播增强的四元数嵌入,||表示两个四元数之间的连接操作,[·,·]表示两个实数向量之间的连接操作。
连接物品的初始四元数嵌入与物品通过偏好传播增强的四元数嵌入获得物品最终的四元数嵌入:
Figure BDA00027517731600000513
其中,
Figure BDA00027517731600000514
表示物品v的最终四元数嵌入,wv表示物品v的初始四元数嵌入.
Figure BDA0002751773160000061
表示物品v通过偏好传播增强的四元数嵌入;
S42、根据用户和物品的最终四元数嵌入计算用户对物品的偏好程度:
Figure BDA0002751773160000062
其中,
Figure BDA0002751773160000063
表示偏好分数预测函数。
S43、采用损失函数对偏好分数进行优化以使用户对其产生交互的物品的偏好预测分数高于其未产生交互的物品的偏好预测分数:
Figure BDA0002751773160000064
其中,
Figure BDA0002751773160000065
表示损失函数,
Figure BDA0002751773160000066
Figure BDA0002751773160000067
是由已观测到的用户-物品交互构成的训练集,
Figure BDA0002751773160000068
表示用户集,
Figure BDA0002751773160000069
表示物品集,m表示用户已产生交互的物品,n表示用户未产生交互的物品;
在本发明的一些实施例中,所述步骤S5包括使用如下优化方式联合优化协同知识图谱的嵌入和偏好分数预测函数:
Figure BDA00027517731600000610
其中,
Figure BDA00027517731600000611
是L2正则化项,且
Figure BDA00027517731600000612
其中Θ={W,P1,P2},W表示协同知识图谱涉及的所有四元数嵌入组成的集合,λ1是协同知识图谱的损失函数的权重,λ2是正则化项的权重;使用Adam优化器,交替优化
Figure BDA00027517731600000613
Figure BDA00027517731600000614
直至收敛。
与现有技术相比,本发明的优点在于:现有的基于知识图谱的推荐算法仅使用实数向量对用户和物品进行建模,其表达能力较弱,不具备内在的反对称性质。本发明使用四元数向量表示用户、物品、实体和关系,并使用汉密尔顿乘积对三元组内的头实体和尾实体进行语义匹配,结合注意力机制使用户偏好信息进行传播和聚合。一方面,基于四元数的知识图谱嵌入过程,获得保留语义信息且具有内在反对称性的用户、物品、实体和关系嵌入,有效提高嵌入的表达能力,提高推荐性能。另一方面,利用注意力机制使偏好信息沿协同知识图谱的三元组路径进行传播,利用加法-乘法双交互聚合方式使原始嵌入与邻居信息嵌入充分交互,可以将用户和物品嵌入基于偏好信息进一步细化和更新,从而得到更适合个性化推荐的用户和物品嵌入。
具体实施方式
为了使本发明的目的,技术方案及优点更加清楚明白,以下通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
发明人在进行基于知识图谱的推荐算法研究时,发现现有技术存在的嵌入表达能力有限且不具备内在反对称性质的缺陷是由仅使用实数向量建模导致的,实数向量在欧氏空间中的内积无法建模关系的反对称性。为了解决该缺陷,发明人引入四元数向量表示用户、物品和关系,并使用汉密尔顿乘积在超复数空间中对实体和关系进行语义匹配。
本发明的目的是针对现有基于知识图谱的个性化推荐技术仅使用实数向量进行建模,得到的嵌入表达能力有限且不具备内在反对称性质的问题,提出一种使用四元数和其汉密尔顿乘积对用户、物品以及知识图谱中的实体和关系建模的方法,利用四元数强大的表达能力和汉密尔顿乘积内在的反对称性质进行协同知识图谱嵌入,并结合注意力机制进行偏好传播,进一步提高推荐的效果。
下面结合实施例详细说明本发明。
根据本发明的一个实施例,提出一种基于协同知识图谱的个性化推荐方法,概括来说,包括步骤S1、S2、S3、S4、S5、S6,下面详细说明每个步骤,四元数表示即为四元数嵌入,在后面的描述中不再区分。
在步骤S1中,将用户集中的用户与物品集中的物品的历史交互数据和原有知识图谱结合到统一的协同知识图谱中,在所述协同知识图谱中将用户与其交互物品在知识图谱中对应的实体使用有向边进行连接;具体来说,根据用户-物品历史交互数据Y(用户集合记作
Figure BDA0002751773160000071
物品集合记作
Figure BDA0002751773160000072
)和原有知识图谱
Figure BDA0002751773160000073
将用户与其交互物品在原有知识图谱中对应的实体使用有向边进行连接。在不同的数据领域中,推荐的对象不一样,例如,以用户-电影推荐为例,用户和其交互过的电影直接使用两条有向边进行连接,分别为用户观看电影和电影被用户观看,从而构建统一的用户-物品知识图谱
Figure BDA0002751773160000074
称为协同知识图谱。在建立的协同知识图谱中,实体包括用户、物品和知识图谱中的其他原有实体,关系包括用户-物品的双向交互关系和知识图谱其他原有关系。例如,以电影推荐为例,初始数据包括用户的电影观看记录和电影的知识图谱,用户的电影观看记录中包含用户实体、电影实体;电影的知识图谱中包含电影实体、导演人员实体、演员人员实体、厂商实体等实体。则在构建后的协同知识图谱中,实体包括用户、电影、导演、主演、厂商等实体;用户的电影观看记录中本身包括用户观看电影和电影被用户观看的关系,即观看关系和被观看关系,电影的知识图谱本身包括导演关系、被导演关系等关系。则在构建后的协同知识图谱中,关系包括观看、被观看、导演、被导演等关系。
在步骤S2中,基于四元数进行协同知识图谱嵌入,用四元数向量表示协同知识图谱中的每一个实体和关系;根据本发明的一个实施例,以用户、物品和知识图谱中的三元组为例进行说明,包括如下步骤:
S21、使用四元数向量表示协同知识图谱中的实体和关系,其中,对于协同知识图谱中由头实体、关系、尾实体组成的三元组(h,r,t),头实体h、尾实体t、关系r的初始四元数表示(或叫初始四元数嵌入)分别为:wh=ah+bhi+chj+dhk,wt=at+bti+ctj+dtk以及wr=ar+bri+crj+drk。其中,a*,b*,c*,d*为维度为l的实数向量,i,j,k为虚数单位数,且满足汉密尔顿规则i2=j2=k2=ijk=-1;
S22、对关系r的初始四元数嵌入wr,求取其共轭四元数嵌入,即实部对应向量不变,虚部对应向量取相反数,可得关系r的共轭四元数嵌入为
Figure BDA0002751773160000081
分别对wr
Figure BDA0002751773160000082
进行标准化,去除其尺度影响,得到标准化的关系初始四元数嵌入
Figure BDA0002751773160000083
和标准化的关系共轭四元数嵌入
Figure BDA0002751773160000084
其中括号内的分量分别表示一个实部和i,j,k三个虚部对应的实数向量,即a′r,b′r,c′r,d′r是标准化的关系初始四元数嵌入对应的实数向量,
Figure BDA0002751773160000085
是标准化的关系共轭四元数嵌入对应的实数向量,|wr|和
Figure BDA0002751773160000086
分别表示wr
Figure BDA0002751773160000087
的模长:
Figure BDA0002751773160000088
Figure BDA0002751773160000089
S23、使用汉密尔顿乘积对头实体和尾实体进行旋转,具体地,计算头实体的初始四元数嵌入wh与标准化的关系初始四元数嵌入
Figure BDA00027517731600000810
之间的汉密尔顿乘积,获得旋转后的头实体表示w′h,其中括号内的分量同样分别表示一个实部和i,j,k三个虚部对应的实数向量,即a′h,b′h,c′h,d′h表示旋转后的头实体四元数嵌入对应的实数向量:
Figure BDA00027517731600000811
Figure BDA0002751773160000091
其中⊙表示两个实数向量之间的哈达马乘积。同时,按照同样的方式计算尾实体的初始四元数嵌入wt与标准化的关系共轭四元数嵌入
Figure BDA0002751773160000092
之间的汉密尔顿乘积,获得旋转后的尾实体表示w′t,其中括号内的分量同样分别表示一个实部和i,j,k三个虚部对应的实数向量,即a′t,b′t,c′t,d′t表示旋转后的尾实体四元数嵌入对应的实数向量:
Figure BDA0002751773160000093
S24、使用三元组可信度分数计算函数g(h,r,t),计算旋转过后的头实体嵌入w′h和尾实体嵌入w′t之间的内积来度量三元组内头实体和尾实体之间的匹配程度,作为三元组可信度分数:
Figure BDA0002751773160000094
S25:在协同知识图谱中随机抽取实体t′对已存在的三元组(h,r,t)中的尾实体t进行替换,从而构建不存在于该协同知识图谱的三元组(h,r,t′),根据本发明的一个实施例,基于如下协同知识图谱损失函数
Figure BDA0002751773160000095
进行优化,使协同知识图谱中存在的三元组(h,r,t)的可信度分数g(h,r,t)高于不存在的三元组(h,r,t′)的可信度分数g(h,r,t′):
Figure BDA0002751773160000096
其中,
Figure BDA0002751773160000097
是由协同知识图谱中已有三元组和新的三元组组成的针对协同知识图谱学习四元数嵌入的训练集,
Figure BDA0002751773160000098
表示协同知识图谱,ln表示对数函数,σ表示sigmoid激活函数。
在步骤S3中,采用注意力机制将实体的四元数嵌入沿着协同知识图谱的路径进行偏好传播与聚合,根据本发明的一个实施例,所述步骤S3包括:
S31、使用双曲正切激活函数tanh函数激活旋转后的头实体四元数嵌入和尾实体四元数嵌入,并计算二者内积作为三元组路径(h,r,t)的注意力分数,用于指示多少偏好信息应该通过关系r从尾实体t传播到头实体h:
Figure BDA0002751773160000101
S32、使用归一化指数函数对以上注意力分数进行归一化,其中exp(·)表示以自然常数e为底数的指数函数,
Figure BDA0002751773160000102
表示实体h的邻居三元组集合,r′和t′表示该集合中任意一个三元组中的关系和尾实体,得到归一化后的注意力分数
Figure BDA0002751773160000103
Figure BDA0002751773160000104
S33、使用归一化后的注意力分数计算头实体h的邻居三元组表示的线性组合,用以捕获其一阶结构信息的四元数嵌入,实现基于注意力机制的偏好传播过程,记作
Figure BDA0002751773160000105
Figure BDA0002751773160000106
S34、以实体h为对象,将其初始四元数嵌入wh与其邻居三元组集合的四元数嵌入
Figure BDA0002751773160000107
聚合为维度l′的四元数向量
Figure BDA0002751773160000108
为了充分地融合这两种嵌入,采用结合加法和乘法的双交互聚合方式,实现聚合过程:
Figure BDA0002751773160000109
其中,
Figure BDA00027517731600001010
表示头实体h通过偏好传播增强的四元数嵌入,
Figure BDA00027517731600001011
表示该四元数嵌入对应的实数向量,LeakyRelu是激活函数,P1、P2是可训练的四元数权重矩阵,且P1=A1+B1i+C1j+D1k,P2=A2+B2i+C2j+D2k,其中
Figure BDA00027517731600001012
Figure BDA00027517731600001013
Figure BDA00027517731600001014
是大小为l′×l的二维实数矩阵,l′和l是根据具体数据领域进行随机设置的参数。因为每一个实体都作为头实体出现在一部分三元组中,也作为尾实体出现在另一部分三元组中,所以只要以头实体为中心进行聚合,就可以对所有实体进行更新。
在步骤S4中,基于完成偏好传播与聚合后的协同知识图谱,构建偏好分数预测函数计算每个用户与不同物品的偏好分数;根据本发明的一个实施例,所述步骤S4包括:
S41、通过前述实施例的过程,对于每个用户和物品最终可以得到其原始四元数嵌入和通过偏好传播增强的四元数嵌入,因为协同知识图谱中的头实体有可能是用户、也有可能是物品,举例而言,协同知识图谱中有甲乙丙丁四位用户,有手机、钱包等物品,有购买、被购买、厂商等关系。这些用户和物品都是实体,都既可以作为头实体,也可以作为尾实体,因此,既对于用户u有
Figure BDA0002751773160000111
对于物品v有
Figure BDA0002751773160000112
为了获得用户-物品偏好预测分数,首先连接用户u的两种四元数嵌入作为其最终表示:
Figure BDA0002751773160000113
其中||表示两个四元数之间的连接操作,即分别连接其对应的实数部分和虚数部分;[·,·]表示两个实数向量之间的连接操作。相似地,通过如下方式获得物品v的最终表示
Figure BDA0002751773160000114
Figure BDA0002751773160000115
S42、由于四元数丰富的表达能力,根据本发明的一个实施例,使用简单的内积,作为偏好分数预测函数
Figure BDA0002751773160000116
计算用户u对物品v的偏好程度:
Figure BDA0002751773160000117
S43:关于用户u,对其产生交互的物品i的偏好预测分数
Figure BDA0002751773160000118
应当高于其未产生交互的物品j的偏好预测分数
Figure BDA0002751773160000119
使用如下损失函数
Figure BDA00027517731600001110
进行优化:
Figure BDA00027517731600001111
其中,
Figure BDA00027517731600001112
表示损失函数,
Figure BDA00027517731600001113
Figure BDA00027517731600001114
是由已观测到的用户-物品交互构成的训练集,
Figure BDA00027517731600001115
表示用户集,
Figure BDA00027517731600001116
表示物品集,m表示用户已产生交互的物品,n表示用户未产生交互的物品;
Figure BDA00027517731600001117
表示用户u对商品m的偏好预测分数,
Figure BDA00027517731600001118
表示用户u对商品n的偏好预测分数,ln表示对数函数,σ表示sigmoid激活函数。
在步骤S5中,采用损失函数联合优化协同知识图谱的嵌入和偏好分数预测函数;根据本发明的一个实施例,所述步骤S5包括:
S51、使用L2正则化预防过拟合,记作
Figure BDA00027517731600001119
其中Θ={W,P1,P2},包含所有的四元数嵌入和可训练参数,W表示协同知识图谱涉及的所有四元数嵌入组成的集合;
S52、使用λ1,λ2控制四元数协同知识图谱嵌入和正则化项的权重,设计如下的完整损失函数:
Figure BDA00027517731600001120
其中,λ1是协同知识图谱的损失函数的权重,λ2是正则化项的权重,λ1和λ2均是根据具体应用的数据领域随机设置的参数;
S53:使用Adam优化器,交替优化
Figure BDA0002751773160000121
Figure BDA0002751773160000122
直至收敛。
在步骤S6中,采用优化后的偏好分数预测函数预测用户对新物品的偏好分数,并将新物品按照用户对其的偏好分数进行降序排列,得到针对用户的新物品推荐列表。具体地,依次计算用户和其所有未交互物品的偏好预测分数,并按降序排列,得到用户感兴趣物品推荐列表。
本发明通过引入四元数对协同知识图谱嵌入;在技术效果上,将涉及到的用户、物品、实体、关系表示为超复数空间中的四元数向量,并使用汉密尔顿乘积结合关系旋转头实体和尾实体,学习到表达能力更强的、充分保留语义信息的四元数嵌入;此外,结合注意力机制的四元数嵌入偏好传播及聚合,基于三元组路径的不同获得不同的注意力分数对邻居节点的四元数进行加权,从而捕获带有结构信息和邻居偏好信息的四元数嵌入,结合加法-乘法双交互聚合方式得到与邻居信息充分交互后的四元数嵌入。现有的基于知识图谱的推荐算法仅使用实数向量对用户和物品进行建模,其表达能力较弱,不具备内在的反对称性质。本发明使用四元数向量表示用户、物品、实体和关系,并使用汉密尔顿乘积对三元组内的头实体和尾实体进行语义匹配,结合注意力机制使用户偏好信息进行传播和聚合。一方面,基于四元数的知识图谱嵌入过程,获得保留语义信息且具有内在反对称性的用户、物品、实体和关系嵌入,有效提高嵌入的表达能力,提高推荐性能。另一方面,利用注意力机制使偏好信息沿协同知识图谱的三元组路径进行传播,利用加法-乘法双交互聚合方式使原始嵌入与邻居信息嵌入充分交互,可以将用户和物品嵌入基于偏好信息进一步细化和更新,从而得到更适合个性化推荐的用户和物品嵌入。
需要说明的是,虽然上文按照特定顺序描述了各个步骤,但是并不意味着必须按照上述特定顺序来执行各个步骤,实际上,这些步骤中的一些可以并发执行,甚至改变顺序,只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种基于知识图谱的个性化推荐方法,用于为用户进行新物品推荐,其特征在于,包括:
S1、将用户集中的用户与物品集中的物品的历史交互数据和原有知识图谱结合到协同知识图谱中,在所述协同知识图谱中将用户与其交互物品在知识图谱中对应的实体使用有向边进行连接;
S2、用四元数向量表示协同知识图谱中的每一个实体和关系;
S3、采用注意力机制将实体的四元数嵌入沿着协同知识图谱的路径进行偏好传播与聚合;
S4、基于完成偏好传播与聚合后的协同知识图谱,构建偏好分数预测函数计算每个用户与不同物品的偏好分数;
S5、采用损失函数联合优化协同知识图谱的嵌入和偏好分数预测函数;
S6、采用优化后的偏好分数预测函数预测用户对新物品的偏好分数,得到针对用户的新物品推荐列表。
2.根据权利要求1所述的一种基于知识图谱的个性化推荐方法,其特征在于,在所述协同知识图谱中,所述实体包括用户集中的用户、物品集中的物品、原有知识图谱中的其他原有实体;所述关系包括用户与物品的历史双向交互关系和原有知识图谱中的其他原有关系。
3.根据权利要求2所述的一种基于知识图谱的个性化推荐方法,其特征在于,所述步骤S2包括:
S21、用四元数向量表示协同知识图谱中的实体和关系,其中,协同知识图谱中包含多个由头实体、关系、尾实体组成的三元组,每个三元组中的头实体、关系、尾实体均用四元数向量表示,得到其各自对应的初始四元数嵌入;
S22、求取三元组中关系的初始四元数嵌入对应的共轭四元数嵌入,并分别对关系的初始四元数嵌入以及其对应共轭四元数嵌入进行标准化;
S23、使用汉密尔顿乘积对头实体的初始四元数嵌入和尾实体的初始四元数嵌入进行旋转,分别获得旋转后的头实体的四元数嵌入和旋转后的尾实体的四元数嵌入;
S24、计算旋转后的头实体的四元数嵌入与旋转后的尾实体的四元数嵌入之间的内积以度量该头实体和尾实体所在三元组的可信度;
S25、在协同知识图谱中随机抽取实体替换已存在的三元组中的尾实体以构建多个新的三元组,基于构建的新的三元组和协同知识图谱中已存在的三元组对协同知识图谱的损失函数进行更新,以使协同知识图谱中已存在的三元组的可信度高于新构建的三元组。
4.根据权利要求3所述的一种基于知识图谱的个性化推荐方法,其特征在于,所述步骤S21中:
头实体的初始四元数向量表示为:wh=ah+bhi+chj+dhk,其中,h表示头实体,ah、bh、ch、dh为维度为l的实数向量,i,j,k为虚数单位数,满足汉密尔顿规则i2=j2=k2=ijk=-1;
尾实体的初始四元数向量表示为:wt=at+bti+ctj+dtk,其中,t表示尾实体,at、bt、ct、dt为维度为l的实数向量;
关系的初始四元数向量表示:wr=ar+bri+crj+drk,其中,r表示关系,ar、br、cr、dr为维度为l的实数向量。
5.根据权利要求4所述的一种基于知识图谱的个性化推荐方法,其特征在于,在所述步骤S22中:
所述关系的初始四元数嵌入对应的共轭四元数嵌入为:
Figure FDA0002751773150000021
Figure FDA0002751773150000022
对关系的初始四元数嵌入和对应共轭四元数嵌入通过如下方式进行标准化:
Figure FDA0002751773150000023
其中,
Figure FDA0002751773150000024
是标准化的关系初始四元数嵌入,
Figure FDA0002751773150000025
是标准化的关系共轭四元数嵌入,a′r,b′r,c′r,d′r是标准化的关系初始四元数嵌入对应的实数向量,
Figure FDA0002751773150000029
是标准化的关系共轭四元数嵌入对应的实数向量,|wr|与
Figure FDA0002751773150000026
分别表示wr
Figure FDA0002751773150000027
的模长。
6.根据权利要求5所述的一种基于知识图谱的个性化推荐方法,其特征在于,在所述步骤S23中,通过如下方式对头实体和尾实体进行旋转:
计算头实体的初始四元数嵌入与标准化的关系的四元数嵌入之间的汉密尔顿乘积,获得旋转后的头实体的四元数嵌入:
Figure FDA0002751773150000028
Figure FDA0002751773150000031
其中w′h表示旋转后的头实体四元数嵌入,a′h,b′h,c′h,d′h表示旋转后的头实体四元数嵌入对应的实数向量,⊙表示两个实数向量之间的哈达马乘积;
计算尾实体的初始四元数嵌入与标准化的关系的四元数共轭嵌入之间的汉密尔顿乘积,获得旋转后的尾实体的四元数嵌入:
Figure FDA0002751773150000032
其中,w′t表示旋转后的尾实体四元数嵌入,a′t,b′t,c′t,d′t表示旋转后的尾实体四元数嵌入对应的实数向量。
7.根据权利要求6所述的一种基于知识图谱的个性化推荐方法,其特征在于,在所述步骤S24中,通过如下方式计算三元组的可信度:
Figure FDA0002751773150000033
其中,g(h,r,t)表示三元组可信度分数计算函数。
8.根据权利要求7所述的一种基于知识图谱的个性化推荐方法,其特征在于,在所述步骤S25中,通过如下方式对协同知识图谱的损失函数进行更新:
Figure FDA0002751773150000034
其中,
Figure FDA0002751773150000035
表示协同知识图谱损失函数,(h,r,t)表示协同知识图谱总已经存在的三元组,(h,r,t′)表示新的三元组,ln表示对数函数,σ表示sigmoid激活函数,
Figure FDA0002751773150000036
是由协同知识图谱中已有三元组和新的三元组组成的针对协同知识图谱学习四元数嵌入的训练集,
Figure FDA0002751773150000037
表示协同知识图谱。
9.根据权利要求8所述的一种基于知识图谱的个性化推荐方法,其特征在于,所述步骤S3包括:
S31、使用双曲正切激活函数tanh激活旋转后的头实体四元数嵌入和旋转后的尾实体四元数嵌入,并计算三元组注意力分数以度量过关系从尾实体传播到头实体的偏好信息:
Figure FDA0002751773150000038
其中,π(h,r,t)表示三元组(h,r,t)的注意力分数;
S32、对三元组的注意力分数进行归一化处理,得到归一化后的注意力分数:
Figure FDA0002751773150000041
其中,exp表示以自然常数e为底数的指数函数,
Figure FDA0002751773150000042
表示实体h的邻居三元组集合,r′和t′表示该集合中任意一个三元组中的关系和尾实体;
S33、采用归一化后的三元组注意力分数计算所有头实体的邻居三元组表示的线性组合,以捕获头实体的一阶结构信息的四元数嵌入实现偏好传播:
Figure FDA0002751773150000043
其中,
Figure FDA0002751773150000044
表示头实体h的一阶结构信息的四元数嵌入;
S34、将所有头实体的初始四元数嵌入与其邻居三元组的四元数嵌入进行聚合,获得聚合后的头实体通过偏好传播增强的四元数嵌入:
Figure FDA0002751773150000045
其中,
Figure FDA0002751773150000046
表示头实体h通过偏好传播增强的四元数嵌入,
Figure FDA0002751773150000047
表示该四元数嵌入对应的实数向量,LeakyRelu是激活函数,P1、P2是可训练的四元数权重矩阵,且P1=A1+B1i+C1j+D1k,P2=A2+B2i+C2j+D2k,其中
Figure FDA0002751773150000048
Figure FDA0002751773150000049
Figure FDA00027517731500000410
是大小为l′×l的二维实数矩阵。
10.根据权利要求9所述的一种基于知识图谱的个性化推荐方法,其特征在于,所述步骤S4包括:
S41、从所有头实体通过偏好传播增强的四元数嵌入组成的集合中筛选出用户通过偏好传播增强的四元数嵌入以及物品通过偏好传播增强的四元数嵌入,
连接用户的初始四元数嵌入与用户通过偏好传播增强的四元数嵌入获得用户最终的四元数嵌入:
Figure FDA00027517731500000411
其中,
Figure FDA00027517731500000412
表示用户u的最终四元数嵌入,wu表示用户u的初始四元数嵌入,
Figure FDA00027517731500000413
表示用户u通过偏好传播增强的四元数嵌入,||表示两个四元数之间的连接操作,[·,·]表示两个实数向量之间的连接操作;
连接物品的初始四元数嵌入与物品通过偏好传播增强的四元数嵌入获得物品最终的四元数嵌入:
Figure FDA0002751773150000051
其中,
Figure FDA0002751773150000052
表示物品v的最终四元数嵌入,wv表示物品v的初始四元数嵌入,
Figure FDA0002751773150000053
表示物品v通过偏好传播增强的四元数嵌入;
S42、根据用户和物品的最终四元数嵌入计算用户对物品的偏好程度:
Figure FDA0002751773150000054
其中,
Figure FDA0002751773150000055
表示偏好分数预测函数;
S43、采用损失函数对偏好分数进行优化以使用户对其产生交互的物品的偏好预测分数高于其未产生交互的物品的偏好预测分数:
Figure FDA0002751773150000056
其中,
Figure FDA0002751773150000057
表示损失函数,
Figure FDA0002751773150000058
Figure FDA0002751773150000059
是由已观测到的用户-物品交互构成的训练集,
Figure FDA00027517731500000510
表示用户集,
Figure FDA00027517731500000511
表示物品集,m表示用户已产生交互的物品,n表示用户未产生交互的物品。
11.根据权利要求10所述的一种基于知识图谱的个性化推荐方法,其特征在于,所述步骤S5包括使用如下优化方式联合优化协同知识图谱的嵌入和偏好分数预测函数:
Figure FDA00027517731500000512
其中,
Figure FDA00027517731500000513
是L2正则化项,且
Figure FDA00027517731500000514
其中Θ={W,P1,P2},W表示协同知识图谱涉及的所有四元数嵌入组成的集合,λ1是协同知识图谱的损失函数的权重,λ2是正则化项的权重;
使用Adam优化器,交替优化
Figure FDA00027517731500000515
Figure FDA00027517731500000516
直至收敛。
12.一种计算机可读存储介质,其特征在于,其上包含有计算机程序,所述计算机程序可被处理器执行以实现权利要求1至11任一所述方法的步骤。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如权利要求1至11中任一项所述方法的步骤。
CN202011187518.2A 2020-10-30 2020-10-30 一种基于协同知识图谱的个性化推荐方法 Active CN112149004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011187518.2A CN112149004B (zh) 2020-10-30 2020-10-30 一种基于协同知识图谱的个性化推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011187518.2A CN112149004B (zh) 2020-10-30 2020-10-30 一种基于协同知识图谱的个性化推荐方法

Publications (2)

Publication Number Publication Date
CN112149004A CN112149004A (zh) 2020-12-29
CN112149004B true CN112149004B (zh) 2022-10-25

Family

ID=73953728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011187518.2A Active CN112149004B (zh) 2020-10-30 2020-10-30 一种基于协同知识图谱的个性化推荐方法

Country Status (1)

Country Link
CN (1) CN112149004B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612973B (zh) * 2020-12-31 2022-03-22 重庆邮电大学 结合知识图谱的个性化智能服装搭配推荐方法
CN113254661B (zh) * 2021-04-09 2022-09-23 浙江工业大学 一种引入实体上下文的三维旋转知识图谱嵌入方法
CN113220866B (zh) * 2021-04-28 2023-01-06 西安电子科技大学 基于用户社交网络和产品相似度的推荐方法
CN114756694B (zh) * 2022-06-16 2022-10-14 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于知识图谱的推荐系统、推荐方法和相关设备
CN115618021B (zh) * 2022-12-19 2023-04-28 北京市农林科学院信息技术研究中心 农作物品种适宜种植区域推荐方法及装置
CN116304303B (zh) * 2023-02-01 2023-09-08 北京三维天地科技股份有限公司 一种基于知识图谱的资产推荐方法及系统
CN116402589B (zh) * 2023-06-05 2023-09-15 湖南师范大学 一种基于知识图和旋转编码的商品推荐方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733798A (zh) * 2018-05-17 2018-11-02 电子科技大学 一种基于知识图谱的个性化推荐方法
CN110275964A (zh) * 2019-06-26 2019-09-24 程淑玉 基于知识图谱与循环神经网络的推荐模型
CN110334221A (zh) * 2019-07-18 2019-10-15 桂林电子科技大学 一种基于知识图谱路径的可解释性推荐方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551280B2 (en) * 2018-11-01 2023-01-10 Netflix, Inc. Method, manufacture, and system for recommending items to users

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733798A (zh) * 2018-05-17 2018-11-02 电子科技大学 一种基于知识图谱的个性化推荐方法
CN110275964A (zh) * 2019-06-26 2019-09-24 程淑玉 基于知识图谱与循环神经网络的推荐模型
CN110334221A (zh) * 2019-07-18 2019-10-15 桂林电子科技大学 一种基于知识图谱路径的可解释性推荐方法

Also Published As

Publication number Publication date
CN112149004A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112149004B (zh) 一种基于协同知识图谱的个性化推荐方法
Tao et al. Mgat: Multimodal graph attention network for recommendation
Liu et al. Multi-perspective social recommendation method with graph representation learning
Li et al. Towards context-aware social recommendation via individual trust
WO2022041979A1 (zh) 一种信息推荐模型的训练方法和相关装置
Bai et al. An attribute-aware neural attentive model for next basket recommendation
Chen et al. Adversarial distillation for efficient recommendation with external knowledge
Nie et al. Data-driven answer selection in community QA systems
Cao Coupling learning of complex interactions
Duan et al. Combining review-based collaborative filtering and matrix factorization: A solution to rating's sparsity problem
EP3917383A1 (en) Systems and methods for organizing and finding data
Wang et al. Perceiving the next choice with comprehensive transaction embeddings for online recommendation
Hu et al. Bayesian personalized ranking based on multiple-layer neighborhoods
Zhan et al. Analyzing review sentiments and product images by parallel deep nets for personalized recommendation
Hu et al. Learning peer recommendation using attention-driven CNN with interaction tripartite graph
Timilsina et al. Semi-supervised regression using diffusion on graphs
Dery et al. Boostlr: a boosting-based learning ensemble for label ranking tasks
CN115221413B (zh) 一种基于交互式图注意力网络的序列推荐方法及系统
Cai et al. k-Reciprocal nearest neighbors algorithm for one-class collaborative filtering
Chen et al. Kernel meets recommender systems: A multi-kernel interpolation for matrix completion
Li et al. Sentiment based multi-index integrated scoring method to improve the accuracy of recommender system
Chen et al. FG-RS: Capture user fine-grained preferences through attribute information for recommender systems
Li et al. Heterogeneous graph embedding for cross-domain recommendation through adversarial learning
Ma et al. Implicit trust and distrust prediction for recommender systems
Patoulia et al. A comparative study of collaborative filtering in product recommendation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant