CN117370674A - 融合用户行为和知识图谱的多任务推荐算法 - Google Patents

融合用户行为和知识图谱的多任务推荐算法 Download PDF

Info

Publication number
CN117370674A
CN117370674A CN202311678797.6A CN202311678797A CN117370674A CN 117370674 A CN117370674 A CN 117370674A CN 202311678797 A CN202311678797 A CN 202311678797A CN 117370674 A CN117370674 A CN 117370674A
Authority
CN
China
Prior art keywords
vector
representing
target user
entity
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311678797.6A
Other languages
English (en)
Other versions
CN117370674B (zh
Inventor
张嘉玲
何山
肖晰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202311678797.6A priority Critical patent/CN117370674B/zh
Publication of CN117370674A publication Critical patent/CN117370674A/zh
Application granted granted Critical
Publication of CN117370674B publication Critical patent/CN117370674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及推荐技术领域，具体涉及融合用户行为和知识图谱的多任务推荐算法。该算法的模块包括知识图谱嵌入任务模块、推荐任务模块、基于特征融合的重塑共享模块、物品嵌入模块、实体嵌入模块、关系嵌入模块、用户嵌入模块。特别地，基于特征融合的重塑共享模块通过重塑操作实现特征交叉，充分融合物品向量和头实体向量的语义信息，从而更深入地挖掘物品之间的潜在联系和用户的兴趣偏好。本发明创新地利用基于特征融合的重塑共享模块实现推荐任务和知识图谱嵌入任务的交替学习，将推荐任务模块的物品和知识图谱嵌入任务模块的对应实体连接起来，实现自动学习物品向量和实体向量之间的高阶特征交互。

Description

融合用户行为和知识图谱的多任务推荐算法
技术领域
本发明涉及推荐技术领域，具体涉及融合用户行为和知识图谱的多任务推荐算法。
背景技术
为了解决互联网中数据指数增长带来的信息爆炸问题，推荐系统在海量的数据中获取用户偏好，实现个性化推荐；推荐系统通常缺乏关于用户偏好的明确反馈，用户的选择被隐式地记录在含噪声的行为日志中；现有的用户建模算法包括协同过滤、内容过滤和深度学习等算法，分析用户兴趣，预测用户可能的行为；这些算法大多只考虑用户的历史行为数据，缺乏额外语义信息的辅助；传统的推荐任务只能基于用户的历史行为进行推荐，而引入图谱的推荐系统根据用户历史行为数据快速发掘用户和物品相关的实体、关系，使得推荐系统能准确结合更丰富的用户、物品背景信息，实现更准确的推荐。
传统推荐系统仍存在稀疏性和冷启动等影响推荐准确性的问题；推荐系统中的物品可映射到知识图谱中，不仅缓解了数据稀疏性和冷启动问题，而且为物品推荐提供可解释性；但当前的一些基于知识图谱的推荐算法都聚焦于利用知识图谱来增强推荐系统中的物品表示，未充分利用知识图谱中实体和实体间的关联信息来获取丰富的用户表示，对用户的兴趣挖掘不充分，降低推荐算法的准确率。
发明内容
本发明涉及融合用户行为和知识图谱的多任务推荐算法，包括下列步骤：
步骤S100：获取推荐所需的数据集MovieLens-1M, Book-Crossing和Last.FM，其中包括目标用户、目标用户的历史行为序列，即目标用户点击过的物品集合、候选物品、目标用户与物品的交互矩阵，Y表示目标用户对物品的隐式反馈，y表示矩阵Y中的元素，/>表示该用户点击过该物品，反之则/>；借助微软的知识图谱Satori为每个数据集中的目标用户的历史行为序列所包含的物品构建专属知识图谱；由头实体h、关系r和尾实体t组成的三元组/>是知识图谱中描述实体间关系的基本单位，选择Satori中置信度高于0.9的三元组/>构成知识图谱子集；以数据集MovieLens-1M为例，将该数据集中物品序号对应的物品名字与知识图谱子集中的(head, film.film.name, tail)三元组的尾实体相匹配，排除没有匹配或者匹配多个尾实体的物品序号；将得到的物品序号与知识图谱子集中三元组/>的头实体h和尾实体t相匹配，选择匹配成功的三元组/>构成该数据集的专属知识图谱；将该数据集的专属知识图谱中所有三元组/>的尾实体t随机替换为该数据集的专属知识图谱中其他尾实体/>,得到对应的负三元组/>；
步骤S200：将与目标用户的历史行为序列中的物品相匹配的头实体h构成一个头实体集合，输入目标用户的历史行为序列和对应的头实体集合到基于特征融合的重塑共享模块中，输出交互后的目标用户的历史行为向量序列和交互后的p个对应的头实体向量/>；
步骤S300：将三元组中的关系r输入到关系嵌入模块中，输出关系向量；
步骤S400：将三元组中的尾实体t输入到实体嵌入模块中，输出尾实体向量；
步骤S500：将交互后的头实体向量、关系向量/>和尾实体向量/>输入到知识图谱嵌入任务模块中，得到知识图谱嵌入任务模块的损失函数；
步骤S600：将交互后的目标用户的历史行为向量序列输入到用户嵌入模块中，输出目标用户向量u；
步骤S700：将候选物品输入到物品嵌入模块中，输出候选物品向量；
步骤S800：将目标用户向量u、候选物品向量输入到推荐任务模块,输出目标用户对候选物品的预测点击概率/>，计算得到推荐任务模块的损失函数；
步骤S900：根据知识图谱嵌入任务模块的损失函数和推荐任务模块的损失函数,得到算法的整体损失函数，对算法进行优化更新。
所述步骤S200的基于特征融合的重塑共享模块：目标用户的历史行为序列和对应的头实体集合分别经过各自的全连接神经网络得到目标用户的历史行为向量序列和p个对应的头实体向量/>，再将目标用户的历史行为向量序列中的p个物品向量/>和p个对应的头实体向量/>成对地进行重塑操作，即将物品向量/>和头实体向量/>按元素交错的方式重新排列组合为一个新向量；重塑操作是一种显式特征交叉方式，可对物品向量/>和头实体向量/>进行初步重组，将重塑后的新向量输入到全连接神经网络中，得到交互后的物品向量/>和交互后的头实体向量/>输出p个交互后的物品向量/>组成交互后的目标用户的历史行为向量序列/>、p个交互后的头实体向量/>组成交互后的头实体向量集合/>；基于特征融合的重塑共享模块中的计算过程如下：
其中， 表示重塑函数，将两个d维向量/>按元素交错排列组合成一个新向量，/>表示目标用户的历史行为向量序列/>中的物品向量，/>表示/>是从集合/>中取出的向量，/>表示与目标用户的历史行为向量序列/> 中的物品向量相匹配的头实体集合，/>表示集合/>中的头实体向量，/>表示T层的全连接神经网络，/>表示重塑函数，/>表示交互后的头实体向量/>或交互后的目标用户的历史行为向量序列/>中的向量/>。
所述步骤S300将三元组中的关系r输入到关系嵌入模块，关系嵌入模块由L层的全连接神经网络构成，输出关系向量，计算过程如下：
其中，表示L层的全连接神经网络，r表示三元组中的关系。
所述步骤S400将三元组中的尾实体t输入实体嵌入模块，实体嵌入模块由N层的全连接神经网络构成，输出尾实体向量，计算过程为：
其中，表示N层的全连接神经网络，t表示三元组中的尾实体。
所述步骤S500将交互后的头实体向量和关系向量/>和尾实体向量/>输入到知识图谱嵌入任务模块，根据头实体向量/>和关系向量/>确定尾实体的预测向量/>，尾实体的预测向量/>的计算过程如下：
其中，表示K层的全连接神经网络，/>表示头实体向量/>和关系向量/>的拼接向量；
将尾实体的预测向量和尾实体向量/>之间的相似度作为评分函数来计算三元组/>的分数，三元组/>的评分函数/>如下：
其中，表示尾实体向量，/>表示尾实体的预测向量，/>表示尾实体向量/>的模长，/>表示尾实体的预测向量/>的模长；基于三元组/>的评分函数/>和负三元组/>的评分函数/>来构建知识图谱嵌入任务模块的损失函数LKG，知识图谱任务模块的损失函数计算过程如下：
其中，G表示构建的数据集专属知识图谱，表示数据集专属知识图谱G中三元组/>的评分函数，/>表示负三元组/>的评分函数。
所述步骤S600将交互后的目标用户的历史行为向量序列输入到用户嵌入模块中，输出目标用户向量u，计算过程如下：
其中，表示目标用户的历史行为向量序列/>中的向量，p表示目标用户的历史行为序列长度。
所述步骤S700将候选物品输入到物品嵌入模块中，物品嵌入模块由Q层的全连接神经网络构成，输出候选物品向量，计算过程如下：
其中，表示Q层的全连接神经网络，i表示候选物品。
所述步骤S800将目标用户向量u、候选物品向量输入到推荐任务模块，输出目标用户对候选物品的预测点击概率/>,计算过程如下：
其中，表示目标用户向量u和候选物品向量/>的内积,/>表示Sigmoid函数，即激活函数；基于目标用户对候选物品的预测点击概率/>与目标用户对候选物品的标签值y的交叉熵来构建推荐任务模块的损失函数LRS，计算过程如下：
其中，u和分别表示遍历用户集U和候选物品集V得到的目标用户向量和候选物品向量，y表示目标用户对候选物品的标签值，/>表示目标用户对候选物品的预测点击概率，/>代表交叉熵函数，判断期望输出与实际输出的接近程度，即/>与y的接近程度。
所述步骤S900根据知识图谱嵌入任务模块的损失函数和推荐任务模块的损失函数/>共同构建算法的总损失函数L，对算法进行优化更新，损失函数的计算过程如下：
其中，表示知识图谱嵌入任务模块的损失函数，/>表示推荐任务模块的损失函数，/>表示算法中所有参数的正则化结果，W表示算法中的所有参数。
与现有技术相比，本发明有益效果如下：
第一、本发明不仅解决两阶段法的推荐模块和知识图谱嵌入模块结构性松散，相互依赖程度较低问题，还解决了联合学习法训练开销较大的问题，同时本发明创新地利用基于特征融合的重塑共享模块进行交替学习，将推荐任务模块的物品和知识图谱嵌入任务模块的对应实体连接起来，实现自动学习物品特征和实体特征之间的高阶交互。
第二、本发明将知识图谱中大量实体和丰富语义关系与用户潜在兴趣关联起来，同时创新性地根据用户历史行为数据快速发掘用户和物品相关的实体、关系，从而更深入地挖掘物品之间的潜在联系和用户的兴趣偏好。
本发明在两个实验场景中进行评估：(1)在CTR(click through rate)预测中，我们将训练后的本发明算法应用于测试集，并输出预测的点击概率；AUC(area under thecurve)和ACC(accuracy)被用来评估CTR预测的性能；(2)在top-K推荐中，我们使用训练后的本发明算法为测试集中每个用户预测点击概率最高的K个物品，并选择Precision@K和Recall@K来评估推荐集；本发明在三个数据集MovieLens-1M、Book-Crossing、Last.FM上均达到了比所选基线算法更好的效果。
附图说明
图1是本发明实施例提供的融合用户行为和知识图谱的多任务推荐算法的框架图。
图2是本发明实施例提供的基于特征融合的重塑共享模块的结构图。
图3是本发明实施例提供构建知识图谱的流程图。
图4是本发明实施例提供的融合用户行为和知识图谱的多任务推荐算法的流程图。
图5是本发明实施例提供的算法在数据集MovieLens-1M上进行top-K推荐的Recall@K结果对比的可视化结果示意图。
图6是本发明实施例提供的算法在数据集Book-Crossing上进行top-K推荐的Recall@K结果对比的可视化结果示意图。
图7是本发明实施例提供的算法在数据集Last.FM上进行top-K推荐的Recall@K结果对比的可视化结果示意图。
图8是本发明实施例提供的算法在数据集MovieLens-1M上进行top-K推荐中的Precision@K的结果对比的可视化结果示意图。
图9是本发明实施例提供的算法在数据集Book-Crossing上进行top-K推荐中的Precision@K的结果对比的可视化结果示意图。
图10是本发明实施例提供的算法在数据集Last.FM上进行top-K推荐中的Precision@K的结果对比的可视化结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述；
本发明所述的融合用户行为和知识图谱的多任务推荐算法，根据用户历史点击物品记录和由物品构成的知识图谱为用户推荐可能感兴趣的物品；如图1所示，该算法的关键模块是知识图谱嵌入任务模块和推荐任务模块，除此之外还包括基于特征融合的重塑共享模块、物品嵌入模块、实体嵌入模块、关系嵌入模块、用户嵌入模块；其中，物品嵌入模块、实体嵌入模块和关系嵌入模块实质上是三个特定参数的全连接神经网络，通过大量样本训练后，输出物品、三元组中的实体和关系的向量；基于特征融合的重塑共享模块的结构如图2所示，该模块的输入是目标用户的历史行为序列和对应的头实体集合，目标用户的历史行为序列中的物品和对应的头实体集合中的头实体首先在模块内分别通过一层全连接神经网络得到物品向量和头实体向量/>，物品向量/>和头实体向量/>的维数为m，再经过模块内的重塑操作重新组合为一个新向量，新向量的维数为/>，将该新向量输入全连接神经网络，得到交互后的物品向量/>和交互后的头实体向量/>，输出p个交互后的物品向量组成交互后的目标用户的历史行为向量序列/>、p个交互后的头实体向量/>组成交互后的头实体向量集合/>；用户嵌入模块将基于特征融合的重塑共享模块处理后的目标用户的历史行为向量序列转换为用户向量；知识图谱嵌入任务模块选定某种嵌入算法将三元组的头实体向量、关系向量和尾实体向量嵌入到连续向量空间，并保留其语义信息和结构信息；推荐任务模块根据目标用户向量和候选物品向量得到候选物品的预测推荐概率。
由于知识图谱中包含多种类型的节点和关系，因此它具有较强的表示能力，可以通过实体间的路径来获得实体的属性和实体之间的高级关系；推荐系统中的物品可映射到知识图谱中，不仅缓解了数据稀疏性和冷启动问题，而且为物品推荐提供可解释性；知识图谱辅助推荐系统已经成为推荐系统研究领域的热点；构建知识图谱的流程如图3所示；本实施例借助微软的知识图谱Satori为数据集中所有用户的历史行为序列所包含的物品构建专属知识图谱；由头实体h、关系r和尾实体t组成的三元组是知识图谱中描述实体间关系的基本单位，选择Satori中置信度高于0.9的三元组构成知识图谱子集；以数据集MovieLens-1M为例，将该数据集中物品序号对应的物品名字与知识图谱子集中的(head,film.film.name, tail)三元组的尾实体相匹配，排除没有匹配或者匹配多个尾实体的物品序号；将得到的物品序号与知识图谱子集中三元组的头实体h和尾实体t相匹配，选择匹配成功的三元组/>构成该数据集的专属知识图谱；将该数据集的专属知识图谱中所有三元组/>的尾实体t随机替换为知识图谱子集中其他尾实体/>，得到对应的负三元组/>。
本发明所述的融合用户行为和知识图谱的多任务推荐算法按照图4所示的流程进行推荐，包括以下步骤：
步骤1、获取推荐所需的数据集，包括目标用户、目标用户的历史行为序列，即用户点击过的物品集合、候选物品、用户与物品的交互矩阵，Y表示用户对物品的隐式反馈，y表示矩阵Y中的元素，/>表示该用户点击过该物品，反之则/>；按图3所示的流程为每个数据集构建专属知识图谱。
步骤2、将与所述目标用户的历史行为序列中的物品相匹配的头实体h构成一个头实体集合，输入目标用户的历史行为序列与对应的头实体集合到基于特征融合的重塑共享模块中，分别经过全连接神经网络得到目标用户的历史行为向量序列和p个对应的头实体向量/>，再将目标用户的历史行为向量序列/>中的p个物品向量和p个对应的头实体向量/>成对地进行重塑操作，将物品向量/>和头实体向量/>按元素交错的方式重新排列组合为一个新向量；重塑操作是一种显式特征交叉方式，可对物品向量/>和头实体向量/>进行初步重组，将重塑后的新向量输入到全连接神经网络中,输出交互后的目标用户的历史行为向量序列/> 和交互后的p个对应的头实体向量/>，基于特征融合的重塑共享模块中的计算过程如下：
其中， 表示重塑函数，将两个d维向量/>按元素交错排列组合成一个新向量，/>表示目标用户的历史行为向量序列/>中的物品向量，/>表示/>是从集合/>中取出的向量，/>表示与目标用户的历史行为向量序列/> 中的物品向量相匹配的头实体集合，/>表示集合/>中的头实体向量，/>表示T层的全连接神经网络，/>表示重塑函数，/>表示交互后的头实体向量/>和交互后的目标用户的历史行为向量序列/>中的向量/>；基于特征融合的重塑共享模块处理后的目标用户的历史行为向量序列/>和头实体向量/>分别需要输入到推荐任务模块和知识图谱嵌入模块中。
步骤3、在知识图谱嵌入任务模块中三元组的嵌入需要分别将关系r和尾实体t输入到关系嵌入模块和实体嵌入模块，输出关系向量/>和尾实体向量/>：
其中，表示L层的全连接神经网络，r表示三元组中的关系；/>表示N层的全连接神经网络，t表示三元组中的尾实体；然后用k层的全连接神经网络预测基于特征融合的重塑共享模块输出的头实体向量h和关系向量r的对应尾实体的预测向量/>：
其中，表示K层的全连接神经网络，/>表示三元组中头实体向量/>和关系向量/>的拼接向量。
步骤4、使用尾实体向量和预测的尾实体向量/>之间的相似度作为评分函数来计算三元组/>的分数，三元组/>的评分函数/>如下：
其中，表示尾实体向量，/>表示尾实体的预测向量，/>表示尾实体向量/>的模长，/>表示尾实体的预测向量/>的模长；根据正元组的评分函数和负三元组的评分函数可得到知识图谱任务模块的损失函数LKG，知识图谱任务模块的损失函数如下：
其中，G表示构建的数据集专属知识图谱，表示数据集专属知识图谱G中三元组/>的评分函数，/>表示负三元组/>的评分函数。
步骤5、推荐任务模块的输入是候选物品向量和经过基于特征融合的重塑共享模块处理的目标用户的历史行为向量序列/>；将用户的p个历史物品向量/>通过平均的方式组合成用户向量u，计算过程如下：
其中，表示目标用户的历史行为向量序列/>中的向量，p表示目标用户的历史行为序列长度。
步骤6、将候选物品输入到物品嵌入模块中，物品嵌入模块由Q层的全连接神经网络构成，输出候选物品向量，计算过程如下：
其中，表示Q层的全连接神经网络，i表示候选物品；
将得到的候选物品向量与目标用户向量u输入到推荐任务模块，输出目标用户对候选物品的预测点击概率/>，计算过程如下：
其中，表示目标用户向量u和候选物品向量/>的内积,/>表示激活函数；基于目标用户对候选物品的预测点击概率/>与目标用户对候选物品的标签值y的交叉熵来构建推荐任务模块的损失函数LRS，计算过程如下：
其中，u和分别表示遍历用户集U和候选物品集V得到的目标用户和候选物品，/>表示目标用户u和候选物品/>的预测点击概率，y表示目标用户对候选物品的标签值，代表交叉熵函数，判断实际输出与期望输出的接近程度。
步骤7、模型的总损失函数L是由推荐任务模块的损失函数、知识图谱嵌入模块的损失函数/>和防止过拟合的正则化项/>相加得来的：
其中，表示知识图谱嵌入任务模块的损失函数，/>表示推荐任务模块的损失函数，/>表示算法中所有参数的正则化结果，W表示算法中的所有参数。
下面结合本发明的实验过程及实验结果对本发明进一步描述：
（1）数据描述
本发明在三个基准数据集上进行了实验，分别是MovieLens-1M、Book-Crossing和Last.FM；MovieLens-1M是一个被经常使用的的推荐系统数据集，主要包括用户数据、电影数据和评级数据，在MovieLens网站上包含大约100万个从1到5的明确评分，与之相关的知识图谱数据集由电影的属性和标签组成；Book-Crossing数据集中包含了1149780个从0到10的明确评分, 相关知识图谱是通过将书籍名称映射到Satori中的相应实体来构建的；Last.FM数据集的内容是Last.FM在线音乐系统中的2000名用户以及他们的音乐播放记录；首先需要将movielens-1M和Book-Crossing中的显式反馈数据转换为隐式反馈数据，MovieLens-1M中的用户对物品评级超过阈值4则标记为1，而Book-Crossing由于存在数据稀疏性则不设置阈值，将其每条记录都标记为1；除此之外，还需要为每个用户采样一个标记均为0的负样本集，其大小与正样本集大小相同。
（2）评价指标
本发明在两个实验场景中使用四种评估指标：①在CTR(click through rate)预测中，使用AUC和ACC来评估CTR预测的性能；②在top-K推荐中，使用Recall@K和Precision@K来评估推荐集。
（3）参数设置
具体的超参数设置如表1所示，表1为三个数据集的超参数设置。
表1 三个数据集的超参数设置
（4）与其他算法比较的实验结果
为了证明本发明的可靠性与有效性，本发明在相同的数据集上将本发明与以下结合知识图谱技术的推荐算法进行对比，实验结果如表2所示，表2为实验结果对比；
① MKR：采用多任务的学习框架，将推荐系统和知识图谱特征学习视为两个分离但相关的任务，进行交替式学习，本发明是在该算法的基础上改进；
② PER：通过人工设计的元路径在异构知识图谱中提取实体和关系特征来表示用户和物品之间的连通性；
③ DKN：将实体嵌入和单词嵌入作为多通道，并将它们结合到卷积神经网络中进行CTR预测；
④ Wide&Deep：将（宽）线性信道和（深）非线性信道相结合，是一个兼具记忆能力和泛化能力的深度推荐模型；
⑤ RippleNet：是一种类似水波涟漪的算法，它在知识图谱上一层层地传播用户偏好以供推荐；
⑥ MVIN：结合用户试图和实体视图，面向用户的模块根据包含用户点击信息的KG实体进行评分和聚合，从实体视图来看，进一步从KG内部实体-实体交互中获得综合特征；
⑦ MRUK：是本发明(Multi task recommendation algorithm integrating usersequence and knowledge graph, MRUK)的英文缩写 。
表2 实验结果对比
(5)实验结果分析
表2、图5、图6、图7、图8、图9、图10展示了本发明和上述六个算法在不同数据集上的实验对比结果，验证了AUC、ACC、Recall@K 、Precision@K评价指标；本发明通过基于特征融合的重塑共享模块引入知识图谱来降低推荐算法对数据稀疏性的敏感程度，利用与知识图谱交互后的物品向量来表示用户向量，将知识图谱中的实体、关系和结构表示融合到推荐任务模块的用户向量表示和物品向量表示中，更深入的挖掘物品之间的潜在联系和用户的兴趣偏好；从实验效果来看，本发明与其他算法相比在三个数据集上的表现较好。

Claims (9)

1.融合用户行为和知识图谱的多任务推荐算法，其特征在于，包括以下步骤：
步骤S100：获取推荐所需的数据集MovieLens-1M, Book-Crossing和Last.FM，其中包括目标用户、目标用户的历史行为序列，即目标用户点击过的物品集合、候选物品、目标用户与物品的交互矩阵，Y表示目标用户对物品的隐式反馈，y表示矩阵Y中的元素，表示该用户点击过该物品，反之则/>；借助微软的知识图谱Satori为每个数据集中的目标用户的历史行为序列所包含的物品构建专属知识图谱；由头实体h、关系r和尾实体t组成的三元组/>是知识图谱中描述实体间关系的基本单位，选择Satori中置信度高于0.9的三元组/>构成知识图谱子集；以数据集MovieLens-1M为例，将该数据集中物品序号对应的物品名字与知识图谱子集中的(head, film.film.name, tail)三元组的尾实体相匹配，排除没有匹配或者匹配多个尾实体的物品序号；将得到的物品序号与知识图谱子集中三元组/>的头实体h和尾实体t相匹配，选择匹配成功的三元组/>构成该数据集的专属知识图谱；将该数据集的专属知识图谱中所有三元组/>的尾实体t随机替换为该数据集的专属知识图谱中其他尾实体/>,得到对应的负三元组/>；
步骤S200：将与目标用户的历史行为序列中的物品相匹配的头实体h构成一个头实体集合，输入目标用户的历史行为序列和对应的头实体集合到基于特征融合的重塑共享模块中，输出交互后的目标用户的历史行为向量序列和交互后的p个对应的头实体向量/>；
步骤S300：将三元组中的关系r输入到关系嵌入模块中，输出关系向量；
步骤S400：将三元组中的尾实体t输入到实体嵌入模块中，输出尾实体向量；
步骤S500：将交互后的头实体向量、关系向量/>和尾实体向量/>输入到知识图谱嵌入任务模块中，计算得到知识图谱嵌入任务模块的损失函数；
步骤S600：将交互后的目标用户的历史行为向量序列输入到用户嵌入模块中，输出目标用户向量u；
步骤S700：将候选物品输入到物品嵌入模块中，输出候选物品向量；
步骤S800：将目标用户向量u、候选物品向量输入到推荐任务模块,输出目标用户对候选物品的预测点击概率/>，计算得到推荐任务模块的损失函数；
步骤S900：根据知识图谱嵌入任务模块的损失函数和推荐任务模块的损失函数,得到算法的整体损失函数，对算法进行优化更新。
2.根据权利要求1所述的融合用户行为和知识图谱的多任务推荐算法，其特征在于，所述步骤S200的基于特征融合的重塑共享模块：目标用户的历史行为序列和对应的头实体集合分别经过各自的全连接神经网络得到目标用户的历史行为向量序列和p个对应的头实体向量/>，再将目标用户的历史行为向量序列/>中的p个物品向量/>和p个对应的头实体向量/>成对地进行重塑操作，即将一个物品向量/>和一个头实体向量/>按元素交错的方式重新排列组合为一个新向量；重塑操作是一种显式特征交叉方式，可对物品向量/>和头实体向量/>进行初步重组，将重塑后的新向量输入到全连接神经网络中,得到交互后的物品向量/>和交互后的头实体向量/>，输出p个交互后的物品向量/>组成交互后的目标用户的历史行为向量序列/>、p个交互后的头实体向量/>组成交互后的头实体向量集合/>；基于特征融合的重塑共享模块中的计算过程如下：
其中， 表示重塑函数，将两个d维向量/>按元素交错排列组合成一个新向量/>，/>表示目标用户的历史行为向量序列/>中的物品向量，/>表示/>是从集合中取出的向量，/>表示与目标用户的历史行为向量序列/> 中的物品向量相匹配的头实体向量集合，/>表示集合/>中的头实体向量，/>表示T层的全连接神经网络，/>表示重塑函数，/>表示交互后的头实体向量/>和交互后的目标用户的历史行为向量序列/>中的向量/>。
3.根据权利要求1所述的融合用户行为和知识图谱的多任务推荐算法，其特征在于，所述步骤S300将三元组中的关系r输入到关系嵌入模块，关系嵌入模块由L层的全连接神经网络构成，输出关系向量，计算过程如下：
其中，表示L层的全连接神经网络，r表示三元组中的关系。
4.根据权利要求1所述的融合用户行为和知识图谱的多任务推荐算法，其特征在于，所述步骤S400将三元组中的尾实体t输入到实体嵌入模块，实体嵌入模块由N层的全连接神经网络构成，输出尾实体向量，计算过程如下：
其中，表示N层的全连接神经网络，t表示三元组中的尾实体。
5.根据权利要求1所述的融合用户行为和知识图谱的多任务推荐算法，其特征在于，所述步骤S500将交互后的头实体向量、关系向量/>和尾实体向量/>输入到知识图谱嵌入任务模块，根据头实体向量/>和关系向量/>确定尾实体的预测向量/>，计算过程如下：
其中，表示K层的全连接神经网络，/>表示头实体向量/>和关系向量/>的拼接向量；
将尾实体的预测向量和尾实体向量/>之间的相似度作为评分函数来计算三元组的分数，三元组/>的评分函数/>计算过程如下：
其中，表示尾实体向量，/>表示尾实体的预测向量，/>表示尾实体向量/>的模长，/>表示尾实体的预测向量/>的模长；基于三元组/>的评分函数/>和负三元组的评分函数/>来构建知识图谱嵌入任务模块的损失函数LKG, 计算过程如下：
其中，G表示构建的数据集专属知识图谱，表示数据集专属知识图谱G中三元组/>的评分函数，/>表示负三元组/>的评分函数。
6.根据权利要求1所述的融合用户行为和知识图谱的多任务推荐算法，其特征在于，所述步骤S600将交互后的目标用户的历史行为向量序列输入到用户嵌入模块中，输出目标用户向量u，计算过程如下：
其中，表示目标用户的历史行为向量序列/>中的向量，p表示目标用户的历史行为序列长度。
7.根据权利要求1所述的融合用户行为和知识图谱的多任务推荐算法，其特征在于，所述步骤S700将候选物品输入到物品嵌入模块中，物品嵌入模块由Q层的全连接神经网络构成，输出候选物品向量，计算过程如下：
其中，表示Q层的全连接神经网络，i表示候选物品。
8.根据权利要求1所述的融合用户行为和知识图谱的多任务推荐算法，其特征在于，所述步骤S800将目标用户向量u、候选物品向量输入到推荐任务模块，输出目标用户对候选物品的预测点击概率/>,计算过程如下：
其中，表示目标用户向量u和候选物品向量/>的内积,/>表示Sigmoid函数，即激活函数；基于目标用户对候选物品的预测点击概率/>与目标用户对候选物品的标签值y的交叉熵来构建推荐任务模块的损失函数LRS，计算过程如下：
其中，u和分别表示遍历用户集U和候选物品集V得到的目标用户向量和候选物品向量，y表示目标用户对候选物品的标签值，/>表示目标用户对候选物品的预测点击概率，代表交叉熵函数，判断期望输出与实际输出的接近程度，即/>与y的接近程度。
9.根据权利要求1所述的融合用户行为和知识图谱的多任务推荐算法，其特征在于，所述步骤S900根据知识图谱嵌入任务模块的损失函数和推荐任务模块的损失函数/>共同构建算法的总损失函数L，对算法进行优化更新，计算过程如下：
其中，表示知识图谱嵌入任务模块的损失函数，/>表示推荐任务模块的损失函数，表示算法中所有参数的正则化结果，W表示算法中的所有参数。
CN202311678797.6A 2023-12-08 2023-12-08 融合用户行为和知识图谱的多任务推荐算法 Active CN117370674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311678797.6A CN117370674B (zh) 2023-12-08 2023-12-08 融合用户行为和知识图谱的多任务推荐算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311678797.6A CN117370674B (zh) 2023-12-08 2023-12-08 融合用户行为和知识图谱的多任务推荐算法

Publications (2)

Publication Number Publication Date
CN117370674A true CN117370674A (zh) 2024-01-09
CN117370674B CN117370674B (zh) 2024-02-09

Family

ID=89408159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311678797.6A Active CN117370674B (zh) 2023-12-08 2023-12-08 融合用户行为和知识图谱的多任务推荐算法

Country Status (1)

Country Link
CN (1) CN117370674B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688247A (zh) * 2024-01-31 2024-03-12 云南大学 推荐方法、终端设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150112739A1 (en) * 2013-10-18 2015-04-23 Agreeya Mobility, Inc. Method and system for monetization of applications and services in communication devices
CN114860854A (zh) * 2022-05-05 2022-08-05 中国人民解放军国防科技大学 基于注意力机制的时序知识图谱推理方法、装置和设备
CN115272716A (zh) * 2021-06-11 2022-11-01 首都师范大学 一种提取整合图像内部与图像之间特征关系的方法和装置
CN115345653A (zh) * 2022-08-09 2022-11-15 支付宝(杭州)信息技术有限公司 一种增益值获取方法、装置、存储介质及电子设备
CN115905704A (zh) * 2022-12-13 2023-04-04 辽宁工程技术大学 一种融合偏好传播的多任务推荐方法
CN116701611A (zh) * 2023-05-25 2023-09-05 湖北工业大学 一种融合交互注意力的学习知识图谱的推荐方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150112739A1 (en) * 2013-10-18 2015-04-23 Agreeya Mobility, Inc. Method and system for monetization of applications and services in communication devices
CN115272716A (zh) * 2021-06-11 2022-11-01 首都师范大学 一种提取整合图像内部与图像之间特征关系的方法和装置
CN114860854A (zh) * 2022-05-05 2022-08-05 中国人民解放军国防科技大学 基于注意力机制的时序知识图谱推理方法、装置和设备
CN115345653A (zh) * 2022-08-09 2022-11-15 支付宝(杭州)信息技术有限公司 一种增益值获取方法、装置、存储介质及电子设备
CN115905704A (zh) * 2022-12-13 2023-04-04 辽宁工程技术大学 一种融合偏好传播的多任务推荐方法
CN116701611A (zh) * 2023-05-25 2023-09-05 湖北工业大学 一种融合交互注意力的学习知识图谱的推荐方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONGWEI WANG 等: "Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation", 《WWW \'19: THE WORLD WIDE WEB CONFERENCE》, 31 May 2019 (2019-05-31), pages 2000 - 2010, XP059021116, DOI: 10.1145/3308558.3313411 *
MIN GAO 等: "Enhanced multi-task learning and knowledge graph-based recommender system", 《IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》, 2 March 2023 (2023-03-02), pages 10281, XP011949339, DOI: 10.1109/TKDE.2023.3251897 *
高文佳: "基于改进CNN-LSTM和迁移学习的网络入侵检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 July 2023 (2023-07-15), pages 139 - 77 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688247A (zh) * 2024-01-31 2024-03-12 云南大学 推荐方法、终端设备及存储介质
CN117688247B (zh) * 2024-01-31 2024-04-12 云南大学 推荐方法、终端设备及存储介质

Also Published As

Publication number Publication date
CN117370674B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN108573411B (zh) 基于用户评论的深度情感分析和多源推荐视图融合的混合推荐方法
CN110837602B (zh) 基于表示学习和多模态卷积神经网络的用户推荐方法
CN112966091B (zh) 一种融合实体信息与热度的知识图谱推荐系统
Fischer et al. Visual analytics for temporal hypergraph model exploration
Yu et al. Graph neural network based model for multi-behavior session-based recommendation
CN113590965B (zh) 一种融合知识图谱与情感分析的视频推荐方法
CN112559764A (zh) 一种基于领域知识图谱的内容推荐方法
Du et al. Image recommendation algorithm combined with deep neural network designed for social networks
CN115422441A (zh) 一种基于社交时空信息与用户偏好的连续兴趣点推荐方法
CN117370674B (zh) 融合用户行为和知识图谱的多任务推荐算法
CN113343100B (zh) 一种基于知识图谱的智慧城市资源推荐方法和系统
CN115712780A (zh) 一种基于云计算和大数据的信息推送方法及装置
CN114706989A (zh) 一种基于技术创新资产为知识库的智能推荐方法
CN115982467A (zh) 一种去偏化用户多兴趣推荐方法、装置及存储介质
CN111259264A (zh) 一种基于生成对抗网络的时序评分预测方法
CN113342994A (zh) 一种基于无采样协作知识图网络的推荐系统
CN118071400A (zh) 基于图计算技术在信息消费领域的应用方法及系统
Liu POI recommendation model using multi-head attention in location-based social network big data
CN117422134A (zh) 一种基于图卷积神经网络的知识图推荐方法
CN117056609A (zh) 一种基于多层聚合增强对比学习的会话推荐方法
CN116702784A (zh) 实体链接方法、装置、计算机设备和存储介质
CN113688281B (zh) 一种基于深度学习行为序列的视频推荐方法及系统
CN116756432A (zh) 一种社交用户隐含关系推荐方法及装置
Qi et al. Design of graph neural network social recommendation algorithm based on coupling influence
Li et al. Expert Recommendation in Community Question Answering via Heterogeneous Content Network Embedding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant