CN116881578A - 一种基于不同粒度用户多兴趣提取的多行为建模推荐方法 - Google Patents

一种基于不同粒度用户多兴趣提取的多行为建模推荐方法 Download PDF

Info

Publication number
CN116881578A
CN116881578A CN202310889943.3A CN202310889943A CN116881578A CN 116881578 A CN116881578 A CN 116881578A CN 202310889943 A CN202310889943 A CN 202310889943A CN 116881578 A CN116881578 A CN 116881578A
Authority
CN
China
Prior art keywords
interest
behavior
interests
user
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310889943.3A
Other languages
English (en)
Inventor
李秀
孟昶
朱祥辉
金孟群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202310889943.3A priority Critical patent/CN116881578A/zh
Publication of CN116881578A publication Critical patent/CN116881578A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于不同粒度用户多兴趣提取的多行为建模推荐方法，其中，将每个物品对应各个行为的特征表示拼接到一起输入粗粒度兴趣提取模块，对物品的特征表示进行学习，使用知识感知关系来提取多种行为的共有和特殊行为兴趣；由细粒度行为关联模块将用户与物品的交互行为分配给不同的兴趣，并通过兴趣感知的行为关联来捕捉行为之间的相互关系。通过从粗到细的过程来建模兴趣的多兴趣学习机制，能够更好地建模多个行为之间的复杂依赖关系。所提出的多兴趣学习框架已经通过实验证实具有性能上优越性，同时具有良好的可解释性。本发明能够提高推荐系统的HR和NDCG指标，预测用户喜好和倾向的准确性高。

Description

一种基于不同粒度用户多兴趣提取的多行为建模推荐方法
技术领域
本发明涉及机器学习和推荐系统，特别是涉及一种基于不同粒度用户多兴趣提取的多行为建模推荐方法。
背景技术
协同过滤(CF，collaborative filtering)技术作为一种基于用户历史行为数据的个性化推荐技术，已经在很多领域得到了广泛应用。在电子商务领域，协同过滤技术被用来预测用户对某些物品的兴趣度或偏好，从而提供给用户更加个性化的购物品验。在社交媒体领域，协同过滤技术可以分析用户在社交网络上的行为，例如点赞、评论、分享等，从而为用户推荐相关的朋友、话题或内容。在音乐领域，协同过滤技术可以根据用户历史播放列表和评分数据，为用户推荐他们可能感兴趣的音乐类型、艺术家或专辑。在电影领域，协同过滤技术可以分析用户的历史观影记录和评分数据，从而向用户推荐他们可能喜欢的电影、电视剧或纪录片。在新闻和广告领域，协同过滤技术可以根据用户历史浏览记录和点击数据，为用户推荐他们可能感兴趣的新闻内容和广告。
该技术的实现细节为：CF首先从历史互动中学习用户和物品的表示，然后利用这些表示进行预测。现有的大多数CF方法都是为单一行为建模的。该技术主要基于两个假设：1)用户对物品的兴趣度会受到与其有相似兴趣的其他用户的影响；2)用户对某一物品的兴趣度可以通过其历史行为(如评分、购买、收藏等)反映出来。协同过滤算法通过对用户行为数据进行分析，推断出用户和物品之间的关系，并给用户推荐相似用户或相似物品，从而实现个性化推荐。
多行为推荐是指利用用户在不同行为中对物品的反馈，如点击、浏览、购买、收藏、评分等，来预测用户对物品的兴趣，从而实现个性化推荐的一种技术。相比于传统的单行为推荐，多行为推荐更能准确地反映用户对物品的真实兴趣，因为用户对同一个物品可能会有不同的反馈行为，这些行为互相之间存在协同作用，能够更全面地反映用户对物品的兴趣度。
多行为推荐在实际应用中有广泛的应用，如电子商务、社交媒体、音乐、电影、新闻和广告等领域。但由于不同行为可能表达用户与物品的互补兴趣，因此同时利用多种行为数据是必要的。为了更好地捕捉多行为数据中的协同信号，研究者们提出了许多基于神经网络和多任务学习的方法，例如利用图神经网络将多种行为数据视为异构图，以学习用户和物品之间的更复杂的异构信息，将用户的所有行为作为预测目标，以提高用户和物品的学习效果等。
以往的多行为方法只能建模用户的单一兴趣，无法对用户多样性意向进行提取。
另一方面，以往的多兴趣方法是为单个行为设计的，然而，相同行为下的不同兴趣可能对目标行为的预测产生不同的影响。以往，对用户多兴趣的提取没有明确性的导向，大多使用随机向量初始化聚类中心，这会导致次优结果，因为生成的中心可能非常接近彼此。
需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的主要目的在于克服上述背景技术的缺陷，提供一种基于不同粒度用户多兴趣提取的多行为建模推荐方法。
为实现上述目的，本发明采用以下技术方案：
一种基于不同粒度用户多兴趣提取的多行为建模推荐方法，包括：
初始化用户和物品的嵌入向量以及知识提取的图卷积神经网络参数；
将不同关系的物品-物品子图利用图卷积神经网络的形式进行聚集，得到每个物品对应不同行为关系的特征表示；图结构中节点级别的多重兴趣向量作为每个物品兴趣向量的初始化聚类中心；
将每个物品对应各个行为的特征表示拼接到一起输入粗粒度兴趣提取(CIE)模块，对物品的特征表示进行学习，使用知识感知关系来提取多种行为的共有和特殊行为兴趣；
所述粗粒度兴趣提取模块的输出传递给细粒度行为关联(FBC)模块，所述细粒度行为关联模块将用户与物品的交互行为分配给不同的兴趣，并通过兴趣感知的行为关联来捕捉行为之间的相互关系；
聚集每一个行为子图中的用户特征和物品特征，将不同行为中的用户/物品特征共有兴趣进行聚集，再将聚集后的特征通过多层图卷积神经网络进行聚集，得到多层用户、物品嵌入向量。
进一步地，还通过稠密嵌入向量查找表将每个物品和用户的独热码转换成低维稠密向量。
进一步地，对利用图卷积神经网络的形式进行聚集得到的多层特征图进行平均池化，来得到每个物品对应不同行为关系的特征表示。
进一步地，所述粗粒度兴趣提取模块按照共有-特殊(Share-Specific)专家模型将不同行为的多个兴趣分成共有部分和特殊部分，输入通过多个全连接层映射到每个行为类型的多个特殊特征和共有特征，再通过将特殊行为兴趣与共有行为兴趣进行拼接，得到每个行为最终的兴趣。
进一步地，所述粗粒度兴趣提取模块包括知识感知关系建模和行为感知的兴趣提取；
所述知识感知关系建模基于初始化兴趣聚类中心，使用知识感知信息来初始化兴趣表示，通过图神经网络范式，来获取用户多个兴趣作为初始化向量，其中，将图神经网络根据不同关系分成不同的子图并将每个子图的信息进行聚集；
所述行为感知的兴趣提取按照共有-特殊的专家模块，将用户的兴趣分为共有部分和特殊部分，并且对用户不同行为之间的兴趣建立关联，使同一兴趣在不同行为之间的信息互补。
进一步地，利用知识库的先验知识，所述知识感知关系建模部分根据知识图谱中的关系类别作为分界来分成多个子图，对每个子图中的各个物品抽取出相应的特征。
进一步地，所述行为感知的兴趣提取包括：对物品在不同行为下抽取出其对共有兴趣的向量表示和特殊兴趣的向量表示，对物品的多个关系下的表征进行加和，之后再通过不同行为下的映射分别求出该物品对于共有兴趣的表征和特殊兴趣的表征，再对这两个表征进行连接得到最终的物品在不同行为下的兴趣表征。
进一步地，所述细粒度行为关联模块包括兴趣感知的行为分配和兴趣感知的行为关联；
所述兴趣感知的行为分配将每个交互行为分配给不同的兴趣；其中，将不同行为下二分图中的边分配给相应的兴趣，将共有兴趣部分学习到用户的向量表示中，从而能够取出用户和物品两者中的相同部分并剔除特殊兴趣，完成分数计算；
所述兴趣感知的行为关联捕捉行为之间的相互关系；其中，使用多头注意力机制对共有兴趣部分进行处理，使多种行为的共有兴趣部分得到双向交互，同时不对特殊兴趣部分进行处理。
进一步地，训练时，先计算行为下的用户对物品的打分以及关系下的两个物品之间的分数，使用BPR损失函数；对知识图谱的特征抽取进行训练，采用自监督的关系重建任务，使用SRR损失函数；将两个二元排序损失函数整合成一个损失函数。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现所述的基于不同粒度用户多兴趣提取的多行为建模推荐方法。
本发明具有如下有益效果：
(1)利用多兴趣学习在多行为推荐中更好地捕捉协同信号，实现了更好的可解释性和性能。
(2)解决了现有多兴趣方法中存在的次优的相关性建模问题，更好地建模行为之间的相关性。
(3)解决了兴趣学习的难点问题，以更灵活的方式使用从知识感知信息获得的语义信息，使兴趣的初始中心尽可能远，并充分利用协作信号在聚类过程中的信息。
在推荐系统实际应用中，用户与物品之间可能有不同种互动行为。本发明可以有效地利用多种行为数据，更好地捕捉用户和物品之间的协同信号，从而能够提高协同过滤的CTR预测效果。本发明能够提高推荐系统的HR和NDCG指标，预测出来的用户喜好和倾向的准确性高。其主要优点包括：
(1)本发明将多兴趣学习引入到多行为推荐中，提出了一种新的粗到细的知识增强多兴趣学习框架(CKML)的多行为推荐，对不同行为的共有和特殊行为的用户兴趣进行学习。
(2)本发明提出了一种用一个从粗到细的过程来建模兴趣的多兴趣学习机制，从而更好地建模多个行为之间的复杂依赖关系。
(3)本发明提出的多兴趣学习框架已经通过实验证实具有性能上优越性，同时具有良好的可解释性。
本发明实施例中的其他有益效果将在下文中进一步述及。
附图说明
图1为本发明基于不同粒度用户多兴趣提取的多行为建模推荐方法的基本流程。
图2为本发明实施例的流程示意图。
具体实施方式
以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
参阅图1和图2，本发明实施例提供一种基于不同粒度用户多兴趣提取的多行为建模推荐方法，包括：
随机初始化用户和物品的嵌入向量以及知识提取的图卷积神经网络参数；
将不同关系的物品-物品子图利用图卷积神经网络的形式进行聚集，得到每个物品对应不同行为关系的特征表示；图结构中节点级别的多重兴趣向量作为每个物品兴趣向量的初始化聚类中心；
将每个物品对应各个行为的特征表示拼接到一起输入粗粒度兴趣提取(CIE)模块，对物品的特征表示进行学习，使用知识感知关系来提取多种行为的共有和特殊行为兴趣；
所述粗粒度兴趣提取模块(CIE)的输出传递给细粒度行为关联(FBC)模块，所述细粒度行为关联(FBC)模块将用户与物品的交互行为分配给不同的兴趣，并通过兴趣感知的行为关联来捕捉行为之间的相互关系；
聚集每一个行为子图中的用户特征和物品特征，将不同行为中的用户/物品特征共有兴趣进行聚集，再将聚集后的特征通过多层图卷积神经网络进行聚集，得到多层用户、物品嵌入向量。
在优选的实施例中，所述粗粒度兴趣提取(CIE)包括知识感知关系建模(Knowledge-aware Relation Modeling)和行为感知的兴趣提取(Behavior-awareInterest Extraction)；所述知识感知关系建模基于初始化兴趣聚类中心，使用知识感知信息来初始化兴趣表示，通过图神经网络范式，来获取用户多个兴趣作为初始化向量，其中，将图神经网络根据不同关系分成不同的子图并将每个子图的信息进行聚集；所述行为感知的兴趣提取按照共有-特殊的专家模块，将用户的兴趣分为共有部分和特殊部分，并且对用户不同行为之间的兴趣建立关联，使同一兴趣在不同行为之间的信息互补。
在一些实施例中，利用知识库的先验知识，所述知识感知关系建模部分根据知识图谱中的关系类别作为分界来分成多个子图，对每个子图中的各个物品抽取出相应的特征。
在一些实施例中，所述行为感知的兴趣提取包括：对物品在不同行为下抽取出其对共有兴趣的向量表示和特殊兴趣的向量表示，对物品的多个关系下的表征进行加和，之后再通过不同行为下的映射分别求出该物品对于共有兴趣的表征和特殊兴趣的表征，再对这两个表征进行连接得到最终的物品在不同行为下的兴趣表征。
在优选的实施例中，所述细粒度行为关联(FBC)包括兴趣感知的行为分配(Interest-aware Behavior Allocation)和兴趣感知的行为关联(Interest-awareBehavior Correlation)；所述兴趣感知的行为分配将每个交互行为分配给不同的兴趣；其中，将不同行为下二分图中的边分配给相应的兴趣，将共有兴趣部分学习到用户的向量表示中，从而能够取出用户和物品两者中的相同部分并剔除特殊兴趣，完成分数计算；所述兴趣感知的行为关联捕捉行为之间的相互关系；其中，使用多头注意力机制对共有兴趣部分进行处理，使多种行为的共有兴趣部分得到双向交互，同时不对特殊兴趣部分进行处理。
以下结合具体实施例进一步描述本发明。
多行为交互推荐
以U＝{u1,u2,...,uM}表示用户集合，I＝{i1,i2,...,iN}表示物品集合，其中M和N分别是用户和物品的数量。在现实世界的推荐场景中，用户可以以多种方式与物品进行交互。假设有K种行为类型，我们将不同行为的用户-物品交互数据表示为其中/>代表行为k的交互行为矩阵。用户-物品交互数据也可以看作是一个用户-物品二向图Gu-i＝{V,ξu-i,Au-i,Ru-i}，其中V是包括所有用户和物品的节点集，ξu-i是记录所有行为的边集合。Ru-i是所有行为的可能类别，Au-i是表示图结构的邻接矩阵集合。
基于知识感知的物品间关联
知识感知的物品-物品关联(Knowledge-aware Item-Item Relations)被广泛用于语义信息的补充和辅助表示学习，是一种利用知识图谱或其他领域知识来增强推荐系统中的物品与物品间关系的方法。这种方法可以提高推荐系统的准确性和个性化程度，从而更好地满足用户的需求。
在传统的推荐系统中，物品-物品关系通常是基于用户历史行为和物品特征进行计算的。然而，这种方法往往无法捕捉到物品之间的潜在关联，以及物品之间的语义和领域相关性。为了解决这个问题，研究人员开始探索如何将知识图谱或其他领域知识结合到推荐系统中。这种方法可以通过将知识图谱中的实体与推荐系统中的物品进行对应，从而为物品之间建立更准确的关系。例如，如果知识图谱中存在"电影A"和"电影B"之间的关系，那么推荐系统可以利用这个关系来推荐给用户看"电影A"之后也可能会喜欢"电影B"。
基于不同粒度用户多兴趣提取的多行为建模
本发明提出的多行为推荐算法包括二个部分：(1)粗粒度兴趣提取(CIE)模块；(2)细粒度的行为相关性(FBC)模块。CIE模块类似推荐系统的粗排模块，先根据用户笼统的兴趣筛选掉用户不喜欢的部分。FBC模块类似推荐链路上的精排模块，根据用户的行为的相关性，来选择用户喜欢概率较大的部分。
粗粒度兴趣提取(CIE)
CIE模块使用知识感知关系来提取多种行为的共有和特殊行为的兴趣，激励用户对多种行为的交互。CIE包括两个主要部分：第一个部分是知识感知关系建模(Knowledge-aware Relation Modeling)，用于捕获语义信息的知识关系图，而第二个部分是行为感知的兴趣提取(Behavior-aware Interest Extraction)，用于利用语义信息提取的兴趣。其中，前者建模强调了初始化兴趣聚类中心的重要性，并使用知识感知信息来初始化兴趣表示，通过图神经网络范式，来获取用户多个兴趣作为初始化向量，该过程需要将图神经网络根据不同关系分成不同的子图并将每个子图的信息进行聚集；后者根据多任务学习的启发，提出share-specific共有-特殊的专家模块，将用户的兴趣分为共有部分和特殊部分，并且用户不同行为之间的兴趣也建立了一定的关联，从而保证同一兴趣在不同行为之间的信息互补。
粗粒度兴趣提取(CIE)解决了不充分关联建模和兴趣向量初始化不当导致的聚类中心距离过近的问题。这个过程对物品特征表示进行学习，但并未将交互行为分配给不同的兴趣，因此是粗粒度的，这里的兴趣并未显示建模，而是存在于物品的特征表示中。
1)知识感知关系建模：其着重对物品的表征进行抽取，因为在进行兴趣分类时往往缺少较好的初始化，而加入了知识库这一重要的先验知识之后，物品的表征中可以使用图神经网络来抽取，具体地我们可以根据知识图谱中的关系类别作为分界，分成多个子图，之后对每个子图中的各个物品抽取出相应的特征。
2)行为感知的兴趣提取：对物品在不同行为下抽取出其对共有兴趣的向量表示和特殊兴趣的向量表示，输入上一个模块的物品在不同关系下的表征，之后对一个物品的多个关系下的表征进行加和，之后再通过不同行为k下的映射(线性层+激活函数)分别求出这个物品对于共有兴趣的表征和特殊兴趣的表征Si k和hi k，这时再对两个表征进行连接得到最终的物品在行为k下的表征gi k。
细粒度行为关联(FBC)
FBC模块在以物品级别提取多兴趣模型的基础上，采用基于交互级别的细粒度用户多行为兴趣的建模方式，FBC模块包括两个主要部分：第一个部分是兴趣感知的行为分配(Interest-aware Behavior Allocation)，用于进一步将每个交互行为分配给不同的兴趣。第二个部分是兴趣感知的行为关联(Interest-aware Behavior Correlation)，用于捕捉行为之间的相互关系并充分利用这些信息。
FBC模块实现了将用户与物品的交互行为分配给不同的兴趣，从而可以区分共有兴趣和特殊兴趣，帮助兴趣感知的行为关联子模块计算时剔除特殊兴趣部分。特殊兴趣含有较少的有用信息，加入训练后会产生较多的噪音。
1)兴趣感知的行为分配：主要将不同行为下二分图中的边分配给相应的兴趣，根据算法来看，其同样是“学习”到了用户和物品的向量表示中，粗粒度的算法只将共有兴趣部分学习到了物品的向量表示中，而细粒度的算法也要将共有兴趣部分学习到用户的向量表示中，目的是为了之后能够取出用户和物品两者中的相同部分并剔除特殊兴趣，完成分数计算。
2)兴趣感知的行为关联：使用多头注意力机制对上一步求出的fu k的共有兴趣部分进行处理，即fu,sha k送入多头注意力机制中，使得多种行为的共有兴趣部分得到双向交互，同时不对fu,spe k的部分处理，防止其对学习过程中产生影响。
训练方法
训练时先计算两种分数，分别是行为k下的用户对物品的打分ok u,i’如公式1，和在关系r下两个物品之间的分数or i,i’，如公式2，使用了BPR损失函数得到了Lu-i，如公式3(这里是对数据集进行采样，(u,p)属于正样例，(u,q)属于负样例，因此损失函数设计成了一种二元组排序的形式)。另一个损失函数是对知识图谱的特征抽取进行训练，这里采用了自监督的关系重建任务，使用了SRR损失函数得到Li-i,如公式4(通过同样的方式对知识图谱中的二分图采样正例和负例,(i,p)属于正样例，(i,q)属于负样例，由此设计二元排序损失函数)。最终整合成一个损失函数如公式5(最后一项为正则项)。
其中，fu k,*表示在行为k下用户的特征向量，fi k,*表示在行为k下物品的特征向量，ok u，i表示在行为k下的用户对物品的打分，or i，i’表示在关系r下两个物品之间的分数。
本发明提出的基于不同粒度多兴趣的用户多行为推荐场景的主体框架采用基于图神经网络的CIE模块和FBC模块来提取用户与物品交互数据中粗粒度兴趣与细粒度兴趣。两个模块之间的连接采用级联形式进行相连，从而保证网络模型以循序渐进不断深入的趋势挖掘用户行为信息。
在示例性的实施例中，本发明的方法可包括如下过程：
1、首先随机初始化用户、物品嵌入向量以及知识提取图神经网络参数，见图1。
2、通过稠密嵌入向量查找表将每个物品和用户的独热码转换成低维稠密向量。
3、根据关系的种类不同，将不同关系的物品-物品子图利用图卷积神经网络的形式进行聚集，对得到的Li-i层特征图进行平均池化。从而得到每个物品对应不同行为关系的特征表示图结构中节点级别的多重兴趣向量作为每个物品兴趣向量的初始化聚类中心。
4、随后将同一物品每个行为的特征表示拼接到一起得到行为感知兴趣提取模块的输入。按照Share-Specific共有-特殊的专家模型，不同行为的多个兴趣可以分成共有部分以及特殊部分。因此将模块输入通过多个全连接层映射到每个行为类型的多个特殊特征和共有特征。最终通过将特殊行为兴趣与共有行为兴趣进行拼接，得到每个行为最终的兴趣。
5、接下来将CIE模块的输出传递给用于提取用户-物品行为细粒度兴趣的FBC模块。首先按照图卷积神经网络算法，聚集每一个行为子图中的用户特征和物品特征。
6、随后使用多头自注意力机制将不同行为中的用户/物品特征共有兴趣进行聚集，随后将聚集后的特征通过L层图卷积神经网络进行聚集，得到L层用户、物品嵌入向量。
7、最终的每个兴趣向量都由该L层对应向量求和得到。为了让多个兴趣更加地分散，每次都只选择分数最大的一对兴趣进行回传。
8、为了让物品-物品图含有更加丰富的特征，增加一个辅助损失函数，用于每一个子图网络将由一个辅助的自监督BPR(Bayesian Personalized Ranking)损失函数进行自我学习，具体细节为让两个有边相连的物品的嵌入内积要大于没有边相连的物品嵌入内积。
通过以上的方法，本发明提供一种CKML(Coarse-to-fine Knowledge-enhancedMulti-interest Learning)模型，由粗粒度到细粒度的用户多兴趣模型，可以对多行为推荐场景中的多兴趣进行提取，从而大幅度提升平台推荐效果。
实验结果
为了验证本发明的效果，我们在三个数据集(即Yelp，MovieLens-10M(后文和图表中缩写为MovieLens)和Online Retail(后文和图表中缩写为Retail))上对本发明进行评估。本发明将其与各种基线模型进行比较，可分为四组：(A)单个行为非图模型(BiasMF[1]，DMF[2]，AutoRec[3],MIND[4],ComiRec[5])；(B)单个行为图模型(ST-GCN[6]，NGCF[7],DGCF[8],KGAT[9])；(C)多行为非图模型(NMTR[10]，DIPN[11]，MATN[12])；(D)多行为图模型(DGCFM[13],NGCF M[14]，LightGCN M[15]，MBGCN[16],CML[17],KHGT[18])。
表1 CKML与各基线总体性能比较结果
本发明提出的CKML模型在所有数据集上一致取得最佳结果。评测指标为HR和NDCG，分别用于召回和粗排链路当中。具体而言，在Yelp，MovleLens和Retail数据集上，CKML相对于最强的基线模型分别提高了1.82％，6.67％和11.65％的HR(以及分别是3.48％，14.91％和16.19％的NDCG)。对基线的巨大改进证明了CKML在多行为推荐中的有效性。
本发明能够提高推荐系统的HR和NDCG指标，预测出来的用户喜好和倾向的准确性高。
与传统方法相比，本发明的主要优点包括：
(1)本发明将多兴趣学习引入到多行为推荐中，提出了一种新的粗到细的知识增强多兴趣学习框架(CKML)的多行为推荐，对不同行为的共有和特殊行为的用户兴趣进行学习。
(2)本发明提出了一种用一个从粗到细的过程来建模兴趣的多兴趣学习机制，从而更好地建模多个行为之间的复杂依赖关系。
(3)本发明提出的多兴趣学习框架已经通过实验证实具有性能上优越性，同时具有良好的可解释性。
本发明的应用价值主要体现在：
(1)本发明第一次在多行为推荐中运用多兴趣推荐技术，充分建模了多行为中包含的多种用户兴趣以及它们之间的关联，从而实现更加完备的用户兴趣建模；
(2)本发明设计了简单的方案，利用端到端的图卷积神经网络生成多兴趣聚类中心，从而解决了用户兴趣初始化难题。
(3)本发明通过简单的方案取得了显著的性能提升，适合商业落地；
(4)本发明对多种场景均具有较强的适应性，可以应用于平台推荐系统的召回和粗排等场景。
本发明实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本发明实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本发明实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本发明所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本发明所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本发明所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于不同粒度用户多兴趣提取的多行为建模推荐方法，其特征在于，包括：
初始化用户和物品的嵌入向量以及知识提取的图卷积神经网络参数；
将不同关系的物品-物品子图利用图卷积神经网络的形式进行聚集，得到每个物品对应不同行为关系的特征表示；图结构中节点级别的多重兴趣向量作为每个物品兴趣向量的初始化聚类中心；
将每个物品对应各个行为的特征表示拼接到一起输入粗粒度兴趣提取(CIE)模块，对物品的特征表示进行学习，使用知识感知关系来提取多种行为的共有和特殊行为兴趣；
所述粗粒度兴趣提取模块的输出传递给细粒度行为关联(FBC)模块，所述细粒度行为关联模块将用户与物品的交互行为分配给不同的兴趣，并通过兴趣感知的行为关联来捕捉行为之间的相互关系；
聚集每一个行为子图中的用户特征和物品特征，将不同行为中的用户/物品特征共有兴趣进行聚集，再将聚集后的特征通过多层图卷积神经网络进行聚集，得到多层用户、物品嵌入向量。
2.如权利要求1所述的基于不同粒度用户多兴趣提取的多行为建模推荐方法，其特征在于，还通过稠密嵌入向量查找表将每个物品和用户的独热码转换成低维稠密向量。
3.如权利要求1所述的基于不同粒度用户多兴趣提取的多行为建模推荐方法，其特征在于，对利用图卷积神经网络的形式进行聚集得到的多层特征图进行平均池化，来得到每个物品对应不同行为关系的特征表示。
4.如权利要求1至3任一项所述的基于不同粒度用户多兴趣提取的多行为建模推荐方法，其特征在于，所述粗粒度兴趣提取模块按照共有-特殊(Share-Specific)专家模型将不同行为的多个兴趣分成共有部分和特殊部分，输入通过多个全连接层映射到每个行为类型的多个特殊特征和共有特征，再通过将特殊行为兴趣与共有行为兴趣进行拼接，得到每个行为最终的兴趣。
5.如权利要求4所述的基于不同粒度用户多兴趣提取的多行为建模推荐方法，其特征在于，所述粗粒度兴趣提取包括知识感知关系建模和行为感知的兴趣提取；
所述知识感知关系建模基于初始化兴趣聚类中心，使用知识感知信息来初始化兴趣表示，通过图神经网络范式，来获取用户多个兴趣作为初始化向量，其中，将图神经网络根据不同关系分成不同的子图并将每个子图的信息进行聚集；
所述行为感知的兴趣提取按照共有-特殊的专家模块，将用户的兴趣分为共有部分和特殊部分，并且对用户不同行为之间的兴趣建立关联，使同一兴趣在不同行为之间的信息互补。
6.如权利要求5所述的基于不同粒度用户多兴趣提取的多行为建模推荐方法，其特征在于，利用知识库的先验知识，所述知识感知关系建模部分根据知识图谱中的关系类别作为分界来分成多个子图，对每个子图中的各个物品抽取出相应的特征。
7.如权利要求5所述的基于不同粒度用户多兴趣提取的多行为建模推荐方法，其特征在于，所述行为感知的兴趣提取包括：对物品在不同行为下抽取出其对共有兴趣的向量表示和特殊兴趣的向量表示，对物品的多个关系下的表征进行加和，之后再通过不同行为下的映射分别求出该物品对于共有兴趣的表征和特殊兴趣的表征，再对这两个表征进行连接得到最终的物品在不同行为下的兴趣表征。
8.如权利要求4至7任一项所述的基于不同粒度用户多兴趣提取的多行为建模推荐方法，其特征在于，所述细粒度行为关联模块包括兴趣感知的行为分配和兴趣感知的行为关联；
所述兴趣感知的行为分配将每个交互行为分配给不同的兴趣；其中，将不同行为下二分图中的边分配给相应的兴趣，将共有兴趣部分学习到用户的向量表示中，从而能够取出用户和物品两者中的相同部分并剔除特殊兴趣，完成分数计算；
所述兴趣感知的行为关联捕捉行为之间的相互关系；其中，使用多头注意力机制对共有兴趣部分进行处理，使多种行为的共有兴趣部分得到双向交互，同时不对特殊兴趣部分进行处理。
9.如权利要求1至8任一项所述的基于不同粒度用户多兴趣提取的多行为建模推荐方法，其特征在于，训练时，先计算行为下的用户对物品的打分以及关系下的两个物品之间的分数，使用BPR损失函数；对知识图谱的特征抽取进行训练，采用自监督的关系重建任务，使用SRR损失函数；将两个二元排序损失函数整合成一个损失函数。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序由处 理器执行时，实现如权利要求1至9任一项所述的基于不同粒度用户多兴趣提取的多行为建模推荐方法。
CN202310889943.3A 2023-07-20 2023-07-20 一种基于不同粒度用户多兴趣提取的多行为建模推荐方法 Pending CN116881578A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310889943.3A CN116881578A (zh) 2023-07-20 2023-07-20 一种基于不同粒度用户多兴趣提取的多行为建模推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310889943.3A CN116881578A (zh) 2023-07-20 2023-07-20 一种基于不同粒度用户多兴趣提取的多行为建模推荐方法

Publications (1)

Publication Number Publication Date
CN116881578A true CN116881578A (zh) 2023-10-13

Family

ID=88267706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310889943.3A Pending CN116881578A (zh) 2023-07-20 2023-07-20 一种基于不同粒度用户多兴趣提取的多行为建模推荐方法

Country Status (1)

Country Link
CN (1) CN116881578A (zh)

Similar Documents

Publication Publication Date Title
US10963942B1 (en) Systems, methods, and devices for generating recommendations of unique items
Zhao et al. EmotionGAN: Unsupervised domain adaptation for learning discrete probability distributions of image emotions
US10635952B2 (en) Cognitive analysis and classification of apparel images
CN108648049A (zh) 一种基于用户行为区别建模的序列推荐方法
Manovich Can we think without categories?
CN111859149A (zh) 资讯信息推荐方法、装置、电子设备及存储介质
Alvarez et al. On the influence of low-level visual features in film classification
Fakhfakh et al. Deep learning-based recommendation: Current issues and challenges
CN112150238A (zh) 一种基于深度神经网络的商品推荐方法及系统
Hazrati et al. Addressing the New Item problem in video recommender systems by incorporation of visual features with restricted Boltzmann machines
WO2023231542A1 (zh) 表示信息的确定方法、装置、设备及存储介质
CN114297509A (zh) 用户兴趣向量生成方法、产品推荐方法、装置、设备、介质
Shambharkar et al. Movie trailer classification using deer hunting optimization based deep convolutional neural network in video sequences
Tareaf et al. Facial-based personality prediction models for estimating individuals private traits
US20200327600A1 (en) Method and system for providing product recommendation to a user
Ibrahim et al. Improved Hybrid Deep Collaborative Filtering Approach for True Recommendations.
Pornwattanavichai et al. Enhanced tweet hybrid recommender system using unsupervised topic modeling and matrix factorization-based neural network
WO2023185320A1 (zh) 冷启动对象推荐方法、装置、计算机设备和存储介质
US20230153887A1 (en) Disentangled commodity recommendation method and apparatus, device, and storage medium
CN116881578A (zh) 一种基于不同粒度用户多兴趣提取的多行为建模推荐方法
Sangeetha et al. Predicting personalized recommendations using GNN
CN116071119A (zh) 一种基于多行为推荐模型的模型不可知反事实解释方法
Markapudi et al. Content-based video recommendation system (CBVRS): a novel approach to predict videos using multilayer feed forward neural network and Monte Carlo sampling method
Liu et al. Deep cross networks with aesthetic preference for cross-domain recommendation
Balfaqih A Hybrid Movies Recommendation System Based on Demographics and Facial Expression Analysis using Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination