CN111539786B - 条件注意力网络及其在个性化推荐中的应用方法及装置 - Google Patents

条件注意力网络及其在个性化推荐中的应用方法及装置 Download PDF

Info

Publication number
CN111539786B
CN111539786B CN202010296428.0A CN202010296428A CN111539786B CN 111539786 B CN111539786 B CN 111539786B CN 202010296428 A CN202010296428 A CN 202010296428A CN 111539786 B CN111539786 B CN 111539786B
Authority
CN
China
Prior art keywords
target user
node
characterization
representation
conditional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010296428.0A
Other languages
English (en)
Other versions
CN111539786A (zh
Inventor
朱文武
涂珂
崔鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010296428.0A priority Critical patent/CN111539786B/zh
Publication of CN111539786A publication Critical patent/CN111539786A/zh
Application granted granted Critical
Publication of CN111539786B publication Critical patent/CN111539786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种条件注意力网络及其在个性化推荐中的应用方法及装置，其中，方法包括：通过知识图谱表征学习的方法学习得到知识图谱的表征信息；通过带注意力机制的图神经神经网络传播表征信息，以得到全局节点表征；设计条件注意力网络，对知识图谱进行蒸馏生成基于目标用户商品的子图，在子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到目标用户的局部偏好表征；根据全局节点表征和局部偏好表征为目标用户推荐感兴趣商品。该方法较已有方法的模型表达能力更强，且较已有方法能更好的刻画用户对商品的局部偏好。

Description

条件注意力网络及其在个性化推荐中的应用方法及装置
技术领域
本发明涉及个性化推荐技术领域，特别涉及一种条件注意力网络及其在个性化推荐中的应用方法及装置。
背景技术
现有的基于知识图谱的推荐方法主要分为两类：
(1)基于表征的方法，根据知识图谱学习节点表征，然后将其与用户商品网络中的节点表征相关联。然而，该方法不能很好利用知识图谱的丰富拓扑结构以及不能刻画用户对知识图谱中关系的个性化的偏好。
(2)基于路径的方法，根据用户商品在知识图谱上的路径来衡量用户商品的相似度从而进行推荐。然而，由于路径长度的限制，该方法不能很好的刻画用户和商品之间的高阶全局的相似度，而且这种路径通常需要人类专家制定。
因此，现有的方法表达能力较差，且不能较好的刻画用户对商品的局部偏好，有待进一步改进。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种条件注意力网络及其在个性化推荐中的应用方法，该方法通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。
本发明的另一个目的在于提出一种条件注意力网络及其在个性化推荐中的应用装置。
为达到上述目的，本发明一方面实施例提出了一种条件注意力网络及其在个性化推荐中的应用方法，包括以下步骤：通过知识图谱表征学习的方法学习得到知识图谱的表征信息；通过带注意力机制的图神经神经网络传播所述表征信息，以得到全局节点表征；设计条件注意力网络，对所述知识图谱进行蒸馏生成基于目标用户商品的子图，在所述子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到所述目标用户的局部偏好表征；根据所述全局节点表征和所述局部偏好表征为所述目标用户推荐感兴趣商品。
本发明实施例的条件注意力网络及其在个性化推荐中的应用方法，考虑了利用图神经网络来在知识图谱上传递用户的偏好信息，并且提出一种新的条件注意力网络来对知识图谱进行蒸馏，来自动得到一个子图来刻画用户对知识图谱中关系的局部偏好，从而通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。
另外，根据本发明上述实施例的条件注意力网络及其在个性化推荐中的应用方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述通过带注意力机制的图神经神经网络传播所述表征信息，以得到全局节点表征，进一步包括：通过带注意力机制的图神经网络在知识图谱以及用户商品网络上传播所述表征信息，以得到全局节点表征，其中，传播的过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征。
进一步地，在本发明的一个实施例中，所述条件注意力网络为：在所述带注意力机制的图神经神经网络中加入目标用户商品节点，以在预测目标用户感兴趣的商品时传播权重，其中，每个节点的表征为邻居节点的加权平均，利用注意力机制衡量不同边的权重，以衡量每条边的空间中任意两个节点之间的相似度，相似度大小与传播权重的大小成正比。
进一步地，在本发明的一个实施例中，所述设计条件注意力网络，对所述知识图谱进行蒸馏生成基于目标用户商品的子图，在所述子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到所述目标用户的局部偏好表征，进一步包括：通过所述全局节点表征从所述目标用户商品节点的K阶邻居中采样得到目标用户商品的子图，其中，采样边的概率基于所述全局节点表征的相似度；通过所述条件注意力网络引入节点对所述目标用户商品节点的注意力机制，在所述目标用户商品的子图上传播目标用户对不同节点的偏好，以得到所述目标用户的局部偏好表征。
进一步地，在本发明的一个实施例中，所述根据所述全局节点表征和所述局部偏好表征为所述目标用户推荐感兴趣商品，进一步包括：将所述全局节点表征和所述局部偏好表征拼接起来得到一个新的节点表征；将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出目标用户和商品之间的相似度；根据所述相似度的大小为所述目标用户推荐感兴趣商品。
为达到上述目的，本发明另一方面实施例提出了一种条件注意力网络及其在个性化推荐中的应用装置，包括：学习模块，用于通过知识图谱表征学习的方法学习得到知识图谱的表征信息；全局节点表征模块，用于通过带注意力机制的图神经神经网络传播所述表征信息，以得到全局节点表征；局部偏好表征模块，用于设计条件注意力网络，对所述知识图谱进行蒸馏生成基于目标用户商品的子图，在所述子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到所述目标用户的局部偏好表征；推荐模块，用于根据所述全局节点表征和所述局部偏好表征为所述目标用户推荐感兴趣商品。
本发明实施例的条件注意力网络及其在个性化推荐中的应用装置，考虑了利用图神经网络来在知识图谱上传递用户的偏好信息，并且提出一种新的条件注意力网络来对知识图谱进行蒸馏，来自动得到一个子图来刻画用户对知识图谱中关系的局部偏好，从而通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。
另外，根据本发明上述实施例的条件注意力网络及其在个性化推荐中的应用装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述全局节点表征模块进一步用于通过带注意力机制的图神经网络在知识图谱以及用户商品网络上传播所述表征信息，以得到全局节点表征，其中，传播的过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征。
进一步地，在本发明的一个实施例中，所述条件注意力网络为：在在所述带注意力机制的图神经神经网络中加入目标用户商品节点，以在预测目标用户感兴趣的商品时传播权重，其中，每个节点的表征为邻居节点的加权平均，利用注意力机制衡量不同边的权重，以衡量每条边的空间中任意两个节点之间的相似度，相似度大小与传播权重的大小成正比。
进一步地，在本发明的一个实施例中，所述局部偏好表征模块进一步用于通过所述全局节点表征从所述目标用户商品节点的K阶邻居中采样得到目标用户商品的子图，其中，采样边的概率基于所述全局节点表征的相似度，并通过所述条件注意力网络引入节点对所述目标用户商品节点的注意力机制，在所述目标用户商品的子图上传播目标用户对不同节点的偏好，以得到所述目标用户的局部偏好表征。
进一步地，在本发明的一个实施例中，所述推荐模块进一步用于将所述全局节点表征和所述局部偏好表征拼接起来得到一个新的节点表征，将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出目标用户和商品之间的相似度，根据所述相似度的大小为所述目标用户推荐感兴趣商品。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的条件注意力网络及其在个性化推荐中的应用方法的流程图；
图2为根据本发明实施例的条件注意力网络及其在个性化推荐中的应用方法的网络流程图；
图3为根据本发明实施例的条件注意力网络及其在个性化推荐中的应用装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的条件注意力网络及其在个性化推荐中的应用方法及装置，首先将参照附图描述根据本发明实施例提出的条件注意力网络及其在个性化推荐中的应用方法。
图1是本发明一个实施例的条件注意力网络及其在个性化推荐中的应用方法的流程图。
如图1所示，该条件注意力网络及其在个性化推荐中的应用方法包括以下步骤：
在步骤S101中，通过知识图谱表征学习的方法学习得到知识图谱的表征信息。
可以理解的是，如图2所示，应用知识图谱表征学习的方法学习知识图谱的表征，从而考虑知识图谱的丰富拓扑结构，更好地帮助个性化推荐。
具体而言，将知识图谱中三元组的节点表征投影到边类型对应的空间中，维持起始节点和终止节点在该空间中的相似度，具体相似度函数为：
Figure BDA0002452363790000041
其中，eh⊥为节点在边r对应空间的投影，dr为边r的表征。
在步骤S102中，通过带注意力机制的图神经神经网络传播表征信息，以得到全局节点表征。
可以理解的是，如图2所示，通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强。
进一步地，在本发明的一个实施例中，通过带注意力机制的图神经神经网络传播表征信息，以得到全局节点表征，进一步包括：通过带注意力机制的图神经网络在知识图谱以及用户商品网络上传播表征信息，以得到全局节点表征，其中，传播的过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征。
其中，推荐系统利用用户过去的购买历史给用户推荐合适的商品，。如果一个用户曾经购买过一件商品，那么就将用户节点和该商品节点之间连接一条边，从而构成用户商品网络。
具体而言，传播过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征，即每个节点的表征为邻居节点的加权平均。为了使得不同的边权重不同，本发明实施例利用注意力机制衡量权重，其中，由于知识图谱中边有类型，因此，权重考虑了边的类型。具体传播过程为：
Figure BDA0002452363790000051
Figure BDA0002452363790000052
其中，πr(υ，t)为对应的注意力，定义为：
πr(υ，t)＝cos(eυ⊥+dr，et⊥)，
它衡量了在边r的空间中节点v与节点t的相似度。相似度越大，传播的权重就更大，将会传播更多的信息。
传统网络中的带注意力机制的图神经网络为现有技术GAT，但是本发明实施例的模型与带注意力机制的图神经网络不同，本发明实施例是知识图谱中的带注意力机制的图神经网络，它需要利用知识图谱中边的类型结构，从而较已有方法的模型表达能力更强。
在步骤S103中，设计条件注意力网络，对知识图谱进行蒸馏生成基于目标用户商品的子图，在子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到目标用户的局部偏好表征。
可以理解的是，如图2所示，本发明实施例通过引入比路径信息更丰富的子图，刻画用户对知识图谱中关系的局部偏好，具体地：设计条件注意力网络，对知识图谱进行蒸馏生成基于目标用户商品的子图，在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好。
在本发明的一个实施例中，条件注意力网络为：在带注意力机制的图神经神经网络中加入目标用户商品节点，以在预测目标用户感兴趣的商品时传播权重。
具体而言，条件注意力网络是在上述的注意力网络中考虑了目标节点的影响，也就是在给定目标的用户商品预测对时，传播的权重，其中，
Figure BDA0002452363790000061
其中，
Figure BDA0002452363790000062
是依赖于目标用户商品对的条件注意力。它衡量了两种相似度，一个是知识本身的相似度，这里直接用上一过程得到的全局注意力α1＝πr(υ，t)来衡量；另一个是用户商品对知识的偏好，定义为
Figure BDA0002452363790000063
结合两部分条件注意力：
Figure BDA0002452363790000064
进一步地，在本发明的一个实施例中，设计条件注意力网络，对知识图谱进行蒸馏生成基于目标用户商品的子图，在子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到目标用户的局部偏好表征，进一步包括：通过全局节点表征从目标用户商品节点的K阶邻居中采样得到目标用户商品的子图，其中，采样边的概率基于全局节点表征的相似度；通过条件注意力网络引入节点对目标用户商品节点的注意力机制，在目标用户商品的子图上传播目标用户对不同节点的偏好，以得到目标用户的局部偏好表征。
可以理解的是，根据目标用户商品节点，通过上面得到的全局表征从目标节点的K阶邻居中采样出一个子图，采样边的概率基于全局节点表征的相似度。通过条件注意力网络引入节点对目标节点的注意力，在采样的目标子图上传播目标对不同节点的偏好，得到局部目标偏好的表征。
其中，通过条件注意力网络引入“节点对目标节点的注意力”，可以理解为网络中每个节点相对于目标节点的注意力机制。
具体而言，每个节点聚合邻居表征的信息更新自己的表征，而每个节点邻居表征又由他们自身的邻居的表征更新，因为最后得到的表征能维持全局结构，这个表征的内积距离即可衡量全局相似度。采样边的概率为归一化的全局注意力πr(υ，t)。从邻居集合中根据边对应的概率采样固定数量的边，根据概率从邻居节点中采样边，注意力大的更重要，采样的概率就更大，更容易保留下来。
在推荐中需要给用户推荐商品，因此需要衡量用户和商品的相似度，在衡量特定用户和商品时，他们就是目标用户商品。目标用户商品节点即为他们分别在网络中对应的节点。
在步骤S104中，根据全局节点表征和局部偏好表征为目标用户推荐感兴趣商品。
可以理解的是，如图2所示，结合全局节点表征和局部目标偏好表征，预测目标节点间的相似度来给用户推荐商品。
进一步地，在本发明的一个实施例中，根据全局节点表征和局部偏好表征为目标用户推荐感兴趣商品，进一步包括：将全局节点表征和局部偏好表征拼接起来得到一个新的节点表征；将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出目标用户和商品之间的相似度；根据相似度的大小为目标用户推荐感兴趣商品。
具体而言，将全局节点表征和局部偏好表征拼接起来得到一个新的节点表征，将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出用户和商品的相似度。通过这种方式计算用户和所有商品的相似度，按相似度大小排序，给用户推荐相似度大的商品。
综上，引用外部知识图谱的个性化推荐，通过本发明实施例的方法，可以通过外部的知识图谱更好的刻画用户的兴趣，为他推荐感兴趣的商品。
根据本发明实施例提出的条件注意力网络及其在个性化推荐中的应用方法，考虑了利用图神经网络来在知识图谱上传递用户的偏好信息，并且提出一种新的条件注意力网络来对知识图谱进行蒸馏，来自动得到一个子图来刻画用户对知识图谱中关系的局部偏好，从而通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。
其次参照附图描述根据本发明实施例提出的条件注意力网络及其在个性化推荐中的应用装置。
图3是本发明一个实施例的条件注意力网络及其在个性化推荐中的应用装置的结构示意图。
如图3所示，该条件注意力网络及其在个性化推荐中的应用装置10包括：学习模块100、全局节点表征模块200、局部偏好表征模块300和推荐模块400。
其中，学习模块100用于通过知识图谱表征学习的方法学习得到知识图谱的表征信息；全局节点表征模块200用于通过带注意力机制的图神经神经网络传播表征信息，以得到全局节点表征；局部偏好表征模块300用于设计条件注意力网络，对知识图谱进行蒸馏生成基于目标用户商品的子图，在子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到目标用户的局部偏好表征；推荐模块400用于根据全局节点表征和局部偏好表征为目标用户推荐感兴趣商品。本发明实施例的装置10通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。
进一步地，在本发明的一个实施例中，全局节点表征模块200进一步用于通过带注意力机制的图神经网络在知识图谱以及用户商品网络上传播表征信息，以得到全局节点表征，其中，传播的过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征。
进一步地，在本发明的一个实施例中，条件注意力网络为：在在带注意力机制的图神经神经网络中加入目标用户商品节点，以在预测目标用户感兴趣的商品时传播权重，其中，每个节点的表征为邻居节点的加权平均，利用注意力机制衡量不同边的权重，以衡量每条边的空间中任意两个节点之间的相似度，相似度大小与传播权重的大小成正比。
进一步地，在本发明的一个实施例中，局部偏好表征模块300进一步用于通过全局节点表征从目标用户商品节点的K阶邻居中采样得到目标用户商品的子图，其中，采样边的概率基于全局节点表征的相似度，并通过条件注意力网络引入节点对目标用户商品节点的注意力机制，在目标用户商品的子图上传播目标用户对不同节点的偏好，以得到目标用户的局部偏好表征。
进一步地，在本发明的一个实施例中，推荐模块400进一步用于将全局节点表征和局部偏好表征拼接起来得到一个新的节点表征，将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出目标用户和商品之间的相似度，根据相似度的大小为目标用户推荐感兴趣商品。
需要说明的是，前述对条件注意力网络及其在个性化推荐中的应用方法实施例的解释说明也适用于该实施例的条件注意力网络及其在个性化推荐中的应用装置，此处不再赘述。
根据本发明实施例提出的条件注意力网络及其在个性化推荐中的应用装置，考虑了利用图神经网络来在知识图谱上传递用户的偏好信息，并且提出一种新的条件注意力网络来对知识图谱进行蒸馏，来自动得到一个子图来刻画用户对知识图谱中关系的局部偏好，从而通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种条件注意力网络及其在个性化推荐中的应用方法，其特征在于，包括以下步骤：
通过知识图谱表征学习的方法学习得到知识图谱的表征信息；
通过带注意力机制的图神经网络传播所述表征信息，以得到全局节点表征；
设计条件注意力网络，对所述知识图谱进行蒸馏生成基于目标用户商品的子图，在所述子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到所述目标用户的局部偏好表征；以及
根据所述全局节点表征和所述局部偏好表征为所述目标用户推荐感兴趣商品；
其中，所述条件注意力网络为：
在所述带注意力机制的图神经网络中加入目标用户商品节点，以在预测目标用户感兴趣的商品时传播权重，其中，每个节点的表征为邻居节点的加权平均，利用注意力机制衡量不同边的权重，以衡量每条边的空间中任意两个节点之间的相似度，相似度大小与传播权重的大小成正比；
所述设计条件注意力网络，对所述知识图谱进行蒸馏生成基于目标用户商品的子图，在所述子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到所述目标用户的局部偏好表征，进一步包括：
通过所述全局节点表征从所述目标用户商品节点的K阶邻居中采样得到目标用户商品的子图，其中，采样边的概率基于所述全局节点表征的相似度；
通过所述条件注意力网络引入节点对所述目标用户商品节点的注意力机制，在所述目标用户商品的子图上传播目标用户对不同节点的偏好，以得到所述目标用户的局部偏好表征。
2.根据权利要求1所述的方法，其特征在于，所述通过带注意力机制的图神经网络传播所述表征信息，以得到全局节点表征，进一步包括：
通过带注意力机制的图神经网络在知识图谱以及用户商品网络上传播所述表征信息，以得到全局节点表征，其中，传播的过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征。
3.根据权利要求1所述的方法，其特征在于，所述根据所述全局节点表征和所述局部偏好表征为所述目标用户推荐感兴趣商品，进一步包括：
将所述全局节点表征和所述局部偏好表征拼接起来得到一个新的节点表征；
将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出目标用户和商品之间的相似度；
根据所述相似度的大小为所述目标用户推荐感兴趣商品。
4.一种条件注意力网络及其在个性化推荐中的应用装置，其特征在于，包括：
学习模块，用于通过知识图谱表征学习的方法学习得到知识图谱的表征信息；
全局节点表征模块，用于通过带注意力机制的图神经网络传播所述表征信息，以得到全局节点表征；
局部偏好表征模块，用于设计条件注意力网络，对所述知识图谱进行蒸馏生成基于目标用户商品的子图，在所述子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到所述目标用户的局部偏好表征；以及
推荐模块，用于根据所述全局节点表征和所述局部偏好表征为所述目标用户推荐感兴趣商品；
其中，所述条件注意力网络为：
在所述带注意力机制的图神经网络中加入目标用户商品节点，以在预测目标用户感兴趣的商品时传播权重，其中，每个节点的表征为邻居节点的加权平均，利用注意力机制衡量不同边的权重，以衡量每条边的空间中任意两个节点之间的相似度，相似度大小与传播权重的大小成正比；
所述局部偏好表征模块进一步用于通过所述全局节点表征从所述目标用户商品节点的K阶邻居中采样得到目标用户商品的子图，其中，采样边的概率基于所述全局节点表征的相似度，并通过所述条件注意力网络引入节点对所述目标用户商品节点的注意力机制，在所述目标用户商品的子图上传播目标用户对不同节点的偏好，以得到所述目标用户的局部偏好表征。
5.根据权利要求4所述的装置，其特征在于，所述全局节点表征模块进一步用于通过带注意力机制的图神经网络在知识图谱以及用户商品网络上传播所述表征信息，以得到全局节点表征，其中，传播的过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征。
6.根据权利要求4所述的装置，其特征在于，所述推荐模块进一步用于将所述全局节点表征和所述局部偏好表征拼接起来得到一个新的节点表征，将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出目标用户和商品之间的相似度，根据所述相似度的大小为所述目标用户推荐感兴趣商品。
CN202010296428.0A 2020-04-15 2020-04-15 条件注意力网络及其在个性化推荐中的应用方法及装置 Active CN111539786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010296428.0A CN111539786B (zh) 2020-04-15 2020-04-15 条件注意力网络及其在个性化推荐中的应用方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010296428.0A CN111539786B (zh) 2020-04-15 2020-04-15 条件注意力网络及其在个性化推荐中的应用方法及装置

Publications (2)

Publication Number Publication Date
CN111539786A CN111539786A (zh) 2020-08-14
CN111539786B true CN111539786B (zh) 2022-05-06

Family

ID=71975039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010296428.0A Active CN111539786B (zh) 2020-04-15 2020-04-15 条件注意力网络及其在个性化推荐中的应用方法及装置

Country Status (1)

Country Link
CN (1) CN111539786B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380427B (zh) * 2020-10-27 2022-07-08 中国科学院信息工程研究所 基于迭代图注意力网络的用户兴趣预测方法及电子装置
CN112507132B (zh) * 2020-12-14 2022-08-05 天津大学 一种基于知识图谱和注意力机制的推荐方法
CN112561644B (zh) * 2020-12-16 2023-08-01 深圳市网联安瑞网络科技有限公司 基于链接预测的商品推荐方法、装置及相关设备
CN112686275B (zh) * 2021-01-04 2022-09-20 上海交通大学 融合知识蒸馏的生成回放框架式的持续型图像识别系统和方法
CN112950321A (zh) * 2021-03-10 2021-06-11 北京汇钧科技有限公司 一种物品推荐方法和装置
CN112989064B (zh) * 2021-03-16 2022-07-08 重庆理工大学 一种聚合知识图神经网络和自适应注意力的推荐方法
CN113378048B (zh) * 2021-06-10 2022-07-26 浙江工业大学 一种基于多视角知识图谱注意力网络的个性化推荐方法
CN114637923B (zh) * 2022-05-19 2022-09-02 之江实验室 基于层次注意力图神经网络的数据信息推荐方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829057A (zh) * 2019-01-11 2019-05-31 中山大学 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法
CN110275964A (zh) * 2019-06-26 2019-09-24 程淑玉 基于知识图谱与循环神经网络的推荐模型
WO2019220128A1 (en) * 2018-05-18 2019-11-21 Benevolentai Technology Limited Graph neutral networks with attention
CN110955834A (zh) * 2019-11-27 2020-04-03 西北工业大学 一种知识图谱驱动的个性化精准推荐方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220128A1 (en) * 2018-05-18 2019-11-21 Benevolentai Technology Limited Graph neutral networks with attention
CN109829057A (zh) * 2019-01-11 2019-05-31 中山大学 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法
CN110275964A (zh) * 2019-06-26 2019-09-24 程淑玉 基于知识图谱与循环神经网络的推荐模型
CN110955834A (zh) * 2019-11-27 2020-04-03 西北工业大学 一种知识图谱驱动的个性化精准推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KGAT: Knowledge Graph Attention Network for Recommendation;Xiang Wang等，;《25th ACM SIGKDD Conference on Knowledge Discovery and Data Mining》;20190719;全文 *

Also Published As

Publication number Publication date
CN111539786A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111539786B (zh) 条件注意力网络及其在个性化推荐中的应用方法及装置
Gao et al. Consensus reaching with non-cooperative behavior management for personalized individual semantics-based social network group decision making
Hostler et al. Recommendation agent impact on consumer online shopping: The Movie Magic case study
Krishankumar et al. A decision-making framework under probabilistic linguistic term set for multi-criteria group decision-making problem
Chen et al. Social network based recommendation systems: A short survey
EP4181026A1 (en) Recommendation model training method and apparatus, recommendation method and apparatus, and computer-readable medium
Panda et al. Approaches and algorithms to mitigate cold start problems in recommender systems: a systematic literature review
US20160300275A1 (en) Rating Aggregation and Propagation Mechanism for Hierarchical Services and Products
Shen et al. Effective audience extension in online advertising
Ma et al. Newly published scientific papers recommendation in heterogeneous information networks
CN111798280B (zh) 多媒体信息推荐方法、装置和设备及存储介质
Bertani et al. Combining novelty and popularity on personalised recommendations via user profile learning
CN111104599B (zh) 用于输出信息的方法和装置
Choudhary et al. Evaluation Set Size and Purchase: Evidence from a Product Search Engine☆
Luo et al. Online optimization of collaborative web service QoS prediction based on approximate dynamic programming
Li et al. Evolutive preference analysis with online consumer ratings
Vajjhala et al. Novel user preference recommender system based on Twitter profile analysis
CN112950321A (zh) 一种物品推荐方法和装置
Goli et al. A bias correction approach for interference in ranking experiments
Zhang et al. Less is more: Rejecting unreliable reviews for product question answering
Kapetanakis et al. A novel recommendation method based on general matrix factorization and artificial neural networks
Divakaran Technology-enabled community data for gaining pre-release brand insights
Nguyen Thi Dieu et al. A new approach item rating data mining on the recommendation system
Geunes et al. Capacitated procurement planning with price-sensitive demand and general concave-revenue functions
Chalyi et al. Knowledge representation in the recommendation system based on the white box principle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant