CN114637923A - 基于层次注意力图神经网络的数据信息推荐方法和装置 - Google Patents

基于层次注意力图神经网络的数据信息推荐方法和装置 Download PDF

Info

Publication number
CN114637923A
CN114637923A CN202210541192.1A CN202210541192A CN114637923A CN 114637923 A CN114637923 A CN 114637923A CN 202210541192 A CN202210541192 A CN 202210541192A CN 114637923 A CN114637923 A CN 114637923A
Authority
CN
China
Prior art keywords
user
graph
node
neural network
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210541192.1A
Other languages
English (en)
Other versions
CN114637923B (zh
Inventor
李超
张钊
李其明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210541192.1A priority Critical patent/CN114637923B/zh
Publication of CN114637923A publication Critical patent/CN114637923A/zh
Application granted granted Critical
Publication of CN114637923B publication Critical patent/CN114637923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于层次注意力图神经网络的数据信息推荐方法和装置，该方法包括：步骤一，构建用户项目交互图和知识图谱；步骤二，合并用户项目交互图与知识图谱构成用户项目知识图；步骤三，将用户项目知识图输入到图神经网络中，采用层次注意力机制计算用户项目知识图的每个节点邻居的重要程度；步骤四，根据每个节点邻居的重要程度，对邻居进行聚合来更新节点表示；步骤五，设定输入图神经网络的用户项目知识图经过的网络层数，如果未到达设定的网络层，则执行步骤三，反之则根据节点的表示，计算图神经网络的损失函数值，经过迭代训练，得到训练好的图神经网络，为用户生成推荐的项目。本发明缓解了数据的稀疏性，提升了推荐的准确性。

Description

基于层次注意力图神经网络的数据信息推荐方法和装置
技术领域
本发明属于推荐算法应用技术领域，涉及一种基于层次注意力图神经网络的数据信息推荐方法和装置。
背景技术
随着互联网的快速发展，数据量呈指数级增长。由于信息的过载，用户很难在大量的选择中选出自己感兴趣的内容。为了提高用户体验，推荐系统已经应用于音乐推荐、电影推荐、和在线购物等场景。推荐方法利用交互数据中用户或商品的相似度来建模用户偏好，已经得到了广泛的应用，因为它可以有效地捕捉用户偏好，并且可以很容易地在多种场景中实现。然而，传统推荐方法存在数据稀疏性的问题，例如项目属性、用户配置文件和上下文，因此在用户和项目交互很少的稀疏情况下表现很差。并且，传统推荐方法将每个交互建模为独立的数据实例，而没有考虑它们之间的关系。这使得它们不足以从用户的集体行为中提取出基于属性的协作信号，因此为解决这一问题，需要引入辅助信息作为原始数据的补充，从而缓解数据的稀疏性，并且提供更多的高阶信息来进一步丰富用户和项目之间的联系。
但是，考虑到随着数据进一步丰富，与目标用户具有高阶关系的节点会急剧增加，这会给模型带来计算过载。基于路径的方法提取带有高阶信息的路径，并将其输入预测模型。然而路径选择对最终的性能有很大的影响，但它没有对推荐目标进行优化，此外定义有效的元路径需要领域知识，对于具有不同类型关系和实体的复杂图来说，是相当劳动密集型的工作，因为必须定义许多元路径以保持模型保真度图神经网络由于其可以能够高效、明确、端到端地利用图中信息。然而基于正则化的方法没有直接将高阶关系插入为推荐而优化的模型中，而是将其以隐式的方式进行编码。由于缺乏明确的建模，既不能保证捕获远程连通性，也不能解释高阶建模的结果。设计了附加的损失项来捕获图结构。图神经网络由于能够高效、明确、端到端地利用图中的高阶信息因此被广泛用于建模推荐方法的网络模型。然而现有图网络模型大都具有粗粒度性的问题，即计算过程中没有有效区分节点邻居的重要程度。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提出了一种基于层次注意力图神经网络的数据信息推荐方法和装置，利用知识图谱作为用户和项目的辅助信息，来进一步强化用户和项目之间的潜在关系；之后通过层次注意力图神经网络以端到端的方式对于用户和项目的表示进行建模，其中层次注意力机制可以有效的区分图中不同邻居的重要性；最后通过多次迭代得到优化后的用户和项目表示，从而实现有效的推荐，缓解了数据稀疏性的问题，同时能够更好的区分图中邻域节点的重要程度，在推荐方法领域具有重要的作用，其具体技术方案如下：
一种基于层次注意力图神经网络的数据信息推荐方法，包括以下步骤：
步骤一，构建用户项目交互图和知识图谱；
步骤二，合并用户项目交互图与知识图谱构成用户项目知识图：将用户项目交互图中的项目与知识图谱中的实体进行匹配，然后将与匹配的实体直接相关的全部三元组与用户项目交互图进行合并，构成用户项目知识图；
步骤三，将用户项目知识图输入到图神经网络中，采用层次注意力机制计算用户项目知识图的每个节点邻居的重要程度；
步骤四，根据每个节点邻居的重要程度，对邻居进行聚合来更新节点表示；
步骤五，设定输入图神经网络的用户项目知识图经过的网络层数，如果未到达设定的网络层，则执行步骤三，反之则根据节点的表示，计算图神经网络的损失函数值，经过迭代训练，得到训练好的图神经网络，为用户生成推荐的项目。
进一步地，所述用户项目交互图是交互数据被表示为用户-项目的二部图
Figure DEST_PATH_IMAGE001
=
Figure 690937DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
和
Figure 425675DEST_PATH_IMAGE004
分别表示用户集和项目集，链接
Figure DEST_PATH_IMAGE005
表示观察到用户
Figure 955882DEST_PATH_IMAGE006
和项目
Figure DEST_PATH_IMAGE007
之间存在交互，否则
Figure 67058DEST_PATH_IMAGE008
；
所述知识图谱由辅助信息组织成，所述辅助信息由真实世界的实体及其之间的关系组成，以分析项目，则知识图谱是由主体-属性-客体三元组组成的有向图
Figure DEST_PATH_IMAGE009
=
Figure 264690DEST_PATH_IMAGE010
表示有一个关系
Figure DEST_PATH_IMAGE011
从头实体
Figure 904750DEST_PATH_IMAGE012
到尾实体t，
Figure DEST_PATH_IMAGE013
和
Figure 208340DEST_PATH_IMAGE014
分别表示实体集和关系集。
进一步地，所述步骤二具体为：将每个用户的行为表示为一个三元组(
Figure 451102DEST_PATH_IMAGE006
,
Figure DEST_PATH_IMAGE015
,
Figure 988394DEST_PATH_IMAGE007
)，其中
Figure 783044DEST_PATH_IMAGE015
表示为用户
Figure 897630DEST_PATH_IMAGE006
和项目
Figure 553871DEST_PATH_IMAGE007
之间的一个额外的交互关系；然后通过用户项目交互图中的项目与知识图谱中的实体进行匹配得到的项目-实体对齐集，并根据项目-实体对齐集，将用户项目交互图与知识图谱集成为用户项目知识图
Figure 70303DEST_PATH_IMAGE016
=
Figure DEST_PATH_IMAGE017
,其中
Figure 301433DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE019
。
进一步地，所述步骤三具体为：将用户项目知识图输入到图神经网络中，采用层次注意力机制，该机制包括：关系级别注意力和节点级别注意力，计算出用户项目知识图的关系级别注意力权重和节点级别注意力权重，后将关系级别注意力权重和节点级别注意力权重合并得到层次注意力权重，即得到每个节点邻居的重要程度。
进一步地，所述计算关系级别注意力，关系即为节点间的连接边，关系级别注意力计算公式如下：
Figure 309840DEST_PATH_IMAGE020
,
Figure DEST_PATH_IMAGE021
,
其中，
Figure 550197DEST_PATH_IMAGE022
代表拼接操作，
Figure DEST_PATH_IMAGE023
代表中心节点的向量表示，
Figure 62081DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE025
代表可训练的参数；
Figure 732622DEST_PATH_IMAGE026
代表可训练的参数，
Figure DEST_PATH_IMAGE027
代表所有与相连关系的种类，
Figure 962746DEST_PATH_IMAGE028
代表激活函数，计算关系级别注意力被表示为
Figure DEST_PATH_IMAGE029
，代表了对于计算中心节点
Figure 616581DEST_PATH_IMAGE030
表示时关系
Figure 966660DEST_PATH_IMAGE011
的影响程度。
进一步地，所述计算节点级别注意力，公式如下：
Figure DEST_PATH_IMAGE031
,
Figure 555904DEST_PATH_IMAGE032
,
其中，
Figure DEST_PATH_IMAGE033
代表邻居节点的向量表示，
Figure 522592DEST_PATH_IMAGE034
代表可训练的参数；
Figure DEST_PATH_IMAGE035
代表可训练的参数，
Figure 855484DEST_PATH_IMAGE036
代表关系类型
Figure 935436DEST_PATH_IMAGE011
下的全部邻居节点，
Figure DEST_PATH_IMAGE037
可以被看作是三元组（
Figure 210428DEST_PATH_IMAGE030
，
Figure 743041DEST_PATH_IMAGE011
，
Figure 348465DEST_PATH_IMAGE038
）的表示，
Figure DEST_PATH_IMAGE039
代表实体级别的注意力权重，代表了关系
Figure 935786DEST_PATH_IMAGE011
下不同邻居的影响程度；
所述合并得到层次注意力权重，公式如下：
Figure 725887DEST_PATH_IMAGE040
。
进一步地，所述步骤四具体为：首先根据层次注意力权重，通过聚合器将本地邻域的信息聚合到中心节点，得到节点h的基于邻域的表示，表达式为：
Figure DEST_PATH_IMAGE041
,
其次进一步聚合节点本身h和节点h的基于邻域的表示
Figure 152321DEST_PATH_IMAGE042
得到更新的节点
Figure DEST_PATH_IMAGE043
。
进一步地，所述聚合节点本身h和节点h的基于邻域的表示
Figure 76283DEST_PATH_IMAGE042
得到更新的节点
Figure 6193DEST_PATH_IMAGE043
，采用包括如下三种聚合方式：
加法聚合方式，表达式为：
Figure 701617DEST_PATH_IMAGE044
,
其中，
Figure DEST_PATH_IMAGE045
代表可训练的参数，将
Figure 864614DEST_PATH_IMAGE030
和
Figure 936475DEST_PATH_IMAGE042
的组合投影到输出空间，
Figure 986470DEST_PATH_IMAGE046
是输出空间的维度；
乘法聚合方式，表达式为：
Figure DEST_PATH_IMAGE047
,
其中，
Figure 243008DEST_PATH_IMAGE048
代表向量对应点乘，
Figure DEST_PATH_IMAGE049
代表可训练的参数；
组合聚合方式，基于加法聚合方式和乘法聚合方式，表达式为：
Figure 909613DEST_PATH_IMAGE050
。
进一步地，所述步骤五具体为：
设定执行图神经网络中L个网络层数，若用户项目知识图未被执行达到L层网络，则返回步骤三，反之，用户项目知识图在通过
Figure DEST_PATH_IMAGE051
个网络层传播后，得到一个用户节点的多个表示，记作
Figure 178308DEST_PATH_IMAGE052
，一个项目节点的多个表示，记作
Figure DEST_PATH_IMAGE053
，将每一步的表示连接到单个向量中，表达式为：
Figure 613968DEST_PATH_IMAGE054
,
然后，对用户和项目表示进行内积，从而预测用户和项目的匹配分数：
Figure DEST_PATH_IMAGE055
,
再计算损失函数，表达式如下：
Figure 916774DEST_PATH_IMAGE056
,
其中，
Figure DEST_PATH_IMAGE057
表示训练数据，
Figure 54363DEST_PATH_IMAGE058
表示用户
Figure 608972DEST_PATH_IMAGE006
和项目
Figure DEST_PATH_IMAGE059
之间观察到的交互集，
Figure 882827DEST_PATH_IMAGE060
表示采样的未观测交互集；
最后设定图神经网络训练的迭代次数，如果到达设定的迭代次数，则结束训练，使用训练好的图神经网络模型为用户生成推荐的项目；如果未到达设定的迭代次数，则执行步骤三。
一种基于层次注意力图神经网络的数据信息推荐装置，包括一个或多个处理器，用于实现所述的基于层次注意力图神经网络的数据信息推荐方法。
有益效果：
本发明考虑到推荐方法存在的数据稀疏性问题和网络模型粗粒度问题，提出基于知识强化的层次注意力图神经网络实现项目推荐应用；将知识图谱作为辅助信息与原始数据合并可以解决数据稀疏性问题，并提高了学习节点表示的质量。同时结合层次注意力图神经网络算法，使网络可以进一步细化节点邻居的影响程度；本发明所提出的方法能够有效提高推荐精度；本发明可以通过适当改进拓展到多种推荐任务中，在推荐领域具有一定的应用前景。
附图说明
图1是本发明的方法流程示意图；
图2是本发明所提出的基于层次注意力图神经网络的数据信息推荐方法的算法执行流程示意图；
图3是本发明的基于层次注意力图神经网络的数据信息推荐装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
如图1和图2所示，本发明的一种基于层次注意力图神经网络的数据信息推荐方法，包括以下步骤：
步骤一，构建用户项目交互图和知识图谱。
具体的，考虑一个用户项目交互图, 在推荐场景中，通常有历史上的用户-项目交互，例如，购买和点击。在这里，交互数据被表示为一个用户-项目的二部图
Figure 356534DEST_PATH_IMAGE001
，被定义为
Figure 200993DEST_PATH_IMAGE002
，
Figure 152769DEST_PATH_IMAGE003
和
Figure 890918DEST_PATH_IMAGE004
分别表示用户集和项目集，链接
Figure 394580DEST_PATH_IMAGE005
表示观察到用户
Figure 850969DEST_PATH_IMAGE006
和项目
Figure 216223DEST_PATH_IMAGE007
之间存在交互，否则
Figure 74457DEST_PATH_IMAGE008
。
考虑一个知识图谱，除了交互之外，还拥有条目的辅助信息，例如，条目属性和外部知识。通常，所述辅助信息由真实世界的实体及其之间的关系组成，以分析一个项目。例如，可以通过导演、演员和类型来描述一部电影。辅助信息组织成知识图谱
Figure 11671DEST_PATH_IMAGE009
，
Figure 955356DEST_PATH_IMAGE009
是一个由主体-属性-客体三元组组成的有向图，被定义为
Figure 124300DEST_PATH_IMAGE010
表示有一个关系
Figure 837041DEST_PATH_IMAGE011
从头实体
Figure 948086DEST_PATH_IMAGE012
到尾实体t，
Figure 113488DEST_PATH_IMAGE013
和
Figure 351702DEST_PATH_IMAGE014
分别表示实体集和关系集。例如，(杰克曼，是演员，洛根)表示杰克曼是电影洛根的演员。
步骤二，合并用户项目交互图与知识图谱构成用户项目知识图：将用户项目交互图中的项目与知识图谱中的实体进行匹配，然后将与匹配的实体直接相关的全部三元组与用户项目交互图进行合并，构成用户项目知识图，用户项目知识图即为用户的输入。
详细的，每个用户的行为表示为一个三元组(
Figure 653371DEST_PATH_IMAGE006
,
Figure 810682DEST_PATH_IMAGE015
,
Figure 853594DEST_PATH_IMAGE007
)，其中
Figure 488974DEST_PATH_IMAGE015
表示为用户
Figure 786095DEST_PATH_IMAGE006
和项目
Figure 114308DEST_PATH_IMAGE007
之间的一个额外的交互关系；然后通过用户项目交互图中的项目与知识图谱中的实体进行匹配得到的项目-实体对齐集，并根据项目-实体对齐集，将用户项目交互图与知识图谱无缝集成为统一用户项目知识图
Figure 378936DEST_PATH_IMAGE016
，定义为
Figure DEST_PATH_IMAGE061
,其中
Figure 490111DEST_PATH_IMAGE018
，
Figure 31951DEST_PATH_IMAGE019
。
步骤三，将用户项目知识图输入到图神经网络中，采用层次注意力机制计算用户项目知识图的每个节点邻居的重要程度。
具体的，将用户项目知识图输入到图神经网络中，采用层次注意力机制，该机制包括：关系级别注意力和节点级别注意力，计算出关系级别注意力权重和节点级别注意力权重，后将关系级别注意力权重和节点级别注意力权重合并为层次注意力权重，即得到每个节点邻居的重要程度。
所述计算关系级别注意力，关系即为节点间的连接边，用户项目知识图中具有多种类型的关系，不同类型的关系在计算节点表示的影响程度是不同的。关系级别注意力计算公式如下：
Figure 658629DEST_PATH_IMAGE020
,
Figure 285919DEST_PATH_IMAGE021
,
其中，
Figure 997524DEST_PATH_IMAGE022
代表拼接操作，
Figure 534815DEST_PATH_IMAGE023
代表中心节点的向量表示，
Figure 204831DEST_PATH_IMAGE024
，
Figure 444051DEST_PATH_IMAGE025
代表可训练的参数；
Figure 959346DEST_PATH_IMAGE026
代表可训练的参数，
Figure 616724DEST_PATH_IMAGE027
代表所有与相连关系的种类，
Figure 192062DEST_PATH_IMAGE028
代表激活函数，通过上述计算关系级别注意力被表示为
Figure 918578DEST_PATH_IMAGE029
，代表了对于计算中心节点
Figure 503143DEST_PATH_IMAGE030
表示时关系
Figure 749448DEST_PATH_IMAGE011
的影响程度。
所述计算节点级别注意力，考虑到相同关系类型下不同的邻居的影响程度也不同，这里将同一关系下的邻居视为一组，节点级别注意力计算公式如下：
Figure 761266DEST_PATH_IMAGE031
,
Figure 709499DEST_PATH_IMAGE032
,
其中，
Figure 832176DEST_PATH_IMAGE033
代表邻居节点的向量表示，
Figure 57621DEST_PATH_IMAGE034
代表可训练的参数；
Figure 115707DEST_PATH_IMAGE035
代表可训练的参数，
Figure 692182DEST_PATH_IMAGE036
代表关系类型
Figure 740254DEST_PATH_IMAGE011
下的全部邻居节点，
Figure 820205DEST_PATH_IMAGE037
可以被看作是三元组（
Figure 49192DEST_PATH_IMAGE030
，
Figure 847384DEST_PATH_IMAGE011
，
Figure 436497DEST_PATH_IMAGE038
）的表示，
Figure 636534DEST_PATH_IMAGE039
代表实体级别的注意力权重，代表了关系
Figure 302002DEST_PATH_IMAGE011
下不同邻居的影响程度。
在得到关系级注意力和节点级注意力权重后，将这两个分数进一步合并为最终的层次注意力权重，计算公式如下：
Figure 56331DEST_PATH_IMAGE040
,
基于层次的注意机制为注意得分提供了一个细粒度的学习过程，可以有效的区分图中不同邻居的重要性，提高了模型的可解释性。值得注意的是，在关系
Figure 980294DEST_PATH_IMAGE011
下，所有相邻三元组明显共享关系级注意力
Figure 769258DEST_PATH_IMAGE062
，这有利于这些三元组之间的知识共享，并使具有关系
Figure 605627DEST_PATH_IMAGE011
的相邻三元组的权值可以集体训练。
步骤四，根据每个节点邻居的重要程度，对邻居进行聚合来更新节点表示。
首先根据层次注意力权重，通过聚合器将本地邻域的信息聚合到中心节点，得到节点h的基于邻域的表示，其计算方法为：
Figure 112832DEST_PATH_IMAGE041
,
其次进一步聚合节点本身h和节点h的基于邻域的表示
Figure 184693DEST_PATH_IMAGE042
得到更新的节点
Figure 218377DEST_PATH_IMAGE043
，本发明设计了三种聚合方式，聚合函数表达式为
Figure DEST_PATH_IMAGE063
，三种聚合方式的具体函数表达式如下：
加法聚合函数：
Figure 756806DEST_PATH_IMAGE044
,
其中，
Figure 485728DEST_PATH_IMAGE045
代表可训练的参数，将
Figure 488843DEST_PATH_IMAGE030
和
Figure 517979DEST_PATH_IMAGE042
的组合投影到输出空间，
Figure 430571DEST_PATH_IMAGE046
是输出空间的维度。
乘法聚合函数：
Figure 177948DEST_PATH_IMAGE047
,
其中，
Figure 716245DEST_PATH_IMAGE048
代表向量对应点乘，
Figure 334308DEST_PATH_IMAGE049
代表可训练的参数。
组合聚合函数：
Figure 683381DEST_PATH_IMAGE050
,
该方法可以看作上述两种方法的集合；
步骤五，设定输入图神经网络的用户项目知识图经过的网络层数，如果未到达设定的网络层，则执行步骤三，反之则根据节点的表示，计算图神经网络的损失函数值，经过迭代训练，得到训练好的图神经网络，为用户生成推荐的项目。
为了探索高阶的节点间连接信息，图神经网络会进一步堆叠更多的传播层，从而收集从高跳邻居传播的信息；
设定执行L个网络层数，在执行L个网络层传播后，得到一个用户节点的多个表示，记作
Figure 386895DEST_PATH_IMAGE052
，一个项目节点的多个表示，记作
Figure 604250DEST_PATH_IMAGE053
。不同层次的输出强调不同层次的连通性信息。因此，本发明将每一步的表示连接到单个向量中，表达式为：
Figure 467032DEST_PATH_IMAGE054
,
这样，可以通过执行嵌入传播操作来丰富初始嵌入，还可以通过调整网络层数
Figure 111640DEST_PATH_IMAGE051
来控制传播的强度。然后，对用户和项目表示进行内积，从而预测用户和项目的匹配分数：
Figure 177816DEST_PATH_IMAGE055
,
通过计算损失函数，其假设观察到的交互比未观察到的交互分配更高的预测值，计算公式如下：
Figure 933283DEST_PATH_IMAGE056
,
其中，
Figure 916151DEST_PATH_IMAGE057
表示训练数据，
Figure 731660DEST_PATH_IMAGE058
表示用户
Figure 285133DEST_PATH_IMAGE006
和项目
Figure 844290DEST_PATH_IMAGE059
之间观察到的交互集，
Figure 702173DEST_PATH_IMAGE060
表示采样的未观测交互集；
最后设定图神经网络训练的迭代次数，如果到达设定的迭代次数，则结束训练，使用训练好的图神经网络模型为用户生成推荐的项目；如果未到达设定的迭代次数，则执行步骤三。
与前述一种基于层次注意力图神经网络的数据信息推荐方法的实施例相对应，本发明还提供了一种基于层次注意力图神经网络的数据信息推荐装置的实施例。
参见图3，本发明实施例提供的一种基于层次注意力图神经网络的数据信息推荐装置，包括一个或多个处理器，用于实现上述实施例中的一种基于层次注意力图神经网络的数据信息推荐方法。
本发明一种基于层次注意力图神经网络的数据信息推荐装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明一种基于层次注意力图神经网络的数据信息推荐装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于层次注意力图神经网络的数据信息推荐方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于层次注意力图神经网络的数据信息推荐方法，其特征在于，包括以下步骤：
步骤一，构建用户项目交互图和知识图谱；
步骤二，合并用户项目交互图与知识图谱构成用户项目知识图：将用户项目交互图中的项目与知识图谱中的实体进行匹配，然后将与匹配的实体直接相关的全部三元组与用户项目交互图进行合并，构成用户项目知识图；
步骤三，将用户项目知识图输入到图神经网络中，采用层次注意力机制计算用户项目知识图的每个节点邻居的重要程度；
步骤四，根据每个节点邻居的重要程度，对邻居进行聚合来更新节点表示；
步骤五，设定输入图神经网络的用户项目知识图经过的网络层数，如果未到达设定的网络层，则执行步骤三，反之则根据节点的表示，计算图神经网络的损失函数值，经过迭代训练，得到训练好的图神经网络，为用户生成推荐的项目。
2.如权利要求1所述的一种基于层次注意力图神经网络的数据信息推荐方法，其特征在于，所述用户项目交互图是交互数据被表示为用户-项目的二部图
Figure DEST_PATH_IMAGE002
=
Figure DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE006
和
Figure DEST_PATH_IMAGE008
分别表示用户集和项目集，链接
Figure DEST_PATH_IMAGE010
表示观察到用户
Figure DEST_PATH_IMAGE012
和项目
Figure DEST_PATH_IMAGE014
之间存在交互，否则
Figure DEST_PATH_IMAGE016
；
所述知识图谱由辅助信息组织成，所述辅助信息由真实世界的实体及其之间的关系组成，以分析项目，则知识图谱是由主体-属性-客体三元组组成的有向图
Figure DEST_PATH_IMAGE018
=
Figure DEST_PATH_IMAGE020
表示有一个关系
Figure DEST_PATH_IMAGE022
从头实体
Figure DEST_PATH_IMAGE024
到尾实体t，
Figure DEST_PATH_IMAGE026
和
Figure DEST_PATH_IMAGE028
分别表示实体集和关系集。
3. 如权利要求2所述的一种基于层次注意力图神经网络的数据信息推荐方法，其特征在于，所述步骤二具体为：将每个用户的行为表示为一个三元组(
Figure 359905DEST_PATH_IMAGE012
,
Figure DEST_PATH_IMAGE030
,
Figure 214729DEST_PATH_IMAGE014
)，其中
Figure 446996DEST_PATH_IMAGE030
表示为用户
Figure 311047DEST_PATH_IMAGE012
和项目
Figure 594261DEST_PATH_IMAGE014
之间的一个额外的交互关系；然后通过用户项目交互图中的项目与知识图谱中的实体进行匹配得到的项目-实体对齐集，并根据项目-实体对齐集，将用户项目交互图与知识图谱集成为用户项目知识图
Figure DEST_PATH_IMAGE032
=
Figure DEST_PATH_IMAGE034
, 其中
Figure DEST_PATH_IMAGE036
，
Figure DEST_PATH_IMAGE038
。
4.如权利要求3所述的一种基于层次注意力图神经网络的数据信息推荐方法，其特征在于，所述步骤三具体为：将用户项目知识图输入到图神经网络中，采用层次注意力机制，该机制包括：关系级别注意力和节点级别注意力，计算出用户项目知识图的关系级别注意力权重和节点级别注意力权重，后将关系级别注意力权重和节点级别注意力权重合并得到层次注意力权重，即得到每个节点邻居的重要程度。
5.如权利要求4所述的一种基于层次注意力图神经网络的数据信息推荐方法，其特征在于，所述计算关系级别注意力，关系即为节点间的连接边，关系级别注意力计算公式如下：
Figure DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE042
,
其中，
Figure DEST_PATH_IMAGE044
代表拼接操作，
Figure DEST_PATH_IMAGE046
代表中心节点的向量表示，
Figure DEST_PATH_IMAGE048
，
Figure DEST_PATH_IMAGE050
代表可训练的参数；
Figure DEST_PATH_IMAGE052
代表可训练的参数，
Figure DEST_PATH_IMAGE054
代表所有与相连关系的种类，
Figure DEST_PATH_IMAGE056
代表激活函数，计算关系级别注意力被表示为
Figure DEST_PATH_IMAGE058
，代表了对于计算中心节点
Figure DEST_PATH_IMAGE060
表示时关系
Figure 860067DEST_PATH_IMAGE022
的影响程度。
6.如权利要求5所述的一种基于层次注意力图神经网络的数据信息推荐方法，其特征在于，所述计算节点级别注意力，公式如下：
Figure DEST_PATH_IMAGE062
,
Figure DEST_PATH_IMAGE064
,
其中，
Figure DEST_PATH_IMAGE066
代表邻居节点的向量表示，
Figure DEST_PATH_IMAGE068
代表可训练的参数；
Figure DEST_PATH_IMAGE070
代表可训练的参数，
Figure DEST_PATH_IMAGE072
代表关系类型
Figure 110789DEST_PATH_IMAGE022
下的全部邻居节点，
Figure DEST_PATH_IMAGE074
可以被看作是三元组（
Figure 231061DEST_PATH_IMAGE060
，
Figure 368781DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE076
）的表示，
Figure DEST_PATH_IMAGE078
代表实体级别的注意力权重，代表了关系
Figure 749428DEST_PATH_IMAGE022
下不同邻居的影响程度；
所述合并得到层次注意力权重，公式如下：
Figure DEST_PATH_IMAGE080
。
7.如权利要求6所述的一种基于层次注意力图神经网络的数据信息推荐方法，其特征在于，所述步骤四具体为：首先根据层次注意力权重，通过聚合器将本地邻域的信息聚合到中心节点，得到节点h的基于邻域的表示，表达式为：
Figure DEST_PATH_IMAGE082
,
其次进一步聚合节点本身h和节点h的基于邻域的表示
Figure DEST_PATH_IMAGE084
得到更新的节点
Figure DEST_PATH_IMAGE086
。
8.如权利要求7所述的一种基于层次注意力图神经网络的数据信息推荐方法，其特征在于，所述聚合节点本身h和节点h的基于邻域的表示
Figure 566074DEST_PATH_IMAGE084
得到更新的节点
Figure 755616DEST_PATH_IMAGE086
，采用包括如下三种聚合方式：
加法聚合方式，表达式为：
Figure DEST_PATH_IMAGE088
,
其中，
Figure DEST_PATH_IMAGE090
代表可训练的参数，将
Figure 669214DEST_PATH_IMAGE060
和
Figure 567900DEST_PATH_IMAGE084
的组合投影到输出空间，
Figure DEST_PATH_IMAGE092
是输出空间的维度；
乘法聚合方式，表达式为：
Figure DEST_PATH_IMAGE094
,
其中，
Figure DEST_PATH_IMAGE096
代表向量对应点乘，
Figure DEST_PATH_IMAGE098
代表可训练的参数；
组合聚合方式，基于加法聚合方式和乘法聚合方式，表达式为：
Figure DEST_PATH_IMAGE100
。
9.如权利要求7所述的一种基于层次注意力图神经网络的数据信息推荐方法，其特征在于，所述步骤五具体为：
设定执行图神经网络中L个网络层数，若用户项目知识图未被执行达到L层网络，则返回步骤三，反之，用户项目知识图在通过
Figure DEST_PATH_IMAGE102
个网络层传播后，得到一个用户节点的多个表示，记作
Figure DEST_PATH_IMAGE104
，一个项目节点的多个表示，记作
Figure DEST_PATH_IMAGE106
，将每一步的表示连接到单个向量中，表达式为：
Figure DEST_PATH_IMAGE108
,
然后，对用户和项目表示进行内积，从而预测用户和项目的匹配分数：
Figure DEST_PATH_IMAGE110
,
再计算损失函数，表达式如下：
Figure DEST_PATH_IMAGE112
,
其中，
Figure DEST_PATH_IMAGE114
表示训练数据，
Figure DEST_PATH_IMAGE116
表示用户
Figure 45411DEST_PATH_IMAGE012
和项目
Figure DEST_PATH_IMAGE118
之间观察到的交互集，
Figure DEST_PATH_IMAGE120
表示采样的未观测交互集；
最后设定图神经网络训练的迭代次数，如果到达设定的迭代次数，则结束训练，使用训练好的图神经网络模型为用户生成推荐的项目；如果未到达设定的迭代次数，则执行步骤三。
10.一种基于层次注意力图神经网络的数据信息推荐装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-9中任一项所述的基于层次注意力图神经网络的数据信息推荐方法。
CN202210541192.1A 2022-05-19 2022-05-19 基于层次注意力图神经网络的数据信息推荐方法和装置 Active CN114637923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210541192.1A CN114637923B (zh) 2022-05-19 2022-05-19 基于层次注意力图神经网络的数据信息推荐方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210541192.1A CN114637923B (zh) 2022-05-19 2022-05-19 基于层次注意力图神经网络的数据信息推荐方法和装置

Publications (2)

Publication Number Publication Date
CN114637923A true CN114637923A (zh) 2022-06-17
CN114637923B CN114637923B (zh) 2022-09-02

Family

ID=81953094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210541192.1A Active CN114637923B (zh) 2022-05-19 2022-05-19 基于层次注意力图神经网络的数据信息推荐方法和装置

Country Status (1)

Country Link
CN (1) CN114637923B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048535A (zh) * 2022-06-30 2022-09-13 支付宝(杭州)信息技术有限公司 一种异常识别的方法和装置
CN115331732A (zh) * 2022-10-11 2022-11-11 之江实验室 基于图神经网络的基因表型训练、预测方法及装置
CN116402589A (zh) * 2023-06-05 2023-07-07 湖南师范大学 一种基于知识图和旋转编码的商品推荐方法及系统
WO2024000512A1 (zh) * 2022-06-30 2024-01-04 华为技术有限公司 一种模型训练方法以及相关设备
CN117972231A (zh) * 2024-04-01 2024-05-03 安徽思高智能科技有限公司 一种rpa项目推荐方法及存储介质、电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272381A (zh) * 2018-09-04 2019-01-25 阿里巴巴集团控股有限公司 业务推荐方法、装置、电子设备及可读存储介质
CN109829057A (zh) * 2019-01-11 2019-05-31 中山大学 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法
US20190188324A1 (en) * 2017-12-15 2019-06-20 Microsoft Technology Licensing, Llc Enriching a knowledge graph
CN110020910A (zh) * 2019-01-23 2019-07-16 阿里巴巴集团控股有限公司 对象推荐方法和装置
CN110275964A (zh) * 2019-06-26 2019-09-24 程淑玉 基于知识图谱与循环神经网络的推荐模型
CN111539786A (zh) * 2020-04-15 2020-08-14 清华大学 条件注意力网络及其在个性化推荐中的应用方法及装置
CN111813756A (zh) * 2019-04-12 2020-10-23 北京嘀嘀无限科技发展有限公司 一种日志检索系统、方法、装置、电子设备及存储介质
CN112989064A (zh) * 2021-03-16 2021-06-18 重庆理工大学 一种聚合知识图神经网络和自适应注意力的推荐方法
CN113360745A (zh) * 2020-03-04 2021-09-07 阿里巴巴集团控股有限公司 一种数据对象推荐方法、装置及电子设备
CN113987200A (zh) * 2021-10-19 2022-01-28 云南大学 神经网络结合知识图谱的推荐方法、系统、终端、介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190188324A1 (en) * 2017-12-15 2019-06-20 Microsoft Technology Licensing, Llc Enriching a knowledge graph
CN109272381A (zh) * 2018-09-04 2019-01-25 阿里巴巴集团控股有限公司 业务推荐方法、装置、电子设备及可读存储介质
CN109829057A (zh) * 2019-01-11 2019-05-31 中山大学 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法
CN110020910A (zh) * 2019-01-23 2019-07-16 阿里巴巴集团控股有限公司 对象推荐方法和装置
CN111813756A (zh) * 2019-04-12 2020-10-23 北京嘀嘀无限科技发展有限公司 一种日志检索系统、方法、装置、电子设备及存储介质
CN110275964A (zh) * 2019-06-26 2019-09-24 程淑玉 基于知识图谱与循环神经网络的推荐模型
CN113360745A (zh) * 2020-03-04 2021-09-07 阿里巴巴集团控股有限公司 一种数据对象推荐方法、装置及电子设备
CN111539786A (zh) * 2020-04-15 2020-08-14 清华大学 条件注意力网络及其在个性化推荐中的应用方法及装置
CN112989064A (zh) * 2021-03-16 2021-06-18 重庆理工大学 一种聚合知识图神经网络和自适应注意力的推荐方法
CN113987200A (zh) * 2021-10-19 2022-01-28 云南大学 神经网络结合知识图谱的推荐方法、系统、终端、介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENGWEN ZHANG，等: "KEAN: Knowledge Embedded and Attention-based Network for POI Recommendation", 《2020 IEEE INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND COMPUTER APPLICATIONS (ICAICA)》 *
秦琪琦，等: "基于知识图谱的层次粒化推荐方法", 《计算机科学》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048535A (zh) * 2022-06-30 2022-09-13 支付宝(杭州)信息技术有限公司 一种异常识别的方法和装置
WO2024000512A1 (zh) * 2022-06-30 2024-01-04 华为技术有限公司 一种模型训练方法以及相关设备
CN115331732A (zh) * 2022-10-11 2022-11-11 之江实验室 基于图神经网络的基因表型训练、预测方法及装置
CN115331732B (zh) * 2022-10-11 2023-03-28 之江实验室 基于图神经网络的基因表型训练、预测方法及装置
CN116402589A (zh) * 2023-06-05 2023-07-07 湖南师范大学 一种基于知识图和旋转编码的商品推荐方法及系统
CN116402589B (zh) * 2023-06-05 2023-09-15 湖南师范大学 一种基于知识图和旋转编码的商品推荐方法及系统
CN117972231A (zh) * 2024-04-01 2024-05-03 安徽思高智能科技有限公司 一种rpa项目推荐方法及存储介质、电子设备
CN117972231B (zh) * 2024-04-01 2024-06-11 安徽思高智能科技有限公司 一种rpa项目推荐方法及存储介质、电子设备

Also Published As

Publication number Publication date
CN114637923B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN114637923B (zh) 基于层次注意力图神经网络的数据信息推荐方法和装置
CN111382309B (zh) 一种基于图模型的短视频推荐方法、和智能终端和存储介质
Herzig et al. Learning canonical representations for scene graph to image generation
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
WO2020094060A1 (zh) 推荐方法及装置
CN112598080B (zh) 基于注意力的宽度图卷积神经网络模型系统及训练方法
Mongia et al. Deep latent factor model for collaborative filtering
WO2023065859A1 (zh) 物品推荐方法、装置及存储介质
Arya et al. Exploiting relational information in social networks using geometric deep learning on hypergraphs
CN112633481B (zh) 一种多跳图卷积神经网络模型系统及训练方法
CN112633482B (zh) 一种高效宽度图卷积神经网络模型系统及训练方法
CN112529069B (zh) 一种半监督节点分类方法、系统、计算机设备和存储介质
Rao et al. Discovering nonlinear PDEs from scarce data with physics-encoded learning
CN115221413B (zh) 一种基于交互式图注意力网络的序列推荐方法及系统
Chen et al. Integrating user-group relationships under interest similarity constraints for social recommendation
CN108154120A (zh) 视频分类模型训练方法、装置、存储介质及电子设备
Wu et al. Heterogeneous representation learning and matching for few-shot relation prediction
Wang et al. Quaternion-based knowledge graph neural network for social recommendation
CN112668700B (zh) 一种基于分组注意的宽度图卷积网络模型系统及训练方法
Song et al. Optimal block-wise asymmetric graph construction for graph-based semi-supervised learning
CN114399025A (zh) 一种图神经网络解释方法、系统、终端以及存储介质
US20240037133A1 (en) Method and apparatus for recommending cold start object, computer device, and storage medium
Wang et al. A multi-scale self-supervised hypergraph contrastive learning framework for video question answering
CN114861072B (zh) 一种基于层间组合机制的图卷积网络推荐方法及装置
CN117435766A (zh) 一种个性化教学视频推荐方法、系统、介质、设备及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant