CN116166875A - 基于元路径增强的异质图神经网络的双向跨域推荐方法 - Google Patents

基于元路径增强的异质图神经网络的双向跨域推荐方法 Download PDF

Info

Publication number
CN116166875A
CN116166875A CN202211464569.4A CN202211464569A CN116166875A CN 116166875 A CN116166875 A CN 116166875A CN 202211464569 A CN202211464569 A CN 202211464569A CN 116166875 A CN116166875 A CN 116166875A
Authority
CN
China
Prior art keywords
domain
node
path
user
project
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211464569.4A
Other languages
English (en)
Inventor
杨超
彭琳莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202211464569.4A priority Critical patent/CN116166875A/zh
Publication of CN116166875A publication Critical patent/CN116166875A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及推荐技术领域，特别是涉及一种基于元路径增强的异质图神经网络的双向跨域推荐方法MEH‑GNN。首先，设计了新的节点编码方式，以改善不同域内知识冲突的现象。根据跨域推荐中用户和项目自身数据特性的不同，对其分别使用不同的节点编码和聚合方法。同时，设计了一种由路径级注意力、语义级注意力和域级注意力组成的层次注意力，增强推荐项目表示的同时，选择双向迁移的权重比例。本发明在融合特征的同时考虑了域特有特征和域共有特征，最后，在跨域异质图中采样的域内和域间元路径为跨域推荐提供了基于路径的可解释性。实验结果表明，通过两域之间的双向知识迁移，本发明在推荐精度方面能超越现有最先进的方法。

Description

基于元路径增强的异质图神经网络的双向跨域推荐方法
技术领域
本发明涉及跨域推荐技术领域，特别是涉及一种基于元路径增强的异质图神经网络的双向跨域推荐方法。
背景技术
近年来，个性化推荐系统的出现缓解了信息过载的问题，它旨在通过用户的历史交互来预测用户未来可能的交互，从而给用户推荐可能感兴趣的项目。为了缓解推荐系统中长期存在的数据稀疏性问题，现有技术中提出了跨域推荐，数据相对密集的域称为源域，数据相对稀疏的域称为目标域。域间通常存在公共用户、公共项目或公共属性。给出两个或多个域中的用户项目交互、属性信息和辅助信息，跨域推荐任务的目标是聚合或迁移这些域的信息至目标域，获得在目标域更准确的推荐。跨域推荐是近年来备受关注的研究领域之一，可应用于各种跨平台、跨系统、跨域的推荐系统上，使用户快速找到喜爱的物品，帮助用户跳出信息茧房，同时促进平台的业务增长。例如，用户在不同域上可能有偏好相似的表现，故抖音可以根据用户在平台上的商品购买历史向用户推荐可能感兴趣的广告视频，提升推荐的准确率和新颖性。
跨域推荐主要研究如何有效地在域间迁移知识，从而提高推荐准确率。目前，跨域推荐任务面临的挑战主要有：(1)如何针对不同域学习到有效的用户项目表征。(2)如何选择有效的信息实现高质量的双向跨域迁移。(3)如何实现跨域推荐的可解释性。为了解决这些挑战，传统工作利用评分矩阵基于协同过滤思想实现跨域推荐，如PCLF(利用概率聚类级潜在因素模型改进跨域推荐)考虑了单域和跨域用户在用户-项目的交互特征建模中的不同，为二者分别计算评分矩阵，融合后进行推荐。一个针对跨域推荐中用户冷启动问题的研究将NCF(神经协同过滤)的思想引入跨域推荐中，将内积的计算替换为MLP(多层感知器)，利用MLP更强的表达能力进一步提升了推荐结果。上述方法利用评分信息确实取得了一定成效，但是忽略了跨域推荐中丰富的内容信息和语义关联信息。迁移学习是近年来新兴的一种学习方法，能有效缓解这一问题。当从不同域中获得的数据分布不同时，迁移学习将两域中相对接近的潜在特征空间映射或融合，从而将知识跨域迁移。CoNet(协作交叉网络)将两个基础网络中的隐藏层通过交叉映射连接形成协同交叉网络，实现交互特征的域间知识迁移。之后DDTCDR(深度双迁移跨域推荐)利用域间潜在的双向正交映射，提取多个域上的用户偏好，结合自动编码器提取特征，实现双向迁移推荐。这些方法一定程度上提升了跨域推荐精度，但并未考虑用户项目之间的结构化信息。随着近期图学习的迅速发展，各种新的基于图的跨域信息表征及信息传输方法出现，有效地将用户项目的结构化信息纳入考虑，使得跨域推荐的结果更加精确。例如，PPGN(偏好传播图网)利用GCN(图卷积网络)来探索两个域的联合交互图上用户与物品之间的高阶连通性，由此传递知识；GA-DTCDR(基于图和注意力的双目标跨域推荐)采用元素注意机制来组合两域图上的用户节点嵌入，结合MLP提高了节点嵌入质量，从而提升准确率；BiTGCF(基于图协同过滤的双迁移跨域推荐)融合LightGCN(轻量级图卷积网络)和NGCF(基于图卷积的协同过滤推荐)的思想，设计了一层新的图特征传播层，在跨域推荐任务上更合理地简化了GCN的设计。同时，基于图上路径为推荐提供可解释性成为常用方法。但这种方法通常只研究目标域内的路径，若同时考虑源域和目标域的路径，可能会造成不同域内知识的冲突或抵消。HecRec(基于异质信息网络的跨域推荐)在损失函数的设计上使用立交桥概念集成通过不同域元路径得到的嵌入，避免来自不同域的知识冲突，一定程度上提升了跨域推荐准确度。然而，在跨域推荐中，域与域之间可作为桥接信息存在的重叠部分是不同的，以上工作几乎将重叠信息和非重叠信息一视同仁，简单地将单域推荐获取节点表示的方法照搬进跨域推荐，这将影响节点表示的质量。并且，从稀疏域迁移至密集域的知识可能会作为噪声，降低密集域的推荐精度，即存在负迁移现象。大多数当前工作更重视域之间的公共特征的迁移研究，而忽略域特有特征。故当前跨域推荐领域仍存在以下问题：(1)如何在跨域推荐任务上针对重叠信息和非重叠信息分别设计表征学习方法，得到用户项目更精准且合理的表示；(2)如何在保留域特有信息的同时集成跨域共享特征并缓解负迁移，进行双向跨域迁移；(3)目前缺少针对跨域推荐任务可解释性的研究。
发明内容
本发明的目的在于为了解决上述问题，设计了一种基于元路径增强的异质图神经网络的双向跨域推荐，简称MEH-GNN，有效提升了跨域推荐的精度。本发明的技术方案在于，首先，在跨域推荐中引入元路径的同时，根据用户和项目特点的不同，对其分别使用不同的节点表征学习方案，和不同的节点编码聚合方式，增强异质节点的表征的同时实现用户项目间的交互建模；
其次，设计了由路径级注意力、语义级注意力和域级注意力组成的层次注意力，以融合用户和项目的域内特有特征和域间公有特征，动态自适应地选择最重要的知识进行跨域迁移融合；
最后，这种新的基于元路径增强的异质图神经网络的双向跨域推荐模型，简称MEH-GNN，增强了用户和项目的节点表示，实现了知识的双向跨域迁移。在保证跨域推荐准确性的同时，提供对跨域推荐结果的可解释性。
基于元路径增强的异质图神经网络的双向跨域推荐方法，具体包括以下步骤：
步骤一，构建一个双域的用户项目交互异构网络图，将两个域分别设为A域和B域，则此异构图中含有四种不同类型的节点：
A域中的项目节点IA、B域中的项目节点IB、两个域的公共用户节点U和两个域的项目类别节点C；
其中，所有用户在两域上都存在历史交互，即UA＝UB＝U；两域的项目节点无重叠，即
Figure SMS_1
项目类别节点既包括两域特有的，也包括两个域公共的，即/>
Figure SMS_2
且CA≠CB；
公共的用户节点和项目类别节点可以作为桥接节点，连接两个域的信息；
步骤二，限制参与计算的元路径总数，采样生成高质量的元路径：
利用一个学习图节点向量表示的模型，简称Node2vec将深度优先遍历和广度优先遍历的思想融入到了随机游走中，优化了深度游走，简称DeepWalk的性能，故使用Node2vec预训练得到图中所有节点的表示；将连续节点的相似度作为从当前节点采样到下一个节点的优先级分数，这样能采样出关联程度更高的路径，从而表达出更紧密且可靠的语义；
步骤三，构造了一个域内节点嵌入映射层：
将不同类型的节点的独热编码映射到统一的特征空间中，对特定类型
Figure SMS_3
的节点/>
Figure SMS_4
有：
hv＝Wα T·xv
其中
Figure SMS_5
是可学习的变换矩阵，/>
Figure SMS_6
是节点v的独热编码，hv是节点v的潜在向量表示；
在域间元路径实例的节点中，对A域来说，包含另一个域的项目节点
Figure SMS_7
同理对B域来说，包含另一个域的项目节点/>
Figure SMS_8
为这类节点增加一层域变换层，以解决其跨域性带来的问题：
Figure SMS_9
Figure SMS_10
其中WA、WB是域变换矩阵，
Figure SMS_11
是vB和vA经过第一层映射后的潜在表示，
Figure SMS_12
是vB和vA经域变换后的表示；
最终通过最大池化来得到另一个域的项目节点的表示
Figure SMS_13
和/>
Figure SMS_14
作为域间节点映射层：
Figure SMS_15
Figure SMS_16
应用此操作后，所有节点的特征表示共享相同维度，这有助于之后的特征聚合过程；
步骤四，分别聚合项目节点的高阶邻居和用户节点的低阶邻居来获得用户和项目在两个域上的表示：
对项目节点而言，需要聚合元路径引导的项目高阶邻居来得到最终的项目表示；将元路径实例中的所有节点聚合，得到每一条元路径实例的表示；
对项目元路径实例的节点聚合时，取沿元路径实例
Figure SMS_17
的节点向量的元素平均值：
Figure SMS_18
通过聚合用户节点邻域的一阶邻居信息(即用户在两个域中顺序交互过的项目序列)来获得用户的在两个域上的初始偏好表示；
对序列数据而言，递归神经网络已被证明作为图节点信息聚合器非常有效，尤其是长短期记忆，简称LSTM和双向长短期记忆，简称BiLSTM；由于BiLSTM能同时利用过去和未来的信息，通常能得到比LSTM更加准确的预测结果，故利用BiLSTM动态建模用户的一阶邻居：
it＝σ(Wi·[ht-1,xt]+bi)
ft＝σ(Wf·[ht-1,xt]+bf)
ot＝σ(Wo·[ht-1,xt]+bo)
kt＝tanh(Wk·[ht-1,xt]+bk)
Figure SMS_19
Figure SMS_20
Figure SMS_21
其中，xt是序列中第t个节点的特征向量，W*和b*是可学习参数，it是输入门，ft是遗忘门，ot是输出门，kt是细胞临时状态，ct是第t个节点的细胞状态即长记忆，ht是第t个节点的隐藏状态即短记忆，
Figure SMS_22
是经BiLSTM聚合后的用户初始表征向量；通过BiLSTM聚合器得到的用户在两个域上的交互特征/>
Figure SMS_23
和/>
Figure SMS_24
在后续的用户特征融合中是共享的，即两个域的网络本质上共享BiLSTM聚合器模块；此处的BiLSTM起到两个域的桥接作用，故我们称它为Bridge-BiLSTM；
步骤五，使用层次注意力机制将A域和B域的知识融合，动态自适应地控制用户和项目在每个域上特征的最优保留比例，用于最终的推荐：
在获得采样的项目-项目元路径实例和其向量表示后，使用多头自注意力机制来实现项目-路径级注意力层，简称IPA，故而学习每条元路径的表示；
使用Transformer模型中的自注意力，旨在从多路径实例中学习组合特征。对于项目节点v，得到：
Figure SMS_25
Figure SMS_26
其中，查询Q、键K和值V是与路径ρ相关联的自注意力变量，dk是维度，dk＝100，headi是注意力
Figure SMS_27
W是权重，||是串联运算符；
步骤六，在聚合每种元路径内的信息后，设计项目-语义级注意力层，简称ISA，组合所有元路径共同显示的语义信息，使用注意力机制为每种元路径分配不同的权重：
对于项目节点v，有
Figure SMS_28
组元路径潜在向量/>
Figure SMS_29
其中l是元路径数目；
首先，对所有项目节点的元路径潜在向量表示进行非线性转换和均值操作，得到每种元路径的特定向量：
Figure SMS_30
其中R是参数化的注意力向量，
Figure SMS_31
为元路径ρi对项目节点的相对重要性；
接着，对v的所有元路径潜在向量加权求和，分别得到域内和域间的项目元路径表示：
Figure SMS_32
步骤七，使用图注意力网络，简称GAT，中的注意力方式，对目标项目节点v相关的域内和域间的元路径表示进行加权求和，实现A域和B域间特征的双向迁移，项目-域级注意力，简称IDA，和用户-域级注意力，简称UDA；
同时考虑域公共特征和域特有特征，注意力权重用于控制相应特征的保留率；在计算域内和域间元路径分别对项目节点的重要性时，将项目节点自身的表示hv分别与两种元路径的表示hρ(v,u)拼接，以获得更符合每个节点自身特征的重要性；
Figure SMS_33
Figure SMS_34
Figure SMS_35
此处
Figure SMS_36
是域内或域间元路径对应的参数化注意向量，||为向量串联运算符，/>
Figure SMS_37
表示域内或域间元路径对节点v的重要性；然后使用softmax函数对/>
Figure SMS_38
归一化，获得所有归一化权重后，通过激活函数σ(·)计算节点v的元路径表示的加权组合；至于用户-域级注意力，则是将用户自身的表示hu和用户分别在两个域上的偏好/>
Figure SMS_39
同样以上式的方式进行特征融合，以此获得最终的用户特征表示/>
Figure SMS_40
和/>
Figure SMS_41
步骤八，根据下式将用户和项目自身的初始显式表示和融合后的用户和项目的隐式特征表示连接为一个向量整体，以平衡双目标推荐的结果：
Figure SMS_42
Figure SMS_43
其中||表示向量串联，
Figure SMS_44
表示用户、项目最终的交互向量。然后通过多层感知器(MLP)获得用户项目预测分数，
Figure SMS_45
Figure SMS_46
神经网络模型可以在多层中使用少量隐藏单元来学习更抽象的数据特征，对MLP组件使用推荐任务中经典的塔式结构，隐藏层维度逐层减半，使用ReLU作为激活函数，sigmoid函数作为输出函数；
步骤九，优化模型参数和嵌入，使用含正负样本的交叉熵损失函数作为模型整体的损失函数：
Figure SMS_47
其中Vneg是为正样本采样的负样本集。由此进行模型整体的训练与优化，得到最终的跨域推荐结果。
本发明的有益效果在于，(1)引入元路径的同时设计了对异质节点的不同编码和聚合方法，特别是提出了一种新的共享Bridge-BiLSTM聚合器，增强异质节点的表征和实现用户项目间的交互建模。(2)设计了一种由路径级注意力、语义级注意力和域级注意力组成的层次注意力，能动态自适应地融合域内特有特征和域间公有特征，对推荐项目的特征进行学习。(3)提出一种新的基于元路径增强的异质图神经网络的双向跨域推荐模型MEH-GNN，增强了用户项目的节点表示，实现知识的双向跨域迁移。(4)在亚马逊公开的三组数据集上进行了广泛的实验，结果表明，MEH-GNN的精度已超越现有基线。在电影-音乐数据集中，MEH-GNN在电影域的HR@10和NDCG@10相对次优基线高出28％和23％；在音乐域的HR@10和NDCG@10结果相对次优基线高出24％和10％。
附图说明
图1为MEH-GNN方法框架图。
图2为节点编码方法流程图；(a)为域内节点编码流程，(b)为域间节点编码流程。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念；此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。以下将参照附图1至2更详细地描述本发明。
本发明包括以下方法：
首先，为了解决问题1：如何在跨域推荐任务上针对重叠信息和非重叠信息分别设计表征学习方法，得到用户项目更精准且合理的表示；根据用户和项目特点的不同，对其分别使用不同的节点表征学习方案，和不同的节点编码聚合方式。对项目节点来说，由于本文主要研究对象是两域间存在公共用户和公共属性信息的跨域推荐任务，而两域中的项目无重叠，两域中的项目节点只能间接通过公共用户或公共的类型节点连接，彼此距离相对较远，使用元路径增强其表示能更好地捕捉两域的项目与项目之间的全局高阶相关关系。而对用户节点来说，用户是两域共有的，已与两域中的项目交互信息直接相连，用户偏好主要由交互过的项目历史决定，无需更长的路径来计算，且需要融合用户在两个域上的偏好，更优的方案则是直接聚合用户在两域交互过的历史项目节点，即用户周围的一阶邻居节点，此时局部信息不会对之后的跨域偏好融合引入过多噪声。基于上述分析，节点编码和聚合时，根据用户和项目节点表征学习方案和数据自身特性的不同，为其选取了不同的编码方式和聚合器；
其次，为了解决问题2，如何在保留域特有信息的同时集成跨域共享特征并缓解负迁移，进行双向跨域迁移；设计了层次注意力来选择双向迁移的权重比例，由路径级注意力、语义级注意力和域级注意力组成。通过层级注意力机制，模型能实现域特有特征和域共有特征的自适应动态融合，从而保证两域之间双向的知识能正确迁移，以同时提高源域和目标域的推荐精度；
最后，为了解决问题3，目前缺少针对跨域推荐任务可解释性的研究；构建跨域异质图，使用Node2Vec得到图中节点的初始表示，基于此计算节点之间相似度，从而采样域内元路径和域间元路径，为跨域推荐提供基于路径的可解释性。
MEH-GNN整体的方法框架图如图1所示，它由6个部分组成：(1)跨域异质图构造器；(2)元路径采样层；(3)节点编码层；(4)节点聚合层；(5)特征融合层；(6)预测器。
本发明具体包括以下步骤：
步骤一，构建一个双域的用户项目交互异构网络图，将两个域分别设为A域和B域，则此异构图中含有四种不同类型的节点：
A域中的项目节点IA、B域中的项目节点IB、两个域的公共用户节点U和两个域的项目类别节点C；
其中，所有用户在A域和B域上都存在历史交互，即UA＝UB＝U；A域和B域的项目节点无重叠，即
Figure SMS_48
项目类别节点既包括A域或B域特有的，也包括两个域公共的，即
Figure SMS_49
且CA≠CB；
公共的用户节点和项目类别节点可以作为桥接节点，连接两个域的信息；
步骤二，限制参与计算的元路径总数，采样生成高质量的元路径实例：Node2vec(一个学习图节点向量表示的模型)将深度优先遍历和广度优先遍历的思想融入到了随机游走中，优化了DeepWalk(深度游走)的性能，故使用Node2vec预训练得到图中所有节点的表示；将连续节点的相似度作为从当前节点采样到下一个节点的优先级分数，这样能采样出关联程度更高的路径，从而表达出更紧密且可靠的语义；一条元路径可表示为
Figure SMS_50
(缩写为a1a2…al+1),它描述了节点a1和al+1之间的复合路径关系。具体来说，以元路径IAUIBCIA(即元路径：A域项目-用户-B域项目-项目类别-A域项目)为例，首先根据学习到的节点潜在表示，计算IA和U、U和IB、IB和C、C和IA的相似度，然后对这些相似度进行求和平均，以对候选元路径实例进行排序，最后采样分数最高的前N条元路径实例；设计了两种不同的元路径类型，分别为域内元路径和域间元路径。前者如IAUIA，IACIA，它们仅含有自身域的节点，表示项目的域内特有语义；后者如IAUIBUIA，IACIBCIA，它们不仅有自身域的节点，还有另一域的节点，表示项目的域间共享语义。我们同时考虑了域内的特有语义和域间的共享语义，这将便于后续根据其不同的特性采取对应不同的处理；
步骤三，在异构图中，不同类型的节点类型的独热编码向量维数相同或者不同，直接使用节点独热编码参与后续大规模网络的计算会极大程度地增大计算开销。即使它们恰好有相同的维度，特征空间也可能不同。构造了一个域内节点嵌入映射层：
如图2(a)所示，将不同类型的节点的独热编码映射到统一的特征空间中，对特定类型
Figure SMS_51
的节点/>
Figure SMS_52
有：
hv＝Wα T·xv
其中
Figure SMS_53
是可学习的变换矩阵，/>
Figure SMS_54
是节点v的独热编码，hv是节点v的潜在向量表示；此映射层解决了异质图上源于节点内容特征的异构性问题。
在域间元路径实例的节点中，对A域来说，包含另一个域的项目节点
Figure SMS_55
同理对B域来说，包含另一个域的项目节点/>
Figure SMS_56
此种类型的节点存在特殊性，在所构建的异质图中，它既有异质性，还有跨域性，特征空间跨度较大。若将此种类型的节点与其他类型的节点一视同仁，将无法很好的得到合适的初始节点表示；
为这类节点增加一层域变换层，如图2(b)所示，以解决其跨域性带来的问题：
Figure SMS_57
/>
Figure SMS_58
其中WA、WB是域变换矩阵，
Figure SMS_59
是vB和vA经过第一层映射后的潜在表示，
Figure SMS_60
是vB和vA经域变换后的表示；
最终通过最大池化来得到另一个域的项目节点的表示
Figure SMS_61
和/>
Figure SMS_62
作为域间节点映射层：
Figure SMS_63
Figure SMS_64
应用此操作后，所有节点的特征表示共享相同维度，这有助于之后的特征聚合过程；
步骤四，分别聚合项目节点的高阶邻居和用户节点的低阶邻居来获得用户和项目在两个域上的表示：
对项目节点而言，需要聚合元路径引导的项目高阶邻居来得到最终的项目表示；将元路径实例中的所有节点聚合，得到每一条元路径实例的表示；
由于项目元路径实例的节点序列无时间排序信息，节点是无序组合的，只需用参数较少的均值操作，作为聚合器即可达到足够好的聚合元路径实例节点的效果。对项目元路径实例的节点聚合时，取沿元路径实例
Figure SMS_65
的节点向量的元素平均值：
Figure SMS_66
通过聚合用户节点邻域的一阶邻居的信息来获得用户的在两个域上的初始偏好表示；
由于用户的历史交互项目带有时间戳信息，故将用户的一阶邻居(即用户在两个域中交互过的项目)建模为序列数据；
对序列数据而言，递归神经网络已被证明作为图节点信息聚合器非常有效，尤其是LSTM(长短期记忆)和BiLSTM(双向长短期记忆)。由于BiLSTM能同时利用过去和未来的信息，通常能得到比LSTM更加准确的预测结果，故利用BiLSTM动态建模用户的一阶邻居：
it＝σ(Wi·[ht-1，xt]+bi)
ft＝σ(Wf·[ht-1,xt]+bf)
ot＝σ(Wo·[ht-1，xt]+bo)
kt＝tanh(Wk·[ht-1，xt]+bk)
Figure SMS_67
Figure SMS_68
Figure SMS_69
其中，xt是序列中第t个节点的特征向量，W*和b*是可学习参数，it是输入门，ft是遗忘门，ot是输出门，kt是细胞临时状态，ct是第t个节点的细胞状态即长记忆，ht是第t个节点的隐藏状态即短记忆，
Figure SMS_70
是经BiLSTM聚合后的用户初始表征向量。需要注意的是，通过BiLSTM聚合器得到的用户在两个域上的交互特征/>
Figure SMS_71
和/>
Figure SMS_72
在后续的用户特征融合中是共享的，即两个域的网络本质上共享BiLSTM聚合器模块；
此处的BiLSTM起到两个域的桥接作用，故我们称它为Bridge-BiLSTM。这种基于新的Bridge-BiLSTM的编码架构有两个主要优势：(1)它能桥接两个域网络的参数，使两个网络使用同一套参数训练，整体复杂度更低；(2)它能够较好的捕捉时间序列及内容信息，得到更准确的特征表达；
步骤五，使用层次注意力机制将A域和B域的知识融合，动态自适应地控制用户和项目在每个域上特征的最优保留比例，用于最终的推荐：
在获得采样的项目-项目元路径实例和其向量表示后，使用多头自注意力机制来实现项目-路径级注意力层，简称IPA，故而学习每条元路径的表示；
在这里使用这种自注意力的基本原理是，在采样后，每对项目的元路径内存在多条路径实例。不同的实例表示特定不同推理原因，且它们对目标项目节点的表示作出贡献的程度不一；
使用Transformer模型中的自注意力，旨在从多路径实例中学习组合特征。对于项目节点v，得到：
Figure SMS_73
Figure SMS_74
其中，查询Q、键K和值V是与路径ρ相关联的自注意力变量，dk是维度，dk＝100，headi是注意力
Figure SMS_75
W是权重，||是串联运算符；
步骤六，在聚合每种元路径内的信息后，设计项目-语义级注意力层，简称ISA，组合所有元路径共同显示的语义信息，使用注意力机制为每种元路径分配不同的权重：
观察到，用户与下一个项目产生交互的原因是复杂的，而不仅仅是唯一的。如：用户阅读书籍《哈姆雷特》的原因可能是以下3种甚至更多种不同原因的混合：(1)他自身偏好阅读戏剧类型的书；(2)和他有相似阅读历史的其他用户也读过这本书；(3)和他有相似阅读历史的其他用户听过古典类型的音乐，故他也潜在地喜好古典类型的书。这些原因可以通过各种元路径携带的语义信息来表示，以不同的权重组合来描述跨域推荐的复杂原因。因此，一种简单的聚合元路径方法是采用这些路径向量的平均值。但在现实数据中，不同元路径在异构图中的重要性并不一致，需使用注意力机制为每种元路径分配不同的权重；
对于项目节点v，有
Figure SMS_76
组元路径潜在向量/>
Figure SMS_77
其中l是元路径数目；首先，对所有项目节点的元路径潜在向量表示进行非线性转换和均值操作，得到每种元路径的特定向量：
Figure SMS_78
其中R是参数化的注意力向量，
Figure SMS_79
为元路径ρi对项目节点的相对重要性；
接着，对v的所有元路径潜在向量加权求和，分别得到域内和域间的项目元路径表示：
Figure SMS_80
步骤七，使用GAT(图注意力网络)中的注意力方式，对目标项目节点v相关的域内和域间的元路径表示进行加权求和，实现A域和B域间特征的双向迁移，项目-域级注意力，简称IDA，和用户-域级注意力，简称UDA；
同时考虑域公共特征和域特有特征，注意力权重用于控制相应特征的保留率；在计算域内和域间元路径分别对项目节点的重要性时，将项目节点自身的表示hv分别与两种元路径的表示hρ(v,u)拼接，以获得更符合每个节点自身特征的重要性；该操作虽然简单，但能有效提升跨域推荐精度；
Figure SMS_81
Figure SMS_82
Figure SMS_83
此处
Figure SMS_84
是域内或域间元路径对应的参数化注意向量，||为向量串联运算符，/>
Figure SMS_85
表示域内或域间元路径对节点v的重要性；然后使用softmax函数对/>
Figure SMS_86
归一化，获得所有归一化权重后，通过激活函数σ(·)计算节点v的元路径表示的加权组合；至于用户-域级注意力，则是将用户自身的表示hu和用户分别在两个域上的偏好/>
Figure SMS_87
同样以上式的方式进行特征融合，以此获得最终的用户特征表示/>
Figure SMS_88
和/>
Figure SMS_89
步骤八，根据下式将用户和项目自身的初始显式表示和融合后的用户和项目的隐式特征表示连接为一个向量整体，以平衡双目标推荐的结果：
Figure SMS_90
Figure SMS_91
其中||表示向量串联，
Figure SMS_92
表示用户、项目最终的交互向量。然后通过多层感知器(MLP)获得用户项目预测分数，
Figure SMS_93
Figure SMS_94
神经网络模型可以在多层中使用少量隐藏单元来学习更抽象的数据特征，对MLP组件使用推荐任务中经典的塔式结构，隐藏层维度逐层减半，使用ReLU作为激活函数，sigmoid函数作为输出函数；
步骤九，优化模型参数和嵌入，使用含正负样本的交叉熵损失函数作为模型整体的损失函数：
Figure SMS_95
/>
其中Vneg是为正样本采样的负样本集。由此进行模型整体的训练与优化，得到最终的跨域推荐结果。
表1、2、3展示了不同的基线方法在亚马逊三组公开数据集上的推荐结果，其中评价指标为HR@K(推荐前K名列表的命中率)和NDCG@K(推荐前K名列表的归一化折损累计增益)。MEH-GNN的推荐精度在HR和NDCG指标上显著优于其他现有的SOTA方法。在电影-音乐数据集中，MEH-GNN在电影域的HR@10和NDCG@10结果分别为0.7866和0.6036，相对次优基线高出28％和23％；在音乐域的HR@10和NDCG@10结果分别为0.7624和0.5662，相对次优基线高出24％和10％。在另两组数据集中，MEH-GNN也同样较次优基线具有相似的精度提升。这些实验结果表明，我们提出的MEH-GNN能使用元路径增强节点的表示，并通过节点编码聚合方法和层次注意力机制，有效提高跨域推荐的精度。此外，上述实验结果显示，在密集域上同样有较显著的精度改进，这表明将稀疏域的知识逆向迁移到密集域时，噪音内容较少，即充分说明我们设计的双向跨域迁移框架能够有效缓解负迁移存在的问题。
表1书籍-音乐
Figure SMS_96
表2电影-音乐
Figure SMS_97
表3电影-书籍
Figure SMS_98
Figure SMS_99
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (2)

1.基于元路径增强的异质图神经网络的双向跨域推荐方法，其特征在于：
首先，在跨域推荐中引入元路径的同时，根据用户和项目特点的不同，对其分别使用不同的节点表征学习方案，和不同的节点编码聚合方式，增强异质节点的表征的同时实现用户项目间的交互建模；
其次，设计了由路径级注意力、语义级注意力和域级注意力组成的层次注意力，以融合用户和项目的域内特有特征和域间公有特征，动态自适应地选择最重要的知识进行跨域迁移融合；
最后，这种新的基于元路径增强的异质图神经网络的双向跨域推荐模型，简称MEH-GNN，增强了用户和项目的节点表示，实现了知识的双向跨域迁移。在保证跨域推荐准确性的同时，提供对跨域推荐结果的可解释性。
2.根据权利要求1所述的基于元路径增强的异质图神经网络的双向跨域推荐方法，其特征在于，具体包括以下步骤：
步骤一，构建一个双域的用户项目交互异构网络图，将两个域分别设为A域和B域，则此异构图中含有四种不同类型的节点：
A域中的项目节点IA、B域中的项目节点IB、两个域的公共用户节点U和两个域的项目类别节点C；
其中，所有用户在两域上都存在历史交互，即UA＝UB＝U；两域的项目节点无重叠，即
Figure FDA0003955804120000011
项目类别节点既包括两域特有的，也包括两个域公共的，即/>
Figure FDA0003955804120000012
且CA≠CB；
公共的用户节点和项目类别节点可以作为桥接节点，连接两个域的信息；
步骤二，限制参与计算的元路径总数，采样生成高质量的元路径：
利用一个学习图节点向量表示的模型，简称Node2vec将深度优先遍历和广度优先遍历的思想融入到了随机游走中，优化了深度游走，简称DeepWalk的性能，故使用Node2vec预训练得到图中所有节点的表示；将连续节点的相似度作为从当前节点采样到下一个节点的优先级分数，这样能采样出关联程度更高的路径，从而表达出更紧密且可靠的语义；
步骤三，构造了一个域内节点嵌入映射层：
将不同类型的节点的独热编码映射到统一的特征空间中，对特定类型
Figure FDA0003955804120000013
的节点
Figure FDA0003955804120000014
有：
hv＝Wα T·xv
其中
Figure FDA0003955804120000015
是可学习的变换矩阵，/>
Figure FDA0003955804120000016
是节点v的独热编码，hv是节点v的潜在向量表示；
在域间元路径实例的节点中，对A域来说，包含另一个域的项目节点
Figure FDA0003955804120000017
同理对B域来说，包含另一个域的项目节点/>
Figure FDA0003955804120000018
为这类节点增加一层域变换层，以解决其跨域性带来的问题：
Figure FDA0003955804120000019
Figure FDA00039558041200000110
其中WA、WB是域变换矩阵，
Figure FDA00039558041200000111
是vB和vA经过第一层映射后的潜在表示，
Figure FDA00039558041200000112
是vB和vA经域变换后的表示；/>
最终通过最大池化来得到另一个域的项目节点的表示
Figure FDA00039558041200000113
和/>
Figure FDA00039558041200000114
作为域间节点映射层：
Figure FDA0003955804120000021
Figure FDA0003955804120000022
应用此操作后，所有节点的特征表示共享相同维度，这有助于之后的特征聚合过程；
步骤四，分别聚合项目节点的高阶邻居和用户节点的低阶邻居来获得用户和项目在两个域上的表示：
对项目节点而言，需要聚合元路径引导的项目高阶邻居来得到最终的项目表示；将元路径实例中的所有节点聚合，得到每一条元路径实例的表示；
对项目元路径实例的节点聚合时，取沿元路径实例
Figure FDA0003955804120000023
的节点向量的元素平均值：
Figure FDA0003955804120000024
通过聚合用户节点邻域的一阶邻居信息(即用户在两个域中顺序交互过的项目序列)来获得用户的在两个域上的初始偏好表示；
对序列数据而言，递归神经网络已被证明作为图节点信息聚合器非常有效，尤其是长短期记忆，简称LSTM和双向长短期记忆，简称BiLSTM由于BiLSTM能同时利用过去和未来的信息，通常能得到比LSTM更加准确的预测结果，故利用BiLSTM动态建模用户的一阶邻居：
it＝σ(Wi·[ht-1，xt]+bi)
ft＝σ(Wf·[ht-1，xt]+bf)
ot＝σ(Wo·[ht-1，xt]+bo)
kt＝tanh(Wk·[ht-1，xt]+bk)
Figure FDA0003955804120000025
Figure FDA0003955804120000026
Figure FDA0003955804120000027
其中，xt是序列中第t个节点的特征向量，W*和b*是可学习参数，it是输入门，ft是遗忘门，ot是输出门，kt是细胞临时状态，ct是第t个节点的细胞状态即长记忆，ht是第t个节点的隐藏状态即短记忆，
Figure FDA0003955804120000028
是经BiLSTM聚合后的用户初始表征向量；通过BiLSTM聚合器得到的用户在两个域上的交互特征/>
Figure FDA0003955804120000029
和/>
Figure FDA00039558041200000210
在后续的用户特征融合中是共享的，即两个域的网络本质上共享BiLSTM聚合器模块；此处的BiLSTM起到两个域的桥接作用，故我们称它为Bridge-BiLSTM；
步骤五，使用层次注意力机制将A域和B域的知识融合，动态自适应地控制用户和项目在每个域上特征的最优保留比例，用于最终的推荐：
在获得采样的项目-项目元路径实例和其向量表示后，使用多头自注意力机制来实现项目-路径级注意力层，简称IPA，故而学习每条元路径的表示；
使用Transformer模型中的自注意力，旨在从多路径实例中学习组合特征。对于项目节点v，得到：
Figure FDA0003955804120000031
/>
Figure FDA0003955804120000032
其中，查询Q、键K和值V是与路径ρ相关联的自注意力变量，dk是维度，dk＝100，headi是注意力
Figure FDA0003955804120000033
W是权重，||是串联运算符；
步骤六，在聚合每种元路径内的信息后，设计项目-语义级注意力层，简称ISA，组合所有元路径共同显示的语义信息，使用注意力机制为每种元路径分配不同的权重：
对于项目节点v，有|v|组元路径潜在向量
Figure FDA0003955804120000034
其中l是元路径数目；首先，对所有项目节点的元路径潜在向量表示进行非线性转换和均值操作，得到每种元路径的特定向量：
Figure FDA0003955804120000035
其中R是参数化的注意力向量，
Figure FDA0003955804120000036
为元路径ρi对项目节点的相对重要性；
接着，对v的所有元路径潜在向量加权求和，分别得到域内和域间的项目元路径表示：
Figure FDA0003955804120000037
步骤七，使用图注意力网络，简称GAT，中的注意力方式，对目标项目节点v相关的域内和域间的元路径表示进行加权求和，实现A域和B域间特征的双向迁移，项目-域级注意力，简称IDA，和用户-域级注意力，简称UDA；
同时考虑域公共特征和域特有特征，注意力权重用于控制相应特征的保留率；在计算域内和域间元路径分别对项目节点的重要性时，将项目节点自身的表示hv分别与两种元路径的表示hρ(vu)拼接，以获得更符合每个节点自身特征的重要性；
Figure FDA0003955804120000038
Figure FDA0003955804120000039
Figure FDA00039558041200000310
此处
Figure FDA00039558041200000311
是域内或域间元路径对应的参数化注意向量，||为向量串联运算符，/>
Figure FDA00039558041200000312
表示域内或域间元路径对节点v的重要性；然后使用softmax函数对/>
Figure FDA0003955804120000041
归一化，获得所有归一化权重后，通过激活函数σ(·)计算节点v的元路径表示的加权组合；至于用户-域级注意力，则是将用户自身的表示hu和用户分别在两个域上的偏好/>
Figure FDA0003955804120000042
同样以上式的方式进行特征融合，以此获得最终的用户特征表示/>
Figure FDA0003955804120000043
和/>
Figure FDA0003955804120000044
步骤八，根据下式将用户和项目自身的初始显式表示和融合后的用户和项目的隐式特征表示连接为一个向量整体，以平衡双目标推荐的结果：
Figure FDA0003955804120000045
Figure FDA0003955804120000046
其中||表示向量串联，
Figure FDA0003955804120000047
表示用户、项目最终的交互向量。然后通过多层感知器(MLP)获得用户项目预测分数，/>
Figure FDA0003955804120000048
Figure FDA0003955804120000049
神经网络模型可以在多层中使用少量隐藏单元来学习更抽象的数据特征，对MLP组件使用推荐任务中经典的塔式结构，隐藏层维度逐层减半，使用ReLU作为激活函数，sigmoid函数作为输出函数；
步骤九，优化模型参数和嵌入，使用含正负样本的交叉熵损失函数作为模型整体的损失函数：
Figure FDA00039558041200000410
其中Vneg是为正样本采样的负样本集。由此进行模型整体的训练与优化，得到最终的跨域推荐结果。
CN202211464569.4A 2022-11-22 2022-11-22 基于元路径增强的异质图神经网络的双向跨域推荐方法 Pending CN116166875A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211464569.4A CN116166875A (zh) 2022-11-22 2022-11-22 基于元路径增强的异质图神经网络的双向跨域推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211464569.4A CN116166875A (zh) 2022-11-22 2022-11-22 基于元路径增强的异质图神经网络的双向跨域推荐方法

Publications (1)

Publication Number Publication Date
CN116166875A true CN116166875A (zh) 2023-05-26

Family

ID=86412029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211464569.4A Pending CN116166875A (zh) 2022-11-22 2022-11-22 基于元路径增强的异质图神经网络的双向跨域推荐方法

Country Status (1)

Country Link
CN (1) CN116166875A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894180A (zh) * 2023-09-11 2023-10-17 南京航空航天大学 一种基于异构图注意力网络的产品制造质量预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894180A (zh) * 2023-09-11 2023-10-17 南京航空航天大学 一种基于异构图注意力网络的产品制造质量预测方法
CN116894180B (zh) * 2023-09-11 2023-11-24 南京航空航天大学 一种基于异构图注意力网络的产品制造质量预测方法

Similar Documents

Publication Publication Date Title
CN111428147B (zh) 结合社交和兴趣信息的异源图卷积网络的社交推荐方法
CN109785062A (zh) 一种基于协同过滤模型的混合神经网络推荐系统
CN113918832B (zh) 基于社交关系的图卷积协同过滤推荐系统
CN113918833B (zh) 通过社交网络关系的图卷积协同过滤实现的产品推荐方法
CN114579879B (zh) 好友推荐方法、装置、设备和存储介质
CN113486190A (zh) 一种融合实体图像信息和实体类别信息的多模态知识表示方法
Liu et al. SERGE: Successive event recommendation based on graph entropy for event-based social networks
CN113240086B (zh) 一种复杂网络链接预测方法及系统
Xiao et al. Link prediction based on feature representation and fusion
Liu et al. GNNRec: gated graph neural network for session-based social recommendation model
CN113487018A (zh) 一种基于会话推荐的全局上下文增强图神经网络方法
CN116340646A (zh) 一种基于超图基序优化多元用户表示的推荐方法
CN114971784B (zh) 一种融合自注意力机制基于图神经网络的会话推荐方法与系统
CN116166875A (zh) 基于元路径增强的异质图神经网络的双向跨域推荐方法
CN115270007A (zh) 一种基于混合图神经网络的poi推荐方法及系统
Leng et al. Dynamically aggregating individuals’ social influence and interest evolution for group recommendations
CN114637863A (zh) 一种基于传播的知识图谱推荐方法
CN115017405A (zh) 一种基于多任务自编码的图神经网络旅游包推荐方法
CN113342994B (zh) 一种基于无采样协作知识图网络的推荐系统
CN113590976A (zh) 一种空间自适应图卷积网络的推荐方法
CN113849725A (zh) 一种基于图注意力对抗网络的社会化推荐方法及系统
CN115600642B (zh) 一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法
Seo et al. A graph embedding technique for weighted graphs based on LSTM autoencoders
CN116910190A (zh) 多任务感知模型获取方法、装置、设备及可读存储介质
CN114547325B (zh) 一种概率超图驱动的地学知识图谱推理优化系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination