CN115221413B - 一种基于交互式图注意力网络的序列推荐方法及系统 - Google Patents

一种基于交互式图注意力网络的序列推荐方法及系统 Download PDF

Info

Publication number
CN115221413B
CN115221413B CN202210929033.9A CN202210929033A CN115221413B CN 115221413 B CN115221413 B CN 115221413B CN 202210929033 A CN202210929033 A CN 202210929033A CN 115221413 B CN115221413 B CN 115221413B
Authority
CN
China
Prior art keywords
node
graph
representation
vector
graphs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210929033.9A
Other languages
English (en)
Other versions
CN115221413A (zh
Inventor
陈建峡
刘琦
张姝曦
潘立纬
刘畅
余天赐
马忠宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202210929033.9A priority Critical patent/CN115221413B/zh
Publication of CN115221413A publication Critical patent/CN115221413A/zh
Application granted granted Critical
Publication of CN115221413B publication Critical patent/CN115221413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于交互式图注意力网络的序列推荐方法及系统。首先将每个用户和每个物品表示为一个属性图，通过对属性图的建模获取用户和物品的动态特征；其次，利用图注意力网络自适应地为当前节点的邻居节点分配不同的权重值参与计算，捕获潜在非交互用户的信息，实现动态学习高阶特征和新节点的表示；最后，聚合每个用户的邻居图的各种信息，并捕获相似用户的嵌入，通过信息聚合和图形匹配，获得预测的输出结果y′，有效解决了现有技术中无法动态地精确地捕获用户的喜好的技术问题，实现了能够动态地精确地向用户推荐目标物品的技术效果。

Description

一种基于交互式图注意力网络的序列推荐方法及系统
技术领域
本发明涉及推荐方法技术领域，尤其涉及一种基于交互式图注意力网络的序列推荐方法及系统。
背景技术
推荐系统，是一种以向用户呈现个性化信息为目标的过滤系统，可以提高用户体验及企业利润。利用历史数据进行预测任务，一直是许多基于机器学习的推荐系统的基石。传统的推荐系统都是以一种静态的方式建模用户和物品之间的交互并且只能捕获用户广义的喜好，而无法动态地精确地捕获用户的喜好，从而无法动态地精确地向用户推荐目标物品。
发明内容
本发明通过提供一种基于交互式图注意力网络的序列推荐方法及系统，解决了现有技术中无法动态地精确地捕获用户的喜好的技术问题，实现了能够动态地精确地向用户推荐目标物品的技术效果。
本发明提供了一种基于交互式图注意力网络的序列推荐方法，包括：
构建用户属性图和物品属性图；
将所述用户属性图中的节点特征ci和所述物品属性图中的节点特征cj通过MLP函数fm(·，·)计算，得到节点对(i,j)交互建模的输出结果wij，并将每个节点所有交互建模结果聚合得到内部传递信息wi；
单层GAT的初始节点特征表示为H＝[h1,h2,…,hN]，实现图注意力操作的节点表征表示为
Figure GDA0003804687730000011
采用注意力机制学习边的权值αij，将每个邻居节点hj对于节点hi的重要性进行建模；
节点的状态向量通过初始节点特征hi和其在最后一步的隐藏状态
Figure GDA0003804687730000021
实现门控循环神经网络GRU的更新操作，得到更新后的节点特征
Figure GDA0003804687730000022
在两个图之间进行节点匹配得到节点匹配结果sij，将来自不同图形的节点匹配结果求和得到最终两图交互的信息传递结果si；
将所述内部传递信息wi、所述最终两图交互的信息传递结果si和节点的自有信息ci通过函数ffuse融合得到融合后的节点表示c′i，将每个图的融合节点表示c′i聚合为图表示，得到最终聚合后的节点表示fG；
通过fG(·,·)函数获得所述用户属性图和所述物品属性图的向量表示
Figure GDA0003804687730000023
和
Figure GDA0003804687730000024
并在两个图形上使用点积函数f(·,·)来匹配两个图形，最终获得预测的输出结果y′。
具体来说，所述将所述用户属性图中的节点特征ci和所述物品属性图中的节点特征cj通过MLP函数fm(·，·)计算，得到节点对(i,j)交互建模的输出结果wij，并将每个节点所有交互建模结果聚合得到内部传递信息wi，包括：
通过wij＝fm(ci,cj)得到节点对(i,j)交互建模的结果wij；其中，
Figure GDA0003804687730000025
是用户对应交互建模的d维空间Rd的初始嵌入向量，
Figure GDA0003804687730000026
是物品对应交互建模的d维空间Rd的初始嵌入向量，xi是与
Figure GDA0003804687730000027
对应的值，xj是与
Figure GDA0003804687730000028
对应的值，wij是节点对(i,j)交互建模的结果；
通过
Figure GDA00038046877300000215
将每个节点对对应的所有交互建模结果聚合得到最终的内部传递信息wi；其中，Ni表示在图内包括节点i在内的邻居节点集。
具体来说，所述采用注意力机制学习边的权值αij，将每个邻居节点hj对于节点hi的重要性进行建模，包括：
通过公式
Figure GDA00038046877300000210
得到抽象的特征表示
Figure GDA00038046877300000211
其中，α使用单层的前馈神经网络实现，总的计算过程为：
Figure GDA00038046877300000212
其中，
Figure GDA00038046877300000213
是注意力函数，具体表述为：
Figure GDA00038046877300000214
Figure GDA00038046877300000320
是前馈神经网络α的参数，LeakyReLU是前馈神经网络的激活函数，R是实数集合，R2d′是2d′维的实数向量，Wh∈Rd′×d是可训练的权值矩阵，Rd′×d是d′行d列的实数矩阵；
所述节点的状态向量通过初始节点特征hi和其在最后一步的隐藏状态
Figure GDA0003804687730000031
实现门控循环神经网络GRU的更新操作，得到更新后的节点特征
Figure GDA0003804687730000032
包括：
通过公式
Figure GDA0003804687730000033
得到输出
Figure GDA0003804687730000034
其中，
Figure GDA0003804687730000035
Figure GDA0003804687730000036
rit＝σWrh+Urhit-1+br；Wz、Wr、Wh、Uz、Ur和Uh是更新函数门控递归单元的权重参数，bz、br和bh是偏置参数,
Figure GDA0003804687730000037
和
Figure GDA0003804687730000038
分别是更新门向量和复位门向量，
Figure GDA0003804687730000039
K是多头注意力头的数量，
Figure GDA00038046877300000310
是k头归一化注意力权重，||是串联操作。
具体来说，所述将所述内部传递信息wi、所述最终两图交互的信息传递结果si和节点的自有信息ci通过函数ffuse融合得到融合后的节点表示c′i，将每个图的融合节点表示c′i聚合为图表示，得到最终聚合后的节点表示fG，包括：
通过c′i＝ffuse(ci,wi,si)融合得到融合后的节点表示c′i；
通过
Figure GDA00038046877300000311
融合得到最终融合后的节点表示fG；其中，
Figure GDA00038046877300000312
是与当前图存在交互行为的另一个属性图的节点集。
具体来说，所述通过fG(·,·)函数获得所述用户属性图和所述物品属性图的向量表示
Figure GDA00038046877300000313
和
Figure GDA00038046877300000314
并在两个图形上使用点积函数f(·,·)来匹配两个图形，最终获得预测的输出结果y′，包括：
通过
Figure GDA00038046877300000315
和
Figure GDA00038046877300000316
计算得到所述用户属性图和所述物品属性图的向量表示
Figure GDA00038046877300000317
和
Figure GDA00038046877300000318
其中，GU是所述用户属性图表示,GI是所述物品属性图表示，VU是所述用户属性图的节点集,VI是所述物品属性图的节点集；
通过
Figure GDA00038046877300000319
计算得到所述预测的输出结果y′。
本发明还提供了一种基于交互式图注意力网络的序列推荐系统，包括：
属性图构建模块，用于构建用户属性图和物品属性图；
聚合模块，用于将所述用户属性图中的节点特征ci和所述物品属性图中的节点特征cj通过MLP函数fm(·，·)计算，得到节点对(i,j)交互建模的输出结果wij，并将每个节点所有交互建模结果聚合得到内部传递信息wi；
重要性建模模块，用于单层GAT的初始节点特征表示为H＝[h1,h2,…,hN]，实现图注意力操作的节点表征表示为
Figure GDA0003804687730000041
采用注意力机制学习边的权值αij，将每个邻居节点hj对于节点hi的重要性进行建模；
节点特征更新模块，用于节点的状态向量通过初始节点特征hi和其在最后一步的隐藏状态
Figure GDA0003804687730000042
实现门控循环神经网络GRU的更新操作，得到更新后的节点特征
Figure GDA0003804687730000043
求和模块，用于在两个图之间进行节点匹配得到节点匹配结果sij，将来自不同图形的节点匹配结果求和得到最终两图交互的信息传递结果si；
融合模块，用于将所述内部传递信息wi、所述最终两图交互的信息传递结果si和节点的自有信息ci通过函数ffuse融合得到融合后的节点表示c′i，将每个图的融合节点表示c′i聚合为图表示，得到最终聚合后的节点表示fG；
图形匹配模块，用于通过fG(·,·)函数获得所述用户属性图和所述物品属性图的向量表示
Figure GDA0003804687730000044
和
Figure GDA0003804687730000045
并在两个图形上使用点积函数f(·,·)来匹配两个图形，最终获得预测的输出结果y′。
具体来说，所述聚合模块，包括：
交互建模单元，用于通过wij＝fm(ci,cj)得到节点对(i,j)交互建模的结果wij；其中，
Figure GDA0003804687730000046
Figure GDA0003804687730000047
是用户对应交互建模的d维空间Rd的初始嵌入向量，
Figure GDA0003804687730000048
是物品对应交互建模的d维空间Rd的初始嵌入向量，xi是与
Figure GDA0003804687730000049
对应的值，xj是与
Figure GDA00038046877300000410
对应的值，wij是节点对(i,j)交互建模的结果；
聚合执行单元，用于通过
Figure GDA00038046877300000411
将每个节点对对应的所有交互建模结果聚合得到最终的内部传递信息wi；其中，Ni表示在图内包括节点i在内的邻居节点集。
具体来说，所述重要性建模模块，具体用于通过公式
Figure GDA0003804687730000051
得到抽象的特征表示
Figure GDA0003804687730000052
其中，α使用单层的前馈神经网络实现，总的计算过程为：
Figure GDA0003804687730000053
其中，
Figure GDA0003804687730000054
是注意力函数，具体表述为：
Figure GDA00038046877300000520
是前馈神经网络α的参数，LeakyReLU是前馈神经网络的激活函数，R是实数集合，R2d′是2d′维的实数向量，Wh∈Rd ′×d是可训练的权值矩阵，Rd′×d是d′行d列的实数矩阵；
所述节点特征更新模块，具体用于通过公式
Figure GDA0003804687730000056
Figure GDA0003804687730000057
得到输出
Figure GDA0003804687730000058
其中，
Figure GDA0003804687730000059
Figure GDA00038046877300000510
Wz、Wr、Wh、Uz、Ur和Uh是更新函数门控递归单元的权重参数，bz、br和bh是偏置参数,
Figure GDA00038046877300000511
和
Figure GDA00038046877300000512
分别是更新门向量和复位门向量，
Figure GDA00038046877300000513
K是多头注意力头的数量，
Figure GDA00038046877300000514
是k头归一化注意力权重，||是串联操作。
具体来说，所述融合模块，包括：
第一融合单元，用于通过c′i＝ffuse(ci,wi,si)融合得到融合后的节点表示c′i；
第二融合单元，用于通过
Figure GDA00038046877300000515
融合得到最终融合后的节点表示fG；其中，
Figure GDA00038046877300000516
是与当前图存在交互行为的另一个属性图的节点集。
具体来说，所述图形匹配模块，包括：
第一计算单元，用于通过
Figure GDA00038046877300000517
计算得到所述用户属性图的向量表示
Figure GDA00038046877300000518
其中，GU是所述用户属性图表示,VI是所述物品属性图的节点集；
第二计算单元，用于通过
Figure GDA00038046877300000519
计算得到所述物品属性图的向量表示
Figure GDA0003804687730000061
其中，GI是所述物品属性图表示，VU是所述用户属性图的节点集；
图形匹配执行单元，用于通过
Figure GDA0003804687730000062
计算得到所述预测的输出结果y′。
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明提出了一种基于GAT的新型自适应图交互框架模型AGIF-GAT(SequenceRecommendation Based on Interactive Graph Attention Network)，首先将每个用户和每个物品表示为一个属性图，通过对属性图的建模获取用户和物品的动态特征；其次，利用图注意力网络(GAT)自适应地为当前节点的邻居节点分配不同的权重值参与计算，捕获潜在非交互用户的信息，实现动态学习高阶特征和新节点的表示；最后，聚合每个用户的邻居图的各种信息，并捕获相似用户的嵌入(这些用户在特定时间之前评估或与同一物品进行过交互)，通过信息聚合和图形匹配，获得最终的预测输出y′，有效解决了现有技术中无法动态地精确地捕获用户的喜好的技术问题，实现了能够动态地精确地向用户推荐目标物品的技术效果。
技术效果
1)将每个用户和每个物品表示为一个属性图，并以端到端的方式分别对属性图建模，区分了用户和物品之间的交互方式，例如内部信息传递、信息传递和信息交叉交互等。
2)本发明实施例提出了一种基于GAT的新型自适应图交互框架AGIF-GAT，它可以为相邻节点分配不同的权重，从而区分每个节点的重要性并捕获相似用户的高阶结构信息。
3)本发明实施例分别聚合了三种形式的信息传递结果，考虑了多通道的信息传递因素。
4)与传统的推荐任务不同，本发明实施例中的序列推荐能够捕获用户在发展过程中的动态偏好，将用户和物品的交互建模为一个动态的序列并且利用序列的依赖性和结构性的共生关系，以及丰富的序列模式，使得用户更快速高效地根据自己的喜好过滤和定位信息。
附图说明
图1为本发明实施例提供的基于交互式图注意力网络的序列推荐方法的流程图；
图2为本发明实施例提供的基于交互式图注意力网络的序列推荐方法的原理图；
图3为本发明实施例不同数据集在不同网络层数和不同节点属性嵌入维度下的推荐精度对比曲线图；
图4为本发明实施例提供的基于交互式图注意力网络的序列推荐系统的模块图。
具体实施方式
本发明实施例通过提供一种基于交互式图注意力网络的序列推荐方法及系统，解决了现有技术中无法动态地精确地捕获用户的喜好的技术问题，实现了能够动态地精确地向用户推荐目标物品的技术效果。
本发明实施例中的技术方案为解决上述技术问题，总体思路如下：
步骤1：构建数据结构构建及属性图建模。
步骤2：节点间的内部信息传递。将步骤1中属性图中的节点特征ci,cj通过MLP函数fm(·，·)计算得到节点对(i,j)交互建模的结果wij，并将所有交互建模结果聚合得到内部传递信息wi。
步骤3：基于注意力网络的交叉信息传递。
1)单层GAT的初始节点特征可表示为H＝[h1,h2,…,hN]，实现图注意力操作的节点表征表示为
Figure GDA0003804687730000071
2)采用注意力机制学习边的权值αij，并将每个邻居节点hj对于节点hi的重要性进行建模。
3)为稳定自注意力学习的过程，GAT将上述机制扩展到采用多头注意力实现，更新表示为
Figure GDA0003804687730000081
4)节点的状态向量通过初始节点特征hi和其在最后一步的隐藏状态
Figure GDA0003804687730000082
实现门控循环神经网络GRU的更新操作，得到
Figure GDA0003804687730000083
5)在两个图之间进行节点匹配得到sij，将来自不同图形的节点匹配结果求和得到最终两图交互的信息传递结果si。
步骤4：信息融合与图形匹配。将步骤2和步骤3中得到的内部传递信息wi、两图之间的节点交互信息si与节点的自有信息ci通过函数ffuse融合得到c′i。使用元素相加的方法来聚合节点得到fG。
步骤5：通过fG(·,·)函数获得用户属性图和物品属性图的向量表示
Figure GDA0003804687730000084
和
Figure GDA0003804687730000085
并通过在两个图形上使用点积函数f(·,·)来匹配两个图形，最终获得预测的输出结果y′。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参见图1和图2，本发明实施例提供的基于交互式图注意力网络的序列推荐方法，包括：
步骤S110：构建用户属性图和物品属性图；
步骤S120：将用户属性图中的节点特征ci和物品属性图中的节点特征cj通过MLP函数fm(·，·)计算，得到节点对(i,j)交互建模的输出结果wij，并将每个节点所有交互建模结果聚合得到内部传递信息wi；
对本步骤进行具体说明，将用户属性图中的节点特征ci和物品属性图中的节点特征cj通过MLP函数fm(·，·)计算，得到节点对(i,j)交互建模的输出结果wij，并将每个节点所有交互建模结果聚合得到内部传递信息wi，包括：
通过wij＝fm(ci,cj)得到节点对(i,j)交互建模的结果wij；其中，
Figure GDA0003804687730000086
每个属性的嵌入向量
Figure GDA0003804687730000087
都被设置为一个随机向量，
Figure GDA0003804687730000088
是用户对应交互建模的d维空间Rd的初始嵌入向量，
Figure GDA0003804687730000089
是物品对应交互建模的d维空间Rd的初始嵌入向量，xi是与
Figure GDA0003804687730000091
对应的值，xj是与
Figure GDA0003804687730000092
对应的值，wij是节点对(i,j)交互建模的结果；
通过
Figure GDA0003804687730000093
将每个节点对对应的所有交互建模结果聚合得到最终的内部传递信息wi；其中，Ni表示在图内包括节点i在内的邻居节点集。
步骤S130：单层GAT的初始节点特征表示为H＝[h1,h2,…,hN]，实现图注意力操作的节点表征表示为
Figure GDA0003804687730000094
采用注意力机制学习边的权值αij，将每个邻居节点hj对于节点hi的重要性进行建模；
具体地，采用注意力机制学习边的权值αij，将每个邻居节点hj对于节点hi的重要性进行建模，包括：
通过公式
Figure GDA0003804687730000095
得到抽象的特征表示
Figure GDA0003804687730000096
其中，α使用单层的前馈神经网络实现，总的计算过程为：
Figure GDA0003804687730000097
其中，
Figure GDA0003804687730000098
是注意力函数，具体表述为：
Figure GDA0003804687730000099
Figure GDA00038046877300000920
是前馈神经网络α的参数，LeakyReLU是前馈神经网络的激活函数，R是实数集合，R2d′是2d′维的实数向量，Wh∈Rd′×d是可训练的权值矩阵，Rd′×d是d′行d列的实数矩阵。
步骤S140：节点的状态向量通过初始节点特征hi和其在最后一步的隐藏状态
Figure GDA00038046877300000910
实现门控循环神经网络GRU的更新操作，得到更新后的节点特征
Figure GDA00038046877300000911
对本步骤进行具体说明，节点的状态向量通过初始节点特征hi和其在最后一步的隐藏状态
Figure GDA00038046877300000912
实现门控循环神经网络GRU的更新操作，得到更新后的节点特征
Figure GDA00038046877300000913
包括：
通过公式
Figure GDA00038046877300000914
得到输出
Figure GDA00038046877300000915
其中，
Figure GDA00038046877300000916
Figure GDA00038046877300000917
Wz、Wr、Wh、Uz、Ur和Uh是更新函数门控递归单元的权重参数，bz、br和bh是偏置参数,
Figure GDA00038046877300000918
和
Figure GDA00038046877300000919
分别是更新门向量和复位门向量，
Figure GDA0003804687730000101
K是多头注意力头的数量，
Figure GDA0003804687730000102
是k头归一化注意力权重，||是串联操作。
步骤S150：在两个图之间进行节点匹配得到节点匹配结果sij，将来自不同图形的节点匹配结果求和得到最终两图交互的信息传递结果si；
步骤S160：将内部传递信息wi、最终两图交互的信息传递结果si和节点的自有信息ci通过函数ffuse融合得到融合后的节点表示c′i，将每个图的融合节点表示c′i聚合为图表示，得到最终聚合后的节点表示fG；
对本步骤进行具体说明，本发明实施例利用一种有效的递归神经网络模型GRU作为该融合函数ffuse参与计算，得到融合后的节点表示c′i。随后，每个图的融合节点表示c′i被聚合为图表示,使用逐元素求和方法来聚合节点表示，得到最终聚合后的节点表示fG。具体地，将内部传递信息wi、最终两图交互的信息传递结果si和节点的自有信息ci通过函数ffuse融合得到融合后的节点表示c′i，将每个图的融合节点表示c′i聚合为图表示，得到最终聚合后的节点表示fG，包括：
通过c′i＝ffuse(ci,wi,si)融合得到融合后的节点表示c′i；
通过
Figure GDA0003804687730000103
融合得到最终融合后的节点表示fG；其中，
Figure GDA0003804687730000104
是与当前图存在交互行为的另一个属性图的节点集。
步骤S170：通过fG(·,·)函数获得用户属性图和物品属性图的向量表示
Figure GDA0003804687730000105
和
Figure GDA0003804687730000106
并在两个图形上使用点积函数f(·,·)来匹配两个图形，最终获得预测的输出结果y′。
对本步骤进行具体说明，通过fG(·,·)函数获得用户属性图和物品属性图的向量表示
Figure GDA0003804687730000107
和
Figure GDA0003804687730000108
并在两个图形上使用点积函数f(·,·)来匹配两个图形，最终获得预测的输出结果y′，包括：
通过
Figure GDA0003804687730000109
和
Figure GDA00038046877300001010
计算得到用户属性图和物品属性图的向量表示
Figure GDA00038046877300001011
和
Figure GDA00038046877300001012
其中，GU,GI分别是用户属性图表示和物品属性图表示，VU是用户属性图的节点集,VI是物品属性图的节点集；
通过
Figure GDA0003804687730000111
计算得到预测的输出结果y′。
下面对本发明实施例进行更具体的说明：
步骤1：数据结构构建
对于每个训练数据(Xn,yn)，都包含在具有输入输出对的数据集D中：D＝{(Xn,yn)}1≤n≤N，yn是输出的预测值即用户点击的概率，数据样本Xn表示为：
Figure GDA0003804687730000112
当用户与物品有交互记录即记录在这个数据样本中时，Xn值为1，否则为0。其中p表示属性特征，x是其对应的值，
Figure GDA0003804687730000113
和
Figure GDA0003804687730000114
分别代表用户属性特征价值对和物品属性特征价值对，
Figure GDA0003804687730000115
分别代表用户属性的集合和物品属性的集合，J是数据集D中所有特征的索引集。
步骤2：数据结构构建
对于每个属性特征p∈JU∪JI，首先被表示为交互建模的d维空间Rd的初始嵌入向量ve，从而构建一个作为嵌入查询表的参数矩阵。对于具有相同属性p的数据样本可共享该属性的嵌入向量
Figure GDA0003804687730000116
其次，对于一个用户特征价值对(p,x)，对应的特征向量(特征价值对的表示)CU计算公式为
Figure GDA0003804687730000117
同理，物品所对应的特征向量CI被计算为
Figure GDA0003804687730000118
Figure GDA0003804687730000119
是用户对应交互建模的d维空间Rd的初始嵌入向量，
Figure GDA00038046877300001110
是物品对应交互建模的d维空间Rd的初始嵌入向量，xi是与
Figure GDA00038046877300001111
对应的不同的值，xj是与
Figure GDA00038046877300001112
对应的值。最后，利用同一数据样本中两个属性特征C1和C2的交互作用建模。当C1和C2同时出现在一个数据样本中时，说明两属性特征存在交互。具体表示为交互函数：
f(C1,C2):R2×d→Rl            (1)
其中，
Figure GDA00038046877300001113
C1和C2是在同一个数据样本中的特征价值对表示，l表示输出的维度。对于用户和物品属性特征集
Figure GDA00038046877300001114
在不同数据样本中可能不同，因此不同数据样本中指定的交互作用可能不同。并且由于每个属性都可能出现在多个数据样本中(具有不同的值)，不同数据样本中的交互信息的协作将有助于发现从未共同出现过的属性之间的交互。
步骤3：用户和物品属性图构建
对于一个数据样本N可构成一个图GN(VN,EN)：
Vertices:VN＝{vi}1≤i≤N是由N个节点组成的集合，每个节点都被初始化为相应的序列编码特征向量vi，节点的第一层状态向量可以表示为V＝(v1,…,vN)，用户(物品)序列中的每一个代表属性的节点i都表示为用户(物品)属性图的一个节点特征表示
Figure GDA0003804687730000121
因此，本发明实施例将用户、物品属性图的节点集分别表示为
Figure GDA0003804687730000122
Edges:每条边的权重反映了不同特征相互作用的重要性。E＝(e1,…,eN)，E∈RN×N表示包含节点间邻接信息的边的集合。当节点i和j之间构成一条边(即存在有益的特征互动)时，Eij＝1,否则Eij＝0。Eij表示一组边互动值，是节点间邻接信息的边的集合，节点i，j也称为邻居节点。图中的每对节点都与一条边连接，以表示两个属性之间的成对交互。通过边的交互实现用户及物品特征从邻居节点传播到当前节点的过程。
每个用户属性图和物品属性图分别表示为GU＝<VU,EU>，其中EU包含用户属性图中所有边的边集。由于考虑所有成对属性特征交互，因此用户属性图是一个完整的图。对物品属性执行相同的转换，得到物品属性图GI＝<VI,EI>，EI包含用户属性图中所有边的边集。
步骤4：节点间内部信息的传递
使用MLP对每个内部交互进行建模，然后将交互建模结果聚合为内部节点信息传递。一个MLP函数fm(·,·):R2×d→Rl，将一对用于边缘预测的节点嵌入作为输入，并输出交互建模结果，具体表示为：
wij＝fm(ci,cj)                         (2)
其中，
Figure GDA0003804687730000123
wij是节点对(i,j)交互建模的结果，然后将每个节点对对应的所有交互建模结果聚合得到最终的内部传递信息得到wi。具体表示为：
Figure GDA0003804687730000134
其中，wi∈Rd，Ni表示在图内包括节点i在内的邻居节点集。本发明实施例利用了图结构的特点通过节点间边的连接性质进行显示建模，结合非线性建模多层感知机层与层之间的全连接尽可能多的获取相关信息，从而实现节点间信息的反复传递、更新与丰富。
步骤5：基于注意力网络的交叉信息传递
利用图注意力网络(GAT)进行特征提取并对两个图之间节点匹配进行交互建模。通过GAT将其他邻域的信息特征传播给当前节点，自动确定当前节点与其邻域之间的重要性和相关性。本发明实施例采用GAT对图中节点、边及它们的交互信息一起集成到一个统一的图形交互体系结构中，并进行更新。具体实现如下：
对于具有N个节点的图，单层GAT的初始节点特征可表示为H＝[h1,h2,…,hN]，hi∈Rd作为输入，目的是得到更加抽象的特征表示
Figure GDA0003804687730000131
作为模型输出。其中，t表示节点间消息传递的次数。由于每条边上的交互重要性是不同的，因而需要实现沿边的交互，这要求每条边都有一个独特的权值和变换函数。在节点表征上实现的图注意力操作可以写成：
Figure GDA0003804687730000132
其中，Ni是图中节点i(包括i)的邻居节点集，d和d′是输入和输出维度；Wh∈Rd′×d是可训练的权值矩阵，σ代表非线性激活函数，用于使权重在不同节点之间易于比较。由于需要推断不同节点间交互的重要性，上式中的权重αij是通过注意力过程计算的，该过程模拟了每个邻居节点hj对于节点hi的重要性。具体表示为：
Figure GDA0003804687730000133
Figure GDA0003804687730000141
是一个注意力函数，具体表述为：
Figure GDA0003804687730000142
Figure GDA0003804687730000143
其中αT∈R2d′是前馈神经网络α的参数。此外，为了稳定自注意力学习的过程，GAT将上述机制扩展到采用多头注意力实现，具体表示为：
Figure GDA0003804687730000144
其中，K是多头注意力头的数量，
Figure GDA0003804687730000145
是k头归一化注意力权重，||是串联操作。最后，节点的状态向量通过初始节点特征hi和其在最后一步的隐藏状态
Figure GDA0003804687730000146
实现门控循环神经网络GRU的更新操作，得到输出
Figure GDA0003804687730000147
具体表示为：
Figure GDA0003804687730000148
详细公式化为：
Figure GDA0003804687730000149
其中，Wz、Wr、Wh、Uz、Ur和Uh是更新函数门控递归单元的权重参数，bz、br和bh是偏置参数,
Figure GDA00038046877300001410
和
Figure GDA00038046877300001411
分别是更新门向量和复位门向量。对于每个GRU单元，它在隐藏状态上应用图神经网络进行信息传播并产生下一帧的状态。
本发明实施例在一个统一的图形交互框架中对用户和物品信息源进行建模，显式的利用节点i与另一信息源节点j之间交互信息进行构建。故在两个图之间进行节点匹配可建模表示为：
Figure GDA00038046877300001412
其中，
Figure GDA00038046877300001413
代表用户图中节点i的嵌入特征且
Figure GDA00038046877300001414
代表物品图中节点j的嵌入特征且
Figure GDA00038046877300001415
sij代表来自不同图形的两个节点的节点匹配结果，⊙表示各元素对应相乘操作。与节点内部信息传递相似，将来自不同图形的节点匹配结果求和得到最终两图交互的信息传递结果si：
Figure GDA00038046877300001416
为了融合图中各节点的自有信息ci、内部关联信息wi以及两图之间的节点交互信息si，本发明实施例使用融合函数ffuse∈R3×d→Rd，使各部分信息整合在一起。将输入信息通过GRU根据聚合的信息和历史信息更新其节点状态，获得c′i＝ffuse(ci,wi,si)。使用元素相加的方法来聚合节点，从而将每个图的融合节点表示聚合为图表示。具体公式表达为fG:
Figure GDA0003804687730000151
在进行图匹配时，本发明实施例通过fG(·,·)函数获到用户属性图和物品属性图的向量表示：
Figure GDA0003804687730000152
并通过在两个图形上使用点积函数fmatch来匹配两个图形，以获得预测的输出结果
Figure GDA0003804687730000153
训练
在训练时，本发明实施例使用L2准则来规范模型的所有参数。因此，损失函数表示为：
Figure GDA0003804687730000154
其中，FDIGAT是本发明实施例中的预测函数，输出为y′，λ为正则化的权重系数，
Figure GDA0003804687730000155
为二元交叉熵损失函数，θ包含了模型的所有参数，而θ*是最终的参数代表。
本发明实施例的相关实验基于Python 3.7及以上版本和Pytorch 1.6.0或更高版本,运行环境版本需Anaconda 3-2020.02及以上。
主要的数据包包括cuda v10.1、cudnn 10.1、pytorch v1.6.0、torch-scatter、torch-sparse、torch-cluster、torch-spline-conv、torch-geometric＝＝1.4.3、pandas＝＝1.1.2、scikit-learn＝＝0.23.2、icecream＝＝2.1.0等。
1.数据描述
本发明实施例在三个公开数据集上进行了实验，分别是：电影评分数据集(MovieLens 1M)、图书评分数据集(Bookcrossing)和淘宝数据集(Taobao)。
(1)电影评分数据集：是一组电影评分数据，包含电影数据、用户数据等。本发明实施例通过将评分标记为0或1将来自该数据集的显示反馈转换为隐式数据，定义用户是否对物品进行评分。每个数据实例都是一个图，节点是用户ID或电影ID，边表示节点和底层特征之间的关系。
(2)图书评分数据集：包含用户对书籍的隐式和显式评分。每个数据样本包括用户、书籍及其属性，例如书名、书名、作者等。
(3)淘宝数据集：该数据集包含有关淘宝在页面上显示的广告点击的数据。每一个数据样本都包含一个特定的用户，对应的属性有性别、年龄、地区等，还有一个可区分的广告信息，如广告物品类别、代言人、品牌等。如果用户与广告之间发生了点击事件，则意味着表示有物品交互，点击事件标记为1，否则为0。
2.评价指标
本发明实施例采用二元交叉熵作为损失函数，可以很好地衡量模型训练后真实数据与预测数据的相似度。由于是非负的且权重更新仅受误差影响(误差率与权重更新成正比)，因此使用sigmoid函数可以很好地避免均方误差损失的学习率降低的问题梯度下降过程中的函数。在本发明实施例中，每个数据集以6:2:2的比例随机分为训练集、验证集和测试集。使用Adam结合一阶动量和二阶动量来自动调整参数的学习率，即自适应动量的随机优化方法优化函数，并使用曲线下面积(AUC)和归一化折损累计增益(NDCG@k，@k表示如果在模型的预测结果中,前k个最高概率的类中有真值,就认为模型预测成功)作为评估指标来评估本发明实施例的模型和基线模型的性能。评价指标与模型性能成正比，评价指标越高，性能越好。
3.参数设置
具体的超参数设置如表1所示。
表1模型的超参数
Figure GDA0003804687730000161
Figure GDA0003804687730000171
4.与其他模型比较的实验结果
为了证明本发明实施例提出的方法的有效性，本发明实施例与以下的方法进行了对比，且实验结果如表2所示。
(1)FM：使用点乘法来计算和建模每个特征的交互，对稀疏数据有很好的学习能力。
(2)NFM：一种串行架构，将FM与神经网络相结合，以提高FM捕获特征之间多阶交互信息的能力，使用MLP代替FM的点乘方法。
(3)AutoInt：将原始稀疏高维特征向量映射到低维空间，使用多头自注意神经网络对特征交互进行显式建模。
(4)Fi-GNN：每个特征图由数据样本组成，图中每个节点代表一个特征场，采用多头自注意力方法建模。
(5)NGCF：一种基于图的CF方法，广泛遵循标准GCN，在消息传递过程中将二阶特征交互编码到消息中，并在用户-物品交互上利用三层GNN网络，旨在对邻域进行建模最多三个订单的信息。
(6)GMCF：一种基于图的CF方法，它使用交互建模的MLP结构进行模型内部交互建模，分别构建用户和物品属性图。
(7)KGAT：基于协作知识图的建模，使用图卷积的形式递归挖掘高阶连通性信息并将实体的初始表示向外传播以运行实体以获得隐式反馈，例如邻域信息。
5.实验结果分析
实验结果表明本发明实施例AGIF-GAT相比电影数据集更好地提高了书籍和淘宝的性能，这表明AGIF-GAT可以很好地处理稀疏数据。FM模型效果最差，因为仅使用点积计算不足以有效捕捉信息特征；NFM受FM启发，使用MLP代替点乘，实验效果较FM结果有明显提升，证明了MLP计算方法的有效性；AutoInt和Fi-GNN模型结合多头自注意力神经网络对属性特征进行建模，有效提高了模型捕捉特征间多阶交互信息的能力。实验结果表明，本发明实施例可以有效提高模型的准确率和表达能力。
表2与基线比较的结果总结
Figure GDA0003804687730000181
6.节点维度和网络层研究
本发明实施例尝试使用不同数量的网络层和不同维度的节点表示来评估所提出的AGIF-GAT的性能。图3使用折线图反馈AGIF-GAT模型在节点表示维度64、128和256上的推荐准确度。不同数量的网络层(单层GAT、双层GAT、三层GAT)推荐结果。在图3中可以清楚地观察到，当节点维数为128时，模型达到了最佳性能。低维可能会出现参数不足等问题，而高维则需要拟合更多的参数，这可能会导致过拟合等其他问题。表示模型需要匹配适当的节点尺寸以获得最佳性能。此外，该模型并没有随着GAT网络层数的加深而取得更好的性能，还可能存在过拟合问题。也说明单层GAT足以满足节点间交叉交互的信息传递需求。
参见图4，本发明实施例提供的基于交互式图注意力网络的序列推荐系统，包括：
属性图构建模块100，用于构建用户属性图和物品属性图；
聚合模块200，用于将用户属性图中的节点特征ci和物品属性图中的节点特征cj通过MLP函数fm(·，·)计算，得到节点对(i,j)交互建模的输出结果wij，并将每个节点所有交互建模结果聚合得到内部传递信息wi；
具体地，聚合模块200，包括：
交互建模单元，用于通过wij＝fm(ci,cj)得到节点对(i,j)交互建模的结果wij；其中，
Figure GDA0003804687730000191
Figure GDA0003804687730000192
每个属性的嵌入向量
Figure GDA0003804687730000193
都被设置为一个随机向量，
Figure GDA0003804687730000194
是用户对应交互建模的d维空间Rd的初始嵌入向量，
Figure GDA0003804687730000195
是物品对应交互建模的d维空间Rd的初始嵌入向量，xi是与
Figure GDA0003804687730000196
对应的值，xj是与
Figure GDA0003804687730000197
对应的值，wij是节点对(i,j)交互建模的结果；
聚合执行单元，用于通过
Figure GDA0003804687730000198
将每个节点对对应的所有交互建模结果聚合得到最终的内部传递信息wi；其中，Ni表示在图内包括节点i在内的邻居节点集。
重要性建模模块300，用于单层GAT的初始节点特征表示为H＝[h1,h2,…,hN]，实现图注意力操作的节点表征表示为
Figure GDA0003804687730000199
采用注意力机制学习边的权值αij，将每个邻居节点hj对于节点hi的重要性进行建模；
具体地，重要性建模模块300，具体用于通过公式
Figure GDA00038046877300001910
得到抽象的特征表示
Figure GDA00038046877300001911
其中，α使用单层的前馈神经网络实现，总的计算过程为：
Figure GDA00038046877300001912
其中，
Figure GDA00038046877300001913
是注意力函数，具体表述为：
Figure GDA00038046877300001914
αT∈R2d′是前馈神经网络α的参数，LeakyReLU是前馈神经网络的激活函数，R是实数集合，R2d′是2d′维的实数向量，Wh∈Rd′×d是可训练的权值矩阵，Rd′×d是d′行d列的实数矩阵。
节点特征更新模块400，用于节点的状态向量通过初始节点特征hi和其在最后一步的隐藏状态
Figure GDA00038046877300001915
实现门控循环神经网络GRU的更新操作，得到更新后的节点特征
Figure GDA00038046877300001916
具体地，节点特征更新模块400，具体用于通过公式
Figure GDA0003804687730000201
Figure GDA0003804687730000202
得到输出
Figure GDA0003804687730000203
其中，
Figure GDA0003804687730000204
Figure GDA0003804687730000205
Wz、Wr、Wh、Uz、Ur和Uh是更新函数门控递归单元的权重参数，bz、br和bh是偏置参数,
Figure GDA0003804687730000206
和
Figure GDA0003804687730000207
分别是更新门向量和复位门向量，
Figure GDA0003804687730000208
K是多头注意力头的数量，
Figure GDA0003804687730000209
是k头归一化注意力权重，||是串联操作。
求和模块500，用于在两个图之间进行节点匹配得到节点匹配结果sij，将来自不同图形的节点匹配结果求和得到最终两图交互的信息传递结果si；
融合模块600，用于将内部传递信息wi、最终两图交互的信息传递结果si和节点的自有信息ci通过函数ffuse融合得到融合后的节点表示c′i，将每个图的融合节点表示c′i聚合为图表示，得到最终聚合后的节点表示fG；
本发明实施例利用一种有效的递归神经网络模型GRU作为该融合函数ffuse参与计算，得到融合后的节点表示c′i。随后，每个图的融合节点表示c′i被聚合为图表示,使用逐元素求和方法来聚合节点表示，得到最终聚合后的节点表示fG。具体地，融合模块600，包括：
第一融合单元，用于通过c′i＝ffuse(ci,wi,si)融合得到融合后的节点表示c′i；
第二融合单元，用于通过
Figure GDA00038046877300002010
融合得到最终融合后的节点表示fG；其中，
Figure GDA00038046877300002011
是与当前图存在交互行为的另一个属性图的节点集。
图形匹配模块700，用于通过fG(·,·)函数获得用户属性图和物品属性图的向量表示
Figure GDA00038046877300002012
和
Figure GDA00038046877300002013
并在两个图形上使用点积函数f(·,·)来匹配两个图形，最终获得预测的输出结果y′。
具体地，图形匹配模块700，包括：
第一计算单元，用于通过
Figure GDA00038046877300002014
计算得到用户属性图的向量表示
Figure GDA00038046877300002015
其中，GU是用户属性图表示,VI是物品属性图的节点集；
第二计算单元，用于通过
Figure GDA0003804687730000211
计算得到物品属性图的向量表示
Figure GDA0003804687730000212
其中，GI是物品属性图表示，VU是用户属性图的节点集；
图形匹配执行单元，用于通过
Figure GDA0003804687730000213
计算得到预测的输出结果y′。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于交互式图注意力网络的序列推荐方法，其特征在于，包括：
构建用户属性图和物品属性图；
将所述用户属性图中的节点特征ci和所述物品属性图中的节点特征cj通过MLP函数fm(·，·)计算，得到节点对(i，j)交互建模的输出结果wij，并将每个节点所有交互建模结果聚合得到内部传递信息wi；
具体地，所述将所述用户属性图中的节点特征ci和所述物品属性图中的节点特征cj通过MLP函数fm(·，·)计算，得到节点对(i，j)交互建模的输出结果wij，并将每个节点所有交互建模结果聚合得到内部传递信息wi，包括：
通过wij＝fm(ci，cj)得到节点对(i，j)交互建模的结果wij；其中，
Figure FDA0004104236500000011
Figure FDA0004104236500000012
Figure FDA0004104236500000013
是用户对应交互建模的d维空间Rd的初始嵌入向量，
Figure FDA0004104236500000014
是物品对应交互建模的d维空间Rd的初始嵌入向量，xi是与
Figure FDA0004104236500000015
对应的值，xj是与
Figure FDA0004104236500000016
对应的值，wij是节点对(i，j)交互建模的结果；
通过
Figure FDA0004104236500000017
将每个节点对对应的所有交互建模结果聚合得到最终的内部传递信息wi；其中，Ni表示在图内包括节点i在内的邻居节点集；
单层GAT的初始节点特征表示为H＝[h1，h2，...，hN]，实现图注意力操作的节点表征表示为
Figure FDA0004104236500000018
采用注意力机制学习边的权值αij，将每个邻居节点hj对于节点hi的重要性进行建模；
节点的状态向量通过初始节点特征hi和其在最后一步的隐藏状态
Figure FDA0004104236500000019
实现门控循环神经网络GRU的更新操作，得到更新后的节点特征
Figure FDA00041042365000000110
在两个图之间进行节点匹配得到节点匹配结果sij，将来自不同图形的节点匹配结果求和得到最终两图交互的信息传递结果si；
将所述内部传递信息wi、所述最终两图交互的信息传递结果si和节点的自有信息ci通过函数ffuse融合得到融合后的节点表示c’i，将每个图的融合节点表示c′i聚合为图表示，得到最终聚合后的节点表示fG；
通过fG(·，·)函数获得所述用户属性图和所述物品属性图的向量表示
Figure FDA0004104236500000021
和
Figure FDA0004104236500000022
并在两个图形上使用点积函数f(·，·)来匹配两个图形，最终获得预测的输出结果y′；
具体地，所述通过fG(·，·)函数获得所述用户属性图和所述物品属性图的向量表示
Figure FDA0004104236500000023
和
Figure FDA0004104236500000024
并在两个图形上使用点积函数f(·，·)来匹配两个图形，最终获得预测的输出结果y’，包括：
通过
Figure FDA0004104236500000025
和
Figure FDA0004104236500000026
计算得到所述用户属性图和所述物品属性图的向量表示
Figure FDA0004104236500000027
和
Figure FDA0004104236500000028
其中，GU是所述用户属性图表示，GI是所述物品属性图表示，VU是所述用户属性图的节点集，VI是所述物品属性图的节点集；
通过
Figure FDA0004104236500000029
计算得到所述预测的输出结果y’。
2.如权利要求1所述的方法，其特征在于，所述采用注意力机制学习边的权值αij，将每个邻居节点hj对于节点hi的重要性进行建模，包括：
通过公式
Figure FDA00041042365000000210
得到抽象的特征表示
Figure FDA00041042365000000211
其中，α使用单层的前馈神经网络实现，总的计算过程为：
Figure FDA00041042365000000212
其中，
Figure FDA00041042365000000213
是注意力函数，具体表述为：
Figure FDA00041042365000000214
αT∈R2d′是前馈神经网络α的参数，LeakyReLU是前馈神经网络的激活函数，R是实数集合，R2d’是2d’维的实数向量，Wh∈Rd′×d是可训练的权值矩阵，Rd′×d是d′行d列的实数矩阵；
所述节点的状态向量通过初始节点特征hi和其在最后一步的隐藏状态
Figure FDA00041042365000000215
实现门控循环神经网络GRU的更新操作，得到更新后的节点特征
Figure FDA00041042365000000216
包括：
通过公式
Figure FDA00041042365000000217
得到输出
Figure FDA00041042365000000218
其中，
Figure FDA00041042365000000219
Figure FDA0004104236500000031
Wz、Wr、Wh、Uz、Ur和Uh是更新函数门控递归单元的权重参数，bz、br和bh是偏置参数，
Figure FDA0004104236500000032
和
Figure FDA0004104236500000033
分别是更新门向量和复位门向量，
Figure FDA0004104236500000034
K是多头注意力头的数量，
Figure FDA0004104236500000035
是k头归一化注意力权重，||是串联操作。
3.如权利要求1所述的方法，其特征在于，所述将所述内部传递信息wi、所述最终两图交互的信息传递结果si和节点的自有信息ci通过函数ffuse融合得到融合后的节点表示c’i，将每个图的融合节点表示c′i聚合为图表示，得到最终聚合后的节点表示fG，包括：
通过c′i＝ffuse(ci，wi，si)融合得到融合后的节点表示c′i；
通过
Figure FDA0004104236500000036
融合得到最终融合后的节点表示fG；其中，
Figure FDA0004104236500000037
是与当前图存在交互行为的另一个属性图的节点集。
4.一种基于交互式图注意力网络的序列推荐系统，其特征在于，包括：
属性图构建模块，用于构建用户属性图和物品属性图；
聚合模块，用于将所述用户属性图中的节点特征ci和所述物品属性图中的节点特征Cj通过MLP函数fm(·，·)计算，得到节点对(i，j)交互建模的输出结果wij，并将每个节点所有交互建模结果聚合得到内部传递信息wi；
具体地，所述聚合模块，包括：
交互建模单元，用于通过wij＝fm(ci，cj)得到节点对(i，j)交互建模的结果wij；其中，
Figure FDA0004104236500000038
Figure FDA0004104236500000039
是用户对应交互建模的d维空间Rd的初始嵌入向量，
Figure FDA00041042365000000310
是物品对应交互建模的d维空间Rd的初始嵌入向量，xi是与
Figure FDA00041042365000000311
对应的值，xj是与
Figure FDA00041042365000000312
对应的值，wij是节点对(i，j)交互建模的结果；
聚合执行单元，用于通过
Figure FDA00041042365000000313
将每个节点对对应的所有交互建模结果聚合得到最终的内部传递信息wi；其中，Ni表示在图内包括节点i在内的邻居节点集；
重要性建模模块，用于单层GAT的初始节点特征表示为H＝[h1，h2，...，hN]，实现图注意力操作的节点表征表示为
Figure FDA0004104236500000041
采用注意力机制学习边的权值αij，将每个邻居节点hj对于节点hi的重要性进行建模；
节点特征更新模块，用于节点的状态向量通过初始节点特征hi和其在最后一步的隐藏状态
Figure FDA0004104236500000042
实现门控循环神经网络GRU的更新操作，得到更新后的节点特征
Figure FDA0004104236500000043
求和模块，用于在两个图之间进行节点匹配得到节点匹配结果sij，将来自不同图形的节点匹配结果求和得到最终两图交互的信息传递结果si；
融合模块，用于将所述内部传递信息wi、所述最终两图交互的信息传递结果si和节点的自有信息ci通过函数ffuse融合得到融合后的节点表示c’i，将每个图的融合节点表示c′i聚合为图表示，得到最终聚合后的节点表示fG；
图形匹配模块，用于通过fG(·，·)函数获得所述用户属性图和所述物品属性图的向量表示
Figure FDA0004104236500000044
和
Figure FDA0004104236500000045
并在两个图形上使用点积函数f(·，·)来匹配两个图形，最终获得预测的输出结果y’；
具体地，所述图形匹配模块，包括：
第一计算单元，用于通过
Figure FDA0004104236500000046
计算得到所述用户属性图的向量表示
Figure FDA0004104236500000047
其中，GU是所述用户属性图表示，VI是所述物品属性图的节点集；
第二计算单元，用于通过
Figure FDA0004104236500000048
计算得到所述物品属性图的向量表示
Figure FDA0004104236500000049
其中，GI是所述物品属性图表示，VU是所述用户属性图的节点集；
图形匹配执行单元，用于通过
Figure FDA00041042365000000410
计算得到所述预测的输出结果y’。
5.如权利要求4所述的系统，其特征在于，所述重要性建模模块，具体用于通过公式
Figure FDA00041042365000000411
得到抽象的特征表示
Figure FDA00041042365000000412
其中，α使用单层的前馈神经网络实现，总的计算过程为：
Figure FDA00041042365000000413
其中，
Figure FDA00041042365000000414
是注意力函数，具体表述为：
Figure FDA00041042365000000415
αT∈R2d′是前馈神经网络α的参数，LeakyReLU是前馈神经网络的激活函数，R是实数集合，R2d′是2d′维的实数向量，Wh∈Rd′×d是可训练的权值矩阵，Rd′×d是d′行d列的实数矩阵；
所述节点特征更新模块，具体用于通过公式
Figure FDA0004104236500000051
，得到输出
Figure FDA0004104236500000052
其中，
Figure FDA0004104236500000053
Figure FDA0004104236500000054
Wz、Wr、Wh、Uz、Ur和Uh是更新函数门控递归单元的权重参数，bz、br和bh是偏置参数，
Figure FDA0004104236500000055
和
Figure FDA0004104236500000056
分别是更新门向量和复位门向量，
Figure FDA0004104236500000057
K是多头注意力头的数量，
Figure FDA0004104236500000058
是k头归一化注意力权重，||是串联操作。
6.如权利要求4所述的系统，其特征在于，所述融合模块，包括：
第一融合单元，用于通过c′i＝ffuse(ci，wi，si)融合得到融合后的节点表示c’i；
第二融合单元，用于通过
Figure FDA0004104236500000059
融合得到最终融合后的节点表示fG；其中，
Figure FDA00041042365000000510
是与当前图存在交互行为的另一个属性图的节点集。
CN202210929033.9A 2022-08-03 2022-08-03 一种基于交互式图注意力网络的序列推荐方法及系统 Active CN115221413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210929033.9A CN115221413B (zh) 2022-08-03 2022-08-03 一种基于交互式图注意力网络的序列推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210929033.9A CN115221413B (zh) 2022-08-03 2022-08-03 一种基于交互式图注意力网络的序列推荐方法及系统

Publications (2)

Publication Number Publication Date
CN115221413A CN115221413A (zh) 2022-10-21
CN115221413B true CN115221413B (zh) 2023-04-14

Family

ID=83615191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210929033.9A Active CN115221413B (zh) 2022-08-03 2022-08-03 一种基于交互式图注意力网络的序列推荐方法及系统

Country Status (1)

Country Link
CN (1) CN115221413B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610950B (zh) * 2020-12-04 2023-11-07 中山大学 一种图网络节点表示方法
CN116992099B (zh) * 2023-09-27 2024-01-12 湖北工业大学 一种基于交互选择的图神经网络推荐方法、系统及终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782765A (zh) * 2020-06-24 2020-10-16 安徽农业大学 一种基于图注意力机制的推荐方法
CN112084407B (zh) * 2020-09-08 2024-03-12 辽宁工程技术大学 一种融合图神经网络和注意力机制的协同过滤推荐方法
CN112148975A (zh) * 2020-09-21 2020-12-29 北京百度网讯科技有限公司 会话推荐方法、装置及设备
CN112256980A (zh) * 2020-10-23 2021-01-22 辽宁工程技术大学 一种基于动态图注意力网络的多关系协同过滤推荐
CN112905900B (zh) * 2021-04-02 2023-11-17 辽宁工程技术大学 基于图卷积注意力机制的协同过滤推荐方法
CN114048331A (zh) * 2021-12-01 2022-02-15 浙江师范大学 一种基于改进型kgat模型的知识图谱推荐方法及系统
CN114579852A (zh) * 2022-02-28 2022-06-03 北京工业大学 一种基于图卷积网络与注意力机制的推荐方法

Also Published As

Publication number Publication date
CN115221413A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
Yang et al. HAGERec: Hierarchical attention graph convolutional network incorporating knowledge graph for explainable recommendation
CN115221413B (zh) 一种基于交互式图注意力网络的序列推荐方法及系统
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
Mongia et al. Deep latent factor model for collaborative filtering
CN110347932B (zh) 一种基于深度学习的跨网络用户对齐方法
Wan et al. Deep matrix factorization for trust-aware recommendation in social networks
CN110619081A (zh) 一种基于交互图神经网络的新闻推送方法
Jiang et al. Enhancing social recommendation via two-level graph attentional networks
CN111881350A (zh) 一种基于混合图结构化建模的推荐方法与系统
CN111881363A (zh) 一种基于图交互网络的推荐方法
Bianchini et al. Deep learning in science
Liu et al. Non-linear cross-domain collaborative filtering via hyper-structure transfer
CN116431914A (zh) 一种基于个性化偏好转移模型的跨域推荐方法及系统
Hu et al. Learning peer recommendation using attention-driven CNN with interaction tripartite graph
CN112784118A (zh) 一种对三角形结构敏感的图中的社区发现方法和装置
Yu et al. Collaborative group embedding and decision aggregation based on attentive influence of individual members: A group recommendation perspective
Chen et al. Integrating User-Group relationships under interest similarity constraints for social recommendation
Zhou et al. Unsupervised multiple network alignment with multinominal gan and variational inference
Wang et al. Who are the best adopters? User selection model for free trial item promotion
Wu et al. Heterogeneous representation learning and matching for few-shot relation prediction
Bourhim et al. A community-driven deep collaborative approach for recommender systems
Mendelevitch et al. Practical Data Science with Hadoop and Spark: Designing and Building Effective Analytics at Scale
Chang et al. GraphRR: A multiplex Graph based Reciprocal friend Recommender system with applications on online gaming service
Sangeetha et al. Predicting personalized recommendations using GNN
CN115599990A (zh) 一种知识感知结合深度强化学习的跨域推荐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant