CN111949892B - 一种多关系感知的时态交互网络预测方法 - Google Patents

一种多关系感知的时态交互网络预测方法 Download PDF

Info

Publication number
CN111949892B
CN111949892B CN202010797094.5A CN202010797094A CN111949892B CN 111949892 B CN111949892 B CN 111949892B CN 202010797094 A CN202010797094 A CN 202010797094A CN 111949892 B CN111949892 B CN 111949892B
Authority
CN
China
Prior art keywords
interaction
relationship
representation
neighbor
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010797094.5A
Other languages
English (en)
Other versions
CN111949892A (zh
Inventor
陈岭
余珊珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010797094.5A priority Critical patent/CN111949892B/zh
Publication of CN111949892A publication Critical patent/CN111949892A/zh
Application granted granted Critical
Publication of CN111949892B publication Critical patent/CN111949892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多关系感知的时态交互网络预测方法，包括：(1)将时态交互网络中的交互作为样本；(2)按交互发生时间依次处理每个交互，基于历史交互信息挖掘与交互节点之间存在历史交互关系、共同交互关系和交互序列相似关系的节点，为交互节点构建当前交互前的局部关系图；(3)根据用户上一次交互后的表示以及通过层次化多关系感知聚合得到的用户基于邻居的表示预测当前交互前物品的表示；(4)根据交互节点上一次交互后的表示、上一次交互和当前交互的时间间隔以及基于邻居的表示来更新交互节点的表示；(5)对时态交互网络预测模型进行训练后，利用参数调优后的时态交互网络预测模型预测用户可能会发生交互的物品。

Description

一种多关系感知的时态交互网络预测方法
技术领域
本发明涉及时态交互网络预测领域，具体涉及一种多关系感知的时态交互网络预测方法。
背景技术
在现实生活许多领域中，例如电子商务(顾客购买商品)、教育平台(学生参加慕课教程)和社交网络平台(用户在社区中发布帖子)，用户会在不同时间和不同物品发生交互，用户和物品之间的交互形成了时态交互网络。与静态交互网络相比，时态交互网络增加了对交互时间的关注。时态交互网络预测指在交互发生前预测用户会和哪个物品进行交互，对于商品推荐、课程推荐、社区推荐等任务具有重要意义。
现有基于时态交互网络的预测方法包括两类，一类是不基于图结构的预测方法，另一类是基于图结构的预测方法。不基于图结构的预测方法是指不以图结构而以矩阵或序列等其他形式表示用户和物品之间的交互，可以分为基于隐语义模型的预测方法和基于序列模型的预测方法。基于隐语义模型的预测方法在传统隐语义模型的基础上引入时间信息来建模用户兴趣和物品属性的变化，得到用户和物品的表示从而进行预测。然而，这类工作没有考虑用户和物品之间发生交互的顺序。在时态交互网络中往往存在着丰富的序列信息，为了利用这些信息，许多基于序列模型的预测方法被提出，然而，这些方法都利用物品静态的表示作为输入来更新用户的表示，忽略了物品的当前状态信息。此外，这些方法大部分只考虑了用户兴趣的动态变化，忽略了物品属性的动态变化。
为了挖掘到用户和物品交互中更加丰富的信息，许多基于图结构的预测方法被提出。传统基于图结构的预测方法虽然将时间段作为图中节点，但其本质上还是静态图，无法很好建模用户和物品属性的动态性。为了解决这一问题，许多基于时态交互网络嵌入的预测方法被提出。基于时态交互网络嵌入的预测方法对时态交互网络进行嵌入得到用户和物品的表示从而进行预测。根据嵌入时是否聚合邻居信息，基于时态交互网络嵌入的预测方法可分为不考虑邻居信息的预测方法和考虑邻居信息的预测方法。不考虑邻居信息的预测方法虽然建模了交互节点的属性变化，但忽略了邻居信息的影响。现有的考虑邻居信息的预测方法考虑邻居信息时，只将具有历史交互关系的节点作为邻居节点，忽略了历史交互信息中的其他关系类型(共同交互关系、交互序列相似关系等)。
发明内容
鉴于上述，本发明提供了一种多关系感知的时态交互网络预测方法，通过有效利用邻居信息提升时态交互网络预测的准确性。
本发明的技术方案为：
一种多关系感知的时态交互网络预测方法，包括以下步骤：
(1)以用户ui和物品vj在时刻t发生的交互(ui,vj,t)作为一个样本构建训练数据集，并对训练数据集进行分批；
(2)对于交互(ui,vj,t)，基于历史交互信息挖掘与交互节点之间存在历史交互关系、共同交互关系和交互序列相似关系的节点，为交互节点ui和vj构建当前交互前的局部关系图
Figure BDA0002626046320000021
和
Figure BDA0002626046320000022
(3)根据局部关系图
Figure BDA0002626046320000023
和
Figure BDA0002626046320000024
通过层次化多关系感知聚合得到用户ui基于邻居的表示
Figure BDA0002626046320000031
和物品vj基于邻居的表示
Figure BDA0002626046320000032
(4)根据用户ui上一次交互后的表示
Figure BDA0002626046320000033
和用户ui基于邻居的表示
Figure BDA0002626046320000034
利用全连接层计算当前交互前物品vj预测的表示
Figure BDA0002626046320000035
(5)根据用户ui和物品vj上一次交互后的表示
Figure BDA0002626046320000036
和
Figure BDA0002626046320000037
上一次交互和当前交互的时间间隔
Figure BDA0002626046320000038
和
Figure BDA0002626046320000039
以及基于邻居的表示
Figure BDA00026260463200000310
和
Figure BDA00026260463200000311
利用两个循环神经网络层分别计算用户ui和物品vj当前交互后的表示
Figure BDA00026260463200000312
和
Figure BDA00026260463200000313
(6)根据当前交互前物品vj预测的表示
Figure BDA00026260463200000314
和真实的表示
Figure BDA00026260463200000315
之间的误差、用户ui正则化损失和物品vj正则化损失，计算整体损失
Figure BDA00026260463200000316
根据批次中所有样本的损失
Figure BDA00026260463200000317
对时态交互网络预测模型中的网络参数进行调整，直到所有批次都参与了模型训练，所述时态交互网络预测模型包括步骤(2)～(6)用到的所有全连接层和循环神经网络层；
(7)利用参数调优后的时态交互网络预测模型预测用户可能会发生交互的物品。
本发明基于历史交互信息挖掘节点之间的多关系，为交互节点构建当前交互前的局部关系图，通过层次化多关系感知聚合来考虑邻居节点根据不同关系类型传播过来的交互影响。与现有方法相比，其优点在于：
1)基于历史交互信息挖掘与交互节点之间存在历史交互关系、共同交互关系和交互序列相似关系的节点，为交互节点构建当前交互前的局部关系图，通过层次化多关系感知聚合得到交互节点基于邻居的表示来预测物品的表示以及更新交互节点的表示，考虑了节点之间的多关系，有效利用邻居信息，从而提升时态交互网络预测的准确性；
2)引入带注意力层的图神经网络，根据邻居节点传播过来的交互影响和节点之间的关系类型为邻居节点赋予相应权重，层次化地聚合根据不同关系类型传播过来的交互影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的多关系感知的时态交互网络预测方法整体流程图；
图2是实施例提供的多关系感知的时态交互网络预测方法整体框架图；
图3是实施例提供的层次化多关系感知聚合示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是实施例提供的多关系感知的时态交互网络预测方法整体流程图。图2是实施例提供的多关系感知的时态交互网络预测方法整体框架图。如图1和图2所示，实施例提供的多关系感知的时态交互网络预测方法包括以下步骤：
步骤1，输入时态交互网络
Figure BDA0002626046320000041
表示按时间排序的N个交互，i为交互的索引，将每个交互s作为样本得到训练数据集，其中s＝(u,v,t)表示用户
Figure BDA0002626046320000042
和物品
Figure BDA0002626046320000043
在
Figure BDA0002626046320000044
时刻发生的交互，
Figure BDA0002626046320000045
和
Figure BDA0002626046320000046
分别为用户集合、物品集合和交互时间集合。将训练数据集按照t-n-Batch算法进行分批，批次总数为C。
实施例中，利用t-n-Batch算法对训练数据集进行分批，使同一个批次中的交互可以并行处理，并且按批次的索引顺序处理所有批次时可以保持交互之间的时间依赖。
利用t-n-Batch算法对训练数据集进行分批的过程为：
首先，初始化N个空批次，然后遍历训练数据集，将每个交互划分到相应的批次中。令lastU和lastV分别记录用户和物品所在批次的最大索引。以交互(ui,vj,t)为例，lastU[ui]表示用户ui所在批次的最大索引，即索引为lastU[ui]的批次中的交互涉及到用户ui，且该批次为涉及到该用户的批次中索引最大的。同理lastV[vj]表示物品vj所在批次的最大索引，idxN为用户ui和物品vj的所有邻居节点所在batch的最大索引。由于每个节点在一个批次中最多只能出现一次，并且每个节点的第i个和第i+1个交互需要分别被划分到第k个批次Bk和第l个批次Bl，其中k<l，因此交互(ui,vj,t)会被划分到索引为max(lastU[ui],lastV[vj],idxN)+1的批次。批次划分结束后，去掉多余的空批次，剩余批次总数为C。
步骤2，从训练数据集中顺序选取索引为k的一批训练样本，其中k∈{1,2,…,C}。对该批次中的每一个训练样本，进行步骤3-7。
步骤3，对于交互(ui,vj,t)，基于历史交互信息挖掘与交互节点之间存在历史交互关系、共同交互关系和交互序列相似关系的节点，为交互节点ui和vj构建当前交互前的局部关系图
Figure BDA0002626046320000051
和
Figure BDA0002626046320000052
本实施例中，以节点ni为例，局部关系图
Figure BDA0002626046320000053
其中
Figure BDA0002626046320000054
和
Figure BDA0002626046320000055
分别表示与节点ni相关的节点集合、边集合、关系类型集合和关系属性集合。边e定义为三元组
Figure BDA0002626046320000058
表示节点ni与节点nj之间存在关系，关系类型为
Figure BDA0002626046320000056
包括历史交互关系、共同交互关系和交互序列相似关系三种类型，关系属性为
Figure BDA0002626046320000057
其中q＝(t,w)，t表示时间属性，w表示权重属性。
多关系导出的具体方法如下：
1)历史交互关系
若两个节点历史上发生过交互，则两个节点之间存在历史交互关系，历史交互关系的时间属性t为两个节点最后一次交互的时刻，权重属性w为历史发生交互的次数。
2)共同交互关系
若两个节点在T时间段内和同一个节点发生过交互，则两个节点之间存在共同交互关系。共同交互关系的时间属性t为两个节点最后一次共同交互的时刻，其中共同交互的时刻为两个节点和同一个节点交互的时刻中离当前最近的时刻，权重属性w为历史共同交互次数。
3)交互序列相似关系
将所有交互序列看成“文档”，每个交互序列看成“句子”，交互序列中的节点看成“词”，利用Doc2Vec模型分别对用户交互序列和物品交互序列进行嵌入后，可以得到每个用户基于交互序列的表示和每个物品基于交互序列的表示。
由于用户和物品之间不断发生交互，使用增量训练的方式来更新Doc2Vec模型，得到新的用户和物品基于交互序列的表示。给定两个同类型节点(两个用户或两个物品)ni和nj基于交互序列的表示
Figure BDA0002626046320000061
和
Figure BDA0002626046320000062
计算两者之间的余弦相似度，计算方式如下：
Figure BDA0002626046320000063
其中，·表示点积。
设置阈值μ，只有当余弦相似度cosSim
Figure BDA0002626046320000064
大于阈值μ时，两个节点之间存在交互序列相似关系。交互序列相似关系的时间属性t为两个节点交互序列中最后发生的交互的时刻，权重属性w为余弦相似度。
通过上述多关系导出具体方法挖掘与交互节点存在历史交互关系、共同交互关系和交互序列相似关系的节点后，即可以为交互节点ui和vj构建当前交互前的局部关系图
Figure BDA0002626046320000071
和
Figure BDA0002626046320000072
步骤4，根据局部关系图
Figure BDA0002626046320000073
和
Figure BDA0002626046320000074
通过层次化多关系感知聚合得到用户ui基于邻居的表示
Figure BDA0002626046320000075
和物品vj基于邻居的表示
Figure BDA0002626046320000076
实施例中，层次化多关系感知聚合共包含两层聚合过程：关系内聚合和关系间聚合。图3给出了层次化多关系感知聚合示意图。
为简化运算，将邻居节点上一次交互后的表示作为其传播过来的交互影响。以节点ni为例，构建该节点在当前交互前的局部关系图
Figure BDA0002626046320000077
若节点ni为用户，对应用户为uj，则该节点上一次交互后的表示为
Figure BDA0002626046320000078
若节点ni为物品，对应物品为vj，则该节点上一次交互后的表示为
Figure BDA0002626046320000079
为简化符号，将节点ni上一次交互后的表示记为
Figure BDA00026260463200000710
当节点ni发生交互时，给定该节点在上一次交互和当前交互的时间间隔内，局部关系图
Figure BDA00026260463200000711
中发生了交互的邻居节点传播过来的交互影响，即邻居节点发生交互后的表示
Figure BDA00026260463200000712
其中M为邻居节点中发生了交互的节点数量，层次化多关系感知聚合的具体过程为：
第一层为关系内聚合，聚合邻居节点根据同一种关系类型传播过来的交互影响，为不同的邻居节点赋予相应的权重，得到节点基于特定关系类型的邻居表示。为区分节点之间的关系类型，利用三个参数不同的包含K个头的多头注意力机制分别对历史交互关系、共同交互关系和交互序列相似关系进行关系内聚合，得到节点ni基于历史交互关系的邻居表示
Figure BDA00026260463200000713
基于共同交互关系的邻居表示
Figure BDA00026260463200000714
和基于交互序列相似关系的邻居表示
Figure BDA0002626046320000081
对于给定节点ni的邻居节点nj，多头注意力机制的输入为
Figure BDA0002626046320000082
则第k个头的注意力机制的输入
Figure BDA0002626046320000083
计算如下：
Figure BDA0002626046320000084
其中，
Figure BDA0002626046320000085
表示第k个头输入参数矩阵，不同关系类型
Figure BDA0002626046320000086
相同。根据该邻居节点的输入
Figure BDA0002626046320000087
第k个头的注意力系数计算如下：
Figure BDA0002626046320000088
其中，
Figure BDA0002626046320000089
表示第k个头的注意力权重矩阵，不同关系类型
Figure BDA00026260463200000810
不同。T表示矩阵转置，‖表示向量连接操作。
Figure BDA00026260463200000811
表示与关系属性q相关的权重，计算过程如公式(4)所示。
将关系属性q＝(t,w)输入全连接层，得到输出值
Figure BDA00026260463200000812
若关系类型r为历史交互关系，则t属性表示节点ni和邻居节点nj最后一次交互的时刻，w属性表示两个节点历史发生交互的次数；若关系类型r为共同交互关系，则t属性为两个节点最后一次共同交互的时刻，w属性为历史共同交互次数；若关系类型r为交互序列相似关系，则t属性为两个节点交互序列中最后发生的交互的时刻，w属性为余弦相似度。计算公式如下：
Figure BDA00026260463200000813
其中Wfeat为全连接层的参数矩阵，bfeat为全连接层的偏置，不同关系类型不同头共享该全连接层。
对给定节点ni所有关系类型为历史交互关系的邻居节点做权重归一化，得到邻居节点nj归一化后的第k个头的注意力系数：
Figure BDA00026260463200000814
其中，
Figure BDA00026260463200000815
是给定节点ni关系类型为历史交互关系的邻居节点集合。基于上述计算，第k个头的隐向量
Figure BDA0002626046320000091
计算如下：
Figure BDA0002626046320000092
对于给定节点ni通过K个头得到的隐向量
Figure BDA0002626046320000093
求均值后得到节点ni基于历史交互关系的邻居表示
Figure BDA0002626046320000094
计算过程如公式(7)所示：
Figure BDA0002626046320000095
将关系类型为历史交互关系的相关参数换成共同交互关系的相关参数，利用公式(2)～(7)获得基于共同交互关系的邻居表示
Figure BDA0002626046320000096
同样，将关系类型为历史交互关系的相关参数换成交互序列相似关系的相关参数，利用公式(2)～(7)获得基于交互序列相似关系的邻居表示
Figure BDA0002626046320000097
涉及到的相关参数包括关系属性q、每种关系类型的邻居节点集合、注意力权重矩阵
Figure BDA0002626046320000098
第二层为关系间聚合，由于根据不同关系类型传播过来的交互影响对给定节点的重要性是不同的，利用自注意力机制为不同的关系类型赋予相应的权重。给定节点ni，利用关系内聚合可以得到基于不同关系类型的邻居表示，将其通过自注意力机制进行聚合，得到节点ni基于邻居的表示。
对于节点ni基于历史交互关系的邻居表示
Figure BDA0002626046320000099
基于共同交互关系的邻居表示
Figure BDA00026260463200000910
和基于交互序列相似关系的邻居表示
Figure BDA00026260463200000911
拼接后得到自注意力机制的输入
Figure BDA00026260463200000912
自注意力机制的查询矩阵Q、键矩阵K和值矩阵V的计算过程如下：
Q＝HWQ (8)
K＝HWK (9)
V＝HWV (10)
其中
Figure BDA0002626046320000101
和
Figure BDA0002626046320000102
分别为查询权重矩阵、键权重矩阵和值权重矩阵。自注意力机制的输出
Figure BDA0002626046320000103
如公式(11)所示：
Figure BDA0002626046320000104
其中，
Figure BDA0002626046320000105
为比例因子，dk＝dv。
将上述注意力机制的输出Z输入到全连接层中，得到节点ni基于邻居的表示
Figure BDA0002626046320000106
计算过程如公式(12)所示：
Figure BDA0002626046320000107
其中，Wout为全连接层的参数矩阵，bout为全连接层的偏置。
根据局部关系图
Figure BDA0002626046320000108
和
Figure BDA0002626046320000109
利用上述层次化多关系感知聚合得到用户ui基于邻居的表示
Figure BDA00026260463200001010
和物品vj基于邻居的表示
Figure BDA00026260463200001011
步骤5，根据用户ui上一次交互后的表示
Figure BDA00026260463200001012
和用户ui基于邻居的表示
Figure BDA00026260463200001013
利用全连接层计算当前交互前物品vj预测的表示
Figure BDA00026260463200001014
实施例中，根据用户ui上一次交互后的表示
Figure BDA00026260463200001015
和用户ui基于邻居的表示
Figure BDA00026260463200001016
利用全连接层计算当前交互前物品vj预测的表示
Figure BDA00026260463200001017
计算过程如公式(13)所示：
Figure BDA00026260463200001018
其中，W1和W2为全连接层的参数矩阵，b为全连接层的偏置。
步骤6，根据用户ui和物品vj上一次交互后的表示
Figure BDA00026260463200001019
和
Figure BDA00026260463200001020
上一次交互和当前交互的时间间隔
Figure BDA00026260463200001021
和
Figure BDA00026260463200001022
以及基于邻居的表示
Figure BDA00026260463200001023
和
Figure BDA00026260463200001024
利用两个循环神经网络层分别计算用户ui和物品vj当前交互后的表示
Figure BDA00026260463200001025
和
Figure BDA00026260463200001026
如图2所示，利用两个循环神经网络层RNNU和RNNV分别计算用户ui和物品vj当前交互后的表示
Figure BDA0002626046320000111
和
Figure BDA0002626046320000112
RNNU的输入为用户ui上一次交互后的表示
Figure BDA0002626046320000113
物品vj上一次交互后的表示
Figure BDA0002626046320000114
用户ui基于邻居的表示
Figure BDA0002626046320000115
以及用户上一次交互和当前交互的时间间隔
Figure BDA0002626046320000116
RNNV的输入为物品vj上一次交互后的表示
Figure BDA0002626046320000117
用户ui上一次交互后的表示
Figure BDA0002626046320000118
物品vj基于邻居的表示
Figure BDA0002626046320000119
以及物品上一次交互和当前交互的时间间隔
Figure BDA00026260463200001110
RNNU和RNNV的具体计算公式如下：
Figure BDA00026260463200001111
Figure BDA00026260463200001112
其中，
Figure BDA00026260463200001113
表示RNNU的网络参数，
Figure BDA00026260463200001114
表示RNNV的网络参数，
Figure BDA00026260463200001115
和
Figure BDA00026260463200001116
分别为时间间隔
Figure BDA00026260463200001117
和
Figure BDA00026260463200001118
通过全连接层得到的表示，不同时间间隔共享该全连接层。所有用户共享RNNU以更新用户的表示，所有物品共享RNNV以更新物品的表示。将RNNU和RNNV的隐状态分别作为用户和物品的表示。
步骤7，根据当前交互前物品vj预测的表示
Figure BDA00026260463200001119
和真实的表示
Figure BDA00026260463200001120
之间的误差、用户ui正则化损失和物品vj正则化损失，计算整体损失
Figure BDA00026260463200001121
将物品vj上一次交互后的表示作为其当前交互前真实的表示
Figure BDA00026260463200001122
最小化物品vj预测的表示
Figure BDA00026260463200001123
和真实的表示
Figure BDA00026260463200001124
之间的均方误差得到预测损失，整体损失
Figure BDA00026260463200001125
计算如下：
Figure BDA00026260463200001126
其中，第一项为预测损失，后两项为正则化项，以避免用户和物品的表示变化过大，λU和λI为尺度参数，‖ ‖2表示L2距离。
步骤8，根据批次中所有样本的损失
Figure BDA00026260463200001127
对整个模型中的网络参数进行调整。
计算批次中所有样本的损失
Figure BDA0002626046320000121
具体计算方式如下所示：
Figure BDA0002626046320000122
其中
Figure BDA0002626046320000123
为每个样本的损失，M为批次中样本的数量。在本发明中，根据损失
Figure BDA0002626046320000124
对整个模型中的网络参数进行调整。
步骤9，重复步骤2-8直到训练数据集的所有批次都参与了模型训练。
步骤10，若达到指定的训练迭代次数，则训练结束；否则返回步骤2。
步骤11，利用参数调优后的时态交互网络预测模型预测用户可能会发生交互的物品。
基于上述训练结束后得到的用户和物品表示，以用户ui为例，给定用户ui上一次交互后的表示
Figure BDA0002626046320000125
和用户ui基于邻居的表示
Figure BDA0002626046320000126
计算交互涉及物品预测的表示
Figure BDA0002626046320000127
具体过程如公式(13)所示。计算物品预测的表示
Figure BDA0002626046320000128
与所有物品真实的表示
Figure BDA0002626046320000129
之间的L2距离，L2距离小的top-K个物品为该用户可能会发生交互的物品。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种多关系感知的时态交互网络预测方法，其特征在于，包括以下步骤：
(1)以用户ui和物品vj在时刻t发生的交互(ui,vj,t)作为一个样本构建训练数据集，并对训练数据集进行分批；
(2)对于交互(ui,vj,t)，基于历史交互信息挖掘与交互节点之间存在历史交互关系、共同交互关系和交互序列相似关系的节点，为交互节点ui和vj构建当前交互前的局部关系图
Figure FDA0003450289950000011
和
Figure FDA0003450289950000012
(3)根据局部关系图
Figure FDA0003450289950000013
和
Figure FDA0003450289950000014
通过层次化多关系感知聚合得到用户ui基于邻居的表示
Figure FDA0003450289950000015
和物品vj基于邻居的表示
Figure FDA0003450289950000016
(4)根据用户ui上一次交互后的表示
Figure FDA0003450289950000017
和用户ui基于邻居的表示
Figure FDA0003450289950000018
利用全连接层计算当前交互前物品vj预测的表示
Figure FDA0003450289950000019
(5)根据用户ui和物品vj上一次交互后的表示
Figure FDA00034502899500000110
和
Figure FDA00034502899500000111
上一次交互和当前交互的时间间隔
Figure FDA00034502899500000112
和
Figure FDA00034502899500000113
以及基于邻居的表示
Figure FDA00034502899500000114
和
Figure FDA00034502899500000115
利用两个循环神经网络层分别计算用户ui和物品vj当前交互后的表示
Figure FDA00034502899500000116
和
Figure FDA00034502899500000117
(6)根据当前交互前物品vj预测的表示
Figure FDA00034502899500000118
和真实的表示
Figure FDA00034502899500000119
之间的误差、用户ui正则化损失和物品vj正则化损失，计算整体损失
Figure FDA00034502899500000120
根据批次中所有样本的损失
Figure FDA00034502899500000121
对时态交互网络预测模型中的网络参数进行调整，直到所有批次都参与了模型训练，所述时态交互网络预测模型包括步骤(2)～(6)用到的所有全连接层和循环神经网络层；
(7)利用参数调优后的时态交互网络预测模型预测用户可能会发生交互的物品；
步骤(3)的具体过程为：
若节点ni为用户，对应用户为uj，则该节点上一次交互后的表示为
Figure FDA0003450289950000021
若节点ni为物品，对应物品为vj，则该节点上一次交互后的表示为
Figure FDA0003450289950000022
将节点ni上一次交互后的表示记为
Figure FDA0003450289950000023
当节点ni发生交互时，给定该节点在上一次交互和当前交互的时间间隔内，局部关系图
Figure FDA0003450289950000024
中发生了交互的邻居节点传播过来的交互影响，即邻居节点发生交互后的表示
Figure FDA0003450289950000025
其中M为邻居节点中发生了交互的节点数量，层次化多关系感知聚合的具体过程为：
第一层为关系内聚合，聚合邻居节点根据同一种关系类型传播过来的交互影响，为不同的邻居节点赋予相应的权重，得到节点基于特定关系类型的邻居表示，过程为：
对于给定节点ni的邻居节点nj，多头注意力机制的输入为
Figure FDA0003450289950000026
则第k个头的注意力机制的输入
Figure FDA0003450289950000027
计算如下：
Figure FDA0003450289950000028
其中，
Figure FDA0003450289950000029
表示第k个头输入参数矩阵，不同关系类型
Figure FDA00034502899500000210
相同，根据该邻居节点的输入
Figure FDA00034502899500000211
第k个头的注意力系数计算如下：
Figure FDA00034502899500000212
其中，
Figure FDA00034502899500000213
表示第k个头的注意力权重矩阵，不同关系类型
Figure FDA00034502899500000214
不同，T表示矩阵转置，‖表示向量连接操作，
Figure FDA00034502899500000215
表示与关系属性q相关的权重，计算过程如公式(4)所示；
将关系属性q＝(t,w)输入全连接层，得到输出值
Figure FDA00034502899500000216
若关系类型r为历史交互关系，则t属性表示节点ni和邻居节点nj最后一次交互的时刻，w属性表示两个节点历史发生交互的次数；若关系类型r为共同交互关系，则t属性为两个节点最后一次共同交互的时刻，w属性为历史共同交互次数；若关系类型r为交互序列相似关系，则t属性为两个节点交互序列中最后发生的交互的时刻，w属性为余弦相似度，计算公式如下：
Figure FDA0003450289950000031
其中Wfeat为全连接层的参数矩阵，bfeat为全连接层的偏置，不同关系类型不同头共享该全连接层；
对给定节点ni所有关系类型为历史交互关系的邻居节点做权重归一化，得到邻居节点nj归一化后的第k个头的注意力系数：
Figure FDA0003450289950000032
其中，
Figure FDA0003450289950000033
是给定节点ni关系类型为历史交互关系的邻居节点集合，基于上述计算，第k个头的隐向量
Figure FDA0003450289950000034
计算如下：
Figure FDA0003450289950000035
对于给定节点ni通过K个头得到的隐向量
Figure FDA0003450289950000036
求均值后得到节点ni基于历史交互关系的邻居表示
Figure FDA0003450289950000037
计算过程如公式(7)所示：
Figure FDA0003450289950000038
将关系类型为历史交互关系的相关参数换成共同交互关系的相关参数，利用公式(2)～(7)获得基于共同交互关系的邻居表示
Figure FDA0003450289950000039
同样，将关系类型为历史交互关系的相关参数换成交互序列相似关系的相关参数，利用公式(2)～(7)获得基于交互序列相似关系的邻居表示
Figure FDA00034502899500000310
涉及到的相关参数包括关系属性q、每种关系类型的邻居节点集合、注意力权重矩阵
Figure FDA0003450289950000041
第二层为关系间聚合，由于根据不同关系类型传播过来的交互影响对给定节点的重要性是不同的，利用自注意力机制为不同的关系类型赋予相应的权重，具体过程为：
对于节点ni基于历史交互关系的邻居表示
Figure FDA0003450289950000042
基于共同交互关系的邻居表示
Figure FDA0003450289950000043
和基于交互序列相似关系的邻居表示
Figure FDA0003450289950000044
拼接后得到自注意力机制的输入
Figure FDA0003450289950000045
自注意力机制的查询矩阵Q、键矩阵K和值矩阵V的计算过程如下：
Q＝HWQ (8)
K＝HWK (9)
V＝HWV (10)
其中
Figure FDA0003450289950000046
和
Figure FDA0003450289950000047
分别为查询权重矩阵、键权重矩阵和值权重矩阵；自注意力机制的输出
Figure FDA0003450289950000048
如公式(11)所示：
Figure FDA0003450289950000049
其中，
Figure FDA00034502899500000410
为比例因子，dk＝dv；
将上述注意力机制的输出Z输入到全连接层中，得到节点ni基于邻居的表示
Figure FDA00034502899500000411
计算过程如公式(12)所示：
Figure FDA00034502899500000412
其中，Wout为全连接层的参数矩阵，bout为全连接层的偏置；
根据局部关系图
Figure FDA00034502899500000413
和
Figure FDA00034502899500000414
利用层次化多关系感知聚合得到用户ui基于邻居的表示
Figure FDA00034502899500000415
和物品vj基于邻居的表示
Figure FDA00034502899500000416
2.如权利要求1所述的多关系感知的时态交互网络预测方法，其特征在于，步骤(2)的具体过程为：
局部关系图
Figure FDA0003450289950000051
其中
Figure FDA0003450289950000052
和
Figure FDA0003450289950000053
分别表示与节点ni相关的节点集合、边集合、关系类型集合和关系属性集合，边e定义为三元组
Figure FDA0003450289950000054
表示节点ni与节点nj之间存在关系，关系类型为
Figure FDA0003450289950000055
包括历史交互关系、共同交互关系和交互序列相似关系三种类型，关系属性为
Figure FDA0003450289950000056
其中q＝(t,w)，t表示时间属性，w表示权重属性；
多关系导出的具体方法如下：
1)历史交互关系
若两个节点历史上发生过交互，则两个节点之间存在历史交互关系，历史交互关系的时间属性t为两个节点最后一次交互的时刻，权重属性w为历史发生交互的次数；
2)共同交互关系
若两个节点在T时间段内和同一个节点发生过交互，则两个节点之间存在共同交互关系，共同交互关系的时间属性t为两个节点最后一次共同交互的时刻，其中共同交互的时刻为两个节点和同一个节点交互的时刻中离当前最近的时刻，权重属性w为历史共同交互次数；
3)交互序列相似关系
将所有交互序列看成“文档”，每个交互序列看成“句子”，交互序列中的节点看成“词”，利用Doc2Vec模型分别对用户交互序列和物品交互序列进行嵌入后，可以得到每个用户基于交互序列的表示和每个物品基于交互序列的表示；
由于用户和物品之间不断发生交互，使用增量训练的方式来更新Doc2Vec模型，得到新的用户和物品基于交互序列的表示，给定两个同类型节点ni和nj基于交互序列的表示
Figure FDA0003450289950000061
和
Figure FDA0003450289950000062
计算两者之间的余弦相似度，计算方式如下：
Figure FDA0003450289950000063
其中，·表示点积；
设置阈值μ，只有当余弦相似度
Figure FDA0003450289950000064
大于阈值μ时，两个节点之间存在交互序列相似关系，交互序列相似关系的时间属性t为两个节点交互序列中最后发生的交互的时刻，权重属性w为余弦相似度；
通过上述多关系导出具体方法挖掘与交互节点存在历史交互关系、共同交互关系和交互序列相似关系的节点后，即可以为交互节点ui和vj构建当前交互前的局部关系图
Figure FDA0003450289950000065
和
Figure FDA0003450289950000066
3.如权利要求1所述的多关系感知的时态交互网络预测方法，其特征在于，步骤(4)的具体过程为：
根据用户ui上一次交互后的表示
Figure FDA0003450289950000067
和用户ui基于邻居的表示
Figure FDA0003450289950000068
利用全连接层计算当前交互前物品vj预测的表示
Figure FDA0003450289950000069
计算过程如公式(13)所示：
Figure FDA00034502899500000610
其中，W1和W2为全连接层的参数矩阵，b为全连接层的偏置。
4.如权利要求1所述的多关系感知的时态交互网络预测方法，其特征在于，步骤(5)的具体过程为：
利用两个循环神经网络层RNNU和RNNV分别计算用户ui和物品vj当前交互后的表示
Figure FDA00034502899500000611
和
Figure FDA00034502899500000612
RNNU的输入为用户ui上一次交互后的表示
Figure FDA00034502899500000613
物品vj上一次交互后的表示
Figure FDA00034502899500000614
用户ui基于邻居的表示
Figure FDA00034502899500000615
以及用户上一次交互和当前交互的时间间隔
Figure FDA00034502899500000616
RNNV的输入为物品vj上一次交互后的表示
Figure FDA0003450289950000071
用户ui上一次交互后的表示
Figure FDA0003450289950000072
物品vj基于邻居的表示
Figure FDA0003450289950000073
以及物品上一次交互和当前交互的时间间隔
Figure FDA0003450289950000074
RNNU和RNNV的具体计算公式如下：
Figure FDA0003450289950000075
Figure FDA0003450289950000076
其中，
Figure FDA0003450289950000077
表示RNNU的网络参数，
Figure FDA0003450289950000078
表示RNNV的网络参数，
Figure FDA0003450289950000079
和
Figure FDA00034502899500000710
分别为时间间隔
Figure FDA00034502899500000711
和
Figure FDA00034502899500000712
通过全连接层得到的表示，不同时间间隔共享该全连接层，所有用户共享RNNU以更新用户的表示，所有物品共享RNNV以更新物品的表示，将RNNU和RNNV的隐状态分别作为用户和物品的表示。
5.如权利要求1所述的多关系感知的时态交互网络预测方法，其特征在于，步骤(6)中，整体损失
Figure FDA00034502899500000713
计算如下：
Figure FDA00034502899500000714
其中，第一项为预测损失，后两项为正则化项，以避免用户和物品的表示变化过大，λU和λI为尺度参数，‖‖2表示L2距离。
6.如权利要求1所述的多关系感知的时态交互网络预测方法，其特征在于，步骤(7)的具体过程为：
给定用户ui上一次交互后的表示
Figure FDA00034502899500000715
和用户ui基于邻居的表示
Figure FDA00034502899500000716
计算交互涉及物品预测的表示
Figure FDA00034502899500000717
然后，计算物品预测的表示
Figure FDA00034502899500000718
与所有物品真实的表示
Figure FDA00034502899500000719
之间的L2距离，L2距离小的top-K个物品为该用户可能会发生交互的物品。
CN202010797094.5A 2020-08-10 2020-08-10 一种多关系感知的时态交互网络预测方法 Active CN111949892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010797094.5A CN111949892B (zh) 2020-08-10 2020-08-10 一种多关系感知的时态交互网络预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010797094.5A CN111949892B (zh) 2020-08-10 2020-08-10 一种多关系感知的时态交互网络预测方法

Publications (2)

Publication Number Publication Date
CN111949892A CN111949892A (zh) 2020-11-17
CN111949892B true CN111949892B (zh) 2022-04-05

Family

ID=73331993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010797094.5A Active CN111949892B (zh) 2020-08-10 2020-08-10 一种多关系感知的时态交互网络预测方法

Country Status (1)

Country Link
CN (1) CN111949892B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541129B (zh) * 2020-12-06 2023-05-23 支付宝(杭州)信息技术有限公司 处理交互事件的方法及装置
CN113191400B (zh) * 2021-04-14 2022-04-19 中国海洋大学 基于二维图像检索对应三维模型的方法及装置
CN113537613B (zh) * 2021-07-28 2023-11-21 浙江大学 一种模体感知的时态网络预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555469A (zh) * 2019-08-15 2019-12-10 阿里巴巴集团控股有限公司 处理交互序列数据的方法及装置
US10650432B1 (en) * 2016-11-28 2020-05-12 Amazon Technologies, Inc. Recommendation system using improved neural network
CN111159425A (zh) * 2019-12-30 2020-05-15 浙江大学 一种基于历史关系和双图卷积网络的时态知识图谱表示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9378576B2 (en) * 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650432B1 (en) * 2016-11-28 2020-05-12 Amazon Technologies, Inc. Recommendation system using improved neural network
CN110555469A (zh) * 2019-08-15 2019-12-10 阿里巴巴集团控股有限公司 处理交互序列数据的方法及装置
CN111159425A (zh) * 2019-12-30 2020-05-15 浙江大学 一种基于历史关系和双图卷积网络的时态知识图谱表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合邻居选择策略和信任关系的兴趣点推荐;刘辉等;《计算机工程与科学》;20200215(第02期);全文 *

Also Published As

Publication number Publication date
CN111949892A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN111949892B (zh) 一种多关系感知的时态交互网络预测方法
Xu A direct approach to group decision making with uncertain additive linguistic preference relations
CN112364976A (zh) 基于会话推荐系统的用户偏好预测方法
CN113420221B (zh) 融合用户隐式物品偏好与显式特征偏好的可解释推荐方法
CN112650933A (zh) 一种基于高阶聚合的图卷积融合多头注意力机制的会话推荐方法
Pan et al. Intelligent recommendation method integrating knowledge graph and Bayesian network
Yin et al. An efficient recommendation algorithm based on heterogeneous information network
CN112883289B (zh) 一种基于社交信任和标签语义相似度的pmf推荐方法
You et al. Consensus reaching process with noncooperative behaviors in large-scale group social network environment
CN113850616A (zh) 基于深度图神经网络的客户生命周期价值预测方法
Dridi et al. Exploiting context-awareness and multi-criteria decision making to improve items recommendation using a tripartite graph-based model
CN116450938A (zh) 一种基于图谱的工单推荐实现方法及系统
CN115982373A (zh) 结合多级交互式对比学习的知识图谱推荐方法
Yu et al. A graph attention network under probabilistic linguistic environment based on Bi-LSTM applied to film classification
CN115687757A (zh) 融合层次注意与特征交互的推荐方法及其应用系统
CN115545833A (zh) 一种基于用户社交信息的推荐方法及系统
Li et al. PRIMA++: A probabilistic framework for user choice modelling with small data
Zhang et al. Probability multi-valued neutrosophic ELECTRE method for multi-criteria group decision-making
Yang et al. An algorithm for ordinal classification based on pairwise comparison
Li et al. Novel multidimensional collaborative filtering algorithm based on improved item rating prediction
Qi et al. Grey relational analysis method for typhoon vulnerability assessment of civil engineering structures based on the 2-tuple linguistic neutrosophic number
Kang Collaborative filtering algorithm based on trust and information entropy
Rong The Evaluation on Development Quality of Open Education Based on Dempster-Shafer With Multigranularity Unbalanced Hesitant Fuzzy Linguistic Information for Chinese Case
Xiaoyu Improved Algorithm of Similarity Measure Based on Matrix Factorization Filling and Filling Confidence
CN115905617B (zh) 一种基于深度神经网络与双正则化的视频评分预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant