CN112035746A - 一种基于时空序列图卷积网络的会话推荐方法 - Google Patents

一种基于时空序列图卷积网络的会话推荐方法 Download PDF

Info

Publication number
CN112035746A
CN112035746A CN202010904114.4A CN202010904114A CN112035746A CN 112035746 A CN112035746 A CN 112035746A CN 202010904114 A CN202010904114 A CN 202010904114A CN 112035746 A CN112035746 A CN 112035746A
Authority
CN
China
Prior art keywords
user
session
graph
preference information
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010904114.4A
Other languages
English (en)
Inventor
王换文
陈浩
陈建国
周文杰
陈雯姝
张银燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202010904114.4A priority Critical patent/CN112035746A/zh
Publication of CN112035746A publication Critical patent/CN112035746A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations

Abstract

一种基于时空序列图卷积网络的会话推荐方法,包括以下步骤:S1:将所有会话序列建模为有向会话图;S2:以会话中共有的商品为链接,构建全局图;S3:将ARMA过滤器嵌入到门控图神经网络中,提取图模型中随时间变化的拓扑图信号,并得到会话图中涉及的各个节点的特征向量;S4:采用注意力机制从用户历史会话中得到全局偏好信息;S5:从用户点击的最后一个会话中获取用户的局部偏好信息,并结合全局偏好信息得到用户最终偏好信息;S6:预测每个会话中下一点击商品可能出现的概率,并给出Top‑K推荐商品。本发明能够从全局图中捕获所点击商品的丰富的上下文关系,准确学习用户的全局和局部偏好,并有效评估用户历史偏好对当前偏好的时间衰减效果,提供准确的商品预测。

Description

一种基于时空序列图卷积网络的会话推荐方法
技术领域
本发明涉及互联网服务技术领域,特别是一种基于时空序列图卷积网络的会话推荐方法。
背景技术
随着互联网购物的迅速普及,网上信息量过载也是必然趋势,那么用户如何从海量数据中获取有效信息已成为当务之急。推荐系统可以为不同的用户提供个性化的推荐,以便每个用户都可以从推荐系统筛选的有限的多样信息中获得他们想要的信息,而基于会话的推荐作为推荐领域的一个分支,能够实时向用户推荐潜在兴趣商品,旨在帮助在线系统提供精准个性的推荐服务。目前大多数现有的基于会话的推荐系统通常仅将会话建模为序列,使用递归神经网络进行推荐或是给定一个前提假设:用户画像及其历史活动信息是被不断记录的。尽管以上方法是有效果的,但实际应用场景的许多服务中,存在用户的信息可能是未知的或是只有当前正在进行的会话中的用户历史行为,因此,在有限的用户信息下,捕获商品之间潜在关系非常重要。
基于会话的推荐的基本目的是提高推荐的准确性并改善用户体验。尽管到目前为止已经提出了许多方法,但是基于会话的推荐仍处于起步阶段,目前主流的推荐方法主要存在以下挑战:
(1)马尔可夫链(MC)通常假设用户操作的连续行为之间存在很大的依赖性。但是在现实世界的交易数据中的情况可能并非如此,因为用户可能只是随机地将一些他/她喜欢的商品拿到购物车中,因此该模型预测结果并不十分的准确。
(2)循环神经网络(RNN)虽然相比传统的会话推荐系统取得了重大进展,然而大多数现有的基于RNN的模型并没有揭示频繁点击模式的全局信息,多数方法考虑的是建模在顺序依赖性方面固有的优势,也没有考虑用户兴趣随时间的变化。当一个会话中用户的行为数量十分有限时,该方法难以获取准确的用户行为表示。
(3)自注意力(Self-Attention)作为一种特殊的注意力机制,已被广泛用于序列数据建模,并在许多应用中取得了显著成果,例如机器翻译和顺序推荐。然而,该操作分散了注意力的分布,这导致对相邻商品缺乏局部依赖性,并限制了其学习商品的情境表示的能力。
针对会话中存在的相当复杂的结构,会话之间的交互相关联的挑战,会话异构性、会话之间的顺序依赖性和会话的动态性问题,本发明提出了一种基于时空注意模型和门控图神经网络的高效的在线网站会话推荐方法。
发明内容
本发明的目的是克服现有技术的上述不足而提供一种基于时空序列图卷积网络的会话推荐方法。
本发明的技术方案是:一种基于时空序列图卷积网络的会话推荐方法,包括以下步骤:
S1:将所有会话序列建模为有向会话图;
S2:以会话中共有的商品为链接,构建全局图;
S3:将ARMA过滤器嵌入到门控图神经网络中,提取图模型中随时间变化的拓扑图信号,并得到会话图中涉及的各个节点的特征向量;
S4:采用注意力机制从用户历史会话中得到全局偏好信息;
S5:从用户点击的最后一个会话中获取用户的局部偏好信息,并结合全局偏好信息得到用户最终偏好信息;
S6:预测每个会话中下一点击商品可能出现的概率,并给出Top-K推荐商品。
进一步,S1中,具体包括:令I={i1,...,i|I|}代表所有用户的会话中交互的商品集合,|I|表示商品总数;令s={i1,...,i|s|}代表特定时间段内或特定事件中由特定用户的会话中交互的商品集合,|s|为会话序列长度;任一商品ik视为节点,其中1≤k≤|s|,将(ik-1,ik)视为用户在会话s中点击商品ik-1之后再点击商品ik所构成的边;将每个会话序列建模为有向图G=(N,E),N是节点集,E是边的集合。
进一步,S2具体包括:通过利用会话中的共有商品作为链接,将S1中构建的所有有向图组合成一个全局图,并将相对应的商品采用嵌入向量的形式表示,建立以下嵌入表:
Figure BDA0002660780180000021
式中,ei为嵌入空间后的节点向量,且ei∈Rd,表示商品i在通过所嵌入的向量空间后得到的潜在向量,其中d是维数,NE为商品固有属性的潜在特征。
进一步,S3中,所述节点的特征向量的获取方法为:
将ARMA过滤器与图卷积神经网络结合,形成ARMAConv层;ARMAConv层由多个图卷积跳(GCS)模块组成,来实现递归更新,节点的信号变化通过以下公式获得:
Figure BDA0002660780180000022
式中,
Figure BDA0002660780180000023
为节点在ARMAConv层中的t+1时刻的节点特征向量,
Figure BDA0002660780180000024
V(t)是参数,
Figure BDA0002660780180000025
是节点的初始特征,
Figure BDA0002660780180000026
是优化后的拉普拉斯,D为度矩阵,A为邻接矩阵,δ(·)表示sigmoid函数。
进一步,构造K个并行堆栈,每个堆栈具有T个GCS层,并将ARMAConv层的输出定义为:
Figure BDA0002660780180000031
式中,T为堆栈中GCS层的数量。
进一步,S5中,对于会话序列
Figure BDA0002660780180000032
将用户当前会话的最后一个点击商品作为局部偏好信息,通过以下公式获得:
Figure BDA0002660780180000033
式中,
Figure BDA0002660780180000034
表示用户当前会话中最后一次点击的商品。
进一步,通过聚合全局图中所有的节点特征向量来作为会话的全局嵌入,并使用注意力机制计算用户全局偏好信息hg,其中注意力机制定义为:
Figure BDA0002660780180000035
式中,xi表示ARMAConv层后第i个商品节点的特征向量,W1是权重向量,W2和W3表示商品特征向量的权重矩阵,δ表示sigmoid函数,b表示神经网络中的偏置参数,αi表示当前会话前面历史商品xi的注意力系数;
全局偏好信息通过以下公式获得:
Figure BDA0002660780180000036
进一步,将全局偏好信息和局部偏好信息合并得到用户最终偏好信息,将用户在当前会话中的时间行为和主要目的都建模为统一表示ht,其中向量hg和hl是串联拼接,混合嵌入层的用户最终偏好信息表示为:
ht=W3[hg,hl]
进一步,S5中,通过用户的最终偏好信息和ARMAConv层后的第i个商品节点向量进行内积计算,通过softmax函数得到最终每个商品可能的被点击概率,概率较大的前K个商品将被作为推荐商品给用户,其中公式表示如下:
Figure BDA0002660780180000037
Figure BDA0002660780180000038
本发明的有益效果:
(1)与现有的基于会话的推荐算法方法相比,本发明将时空注意力模型与门控图神经网络相结合,空间注意模式可以构造全局图,并从全局图捕获丰富的上下文关系;时间注意力模型使用门控图神经网络模型来学习用户的全局和局部偏好。
(2)相比大多数方法视会话为匿名会话的假定前提,本发明提出的方法重新考虑会话事件结构,以便在推荐中捕获更丰富的信息。换句话说,本发明学习用户事件行为模式和用户偏好从一个事件转移到另一个事件。
(3)本发明综合考虑所有会话,以会话中的商品为中心建立会话间的关系,以捕获更丰富的商品间的关系,因为在许多情况下,既有来自未登录查看器的匿名会话,也有来自己登录用户的命名会话。
(4)相比大多数方法将所有对话视为独立的序列,并且仅考虑用户的局部偏好,尽管某些方法将对话视为图形结构,但是当对话中没有足够的动作且循环很少时,很难将其表示出来。本发明将分离的会话序列构建为图结构数据,可以更好地捕获商品之间,不同用户的会话之间以及同一用户在不同时间段的会话之间的复杂关系。此外,考虑到用户单击商品不是孤立的而是时间序列,我们将ARMA过滤器嵌入到门控图神经网络中提取图形模型中的时间序列信息,以有效评估用户历史偏好对当前偏好的时间衰减效果,并提供准确的预测。
(5)许多方法在捕获会话之间的潜在相关性,商品之间的域相关性以及用户与商品之间的关系时面临困难,本发明采用ARMAConv层依靠递归公式表示,这导致了一种快速且分布式的实现,该实现利用了对张量的有效稀疏运算,所得的滤波器不是在给定的拉普拉斯算子引起的傅立叶空间中学习的,而是位于节点空间中并且与基础图结构无关,这使本发明的门控图神经网络(GGNN)可以处理归纳推荐任务中看不见的拓扑图。
附图说明
图1(a)是本发明实施例用户点击行为序列的结构示意图;
图1(b)是本发明实施例用户点击行为序列转换为图的结构示意图;
图1(c)是本发明实施例构建全局图的结构示意图;
图2是本发明实施例SAGG-RS的过程示例图;
图3是本发明实施例不同嵌入方法推荐性能比较的示意图。
具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
如图1和图2所示,本实施例包括以下步骤:
S101:将所有会话序列建模为有向会话图。
具体地,令I={i1,...,i|I|}代表所有用户的会话中交互的商品集合,|I|表示商品总数;令s={i1,...,i|s|}代表特定时间段内或特定事件中由特定用户的会话中交互的商品集合,|s|为会话序列长度;任一商品ik视为节点,其中1≤k≤|s|,将(ik-1,ik)视为用户在会话s中点击商品ik-1之后再点击商品ik所构成的边;将每个会话序列建模为有向图G=(N,E),N是节点集,例如N(G)={i1,...,i|s|};E是边的集合,例如E(G)={<i1,i2>,<i3,i4>,...,<ik-1,ik>}。
如图1(a)中是将4个用户U1~U4的点击行为序列逐一对应转化为图的形式,如图1(b)所示,这个转化过程即可说明用户的点击行为形成的图形结构的概念。例如,图1(a)中的用户U1点击的某一节点集依次为V2、V13、V21、V30,然后逐一对应转化为图的形式,形成有向图,如图1(b)所示。
S102:以会话中共有的商品为链接,构建全局图。
具体地,将S101中用户点击的所有会话序列,通过利用会话中共有商品作为链接组合成一个全局图,例如将图1(b)中4个用户的所有基于会话的访问子图组合成一个全局图,如图1(c)所示。
如图2所示:将相对应的商品采用嵌入向量的形式表示,建立以下嵌入表:
Figure BDA0002660780180000051
式中,ei为嵌入空间后的节点向量,且ei∈Rd,表示商品i在通过所嵌入的向量空间后得到的潜在向量,其中d是维数,NE为商品固有属性的潜在特征。
S103:将ARMA过滤器嵌入到门控图神经网络中,提取图模型中随时间变化的拓扑图信号,并得到会话图中涉及的各个节点的特征向量。
具体地,节点的特征向量的获取方法为:将ARMA过滤器与图卷积神经网络结合,形成ARMA图卷积(ARMAConv)层;具体来说,ARMAConv层由多个图卷积跳(GCS,为Graphconvolution Skip的缩写)模块组成,可实现递归更新,节点的信号变化通过以下公式获得:
Figure BDA0002660780180000052
式中,
Figure BDA0002660780180000053
为节点在ARMAConv层中的t+1时刻的节点特征向量,
Figure BDA0002660780180000054
V(t)是参数,
Figure BDA0002660780180000055
是节点的初始特征,
Figure BDA0002660780180000056
为优化后的拉普拉斯公式,其中,D为度矩阵,A为邻接矩阵,此修改是合理的简化,可以补偿可训练参数
Figure BDA0002660780180000057
和V(t)引入的微小偏差;δ(·)表示sigmoid函数。
本实施例中,基于神经网络的ARMA(自回归移动平均)滤波器通过应用递归更新并通过添加非线性和可训练参数进行补偿,即可获得从会话的时间序列中更有效的捕获效果。本实施例的ARMA滤波器不是在给定的拉普拉斯引起的傅里叶空间中学习,而是位于节点空间中,且与基础图结构无关,这使得本实施例的模型能够处理归纳推理任务中具有未知拓扑的图形。
本实施例中,每个GCS层通过聚合本地邻域的节点信息,并通过残差计算连接(也可以称skip连接),即与原始节点特征组合在一起提取本地子结构信息,由于单个节点信息量有限,提取与之相连的邻居节点信息可以使节点特征信息更丰富,从而获得节点丰富的潜在特征向量。
优选地,本实施例提出的模型中采用了两个ARMA图卷积层,即ARMA图卷积层1和ARMA图卷积层2,经过两层后进行平均池化,具体为:
构造K个并行堆栈,每个堆栈具有T个GCS层,并将ARMA卷积层的输出定义为:
Figure BDA0002660780180000061
式中,T为堆栈中GCS层的数量。
本实施例将Dropout算法应用于每个GCS层的跳过连接,不仅用于正则化,而且还鼓励在K个并行堆栈的每一个中学习的过滤器中的多样性。这种并行设计策略为ARMA过滤器提供了强大的正则化功能,有助于防止过拟合,并在可训练参数方面大大降低空间复杂度。
S104:从用户点击的最后一个会话中获取用户的局部偏好信息,采用注意力机制(Attention Network)从用户历史会话中得到全局偏好信息,并将全局偏好信息和局部偏好信息合并得到用户最终偏好信息。
在基于会话的推荐任务中,用户的全局偏好通常会汇总整个顺序行为,而当前的局部偏好可以自适应地选择当前会话中的重要商品,以捕获用户的当前行为目的。我们认为用户的整个历史顺序行为的表示形式可能会提供有用的信息,对捕获当前会话中用户的主要目的有一定的帮助。因此,为了更好地预测用户的下一个可能点击商品,将用户全局偏好和局部偏好信息相结合,并使用这种结合的嵌入作为会话的表示形式。即:将用户历史所有节点向量作为全局嵌入,考虑到这些嵌入中的信息可能具有不同的优先级,因此使用注意机合成函数负责计算一般全局嵌入中基于注意力的用户兴趣;局部偏好定义为用户当前会话中最后单击的商品向量。然后将全局偏好和局部偏好串联,通过这种混合嵌入方案,可以将用户在当前会话中的偏好和历史点击顺序行为的全局偏好更好的统一表示。
对于会话序列
Figure BDA0002660780180000062
将用户当前会话的最后一个点击商品作为局部偏好信息,通过以下公式获得:
Figure BDA0002660780180000063
另外,这些嵌入中的信息可能具有不同的优先级,本实施例通过聚合全局图中所有的节点特征向量来作为会话的全局嵌入,并使用注意力机制计算用户全局偏好信息hg,其中注意力机制定义为:
Figure BDA0002660780180000071
式中,xi表示ARMAConv层后第i个商品节点的特征向量,W1是权重向量,W2和W3表示商品特征向量的权重矩阵,δ表示sigmoid函数,b表示神经网络中的偏置参数,αi表示当前会话前面历史商品xi的注意力系数;
全局偏好信息通过以下公式获得:
Figure BDA0002660780180000072
将全局偏好信息和局部偏好信息合并得到用户的最终偏好信息,以提供SAGG-RS的长短期偏好行为表示。通过这种混合嵌入方案,可以将用户在当前会话中的时间行为和主要目的都建模为统一表示ht,其中向量hg和hl是串联拼接,混合嵌入层的用户最终偏好信息表示为:
ht=W3[hg,hl]
本实施例采用空间注意力模型和时间注意力模型结合的方式,即空间注意力模型可以构造空间注意子图,并从全局图捕获所点击商品的丰富的上下文关系;时间注意力模型使用门控图神经网络模型来学习用户的全局和局部偏好,从而向用户推荐更符合其需求的个性化的商品。
S105:预测每个会话中下一点击商品可能出现的概率,并给出Top-K推荐商品。
通过用户的最终偏好信息和ARMAConv层后的第i个商品节点向量进行内积计算,通过softmax函数得到最终每个商品可能的被点击概率,概率较大的前K个商品将被作为推荐商品给用户,其中公式表示如下:
Figure BDA0002660780180000073
Figure BDA0002660780180000074
本实施例通过在门控图神经网络(GGNN)模型中嵌入自动回归移动平均(ARMA)过滤器来进行建模以提取出全局偏好,然后将每个会话中最后一个商品作为用户的局部偏好,使用注意力网络将用户对历史会话的全局偏好和用户当前会话的局部偏好的线性加权总和作为用户当前最终兴趣嵌入向量。
实验及结果
本发明通过三个主要实验来评估上述提出的观点:(1)与所提出的相似方法相比,SAGG-RS的性能如何?(2)如何使用不同的会话嵌入方法(例如,仅局部会话嵌入,全局嵌入及引入注意力机制)对SAGG-RS的影响?(3)模型中加入ARMAConv对模型有多大影响?
(a)数据集介绍
我们在两个标准交易数据集(YOOCHOOSE和DIGINETICA)上评估我们提出模型SAGG-RS的有效性,经过处理后的YOOCHOOSE有7981580个会话和37483个商品,DIGINETICA数据集包含204771个会话和43097个商品,而且这两个数据集是公开可用的,并且在域、大小和稀疏性方面有所不同。
(b)总体性能比较
为了演示我们的模型SAGG-RS的推荐性能,我们首先比较所有方法的性能。表1总结了不同算法的性能。我们有以下观察结果:
表1比较不同方法推荐性能表现
Figure BDA0002660780180000081
从表1我们可以看出,传统方法(如Item-KNN,MPMC和BPR-FM)的性能不具有竞争力。两种基于循环神经网络(RNN)方法的NARM和STAMP在所有三个数据集上始终优于传统传统方法,这表明基于RNN的模型擅长处理会话中的序列信息。NARM在基于RNN的基础上增加了一种注意机制,以捕获用户的主要目的和顺序行为,从实验结果来看表明注意机网络对获取用户偏好有一定影响。STAMP模型从会话上下文的长期记忆中捕获用户的总体兴趣,同时考虑到最终点击的短期记忆中用户的当前兴趣,两者的结合对于预测下一个点击对象问题有显著效果。我们提出的SAGG-RS模型几乎在所有数据集上都能产生最佳性能。在我们的模型中,通过将两个ARMAConv堆叠到图神经网络层,不仅可以将分离的会话序列聚合到图结构数据中,而且图神经网络可以用于生成潜在的商品向量。这使我们提出的SAGG-RS可以在归纳推理任务中处理拓扑未知的图形,以更好地预测用户可能喜欢的商品。另外,这也是传统的ARMA序列化数据方法与图卷积神经网络相结合的第一次。如表1所见,就Recall@20和MRR@20而言,所提出的方法在YOOCHOOSE1/64和DIGINETICA数据集的所有方法中均实现了最佳性能。这些结果证明了SAGG-RS对于基于会话的推荐的有效性和有效性。
(c)不同的嵌入方法性能比较
从图3可以看出,局部和全局混合嵌入方法中,SAGG-RS在所有三个数据集上均取得了最佳结果,这证明了将当前会话兴趣与全局偏好相结合的重要性。此外,(1)在三个数据集上,SAGG-L性能略好于SAGG-LA,这表明注意机制对较短会话的本地处理几乎没有影响。(2)SAGG-GA的性能优于SAGG-RS,这表明会话可能包含一些嘈杂的行为,无法单独处理。结合以上两点,1)我们可以知道注意力机制有助于从会话数据中提取重要数据;2)全局偏好的行为建立对局部偏好的构建不敏感。需要注意的是,仅由部分会话代表的SAGG-L性能仍然优于SAGG-G和SAGGE-GA,这表明当前兴趣对用户的下次点击至关重要,并且将当前兴趣与全局偏好结合起来有助于改善推荐性能。
(d)ARMAConv对模型影响
尽管我们可以从表1中隐含地推断出添加传统ARMAConv的效果得到了显着改善,但我们仍然希望进一步验证ARMAConv在SAGG中的作用。本实施例尝试了以下更改:(1)从SAGG中删除了ARMAConv模块,并将其替换为图卷积网络(GCN)。(2)我们从SAGG中删除了ARMAConv模块,并用图注意力网络(GAT)替换。表2显示了使用和不使用ARMAConv的比较。
表2-ARMAConv对模型性能影响
Figure BDA0002660780180000091
从表2中可以看出,没有ARMAConv,GCN的性能仍然优于三个数据集中的所有传统模型。在基于神经网络的模型中,除了后面提到的三个混合模型外,几乎所有模型都被超越。我们还可以看到,带有注意机制的图卷积网络(GAT)在Recall@20或MMR@20中的表现不如GCN,这与GCN和GAT的原始工作不一致。在查阅数据和实验后,我们认为有两个原因:(1)GCN是谱卷积的一阶局部逼近。它是一个多层图卷积神经网络,每个卷积层处理一阶邻域信息,并且堆叠多个卷积层可以实现多阶邻域信息传输。GAT是空间域卷积,图中的每个顶点相对于其邻居执行注意力操作,使其完全独立于图的结构,但是该图的结构特征也会丢失,效果可能会很差。(2)除了用户点击行为中的可见节点之外,还可能存在潜在的隐藏变量。GCN的处理方法可以提高模型的泛化能力使结果更好。另外,从表2中我们可以看到,在YOOCHOOSE数据集上,随着数据量的增加,GAT效果显着提高。再次证明,注意力机制有助于从会话数据中提取重要的行为数据以建立全局偏好,但对局部偏好的构建不敏感。
基于以上实验,足以证明我们提出了基于时空注意力模型和门控图神经网络框架(SAGG-RS),进一步提高了基于会话的推荐系统性能。该框架可以有效地捕获目标商品、不同用户的会话以及同一用户在不同时间段之间的复杂关系。SAGG-RS的关键是使用ARMAConv层,在该层的基础上,我们将全局偏好与会话中当前的兴趣相结合,以获得图形传输信号。并且在两个真实世界的数据集上进行了不同维度的广泛实验比较,再次证明将会话序列结构的商品数据转换到图神经网络学习过程中的合理性和有效性。

Claims (9)

1.一种基于时空序列图卷积网络的会话推荐方法,其特征在于,包括以下步骤:
S1:将所有会话序列建模为有向会话图;
S2:以会话中共有的商品为链接,构建全局图;
S3:将ARMA过滤器嵌入到门控图神经网络中,提取图模型中随时间变化的拓扑图信号,并得到会话图中涉及的各个节点的特征向量;
S4:采用注意力机制从用户历史会话中得到全局偏好信息;
S5:从用户点击的最后一个会话中获取用户的局部偏好信息,并结合全局偏好信息得到用户最终偏好信息;
S6:预测每个会话中下一点击商品可能出现的概率,并给出TOP-K的推荐商品。
2.根据权利要求1所述基于时空序列图卷积网络的会话推荐方法,其特征在于,S1中,具体包括:令I={i1,...,i|I|}代表所有用户的会话中交互的商品集合,|I|表示商品总数;令s={i1,...,i|s|}代表特定时间段内或特定事件中由特定用户的会话中交互的商品集合,|s|为会话序列长度;任一商品ik视为节点,其中1≤k≤|s|,将(ik-1,ik)视为用户在会话s中点击商品ik-1之后再点击商品ik所构成的边;将每个会话序列建模为有向图G=(N,E),N是节点集,E是边的集合。
3.根据权利要求1或2所述基于时空序列图卷积网络的会话推荐方法,其特征在于,S2具体包括:通过利用会话中的共有商品作为链接,将S1中构建的所有有向图组合成一个全局图,并将相对应的商品采用嵌入向量的形式表示,建立以下嵌入表:
Figure FDA0002660780170000011
式中,ei为嵌入空间后的节点向量,且ei∈Rd,表示商品i在通过所嵌入的向量空间后得到的潜在向量,其中d是维数,NE为商品固有属性的潜在特征。
4.根据权利要求1或2所述基于时空序列图卷积网络的会话推荐方法,其特征在于,S3中,所述节点的特征向量的获取方法为:
将ARMA过滤器与图卷积神经网络结合,形成ARMAConv层;ARMAConv层由多个图卷积跳模块组成,图卷积跳简称为GCS,来实现递归更新,节点的信号变化通过以下公式获得:
Figure FDA0002660780170000012
式中,
Figure FDA0002660780170000013
为节点在ARMAConv层中的t+1时刻的节点特征向量,
Figure FDA0002660780170000014
V(t)是参数,
Figure FDA0002660780170000015
是节点的初始特征,
Figure FDA0002660780170000016
是优化后的拉普拉斯,D为度矩阵,A为邻接矩阵,δ(·)表示sigmoid函数。
5.根据权利要求4所述基于时空序列图卷积网络的会话推荐方法,其特征在于,构造K个并行堆栈,每个堆栈具有T个GCS层,并将ARMAConv层的输出定义为:
Figure FDA0002660780170000021
式中,T为堆栈中GCS层的数量。
6.根据权利要求2所述基于时空序列图卷积网络的会话推荐方法,其特征在于,S5中,对于会话序列s={i1,...,i|s|},将用户当前会话的最后一个点击商品作为局部偏好信息,通过以下公式获得:
Figure FDA0002660780170000022
式中,xi|s|表示用户当前会话中最后一次点击的商品。
7.根据权利要求6所述基于时空序列图卷积网络的会话推荐方法,其特征在于,通过聚合全局图中所有的节点特征向量来作为会话的全局嵌入,并使用注意力机制计算用户全局偏好信息hg,其中注意力机制定义为:
Figure FDA0002660780170000023
式中,xi表示ARMAConv层后第i个商品节点的特征向量,W1是权重向量,W2和W3表示商品特征向量的权重矩阵,δ表示sigmoid函数,b表示神经网络中的偏置参数,αi表示当前会话前面历史商品xi的注意力系数;
全局偏好信息通过以下公式获得:
Figure FDA0002660780170000024
8.根据权利要求7所述基于时空序列图卷积网络的会话推荐方法,其特征在于,将全局偏好信息和局部偏好信息合并得到用户最终偏好信息,将用户在当前会话中的时间行为和主要目的都建模为统一表示ht,其中向量hg和hl是串联拼接,混合嵌入层的用户最终偏好信息表示为:
ht=W3[hg,h1]
9.根据权利要求8所述基于时空序列图卷积网络的会话推荐方法,其特征在于,S5中,通过用户的最终偏好信息和ARMAConv层后的第i个商品节点向量进行内积计算,通过softmax函数得到最终每个商品可能的被点击概率,概率较大的前K个商品将被作为推荐商品给用户,其中公式表示如下:
Figure FDA0002660780170000025
Figure FDA0002660780170000031
CN202010904114.4A 2020-09-01 2020-09-01 一种基于时空序列图卷积网络的会话推荐方法 Pending CN112035746A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010904114.4A CN112035746A (zh) 2020-09-01 2020-09-01 一种基于时空序列图卷积网络的会话推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010904114.4A CN112035746A (zh) 2020-09-01 2020-09-01 一种基于时空序列图卷积网络的会话推荐方法

Publications (1)

Publication Number Publication Date
CN112035746A true CN112035746A (zh) 2020-12-04

Family

ID=73590783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010904114.4A Pending CN112035746A (zh) 2020-09-01 2020-09-01 一种基于时空序列图卷积网络的会话推荐方法

Country Status (1)

Country Link
CN (1) CN112035746A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650933A (zh) * 2021-01-06 2021-04-13 大连理工大学 一种基于高阶聚合的图卷积融合多头注意力机制的会话推荐方法
CN112733027A (zh) * 2021-01-08 2021-04-30 西安交通大学 一种基于局部和全局表示模型联合学习的混合推荐算法
CN112733018A (zh) * 2020-12-31 2021-04-30 哈尔滨工程大学 一种基于图神经网络gnn和多任务学习的会话推荐方法
CN112948681A (zh) * 2021-03-12 2021-06-11 北京交通大学 一种融合多维度特征的时间序列数据推荐方法
CN112967112A (zh) * 2021-03-24 2021-06-15 武汉大学 一种自注意力机制和图神经网络的电商推荐方法
CN113256367A (zh) * 2021-04-25 2021-08-13 西安交通大学 基于用户行为历史数据的商品推荐方法、系统、设备及介质
CN113268660A (zh) * 2021-04-28 2021-08-17 重庆邮电大学 一种基于生成对抗网络的多样性推荐方法、装置及服务器
CN113360615A (zh) * 2021-06-02 2021-09-07 首都师范大学 基于知识图谱和时序特征的对话推荐方法、系统及设备
CN113420058A (zh) * 2021-07-01 2021-09-21 宁波大学 一种基于结合用户历史行为的对话式学术会议推荐方法
CN113468227A (zh) * 2021-06-25 2021-10-01 北京达佳互联信息技术有限公司 基于图神经网络的信息推荐方法、系统、设备和存储介质
CN113487018A (zh) * 2021-07-28 2021-10-08 辽宁工程技术大学 一种基于会话推荐的全局上下文增强图神经网络方法
CN113569143A (zh) * 2021-07-20 2021-10-29 上海明略人工智能(集团)有限公司 推荐结果的生成方法、装置、电子设备和计算机可读介质
CN113704441A (zh) * 2021-09-06 2021-11-26 中国计量大学 一种考虑物品和物品属性特征级别重要性的会话推荐方法
CN113704438A (zh) * 2021-09-06 2021-11-26 中国计量大学 一种基于分层注意力机制的异构图的会话推荐方法
CN113821724A (zh) * 2021-09-23 2021-12-21 湖南大学 一种基于时间间隔增强的图神经网络推荐方法
CN113850446A (zh) * 2021-10-22 2021-12-28 重庆理工大学 融合时空注意力和异构图卷积网络的信息扩散预测方法
CN113961816A (zh) * 2021-11-26 2022-01-21 重庆理工大学 一种基于结构增强的图卷积神经网络会话推荐方法
CN113988164A (zh) * 2021-10-21 2022-01-28 电子科技大学 一种面向代表点自注意力机制的轻量级点云目标检测方法
WO2022139479A1 (ko) * 2020-12-23 2022-06-30 삼성전자 주식회사 발생될 다음 이벤트를 예측하는 방법 및 디바이스
CN114862496A (zh) * 2022-04-06 2022-08-05 华南理工大学 一种基于用户个性化建模的会话推荐方法、装置及介质
WO2023035506A1 (zh) * 2021-09-07 2023-03-16 天翼电子商务有限公司 一种融合了序列信息的特征组合推荐算法框架
CN116028727A (zh) * 2023-03-30 2023-04-28 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN116342228A (zh) * 2023-05-18 2023-06-27 云筑信息科技(成都)有限公司 一种基于有向图神经网络的相关推荐的方法
CN117474637A (zh) * 2023-12-28 2024-01-30 中国海洋大学 基于时序图卷积网络的个性化商品推荐方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUANWEN WANG: "Session-Based Graph Convolutional ARMA Filter", 《IEEE ACCESS》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022139479A1 (ko) * 2020-12-23 2022-06-30 삼성전자 주식회사 발생될 다음 이벤트를 예측하는 방법 및 디바이스
CN112733018A (zh) * 2020-12-31 2021-04-30 哈尔滨工程大学 一种基于图神经网络gnn和多任务学习的会话推荐方法
CN112733018B (zh) * 2020-12-31 2022-12-06 哈尔滨工程大学 一种基于图神经网络gnn和多任务学习的会话推荐方法
CN112650933A (zh) * 2021-01-06 2021-04-13 大连理工大学 一种基于高阶聚合的图卷积融合多头注意力机制的会话推荐方法
CN112650933B (zh) * 2021-01-06 2024-05-07 大连理工大学 一种基于高阶聚合的图卷积融合多头注意力机制的会话推荐方法
CN112733027A (zh) * 2021-01-08 2021-04-30 西安交通大学 一种基于局部和全局表示模型联合学习的混合推荐算法
CN112733027B (zh) * 2021-01-08 2022-10-25 西安交通大学 一种基于局部和全局表示模型联合学习的混合推荐方法
CN112948681A (zh) * 2021-03-12 2021-06-11 北京交通大学 一种融合多维度特征的时间序列数据推荐方法
CN112948681B (zh) * 2021-03-12 2024-02-27 北京交通大学 一种融合多维度特征的时间序列数据推荐方法
CN112967112A (zh) * 2021-03-24 2021-06-15 武汉大学 一种自注意力机制和图神经网络的电商推荐方法
CN112967112B (zh) * 2021-03-24 2022-04-29 武汉大学 一种自注意力机制和图神经网络的电商推荐方法
CN113256367B (zh) * 2021-04-25 2023-06-06 西安交通大学 用户行为历史数据的商品推荐方法、系统、设备及介质
CN113256367A (zh) * 2021-04-25 2021-08-13 西安交通大学 基于用户行为历史数据的商品推荐方法、系统、设备及介质
CN113268660A (zh) * 2021-04-28 2021-08-17 重庆邮电大学 一种基于生成对抗网络的多样性推荐方法、装置及服务器
CN113360615B (zh) * 2021-06-02 2024-03-08 首都师范大学 基于知识图谱和时序特征的对话推荐方法、系统及设备
CN113360615A (zh) * 2021-06-02 2021-09-07 首都师范大学 基于知识图谱和时序特征的对话推荐方法、系统及设备
CN113468227A (zh) * 2021-06-25 2021-10-01 北京达佳互联信息技术有限公司 基于图神经网络的信息推荐方法、系统、设备和存储介质
CN113420058A (zh) * 2021-07-01 2021-09-21 宁波大学 一种基于结合用户历史行为的对话式学术会议推荐方法
CN113569143A (zh) * 2021-07-20 2021-10-29 上海明略人工智能(集团)有限公司 推荐结果的生成方法、装置、电子设备和计算机可读介质
CN113569143B (zh) * 2021-07-20 2024-02-27 上海明略人工智能(集团)有限公司 推荐结果的生成方法、装置、电子设备和计算机可读介质
CN113487018A (zh) * 2021-07-28 2021-10-08 辽宁工程技术大学 一种基于会话推荐的全局上下文增强图神经网络方法
CN113704438B (zh) * 2021-09-06 2022-02-22 中国计量大学 一种基于分层注意力机制的异构图的会话推荐方法
CN113704438A (zh) * 2021-09-06 2021-11-26 中国计量大学 一种基于分层注意力机制的异构图的会话推荐方法
CN113704441A (zh) * 2021-09-06 2021-11-26 中国计量大学 一种考虑物品和物品属性特征级别重要性的会话推荐方法
WO2023035506A1 (zh) * 2021-09-07 2023-03-16 天翼电子商务有限公司 一种融合了序列信息的特征组合推荐算法框架
CN113821724A (zh) * 2021-09-23 2021-12-21 湖南大学 一种基于时间间隔增强的图神经网络推荐方法
CN113821724B (zh) * 2021-09-23 2023-10-20 湖南大学 一种基于时间间隔增强的图神经网络推荐方法
CN113988164B (zh) * 2021-10-21 2023-08-08 电子科技大学 一种面向代表点自注意力机制的轻量级点云目标检测方法
CN113988164A (zh) * 2021-10-21 2022-01-28 电子科技大学 一种面向代表点自注意力机制的轻量级点云目标检测方法
CN113850446B (zh) * 2021-10-22 2022-08-12 重庆理工大学 融合时空注意力和异构图卷积网络的信息扩散预测方法
CN113850446A (zh) * 2021-10-22 2021-12-28 重庆理工大学 融合时空注意力和异构图卷积网络的信息扩散预测方法
CN113961816A (zh) * 2021-11-26 2022-01-21 重庆理工大学 一种基于结构增强的图卷积神经网络会话推荐方法
CN114862496A (zh) * 2022-04-06 2022-08-05 华南理工大学 一种基于用户个性化建模的会话推荐方法、装置及介质
CN116028727B (zh) * 2023-03-30 2023-08-18 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN116028727A (zh) * 2023-03-30 2023-04-28 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN116342228A (zh) * 2023-05-18 2023-06-27 云筑信息科技(成都)有限公司 一种基于有向图神经网络的相关推荐的方法
CN116342228B (zh) * 2023-05-18 2023-10-20 云筑信息科技(成都)有限公司 一种基于有向图神经网络的相关推荐的方法
CN117474637A (zh) * 2023-12-28 2024-01-30 中国海洋大学 基于时序图卷积网络的个性化商品推荐方法及系统
CN117474637B (zh) * 2023-12-28 2024-04-16 中国海洋大学 基于时序图卷积网络的个性化商品推荐方法及系统

Similar Documents

Publication Publication Date Title
CN112035746A (zh) 一种基于时空序列图卷积网络的会话推荐方法
CN112989064B (zh) 一种聚合知识图神经网络和自适应注意力的推荐方法
CN112905900B (zh) 基于图卷积注意力机制的协同过滤推荐方法
CN112364976B (zh) 基于会话推荐系统的用户偏好预测方法
CN108876044B (zh) 一种基于知识增强神经网络的线上内容流行度预测方法
CN113918832B (zh) 基于社交关系的图卷积协同过滤推荐系统
CN113918833B (zh) 通过社交网络关系的图卷积协同过滤实现的产品推荐方法
CN113918834B (zh) 融合社交关系的图卷积协同过滤推荐方法
Wang et al. Relational graph neural network with neighbor interactions for bundle recommendation service
Zarzour et al. RecDNNing: a recommender system using deep neural network with user and item embeddings
CN112364242A (zh) 针对上下文感知型的图卷积推荐系统
CN114595383A (zh) 一种基于会话序列的海洋环境数据推荐方法及系统
CN114036405A (zh) 一种基于图卷积网络的社交推荐方法与系统
CN113487018A (zh) 一种基于会话推荐的全局上下文增强图神经网络方法
Nápoles et al. Recommender system using long-term cognitive networks
Zhang et al. SEDGN: Sequence enhanced denoising graph neural network for session-based recommendation
Yang et al. Click-through rate prediction using transfer learning with fine-tuned parameters
CN113592593B (zh) 序列推荐模型的训练及应用方法、装置、设备及存储介质
CN117216281A (zh) 一种基于知识图谱的用户兴趣扩散推荐方法及系统
CN114282122A (zh) 一种高效非采样的图卷积网络推荐方法
CN113610610A (zh) 基于图神经网络和评论相似度的会话推荐方法和系统
CN113590976A (zh) 一种空间自适应图卷积网络的推荐方法
Li et al. Dynamic multi-view group preference learning for group behavior prediction in social networks
CN116304289A (zh) 基于图神经网络的供应链的信息链推荐方法及装置
CN114756694B (zh) 基于知识图谱的推荐系统、推荐方法和相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201204

WD01 Invention patent application deemed withdrawn after publication