CN112650945B - 一种基于gcn和ain的上下文感知推荐方法 - Google Patents

一种基于gcn和ain的上下文感知推荐方法 Download PDF

Info

Publication number
CN112650945B
CN112650945B CN202011598126.5A CN202011598126A CN112650945B CN 112650945 B CN112650945 B CN 112650945B CN 202011598126 A CN202011598126 A CN 202011598126A CN 112650945 B CN112650945 B CN 112650945B
Authority
CN
China
Prior art keywords
context
user
item
propagation
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011598126.5A
Other languages
English (en)
Other versions
CN112650945A (zh
Inventor
高茜
马鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202011598126.5A priority Critical patent/CN112650945B/zh
Publication of CN112650945A publication Critical patent/CN112650945A/zh
Application granted granted Critical
Publication of CN112650945B publication Critical patent/CN112650945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9536Search customisation based on social or collaborative filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开一种基于GCN和AIN的上下文感知推荐方法,涉及数据处理技术领域,其实现包括:首先获取用户的行为数据,通过引入嵌入向量建立上下文与用户的参数矩阵、上下文与项目的参数矩阵,随后利用图神经网络GCN分别捕获协同信号,并构造上下文到用户的交互传播消息、上下文到项目的交互传播消息,再随后,利用聚合函数和AIN聚合上下文到用户的交互传播消息,T次聚合后构成用户的最终嵌入,利用聚合函数聚合上下文到项目的交互传播消息,T次聚合后构成项目的最终嵌入;在用户的最终嵌入和项目的最终嵌入之间使用内积交互函数,输出用户对某个项目的预测概率。本发明能够向用户推荐更符合其需求的项目,具有较高的预测准确率。

Description

一种基于GCN和AIN的上下文感知推荐方法
技术领域
本发明涉及数据处理技术领域,具体的说是一种基于GCN和AIN的上下文感知推荐方法。
背景技术
自推荐系统概念提出以来,众多的研究者对推荐系统进行了大量研究,但是已有的研究工作主要集中于协同过滤、基于内容和物品的推荐以及基于模型的推荐方法。在用户和物品的二元关系上,根据已有信息计算用户和物品的相似性进而挖掘用户潜在的感兴趣的物品,但是没有考虑到时间、地点、社会环境、网络环境等上下文信息对用户偏好所造成的影响。
近年来,越来越多的研究者发现上下文信息对于提高推荐系统的推荐表现、准确建模用户对物品的兴趣偏好有着十分重要的作用,进而进行了大量的关于上下文感知推荐系统的研究。根据研究上下文感知推荐系统的时间顺序,大体上可分为以下两类。
(一)较早出现的传统的上下文感知推荐系统。
传统的上下文感知推荐系统包括三种范式:上下文预过滤、上下文后过滤和上下文建模。
(1)上下文预过滤范式利用上下文信息来进行数据选择和数据构建,即利用当前上下文信息对原数据进行过滤,构建和当前上下文信息相关的数据集,并以此进行推荐。
(2)上下文后过滤范式则是利用上下文信息对传统二维推荐技术生成的推荐结果进行过滤或者重新排序。
实际上,(1)、(2)两种范式都是将上下文感知推荐系统中的多维推荐问题降维成二维推荐问题,从而将问题难度降低,但它们需要在推荐的所有步骤中进行微调,并且他们也忽略了不同上下文信息之间的关联性。
(3)上下文建模范式则是将上下文信息直接考虑到建模的过程中,上下文建模范式通常是将上下文视为与用户、物品相似的一个或多个维度,并通过计算上下文与用户之间(或上下文与项目之间)的相关性来建模用户在特定上下文环境中对物品的喜好程度。
但是,这类普通的上下文建模方法也存在一些问题,他们无法直观的解释上下文与用户和项目之间的相关性。除此之外,传统的上下文建模方法大都是以线性方式(例如,矩阵分解、因子分解机)来建模上下文与用户(或项目)之间的交互作用,这难以建模上下文对用户和项目的复杂的、非线性的交互作用。并且,现有的上下文建模方法也无法区分不同上下文信息对用户和项目的不同作用。
(二)近些年来出现的基于深度学习的上下文感知推荐系统,这些系统主要涉及:
(1)Lei Mei等人研究的注意力交互网络(ATTenTive InTeracTion NeTwork,AIN)。AIN通过利用多层感知(MLP)建模上下文-用户交互和上下文-项目交互的方式来生成关于用户和项目的上下文感知表示,除此之外,AIN还利用注意力机制区分不同上下文信息对用户和项目的不同作用。因此,AIN不仅能够建模上下文对用户和项目的复杂的、非线性的交互作用,还能解释上下文与用户和项目的相关性。但缺点就是,AIN虽然能够利用多层感知器建模上下文-用户(项目)的交互作用,但无法建模上下文与用户(或项目)之间的协同信号。
(2)Xiang Wang等人提出的神经网络协同过滤(NGCF)方法。NGCF方法只考虑了用户和项目之间的协同信号,没有研究上下文的作用。他们认为若是用户u1和u2购买了相同的物品v1,那么用户u1和u2的兴趣就具有相似性,因此用户u1很可能会购买用户u2购买过的物品,而这种假设存在一定的局限性。
发明内容
本发明针对目前技术发展的需求和不足之处,提供一种基于GCN和AIN的上下文感知推荐方法。
本发明的一种基于GCN和AIN的上下文感知推荐方法,解决上述技术问题采用的技术方案如下:
一种基于GCN和AIN的上下文感知推荐方法,其实现内容包括:
步骤S1、获取用户的行为数据,并将数据划分为用户数据集、项目数据集、上下文因素数据集,其中,上下文因素数据集包含多个上下文因素,每个上下文因素是一个包含多个上下文的上下文数据集;
步骤S2、基于用户数据集、项目数据集、上下文数据集,分别引入嵌入向量,建立上下文与用户的参数矩阵、上下文与项目的参数矩阵,并将上下文与用户的参数矩阵、上下文与项目的参数矩阵作为嵌入查找表;
步骤S3、针对上下文与用户:
步骤S3.1、将上下文与用户的参数矩阵作为嵌入查找表,利用图神经网络GCN捕获嵌入查找表中上下文与用户之间的协同信号,并基于上下文与用户之间的协同信号,构造上下文到用户的交互传播消息,
步骤S3.2、基于聚合函数和注意力交互网络AIN,聚合上下文到用户的交互传播消息,分别聚合T次,进一步使用门控神经网络GRU聚合T次传播消息,建模用户随时间序列的偏好,构成用户的最终嵌入;
步骤S4、针对上下文与项目:
步骤S4.1、将上下文与项目的参数矩阵作为嵌入查找表,利用图神经网络GCN捕获嵌入查找表中上下文与项目之间的协同信号,并基于上下文与项目之间的协同信号,构造上下文到项目的交互传播消息,
步骤S4.2、基于聚合函数,聚合上下文到项目的交互传播消息,分别聚合T次,随后依次连接T次传播消息,构成项目的最终嵌入;
步骤S5、在用户的最终嵌入和项目的最终嵌入之间使用内积交互函数,输出用户对某个项目的预测概率。
具体的,用U表示用户数据集,用u表示用户,则u∈U;
用V表示项目数据集,用v表示用户,则v∈V;
用C表示上下文因素,假定有K个上下文因素,则上下文因素数据集表示为{C1,C2,C3,…,CK},任一个上下文数据集Ci={c1,c2,c3,…,ck},其中k=1,2,…,K。
更具体的,执行步骤S2时,
首先,引入嵌入向量eu∈Rd描述一个用户,引入嵌入向量ev∈Rd描述一个项目,引入嵌入向量ec∈Rd描述一个上下文环境,其中d表示嵌入大小,
随后,建立上下文与用户的参数矩阵
Figure BDA0002868627470000041
建立上下文与项目的参数矩阵
Figure BDA0002868627470000042
上述两个参数矩阵中的初始嵌入向量
Figure BDA0002868627470000043
相同。
更具体的,执行步骤S3.1,构造上下文到用户的交互传播消息,这一过程包括:
步骤S3.1.1、基于上下文c与用户u之间的协同信号,将上下文c到用户u的交互传播消息定义为:
mc→u=f(ec,eu,pu,c),
其中:mc→u为消息嵌入,即要传播的信息;f(·)是消息编码函数,f(·)以嵌入的ec和eu为输入,利用系数pu,c控制(u,c)之间每次传播的衰减因子执行卷积操作,建模c→u的消息传播;
步骤S3.1.2、基于定义的传播消息,f(·)的具体实现为公式(1):
Figure BDA0002868627470000051
其中:W1,W2∈Rd′×d为提取有用传播信息的可训练权重矩阵,d′为变换大小;⊙表示元素间的乘积,eu⊙ec传递的消息为eu和ec之间的交互编码,
Figure BDA0002868627470000052
表示图的拉普拉斯范数,也就是pu,c,Nu表示与用户u相连接的上下文数量,Nc表示在相同上下文环境cy下购买同一物品的用户数量。
更具体的,执行步骤S3.2,聚合上下文到用户的交互传播消息,这一过程包括:
S3.2.1、基于步骤3.1构造的交互传播消息,引入公式(2)计算每一个上下文对用户的注意力分数,
Figure BDA0002868627470000053
其中,ck表示用户u的任一上下文,
Figure BDA0002868627470000054
Figure BDA0002868627470000055
表示权重矩阵,
Figure BDA0002868627470000056
表示偏置项,上标ψ则用来标识和注意力交互网络AIN的模型参数;
S3.2.2、基于计算得到的每一个上下文对用户的注意力分数,引入公式(3)计算每一个上下文对用户的影响程度,使用sofTmax函数对所有上下文对用户的影响程度进行归一化处理,得到最终的注意力权重,
Figure BDA0002868627470000061
其中,m=1,2,...,M,cm表示用户u的任一上下文,a(u,ck)表示第k个上下文对用户u的注意力分数,a(u,cn)表示第n个上下文对用户u的注意力分数;
S3.2.3、T=1时,引入聚合函数公式(4),聚合上下文到用户的交互传播消息,
Figure BDA0002868627470000062
其中,
Figure BDA0002868627470000063
表示第一次传播后得到的用户u的表示,β(u,ck)表示每一个上下文对用户的影响程度;
T>=2时,参考附图1,引入聚合函数公式(5),T次聚合上下文到用户的交互传播消息,
Figure BDA0002868627470000064
其中,
Figure BDA0002868627470000065
表示第T次传播后得到的用户u的表示,β(u,ck)表示每一个上下文c对用户的影响程度。
更具体的,T次聚合上下文到用户的交互传播消息后,依次得到用户u的多个表示,即
Figure BDA0002868627470000066
随后利用公式(6)、(7)、(8)、(9)、(10),通过门控神经网络GRU聚合T次传播消息,构成用户的最终嵌入,
Figure BDA0002868627470000067
Figure BDA0002868627470000068
Figure BDA0002868627470000071
Figure BDA0002868627470000072
Figure BDA0002868627470000073
其中,
Figure BDA0002868627470000074
Wz、Wr、Wh、bz、br、和bh为更新门控神经网络GRU的权值和偏差,
Figure BDA0002868627470000075
Figure BDA0002868627470000076
分别是更新门矢量和重置门矢量。
更具体的,执行步骤S4.1,构造上下文到项目的交互传播消息,这一过程包括:
步骤S4.1.1、基于上下文c与项目v之间的协同信号,将上下文c到项目v的交互传播消息定义为:
mc→v=f(ec,ev,pv,c),
其中:mc→v为消息嵌入,即要传播的信息;f(·)是消息编码函数,f(·)以嵌入的ec和ev为输入,利用系数pv,c控制(v,c)之间每次传播的衰减因子执行卷积操作,建模c→v的消息传播;
步骤S4.1.2、基于定义的传播消息,f(·)的具体实现为公式(11):
Figure BDA0002868627470000077
其中:W1,W2∈Rd′×d为提取有用传播信息的可训练权重矩阵,d′为变换大小;⊙表示元素间的乘积,ev⊙ec传递的消息为ev和ec之间的交互编码,
Figure BDA0002868627470000078
表示图的拉普拉斯范数,也就是pv,c,Nv表示与项目v相连接的上下文数量,Nc表示在相同上下文c环境下同一用户购买物品的数量。
更具体的,执行步骤S4.2,
T=1时,引入聚合函数公式(4’),聚合上下文到项目的交互传播消息,
Figure BDA0002868627470000081
其中,
Figure BDA0002868627470000082
表示第一次传播后得到的项目v的表示;
T>=2时,参考附图1,引入聚合函数公式(5’),T次聚合上下文到项目的交互传播消息,
Figure BDA0002868627470000083
其中,
Figure BDA0002868627470000084
表示第T次传播后得到的项目v的表示;
T次聚合上下文到项目的交互传播消息后,依次得到项目v的多个表示,即
Figure BDA0002868627470000085
随后利用公式(12),连接T次传播消息,构成项目的最终嵌入,
Figure BDA0002868627470000086
更具体的,执行步骤S5时,引入公式(13),
Figure BDA0002868627470000087
计算用户的最终嵌入和项目的最终嵌入两者的内积交互函数,输出用户对某个项目的预测概率。
更具体的,得到公式(13)后,可以对其进行验证:将用户当下上下文环境下所购买的项目作为正样本标签,将用户当下上下文环境下未购买的项目作为负样本标签,引入公式(14)、公式(15),用一个sofTmax层来计算预测类概率,使用交叉熵作为损失函数,优化公式(13),
Figure BDA0002868627470000091
Figure BDA0002868627470000092
其中,
Figure BDA0002868627470000093
表示用户对第j个抽样项目的预测概率分布,yj是用户对第j个项目的真实概率分布,O是V的一个抽样子集,包括正样本标签和负样本标签,
公式(15)计算得到的损失函数值越小,表示预测概率越准确。
本发明的一种基于GCN和AIN的上下文感知推荐方法,与现有技术相比具有的有益效果是:
(1)本发明一方面通过神经网络GCN捕获上下文与用户之间的协同信号,进而构造上下文到用户的交互传播消息,通过聚合函数和注意力交互网络AIN聚合上下文到用户的交互传播消息T次,随后使用门控神经网络GRU聚合T次传播消息,建模用户随时间序列的偏好,构成用户的最终嵌入,另一方面通过神经网络GCN捕获上下文与项目之间的协同信号,进而构造上下文到项目的交互传播消息,通过聚合函数聚合上下文到项目的交互传播消息T次,依次连接T次传播消息,构成项目的最终嵌入,最后,在用户的最终嵌入和项目的最终嵌入之间使用内积交互函数,输出用户对某个项目的预测概率;
(2)本发明通过分析用户的历史数据,能够向用户推荐更符合其期待或需求的项目,与现有上下文感知推荐方法相比,具有较高的预测准确率。
附图说明
附图1是本发明中使用门控神经网络GRU聚合T次传播消息的过程示意图。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白,以下结合具体实施例,对本发明的技术方案进行清楚、完整的描述。
实施例一:
本实施例提出一种基于GCN和AIN的上下文感知推荐方法,其实现内容包括:
(一)获取用户的行为数据,行为数据包含用户u、项目v、上下文因素C,将数据划分为用户数据集U、项目数据集V、上下文因素数据集{C1,C2,C3,…,CK},其中,u∈U,v∈V,任一个上下文数据集Ci={c1,c2,c3,…,ck},其中k=1,2,…,K。
(二)基于用户数据集U、项目数据集V、上下文数据集C1={c1,c2,c3,…,ck},其中k=1,2,…,K,
首先,引入嵌入向量eu∈Rd描述一个用户,引入嵌入向量ev∈Rd描述一个项目,引入嵌入向量ec∈Rd描述一个上下文环境,其中d表示嵌入大小,
随后,建立上下文与用户的参数矩阵
Figure BDA0002868627470000101
建立上下文与项目的参数矩阵
Figure BDA0002868627470000102
上述两个参数矩阵中的初始嵌入向量
Figure BDA0002868627470000103
相同,
最后,将上下文与用户的参数矩阵、上下文与项目的参数矩阵作为嵌入查找表。
(三)针对上下文与用户:
步骤S3.1、将上下文与用户的参数矩阵作为嵌入查找表,利用图神经网络GCN捕获嵌入查找表中上下文与用户之间的协同信号,并基于上下文与用户之间的协同信号,构造上下文到用户的交互传播消息,具体为:
步骤S3.1.1、基于上下文c与用户u之间的协同信号,将上下文c到用户u的交互传播消息定义为:
mc→u=f(ec,eu,pu,c),
其中:mc→u为消息嵌入,即要传播的信息;f(·)是消息编码函数,f(·)以嵌入的ec和eu为输入,利用系数pu,c控制(u,c)之间每次传播的衰减因子执行卷积操作,建模c→u的消息传播;
步骤S3.1.2、基于定义的传播消息,f(·)的具体实现为公式(1):
Figure BDA0002868627470000111
其中:W1,W2∈Rd′×d为提取有用传播信息的可训练权重矩阵,d′为变换大小;⊙表示元素间的乘积,eu⊙ec传递的消息为eu和ec之间的交互编码,
Figure BDA0002868627470000112
表示图的拉普拉斯范数,也就是pu,c,Nu表示与用户u相连接的上下文数量,Nc表示在相同上下文c环境下购买同一物品的用户数量。
步骤S3.2、基于聚合函数和注意力交互网络AIN,聚合上下文到用户的交互传播消息,分别聚合T次,进一步使用门控神经网络GRU聚合T次传播消息,建模用户随时间序列的偏好,构成用户的最终嵌入。
执行步骤S3.2时,聚合上下文到用户的交互传播消息,具体为:
S3.2.1、基于步骤3.1构造的交互传播消息,引入公式(2)计算每一个上下文对用户的注意力分数,
Figure BDA0002868627470000121
其中,ck表示用户u的任一上下文,
Figure BDA0002868627470000122
Figure BDA0002868627470000123
表示权重矩阵,
Figure BDA0002868627470000124
表示偏置项,上标ψ则用来标识和注意力交互网络AIN的模型参数;
S3.2.2、基于计算得到的每一个上下文对用户的注意力分数,引入公式(3)计算每一个上下文对用户的影响程度,使用sofTmax函数对所有上下文对用户的影响程度进行归一化处理,得到最终的注意力权重,
Figure BDA0002868627470000125
其中,m=1,2,...,M,cm表示用户u的任一上下文,a(u,ck)表示第k个上下文对用户u的注意力分数,a(u,cn)表示第n个上下文对用户u的注意力分数;
S3.2.3、T=1时,引入聚合函数公式(4),聚合上下文到用户的交互传播消息,
Figure BDA0002868627470000126
其中,
Figure BDA0002868627470000127
表示第一次传播后得到的用户u的表示,β(u,ck)表示每一个上下文对用户的影响程度;
T>=2时,参考附图1,引入聚合函数公式(5),T次聚合上下文到用户的交互传播消息,
Figure BDA0002868627470000128
其中,
Figure BDA0002868627470000129
表示第T次传播后得到的用户u的表示,β(u,ck)表示每一个上下文对用户的影响程度。
T次聚合上下文到用户的交互传播消息后,依次得到用户u的多个表示,即
Figure BDA0002868627470000131
随后利用公式(6)、(7)、(8)、(9)、(10),通过门控神经网络GRU聚合T次传播消息,构成用户的最终嵌入,
Figure BDA0002868627470000132
Figure BDA0002868627470000133
Figure BDA0002868627470000134
Figure BDA0002868627470000135
Figure BDA0002868627470000136
其中,
Figure BDA0002868627470000137
Wz、Wr、Wh、bz、br、和bh为更新门控神经网络GRU的权值和偏差,
Figure BDA0002868627470000138
Figure BDA0002868627470000139
分别是更新门矢量和重置门矢量。
(四)针对上下文与项目:
步骤S4.1、将上下文与项目的参数矩阵作为嵌入查找表,利用图神经网络GCN捕获嵌入查找表中上下文与项目之间的协同信号,并基于上下文与项目之间的协同信号,构造上下文到项目的交互传播消息,具体为:
步骤S4.1.1、基于上下文c与项目v之间的协同信号,将上下文c到项目v的交互传播消息定义为:
mc→v=f(ec,ev,pv,c),
其中:mc→v为消息嵌入,即要传播的信息;f(·)是消息编码函数,f(·)以嵌入的ec和ev为输入,利用系数pv,c控制(v,c)之间每次传播的衰减因子执行卷积操作,建模c→v的消息传播;
步骤S4.1.2、基于定义的传播消息,f(·)的具体实现为公式(11):
Figure BDA0002868627470000141
其中:W1,W2∈Rd′×d为提取有用传播信息的可训练权重矩阵,d′为变换大小;⊙表示元素间的乘积,ev⊙ec传递的消息为ev和ec之间的交互编码,
Figure BDA0002868627470000142
表示图的拉普拉斯范数,也就是pv,c,Nv表示与项目v相连接的上下文数量,Nc表示在相同上下文c环境下同一用户购买物品的数量。
步骤S4.2、基于聚合函数,聚合上下文到项目的交互传播消息,分别聚合T次,随后依次连接T次传播消息,构成项目的最终嵌入,这一过程中,
T=1时,引入聚合函数公式(4’),聚合上下文到项目的交互传播消息,
Figure BDA0002868627470000143
其中,
Figure BDA0002868627470000144
表示第一次传播后得到的项目v的表示;
T>=2时,参考附图1,引入聚合函数公式(5’),T次聚合上下文到项目的交互传播消息,
Figure BDA0002868627470000145
其中,
Figure BDA0002868627470000151
表示第T次传播后得到的项目v的表示。
T次聚合上下文到项目的交互传播消息后,依次得到项目v的多个表示,即
Figure BDA0002868627470000152
随后利用公式(12),连接T次传播消息,构成项目的最终嵌入,
Figure BDA0002868627470000153
(五)在用户的最终嵌入和项目的最终嵌入之间使用内积交互函数,如公式(13),输出用户对某个项目的预测概率,
Figure BDA0002868627470000154
其中,
Figure BDA0002868627470000155
表示用户的最终嵌入,
Figure BDA0002868627470000156
表示项目的最终嵌入。
需要补充的是,得到公式(13)后,可以对其进行验证:将用户当下上下文环境下所购买的项目作为正样本标签,将用户当下上下文环境下未购买的项目作为负样本标签,引入公式(14)、公式(15),用一个sofTmax层来计算预测类概率,使用交叉熵作为损失函数,优化公式(13),
Figure BDA0002868627470000157
Figure BDA0002868627470000158
其中,
Figure BDA0002868627470000159
表示用户对第j个抽样项目的预测概率分布,yj是用户对第j个项目的真实概率分布,O是V的一个抽样子集,包括正样本标签和负样本标签。
公式(15)计算得到的损失函数值越小,表示预测概率越准确。
综上可知,采用本发明的一种基于GCN和AIN的上下文感知推荐方法,能够向用户推荐更符合其期待或需求的项目,与现有上下文感知推荐方法相比,具有较高的预测准确率。
以上应用具体个例对本发明的原理及实施方式进行了详细阐述,这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例,本技术领域的技术人员在不脱离本发明原理的前提下,对本发明所作出的任何改进和修饰,皆应落入本发明的专利保护范围。

Claims (7)

1.一种基于GCN和AIN的上下文感知推荐方法,其特征在于,其实现内容包括:
步骤S1、获取用户的行为数据,并将数据划分为用户数据集、项目数据集、上下文因素数据集,其中,
用U表示用户数据集,用u表示用户,则u∈U,
用V表示项目数据集,用V表示用户,则V∈V,
上下文因素数据集包含多个上下文因素,每个上下文因素是一个包含多个上下文的上下文数据集,用C表示上下文因素,假定有K个上下文因素,则上下文因素数据集表示为{C1,C2,C3,…,CK},任一个上下文数据集Ci={c1,c2,c3,…,ck},其中k=1,2,…,K;
步骤S2、基于用户数据集、项目数据集、上下文数据集,首先,引入嵌入向量eu∈Rd描述一个用户,引入嵌入向量ev∈Rd描述一个项目,引入嵌入向量ec∈Rd描述一个上下文环境,其中d表示嵌入大小,随后,建立上下文与用户的参数矩阵
Figure FDA0003764208050000011
建立上下文与项目的参数矩阵
Figure FDA0003764208050000012
其中这两个参数矩阵中的初始嵌入向量
Figure FDA0003764208050000013
相同,并将上下文与用户的参数矩阵、上下文与项目的参数矩阵作为嵌入查找表;
步骤S3、针对上下文与用户:
步骤S3.1、将上下文与用户的参数矩阵作为嵌入查找表,利用图神经网络GCN捕获嵌入查找表中上下文与用户之间的协同信号,并基于上下文与用户之间的协同信号,构造上下文到用户的交互传播消息,这一过程包括:
步骤S3.1.1、基于上下文c与用户u之间的协同信号,将上下文c到用户u的交互传播消息定义为:
mc→u=f(ec,eu,pu,c),
其中:mc→u为消息嵌入,即要传播的信息;f(·)是消息编码函数,f(·)以嵌入的ec和eu为输入,利用系数pu,c控制(u,c)之间每次传播的衰减因子执行卷积操作,建模c→u的消息传播,
步骤S3.1.2、基于定义的传播消息,f(·)的具体实现为公式(1):
Figure FDA0003764208050000021
其中:W1,W2∈Rd′×d为提取有用传播信息的可训练权重矩阵,d′为变换大小;⊙表示元素间的乘积,eu⊙ec传递的消息为eu和ec之间的交互编码,
Figure FDA0003764208050000022
表示图的拉普拉斯范数,也就是pu,c,Nu表示与用户u相连接的上下文数量,Nc表示在相同上下文c环境下购买同一物品的用户数量,
步骤S3.2、基于聚合函数和注意力交互网络AIN,聚合上下文到用户的交互传播消息,分别聚合T次,进一步使用门控神经网络GRU聚合T次传播消息,建模用户随时间序列的偏好,构成用户的最终嵌入;
步骤S4、针对上下文与项目:
步骤S4.1、将上下文与项目的参数矩阵作为嵌入查找表,利用图神经网络GCN捕获嵌入查找表中上下文与项目之间的协同信号,并基于上下文与项目之间的协同信号,构造上下文到项目的交互传播消息,
步骤S4.2、基于聚合函数,聚合上下文到项目的交互传播消息,分别聚合T次,随后依次连接T次传播消息,构成项目的最终嵌入;
步骤S5、在用户的最终嵌入和项目的最终嵌入之间使用内积交互函数,输出用户对某个项目的预测概率。
2.根据权利要求1所述的一种基于GCN和AIN的上下文感知推荐方法,其特征在于,执行步骤S3.2,聚合上下文到用户的交互传播消息,这一过程包括:
S3.2.1、基于步骤3.1构造的交互传播消息,引入公式(2)计算每一个上下文对用户的注意力分数,
Figure FDA0003764208050000031
其中,ck表示用户u的任一上下文,
Figure FDA0003764208050000032
Figure FDA0003764208050000033
表示权重矩阵,
Figure FDA0003764208050000034
表示偏置项,上标ψ则用来标识和注意力交互网络AIN的模型参数;
S3.2.2、基于计算得到的每一个上下文对用户的注意力分数,引入公式(3)计算每一个上下文对用户的影响程度,使用sofTmax函数对所有上下文对用户的影响程度进行归一化处理,得到最终的注意力权重,
Figure FDA0003764208050000035
其中,m=1,2,...,M,cm表示用户u的任一上下文,a(u,ck)表示第k个上下文对用户u的注意力分数,a(u,cn)表示第n个上下文对用户u的注意力分数;
S3.2.3、T=1时,引入聚合函数公式(4),聚合上下文到用户的交互传播消息,
Figure FDA0003764208050000036
其中,
Figure FDA0003764208050000037
Figure FDA0003764208050000038
表示第一次传播后得到的用户u的表示,β(u,ck)表示每一个上下文对用户u的影响程度;
T>=2时,引入聚合函数公式(5),T次聚合上下文到用户的交互传播消息,
Figure FDA0003764208050000041
其中,
Figure FDA0003764208050000042
Figure FDA0003764208050000043
表示第T次传播后得到的用户u的表示,β(u,ck)表示每一个上下文对用户u的影响程度。
3.根据权利要求2所述的一种基于GCN和AIN的上下文感知推荐方法,其特征在于,T次聚合上下文到用户的交互传播消息后,依次得到用户u的多个表示,即
Figure FDA0003764208050000044
随后利用公式(6)、(7)、(8)、(9)、(10),通过门控神经网络GRU聚合T次传播消息,构成用户的最终嵌入,
Figure FDA0003764208050000045
Figure FDA0003764208050000046
Figure FDA0003764208050000047
Figure FDA0003764208050000048
Figure FDA0003764208050000049
其中,
Figure FDA00037642080500000410
和bh为更新门控神经网络GRU的权值和偏差,
Figure FDA00037642080500000411
Figure FDA00037642080500000412
分别是更新门矢量和重置门矢量。
4.根据权利要求3所述的一种基于GCN和AIN的上下文感知推荐方法,其特征在于,执行步骤S4.1,构造上下文到项目的交互传播消息,这一过程包括:
步骤S4.1.1、基于上下文c与项目v之间的协同信号,将上下文c到项目v的交互传播消息定义为:
mc→v=f(ec,ev,pv,c),
其中:mc→v为消息嵌入,即要传播的信息;f(·)是消息编码函数,f(·)以嵌入的ec和ev为输入,利用系数pv,c控制(v,c)之间每次传播的衰减因子执行卷积操作,建模c→v的消息传播;
步骤S4.1.2、基于定义的传播消息,f(·)的具体实现为公式(11):
Figure FDA0003764208050000051
其中:W1,W2∈Rd′×d为提取有用传播信息的可训练权重矩阵,d′为变换大小;⊙表示元素间的乘积,ev⊙ec传递的消息为ev和ec之间的交互编码,
Figure FDA0003764208050000052
表示图的拉普拉斯范数,也就是pv,c,Nv表示与项目V相连接的上下文数量,Nc表示在相同上下文环境c下同一用户购买物品的数量。
5.根据权利要求4所述的一种基于GCN和AIN的上下文感知推荐方法,其特征在于,执行步骤S4.2,
T=1时,引入聚合函数公式(4’),聚合上下文到项目的交互传播消息,
Figure FDA0003764208050000053
其中,
Figure FDA0003764208050000054
Figure FDA0003764208050000055
表示第一次传播后得到的项目v的表示;
T>=2时,引入聚合函数公式(5’),T次聚合上下文到项目的交互传播消息,
Figure FDA0003764208050000056
其中,
Figure FDA0003764208050000061
Figure FDA0003764208050000062
表示第T次传播后得到的项目v的表示;
T次聚合上下文到项目的交互传播消息后,依次得到项目v的多个表示,即
Figure FDA0003764208050000063
随后利用公式(12),连接T次传播消息,构成项目的最终嵌入,
Figure FDA0003764208050000064
6.根据权利要求5所述的一种基于GCN和AIN的上下文感知推荐方法,其特征在于,执行步骤S5时,引入公式(13),
Figure FDA0003764208050000065
计算用户的最终嵌入和项目的最终嵌入两者的内积交互函数,输出用户对某个项目的预测概率。
7.根据权利要求6所述的一种基于GCN和AIN的上下文感知推荐方法,其特征在于,得到公式(13)后,可以对其进行验证:将用户当下上下文环境下所购买的项目作为正样本标签,将用户当下上下文环境下未购买的项目作为负样本标签,引入公式(14)、公式(15),用一个sofTmax层来计算预测类概率,使用交叉熵作为损失函数,优化公式(13),
Figure FDA0003764208050000066
Figure FDA0003764208050000067
其中,
Figure FDA0003764208050000068
表示用户对第j个抽样项目的预测概率分布,yj是用户对第j个项目的真实概率分布,0是V的一个抽样子集,包括正样本标签和负样本标签,
公式(15)计算得到的损失函数值越小,表示预测概率越准确。
CN202011598126.5A 2020-12-29 2020-12-29 一种基于gcn和ain的上下文感知推荐方法 Active CN112650945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011598126.5A CN112650945B (zh) 2020-12-29 2020-12-29 一种基于gcn和ain的上下文感知推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011598126.5A CN112650945B (zh) 2020-12-29 2020-12-29 一种基于gcn和ain的上下文感知推荐方法

Publications (2)

Publication Number Publication Date
CN112650945A CN112650945A (zh) 2021-04-13
CN112650945B true CN112650945B (zh) 2022-09-06

Family

ID=75363909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011598126.5A Active CN112650945B (zh) 2020-12-29 2020-12-29 一种基于gcn和ain的上下文感知推荐方法

Country Status (1)

Country Link
CN (1) CN112650945B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108287904A (zh) * 2018-05-09 2018-07-17 重庆邮电大学 一种基于社会化卷积矩阵分解的文档上下文感知推荐方法
CN110619081A (zh) * 2019-09-20 2019-12-27 苏州市职业大学 一种基于交互图神经网络的新闻推送方法
CN110879864A (zh) * 2019-10-29 2020-03-13 南京大学 一种基于图神经网络和注意力机制的上下文推荐方法
CN111259235A (zh) * 2020-01-09 2020-06-09 齐鲁工业大学 基于上下文感知及特征交互建模的个性化推荐方法及系统
CN112084407A (zh) * 2020-09-08 2020-12-15 辽宁工程技术大学 一种融合图神经网络和注意力机制的协同过滤推荐方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321494B (zh) * 2019-06-26 2021-08-31 北京交通大学 基于矩阵分解与网络嵌入联合模型的社会化推荐方法
CN111400494B (zh) * 2020-03-16 2023-07-07 江南大学 一种基于GCN-Attention的情感分析方法
CN111931052B (zh) * 2020-08-10 2023-09-15 齐鲁工业大学 基于特征交互图神经网络的上下文感知推荐方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108287904A (zh) * 2018-05-09 2018-07-17 重庆邮电大学 一种基于社会化卷积矩阵分解的文档上下文感知推荐方法
CN110619081A (zh) * 2019-09-20 2019-12-27 苏州市职业大学 一种基于交互图神经网络的新闻推送方法
CN110879864A (zh) * 2019-10-29 2020-03-13 南京大学 一种基于图神经网络和注意力机制的上下文推荐方法
CN111259235A (zh) * 2020-01-09 2020-06-09 齐鲁工业大学 基于上下文感知及特征交互建模的个性化推荐方法及系统
CN112084407A (zh) * 2020-09-08 2020-12-15 辽宁工程技术大学 一种融合图神经网络和注意力机制的协同过滤推荐方法

Also Published As

Publication number Publication date
CN112650945A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
Pan et al. Study on convolutional neural network and its application in data mining and sales forecasting for E-commerce
CN111310063B (zh) 基于神经网络的记忆感知门控因子分解机物品推荐方法
WO2021139415A1 (zh) 数据处理方法、装置、计算机可读存储介质及电子设备
CN111949886B (zh) 一种用于信息推荐的样本数据生成方法和相关装置
CN110866145A (zh) 一种共同偏好辅助的深度单类协同过滤推荐方法
CN113094587B (zh) 一种基于知识图谱路径的隐式推荐方法
CN113918764B (zh) 一种基于交叉模态融合的电影推荐系统
CN112712418A (zh) 推荐商品信息的确定方法和装置、存储介质及电子设备
CN117788122B (zh) 一种基于异质图神经网络商品推荐方法
Tay et al. Holographic factorization machines for recommendation
CN115545832A (zh) 商品搜索推荐方法及其装置、设备、介质
CN116071128A (zh) 一种基于多行为特征提取与自监督学习的多任务推荐方法
Kong et al. DADIN: Domain Adversarial Deep Interest Network for cross domain recommender systems
CN116186309B (zh) 基于融合用户意图的交互兴趣图的图卷积网络推荐方法
CN112650945B (zh) 一种基于gcn和ain的上下文感知推荐方法
CN117235375A (zh) 基于图神经网络与元学习的用户多行为推荐方法
CN114491055B (zh) 基于知识图谱的推荐方法
CN115545833A (zh) 一种基于用户社交信息的推荐方法及系统
CN115391555A (zh) 一种用户感知的知识图谱推荐系统及方法
He et al. AAIN: Attentional aggregative interaction network for deep learning based recommender systems
Sun et al. DeepPRFM: Pairwise Ranking Factorization Machine Based on Deep Neural Network Enhancement
Shi et al. Recommender system for telecom packages based on the deep & cross network
CN118552261B (zh) 基于多梯度兴趣上下文网络的点击率预测方法
Kamani et al. Cross-domain recommender systems via multimodal domain adaptation
CN115618130A (zh) 一种基于属性和社交关系的推荐模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501

Patentee after: Qilu University of Technology (Shandong Academy of Sciences)

Country or region after: China

Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501

Patentee before: Qilu University of Technology

Country or region before: China