CN112084407A - 一种融合图神经网络和注意力机制的协同过滤推荐方法 - Google Patents

一种融合图神经网络和注意力机制的协同过滤推荐方法 Download PDF

Info

Publication number
CN112084407A
CN112084407A CN202010934802.5A CN202010934802A CN112084407A CN 112084407 A CN112084407 A CN 112084407A CN 202010934802 A CN202010934802 A CN 202010934802A CN 112084407 A CN112084407 A CN 112084407A
Authority
CN
China
Prior art keywords
user
item
embedding
constructing
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010934802.5A
Other languages
English (en)
Other versions
CN112084407B (zh
Inventor
张全贵
任思楠
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Technical University
Original Assignee
Liaoning Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Technical University filed Critical Liaoning Technical University
Priority to CN202010934802.5A priority Critical patent/CN112084407B/zh
Publication of CN112084407A publication Critical patent/CN112084407A/zh
Application granted granted Critical
Publication of CN112084407B publication Critical patent/CN112084407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种融合图神经网络和注意力机制的协同过滤推荐方法(AGCF)，该方法包括以下步骤：S1、数据采集及处理；S2、划分数据集；S3、构建融合模型；S4、模型的训练及项目推荐。本发明考虑在图结构中学习嵌入表示，通过嵌入传播在用户项目交互图上建模高阶连通性，让模型可以表达高维特征，显式地将协同过滤信号映射到嵌入过程中，获得更有效的嵌入；在得到的特征矩阵上引入CNN(Convolutional Neural Network)学习特征中每一维度之间的高阶相互关系，CNN尤其能抓住矩阵的局部和全局信息特征，而且具有较少的参数，因此更容易训练和泛化，另外，分层的塔式结构也使得高层集成了更丰富的信息，多层的神经网络结构也赋予模型高水平的灵活性和非线性建模能力。

Description

一种融合图神经网络和注意力机制的协同过滤推荐方法
技术领域
本发明属于计算机人工智能的技术领域，尤其涉及一种融合图神经网络和注意力机制的协同过滤推荐方法。
背景技术
推荐系统在我们的生活、学习、工作和娱乐中扮演着越来越重要的的角色，但很多时候我们收到的推荐都是不相关的、重复的、不感兴趣的产品和服务。所以在合适的时间给合适的人群推荐最相关的产品尤为重要。近年来，由于图结构的强大表现力，利用机器学习方法对图的研究越来越受到重视，其具有较好的性能和可解释性。因此，本发明将图神经网络与注意力机制相融合，通过在用户项目交互图结构上加入嵌入传播层来建模用户项目图的高阶连通性，以一种显式的方式将协同过滤信号注入到嵌入过程中，更好的学习用户和项目的嵌入表示，同时引入注意力机制捕获用户对不同项目的不同方面的注意力情况，学习嵌入传播过程中邻居的可变权重和不同阶的连接性，这将有利于模型的泛化和可解释性。
发明内容
基于以上现有技术的不足，本发明所解决的技术问题在于提供一种融合图神经网络和注意力机制的协同过滤推荐方法，具有良好的推荐精度和可解释性。
为了解决上述技术问题，本发明通过以下技术方案来实现：
本发明提供的融合图神经网络和注意力机制的协同过滤推荐方法，包括以下步骤：
S1、数据采集及处理；
S2、划分数据集：将处理好的数据集随机选取80％的历史交互作为训练集，用于训练模型；其余作为测试集，用于评估模型的泛化能力；从训练集中随机选取10％的交互作为验证集，用于调整超参数；对每一个可以观察到的用户项目交互，将其视为正例，然后执行负采样策略为用户没有交互过的项目配对负例；
S3、构建融合模型：通过神经网络学习嵌入传播过程中的高阶连通性；注意力机制学习嵌入传播过程中邻居的可变权重和不同阶的连接性；
S4、模型的训练及项目推荐：将步骤S2中得到的训练集和测试集分别用于训练和评估步骤S3中构建的融合模型，根据最终的预测概率判断是否将项目推荐给用户。
优选的，所述步骤S1的数据采集及处理的具体步骤如下：
S101、将下载的MovieLens 1M数据集进行数据预处理；
S102、将五级评分矩阵
Figure BDA0002671555130000021
转化为二值化偏好矩阵；
S103、使用10-core设置，即保留至少有10次交互的用户和项目。
所述步骤S3中构建融合模型的具体步骤如下：
S301、构建输入层：输入层包括四个输入内容，用户项目id和用户项目的邻居向量；
S302、构建融合图神经网络和注意力机制的协同过滤推荐模型(AGCF)：构建基于GNN的消息传递体系结构，沿图结构捕获CF信号，并细化用户和项目的嵌入；构建用户显式特征和项目显式特征的学习框架，在此基础上引入注意力机制，以学习嵌入传播过程中邻居的可变权重和不同阶的连接性；
S303、构建输出层：预测用户对项目的评分，判断是否将该项目推荐给用户。
进一步的，所述步骤S302中构建基于GNN的消息传递体系结构和融合注意力机制框架的具体步骤如下：
S302-1、构建基于GNN的消息传递体系结构：将用户和项目id通过嵌入层映射为稠密向量，得到初始的用户和项目的嵌入
Figure BDA0002671555130000031
和
Figure BDA0002671555130000032
表示用户和项目的潜在特征；
S302-2、通过注入高阶连通性来细化嵌入；
S302-3、为用户和项目构建邻域信息，将用户项目的邻居向量通过嵌入层映射为稠密向量，交互网络本质上就是一个二部图，其中顶点代表用户和项目，边代表用户和项目的交互，仅当用户和项目之间有边时才表示是用户的邻域信息，项目的邻域信息也如此构建，引入注意力机制来学习嵌入传播过程中邻居的可变权重和不同阶的连接性，得到用户和项目的显式特征；
S302-4、将通过嵌入传播层得到的用户项目mid向量与通过注意力机制学习的用户项目显式向量通过连接得到用户和项目的最终嵌入表示向量eu和ev；
S302-5、将上一步得到的用户和项目的最终嵌入表示向量用外积作为交互函数，得到用户项目特征矩阵，在此应用卷积神经网络对用户项目特征矩阵进行更深一步的学习，最后通过一层全连接层输入用户对项目的最终预测评分。
可选的，所述步骤S4中模型的训练及项目推荐的具体步骤如下：
S401、构建损失函数：使用推荐系统中常用的pairwise BPR loss损失函数，能对正样本和负样本加上不同的权重，使正样本能特别体现用户的口味，负样本能少量体现用户的口味；
S402、构建优化函数：采用小批次的Adam来优化模型并更新模型参数；
S403、项目推荐：将用户信息和项目信息送入融合模型，输出用户对项目的评分，判断是否将项目推荐给用户。
由上，本发明的融合图神经网络和注意力机制的协同过滤推荐方法至少具有如下有益效果：
(1)、本发明考虑在图结构中学习嵌入表示，通过嵌入传播在用户项目交互图上建模高阶连通性，让模型可以表达高维特征，显式地将协同过滤信号映射到嵌入过程中，获得更有效的嵌入，提高了推荐的质量。
(2)、本发明运用了Attention机制捕获用户对不同项目的不同方面的注意力情况，学习嵌入传播过程中邻居的可变权重和不同阶的连接性，有利于模型的泛化，使推荐系统具有更好的推荐效果和可解释性。
(3)、本发明使用外积作为最后得到的用户嵌入和项目嵌入的交互函数，考虑特征向量不同维度之间的成对相关性，从而提高推荐质量和准确度。
(4)、本发明是协同过滤与图结构的推荐的结合，可以很好的解决数据稀疏性和冷启动问题。
(5)、本发明使用卷积神经网络(CNN)学习特征中每一维度之间的高阶相互关系，CNN尤其能抓住矩阵的局部和全局信息特征，而且具有较少的参数，因此更容易训练和泛化，另外，分层的塔式结构也使得高层集成了更丰富的信息，多层的神经网络结构也赋予模型高水平的灵活性和非线性建模能力。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。
图1为本发明的融合图神经网络和注意力机制的协同过滤推荐方法的流程框图；
图2为本发明的数据采集和处理流程图；
图3为本发明的构建融合模型流程图；
图4为本发明为构建融合图神经网络和注意力机制的协同过滤推荐模型(AGCF)的学习框架流程图；
图5为本发明的模型的训练及项目推荐流程图；
图6为本发明的融合图神经网络和注意力机制的协同过滤推荐方法的结构框图。
具体实施方式
下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。
如图1至图6所示，本发明的融合图神经网络和注意力机制的协同过滤推荐方法，包括：
数据采集及处理模块，从Grouplens网站下载MovieLens 1M数据集并进行数据预处理，将五级评分矩阵
Figure BDA0002671555130000051
转化为二值化偏好矩阵R∈{0,1}，其中1表示用户与项目存在交互，否则为0，使用10-core设置，即保留至少有10次交互的用户和项目。
划分数据集模块，将处理好的数据集随机选取80％的历史交互作为训练集，用于训练模型；其余作为测试集，用于评估模型的泛化能力；从训练集中随机选取10％的交互作为验证集，用于调整超参数。对每一个可以观察到的用户项目交互，将其视为正例，然后执行负采样策略为用户没有交互过的项目配对负例。
构建融合模型模块，通过神经网络(GNN)学习嵌入传播过程中的高阶连通性；注意力机制(Attention Mechanism)学习嵌入传播过程中邻居的可变权重和不同阶的连接性。
模型的训练及项目推荐模块，用于将所述划分数据集模块得到的训练数据集和测试数据集分别用于训练和评估所述融合模型模块构建的融合模型，根据最终的预测概率判断是否将项目推荐给用户。
如图1所示，本发明的融合图神经网络和注意力机制的协同过滤推荐方法，该方法包括如下步骤：
S1、数据采集及处理：从Grouplens网站下载MovieLens 1M数据集并进行数据预处理，将五级评分矩阵
Figure BDA0002671555130000061
转化为二值化偏好矩阵R∈{0,1}，其中1表示用户与项目存在交互，否则为0，使用10-core设置，即保留至少有10次交互的用户和项目。
S2、划分数据集：将处理好的数据集随机选取80％的历史交互作为训练集，用于训练模型；其余作为测试集，用于评估模型的泛化能力；从训练集中随机选取10％的交互作为验证集，用于调整超参数。对每一个可以观察到的用户项目交互，将其视为正例，然后执行负采样策略为用户没有交互过的项目配对负例。
S3、构建融合模型：通过神经网络学习嵌入传播过程中的高阶连通性；注意力机制学习嵌入传播过程中邻居的可变权重和不同阶的连接性。
S4、模型的训练及项目推荐：将步骤S2中得到的训练集和测试集分别用于训练和评估步骤S3中构建的融合模型，根据最终的预测概率判断是否将项目推荐给用户。
如图2所示，步骤S1中的数据采集及处理的具体步骤如下：
S101、将下载的MovieLens 1M数据集进行数据预处理：在Grouplens网站下载MovieLens 1M数据集，，将其转化为可操作的格式存储。
S102、将五级评分矩阵
Figure BDA0002671555130000071
转化为二值化偏好矩阵：将原来的评分矩阵转化为二值化偏好矩阵，其中每个元素表示为0或1，表示用户-物品对之间是否存在交互。
转化之后的评分矩阵中的"UserID"，"MovieID"，"Rating"，"Timestamp"数据集，如下所示：
UserID MovieID Rating Timestamp
1 1993 1 978300760
项目的特征数据包括"MovieID"，"Title"，"Genres"，如下所示：
MovieID Title Genres
1 Toy Story(1995) Animation|Children's|Comedy
S103、使用10-core设置，即保留至少有10次交互的用户和项目：删除掉交互10次之内的用户和项目，确保数据有效性。
如图3所示，步骤S3中构建耦合模型的具体步骤如下：
S301、构建输入层：输入层包括四个输入内容，用户项目id和用户项目邻居id。输入层的形式为(userid，itemid，user_neibor_id，item_neibor_id)。
在Keras中，输入层可用如下代码实现：
user_id＝Input(shape＝(1，)，dtype＝'string'，name＝'user_id')
item_id＝Input(shape＝(1，)，dtype＝'string'，name＝'item_id')
user_neibor_id＝Input(shape＝(1，)，dtype＝'string'，name＝'user_neibor_id')
item_neibor_id＝Input(shape＝(k，)，dtype＝'string'，name＝'item_neibor_id')
S302、构建融合图神经网络和注意力机制的协同过滤推荐模型(AGCF)：构建基于GNN的消息传递体系结构，沿图结构捕获CF信号，并细化用户和项目的嵌入；构建用户显式特征和项目显式特征的学习框架，在此基础上引入注意力机制，以学习嵌入传播过程中邻居的可变权重和不同阶的连接性。
S303、构建输出层：预测用户对项目的评分，判断是否将该项目推荐给用户。
在Keras中，输出层实现代码如下所示：
prediction＝Dense(1，kernel_initializer＝'glorot_normal'，name＝'prediction')(prediction)
如图4所示，步骤S302中构建构建基于GNN的消息传递体系结构和融合注意力机制框架(AGCF)的具体步骤如下所示：
S302-1、构建基于GNN的消息传递体系结构：将用户和项目id通过神经网络全连接层转化为指定维度embedding_dim的稠密向量，得到初始的用户和项目的嵌入
Figure BDA0002671555130000081
和
Figure BDA0002671555130000082
表示用户和项目的潜在特征。
例如：指定embedding_dim＝20
userid＝2通过神经网络全连接层转化成向量如下所示：
[-0.00749762 -0.02151975 0.00523305 -0.02227279 -0.02132436-0.01079273 0.01727066-0.01092268 0.00999936 0.0233566-0.00560872 -0.021453140.02113025 0.0178023 -0.02133563-0.02135003 -0.00111125 -0.01905928 -0.01002887 0.00150579]
在Keras中，向量映射层实现代码如下所示：
MF_Embedding_User＝Embedding(embeddings_initializer＝init_normal，name＝'user_embedding'，output_dim＝latent_dim，embeddings_regularizer＝l2(regs[0])，input_dim＝num_users，input_length＝1)
MF_Embedding_Item＝Embedding(embeddings_initializer＝init_normal，name＝'item_embedding'，utput_dim＝latent_dim，embeddings_regularizer＝l2(regs[0])，input_dim＝num_items，input_length＝1)
S302-2、通过注入高阶连通性来细化嵌入：一阶连通性可以增强表示，所以通过叠加更多嵌入传播层来探索高阶连通性信息，一个节点的embedding是一个向量，那么一个图的embedding就是将所有节点的embedding放在一起形成一个矩阵，是一个图的原始特征。经过L层传播之后，可以得到L个关于用户u的向量表示
Figure BDA0002671555130000091
由于在不同层中获得的向量表示是通过不同连接传递的消息，在反应用户偏好方面有不同的贡献，所以将这些向量表示串联起来得到用户u的mid表示。同理得到项目i的mid表示。
Figure BDA0002671555130000092
S302-3、为用户和项目构建邻域信息，将用户项目的邻居id通过神经网络全连接层映射为稠密向量，交互网络本质上就是一个二部图，其中顶点V代表用户和项目，边E代表用户和项目的交互，仅当用户和项目之间有双向边，即yu，i＝1时才表示是用户的邻域信息，用I(u)表示，项目的邻域信息也如此构建，用I(i)表示。引入注意力机制，将I(u)和I(i)作为Attention层的输入，来学习嵌入传播过程中邻居的可变权重和不同阶的连接性，得到用户和项目的显式特征向量
Figure BDA0002671555130000093
和
Figure BDA0002671555130000094
S302-4、将通过嵌入传播层得到的用户项目mid表示向量
Figure BDA0002671555130000095
和
Figure BDA0002671555130000096
与通过注意力机制学习的用户项目显式向量
Figure BDA0002671555130000101
和
Figure BDA0002671555130000102
通过连接得到用户和项目的最终嵌入表示向量eu和ev；
Figure BDA0002671555130000103
Figure BDA0002671555130000104
S302-5、将上一步得到的用户和项目的最终嵌入表示向量eu和ev采用外积作为交互函数，考虑到了向量不同维度之间的成对相关性，得到用户项目特征矩阵Xm，在此应用卷积神经网络对用户项目特征矩阵进行更深一步的学习，将用户项目特征矩阵Xm作为卷积层的输入，卷积层将输入特征与卷积核做卷积学习输入的特征表示，最大池化层对特征进行降维，学习更加抽象的耦合向量，最后通过一层全连接层输入用户对项目的最终预测评分。
交互函数g的计算公式如下所示：
g＝eui×evi
其中，eui(i＝1,2,,,,k)∈u表示用户的第i个特征；evi(i＝1,2,,,,k)∈v表示项目的第i个特征。
权重计算公式如下所示：
Figure BDA0002671555130000105
Figure BDA0002671555130000106
其中，
Figure BDA0002671555130000107
表示用户对于项目不同特征喜好的权重向量，
Figure BDA0002671555130000108
为用户/项目第k个特征的权重值，
Figure BDA0002671555130000109
为用户/项目第j个特征的权重值，K为特征个数，vt为隐藏层到注意力层的权重向量，W和b分别为权重矩阵和偏差向量，exp为指数函数，Relu为激活函数，Relu激活函数的计算公式如下所示：
Figure BDA00026715551300001010
在Keras中，求用户/项目特征矩阵Xm实现代码如下所示：
merge_user_fea＝Lambda(lambda x:K.batch_dot(x[0]，x[1]，axes＝[1，2]))([user_latent_CF，user_fea_CB])
merge_item_fea＝Lambda(lambda x:K.batch_dot(x[0]，x[1]，axes＝[1，2]))([item_latent_CF，item_fea_CB])
CNN学习用户项目特征耦合关系实现代码如下所示：
user_fusion_latent＝Reshape((latent_dim，latent_dim，1))(merge_user_fea)
user_fusion_latent＝Conv2D(latent_dim，(3，3))(user_fusion_latent)
user_fusion_latent＝BatchNormalization(axis＝3)(user_fusion_latent)
user_fusion_latent＝Activation('relu')(user_fusion_latent)
user_fusion_latent＝MaxPooling1D()(user_fusion_latent)
item_fusion_latent＝Reshape((latent_dim，latent_dim，1))(merge_item_fea)
item_fusion_latent＝Conv2D(latent_dim，(3，3))(item_fusion_latent)
item_fusion_latent＝BatchNormalization(axis＝3)(item_fusion_latent)
item_fusion_latent＝Activation('relu')(item_fusion_latent)
item_latent_fusion＝MaxPooling1D()(item_latent_fusion)
交互函数g实现代码如下所示：
vec＝keras.layers.Multiply()([user_latent，item_latent])
Attention层求权重实现代码如下所示：
att＝Dense(32，kernel_initializer＝'random_uniform'，activation＝'softmax')(user_item_concat)
如图5所示，步骤S4模型的训练及项目推荐的具体步骤为：
S401、构建损失函数：使用推荐系统中常用的pairwise BPR loss损失函数，能对正样本和负样本加上不同的权重，使正样本能特别体现用户的口味，负样本能少量体现用户的口味。
Figure BDA0002671555130000111
其中，
Figure BDA0002671555130000121
表示成对的训练数据，
Figure BDA0002671555130000122
表示观察到的交互，
Figure BDA0002671555130000123
表示没有观察到的交互，
Figure BDA0002671555130000124
表示所有训练的模型参数，λ控制L2正则化强度防止过拟合。
S402、构建优化函数：采用小批次的Adam来优化模型并更新模型参数。其中，学习率参数设置为0.001，其他参数使用keras的默认值即可，其他参数包括如下：
beta1＝0.9：一阶矩估计的指数衰减率。
beta2＝0.999：二阶矩估计的指数衰减率。
epsilon＝10E-8：该参数是非常小的数，其为了防止在实现中除零。
在Keras中，优化函数实现代码如下所示：
model.compile(optimizer＝Adam(lr＝learning_rate)，loss＝'mean_squared_error')
S403、项目推荐：将用户信息和项目信息送入融合模型，输出用户对项目的评分，判断是否将项目推荐给用户。
本发明公开了一种融合图神经网络和注意力机制的协同过滤推荐方法(AGCF)，该方法包括如下步骤：S1、数据采集及处理；S2、划分数据集；S3、构建融合模型：(1)构建基于GNN的消息传递体系结构，在图结构中学习嵌入表示，通过嵌入传播在用户项目交互图上建模高阶连通性，让模型可以表达高维特征，显式地将协同过滤信号映射到嵌入过程中，获得更有效的嵌入；(2)注意力机制(Attention Mechanism)来捕获用户对不同项目的不同方面的注意力情况，学习嵌入传播过程中邻居的可变权重和不同阶的连接性，使用外积作为最后得到的用户嵌入和项目嵌入的交互函数，考虑特征向量不同维度之间的成对相关性，从而提高推荐质量；此外，在得到的特征矩阵上引入CNN(Convolutional Neural Network)学习特征中每一维度之间的高阶相互关系，CNN尤其能抓住矩阵的局部和全局信息特征，而且具有较少的参数，因此更容易训练和泛化，另外，分层的塔式结构也使得高层集成了更丰富的信息，多层的神经网络结构也赋予模型高水平的灵活性和非线性建模能力。本发明的方法还包括：S4、模型的训练及项目推荐：利用用户项目评分信息和用户项目的邻居信息作为模型的输入，模型在训练过程中不断更新参数，从而更好的学习嵌入传播过程中邻居的可变权重和不同阶的连接性以及用户/项目显式-隐式耦合关系。
以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。

Claims (5)

1.一种融合图神经网络和注意力机制的协同过滤推荐方法，其特征在于，包括以下步骤：
S1、数据采集及处理；
S2、划分数据集：将处理好的数据集随机选取80％的历史交互作为训练集，用于训练模型；其余作为测试集，用于评估模型的泛化能力；从训练集中随机选取10％的交互作为验证集，用于调整超参数；对每一个可以观察到的用户项目交互，将其视为正例，然后执行负采样策略为用户没有交互过的项目配对负例；
S3、构建融合模型：通过神经网络学习嵌入传播过程中的高阶连通性；注意力机制学习嵌入传播过程中邻居的可变权重和不同阶的连接性；
S4、模型的训练及项目推荐：将步骤S2中得到的训练集和测试集分别用于训练和评估步骤S3中构建的融合模型，根据最终的预测概率判断是否将项目推荐给用户。
2.如权利要求1所述的融合图神经网络和注意力机制的协同过滤推荐方法，其特征在于，所述步骤S1的数据采集及处理的具体步骤如下：
S101、将下载的MovieLens 1M数据集进行数据预处理；
S102、将五级评分矩阵
Figure FDA0002671555120000011
转化为二值化偏好矩阵；
S103、使用10-core设置，即保留至少有10次交互的用户和项目。
3.如权利要求1所述的融合图神经网络和注意力机制的协同过滤推荐方法，其特征在于，所述步骤S3中构建融合模型的具体步骤如下：
S301、构建输入层：输入层包括四个输入内容，用户项目id和用户项目的邻居向量；
S302、构建融合图神经网络和注意力机制的协同过滤推荐模型(AGCF)：构建基于GNN的消息传递体系结构，沿图结构捕获CF信号，并细化用户和项目的嵌入；构建用户显式特征和项目显式特征的学习框架，在此基础上引入注意力机制，以学习嵌入传播过程中邻居的可变权重和不同阶的连接性；
S303、构建输出层：预测用户对项目的评分，判断是否将该项目推荐给用户。
4.如权利要求3所述的融合图神经网络和注意力机制的协同过滤推荐方法，其特征在于，所述步骤S302中构建基于GNN的消息传递体系结构和融合注意力机制框架的具体步骤如下：
S302-1、构建基于GNN的消息传递体系结构：将用户和项目id通过嵌入层映射为稠密向量，得到初始的用户和项目的嵌入
Figure FDA0002671555120000021
和
Figure FDA0002671555120000022
表示用户和项目的潜在特征；
S302-2、通过注入高阶连通性来细化嵌入；
S302-3、为用户和项目构建邻域信息，将用户项目的邻居向量通过嵌入层映射为稠密向量，交互网络本质上就是一个二部图，其中顶点代表用户和项目，边代表用户和项目的交互，仅当用户和项目之间有边时才表示是用户的邻域信息，项目的邻域信息也如此构建，引入注意力机制来学习嵌入传播过程中邻居的可变权重和不同阶的连接性，得到用户和项目的显式特征；
S302-4、将通过嵌入传播层得到的用户项目mid向量与通过注意力机制学习的用户项目显式向量通过连接得到用户和项目的最终嵌入表示向量eu和ev；
S302-5、将上一步得到的用户和项目的最终嵌入表示向量用外积作为交互函数，得到用户项目特征矩阵，在此应用卷积神经网络对用户项目特征矩阵进行更深一步的学习，最后通过一层全连接层输入用户对项目的最终预测评分。
5.如权利要求1所述的融合图神经网络和注意力机制的协同过滤推荐方法，其特征在于，所述步骤S4中模型的训练及项目推荐的具体步骤如下：
S401、构建损失函数：使用推荐系统中常用的pairwise BPR loss损失函数，能对正样本和负样本加上不同的权重，使正样本能特别体现用户的口味，负样本能少量体现用户的口味；
S402、构建优化函数：采用小批次的Adam来优化模型并更新模型参数；
S403、项目推荐：将用户信息和项目信息送入融合模型，输出用户对项目的评分，判断是否将项目推荐给用户。
CN202010934802.5A 2020-09-08 2020-09-08 一种融合图神经网络和注意力机制的协同过滤推荐方法 Active CN112084407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010934802.5A CN112084407B (zh) 2020-09-08 2020-09-08 一种融合图神经网络和注意力机制的协同过滤推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010934802.5A CN112084407B (zh) 2020-09-08 2020-09-08 一种融合图神经网络和注意力机制的协同过滤推荐方法

Publications (2)

Publication Number Publication Date
CN112084407A true CN112084407A (zh) 2020-12-15
CN112084407B CN112084407B (zh) 2024-03-12

Family

ID=73732642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010934802.5A Active CN112084407B (zh) 2020-09-08 2020-09-08 一种融合图神经网络和注意力机制的协同过滤推荐方法

Country Status (1)

Country Link
CN (1) CN112084407B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541639A (zh) * 2020-12-22 2021-03-23 宜宾电子科技大学研究院 基于图神经网络和注意力机制的推荐系统评分预测方法
CN112650929A (zh) * 2020-12-31 2021-04-13 安徽农业大学 一种融入评论信息的图神经网络推荐方法
CN112650949A (zh) * 2020-12-31 2021-04-13 东北大学 基于多源特征融合协同过滤的区域poi需求识别方法
CN112650945A (zh) * 2020-12-29 2021-04-13 齐鲁工业大学 一种基于gcn和ain的上下文感知推荐方法
CN112650932A (zh) * 2021-01-04 2021-04-13 重庆邮电大学 一种融合社交和位置关系的神经协同过滤poi推荐方法
CN112925977A (zh) * 2021-02-26 2021-06-08 中国科学技术大学 一种基于自监督图表征学习的推荐方法
CN113158045A (zh) * 2021-04-20 2021-07-23 中国科学院深圳先进技术研究院 一种基于图神经网络推理的可解释推荐方法
CN113360759A (zh) * 2021-06-09 2021-09-07 南京大学 一种基于用户和项目双重时序相关性的众测任务推荐方法
CN113377656A (zh) * 2021-06-16 2021-09-10 南京大学 一种基于图神经网络的众测推荐方法
CN113407817A (zh) * 2021-01-25 2021-09-17 北京工业大学 一种基于注意力机制的图神经协同过滤方法
CN113449884A (zh) * 2021-06-29 2021-09-28 浙江工业大学 一种基于深度神经网络的演艺装备智能运维推荐技术
CN113610610A (zh) * 2021-08-27 2021-11-05 齐鲁工业大学 基于图神经网络和评论相似度的会话推荐方法和系统
CN113688327A (zh) * 2021-08-31 2021-11-23 中国平安人寿保险股份有限公司 融合神经图协同滤波网络的数据预测方法、装置及设备
CN113742596A (zh) * 2021-09-18 2021-12-03 辽宁工程技术大学 一种基于注意力机制的神经协同过滤推荐方法
CN114139064A (zh) * 2022-02-07 2022-03-04 杭州天卓网络有限公司 一种信息的智能推荐方法、系统及存储介质
CN114385921A (zh) * 2022-01-13 2022-04-22 中建电子商务有限责任公司 一种标书推荐方法、系统、设备及存储介质
CN115221413A (zh) * 2022-08-03 2022-10-21 湖北工业大学 一种基于交互式图注意力网络的序列推荐方法及系统
CN115270005A (zh) * 2022-09-30 2022-11-01 腾讯科技（深圳）有限公司 一种信息推荐方法、装置、设备以及存储介质
WO2023065859A1 (zh) * 2021-10-20 2023-04-27 华为技术有限公司 物品推荐方法、装置及存储介质
CN116320511A (zh) * 2023-02-03 2023-06-23 华南理工大学 一种基于图卷积网络的跨域融合推荐方法
WO2023138381A1 (zh) * 2022-09-26 2023-07-27 重庆文理学院 基于物品属性与时序模式耦合关系的序列推荐方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204113A1 (en) * 2017-01-13 2018-07-19 Ebay Inc. Interaction analysis and prediction based neural networking
CN110348968A (zh) * 2019-07-15 2019-10-18 辽宁工程技术大学 一种基于用户及项目耦合关系分析的推荐系统及方法
CN110837577A (zh) * 2019-11-04 2020-02-25 上海喜马拉雅科技有限公司 一种视频推荐方法、装置、设备及存储介质
WO2020108605A1 (zh) * 2018-11-29 2020-06-04 腾讯科技（深圳）有限公司 一种推荐方法、装置及存储介质
CN111523047A (zh) * 2020-04-13 2020-08-11 中南大学 基于图神经网络的多关系协同过滤算法
CN111611472A (zh) * 2020-03-31 2020-09-01 清华大学 一种基于图卷积神经网络的捆绑推荐方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204113A1 (en) * 2017-01-13 2018-07-19 Ebay Inc. Interaction analysis and prediction based neural networking
WO2020108605A1 (zh) * 2018-11-29 2020-06-04 腾讯科技（深圳）有限公司 一种推荐方法、装置及存储介质
CN110348968A (zh) * 2019-07-15 2019-10-18 辽宁工程技术大学 一种基于用户及项目耦合关系分析的推荐系统及方法
CN110837577A (zh) * 2019-11-04 2020-02-25 上海喜马拉雅科技有限公司 一种视频推荐方法、装置、设备及存储介质
CN111611472A (zh) * 2020-03-31 2020-09-01 清华大学 一种基于图卷积神经网络的捆绑推荐方法及系统
CN111523047A (zh) * 2020-04-13 2020-08-11 中南大学 基于图神经网络的多关系协同过滤算法

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541639A (zh) * 2020-12-22 2021-03-23 宜宾电子科技大学研究院 基于图神经网络和注意力机制的推荐系统评分预测方法
CN112650945A (zh) * 2020-12-29 2021-04-13 齐鲁工业大学 一种基于gcn和ain的上下文感知推荐方法
CN112650945B (zh) * 2020-12-29 2022-09-06 齐鲁工业大学 一种基于gcn和ain的上下文感知推荐方法
CN112650929A (zh) * 2020-12-31 2021-04-13 安徽农业大学 一种融入评论信息的图神经网络推荐方法
CN112650949A (zh) * 2020-12-31 2021-04-13 东北大学 基于多源特征融合协同过滤的区域poi需求识别方法
CN112650949B (zh) * 2020-12-31 2023-12-29 东北大学 基于多源特征融合协同过滤的区域poi需求识别方法
CN112650929B (zh) * 2020-12-31 2022-05-03 安徽农业大学 一种融入评论信息的图神经网络推荐方法
CN112650932A (zh) * 2021-01-04 2021-04-13 重庆邮电大学 一种融合社交和位置关系的神经协同过滤poi推荐方法
CN113407817A (zh) * 2021-01-25 2021-09-17 北京工业大学 一种基于注意力机制的图神经协同过滤方法
CN112925977A (zh) * 2021-02-26 2021-06-08 中国科学技术大学 一种基于自监督图表征学习的推荐方法
CN113158045A (zh) * 2021-04-20 2021-07-23 中国科学院深圳先进技术研究院 一种基于图神经网络推理的可解释推荐方法
CN113158045B (zh) * 2021-04-20 2022-11-01 中国科学院深圳先进技术研究院 一种基于图神经网络推理的可解释推荐方法
CN113360759B (zh) * 2021-06-09 2023-08-25 南京大学 一种基于用户和项目双重时序相关性的众测任务推荐方法
CN113360759A (zh) * 2021-06-09 2021-09-07 南京大学 一种基于用户和项目双重时序相关性的众测任务推荐方法
CN113377656A (zh) * 2021-06-16 2021-09-10 南京大学 一种基于图神经网络的众测推荐方法
CN113377656B (zh) * 2021-06-16 2023-06-23 南京大学 一种基于图神经网络的众测推荐方法
CN113449884A (zh) * 2021-06-29 2021-09-28 浙江工业大学 一种基于深度神经网络的演艺装备智能运维推荐技术
CN113610610B (zh) * 2021-08-27 2022-07-05 齐鲁工业大学 基于图神经网络和评论相似度的会话推荐方法和系统
CN113610610A (zh) * 2021-08-27 2021-11-05 齐鲁工业大学 基于图神经网络和评论相似度的会话推荐方法和系统
CN113688327A (zh) * 2021-08-31 2021-11-23 中国平安人寿保险股份有限公司 融合神经图协同滤波网络的数据预测方法、装置及设备
CN113742596A (zh) * 2021-09-18 2021-12-03 辽宁工程技术大学 一种基于注意力机制的神经协同过滤推荐方法
WO2023065859A1 (zh) * 2021-10-20 2023-04-27 华为技术有限公司 物品推荐方法、装置及存储介质
CN114385921A (zh) * 2022-01-13 2022-04-22 中建电子商务有限责任公司 一种标书推荐方法、系统、设备及存储介质
CN114385921B (zh) * 2022-01-13 2023-03-24 中建电子商务有限责任公司 一种标书推荐方法、系统、设备及存储介质
CN114139064A (zh) * 2022-02-07 2022-03-04 杭州天卓网络有限公司 一种信息的智能推荐方法、系统及存储介质
CN115221413A (zh) * 2022-08-03 2022-10-21 湖北工业大学 一种基于交互式图注意力网络的序列推荐方法及系统
WO2023138381A1 (zh) * 2022-09-26 2023-07-27 重庆文理学院 基于物品属性与时序模式耦合关系的序列推荐方法和系统
CN115270005B (zh) * 2022-09-30 2022-12-23 腾讯科技（深圳）有限公司 一种信息推荐方法、装置、设备以及存储介质
CN115270005A (zh) * 2022-09-30 2022-11-01 腾讯科技（深圳）有限公司 一种信息推荐方法、装置、设备以及存储介质
CN116320511A (zh) * 2023-02-03 2023-06-23 华南理工大学 一种基于图卷积网络的跨域融合推荐方法

Also Published As

Publication number Publication date
CN112084407B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN112084407B (zh) 一种融合图神经网络和注意力机制的协同过滤推荐方法
CN112084428B (zh) 一种基于耦合网络嵌入及知识图谱的协同过滤推荐方法
CN112905900B (zh) 基于图卷积注意力机制的协同过滤推荐方法
CN112150210B (zh) 一种基于ggnn网络的改进型神经网络推荐方法及系统
CN112256980A (zh) 一种基于动态图注意力网络的多关系协同过滤推荐
CN110348968B (zh) 一种基于用户及项目耦合关系分析的推荐系统及方法
CN110910218B (zh) 一种基于深度学习的多行为迁移推荐方法
CN112950324B (zh) 一种知识图谱辅助的成对排序个性化电商推荐方法及系统
CN113378047B (zh) 一种基于多方面增强的图神经网络推荐方法
CN110866145B (zh) 一种共同偏好辅助的深度单类协同过滤推荐方法
CN113672811B (zh) 一种基于拓扑信息嵌入的超图卷积协同过滤推荐方法、系统及计算机可读存储介质
CN111460331A (zh) 一种基于时空图的会话推荐方法
CN113255844B (zh) 基于图卷积神经网络交互的推荐方法及系统
CN114519145A (zh) 一种基于图神经网络挖掘用户长短期兴趣的序列推荐方法
CN115186097A (zh) 一种基于知识图谱和强化学习的交互式推荐方法
CN112256859A (zh) 一种基于双向长短期记忆网络显式信息耦合分析的推荐方法
Tembusai et al. K-nearest neighbor with K-fold cross validation and analytic hierarchy process on data classification
Long et al. Multi-task learning for collaborative filtering
CN114896515A (zh) 基于时间间隔的自监督学习协同序列推荐方法、设备和介质
CN114911969A (zh) 一种基于用户行为模型的推荐策略优化方法和系统
CN113590976A (zh) 一种空间自适应图卷积网络的推荐方法
CN115658936B (zh) 基于双层注意力模型的个性化节目推荐方法、系统
CN116304289A (zh) 基于图神经网络的供应链的信息链推荐方法及装置
CN113360772B (zh) 一种可解释性推荐模型训练方法与装置
CN115310004A (zh) 融合项目时序关系的图神经协同过滤推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant