CN112256980A

CN112256980A - 一种基于动态图注意力网络的多关系协同过滤推荐

Info

Publication number: CN112256980A
Application number: CN202011147309.5A
Authority: CN
Inventors: 关昕; 朱金金; 张全贵
Original assignee: Liaoning Technical University
Current assignee: Liaoning Technical University
Priority date: 2020-10-23
Filing date: 2020-10-23
Publication date: 2021-01-22

Abstract

本发明公开了一种基于动态图注意力网络的多关系协同过滤推荐方法，该方法包括以下步骤：S1、数据采集及处理；S2、划分数据集；S3、构建融合模型；S4、模型的训练及项目推荐。本发明使用一个循环神经网络(RNN)对用户在会话中的行为进行建模，通过RNN潜在表示来捕捉用户当前的兴趣，并使用图注意力网络捕捉与用户有关系的朋友的影响，根据注意力机制来衡量沿每条边移动的特征以此来权衡每个朋友的影响，结合当前用户表示和社交朋友表示；从用户与项目的交互数据中获取项目关系，将项目关系和用户动态社交关系融入到用户与项目交互的学习过程中，学习多关系对用户与项目交互的影响，提高推荐准确度，从而使模型能够更好对用户偏好进行建模。

Description

一种基于动态图注意力网络的多关系协同过滤推荐

技术领域

本发明属于计算机人工智能的技术领域，尤其涉及一种基于动态图注意力网络的多关系协同过滤推荐方法。

背景技术

目前，推荐系统在我们的生活工作中扮演着重要的角色。电子商务平台、生活类网络应用等普遍采用推荐系统来解决信息超载问题。其中在线社交社区是当今在线体验的重要组成部分，已经成为许多用户日常生活中必不可少的一部分。因此，这些平台的推荐系统对于关注用户的表面信息和提高长期用户参与度至关重要。然而，在线社区给推荐者带来了额外的挑战系统。用户的兴趣是动态的，用户容易受朋友的兴趣影响，例如，一个用户在寻找一部电影时可能会受到朋友们喜欢的东西的影响；用户在搜索搞笑电影时会信任喜欢喜剧的朋友；而她在搜索动作片时可能会受到另一组朋友的影响，所以向用户推荐相关信息对生存至关重要，给合适的人群推荐最相关的产品尤为重要。近年来，由于图结构的强大表现力，利用机器学习方法对图的研究越来越受到重视，其具有较好的性能和可解释性。因此，本发明将动态图注意力网络和项目关系协同过滤相融合，以一种显式的方式将协同过滤信号注入到嵌入过程中，引入注意力机制捕获不同项目间的共同关系，更好的学习用户和项目的嵌入表示，有利于模型的可解释性。

发明内容

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种基于动态图注意力网络的多关系协同过滤推荐，具有良好的推荐精度和可解释性。

为了解决上述技术问题，本发明通过以下技术方案来实现：

本发明提供的基于动态图注意力网络的多关系协同过滤推荐方法，包括以下步骤：

S1、数据采集及处理；

S2、划分数据集：将处理好的数据集随机选取80％作为训练集，用于训练模型；其余20％作为测试集，用于评估模型的泛化能力；从训练集中随机选取数据交互作为验证集，用于调整超参数；

S3、构建融合模型：通过循环神经网络捕捉用户动态社交行为关系；运用attention机制学习项目间关系；

S4、模型的训练及项目推荐：将步骤S2中得到的训练集和测试集分别用于训练和评估步骤S3中构建的融合模型，根据最终的预测概率判断是否将项目推荐给用户。

优选的，所述步骤S1的数据采集及处理的具体步骤如下：

S101、将下载的MovieLens 1M数据集进行数据预处理；

S102、获得用户浏览的每一个视频以及相关的时间戳及用户的社交网络；

S103、将原始的用户评分进行二值化，将数据集转换为隐式反馈。

进一步的，所述步骤S3中构建融合模型的具体步骤如下：

S301、构建输入层：输入层包括四个输入内容，用户ID、朋友的兴趣信息、项目ID和项目关系类型；

S302、构建基于动态图注意力网络的多关系协同过滤：构建基于RNN的用户动态兴趣社交网络以及项目关系耦合的学习框架，细化朋友兴趣信息和项目关系类型的嵌入；

S303、构建输出层：预测用户对项目的评分，判断是否将该项目推荐给用户。

进一步的，所述步骤S302中构建基于RNN的用户动态兴趣社交网络以及项目关系耦合的学习框架的具体步骤如下：

S302-1、构建基于RNN的用户动态兴趣社交网络：将用户ID和朋友兴趣信息通过嵌入层映射为稠密向量，得到初始的朋友兴趣信息和用户嵌入hn和hn'，表示朋友兴趣和用户的潜在特征；

S302-2、构建项目关系协同过滤网络：使用神经注意力机制来对历史上相互作用的项目进行建模，注意机制输出每个交互项的权重，该权重用于聚合所有项目的嵌入；

S302-3、RNN对目标用户当前会话中所消费的项目序列进行建模，朋友兴趣短期偏好或最近会话中的项目也使用RNN进行编码，朋友的长期偏好被编码成个体嵌入；

S302-4、使用一个图注意力网络获得对目标用户影响最大的朋友，模型将当前用户的表示和她朋友兴趣的表示结合起来，通过全连接层表示用户的最终嵌入向量，通过注意力机制学习的项目关系表示项目的最终嵌入表示向量；

S302-5、将上一步得到的用户和项目的最终嵌入表示向量通过拼接输入，使用Softmax函数获得下一个项目推荐的概率。

可选的，所述步骤S4中模型的训练及项目推荐的具体步骤如下：

S401、构建损失函数：使用推荐系统中的BPR Loss损失函数，对正样本和负样本加上不同的权重，使正样本能体现用户的喜好，负样本能少量体现用户的喜好；

S402、构建优化函数：采用Adam来优化模型并更新模型参数；

S403、项目推荐：将最终用户信息和项目信息送入融合模型，输出用户对项目的评分，判断是否将项目推荐给用户。

由上，本发明的基于动态图注意力网络的多关系协同过滤推荐方法至少具有如下优点：

(1)、本发明考虑了基于图注意力网络的用户动态兴趣与朋友兴趣之间的显式隐式特征，动态社交网络和动态用户兴趣这种耦合关系可以提高推荐的质量。

(2)、本发明运用了Attention机制捕获相互作用的项目与目标项目之间的关系类型，对项目之间的关系进行建模，获取权重最大的项目关系类型，使推荐系统具有更好的推荐效果和可解释性。

(3)、本发明使用拼接作为最后得到的用户嵌入和项目嵌入的交互函数，提高推荐质量和准确度。

(4)、本发明是关系协同过滤与图注意力网络的推荐的结合，可以很好的解决数据稀疏性和冷启动问题。

(5)、本发明使用循环神经网络(RNN)对用户在会话中的行为进行建模，通过RNN捕捉用户当前的兴趣，对用户动态行为和动态社交行为进行建模，Attention机制也使得项目获得更丰富的信息，多层的神经网络结构也赋予模型高水平的灵活性和非线性建模能力。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1为本发明的基于动态图注意力网络的多关系协同过滤推荐方法的流程框图；

图2为本发明的数据采集和处理流程图；

图3为本发明的构建融合模型流程图；

图4为本发明为基于动态图注意力网络的多关系协同过滤的学习框架流程图；

图5为本发明的模型的训练及项目推荐流程图；

图6为本发明的基于动态图注意力网络的多关系协同过滤推荐方法的结构框图。

具体实施方式

下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。

如图1至图6所示，本发明的基于动态图注意力网络的多关系协同过滤推荐方法，包括：

数据采集及处理模块，从MovieLens 1M网网站下载数据集并进行数据预处理，获得用户浏览的每一个视频以及相关的时间戳，调查用户的社交网络，将原始的用户评分进行二值化，将数据集转换为隐式反馈。

划分数据集模块，将处理好的数据集随机选取80％作为训练集，用于训练模型；其余20％作为测试集，用于评估模型的泛化能力；从训练集中随机选取数据交互作为验证集，用于调整超参数。

构建融合模型模块，通过循环神经网络捕捉用户动态社交行为关系；运用Attention机制学习项目间关系。

模型的训练及项目推荐模块，用于将所述划分数据集模块得到的训练数据集和测试数据集分别用于训练和评估所述融合模型模块构建的融合模型，根据最终的预测概率判断是否将项目推荐给用户。

如图1所示，本发明的基于动态图注意力网络的多关系协同过滤推荐方法，该方法包括如下步骤：

S1、数据采集及处理：下载MovieLens 1M数据集并进行数据预处理，获得用户浏览的每一个视频以及相关的时间戳，调查用户的社交网络，将原始的用户评分进行二值化，将数据集转换为隐式反馈。

S2、划分数据集：将处理好的数据集随机选取80％作为训练集，用于训练模型；其余20％作为测试集，用于评估模型的泛化能力；从训练集中随机选取数据交互作为验证集，用于调整超参数。

S3、构建融合模型：通过循环神经网络捕捉用户动态社交行为关系；运用attention机制学习项目间关系。

如图2所示，步骤S1中的数据采集及处理的具体步骤如下：

S101、将下载的MovieLens 1M数据集进行数据预处理：下载MovieLens 1M数据集，获得他们浏览的每一个视频以及相关的时间戳，将其转化为可操作的格式存储。

S102、将五级评分矩阵转化为二值化偏好矩阵：将原来的评分矩阵转化为二值化偏好矩阵，其中每个元素表示为0或1，表示用户-物品对之间是否存在交互，获得用户浏览的每一个视频以及相关的时间戳，调查用户的社交网络。

转化之后的评分矩阵中的"UserID"，"MovieID"，"Rating"，"Timestamp"，"userfriends"数据集，如下所示：

UserID	MovieID	Rating	Timestamp	user friends
					1	1993	1	978300760	2

项目的关系数据包括"MovieID"，"Title"，"Genres"，"directors"，"actors"如下所示：

如图3所示，步骤S3中构建耦合模型的具体步骤如下：

S301、构建输入层：输入层包括四个输入内容，用户ID、朋友的兴趣信息、项目ID和项目关系类型。输入层的形式为(userid，friend_interest，itemid，item_types)。

在Keras中，输入层可用如下代码实现：

user_id＝Input(shape＝(1，)，dtype＝'string'，name＝'user_id')

item_id＝Input(shape＝(1，)，dtype＝'string'，name＝'item_id')

friend_interest_id＝Input(shape＝(1，)，dtype＝'string'，name＝'friend_interest_id')

item_type_id＝Input(shape＝(k，)，dtype＝'string'，name＝'iitem_type_id')

S302、构建基于动态图注意力网络的多关系协同过滤推荐方法：构建基于RNN的用户动态兴趣社交网络以及项目关系耦合的学习框架，细化朋友兴趣信息和项目关系类型的嵌入。

在Keras中，输出层实现代码如下所示：

prediction＝Dense(1，kernel_initializer＝'glorot_normal'，name＝'prediction')(prediction)

如图4所示，步骤S302中构建构建基于RNN的用户动态兴趣社交网络以及项目关系耦合的学习框架的具体步骤如下所示：

S302-1、构建基于RNN的用户动态兴趣社交网络：将用户ID和朋友兴趣信息通过嵌入层映射为稠密向量，得到初始的朋友兴趣信息和用户嵌入hn和hn'，表示朋友兴趣和用户的潜在特征。

例如：指定embedding_dim＝20

userid＝2通过神经网络转化成向量如下所示：

[-0.00749762 -0.02151975 0.00523305 0.01727066 -0.01092268-0.010792730.00999936 0.0233566 -0.00560872 -0.02227279-0.02132436 -0.021453140.02113025 0.0178023 -0.02133563-0.02135003 -0.00111125 0.00150579 -0.01905928 -0.01002887]

在Keras中，向量映射层实现代码如下所示：

MF_Embedding_User＝Embedding(embeddings_initializer＝init_normal，name＝'user_embedding'，output_dim＝latent_dim，embeddings_regularizer＝l2(regs[0])，input_dim＝num_users，input_length＝1)

MF_Embedding_Item＝Embedding(embeddings_initializer＝init_normal，name＝'item_embedding'，utput_dim＝latent_dim，embeddings_regularizer＝l2(regs[0])，input_dim＝num_items，input_length＝1)

S302-2、构建项目关系协同过滤网络：使用神经注意机制来对历史上相互作用的项目进行建模，注意机制输出每个交互项的权重，该权重用于聚合所有项目的嵌入。

S302-3、RNN对目标用户当前会话中所消费的项目序列进行建模，朋友兴趣短期偏好或最近会话中的项目也使用RNN进行编码，朋友的长期偏好被编码成个体嵌入。

S302-4、使用一个图注意力网络获得对目标用户影响最大的朋友，模型将当前用户的表示和她朋友兴趣的表示结合起来，通过全连接层表示用户的最终嵌入向量，通过注意力机制学习的项目关系表示项目的最终嵌入表示向量。

其中，

表示l层的用户u的朋友兴趣信息，w₂为线性变换矩阵，

是用户u当前兴趣的最终表示，

表示社交影响，w₁表示变换矩阵，

是通过RNN的最终输出表示朋友k的长期偏好，

通过RNN的最终输出表示朋友k的短期偏好。

S302-5、将上一步得到的用户和项目的最终嵌入表示向量通过拼接输入，使用Softmax函数获得下一个项目推荐的概率。动态图注意力网络中的最大池化层对特征进行降维，学习更加抽象的耦合向量，最后通过拼接输入用户对项目的最终预测概率。

计算公式如下所示：

其中，N(u)∈u表示用户的社交网络G的朋友集；zy表示项目的最终嵌入向量，exp为指数函数。

权重计算公式如下所示：

其中，W^(l)表示l层共享和可学习的权重矩阵，将该关注层叠加L次，得到每个节点的最终表示，

表示社交影响，Relu为激活函数，Relu激活函数的计算公式如下所示：

用户/项目特征矩阵实现代码如下所示：

merge_user_fea＝Lambda(lambda x:K.batch_dot(x[0]，x[1]，axes＝[1，2]))([user_latent_CF，user_fea_CB])

merge_item_fea＝Lambda(lambda x:K.batch_dot(x[0]，x[1]，axes＝[1，2]))([item_latent_CF，item_fea_CB])

LSTM学习用户与朋友兴趣动态耦合关系实现代码如下所示：

sess_seq＝tf.nn.embedding_lookup(self.item_embed_dict,self.sess_seq)

target_item＝tf.nn.embedding_lookup(self.item_embed_dict,self.target_item)

cell＝tf.nn.rnn_cell.LSTMCell(args.emb_dim,activation＝lambda x:tf.tanh(x),

name＝'lstm')

zero_state＝cell.zero_state(args.batch_size,tf.float32)st

state＝tf.nn.dynamic_rnn(cell,sess_seq,sequence_length＝self.sess_len,initial_state

＝zero_state)

h_n＝state[1]

all_friends_seq＝tf.reshape(self.friends_sess_seq,[-1,args.MAX_TIME_STEP])

friends_sess_seq＝tf.nn.embedding_lookup(self.item_embed_dict,

all_friends_seq)

zero_state_f＝cell.zero_state(args.batch_size*args.max_fri_num,tf.float32)

state_f＝tf.nn.dynamic_rnn(cell,friends_sess_seq,

sequence_length＝tf.reshape(self.friends_sess_len,[-1]),

initial_state＝zero_state_f)

friends＝tf.nn.embedding_lookup(self.user_embed_dict,tf.reshape(self.friends,

[-1]))

s_k＝tf.layers.dense(inputs＝tf.concat([s_k_s,friends],1),units＝args.emb_dim,

activation＝tf.nn.relu,use_bias＝False)

s_k＝tf.reshape(s_k,[args.batch_size,args.max_fri_num,-1])

交互函数g实现代码如下所示：

vec＝keras.layers.Concatenate()([user_latent，item_latent])

Attention层求权重实现代码如下所示：

att＝Dense(32，kernel_initializer＝'random_uniform'，activation＝'softmax')(user_item_concat)

如图5所示，步骤S4模型的训练及项目推荐的具体步骤为：

S401、构建损失函数：使用推荐系统中的BPR loss损失函数，对正样本和负样本加上不同的权重，使正样本能体现用户的喜好，负样本能少量体现用户的喜好。

S402、构建优化函数：采用小批次的Adam来优化模型并更新模型参数。其中，学习率参数设置为0.001，其他参数使用keras的默认值即可，其他参数包括如下：

beta1＝0.9：一阶矩估计的指数衰减率。

beta2＝0.999：二阶矩估计的指数衰减率。

epsilon＝10E-8：该参数是非常小的数，其为了防止在实现中除零。

在Keras中，优化函数实现代码如下所示：

model.compile(optimizer＝Adam(lr＝learning_rate)，loss＝'mean_squared_error')

S403、项目推荐：将用户信息和项目信息送入融合模型，输出项目推荐的概率，判断是否将项目推荐给用户。

本发明公开了一种基于动态图注意力网络的多关系协同过滤推荐方法，该方法包括如下步骤：S1、数据采集及处理；S2、划分数据集；S3、构建融合模型：(1)通过循环神经网络捕捉用户动态社交行为关系：构建基于RNN的用户动态兴趣社交网络用来捕捉用户动态行为和用户朋友动态行为，对用户动态行为和动态社交行为进行建模，使用图注意力网络结合目标用户兴趣和朋友兴趣动态信息，在基于动态图的注意力网络中用CNN(Convolutional Neural Network)学习特征中每一维度之间相互关系，CNN尤其能抓住矩阵的局部和全局信息特征，而且具有较少的参数，因此更容易训练和泛化，；(2)Attention机制学习项目间关系：注意力机制(Attention Mechanism)来捕获用户对不同项目的不同方面的注意力情况，运用了Attention机制捕获相互作用的项目与目标项目之间的关系类型，对项目之间的关系进行建模，获取权重最大的项目关系类型，使得项目获得更丰富的信息，使推荐系统具有更好的推荐效果和可解释性；多层的神经网络结构也赋予模型高水平的灵活性和非线性建模能力。本发明的方法还包括：S4、模型的训练及项目推荐：利用用户动态社交信息和项目的关系信息作为模型的输入，模型在训练过程中不断更新参数，从而更好的学习动态社交网络与目标用户动态兴趣的耦合关系，项目显式-隐式耦合关系。

以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。

Claims

1.一种基于动态图注意力网络的多关系协同过滤推荐方法，其特征在于，包括以下步骤：

S1、数据采集及处理；

2.如权利要求1所述的基于动态图注意力网络的多关系协同过滤推荐方法，其特征在于，所述步骤S1的数据采集及处理的具体步骤如下：

S101、将下载的MovieLens 1M数据集进行数据预处理；

3.如权利要求1所述的基于动态图注意力网络的多关系协同过滤推荐方法，其特征在于，所述步骤S3中构建融合模型的具体步骤如下：

4.如权利要求3所述的基于动态图注意力网络的多关系协同过滤推荐方法，其特征在于，所述步骤S302中构建基于RNN的用户动态兴趣社交网络以及项目关系耦合的学习框架的具体步骤如下：

S302-4、使用一个图注意力网络来获得对目标用户影响最大的朋友，模型将当前用户的表示和她朋友兴趣的表示结合起来，通过全连接层表示用户的最终嵌入向量，通过注意力机制学习的项目关系表示项目的最终嵌入表示向量；

S302-5、将上一步得到的用户和项目的最终嵌入表示向量拼接后作为下一层的输入，使用Softmax函数获得下一个项目推荐的概率。

5.如权利要求1所述的基于动态图注意力网络的多关系协同过滤推荐方法，其特征在于，所述步骤S4中模型的训练及项目推荐的具体步骤如下：

S402、构建优化函数：采用Adam来优化模型并更新模型参数；

S403、项目推荐：将最终用户信息和项目信息送入融合模型，输出项目的推荐概率，判断是否将项目推荐给用户。