CN111782765A - 一种基于图注意力机制的推荐方法 - Google Patents

Abstract

本发明公开了一种基于图注意力机制的推荐方法，根据用户——物品购买行为建立用户——物品二部图。将用户评论文本和物品描述文本作为节点信息的来源，使用word2vec方法进行文本数据的特征提取工作，以得到每个节点的初始特征向量。通过在该二部图上搭建图注意力网络的方式，使得二部图中的节点信息可实现以注意力机制为核心的聚合操作，并得到更新后的节点信息。最后，通过MLP全连接网络将更新后的节点信息作为输入，经过多层映射后得到用户对物品的预测评分，针对得到的预测评分采用Top‑n推荐生成推荐物品列表。本发明能更精确的帮助用户分析对物品的偏好程度，找到用户的关注点，从而进行更有效的推荐。

Description

一种基于图注意力机制的推荐方法

技术领域

本发明涉及属于文本分类，深度学习研究的技术领域，尤其涉及一种基于图注意力机制的推荐方法。

背景技术

随着互联网技术的不断发展，用户对个性化推荐服务的要求越来越高。如何根据用户已有的评论及行为数据，挖掘用户喜好，成为互联网发展前景中的一大热门领域。

传统的协同过滤推荐技术，一般利用评分数据来获取用户偏好，除了评分，不需要获取其他内容信息，虽然避免了提取数据的复杂性，但是输入的数据单一，遗漏了其它数据信息。所以仅通过传统协同过滤技术不能直观和全面地获取用户偏好信息，也就导致推荐性能不够理想。图数据能够蕴含着大量的信息，不仅仅包含节点信息，还包含了节点与邻居节点之间的信息，通过注意力机制对图数据进行聚合更新，可以将节点蕴含的信息更加突出的表现出来。将图数据应用在深度学习的推荐算法中，可以通过深度学习的方法精准获取用户对物品的偏好程度，从而提高推荐的精确度。

在现有的推荐技术中，一般基于评分信息或者用户浏览、购买记录捕捉用户喜好进行推荐，但是很少考虑融合用户的节点特征和邻居节点的特征和获取用户的偏好信息和物品的节点特征，导致推荐效果不够理想。目前基于协同过滤的推荐系统中主要面临以下几个问题：

(1)仅使用单一评分数据，评论信息用得少；

(2)对用户打出的同一评分，不能很好识别用户的关注点。如当用户给同一种物品打5分时，有的用户关注的是质量，有的用户关注的则是价格，一般的推荐系统很难识别这种差别。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种基于图注意力机制的推荐方法，通过图数据构建注意力网络，将更新后的节点信息搭建全连接网络，得到用户对物品的偏好程度，进行个性化推荐，提高了分类的准确率和召回率。

本发明是通过以下技术方案实现的：

一种基于图注意力机制的推荐方法，具体步骤如下：

步骤1、根据用户——物品购买关系构建用户——物品二部图，其中用户和物品表示为节点，用户与物品的购买关系表示为无向边；将用户评论文本和物品描述文本作为节点信息的来源，使用word2vec方法进行文本数据的特征提取工作，以得到每个节点的初始特征向量；

步骤2、构建用户图注意力网络，更新用户节点信息；

步骤3、构建物品图注意力网络，更新物品节点信息；

步骤4、搭建全连接网络，将更新后的节点信息作为输入，经过多层映射后得到用户对物品的预测评分；

步骤5、针对得到的预测评分采用Top-n推荐生成推荐物品列表。

所述的将用户评论文本和物品描述文本作为节点信息的来源，使用word2vec方法进行文本数据的特征提取工作，以得到每个节点的初始特征向量，具体步骤如下：

步骤1.1、从数据集获取n个用户的评论文本，通过word2vec编码将用户的评论文本转换为词向量，采用平均向量化方法将词向量聚合成特征向量：

H(w_i)为词语w_i使用word2vce向量化得到的词向量，N为评论文本中的词语数量，H_i节点表示第i个用户的节点特征向量，H_i∈R^l，l表示特征向量长度；

步骤1.2、将k个物品的详情描述文本提取出来，用word2vec编码表示成词向量，采用平均向量化得到物品向量X₁,...,X_k，X_j表示第j个物品的特征向量，X_j∈R^l，l表示特征向量长度。

所述的构建用户图注意力网络，更新用户节点信息，具体步骤如下：

步骤2.1、从用户——物品二部图中取用户H_i及其邻居节点X_j∈N(H_i)构建子图，其中N(H_i)表示用户H_i购买过物品集，计算节点H_i与邻居节点X_j的相关度:

e_ij＝LeakyReLU(a^T[wH_i，wX_j]) (2)

w∈R^2l为用户节点信息变换的权重参数，a∈R^2l为权重参数，激活函数为LeakyReLU；

步骤2.2、使用softmax对所有邻居节点信息相关度进行统一的归一化处理，

为权重系数：

步骤2.3、经过一个以注意力机制为核心的聚合操作，得到用户新的节点信息：

所述的构建物品图注意力网络，更新物品节点信息，具体步骤如下：

步骤3.1、从用户——物品二部图中取物品X_j及其邻居节点H_i∈N(X_j)构建子图，其中N(X_j)表示购买过物品X_j的用户集，计算节点X_j与邻居节点H_i的相关度:

e_ji＝LeakyReLU(a^T[wX_j，wH_i]) (5)

w∈R^2l为物品节点信息的权重参数，a∈R^2l为权重参数，激活函数为LeakyReLU；

步骤3.2、使用softmax对所有邻居节点相关度进行统一的归一化处理，

为权重系数：

步骤3.3、经过一个以注意力机制为核心的聚合操作，得到物品新的节点信息；

所述的搭建全连接网络，将更新后的节点信息作为输入，经过多层映射后得到用户对物品的预测评分，具体内容如下：

将得到的用户节点信息和物品的节点信息，H_i'和X_j'进行拼接，得到向量[H_i'，X_j']使用多层感知机网络将合向量[H_i'，X_j']作为输入，通过多层映射得到用户对物品的偏好程度R_ij：

R_ij＝nn([H_i'，X_j']) (8)

nn表示多层感知机。

所述的针对得到的预测评分采用Top-n推荐生成推荐物品列表，具体如下：基于Top-n算法，根据用户对每个物品的偏好程度进项排序，选择偏好程度高的前s个生成推荐列表。

本发明的优点是：1、本发明通过考虑单一用户对多个物品的关注点不同和多个用户对单一物品的关注点不同，对用户评论文本和物品描述进行提取用户和物品的原始特征，构建用户——物品二部图。图数据包含了大量的节点信息和节点与邻居节点之间的关系。

2、本发明通过对图数据中的节点信息和边构建图注意力网络，经过一个以注意力为核心的聚合操作后，得到每个节点新的节点信息。

3、本发明所构建的全连接网络的网络结构，可以有效的获取用户对物品的偏好程度。

附图说明

图1为用户和物品的二部图；

图2为图注意力网络模型；

图3为本发明的结构示意图。

具体实施方式

一种基于图注意力机制的推荐方法，利用评论文本和物品描述分别提取用户和物品的向量特征，构建用户和物品的二部图，将二部图应用在注意力机制中，更新节点信息，将获取的新的节点信息，构建全连接网络，获取用户对物品的偏好程度。根据用户对每个物品的偏好程度进项排序，选择偏好程度高的物品生成推荐列表。

如图3所示，本实施例中，一种基于图注意力机制的个性化推荐方法，是按照如下步骤进行：

步骤1、分别获取用户和物品的特征向量，构建用户物品二部图，如图1；

首先对用户评论文本和物品的描述进行词特征提取，通过平均化词向量得到用户的特征向量和物品的特征向量，根据用户是否购买过物品构建用户——物品二部图；将用户评论文本和物品描述文本作为节点信息的来源，使用word2vec方法进行文本数据的特征提取工作，以得到每个节点的初始特征向量；

步骤1.1、从数据集获取n个用户的评论文本，通过word2vec编码将用户的评论文本转换为词向量，采用平均向量化方法将词向量聚合成特征向量：

H(w_i)为词语w_i使用word2vce向量化得到的词向量，N为评论文本中的词语数量，H_i节点表示第i个用户的节点特征向量，H_i∈R^l，l表示特征向量长度；

步骤1.2、将k个物品的详情描述文本提取出来，用word2vec编码表示成词向量，采用平均向量化得到物品向量X₁,...,X_k，X_j表示第j个物品的特征向量，X_j∈R^l，l表示特征向量长度；

步骤2、构建用户图注意力网络，更新用户节点信息；如图2所示的注意力模型；

从用户——物品二部图中取用户H_i及其邻居节点X_j∈N(H_i)构建子图，其中N(H_i)表示用户H_i购买过物品集，计算节点H_i与邻居节点X_j的相关度，将于所有邻居节点计算出的相关度进行归一化处理，经过一个以注意力机制为核心的聚合操作之后，得到节点新的节点信息。

步骤2.1、从用户——物品二部图中取用户H_i及其邻居节点X_j∈N(H_i)构建子图，其中N(H_i)表示用户H_i购买过物品集，计算节点H_i与邻居节点X_j的相关度:

e_ij＝LeakyReLU(a^T[wH_i，wX_j]) (2)

w∈R^2l为用户节点信息变换的权重参数，a∈R^2l为权重参数，激活函数为LeakyReLU；

步骤2.2、使用softmax对所有邻居节点信息相关度进行统一的归一化处理，

为权重系数：

步骤2.3、经过一个以注意力机制为核心的聚合操作，得到用户新的节点信息：

步骤3、构建物品图注意力网络，更新物品节点信息；

从用户——物品二部图中取物品X_j及其邻居节点H_i∈N(X_j)构建子图，其中N(X_j)表示购买过物品X_j的用户集，计算节点X_j与邻居节点H_i的相关度，将于所有邻居节点计算出的相关度进行归一化处理，经过一个以注意力机制为核心的聚合操作之后，得到新的节点信息。

步骤3.1、从用户——物品二部图中取物品X_j及其邻居节点H_i∈N(X_j)构建子图，其中N(X_j)表示购买过物品X_j的用户集，计算节点X_j与邻居节点H_i的相关度:

e_ji＝Leaky Re LU(a^T[wX_j，wH_i]) (5)

w∈R^2l为物品节点信息的权重参数，a∈R^2l为权重参数，激活函数为Leaky Re LU；

步骤3.2、使用softmax对所有邻居节点相关度进行统一的归一化处理，

为权重系数：

步骤3.3、经过一个以注意力机制为核心的聚合操作，得到物品新的节点信息；

步骤4、搭建全连接网络(MLP)，将更新后的节点信息作为输入，经过多层映射后得到用户对物品的预测评分；

将得到的用户节点信息和物品的节点信息，H_i'和X_j'进行拼接，得到向量[H_i'，X_j']使用多层感知机网络将合向量[H_i'，X_j']作为输入，通过多层映射得到用户对物品的偏好程度R_ij：

R_ij＝nn([H_i'，X_j']) (8)

nn表示多层感知机(MLP)。

步骤5、Top-n推荐，针对得到的预测评分采用Top-n推荐生成推荐物品列表；

基于Top-n算法，根据用户对每个物品的偏好程度进项排序，选择偏好程度高的前s个生成推荐列表。

Claims (6)

1.一种基于图注意力机制的推荐方法，其特征在于：具体步骤如下：

步骤1、根据用户——物品购买关系构建用户——物品二部图，其中用户和物品表示为节点，用户与物品的购买关系表示为无向边；将用户评论文本和物品描述文本作为节点信息的来源，使用word2vec方法进行文本数据的特征提取工作，以得到每个节点的初始特征向量；

步骤2、构建用户图注意力网络，更新用户节点信息；

步骤3、构建物品图注意力网络，更新物品节点信息；

步骤4、搭建全连接网络，将更新后的节点信息作为输入，经过多层映射后得到用户对物品的预测评分；

步骤5、针对得到的预测评分采用Top-n推荐生成推荐物品列表。

2.根据权利要求1所述的一种基于图注意力机制的推荐方法，其特征在于：所述的将用户评论文本和物品描述文本作为节点信息的来源，使用word2vec方法进行文本数据的特征提取工作，以得到每个节点的初始特征向量，具体步骤如下：

步骤1.1、从数据集获取n个用户的评论文本，通过word2vec编码将用户的评论文本转换为词向量，采用平均向量化方法将词向量聚合成特征向量：

H(w_i)为词语w_i使用word2vce向量化得到的词向量，N为评论文本中的词语数量，H_i节点表示第i个用户的节点特征向量，H_i∈R^l，l表示特征向量长度；

步骤1.2、将k个物品的详情描述文本提取出来，用word2vec编码表示成词向量，采用平均向量化得到物品向量X₁,...,X_k，X_j表示第j个物品的特征向量，X_j∈R^l，l表示特征向量长度。

3.根据权利要求2所述的一种基于图注意力机制的推荐方法，其特征在于：所述的构建用户图注意力网络，更新用户节点信息，具体步骤如下：

步骤2.1、从用户——物品二部图中取用户H_i及其邻居节点X_j∈N(H_i)构建子图，其中N(H_i)表示用户H_i购买过物品集，计算节点H_i与邻居节点X_j的相关度:

e_ij＝LeakyReLU(a^T[wH_i，wX_j]) (2)

w∈R^2l为用户节点信息变换的权重参数，a∈R^2l为权重参数，激活函数为LeakyReLU；

步骤2.2、使用softmax对所有邻居节点信息相关度进行统一的归一化处理，

为权重系数：

步骤2.3、经过一个以注意力机制为核心的聚合操作，得到用户新的节点信息：

4.根据权利要求3所述的一种基于图注意力机制的推荐方法，其特征在于：所述的构建物品图注意力网络，更新物品节点信息，具体步骤如下：

步骤3.1、从用户——物品二部图中取物品X_j及其邻居节点H_i∈N(X_j)构建子图，其中N(X_j)表示购买过物品X_j的用户集，计算节点X_j与邻居节点H_i的相关度:

e_ji＝LeakyReLU(a^T[wX_j，wH_i]) (5)

w∈R^2l为物品节点信息的权重参数，a∈R^2l为权重参数，激活函数为LeakyReLU；

步骤3.2、使用softmax对所有邻居节点相关度进行统一的归一化处理，

为权重系数：

步骤3.3、经过一个以注意力机制为核心的聚合操作，得到物品新的节点信息；

5.根据权利要求4所述的一种基于图注意力机制的推荐方法，其特征在于：所述的搭建全连接网络，将更新后的节点信息作为输入，经过多层映射后得到用户对物品的预测评分，具体内容如下：

将得到的用户节点信息和物品的节点信息，H′_i和X_j'进行拼接，得到向量[H′_i，X_j']使用多层感知机网络将合向量[H′_i，X_j']作为输入，通过多层映射得到用户对物品的偏好程度R_ij：

R_ij＝nn([H′_i，X_j']) (8)

nn表示多层感知机。

6.根据权利要求5所述的一种基于图注意力机制的推荐方法，其特征在于：所述的针对得到的预测评分采用Top-n推荐生成推荐物品列表，具体如下：基于Top-n算法，根据用户对每个物品的偏好程度进项排序，选择偏好程度高的前s个生成推荐列表。

Images