CN112650929B - 一种融入评论信息的图神经网络推荐方法 - Google Patents

Abstract

本发明公开了一种融入评论信息的图神经网络推荐方法，将用户评论文本作为节点信息的来源，使用BERT模型进行文本数据的特征提取工作，以得到每个节点的内容表述向量。再根据用户与物品的交互行为建立用户—物品二部图，通过在该二部图上搭建图神经网络聚合节点的一阶和三阶邻居信息，来学习用户和物品的结构表述，再将结构表述与内容表述相融合作为用户和物品的最终嵌入表示。最后，通过多层感知机MLP预测用户对各物品的交互概率。针对得到的预测结果，采用Top‑N排序，生成推荐物品列表。本发明能更精确捕捉用户偏好，找到用户的兴趣点，并对其进行更为准确有效的推荐。

Description

一种融入评论信息的图神经网络推荐方法

技术领域

本发明涉及计算机信息推荐方法领域，具体是一种融入评论信息的图神经网络推荐方法。

背景技术

推荐系统可以解决信息过载问题，发展迅速。如手机上的软件，购物、音乐、视频等都是和推荐有关，其核心大都是通过分析用户的行为来研究用户的兴趣爱好，从大量的数据中给用户推荐所感兴趣的。

传统推荐算法有基于内容的推荐、基于协同过滤的推荐和混合推荐。基于内容的推荐所用是信息比对过滤技术，其物品的内容无需评分，但需要易提取的内容特征且结构性强，推荐精度不高且可扩展性差。协同过滤采用临近技术利用评分和用户和项目之间的交互信息进行推荐，但协同过滤有典型的数据稀疏和冷启动问题。混合推荐目的是通过组合后能避免或弥补各自推荐技术的弱点从而扬长避短，但是用的算法多，计算难度增加。而图数据的强大表达能力而受到越来越多的关注，图能刻画实物以及实物之间的关系，也可以用作跨越各种领域的大量系统表示，图分析侧重于节点分类、链接预测和聚类。将处理图数据的相关图神经网络算法应用到推荐系统上，可以弥补传统协同过滤算法在用户和物品结构描述上的缺陷，通过加入注意力机制对图数据进行聚合更新，可以将节点蕴含的信息更加突出的表现出来，在聚合高阶邻居时效果更好。

在现有的推荐技术中，一般基于评分信息或者用户浏览、购买记录捕捉用户喜好进行推荐，但是很少考虑融合用户的评论信息来获取用户的偏好和物品的特征，导致推荐效果不够理想。目前基于协同过滤的推荐系统中主要面临以下几个问题：

(1)对数据稀疏型问题和冷启动敏感。

(2)单一的利用用户与物品的交互信息，不能很好的利用其它有用信息。

(3)对于高阶邻居，不能很好识别用户的关注点。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种融入评论信息的图神经网络推荐方法，通过聚合各节点一阶邻居和三阶邻居，更全面的获取节点的结构表述，并通过使用BERT模型分析评论数据，作为各节点的内容表述。将结构表述和内容表述共同作为节点的最终嵌入表示，并使用多层感知机进行预测用户与物品的交互概率，从而进行个性化推荐，提高了推荐结果的准确率。

为了达到上述目的，本发明所采用的技术方案为：

一种融入评论信息的图神经网络推荐方法，包括以下步骤：

(1)、利用BERT模型从评论文本中提取语义特征，作为用户和物品的内容表述；

(2)、构建第一图卷积层和第一图注意力层学习用户的结构信息表述，并与步骤(1)得到的用户的内容表述进行融合，作为用户的最终嵌入表示；

(3)、构建第二图卷积层和第二图注意力层学习物品的结构信息表述，并与步骤(1)得到的物品的内容表述进行融合，作为物品的最终嵌入表示；

(4)、利用步骤(2)和步骤(3)得到的用户、物品的最终嵌入表示，通过多层感知机MLP预测用户对物品产生交互的概率；

(5)、利用步骤(4)得到交互的概率作为预测结果进行推荐。

一种融入评论信息的图神经网络推荐方法步骤(1)的具体步骤如下：

步骤(1.1)、从评论数据集中提取用户对各个物品的评论文本，使用BERT模型将评论文本转换为词向量，并将词向量聚合成特征向量，得到如公式(1)的内容表述：

公式(1)中，U_i表示第i个用户节点的内容表述特征向量，U(word_i)为该用户对物品的评论所用的词语word_i使用BERT模型向量化得到的词向量，N为评论文本中的词语数量；

步骤(1.2)、从评论数据集中提取各个物品被各个用户所评论的文本，使用BERT模型将评论文本转换为词向量，并将词向量聚合成特征向量，得到公式(2)的内容表述：

公式(2)中：I_j表示第j个物品节点的内容表述特征向量，I(word_j)为物品被各个用户评论所用到的词语word_j使用BERT模型向量化得到的词向量，N为评论文本中的词语数量。

一种融入评论信息的图神经网络推荐方法步骤(1.1)中采用平均向量化方法将词向量聚合成特征向量以得到公式(1)，步骤(1.2)中同样采用平均向量化方法将词向量聚合成特征向量得到公式(2)。

一种融入评论信息的图神经网络推荐方法步骤(2)的具体步骤如下：

步骤(2.1)、随机初始化用户的结构特征：

其中：Emb_user表示用户的结构特征矩阵，由各个用户的结构特征向量emb_user组成；

步骤(2.2)、随机初始化物品的结构特征：

其中：Emb_item表示物品的结构特征矩阵，由各个物品的结构特征向量emb_item组成；

步骤(2.3)、从数据集中提取用户-物品的交互记录，构建用户-物品稀疏邻接矩阵，并添加自环，防止后续的聚合更新过程中丢失自身信息，然后对稀疏邻接矩阵进行归一化处理，得到公式(3)：

公式(3)中：A_{norm_user2item}表示归一化后的用户—物品稀疏邻接矩阵，

表示由各个用户节点的度构成的对角阵，A_user2item表示未归一化的用户-物品稀疏邻接矩阵，

表示由各个物品节点的度构成的对角阵；

步骤(2.4)、构建第一图卷积层，通过聚合用户节点的一阶邻居信息来更新用户节点的结构特征表述，得到公式(4)：

公式(4)中：

表示用户的结构表述经过第一图卷积层后，所得到的更新结果，σ(·)为本层的ReLU激活函数；

步骤(2.5)、构建第一图注意力层，对用户节点的三阶邻居信息进行聚合，用于更新自身节点信息，得到各个用户节点结构表述的更新结果，如公式(5)所示：

公式(5)中：

表示用户的结构表述经过第一图注意力层后，所得到的更新结果，θ(·)为本层用于计算更新结果的ELU激活函数，

为物品节点与用户节点的相关度，

的计算公式如公式(6)所示：

公式(6)中：softmax(·)为归一化函数，LeakyReLU(·)为本层中用于计算物品节点与用户节点相关度的激活函数，a^T为权重参数，W_GAT为节点信息变换的权重参数；

步骤(2.6)、构建第一全连接层融合用户的内容表述与结构信息表述，得到公式(7)：

公式(7)中：H_user即为用户节点的最终嵌入表示，U为步骤(1)中得到的用户内容表述特征矩阵，W_{d_user}为该全连接层的权重参数，b_{d_user}表示该全连接层的偏置项。

一种融入评论信息的图神经网络推荐方法步骤(3)的具体过程如下：

步骤(3.1)、从数据集中提取用户-物品的交互记录，构建物品—用户稀疏邻接矩阵，并添加自环，防止后续的聚合更新过程中丢失自身信息，然后对稀疏邻接矩阵进行归一化处理得到公式(8)：

公式(8)中：A_{norm_item2user}表示归一化后的物品—用户稀疏邻接矩阵，

表示由各个物品节点的度构成的对角阵，A_item2user表示未归一化的物品—用户稀疏邻接矩阵，

表示由各个用户节点的度构成的对角阵；

步骤(3.2)、构建第二图卷积层，通过聚合物品节点的一阶邻居信息来更新物品节点的结构特征表述，得到公式(9)：

公式(9)中：

表示物品的结构表述经过第二图卷积层后，所得到的更新结果，σ(·)为本层的ReLU激活函数；

步骤(3.3)、构建第二图注意力层，对物品节点的三阶邻居信息进行聚合，用于更新自身节点信息，得到各个物品节点结构表述的更新结果，如以下公式(10)所示：

公式(10)中：

表示物品的结构表述经过第二图注意力层后，所得到的更新结果，θ(·)为本层用于计算更新结果的ELU激活函数，

为步骤(2.5)中计算得到的物品节点与用户节点的相关度

的转置；

步骤(3.4)、构建第二全连接层融合物品的内容表述与结构信息表述，如公式(11)所示：

公式(11)中：H_item即为物品节点的最终嵌入表示，I为步骤(1)中得到的物品内容表述特征矩阵，W_{d_item}为该全连接层的权重参数，b_{d_item}表示该全连接层的偏置项。

一种融入评论信息的图神经网络推荐方法步骤(4)的具体过程如下：

步骤(4.1)、构建第三全连接层，对用户最终嵌入表示和物品最终嵌入表示进行整合，得到公式(12)：

H_d＝σ([H_user|H_item]·W_d+b_d) (12)，

公式(12)中：H_d表示对用户最终嵌入表示和物品最终嵌入表示的整合结果，σ(·)为该全连接层的ReLU激活函数，W_d表示该全连接层的权重参数，b_d表示该全连接层的偏置项；

步骤(4.2)、构建第四全连接层，利用步骤(4.1)中得到的H_d预测用户对物品产生交互的概率，如以下公式(13)所示：

公式(13)中：

表示用户u对物品i产生交互的预测概率，sigmoid(·)为激活函数，W_p为该全连接层的权重参数，b_p表示该全连接层的偏置项。

与现有技术相比，本发明的优点为：

1、本发明不仅利用用户与物品的交互信息，同时还利用了用户对物品的评论文本内容。融合了多种信息进行用户兴趣的发掘，相较于使用交互行为数据的传统推荐方法，本发明能进行更合理更精确的推荐；

2、本发明所构建的BERT文本处理、图卷积层、图注意力层，可以有效的获取用户对物品的偏好程度；

3、本发明所使用的图卷积层和图注意力层，在应对数据稀疏和冷启动时，较传统的推荐方法有更好的表现。

4、本发明所使用的图注意力层，在聚合高阶邻居时，可自适应学习节点之间的相关性，更有助于学习节点的结构表述。

附图说明

图1为本发明方法流程框图。

图2为BERT模型提取用户和物品的内容表述流程框图。

图3为利用图神经网络学习用户节点的结构信息表述并与内容表述相融合得到的用户嵌入表示的流程框图。

图4为利用图神经网络学习物品节点的结构信息表述并与内容表述相融合得到的物品嵌入表示的流程框图。

图5为利用多层感知器MLP预测用户对物品的交互概率的流程框图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，本发明一种融入评论信息的图神经网络推荐方法，利用BERT模型从用户评论文本中分别提取用户和物品的内容表述，再构建用户和物品的二部图，利用图神经网络从用户—物品二部图中学习用户和物品的结构表述，并与内容表述项融合作为用户和物品的最终嵌入表示。最后使用多层感知机预测用户对物品的交互概率，并根据用户对每个物品的预测交互概率进行排序，选择概率较高的物品生成Top-N推荐列表。

本发明包括以下步骤：

(1)、如图2所示，利用BERT模型从评论文本中提取语义特征，作为用户和物品的内容表述；步骤(1)的具体步骤如下：

步骤(1.1)、从评论数据集中提取用户对各个物品的评论文本，使用BERT模型将评论文本转换为词向量，并采用平均向量化方法将词向量聚合成特征向量，得到如公式(1)的内容表述：

公式(1)中，U_i表示第i个用户节点的内容表述特征向量，U(word_i)为该用户对物品的评论所用的词语word_i使用BERT模型向量化得到的词向量，N为评论文本中的词语数量；

步骤(1.2)、从评论数据集中提取各个物品被各个用户所评论的文本，使用BERT模型将评论文本转换为词向量，并采用平均向量化方法将词向量聚合成特征向量，得到公式(2)的内容表述：

公式(2)中：I_j表示第j个物品节点的内容表述特征向量，I(word_j)为物品被各个用户评论所用到的词语word_j使用BERT模型向量化得到的词向量，N为评论文本中的词语数量。

(2)、如图3所示，构建第一图卷积层和第一图注意力层学习用户的结构信息表述，并与步骤(1)得到的用户的内容表述进行融合，作为用户的最终嵌入表示；步骤(2)的具体步骤如下：

步骤(2.1)、随机初始化用户的结构特征：

其中：Emb_user表示用户的结构特征矩阵，由各个用户的结构特征向量emb_user组成；

步骤(2.2)、随机初始化物品的结构特征：

其中：Emb_item表示物品的结构特征矩阵，由各个物品的结构特征向量emb_item组成；

步骤(2.3)、从数据集中提取用户-物品的交互记录，构建用户-物品稀疏邻接矩阵，并添加自环，防止后续的聚合更新过程中丢失自身信息，然后对稀疏邻接矩阵进行归一化处理，得到公式(3)：

公式(3)中：A_{norm_user2item}表示归一化后的用户—物品稀疏邻接矩阵，

表示由各个用户节点的度构成的对角阵，A_user2item表示未归一化的用户-物品稀疏邻接矩阵，

表示由各个物品节点的度构成的对角阵；

步骤(2.4)、构建第一图卷积层，通过聚合用户节点的一阶邻居信息来更新用户节点的结构特征表述，得到公式(4)：

公式(4)中：

表示用户的结构表述经过第一图卷积层后，所得到的更新结果，σ(·)为本层的ReLU激活函数；

步骤(2.5)、构建第一图注意力层，对用户节点的三阶邻居信息进行聚合，用于更新自身节点信息，得到各个用户节点结构表述的更新结果，如公式(5)所示：

公式(5)中：

表示用户的结构表述经过第一图注意力层后，所得到的更新结果，θ(·)为本层用于计算更新结果的ELU激活函数，

为物品节点与用户节点的相关度，

的计算公式如公式(6)所示：

公式(6)中：softmax(·)为归一化函数，LeakyReLU(·)为本层中用于计算物品节点与用户节点相关度的激活函数，a^T为权重参数，W_GAT为节点信息变换的权重参数；

步骤(2.6)、构建第一全连接层融合用户的内容表述与结构信息表述，得到公式(7)：

公式(7)中：H_user即为用户节点的最终嵌入表示，U为步骤(1)中得到的用户内容表述特征矩阵，W_{d_user}为该全连接层的权重参数，b_{d_user}表示该全连接层的偏置项。

(3)、如图4所示，构建第二图卷积层和第二图注意力层学习物品的结构信息表述，并与步骤(1)得到的物品的内容表述进行融合，作为物品的最终嵌入表示；步骤(3)的具体过程如下：

步骤(3.1)、从数据集中提取用户-物品的交互记录，构建物品—用户稀疏邻接矩阵，并添加自环，防止后续的聚合更新过程中丢失自身信息，然后对稀疏邻接矩阵进行归一化处理得到公式(8)：

公式(8)中：A_{norm_item2user}表示归一化后的物品—用户稀疏邻接矩阵，

表示由各个物品节点的度构成的对角阵，A_item2user表示未归一化的物品—用户稀疏邻接矩阵，

表示由各个用户节点的度构成的对角阵；

步骤(3.2)、构建第二图卷积层，通过聚合物品节点的一阶邻居信息来更新物品节点的结构特征表述，得到公式(9)：

公式(9)中：

表示物品的结构表述经过第二图卷积层后，所得到的更新结果，σ(·)为本层的ReLU激活函数；

步骤(3.3)、构建第二图注意力层，对物品节点的三阶邻居信息进行聚合，用于更新自身节点信息，得到各个物品节点结构表述的更新结果，如以下公式(10)所示：

公式(10)中：

表示物品的结构表述经过第二图注意力层后，所得到的更新结果，θ(·)为本层用于计算更新结果的ELU激活函数，

为步骤(2.5)中计算得到的物品节点与用户节点的相关度

的转置；

步骤(3.4)、构建第二全连接层融合物品的内容表述与结构信息表述，如公式(11)所示：

公式(11)中：H_item即为物品节点的最终嵌入表示，I为步骤(1)中得到的物品内容表述特征矩阵，W_{d_item}为该全连接层的权重参数，b_{d_item}表示该全连接层的偏置项。

(4)、如图5所示，利用步骤(2)和步骤(3)得到的用户、物品的最终嵌入表示，通过多层感知机MLP预测用户对物品产生交互的概率；步骤(4)的具体过程如下：

步骤(4.1)、构建第三全连接层，对用户最终嵌入表示和物品最终嵌入表示进行整合，得到公式(12)：

H_d＝σ([H_user|H_item]·W_d+b_d) (12)，

公式(12)中：H_d表示对用户最终嵌入表示和物品最终嵌入表示的整合结果，σ(·)为该全连接层的ReLU激活函数，W_d表示该全连接层的权重参数，b_d表示该全连接层的偏置项；

步骤(4.2)、构建第四全连接层，利用步骤(4.1)中得到的H_d预测用户对物品产生交互的概率，如以下公式(13)所示：

公式(13)中：

表示用户u对物品i产生交互的预测概率，sigmoid(·)为激活函数，W_p为该全连接层的权重参数，b_p表示该全连接层的偏置项。

(5)、使用反向传播优化算法优化上述模型后，利用步骤(4)得到交互的概率作为预测结果进行推荐，对物品进行Top-N排序，选取前N个物品推荐给用户。

本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (1)

1.一种融入评论信息的图神经网络推荐方法，其特征在于，包括以下步骤：

(1)、利用BERT模型从评论文本中提取语义特征，作为用户和物品的内容表述；

(2)、构建第一图卷积层和第一图注意力层学习用户的结构信息表述，并与步骤(1)得到的用户的内容表述进行融合，作为用户的最终嵌入表示；

(3)、构建第二图卷积层和第二图注意力层学习物品的结构信息表述，并与步骤(1)得到的物品的内容表述进行融合，作为物品的最终嵌入表示；

(4)、利用步骤(2)和步骤(3)得到的用户、物品的最终嵌入表示，通过多层感知机MLP预测用户对物品产生交互的概率；

(5)、利用步骤(4)得到交互的概率作为预测结果进行推荐；

步骤(1)的具体步骤如下：

步骤(1.1)、从评论数据集中提取用户对各个物品的评论文本，使用BERT模型将评论文本转换为词向量，并将词向量聚合成特征向量，得到如公式(1)的内容表述：

公式(1)中，U_i表示第i个用户节点的内容表述特征向量，U(word_i)为该用户对物品的评论所用的词语word_i使用BERT模型向量化得到的词向量，N为评论文本中的词语数量；

步骤(1.2)、从评论数据集中提取各个物品被各个用户所评论的文本，使用BERT模型将评论文本转换为词向量，并将词向量聚合成特征向量，得到公式(2)的内容表述：

公式(2)中：I_j表示第j个物品节点的内容表述特征向量，I(word_j)为物品被各个用户评论所用到的词语word_j使用BERT模型向量化得到的词向量，N为评论文本中的词语数量；

步骤(1.1)中采用平均向量化方法将词向量聚合成特征向量以得到公式(1)，步骤(1.2)中同样采用平均向量化方法将词向量聚合成特征向量得到公式(2)；

步骤(2)的具体步骤如下：

步骤(2.1)、随机初始化用户的结构特征：

其中：Emb_user表示用户的结构特征矩阵，由各个用户的结构特征向量emb_user组成；

步骤(2.2)、随机初始化物品的结构特征：

其中：Emb_item表示物品的结构特征矩阵，由各个物品的结构特征向量emb_item组成；

步骤(2.3)、从数据集中提取用户-物品的交互记录，构建用户-物品稀疏邻接矩阵，并添加自环，防止后续的聚合更新过程中丢失自身信息，然后对稀疏邻接矩阵进行归一化处理，得到公式(3)：

公式(3)中：A_{norm_user2item}表示归一化后的用户—物品稀疏邻接矩阵，

表示由各个用户节点的度构成的对角阵，A_user2item表示未归一化的用户-物品稀疏邻接矩阵，

表示由各个物品节点的度构成的对角阵；

步骤(2.4)、构建第一图卷积层，通过聚合用户节点的一阶邻居信息来更新用户节点的结构特征表述，得到公式(4)：

公式(4)中：

表示用户的结构表述经过第一图卷积层后，所得到的更新结果，σ(·)为本层的ReLU激活函数；

步骤(2.5)、构建第一图注意力层，对用户节点的三阶邻居信息进行聚合，用于更新自身节点信息，得到各个用户节点结构表述的更新结果，如公式(5)所示：

公式(5)中：

表示用户的结构表述经过第一图注意力层后，所得到的更新结果，θ(·)为本层用于计算更新结果的ELU激活函数，

为物品节点与用户节点的相关度，

的计算公式如公式(6)所示：

公式(6)中：softmax(·)为归一化函数，LeakyReLU(·)为本层中用于计算物品节点与用户节点相关度的激活函数，a^T为权重参数，W_GAT为节点信息变换的权重参数；

步骤(2.6)、构建第一全连接层融合用户的内容表述与结构信息表述，得到公式(7)：

公式(7)中：H_user即为用户节点的最终嵌入表示，U为步骤(1)中得到的用户内容表述特征矩阵，W_{d_user}为该全连接层的权重参数，b_{d_user}表示该全连接层的偏置项；

步骤(3)的具体过程如下：

步骤(3.1)、从数据集中提取用户-物品的交互记录，构建物品—用户稀疏邻接矩阵，并添加自环，防止后续的聚合更新过程中丢失自身信息，然后对稀疏邻接矩阵进行归一化处理得到公式(8)：

公式(8)中：A_{norm_item2user}表示归一化后的物品—用户稀疏邻接矩阵，

表示由各个物品节点的度构成的对角阵，A_item2user表示未归一化的物品—用户稀疏邻接矩阵，

表示由各个用户节点的度构成的对角阵；

步骤(3.2)、构建第二图卷积层，通过聚合物品节点的一阶邻居信息来更新物品节点的结构特征表述，得到公式(9)：

公式(9)中：

表示物品的结构表述经过第二图卷积层后，所得到的更新结果，σ(·)为本层的ReLU激活函数；

步骤(3.3)、构建第二图注意力层，对物品节点的三阶邻居信息进行聚合，用于更新自身节点信息，得到各个物品节点结构表述的更新结果，如以下公式(10)所示：

公式(10)中：

表示物品的结构表述经过第二图注意力层后，所得到的更新结果，θ(·)为本层用于计算更新结果的ELU激活函数，

为步骤(2.5)中计算得到的物品节点与用户节点的相关度

的转置；

步骤(3.4)、构建第二全连接层融合物品的内容表述与结构信息表述，如公式(11)所示：

公式(11)中：H_item即为物品节点的最终嵌入表示，I为步骤(1)中得到的物品内容表述特征矩阵，W_{d_item}为该全连接层的权重参数，b_{d_item}表示该全连接层的偏置项；

步骤(4)的具体过程如下：

步骤(4.1)、构建第三全连接层，对用户最终嵌入表示和物品最终嵌入表示进行整合，得到公式(12)：

H_d＝σ([H_user|H_item]·W_d+b_d) (12)，

公式(12)中：H_d表示对用户最终嵌入表示和物品最终嵌入表示的整合结果，σ(·)为该全连接层的ReLU激活函数，W_d表示该全连接层的权重参数，b_d表示该全连接层的偏置项；

步骤(4.2)、构建第四全连接层，利用步骤(4.1)中得到的H_d预测用户对物品产生交互的概率，如以下公式(13)所示：

公式(13)中：

表示用户u对物品i产生交互的预测概率，sigmoid(·)为激活函数，W_p为该全连接层的权重参数，b_p表示该全连接层的偏置项。

Images