CN111753207A - 一种基于评论的神经图协同过滤模型 - Google Patents

Abstract

本发明公开了一种基于评论的神经图协同过滤模型，属于推荐系统领域；该模型包括评论抽取模块、交互图模块和评分预测模块。评论抽取模块采用自注意力机制以及协同注意力机制从评论中学习用户对物品不同方面的喜好，得到用户和物品基于评论的向量表示。交互图模块连接用户和朋友以及用户喜欢的物品为交互图，然后用图卷积神经网络模拟用户和物品信息在图中的信息传播过程，得到用户和物品基于交互图的向量表示。评分预测模型将用户和物品基于评论的向量表示和基于交互图的向量表示拼接起来，从而预测用户对物品的评分。在Yelp207和Yelp2018两个真实数据集上进行实验，实验结果表明，本发明与现有技术相比，均方误差更小，可解释性更强。

Description

一种基于评论的神经图协同过滤模型

技术领域

本发明属于推荐系统领域，尤其涉及一种基于评论的神经图协同过滤模型。

背景技术

在推荐系统中，传统的协同过滤方法当遇到数据稀疏和冷启动问题时，协同过滤的效果大幅度下降，所以挺多论文尝试引入评论来缓解上述问题并建模用户-物品画像。

现有深度学习方法大多用相同的模型对用户评论和物品评论进行处理，没有考虑到用户评论与物品评论之间的关系，这样就不能很好地知道当前用户对这个物品的兴趣，同时现有的方法大多采用卷积神经网络的方法来挖掘评论中的短语，卷积神经网络固定大小的窗口缺少建模单词变长范围内上下文能力，很难很好地抽取出长距离的短语。同时不仅仅是评论，用户和物品图也传递了很多用户的喜好信息，比如可以从用户历史喜欢的物品中推测出用户的偏好，也可以从用户关注的人中推测用户可能和关注的人有相同的偏好，所以急需考虑用户物品交互图来捕捉用户的喜好以及物品的特征。

发明内容

本发明的目的是针对现有技术的不足而提出的一种基于评论的神经图协同过滤模型。本模型通过自注意力网络挖掘评论中变长距离的短语，并用协同注意力机制捕捉用户评论和物品评论之间的关系，从而更好地确定用户对该物品特定特征的喜好；同时模型也引入了用户物品交互图并通过图卷积神经网络来捕捉信息在用户物品交互图中的传播过程。

为达到上述目的，本发明提供如下技术方案：

一种基于评论的神经图协同过滤模型，特点是该模型包括：评论抽取模块、交互图模块和评分预测模块，所述评论抽取模块分别从用户和物品评论集中抽取出用户对每个物品特征的喜好，构建基于评论的用户和物品向量表示；交互图模块用图卷积神经网络捕捉用户和物品构成的交互图中的信息传播，构建基于交互图的用户和物品向量表示；评分预测模块基于用户向量表示和物品向量表示，使用分解机(FM)进行匹配，预测评分。

所述评论抽取模块，包括两个层：自注意力共享层及协同注意力层，其中各层具体为：

①自注意力共享层

首先将评论集合中的每个评论文本映射为词向量序列

其中T是每个评论中的单词个数，d表示单词向量的维度，

表示矩阵；接受一个评论集合，包括多个评论{R₁,R₂…,R_M}，其中M代表评论的最大数量,R表示每个评论；每个单词都通过词嵌入矩阵W^d×L编码映射到一个d维稠密向量，其中L是词汇表的大小；然后使用“自注意力网络”编码评论中每个单词的上下文构成短语表示，输入是长度为T个词的词向量序列

将X分别线性投影到三个不同的语义空间，形成三个序列矩阵Q,K,

输入到注意力函数中计算每个单词的上下文表示H：

Q＝XW_Q,K＝XW_K,V＝XW_V

H＝softmax(QK^T)V

其中W_Q,W_K,

为参数矩阵，

编码了评论中每个单词的上下文单词，K^T表示序列矩阵K的转置矩阵，softmax表示激活函数；

将序列矩阵V和上下文表示H相加，并通过一个全连接层转换语义空间，最后得到短语的表示Z：

Z＝tanh((H+V)W_p+b_p)

其中

中每个词的语义不再是单个单词，而是以该单词为中心的短语；

为参数矩阵，

为偏置项,tanh表示激活函数；

②协同注意力层

使用“协同注意力”得到用户评论集中各个评论和物品评论集中各个评论两两对应评论的权；使用上下文向量u_rec并用注意力机制从Z＝[z₁,z₂,…,z_T]中选取重要的单词并且加权求和得到单个评论的表示：

S_j＝tanh(u_rec×z_j+b_rec)

其中r是单个评论的表示，z_j表示短语表示Z中的第j个向量，S_j表示第j个短语表示z_j和上下文向量相乘得到的向量表示，b_rec是偏置项，tanh是激活函数，α_j表示z_j的注意力权重；该层把用户评论集合与物品评论集合相关联，把用户的所有评论用矩阵

来表示，物品的所有评论用矩阵

来表示，其中

表示用户u的第j条评论表示，

表示物品i的第j条评论表示；然后计算用户评论矩阵和物品评论矩阵的相关性，得到相关矩阵C：

C＝tanh(U^TW_aI)

其中W_a表示参数,U^T表示矩阵U的转置矩阵；将得到的C矩阵当做特征矩阵，计算用户评论矩阵和物品评论矩阵的协同注意力：

a^u＝softmax(w_hu(tanh(W_uU+(W_iI)C^T)))

aⁱ＝softmax(w_hi(tanh(W_iI+(W_uU)C)))

其中a^u表示用户评论矩阵的协同注意力权重向量，aⁱ表示物品评论矩阵的协同注意力权重向量，C^T表示相关矩阵C的转置矩阵，W_u，W_i，w_hu，w_hi是参数矩阵,softmax是激活函数；最后用户u和物品i基于评论的向量表示根据下式得到：

其中u_r表示用户u基于评论的向量，i_r表示物品i基于评论的向量，

表示a^u的第m个值，

表示aⁱ的第m个值，

表示用户u的第m条评论表示，

表示物品i的第m条评论表示。

所述交互图模块具体为：

该模块先对每一个用户在图中的初始向量设置为随机向量，表示为

其中

表示用户u在图中的初始向量表示，y_u为随机向量，同理对物品初始向量表示成

其中

表示物品i在图中的初始向量表示，y_i为随机向量，第k+1层图卷积神级网络的用户u节点表示通过第k层图神经网络中用户u相邻的节点向量以及自身的节点向量表示：

其中tanh是激活函数，其中

表示的是用户u在图中的第k+1层表示，W^k是参数矩阵，G_u表示用户u的邻居节点，

表示用户u的邻居节点在图中的第k+1层表示，

表示的是用户u在图中的第k层表示；最后基于交互图的用户向量表示成

其中

表示的是用户u在图中的第K层表示，同理基于交互图的物品向量也可以表示成

其中

表示的是物品i在图中的第K层表示，其中K表示最后图神经网络的层数。

所述评分预测模块具体为：

评分预测模块将从评论抽取模块得到的用户向量和交互图得到的用户向量拼接起来得到最后的用户向量表示u^r，同样得到最后的物品向量表示i^r：

u^r＝σ(F_u×[u_r,u_g]),i^r＝σ(F_i×[i_r,i_g])

其中F_u，F_i是参数，σ是非线性函数；将u^r和i^r相乘，计算预测评分

其中(i^r)^T表示物品向量i^r的转置矩阵，最后用均方误差作为损失函数：

Loss表示最后计算的损失，其中y为用户u对物品i的真实评分，D为包含所有用户和物品的训练集。

本发明的有益效果在于：

本发明通过将自注意力网络引入到推荐系统的评论建模中，在深度学习框架下考虑了用户对“物品特征”的情感极性，并缓解了CNN抽取短语引入噪声和上下文丢失的问题，细粒度地建模用户-物品画像，提升推荐性能。

附图说明

图1是本发明的结构示意图；

图2是本发明的评论抽取模块结构示意图；

图3是本发明的交互模块结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步阐释。

参阅图1，为整体模型图，共分为三部分：

(1)评论抽取模块图：从用户和物品评论集合中抽取用户对每个物品特征的情感极性，构建用户和物品向量表示；

(2)交互图模块：从用户和物品交互图中抽取用户和物品的向量表示；

(3)评分预测模块：基于评论得到的向量和基于交互图得到的向量拼接起来预测最后的评分。

实施例

参阅图2-3，是本发明的模型分层结构图，以下对本实施例中的预处理流程、三个模块的结构、实验验证的数据集和模型训练设定进行详细叙述：

1、预处理流程

将单词都转化为小写，去掉符号以及保留词汇表中出现超过5次的单词。将单个评论的最大单词长度设为30个单词，评论集合中最多包含20个评论，不足20个评论用“[PAD]”的评论补全。对于数据集，随机将数据集根据8:1:1划分为训练集、测试集、验证集。

2、评论抽取模块

包含两个层：自注意力共享层、协同注意力层，其中各层具体为：

①自注意力共享层

首先将评论集合中的每个评论文本映射为词向量序列

其中T是每个评论中的单词个数，d表示单词向量的维度，

表示矩阵；接受一个评论集合，包括多个评论{R₁,R₂…,R_M}，其中M代表评论的最大数量,R表示每个评论；每个单词都通过词嵌入矩阵W^d×L编码映射到一个d维稠密向量，其中L是词汇表的大小；然后使用“自注意力网络”编码评论中每个单词的上下文构成短语表示，输入是长度为T个词的词向量序列

将X分别线性投影到三个不同的语义空间，形成三个序列矩阵Q,K,

输入到注意力函数中计算每个单词的上下文表示H：

Q＝XW_Q,K＝XW_K,V＝XW_V

H＝softmax(QK^T)V

其中W_Q,W_K,

为参数矩阵，

编码了评论中每个单词的上下文单词，K^T表示序列矩阵K的转置矩阵，softmax表示激活函数；

将序列矩阵V和上下文表示H相加，并通过一个全连接层转换语义空间，最后得到短语的表示Z：

Z＝tanh((H+V)W_p+b_p)

其中

中每个词的语义不再是单个单词，而是以该单词为中心的短语；

为参数矩阵，

为偏置项,tanh表示激活函数；

②协同注意力层

使用“协同注意力”得到用户评论集中各个评论和物品评论集中各个评论两两对应评论的权；使用上下文向量u_rec并用注意力机制从Z＝[z₁,z₂,…,z_T]中选取重要的单词并且加权求和得到单个评论的表示：

S_j＝tanh(u_rec×z_j+b_rec)

其中r是单个评论的表示，z_j表示短语表示Z中的第j个向量，S_j表示第j个短语表示z_j和上下文向量相乘得到的向量表示，b_rec是偏置项，tanh是激活函数，α_j表示z_j的注意力权重；该层把用户评论集合与物品评论集合相关联，把用户的所有评论用矩阵

来表示，物品的所有评论用矩阵

来表示，其中

表示用户u的第j条评论表示，

表示物品i的第j条评论表示；然后计算用户评论矩阵和物品评论矩阵的相关性，得到相关矩阵C：

C＝tanh(U^TW_aI)

其中W_a表示参数,U^T表示矩阵U的转置矩阵；将得到的C矩阵当做特征矩阵，计算用户评论矩阵和物品评论矩阵的协同注意力：

a^u＝softmax(w_hu(tanh(W_uU+(W_iI)C^T)))

aⁱ＝softmax(w_hi(tanh(W_iI+(W_uU)C)))

其中a^u表示用户评论矩阵的协同注意力权重向量，aⁱ表示物品评论矩阵的协同注意力权重向量，C^T表示相关矩阵C的转置矩阵，W_u，W_i，w_hu，w_hi是参数矩阵,softmax是激活函数；最后用户u和物品i基于评论的向量表示根据下式得到：

其中u_r表示用户u基于评论的向量，i_r表示物品i基于评论的向量，

表示a^u的第m个值，

表示aⁱ的第m个值，

表示用户u的第m条评论表示，

表示物品i的第m条评论表示。

3、交互图模块

该模块先对每一个用户在图中的初始向量设置为随机向量，表示为

其中

表示用户u在图中的初始向量表示，y_u为随机向量，同理对物品初始向量表示成

其中

表示物品i在图中的初始向量表示，y_i为随机向量，第k+1层图卷积神级网络的用户u节点表示通过第k层图神经网络中用户u相邻的节点向量以及自身的节点向量表示：

其中tanh是激活函数，其中

表示的是用户u在图中的第k+1层表示，W^k是参数矩阵，G_u表示用户u的邻居节点，

表示用户u的邻居节点在图中的第k+1层表示，

表示的是用户u在图中的第k层表示；最后基于交互图的用户向量表示成

其中

表示的是用户u在图中的第K层表示，同理基于交互图的物品向量也可以表示成

其中

表示的是物品i在图中的第K层表示，其中K表示最后图神经网络的层数。

4、评分预测模块

评分预测模块将从评论抽取模块得到的用户向量和交互图得到的用户向量拼接起来得到最后的用户向量表示u^r，同样得到最后的物品向量表示i^r：

u^r＝σ(F_u×[u_r,u_g]),i^r＝σ(F_i×[i_r,i_g])

其中F_u，F_i是参数，σ是非线性函数；将u^r和i^r相乘，计算预测评分

其中(i^r)^T表示物品向量i^r的转置矩阵，最后用均方误差作为损失函数：

Loss表示最后计算的损失，其中y为用户u对物品i的真实评分，D为包含所有用户和物品的训练集。

5、实验验证的数据集

在实验中，本实施例使用来自两个公开数据集Yelp2017和Yelp2018来评估本模型。

6、模型训练设定

使用均方误差计算预测评分和真实评分之间的训练误差，使用Adam优化器进行优化，学习率设为0.001。将所有模型训练至连续4轮验证集性能都不再提升，选择验证集上表现最佳的模型参数。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.一种基于评论的神经图协同过滤模型，其特征在于，该模型包括：评论抽取模块、交互图模块和评分预测模块，所述评论抽取模块分别从用户和物品评论集中抽取出用户对每个物品特征的喜好，构建基于评论的用户和物品向量表示；交互图模块用图卷积神经网络捕捉用户和物品构成的交互图中的信息传播，构建基于交互图的用户和物品向量表示；评分预测模块基于用户向量表示和物品向量表示，使用分解机(FM)进行匹配，预测评分。

2.如权利要求1所述的基于评论的神经图协同过滤模型，其特征在于，所述评论抽取模块，包括两个层：自注意力共享层及协同注意力层，其中各层具体为：

①自注意力共享层

首先将评论集合中的每个评论文本映射为词向量序列

其中T是每个评论中的单词个数，d表示单词向量的维度，

表示矩阵；接受一个评论集合，包括多个评论{R₁，R₂...，R_M}，其中M代表评论的最大数量，R表示每个评论；每个单词都通过词嵌入矩阵W^d×L编码映射到一个d维稠密向量，其中L是词汇表的大小；然后使用“自注意力网络”编码评论中每个单词的上下文构成短语表示，输入是长度为T个词的词向量序列

将X分别线性投影到三个不同的语义空间，形成三个序列矩阵Q，K，

输入到注意力函数中计算每个单词的上下文表示片：

Q＝XW_Q，K＝XW_K，V＝XW_V

H＝softmax(QK^T)V

其中W_Q，W_K，

为参数矩阵，

编码了评论中每个单词的上下文单词，K^T表示序列矩阵K的转置矩阵，softmax表示激活函数；

将序列矩阵V和上下文表示片相加，并通过一个全连接层转换语义空间，最后得到短语的表示Z：

Z＝tanh((H+V)W_p+b_p)

其中

中每个词的语义不再是单个单词，而是以该单词为中心的短语；

为参数矩阵，

为偏置项，tanh表示激活函数；

②协同注意力层

使用“协同注意力”得到用户评论集中各个评论和物品评论集中各个评论两两对应评论的权；使用上下文向量u_rec并用注意力机制从Z＝[z₁，z₂，...，z_T]中选取重要的单词并且加权求和得到单个评论的表示：

S_j＝tanh(u_rec×z_j+b_rec)

其中r是单个评论的表示，z_j表示短语表示Z中的第j个向量，S_j表示第j个短语表示z_j和上下文向量相乘得到的向量表示，b_rec是偏置项，tanh是激活函数，α_j表示z_j的注意力权重；该层把用户评论集合与物品评论集合相关联，把用户的所有评论用矩阵

来表示，物品的所有评论用矩阵

来表示，其中

表示用户u的第j条评论表示，

表示物品i的第j条评论表示；然后计算用户评论矩阵和物品评论矩阵的相关性，得到相关矩阵C：

C＝tanh(U^TW_aI)

其中W_a表示参数，U^T表示矩阵U的转置矩阵；将得到的C矩阵当做特征矩阵，计算用户评论矩阵和物品评论矩阵的协同注意力：

a^u＝softmax(w_hu(tanh(W_uU+(W_iI)C^T)))

aⁱ＝softmax(w_hi(tanh(W_iI+(W_uU)C)))

其中a^u表示用户评论矩阵的协同注意力权重向量，aⁱ表示物品评论矩阵的协同注意力权重向量，C^T表示相关矩阵C的转置矩阵，W_u，W_i，w_hu，w_hi是参数矩阵，softmax是激活函数；最后用户u和物品i基于评论的向量表示根据下式得到：

其中u_r表示用户u基于评论的向量，i_r表示物品i基于评论的向量，

表示a^u的第m个值，

表示aⁱ的第m个值，

表示用户u的第m条评论表示，

表示物品i的第m条评论表示。

3.如权利要求1所述的基于评论的神经图协同过滤模型，其特征在于，所述交互图模块具体为：

该模块先对每一个用户在图中的初始向量设置为随机向量，表示为

其中

表示用户u在图中的初始向量表示，y_u为随机向量，同理对物品初始向量表示成

其中

表示物品i在图中的初始向量表示，y_i为随机向量，第k+1层图卷积神级网络的用户u节点表示通过第k层图神经网络中用户u相邻的节点向量以及自身的节点向量表示：

其中tanh是激活函数，其中

表示的是用户u在图中的第k+1层表示，W^k是参数矩阵，G_u表示用户u的邻居节点，

表示用户u的邻居节点在图中的第k+1层表示，

表示的是用户u在图中的第k层表示；最后基于交互图的用户向量表示成

其中

表示的是用户u在图中的第K层表示，同理基于交互图的物品向量表示成

其中

表示的是物品i在图中的第K层表示，其中K表示最后图神经网络的层数。

4.如权利要求1所述的基于评论的神经图协同过滤模型，其特征在于，所述评分预测模块具体为：

评分预测模块将从评论抽取模块得到的用户向量和交互图得到的用户向量拼接起来得到最后的用户向量表示u^r，同样得到最后的物品向量表示i^r：

u^r＝σ(F_u×[u_r，u_g])，iw＝σ(F_i×[i_r，i_g])

其中F_u，F_i是参数，σ是非线性函数；将u^r和i^r相乘，计算预测评分

其中(i^r)^T表示物品向量i^r的转置矩阵，最后用均方误差作为损失函数：

Loss表示最后计算的损失，其中y为用户u对物品i的真实评分，D为包含所有用户和物品的训练集。

Images