CN114154071B - 一种基于注意力机制的情感时序推荐方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的情感时序推荐方法，包括以下步骤：S1、收集评论信息和时间信息，并将其输入嵌入层，得到具有时态信息的用户因素和项目因素；S2、将有时态信息的用户因素和项目因素输入至blstm层进行情感特征提取，得到用户和项目之间的交互序列；S3、将用户和项目之间的交互序列通过注意力层输入至cnn层，得到用户表示和项目表示；S4、将用户表示和项目表示输入至输出层，得到精确评分，进而将最高精确评分对应项目作为情感时序推荐结果。

Description

一种基于注意力机制的情感时序推荐方法

技术领域

本发明属于序列推荐领域，具体涉及一种基于注意力机制的情感时序推荐方法。

背景技术

近年来，如何利用评价信息提高推荐满意度成为研究者关注的焦点。例如使用文本信息作为辅助边信息来缓解评分矩阵的稀疏问题，引入评论来解决协同过滤CF算法稀疏性带来的问题。基于CNN的解决方案通常利用不同大小的转换过滤器和最大池操作来获得特征向量。然而，基于CNN的推荐方法的缺点是，在推荐时总是忽略用户偏好的时间动态性。因此，如何探索用户和项目评论的动态变化以提高推荐者的性能仍然是一个巨大的挑战。在这种情况下，基于RNN的方法可以在预测用户下一步将消费哪个项目方面获得良好的性能。一些深度兴趣进化网络模型被提出以捕捉暂时的兴趣，但它没有在评论中使用丰富的情感信息。此外，大多数现有的方法使用评分或审查文本作为单独的输入。他们没有全面地使用反馈信息，没有充分利用现有异构数据的优势来有效地捕获时间动态，且未能考虑全局联系和局部联系，且能并行化计算，且模型过拟合现象较严重。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于注意力机制的情感时序推荐方法解决了深度兴趣进化网络模型没有在评论中使用丰富的情感信息的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于注意力机制的情感时序推荐方法，包括以下步骤：

S1、收集评论信息和时间信息，并将其输入嵌入层，得到具有时态信息的用户因素和项目因素；

S2、将有时态信息的用户因素和项目因素输入至blstm层进行情感特征提取，得到用户和项目之间的交互序列；

S3、将用户和项目之间的交互序列通过注意力层输入至cnn层，得到用户表示和项目表示；

S4、将用户表示和项目表示输入至输出层，得到精确评分，进而将最高精确评分对应项目作为情感时序推荐结果。

进一步地：所述步骤S1中，所述评论信息具体为评论的集合R＝{r₁，r₂，...，r_p}，其中，r_i为第i条评论，i＝1，2，...，p，p为评论的总数；

第i条评论具体为r_i＝{w₁，w₂，...，w_q}，其中，w_j为第j个词的低维密集向量，j＝1，2，...，q，q为第i条评论的单词数；

其中，第j个词的低维密集向量w_j的表达式具体为：

w_j＝e_j×W_e

式中，W_e为预训练的词向量矩阵，e_j为嵌入层中输入第j个词生成对应的索引e_j；

所述时间信息具体为第i次用户与项目交互和第i+1次用户与项目交互之间的时间间隔

其表达式具体为：

式中，t_i为第i条评论对应的时间，min(T)为用户与项目交互时间间隔的最小值，max(T)为用户与项目交互时间间隔的最大值。

上述进一步方案的有益效果为：本发明通过用户交互之间的时间间隔表示时间信息，可以不改变输入的评论顺序。

进一步地：所述步骤S1中，具有时态信息的用户因素和项目因素具体为融合时间信息的用户和项目评论集；

得到具有时态信息的用户因素和项目因素的方法具体为：

通过融合时间信息和评论信息，得到更新后的评论，进而得到融合时间信息的用户和项目评论集；

其中，融合时间信息的用户和项目评论集R′＝[r_t1，r_t2，...，r_tw]；r_ti为更新后的第i条评论，且

为连接算子。

进一步地：所述步骤S2中，blstm层包括并列的前向lstm层和后向lstm层；

所述步骤S2包括以下分步骤：

S21、将融合时间信息的用户和项目评论集输入blstm层，通过前向lstm层和后向lstm层进行情感特征提取，分别得到时间步k的语法含义

和时间步k的单子含义

其中，时间步k的语法含文

和时间步k的单子含义

的表达式具体为：

式中，

为时间步k-1的语法含义，

为时间步k-1的单子含义，x_k为在时间步k，blstm层输入融合时间信息的用户和项目评论集向量；

S22、根据语法含义

和单子含义

得到时间步k的隐藏状态更新h_k；

其中，时间步k的隐藏状态更新h_k的表达式具体为：

S23、将所有时间步的隐藏状态更新组合，得到用户和项目之间的交互序列H；

其中，用户和项目之间的交互序列H＝[h₁，h₁，...，h_T]，T为句子长度。

进一步地：所述步骤S3包括以下分步骤：

S31、将用户和项目之间的交互序列输入注意力层，得到句子级用户和项目之间的交互序列；

S32、将句子级用户和项目之间的交互序列输入cnn层，得到用户表示和项目表示。

上述进一步方案的有益效果为：本发明的cnn层使用多个不同的卷积滤波器来提取特征，可以获得丰富的特征。

进一步地：所述步骤S31具体为：

通过注意力层生成一个权重向量，使权重向量乘以用户和项目之间的交互序列，得到句子级用户和项目之间的交互序列；

其中，句子级用户和项目之间的交互序列h*表达式具体为：

h*＝tanh(r)

r＝HαT

α＝softmax(wTM)

M＝tanh(H)

式中，M为第二运算过程向量，r为第一运算过程向量，α为权重向量，T为句子长度，w为是经过训练的参数向量，tanh(*)为第一激活函数，softmax(*)为第二激活函数。

进一步地：所述S32中，cnn层包括依次连接的卷积层、最大池化层和全连接层；

其中，所述卷积层设置有并列的G个互不相同卷积滤波器；

所述步骤S32包括以下分步骤：

S32-1、将用户和项目之间的交互序列通过卷积层的卷积滤波器提取特征，得到特征图；

其中，所述特征图T具体为T＝[t1_，t₂，...，t_s]；t_j为第j个卷积滤波器输出的结果，j＝1，2，...，s，s为卷积滤波器的总数；第j个卷积滤波器输出的结果t_j表达式具体为：

式中，X_i为句子级用户和项目之间的交互序列h*中的第i个评论，其中i＝1，2，...，p，p为评论的总数，b_j为偏置项，

为卷积运算，K_j为第j个卷积滤波器，

为第三激活函数；

S32-2、将所述特征图输入最大池化层进行特征提取，得到特征子向量，进而将得到的特征子向量进行拼接，得到固定长度的特征向量；

其中，得到特征子向量z_s的表达式具体为：

z_s＝max(T)

所述特征向量Z具体为[z₁，z₂，...，z_G]；

S32-3、将特征向量输入至全连接层，进而通过下式对特征向量进行特征提取，得到用户表示和项目表示；

χ＝relu(W×Z+b)

式中，χ为特征提取的结果，relu(*)为激活函数，W为权重矩阵，Z为特征向量，b为偏置项；

根据特征提取的结果χ得到用户表示χ_u和项目表示χ_o。

上述进一步方案的有益效果为：设置最大池化层可以捕获更有意义的信息，得到特征子向量。

进一步地：所述步骤S4包括以下分步骤：

S41、根据用户表示和项目表示计算得到评分，进而根据评分计算预测评分；

其中，计算评分γ的表达式具体为：

所述预测评分

的表达式具体为：

式中，γ_m为第m次计算的评分，γ_n为第n次计算的评分；

为第一辅助向量，

为第二辅助向量，N为计算的评分的总数；

S42、根据评分和预测评分计算，得到评分的损失函数和损失函数的正则化项，进而通过评分的损失函数和损失函数的正则化项处理评分，得到精确评分；

其中，损失函数

的表达式具体为：

式中，M为预测评分

的总数，

为第f次计算的预测评分，y_f为第f次计算的评分；

所述损失函数的正则化项

表达式具体为：

式中，η为惩罚系数，Θ为可训练参数的集合。

上述进一步方案的有益效果为：本发明设置损失函数可以判定推荐结果的准确度，设置损失函数的正则化项可以防止深度学习中的过拟合问题，从而得到精确评分。

本发明的有益效果为：

(1)本发明把基于注意力的双向长短期记忆网络与卷积神经网络结合，构造出一个强有力的模型，以更好得捕捉推荐系统中评论数据中的情感特征，进而提升推荐性能。

(2)本发明在blstm层的基础上引入了注意力层的机制，增强了学习情感的能力，进而会增强推荐系统的预测能力。

附图说明

图1为一种基于注意力机制的情感时序推荐方法的流程图；

图2为本发明的网络模型图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1：

如图1所示，在本发明的一个实施例中，一种基于注意力机制的情感时序推荐方法，包括以下步骤：

S1、收集评论信息和时间信息，并将其输入嵌入层，得到具有时态信息的用户因素和项目因素；

S2、将有时态信息的用户因素和项目因素输入至blstm层进行情感特征提取，得到用户和项目之间的交互序列；

S3、将用户和项目之间的交互序列通过注意力层输入至cnn层，得到用户表示和项目表示；

S4、将用户表示和项目表示输入至输出层，得到精确评分，进而将最高精确评分对应项目作为情感时序推荐结果。

评分是推荐系统内对一个项目在下一次交互中被推荐概率的度量标准。

所述步骤S1中，所述评论信息具体为评论的集合R＝{r₁，r₂，...，r_p}，其中，r_i为第i条评论，i＝1，2，...，p，p为评论的总数；

第i条评论具体为r_i＝{w₁，w₂，...，w_q}，其中，w_j为第j个词的低维密集向量，j＝1，2，...，q，q为第i条评论的单词数；

其中，第j个词的低维密集向量w_j的表达式具体为：

w_j＝e_j×W_e

式中，W_e为预训练的词向量矩阵，e_j为嵌入层中输入第j个词生成对应的索引e_j；

为评论矩阵，具体为q行v列的矩阵，|v|为预训练词数据集中的词数。

所述时间信息具体为第i次用户与项目交互和第i+1次用户与项目交互之间的时间间隔

其表达式具体为：

式中，t_i为第i条评论对应的时间，min(T)为用户与项目交互时间间隔的最小值，max(T)为用户与项目交互时间间隔的最大值，

的维度为

为行数为q的矩阵。

所述步骤S1中，具有时态信息的用户因素和项目因素具体为融合时间信息的用户和项目评论集；

得到具有时态信息的用户因素和项目因素的方法具体为：

通过融合时间信息和评论信息，得到更新后的评论，进而得到融合时间信息的用户和项目评论集；

其中，融合时间信息的用户和项目评论集R′＝[r_t1，r_t2，...，r_tq]；r_ti为更新后的第i条评论，且

为连接算子。

所述步骤S2中，blstm层包括并列的前向lstm层和后向lstm层；

所述步骤S2包括以下分步骤：

S21、将融合时间信息的用户和项目评论集输入blstm层，通过前向lstm层和后向lstm层进行情感特征提取，分别得到时间步k的语法含义

和时间步k的单子含义

其中，时间步k的语法含义

和时间步k的单子含义

的表达式具体为：

式中，

为时间步k-1的语法含义，

为时间步k-1的单子含义，x_k为在时间步k，blstm层输入融合时间信息的用户和项目评论集向量；

S22、根据语法含义

和单子含义

得到时间步k的隐藏状态更新h_k；

其中，时间步k的隐藏状态更新h_k的表达式具体为：

S23、将所有时间步的隐藏状态更新组合，得到用户和项目之间的交互序列H；

其中，用户和项目之间的交互序列H＝[h₁，h₁，...，h_T]，T为句子长度。

所述步骤S3包括以下分步骤：

S31、将用户和项目之间的交互序列输入注意力层，得到句子级用户和项目之间的交互序列；

S32、将句子级用户和项目之间的交互序列输入cnn层，得到用户表示和项目表示。

所述步骤S31具体为：

通过注意力层生成一个权重向量，使权重向量乘以用户和项目之间的交互序列，得到句子级用户和项目之间的交互序列；

其中，句子级用户和项目之间的交互序列h*表达式具体为：

h*＝tanh(r)

r＝HαT

α＝softmax(wTM)

M＝tanh(H)

式中，M为第二运算过程向量，r为第一运算过程向量，α为权重向量，T为句子长度，w为是经过训练的参数向量，tanh(*)为第一激活函数，softmax(*)为第二激活函数。

所述S32中，cnn层包括依次连接的卷积层、最大池化层和全连接层；

其中，所述卷积层设置有并列的G个互不相同卷积滤波器；

所述步骤S32包括以下分步骤：

S32-1、将用户和项目之间的交互序列通过卷积层的卷积滤波器提取特征，得到特征图；

其中，所述特征图T具体为T＝[t₁，t₂，...，t_s]；t_j为第j个卷积滤波器输出的结果，j＝1，2，...，s，s为卷积滤波器的总数；第j个卷积滤波器输出的结果t_j表达式具体为：

式中，X_i为句子级用户和项目之间的交互序列h*中的第i个评论，其中i＝1，2，...，p，p为评论的总数，b_j为偏置项，

为卷积运算，K_j为第j个卷积滤波器，

为第三激活函数；

S32-2、将所述特征图输入最大池化层进行特征提取，得到特征子向量，进而将得到的特征子向量进行拼接，得到固定长度的特征向量；

其中，得到特征子向量z_s的表达式具体为：

z_s＝max(T)

所述特征向量Z具体为[z₁，z₂，...，z_G]；

S32-3、将特征向量输入至全连接层，进而通过下式对特征向量进行特征提取，得到用户表示和项目表示；

χ＝relu(W×Z+b)

式中，χ为特征提取的结果，relu(*)为激活函数，W为权重矩阵，Z为特征向量，b为偏置项；

根据特征提取的结果χ得到用户表示χ_u和项目表示χ_o。

所述步骤S4包括以下分步骤：

S41、根据用户表示和项目表示计算得到评分，进而根据评分计算预测评分；

其中，计算评分γ的表达式具体为：

所述预测评分

的表达式具体为：

式中，γ_m为第m次计算的评分，γ_n为第n次计算的评分；

为第一辅助向量，

为第二辅助向量，N为计算的评分的总数；

S42、根据评分和预测评分计算，得到评分的损失函数和损失函数的正则化项，进而通过评分的损失函数和损失函数的正则化项处理评分，得到精确评分；

其中，损失函数

的表达式具体为：

式中，M为预测评分

的总数，

为第f次计算的预测评分，y_f为第f次计算的评分；

所述损失函数的正则化项

表达式具体为：

式中，η为惩罚系数，Θ为可训练参数的集合。

如图2所示，通过本发明的网络框架，可以将评论信息结合时间信息和情感信息转化为评分，提高了评分的评估能力。

本发明方法的实施过程为：嵌入层输入评论信息和时间信息，输出网络训练得到具有时态信息的用户因素和项目因素，blstm层输入具有时态信息的用户因素和项目因素，通过情感特征提取，得到用户和项目之间的交互序列，注意力层生成权重向量，使用户和项目之间的交互序列单次特征乘以权重向量，得到句子级用户和项目之间的交互序列，cnn层输入句子级用户和项目之间的交互序列，通过cnn层提取特征，得到用户表示和项目表示，将用户表示和项目表示输入至输出层，经过最小二乘的损失函数和损失函数的正则化项处理，得到精确评分，进而提高用户所需项目在下一次交互中被推荐概率。

本发明的有益效果为：本发明把基于注意力的双向长短期记忆网络与卷积神经网络结合，构造出一个强有力的模型，以更好得捕捉推荐系统中评论数据中的情感特征，进而提升推荐性能。

本发明在blstm层的基础上引入了注意力层的机制，增强了学习情感的能力，进而会增强推荐系统的预测能力。

在本发明的描述中，需要理解的是，术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此，限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。

Claims (5)

1.一种基于注意力机制的情感时序推荐方法，其特征在于，包括以下步骤：

S1、收集评论信息和时间信息，并将其输入嵌入层，得到具有时态信息的用户因素和项目因素；

S2、将有时态信息的用户因素和项目因素输入至blstm层进行情感特征提取，得到用户和项目之间的交互序列；

S3、将用户和项目之间的交互序列通过注意力层输入至cnn层，得到用户表示和项目表示；

S4、将用户表示和项目表示输入至输出层，得到精确评分，进而将最高精确评分对应项目作为情感时序推荐结果；

所述步骤S3包括以下分步骤：

S31、将用户和项目之间的交互序列输入注意力层，得到句子级用户和项目之间的交互序列；

S32、将句子级用户和项目之间的交互序列输入cnn层，得到用户表示和项目表示；

所述步骤S31具体为：

通过注意力层生成一个权重向量，使权重向量乘以用户和项目之间的交互序列，得到句子级用户和项目之间的交互序列；

其中，句子级用户和项目之间的交互序列h*表达式具体为：

h*＝tanh(r)

r＝HαT

α＝softmax(wTM)

M＝tanh(H)

式中，M为第二运算过程向量，r为第一运算过程向量，α为权重向量，T为句子长度，w为是经过训练的参数向量，tanh(*)为第一激活函数，softmax(*)为第二激活函数；

所述S32中，cnn层包括依次连接的卷积层、最大池化层和全连接层；

其中，所述卷积层设置有并列的G个互不相同卷积滤波器；

所述步骤S32包括以下分步骤：

S32-1、将用户和项目之间的交互序列通过卷积层的卷积滤波器提取特征，得到特征图；

其中，特征图具体为[t₁,t₂,…,t_s]；t_j为第j个卷积滤波器输出的结果，j＝1,2,…,s，s为卷积滤波器的总数；第j个卷积滤波器输出的结果t_j表达式具体为：

式中，X_i为句子级用户和项目之间的交互序列h*中的第i个评论，其中i＝1,2,…,p，p为评论的总数，b_j为偏置项，※为卷积运算，K_j为第j个卷积滤波器，

为第三激活函数；

S32-2、将所述特征图输入最大池化层进行特征提取，得到特征子向量，进而将得到的特征子向量进行拼接，得到固定长度的特征向量；

其中，得到特征子向量z_s的表达式具体为：

z_s＝max(T)

所述特征向量Z具体为[z₁，z₂，...，z_G]；

S32-3、将特征向量输入至全连接层，进而通过下式对特征向量进行特征提取，得到用户表示和项目表示；

χ＝relu(W×Z+b)

式中，χ为特征提取的结果，relu(*)为激活函数，W为权重矩阵，Z为特征向量，b为偏置项；

根据特征提取的结果χ得到用户表示χ_u和项目表示χ_o。

2.根据权利要求1所述的基于注意力机制的情感时序推荐方法，其特征在于，所述步骤S1中，所述评论信息具体为评论的集合R＝{r₁，r₂，...，r_p}，其中，r_i为第i条评论，i＝1，2，...，p，p为评论的总数；

第i条评论具体为r_i＝{w₁，w₂，...，w_q}，其中，w_j为第j个词的低维密集向量，j＝1，2，...，q，q为第i条评论的单词数；

其中，第j个词的低维密集向量w_j的表达式具体为：

w_j＝e_j×W_e

式中，W_e为预训练的词向量矩阵，e_j为嵌入层中输入第j个词生成对应的索引e_j；

所述时间信息具体为第i次用户与项目交互和第i+1次用户与项目交互之间的时间间隔

其表达式具体为：

式中，t_i为第i条评论对应的时间，min(T)为用户与项目交互时间间隔的最小值，max(T)为用户与项目交互时间间隔的最大值。

3.根据权利要求2所述的基于注意力机制的情感时序推荐方法，其特征在于，所述步骤S1中，具有时态信息的用户因素和项目因素具体为融合时间信息的用户和项目评论集；

得到具有时态信息的用户因素和项目因素的方法具体为：

通过融合时间信息和评论信息，得到更新后的评论，进而得到融合时间信息的用户和项目评论集；

其中，融合时间信息的用户和项目评论集R′＝[r_t1,r_t2,…,r_tq]；r_ti为更新后的第i条评论，且

为连接算子。

4.根据权利要求3所述的基于注意力机制的情感时序推荐方法，其特征在于，所述步骤S2中，blstm层包括并列的前向lstm层和后向lstm层；

所述步骤S2包括以下分步骤：

S21、将融合时间信息的用户和项目评论集输入blstm层，通过前向lstm层和后向lstm层进行情感特征提取，分别得到时间步k的语法含义

和时间步k的单子含义

其中，时间步k的语法含义

和时间步k的单子含义

的表达式具体为：

式中，

为时间步k-1的语法含义，

为时间步k-1的单子含义，x_k为在时间步k，blstm层输入融合时间信息的用户和项目评论集向量；

S22、根据语法含义

和单子含义

得到时间步k的隐藏状态更新h_k；

其中，时间步k的隐藏状态更新h_k的表达式具体为：

S23、将所有时间步的隐藏状态更新组合，得到用户和项目之间的交互序列H；

其中，用户和项目之间的交互序列H＝[h₁,h₁,…,h_T]，T为句子长度。

5.根据权利要求1所述的基于注意力机制的情感时序推荐方法，其特征在于，所述步骤S4包括以下分步骤：

S41、根据用户表示和项目表示计算得到评分，进而根据评分计算预测评分；

其中，计算评分γ的表达式具体为：

所述预测评分

的表达式具体为：

式中，γ_m为第m次计算的评分，_n为第n次计算的评分；

为第一辅助向量，

为第二辅助向量，N为计算的评分的总数；

S42、根据评分和预测评分计算，得到评分的损失函数和损失函数的正则化项，进而通过评分的损失函数和损失函数的正则化项处理评分，得到精确评分；

其中，损失函数

的表达式具体为：

式中，M为预测评分

的总数，

为第f次计算的预测评分，y_f为第f次计算的评分；

所述损失函数的正则化项

表达式具体为：

式中，η为惩罚系数，Θ为可训练参数的集合。

Images