CN113297487A - 一种基于注意力机制增强门控循环单元的序列推荐系统及方法 - Google Patents

Abstract

本发明提供一种基于注意力机制增强门控循环单元的序列推荐系统及方法，目的是解决用户的长期偏好和短期偏好难以同时捕获的问题。本发明提供的方法模型采用门控循环单元捕获用户的兴趣偏好信息，使用门控循环单元每一时间刻的输出当作用户当时的偏好，并使用一种对数据敏感的注意力结构增强用户的偏好信息，以此使用用户的历史行为序列信息充分捕获其在不同时间的偏好，使模型能够更好的理解用户的意图。

Description

一种基于注意力机制增强门控循环单元的序列推荐系统及 方法

技术领域

本发明涉及个性化推荐系统领域，尤其涉及一种基于注意力机制增强门控循环单元的序列推荐系统及方法。

背景技术

随着互联网的发展，各类在线服务与应用软件逐渐普及，人们享受信息量增长所带来便利的同时，信息量的爆炸式增长引起了严重的信息过载。推荐系统可以通过对用户历史行为如浏览记录、购买记录等进行分析，推测用户的偏好和需求，并以此为依据为用户推荐合适的项目。在许多实际应用中，用户的当前兴趣受其历史行为的影响。例如，在购买智能手机后，可以购买手机壳或耳机等配件；而且人们可能会继续购买他们以前有过良好体验的同一品牌的衣服。序列推荐系统利用用户和项目的交互序列，利用各种方法对嵌入在序列中的复杂顺序依赖关系进行建模，以此来预测在不久的将来，用户后续可能与哪些项目产生交互。

传统推荐算法如协同过滤和基于内容的推荐都是以静态的方式构造用户和项目的交互行为序列，忽略了用户-项目交互序列中的顺序模式。近年来RNN、CNN和自注意力机制等神经模型是解决当前问题的热门选择。RNN是一种递归处理序列数据的神经网络。它根据历史状态和当前输入信息递归地确定新的状态，从而捕捉当前数据和历史数据之间的依赖关系。CNN使用一定大小的窗口来提取序列数据中相邻时间步长之间的信息。自我注意力机制用每个时间步的数据和整体数据之间的相关性来重新编码序列数据。Caser模型利用CNN提取每个窗口中项目之间的依赖关系。GRU4Rec模型利用RNN学习整个序列中行为之间的顺序依赖关系。STAMP模型利用自注意力机制对序列数据进行建模。

然而，基于卷积神经网络的序列推荐系统往往受其滤波器尺寸的限制，可能会过渡学习用户行为序列中连续行为之间的相互影响，且学习行为之间的长期依赖关系。循环神经网络是最适合捕获顺序关系的结构，然而受记忆单元容量限制，捕获长期和短期顺序依赖关系的能力都有限。注意力机制虽然通过无视行为间的距离并忽略历史行为序列中不相关的信息，能够对任意距离的相关行为进行重点关注，但注意力机制本身放弃了捕获行为间任何的时序信息，其只能借助位置编码技术捕获较为有限的顺序依赖关系。

发明内容

针对现有技术难以同时捕获用户长短期偏好的不足，本发明提出一种基于注意力机制增强门控循环单元的序列推荐系统及方法，首次在序列推荐场景下使用一种对数据敏感的注意力结构充分挖掘历史行为中的重要信息，增强用户的长期偏好信息和短期偏好信息，提升序列推荐系统的准确率。

一方面，本发明提供一种基于注意力机制增强门控循环单元的序列推荐系统，包括数据预处理模块、输入序列嵌入模块、信息抽取模块、信息增强模块、推荐模块；

所述数据预处理模块用于构建模型的输入样本，所述输入样本为用户的行为序列信息，所述模块将用户的行为信息按照发生时间的顺序确定用户行为序列的先后顺序。

所述输入序列嵌入模块用来将独热变量转换为稠密向量，所述独热变量为所述数据预处理模块的输出；

所述信息抽取模块从嵌入向量中抽取用户偏好信息，所述偏好信息包括长期偏好和短期偏好信息并由门控循环单元结构获取，所述门控循环单元每个时间刻都会输出当前的偏好信息，使用最后一个时间刻信息作为所述短期偏好信息，使用偏好的算术平均作为所述长期偏好信息；

所述信息增强模块将所述信息抽取模块的输出信息进行增强，捕获更多关于用户偏好信息；

所述推荐模块在测试集上将所述信息增强模块的输出与候选推荐项目进行匹配，并对模型的推荐性能进行评估，同时按照匹配得分排序，取得分最高若干项目，并将其推荐给用户。

另一方面，本发明提供一种基于注意力机制增强门控循环单元的序列推荐方法，包括以下步骤：

步骤1：根据用户的行为序列数据进行划分，将最近的一次交互行为用来测试，最近第二次的交互行为当作验证集，所有其他行为当作训练集；

步骤2：根据用户的行为序列数据构建序列的嵌入矩阵，使用项目矩阵将输入序列进行转换，具体方法为：

对于每个V中的项目i，模型学习其对应的d维的嵌入

创建项目的嵌入矩阵

其中d表示每个项目嵌入向量对应的隐维度，通过使用嵌入层，序列中项目的独热编码被相应地转换成d维的稠密向量，然后将项目序列转换为项目向量序列

其中

其中0向量用来作为嵌入矩阵中的项目的填充；

步骤3：根据用户行为序列的嵌入矩阵，利用门控循环单元计算用户的长期偏好信息和短期偏好信息；

步骤3.1：基于门控循环单元结构捕获用户的偏好信息，门控循环单元的具体计算步骤为：

步骤3.1.1：计算重置门：r_t＝σ(W_rx_t+U_rh_t-1+b_r)；

步骤3.1.2：计算更新门：z_t＝σ(W_zx_t+U_zh_t-1+b_z)；

步骤3.1.3：计算输入信息的候选状态：

步骤3.1.4：计算时间刻t时的记忆单元状态：

其中r_t，z_t门控单元，这些门控单元都属于软门，能够只让一部分数据通过，即用来控制信息通过的比例，

表示候选状态。

使用f_lgru表示门控循环单元的计算过程：

H＝[h₁,h₂,…h_n]^T＝f_lgru(X)

步骤3.2：使用m_l和m_s代表用户的长期偏好和短期偏好，短期偏好m_s可以看作用户最近的偏好，使用于门控循环单元的最后一个输出表示：

m_s＝h_n

步骤3.3：使用平均操作将H转化为m_l，对于长期偏好m_l，具体计算如下：

其中m_l为用户长期偏好的抽象表示。

步骤4：根据用户偏好信息，利用一种对数据较为敏感的注意力结构对其进行信息的增强，具体方法为：

步骤4.1：使用全连接神经网络计算用户历史行为中的项目的注意力权重，计算方式为：

α_i＝W₀σ(W₁x_i+W₂m_l+W₃m_s+b_a)

其中

代表第i个项目，W₁,W₂,W₃,

是权重矩阵，

是权重向量，

是偏置向量，σ(·)是逻辑回归函数，α_i代表了每个项目i在用户行为序列中的注意力系数；

步骤4.2：在获得当前用户行为序列X的注意力系数向量α＝(α₁,α₂,…α_n)后，使用如下公式计算增强后的用户兴趣表示m_a：

注意力结构比其他注意力结构对用户兴趣随时间的变化更敏感，通常注意力机制会使用softmax函数将注意力权重放缩到0到1之间，但这容易造成注意力机制被少数和查询向量相关的历史行为过多影响，因此我们摒弃了softmax变换模块，使模型能从历史行为序列中捕获到更多信息

步骤4.3：使用全连接网络层对m_a与m_s做一个简单的非线性变换，增强其表达能力：

z_u＝f(W_nm_a+U_nm_s+b_n)

步骤5：根据用户偏好信息，模型的预测层计算候选项目在用户下一次与其交互的匹配得分，并将候选项目按得分进行排序，为用户推荐得分最高的若干项目。具体方法为：

步骤5.1：使用h_u计算候选项目嵌入向量的得分，即对于给定的候选项目x_i∈V，得分函数可以被定义为：

运算符

表示向量的内积运算，

且每个

表示用户的表征向量h_u与候选向量x_i的未归一化的余弦相似度；

步骤5.2：使用softmax函数进行处理所有候选项目，这样就能得到输出

计算方式为：

步骤5.3：使用sampled_softmax技术较少训练时间，即对每个正样本随机抽取100个负样本，然后通过最小化log损失函数进行优化：

其中y_u，pos表示正样本的输出值，negs表示负样本集合。

附图说明

图1为本发明提供的基于注意力机制增强门控循环单元的序列推荐系统结构示意图。

图2为本发明提供的基于注意力机制增强门控循环单元的序列推荐方法的模型结构图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本实例以MovieLens使用为例，使用基于注意力机制增强门控循环单元的序列推荐系统进行个性化推荐。

如图1所述，一种基于注意力机制增强门控循环单元的序列推荐系统，主要包括数据预处理模块、输入序列嵌入模块、信息抽取模块、信息增强模块、推荐模块。

步骤1：数据预处理模块用于构建模型的输入样本，所述输入样本为用户的行为序列信息，所述模块将用户的行为信息按照发生时间的顺序确定用户行为序列的先后顺序。

步骤2：输入序列嵌入模块对应图2中方法模型的嵌入层，用来将独热变量转换为稠密向量，所述独热变量为所述数据预处理模块的输出，创建项目的嵌入矩阵

其中d表示每个项目嵌入向量对应的隐维度，通过使用嵌入层，序列中项目的独热编码被相应地转换成d维的稠密向量，然后将项目序列转换为项目向量序列

其中

其中0向量用来作为嵌入矩阵中的项目的填充；

步骤3：信息抽取模块从嵌入向量中抽取用户偏好信息，对应于图2中方法模型的偏好抽取层，所述偏好信息包括长期偏好和短期偏好信息并由门控循环单元结构获取，所述门控循环单元每个时间刻都会输出当前的偏好信息，使用最后一个时间刻信息作为所述短期偏好信息，使用偏好的算术平均作为所述长期偏好信息；

步骤3.1：使用f_lgru表示门控循环单元的计算结果，其过程为：

步骤3.1.1：计算重置门：r_t＝σ(W_rx_t+U_rh_t-1+b_r)；

步骤3.1.2：计算更新门：z_t＝σ(W_zx_t+U_zh_t-1+b_z)；

步骤3.1.3：计算输入信息的候选状态：

步骤3.1.4：计算时间刻t时的记忆单元状态：

H＝[h₁,h₂,…h_n]^T＝f_lgru(X)

步骤3.2：使用m_l和m_s代表用户的长期偏好和短期偏好，短期偏好m_s可以看作用户最近的偏好，使用于门控循环单元的最后一个输出表示：

m_s＝h_n

步骤3.3：使用平均操作将H转化为m_l，对于长期偏好m_l，具体计算如下：

其中m_l为用户长期偏好的抽象表示。

步骤4：信息增强模块将所述信息抽取模块的输出信息进行增强，对应与图2方法模型中的偏好增强层，以捕获更多关于用户偏好信息；

步骤4.1：使用全连接神经网络计算用户历史行为中的项目的注意力权重，计算方式为：

α_i＝W₀σ(W₁x_i+W₂m_l+W₃m_s+b_a)

步骤4.2：在获得当前用户行为序列X的注意力系数向量α＝(α₁,α₂,…α_n)后，使用如下公式计算增强后的用户兴趣表示m_a：

步骤4.3：使用全连接网络层对m_a与m_s做一个简单的非线性变换，增强其表达能力：

z_u＝f(W_nm_a+U_nm_s+b_n)

步骤5：推荐模块在测试集上将所述信息增强模块的输出与候选推荐项目进行匹配，对应与图2中的预测层，对模型的推荐性能进行评估，同时按照匹配得分排序，取得分最高若干项目，并将其推荐给用户。

步骤5.1：使用h_u计算候选项目嵌入向量的得分，即对于给定的候选项目x_i∈V，得分函数可以被定义为：

注意力结构比其他注意力结构对用户兴趣随时间的变化更敏感，通常注意力机制会使用softmax函数将注意力权重放缩到0到1之间，但这容易造成注意力机制被少数和查询向量相关的历史行为过多影响，因此我们摒弃了softmax变换模块，使模型能从历史行为序列中捕获到更多信息。

步骤5.2：使用softmax函数进行处理所有候选项目，这样就能得到输出

计算方式为：

步骤5.3：使用sampled_softmax技术较少训练时间，即对每个正样本随机抽取100个负样本，然后通过最小化log损失函数进行优化：

其中y_u，pos表示正样本的输出值，negs表示负样本集合。

然后我们使用Adam(以SGD为基础的一种自适应矩估计方法)来最优化网络参数，使损失函数值达到最小化。

预测时将候选项目按得分进行排序，为用户推荐得分最高的若干项目。

在发明中，我们使用U＝{u₁,u₂,…,u_|U|}来表示用户集合，使用V＝{v₁，v₂,…，v_|V|}来表示项目集合。其中|U|和|V|分别代表用户数和项目集的大小，即用户数和项目数。我们将得到用户的行为序列

以预测用户的下一次交互的项目为目标。在训练过程中，对于时间刻t，模型使用前t个项目预测接下来用户将交互的项目。即我们输入

我们期望的输出序列是

在本实例中，基于注意力机制增强门控循环单元的序列推荐方法与BPR、GRU4Rec、AttRec和Caser模型在MovieLens上做对比，比较结果如表1所示，其中，在所有数据集中我们过滤掉相关行为数少于5的用户和项目，各模型采用以下相同的设置：批训练大小和网络中的隐藏层大小分别被设置为256和50；学习率设置为0.002，并选择Adam优化器。l₂正则系数从{0.000001，0.00001,0.0001,0.001}中选择，ML-1M的丢弃率被设置为0.2。ML-1M的序列最大长度n我们设置为200。并使用击中率Hit@10和归一化折损累计增益NDCG@10作为评价标准，对于每个用户u，我们随机采样100个负样本，将其与正样本一起进行排序，基于这101个样本，我们计算Hit@10和NDCG@10。与对比模型中最优的模型相比，本发明提供的方法模型的Hit@10平和DCG@10均有较好的推荐效果。当隐式维度d为30时，Hit@10和NDCG@1已经优于次优模型，一种可能的理由是我们的模型能够更好的捕获用户行为序列中的长短期顺序依赖关系，因此能捕获到更多关于用户偏好的信息，以此提升推荐的准确性。

表1为本发明的序列推荐方法与现有其他方法在MovieLens数据集上的比较结果

本发明提高的方法模型中，使用门控单元学习行为之间的顺序依赖关系，以捕获用户的长期偏好和短期偏好。但其捕获用户偏好的受记忆单元大小的限制，为此，本发明使用一种对数据十分敏感的注意力机制对门控单元的记忆信息进行增强，以此充分挖掘历史行为中的重要信息。从而提升模型推荐的准确性。

以上所述实施例对方法的细节描述较为具体和详细，但不能因此将其作为本发明专利的限制，在此模型构思基础上还可以进行多种改进和变形，这些都不能因此而理解为对发明专利范围的限制。

Claims (6)

1.一种基于注意力机制增强门控循环单元的序列推荐系统，其特征在于，包括数据预处理模块、输入序列嵌入模块、信息抽取模块、信息增强模块、推荐模块；

所述数据预处理模块用于构建模型的输入样本，所述输入样本为用户的行为序列信息，所述模块将用户的行为信息按照发生时间的顺序确定用户行为序列的先后顺序；

所述输入序列嵌入模块用来将独热变量转换为稠密向量，所述独热变量为所述数据预处理模块的输出；

所述信息抽取模块从嵌入向量中抽取用户偏好信息，所述偏好信息包括长期偏好和短期偏好信息并由门控循环单元结构获取，所述门控循环单元每个时间刻都会输出当前的偏好信息，使用最后一个时间刻信息作为所述短期偏好信息，使用偏好的算术平均作为所述长期偏好信息；

所述信息增强模块将所述信息抽取模块的输出信息进行增强，捕获更多关于用户偏好信息；

所述推荐模块在测试集上将所述信息增强模块的输出与候选推荐项目进行匹配，并对模型的推荐性能进行评估，同时按照匹配得分排序，取得分最高若干项目，并将其推荐给用户。

2.采用权利要求1所述的基于注意力机制增强门控循环单元的序列推荐方法，其特征在于，包括以下步骤：

步骤1：根据用户的行为序列数据进行划分，将最近的一次交互行为用来测试，最近第二次的交互行为当作验证集，所有其他行为当作训练集；

步骤2：根据用户的行为序列数据使用嵌入层构建序列的嵌入矩阵，使用项目矩阵将输入序列进行转换；

步骤3：根据用户行为序列的嵌入矩阵，模型的偏好抽取层利用门控循环单元计算用户的长期偏好信息和短期偏好信息；

步骤4：根据用户偏好信息，模型的偏好增强层利用一种对数据较为敏感的注意力结构对其进行信息的增强；

步骤5：根据用户偏好信息，模型的预测层计算候选项目在用户下一次与其交互的匹配得分，并将候选项目按得分进行排序，为用户推荐得分最高的若干项目。

3.根据权利要求2所述的基于注意力机制增强门控循环单元的序列推荐方法，其特征在于，所述步骤3的具体方法为：

步骤3.1：基于门控循环单元结构捕获用户的偏好信息，所述门控循环单元保留全部时间刻的输出：对于输入的序列X＝(x₁,x₂,…,x_n)，在每个时间刻t，隐藏单元表示为h_t，使用f_lgru表示门控循环单元的计算过程：

H＝[h₁,h₂,…h_n]^T＝f_lgru(X)

其中，输出

步骤3.2：我们使用m_l和m_s代表用户的长期偏好和短期偏好，短期偏好m_s可以看作用户最近的偏好，使用于门控循环单元的最后一个输出表示：

m_s＝h_n

步骤3.3：使用平均操作将H转化为m_l，对于长期偏好m_l，具体计算如下：

其中m_l为用户长期偏好的抽象表示。

4.根据权利要求2所述的基于注意力机制增强门控循环单元的序列推荐方法，其特征在于，所述步骤3.1的门控循环单元的具体计算方式为：

步骤3.1.1：计算重置门：r_t＝σ(W_rx_t+U_rh_t-1+b_r)；

步骤3.1.2：计算更新门：z_t＝σ(W_zx_t+U_zh_t-1+b_z)；

步骤3.1.3：计算输入信息的候选状态：

步骤3.1.4：计算时间刻t时的记忆单元状态：

其中z_r，z_t门控单元，这些门控单元都属于软门，能够只让一部分数据通过，即用来控制信息通过的比例，

表示候选状态。

5.根据权利要求2所述的基于注意力机制增强门控循环单元的序列推荐方法，其特征在于，所述步骤4的注意力结构的具体步骤为：

步骤4.1：使用全连接神经网络计算用户历史行为中的项目的注意力权重，计算方式为：

α_i＝W₀σ(W₁x_i+W₂m_l+W₃m_s+b_a)

其中

代表第i个项目，W₁,W₂,

是权重矩阵，

是权重向量，

是偏置向量，σ(·)是逻辑回归函数，α_i代表了每个项目i在用户行为序列中的注意力系数；

步骤4.2：在获得当前用户行为序列X的注意力系数向量α＝(α₁,α₂,…α_n)后，我们使用如下公式计算增强后的用户兴趣表示m_a：

步骤4.3：使用全连接网络层对m_a与m_s做一个简单的非线性变换，增强其表达能力：

z_u＝f(W_nm_a+U_nm_s+b_n)。

6.根据权利要求2所述的基于注意力机制增强门控循环单元的序列推荐方法，其特征在于，所述步骤5中匹配得分的方法为：

步骤5.1：使用h_u计算候选项目嵌入向量的得分，即对于给定的候选项目x_i∈V，得分函数可以被定义为：

运算符

表示向量的内积运算，

且每个

表示用户的表征向量h_u与候选向量x_i的未归一化的余弦相似度；

步骤5.2：使用softmax函数进行处理所有候选项目，这样就能得到输出

计算方式为：

步骤5.3：使用sampled_softmax技术较少训练时间，即对每个正样本随机抽取100个负样本，然后通过最小化log损失函数进行优化：

其中y_u,pos表示正样本的输出值，negs表示负样本集合。

Images