CN111753209B - 一种基于改进时序卷积网络的序列推荐列表生成方法 - Google Patents

Abstract

本发明设计了一种改进时序卷积网络的序列推荐列表生成方法，针对推荐系统的序列推荐，本发明提出了一种嵌入压缩‑激励模块的改进时序卷积网络提取序列特征。模型利用扩张卷积增大感受野，捕获更多的序列关系，并通过压缩激励模块加入注意力机制，给予关键项目更多的注意力，以捕捉用户交互数据的复杂结构，通过对用户和项目特征的融合，综合考虑用户的短期和长期偏好进行个性化推荐。

Description

一种基于改进时序卷积网络的序列推荐列表生成方法

技术领域

本发明涉及深度学习、推荐系统领域，具体公开了一种基于改进时序卷积网络的序列推荐列表生成方法。

背景技术

互联网的普及与发展，造成了网络数据信息的爆炸式增长。面对日益严重的“信息过载”现象，用户准确有效的获得想要的信息成了一个亟待解决的问题，此时推荐系统就应运而生。传统的协同过滤(Collaborative Filtering，CF)方法认为用户的偏好和项目属性都是静态的，主要利用用户信息(如个人信息、评分等)进行相似度计算，从而进行偏好分析，却忽略了用户的兴趣偏好是一种时序数据。用户的兴趣会随着时间的变化发生偏移，项目属性也会随时间而变化，如电影的受欢迎程度会随外部事件(如获得奥斯卡奖)而发生变化。同时，协同过滤方法使用未来的评分来评估当前喜好的做法，也在一定程度上违背了统计分析中的因果关系。近年来，考虑用户历史行为的序列推荐方法，为问题的解决提供了新的思路。随着深度学习的兴起，循环神经网络(Recurrent Neural Networks，RNNs)由于其天然的序列结构，成为当前学术界对序列进行建模的主要工具。但RNN的决策要取决于所有过去的隐藏状态，无法在序列中充分利用并行计算，因此在训练和评估中的速度都受到限制。另外，在现实情况下，用户的兴趣可能并不是连续的，从而对推荐列表的生成产生影响。

发明内容

现有技术中，未发现有将卷积神经网络应用于推荐系统序列推荐，本发明提出了一种嵌入压缩-激励模块的改进时序卷积网络来提取序列特征，模型利用扩张卷积增大感受野，捕获更多的序列关系，利用残差连接减小反向传播过程中的梯度消失问题，并通过压缩激励模块加入注意力机制，给予关键项目更多的注意力，以捕捉用户交互数据的复杂结构，通过对用户和项目特征的融合，综合考虑用户的短期和长期偏好进行个性化推荐。

本发明提供了一种基于改进时序卷积网络的序列推荐列表生成方法，获取数据集，并对数据集进行预处理获得训练数据集；所述训练数据集分别输入隐因子模型和item2vec模型，分别得到用户高维特征表示矩阵和项目高维特征表示矩阵；根据获得的项目高维特征表示矩阵，通过激励压缩模块调整序列权重，输入时序卷积网络提取特征，再与用户高维特征表示矩阵拼接得到最终的特征矩阵；将得到的最终特征矩阵输入全连接层生成推荐列表，取推荐分数最高的项作为推荐结果。

进一步地，采用的数据集为Movielens-1M，对数据预处理包括以下步骤：

步骤一：数据集Movielens-1M中包含用户对电影的评分，将评论或评分的存在视为用户与项目互动，从而将显性反馈的评分数据转换为隐性反馈的交互行为数据；使用时间戳确定序列的顺序，并丢弃MovieLens-1M中互动次数低于5的部分；

步骤二：将处理后的数据集的80％作为训练集，同时将剩下的20％作为测试集，并分为不同的批次送入模型并进行训练。

进一步地，所述的得到用户和项目高维特征表示矩阵包括以下步骤：

步骤一：为获取用户的高维特征表示矩阵，首先构造隐因子模型，某个用户u对某个物品i的感兴趣程度可以表示为公式：

p_u表示用户u与K个潜在因子的关联关系，q_i表示物品i与K个潜在因子的关联关系，将用户潜在因子矩阵p作为对用户的高维嵌入表示矩阵；

步骤二：为获取项目的高维特征表示矩阵，本文对项目的嵌入采用item2vec方法，以物品的共现性作为自然语言中的上下文关系，构建神经网络学习物品在隐藏空间的向量表示，假设将所有用户的历史项目交互定义为语料库S，将某单一用户u的历史交互项目视为一个集合s_u，且有s_u∈S，通过学习所有用户历史记录中项目间的共现关系，获得该项目的词向量表示，具体的目标函数如下式：

其中，其中v∈s_j，L为语料库集合长度，N为对于每个正样本负采样的个数，训练完成得到项目的高维特征表示矩阵。

进一步地，最终的特征矩阵包括以下步骤：

步骤一：将获得的项目高维特征表示矩阵按时间组成序列E；

步骤二：对于维度为D，长度为T的一串序列E＝[v₁，v₂…，v_|T|]，所计算的维度描述为z＝[z₁，z₂，…，z_|T|]，其中z是一个T×1维的向量，其中每一个元素的计算如公式：

其中v_t(i)代表序列第t个元素的第i个维度，此时可以将z_t作为t时刻特征的权重；

步骤三：为了利用压缩操作的信息和利用通道间的信息依赖，使用激励操作来完成特征的重标定，按下式采用门控机制进行激活：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z))

其中，σ表示sigmoid函数，δ表示ReLU函数，r表示通道的数量；

步骤四：模块的最终输出还要通过权值序列s转换原始输入E来获得。

最后输出结果如下式：

F_scle(v_t，s_t)表示标量s_t和特征图之间的乘法，将激励操作的输出的权重s看作经过特征选择后的每个特征通道的重要程度，再逐通道加权到先前的特征上；

整个压缩-激励操作可以视为一个编码-反编码的过程，将T×1的权值序列压缩至r×1，而后再将其激励回T×1的序列；从而获得重新调整权重后的权值序列s，并返回给原始输入E获得

步骤五：把经过权重重新标定的序列矩阵输入到时序卷积网络模型中，通过扩张卷积提取序列特征，扩张卷积的计算公式如下式：

y_t＝（x*h)_t＝∑x_t-dm·h_m

其中*代表扩张卷积的计算符号，d是扩张率，通常设为2的指数形式，h是卷积滤波器的参数，将经过序列卷积网络提取的特征矩阵与隐因子模型模型拼接，得到完整的特征矩阵Q。

进一步地，生成推荐列表包括以下步骤：

步骤一：基于上述得到的特征矩阵Q，最后一层的输出通过引入具有softmax激活函数的全连接层来实现序列分类，完成推荐列表的生成；

步骤二：以输入序列每个元素对应的下一个元素表示真实概率分布，模型输出的元素概率分布作为预测值；采用二元交叉熵损失函数作为目标函数，训练的目标就是最小化计算真实值与预测值之间的损失，为减少过拟合风险带来的模型泛化能力降低，目标函数引入了正则化，函数如公式：

其中，y_i表示元素i的实际标签值，表示其预测标签值，λ表示正则化率，θ表示惩罚项；在训练过程中，采用自适应动量项算法最小化目标函数，通过反向传播算法进行参数更新，在每次迭代中，为每个目标项目随机采样N个负样本。

步骤三：使用评价指标召回率(Recall)、平均倒数排名(Mean Reciprocal Rank，MRR)评估模型的性能。

Recall@K：该指标表示用户真实点击的项目出现在推荐列表前K位的点击序列个数占测试集中序列总数的比例。不考虑点击项目在推荐列表中的顺序，只关心其是否出现在推荐列表的前K位。绝对顺序无关紧要，而不会突出显示推荐。定义如下式：

其中N表示测试数据的总数量，n_hit表示命中的项目数量。

MRR@K：该指标是用户真实点击项目在推荐列表中位置序号的倒数平均值，具体定义如下式：

MRR是范围[0，1]的归一化分数，其值的增加反映了大多数“命中”将在推荐列表的排名位置中更高，表明相应推荐系统的性能更好。

本发明的有益效果是：传统的协同过滤方法认为用户的偏好和项目属性都是静态的，主要利用用户信息(如个人信息、评分等)进行相似度计算，从而进行偏好分析，却忽略了用户的兴趣偏好是一种时序数据。用户的兴趣会随着时间的变化发生偏移，项目属性也会随时间而变化。而循环神经网络的决策要取决于所有过去的隐藏状态，无法在序列中充分利用并行计算，因此在训练和评估中的速度都受到限制。另外，在现实情况下，用户的兴趣可能并不是连续的，从而对推荐列表的生成产生影响。

本发明利用时序卷积网络代替传统的循环神经网络作为序列分析的主要模型，提高了并行性，加快了训练速度。通过结构空洞的扩张卷积扩大感受野，捕捉更为复杂的序列关系，从而加强了长期依赖。并且通过将残差连接和注意力机制结合，通过压缩激励模块，让时序卷积网络能够对层间的短时空间特征序列的权值进行重新标定，从而更好地利用序列特征，加强重点项目对推荐决策的影响，实现更好的推荐效果。

附图说明

图1是本发明所述的改进时序卷积网络的序列推荐列表生成方法的系统框架图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案做进一步地说明。

1、训练数据集

本发明的实施例以数据集Movielens-1M为例，MovieLens 1M数据集含有来自6000名用户对4000部电影的100万条评分数据，其分为三个表：评分，用户信息，电影信息，这些数据都是dat文件格式。数据集中包含用户对电影的评分，将评论或评分的存在视为用户与项目互动，从而将显性反馈的评分数据转换为隐性反馈的交互行为数据。

使用时间戳确定序列的顺序，并丢弃MovieLens-1M中互动次数低于5的部分，将处理后的数据集的80％作为训练集，同时将剩下的20％作为测试集，并分为不同的批次送入模型并进行训练。

2、获得用户高维特征表示和项目高维特征表示矩阵

根据上述对数据的训练获得的训练数据集，分别输入隐因子模型和item2vec模型，分别得到用户高维特征表示和项目高维特征表示矩阵，其包括如下步骤：。

步骤一：为获取用户的高维特征表示矩阵，首先构造隐因子模型。其基本思想是：认为每个用户都有自己的偏好，同时每个物品也包含所有用户的偏好信息。而这个偏好信息即潜在因子，是潜在影响用户对物品评分的因素。某个用户u对某个物品i的感兴趣程度可以表示为公式：

p_u表示用户u与K个潜在因子的关联关系，q_i表示物品i与K个潜在因子的关联关系。将用户潜在因子矩阵p作为对用户的高维嵌入表示矩阵，进入步骤二；

步骤二：为获取项目的高维特征表示矩阵，本文对项目的嵌入采用item2vec方法，以物品的共现性作为自然语言中的上下文关系，构建神经网络学习物品在隐藏空间的向量表示。

假设将所有用户的历史项目交互定义为语料库S，将某单一用户u的历史交互项目视为一个集合s_u，且有s_u∈s。通过学习所有用户历史记录中项目间的共现关系，获得该项目的词向量表示。具体的目标函数如下式：

其中，其中v∈s_j，L为语料库集合长度，N为对于每个正样本负采样的个数。训练完成得到项目的高维特征表示矩阵。

3、引入通过激励压缩模块调整序列权重，得到最终的特征矩阵

根据获得的项目高维特征表示矩阵，通过激励压缩模块调整序列权重，输入时序卷积网络提取特征，再与上述得到的用户高维特征表示矩阵拼接得到最终的特征矩阵，其包括如下步骤：。

步骤一：将获得的项目高维特征表示矩阵按时间组成序列E，进入步骤二；

步骤二：对于维度为D，长度为T的一串序列E＝[v₁，v₂，…，v_|T|]，所计算的维度描述为z＝[z₁，z₂，…，z_|T|]，其中z是一个T×1维的向量，其中每一个元素的计算如公式：

其中v_t(i)代表序列第t个元素的第i个维度，此时可以将z_t作为t时刻特征的权重，进入步骤三；

步骤三：为了利用压缩操作的信息和利用通道间的信息依赖，使用激励操作来完成特征的重标定，按下式采用门控机制进行激活：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z))

其中，σ表示sigmoid函数，δ表示ReLU函数，r表示通道的数量，进入步骤四；

步骤四：模块的最终输出还要通过权值序列s转换原始输入E来获得。

最后输出结果如下式：

F_scale(v_t，s_t)表示标量s_t和特征图之间的乘法，将激励操作的输出的权重s看作经过特征选择后的每个特征通道的重要程度，再逐通道加权到先前的特征上。实质相当于把v_t矩阵中的每个值都乘以对应的权重s_t，完成在通道维度上的对原始特征的重标定。

整个压缩-激励操作可以视为一个编码-反编码的过程，将T×1的权值序列压缩至r×1，而后再将其激励回T×1的序列。从而获得重新调整权重后的权值序列s，并返回给原始输入E获得进入步骤五；

步骤五：把经过权重重新标定的序列矩阵输入到时序卷积网络模型中，通过扩张卷积提取序列特征，扩张卷积的计算公式如下式：

y_t＝(x*h)_t＝∑x_t-dm·h_m

其中*代表扩张卷积的计算符号，d是扩张率，通常设为2的指数形式，h是卷积滤波器的参数。将经过序列卷积网络提取的特征矩阵与隐因子模型模型拼接，得到完整的特征矩阵Q。

4、将得到的最终特征矩阵输入全连接层生成推荐列表，取推荐分数最高的项作为推荐结果，其包括如下步骤：

步骤一：基于上述得到的特征矩阵Q，最后一层的输出通过引入具有softmax激活函数的全连接层来实现序列分类，完成推荐列表的生成。进入步骤二；

步骤二：以输入序列每个元素对应的下一个元素表示真实概率分布，模型输出的元素概率分布作为预测值。采用二元交叉熵损失函数作为目标函数，训练的目标就是最小化计算真实值与预测值之间的损失，为减少过拟合风险带来的模型泛化能力降低，目标函数引入了正则化。函数如公式：

其中，y_i表示元素i的实际标签值，表示其预测标签值，λ表示正则化率，θ表示惩罚项。在训练过程中，采用自适应动量项(adaptive moments，Adam)算法最小化目标函数，通过反向传播(Back propagation)算法进行参数更新。在每次迭代中，为每个目标项目随机采样N个负样本。进入步骤三；

步骤三：使用评价指标召回率(Recall)、平均倒数排名(Mean Reciprocal Rank，MRR)评估模型的性能。

Recall@K：该指标表示用户真实点击的项目出现在推荐列表前K位的点击序列个数占测试集中序列总数的比例。不考虑点击项目在推荐列表中的顺序，只关心其是否出现在推荐列表的前K位。绝对顺序无关紧要，而不会突出显示推荐。定义如下式：

其中N表示测试数据的总数量，n_hit表示命中的项目数量。

MRR@K：该指标是用户真实点击项目在推荐列表中位置序号的倒数平均值，具体定义如下式：

MRR是范围[0，1]的归一化分数，其值的增加反映了大多数“命中”将在推荐列表的排名位置中更高，表明相应推荐系统的性能更好。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等流程变换，或直接或间接运用在相关技术领域，均同理包括在本发明的专利保护范围。

Claims (2)

1.一种基于改进时序卷积网络的序列推荐列表生成方法，其特征在于，获取数据集，并对数据集进行预处理获得训练数据集；所述训练数据集分别输入隐因子模型和item2vec模型，分别得到用户高维特征表示矩阵和项目高维特征表示矩阵；根据获得的项目高维特征表示矩阵，通过激励压缩模块调整序列权重，输入时序卷积网络提取特征，再与用户高维特征表示矩阵拼接得到最终的特征矩阵；将得到的最终特征矩阵输入全连接层生成推荐列表，取推荐分数最高的项作为推荐结果；

所述的得到用户和项目高维特征表示矩阵包括以下步骤：

步骤一：为获取用户的高维特征表示矩阵，首先构造隐因子模型，某个用户u对某个物品i的感兴趣程度表示为公式：

p_u表示用户u与K个潜在因子的关联关系，q_i表示物品i与K个潜在因子的关联关系，将用户潜在因子矩阵p作为对用户的高维嵌入表示矩阵；

步骤二：为获取项目的高维特征表示矩阵，本文对项目的嵌入采用item2vec方法，以物品的共现性作为自然语言中的上下文关系，构建神经网络学习物品在隐藏空间的向量表示，假设将所有用户的历史项目交互定义为语料库S，将某单一用户u的历史交互项目视为一个集合S_u，且有S_u∈S,通过学习所有用户历史记录中项目间的共现关系，获得该项目的词向量表示,具体的目标函数如下式：

其中，u∈S_i，v∈S_j，L为语料库集合长度，N为对于每个正样本负采样的个数,训练完成得到项目的高维特征表示矩阵；

最终的特征矩阵包括以下步骤：

步骤a：将获得的项目高维特征表示矩阵按时间组成序列E；

步骤b：对于维度为D，长度为T的一串序列E＝[v₁,v₂,…,v_|T|]，所计算的维度描述为z＝[z₁,z₂,…,z_|T|]，其中z是一个T×1维的向量，其中每一个元素的计算如公式：

其中v_t(i)代表序列第t个元素的第i个维度，此时将z_t作为t时刻特征的权重；

步骤c：为了利用压缩操作的信息和利用通道间的信息依赖，使用激励操作来完成特征的重标定，按下式采用门控机制进行激活：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

其中，σ表示sigmoid函数，δ表示ReLU函数，r表示通道的数量；

步骤d：模块的最终输出还要通过权值序列s转换原始输入E来获得,

最后输出结果如下式：

F_scale(v_t,s_t)表示标量s_t和特征图之间的乘法，将激励操作的输出的权重s看作经过特征选择后的每个特征通道的重要程度，再逐通道加权到先前的特征上；

整个压缩-激励操作视为一个编码-反编码的过程，将T×1的权值序列压缩至r×1，而后再将其激励回T×1的序列；从而获得重新调整权重后的权值序列s，并返回给原始输入E获得

步骤e：把经过权重重新标定的序列矩阵输入到时序卷积网络模型中，通过扩张卷积提取序列特征，扩张卷积的计算公式如下式：

y_t＝(x*h)_t＝∑x_t-dm·h_m

其中*代表扩张卷积的计算符号，d是扩张率，设为2的指数形式，h是卷积滤波器的参数,将经过序列卷积网络提取的特征矩阵与隐因子模型拼接，得到完整的特征矩阵Q。

2.根据权利要求1所述的基于改进时序卷积网络的序列推荐列表生成方法，其特征在于,生成推荐列表包括以下步骤：

步骤一：基于上述得到的特征矩阵Q，最后一层的输出通过引入具有softmax激活函数的全连接层来实现序列分类，完成推荐列表的生成；

步骤二：以输入序列每个元素对应的下一个元素表示真实概率分布，模型输出的元素概率分布作为预测值；采用二元交叉熵损失函数作为目标函数，训练的目标就是最小化计算真实值与预测值之间的损失，为减少过拟合风险带来的模型泛化能力降低，目标函数引入了正则化，函数如公式：

其中，y_i表示元素i的实际标签值，表示其预测标签值，λ表示正则化率，θ表示惩罚项；在训练过程中，采用自适应动量项算法最小化目标函数，通过反向传播算法进行参数更新，在每次迭代中，为每个目标项目随机采样N个负样本。