CN114168845B - 一种基于多任务学习的序列化推荐方法 - Google Patents

Abstract

本发明涉及物品推荐领域，其公开了一种基于多任务学习的序列化推荐方法，提高系统推荐结果的准确率和多样性。该方法包括：S1、计算用户的意图向量表征信息，并与用户上下文信息、用户画像信息的Embedding表征进行特征拼接输入至双塔模型的用户侧，获取物品Embedding矩阵并输入至双塔模型的物品侧，生成初步的物品推荐列表；S2、采用基于卷积神经网络CNN和长短期记忆网络LSTM捕捉用户历史行为轨迹，并利用注意力机制从用户历史行为轨迹中捕捉与当前意图最相关的信息，结合初步物品推荐列表中的物品信息，通过滑动推理计算生成细粒度的有序推荐列表；S3、以细粒度的有序推荐列表作为输入，通过预训练的多任务学习神经网络模型调整序列的全局有序性，生成最终的推荐列表。

Description

一种基于多任务学习的序列化推荐方法

技术领域

本发明涉及物品推荐领域，具体涉及一种基于多任务学习的序列化推荐方法。

背景技术

随着移动互联网时代的到来，信息的规模增长迅猛，广大用户的信息需求在大数据时代得到了极大的满足。但是，这些信息大多数是碎片化的，而且随着硬件的发展，越来越多的人对信息的获取渠道从传统的PC端转向移动端的设备(如：手机)无时无刻的在收集着大量的信息，用户面对这样大量的信息通常会无从下手，从而造成无法对信息进行有效的选择，即存在信息过载问题。因此，如何从大规模数据中挖掘出有价值的信息成为众多企业和研究机构需要思考的问题。

信息过载问题在目前还是非常严重的，针对这个问题，对信息的高效分发可以有效的缓解这个问题。推荐系统可以有效的解决人与物之间的匹配关系，其本质是一个高效的信息分发系统，为每个用户匹配到最适合的信息。推荐系统与搜索引擎不同的是，它侧重于探究用户的隐性反馈，引入个性化信息进行计算，根据计算获得的用户兴趣爱好点，有针对性的对用户进行定向引导，使用户找到其自身需求。

随着信息的种类增加，用户的兴趣越来越多样化，传统的推荐系统已经不能满足用户对信息需求的多样性，很难根据用户的历史行为轨迹为其预估未来可能感兴趣的信息。因此，序列化推荐系统的研究和使用变得日益广泛，它可以从动态的视角对用户进行建模，来拟合用户的兴趣演进趋势，从而准确的预估出用户接下来感兴趣的信息。

随着深度学习时代的到来，已经有许多企业和研究机构提出了基于深度学习的方法并根据用户行为轨迹来建模序列化推荐系统，这些方法相比传统机器学习模型(如逻辑回归，因子分解机算法等)可以获得更好的预测结果。2016年，加利福尼亚大学圣迭戈分校提出了基于马尔可夫链的序列化推荐算法，旨在解决用户行为轨迹信息高阶依赖的问题，开启了序列化推荐算法的大门。2018年，阿里巴巴提出了DIN(Deep InterestNetwork forClick-Through Rate Prediction)模型，其利用用户行为轨迹数据，极大地增强了模型的预估效果，至此，基于用户行为轨迹信息的序列化推荐算法成为了研究的热点。此外，对于推荐系统，用户能提供的信息越丰富，系统为其匹配的信息就会越准确。知识图谱丰富的结构化信息，可以极大的丰富用户的信息，在2012年，Google提出了知识图谱(KnowledgeGraph)项目，并在其搜索页面上更新了这个功能。作为结构化信息的代表，知识图谱以全新的面貌出现在大众视野，也逐渐推动了工业界和学术界对其的研究。推荐系统的多样性、精准性和可解释性可以得到有效提升。

对于深度学习时代的推荐系统，往往采用的是有监督学习方式，面对海量的数据，推荐系统通常以用户是否会点击为目标进行建模，而实际上决定用户点击一个信息的原因是复杂的，如果能对用户点击某个信息的深层次原因进行建模，会更好的刻画用户对信息的兴趣方向。在2020年的NIPS会议上，JeffDean认为多任务学习会是人工智能的下一个里程碑，因此，将多任务学习应用在推荐系统上，也将会对推荐系统有一定的促进作用。

由此可见，如今的推荐系统，既需要对海量的信息进行高效的挖掘，也需要对用户的兴趣发展趋势做出正确的预估和引导。在对推荐系统的研究中，用户兴趣建模、匹配算法优化、推荐结果多样性等诸多问题亟待解决。序列化推荐方法可以捕捉用户与信息的动态变化，而以目标用户的历史行为轨迹为基础，流程化的为其预估未来的兴趣趋势，是最难解决的问题。

发明内容

本发明所要解决的技术问题是：提出一种基于多任务学习的序列化推荐方法，提高系统推荐结果的准确率和多样性。

本发明解决上述技术问题采用的技术方案是：

一种基于多任务学习的序列化推荐方法，包括以下步骤：

S1、计算用户的意图向量表征信息，并与用户上下文信息、用户画像信息的Embedding(表征向量)进行特征拼接输入至双塔模型(Deep Structured Semantic Model)的用户侧，获取物品Embedding矩阵并输入至双塔模型的物品侧，通过双塔模型生成初步的物品推荐列表；

S2、采用基于卷积神经网络CNN和长短期记忆网络LSTM捕捉用户历史行为轨迹，并利用注意力机制从用户历史行为轨迹中捕捉与当前意图最相关的信息，结合步骤S1中获取的初步的物品推荐列表中的物品信息，通过滑动推理计算生成细粒度的有序推荐列表；

S3、以细粒度的有序推荐列表作为输入，通过预训练的多任务学习神经网络模型调整序列的全局有序性，生成最终的推荐列表。

作为进一步优化，步骤S1具体包括：

S11、以用户输入的查询信息作为查询意图，通过BERT模型进行离线计算，获得输出的整个句子[CLS]的向量表征，作为意图向量表征信息：

E_query＝BERT(X_query)

其中，X_query为用户的查询意图，即用户输入的查询信息；E_query为意图向量表征信息；

S12、对用户上下文信息、用户画像信息进行Embedding转化处理，获得对应的Embedding向量：

E_context＝Embedding_context(X_context)

E_user＝Embedding_user(X_user)

其中，E_context为用户上下文信息的Embedding向量，E_user为用户画像信息的Embedding向量，X_context为用户上下文信息，X_user为用户画像信息；

S13、将意图向量表征信息与用户上下文信息、用户画像信息对应的Embedding向量进行拼接，获得用户表征向量：

E_concat＝Concatenate(E_query,E_context,E_user)

其中，E_concat为用户表征向量；

S14、对物品的特征进行Embedding转化处理，获得对应的Embedding向量：

E_item＝Embedding_item(X_item)

其中，E_item为物品的特征的Embedding向量，X_item为物品特征；

S15、将所有物品对应的Embedding向量组成物品Embedding矩阵：

其中，为物品Embedding矩阵，E_itemM为第M个物品的Embedding向量；M为物品的总数；d为物品对应的Embedding向量的维度；

S16、将步骤S13中获得的用户表征向量与步骤S15中获得的物品Embedding矩阵进行点乘：

从而获得到该用户对每个物品的得分列表排序前N个物品即可生成初步的物品推荐列表，所述N≤M。

作为进一步优化，步骤S2具体包括：

S21、将用户第t次行为的输入记为X_{target_item}；将用户前t-1次行为的输入记为 作为用户行为轨迹信息；

首先，对用户第t次行为的输入和前t-1次行为的输入均进行Embedding转化处理，获得对应的Embedding向量：

E_{target_item}＝Embedding_item(X_{target_item})

E_sequence＝Embedding_item(X_sequence)

S22、对用户行为轨迹信息Embedding向量E_sequence分别通过1×1，3×3，5×5的一维卷积神经网络CNN进行计算：

E_{seq_1_1}＝Conv_1×1(E_sequence)

E_{seq_3_3}＝Conv_3×3(E_sequence)

E_{seq_5_5}＝Conv_5×5(E_sequence)

S23、对分别通过1×1，3×3，5×5一维卷积神经网络后的用户行为轨迹信息Embedding向量E_{seq_1_1}，E_{seq_3_3}，E_{seq_5_5}通过基于注意力机制的Activation层进行处理：

以E_{target_item}作为query，以E_{seq_1_1}，E_{seq_3_3}，E_{seq_5_5}作为key，分别记为key₁，key₂，key₃；对key₁，key₂，key₃分别与query拼接后输入Activation层，Activation层的权重采用共享方式，拼接获得的输入向量分别为：

Attention_1×1＝Concat(query,key₁,query×key₁,query·key₁)

Attention_3×3＝Concat(query,key₂,query×key₂,query·key₂)

Attention_5×5＝Concat(query,key₃,query×key₃,query·key₃)

通过Activation层计算各个拼接的输入向量的输出：

其中，

S24、将U_1×1，U_3×3和U_5×5分别作为长短期记忆网络LSTM的输入，计算获得用户行为轨迹的最终表征向量：

θ是神经网络的偏置；

S25、对用户行为轨迹的最终表征向量与上下文信息的Embedding向量以及用户第t次行为的输入X_{target_item}进行拼接，获得用户的兴趣迁移向量：

S26、基于用户的兴趣迁移向量，通过两层神经网络计算预测的物品：

output_layer₁＝σ(W₁E_{concat_int}+b₁)

output_layer₂＝σ(W₂output_layer₁+b₂)

其中，output_layer₁为第一层神经网络的输出，output_layer₂为第二层神经网络的输出，W₁为第一层神经网络的权重，b₁为其偏置，W₂为第二层神经网络的权重，b₂为其偏置，σ(·)为激活函数；

优化器使用Adam算法代替常规的随机梯度下降算法，为了使得模型能够快速收敛，设置固定的学习率为1e^-5，模型采用二分类，损失函数使用交叉熵，即：

GOODS_Loss＝-log(output_layer₂)

在进行预测时，将初步物品推荐列表中的N个物品分别依次输入序列推理模型，经过模型滑动推理处理获得N×L的更细粒度的有序推荐列表：当将初步物品推荐列表中的第一个物品的表征向量作为当前输入，通过模型预测出下一个物品，将预测出的此物品的表征向量与当前输入进行拼接，然后再次输入模型，预测得到下一个物品，以此循环预测直至达到预先设定的序列长度L，完成针对初步物品推荐列表中的第一个物品滑动推理处理；然后将初步物品推荐列表中的第二个物品的表征向量作为当前输入，进入第二个物品滑动推理处理过程，以此类推，直至完成对初步物品推荐列表中的N个物品的滑动推理，获得大小为N×L的更细粒度的有序推荐列表。

作为进一步优化，步骤S3中，所述多任务学习神经网络模型利用Transformer算法对序列信息进行建模，并通过构建额外的辅助任务来学习序列的有序性，其训练过程包括：

S31、对推荐列表中的各物品的特征进行Embedding处理：

E_input＝Embedding(X_input)

其中，X_input＝[i₁,i₂,i₃,i₄,...,i_N]，i_N为推荐列表中的第N个物品的特征，依次输入序列直到长度L；

E_input为物品序列Embedding向量；

S32、对物品序列Embedding向量E_input通过Transformer模型计算点击率任务：

首先，将E_input复制为Q，K，V三个相同的向量，然后分别通过h个不同的线性变换，公式为：

其中分别为三个随机初始化的权重矩阵；d为物品对应的表征向量的维度，R为实数域；

接着，通过多头注意力机制进行处理：

Attention_op＝Multi_Head(Q,K,V)＝Concat(head₁,...,head_h)·W^o

其中W^o∈R^h×d×d为随机初始化的权重矩阵，d为Embedding向量的维度；

然后，通过两层前向网络计算获得序列中各物品的最终表征：

Final_op＝LayerNorm(Attention_op)+Attention_op

Final_op＝LayerNorm(Final_op)+Final_op

其中LayerNorm是归一化函数，计算如下：

其中，μ是向量均值，σ是向量方差，∈是扰动值，通常为e^-6

接着，对序列中各物品的最终表征进行拼接，获得物品表征拼接向量：

E_{concat_goods}＝Concat(Final_op₁,Final_op₂,...,Final_op_N)

最后，将物品表征拼接向量输入多层神经网络中进行计算，获得序列中的物品的用户兴趣排序：

output_layer₁＝σ(W₁E_{concat_goods}+b₁)

output_layer₂＝σ(W₂output_layer₁+b₂)

其中，W₁为第一层神经网络的权重，b₁为其偏置，W₂为第二层神经网络的权重，b₂为其偏置。σ(·)为激活函数，该算法使用sigmoid作为神经网络的激活函数。

并且同时使用交叉熵作为此过程的损失函数，即

CTR_Loss＝-log(output_layer₂)

S33、通过IOP任务(Inner Order Prediction)作为辅助任务对步骤S32中的序列中的物品的点击率排序进行重排序：

首先，对基于NegativeSampling(负采样)得到的无序流程进行Embedding处理：

然后，对各个E_input进行拼接，获得正向序列的Embedding表征，并对各个进行拼接，获得负向序列的Embedding表征：

接着，通过一个单层共享权重的神经网络来得到正向序列和负向序列的最终表征：

output_layer₊＝σ(W_iopE_{concat_input}+b_iop)

W_iop是IOP任务中神经网络的权重矩阵，b_iop是IOP任务中神经网络的偏置向量，σ是神经网络的激活函数；

然后计算交叉熵作为损失函数：

IOP_Loss＝-(log(output_layer₊)+log(1-output_layer_-))

S34、计算训练过程的最终损失函数：

将点击率任务的损失函数CTR_Loss与IOP任务的损失函数IOP_Loss相加即得到最终的损失函数：

Final_Loss＝CTR_Loss+IOP_Loss

S35、采用Adam算法作为优化算法，基于步骤S34中计算的最终损失函数对步骤S31-步骤S34进行迭代，直至模型收敛，获得训练好的多任务学习神经网络模型。

本发明的有益效果是：

(1)提升预估结果的准确性和多样性：

本发明采用了双塔模型作为基础的意图识别模型，利用BERT模型来更好的刻画用户意图，提升预估结果的准确度和多样性。

(2)能够计算出具有依赖性的组合结果：

利用LSTM算法来解决序列高阶信息的长期依赖，通过滑动CNN算法来建模序列的局部依赖，并通过Attention算法来捕捉与当前意图最相关的信息，通过滑动推理，在历史行为轨迹的基础上为用户推荐一组未来感兴趣的信息集合。因此，本发明能有效的刻画用户的行为轨迹信息，并通过滑动推理提升线上的计算速度。

(3)能够优化推荐序列的全局有序性：

本发明利用IOP辅助任务来对排序阶段产出的结果重新排序，该算法能有效的改善最终预估的准确度。

附图说明

图1为本发明中的基于多任务学习的序列化推荐原理图；

图2为基础双塔模型的示意图；

图3为本发明中的嵌入意图表征的双塔模型的示意图；

图4为本发明中基于双塔模型的匹配流程示意图；

图5为本发明提出的基于Attention与卷积神经网络的序列化推荐模型；

图6为本发明中Activation Unit的结构图；

图7为本发明中的滑动推理算法原理图；

图8为本发明提出的基于多任务学习的重排序算法原理图。

具体实施方式

本发明旨在提出一种基于多任务学习的序列化推荐方法，提高系统推荐结果的准确率和多样性。其原理如图1所示，包括三个阶段：召回阶段、排序阶段和重排序阶段；

在召回阶段，采用了双塔模型作为基础的意图识别模型，并利用BERT模型来更好的刻画用户意图，从而提升预估结果的准确度并在一定程度增加预估结果的多样性，此阶段能够获得粗粒度topN推荐列表；

在排序阶段，我们利用LSTM算法来解决序列高阶信息的长期依赖，利用滑动CNN算法来建模序列的局部依赖，利用Attention算法来捕捉与当前意图最相关的信息，通过滑动推理算法，在历史行为轨迹的基础上为用户推荐一组未来感兴趣的信息集合，此阶段能够获得N条有序推荐列表；

在重排序阶段，我们通过Transformer算法和辅助任务在保障预估准确度的前提下调整序列的全局有序性，从而有效的改善最终预估的准确度，生成最终的推荐列表。

在具体实现上，本发明中的基于多任务学习的序列化推荐方法，包括以下步骤：

S1、计算用户的意图向量表征信息，并与用户上下文信息、用户画像信息的Embedding表征进行特征拼接输入至双塔模型的用户侧，获取物品Embedding矩阵并输入至双塔模型的物品侧，通过双塔模型生成初步的物品推荐列表；

本步骤中，采用双塔模型作为基础，该模型的本质是以牺牲准确度的前提下，来提升它的预估速度，是因为在工业界，通常会离线计算每个塔的最上层表征Embedding，然后将这些表征Embedding存入线上的数据库中，在实际用户访问时，只需要查找其对应的Embedding，然后将用户对应的Embedding与信息对应的Embedding进行度量计算即可。

基础的双塔模型结构如图2所示，其中，上下文信息的输入记为X_context，由于使用的是电商数据集，因此上下文信息包含了时间、地点等特征，人物画像的输入记为X_user，包括用户的年龄、性别等特征，物品的输入记为X_item。

双塔模型的训练过程如下：

由于在真实世界中，用户产生的行为数据通常是高维且稀疏的，如果不对这些行为数据做处理，会导致神经网络模型的学习效果变差，而且容易导致过拟合现象。因此，对每一维特征都做Embedding处理，将其由高维稀疏的数据转换为低维稠密的向量，具体公式如下：

E_context＝Embedding_context(X_context)

E_user＝Embedding_user(X_user)

E_item＝Embedding_item(X_item)

其中，对于上下文信息E_context∈R^d。对于用户信息/>E_user∈R^d。对于物品信息，/> E_item∈R^d。d为Embedding的维度，为了降低参数量，可设置为d＝8。D₁，D₂，D₃是上下文信息向量，用户信息向量，物品信息向量三者的维度，/>是符合D₁，D₂，D₃维度的定义域(实数定义域)，/>是不同维度的矩阵，目的是把上下文信息向量，用户信息向量，物品信息向量三者转化为相同维度(d)的Embedding向量。

这里的Embedding矩阵采用共享权重技术，目的是为了增强模型的泛化能力从而降低过拟合的风险，因此，在得到上下文信息和人物画像的Embedding向量后，对其进行拼接，具体公式如下：

E_concat＝Concatenate(E_context，E_user)

向量拼接是神经网络模型结构常用的聚合操作，它可以将多个不同维度的向量拼接起来。

之后，将拼接过的向量输入多层神经网络中进行计算，由于是在搜索推荐场景下，多层的神经网络会导致模型学到无用信息,也会导致过拟合，因此，这里使用两层神经网络，具体公式如下：

output_layer₁＝(W₁E_concat+b₁)

output_layer₂＝(W₂output_layer₁+b₂)

其中，W₁为第一层神经网络的权重，b₁为其偏置，神经元个数为128，W₂为第二层神经网络的权重，b₂为其偏置，神经元个数为64。

双塔模型的最重要的环节便是如何将两个塔的输出表征进行结合，本发明使用点乘作为最终的输出结果，具体公式如下：

Final_output＝E_item·output_layer₂

通常，在训练时，使用sigmoid作为神经网络的激活函数，优化器使用Adam算法代替常规的随机梯度下降算法，为了使得模型能够快速收敛，设置固定的学习率为1e^-5。

由前述可知，基础的双塔模型只使用了用户的历史行为信息，这样只能捕捉到用户过去喜欢的物品信息，却不能知道现在用户的兴趣是否发生变化。针对此问题，本发明为用户提供主动输入查询信息的功能，像搜索引擎一样，可以将用户的Query意图融入进双塔模型，这样不仅可以利用到用户的历史行为信息，还可以利用到用户主动输入的意图信息，即，本发明中采用的双塔模型嵌入了用户意图表征，结构如图3所示。

其中，将用户输入的Query作为意图，为了便于样本的结构化处理，本发明对用户的输入做了限制，用户只能选择全量物品库中已有的物品信息进行输入，对于输入的信息进行文本化处理，然后将其输入至BERT模型，得到用户意图的向量表征。

需要说明的是，BERT的输出向量有两种，一种是每个词语的Embedding表征，另一个是整个句子[CLS]的向量表征。对此，由于本发明采用的是Google开源的BERT预训练模型，而它的每个单词的Embedding维度是768维，这对于召回阶段是过大的，如果将多个词语的Embedding拼接起来，模型的计算时间会大幅度提升，因此，采用整个句子[CLS]的向量表征作为用户意图的表征，具体的表达方式如下：

E_query＝BERT(X_query)

在预测阶段，首先将意图向量表征信息与用户上下文信息、用户画像信息对应的Embedding向量进行拼接，获得用户表征向量，作为左塔(用户侧塔)的输入：

E_concat＝Concatenate(E_query,E_context,E_user)

同理，对物品的特征进行Embedding转化处理，获得对应的Embedding向量：

E_item＝Embedding_item(X_item)

其中，E_item为物品的特征的Embedding向量，X_item为物品特征；

然后将所有物品对应的Embedding向量组成物品Embedding矩阵，作为右塔(物品侧塔)的输入：

其中，为物品Embedding矩阵，E_itemM为第M个物品的Embedding向量；M为物品的总数；d为物品对应的Embedding向量的维度；

最后，将获得的用户表征向量E_concat与物品Embedding矩阵进行点乘：

从而获得到该用户对每个物品的得分列表排序前N个物品即可生成初步的物品推荐列表。

S2、采用基于卷积神经网络CNN和长短期记忆网络LSTM捕捉用户历史行为轨迹，并利用注意力机制从用户历史行为轨迹中捕捉与当前意图最相关的信息，结合步骤S1中获取的初步的物品推荐列表中的物品信息，通过滑动推理计算生成细粒度的有序推荐列表：

本步骤中，选择LSTM算法来对用户的行为轨迹信息进行建模，采用滑动CNN算法来建模序列的局部依赖。CNN算法常用在图像处理领域，该算法可以捕捉图片的局部特征，本发明利用不同步长的一维CNN算法来捕捉用户行为轨迹的多维信息，并采用Attention算法来捕捉与当前意图最相关的信息，在历史行为轨迹的基础上通过滑动推理为用户推荐一组未来感兴趣的信息集合。整体的模型结构如图5所示。

其中，Embedding Layer为嵌入表征层，前t-1次行为与第t次行为的Embedding矩阵共享权重。MLP为多层感知机层，即多层神经网络。上下文信息的输入记为X_context，上下文信息包含了时间、地点、用户的年龄、性别等特征，第t次行为的输入记为X_{target_item}，前t-1次行为的输入记为

模型的训练过程如下：

为了提高模型学习效果，避免过拟合，首先对每一维特征都做Embedding处理，将其由高维稀疏的数据转换为低维稠密的向量，具体公式如下:

E_context＝Embedding_context(X_context)

E_{target_item}＝Embedding_item(X_{target_item})

E_sequence＝Embedding_item(X_sequence)

其中，对于上下文信息，E_context∈R^d。对于物品信息，/>E_{target_item}∈R^d。对于用户行为轨迹信息，/>E_item∈R^(t-1)xd。

这里的物品Embedding矩阵E_{target_item}采用共享权重技术，目的是为了增强模型的泛化能力从而降低过拟合的风险。

接下来，对用户行为轨迹信息Embedding向量E_sequence分别通过1×1，3×3，5×5的一维卷积神经网络：

E_{seq_1_1}＝Conv_1×1(E_sequence)

E_{seq_3_3}＝Conv_3×3(E_sequence)

E_{seq_5_5}＝Conv_5×5(E_sequence)

然后，对分别通过1×1，3×3，5×5一维卷积神经网络后的户行为轨迹信息Embedding向量E_{seq_1_1}，E_{seq_3_3}，E_{seq_5_5}通过ActivationUnit(激活单元)进行处理，将这三个向量均转化为定长向量，Activation是使用基于Attention的网络结构进行设计的，它不同于传统Attention机制，该结构会对输入进行四种不同维度的拼接，这四种输入分别为：

输入的轨迹信息Embedding向量E_{seq_1_1}，E_{seq_3_3}，E_{seq_5_5}；

输入的目标物品Embedding向量E_{target_item}；

轨迹信息Embedding向量与目标物品Embedding向量的点乘；

轨迹信息Embedding向量与目标物品Embedding向量的叉乘；

具体的ActivationUnit的设计结构如图6所示；图中的query为E_{target_item}，key依次为E_{seq_1_1}，E_{seq_3_3}，E_{seq_5_5}，记为key₁，key₂，key₃。

key₁，key₂，key₃将分别与E_{target_item}拼接输入ActivationUnit，ActivationUnit的权重采用共享的方式，query与key的拼接方式为：

Attention_input_1×1＝Concat(query,key₁,query×key₁,query·key₁)

Attention_input_3×3＝Concat(query,key₂,query×key₂,query·key₂)

Attention_input_5×5＝Concat(query,key₃,query×key₃,query·key₃)

采取这样的拼接方式是为了让模型能够充分的学习用户行为轨迹与目标行为之间的交互信息。

ActivationUnit本质是Attention算法：

接下来，依次让U_1×1，U_3×3和U_5×5通过LSTM算法，其中LSTM的每个cell神经元个数设置为32，获得用户行为轨迹最终表征：

/>

向量拼接是神经网络模型结构常用的聚合操作，它可以将多个不同维的向量拼接起来：

将拼接过的向量输入多层神经网络中进行计算，这里使用两层神经网络，具体公式如下：

output_layer₁＝σ(W₁E_concat+b₁)

output_layer₂＝σ(W₂output_layer₁+b₂)

其中，W₁为第一层神经网络的权重，b₁为其偏置，神经元个数设置为64，W₂为第二层神经网络的权重，b₂为其偏置，神经元个数设置为32，σ(·)为激活函数，本发明使用sigmoid作为神经网络的激活函数。

模型采用二分类，损失函数使用交叉熵，优化器使用Adam算法代替常规的随机梯度下降算法，为了使得模型能够快速收敛，设置固定的学习率为1e^-5。这样，如果一个物品被用户点击过，则说明用户对该物品是有兴趣的。

在采用模型进行预测时，该模型需要为每个用户形成一条序列，因此本发明提出了滑动推理算法，可以依次为每个用户推演出一条有序的序列。如图7所示，将由召回阶段得到的与用户最相关的N的物品，依次输入训练好的序列推理模型，例如，当物品1输入进序列推理模型，模型为其预估出下一个物品a，接着将物品1，物品a拼接起来再次输入序列推理模型，模型为其预估出下一个物品b，算法停止条件为预先设定的序列长度L，达到长度L即停止。

S3、以细粒度的有序推荐列表作为输入，通过预训练的多任务学习神经网络模型调整序列的全局有序性，生成最终的推荐列表：

本步骤选择Transformer算法来对序列信息进行建模。并通过构建额外的辅助任务来学习序列的有序性，即为IOP(Inner OrderPrediction)任务，整体的模型结构如图8所示。

其中，模型的输入为上一阶段推理出的长度为N的序列，记为X_input＝[i₁,i₂,i₃,i₄,...,i_N]。

模型的训练过程如下：

首先，为了提高模型学习效果，避免过拟合，首先对每一维特征都做Embedding处理，将其由高维稀疏的数据转换为低维稠密的向量，具体公式如下:

E_input＝Embedding(X_input)

其中，对于序列信息，X_input∈R^D，Embedding∈R^Dxd，E_input∈R^d。这里的物品Embedding矩阵采用共享权重技术，目的是为了增强模型的泛化能力从而降低过拟合的风险。

接下来，对序列Embedding向量E_input通过Transformer模型计算点击率任务，将E_input复制为Q，K，V三个相同的向量，然后分别通过h个不同的线性变换，考虑到模型的计算速度，这里h＝2，具体的公式为：

/>

其中，分别为三个随机初始化的权重矩阵，接下来，通过多头注意力机制Multi-HeadSelf-Attention进行处理：

Attention_op＝Multi_Head(Q,K,V)＝Concat(head₁,...,head_h)·W^o

其中，W^o∈R^h×d×d为随机初始化的权重矩阵，d为Embedding矩阵的维度，为了降低参数量，可以设置为8。

然后通过Position-wise Feed-ForwardNetworks(前向网络)得到序列最终的表征：

Final_op＝LayerNorm(Attention_op)+Attention_op

Final_op＝LayerNorm(Final_op)+Final_op

其中LayerNorm是归一化函数，计算如下：

其中，μ是向量均值，σ是向量方差，∈是扰动值，通常为e^-6

向量拼接是神经网络模型结构常用的聚合操作，它可以将多个不同维的向量拼接起来：

E_concat＝Concat(Final_op₁,Final_op₂,...,Final_op_N)

将拼接过的向量输入多层神经网络中进行计算，这里使用两层神经网络，具体公式如下：

output_layer₁＝σ(W₁E_concat+b₁)

output_layer₂＝σ(W₂output_layer₁+b₂)

其中，W₁为第一层神经网络的权重，b₁为其偏置，W₂为第二层神经网络的权重，b₂为其偏置。σ(·)为激活函数，该算法使用sigmoid作为神经网络的激活函数。

在训练过程中，辅助任务IOP用来调整序列的全局有序性：

首先，对基于NegativeSampling(负采样)得到的无序序列进行Embedding处理：

然后分别对各个E_input进行拼接，获得正序列Embedding表征；并对各个进行拼接，获得负序列Embedding表征：

在得到正负序列的Embedding表征后，通过一个单层共享权重的神经网络来得到最终的表征：

output_layer₊＝σ(W_iopE_{concat_input}+b_iop)

/>

采用交叉熵作为损失函数：

IOP_Loss＝-(log(output_layer₊)+log(1-output_layer-))

最终将点击率任务的损失函数CTR_Loss与IOP任务的损失函数IOP_Loss相加即得到最终的损失函数，作为模型的损失函数：

Final_Loss＝CTR_Loss+IOP_Loss

模型训练采用Adam算法作为优化算法，基于计算的最终损失函数进行迭代，直至模型收敛，获得训练好的多任务学习神经网络模型。

在预测时，将排序阶段生成的细粒度的序列输入至训练好的多任务学习神经网络模型，即可获得最终的经过重排序的推荐序列。

Claims (3)

1.一种基于多任务学习的序列化推荐方法，其特征在于，包括以下步骤：

S1、计算用户的意图向量表征信息，并与用户上下文信息、用户画像信息的Embedding进行特征拼接输入至双塔模型的用户侧，获取物品Embedding矩阵并输入至双塔模型的物品侧，通过双塔模型生成初步的物品推荐列表；

S2、采用基于卷积神经网络CNN和长短期记忆网络LSTM捕捉用户历史行为轨迹，并利用注意力机制从用户历史行为轨迹中捕捉与当前意图最相关的信息，结合步骤S1中获取的初步的物品推荐列表中的物品信息，通过滑动推理计算生成细粒度的有序推荐列表；

S3、以细粒度的有序推荐列表作为输入，通过预训练的多任务学习神经网络模型调整序列的全局有序性，生成最终的推荐列表；

步骤S3中，多任务学习神经网络模型利用Transformer算法对序列信息进行建模，并通过构建额外的辅助任务来学习序列的有序性，其训练过程包括：

S31、对推荐列表中的各物品的特征进行Embedding处理：

E_input＝Embedding(X_input)

其中，X_input＝[i₁,i₂,i₃,i₄,...,i_N]，i_N为推荐列表中的第N个物品的特征，依次输入序列直到长度L；

E_input为物品序列Embedding向量；

S32、对物品序列Embedding向量E_input通过Transformer模型计算点击率任务：

首先，将E_input复制为Q，K，V三个相同的向量，然后分别通过h个不同的线性变换，公式为：

其中分别为三个随机初始化的权重矩阵；d为物品对应的表征向量的维度，R为实数域；

接着，通过多头注意力机制进行处理：

Attention_op＝Multi_Head(Q,K,V)＝Concat(head₁,...,head_h)·W^o

其中W^o∈R^h×d×d为随机初始化的权重矩阵，d为Embedding向量的维度；

然后，通过两层前向网络计算获得序列中各物品的最终表征：

Final_op＝LayerNorm(Attention_op)+Attention_op

Final_op＝LayerNorm(Final_op)+Final_op

其中LayerNorm是归一化函数，计算如下：

其中，μ是向量均值，σ是向量方差，∈是扰动值，取e^-6；

接着，对序列中各物品的最终表征进行拼接，获得物品表征拼接向量：

E_{concat_goods}＝Concat(Final_op₁,Final_op₂,...,Final_op_N)

最后，将物品表征拼接向量输入多层神经网络中进行计算，获得序列中的物品的用户兴趣排序：

output_layer₁＝σ(W₁E_{concat_goods}+b₁)

output_layer₂＝σ(W₂output_layer₁+b₂)

其中，W₁为第一层神经网络的权重，b₁为其偏置，W₂为第二层神经网络的权重，b₂为其偏置，σ(·)为激活函数，采用sigmoid函数；

并且同时使用交叉熵作为此过程的损失函数，即：

CTR_Loss＝-log(output_layer₂)

S33、通过IOP任务(Inner Order Prediction)作为辅助任务对步骤S32中的序列中的物品的点击率排序进行重排序：

首先，对基于NegativeSampling(负采样)得到的无序流程进行Embedding处理：

然后，对各个E_input进行拼接，获得正向序列的Embedding表征，并对各个进行拼接，获得负向序列的Embedding表征：

接着，通过一个单层共享权重的神经网络来得到正向序列和负向序列的最终表征：

output_layer₊＝σ(W_iopE_{concat_input}+b_iop)

W_iop是IOP任务中神经网络的权重矩阵，b_iop是IOP任务中神经网络的偏置向量，σ是神经网络的激活函数；

然后计算交叉熵作为损失函数：

IOP_Loss＝-(log(output_layer₊)+log(1-output_layer_-))

S34、计算训练过程的最终损失函数：

将点击率任务的损失函数CTR_Loss与IOP任务的损失函数IOP_Loss相加即得到最终的损失函数：

Final_Loss＝CTR_Loss+IOP_Loss

S35、采用Adam算法作为优化算法，基于步骤S34中计算的最终损失函数对步骤S31-步骤S34进行迭代，直至模型收敛，获得训练好的多任务学习神经网络模型。

2.如权利要求1所述的一种基于多任务学习的序列化推荐方法，其特征在于，

步骤S1具体包括：

S11、以用户输入的查询信息作为查询意图，通过BERT模型进行离线计算，获得输出的整个句子[CLS]的向量表征，作为意图向量表征信息：

E_query＝BERT(X_query)

其中，X_query为用户的查询意图，即用户输入的查询信息；E_query为意图向量表征信息；

S12、对用户上下文信息、用户画像信息进行Embedding转化处理，获得对应的Embedding向量：

E_context＝Embedding_context(X_context)

E_user＝Embedding_user(X_user)

其中，E_context为用户上下文信息的Embedding向量，E_user为用户画像信息的Embedding向量，X_context为用户上下文信息，X_user为用户画像信息；

S13、将意图向量表征信息与用户上下文信息、用户画像信息对应的Embedding向量进行拼接，获得用户表征向量：

E_concat＝Concatenate(E_quert,E_context,E_user)

其中，E_concat为用户表征向量；

S14、对物品的特征进行Embedding转化处理，获得对应的Embedding向量：

E_item＝Embedding_item(X_item)

其中，E_item为物品的特征的Embedding向量，X_item为物品特征；

S15、将所有物品对应的Embedding向量组成物品Embedding矩阵：

其中，为物品Embedding矩阵，E_itemM为第M个物品的Embedding向量；M为物品的总数；d为物品对应的Embedding向量的维度；

S16、将步骤S13中获得的用户表征向量与步骤S15中获得的物品Embedding矩阵进行点乘：

从而获得到该用户对每个物品的得分列表排序前N个物品即可生成初步的物品推荐列表，所述N≤M。

3.如权利要求2所述的一种基于多任务学习的序列化推荐方法，其特征在于，

步骤S2具体包括：

S21、将用户第t次行为的输入记为X_{target_item}；将用户前t-1次行为的输入记为 作为用户行为轨迹信息；

首先，对用户第t次行为的输入和前t-1次行为的输入均进行Embedding转化处理，获得对应的Embedding向量：

E_{target_item}＝Embedding_item(X_{target_item})

E_sequence＝Embedding_item(X_sequence)

S22、对用户行为轨迹信息Embedding向量E_sequence分别通过1×1，3×3，5×5的一维卷积神经网络CNN进行计算：

E_{seq_1_1}＝Conv_1×1(E_sequence)

E_{seq_3_3}＝Conv_3×3(E_sequence)

E_{seq_5_5}＝Conv_5×5(E_sequence)

S23、对分别通过1×1，3×3，5×5一维卷积神经网络后的用户行为轨迹信息Embedding向量E_{seq_1_1}，E_{seq_5_3}，E_{seq_5_5}通过基于注意力机制的Activation层进行处理：

以E_{target_item}作为query，以E_{seq_1_1}，E_{seq_3_3}，E_{seq_5_5}作为key，分别记为key₁，key₂，key₃；对key₁，key₂，key₃分别与query拼接后输入Activation层，Activation层的权重采用共享方式，拼接获得的输入向量分别为：

Attention_1×1＝Concat(query,key₁,query×key₁,query·key₁)

Attention_3×3＝Concat(query,key₂,query×key₂,query·key₂)

Attention_5×5＝Concat(query,key₃,query×key₃,query·key₃)

通过Activation层计算各个拼接的输入向量的输出：

其中，

S24、将U_1×1，U_3×3和U_5×5分别作为长短期记忆网络LSTM的输入，计算获得用户行为轨迹的最终表征向量：

θ是神经网络的偏置；

S25、对用户行为轨迹的最终表征向量与上下文信息的Embedding向量以及用户第t次行为的输入X_{target_item}进行拼接，获得用户的兴趣迁移向量：

S26、基于用户的兴趣迁移向量，通过两层神经网络计算预测的物品：

output_layer₁＝σ(W₁E_{concat_int}+b₁)

output_layer₂＝σ(W₂output_layer₁+b₂)

其中，output_layer₁为第一层神经网络的输出，output_layer₂为第二层神经网络的输出，W₁为第一层神经网络的权重，b₁为其偏置，W₂为第二层神经网络的权重，b₂为其偏置，σ(·)为激活函数；

神经网络优化使用Adam算法，设置固定的学习率为1e^-5，模型采用二分类，损失函数使用交叉熵，即：

GOODS_Loss＝-log(output_layer₂)

在进行预测时，将初步物品推荐列表中的N个物品分别依次输入序列推理模型，经过模型滑动推理处理获得N×L的更细粒度的有序推荐列表：当将初步物品推荐列表中的第一个物品的表征向量作为当前输入，通过模型预测出下一个物品，将预测出的此物品的表征向量与当前输入进行拼接，然后再次输入模型，预测得到下一个物品，以此循环预测直至达到预先设定的序列长度L，完成针对初步物品推荐列表中的第一个物品滑动推理处理；然后将初步物品推荐列表中的第二个物品的表征向量作为当前输入，进入第二个物品滑动推理处理过程，以此类推，直至完成对初步物品推荐列表中的N个物品的滑动推理，获得大小为N×L的更细粒度的有序推荐列表。