CN116263794A - 对比学习增强的双流模型推荐系统及算法 - Google Patents

Abstract

本发明公开了对比学习增强的双流模型推荐系统及算法，能够获取用户长期偏好兴趣，且能够将用户的长期和短期偏好结合，利用隐式偏好捕捉用户的动态偏好数据，从而更好地提升推荐的准确性，包括：首先利用Transformer的特性来进行数据中时序特征的学习，获得用户的长期的兴趣；然后利用GCN学习探究物品转换过程中的空间结构的特征信息；最后将Transformer和GCN获得的特征信息使用位置编码和全局图编码来组合，并且同时利用对比学习方法来进行模型的表征学习辅助。

Description

对比学习增强的双流模型推荐系统及算法

技术领域

本发明涉及推荐系统技术领域，具体涉及对比学习增强的双流模型推荐系统及算法。

背景技术

基于会话的推荐算法(Session-based Recommendation)是指在用户未登录状态下，仅仅依赖匿名会话进行用户下一个行为预测的一种算法，在许多领域(如电商、短视频、直播等)有着重要的作用。推荐系统是有效的信息过滤工具，由于互联网接入的增加、个性化趋势和计算机用户习惯的改变，这种工具非常普遍。尽管现有的推荐系统成功地产生了不错的推荐，但是它们仍然面临着诸如准确性、可伸缩性和冷启动等挑战。在过去的几年中，深度学习，即在许多复杂任务中使用的最先进的机器学习技术，已经被用于推荐系统以提高推荐质量。目前，许多在线供应商为他们的系统配备了推荐引擎，大多数互联网用户在日常活动中利用这些服务，如看书、听音乐和购物。在典型的推荐系统中，术语项目是指系统向其用户推荐的产品或服务。为用户生成推荐项目列表或预测用户对特定项目的喜好程度需要推荐系统分析志同道合的用户过去的偏好或从关于项目的描述信息中获益。近年来，由于计算能力和大数据存储设施的增加，人工神经网络已经开始引起人们的极大关注。研究者成功地建立和训练了深层神经网络模型(辛顿等人)。它促进了作为计算机科学新兴领域的深度学习。目前，图像处理、对象识别、自然语言处理和语音识别中的许多最新技术都将深度神经网络作为主要工具。深度学习技术的潜力也鼓励研究人员在推荐任务中采用深度架构。推荐系统面临的四大挑战：准确性、数据稀疏、冷启动、可伸缩性。

推荐系统中基于会话的推荐方式的学习探索一直被广泛研究，相关技术公开了SR-GNN算法(Session-based recommendation with graph neural networks)，主要用于探究物品之间复杂联系和生成准确的物品特征嵌入。对于基于会话的推荐，SR-GNN首先从历史会话序列构造有向图。基于会话图，GNN能够捕获物品的转换，并相应地生成准确的项目嵌入向量，这是传统顺序方法如基于mc和基于RNN的方法难以实现的。基于精确的物品嵌入向量，SR-GNN构建了更可靠的会话表示，可以推断下一个点击物品的概率。首先，将所有会话序列建模为有向会话图，其中每个会话序列可以被视为一个子图。然后依次处理每个会话图，通过门控图神经网络得到每个会话图中所有节点的嵌入。然后，我们将每个会话表示为用户在该会话中的全局偏好和当前兴趣的组合，其中这些全局和局部会话嵌入都由节点的嵌入组成。最后，对于每个会话，预测每个物品被下一次点击的概率。SR-GNN将分离的会话序列建模为图结构数据，并使用图神经网络来捕获复杂的物品关系。它为基于会话的推荐场景中的建模提供了一个新颖的视角。为了生成基于会话的推荐，SR-GNN不依赖于用户表示，而是使用会话嵌入，它可以仅仅根据每个会话中涉及的物品嵌入来得到推荐结果。

为了更加准确地建模物品的转换模式，图神经网络被用来建模一个会话。但是基于图神经网络的方式大多数地在领接物品之间传递信息，因此会忽视没有直接连接的物品信息。多层gnn随后被用于在项目之间不直接连接的情况下传播信息，而这会轻易的造成过拟合。相关技术还公开了SGNN-HN算法，提出了拥有高速路网络的星图神经网络来进行会话推荐。首先利用星图神经网络(SGNN)对某一时段的复杂过渡模式进行建模，在门控图神经网络的基础上增加一个星形节点来考虑非相邻项，从而解决了远距离信息传播问题。然后，为了避免图神经网络的过拟合问题，利用高速公路网络(HN)动态选择SGNN之前和之后的物品向量，这有助于探索物品之间的复杂过渡关系。最后，我们在一个正在进行的会话中聚精会神地聚合由SGNN生成的物品向量，从而表示用户对物品的偏好来进行推荐。在基于会话的推荐中，第一个考虑会话中项目之间的远距离关系来进行信息传播的图神经网络。提出一种星图神经网络(SGNN)来模拟正在进行的会话中物品之间的复杂过渡关系，并应用一种高速公路网络(HN)来处理图神经网络中存在的过拟合问题。

如今的基于会话的推荐系统成功地捕捉了用户的短期决策过程。但它们没有捕捉到用户长期和短期兴趣对基于会话的推荐的相对重要性的差异。即使在相同的会话环境下，具有不同购物偏好的用户也可能喜欢不同的下一个项目。因此，如何更好地捕捉个人用户的动态消费动机至关重要。因此相关技术提出了DCN-SR算法(Dynamic Co-attentionNetwork for Session-based Recommendation)，假设用户长期交互历史中事件的相对重要性取决于他们短期交互历史中的事件，反之亦然。以在当前会话中搜索过相机的用户为例：在决定下一步推荐什么时，用户与电子产品相关的长期互动可能应该比与服装相关的互动更受重视。相反，如果用户过去的互动表现出对某品牌的强烈兴趣，那么在当前会话中，与该品牌相关的互动在预测下一个商品时可能比其他互动更重要。但是，除了过去和现在的相互作用之间的关系之外，还有更多的东西需要建模。不同的用户操作，例如，点击、添加到购物车或购买，提供不同类型的关于用户兴趣的信息，因此，应该触发不同的后续操作。例如，点击相机可能表明当前的建议不令人满意，因此应该推荐替代产品；将商品添加到购物车中可能会显示出用户对该商品的强烈消费动机；虽然重复购买是很重要的，涉及到相机的购买行为可能应该被推荐补充的物品。设计了一个基于会话的动态协同注意网络模型，该模型能够整合用户的长期和短期偏好。设计了上下文门控循环单元CGRU，以整合不同类型的短期用户行为，从而更好地估计用户的下一个消费兴趣。发现DCN-SR始终符合或超过了最新的技术水平，特别是在短会话和活跃用户方面。

相关技术还公开了NISER-GNN算法(Normalized Item and SessionRepresentations with Graph Neural Networks)，基于会话的推荐(SR)模型的目标是利用会话中来自过去操作(例如，项目/产品点击)的信息来推荐用户接下来可能会点击的项目。最近有研究表明，会话中的条目交互序列可以建模为图结构数据，以更好地解释复杂的条目转换。图神经网络GNN可以学习有用的表示这样的会话图，并已被证明改善顺序模型，如循环神经网络。然而，注意到，这些基于GNN的推荐模型存在流行偏倚：模型偏向于推荐流行的项目，而不能推荐相关的长尾项目(不太流行或不太频繁的项目)。因此，在实际的在线设置中，这些模型对于每天到达的不太受欢迎的新商品表现不佳。证明了这个问题在某种程度上与学习项目的大小或范数以及会话图表示(嵌入向量)有关。提出了一个训练程序，通过使用规范化表示来缓解这个问题。使用标准化项目和会话图表示的模型表现得更好：对于离线设置中不太受欢迎的长尾项目；对于不太受欢迎的新引进的项目在网上设置。

然而相关技术中存在如何获取长期偏好兴趣，如何结合用户的长期和短期偏好，如何利用隐式偏好捕捉用户的动态偏好数据等问题，推荐的准确性有待提高。

发明内容

为了解决现有技术中的问题，本发明提出了对比学习增强的双流模型推荐系统及算法，能够获取用户长期偏好兴趣，且能够将用户的长期和短期偏好结合，利用隐式偏好捕捉用户的动态偏好数据，从而更好地提升推荐的准确性。

为了实现以上目的，本发明提供了对比学习增强的双流模型推荐算法，包括：首先利用Transformer的特性来进行数据中时序特征的学习，获得用户的长期的兴趣；然后利用GCN学习探究物品转换过程中的空间结构的特征信息；最后将Transformer和GCN获得的特征信息使用位置编码和全局图编码来组合，并且同时利用对比学习方法来进行模型的表征学习辅助。

进一步地，所述Transformer的Encoder结构包括Self-Attention的模块，数据经过Self-Attention模块得到加权之后的特征向量Z，特征向量Z即Attention(Q，K，V)：

其中，Q为Query矩阵，K为Key矩阵，V为Value矩阵，

为尺度标度，d_k为Query矩阵和Key矩阵的维度。

进一步地，所述Transformer的Encoder结构还包括Feed Forward NeuralNetwork模块，Feed Forward Neural Network模块的全连接包括第一层的ReLU激活函数和第二层的线性激活函数FFN(Z)＝max(0，ZW₁+b₁)W₂+b₂，其中，W₁为参数矩阵1，W₂为参数矩阵2，b₁为偏置值1，b₂为偏置值2，max为取最大函数。

进一步地，所述Transformer的Decoder的结构包括Encoder-Decoder Attention模块，用于计算输入和输出的权值，即当前翻译和编码的特征向量之间的关系。

进一步地，所述GCN公式表示为：

其中，x_i ^(l+1)为第l+1层的输出，σ为非线性激活函数，c_ij为节点i的度d_i和节点j的度d_j乘积开根号，x_j ^(l)为第l层的输出，w^(l)为第l层的权重，b^(l)为第l层的偏置值，j属于N_i的集合，N_i为节点i的邻居节点。

进一步地，所述GCN从前一个隐藏层到后一个隐藏层，对结点进行特征变换：

X^(l+1)＝f(X^(l)，A)

其中，X^(l+1)为第l+1层的输出，X^(l)为第l层的输出，A为邻接矩阵，f为函数。

进一步地，所述GCN对结点进行特征变换具体实现为：X^(l+1)＝σ(AX^(l)W^(l)+b^(l))，其中，W^(l)为第l层权重；

对邻接矩阵A进行归一化，得到：X^(l+1)＝σ(D^-1AX^(l)W^(l)+b^(l))，其中，D为过度矩阵；

对邻接矩阵A进行对称归一化，得到：

加入自循环，得到：

考虑到每个结点与邻结点的关系，得到：

则最终得到GCN公式：

进一步地，所述对比学习中对任意数据x，对比学习的目标是学习编码器f，使得：

score(f(x)，f(x+))＞＞score(f(x)，f(x^-))

其中，x⁺是和x相似的正样本，x^-是和x不相似的负样本，score是度量函数，来衡量样本间的相似度。

进一步地，所述对比学习中若用向量内积来计算两个样本的相似度，则对比学习的损失函数表示为：

其中，对应样本x有1个正样本和N-1个负样本，T表示转置。

本发明还提供了对比学习增强的双流模型推荐系统，用于实现上述的对比学习增强的双流模型推荐算法，包括：

Transformer单元，用于进行数据中时序特征的学习，获得用户的长期的兴趣；

GCN单元，用于学习探究物品转换过程中的空间结构的特征信息；

组合单元，用于使用位置编码和全局图编码来组合Transformer单元和GCN单元获得的特征信息；

以及，对比学习单元，用于进行模型的表征学习辅助。

与现有技术相比，本发明提出Transformer单元、GCN单元、组合单元和对比学习单元的基于会话的推荐系统，利用Transformer对数据中的时序特征进行提取学习，再使用GCN(图卷积神经网络)获取空间结构特征，再将两者信息整合，利用对比学习方法进行辅助，从而更好的提升推荐的准确性。利用Transformer、GCN和对比学习进行结合起来的方法，来进行基于会话的推荐系统的探索研究，利用Transformer的特性来进行数据中时序特征的学习，获得用户的长期的兴趣，再利用GCN学习探究物品转换过程中的空间结构的特征信息，再将两者获得特征信息进行组合，然后通过使用位置编码和全局图编码来组合，并且同时利用对比学习的方法来进行模型的表征学习的辅助，来增加推荐的效果。利用Transformer学习数据中存在的时序信息的机制，从而获得用户的长期兴趣的特征，从而解决长期兴趣获取的难题，使用了对比学习的方法，来进行模型的表征的学习的辅助，将Transformer、GCN和对比学习方法进行结合的基于会话的推荐的方法，同时捕获了用户历史会话数据的时序中的信息和空间结构的信息，还考虑了现有技术没有考虑到的协同过滤表征，最后本发明使用了对比学习的方法来加强了两个表征的融合。本发明能够获取用户长期偏好兴趣，且能够将用户的长期和短期偏好结合，利用隐式偏好捕捉用户的动态偏好数据，从而更好地提升推荐的准确性。

附图说明

图1为本发明的Transformer结构图；

图2为采用本发明的推荐算法在六个数据集上进行试验后HIT和MRR变化的图；

图3为采用本发明的推荐算法在六个数据集上进行试验后权重矩阵的变化图；

图4为采用本发明和现有的推荐算法进行试验的对比结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于会话的推荐算法是指在用户未登录状态下,仅仅依赖匿名会话进行用户下一个行为预测的一种算法，在许多领域，如：电商、短视频、直播等有着重要的作用。本发明提供了对比学习增强的双流模型推荐系统，包括：Transformer单元，用于进行数据中时序特征的学习，获得用户的长期的兴趣；GCN单元，用于学习探究物品转换过程中的空间结构的特征信息；组合单元，用于使用位置编码和全局图编码来组合Transformer单元和GCN单元获得的特征信息；以及，对比学习单元，用于进行模型的表征学习辅助。

Transformer是一个利用注意力机制来提高模型训练速度的模型。Transformer可以说是完全基于自注意力机制的一个深度学习模型，因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络。

对于自注意力机制来讲，Q(Query)、K(Key)和V(Value)三个矩阵均来自同一输入，首先要计算Q与K之间的点乘，然后为了防止其结果过大，会除以一个尺度标度

其中d_k为一个Query和Key向量的维度，再利用Softmax操作将其结果归一化为概率分布，然后再乘以矩阵V就得到权重求和的表示，该操作可以表示为：

参见图1，在Transformer的Encoder结构中，数据首先会经过Self-Attention模块得到一个加权之后的特征向量Z，这个Z即为Attention(Q，K，V)：

得到Z之后，它会被送到Encoder的下一个模块，即Feed Forward NeuralNetwork，Feed Forward Neural Network模块的全连接有两层，第一层的激活函数是ReLU，第二层是一个线性激活函数，可以表示为：

FFN(Z)＝max(0，ZW₁+b₁)W₂+b₂其中，W₁为权重矩阵1，W₂为权重矩阵2，b₁为偏置值1，b₂为偏置值2，max为取最大函数。

Transformer的Decoder的结构Encoder的不同之处在于Decoder多了一个Encoder-Decoder Attention，两个Attention分别用于计算输入和输出的权值：

1.Self-Attention：当前翻译和已经翻译的前文之间的关系；

2.Encoder-Decnoder Attention：当前翻译和编码的特征向量之间的关系。

GCN图卷积神经网络的公式表示为：

其中，x_i ^(l+1)为第l+1层输出，σ为非线性激活函数，c_ij为节点i的度d_i和节点j的度d_j乘积开根号，x_j ^(l)为第l层输出，w^(l)为第l层权重，b^(l)为第l层偏置值，j为属于N_i的集合，N_i为节点i的邻居节点。

具体地，GCN从前一个隐藏层到后一个隐藏层，对结点进行特征变换：

X^(l+1)＝f(X^(l)，A)

其中，X^(l+1)为第l+1层的输出，X^(l)为第l层的输出，A为邻接矩阵，f为函数(不同模型实现不同)。

对上一步的具体实现为：

X^(l+1)＝σ(AX^(l)W^(l)+b^(l))

其中，W^(l)为第l层权重矩阵；

对邻接矩阵A进行归一化(行之和为1)，得到：

X^(l+1)＝σ(D^-1AX^(l)W^(l)+b^(l))

邻接矩阵A的归一化，可以通过度矩阵D来实现，在实践中，使用对称归一化更加有效和有趣，变成下式：

加入自循环(每个节点从自身出发，又指向自己)，得到：

实际上，就是把邻接矩阵对角线上的数，全部由0变成1

考虑到每个结点与邻结点的关系，得到：

最终得到的GCN公式为：

对比学习的对比学习一般泛式：

对任意数据x，对比学习的目标是学习一个编码器f使得：

score(f(x)，f(x⁺))＞＞score(f(x)，f(x^-))

其中，x⁺是和x相似的正样本，x^-是和x不相似的负样本，score是一个度量函数，来衡量样本间的相似度。

如果用向量内积来计算两个样本的相似度，则对比学习的损失函数可以表示成：

其中，对应样本x有1个正样本和N-1个负样本，T表示转置。可以发现，这个形式类似于交叉熵损失函数，学习的目标就是让x的特征和正样本的特征更相似，同时和N-1个负样本的特征更不相似。在对比学习的相关文献中把这一损失函数称作InfoNCE损失。也有一些其他的工作把这一损失函数称为multi-class n-pair loss或者ranking-based NCE。

本发明利用Transformer学习数据中存在的时序信息的机制，从而获得用户的长期兴趣的特征，从而解决长期兴趣获取的难题，使用了对比学习的方法，来进行模型的表征的学习的辅助，同时分别使用了Transformer和GCN捕获了用户历史会话数据的时序中的信息和空间结构的信息，除此以外，本发明还考虑了现有技术没有考虑到的协同过滤表征，这也是一种优势。最后，本发明使用了对比学习的方法来加强了两个表征的融合，进一步提高了推荐系统的准确性。本发明将Transformer、GCN、对比学习方法结合进行基于会话的推荐。

为了验证本发明算法的优越性，采用本发明算法在六个数据集上进行了试验验证，结果参见图2和图3，从图2中可以看出HIR和MRR指标都是上升的。从图3中可以看出训练过程中权重矩阵的变化。其中hit和mrr为推荐算法常用评价指标。

另外采用本发明和现有的推荐算法分别进行试验，对比结果如图4所示，从图4中可以看出本发明的实验结果，明显由于其他模型的结果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.对比学习增强的双流模型推荐算法，其特征在于，包括：首先利用Transformer的特性来进行数据中时序特征的学习，获得用户的长期的兴趣；然后利用GCN学习探究物品转换过程中的空间结构的特征信息；最后将Transformer和GCN获得的特征信息使用位置编码和全局图编码来组合，并且同时利用对比学习方法来进行模型的表征学习辅助。

2.根据权利要求1所述的对比学习增强的双流模型推荐算法，其特征在于，所述Transformer的Encoder结构包括Self-Attention的模块，数据经过Self-Attention模块得到加权之后的特征向量Z，特征向量Z即Attention(Q，K，V)：

其中，Q为Query矩阵，K为Key矩阵，V为Value矩阵，

为尺度标度，d_k为Query矩阵和Key矩阵的维度。

3.根据权利要求2所述的对比学习增强的双流模型推荐算法，其特征在于，所述Transformer的Encoder结构还包括Feed Forward Neural Network模块，Feed ForwardNeural Network模块的全连接包括第一层的ReLU激活函数和第二层的线性激活函数FFN(Z)＝max(0，ZW₁+b₁)W₂+b₂，其中，W₁为权重矩阵1，W₂为权重矩阵2，b₁为偏置值，b₂为偏置值，max为取最大函数。

4.根据权利要求3所述的对比学习增强的双流模型推荐算法，其特征在于，所述Transformer的Decoder的结构包括Encoder-Decoder Attention模块，用于计算输入和输出的权值，即当前翻译和编码的特征向量之间的关系。

5.根据权利要求1所述的对比学习增强的双流模型推荐算法，其特征在于，所述GCN公式表示为：

其中，x_i ^(l+1)为第l+1层输出，σ为非线性激活函数，c_ij为节点i的度d_i和节点j的度d_j乘积开根号，x_j ^(l)为第l层输出，w^(l)为第l层权重，b^(l)为第l层偏置值，j为属于N_i的集合，N_i为节点i的邻居节点。

6.根据权利要求5所述的对比学习增强的双流模型推荐算法，其特征在于，所述GCN从前一个隐藏层到后一个隐藏层，对结点进行特征变换：

X^(l+1)f(X^(l)，A)

其中，X^(l+1)为第l+1层的输出，X^(l)为第l层的输出，A为邻接矩阵，f为函数。

7.根据权利要求6所述的对比学习增强的双流模型推荐算法，其特征在于，所述GCN对结点进行特征变换具体实现为：X^(l+1)＝σ(AX^(l)W^(l)+b^(l))，其中，W^(l)为第l层权重矩阵；

对邻接矩阵A进行归一化，得到：X^(l+1)＝σ(D^-1AX^(l)W^(l)+b^(l))，其中，D为过度矩阵；

对邻接矩阵A进行对称归一化，得到：

加入自循环，得到：

考虑到每个结点与邻结点的关系，得到：

则最终得到GCN公式：

8.根据权利要求1所述的对比学习增强的双流模型推荐算法，其特征在于，所述对比学习中对任意数据x，对比学习的目标是学习编码器f，使得：

score(f(x)，f(x⁺))＞＞score(f(x)，f(x^-))

其中，x⁺是和x相似的正样本，x^-是和x不相似的负样本，score是度量函数，来衡量样本间的相似度。

9.根据权利要求8所述的对比学习增强的双流模型推荐算法，其特征在于，所述对比学习中若用向量内积来计算两个样本的相似度，则对比学习的损失函数表示为：

其中，对应样本x有1个正样本和N-1个负样本，T表示转置。

10.对比学习增强的双流模型推荐系统，其特征在于，用于实现如权利要求1至9中任一项所述的对比学习增强的双流模型推荐算法，包括：

Transformer单元，用于进行数据中时序特征的学习，获得用户的长期的兴趣；

GCN单元，用于学习探究物品转换过程中的空间结构的特征信息；

组合单元，用于使用位置编码和全局图编码来组合Transformer单元和GCN单元获得的特征信息；

以及，对比学习单元，用于进行模型的表征学习辅助。

Images