CN112699215B - 基于胶囊网络与交互注意力机制的评级预测方法及系统 - Google Patents

Abstract

本公开提供了一种基于胶囊网络与交互注意力机制的评级预测方法及系统，所述方案通过设计的一种具有强解释性的反向动态路由来聚合用户和物品的上下文特征并生成方面特征；同时，提出一种交互注意力机制，通过所述交互注意力机制分别在多个特征子空间构建用户和物品上下文特征之间的交互来使模型学习到细粒度的交互信息，有效缓解了各个方面特征之间的趋同现象，提高了评级预测的精确度。

Description

基于胶囊网络与交互注意力机制的评级预测方法及系统

技术领域

本公开属于评级预测技术领域，尤其涉及一种基于胶囊网络与交互注意力机制的评级预测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

评论文本作为推荐系统的宝贵信息来源，通常包含着具有用户偏好和物品属性的丰富语义。现有技术中，主流的推荐模型都是利用深度学习技术对评论文本进行建模，这些方法采用关联矩阵来建模用户和物品之间的相关性，进而聚合用户和物品的上下文特征形成具有一定可解释性的潜在表示。发明人发现，现有方法受限制的是关联矩阵只能从整体上构建一种粒度的用户和物品上下文特征的交互过程，而不能更细粒度的建模这种复杂性的相关性；此外，通过关联矩阵同样会得到用户和物品单一的潜在特征表示，这不足以表达评论中包含用户偏好和物品属性的丰富语义。

一般来讲，用户在进行评级时，会从多个角度或不同方面给出自己的评论意见，它可以使我们理解用户进行评级的真实想法。直觉上，用户对物品的不同方面会有不同的重视程度，这也会体现在评论中。因此，模型需要考虑不同的方面下用户和物品上下文特征之间的交互。然而，在研究多个基于方面的推荐模型时，发现方面表示之间常常会出现趋同现象。原因在于这些方面表示是在从各个方面的独有空间中学习到的，而不是原始的上下文特征空间，这导致我们无法显式地辨别各个方面之间的差异。此外，大多数模型应用注意力机制来聚合方面表示，而不考虑最终方面表示的状态。这导致上下文特征权重在学习的过程中逐渐被固定，无法进一步的突出与方面相关的信息。

发明内容

本公开为了解决上述问题，提供了一种基于胶囊网络与交互注意力机制的评级预测方法及系统，所述方案提供了一种新颖的交互注意力机制，用于获取用户和物品的上下文特征中细粒度的相关性，并采用反向动态路由策略将用户和物品的上下文特征聚合成方面特征用于评级预测，有效缓解了各个方面特征之间的趋同现象，提高了评级预测的精确度。

根据本公开实施例的第一个方面，提供了一种基于胶囊网络与交互注意力机制的评级预测方法，包括：

获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；

将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；

其中，所述评级预测模型包括依次连接的内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标。

进一步的，所述内容编码单元提取用户文档和物品文档的上下文特征的具体步骤包括：将用户文档和物品分别送入到相同的嵌入层、局部注意力层和卷积层来进行上下文编码，获得用户和物品的上下文特征。

进一步的，所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性的具体步骤包括：

通过线性的方式将用户和物品的原始上下文特征映射到若干不同头的低维特征子空间中；

通过在多个子空间中分别计算用户和物品上下文特征的注意力权值来捕获在不同粒度下用户和物品的交互；

将所有子空间学习到的用户和物品注意力上下文进行拼接，从而得到用户和物品之间细粒度的相关性信息。

进一步的，所述反向动态路由单元通过让输出的方面胶囊有选择地从用户和物品上下文特征中分别获取与自身方面相关的信息以及信息的比例，将用户和物品注意力上下文进行进一步的聚合生成方面胶囊，分别得到用户和物品的方面胶囊和方面重视程度向量。

进一步的，所述反向动态路由单元输出的方面胶囊可以表示方面特征，同时，其向量长度可以表示用户的重视程度。

进一步的，所述评级预测模块包括方面重要性计算和用户-物品对的评价推断。

进一步的，所述预测单元的具体公式如下所示:

其中，b_u，b_i，b₀分别代表用户，物品和全局的偏置，

是预测的评级得分。

根据本公开实施例的第二个方面，提供了一种基于胶囊网络与交互注意力机制的物品推荐系统，包括：

数据获取模块，被配置为获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；

评级预测模块，被配置为将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；

其中，所述评级预测模块包括：

内容编码单元，被配置为分别提取用户文档和物品文档的上下文特征；

交互注意力单元，被配置为学习用户和物品的上下文特征之间细粒度的相关性；

反向动态路由单元，被配置为分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标；

预测单元，被配置为预测用户-物品的评级结果。

根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于胶囊网络与交互注意力机制的评级预测方法。

根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于胶囊网络与交互注意力机制的评级预测方法。

与现有技术相比，本公开的有益效果是：

(1)本公开所述方案提供了一种基于方面的胶囊网络和上下文的交互注意用于评级预测。该模型通过设计的一种具有强解释性的反向动态路由来聚合用户和物品的上下文特征并生成方面特征(胶囊)。

(2)本公开所述方案提供了一种交互注意力机制，它通过分别在多个特征子空间构建用户和物品上下文特征之间的交互来使模型学习到细粒度的交互信息。

(3)本公开所述评级预测模型取得了比现有方法更好的评级预测精度，同时，利用所述评级预测模型能够学习到相对独立的方面表示和正确的用户偏好，这有助于提高推荐系统的可解释性。

本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例一中所述的基于胶囊网络与交互注意力机制的物品推荐模型结构示意图。

具体实施方式

下面结合附图与实施例对本公开做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例一：

本实施例的目的是一种基于胶囊网络与交互注意力机制的物品推荐方法。

一种基于胶囊网络与交互注意力机制的物品推荐方法，包括：

获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；

将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；

其中，所述评级预测模型包括依次连接的内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标。

以下是对本公开所述方案的详细说明：

本实施例中，将依据图1中展示的模型结构依次的对所述评级预测模型进行详细说明，所述预测模型具体包括内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标，各单元的详细说明如下所示：

(1)内容编码单元

通过拼接用户u所写的所有评论来形成用户文档D_u。物品文档D_i也以类似的方式得到。我们将用户文档D_u和物品D_i分别送入到相同的嵌入层、局部注意力层和卷积层来进行上下文编码。最终，我们得到用户和物品的上下文特征C_u和C_i。我们仅展示用户文档的处理过程，同样的过程也适用于物品文档。

1)嵌入层

令长度为L的D_u＝(w₁，w₂，...，w_L)作为用户的原始文档，w_l是第l个词的独热表示。我们首先通过一个嵌入矩阵

将w_l映射为嵌入向量。这里，

是所有文档所形成的词汇表的大小，d是词向量的维度大小。对于用户文档的嵌入矩阵可以被表示如下：

2)局部注意力层

我们应用了一个注意力滑动窗口来学习每个单词在文档中的权重，从而选择出信息量更大的词汇，这有助于提取用户偏好和物品属性。设x_l为文档中第l个中心词，k为滑动窗口的宽度。第l个词的局部注意力得分可以被表示如下：

其中，

是围绕在中心词l的词向量矩阵。σ(·)是非线性激活函数:sigmoid函数.W_l和b_l是共享的参数矩阵和偏置。根据局部注意力得分

第l个词向量可以被重新计算并表示如下：

最终，经过局部注意力得分加权的词向量矩阵可以被表示如下：

3)卷积层

对于给定的词向量矩阵

我们使用一个卷积层来捕获文档中的上下文特征。具体来讲，一个宽度为w的卷积核划过

并提取出中心词对应的局部上下文特征：

其中，*代表卷积操作。

是围绕在中心词

的词向量矩阵。δ(·)是非线性激活函数。W_c和b_c分别是卷积权重向量和偏置。由于滑动窗口中的共享权值只能捕获一种上下文特征，因此我们采用不同权值的多个卷积滤波器来捕获每个单词的上下文特征。经过多次卷积后，第l个词位置的上下文特征向量可以表示为:

其中,

是第f个卷积核产生的针对第l个词的上下文特征。对于所有词位置的用户文档的上下文特征可以被表示如下：

其中,C_u代表用户文档的上下文特征。为了减少无关噪声的影响。在执行卷积操作之前，我们没有对词向量矩阵进行补零，因此所有上下文特征的数量是L-w+1。为了方便下文的描述，我们令S＝L-w+1。

同样地，该过程也可以获得物品文档的上下文特征：

(2)交互注意力单元

受到自注意力和共同注意机制在文本分类、问答等任务上的启发，我们提出了一种交互注意力机制用于学习用户和物品的上下文特征之间细粒度的相关性。具体来讲，我们首先通过线性的方式将用户和物品的原始上下文特征映射到h个不同头的低维d_h特征子空间中。随后，所述评级预测模型通过在多个子空间中分别计算用户和物品上下文特征的注意力权值来捕获在不同粒度下用户和物品的交互。用户和物品的上下文特征C_u和C_i映射到单个特征子空间可以被计算如下：

其中，

都是参数矩阵。

和

分别是用户和物品的上下文特征的子空间表示。

在单个子空间中，所述评级预测模型将

和

分别作为源向量和目标向量来计算用户和物品的注意力权重。用户和物品注意力权重可以被展示如下：

其中，

和

分别表示第m个子空间下用户和物品的注意力权重。

是比例因子。Softmax是在行上进行标准化的函数。计算之后的子空间下用户和物品注意力上下文可以被表示如下：

之后，我们将模型在所有子空间学习到的用户(物品)注意力上下文进行拼接，从而得到用户和物品之间细粒度的相关性信息。拼接过程可以被表达如下：

总体而言，我们的工作与前人的方法有着很大的不同。因为它们的方法只注重用户和物品上下文特征的完整性，只从整体上计算两者的注意力权值，上下文特征之间的交互次数被限制为1。而我们的模型由于类似于多头的机制，能够在多个特征子空间中计算用户和物品之间的相关性。因此，它能够学习到用户和物品上下文特征之间更细粒度的交互信息。另外，由于有多个不同特征子空间，从而使交互过程更加多样化。

(3)反向动态路由单元

正如前面所提到的，我们考虑对用户和物品注意力上下文进行进一步的聚合生成方面胶囊。这些基于方面的信息有助于理解用户进行评级的真实想法。因此，它可以使我们的模型更具有可解释性。不同于最先进的特定于方面的表示学习，它会导致各个方面的趋同现象。我们提出了一种反向动态路由，通过让输出的方面胶囊有选择地从上下文特征中获取与自身方面相关的信息以及信息的比例，从而缓解方面胶囊之间的趋同现象，维持相对独立性。值得注意的是由于胶囊的特性，它不仅可以表示方面特征，同时其向量长度还可以表示用户对该方面的重视程度，这有助于进行方面重要性评估。

接下来，我们将正式详细介绍反向动态路由。需要说明的是，我们的用户和物品注意力上下文的聚合过程和相关参数的设置都是一样的。因此，我们仅展示针对用户的方面胶囊的聚合过程。

遵循于胶囊网络的定义，我们设置用户的方面胶囊个数为M，并将用户注意力上下文中的每一行称为一个上下文胶囊，共计S个。因此，用户输入的上下文胶囊集合可以被表示为

输出的是用户的M个方面胶囊集合可以被表示为

这里，u_e和v_t分别是对应集合的第e个和第t个的胶囊表示。d_c代表方面胶囊的维度大小，也是用户和物品潜在维度大小。

我们开发从上下文胶囊u_e到方面胶囊v_t生成预测向量

的转换矩阵。转换矩阵在各上下文级胶囊中共享权重

在形式上，每个对应的投票可以通过以下方式计算:

对于一个输出的方面胶囊v_t，它是通过将所有预测向量

的加权和输入到squash函数得到的：

其中，c_et是耦合系数由迭代反向动态路由过程确定。v′_t是所有预测向量

的加权和。

反向动态路由将每个方面胶囊作为查询向量，为每个上下文胶囊分配比例权重，然后按比例从上下文胶囊获取信息。其优化过程则通过迭代的更新耦合系数c_et来实现，耦合系数是在列上对对数概率b_et进行标准化得到的：

其中，b_et是对数概率，在迭代开始之前被初始化为0。

当所有方面胶囊都被计算一次时，模型将更新它们的状态，并根据更新的对数概率重新计算耦合系数。对数概率b_et更新如下：

最终，通过反向动态路由分别得到的用户的M个方面胶囊和方面重视程度可以被表达如下：

类似地，我们也可以得到物品的M个方面胶囊和方面重视程度。

(4)预测单元

现在我们来描述用户-物品评级预测过程。由于胶囊的特性，我们可以通过将方面的重视程度A_u和A_i输入进行标准化的softmax函数中，从而轻易的得到方面重要性a_u和a_i。它们都被计算如下：

其中，a_t是用户或物品的第t个方面胶囊。

结合用户和物品的方面胶囊表示V_u，V_i和方面重要性a_u和a_i,任意的用户-物品对的总体评价可以推断如下:

其中，b_u,b_i,b₀分别代表用户，物品和全局的偏置，

是预测的评级得分。

进一步的，根据所述用户-物品对的评级预测得分可以实现对不同用户的物品推荐，尽可能的推荐给用户符合其需求、高品质的物品。

实施例二：

本实施例的目的是一种基于胶囊网络与交互注意力机制的物品推荐系统。

一种基于胶囊网络与交互注意力机制的物品推荐系统，包括：

数据获取模块，被配置为获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；

评级预测模块，被配置为将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；

其中，所述评级预测模块包括：

内容编码单元，被配置为分别提取用户文档和物品文档的上下文特征；

交互注意力单元，被配置为学习用户和物品的上下文特征之间细粒度的相关性；

反向动态路由单元，被配置为分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标；

预测单元，被配置为预测用户-物品的评级结果。

实施例三：

本实施例的目的是提供一种电子设备。

一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于胶囊网络与交互注意力机制的评级预测方法，包括：

获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；

将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；

其中，所述评级预测模型包括依次连接的内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标。

实施例四：

本实施例的目的是提供一种非暂态计算机可读存储介质。

一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于胶囊网络与交互注意力机制的评级预测方法，包括：

获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；

将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；

其中，所述评级预测模型包括依次连接的内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标。

上述实施例提供的一种基于胶囊网络与交互注意力机制的评级预测方法及系统可以实现，具有广阔的应用前景。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (8)

1.一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，包括：

获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；

将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；

其中，所述评级预测模型包括依次连接的内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标；

所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性的具体步骤包括：

通过线性的方式将用户和物品的原始上下文特征映射到若干不同头的低维特征子空间中；

通过在多个子空间中分别计算用户和物品上下文特征的注意力权值来捕获在不同粒度下用户和物品的交互；

将所有子空间学习到的用户和物品注意力上下文进行拼接，从而得到用户和物品之间细粒度的相关性信息；

所述反向动态路由单元通过让输出的方面胶囊有选择地从用户和物品上下文特征中分别获取与自身方面相关的信息以及信息的比例，将用户和物品注意力上下文进行进一步的聚合生成方面胶囊，分别得到用户和物品的方面胶囊和方面重视程度向量。

2.如权利要求1所述的一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，所述内容编码单元提取用户文档和物品文档的上下文特征的具体步骤包括：将用户文档和物品分别送入到相同的嵌入层、局部注意力层和卷积层来进行上下文编码，获得用户和物品的上下文特征。

3.如权利要求1所述的一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，所述反向动态路由单元输出的方面胶囊可以表示方面特征，同时，其向量长度可以表示用户的重视程度。

4.如权利要求1所述的一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，所述评级预测模块包括方面重要性计算和用户-物品对的评价推断。

5.如权利要求1所述的一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，所述预测单元的具体公式如下所示:

其中，b_u，b_i，b₀分别代表用户，物品和全局的偏置，

是预测的评级得分；参数M表示方面胶囊的数量，t表示第t个的胶囊表示，β_u,a和β_i,a表示用户和物品的方面胶囊表示V_u和V_i，p_u,a和q_i,a表示方面重要性a_u和a_i。

6.一种基于胶囊网络与交互注意力机制的物品推荐系统，其特征在于，包括：

数据获取模块，被配置为获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；

评级预测模块，被配置为将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；

其中，所述评级预测模块包括：

内容编码单元，被配置为分别提取用户文档和物品文档的上下文特征；

交互注意力单元，被配置为学习用户和物品的上下文特征之间细粒度的相关性；所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性的具体步骤包括：

通过线性的方式将用户和物品的原始上下文特征映射到若干不同头的低维特征子空间中；

通过在多个子空间中分别计算用户和物品上下文特征的注意力权值来捕获在不同粒度下用户和物品的交互；

将所有子空间学习到的用户和物品注意力上下文进行拼接，从而得到用户和物品之间细粒度的相关性信息；

反向动态路由单元，被配置为分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标；所述反向动态路由单元通过让输出的方面胶囊有选择地从用户和物品上下文特征中分别获取与自身方面相关的信息以及信息的比例，将用户和物品注意力上下文进行进一步的聚合生成方面胶囊，分别得到用户和物品的方面胶囊和方面重视程度向量；

预测单元，被配置为预测用户-物品的评级结果。

7.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述的一种基于胶囊网络与交互注意力机制的评级预测方法。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1所述的一种基于胶囊网络与交互注意力机制的评级预测方法。

Images