CN112699215A - 基于胶囊网络与交互注意力机制的评级预测方法及系统 - Google Patents

基于胶囊网络与交互注意力机制的评级预测方法及系统 Download PDF

Info

Publication number
CN112699215A
CN112699215A CN202011552081.8A CN202011552081A CN112699215A CN 112699215 A CN112699215 A CN 112699215A CN 202011552081 A CN202011552081 A CN 202011552081A CN 112699215 A CN112699215 A CN 112699215A
Authority
CN
China
Prior art keywords
user
article
document
item
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011552081.8A
Other languages
English (en)
Other versions
CN112699215B (zh
Inventor
杨振宇
刘国敬
王皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202011552081.8A priority Critical patent/CN112699215B/zh
Publication of CN112699215A publication Critical patent/CN112699215A/zh
Application granted granted Critical
Publication of CN112699215B publication Critical patent/CN112699215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种基于胶囊网络与交互注意力机制的评级预测方法及系统，所述方案通过设计的一种具有强解释性的反向动态路由来聚合用户和物品的上下文特征并生成方面特征；同时，提出一种交互注意力机制，通过所述交互注意力机制分别在多个特征子空间构建用户和物品上下文特征之间的交互来使模型学习到细粒度的交互信息，有效缓解了各个方面特征之间的趋同现象，提高了评级预测的精确度。

Description

基于胶囊网络与交互注意力机制的评级预测方法及系统
技术领域
本公开属于评级预测技术领域，尤其涉及一种基于胶囊网络与交互注意力机制的评级预测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
评论文本作为推荐系统的宝贵信息来源，通常包含着具有用户偏好和物品属性的丰富语义。现有技术中，主流的推荐模型都是利用深度学习技术对评论文本进行建模，这些方法采用关联矩阵来建模用户和物品之间的相关性，进而聚合用户和物品的上下文特征形成具有一定可解释性的潜在表示。发明人发现，现有方法受限制的是关联矩阵只能从整体上构建一种粒度的用户和物品上下文特征的交互过程，而不能更细粒度的建模这种复杂性的相关性；此外，通过关联矩阵同样会得到用户和物品单一的潜在特征表示，这不足以表达评论中包含用户偏好和物品属性的丰富语义。
一般来讲，用户在进行评级时，会从多个角度或不同方面给出自己的评论意见，它可以使我们理解用户进行评级的真实想法。直觉上，用户对物品的不同方面会有不同的重视程度，这也会体现在评论中。因此，模型需要考虑不同的方面下用户和物品上下文特征之间的交互。然而，在研究多个基于方面的推荐模型时，发现方面表示之间常常会出现趋同现象。原因在于这些方面表示是在从各个方面的独有空间中学习到的，而不是原始的上下文特征空间，这导致我们无法显式地辨别各个方面之间的差异。此外，大多数模型应用注意力机制来聚合方面表示，而不考虑最终方面表示的状态。这导致上下文特征权重在学习的过程中逐渐被固定，无法进一步的突出与方面相关的信息。
发明内容
本公开为了解决上述问题，提供了一种基于胶囊网络与交互注意力机制的评级预测方法及系统，所述方案提供了一种新颖的交互注意力机制，用于获取用户和物品的上下文特征中细粒度的相关性，并采用反向动态路由策略将用户和物品的上下文特征聚合成方面特征用于评级预测，有效缓解了各个方面特征之间的趋同现象，提高了评级预测的精确度。
根据本公开实施例的第一个方面，提供了一种基于胶囊网络与交互注意力机制的评级预测方法，包括：
获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；
将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；
其中，所述评级预测模型包括依次连接的内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标。
进一步的，所述内容编码单元提取用户文档和物品文档的上下文特征的具体步骤包括：将用户文档和物品分别送入到相同的嵌入层、局部注意力层和卷积层来进行上下文编码，获得用户和物品的上下文特征。
进一步的，所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性的具体步骤包括：
通过线性的方式将用户和物品的原始上下文特征映射到若干不同头的低维特征子空间中；
通过在多个子空间中分别计算用户和物品上下文特征的注意力权值来捕获在不同粒度下用户和物品的交互；
将所有子空间学习到的用户和物品注意力上下文进行拼接，从而得到用户和物品之间细粒度的相关性信息。
进一步的，所述反向动态路由单元通过让输出的方面胶囊有选择地从用户和物品上下文特征中分别获取与自身方面相关的信息以及信息的比例，将用户和物品注意力上下文进行进一步的聚合生成方面胶囊，分别得到用户和物品的方面胶囊和方面重视程度向量。
进一步的，所述反向动态路由单元输出的方面胶囊可以表示方面特征，同时，其向量长度可以表示用户对该方面的重视程度。
进一步的，所述预测层包括方面重要性计算和用户-物品对的评价推断。
进一步的，所述评价推断的具体公式如下所示:
Figure BDA0002857355430000031
其中，bu，bi，b0分别代表用户，物品和全局的偏置，
Figure BDA0002857355430000032
是预测的评级得分。
根据本公开实施例的第二个方面，提供了一种基于胶囊网络与交互注意力机制的物品推荐系统，包括：
数据获取模块，被配置为获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；
评级预测模块，被配置为将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；
其中，所述评级预测模块包括：
内容编码单元，被配置为分别提取用户文档和物品文档的上下文特征；
交互注意力单元，被配置为学习用户和物品的上下文特征之间细粒度的相关性；
反向动态路由单元，被配置为分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标；
预测单元，被配置为预测用户-物品的评级结果。
根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于胶囊网络与交互注意力机制的评级预测方法。
根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于胶囊网络与交互注意力机制的评级预测方法。
与现有技术相比，本公开的有益效果是：
(1)本公开所述方案提供了一种基于方面的胶囊网络和上下文的交互注意用于评级预测。该模型通过设计的一种具有强解释性的反向动态路由来聚合用户和物品的上下文特征并生成方面特征(胶囊)。
(2)本公开所述方案提供了一种交互注意力机制，它通过分别在多个特征子空间构建用户和物品上下文特征之间的交互来使模型学习到细粒度的交互信息。
(3)本公开所述评级预测模型取得了比现有方法更好的评级预测精度，同时，利用所述评级预测模型能够学习到相对独立的方面表示和正确的用户偏好，这有助于提高推荐系统的可解释性。
本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例一中所述的基于胶囊网络与交互注意力机制的物品推荐模型结构示意图。
具体实施方式
下面结合附图与实施例对本公开做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。实施例一：
本实施例的目的是一种基于胶囊网络与交互注意力机制的物品推荐方法。
一种基于胶囊网络与交互注意力机制的物品推荐方法，包括：
获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；
将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；
其中，所述评级预测模型包括依次连接的内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标。
以下是对本公开所述方案的详细说明：
本实施例中，将依据图1中展示的模型结构依次的对所述评级预测模型进行详细说明，所述预测模型具体包括内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标，各单元的详细说明如下所示：
(1)内容编码单元
通过拼接用户u所写的所有评论来形成用户文档Du。物品文档Di也以类似的方式得到。我们将用户文档Du和物品Di分别送入到相同的嵌入层、局部注意力层和卷积层来进行上下文编码。最终，我们得到用户和物品的上下文特征Cu和Ci。我们仅展示用户文档的处理过程，同样的过程也适用于物品文档。
1)嵌入层
令长度为L的Du＝(w1，w2，...，wL)作为用户的原始文档，wl是第l个词的独热表示。我们首先通过一个嵌入矩阵
Figure BDA0002857355430000061
将wl映射为嵌入向量。这里，
Figure BDA0002857355430000069
是所有文档所形成的词汇表的大小，d是词向量的维度大小。对于用户文档的嵌入矩阵可以被表示如下：
Du＝[x1，x2，...，xL]，
Figure BDA0002857355430000062
2)局部注意力层
我们应用了一个注意力滑动窗口来学习每个单词在文档中的权重，从而选择出信息量更大的词汇，这有助于提取用户偏好和物品属性。设xl为文档中第l个中心词，k为滑动窗口的宽度。第l个词的局部注意力得分可以被表示如下：
Figure BDA0002857355430000063
其中，
Figure BDA0002857355430000064
是围绕在中心词l的词向量矩阵。σ(·)是非线性激活函数:sigmoid函数.Wl和bl是共享的参数矩阵和偏置。根据局部注意力得分
Figure BDA0002857355430000065
第l个词向量可以被重新计算并表示如下：
Figure BDA0002857355430000066
最终，经过局部注意力得分加权的词向量矩阵可以被表示如下：
Figure BDA0002857355430000067
3)卷积层
对于给定的词向量矩阵
Figure BDA0002857355430000068
我们使用一个卷积层来捕获文档中的上下文特征。具体来讲，一个宽度为w的卷积核划过
Figure BDA0002857355430000071
并提取出中心词对应的局部上下文特征：
Figure BDA0002857355430000072
其中，*代表卷积操作。
Figure BDA0002857355430000073
是围绕在中心词
Figure BDA0002857355430000074
的词向量矩阵。δ(·)是非线性激活函数。Wc和bc分别是卷积权重向量和偏置。由于滑动窗口中的共享权值只能捕获一种上下文特征，因此我们采用不同权值的多个卷积滤波器来捕获每个单词的上下文特征。经过多次卷积后，第l个词位置的上下文特征向量可以表示为:
Figure BDA0002857355430000075
其中,
Figure BDA0002857355430000076
是第f个卷积核产生的针对第l个词的上下文特征。对于所有词位置的用户文档的上下文特征可以被表示如下：
Cu＝[c1，c2，...，cL-w+1]，
Figure BDA0002857355430000077
其中,Cu代表用户文档的上下文特征。为了减少无关噪声的影响。在执行卷积操作之前，我们没有对词向量矩阵进行补零，因此所有上下文特征的数量是L-w+1。为了方便下文的描述，我们令S＝L-w+1。
同样地，该过程也可以获得物品文档的上下文特征：
Ci＝[c1，c2，...，cS],
Figure BDA0002857355430000078
(2)交互注意力单元
受到自注意力和共同注意机制在文本分类、问答等任务上的启发，我们提出了一种交互注意力机制用于学习用户和物品的上下文特征之间细粒度的相关性。具体来讲，我们首先通过线性的方式将用户和物品的原始上下文特征映射到h个不同头的低维dh特征子空间中。随后，所述评级预测模型通过在多个子空间中分别计算用户和物品上下文特征的注意力权值来捕获在不同粒度下用户和物品的交互。用户和物品的上下文特征Cu和Ci映射到单个特征子空间可以被计算如下：
Figure BDA0002857355430000081
Figure BDA0002857355430000082
其中，Wu，
Figure BDA0002857355430000083
都是参数矩阵。
Figure BDA0002857355430000084
和
Figure BDA0002857355430000085
分别是用户和物品的上下文特征的子空间表示。
在单个子空间中，所述评级预测模型将
Figure BDA0002857355430000086
和
Figure BDA0002857355430000087
分别作为源向量和目标向量来计算用户和物品的注意力权重。用户和物品注意力权重可以被展示如下：
Figure BDA0002857355430000088
其中，
Figure BDA0002857355430000089
和
Figure BDA00028573554300000810
分别表示第m个子空间下用户和物品的注意力权重。
Figure BDA00028573554300000811
是比例因子。Softmax是在行上进行标准化的函数。计算之后的子空间下用户和物品注意力上下文可以被表示如下：
Figure BDA00028573554300000812
之后，我们将模型在所有子空间学习到的用户(物品)注意力上下文进行拼接，从而得到用户和物品之间细粒度的相关性信息。拼接过程可以被表达如下：
Figure BDA00028573554300000813
Figure BDA00028573554300000814
总体而言，我们的工作与前人的方法有着很大的不同。因为它们的方法只注重用户和物品上下文特征的完整性，只从整体上计算两者的注意力权值，上下文特征之间的交互次数被限制为1。而我们的模型由于类似于多头的机制，能够在多个特征子空间中计算用户和物品之间的相关性。因此，它能够学习到用户和物品上下文特征之间更细粒度的交互信息。另外，由于有多个不同特征子空间，从而使交互过程更加多样化。
(3)反向动态路由单元
正如前面所提到的，我们考虑对用户和物品注意力上下文进行进一步的聚合生成方面胶囊。这些基于方面的信息有助于理解用户进行评级的真实想法。因此，它可以使我们的模型更具有可解释性。不同于最先进的特定于方面的表示学习，它会导致各个方面的趋同现象。我们提出了一种反向动态路由，通过让输出的方面胶囊有选择地从上下文特征中获取与自身方面相关的信息以及信息的比例，从而缓解方面胶囊之间的趋同现象，维持相对独立性。值得注意的是由于胶囊的特性，它不仅可以表示方面特征，同时其向量长度还可以表示用户对该方面的重视程度，这有助于进行方面重要性评估。
接下来，我们将正式详细介绍反向动态路由。需要说明的是，我们的用户和物品注意力上下文的聚合过程和相关参数的设置都是一样的。因此，我们仅展示针对用户的方面胶囊的聚合过程。
遵循于胶囊网络的定义，我们设置用户的方面胶囊个数为M，并将用户注意力上下文中的每一行称为一个上下文胶囊，共计S个。因此，用户输入的上下文胶囊集合可以被表示为
Figure BDA0002857355430000091
输出的是用户的M个方面胶囊集合可以被表示为
Figure BDA0002857355430000092
这里，ue和υt分别是对应集合的第e个和第t个的胶囊表示。dc代表方面胶囊的维度大小，也是用户和物品潜在维度大小。
我们开发从上下文胶囊ue到方面胶囊vt生成预测向量
Figure BDA0002857355430000093
的转换矩阵。转换矩阵在各上下文级胶囊中共享权重
Figure BDA0002857355430000094
在形式上，每个对应的投票可以通过以下方式计算:
Figure BDA0002857355430000095
对于一个输出的方面胶囊υt，它是通过将所有预测向量
Figure BDA0002857355430000096
的加权和输入到squash函数得到的：
Figure BDA0002857355430000097
Figure BDA0002857355430000101
其中，cet是耦合系数由迭代反向动态路由过程确定。υ′t是所有预测向量
Figure BDA0002857355430000102
的加权和。
反向动态路由将每个方面胶囊作为查询向量，为每个上下文胶囊分配比例权重，然后按比例从上下文胶囊获取信息。其优化过程则通过迭代的更新耦合系数cet来实现，耦合系数是在列上对对数概率bet进行标准化得到的：
Figure BDA0002857355430000103
其中，bet是对数概率，在迭代开始之前被初始化为0。
当所有方面胶囊都被计算一次时，模型将更新它们的状态，并根据更新的对数概率重新计算耦合系数。对数概率bet更新如下：
Figure BDA0002857355430000104
最终，通过反向动态路由分别得到的用户的M个方面胶囊和方面重视程度可以被表达如下：
Figure BDA0002857355430000105
类似地，我们也可以得到物品的M个方面胶囊和方面重视程度。
Figure BDA0002857355430000106
(4)预测单元
现在我们来描述用户-物品评级预测过程。由于胶囊的特性，我们可以通过将方面的重视程度Au和Ai输入进行标准化的softmax函数中，从而轻易的得到方面重要性au和ai。它们都被计算如下：
Figure BDA0002857355430000107
其中，at是用户或物品的第t个方面胶囊。
结合用户和物品的方面胶囊表示Vu，Vi和方面重要性au和ai,任意的用户-物品对的总体评价可以推断如下:
Figure BDA0002857355430000111
其中，bu,bi,b0分别代表用户，物品和全局的偏置，
Figure BDA0002857355430000112
是预测的评级得分。
进一步的，根据所述用户-物品对的评级预测得分可以实现对不同用户的物品推荐，尽可能的推荐给用户符合其需求、高品质的物品。
实施例二：
本实施例的目的是一种基于胶囊网络与交互注意力机制的物品推荐系统。
一种基于胶囊网络与交互注意力机制的物品推荐系统，包括：
数据获取模块，被配置为获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；
评级预测模块，被配置为将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；
其中，所述评级预测模块包括：
内容编码单元，被配置为分别提取用户文档和物品文档的上下文特征；
交互注意力单元，被配置为学习用户和物品的上下文特征之间细粒度的相关性；
反向动态路由单元，被配置为分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标；
预测单元，被配置为预测用户-物品的评级结果。
实施例三：
本实施例的目的是提供一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于胶囊网络与交互注意力机制的评级预测方法，包括：
获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；
将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；
其中，所述评级预测模型包括依次连接的内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标。
实施例四：
本实施例的目的是提供一种非暂态计算机可读存储介质。
一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于胶囊网络与交互注意力机制的评级预测方法，包括：
获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；
将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；
其中，所述评级预测模型包括依次连接的内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标。
上述实施例提供的一种基于胶囊网络与交互注意力机制的评级预测方法及系统可以实现，具有广阔的应用前景。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，包括：
获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；
将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；
其中，所述评级预测模型包括依次连接的内容编码单元、交互注意力单元、反向动态路由单元以及预测单元，所述内容编码单元分别提取用户文档和物品文档的上下文特征；通过所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性；通过所述反向动态路由单元分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标。
2.如权利要求1所述的一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，所述内容编码单元提取用户文档和物品文档的上下文特征的具体步骤包括：将用户文档和物品分别送入到相同的嵌入层、局部注意力层和卷积层来进行上下文编码，获得用户和物品的上下文特征。
3.如权利要求1所述的一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，所述交互注意力单元学习用户和物品的上下文特征之间细粒度的相关性的具体步骤包括：
通过线性的方式将用户和物品的原始上下文特征映射到若干不同头的低维特征子空间中；
通过在多个子空间中分别计算用户和物品上下文特征的注意力权值来捕获在不同粒度下用户和物品的交互；
将所有子空间学习到的用户和物品注意力上下文进行拼接，从而得到用户和物品之间细粒度的相关性信息。
4.如权利要求1所述的一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，所述反向动态路由单元通过让输出的方面胶囊有选择地从用户和物品上下文特征中分别获取与自身方面相关的信息以及信息的比例，将用户和物品注意力上下文进行进一步的聚合生成方面胶囊，分别得到用户和物品的方面胶囊和方面重视程度向量。
5.如权利要求1所述的一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，所述反向动态路由单元输出的方面胶囊可以表示方面特征，同时，其向量长度可以表示用户对该方面的重视程度。
6.如权利要求1所述的一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，所述预测层包括方面重要性计算和用户-物品对的评价推断。
7.如权利要求1所述的一种基于胶囊网络与交互注意力机制的物品推荐方法，其特征在于，所述评价推断的具体公式如下所示:
Figure FDA0002857355420000021
其中，bu，bi，b0分别代表用户，物品和全局的偏置，
Figure FDA0002857355420000022
是预测的评级得分。
8.一种基于胶囊网络与交互注意力机制的物品推荐系统，其特征在于，包括：
数据获取模块，被配置为获取用户评论数据和物品评论数据，分别构建用户文档和物品文档；
评级预测模块，被配置为将所述用户文档和物品文档输入预训练的评级预测模型，获得用户-物品的评级预测结果；
其中，所述评级预测模块包括：
内容编码单元，被配置为分别提取用户文档和物品文档的上下文特征；
交互注意力单元，被配置为学习用户和物品的上下文特征之间细粒度的相关性；
反向动态路由单元，被配置为分别对用户和物品的上下文特征进行聚合，获得用户及物品的方面胶囊表示与方面重要性指标；
预测单元，被配置为预测用户-物品的评级结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种基于胶囊网络与交互注意力机制的评级预测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种基于胶囊网络与交互注意力机制的评级预测方法。
CN202011552081.8A 2020-12-24 2020-12-24 基于胶囊网络与交互注意力机制的评级预测方法及系统 Active CN112699215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011552081.8A CN112699215B (zh) 2020-12-24 2020-12-24 基于胶囊网络与交互注意力机制的评级预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011552081.8A CN112699215B (zh) 2020-12-24 2020-12-24 基于胶囊网络与交互注意力机制的评级预测方法及系统

Publications (2)

Publication Number Publication Date
CN112699215A true CN112699215A (zh) 2021-04-23
CN112699215B CN112699215B (zh) 2022-07-05

Family

ID=75509940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011552081.8A Active CN112699215B (zh) 2020-12-24 2020-12-24 基于胶囊网络与交互注意力机制的评级预测方法及系统

Country Status (1)

Country Link
CN (1) CN112699215B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127604A (zh) * 2021-05-10 2021-07-16 齐鲁工业大学 基于评论文本的细粒度物品推荐方法及系统
CN113449819A (zh) * 2021-08-27 2021-09-28 中国测绘科学研究院 一种基于胶囊网络的信用评估模型方法及其存储介质
CN113486240A (zh) * 2021-07-08 2021-10-08 上海海事大学 一种基于swpem路由算法的职位推荐方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190370972A1 (en) * 2018-06-04 2019-12-05 University Of Central Florida Research Foundation, Inc. Capsules for image analysis
CN110765260A (zh) * 2019-10-18 2020-02-07 北京工业大学 一种基于卷积神经网络与联合注意力机制的信息推荐方法
CN110990523A (zh) * 2018-09-30 2020-04-10 北京国双科技有限公司 一种法律文书的确定方法及系统
CN111897957A (zh) * 2020-07-15 2020-11-06 四川大学 融入多尺度特征注意力的胶囊神经网络及文本分类方法
CN111950649A (zh) * 2020-08-20 2020-11-17 桂林电子科技大学 基于注意力机制与胶囊网络的低照度图像分类方法
CN112035748A (zh) * 2020-09-04 2020-12-04 腾讯科技（深圳）有限公司 信息推荐方法、装置、电子设备及存储介质
CN112069804A (zh) * 2020-09-08 2020-12-11 天津大学 基于动态路由的交互式胶囊网络的隐式篇章关系识别方法
CN112100485A (zh) * 2020-08-20 2020-12-18 齐鲁工业大学 一种基于评论的评分预测物品推荐方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190370972A1 (en) * 2018-06-04 2019-12-05 University Of Central Florida Research Foundation, Inc. Capsules for image analysis
CN110990523A (zh) * 2018-09-30 2020-04-10 北京国双科技有限公司 一种法律文书的确定方法及系统
CN110765260A (zh) * 2019-10-18 2020-02-07 北京工业大学 一种基于卷积神经网络与联合注意力机制的信息推荐方法
CN111897957A (zh) * 2020-07-15 2020-11-06 四川大学 融入多尺度特征注意力的胶囊神经网络及文本分类方法
CN111950649A (zh) * 2020-08-20 2020-11-17 桂林电子科技大学 基于注意力机制与胶囊网络的低照度图像分类方法
CN112100485A (zh) * 2020-08-20 2020-12-18 齐鲁工业大学 一种基于评论的评分预测物品推荐方法及系统
CN112035748A (zh) * 2020-09-04 2020-12-04 腾讯科技（深圳）有限公司 信息推荐方法、装置、电子设备及存储介质
CN112069804A (zh) * 2020-09-08 2020-12-11 天津大学 基于动态路由的交互式胶囊网络的隐式篇章关系识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHENLIANG LI: "A Capsule Network for Recommendation and Explaining What You Like and Dislike", 《ACM》, 1 June 2019 (2019-06-01) *
ZHAO BO: "Diversified Visual Attention Networks for Fine-Grained Object Classification", 《IEEE》, 6 July 2017 (2017-07-06) *
ZHENYU YANG: "TextOG: A Recommendation Model for Rating Prediction Based on Heterogeneous Fusion of Review Data", 《IEEE》, 1 September 2020 (2020-09-01) *
石磊: "自然语言处理中的注意力机制研究综述", 《数据分析与知识发现》, 30 April 2020 (2020-04-30) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127604A (zh) * 2021-05-10 2021-07-16 齐鲁工业大学 基于评论文本的细粒度物品推荐方法及系统
CN113486240A (zh) * 2021-07-08 2021-10-08 上海海事大学 一种基于swpem路由算法的职位推荐方法
CN113486240B (zh) * 2021-07-08 2024-02-02 上海海事大学 一种基于swpem路由算法的职位推荐方法
CN113449819A (zh) * 2021-08-27 2021-09-28 中国测绘科学研究院 一种基于胶囊网络的信用评估模型方法及其存储介质

Also Published As

Publication number Publication date
CN112699215B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN112699215B (zh) 基于胶囊网络与交互注意力机制的评级预测方法及系统
CN112329474B (zh) 融合注意力的方面级用户评论文本情感分析方法及系统
WO2021027256A1 (zh) 处理交互序列数据的方法及装置
CN110807154A (zh) 一种基于混合深度学习模型的推荐方法与系统
CN112633010A (zh) 基于多头注意力和图卷积网络的方面级情感分析方法及系统
CN109376222A (zh) 问答匹配度计算方法、问答自动匹配方法及装置
JP2021193595A (ja) 会話推薦方法、装置及び機器
CN112308650A (zh) 推荐理由生成方法、装置、设备及存储介质
WO2022218139A1 (zh) 融合注意力机制的个性化搜索方法和搜索系统
CN115455171B (zh) 文本视频的互检索以及模型训练方法、装置、设备及介质
KR102697095B1 (ko) Qa 모델을 이용하여 지식 그래프를 구축하는 방법, 장치 및 컴퓨터 프로그램
CN118246537B (zh) 基于大模型的问答方法、装置、设备及存储介质
US20230368003A1 (en) Adaptive sparse attention pattern
CN115630145A (zh) 一种基于多粒度情感的对话推荐方法及系统
CN114492451B (zh) 文本匹配方法、装置、电子设备及计算机可读存储介质
CN114861671A (zh) 模型训练方法、装置、计算机设备及存储介质
CN112925983A (zh) 一种电网资讯信息的推荐方法及系统
WO2021027257A1 (zh) 计算机执行的、利用神经网络进行语言处理的方法及装置
CN116910190A (zh) 多任务感知模型获取方法、装置、设备及可读存储介质
CN113779244B (zh) 文档情感分类方法、装置、存储介质以及电子设备
CN116150462A (zh) 针对目标对象的向量构建方法、装置和计算机设备
CN118333132B (zh) 情感识别模型训练方法、情感识别方法及相关设备
CN117874351B (zh) 一种基于情境感知的战场态势信息个性化推荐方法及系统
CN108038080A (zh) 一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法
CN114328797B (zh) 内容搜索方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501

Patentee after: Qilu University of Technology (Shandong Academy of Sciences)

Country or region after: China

Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501

Patentee before: Qilu University of Technology

Country or region before: China