CN112328893B - 一种基于记忆网络和协同注意力的推荐方法 - Google Patents

一种基于记忆网络和协同注意力的推荐方法 Download PDF

Info

Publication number
CN112328893B
CN112328893B CN202011338728.7A CN202011338728A CN112328893B CN 112328893 B CN112328893 B CN 112328893B CN 202011338728 A CN202011338728 A CN 202011338728A CN 112328893 B CN112328893 B CN 112328893B
Authority
CN
China
Prior art keywords
user
attention
recommendation
item
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011338728.7A
Other languages
English (en)
Other versions
CN112328893A (zh
Inventor
张宜浩
袁孟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Juhui Network Technology Co ltd
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202011338728.7A priority Critical patent/CN112328893B/zh
Publication of CN112328893A publication Critical patent/CN112328893A/zh
Application granted granted Critical
Publication of CN112328893B publication Critical patent/CN112328893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于记忆网络和协同注意力的推荐方法，注意力学习模块根据输入的用户‑物品交互数据以及用户不喜欢的物品序列集来训练模型，并向推荐模块提供用户注意力向量和物品注意力向量；推荐模块将用户注意力向量、物品注意力向量、用户ID及物品ID的独热编码序列同时输入协同推荐模型进行深度融合，推荐预测模块根据候选推荐物品生成推荐列表。本发明公开了一种协同注意力机制，该机制利用记忆网络从用户‑物品交互序列中学习用户和物品的注意力向量，来度量不同用户和物品的相对重要性，并帮助推荐模型更好地记忆输入。并且，本发明通过融合用户和物品的注意力向量，为更深层次的推荐体系结构提供了支持性证据，进而提升推荐性能。

Description

一种基于记忆网络和协同注意力的推荐方法
技术领域
本发明涉及推荐技术领域，具体涉及一种基于记忆网络和协同注意力的推荐方法。
背景技术
推荐系统在我们的生活中已经占据越来越多的地位，从电子商务到在线广告，这些系统利用用户历史评分或辅助信息向用户推荐商品。通常，推荐系统是旨在向用户提供相关物品建议的算法，该算法试图预测用户将给予物品的“评分”或“偏好”。在大多数情况下，推荐模型的有效性受到现有用户-物品交互行为和推荐模型的制约。
当前，基于深度学习的推荐方法占据了推荐系统研究的主导地位，这些推荐技术极大地改变了推荐体系结构且显著提高推荐系统的性能。通常认为，使用随机梯度下降法来优化可区分目标函数的任何推荐体系结构都是深度学习技术。当前，主要利用神经网络来学习用户物品的关联，从而进行协同过滤推荐，它可以同时学习用户对物品的显式反馈和隐式反馈。此外，利用神经网络的非线性结构对矩阵进行因式分解，可解决基于隐式反馈的协同过滤的关键问题。总之，深度学习方法可以有效地捕获非线性和重要的用户-物品关系，并且可以在推荐模型中执行复杂的非线性转换，而这些转换要优于传统的线性模型。
本发明在现有的深度学习的推荐方法的基础上，公开了一种协同注意力机制，该机制可以利用记忆网络从用户-物品交互序列中学习注意力向量表示，从目标序列中了解不同用户和物品的相对重要性，从而提供更好的解决方案，并帮助网络模型更好地记忆输入。并且，本发明通过融合用户和物品的注意力权重，精心设计了联合的神经协同注意力推荐算法。利用从记忆网络学习到的注意力权重，为更深层次的推荐体系结构提供了支持性证据，产生更好的推荐性能。
发明内容
本发明在现有的深度学习的推荐方法的基础上，公开了一种协同注意力机制，该机制可以利用记忆网络从用户-物品交互序列中学习注意力向量表示，从目标序列中了解不同用户和物品的相对重要性，从而提供更好的解决方案，并帮助网络模型更好地记忆输入。并且，本发明通过融合用户和物品的注意力表示，精心设计了联合的神经协同注意力推荐算法。利用从记忆网络学习到的注意力权重，为更深层次的推荐体系结构提供了支持性证据，产生更好的推荐性能。
为解决上述技术问题，本发明采用了如下的技术方案：
一种基于记忆网络和协同注意力的推荐方法，包括如下步骤：
S1、预处理模块获取用户评分矩阵信息，对用户评分矩阵进行预处理，得到用户-物品交互数据以及用户不喜欢的物品序列集，将用户-物品交互数据以及用户不喜欢的物品序列集输入注意力学习模块；
S2、注意力学习模块利用输入的用户-物品交互数据以及用户不喜欢的物品序列集训练注意力学习模型，输出用户注意力向量和物品注意力向量；
S3、推荐模块将用户注意力向量、物品注意力向量、用户ID及物品ID的独热编码进行深度融合，构建协同推荐模型；
S4、推荐预测模块根据协同推荐模型给出的每个候选推荐物品的推荐概率生成推荐列表。
优选地，注意力学习模块包括用户内存插槽、交互物品内存插槽及未交互物品内存插槽，用户内存插槽存储用户信息，所述用户信息以嵌入方式进行存储；交互物品内存插槽以嵌入方式存储与用户交互过的物品；未交互物品内存插槽以嵌入方式存储与用户没有交互的物品；将用户内存插槽、交互物品内存插槽和未交互物品内存插槽进行融合，构建注意力学习模型。
优选地，注意力学习模型的损失函数如下：
Figure GDA0003682154990000021
Figure GDA0003682154990000022
Figure GDA0003682154990000023
式中，σ(x)为逻辑Sigmoid型函数，x为函数的输入，up表示用户，
Figure GDA0003682154990000024
表示与用户有交互的物品，
Figure GDA0003682154990000025
表示与用户没有交互的物品集合。
优选地，用户-物品交互数据包括用户嵌入表示Eou和物品嵌入表示Eoi；在推荐模块中，用户嵌入表示Eou和物品嵌入表示Eoi进行点乘运算，将其结果作为下一网络层的输入；用户嵌入表示Eou与用户注意力向量一起输入user_attention网络模块，物品嵌入表示Eoi与物品注意力向量一起输入item_attention网络模块，经user_attention网络模块和item_attention网络模块进行运算后，将其输出结果分别作为两个Dense Layers的输入；将两个网络层的输出进行逐元素乘积运算，然后输入推荐预测模块，进而生成推荐列表。
优选地，推荐预测模块的损失函数如下：
Figure GDA0003682154990000031
式中，第一项
Figure GDA0003682154990000032
表示对观测到的交互行为进行建模，
Figure GDA0003682154990000033
表示对未交互的负采样推荐物品进行建模。
综上所述，本发明与现有技术相比具有以下优点：
(1)设计了一种共同注意力机制，该机制可以利用记忆网络从用户-物品交互序列中学习注意力嵌入表示。通过注意力能够从目标序列中了解不同用户和物品的相对重要性，从而提供更好的解决方案，并帮助网络模型更好地记忆输入。特别地，注意力机制使人们很容易记住神经网络中更长期的依赖关系，并专注于输入的重要部分。
(2)通过融合用户和物品的注意力表示，精心设计了联合的神经协同注意力推荐算法。利用从记忆网络学习到的注意力权重，为更深层次的推荐体系结构提供了支持性证据，这些体系结构旨在捕获更高阶的复杂用户物品交互关系。联合的外部存储器和神经网络增加了算法学习自适应非线性加权的注意力用户和物品的数量，进一步提高了推荐性能。
附图说明
图1为本发明使用的推荐框架的流程图；
图2为本发明中注意力学习模块的示意图；
图3为本发明中推荐模型的体系结构示意图。
具体实施方式
下面结合附图对本发明作进一步的详细说明。
如图1所示，本发明公开了一种基于记忆网络和协同注意力的推荐方法，本发明利用如图2所示的模型生成用户和物品的注意力向量，包括如下步骤：
S1、预处理模块获取用户评分矩阵信息，对用户评分矩阵进行预处理，得到用户-物品交互数据以及用户不喜欢的物品序列(本发明中，与用户没有任何交互信息的物品即是用户不喜欢的物品)，将用户-物品交互数据以及用户不喜欢的物品序列输入注意力学习模块；
本发明中，得到用户的评分信息后，通过输入模块进行预处理，将其转换为用户物品交互数据格式。其中，对于m个用户和n个物品，定义用户-物品交互矩阵R∈Rm×n，从用户的隐式反馈来看，ru,i＝1表示用户u评论过物品i，否则ru,i＝0。同时，将用户-物品交互数据和未交互物品序列输入注意力学习模块，以得到用户和物品的注意力向量。
S2、注意力学习模块利用输入的用户-物品交互数据以及用户不喜欢的物品序列集训练注意力学习模型，输出用户注意力向量和物品注意力向量；
注意力学习模型输出的用户注意力向量及物品注意力向量以嵌入的形式存在，能够表示不同用户和物品的相对重要性，更好地帮助整个神经网络专注于重要的输入部分。
本发明中的注意力学习模块如图2所示，包括用户内存插槽、交互物品内存插槽及未交互物品内存插槽，用户内存插槽存储用户信息，所述用户信息以嵌入方式存储；交互物品内存插槽以嵌入方式存储与用户交互过的物品；未交互物品内存插槽以嵌入方式存储与用户没有交互的物品；用户内存插槽、交互物品内存插槽和未交互物品内存插槽进行融合，构建注意力学习模型。
注意力机制与人类的视觉注意力具有相似的直觉，关注目标的最重要部分，而忽略不重要的部分。在本发明中，利用记忆网络(注意力学习模块)以更好地训练用户和物品注意力向量，进而更有效地记住神经网络中的长期依赖关系，并专注于输入的重要部分。在具体实施时，在网络中，在存储组件中对复杂的用户-物品交互关系进行编码，然后通过神经注意机制可以推断用户和物品的特定贡献因子，并为具有相似偏好的用户提供不同权重。
在本发明中，存储组件包含一个用户存储矩阵U∈Rm×d和一个物品存储矩阵I∈Rn ×d，其中m和n分别表示用户和物品的数量，d表示每个存储单元的维数。对于给定存储在内存中的用户输入集{x1,x2,...,xm}，它被转换成用户存储向量{x1,x2,...,xm}—→{uk}来构造用户存储矩阵U。每个用户u都嵌入内存插槽uk∈U，存储该用户喜欢的物品。用户Up与其邻居Uq的内存嵌入表示进行逐元素乘积。同时，每个物品k对应于另一个存储插槽ek∈I，用以对物品的特定属性进行编码。物品输入集也是通过另一个物品嵌入表示ek，用相同的嵌入表示Uq进行元素乘积。
对于物品i，按下式可计算用户p和用户q在其领域范围的相似性
Figure GDA0003682154990000041
式中，N(i)表示为物品i提供隐式反馈的所有用户的集合。第一项
Figure GDA0003682154990000051
计算目标用户与其对物品i评分的邻居之间的相似度，第二项
Figure GDA0003682154990000052
表示用户q支持推荐物品i的置信度。
具体实施时，注意力学习模块的损失函数如下：
Figure GDA0003682154990000053
Figure GDA0003682154990000054
Figure GDA0003682154990000055
式中，σ(x)＝1/(1+exp(-x))为Sigmoid型函数，x为函数的输入，up表示用户，
Figure GDA0003682154990000056
表示与用户有交互的物品，
Figure GDA0003682154990000057
表示与用户没有交互的物品集合。
在注意力学习模型中，可以使用反向传播算法单独训练记忆网络模型；然后，我们应用优化层来优化模型；最后，模型的输出用户注意力向量及物品注意力向量是以嵌入表达形式存在的，同时，还输出了中间嵌入向量v，中间嵌入向量在本发明中并没有被利用到。
S3、推荐模块将用户注意力向量、物品注意力向量、用户ID及物品ID的独热编码进行深度融合，构建协同推荐模型；
具体实施时，用户-物品交互数据包括用户嵌入表示Eou和物品嵌入表示Eoi；在推荐模块中，用户嵌入表示Eou和物品嵌入表示Eoi进行点乘运算得到Multiply Vector，将其结果作为一个Dense Layers网络层的输入；用户嵌入表示Eou与用户注意力向量一起输入user_attention网络模块，物品嵌入表示Eoi与物品注意力向量一起输入item_attention网络模块，经user_attention网络模块和item_attention网络模块进行运算后，将其输出结果作为另一个Dense Layers网络层的输入；将两个Dense Layers网络层的输出进行逐元素乘积运算，然后将计算结果输入推荐预测模块，来计算每个候选推荐物品被推荐模型推荐的概率。
基于注意力的推荐模型旨在学习用户-物品对应序列中不同用户和物品的相对重要性。通过在推荐系统中应用用户和物品的注意力权重，我们可以过滤掉无用的内容并选择最具代表性的用户和物品。本发明中推荐模型的体系结构如图3所示。
从注意力学习模块中，我们得到每个用户的嵌入表示Eau(用户注意力向量)和每个物品的嵌入表示Eai(物品注意力向量)。同样，可得到来自用户-物品评分矩阵的独热编码的用户嵌入表示Eou和物品嵌入表示Eoi。然而，两个嵌入向量组合成当前用户和物品的统一表达形式。
Figure GDA0003682154990000061
Figure GDA0003682154990000062
式中，
Figure GDA0003682154990000063
表示向量的级联运算(concatenation)。然后我们将统一的
Figure GDA0003682154990000064
和
Figure GDA0003682154990000065
输入user_attention网络模块和item_attention网络模块，其目的是学习一个非线性函数，从而实现对复杂的用户-物品间的交互信息进行建模，如下所示
Figure GDA0003682154990000066
Figure GDA0003682154990000067
其中user_attention网络模块和item_attention网络模块具有两个隐藏层，以Relu作为激活函数，而输出层通过softmax函数实现。
在神经网络模型可以学习的前提下，可以通过在高层使用少量隐藏单元来获得更抽象的数据特征，本发明中根据经验添加了一个Dense Layer来为神经网络模型实现塔式结构，将每个后续高层的尺寸大小减半。(即隐藏层的尺寸设置为[40,20，...，10])之后，可以应用不同的融合方法来集成输出数据，例如串级联，逐元素乘积等。综上所述，本发明精心设计了一个联合的神经协同推荐模型，来融合用户和物品的注意力权重。其中注意力权重为更深层次的推荐体系结构提供了支持性证据，以捕获更高级别的复杂的用户物品交互关系。
S4、推荐预测模块根据协同推荐模型给出的每个候选推荐物品的推荐概率生成推荐列表。
预测模块通过一个分类函数
Figure GDA0003682154990000068
来实现，其中WL-1,bL-1和σL-1分别表示第L-1层的权重矩阵，偏置向量和激活函数。在预测层中，向量F被输入全连接层。同时基于堆叠更多的非线性层可以增强非线性度的理论，本发明可以通过堆叠一些隐藏层来提升推荐性能。令UP∈RK,Iq∈RK分别表示从原始物品用户评分矩阵转换后的用户p和物品q的向量，K表示潜在向量的维数。F＝[f1,f2,...,fK]表示用户-物品对的输出。训练过程如下所示，
F＝wp,q⊙(UP⊙Iq)
σ2(F)＝σ1(W1F+b1)
...
σL(F)＝σL-1(WL-1σL-1(F)+bL-1)
其中⊙表示按元素乘积,wu,i∈RK表示用户p对物品q的注意力向量。从上式可以得到fK＝wp,q,K⊙Up,K⊙Iq,K,其中fK表示F中第K个注意力因子。它反映了基于注意力机制的推荐策略，即对于每对用户Up和物品Iq的交互行为，注意力权重wp,q,K旨在捕获对于用户Up物品Iq的重要权重因子K。
在模块优化方面，与利用平方误差损失作为目标函数的评分预测任务不同，本发明采用交叉熵损失作为优化函数，目标是输出推荐列表。由于有可用的隐式反馈，因此使用负采样来学习模型参数，损失函数如下所示，
Figure GDA0003682154990000071
式中，第一项
Figure GDA0003682154990000072
表示对观测到的交互行为进行建模，
Figure GDA0003682154990000073
表示对未交互的负采样推荐物品进行建模。
由于注意力机制拥有学习不同用户和物品的目标序列的相对重要性的能力，在基于深度学习的推荐系统中，融合注意力机制已成为一种新的趋势。在协同过滤中引入注意力机制可以应对多媒体推荐中具有挑战性的物品和组件级隐式反馈。通过将注意力机制应用于推荐系统，可以过滤无用的内容并选择最具代表性的物品，同时提供良好的可解释性。但是，现有的推荐系统的体系结构虽然融合了注意力因素，却忽略了以非线性方式从用户-物品交互学习和负采样序列中获得的注意力向量。本发明通过学习用户-物品交互的协同注意力，使得注意力模块能根据用户是否与物品进行了交互来输出用户和物品的注意力向量。具体的，可以通过外部存储组件对复杂的特征表示进行编码，通过注意力模块的神经注意机制推断用户和物品的特定贡献因子。
另一方面，通过分析数百万个用户序列并量化这些序列中的长期依赖程度，表明短期和长期依赖的行为模式在推荐系统中是共存的。采用循环神经网络对长期依赖关系进行建模，而出于计算方面的原因，它们需要基于更严格的因式分解假设。因此，为了将来自用户与物品交互信息的注意力向量用于推荐模型，本发明采用联合的神经协同推荐算法，该模型利用记忆网络从用户的隐式反馈中学习注意力嵌入表示。利用内存组件对用户-物品交互的复杂关系进行编码，而神经注意机制为共享相似偏好的特定用户分配较高的权重。最后，将从用户-物品评分矩阵中抽取的嵌入向量表示和利用记忆网络从用户-物品交互序列中学习得到的注意力权重向量，一并输入到联合推荐模块中，以实现对候选推荐物品的预测和排序。
本发明中，候选推荐推荐列表为与用户没有交互的候选测试物品集合。
以上仅是本发明优选的实施方式，需指出是，对于本领域技术人员在不脱离本技术方案的前提下，还可以做出若干变形和改进，上述变形和改进的技术方案应同样视为落入本申请要求保护的范围。

Claims (5)

1.一种基于记忆网络和协同注意力的推荐方法，其特征在于，包括如下步骤：
S1、预处理模块获取用户评分矩阵信息，对用户评分矩阵进行预处理，得到用户-物品交互数据以及用户不喜欢的物品序列集，将用户-物品交互数据以及用户不喜欢的物品序列集输入注意力学习模块；
S2、注意力学习模块利用输入的用户-物品交互数据以及用户不喜欢的物品序列集训练注意力学习模型，输出用户注意力向量和物品注意力向量；
S3、推荐模块将用户注意力向量、物品注意力向量、用户ID及物品ID的独热编码进行深度融合，构建协同推荐模型；
S4、推荐预测模块根据协同推荐模型给出的每个候选推荐物品的推荐概率生成推荐列表。
2.如权利要求1所述的基于记忆网络和协同注意力的推荐方法，其特征在于，注意力学习模块包括用户内存插槽、交互物品内存插槽及未交互物品内存插槽，用户内存插槽存储用户信息，所述用户信息以嵌入方式进行存储；交互物品内存插槽以嵌入方式存储与用户交互过的物品；未交互物品内存插槽以嵌入方式存储与用户没有交互的物品；将用户内存插槽、交互物品内存插槽和未交互物品内存插槽进行融合，构建注意力学习模型。
3.如权利要求2所述的基于记忆网络和协同注意力的推荐方法，其特征在于，注意力学习模型的损失函数如下：
Figure FDA0003682154980000011
Figure FDA0003682154980000012
Figure FDA0003682154980000013
式中，σ(x)为逻辑Sigmoid型函数，x为函数的输入，up表示用户，
Figure FDA0003682154980000014
表示与用户有交互的物品，
Figure FDA0003682154980000015
表示与用户没有交互的物品集合。
4.如权利要求3所述的基于记忆网络和协同注意力的推荐方法，其特征在于，用户-物品交互数据包括用户嵌入表示Eou和物品嵌入表示Eoi；在推荐模块中，用户嵌入表示Eou和物品嵌入表示Eoi进行点乘运算得到Multiply Vector，将其结果作为一个Dense Layers网络层的输入；用户嵌入表示Eou与用户注意力向量一起输入user_attention网络模块，物品嵌入表示Eoi与物品注意力向量一起输入item_attention网络模块，经user_attention网络模块和item_attention网络模块进行运算后，将其输出结果作为另一个Dense Layers网络层的输入；将两个Dense Layers网络层的输出进行逐元素乘积运算，然后输入推荐预测模块，进而根据协同推荐模型给出的每个候选推荐物品的推荐概率生成推荐列表。
5.如权利要求4所述的基于记忆网络和协同注意力的推荐方法，其特征在于，推荐预测模块的损失函数如下：
Figure FDA0003682154980000021
式中，第一项
Figure FDA0003682154980000022
表示对观测到的交互行为进行建模，
Figure FDA0003682154980000023
表示对未交互的负采样推荐物品进行建模。
CN202011338728.7A 2020-11-25 2020-11-25 一种基于记忆网络和协同注意力的推荐方法 Active CN112328893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011338728.7A CN112328893B (zh) 2020-11-25 2020-11-25 一种基于记忆网络和协同注意力的推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011338728.7A CN112328893B (zh) 2020-11-25 2020-11-25 一种基于记忆网络和协同注意力的推荐方法

Publications (2)

Publication Number Publication Date
CN112328893A CN112328893A (zh) 2021-02-05
CN112328893B true CN112328893B (zh) 2022-08-02

Family

ID=74309661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011338728.7A Active CN112328893B (zh) 2020-11-25 2020-11-25 一种基于记忆网络和协同注意力的推荐方法

Country Status (1)

Country Link
CN (1) CN112328893B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989064B (zh) * 2021-03-16 2022-07-08 重庆理工大学 一种聚合知识图神经网络和自适应注意力的推荐方法
CN114154071B (zh) * 2021-12-09 2023-05-09 电子科技大学 一种基于注意力机制的情感时序推荐方法
CN115601098A (zh) * 2022-09-26 2023-01-13 重庆文理学院（Cn） 基于物品属性与时序模式耦合关系的序列推荐方法和系统
CN115618131B (zh) * 2022-11-11 2023-05-23 河南大学 一种融合交互频率与注意力网络的物品推荐方法及系统
CN117573856A (zh) * 2024-01-15 2024-02-20 中国科学技术大学 一种基于记忆网络的建筑领域内容多兴趣召回方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145518A (zh) * 2017-04-10 2017-09-08 同济大学 一种社交网络下基于深度学习的个性化推荐系统
CN109087130A (zh) * 2018-07-17 2018-12-25 深圳先进技术研究院 一种基于注意力机制的推荐系统及推荐方法
CN109299396A (zh) * 2018-11-28 2019-02-01 东北师范大学 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN109598586A (zh) * 2018-11-30 2019-04-09 哈尔滨工程大学 一种基于注意力模型的推荐方法
CN110245285A (zh) * 2019-04-30 2019-09-17 中国科学院信息工程研究所 一种基于异构信息网络的个性化推荐方法
CN110910218A (zh) * 2019-11-21 2020-03-24 南京邮电大学 一种基于深度学习的多行为迁移推荐方法
CN111062775A (zh) * 2019-12-03 2020-04-24 中山大学 一种基于注意力机制的推荐系统召回方法
WO2020108605A1 (zh) * 2018-11-29 2020-06-04 腾讯科技（深圳）有限公司 一种推荐方法、装置及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127142B (zh) * 2019-12-16 2023-09-08 东北大学秦皇岛分校 一种基于广义神经注意力的物品推荐方法
CN111881342A (zh) * 2020-06-23 2020-11-03 北京工业大学 一种基于图孪生网络的推荐方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145518A (zh) * 2017-04-10 2017-09-08 同济大学 一种社交网络下基于深度学习的个性化推荐系统
CN109087130A (zh) * 2018-07-17 2018-12-25 深圳先进技术研究院 一种基于注意力机制的推荐系统及推荐方法
CN109299396A (zh) * 2018-11-28 2019-02-01 东北师范大学 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
WO2020108605A1 (zh) * 2018-11-29 2020-06-04 腾讯科技（深圳）有限公司 一种推荐方法、装置及存储介质
CN109598586A (zh) * 2018-11-30 2019-04-09 哈尔滨工程大学 一种基于注意力模型的推荐方法
CN110245285A (zh) * 2019-04-30 2019-09-17 中国科学院信息工程研究所 一种基于异构信息网络的个性化推荐方法
CN110910218A (zh) * 2019-11-21 2020-03-24 南京邮电大学 一种基于深度学习的多行为迁移推荐方法
CN111062775A (zh) * 2019-12-03 2020-04-24 中山大学 一种基于注意力机制的推荐系统召回方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NRPA: Neural Recommendation with Personalized Attention;Hongtao Liu 等;《https://doi.org/10.1145/3331184.3331371》;20190718;1-4 *
基于物品相似度和主题回归的矩阵分解推荐算法;邓志豪;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20160215(第（2016）02期);I138-2049 *
基于物品融合自编码器的协同过滤推荐算法;王东 等;《计算机应用》;20190720;第39卷(第S1期);84-87 *
基于用户评论的深度情感分析和多视图协同融合的混合推荐方法;张宜浩 等;《计算机学报》;20190306;第42卷(第6期);1316-1333 *

Also Published As

Publication number Publication date
CN112328893A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112328893B (zh) 一种基于记忆网络和协同注意力的推荐方法
CN110083770B (zh) 一种基于特征层面更深的自注意力网络的序列推荐方法
Ghosal et al. DeepSentiPeer: Harnessing sentiment in review texts to recommend peer review decisions
CN108024158A (zh) 利用视觉注意力机制的有监督视频摘要提取方法
CN111581520B (zh) 基于会话中物品重要性的物品推荐方法和系统
Wen et al. Dynamic interactive multiview memory network for emotion recognition in conversation
Sharma et al. A survey of methods, datasets and evaluation metrics for visual question answering
CN112016002A (zh) 融合评论文本层级注意力和时间因素的混合推荐方法
CN111581519B (zh) 基于会话中用户意图的物品推荐方法和系统
CN115080715B (zh) 基于残差结构和双向融合注意力的跨度提取阅读理解方法
CN112699310A (zh) 基于深度神经网络的冷启动跨域混合推荐的方法及系统
CN112527993A (zh) 一种跨媒体层次化深度视频问答推理框架
CN114817508A (zh) 融合稀疏图和多跳注意力的会话推荐系统
Khoali et al. Advanced recommendation systems through deep learning
CN114648031A (zh) 基于双向lstm和多头注意力机制的文本方面级情感识别方法
Zhang et al. Integrating an attention mechanism and convolution collaborative filtering for document context-aware rating prediction
Ibrahim et al. An intelligent hybrid neural collaborative filtering approach for true recommendations
Xiang et al. Text Understanding and Generation Using Transformer Models for Intelligent E-commerce Recommendations
Bao et al. Multisource heterogeneous user-generated contents-driven interactive estimation of distribution algorithms for personalized search
CN113887836A (zh) 一种融合事件环境信息的叙述性事件预测方法
CN112463935B (zh) 一种带有强泛化知识选择的开放域对话生成方法及系统
CN115952360B (zh) 基于用户和物品共性建模的域自适应跨域推荐方法及系统
CN115953215B (zh) 一种基于时间和图结构的搜索式推荐方法
CN116484092A (zh) 基于用户长短期偏好的分层注意力网络序列推荐方法
Deng et al. Adaptive personalized recommendation based on adaptive learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230731

Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee before: Dragon totem Technology (Hefei) Co.,Ltd.

Effective date of registration: 20230731

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Address before: No. 69 lijiatuo Chongqing District of Banan City Road 400054 red

Patentee before: Chongqing University of Technology

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231025

Address after: 200120, Room 505, 5th Floor, Building 8, No. 399 Jianyun Road, Pudong New Area, Shanghai

Patentee after: Shanghai Juhui Network Technology Co.,Ltd.

Address before: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee before: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right