CN111177580A - 一种利用多重隐式反馈实现个性化推荐的方法 - Google Patents
一种利用多重隐式反馈实现个性化推荐的方法 Download PDFInfo
- Publication number
- CN111177580A CN111177580A CN201911332188.9A CN201911332188A CN111177580A CN 111177580 A CN111177580 A CN 111177580A CN 201911332188 A CN201911332188 A CN 201911332188A CN 111177580 A CN111177580 A CN 111177580A
- Authority
- CN
- China
- Prior art keywords
- user
- model
- item
- module
- matrix decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 35
- 230000003993 interaction Effects 0.000 claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 230000006399 behavior Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种利用多重隐式反馈实现个性化推荐的方法。本发明步骤如下:1、定义新的采用方法,将来自于目标反馈的项目定义为正例样本,将仅通过支持反馈与用户进行交互的项目定义为负例样本;2、应用矩阵分解来建模用户和项目之间的线性交互关系,通过将用户和项目之间的交互关系映射到维度为d的潜在共享空间,矩阵分解模型将用户对项目的偏好建模为该空间中相应潜在因子向量的内积;3、应用多层感知机来建模用户和项目之间的非线性交互关系,以及不同类型的隐式反馈之间的相互关系;4、融合矩阵分解模块和多重多层感知机模块的集成网络架构。本发明端到端的推荐模型,系统和全面地模拟用户和项目之间的多个隐式反馈,提高推荐质量。
Description
技术领域
该利用多重隐式反馈实现个性化推荐的方法属于推荐系统领域,特别是利用深度神经网络来建模用户和项目之间的多种隐式反馈信息。
背景技术
近年来,随着在计算机视觉等各领域中深度学习技术的快速发展,应用深度神经网络构建推荐模型成为了新的研究热点。通过向个人用户推荐个性化信息,推荐系统已经成为处理许多在线应用场景中信息过载的有效工具,例如亚马逊的产品推荐、YouTube的视频推荐和Netflix的电影推荐等。由于可以根据用户的历史行为来推断其偏好,因此基于历史行为数据的协同过滤技术已经成为个性化推荐的基本方式。
在各种协同过滤技术中,矩阵分解是主流方法之一。矩阵分解的基本思想是将用户和项目投影到共享空间中,并通过相应潜在因子向量的内积来模拟用户对项目的偏好。矩阵分解作为推荐问题的解决方案之一,具有简单、有效和可扩展的特点,但其性能受到了用户和项目之间线性交互建模方式的限制。随着深度学习在计算机视觉、自然语言处理等领域的成功应用,将深度神经网络结合到推荐模型中以建模结构复杂的交互数据已经成为一种趋势,并且取得了一定的成果。
然而,现有的协同过滤模型大多受到以下限制:一是大多数基于深度学习的方法侧重于对用户的各种行为数据进行建模,而对用户和项目之间复杂的交互数据的建模相对较少;二是大多数协同过滤模型,包括基于矩阵分解和基于深度学习的模型,通常只关注一种类型的行为或依赖于多种行为的简单线性组合,缺乏获得不同行为类型之间复杂关系的有效方法。
在推荐系统中,存在两种类型的用户行为反馈,即诸如评级、评论等的显式反馈和诸如点击、浏览等的隐式反馈。早期的工作大多将研究重点放在显式反馈上,而最近的研究注意力转移到了在系统中更为普遍的隐式数据上。其中有的工作使用重新加权策略来构建多个子推荐器,为用户和项目之间的隐式反馈分配动态权重;有的工作提出了一种基于概率矩阵分解的潜在因子模型,将显式反馈和隐式反馈矩阵分解到共享子空间。
发明内容
本发明提出了一种利用多重隐式反馈实现个性化推荐的方法,该方法可以有效地实现针对不同用户特点进行个性化推荐的工作。在一个推荐系统中,当存在多种类型的隐式反馈时,我们使用其中一种作为我们的优化和推荐目标,剩下的作为辅助信息来支持推荐目标。其中,前一种反馈被定义为目标反馈,后一种反馈被定义为支持反馈。
一种利用多重隐式反馈实现个性化推荐的方法,对于每种类型的隐式反馈,应用矩阵分解和多层感知机来建模用户和项目之间的线性和非线性交互关系;然后通过神经网络融合多种隐式反馈的交互关系,用以提高推荐质量;具体包括如下步骤:
步骤1、定义新的采用方法,将来自于目标反馈的项目定义为正例样本,将仅通过支持反馈与用户进行交互的项目定义为负例样本;
步骤2、应用矩阵分解来建模用户和项目之间的线性交互关系,通过将用户和项目之间的交互关系映射到维度为d的潜在共享空间,矩阵分解模型将用户对项目的偏好建模为该空间中相应潜在因子向量的内积;
步骤3、应用多层感知机来建模用户和项目之间的非线性交互关系,以及不同类型的隐式反馈之间的相互关系;
步骤4、融合矩阵分解模块和多重多层感知机模块的集成网络架构;
进一步的,所述的步骤2具体实现如下:
设每个用户u和项目i分别由向量pu∈Rd和qi∈Rd表示;对于给定的用户u,pu的元素度量了用户在相应因子上的感兴趣程度,同时qi从不同方面表达了项目i的特征;点积yui表达了用户u对项目i的偏好程度,计算公式如下:
进一步的,所述的步骤3具体实现如下:
由于模型具有多分支网络结构,因此称为多重多层感知机,其中每个分支对应一种隐式反馈行为,并在这种隐式反馈下学习用户和项目之间复杂的交互关系;多分支模型结构能够支持任意数量的隐式反馈类型,具体取决于模型的复杂性;
通过全连接层合并多个分支网络结构的输出,从而生成整个多重多层感知机模型的输出;考虑到数据的稀疏性,并且为了防止模型过拟合,使用ReLU作为每层中的激活函数;多重多层感知机模型定义如下:
总体来说,上述等式(2)表达了每个分支网络中从第二层到第L层的前向传播过程;对不同隐式反馈分支网络的融合可以表达如下:
其中,t表示多种隐式反馈,ccocat表示对不同分支网络进行串联的操作;
进一步的,所述的步骤4具体实现如下:
4-1.分别为矩阵分解模块和多重多层感知机模块的每对用户和项目分配潜在因子向量;也就是说,每对用户和项目具有矩阵分解的潜在表示和多重多层感知机的潜在表示;其中,矩阵分解分量的输出是通过进行相应潜在因子向量的逐元素乘积得到的,表达如下:
4-2.将矩阵分解模块和多重多层感知机模块的输出进行融合,并通过若干全连接层来组合学习矩阵分解模块的线性表示和多重多层感知机模块的非线性表示,以模拟复杂的用户和项目之间的交互关系;两个模块通过全连接层融合学习的表达式如下:
进一步的,所述的模型的权重参数以均值为0、标准差为0.01的高斯方法进行初始化,批大小设置为1,学习率设置为0.001,使用Adam算法进行优化;
本发明有益效果如下:
本发明专注于在许多应用场景中比显式反馈更为常见的隐式反馈,并提出了一种端到端的推荐模型,用以系统和全面地模拟用户和项目之间的多个隐式反馈,从而提高推荐质量。首先,对于每种类型的隐式反馈,我们合并了通过矩阵分解构建的线性模型和通过多层感知机构建的非线性模型,以全面地模拟复杂的用户和项目之间的交互关系。然后,我们通过神经网络融合了多个隐式反馈的影响,以进一步提高推荐的准确性。我们在大规模真实数据集上进行了大量实验,并通过与推荐任务中最新的协同过滤模型进行比较,证明了我们所提出模型的有效性。
附图说明
图1为利用多重隐式反馈实现个性化推荐的方法的框架图;
图2为多重多层感知机模块的示意图。
具体实施方式
本发明提出了一种利用多重隐式反馈实现个性化推荐的方法,下面将结合相关步骤进行详细说明,具体步骤如下:
步骤1、为提供推荐排名,遵循成对学习策略,因此为模型训练生成高质量的成对正、负例样本就显得非常重要。因此提出了一种采样方法,将来自于目标反馈的项目定义为正例样本,将仅通过支持反馈与用户进行交互的项目定义为负例样本。与传统的随机抽样相比,这种方法可以更准确地表达出负例信息。
步骤2、通过将用户和项目之间的交互关系映射到维度为d的潜在共享空间,矩阵分解模型将用户对项目的偏好建模为该空间中相应潜在因子向量的内积。具体来说,每个用户u和项目i分别由向量pu∈Rd和qi∈Rd表示。对于给定的用户u,pu的元素度量了用户在相应因子上的感兴趣程度,同时qi从不同方面表达了项目i的特征。点积表达了用户u对项目i的偏好程度,计算公式如下:
很显然,矩阵分解模型可以被视为用户和项目之间潜在因素的线性模型。
矩阵分解模型有效地建模了用户和项目之间的线性交互关系。然而,在实际情况下,用户和项目之间的交互关系通常基于复杂的非线性结构。
步骤3、为了解决这些问题,我们使用多层感知机来学习用户和项目之间的潜在交互特征,以及不同类型的隐式反馈之间的相互影响。我们的模型具有多分支的网络结构,称为多重多层感知机,其中每个分支对应一种隐式反馈行为,并在这种隐式反馈下学习用户和项目之间复杂的交互关系。需要注意的是,我们的多分支模型结构可以支持任意数量的隐式反馈类型,具体取决于模型的复杂性。最后,我们通过全连接层合并多个分支网络的输出,从而生成整个多重多层感知机模型的输出。考虑到我们数据的稀疏性,并且为了防止模型过拟合,我们使用ReLU作为每层中的激活函数。更确切地说,我们的多重多层感知机模型定义如下:
……
其中,L表示每个分支网络的层数,和分别表示第x个分支网络的权重矩阵、偏置向量和激活函数。总体来说,上述等式表达了每个分支网络中从第二层到第L层的前向传播过程。对不同隐式反馈分支网络的融合可以表达如下:
其中,t表示多种隐式反馈,concat表示对不同分支网络进行串联的操作。
步骤4、到目前为止,矩阵分解模块和多重多层感知机模块仍然是两个独立的组成部分。为了增强模型的建模能力,我们提出了一种融合矩阵分解模块和多重多层感知机模块的集成网络架构。具体来说,我们分别为矩阵分解模块和多重多层感知机模块的每对用户和项目分配潜在因子向量。也就是说,每对用户和项目具有矩阵分解的潜在表示和多重多层感知机的潜在表示。其中,矩阵分解分量的输出是通过进行相应潜在因子向量的逐元素乘积得到的,表达如下:
其中,和分别表示多重多层感知机模块中用户和项目的潜在因子向量。需要注意的是,矩阵分解模块和多重多层感知机模块的潜在因子向量的维度可能不相同,这对于表征两个不同模型的不同潜在因素方面更加灵活。最后,将矩阵分解模块和多重多层感知机模块的输出进行融合,并通过若干全连接层来组合学习矩阵分解模块的线性表示和多重多层感知机模块的非线性表示,以模拟复杂的用户和项目之间的交互关系。两个模块通过全连接层融合学习的表达式如下:
Claims (5)
1.一种利用多重隐式反馈实现个性化推荐的方法,其特征在于:对于每种类型的隐式反馈,应用矩阵分解和多层感知机来建模用户和项目之间的线性和非线性交互关系;然后通过神经网络融合多种隐式反馈的交互关系,用以提高推荐质量;具体包括如下步骤:
步骤1、定义新的采样方法,将来自于目标反馈的项目定义为正例样本,将仅通过支持反馈与用户进行交互的项目定义为负例样本;
步骤2、应用矩阵分解来建模用户和项目之间的线性交互关系,通过将用户和项目之间的交互关系映射到维度为d的潜在共享空间,矩阵分解模型将用户对项目的偏好建模为该空间中相应潜在因子向量的内积;
步骤3、应用多层感知机来建模用户和项目之间的非线性交互关系,以及不同类型的隐式反馈之间的相互关系;
步骤4、融合矩阵分解模块和多重多层感知机模块的集成网络架构。
3.根据权利要求2所述的一种利用多重隐式反馈实现个性化推荐的方法,其特征在于步骤3具体实现如下:
由于模型具有多分支网络结构,因此称为多重多层感知机,其中每个分支对应一种隐式反馈行为,并在这种隐式反馈下学习用户和项目之间复杂的交互关系;多分支模型结构能够支持任意数量的隐式反馈类型,具体取决于模型的复杂性;
通过全连接层合并多个分支网络结构的输出,从而生成整个多重多层感知机模型的输出;考虑到数据的稀疏性,并且为了防止模型过拟合,使用ReLU作为每层中的激活函数;多重多层感知机模型定义如下:
总体来说,上述等式(2)表达了每个分支网络中从第二层到第L层的前向传播过程;对不同隐式反馈分支网络的融合可以表达如下:
其中,t表示多种隐式反馈,concat表示对不同分支网络进行串联的操作。
4.根据权利要求3所述的一种利用多重隐式反馈实现个性化推荐的方法,其特征在于步骤4具体实现如下:
4-1.分别为矩阵分解模块和多重多层感知机模块的每对用户和项目分配潜在因子向量;也就是说,每对用户和项目具有矩阵分解的潜在表示和多重多层感知机的潜在表示;其中,矩阵分解分量的输出是通过进行相应潜在因子向量的逐元素乘积得到的,表达如下:
4-2.将矩阵分解模块和多重多层感知机模块的输出进行融合,并通过若干全连接层来组合学习矩阵分解模块的线性表示和多重多层感知机模块的非线性表示,以模拟复杂的用户和项目之间的交互关系;两个模块通过全连接层融合学习的表达式如下:
5.根据权利要求4所述的一种利用多重隐式反馈实现个性化推荐的方法,其特征在于模型的权重参数以均值为0、标准差为0.01的高斯方法进行初始化,批大小设置为1,学习率设置为0.001,使用Adam算法进行优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911332188.9A CN111177580A (zh) | 2019-12-21 | 2019-12-21 | 一种利用多重隐式反馈实现个性化推荐的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911332188.9A CN111177580A (zh) | 2019-12-21 | 2019-12-21 | 一种利用多重隐式反馈实现个性化推荐的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111177580A true CN111177580A (zh) | 2020-05-19 |
Family
ID=70655581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911332188.9A Withdrawn CN111177580A (zh) | 2019-12-21 | 2019-12-21 | 一种利用多重隐式反馈实现个性化推荐的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111177580A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113010802A (zh) * | 2021-03-25 | 2021-06-22 | 华南理工大学 | 一种基于用户与物品多属性交互面向隐式反馈的推荐方法 |
CN114662010A (zh) * | 2022-03-16 | 2022-06-24 | 重庆邮电大学 | 一种基于多任务学习的显隐式协同过滤推荐方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109241440A (zh) * | 2018-09-29 | 2019-01-18 | 北京工业大学 | 一种基于深度学习的面向隐式反馈推荐方法 |
-
2019
- 2019-12-21 CN CN201911332188.9A patent/CN111177580A/zh not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109241440A (zh) * | 2018-09-29 | 2019-01-18 | 北京工业大学 | 一种基于深度学习的面向隐式反馈推荐方法 |
Non-Patent Citations (1)
Title |
---|
HONGFA WEN ET: "Leveraging Multiple Implicit Feedback for Personalized Recommendation with Neural Network", 《AIAM》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113010802A (zh) * | 2021-03-25 | 2021-06-22 | 华南理工大学 | 一种基于用户与物品多属性交互面向隐式反馈的推荐方法 |
CN113010802B (zh) * | 2021-03-25 | 2022-09-20 | 华南理工大学 | 一种基于用户与物品多属性交互面向隐式反馈的推荐方法 |
CN114662010A (zh) * | 2022-03-16 | 2022-06-24 | 重庆邮电大学 | 一种基于多任务学习的显隐式协同过滤推荐方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109299396B (zh) | 融合注意力模型的卷积神经网络协同过滤推荐方法及系统 | |
Mongia et al. | Deep latent factor model for collaborative filtering | |
CN108460619B (zh) | 一种提供融合显隐式反馈的协同推荐模型的方法 | |
US20220253722A1 (en) | Recommendation system with adaptive thresholds for neighborhood selection | |
CN112884552B (zh) | 一种基于生成对抗和知识蒸馏的轻量级多模推荐方法 | |
Ong et al. | Deep learning based-recommendation system: an overview on models, datasets, evaluation metrics, and future trends | |
Rao | A strategist’s guide to artificial intelligence | |
CN115186097A (zh) | 一种基于知识图谱和强化学习的交互式推荐方法 | |
Nguyen et al. | Extendable neural matrix completion | |
CN116431914A (zh) | 一种基于个性化偏好转移模型的跨域推荐方法及系统 | |
Gupta et al. | Research on understanding the effect of deep learning on user preferences | |
CN115221413B (zh) | 一种基于交互式图注意力网络的序列推荐方法及系统 | |
Khoali et al. | Advanced recommendation systems through deep learning | |
CN111177580A (zh) | 一种利用多重隐式反馈实现个性化推荐的方法 | |
CN112699310A (zh) | 基于深度神经网络的冷启动跨域混合推荐的方法及系统 | |
Ahamed et al. | A recommender system based on deep neural network and matrix factorization for collaborative filtering | |
US20240242127A1 (en) | Recommendation method and related apparatus | |
Wang et al. | Online course recommendation algorithm based on multilevel fusion of user features and item features | |
CN115599990A (zh) | 一种知识感知结合深度强化学习的跨域推荐方法及系统 | |
Wu et al. | A federated deep learning framework for privacy-preserving consumer electronics recommendations | |
Nanthini et al. | Provisioning a cross-domain recommender system using an adaptive adversarial network model | |
CN115545834B (zh) | 基于图神经网络与元数据的个性化服务推荐方法 | |
Ao et al. | Deep Collaborative Filtering Recommendation Algorithm Based on Sentiment Analysis | |
Nagpal et al. | Fr: A recommender for finding faculty based on CF technique | |
Pei et al. | A personalized recommendation method under the cloud platform based on users’ long-term preferences and instant interests |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200519 |