CN112380433A - 面向冷启动用户的推荐元学习方法 - Google Patents

Abstract

本发明公开了一种面向冷启动用户的推荐元学习方法，包括：通过动态子图采样的方式对数据集进行采样，将采样得到的数据作为训练数据；所述数据集包含了若干用户与不同物品之间的交互记录；利用训练数据集来训练协同过滤模型，训练包括内外两个循环：内循环中，对每一用户进行推荐预测，基于预测结果更新用户的模型参数；外循环中，利用所有用户的模型参数更新模型总体参数。该方法可以适用于任何可微的基于协同过滤的模型，可以更好地针对新用户进行个性化推荐，并提升模型性能。

Description

面向冷启动用户的推荐元学习方法

技术领域

本发明涉及推荐系统和机器学习领域，尤其涉及一种面向冷启动用户的推荐元学习方法。

背景技术

随着近几十年的快速发展，互联网已经成为人们获取信息的重要方式，并广泛应用于社会生活的各个领域。然而，用户处理信息的能力与互联网上不断增加的信息量之间的矛盾日益突出。个性化推荐系统在缓解这一信息超载问题上取得了显著成效。其中最具代表性的模型是协同过滤模型。

协同过滤作为推荐系统中最流行的一种方法，在推荐系统中得到广泛的应用，但协同过滤模型存在严重的冷启动问题，即系推荐统中新用户的交互非常有限，会造成严重的性能下降。为了解决这个问题，以前的工作主要集中在利用各种辅助信息，如用户的属性和社会关系来推断其对物品的偏好。然而，由于用户隐私问题等原因，辅助信息并不总是可用的，这使得协同过滤方法只能依赖有限的交互，除此之外，对于真实世界的情况，需要为新用户提供准确和快速的动态推荐。因此，为了保证推荐效果，在协同过滤模型的训练过程中，让模型能够在新用户上快速地学习非常重要。

发明内容

本发明的目的是提供一种面向冷启动用户的推荐元学习方法，可以适用于任何可微的基于协同过滤的模型，且能够更好地针对新用户进行个性化推荐。

本发明的目的是通过以下技术方案实现的：

一种面向冷启动用户的推荐元学习方法，包括：

线下训练阶段，包括交替执行的内外两个循环：内循环中，对每一用户进行推荐预测，基于预测结果更新用户的模型参数；外循环中，利用所有用户的模型参数更新模型总体参数；线下训练阶段通过动态子图采样的方式对数据集进行采样，得到的训练数据；所述数据集包含了若干用户与不同物品之间的交互记录；

线下训练完毕后进入测试阶段，对于每一新用户，结合相关交互记录直接采用内循环的方式更新用户的模型参数。

由上述本发明提供的技术方案可以看出，能够在新用户有限的交互下快速微调模型并取得良好的推荐效果；对新用户的快速适应视为一项学习任务，以求学习到一个合适的模型初始化来适应对新用户的微调。为了追求一个泛化性良好的推荐模型，本发明配置了一个动态子图采样，通过动态生成现有用户的代表性适应任务来适应新用户的动态到达。本发明可以适用于任何可微的基于协同过滤的模型，通过训练后的模型，能够更好地针对新用户进行个性化推荐，并提升模型性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种面向冷启动用户的推荐元学习方法的示意图；

图2为本发明实施例提供的动态子图采样的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种面向冷启动用户的推荐元学习方法，该方法是一种新的学习范式，名为元学习协同过滤(MetaCF)，用于学习一种精确的协同过滤模型，该方法能够在新用户有限的交互下快速微调模型并取得良好的推荐效果。本发明将为每个用户做推荐视为一个学习任务，通过训练来学习到一个合适的初始化模型，在此基础上对新用户进行微调训练，避免现有方法存在的对交互数据较少的新用户的过拟合问题。

如图1所示，为该方法的主要流程图，该方法包括：

线下训练阶段，包括交替执行的内外两个循环：内循环中，对每一用户进行推荐预测，基于预测结果更新用户的模型参数；外循环中，利用所有用户的模型参数更新模型总体参数；线下训练阶段通过动态子图采样的方式对数据集进行采样，得到的训练数据；所述数据集包含了若干用户与不同物品之间的交互记录；

线下训练完毕后进入测试阶段，对于每一新用户，结合相关交互记录直接采用内循环的方式更新用户的模型参数。

通过上述方案训练后的模型，可以更好的为用户提供个性化推荐服务。本发明实施例中，对于物品的类别没有限制，可以是实际或虚拟的产品。图1中，u表示用户，下角标的数字用于区分开不同的用户；上角标中e和f是用于表示线下训练阶段和测试阶段(即“微调阶段”)使用到的用户是不一样的，e表示线下训练中现有的用户，f表示部署阶段时的新用户。

本发明实施例上述方案，主要在三个方面进行了改进。

1、动态子图采样。

训练用户往往在系统中与物品有较多的交互，而测试的新用户则交互很少。两种用户数据的不平衡性带来了训练和测试时效果的鸿沟。因此，本发明提出对于推荐系统的交互图，为每个训练用户进行动态的子图采样，在推荐系统中，用户和物品的交互可以被表示为交互图，具体来说，用户和物品表示为图中的节点，两个节点之间有一条边则表示这一对用户物品发生了交互，具体如附图1中的训练图所示，用户和物品节点使用了不同颜色深浅圆形来区分。在动态子图采样的过程中，在每个学习任务中对训练用户都进行动态的子图采样，且采样的数目N也是不超过上限K(很小的数字)的随机数，具体来说，对于每个训练用户，我们随机保留该用户的N个交互记录，并在交互图中暂时删去该用户的其他交互记录，然后根据协同过滤模型的要求，在交互图上进行深度优先搜索最终得到该用户的交互子图，该交互子图最终包含了经过删减的该用户的交互记录，以及经过一定深度搜索后得到的该用户的交互记录中的物品与其他用户的交互记录(这是推荐系统模型训练所要求的)。这样，一方面模拟了新用户交互较少的情况，另一方面利用不同用户不同数量的交互进行训练也提升了模型的灵活性。其中动态子图采样的过程可以参见附图2。

2、利用潜在交互信息。

考虑到完全基于历史信息的学习任务与未来对新用户进行推荐的任务之间的差距，本发明利用交互图中的结构信息，对用户-物品交互二分图进行图表征，利用物品之间的相似度，计算用户u对未交互物品j的感兴趣程度I(u，j)＝∑_i∈N(u)-||z_i-z_j||²，其中，N(u)是与用户u有过交互的物品的集合，z_i、z_j分别是物品i、j的表征向量，-||z_i-z_j||²表示物品i和物品j的相似度，||z_i-z_j||²表示向量之间的欧式距离。接下来，我们根据计算得到的用户对于各个未交互物品的感兴趣程度进行排序，选择最感兴趣的一部分物品(也即排序靠前的一部分，具体数目可根据情况自行设定)加入到用户-物品的交互子图中，得到最终的交互子图，从而囊括潜在的用户-物品交互，为前述的子图采样服务。这样我们既用到了原本的局部交互信息，又用到了全局的潜在结构信息。

3、灵活更新模块。

本发明实施例中，将对每个用户进行推荐预测作为一个学习任务，在每一个学习任务中，训练时刻意抹去数据集中存在的部分交互，将抹去的这些交互作为预测目标。内循环中，使用负采样的方法，将训练数据中没有出现过的交互记录视为负样本，出现过的交互记录视为正样本。对正样本(u，i)与负样本(u，j)计算贝叶斯个性化排序损失，从而更新模型参数：

其中，σ是sigmoid函数，f是预测用户对物品兴趣的函数，θ为模型总体参数，u为用户，i、j分别为与用户u存在交互、未存在交互的物品；D_u是训练集中可观察到的用户u与其他物品的交互的集合。

本发明实施例中，每个内循环中对用户的模型参数进行T次更新，更新公式如下：

其中，t＝1，...，T；

表示第t次更新后的用户u的模型参数；α为内循环的学习率，

为求导符号，

表示J函数对于第t-1次更新后的用户u的模型参数

参数求导，

是在内循环阶段通过动态子图采样方式得到的针对用户u的交互数据和交互子图，其中交互数据为经过采样后该用户u和物品的交互记录(也即随机保留用户u的N个交互记录)，交互子图是根据这些记录和推荐模型的要求扩展而来的，具体过程见“动态子图采样”部分与“利用潜在交互信息”部分。

各种实验表明学习率对模型训练效果的影响很大，而手动设置合适的学习率是一件费时费力且难度很大的事情。在MetaCF中，将内循环的学习率α也作为可学习的参数一并训练，从而灵活动态地进行模型的更新。每轮内循环结束后，在外循环中更新模型参数θ和内循环的学习率，公式如下：

其中，β是外循环的学习率，B为用户集合，θ、θ′分别为本次更新前、后的模型总体参数；α、α′分别为本次更新前、后的内循环的学习率；

各自表示J函数对于本次更新前的模型总体参数θ、本次更新前的内循环的学习率α求导；

是通过动态子图采样方式得到的针对用户u的交互数据和交互子图，其中交互数据为经过采样后该用户和物品的交互记录，交互子图是根据这些记录和推荐模型的要求扩展而来的，具体过程见“动态子图采样”部分与“利用潜在交互信息”部分。

本发明实施例提供的上述方案，是一种模型无关的协同过滤框架，采用上述方式训练好的协同过滤模型，可以对仅包含少量交互信息的新用户产生更好的个性化推荐效果。实验表明在用户-物品交互受限的冷启动场景中，上述框架的性能显著优于最先进的基线。

本发明上述方案(MetaCF)跟原有的方法(NGCF，FISM)相比有如下优点：

1)测试精度显著提高，为每个新用户进行模型微调，更符合个性化推荐的目标。

2)框架是模型无关的，可以适用于任何协同过滤模型。

3)本发明没有增加模型参数。

4)对超参数不敏感，减少了调整参数的时间和困难。

对于上述优点，在三个广泛使用的公开数据集(Amazon-elec、Amazon-kindle、Last-FM)上做了详尽的实验来证明，表1为三个数据集的数据统计。

数据集	用户数	物品数	交互数	稀疏度
					Amazon-elec	192,403	63,001	1,689,188	0.00014
Amazon-kindle	68,223	61,885	982,619	0.00023
					Last-FM	1892	17632	92,834	0.00278

表1数据集信息统计

我们采用了两个广泛使用的测试指标来验证我们方法的有效性，第一个是hr@10，表示为每个用户推荐长度为10的物品列表，衡量其中是否有用户喜欢的物品，用户喜欢的物品越多，指标越高；ndcg@10表示为每个用户推荐长度为10的物品列表，衡量用户喜欢的物品是否被排在列表比较靠前的位置，排名越靠前则指标越高。这两个指标都是指标越高效果越好。

1)对于冷启动新用户的测试精度更高：本发明通过引入元学习，在训练过程中模仿冷启动新用户到来的过程，提升了模型的泛化能力，在三个数据集上精度平均提升了17.2％，实验结果如表2所示。

表2基于NGCF模型在三个数据集上的性能比较

可以看出本发明提供的MetaCF在不同数据量的新用户时表现均优于NGCF。

2)本发明的方法是和模型无关的，可以适用于任何的协同过滤模型。表2中，在图协同过滤模型(NGCF)上验证本发明的效果。下面在物品因子相似度模型(FISM)上验证效果，实验结果如表3所示。

表3基于FISM模型在三个数据集上的性能比较

从表2～表3可以看出本发明在不同的协同过滤模型，如图协同过滤和物品因子相似度模型上都取得了很好的效果。

3)本发明的元学习协同过滤框架不增加模型的参数量。这一点是通过训练时得到一个泛化性强的总模型，在测试时冷启动的新用户上进行微调达成的。

4)通过表4展示了在亚马逊电子商品数据集上对于测试时冷启动新用户进行模型微调次数对结果的影响：

微调次数	模型	hr@10	ndcg@10
				零	MetaCF-NGCF	0.502	0.287
一	MetaCF-NGCF	0.503	0.290
				二	MetaCF-NGCF	0.505	0.291
三	MetaCF-NGCF	0.510	0.295
				四	MetaCF-NGCF	0.512	0.296
五	MetaCF-NGCF	0.511	0.295

表4 Amazon-elec数据集上模型微调次数对效果的影响

从表4可以看出，本发明效果相比图协同过滤模型(NGCF)可以得到持续的提升，并且参数易于调整，甚至，不进行专门的调整就可以取得较好的效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种面向冷启动用户的推荐元学习方法，其特征在于，包括：

线下训练阶段，包括交替执行的内外两个循环：内循环中，对每一用户进行推荐预测，基于预测结果更新用户的模型参数；外循环中，利用所有用户的模型参数更新模型总体参数；线下训练阶段通过动态子图采样的方式对数据集进行采样，得到的训练数据；所述数据集包含了若干用户与不同物品之间的交互记录；

线下训练完毕后进入测试阶段，对于每一新用户，结合相关交互记录直接采用内循环的方式更新用户的模型参数。

2.根据权利要求1所述的一种面向冷启动用户的推荐元学习方法，其特征在于，所述动态子图采样的步骤包括：对于用户u，随机保留用户u的N个交互记录，并在交互图中暂时删去该用户u的其他交互记录，然后根据协同过滤模型的要求，在交互图上进行深度优先搜索最终得到该用户u的交互子图，该交互子图最终包含了经过删减的该用户的交互记录、以及经过深度搜索后得到的该用户的交互记录中的物品与其他用户的交互记录；其中，N是不超过上限K的随机数。

3.根据权利要求1所述的一种面向冷启动用户的推荐元学习方法，其特征在于，所述交互图中包含了用户与物品两类节点，用户节点与物品节点之间有一条边则表示这一对用户与相应物品发生了交互。

4.根据权利要求2所述的一种面向冷启动用户的推荐元学习方法，其特征在于，该方法还包括：

在所述交互图中对用户-物品交互二分图进行图表征，利用物品之间的相似度，计算用户u对未交互物品j的感兴趣程度I(u，j)＝∑_i∈N(u)-||z_i-z_j||²，其中，N(u)是与用户u有过交互的物品的集合，z_i、z_j分别是物品i、j的表征向量，-||z_i-z_j||²表示物品i和物品j的相似度；根据计算得到的用户u对于各个未交互物品的感兴趣程度进行排序，选择排序靠前的一部分物品加入到用户u的交互子图中。

5.根据权利要求1或2或3或4所述的一种面向冷启动用户的推荐元学习方法，其特征在于，内循环中，使用负采样的方法，将训练数据中没有出现过的交互记录视为负样本，出现过的交互记录视为正样本；

对正样本(u，i)与负样本(u，j)计算贝叶斯个性化排序损失，从而更新模型参数：

其中，σ是sigmoid函数，f是预测用户对物品兴趣的函数，θ为模型总体参数，u为用户，i、j分别为与用户u存在交互、未存在交互的物品；D_u是训练集中可观察到的用户u与其他物品的交互的集合。

6.根据权利要求5所述的一种面向冷启动用户的推荐元学习方法，其特征在于，每个内循环中对用户的模型参数进行T次更新，更新公式如下：

其中，t＝1，...，T；

表示第t次更新后的用户u的模型参数；α为内循环的学习率；

为求导符号，

表示J函数对于第t-1次更新后的用户u的模型参数

参数求导，

是在内循环阶段通过动态子图采样方式得到的针对用户u的交互数据和交互子图，其中交互数据为经过采样后该用户u和物品的交互记录。

7.根据权利要求5所述的一种面向冷启动用户的推荐元学习方法，其特征在于，外循环中，更新模型总体参数以及内循环的学习率，公式如下：

其中，β是外循环的学习率，B为用户集合，θ、θ′分别为本次更新前、后的模型总体参数；α、α′分别为本次更新前、后的内循环的学习率；

各自表示J函数对于本次更新前的模型总体参数θ、本次更新前的内循环的学习率α求导；

是通过动态子图采样方式得到的针对用户u的交互数据和交互子图，其中交互数据为经过采样后该用户和物品的交互记录。

Images