CN111949894B - 一种基于多空间交互的协同过滤个性化推荐方法 - Google Patents

Abstract

本发明公开一种基于多空间交互的协同过滤个性化推荐方法，将用户与项目映射到多个子空间，不同子空间从不同的角度来描述用户与项目的交互，能得到更加充分的用户项目交互特征信息；使用向量级注意力机制来给聚集的向量不同的权重，使聚集的用户表示向量和项目表示向量更合理；在将多个子空间的表示向量聚集成最终的用户与项目表示向量时，本发明使用空间级注意力机制给不同子空间不同的权重，最终聚集得到的用户表示向量和项目表示向量更加合理，以此提升个性推荐的效果。

Description

一种基于多空间交互的协同过滤个性化推荐方法

技术领域

本发明涉及个性化推荐技术领域，具体涉及一种基于多空间交互的协同过滤个性化推荐方法。

背景技术

近些年互联网发展迅速，在线数据内容呈现出爆炸式的增长，人们难以从海量数据中获取到目标内容，个性化推荐系统的出现极大的改善了这种获取心仪内容困难的问题。个性化推荐系统的目标就是通过海量的用户历史交互数据建模，预测出用户可能感兴趣的内容，从而缓解用户获取心仪内容困难的问题。当前的个性化推荐系统的研究主要从两个角度入手，一个角度是基于传统的协同过滤算法进行改进，通过引入表示学习等方法来增强用户向量与项目向量的表示能力；另一个角度通过引入深度学习来改进模型的推荐能力。然而现有的这些改进方法在进行特征提取时都是在单个子空间中提取用户与项目的特征信息，在特征提取时会遗漏部分信息，从而导致推荐效果欠佳。

目前已授权的发明专利“一种协同过滤推荐方法及系统”，公开号为CN105426392A，通过获取用户群组中每一个用户分别感兴趣的项目，确定每一个用户对其感兴趣的每一个项目的权重值，来最终确定推荐给每一个用户的项目列表。该发明专利在对用户项目交互信息进行特征提取的时候，没有考虑到用户与项目可能会从多个角度产生交互，不能充分利用用户项目的交互特征信息，使最后的推荐效果欠佳。

发明内容

本发明所要解决的是目前协同过滤推荐方法中推荐精度不高和推荐结果个性化程度低等问题，提供一种基于多空间交互的协同过滤个性化推荐方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于多空间交互的协同过滤个性化推荐方法，包括步骤如下：

步骤1、获取原始数据即用户-项目交互矩阵，并从该用户-项目交互矩阵中得到用户嵌入向量集合和项目嵌入向量集合；其中用户嵌入向量集合包括各用户j的用户嵌入向量u_j，其记录所有项目与用户j的交互情况；项目嵌入向量集合包括各项目k的项目嵌入向量i_k，其记录有所有用户与项目k的交互情况；

步骤2、将用户嵌入向量集合中的各用户嵌入向量u_j分别映射到T个不同的子空间中，得到各用户j在第t个子空间的用户子空间嵌入向量

同时，将项目嵌入向量集合中的各项目嵌入向量i_k分别映射到T个不同的子空间中，得到各项目k在第t个子空间的项目子空间嵌入向量/>

步骤3、对于各用户j，将与用户j发生过交互的项目的集合I_j中所有项目的项目子空间嵌入向量利用向量级注意力机制进行聚合，得到用户j在第t个子空间的用户表示向量

同时，对于各项目k，将与项目k发生过交互的用户的集合U_k中所有用户的用户子空间嵌入向量利用向量级注意力机制进行聚合，得到项目k在第t个子空间的项目表示向量/>

步骤4、对于各用户j，将用户j在所有子空间的用户表示向量

利用空间级注意力机制进行聚合，得到用户j的用户空间表示向量/>

同时，对于各项目k，将各项目k在所有子空间的项目表示向量/>

利用空间级注意力机制进行聚合，得到项目k的项目空间表示向量

步骤5、将各用户j的用户空间表示向量

和各项目k的项目空间表示向量/>

拼接成一个用户j对项目k的评分向量a_ij，并将评分向量a_ij送入到多层感知机预测得到用户j对项目k的评分值作为项目评分预测结果；

步骤6、对于待推荐的用户，将该用户的项目评分预测结果从大到小进行排序，并取排名前K的项目作为该用户的个性化推荐列表；

上述j＝1,2,…,M，M表示用户的数量；k＝1,2,…,N，N表示项目即商户的数量；t＝1,2,…,T，T表示子空间的数量。

上述用户j在第t个子空间的用户表示向量

为：

上述项目k在第t个子空间的项目表示向量

为：

式中，W_Value表示映射矩阵；

表示项目k的向量评分函数，u_j表示用户j的用户嵌入向量，/>

表示项目k在第t个子空间的项目子空间嵌入向量，I_j表示与用户j发生过交互的项目的集合，W_Value表示映射矩阵；/>

表示用户j的向量评分函数，i_k表示项目k的项目嵌入向量，/>

表示用户j在第t个子空间的用户子空间嵌入向量，U_k表示与项目k发生过交互的用户的集合；j＝1,2,…,M，M表示用户的数量；k＝1,2,…,N，N表示项目即商户的数量；t＝1,2,…,T，T表示子空间的数量。

上述用户j的用户空间表示向量

为：

上述项目k的项目空间表示向量

为：

式中，

表示用户j的空间评分函数，/>

表示用户j在第t个子空间的用户表示向量；/>

表示项目k的空间评分函数，/>

表示项目k在第t个子空间的项目表示向量；j＝1,2,…,M，M表示用户的数量；k＝1,2,…,N，N表示项目即商户的数量；t＝1,2,…,T，T表示子空间的数量。

与现有技术相比，本发明具有如下特点：

1、考虑到大部分已有的发明未能充分提取用户项目的交互特征，不能充分描述用户与项目的交互关系。本发明将用户与项目映射到多个子空间，不同子空间从不同的角度来描述用户与项目的交互，能得到更加充分的用户项目交互特征信息。

2、考虑到用户对不同项目的喜爱程度是不同的，项目受不同用户喜爱程度也不同。在使用项目向量聚集成用户表示向量、使用用户向量聚集成项目表示向量时，本发明使用向量级注意力机制来给聚集的向量不同的权重，使聚集的用户表示向量和项目表示向量更合理。

3、不同子空间是从不同角度来描述用户项目交互行为，而不同用户也有不同的行为偏好。在将多个子空间的表示向量聚集成最终的用户与项目表示向量时，本发明使用空间级注意力机制给不同子空间不同的权重，最终聚集得到的用户表示向量和项目表示向量更加合理。

附图说明

图1为一种基于多空间交互的协同过滤个性化推荐方法整体流程图。

图2为本发明的模型框架图。

图3为向量级注意力机制结构图(以用户部分为例)。

图4为空间级注意力机制结构图(以用户部分为例)。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

参见图1和2，一种基于多空间交互的协同过滤个性化推荐方法，具体包含以下：

步骤1：获取原始数据即用户-项目交互矩阵，并从该用户-项目交互矩阵中得到用户嵌入向量集合和项目嵌入向量集合。

原始数据为M×N的用户-项目交互矩阵；M表示用户的数量，N表示项目即商户的数量，其中商户包括餐馆，购物中心，酒店或旅游景点等；交互矩阵的j行k列的元素值表示用户j是否与项目k产生过交互，即用户对商户进行过评分，1表示有交互，0表示无交互。

使用一个全连接层神经网络将所有的用户和项目嵌入到低维稠密的向量子空间，得到所有用户与项目的嵌入向量。

1)用户部分：

用户嵌入向量集合包括各用户j的用户嵌入向量u_j，其中用户嵌入向量u_j记录所有项目与用户j的交互情况，1表示有交互，0表示无交互，j＝1,2,…,M。

2)项目部分：

项目嵌入向量集合包括各项目k的项目嵌入向量i_k，其中项目嵌入向量i_k记录有所有用户与项目k的交互情况，1表示有交互，0表示无交互，k＝1,2,…,N。

步骤2：分别将用户嵌入向量集合中的用户嵌入向量和项目嵌入向量集合中的项目嵌入向量映射到多个子空间。

为从多角度全面的提取用户-项目交互特征，本发明引入多子空间概念。通过T个权重不同的全连接层将用户和项目嵌入向量分别映射到相应的T个不同子空间中去。

1)用户部分：

用户j在第t个子空间的用户子空间嵌入向量

为：

其中，P_t∈P＝{P₁,P₂,...,P_T}作为全连接层的权重矩阵，

表示用户j的嵌入向量映射到子空间t后的新嵌入向量。

2)项目部分：

项目k在第t个子空间的项目子空间嵌入向量

为：

其中，Q_t∈Q＝{Q₁,Q₂,...,Q_T}作为全连接层的权重矩阵，

表示项目k嵌入向量映射到子空间t后的新嵌入向量。

步骤3：使用如图3所示的向量级注意力机制分别聚集生成单个子空间中的用户表示向量与项目表示向量。

1)用户部分：

将与用户j交互的项目集合I_j作为特征来聚合生成用户j在单个子空间中的表示向量。由于用户表示向量由产生过交互的项目向量聚合而成，而用户对每个项目的兴趣程度是不一致的，所以在使用项目向量来聚合生成用户表示向量时，对每个项目向量应当赋予不同权重值。我们使用一个向量级注意力机制来为单个子空间中的每个项目向量分配不同的权重。

在子空间t中，与用户j产生过交互的项目的嵌入向量为{i_k ^t|k∈I_j}，在此子空间中，项目k对用户j表示向量生成的贡献可以通过以下公式计算：

其中

是向量评分函数，用来为项目k打分。它可以定义为一个神经网络或其他的相似度计算函数，本专利直接使用内积来计算用户j的表示向量u_j和子空间t中项目k的表示向量/>

之间的相似度，因为内积简单且高效。W_Query和W_Key∈R^d'×d为通过模型的训练所得到的映射矩阵，其作用将用户j的表示向量u_j和子空间t中项目k的表示向量/>

从R^d映射到R^d′。

在得到子空间t所有项目向量的权重后，将它们聚合成用户j在子空间t的表示向量

其中W_Value∈R^d'×d为通过模型的训练所得到的映射矩阵。T个子空间能聚合T个用户表示向量

2)项目部分：

将与项目k交互的项目集合U_k作为特征来聚合生成项目k在单个子空间中的表示向量。由于项目表示向量由产生过交互的用户向量聚合而成，而项目受不同用户喜爱程度是不一致的，所以在使用用户向量聚合生成项目表示向量时，对每个用户向量应当赋予不同权重值。我们同样使用一个向量级注意力机制来为单个子空间中的每个用户向量分配不同的权重。

在子空间t中，与项目k产生过交互的用户的嵌入向量为

在此子空间中，用户j对项目k表示向量生成的贡献可以通过以下公式计算：

公式中：

是向量评分函数，用来为用户j打分。与用户部分相同，本专利使用内积来计算项目k的表示向量i_k和子空间t中用户j的表示向量/>

之间的相似度。W_Query和W_Key∈R^d'×d为通过模型的训练所得到的映射矩阵，将项目k的表示向量i_k和子空间t中用户j的表示向量/>

从R^d映射到R^d′。

在得到子空间t所有项目向量的权重后，将它们聚合成用户j在子空间t的表示向量

公式中：W_Value∈R^d'×d为通过模型的训练所得到的映射矩阵。T个子空间能聚合T个用户表示向量

S4：使用如图4所示的空间级注意力机制分别将多子空间用户与项目的表示向量聚集。

1)用户部分：

T个不同的子空间能从不同角度来聚合生成T个用户表示向量，在将T个用户的表示向量聚集成用户j最终的表示向量时，不同子空间的向量在聚合时所做的贡献也应该不同，因此使用一个空间级注意力机制来为不同的子空间分配不同的权重。

使用单个子空间聚合的用户表示向量

作为输入，为它们学习不同的权重值：

公式中：

为空间评分函数，使用一层神经网络计算/>

的得分。参数q为神经网络的权重，b为偏置，σ为ReLU函数是神经网络的激活函数。

得到所有子空间向量的权重值

后，按不同权重聚合每个子空间的表示向量：/>

对多子空间的用户表示向量加权聚合，我们得到了一个包含多个特征交互信息的用户表示向量

2)项目部分：

将T个项目的表示向量聚集成项目k最终的表示向量时，不同子空间的向量在聚合时所做的贡献也应该不同，因此也使用一个空间级注意力机制来为不同的子空间分配不同的权重。

使用单个子空间聚合的项目表示向量

作为输入，为它们学习不同的权重值：

公式中：

为空间评分函数，使用一层神经网络计算/>

的得分。参数q为神经网络的权重，b为偏置，σ为ReLU函数是神经网络的激活函数。

得到所有子空间向量的权重值

后，按不同权重聚合每个子空间的表示向量：

对多子空间的项目表示向量加权聚合，我们得到了一个包含多个特征交互信息的用户表示向量

S5：将用户空间表示向量

和项目空间表示向量/>

拼接后送入多层感知机(MLP)预测得到用户j对项目k的评分值作为项目评分预测结果。

首先将用户表示向量

和项目表示向量/>

拼接成一个向量：

然后将拼接后的向量送入有D个隐藏层的前馈神经网络F，前馈神经网络F的第d个隐藏层为f^d，它与上一隐藏层f^d-1的非线性函数表示为：

f^d＝σ(W^df^d-1+b^d) (16)

公式中：W^d与b^d为第d层的参数，f¹(x)＝a₀，σ为非线性激活函数ReLU。

最后得到用户j对项目k的评分预测值y'_jk：

y'_jk＝f^D(…f²(f¹(u_j,i_k))…) (17)

公式中：D为隐藏层的总数。

S6：对于待推荐的用户，将该用户的项目评分预测结果从大到小进行排序，并取排名前K的项目作为该用户的个性化推荐列表。

本发明将用户向量与项目向量映射至多个子空间，在多个子空间中进行用户项目交互特征提取，不同子空间相当于从不同的角度来进行用户项目特征交互信息提取，再通过注意力机制来按不同权重聚合多个子空间中的交互信息，以此提升个性推荐的效果。

为证明本发明的有效性，我们将本发明方法(MSICF模型)与下面两类方法(基线模型)进行了对比：矩阵分解类方法：PMF，BiasMF和LLORMA-Loca；自动编码类方法：AUTOREC和CF-NADE。

我们使用两个真实的公开数据集进行实验，它们分别是Yelp和Movielens-100K。两个数据集的基本统计数据见表1：

表1数据集统计

Yelp数据集收集了商家与用户之间的交互，主要用于为用户推荐其感兴趣的商家。该数据集包含1286个用户，2614个项目，以及30838个用户对商家的评分值。我们对数据集中历史评价数低于10个的用户与历史被评价数低于5个的项目进行剔除。剔除后剩余1224条用户数据，1434条项目数据。

Movielens-100k数据集是推荐系统经常用来做模型性能评估对比的公共数据集，该数据集为用户对电影的评分。我们使用的Movielens-100k数据集包含943条用户数据，1682个项目数据，以及100000个用户对电影的评分值。同样，我们对数据集中历史评价数低于20条的用户与被评价数低于20条的项目进行剔除。剔除后剩余879条用户数据，1434条项目数据。

我们将数据集划分为训练集和测试集两部分，随机从用户项目评分对中随机选取80％的用户项目评分对作为训练集，剩余20％作为测试集。

为了衡量模型的优劣，我们引入均方根误差(RMSE)和平均绝对误差(MAE)两个评价指标来评估模型的优劣。模型参数的改变会对模型的结果造成较大的影响，我们考虑设置多组参数来进行对比实验，以此探索参数对模型性能的影响。

为探索多子空间的引入与对模型预测能力的影响，我们把子空间数目设置为{1,2,3,4}。用户项目表示向量的维度不同也会也会对模型产生影响，我们分别设置{16,32,64,128}这几个维度来进行实验。对于最后的输出层，多层感知机的隐藏层数设置为{1,2,3}，学习率考虑{0.0005,0.001,0.002,0.0025}。L₂正则化参数设置和Dropout的参数分别设置为{0.0001,0.001,0.01}和{0.1,0.4,0.5,0.6}。

我们将本发明的MSICF模型与基线模型的结果进行比较，表2展示了所有模型预测结果的均方根误差(RMSE)和平均绝对误差(MAE)。

表2与基线模型对比结果

通过实验数据可以看出，MSICF模型的各项评估指标是优于所有的基线模型的。这也说明对比传统矩阵分解类方法和自动编码类方法，在引入多子空间交互后用户项目评分预测模型的预测能力有较明显的提升。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (3)

1.一种基于多空间交互的协同过滤个性化推荐方法，其特征是，包括步骤如下：

步骤1、获取原始数据即用户-项目交互矩阵，并从该用户-项目交互矩阵中得到用户嵌入向量集合和项目嵌入向量集合；其中用户嵌入向量集合包括各用户j的用户嵌入向量u_j，其记录所有项目与用户j的交互情况；项目嵌入向量集合包括各项目k的项目嵌入向量i_k，其记录有所有用户与项目k的交互情况；

步骤2、将用户嵌入向量集合中的各用户嵌入向量u_j分别映射到T个不同的子空间中，得到各用户j在第t个子空间的用户子空间嵌入向量

同时，将项目嵌入向量集合中的各项目嵌入向量i_k分别映射到T个不同的子空间中，得到各项目k在第t个子空间的项目子空间嵌入向量/>

步骤3、对于各用户j，将与用户j发生过交互的项目的集合I_j中所有项目的项目子空间嵌入向量利用向量级注意力机制进行聚合，得到用户j在第t个子空间的用户表示向量

同时，对于各项目k，将与项目k发生过交互的用户的集合U_k中所有用户的用户子空间嵌入向量利用向量级注意力机制进行聚合，得到项目k在第t个子空间的项目表示向量/>

步骤4、对于各用户j，将用户j在所有子空间的用户表示向量

利用空间级注意力机制进行聚合，得到用户j的用户空间表示向量/>

同时，对于各项目k，将各项目k在所有子空间的项目表示向量/>

利用空间级注意力机制进行聚合，得到项目k的项目空间表示向量/>

步骤5、将各用户j的用户空间表示向量

和各项目k的项目空间表示向量/>

拼接成一个用户j对项目k的评分向量a_ij，并将评分向量a_ij送入到多层感知机预测得到用户j对项目k的评分值作为项目评分预测结果；

步骤6、对于待推荐的用户，将该用户的项目评分预测结果从大到小进行排序，并取排名前K的项目作为该用户的个性化推荐列表；

上述j＝1,2,…,M，M表示用户的数量；k＝1,2,…,N，N表示项目即商户的数量；t＝1,2,…,T，T表示子空间的数量。

2.根据权利要求1所述的一种基于多空间交互的协同过滤个性化推荐方法，其特征是，步骤3中：

用户j在第t个子空间的用户表示向量

为：

项目k在第t个子空间的项目表示向量

为：

式中，W_Value表示映射矩阵；

表示项目k的向量评分函数，u_j表示用户j的用户嵌入向量，/>

表示项目k在第t个子空间的项目子空间嵌入向量，I_j表示与用户j发生过交互的项目的集合，W_Value表示映射矩阵；/>

表示用户j的向量评分函数，i_k表示项目k的项目嵌入向量，/>

表示用户j在第t个子空间的用户子空间嵌入向量，U_k表示与项目k发生过交互的用户的集合；j＝1,2,…,M，M表示用户的数量；k＝1,2,…,N，N表示项目即商户的数量；t＝1,2,…,T，T表示子空间的数量。

3.根据权利要求1所述的一种基于多空间交互的协同过滤个性化推荐方法，其特征是，步骤4中：

用户j的用户空间表示向量

为：

项目k的项目空间表示向量

为：

式中，

表示用户j的空间评分函数，/>

表示用户j在第t个子空间的用户表示向量；

表示项目k的空间评分函数，/>

表示项目k在第t个子空间的项目表示向量；j＝1,2,…,M，M表示用户的数量；k＝1,2,…,N，N表示项目即商户的数量；t＝1,2,…,T，T表示子空间的数量。/>

Images