CN110765363A - 一种基于高斯分布表示的深度推荐模型 - Google Patents

Abstract

本发明属于人工智能领域，具体为一种基于高斯分布表示的深度推荐模型。本发明推荐模型分为四层：依次为嵌入表示层、特征交互层、特征抽取层与预测层；在嵌入表示层产生目标用户u和待推荐物品v的高斯分布向量；在特征交互层通过蒙特卡洛采样法为u和v各生成同样数量的样本，每个用户样本向量和每个物品样本向量两两配对并组成一个交互特征立方体E；在特征抽取层通过搭建卷积神经网络和多层感知机网络，从E中提取出u和v的交互特征并进行压缩；在预测层用逻辑斯蒂（Sigmoid）函数计算最终的预测分数。本发明模型具有灵活的用户/物品表示特性，可实现对具有不确定偏好用户的精准推荐。

Description

一种基于高斯分布表示的深度推荐模型

技术领域

本发明属于人工智能领域，具体涉及一种基于高斯分布表示的深度推荐模型，以实现精准的个性化推荐。

背景技术

在当今的大数据时代，个性化推荐系统可以帮助用户从海量数据库中精确识别他们喜欢的商品，实现信息的精准过滤，已经展现出巨大的商业价值。代表性的传统推荐算法(模型)包括基于协同过滤的算法和基于矩阵分解的算法，而近几年流行的推荐模型则大多是与深度神经网络相结合的深度推荐模型。

协同过滤算法是业界推荐系统中使用最为广泛的推荐算法，它基于用户和物品的历史交互信息(例如评分、评论或购买记录)挖掘出用户之间、物品之间，以及用户与物品之间相似性或者潜在关联，从而实现目标用户与待推荐物品之间的匹配，产生推荐结果。协同过滤推荐算法可分为基于用户的协同过滤和基于物品的协同过滤两种模式。无论那种模式，要实现精准的推荐都离不开获取足够多的用户-物品交互记录这一前提，因而该类推荐算法经常面临数据稀疏性和冷启动的问题。

近年来，随着深度神经网络在图像识别、计算机视觉及自然语言处理等领域的成功应用，在推荐系统的研究领域中也产生了越来越多的深度模型，相比传统推荐模型效果有了显著提升。现有很多深度推荐模型都是基于原始的评分矩阵或用户与物品的历史交互信息生成用户和物品的表示向量(常称为嵌入向量embedding)，再通过计算目标用户向量与待推荐物品向量之间的交互分值(如求向量内积或通过输入前馈神经网络而得)来产生推荐结果。例如，DeepMF^[1]模型就是基于矩阵分解的深度推荐模型，它主要利用用户评分矩阵的行列向量通过多层神经网络进行特征提取，来获得用户/物品的隐式向量；NCF^[2]则是集成广义矩阵分解模型和多层感知器来预测基于协同过滤的隐式反馈，它使用多层神经网络来代替以往推荐模型中的向量乘积操作。这些模型利用深度神经网络出色的表征和泛化能力，极大地改进了现有推荐系统的效果。

尽管现有的很多深度推荐模型已被证明具有非常好的效果，但是它们还存在不足，一个重要问题就是这些模型中学出的用户/物品嵌入向量值是固定的(表现为特征空间中的一个固定点)，难以为具有不确定性的用户提供精准的推荐。

在推荐系统中，很多用户的偏好往往具有不确定性，这些不确定性主要体现在两方面：一是用户历史交互信息的缺失或稀疏造成的不确定性。如上文提到的冷启动问题，新注册的用户通常只有非常少的交互记录，很难从这些稀疏数据中获知新用户的偏好。二是对于获知了足够交互信息的用户，因其体现出多种不同的偏好类型，使得系统捉摸不透这类用户的主要偏好，也反映出用户偏好的不确定性。

下面举例来说明固定点向量表示的模型面对第二类不确定性用户时所产生的推荐问题。

如图1所示，假设用户u已经看过m₁和m₂两部电影，但这两部电影明显属于不同的类型(在图中由不同的颜色表示)，因此它们的固定点向量在二维特征空间中的位置距离较远。按照一般模型的用户表示机制，u的表示向量大致位于m₁和m₂的固定点向量位置的中间。对于待推荐的电影m₃和m₄，尽管m₃由于和m₁的类型相同因而更值得推荐给u，但因为m₄的向量位置更接近u的向量位置，造成m₄被错误地推荐给u。这一推荐失准问题主要是由于用户历史观影记录反映出其偏好的不确定性，而用户与电影的固定点向量表示却又不够灵活。

因此，本发明通过设计一种具有灵活的用户/物品表示机制的模型，来有效解决针对具有不确定偏好的用户的精准推荐问题。

发明内容

本发明的目的在于提供一种具有灵活的用户/物品表示机制、能实现精准个性化推荐的基于高斯分布表示的深度推荐模型。

本发明提供的基于高斯分布表示的深度推荐模型，其核心在于用高斯分布向量而不是固定点向量来表示用户和物品，即特征空间中每个用户或物品的表示都对应于一个高斯分布范围而不再是一个固定点。仍以图1为例，如果用户u和所有电影都变成由图中的椭圆虚线所示的区域范围来表示，则因为m₃的范围与u的范围有交集，而m₄没有，因此最终还是m₃被准确地推荐给u。图中u的表示变成了一个区域，该区域中的任何点位都可被认为对应其某种偏好特征，因而这种表示机制体现出对用户偏好不确定性的适应特点。

本发明提供的基于高斯分布表示的深度推荐模型，其设计架构如图2所示，分为四层(即四个模块)：依次为嵌入表示层、特征交互层、特征抽取层与预测层；一开始的嵌入表示层中产生目标用户u和待推荐物品v的高斯分布向量；然后在特征交互层，基于高斯分布，通过蒙特卡洛采样法^[3]为u和v各生成同样数量的样本，每个样本都是由同样维度的向量表示。每个用户样本向量和每个物品样本向量两两配对并组成一个交互特征立方体E；接着，在特征抽取层，通过搭建卷积神经网络和多层感知机网络，从E中提取出u和v的交互特征，并进行压缩；最后在预测层中，基于前一层提取的交互特征用逻辑斯蒂(Sigmoid)函数计算最终的预测分数。

下面分别详细阐述每层的设计与实现细节。

1.嵌入表示层

首先，将目标用户和待推荐物品表示为独热编码(one-hot)向量e_u和e_v，即向量中用户/物品的特征ID所对应维度上的值为1，其余维度的值为0。在没有用户/物品特征的情况下，可以仅使用用户/物品的编号；然后，通过随机初始化产生4个嵌入表示矩阵U、P、V和Q，再通过lookup操作得到u和v的高斯分布向量表示，即μ_u，∑_u和μ_v，∑_v。其中，μ向量表示高斯分布的均值向量，∑则是维度为D的协方差方阵。为了限制模型的复杂度并且减少计算开销，假设高斯分布的各维度特征是不相关的。因此，由于方阵∑除对角线外的元素都是0，其可被认为是对角协方差矩阵diag(∑₁，∑₂，...，∑_D)，进而可以由一个D维向量取代该方阵。U、P、V和Q这4个矩阵包含了所有用户和物品的高斯分布向量，其值通过模型训练不断调整。

2.特征交互层

利用上一层产生的μ_u，∑_u和μ_v，∑_v(都是D维向量)，用蒙特卡洛采样方法^[3]为u和v分别采样出K个样本，而每个样本都由一个向量z表示。具体做法是用重参数化技术(reparameterization trick)^[4]来获得用户u的第i个样本的向量，计算公式如下：

其中，∈～N(μ_v，∑_v)是一个辅助的噪音变量，每次采样时都从一个标准正态分布中来采样它。物品v的样本向量同样用此方法产生:

每个用户的样本向量都与每个物品的样本向量配对组合，则可以产生K²对样本

并将每对样本中的两个向量串联成一个向量

该向量即包含了u与v的交互特征。在此，也可采用向量内积、外积等其他操作来获取交互特征，但串联操作可以保留更多原始特征，因而优先采用。

K²对样本的交互特征向量构成了一个大小为K×K×D的立方体(张量)E，我们称其为u与v的交互特征图。E中每个单元E_(i，j)就是

对所有单元的计算结果就反映了u与v的匹配程度，是模型最终输出

的计算依据。

3.特征抽取层

在本层中构建多层的卷积神经网络(CNN)和多层感知机，以实现特征提取及压缩。

首先构建CNN，其输入是前一个特征交互层的输出，即立方体E。我们将E类比为一个包含许多像素特征的图像，通过卷积操作来提取其局部特征。具体来说，对于每一层的卷积，使用T个卷积核

来提取局部特征。这里的l_k×l_k是卷积核感受野(kernelwindow)的大小，c则是当前层的通道(channel)数。以第一层CNN为例，将E输入到网络中，按如下方法获得第一层的输出：

其中,

是卷积核，

就是卷积核的卷积操作，而b₁是偏置项。对于剩下的卷积神经网络的每一层，其输入就是上一层的输出。将CNN的最后一层输出表示为S_L，所有S_L的特征都会被展平为一个向量以便后续计算(T个卷积核使得输出有T层深)。之后，再使用多层感知机继续提取特征并压缩特征维度,得到输出向量s，如下：

其中,

为特征提取层的最终输出，而

则是上一层输出的第i个特征图。在模型实现中，本发明采用2层CNN(L＝2)，第一层的＝1，第二层的＝2，感知机也使用了2层。CNN与MLP中的参数与模型前一层中的向量参数一起训练(具体目标函数与优化方法见下文)。

4.预测层

在本层中，基于上层产生的s输入单层感知机，并使用Sigmoid函数σ来计算最终的预测分数

如下：

其中，

用来保证最终的输出概率在0和1之间；

是单层感知机的权重矩阵，b是其偏差项。根据最终的

推荐系统可以决定v是否值得推荐给u。

以上构建的模型在训练时，采用二元交叉熵(binary cross-entropy)作为损失(目标)函数，并用Adam^[5]作为优化方法。

本发明的特点：

将高斯分布表示中的协方差方阵∑转换为D维向量的操作。

基于目标用户和待推荐物品的高斯分布向量，用蒙特卡洛方法同时对它们进行K次采样，得到K²对样本向量，这些向量表征了用户与物品的交互特征。

将K²对样本向量组成交互特征图E。

通过设计多层卷积神经网络来提取并压缩用户与物品的交互特征图中特征，且卷积操作的结果作为计算目标用户与待推荐物品匹配程度的依据。

与现有技术相比，本发明的技术优点在于：

1、如图1示例所表明，本发明采用高斯分布来表示用户和物品的做法，更适用于针对偏好不确定的用户的推荐场景。并通过科学实验已经证明本发明模型所学出的高斯分布向量∑_u能真实地反映用户偏好的不确定程度；

2、已有的使用高斯分布来表示各种对象(包括用户和物品)的模型中，计算对象间相关性的方法都是基于排序的，并不适用于推荐场景中的评分预测任务。而本发明中用CNN加多层感知机来计算E中用户与物品间交互特征的方法不仅有效、高效，而且既适用于二分类的隐式反馈(implicit feedback)，也可用于物品评分预测的推荐任务。

附图说明

图1为固定点向量表示用户和物品带来的推荐问题图示。

图2为本发明的深度模型框架图示。

具体实施方式

下面通过具体例子和对比进一步介绍本发明及其优越性。

1、验证模型的实验参数设置

针对本发明模型的三个重要超参数，即嵌入向量的维度D，蒙特卡罗采样的样本数K和CNN的卷积核数T，我们做了调参实验。实验中使用的数据集为其他推荐系统实验中流行的电影数据集MovieLens，衡量模型推荐效果则是为推荐结果的前n个物品计算HitRatio(HR)和normalized DiscountedCumulative Gain(nDCG)。调参实验结果如表1所示：

表1：模型调参实验结果

从表1可以看出，较大的D和T会让模型有更好的推荐性能，符合对神经网络的普遍认知，即更大更深的网络有更强的能力，且嵌入向量的维度越大越能保留更多的特征。但采样次数K与最终推荐效果并不完全线性正相关，可能是由于较大的K使得交互特征图矩阵E中的参数量过于庞大，使得学习条件更加苛刻。根据表1结果，本推荐模型的最优参数设置为D＝64，K＝9，T＝64。

2、实验结果及分析

(1)整体推荐性能对比

除了MovieLens，验证本模型的实验还使用了亚马逊音乐(Amazon Music)数据集。以下实验结果数据表中的@3表示前3个推荐物品的准确度分数。表2和表3列出了本模型(简称为GeRec)与7个对比模型在两个数据集上的推荐性能分数。

表2：模型在MovieLens数据集上的性能对比

表3：模型在亚马逊音乐数据集上的性能对比

表中结果表明，本发明的推荐模型GeRec在各项指标上都取得了最佳表现。对比模型中，除MF-BPR外，余下的均是近几年新提出的深度推荐模型，在它们的基础上能实现即便是1％的性能提升也是一个很有挑战性的任务。

GeRec模型相对于MF-BPR、NCF、ConvNCF和DeepCF模型的优势可以证明：基于高斯分布的向量表示比固定点的向量表示能更好地刻画用户和物品，从而产生更精确的推荐结果；而相对于NAIS的优势证明：虽然在NAIS中基于注意力机制的嵌入也是相对于固定点来说比较灵活的用户表示，但它们的表现仍然不如高斯分布向量；此外，GeRec也要优于GER和MoG，表明：本发明提出的使用CNN来有效提取和压缩用户与物品的交互特征(存在E中)，相比同为基于高斯分布表示的GER和MoG模型中的操作更加有效。

(2)高斯分布向量对用户偏好不确定性的刻画能力

为了验证本发明模型中的高斯分布向量表示能很好地捕捉用户具偏好的不确定性，我们按如下步骤进行实验设计。

首先，针对上文所述的第一类不确定性用户，我们设计一个能表征其偏好不确定性大小的量化指标o₁，计算如下：

o₁＝log₁₀(#interaction) (公式5)

其中，#interaction是用户的历史交互记录数。因此，o₁越小表明用户的第一类偏好不确定性越明显。根据o₁的值将全体用户分成六个小组。

对于第二类不确定性用户，我们按如下方式计算能表征其偏好不确定性大小的量化指标o₂。首先，以电影推荐为例，对于用户u评分过的每对电影(m_i，m_j)，假设G_i和G_j分别是m_i，m_j的体裁集合。例如，电影泰坦尼克号的体裁集合为“剧情、爱情、灾难”。然后，我们用类似杰卡德相似度(Jaccardcoefficient)的公式计算：

最后，使用u评分过的所有电影对的平均o_ij值作为u的o₂。因此，更大的o₂表示u喜欢的电影体裁更多，因此其偏好的第二类不确定性更大。我们同样根据o₂的值将全体用户分成六个小组。表4展示了针对MovieLens数据集实验而得的结果，其中的方差是本模型学习出的每组用户的平均高斯分布方差。实验结果表明该方差与o₁成反比，而与o₂成正比，充分表明了本模型的高斯分布能准确地捕捉两类用户偏好的不确定性。

表4：具有不确定性用户的高斯方差

参考文献：

1.Hong Jian Xue,Xin Yu Dai,Jianbing Zhang,Shujian Huang,and JiajunChen.Deep matrix

2.factorization models for recommender systems.In Proc.of IJCAI,2017.

3.Xiangnan He,Lizi Liao,Hanwang Zhang,LiqiangNie,Xia Hu,and Tat SengChua.Neural collaborative filtering.In Proc.of WWW,2017.

4.W.K.Hastings.Monte carlo sampling methods using markov chains andtheir applications.Biometrika,pages 97–109,1970.

5.Diederik P Kingma and Max Welling.Auto-encoding variationalbayes.arXiv preprint arXiv:1312.6114,2013.

6.Kingma,D.P.and Ba,J.,2014.Adam:A method for stochasticoptimization.In arXiv:1412.6980,2014。

Claims (6)

1.一种基于高斯分布表示的深度推荐模型，其特征在于，用高斯分布向量来表示用户和物品，即特征空间中每个用户或物品的表示都对应于一个高斯分布范围；模型共分为四层：依次为嵌入表示层、特征交互层、特征抽取层与预测层；其中：

在嵌入表示层，产生目标用户u和待推荐物品v的高斯分布向量；

在特征交互层，基于高斯分布，通过蒙特卡洛采样法为u和v各生成同样数量的样本，每个样本都是由同样维度的向量表示；每个用户样本向量和每个物品样本向量两两配对并组成一个交互特征立方体E；

在特征抽取层，通过搭建卷积神经网络和多层感知机网络，从E中提取出u和v的交互特征，并进行压缩；

在预测层，基于前一层提取的交互特征用Sigmoid函数计算最终的预测分数。

2.根据权利要求1所述的基于高斯分布表示的深度推荐模型，其特征在于，在嵌入表示层，产生目标用户u和待推荐物品v的高斯分布向量的过程如下：

首先，将目标用户和待推荐物品表示为独热编码向量e_u和e_v，即向量中用户/物品的特征ID所对应维度上的值为1，其他维度的值为0；在没有用户/物品特征的情况下，仅使用用户/物品的编号；

然后，利用4个嵌入表示矩阵U、P、V和Q，通过lookup操作得到u和v的高斯分布向量表示，即μ_u，∑_u和μ_v，∑_v；其中，μ向量表示高斯分布的均值向量，∑是维度为D的协方差方阵；假设高斯分布的各维度特征是不相关的，方阵∑除对角线外的元素都是0，被认为是对角协方差矩阵diag(∑₁，∑₂，...，∑_D)，因此可由一个D维向量取代该方阵。

3.根据权利要求2所述的基于高斯分布表示的深度推荐模型，其特征在于，在特征交互层，组成一个交互特征立方体E的过程如下：

利用上一层产生的D维向量μ_u，∑_u和μ_v，∑_v，用蒙特卡洛采样方法为u和v分别采样出K个样本，而每个样本都由一个向量z表示；具体做法是用重参数化技术来获得用户u的第i个样本的向量，计算公式如下：

其中，∈～N(μ_v，∑_v)是一个辅助的噪音变量，每次采样时都从一个标准正态分布中来采样它；物品v的样本向量同样用此方法产生:

每个用户的样本向量都与每个物品的样本向量配对组合，则产生K²对样本

并将每对样本中的两个向量串联成一个向量

该向量即包含了u与v的交互特征；

K²对样本的交互特征向量构成一个大小为K×K×D的立方体E，称其为u与v的交互特征图；E中每个单元E_(i，j)就是

对所有单元的计算结果就反映u与v的匹配程度，是模型最终输出

的计算依据。

4.根据权利要求3所述的基于高斯分布表示的深度推荐模型，其特征在于，在特征抽取层，从E中提取出u和v的交互特征，并进行压缩的过程如下：

首先，构建CNN，其输入是前一个特征交互层的输出，即立方体E；将E类比为一个包含许多像素特征的图像，通过卷积操作来提取其局部特征；即，对于每一层的卷积，使用T个卷积核来提取局部特征；这里的l_k×l_k是卷积核感受野的大小，c是当前层的通道数；对于第一层CNN，将E输入到网络中，按如下方法获得第一层的输出：

其中,

是卷积核，

就是卷积核的卷积操作，b₁是偏置项；对于剩下的卷积神经网络的每一层，其输入就是上一层的输出；将CNN的最后一层输出表示为S_L，所有S_L的特征都被展平为一个向量，以便后续计算；T个卷积核使得输出有T层深；之后，再使用多层感知机继续提取特征并压缩特征维度,得到输出向量s，如下：

其中,

为特征提取层的最终输出，

是上一层输出的第i个特征图。

5.根据权利要求4所述的基于高斯分布表示的深度推荐模型，其特征在于，在预测层，对于提取的交互特征采用Sigmoid函数计算最终的预测分数的具体过程如下：

其中，Sigmoid函数

用来保证最终的输出概率在0和1之间；

是单层感知机的权重矩阵，b是其偏差项；根据最终的

推荐系统决定v是否值得推荐给u。

6.根据权利要求4所述的基于高斯分布表示的深度推荐模型，其特征在于，在构建的模型在训练时，采用二元交叉熵作为损失函数，并用Adam作为优化方法。

Images