CN108287904A

CN108287904A - 一种基于社会化卷积矩阵分解的文档上下文感知推荐方法

Info

Publication number: CN108287904A
Application number: CN201810076808.6A
Authority: CN
Inventors: 徐光侠; 何李杰; 刘俊; 马创; 常光辉; 解绍词; 陶荆朝
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2018-05-09
Filing date: 2018-05-09
Publication date: 2018-07-17

Abstract

本发明公开了一种基于社会化卷积矩阵分解的文档上下文感知推荐方法，该方法首先利用卷积神经网络(CNN)捕获物品描述文档的上下文信息，并将获得的上下文特征向量和高斯噪声一起作为项目的潜在向量；然后利用用户的兴趣爱好更容易受到其所信任的朋友的影响(具有直接链接关系)的特点，通过计算其好友的潜在特征向量的平均值来确定目标用户的潜在特征向量；最后根据用户和项目的联合概率分布函数预测出用户对项目的评分信息。该方法以概率的角度将CNN无缝集成到基于矩阵分解技术的社会化推荐(SocialMF)中，这使得它能在学习过程中进一步识别出与目标用户具有信任关系并且兴趣比较接近的朋友，从而达到优化推荐结果的目的。

Description

一种基于社会化卷积矩阵分解的文档上下文感知推荐方法

技术领域

本发明涉及协同过滤推荐技术领域。具体涉及一种基于社会化卷积矩阵分解的文档上下文感知推荐方法。

背景技术

推荐系统作为个性化服务的重要实现技术之一，其中，推荐算法是整个推荐系统的核心，决定了推荐系统性能的优劣。现在主流的推荐系统主要包括：基于内容的推荐、协同过滤推荐、基于知识的推荐和混合推荐。但，随着电子商务服务中用户和项目数量的爆炸性增长，增加了用户对项目评级数据的稀疏性。最终，这种稀疏性降低了传统协同过滤技术的评估预测精度。为了提高推荐系统的精度，很多推荐算法不只是运用评分数据，还包括用户的基本信息，社交信息或项目的描述文本等信息来提高系统的准确率。

近年来，随着诸如Facebook，Twitter等社会媒体的兴起，利用用户间的社会关系进行推荐的方法，逐渐成为推荐领域的研究热点。这类方法在推荐过程中假设用户的决策过程容易受到信任关系或朋友关系的影响，相互信任的朋友之间具有相近的兴趣爱好。例如，Ma等人研究了如何利用用户间的信任关系来进一步提高传统推荐算法的性能，并给出了一种能够将信任关系信息进行融合的概率矩阵分解框架，即提出了一种联合概率矩阵分解(Unified Probabilistic Matrix Factorization,UPMF)方法。然而这些方法都忽略了文本上下文对推荐的影响。

最近，研究者们已经提出了基于文档建模方法，如利用潜在狄利克雷(LDA)主题模型和堆栈去噪自动编码器(SDAE)的方法来利用项目描述文档，诸如评论，摘要或概要的上下文信息。具体来说，Wang等人提出的协作主题回归(CTR)，其结合了主题建模(LDA)和协同过滤的概率方法。还有学者提出了不同的CTR，将LDA整合到协同过滤中，以不同的集成方法分析项目描述文档。最近，Wang等人提出了将SDAE集成到概率矩阵分解(PMF)中的协同深度学习(CDL)，从而在评分预测精度方面产生更准确的潜在模型。然而这些方法没有考虑到用户之间信任关系的影响。如何有效利用项目的文档上下文信息和用户的信任关系来提高推荐的成功率和准确率，是目前亟待解决的问题。

发明内容

为了提高评分预测的准确性从而有效的提高推荐的成功率和精准度，本发明的目的在于提供一种基于社会化卷积矩阵分解的文档上下文感知推荐方法。该方法首先生成有效反映项目描述文档的上下文信息的项目潜在模型，并以概率的角度将CNN无缝集成到基于矩阵分解技术的社会化推荐中，这使得它能在学习过程中进一步识别出与目标用户具有信任关系并且兴趣比较接近的朋友，从而达到优化推荐结果的目的。

为了实现上述目的本发明采用如下技术方案：一种基于社会化卷积矩阵分解的文档上下文感知推荐方法，包括以下步骤：

S1：收集用户的基本信息数据集X，并进行了预处理；

S2：将原始的文档上下文信息通过卷积神经网络(CNN)架构中的嵌入层转换为数字矩阵D；

S3：利用S2生成的数字矩阵D，通过卷积层提取出上下文权重W；并提取出具有代表性的特征，通过构建固定长度特征向量的池操作来处理可变长度的文档；

S4：经过S2，S3得到的每个文档的潜在向量S_j作为平均值可以得到项目的潜在特征向量；

S5：通过计算其好友的潜在特征向量的平均值可以得到目标用户的潜在特征向量；

S6：经过贝叶斯推断可以得到用户和项目的联合概率分布，最后可以综合利用那些与目标用户之间具有信任关系的用户的评分以及项目的文档上下文信息进行推荐。

在以上步骤中，用户的基本信息数据集X为：X＝[用户对项目的评分矩阵、用户属性、项目的描述文档、用户的好友集合、用户的信任关系集合]。

CNN体系结构的目标是从项目文档中生成文档潜在向量，用于构造具有变量的项目潜在模型。我们的CNN架构由四层组成：1)嵌入层，2)卷积层，3)池层，4)输出层。其中，嵌入层将原始文档转换成表示下一个卷积层的文档的密集数字矩阵D为：

S21：嵌入层将原始文档转换成表示下一个卷积层的文档的密集数字矩阵。详细地说，关于该文件作为l个单词的序列，我们通过连接文档中的单词的向量来将文档表示为矩阵。

S22：然后将单词向量随机初始化或初始化用训练前的单词嵌入模型，通过优化过程进一步训练单词向量。然后，文档矩阵变成：

其中l是文档的长度，p表示每个词w_i的嵌入维数的大小。

进一步地，卷积层提取的上下文特征W计算过程为：

S31：通过第j个共享权重来提取上下文特征其中，窗口大小ws确定了周围词的数量：

其中，*是一个卷积运算符，是的一个偏差，f是是非线性激活函数。

S32：我们使用不饱和非线性的神经元为修正线性单元ReLU(RectifiedLinearUnits)来避免梯度消失的问题，导致优化收敛速度慢，并可能导致局部最小值。然后，具有文档的上下文向量为：

其中每个上下文特征向量具有可变长度(即，l-ws+1上下文特征)。

S33：一个共享权重捕捉一种类型的上下文特征。因此，我们使用多个共享权重来捕获多种类型的上下文特征，这使得我们能够生成与W_c的数量n_c具有相同的上下文特征向量。(即其中j＝1,2,…,n_c)。

S34：我们利用max-pooling，通过从每个上下文特征向量中提取最大上下文特征，将文档的表示形式减少为n_c固定长度向量。

其中c_j是由第j个共享权重提取的长度l-ws+1的上下文特征向量。

上述步骤S4中所述项目的潜在特征向量的构建过程为：

S41：经过步骤S2，S3，我们在用户和项目潜在模型的k维空间上投影d_f用于我们的推荐任务，最终通过使用传统的非线性投影产生文档潜向矢量。

s＝tanh(W_f2{tanh(W_f1d_f+b_f1)}+b_f2)

其中是投影矩阵，是W_f1，W_f2和的偏向量。

S42：经过步骤S41，我们的CNN体系结构成为一个以原始文档为输入的函数，并将每个文档的潜在向量作为输出返回：

s_j＝cnn(W,X_j)

其中W表示防止混乱的所有权重和偏差变量，并且X_j表示项目j的原始文档，并且s_j表示项目j的文档潜在向量。

S43：使用ε变量为高斯噪声，这使得我们可以进一步优化项目潜在模型的评级。因此，通过以下等式获得最终项目潜在模型：

v_j＝cnn(W,X_j)+ε_j

其中，

S44：对于W中的每个权重W_K，放置到重用的先验模型，即零均值球形高斯先验：

因此，项目潜在模型的条件分布由下式给出：

步骤S5所述目标用户的潜在特征向量的计算为：

S51：假设用户的兴趣爱好更容易受到其所信任的朋友的影响(具有直接链接关系)，并且目标用户的潜在特征向量可以通过计算其朋友的潜在特征向量的平均值来得到，对于任意一个用户u_i来说，其特征向量可以表示为：

其中，所要估计的用户u_i的特征向量，N_i是用户u_i所信任的朋友集合，s_i,t是用户u_i对用户u_t的信任值。

S52：用户的特征U主要由以下两方面的信息决定：1)为了防止过拟合，所采用的均值为0的高斯先验；2)能反映出用户所信任朋友的特征向量的条件概率分布。因此可以得到如下：

最后，通过步骤S6可以得到U,V的联合概率分布：

本发明首先利用用户之间的信任关系进行关联，然后捕获文档中单词的微妙上下文差异，最后再利用那些与目标用户之间具有信任关系的用户的评分和项目的文档上下文进行推荐方法。该方法有效地提高了推荐的准确性和可靠性，同时缓解了推荐过程中可能存在的数据稀疏性以及冷启动问题。

附图说明

本发明的上述和/或附加的方面和优点，结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明的整体流程示意图；

图2是本发明的CNN体系架构示意图；

图3是本发明的社会化卷积矩阵模型图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的含义。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

图1是本发明的整体流程结构示意图。如图所示，本发明提供一种基于社会化卷积矩阵分解的文档上下文感知推荐方法。首先利用卷积神经网络(CNN)捕获物品描述文档的上下文信息，并将获得的上下文特征向量和高斯噪声一起作为项目的潜在向量模型；然后利用用户的兴趣爱好更容易受到其所信任的朋友的影响(具有直接链接关系)的特点，通过计算其好友的潜在特征向量的平均值来确定目标用户的潜在特征向量；最后根据用户和项目的联合概率分布函数预测出用户对项目的评分信息。具体步聚如下：

S1：收集用户的基本信息数据集X，并进行了预处理；

S7：预测出用户对未知项目的评分。

本发明融合用户之间的信任关系以及项目的文档上下文信息，实现了一种新颖的融合文档上下文感知的社会化推荐模型。从而有效的提高了推荐的成功率和精准度。该方法一方面使用项目的文档上下文信息可以进一步缓解评分稀疏性来带的推荐准确度低的问题；另一方面，相对于相似近邻的冷启动用户，可以从可能的好友集中为其挑选推荐候选，从而在一定程度上降低冷启动用户存在的可能性。

图2是本发明的CNN体系架构示意图。如图所示，CNN体系结构的目标是从项目文档中生成文档潜在向量，用于构造具有ε变量的项目潜在模型。首先，嵌入层将原始文档转换成表示下一个卷积层的文档的密集数字矩阵。详细地说，关于该文件作为l个单词的序列，我们通过连接文档中的单词的向量来将文档表示为矩阵。文档矩阵变成：

然后，使用卷积层提取上下文特征。通过第j个共享权重来提取上下文特征其中，窗口大小ws确定了周围词的数量我们使用不饱和非线性的神经元为修正线性单元ReLU(Rectified Linear Units)来避免梯度消失的问题，导致优化收敛速度慢，并可能导致局部最小值。具有文档的上下文向量

之后，池化层从卷积层提取代表性的特征，并且还通过构建固定长度特征向量的池操作来处理可变长度的文档。在卷积层之后，文档被表示为n_c上下文特征向量，其中每个上下文特征向量具有可变长度(即，l-ws+1上下文特征)。然而，这种表示方式有两个问题：1)上下文特征c_i太多，其中大多数语境特征可能无助于提高性能，2)上下文特征向量的长度变化，这使得难以构建以下层。因此，我们利用max-pooling，通过从每个上下文特征向量中提取最大上下文特征，将文档的表示形式减少为n_c固定长度向量。

最后，在输出层，从上一层获得的高级特征应该转换为特定的任务。因此，我们在用户和项目潜在模型的k维空间上投影d_f用于我们的推荐任务，最终通过使用传统的非线性投影产生文档潜向矢量。

s＝tanh(W_f2{tanh(W_f1d_f+b_f1)}+b_f2)

最终，通过上述过程，我们的CNN体系结构成为一个以原始文档为输入的函数，并将每个文档的潜在向量作为输出返回：s_j＝cnn(W,X_j)

本发明根据卷积神经网络(CNN)捕获物品描述文档的上下文信息，并将获得的上下文特征向量和高斯噪声一起作为项目的潜在向量模型。从而有效的缓解评分稀疏带来的推荐精确度低下的问题。

图3是本发明的社会化卷积矩阵模型图。如图左边框图所示，首先通过卷积神经网络(CNN)捕获物品描述文档的上下文信息，并将获得的上下文特征向量和高斯噪声一起作为项目的潜在向量模型。假设项目item潜在特征矩阵由三个变量产生：1)在CNN中内部权重W；2)X_j代表项目j的文件；3)ε变量为高斯噪声，这使得我们可以进一步优化项目潜在模型的评级。因此，通过以下等式获得最终项目潜在模型。v_j＝cnn(W,X_j)+ε_j。从而给出项目潜在模型的条件分布由下式给出：

然后，如图右边框图所示，计算用户的潜在特征向量。用户的特征U主要由以下两方面的信息决定：1)为了防止过拟合，所采用的均值为0的高斯先验；2)能反映出用户所信任朋友的特征向量的条件概率分布。因此可以得到如下。

最后，假设有N个用户和M个项目，以及显示的评分矩阵用矩阵来表示。然后，我们找到用户和物品的潜在模型并通过重构评分矩阵R。为了分析用户间的社会关系对推荐结果产生的影响，并优化用户潜在模型，项目潜在模型，SocialMF方法使用共享的用户特征空间将用户间的社会关系S，已经CNN权重和偏差变量等变量评分信息R巧妙的结合在一起，通过对这三部分信息进行联合分解，识别出在评分上比较相近并且具有社会关系的用户来进行推荐，经过贝叶斯推断，可以得到U,V的联合概率分布。对公式求对数进一步得到目标函数。从而可以很好的综合用户之间的信任关系和项目的文档上下文信息进行推荐。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims

1.一种基于社会化卷积矩阵分解的文档上下文感知推荐方法，其特征在于，包括以下步骤：

S1：收集用户的基本信息数据集X，并进行了预处理；

2.根据权利要求1所述一种基于社会化卷积矩阵分解的文档上下文感知推荐方法，其特征在于：步骤S1所述用户的基本信息数据集X为：X＝[用户对项目的评分矩阵、用户属性、项目的描述文档、用户的好友集合、用户的信任关系集合]。

3.根据权利要求1所述一种基于社会化卷积矩阵分解的文档上下文感知推荐方法，其特征在于：步骤S2所述原始的文档上下文信息转换数字矩阵D为：

其中l是文档的长度，p表示每个词w_i的嵌入维数的大小。

4.根据权利要求1所述一种基于社会化卷积矩阵分解的文档上下文感知推荐方法，其特征在于：步骤S3所述上下文权重W计算过程为：

其中，*是一个卷积运算符，是W_c ^j的一个偏差，f是是非线性激活函数。

S32：我们使用不饱和非线性的神经元为修正线性单元ReLU(Rectified LinearUnits)来避免梯度消失的问题，导致优化收敛速度慢，并可能导致局部最小值。然后，具有W_c ^j文档的上下文向量为：

S33：一个共享权重捕捉一种类型的上下文特征。因此，我们使用多个共享权重来捕获多种类型的上下文特征，这使得我们能够生成与W_c的数量n_c具有相同的上下文特征向量。(即W_c ^j，其中j＝1,2,…,n_c)。

其中c_j是由第j个共享权重W_c ^j提取的长度l-ws+1的上下文特征向量。

5.根据权利要求1所述一种基于社会化卷积矩阵分解的文档上下文感知推荐方法，其特征在于：步骤S4所述项目的潜在特征向量的构建过程为：

s＝tanh(W_f2{tanh(W_f1d_f+b_f1)}+b_f2)

其中是投影矩阵，是W_f1，W_f2和的偏向量。

s_j＝cnn(W,X_j)

S43：使用ε变量为高斯噪声，这使得我们可以进一步优化项目潜在模型的评级。因此，通过以下等式获得最终项目潜在模型为：

v_j＝cnn(W,X_j)+ε_j

其中，

因此，项目潜在模型的条件分布由下式给出：

6.根据权利要求1所述一种基于社会化卷积矩阵分解的文档上下文感知推荐方法，其特征在于：步骤S5所述目标用户的潜在特征向量的计算为：

7.根据权利要求6所述一种基于社会化卷积矩阵分解的文档上下文感知推荐方法，其特征在于：步骤S6所述用户和项目的联合概率分布为：

S61：假设有N个用户和M个项目，以及显示的评分矩阵用矩阵来表示；

S62：然后，我们找到用户和物品的潜在模型并通过重构评分矩阵R。评分矩阵的条件概率分布如下所示：

其中，N(x|μ,σ²)是高斯正态分布的均值μ和方差σ²的概率密度函数，I_i,j是指标函数；

S63：经过贝叶斯推断，可以得到U,V的联合概率分布：

S64：通过求解S63中公式的对数形式，然后去掉与参数无关的项，我们可以进一步得到目标函数：

其中，表示Frobenius范数。