CN103903163A - 一种基于耦合主题模型的协同滤波方法 - Google Patents

Abstract

本发明公开了一种基于耦合主题模型的协同滤波方法，用于在推荐系统中有效结合历史评分信息与用户生成内容(User-generated Content，简称UGC)，通过进行评分预测进行有效推荐。该方法包括以下步骤：1)获取用户生成内容的记录；2)获取用户对产品的评分记录；3)提取用户文档和产品文档；4)利用耦合主题模型学习用户特征向量和产品特征向量；5)根据特征向量计算目标用户对不同产品的评分，来进行相应的产品推荐。本发明引入对用户生成内容信息的分析，能够直接的显式的发现用户兴趣和产品属性，而且有效解决了评分矩阵的稀疏问题，获得比基于用户评分信息的预测更准确的效果。

Description

一种基于耦合主题模型的协同滤波方法

技术领域

本发明涉及互联网产品的信息推荐领域，特别针对网站系统中同时存在用户生成内容信息以及用户评分信息，如何有效利用用户生成内容并同时结合历史评分信息，准确分析用户偏好和产品属性，为目标用户进行个性化信息产品推荐。

背景技术

随着互联网技术与web2.0的深入发展，用户生成内容(User-generatedContent，简称UGC)逐渐成为一种新型的主流网络信息资源。用户生成内容泛指以任何形式在网络上发表的由用户创作的文字、图片、音频、视频等内容，本发明主要针对推荐系统的用户生成内容进行分析，即特定用户对特定产品的UGC，比如推荐系统中用户对产品的标签或评论。

近年来，矩阵分解方法在推荐系统中得到了比较广泛的应用。矩阵分解对每个用户和产品学习一个相应的特征向量，来分别表征用户偏好和产品属性。然后利用学习到的特征向量进行产品推荐。但是传统矩阵分解方法只考虑了对历史评分信息进行分析，并未挖掘文本内容相关的信息，因此学习到的特征向量可解释性较差。

主题模型(比如PLSA、LDA等)是一种在文档集上进行主题挖掘的方法。主题模型可以将高维BOW表征的文档映射到K维主题空间，每个文档用一个K维主题向量来表示。

本发明提出了一种耦合主题模型，其结合矩阵分解与主题模型的优势，同时挖掘历史评分信息与用户生成内容进行个性化产品推荐。本发明学习到的特征向量可以用主题来更好的解释，同时解决了评分信息的稀疏问题。

发明内容

为了解决现有技术存在的问题，本发明的目的是提供一种基于耦合主题模型的协同滤波方法。

所述基于耦合主题模型的协同滤波方法包括以下步骤：

步骤S1，获取用户生成内容记录，每个用户生成内容对应特定的用户和产品；

步骤S2，获取用户对产品的历史评分信息，将部分历史评分信息作为训练集，剩下的作为测试集，分别构建不完全观测评分矩阵，即根据部分用户对部分产品的评分构建不完全观测评分矩阵，得到的训练集评分矩阵R作为耦合主题模型的评分输入；

步骤S3，根据用户生成内容，提取用户文档d_U和产品文档d_V，其中，所述用户文档d_U为与用户有关的用户生成内容，所述产品文档d_V为与产品有关的用户生成内容，每个文档使用其包括的单词的词频来表示，并将每个文档的词袋表达向量W_U和W_V建模为可见单元，作为耦合主题模型的内容输入；

步骤S4，结合所述步骤S2得到的训练集评分矩阵R和所述步骤S3得到的用户文档d_U、产品文档d_V，利用耦合主题模型学习得到用户特征向量η_U和产品特征向量η_V；

步骤S5，根据步骤S4得到的用户特征向量η_U和产品特征向量η_V，利用

计算用户对不同产品的评分，然后将得到的预测评分与测试集评分进行对比，衡量所述耦合主题模型的可靠性，最后针对特定用户，根据预测评分的高低得到推荐产品列表，从而进行产品推荐。

本发明引入了对用户生成内容信息的分析，能够直接的显式的发现用户兴趣和产品属性，而且有效地解决了评分矩阵的稀疏问题，获得比基于用户评分信息的预测更准确的效果。

附图说明

图1是本发明基于耦合主题模型的协同滤波方法的流程图。

图2是用于协同滤波的耦合主题模型的生成示意图。

图3是以电影推荐系统为例，介绍用户生成内容的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明基于矩阵分解与主题模型，提出了耦合主题模型。通过将用户和产品映射到隐含主题空间，对每个用户和产品学习一个K维特征向量η，通过引入逻辑斯谛正态先验替代狄利克雷先验，使得学习到主题向量θ(

K为主题向量的数量)的同时，可以学习到更加灵活的特征向量η，所述特征向量η不再受限于相应的单纯形(一个K维的向量θ如果满足

那么就称该向量分布在K-1的单纯性上)，这样不仅使得特征向量的表达性更好，而且用于矩阵分解进行评分预测也更加灵活。

图1是本发明基于耦合主题模型的协同滤波方法的流程图，如图1所示，所述方法包括以下步骤：

步骤S1，获取用户生成内容记录，每个用户生成内容对应特定的用户和产品，所述用户生成内容比如可以为用户标签，每个标签对应特定的用户和产品；

步骤S2，获取用户对产品的历史评分信息，将部分历史评分信息作为训练集，剩下的作为测试集，分别构建不完全观测评分矩阵，即根据部分用户对部分产品的评分构建不完全观测评分矩阵，得到的训练集评分矩阵R作为耦合主题模型的评分输入；

步骤S3，根据用户生成内容，提取用户文档d_U和产品文档d_V，其中，所述用户文档d_U为与用户有关的用户生成内容，所述产品文档d_V为与产品有关的用户生成内容，每个文档使用其包括的单词的词频来表示，并将每个文档的词袋表达向量(即W_U和W_V)建模为可见单元，作为耦合主题模型的内容输入；

其中，用户文档反映了用户的偏好信息，产品文档则反映了产品的属性信息。用户文档与产品文档都来自于用户生成内容，这也保证了用户文档与产品文档共享同一词典，使得两者可以映射到同一主题空间。与用户i相关的所有用户生成内容构成用户i的文档d_U,i,与产品j相关的所有用户生成内容构成产品j的文档d_V，j，如果用d_i，j表示用户i对产品j的用户生成内容文档，那么用户i的文档d_U，i中单词w的词频表示为：

其中，M代表产品数，同样，产品j的文档d_V,j中单词w的词频表示为：

其中N代表用户数。

步骤S4，结合所述步骤S2得到的训练集评分矩阵R和所述步骤S3得到的用户文档d_U、产品文档d_V，利用耦合主题模型学习得到用户特征向量η_U和产品特征向量η_V；

图2是用于协同滤波的耦合主题模型的示意图，该模型观测变量(R，W_U，W_V)的生成过程如下：

1)对每个用户i：

a)从K元正态分布N(μ_U，∑_U)中采样一个K维向量作为用户i的特征向量η_U，i，其中，η_U，i为用户i的特征向量，μ_U，∑_U为正态分布参数；

b)对用户文档d_U，i中的每个单词W_U,i,t；

I)从多项分布Mult(θ_U，i)中采样一个值作为单词W_U,i,t的主题分配z_U,i,t，其中，z_U,i,t为单词W_U,i,t的主题分配，θ_U，i为多项分布参数，且θ_U，i=π(η_U，i)=exp{η_U，i}／∑_kexp{η_U,i,k}；

II)把采样得到的z_U,i,t作为选择器，选择第z_U,i,t个主题，根据多项分布采样得到单词W_U,i,t，其中，W_U,i,t为用户i的文档中第t个单词，为多项分布参数；

2)对每个产品j：

a)从K元正态分布N(μ_V，∑_V)采样一个K维向量作为产品j的特征向量η_V,j，其中，η_V,j为产品j的特征向量，μ_V，∑_V为正态分布参数；

b)对用户文档d_V,j中的每个单词W_V,j,t；

I)从多项分布Mult(θ_V,j)中采样一个值作为单词W_V,j,t的主题分配z_V,j,t，其中，z_V,j,t为单词W_V,j,t的主题分配，θ_V,j为多项分布参数，且θ_V,j=π(η_V,j)=exp{η_V,j}／∑_kexp{η_V,j,k}；

II)把采样得到的z_V,j,t作为选择器，选择第z_V,j,t个主题，根据多项分布

采样得到单词w_V,j，t，其中，w_V,j，t为产品j的文档中第t个单词，

为多项分布参数；

3)从正态分布

中采样得到用户i对产品j的评分R_i，j，其中，该正态分布是以为均值，σ²为方差；

其中，π(η)是一个映射函数，它将特征向量η映射到主题向量θ，θ=π(η)=exp{η}／∑_kexp{η_k}，相当于主题向量θ服从逻辑斯谛正态分布。这里的特征向量η于同时生成文档d_U，d_V和评分矩阵R，即将文档和评分同时映射到K维特征空间，每个用户和产品都用该空间的点来表达。

如图2所示，用户文档d_U的词袋表达向量W_U、产品文档d_V的词袋表达向量W_V和训练集评分矩阵R建模为耦合主题模型的输入，这样就可以对每个用户和产品同时学习到相应的主题向量θ和特征向量η。

为了方便表达，用Θ=[μ_U，∑_U，μ_V，∑_V，β，σ]表示所述耦合主题模型的所有模型参数，用Δ=[η_U，η_V，Z_U，Z_V]表示所有的隐变量，Z_U，Z_V表示所有单词的主题分配，那么所述耦合主题模型的观测变量(R，W_U，W_V)的似然函数为：

p(R，W_U，W_V)=∫∫p(η_U)p(η_V)p(R|η_U，η_V)p(W_U|η_U)p(W_V|η_V)dη_Udη_V，

其中，η_U为用户特征向量，η_V为产品特征向量。

为了更加简洁，似然函数中省略了模型参数Θ，所述耦合主题模型的参数学习通过求解目标函数

得到。由于逻辑斯谛正态分布不是多项分布的共轭先验，因此本发明采用变分EM算法进行耦合主题模型参数的学习，具体为：在变分E步中，计算所述耦合主题模型的隐变量Δ的后验分布p(Δ|R，W_U，W_V)及期望，在M步中对Θ进行参数估计。

具体地，在变分E步中，首先初始化模型参数Θ，然后计算隐变量Δ的后验分布p(Δ|R，W_U，W_V)。由于难以精确计算，因此本发明引入变分参数λ，υ，φ，那么隐变量Δ=[η_U，η_V，Z_U，Z_V]的后验分布可以由变分分布q(Δ)来近似：

$q\left(\mathrm{\Δ}\right)=q({\mathrm{\η}}_U,{\mathrm{\η}}_V,Z_U,Z_V)=\underset{i=1}{\overset{N}{\mathrm{\Π}}}q({\mathrm{\η}}_{U,i},Z_{U,i})\underset{j=1}{\overset{M}{\mathrm{\Π}}}q({\mathrm{\η}}_{V,j},Z_{V,j}),$

$q({\mathrm{\η}}_{U,i},Z_{U,i})=\underset{k=1}{\overset{K}{\mathrm{\Π}}}q\left({\mathrm{\η}}_{U,i,k}\right|{\mathrm{\λ}}_{U,i,k}{\mathrm{\υ}}_{U,i,k}^2)\underset{t=1}{\overset{T_{U,i}}{\mathrm{\Π}}}q\left(Z_{U,i,t}\right|{\mathrm{\φ}}_{U,i,t}),$

$q({\mathrm{\η}}_{V,j},Z_{V,j})=\underset{k=1}{\overset{K}{\mathrm{\Π}}}q\left({\mathrm{\η}}_{V,j,k}\right|{\mathrm{\λ}}_{V,j,k},{\mathrm{\υ}}_{V,j,k}^2)\underset{t=1}{\overset{T_{V,j}}{\mathrm{\Π}}}q\left(Z_{V,j,t}\right|{\mathrm{\φ}}_{V,j,t}),$

其中，λ，υ是高斯分布参数，φ是多项分布参数，K为主题数目，T_U，i为用户i的文档中的单词数目，T_V,j为产品j的文档中的单词数目。

然后，通过min KL(q||p(Δ|W_U，W_V，R))求解得到变分参数，这里采用共轭梯度下降法进行求解得到变分参数λ，υ，φ，也就相当于近似得到了p(Δ|R，W_U，W_V)。

在变分M步中，通过利用E步中求得的隐变量的后验期望，最大化似然函数p(R，W_U，W_V)来更新模型参数Θ，参数更新公式如下所示：

${\widehat{\mathrm{\μ}}}_U=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_{U,i}$

${\widehat{\mathrm{\μ}}}_V=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\λ}}_{V,j}$

${\widehat{\mathrm{\Σ}}}_U=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}I{\mathrm{\υ}}_{U,i}^2+({\mathrm{\λ}}_{U,i}-{\widehat{\mathrm{\μ}}}_U){({\mathrm{\λ}}_{U,i}-{\widehat{\mathrm{\μ}}}_U)}^T$

${\widehat{\mathrm{\Σ}}}_V=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}I{\mathrm{\υ}}_{V,j}^2+({\mathrm{\λ}}_{V,j}-{\widehat{\mathrm{\μ}}}_V){({\mathrm{\λ}}_{V,j}-{\widehat{\mathrm{\μ}}}_V)}^T,$

${\widehat{\mathrm{\σ}}}^2=\frac{1}{R}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{I}_{i,j}[{(R_{\mathrm{ij}}-{\mathrm{\λ}}_{U,i}^T{\mathrm{\λ}}_{V,i})}^2+f({\mathrm{\λ}}_{U,i},{\mathrm{\υ}}_{V,j})+f({\mathrm{\λ}}_{V,j},{\mathrm{\υ}}_{U,i})+f({\mathrm{\υ}}_{U,i},{\mathrm{\υ}}_{V,j})]$

${\widehat{\mathrm{\β}}}_k\∝\underset{i}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\φ}}_{U,i,k}{n}_i+\underset{j}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\φ}}_{V,j,k}{n}_j$

其中，n_i是文档d_U,i词频向量，n_j是文档d_V,j词频向量。对两个相同维度的向量a，b，f(a，b)=(a·a)·(b·b)，其中，·是向量内积，·是Hadamard积，(a·b)_i=a_ib_i。E步M步不断迭代直至所述耦合主题模型收敛。

在所述耦合主题模型训练收敛之后，利用E_q[η_U]=λ_U来近似特征向量η_U，利用E_q[η_V]=λ_V来近似特征向量η_V。

步骤S5，根据步骤S4得到的用户特征向量η_U和产品特征向量η_V，利用

计算用户对不同产品的评分，然后将得到的预测评分与测试集评分进行对比，根据均方根误差(RMSE)等标准来衡量所述耦合主题模型的可靠性，最后针对特定用户，根据预测评分的高低得到一个推荐产品列表，从而进行产品推荐。

为了更好地理解用户生成内容在推荐系统中的作用，以及验证本发明的实施效果，接下来以电影推荐系统为例对本发明进行说明，示例中采用MovieLens-10M数据库，在MovieLens电影推荐系统中，一些用户对部分电影进行评分的同时，还对电影贴标签，这个场景下的标签也是用户生成内容的一种。如图3所示，Jennifer和Bob都比较喜欢电影“Titanic”，因此初步推断他们两个具有相同的爱好。但是进一步观察用户的标签信息，发现Jennifer喜欢电影“Titanic”是因为她比较喜欢浪漫类型的电影，而Bob喜欢电影“Titanic”则是因为他是莱昂纳多·迪卡普里奥的粉丝。由上可知，在很多情况下通过用户生成内容能够更加细致准确的把握用户的兴趣。如果Bob还对“western”相关的电影比较感兴趣，则可以推荐他观看电影“Django Unchained”(也是由莱昂纳多·迪卡普里奥主演的一部西部题材电影)。以上推荐过程在MovieLens-10M数据集上的具体实施步骤如下：

步骤S1，获取用户生成内容记录，比如对应特定的用户和电影的标签；

步骤S2，获取用户对电影的历史评分信息，将其中80％的评分信息作为训练集，剩下的20％评分信息作为测试集，分别构建不完全观测评分矩阵，得到的训练集评分矩阵R作为耦合主题模型的评分输入；

步骤S3，根据用户生成内容，提取用户文档的词袋表达W_U和产品文档的词袋表达W_V，将每个文档的词袋表达向量建模为可见单元，作为所述耦合主题模型的内容输入。

这里将每个标签当做一个单词，那么所有标签就构成文集词典，每个文档则是该文集词典的词袋表达向量。与用户i相关的所有标签构成用户i的文档，与产品j相关的所有标签构成产品j的文档，每个文档都是标签的词袋表达。

步骤S4，结合用户文档的词袋表达W_U、产品文档的词袋表达W_V和训练集评分矩阵R，利用耦合主题模型学习用户特征向量η_U和产品特征向量η_V；

该步骤初始化模型参数μ_U=μ_V=0，∑_U=∑_V=I，σ=1，，随机初始化参数β，进行模型训练，并学习得到模型参数。

模型训练收敛之后，采用E_q[η_U]=λ_U来近似特征向量η_U，用E_q[η_V]=λ_V来近似特征向量η_V。

步骤S5，根据步骤S4得到的用户特征向量η_U和产品特征向量η_V，利用

计算用户对不同产品的评分，然后将得到的预测评分与测试集评分进行对比，根据均方根误差(RMSE)等标准来衡量所述耦合主题模型的可靠性，最后针对特定用户，根据预测评分的高低得到一个推荐产品列表，从而进行产品推荐。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于耦合主题模型的协同滤波方法，其特征在于，该方法包括以下步骤：

步骤S1，获取用户生成内容记录，每个用户生成内容对应特定的用户和产品；

步骤S2，获取用户对产品的历史评分信息，将部分历史评分信息作为训练集，剩下的作为测试集，分别构建不完全观测评分矩阵，即根据部分用户对部分产品的评分构建不完全观测评分矩阵，得到的训练集评分矩阵R作为耦合主题模型的评分输入；

步骤S3，根据用户生成内容，提取用户文档d_U和产品文档d_V，其中，所述用户文档d_U为与用户有关的用户生成内容，所述产品文档d_V为与产品有关的用户生成内容，每个文档使用其包括的单词的词频来表示，并将每个文档的词袋表达向量W_U和W_V建模为可见单元，作为耦合主题模型的内容输入；

步骤S4，结合所述步骤S2得到的训练集评分矩阵R和所述步骤S3得到的用户文档d_U、产品文档d_V，利用耦合主题模型学习得到用户特征向量η_U和产品特征向量η_V；

步骤S5，根据步骤S4得到的用户特征向量η_U和产品特征向量η_V，利用

计算用户对不同产品的评分，然后将得到的预测评分与测试集评分进行对比，衡量所述耦合主题模型的可靠性，最后针对特定用户，根据预测评分的高低得到推荐产品列表，从而进行产品推荐。

2.根据权利要求1所述的方法，其特征在于，所述用户生成内容为用户标签，每个标签对应特定的用户和产品。

3.根据权利要求1所述的方法，其特征在于，所述用户文档反映了用户的偏好信息，所述产品文档反映了产品的属性信息。

4.根据权利要求1所述的方法，其特征在于，所述耦合主题模型观测变量(R，W_U，W_V)的生成过程为：

1)对每个用户i：

a)从K元正态分布N(μ_U，∑_U)中采样一个K维向量作为用户i的特征向量η_U，i，其中，η_U，i为用户i的特征向量，μ_U，∑_U为正态分布参数；

b)对用户文档d_U，i中的每个单词W_U，i，t；

I)从多项分布Mult(θ_U，i)中采样一个值作为单词W_U，i，t的主题分配z_U，i，t，其中，z_U,i,t为单词W_U,i,t的主题分配，θ_U，i为多项分布参数，且θ_U，i=π(η_U，i)=exp{η_U，i}／∑_kexp{η_U,i,k}；

II)把采样得到的z_U,i,t作为选择器，选择第z_U,i,t个主题，根据多项分布

采样得到单词W_U,i,t，其中，W_U,i,t为用户i的文档中第t个单词，为多项分布参数；

2)对每个产品j：

a)从K元正态分布N(μ_V，∑_V)采样一个K维向量作为产品j的特征向量η_V,j，其中，η_V,j为产品j的特征向量，μ_V，∑_V为正态分布参数；

b)对用户文档d_V,j中的每个单词W_V,j，t；

I)从多项分布Mult(θ_V,j)中采样一个值作为单词W_V,j,t的主题分配z_V,j,t，其中，z_V,j,t为单词W_V,j,k的主题分配，θ_V,j为多项分布参数，且θ_V,j=π(η_V,j)=exp{η_V,j}／∑_kexp{η_V,j,k}；

II)把采样得到的z_V,j,t作为选择器，选择第z_V,j,t个主题，根据多项分布

采样得到单词w_V,j,t，其中，w_V,j,t为产品j的文档中第t个单词，

为多项分布参数；

3)从正态分布中采样得到用户i对产品j的评分R_i，j，其中，该正态分布是以

为均值，σ²为方差。

5.根据权利要求4所述的方法，其特征在于，所述映射函数将特征向量η映射到主题向量θ：θ=π(η)=exp{η}／∑_kexp{η_k}，相当于主题向量θ服从逻辑斯谛正态分布。

6.根据权利要求1所述的方法，其特征在于，所述步骤S4中，将用户文档d_U的词袋表达向量W_U、产品文档d_V的词袋表达向量W_V和训练集评分矩阵R建模为耦合主题模型的输入，即可对每个用户和产品同时学习到相应的主题向量θ和特征向量η。

7.根据权利要求1所述的方法，其特征在于，所述耦合主题模型中，若用Θ=[μ_U，∑_U，μ_V，∑_V，β，σ]表示所述耦合主题模型的所有模型参数，用Δ=[η_U，η_V，Z_U，Z_V]表示所有的隐变量，Z_U，Z_V表示所有的主题分配，那么所述耦合主题模型的观测变量(R，D_U,D_V)的似然函数为：

p(R，D_U，D_V)=∫∫p(η_U)p(η_V)p(R|η_U，η_V)p(D_U|η_U)p(D_V|η_V)dη_Udη_V，

其中，η_U为用户特征向量，η_V为产品特征向量。

8.根据权利要求7所述的方法，其特征在于，所述耦合主题模型的参数学习通过求解目标函数

得到。

9.根据权利要求8所述的方法，其特征在于，采用变分EM算法进行所述耦合主题模型参数的学习，具有自动学习参数，即无需手动调参的优势。

10.根据权利要求1所述的方法，其特征在于，所述步骤S5中，根据均方根误差标准来衡量所述耦合主题模型的可靠性。

Images