CN105138508A - 一种基于偏好扩散的上下文推荐系统 - Google Patents

Abstract

本发明公开了一种基于偏好扩散的上下文推荐系统，该方法包括下列步骤：整理得出每个物品对应的所有用户的评论；使用主成分分析，得出准确的主题数量；以该主题数量通过LDA主题模型得出物品主题分布矩阵以及主题对应的描述性词汇；通过描述性词汇，找出主题的共同特征，以此作为主题的含义；使用之前得到的物品主题分布矩阵初始化隐语义模型；利用评分信息训练模型；通过训练过程中的参数变化，挖掘出的真正的物品主题分布；计算用户与物品之间的相似度并进行排序，依据排序对每个用户推荐物品。通过以上技术，可以通过本模型对不同用户进行更加精准的物品推荐，并且可以对推荐结果进行解释。

Description

一种基于偏好扩散的上下文推荐系统

技术领域

本发明涉及互联网技术领域，具体涉及一种推荐系统的实现技术

背景技术

互联网的出现和普及给广大用户带来了大量的信息，满足用户在各个方面的需求，但是伴随着大量信息而来的则是信息超载问题，用户无法轻松地在大量信息中找到自己所需要的部分，推荐系统因此应运而生。推荐系统根据用户各不相同的个人属性，喜爱偏好以及购买特点，向用户提供个性化的推荐，推荐其感兴趣的物品。与同样进行信息推送的搜索引擎相比，推荐系统通过输入用户的各种不同的信息，对其进行计算，通过计算发现不同用户的兴趣各异的方面，从而带领用户发现各自所需的信息。而一个好的推荐系统不仅仅可以针对用户产生个性化的推荐，还能通过与用户的交互过程深入不断地了解用户，进而与用户建立紧密的纽带，让用户对其产生依赖感。

基于评分矩阵分解的隐语义模型(LatentFactorModel，LFM)是近年来推荐系统研究的热点。随着推荐系统的研究热点转向上下文感知推荐(ContextAwareRecommendation)，越来越多的上下文信息被引入到LFM模型中，如用户的评论，隐性用户反馈，标签，元数据，时间信息等。上下文感知能力对于提高推荐服务质量非常重要，不仅有助于提升服务推荐的准确性，而且有助于解释推荐结果，提高推荐服务的说服力。然而，LFM模型本身对于潜在因子的解释是十分模糊的。用户通常可以通过隐语义模型产生十分准确的预测结果，但是对于模型中潜在因子的含义却没有办法进行解释。同时在模型的潜在因子数量的选择方面，现有的方法也往往倾向于随机或者根据自己以往的经验判断来决定潜在因子的数量，而通过这种方法得出的潜在因子的数量并没有科学依据，研究者也很难解释这个数字的具体含义。

现有的一些得出潜在因子解释的方法通常是通过对评论信息建立不同主题模型，将主题模型得到的物品的属性分布作为潜在因子的解释。这种方法由于只是从评论信息中分析得出，并没有考虑到其他因素，可能会因为用户评论信息描述的不准确性产生一定的误差。因而需要一种新的算法对从主题模型中得出的属性分布进行修正，使得属性分布更为准确，进而降低推荐的误差。

发明内容

本发明主要解决的技术问题是提供了一个推荐系统模型，该模型可以对其中的潜在因子的数量进行确定，对潜在因子的含义进行解释，使得推荐更加透明化，可以通过用户的反馈进行及时的修改；同时，该模型可以通过评分信息来修正从评论信息中得到的物品的主题分布，挖掘出某些物品的隐藏特性，去除某些物品错误标识的特征；除此以外，该模型推荐误差小，准确率和召回率均领先于现有常用的推荐系统模型。

本发明实施例公开了一种使用PCA确定评论信息的主题数量的方法，包括：

为针对物品的评论信息设定一个初始的主题数量；

使用LDA算法，主题数量为之前所设定的初始数量，输入物品的评论信息，从而计算出其对应的初始主题分布矩阵；

计算出初始主题分布矩阵的协方差矩阵，借此将原矩阵中的数据完全去相关化；

计算上面得出的协方差矩阵的特征值和特征向量，把特征值看成是对应特征向量对原矩阵的解释程度，对特征值进行排序；

计算序列前k个特征值之和占所有特征值之和的比例，如果比例小于一个之前设定的阈值，则增加k的数值；如果比例刚好大于阈值，且减小当前k时比例会小于阈值时，则认为k为合适的评论信息的主题数量。

本发明实施例还公开了一种偏好扩散算法，包括：

参照上一方法，使用PCA算法确定所有物品的评论信息的主题数量；

输入评论信息以及上一步计算出来的评论信息对应的主题数量，使用LDA算法计算出评论信息主题分布以及每个主题下所对应的单词，将得到的出题分布转化为物品主题分布矩阵；

通过归纳每个主题下所对应的单词，找出每个主题下单词的共同特征，以此共同特征作为主题的名称；

将归纳出的主题名称作为隐语义模型中潜在因子的解释；

通过训练过程，模型中的物品主题分布矩阵相较于之前输入的矩阵发生了一定的变化，对比变化前后的物品主题分布矩阵，将变化后的矩阵作为物品的真实属性分布矩阵；

本发明实施例还公开了一种基于偏好扩散的上下文推荐系统，包括：

读取物品评论信息和用户对物品评分信息，将评分信息划分为训练样本和测试样本；

参照上一方法，使用LDA算法得出物品的主题分布矩阵；

将隐语义模型中物品主题分布矩阵初始化为从LDA得到的物品主题分布矩阵；

利用评分信息的训练样本对隐语义模型进行训练；

使用训练得出的隐语义模型对预测样本进行预测，对比预测值和真实值，估算误差；

比较用户的偏好分布和物品的属性分布，计算用户与各个物品之间的相似度，借助相似度排名输出用户推荐物品的结果。

最后，实施本发明有一下有益效果：

本发明实施的有益效果是，利用评分信息对评论信息进行修正，相对于现有的各种算法而言，本算法可以在拥有相当的预测能力的情况下，确定了模型中的潜在因子数量，对隐语义模型中的潜在因子进行解释。同时，该算法可以对主题模型得到的物品的主题分布进行调整，挖掘出原有分布中没有体现出的属性，去除原有分布体现出的有误的属性，使物品的主题分布更加准确，也有利于对用户进行更为准确的推荐，增强用户对于该系统的依赖感。

附图说明

图1为本发明使用PCA确定评论信息的主题数量的流程图；

图2为本发明所使用的偏好扩散算法的流程图；

图3为本发明改进现有推荐系统算法提出的一种基于偏好扩散的上下文推荐系统的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例提供的使用PCA确定评论信息的主题数量的流程图。如图1所示，本实施例提供的确定方法，具体可以包括如下步骤：

101、设定初始主题数量；

本实施例的确定方法是，在确定真正的主题数量之前，我们首先要设定一个初始主题数量，通过该初始主题数量，对用户的评论信息产生的一系列操作，从而计算出真正的主题数量。在本实施例中设置初始主题数量为k′。

102、使用LDA算法计算初始主题数量对于的初始主题分布矩阵；

在确定了初始主题k′之后，对所有物品所属的评论信息使用LDA算法，其中设置主题数量为k′。计算之后得出对应的初始主题分布矩阵X_n×k′，其中n对应物品数量，k′对应主题的数量，该矩阵的每一行代表着一个物品的主题分布向量。

103、计算初始主题分布矩阵的协方差矩阵；

得到了初始主题分布矩阵之后，我们通过主成分分析(PCA)来确定真正的主题数量，所以首先需要计算主题分布矩阵的协方差矩阵C_k′×k′：

协方差矩阵能使数据完全去相关，能够找出一组最佳的基以紧凑的方式来表达数据。

104、计算得出协方差矩阵的特征值和特征向量，对特征值进行排序；

计算协方差矩阵的特征值，得出所有特征值并对其进行排序：

(A-λI)x＝0(2)

得到特征值(λ₁,λ₂,...,λ_n)从大到小排列。在这里，每个特征值可以看成是对应特征向量对于矩阵的解释能力，特征值越大，意味着从该特征向量中还原的矩阵的信息越多。

105、计算前k个特征值之和占所有特征值之和的比例；

计算前k个特征值的比例即为计算前k个特征值的重要程度，也就是前k个特征值能够对矩阵所含信息的解释程度：

$\exp lanation{\mathrm{ability}}_i=\frac{{\mathrm{\λ}}_i}{{\mathrm{\Σ}}_{j=1}^k{\mathrm{\λ}}_j}---\left(3\right)$

如果这个解释程度低于一个阈值(这里阈值为我们需要的最低解释程度，在这里设置为0.9)，那么说明前k个特征向量能够解释的信息还不够多，需要增加k的数值；如果高于一个阈值，那么说明前k个特征值对应的特征向量可以解释超过90％的信息，那么说明主题数量设置为k已经足够，所以k即为合适的主题数量。

图2为本发明另一实施例提供的偏好扩散算法的流程图。如图2所示，本实施例提供的算法，具体可以包括如下步骤：

201、使用PCA算法确定评论信息的主题数量；

这里使用图1所示的流程来确定评论信息的主题数量。

202、通过LDA算法计算得到评论信息的主题分布；

将得到的物品的评论信息和真实的主题数量k输入LDA算法之中，得到一个物品的主题分布矩阵X_n×k，其中n是物品的数量，k是主题的数量。另外还得到每个主题所对应的一些具体的单词。

203、归纳每个主题所包含的单词得到主题名称；

对每个主题下所属的单词，根据单词的含义以及其所对应的属性等相关信息，结合单词所在的评论信息，归纳出所有单词所具有的共同特征，以该特征作为主题名称。

204、将归纳出的主题作为模型中潜在因子的解释；

由于在之后我们会将X_n×k作为隐语义模型物品的初始主题分布矩阵，而X_n×k是由LDA得到的，其中n对应物品，k对应主题，那么通过初始化这个步骤，隐语义模型中的潜在因子就与LDA中每个主题具有相同的含义，所以通过前面步骤203归纳得出的主题名称即为模型中潜在因子的名称，也就是潜在因子的解释。

205、对比模型中修正前后的主题分布矩阵，得出物品的真实属性；

通过对模型的训练之后，我们得到了更新之后每个物品所对应的q_i。我们将这个训练后的q_i与之前的q_i进行对比，我们发现每个物品的主题分布总体保持不变，但是细节方面发生了变化，部分潜在因子的值出现了上升或者下降。这里的上升和下降就是评分信息对原先得到的物品属性进行修正，使其更加准确。这里我们称为偏好扩散过程。通过更新后的物品的属性分布我们可以在推荐过程中进行解释更加准确的解释，增加推荐的准确性、可解释性以及用户对该系统的依赖性。

图3为本发明另一实施例提供的一种基于偏好扩散的上下文推荐系统的流程图。如图3所示，本实施例提供的推荐方法，具体可以包括如下步骤：

301、读取物品评论信息以及用户对物品评分信息的测试和训练样本；

对于原始数据集，按照物品来进行分类，提取出所有用户对于该物品的评论信息。同时也将原始数据集中用户和物品进行编号，得出(u,i,r_ui)这样一个三元组的评分信息，其中u代表用户，i代表物品，r_ui代表用户对物品的评分。通过五次交叉验证得出评分信息的测试样本和训练样本。

302、使用LDA算法得出物品的主题分布矩阵；

这里使用图2所示的流程来确定物品的主题分布矩阵。

303、将隐语义模型中物品的主题分布矩阵初始化为LDA得到的主题分布；

隐语义模型y＝μ+b_u+b_i+p_u·q_i中，p_u对应的是每个用户的兴趣分布，q_i对应的是每个物品的主题分布，这里在训练最开始的时候，我们不将其设置成随机值，而是将其初始化为x_i。其中，x_i∈R^k，(x₁,x₂,...x_n)^T＝X_n×k，即将X_n×k作为隐语义模型物品的初始主题分布矩阵。

304、利用评分信息的训练样本训练隐语义模型；

将X_n×k作为隐语义模型物品的初始主题布矩阵后，对应的预测模型为：

${\hat{r}}_{ui}=\mathrm{\μ}+b_u+b_i+p_u\·q_i---\left(4\right)$

我们希望得到：

$\underset{\mathrm{\Θ}}{\arg \min }\underset{s\∈S_t}{\Σ}{(r_{ui}-{\hat{r}}_{ui})}^2+\mathrm{\λ}(b_u^2+b_i^2+|\left|p_u\right|{|}_2+\left|\right|q_i\left|{|}_2\right)---\left(5\right)$

所以梯度下降的公式为：

p_u←p_u+γ·(∈_ui·q_i-λ·p_u)(6)

q_i←q_i+γ·(∈_ui·p_u-λ·q_i)(7)

根据该公式对p_u和q_i进行训练。

305、使用训练得出的隐语义模型对预测样本进行预测；

对于预测样本中的每个三元组(u,i,r_ui)，找到其对应的训练后的p_u以及q_i，根据公式 ${\hat{r}}_{ui}=\mathrm{\μ}+b_u+b_i+p_u\·q_i$ 进行计算，得出预测值将其与真实值r_ui进行比较，计算预测的误差。

306、根据模型输出对用户推荐物品的结果。

在得到测试后的模型之后，为了产生对用户的物品推荐列表，首先我们根据用户所购买过的物品i所对应的主题分布q_i，先计算出用户偏好分布p_u：

$p_u=\frac{\underset{i}{\Σ}{q}_i\·r_{ui}}{\underset{i}{\Σ}{r}_{ui}}---\left(8\right)$

在得到用户的偏好分布之后，依次计算物品i与用户u的相似程度：

$\mathrm{si}milarity=\frac{p_u\·q_i}{\left|\right|p_u\left|\right|\left|\right|q_i\left|\right|}---\left(9\right)$

将所有物品按照与用户的相似程度从大到小排列，得出与用户偏好最相似的物品序列。将序列排位靠前的物品，也就是与用户最相似的物品推荐用户，从而完成推荐。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种基于偏好扩散的上下文推荐系统，其特征在于，包括：

使用隐语义模型来预测用户对物品的评分；在隐语义模型的初始化过程中，从用户对物品的评论信息中得到物品的初始主题分布，以此分布作为隐语义模型中的物品初始矩阵。

2.根据权利要求1所述的方法，其特征在于，对于收集到的大量用户对物品的评论信息，去除收到评论信息很少的物品的评论以及发出评论信息很少的用户的评论；依据不同物品对评论信息进行归类，每一个物品对应该物品所收到的所有评论信息；在得到物品的评论信息之后，去除其中没有包含信息的停用词，之后使用LDA算法，计算得出物品对应评论信息的主题分布以及每个主题对应的描述性词汇。

3.根据权利要求2所述的方法，其特征在于，在确定LDA算法中主题数量时，首先设置一个初始的数量，以此初始主题数量得到初始的物品主题分布矩阵；对初始主题分布矩阵做主成分分析，将初始主题分布矩阵降维到一个合适的维度，该维度可以解释初始矩阵中包含的绝大部分信息并且保持一个较小的数字；经过主成分分析的过程之后得到的降维的维度即为合适的主题数量，并以此主题数量来使用LDA算法。

4.根据权利要求1-2中任一项所述的方法，其特征在于，根据从LDA中得到主题以及其所对应的描述性词汇，归纳总结出每一个主题下描述性词汇所拥有的共同特征，并以此共同特征作为主题的名称；之后由于将LDA中得到的主题分布矩阵作为隐语义模型中的物品初始分布矩阵，因此将这里的主题名称作为隐语义模型中潜在因子的解释。

5.根据权利要求1中所述的方法，其特征在于，使用用户对于物品的评分信息对隐语义模型进行训练，在通过训练之后，物品矩阵中的参数相比于初始化的参数发生了一定的变化，变化之后的矩阵和变化之前的矩阵相比基本特征没有变化，但是每个物品对应的部分主题的参数发生了较大的变化，这里的变化可以看成评分信息对评论信息的调整和优化，相比于变化之前的矩阵，变化之后的矩阵更加可以体现出物品的真实主题分布，也就是物品的真实属性。

6.根据权利要求1中所述的方法，其特征在于，在经过模型的训练之后，对用户进行推荐的过程中，通过用户所购买的物品的评分以及这些物品的主题分布向量，加权计算出用户的偏好分布向量；将每个用户的偏好分布向量与每个物品的主题分布向量计算相似度作为用户对于物品的喜好程度；将每个用户对于所有物品的喜爱程度进行排序，取排名靠前的物品推荐给每个用户。