CN103246672A - 对用户进行个性化推荐的方法和装置 - Google Patents

Abstract

本发明涉及一种对用户进行个性化推荐的方法和装置。该方法主要包括：利用用户的标签数据计算用户之间的相似度，利用产品的标签数据计算产品之间的相似度，根据相似度信息获取每个用户和每项产品的邻居集合；基于所述用户和产品的邻居集合信息，采取最近邻居矩阵分解算法计算出用户和产品的特征向量；根据用户和产品的特征向量，预测用户对未评分产品的评分数据，根据所述评分数据对用户进行个性化产品推荐。本发明实施例能在矩阵分解模型中引入了标签信息、邻居集合信息，使得相似的用户/产品具有相似的特征向量，因此既拥有矩阵分解模型的优点，又能够在全局结构中抓住邻居间的强关系。

Description

对用户进行个性化推荐的方法和装置

技术领域

本发明涉及计算机应用领域，具体涉及一种对用户进行个性化推荐的方法和装置。

背景技术

随着信息技术和互联网的蓬勃发展，网络上的资源呈爆炸式增长。例如：Netflix上有数万部电影，Amazon上有数百万本书，Taobao上有上亿件商品。面对如此多的信息，如果利用传统的信息搜索引擎进行信息搜索，得到的千篇一律的信息排序结果，无法根据不同用户的偏好提供相应的服务。因此，海量的信息空间在带给用户多元化选择的同时，反而使用户迷失在信息的海洋中，用户不得不花费大量的时间成本来寻找所需的消息，即所谓的“信息超载”现象。针对上述问题，个性化推荐系统孕育而生，该系统能够根据用户的历史行为预测用户的兴趣特征，为不同的用户量身推荐个性化的产品。与传统的信息搜索引擎“一对多”的服务方式不同，个性化推荐系统提供的是“一对一”的服务，更能符合用户需求。

推荐算法是个性化推荐系统的核心和关键部分，其性能的优劣直接影响了推荐系统的推荐效果。目前，最常用的个性化推荐系统包括以下两类：基于内容的推荐系统和协同过滤推荐系统。基于内容的推荐系统需要分别对用户和产品建立配置文件，通过用户填写的个人信息、用户的产品购买记录以及用户对产品的描述信息，建立和更新用户的配置文件。该系统可以比较用户的配置文件与产品的配置文件的相似度，并直接向用户推荐与其配置文件最相似的产品。而协同过滤推荐系统并不需要建立用户和产品的配置文件，它能够根据用户的

历史行为(如用户浏览购买行为，用户对产品的评分)推断出用户对产品的偏好程度进而进行推荐。协同过滤技术无需用户的个人信息，不涉及到隐私问题，且简单有效，这些优点使得协同过滤技术成为迄今为止应用最成功的个性化推荐技术。

在协同过滤技术中，通常将用户、类目的二元关系组成一个二维矩阵，矩阵中第i行第j列的值表示用户i对产品j的评分。一般而言，由于用户评分的产品相对于所有产品而言很少，所以该矩阵特别稀疏(稀疏度＝1-矩阵中有评分的项/矩阵大小)，很多稀疏度都在99％以上。因此，仅仅利用评分数据来预测用户的偏好是不够的。Web2.0技术的出现，使得用户从被动的“信息”接收者变成了主动的信息参与者。很多以用户为中心的应用孕育而生，如社会化标签系统。这些系统允许用户为不同的产品随意的打上标签数据，从而便于用户查找分类信息。现有技术中还没有综合利用用户-产品的评分数据以及用户的标签数据来对用户进行个性化推荐的方法。

发明内容

本发明实施例提供了一种对用户进行个性化推荐的方法和装置，以实现对用户进行有效的个性化产品推荐。

一种对用户进行个性化推荐的方法，包括：

利用用户的标签数据计算用户之间的相似度，利用产品的标签数据计算产品之间的相似度，根据相似度信息获取每个用户和每项产品的邻居集合；

基于所述用户和产品的邻居集合信息，采取最近邻居矩阵分解算法计算出用户和产品的特征向量；

根据用户和产品的特征向量，预测用户对未评分产品的评分数据，根据所述评分数据对用户进行个性化产品推荐。

一种对用户进行个性化推荐的装置，包括：

邻居集合获取模块，用于利用用户的标签数据计算用户之间的相似度，利用产品的标签数据计算产品之间的相似度，根据相似度信息获取每个用户和每项产品的邻居集合；

特征向量获取模块，用于基于所述用户和产品的邻居集合信息，采取最近邻居矩阵分解算法计算出用户和产品的特征向量；

个性化推荐处理模块，用于根据用户和产品的特征向量，预测用户对未评分产品的评分数据，根据所述评分数据对用户进行个性化产品推荐。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例提出了一种新型的个性化推荐算法框架，该算法能整合用户的评分数据和标签数据，在矩阵分解模型中引入了标签信息、邻居集合信息，因此既拥有矩阵分解模型的优点，又能够在全局结构中抓住邻居间的强关系。在公开数据集上的实验结果表明，本发明实施例的最近邻居矩阵分解算法远远优于现今最流行的矩阵分解算法和最近邻算法。

附图说明

图1为本发明实施例一提出的一种结合用户-产品的评分数据和用户的标签数据对用户进行个性化推荐的方法的处理流程图；

图2为本发明实施例一提出的一种用户和产品特征向量的后验分布的计算原理示意图；

图3为本发明实施例二提出的一种对用户进行个性化推荐的装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图，以对本发明实施例进行清楚、完整地描述人员。

实施例一

在协同过滤的算法中，有两个最基本的算法：最近邻算法和矩阵分解算法，其中最近邻算法包括基于用户的最近邻算法和基于产品的最近邻算法，两个算法的共同特点都是通过评分矩阵寻找到每个用户或者是每个产品的K个最近邻居，通过K个最近邻居的评分预测用户对产品的喜爱程度。其中基于用户的最近邻居算法假定：如果两个用户对相同的产品有相似的评分，那么他们很可能对其他产品也有相似的评分。而基于产品的最近邻居算法假定：如果很多用户对两个不同的产品有相似的评分，那么其他用户对这两个产品也应有相似的评分。

矩阵分解算法，如奇异值分解，通过对用户-产品评分矩阵进行降维处理，将用户和产品同时表示在一个相同的低维稠密空间，从而使用户和产品具有了可比性。产品向量的每一个维度表示产品的一个潜在属性。比如，当产品为电影时，矩阵分解模型可能将维度分解为喜剧片，动作片，科幻片以及现实主义电影或者浪漫主义电影等等。用户特征向量对应的维度表示了用户对该维度的喜爱程度。所以当用户和产品在对应低维度表示越接近时候，用户可能越喜欢该部电影，此时用户i对产品j的评分可以用用户特征向量Ui和产品特征向量Vj的线性点乘表示。

上述最近邻算法和矩阵分解算法从不同程度分析了用户-产品评分数据。最近邻居模型擅长于抓住评分数据中的局部性信息，它依据一些最重要的邻居信息预测评分，而忽略了大多数评分。因此该算法不能抓住评分矩阵中隐藏的全局微弱的关系。而矩阵分解模型具有能够抓住评分矩阵的全局结构，却不能像最近邻算法一样——抓住一小部分邻居之间存在的强关系。因此，本发明实施例考虑到能否通过标签数据查找用户或者产品的近邻，并将邻居信息引入到矩阵分解模型中，提高个性化推荐算法的准确度。

传统的协同过滤算法一般只利用到了显式的用户-产品评分矩阵，而在实际的推荐系统中，用户给产品打的标签信息也隐式反映用户的偏好，也概括化的反映了产品的特征信息。本发明实施例将这种标签信息也考虑进入用户-产品评分矩阵模型中，进一步提高了算法的精确度。

该实施例提出的一种结合用户-产品的评分数据和用户的标签数据对用户进行个性化推荐的方法的处理流程如图1所述，包括如下的处理步骤：

步骤11、建立用户-产品评分矩阵、用户-标签信息矩阵和产品-标签信息矩阵。

假设个性化推荐系统中分别有M个用户，N个产品，L个标签。R^M＊N为用户-产品评分矩阵，其中R_ij表示用户i对产品j的评分。P^M＊L和Q^N＊L分别表示用户-标签和产品-标签信息矩阵，P_il表示用户i与标签l的交互程度，Q_jl表示产品j与标签l的交互程度，P_il(Q_jl)的值越大，表明用户i(产品j)越喜爱此标签。

在实际的社会化标签系统中，用户不仅可以给他们看过的产品评分，还可以个性化的为产品打上标签。这些标签信息从一定程度上反映了用户的偏好和产品的属性信息。如：用户A观看了电影“罗马假日”，为其打上标签“奥黛丽赫本经典爱情”；用户B观看了电影“魂断蓝桥”，为其打上标签“爱情，经典，费雯丽，美国”。因为用户A和用户B同时拥有标签“经典”和“爱情”，所以我们可以认为A和B的偏好相似。而对于电影“罗马假日”和“魂断蓝桥”，它们拥有共同的标签“爱情，电影”，所以当用户C观看过“罗马假日”后，我们可以向他推荐“魂断蓝桥”。

在社会化标签系统中，“用户”，“产品”，“标签”构成了其最基本的三项元素。这三者之间的关系可以用一个三元图来表示。我们分别沿着“产品”和“用户”这两个维度将三元图分解为二元图，相应得到用户-标签信息矩阵P和产品-标签信息矩阵Q。

对于用户-标签信息矩阵P，P_il是用户i对标签l的权重值，P_il的具体计算公式是：

P_il＝tf(i，l)*ln(L/d(fl))    (1)

其中tf(i，l)表示用户i的标签记录中标签l出现的归一化频率，df(l)表示使用过标签l的用户数。

相应的，我们可以根据公式(1)可以计算产品-标签矩阵Q，Q_jl是产品j对标签l的权重值，Q_jl的具体计算公式是：

Q_jl＝tf(j，l)*ln(L/df(l))

其中tf(j，l)表示产品j的标签记录中标签l出现的归一化频率，df(l)表示使用过标签l的产品数。

本发明实施例提出了最近邻居矩阵分解算法，该算法目的是通过分析矩阵P，Q和R获得一个高质量的D维的用户特征矩阵U^D＊M和产品特征矩阵V^D＊N，其中Ui和Vj分别代表了用户i的特征向量和产品j的特征向量。但是与传统矩阵分解算法不同的是，最近邻居矩阵分解算法考虑了邻居信息——相似的用户/产品具有相似的特征表示，N_Ui/N_Vj分别表示用户i/产品j的邻居集合。算法的目的就是使用低维的表示

逼近真实的评分矩阵R。

在实际应用中，从后端数据库中取出所有的用户对产品的评分记录以及用户对产品的标签记录后，需要对数据进行预处理。对于某些评分项目非常少的用户或者是产品，由于可利用的信息非常少，无法准确的进行推荐，因此我们必须剔除这部分数据。在评分数据中，我们挑选出的每个用户必须至少对3项产品进行评分，每个产品至少被3个用户评分过。由于标签的随意性，必须预处理选择有代表性的标签，本发明实施例要求对于每个标签至少同时被3个不同的用户和产品拥有过。

步骤12、利用标签数据分别计算用户之间和产品之间的相似度，根据相似度信息获取每个用户和每项产品的邻居集合。

利用公式(1)，根据所述用户-标签矩阵P分别得到用户i在标签空间中对应的向量

用户j在标签空间中对应的向量用户i和用户j之间的相似度s(i，j)可以用这两个向量之间的cosine夹角来衡量：

$s(i,j)=\cos (\stackrel{\→}{i},\stackrel{\→}{j})=\frac{\stackrel{\→}{i}\×\stackrel{\→}{j}}{\left|\right|\stackrel{\→}{i}\left|\right|\×\left|\right|\stackrel{\→}{j}\left|\right|}---\left(2\right)$

相应的，每个产品i或者j都可以看做L维标签空间的一个向量，产品i和产品j之间的相似度t(i，j)可以用这两个向量之间的cosine夹角来衡量：

$t(i,j)=\cos (\stackrel{\→}{i},\stackrel{\→}{j})=\frac{\stackrel{\→}{i}\×\stackrel{\→}{j}}{\left|\right|\stackrel{\→}{i}\left|\right|\×\left|\right|\stackrel{\→}{j}\left|\right|}$

根据上述s(i，j)可以建立用户相似度矩阵S，根据上述t(i，j)可以建立产品相似度矩阵T。

在电子商务网站中，我们仅仅需要一小部分的邻居信息。对于每个用户i，我们仅保存与其相似度最高的K个邻居集合N_Ui，并计算他们与用户i的相似度。同时对于每项产品j，我们也计算出与其相似度最高的K个邻居集合N_Vj并保存它们与产品j的相似度。为了后续计算上的方便，我们将每个用户的K个邻居集合的相似度归一化：

$\∀j\∈N_{\mathrm{Ui}}$ $s(i,j)=\frac{s(i,j)}{\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)}---\left(3\right)$

上述等式确保了∑_l∈Nuis(i，j)＝1。

同样的，我们将每个产品的K个邻居集合的相似度归一化：

$\∀j\∈\mathrm{Nvj}$ $t(i,j)=\frac{t(i,j)}{\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)}$

上述等式确保了∑_l∈Nvjt(j，l)＝1。

步骤13、基于所述用户和产品的邻居集合信息，采取最近邻居矩阵分解算法计算出用户和产品的特征向量。

将用户i的邻居集合中的所有用户的特征向量的平均值加上一个随机高斯噪声得到用户i的特征向量U_i，用户i的特征向量U_i的计算方法如下：

$U_i=\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,j)*U_l+\mathrm{\θ},\mathrm{\θ}~N(0,{\mathrm{\σ}}_U^2)$

上述等式中噪声θ符合均值为0，方差为σ²的高斯分布。假设系统中有M个用户，用户之间的相似度s已知，对每个用户的特征向量我们均采用上述等式计算，可得到如下公式：

$p\left(U\right|s,{\mathrm{\σ}}_U^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}N(\underset{i\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l{,\mathrm{\σ}}_u^2)---\left(4\right)$

公式(4)表示了用户特征矩阵U的先验概率密度函数。

将产品j的邻居集合中的所有产品的特征向量的平均值加上一个随机高斯噪声得到产品j的特征向量，产品j的特征向量V_j的计算方法如下：

$V_j=\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l+\mathrm{\θ},\mathrm{\θ}~N(0,{\mathrm{\σ}}_V^2)$

上述等式中产品特征向量V的偏差θ符合均值为0，方差为σ²v的高斯分布。假设系统中有N项产品，产品之间相似度t已知，对每项产品我们均采用上述等式计算，可得到如下公式：

$p\left(V\right|T,{\mathrm{\σ}}_V^2)=\underset{j=1}{\overset{N}{\mathrm{\Π}}}N(\underset{j\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l,{\mathrm{\σ}}_V^2)---\left(5\right)$

公式(5)刻画了产品特征矩阵V的先验概率密度函数。

最近邻居矩阵分解模型的核心思想是将利用标签数据得到的相似度信息结合到传统的矩阵分解模型中。在得到上述用户特征矩阵U和产品特征矩阵V的情况下，用户-产品评分矩阵R的似然函数p(R|U，V，σ²)的计算方法如下：

$p\left(R\right|U,V,{\mathrm{\σ}}^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i^T{V}_j,{\mathrm{\σ}}^2)\right]}^{\mathrm{Yij}}---\left(6\right)$

上述公式6中的R为用户-产品评分矩阵，U为用户特征矩阵，V为产品特征矩阵，表示用户i的特征向量U_i的转置，N(x|μ，σ²)是均值为u，方差为σ²的高斯分布，Y是指示矩阵，当用户i对产品j评过分时，Y_ij＝1；否则Y_ij＝0。

在已知用户-产品评分矩阵R，用户相似度矩阵S和产品相似度矩阵T的情况下，通过贝叶斯推断：后验概率∝先验概率＊似然函数。其中用户和产品的特征向量U和V的先验概率密度函数分别在公式(4)和公式(5)中给出，公式(6)给出了评分数据R的似然函数因此我们获得了以下关于用户和产品特征矩阵的后验概率分布：

$p(U,V|R,{\mathrm{\σ}}^2,{\mathrm{\σ}}_U^2,{\mathrm{\σ}}_V^2)\∝p\left(R\right|U,V,{\mathrm{\σ}}^2)p\left(U\right|S,{\mathrm{\σ}}_U^2)p\left(V\right|T,{\mathrm{\σ}}_V^2)$

$=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i^T{V}_j,{\mathrm{\σ}}^2)\right]}^{\mathrm{Yij}}---\left(7\right)$

$*\underset{i=1}{\overset{M}{\mathrm{\Π}}}N(\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l,{\mathrm{\σ}}_U^2)*\underset{j=1}{\overset{n}{\mathrm{\Π}}}N(\underset{j\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l,{\mathrm{\σ}}_V^2)$

上述公式(7)的计算原理示意图如图2所示，从图2可以明显的看到，与传统的矩阵分解算法不同的是，用户和产品的特征向量不仅受评分矩阵的影响，而且受到他们的邻居集合的影响。通过求所述用户和产品特征矩阵的后验概率分布的最大值得到所述用户和产品特征矩阵的具体数值。

对公式(7)取对数，得到的关于用户和产品特征向量的后验概率如下：

$\ln p(U,V|R,{\mathrm{\σ}}^2,{\mathrm{\σ}}_U^2,{\mathrm{\σ}}_V^2)=-\frac{1}{2{\mathrm{\σ}}^2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{Y}_{\mathrm{ij}}{(R_{\mathrm{ij}}-U_i^T{V}_j)}^2$

$-\frac{1}{2{\mathrm{\σ}}_U^2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)}^T(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)---\left(8\right)$

$-\frac{1}{2{\mathrm{\σ}}_V^2}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)}^T(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)+C$

其中，C是一个不受用户和产品特征向量影响的常数。固定高斯分布的超参数σ²，σ² _U和σ² _V，最大化(8)等同于最小化下面的平方和误差函数E：

$E=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{Y}_{\mathrm{ij}}{(R_{\mathrm{ij}}-U_i^T{V}_j)}^2$

$+{\mathrm{\λ}}_U\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)}^T(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)---\left(9\right)$

$+{\mathrm{\λ}}_V\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)}^T(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)$

在上述等式中， ${\mathrm{\λ}}_U=\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_U^2},$ ${\mathrm{\λ}}_V=\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_V^2}.$

因为等式(9)是同时关于U和V的一个平方和误差，所以无法找到最优解。但是我们可以通过对每个用户和产品特征向量采取梯度下降法，求得局部最优解：

$\frac{\∂E}{\∂\mathrm{Ui}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}(R_{\mathrm{ij}}-U_i^T{V}_j)(-V_j)+{\mathrm{\λ}}_U(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)---\left(10\right)$

$-{\mathrm{\λ}}_U\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(l,i)(U_l-\underset{j\∈\mathrm{Nul}}{\mathrm{\Σ}}s(j,l)*U_j)$

$\frac{\∂E}{\∂V_j}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}(R_{\mathrm{ij}}-U_i^T{V}_j)(-U_i)+{\mathrm{\λ}}_V(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)---\left(11\right)$

$-{\mathrm{\λ}}_V\underset{j\∈\mathrm{NVj}}{\mathrm{\Σ}}t(l,j)(V_l-\underset{i\∈\mathrm{Nvl}}{\mathrm{\Σ}}t(i,l)*V_i)$

在实际应用中，上述U_i和V_j的计算过程是一个多次迭代的过程，该多次迭代的过程如下：

初始化U和V为小的随机变量

其中，stepsize设定为一个很小的常数，如0.001。MAX_LOOP为最大循环迭代次数，在算法的实践过程中，通常迭代100次左右即可收敛。U_i和V_j的求解过程实际上是一个逐步逼近的过程，U_i和V_j均取最后一次迭代的结果作为最终值。将所有用户的U_i和V_j组成低维、稠密的用户、产品特征矩阵U和V。

步骤14、根据用户和产品的特征向量，预测用户对未评分产品的评分，对用户进行个性化产品推荐。

对于每个用户，预测其对未评分产品的评分，选取得分最高的前设定数量该(K)个产品作为候选推荐列表。

我们利用上一步得到的用户特征向量U_i、产品特征向量V_j预测每个用户对未评分产品的预测评分，例如：对于用户i，产品j是其未评分产品，则预测评分

并按预测得分从高到低选择前L个产品，作为每个用户的候选推荐列表。

从上述用户的候选推荐列表中，按照一定的规则进一步挑选K个产品进行推荐，其中K＜L，挑选的原则可以按照得分高低，也可以按照产品主题覆盖范围的广泛性等。

用户的体验反馈数据对提高推荐效果有着十分重要的作用。比如：可以通过用户是否浏览购买推荐产品来判断用户对推荐的喜爱程度，并针对这些用户反馈数据相应的对推荐算法进行修改，进一步提高用户对推荐系统的满意程度。

实施例二

该实施例提供了一种对用户进行个性化推荐的装置，其具体结构如图3所示，包括如下的模块：

邻居集合获取模块31，用于利用用户的标签数据计算用户之间的相似度，利用产品的标签数据计算产品之间的相似度，根据相似度信息获取每个用户和每项产品的邻居集合；

特征向量获取模块32，用于基于所述用户和产品的邻居集合信息，采取最近邻居矩阵分解算法计算出用户和产品的特征向量；

个性化推荐处理模块33，用于根据用户和产品的特征向量，预测用户对未评分产品的评分数据，根据所述评分数据对用户进行个性化产品推荐。

具体的，所述的邻居集合获取模块31，还用于对于用户-标签信息矩阵P，P_il是用户i对标签l的权重值，P_il的具体计算公式是：

P_il＝tf(i，l)*ln(L/d(fl))

其中tf(i，l)表示用户i的标签记录中标签l出现的归一化频率，df(l)表示使用过标签l的用户数；

对于产品-标签矩阵Q，Q_jl是产品j对标签l的权重值，Q_jl的具体计算公式是：

Q_jl＝tf(j，l)*ln(L/df(l))

其中tf(j，l)表示产品j的标签记录中标签l出现的归一化频率，df(l)表示使用过标签l的产品数；

根据所述用户-标签矩阵P分别得到用户i在标签空间中对应的向量

用户j在标签空间中对应的向量

用户i和用户j之间的相似度s(i，j)的计算方法如下：

$s(i,j)=\cos (\stackrel{\→}{i},\stackrel{\→}{j})=\frac{\stackrel{\→}{i}\×\stackrel{\→}{j}}{\left|\right|\stackrel{\→}{i}\left|\right|\×\left|\right|\stackrel{\→}{j}\left|\right|}---\left(2\right)$

对于用户i，选取与其相似度最高的设定数量个用户组成邻居集合N_Ui，并计算所述设定数量个用户与用户i之间的相似度，并将所述设定数量个用户与用户i之间的相似度归一化：

$\∀j\∈N_{\mathrm{Ui}}$ $s(i,j)=\frac{s(i,j)}{\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)}$

上述等式确保了∑_l∈Nuis(i，j)＝1；

根据所述产品-标签矩阵P分别得到产品i在标签空间中对应的向量

产品j在标签空间中对应的向量

产品i和产品j之间的相似度s(i，j)的计算方法如下：

$t(i,j)=\cos (\stackrel{\→}{i},\stackrel{\→}{j})=\frac{\stackrel{\→}{i}\×\stackrel{\→}{j}}{\left|\right|\stackrel{\→}{i}\left|\right|\×\left|\right|\stackrel{\→}{j}\left|\right|}$

对于产品i，选取与其相似度最高的设定数量个产品组成邻居集合Nvj，并计算所述设定数量个产品与产品i之间的相似度，并将所述设定数量个产品与产品i之间的相似度归一化：

$\∀j\∈\mathrm{Nvj}$ $t(i,j)=\frac{t(i,j)}{\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)}$

上述等式确保了∑_l∈Nvjt(j，l)＝1。

具体的，所述的特征向量获取模块32，还用于将用户i的邻居集合中的所有用户的特征向量的平均值加上一个随机高斯噪声得到用户i的特征向量U_i，计算方法如下：

$U_i=\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,j)*U_l+\mathrm{\θ},\mathrm{\θ}~N(0,{\mathrm{\σ}}_U^2)$

所述随机高斯噪声θ符合均值为0，方差为σ²的高斯分布

将所有用户的特征向量组成用户特征矩阵U，

当系统中有M个用户，每个用户之间的相似度已知，则用户特征矩阵U的先验概率密度函数

的计算方法如下：

$p\left(U\right|s,{\mathrm{\σ}}_U^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}N(\underset{i\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l{,\mathrm{\σ}}_u^2)$

将产品j的邻居集合中的所有产品的特征向量的平均值加上一个随机高斯噪声得到产品j的特征向量，产品j的特征向量V_j的计算方法如下：

$V_j=\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l+\mathrm{\θ},\mathrm{\θ}~N(0,{\mathrm{\σ}}_V^2)$

所述随机高斯噪声θ符合均值为0，方差为σ²的高斯分布

将所有产品的特征向量组成产品特征矩阵U；

当系统中有N个产品，每个产品之间的相似度已知，则产品特征矩阵V的先验概率密度函数

的计算方法如下：

$p\left(V\right|T,{\mathrm{\σ}}_V^2)=\underset{j=1}{\overset{N}{\mathrm{\Π}}}N(\underset{j\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l,{\mathrm{\σ}}_V^2)$

根据所述用户特征矩阵U和产品特征矩阵V，计算出用户-产品评分矩阵R的似然函数p(R|U，V，σ²)：

$p\left(R\right|U,V,{\mathrm{\σ}}^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i^T{V}_j,{\mathrm{\σ}}^2)\right]}^{\mathrm{Yij}}$

所述Y是指示矩阵，当用户i对产品j评过分时，Y_ij＝1；否则Y_ij＝0；

根据所述

p(R|U，V，σ²)之间的乘积得到用户和产品特征矩阵的后验概率分布，通过求所述用户和产品特征矩阵的后验概率分布的最大值得到所述用户和产品特征矩阵的具体数值。

具体的，所述的特征向量获取模块32，还用于将所有用户之间的相似度的值组成用户相似度矩阵S，将所有产品之间的相似度的值组成产品相似度矩阵T，根据所述用户-产品评分矩阵R，用户相似度矩阵S和产品相似度矩阵T的情况下，通过贝叶斯推断得到用户和产品特征矩阵的后验概率分布

$p(U,V|R,{\mathrm{\σ}}^2,{\mathrm{\σ}}_U^2,{\mathrm{\σ}}_V^2)\∝p\left(R\right|U,V,{\mathrm{\σ}}^2)p\left(U\right|S,{\mathrm{\σ}}_U^2)p\left(V\right|T,{\mathrm{\σ}}_V^2)$

$=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i^T{V}_j,{\mathrm{\σ}}^2)\right]}^{\mathrm{Yij}}$

$*\underset{i=1}{\overset{M}{\mathrm{\Π}}}N(\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l,{\mathrm{\σ}}_U^2)*\underset{j=1}{\overset{n}{\mathrm{\Π}}}N(\underset{j\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l,{\mathrm{\σ}}_V^2)$

对上式取对数，得到：

$\ln p(U,V|R,{\mathrm{\σ}}^2,{\mathrm{\σ}}_U^2,{\mathrm{\σ}}_V^2)=-\frac{1}{2{\mathrm{\σ}}^2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{Y}_{\mathrm{ij}}{(R_{\mathrm{ij}}-U_i^T{V}_j)}^2$

$-\frac{1}{2{\mathrm{\σ}}_U^2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)}^T(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)$

$-\frac{1}{2{\mathrm{\σ}}_V^2}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)}^T(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)+C$

其中，所述C是一个不受用户和产品特征向量影响的常数，所述σ²，σ² _U和σ² _V为设定的高斯分布的超参数；

最大化所述

等同于最小化平方和误差函数E，其中：

$E=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{Y}_{\mathrm{ij}}{(R_{\mathrm{ij}}-U_i^T{V}_j)}^2$

$+{\mathrm{\λ}}_U\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)}^T(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)---\left(9\right)$

$+{\mathrm{\λ}}_V\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)}^T(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)$

所述 ${\mathrm{\λ}}_U=\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_U^2},$ ${\mathrm{\λ}}_V=\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_V^2}$

对每个用户的特征向量U_i、每个产品的特征向量V_j采取梯度下降法，求得局部最优解：

$\frac{\∂E}{\∂\mathrm{Ui}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}(R_{\mathrm{ij}}-U_i^T{V}_j)(-V_j)+{\mathrm{\λ}}_U(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)$

$-{\mathrm{\λ}}_U\underset{j\∈\mathrm{NUj}}{\mathrm{\Σ}}s(l,j)(V_l-\underset{j\∈\mathrm{Nvl}}{\mathrm{\Σ}}s(j,l)*U_i)$

$\frac{\∂E}{\∂V_j}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}(R_{\mathrm{ij}}-U_i^T{V}_j)(-U_i)+{\mathrm{\λ}}_V(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)$

$-{\mathrm{\λ}}_V\underset{j\∈\mathrm{NVj}}{\mathrm{\Σ}}t(l,j)(V_l-\underset{i\∈\mathrm{Nvl}}{\mathrm{\Σ}}t(i,l)*V_i)$

通过多次迭代的过程求得U_i和V_j的最终值，该多次迭代的过程如下：

初始化U和V为小的随机变量

其中，stepsize设定为一个很小的常数，如0.001。MAX_LOOP为最大循环迭代次数，在算法的实践过程中，通常迭代100次左右即可收敛。U_i和V_j的求解过程实际上是一个逐步逼近的过程，U_i和V_j均取最后一次迭代的结果作为最终值。

具体的，所述的个性化推荐处理模块33，还用于设用户i的未评分产品j的预测评分为R_ij，R_ij的计算方法为：

$R_{\mathrm{ij}}=U_i^T{V}_j$

U_i为用户i的特征向量，V_j为产品j的特征向量，

按预测得分从高到低选择设定数量个产品作为用户i的推荐产品列表。

应用本发明实施例的装置对用户进行个性化推荐的具体处理过程与前述方法实施例类似，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

综上所述，本发明实施例提出了一种新型的个性化推荐算法框架，该算法能整合用户的评分数据和标签数据，在矩阵分解模型中引入了标签信息、邻居集合信息，因此既拥有矩阵分解模型的优点，又能够在全局结构中抓住邻居间的强关系。在公开数据集上的实验结果表明，本发明实施例的最近邻居矩阵分解算法远远优于现今最流行的矩阵分解算法和最近邻算法。

通过在经典的Movielens数据集上实验，本发明实施例的最近邻居矩阵分解算法比基于用户的最近邻居算法，基于产品的最近邻居算法和概率矩阵分解算法精确度分别提高了8％，3.5％和5％左右。(值得注意的是，这是一个非常大的准确度提升。Netflix比赛为第一个将他们的影片推荐系统精确度提高10％的队伍100万美元，而这历时三年被一个由工程师，统计学家，研究专家组成的团队获得。)

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种对用户进行个性化推荐的方法，其特征在于，包括：

利用用户的标签数据计算用户之间的相似度，利用产品的标签数据计算产品之间的相似度，根据相似度信息获取每个用户和每项产品的邻居集合；

基于所述用户和产品的邻居集合信息，采取最近邻居矩阵分解算法计算出用户和产品的特征向量；

根据用户和产品的特征向量，预测用户对未评分产品的评分数据，根据所述评分数据对用户进行个性化产品推荐。

2.根据权利要求1所述的对用户进行个性化推荐的方法，其特征在于，所述的利用用户的标签数据计算用户之间的相似度，利用产品的标签数据计算产品之间的相似度，根据相似度信息获取每个用户和每项产品的邻居集合，包括：

对于用户-标签信息矩阵P，P_il是用户i对标签l的权重值，P_il的具体计算公式是：

P_il＝tf(i，l)*ln(L/d(fl))

其中tf(i，l)表示用户i的标签记录中标签l出现的归一化频率，df(l)表示使用过标签l的用户数；

对于产品-标签矩阵Q，Q_jl是产品j对标签l的权重值，Q_jl的具体计算公式是：

Q_jl＝tf(j，l)*ln(L/df(l))

其中tf(j，l)表示产品j的标签记录中标签l出现的归一化频率，df(l)表示使用过标签l的产品数；

根据所述用户-标签矩阵P分别得到用户i在标签空间中对应的向量用户j在标签空间中对应的向量

用户i和用户j之间的相似度s(i，j)的计算方法如下：

$s(i,j)=\cos (\stackrel{\→}{i},\stackrel{\→}{j})=\frac{\stackrel{\→}{i}\×\stackrel{\→}{j}}{\left|\right|\stackrel{\→}{i}\left|\right|\×\left|\right|\stackrel{\→}{j}\left|\right|}$

对于用户i，选取与其相似度最高的设定数量个用户组成邻居集合N_Ui，并计算所述设定数量个用户与用户i之间的相似度，并将所述设定数量个用户与用户i之间的相似度归一化：

$\∀j\∈N_{\mathrm{Ui}}$ $s(i,j)=\frac{s(i,j)}{\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)}$

∑_l∈Nuis(i，j)＝1；

根据所述产品-标签矩阵P分别得到产品i在标签空间中对应的向量产品j在标签空间中对应的向量

产品i和产品j之间的相似度s(i，j)的计算方法如下：

$t(i,j)=\cos (\stackrel{\→}{i},\stackrel{\→}{j})=\frac{\stackrel{\→}{i}\×\stackrel{\→}{j}}{\left|\right|\stackrel{\→}{i}\left|\right|\×\left|\right|\stackrel{\→}{j}\left|\right|}$

对于产品i，选取与其相似度最高的设定数量个产品组成邻居集合Nvj，并计算所述设定数量个产品与产品i之间的相似度，并将所述设定数量个产品与产品i之间的相似度归一化：

$\∀j\∈\mathrm{Nvj}$ $t(i,j)=\frac{t(i,j)}{\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)}$

上述等式确保了∑_l∈Nvjt(j，l)＝1。

3.根据权利要求1所述的对用户进行个性化推荐的方法，其特征在于，所述的基于所述用户和产品的邻居集合信息，采取最近邻居矩阵分解算法计算出用户和产品的特征向量，包括：

将用户i的邻居集合中的所有用户的特征向量的平均值加上一个随机高斯噪声得到用户i的特征向量U_i，计算方法如下：

$U_i=\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,j)*U_l+\mathrm{\θ},\mathrm{\θ}~N(0,{\mathrm{\σ}}_U^2)$

所述随机高斯噪声θ符合均值为0，方差为σ²的高斯分布

将所有用户的特征向量组成用户特征矩阵U，

当系统中有M个用户，每个用户之间的相似度已知，则用户特征矩阵U的先验概率密度函数

的计算方法如下：

$p\left(U\right|s,{\mathrm{\σ}}_U^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}N(\underset{i\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l{,\mathrm{\σ}}_u^2)$

将产品j的邻居集合中的所有产品的特征向量的平均值加上一个随机高斯噪声得到产品j的特征向量，产品j的特征向量V_j的计算方法如下：

$V_j=\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l+\mathrm{\θ},\mathrm{\θ}~N(0,{\mathrm{\σ}}_V^2)$

所述随机高斯噪声θ符合均值为0，方差为σ²的高斯分布

将所有产品的特征向量组成产品特征矩阵U；

当系统中有N个产品，每个产品之间的相似度已知，则产品特征矩阵V的先验概率密度函数

的计算方法如下：

$p\left(V\right|T,{\mathrm{\σ}}_V^2)=\underset{j=1}{\overset{N}{\mathrm{\Π}}}N(\underset{j\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l,{\mathrm{\σ}}_V^2)$

根据所述用户特征矩阵U和产品特征矩阵V，计算出用户-产品评分矩阵R的似然函数p(R|U，V，σ²)：

$p\left(R\right|U,V,{\mathrm{\σ}}^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i^T{V}_j,{\mathrm{\σ}}^2)\right]}^{\mathrm{Yij}}$

所述Y是指示矩阵，当用户i对产品j评过分时，Y_ij＝1；否则Y_ij＝0；

根据所述

p(R|U，V，σ²)之间的乘积得到用户和产品特征矩阵的后验概率分布，通过求所述用户和产品特征矩阵的后验概率分布的最大值得到所述用户和产品特征矩阵的具体数值。

4.根据权利要求3所述的对用户进行个性化推荐的方法，其特征在于，所述的根据所述

p(R|U，V，σ²)之间的乘积得到用户和产品特征矩阵的后验概率分布，通过求所述用户和产品特征矩阵的后验概率分布的最大值得到所述用户和产品特征矩阵的具体数值，包括：

将所有用户之间的相似度的值组成用户相似度矩阵S，将所有产品之间的相似度的值组成产品相似度矩阵T，根据所述用户-产品评分矩阵R，用户相似度矩阵S和产品相似度矩阵T的情况下，通过贝叶斯推断得到用户和产品特征矩阵的后验概率分布

$p(U,V|R,{\mathrm{\σ}}^2,{\mathrm{\σ}}_U^2,{\mathrm{\σ}}_V^2)\∝p\left(R\right|U,V,{\mathrm{\σ}}^2)p\left(U\right|S,{\mathrm{\σ}}_U^2)p\left(V\right|T,{\mathrm{\σ}}_V^2)$

$=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i^T{V}_j,{\mathrm{\σ}}^2)\right]}^{\mathrm{Yij}}$

$*\underset{i=1}{\overset{M}{\mathrm{\Π}}}N(\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l,{\mathrm{\σ}}_U^2)*\underset{j=1}{\overset{n}{\mathrm{\Π}}}N(\underset{j\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l,{\mathrm{\σ}}_V^2)$

对上式取对数，得到：

$\ln p(U,V|R,{\mathrm{\σ}}^2,{\mathrm{\σ}}_U^2,{\mathrm{\σ}}_V^2)=-\frac{1}{2{\mathrm{\σ}}^2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{Y}_{\mathrm{ij}}{(R_{\mathrm{ij}}-U_i^T{V}_j)}^2$

$-\frac{1}{2{\mathrm{\σ}}_U^2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)}^T(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)$

$-\frac{1}{2{\mathrm{\σ}}_V^2}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)}^T(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)+C$

其中，所述C是一个不受用户和产品特征向量影响的常数，所述σ²，σ² _U和σ² _V为设定的高斯分布的超参数；

最大化所述

等同于最小化平方和误差函数E，其中：

$E=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{Y}_{\mathrm{ij}}{(R_{\mathrm{ij}}-U_i^T{V}_j)}^2$

$+{\mathrm{\λ}}_U\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)}^T(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)$

$+{\mathrm{\λ}}_V\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)}^T(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)$

所述 ${\mathrm{\λ}}_U=\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_U^2},$ ${\mathrm{\λ}}_V=\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_V^2}$

对每个用户的特征向量U_i、每个产品的特征向量V_j采取梯度下降法，求得局部最优解：

$\frac{\∂E}{\∂\mathrm{Ui}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}(R_{\mathrm{ij}}-U_i^T{V}_j)(-V_j)+{\mathrm{\λ}}_U(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)$

$-{\mathrm{\λ}}_U\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(l,i)(U_l-\underset{j\∈\mathrm{Nul}}{\mathrm{\Σ}}s(j,l)*U_j)$

$\frac{\∂E}{\∂V_j}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}(R_{\mathrm{ij}}-U_i^T{V}_j)(-U_i)+{\mathrm{\λ}}_V(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)$

$-{\mathrm{\λ}}_V\underset{j\∈\mathrm{NVj}}{\mathrm{\Σ}}t(l,j)(V_l-\underset{i\∈\mathrm{Nvl}}{\mathrm{\Σ}}t(i,l)*V_i)$

通过多次迭代的过程求解所述U_i和V_j，所述U_i和V_j均取最后一次迭代的结果作为最终值。

5.根据权利要求1、2、3或4所述的对用户进行个性化推荐的方法，其特征在于，所述的根据用户和产品的特征向量，预测用户对未评分产品的评分数据，根据所述评分数据对用户进行个性化产品推荐，包括：

设用户i的未评分产品j的预测评分为R_ij，R_ij的计算方法为：

$R_{\mathrm{ij}}=U_i^T{V}_j$

U_i为用户i的特征向量，V_j为产品j的特征向量，

按预测得分从高到低选择设定数量个产品作为用户i的推荐产品列表。

6.一种对用户进行个性化推荐的装置，其特征在于，包括：

邻居集合获取模块，用于利用用户的标签数据计算用户之间的相似度，利用产品的标签数据计算产品之间的相似度，根据相似度信息获取每个用户和每项产品的邻居集合；

特征向量获取模块，用于基于所述用户和产品的邻居集合信息，采取最近邻居矩阵分解算法计算出用户和产品的特征向量；

个性化推荐处理模块，用于根据用户和产品的特征向量，预测用户对未评分产品的评分数据，根据所述评分数据对用户进行个性化产品推荐。

7.根据权利要求6所述的对用户进行个性化推荐的装置，其特征在于：

所述的邻居集合获取模块，还用于对于用户-标签信息矩阵P，P_il是用户i对标签l的权重值，P_il的具体计算公式是：

P_il＝tf(i，l)*ln(L/d(fl))

其中tf(i，l)表示用户i的标签记录中标签l出现的归一化频率，df(l)表示使用过标签l的用户数；

对于产品-标签矩阵Q，Q_jl是产品j对标签l的权重值，Q_jl的具体计算公式是：

Q_jl＝tf(j，l)*ln(L/df(l))

其中tf(j，l)表示产品j的标签记录中标签l出现的归一化频率，df(l)表示使用过标签l的产品数；

根据所述用户-标签矩阵P分别得到用户i在标签空间中对应的向量

用户j在标签空间中对应的向量

用户i和用户j之间的相似度s(i，j)的计算方法如下：

$s(i,j)=\cos (\stackrel{\→}{i},\stackrel{\→}{j})=\frac{\stackrel{\→}{i}\×\stackrel{\→}{j}}{\left|\right|\stackrel{\→}{i}\left|\right|\×\left|\right|\stackrel{\→}{j}\left|\right|}$

对于用户i，选取与其相似度最高的设定数量个用户组成邻居集合N_Ui，并计算所述设定数量个用户与用户i之间的相似度，并将所述设定数量个用户与用户i之间的相似度归一化：

$\∀j\∈N_{\mathrm{Ui}}$ $s(i,j)=\frac{s(i,j)}{\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)}$

∑_l∈Nuis(i，j)＝1；

根据所述产品-标签矩阵P分别得到产品i在标签空间中对应的向量

产品j在标签空间中对应的向量

产品i和产品j之间的相似度s(i，j)的计算方法如下：

$t(i,j)=\cos (\stackrel{\→}{i},\stackrel{\→}{j})=\frac{\stackrel{\→}{i}\×\stackrel{\→}{j}}{\left|\right|\stackrel{\→}{i}\left|\right|\×\left|\right|\stackrel{\→}{j}\left|\right|}$

对于产品i，选取与其相似度最高的设定数量个产品组成邻居集合Nvj，并计算所述设定数量个产品与产品i之间的相似度，并将所述设定数量个产品与产品i之间的相似度归一化：

$\∀j\∈\mathrm{Nvj}$ $t(i,j)=\frac{t(i,j)}{\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)}$

上述等式确保了∑_l∈Nvjt(j，l)＝1。

8.根据权利要求6所述的对用户进行个性化推荐的装置，其特征在于：

所述的特征向量获取模块，还用于将用户i的邻居集合中的所有用户的特征向量的平均值加上一个随机高斯噪声得到用户i的特征向量U_i，计算方法如下：

$U_i=\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,j)*U_l+\mathrm{\θ},\mathrm{\θ}~N(0,{\mathrm{\σ}}_U^2)$

所述随机高斯噪声θ符合均值为0，方差为σ²的高斯分布

将所有用户的特征向量组成用户特征矩阵U，

当系统中有M个用户，每个用户之间的相似度已知，则用户特征矩阵U的先验概率密度函数的计算方法如下：

$p\left(U\right|s,{\mathrm{\σ}}_U^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}N(\underset{i\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_i{,\mathrm{\σ}}_u^2)$

将产品j的邻居集合中的所有产品的特征向量的平均值加上一个随机高斯噪声得到产品j的特征向量，产品j的特征向量V_j的计算方法如下：

$V_j=\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l+\mathrm{\θ},\mathrm{\θ}~N(0,{\mathrm{\σ}}_V^2)$

所述随机高斯噪声θ符合均值为0，方差为σ²的高斯分布

将所有产品的特征向量组成产品特征矩阵U；

当系统中有N个产品，每个产品之间的相似度已知，则产品特征矩阵V的先验概率密度函数

的计算方法如下：

$p\left(V\right|T,{\mathrm{\σ}}_V^2)=\underset{j=1}{\overset{N}{\mathrm{\Π}}}N(\underset{j\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l,{\mathrm{\σ}}_V^2)$

根据所述用户特征矩阵U和产品特征矩阵V，计算出用户-产品评分矩阵R的似然函数p(R|U，V，σ²)：

$p\left(R\right|U,V,{\mathrm{\σ}}^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i^T{V}_j,{\mathrm{\σ}}^2)\right]}^{\mathrm{Yij}}$

所述Y是指示矩阵，当用户i对产品j评过分时，Y_ij＝1；否则Y_ij＝0；

根据所述

p(R|U，V，σ²)之间的乘积得到用户和产品特征矩阵的后验概率分布，通过求所述用户和产品特征矩阵的后验概率分布的最大值得到所述用户和产品特征矩阵的具体数值。

9.根据权利要求8所述的对用户进行个性化推荐的装置，其特征在于：

所述的特征向量获取模块，还用于将所有用户之间的相似度的值组成用户相似度矩阵S，将所有产品之间的相似度的值组成产品相似度矩阵T，根据所述用户-产品评分矩阵R，用户相似度矩阵S和产品相似度矩阵T的情况下，通过贝叶斯推断得到用户和产品特征矩阵的后验概率分布

$p(U,V|R,{\mathrm{\σ}}^2,{\mathrm{\σ}}_U^2,{\mathrm{\σ}}_V^2)\∝p\left(R\right|U,V,{\mathrm{\σ}}^2)p\left(U\right|S,{\mathrm{\σ}}_U^2)p\left(V\right|T,{\mathrm{\σ}}_V^2)$

$=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i^T{V}_j,{\mathrm{\σ}}^2)\right]}^{\mathrm{Yij}}$

$*\underset{i=1}{\overset{M}{\mathrm{\Π}}}N(\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l,{\mathrm{\σ}}_U^2)*\underset{j=1}{\overset{n}{\mathrm{\Π}}}N(\underset{j\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l,{\mathrm{\σ}}_V^2)$

对上式取对数，得到：

$\ln p(U,V|R,{\mathrm{\σ}}^2,{\mathrm{\σ}}_U^2,{\mathrm{\σ}}_V^2)=-\frac{1}{2{\mathrm{\σ}}^2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{Y}_{\mathrm{ij}}{(R_{\mathrm{ij}}-U_i^T{V}_j)}^2$

$-\frac{1}{2{\mathrm{\σ}}_U^2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)}^T(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)$

$-\frac{1}{2{\mathrm{\σ}}_V^2}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)}^T(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)+C$

其中，所述C是一个不受用户和产品特征向量影响的常数，所述σ²，σ² _U和σ² _V为设定的高斯分布的超参数；

最大化所述等同于最小化平方和误差函数E，其中：

$E=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{Y}_{\mathrm{ij}}{(R_{\mathrm{ij}}-U_i^T{V}_j)}^2$

$+{\mathrm{\λ}}_U\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)}^T(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)$

$+{\mathrm{\λ}}_V\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)}^T(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)$

所述 ${\mathrm{\λ}}_U=\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_U^2},$ ${\mathrm{\λ}}_V=\frac{{\mathrm{\σ}}^2}{{\mathrm{\σ}}_V^2}$

对每个用户的特征向量U_i、每个产品的特征向量V_j采取梯度下降法，求得局部最优解：

$\frac{\∂E}{\∂\mathrm{Ui}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}(R_{\mathrm{ij}}-U_i^T{V}_j)(-V_j)+{\mathrm{\λ}}_U(U_i-\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(i,l)*U_l)$

$-{\mathrm{\λ}}_U\underset{l\∈\mathrm{Nui}}{\mathrm{\Σ}}s(l,i)(U_l-\underset{j\∈\mathrm{Nul}}{\mathrm{\Σ}}s(j,l)*U_j)$

$\frac{\∂E}{\∂V_j}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}(R_{\mathrm{ij}}-U_i^T{V}_j)(-U_i)+{\mathrm{\λ}}_V(V_j-\underset{l\∈\mathrm{Nvj}}{\mathrm{\Σ}}t(j,l)*V_l)$

$-{\mathrm{\λ}}_V\underset{j\∈\mathrm{NVj}}{\mathrm{\Σ}}t(l,j)(V_l-\underset{i\∈\mathrm{Nvl}}{\mathrm{\Σ}}t(i,l)*V_i)$

通过多次迭代的过程求解所述u_i和V_j，所述U_i和V_j均取最后一次迭代的结果作为最终值。

10.根据权利要求6至9任一项所述的对用户进行个性化推荐的装置，其特征在于：

所述的个性化推荐处理模块，还用于设用户i的未评分产品j的预测评分为R_ij，R_ij的计算方法为：

$R_{\mathrm{ij}}=U_i^T{V}_j$

U_i为用户i的特征向量，V_j为产品j的特征向量，

按预测得分从高到低选择设定数量个产品作为用户i的推荐产品列表。

Images