CN107392049B - 一种基于差分隐私保护的推荐方法 - Google Patents

Abstract

本发明公开了一种基于差分隐私保护的推荐方法，包括：1、从网站上获取访问用户对项目的评分信息；2、对用户评分数据加入拉普拉斯噪声得到扰动后的评分数据；3、将扰动评分数据传入使用拉普拉斯机制的概率矩阵分解推荐算法得到用户因子矩阵和项目因子矩阵；4、根据用户因子矩阵和项目因子矩阵预测每个用户对所有项目的评分；5、将预测评分最高的前top个项目推荐用户。本发明能有效解决现有的隐私保护推荐方案中用户数据的安全性差和推荐结果准确性低的问题从而能更好的保护用户数据的隐私并提高推荐结果的准确度。

Description

一种基于差分隐私保护的推荐方法

技术领域

本发明涉及到机器学习的推荐技术领域，具体的说是一种基于差分隐私和概率矩阵分解算法的推荐方法。

背景技术

目前，随着互联网的不断发展，互联网上的信息呈现爆炸性的增长，这就导致互联网用户很难从互联网获取到感兴趣的信息。用户对个性化推荐服务的需求越来越强烈。根据用户的行为数据，为用户提供个性化的推荐已经成为了互联网服务不可或缺的一部分。

为了给用户提供更加精确的个性化推荐，推荐系统的服务商不得不搜集大量的用户历史信息(比如：用户的对商品的评分记录、网页的历史浏览记录等)。通过对用户历史信息进行有效的分析然后向用户提供准确的个性化推荐服务，这样大大增加了用户对互联网服务的兴趣度，同时也促进了互联网的经济不断发展。但是，如果没有对收集到的用户信息进行有效的保护，会使得大量的用户信息泄露。从而导致用户在互联网上浏览网页、购买商品等活动时清除记录，使得推荐服务质量下降，用户对互联网的兴趣度下降，进一步则影响经济效益。因此对搜集到的用户信息进行有效的保护已经成为越来越突出的问题。

当前，多数推荐算法的隐私保护方案都是基于传统的加密方案来对收集到的用户信息进行保护。但是这些加密方案是假设攻击者有一定的背景知识限制，而且不能在整个推荐过程中进行有效的保护。这不仅存在用户信息泄露风险而且加密解密过程增加了计算时间。为了解决上述问题，文献[A differential privacy framework for matrixfactorization recommender systems，2016]提出了一种基于差分隐私的矩阵分解推荐系统保护框架，较好的解决了对攻击者背景知识限制的问题。文献中实现差分隐私保护的主要方案是针对用户-项目的评分数据、矩阵分解推荐算法、用户这几个因素构成的推荐系统，用户对项目的评分数据被服务器收集起来，并且评分数据被聚合成一个用户-项目评分矩阵。文献中主要的隐私保护方法有两种：

1)仅考虑向评分矩阵加入拉普拉斯噪声，然后将加噪声后的评分矩阵传入推荐系统预测用户对商品的评分，最后将评分高的商品推荐给用户；

2)仅考虑在矩阵分解的随机梯度下降过程中加入拉普拉斯噪声，预测出用户对商品的评分，最后将评分高的几个商品推荐给用户。该方案比传统的加密保护方案能在推荐过程中更有效地对用户数据进行隐私保护。

然而，以往基于差分隐私保护的推荐系统算法(如上述文献的矩阵分解算法)。一方面仅考虑在输入评分矩阵的时候加入拉普拉斯噪声使其满足差分隐私，但是这么做的结果很大可能就会导致加入的噪声过多，损害了用户的评分数据的可用性直接导致推荐结果不准确。另一方面仅考虑在推荐算法运行过程中加入噪声，在这种情况下并不能保证用户数据在整个推荐过程中是安全的，因为在推荐系统不诚实的情况下，用户数据在传入推荐系统中时还是存在被泄露的风险。而对于推荐服务，如果推荐准确度下降或者用户数据无法被安全的保护起来，就会使得用户对互联网服务的兴趣度下降，从而造成用户的流失，这就会影响互联网经济的发展。因此，在推荐过程中得到准确的推荐结果并且对用户数据提供严格的隐私保护变得尤为重要。

发明目的

本发明为了克服现有技术存在的不足之处，提供一种基于差分隐私保护的推荐方法，以期望能有效解决现有隐私保护推荐方案中用户数据的安全性差和推荐结果准确性低的问题，从而能更好的保护用户数据的隐私并提高推荐结果的准确度。

本发明为解决技术问题所采用的技术方案是：

本发明一种基于差分隐私保护的推荐方法的特点是按如下步骤进行：

步骤一、从网站上获取访问用户对项目的评分信息：

假设所述网站上存在n个访问用户，记为U＝{u₁,u₂,...,u_i,...,u_n}，u_i表示第i个访问用户，1≤i≤n；所述网站上存在m个项目，记为I＝{item₁,item₂,...,item_j,…,item_m}，item_j表示第j个项目，1≤j≤m；则令第i个访问用户u_i对第j个项目item_j的评分信息记为r_ij，从而得到所有访问用户对所有项目的评分信息所组成的评分矩阵R_n×m，且所述评分矩阵R_n×m为稀疏矩阵；

步骤二、随机生成一个与所述评分矩阵R_n×m具有相同行数和列数的噪声矩阵NOISE_n×m，且当r_ij＝0时，所述噪声矩阵NOISE_n×m中的第i行第j列元素noise_ij＝0，当r_ij≠0时，第i行第j列元素noise_ij服从拉普拉斯分布，即noise_ij＝Laplace(Δr/ε₁)；Laplace()表示拉普拉斯噪声的随机生成函数；ε₁表示第一隐私参数；

将所述噪声矩阵NOISE_n×m与评分矩阵R_n×m相加，从而得到加噪声后的扰动评分矩阵R′_n×m；且所述扰动评分矩阵R′_n×m中的第i行第j列元素r′_ij满足式(1)：

式(1)中，r_min表示评分下界，r_max表示评分上界；

步骤三、将扰动评分矩阵R′_n×m输入到概率矩阵分解算法中进行训练，得到用户因子矩阵P_n×d和项目因子矩阵Q_m×d；

步骤3.1、参数定义：令因子数为d，学习率参数为γ，规则参数为λ，梯度下降迭代次数为k_max，当前梯度下降迭代次数为k，预测误差上界为e_max，第二隐私参数为ε₂；

步骤3.2、初始化k＝1；随机初始化第k次迭代的用户因子矩阵和项目因子矩阵服从高斯分布；

步骤3.3、利用式(2)得到第k次迭代中随机生成的服从拉普拉斯分布的噪声

式(2)中，Δr表示全局敏感度，且Δr＝max(r_ij)-min(r_ij)；ε＝ε₁+ε₂，ε表示整体的隐私保护参数；

步骤3.4、利用式(3)得到第k次迭代中第i个访问用户u_i对第j个项目item_j的预测误差值

式(3)中，表示第k次迭代的用户因子矩阵中第i行元素，表示第k次迭代的项目因子矩阵中第j行元素，T为转置；

步骤3.5、利用式(4)对所述预测误差值进行限定，得到限定后的预测误差值

步骤3.6、利用式(5)对第k次迭代的用户因子矩阵中第i行元素和项目因子矩阵第j行元素进行更新，得到第k+1次迭代的用户因子矩阵中第i行元素和项目因子矩阵第j行元素

步骤3.7、重复步骤3.3-步骤3.6，从而到得第k+1次迭代中的用户因子矩阵和项目因子矩阵

步骤3.8、判断k+1＞k_max是否成立，若成立，则表示完成迭代，并将所述第k+1次迭代中的用户因子矩阵和项目因子矩阵作为最终的用户因子矩阵P_n×d和项目因子矩阵Q_m×d，并执行步骤四；否则，令k+1赋值给k，并返回步骤3.4执行；

步骤四、利用式(6)获得到所有访问用户对所有项目的预测评分矩阵

步骤五、根据所述预测评分矩阵得到第i个访问用户u_i对所有项目的预测评分 表示第i个访问用户u_i对第j个项目item_j的预测评分；

从所述第i个访问用户u_i的预测评分中选出预测评分最高的前top个项目作为推荐结果并提供给所述第i个访问用户u_i。

相对于现有的推荐系统隐私保护方案，本发明的有益效果体现在：

1、本发明所使用的推荐算法以概率矩阵分解算法为例，基于差分隐私和概率矩阵分解算法，通过对输入数据和在推荐算法运行过程中同时使用差分隐私的拉普拉斯机制进行扰动使得整个推荐方法满足严格意义上的差分隐私，解决了现有推荐系统隐私保护方案中的隐私保护和推荐准确度低的问题，从而提高了推荐准确度的同时也保护用户隐私，并且本发明同样适用于使用其他推荐算法，具有一定的通用性。

2、本发明通过使用差分隐私的拉普拉斯机制，在用户数据输入推荐算法之前和概率矩阵分解推荐算法运行过程中使用差分隐私中的拉普拉斯机制进行扰动，使得这两个扰动过程分别满足ε₁-差分隐私和ε₂-差分隐私，由差分隐私的组合定理，这两个扰动过程组合起来使得本发明提出的推荐方法满足严格意义上(ε＝ε₁+ε₂)-差分隐私；这就使得本发明提出的推荐方法能在推荐的整个过程中对用户数据进行有效保护，比现有的保护方案具有更高的安全性，这在现有的推荐系统数据隐私保护研究文献中尚未出现。

3、本发明使用的概率矩阵推荐算法可以直接处理稀疏矩阵，无需对原始评分数据的缺省值进行填充，避免了数据预处理中缺省值填充造成的误差，同时也简化了数据预处理的步骤，使得推荐的结果更加准确。

4、本发明将差分隐私和概率矩阵分解推荐算法有机地结合起来，在实现用户数据能在整个推荐过程中被保护的同时，还较好地控制了推荐系统隐私保护方案的执行效率，保证了推荐结果的准确性，具有较好的实用性。从而能更好的满足互联网用户对个性化推荐服务的需求，这会吸引更多的用户选择使用个性化推荐服务。

由此可见，本发明为个性化推荐服务中的用户数据隐私保护领域的进步拓展了空间，不仅能适用于使用概率矩阵分解推荐算法的推荐系统，还能推广到使用其他推荐算法的推荐系统，这将给互联网经济带来较为可观的经济效益。

附图说明

图1为本发明的模型示意图；

图2为本发明的几个主要实施步骤的流程图。

具体实施方式

如图2所示，本实施例中，一种基于差分隐私保护的推荐方法是按如下步骤进行：

步骤一、假设推荐方法是应用于为用户推荐感兴趣项目的网站(例如电影网站)；从电影网站上获取访问用户对项目的评分信息：

令电影网站上存在n个访问用户，记为U＝{u₁,u₂,...,u_i,…,u_n}，u_i表示第i个访问用户，1≤i≤n；网站上存在m部电影，记为I＝{item₁,item₂,...,item_j,…,item_m}，item_j表示第j部电影，1≤j≤m；对该电影网站的n个访问用户进行个性化的推荐，将最有可能满足用户兴趣度的电影推荐给访问该网站的用户；

记录每个用户通过使用各种设备(如手机、电脑等)对该电影网站上电影观的看记录，并且收集每个用户对观看过的电影的评分信息；则令第i个访问用户u_i对第j部电影item_j的评分信息记为r_ij(当用户u_i对电影item_j没有评分时，r_ij＝0)，并且规定电影的评分范围为[r_min,r_max]且设r_min＝1,r_max＝5；从而得到所有访问用户对所有电影的评分信息所组成的评分矩阵R_n×m，且评分矩阵R_n×m为稀疏矩阵，因为用户只对自己观看过的电影进行评分；

步骤二、随机生成一个与评分矩阵R_n×m具有相同行数和列数的噪声矩阵NOISE_n×m，且当r_ij＝0时，噪声矩阵NOISE_n×m中的第i行第j列元素noise_ij＝0，当r_ij≠0时，第i行第j列元素noise_ij服从拉普拉斯分布，即noise_ij＝Laplace(Δr/ε₁)；Laplace()表示拉普拉斯噪声的随机生成函数；ε₁表示第一隐私参数；隐私参数的特征是：ε₁越小安全性越好；因为私参数是可以灵活设置的，若隐私参数过大安全性小，过小则会破坏原始数据的可用性，因此在实际操作中应该根据具体的数据来调整隐私参数的值，达到既能很好的保证数据安全又能保证数据的可用性；在输入数据中加入拉普拉斯噪声，使得该过程满足差分隐私，即使在不诚实的推荐系统中原始评分数据都不易泄露。

注意，全局敏感度Δr＝max(r_ij)-min(r_ij)；在敏感度Δr的计算中，r_ij是评分矩阵R_n×m中不等于0的元素，这里用户评分是L₁范数敏感度；

式(1)为拉普拉斯分布的概率密度函数：

式(1)中μ和b分别表示变量x的期望和尺度参数，在差分隐私的拉普拉斯机制中μ＝0，该分布的方差为σ²＝2b²；在这里用式(2)来计算b的值：

b＝Δr/ε₁ (2)

将噪声矩阵NOISE_n×m与评分矩阵R_n×m相加，从而得到加噪声后的扰动评分矩阵R′_n×m；扰动评分矩阵R'_n×m计算如式(3)：

R'_n×m＝R_n×m+NOISE_n×m (3)

扰动评分矩阵R'_n×m具体表示为：R'_n×m＝{r_ij'|r_ij'＝r_ij+noise_ij,r_ij∈R_n×m,noise_ij∈NOISE_n×m}。且扰动评分矩阵R′_n×m中的第i行第j列元素r′_ij满足式(4)：

式(4)中，r_min表示评分下界，r_max表示评分上界；从而限定扰动后的评分矩阵R'_n×m的评分r_ij'在范围[r_min,r_max]，这样做的目的是为了防止噪声添加过多的情况发生，提高了扰动后的评分数据的可用性。

步骤三、将扰动评分矩阵R′_n×m输入到概率矩阵分解算法中进行训练，得到用户因子矩阵P_n×d和项目因子矩阵Q_m×d；

步骤3.1、参数定义：令因子数为d，学习率参数为γ，规则参数为λ，梯度下降迭代次数为k_max，当前梯度下降迭代次数为k，预测误差上界为e_max，第二隐私参数为ε₂；其中，因子数d的值要远远小于m和n的值，在用一般的训练数据进行训练时，d的取值范围为：20≤d≤200，具体d的取值在推荐系统训练中进行调参，在本实例中d的取值为50；k_max是梯度下降迭代次数，k_max的值设为20，表示在算法中梯度下降的过程迭代20次；

步骤3.2、初始化k＝1；随机初始化第k次迭代的用户因子矩阵和项目因子矩阵服从高斯分布；

步骤3.3、利用式(5)得到第k次迭代中随机生成的服从拉普拉斯分布的噪声

式(2)中，Δr表示全局敏感度，且Δr＝max(r_ij)-min(r_ij)；ε＝ε₁+ε₂，ε表示整体的隐私保护参数；如图1所示，将对用户数据的扰动过程和概率矩阵分解推荐算法的扰动过程组合起来，就使得整个推荐方法满足ε＝ε₁+ε₂差分隐私，也就是说总体隐私参数ε是由ε₁,ε₂两部分组成，ε₁,ε₂的大小可以在实现中进行调整；

步骤3.4、利用式(6)得到第k次迭代中第i个访问用户u_i对第j个项目item_j的预测误差值

式(6)中，表示第k次迭代的用户因子矩阵中第i行元素，表示第k次迭代的项目因子矩阵中第j行元素，T为转置；

步骤3.5、利用式(7)对预测误差值进行限定，得到限定后的预测误差值

在本实施方案中，预测误差上界e_max设置为2；

步骤3.6、利用式(8)对第k次迭代的用户因子矩阵中第i行元素和项目因子矩阵第j行元素进行更新，得到第k+1次迭代的用户因子矩阵中第i行元素和项目因子矩阵第j行元素

γ，λ分别表示学习率参数和规则参数在具体的情况下设初值，然后根据推荐算法运行结果进行调整，本实例中将学习率参数γ和规则参数λ的初始值分别设为55和0.05；

步骤3.7、重复步骤3.3-步骤3.6，从而到得第k+1次迭代中的用户因子矩阵和项目因子矩阵

步骤3.8、判断k+1＞k_max是否成立，若成立，则表示完成迭代，并将第k+1次迭代中的用户因子矩阵和项目因子矩阵作为最终的用户因子矩阵P_n×d和项目因子矩阵Q_m×d，并执行步骤四；否则，令k+1赋值给k，并返回步骤3.4执行；

在本发明提出的基于差分隐私保护的推荐方法中，不需要对传入推荐系统的稀疏评分矩阵进行预处理(填充缺省值)，因为本发明中使用的概率矩阵分解推荐算法可以直接处理稀疏矩阵，这样就能避免在数据预处理过程中带来的误差。

步骤四、利用式(9)获得到所有访问用户对所有项目的预测评分矩阵

步骤五、根据预测评分矩阵得到第i个访问用户u_i对所有项目的预测评分 表示第i个访问用户u_i对第j个项目item_j的预测评分；

从第i个访问用户u_i的预测评分中选出预测评分最高的前top个项目作为推荐结果并提供给第i个访问用户u_i；本实例中将top的值设置为5，也就是说将预测评分最高的前5部电影推荐给用户。

Claims (1)

1.一种基于差分隐私保护的推荐方法，其特征是按如下步骤进行：

步骤一、从网站上获取访问用户对项目的评分信息：

假设所述网站上存在n个访问用户，记为U＝{u₁,u₂,…,u_i,…,u_n}，u_i表示第i个访问用户，1≤i≤n；所述网站上存在m个项目，记为I＝{item₁,item₂,...,item_j,…,item_m}，item_j表示第j个项目，1≤j≤m；则令第i个访问用户u_i对第j个项目item_j的评分信息记为r_ij，从而得到所有访问用户对所有项目的评分信息所组成的评分矩阵R_n×m，且所述评分矩阵R_n×m为稀疏矩阵；

步骤二、随机生成一个与所述评分矩阵R_n×m具有相同行数和列数的噪声矩阵NOISE_n×m，且当r_ij＝0时，所述噪声矩阵NOISE_n×m中的第i行第j列元素noise_ij＝0，当r_ij≠0时，第i行第j列元素noise_ij服从拉普拉斯分布，即noise_ij＝Laplace(Δr/ε₁)；Laplace()表示拉普拉斯噪声的随机生成函数；ε₁表示第一隐私参数；Δr表示全局敏感度；

将所述噪声矩阵NOISE_n×m与评分矩阵R_n×m相加，从而得到加噪声后的扰动评分矩阵R′_n×m；且所述扰动评分矩阵R′_n×m中的第i行第j列元素r′_ij满足式(1)：

<mrow> <msubsup> <mi>r</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>r</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>,</mo> <msubsup> <mi>r</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>&amp;le;</mo> <msub> <mi>r</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>r</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>,</mo> <msub> <mi>r</mi> <mi>min</mi> </msub> <mo>&lt;</mo> <msubsup> <mi>r</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>&lt;</mo> <msub> <mi>r</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>r</mi> <mi>max</mi> </msub> <mo>,</mo> <msubsup> <mi>r</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>&amp;GreaterEqual;</mo> <msub> <mi>r</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

式(1)中，r_min表示评分下界，r_max表示评分上界；

步骤三、将扰动评分矩阵R′_n×m输入到概率矩阵分解算法中进行训练，得到用户因子矩阵P_n×d和项目因子矩阵Q_m×d；

步骤3.1、参数定义：令因子数为d，学习率参数为γ，规则参数为λ，梯度下降迭代次数为k_max，当前梯度下降迭代次数为k，预测误差上界为e_max，第二隐私参数为ε₂；

步骤3.2、初始化k＝1；随机初始化第k次迭代的用户因子矩阵和项目因子矩阵服从高斯分布；

步骤3.3、利用式(2)得到第k次迭代中随机生成的服从拉普拉斯分布的噪声

<mrow> <msubsup> <mi>noise</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>=</mo> <mi>L</mi> <mi>a</mi> <mi>p</mi> <mi>l</mi> <mi>a</mi> <mi>c</mi> <mi>e</mi> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mi>&amp;Delta;</mi> <mi>r</mi> <mo>/</mo> <msub> <mi>&amp;epsiv;</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

式(2)中，Δr表示全局敏感度，且Δr＝max(r_ij)-min(r_ij)；ε＝ε₁+ε₂，ε表示整体的隐私保护参数；r_ij是评分矩阵R_n×m中不等于0的元素；

步骤3.4、利用式(3)得到第k次迭代中第i个访问用户u_i对第j个项目item_j的预测误差值

<mrow> <msubsup> <mi>e</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>r</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mi>q</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>+</mo> <msubsup> <mi>noise</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

式(3)中，表示第k次迭代的用户因子矩阵中第i行元素，表示第k次迭代的项目因子矩阵中第j行元素，T为转置；

步骤3.5、利用式(4)对所述预测误差值进行限定，得到限定后的预测误差值

<mrow> <msubsup> <mi>e</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>-</mo> <msub> <mi>e</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>e</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>&lt;</mo> <mo>-</mo> <msub> <mi>e</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>e</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <msubsup> <mi>e</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>|</mo> <mo>&amp;le;</mo> <msub> <mi>e</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>e</mi> <mi>max</mi> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>e</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>&gt;</mo> <msub> <mi>e</mi> <mi>max</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

步骤3.6、利用式(5)对第k次迭代的用户因子矩阵中第i行元素和项目因子矩阵第j行元素进行更新，得到第k+1次迭代的用户因子矩阵中第i行元素和项目因子矩阵第j行元素

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>&amp;gamma;</mi> <mrow> <mo>(</mo> <msubsup> <mi>e</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>&amp;CenterDot;</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>q</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>-</mo> <msubsup> <mi>&amp;lambda;p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>q</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>q</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>&amp;gamma;</mi> <mrow> <mo>(</mo> <msubsup> <mi>e</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>&amp;CenterDot;</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>-</mo> <msubsup> <mi>&amp;lambda;q</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

步骤3.7、重复步骤3.3-步骤3.6，从而到得第k+1次迭代中的用户因子矩阵和项目因子矩阵

步骤3.8、判断k+1＞k_max是否成立，若成立，则表示完成迭代，并将所述第k+1次迭代中的用户因子矩阵和项目因子矩阵作为最终的用户因子矩阵P_n×d和项目因子矩阵Q_m×d，并执行步骤四；否则，令k+1赋值给k，并返回步骤3.4执行；

步骤四、利用式(6)获得到所有访问用户对所有项目的预测评分矩阵

<mrow> <msub> <mover> <mi>R</mi> <mo>^</mo> </mover> <mrow> <mi>n</mi> <mo>&amp;times;</mo> <mi>m</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>P</mi> <mrow> <mi>n</mi> <mo>&amp;times;</mo> <mi>d</mi> </mrow> </msub> <msubsup> <mi>Q</mi> <mrow> <mi>m</mi> <mo>&amp;times;</mo> <mi>d</mi> </mrow> <mi>T</mi> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>

步骤五、根据所述预测评分矩阵得到第i个访问用户u_i对所有项目的预测评分 表示第i个访问用户u_i对第j个项目item_j的预测评分；

从所述第i个访问用户u_i的预测评分中选出预测评分最高的前top个项目作为推荐结果并提供给所述第i个访问用户u_i。