CN102135989A - 一种基于正规化矩阵因式分解的增量协同过滤推荐方法 - Google Patents

Abstract

基于正规化矩阵因式分解的增量协同过滤推荐方法：基于规范化正规化矩阵因式分解模型的输入顺序无关性改进：基于正规化矩阵因式分解的隐向量模型中，提出与训练实例输入顺序无关的模型；隐特征向量的增量更新：对隐特征向量在每轮训练中的增量数学表达式进行分析，提出了隐特征向量的增量更新规则；整合线性偏差的增量更新：整合了能够增量更新的统计观测偏差。本发明能够以增量更新的方式，反映新增用户反馈信息对推荐结果的影响。在不重建整个推荐模型的前提下，本方法根据新增的用户反馈信息进行正确的增量实时更新，能够对新增的用户反馈数据做出实时反馈。

Description

一种基于正规化矩阵因式分解的增量协同过滤推荐方法

技术领域

本发明涉及到一种基于正规化矩阵因式分解的增量协同过滤推荐方法，特别是一种基于正规化矩阵因式分解的增量协同过滤个性化推荐方法，用于快速增量更新个性化推荐模型，属于数据挖掘技术领域。

背景技术

在互联网技术普及化程度逐步加深的同时，如何从海量的互联网资源中提取用户所需信息成为人们关注的问题。传统的搜索算法只能呈现给所有的用户一样的排序结果，无法针对不同用户的兴趣爱好提供相应的服务。个性化推荐，被认为是当前解决这一问题最有效的工具之一。个性化推荐技术能够根据不同的用户需求，为用户提供个性化的信息服务，从而解决互联网用户面临的信息超载问题，具有良好的发展和应用前景。

现有的协同过滤推荐模型已经能够提供较为精确的推荐，但绝大多数协同过滤推荐模型都是批量推荐模型，需要基于静态的训练数据集构造，并暗含用户集合与项目集合保持不变的前提。而在电子商务实际应用中，用户反馈数据时时刻刻都在不停更新，同时也不断会有新用户和新项目加入。使用批量推荐模型来处理动态数据更新的唯一方式，是当更新数据累积超过预定阈值时，重新训练整个推荐模型；但是这种方式将会导致大量的重复工作，同时也不能对新增的用户反馈数据做出实时反馈。

发明内容

本发明解决的技术问题：克服现有技术的不足，提供一种基于正规化矩阵因式分解的增量协同过滤个性化推荐方法。该方法以正规化矩阵因式分解模型为基础，在不重建整个推荐模型的前提下，根据新增的用户反馈信息进行正确的增量实时更新，能够对新增的用户反馈数据做出实时反馈。

本发明的技术解决方案：基于正规化矩阵因式分解的增量协同过滤个性化推荐方法，其特点在于：能够以增量更新的方式，正确反映新增用户反馈信息对推荐结果的影响，整个方法涉及到三个过程：基于正规化矩阵因式分解模型的输入顺序无关性改进，隐特征向量的增量更新，整合现行偏差的增量更新。

(1)基于正规化矩阵因式分解模型的输入顺序无关性改进：在基于正规化矩阵因式分解的隐向量模型中对隐特征向量的训练过程进行分析，并以简化隐特征向量训练规则为目的，提出与训练实例输入顺序无关的、基于正规化矩阵因式分解的隐向量模型；

(2)隐特征向量的增量更新：以输入顺序无关性模型为基础，对隐特征向量在每轮训练中的增量数学表达式进行分析，提出了隐特征向量的增量更新规则；

(3)整合线性偏差的增量更新：整合了能够增量更新的统计观测偏差，从而提出一种基于正规化矩阵因式分解的增量协同过滤推荐模型。

所述步骤(1)中的基于正规化矩阵因式分解模型的输入顺序无关性改进的方法如下：

①分析基于正规化矩阵因式分解的协同过滤推荐模型在一轮训练结束后，隐特征向量p_u、q_i的状态值，表示为：

$p_u^{\left(K\right)}=c^K{p}_U^{\left(0\right)}+A$

$A=c^{K-1}h(r_{u,1}-p_u^{\left(0\right)}{q}_1^{\left(h_1\right)})q_1^{\left(h_1\right)}+......+\mathrm{ch}(r_{u,K-1}-p_u^{(K-2)}{q}_{K-1}^{\left(h_{K-1}\right)})q_{K-1}^{\left(h_{K-1}\right)}$

$+h(r_{u,K}-p_u^{(K-1)}{q}_K^{\left(h_K\right)})q_K^{\left(h_K\right)}$

$q_i^{\left(H\right)}=c^H{q}_i^{\left(0\right)}+B$

$B=c^{H-1}h(r_{1,i}-p_1^{\left(k_1\right)}{q}_i^{\left(0\right)})p_1^{\left(k_1\right)}+......+\mathrm{ch}(r_{H-1,i}-p_{H-1}^{\left(k_{H-1}\right)}{q}_i^{(H-2)})p_{H-1}^{\left(k_{H-1}\right)}$

$+h(r_{H,i}-p_H^{\left(k_H\right)}{q}_i^{\left(H\right)})p_H^{\left(k_H\right)}$

②假设模型同时对所有相关的训练实例进行学习，则可得到简化A、B的表达式，表示为：

③根据α_K、β_H中各参数对结果的意义和影响进行近似简化，得到α_K、β_H的近似表达式，表示为：

${\mathrm{\α}}_k\≈c(1-\frac{K-1}{2}\mathrm{\η\λ})$

${\mathrm{\β}}_k\≈c(1-\frac{H-1}{2}\mathrm{\η\λ})$

④根据以上①至③的简化和处理，得到基于正规化矩阵因式分解的输入顺序无关性模型在一轮训练结束后，隐特征向量p_u、q_i的状态值，表示为：

(1)式

所述步骤(2)中的隐特征向量的增量更新方法如下：

①分析基于正规化矩阵因式分解的输入顺序无关性模型在每轮训练结束后，隐特征向量p_u、q_i的状态值，表示为：

$......$

$......$

在每轮训练结束后p_u、q_i的值将被缓存，D表示模型收敛所需训练轮数。

②根据增量构造

表示为：

③根据

增量构造表示为：

(3)式

$\underset{\left(2\right)}{q_k^{l\left(H_k\right)}}=c^{H_k}\underset{\left(1\right)}{q_k^{\left(H_k\right)}}+{\mathrm{\β}}_{H_k}\mathrm{\η}[\underset{h=1,h\≠u}{\overset{H_k}{\mathrm{\Σ}}}(r_{h,k}-\underset{\left(1\right)}{p_h^{\left(K_h\right)}}\underset{\left(1\right)}{q_k^{\left(H_k\right)}})\underset{\left(1\right)}{p_h^{\left(K_h\right)}}$

$+(r_{u,k}-\underset{\left(1\right)}{p_u^{(K+1)}}\underset{\left(1\right)}{q_k^{\left(H_k\right)}})\underset{\left(1\right)}{p_h^{(K+1)}}]$

$=c^{H_k}\underset{\left(1\right)}{q_k^{\left(H_k\right)}}+{\mathrm{\β}}_{H_k}\mathrm{\η}[\underset{h=1,h\≠u}{\overset{H_k}{\mathrm{\Σ}}}(r_{h,k}-\underset{\left(1\right)}{p_h^{\left(K_h\right)}}\underset{\left(1\right)}{q_k^{\left(H_k\right)}})\underset{\left(1\right)}{p_h^{\left(K_h\right)}}$

$+(r_{u,k}-(\underset{\left(1\right)}{p_u^{\left(K\right)}}+\underset{\left(1\right)}{{\mathrm{\Δp}}_u})\underset{\left(1\right)}{q_k^{\left(H_k\right)}})(\underset{\left(1\right)}{p_u^{\left(K\right)}}+\underset{\left(1\right)}{{\mathrm{\Δp}}_u})]$

$=\underset{\left(2\right)}{q_k^{\left(H_k\right)}}+{\mathrm{\β}}_{H_k}\mathrm{\η}((r_{u,k}-\underset{\left(1\right)}{p_u^{(K+1)}}\underset{\left(1\right)}{q_i^{\left(H_k\right)}})\underset{\left(1\right)}{{\mathrm{\Δp}}_u}-\left(\underset{\left(1\right)}{{\mathrm{\Δp}}_u}\underset{\left(1\right)}{q_i^{\left(H_k\right)}}\right)\underset{\left(1\right)}{p_u^{\left(K\right)}})$ (4)式

其中 $\underset{\left(1\right)}{{\mathrm{Dp}}_u}=\underset{\left(1\right)}{p_u^{(K+1)}}-\underset{\left(1\right)}{p_u^{\left(K\right)}};$

④为了加快模型的更新和响应速度，根据

增量构造

的方法与根据

增量构造

的方法相同。

所述的步骤(3)中的整合线性偏差的增量更新方法如下：

①μ的增量更新公式，表示如下：

(4)式

②对b_u和b_i的计算公式进行分解如下：

$s_i={\mathrm{\Σ}}_{(u,i)\∈R_{\left(i\right)}}{r}_{u,i},n_i=\left|R_{\left(i\right)}\right|$

$b_i=\frac{s_i-\mathrm{\μ}\·n_i}{{\mathrm{\β}}_2+n_i}$

$s_u={\mathrm{\Σ}}_{(u,i)\∈R_{\left(u\right)}}{r}_{u,i},n_u=\left|R_{\left(u\right)}\right|$ (5)式

$b_u=\frac{s_u-\mathrm{\μ}\·n_u-{\mathrm{\Σ}}_{i\∈R_{\left(u\right)}}\frac{s_i-\mathrm{\μ}\·n_i}{{\mathrm{\β}}_2+n_i}}{{\mathrm{\β}}_2+n_i}$

其中，参数s_i、n_i、s_u和n_u都可以根据新训练实例中的评分值进行相应的增量更新。

③在系统中缓存计算出的b_i和b_u的值进行推荐，当相关的新训练实例到达时，这些缓存的参数值则会被判定过期并进行更新。

本发明与现有技术相比的优点在于：现有的协同过滤推荐模型绝大多数都是只能处理静态训练数据的批量推荐模型，不具备动态更新能力，不能根据新增用户反馈数据进行增量更新。本发明的基于正规化矩阵因式分解的增量协同过滤个性化推荐方法，能够以增量更新的方式，反映新增用户反馈信息对推荐结果的影响。在不重建整个推荐模型的前提下，本方法根据新增的用户反馈信息进行正确的增量实时更新，能够对新增的用户反馈数据做出实时反馈。

具体实施方式

下面结合具体实施例对本发明的技术方案做进一步的说明。

1.在构建基于正规化矩阵因式分解的隐向量模型时，采用(1)式提供的输入顺序无关性的模型训练规则，这样所获得的模型即为输入顺序无关性模型。

2.基于正规化矩阵因式分解的增量协同过滤个性化推荐模型的实施过程被划分为批量训练和隐向量的增量更新两个阶段。批量训练阶段与原始的基于正规化矩阵因式分解模型的区别在于新模型需要缓存第d轮训练中产生的中间训练结果

隐向量的增量更新阶段，对于新的训练实例r_u，i，当训练轮数d＜D时，进行如下步骤的增量更新：对于用户u和项目k∈R(u)，k≠i，使用(2)式所示的增量更新规则更新

知

对于项目i和用户h∈R(i)，h≠u，使用式(3)所示的增量更新规则更新

和

更新缓存的第d轮训练中产生的中间训练结果

3.当模型整合线性偏差之后，其相应的批量训练和隐向量的增量更新阶段都需要作出相应的改变，具体的实施方式如下：

(1)在批量训练过程中，模型首先计算全局平均评分μ，和用以计算用户观测偏差b_u和项目观测偏差b_i的参数s_i、n_o、s_u和n_u；其后，模型将会使用

计算移除统计观测偏差的训练数据集T′；最后，模型将会在T′上构造用户和项目隐特征向量，并将每轮隐特征向量训练过程产生的中间结果缓存。在已知训练数据集{r_ui(u，i)∈T}、训练总轮数D、隐向量空间维数f后，具体步骤如下：

①计算统计观测偏差：首先，使用

计算μ值，对于每个用户u计算s_u和n_u，对于每个项目i计算s_i和n_i。之后使用

计算移除统计观测偏差后的训练数据集T′。

②当训练轮数d＜D时，进行训练：使用如下所示的基于正规化矩阵因式分解的协同过滤批量训练规则，在T′上训练相应的隐特征向量，并缓存第d轮训练中产生的中间训练结果

p′_u＝p_u+η(q_i·(r_u，i-p_u·q_i)-λp_u)

q′_i＝q_i+η(p_u·(r_u，i-p_u·q_i)-λq_i)

(2).在增量更新过程中，当新训练实例到达时，模型将会首先对μ和相关的参数s_i、n_i、s_u和n_u进行更新，然后使用

计算移除统计观测偏差的评分值，最后使用增量更新规则对相关的隐特征向量进行增量更新。当已知新的训练实例r_u，i时，具体步骤如下：

①更新统计观测偏差：首先，使用(4)式计算μ值，使用(5)式对于每个用户u计算s_u和n_u，对于每个项目i计算s_i和n_i。之后使用

计算移除统计观测偏差后的训练数据集T′。

②当训练轮数d＜D时，进行增量更新：对于用户u和项目k∈R(u)，k≠i，使用(2)式所示的增量更新规则更新

和

对于项目i和用户h∈R(i)，h≠u，使用式(3)所示的增量更新规则更新

和更新缓存的第d轮训练中产生的中间训练结果

新训练实例的到达，将会改变整个训练数据集上的评分分布，严格地说，需要对去除了统计观测偏差的训练数据集T′中的所有训练值进行更新，并重新构造隐特征向量。但是，上述操作在要求实时更新的增量推荐模型中，是无法满足的；所以，在设计模型的构造过程时，对于新到达的训练实例，只会将统计观测偏差的增量更新用于计算该训练实例对应的训练值，而不会对T′进行全面更新。

Claims (4)

1.一种基于正规化矩阵因式分解的增量协同过滤推荐方法，其特征在于：能够以增量更新的方式，正确反映新增用户反馈信息对推荐结果的影响，步骤如下：

(1)基于正规化矩阵因式分解模型的输入顺序无关性改进：在基于正规化矩阵因式分解的隐向量模型中对隐特征向量的训练过程进行分析，并以简化隐特征向量训练规则为目的，提出与训练实例输入顺序无关的、基于正规化矩阵因式分解的隐向量模型；

(2)隐特征向量的增量更新：以输入顺序无关性模型为基础，对隐特征向量在每轮训练中的增量数学表达式进行分析，提出隐特征向量的增量更新规则；

(3)整合线性偏差的增量更新：整合能够增量更新的统计观测偏差。

2.根据权利要求1所述的基于正规化矩阵因式分解的增量协同过滤个性化推荐方法，其特征在于：所述步骤(1)中的基于正规化矩阵因式分解模型的输入顺序无关性改进，具体如下：

①分析基于正规化矩阵因式分解的协同过滤推荐模型在一轮训练结束后，隐特征向量p_u、q_i的状态值，表示为：

$p_u^{\left(K\right)}=c^K{p}_U^{\left(0\right)}+A$

$A=c^{K-1}h(r_{u,1}-p_u^{\left(0\right)}{q}_1^{\left(h_1\right)})q_1^{\left(h_1\right)}+......+\mathrm{ch}(r_{u,K-1}-p_u^{(K-2)}{q}_{K-1}^{\left(h_{K-1}\right)})q_{K-1}^{\left(h_{K-1}\right)}$

$+h(r_{u,K}-p_u^{(K-1)}{q}_K^{\left(h_K\right)})q_K^{\left(h_K\right)}$

$q_i^{\left(H\right)}=c^H{q}_i^{\left(0\right)}+B$

$B=c^{H-1}h(r_{1,i}-p_1^{\left(k_1\right)}{q}_i^{\left(0\right)})p_1^{\left(k_1\right)}+......+\mathrm{ch}(r_{H-1,i}-p_{H-1}^{\left(k_{H-1}\right)}{q}_i^{(H-2)})p_{H-1}^{\left(k_{H-1}\right)}$

$+h(r_{H,i}-p_H^{\left(k_H\right)}{q}_i^{\left(H\right)})p_H^{\left(k_H\right)}$

②假设模型同时对所有相关的训练实例进行学习，则可得到简化A、B的表达式，表示为：

③根据α_K、β_H中各参数对结果的意义和影响进行近似简化，得到α_K、β_H的近似表达式，表示为：

${\mathrm{\α}}_k\≈c(1-\frac{K-1}{2}\mathrm{\η\λ})$

${\mathrm{\β}}_k\≈c(1-\frac{H-1}{2}\mathrm{\η\λ})$

④根据以上步骤①至③的简化和处理，得到基于正规化矩阵因式分解的输入顺序无关性模型在一轮训练结束后，隐特征向量p_u、q_i的状态值，表示为：

3.根据权利要求1所述的基于正规化矩阵因式分解的增量协同过滤个性化推荐方法，其特征在于：所述步骤(2)中的隐特征向量的增量更新，具体如下：

①分析基于正规化矩阵因式分解的输入顺序无关性模型在每轮训练结束后，隐特征向量p_u、q_i的状态值，表示为：

$......$

$......$

在每轮训练结束后p_u、q_i的值将被缓存，D表示模型收敛所需训练轮数；

②根据

增量构造

表示为：

③根据

增量构造

表示为：

$\underset{\left(2\right)}{q_k^{l\left(H_k\right)}}=c^{H_k}\underset{\left(1\right)}{q_k^{\left(H_k\right)}}+{\mathrm{\β}}_{H_k}\mathrm{\η}[\underset{h=1,h\≠u}{\overset{H_k}{\mathrm{\Σ}}}(r_{h,k}-\underset{\left(1\right)}{p_h^{\left(K_h\right)}}\underset{\left(1\right)}{q_k^{\left(H_k\right)}})\underset{\left(1\right)}{p_h^{\left(K_h\right)}}$

$+(r_{u,k}-\underset{\left(1\right)}{p_u^{(K+1)}}\underset{\left(1\right)}{q_k^{\left(H_k\right)}})\underset{\left(1\right)}{p_h^{(K+1)}}]$

$=c^{H_k}\underset{\left(1\right)}{q_k^{\left(H_k\right)}}+{\mathrm{\β}}_{H_k}\mathrm{\η}[\underset{h=1,h\≠u}{\overset{H_k}{\mathrm{\Σ}}}(r_{h,k}-\underset{\left(1\right)}{p_h^{\left(K_h\right)}}\underset{\left(1\right)}{q_k^{\left(H_k\right)}})\underset{\left(1\right)}{p_h^{\left(K_h\right)}}$

$+(r_{u,k}-(\underset{\left(1\right)}{p_u^{\left(K\right)}}+\underset{\left(1\right)}{{\mathrm{\Δp}}_u})\underset{\left(1\right)}{q_k^{\left(H_k\right)}})(\underset{\left(1\right)}{p_u^{\left(K\right)}}+\underset{\left(1\right)}{{\mathrm{\Δp}}_u})]$

$=\underset{\left(2\right)}{q_k^{\left(H_k\right)}}+{\mathrm{\β}}_{H_k}\mathrm{\η}((r_{u,k}-\underset{\left(1\right)}{p_u^{(K+1)}}\underset{\left(1\right)}{q_i^{\left(H_k\right)}})\underset{\left(1\right)}{{\mathrm{\Δp}}_u}-\left(\underset{\left(1\right)}{{\mathrm{\Δp}}_u}\underset{\left(1\right)}{q_i^{\left(H_k\right)}}\right)\underset{\left(1\right)}{p_u^{\left(K\right)}})$

其中 $\underset{\left(1\right)}{{\mathrm{Dp}}_u}=\underset{\left(1\right)}{p_u^{(K+1)}}-\underset{\left(1\right)}{p_u^{\left(K\right)}};$

④为了加快模型的更新和响应速度，根据

增量构造

的方法与根据增量构造

的方法相同。

4.根据权利要求1所述的基于正规化矩阵因式分解的增量协同过滤个性化推荐方法，其特征在于：所述步骤(3)中的整合现行偏差的增量更新，具体如下：

①μ的增量更新公式，表示如下：

②对b_u和b_i的计算公式进行分解如下：

$s_i={\mathrm{\Σ}}_{(u,i)\∈R_{\left(i\right)}}{r}_{u,i},n_i=\left|R_{\left(i\right)}\right|$

$b_i=\frac{s_i-\mathrm{\μ}\·n_i}{{\mathrm{\β}}_1+n_i}$

$s_u={\mathrm{\Σ}}_{(u,i)\∈R_{\left(u\right)}}{r}_{u,i},n_u=\left|R_{\left(u\right)}\right|$

$b_u=\frac{s_u-\mathrm{\μ}\·n_u-{\mathrm{\Σ}}_{i\∈R_{\left(u\right)}}\frac{s_i-\mathrm{\μ}\·n_i}{{\mathrm{\β}}_2+n_i}}{{\mathrm{\β}}_2+n_i}$

其中，参数s_i、n_i、s_u和n_u都可以根据新训练实例中的评分值进行相应的增量更新；

③在系统中缓存计算出的b_i和b_u的值进行推荐，当相关的新训练实例到达时，这些缓存的参数值则会被判定过期并进行更新。