CN103927347A - 一种基于用户行为模型和蚁群聚类的协同过滤推荐算法 - Google Patents

Abstract

本发明属于协同过滤推荐技术领域，具体涉及一种基于用户行为模型和蚁群聚类的协同过滤推荐算法。本发明在传统协同过滤推荐技术基础上，采用蚁群聚类算法对用户进行分类，在整个用户空间高效的查找邻居用户群，结合用户行为模型和基于项目内容的推荐，使现有方法存在的问题得到很大改善。本发明涉及更好地模拟蚁群聚类，选择用户行为模型的更新方程，降低预处理复杂度及进一步挖掘用户行为模型的研究等。本发明经过多重模型组合，得到较传统协同过滤推荐技术的算法更为灵活的推荐技术，可以适应多种场景并提高了推荐质量。

Description

一种基于用户行为模型和蚁群聚类的协同过滤推荐算法

技术领域

本发明属于协同过滤推荐技术领域，具体涉及一种基于用户行为模型和蚁群聚类的协同过滤推荐算法。

背景技术

推荐技术在整个互联网领域的重要性日益凸显，并越来越受到研究者的重视。在信息爆炸的时代，如何从海量数据中帮用户快速定位到喜欢的内容，是一个有挑战性的难题。目前，几乎所有的大型电商网站、视频网站以及内容提供网站，都已经不同程度的实现了推荐系统。为保证推荐系统在满足实时性要求的前提下能够产生相对较为精确的推荐内容，研究人员提出了许多不同类型的推荐算法，如协同过滤推荐技术、关联规则算法、Horting图算法等不同算法。Typestry是最早被提出的基于协同过滤算法的内容推荐系统，但其不足是需要用户自己手动设置与自己兴趣类似的其他用户，其核心思想比较类似SNS系统的Follow概念。

推荐技术最大的难点在于，随着用户数以及项目（如商品、影视、新闻等）数的增长，用户评分矩阵规模呈指数速度上升，并且矩阵变得十分稀疏，如何找到目标用户喜欢的项目集合，是解决问题的关键。协同过滤算法作为当前应用最为广泛的算法之一，可以给出较好的推荐结果，但是存在一定的缺陷：(1)过度依赖用户评分机制，当用户评分标准不一时，结果差异很大。(2)用户聚类时采用K近邻算法，会由于用户评分矩阵过于稀疏而难以收敛。(3)冷启动问题。针对以上问题，本发明提出了基于用户行为模型和蚁群聚类的协同过滤推荐算法。算法充分结合了内容单元自身信息，通过启发式蚁群聚类对用户进行分类，并结合用户在不同影片之间浏览跳转的行为模型，改善了以上问题现状。

1，传统协同过滤技术。协同过滤推荐技术基于这样一个假设:如果用户对一些项目的评分比较相似，则他们对其他项目的评分也会较为接近。通过与目标用户相似的邻居用户群的评分预测推荐结果，从而达到推荐给目标用户喜欢的项目的目的，蕴含了“目标用户会对其相似用户喜欢的项目也感兴趣”的思想。算法有两个步骤：

(1)（通过用户评分矩阵计算用户相似度。常用的计算方法有余弦相似性和关联相似性两种计算方法。具体的公式如（1）和（2）所示：

$\mathrm{sim}(i,j)=\cos (\stackrel{\→}{i},\stackrel{\→}{j})=\frac{\stackrel{\→}{i}\·\stackrel{\→}{j}}{\left|\right|\stackrel{\→}{i}\left|\right|\left|\right|\stackrel{\→}{j}\left|\right|}---\left(1\right)$

$\mathrm{sim}(i,j)=\frac{{\mathrm{\Σ}}_{c\∈I_{\mathrm{ij}}}(R_{i,c}-{\stackrel{\‾}{R}}_i)(R_{j,c}-{\stackrel{\‾}{R}}_j)}{\sqrt{{\mathrm{\Σ}}_{c\∈I_i}{(R_{i,c}-{\stackrel{\‾}{R}}_i)}^2}\sqrt{{\mathrm{\Σ}}_{c\∈I_j}{(R_{j,c}-{\stackrel{\‾}{R}}_j)}^2}}---\left(2\right)$

上式中，和分别表示用户i和j的评分向量。R_i,c表示评分矩阵中用户i对项目c的评分，是用户i对所有项目的评分平均值。I_i和I_j分别是用户i和用户j评分过的项目集合。

(2)使用K近邻算法进行用户聚类，在网站的整个用户空间上寻找最近邻居用户，并使用同类用户的评分来预测目标用户的推荐结果。常用的预测方法有均值法、相似度加权法和归一法。其中相似度加权法是应用最广泛的一种，如公式（3）所示：

$r_{u,s}=k\underset{u^{\′}\∈U}{\mathrm{\Σ}}\mathrm{sim}(u,u^{\′})\×r_{u^{\′},s}---\left(3\right)$

上式中，r_u',s表示邻居用户u'对于项目s的评分，通过这个已知值以及用户u与u'的相似性sim(u,u')来预测用户u对项目s的评分r_u,s，k是一个参数。

将预测得分最高的一个或多个结果推荐给目标用户，从而完成了推荐的过程。然而随着评分矩阵规模和稀疏度的增加，K近邻的聚类算法在这种情况下往往不能收敛或者运算效率很低，达不到实时性，因此推荐的结果准确性大大降低。

发明内容

本发明的目的在于提出一种准确性高、效果好的协同过滤推荐算法。

本发明提出的协同过滤推荐算法，是在传统协同过滤推荐技术基础上，采用蚁群聚类算法对用户进行分类，在整个用户空间高效的查找邻居用户群，结合用户行为模型和基于项目内容的推荐，使前面提到的问题现状得到很大改善。通过多重模型组合，得到较传统协同过滤推荐技术的算法更为灵活的推荐技术，可以适应多种场景并提高了推荐质量。以克服协同过滤算法作为当前应用最为广泛的推荐算法之一，在应用时存在的缺陷：(1)引入基于项目多维度数据的用户权重模型，凸显了用户自身浏览习惯在推荐过程中起到的作用，使推荐系统对于其他用户的评分依赖度降低。(2)采用蚁群聚类启发式搜索算法，提高了聚类效果的准确性、可扩展性及对不规则数据的适应能力。(3)在系统应用初期，用户历史行为较少时，基于内容的推荐算法可以给出有效推荐，结合用户行为的推荐技术能够弥补传统协同过滤中的冷启动问题。本发明更好地模拟蚁群聚类，选择用户行为模型的更新方程，降低预处理复杂度及进一步挖掘用户行为模型，具体的步骤如下：

1、基于蚁群聚类的协同过滤推荐

蚁群聚类算法的灵感来源于自然界中蚂蚁寻找食物的过程。蚂蚁之间通过一种叫做信息素（pheromone）的物质进行互相通信，协作完成共同的目标；蚂蚁会在走过的路径上留下信息素，走过的蚂蚁越多，路径上的信息素积累的量就越大，信息素会随时间消失，但也会对其他蚂蚁产生吸引的作用；通过信息素交流的蚂蚁群体便产生一种正反馈的现象：某一条路径上走过的蚂蚁越来越多，留下的信息素量越来越大，会吸引更多的蚂蚁选择这条路径，蚂蚁个体之间就是通过这种方式找到距离食物最短的路径。

聚类问题的蚁群算法基本思路如下：在每个模式样本处分别放置1个蚂蚁，蚂蚁倾向于选择信息素最多的一条路径移动，也就是距离最近的一个模式样本。将第i模式样本分配给第j个聚类中心z_j(j=1,2,...,K)，蚂蚁在模式样本i到聚类中心z_j的路径上留下信息素σ_i,j，那么第i个蚂蚁选择聚类中心z_j的概率为：

$p_{i,j}=\frac{{\mathrm{\σ}}_{i,j}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\σ}}_{i,j}}---\left(4\right)$

聚类中心选择好以后，路径上信息素的更新方程为：

${\mathrm{\σ}}_{i,j}^{\mathrm{new}}=\mathrm{\λ}{\mathrm{\σ}}_{i,j}^{\mathrm{old}}+\frac{Q}{d_{i,j}}---\left(5\right)$

上式中，d_i,j为样本i到聚类中心z_j的距离，λ是信息素的持久性系数，与信息素随时间消散的速度成反比，Q为一正的常数，可视为信息素的初始值。

蚁群聚类的算法流程如下：

（1）it←0（it为循环次数），给σ_i,j(i,j=1,2,...,n)赋相同的初值，给出Q、λ常数的值，随机给出一个蚂蚁的分配方案；

（2）对每个蚂蚁按照路径选择概率p_i,j选择下一个节点，按更新方程更新信息素；

（3）计算新的聚类中心，计算每个模式样本到新的聚类中心新的距离d_i,j；

（4）it←it+1，若it超过规定次数，停止运行，根据信息素强度输出聚类结果，否则转到（2）。

以上步骤的伪代码如下：

For i=1to蚂蚁总数do

生成蚂蚁i;

For i=1to蚂蚁总数do

初始化蚂蚁i的参数(a,b,p,Q);

For j=1to分类数do

随机选择j的初始类中心

While(it小于最大循环次数||类中心没有改变)

For i=1to蚂蚁总数do

For j=1to分类数do

根据公式（4）计算pij

将蚂蚁i归为第j类,where p_ij=max{P_ij,0<=j<=k}

For j=1to分类数do

更新类中心j

For j=1to路径总数do

根据公式（5）更新路径上信息素。

通过相似度的计算，对影片各个维度进行相似度的排名，根据排名得到初步的预选集。

2、基于用户行为模型的推荐

影视数据是具有很高内容相关度的数据集，用户行为模型以影视数据为例进行分析和说明；

（1）计算影片相似度

通过计算影片的相似度可以找到与目标影片在不同维度上相似的影片集合，在用户浏览的历史行为较少的情况下，可针对用户当前正在观看的影片进行推荐。影片信息由不同的字段组成，如name,director,cast,type，date等，如下所示。

<Movie>

<id>35</id>

<filmName>阿凡达Avatar</filmName>

<filmName>天神下凡</filmName>

<director>詹姆斯·卡梅隆</director>

<scriptwriter>詹姆斯·卡梅隆</scriptwriter>

<cast>萨姆·沃辛顿</cast>

<cast>佐伊·索尔达娜</cast>

<type>动作</type>

<type>冒险</type>

<location>美国</location>

<release>2009-12-16</release>

<rating>8.9</rating>

<vote>215991</vote>

</Movie>

根据影片词条维度和时间维度的信息，可以分别按照公式（6）和（7）计算两部影片V_i和V_j之间的字段相似度simV_k和时间相似度simT_k：

$\mathrm{sim}{V}_k(i,j)=\frac{{|V}_{i,k}\&cap;V_{j,k}|}{\left|V_{i,k}\right|}---\left(6\right)$

$\mathrm{sim}{T}_k(i,j)=\left\{\begin{array}{cc}1-\frac{|T_{i,k}-T_{j,k}|}{\mathrm{\&theta;}}& \mathrm{if}\frac{|T_{i,k}-T_{j,k}|}{\mathrm{\&theta;}}\&le;1\\ 0& \mathrm{if}\frac{|T_{i,k}-T_{j,k}|}{\mathrm{\&theta;}}>1\end{array}\right.---\left(7\right)$

上式中，V_i,k表示电影i在第k维上的词条集合，T_i,k表示在第k维上的时间戳信息。θ是一个可调的参数，表示热度时间窗口的长度。每部影片的信息可以用一个向量表示，不同影片的相似度可以通过向量之间的欧氏距离来衡量：

$\mathrm{sim}(i,j)=\sqrt{\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\mathrm{Si}{m}_k{(i,j)}^2}---\left(8\right)$

通过相似度的计算，可以对影片各个维度进行相似度的排名，根据排名得到初步的预选集。

（2）计算用户行为权重。用户行为权重是基于影片相似度的一种度量用户跳转行为的模型。用户在浏览当前影片时，由于兴趣的转变而浏览下一部影片，完成一次跳转行为。对于一个特定用户，使用一个权重向量α^*={α₁,α₁,......,α_n,0≤α_i≤1}描述他的跳转行为，它表示用户在浏览影片不同维度信息时会发生跳转的概率，即用户习惯的搜索与拓展方式。当某一维度权重较高时，该用户更倾向于选择该维度上相似的影片观看。α是一个用户行为模型的反馈向量，随着用户浏览影片时的跳转行为而不断被反馈和更新：

${\mathrm{\&alpha;}}^{*}={\mathrm{\&mu;}}_i^{*}+{\mathrm{\&gamma;}}_i^{*}\frac{C_i^{*}}{C^{*}}---\left(10\right)$

上式中，C^*表示用户的总点击数，表示用户采用第i类跳转的点击数，和分别表示初始值和反馈率。通常取0.5，取0.5到1之间的值。

通过加权平均的方法，可以在根据影片相似度计算得到的初步预选集上面进一步缩小用户可能喜欢的预测范围，并且得到的集合更加适合用户的浏览习惯，提高推荐的命中率，从而将这个集合的影片推荐给目标用户。

3、线性回归模型组合。

通过基于蚁群的协同过滤推荐算法以及基于用户行为模型的推荐算法，得到两个预测的集合，采用线性回归的方法可以将两个模型自适应地组合在一起，并根据推荐命中率反馈线性方程的系数，达到自适应调节组合结果的目的。因此算法表现为在用户的浏览历史行为数据丰富时，会根据协同过滤的推荐算法给出预测结果，而当用户数据较少时，协同过滤不能有效的进行预测，算法就会倾向通过影片相似度以及用户行为权重计算得到的预测集合。线性回归模型组合方程如公式（11）所示。

$r_{u,m}=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_k\&CenterDot;{\hat{r}}_{u,m}^{\left(k\right)}---\left(11\right)$

上式中，表示第k个模型对r_u,m的预测评分，而γ_k表示第k个模型对应的组合系数。当用户选择了某一个模型产生的预测结果之后，该预测模型对应的系数也会有相应的调整。这是一个自适应的过程。

K是参与线性组合的预测模型的总数，在本文中K=2，式（11）对两种预测模型给出的评分做了线性组合。系统最初的组合系数由人指定（如：均设为0.5），随着系统的运行，即“预测-推荐-反馈”过程的不断重复，算法将根据用户的真实选择行为来不断调整组合系数。模型预测正确的，组合系数将增大，反之则减小。举例如下：对r_u,m，两个模型的预测评分为5.0和1.0,组合系数均为0.5，则线性组合后的评分为5.0*0.5+1.0*0.5=3。系统据此未向u推荐m，而如果实际上u选择了m，则第1个模型做了正确的预测，则它的组合系数将增大，而第2个模型的组合系数将因为模型预测错误而减小。

附图说明

图1是K=50,it=100时，两种聚类算法的推荐质量。

图2是K=100,it=100时，两种聚类算法的推荐质量。

图3是协同过滤与结合用户行为的蚁群协同过滤推荐质量对比。

具体实施方式

1，数据集。Netflix Prize竞赛由在线DVD租赁公司Netflix创建，旨在推进学术界和工业界对协同过滤算法的研究。它所发布的数据集为目前最大的免费公开的协同数据集。数据集的结构以及规模如表1所示。

表1Netflix数据集

取Probe Set的80%作为实验数据，剩下的20%作为实验对比数据。为了测试用户行为模型的准确性，以及与协同过滤算法进行对比，从豆瓣网上抓取1085部电影数据，包含47000多条词条信息以及712个用户的近10万个评分以及浏览跳转信息作为用户行为建模的数据集。用户评分数据集的稀疏等级为1-100000/(712×1085)=0.8706。同样按照80%与20%的比例划分集合得到实验测试集及对照集。

2，评价标准。推荐质量的评价标准通常采用统计精度度量方法中的平均绝对偏差MAE(mean absolute error)进行计算。平均绝对偏差（MAE）通过计算预测用户的评分与用户实际评分之间的偏差来度量预测的准确性。MAE越小，推荐质量越高。假设预测的用户评分集合为{r₁,r₂,...r_n}，用户的实际评分集合为则MAE的计算式表示为：

$\mathrm{MAE}=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}|r_i-{\tilde{r}}_i|}{N}---\left(12\right)$

3，结果分析。采用K近邻聚类KNN与蚁群聚类ACO的协同过滤算法按照K取从5到100之间5的倍数进行200组试验，选取其中具有代表性的6组数据进行分析，实验参数与结果如表2所示，结果对比如图1和图2所示，分别是两种聚类算法在聚类中心个数为50和100，迭代次数为50和100的参数组合下的推荐质量。

表2采用K近邻聚类与蚁群聚类的协同过滤算法实验参数与结果

信息素衰减速率参数1／λ在0.8左右效果最好。衰减过快会导致蚁群算法过早收敛于局部最优解，而衰减过慢将造成多条路径信息素饱和。信息素初始值Q为100。蚁群聚类算法在迭代次数较低时性能并不稳定，但随着迭代次数的增加，基于蚁群的协同过滤算法有很明显的优势。K近邻算法在用户聚类变多的情况下，存在很大不确定性，从算法本质上来分析，当分类集合比较小且类中心相对靠近时，K近邻很难得到理想的结果。

采用两种聚类方法的协同过滤与结合用户行为模型的蚁群协同过滤推荐质量对比数据如表3所示。由于从网站抓取的数据集比Netfilx数据集规模小，因此聚类个数参数设为30，迭代次数设为100，共进行30组实验，推荐质量的效果对比如图3所示。

表3K=30，it=100时，三种算法的推荐质量对比

	KNN	ACO	HBB
				1	0.943	0.933	0.923
2	0.966	0.954	0.911
				3	0.933	0.923	0.934
4	0.974	0.944	0.942
				5	0.984	0.942	0.922
6	0.952	0.932	0.917
				7	0.931	0.943	0.965
8	0.961	0.957	0.950
				9	0.954	0.939	0.943
10	0.932	0.943	0.927

1085部影片通过7个维度的影片相似度选择出100部影片大小的预选集，在初始权重取0.5，取0.78的情况下结果如图3所示，可以发现结合用户行为之后的蚁群协同过滤算法在大多数情况下具有更小的MAE，在K近邻和蚁群聚类都难以取得较好效果的情况下，用户行为算法能快速适应数据集，因为结合了影片本身的信息，在用户浏览历史信息较少的情况下也能给出有效推荐。但从稳定性角度来看，用户行为算法略低于传统的协同过滤算法，基于线性回归的协同过滤组合模型虽然在学习初期参数并不平衡时，会表现出不稳定的性能，但经过训练参数趋于稳定之后，结合用户行为的蚁群协同过滤能产生很好的推荐质量。

Claims (1)

1.一种基于用户行为模型和蚁群聚类的协同过滤推荐算法，其特征在于具体的步骤如下：

（一）基于蚁群聚类的协同过滤推荐

聚类问题的蚁群算法基本思路如下：在每个模式样本处分别放置1个蚂蚁，蚂蚁倾向于选择信息素最多的一条路径移动，也就是距离最近的一个模式样本；将第                                                模式样本分配给第个聚类中心，蚂蚁在模式样本到聚类中心的路径上留下信息素，那么第个蚂蚁选择聚类中心的概率为：

                                              (1)

聚类中心选择好以后，路径上信息素的更新方程为：

                                        (2)

上式中，为样本到聚类中心的距离，是信息素的持久性系数，与信息素随时间消散的速度成反比，为一正的常数，可视为信息素的初始值；

蚁群聚类的算法流程如下：

（1）（为循环次数），给赋相同的初值，给出、常数的值，随机给出一个蚂蚁的分配方案；

（2）对每个蚂蚁按照路径选择概率选择下一个节点，按更新方程更新信息素；

（3）计算新的聚类中心，计算每个模式样本到新的聚类中心新的距离；

（4），若超过规定次数，停止运行，根据信息素强度输出聚类结果，否则转到（2）；

（二）基于用户行为模型的推荐

影视数据是具有很高内容相关度的数据集，用户行为模型以影视数据进行说明；

（1）计算影片相似度

通过计算影片的相似度可以找到与目标影片在不同维度上相似的影片集合，在用户浏览的历史行为较少的情况下，针对用户当前正在观看的影片进行推荐；

根据影片词条维度和时间维度的信息，分别按照公式（3）和（4）计算两部影片和之间的字段相似度和时间相似度：

                                       (3)

    (4)

上式中，表示电影在第维上的词条集合，表示在第维上的时间戳信息，是一个可调的参数，表示热度时间窗口的长度；每部影片的信息用一个向量表示，不同影片的相似度通过向量之间的欧氏距离来衡量：

                                                    (5)

          (6)

通过相似度的计算，对影片各个维度进行相似度的排名，根据排名得到初步的预选集；

（2）计算用户行为权重

用户行为权重是基于影片相似度的一种度量用户跳转行为的模型；用户在浏览当前影片时，由于兴趣的转变而浏览下一部影片，完成一次跳转行为；对于一个特定用户，使用一个权重向量描述他的跳转行为，它表示用户在浏览影片不同维度信息时会发生跳转的概率，即用户习惯的搜索与拓展方式；当某一维度权重较高时，该用户更倾向于选择该维度上相似的影片观看；是一个用户行为模型的反馈向量，随着用户浏览影片时的跳转行为而不断被反馈和更新：

                                           (5)

式中，表示用户的总点击数，表示用户采用第类跳转的点击数，和分别表示初始值和反馈率；

通过加权平均的方法，在根据影片相似度计算得到的初步预选集上面进一步缩小用户可能喜欢的预测范围，并且得到的集合更加适合用户的浏览习惯，提高推荐的命中率，从而将这个集合的影片推荐给目标用户；

（三）线性回归模型组合

通过基于蚁群的协同过滤推荐算法以及基于用户行为模型的推荐算法，得到两个预测的集合，采用线性回归的方法将两个模型自适应地组合在一起，并根据推荐命中率反馈线性方程的系数，达到自适应调节组合结果的目的；线性回归模型组合方程如公式（6）所示；

                                         (6)

上式中，表示第个模型对的预测评分，而表示第个模型对应的组合系数；K是参与线性组合的预测模型的总数，K=2。