CN111159573A - 一种基于项目的内容推荐方法 - Google Patents

Abstract

本发明公开了一种基于项目的内容推荐方法，包括下述步骤：1)修正初始的评分数值，将原始矩阵E整理为E_m×n；2)使用Pearson相关公式，遍历代入E_m×n的每个元素，从而得到对应的Pearson项目相似度矩阵item‑SIM_m×n；3)对规范化评分矩阵E_m×n做矩阵奇异值分解，得到U、S、D；4)确定适合的维度k，得到矩阵U_k、S_k、D_k；5)根据公式

计算用户‑项目评分矩阵E_m×n的评分相似度矩阵E_k，作为后续计算预测评分的入口矩阵；6)遍历每个对项目j已有评分的用户评分行向量E_u，若其中项目i处有值，则代入以下公式计算得到项目的平均偏差值dev_j,i：7)将得到的平均偏差值dev_j,i、项目相似度similarity_i,j代入获得用户u对item_j的推荐预测评分Prediction^IS‑SVD(u)_j；本发明能够适应于不同稠密程度的数据，算法适应性得到增强。

Description

一种基于项目的内容推荐方法

技术领域

本发明涉及计算机技术领域，具体涉及一种基于项目的内容推荐方法。

背景技术

在如今互联网技术发达的今天，越来越多的人通过互联网购买和消费商品，而在这么多用户和商品之间，准确的计算出哪些用户对哪些商品感兴趣，在计算机领域也是一道急需攻克的难题。为了解决这个问题，计算机领域推出了各种个性化推荐系统。

近年来，比较热门的推荐算法大致可以分为项目内容、协同过滤、用户知识和关联规则推荐方向。其中，一种基于项目的协同过滤(Item-based CF)的slope one算法和加入了项目所具有的评分用户数weighted slope one算法很好的解决了上述问题。该算法通过站在用户的角度上，基于对用户项目评分矩阵预测其线性回归模型，来实现新用户对未评分项目的预测，通常在多用户对多项目评分矩阵较为密集时，使用此种推荐算法能很好的预测用户对项目可能的评分。但是，当评分矩阵较为稀疏，即多数的用户对多数的项目没有评分，就会导致预测模型出现偏差。而且，由于slope one算法预测模型为线性回归模型，只根据评分计算而不考虑项目相似度，在时间复杂度和空间复杂度上都有很大的优势，但是当面临比较稀疏的评分矩阵时，slope one算法的评分预测准确性将受到影响。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于项目的内容推荐方法，该方法能够在保留尽可能多的评分信息的前提下，来解决由于项目之间没有内在联系时，非稠密数据集下而产生推荐系统的准确性变差的问题。

本发明的目的通过下述技术方案实现：

一种基于项目的内容推荐方法，包括下述步骤：

首先，使用Pearson相关系数来度量项目相似度，其中皮尔森相关系数可以表示为：

其中，E_ui、E_uj为评分矩阵中，第u行第i、j列的元素值，E_i、E_j是第i、j个列向量中每个元素的算数平均值；最终加权推荐公式为：

改进后的IS-SVD slope one算法具体流程如下：

输入：待预测用户u以及目标项目item_j、评分原始矩阵E；

输出：用户u对item_j的预测Prediction(u)_j；

1)修正初始的评分数值，将原始矩阵E整理为E_m×n；

2)使用Pearson相关公式，遍历代入E_m×n的每个元素，从而得到对应的Pearson项目相似度矩阵item-SIM_m×n；

3)对规范化评分矩阵E_m×n做矩阵奇异值分解，得到U、S、D；

4)确定适合的维度k，得到矩阵U_k、S_k、D_k；

5)根据公式

计算用户-项目评分矩阵E_m×n的评分相似度矩阵E_k，作为后续计算预测评分的入口矩阵；

6)遍历每个对项目j已有评分的用户评分行向量E_u，若其中项目i处有值，则代入以下公式计算得到项目的平均偏差值dev_j,i：

7)将得到的平均偏差值dev_j,i、项目相似度similarity_i,j代入以下公式获得用户u对item_j的推荐预测评分Prediction^IS-SVD(u)_j：

本发明与现有技术相比具有以下的有益效果：

本发明结合了项目相似度加权评分与奇异值分解降低稀疏性，在保留slope one算法经典过程的基础上，针对稀疏性问题做出优化；项目相似度的加权更多地考虑到了用户的喜好，也使评分矩阵的信息更加丰富；奇异值分解则可以在已经含有相关信息的评分矩阵上，进一步修正稀疏性，因此算法能够适应于不同稠密程度的数据，算法适应性得到增强。

附图说明

图1为本发明的原理图；

图2为本发明的四种算法在不同k值下的MAE值；

图3为本发明的IS-SVD slope one算法在不同稀疏数据集下的MAE值。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

在推荐系统领域，基于项目的协同过滤根据用户的共同评价计算项目i和j的相似性，进而产生推荐。

由于slope one算法在评分矩阵稀疏的情况下会导致其线性回归模型出现偏差，出现此问题的主要原因是没有考虑到使用不同的用户数量得到的dev_j,i，其可信度不同。dev_j,i(平均偏差值)表达式为：

其中，count()表示集合包含的元素数量。u_i和u_j分别表示用户u对项目i和项目j的评分,S_i,j(x)为同时对item_i和item_j给予评分的用户集合。对于slope one算法，最终用户u对项目j的推荐预测公式可表示为：

其中，R_j表示哪些被评分过且满足一定条件(即对于两个不同的项目，均被一些公共用户所评分)的项目集合。假设有1000个用户同时评分了item_j和item_k，而只有50个用户评分了item_j和item_i，那么显然获得的dev_j,k比dev_j,i更有说服力。

根据上述slope one算法可以看出，slope one算法只是仅仅计算用户评分的平均差值，而没有考虑项目之间的内在联系。而针对slope one算法天生所表现出来的缺陷，本发明提出了一种基于此算法改进的项目相似度IS(Item Similarity)和奇异值分解SVD(Simple Value Decomposition)相结合的IS-SVD slope one算法，由于我们所面临的问题有两个：其一是会遇到评分矩阵项目之间几乎没有内在联系，其二是评分矩阵稀疏性问题，即很多的用户对很少的项目进行评分，那么分别针对这两个问题进行解决就可以实现较为准确的推荐结果。针对问题一，提出了基于项目相似度加权的slope one算法，具体为先计算项目间的cosine相似度，只选择其中和目标项目最接近的k个项目来计算其与目标项目之间的评分偏差dev_j,i，同时目标用户的推荐预测公式也加入了项目相似度作为加权修正，最终得到该用户的所有备选项目的推荐猜测分值。加入项目相似度加权的推荐预测公式为：

其中，项目i、项目j间的相似度函数similarity_i,j可以采用cosine相似度表示。ISslope one算法具体流程如下：

输入：待预测用户u以及目标项目item_j、评分原始矩阵E；

输出：用户u对item_j的预测值Prediction(u)_j；

1)修正初始的评分数值，将原始矩阵E整理为E_m×n；

2)对矩阵E_m×n计算每两个项目之间的cosine相似性，得到项目的相似矩阵item-SIM_m×n；

3)从目标项目item_j的相似度行向量中选择最大的k个similarity_i,j所对应的项目，组成目标项目相似度集合k_j；

4)遍历目标集合k_j，若集合中的某个项目i在用户u评分行向量E_u中有数值存在，则使用公式(1)计算有公共评分的项目之间的评分偏差dev_j,i；

5)若项目item_j至少被1个用户评分过，则根据公式(4)计算Prediction(u)_j；若项目item_j的评分列向量E_j没有任何数值，则以用户u对其他项目的评分均值

代替Prediction(u)_j。

其次是评分矩阵稀疏性的问题，可以通过对稀疏的用户-项目评分矩阵本身做出相应优化，使得矩阵更为稠密。其典型算法为基于矩阵奇异值分解的slope one算法。两个不同维度的矩阵的近似程度可以用奇异值表征。通过矩阵奇异值分解，可以找到矩阵E的一个近似简化矩阵E_k，即由E＝U×S×D^T推出新的

这个近似简化矩阵与原矩阵相比，过滤了一定的噪声，同时矩阵的秩更低，稀疏度也更低。此时平均差值函数和预测函数与标准slope one相同，只是将对原用户—项目评分矩阵的计算转换为对新的更加稠密的近似矩阵的计算，从而可以得到更准确的推荐结果。SVD slope one算法具体流程如下：

输入：待预测用户u以及目标项目item_j，评分原始矩阵E；

输出：用户u对item_j的预测评分Prediction(u)_j；

1)修正初始的评分数值，将原始矩阵E整理为E_m×n；

2)对规范化评分矩阵E_m×n做矩阵奇异值分解，得到U、S、D；

3)确定适当的维度k，得到矩阵U_k、S_k、D_k；

4)根据公式

计算得到最近矩阵E_k，作为后续计算预测评分的入口矩阵；

5)若项目item_j的评分列向量E_j存在大于等于1个值，则根据公式(1)，公式(2)，代入E_k计算Prediction(u)_j；若项目item_j的评分列向量E_j没有任何数值，则以用户u对其他项目的评分均值

代替Prediction(u)_j。

上述的方案不论是IS(Item Similarity)还是SVD(Single ValueDecomposition)加权的slope one算法可以在不同层面上缓解了原算法对于稀疏数据集推荐准确率下降的问题，但是还是存在一定的问题。

IS slope one算法虽然考虑了项目本身关系对于用户选择喜好的影响，但是当面对实际系统中比较常见的特别稀疏的评分矩阵时，推荐表现将受到很大影响。因为基于项目相似度算法正常运行的前提是找到一定数量的相似项目，而实际的推荐系统中，未被评分项目的数量远远大于热门项目。由于热门项目每个用户都能看到，而如何给用户在这些稀疏的冷门项目中匹配到其感兴趣的项目就显得很有意义了。

另外一种SVD slope one算法虽然使用了矩阵分解和降维解决了一定程度的稀疏性，但却忽略了项目之前的内在关系，而且仅仅在得到评分矩阵后通过数学方法对矩阵进行降维操作，使得原矩阵的一些元素被忽略，没有考虑到对应元素可能的实际意义，因此损失了一定的项目信息，这样的损失对于尽可能寻找用户各个可能兴趣点的推荐算法来说是不能被忽略的。

综合两种算法的优势和劣势，应既考虑到相似项目对于用户的吸引力也相似这一基本规律，同时又注重后期对于评分矩阵的主动修正。本发明对于稀疏评分矩阵依旧采取SVD降维变密操作，同时使用项目相似度对最终公式进行加权修正，即相似项目的评分对于最终评分结果的贡献应大于差异较大项目的评分贡献。在本发明中，使用Pearson相关系数来度量项目相似度，其中皮尔森相关系数可以表示为：

其中，E_ui、E_uj为评分矩阵中，第u行第i、j列的元素值，E_i、E_j是第i、j个列向量中每个元素的算数平均值。最终加权推荐公式为：

改进后的IS-SVD slope one算法具体流程如下：

输入：待预测用户u以及目标项目item_j、评分原始矩阵E；

输出：用户u对item_j的预测Prediction(u)_j；

1)修正初始的评分数值，将原始矩阵E整理为E_m×n；

2)使用Pearson相关公式，遍历代入E_m×n的每个元素，从而得到对应的Pearson项目相似度矩阵item-SIM_m×n；

3)对规范化评分矩阵E_m×n做矩阵奇异值分解，得到U、S、D；

4)确定适合的维度k，得到矩阵U_k、S_k、D_k；

5)根据公式

计算用户-项目评分矩阵E_m×n的评分相似度矩阵E_k，作为后续计算预测评分的入口矩阵；

6)遍历每个对项目j已有评分的用户评分行向量E_u，若其中项目i处有值，则代入公式(1)计算得到项目的平均偏差值dev_j,i；

7)将得到的平均偏差值dev_j,i、项目相似度similarity_i,j代入公式(5)获得用户u对item_j的推荐预测评分Prediction^IS-SVD(u)_j。

由整个算法流程可以看出，本算法结合了项目相似度加权评分与奇异值分解降低稀疏性，在保留slope one算法经典过程的基础上，针对稀疏性问题做出优化：项目相似度的加权更多地考虑到了用户的喜好，也使评分矩阵的信息更加丰富；奇异值分解则可以在已经含有相关信息的评分矩阵上，进一步修正稀疏性。因此算法能够适应于不同稠密程度的数据，算法适应性得到增强。

如图1～3所示，由于考虑到需要实验数据证明提出的算法对于稀疏性数据的而优化与一般数据的适应，设计了实验方案，此方案分为两部分：

一、测试经典slope one算法，weighted slope one算法，SVD slope one算法与IS-SVD slope one算法对于同一非稠密数据集的推荐性能，横向验证算法对于稀疏性的改进；

二、测试IS-SVD slope one算法对于多个稠密程度不同的数据集的推荐性能，纵向验证算法普适性和稳定性。

在推荐算法的相关实验中，数据集稀疏度通常用公式(6)进行计算：

根据上述实验方案，本实验的数据集来自四个在推荐算法实践中使用的比较广泛的数据集：MovieLens，Netlix，Bibsonomy和Delicious。MovieLens数据集的稀疏度是4.5％，Netflix数据集的稀疏度是1.2％，Bibsonomy数据集的稀疏度是0.35％，Delicious数据集的稀疏度是0.046％。使用这四种典型的稀疏度不互通的数据集，能够更全面地测试出推荐算法的性能。

本实验采用目前被广为认可的平均绝对偏差MAE(means absolute error)作为推荐性能的评价指标。MAE考虑的是推荐算法生成的可能评分与真实情况之间的平均绝对偏差。以数值的大小来表征推荐性能的精准程度。没由算法计算生成的得分集合为Prediction＝{p₁,p₂,.....,p_SUM,}，而真实集合为Grade＝{q₁,q₂,.....q_SUM}。显然实际评分数量和预测数量一定相同，因此这两个集合元素个数均为SUM。则平均绝对误差MAE定义为：

由MAE的定义容易看出，MAE和推荐精准程度之间呈反相关关系；同时，同一算法在不同数据集的MAE值变化越小、越平滑，说明该算法对于数据集稀疏度的适应能力越强。

使用四个数据集中最稀疏的Delicious数据集测试经典slope one算法，weightedslope one算法，SVD slope one算法与IS-SVD slope one算法的推荐性能。其中weightedslope one算法中的权值采用用户频率，考察SVD slope one算法与IS-SVD slope one算法在矩阵维度k取不同值时各算法的MAE.横坐标表示矩阵维度k，纵坐标表示MAE值，四种算法的横向测试结果如图2所示。

由图2可知，在稀疏数据集Delicious上，IS-SVD slope one算法总体推荐性能比其他算法都要好。MAE值无论是平均值、最大值或者最小值，均小于其他三种算法，这是因为IS-SVD slope one算法保持了slope one经典算法执行快、效果好的基本思想，同时又使用项目相似度作为评分加权，增加了相似项目对于用户评分的影响，更可能抓住了用户的真实兴趣。此外，IS-SVD slope one算法还使用奇异值分解，对稀疏矩阵进行降维优化，使得在计算评分时，实际计算矩阵更加稠密，结果更加准确。可见IS-SVD slope one算法对于稀疏数据集的改进效果明显，性能优化得到验证。

接下来测试在不同稀疏数据集下IS-SVD slope one算法的推荐性能。横坐标为矩阵维度k，做那个坐标为MAE值，测试结果如图3所示；

由图3可知，在MovieLens、NetFlix、Bibsonomy和Delicious这四种稀疏度逐渐递减的数据集下，IS-SVD slope one算法总体表现稳定。MAE值在稀疏度有较大下降的情况下，增大程度不太大而且变化比较稳定、这说明IS-SVD slope one算法对于稀疏数据集有较好的适应性，推荐性能的普适度得到改进。

总体来说，将项目相似度和奇异值分解技术融合的IS-SVD slope one算法，既使用项目本身属性优化了评分矩阵，又降低了矩阵稀疏度。对本专利提出算法和已有算法在稀疏数据集以及本算法在不同稀疏度数据集的推荐性能做实验比较，结果证明本文算法提升了现有算法对于稀疏度的适应性，提高了推荐性能。

另外一种可拓展的协同过滤算法weighted KM-Slope-VU算法也可以实现相同的效果，同时也极大地降低了时间复杂度并适合于实时推荐系统，具体来说，利用用户的个人画像(性别，年龄，职业等)通过KMeans将用户聚类，相同聚类下的用户通过计算对物品的平均评价产生一个虚拟用户来代替整个聚类种的用户，原有的用户物品评价矩阵将被压缩，维度空间大大降低，然后使用Slope one算法应用于虚拟用户产生推荐。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1.一种基于项目的内容推荐方法，其特征在于，包括下述步骤：

首先，使用Pearson相关系数来度量项目相似度，其中皮尔森相关系数可以表示为：

其中，E_ui、E_uj为评分矩阵中，第u行第i、j列的元素值，E_i、E_j是第i、j个列向量中每个元素的算数平均值；最终加权推荐公式为：

改进后的IS-SVD slope one算法具体流程如下：

输入：待预测用户u以及目标项目item_j、评分原始矩阵E；

输出：用户u对item_j的预测Prediction(u)_j；

1)修正初始的评分数值，将原始矩阵E整理为E_m×n；

2)使用Pearson相关公式，遍历代入E_m×n的每个元素，从而得到对应的Pearson项目相似度矩阵item-SIM_m×n；

3)对规范化评分矩阵E_m×n做矩阵奇异值分解，得到U、S、D；

4)确定适合的维度k，得到矩阵U_k、S_k、D_k；

5)根据公式

计算用户-项目评分矩阵E_m×n的评分相似度矩阵E_k，作为后续计算预测评分的入口矩阵；

6)遍历每个对项目j已有评分的用户评分行向量E_u，若其中项目i处有值，则代入以下公式计算得到项目的平均偏差值dev_j,i：

7)将得到的平均偏差值dev_j,i、项目相似度similarity_i,j代入以下公式获得用户u对item_j的推荐预测评分Prediction^IS-SVD(u)_j：

Images