CN110175289B - 基于余弦相似度协同过滤的混合推荐方法 - Google Patents

Abstract

本发明公开了一种基于余弦相似度协同过滤的混合推荐方法，主要解决现有技术获取用户数据单一，数据过于稀疏和推荐性能不高的问题。其步骤为：1.采集用户的信息；2.对用户历史行为数据进行数字化；3.提取出特定群体都感兴趣的文档；4.构建每篇文档与之最相似几篇文档字典；5.构建用户文档评分矩阵；6.用评分矩阵训练出最佳模型；7.根据最佳模型形成推荐列表推荐给用户；8.当用户阅读推荐列表文档到达阈值，重新开始。本发明获取多维度信息，并将其加入到推荐系统中，利用最相似关联公式对数据集进行插入操作，不仅提高了推荐系统的性能，而且缓解了矩阵稀疏性的压力，可用于从大量的数据中找到用户感兴趣的文档。

Description

基于余弦相似度协同过滤的混合推荐方法

技术领域

本发明属于机器学习领域。本发明可用于在大量的数据中找到用户感兴趣的新闻或文章，提高推荐系统的性能。

背景技术

推荐系统在现代生活中运用越来越广泛，扮演了越来越重要的角色，例如在电影、书籍、新闻、电商都会有推荐系统的影子。在过去的几十年，大量的信息涌入使得用户面对巨大的数据不知所措，如何准确的推荐有用的信息给用户，满足用户相应的兴趣和需求是非常重要的。手机的快速发展，使得当代网民更倾向于手机阅读新闻文章，所以在大量互联网信息中准确推荐用户喜爱的文章尤为迫切。

常用推荐算法有协同过滤和基于内容的推荐方法。协同过滤主要有矩阵分解MF，奇异值分解SVD等技术，并且需要用户主动的对物品进行打分。协同过滤方法推荐效果虽然很好，但是存在数据稀疏性问题。基于内容的推荐方法，虽然可以很好的推荐用户感兴趣的内容，但是长期来看，推荐的内容单调重复。

王冲等人公开的论文“Collaborative Topic Modeling for RecommendingScientific Articles”(《Proceedings of the 17th ACM SIGKDD internationalconference on Knowledge discovery and data mining》2011年第448-456页)提出了一种算法，以向在线社区的用户推荐科学文章。该方法结合了传统的协同过滤和概率主题建模的优点。它为用户和物品提供可解释的潜在结构，并且可以形成关于现有和新发布文章的推荐列表。该方法取得了不错的效果，其不足的是，没有考虑用户更多的隐性因素如地理位置等，使得推荐性能不高。

尤春继等人公开的论文“Regularized singular value decomposition in newsrecommendation system”(《International Conference on Computer Science&Education(ICCSE)》2016年第621-626页)提出了正则化方法，是通过对奇异值分解的学习参数进行正则化。该方法在稀疏性问题上表现出很大的优越性，且在XMU新闻数据集和电影数据集上的实验结果表明了该模型的有效性。但方法由于没有使用用户的信息和物品的信息，并且数据单一，因而不能够很好的适用某些特定的场景。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出一种基于余弦相似度协同过滤的混合推荐方法，以获取更多用户数据，提高推荐系统的性能。

本发明的基本思路是，先采取多种方法从不同维度进行数据采集；对于收集到的数据进一步处理；然后采用数据挖掘相关方法构建相似文档列表，进而构建用户物品评分矩阵，并且根据文档的重要程度插入一定数量最相似的文档；然后利用奇异值分解SVD处理矩阵；最后形成推荐列表进行推荐。

根据上述思路，本发明的实现方案包括如下步骤：

(1)数据收集

1a)采集用户行为数据，包括：点击、点赞和转发；

1b)以软件，编程方法，采集用户的附加信息，包括：用户的位置、局域网、统一资源定位符URL和IP地址这些信息；

1c)收集相应的文档，包括新闻和文章，对这些文档进行分类并同时进行编号，即对新闻按照社会，体育，政治，科学分类并同时进行编号；对文章按照所属学科，类目进行分类并同时进行编号；

1d)将1a)，1b)的数据存入Mysql数据库，将1c)中的数据存入Elasticsearch数据库中；

(2)对数据进行处理：

2a)将1a)中的历史行为数据进行数字化；

2b)根据1b)中的附加信息，提取出在相同位置，局域网和IP网段下大家都感兴趣的文档；

2c)对1c)每一篇文档，找出与之最相似的几篇文档，构建每篇文档与之最相似几篇文档字典；

2d)将2a)和2b)的结果存入Mysql数据库，将2c)结果数据存入Elasticsearch数据库；

(3)构建用户文档评分矩阵：

3a)将2a)数据集中的80％作为训练集，其余20％作为测试集；

3b)在训练集中，利用最相似关联公式，插入2c)字典中用户已经互动文档最相似的几篇文档，若每个用户互动过的文档有相同的最相似文档，则取相同文档最高的插入值；

3c)依据2b)中相同位置，局域网和IP网段下大家都感兴趣的文档，在训练集中继续插入这个群体都感兴趣的文档；

3d)由3c)中得到的训练集，建立用户文档评分矩阵；

3e)依据用户阅读文档的频繁程度，为每个用户设置周期阈值；

(4)对由3c)得到的训练集进行训练，形成文档推荐列表：

4a)对3d)中的矩阵进行奇异值分解，然后进行拟合训练，得到奇异值分解模型；

4b)使用3a)的测试集对奇异值分解模型进行验证，使用均方误差RMSE，评估该模型的性能；

4c)重复4a)和4b)，根据不同参数组合，依据均方误差RMSE大小，取最好参数组合，得到最佳参数组合的模型，其中，参数组合包括特征因子和梯度下降算法SGD的迭代次数；

4d)用最佳参数组合的模型形成文档推荐列表，将列表中文档推荐给用户；

4e)当用户阅读文档的数量达到设置阈值时，返回2a)。

本发明与现有技术相比具有以下优点：

第一、由于本发明采用软件与编程的两种方法获取用户信息，克服了现有技术从单一渠道获取用户行为信息的缺陷，使得在采集用户行为数据的基础上，也可采集相同位置，局域网和IP网段下的附加信息。

第二、由于本发明引入最相似关联公式，利用每篇文档与之最相似的前k篇文档，k<＝5，结合附加信息，对于训练集进行插入，可以缓解构建的用户文档评分矩阵过于稀疏的压力，同时也能提高推荐系统的性能。

附图说明

图1是本发明的实现总流程图。

图2是本发明中数据采集的子流程图。

图3是本发明中构建用户文档评分矩阵的子流程图。

具体实施方法

下面结合附图对本发明作进一步的描述。

参照附图1，本发明的具体实现步骤如下：

步骤1，数据收集。

参照图2，本步骤的具体实现如下：

1.1)采集用户的行为数据；

1.2)用软件方法和编程方法采集用户的附加信息：

所述附加信息指的是用户的位置，局域网，IP网段这些信息；

所述用软件方法，如wireshark，tcpdump，Fiddler软件；

所述编程方法，如使用C语言中winpcap库进行编程，python语言中的scapy库进行编程；

1.3)收集外网中相应的文档，包括新闻和文章，对这些文档进行分类并同时进行编号，即对新闻按照社会，体育，政治，科学分类并同时进行编号；对文章按照所属学科，类目进行分类并同时进行编号；

1.4)将1.1)，1.2)结果存入Mysql数据库，将1.3)结果存入Elasticsearch数据库中。

步骤2，对历史行为数据进行数字化。

用户的行为不同对于推荐系统性能会产生不同的影响，比如，用户对文档点赞这个行为比用户只是浏览了文档这个行为重要；例如：可以将浏览打1分，点赞打2分，转发打3分，将这些用户行为进行数字化，便于后续进行运算，将数字化数据存入Mysql数据库。

步骤3，提取出特定群体都感兴趣的文档。

所述特定群体是指在相同位置，局域网和IP网段下的群体，选定这个群体阅读过的文档，按照文档点击的数量降序排列，取前N个文档,N>2，并将这些数据存入Mysql数据库。

步骤4，构建每篇文档与之最相似几篇文档字典。

本步骤的具体实现如下：

4.1)利用信息检索和文本挖掘的常用加权技术，得到一个词语在文档中的重要程度：

其中，TF表示词频，它表示第i个词语t_i在文档中出现的频率，n_ij是第i词语在第j个文档p_j中出现的次数，

是在文档中所有词语出现的次数之和；IDF表示逆文档频率，N表示文档组成的语料库中文档的个数，n_k表示所有文档中某个单词至少出现一次文档的个数；一个词语词频TF越大，说明这个词语在文档中出现的越频繁，即该词语在文档中就越重要；这个公式意义是一个单词在一篇文档中出现越频繁，在其他文档出现较少，说明这个词语越能代表这篇文档的主题；

4.2)依据4.1)中结果，利用余弦相似度公式求两个文档之间的相似程度：

其中文档sim(p_i,p_j)的值表示第i个文档p_i与第j个文档p_j之间的相似度，ω_ki表示文档p_i第k个特征值，ω_kj表示文档p_j第k个特征值；

4.3)由4.2)中公式，得到每篇文档与之相似度最高的前k个文档，k<＝5，建立字典，字典的格式为，{{i₁：[i₃，i₄，i₅],i₂：[i₃，i₆，i₈]，...，i_m：[i₆，i₉，i_N]，...，i_N：[i₇，i₁₀，i_m]}}，其中，i_m表示第m个文档，列表[i₆，i₉，i_N]表示与文档i_m最相似的前三个文档，它们值的大小为i₆＞i₉＞i_N，N为文档库中文档的数量；

4.4)将4.3)建立的字典存入Elasticsearch数据库中。

步骤5，构建用户文档评分矩阵。

参照图3，本步骤的具体实现如下：

5.1)取出步骤2中的数据，将80％作为训练集，其余20％作为测试集；

5.2)利用最相似关联公式，将步骤4中字典中的数据插入到训练集中，最相似关联公式表示如下：

其中q_j表示与第i个文档列表中第j个文档的相似值，k为最相似文档的个数，k<＝3，CV_ui表示用户u对于第i个文档的评分，IV_ui(j)表示用户u对已经互动过的第i个文档，在第j个文档处要插入的值。

若每个用户互动过的文档有相同的最相似文档，则取相同文档最高的插入值；

5.3)对于5.2)中处理过的训练集，继续插入步骤3群体都感兴趣的文档；

5.4)由5.3)的结果构建用户文档评分矩阵，矩阵的形式如下：

i1 i2 i3 i4 i5 i6 … in

其中，u1，u2，u3，…，um代表用户，i1，i2，i3，…,in代表文档，矩阵中整数表示用户的行为，0表示没有互动过的文档，1代表点击，2代表点赞，3代表转发，带小数的数字代表插入值；

5.5)依据用户阅读文档的频繁程度，为每个用户设置周期阈值，通过设置这个阈值，可更加及时的推荐用户感兴趣的文档。

步骤6，训练出最佳模型。

本步骤的具体实现如下：

6.1)对步骤5得到的矩阵进行奇异值分解，然后进行拟合训练，得到奇异值分解模型；

6.2)使用均方误差RMSE，通过下式对奇异值分解模型的性能进行评估：

其中，RMSE表示均方误差的值，T^test表示测试集，r_test,ij表示测试集的分数值，r_ij表示训练后对于文档的预测值，均方误差RMSE越小，则说明训练的模型越好，推荐性能越好。

6.3)重复6.1)-6.2)根据不同参数组合，求最佳参数组合的模型。

所述不同的参数组合包括特征因子n_factor和梯度下降算法SGD的迭代次数sgd_n；

选几组不同n_factor和sgd_n数值，依据均方误差RMSE大小，取RMSE最小的参数组合，得到最佳参数组合的模型。

步骤7，形成的推荐列表。

由训练形成最佳模型形成的推荐列表：设置推荐列表的长度为l，取推荐列表长度为5，则推荐列表的格式如下：

{u1：[i3，i8，i9，i6，i10]，u2：[i10，i2，i1，i6，im]，…um：[i2，iN，i8，i6，i7]，…，uN:[i10，i2，i1，i6，im]}

其中，um：[i2，iN，i8，i6，i7]，表示给第m个用户um推荐文档i2，iN，i8，i6，i7，且相似度的大小关系为i2>iN>i8>i6>i7，m<＝N，N为用户的数量；

将推荐列表中的文档推荐给用户。

步骤8，为用户设置阈值。

由于用户在不断的阅读文档，所以需要根据用户阅读过的文档，动态的给用户进行推荐。设定阈值为w，w>100，当用户阅读文档的数量达到设置阈值w时，返回步骤1。重新根据收集的数据进行后续步骤。

Claims (7)

1.基于余弦相似度协同过滤的混合推荐方法，其特征在于，包括如下：

(1)数据收集：

1a)采集用户行为数据，包括：点击、点赞和转发；

1b)以软件，编程方法，采集用户的附加信息，包括：用户的位置、局域网、统一资源定位符URL和IP地址这些信息；

1c)从外网中收集相应的文档，包括新闻和文章，对这些文档进行分类并同时进行编号，即对新闻按照社会，体育，政治，科学分类并同时进行编号；对文章按照所属学科，类目进行分类并同时进行编号；

1d)将1a)，1b)的数据存入Mysql数据库，将1c)中的数据存入Elasticsearch数据库中；

(2)对数据进行处理：

2a)将1a)中的历史行为数据进行数字化；

2b)根据1b)中的附加信息，提取出在相同位置，局域网和IP网段下大家都感兴趣的文档；

2c)对1c)每一篇文档，找出与之最相似的几篇文档，构建每篇文档与之最相似几篇文档字典；

2d)将2a)和2b)的结果存入Mysql数据库，将2c)结果数据存入Elasticsearch数据库；

(3)构建用户文档评分矩阵：

3a)将2a)数据集中的80％作为训练集，其余20％作为测试集；

3b)在训练集中，利用最相似关联公式，插入2c)字典中用户已经互动文档最相似的几篇文档，若每个用户互动过的文档有相同的最相似文档，则取相同文档最高的插入值；

所述中的最相似关联公式，表示如下：

其中q_j表示与第i个文档中第j个文档的相似值，k为最相似文档的个数，k<＝3，CV_ui表示用户u对于第i个文档的评分，IV_ui(j)表示用户u已经互动过的第i个文档，在第j个文档处要插入的值；

3c)依据2b)中相同位置，局域网和IP网段下大家都感兴趣的文档，在训练集中继续插入这个群体都感兴趣的文档；

3d)由3c)中得到的训练集，建立用户文档评分矩阵；

3e)依据用户阅读文档的频繁程度，为每个用户设置周期阈值；

(4)对由3c)得到的训练集进行训练，形成文档推荐列表：

4a)对3d)中的矩阵进行奇异值分解，然后进行拟合训练，得到奇异值分解模型；

4b)使用3a)的测试集对奇异值分解模型进行验证，使用均方误差RMSE，评估该模型的性能；

4c)重复4a)和4b)，根据不同参数组合，依据均方误差RMSE大小，取最佳参数组合，得到最佳参数组合的模型，其中，参数组合包括特征因子和梯度下降算法SGD的迭代次数；

4d)用最佳参数组合的模型形成文档推荐列表，将列表中文档推荐给用户；

4e)当用户阅读文档的数量达到设置阈值时，返回2a)。

2.根据权利要求1所述的方法，其特征在于1b)中以软件，编程方法，采集用户的附加信息，是指分别用软件方法和编程方法获取用户的不同信息，其中：

软件方法是指，使用wireshark，tcpdump，Fiddler软件来获取用户的位置，局域网，URL，IP和网段相关信息；

编程方法是指，使用C语言中winpcap库进行编程，以及python语言中的scapy库进行编程，通过对包头的解析处理，获得用户的位置，局域网，URL，IP和网段相关信息。

3.根据权利要求1所述的方法，其特征在于，2a)中对历史行为数据进行数字化，是根据用户行为的重要性打分，即点击打1分，点赞打2分，转发打3分。

4.根据权利要求1所述的方法，其特征在于，2b)中提取出在相同位置，局域网和IP网段下大家都感兴趣的文档，是选定这个群体阅读过的文档，按照文档点击的数量降序排列，取前N个文档,N>2。

5.根据权利要求1所述的方法，其特征在于，2c)对1c)每一篇文档，找出与之最相似的几篇文档，构建每篇文档与之最相似几篇文档字典，其实现如下：

2c1)利用信息检索和文本挖掘的常用加权公式，得到一个词语在文档中的重要程度：

其中TF表示词频，它表示一个词语在文档中出现的频率，n_ij是词语t_i在文档p_j中出现的次数，

是在文档中所有词语出现的次数之和；IDF表示逆文档频率，N表示文档组成的语料库中文档的个数，n_k表示所有文档中某个单词至少出现一次的文档个数；

2c2)依据2c1)结果利用余弦相似度公式求两个文档之间的相似程度：

其中sim(p_i,p_j)的值表示第i个文档p_i与第j个文档p_j之间的相似度，ω_ki表示文档p_i第k个值，ω_kj表示文档p_j第k个值；

2c3)依据2c2)求得每篇文档与之相似度最高的前k个文档，k<＝5，来建立字典；

当k＝3时，与i₁最相似的前三个文档列表为[i₃，i₄，i₅]，它们值的大小为i₃＞i₄＞i₅；与i₂最相似的前三个文档列表为[i₃，i₆，i₈]，它们值的大小为i₃＞i₆＞i₈，与i_m最相似的前三个文档列表为[i₆，i₉，i_N]，它们值的大小为i₆＞i₉＞i_N，与i_N最相似的前三个文档列表为[i₇，i₁₀，i_m]，它们值的大小为i₇＞i₁₀＞i_m，以i_m类推，m从1到N，N为文档库中文档的数量，得到的字典为：{i₁：[i₃，i₄，i₅],i₂：[i₃，i₆，i₈]，...，i_m：[i₆，i₉，i_N]，...，i_N：[i₇，i₁₀，i_m]}。

6.根据权利要求1所述的方法，其特征在于，3d)中建立的用户文档评分矩阵，表示如下：

其中，u1，u2，u3，…，um代表用户，i1，i2，i3，…，in代表文档，矩阵中整数表示用户的行为，0表示没有互动过的文档，1代表点击，2代表点赞，3代表转发，带小数的数字代表插入值。

7.根据权利要求1所述的方法，其特征在于，3d)中使用均方误差RMSE，评估奇异值分解模型的性能，通过下式进行：

其中，RMSE表示均方误差的值，T^test表示测试集，r_test,ij表示测试集的分数值，

表示训练后对于文档的预测值，均方误差RMSE越小，则说明训练的模型越好，推荐性能越好。

Images