CN110162706A - 一种基于交互数据聚类的个性化推荐方法及系统 - Google Patents

Abstract

本发明公开了一种基于交互数据聚类的个性化推荐方法及系统，包括构建用户项目交互特征矩阵、构建用户历史行为矩阵、使用分类器对交互矩阵P进行分类、相似用户聚类、邻近项目选择、神经网络训练、个性化推荐，本发明将用户对项目的浏览记录、用户搜索记录等历史信息与用户个人信息拼接构造用户特征，使用聚类算法对用户特征进行聚类，并在此基础上对特定用户进行个性化推荐，改进了传统矩阵分解模型的性能，将矩阵分解与多层感知机结合，对用户项目间的关系进行学习预测。提升了大数据环境下推荐的精度。

Description

一种基于交互数据聚类的个性化推荐方法及系统

技术领域

本发明涉及一种融合了矩阵分解与多层感知机的非线性网络对特定用户进行个性化推荐预测，属于机器学习领域。

背景技术

随着大数据、云计算等技术不断发展，推荐系统作为服务计算领域的一个重要主题备受关注，广泛应用于电子商务，网络新闻、社交媒体等在线服务领域。个性化推荐系统的关键是根据用户历史交互的内容(如评分，点击等)挖掘人们可能感兴趣的物品，向用户提供满足其需求的信息、商品和服务。

目前，已有许多文献对推荐系统进行了深入的研究。传统推荐系统所采用的推荐技术主要包括关联规则(Association Rules)、基于内容的推荐(Content-BasedRecommendation)、协同过滤(Collaborative Filtering)和混合推荐(Hybrid Approach)，协同过滤是服务推荐中最为常用的方法之一。协同过滤推荐算法的前提假设：如果用户A与用户B均对一系列相同的物品表示喜欢，那么A极有可能也喜欢B用户喜欢的其他物品，它的主要思想是收集用户的历史数据，并以此获取和当前用户兴趣最相近的用户集合,从而向特定用户推荐具有相似兴趣的用户喜欢过的商品。作为一种经典有效的推荐技术，它的优势在于:1)不需考虑被推荐项目的内容；2)可为用户提供新异推荐；3)对用户访问网站时的干扰较小；4)技术易于实现。

由于Netflix Prize的普及，矩阵分解(MF)已经成为了潜在因素(latent factor)建模的默认方法，在这方面已经有大量相关工作，Koren等人将其与基于相邻用户或项目的模型进行集成，Wang等人将其与项目内容的主题模型相结合，Rendle等人将其扩展到因式分解机(factorization machines)，以实现特征的通用建模。

但是，基于矩阵分解的算法依赖用户与项目的交互矩阵，在需要处理大规模数据的环境下交互矩阵的规模会变得难以控制，同时因为数据量增加造成的稀疏性、噪声等方面的问题，已有算法往往难以获取准确结果。另外，He等人已经证明矩阵分解使用内积作为交互函数无法准确描述用户与项目更深层次的特征，内积描述的不同用户特征向量间的关系与Jaccard相似系数描述的结果有所区别，这最终会导致很大的排名误差。

针对传统矩阵分解方法中存在的问题，如今已有很多研究尝试使用深度学习(Deep Learning)优化传统协同过滤方法，神经网络已被证明有拟合任何连续函数的能力，深层神经网络(Deep Neural Network，DNN)已经被发掘出在计算机视觉，语音识别和文本处理等数个领域的出色潜力。2007年Salakhutdinov等人首次将深度学习技术应用于推荐系统，并提出了一种基于受限玻尔兹曼机(RBM)的协同过滤模型来模拟用户对项目的明确评级。2011年，Anand等人考虑评分数据的整体稀疏度和局部稀疏度，以此估算权重控制参数，使参数的确定动态化。2013年Huang等人提出了深度结构化语义模型(DSSM)，2015年Elkahky等人考虑到传统基于内容的推荐系统中用户特征难以获取的问题，进一步提出多视角深度神经网络模型(MV-DNN)。2017年Xue等人提出了深度矩阵分解模型，通过重构评分矩阵分别对用户和项目进行多层神经网络训练，学习用户与项目的隐表示，最后通过余弦相似度进行推荐。虽然上述算法模型已经使用深度学习模型获得了不错效果，但他们大多使用DNN来建模一些辅助信息，例如物品的描述，用户特征和项目评分。对于最关键的协同过滤部分，他们仍然采用矩阵分解，使用内积结合用户和项目潜在特征。同时在处理较大规模数据时，效果仍然不理想。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于交互数据聚类的个性化推荐方法及系统，本发明能在大数据环境下高效处理数据，显著提升推荐效果。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于交互数据聚类的个性化推荐方法，包括以下步骤：

步骤1，构建用户项目交互特征矩阵：从待预测的平台上获取用户基本信息和用户交互记录作为待处理的输入数据用户用ID作为标识；定义商品为待预测项目，矩阵A_M×N为用户-项目交互矩阵，M为用户数量，N为项目数量，矩阵A的值定义为用户对项目的评分，将用户行为对应的项目矩阵A与用户的基本信息U进行合并，得到合并后的矩阵P：

P_au＝(A|U)

步骤2，构建用户历史行为矩阵，P中包含了与用户关联的所有项目的ID信息d₁,d₂,…d_n，这些信息以时间戳先后顺序组成了不定长度的用户行为向量D＝{d₁,d₂,…d_n}，经过嵌入层映射后获得定长用户行为特征D′，对每一个用户，将D′与用户信息特征进行合并，得到合并后的矩阵B：

B＝(D′|U)

步骤3，使用分类器对交互矩阵P进行分类；

步骤4，相似用户聚类：对于给定的目标用户u_i，从矩阵B中获取与目标用户u_i的不低于b值的所有相邻用户，组成矩阵B′，b为用户行为特征向量间的欧式距离阈值，B′为目标用户返回的Top-N个最相似的用户特征；

步骤5，候选用户的邻近项目选择；

步骤6，神经网络训练：对于进行过聚类的用户特征，根据他们对商品的历史评价信息以及商品本身的特征通过一种融合的神经网络进行预测训练；

步骤7，个性化推荐：通过融合的神经网络训练得到的预测模型，通过输入用户ID与商品ID得到模型预测的评分情况，分数越高代表用户约感兴趣。

优选的：步骤3中在候选队列生成过程中使用Softmax分类器，对于用户-项目交互矩阵P中获取的一个用户行为向量p_i，使用每个项目的ID作为Softmax分类器训练时的label。

优选的：步骤5中使用K最近邻算法计算候选用户与相似用户的K个邻近结果。

优选的：步骤6中融合的神经网络基于余弦相似度与多层感知机对用户特征和商品特征之间的关系进行判断预测。

优选的：步骤7中针对特定用户将所有商品进行预测评分，对评分结果按降序排序，得到TOP-N个预测的用户最感兴趣商品作为推荐结果输出。

一种采用所述的基于交互数据聚类的个性化推荐方法制成的推荐系统，包括构建用户项目交互特征矩阵模块、构建用户历史行为矩阵模块、使用分类器对交互矩阵P进行分类模块、相似用户聚类模块、候选用户的邻近项目选择模块、神经网络训练模块、个性化推荐模块。

本发明相比现有技术，具有以下有益效果：

(1)提出一种基于交互数据聚类的推荐算法，将用户对项目的浏览记录、用户搜索记录等历史信息与用户个人信息拼接构造用户特征，使用聚类算法对用户特征进行聚类，并在此基础上对特定用户进行个性化推荐，改进了传统矩阵分解模型的性能。

(2)提出一种融合的深度学习模型，将矩阵分解与多层感知机结合，对用户项目间的关系进行学习预测。提升了大数据环境下推荐的精度。

附图说明

图1为本发明的流程图

图2为候选资源队列流程图

图3为预测流程图

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于交互数据聚类的个性化推荐方法，包括聚类和分类学习，聚类的本质是一个无监督的分类，聚类可以描述为一个包含密度相对较高的点集的多维空间中的连通区域,它们借助包含密度相对较低的点集的区域与其他区域相分离。聚类的过程就是寻找联系紧密的事物，把它们区分出来，使得同一分组中的事物比不同分组中的事物更具有共性，它是数据分析中常用的一种技术，聚类算法可以有效的区分出邻近用户，以上工作证明了聚类算法在推荐领域的适用性，YouTube的相关调研显示推荐的最终效果对聚类算法的选择不敏感。因此，本文中将分类器与传统的聚类算法结合使用，针对用户历史行为，通过Softmax分类器对所有项目进行分类训练，建立用户历史行为与项目之间的联系。针对特定用户历史行为特征，使用KNN计算获取相似用户，然后使用训练好的分类器分别对用户特征与相似用户的特征进行分类以实现协同过滤，从而更好地发现离群用户，提高服务推荐质量。深度学习已被广泛应用于推荐领域。我们使用神经网络学习替换MF传统的向量积或余弦相似度计算的方式描述两个实体相互间的关系，并通过融合不同模型表现出优秀的推荐性能。2016年谷歌发布了广泛&深度学习方法(Wide&Deep learning)，在特征嵌入层之上加上多层感知机(MLP)，表示出很强的泛化能力。受到启发，我们将改进的MF模型和MLP结合，以获得更广泛的拟合能力。主要用于解决在数据规模较大时，因为数据稀疏、噪声等原因导致推荐效果较差的问题，首先构造分类器，根据用户搜索、点击等历史信息对所有待推荐项目进行筛选聚类，生成候选的待遇测资源队列，通过这种方式消除了内积造成的表现力限制，降低打分预测时的数据训练规模，缓解了数据稀疏性问题。如图1-3所示，具体包括以下步骤：

步骤1，构建用户项目交互特征矩阵。我们首先需要从待预测的平台上获取用户基本信息和用户交互记录作为待处理的输入数据用户用ID作为标识。对于原始数据，我们需要进行一定处理以获得符合模型需要的输入数据。在这里，我们定义商品为待预测项目，矩阵A_M×N为用户-项目交互矩阵，M为用户数量，N为项目数量。矩阵A的值定义为用户对项目的评分情况。为了能让网络中推荐和筛选的过程有效进行，我们将用户行为对应的项目矩阵A与用户的基本信息U进行合并。

P_au＝(A|U)

A中包含可定制的项目特征信息，U为用户信息字段，P为合并后的矩阵。

将步骤1中的方法进行封装，形成构建用户项目交互特征矩阵模块，用于运行步骤1中的方法。

步骤2，构建用户历史行为矩阵。P中包含了与用户关联的所有项目的ID信息d₁,d₂,…d_n。这些信息以时间戳先后顺序组成了不定长度的用户行为向量D＝{d₁,d₂,…d_n}，经过嵌入层映射后可以获得定长用户行为特征D′，对每一个用户，将D′与用户信息特征进行合并。

B＝(D′|U)

B为合并后的用户特征矩阵。

将步骤2中的方法进行封装，形成构建用户历史行为矩阵模块，用于运行步骤2中的方法。

步骤3，使用分类器对交互矩阵P进行分类。特定用户对训练集中所有项目进行分类的情况下，类别数目较多，Softmax分类器被证实在类别条目较多的分类问题中有较优表现，所以我们在候选队列生成过程中使用它作为分类器，对于用户-项目交互矩阵P中获取的一个用户行为向量p_i，我们使用每个项目的ID作为Softmax分类器训练时的label。

将步骤3中的方法进行封装，形成使用分类器对交互矩阵P进行分类模块，用于运行步骤3中的方法。

步骤4，相似用户聚类。根据聚类理论，同一聚类分组中的用户会倾向于具有相似的偏好特性。对于给定的目标用户u_i，从矩阵B中获取与用户u_i的不低于b值的所有相邻用户，组成B′，b为用户行为特征向量间的欧式距离阈值，B′为目标用户返回的Top-N个最相似的用户特征。

将步骤4中的方法进行封装，形成相似用户聚类模块，用于运行步骤4中的方法。

步骤5，邻近项目选择。在这一阶段我们不需要进行精确的推荐，所以打分预测问题可以简化为一个最近邻搜索问题，根据聚类的结果。我们使用KNN计算候选用户与相似用户的K个邻近结果。

将步骤5中的方法进行封装，形成候选用户的邻近项目选择模块，用于运行步骤5中的方法。

步骤6，神经网络训练。对于进行过聚类的用户特征，我们将根据他们对商品的历史评价信息以及商品本身的特征通过一种融合的神经网络进行预测训练。网络基于余弦相似度与多层感知机对用户特征和商品特征之间的关系进行判断预测。

将步骤6中的方法进行封装，形成神经网络训练模块，用于运行步骤6中的方法。

步骤7，个性化推荐。通过网络训练得到的预测模型，我们可以通过输入用户ID与商品ID得到模型预测的评分情况，分数越高代表用户约感兴趣。我们针对特定用户将所有商品进行预测评分，对评分结果按降序排序，就可以得到TOP-N个预测的用户最感兴趣商品作为推荐结果输出。

将步骤7中的方法进行封装，形成个性化推荐模块，用于运行步骤7中的方法。

一种基于交互数据聚类的个性化推荐系统，包括构建用户项目交互特征矩阵模块、构建用户历史行为矩阵模块、使用分类器对交互矩阵P进行分类模块、相似用户聚类模块、候选用户的邻近项目选择模块、神经网络训练模块、个性化推荐模块。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于交互数据聚类的个性化推荐方法，其特征在于，包括以下步骤：

步骤1，构建用户项目交互特征矩阵：从待预测的平台上获取用户基本信息和用户交互记录作为待处理的输入数据用户用ID作为标识；定义商品为待预测项目，矩阵A_M×N为用户-项目交互矩阵，M为用户数量，N为项目数量，矩阵A的值定义为用户对项目的评分，将用户行为对应的项目矩阵A与用户的基本信息U进行合并，得到合并后的矩阵P：

P_au＝(A|U)

步骤2，构建用户历史行为矩阵，P中包含了与用户关联的所有项目的ID信息d₁,d₂,…d_n，这些信息以时间戳先后顺序组成了不定长度的用户行为向量D＝{d₁,d₂,…d_n}，经过嵌入层映射后获得定长用户行为特征D′，对每一个用户，将D′与用户信息特征进行合并，得到合并后的矩阵B：

B＝(D′|U)

步骤3，使用分类器对交互矩阵P进行分类；

步骤4，相似用户聚类：对于给定的目标用户u_i，从矩阵B中获取与目标用户u_i的不低于b值的所有相邻用户，组成矩阵B′，b为用户行为特征向量间的欧式距离阈值，B′为目标用户返回的Top-N个最相似的用户特征；

步骤5，候选用户的邻近项目选择；

步骤6，神经网络训练：对于进行过聚类的用户特征，根据他们对商品的历史评价信息以及商品本身的特征通过一种融合的神经网络进行预测训练；

步骤7，个性化推荐：通过融合的神经网络训练得到的预测模型，通过输入用户ID与商品ID得到模型预测的评分情况，分数越高代表用户约感兴趣。

2.根据权利要求1所述基于交互数据聚类的个性化推荐方法，其特征在于：步骤3中在候选队列生成过程中使用Softmax分类器，对于用户-项目交互矩阵P中获取的一个用户行为向量p_i，使用每个项目的ID作为Softmax分类器训练时的label。

3.根据权利要求2所述基于交互数据聚类的个性化推荐方法，其特征在于：步骤5中使用K最近邻算法计算候选用户与相似用户的K个邻近结果。

4.根据权利要求3所述基于交互数据聚类的个性化推荐方法，其特征在于：步骤6中融合的神经网络基于余弦相似度与多层感知机对用户特征和商品特征之间的关系进行判断预测。

5.根据权利要求4所述基于交互数据聚类的个性化推荐方法，其特征在于：步骤7中针对特定用户将所有商品进行预测评分，对评分结果按降序排序，得到TOP-N个预测的用户最感兴趣商品作为推荐结果输出。

6.一种采用权利要求4所述的基于交互数据聚类的个性化推荐方法制成的推荐系统，其特征在于：包括构建用户项目交互特征矩阵模块、构建用户历史行为矩阵模块、使用分类器对交互矩阵P进行分类模块、相似用户聚类模块、候选用户的邻近项目选择模块、神经网络训练模块、个性化推荐模块。