CN103218407A

CN103218407A - 一种基于兴趣图谱的推荐引擎

Info

Publication number: CN103218407A
Application number: CN2013100943237A
Authority: CN
Inventors: 刘本中; 司震; 郑国松; 胡明慧; 刘坤; 宋炜伟
Original assignee: NANJING SITONG TECHNOLOGY Co Ltd
Current assignee: NANJING SITONG TECHNOLOGY Co Ltd
Priority date: 2013-03-22
Filing date: 2013-03-22
Publication date: 2013-07-24

Abstract

本发明公开了一种基于兴趣图谱的推荐引擎，所述推荐引擎利用开源项目Mahout结合多维度按权重因子分配推荐算法，通过数据挖掘计算得出对象与用户的相关性，经过权重动态调整和微调数据反馈，实现对用户的智能推荐，推荐引擎包括推荐模块和推荐内容整合模块，推荐模块包括Mahout用户偏好推荐模块、基于用户属性推荐知识模块、系统配置内容推荐模块，推荐内容整合模块包括根据权重因子整合内容模块、Pylons Controller用户推荐Api接口、用户登录并查询接口、Pylons View层。本发明使系统性能加载效能最大化，并根据用户的兴趣爱好为用户智能推荐话题、任务、问题，以达到更好的用户体验。

Description

一种基于兴趣图谱的推荐引擎

技术领域

本发明涉及信息技术领域，尤其涉及一种基于兴趣图谱的推荐引擎。

背景技术

机器学习是人工智能的一个分支，它涉及通过一些技术来允许计算机根据之前的经验改善其输出。此领域与数据挖掘密切相关，并且经常需要使用各种技巧，包括统计学、概率论和模式识别等。虽然机器学习并不是一个新兴领域，但它的发展速度是毋庸置疑的。许多大型公司，包括 IBM、Google、Amazon、Yahoo! 和 Facebook，都在自己的应用程序中实现了机器学习算法。此外，还有许多公司在自己的应用程序中应用了机器学习，以便学习用户以及过去的经验，从而获得收益。

在信息时代，公司和个人的成功越来越依赖于迅速有效地将大量数据转化为可操作的信息。无论是每天处理数以千计的个人电子邮件消息，还是从海量博客文章中推测用户的意图，都需要使用一些工具来组织和增强数据。随着国外Quora、Stack Overflow 以及国内知乎等问答类网站的崛起，大型SNS、问答类网站在人工智能及智能推荐类应用上的需求越来越强烈。在没有推荐系统的情况下，通常在给用户推荐的时候都是统一管理，再加上一些复杂的数据表管理来得到结果，并实时的反馈给用户，这样会造成用户加载推荐内容的时候，系统加载缓慢，并且推荐的内容缺少指向性，造成用户体验下降。

发明内容

本发明使得系统性能加载效能最大化，并根据用户的兴趣爱好为用户智能推荐话题、任务、问题，以达到更好的用户体验。

本发明为解决上述技术问题采用以下技术方案：一种基于兴趣图谱的推荐引擎，利用开源项目Mahout结合兴趣图谱中多维度按权重因子分配推荐算法，通过数据挖掘计算得出对象与用户的相关性，实现对用户的智能推荐，所述基于兴趣图谱的推荐引擎包括推荐模块和推荐内容整合模块，其中：

所述推荐模块包括Mahout用户偏好推荐模块、基于用户属性推荐知识模块、系统配置内容推荐模块；其中，所述Mahout用户偏好推荐模块用于存储用户偏好数据，所述基于用户属性推荐知识模块用于存储知识库数据，所述系统配置内容推荐模块用于存储系统指向性配置；其中，用户偏好数据和知识库数据来源于网站的用户行为数据库和UCG，系统指向性配置为具有时效性的人为设置；

所述推荐内容整合模块包括根据权重因子整合内容模块、Pylons Controller用户推荐Api接口、用户登录并查询接口、Pylons View层；其中，所述权重因子整合内容模块以推荐模块中整合产生的数据为录入参数，采用多维度按权重因子分配推荐算法，通过数据挖掘计算得出对象与用户的相关性；所述Pylons Controller用户推荐Api接口用于建立所述推荐引擎与其它计算机软件之间的相互通信；所述用户登录并查询接口和Pylons View层将推荐引擎产生的数据显示到网站的查询页面上。

进一步的，所述兴趣图谱中多维度包括用户属性维度、用户兴趣维度、好友关系维度、系统配置的热点问题和话题；权重因子用来表示用户对多维度中具体对象的偏好程度。

进一步的，所述兴趣图谱中多维度按权重因子分配推荐算法包括User CF算法、 Item CF算法和Slope One算法，其中：

User CF算法用来推荐与用户有着相同爱好的其他用户喜欢的数据信息；

Item CF算法用来推荐与用户以前表示喜欢的数据信息相类似的数据信息；

Slope One算法用来在出现大量数据时，按分配的权重因子的不同，经过计算实现数据信息的快速推荐。

进一步的，通过用户活跃度算法对活跃用户进行预加载处理，对非活跃用户在其登录之后进行实时查询，所述预加载处理具体过程如下：通过后台加载、数据，通提前生成分析结果，在用户登录的时候直接将分析结果所对应的数据推送给用户。

本发明实现智能推荐时，通过用户活跃度算法，只对活跃用户进行处理，小部分非活跃用户登录之后进行实时查询，通过预加载和实时查询，实现系统性能加载效能最大化，减少用户的等待。

附图说明

图1：推荐引擎所涉及的多维度说明及用户中心知识库的组织架构。

图2：推荐引擎为用户生成推荐数据结合权重因子分配并推荐到用户具体工作流程。

图3：推荐引擎在整个处理流程中的功能模块说明。

具体实施方式

本发明使用Mahout（一种机器学习算法库）实现基于兴趣图谱的推荐引擎。基于兴趣图谱的推荐引擎是依据机器学习的概念，利用Mahout结合分层多权重因子推荐算法实现用户推荐，其主要特征是使用多维度按权重因子分配，通过数据挖掘计算得出对象与用户的相关性，通过这些因素的权重动态调整和微调数据反馈，最终实现对用户推荐平衡。本发明具体使用一个开放源代码的Web应用框架Pylons，采用python语言编写对应程序。

下面以一款基于兴趣图谱的母婴问答推荐引擎—问贝系统为具体实施例，结合附图对本发明的构思和实施方案进行描述。

推荐引擎所涉及的多维度说明及用户中心知识库的组织架构如图1所示，主要包括两大部分：用户推荐维度和兴趣图谱部分以及用户行为数据库和问贝知识库部分。

其中用户推荐维度和兴趣图谱部分包括：用户属性维度、用户兴趣维度、好友关系维度、系统配置的热点问题和话题。

推荐引擎基于用户的基本属性维度中的时间维度、地理位置维度、行业属性等维度，结合问贝系统多年累积的知识库系统，可以推荐用户所关心小孩时间阶段的知识，用户同城的一些活动等；基于用户的兴趣图谱维度，结合Mahout兴趣偏好算法将用户关注的话题、发表过的话题、回答过的话题等行为信息进行筛选置顶，进行推荐；基于用户好友关系，根据社区中用户好友列表的数据源获取用户好友关系，并从数据库中获取用户好友的行为记录，推荐出用户可能感兴趣的好友，根据推荐引擎发送好友列表信息。系统配置管理的内容，根据兴趣图谱推荐出更有针对性的，当前时间段社会的热点话题、并根据用户所发布的信息和属性推荐其相关的用户感兴趣的内容，使得推荐信息更有针对性、增强用户体验。

用户行为数据库和问贝知识库部分包括：用户行为数据、内容关系图谱、母婴分阶段知识库、根据用户的多维度兴趣图谱推送给用户的资讯。

推荐引擎基于庞大的内容知识库和UGG（用户产生内容），结合计算机智能分析，根据权重因子分配用户界面显示内容，数据库将用户相关的话题和行为存储在数据库中，并形成问贝系统知识库，以便于推荐引擎的快速匹配、筛选，以便于为用户推荐出更完善的信息。

推荐引擎为用户生成推荐数据结合权重因子分配并推荐到用户具体工作流程如图2所示，该工作流程图详细的描述了推荐引擎为用户推荐工作的流程。

推荐引擎在整个处理流程中的功能模块说明如图3所示，推荐引擎分为推荐模块和推荐内容整合模块两部分，其中推荐模块的录入参数为用户偏好数据、问贝知识库、系统指向性配置，其对应的模块为Mahout用户偏好模块、基于用户属性推荐知识模块、系统配置内容推荐模块；推荐内容整合模块是以推荐模块为录入参数，依次访问权重因子整合内容模块、Pylons Controller用户推荐Api接口、用户登录并查询接口、Pylons View层展示用户推荐内容，Pylons是一个开放源代码的Web应用框架，使用python语言编写。

引擎的开发和创建过程描述如下：

初始化，收集用户兴趣偏好基于协同过滤的推荐引擎的输入是用户的历史偏好信息，在 Mahout 里它被建模为 Preference（接口），一个 Preference 就是一个简单的三元组 < 用户 ID, 兴趣 ID, 用户偏好 >，它的实现类是 GenericPreference，可以通过以下语句创建一个GenericPreference。

GenericPreference preference = new GenericPreference(123, 456, 3.0f)；

这其中， 123 是用户 ID，long 型；456 是兴趣 ID，long 型；3.0f 是用户偏好，float 型。Mahout创建了 PreferenceArray（接口）保存一组用户偏好数据，为了优化性能，Mahout 给出了两个实现类，GenericUserPreferenceArray 和 GenericItemPreferenceArray，分别按照用户和兴趣本身对用户偏好进行组装，这样就可以压缩用户 ID 或者兴趣 ID 的空间。

1. 创建和使用 PreferenceArray

为了提高性能 Mahout构建了自己的 HashMap 和 Set：FastByIDMap 和 FastIDSet。DataModelMahout 的推荐引擎实际接受的输入是 DataModel，它是对用户偏好数据的压缩表示，通过创建内存版 DataModel 的语句我们可以看出：

DataModel model =newGenericDataModel(FastByIDMap<PreferenceArray> map)；

DataModel保存在一个按照用户 ID 或者兴趣 ID 进行散列的 PreferenceArray，而 PreferenceArray 中对应保存着这个用户 ID 或者兴趣 ID 的所有用户偏好信息。

DataModel 是用户喜好信息的抽象接口，它的具体实现支持从任意类型的数据源抽取用户喜好信息，具体实现包括内存版的 GenericDataModel，支持文件读取的 FileDataModel 和支持数据库读取的 JDBCDataModel。

2. 创建数据模型

支持文件读取的 FileDataModel，Mahout 没有对文件的格式做过多的要求，只要文件的内容满足以下格式：

（201）每一行包括用户 ID, 兴趣 ID, 用户偏好；

（202）逗号隔开或者 Tab 隔开；

（203）*.zip 和 *.gz 文件会自动解压缩（Mahout 建议在数据量过大时采用压缩的数据存储）。

3.Mahout 提供的协同过滤的推荐策略：User CF、 Item CF 和 Slope One。

（301）基于 Mahout 实现 User CF

从文件建立 DataModel，采用FileDataModel，用户的喜好信息存放在 preferences.dat 文件中。

基于用户偏好数据计算用户的相似度，Mahout 中提供了基本的相似度的计算，它们都 UserSimilarity 这个接口，实现用户相似度的计算，包括下面这些常用的：

PearsonCorrelationSimilarity：基于皮尔逊相关系数计算相似度；

EuclideanDistanceSimilarity：基于欧几里德距离计算相似度；

TanimotoCoefficientSimilarity：基于 Tanimoto 系数计算相似度；

UncerteredCosineSimilarity：计算 Cosine 相似度；

ItemSimilarity 也是类似的：根据建立的相似度计算方法，找到邻居用户。这里找邻居用户的方法包括两种，固定数量的邻居和相似度门槛邻居，Mahout 提供对应的实现：

NearestNUserNeighborhood：对每个用户取固定数量 N 的最近邻居；

ThresholdUserNeighborhood：对每个用户基于一定的限制，取落在相似度门限内的所有用户为邻居。

基于DataModel，UserNeighborhood 和UserSimilarity 构建GenericUserBasedRecommender，实现 User CF 推荐策略。

（302）基于 Mahout 实现 Item CF

Mahout Item CF 的实现与 User CF 类似，是基于 ItemSimilarity，它比 User CF 更简单，因为 Item CF 中并不需要引入邻居的概念。

（303）基于 Mahout 实现Slope One

User CF 和 Item CF 是最常用最容易理解的两种 CF 的推荐策略，但在大数据量时，它们的计算量会很大，从而导致推荐效率较差。因此 Mahout 还提供了一种更加轻量级的 CF 推荐策略：Slope One。Slope One 的核心优势是在大规模的数据上，它依然能保证良好的计算速度和推荐效果。

Slope One 是由 Daniel Lemire 和 Anna Maclachlan 在 2005 年提出的一种对基于评分的协同过滤推荐引擎的改进方法，它的基本思想如下：

假设系统对于兴趣 A，兴趣 B 和兴趣 C 的平均评分分别是 3，4 和 4。基于 Slope One 的方法会得到以下规律：

用户对兴趣 B 的评分 = 用户对兴趣 A 的评分 + 1；

用户对兴趣 B 的评分 = 用户对兴趣 C 的评分。

基于以上的规律，我们可以对用户 A 和用户 B 的打分进行预测：

对用户 A，他给兴趣 A 打分 4，那么我们可以推测他对兴趣 B 的评分是 5，对兴趣 C 的打分也是 5。

对用户B，他给兴趣 A 打分 2，给兴趣 C 打分 4，根据第一条规律，我们可以推断他对兴趣 B 的评分是 3；而根据第二条规律，推断出评分是 4。当出现冲突时，我们可以对各种规则得到的推断进行就平均，所以给出的推断是 3.5。

这就是 Slope One 推荐的基本原理，它将用户的评分之间的关系看作简单的线性关系：

Y = mX + b；当 m = 1 时就是 Slope One。

根据 Data Model 创建数据之间线性关系的模型 DiffStorage。

基于 Data Model 和 DiffStorage 创建 SlopeOneRecommender，实现 Slope One 推荐策略。

Claims

1.一种基于兴趣图谱的推荐引擎，其特征在于：利用开源项目Mahout结合兴趣图谱中多维度按权重因子分配推荐算法，通过数据挖掘计算得出对象与用户的相关性，实现对用户的智能推荐，所述基于兴趣图谱的推荐引擎包括推荐模块和推荐内容整合模块，其中：

2.如权利要求1所述的一种基于兴趣图谱的推荐引擎，其特征在于：所述兴趣图谱中多维度包括用户属性维度、用户兴趣维度、好友关系维度、系统配置的热点问题和话题；采用权重因子来表示用户对多维度中具体对象的偏好程度。

3.如权利要求1所述的一种基于兴趣图谱的推荐引擎，其特征在于，所述兴趣图谱中多维度按权重因子分配推荐算法包括User CF算法、 Item CF算法和Slope One算法，其中：

4.如权利要求1或2所述的一种基于兴趣图谱的推荐引擎，其特征在于，通过用户活跃度算法对活跃用户进行预加载处理，对非活跃用户在其登录之后进行实时查询，所述预加载处理具体过程如下：通过后台加载、数据，通提前生成分析结果，在用户登录的时候直接将分析结果所对应的数据推送给用户。