CN102479202A - 一种基于领域专家的推荐系统 - Google Patents

Abstract

本发明涉及一种基于领域专家的推荐系统，包括：分布式数据库模块、数据挖掘模块、挖掘结果数据库模块、基于领域评分推荐模块、对外接口服务层模块和数据写入模块；该推荐系统根据项目数据、用户数据和用户行为历史数据挖掘用户对项目好坏评分、用户感兴趣和潜在兴趣的领域以及专家用户数据，并计算获取当前用户的临近专家列表，产生临近专家推荐结果集返回给用户。本发明采用领域专家的推荐方式，具有权威性，有效地提供了推荐的精确度，且可以与常规推荐方式组成混合推荐系统使用，从而根据不同的场合为用户提供更加准确的推荐结果。

Description

一种基于领域专家的推荐系统

技术领域

本发明涉及网络服务领域，更具体地说，涉及一种基于领域专家的推荐系统。

背景技术

现在很多推荐系统都采用了协同过滤算法，或者内容过滤算法。协同过滤算法是通过挖掘用户和项目间的隐含关系，向用户推荐其可能感兴趣的项目。内容过滤算法是给定条件，基于项目自身相关属性，把符合条件的项目过滤出来。这两种算法都有自己各自的优缺点：协同过滤算法会有数据稀疏、冷启动、扩展性差、新商品无法被推荐、新用户无法得到推荐商品的问题；基于内容的过滤由于没有挖掘使用项目与项目之间、项目和用户之间的各种关系，所以无法挖掘用户潜在兴趣点，整体的推荐效果不如协同过滤。

有些推荐系统通过综合使用内容和协同过滤来克服当个算法的缺点，提高推荐系统的精准度。使用协同过滤算法基本思想是找出相似的用户或相似的项目，通过相似用户之间产生推荐或者把相似项目推荐给用户。由于原始数据中会包含大量噪点数据，对推荐系统产生不可预知的影响。为了解决噪点数据问题，需要现对原始数据进行预处理。

发明内容

本发明要解决的技术问题在于，针对现有推荐系统的上述推荐精确度不高的缺陷，提供一种基于领域专家的推荐系统。

本发明解决其技术问题所采用的技术方案是：构造一种基于领域专家的推荐系统，在原始数据中挖掘出专家用户，然后查找与当前用户相似度最高的专家用户，从而为当前用户提供该专家用户的相关项目作为推进项目结果集。

本发明提供了一种基于领域专家的推荐系统，包括：

分布式数据库模块，用于保存项目数据、用户数据和用户行为历史数据；

数据挖掘模块，用于根据所述项目数据、用户数据和用户行为历史数据挖掘用户对项目好坏评分、用户感兴趣和潜在兴趣的领域以及专家用户数据；

挖掘结果数据库模块，用于保存所述用户对项目好坏评分、用户感兴趣和潜在兴趣的领域以及专家用户数据；

基于领域评分推荐模块，用于获取用户对项目好坏评分、用户感兴趣和潜在兴趣的领域以及专家用户数据，计算获取临近专家列表，产生临近专家推荐结果集；

对外接口服务层模块，采用网络服务方式为外接访问提供接口，接收用户输入的数据以及将临近专家推荐结果集返回给用户；

数据写入模块，用于将用户输入的项目数据、用户数据和用户行为历史数据写入分布式数据库模块。

在本发明所述的基于领域专家的推荐系统中，所述推荐系统还包括上下文无关评分推荐模块；

所述数据挖掘模块还根据所述项目数据、用户数据和用户行为历史数据挖掘相似项目结果集和关联项目结果集；

所述上下文无关评分推荐模块用于基于相似项目结果集、关联项目结果集，采用基于内容过滤的方法为用户当前行为提供相关和相似产品的推荐结果集；

所述对外接口服务层模块还根据不同时间场合的需要，选择调用接口，从而将临近专家推荐结果集或者相关和相似产品的推荐结果集返回给用户。

在本发明所述的基于领域专家的推荐系统中，所述数据挖掘模块通过用户行为历史数据中用户直接标注的感兴趣领域确定用户感兴趣的领域，根据用户行为历史数据中用户的位置、性别、身份、职业和受教育情况，用户搜索时关键字，以及用户点击、查看和购买项目记录进行综合统计分析及语义分析处理得用户潜在兴趣的领域。

在本发明所述的基于领域专家的推荐系统中，所述数据挖掘模块根据所述用户行为历史数据计算所有用户在各领域内的参与度、影响力和评分偏差，筛选出高于预设的参与度、影响力和评分偏差的用户为专家用户，保存为该领域的专家用户数据。

在本发明所述的基于领域专家的推荐系统中，所述数据挖掘模块还综合用户设置或导入的专家用户资料，保存为专家用户数据。

在本发明所述的基于领域专家的推荐系统中，所述基于领域评分推荐模块，在用户感兴趣和潜在兴趣的领域内，利用用户对项目好坏评分数据采用皮尔逊相关性来计算用户与专家用户的评分相似度，获取临近专家列表。

在本发明所述的基于领域专家的推荐系统中，所述数据挖掘模块采用余弦相似性、修正的余弦相似性和皮尔逊相关性计算项目相似度，产生相似项目结果集。

在本发明所述的基于领域专家的推荐系统中，所述数据挖掘模块采用增量式挖掘方法，计算所有关联项目对出现的次数，找出出现次数最多的预设数量对，作为关联项目结果集。

在本发明所述的基于领域专家的推荐系统中，所述分布式数据库模块按照相关领域自然分类，以项目类别树的方式将各个项目数据作为节点存储。

在本发明所述的基于领域专家的推荐系统中，所述上下文无关评分推荐模块还基于用户对项目好坏评分，对为用户当前行为提供的相关和相似产品的推荐结果集进行项目的排序。

实施本发明的基于领域专家的推荐系统，具有以下有益效果：本发明通过在分布式数据库中挖掘出专家用户，然后查找与当前用户相似度较高的专家用户，从而为当前用户提供该专家用户的相关项目作为推进项目结果集，本发明采用领域专家的推荐方式，具有权威性，有效地提供了推荐的精确度。且本发明可以组合常规推荐方式成为混合推荐系统，从而根据不同的场合为用户提供更加准确的推荐结果。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为根据本发明的第一实施例中基于领域专家的推荐系统的模块示意图；

图2为根据本发明的第二实施例中基于领域专家的推荐系统的模块示意图；

图3为根据本发明的基于领域专家的推荐系统生成的项目类别树示意图；

图4a为传统的基于用户的推荐系统挖掘关系示意图；

图4b为根据本发明的基于领域专家的推荐系统的挖掘关系示意图；

图5为根据本发明的对外接口服务层模块的工作过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

在实际生活中，相对普通人来说，专家总是某一个领域内部比较重要的人士。所以与某专家领域相关的，专家说的话一般份量是比较重的，更容易让人信服。在电子商务领域，如果专家说某项产品非常好，那么该产品是好产品的可能性也就很大，用户购买的欲望也会随之增加。而且人们总是充满好奇心的，人们也想指导自己所处领域的专家们做了些事情，他们经常购买了哪些商品，例如读什么书、看什么电影等。所以在推荐系统中，如果能够找出其中的专家用户，这样对于系统推荐将会产生莫大的帮助。因此，可以根据专家用户的项目数据向用户推荐商品。

本发明用于电子商务领域的商务推荐，组合采用多种推荐技术，发挥各种推荐技术的长处，进行推荐结果的比较优化，不断改善推荐服务过程，提高了系统的适用性。该系统采取分布式的、松耦合的、模块化的系统结构，提供一个对外的web服务接口，可以独立出来运行，同时为多个电子商务网站提供推荐服务。

请参阅图1，为根据本发明的第一实施例中基于领域专家的推荐系统的模块示意图。如图1所示，本发明第一实施例提供的推荐系统100，至少包括：分布式数据库模块102、数据挖掘模块104、挖掘结果数据库模块106、基于领域评分推荐模块108、对外接口服务层模块110和数据写入模块112。

分布式数据库模块102，用于保存项目数据、用户数据和用户行为历史数据。保存项目数据、用户数据、用户行为历史数据。因此，分布式数据库模块102设有分类项目数据库102-1、用户数据库102-2和用户行为历史数据库102-3。

数据挖掘模块104用于根据所述项目数据、用户数据和用户行为历史数据挖掘用户对项目好坏评分、用户感兴趣和潜在兴趣的领域以及专家用户数据。数据挖掘模块104通过用户行为历史数据中用户直接标注的感兴趣领域确定用户感兴趣的领域，根据用户行为历史数据中用户的位置、性别、身份、职业和受教育情况，用户搜索时关键字，以及用户点击、查看和购买项目记录进行综合统计分析及语义分析处理得用户潜在兴趣的领域。数据挖掘模块104根据所述用户行为历史数据计算所有用户在各领域内的参与度、影响力和评分偏差，筛选出高于预设的参与度、影响力和评分偏差的用户为专家用户，保存为该领域的专家用户数据。

挖掘结果数据库模块106用于保存所述用户对项目好坏评分、用户感兴趣和潜在兴趣的领域以及专家用户数据。

基于领域评分推荐模块108用于获取用户对项目好坏评分、用户感兴趣和潜在兴趣的领域以及专家用户数据，计算获取临近专家列表，产生临近专家推荐结果集。

对外接口服务层模块110采用网络服务方式为外接访问提供接口，接收用户输入的数据以及将临近专家推荐结果集返回给用户。

数据写入模块112用于将用户输入的项目数据、用户数据和用户行为历史数据写入分布式数据库模块。

请参阅图2，为根据本发明的第二实施例中基于领域专家的推荐系统的模块示意图。如图2所示，本发明第二实施例提供的推荐系统200与第一实施例中推荐系统100的功能和结构类似，区别仅在于增设了上下文无关评分推荐模块214。

数据挖掘模块204还根据所述项目数据、用户数据和用户行为历史数据挖掘相似项目结果集和关联项目结果集。

上下文无关评分推荐模块214用于基于相似项目结果集、关联项目结果集，采用基于内容过滤的方法为用户当前行为提供相关和相似产品的推荐结果集。

对外接口服务层模块210还根据不同时间场合的需要，选择调用接口，从而将临近专家推荐结果集或者相关和相似产品的推荐结果集返回给用户。

下面参照第二实施例对本发明的各个模块的功能进行具体说明。

1、分布式数据库模块

分布式数据库模块202用于保存项目数据、用户数据、用户行为历史数据。相应地，分布式数据库模块202中设有分类项目数据库202-1、用户数据库202-2和用户行为历史数据库202-3。其中，分类项目数据库202-1保存的项目数据包括关于该项目自身的相关属性(假设项目为书本，那么项目数据就可以包含ISBN、作者、出版社、出版年份、类别、摘要等)。项目是按照相关领域自然分类存储的，这样便会生成一颗项目类别树CT(Catalog Tree)。请参照图3，为根据本发明的基于领域专家的推荐系统生成的项目类别树示意图。网站商品为项目，项目可以按照相关领域自然分类，例如图3中，分为电影和图书，而图书进一步分成计算机科学、生物、哲学和化学等。计算机科学又分为数据挖掘、人工智能、语义网、多媒体等。各类别之间并不是完全排斥，即一种商品可以同时属于多个类别(例如，一本书可以是数据挖掘类别的，同时还可以是人工智能类别的)。

用户数据保存用户的个人相关隐私信息，例如姓名、性别、职业、兴趣、爱好等。

用户行为历史数据包括用户在浏览器上浏览相关服务网站的所有行为数据，例如点击查看过的项目、搜索过的关键字、购买过的商品、想购买的商品、商品评分、反馈意见等。

2、数据挖掘模块

数据挖掘模块204是本系统的核心模块，挖掘项目和项目、用户和用户、项目和用户之间的关系，根据相应规则挖掘出一般用户领域特征、领域专家用户和TOP-N关联项目，利用用户历史行为数据挖掘用户的兴趣、爱好。数据挖掘模块主要包括以下几个方面：

1)计算项目相似度

项目相似计算主要有余弦相似性、修正的余弦相似性和皮尔逊相关性，产生相似项目结果集。

2)挖掘TOP-N关联项目

采取一种增量式挖掘方法，计算所有项目对(A，B)出现的次数Count(A，B)，找出Count(A，B)出现次数最多的前N对，作为关联项目结果集。

3)用户背景、行为历史数据的挖掘

用户背景和行为历史数据的挖掘主要是为了挖掘所在领域以及潜在的感兴趣的领域。数据挖掘模块可以通过用户行为历史数据中用户直接标注的感兴趣领域确定用户感兴趣的领域，还可以根据用户行为历史数据中用户的位置、性别、身份、职业和受教育情况，用户搜索时关键字，以及用户点击、查看和购买项目记录进行综合统计分析及语义分析处理得用户潜在兴趣的领域。

4)挖掘专家用户

如图4a和图4b所示，传统的基于用户的推荐(图4a)是直接挖掘用户和所有项目的关系，而基于领域专家用户的推荐系统(图4b)则优化了传统用户和项目间的关系，挖掘了专家、领域和项目之间的相互关系。

专家用户与领域相关，不同的领域需要采取不同的策略。为了挖掘专家用户，我们可以利用用户背景、用户评论、用户参与活跃程度等信息。一个用户可以是多个领域的专家。

项目数据按照自然类别存储，那么可以把每一个子类别当作一个领域，施加不同的策略模式，在各个子领域采取挖掘各自专家用户。由于有些子领域的划分可能比较细，这样需要合并子领域的专家。

下面对基于领域分类的专家用户的挖掘方法进行描述：

挖掘专家至少有两种方法：一种是通过人工的直接指定、导入一定量的专家数据(这些数据可以是现存的，已经被某些网站、服务所使用的)，还有可能就是系统通过人工筛选，直接指定某用户为专家用户；另一种就是通过数据挖掘的方法。

由于专家的挖掘方法一般是与领域相关的，不同的领域应该会有自己所适应的挖掘算法。一般说来，所有领域的专家应有以下几个共同的特点：1.、专家的参与度比较高，关键的一点是专家对项目的评分会比一般用户多得多；2、专家的影响力比一般用户要大得多，即专家会受到更多的关注；3、专家对于项目的评分比一般用户的评分可信度更高，即专家的评分更能反映项目实际好坏程度。

在此，本系统以网上卖书为例，描述一种基于领域分类的专家用户的挖掘方法。如图3所示，对于一般的网络商品，可以自然归类成一课继承的类别树CT。在一颗类别树中，会存在多个叶子节点CL。如果把一个叶子节点领域，那么我们只需计算出各叶子节点内的专家用户。我们假设领域D(i)是对应类别树的一个节点i。U表示所有用户的集合，M表示用户个数。I(i)表示领域D(i)内所有项目的集合，I(i，j)表示领域D(i)内的第j个项目。

1.计算所有用户在D(i)内的参与度P，本模型用P(i，j)表示领域i内用户j的参与度。

P(i，j)＝用户在领域D(i)内的评论总数；

2.计算所有用户在D(i)内的影响力E，E(i，j)表示领域i内用户j的影响力。

E(i，j)＝赞成用户评论的回复数-反对用户评论的回复数*0.9；

3.计算所有用户评分与平均评分的偏差R，R(i，j)表示领域i内用户j评分同平均评分的偏差。

计算出所有用户在领域D(i)的参与度、影响力和评分偏差之后，便可设置专家用户最低参与度、最低影响力的、和最大评分偏差的阀值，筛选出高于预设的参与度、影响力和评分偏差的用户为专家用户，保存为该领域的专家用户数据。

3、挖掘结果数据库模块

挖掘结果数据库模块206用于保存挖掘结果。挖掘结果是指关联的项目、相似的项目、用户对项目好坏评分、专家用户数据、用户感兴趣和潜在兴趣的领域。这些数据保存在关系型的数据库中，以方便读取。在此，用户对项目好坏评分、专家用户数据、用户感兴趣和潜在兴趣的领域可以保存在兴趣专家数据库206-1中，而关联的项目和相似的项目可以保存在相似关联数据库206-2中。具体的挖掘过程参考数据挖掘模块。

4、基于领域评分推荐模块

基于领域评分推荐模块208结合用户对项目好坏评分、用户感兴趣和潜在兴趣的领域以及专家用户数据，其中包括用户背景知识、用户历史行为知识和领域知识进行推荐。如：用户给项目的评分、项目被查看次数和被购买次数、用户领域内近似专家感兴趣的项目。

本系统采用皮尔逊相关性来计算某个用户u与专家用户EU的相似性，定义用户i、j的相似度为：

$\mathrm{Sim}(i,j)=\frac{\underset{n\∈{\mathrm{\Θ}}_{\mathrm{ij}}}{\mathrm{\Σ}}(R_{i,n}-\stackrel{\‾}{R_i})(R_{j,n}-\stackrel{\‾}{R_j})}{\sqrt{\underset{n\∈{\mathrm{\Θ}}_{\mathrm{ij}}}{\mathrm{\Σ}}{(R_{i,n}-\stackrel{\‾}{R_i})}^2}\sqrt{\underset{n\∈{\mathrm{\Θ}}_{\mathrm{ij}}}{\mathrm{\Σ}}{(R_{j,n}-\stackrel{\‾}{R_j})}^2}}$

其中，R_i，n表示用户i对项目n的评分，R_j，n表示用户j对项目n的评分，

表示用户i的平均评分，

表示用户j的平均评分。Θ_ij表示用户i、j都有评分的项目的集合。

要计算某用户i与专家用户j的相似度，把相应值带入上述公式即可。

5、上下文无关评分推荐模块

上下文无关评分推荐模块214为不结合用户背景知识和用户历史行为的推荐。只根据用户当前的行为产生相关推荐结果。例如，为用户的本次浏览或购买产品进行相关产品的推荐；用户进行搜索时，给出相似产品的推荐。该模块主要需要用到关联产品结果集、相似产品结果集、基于内容过滤的技术和用户评分。用户对项目好坏评分在一定程度上可用于，对为用户当前行为提供的相关和相似产品的推荐结果集进行项目的排序。

6、对外接口服务层模块

本系统为了提高系统的灵活性，采用对外接口服务层模块210实现对外的接口服务。如图5所示，调用采用网络服务(Web service)方式为外接访问提供接口，首先由外部动作(action)调用502，再进行后台服务器处理504，最后将返回一致采用JSON数据格式的数据结果集506。本系统为用户提供两种推荐方式，一种是基于领域专家的推荐，一种是上下文无关推荐。网站服务可以根据不同时间场合的需要，调用不同的接口，获取不同的推荐结果集。

Action调用相关接口如表1所示：

注：参数列中斜体部分表示可以分解成多个参数。ItemID：项目ID；UserID：用户ID。

表格1

JSON返回结果相关接口：

 {

Code：                //错误代码，如果没有错误，该项为0。

Error：               //错误描述，Code等于0时为空

UserID：              //用户ID

Recommendations：{}        //推荐结果集，结果为JSON数组

Explain：             //推荐原由

}

7、数据写入模块

数据写入模块212用于将项目数据、用户数据、用户行为历史数据从对外接口服务层模块210写入到分布式数据库模块202中。

综上所述，本发明具有以下优点：

1、建立项目类别树，基于领域专家用户的推荐，能够满足用于好奇心，提高推荐结果满意度。

2、解决数据稀疏性、噪声评分问题。一般的用户评分，可能有意或无意，产生各种干扰评分。专家用户提供了一定的权威性，并且得到的用户项目矩阵也比一般用户项目矩阵稠密很多。

3、有效的解决冷启动问题。

4、具有比较好的可扩展性。直接使用基于用户的协同过滤算法，当用户量特别大的时候，存储量和计算量都会呈现级数增长，不具备好的扩展性。而采用专家用户的协同过滤，用户量的增大，并不会导致专家用户群的快速增大，所以具有好的扩展性。

5、灵活性好。基于专家用户的推荐也有其自身缺点，而上下文无关推荐能够很好克服专家推荐的不足。服务网站可以根据用户在线的不同操作行为，调用不同接口为用户提供灵活的推荐服务。

本发明是根据特定实施例进行描述的，但本领域的技术人员应明白在不脱离本发明范围时，可进行各种变化和等同替换。此外，为适应本发明技术的特定场合或材料，可对本发明进行诸多修改而不脱离其保护范围。因此，本发明并不限于在此公开的特定实施例，而包括所有落入到权利要求保护范围的实施例。

Claims (10)

1.一种基于领域专家的推荐系统，其特征在于，包括：

分布式数据库模块，用于保存项目数据、用户数据和用户行为历史数据；

数据挖掘模块，用于根据所述项目数据、用户数据和用户行为历史数据挖掘用户对项目好坏评分、用户感兴趣和潜在兴趣的领域以及专家用户数据；

挖掘结果数据库模块，用于保存所述用户对项目好坏评分、用户感兴趣和潜在兴趣的领域以及专家用户数据；

基于领域评分推荐模块，用于获取用户对项目好坏评分、用户感兴趣和潜在兴趣的领域以及专家用户数据，计算获取临近专家列表，产生临近专家推荐结果集；

对外接口服务层模块，采用网络服务方式为外接访问提供接口，接收用户输入的数据以及将临近专家推荐结果集返回给用户；

数据写入模块，用于将用户输入的项目数据、用户数据和用户行为历史数据写入分布式数据库模块。

2.根据权利要求1所述的基于领域专家的推荐系统，其特征在于，所述推荐系统还包括上下文无关评分推荐模块；

所述数据挖掘模块还根据所述项目数据、用户数据和用户行为历史数据挖掘相似项目结果集和关联项目结果集；

所述上下文无关评分推荐模块用于基于相似项目结果集、关联项目结果集，采用基于内容过滤的方法为用户当前行为提供相关和相似产品的推荐结果集；

所述对外接口服务层模块还根据不同时间场合的需要，选择调用接口，从而将临近专家推荐结果集或者相关和相似产品的推荐结果集返回给用户。

3.根据权利要求1或2所述的基于领域专家的推荐系统，其特征在于，所述数据挖掘模块通过用户行为历史数据中用户直接标注的感兴趣领域确定用户感兴趣的领域，根据用户行为历史数据中用户的位置、性别、身份、职业和受教育情况，用户搜索时关键字，以及用户点击、查看和购买项目记录进行综合统计分析及语义分析处理得用户潜在兴趣的领域。

4.根据权利要求1或2所述的基于领域专家的推荐系统，其特征在于，所述数据挖掘模块根据所述用户行为历史数据计算所有用户在各领域内的参与度、影响力和评分偏差，筛选出高于预设的参与度、影响力和评分偏差的用户为专家用户，保存为该领域的专家用户数据。

5.根据权利要求4所述的基于领域专家的推荐系统，其特征在于，所述数据挖掘模块还综合用户设置或导入的专家用户资料，保存为专家用户数据。

6.根据权利要求1或2所述的基于领域专家的推荐系统，其特征在于，所述基于领域评分推荐模块，在用户感兴趣和潜在兴趣的领域内，利用用户对项目好坏评分数据采用皮尔逊相关性来计算用户与专家用户的评分相似度，获取临近专家列表。

7.根据权利要求2所述的基于领域专家的推荐系统，其特征在于，所述数据挖掘模块采用余弦相似性、修正的余弦相似性和皮尔逊相关性计算项目相似度，产生相似项目结果集。

8.根据权利要求2所述的基于领域专家的推荐系统，其特征在于，所述数据挖掘模块采用增量式挖掘方法，计算所有关联项目对出现的次数，找出出现次数最多的预设数量对，作为关联项目结果集。

9.根据权利要求2所述的基于领域专家的推荐系统，其特征在于，所述分布式数据库模块按照相关领域自然分类，以项目类别树的方式将各个项目数据作为节点存储。

10.根据权利要求2所述的基于领域专家的推荐系统，其特征在于，所述上下文无关评分推荐模块还基于用户对项目好坏评分，对为用户当前行为提供的相关和相似产品的推荐结果集进行项目的排序。

Images