CN106157156A - 一种基于用户社区的协作推荐系统 - Google Patents

Abstract

本发明公开了一种基于用户社区的协作推荐系统，包括数据引擎模块、特征提取模块、社区识别模块、协同推荐模块和增量更新模块；通过各个模块的协同工作，提取出用户数据中隐藏的社区特性，来大幅减少系统时间开销，提高整个系统推荐结果的准确性和个性化，具有很高的通用性，适用于现有的大多数推荐场景。

Description

一种基于用户社区的协作推荐系统

技术领域

本发明属于推荐系统技术领域，更为具体地讲，涉及一种基于用户社区的协作推荐系统。

背景技术

伴随信息技术特别是网络技术的发展和互联网的普及，信息系统的规模越来越大，产生的数据量也愈来愈多，巨大的信息量虽然满足了用户在信息时代对信息的需求，但海量的数据也使得用户无法在信息的海洋中准确、高效的获取自己渴求的数据信息，对信息的使用效率不升反降，这就是信息过载问题。推荐系统就是用来缓解信息过载问题的有效途径，它既解决了用户在寻找资源困难的问题，也同时在解决问题的过程中带来了巨大的经济效益，它广泛应用在电子商务、在线社交、在线音乐、在线影视、在线图书等多个领域，依据用户的信息需求、兴趣等，将用户感兴趣的信息、物品等推荐给用户。

协同过滤推荐，它是推荐系统中一种常用的推荐方法，通过计算物品/用户之间的相似度，并根据物品/用户的相似度和用户的历史行为生成推荐结果列表。但是在用户数据和物品数据规模不断扩大的今天，该方法计算目标用户的相似兴趣邻居用户集时，时间复杂度增大，准确性降低，系统的扩展性和推荐质量也不断下降。在此背景下，基于个性化信息核的智能推荐服务技术应运而生，并迅速得到发展，应用该技术，能够在分析用户数据的基础上获得一段时间内稳定的用户社区特性，根据用户社区以及对应感兴趣的物品集合组成的信息核推荐符合用户兴趣偏好的资源和物品，通过这样的算法，可明显的减轻系统负担，减少时间开销，提高推荐结果的准确性，为用户发掘更准确的资源和物品，提高推荐系统的吸引力和生命力，维护用户对系统的忠诚度。

综上，当前的推荐系统主要追求的是在考虑时间开销和资源开销的条件下尽可能的提高推荐结果的准确性和个性化。常用的推荐算法有基于协同过滤的推荐算法(CF)和基于全局排序的推荐算法(GRM)，但是它们的缺点也是明显的，CF算法虽然同时考虑了准确性和个性化的因素，但是由于它对于用户/ 物品相似度的重复计算量太大，往往会造成很大的资源开销，而GRM算法的时间复杂度低，但是由于只是对全局商品的一个热点排序，也就是大家熟知的排行榜算法，因此缺少了针对具体用户的个新化考虑，因此准确性欠佳。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于用户社区的协作推荐系统，通过抓住用户数据中隐藏的社区特性，来大幅减少系统时间开销，提高整个系统推荐结果的准确性和个性化，具有很高的通用性，适用于现有的大多数推荐场景。

为实现上述发明目的，本发明为一种基于用户社区的协作推荐系统，其特征在于，包括：

一数据引擎模块，用于从数据库中提取所有用户-物品数据，再利用用户-物品数据构建用户-物品关系数据表，且将该表存储到数据库；

其中，用户-物品关系数据表中的每一行代表一位用户的数据信息，每一列代表一件物品的数据信息，表内每项数据值的大小，代表了对应用户和物品关系的紧密程度；

一特征提取模块，从数据库中提取用户-物品关系数据表，构建用户-物品关系矩阵，采用SVD算法对用户-物品关系矩阵进行矩阵分解操作，得到用户特征数据表U、奇异值矩阵表S和物品特征数据表V，再将对应数据表存入数据库中；

其中，U中的每一行代表一位用户，每一列代表不同的用户特征；S中存放的是用户-物品关系矩阵的奇异值数据；V中的每一行代表一件物品，每一列代表不同的物品特征；

一社区识别模块，从数据库中提取用户特征数据表U，根据用户特征数据表U，利用Fuzzy c-means算法对用户进行重叠社区识别，得到每位用户对于每个社区的隶属度，进而构建相应的用户-社区数据表，并存入到数据库；

其中，用户-社区数据表的每一行代表一个用户，每一列代表一个社区，表中的每一项数值代表该用户对于该社区的隶属度，且每一行所有数值和为1；

一协同推荐模块，据数据库中的用户-社区数据表，以及预存的用户购买记录表，筛选出符合条件的核心用户，进而构建每个社区的社区推荐信息核， 针对具体某一用户，采取其隶属度最高的3个社区的社区推荐信息核，并执行推荐算法，预测相应用户的推荐列表并发送给用户；

一增量更新模块，收集在线系统在时间T内产生的及时用户数据，并判断这些及时用户数据的类型，如果产生该及时用户数据的用户是系统中早已存在的用户时，采用Complete Incremental Learning SVD算法来更新用户的特征数据，再进入到社区识别模块；否则采用Folding-in SVD算法提取该及时用户数据的用户特征数据，再进入到社区识别模块。

本发明的发明目的是这样实现的：

本发明基于用户社区的协作推荐系统，包括数据引擎模块、特征提取模块、社区识别模块、协同推荐模块和增量更新模块；通过各个模块的协同工作，提取出用户数据中隐藏的社区特性，来大幅减少系统时间开销，提高整个系统推荐结果的准确性和个性化，具有很高的通用性，适用于现有的大多数推荐场景。

同时，本发明基于用户社区的协作推荐系统还具有以下有益效果：

(1)、针对大多数推荐系统面临的数据稀疏性问题，本系统通过引入上下文感知技术主动获取用户与系统交互行为数据，使得获取的用户交互数据量大幅增加，推荐系统可以实时获取用户的当前情况，进而使得推荐服务能够动态反映用户需求的变化情况；

(2)、本发明不仅降低用户获取信息的复杂度，而且提高了用户获取信息的速度和准确度，个性化的推荐方式也同时满足了用户的个性需求，提高了系统的竞争力和吸引力，培养了用户的忠诚度；

(3)、本发明对用户的负担小，由于本系统收集和采用了用户的隐式反馈数据，不需要增加用户对系统的显式操作，可以从有限的反馈信息中挖掘出关系数据信息，提高系统效率，减轻用户负担；

(4)、本发明采用了用户社区的多样化学习，使得推荐结果更符合现实用户的行为方式和习惯，进而推荐结果的精确度提高，同时推荐结果也具有很好的可解释性；

(5)本发明方法具有通用性，可用于网络电视节目的推荐、电子商务网站购物推荐、在线音乐推荐等多种推荐情景。

附图说明

图1是本发明基于用户社区的协作推荐系统原理图；

图2是本发明基于用户社区的协作推荐系统流程图；

图3是SVD算法提取用户特征矩阵的原理示意图；

图4是Folding-in SVD算法进行增量计算的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于用户社区的协作推荐系统原理图。

在本实施例中，如图1所示，本发明一种基于用户社区的协作推荐系统，包括：数据引擎模块、特征提取模块、社区识别模块、协同推荐模块和增量更新模块；

下面结合图2对协作推荐系统中各子模块的工作流程进行如下详细说明。

数据引擎模块，从数据库中提取所有用户-物品数据，这里是将影响推荐结果准确性的所有用户-物品数据均考虑在内，这样减小了构建用户-物品关系数据表的稀疏度，再通过推荐工程师调节相关的参数权重配置，利用用户-物品数据构建用户-物品关系数据表，并将该表存储到数据库；

其中，用户-物品关系数据表的中每一行代表一位用户的数据信息，每一列代表一件物品的数据信息，表内每项数据值的大小，代表了对应用户和物品关系的紧密程度；

特征提取模块，从数据库中提取用户-物品关系数据表，构建用户-物品关系矩阵，采用SVD算法对用户-物品关系矩阵进行矩阵分解操作，得到用户特征数据表U、奇异值矩阵表S和物品特征数据表V，再将这三张数据表存入数据库；这样将高维原始数据压缩到低维数据上进行计算，减少系统开销，同时对数据的稀疏度得到了进一步的处理，同时也提高了社区识别的准确度。

其中，U的每一行代表每位用户，每一列代表不同的用户特征维度；S中存储的是用户-物品关系矩阵的奇异值数据；V的每一行代表一件物品，每一列 代表不同的物品特征维度；

在本实施例中，SVD分解的原理如图3所示，对于任意用户-物品关系矩阵

可以近似分解成三个矩阵的乘积；

$R=U_{\stackrel{\·}{k}}{S}_{\stackrel{\·}{k}}{V}_{\stackrel{\·}{k}}^T$

其中，和是维的用户特征矩阵和物品特征矩阵，代表的是用户数，代表的是物品数，代表的是推荐工程师设置的用户特征向量的长度。利用和我们可以计算用户的相似度和商品的相似度。该方法有以下两个优点：

(a)降维可以去除数据的部分噪音，得到的相似度更准确；(b)值一般远远小于用户个数和商品个数，因此该方法的效率更高。这样每个用户使用一个低维特征向量数据来表征自己，便于接下来的社区识别的快速实现。

社区识别模块，从数据库中提取用户特征数据表U，根据用户特征数据表U，利用Fuzzy c-means算法对用户进行重叠社区识别，得到每个用户对于每个社区的隶属度，进而构建相应的用户-社区数据表，并存入到数据库；

在用户-社区数据表的每一行代表一个用户，每一列代表一个社区，表中的每一项数值代表该用户属于该社区的隶属度，且每一行所有数值和为1，行向量中值越大代表用户归属于该社区的可能性越高，列向量中的非零数值越多，代表该社区中的用户数越多。

其中，利用Fuzzyc-means算法对用户进行重叠社区识别的具体方法为：

(1.1)、初始化每个社区的中心起始位置1≤j≤K，K为社区总数目；初始化用户-社区数据表W；

(1.2)、计算t次迭代时用户i属于社区j的隶属度其中，1≤i≤N，N为总用户数，1≤t≤T_max，T_max为迭代最大次数；

$w_{ij}^{\left(i\right)}=\frac{1}{{\mathrm{\Σ}}_{k=1}^K{\left(\frac{\left|\right|U_i-c_j^{\left(t\right)}\left|\right|}{\left|\right|U_i-c_k^{\left(t\right)}\left|\right|}\right)}^{\frac{a}{m-1}}}$

其中，U_i表示用户i的特征向量，表示第j个社区在t次迭代时的中心起 始位置，m为模糊指数，a为常数，||*||表示计算相似度；

(1.3)、更新用户-社区数据表：将步骤(1.2)计算的隶属度存入用户—社区数据表W中；

(1.4)、更新每个社区中心

$c_j^{\left(t\right)}=\frac{{\mathrm{\Σ}}_{i=1}^N{\left(w_{ij}^{\left(t\right)}\right)}^m{U}_i}{{\mathrm{\Σ}}_{i=1}^N{\left(w_{ij}^{\left(t\right)}\right)}^m}$

(1.5)、计算相邻两次迭代中隶属度矩阵的相似度||W^(t)-W^(t-1)||，再将该相似度与预设的阈值ε比较，如果||W^(t)-W^(t-1)||＜ε，则迭代结束；否则，t＝t+1，返回步骤(1.2)，进行下一轮迭代。

协同推荐模块，据数据库中的用户—社区数据表，以及预存的用户购买记录表，筛选出符合条件的核心用户，进而构建每个社区的社区推荐信息核，针对具体某一用户，采取其隶属度最高的3个社区的社区推荐信息核，并执行推荐算法，预测相应用户的推荐列表并发送给用户；

首先，协同推荐模块中需要筛选出符合条件的核心用户，其选取标准为：

(2.1)、将本社区内的所有用户按照隶属度进行降序排列；

(2.2)、选出本社区内隶属度排名前L名的用户，本实施例中选取本社区内隶属度排名前30％的用户；

(2.3)、选出社区内隶属度大于阈值alpha的用户，取步骤(3.2)、(3.3)筛选出用户的并集，并将这些用户作为核心用户。

其次，有了核心用户后，通过查找这些核心用户的购买记录，配合用户信息构建出社区推荐信息核。

最后，利用推荐算法产生用户推荐列表，具体步骤为：

(3.1)、读取用户i所在隶属度最高的3个社区的社区推荐信息核；

(3.2)、将社区推荐信息核中记录的购买物品按照以下公式，计算出购买物品的推荐得分；

其中，表示第个物品的最后推荐得分，w_ij表示用户i对社区j的隶属 度，表示第个物品在社区j中的推荐分数；

(3.3)、将所有购买物品按照步骤(3.2)所述方法计算出推荐分数后，将推荐分数降序排列，剔除掉用户i购买过的物品，再选出推荐分数前H＝10名的购买物品，通过这H＝10名购买物品及对应的推荐分数生用户推荐列表。

在本实施例中，常用的推荐参数是：社区数5，用户数50％，40％，30％，20％，20％；推荐分数：10,10,10,5,5等。

收集在线系统在时间T内产生的及时用户数据，并判断这些及时用户数据的类型，如果产生该及时用户数据的用户是系统中早已存在的用户时，采用Complete IncrementalLearning SVD算法来更新用户的特征数据，再进入到社区识别模块；否则采用Folding-inSVD算法提取该及时用户数据的用户特征数据，再进入到社区识别模块。

其中，利用Complete Incremental learning SVD算法更新用户的特征数据的方法为：

(4.1)、定义目标函数：

其中，为目标函数值，代表经过计算机学习后用户对物品的关系预测误差；表示用户对物品的物品关系值；

$U^{*}=U\sqrt[2]{S},V^{*}=\sqrt[2]{S}{V}^T,p(U^{*},V^{*})=U^{*}{V}^{*T};$

其中，U、S、V为特征提取模块提取的用户特征数据、奇异值数据、物品特征数据，V^T是V的转置；k_u、k_m是正则化因子；

(4.2)、设置学习速率μ；利用梯度计算公式对所有的物品关系值计算梯度

(4.3)、利用梯度更新用户的特征向量；

其中，结合图4，利用Folding-in SVD算法抽取新用户的特征数据的方法为：

(5.1)、从数据库中提取出物品特征数据并构建相应的物品特征矩阵V；

(5.2)、将及时用户数据通过数据引擎模块处理为对应的用户—物品关系数据N_u；

(5.3)计算新用户的特征

$\hat{u}=N_u\×V$

(5.4)将新的用户特征数据写入到数据库中的表U。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种基于用户社区的协作推荐系统，其特征在于，包括：

一数据引擎模块，用于从数据库中提取所有用户—物品数据，再利用用户—物品数据构建用户—物品关系数据表，且将该表存储到数据库；

其中，用户—物品关系数据表中的每一行代表一位用户的数据信息，每一列代表一件物品的数据信息，表内每项数据值的大小，代表了对应用户和物品关系的紧密程度；

一特征提取模块，从数据库中提取用户—物品关系数据表，构建用户—物品关系矩阵，采用SVD算法对用户—物品关系矩阵进行矩阵分解操作，得到用户特征数据表U、奇异值矩阵表S和物品品特征数据表V，再将对应数据表存入数据库中；

其中，U中的每一行代表一位用户，每一列代表不同的用户特征；S中存放的是用户—物品关系矩阵的奇异值数据；V中的每一行代表一件物品，每一列代表不同的物品特征；

一社区识别模块，从数据库中提取用户特征数据表U，根据用户特征数据表U，利用Fuzzy c-means算法对用户进行重叠社区识别，得到每位用户对于每个社区的隶属度，进而构建相应的用户—社区数据表，并存入到数据库；

其中，用户—社区数据表的每一行代表一个用户，每一列代表一个社区，表中的每一项数值代表该用户对于该社区的隶属度，且每一行所有数值和为1；

一协同推荐模块，据数据库中的用户—社区数据表，以及预存的用户购买记录表，筛选出符合条件的核心用户，进而构建每个社区的社区推荐信息核，针对具体某一用户，采取其隶属度最高的3个社区的社区推荐信息核，并执行推荐算法，预测相应用户的推荐列表并发送给用户；

一增量更新模块，收集在线系统在时间T内产生的及时用户数据，并判断这些及时用户数据的类型，如果产生该及时用户数据的用户是系统中早已存在的用户时，采用CompleteIncremental Learning SVD算法来更新用户的特征数据，再进入到社区识别模块；否则采用Folding-in SVD算法提取该及时用户数据的用户特征数据，再进入到社区识别模块。

2.根据权利要求1所述的基于用户社区的协作推荐系统，其特征在于，所述的社区识别模块中，利用Fuzzyc-means算法对用户进行重叠社区识别的具体方法为：

(2.1)、初始化每个社区的中心起始位置1≤j≤K，K为社区总数目；初始化用户—社区数据表W；

(2.2)、计算t次迭代时用户i属于社区j的隶属度其中，1≤i≤N，N为总用户数，1≤t≤T_max，T_max为迭代大次数；

$w_{ij}^{\left(t\right)}=\frac{1}{{\mathrm{\Σ}}_{k=1}^K{\left(\frac{\left|\right|U_i-c_j^{\left(t\right)}\left|\right|}{\left|\right|U_i-c_k^{\left(t\right)}\left|\right|}\right)}^{\frac{a}{m-1}}}$

其中，U_i表示用户i的特征向量，表示第j个社区在t次迭代时的中心起始位置，m为模糊指数，a为常数，||*||表示计算相似度；

(2.3)、更新用户—社区数据表：将步骤(2.2)计算的隶属度存入用户—社区数据表W中；

(2.4)、更新每个社区中心

$c_j^{\left(t\right)}=\frac{{\mathrm{\Σ}}_{i=1}^N{\left(w_{ij}^{\left(t\right)}\right)}^m{U}_i}{{\mathrm{\Σ}}_{i=1}^N{\left(w_{ij}^{\left(t\right)}\right)}^m}$

(2.5)、计算相邻两次迭代中隶属度矩阵的相似度||W^(t)-W^(t-1)||，再将该相似度与预设的阈值ε比较，如果||W^(t)-W^(t-1)||＜ε，则迭代结束；否则，t＝t+1，返回步骤(2.2)，进行下一轮迭代。

3.根据权利要求1所述的基于用户社区的协作推荐系统，其特征在于，所述的协同推荐模块中筛选出符合条件的核心用户的选取标准为：

(3.1)、将本社区内的所有用户按照隶属度进行降序排列；

(3.2)、选出本社区内隶属度排名前L名用户；

(3.3)、选出社区内隶属度大于阈值alpha的用户，取步骤(3.2)、(3.3)筛选出用户的并集，并将这些用户作为核心用户。

4.根据权利要求1所述的基于用户社区的协作推荐系统，其特征在于，所述的协同推荐模块中利用推荐算法产生用户推荐列表的方法为：

(4.1)、读取用户i所在隶属度最高的3个社区的社区推荐信息核；

(4.2)、将社区推荐信息核中记录的购买物品按照以下公式，计算出购买物品的推荐得分；

其中，表示第个物品的最后推荐得分，w_ij表示用户i对社区j的隶属度，表示第个物品在社区j中的推荐分数；

(4.3)、将所有购买物品按照步骤(4.2)所述方法计算出推荐分数后，将推荐分数降序排列，剔除掉用户i购买过的物品，再选出推荐分数前H名的购买物品，通过这H名购买物品及对应的推荐分数生用户推荐列表。

5.根据权利要求1所述的基于用户社区的协作推荐系统，其特征在于，所述的CompleteIncremental learning SVD算法更新用户的特征向量的方法为：

(5.1)、定义目标函数：

其中，为目标函数值，代表经过计算机学习后用户对物品的关系预测误差；表示用户对物品的物品关系值；

p(U^*,V^*)＝U^*V^*T；

其中，U、S、V为特征提取模块提取的用户特征数据、奇异值数据、物品特征数据，V^T是V的转置；k_u、k_m是正则化因子；

(5.2)、设置学习速率μ；利用梯度计算公式对所有的物品关系值计算梯度

(5.3)、利用梯度更新用户的特征向量；

6.根据权利要求1所述的基于用户社区的协作推荐系统，其特征在于，所述的Folding-in SVD算法提取及时用户数据的特征数据的方法为：

(6.1)、从数据库中提取出物品特征数据并构建相应的物品特征矩阵V；

(6.2)、将及时用户数据通过数据引擎模块处理为对应的用户—物品关系数据N_u；

(6.3)计算新用户的特征

$\hat{u}=N_u\×V$

(6.4)将新的用户特征数据写入到数据库中的用户特征数据表U。