CN103336831A - 基于块对角矩阵的推荐方法和装置 - Google Patents

Abstract

本发明公开了一种基于块对角矩阵的推荐方法和系统，具体公开了一种基于块对角矩阵的推荐方法，其包括：步骤S1：对用户行为日志进行预处理；步骤S2：将预处理的结果转换为迭代双边块对角矩阵；步骤S3：由所述迭代双边块对角矩阵构建对角块矩阵；以及步骤S4：利用所述对角块矩阵进行评分预测。

Description

基于块对角矩阵的推荐方法和装置

技术领域

本发明涉及网络信息智能处理领域，具体而言，涉及一种基于网络用户浏览、购买行为记录的协同过滤式个性化推荐方法和装置。

背景技术

随着互联网的快速普及和网络基础设施、服务的日益完善，搜索引擎、电子商务、社交网站等网络应用已经深入到互联网用户生活的方方面面。以电子商务网站而言，据中国互联网络信息中心（CNNIC）在2013年的统计报告显示，我国网络购物用户的规模已达到2.42亿人，网络购物应用的使用率达到43%以上。

个性化推荐技术致力于向网络用户自动推荐其最有可能感兴趣的物品或服务。个性化推荐技术的核心在于“个性化”。在购物网站中，不同的用户有不同的偏好和关注的领域，例如有的用户经常购买电子产品，而有的用户则主要关注于化妆品等日用产品。如果向经常购买的电子产品的用户推荐其并不感兴趣的化妆品产品，则往往不能得到用户的采纳，反之亦然。因此，推荐策略必须考虑到用户的个体差异性，根据用户的不同需求给出不同的推荐结果，从而最大化用户采纳该推荐的可能。

协同过滤技术是目前实现个性化推荐的各项技术中应用最为普遍、效果也最为明显的一项技术。实现协同过滤的具体技术手段有多种，而基于用户的协同过滤是其中较为直观和易于理解的一种。基于用户的协同过滤首先通过用户的评分记录来计算每两个用户之间的相似程度，当对一个目标用户进行个性化推荐时，会从全部用户群体中选出与目标用户兴趣相似的用户，进而利用这些用户所喜欢的商品为目标用户提供个性化的商品推荐。一个典型的例子是关联商品推荐，例如当用户在浏览某一个商品时，购物网站往往会提示“购买该商品的用户也喜欢如下这些商品”，这是基于用户的协同过滤技术的一种重要表现形式。除基于用户的协同过滤之外，还有基于物品的协同过滤和基于模型的协同过滤。不管是哪种协同过滤技术，其最重要的特征均为利用整个用户群体的行为信息进行整体的分析和建模，并最终为目标用户给出合理的推荐结果。

然而，目前基于矩阵分解的协同过滤算法在精度和算法效率两方面存在不足。

发明内容

针对目前基于矩阵分解的协同过滤算法的不足，本发明提出了一种基于块对角矩阵的推荐方法和推荐系统来提高预测和推荐的精度与效率。

根据本发明的一个方面，本发明提出了一种基于块对角矩阵的推荐方法，包括：步骤S1：对用户行为日志进行预处理；步骤S2：将预处理的结果转换为迭代双边块对角矩阵；步骤S3：由所述迭代双边块对角矩阵构建对角块矩阵；以及步骤S4：利用所述对角块矩阵进行评分预测。

在上述推荐方法中，所述步骤S1包括：对所述用户行为日志进行编码转换；根据编码转换的结果构建用户物品评分矩阵；以及根据所述用户物品评分矩阵构建对应的用户物品评分二部图。

在上述推荐方法中，所述步骤S2包括：步骤S2.1：将所述用户物品评分矩阵设为当前迭代双边块对角矩阵；步骤S2.2：计算当前迭代双边块对角矩阵的各对角块的平均密度，如果达到或超过预设的最小平均块密度则所述步骤S2结束并返回当前结果，如果未达到所述最小平均块密度则进行到步骤S2.3；步骤S2.3：计算各对角块的面积，按照面积由大到小进行排序，并设定所有对角块的标记为0；步骤S2.4：判断是否还存在标记为0的对角块，如果不存在，则步骤S2结束并返回当前结果；如果存在，则进行到步骤S2.5；步骤S2.5：在标记为0的对角块中选取面积最大的对角块，将其标记改为1，并进行分割以构建两个新对角块；步骤S2.6：检查分割后的所述新对角块的平均密度与分割前相比是否有所提升，如果没有提升，则返回执行步骤S2.4；如果有提升，则进行到步骤S2.7；步骤S2.7：采纳并保留所述步骤S2.5中的分割，并返回执行所述步骤S2.2。

在上述推荐方法中，所述步骤S2.5包括：步骤S2.5.1：构建所述面积最大的对角块的二部图，寻找包含尽可能少的点的点集合，去掉所述点集合以分割所构建的二部图；步骤S2.5.2：在所述分割的基础上，将对角块子矩阵中相应于所述点集合中的行节点的那些行移动到矩阵的下部，同时将对角块子矩阵中相应于所述点集合中的列节点的那些列移动到矩阵的右部；步骤S2.5.3：将子矩阵中剩下的行和列按照所述分割结果中的两个子图所对应的节点排列为所述两个新对角块。

在上述推荐方法中，所述步骤S3包括：对于所述迭代双边块对角矩阵中的每一个对角块，将所述每一个对角块与其下方的边、右方的边以及这些边的交叉部分拼合起来，构建新子矩阵，将所述新子矩阵作为将要转化成为的对角块矩阵中的一个对角块；当所述用户物品评分矩阵中的所述每一个对角块都构建成为一个新子矩阵，并放到目标块对角矩阵的相应位置时，完成目标对角块矩阵的构建。

在上述推荐方法中，所述步骤S4包括：对所述对角块矩阵的每一个对角块进行分解；根据分解结果对所述对角块矩阵中的零块进行预测；将所述用户物品评分矩阵与所述对角块矩阵中重复的子矩阵的预测结果进行平均，作为所述用户物品评分矩阵中相应子矩阵的最终预测结果。

优选地，采用矩阵奇异值分解或非负矩阵分解来对所述对角块矩阵的每一个对角块进行分解。

优选地，对所述对角块矩阵的每一个对角块进行分解使用并行化方法同时进行。

根据本发明的另一方面，本发明提出了一种基于块对角矩阵的推荐装置，包括：预处理模块，对用户行为日志进行预处理；矩阵转换模块，将预处理的结果转换为迭代双边块对角矩阵；矩阵构建模块，由所述迭代双边块对角矩阵构建对角块矩阵；以及评分预测模块，利用所述对角块矩阵进行评分预测。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示例性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了根据本发明实施例的基于块对角矩阵的推荐方法的流程图；

图2示出了根据本发明实施例的典型的用户物品打分矩阵示例；

图3示出了图2中的用户物品打分矩阵所对应的二部图；

图4示出了根据本发明实施例的将预处理的结果转换为迭代双边块对角矩阵的方法的流程图；

图5示出了根据本发明实施例在图3的二部图中进行基于点割集的图分割的示例；

图6A示出了根据本发明实施例构建的迭代双边块对角矩阵的示例；

图6B示出了利用图6A中的结果拼合构建得到的对角块矩阵；

以及

图7示出了根据本发明实施例的基于块对角矩阵的推荐装置的示意图。

具体实施方式

下面将结合附图对本发明的实施例进行详细描述，应当注意，实施例是示例性的而非限制性的。

图1示出了根据本发明实施例的基于块对角矩阵的推荐方法的流程图。如图1所示，基于块对角矩阵的推荐方法包括如下步骤：

步骤S1：对用户行为日志进行预处理；

步骤S2：将预处理的结果转换为迭代双边块对角矩阵；

步骤S3：由迭代双边块对角矩阵构建对角块矩阵；以及

步骤S4：利用对角块矩阵进行评分预测。

以下分别对图1中的4个步骤进行进一步地详细描述。

（一）步骤S1

评分预测和个性化推荐所依据的数据集合是购物网站、社交网站等网络应用的用户行为日志，即用户在网站中的交互行为。用户行为日志一般包括显式用户反馈和隐式用户反馈两种。显式用户反馈记录了用户在网站中明确可见的评分、评论等数据，而隐式用户反馈日志则记录用户在浏览过程中所产生的其它用户不可见的信息，如用户浏览、收藏、购买等行为记录。对于某个网站的用户行为日志而言，它至少应包括如下内容才能用于评分预测和个性化推荐。

表1供评分预测和个性化推荐的用户行为日志所应包含的内容

一般网络购物、搜索引擎、社交网站等网络应用提供商都可以很容易的通过网络服务器得到以上信息，从而保证了本方法的可行性。

步骤S1具体包括：

步骤S1.1：进行用户日志编码转换，将服务器记录的编码格式转换成国家标准汉字编码的GBK格式，并将用户名和商品名数字化，转化为UserID和ItemID；

步骤S1.2：利用表1中列出的内容项对用户日志进行整理，去除表1内容项之外的信息，并将结果构建为用户物品的评分矩阵X。如图2所示，该评分矩阵的每一行对应一个用户i，每一列对应一个商品j，该评分矩阵中的每一个非零值X_ij表示用户i在商品j上的显式或隐式评分，而每一个零值则表示对应的用户没有在对应的商品上评分；

步骤S1.3：为步骤S1.2中所构建的用户物品评分矩阵X构建对应的用户物品评分二部图G。构建方法为将矩阵的每一行i映射为一个用户节点R_i，每一列j映射为一个物品节点C_j，如果矩阵中某用户i对某物品j评了分，则将对应的用户节点R_i和物品节点C_j用一条无向边相连接，最终构建了用户到物品的二部图G，如图3所示。在图3中，左边的每一个R节点对应于矩阵中的一行（Row），右边的每一个C节点对应于矩阵中的一列（Column）。矩阵中每一条由R节点连向C节点的边表示矩阵中所对应的非零值。用户物品评分二部图是用户物品评分矩阵的等价表示。

经过数据预处理过程，可以得到用户物品评分矩阵X和二部图G，接下来利用这两种结构来实现对用户评分矩阵的预测。

（二）步骤S2

用户评分矩阵X的迭代双边块对角化是利用在其对应的二部图G上进行图分割的结果实现的，该过程需要以“最小平均块密度ρ”为参数进行控制，该参数为算法执行前预先指定的参数，它应当是小于1而大于用户评分矩阵X的密度的实数，其中矩阵密度定义为该矩阵所包含的非零值的个数除以其面积（即矩阵的行数乘以列数的值）。图4中示出了步骤S2的具体流程图，步骤S2具体包括如下子步骤：

步骤S2.1：将用户评分矩阵X设为当前的迭代双边块对角矩阵，可以将用户评分矩阵X看做是只包含一个对角块的对角矩阵。

步骤S2.2：对于当前的迭代双边块对角矩阵Y（初始即为用户评分矩阵X），计算其各个对角块D₁、D₂、…、D_k的平均密度（亦即它们的非零值个数之和除以它们的面积之和），如果其平均密度已经达到或超过了“最小平均块密度ρ”（在这里，最小平均块密度ρ是小于1且大于用户评分矩阵X的密度的实数），则步骤S2结束并返回当前的迭代双边块对角矩阵作为最终结果；如果尚未达到该密度，则进行到步骤S2.3。

步骤S2.3：对于当前矩阵中的各个对角块子矩阵D_i，计算每一个对角块的面积，按照面积由大到小的顺序进行排序，并设定所有对角块的标记为0。假设当前矩阵中共有k个对角块，排序后的对角块表示为D_s1、D_s2、…、D_sk。

步骤S2.4：判断是否还存在标记为0的对角块，如果不存在，则步骤S2结束并返回当前的迭代双边块对角矩阵作为最终结果；如果存在，则进行到步骤S2.5。

步骤S2.5：在标记为0的对角块中选取面积最大的对角块D_si，将其标记改为1，进行分割以构建两个新对角块。步骤S2.5具体包括如下步骤：

步骤S2.5.1：对于所选取的面积最大的对角块D_si，构建其对应的二部图G_i，进而对G_i执行基于点割集的图分割。图分割的目标为在图中寻找一个包含尽可能少的点的点集合，去掉这些点以及与这些点相关联的边，使得该图剩下的部分被分割为两个独立的连通分支。如图5中的示例，去掉一个点集合V_s，可以将整个二分图分为两个子图，分别记为V₁和V₂。图分割问题为图论研究中的经典问题，借助一些现有的软件包（如METIS）可以很容易地完成这一目标。

步骤S2.5.2：在该图分割的基础上，将对角块子矩阵中相应于V_s中的行节点的那些行移动到矩阵的下部，同时将对角块子矩阵中相应于V_s中的列节点的那些列移动到矩阵的右部。

步骤S2.5.3：将子矩阵中剩下的行和列按照图分割结果中的两个子图所对应的节点排列为两个新的对角块矩阵。

步骤S2.6：检查分割后的新的平均密度与分割前相比是否有所提升，如果没有提升，则返回执行步骤S2.4,；如果有提升，则进行到步骤S2.7。

步骤S2.7：采纳并保留步骤S2.5中的分割，并返回执行步骤S2.2。

递归执行步骤S2中的各个子步骤，直到得到最终结果。

（三）步骤S3

对于步骤S2中所构建的迭代双边块对角矩阵Y，将其转化为一个对角块矩阵Y’，使得原矩阵中的每一个对角块对应于新矩阵中一个新的对角块，其构建方法如图6所示：

对于原来的迭代双边块对角矩阵中的每一个对角块D_i，将其与其下方的边、右方的边以及这些边的交叉部分拼合起来，构建一个新的子矩阵D_i’，作为将要转化成为的那个对角块矩阵中的一个对角块。当原矩阵X中的每一个对角块D_i都构建成为一个新的子矩阵D_i’，并放到目标块对角矩阵的相应位置时，目标对角块矩阵X’构建完成。

以图6为例，相应的构建方法为：对于图6A的原矩阵中的每一个对角块（D₁₁、D₁₂和D₂），这里以D₁₁为例，提取它下方的矩阵块（R₁₁和R₁ ¹）、它右方的矩阵块（C₁₁和C₁ ¹）以及这些矩阵块的交叉子块（B₁、R₁ ³、C₁ ³和B），拼合成为一个矩阵，成为新矩阵中的一个对角块（如图6B的矩阵中的第一个对角块）；同样，使用相同的方法将D₁₂和D₂构建成为图6A的矩阵中的第二个和第三个对角块。

（四）步骤S4

当新的块对角矩阵Y’构建完成之后，利用这个新矩阵上的矩阵分解结果来对原矩阵X进行评分预测，具体为如下步骤：

步骤S4.1：使用现有的矩阵分解方法（如最常用的矩阵奇异值分解SVD或非负矩阵分解NMF等方法），对新矩阵Y’的每一个对角块D_i’进行分解，假设分解结果为U_iV_i。由于新矩阵Y’中的每一个对角块矩阵互不相关，该步骤可以使用并行化方法同时进行；

步骤S4.2：利用如上的分解结果对Y’中的零块进行预测，预测方法为对于Y’中的某一个零块Y_ij’，其预测矩阵为U_iV_j；

步骤S4.3：原矩阵X中的一些子矩阵在新矩阵Y’中被重复了多次（例如图6B中的矩阵块B₁被重复了两次，而矩阵块B被重复了三次），将这些重复的子矩阵的预测结果进行平均，作为原矩阵X中相应子矩阵的最终预测结果。

完成以上各步骤后，就得到了对原始矩阵X的最终的评分预测，该预测矩阵将被用于协同过滤式的个性化推荐。

一般而言，对于某一个用户构建其个性化推荐列表的方法为，将其之前未打过分的物品（也就是该用户在矩阵中所对应的那一行中值为零的那些物品），按照预测分值由高到低进行排列，并取该列表的前N项（N的经典取值为3或5），作为对于该用户的个性化推荐列表。

以图2中的第一个用户（矩阵中的第一行）为例，假设按照如上所述S1-S4这四个步骤顺序执行最终得到的评分预测矩阵的第一行是：

[2.4 3.4 4.2 2.7 3.2 1.3 2.9 4.7 X 2.1 X]

其中X是用户打过分的商品，那么对该用户而言，其得到的推荐列表将会是{商品8，商品3，商品2}，因为这是用户未打过分的商品中预测打分最高的三个。

图7示出了根据本发明实施例的基于块对角矩阵的推荐装置的示意图。如图7所示，推荐装置700包括预处理模块701、矩阵转换模块702、矩阵构建模块703和评分预测模块704构成。

预处理模块701用于对用户行为日志进行预处理，矩阵转换模块702用于将预处理的结果转换为迭代双边块对角矩阵，矩阵构建模块703用于由所述迭代双边块对角矩阵构建对角块矩阵，以及评分预测模块704用于利用所述对角块矩阵进行评分预测。推荐装置700可以由硬件、软件或固件的形式来实现，其中的四个模块分别用于执行上文中所述的基于块对角矩阵的推荐方法的各个方法步骤。

为了验证本发明的有效性和可靠性，我们进行了评分预测的相关实验。

在运行效率方面，我们将该方法应用在目前规模最大的Yahoo！Music数据集上进行评测，程序运行硬件环境为8核3.1G主频CPU、64G内存。由于实验环境包含8个核，我们通过调整算法中的“最小平均块密度ρ”这个指标，将对应的原始评分矩阵调整为含有8个对角块的迭代双边块对角结构Y，并从中构建出含有8个对角块的对角阵Y’，进而使用8个线程并行地对这8个对角块进行分解，最终使用如上步骤4中的方法实现对整个原始矩阵的评分预测，当使用SVD算法作为具体的矩阵分解算法应用于该发明的框架时，如上过程所消耗的时间为1.21小时，而在原始矩阵上直接运行SVD算法所需要的时间为6.22小时，亦即使用该发明的方法使算法效率提高了5.14倍；同样，当使用NMF算法作为矩阵分解的基本算法时，在本发明的框架下，算法运行时间为1.05小时，而直接在原始矩阵上运行NMF算法时间为4.87小时，算法效率提高了4.64倍。

在预测精度方面，我们以“根均方差（RMSE）”这一协同过滤预测的常用指标来评测基于块对角阵的协同过滤的预测精度，并将其与传统的、基于整体矩阵的协同过滤预测做比较。测试结果表明，将该发明应用于SVD、NMF、PMF和MMMF这四种常见的矩阵分解算法时，在被测的四个数据集上预测精度都有明显的提升，在最常用的MovieLens-100K数据集上，预测精度提升可以达到0.01以上（对应的评分数值区间为1～5）；在目前学术界和产业界规模最大的Yahoo!Music数据集上，预测精度的提升可以达到0.2以上（对应的评分数值区间为1～100），其提升幅度均高于目前世界领先的方法。具体而言，该发明应用于如上四种矩阵分解方法上时，在四个不同的测试集上的预测精度如下表所示，其中的SVD、NMF、PMF和MMMF是被选做用于该发明框架中进行测试的算法，而MovieLens-100K、MovieLens-1M、DianPing和Yahoo!Music是被选择用来测试的标准数据集。Baseline表示在不使用我们的发明的情况下，直接在对应的数据集下使用对应的算法所得到的预测精度，而LMF表示在我们的发明的框架下进行评分预测的预测精度。

表2四个不同的测试集上的预测精度

实验结果表明，本发明几乎在每个数据集和算法下，都能使算法的预测精度得到相应的提升；特别地，在DianPing和Yahoo!Music等数据集下，预测精度的提升可以达到0.01和0.2以上，对协同过滤式推荐算法的预测精度有明显的提升作用。

本发明设计了基于矩阵的块对角形式的协同过滤算法框架，可以很容易地将目前学术界和产业界常用的奇异值分解等矩阵分解算法融入到该框架中，一方面可以利用并行化策略大大提高矩阵分解算法的运行效率，另一方面也可以提高协同过滤式预测算法的预测精度，从而达到又快又好的效果。在四个基本算法和四个常用测试集上的实验结果均表明了该发明的有效性、稳定性和可靠性，具有很好的应用前景。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种基于块对角矩阵的推荐方法，包括：

步骤S1：对用户行为日志进行预处理；

步骤S2：将预处理的结果转换为迭代双边块对角矩阵；

步骤S3：由所述迭代双边块对角矩阵构建对角块矩阵；以及

步骤S4：利用所述对角块矩阵进行评分预测。

2.根据权利要求1所述的方法，其中所述步骤S1包括：

对所述用户行为日志进行编码转换；

根据编码转换的结果构建用户物品评分矩阵；以及

根据所述用户物品评分矩阵构建对应的用户物品评分二部图。

3.根据权利要求2所述的方法，其中所述步骤S2包括：

步骤S2.1：将所述用户物品评分矩阵设为当前迭代双边块对角矩阵；

步骤S2.2：计算当前迭代双边块对角矩阵的各对角块的平均密度，如果达到或超过预设的最小平均块密度则所述步骤S2结束并返回当前结果，如果未达到所述最小平均块密度则进行到步骤S2.3；

步骤S2.3：计算各对角块的面积，按照面积由大到小进行排序，并设定所有对角块的标记为0；

步骤S2.4：判断是否还存在标记为0的对角块，如果不存在，则步骤S2结束并返回当前结果；如果存在，则进行到步骤S2.5；

步骤S2.5：在标记为0的对角块中选取面积最大的对角块，将其标记改为1，并进行分割以构建两个新对角块；

步骤S2.6：检查分割后的所述新对角块的平均密度与分割前相比是否有所提升，如果没有提升，则返回执行步骤S2.4；如果有提升，则进行到步骤S2.7；

步骤S2.7：采纳并保留所述步骤S2.5中的分割，并返回执行所述步骤S2.2。

4.根据权利要求3所述的方法，其中所述步骤S2.5包括：

步骤S2.5.1：构建所述面积最大的对角块的二部图，寻找包含尽可能少的点的点集合，去掉所述点集合以分割所构建的二部图；

步骤S2.5.2：在所述分割的基础上，将对角块子矩阵中相应于所述点集合中的行节点的那些行移动到矩阵的下部，同时将对角块子矩阵中相应于所述点集合中的列节点的那些列移动到矩阵的右部；

步骤S2.5.3：将子矩阵中剩下的行和列按照所述分割结果中的两个子图所对应的节点排列为所述两个新对角块。

5.根据权利要求2所述的方法，其中所述步骤S3包括：

对于所述迭代双边块对角矩阵中的每一个对角块，将所述每一个对角块与其下方的边、右方的边以及这些边的交叉部分拼合起来，构建新子矩阵，将所述新子矩阵作为将要转化成为的对角块矩阵中的一个对角块；

当所述用户物品评分矩阵中的所述每一个对角块都构建成为一个新子矩阵，并放到目标块对角矩阵的相应位置时，完成目标对角块矩阵的构建。

6.根据权利要求2所述的方法，其中所述步骤S4包括：

对所述对角块矩阵的每一个对角块进行分解；

根据分解结果对所述对角块矩阵中的零块进行预测；

将所述用户物品评分矩阵与所述对角块矩阵中重复的子矩阵的预测结果进行平均，作为所述用户物品评分矩阵中相应子矩阵的最终预测结果。

7.根据权利要求6所述的方法，其中采用矩阵奇异值分解或非负矩阵分解来对所述对角块矩阵的每一个对角块进行分解。

8.根据权利要求6所述的方法，其中对所述对角块矩阵的每一个对角块进行分解使用并行化方法同时进行。

9.一种基于块对角矩阵的推荐装置，包括：

预处理模块，对用户行为日志进行预处理；

矩阵转换模块，将预处理的结果转换为迭代双边块对角矩阵；

矩阵构建模块，由所述迭代双边块对角矩阵构建对角块矩阵；以及

评分预测模块，利用所述对角块矩阵进行评分预测。

Images