CN111339435A - 一种基于潜在因子的矩阵分解补全混合推荐方法 - Google Patents

一种基于潜在因子的矩阵分解补全混合推荐方法 Download PDF

Info

Publication number
CN111339435A
CN111339435A CN202010084941.3A CN202010084941A CN111339435A CN 111339435 A CN111339435 A CN 111339435A CN 202010084941 A CN202010084941 A CN 202010084941A CN 111339435 A CN111339435 A CN 111339435A
Authority
CN
China
Prior art keywords
matrix
user
prediction
item
scoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010084941.3A
Other languages
English (en)
Other versions
CN111339435B (zh
Inventor
孙知信
杨宏胜
孙翌博
陈松乐
宫婧
赵学健
胡冰
孙哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010084941.3A priority Critical patent/CN111339435B/zh
Publication of CN111339435A publication Critical patent/CN111339435A/zh
Application granted granted Critical
Publication of CN111339435B publication Critical patent/CN111339435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13—Differential equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)

Abstract

本发明公开了一种基于潜在因子的矩阵分解补全混合推荐方法，包括步骤1：构建用户物品评分矩阵、用户潜在因子矩阵和物品潜在因子矩阵；步骤2：计算得到用户之间的相似度和物品之间的相似度；步骤3：将用户物品评分矩阵进行矩阵分解，通过对分解矩阵进行迭代计算得到用户对物品的预测评分，并得到对应的预测评估指标的状态值：步骤4：将用户物品评分矩阵进行矩阵补全得到预测评分矩阵和对应的预测评估指标的状态值：步骤5：加权得到预测评分矩阵和其对应的预测评估指标的状态值；步骤6：根据得到的各预测评分矩阵及各自对应的预测评估指标的状态值，得到最终的预测推荐矩阵；根据预测推荐矩阵，完成向用户推荐物品。

Description

一种基于潜在因子的矩阵分解补全混合推荐方法
技术领域
本发明属于计算机技术领域，具体涉及一种基于潜在因子的矩阵分解补全混合推荐方法。
背景技术
互联网和智能移动设备的发展让我们的生活变得更加便利。通过各种网络系统，人们逐渐习惯于在网上浏览新闻、看电影、购物、社交等等。与此同时，人们的行为习惯也暴露于这些网站之中，爆炸式的信息让人们很难快速准确的在网络上检索到他们感兴趣的内容。随着推荐引擎与推荐算法的发展，用户获取自己信息的方式从简单的关键字查询，到目标明确的个性化搜索，基于这种情况推出的信息推荐系统，能够根据用户在网络上的行为，向用户推荐其有可能感兴趣的内容，例如亚马逊，推特，淘宝等。高效率的推荐算法和实施方案在市场盈利中占据很大比例。
推荐系统是一种根据用户的历史行为及喜好信息中为目标用户推荐产品的应用，广泛地应用于电子商务、视频音乐门户网站等多个邻域。目前依然存在数据稀疏性、冷启动、系统预测准确率不理想等问题。特别是随着用户数以及物品数的快速增加，基于单机的传统推荐算法遇到扩展性较差的瓶颈，难以满足当今的商业需求，而结合分布式计算平台的并行化实现为解决这个问题提供了新的思路。
协同过滤推荐算法由于其简单易于实现、跨领域等优点，已成为个性化推荐系统中应用最成功的推荐技术之一。由于大数据时代数据量庞大，传统协同过滤推荐方法已无法满足用户需求。
发明内容
本发明目的：针对上述现有技术存在的问题和不足，本发明提出了一种基于潜在因子的矩阵分解补全混合推荐方法，用于缓解推荐方法中常见的冷启动与稀疏性等问题，本发明采用加权的方式，有效的结合了矩阵分解补全与潜在因子的影响，同时充分考虑全局和局部信息对用户评分的影响，不仅降低了计算时间复杂度同时有更好的准确性。
技术方案：一种基于潜在因子的矩阵分解补全混合推荐方法，包括以下步骤：
步骤1：获取用户物品信息数据集，构建用户物品评分矩阵、用户潜在因子矩阵和物品潜在因子矩阵；所述用户物品信息数据集中包括用户的特征信息、物品的特征信息和与用户相关的物品集合信息；所述用户物品评分矩阵由用户物品信息数据集中每个用户以及其对物品的评分构成；所述用户潜在因子矩阵是由用户特征信息组成的特征矩阵；所述物品潜在因子矩阵是由物品特征信息组成的特征矩阵；
步骤2：基于用户物品评分矩阵、用户潜在因子矩阵和物品潜在因子矩阵，计算得到用户之间的相似度和物品之间的相似度，以某个用户或物品的最相似的k个用户或物品作为其邻居，根据用户之间的相似度得到用户邻居信息，根据物品之间的相似度得到物品邻居信息；
步骤3：基于用户潜在因子矩阵和物品潜在因子矩阵，对用户物品评分矩阵进行矩阵分解，根据分解矩阵定义目标函数并进行迭代计算得到预测评分矩阵，并得到对应的预测评估指标的状态值：所述预测评估指标的状态值为评估预测值与实际值的误差值；
步骤4：基于用户潜在因子矩阵和物品潜在因子矩阵，对用户物品评分矩阵进行矩阵补全，对补全后的用户物品评分矩阵采用频谱变换得到预测评分矩阵和对应的预测评估指标的状态值：
步骤5：基于不同用户对物品评分的相关性，将步骤3得到的预测评分矩阵和步骤4得到的预测评分矩阵进行加权得到预测评分矩阵和其对应的预测评估指标的状态值；
步骤6：根据步骤3得到的预测评分矩阵、步骤4得到的预测评分矩阵和步骤5得到的预测评分矩阵及各自对应的预测评估指标的状态值，通过加权混合平均得到最终的预测推荐矩阵；
步骤7：根据预测推荐矩阵，完成向用户推荐物品。
进一步的，在所述步骤2中，采用余弦相似度计算物品之间的相似度：
Figure BDA0002381708230000021
式中，V表示物品特征集合，Av,Bv分别表示物品A和物品B对应特征v的取值。
进一步的，在所述步骤2中，采用皮尔森相关系数计算用户之间的相似度：
Figure BDA0002381708230000022
式中，V表示物品集合，rAv,rBv分别表示用户A和用户B对物品v的评分，
Figure BDA0002381708230000023
和
Figure BDA0002381708230000024
分别表示用户A和用户B对物品评分的平均值。
进一步的，在所述步骤3中，采用降维处理对用户物品评分矩阵进行矩阵分解。
进一步的，在所述步骤3中，首先，根据分解矩阵定义损失函数和目标函数：
所述损失函数为：
Figure BDA0002381708230000025
所述目标函数：
Figure BDA0002381708230000026
式中，o表示用户物品评分集合，
Figure BDA0002381708230000027
表示用户u评价的物品数，
Figure BDA0002381708230000028
表示对物品v进行评分的用户数量，μ表示正则化参数；
再者，采用随机梯度下降方法对目标函数进行优化得到预测评分矩阵：
最后，预测评分由公式(6)进行迭代更新得出，以此得到预测评分矩阵；
Figure BDA0002381708230000031
Figure BDA0002381708230000032
其中，
Figure BDA0002381708230000033
表示总体评分平均值，bu表示用户偏差，bv表示物品偏差，
Figure BDA0002381708230000034
为预测评分结果，Uu表示用户特征向量，Vv表示物品特征向量，
Figure BDA0002381708230000035
μ表示正则化参数，σ表示学习率参数。
进一步的，所述步骤4具体包括以下子步骤：
采用式(8)对用户物品评分矩阵进行矩阵补全的具体步骤如下：
Figure BDA0002381708230000036
其中，gr/gc表示行/列中跟物品/用户相关的相似度图属性，ω为给定的一个已知信息集，其值表示为yu，v∈Y，Fu表示用户邻居信息，Fv表示物品邻居信息，
Figure BDA0002381708230000037
表示矩阵F范数的平方，
Figure BDA0002381708230000038
对应于标准狄利克雷分布；
对公式(8)得到的最优值采用频谱变换得到预测评分矩阵
Figure BDA0002381708230000039
其中，Δr,Δc表示行图和列图拉普拉斯算子的m×m和n×n特征向量矩阵，X＝WHT。
进一步的，在所述步骤5中，将步骤3得到的预测评分矩阵和步骤4得到的预测评分矩阵采用下式进行加权计算得到预测评分；
Figure BDA00023817082300000310
其中：
Figure BDA00023817082300000311
Figure BDA00023817082300000312
Figure BDA00023817082300000313
式中，δ表示加权平均系数，&x表示用户x评分物品数量，&r表示用户x评分为r的物品数量。
进一步的，在所述步骤6中，采用式(14)计算得到最终的预测推荐矩阵；
Figure BDA0002381708230000041
其中，
Figure BDA0002381708230000042
Wi的具体取值取决于：
Figure BDA0002381708230000043
当
Figure BDA0002381708230000044
取最大值对应：
Figure BDA0002381708230000045
Figure BDA0002381708230000046
式中，
Figure BDA0002381708230000047
表示用户物品评分，RMSEi表示预测评估指标的状态值。
进一步的，所述预测评估指标的状态值采用以下计算公式得到：
Figure BDA0002381708230000048
其中，ri为用户实际评分，
Figure BDA0002381708230000049
为用户预测评分，max为评分物品总数量。
进一步的，在执行所述步骤2之前还包括：将所述用户物品评分矩阵、用户潜在因子矩阵和物品潜在因子矩阵以表形式存储至HBase-Hive数据仓库；
将所述步骤3得到的预测评分矩阵、步骤4得到的预测评分矩阵和步骤5得到的预测评分矩阵及各自对应的预测评估指标的状态值均存储至HBase-Hive数据仓库中。
有益效果：本发明具有以下优点：
1、本发明针对其稀疏性、冷启动及预测准确性不理想的问题，从矩阵分解与矩阵补全等角度出发，同时充分考虑用户与物品的潜在因子和邻居信息的影响，使得预测评分更加全面、准确，采用矩阵分解补全混合的方法，充分的考虑全局与局部信息对用户评分的影响，同时降低了预测计算时间复杂度，使预测推荐更加全面、高效；
2、本发明从多角度、多方式进行预测，最终结果采取与预测评估指标相关的加权方式，能更好的适应用户物品评分矩阵的动态变化，有效缓解冷启动与稀疏性等带来的问题；
3、本发明具有很好的适用性、全面性、准确性，不拘谨于指定系统，可在多个行业进行横向拓展，不仅能帮助企业提高产品的使用量，同时也为产品使用者提供了良好的使用体验。
附图说明
图1为本发明的流程示意图；
图2为给定数据集中不同邻居数下本方法的RMSE性能；
图3为给定数据集下不同方法的RMSE性能。
具体实施方式
现结合附图进一步阐述本发明的技术方案。
结合图1，本发明提出的一种基于潜在因子的矩阵分解补全混合推荐方法，混合矩阵分解与补全的同时考虑潜在因子对用户评分的影响，通过加权的方式使得预测结果更加准确，包括如下具体步骤：
S000：获取用户物品信息数据集，构建用户物品评分矩阵、用户潜在因子矩阵和物品潜在因子矩阵；
用户物品信息数据集是指用户特征信息、物品特征信息以及与用户相关的物品集合信息；用户物品评分矩阵是指获取的用户物品信息数据集中每个用户以及其对物品的评分构成的矩阵，行表示物品，列表示用户，矩阵中的值表示用户对物品的评分，用Xm×n表示；用户潜在因子矩阵是指由用户特征信息组成的特征矩阵，用U∈Xk×m表示，对应的特征向量表示为Uu；物品潜在因子矩阵是指由物品特征信息组成的特征矩阵，用V∈Xk×n表示，对应的特征向量表示为Vv；S100：为方便后期计算能够快速取得原始数据，同时避免重复计算，将需要重复使用的信息都存入HBase-Hive数据仓库中，在HBase-Hive数据仓库中记录并构建步骤一中的三张表，根据这三张表的信息计算得到用户之间的相似度和物品之间相似度，基于用户之间的相似度和物品之间的相似度获取用户和物品各自的邻居信息Fu与Fv；
本步骤中的HBase-Hive，是两个基于HDFS的强大数据库，以此数据仓库存储邻居信息与用户物品评分矩阵信息、用户潜在因子矩阵信息和物品潜在因子矩阵信息，可以方便后续迭代计算直接取用，避免重复计算；包括HBase是一种分布式NoSQL数据库，适用于高纬度大量级数据，扩展性强，Hive是一种数据仓库，可以采用类SQL语句对存储数据进行提取与分析。在一些实施例中，采用余弦相似度计算物品之间的相似度：
Figure BDA0002381708230000051
式中，V表示物品特征集合，Av,Bv分别表示物品A和物品B对应特征v的取值。
在一些实施例中，采用皮尔森相关系数计算用户之间的相似度：
Figure BDA0002381708230000052
式中，V表示物品集合，rAv,rBv分别表示用户A和用户B对物品v的评分，
Figure BDA0002381708230000053
和
Figure BDA0002381708230000054
分别表示用户A和用户B对物品评分的平均值。
根据用户之间的相似度和物品之间的相似度得出某个用户或物品的最相似的k个用户或物品作为其邻居，得到用户和物品对应的邻居信息Fu与Fv；
S200：基于用户潜在因子矩阵和物品潜在因子矩阵，对用户物品评分矩阵进行矩阵分解，根据矩阵分解定义目标函数并进行迭代计算得到预测评分矩阵并在数据仓库中保存为表T1并记录预测评估指标的状态值E1；
基于用户潜在因子、物品潜在因子对用户物品评分矩阵进行降维处理分解得到多个矩阵，预测评分矩阵是指通过对分解得到的多个矩阵定义目标函数进行迭代计算得出用户对物品的预测评分，以此构成的矩阵；预测评估指标的状态值是指评估预测值与实际值的误差值，预测评估指标原型采取以下计算公式：
Figure BDA0002381708230000061
其中，ri为用户实际评分，
Figure BDA0002381708230000062
为用户预测评分，max为评分物品总数量。
在进行预测评分计算时，充分考虑用户潜在因子、物品潜在因子对用户评分的影响得出预测评分如下：
Figure BDA0002381708230000063
其中，
Figure BDA0002381708230000064
表示总体评分平均值，bu表示用户偏差，bv表示物品偏差，
Figure BDA0002381708230000065
为预测评分结果，Uu表示用户特征向量，Vv表示物品特征向量。
损失函数：
Figure BDA0002381708230000066
目标函数：
Figure BDA0002381708230000067
式中，o表示用户物品评分集合，
Figure BDA0002381708230000068
表示用户u的观察概率列，即用户u评价的物品数，
Figure BDA0002381708230000069
表示物品v的观察概率行，即对物品v进行评分的用户数量，μ表示正则化参数。
采用随机梯度下降方法对目标函数进行优化；
预测评分由公式(6)进行迭代更新得出；
Figure BDA0002381708230000071
其中，
Figure BDA0002381708230000072
μ表示正则化参数，σ表示学习率参数；
将预测评分矩阵及对应预测评估指标值E1存入数据仓库表E1中。
S300：基于用户潜在因子矩阵和物品潜在因子矩阵，对用户物品评分矩阵进行矩阵补全，根据补全后的用户物品评分矩阵得到预测评分矩阵并在数据仓库中保存为表T2并记录预测评估指标的状态值E2；
矩阵补全是指将用户物品评分矩阵中需要预测的评分视为空缺值，通过降维分离迭代得出预测评分并填补原矩阵空缺值，具体步骤如下：
采用式(7)进行矩阵分解：
Figure BDA0002381708230000073
其中，gr/gc表示行/列中跟物品/用户相关的相似度图属性，ω为给定的一个已知信息集，其值表示为yu，v∈Y。
考虑到进行迭代运算时计算的时间复杂度，对用户物品评分矩阵进行降维变换，使得X＝WHT，同时加入用户邻居信息Fu与物品邻居信息Fv，具体实现如下：
Figure BDA0002381708230000074
式中，gr/gc表示行/列中跟物品/用户相关的相似度图属性，ω为给定的一个已知信息集，其值表示为yu，v∈Y，
Figure BDA0002381708230000075
表示矩阵F范数的平方，
Figure BDA0002381708230000076
对应于标准狄利克雷分布；
对式(8)得到的最优值采用频谱变换得到预测评分矩阵
Figure BDA0002381708230000077
其中，Δr,Δc表示行图和列图拉普拉斯算子的m×m和n×n特征向量矩阵，根据得到预测评分矩阵计算对应预测评估指标值E2并存入数据仓库表T2中
S400：对由不同用户对物品评分的相关性以及表T1和表T2通过式(9)加权得出预测评分表T3并记录预测评估指标的状态值E3；
Figure BDA0002381708230000078
其中：
Figure BDA0002381708230000079
Figure BDA0002381708230000081
Figure BDA0002381708230000082
&x表示用户x评分物品数量，&r表示用户x评分为r的物品数量。
加权平均系数δ的计算方法基于巴氏系数(Bhattacharyya coefficient，BC)，用户物品评分可以看作离散型的概率分布，采用巴氏系数作为加权计算因子可以充分考虑不同用户物品评分的全局影响。
S500：为了使预测评分准确性更高，预测更全面，根据预测表T1、T2、T3及对应的预测评估指标状态值采用式(14)计算得出最后的预测推荐矩阵；
Figure BDA0002381708230000083
其中，
Figure BDA0002381708230000084
Wi的具体取值取决于：
Figure BDA0002381708230000085
当
Figure BDA0002381708230000086
取最大值对应：
Figure BDA0002381708230000087
Figure BDA0002381708230000088
Figure BDA0002381708230000089
表Ti中用户物品评分。
采用Movielens数据集和MovieTweetings(MT)数据集来检测本发明的方法在冷启动、稀疏性和预测不准确等方面的效果，具体见下表：
数据集 用户数量 物品数量 评分数量 稀疏性
ML-100K 943 1660 99973 6.39％
ML-1M 6040 3684 1000184 4.49％
MT 52728 30622 780740 0.048％
由图2可知对于大多数数据集而言，当邻居数在15到20之间时，可以获得比较好的结果。同时，当邻居数足够大时，过多的邻居信息会破坏邻居信息对潜在因子的正相关关系。因此，在对比实验中，本方法选择k＝20作为邻居数。由图3可知，本方法在同等数据集的条件下，其推荐结果的RMSE基本优于其他方法，同时对于稀疏性较大的MT数据集而言，本方法的推荐预测结果准确性更高，综上本发明有效缓解了冷启动、稀疏性和准确性不高等问题。

Claims (10)

1.一种基于潜在因子的矩阵分解补全混合推荐方法，其特征在于：包括以下步骤：
步骤1：获取用户物品信息数据集，构建用户物品评分矩阵、用户潜在因子矩阵和物品潜在因子矩阵；所述用户物品信息数据集中包括用户的特征信息、物品的特征信息和与用户相关的物品集合信息；所述用户物品评分矩阵由用户物品信息数据集中每个用户以及其对物品的评分构成；所述用户潜在因子矩阵是由用户特征信息组成的特征矩阵；所述物品潜在因子矩阵是由物品特征信息组成的特征矩阵；
步骤2：基于用户物品评分矩阵、用户潜在因子矩阵和物品潜在因子矩阵，计算得到用户之间的相似度和物品之间的相似度，以某个用户或物品的最相似的k个用户或物品作为其邻居，根据用户之间的相似度得到用户邻居信息，根据物品之间的相似度得到物品邻居信息；
步骤3：基于用户潜在因子矩阵和物品潜在因子矩阵，对用户物品评分矩阵进行矩阵分解，根据分解矩阵定义目标函数并进行迭代计算得到预测评分矩阵，并得到对应的预测评估指标的状态值：所述预测评估指标的状态值为评估预测值与实际值的误差值；
步骤4：基于用户潜在因子矩阵和物品潜在因子矩阵，对用户物品评分矩阵进行矩阵补全，对补全后的用户物品评分矩阵采用频谱变换得到预测评分矩阵和对应的预测评估指标的状态值：
步骤5：基于不同用户对物品评分的相关性，将步骤3得到的预测评分矩阵和步骤4得到的预测评分矩阵进行加权得到预测评分矩阵和其对应的预测评估指标的状态值；
步骤6：根据步骤3得到的预测评分矩阵、步骤4得到的预测评分矩阵和步骤5得到的预测评分矩阵及各自对应的预测评估指标的状态值，通过加权混合平均得到最终的预测推荐矩阵；
步骤7：根据预测推荐矩阵，完成向用户推荐物品。
2.根据权利要求1所述的一种基于潜在因子的矩阵分解补全混合推荐方法，其特征在于：在所述步骤2中，采用余弦相似度计算物品之间的相似度：
Figure FDA0002381708220000011
式中，V表示物品特征集合，Av,Bv分别表示物品A和物品B对应特征v的取值。
3.根据权利要求1所述的一种基于潜在因子的矩阵分解补全混合推荐方法，其特征在于：在所述步骤2中，采用皮尔森相关系数计算用户之间的相似度：
Figure FDA0002381708220000012
式中，V表示物品集合，rAv,rBv分别表示用户A和用户B对物品v的评分，
Figure FDA0002381708220000013
和
Figure FDA0002381708220000014
分别表示用户A和用户B对物品评分的平均值。
4.根据权利要求1所述的一种基于潜在因子的矩阵分解补全混合推荐方法，其特征在于：在所述步骤3中，采用降维处理对用户物品评分矩阵进行矩阵分解。
5.根据权利要求1所述的一种基于潜在因子的矩阵分解补全混合推荐方法，其特征在于：在所述步骤3中，首先，根据分解矩阵定义损失函数和目标函数：
所述损失函数为：
Figure FDA0002381708220000021
所述目标函数：
Figure FDA0002381708220000022
式中，o表示用户物品评分集合，
Figure FDA0002381708220000023
表示用户u评价的物品数，
Figure FDA0002381708220000024
表示对物品v进行评分的用户数量，μ表示正则化参数；
再者，采用随机梯度下降方法对目标函数进行优化得到预测评分矩阵：
最后，预测评分由公式(6)进行迭代更新得出，以此得到预测评分矩阵；
Figure FDA0002381708220000025
Figure FDA0002381708220000026
其中，
Figure FDA0002381708220000027
表示总体评分平均值，bu表示用户偏差，bv表示物品偏差，
Figure FDA0002381708220000028
为预测评分结果，Uu表示用户特征向量，Vv表示物品特征向量，
Figure FDA0002381708220000029
μ表示正则化参数，σ表示学习率参数。
6.根据权利要求1所述的一种基于潜在因子的矩阵分解补全混合推荐方法，其特征在于：所述步骤4具体包括以下子步骤：
采用式(8)对用户物品评分矩阵进行矩阵补全的具体步骤如下：
Figure FDA00023817082200000210
其中，gr/gc表示行/列中跟物品/用户相关的相似度图属性，ω为给定的一个已知信息集，其值表示为yu，v∈Y，Fu表示用户邻居信息，Fv表示物品邻居信息，
Figure FDA00023817082200000211
表示矩阵F范数的平方，
Figure FDA00023817082200000212
对应于标准狄利克雷分布；
对公式(8)得到的最优值采用频谱变换得到预测评分矩阵
Figure FDA0002381708220000031
其中，Δr,Δc表示行图和列图拉普拉斯算子的m×m和n×n特征向量矩阵，X＝WHT。
7.根据权利要求1所述的一种基于潜在因子的矩阵分解补全混合推荐方法，其特征在于：在所述步骤5中，将步骤3得到的预测评分矩阵和步骤4得到的预测评分矩阵采用下式进行加权计算得到预测评分；
Figure FDA0002381708220000032
其中：
Figure FDA0002381708220000033
Figure FDA0002381708220000034
Figure FDA0002381708220000035
式中，δ表示加权平均系数，&x表示用户x评分物品数量，&r表示用户x评分为r的物品数量。
8.根据权利要求1所述的一种基于潜在因子的矩阵分解补全混合推荐方法，其特征在于：在所述步骤6中，采用式(14)计算得到最终的预测推荐矩阵；
Figure FDA0002381708220000036
其中，
Figure FDA0002381708220000037
Wi的具体取值取决于：
Figure FDA0002381708220000038
当
Figure FDA0002381708220000039
取最大值对应：
Figure FDA00023817082200000310
Figure FDA00023817082200000311
式中，
Figure FDA00023817082200000312
表示用户物品评分，RMSEi表示预测评估指标的状态值。
9.根据权利要求1或8所述的一种基于潜在因子的矩阵分解补全混合推荐方法，其特征在于：所述预测评估指标的状态值采用以下计算公式得到：
Figure FDA00023817082200000313
其中，ri为用户实际评分，
Figure FDA00023817082200000314
为用户预测评分，max为评分物品总数量。
10.根据权利要求1所述的一种基于潜在因子的矩阵分解补全混合推荐方法，其特征在于：在执行所述步骤2之前还包括：将所述用户物品评分矩阵、用户潜在因子矩阵和物品潜在因子矩阵以表形式存储至HBase-Hive数据仓库；
将所述步骤3得到的预测评分矩阵、步骤4得到的预测评分矩阵和步骤5得到的预测评分矩阵及各自对应的预测评估指标的状态值均存储至HBase-Hive数据仓库中。
CN202010084941.3A 2020-02-10 2020-02-10 一种基于潜在因子的矩阵分解补全混合推荐方法 Active CN111339435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010084941.3A CN111339435B (zh) 2020-02-10 2020-02-10 一种基于潜在因子的矩阵分解补全混合推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010084941.3A CN111339435B (zh) 2020-02-10 2020-02-10 一种基于潜在因子的矩阵分解补全混合推荐方法

Publications (2)

Publication Number Publication Date
CN111339435A true CN111339435A (zh) 2020-06-26
CN111339435B CN111339435B (zh) 2022-09-23

Family

ID=71185263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010084941.3A Active CN111339435B (zh) 2020-02-10 2020-02-10 一种基于潜在因子的矩阵分解补全混合推荐方法

Country Status (1)

Country Link
CN (1) CN111339435B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069417A (zh) * 2020-08-24 2020-12-11 北京神舟航天软件技术有限公司 一种工作分解结构wbs模板推荐方法
CN113239266A (zh) * 2021-04-07 2021-08-10 中国人民解放军战略支援部队信息工程大学 基于局部矩阵分解的个性化推荐方法及系统
CN113268670A (zh) * 2021-06-16 2021-08-17 中移（杭州）信息技术有限公司 潜在因子混合推荐方法、装置、设备及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980648A (zh) * 2017-02-27 2017-07-25 南京邮电大学 一种基于概率矩阵分解结合相似度的个性化推荐方法
CN107808278A (zh) * 2017-10-11 2018-03-16 河海大学 一种基于稀疏自编码器的Github开源项目推荐方法
CN109543109A (zh) * 2018-11-27 2019-03-29 山东建筑大学 一种融合时间窗技术和评分预测模型的推荐算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980648A (zh) * 2017-02-27 2017-07-25 南京邮电大学 一种基于概率矩阵分解结合相似度的个性化推荐方法
CN107808278A (zh) * 2017-10-11 2018-03-16 河海大学 一种基于稀疏自编码器的Github开源项目推荐方法
CN109543109A (zh) * 2018-11-27 2019-03-29 山东建筑大学 一种融合时间窗技术和评分预测模型的推荐算法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069417A (zh) * 2020-08-24 2020-12-11 北京神舟航天软件技术有限公司 一种工作分解结构wbs模板推荐方法
CN113239266A (zh) * 2021-04-07 2021-08-10 中国人民解放军战略支援部队信息工程大学 基于局部矩阵分解的个性化推荐方法及系统
CN113239266B (zh) * 2021-04-07 2023-03-14 中国人民解放军战略支援部队信息工程大学 基于局部矩阵分解的个性化推荐方法及系统
CN113268670A (zh) * 2021-06-16 2021-08-17 中移（杭州）信息技术有限公司 潜在因子混合推荐方法、装置、设备及计算机存储介质
CN113268670B (zh) * 2021-06-16 2022-09-27 中移（杭州）信息技术有限公司 潜在因子混合推荐方法、装置、设备及计算机存储介质

Also Published As

Publication number Publication date
CN111339435B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN105701191B (zh) 一种推送信息点击率估计方法和装置
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
Almazro et al. A survey paper on recommender systems
US20180158078A1 (en) Computer device and method for predicting market demand of commodities
CN107833117B (zh) 一种考虑标签信息的贝叶斯个性化排序推荐方法
CN111339435B (zh) 一种基于潜在因子的矩阵分解补全混合推荐方法
Zhang et al. Enabling kernel-based attribute-aware matrix factorization for rating prediction
CN109033101B (zh) 标签推荐方法及装置
CN106708844A (zh) 一种用户群体的划分方法和装置
US20220253722A1 (en) Recommendation system with adaptive thresholds for neighborhood selection
CN110197404B (zh) 可降低流行度偏差的个性化长尾商品推荐方法和系统
Liang et al. A probabilistic rating auto-encoder for personalized recommender systems
CN111010592B (zh) 一种视频推荐方法、装置、电子设备及存储介质
KR101877282B1 (ko) 개인화 회귀 분석을 이용하여 품목의 이용자가 상기 품목에 부여하는 선호도를 예측하기 위하여 정보를 정화하는 방법 및 이를 이용한 컴퓨팅 장치
CN113268656A (zh) 一种用户推荐方法、装置、电子设备及计算机存储介质
Zhang et al. A dynamic trust based two-layer neighbor selection scheme towards online recommender systems
Liang et al. Collaborative filtering based on information-theoretic co-clustering
Salehi An effective recommendation based on user behaviour: a hybrid of sequential pattern of user and attributes of product
CN110688565A (zh) 基于多维霍克斯过程和注意力机制的下一个物品推荐方法
Behera et al. Handling data sparsity via item metadata embedding into deep collaborative recommender system
Liu et al. Fast recommendation on latent collaborative relations
CN110413880B (zh) 基于用户人格分层结构的单分类协同过滤方法
CA3111094A1 (en) Noise contrastive estimation for collaborative filtering
CN112907334B (zh) 一种对象推荐方法及装置
CN113988951A (zh) 基于张量分解和协同过滤的商品推荐学习模型构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210003 Gulou District, Jiangsu, Nanjing new model road, No. 66

Applicant after: NANJING University OF POSTS AND TELECOMMUNICATIONS

Address before: No.9, Wenyuan Road, Qixia District, Nanjing City, Jiangsu Province

Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS

GR01 Patent grant
GR01 Patent grant