CN110781405A - 基于联合卷积矩阵分解的文档上下文感知推荐方法及系统 - Google Patents

基于联合卷积矩阵分解的文档上下文感知推荐方法及系统 Download PDF

Info

Publication number
CN110781405A
CN110781405A CN201910969795.XA CN201910969795A CN110781405A CN 110781405 A CN110781405 A CN 110781405A CN 201910969795 A CN201910969795 A CN 201910969795A CN 110781405 A CN110781405 A CN 110781405A
Authority
CN
China
Prior art keywords
user
matrix
item
model
project
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910969795.XA
Other languages
English (en)
Other versions
CN110781405B (zh
Inventor
郭磊
韩雨
姜浩然
王新华
刘方爱
高保忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN201910969795.XA priority Critical patent/CN110781405B/zh
Publication of CN110781405A publication Critical patent/CN110781405A/zh
Application granted granted Critical
Publication of CN110781405B publication Critical patent/CN110781405B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0203—Market surveys; Market polls

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开公开了基于联合卷积矩阵分解的文档上下文感知推荐方法及系统，获取待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵；将获取的待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵，输入到预训练的JCMF模型中；JCMF模型输出待推荐用户对项目的评分矩阵，按照待推荐用户对项目的评分矩阵中评分由大到小的顺序，将对应的项目作为推荐结果输出。

Description

基于联合卷积矩阵分解的文档上下文感知推荐方法及系统
技术领域
本公开涉及项目推荐技术领域，特别是涉及基于联合卷积矩阵分解的文档上下文感知推荐方法及系统。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
随着电子商务服务中用户和项目数量的爆炸式增长，用户对项目评分数据饱受数据稀疏性问题的困扰。也就是说，用户只能与少量项目交互，而项目只能对受限用户可见。
为了应对这一挑战，研究者们已经提出了几种基于上下文感知的推荐方法(Context-aware Recommendation,CR)的方法，不仅要考虑评分矩阵，还要考虑上下文信息(例如用户的人口统计，社交网络和项目描述文档)。例如，Wang等人采用主题模型(LDA)技术从评论中挖掘潜在特征，并在此基础上，提出了CTR(Collaborative Topic Regression)方法来改进传统的协同过滤技术。同样，McAuley和Tan等人也利用LDA通过从项目或用户的评论中来挖掘潜在特征。Bao等人使用主题建模技术建模评论文本中的潜在主题，并利用矩阵因子分解(Matrix Factorization，MF)进行评分预测。Chen等人建议采用一种新颖的情境感知分层贝叶斯方法，通过考虑评分、上下文和社会关系来预测评分。与仅使用用户项目评分的方法相比，这些方法已经取得了显着的改进。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
上下文感知推荐方法(Context-aware Recommendation,CR)是通过探索在线系统中的上下文信息来进行项目推荐，以减轻用户-项目数据的稀疏性问题。在对上下文信息进行建模过程中，现有方法主要通过基于词袋模型(Bag ofWords)的建模方法去捕获上下文信息。然而，由于词袋模型的固有限制，这些方法只能对文本信息进行浅层次的理解，从而导致只能获得次优的推荐结果。
为了解决这个问题，Kim等人引入了在图像和自然语言处理方面取得巨大成功的CNN(Convolutional Neural Network)技术。由于CNN具有从高维数据中获取低维表示的能力，使得其能够对文档有更深入的了解。具体来说，他们将CNN集成到概率矩阵分解(Probability Matrix Factorization，PMF)中，并提出了文档上下文感知矩阵分解方法ConvMF(Convolutional MatrixFactorization)，它不仅可以捕获项目描述文档的上下文信息，而且还可以提高评分预测的准确性。但是，ConvMF仅从项目角度对文档上下文进行建模，导致项目推荐结果不够准确。
发明内容
为了解决现有技术的不足，本公开提供了基于联合卷积矩阵分解的文档上下文感知推荐方法及系统；
第一方面，本公开提供了基于联合卷积矩阵分解的文档上下文感知推荐方法；
基于联合卷积矩阵分解的文档上下文感知推荐方法，包括：
获取待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵；
将获取的待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵，输入到预训练的JCMF模型中；
JCMF模型输出待推荐用户对项目的评分矩阵，按照待推荐用户对项目的评分矩阵中评分由大到小的顺序，将对应的项目作为推荐结果输出。
第二方面，本公开提供了基于联合卷积矩阵分解的文档上下文感知推荐系统；
基于联合卷积矩阵分解的文档上下文感知推荐系统，包括：
获取模块，其被配置为：获取待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵；
输入模块，其被配置为：将获取的待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵，输入到预训练的JCMF模型中；
输出模块，其被配置为：JCMF模型输出待推荐用户对项目的评分矩阵，按照待推荐用户对项目的评分矩阵中评分由大到小的顺序，将对应的项目作为推荐结果输出。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
1)本公开系统地解决在线系统中的上下文推荐问题，并提出联合卷积矩阵分解JCMF来共同考虑用户和项目的评论，以及用户之间和项目之间的关系。
2)本公开提出了一种项目关系感知推荐方法CMF-I来考虑项目之间的关系。
3)本公开通过将社交网络和用户项目矩阵共享在同一用户潜在特征矩阵中，将用户社交关系纳入CMF-I。
4)本公开合并另一个CNN网络来建模用户的文档上下文信息。
5)本公开在真实数据集Yelp上进行了大量实验，以证明我们提出的方法的有效性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为第一个实施例的方法流程图；
图2为第一个实施例的上下文感知推荐场景的示例；
图3为第一个实施例的ConvMF模型图；
图4为第一个实施例的CMF-I模型图；
图5为第一个实施例的CMF-SI模型图；
图6为第一个实施例的JCMF模型图；
图7(a)-图7(d)为第一个实施例在NC和WI上依据RMSE和MAE的实验结果。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
第一方面，本实施例提供了基于联合卷积矩阵分解的文档上下文感知推荐方法；
如图1所示，基于联合卷积矩阵分解的文档上下文感知推荐方法，包括：
S1：获取待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵；
S2：将获取的待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵，输入到预训练的JCMF模型中；
S3：JCMF模型输出待推荐用户对项目的评分矩阵，按照待推荐用户对项目的评分矩阵中评分由大到小的顺序，将对应的项目作为推荐结果输出。
作为一个或多个实施例，所述用户社交网络矩阵，是指用户与其他用户之间的好友关系，如果是好友，则用户社交网络矩阵中的元素值为1；如果不是好友，则用户社交网络矩阵中的元素值为0。
作为一个或多个实施例，所述用户评论文本，是指用户对项目的文本评论内容。
作为一个或多个实施例，所述项目评论文本，是指项目所接收到的来自于用户的评论内容。所述项目，例如：餐馆、电影院、商品。
作为一个或多个实施例，所述项目关系矩阵，是指项目与其他项目之间的相关关系，如果两个项目在设定时间段内被同一用户访问或购买，则项目关系矩阵中对应的元素值为1；如果没有被同一用户访问，则项目关系矩阵中对应的元素值为0。例如：用户在电影院看完电影之后，可能会去附近的餐馆吃饭，则电影院与餐馆之间存在相关关系；用户在购买完鱼杆之后，可能会去购买鱼饵，则鱼杆和鱼饵之间存在相关关系。所述访问或购买行为，是指在用户两次访问或购买活动中产生的行为，时间段根据需要，人为设定。
作为一个或多个实施例，所述JCMF模型，包括：第一卷积神经网络CNN、第二卷积神经网络CNN和联合概率矩阵分解模型JPMF；
其中，第一卷积神经网络CNN，用于对用户评论文本进行特征提取，提取出用户评论文本的特征；
其中，第二卷积神经网络CNN，用于对项目评论文本进行特征提取，提取出项目评论文本的特征；
其中，联合概率矩阵分解模型JPMF，用于将用户社交网络矩阵、项目关系矩阵、用户评论文本特征和项目评论文本特征，利用概率分布函数进行计算，输出用户潜在特征矩阵U和项目潜在特征矩阵V；基于用户潜在特征矩阵U和项目潜在特征矩阵V，重构评分矩阵；最终得到用户对项目的预测评分矩阵。
所述联合概率矩阵分解模型JPMF的概率分布函数为：
其中，U表示用户潜在特征矩阵，V表示项目潜在特征矩阵，K表示项目潜在关系矩阵，Z表示用户潜在社交矩阵；W1表示第一卷积神经网络内部权重；W2表示第二卷积神经网络内部权重；R表示用户项目评分矩阵，C表示项目关系矩阵，S表示用户社交矩阵；X表示项目评论文本，Y表示用户评论文本；Iij是指示函数，当用户i对项目j有评分时，Iij的值为1，否则Iij的值为0。σ为高斯分布的方差。∝表示其前后成正比例，读作正比于。
其他指示函数与Iij类似。
作为一个或多个实施例，基于用户潜在特征矩阵U和项目潜在特征矩阵V，重构评分矩阵；是指对用户潜在特征矩阵U和项目潜在特征矩阵V做内积，得到重构后的评分矩阵。
作为一个或多个实施例，JCMF模型的预训练步骤包括：
构建JCMF(Joint Convolutional Matrix Factorization，联合卷积矩阵分解)模型；
构建数据集，将数据集按设定比例分为：训练集、验证集和测试集；所述数据集，包括：已知用户的用户社交网络矩阵、用户评论文本、项目评论文本、项目关系矩阵和已知用户的用户对项目的评分矩阵；
应理解的，训练集、验证集和测试集的设定比例，例如：60％、20％和20％；
将训练集输入到JCMF模型中，对JCMF模型进行训练，当JCMF模型的损失函数值达到最小值时，停止训练，得到训练好的JCMF模型；
将验证集输入到训练好的JCMF模型中对模型进行验证；
当验证结果的精确度满足设定阈值时，对应的JCMF模型即为最终的JCMF模型；
将测试集输入到训练好的JCMF模型中测试其对未知数据进行预测的能力。
ConvMF仅从项目角度对文档上下文进行建模，导致项目推荐结果不够准确，是因为，它忽略了如下因素：
首先，在现实的场景中，项目不是独立同分布的，项目之间的关系是影响用户决策的重要因素。例如，当在电子商务网站上购买产品时，用户可能倾向于购买与他/她最近购买的产品相关的产品。为了将项目关系整合到推荐中，许多先前的研究都集中在通过历史用户-项目的交互数据来学习项目之间的相似性。例如，现有方法在进行地点推荐时，从用户的历史签到数据中探索项目之间的时序关系，并且实验结果表明将项目关系纳入推荐算法可以提高推荐准确性。但是这些现有方法不是针对文本上下文感知推荐的，不能同时对项目关系和文档上下文信息建模。
其次，由于我们是社交动物，我们经常向朋友寻求建议。因此用户之间的社会关系是帮助用户做出正确选择的另一个关键因素。例如，当我们想去饭店或去电影院或在两件T恤之间犹豫不决时，我们经常会向朋友征求意见。基于社会同质性理论，朋友之间通常有相似的偏好，Ma等人提出了一种基于PMF的社会推荐方法SoRec。这不仅通过社会关系弥补了数据的稀疏性，而且显著提高了推荐性能。除了本地朋友外，用户还倾向于向全球知名度较高的用户寻求建议。受此启发，Tang等人开发了一个新的推荐框架LOCABAL，利用本地和全球社会上下文信息进行推荐。由于用户可能在不同的领域信任不同的朋友，Yang等人研究了基于朋友圈的推荐系统，该系统专注于从评分数据以及结合社会网络数据中推断特定类别的社会信任等级。然而，现有的社会推荐方法主要是对传统的用户对项目评分矩阵中的用户社会影响进行建模，忽略了用户的内容信息。
第三，由于用户经常在发布的评论中直接写下他们的对项目的意见，用户评论为我们提供了一种有效的方式来推断他们对项目的偏好。最近，已经提出了几种推荐方法来利用内容信息来增强评分预测任务。例如，Tan等人利用文本评论信息以及评分信息，在一个共享的主题空间中对用户偏好和项目特征进行建模，然后将它们嵌入到矩阵分解模型中进行推荐。为了考虑文本上下文信息，Kim等人将CNN引入到PMF框架，同时对文档内容和评分矩阵进行建模。Shen等人提出了一种基于CNN的学习资源推荐算法，其中CNN用于从文本信息中预测潜在特征。Zhang等人开发了一种新的混合模型，以共同建模内容信息和隐式用户反馈，以提出准确的推荐。然而，这些现有的方法更多地关注项目的内容信息而不是用户的信息。在一个统一框架中共同建模用户和项目的内容信息在很大程度上仍未被探索。
在基于上下文感知的推荐场景中，有四种信息可以使用，即用户和项目的评论以及用户之间的关系和项目之间的关系。假设用户想在电子商务网站上买一件T恤，如图2所示，他/她将首先询问他/她的朋友的建议，而在推荐服装方面更专业的朋友(即他们通常对相关的产品有许多有意义的评论)将在很大程度上影响到他/她。然后，该用户将根据朋友的建议进一步过滤掉具有低评分和负面评论的项目。最后，如果某个T恤与他/她最近购买的某条裤子有关(例如，它们都有着相同的条纹或风格)，那么这个T恤将很大程度上会被推荐。
在本公开中，我们提出一种JCMF方法，同时考虑用户和项目的评论以及用户之间和项目之间的关系。更具体地说，为了联合建模文档上下文信息和用户项目评分矩阵，我们引入了ConvMF作为我们的基本推荐框架，它将CNN整合到PMF中来提高评分预测的准确性。为了考虑项目之间的关系，我们提出项目关系感知方法CMF-I，在项目关系网络和用户项目矩阵之间共享项目潜在特征。为了建模用户的社交信息，类似于CMF-I，我们通过在社交网络和用户项目矩阵之间共享用户潜在特征，将用户社交关系融合到CMF-I中。为了使用用户评论，我们利用另一个CNN来建模用户的文档上下文信息，最后得到我们的JCMF模型。
首先介绍本公开的推荐任务；然后引入ConvMF作为我们的基本推荐框架；其次介绍了我们如何进行一步考虑项目间关联关系，并提出了CMF-I方法；然后，我们介绍了如何进一步考虑用户间的社交关系，并将用户社交网络融合到CMF-I中，进一步提出CMF-SI方法；最终，我们介绍了如何利用用户评论的上下文信息，并将这种上下文信息合并到我们的方法中，最终得到我们的JCMF推荐方法。
推荐任务定义：
在本公开中，我们使用粗体大写字母(例如X)来表示矩阵和图形，并使用波浪形大写字母(例如x)来表示集合。我们使用带有下标的粗体大写字母(例如Xi)来表示向量，并使用正常的小写或大写字母(例如，x或X)来表示标量。如果没有特别标注，所有向量都是列向量。本公开中使用的符号总结在表1中。
在CR场景中，可以使用四种信息，即用户项目评分矩阵，用户的社交网络，项目之间的关系，以及用户和项目的评论文本。
令
Figure BDA0002231683670000111
和
Figure BDA0002231683670000112
分别表示N个用户和M个项目的集合。
R＝(rij)N×M表示用户对项目的评分矩阵，其中每一项ij表示用户i对项目j的评分。
C＝cij)M×M表示项目-项目关系矩阵，其中每一项ij＝1表示项目i和项目j之间存在直接关联，否则ij＝0。
S＝sij)N×N表示用户社交网络的矩阵，其中ij＝1表示用户ui与uj具有直接社交关联，否则ij＝0。
假设Y和X分别是来自用户和项目的评论文本集合。将CR的任务定义为，探索关系矩阵C，S和评论文本X和Y，以便对评分矩阵R进行准确的预测。
表1 符号说明
Figure BDA0002231683670000113
Figure BDA0002231683670000121
输入：用户集合
Figure BDA0002231683670000122
项目集合
Figure BDA0002231683670000123
用户项目评分矩阵R，用户社交网络的邻接矩阵S，项目关系矩阵C，用户评论文本Y和项目评论文本X。
输出：评分预测函数，将项目映射到评分分数f:
Figure BDA0002231683670000124
回顾ConvMF模型：
为了获取项目文档上下文信息，我们首先引入ConvMF作为我们的基本推荐框架，它首次将CNN集成到概率矩阵分解模型PMF中，来捕获文档的上下文信息，进一步提高评分预测的准确性。图3为ConvMF的概率模型图。
假设观察到的评分矩阵由R＝(rij)N×M表示，其中N和M分别是用户和项目的数量。设
Figure BDA0002231683670000125
和
Figure BDA0002231683670000126
为用户潜在特征矩阵和项目潜在特征矩阵，列向量Ui和Vj分别表示特定用户潜在特征向量和特定项目潜在特征向量。评分矩阵R的条件概率分布如下：
Figure BDA0002231683670000127
其中
Figure BDA0002231683670000128
表示服从均值为μ，方差为
Figure BDA0002231683670000129
的高斯正态分布的概率密度函数。Iij是指示函数，当用户i对项目j有评分时其值为1，否则为0。
对于用户的潜在特征矩阵U,设置均值为0的高斯先验：
Figure BDA0002231683670000131
对于项目潜在特征V，ConvMF假设它由三个变量生成：1)CNN的内部权重W1，2)项目j的文档Xj和3)用于优化项目潜在特征向量的高斯噪声(用∈表示)。然后，项目潜在特征由以下等式给出：
Vj＝cnn(W1,Xj)+∈j
Figure BDA0002231683670000132
与用户潜在特征U类似，我们对W1中的每个权重
Figure BDA0002231683670000133
上设置零均值高斯先验：
Figure BDA0002231683670000134
项目潜在特征矩阵V的概率模型则由下式得到：
其中，cnn(W1,Xj)作为高斯分布的均值，表示由CNN学习到的项目文本特征向量。它桥接了CNN和PMF两个模型。
但是，ConvMF假定项目是独立同分布的，并且仅从项目角度建模上下文信息。它没有考虑考虑项目之间的关系和用户之间的关系以及用户的文本上下文信息。
CMF-I模型：
ConvMF忽略了项目之间的关系，但这种关系是许多推荐场景中的一个重要因素。例如，在项目推荐场景中，当一个用户在过去购买过鱼竿，他/她可能会在以后购买鱼饵。在短时间间隔内购买的物品彼此之间具有很强的相关性。基于这种考虑，我们通过以下数据策略构建项目关系网络。即，如果两个项目在短时间内(由ΔT表示)被同一个用户有过评分，那么我们假设这两个项目是相关的。对于超出时间窗口或未被同一用户评分的项目，我们无法推断任何相关性。项目关系网络的定义如下：
定义1(项目关系网络)。设
Figure BDA0002231683670000141
为项目关系网络，其中εV为边集合。给定时间间隔ΔT，对于由同一用户评分的项目对{(vi,ti)，(vj,tj)}，其中，
Figure BDA0002231683670000142
Figure BDA0002231683670000143
ti和tj是被评分的时间。如果0<tj-ti≤ΔT，那么在vi和vj之间将有一条边((vi，vj)∈εV)；否则就没有边。
设C＝(cij)M×M表示项目关系网络
Figure BDA0002231683670000144
的邻接矩阵，其中每一项cij都表示项目vi与vj是否存在关系，若cij＝1表示项目vi与vj之间存在直接关联，cij＝0则相反。我们将C分解为学习项目相关关系的低维表示。我们使用
Figure BDA0002231683670000145
和
Figure BDA0002231683670000146
表示潜在项目关系矩阵和项目特征矩阵，其中列向量Ki和Vj分别表示特定关系特征向量和特定项目的潜在特征向量。将关系网络的条件分布可以定义为：
Figure BDA0002231683670000147
其中，
Figure BDA0002231683670000148
是指示函数。对于关联特征向量K,设置均值为0的高斯先验：
Figure BDA0002231683670000149
在图4中所示，为了将项目关系网络集成到ConvMF中。我们在项目关系矩阵和评分矩阵之间共享项目潜在特征V。项目潜在特征不仅会受到评分和内容的影响，项目之间的关系也会对它产生影响。在结合项目关系矩阵之后，利用项目关系的卷积矩阵分解方法(CMF-I)的联合概率分布写成：
Figure BDA0002231683670000151
CMF-SI模型
CMF-I只考了虑项目之间关系的影响，并没有探索用户之间的社会影响。在现实世界中，由于我们经常向朋友寻求建议，社会关系也是影响我们决策的关键因素。为了利用社会影响来提高推荐的准确性，提出使用项目关系和社交关系的卷积矩阵分解方法(Convolutional Matrix Factorization with Social and Item Relations，CMF-SI)，它利用共享同一用户特征向量来桥接用户社交网络和评分矩阵。图5为CMF-SI的模型架构。
设S＝(sij)N×N表示社交网络
Figure BDA0002231683670000152
的邻接矩阵，其中每一项sij都表示用户ui与uj是否具有社交关系，sij＝1表示用户ui与uj具有直接社交关联，sij＝0则相反。与CMF-I一样，我们采用类似的矩阵分解技术来分解S，我们将S分解为学习用户社交关系的低维表示。我们使用
Figure BDA0002231683670000153
及
Figure BDA0002231683670000154
表示用户潜在特征矩阵和社交特征矩阵，其中列向量Ui和Zj分别表示特定用户的特征向量和特定社交特征向量。将用户社交网络S的条件分布定义为：
其中，是指示函数。同项目关系特征矩阵K相似，对于社交特征矩阵Z,设置均值为0的高斯先验：
Figure BDA0002231683670000157
如图5所示，我们通过在用户的社交网络和用户项目评分矩阵之间共享用户潜在特征U，将社会关系纳入CMF-I。也就是说，用户潜在特征U不仅受到社交网络S的影响，同时也受到评分矩阵R的影响。CMF-SI的联合概率分布表示为：
Figure BDA0002231683670000161
JCMF模型：
在CMF-SI中，在ConvMF框架中共同建模用户之间的关系、项目之间的关系以及项目评论文本。但是，它只考虑项目的文本信息，忽略了用户的文本信息。它与项目上下文信息不同，应被视为不同的推荐因素。为了建模用户的评论文本，将另一个CNN模块融合到CMF-SI中，得到我们的最终推荐方法联合卷积矩阵分解模型(JCMF)。
JCMF的模型图如图6所示，用户潜在特征是由三个变量产生的(类似于项目潜在因素：1)CNN的内部权重W2，2)用户i的评论信息Yi和3)高斯噪声(用∈表示)。然后，用户潜在特征由以下等式给出：
Ui＝cnn(W2,Yi)+∈i
Figure BDA0002231683670000162
我们对CNN中的内部权重W2设置零均值高斯先验：
用户潜在特征矩阵U的概率模型则由下式得到：
其中，cnn(W2,Yi)作为高斯分布的均值，表示由CNN学习到的用户文本特征向量，它试图从用户的评论和用户项目评分矩阵中同时捕捉用户的潜在特征。最终，JCMF的联合概率分布可以表示为：
Figure BDA0002231683670000171
模型优化：
为了优化公式(13)中的U,V,K,Z,W1,W2变量，本公开使用最大后验(MAP)估计作为学习方法：
Figure BDA0002231683670000172
通过对公式(14)取负对数，JCMF的损失函数表示为：
Figure BDA0002231683670000173
其中，
Figure BDA0002231683670000177
Figure BDA0002231683670000174
以及都为正则化参数，
Figure BDA0002231683670000176
为Frobenius范数。
与ConvMF模型相似，本公开采用坐标下降法作为优化算法，即迭代地更新变量同时固定其它变量不变。举例来说，当更新U时，我们暂时假设V，K，Z，W1，W2是常数，损失函数(13)成为关于U的二次方。因此，变量Ui，Vj，Ki，Zj的优化公式为：
Figure BDA0002231683670000181
Figure BDA0002231683670000182
Figure BDA0002231683670000184
其中，i，和是对角矩阵，Ri，Si和Cj分别是矩阵R，S，C的列向量。
由于W1和W2与CNN结构(比如卷积层和池化层)相关，故不能通过以上方式优化。尽管如此，当固定U，V，K，Z为常量时，损失函数可以解释为具有
2正则项的平方误差函数。W1和W2的损失函数定义如下：
Figure BDA0002231683670000187
Figure BDA0002231683670000188
为了优化W1和W2，对ε(W1)和ε(W2)采用反向传播算法。
JCMF的学习算法如表2所示:
表2 JCMF的学习算法
Figure BDA0002231683670000191
实验
为了评估JCMF算法的性能，本公开在真实数据集Yelp上进行了实验。实验结果有助于回答以下问题：
1)相比于相关的推荐算法，本公开所提出的算法是否能取得更好的效果；
2)项目关系网络是否有助于提升推荐性能；
3)社交网络是否能够提高推荐结果；
4)用户评论对于JCMF的推荐效果是否有贡献；
5)相比ConvMF，JCMF能否快速收敛；
本公开首先介绍实验设置内容，包括数据集，评估方法以及实验细节。接下来展示实验结果。
本公开采用Yelp数据集验证算法的性能。该数据集包含四个国家11个地区的用户及商家。由于该数据集过大，本公开根据不同的地区将其划分成不同的子集，然后随机选取了两个洲的子集(NC和WI)进行了实验。表3描述了这两个子数据集。
表3 数据集分析
Figure BDA0002231683670000201
评估方法：
实验过程中，将数据集按照8：1：1的比例划分为训练集、验证集和测试集。本公开采用均方根误差RMSE和MAE作为评估方法。训练目标即最小化评分的真实值和预测值之间的误差。RMSE和MAE分别定义为：
Figure BDA0002231683670000211
Figure BDA0002231683670000212
其中，rij指评分的观测值，
Figure BDA0002231683670000213
指预测的真实值，|Dtest|表示验证集样本的数量。
实验结果：
为了对比JCMF算法的性能，本公开使用以下方法作为对比方法：
·PMF：概率矩阵分解是最基础的推荐算法之一，通过分解评分矩阵进行推荐。·SoRec:SoRec基于PMF框架，将社交关系与评分信息相结合实现社会化推荐。
·SocialMF：另一种社会化推荐算法，利用用户信任传递关系来对用户的潜在偏好进行建模。
·TrustMF：基于用户之间的相互信任关系实现评分预测的社会化推荐算法。·TrustSVD:一种基于信任的矩阵分解技术，同时考虑评分和信任的显性及隐性影响。
·DeepCoNN:最先进的利用评论信息的推荐算法之一，该算法包含两个平行的CNN同时提取用户和项目的评论。
·ConvMF：一种基于文档上下文感知的卷积矩阵分解算法，该算法使用CNN建模文本信息并整合到矩阵分解中。
为了评估项目关系、社交网络和用户评论的重要性，我们进一步将JCMF与以下方法进行了比较：
·CMF-I：这是JCMF的变体版本，它只考虑项目的关系网络来进行推荐。这是为了验证项目关系的重要性。
CMF-SI：这是JCMF的另一个变体版本，它共同考虑了项目关系网络和用户社交网络。同时，与JCMF相比，它没有建模用户的评论信息。
图7(a)-图7(d)展示了在NC和WI上依据RMSE和MAE的实验结果。从中我们得到以下观察结果：
1)我们的JCMF方法在两个数据集上都实现了最佳性能(JCMF和其他基线方法之间的改善是显着的)。这个结果证明了我们的JCMF解决方案的有效性，即共同考虑用户之间的关系，项目之间的关系以及用户和项目的评论文本有助于在CR任务中进行推荐。
2)基于神经网络的推荐(即DeepCoNN，ConvMF，CMF-I，CMF-SI，JCMF)比传统的基于MF的方法表现更好，这表明神经网络在学习用户-项目交互数据的有效性，因为它们能够捕获用户和项目的非线性和高级潜在特征。
3)ConvMF比传统的社会推荐方法具有更好的性能(即，SoRec，SocialMF，TrustMF，TrustSVD)。这表明文档上下文信息有助于提升CR目标，并且共同考虑它们可以比仅利用社交网络信息能够做出更准确的推荐。
在这项工作中，我们研究了CR，并提出了联合卷积矩阵分解JCMF，在统一的推荐框架中同时考虑用户和项目的评论文本，以及用户间和项目间的关系。更具体地说，为了考虑项目相关性的影响，我们假设同一个用户在短时间内购买/点击的项目与每个项目都有很强的相关性。然后，我们通过共享的项目特征空间将预定义的项目关系网络合并到ConvMF中。为了考虑用户社会关系的影响，我们通过在用户-项目矩阵和社交网络之间共享用户潜在空间，来进一步整合用户的社交关系。为了考虑用户评论文档的影响，我们利用另一个CNN模块提取用户文本的上下文信息。在真实数据集上的实验结果证明，与其他基线方法相比，我们提出的方法具有优越性。
本公开的主要贡献总结如下：
1)我们系统地解决在线系统中的上下文推荐问题，并提出联合卷积矩阵分解JCMF来共同考虑用户和项目的评论，以及用户之间和项目之间的关系。
2)我们提出了一种项目关系感知推荐方法CMF-I来考虑项目之间的关系。
3)我们通过将社交网络和用户项目矩阵共享在同一用户潜在特征矩阵中，将用户社交关系纳入CMF-I。
4)我们合并另一个CNN网络来建模用户的文档上下文信息。
5)我们在真实数据集Yelp上进行了大量实验，以证明我们提出的方法的有效性。
实施例二，本实施例提供了基于联合卷积矩阵分解的文档上下文感知推荐系统；
基于联合卷积矩阵分解的文档上下文感知推荐系统，包括：
获取模块，其被配置为：获取待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵；
输入模块，其被配置为：将获取的待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵，输入到预训练的JCMF模型中；
输出模块，其被配置为：JCMF模型输出待推荐用户对项目的评分矩阵，按照待推荐用户对项目的评分矩阵中评分由大到小的顺序，将对应的项目作为推荐结果输出。
实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。
实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于联合卷积矩阵分解的文档上下文感知推荐方法，其特征是，包括：
获取待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵；
将获取的待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵，输入到预训练的JCMF模型中；
JCMF模型输出待推荐用户对项目的评分矩阵，按照待推荐用户对项目的评分矩阵中评分由大到小的顺序，将对应的项目作为推荐结果输出。
2.如权利要求1所述的方法，其特征是，所述用户社交网络矩阵，是指用户与其他用户之间的好友关系，如果是好友，则用户社交网络矩阵中的元素值为1；如果不是好友，则用户社交网络矩阵中的元素值为0。
3.如权利要求1所述的方法，其特征是，
所述用户评论文本，是指用户对项目的文本评论内容；
所述项目评论文本，是指项目所接收到的来自于用户的评论内容。
4.如权利要求1所述的方法，其特征是，所述项目关系矩阵，是指项目与其他项目之间的相关关系，如果两个项目在设定时间段内被同一用户访问或购买，则项目关系矩阵中对应的元素值为1；如果没有被同一用户访问，则项目关系矩阵中对应的元素值为0。
5.如权利要求1所述的方法，其特征是，所述JCMF模型，包括：第一卷积神经网络CNN、第二卷积神经网络CNN和联合概率矩阵分解模型JPMF；
其中，第一卷积神经网络CNN，用于对用户评论文本进行特征提取，提取出用户评论文本的特征；
其中，第二卷积神经网络CNN，用于对项目评论文本进行特征提取，提取出项目评论文本的特征；
其中，联合概率矩阵分解模型JPMF，用于将用户社交网络矩阵、项目关系矩阵、用户评论文本特征和项目评论文本特征，利用概率分布函数进行计算，输出用户潜在特征矩阵U和项目潜在特征矩阵V；基于用户潜在特征矩阵U和项目潜在特征矩阵V，重构评分矩阵；最终得到用户对项目的预测评分矩阵。
6.如权利要求5所述的方法，其特征是，所述联合概率矩阵分解模型JPMF的概率分布函数为：
Figure FDA0002231683660000021
其中，U表示用户潜在特征矩阵，V表示项目潜在特征矩阵，K表示项目潜在关系矩阵，Z表示用户潜在社交矩阵；W1表示第一卷积神经网络内部权重；W2表示第二卷积神经网络内部权重；R表示用户项目评分矩阵，C表示项目关系矩阵，S表示用户社交矩阵；X表示项目评论文本，Y表示用户评论文本；Iij是指示函数，当用户i对项目j有评分时，Iij的值为1，否则Iij的值为0；σ为高斯分布的方差；∝表示其前后成正比例，读作正比于。
7.如权利要求1所述的方法，其特征是，JCMF模型的预训练步骤包括：
构建JCMF模型；
构建数据集，将数据集按设定比例分为：训练集、验证集和测试集；所述数据集，包括：已知用户的用户社交网络矩阵、用户评论文本、项目评论文本、项目关系矩阵和已知用户的用户对项目的评分矩阵；
将训练集输入到JCMF模型中，对JCMF模型进行训练，当JCMF模型的损失函数值达到最小值时，停止训练，得到训练好的JCMF模型；
将验证集输入到训练好的JCMF模型中对模型进行验证；
当验证结果的精确度满足设定阈值时，对应的JCMF模型即为最终的JCMF模型。
8.基于联合卷积矩阵分解的文档上下文感知推荐系统，其特征是，包括：
获取模块，其被配置为：获取待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵；
输入模块，其被配置为：将获取的待推荐用户的用户社交网络矩阵、用户评论文本、项目评论文本和项目关系矩阵，输入到预训练的JCMF模型中；
输出模块，其被配置为：JCMF模型输出待推荐用户对项目的评分矩阵，按照待推荐用户对项目的评分矩阵中评分由大到小的顺序，将对应的项目作为推荐结果输出。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
CN201910969795.XA 2019-10-12 2019-10-12 基于联合卷积矩阵分解的文档上下文感知推荐方法及系统 Expired - Fee Related CN110781405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910969795.XA CN110781405B (zh) 2019-10-12 2019-10-12 基于联合卷积矩阵分解的文档上下文感知推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910969795.XA CN110781405B (zh) 2019-10-12 2019-10-12 基于联合卷积矩阵分解的文档上下文感知推荐方法及系统

Publications (2)

Publication Number Publication Date
CN110781405A true CN110781405A (zh) 2020-02-11
CN110781405B CN110781405B (zh) 2020-05-29

Family

ID=69385276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910969795.XA Expired - Fee Related CN110781405B (zh) 2019-10-12 2019-10-12 基于联合卷积矩阵分解的文档上下文感知推荐方法及系统

Country Status (1)

Country Link
CN (1) CN110781405B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523051A (zh) * 2020-04-24 2020-08-11 山东师范大学 基于图卷积矩阵分解的社交兴趣推荐方法及系统
CN112883289A (zh) * 2021-04-16 2021-06-01 河北工程大学 一种基于社交信任和标签语义相似度的pmf推荐方法
CN115422453A (zh) * 2022-08-31 2022-12-02 哈尔滨工业大学（深圳） 项目推荐方法及项目推荐装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550211A (zh) * 2015-12-03 2016-05-04 云南大学 一种融合社交网络和项目内容的协同推荐系统
CN105808786A (zh) * 2016-04-05 2016-07-27 电子科技大学 一种基于内容互信的协同主题回归标签推荐方法
CN108470075A (zh) * 2018-04-12 2018-08-31 重庆邮电大学 一种面向排序预测的社会化推荐方法
CN108920503A (zh) * 2018-05-28 2018-11-30 哈尔滨工程大学 一种基于社交网络信任度的微视频个性化推荐算法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970873B (zh) * 2014-05-14 2018-02-13 中国联合网络通信集团有限公司 一种音乐推荐方法和系统
CN105159962B (zh) * 2015-08-21 2018-08-17 北京全聘致远科技有限公司 职位推荐方法与装置、简历推荐方法与装置、招聘平台
CN105677850B (zh) * 2016-01-07 2019-03-26 浙江大学 一种基于神经网络模型的上下文感知音乐推荐方法
CN106168953B (zh) * 2016-06-02 2019-12-20 中国人民解放军国防科学技术大学 面向弱关系社交网络的博文推荐方法
CN108287904A (zh) * 2018-05-09 2018-07-17 重庆邮电大学 一种基于社会化卷积矩阵分解的文档上下文感知推荐方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550211A (zh) * 2015-12-03 2016-05-04 云南大学 一种融合社交网络和项目内容的协同推荐系统
CN105808786A (zh) * 2016-04-05 2016-07-27 电子科技大学 一种基于内容互信的协同主题回归标签推荐方法
CN108470075A (zh) * 2018-04-12 2018-08-31 重庆邮电大学 一种面向排序预测的社会化推荐方法
CN108920503A (zh) * 2018-05-28 2018-11-30 哈尔滨工程大学 一种基于社交网络信任度的微视频个性化推荐算法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523051A (zh) * 2020-04-24 2020-08-11 山东师范大学 基于图卷积矩阵分解的社交兴趣推荐方法及系统
CN112883289A (zh) * 2021-04-16 2021-06-01 河北工程大学 一种基于社交信任和标签语义相似度的pmf推荐方法
CN112883289B (zh) * 2021-04-16 2022-05-06 河北工程大学 一种基于社交信任和标签语义相似度的pmf推荐方法
CN115422453A (zh) * 2022-08-31 2022-12-02 哈尔滨工业大学（深圳） 项目推荐方法及项目推荐装置
CN115422453B (zh) * 2022-08-31 2023-09-29 哈尔滨工业大学（深圳） 项目推荐方法及项目推荐装置

Also Published As

Publication number Publication date
CN110781405B (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
Yuan et al. Expert finding in community question answering: a review
CN111931062B (zh) 一种信息推荐模型的训练方法和相关装置
Khan et al. CNN with depthwise separable convolutions and combined kernels for rating prediction
Lian et al. Scalable content-aware collaborative filtering for location recommendation
CN112000819B (zh) 多媒体资源推荐方法、装置、电子设备及存储介质
JP7160980B2 (ja) 情報提供装置、情報提供方法、およびプログラム
CN110781405B (zh) 基于联合卷积矩阵分解的文档上下文感知推荐方法及系统
Orphanou et al. Mitigating bias in algorithmic systems—a fish-eye view
Pan et al. Learning adaptive trust strength with user roles of truster and trustee for trust-aware recommender systems
Hu et al. Learning informative priors from heterogeneous domains to improve recommendation in cold-start user domains
CN113918832B (zh) 基于社交关系的图卷积协同过滤推荐系统
CN113918834B (zh) 融合社交关系的图卷积协同过滤推荐方法
US11593891B2 (en) Systems and methods for a cross media joint friend and item recommendation framework
CN112257841A (zh) 图神经网络中的数据处理方法、装置、设备及存储介质
CN113918833A (zh) 通过社交网络关系的图卷积协同过滤实现的产品推荐方法
Zhang et al. Recommendation system in social networks with topical attention and probabilistic matrix factorization
CN110795640B (zh) 一种弥补群组成员差异的自适应组推荐方法
CN113590976A (zh) 一种空间自适应图卷积网络的推荐方法
Abdollahi Accurate and justifiable: new algorithms for explainable recommendations.
Hain et al. The promises of Machine Learning and Big Data in entrepreneurship research
Guo et al. Learning to make document context-aware recommendation with joint convolutional matrix factorization
CN115564013B (zh) 提高网络表示学习表示能力的方法、模型训练方法和系统
Wang et al. Multi‐feedback Pairwise Ranking via Adversarial Training for Recommender
Liu et al. Collaborative social deep learning for celebrity recommendation
Farnadi et al. User profiling using hinge-loss Markov random fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200529

Termination date: 20211012

CF01 Termination of patent right due to non-payment of annual fee