CN112100485A - 一种基于评论的评分预测物品推荐方法及系统 - Google Patents

一种基于评论的评分预测物品推荐方法及系统 Download PDF

Info

Publication number
CN112100485A
CN112100485A CN202010843213.6A CN202010843213A CN112100485A CN 112100485 A CN112100485 A CN 112100485A CN 202010843213 A CN202010843213 A CN 202010843213A CN 112100485 A CN112100485 A CN 112100485A
Authority
CN
China
Prior art keywords
user
layer
item
representation
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010843213.6A
Other languages
English (en)
Inventor
杨振宇
张鸣鸽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202010843213.6A priority Critical patent/CN112100485A/zh
Publication of CN112100485A publication Critical patent/CN112100485A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Abstract

本发明属于物品推荐领域，提供了一种基于评论的评分预测物品推荐方法及系统。其中，基于评论的评分预测物品推荐方法包括获取用户评论和物品描述；经评分预测模型输出物品的评分预测结果；按照评分预测结果从高到低进行推荐；其中，评分预测模型包括依次连接的序列化文本层、图卷积神经网络层和多层感知机；序列化文本层用于并行提取用户评论和物品描述的特征，输出并拼接用户表示和物品表示形成节点；图卷积神经网络层用于节点和节点之间的特征学习；多层感知机用于基于特征学习的节点输出相应物品的评分预测结果。

Description

一种基于评论的评分预测物品推荐方法及系统
技术领域
本发明属于物品推荐领域，尤其涉及一种基于评论的评分预测物品推荐方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
近年来，在基于评分预测的任务中，矩阵分解(MF)是相当主流且首欢迎的方法。它能够通过利用用户和物品的潜在特征来建模用户的显式反馈(如点击、收藏、评分等)。有许多研究是基于矩阵分解方法来实现推荐系统中的评分任务。2008年发表的工作提出了经典Probabilistic Matrix Factorization(PMF)，它是以中线性因子模型，它使用与用户相关的系数，将用户的偏好建模成一个一系列向量的线性组合。随后研究者们发现，除了可以利用显式评分外，还可以利用用户的隐式反馈进行建模。于是，在用户除了显式评分外，隐式反馈信息同样有助于用户的偏好建模，因此随后提出了SVD++。该方法认为，用户除了对于项目的显式历史评分记录外，浏览记录或者收藏列表等隐反馈信息同样可以从侧面一定程度上反映用户的偏好，比如用户的收藏行为可以从侧面反映他对于这个物品感兴趣。但是数据量大且稀疏的时候，推荐结果就表现得不那么令人满意。另一个矩阵分解的缺点是无法为模型提供可解释性。当用户与物品产生了显式地交互，尽管我们能够预测得到用户可能给出的评分，但是却无法解释是什么因素在起作用。
综上所述，发明人发现，现有的基于评论的评分预测推荐存在推荐模型解释性差且用户偏好表征粗糙，进而使得推荐结果的精确性差的问题。
发明内容
为了解决上述问题，本发明提供一种基于评论的评分预测物品推荐方法及系统，其从同构空间中学习评论文本的特征，然后在图结构的空间中学习更复杂的交互，同时作用户和物品数据，实现对评分的预测更加有解释性且表征用户偏好的粒度更细，提高了推荐结果的准确性。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于评论的评分预测物品推荐方法。
在一个或多个实施例中，一种基于评论的评分预测物品推荐方法，包括：
获取用户评论和物品描述；
经评分预测模型输出物品的评分预测结果；
按照评分预测结果从高到低进行推荐；
其中，评分预测模型包括依次连接的序列化文本层、图卷积神经网络层和多层感知机；序列化文本层用于并行提取用户评论和物品描述的特征，输出并拼接用户表示和物品表示形成节点；图卷积神经网络层用于节点和节点之间的特征学习；多层感知机用于基于特征学习的节点输出相应物品的评分预测结果。
本发明的第二个方面提供一种基于评论的评分预测物品推荐系统。
在一个或多个实施例中，一种基于评论的评分预测物品推荐系统，包括：
数据获取模块，其用于获取用户评论和物品描述；
评分预测模块，其用于经评分预测模型输出物品的评分预测结果；
物品推荐模块，其用于按照评分预测结果从高到低进行推荐；
其中，评分预测模型包括依次连接的序列化文本层、图卷积神经网络层和多层感知机；序列化文本层用于并行提取用户评论和物品描述的特征，输出并拼接用户表示和物品表示形成节点；图卷积神经网络层用于节点和节点之间的特征学习；多层感知机用于基于特征学习的节点输出相应物品的评分预测结果。
本发明的第三个方面提供一种计算机可读存储介质。
在一个或多个实施例中，一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于评论的评分预测物品推荐方法中的步骤。
本发明的第四个方面提供一种计算机设备。
在一个或多个实施例中，一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于评论的评分预测物品推荐方法中的步骤。
本发明的有益效果是：
(1)本发明的评分预测模型是一个异构的推荐系统模型(TextOG)，其首先从同构空间中学习评论文本的特征，然后在图结构的空间中学习更复杂的交互，该流程同时作用户和物品数据，实现了对评分的准确预测。
(2)本发明使用了一种能够无监督地学习句子的语法和结构信息的神经网络(ON-LSTM)来对评论文本进行编码，这使得在文本上的特征处理更加精细。
(3)本发明使用了图卷积神经网络来实现图结构中的复杂空域交互任务，利用空域卷积的消息传递能力，并通过扩大感受野使得图上的节点特征进一步得以丰富，用户偏好的表征粒度更细，最终提高了物品推荐的精准度。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于评论的评分预测物品推荐方法流程图；
图2是本发明实施例的评分预测模型结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
参照图1，本实施例的基于评论的评分预测物品推荐方法，其包括：
S101：获取用户评论和物品描述。
具体地，用户评论包括对物品的质量或颜色等做出的评价。比如：某书包质量好，且颜色正等。
物品描述，包括物品描的类别，属性，外观等特征；比如：某物品为背包，双肩包、红色等。
S1012：经评分预测模型输出物品的评分预测结果。
推荐系统模型TextOG使用评论为用户行为和商品属性建模。它通过利用评论文本来学习用户和商品的潜在隐性因素，从而使学习的因素可以估计用户给出的评分。本实施例首先利用ON-LSTM对用户和商品的评论文本分别进行特征编码，这使得该层可以学到层次化的评论语法结构和语义信息，该部分由两个并行的神经网络组成。为了进一步学习用户和物品信息在更复杂的非欧几里得空间内的特征表示，本实施例引入一个图卷积神经网络层，从图的角度对用户信息和物品信息进行学习。在顶部有一个共享层。以联合的方式训练网络，以最小的预测误差预测等级。
本实施例所提出的评分预测模型结构如图2所示。该模型首先分别使用一个用于用户的模块和一个用于物品的模块分别对用户描述和物品评论进行建模。用户评论和项目评论分别作为输入提供给用户模块和物品模块。然后将两个模块的输出在图卷积神经网络层进行异质信息的进一步学习，并通过一个共享层产生相应的评分作为输出。
在模型的第一层，也就是序列表示层先定义了一个查表层。这是的我们可以通过词嵌入的方式来从评论文本中获取语义层面的词信息。然后我们对评论文本进行文本序列层面的学习，用于发现用户和项目的特征的公共层。它在用户模块和物品模块中有相同的表示，具体地包括一个ON-LSTM层，平均池化层。此外，序列学习模块的输出使我们可以得到降维后的用户表示和物品的评论表示，并作为图卷积神经网络层的输入，以构建基于用户和物品的图结构。本实施例使用了一个可以通过控制超参数调整节点消息的传播距离的图卷积网络结构。与直接连接全连接网络层相比，这样的图卷积网络层使用了更少的参数，且一定程度上减少了图卷积的过平滑问题。最后，本实施例通过多层感知机得到预测的评分。
具体地，如图2所示，评分预测模型包括依次连接的序列化文本层、图卷积神经网络层和多层感知机；序列化文本层用于并行提取用户评论和物品描述的特征，输出并拼接用户表示和物品表示形成节点；图卷积神经网络层用于节点和节点之间的特征学习；多层感知机用于基于特征学习的节点输出相应物品的评分预测结果。
在具体实施中，在序列化文本层中，定义一个查表层，通过词嵌入的方式来分别从用户评论和物品描述中获取语义层面的词信息。
其中，所述序列化文本层由并列的用户模块和物品模块构成，用户模块和物品模块均由依次连接的ON-LSTM网络层、平均池化层和全连接层构成。
具体地，通过一个词嵌入的方式：f：words→Rn，将所有的词映射到n维的分布式表示向量，其中，words表示词典。在look-up层中，评论表示为单词嵌入矩阵，以提取其语义信息。为此，将由用户u给出的所有评论(表示为用户评论)合并到一个文档
Figure BDA0002642176150000061
中，该文档总共由n个单词组成。然后，为用户u建立表示为
Figure BDA0002642176150000062
的单词向量矩阵：
Figure BDA0002642176150000063
其中，doci u表示用户u的文档的第i个词。f是look-up函数，它能够返回单词的对应的单词向量，
Figure BDA0002642176150000064
是串联运算符。i＝1，2...，n。
使用ON-LSTM在每一个
Figure BDA0002642176150000065
进行计算。该层由k个神经元组成，这些神经元通过在词向量上应用可以为评论产生新对特征。ON-LSTM能够区分高低层次的信息，将无序的神经元进行特定地排序，这可以使该网络层能够在词向量所带来的词义的基础上，学到层次化的语法信息。进一步地，使用一个多层的ON-LSTM一定程度上可以学到文本的语义学习。这是深度神经网络的强大表征能力的体现。
高层级的信息意味着它要在高层级对应的编码区保留更久，不容易被遗忘门所过滤掉，而低层级的信息则意味着更容易被更新和遗忘。对于一条评论文本的编码任务来说，这样的特性能够使模型在对评论文本中的编码中将无用、冗余的信息过滤和更新，而对重要对、骨干的句子信息进行保留。使用以下式子来表示该网络结构：
ft＝σ(Wfxt+Ufht-1+bf) (2)
it＝σ(Wixt+Uiht-1+bi) (3)
ot＝σ(Woxt+Uoht-1+bo) (4)
Figure BDA0002642176150000071
Figure BDA0002642176150000072
Figure BDA0002642176150000073
Figure BDA0002642176150000074
Figure BDA0002642176150000075
Figure BDA0002642176150000076
其中，ft，it，ot分别表示遗忘门、输入门、输出门，它们的输入是历史信息ht-1和当前信息xt。σ是非线性激活函数。
Figure BDA0002642176150000077
把历史信息和当前信息进行一个融合后得到的当前状态。
Figure BDA0002642176150000078
t时刻的主遗忘门信息；
Figure BDA0002642176150000079
t时刻的主输出门信息；ct：融合了历史信息和当前信息得到的最终状态；Wf：遗忘门的权重矩阵；xt：神经网络t时刻的输入；Uf：遗忘门的更新状态；ht-1：上一时刻的隐藏状态信息；bf：遗忘门的偏置；Wi：输入门的权重矩阵；Ui：输入门的更新状态；bi：输入门的偏置；Wo：输出门的权重矩阵；Uo：输出门的更新状态；bo：输出门的偏置；Wc：融合了交集信息后的权重矩阵；Uc：融合了交集信息的更新状态；bc：用于学习交集信息的偏置；softmax：激活函数；
Figure BDA0002642176150000081
主遗忘门的权重矩阵；
Figure BDA0002642176150000082
主遗忘门的更新状态；
Figure BDA0002642176150000083
主遗忘门的偏置；
Figure BDA0002642176150000084
主遗忘门的权重矩阵；
Figure BDA0002642176150000085
主遗忘门的更新状态；
Figure BDA0002642176150000086
主输入门的偏置；wt：主输入门和主遗忘门的交集信息。
Figure BDA0002642176150000087
分别表示左向和右向的序列元素求和操作：
Figure BDA0002642176150000088
Figure BDA0002642176150000089
其中，x1，x2，...，xn：用户给出的n条评论的句子序列形式；
利用平均池化操作，本实施例在特征上进行平均池化操作，取平均值作为对应于该特定用户或物品的特征。这种合并方案可以自然地处理文本的各种长度。在平均池化操作之后，将每一条评论编码减小为固定大小的向量：
p＝mean{h1，h2，...，h(n-t+1)} (13)
q＝mean{h1，h2，...，h(n-t+1)} (14)
其中，b1，h2，...，h(n-t+1)是用户给出的所有评论的编码后的隐藏状态；
p和q分别表示我们通过平均池化得到的用户表示和物品表示。根据平均池化的输出，将全连接层的输出作为我们所考虑的用户表示xu和物品的表示xi：
xu＝f(W1×p+g) (15)
xi＝f(W2×q+g) (16)
其中，W1用于学习用户特征的全连接网络中的权重矩阵；W2：用户学习物品特征的全连接网络中的权重矩阵。
对用户和物品的节点表示进行拼接，来得到最终的用户表示：
Figure BDA0002642176150000091
使用ON-LSTM来分别对用户文本和物品文本进行编码，通过信息分级嵌入了层级结构。这使得在该层学习到了更紧凑的句子序列的表示形式，并在下一层的图卷积神经网络中得到节点级别的表示。
学习到更丰富的用户和物品表示，仅仅依靠对文本序列的编码是不足够的，因为用户和物品在非欧几里得空间内有着更加复杂的关系和更有价值的信息，例如偏好相近的用户和属性相近的用户。基于这样的考虑，利用图模型来进一步建模用户和物品信息。具体地，使用图卷积神经网络层来接收序列化文本层的用户表示和物品表示输出。为了利用图卷积神经网络的强大节点表征和消息传播能力，本实施例通过构建以用户为节点的图。
首先给出该部分所需要的符号表示，以便与我们清晰的描述网络结构。
定图G＝(V，E)，V表示图上的节点集合，E表示边的集合。n和m分别表示节点数量和边的数量。Z∈Rn×s表示节点的特征矩阵，其中s表示每一个节点的特征数量。L∈Rn×c表示标签矩阵，c表示标签的数量。标签矩阵是可选的，也就是说，对于图卷积网络来说，输入可以不包含标签。用伴随矩阵A∈Rn×n来描述图的结构，相应地，为伴随矩阵添加自环，
Figure BDA0002642176150000092
基于以上表示，我们可以给出图卷积网络的卷积操作：
f(0)＝H＝zθ(U) (18)
Figure BDA0002642176150000093
Figure BDA0002642176150000094
其中，f(0)：图卷积层的初始化状态；zθ(U)：表示图卷积网络生成的一个初始状态；f(k+1)：可以理解为第k层图卷积层的输出；α：一个图卷积网络中的超参数。
Figure BDA0002642176150000101
是添加自环的对称的归一化矩阵。
Figure BDA0002642176150000102
表示图卷积网络中的度矩阵。H表示预测矩阵，它即是起始向量又是传送集，K为迭代步数，且k∈[0，K-2]。U是序列化文本层的输出样本。
与经典图卷积方法相比，该方法在传播过程中不需要增加额外的参数，因此我们可以通过很少的参数传播到图上较远的距离，这使得图上的用户和物品之间的联系更加密切，能学习到更丰富的可解释的隐式信息。
在模型的最后，使用一个两层的多层感知机来得到评分预测结果：
g(x)＝softmax(b(2)+W(2)(sigmoid(b(1)+W(1)U))) (21)
其中，W是可学习的连接权重矩阵，b是偏置，U是图卷积层。b(2)：第二层图卷积网络的偏置；W(2)：第二层图卷积网络的权重；sigmoid：激活函数；b(1)：第一层图卷积网络的偏置；W(1)：第一层图卷积网络的权重。
进一步地，使用配对损失来优化模型：
Figure BDA0002642176150000103
其中，yij：真实的评分；
Figure BDA0002642176150000104
预测的评分；y：表示评分。
至此，完整的描述了TextOG模型的各个组件。可以看到，模型整体上是并行与串行相结合的方式来对用户和物品的交互与评论文本的建模。这与分别对用户和物品建模然后进行预测的工作是不一样的。在本实施例中，用户和物品的交互更加紧密，所提取的特征更加丰富。
S103：按照评分预测结果从高到低进行推荐。
本实施例的评分预测模型是一个异构的推荐系统模型(TextOG)，其首先从同构空间中学习评论文本的特征，然后在图结构的空间中学习更复杂的交互，该流程同时作用户和物品数据，实现了对评分的准确预测。
本实施例使用了一种能够无监督地学习句子的语法和结构信息的神经网络(ON-LSTM)来对评论文本进行编码，这使得在文本上的特征处理更加精细。
本实施例使用了图卷积神经网络来实现图结构中的复杂空域交互任务，利用空域卷积的消息传递能力，并通过扩大感受野使得图上的节点特征进一步得以丰富，用户偏好的表征粒度更细，最终提高了物品推荐的精准度。
实施例二
本实施例提供了一种基于评论的评分预测物品推荐系统，其包括：
(1)数据获取模块，其用于获取用户评论和物品描述。
具体地，用户评论包括对物品的质量或颜色等做出的评价。比如：某书包质量好，且颜色正等。
物品描述，包括物品描的类别，属性，外观等特征；比如：某物品为背包，双肩包、红色等。
(2)评分预测模块，其用于经评分预测模型输出物品的评分预测结果。
推荐系统模型TextOG使用评论为用户行为和商品属性建模。它通过利用评论文本来学习用户和商品的潜在隐性因素，从而使学习的因素可以估计用户给出的评分。本实施例首先利用ON-LSTM对用户和商品的评论文本分别进行特征编码，这使得该层可以学到层次化的评论语法结构和语义信息，该部分由两个并行的神经网络组成。为了进一步学习用户和物品信息在更复杂的非欧几里得空间内的特征表示，本实施例引入一个图卷积神经网络层，从图的角度对用户信息和物品信息进行学习。在顶部有一个共享层。以联合的方式训练网络，以最小的预测误差预测等级。
本实施例所提出的评分预测模型结构如图2所示。该模型首先分别使用一个用于用户的模块和一个用于物品的模块分别对用户描述和物品评论进行建模。用户评论和项目评论分别作为输入提供给用户模块和物品模块。然后将两个模块的输出在图卷积神经网络层进行异质信息的进一步学习，并通过一个共享层产生相应的评分作为输出。
在模型的第一层，也就是序列表示层先定义了一个查表层。这是的我们可以通过词嵌入的方式来从评论文本中获取语义层面的词信息。然后我们对评论文本进行文本序列层面的学习，用于发现用户和项目的特征的公共层。它在用户模块和物品模块中有相同的表示，具体地包括一个ON-LSTM层，平均池化层。此外，序列学习模块的输出使我们可以得到降维后的用户表示和物品的评论表示，并作为图卷积神经网络层的输入，以构建基于用户和物品的图结构。本实施例使用了一个可以通过控制超参数调整节点消息的传播距离的图卷积网络结构。与直接连接全连接网络层相比，这样的图卷积网络层使用了更少的参数，且一定程度上减少了图卷积的过平滑问题。最后，本实施例通过多层感知机得到预测的评分。
具体地，如图2所示，评分预测模型包括依次连接的序列化文本层、图卷积神经网络层和多层感知机；序列化文本层用于并行提取用户评论和物品描述的特征，输出并拼接用户表示和物品表示形成节点；图卷积神经网络层用于节点和节点之间的特征学习；多层感知机用于基于特征学习的节点输出相应物品的评分预测结果。
在具体实施中，在序列化文本层中，定义一个查表层，通过词嵌入的方式来分别从用户评论和物品描述中获取语义层面的词信息。
其中，所述序列化文本层由并列的用户模块和物品模块构成，用户模块和物品模块均由依次连接的ON-LSTM网络层、平均池化层和全连接层构成。
具体地，通过一个词嵌入的方式：f：words→Rn，将所有的词映射到n维的分布式表示向量，其中，words表示词典。在look-up层中，评论表示为单词嵌入矩阵，以提取其语义信息。为此，将由用户u给出的所有评论(表示为用户评论)合并到一个文档
Figure BDA0002642176150000131
中，该文档总共由n个单词组成。然后，为用户u建立表示为
Figure BDA0002642176150000132
的单词向量矩阵：
Figure BDA0002642176150000133
其中，doci u表示用户u的文档的第i个词。f是look-up函数，它能够返回单词的对应的单词向量，
Figure BDA0002642176150000134
是串联运算符。i＝1，2...，n。
使用ON-LSTM在每一个
Figure BDA0002642176150000135
进行计算。该层由k个神经元组成，这些神经元通过在词向量上应用可以为评论产生新对特征。ON-LSTM能够区分高低层次的信息，将无序的神经元进行特定地排序，这可以使该网络层能够在词向量所带来的词义的基础上，学到层次化的语法信息。进一步地，使用一个多层的ON-LSTM一定程度上可以学到文本的语义学习。这是深度神经网络的强大表征能力的体现。
高层级的信息意味着它要在高层级对应的编码区保留更久，不容易被遗忘门所过滤掉，而低层级的信息则意味着更容易被更新和遗忘。对于一条评论文本的编码任务来说，这样的特性能够使模型在对评论文本中的编码中将无用、冗余的信息过滤和更新，而对重要对、骨干的句子信息进行保留。使用以下式子来表示该网络结构：
ft＝σ(Wfxt+Ufht-1+bf) (2)
it＝σ(Wixt+Uiht-1+bi) (3)
ot＝σ(Woxt+Uoht-1+bo) (4)
Figure BDA0002642176150000141
Figure BDA0002642176150000142
Figure BDA0002642176150000143
Figure BDA0002642176150000144
Figure BDA0002642176150000145
Figure BDA0002642176150000146
其中，ft，it，ot分别表示遗忘门、输入门、输出门，它们的输入是历史信息ht-1和当前信息xt。σ是非线性激活函数。
Figure BDA0002642176150000147
把历史信息和当前信息进行一个融合后得到的当前状态。
Figure BDA0002642176150000148
t时刻的主遗忘门信息；
Figure BDA0002642176150000149
t时刻的主输出门信息；ct：融合了历史信息和当前信息得到的最终状态；Wf：遗忘门的权重矩阵；xt：神经网络t时刻的输入；Uf：遗忘门的更新状态；ht-1：上一时刻的隐藏状态信息；bf：遗忘门的偏置；Wi：输入门的权重矩阵；Ui：输入门的更新状态；bi：输入门的偏置；Wo：输出门的权重矩阵；Uo：输出门的更新状态；bo：输出门的偏置；Wc：融合了交集信息后的权重矩阵；Uc：融合了交集信息的更新状态；bc：用于学习交集信息的偏置；softmax：激活函数；
Figure BDA00026421761500001410
主遗忘门的权重矩阵；
Figure BDA00026421761500001411
主遗忘门的更新状态；
Figure BDA00026421761500001412
主遗忘门的偏置；
Figure BDA00026421761500001413
主遗忘门的权重矩阵；
Figure BDA00026421761500001414
主遗忘门的更新状态；
Figure BDA00026421761500001415
主输入门的偏置；wt：主输入门和主遗忘门的交集信息。
Figure BDA00026421761500001416
分别表示左向和右向的序列元素求和操作：
Figure BDA00026421761500001417
Figure BDA0002642176150000151
其中，x1，x2，...，xn：用户给出的n条评论的句子序列形式；
利用平均池化操作，本实施例在特征上进行平均池化操作，取平均值作为对应于该特定用户或物品的特征。这种合并方案可以自然地处理文本的各种长度。在平均池化操作之后，将每一条评论编码减小为固定大小的向量：
p＝mean{h1，h2，...，h(n-t+1)} (13)
q＝mean{h1，h2，...，g(n-t+1)} (14)
其中，h1，h2，...，h(n-t+1)是用户给出的所有评论的编码后的隐藏状态；
p和q分别表示我们通过平均池化得到的用户表示和物品表示。根据平均池化的输出，将全连接层的输出作为我们所考虑的用户表示xu和物品的表示xi：
xu＝f(W1×p+g) (15)
xi＝f(W2×q+g) (16)
其中，W1用于学习用户特征的全连接网络中的权重矩阵；W2：用户学习物品特征的全连接网络中的权重矩阵。
对用户和物品的节点表示进行拼接，来得到最终的用户表示：
Figure BDA0002642176150000152
使用ON-LSTM来分别对用户文本和物品文本进行编码，通过信息分级嵌入了层级结构。这使得在该层学习到了更紧凑的句子序列的表示形式，并在下一层的图卷积神经网络中得到节点级别的表示。
学习到更丰富的用户和物品表示，仅仅依靠对文本序列的编码是不足够的，因为用户和物品在非欧几里得空间内有着更加复杂的关系和更有价值的信息，例如偏好相近的用户和属性相近的用户。基于这样的考虑，利用图模型来进一步建模用户和物品信息。具体地，使用图卷积神经网络层来接收序列化文本层的用户表示和物品表示输出。为了利用图卷积神经网络的强大节点表征和消息传播能力，本实施例通过构建以用户为节点的图。
首先给出该部分所需要的符号表示，以便与我们清晰的描述网络结构。
定图G＝(V，E)，V表示图上的节点集合，E表示边的集合。n和m分别表示节点数量和边的数量。Z∈Rn×s表示节点的特征矩阵，其中s表示每一个节点的特征数量。L∈Rn×c表示标签矩阵，c表示标签的数量。标签矩阵是可选的，也就是说，对于图卷积网络来说，输入可以不包含标签。用伴随矩阵A∈Rn×n来描述图的结构，相应地，为伴随矩阵添加自环，
Figure BDA0002642176150000161
基于以上表示，我们可以给出图卷积网络的卷积操作：
f(0)＝H＝zθ(U) (18)
Figure BDA0002642176150000162
Figure BDA0002642176150000163
其中，f(0)：图卷积层的初始化状态；zθ(U)：表示图卷积网络生成的一个初始状态；f(k+1)：可以理解为第k层图卷积层的输出；α：一个图卷积网络中的超参数。
Figure BDA0002642176150000164
是添加自环的对称的归一化矩阵。
Figure BDA0002642176150000165
表示图卷积网络中的度矩阵。H表示预测矩阵，它即是起始向量又是传送集，K为迭代步数，且k∈[0，K-2]。U是序列化文本层的输出样本。
与经典图卷积方法相比，该方法在传播过程中不需要增加额外的参数，因此我们可以通过很少的参数传播到图上较远的距离，这使得图上的用户和物品之间的联系更加密切，能学习到更丰富的可解释的隐式信息。
在模型的最后，使用一个两层的多层感知机来得到评分预测结果：
g(x)＝softmax(b(2)+W(2)(sigmoid(b(1)+W(1)U))) (21)
其中，W是可学习的连接权重矩阵，b是偏置，U是图卷积层。b(2)：第二层图卷积网络的偏置；W(2)：第二层图卷积网络的权重；sigmoid：激活函数；b(1)：第一层图卷积网络的偏置；W(1)：第一层图卷积网络的权重。
进一步地，使用配对损失来优化模型：
Figure BDA0002642176150000171
其中，yij：真实的评分；
Figure BDA0002642176150000172
预测的评分；y：表示评分。
至此，完整的描述了TextOG模型的各个组件。可以看到，模型整体上是并行与串行相结合的方式来对用户和物品的交互与评论文本的建模。这与分别对用户和物品建模然后进行预测的工作是不一样的。在本实施例中，用户和物品的交互更加紧密，所提取的特征更加丰富。
(3)物品推荐模块，其用于按照评分预测结果从高到低进行推荐。
本实施例的评分预测模型是一个异构的推荐系统模型(TextOG)，其首先从同构空间中学习评论文本的特征，然后在图结构的空间中学习更复杂的交互，该流程同时作用户和物品数据，实现了对评分的准确预测。
本实施例使用了一种能够无监督地学习句子的语法和结构信息的神经网络(ON-LSTM)来对评论文本进行编码，这使得在文本上的特征处理更加精细。
本实施例使用了图卷积神经网络来实现图结构中的复杂空域交互任务，利用空域卷积的消息传递能力，并通过扩大感受野使得图上的节点特征进一步得以丰富，用户偏好的表征粒度更细，最终提高了物品推荐的精准度。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于评论的评分预测物品推荐方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于评论的评分预测物品推荐方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于评论的评分预测物品推荐方法，其特征在于，包括：
获取用户评论和物品描述；
经评分预测模型输出物品的评分预测结果；
按照评分预测结果从高到低进行推荐；
其中，评分预测模型包括依次连接的序列化文本层、图卷积神经网络层和多层感知机；序列化文本层用于并行提取用户评论和物品描述的特征，输出并拼接用户表示和物品表示形成节点；图卷积神经网络层用于节点和节点之间的特征学习；多层感知机用于基于特征学习的节点输出相应物品的评分预测结果。
2.如权利要求1所述的基于评论的评分预测物品推荐方法，其特征在于，在序列化文本层中，定义一个查表层，通过词嵌入的方式来分别从用户评论和物品描述中获取语义层面的词信息。
3.如权利要求1所述的基于评论的评分预测物品推荐方法，其特征在于，所述序列化文本层由并列的用户模块和物品模块构成，用户模块和物品模块均由依次连接的ON-LSTM网络层、平均池化层和全连接层构成。
4.如权利要求3所述的基于评论的评分预测物品推荐方法，其特征在于，在ON-LSTM网络层中，分别对用户评论和物品描述进行编码，通过信息分级嵌入了层级结构。
5.如权利要求4所述的基于评论的评分预测物品推荐方法，其特征在于，在平均池化层中，利用平均池化操作取平均值作为相应用户和物品的特征，得到用户表示和物品表示。
6.如权利要求1所述的基于评论的评分预测物品推荐方法，其特征在于，在所述图卷积神经网络层中的图以用户为节点，每个节点包含用户特征和物品特征。
7.如权利要求1所述的基于评论的评分预测物品推荐方法，其特征在于，多层感知机的层数为两层。
8.一种基于评论的评分预测物品推荐系统，其特征在于，包括：
数据获取模块，其用于获取用户评论和物品描述；
评分预测模块，其用于经评分预测模型输出物品的评分预测结果；
物品推荐模块，其用于按照评分预测结果从高到低进行推荐；
其中，评分预测模型包括依次连接的序列化文本层、图卷积神经网络层和多层感知机；序列化文本层用于并行提取用户评论和物品描述的特征，输出并拼接用户表示和物品表示形成节点；图卷积神经网络层用于节点和节点之间的特征学习；多层感知机用于基于特征学习的节点输出相应物品的评分预测结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于评论的评分预测物品推荐方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于评论的评分预测物品推荐方法中的步骤。
CN202010843213.6A 2020-08-20 2020-08-20 一种基于评论的评分预测物品推荐方法及系统 Pending CN112100485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010843213.6A CN112100485A (zh) 2020-08-20 2020-08-20 一种基于评论的评分预测物品推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010843213.6A CN112100485A (zh) 2020-08-20 2020-08-20 一种基于评论的评分预测物品推荐方法及系统

Publications (1)

Publication Number Publication Date
CN112100485A true CN112100485A (zh) 2020-12-18

Family

ID=73753321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010843213.6A Pending CN112100485A (zh) 2020-08-20 2020-08-20 一种基于评论的评分预测物品推荐方法及系统

Country Status (1)

Country Link
CN (1) CN112100485A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699215A (zh) * 2020-12-24 2021-04-23 齐鲁工业大学 基于胶囊网络与交互注意力机制的评级预测方法及系统
CN113127604A (zh) * 2021-05-10 2021-07-16 齐鲁工业大学 基于评论文本的细粒度物品推荐方法及系统
CN113158049A (zh) * 2021-04-22 2021-07-23 中国科学院深圳先进技术研究院 一种知识增强的推荐方法和系统
CN113240177A (zh) * 2021-05-13 2021-08-10 北京百度网讯科技有限公司 训练预测模型的方法、预测方法、装置、电子设备及介质
CN113268657A (zh) * 2021-04-16 2021-08-17 中国人民解放军战略支援部队信息工程大学 基于评论和物品描述的深度学习推荐方法及系统
CN113570154A (zh) * 2021-08-09 2021-10-29 齐鲁工业大学 融合用户动态兴趣的多粒度交互推荐方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267377A1 (en) * 2015-03-12 2016-09-15 Staples, Inc. Review Sentiment Analysis
CN109299396A (zh) * 2018-11-28 2019-02-01 东北师范大学 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN110059262A (zh) * 2019-04-19 2019-07-26 武汉大学 一种基于混合神经网络的项目推荐模型的构建方法及装置、项目推荐方法
CN110083676A (zh) * 2019-04-22 2019-08-02 东北大学 一种基于短文本的领域动态跟踪方法
CN111127146A (zh) * 2019-12-19 2020-05-08 江西财经大学 基于卷积神经网络与降噪自编码器的信息推荐方法及系统
CN111222332A (zh) * 2020-01-06 2020-06-02 华南理工大学 一种结合注意力网络和用户情感的商品推荐方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267377A1 (en) * 2015-03-12 2016-09-15 Staples, Inc. Review Sentiment Analysis
CN109299396A (zh) * 2018-11-28 2019-02-01 东北师范大学 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN110059262A (zh) * 2019-04-19 2019-07-26 武汉大学 一种基于混合神经网络的项目推荐模型的构建方法及装置、项目推荐方法
CN110083676A (zh) * 2019-04-22 2019-08-02 东北大学 一种基于短文本的领域动态跟踪方法
CN111127146A (zh) * 2019-12-19 2020-05-08 江西财经大学 基于卷积神经网络与降噪自编码器的信息推荐方法及系统
CN111222332A (zh) * 2020-01-06 2020-06-02 华南理工大学 一种结合注意力网络和用户情感的商品推荐方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699215A (zh) * 2020-12-24 2021-04-23 齐鲁工业大学 基于胶囊网络与交互注意力机制的评级预测方法及系统
CN112699215B (zh) * 2020-12-24 2022-07-05 齐鲁工业大学 基于胶囊网络与交互注意力机制的评级预测方法及系统
CN113268657A (zh) * 2021-04-16 2021-08-17 中国人民解放军战略支援部队信息工程大学 基于评论和物品描述的深度学习推荐方法及系统
CN113268657B (zh) * 2021-04-16 2022-10-28 中国人民解放军战略支援部队信息工程大学 基于评论和物品描述的深度学习推荐方法及系统
CN113158049A (zh) * 2021-04-22 2021-07-23 中国科学院深圳先进技术研究院 一种知识增强的推荐方法和系统
CN113158049B (zh) * 2021-04-22 2022-11-01 中国科学院深圳先进技术研究院 一种知识增强的推荐方法和系统
CN113127604A (zh) * 2021-05-10 2021-07-16 齐鲁工业大学 基于评论文本的细粒度物品推荐方法及系统
CN113240177A (zh) * 2021-05-13 2021-08-10 北京百度网讯科技有限公司 训练预测模型的方法、预测方法、装置、电子设备及介质
CN113240177B (zh) * 2021-05-13 2023-12-19 北京百度网讯科技有限公司 训练预测模型的方法、预测方法、装置、电子设备及介质
CN113570154A (zh) * 2021-08-09 2021-10-29 齐鲁工业大学 融合用户动态兴趣的多粒度交互推荐方法及系统

Similar Documents

Publication Publication Date Title
CN109299396B (zh) 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN112100485A (zh) 一种基于评论的评分预测物品推荐方法及系统
CN106920147B (zh) 一种基于词向量数据驱动的商品智能推荐方法
CN108363695B (zh) 一种基于双向依赖语法树表征的用户评论属性抽取方法
CN112232925A (zh) 一种融合知识图谱对商品进行个性化推荐的方法
CN108875000B (zh) 一种融合多句法结构的语义关系分类方法
CN108647226B (zh) 一种基于变分自动编码器的混合推荐方法
CN112667818B (zh) 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN111079409A (zh) 一种利用上下文和方面记忆信息的情感分类方法
CN112115377A (zh) 一种基于社交关系的图神经网络链路预测推荐方法
CN112464097A (zh) 一种多辅助域信息融合跨域推荐方法与系统
CN113343125B (zh) 一种面向学术精准推荐的异质科研信息集成方法及系统
CN114358657B (zh) 一种基于模型融合的岗位推荐方法及装置
Devipriya et al. Deep learning sentiment analysis for recommendations in social applications
CN115687757A (zh) 融合层次注意与特征交互的推荐方法及其应用系统
CN114565436A (zh) 基于时序建模的车型推荐系统、方法、设备及存储介质
CN113722439A (zh) 基于对抗性类别对齐网络的跨领域情感分类方法及系统
Xiao Information management of e-commerce platform based on neural networks and fuzzy deep learning models
Cvejoski et al. Recurrent point review models
CN116244501B (zh) 基于一阶元学习和多监督者关联网络的冷启动推荐方法
Castellana et al. Learning from non-binary constituency trees via tensor decomposition
CN116340520B (zh) 一种电商评论情感分类方法
CN112989202B (zh) 基于动态网络嵌入的个性化推荐方法及系统
CN117252665B (zh) 业务推荐方法、装置、电子设备及存储介质
Seo et al. Attentive Flexible Translation Embedding in Top-N Sparse Sequential Recommendations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination