CN112016002A - 融合评论文本层级注意力和时间因素的混合推荐方法 - Google Patents

融合评论文本层级注意力和时间因素的混合推荐方法 Download PDF

Info

Publication number
CN112016002A
CN112016002A CN202010827764.3A CN202010827764A CN112016002A CN 112016002 A CN112016002 A CN 112016002A CN 202010827764 A CN202010827764 A CN 202010827764A CN 112016002 A CN112016002 A CN 112016002A
Authority
CN
China
Prior art keywords
comment
user
comment text
item
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010827764.3A
Other languages
English (en)
Inventor
邢长征
郭亚兰
张全贵
赵宏宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Technical University
Original Assignee
Liaoning Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Technical University filed Critical Liaoning Technical University
Priority to CN202010827764.3A priority Critical patent/CN112016002A/zh
Publication of CN112016002A publication Critical patent/CN112016002A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9536Search customisation based on social or collaborative filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种融合评论文本层级注意力和时间因素的混合推荐方法,步骤为:对单条评论文本中的单词应用单词级注意力,得到单条评论文本的编码;对含有时间因素的用户评论集和项目评论集分别应用评论级注意力,得到用户和项目编码。本发明的融合评论文本层级注意力和时间因素的混合推荐方法将时间特征引入用户评论集和项目评论集,来捕捉用户的动态偏好和项目动态特征,采用BI‑LSTM(双向长短期记忆网络)为评论文本中的单词之间建立上下文依赖关系,能够有效的提取评论文本中的语义信息,对带有时间因素的用户评论集和带有时间因素的项目评论集分别应用评论级注意力网络,来关注近期有效的评论文本,挖掘用户偏好和项目特征的动态变化。

Description

融合评论文本层级注意力和时间因素的混合推荐方法
技术领域
本发明属于推荐系统的技术领域,尤其涉及一种融合评论文本层级注意力和时间因素的混合推荐方法。
背景技术
随着互联网和信息技术的突飞猛进,用户和项目数量、种类大规模增长,使信息过载问题日益严重,推荐系统的出现能够缓解信息过载问题,在很多领域被广泛应用。在推荐系统中,如何准确的学习用户和项目表示对于推荐项目是非常重要的。经典的协同过滤推荐算法基于用户历史记录(显性评分、点击率等信息)为用户和项目进行建模。协同过滤算法在推荐过程中不具有可解释性及存在冷启动问题,因此,通过用户对项目的显性评分等信息为用户和项目准确建模存在一定的困难。
互联网和信息技术的发展的同时也带来了大量有价值的信息,越来越多的数据能够被感知获取。包含图像、文本、标签在内的多源异构数据蕴含着丰富的用户行为信息及个性化需求信息,融合多源异构辅助信息的混合推荐方法由于能够缓解传统推荐系统中的数据稀疏和冷启动问题,越来越受到重视。在很多像Amzon和Yelp的电子商务和评论服务网站,用户可以对项目进行自由的评论并且评分。用户对项目的评论包含丰富的信息,不仅能够反映项目的部分特征,而且能够表达用户对项目的主观意见和偏好。例如,在AmazonInstant Video数据集中,“This guy is really boring”和“Don’t believe anythingyou read or hear,it’s awful”类似语句在某个项目的评论下频繁出现,可以推断出该项目质量差,反映了项目的某些特征等。用户对项目的评论还可以提供用户的丰富信息,如果一个用户对不同项目的评论中频繁的提到“There was lots action,I love it”和“Itwas funny and plenty of action,I love it and I would wacth it again”,可以推断出该用户偏好动作片。因此,当用户对项目显性评分数据稀疏时,用户对项目的评论文本可以加强用户和项目的表示学习。对于提高推荐系统的性能是比较有帮助的。
最近几年,通过用户对项目的评分信息为用户做推荐的方法有基于矩阵分解和深度学习两种。矩阵分解作为主流的协同过滤方法,例如,Koren等人提出的基于奇异值(SVD)矩阵分解从用户和项目的评分矩阵来学习用户和项目的潜在表示。Salakhutdinov等人提出基于概率的矩阵分解模型(PMF),将评分矩阵分解为两个低维矩阵的乘积,分别表示用户属性和项目属性。由于其核心思想均为用户和项目之间的关系由简单的几个因素线性组合决定,只能提取模型的浅层次特征。
为了挖掘模型的深层次特征和随着深度学习的发展,基于深度学习的推荐方法被广泛应用于推荐系统。Wu等人提出一种协同去噪自动编码器(CDAE),该模型利用可见层和隐藏层两层神经网络来学习用户和项目的分布式表示,为神经网络在推荐系统中的应用提供了广阔的前景。Li等人[11]提出边缘化去噪自动编码器(MDA),该模型利用深度学习和矩阵分解相结合的方法,来提取用户和项目的深层次特征。
上述方法仅利用用户对项目的评分数据,从评分矩阵中来学习用户和项目的表示,忽略了隐含丰富语义信息的评论文本。信息技术的发展造成了评分数据的稀疏性问题,该问题制约着协同过滤模型的推荐性能。对于大型商务网站来说,用户和项目数量非常庞大,用户对项目的评分一般不超过项目总数的1%,两个用户共同评分的项目更是少之又少,数据稀疏性问题是影响推荐系统性能的关键因素。为了缓解数据稀疏性问题,利用评论文本进一步加强用户和项目表示,从而提高推荐系统性能。
融合评论文本为用户和项目建模成为近年来的研究热点。从评论文本中学习用户和项目表示已经引起了越来越多的关注。许多现有的方法从评论中提取主题为用户和项目建模。例如,McAuley和Leskovec提出隐因子作为主题的方法,使用主题模型技术狄利克雷概率模型从评论中去发现用户和项目的潜在方面。最近几年,一些基于深度学习的方法从评论文本中来学习用户和项目表示做推荐。基于深度学习的方法从评论文本中学习用户和项目表示应用在推荐任务上。例如,Zheng等人提出的DeepCoNN(深度协作神经网络)模型,由两个并行卷积神经网络(CNN)组成,分别从用户评论集和项目评论集挖掘用户偏好和项目特征,从而学习用户和项目表示,很大程度上提高了推荐系统的性能。DeepCoNN模型的用户(项目)评论集是由评论连接得到的一个长文档,训练中要拟合目标用户对目标项目的评分时,目标用户对目标项目的评论包含在文档中。Catherine和Cohen在DeepCoNN模型的基础上提出一个TransNets方法来学习用户和项目表示,TransNets方法在拟合目标用户对目标项目的评分时,将目标用户对目标项目的评论从文档中去掉,然后利用卷积神经网络得到用户特征向量和项目特征向量表示。Chen等人提出的NARRE模型,对同一个用户/同一个项目的评论集采用注意力机制挖掘有效的评论。
现有技术中将每条评论文本的单词转化为词向量矩阵,利用CNN(卷积神经网络)进行卷积计算,采用最大池化操作,导致评论文本中一些重要信息丢失,因此不能有效的提取评论文本中的语义信息。
另外,在学习用户和项目表示时,考虑到不同的评论对于项目建模的不同贡献,应用评论级注意力来区分不同评论对用户和项目建模的重要性。但在实际上,不同的单词、评论在用户和项目建模时往往都有不同的贡献。
在实际生活中,用户偏好和项目特征是不断变化的,现有技术忽略了时间因素对用户偏好预测和项目特征提取的影响,随着时间的变化,用户的兴趣、偏好以及项目的特征也会不断的变化。
发明内容
针对现有技术中的不足,本发明所解决的技术问题在于提供一种融合评论文本层级注意力和时间因素的混合推荐方法,对单条评论文本应用单词级注意力,来提取单条评论文本中的情感词和关键词等有效信息,然后对带有时间因素的用户评论集和带有时间因素的项目评论集分别应用评论级注意力网络,来关注近期有效的评论文本,挖掘用户偏好和项目特征的动态变化。
为了解决上述技术问题,本发明通过以下技术方案来实现:
本发明提供一种融合评论文本层级注意力和时间因素的混合推荐方法,包括以下步骤:
步骤S1:对单条评论文本中的单词应用单词级注意力,得到单条评论文本的编码;
步骤S2:对含有时间因素的用户评论集和项目评论集分别应用评论级注意力,得到用户和项目编码。
可选的,所述步骤S1的评论文本的编码包括:
单词嵌入层,将单条评论文本中的单词转化为序列表示;
单词级注意力网络层,采用自注意力机制对单条评论文本中的每个单词向量表示执行关注,得到单条评论文本的单词级注意力向量表示;
两个单向的长短期记忆网络层,在单词级注意力向量表示中获得相邻单词间的某种依赖关系,最终得到评论文本表示向量。
进一步的,所述步骤S2中,通过对含有时间因素的用户评论集和项目评论集采用评论级注意力网络来进一步加强用户和项目表示。
由上,本发明的融合评论文本层级注意力和时间因素的混合推荐方法具有如下有益效果:
(1)采用Bi-LSTM表示评论文本中上下文和单词序列的语义信息,并同时考虑评论文本的单词级和评论级注意力,标记评论文本中的多主题语义信息和有效的评论文本。
(2)同时利用了单词级注意力和评论级注意力。对单条评论文本应用单词级注意力,挖掘单条评论文本中情感词和关键词等有效信息,学习评论文本表示;然后,对用户评论集和项目评论集分别应用评论级注意力,提取有效的评论,进一步学习用户偏好和项目特征表示。
(3)为了为用户和项目动态特征进行建模,将时间特征引入用户评论集和项目评论集,来捕捉用户的动态偏好和项目动态特征。
(4)针对词向量嵌入矩阵的处理方法,本发明采用BI-LSTM(双向长短期记忆网络)为评论文本中的单词之间建立上下文依赖关系,能够有效的提取评论文本中的语义信息。
(5)提出对单条评论文本应用单词级注意力,来提取单条评论文本中的情感词和关键词等有效信息。然后对带有时间因素的用户评论集和带有时间因素的项目评论集分别应用评论级注意力网络,来关注近期有效的评论文本,挖掘用户偏好和项目特征的动态变化。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下结合优选实施例,并配合附图,详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例的附图作简单地介绍。
图1为本发明的融合评论文本层级注意力和时间因素的混合推荐方法的流程图。
图2为本发明的整体网络架构图。
具体实施方式
下面结合附图详细说明本发明的具体实施方式,其作为本说明书的一部分,通过实施例来说明本发明的原理,本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中,不同的图中相同或相似的部件使用相同的附图标号来表示。
本发明提出分别对项目i的每条评论进行处理的方法。具体来说,首先将每条评论先转换为词向量矩阵,用Vi1,Vi2,...,Vik表示。然后,将这些矩阵送入卷积层并从输出中得到它们的特征向量。这些特征向量记为Oi1,Oi2,...,Oij
由于这些向量在相同的特征空间中(它们都是从同一卷积层生成的),因此通常的思路是聚合这些向量以获得项目i的表示:
Figure BDA0002636846270000061
然而,等式(1)假设每条评论对项目i具有相同的贡献,这样现实生活中并不稳健,因为每条评论对于为项目建模具有不同的贡献。为了解决这个问题,将注意力机制引入模型中,有助于学习每条评论的重要性。
Neti中基于注意力的评论池化的目标是要选择与项目i的特征有关的评论,然后聚合有效的评论以表征项目i。本发明用两层网络用于计算注意力得分ail。输入包括项目i的第l条评论(Oil)的特征向量和写该条评论的用户(ID嵌入,uil)。添加ID嵌入对用户质量进行建模,这有助于识别填写信息性较低评论的用户。注意力网络定义为:
Figure BDA0002636846270000071
其中
Figure BDA0002636846270000072
b1∈Rt,h∈Rt,b2∈Rt是模型参数,t表示注意力网络的隐藏层大小,ReLU是非线性激活函数。
评论的最终权重是通过使用softmax函数标准化上述所计算的注意力得分,可以解释为项目i的第l条评论对于特征的贡献:
Figure BDA0002636846270000073
得到每一条评论的注意力权重之后,特征项目i的特征向量按以下加权总和计算:
Figure BDA0002636846270000074
基于注意力的池化层的输出是k1维向量,通过区分它们的贡献来压缩嵌入空间中项目i的所有评论。然后将其送入具有权重矩阵
Figure BDA0002636846270000075
且偏置项b0∈Rn的全连接层,计算项目i的最终表示形式:
Yi=W0Oi+b0 (5)
本发明的方法融合评论文本层级注意力和时间因素的混合推荐方法(RHATR)。评论文本的层级注意力包括两个部分,第一部分是对单条评论文本中的单词应用单词级注意力,最终得到单条评论文本的编码;第二部分是对含有时间因素的用户评论集和项目评论集分别应用评论级注意力,最终得到用户和项目编码。整体网络架构图如图2。
评论文本编码单元用来从单词中学习评论文本表示。从图2中可以看出,评论文本编码单元主要有三层。第一层为单词嵌入,将单条评论文本中的单词转化为序列表示;第二层为单词级注意力网络,采用自注意力机制对单条评论文本中的每个单词向量表示执行关注,得到单条评论文本的单词级注意力向量表示;第三层为两个单向的长短期记忆网络(LongShort-Term Memory,LSTM),为了在单词级注意力向量表示中获得相邻单词间的某种依赖关系,最终得到评论文本表示向量。
第一层为单词嵌入层,将单词序列转换为包含这些单词语义信息的低维稠密向量。对于单条评论文本r,由M个单词[w1,w2,...,wM]组成,其中wM表示第M个单词。通过采用GloVe在维基百科语料库中预训练嵌入,将由M个单词组成的单条评论文本r用单词嵌入表示:
E=[e1,e2,...,eM] (6)
其中eM是D维嵌入向量,词嵌入矩阵E∈RM×D,表示为2D矩阵,其中M表示每条评论文本中的单词个数,D表示单词嵌入维度。
第二层为单词级注意力网络。在为用户和项目建模时,每条评论文本中,不同的单词包含的信息量以及重要性不尽相同。例如,在Amazon Instant Video数据集中的一条评论文本“Enjoyed some of the comedians,it was a joy to laugh after losing myfather whom I was a caregiver for”,“Enjoyed”和“comedians”这两个单词明显比类似“I”和“for”等单词更具有信息量,更能反映出用户对项目的主观意见以及项目的特性。因此,为了用户和项目建模更加有效,利用单词级注意力机制来选择和关注重要的单词。
对于由M个单词组成的单条评论文本,每一个单词对于用户和项目建模的重要性不同。为了提取评论文本的重要信息,采用自注意力机制对单词嵌入表示向量E执行M次关注,得到单条评论文本的单词级注意力向量表示A:
A=softmax(W2tanh(W1ET)) (7)
F=A×E (8)
其中A表示通过注意力网络的计算得到每个单词在每条评论文本中的重要性,大小为M×M。W1∈RV×D,W2∈RM×V是权重矩阵,V是可以任意设置的超参数。tanh()和softmax()函数均为非线性激活函数。F表示保存对每个单词的关注度不变的情况下,降低对不相关单词的关注,F∈RM×D
第三层为两个单向的长短期记忆网络。将矩阵F表示为[f1,f2,...,fM],为了在单条评论文本中获得相邻单词之间的某种依赖关系,使用两个单向的长短期记忆网络处理评论文本:
Figure BDA0002636846270000091
Figure BDA0002636846270000092
将每组
Figure BDA0002636846270000093
Figure BDA0002636846270000094
连接起来获得隐藏状态ht,得到公式(11)。将单向的LSTM的每个隐藏单元标记为I,则双向的LSTM的每个隐藏单元为2I。将M个ht记为向量H,如公式(12):
Figure BDA0002636846270000095
H=(h1,h2,...,hM) (12)
其中H为评论文本表示向量,H∈RM×2I。BI-LSTM很好地利用了评论文本的上下文信息进行处理,但得到的特征矩阵H的列维度较大,包含的信息过多。通过卷积神经网络(CNN)进行降维处理,从而找出关键特征。因此,采用CNN来处理不仅可以保持嵌入矩阵的上下文信息而且可以对矩阵H进行局部卷积,从而达到降维目的,减少冗余维度,即非关键信息对模型建模的影响,使模型学习难度降低。最近几年,许多基于深度学习的文本处理方法比传统的方法取得更好的性能,例如TextCNN和TextRNN。本发明在DeepCoNN模型上进行改进,在DeepCoNN中,CNN采用池化层,由于池化层在对嵌入矩阵进行下采样的过程中,仅仅保留了局部接受域的最大值,会丢失特征矩阵的关键信息。因此,本发明利用CNN对评论文本向量H,进一步提取特征时不采用池化层,而采用卷积层。
设卷积层由m个神经元组成,每个神经元与卷积核K∈Rτ×2I相关联,对嵌入矩阵H进行卷积运算,第j个神经元产生的局部特征zj表示为公式(13):
zj=relu(HM×2I*Kj+bj) (13)
其中bj是偏置项,*是卷积操作,relu是非线性激活函数。
Figure BDA0002636846270000101
是神经元j在滑动窗口τ上产生的特征。使用全连接层计算对应于该神经元的最终特征,表示为:
Figure BDA0002636846270000102
oj=relu(WZr+bj) (15)
其中,W∈R1×(M-τ+1)表示权重矩阵,bj∈R1表示偏置项。
将m个神经元的输出串联,得到评论文本的特征向量α,如公式(16):
α=[o1,o2,...,om] (16)
用户/项目编码单元是基于用户评论/项目评论表示,用来进一步加强用户/项目表示。在为用户和项目建模时,同一个用户/同一个项目的不同评论往往能够反映出不同的用户偏好和项目特征,而时间因素能够反映用户偏好和项目特征的动态变化。
因此,通过对含有时间因素的用户评论集和项目评论集采用评论级注意力网络来进一步加强用户和项目表示。以用户评论集为例,用户/项目表示的目标是在用户u带有时间因素评论中选择关键评论特征,并将这些特征线性组合来表示用户u。注意力网络的输入包括用户u的第P条评论的特征向量、第P条评论的时间和项目ID。添加项目ID用来标记被用户评论过的项目。
设用户u有P条评论[ru1,ru2,...,ruP],P条评论所对应的项目集合[iu1,iu2,...,iuP],P条评论时间表示[tu1,tu2,...,tuP],即用户u的第P条评论的特征向量ouP,项目ID表示为iuP,第P论时间tuP,注意力网络表示:
Figure BDA0002636846270000111
其中,XuP表示第P条评论对用户u的特征集贡献。
在获得每个评论的注意力之后,用户u的特征向量加权和表示为公式(18):
Figure BDA0002636846270000112
其中P为用户评论集中评论文本的个数。Ou为基于评论级注意力的输出向量,通过区分每条评论的贡献,并在向量空间中表示用户u的特征。
将Ou传递到全连接层,计算用户评论集的k维特征向量表示Xu
Figure BDA0002636846270000113
其中,权重矩阵Wo∈Rk×m,bo∈Rk
外积交互层。已知得到的用户评论集特征向量Xu和项目评论集特征向量Xi,在同一向量空间中,将用户ID嵌入、项目ID嵌入分别与用户评论集特征Xu、项目评论集特征Xi联合来表示用户特征嵌入Pu和项目特征嵌入Qi,如公式(20)、(21):
Pu=pu+Xu (20)
Qi=qi+Xi (21)
其中,pu和qi分别表示用户ID嵌入和用户ID嵌入,用来唯一标识参与评分预测的目标用户和项目。Xu和Xi分别表示用户评论集特征和项目评论集特征。
用户特征向量和项目特征向量的交互采用外积来计算。
对用户特征嵌入Pu和项目特征嵌入Qi进行外积交互,得到一个外积交互图E,如公式(22):
Figure BDA0002636846270000121
其中,E是k×k的矩阵。
多卷积隐藏层。本发明采用多卷积隐藏层来从上述矩阵中挖掘更抽象级别的特征表示。对E进行卷积处理,第i层的如下:
E1=Relu(v(E)*K'|b′1) (23)
Ei=Relu(v(Ei-1)*K'|b′i) (24)
其中,K'表示卷积核,*表示卷积运算,b′i表示第i层的偏置项。
最终输出的张量大小为1×1×n,通过调整维度得到向量V。经过公式(25)计算多卷积隐藏层的输出z。
z=WeV+be (25)
其中,We表示权重矩阵,大小为1×n;be表示偏置项,大小为1×1。
本发明利用基于矩阵分解算法的潜在因子模型,来预测用户u对项目i的评分Ru,i,如公式(26):
Ru,i=z+bu+bi+μ (26)
其中,z表示多卷积层的输出,bu和bi分别表示用户和项目的偏置项,μ表示全局偏置项。
本发明使用提供用户评论、评论时间和评分信息的4个公开数据集来验证模型的性能。其中三个数据集来自Amazon的5-core项目评论数据集,分别是Amazon_Instant_Video、Toys_and_Games、Kindle_Store。另一个数据集来自Yelp Challenge 2017的餐厅评论数据集。仅仅保留每个用户的9条评论和每个项目的36条评论。表1总结了每个数据集的用户总数、物品总数、评论总数。这些数据集的评分在区间[1,5],每条评论均有相应的用户评论时间。
在实验中,单词的嵌入维度设置为300,采用GloVe在维基百科语料库中预训练嵌入来初始化词嵌入矩阵。单词级Bi-LSTM隐藏神经元数量为100,在每一个数据集随机选择80%的用户-项目对作为训练,10%用于验证,10%用于测试。本发明每一个实验独立重复3次,每次取RMSE的最优值。最后结果为3次实验RMSE最优值的平均值。
表1本发明实验数据集的相关信息
Figure BDA0002636846270000131
本发明采用均方根误差(RMSE)作为评价指标。当评分预测结果为实值,均方根误差为评分预测值Ru,i与真实值
Figure BDA0002636846270000132
误差的平方和与所有测试实例数目N比值的平方根,如公式(27)。均方根误差用来反映推荐算法在评分预测中的准确性。均方根误差越小,模型的性能越好;反之,均方根误差越大,误差的离散度较高,模型的性能越差,即反映了在评分预测中,评分预测值偏离真实值较大。
Figure BDA0002636846270000141
将提出的模型与以下传统的模型进行对比。
(1)PMF模型,概率矩阵分解模型。仅利用用户对项目的评分信息,通过矩阵分解为用户和项目的潜在因子建模。
(2)NMF模型,非负矩阵分解模型。仅利用评分矩阵信息。考虑用户对项目的评分均为正值,NMF主要特征在于分解后的矩阵元素都是正的,来学习用户和项目表示。
(3)HFT模型,利用评论文本和评分共同推荐,通过评分矩阵分解和LDA为用户和项目建模,没有捕捉单词的上下文和语序。
(4)ConvMF模型,卷积矩阵因式分解模型。有效利用项目评论文本的上下文信息,将卷积神经网络(CNN)融合到概率矩阵分解(PMF),使用CNN来提取项目评论文档的上下文特征。
(5)DeepCoNN模型,深度协作神经网络模型。同时利用用户和项目评论文本信息。采用两个并行的CNN网络分别从用户评论集和项目评论集中来学习用户偏好和项目特征。
(6)Attn+CNN模型,使用评论文本和评分信息做推荐。基于注意力的CNN,它使用CNN并对评论文档中的单词施加注意来学习用户和项目的表示。
(7)NARRE模型,利用用户对项目的评分和评论文本信息进行推荐。该模型在DeepCONN模型的基础上,考虑到不同的评论对于用户和项目建模重要性不同,将注意力机制引入到模型探索评论文本的有效性,并且选取有效的评论来提供模型的可解释性。
(1)为了更好的提取评论文本中单词的语义信息,为评论文本中的单词建立上下文依赖关系,本发明采用BI-LSTM处理词向量。
(2)本发明利用单词级注意力能够更好的挖掘评论文本中单词的重要信息。例如,在Amazon Instant Video数据集中的一条评论文本“This one is a real snoozer.Don'tbelieve anything you read or hear,it's awful.I had no idea what the titlemeans.Neither will you”,“awful”和“snoozer”这两个单词明显比“I”和“This”这两个单词更具有信息量;利用评论级注意力提取为用户偏好和项目特征建模有效的评论,从而提升推荐系统的性能。
(3)将时间因素作为特征引入用户评论集和项目评论集,分别应用评论级注意力,提取有代表性的评论,学习用户偏好和项目特征动态表示。最后,结合从评论文本中学到的用户和项目表示以及基于ID的项目和用户嵌入作为最终形式,来捕获各用户和项目的潜在因素。通过实验验证,本发明提出的方法相对于当前基线方法在Amazon和Yelp数据集上的均方根误差(RMSE)取得了较好的效果。
以上所述是本发明的优选实施方式而已,当然不能以此来限定本发明之权利范围,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和变动,这些改进和变动也视为本发明的保护范围。

Claims (3)

1.融合评论文本层级注意力和时间因素的混合推荐方法,其特征在于,包括以下步骤:
步骤S1:对单条评论文本中的单词应用单词级注意力,得到单条评论文本的编码;
步骤S2:对含有时间因素的用户评论集和项目评论集分别应用评论级注意力,得到用户和项目编码。
2.如权利要求1所述的融合评论文本层级注意力和时间因素的混合推荐方法,其特征在于,所述步骤S1的评论文本的编码包括:
单词嵌入层,将单条评论文本中的单词转化为序列表示;
单词级注意力网络层,采用自注意力机制对单条评论文本中的每个单词向量表示执行关注,得到单条评论文本的单词级注意力向量表示;
两个单向的长短期记忆网络层,在单词级注意力向量表示中获得相邻单词间的某种依赖关系,最终得到评论文本表示向量。
3.如权利要求1所述的融合评论文本层级注意力和时间因素的混合推荐方法,其特征在于,所述步骤S2中,通过对含有时间因素的用户评论集和项目评论集采用评论级注意力网络来进一步加强用户和项目表示。
CN202010827764.3A 2020-08-17 2020-08-17 融合评论文本层级注意力和时间因素的混合推荐方法 Pending CN112016002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010827764.3A CN112016002A (zh) 2020-08-17 2020-08-17 融合评论文本层级注意力和时间因素的混合推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010827764.3A CN112016002A (zh) 2020-08-17 2020-08-17 融合评论文本层级注意力和时间因素的混合推荐方法

Publications (1)

Publication Number Publication Date
CN112016002A true CN112016002A (zh) 2020-12-01

Family

ID=73505503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010827764.3A Pending CN112016002A (zh) 2020-08-17 2020-08-17 融合评论文本层级注意力和时间因素的混合推荐方法

Country Status (1)

Country Link
CN (1) CN112016002A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860880A (zh) * 2021-03-23 2021-05-28 辽宁工程技术大学 一种融合评论文本和特征加权的四维张量分解推荐方法
CN113239179A (zh) * 2021-07-12 2021-08-10 北京邮电大学 科研技术兴趣领域识别模型训练方法、科技资源查询方法及装置
CN113570154A (zh) * 2021-08-09 2021-10-29 齐鲁工业大学 融合用户动态兴趣的多粒度交互推荐方法及系统
CN113672731A (zh) * 2021-08-02 2021-11-19 北京中科闻歌科技股份有限公司 基于领域信息的情感分析方法、装置、设备及存储介质
CN113850656A (zh) * 2021-11-15 2021-12-28 内蒙古工业大学 一种融合多模态数据基于注意力感知的个性化服装推荐方法及系统
CN114154071A (zh) * 2021-12-09 2022-03-08 电子科技大学 一种基于注意力机制的情感时序推荐方法
CN115905717A (zh) * 2023-03-02 2023-04-04 中南大学 基于混合3d卷积融合评级与评论的景点推荐方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076374A (zh) * 2016-11-10 2018-05-25 阿里巴巴集团控股有限公司 播放对象评论信息处理方法及装置
CN108563755A (zh) * 2018-04-16 2018-09-21 辽宁工程技术大学 一种基于双向循环神经网络的个性化推荐系统及方法
CN111523943A (zh) * 2020-04-24 2020-08-11 华中科技大学 一种电影票房预测模型的构建方法及电影票房预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076374A (zh) * 2016-11-10 2018-05-25 阿里巴巴集团控股有限公司 播放对象评论信息处理方法及装置
CN108563755A (zh) * 2018-04-16 2018-09-21 辽宁工程技术大学 一种基于双向循环神经网络的个性化推荐系统及方法
CN111523943A (zh) * 2020-04-24 2020-08-11 华中科技大学 一种电影票房预测模型的构建方法及电影票房预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘尚: "《基于时间和语义感知的推荐方法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 3 - 4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860880A (zh) * 2021-03-23 2021-05-28 辽宁工程技术大学 一种融合评论文本和特征加权的四维张量分解推荐方法
CN112860880B (zh) * 2021-03-23 2024-03-08 辽宁工程技术大学 一种融合评论文本和特征加权的四维张量分解推荐方法
CN113239179A (zh) * 2021-07-12 2021-08-10 北京邮电大学 科研技术兴趣领域识别模型训练方法、科技资源查询方法及装置
CN113672731A (zh) * 2021-08-02 2021-11-19 北京中科闻歌科技股份有限公司 基于领域信息的情感分析方法、装置、设备及存储介质
CN113672731B (zh) * 2021-08-02 2024-02-23 北京中科闻歌科技股份有限公司 基于领域信息的情感分析方法、装置、设备及存储介质
CN113570154A (zh) * 2021-08-09 2021-10-29 齐鲁工业大学 融合用户动态兴趣的多粒度交互推荐方法及系统
CN113850656A (zh) * 2021-11-15 2021-12-28 内蒙古工业大学 一种融合多模态数据基于注意力感知的个性化服装推荐方法及系统
CN114154071A (zh) * 2021-12-09 2022-03-08 电子科技大学 一种基于注意力机制的情感时序推荐方法
CN115905717A (zh) * 2023-03-02 2023-04-04 中南大学 基于混合3d卷积融合评级与评论的景点推荐方法及装置

Similar Documents

Publication Publication Date Title
CN112016002A (zh) 融合评论文本层级注意力和时间因素的混合推荐方法
CN111046941B (zh) 一种目标评论检测方法、装置、电子设备和存储介质
Bhuvaneshwari et al. Spam review detection using self attention based CNN and bi-directional LSTM
Mitra et al. Helpfulness of online consumer reviews: A multi-perspective approach
CN113051916B (zh) 一种社交网络中基于情感偏移感知的交互式微博文本情感挖掘方法
Sang et al. Context-dependent propagating-based video recommendation in multimodal heterogeneous information networks
Lin et al. Heterogeneous knowledge-based attentive neural networks for short-term music recommendations
CN112328900A (zh) 一种融合评分矩阵和评论文本的深度学习推荐方法
CN111488524B (zh) 一种面向注意力的语义敏感的标签推荐方法
Yang et al. Rits: Real-time interactive text steganography based on automatic dialogue model
CN113569001A (zh) 文本处理方法、装置、计算机设备及计算机可读存储介质
CN111914553B (zh) 一种基于机器学习的金融信息负面主体判定的方法
CN113590970A (zh) 一种基于读者偏好的个性化数字图书推荐系统、方法、计算机及存储介质
CN111666496A (zh) 一种基于评论文本的组推荐方法
CN109033294A (zh) 一种融入内容信息的混合推荐方法
CN113239159A (zh) 基于关系推理网络的视频和文本的跨模态检索方法
CN112699310A (zh) 基于深度神经网络的冷启动跨域混合推荐的方法及系统
CN110110218B (zh) 一种身份关联方法及终端
Du et al. based hierarchical attention cooperative neural networks for recommendation
Ibrahim et al. An intelligent hybrid neural collaborative filtering approach for true recommendations
Li et al. Combining local and global features into a Siamese network for sentence similarity
Biswas et al. A new ontology-based multimodal classification system for social media images of personality traits
Qi et al. ScratchGAN: Network representation learning for scratch with preference‐based generative adversarial nets
CN116010696A (zh) 融合知识图谱和用户长短期兴趣的新闻推荐方法、系统及介质
CN113268657B (zh) 基于评论和物品描述的深度学习推荐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination