CN111274493A - 一种基于多源用户评论的评分预测方法 - Google Patents
一种基于多源用户评论的评分预测方法 Download PDFInfo
- Publication number
- CN111274493A CN111274493A CN202010051421.2A CN202010051421A CN111274493A CN 111274493 A CN111274493 A CN 111274493A CN 202010051421 A CN202010051421 A CN 202010051421A CN 111274493 A CN111274493 A CN 111274493A
- Authority
- CN
- China
- Prior art keywords
- user
- comment
- document
- item
- comments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 71
- 239000013589 supplement Substances 0.000 claims abstract description 9
- 238000007499 fusion processing Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000001502 supplementing effect Effects 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 74
- 238000012552 review Methods 0.000 claims description 22
- 239000013604 expression vector Substances 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000000153 supplemental effect Effects 0.000 claims description 4
- KUEUWHJGRZKESU-UHFFFAOYSA-N Niceritrol Chemical compound C=1C=CN=CC=1C(=O)OCC(COC(=O)C=1C=NC=CC=1)(COC(=O)C=1C=NC=CC=1)COC(=O)C1=CC=CN=C1 KUEUWHJGRZKESU-UHFFFAOYSA-N 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 3
- 241000252233 Cyprinus carpio Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Mathematical Optimization (AREA)
- Artificial Intelligence (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于多源用户评论的评分预测方法，属于推荐系统领域。对用户历史消费记录进行数据预处理；根据用户‑物品评分矩阵和相似度公式计算得到不同用户之间的相似度，使用相似度最高的相似用户撰写的相关评论对用户评论进行补充；接着提取评论特征；最后进行评论特征融合处理。本发明可以基于用户历史消费记录筛选出相似用户撰写的相关评论，对用户评论进行补充，为每位用户都构建一个用户评论补充文档，可以缓解用户评论的数据稀疏问题，丰富用户画像，提升评分预测的准确性，进而提高用户对推荐系统的满意度。此外，用户评论补充文档是由相似用户撰写的相关评论构成的，与用户自己撰写的评论存在一定的差异性，可以提高推荐的多样性。
Description
技术领域
本发明属于推荐系统领域，尤其涉及一种基于多源用户评论的评分预测方法。
背景技术
在如今互联网信息过载的情况下，无明确需求的信息消费者想方便地找到感兴趣的内容，信息生产者则想将自己的内容推送给合适的目标用户，推荐系统应运而生。评分预测是推荐系统中的一类经典模型，系统对用户所有没消费过的物品进行评分预测，然后将预测分数最高的N个物品推荐给用户。评分预测问题中目前采用最广泛的方法是协同过滤算法，协同过滤算法通过利用用户行为数据来挖掘出用户的兴趣，并为其推荐可能感兴趣的物品，经典工作包括矩阵分解算法(MF)及其扩展工作概率矩阵分解算法(PMF)等(Koren,Y.,Bell,R.M.,Volinsky,C.:Matrix factorization techniques for 
mendersystems.IEEE Computer 42(8),30–37(2009).和Salakhutdinov,R.,Mnih,A.:Probabilistic matrix factorization.In:NIPS.pp.1257–1264(2007).)，上述工作只利用用户历史评分数据，将用户和物品都映射到高维空间中用向量进行表示，然后计算点积得到预测结果。
虽然协同过滤算法性能很好，但是它无法为消费记录少的用户提供良好的个性化推荐服务。也就是说，协同过滤算法存在的数据稀疏问题比较严重。数据稀疏问题是因为现在待处理的推荐系统规模越来越大，用户和商品数目动辄上亿，两个用户之间选择的重叠非常少，例如淘宝网的数据稀疏度在百万分之一以下。数据稀疏问题直接影响到推荐系统的推荐质量，因此受到了学术界和工业界的高度关注。目前提出的解决数据稀疏问题的方式主要包括：
简单填值：简单填值法就是用一个固定的数值填充系统中所有的未评分的物品，从而解决稀疏性问题的一种方法，常用所有评分的平均值进行填充。
聚类：该方法根据用户兴趣之间的差异，利用某种聚类算法将系统中的所有用户划分为不同的群体；系统把用户所在群体的中心值作为用户对未评物品的评分预测值，进行用户-物品评分矩阵的填充。主要的聚类方法有k-means聚类和遗传聚类等。
降维：用户-物品评分矩阵出现数据稀疏的情况是由物品的高维数据引起的，因此可以考虑采取一定措施降低物品数据的维度，进而达到约减数据的目的。目前常见的降维技术主要有简单降维方法、矩阵分解和主成分分析(PCA)三类。
融合：协同过滤算法利用的信息只是用户评分数据，基于内容的过滤可以利用用户和物品的固有属性和描述信息，因此将这两种方式融合在一起可以增加可利用的数据量。
此外，在许多应用中，用户都可以发表评论来表达他们的消费体验。我们也可以利用用户评论中包含的评论特征来探索用户偏好和商品属性，从而缓解数据稀疏问题。基于用户评论的评分预测方法大多使用卷积神经网络、循环神经网络等对用户评论中的评论特征进行提取和整合，效果较好的工作包括DeepCoNN、PARL和CARP等(Zheng,L.,Noroozi,V.,Yu,P.S.:Joint deep modeling of users and items using reviews forrecommendation.In:WSDM.pp.425–434(2017).和Wu,L.,Quan,C.,Li,C.,Ji,D.:PARL:letstrangers speak out what you like.In:CIKM.pp.677–686(2018).以及Li,C.,Quan,C.,Peng,L.,Qi,Y.,Deng,Y.,Wu,L.:A capsule network for recommendation andexplaining what you like and dislike.In:SIGIR.pp.275-284(2019).)。但是由于绝大多数用户不愿意写评论分享他们的消费体验，即使有些用户写了评论也大部分都比较短，所以用户评论本身也是稀疏的，大多数用户的评论不能够充分地表征一个用户的喜好。其中，PARL通过随机筛选对同一商品给出相同评分的用户撰写的评论，对用户进行评论补充，并取得了不错的效果。
发明内容
本发明的发明目的在于：提供了一种基于多源用户评论的评分预测方法，根据用户-物品评分矩阵和相似度公式计算得到用户之间的相似度，使用相似度最高的相似用户撰写的相关评论对用户评论进行补充，丰富用户画像，缓解数据稀疏问题，进而提升推荐算法对评分预测的准确性，使得在为用户进行物品推荐时可以更加精准。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种基于多源用户评论的评分预测方法，包括以下步骤：
S1、对每条用户历史消费记录进行数据预处理；
S2、针对每位用户u消费过的每个物品i，根据用户-物品评分矩阵和相似度公式计算得到不同用户之间的相似度，选择出消费过物品i的所有用户中与用户u相似度最高的相似用户撰写的对物品i的评论，并把该评论添加至用户u的评论补充文档中；
S3、分别提取用户u的评论补充文档、物品i的评论文档以及用户u的评论文档的评论特征；
S4、将提取的评论特征进行连接，并将连接后的向量输入至多层感知器中进行评论特征融合处理，并根据融合结果得到最终的评分预测结果，从而完成基于多源用户评论的评分预测。
进一步地，所述步骤S1包括以下步骤：
S101、删除每条用户历史消费记录的评论中的停止词、数字、标点符号以及出现频率高于0.5的高频单词，其中，停止词为使用频率高的字或词，包括冠词、介词、副词或连词；
S102、根据经删除操作后的每条用户历史消费记录的评论，计算得到数据中包含的所有单词的TF-IDF分数，并选择TF-IDF分数最高的2万个单词构建词典，其中，TF-IDF表示词频-逆向文件频率；
S103、删除评论中所述词典以外的所有单词；
S104、对英文单词/中文字数长度超过300的评论做截断操作，并对英文单词/中文字数长度不满300的评价补0并延长长度至300，从而完成对用户历史消费记录中评论的预处理。
再进一步地，所述步骤S2包括以下步骤：
S201、从经预处理后的用户历史消费记录中筛选出包含有物品i但不包括用户u的所有用户消费记录；
S202、将对物品i评分与用户u之间差异不超过1的用户作为用户u的候选相似用户；
S203、利用用户-物品评分矩阵和相似度公式计算得到用户u的候选相似用户中的所有用户与用户u的相似度；
S204、将与用户u相似度最高的相似用户对物品i的评论作为用户u的补充评论，并把所述补充评论添加至用户u的评论补充文档中；
S205、判断用户u的每条历史消费记录是否都进行了评论补充，若是，则进入步骤S3，否则，返回步骤S201。
再进一步地，所述步骤S203中所有用户与用户u的相似度rx,y的表达式如下：
其中，Ix和Iy为用户x和用户y消费过的物品集合，xi和yi为用户x和用户y对物品i的评分，
和
为用户x和用户y的平均分。
再进一步地，所述步骤S3包括以下步骤：
S301、分别对用户u的评论补充文档、物品i的评论文档以及用户u的评论文档中每个单词进行词嵌入处理，分别得到用户u评论补充文档的词嵌入矩阵、物品i评论文档的词嵌入矩阵以及用户u评论文档的词嵌入矩阵；
S302、利用卷积神经网络提取上述各所述词嵌入矩阵中的评论特征。
再进一步地，所述步骤S301包括以下步骤：
S3011、分别将用户u评论补充文档、物品i评论文档以及用户u评论文档中的每个单词映射至多维空间中，并用相应的词嵌入向量表示；
S3012、根据各单词在上述各文档中的位置，将所述词嵌入向量表示进行连接，分别得到用户u评论补充文档的词嵌入矩阵、物品i评论文档的词嵌入矩阵以及用户u评论文档的词嵌入矩阵，所述词嵌入矩阵的表达式如下：
D＝(e1,e2,...,el)
其中，D为词嵌入矩阵，l为评论文档的长度，ei为文档中第i个单词对应的词嵌入向量，i＝1,2,...,l。
再进一步地，所述步骤S302包括以下步骤：
S3021、利用具有不同卷积权重的卷积过滤器，分别捕获用户u评论补充文档的词嵌入矩阵的上下文特征、物品i评论文档的词嵌入矩阵的上下文特征以及用户u评论文档的词嵌入矩阵中的上下文特征；
S3022、将上述各上下文特征分别进行连接，并将所述连接结果分别表示为用户u评论补充文档的上下文特征矩阵、物品i评论文档的上下文特征矩阵以及用户u评论文档的上下文特征矩阵；
S3023、将上述各上下文特征矩阵分别输入至最大池化层中，分别得到用户u评论补充文档的上下文向量、物品i评论文档的上下文向量以及用户u评论文档的上下文向量；
S3024、利用全连接层分别对各所述上下文向量进行语义特征整合，分别得到用户u评论补充文档的潜在表示向量te、物品i评论文档的潜在表示向量ti以及用户u评论文档的潜在表示向量tu；
S2035、将物品i评论文档的潜在表示向量作为物品i评论文档的评论特征；以及
将用户u评论文档的潜在表示向量作为用户u评论文档的评论特征；
S3026、利用用户u评论文档的潜在表示向量对用户u评论补充文档的潜在表示向量进行过滤，得到过滤后的用户u评论补充文档的评论特征，所述过滤后的用户u评论补充文档的评论特征tue的表达式如下：
tue＝g*te
g＝sigmoid(Wg*tu+bg)
其中，g为门控，te为过滤前的用户u评论补充文档的评论特征，Wg为权重向量，tu为用户评论文档的潜在向量，bg为偏置，sigmoid(·)为非线性激活函数。
再进一步地，所述步骤S3021中上下文特征的表达式如下：
其中，relu(·)为非线性激活函数，*为卷积操作，Wj为第j个卷积过滤器的卷积权重，Dh:h+ω-1；:n为以位置为h为窗口中心的包含ω个单词的词嵌入向量的矩阵，
为以位置h为窗口中心提取到的上下文特征。
再进一步地，所述步骤S3024中上下文向量的表达式如下：
tm＝[t1,t2,...,tm]
所述潜在表示向量的表达式如下：
t＝[t1,t2,...,tk]
其中，tm为上下文向量，t为潜在表示向量，m为卷积核的数量，k为潜在表示向量的维度。
再进一步地，所述步骤S4包括以下步骤：
S401、将物品i评论文档的潜在表示向量ti、用户u评论文档的潜在表示向量tu以及用户u评论补充文档的评论特征tue进行连接，得到连接后的向量Zu,i，所述连接后的向量Zu,i的表达式如下：
Zu,i＝[tu,ti,tue]
S402、将连接后的向量Zu,i输入至多层感知器中进行评论特征融合处理，得到常数
S403、根据所述常数
得到最终的评分预测结果，所述最终的评分预测结果
的表达式如下：
其中，
为常数，bu为用户偏置，bi为物品偏置，μ为全局平均分。
本发明的有益效果：
本发明提供基于多源用户评论的评分预测方法，可以基于用户-物品评分矩阵和相似度公式计算得到用户之间的相似度，使用相似度最高的相似用户撰写的相关评论对用户评论进行补充，为每位用户都构建一个用户评论补充文档。用户评论补充文档可以缓解用户评论的数据稀疏问题，丰富用户画像，使得在为用户进行物品推荐时可以更加精准。此外，用户评论补充文档是由相似用户撰写的相关评论构成的，与用户自己撰写的评论存在一定的差异性，可以帮助我们学习用户更多元化的一些兴趣，以提供用户更多样化的推荐，提高用户对推荐系统的满意度。
附图说明
图1为本发明的方法流程图。
图2为本发明的评论特征提取框图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
已有的基于用户评论的协同过滤方法利用用户评论文档(所有该用户撰写的评论)来构建用户画像，利用物品评论文档(为该物品撰写的所有评论)来学习物品属性，然后使用卷积神经网络、循环神经网络等对用户评论中的信息进行提取和整合。但是由于用户评论太少，大多数用户都不能被模型很好地表示。由此，我们设计了基于多源用户评论的评分预测方法，根据用户-物品评分矩阵和相似度公式计算得到用户之间的相似度，使用相似度最高的相似用户撰写的相关评论对用户评论进行补充，为每位用户构建一个用户评论补充文档，丰富用户画像，如图1所示，其实现方法如下：
S1、对每条用户消费记录进行预处理。
本实施例中，机器学习算法没有办法直接处理原始数据中的文字，因此我们先对原始数据进行一些预处理。首先，我们对每条用户消费记录中的评论进行处理，其预处理方法如下：
S101、删除每条用户历史消费记录的评论中的停止词、数字、标点符号以及出现频率高于0.5的高频单词，其中，停止词为使用频率很多的字或词，常为冠词、介词、副词或连词等；
S102、根据经删除操作后的每条用户历史消费记录的评论，计算得到数据中包含的所有单词的TF-IDF分数，并选择TF-IDF分数最高的2万个单词构建词典，其中，TF-IDF表示词频-逆向文件频率；
S103、删除评论中所述词典以外的所有单词；
S104、对英文单词/中文字数长度超过300的评论做截断操作，并对英文单词/中文字数长度不满300的评价补0并延长长度至300，从而完成对用户历史消费记录中评论的预处理。
本实施例中，对用户历史消费记录中包含的每一条消费记录，我们都进行以下操作：把用户编码转换为唯一的数字(从1开始)；把物品编码转换为唯一的数字(从1开始)；把单词转换为唯一的数字(从1开始)。
S2、根据经预处理后的每条用户消费记录对每位用户u的评论进行补充，并把所述补充评论添加至每位用户u的评论补充文档中，其实现方法如下：
S201、从经预处理后的用户历史消费记录中筛选出包含有物品i但不包括用户u的所有用户消费记录；
S202、将对物品i评分与用户u之间差异不超过1的用户作为用户u的候选相似用户；
S203、利用用户-物品评分矩阵和相似度公式计算得到用户u的候选相似用户中的所有用户与用户u的相似度；
S204、将与用户u相似度最高的相似用户对物品i的评论作为用户u的补充评论，并把所述补充评论添加至用户u的评论补充文档中；
S205、判断用户u的每条历史消费记录是否都进行了评论补充，若是，则进入步骤S3，否则，返回步骤S201。
本实施例中，对于每个用户u消费过的物品i，我们首先筛选出数据中包含有物品i的所有实例(去除u)。考虑到不同用户的评分习惯存在一定的差异，一些用户倾向于打高分，一些用户习惯打低分，我们把对物品i评分与用户u差异不超过1的用户都当做用户u的候选相似用户。紧接着，我们根据用户-物品评分矩阵使用上述相似度计算公式计算用户u的候选相似用户中的所有用户与用户u的相似度，把与用户u相似度最高的用户对物品i的评论当做用户u的补充评论，并把这个评论添加到用户u的评论补充文档中。
本实施例中，每个用户由用户u评论文档、用户u评论补充文档进行表示，每个物品由物品i评论文档进行表示。由于用户和物品评分矩阵极度稀疏，这些打分的用户中绝大多数不愿意写评论分享自己的消费体验，即使有些用户写了评论也大部分都比较短，所以用户评论相比较用户和物品评分矩阵更为稀疏，因此我们对用户评论进行补充。我们根据用户的历史评分记录筛选出最契合的相似用户对用户评论进行补充，对任意用户u消费过的任意物品都进行一次评论补充。每个用户的评论补充文档都是由若干与用户u具有最高相似度并且消费过一些相同商品的用户撰写的评论组成的。这些补充评论会包含与用户u的评论相似的内容，也会包含一些不同的东西，可能这些东西是用户u在自己的评论中没有充分表达出来的。我们希望这些补充评论可以丰富用户u的用户画像，帮助我们学习用户u更多元化的一些兴趣，以提供用户u更多样性的推荐，提高评分预测的准确度以及用户u对推荐系统的满意度。
本实施例中，考虑到用户评分矩阵是极度稀疏的，我们对共同消费物品数较多的用户对赋予更高的相似度。用户与用户u的相似度rx,y的表达式如下：
其中，Ix和Iy为用户x和用户y消费过的物品集合，xi和yi为用户x和用户y对物品i的评分，
和
为用户x和用户y的平均分。
S3、分别提取用户u的评论补充文档、物品i的评论文档以及用户u的评论文档的评论特征，其实现方法如下：
S301、分别对用户u的评论补充文档、物品i的评论文档以及用户u的评论文档中每个单词进行词嵌入处理，分别得到用户u评论补充文档的词嵌入矩阵、物品i评论文档的词嵌入矩阵以及用户u评论文档的词嵌入矩阵，其实现方法如下：
S3011、分别将用户u评论补充文档、物品i评论文档以及用户u评论文档中的每个单词映射至多维空间中，并用相应的词嵌入向量表示；
S3012、根据各单词在上述各文档中的位置，将所述词嵌入向量表示进行连接，分别得到用户u评论补充文档的词嵌入矩阵、物品i评论文档的词嵌入矩阵以及用户u评论文档的词嵌入矩阵；
S302、利用卷积神经网络提取上述各所述词嵌入矩阵中的评论特征，其实现方法如下：
S3021、利用具有不同卷积权重的卷积过滤器，分别捕获用户u评论补充文档的词嵌入矩阵的上下文特征、物品i评论文档的词嵌入矩阵的上下文特征以及用户u评论文档的词嵌入矩阵中的上下文特征；
S3022、将上述各上下文特征分别进行连接，并将所述连接结果分别表示为用户u评论补充文档的上下文特征矩阵、物品i评论文档的上下文特征矩阵以及用户u评论文档的上下文特征矩阵；
S3023、将上述各上下文特征矩阵分别输入至最大池化层中，分别得到用户u评论补充文档的上下文向量、物品i评论文档的上下文向量以及用户u评论文档的上下文向量；
S3024、利用全连接层分别对各所述上下文向量进行语义特征整合，分别得到用户u评论补充文档的潜在表示向量te、物品i评论文档的潜在表示向量ti以及用户u评论文档的潜在表示向量tu；
S2035、将物品i评论文档的潜在表示向量作为物品i评论文档的评论特征；以及
将用户u评论文档的潜在表示向量作为用户u评论文档的评论特征；
S3026、利用用户u评论文档的潜在表示向量对用户u评论补充文档的潜在表示向量进行过滤，得到过滤后的用户u评论补充文档的评论特征，所述过滤后的用户u评论补充文档的评论特征tue的表达式如下：
tue＝g*te
g＝sigmoid(Wg*tu+bg)
其中，g为门控，te为过滤前的用户u评论补充文档的评论特征，Wg为权重向量，tu为用户评论文档的潜在向量，bg为偏置，sigmoid(·)为非线性激活函数。
本实施例中，我们对用户u评论文档、物品i评论文档和用户u评论补充文档中的信息进行提取，把这些文档中蕴含的语义信息抽象成高维特征向量，以进行最后的评分预测。如图2所示，我们首先对评论文档中的每个单词进行词嵌入操作。输入一个评论文档D＝(w1,w2,...,wl)，首先把每个单词都映射到一个多维空间中，用相应的词嵌入向量表示，然后根据单词在文档中的位置把这些向量连接成一个词嵌入矩阵D∈Rn×1：
D＝(e1,e2,...,el)
其中，D为词嵌入矩阵，l为评论文档的长度，ei为文档中第i个单词对应的词嵌入向量，i＝1,2,...,l。
得到词嵌入矩阵D后，我们首先使用卷积神经网络提取词嵌入矩阵中的语义信息。为了获得各式各样的特征，我们使用具有不同卷积权重的多个卷积过滤器来捕获词嵌入矩阵D的上下文特征。具体而言，单词窗口大小为ω的第j个卷积过滤器被用于提取局部上下文特征cj，从以位置h为窗口中心提取到的上下文特征定义如下：
其中，relu(·)为非线性激活函数，*为卷积操作，Wj为第j个卷积过滤器的卷积权重，Dh:h+ω-1；:n为以位置为h为窗口中心的包含ω个单词的词嵌入向量的矩阵，
为以位置h为窗口中心提取到的上下文特征。
经过卷积操作之后，我们可以通过将不同的卷积过滤器的结果进行连接来表示从评论文档D中提取的特征，如下所示：
C＝(c1,c2,...,cm)
其中，C∈Rm×1，m是卷积核的数量。
上下文特征矩阵C首先被传入到最大池化层中，此操作可以在降维的同事整合不同卷积过滤器提取的上下文信息。经过最大池化操作后，我们得到一个上下文向量t，如下所示：
tue＝[t1,t2,...,tm]
t＝[t1,t2,...,tk]
在最大池化操作之后，使用一个全连接层来整合语义特征。最后，获得了评论文档D的潜在表示向量t，k是潜在表示向量的维度。经过上述操作后，我们可以得到用户评论文档、物品评论文档和用户评论补充文档的潜在表示向量tu、ti和te。由于用户u评论补充文档包含的是用户u的相似用户撰写的评论，可能包含对最后的评分预测有益的信息，也可能包含有害的信息，因此我们使用用户u评论文档的潜在表示向量对用户u评论补充文档的潜在表示向量进行过滤，公式如下：
g＝sigmoid(Wg*tu+bg)
tue＝g*te
其中，g为门控，te为过滤前的用户u评论补充文档的评论特征，Wg为权重向量，tu为用户评论文档的潜在向量，bg为偏置，sigmoid(·)为非线性激活函数。
S4、将提取的评论特征进行连接，并将连接后的向量输入至多层感知器中进行评论特征融合处理，并根据融合结果得到最终的评分预测，从而完成基于多源用户评论的评分预测结果，其实现方法如下：
S401、将物品i评论文档的潜在表示向量ti、用户u评论文档的潜在表示向量tu以及用户u评论补充文档的评论特征tue进行连接，得到连接后的向量Zu,i；
S402、将连接后的向量Zu,i输入至多层感知器中进行评论特征融合处理，得到常数
S403、根据所述常数
得到最终的评分预测结果。
本实施例中，经过上述操作后，可以得到三个高维向量tu、ti和tue，并把它们连接在一起，然后输入到多层感知器中进行最后的评分预测：
Zu,i＝[tu,ti,tue]
at+1＝tanh(Wl*al+bl)
其中，Zu,i是tu、ti和tue连接后得到的向量，l是多层感知器中隐藏层的编号，Wl、al和bl分别代表多层感知器中第l层中的权重向量、输出和偏置，tanh(·)是一种常见的非线性激活函数。经过多层感知器对Zu,i中信息的提取后，我们得到一个常数
由于用户偏置、物品偏置、平均分等因子对最后的评分预测结果也有一定的影响，例如，一些用户对所有物品都打低分，一些家用日用品得到的打分都是高分。因此我们把这些因子也添加到我们最后的评分预测中
其中，
为常数，bu为用户偏置，bi为物品偏置，μ为全局平均分。
本实施例中，我们采用数据集Musical Instruments,Office Products,ToolsImprovement验证了算法的有效性，这三个数据集都是Amazon公开的经过5-core处理的数据集。5-core指的是保证数据集中的每个用户和物品都有至少5个实例。在经过步骤一中的数据处理操作后，我们把所有空评论的实例都过滤掉。数据处理完成后，我们对数据进行了随机划分，72％用来训练，20％用来测试，8％作为验证集用来选择模型。此外，我们会保证每个用户u和物品i在训练集中都有至少一个实例。通过我们设计的评分预测模型可以获得用户u对物品i的预测评分，从而进行TopN推荐。我们使用MSE(均方误差)对模型进行训练和评测：
我们使用比较经典的PMF算法、DeepCoNN算法以及基于评论的评分预测方法中效果最好的PARL算法和CARP算法进行比较，结果表1所示：
表1
由表1可知，我们的模型在进行评分预测时，在MSE指标上超过了已有的方法，取得了前沿的评分预测效果，这证明了本发明提出的模型在处理评分预测任务上具有突出的效果。在使用该模型预测评分后，可以将整个用户-物品评分矩阵填满，选择预测评分最高的N个物品为用户生成TopN推荐列表。
Claims (10)
1.一种基于多源用户评论的评分预测方法，其特征在于，包括以下步骤：
S1、对每条用户历史消费记录进行数据预处理；
S2、针对每位用户u消费过的每个物品i，根据用户-物品评分矩阵和相似度公式计算得到不同用户之间的相似度，选择出消费过物品i的所有用户中与用户u相似度最高的相似用户撰写的对物品i的评论，并把该评论添加至用户u的评论补充文档中；
S3、分别提取用户u的评论补充文档、物品i的评论文档以及用户u的评论文档的评论特征；
S4、将提取的评论特征进行连接，并将连接后的向量输入至多层感知器中进行评论特征融合处理，并根据融合结果得到最终的评分预测结果，从而完成基于多源用户评论的评分预测。
2.根据权利要求1所述的基于多源用户评论的评分预测方法，其特征在于，所述步骤S1包括以下步骤：
S101、删除每条用户历史消费记录的评论中的停止词、数字、标点符号以及出现频率高于0.5的高频单词，其中，停止词为使用频率高的字或词，包括冠词、介词、副词或连词；
S102、根据经删除操作后的每条用户历史消费记录的评论，计算得到数据中包含的所有单词的TF-IDF分数，并选择TF-IDF分数最高的2万个单词构建词典，其中，TF-IDF表示词频-逆向文件频率；
S103、删除评论中所述词典以外的所有单词；
S104、对英文单词/中文字数长度超过300的评论做截断操作，并对英文单词/中文字数长度不满300的评价补0并延长长度至300，从而完成对用户历史消费记录中评论的数据预处理。
3.根据权利要求1所述的基于多源用户评论的评分预测方法，其特征在于，所述步骤S2包括以下步骤：
S201、从经预处理后的用户历史消费记录中筛选出包含有物品i但不包括用户u的所有用户消费记录；
S202、将对物品i评分与用户u之间差异不超过1的用户作为用户u的候选相似用户；
S203、利用用户-物品评分矩阵和相似度公式计算得到用户u的候选相似用户中的所有用户与用户u的相似度；
S204、将与用户u相似度最高的相似用户对物品i的评论作为用户u的补充评论，并把所述补充评论添加至用户u的评论补充文档中；
S205、判断用户u的每条历史消费记录是否都进行了评论补充，若是，则进入步骤S3，否则，返回步骤S201。
4.根据权利要求3所述的基于多源用户评论的评分预测方法，其特征在于，所述步骤S203中所有用户与用户u的相似度rx,y的表达式如下：
其中，Ix和Iy为用户x和用户y消费过的物品集合，xi和yi为用户x和用户y对物品i的评分，
和
为用户x和用户y的平均分。
5.根据权利要求1所述的基于多源用户评论的评分预测方法，其特征在于，所述步骤S3包括以下步骤：
S301、分别对用户u的评论补充文档、物品i的评论文档以及用户u的评论文档中每个单词进行词嵌入处理，分别得到用户u评论补充文档的词嵌入矩阵、物品i评论文档的词嵌入矩阵以及用户u评论文档的词嵌入矩阵；
S302、利用卷积神经网络提取上述各所述词嵌入矩阵中的评论特征。
6.根据权利要求5所述的基于多源用户评论的评分预测方法，其特征在于，所述步骤S301包括以下步骤：
S3011、分别将用户u评论补充文档、物品i评论文档以及用户u评论文档中的每个单词映射至多维空间中，并用相应的词嵌入向量表示；
S3012、根据各单词在上述各文档中的位置，将所述词嵌入向量表示进行连接，分别得到用户u评论补充文档的词嵌入矩阵、物品i评论文档的词嵌入矩阵以及用户u评论文档的词嵌入矩阵，所述词嵌入矩阵的表达式如下：
D＝(e1,e2,...,el)
其中，D为词嵌入矩阵，l为评论文档的长度，ei为文档中第i个单词对应的词嵌入向量，i＝1,2,...,l。
7.根据权利要求5所述的基于多源用户评论的评分预测方法，其特征在于，所述步骤S302包括以下步骤：
S3021、利用具有不同卷积权重的卷积过滤器，分别捕获用户u评论补充文档的词嵌入矩阵的上下文特征、物品i评论文档的词嵌入矩阵的上下文特征以及用户u评论文档的词嵌入矩阵中的上下文特征；
S3022、将上述各上下文特征分别进行连接，并将所述连接结果分别表示为用户u评论补充文档的上下文特征矩阵、物品i评论文档的上下文特征矩阵以及用户u评论文档的上下文特征矩阵；
S3023、将上述各上下文特征矩阵分别输入至最大池化层中，分别得到用户u评论补充文档的上下文向量、物品i评论文档的上下文向量以及用户u评论文档的上下文向量；
S3024、利用全连接层分别对各所述上下文向量进行语义特征整合，分别得到用户u评论补充文档的潜在表示向量te、物品i评论文档的潜在表示向量ti以及用户u评论文档的潜在表示向量tu；
S2035、将物品i评论文档的潜在表示向量作为物品i评论文档的评论特征；以及
将用户u评论文档的潜在表示向量作为用户u评论文档的评论特征；
S3026、利用用户u评论文档的潜在表示向量对用户u评论补充文档的潜在表示向量进行过滤，得到过滤后的用户u评论补充文档的评论特征，所述过滤后的用户u评论补充文档的评论特征tue的表达式如下：
tue＝g*te
g＝sigmoid(Wg*tu+bg)
其中，g为门控，te为过滤前的用户u评论补充文档的评论特征，Wg为权重向量，tu为用户评论文档的潜在向量，bg为偏置，sigmoid(·)为非线性激活函数。
8.根据权利要求7所述的基于多源用户评论的评分预测方法，其特征在于，所述步骤S3021中上下文特征的表达式如下：
其中，relu(·)为非线性激活函数，*为卷积操作，Wj为第j个卷积过滤器的卷积权重，Dh:h+ω-1；:n为以位置为h为窗口中心的包含ω个单词的词嵌入向量的矩阵，
为以位置h为窗口中心提取到的上下文特征。
9.根据权利要求7所述的基于多源用户评论的评分预测方法，其特征在于，所述步骤S3024中上下文向量的表达式如下：
tm＝[t1,t2,...,tm]
所述潜在表示向量的表达式如下：
t＝[t1,t2,...,tk]
其中，tm为上下文向量，t为潜在表示向量，m为卷积核的数量，k为潜在表示向量的维度。
10.根据权利要求1所述的基于多源用户评论的评分预测方法，其特征在于，所述步骤S4包括以下步骤：
S401、将物品i评论文档的潜在表示向量ti、用户u评论文档的潜在表示向量tu以及用户u评论补充文档的评论特征tue进行连接，得到连接后的向量Zu,i，所述连接后的向量Zu,i的表达式如下：
Zu,i＝[tu,ti,tue]
S402、将连接后的向量Zu,i输入至多层感知器中进行评论特征融合处理，得到常数
S403、根据所述常数
得到最终的评分预测结果，所述最终的评分预测结果
的表达式如下：
其中，
为常数，bu为用户偏置，bi为物品偏置，μ为全局平均分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010051421.2A CN111274493B (zh) | 2020-01-17 | 2020-01-17 | 一种基于多源用户评论的评分预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010051421.2A CN111274493B (zh) | 2020-01-17 | 2020-01-17 | 一种基于多源用户评论的评分预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111274493A true CN111274493A (zh) | 2020-06-12 |
| CN111274493B CN111274493B (zh) | 2020-09-08 |
Family
ID=71002267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010051421.2A Expired - Fee Related CN111274493B (zh) | 2020-01-17 | 2020-01-17 | 一种基于多源用户评论的评分预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111274493B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488529A (zh) * | 2020-06-28 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 信息处理方法、装置、服务器及存储介质 |
| CN112182156A (zh) * | 2020-09-28 | 2021-01-05 | 齐鲁工业大学 | 基于文本处理的方面级可解释深度网络评分预测推荐方法 |
| CN112365708A (zh) * | 2020-09-29 | 2021-02-12 | 西北大学 | 基于多图卷积网络的景区交通量预测模型建立和预测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2254088A1 (fr) * | 2009-05-19 | 2010-11-24 | France Telecom | Dispositif et procédé de prédiction de commentaires associés à un produit |
| CN102541920A (zh) * | 2010-12-24 | 2012-07-04 | 华东师范大学 | 联合基于用户和项目的协同过滤提高准确度的方法及装置 |
| CN103678431A (zh) * | 2013-03-26 | 2014-03-26 | 南京邮电大学 | 一种基于标准标签和项目评分的推荐方法 |
| CN104182392A (zh) * | 2013-05-20 | 2014-12-03 | 中国联合网络通信集团有限公司 | 服务推荐处理的方法和装置 |
| US20180041458A1 (en) * | 2016-08-08 | 2018-02-08 | Flipboard, Inc. | Adaptive presentation of comments based on sentiment |
| CN108460145A (zh) * | 2018-03-15 | 2018-08-28 | 北京邮电大学 | 一种基于混合兴趣相似度的协同过滤推荐方法 |
| CN110648163A (zh) * | 2019-08-08 | 2020-01-03 | 中山大学 | 一种基于用户评论的推荐算法 |
-
2020
- 2020-01-17 CN CN202010051421.2A patent/CN111274493B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2254088A1 (fr) * | 2009-05-19 | 2010-11-24 | France Telecom | Dispositif et procédé de prédiction de commentaires associés à un produit |
| CN102541920A (zh) * | 2010-12-24 | 2012-07-04 | 华东师范大学 | 联合基于用户和项目的协同过滤提高准确度的方法及装置 |
| CN103678431A (zh) * | 2013-03-26 | 2014-03-26 | 南京邮电大学 | 一种基于标准标签和项目评分的推荐方法 |
| CN104182392A (zh) * | 2013-05-20 | 2014-12-03 | 中国联合网络通信集团有限公司 | 服务推荐处理的方法和装置 |
| US20180041458A1 (en) * | 2016-08-08 | 2018-02-08 | Flipboard, Inc. | Adaptive presentation of comments based on sentiment |
| CN108460145A (zh) * | 2018-03-15 | 2018-08-28 | 北京邮电大学 | 一种基于混合兴趣相似度的协同过滤推荐方法 |
| CN110648163A (zh) * | 2019-08-08 | 2020-01-03 | 中山大学 | 一种基于用户评论的推荐算法 |
Non-Patent Citations (6)
| Title |
|---|
| EISSA M. ALSHARI 等: "Prediction of rating from comments based on information retrieval and sentiment analysis", 《INFORMATION RETRIEVAL AND KNOWLEDGE MANAGEMENT》 * |
| WALAILAK KAMLOR 等: "Product discovery via recommendation based on user comments", 《KNOWLEDGE AND SMART TECHNOLOGY》 * |
| 冯兴杰 等: "基于评分矩阵与评论文本的深度推荐模型", 《计算机学报》 * |
| 原福永 等: "融合用户相似度和信任传播重组信任矩阵算法", 《燕山大学学报》 * |
| 王阳 等: "融合语义相似度与矩阵分解的评分预测算法", 《计算机应用》 * |
| 邢哲: "多维度自适应的协同过滤推荐算法", 《小型微型计算机系统》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488529A (zh) * | 2020-06-28 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 信息处理方法、装置、服务器及存储介质 |
| CN111488529B (zh) * | 2020-06-28 | 2020-09-29 | 腾讯科技（深圳）有限公司 | 信息处理方法、装置、服务器及存储介质 |
| CN112182156A (zh) * | 2020-09-28 | 2021-01-05 | 齐鲁工业大学 | 基于文本处理的方面级可解释深度网络评分预测推荐方法 |
| CN112182156B (zh) * | 2020-09-28 | 2023-02-07 | 齐鲁工业大学 | 基于文本处理的方面级可解释深度网络评分预测推荐方法 |
| CN112365708A (zh) * | 2020-09-29 | 2021-02-12 | 西北大学 | 基于多图卷积网络的景区交通量预测模型建立和预测方法 |
| CN112365708B (zh) * | 2020-09-29 | 2022-04-19 | 西北大学 | 基于多图卷积网络的景区交通量预测模型建立和预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111274493B (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Do users rate or review? Boost phrase-level sentiment labeling with review-level sentiment classification | |
| CN111274493B (zh) | 一种基于多源用户评论的评分预测方法 | |
| CN110765260A (zh) | 一种基于卷积神经网络与联合注意力机制的信息推荐方法 | |
| Baden et al. | Hybrid content analysis: Toward a strategy for the theory-driven, computer-assisted classification of large text corpora | |
| Alharbi et al. | Evaluation of sentiment analysis via word embedding and RNN variants for Amazon online reviews | |
| CN104885081A (zh) | 搜索系统和相应方法 | |
| Zhang et al. | A deep joint network for session-based news recommendations with contextual augmentation | |
| CN112991017A (zh) | 基于用户评论解析的标签体系精准推荐方法 | |
| CN111242679A (zh) | 一种基于产品评论观点挖掘的销量预测方法 | |
| CN108875065B (zh) | 一种基于内容的印尼新闻网页推荐方法 | |
| Das et al. | Sentiment analysis of movie reviews using POS tags and term frequencies | |
| Baishya et al. | SAFER: sentiment analysis-based fake review detection in e-commerce using deep learning | |
| Chen et al. | User’s review habits enhanced hierarchical neural network for document-level sentiment classification | |
| CN111737607B (zh) | 数据处理方法、装置、电子设备以及存储介质 | |
| US11295078B2 (en) | Portfolio-based text analytics tool | |
| Saraswat et al. | Enriching topic coherence on reviews for cross-domain recommendation | |
| Zhang et al. | A generic framework for learning explicit and implicit user-item couplings in recommendation | |
| Nasir et al. | Improving e-commerce product recommendation using semantic context and sequential historical purchases | |
| Berkani et al. | S-SNHF: sentiment based social neural hybrid filtering | |
| Nia et al. | A framework for a large-scale B2B recommender system | |
| CN113722443B (zh) | 一种融合文本相似度和协同过滤的标签推荐方法和系统 | |
| Paul et al. | A weighted hybrid recommendation approach for user’s contentment using natural language processing | |
| Zeng et al. | Using latent features for building an interpretable recommendation system | |
| Anuradha et al. | Fuzzy based summarization of product reviews for better analysis | |
| Arora et al. | Evaluation Of Product Reviews Using Deep Learning Classifier Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200908 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |