CN110096618B - 一种基于分维度情感分析的电影推荐方法 - Google Patents
一种基于分维度情感分析的电影推荐方法 Download PDFInfo
- Publication number
- CN110096618B CN110096618B CN201910387095.XA CN201910387095A CN110096618B CN 110096618 B CN110096618 B CN 110096618B CN 201910387095 A CN201910387095 A CN 201910387095A CN 110096618 B CN110096618 B CN 110096618B
- Authority
- CN
- China
- Prior art keywords
- movie
- emotion
- data
- comment
- comment data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于分维度情感分析的电影推荐方法,通过爬取电影的评论数据、对评论数据进行数据预处理、对进行数据预处理后的评论数据进行特征维度的提取、将提取到的特征维度进行合并处理、将合并处理后的特征维度排序、构建适用于电影领域的情感词典、利用构建的情感词典对电影的评论数据进行情感分析,获取电影的类型模型、对电影的类型模型进行聚类运算得出推荐结果等步骤。优点是:通过对用户电影评论进行分特征维度的情感分析,计算出电影的类型模型,更精确更全面地展现了电影的各特征维度特点,从而提升了推荐服务的质量水平,在一定程度上改善了传统的不分特征维度的推荐算法准确率偏低的问题。
Description
技术领域
本发明涉及电影推荐领域,尤其涉及一种基于分维度情感分析的电影推荐方法。
背景技术
随着互联网的迅猛发展,不同种类的软件、网站层出不穷,在其丰富我们生活的同时,想要从茫茫数据中找寻到自己感兴趣适合的内容也变得更加困难,因此推荐系统应运而生。以往的推荐系统往往利用评分或者评论的整体情感进行推荐,缺乏对评论的深度挖掘,评论中可能涵盖了“演员”、“导演”、“风格”等多个维度的信息,用户对不同维度的情感倾向是不同的,若只根据总体情感进行推荐,准确率较低。以往的电影推荐主要利用的是用户打出的评分或是电影评论的整体情感倾向来做出推荐。某些制片方为了利益可能会招募一些人给他们的产品打高分,导致推荐的结果并不可信。现有的情感分析大致分为两类,基于词典的方法和基于机器学习的方法,已有的情感分析算法各有优缺点,导致单一的情感分析方法无法适用于电影推荐系统中,降低了系统的性能。
发明内容
本发明的目的在于提供一种基于分维度情感分析的电影推荐方法,从而解决现有技术中存在的前述问题。
为了实现上述目的,本发明采用的技术方案如下:
一种基于分维度情感分析的电影推荐方法,包括如下步骤,
S1、通过爬虫爬取电影的评论数据;
S2、对爬取得到的评论数据进行数据预处理;
S3、对进行数据预处理后的评论数据进行特征维度的提取;
S4、将提取到的特征维度利用Hownet语义相似度进行合并处理;
S5、将合并处理后的特征维度按照重要性进行排序;
S6、在已有权威性情感词典中加入适用于电影的情感词,构建适用于电影领域的情感词典;
S7、利用构建的情感词典对电影的评论数据进行情感分析,得出每部电影的每条评论中各个特征维度的情感值,获取电影的类型模型;
S8、利用二分聚类对电影的类型模型进行聚类运算得出推荐结果。
优选的,步骤S2中,所述数据预处理具体包括分词、去停用词以及词性标注。
优选的,步骤S5中,所述重要性通过简化PageRank来评判。
本发明的有益效果是:1、通过对用户电影评论进行分特征维度的情感分析,计算出电影的类型模型,更精确更全面地展现了电影的各特征维度特点,从而提升了推荐服务的质量水平,在一定程度上改善了传统的不分特征维度的推荐算法准确率偏低的问题。2、数据预处理步骤可以去掉一些无效的、重复的数据,且将数据处理成方便后续计算处理的形式。提取合并以及排序电影特征维度可以从电影评论中挖取细粒度的特征维度,可以体现更为具体的电影特征。3、特征维度进行重要性排序,这样可以降低算法的复杂度。构建针对性的情感词典能够提高情感分析的准确度。4、通过二分聚类能够克服普通K-means聚类算法容易收敛于局部最小值问题。
附图说明
图1是本发明实施例中电影推荐方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提供了一种基于分维度情感分析的电影推荐方法,包括如下步骤,
S1、通过爬虫爬取电影的评论数据;
S2、对爬取得到的评论数据进行数据预处理;
S3、对进行数据预处理后的评论数据进行特征维度的提取;
S4、将提取到的特征维度利用Hownet语义相似度进行合并处理;
S5、将合并处理后的特征维度按照重要性进行排序;
S6、在已有权威性情感词典中加入适用于电影的情感词,构建适用于电影领域的情感词典;
S7、利用构建的情感词典对电影的评论数据进行情感分析,得出每部电影的每条评论中各个特征维度的情感值,获取电影的类型模型;
S8、利用二分聚类对电影的类型模型进行聚类运算得出推荐结果。
本实施例中,电影评论数据的获取,采用爬虫的方法获取了豆瓣用户影评及打分数据,爬取数据之前需要根据网页内容设计好元数据,然后模拟登陆+设置user agent+xpath、正则表达式等等进行爬取工作。
本实施例中,步骤S2中,所述数据预处理具体包括分词、去停用词以及词性标注;电影评论数据的预处理,对收集到的评论数据利用jieba分词进行分词处理,过滤掉停用词,并对分完的词进行词性标注,可以过滤掉无用词汇,提高程序运行速率和准确率。
本实施例中,提取评论的特征维度,利用PMI(互信息)来进行特征提取最能体现出电影评论的特征的词语作为特征维度,其中pos代表文档的情感,word代表一个词语,分子表示的就是同时表现为pos情感以及出现word词语的概率。
本实施例中,合并评论数据的特征维度,用户在评论电影时表达不一,往往会使用不同的词汇表达相同的意见描述,因此需要利用HowNet的语义词汇相似度对电影特征进行合并,有助于理解,如“战争”和“战斗”可以合并。
本实施例中,步骤S5中,所述重要性通过简化PageRank来评判;电影特征维度重要性排序,使用简化版的PageRank算法模型对电影特征维度进行重要性排序,假设电影评论中同时出现了电影特征,则意味两个特征维度互相回指,简化计算复杂度。
本实施例中,构建情感词典,在大连理工大学林鸿飞教授所整理和标注的中文情感词汇本题库基础上添加使用卡方统计得到的评价电影的情感词,扩充情感词典。
本实施例中,利用构建的情感词典对各个电影的评论数据进行情感分析处理,对每个子句匹配特征维度,计算该维度情感值,得出每条评论数据中各个特征维度的情感值,得出电影的类型模型。
本实施例中,二分K-means聚类方法推荐,对得到的电影类型模型进行二分K-means聚类运算,得出推荐结果。
通过采用本发明公开的上述技术方案,得到了如下有益的效果:
本发明提供一种基于分维度情感分析的电影推荐方法,采用基于分维度情感分析的推荐方法,获取了较好的推荐效果,数据预处理步骤可以去掉一些无效的、重复的数据,且将数据处理成方便后续计算处理的形式。提取合并以及排序电影特征维度可以从电影评论中挖取细粒度的特征维度,可以体现更为具体的电影特征。而且由于各个用户对于类似意见的表达方式不同,因此需要对特征维度进行合并,有利于对结果的理解。而且电影评论往往篇幅短,每篇影评中所涉及到的特征维度有限,因此可以对特征维度进行重要性排序,这样可以降低算法的复杂度。构建针对性的情感词典能够提高情感分析的准确度,通过二分聚类能够克服普通K-means聚类算法容易收敛于局部最小值问题。通过对用户电影评论进行分特征维度的情感分析,计算出电影的类型模型,更精确更全面地展现了电影的各特征维度特点,从而提升了推荐服务的质量水平,在一定程度上改善了传统的不分特征维度的推荐算法准确率偏低的问题。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
Claims (1)
1.一种基于分维度情感分析的电影推荐方法,其特征在于:包括如下步骤,
S1、通过爬虫爬取电影的评论数据;
S2、对爬取得到的评论数据进行数据预处理;
S3、对进行数据预处理后的评论数据进行特征维度的提取;
S4、将提取到的特征维度利用Hownet语义相似度进行合并处理;
S5、将合并处理后的特征维度按照重要性进行排序;
S6、在已有权威性情感词典中加入适用于电影的情感词,构建适用于电影领域的情感词典;
S7、利用构建的情感词典对电影的评论数据进行情感分析,得出每部电影的每条评论中各个特征维度的情感值,获取电影的类型模型;
S8、利用二分聚类对电影的类型模型进行聚类运算得出推荐结果;
电影评论数据的获取,采用爬虫的方法获取了豆瓣用户影评及打分数据,爬取数据之前需要根据网页内容设计好元数据,然后模拟登陆+设置user agent+xpath、正则表达式进行爬取工作;
步骤S2中,所述数据预处理具体包括分词、去停用词以及词性标注;
步骤S5中,所述重要性通过简化PageRank来评判;
构建情感词典,在中文情感词汇本题库基础上添加使用卡方统计得到的评价电影的情感词;
利用构建的情感词典对各个电影的评论数据进行情感分析处理,对每个子句匹配特征维度,计算该维度情感值,得出每条评论数据中各个特征维度的情感值,得出电影的类型模型;
二分K-means聚类方法推荐,对得到的电影类型模型进行二分K-means聚类运算,得出推荐结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910387095.XA CN110096618B (zh) | 2019-05-10 | 2019-05-10 | 一种基于分维度情感分析的电影推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910387095.XA CN110096618B (zh) | 2019-05-10 | 2019-05-10 | 一种基于分维度情感分析的电影推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110096618A CN110096618A (zh) | 2019-08-06 |
CN110096618B true CN110096618B (zh) | 2021-06-15 |
Family
ID=67447585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910387095.XA Active CN110096618B (zh) | 2019-05-10 | 2019-05-10 | 一种基于分维度情感分析的电影推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110096618B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111586089A (zh) * | 2020-03-20 | 2020-08-25 | 上海大犀角信息科技有限公司 | 基于向量评分的客户端、服务端内容推荐系统和方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729456A (zh) * | 2014-01-07 | 2014-04-16 | 合肥工业大学 | 一种基于微博群环境的微博多模态情感分析方法 |
US8838438B2 (en) * | 2011-04-29 | 2014-09-16 | Cbs Interactive Inc. | System and method for determining sentiment from text content |
CN104268197A (zh) * | 2013-09-22 | 2015-01-07 | 中科嘉速(北京)并行软件有限公司 | 一种行业评论数据细粒度情感分析方法 |
CN106250365A (zh) * | 2016-07-21 | 2016-12-21 | 成都德迈安科技有限公司 | 基于文本分析的消费者评论中商品属性特征词的提取方法 |
CN106681986A (zh) * | 2016-12-13 | 2017-05-17 | 成都数联铭品科技有限公司 | 一种多维度情感分析系统 |
CN108491377A (zh) * | 2018-03-06 | 2018-09-04 | 中国计量大学 | 一种基于多维度信息融合的电商产品综合评分方法 |
CN108710680A (zh) * | 2018-05-18 | 2018-10-26 | 哈尔滨理工大学 | 一种利用深度学习进行基于情感分析的电影推荐方法 |
CN108733652A (zh) * | 2018-05-18 | 2018-11-02 | 大连民族大学 | 基于机器学习的影评情感倾向性分析的测试方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080071843A1 (en) * | 2006-09-14 | 2008-03-20 | Spyridon Papadimitriou | Systems and methods for indexing and visualization of high-dimensional data via dimension reorderings |
-
2019
- 2019-05-10 CN CN201910387095.XA patent/CN110096618B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8838438B2 (en) * | 2011-04-29 | 2014-09-16 | Cbs Interactive Inc. | System and method for determining sentiment from text content |
CN104268197A (zh) * | 2013-09-22 | 2015-01-07 | 中科嘉速(北京)并行软件有限公司 | 一种行业评论数据细粒度情感分析方法 |
CN103729456A (zh) * | 2014-01-07 | 2014-04-16 | 合肥工业大学 | 一种基于微博群环境的微博多模态情感分析方法 |
CN106250365A (zh) * | 2016-07-21 | 2016-12-21 | 成都德迈安科技有限公司 | 基于文本分析的消费者评论中商品属性特征词的提取方法 |
CN106681986A (zh) * | 2016-12-13 | 2017-05-17 | 成都数联铭品科技有限公司 | 一种多维度情感分析系统 |
CN108491377A (zh) * | 2018-03-06 | 2018-09-04 | 中国计量大学 | 一种基于多维度信息融合的电商产品综合评分方法 |
CN108710680A (zh) * | 2018-05-18 | 2018-10-26 | 哈尔滨理工大学 | 一种利用深度学习进行基于情感分析的电影推荐方法 |
CN108733652A (zh) * | 2018-05-18 | 2018-11-02 | 大连民族大学 | 基于机器学习的影评情感倾向性分析的测试方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110096618A (zh) | 2019-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110516067B (zh) | 基于话题检测的舆情监控方法、系统及存储介质 | |
CN109189942B (zh) | 一种专利数据知识图谱的构建方法及装置 | |
CN107577759B (zh) | 用户评论自动推荐方法 | |
CN107133213B (zh) | 一种基于算法的文本摘要自动提取方法与系统 | |
CN104765769B (zh) | 一种基于词矢量的短文本查询扩展及检索方法 | |
CN103838833B (zh) | 基于相关词语语义分析的全文检索系统 | |
CN105824959B (zh) | 舆情监控方法及系统 | |
CN109508414B (zh) | 一种同义词挖掘方法及装置 | |
CN107180045B (zh) | 一种互联网文本蕴含地理实体关系的抽取方法 | |
CN104881458B (zh) | 一种网页主题的标注方法和装置 | |
CN103455487B (zh) | 一种搜索词的提取方法及装置 | |
CN108038099B (zh) | 基于词聚类的低频关键词识别方法 | |
CN111506831A (zh) | 一种协同过滤的推荐模块、方法、电子设备及存储介质 | |
CN105512333A (zh) | 基于情感倾向的产品评论主题搜索方法 | |
Shawon et al. | Website classification using word based multiple n-gram models and random search oriented feature parameters | |
CN108153851B (zh) | 一种基于规则和语义的通用论坛主题帖页面信息抽取方法 | |
CN112347339A (zh) | 一种搜索结果处理方法及装置 | |
CN107451116B (zh) | 一种移动应用内生大数据统计分析方法 | |
Shaikh | Keyword Detection Techniques: A Comprehensive Study. | |
Zehtab-Salmasi et al. | FRAKE: fusional real-time automatic keyword extraction | |
CN112711666B (zh) | 期货标签抽取方法及装置 | |
CN109753646B (zh) | 一种文章属性识别方法以及电子设备 | |
CN110096618B (zh) | 一种基于分维度情感分析的电影推荐方法 | |
CN104217026B (zh) | 一种基于图模型的中文微博客倾向性检索方法 | |
CN113705217B (zh) | 一种面向电力领域知识学习的文献推荐方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |