CN109408809A - 一种基于词向量的针对汽车产品评论的情感分析方法 - Google Patents

Abstract

本发明公开了一种基于词向量的针对汽车产品评论的情感分析方法，所述方法包括以下步骤：获取汽车领域关键词库，并对原始文本进行预处理，形成待标注文本；针对待标注样本，依据时间跨度标准与车型等级标准选取样本；利用word2vec模型获得待分析文本的词向量，并由词向量均值获得高维语句向量；利用PCA主成分分析对高维语句向量进行降维，将降维后的语句向量、以及情感分类人工标注结果作为特征训练SVM分类器；利用分类器对新的文本进行情感分析，生成情感分析判定结果。本发明基于汽车产品知识本体，针对性的搭建领域词库，并且针对领域内评论文本进行有效标注，利用词向量化和机器学习模型获得更加准确的情感分析结果。

Description

一种基于词向量的针对汽车产品评论的情感分析方法

技术领域

本发明涉及文本挖掘与自然语言处理领域，尤其涉及一种基于词向量的针对汽车产品评论的情感分析方法。

背景技术

近年来，汽车产业在中国正以可喜的态势迅速发展。据公安部统计，截至2017年底，全国机动车保有量达到3.10亿辆，其中汽车2.17亿辆；机动车驾驶人达3.85亿人次，其中汽车驾驶人4.42亿人次^[1]。持续的收入增长与汽车产品成本的优化控制，使得越来越多的家庭接触到汽车产品。2017年在公安交通管理部门新注册登记的机动车3352万辆，其中新注册登记汽车2813万辆，均创历史新高^[2]。汽车产品由原来的资产性商品逐渐转型为消费型商品。越来越多的家庭已经加入到从买车到用车再到换车的消费循环中。

与此同时，汽车垂直领域平台也面临互联网技术飞速进步和流量突增的风口，它们不再局限于原先的权威参数、新鲜资讯以及独立测评，而有意吸引更多用户参与到汽车产品的交互和讨论中去，吸引用户留下对汽车产品的使用感受和主观评价^[3]。这些原创内容及其背后的阅读量和购买意向能够为网站带来深厚的数据积累和潜在利润，促进了消费者对产品的评价由传统的口口相传、广告效应向用户在线评论的转化^[4]。

用户针对其使用过的汽车产品在网站平台上所发表的口碑、评论等文本内容具有较高的参考价值。一方面原因是其基于车主宝贵的自身使用经验，汽车产品的购买者、使用者带有主观色彩的现身说法，其在选车、购车、提车、用车、养车、修车过程中的真实经历能在较大程度上影响潜在消费者的判断与倾向^[5]。具有好的口碑和评论的汽车产品，往往能够使潜在消费者坚定购买的信心，因而存在较大的概率促成新的交易，而保守差评的汽车产品也能动摇潜在消费者的信心，造成客户流失^[6]。另一方面原因由于汽车产品本身结构复杂、综合体验各有说法，潜在消费者难以像购买普通小额消费品一样从冰冷的参数配置中获得全部信息^[7]。

基于此，面向汽车垂直领域的网站平台，结合文本挖掘与数据处理技术，对其中的用户原创内容进行分析，构建一种能够准确判断用户评论情感倾向的分析方法，从而产出用户对某款汽车产品、产品某个属性的褒贬意见，对生产厂家进行产品改进迭代，或是对于消费者进行售比对甄别，都具有重要的现实意义。

现有技术中较多依靠通用词典进行分词，依靠情感词典的正负情感词以及其他形容词进行情感极性判别；或是基于机器学习的方式，对通用文本进行正负面情感分类。

现有的技术在针对汽车领域进行分析时，存在如下问题：

1)对汽车专业领域的词典广度与深度不够，并不能覆盖汽车产品的全部结构和功能；

2)对用户原创内容的词典支持欠缺，用户在网络上表达主观感受的时候会使用汽车产品的缩略词(如“前四后四”)、外号(如“马六”、“四儿子”)等，缺乏考虑互联网语境的词典会造成情感分析结果的准确性降低；

3)情感词典中同一个情感词会因处于不同的语境中而表达不同甚至截然相反的情感倾向(如“性价比高”与“油耗高”)；

4)以TF-IDF(词频-逆文本频率指数)为特征的机器学习模型输入不能很好的反应文本的语义与上下文环境。

发明内容

本发明提供了一种基于词向量的针对汽车产品评论的情感分析方法，本发明基于汽车产品知识本体，针对性的搭建领域词库，并且针对领域内评论文本进行有效标注，利用词向量化和机器学习模型获得更加准确的情感分析结果，详见下文描述：

一种基于词向量的针对汽车产品评论的情感分析方法，所述方法包括以下步骤：

获取汽车领域关键词库，并对原始文本进行预处理，形成待标注文本；针对待标注样本，依据时间跨度标准与车型等级标准选取样本；

利用word2vec模型获得待分析文本的词向量，并由词向量均值获得高维语句向量；利用PCA主成分分析对高维语句向量进行降维，将降维后的语句向量、以及情感分类人工标注结果作为特征训练SVM分类器；利用分类器对新的文本进行情感分析，生成情感分析判定结果。

所述获取汽车领域关键词库具体为：

利用由汽车本体功能结构搭建形成的汽车产品本体知识库、以及汽车领域评价词库、汽车品牌词库、网络词语库，搭建完善的汽车领域关键词库。

所述方法还包括：

面向主流汽车网站抓取汽车产品的用户评论、口碑、发帖等文本内容，并保存到本地关系型数据库MySQL中。

所述汽车产品本体知识库具体为：

依据汽车产品的系统结构、汽车性能、汽车环境以及品牌等级，搭建树状结构。

本发明提供的技术方案的有益效果是：

1、本发明能够面向汽车领域的产品知识以及用户表达习惯，针对性的对不同汽车属性的文本进行情感计算，有效得解决了情感词汇在不同语境下语义偏差以及歧义的问题，从而获得准确性较高的分类结果；

2、本发明通过PCA(主成分分析)降维后能够有效提升算法速度，此外，通过周期性的爬取网站内容，更新现有词库与样本，能够有效应对新车型以及新型词汇对情感分析准确性造成的负面影响，因而能在较长时间范围内保持对汽车领域文本情感分析的准确性。

附图说明

图1为一种基于词向量的针对汽车产品评论的情感分析方法的流程图；

图2为采集数据在数据库中的存储结构示意图；

图3为汽车领域关键词库的搭建过程示意图；

图4为分类模型输入过程示意图；

图5为样本训练过程示意图；

图6为情感分析过程的详细示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

鉴于现有技术中的情感分析方法较多集中于Twitter、微博、新闻等通用领域，而针对专一、专业领域，即对汽车领域产品评论进行情感分析准确性不高的局限性，本发明实施例希望能够依托现有互联网资源以及自然语言处理手段，面向汽车产品领域，基于汽车产品知识本体，针对性的搭建领域词库，并且针对领域内评论文本进行有效标注，利用词向量化和机器学习模型获得更加准确的情感分析结果。

实施例1

一种基于词向量的针对汽车产品评论的情感分析方法，参见图1，该方法包括以下步骤：

101：利用由汽车本体功能结构搭建形成的汽车产品本体知识库、以及汽车领域评价词库、汽车品牌词库、网络词语库等相关词库，搭建完善的汽车领域关键词库；

其中，由汽车本体功能结构搭建形成的汽车产品本体知识库的过程具体为：依据汽车产品的系统结构、汽车性能、汽车环境以及品牌等级，搭建树状结构汽车本体知识库。

其中，汽车系统结构包括：发动机、底盘、电气系统、车身以及具体的零部件；汽车性能包括：用以评价汽车行驶、转向、制动等性能评价指标；汽车环境包括：汽车行驶所处的环境，包括：城区道路、泥石路、高速等；品牌等级包括：紧凑型车、小型车、中型车、中大型车、豪华车、MPV、SUV、微卡、微面、皮卡、跑车、轻客12种车型，每个车型下包括：符合车型划定标准的具体各品牌车型。

102：面向主流汽车网站抓取汽车产品的用户评论、口碑、发帖等文本内容，并保存到本地关系型数据库MySQL中；

其中，本地关系型数据库MySQL作为采集数据的存储载体，在后续的分析、选取待标注样本、待分析文本中都用到，需要从数据库中提取数据。

103：依据汽车领域关键词库对原始文本进行预处理，包括：简繁转换、异常字符删除、分词、去停用词等，形成待标注文本；针对待标注样本，依据时间跨度标准与车型等级标准选取样本；

其中，时间跨度标准为基于所获得数据的时间跨度，每年选取的待标注样本数量保持一致，用以涵盖每个年度内的网络词。

其中，车型等级标准为在每年度内的待标注样本中，基于车型评论数量分布，按最低售价低于20万车型：最低售价介于20万至50万车型：最低售价高于50万车型为5：3：2的关系选取样本；将选取的待标注文本进行情感分类人工标注，1为正向，0为负向。

104：利用word2vec模型(本领域技术人员所公知)获得待分析文本的词向量，并由词向量均值获得高维语句向量；

其中，由词向量均值获得高维语句向量的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

105：利用PCA主成分分析对高维语句向量进行降维，将降维后的语句向量、以及情感分类人工标注结果作为特征训练SVM(支持向量机)分类器；利用分类器对新的文本进行情感分析，生成情感分析判定结果。

具体实现时，本发明实施例还可以采用不同的词向量化算法(例如：One-hotvector或Distributed Representation)与分类方法(例如：决策树、随机森林等)，本发明实施例对此不做限制

综上所述，本发明实施例基于汽车产品知识本体，针对性的搭建领域词库，并且针对领域内评论文本进行有效标注，利用词向量化和机器学习模型获得更加准确的情感分析结果。

实施例2

下面结合图2-图6对实施例1中的方案进行进一步地介绍，详见下文描述：

201：数据抓取，获取多个汽车论坛用户的口碑等相关数据；

1)利用网页HTTP协议，使用基于Python编程语言(本领域技术人员所公知)的爬虫策略获取热门汽车门户网站中的口碑数据。

针对网站的所有车型，获取每个车型页的URL链接，进一步获取网页结构信息。对网页结构信息进行解析，提取需要的标签内容，例如：购车时间、购车目的、车型名称、口碑发表时间、口碑内容等。循环遍历整个网页，从而获取当前车型下所有的用户口碑。将获取的数据存储到本地数据库中。

其中，上述获取的数据包括：用户针对“最满意的一点”、“最不满意的一点”、“空间”、“动力”、“操控”、“外观”、“内饰”、“油耗”、“舒适性”、“性价比”共10个产品属性发表的原创文本口碑，相应属性对应的用户评分，口碑对应车型、车系，口碑发表时间等。初次抓取后，每周对上述数据项进行增量抓取，确保数据的稳定增长，应对新出现的词汇与新车型。

2)将抓取的数据以“网站—车型—口碑—评分”的树形结构存入本地数据库中。如图2所示，数据库的结构包括：网站层、车型层、口碑层以及评分层。网站层存储来自于不同汽车网站采集的数据，车型层存储不同网站中所包含的所有车型信息，口碑层存储相应车型下用户发表的口碑信息，评分层用于在情感分析计算后的结果存储。

202：汽车领域关键词库搭建；

在对汽车领域进行情感分析时，由于汽车产品本身的结构复杂，零件、系统、功能多样，导致通用的分词词库并不能很好得覆盖汽车领域关键词，因此搭建汽车领域词库是针对汽车领域进行情感分析的基础。搭建汽车领域关键词库主要来自于：

1)汽车本体知识库以及汽车产品说明书

其中，专业的汽车结构说明和功能说明能够为专业词库提供官方、权威的词库。

2)输入法词典

其中，目前主流的输入法(例如：搜狗输入法、百度输入法、QQ输入法等)都会支持并鼓励用户上传各种类型的词典(例如：医疗领域、古典成语、恶搞词汇等)，用于扩展输入法本身的词汇量，其中汽车类的词典不仅包含汽车本体的零件、功能词汇，而且还包括汽车体验与评价的附属词汇，包括“通过性”、“包裹性”、“异响”、以及“风噪”等，因而能够作为官方产品说明书的补充。

3)Word2vec同义词扩展

其中，Word2vec作为谷歌开发的深度学习NLP模型，能够通过时间窗口的滑动，分析当前词汇与上下文之间的关系。因此能够发现当前语境下词语之间的相似度。基于此能够补充扩展官方词汇的同义词，即通俗词汇，如与“变速箱”相近的词汇是“波箱”，与“后备箱”相近的是“行李厢”、“尾厢”等。同时，Word2vec也能发现因用户输入错误而出现的相近词汇，如“离和器”、“一挡”等。

4)人工补充。

在上述搭建方法之外，可由人工补充新出现的车型名词、汽车功能名词或是描述汽车产品的网络新词。

经测试，经过上述四种方法，所搭建的词库能够较为完善的覆盖汽车领域各个方面的词汇。词库搭建过程如图3所示。

203：情感标注以及文本预处理：根据所采集的文本数据，对不同的汽车属性下的文本进行情感数据标注。

对于“最满意的一点”与“最不满意的一点”，剔除仅包含汽车结构或功能的评价，如用户在“最满意的一点”中仅评价了“动力”，或用户在“最不满意的一点”中仅评价了“外观”。同时剔除异常评论，如用户在“最满意的一点”中评价道“没什么满意的”。剩下的口碑评论将“最满意的一点”作为正向评论，“最不满意的一点”作为负向评论。

对于“空间”、“动力”等剩余汽车属性，进行人工标注。按照口碑评论实际出现的频率，每个属性下按照正负向7：3的比例，选取1000条口碑内容进行标注。“1”表示口碑内容为积极正向，“0”表示口碑内容为消极负向。标注时，由三位对汽车知识有基本了解的同学独立标注，选择三个标注结果中最大值作为最终标注结果。标注时兼顾口碑发表时间、对应车型以及口碑语句长度，使得所标注的文本能够尽可能具有普适性。标注过程如图4所示。情感标注完后，对其进行文本预处理。

原始的用户口碑可能包含较多与对汽车产品主观评价无关的冗余信息，这些信息或是为了引出或进一步说明主观评价，或是完全与主观评价无关，会为后续情感分析带来噪声，因此应对原始口碑内容进行预处理，剔除与情感分析无关的内容。将所搭建的汽车领域关键词库与停用词库导入结巴词库(Python中的中文语言处理工具包)中，利用基于Python的结巴分词工具将已标注文本进行分词、词性标注及去停用词处理，保留与汽车领域相关的名词、名词词组与情感词(形容词、副词等)，形成待分析文本。

204：分类模型输入；

1)首先将待分析文本词向量化；

其中，文本信息并不能直接被计算机所读取计算，因此需将文本数据数字化。Word2vec方法相比TF-IDF能够考虑到文本的上下文语义关系，而不仅仅考虑当前词语的重要性。因此使用基于通用文本+汽车类文本训练得到的Word2vec模型，对每一条待分析文本的每个词语进行词向量化。每个词语词向量化后得到400维度的数组值。

2)获得语句向量；

根据语句中包含的词汇及其生成的词向量，取平均值获得400维度的语句向量。

3)根据PCA主成分分析，对待分析文本生成的语句向量进行降维分析，选取能够涵盖95％以上的较小维度，用以减少模型的计算时间。降维后的语句向量构成训练样本，相应的情感标注结果作为训练样本标签，共同作为分类器的输入。样本训练过程如图5所示。

205：分类模型输出。

依据降维后的待分析文本语句向量及其情感标注结果，导入到SVM支持向量机分类器中。训练得到分类器，用于对未知汽车类文本进行情感分析，对于每个语句获得位于[0,1]区间内的概率值，即文本为正向文本的概率值。其值越接近于1，表明文本情感越接近于完全正向；反之，值越接近于0，表明文本情感越接近与完全负向。

情感分析详细操作过程如图6所示。

综上所述，本发明实施例基于汽车产品知识本体，针对性的搭建领域词库，并且针对领域内评论文本进行有效标注，利用词向量化和机器学习模型获得更加准确的情感分析结果。

参考文献

[1]国元证券.中国汽车行业增长潜力可观关注零部件产业[N].上海证报,2018-04-26(007).

[2]博文.2017年全国新能源汽车保有量达153万辆[N].新能源汽车报,2018-01-29(006).

[3]韩超.汽车垂直网站的传播特征与盈利模式分析[D].天津师范大学,2016.

[4]谢毅,彭泗清.品牌信任和品牌情感对口碑传播的影响:态度和态度不确定性的作用[J].管理评论,2014,26(02):80-91.

[5]Guo W,Liang R Y,Wang L,et al.Exploring sustained participation infirm-hosted communities in China:the effects of social capital and activedegree[J].Behaviour&Information Technology,2017,36(3):223-242.

[6]王榕麟.网店顾客流失影响因素与顾客保持研究[D].哈尔滨理工大学,2013.

[7]赵婧,尹欢.体验设计在汽车内饰设计中的发展及展望[J].包装工程,2014,35(06):77-81.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于词向量的针对汽车产品评论的情感分析方法，其特征在于，所述方法包括以下步骤：

获取汽车领域关键词库，并对原始文本进行预处理，形成待标注文本；针对待标注样本，依据时间跨度标准与车型等级标准选取样本；

利用word2vec模型获得待分析文本的词向量，并由词向量均值获得高维语句向量；利用PCA主成分分析对高维语句向量进行降维，将降维后的语句向量、以及情感分类人工标注结果作为特征训练SVM分类器；利用分类器对新的文本进行情感分析，生成情感分析判定结果。

2.根据权利要求1所述的一种基于词向量的针对汽车产品评论的情感分析方法，其特征在于，所述获取汽车领域关键词库具体为：

利用由汽车本体功能结构搭建形成的汽车产品本体知识库、以及汽车领域评价词库、汽车品牌词库、网络词语库，搭建完善的汽车领域关键词库。

3.根据权利要求1所述的一种基于词向量的针对汽车产品评论的情感分析方法，其特征在于，所述方法还包括：

面向主流汽车网站抓取汽车产品的用户评论、口碑、发帖等文本内容，并保存到本地关系型数据库MySQL中。

4.根据权利要求2所述的一种基于词向量的针对汽车产品评论的情感分析方法，其特征在于，所述汽车产品本体知识库具体为：

依据汽车产品的系统结构、汽车性能、汽车环境以及品牌等级，搭建树状结构。