CN109101478B - 一种面向电商评论文本的Aspect级情感分析方法 - Google Patents

Abstract

本发明公开了一种面向电商评论文本的Aspect级情感分析方法。首先，对电商评论文本进行预处理，并按照其所属的商品、商家、品牌进行分批；接着，在一批电商评论文本内部，综合考虑词性、句法及共现性特征，对候选评价对象的重要性进行排序，抽取电商评论文本中的评价对象；然后，利用动态滑动窗口机制将词项间共现限定在评论段级，并基于LDA模型对这一批电商评论文本中的评价对象进行聚类，得到评论Aspect‑评价对象间对应关系；最后，基于构建的情感词典、否定词典，对电商评论文本进行情感分析。本发明不仅可以挖掘电商评论文本中的评价对象，给出细粒度的评价对象级情感分析结果；还能充分利用具体商品、商家、品牌范围内评价对象间的主题相关性，对评价对象进行聚类，进而得到评论Aspect级情感分析结果。

Description

一种面向电商评论文本的Aspect级情感分析方法

技术领域

本发明涉及一种面向电商评论文本的Aspect级情感分析方法，可用于实现针对电商平台中热门商品、商家、品牌的情感分析和观点挖掘等，属于互联网和自然语言处理技术领域。

背景技术

近年来，随着信息技术以及互联网的蓬勃发展，我国网购市场发展迅猛，电子商务已成为驱动我国经济发展的重要引擎。一方面，消费者在网购时无法直接接触实际商品，只能根据电商平台提供的文字、图片等描述性信息以及历史消费者发表的评论文本了解商品、商家、品牌的基本特征。另一方面，商家、品牌方也无法直接接触消费者，只能根据历史消费者发表的评论文本分析消费者的喜好，对产品设计、销售策略进行调整。然而，随着时间的推移，电商平台积聚的评论文本信息不断膨胀，碎片化、海量化特征日趋明显，采用人工的方式对电商评论文本进行情感分析需要消耗大量的人力、物力。如何充分利用信息技术不受时空限制的优势，实现面向电商评论文本的情感信息自动挖掘成为电商信息汇聚分析领域亟待解决的难题。

目前，文本情感分析领域方法众多。按照粒度的不同，可分为词语级、句子级、篇章级和Aspect级。按照原理的不同，可分为基于词典法、基于有监督机器学习法、基于图论法和基于主题模型法。然而，电商涉及的领域众多，且无社交关系，而基于有监督机器学习法和基于图论法分别依赖于领域限定的优质标注语料和用户间社交关系，难以满足电商评论文本的情感分析需求；对商家、品牌和消费者而言，只有细粒度的、针对具体Aspect的电商评论文本情感分析才更有意义，而词语级、句子级和篇章级文本情感分析方法难以充分挖掘电商评论文本的价值；电商评论文本中评价对象繁杂，主题相关性强，而传统Aspect级文本情感分析方法无法同时实现针对具体评论文本的评价对象级情感分析和评论Aspect提取(即评价对象聚类)。因此，针对此类应用，亟需设计一种细粒度的、易于领域迁移的电商评论文本情感分析方法，帮助商家、品牌和消费者深入挖掘电商评论文本中隐含的观点、喜好，进而辅助用户决策。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提出一种面向电商评论文本的Aspect级情感分析方法ECALSA(E-Commerce Aspect-Level Sentiment Analysis)。该方法不但可以挖掘消费者在电商评论文本中具体的情感指向，给出评价对象级情感分析结果，而且可以充分利用具体商家、品牌、商品范围内评价对象的主题相关性，对评价对象进行聚类，并给出评论Aspect级情感分析结果，深入挖掘电商评论文本中隐含的观点、喜好，辅助用户决策。

技术方案：一种面向电商评论文本的Aspect级情感分析方法，简称ECALSA。首先，对从电商平台实时采集的电商评论文本进行预处理，并按照其所属的商品、商家、品牌进行分批；接着，在一批电商评论文本内部，综合考虑词性、句法及共现性特征，对候选评价对象的重要性进行排序，抽取电商评论文本中的评价对象；然后，利用动态滑动窗口机制将词项间共现限定在评论段级，并基于LDA模型对这一批电商评论文本中的评价对象进行聚类，得到评论Aspect-评价对象间对应关系；最后，基于构建的情感词典、否定词典，对电商评论文本进行情感分析。其具体步骤如下：

步骤1，电商评论文本预处理。电商评论文本预处理主要对从互联网采集的电商评论文本进行处理，使其满足后续处理过程的输入要求。该步骤具体又可以分为以下4个子步骤：

子步骤1-1，电商评论文本分批。在具体商家售卖的具体品牌的具体商品范围内，所有的电商评论文本都是针对具体商家、商品、品牌的整体或者部分属性进行评价，具有较强的主题相关性。因此，本发明按照电商评论文本所属的商品、商家、品牌对电商评论文本进行分批。

子步骤1-2，重复语句处理。一方面，很多电商平台规定用户发表的评论文本只要超过一定的字数即可获得积分用于兑换抵用券，因此有人会不断重复其中的语句，以使字数达标；另一方面，有的用户因为发表评论时过于激动，也时常用不断重复某语句的方式，来表达心中的强烈情感。因此，本发明采用正则匹配的方式对重复出现大于两次的语句只保留两次，既强调了用户强烈的情感表达，又降低了对后续分析结果的影响。

子步骤1-3，表情符号替换。由于淘宝、京东等电商平台普遍既不提供官方表情符号，也不支持百度、搜狗等输入法提供的表情符号，故本文中表情符号特指用户利用标点、字母等组合出的表情符号。表情符号蕴含了消费者发表评论时的情感倾向，能够对文本情感分析产生重要影响。因此，本发明对此类常用的表情符号进行了总结，并采用字符串匹配的方式将其替换为相应的文字。其中，常见的几种积极、消极表情符号及其相应的替换文字如表1所示：

表1常见表情符号及其替换文字对照表

积极表情	替换文字	消极表情	替换文字
				(*^_^*)	开心	→_→	怀疑
o(^^)o	开心	(～>__<～)	生气
				(*^·^*)	开心	π_π	难过
(*∩_∩*)	开心	(T___T)	忧伤
				(∩＿∩)	开心	/_\	忧伤
～o}^_^{o～	开心	(╯＾╰)	难过
				(^O^)	开心	(#_<-)	难过
v(^O^)v	开心	∣(-_-)∣	难过

子步骤1-4，分词、去除停用词。分词是指将连续的字序列(即文本)按照一定的规范重新组合成单独的词序列的过程。中文单词间没有显式分隔，只能通过具体语境划分。停用词是指为语句构建所必需，但又对语义表达没有太多帮助的词，如中文的“呢”、“了”和英文的“a”、“an”等。在处理电商评论文本之前将停用词剔除，不仅可以有效节省系统的存储空间，还能够大幅提升文本情感分析的效率。分词、去除停用词均非本发明研究重点，直接采用常用的停用词表配合开源的结巴分词工具实现。

步骤2，评价对象抽取。本发明引入评价对象对评论语义进行表征，并将其定义为消费者在具体评论文本中的情感指向。首先，借助分词和词性标注过程，基于词性特征抽取评论文本中的名词构成候选评价对象集合；然后，借助文本句法结构分析过程，基于句法特征抽取评论文本中的二元名词性短语扩充候选评价对象集合；最后，在该批次电商评论文本范围内，借鉴PageRank算法的网页链接排序机制，基于词项间共现特征，提出候选评价对象重要性排序机制，滤除重要性低于所设阈值的候选评价对象，得到最终的评价对象结果。

其中，候选评价对象n_i重要性的定义，如公式(1)所示：

在公式(1)中，β表示减幅系数，满足β∈(0,1)；p(n_i)表示候选评价对象n_i的重要性；O(n_i)表示与n_i共现的其他候选评价对象的个数；F(n_i)表示n_i的频率；E表示所有候选评价对象间的共现关系；(n_i,n_j)∈E表示n_i与n_j共现。从式(1)可以看出，n_i的频率越高、与n_i共现的其他候选评价对象的频率越高，n_i越重要。

步骤3，评论Aspect提取即评价对象聚类。本发明引入评论Aspect对电商平台中具体商家、品牌、商品范围内，评价对象的主题相关性进行表征，将评论Aspect定义为经评价对象聚类后得到的评价对象类簇。首先，利用动态滑动窗口机制对经过预处理后的评论文本进行分段处理，将词项间共现限定在评论段级；然后，基于LDA(Latent DirichletAllocation)模型对评价对象进行聚类，得到评论Aspect结果。

针对基础滑动窗口大小，本发明主要考虑评价对象密度因素，将滑动窗口的大小设置为对评价对象密度取倒数后的向上取整值。其中，评价对象密度的计算方式如式(2)所示：

其中，CommObjDen sity表示评价对象密度，CommObjNum表示评论文本中出现的评价对象数目，SentNum表示评论文本中的句子数目。

针对滑动窗口大小的自适应调整，本发明主要考虑以下两种特殊的情况：

1)句子不包含评价对象。此类句子多为前一句内容的延续或后一句内容的前导，故滑动窗口不应跨过此类句子同时包含其前一句和后一句。

2)句子包含多个评价对象。此类句子多涵盖消费者对某评论Aspect完整的情感表达，除不包含评价对象的句子外，滑动窗口一般不应将其他句子包含进来。

步骤4，情感分析。本发明采用基于词典法实现面向电商评论文本的Aspect级情感定性分析。首先，基于构建的情感词典、否定词典进行评价对象级情感分析，得到评价对象级情感分析结果；然后，根据评论Aspect结果将评价对象级情感分析结果映射到评论Aspect级，得到评论Aspect级情感分析结果。该步骤具体又可以分为以下2个子步骤：

子步骤4-1，词典构建。本发明从目前比较流行中国知网整理的HowNet词典、中国台湾大学整理的词典、大连理工大学整理的中文情感词汇本题库，筛选出涵盖516个积极词、613个消极词的基础情感词典和涵盖65个否定词的否定词表。

情感词典如表2所示，情感极性由1和-1表示，1表示积极词，-1表示消极词；情感强度用1-5表示，1表示程度最浅，5表示程度最深。

表2情感词典结构示例

词语	情感极性	情感强度
			喜爱	1	5
欢欢喜喜	1	5
			倍儿爽	1	4
无语	-1	2
			忧伤	-1	3
懊恼	-1	5

否定词典如表3所示，情感基数由1和-1表示，1表示认可，而-1表示否定；优先级主要由以字数确定，字数越多，优先级越大；当文本中某情感词前面出现不止一个否定词能够匹配成功时，依照优先级确定匹配的否定词。

表3否定词典结构示例

否定词	情感基数	优先级
			不	-1	1
没有	-1	2
			不能	-1	2
不可不	1	3
			没有不	1	3
不能不	1	3

子步骤4-2，Aspect级情感分析。本发明引入评论段作为消费者对评价对象情感表达的载体，将其定义为评论文本中针对评价对象的评论性文本。首先，识别评论段中包含的所有情感词和否定词；然后，将所有情感词对应的情感极性、情感强度与对应否定词的情感基数相乘后累加，得到整个评论段的情感倾向值，并以此作为评论段中每个评价对象的情感倾向值；最后，将评价对象级情感分析结果映射到评论Aspect级，得到Aspect级电商评论文本情感分析结果，具体的计算公式如式(3)、(4)、(5)、(6)所示：

SA_CO(cp,co)＝sentiment(cp) (5)

SA_CA(cp,ca)＝∑_{co∈cp∩co∈ca}sentiment(co) (6)

其中，cp表示某电商评论段，co表示cp中包含的某评价对象，sw表示cp中的某情感词，sp(sw)表示sw对应的情感极性，sv(sw)表示sw对应的情感强度，nb(sw)表示sw对应否定词的情感基数，sb(nw)表示nw对应的情感基数，SA_CO(cp,co)表示cp中针对co的情感倾向，SA_CA(cp,ca)表示cp中针对ca的情感倾向。

有益效果：与现有技术相比，本发明提供的面向电商评论文本的Aspect级情感分析方法，具有如下优点：

(1)本发明不仅可以挖掘电商评论文本的总体情感倾向，还能进一步挖掘消费者在电商评论文本中具体的情感指向，给出评价对象级情感分析结果；

(2)本发明提出一种动态滑动窗口机制，可以将词项间共现限定在评论段级，能够更好地满足评价对象的聚类需求；

(3)本发明可以充分利用具体商家、品牌、商品范围内评价对象的主题相关性，对评价对象进行聚类，给出评论Aspect级情感分析结果。

附图说明

图1是面向电商评论文本的Aspect级情感分析方法的整体流程图；

图2是本发明提出的动态滑动窗口机制的示意图；

图3是情感倾向计算机制示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种面向电商评论文本的Aspect级情感分析方法(简称ECALSA方法)在具体实施时，其整体工作流程如图1所示。该方法首先对从电商平台实时采集的电商评论文本进行预处理，并按照其所属的商品、商家、品牌进行分批；接着，在一批电商评论文本内部，综合考虑词性、句法及共现性特征，对候选评价对象的重要性进行排序，抽取电商评论文本中的评价对象；然后，利用动态滑动窗口机制将词项间共现限定在评论段级，并基于LDA模型对这一批电商评论文本中的评价对象进行聚类，得到评论Aspect-评价对象间对应关系；最后，基于构建的情感词典、否定词典，对电商评论文本进行情感分析。具体实施步骤如下：

步骤1，电商评论文本预处理。ECALSA方法首先对从电商平台实时采集的电商评论文本按照其所属的商品、商家、品牌进行分批，然后进行重复语句处理、表情符替换、分词和去停用词等预处理过程，以使其满足后续步骤的处理需求。不失一般性，假设从电商平台采集的电商评论文本中有1000条属于某具体商品、商家、品牌，构成电商评论文本集合C＝{comm₁,comm₂,...,comm₁₀₀₀}。针对电商评论文本集合中某电商评论文本“(*^_^*)小米手机真的太棒了！！！喜欢，喜欢，喜欢，喜欢，喜欢”，经过重复语句处理步骤，得到“(*^_^*)小米手机真的太棒了！！！喜欢，喜欢”；经过表情符替换步骤，得到“开心小米手机真的太棒了，喜欢，喜欢”，经过分词、去停用词步骤，得到{开心，小米，手机，太棒了！！！喜欢，喜欢}。

步骤2，评价对象抽取。针对电商评论文本集合中某电商评论文本“顺丰的物流真是没的说，太快了，点赞！但小米手机的续航能力较差，一会儿就没电了”，基于词性特征挖掘到5个名词{顺丰，物流，小米，续航，能力}，基于句法特征挖掘到1个二元名词性短语{续航能力}，二者合并形成候选评价对象集合{顺丰，物流，小米，续航能力}。基于共现性特征，按照公式(1)即可在电商评论文本集合范围内，对所有候选评价对象的重要性进行定量计算，并按照重要性对各候选评价对象进行排序，对候选评价对象进行筛选，得到{小米：0.231，物流：0.106，续航能力：0.053，顺丰：0.024}。

步骤3，评论Aspect提取即评价对象聚类。首先，针对电商评论文本集合中的某电商评论文本“物流很快，值得点赞！但小米的续航能力不行，一会儿就没电了”，按照公式(2)计算评价对象密度，并以其倒数的向上取整值设置基础滑动窗口大小为2；然后，在滑动窗口从左到右的滑动过程中，考虑句子的特殊性，对滑动窗口大小进行自适应调整，对电商评论文本进行分段，得到评论段集合{{物流很快，值得点赞}，{但小米的续航能力不行，一会儿就没电了}}；最后，考虑电商评论文本集合中评价对象的主题相关性，考虑评价对象在评论段级的共现性，基于LDA模型实现评价对象聚类，得到评论Aspect提取结果。其中，ID为1的评论Aspect对应的评价对象集合(仅展示前5个评价对象)为{“物流”、“发货”、“速度”、“顺丰”、“发货速度”}。

步骤4，情感分析。首先，针对电商评论文本集合中的某电商评论文本“物流很快，给顺丰点赞！但续航能力不行”，基于构建的情感词典、否定词典，按照公式(3)、(4)、(5)进行计算，得到评价对象级情感定性分析结果{物流：积极，顺丰：积极，续航能力：消极}；然后，根据评论Aspect提取即评价对象聚类结果，按照公式(6)将评价对象级情感定性分析结果映射到评论Aspect级，得到评论Aspect级情感定性分析结果{1：积极，1：积极，2：消极}。

上述实施示例表明，本发明提出的一种面向电商评论文本的Aspect级情感分析方法，不仅可以挖掘消费者在电商评论文本中具体的情感指向，给出评价对象级情感分析结果；还可以充分利用具体商家、品牌、商品范围内评价对象的主题相关性，对评价对象进行聚类，并给出评论Aspect级情感分析结果，辅助用户决策。应用该方法可以充分利用信息技术不受时空限制的优势，实现面向电商评论文本细粒度情感信息的自动挖掘，帮助用户深入挖掘历史消费者在电商评论文本中隐含的观点、喜好，辅助用户进行决策。

Claims (4)

1.一种面向电商评论文本的Aspect级情感分析方法，其特征在于，包括如下步骤：首先，对从电商平台实时采集的电商评论文本进行预处理，并按照其所属的商品、商家、品牌进行分批；接着，在一批电商评论文本内部，综合考虑词性、句法及共现性特征，对候选评价对象的重要性进行排序，抽取电商评论文本中的评价对象；然后，利用动态滑动窗口机制将词项间共现限定在评论段级，并基于LDA模型对这一批电商评论文本中的评价对象进行聚类，得到评论Aspect-评价对象间对应关系；最后，基于构建的情感词典、否定词典，对电商评论文本进行情感分析；

引入评价对象对评论语义进行表征，并将其定义为消费者在具体评论文本中的情感指向；首先，借助分词和词性标注过程，基于词性特征抽取评论文本中的名词构成候选评价对象集合；然后，借助文本句法结构分析过程，基于句法特征抽取评论文本中的二元名词性短语扩充候选评价对象集合；最后，在该批次电商评论文本范围内，借鉴PageRank算法的网页链接排序机制，基于词项间共现特征，提出候选评价对象重要性排序机制，滤除重要性低于所设阈值的候选评价对象，得到最终的评价对象结果；

其中，候选评价对象n_i重要性的定义，如公式(1)所示：

在公式(1)中，β表示减幅系数，满足β∈(0,1)；p(n_i)表示候选评价对象n_i的重要性；O(n_i)表示与n_i共现的其他候选评价对象的个数；F(n_i)表示n_i的频率；E表示所有候选评价对象间的共现关系；(n_i,n_j)∈E表示n_i与n_j共现。

2.如权利要求1所述的面向电商评论文本的Aspect级情感分析方法，其特征在于，所述电商评论文本预处理主要是对从互联网采集的电商评论文本进行处理，使其满足后续处理过程的输入要求；具体分为以下4个步骤：

步骤1-1，电商评论文本分批；按照电商评论文本所属的商品、商家、品牌对电商评论文本进行分批；

步骤1-2，重复语句处理；采用正则匹配的方式对重复出现大于两次的语句只保留两次；

步骤1-3，表情符号替换；采用字符串匹配的方式将表情符号替换为相应的文字；

步骤1-4，分词、去除停用词；采用停用词表配合开源的结巴分词工具实现。

3.如权利要求1所述的面向电商评论文本的Aspect级情感分析方法，其特征在于，引入评论Aspect对电商平台中具体商家、品牌、商品范围内，评价对象的主题相关性进行表征，将其定义为经评价对象聚类后得到的评价对象类簇；首先，利用动态滑动窗口机制对评论文本进行分段，将词项间共现限定在评论段级；然后，基于LDA模型对评价对象进行聚类，得到评论Aspect结果；

将滑动窗口的大小设置为对评价对象密度取倒数后的向上取整值；其中，评价对象密度的计算方式如式(2)所示：

其中，CommObjDen sity表示评价对象密度，CommObjNum表示评论文本中出现的评价对象数目，SentNum表示评论文本中的句子数目；

针对滑动窗口大小的自适应调整，包括以下两种特殊的情况：

1)句子不包含评价对象；此类句子多为前一句内容的延续或后一句内容的前导，故滑动窗口不应跨过此类句子同时包含其前一句和后一句；

2)句子包含多个评价对象；此类句子多涵盖消费者对某评论Aspect完整的情感表达，除不包含评价对象的句子外，滑动窗口一般不应将其他句子包含进来。

4.如权利要求1所述的面向电商评论文本的Aspect级情感分析方法，其特征在于，利用同义词和频繁共现的形容词、副词对基础情感词典进行扩展，并基于扩展后的情感词典、否定词典，对电商评论文本进行情感分析，具体包括以下步骤：

步骤4-1，词典构建；筛选出包括积极词、消极词的基础情感词典和涵盖否定词的否定词表；

情感词典中，情感极性由1和-1表示，1表示积极词，-1表示消极词；情感强度用1-5表示，1表示程度最浅，5表示程度最深；

否定词典中，情感基数由1和-1表示，1表示认可，而-1表示否定；优先级主要由以字数确定，字数越多，优先级越大；当文本中某情感词前面出现不止一个否定词能够匹配成功时，依照优先级确定匹配的否定词；

步骤4-2，Aspect级情感分析。引入评论段作为消费者对评价对象情感表达的载体，将其定义为评论文本中针对评价对象的评论性文本。首先，识别评论段中包含的所有情感词和否定词；然后，将所有情感词对应的情感极性、情感强度与对应否定词的情感基数相乘后累加，得到整个评论段的情感倾向值，并以此作为评论段中每个评价对象的情感倾向值；最后，将评价对象级情感分析结果映射到评论Aspect级，得到Aspect级电商评论文本情感分析结果，具体的计算公式如式(3)、(4)、(5)、(6)所示：

SA_CO(cp,co)＝sentiment(cp) (5)

SA_CA(cp,ca)＝∑_{co∈cp∩co∈ca}sentiment(co) (6)

其中，cp表示某电商评论段，co表示cp中包含的某评价对象，sw表示cp中的某情感词，sp(sw)表示sw对应的情感极性，sv(sw)表示sw对应的情感强度，nb(sw)表示sw对应否定词的情感基数，sb(nw)表示nw对应的情感基数，SA_CO(cp,co)表示cp中针对co的情感倾向，SA_CA(cp,ca)表示cp中针对ca的情感倾向。

Images