CN105550269A

CN105550269A - 一种有监督学习的产品评论分析方法及系统

Info

Publication number: CN105550269A
Application number: CN201510907394.3A
Authority: CN
Inventors: 顾晓东; 顾怡炜; 吴海兵
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2015-12-10
Filing date: 2015-12-10
Publication date: 2016-05-04

Abstract

本发明属于数据挖掘以及自然语言处理技术领域，具体为一种有监督学习的产品评论分析方法及系统。本发明针对特定的产品人工定义多个类别（产品特征），首先通过机器学习训练分类器依次对收集到的用户评论进行产品特征方面的分类；然后对经训练分类器分类过后的评论文本进行情感分析；最后通过综合统计大量评论文本所涉及的产品特征以及对应的情感倾向，总结出用户对于该产品各个特征的量化评价。本发明更加高效，快速，简便；能保证分类所得均为用户所关注内容。提供给使用者分析结果直观、明确，可免去查看大量评论的工作。

Description

一种有监督学习的产品评论分析方法及系统

技术领域

本发明属于数据挖掘以及自然语言处理（NLP）技术领域，具体涉及一种有监督学习的产品评论分析方法及系统。

背景技术

伴随着互联网的普及，电子消费在近几年成为了广大网民的互联网活动中颇为重要的一个方面。消费者们享受着互联网带来的便利，在通过网络消费的同时，他们也留下了数量众多的评论信息。这些评论信息中主要包含了消费者对所选商品或服务的评价与看法，对于商家和其他的消费者均有重要的参考价值。电商们通过消费者的反馈信息可以进一步地完善自己的服务，提高商品质量；其他消费者也可以在无法亲自接触实物商品的情况下根据其他顾客的反馈与评价做出自己的选择。但是，若要人工地阅读所有的评论信息，再而进一步地从中总结出对于特定商品的量化评价是非常困难的，尤其对于一些热门商品常常拥有成千上万条评论。而随着文本情感分析以及自然语言处理技术的日益成熟，通过计算机应用智能分析研究大数据已经成为互联网时代的一大需求和趋势。

发明内容

本发明的目的在于提出一种基于机器学习算法的产品评论分析方法，以及基于该方法的产品评论实时分析系统，以更高的效率从大量评论数据中直接分析出各评论所针对的产品特征，以及对于特定产品特征评论文本所表现出来的情感倾向。

本发明针对特定的产品人工定义多个类别（产品特征），首先，通过机器学习训练分类器依次对收集到的用户评论进行产品特征方面的分类；然后，对经训练分类器分类过后的评论文本进行情感分析；最后，通过综合统计大量评论文本所涉及的产品特征以及对应的情感倾向，总结出用户对于该产品各个特征的量化评价。提供给使用者直观的结果，免去查看大量评论的工作。

本发明通过使用人工定义的类别，使得分类效果更佳精确。传统通过统计学的方法进行文本的自动归类，分类结果精度低，自动生成的类别不受人工控制，不能很好地切合用户需求。

在方法支持的基础上，通过互联网技术实现实际系统。

本发明提出的基于机器学习算法的产品评论分析方法，分为三个步骤：

（1）分析评论评价目标所属的类别。即针对特定的产品人工定义多个类别（产品特征），通过机器学习训练分类器依次对收集到的用户评论进行产品特征方面的分类，比如对于一条服装类的评论，我们将分析它的评价目标是该服装的“款式”，还是“面料”等其他对象。而这些评价对象的类别，由我们预先根据用户最关心的若干个内容进行定义；

（2）分析评论的情感倾向。对经训练分类器分类过后的评论文本进行情感分析，在对评论进行了步骤（1）的分类后，我们需要知道对应一个特定的产品特征，该条评论是正面的还是负面的；

（3）通过综合统计大量评论文本所涉及的产品特征以及对应的情感倾向，总结出用户对于该产品各个特征的量化评价，比如通过打分进行量化评价，打分的范围可设计为1-100。

该结果就可以提供给其他用户以作参考。

上述的评论分析，可采用如下算法，具体步骤为：

一、构建训练语料库

（1）收集购物网站上的用户评论，用于构成语料库，用于分类器的训练；

（2）对收集到的语料库进行按短句分割。以短句为基本单位做下一步的分类操作；

（3）对分割好的评论短句按预先定义好的类别进行人工标注，同时对于属于关心类别的短句进行人工的情感判定并标注。至此训练语料库构建完成。

二、进行分类器的训练

（1）将评论短句进行中文分词操作，将连续的文字基于基本的中文词汇进行分割；

（2）使用词袋模型将分词后的短句表示成长度同一的特征向量。词袋模型的具体实现方法为：

（a）统计语料库中的所有中文词语构成词典，假设词典的大小为D，即共有D个不同的词语成分；

（b）每一个待分析的短句都以特定的方式被表示成一个长度为D的向量：若词典中第i个词语成分在待分析的短句中出现，则在表示后的向量中对应的第i个元素设为1，否则为0；

（c）在(b)的基础上对能够表征特定类别信息的词语赋予特定的权重（非简单的0或1），能够增加后续训练得到的分类器的分类效果；

（d）具体的数学表示为：首先遍历所有训练数据，在训练数据集上构建一个词典，是该词典的大小，即所包含的词语个数，是该词典中的第个词语。将一句评论文本表示为为它所包含的所有词语的集合，则其特征向量为：，其中，。这样对于所有评论语句，我们都通过词袋模型将它们映射成了一系列等长的特征向量，再结合对应的产品特征标签及情感倾向标签送入分类器进行训练和测试；

（3）将转换成向量的短句输入到机器学习模型中（如神经网络模型，支持向量机、卷积神经网络模型等分类器）中，分别使用人工标定的类别标签以及情感标签作为教师训练文本分类器。每一个类别训练一个分别分类器，情感倾向的判断任务单独训练一个分类器。

三、进一步为用户提供实例的量化评价（以上为算法步骤，以下为用户使用部分），具体步骤为：

（1）获取新的待分析评论集，对其进行短句分割以及分词操作；

（2）按照之前构造的词典集将分割后的短句表示成等长的向量；

（3）将代表评论短句的向量依次输入各个分类器中，分析其所属的一个或多个产品特征类别，以及其情感倾向；

（4）统计分析获得的数据，给出量化后的产品评论信息。

基于上述提出的产品评论分析方法，本发明提供了一个用户评论实时分析系统，其主要结构包括：

（1）评论数据收集模块，使用爬虫程序爬取用户提供网址下的产品评论数据，构成待分析的评论集；

（2）文本数据处理模块，对爬虫模块获得的评论数据进行格式化处理及特征向量提取的操作，以满足分类器输入数据的格式要求。其主要过程如下：

(a)首先将所有评论数据按照一些主要的中文标点进行分句。分句所得的各短句将作为文本分析的基本单位进行下一步的操作；

(b)将上一步处理过的评论数据进行中文分词操作；

(c)然后再使用词袋模型对分好词的评论语句进行特征向量的提取；

（3）评论数据分析模块，将处理过的评论数据输入训练好的多个分类器中，分析其所属类别和情感倾向；

（4）分析结果展示模块，将从评论数据中分析获得的结果进行统计分析。按照预先定义的产品特征统计每个特征下的评论数量，并且计算每个产品特征类别下正面评论所占百分比作为该产品在每个特征类别下的评分。并向用户提供一个清晰，易懂，友好的可视化结果。

有益效果

首先，现有的很多评论分析工具基于统计学原理。采用关键词搜索进行分类，分类效果差，无法在结合文本上下文的基础上正真做到对文本的理解。本发明通过引入基于机器学习的自然语言处理方法，通过文本的向量化处理提取出文本上下文之间的关系进行学习与分类。使分类结果更加精确。同时，本发明的方法人工定义多个用户感兴趣的类别，在此基础上进行分类。相较于普通的通过统计学习方法自动提取类别，本方法更加高效，快速，简便。同时也能保证分类所得均为用户所关注内容。

在情感分析方面，传统方法采用情感词典进行统计打分来评价一个句子的情感特征。即统计一句话中出现的情感词。这种方法同样没有考虑文本的上下文关系，而只是进行简单的分数统计和计算。本发明采用机器学习方法训练专门的情感分类器对文本进行情感分析，能充分挖掘文本中的上下文关系，使得情感分析效果更佳。

本发明提出的一个系统实例，能够代替人工实时分析网站上的用户评论，并给出可视化的统计结果。省去了用户翻阅检索并总结大量文本数据的工作，使得用户能够实时，快速地获得想了解的产品特征及其优劣打分。

附图说明

图1为本发明提出的评论中产品特征挖掘及对应情感倾向分析流程图示。

图2为本发明提出的一个产品评论实时分析系统结构图示。

图3为上述系统实例的工作流程图示。

图4为分析展示效果图示。

具体实施方式

图1中的评论数据从相关产品网页上抓取，以标点符号位分隔符将所有评论分为短句。依次经过特征映射以及情感分类，为每一句短句赋予相应的特征标签和情感倾向标签，最终汇总所有评论的标签数据，做出定量评价。

本发明提出的一个产品评论实时分析系统实例的结构图如图2所示。

最终效果展示如图4所示，图中，每一条“进度条”的长度都对应于该特征的评论下正面评论所占的百分比，右侧给出了具体数字。用户由此可以判断评论中对于该产品某个方面的大致评价倾向。

给出系统实例的一个模拟例子如下：

我们假设系统预定义了6个产品特征类别。系统从用户指定网页抓取相关评论，将评论分割后得到共10000条句子。

将上述10000条句子进行中文分词并构建各句子的特征向量，将特征向量送入训练好的分类器判定每个句子所描述的产品特征类别，假设分类的结果为：

属于描述产品特征1的句子有1100句；

属于描述产品特征2的句子有1800句；

属于描述产品特征3的句子有1000句；

属于描述产品特征4的句子有1500句；

属于描述产品特征5的句子有2000句；

属于描述产品特征6的句子有1400句；

其余1200个句子不包含系统定义的产品特征信息，将选出的8800个含有系统定义产品特征信息的句子再次送入判断情感倾向的分类器进行情感倾向的判断。假设得到的结果为：

描述产品特征1的1100条句子中有800句为正面评价，其余为负面评价；

描述产品特征2的1800条句子中有1200句为正面评价，其余为负面评价；

描述产品特征3的1000条句子中有900句为正面评价，其余为负面评价；

描述产品特征4的1500条句子中有1000句为正面评价，其余为负面评价；

描述产品特征5的2000条句子中有1500句为正面评价，其余为负面评价；

描述产品特征6的1400条句子中有850句为正面评价，其余为负面评价；

至此，分类过程结束，根据分类的结果，系统可以计算出：

用户评论中，对产品特征1的好评率（正面评价占总相关评价的百分比）为800/1100=72.7%，产品特征2的好评率为1200/1800=66.7%，产品特征3的好评率为900/1000=90%，产品特征4的好评率为1000/1500=66.7%，产品特征5的好评率为1500/2000=75%。产品特征6的好评率为850/1400=60.7%。

系统将总结计算得到的上述量化结果，结合特征类别，以图示4的形式展示给用户。

Claims

1.一种有监督学习的产品评论分析方法，其特征在于具体步骤为：

（1）分析评论评价目标所属的类别，即针对特定的产品人工定义多个类别，通过机器学习训练分类器依次对收集到的用户评论进行产品特征方面的分类；这些评价对象的类别，预先根据用户最关心的若干个内容进行定义；

（2）分析评论的情感倾向，即对经训练分类器分类过后的评论文本进行情感分析，对应一个特定的产品特征，分析该条评论是正面的还是负面的；

（3）通过综合统计大量评论文本所涉及的产品特征以及对应的情感倾向，总结出用户对于该产品各个特征的量化评价。

2.根据权利要求1所述的有监督学习的产品评论分析方法，其特征在于，步骤（1）中，需要构建训练语料库，具体方法为：

（2）对收集到的语料库进行按短句分割，以短句为基本单位做下一步的分类操作；

（3）对分割好的评论短句按预先定义好的类别进行人工标注，同时对于属于关心类别的短句进行人工的情感判定并标注。

3.根据权利要求2所述的有监督学习的产品评论分析方法，其特征在于，所述进行分类器的训练的步骤为：

（2）使用词袋模型将分词后的短句表示成长度同一的特征向量；词袋模型的具体实现方法为：

（c）在(b)的基础上对能够表征特定类别信息的词语赋予特定的权重；

（d）具体的数学表示为：首先遍历所有训练数据，在训练数据集上构建一个词典，是该词典的大小，即所包含的词语个数，是该词典中的第个词语；将一句评论文本表示为它所包含的所有词语的集合，则其特征向量为：，其中，，这样对于所有评论语句，都通过词袋模型将它们映射成了一系列等长的特征向量，再结合对应的产品特征标签及情感倾向标签送入分类器进行训练和测试。

4.根据权利要求3所述的有监督学习的产品评论分析方法，其特征在于，进一步为用户提供实例量化评价，具体步骤为：

（4）统计分析获得的数据，给出量化后的产品评论信息。

5.基于权利要求1-4所述分析方法的有监督学习的产品评论分析系统，其特征在于包括：

（2）文本数据处理模块，对爬虫模块获得的评论数据进行格式化处理及特征向量提取的操作，以满足分类器输入数据的格式要求；其过程如下：

(a)首先将所有评论数据按照一些主要的中文标点进行分句；分句所得的各短句将作为文本分析的基本单位进行下一步的操作；

(b)将上一步处理过的评论数据进行中文分词操作；

（4）分析结果展示模块，将从评论数据中分析获得的结果进行统计分析，包括按照预先定义的产品特征统计每个特征下的评论数量，并且计算每个产品特征类别下正面评论所占百分比作为该产品在每个特征类别下的评分。