CN106777361A - 基于段向量模型的微博文本情绪分类方法和分类系统 - Google Patents

Abstract

本发明公开了一种基于段向量模型的微博文本情绪分类方法和分类系统，该方法包括：获取微博文本数据；对微博文本数据中的每句话进行情绪分类；对微博文本数据进行数据预处理，以得到数据集；将数据集中代表同一情绪类型的相关数据中的一部分数据输入到段向量模型中进行训练，以得到多个代表同一情绪类型的段向量；将多个代表同一情绪类型的段向量使用支持向量机进行训练得到情绪分类模型；根据数据集中代表同一情绪类型的相关数据中剩余数据对情绪分类模型进行评价，如果不满足客户需求进行迭代，直至满足客户需求得到最终情绪分类模型；根据最终情绪分类模型进行微博文本的情绪分类。本发明具有如下优点：可以提升情绪分类的准确性。

Description

基于段向量模型的微博文本情绪分类方法和分类系统

技术领域

本发明涉及计算机应用机器学习领域，具体涉及一种基于段向量模型的微博文本情绪分类方法和分类系统。

背景技术

微博是其中最常用的平台之一，由于微博具有信息传播快、用户数量大、用户活跃度高等特点，对微博文本进行分析成为了重要的信息获取渠道。对微博情绪进行识别与分类，不仅能让企业通过关键词搜索等方式寻找到客户群后，及时、准确地对其情感进行评估，从而调整企业策略，快速应对市场变化，还能帮助政府实时监控民众情绪，防止非理性情绪在网络中蔓延，对可能出现负面情绪螺旋现象的事件及时做出反应，防止某些不法份子企图通过微博平台传播谣言，从而保证社会的稳定与和谐。然而，由于微博数量太过庞大，靠人工方式很难快速把握微博文本的情绪和对热点新闻的态度，因而有必要开发一种高效的情绪分类算法。

针对微博进行情绪分类，传统方法利用情绪词词典进行分析，这种方法需要先建立一个将词语按照其所表述情感类别及强度进行分类的情绪词词典，然后利用建立好的词典对微文本进行分析。情绪词词典方法存在一些缺点：需要耗费较多人力进行情绪词词典建立工作，并且建立好的词典只能匹配微文本中的词汇，而无法分析微文本的句法。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种基于段向量模型的微博文本情绪分类方法，可以提升情绪分类的准确性。

为了实现上述目的，本发明的实施例公开了一种基于段向量模型的微博文本情绪分类方法，包括以下步骤：S1：获取微博文本数据；S2：对所述微博文本数据中的每句话进行情绪分类；S3：对所述微博文本数据中的每句话进行数据预处理，以得到数据集；S4：将所述数据集中代表同一情绪类型的相关数据中的一部分数据输入到段向量模型中进行训练，以得到多个代表同一情绪类型的段向量；S5：将所述多个代表同一情绪类型的段向量使用支持向量机进行训练得到情绪分类模型；S6：根据所述数据集中代表同一情绪类型的相关数据中剩余数据对情绪分类模型进行评价，如果不满足客户需求则返回步骤S4，如果满足客户需求则将当前的情绪分类模型作为最终情绪分类模型；S7：根据所述最终情绪分类模型进行微博文本的情绪分类。

进一步地，所述数据预处理包括数据去重、转换表情符号、分词和连接语料。

进一步地，步骤S4进一步包括：S401：将所述数据集中代表同一情绪类型的相关数据中预设数量的文本合并为一条长文本，以得到多个长文本；S402：将所述多个长文本输入到所述段向量模型中进行训练，以得到多个代表同一情绪类型的段向量。

进一步地，所述支持向量机使用C-SVM模型进行分类，并且使用以下线性核函数：

k(x,y)＝x×y。

进一步地，对所述微博文本数据中的每句话使用人工标注进行情绪分类。

根据本发明实施例的基于段向量模型的微博文本情绪分类方法，通过使用微博文本训练过的段向量模型和支持向量机模型得出的结果，对微博文本进行情绪分类，可以提升情绪分类的准确性。

为此，本发明的一个目的在于提出一种基于段向量模型的微博文本情绪分类系统，可以提升情绪分类的准确性。

为了实现上述目的，本发明的实施例公开了一种基于段向量模型的微博文本情绪分类系统，包括数据获取模块，用于获取微博文本数据；情绪分类模块，用于对所述微博文本数据中的每句话进行情绪分类；数据预处理模块，用于对所述微博文本数据中的每句话进行数据预处理，以得到数据集；段向量生成模块，用于将所述数据集中代表同一情绪类型的相关数据中的一部分数据输入到段向量模型中进行训练，以得到多个代表同一情绪类型的段向量；支持向量机，用于将所述多个代表同一情绪类型的段向量使用支持向量机进行训练得到情绪分类模型；控制模块，用于根据所述数据集中代表同一情绪类型的相关数据中剩余数据对所述情绪分类模型进行评价，如果不满足客户需求则向所述段向量生成模块发送重新获取段向量信号，以便所述段向量生成模块重新训练，以新的多个段向量，进而将所述新的多个段向量使用所述支持向量机进行训练，直至得到满足客户需求的最终情绪分类模型，以便通过所述最终情绪分类模型进行微博文本的情绪分类。

进一步地，所述数据预处理模块进一步用于数据去重、转换表情符号、分词和连接语料。

进一步地，所述段向量生成模块进一步用于：将所述数据集中代表同一情绪类型的相关数据中预设数量的文本合并为一条长文本，以得到多个长文本；将所述多个长文本输入到所述段向量模型中进行训练，以得到多个代表同一情绪类型的段向量。

进一步地，所述支持向量机使用C-SVM模型进行分类，并且使用以下线性核函数：

k(x,y)＝x×y。

进一步地，所述情绪分类模块对所述微博文本数据中的每句话使用人工标注进行情绪分类。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例的基于段向量模型的微博文本情绪分类方法的流程图；

图2是本发明实施例的基于段向量模型的微博文本情绪分类系统的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

以下结合附图描述本发明。

图1是本发明实施例的基于段向量模型的微博文本情绪分类方法的流程图。如图1所示，根据本发明实施例的基于段向量模型的微博文本情绪分类方法，包括以下步骤：

S1：获取微博文本数据。

在本本发明的一个实施例中，可以网络爬虫的方法获取微博文本数据，这样获取的微博文本数据针对性强。

S2：对微博文本数据中的每句话进行情绪分类。

在本发明的一个实施例中，使用人工标注的方式对微博文本数据中的每句话进行情绪分类。在本发明的一个实施例中，将情绪分为高兴、悲伤、愤怒、恐惧、厌恶五大类。

S3：对微博文本数据中的每句话进行数据预处理，以得到数据集。

在本发明的一个实施例中，由于微博文本数据不同于一般文本数据，具有长度短小、包含流行词、表情符号使用较多和不使用严格语法的特点，因此为了提升最终的情绪分类效果，原始数据在用于模型训练前要先根据数据特点进行数据预处理。其中包括数据去重、转换表情符号、分词和连接语料四个步骤。通过数据预处理可以得噪声较小，相关度比较高的处理后的数据集。

S4：将数据集中代表同一情绪类型的相关数据中的一部分数据输入到段向量模型中进行训练，以得到多个代表同一情绪类型的段向量。

具体地，在得到标注好的数据后，需要对数据进行连接。由于微博本身限制，微博文本的长度不能超过140字，但短小的文本中所包含的特征不足，使用这样的数据训练段向量模型会使得模型表现不佳。因此，本发明的实施例选择将数据进行连接得到比较长的文本作为训练数据导入模型。在多次实验后，选择了3条文本合并为一条的方法来进行数据连接，可以达到最佳的效果。

S5：将多个代表同一情绪类型的段向量使用支持向量机进行训练得到情绪分类模型。其中，段向量模型的作用是将导入的训练文本段落转化为能够表达其特征的特征向量。

具体地，由于文本的特征向量维数较高，为了避免维数过高造成高维不可分现象的发生，使用C-SVM模型进行分类，并且使用线性核函数，其计算方法如下：

k(x,y)＝x×y。

S6：根据数据集中代表同一情绪类型的相关数据中剩余数据对情绪分类模型进行评价，如果不满足客户需求则返回步骤S4，如果满足客户需求则将当前的情绪分类模型作为最终情绪分类模型。

由于得到的情绪分类模型不一定满足客户的需求，因此需要将之前代表同一情绪类型的相关数据中剩余数据去验证当前得到的情绪分类模型是否满足客户需求，例如将标注高兴的一部分数据生成的情绪分类模型在对标注高兴的剩余数据进行评价时，如果得到了其它的结果，则表示当前的情绪分类模型不符合客户需求，需要返回步骤S4重新选取数据以再次生成情绪分类模型；如果当前的情绪分类模型满足客户需求，则将当前的情绪分类模型作为最终情绪分类模型

S7：根据最终情绪分类模型进行微博文本的情绪分类。

根据本发明实施例的基于段向量模型的微博文本情绪分类方法，通过使用微博文本训练过的段向量模型和支持向量机模型得出的结果，对微博文本进行情绪分类，可以提升情绪分类的准确性。

图2是本发明实施例的基于段向量模型的微博文本情绪分类系统的结构框图。如图2所示，根据本发明实施例的基于段向量模型的微博文本情绪分类系统，包括：数据获取模块210、情绪分类模块220、数据预处理模块230、段向量生成模块240、支持向量机250和控制模块260。

其中，数据获取模块210用于获取微博文本数据。情绪分类模块220用于对微博文本数据中的每句话进行情绪分类。数据预处理模块230用于对微博文本数据中的每句话进行数据预处理，以得到数据集。段向量生成模块240用于将数据集中代表同一情绪类型的相关数据中的一部分数据输入到段向量模型中进行训练，以得到多个代表同一情绪类型的段向量。支持向量机250用于将多个代表同一情绪类型的段向量使用支持向量机进行训练得到情绪分类模型。控制模块260用于根据数据集中代表同一情绪类型的相关数据中剩余数据对情绪分类模型进行评价，如果不满足客户需求则向段向量生成模块发送重新获取段向量信号，以便段向量生成模块重新训练，以新的多个段向量，进而将新的多个段向量使用支持向量机进行训练，直至得到满足客户需求的最终情绪分类模型，以便通过最终情绪分类模型进行微博文本的情绪分类。

根据本发明实施例的基于段向量模型的微博文本情绪分类系统，通过使用微博文本训练过的段向量模型和支持向量机模型得出的结果，对微博文本进行情绪分类，可以提升情绪分类的准确性。

在本发明的一个实施例中，数据预处理模块230进一步用于数据去重、转换表情符号、分词和连接语料。

在本发明的一个实施例中，段向量生成模块240进一步用于：将数据集中代表同一情绪类型的相关数据中预设数量的文本合并为一条长文本，以得到多个长文本；将多个长文本输入到段向量模型中进行训练，以得到多个代表同一情绪类型的段向量。

在本发明的一个实施例中，支持向量机250使用C-SVM模型进行分类，并且使用以下线性核函数：k(x,y)＝x×y。

在本发明的一个实施例中，情绪分类模块220对微博文本数据中的每句话使用人工标注进行情绪分类。

另外，本发明实施例的基于段向量模型的微博文本情绪分类系统的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (10)

1.一种基于段向量模型的微博文本情绪分类方法，其特征在于，包括以下步骤：

S1：获取微博文本数据；

S2：对所述微博文本数据中的每句话进行情绪分类；

S3：对所述微博文本数据中的每句话进行数据预处理，以得到数据集；

S4：将所述数据集中代表同一情绪类型的相关数据中的一部分数据输入到段向量模型中进行训练，以得到多个代表同一情绪类型的段向量；

S5：将所述多个代表同一情绪类型的段向量使用支持向量机进行训练得到情绪分类模型；

S6：根据所述数据集中代表同一情绪类型的相关数据中剩余数据对情绪分类模型进行评价，如果不满足客户需求则返回步骤S4，如果满足客户需求则将当前的情绪分类模型作为最终情绪分类模型；

S7：根据所述最终情绪分类模型进行微博文本的情绪分类。

2.根据权利要求1所述的基于段向量模型的微博文本情绪分类方法，其特征在于，所述数据预处理包括数据去重、转换表情符号、分词和连接语料。

3.根据权利要求1所述的基于段向量模型的微博文本情绪分类方法，其特征在于，步骤S4进一步包括：

S401：将所述数据集中代表同一情绪类型的相关数据中预设数量的文本合并为一条长文本，以得到多个长文本；

S402：将所述多个长文本输入到所述段向量模型中进行训练，以得到多个代表同一情绪类型的段向量。

4.根据权利要求1所述的基于段向量模型的微博文本情绪分类方法，其特征在于，所述支持向量机使用C-SVM模型进行分类，并且使用以下线性核函数：

k(x,y)＝x×y。

5.根据权利要求1所述的基于段向量模型的微博文本情绪分类方法，其特征在于，对所述微博文本数据中的每句话使用人工标注进行情绪分类。

6.一种基于段向量模型的微博文本情绪分类系统，其特征在于，包括：

数据获取模块，用于获取微博文本数据；

情绪分类模块，用于对所述微博文本数据中的每句话进行情绪分类；

数据预处理模块，用于对所述微博文本数据中的每句话进行数据预处理，以得到数据集；

段向量生成模块，用于将所述数据集中代表同一情绪类型的相关数据中的一部分数据输入到段向量模型中进行训练，以得到多个代表同一情绪类型的段向量；

支持向量机，用于将所述多个代表同一情绪类型的段向量使用支持向量机进行训练得到情绪分类模型；

控制模块，用于根据所述数据集中代表同一情绪类型的相关数据中剩余数据对所述情绪分类模型进行评价，如果不满足客户需求则向所述段向量生成模块发送重新获取段向量信号，以便所述段向量生成模块重新训练，以新的多个段向量，进而将所述新的多个段向量使用所述支持向量机进行训练，直至得到满足客户需求的最终情绪分类模型，以便通过所述最终情绪分类模型进行微博文本的情绪分类。

7.根据权利要求6所述的基于段向量模型的微博文本情绪分类系统，其特征在于，所述数据预处理模块进一步用于数据去重、转换表情符号、分词和连接语料。

8.根据权利要求6所述的基于段向量模型的微博文本情绪分类系统，其特征在于，所述段向量生成模块进一步用于：

将所述数据集中代表同一情绪类型的相关数据中预设数量的文本合并为一条长文本，以得到多个长文本；

将所述多个长文本输入到所述段向量模型中进行训练，以得到多个代表同一情绪类型的段向量。

9.根据权利要求6所述的基于段向量模型的微博文本情绪分类系统，其特征在于，所述支持向量机使用C-SVM模型进行分类，并且使用以下线性核函数：

k(x,y)＝x×y。

10.根据权利要求6所述的基于段向量模型的微博文本情绪分类系统，其特征在于，所述情绪分类模块对所述微博文本数据中的每句话使用人工标注进行情绪分类。