CN107609132B - 一种基于语义本体库中文文本情感分析方法 - Google Patents

Abstract

本发明公开了一种基于语义本体库中文文本情感分析方法。本发明步骤如下：步骤1、获取关于目标对象一定数量的结构化评论组成待分析的语料库，根据权威机构提供的情感本体库，结合语料库通过语义分析泛化得到情感本体库，情感本体库包含情感极限和情感程度；步骤2、对情感词匹配和情感词关系预处理，将语料库进行分词、文本分析、匹配本体库和评论句子中情感词，标注情感词的情感信息以及上下文对应的依存关系。其中，情感信息包含词的情感强度、情感极性和情感词词性；步骤3、情感计算和情感倾向判断。本发明能更精确的根据上下文进行情感分类。

Description

一种基于语义本体库中文文本情感分析方法

技术领域

本发明属于自然语言处理领域，特别涉及中文文本情感分析方法，提供一种基于语义本体库中文文本情感分析方法。

背景技术

随着互联网技术的快速发展，互联网上(包括门户网站、电子商务网站、社交网站、音/视频分享网站、论坛、博客、微博等)产生了海量的、由用户发表的对于诸如人物、事件、产品等目标实体的评论信息。与客观性文本不同的是，这些主观色彩浓厚的评论信息蕴含着大众舆论对上述目标实体的看法，对潜在用户、商家以及政府部门等具有十分重要的参考价值。然而，如果采用人工方式对这些海量信息进行收集和分析，显然是成本高昂、低效和困难的。利用计算机对非结构化的文本评论进行分类和提取的文本情感分析技术应运而生。

目前，国内外使用最多的文本情感分析方式有两种，一是基于机器学习的情感分析；二是基于语义规则的情感分析。机器学习方法包括有监督、无监督和半监督情感分析，其中有监督和半监督的机器学习方法中分类起的训练需要一定数量经过标注的训练样本，然而人工标注过程相当耗时费力，成本昂贵，无监督学习则是无需标注的。基于语义规则的文本倾向性研究中，研究者一般考虑词语，句子，段落和篇章等多个角度自底向上进行层次分析。通过规则计算情感词汇情感值，得到句子、段落以及篇章的整体情感值，从而获得最终的情感倾向信息。

传统的基于机器学习特征抽取SVM情感分类会出现上下文语义缺失，而本方法利用句法规则可以在结合语义前提进行情感分析，然后再结合SVM分类器，从而能更精确根据上下文进行情感分类。

发明内容

本发明针对现有技术中均存在情感分析方法的不足，提供了一种基于语义本体库中文文本情感分析方法，对中文文本进行更准确的判断。

本发明解决其技术问题所采用的技术方案具体包括以下步骤：

步骤1、获取关于目标对象一定数量的结构化评论组成待分析的语料库，根据权威机构提供的情感本体库，结合语料库通过语义分析泛化得到情感本体库，情感本体库包含情感极限和情感程度；

步骤2、对情感词匹配和情感词关系预处理，将语料库进行分词、文本分析、匹配本体库和评论句子中情感词，标注情感词的情感信息以及上下文对应的依存关系。其中，情感信息包含词的情感强度、情感极性和情感词词性；

步骤3、情感计算和情感倾向判断；

根据评论中情感信息以及依存关系，结合系统规则进行情感值计算，确定评论的情感倾向再结合机器学习方法二次处理，得到最终情感倾向结果；

进一步地，根据步骤1所述情感本体库构建，具体步骤如下：

步骤1-1.使用网络机构中现有权威的情感本体库，去掉重复词之后作为原始本体库。；

步骤1-2.从知网中下载同义词林，将原始本体库进行同义扩充；

步骤1-3.为了得到丰富的情感本体库，引入word2vec工具，该工具能根据输入样本泛化推理得到和情感词语义相似的词。首先，将评论数据通过word2vec训练，得到向量空间，将本体库内情感词输入与样本空间中的词做相似计算，取出相似排名靠前的5个相似词。使用SO_PMI公式分别计算本体库情感词和筛选出的相似词的相关度，筛选得到更为丰富的情感本体库。

SO_PMI定义了点互信息量的概念，用来计算两个词之间的语义相关性：

P(w₁&w₂)表示词w₁和w₂同时出现的概率，C(w₁&w₂)表示词w₁和w₂同时出现的次数，N代表频率；P(w₁)表示词w₁出现的概率，P(w₂)表示词w₂出现的概率；C(w₁)表示词w₁出现的次数,C(w₂)表示词w₂出现的次数；

对于未知情感的候选词语cw和情感强度i的基准情感词语集合BSW_i；基于点互信息的语义倾向值SO_PMI(cw,BSW_i)为候选词语cw和BSW_i中所有的基准情感词语的点互信息之和：

最后，得到候选词语cw的情感倾向为：

Pwords表示正向种子词集，Nwords表示负向种子词集。

进一步地，根据步骤2情感词匹配和情感词关系预处理，具体步骤如下：

步骤2-1.利用分词工具和自定义用户词典进行分词，然后结合哈工大句法分析平台，将评论转换为tri-gram形式，组成语义依存关系队列。

步骤2-2.语义依存关系队列包含每个词的位置、词性标注以及前词后词的位置关系，能充分定位情感词的位置以及该情感词所修饰的名词；

2-2-1.通过匹配情感本体库，定位情感词的情感初始极性以及程度修饰权值。

2-2-2.得到情感词的位置信息，将情感词抽取出来构建情感词的特征列表。特征列表包含情感词的位置、情感极性和权值。

进一步地，根据步骤3情感计算和情感倾向判断，具体步骤如下：

步骤3-1.针对步骤2-1得到语义依存关系队列，构建本体库中匹配情感词信息，使用短语情感倾向评估法来近似计算评论的情感倾向。

步骤3-2.采用SVM分类器为后续未知情感极性评论进行分类。

对语料库中已标记过的评论进行训练，80％的评论作为训练集，20％的评论作为测试集。训练集的具体处理如下：

首先通过分词，删除停用词；

其次从步骤2-2中匹配情感词，并赋予情感词的权重；

然后将训练集中每条评论转换成特征向量，训练SVM分类器，再进行分类，结合上文规则判断结果得到最终评论情感倾向。

本发明有益效果如下：

利用评论样本的语义向量空间去对现有情感本体库每一个情感词进行同义扩充，从而能丰富原来的情感本体库使得情感分类更加精确。

利用句法规则可以在结合语义本体库前提进行情感分析，然后再结合SVM分类器进行二次处理，从而能更精确的根据上下文进行情感分类。

附图说明

图1为本发明情感分析方法的总体流程图。

图2为构建情感本体库的对应流程。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1-2所示，一种基于语义本体库中文文本情感分析方法，具体包括如下步骤：

步骤1、获取关于目标对象一定数量的结构化评论组成待分析的语料库，根据权威机构提供的情感本体库，结合语料库通过语义分析泛化得到情感本体库，情感本体库包含情感极限和情感程度，如图2所示；

步骤2、对情感词匹配和情感词关系预处理，将语料库进行分词、文本分析、匹配本体库和评论句子中情感词，标注情感词的情感信息以及上下文对应的依存关系。其中，情感信息包含词的情感强度、情感极性和情感词词性；

步骤3、情感计算和情感倾向判断；

根据评论中情感信息以及依存关系，结合系统规则进行情感值计算，确定评论的情感倾向再结合机器学习方法二次处理，得到最终情感倾向结果；

如图2所示，进一步地，根据步骤1所述情感本体库构建，具体步骤如下：

步骤1-1.使用网络机构中现有权威的情感本体库，去掉重复词之后作为原始本体库。；

步骤1-2.从知网中下载同义词林，将原始本体库进行同义扩充；

步骤1-3.为了得到丰富的情感本体库，引入word2vec工具，该工具能根据输入样本泛化推理得到和情感词语义相似的词。首先，将评论数据通过word2vec训练，得到向量空间，将本体库内情感词输入与样本空间中的词做相似计算，取出相似排名靠前的5个相似词。使用SO_PMI公式分别计算本体库情感词和筛选出的相似词的相关度，筛选得到更为丰富的情感本体库。

SO_PMI定义了点互信息量的概念，用来计算两个词之间的语义相关性：

P(w₁&w₂)表示词w₁和w₂同时出现的概率，C(w₁&w₂)表示词w₁和w₂同时出现的次数，N代表频率；P(w₁)表示词w₁出现的概率，P(w₂)表示词w₂出现的概率；C(w₁)表示词w₁出现的次数,C(w₂)表示词w₂出现的次数；

对于未知情感的候选词语cw和情感强度i的基准情感词语集合BSW_i；基于点互信息的语义倾向值SO_PMI(cw,BSW_i)为候选词语cw和BSW_i中所有的基准情感词语的点互信息之和：

最后，得到候选词语cw的情感倾向为：

Pwords表示正向种子词集，Nwords表示负向种子词集。

进一步地，根据步骤2情感词匹配和情感词关系预处理，具体步骤如下：

步骤2-1.利用分词工具和自定义用户词典进行分词，然后结合哈工大句法分析平台，将评论转换为tri-gram形式，组成语义依存关系队列。

步骤2-2.语义依存关系队列包含每个词的位置、词性标注以及前词后词的位置关系，能充分定位情感词的位置以及该情感词所修饰的名词；

2-2-1.通过匹配情感本体库，定位情感词的情感初始极性以及程度修饰权值。

2-2-2.得到情感词的位置信息，将情感词抽取出来构建情感词的特征列表。特征列表包含情感词的位置、情感极性和权值。

进一步地，根据步骤3情感计算和情感倾向判断，具体步骤如下：

步骤3-1.针对步骤2-1得到语义依存关系队列，构建本体库中匹配情感词信息，使用短语情感倾向评估法来近似计算评论的情感倾向。

步骤3-2.采用SVM分类器为后续未知情感极性评论进行分类。

对语料库中已标记过的评论进行训练，80％的评论作为训练集，20％的评论作为测试集。训练集的具体处理如下：

首先通过分词，删除停用词；

其次从步骤2-2中匹配情感词，并赋予情感词的权重；

然后将训练集中每条评论转换成特征向量，训练SVM分类器，再进行分类，结合上文规则判断结果得到最终评论情感倾向。

Claims (1)

1.一种基于语义本体库中文文本情感分析方法，其特征在于包括如下步骤：

步骤1、获取关于目标对象一定数量的结构化评论组成待分析的语料库，根据权威机构提供的情感本体库，结合语料库通过语义分析泛化得到情感本体库，情感本体库包含情感极限和情感程度；

步骤2、对情感词匹配和情感词关系预处理，将语料库进行分词、文本分析、匹配本体库和评论句子中情感词，标注情感词的情感信息以及上下文对应的依存关系；其中，情感信息包含词的情感强度、情感极性和情感词词性；

步骤3、情感计算和情感倾向判断；

根据评论中情感信息以及依存关系，结合系统规则进行情感值计算，确定评论的情感倾向再结合机器学习方法二次处理，得到最终情感倾向结果；

步骤1所述情感本体库构建，具体步骤如下：

步骤1-1.使用网络机构中现有权威的情感本体库，去掉重复词之后作为原始本体库；

步骤1-2.从知网中下载同义词林，将原始本体库进行同义扩充；

步骤1-3.为了得到丰富的情感本体库，引入word2vec工具，该工具能根据输入样本泛化推理得到和情感词语义相似的词；首先，将评论数据通过word2vec训练，得到向量空间，将本体库内情感词输入与样本空间中的词做相似计算，取出相似排名靠前的5个相似词；使用SO_PMI公式分别计算本体库情感词和筛选出的相似词的相关度，筛选得到更为丰富的情感本体库；

SO_PMI定义了点互信息量的概念，用来计算两个词之间的语义相关性：

P(w₁&w₂)表示词w₁和w₂同时出现的概率，C(w₁&w₂)表示词w₁和w₂同时出现的次数，N代表频率；P(w₁)表示词w₁出现的概率，P(w₂)表示词w₂出现的概率；C(w₁)表示词w₁出现的次数,C(w₂)表示词w₂出现的次数；

对于未知情感的候选词语cw和情感强度i的基准情感词语集合BSW_i；基于点互信息的语义倾向值SO_PMI(cw,BSW_i)为候选词语cw和BSW_i中所有的基准情感词语的点互信息之和：

最后，得到候选词语cw的情感倾向为：

Pwords表示正向种子词集，Nwords表示负向种子词集；

步骤2情感词匹配和情感词关系预处理，具体步骤如下：

步骤2-1.利用分词工具和自定义用户词典进行分词，然后结合哈工大句法分析平台，将评论转换为tri-gram形式，组成语义依存关系队列；

步骤2-2.语义依存关系队列包含每个词的位置、词性标注以及前词后词的位置关系，能充分定位情感词的位置以及该情感词所修饰的名词；

2-2-1.通过匹配情感本体库，定位情感词的情感初始极性以及程度修饰权值；

2-2-2.得到情感词的位置信息，将情感词抽取出来构建情感词的特征列表；特征列表包含情感词的位置、情感极性和权值；

步骤3所述的情感计算和情感倾向判断，具体如下：

步骤3-1.针对步骤2-1得到语义依存关系队列，构建本体库中匹配情感词信息，使用短语情感倾向评估法来近似计算评论的情感倾向；

步骤3-2.采用SVM分类器为后续未知情感极性评论进行分类；

对语料库中已标记过的评论进行训练，80％的评论作为训练集，20％的评论作为测试集；训练集的具体处理如下：

首先通过分词，删除停用词；

其次从步骤2-2中匹配情感词，并赋予情感词的权重；

然后将训练集中每条评论转换成特征向量，训练SVM分类器，再进行分类，结合上文规则判断结果得到最终评论情感倾向。

Images