CN110532380A - 一种基于记忆网络的文本情感分类方法 - Google Patents

Abstract

本发明公开了一种基于记忆网络的文本情感分类方法。本发明具体实现步骤如下：步骤(1)对文本进行分词；步骤(2)对分词后的文本，进行词向量嵌入，得到文本词向量；步骤(3)把文本词向量输入到自注意力模型中，得到文本特征；步骤(4)使用记忆网络模型多次对文本特征进行情感特征的提取，输出最后的分类结果。本发明利用Transformer记忆网络模型对文本进行情感分析，通过非人工干预的手段先用Transformer模型把文本转化为向量的形式，再根据文本的某方面识别不同文本的情感极性，这种方法节省人力成本且模型分类的效果好。

Description

一种基于记忆网络的文本情感分类方法

技术领域

本发明涉及自然语言处理的情感分析领域，具体涉及一种基于记忆网络的文本情感分类方法。

背景技术

传统的情感分析方法主要根据一些规则性的特征来进行情感分类，比如情感词汇和词袋模型。然而这些特征过度依赖于人为的控制。不同于以前的方法现在主要使用神经网络模型来对文本进行文本情感分类。神经网络模型在短文本上面已经取得了很好的效果，但是在长文本上面的表现不是很好。这是因为目前的主流的序列转导模型为了防止梯度的爆炸，都加入了遗忘门机制，导致关键情感信息的缺失。因此我们使用Transformer模型对文本进行特征转换，解决了长文本问题。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于记忆网络的文本情感分类方法，以解决文本情感信息出现缺失，分类效果不佳的问题。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤(1)对文本进行分词；

步骤(2)对分词后的文本，进行词向量嵌入，得到文本词向量；

步骤(3)把文本词向量输入到自注意力模型中，得到文本特征；

步骤(4)使用记忆网络模型多次对文本特征进行情感特征的提取，输出最后的分类结果。

步骤(1)所述对文本分词的过程如下：

1-1.确定文本的所属领域，人工搜集所属领域的相关词汇；

1-2.将步骤1-1中搜集的词汇和对应领域的公共词汇数据库进行合并，获得自定义领域词典；

1-3.根据当下通用的停用词，并结合对应领域，构建领域词典的停用词词典；

1-4.使用专业的中文分词工具，对文本进行分词，得到的文本的分词结果。

步骤(2)所述的对分词后的文本，进行词向量嵌入，得到文本词向量的详细过程如下：

2-1.使用word2vec工具训练分词后的文本来获得文本词向量，得到一个embedding的文件；embedding用于存放文本词向量；

2-2.根据步骤1中得到的文本的分词结果，使用embedding进行文本词向量的训练，获得新的文本词向量I。

步骤(3)所述的把文本词向量输入到自注意力模型中，得到文本特征的过程如下：

3-1.将文本词向量I输入到自注意力模型中获得上下文相关的文本特征。

步骤(4)所述的使用记忆网络模型多次对文本特征进行情感特征的提取，输出最后的分类结果，过程如下：

4-1.进行关键情感信息的抽取：

μ＝[F＊q^*；|F-q^*|；F＊m_t-1；|F-m_t-1|] (1)

其中，F表示文本，q^*表示描述文本的某一个方面情感问句，“；”表示向量连接，“*、-、||”分别表示向量点乘、减法和绝对值；H_c表示文本的长度，F词向量的形状为[1，H_c]，H_q表示情感问句的长度，H_m表示记忆网络的记忆向量，q^*和m_t-1的形状分别为[1，H_q]和[1，H_m]；

4-2.将记忆网络模型的输出m_t输入到softmax函数，输出最终的分类结果。

步骤4-2的详细过程：记忆网络模型具有三个组件：注意门、特征转换部分和存储器更新门，记忆网络模型用于将F与q^*结合，提取出与文本情感相关的文本特征；

将α中的第i个元素作为的注意权重，通过使用双层感知器变换μ获得α：

其中，和是双层感知器的参数；

特征转换部分将F和α作为输入，然后获得更新后的F′：

F＝F·α

记忆更新门使用情感问句q^*，先前的记忆向量m_t-1和更新后的F‘输出更新的记忆向量m_t：

m_t＝relu([q^*；m_t-1；F]·W_u)

其中，W_u是线性层的参数；

每次迭代记忆网络模型都使用α来过滤无关的情感信息，记忆网络模型在最后一次迭代时产生m_t作为记忆网络模型的最终输出。

与现有技术相比，本发明的有益效果是：

本发明利用基于Transformer的记忆网络模型对文本进行情感分析，通过多次调用局部注意力机制，实现全局的关键情感信息的抽取，这种方法不需要人工进行干预，解决文本情感信息缺失的问题，且适应能力很好。

附图说明

图1是本发明工艺实施方案的具体流程图；

图2是本发明的模型流程示意图；

图3是本发明的整体实施方案流程图；

具体实施方式

以下结合附图对本发明的原理及具体执行方法作进一步描述。

步骤(1)对文本进行分词；

步骤(2)对分词后的文本，进行词向量嵌入，得到文本词向量；

步骤(3)把文本词向量输入到自注意力模型中，得到文本特征；

步骤(4)使用记忆网络模型多次对文本特征进行情感特征的提取，输出最后的分类结果。

步骤(1)所述对文本分词的过程如下：

1-1.确定文本的所属领域，人工搜集所属领域的相关词汇；

1-2.将步骤1-1中搜集的词汇和对应领域的公共词汇数据库进行合并，获得自定义领域词典；

1-3.根据当下通用的停用词，并结合对应领域，构建领域词典的停用词词典；

1-4.使用专业的中文分词工具，如jieba加载自定义词典对文本进行分词，得到的文本的分词结果。

步骤(2)所述的对分词后的文本，进行词向量嵌入，得到文本词向量的详细过程如下：

2-1.使用word2vec工具训练分词后的文本来获得文本词向量，得到一个embedding的文件；词向量维度设置为200，embedding用于存放文本词向量；

2-2.根据步骤1中得到的文本的分词结果，使用embedding进行文本词向量的训练，获得新的文本词向量I。

步骤(3)所述的把文本词向量输入到自注意力模型中，得到文本特征的过程如下：

3-1.将文本词向量I输入到自注意力模型中获得上下文相关的文本特征。多头自注意力机制的数量设置为12。自注意力模型输出的文本特征是上下文相关的。

步骤(4)所述的使用记忆网络模型多次对文本特征进行情感特征的提取，输出最后的分类结果，过程如下：

4-1.进行关键情感信息的抽取：

μ＝[F＊q^*；|F-q^*|；F＊m_t-1；|F-m_t-1|] (1)

其中，F表示文本，q^*表示描述文本的某一个方面情感问句，“；”表示向量连接，“*、-、||”分别表示向量点乘、减法和绝对值；H_c表示文本的长度，F词向量的形状为[1，H_c]，H_q表示情感问句的长度，H_m表示记忆网络的记忆向量，q^*和m_t-1的形状分别为[1，H_q]和[1，H_m]；

4-2.将记忆网络模型的输出m_t输入到softmax函数，输出最终的分类结果。

步骤4-2的详细过程：记忆网络模型具有三个组件：注意门、特征转换部分和存储器更新门，记忆网络模型用于将F与q^*结合，提取出与文本情感相关的文本特征；

将α中的第i个元素作为的注意权重，通过使用双层感知器变换μ获得α：

其中，和是双层感知器的参数；

特征转换部分将F和α作为输入，然后获得更新后的F′：

F＝F·α

记忆更新门使用情感问句q^*，先前的记忆向量m_t-1和更新后的F‘输出更新的记忆向量m_t：

m_t＝relu([q^*；m_t-1；F]·W_u)

其中，W_u是线性层的参数；

每次迭代记忆网络模型都使用α来过滤无关的情感信息，记忆网络模型在最后一次迭代时产生m_t作为记忆网络模型的最终输出。

进一步的，文本特征输入到记忆网络模型中，对文本特征进行反复的局部注意力机制。图2的memory module部分是记忆网络对上下文的向量特征多次提取的示意图。通过多次测试，将迭代的次数设置为5，可以获得最好的实验效果。

进一步的，通过softmax层把记忆网络模块输出的情感特征进行最后的分类。完成目标，并不需要人工进行干预，解决文本情感信息缺失的问题，且适应能力很好。

Claims (6)

1.一种基于记忆网络的文本情感分类方法，其特征在于包括如下步骤：

步骤(1)对文本进行分词；

步骤(2)对分词后的文本，进行词向量嵌入，得到文本词向量；

步骤(3)把文本词向量输入到自注意力模型中，得到文本特征；

步骤(4)使用记忆网络模型多次对文本特征进行情感特征的提取，输出最后的分类结果。

2.根据权利要求1所述的一种基于记忆网络的文本情感分类方法,其特征在于步骤(1)所述对文本分词的过程如下：

1-1.确定文本的所属领域，人工搜集所属领域的相关词汇；

1-2.将步骤1-1中搜集的词汇和对应领域的公共词汇数据库进行合并，获得自定义领域词典；

1-3.根据当下通用的停用词，并结合对应领域，构建领域词典的停用词词典；

1-4.使用专业的中文分词工具，对文本进行分词，得到的文本的分词结果。

3.根据权利要求1或2所述的一种基于记忆网络的文本情感分类方法，其特征在于步骤(2)所述的对分词后的文本，进行词向量嵌入，得到文本词向量的详细过程如下：

2-1.使用word2vec工具训练分词后的文本来获得文本词向量，得到一个embedding的文件；embedding用于存放文本词向量；

2-2.根据步骤1中得到的文本的分词结果，使用embedding进行文本词向量的训练，获得新的文本词向量Ⅰ。

4.根据权利要求1所述的一种基于记忆网络的文本情感分类方法，其特征在于步骤(3)所述的把文本词向量输入到自注意力模型中，得到文本特征的过程如下：

3-1.将文本词向量Ⅰ输入到自注意力模型中获得上下文相关的文本特征。

5.根据权利要求4所述的一种基于记忆网络的文本情感分类方法，其特征在于步骤(4)所述的使用记忆网络模型多次对文本特征进行情感特征的提取，输出最后的分类结果，过程如下：

4-1.进行关键情感信息的抽取：

μ＝[F*q^*；|F-q^*|；F*m_t-1；|F-m_t-1|] (1)

其中，F表示文本，q^*表示描述文本的某一个方面情感问句，“；”表示向量连接，“*、-、||”分别表示向量点乘、减法和绝对值；H_c表示文本的长度，F词向量的形状为[1，H_c]，H_q表示情感问句的长度，H_m表示记忆网络的记忆向量，q^*和m_t-1的形状分别为[1，H_q]和[1，H_m]；

4-2.将记忆网络模型的输出m_t输入到softmax函数，输出最终的分类结果。

6.根据权利要求5所述的一种基于记忆网络的文本情感分类方法，其特征在于步骤4-2的详细过程：记忆网络模型具有三个组件：注意门、特征转换部分和存储器更新门，记忆网络模型用于将F与q^*结合，提取出与文本情感相关的文本特征；

将α中的第i个元素作为的注意权重，通过使用双层感知器变换μ获得α：

其中，和是双层感知器的参数；

特征转换部分将F和α作为输入，然后获得更新后的F′：

F＝F·α

记忆更新门使用情感问句q^*，先前的记忆向量m_t-1和更新后的F‘输出更新的记忆向量m_t：

m_t＝relu([q^*；m_t-1；F′]·W_u)

其中，W_u是线性层的参数；

每次迭代记忆网络模型都使用α来过滤无关的情感信息，记忆网络模型在最后一次迭代时产生m_t作为记忆网络模型的最终输出。