CN110457480A - 基于交互式注意力机制的细粒度情感分类模型的构建方法 - Google Patents

Abstract

本发明公开了一种基于交互式注意力机制的细粒度情感分类模型的构建方法，该方法分别对评价方面和上下文单独地建模语义，并结合注意力机制同时对两部分的语义进行交互学习，进而得到更恰当的用于细粒度情感分类的语义表示。本发明提出的模型既考虑了给定评价方面的语义特征，又考虑了给定上下文的语义特征，并将两部分特征进行融合，可以挖掘其中对情感分析最重要的语义信息，提高了细粒度情感分类的准确率；能够准确的理解在线评论数据中包含的用户情感，帮助商家了解消费者的需求，进而为其提供有效的决策支持，帮助其对现有产品和服务进行改进。

Description

基于交互式注意力机制的细粒度情感分类模型的构建方法

技术领域

本发明属于计算机应用技术领域，具体涉及一种基于交互式注意力机制的细粒度情感分类模型的构建方法。

背景技术

随着信息技术的发展，互联网中积累了大量的用户评论数据。对这些评论数据进行语义分析和意见挖掘对各行业的发展具有重要意义，例如对电商网站中的产品评价数据进行分析，可以帮助商家了解消费者的需求，进而为其提供有效的决策支持，帮助其对现有产品和服务进行改进。由于在线评论数据具有覆盖范围广、口语化强、高噪声等特点，因此如何准确的理解在线评论数据中包含的用户情感是本发明研究的核心任务。此外，考虑到一条评论数据中可能包含用户对一个评价实体的多个方面的态度，因此细粒度情感分析逐渐受到了广泛关注，成为研究热点之一。

近年来，国内外已有很多针对在线评论数据的细粒度情感分析任务开展的相关研究，并且取得了一定的研究成果。现有的相关研究方法主要可以分为两类：基于机器学习的方法和基于神经网络的方法。

在基于机器学习的方法中，细粒度情感分类通常被视为文本分类问题。因此，诸如SVM等的文本分类方法可以在不考虑评价方面的情况下，进行情感极性的判断，这些方法主要关注于如何提取情感词典、情感特征等来训练情感分类器。尽管这些方法取得了一定的效果，但其性能在很大程度上依赖于手工特征的有效性，这极大地限制了模型的灵活性与泛化性。

近年来，随着神经网络的发展，递归神经网络、循环神经网络及层次长短期记忆网络(LSTM)等结构在情感分析领域取得了可观的效果。然而这些方法通常仅使用上下文语义进行情感分类，而没有考虑评价方面的语义对情感分类的直接影响。

本发明认为，只有同时对评价方面和上下文进行语义建模并实现语义相互增强才能真正提升情感分类的效果。例如，给定意见句“这台显示器的分辨率很高，但是价格也很高”，当“高”形容“分辨率”时，情感极性是正向，但形容“价格”时，情感极性则是负向。由此，如何联合建模评价方面和上下文的语义是本发明主要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于交互式注意力机制的细粒度情感分类模型的构建方法，该方法分别对评价方面和上下文单独地建模语义，并结合注意力机制同时对两部分的语义进行交互学习，进而得到更恰当的用于细粒度情感分类的语义表示。

本发明是通过以下技术方案实现的：

一种基于交互式注意力机制的细粒度情感分类模型的构建方法，包括以下步骤：

步骤1.数据表示

首先利用分词工具将在线评论数据中的评价方面和意见句拆分为词序列，输入经过分词处理后的意见句与评价方面，使用词向量的方法初始化每个词的浅层语义表示；

步骤2.学习评价方面的语义表示

根据步骤1中输出的每个词的词向量，利用双向的长短期记忆网络以序列的方式对评价方面中的词进行高层的语义编码；

步骤3.学习上下文的语义表示

根据步骤1中输出的每个词的词向量，利用双向的长短期记忆网络以序列的方式对上下文中的词进行高层的语义编码；

步骤4.评价方面和上下文的交互式语义融合

根据步骤2和步骤3中的输出，交互式地学习上下文和评价方面的语义表示，挖掘其中包含的重要信息，

该过程包含三个步骤：(1)基于步骤2和步骤3的输出，对词的语义特征进行平均池化，分别得到评价方面和上下文的整体表示；(2)使用注意力机制，利用评价方面的整体表示计算上下文中每个词的注意力权重，并基于该权重对上下文中词语的语义表示进行加权求和，得到考虑评价方面的上下文表示；(3)使用注意力机制，利用上下文的整体表示计算评价方面中每个词的注意力权重，并基于该权重对评价方面中词语的语义表示进行加权求和，得到考虑上下文的评价方面表示；

步骤5.情感分类

根据步骤4中的输出，对评价方面和上下文的语义表示进行拼接，并基于拼接后的结果构建情感分析的分类器进行情感分类。

在上述技术方案中，所述步骤1中的意见句表示为如下形式：

C＝{c₁,c₂,…,c_n}

其中n表示意见句中包含的词个数，c_i表示意见句中的第i个词；

评价方面表示为如下形式：

T＝{t₁,t₂,…,t_k}

其中k表示评价方面中包含的词个数，t_i表示评价方面中的第i个词；

为了获取词语的词向量表示，首先将输入意见句和评价方面中的每个单词映射到一个低维稠密的词向量e中，具体如公式1-1、1-2所示，其中，M∈R^v×d表示词向量的词典，v和d分别代表词典大小与词向量维数，

最终，步骤1分别输出意见句和评价方面的词向量表示序列E^c和E^t作为词的浅层语义表示：

在上述技术方案中，所述的步骤2具体包含如下步骤：

步骤2.1，前向的长短期记忆网络编码(简称LSTM编码)的阶段；

利用LSTM对评价方面的词向量序列按照原始顺序进行编码得到前向的隐藏特征，对于第j个词的具体计算过程如下：

其中，分别代表输入门、遗忘门、输出门，用于控制信息的传递；σ为sigmoid激活函数，W和b为网络参数、分别代表权重矩阵和偏移量，·代表矩阵乘法，⊙代表矩阵元素乘法；

步骤2.2，反向LSTM编码的阶段；

由于一个LSTM只能从一个方向进行计算，而不能建模另一个方向的语义，因此使用一个方向相反的LSTM从另一个方向对词序列进行编码，得到反向的隐藏特征：

步骤2.3，双向编码特征结合阶段；

将步骤2.1与步骤2.2中得到的两个方向的隐藏特征向量进行拼接，得到每个词双向的隐藏特征：

在上述技术方案中，所述的步骤3具体包含如下步骤：

步骤3.1，前向LSTM编码阶段；

本阶段过程与步骤2.1类似，最终得到上下文中每个词的前向语义表示：

步骤3.2，反向LSTM编码阶段；

本阶段过程与步骤2.2类似，最终得到上下文中每个词的反向语义表示：

步骤3.3，双向编码特征结合阶段：

将步骤3.1与步骤3.2中得到的两个方向的隐藏特征向量进行拼接，得到每个词双向的隐藏特征：

在上述技术方案中，所述的步骤4具体包含如下步骤：

步骤4.1，上下文和评价方面的整体表示生成阶段；

对步骤2和步骤3得到的词的高层语义表示状态进行平均池化，分别得到上下文和评价方面的初始整体表示，分别记为c_avg和t_avg：

步骤4.2，使用注意力机制，得到考虑评价方面的上下文表示阶段；

以评价方面的初始整体表示作为输入，利用注意力机制选择上下文中有助于判断情感极性的重要信息，给定上下文的隐藏表示表示为和评价方面的初始整体表示t_avg，可通过公式4-1生成注意力向量α：

其中是用于计算上下文向量重要程度的得分函数，该函数的计算方法如公式4-2所示：

其中W_a和b_a是待学习的参数，tanh是非线性激活函数，t_avg ^T表示向量t_avg的转置；

在计算注意力权重的基础上，利用公式4-3得到上下文的最终语义表示，该表示包含了有助于判断情感极性的重要信息；

步骤4.3，使用注意力机制，得到考虑上下文的评价方面表示阶段；

以上下文的初始整体表示作为输入，利用注意力机制选择评价对象中有助于判断情感极性的重要信息，给定评价方面的隐藏表示表示为和上下文的初始整体表示c_avg，可通过公式4-4生成注意力向量β：

在计算注意力权重的基础上，利用公式4-5得到评价方面的最终语义表示，该表示包含了有助于判断情感极性的重要信息；

步骤4.4，对上下文和评价方面的最终语义表示进行拼接，得到：

d＝[r_c；r_t]。

在上述技术方案中，所述的步骤5使用非线性层将语义表示d投影到一个维度与情感极性种类数相同的向量空间中：

x＝tanh(W_l·d+b_l)

其中，W_l和b_l分别代表权重矩阵和偏置向量；最后，使用公式5-1计算情感极性的概率分布：

其中，C为情感极性的类别数。在测试过程中，模型将选取概率最大的标签作为最终的结果。

本发明的优点和有益效果为：

(1)本发明的一种基于交互式注意力机制的细粒度情感分类模型的构建方法能够准确的理解在线评论数据中包含的用户情感，帮助商家了解消费者的需求，进而为其提供有效的决策支持，帮助其对现有产品和服务进行改进。

(2)本发明的一种基于交互式注意力机制的细粒度情感分类模型的构建方法的性能不依赖于手工特征的有效性，提高了模型的灵活性与泛化性。

(3)本发明的一种基于交互式注意力机制的细粒度情感分类模型的构建方法使用双向的LSTM来总结两个方向上的词级别语义信息，从而获得对应的语义表示，实现了建模词序列不同方向上的信息的目的。

(4)本发明的一种基于交互式注意力机制的细粒度情感分类模型的构建方法提出的模型既考虑了给定评价方面的语义特征，又考虑了给定上下文的语义特征，并将两部分特征进行融合，可以挖掘其中对情感分析最重要的语义信息，提高了细粒度情感分类的准确率。

附图说明

图1是本发明整体系统结构示意图。

图2是本发明的流程图。

对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。

具体实施方式

下面结合附图与具体的实施例对本发明作进一步详细描述，需要说明的是：下述实施例是说明性的，不是限定性的，不能以下述实施例来限定本发明的保护范围。

在本实施例中主要采用自然语言处理相关的理论和方法对在线评论数据进行细粒度的情感分析，为了保证系统的正常运行，要求所使用的计算机平台配备不低于8G的内存，CPU核心数不低于4个且主频不低2.6GHz、Linux操作系统，并安装Python 3.6及以上版本、tensorflow框架等必备软件环境。

一种基于交互式注意力机制的细粒度情感分类模型的构建方法，包括以下步骤：

步骤1.数据表示

本实施例中涉及到的数据为在线评论数据，该数据以文本的形式进行存储，对于每个意见句，会对应若干评价方面，首先利用分词工具将评价方面和意见句拆分为词序列，输入经过分词处理后的意见句和评价方面，其中意见句表示为如下形式：

C＝{c₁,c₂,…,c_n}

其中n表示意见句中包含的词个数，c_i表示意见句中的第i个词；

同理，评价方面表示为如下形式：

T＝{t₁,t₂,…,t_k}

其中k表示评价方面中包含的词个数，t_i表示评价方面中的第i个词；

为了获取词语的词向量表示，首先将输入意见句和评价方面中的每个单词映射到一个低维稠密的词向量e中，具体如公式1-1、1-2所示，其中，M∈R^v×d表示词向量的词典，v和d分别代表词典大小与词向量维数，

最终，步骤1分别输出意见句和评价方面的词向量表示序列E^c和E^t作为词的浅层语义表示：

步骤2.学习评价方面的语义表示

根据步骤1中输出的每个词的词向量，利用双向的长短期记忆网络以序列的方式对评价方面中的词进行高层的语义编码，具体包含如下步骤：

步骤2.1，前向的长短期记忆网络编码(简称LSTM编码)的阶段；

利用LSTM对评价方面的词向量序列按照原始顺序进行编码得到前向的隐藏特征，对于第j个词的具体计算过程如下：

其中，分别代表输入门、遗忘门、输出门，用于控制信息的传递；σ为sigmoid激活函数，W和b为网络参数、分别代表权重矩阵和偏移量，·代表矩阵乘法，⊙代表矩阵元素乘法；

步骤2.2，反向LSTM编码的阶段；

由于一个LSTM只能从一个方向进行计算，而不能建模另一个方向的语义，因此使用一个方向相反的LSTM从另一个方向对词序列进行编码，得到反向的隐藏特征：

步骤2.3，双向编码特征结合阶段；

将步骤2.1与步骤2.2中得到的两个方向的隐藏特征向量进行拼接，得到每个词双向的隐藏特征：

步骤3.学习上下文的语义表示

根据步骤1中输出的每个词的词向量，利用双向的长短期记忆网络以序列的方式对上下文中的词进行高层的语义编码，具体包含如下步骤：

步骤3.1，前向LSTM编码阶段；

本阶段过程与步骤2.1类似，最终得到上下文中每个词的前向语义表示：

步骤3.2，反向LSTM编码阶段；

本阶段过程与步骤2.2类似，最终得到上下文中每个词的反向语义表示：

步骤3.3，双向编码特征结合阶段：

将步骤3.1与步骤3.2中得到的两个方向的隐藏特征向量进行拼接，得到每个词双向的隐藏特征：

步骤4.评价方面和上下文的交互式语义融合

根据步骤2和步骤3中的输出，交互式地学习上下文和评价方面的语义表示，挖掘其中包含的重要信息，具体包含如下步骤：

步骤4.1，上下文和评价方面的整体表示生成阶段；

对步骤2和步骤3得到的词的高层语义表示状态进行平均池化，分别得到上下文和评价方面的初始整体表示，分别记为c_avg和t_avg：

步骤4.2，使用注意力机制，得到考虑评价方面的上下文表示阶段；

以评价方面的初始整体表示作为输入，利用注意力机制选择上下文中有助于判断情感极性的重要信息，给定上下文的隐藏表示表示为和评价方面的初始整体表示t_avg，可通过公式4-1生成注意力向量α：

其中是用于计算上下文向量重要程度的得分函数，该函数的计算方法如公式4-2所示：

其中W_a和b_a是待学习的参数，tanh是非线性激活函数，t_avg ^T表示向量t_avg的转置；

在计算注意力权重的基础上，利用公式4-3得到上下文的最终语义表示，该表示包含了有助于判断情感极性的重要信息；

步骤4.3，使用注意力机制，得到考虑上下文的评价方面表示阶段；

以上下文的初始整体表示作为输入，利用注意力机制选择评价对象中有助于判断情感极性的重要信息，给定评价方面的隐藏表示表示为和上下文的初始整体表示c_avg，可通过公式4-4生成注意力向量β：

在计算注意力权重的基础上，利用公式4-5得到评价方面的最终语义表示，该表示包含了有助于判断情感极性的重要信息。

步骤4.4，对上下文和评价方面的最终语义表示进行拼接，得到：

d＝[r_c；r_t]；

步骤5.情感分类

根据步骤4中的输出，对评价方面和上下文的语义表示进行拼接，并基于拼接后的结果构建情感分析的分类器进行情感分类；

本步骤使用非线性层将语义表示d投影到一个维度与情感极性种类数相同的向量空间中：

x＝tanh(W_l·d+b_l)

其中，W_l和b_l分别代表权重矩阵和偏置向量；最后，使用公式5-1计算情感极性的概率分布：

其中，C为情感极性的类别数。在测试过程中，模型将选取概率最大的标签作为最终的结果。

本发明基于在线的评论数据并实现了对其的细粒度情感分类，提出的模型既考虑了给定评价方面的语义特征，又考虑了给定上下文的语义特征，并将两部分特征进行融合，可以挖掘其中对情感分析最重要的语义信息，提高了细粒度情感分类的准确率。

以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims (6)

1.一种基于交互式注意力机制的细粒度情感分类模型的构建方法，其特征在于，包括以下步骤：

步骤1.数据表示

首先利用分词工具将在线评论数据中的评价方面和意见句拆分为词序列，输入经过分词处理后的意见句与评价方面，使用词向量的方法初始化每个词的浅层语义表示；

步骤2.学习评价方面的语义表示

根据步骤1中输出的每个词的词向量，利用双向的长短期记忆网络以序列的方式对评价方面中的词进行高层的语义编码；

步骤3.学习上下文的语义表示

根据步骤1中输出的每个词的词向量，利用双向的长短期记忆网络以序列的方式对上下文中的词进行高层的语义编码；

步骤4.评价方面和上下文的交互式语义融合

根据步骤2和步骤3中的输出，交互式地学习上下文和评价方面的语义表示，挖掘其中包含的重要信息，

该过程包含三个步骤：(1)基于步骤2和步骤3的输出，对词的语义特征进行平均池化，分别得到评价方面和上下文的整体表示；(2)使用注意力机制，利用评价方面的整体表示计算上下文中每个词的注意力权重，并基于该权重对上下文中词语的语义表示进行加权求和，得到考虑评价方面的上下文表示；(3)使用注意力机制，利用上下文的整体表示计算评价方面中每个词的注意力权重，并基于该权重对评价方面中词语的语义表示进行加权求和，得到考虑上下文的评价方面表示；

步骤5.情感分类

根据步骤4中的输出，对评价方面和上下文的语义表示进行拼接，并基于拼接后的结果构建情感分析的分类器进行情感分类。

2.根据权利要求1所述的基于交互式注意力机制的细粒度情感分类模型的构建方法，其特征在于，所述步骤1中的意见句表示为如下形式：

C＝{c₁,c₂,…,c_n}

其中n表示意见句中包含的词个数，c_i表示意见句中的第i个词；

评价方面表示为如下形式：

T＝{t₁,t₂,…,t_k}

其中k表示评价方面中包含的词个数，t_i表示评价方面中的第i个词；

为了获取词语的词向量表示，首先将输入意见句和评价方面中的每个单词映射到一个低维稠密的词向量e中，具体如公式1-1、1-2所示，其中，M∈R^v×d表示词向量的词典，v和d分别代表词典大小与词向量维数，

最终，步骤1分别输出意见句和评价方面的词向量表示序列E^c和E^t作为词的浅层语义表示：

3.根据权利要求1所述的基于交互式注意力机制的细粒度情感分类模型的构建方法，其特征在于，所述的步骤2具体包含如下步骤：

步骤2.1，前向的长短期记忆网络编码的阶段；

利用LSTM对评价方面的词向量序列按照原始顺序进行编码得到前向的隐藏特征，对于第j个词的具体计算过程如下：

其中，分别代表输入门、遗忘门、输出门，用于控制信息的传递；σ为sigmoid激活函数，W和b为网络参数、分别代表权重矩阵和偏移量，·代表矩阵乘法，⊙代表矩阵元素乘法；

步骤2.2，反向LSTM编码的阶段；

由于一个LSTM只能从一个方向进行计算，而不能建模另一个方向的语义，因此使用一个方向相反的LSTM从另一个方向对词序列进行编码，得到反向的隐藏特征：

步骤2.3，双向编码特征结合阶段；

将步骤2.1与步骤2.2中得到的两个方向的隐藏特征向量进行拼接，得到每个词双向的隐藏特征：

4.根据权利要求1所述的基于交互式注意力机制的细粒度情感分类模型的构建方法，其特征在于，所述的步骤3具体包含如下步骤：

步骤3.1，前向LSTM编码阶段；

本阶段过程与步骤2.1类似，最终得到上下文中每个词的前向语义表示：

步骤3.2，反向LSTM编码阶段；

本阶段过程与步骤2.2类似，最终得到上下文中每个词的反向语义表示：

步骤3.3，双向编码特征结合阶段：

将步骤3.1与步骤3.2中得到的两个方向的隐藏特征向量进行拼接，得到每个词双向的隐藏特征：

5.根据权利要求1所述的基于交互式注意力机制的细粒度情感分类模型的构建方法，其特征在于，所述的步骤4具体包含如下步骤：

步骤4.1，上下文和评价方面的整体表示生成阶段；

对步骤2和步骤3得到的词的高层语义表示状态进行平均池化，分别得到上下文和评价方面的初始整体表示，分别记为c_avg和t_avg：

步骤4.2，使用注意力机制，得到考虑评价方面的上下文表示阶段；

以评价方面的初始整体表示作为输入，利用注意力机制选择上下文中有助于判断情感极性的重要信息，给定上下文的隐藏表示表示为和评价方面的初始整体表示t_avg，可通过公式4-1生成注意力向量α：

其中是用于计算上下文向量重要程度的得分函数，该函数的计算方法如公式4-2所示：

其中W_a和b_a是待学习的参数，tanh是非线性激活函数，t_avg ^T表示向量t_avg的转置；

在计算注意力权重的基础上，利用公式4-3得到上下文的最终语义表示，该表示包含了有助于判断情感极性的重要信息；

步骤4.3，使用注意力机制，得到考虑上下文的评价方面表示阶段；

以上下文的初始整体表示作为输入，利用注意力机制选择评价对象中有助于判断情感极性的重要信息，给定评价方面的隐藏表示表示为和上下文的初始整体表示c_avg，可通过公式4-4生成注意力向量β：

在计算注意力权重的基础上，利用公式4-5得到评价方面的最终语义表示，该表示包含了有助于判断情感极性的重要信息；

步骤4.4，对上下文和评价方面的最终语义表示进行拼接，得到：

d＝[r_c；r_t]。

6.根据权利要求1所述的基于交互式注意力机制的细粒度情感分类模型的构建方法，其特征在于，所述的步骤5使用非线性层将语义表示d投影到一个维度与情感极性种类数相同的向量空间中：

x＝tanh(W_l·d+b_l)

其中，W_l和b_l分别代表权重矩阵和偏置向量；最后，使用公式5-1计算情感极性的概率分布：

其中，C为情感极性的类别数。在测试过程中，模型将选取概率最大的标签作为最终的结果。