CN110347831A - 基于自注意力机制的情感分类方法 - Google Patents

Abstract

本发明公开了一种基于自注意力机制的情感分类方法，以双向长短期记忆神经网络模型为基础，结合自注意力机制构建SA‑BiLSTM模型，SA‑BiLSTM模型共包含五层结构：第一层为输入层，将句子输入到模型中；第二层为词向量构造层，将每个词映射到低维向量；第三层为Bi‑LSTM网络层，使用Bi‑LSTM从词向量层获取高级特征；第四层为自注意力机制层，生成一个权重向量，通过与这个权重向量相乘，使每一次迭代中的词汇级的特征合并为句子级的特征；第五层为输出层，将句子级的特征向量用于情感分类任务。本发明解决了现有技术中传统情感分类算法大多存在耗时长、训练难、人工成本高的问题。

Description

基于自注意力机制的情感分类方法

技术领域

本发明属于自然语言处理、数据挖掘技术领域，具体涉及一种基于自注意力机制的情感分类方法。

背景技术

注意力机制源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类往往根据需求忽略部分可见信息，只关注信息特定的一部分。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它，从而筛选出有价值的信息，视觉注意力机制极大的提高了人类处理视觉信息的效率。深度学习中的注意力机制借鉴了人类视觉注意力机制的思维方式，核心目标是从大量数据中快速筛选出高价值的信息。近年来，注意力模型在图像处理、语音识别、自然语言处理等领域被广泛使用。2017年谷歌提出的自注意力机制为人们提供了一种用注意力机制完全替代传统卷积神经网络和循环神经网络结构的新思路。之后自注意力机制开始成为神经网络注意力机制的研究热点。自注意力机制可以看作是注意力机制的一种特殊情况，能够把输入序列上不同位置的信息联系起来，然后计算出整条序列的表达。在文本情感分类任务中引入自注意力机制能够学习到句子内部的词依赖关系，捕获句子的内部结构。

发明内容

本发明的目的是提供一种基于自注意力机制的情感分类方法，解决了现有技术中传统情感分类算法大多基于浅层的机器学习，采用人工设计的特征选择方法进行特征提取，存在耗时长、训练难、人工成本高的问题。

本发明所采用的技术方案是，基于自注意力机制的情感分类方法，具体按照以下步骤实施：以双向长短期记忆神经网络模型为基础，结合自注意力机制构建SA-BiLSTM模型，SA-BiLSTM模型共包含五层结构：第一层为输入层，将句子输入到模型中；第二层为词向量构造层，将每个词映射到低维向量；第三层为Bi-LSTM网络层，使用Bi-LSTM从词向量层获取高级特征；第四层为自注意力机制层，生成一个权重向量，通过与这个权重向量相乘，使每一次迭代中的词汇级的特征合并为句子级的特征；第五层为输出层，将句子级的特征向量用于情感分类任务。

本发明的特点还在于，

SA-BiLSTM模型的为词向量构造层具体功能如下：

对于给定包含T个词的句子S：S＝X₁,X₂,...,X_T，每个词X_i都转换为实数向量w_i，对于S中的每个词，首先存在词向量矩阵：其中V为固定大小的词汇表，d^w表示词向量维度，W^k表示通过训练学习得到的参数矩阵，使用词向量矩阵W^k将每个词转化为词向量表示如下：

c_i＝W^kvⁱ

其中，vⁱ表示大小为|V|的one-hot向量，

最终句子S将被转化为一个实数矩阵，并传递给模型的下一层。

SA-BiLSTM模型的Bi-LSTM网络层具体功能如下：

本模型使用的Bi-LSTM网络层包含三种门机制，分别如下：

a.遗忘门f_t，决定丢弃多少旧信息：

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

b.输入门c_t，决定单元状态中存储哪些新信息：

i_t＝σ(W_ix_t+U_ih_t+b_i)

c_t＝f_tc_t-1+i_t·Tanh(W_cx_t+U_ch_t-1+b_c)

c.输出门o_t，决定哪些信息被输出：

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

最后，由当前单元状态乘以输出门的权重矩阵o_t得到输出值h_t：

h_t＝o_tthanh(c_t)

由于本模型采用的是双向LSTM，在原有正向LSTM网络层上添加一层反向LSTM层表示为：

h_i表示Bi-LSTM网络层的输出。

SA-BiLSTM模型的自注意力机制层具体功能如下：

将上一层输入的向量集合表示为H：[h₁,h₂,...,h_T]，其自注意力机制层的权重矩阵r由下面公式得到：

M＝tanh(H)

α＝softmax(w^TM)

r＝Hα^T

其中，d^w为词向量维度，w^T是一个训练学习得到的参数向量的转置，最终用以分类的句子将表示为：

h*＝tanh(r)。

SA-BiLSTM模型的输出层具体功能如下：使用softmax分类器来预测标签该分类器将上一层得到的状态h^*作为输入，最终得到文本情感极性分类类别，

其中，y表示真实类别的概率，表示预测类别的概率，的值大于50％为积极情感倾向，的值小于50％为消极情感倾向。

本发明的有益效果是，基于自注意力机制的情感分类方法，以Bi-LSTM模型为基础，结合自注意力机制设计的SA-BiLSTM模型来解决情感分类问题。SA-BiLSTM模型共包含五层结构：第一层为输入层，将句子输入到模型中；第二层为词向量构造层，将每个词映射到低维向量；第三层为Bi-LSTM网络层，使用Bi-LSTM从词向量层获取高级特征；第四层为自注意力机制层，生成一个权重向量，通过与这个权重向量相乘，使每一次迭代中的词汇级的特征合并为句子级的特征；第五层为输出层，将句子级的特征向量用于情感分类任务。

附图说明

图1是本发明基于自注意力机制的情感分类方法中注意力机制三阶段计算过程图；

图2是本发明基于自注意力机制的情感分类方法中SA-BiLSTM网络模型框架图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于自注意力机制的情感分类方法，具体按照以下步骤实施：以双向长短期记忆神经网络模型为基础，结合自注意力机制构建SA-BiLSTM模型，SA-BiLSTM模型共包含五层结构：第一层为输入层，将句子输入到模型中；第二层为词向量构造层，将每个词映射到低维向量；第三层为Bi-LSTM网络层，使用Bi-LSTM从词向量层获取高级特征；第四层为自注意力机制层，生成一个权重向量，通过与这个权重向量相乘，使每一次迭代中的词汇级的特征合并为句子级的特征；第五层为输出层，将句子级的特征向量用于情感分类任务。

其中，SA-BiLSTM模型的为词向量构造层具体功能如下：

对于给定包含T个词的句子S：S＝X₁,X₂,...,X_T，每个词X_i都转换为实数向量w_i，对于S中的每个词，首先存在词向量矩阵：其中V为固定大小的词汇表，d^w表示词向量维度，W^k表示通过训练学习得到的参数矩阵，使用词向量矩阵W^k将每个词转化为词向量表示如下：

c_i＝W^kvⁱ

其中，vⁱ表示大小为|V|的one-hot向量，

最终句子S将被转化为一个实数矩阵，并传递给模型的下一层。

SA-BiLSTM模型的Bi-LSTM网络层具体功能如下：

为解决循环神经网络中梯度消失问题，LSTM模型引入门机制，能控制每一个LSTM单元保留历史信息的程度并记忆当前的输入，提取重要特征，本模型使用的Bi-LSTM网络层包含三种门机制，分别如下：

a.遗忘门f_t，决定丢弃多少旧信息：

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

b.输入门c_t，决定单元状态中存储哪些新信息：

i_t＝σ(W_ix_t+U_ih_t+b_i)

c_t＝f_tc_t-1+i_t·Tanh(W_cx_t+U_ch_t-1+b_c)

c.输出门o_t，决定哪些信息被输出：

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

最后，由当前单元状态乘以输出门的权重矩阵o_t得到输出值h_t：

h_t＝o_tthanh(c_t)

由于本模型采用的是双向LSTM，在原有正向LSTM网络层上添加一层反向LSTM层表示为：

h_i表示Bi-LSTM网络层的输出。

SA-BiLSTM模型的自注意力机制层具体功能如下：

将上一层输入的向量集合表示为H：[h₁,h₂,...,h_T]，其自注意力机制层的权重矩阵r由下面公式得到：

M＝tanh(H)

α＝softmax(w^TM)

r＝Hα^T

其中，d^w为词向量维度，w^T是一个训练学习得到的参数向量的转置，最终用以分类的句子将表示为：

h*＝tanh(r)。

SA-BiLSTM模型的输出层具体功能如下：使用softmax分类器来预测标签该分类器将上一层得到的状态h^*作为输入，最终得到文本情感极性分类类别，

其中，y表示真实类别的概率，表示预测类别的概率，的值大于50％为积极情感倾向，的值小于50％为消极情感倾向。

本发明基于自注意力机制的情感分类方法中注意力机制的具体计算过程可抽象为图1展示的三个阶段：

其中K(Key)表示关键字，Q(Query)表示查询，F表示函数，V(Value)表示权重数值，Sim表示相似性，a表示权重系数，A(Attention Value)表示注意力数值。

第一阶段：通过计算每一个Query和各个Key的相关性得到每个Key对应Value的权重系数，常用的计算机制和相似度函数有点积法，Cosine相似性法和神经网络(MLP)求值：

Sim(Q,K_i)＝Q·K_i

Sim(Q,K_i)＝MLP(Q,K_i)

第二阶段：引入类似Softmax函数对权重进行归一化处理，可以更加突出重要元素的权重。a_i即为Value对应的权重系数：

第三阶段：将权重a_i和相应的键值value进行加权求和得到最后的注意力数值：

自注意力机制是注意力机制的一个特例，也被称为内部注意力机制(IntraAttention)。在一般任务的Encoder-Decoder框架中，Source和Target是不一样的，如在英-中机器翻译中，Source是英文句子，Target是对应的翻译出的中文句子，注意力机制发生在Target的元素Query和Source的所有元素之间。而自注意力机制指的不是Target和Source之间的注意力计算机制，而是Source内部元素之间或者Target内部元素之间发生的注意力计算机制，也可以理解为Target＝Source这种特殊情况下的注意力计算机制。因此，自注意力机制善于捕获同一句子中词之间的句法特征或语义特征。

本发明以Bi-LSTM模型为基础，结合自注意力机制设计如图2所示SA-BiLSTM模型来解决情感分类问题。SA-BiLSTM模型共包含五层结构：第一层为输入层，将句子输入到模型中；第二层为词向量构造层，将每个词映射到低维向量；第三层为Bi-LSTM网络层，使用Bi-LSTM从词向量层获取高级特征；第四层为自注意力机制层，生成一个权重向量，通过与这个权重向量相乘，使每一次迭代中的词汇级的特征合并为句子级的特征；第五层为输出层，将句子级的特征向量用于情感分类任务。

Claims (5)

1.基于自注意力机制的情感分类方法，其特征在于，具体按照以下步骤实施：

以双向长短期记忆神经网络模型为基础，结合自注意力机制构建SA-BiLSTM模型，SA-BiLSTM模型共包含五层结构：第一层为输入层，将句子输入到模型中；第二层为词向量构造层，将每个词映射到低维向量；第三层为Bi-LSTM网络层，使用Bi-LSTM从词向量层获取高级特征；第四层为自注意力机制层，生成一个权重向量，通过与这个权重向量相乘，使每一次迭代中的词汇级的特征合并为句子级的特征；第五层为输出层，将句子级的特征向量用于情感分类任务。

2.根据权利要求1所述的基于自注意力机制的情感分类方法，其特征在于，所述SA-BiLSTM模型的为词向量构造层具体功能如下：

对于给定包含T个词的句子S：S＝X₁,X₂,...,X_T，每个词X_i都转换为实数向量w_i，对于S中的每个词，首先存在词向量矩阵：其中V为固定大小的词汇表，d^w表示词向量维度，W^k表示通过训练学习得到的参数矩阵，使用词向量矩阵W^k将每个词转化为词向量表示如下：

c_i＝W^kvⁱ

其中，vⁱ表示大小为|V|的one-hot向量，

最终句子S将被转化为一个实数矩阵，并传递给模型的下一层。

3.根据权利要求2所述的基于自注意力机制的情感分类方法，其特征在于，所述SA-BiLSTM模型的Bi-LSTM网络层具体功能如下：

本模型使用的Bi-LSTM网络层包含三种门机制，分别如下：

a.遗忘门f_t，决定丢弃多少旧信息：

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

b.输入门c_t，决定单元状态中存储哪些新信息：

i_t＝σ(W_ix_t+U_ih_t+b_i)

c_t＝f_tc_t-1+i_t·Tanh(W_cx_t+U_ch_t-1+b_c)

c.输出门o_t，决定哪些信息被输出：

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

最后，由当前单元状态乘以输出门的权重矩阵o_t得到输出值h_t：

h_t＝o_tthanh(c_t)

由于本模型采用的是双向LSTM，在原有正向LSTM网络层上添加一层反向LSTM层表示为：

h_i表示Bi-LSTM网络层的输出。

4.根据权利要求3所述的基于自注意力机制的情感分类方法，其特征在于，所述SA-BiLSTM模型的自注意力机制层具体功能如下：

将上一层输入的向量集合表示为H：[h₁,h₂,...,h_T]，其自注意力机制层的权重矩阵r由下面公式得到：

M＝tanh(H)

α＝softmax(w^TM)

r＝Hα^T

其中，d^w为词向量维度，w^T是一个训练学习得到的参数向量的转置，最终用以分类的句子将表示为：

h*＝tanh(r)。

5.根据权利要求4所述的基于自注意力机制的情感分类方法，其特征在于，所述SA-BiLSTM模型的输出层具体功能如下：使用softmax分类器来预测标签该分类器将上一层得到的状态h^*作为输入，最终得到文本情感极性分类类别，

其中，y表示真实类别的概率，表示预测类别的概率，的值大于50％为积极情感倾向，的值小于50％为消极情感倾向。