CN114648015A - 一种基于依存关系注意力模型的方面级情感词识别方法 - Google Patents

Abstract

本发明涉及一种基于依存关系注意力模型的方面级情感词识别方法，属于自然语言处理中的情感分析技术领域。本方法依据句法依存关系来建立多头注意力模型，并将其用于方面级情感词识别。首先，利用句法分析工具生成句法依存结构。然后，考虑到工具所生成句法依存结构存在一定误差，对句法依存结构进行修正。最后，构建基于句法依存关系的多头注意力模型，并用于方面级情感词识别。本发明对比现有技术，在相同环境、相同数据集下，对于情感词识别查准率、召回率、F1值均有显著提升。

Description

一种基于依存关系注意力模型的方面级情感词识别方法

技术领域

本发明涉及一种基于依存关系注意力模型的方面级情感词识别方法，属于自然语言处理中的情感分析技术领域。

背景技术

方面级情感词识别，是指针对评论网站上的用户评论进行细粒度的情感词识别。区别于传统的粗粒度的情感词识别(识别一句话中的情感词)技术，方面积情感词识别针对特定的方面词来进行情感词识别。例如，“这家餐厅的味道一般，但是服务很周到”这句话，对于“味道”(方面词)，要识别出“一般”(情感词)，而对于“服务”则要识别“周到”。这项技术无论是对于商家来改善自己的产品，还是用户想要了解关于产品的信息，都具有相当重要的意义。

针对方面级情感词识别任务，传统的方法主要基于规则。例如，采用领域情感词词典，结合评论中其他词与方面词的距离来预测情感词。但是，这些方法的步骤繁琐，需要耗费大量的人工成本，且不具备泛化性。

近年来，随着深度学习的发展，很多学者利用神经网络来解决此问题。在发展初期，比较流行的方法为直接使用LSTM(Long Short-Term Memory)或BiLSTM(Bi-directional Long Short-Term Memory)来解决此问题，直接按顺序输入句子预测情感词，但没有针对相应的方面词来设计模型。为了提高方面级情感词识别的效果，有研究人员基于LSTM神经网络构建了IOG(Inward-Outward LSTM and Global context)模型，这种模型通过利用LSTM在时序建模的优势，通过巧妙的设计，以方面词为开始，向两端将方面词信息传递到上下文中进行编码。另一方面，方面级情感词识别可以看作是一个句法任务，一个自然的解决方案是通过评论中的句法来分析评论中的词与给定方面词的关系，来得到情感词。因此，有学者提出将句法依存结构引入神经网络中，其通过句法依存结构中词与词之间是否有关系这一信息构建邻接矩阵，并利用GCN(Graph Convolutional Network)网络建模。

尽管现有方法可以很好地进行方面级情感词的识别，但是仍然存在许多不足。例如：基于LSTM的方法是按顺序传播信息，没有考虑到句子的句法结构。基于GCN的方法中，虽然引入了句法依存结构，但没有考虑到不同依存关系类型对情感词识别的影响，而句法依存关系的类型对方面级情感词识别任务是至关重要的。例如：若某个词与方面词是形容关系，那么这个词更有可能是情感词；而若是介词关系，那么这个词是情感词的概率很小。

目前，利用基于多头注意力机制的模型在自然语言处理任务中取得了不错的成果。例如，基于多头注意力机制的Transformer模型及其变种在多向翻译任务上取得了目前最好效果；基于多头注意力机制的BERT(Bidirectional Encoder Representation fromTransformers)等预训练模型被各大自然语言处理任务作为编码层广泛应用。

发明内容

本发明的目的是针对现有技术在方面级情感词识别中未能充分利用评论中的句法结构信息的问题，创造性地提出一种基于依存关系注意力模型的方面级情感词识别方法。

本发明的创新点在于：本方法依据句法依存关系来建立多头注意力模型，并将其用于方面级情感词识别。首先，利用句法分析工具生成句法依存结构。然后，考虑到工具所生成句法依存结构存在一定误差，对句法依存结构进行修正。最后，构建基于句法依存关系的多头注意力模型，并用于方面级情感词识别。本发明对比现有技术，在相同环境、相同数据集下，对于情感词识别查准率、召回率、F1值均有显著提升。

本发明采用以下技术方案实现。

一种基于依存关系注意力模型的方面级情感词识别方法，包括以下步骤：

步骤1：收集相关领域评论数据(如餐饮评论、酒店评论等)形成数据集，并标注出其中的方面词与相应的情感词。将数据集划分为训练集和测试集，用于后续模型训练、保存和预测。

步骤2：基于步骤1收集的评论数据，生成句法依存结构并对其进行修正。

步骤3：构建基于修正后的句法依存结构的多头注意力模型，用于方面级情感词识别。

步骤4：将步骤2修正后的数据输入到步骤3构建的模型中进行模型训练，保存最优模型用于预测。

步骤5：给定方面词，使用训练好的最优模型自动识别相应情感词。

有益效果

本发明所述方法，与现有技术(如基于LSTM的IOG模型、基于GCN的ONG模型等)相比，在相同环境、相同数据集下，对于识别情感词的查准率、召回率、F1值均有显著提升。

附图说明

图1是本发明的整体流程图。

图2是本发明所提出模型的总体示意图。

图3是本发明中采用的依存结构示意图。

图4是本发明所提出模型的依存关系注意力模块示意图。

具体实施方式

下面结合附图和实施例，对本发明方法做进一步说明和详细描述。

如图1所示，一种基于依存关系注意力模型的方面级情感词识别方法，包括以下步骤：

步骤1：收集相关领域评论数据(如餐饮评论、酒店评论等)形成数据集，并标注出其中的方面词与相应的情感词。将数据集划分为训练集和测试集，用于后续模型的训练、保存和预测。

具体地，包括以下步骤：

步骤1.1：收集相关领域的评论数据。例如，餐饮评论数据、酒店评论数据等。

步骤1.2：标注其中的方面词以及相应的情感词。

具体地，标签采用IOB1方案。其中，I用于方面词、情感词中的字符，标签O用于方面词、情感词之外的字符，标签B用于方面词和情感词开始的字符。

例如：“这家餐厅的味道一般，但是服务很周到”，对于方面词“味道”：“这/O家/O餐/O厅/O的/O味/B道/I一/O般/O,/O但/O是/O服/O务/O很/O周/O到/O”，其相应的情感词为“一般”：“这/O家/O餐/O厅/O的/O味/O道/O一/B般/I,/O但/O是/O服/O务/O很/O周/O到/O”。前者作为模型的输入，后者作为模型的输出。

步骤1.3：构建数据集后，将数据集按比例划分为训练集和测试集(若数据量充足，也可划分为训练集、验证集和测试集)，前者用于模型的训练，后者用于评估模型。选择最优的模型进行使用。

步骤2：基于数据集生成句法依存结构，并对其进行修正。

句法依存结构可以使用工具sPacy生成，之后转换成矩阵形式，得到邻接矩阵和关系类型矩阵，如图3和图4所示。若两个词之间有边，则邻接矩阵相应位置为1，关系类型矩阵相应位置为边所代表的关系。

根据斯坦福依存关系标注规范，关系类型共46种，包括主谓关系、形容词修饰关系等。例如：“这家餐厅的味道一般”生成的依存结构如图2所示，其中“味道”与“一般”分别为两个词，且他们为形容词修饰关系，则说明在邻接矩阵中，(6，7)、(7，6)、(8，9)、(9，8)、(7，9)、(9，7)这6个位置的值应为1。相应地，在依存关系矩阵中，对应位置代表其具体的关系类型，前4个位置为词关系，而后两个位置为形容词修饰关系；若两个词之间没有边，则邻接矩阵相应位置为0，关系类型矩阵相应位置也为0。

由于工具生成的依存结构会存在一定误差，影响方面词向情感词传递信息。因此，需要先对其进行修正。其修正策略是：若两个词之间在句法依存结构中没有边连接且二者的距离小于等于设定值，则增加一条边，并标记其类型。同时，在邻接矩阵中的相应位置修改其值。

步骤3：构建基于句法依存关系的多头注意力模型。如图2和图4所示。

具体地，包括以下步骤：

步骤3.1：输入一条包含n个字的评论s，s＝[w₁,w₂,…,w_n]，w_n表示组成一句话的第n个字。

将输入的句子中每个字编码成向量e_i，

为第i个字的字向量，

为第i个字的指示向量。指示向量有两种不同的表示，代表当前字是否属于方面词。编码后得到句子的向量表示E，E＝[e₁，e₂，…，e_n]，并作为下面模块的第一层输入H⁰。其中，e_n表示字的综合向量，由字向量和指示向量拼接而成。

步骤3.2：利用基于句法依存结构的多头注意力层，融合上下文信息。

首先，将上一层的输出经过线性映射，如式1所示：

其中，l为层数，t为头的下标，

为第t个头的参数，H^l-1为第l-1层的输出，

为第l-1层第t个头的编码。

之后，拼接依存关系向量，并计算注意力系数，如式2、3、4所示：

其中，

表示第l-1层第i个节点第t个头的编码，

表示第l-1层第j个节点第t个头的编码；m_i,j、m_j,i分别为依存关系类型矩阵中t_i,j与t_j,i所映射成的关系向量，a_i,j为邻接矩阵相应位置的值；

为第l层第i个节点第t个头的综合表示，由

和m_i,j拼接所得；

为第l层第j个节点第t个头的综合表示，由

和m_j,i拼接所得；

表示第l层i、j节点间第t的头的注意力系数。其中，依存关系向量由依存关系映射而成，采用随机初始化的方式，与模型一起训练并更新参数。

然后，根据注意力系数，融合上下文信息，得到新的表示

如式5所示：

其中，ReLU为激活函数，表达式为

为第t个头的参数。

之后，拼接多个头的结果，如式6所示：

其中，

表示第l层第t个头的输出，Concat表示拼接。

最终得到本层的表示O^l，

为第l层第n个节点的表示。

步骤3.3:利用全连接层与残差连接，提升模型表达能力，如式7、8所示：

H^l＝LN(H^l-1+FFN^l) (8)

其中，FFN^l为第l层中全连接层的输出，Oⁱ为第i层的输出，

均为全连接层的参数。H^l为第l层的输出，H^l-1为第l-1层的输出，LN为层归一化。

为了更好地学习标签之间的关系，引入CRF层进行训练与预测。在训练阶段，给定输入序列s＝[w₁,w₂,…,w_n]，w_n表示各个字，以及相应的真实标签序列y，y＝[y₁,y₂,…,y_n]，y_n表示各个字对应的标签。计算y的概率P(y|s)为：

其中，N代表序列长度，Y(s)代表所有可能的标签序列，f(y_n-1,y_n,s)计算y_n-1到y_n之间的转移分数，f(y’_n-1,y’_n,s)计算到y’_n-1到y’_n之间的转移分数。损失函数为负对数似然，即：L(s)＝-log(P(y|s))。解码时，采用维特比算法寻找出最大概率的标签序列。

步骤4：将步骤2处理得到的数据集输入到步骤3构建的模型中进行训练。计算各个衡量指标(如P、R、F1等)，根据模型效果保存最优模型用于预测。

步骤5：将模型用于预测真实场景中的数据。给定评论数据，并指定其中的方面词，使用训练好的模型自动识别相应情感词。这些情感词代表了产品的优缺点，可以帮助商家分析改进产品，也可以供用户参考。

实施例

本实施例详细阐述了本方法在4个开源数据集下具体实施时的方法和效果。

实验环境如表1所示：

表1：实验环境配置信息表

开源数据集信息如表2所示：

表2：开源数据集基本信息表

步骤a：处理训练数据，利用sPacy工具生成句法依存结构，若相邻的两个字之间在句法依存结构中没有边，那么增加一条边，并将这类边标记为一种依存类型。

步骤b：利用修正后的句法依存结构构建基于依存句法的多头注意力机制模型。

步骤c：初始化模型，将训练数据输入到模型进行训练。

具体为：将训练数据利用768维BERT预训练模型，将字转换为向量形式，并拼接100维指示向量，与868*1024维的矩阵点积后得到1024维向量作为模型的输入。之后设置其他超参数：模型总层数设置为2，多层注意力层中头的个数设置为8，每个头的维度设置为128，此外，为了防止过拟合，在层与层之间加入dropout，并设置概率为0.5。之后利用模型的输出与真实label计算损失，并采用Adam优化器进行优化。初试学习率设为0.0001，训练100个epoch，每个epoch在测试集上进行验证，并得到最优精准率，召回率，F1值。重复进行5次实验，并计算平均值作为最终结果。结果如表3所示：

表3各方法的结果表

表3中的精准率P＝预测为情感词且正确的数量/预测为情感词的总数量；

表3中的召回率R＝预测为情感词且正确的数量/情感词的总数量；

表3中的

结果表明：

1.本发明方法的平均精准率为82.85％。与基于规则的传统方法相比，本发明的精准率提高了20.05％；与现有方法IOG与ONG相比，本发明的精准率分别提高3.58％和2.49％；

2.本发明方法的平均召回率为82.11％。与基于规则的传统方法相比，本发明的召回率提高了34.77％；与现有方法IOG与ONG相比，本发明的精准率分别提高7.66％和0.92％；

3.本发明方的平均F1为82.49％。与基于规则的传统方法相比，本发明的F1提高了28.54％；与现有方法IOG与ONG相比，本发明的F1分别提高5.77％和1.76％。

Claims (3)

1.一种基于依存关系注意力模型的方面级情感词识别方法，包括以下步骤：

步骤1：收集相关领域评论数据形成数据集，并标注出其中的方面词与相应的情感词；

将数据集划分为训练集和测试集，用于后续模型训练、保存和预测；

步骤2：基于步骤1收集的评论数据，生成句法依存结构并对其进行修正；

步骤3：构建基于修正后的句法依存结构的多头注意力模型，用于方面级情感词抽取，包括以下步骤：

步骤3.1：输入一条包括n个词的评论s，s＝[w₁,w₂,…,w_n]，w_n表示组成一句话的第n个词；

将输入的句子中每个词编码成向量e_i，

为第i个词的词向量，

为第i个词的指示向量，指示向量有两种不同的表示，代表当前词是否为方面词；编码后得到句子的向量表示E，E＝[e₁，e₂，…，e_n]，并作为第一层输入H⁰；其中，e_n表示词的综合向量，由词向量和指示向量拼接而成；

步骤3.2：利用基于句法依存结构的多头注意力层，融合上下文信息；

首先，将上一层的输出经过线性映射，如式1所示：

其中，l为层数，t为头的下标，

为第t个头的参数，H^l-1表示第l-1层的输出，

表示第l-1层第t个头的编码；

之后，拼接关系节点关系向量，并计算注意力系数，如式2、3、4所示：

其中，

表示第l-1层第i个节点第t个头的编码，

表示第l-1层第j个节点第t个头的编码；m_i,j、m_j,i分别为依存关系类型矩阵中t_i,j与t_j,i所映射成的关系向量，a_i,j为邻接矩阵相应位置的值；

为第l层第i个节点第t个头的综合表示，由

和m_i,j拼接所得；

为第l层第j个节点第t个头的综合表示，由

和m_j,i拼接所得；

表示第l层i、j节点间第t的头的注意力系数；

然后，根据注意力系数，融合上下文信息，得到新的表示

如式5所示：

其中，ReLU为激活函数，表达式为

为第t个头的参数；

之后，拼接多个头的结果，如式6所示：

其中，

表示第l层第t个头的输出，Concat表示拼接，

最终得到本层的表示O^l，

为第l层第n个节点的表示；

步骤3.3:利用全连接层与残差连接，提升模型表达能力，如式7、8所示：

H^l＝LN(H^l-1+FFN^l) (8)

其中，FFN^l表示第l层中全连接层的输出，Oⁱ表示第i层的输出，

均为全连接层的参数；H^l表示第l层的输出，H^l-1表示第l-1层的输出，LN为层归一化；

引入CRF层进行训练与预测；在训练阶段，给定输入序列s＝[w₁,w₂,…,w_n]，w_n表示各个词，以及相应的真实标签序列y，y＝[y₁,y₂,…,y_n]，y_n表示各个词对应的标签；计算y的概率P(y|s)为：

其中，N代表序列长度；Y(s)代表所有可能的标签序列，f(y_n-1,y_n,s)计算y_n-1到y_n之间的转移分数，f(y’_n-1,y’_n,s)计算到y’_n-1到y’_n之间的转移分数，损失函数为负对数似然，即：L(s)＝-log(P(y|s))；解码时，采用维特比算法寻找出最大概率的标签序列；

步骤4：将步骤2修正后的数据输入到步骤3构建的模型中进行模型训练，保存最优模型用于预测；

步骤5：给定方面词，使用训练好的最优模型自动识别相应情感词。

2.如权利要求1所述的一种基于依存关系注意力模型的方面级情感词识别方法，步骤1标注方面词以及相应的情感词时，采用IOB1方案，其中，I用于方面词、情感词中的字符，标签O用于方面词、情感词之外的字符，标签B用于方面词和情感词开始的字符。

3.如权利要求1所述的一种基于依存关系注意力模型的方面级情感词识别方法，步骤2中，句法依存结构使用工具sPacy生成，首先对句法依存结构进行修正，之后转换成矩阵形式，得到邻接矩阵和关系类型矩阵；

若两个词之间有边，则邻接矩阵相应位置为1，关系类型矩阵相应位置为边所代表的关系；

若两个词之间没有边，则邻接矩阵相应位置为0，关系类型矩阵相应位置也为0；

若两个词之间在句法依存结构中没有边连接且二者的距离小于等于设定值，则增加一条边，并标记其类型；同时，在邻接矩阵中的相应位置修改其值。

Images