CN114282530A - 一种基于语法结构与连接信息触发的复杂句情感分析方法 - Google Patents

Abstract

一种基于语法结构与连接信息触发的复杂句情感分析方法，涉及自然语言处理。包括以下步骤：1)构建连词信息触发的情感层次模型；2)使用迁移学习方法对子句子编码器进行预训练；3)情感划分模块将复杂句子划分为多个简单的情感模块；4)子句编码器对每个情感模块单独进行编码，分别生成情感表达；5)句子编码器融合多个情感模块，并根据基于连接信息触发的注意机制指导多个情感模块的融合。可以准确提取复杂句子中的主要情感表达，并且解决复杂句中因多种情感共现和复杂的句子结构导致的情感模型预测效果不佳的问题。当一个句子中出现多种情感共现时，可以准确找到复杂句中重要的情感部分。

Description

一种基于语法结构与连接信息触发的复杂句情感分析方法

技术领域

本发明涉及自然语言处理，尤其是涉及一种基于语法结构与连接信息触发的复杂句情感分析方法。

背景技术

复杂句占据了社交网络平台和现有情感数据集的很大一部分。不同于简单句，复杂句往往由两个或两个以上的非从属主谓结构组成，表达多个相互关联且较为完整的意义，有时中间有小停顿(通常用分号、逗号等标点符号表示)，或有特定的连接词，在句子前后形成较大的停顿。这些句子往往有多种情感的共现，次要的情感表达/单词有时会变成噪音(如表1所示)，导致模型做出错误判断，因此需要有针对性的研究。

表1

尽管之前的工作在一些基准数据集上取得了很好的结果，但少有研究分析如何高效的使用深度学习来进行复杂句的情感分析。在深度学习中，现有的工作倾向于将简单句和复杂句作为一个整体进行研究，这可能导致复杂句中情感信息的丢失。总的来说，与简单句子相比，复杂的语义关系和多种情感的共现使复杂句子的情感分析变得困难。

发明内容

本发明的目的在于针对现有技术在复杂语义关系和多种情感共现的复杂句子情感分析上存在的预测效果不佳等问题，提供一种基于语法结构与连接信息触发的复杂句情感分析方法。本方法采用连词信息触发的情感层次模型(Connection Information-Triggered Sentiment Hierarchical Model，CITSHM),该模型使用连接信息(标点符号或连接词)来模拟复杂句的情感极性。

本发明包括以下步骤：

1)构建连词信息触发的情感层次模型；

2)使用迁移学习方法对子句子编码器进行预训练；

3)情感划分模块将复杂句子划分为多个简单的情感模块；

4)子句编码器对每个情感模块单独进行编码，分别生成情感表达；

5)句子编码器融合多个情感模块，并根据基于连接信息触发的注意机制指导多个情感模块的融合。

在步骤1)中，所述连词信息触发的情感层次模型由4个主要模块构成，分别为情感划分模块、子句编码器、句子编码器、连接信息触发的注意力机制(CTAM)；情感划分模块用于负责对复杂长句进行情感模块划分；所述子句编码器用于对每个情感模块进行编码；所述句子编码器用于获取每个情感模块的上下文信息，并进行文本序列上的融合；所述连接信息触发的注意力机制用于利用连接信息进行多个情感模块的融合，并突出主要极性；所述连接信息包括标点符号或连接词。

在步骤2)中，所述迁移学习方法，是将简单句的知识应用于复杂句；对于中文，使用现有的微博情感数据集来对子句编码器(预训练语言模型)进行再次训练，微博情感数据集由简单句组成；复杂句中的每个情感模块都可以被类比为一个只有单一情感表达的简单句，经过预训练后，预训练语言模型可以更好地捕捉到单个情感模块的情感信息。

在步骤3)中，所述情感划分模块将复杂句子划分为多个简单的情感模块，是利用复杂句的连接词与标点符号，将复杂句子划分为多个情感模块，每个情感模块通常包含直接和单一的情感表达；

所述情感划分模块将复杂句子划分为多个简单的情感模块的具体步骤包括：

(1)输入复杂长句S＝{w₁,…,w_i,…,w_n},其中w_i代表第i个字符；

(2)收集中文和英文语料库中常用的连词和标点符号，并将它们作为连接信息编入字典；当一个复杂句包含字典中的连接信息T时，复杂句S由该信息连接的两个部分将被划分为两个单独的情感模块；最终S通常被划分为多个情感模块S‘＝{M₁,M₂,…,M_k}，其中M_i＝{w_p,…,w_q},以及连接信息T＝{t₁,t₂,…,t_k-1}。

在步骤4)中，所述子句编码器对每个情感模块单独进行编码，分别生成情感表达的具体步骤可为：

使用子句编码器的预训练语言模型(BERT)来提取每个情感模块的表征

为了选择句子中比较重要的情感模块，使用句子编码器的时间序列模型(BI-LSTM)来捕捉情感模块间的交互信息；

H_m＝TimeModel(F_m；θ_tim) (2)

其中，θ代表模型参数，

代表第i个情感模块的表征。

最后，使用池化的方法来融合所有的情感模块，生成整个复杂句的表示F_s；

在步骤5)中，所述句子编码器融合多个情感模块，并根据基于连接信息触发的注意机制指导多个情感模块的融合的具体步骤可为：

使用额外的预训练语言模型对复杂句中的每一个连接信息进行编码，得到第i个连接信息的表征

并使用全局最大池化获取连接信息的表示F_o；

基于连接信息触发的注意力机制结合句子本身的语义信息来融合复杂句中所有的情感信息，并突出句子中主要的情感极性，最终得到句子基于连词信息的表征F_s′；

其中，a_i代表连接信息和第i个情感模块求得的注意力分数；α_i是经过SoftMax操作后的结果。

在得到了句子本身的表征F_s以及基于连词的表征F_s′之后，将这两种表征进行有机的结合，获得了复杂句最终的表征F_z；

将得到的句子表征和基于连接信息的表征连接起来，并将他们投射到一个低维空间

其中，

是线性层权重，ReLU是激活函数；

最后，融合表征F_z被用来预测输入句子的情感极性；其中，

是线性层的权重；

是模型的输出，即为预测的情感极性。

与现有技术相比，本发明具有以下优点：

本发明采用连词信息触发的情感层次模型(Connection Information-TriggeredSentiment Hierarchical Model，CITSHM),该模型使用连接信息(标点符号或连接词)来模拟复杂句的情感极性。本发明可以准确提取复杂句子中的主要情感表达，并且解决复杂句中因多种情感共现和复杂的句子结构导致的情感模型预测效果不佳的问题。当一个句子中出现多种情感共现时，现有的序列模型很容易被次要的情感影响，导致情感预测错误，本发明可以准确找到复杂句中重要的情感部分。CITSHM将简单句的知识迁移到了复杂句上，实现高效的知识迁移与复用，并且提出一种新型的注意力机制，可以自动选取复杂句中情感表达最为强烈的片段。同时CITSHM弥补深度学习在复杂句情感分析上的空缺，实验表明，CITSHM在复杂句数据集上的效果明显的超越了现有情感分析方法(准确度提高3％左右，F1值提高4％左右)并有一定的通用性和跨语言能力。

附图说明

图1为连词信息触发的情感层次模型的整体框架示意图。

图2为本发明实施例的案例分析热力图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明实施例包括以下步骤：

1)构建连词信息触发的情感层次模型；如图1所示，所述连词信息触发的情感层次模型由4个主要模块构成，分别为情感划分模块、子句编码器、句子编码器、连接信息触发的注意力机制(CTAM)；情感划分模块用于负责对复杂长句进行情感模块划分；所述子句编码器用于对每个情感模块进行编码；所述句子编码器包括时间序列模型(Bi-LSTM)和池化层，句子编码器用于获取每个情感模块的上下文信息，并进行文本序列上的融合；所述连接信息触发的注意力机制用于利用连接信息进行多个情感模块的融合，并突出主要极性。

2)使用迁移学习方法对子句编码器进行预训练；将简单句的知识应用于复杂句；对于中文，使用现有的微博情感数据集来对子句编码器(预训练语言模型)进行再次训练，此数据集由简单句组成；复杂句中的每个情感模块都可以被类比为一个只有单一情感表达的简单句，经过预训练后，预训练后的子句编码器可以更好地捕捉到单个情感模块的情感信息。

3)情感划分模块将复杂句子划分为多个简单的情感模块；利用复杂句的连接词，将复杂句子划分为多个情感模块，每个情感模块通常包含直接和单一的情感表达；

所述情感划分模块将复杂句子划分为多个简单的情感模块的具体步骤包括：

(1)输入复杂长句S＝{w₁,…,w_i,…,w_n},其中w_i代表第i个字符；

(2)收集中文和英文语料库中常用的连词和标点符号，并将它们作为连接信息编入字典；当一个复杂句包含字典中的连接信息T时，复杂句S由该信息连接的两个部分将被划分为两个单独的情感模块；最终S通常被划分为多个情感模块S‘＝{M₁,M₂,…,M_k}，其中M_i＝{w_p,…,w_q},以及连接信息T＝{t₁,t₂,…,t_k-1}。

4)子句编码器对每个情感模块单独进行编码，分别生成情感表达；

使用预训练语言模型(BERT)(子句编码器)来提取每个情感模块的表征

为了选择句子中比较重要的情感模块，使用时间序列模型(Bi-LSTM)来捕捉情感模块间的交互信息。

H_m＝TimeModel(F_m；θ_tim) (2)

其中，θ代表模型参数；最后，使用池化的方法来融合所有的情感模块，生成整个复杂句的表示F_s。

5)句子编码器融合多个情感模块，并根据基于连接信息触发的注意机制指导多个情感模块的融合，具体步骤为：

使用额外的预训练语言模型对复杂句中的每一个连接信息进行编码，并使用全局最大池化获取连接信息的表示F_o

基于连接信息触发的注意力机制结合句子本身的语义信息来融合复杂句中所有的情感信息，并突出句子中主要的情感极性，最终得到句子基于连词信息的表征F_s′；

在得到了句子本身的表征F_s以及基于连词的表征F_s′之后，将这两种表征进行有机的结合，获得了复杂句最终的表征F_z；

将得到的句子表征和基于连接信息的表征连接起来，并将他们投射到一个低维空间

其中，

ReLU是激活函数；

最后，融合表征F_z被用来预测输入句子的情感极性；其中，

是线性层的权重。

是模型的输出，即为预测的情感极性。

表2给出关于复杂句的实例研究。

表2

如表2所示，三个样例原本是一个复杂句，本发明根据情感变化将该句子拆分成三个样例，并且每一个样例都是基于上一个样例进行添加。当一个句子中出现多种情感共现时，现有的序列模型很容易被次要的情感影响，导致情感预测错误，但是CITSHM可以找到复杂句中重要的情感部分。CITSHM可以准确提取复杂句子中的主要情感表达，并且解决复杂句中因多种情感共现和复杂的句子结构导致的情感模型预测效果不佳的问题。

图1给出CITSHM模型整体框架。从下至上，分别为情感划分模块、子句编码器、句子编码器以及输出层。其中基于连接信息的注意力机制归属于句子编码器模块。如图1所示，情感划分模块将复杂句划分为多个情感模块片段，并将连接信息单独取出。随后子句编码器对每个片段进行单独建模。获取每个模块的情感表示后，句子编码器利用时间序列模型编码不同模块间的顺序关系。最后，句子表征通过基于连接信息的注意力机制和池化层进行整合。

在多个微博复杂句上使用本发明进行情感分析，如图2所示，本发明可以很好的提取复杂句中重要的情感子句(图中深色部分代表权重较高)。以第二个样本为例，此复杂句的前三个短句部分都表达了正向的情感极性，但是只有最后一部分“只是……真是让人抓狂。”才是整个复杂句真实的情感表达，从热力图可以看出，CITSHM中基于连接信息的注意力机制给了该片段最大的权重。

以上为本发明的较佳实施例，本发明准确提取复杂句子中的主要情感表达，并且解决复杂句中因多种情感共现和复杂的句子结构导致的情感模型预测效果不佳的问题。同时CITSHM弥补深度学习在复杂句情感分析上的空缺，实验表明，CITSHM在复杂句数据集上的效果明显的超越了现有情感分析方法，并有一定的通用性和跨语言能力。

Claims (8)

1.一种基于语法结构与连接信息触发的复杂句情感分析方法，其特征在于包括以下步骤：

1)构建连词信息触发的情感层次模型；

2)使用迁移学习方法对子句子编码器进行预训练；

3)情感划分模块将复杂句子划分为多个简单的情感模块；

4)子句编码器对每个情感模块单独进行编码，分别生成情感表达；

5)句子编码器融合多个情感模块，并根据基于连接信息触发的注意机制指导多个情感模块的融合。

2.如权利要求1所述一种基于语法结构与连接信息触发的复杂句情感分析方法，其特征在于在步骤1)中，所述连词信息触发的情感层次模型由4个主要模块构成，分别为情感划分模块、子句编码器、句子编码器、连接信息触发的注意力机制；情感划分模块用于负责对复杂长句进行情感模块划分；所述子句编码器用于对每个情感模块进行编码；所述句子编码器用于获取每个情感模块的上下文信息，并进行文本序列上的融合；所述连接信息触发的注意力机制用于利用连接信息进行多个情感模块的融合，并突出主要极性。

3.如权利要求2所述一种基于语法结构与连接信息触发的复杂句情感分析方法，其特征在于所述连接信息包括标点符号或连接词。

4.如权利要求1所述一种基于语法结构与连接信息触发的复杂句情感分析方法，其特征在于在步骤2)中，所述迁移学习方法，是将简单句的知识应用于复杂句；对于中文，使用现有的微博情感数据集来对子句编码器进行再次训练，微博情感数据集由简单句组成；复杂句中的每个情感模块都可以被类比为一个只有单一情感表达的简单句，经过预训练后，子句编码器能更好地捕捉到单个情感模块的情感信息。

5.如权利要求1所述一种基于语法结构与连接信息触发的复杂句情感分析方法，其特征在于在步骤3)中，所述情感划分模块将复杂句子划分为多个简单的情感模块，是利用复杂句的连接词与标点符号，将复杂句子划分为多个情感模块，每个情感模块通常包含直接和单一的情感表达。

6.如权利要求1所述一种基于语法结构与连接信息触发的复杂句情感分析方法，其特征在于在步骤3)中，所述情感划分模块将复杂句子划分为多个简单的情感模块的具体步骤包括：

(1)输入复杂长句S＝{w₁，…，w_i，…，w_n}，其中w_i代表第i个字符；

(2)收集中文和英文语料库中常用的连词和标点符号，并将它们作为连接信息编入字典；当一个复杂句包含字典中的连接信息T时，复杂句S由该信息连接的两个部分将被划分为两个单独的情感模块；最终S通常被划分为多个情感模块S‘＝{M₁，M₂，...，M_k}，其中M_i＝{w_p，...，w_q}，以及连接信息T＝{t₁，t₂，...，t_k-1}。

7.如权利要求1所述一种基于语法结构与连接信息触发的复杂句情感分析方法，其特征在于在步骤4)中，所述子句编码器对每个情感模块单独进行编码，分别生成情感表达的具体步骤为：

使用子句编码器的预训练语言模型(BERT)来提取每个情感模块的表征

为了选择句子中比较重要的情感模块，使用句子编码器的时间序列模型(BI-LSTM)来捕捉情感模块间的交互信息；

H_m＝TimeModel(F_m；θ_tim) (2)

其中，θ代表模型参数；

最后，使用池化的方法来融合所有的情感模块，生成整个复杂句的表示F_s；

8.如权利要求1所述一种基于语法结构与连接信息触发的复杂句情感分析方法，其特征在于在步骤5)中，所述句子编码器融合多个情感模块，并根据基于连接信息触发的注意机制指导多个情感模块的融合的具体步骤为：

使用额外的预训练语言模型对复杂句中的每一个连接信息进行编码，并使用全局最大池化获取连接信息的表示F_o；

基于连接信息触发的注意力机制结合句子本身的语义信息来融合复杂句中所有的情感信息，并突出句子中主要的情感极性，最终得到句子基于连词信息的表征F_s′；

在得到句子本身的表征F_s以及基于连词的表征F_s之后，将这两种表征进行有机的结合，获得了复杂句最终的表征F_z；

将得到的句子表征和基于连接信息的表征连接起来，并将他们投射到一个低维空间

其中，

ReLU是激活函数；

最后，融合表征F_z被用来预测输入句子的情感极性；其中，

是线性层的权重；

是模型的输出，即为预测的情感极性。

Images