CN113869059A - 基于注意力机制的自然语言文本三元组提取方法及系统 - Google Patents

Abstract

本发明公开了一种基于注意力机制的自然语言文本三元组提取方法及系统，首先对输入进行双路编码；然后对双路编码的结果进行双向注意力机制处理；最后对双向注意力机制得到的相关性矩阵进行处理，得到三元组结果。本发明对输入分为aspect路和opinion路进行编码，其中，对aspect路用双层BiLSTM进行处理；对opinion路首先进行依存分析，在依存分析的基础上构建图卷积网络，之后用单层BiLSTM进行处理；并且在双路编码时，引入辅助任务以更好地提取关键信息。本发明引入辅助任务进行双路编码，能够更好地提取关键信息；通过双向注意力机制使得aspect提取任务和opinion提取任务能够显式地相互促进、提高；通过将相关性矩阵纳入优化目标，使得三元组的抽取更加一体化。

Description

基于注意力机制的自然语言文本三元组提取方法及系统

技术领域

本发明自然语言处理技术领域，具体为一种自然语言文本中抽取出<aspect，opinion，sentiment>三元组方法及系统，具体涉及一种基于注意力机制的自然语言文本三元组提取方法及系统。

背景技术

深度学习是用计算机模仿人类神经网络对信息的处理方式的一种方法，在21世纪10年代之后在图像处理、自然语言处理等领域取得了重大突破。深度学习中注意力机制，借鉴了人类视觉所特有的一种大脑信息处理机制。一般来说，人类在观察外界环境时会迅速的扫描全景，然后根据大脑信号的处理快速的锁定重点关注的目标区域，最终形成注意力焦点。该机制可以帮助人类在有限的资源下，从大量无关背景区域中筛选出具有重要价值信息的目标区域，帮助人类更加高效的处理视觉信息。在自然语言处理领域，注意力机制被用于定位关键的词汇，达到高效准确处理文本信息的目的。情感分析是用计算机处理人类自然语言以从中获取相关情感倾向的技术。细粒度情感分析，目标是在获取到情感倾向的基础上，还要获得情感对应的更多的信息。三元组情感分析是细粒度情感分析中的一种，其目标在于从自然语言文本中抽取出<aspect，opinion，sentiment>三元组。其中aspect是情感表达的对象，是具体的客体，通常是名词、指代词等；opinion是体现情感的关键词，通常是形容词、语气词等；sentiment是具体的情感极性，通常有正面(positive)、负面(negative)、中性(natural)三种。

现有的技术方案为：

1.基于词典的细粒度情感分析方法，首先标记情感词，判断情感倾向，然后处理情感反转词和转折词，最后用一定的规则汇总情感得分。

2.基于监督学习的细粒度情感分析方法，利用句法生成树生成关联评价对象的特征集，然后利用机器学习方法进行训练。

3.基于深度学习的细粒度情感分析方法：首先获取每个词汇的词嵌入，然后利用循环网络或卷积网络等结构，分多个阶段地抽取相关信息。

传统的细粒度情感分析方法通常面临两个问题：

1.抽取的信息不够全面，通常只涉及到<aspect,opinion,sentiment>中的一个或者是两个；

2.抽取的信息比较全面的方法，通常分多个阶段来进行抽取不同的信息，因此多个任务之间的相互辅助提升的效果是间接的，并且存在误差传递的问题；

因此，我们提出一种基于注意力机制的三元组情感分析方法，以便于解决上述中提出的问题。

发明内容

本发明提供了一种基于注意力机制的自然语言文本三元组提取方法及系统，以解决上述背景技术中提出的，信息抽取不够全面、多元信息之间相互促进效果不直接、多阶段任务误差传递等问题。

本发明的方法所采用的技术方案是：一种基于注意力机制的自然语言文本三元组提取方法，包括以下步骤：

步骤1：对输入进行双路编码；

设输入为W＝{w₁,w₂,…,w_n}，其中w_i为第i个词汇的词嵌入；对输入进行双路编码，包括aspect路和opinion路；

对于aspect路，对输入W用两层双向长短时记忆网络(BiLSTM)进行处理，得到aspect路初步的编码fa'＝{fa'₁,fa'₂,…,fa'_n}，其中fa'_i为第i个词汇对应的经过两层BiLSTM处理之后的结果；

对于opinion路，首先将输入W用图卷积网络(GCN)进行处理，其中图卷积网络的邻接矩阵是由输入句的依存分析树确定的，通过这一步获得opinion信息抽取过程需要的文本结构信息；接下来对图卷积得到的结果依次用BiLSTM、CRF进行处理，得到opinion编码路的编码结果f^p；

步骤2：对双路编码的结果进行双向注意力机制处理；

对双路编码的结果进行双向注意力处理，将aspect路提取的信息与opinion路提取的信息进行双向注意力机制处理，处理之后aspect路与opinion路双路信息记为h^a、h^p；

步骤3：综合步骤1、2中的结果计算得到损失函数，并利用随机梯度下降法以降低损失函数数值为目的进行迭代训练，优化方法中参与训练的各项参数；

步骤4：按照训练结束后得到的参数，对双向注意力机制得到的相关性矩阵进行处理，得到三元组结果<aspect，opinion，sentiment>。

本发明的系统所采用的技术方案是：一种基于注意力机制的自然语言文本三元组提取系统，包括以下系统，包括以下模块：

模块1，用于对输入进行双路编码；

设输入为W＝{w₁,w₂,…,w_n}，其中w_i为第i个词汇的词嵌入；对输入进行双路编码，包括aspect路和opinion路；

对于aspect路，对输入W用两层双向长短时记忆网络(BiLSTM)进行处理，得到aspect路初步的编码fa'＝{fa'₁,fa'₂,…,fa'_n}，其中fa'_i为第i个词汇对应的经过两层BiLSTM处理之后的结果；

对于opinion路，首先将输入W用图卷积网络(GCN)进行处理，其中图卷积网络的邻接矩阵是由输入句的依存分析树确定的，通过这一步获得opinion信息抽取过程需要的文本结构信息；接下来对图卷积得到的结果依次用BiLSTM、CRF进行处理，得到opinion编码路的编码结果f^p；

模块2，用于对双路编码的结果进行双向注意力机制处理；

对双路编码的结果进行双向注意力处理，将aspect路提取的信息与opinion路提取的信息进行双向注意力机制处理，处理之后aspect路与opinion路双路信息记为h^a、h^p；

模块3，用于综合模块1、2中的结果计算得到损失函数LOSS，并利用随机梯度下降法以降低损失函数LOSS的数值为目的进行迭代训练，优化方法中参与训练的各项参数；

模块4，用于按照训练结束后得到的参数，用于对双向注意力机制得到的相关性矩阵进行处理，得到三元组结果<aspect，opinion，sentiment>。

与现有技术相比，本发明的有益效果是：该基于注意力机制的三元组情感分析方法，分双路编码、引入辅助任务和双向注意力机制，从多个角度出发更高效的提取关键信息。

并且将注意力机制中的相关性矩阵纳入优化目标，赋予相关性矩阵一定的可解释性意义，并且使得三元组抽取任务由多阶段任务变为一阶段任务，解决误差传递问题，提升效果。

同时，将注意力机制中的相关性矩阵纳入优化目标的方法，不仅适用于三元组情感抽取任务中，并且可以推广到多种多元信息抽取任务中。

附图说明

图1为本发明实施例的方法流程图。

图2为本发明实施例的双路编码示意图。

图3为本发明实施例的双向注意力机制示意图。

图4为本发明实施例的三元组处理示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于注意力机制的自然语言文本三元组提取方法，包括以下步骤：

步骤1：对输入进行双路编码；

请见图2，本实施例中设输入为W＝{w₁,w₂,…,w_n}，其中w_i为第i个词汇的词嵌入；对输入进行双路编码，包括aspect路和opinion路；其中包括三个辅助任务，分别为：保证隶属于同一个aspect的情感标签的一致性的情感一致性辅助性任务、保证aspect编码路信息提取质量的aspect预标签任务、保证opinion编码路信息提取质量的opinion预标签任务。

对于aspect路，对输入W用两层双向长短时记忆网络(BiLSTM)进行处理，得到aspect路初步的编码fa'＝{fa'₁,fa'₂,…,fa'_n}，其中fa'_i为第i个词汇对应的经过两层BiLSTM处理之后的结果；

本实施例中，为保证隶属于同一个aspect的情感标签的一致性，采用情感一致性辅助任务对编码过程进行优化；为保证opinion编码路信息提取质量，采用opinion预标签任务，对编码过程进行优化；

情感一致性辅助任务利用如下公式将fa'处理为考虑情感一致性的fa”：

其中，☉表示按位相乘；g_i为控制情感一致性的门向量，W_g为情感一致性模块权重矩阵、b_g为情感一致性模块偏执向量，σ()表示非线性激活函数；将fa”通过条件随机场(CRF)处理，得到aspect路编码的结果f^a；

然后将f^a进行softmax处理，得到初步的aspect的预测，并与真实的aspect路标签的BIOS标签使用交叉熵函数计算得到损失aspect预标签损失

其中，给每个词汇进行标注，每个词汇有B、I、O、S四种可能的标签，分别为begin、inside、other、single，分别表示关键词的开始部分、关键词的内部、关键词的外部、单词汇关键词。

对于opinion路，首先将输入W用图卷积网络(GCN)进行处理，其中图卷积网络的邻接矩阵是由输入句的依存分析树确定的，通过这一步获得opinion信息抽取过程需要的文本结构信息；接下来对图卷积得到的结果依次用BiLSTM、CRF进行处理，得到opinion编码路的编码结果f^p；

本实施例中，为保证opinion编码路信息提取质量，采用opinion预标签任务对编码过程进行优化；将f^p进行softmax处理，得到初步的opinion的预测，并与真实的opinion路的BIOS标签使用交叉熵函数计算得到opinion预标签任务的损失

步骤2：对双路编码的结果进行双向注意力机制处理；

对双路编码的结果进行双向注意力处理，将aspect路提取的信息与opinion路提取的信息进行双向注意力机制处理，处理之后aspect路与opinion路双路信息记为h^a、h^p；处理之后aspect路与opinion路双路信息会互相影响对方，以达到相互辅助促进的目的。

请见图3，本实施例步骤2的具体实现包括以下子步骤：

步骤2.1：获取多头注意力张量αa→p；

其中，G^a、G^p均为(k,2d,2d)的三维张量，随机初始化并参与训练过程；f^a、f^p分别为aspect路的编码和opinion路的编码，维度均为(n,2d)，其中n为句子的长度，2d为aspect编码向量和opinion编码向量的维度；如公式，得到维度为k的向量

α_ij是集合α中的元素；

步骤2.2：将注意力张量α^a→p计算为相关性矩阵A^a→p；

其中，v为随机初始化的k维向量，参与训练过程，目的是将多个注意力头产生的信息加权聚合；

可将多个注意力头产生的信息加权聚合；

步骤2.3：得到相关性矩阵A^p→a：A^p→a＝(A^a→p)^T；

步骤2.4：得到最终编码h^a与h^p；

h^a＝h^a+softmax_r(A^a→p)h^p；

h^p＝h^p+softmax_r(A^p→a)h^a；

其中，softmax_r为对矩阵的行做softmax运算。

步骤3：综合步骤1、2中的结果计算得到损失函数，并利用随机梯度下降法以降低损失函数数值为目的进行迭代训练，优化方法中参与训练的各项参数。

本实施例中，综合步骤1、2中的结果计算得到损失函数，这里开创性地将注意力机制中的相关性矩阵纳入优化目标的考虑，赋予相关性矩阵一定的具备可解释性的意义；

本实施例中，步骤3的具体实现包括以下子步骤：

步骤3.1：将h^a通过softmax层与aspect的带情感分类的BIOS标签做交叉熵损失，得到

其中，对每个词汇都做标签，每种标签分为两部分，首部是BIOS，当首部为B/I/S时，尾部标签存在并且有三种可能性：NEG、POS、NAT，分别表示负向情感、正向情感、中性情感；

步骤3.2：将h^p通过softmax层与opinion的BIOS标签做交叉熵损失，得到

步骤3.3：构造指导矩阵G^a→p和G^p→a；

G^p→a＝(G^a→p)^T；

步骤3.4：计算得到相关损失函数LossA；

Loss_A＝||A^a→p_☉G^a→p||＝||A^p→a _☉G^p→a||；

步骤3.5：将五个损失函数相加得到最后的训练过程中的损失函数LOSS；

步骤3.6：以最小化损失函数LOSS的数值为目标对方法中参与训练的参数进行迭代优化。

步骤4：按照训练结束后得到的参数，对双向注意力机制得到的相关性矩阵进行处理，得到三元组结果<aspect，opinion，sentiment>。

请见图4，本实施例中，步骤4中得到三元组结果<aspect，opinion，sentiment>的具体过程为：

首先根据h^a通过softmax层得到的aspect预测标签，得到带情感的aspect的BIOS标签

从中解析出aspect-sentiment对序列aspect-pairs：{＜aspect₁,sentiment₁＞,＜aspect₂,sentiment₂＞,…,＜aspect_m,sentiment_m＞}其中每个aspect_i对应的单词序列为words_i：

其中n_i为第i个aspect对应的单词组的下标序列，|n_i|表示下标序列的长度；

一个必要的例子：从带情感的BIOS标签序列{O,O,B-POS,I-NAT}，那么可以解析出一个aspect-sentiment对<{word3,word4},正面情感>。值得说明的是，即使应用了情感一致性辅助任务，标签序列中后面三个标签的后半部分并不一致(理想情况下，由于这三个标签对应的词汇属于同一个aspect，它们的情感标记应该是一致的)，这种情况下，采用多数原则从情感标签中选取多数者为aspect的最终标签，如果数量最多的情感标签不止有一种，则选取B标签对应的情感标签为aspect的最终标签(例如本例)。

接下来，获得aspect_i对应的opinion词组的锚下标：

其中，n为输入句子的词的数量；

接下来在句子中从单词wordJ_i出发，向左搜索直到：

同理，向右搜索直到：

其中，l为向左逐单词搜索的下标，r为向右逐单词搜索的下标，λ为预设置的参数，为0到1之间的实数，一般设置为0.6。如此，则得到第i个aspect-sentiment对对应的opinion词组，也即下标从l到r的单词构成的词组。

在细粒度情感分析中，用双路编码提取出各有侧重的信息；引入辅助任务提升信息提取的效果；通过双向注意力机制使得aspect与opinion的抽取过程能相互促进；将注意力机制中的相关性矩阵纳入优化考虑赋予其可解释性意义，显式地构建统一模型，提升三元组抽取效果。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于注意力机制的自然语言文本三元组提取方法，其特征在于，包括以下步骤：

步骤1：对输入进行双路编码；

设输入为W＝{w₁,w₂,…,w_n}，其中w_i为第i个词汇的词嵌入；对输入进行双路编码，包括aspect路和opinion路；

对于aspect路，对输入W用两层双向长短时记忆网络进行处理，得到aspect路初步的编码fa'＝{fa′₁,fa′₂,…,fa′_n}，其中fa′_i为第i个词汇对应的经过两层BiLSTM处理之后的结果；

对于opinion路，首先将输入W用图卷积网络进行处理，其中图卷积网络的邻接矩阵是由输入句的依存分析树确定的，通过这一步获得opinion信息抽取过程需要的文本结构信息；接下来对图卷积得到的结果依次用BiLSTM、CRF进行处理，得到opinion编码路的编码结果f^p；

步骤2：对双路编码的结果进行双向注意力机制处理；

对双路编码的结果进行双向注意力处理，将aspect路提取的信息与opinion路提取的信息进行双向注意力机制处理，处理之后aspect路与opinion路双路信息记为h^a、h^p；

步骤3：综合步骤1、2中的结果计算得到损失函数，并利用随机梯度下降法以降低损失函数数值为目的进行迭代训练，优化方法中参与训练的各项参数；

步骤4：按照训练结束后得到的参数，对双向注意力机制得到的相关性矩阵进行处理，得到三元组结果<aspect,opinion,sentiment>。

2.根据权利要求1所述的基于注意力机制的自然语言文本三元组提取方法，其特征在于：步骤1中，为保证隶属于同一个aspect的情感标签的一致性，采用情感一致性辅助性任务对编码过程进行优化；为保证opinion编码路信息提取质量，采用opinion预标签任务，对编码过程进行优化；

首先利用如下公式将fa′处理为考虑情感一致性的fa″：

fa″_i＝g_i☉fa′_i+(1-g_i)☉fa′_i-1

g_i＝σ(W_gfa″_i+b_g)；

其中，☉表示按位相乘；g_i为控制情感一致性的门向量，W_g为情感一致性模块权重矩阵、b_g为情感一致性模块偏执向量，σ()表示非线性激活函数；将fa”通过条件随机场处理，得到aspect路编码的结果f^a；

然后将f^a进行softmax处理，得到初步的aspect的预测，并与真实的aspect路标签的BIOS标签使用交叉熵函数计算得到损失aspect预标签损失

其中，给每个词汇进行标注，每个词汇有B、I、O、S四种可能的标签，分别为begin、inside、other、single，分别表示关键词的开始部分、关键词的内部、关键词的外部、单词汇关键词。

3.根据权利要求2所述的基于注意力机制的自然语言文本三元组提取方法，其特征在于：步骤1中，为保证opinion编码路信息提取质量，采用opinion预标签任务对编码过程进行优化；将f^p进行softmax处理，得到初步的opinion的预测，并与真实的opinion路的BIOS标签使用交叉熵函数计算得到opinion预标签任务的损失

4.根据权利要求3所述的基于注意力机制的自然语言文本三元组提取方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：获取多头注意力张量α^a→p；

其中，G^a、G^p均为(k,2d,2d)的三维张量，随机初始化并参与训练过程；f^a、f^p分别为aspect路的编码和opinion路的编码，维度均为(n,2d)，其中n为句子的长度，2d为aspect编码向量和opinion编码向量的维度；如公式，得到维度为k的向量

α_ij是集合α中的元素；

步骤2.2：将注意力张量α^a→p计算为相关性矩阵A^a→p；

其中，v为随机初始化的k维向量，参与训练过程，目的是将多个注意力头产生的信息加权聚合；

步骤2.3：得到相关性矩阵A^p→a：A^p→a＝(A^a→p)^T；

步骤2.4：得到最终编码h^a与h^p；

h^a＝h^a+softmax_r(A^a→p)h^p；

h^p＝h^p+softmax_r(A^p→a)h^a；

其中，softmax_r为对矩阵的行做softmax运算。

5.根据权利要求4所述的基于注意力机制的自然语言文本三元组提取方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：将h^a通过softmax层与aspect的带情感分类的BIOS标签做交叉熵损失，得到

其中，对每个词汇都做标签，每种标签分为两部分，首部是BIOS，当首部为B/I/S时，尾部标签存在并且有三种可能性：NEG、POS、NAT，分别表示负向情感、正向情感、中性情感；

步骤3.2：将h^p通过softmax层与opinion的BIOS标签做交叉熵损失，得到

步骤3.3：构造指导矩阵G^a→p和G^p→a；

G^p→a＝(G^a→p)^T；

步骤3.4：计算得到相关损失函数Loss_A；

Loss_A＝||A^a→p☉G^a→p||＝||A^p→a☉G^p→a||；

步骤3.5：将五个损失函数相加得到最后的训练过程中的损失函数LOSS；

步骤3.6：以最小化损失函数LOSS的数值为目标对方法中参与训练的参数进行迭代优化。

6.根据权利要求5所述的基于注意力机制的自然语言文本三元组提取方法，其特征在于，步骤4中所述得到三元组结果<aspect，opinion，sentiment>，具体实现过程为：

首先根据h^a通过softmax层得到的aspect预测标签，得到带情感的aspect的BIOS标签

从中解析出aspect-sentiment对序列aspect-pairs：{＜aspect₁,sentiment₁＞,＜aspect₂,sentiment₂＞,…,＜aspect_m,sentiment_m＞}其中每个aspect_i对应的单词序列为words_i：

其中n_i为第i个aspect对应的单词组的下标序列，|n_i|表示下标序列的长度；

接下来，获得aspect_i对应的opinion词组的锚下标：

其中，n为输入句子的词的数量；

接下来在句子中从单词

出发，向左搜索直到：

同理，向右搜索直到：

其中，l为向左逐单词搜索的下标，r为向右逐单词搜索的下标，二者的初始值都为J_i；λ为预设值的参数，为0到1之间的实数；如此，l与r之间的词组便为上面过程提取的第i个aspect-sentiment对对应的opinion词组。

7.一种基于注意力机制的自然语言文本三元组提取系统，其特征在于，包括以下系统，包括以下模块：

模块1，用于对输入进行双路编码；

设输入为W＝{w₁,w₂,…,w_n}，其中w_i为第i个词汇的词嵌入；对输入进行双路编码，包括aspect路和opinion路；

对于aspect路，对输入W用两层双向长短时记忆网络进行处理，得到aspect路初步的编码fa'＝{fa′₁,fa′₂,…,fa′_n}，其中fa′_i为第i个词汇对应的经过两层BiLSTM处理之后的结果；

对于opinion路，首先将输入W用图卷积网络进行处理，其中图卷积网络的邻接矩阵是由输入句的依存分析树确定的，通过这一步获得opinion信息抽取过程需要的文本结构信息；接下来对图卷积得到的结果依次用BiLSTM、CRF进行处理，得到opinion编码路的编码结果f^p；

模块2，用于对双路编码的结果进行双向注意力机制处理；

对双路编码的结果进行双向注意力处理，将aspect路提取的信息与opinion路提取的信息进行双向注意力机制处理，处理之后aspect路与opinion路双路信息记为h^a、h^p；

模块3，用于综合模块1、模块2中的结果计算得到损失函数，并利用随机梯度下降法以降低损失函数数值为目的进行迭代训练，优化方法中参与训练的各项参数；

模块4，用于按照训练结束后得到的参数，对双向注意力机制得到的相关性矩阵进行处理，得到三元组结果<aspect,opinion,sentiment>。

Images