CN112131383B

CN112131383B - 特定目标的情感极性分类方法

Info

Publication number: CN112131383B
Application number: CN202010872127.8A
Authority: CN
Inventors: 庞士冠; 肖路巍; 胡晓晖; 薛云; 蔡倩华; 唐碧霞
Original assignee: South China Normal University
Current assignee: South China Normal University
Priority date: 2020-08-26
Filing date: 2020-08-26
Publication date: 2021-05-18
Anticipated expiration: 2040-08-26
Also published as: CN112131383A

Abstract

本发明提供一种特定目标的情感极性分类方法，包括：获取上下文对应的隐藏状态向量，对其进行多头自注意力编码，得到上下文语义信息编码；基于结合门控机制的图卷积神经网络，提取上下文对应的句法向量；通过特定目标对应的权重向量，得到与特定目标相关的上下文句法信息编码；将拼接后的上下文语义信息编码和上下文句法信息编码进行多头自注意力编码得到上下文语义句法信息编码；将上下文语义信息编码和上下文语义句法信息编码取平均池化后再拼接，得到特定目标的特征表示；将特定目标的特征表示输入预设情感极性分类函数，得到特定目标的情感极性分类概率。相对于现有技术，本发明能够有效过滤无效的句法信息，提高特定目标的情感分类的准确性。

Description

特定目标的情感极性分类方法

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种特定目标的情感极性分类方法。

背景技术

情感分析是自然语言处理(Natural Language Processing，NLP)中的重要任务，其目的在于对带有情感色彩的主观性文本进行分析。其中，特定目标的情感分析属于细粒度情感分析，与传统的情感分析不同，其目的主要在于识别句子中特定目标的情感极性。

目前，有众多神经网络与注意力机制相结合的方法用以解决特定目标的情感分析问题，这些方法虽然能够克服浅层学习模型的缺陷，区分了不同词对于特定目标情感分析任务的重要性，但是依旧存在如下问题：一方面，不能充分捕捉上下文的语义信息，关注长距离信息依赖和信息并行计算的问题；另一方面，忽视了句法信息对情感极性分类造成的影响，降低了分类的准确性。

发明内容

为克服相关技术中存在的问题，本发明实施例提供了一种特定目标的情感极性分类方法，包括如下步骤：获取上下文对应的词向量；其中，所述上下文包括至少一个特定目标，所述特定目标包括至少一个单词；

将所述上下文对应的词向量输入预设隐藏信息提取网络模型，提取所述上下文对应的隐藏状态向量；

对所述上下文对应的隐藏状态向量进行多头自注意力编码，得到上下文语义信息编码；

基于结合门控机制的预设图卷积神经网络，提取所述上下文对应的句法向量；

通过所述特定目标对应的权重向量，对所述句法向量进行筛选，得到与所述特定目标相关的上下文句法信息编码；

对所述上下文语义信息编码和上下文句法信息编码进行拼接，将拼接后的所述上下文语义信息编码和上下文句法信息编码进行多头自注意力编码，得到上下文语义句法信息编码；

将所述上下文语义信息编码和上下文语义句法信息编码取平均池化后再进行拼接，得到所述特定目标的特征表示；

将所述特定目标的特征表示输入预设情感极性分类函数中，得到所述特定目标的情感极性分类概率。

可选的，所述将所述上下文对应的词向量输入预设隐藏信息提取网络模型，提取所述上下文对应的隐藏状态向量，包括步骤：

将所述上下文对应的词向量

输入预设隐藏信息提取网络模型中，通过所述预设隐藏信息提取网络模型得到上下文对应的隐藏状态向量的过程如下：

其中，n表示上下文对应的词向量的维度，

表示预设隐藏信息提取网络模型中的正向运算过程，

表示预设隐藏信息提取网络模型中的反向运算过程，H^c表示上下文对应的隐藏状态向量。

可选的，所述对所述上下文对应的隐藏状态向量进行多头自注意力编码，得到上下文语义信息编码，包括步骤：

将所述上下文对应的隐藏状态向量H^c输入预设多头注意力编码公式，得到上下文语义信息编码H^cs；其中，预设多头注意力编码公式如下：

H^cs＝MHA(H^c,H^c)

o^h＝Attention^h(k,q)

Attention(k,q)＝soft max(f_s(k,q))k

f_s(k_i,q_j)＝tanh([k_i；q_j]·W_att)

f_s(k_i,q_j)表示多头注意力的第一输入向量k＝{k₁,k₂,...,k_n}与多头注意力的第二输入向量q＝{q₁,q₂,...,q_m}的语义相关性，n表示第一输入向量的维度，m表示第二输入向量的维度；当进行多头自注意力编码时k＝q，当进行多头交互注意力编码时k≠q，“；”是指向量的拼接，

是可学习的权重，

表示1行2d_hid列的矩阵，d_hid表示隐藏状态向量的维度，softmax()表示归一化指数函数，Attention^h(k,q)和o^h表示多头注意力中的第h头输出结果，h∈[1,n_head]，n_head表示多头注意力的最大头数；

表示对o^h进行线性变化的d_hid行d_hid列的矩阵，MHA(H^c,H^c)表示MHA(k,q)中第一输入向量k为H^c，q为H^c，k＝q，MHA(H^c,H^c)进行H^c的多头自注意力编码，

d_h表示多头注意力编码输出的向量维度。

可选的，所述基于结合门控机制的预设图卷积神经网络，提取所述上下文对应的句法向量，包括步骤：

获取所述上下文中的单词对应的邻接矩阵；其中，所述邻接矩阵反应所述上下文中的单词的邻接关系；

根据所述特定目标在所述上下文中的位置和预设的位置权重分配函数，得到上下文中每个所述单词对应的位置权重；

将所述邻接矩阵和所述每个单词对应的位置权重输入结合门控机制的预设图卷积神经网络，提取所述上下文对应的句法向量。

可选的，所述根据所述特定目标在所述上下文中的位置和预设的位置权重分配函数，得到上下文中每个所述单词对应的位置权重，包括步骤：

根据所述特定目标在上下文中的位置和位置权重分配函数，得到上下文中每个单词对应的位置权重；其中，所述位置权重分配函数F(·)如下：

τ+1表示特定目标的起始位置，m表示特定目标中单词的个数，n表示上下文中单词的个数，q_i表示上下文中第i个单词的位置权重。

可选的，所述将所述邻接矩阵和所述每个单词对应的位置权重输入结合门控机制的预设图卷积神经网络，提取所述上下文对应的句法向量，包括步骤：

根据所述邻接矩阵、每个所述单词的位置权重、上一层的第二输出结果以及预设图卷积运算公式，得到当前层的第一输出结果；其中，所述预设图卷积运算公式如下：

A_ij表示邻接矩阵的第i行第j列的值，A∈R^n×n表示邻接矩阵A为n行n列的矩阵，q_j表示上下文中第j个单词的位置权重，

表示l-1层中第j个单词的第二输出结果，

表示第j个单词的位置权重与第j个单词的第二输出结果的乘积，

表示第l层中第i个单词的中间输出，

表示第l层中第i个单词的第一输出结果，d_i表示第i个单词在句法依存树中的深度，W^l表示权重，偏执b^l表示偏执，Re LU()表示激活函数；

根据所述当前层的第一输出结果以及预设门机制运算公式，得到当前层的第二输出结果；其中，所述预设的门机制预算公式如下；

表示第l层中第i个单词的第一输出结果，

表示第l层中第i个单词的中间输出，

代表向量拼接操作，

表示门机制的可学习权重，σ代表激活函数ReLu()，

表示经过门机制得到的阈值，φ表示非线性函数，⊙代表向量的点积，

表示l层中第j个单词的第二输出结果；

将所述当前层的第二输出结果输入至所述结合门控机制的预设图卷积神经网络的下一层中，直至得到所述结合门控机制的预设图卷积神经网络的输出层的第二输出结果；其中，所述输出层的第二输出结果为所述上下文对应的句法向量。

可选的，所述通过所述特定目标对应的权重向量，对所述句法向量进行筛选，得到与所述特定目标相关的上下文句法信息编码，包括步骤：

根据所述特定目标的中心在所述上下文中的位置、各个单词在所述上下文中的位置、所述特定目标的长度以及预设权重向量运算公式，得到所述特定目标对应的权重向量；其中，所述预设权重向量运算公式如下：

P_i表示第i个单词在所述上下文中的位置，P_t表示特定目标在所述上下文中的位置，a表示特定目标的长度，|P_i-P_t|表示第i个单词与特定目标在所述上下文中的距离，

表示

倍的特定目标的长度，SRD_i表示第i个单词与特定目标在所述上下文中的距离与

倍的特定目标的长度之间的差值，V_i ^SRD表示特定目标中第i个单词对应的权重向量，β代表SRD的阈值，n代表单词的数量，E为预设向量，M为特定目标对应的权重向量；

将所述特定目标对应的权重向量与所述句法向量叉乘，得到与所述特定目标相关的上下文句法信息编码U^LS。

可选的，对所述上下文语义信息编码和上下文句法信息编码进行拼接，将拼接后的所述上下文语义信息编码和上下文句法信息编码进行多头自注意力编码，得到上下文语义句法信息编码，包括步骤：

对所述上下文语义信息编码H^cs和上下文句法信息编码U^LS进行拼接，得到拼接后的编码Z；

将所述拼接后的编码Z进行多头自注意力编码，得到所述上下文语义句法信息编码Z^S；其中，Z^S＝MHA(Z,Z)。

可选的，所述将所述上下文语义信息编码和上下文语义句法信息编码取平均池化后再进行拼接，得到所述特定目标的特征表示，包括步骤：

根据所述上下文语义信息编码H^cs、上下文语义句法信息编码Z^S输入预设平均池化计算公式，得到平池化后的结果拼接，得到所述特定目标对应的特征表示

其中，预设平均池化计算公式如下：

表示上下文中第i单词的语义信息编码，i表示单词的下标，n表示上下文中单词的个数，

表示上下文语义信息编码的平均池化结果，

表示上下文中第i个单词的语义句法信息编码，

表示上下文语义句法信息编码的平均池化结果，特征表示

代表向量拼接操作。

可选的，所述根据所述特征表示和预设归一化指数函数，得到特定目标的情感分类结果，包括步骤：

根据所述特征表示和预设转换公式，得到所述特征表示的转换结果；其中，所述预设转换公式如下：

表示特征表示，

和b_o∈R^c分别是可学习的权重和偏置项；

根据所述特征表示的转换结果和预设情感极性分类函数中，得到所述特定目标的情感极性分类概率；其中，所述预设转换公式和预设情感极性分类函数如下：

x表示特征表示的转换结果，y∈R^c是特定目标的情感极性分类概率，c表示分类的类别，k表示用于累加的计数下标。

相对于现有技术，本发明实施例通过预设隐藏信息提取网络模型，得到上下文对应的隐藏状态向量，再结合多头自注意力的并行计算和长距离依赖的优点，对上下文对应的隐藏状态向量进行多头自注意编码，提取到丰富充分的上下文语义信息。再通过结合门控机制的预设图卷积神经网络，有效过滤掉无用的句法信息，提取所述上下文对应的句法向量，并根据特定目标对应的权重向量，对句法向量进行筛选，得到与所述特定目标更为相关的上下文句法信息编码，之后对所述上下文语义信息编码和上下文句法信息编码进行拼接，将拼接后的所述上下文语义信息编码和上下文句法信息编码进行多头自注意力编码，得到上下文语义句法信息编码，将所述上下文语义信息编码和上下文语义句法信息编码取平均池化后再进行拼接，得到所述特定目标的特征表示，进而使得该特征表示充分考虑了上下文的语义信息以及上下文的句法信息对特定目标情感极性分析的影响，最后，将所述特定目标的特征表示输入预设情感极性分类函数中，得到所述特定目标的情感极性分类概率，提高了特定目标情感极性分类的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明一个示例性实施例提供的特定目标的情感极性分类方法的流程示意图；

图2为本发明一个示例性实施例提供的特定目标的情感极性分类方法中S104的流程示意图；

图3为本发明一个示例性实施例提供的句法依存树的示意图；

图4为本发明一个示例性实施例提供的邻接矩阵的示意图；

图5为本发明一个示例性实施例提供的特定目标的情感极性分类方法中S105的流程示意图；

图6为本发明一个示例性实施例提供的特定目标的情感极性分类模型的整体结构示意图；

图7为本发明一个示例性实施例提供的图卷积神经网络的示意图；

图8为本发明一个示例性实施例提供的特定目标的情感极性分类装置的结构示意图；

图9为本发明一个示例性实施例提供的特定目标的情感极性分类设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的特定目标“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。

请参阅图1，图1为本发明一个示例性实施例提供的特定目标的情感极性分类方法的流程示意图，所述方法由情感极性分类设备执行，包括如下步骤：

S101：获取上下文对应的词向量；其中，所述上下文包括至少一个特定目标，所述特定目标包括至少一个单词。

词嵌入是单词的一种数字化表示方式，其是将一个单词映射到一个高维的向量中以实现对单词的表示，这个向量被称为词向量。

在本申请实施例中，情感极性分类设备首先确定文本内的上下文和特定目标，其中，上下文可以为文本中的一句话，特定目标为上下文中的至少一个单词，例如：上下文为“the price is reasonable while the service is poor”，特定目标为“price”和“service”。

情感极性分类设备通过词嵌入工具将该上下文和特定目标转换为对应的词向量，若上下文中包括n个单词，上下文对应的词向量则为n个高维向量，若特定目标包括m个单词，特定目标对应的词向量则为m个高维向量。

词嵌入工具可以为GloVe或BERT等,在本申请实施例中，对此不做限制。

S102：将所述上下文对应的词向量输入预设隐藏信息提取网络模型，提取所述上下文对应的隐藏状态向量。

预设隐藏信息提取网络模型为循环神经网络(Recurrent Neural Network，RNN)，该网络以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络，常见的循环神经网络包括双向循环神经网络(Bidirectional RNN，Bi-RNN)、长短期记忆网络(Long Short-Term Memory networks，LSTM)、双向长短期记忆网络(Bidirectional Long Short-Term Memory networks，Bi-LSTM)等。

本申请实施例中，由于在特定目标的情感极性分类过程中，需要考虑单词在上下文中的前后顺序，因而，若所述预设隐藏信息提取网络模型采用双向长短期记忆网络(Bidirectional Long Short-Term Memory networks，Bi-LSTM)，则能够传递相隔较远的信息，同时避免长期依赖的问题。

具体地，所述预设隐藏信息提取网络模型可以预先存储在情感极性分类设备中，也可以在获取隐藏状态向量时加载至情感极性分类设备中，情感极性分类设备将所述上下文对应的词向量输入预设隐藏信息提取网络模型，提取所述上下文对应的隐藏状态向量。

具体地，将所述上下文对应的词向量

其中，n表示上下文对应的词向量的维度，

表示预设隐藏信息提取网络模型中的正向运算过程，

S103：对所述上下文对应的隐藏状态向量进行多头自注意力编码，得到上下文语义信息编码。

注意力机制的本质来自于人类视觉注意力机制，将注意力机制应用于情感极性分类，目的在于能够使在分类过程中分配更多的注意力到关键单词。具体地，可以将一句文本想象成是由一系列的<Key,Value>数据对组成，此时给定某个元素Query(查询)，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应的Value的权重系数，再通过softmax函数归一化后，对权重系数和相应Value进行加权求和，得到注意力结果。目前的研究中，Key和Value常常都是相等的，即Key＝Value。

多头注意力编码(Multi-head Attention)表示进行多次注意力编码运算，每运算一次代表一头，头之间的参数不进行共享，最后将结果进行拼接，在进行一次线性变换得到多头编码结果。

多头注意力编码又分为多头自注意力编码和多头交互注意力编码。其中，多头自注意力的Query与Key相同，多头交互注意力编码的Query与Key不相同。对于多头自注意力编码，其需要实现某一句文本中的每个词与该句文本的所有词之间的注意力值的计算；对于多头交互注意力编码，其需要实现某一句文本中的每个词与其他文本的所有词之间的注意力值的计算。

在本申请实施例中，情感极性分类设备以所述上下文对应的隐藏状态向量为Query和Key进行多头自注意力编码，得到上下文语义信息编码。

在一个可选的实施例中，情感极性分类设备将所述上下文对应的隐藏状态向量H^c输入预设多头注意力编码公式，得到上下文语义信息编码H^cs。

其中，预设多头注意力编码公式如下：

H^cs＝MHA(H^c,H^c)

o^h＝Attention^h(k,q)

A ttention(k,q)＝soft max(f_s(k,q))k

f_s(k_i,q_j)＝tanh([k_i；q_j]·W_att)

f_s(k_i,q_j)表示多头注意力的第一输入向量k＝{k₁,k₂,...,k_n}与多头注意力的第二输入向量q＝{q₁,q₂,...,q_m}的语义相关性，当进行多头自注意力编码时k＝q，当进行多头交互注意力编码时k≠q，“；”是指向量的拼接，

是可学习的权重，

表示1行2d_hid列的矩阵，d_hid表示隐藏状态向量的维度，soft max()表示归一化指数函数，Attention^h(k,q)和o^h表示多头注意力中的第h头输出结果，h∈[1,n_head]，

表示对o^h进行线性变化的d_hid行d_hid列的矩阵，

d_h表示多头注意力编码输出的向量维度。

S104：基于结合门控机制的预设图卷积神经网络，提取所述上下文对应的句法向量。

句法信息在情感极性分类的过程中具有重要作用，但是过多无用的句法信息会去情感极性分类结果造成影响。因此，本申请实施例采用了结合门控机制的预设图卷积神经网络提取所述上下文对应的句法向量，过滤无用的句法信息，提高分类结果的准确性。

所述预设图卷积神经网络用于对图结构类型的数据进行处理，其中图结构即拓扑结构，也可以称之为非欧几里得结构，常见的图结构包括例如社交网络、信息网络等。图卷积神经网络能够根据图中所包含的关系信息，在不同节点之间传播信息，并生成原始节点的转换表示。

在一个可选的实施例中，为准确获取上下文对应的句法向量，请参阅图2，步骤S104包括步骤S1041～S1043，具体如下：

S1041：获取所述上下文中的单词对应的邻接矩阵；其中，所述邻接矩阵反应所述上下文中的单词的邻接关系。

在获取邻接矩阵之前，对上下文进行语义依存分析，得到上下文对应的句法依存树。

在本申请实施例中，可以通过spaCy进行句法依存树的获取。句法依存树能够形象的体现出上下文中单词的依存关系。请参阅图3，图3为本发明一个示例性实施例提供的句法依存树的示意图。如图所示，上下文为“我今天很开心”，构建的句法依存树中，开心为句法依存树的根部，其包括三个分枝分别为“我”(主语)、“今天”(状语)和“不”(状语)，“不”的分枝为“很”(状语)，用于进一步修饰“不”。

在本申请实施例中，情感分类设备根据所述句法依存树，得到所述上下文中的单词对应的邻接矩阵。其中，邻接矩阵反应上下文中的单词的邻接关系。需要说明的是，单词与自身默认存在邻接关系。

请参阅图4，图4为本发明一个示例性实施例提供的邻接矩阵的示意图，图4所示的邻接矩阵对应图3所示的句法依存树。如图所示，其对角线上的数值均为1，表示每个单词与自身均存在邻接关系。图3中句法依存树的根部为“开心”，其包括三个分枝分别为“我”、“今天”和“不”，因而在对应的邻接矩阵中，“开心”所在行与“我”、“今天”、“不”所在列值的交叉位置处，值均为1。通过上下文中的单词对应的邻接矩阵，能够精准快速地获取单词之间的邻接关系。

S1042：根据所述特定目标在所述上下文中的位置和预设的位置权重分配函数，得到上下文中每个所述单词对应的位置权重。

根据特定目标在上下文中的位置的不同，因而上下文中每个单词对于特定目标的情感极性分类的重要程度也不同。具体地，根据特定目标在上下文中的位置和预设的位置权重分配函数，得到上下文中每个单词对应的位置权重。

位置权重分配函数可以根据不同特定目标情感分类的需求不同进行预先设置。例如：可以设置位置权重分配函数为F(a)，a为上下文中每个单词与最近的特定目标之间相隔单词个数，从而根据相隔的单词个数，得到不同的位置权重。

在一个可选的实施例中，根据所述特定目标在上下文中的位置和位置权重分配函数，得到上下文中每个单词对应的位置权重；其中，所述位置权重分配函数F(·)如下：

S1043：将所述邻接矩阵和所述每个单词对应的位置权重输入结合门控机制的预设图卷积神经网络，提取所述上下文对应的句法向量。

在本申请实施例中，情感极性分类设备将所述邻接矩阵和所述每个单词对应的位置权重输入结合门控机制的预设图卷积神经网络，提取所述上下文对应的句法向量。

在一个可选的实施例中，所述预设图卷积神经网络的隐藏层设置为1层或多层，激活函数可以根据实际情况进行设置。

具体地，情感极性分类设备根据所述邻接矩阵、每个所述单词的位置权重、上一层的第二输出结果以及预设图卷积运算公式，得到当前层的第一输出结果。

其中，所述预设图卷积运算公式如下：

A_ij表示邻接矩阵的第i行第j列的值，A∈R^n×n表示邻接矩阵A为n行n列的矩阵，q_l表示上下文中第j个单词的位置权重，

表示l-1层中第j个单词的第二输出结果，

表示第l层中第j个单词的第一输出结果，d_i表示第i个单词在句法依存树中的深度，W^l表示权重，偏执b^l表示偏执，RELU()表示激活函数。

之后，情感极性分类设备根据所述当前层的第一输出结果以及预设门机制运算公式，得到当前层的第二输出结果。

其中，所述预设的门机制预算公式如下；

表示第l层中第j个单词的第一输出结果，

表示第l层中第j个单词的中间输出，

代表向量拼接操作，

表示门机制的可学习权重，σ代表激活函数ReLu()，

表示l层中第j个单词的第二输出结果。

最后，情感极性分类设备将所述当前层的第二输出结果输入至所述结合门控机制的预设图卷积神经网络的下一层中，直至得到所述结合门控机制的预设图卷积神经网络的输出层的第二输出结果；其中，所述输出层的第二输出结果为所述上下文对应的句法向量。

在本实施例中，通过将门控机制应用至预设图卷积神经网络中的每一层，能够有效去除无用的句法信息，提高获取到的句法向量的准确性。

S105:通过所述特定目标对应的权重向量，对所述句法向量进行筛选，得到与所述特定目标相关的上下文句法信息编码。

所述权重向量为一个动态权重，根据所述权重向量能够对句法向量进行筛选，获取句法向量中的哪些信息对特定目标的情感极性分析更为重要，从而更准确地获取特定目标相关的上下文句法信息编码。

在一个可选的实施例中，请参阅图5，为准确地获取到上下文句法信息编码，步骤S105包括步骤S1051～S1052，具体如下：

S1051：根据所述特定目标的中心在所述上下文中的位置、各个单词在所述上下文中的位置、所述特定目标的长度以及预设权重向量运算公式，得到所述特定目标对应的权重向量。

所述预设权重向量运算公式如下：

P_i表示第i个单词在所述上下文中的位置，P_t表示特定目标在所述上下文中的位置，a表示特定目标的长度，β代表SRD的阈值，n代表单词的数量，E为预设向量，M为特定目标对应的权重向量。

需要说明的是，特定目标可以是一个词组，包括至少一个单词，所述特定目标的长度为包括单词的个数。

S1052：将所述特定目标对应的权重向量与所述句法向量叉乘，得到与所述特定目标相关的上下文句法信息编码U^LS。

其中，U^LS＝U^L·M，U^L表示句法向量，M为特定目标对应的权重向量。

S106：对所述上下文语义信息编码和上下文句法信息编码进行拼接，将拼接后的所述上下文语义信息编码和上下文句法信息编码进行多头自注意力编码，得到上下文语义句法信息编码。

情感极性分类设备对所述上下文语义信息编码H^cs和上下文句法信息编码U^LS进行拼接，得到拼接后的编码Z，将所述拼接后的编码Z进行多头自注意力编码，得到所述上下文语义句法信息编码Z^S。

具体地，情感极性分类设备以拼接后的编码Z为Query和Key，基于预设多头注意力编码公式对Z进行多头自注意力编码，得到所述上下文语义句法信息编码Z^S。

其中，Z^S＝MHA(Z,Z)，预设多头注意力编码公式与步骤S103中提及的公式相同，在此不再赘述。

S107：将所述上下文语义信息编码和上下文语义句法信息编码取平均池化后再进行拼接，得到所述特定目标的特征表示。

情感极性分类设备将所述上下文语义信息编码和上下文语义句法信息编码取平均池化后再进行拼接，得到所述特定目标对应的特征表示。其中，平均池化操作为同一维度的值进行平均值化，拼接操作为将向量首尾相接，例如:向量[1,1],[2,2],[3,3],拼接后得到[1,1,2,2,3,3]。

在一个可选的实施例中，情感极性分类设备根据所述上下文语义信息编码H^cs、上下文语义句法信息编码Z^S输入预设平均池化计算公式，得到平池化后的结果拼接，得到所述特定目标对应的特征表示

其中，预设平均池化计算公式如下：

表示上下文语义信息编码的平均池化结果，

表示上下文语义句法信息编码的平均池化结果，特征表示

代表向量拼接操作。

S108：将所述特定目标的特征表示输入预设情感极性分类函数中，得到所述特定目标的情感极性分类概率。

情感极性分类设备将所述特定目标的特征表示输入预设情感极性分类函数中，得到特定目标的情感极性分类概率。

在一个可选的实施例中，所述预设情感极性分类函数为softmax()函数。在其他可选的实施例中，，所述预设情感极性分类函数也可以为其他分类函数。

具体地，情感极性分类设备先根据所述特征表示和预设转换公式，得到所述特征表示的转换结果。

其中，所述预设转换公式如下：

表示特征表示，

和b_o∈R^c分别是可学习的权重和偏置项。

再根据所述特征表示的转换结果和预设情感极性分类函数中，得到所述特定目标的情感极性分类概率。

其中，所述预设转换公式和预设情感极性分类函数如下：

x表示特征表示的转换结果，y∈R^c是特定目标的情感极性分类概率，c表示分类的类别。

请同时参阅图6和图7，图6为本发明一个示例性实施例提供的特定目标的情感极性分类模型的整体结构示意图，图7为本发明一个示例性实施例提供的图卷积神经网络的示意图。特定目标的情感极性分类模型(以下简称MGGCN模型)对应本申请实施例中所提出的特定目标的情感极性分类方法，例如：步骤S101～S108。具体地，该MGGCN模型通过预设隐藏信息提取网络模型，得到上下文对应的隐藏状态向量，再结合多头自注意力的并行计算和长距离依赖的优点，对上下文对应的隐藏状态向量进行多头自注意编码，提取到丰富充分的上下文语义信息。再通过结合门控机制的预设图卷积神经网络，有效过滤掉无用的句法信息，提取所述上下文对应的句法向量，并根据特定目标对应的权重向量，对句法向量进行筛选，得到与所述特定目标更为相关的上下文句法信息编码，之后对所述上下文语义信息编码和上下文句法信息编码进行拼接，将拼接后的所述上下文语义信息编码和上下文句法信息编码进行多头自注意力编码，得到上下文语义句法信息编码，将所述上下文语义信息编码和上下文语义句法信息编码取平均池化后再进行拼接，得到所述特定目标的特征表示，进而使得该特征表示充分考虑了上下文的语义信息以及上下文的句法信息对特定目标情感极性分析的影响，最后，将所述特定目标的特征表示输入预设情感极性分类函数中，得到所述特定目标的情感极性分类概率，提高了特定目标情感极性分类的准确性。

下面将对本申请实施例提出的特定目标的情感极性分类方法进行实验论证，论证过程如下：

(1)选取五个数据集TWITTER，REST14和LAP14(SemEval 2014 task4)，REST15(SemEval 2015 task 12)，REST16(SemEval 2016 task 5)。

其中，TWITTER数据集最初由Tang等人建立，包含了来自社交软件twitter的推文，一共包括6940条评论，每条评论都有标记出其中的特定目标以及特定目标的情感极性。

SemEval-2014 Task4数据集主要用于细粒度情感分析，包含LAP14和REST14，每个领域的数据集都分为训练数据、验证数据(从训练数据分离出来)和测试数据，一共包含7794条评论，每条评论都有标记出其中的特定目标以及特定目标的情感极性。

SemEval-2015 task 12数据集主要用于细粒度情感分析，包含REST15，每个领域的数据集都分为训练数据、验证数据(从训练数据分离出来)和测试数据，一共包含1746条评论，每条评论都有标记出其中的特定目标以及特定目标的情感极性。

SemEval-2016 task 5，数据集主要用于细粒度情感分析，包含REST16，每个领域的数据集都分为训练数据、验证数据(从训练数据分离出来)和测试数据，一共包含2454条评论，每条评论都有标记出其中的特定目标以及特定目标的情感极性。

(2)对数据集中的数据进行预处理，具体地，可以在GloVe工具中进行初始化处理，使用GloVe初始化的模型称为MGGCN-GloVe，其将数据中的每个单词均转化成维度为300的高维向量。也可以在BERT工具中进行初始化处理，使用BERT初始化的模型称为MGGCN-BERT，将数据中的每个单词均转化成维度为768的高维向量。所有模型利用均匀分布进行权重的初始化设置。

(3)搭建图卷积神经网络结构，本发明使用了pytorch库来搭建网络结构，模型主要参数设置描述如下：在MGGCN-GloVe中，词嵌入使用GloVe初始化，维度为300，batch size为32，为了防止过拟合，dropout rate为0.5。在MGGCN-BERT中，词嵌入用BERT初始化，维度为768，dropout rate为0.1，batch size为16，学习率为2×10^-5。两个模型中多头注意力head的个数为3，GCN层数为2，SRD阈值为1，隐藏层维度大小均为300。模型采用Adam优化器，正则项的权重设置为0.00001。

(4)对比实验结果。

本发明选用Accuracy和Macro-Averaged F1作为评价指标。其中，Accuracy为二分类评价指标，其计算方式为正确分类的句子数与句子总数的比值，Macro-Averaged F1为多分类评价指标，其计算方式如下：

其中，TP_i是指分类i的True Positive，True Positive指被预测分类为i且真实分类为i的句子的数量，FP_i是指分类i的False Positive，False Positive指被预测分类为i但真实分类不为i的句子的数量，TN_i是指分类i的True Negative，True Negative指被预测分类不为i且真实分类不为i的句子的数量，FN_i是指分类i的False Negative，FalseNegative指被预测分类不为i但真实分为i的句子的数量，n为句子的总数量。

具体结果分析如下，请参阅下方表1：

(1)通过表1可以得出，本申请提出的特定目标的情感极性分类方法，通过表1可以看到本发明提出的MGGCN-BERT模型在所有的5个数据集上的表现始终优于其他基线模型。同时MGGCN-GloVe在TWITTER、LAP14和REST16数据集上都优于其他基线模型，与基线模型TNet-LF相比在REST14数据集上准确率取得了较好的结果，而F1分数稍显逊色，在REST16数据集上与基线模型TNet-LF，结果稍显逊色。可见，在其他条件相同的情况下，由于不同数据集的差异性，模型的准确率也会有所不同，但本发明提出的MGGCN-BERT模型性能要明显强于其他基线模型。

(2)通过表1可以得出，本发明基于深度学习的模型MGGCN，性能要优于传统的机器学习的方法。在表中由Kiritchenko提出的SVM模型是使用支持向量机进行分类，它依赖大量人工特征提取。本文提出的深度学习模型MGGCN无人工特征提取，并且MGGCN-GloVe在TWITTER、LAP14和REST14数据集上相比于SVM准确率分别高出10.1％、5.31％和1％。说明深度学习适用于特定目标情感分析的研究。

(3)本发明使用双向LSTM结合多头注意力机制和图卷积对语义编码的方法相比标准多注意力机制的方法以及只使用多头注意力机制进行语义编码的方法效果较好。首先以MemNet为例，其通过多个hops来简单线性组合不同注意力，在五个数据集上的准确率和F1值均低于本文方法。其次，AEN只使用了多头注意力机制对上下文以及特定目标进行语义编码，在三个数据集(TWITTER,LAP14和REST14)中本文方法仅有一项指标(REST14,F1)低(0.41％)。

(4)由于结合了句法信息，比起没有考虑句法信息的模型，本发明所取得的效果也较好。虽然AOA通过attention-over-attention进一步强调了上下文与目标词之间的影响，但在五个数据集上的准确率和F1值均低于本文方法。此外，尽管IAN通过交互注意力机制的交互式提高了上下文和目标词的交互程度，可是该模型在五个数据集上的准确率和F1值都低于本文方法。TNet-LF能够很好地将特定目标信息整合到单词表示中，并且有一个context-preserving机制能够很好地保留语义信息。本文方法MGGCN-GloVe在REST16数据集上表现均略低于(0.11％和0.95％)TNet-LF，但是在其他四个数据集上表现又都优于TNet-LF，我们推测可能原因是REST16数据集中的数据特别依赖于文本原始语义信息，而提出的MGGCN-BERT在所有数据集上均优于TNet-LF。

(5)本发明提出的MGGCN表现优于ASGCN。与同样利用句法信息的ASGCN相比，MGGCN和ASGCN都利用了gated-GCN和SFDW的句法信息，但总体性能MGGCN明显优于ASGCN。附加的门控机制使模型具有一定的区分更重要的语法依赖关系的能力。ASGCN在GCN之后添加了一个屏蔽机制，它只保留语法敏感的特定目标词，并删除所有其他语法敏感的上下文词。而在MGGCN中，设计的SFDW层使模型更加注意在一个特定目标词下的语法词汇特点,不仅合理使用一些更重要的语法元素,也避免许多无用的语法元素引起的噪音。

(6)从表1可以看出MGGCN-BERT的表现要明显优于MGGCN-GloVe，证明预训练模型BERT相比GloVe更强大和有效。

表1

同上，针对本申请提出的特定目标的情感极性分类方法进行消融研究，结果如表2所示。

1.移除门控机制(Gate)。本发明通过对GCN的每一层采用门控机制对GCN进行了改进。这种修改旨在更好地保留有利于此任务的语法信息，省略多余的语法特征。通过对门机制进行消融，来观察这种机制对结果的影响。通过表2可以看出，无门机制的MGGCN在rest16上表现良好，但在另外四个数据集上的精确度和F1分数都不令人满意。在一个句子中，对这个任务有用的句法信息是有限的。在没有门机制的情况下，缺乏对句法信息的逐层过滤，导致句法信息提取过多。冗余的句法信息会引入不必要的噪声，影响模型对方面语义极性的正确预测。

2.移除SFDW层。从表2可以看出，在所有数据集中，移除SFDW层后的准确度都有所下降。Macro-F1在LAP14、REST15和REST16三个数据集中都有下降，在TWITTER和REST14两个数据集上基本保持不变。SFDW层主要用于减少远离特定目标的语法敏感词的权重。由于SFDW层的缺失，周围语法感知词的作用无法突出，一些语义相关度较低的语法感知上下文特征会影响模型；

3.移除门控卷积网络(G-GCN)。本发明研究了不带门控图卷积网络的MGGCN的性能。这说明语法信息对MGGCN的设计有很大的帮助，G-GCN对于MGGCN的设计具有重要意义；

4.移除MHSA1(指图6所示图中的第一个MH self-attention层)。语义编码部分(MHSA1)中多脑自注意的功能是提取高层语义信息。我们移除MHSA1来评估MGGCN的效果。如果没有多头自注意(MHSA1)，该模型在所有数据集上的结果往往很差，尤其是在twitter数据集上。由于twitter数据集中的句子语法较少，口语化程度高，句法结构不完整，因此需要一个强大的特征抽取器来提取其语义信息进行情感分类。对于缺乏句法信息的句子，原文语义信息尤为重要；

5.移除MHSA2(指图6所示图中的第二个MH self-attention层)。信息交互学习层(MHSA2)中多头自注意的功能是交互学习句法和语义特征。MHSA2被删除，我们使用连接和池来代替这个组件，并且没有交互的学习过程。这种消融在rest14和rest15数据集上的表现略好于基线模型，在其他三个数据集上的结果略低。对于模型的整体性能来说，这一部分也是必不可少的，这意味着对于这项任务来说，语法和语义的交互学习是必不可少的。

总的来说，对于MGGCN来说，只有这些模块协同工作，才能在五个数据集上实现重大改进。如果MGGCN中没有选通GCN，则所有数据集的性能都会下降，尤其是lap14和rest15数据集的性能下降。表2中的结果表明，MGGCN的每个模块在五个数据集上都是有效且必不可少的。

表2

请参见图8，图8为本发明一个示例性实施例提供的特定目标的情感极性分类装置的结构示意图。包括的各单元用于执行图1、图2和图5对应的实施例中的各步骤，具体请参阅图1、图2和图5各自对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图8，特定目标的情感极性分类装置8包括：

获取单元81，用于获取上下文对应的词向量；其中，所述上下文包括至少一个特定目标，所述特定目标包括至少一个单词；

隐藏信息提取单元82，用于将所述上下文对应的词向量输入预设隐藏信息提取网络模型，提取所述上下文对应的隐藏状态向量；

第一编码单元83，用于对所述上下文对应的隐藏状态向量进行多头自注意力编码，得到上下文语义信息编码；

门控图卷积单元84，用于基于结合门控机制的预设图卷积神经网络，提取所述上下文对应的句法向量；

筛选单元85，用于通过所述特定目标对应的权重向量，对所述句法向量进行筛选，得到与所述特定目标相关的上下文句法信息编码；

第二编码单元86，用于对所述上下文语义信息编码和上下文句法信息编码进行拼接，将拼接后的所述上下文语义信息编码和上下文句法信息编码进行多头自注意力编码，得到上下文语义句法信息编码；

平均池化单元87，用于将所述上下文语义信息编码和上下文语义句法信息编码取平均池化后再进行拼接，得到所述特定目标的特征表示；

分类单元88，用于将所述特定目标的特征表示输入预设情感极性分类函数中，得到所述特定目标的情感极性分类概率。

请参见图9，图9是本发明一个示例性实施例提供的特定目标的情感极性分类设备的示意图。如图9所示，所述特定目标的情感极性分类设备9可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是特定目标的情感极性分类设备9的示例，并不构成对特定目标的情感极性分类设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述特定目标的情感极性分类设备9还可以包括输入输出设备、网络接入设备、总线等。

所称处理器90可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器91可以是所述特定目标的情感极性分类设备9的内部存储单元，例如特定目标的情感极性分类设备9的硬盘或内存。所述存储器91也可以是所述特定目标的情感极性分类设备9的外部存储设备，例如所述特定目标的情感极性分类设备9上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括所特定目标的情感极性分类设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述特定目标的情感极性分类设备所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。