具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参阅图1,图1为本发明一个示例性实施例提供的情感分类方法的流程示意图,所述方法由情感分类设备(以下简称情感分类设备)执行,包括如下步骤:
S101:获取文本中目标句子对应的嵌入表示;其中,所述目标句子中包括上下文和目标词,所述目标词中至少包括一个单词。
在本申请实施例中,情感分类设备先获取文本中的目标句子,再根据目标句子得到其对应的嵌入表示。
其中,所述目标句子包括上下文和目标词,所述目标词中至少包括一个单词。
情感分类设备根据目标句子得到其对应的嵌入表示的过程是将目标句子中的每个单词映射为一个向量,再根据目标句子中各个单词对应的向量组成一个矩阵,该矩阵即为目标句子对应的嵌入表示。
在一个可选的实施例中,情感分类设备可以仅利用词向量工具,将目标句子中的每个单词映射为一个词向量,再根据各个单词对应的词向量组成一个词向量矩阵,得到目标句子对应的嵌入表示。
其中,在一些例子中,该词向量工具可以为Glove词嵌入工具,在另一些例子中,也可以为其他词嵌入工具,在此不进行限定。
在另一个可选的实施例中,为更好地将目标句子转化为嵌入表示,请参阅图2,步骤S101包括步骤S1011~S1012,具体如下:
S1011:获取所述目标句子对应的词嵌入表示和所述目标句子对应的词性标签嵌入表示。
情感分类设备基于词嵌入工具得到目标句子对应的词嵌入表示,并根据标签嵌入工具得到目标句子对应的词性标签嵌入表示。
其中,目标句子对应的词性标签嵌入表示包括目标句子中每个单词对应的词性标签的嵌入表示。
在一些例子中,该标签向量工具可以为part-of-speech(PoS)标签嵌入工具,在另一些例子中,也可以为标签嵌入工具,在此不进行限定。
S1012:拼接所述目标句子对应的词嵌入表示和所述目标句子对应的词性标签嵌入表示,得到所述目标句子对应的嵌入表示。
情感分类设备将目标句子中每个单词对应的词嵌入表示和词性标签嵌入表示进行首尾拼接,得到每个单词对应的嵌入表示,最终得到目标句子对应的嵌入表示。
其中,目标句子对应的嵌入表示为
,
表示目标句子中第
i个单词对应的嵌入表示。
S102:将所述目标句子对应的嵌入表示输入预设的特征信息提取网络,获取所述目标句子对应的句子特征表示。
所述特征信息提取网络预先设置在情感分类设备中,用于提取目标句子中的特征信息。具体地,情感分类设备获取到目标句子对应的嵌入表示之后,将目标句子对应的嵌入表示输入预设的特征信息提取网络,获取目标句子对应的句子特征表示。
在一个可选的实施例中,所述特征信息提取网络为双向GRU神经网络。
在另一个可选的实施例中,所述特征信息提取网络也可以为其他类型的循环神经网络,例如:长短期记忆网络、双向长短期记忆网络。
请参阅图3,为更准确地获取所述目标句子对应的句子特征表示,步骤S102包括步骤S1021~S1022,具体如下:
S1021:将所述目标句子对应的嵌入表示输入至预设的双向GRU神经网络,获取所述目标句子对应的前向句子特征表示和所述目标句子对应的后向句子特征表示。
在本申请实施例中,双向GRU神经网络(Bi-GRU)预先设置在情感分类设备中,相较于双向长短期记忆网络,其提取到的句子特征不仅不会减少,而且提取过程的效率会更高。
具体地,情感分类设备将所述目标句子对应的嵌入表示输入至预设的双向GRU神经网络,获取所述目标句子对应的前向句子特征表示和所述目标句子对应的后向句子特征表示。
其中,预设的双向神经网络中包括用于提取前向句子特征表示的前向GRU网络和用于提取后向句子特征表示的后向GRU网络。
在本申请实施例中,目标句子对应的前向句子特征表示为
,
,
其中,
表示前向GRU网络,
表示目标句子中第i个单词对应的嵌入表示;目标句子对
应的后向句子特征表示为
,
,其中,
表示后向GRU网络。
S1022:拼接所述前向句子特征表示和所述后向句子特征表示,得到所述目标句子对应的句子特征表示。
情感分类设备将所述前向句子特征表示和所述后向句子特征表示首位拼接,得到
所述目标句子对应的句子特征表示
。
其中,
,
表示目标句子中各个单词对应的特征表示,
表示目标词中各个单词对应的
特征表示。
S103:获取所述目标句子对应的权重图;其中,所述权重图中包括信息从所述目标句子中单词对应的节点传递到所述单词对应的节点的邻接节点的概率。
在本申请实施例中,将目标句子对应的句法依存树转换为权重图,并且,在该权重图中并不是所有邻接的单词对应的节点都享有相同的权重,而是考虑了单词对应的节点之间的节点依存类型,根据节点之间的节点依存类型去调节权重的大小,也就是根据节点之间的节点依存类型调节信息从目标句子中单词对应的节点传递到单词对应的节点的邻接节点的概率。
该权重图在情感分类设备中会以邻接矩阵的方式去存储。也就是说,本实施例中邻接矩阵内存储的即是信息从目标句子中单词对应的节点传递到单词对应的节点的邻接节点的概率。
具体地,在一个可选的实施例中,为准确地获取到目标句子对应的权重图,请参阅图4,步骤S103包括步骤S1031~S1032,如下所示:
S1031:获取所述目标句子对应的句法依存树和节点依存类型对应的嵌入表示;其中,所述句法依存树中包括所述目标句子中单词对应的节点以及邻接的所述节点之间的节点依存类型。
在本申请实施例中,可以通过biaffine依存句法分析器获取目标句子对应的句法依存树。
获取到的目标句子对应的句法依存树中包括目标句子中各个单词对应的节点以及邻接的所述节点之间的节点依存类型。
在获取节点依存类型对应的嵌入表示之前,情感分类设备还需要对文本中各个句子中存在的节点依存类型进行统计,并获取每一种节点依存类型对应的嵌入表示。
S1032:根据所述目标句子对应的句子特征表示、所述目标句子对应的句法依存树、所述节点依存类型对应的嵌入表示和预设的权重图生成算法,生成所述目标句子对应的权重图。
在本申请实施例中,该权重图生成算法预先设置在情感分类设备中,情感分类设备根据所述目标句子对应的句子特征表示、所述目标句子对应的句法依存树、所述节点依存类型对应的嵌入表示和预设的权重图生成算法,生成所述目标句子对应的权重图。
具体地,情感分类设备首先根据目标句子对应的句子特征表示,得到目标句子中单词对应的特征表示。
之后,情感分类设备根据句法依存树中邻接的节点之间的节点依存类型和节点依存类型对应的嵌入表示,得到句法依存树中邻接的节点之间的节点依存类型对应的嵌入表示。
再之后,情感分类设备根据目标句子中单词对应的特征表示、句法依存树中邻接的节点之间的节点依存类型对应的嵌入表示和预设的注意力值计算公式,得到目标句子中单词对应的节点相对于单词对应的节点的邻接节点的注意力值。
其中,预设的注意力值计算公式如下:
表示句法依存树中邻接的第i个节点和第j个节点之间的节点依存类型对应的
嵌入表示;
表示可训练参数矩阵;
表示目标句子对应的句子特征表示
中第i个
单词对应的特征表示;
表示目标句子对应的句子特征表示
中j个单词对应的特征表
示;“;”表示拼接;“
”表示向量的点乘;
表示在向量维度方向上求和;
表示激活
函数;
表示目标句子中第i个单词对应的节点相对于第j个节点的注意力值,第j个节点
是第i个节点的邻接节点。
最后,情感分类设备对目标句子中单词对应的节点相对于节点的邻接节点的注意力值进行归一化操作,得到信息从目标句子中单词对应的节点传递到单词对应的节点的邻接节点的概率。
其中,进行归一化操作的公式如下:
表示目标句子中第i个单词对应的节点相对于第j个节点的注意力值,k表示目
标句子中单词对应的节点的序号,
表示目标句子中第i个单词对应的节点的所有邻接节
点的序号合集;
表示目标句子中第i个单词对应的节点相对于第k个节点的注意力值;
表示指数函数;
表示目标句子中第i个单词对应的节点传递到第j个单词对应的节
点的概率,第j个节点是第i个节点的邻接节点。
在本实施例中通过上述方式获取到了更为准确的权重图,相较于以往所有邻接的节点都享有相同权重的方式,该种权重图能够赋予句法关系更密切的邻接节点更多的注意力,从而在后续提取句法信息的过程中,减少不必要的噪音。
S104:将所述目标句子对应的句子特征表示和所述目标句子对应的权重图输入预设的权重图句法信息提取网络,得到所述目标句子对应的权重图句法信息。
在本申请实施例中,该权重图句法信息提取网络预先设置在情感分类设备中,情感分类设备在获取到目标句子对应的句子特征表示和目标句子对应的权重图之后,将其输入至预设的权重图句法信息提取网络,得到目标句子对应的权重图句法信息。
其中,该权重图句法信息提取网络为图卷积网络(Graph ConvolutionalNetworks ,GCNs)。
在本实施例中,目标句子对应的权重图句法信息用
表示,
,其中,
为目标句子对应的句子特征表示,
为权重图对应
的邻接矩阵,
表示该权重图句法信息提取网络,也即图卷积网络,
表示图卷积
网络的层数。
在一个可选的实施例中,该权重图句法信息提取网络中第
层的运算公式如
下:
其中,
表示目标句子中第i个单词对应的节点传递到第j个单词对应的节点的
概率,
表示目标句子中第j个单词在权重图句法信息提取网络中第
层的输出结果;
和
均为可训练模型参数;n表示目标句子中单词的个数;
表示激活函数,为Relu函数;
表示目标句子中第i个单词在权重图句法信息提取网络中第
层的输出结果。
S105:获取所述目标句子对应的句法邻接矩阵和所述目标句子对应的语义邻接矩阵。
情感分类设备利用biaffine依存句法分析器获取目标句子对应的句法依存树,在情感分类设备中句法依存树对应的句法依存图以句法邻接矩阵的方式存储。
,
表示第i个单词对应的第一归一化常数,
表示第i个单
词对应的节点在句法依存图中的度;
表示第i个单词对应的节点与第j个
单词对应的节点为邻接节点。
情感分类设备利用Hanlp语义分析器获取目标句子对应的语义依存图,在情感分类设备中语义依存图以语义邻接矩阵的方式存储。
,
表示第i个单词对应的第二归一化常数,
表示第i个
单词对应的节点在语义依存图中的度,
表示第i个单词对应的节点与第j
个单词对应的节点为邻接节点。
S106:将所述目标句子对应的句子特征表示、所述目标句子对应的句法邻接矩阵和所述目标句子对应的语义邻接矩阵输入预设的语义句法信息整合网络,得到所述目标句子对应的语义补充句法信息。
在本申请实施例中,该语义句法信息整合预先设置在情感分类设备中,其能够对目标句子对应的句子特征表示中的句法信息和语义信息进行整合,得到目标句子对应的语义补充句法信息。
在一个可选的实施例中,为准确地获取目标句子对应的语义补充句法信息,请参阅图5,步骤S106包括步骤S1061~S1062,具体如下:
S1061:将所述目标句子对应的句子特征表示、所述目标句子对应的句法邻接矩阵和所述目标句子对应的语义邻接矩阵输入至预设的图卷积网络,得到所述目标句子对应的句法依存信息和所述目标句子对应的语义依存信息。
在本申请实施例中,预设的图卷积网络表示为
,其中,
表示该图卷积网
络的层数。
其中,
为目标句子对应的句法邻接矩阵,
为目标句子对应的句法邻接
矩阵,
为目标句子对应的句子特征表示,
为目标句子对应的句法依存信息,
为目标句子对应的语义依存信息。
S1062:根据所述句法依存信息、所述语义依存信息和预设的门控整合算法,得到所述目标句子对应的语义补充句法信息。
在本申请实施例中,该门控整合算法预先设置在情感分类设备中,其能够通过门控机制对句法依存信息和语义依存信息进行整合,得到目标句子对应的语义补充句法信息。
具体地,情感分类设备首先根据所述句法依存信息、所述语义依存信息和预设的整合得分计算公式,获取所述目标句子对应的整合得分。
其中,预设的整合得分计算公式如下:
表示可训练参数,T表示求转置,
为目标句子对应的句法依存信息,
为目标句子对应的语义依存信息,S为目标句子对应的整合得分。
之后,情感分类设备对所述目标句子对应的整合得分进行最大池化操作,得到所述目标句子对应的门控因子。
其中,目标句子对应的门控因子为
,
,
表示
Sigmoid函数,
表示进行最大池化操作,S为目标句子对应的整合得分。
最后,情感分类设备根据所述门控因子对所述句法依存信息和所述语义依存信息进行整合,得到所述目标句子对应的语义补充句法信息。
其中,目标句子对应的语义补充句法信息表示为
,
,
为目标句子对应的句法依存信息,
为目
标句子对应的语义依存信息,
为目标句子对应的门控因子,“
”表示向量的点乘。
在本实施例中设计了一种门控机制能够对所述句法依存信息和所述语义依存信息进行更好地整合,使目标句子对应的语义补充句法信息饱含更多有利于情感分类的信息。
S107:根据所述目标词在所述目标句子中的位置、所述权重图句法信息、所述语义补充句法信息和预设的情感信息提取算法,得到所述权重图句法信息对应的第一情感特征表示和所述语义补充句法信息对应的第二情感特征表示。
在本申请实施例中,该情感信息提取算法预先设置在情感分类设备中,其能够根据目标词在所述目标句子中的位置,分别提取权重图句法信息中与目标词相关的第一情感特征表示,和语义补充句法信息中与目标词相关的第二情感特征表示。
在一个可选的实施例中,请参阅图6,步骤S107包括步骤S1071~S1072,具体如下:
S1071:根据所述目标词在所述目标句子中的位置,对所述权重图句法信息和所述语义补充句法信息进行信息遮蔽操作,得到信息遮蔽后的所述权重图句法信息和所述语义补充句法信息。
,其中,
表示目标词
中各个单词对应的特征表示,也就是目标词在句子中的位置为从
到
。
情感分类设备根据目标词在所述目标句子中的位置,对权重图句法信息和语义补充句法信息进行信息遮蔽操作,得到信息遮蔽后的权重图句法信息和语义补充句法信息。
其中,
表示信息遮蔽后的权重图句法信息,
表示目标句
子对应的权重图句法信息,
表示信息遮蔽后的语义补充句法信息,
表示目标句子对应的语义补充句法信息。
其中,t表示第t个单词在目标句子中的位置,
表示目标词在目标句子中的
起始位置,
表示目标词在目标句子中的终止位置。
S1072:对信息遮蔽后的所述权重图句法信息和所述语义补充句法信息进行平均池化操作,得到所述权重图句法信息对应的第一情感特征表示和所述语义补充句法信息对应的第二情感特征表示。
情感分类设备对信息遮蔽后的所述权重图句法信息和所述语义补充句法信息进行平均池化操作,得到所述权重图句法信息对应的第一情感特征表示和所述语义补充句法信息对应的第二情感特征表示。
其中,权重图句法信息对应的第一情感特征表示为
和语义补充句法信息对应
的第二情感特征表示
。
S108:对所述第一情感特征表示和所述第二情感特征表示进行融合,得到融合后的情感特征表示,将所述融合后的情感特征表示输入预设的情感分类函数中,得到所述目标词的情感分类结果。
在本申请实施例中,情感分类设备先对第一情感特征表示和第二情感特征表示进行融合,得到融合后的情感特征表示,之后在将所述融合后的情感特征表示输入预设的情感分类函数中,得到所述目标词的情感分类结果。
具体地,情感分类设备先根据所述第一情感特征表示、所述第二情感特征表示和预设的加权融合公式,得到所述融合后的情感特征表示。
其中,预设的加权融合公式如下:
表示可训练参数矩阵,
语义补充句法信息对应的第二情感特征表示,
表
示Sigmoid函数,
表示权重图句法信息对应的第一情感特征表示,
为融合后的情
感特征表示。
之后,将所述融合后的情感特征表示输入预设的情感分类函数中,得到所述目标词的情感分类结果。
其中,预设的情感分类函数如下:
其中,
为融合后的情感特征表示,
和
均为可训练参数矩阵,
为归一化指数函数,
为目标词的情感分类结果。
在本申请实施例中,情感分类的类别包括积极、中性和消极,
也就可以理解为在
积极、中性和消极三种情感分类结果下的概率。
在本申请实施例中,通过获取文本中目标句子对应的嵌入表示;其中,所述目标句子中包括上下文和目标词,所述目标词中至少包括一个单词;将所述目标句子对应的嵌入表示输入预设的特征信息提取网络,获取所述目标句子对应的句子特征表示;获取所述目标句子对应的权重图;其中,所述权重图中包括信息从所述目标句子中单词对应的节点传递到所述单词对应的节点的邻接节点的概率;将所述目标句子对应的句子特征表示和所述目标句子对应的权重图输入预设的权重图句法信息提取网络,得到所述目标句子对应的权重图句法信息;获取所述目标句子对应的句法邻接矩阵和所述目标句子对应的语义邻接矩阵;将所述目标句子对应的句子特征表示、所述目标句子对应的句法邻接矩阵和所述目标句子对应的语义邻接矩阵输入预设的语义句法信息整合网络,得到所述目标句子对应的语义补充句法信息;根据所述目标词在所述目标句子中的位置、所述权重图句法信息、所述语义补充句法信息和预设的情感信息提取算法,得到所述权重图句法信息对应的第一情感特征表示和所述语义补充句法信息对应的第二情感特征表示;对所述第一情感特征表示和所述第二情感特征表示进行融合,得到融合后的情感特征表示,将所述融合后的情感特征表示输入预设的情感分类函数中,得到所述目标词的情感分类结果。本申请实施例由于获取的权重图中包括了信息从所述目标句子中单词对应的节点传递到所述单词对应的节点的邻接节点的概率,从而使得在句法信息提取的过程中,能够削弱不相关节点的信息传递,从而减少引入不必要的噪音,并且,还基于语义句法信息整合网络,将从语义邻接矩阵中提取到的语义信息整合到句法信息中,得到语义补充句法信息,弥补了信息传递过程中的损失,最后通过融合权重图句法信息和语义补充句法信息,利用融合后的情感特征表示进行情感分类,提高了最终情感分类结果的准确性。
在一个可选的实施例中,情感分类设备在基于本申请实施例提出的情感分类方法对目标词进行情感分类之前,需要使用训练数据对情感分类方法相对应的情感分类模型(Bi-BGCN)进行整体训练。
具体地,本申请实施例采用Adam 优化算法和L2 正则化的交叉熵损失函数进行情感分类模型(Bi-BGCN)的参数训练。
L2 正则化的交叉熵损失函数如下:
其中,i为第i个训练样本的下标,j为第j个情感分类类别的下标,y是真实的情感
分类结果,p为预测的情感分类结果,P为情感分类的类别数量,
为情感分类模型(Bi-
BGCN)中的所有可训练参数,
为正则化项的系数。
关于Adam算法在此不进行赘述,为现有的参数优化算法。
请参见图7,为本申请一个实施例提供的情感分类设备的结构示意图。如图7所示,该情感分类设备7可以包括:处理器70、存储器71以及存储在该存储器71并可以在该处理器70上运行的计算机程序72,例如:情感分类程序;该处理器70执行该计算机程序72时实现上述各方法实施例中的步骤,例如图1所示的步骤S101至S108。
其中,处理器70可以包括一个或多个处理核心。处理器70利用各种接口和线路连接情感分类设备7内的各个部分,通过运行或执行存储在存储器71内的指令、程序、代码集或指令集,以及调用存储器71内的数据,执行情感分类设备7的各种功能和处理数据,可选的,处理器70可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programble Logic Array,PLA)中的至少一个硬件形式来实现。处理器70可集成中央处理器(Central ProcessingUnit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器70中,单独通过一块芯片进行实现。
其中,存储器71可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器71包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器71可用于存储指令、程序、代码、代码集或指令集。存储器71可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器71可选的还可以是至少一个位于远离前述处理器70的存储装置。
本发明并不局限于上述实施方式,如果对本发明的各种改动或变形不脱离本发明的精神和范围,倘若这些改动和变形属于本发明的权利要求和等同技术范围之内,则本发明也意图包含这些改动和变形。