CN115878805A - 情感分析方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种情感分析方法、装置、电子设备及存储介质，属于人工智能技术领域。所述方法包括：获取与输入内容对应的词语级标签向量、字符级标签向量以及词向量矩阵；对所述词向量矩阵进行语义特征提取，得到多个语义特征矩阵；对多个所述语义特征矩阵进行上下文语义特征提取，得到词语级语义特征；对所述词语级标签向量、所述字符级标签向量以及所述词语级语义特征进行多粒度特征融合，得到词语级语义特征向量、字符级语义特征向量和融合后的语义特征向量；根据所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量得到与所述输入内容对应的情感分类结果。

Description

情感分析方法、装置、电子设备及存储介质

技术领域

本申请属于人工智能技术领域，具体涉及一种情感分析方法、装置、电子设备及存储介质。

背景技术

短文本情感分析技术是指利用自然语言处理技术对带有情感色彩的主观性文本进行语义信息挖掘，学习文本语料中的语义特征，通过一定的方法得到文本的情感分类结果。

现有的文本情感分析方法大多基于机器学习方法，文本特征信息需要人工设计，不能充分挖掘短文本的内在语义信息，导致情感分类结果准确性较低。

发明内容

本申请实施例的目的是提供一种情感分析方法、装置、电子设备及存储介质，能够解决情感分类结果准确性低的问题。

第一方面，本申请实施例提供了一种情感分析方法，该方法包括：

获取与输入内容对应的词语级标签向量、字符级标签向量以及词向量矩阵；

对所述词向量矩阵进行语义特征提取，得到多个语义特征矩阵；

对多个所述语义特征矩阵进行上下文语义特征提取，得到词语级语义特征；

对所述词语级标签向量、所述字符级标签向量以及所述词语级语义特征进行多粒度特征融合，得到词语级语义特征向量、字符级语义特征向量和融合后的语义特征向量；

根据所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量得到与所述输入内容对应的情感分类结果。

第二方面，本申请实施例提供了一种情感分析装置，所述装置包括：

第一处理模块，用于获取与输入内容对应的词语级标签向量、字符级标签向量以及词向量矩阵；

第二处理模块，用于对所述词向量矩阵进行语义特征提取，得到多个语义特征矩阵；

第三处理模块，用于对多个所述语义特征矩阵进行上下文语义特征提取，得到词语级语义特征；

第四处理模块，用于对所述词语级标签向量、所述字符级标签向量以及所述词语级语义特征进行多粒度特征融合，得到词语级语义特征向量、字符级语义特征向量和融合后的语义特征向量；

第五处理模块，用于根据所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量得到与所述输入内容对应的情感分类结果。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，通过对词语级标签向量、字符级标签向量以及词语级语义特征进行多粒度特征融合，将字符级语义信息与词语级语义信息进行融合，实现字词信息之间的互补，能够同时获取字符级语义信息以及词语级语义信息，充分挖掘输入内容的内在语义信息，缓解一词多义现象，提高情感分类结果的准确性。

附图说明

图1是本申请实施例中文本情感分析方法的流程图。

图2是本申请实施例中文本情感分析模型的示意图。

图3是本申请实施例中跨通道特征提取模块和多头自注意力模块的示意图。

图4是本申请实施例中文本情感分析装置的示意图。

图5是本申请实施例中电子设备的示意图。

图6是本申请实施例中电子设备的硬件结构的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的文本情感分析方法进行详细地说明。

如图1所示，本实施例介绍了一种文本情感分析方法，所述方法包括步骤1100-1500。

步骤1100：获取与输入内容对应的词语级标签向量、字符级标签向量以及词向量矩阵。

本实施例中将输入内容输入到情感分类模型中来得到与输入内容对应的情感分类结果。如图2所示，情感分类模型包括双通道语义编码层、跨通道卷积-自注意力特征提取层、多粒度特征融合层以及输出层。通过双通道语义编码层对输入内容进行词语级和字符级语义特征编码。双通道语义编码层包括基于单词的BERT模型(Word-based BERT，WOBERT)和ALBERT(ALite BERT)模型。将输入内容输入到WOBERT模型中进行词语级语义信息学习，得到词语级语义信息嵌入，WOBERT模型输出词语级标签向量X_W-CLS，和词向量矩阵H_W。将输入内容输入到ALBERT模型中进行字符级语义信息学习，得到字符级语义信息嵌入，ALBERT模型输出字符级标签向量X_C-CLS。输入内容可以是文本内容，也可以是音频内容。

步骤1200：对所述词向量矩阵进行语义特征提取，得到多个语义特征矩阵。

通过跨通道卷积-自注意力特征提取层对词向量矩阵H_W进行语义特征提取，得到语义特征矩阵F_K，其中K表示矩阵编号。

步骤1300：对多个所述语义特征矩阵进行上下文语义特征提取，得到词语级语义特征。

跨通道卷积-自注意力特征提取层包括多头自注意力模块，通过多头自注意力模块对语义特征矩阵F_K进行上下文语义特征提取，得到词语级语义特征X_W。

步骤1400：对所述词语级标签向量、所述字符级标签向量以及所述词语级语义特征进行多粒度特征融合，得到词语级语义特征向量、字符级语义特征向量和融合后的语义特征向量。

通过多粒度特征融合层进行多粒度特征融合，多粒度特征融合包括词语级粒度特征融合，以及词语级粒度特征与字符级粒度特征的融合。将词语级标签向量X_W-CLS、字符级标签向量X_C-CLS以及词语级语义特征X_W输入到多粒度特征融合层，实现字符级语义信息和词语级语义信息的互补。

步骤1500：根据所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量得到与所述输入内容对应的情感分类结果。

本实施例通过对词语级标签向量、字符级标签向量以及词语级语义特征进行多粒度特征融合，将字符级语义信息与词语级语义信息进行融合，实现字词信息之间的互补，能够同时获取字符级语义信息以及词语级语义信息，充分挖掘输入内容的内在语义信息，缓解一词多义现象，提高情感分类结果的准确性。

在一种实施方式中，所述步骤1300包括步骤1310。

步骤1310：通过多头自注意力模块对多个所述语义特征矩阵进行上下文语义特征提取，得到所述词语级语义特征，其中，所述多头自注意力模块为具有多个深度多头自注意力计算层的多跳深度网络结构。

跨通道卷积-自注意力特征提取层包括多头自注意力模块。如图3所示，多头自注意力模块包括多个深度多头自注意力计算层，每个深度多头自注意力计算层作为独立模块，具有相同的计算机制。前一个深度多头自注意力计算层的输出作为后一个深度多头自注意力计算层的输出，在最后一个深度多头自注意力计算层之后还设有池化层。

在一种实施方式中，所述步骤1310，包括步骤1311-1316。

步骤1311：对每个所述语义特征矩阵进行变换，得到第一矩阵、第二矩阵和第三矩阵。

初始化参数矩阵W_h ^Q、W_h ^K、W_h ^V，将语义特征矩阵F_K分别与三个参数矩阵相乘，得到第一矩阵Qh、第二矩阵Kh、第三矩阵Vh，计算方式如下：

步骤1312：根据所述第一矩阵、所述第二矩阵以及所述第三矩阵，计算多头自注意力矩阵。

多头自注意力矩阵head_h计算方式如下：

这里D表示特征维度。

步骤1313：对所述多头自注意力矩阵进行线性变换，得到历史信息。

历史信息H计算方式如下：

H＝tanh(W_m·head_h+b_H)

W_m为随机初始化多头自注意力矩阵head_h对应的的权重矩阵，b_H为随机初始化的多头自注意力矩阵head_h对应的偏置项。

步骤1314：计算每个所述深度多头自注意力计算层输出的特征矩阵，其中，第N个深度多头自注意力计算层的输入为第N-1个深度多头自注意力计算层输出的特征矩阵、所述第二矩阵、所述第三矩阵、所述历史信息。

每个深度多头自注意力计算层的计算机制相同。对于第i个计算层，输出为特征矩阵O_h ⁱ，计算方式如下：

其中O_h ^i-1是第i-1个深度多头自注意力计算层输出的特征矩阵。

步骤1315：对最后一个多头自注意力层输出的特征矩阵进行多头池化运算，对多头池化运算后得到的特征向量进行拼接，得到与每个所述语义特征矩阵对应的特征向量。

最后一个多头自注意力层输出的特征矩阵为O_h。利用softmax函数对特征矩阵O_h进行计算，计算方式如下：

a_h＝softmax(O_h)

M＝Concat(head′₁，head′₂，…，head′_n)

对每个语义特征矩阵F_K都计算出对应的特征向量M。

步骤1316：将每个所述语义特征矩阵对应的特征向量进行拼接，得到所述词语级语义特征。

X_W＝Concat(M₂，M₃，M₄)

其中M₂、M₃、M₄是与每个语义特征矩阵F_K对应的特征向量，将M₂、M₃、M₄进行拼接得到词语级语义特征X_W。

本实施例通过多头自注意力模块对所述多个语义特征矩阵进行上下文语义特征提取，采用多跳深度网络结构进行注意力计算，能够在更短路径上获取长距离依赖，可以在孤立的语义特征向量之间构建联系，从而获取词语之间的依赖关系。

在一种实施方式中，所述步骤1400，包括步骤1410-1420。

步骤1410：将所述词语级语义特征与所述词语级标签向量进行词语级粒度特征融合，得到词语级语义特征向量。

通过多粒度特征融合层对词语级语义特征X_W和词语级标签向量X_W-CLS进行词语级粒度特征融合，得到词语级语义特征向量Z_W。

在一种实施方式中，所述步骤1410，包括步骤1411-1417。

步骤1411：初始化所述词语级标签向量对应的第一权重矩阵、所述词语级语义特征对应的第二权重矩阵、所述词语级标签向量对应的第一偏置项、所述词语级语义特征对应的第二偏置项、第三偏置项以及第四偏置项。

随机初始化词语级标签向量对应的第一权重矩阵W₁、词语级语义特征对应的第二权重矩阵W₂、词语级标签向量对应的第一偏置项b₁、词语级语义特征对应的第二偏置项b₂、第三偏置项b₃、第四偏置项b₄。

步骤1412：根据所述第一权重矩阵和所述第一偏置项对所述词语级标签向量进行微调，得到第一特征向量；

计算第一权重矩阵W₁和词语级标签向量X_W-CLS的乘积，将第一权重矩阵W₁和词语级标签向量X_W-CLS的乘积加上第一偏置项b₁，得到第一特征向量Y_W-CLS。

Y_W-CLS＝W₁X_W-CLS+b₁

步骤1413：根据所述第二权重矩阵和所述第二偏置项对所述词语级语义特征进行微调，得到第二特征向量。

计算第二权重矩阵W₂和词语级语义特征X_W的乘积，将第二权重矩阵W₂和词语级语义特征X_W的乘积加上第二偏置项b₂，得到第二特征向量Y_W。

Y_W＝W₂X_W+b₂

步骤1414：根据所述第三偏置项对所述第一特征向量和所述第二特征向量进行噪声过滤，得到噪声过滤后的特征向量。

计算第一特征向量Y_W-CLS、第二特征向量Y_W和第三偏置项b₃的和，通过Tanh函数对第一特征向量Y_W-CLS、第二特征向量Y_W和第三偏置项b₃的和进行计算，得到噪声过滤后的特征向量Y₁。

Y₁＝Tanh(Y_W-CLS+Y_W+b₃)

步骤1415：根据所述第四偏置项和所述第一特征向量，计算第一权重向量；

计算第一特征向量Y_W-CLS与第四偏置项b₄的和，通过Tanh函数对第一特征向量Y_W-CLS与第四偏置项b₄的和进行计算，得到第一权重向量Y2。

Y₂＝Tanh(Y_W-CLS+b₄)

步骤1416：对所述第一权重向量和所述噪声过滤后的特征向量进行融合，得到特征调整向量。

计算第一权重向量Y2和噪声过滤后的特征向量Y1的哈达玛积，得到特征调整向量Y。

Y＝Y₁⊙Y₂

步骤1417：通过所述特征调整向量对所述第二特征向量的特征值进行调整，得到所述词语级语义特征向量。

将特征调整向量Y加上第二特征向量Y_W得到词语级语义特征向量Z_W。

Z_W＝Y+Y_W

如果特征调整向量Y的元素值为0，那么第二特征向量Y_W中的特征值不需要修正。如果特征调整向量Y的元素值为正值，则对第二特征向量Y_W中的特征值起到增强作用。如果特征调整向量Y的元素值为负值，则对第二特征向量Y_W中的特征值起到减弱作用。

步骤1420：将所述字符级标签向量和所述词语级语义特征向量，进行词语级粒度特征和字符级粒度特征的融合，得到所述字符级语义特征向量和融合后的语义特征向量。

对字符级标签向量X_C-CLS和词语级语义特征向量Z_W进行融合，进行词语级粒度特征和字符级粒度特征的融合。对字符级标签向量X_C-CLS进行微调，得到字符级语义特征向量Y_C-CLS。根据字符级语义特征向量Y_C-CLS和词语级语义特征向量Z_W计算出融合后的语义特征向量Z_C-W。融合后的语义特征向量Z_C-W是融合了词语级特征和字符级特征的语义特征向量。

在一种实施方式中，所述步骤1420，包括步骤1421-1426。

步骤1421：初始化所述字符级标签向量对应的第三权重矩阵、所述字符级标签向量对应的第五偏置项和所述词语级语义特征向量对应的第六偏置项。

可以随机初始化字符级标签向量对应的第三权重矩阵W₃、字符级标签向量对应的第五偏置项b₅和词语级语义特征向量对应的第六偏置项b₆。

步骤1422：根据所述第三权重矩阵和所述第五偏置项对所述字符级标签向量进行微调，得到所述字符级语义特征向量。

计算第三权重矩阵W₃和字符级标签向量X_C-CLS的乘积，将第三权重矩阵W₃和字符级标签向量X_C-CLS的乘积加上第五偏置项b₅，得到字符级语义特征向量Y_C-CLS。

Y_C-CLS＝W₃X_C-CLS+b₅

步骤1423：根据所述词语级语义特征向量、所述字符级语义特征向量和所述第六偏置项，计算第二权重向量。

计算字符级语义特征向量Y_C-CLS、词语级语义特征向量Z_W和第六偏置项b₆的和，通过Tanh函数对字符级语义特征向量Y_C-CLS、词语级语义特征向量Z_W和第六偏置项b₆的和进行计算，得到第二权重向量T。

T＝Tanh(Z_W+Y_C-CLS+b₆)

步骤1424：对所述第二权重向量和所述词语级语义特征向量进行融合，得到融合后的词语级语义特征向量。

计算第二权重向量T和词语级语义特征向量Z_W的哈达玛积，得到融合后的词语级语义特征向量E_W。

E_W＝Z_W⊙T

步骤1425：对所述第二权重向量和所述字符级语义特征向量进行融合，得到融合后的字符级语义特征向量。

计算字符级语义特征向量Y_C-CLS和1-T的哈达玛积，得到融合后的字符级语义特征向量E_C。

E_C＝Y_C-CLS⊙(1-T)

步骤1426：根据所述融合后的词语级语义特征向量和所述融合后的字符级语义特征向量，计算所述融合后的语义特征向量。

将融合后的词语级语义特征向量E_W加上融合后的字符级语义特征向量E_C，得到融合后的语义特征向量E_C。融合后的语义特征向量E_C为最终融合了词语级特征和字符级特征的语义向量。

在一种实施方式中，所述步骤1200，包括步骤1210-1220。

步骤1210：通过多尺度卷积核对所述词向量矩阵进行文本特征提取，得到多个通道的特征向量。

将词向量矩阵H_W输入到多尺度卷积核中进行文本特征提取，可以提取到不同粒度的局部信息。如图2所示，跨通道卷积-自注意力特征提取层中包括三个卷积层，分别为卷积层Conv-2、卷积层Conv-3、卷积层Conv-4。卷积核数可以采用2×2、3×3、4×4三种尺寸，计算方式如下：

其中，m代表卷积核编号，i代表滑动窗口编号，k代表卷积尺寸，b_i ^m代表偏置项，W_k ^m代表卷积核对应的权重矩阵，f代表激活函数，y_i ^m代表卷积运算后的结果，Y_k ^m代表卷积运算结果拼接得到的特征向量。

步骤1220：对多个所述通道的特征向量进行融合，从不同角度进行语义特征提取，得到所述多个语义特征矩阵。

如图3所示，将卷积运算得到的特征向量输入到跨通道特征提取模块中，通过对位于通道中的特征向量进行融合，从不同角度进行语义特征提取，具体包括词语的词频角度、词语间的依赖关系角度，从而得到语义特征矩阵F_k。

其中Concact表示向量拼接。

在一种实施方式中，在所述步骤1100之前，所述方法还包括步骤2100-2200。

步骤2100：对输入内容进行分词处理。

对输入内容进行分词，得到输入内容中的多个词语。可以使用分词工具Jieba、LTP等进行分词。也可以使用其它分词工具。

步骤2200：通过停用词字典去除分词处理后的输入内容中的停用词。

针对分词后的输入内容，根据停用词字典去除停用词。如果分词后得到的一个词语在停用词字典内，那么将该词语删除。

本实施例中对分词后的输入内容进行停用词去除，可以消除冗余文本的影响，提高情感分类结果的准确性。

在一种实施方式中，所述步骤1500，包括：对所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量进行拼接；通过预设函数对拼接后的结果进行处理，得到所述情感分类结果。

在得到词语级语义特征向量Z_W、字符级语义特征向量Y_C-CLS和融合后的语义特征向量Z_C-W后，对词语级语义特征向量Z_W、字符级语义特征向量Y_C-CLS和融合后的语义特征向量Z_C-W进行拼接。

预设函数是一个分类器，将拼接后的特征向量输入到预设函数后，预设函数可以计算出各种可能的情感分类结果的概率。比如预设函数可以是softmax函数。

本申请实施例提供的文本情感分析方法，执行主体可以为文本情感分析装置。本申请实施例中以文本情感分析装置执行文本情感分析方法为例，说明本申请实施例提供的文本情感分析装置。

如图4所示，本实施例介绍了一种情感分析装置400，所述装置包括：

第一处理模块401，用于获取与输入内容对应的词语级标签向量、字符级标签向量以及词向量矩阵。

第二处理模块402，用于对所述词向量矩阵进行语义特征提取，得到多个语义特征矩阵。

第三处理模块403，用于对多个所述语义特征矩阵进行上下文语义特征提取，得到词语级语义特征。

第四处理模块404，用于对所述词语级标签向量、所述字符级标签向量以及所述词语级语义特征进行多粒度特征融合，得到词语级语义特征向量、字符级语义特征向量和融合后的语义特征向量。

第五处理模块405，用于根据所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量得到与所述输入内容对应的情感分类结果。

本实施例通过对词语级标签向量、字符级标签向量以及词语级语义特征进行多粒度特征融合，将字符级语义信息与词语级语义信息进行融合，实现字词信息之间的互补，能够同时获取字符级语义信息以及词语级语义信息，充分挖掘输入内容的内在语义信息，缓解一词多义现象，提高情感分类结果的准确性。

在一种实施方式中，所述第三处理模块具体用于：

通过多头自注意力模块对多个所述语义特征矩阵进行上下文语义特征提取，得到所述词语级语义特征，其中，所述多头自注意力模块为具有多个深度多头自注意力计算层的多跳深度网络结构。

在一种实施方式中，所述第三处理模块还具体用于：

对每个所述语义特征矩阵进行变换，得到第一矩阵、第二矩阵和第三矩阵；

根据所述第一矩阵、所述第二矩阵以及所述第三矩阵，计算多头自注意力矩阵；

对所述多头自注意力矩阵进行线性变换，得到历史信息；

计算每个所述深度多头自注意力计算层输出的特征矩阵，其中，第N个深度多头自注意力计算层的输入为第N-1个深度多头自注意力计算层输出的特征矩阵、所述第二矩阵、所述第三矩阵、所述历史信息；

对最后一个多头自注意力层输出的特征矩阵进行多头池化运算，对多头池化运算后得到的特征向量进行拼接，得到与每个所述语义特征矩阵对应的特征向量；

将每个所述语义特征矩阵对应的特征向量进行拼接，得到所述词语级语义特征。

在一种实施方式中，所述第四处理模块具体用于：

将所述词语级语义特征与所述词语级标签向量进行词语级粒度特征融合，得到词语级语义特征向量；

将所述字符级标签向量和所述词语级语义特征向量，进行词语级粒度特征和字符级粒度特征的融合，得到所述字符级语义特征向量和融合后的语义特征向量。

在一种实施方式中，所述第四处理模块还具体用于：

初始化所述词语级标签向量对应的第一权重矩阵、所述词语级语义特征对应的第二权重矩阵、所述词语级标签向量对应的第一偏置项、所述词语级语义特征对应的第二偏置项、第三偏置项以及第四偏置项；

根据所述第一权重矩阵和所述第一偏置项对所述词语级标签向量进行微调，得到第一特征向量；

根据所述第二权重矩阵和所述第二偏置项对所述词语级语义特征进行微调，得到第二特征向量；

根据所述第三偏置项对所述第一特征向量和所述第二特征向量进行噪声过滤，得到噪声过滤后的特征向量；

根据所述第四偏置项和所述第一特征向量，计算第一权重向量；

对所述第一权重向量和所述噪声过滤后的特征向量进行融合，得到特征调整向量；

通过所述特征调整向量对所述第二特征向量的特征值进行调整，得到所述词语级语义特征向量。

在一种实施方式中，所述第四处理模块还具体用于：

初始化所述字符级标签向量对应的第三权重矩阵、所述字符级标签向量对应的第五偏置项和所述词语级语义特征向量对应的第六偏置项；

根据所述第三权重矩阵和所述第五偏置项对所述字符级标签向量进行微调，得到所述字符级语义特征向量；

根据所述词语级语义特征向量、所述字符级语义特征向量和所述第六偏置项，计算第二权重向量；

对所述第二权重向量和所述词语级语义特征向量进行融合，得到融合后的词语级语义特征向量；

对所述第二权重向量和所述字符级语义特征向量进行融合，得到融合后的字符级语义特征向量；

根据所述融合后的词语级语义特征向量和所述融合后的字符级语义特征向量，计算所述融合后的语义特征向量。

在一种实施方式中，所述第二处理模块具体用于：

通过多尺度卷积核对所述词向量矩阵进行文本特征提取，得到多个通道的特征向量；

对多个所述通道的特征向量进行融合，从不同角度进行语义特征提取，得到所述多个语义特征矩阵。

在一种实施方式中，所述装置还包括：

第六处理模块，用于对所述输入内容进行分词处理；

第七处理模块，用于通过停用词字典去除分词处理后的输入内容中的停用词。

在一种实施方式中，所述第五处理模块具体用于：

对所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量进行拼接；

通过预设函数对拼接后的结果进行处理，得到所述情感分类结果。

本申请实施例中的文本情感分析装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的文本情感分析装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的文本情感分析装置能够实现图1至图3的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图5所示，本申请实施例还提供一种电子设备500，包括处理器501和存储器502，存储器502上存储有可在所述处理器501上运行的程序或指令，该程序或指令被处理器501执行时实现上述文本情感分析方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图6为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。

本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1010，用于获取与输入内容对应的词语级标签向量、字符级标签向量以及词向量矩阵。

处理器1010，还用于对所述词向量矩阵进行语义特征提取，得到多个语义特征矩阵。

处理器1010，还用于对多个所述语义特征矩阵进行上下文语义特征提取，得到词语级语义特征。

处理器1010，还用于对所述词语级标签向量、所述字符级标签向量以及所述词语级语义特征进行多粒度特征融合，得到词语级语义特征向量、字符级语义特征向量和融合后的语义特征向量。

处理器1010，还用于根据所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量得到与所述输入内容对应的情感分类结果。

本实施例通过对词语级标签向量、字符级标签向量以及词语级语义特征进行多粒度特征融合，将字符级语义信息与词语级语义信息进行融合，实现字词信息之间的互补，能够同时获取字符级语义信息以及词语级语义信息，充分挖掘输入内容的内在语义信息，缓解一词多义现象，提高情感分类结果的准确性。

可选地，处理器1010，还用于：

通过多头自注意力模块对多个所述语义特征矩阵进行上下文语义特征提取，得到所述词语级语义特征，其中，所述多头自注意力模块为具有多个深度多头自注意力计算层的多跳深度网络结构。

可选地，处理器1010，还用于：

对每个所述语义特征矩阵进行变换，得到第一矩阵、第二矩阵和第三矩阵；

根据所述第一矩阵、所述第二矩阵以及所述第三矩阵，计算多头自注意力矩阵；

对所述多头自注意力矩阵进行线性变换，得到历史信息；

计算每个所述深度多头自注意力计算层输出的特征矩阵，其中，第N个深度多头自注意力计算层的输入为第N-1个深度多头自注意力计算层输出的特征矩阵、所述第二矩阵、所述第三矩阵、所述历史信息；

对最后一个多头自注意力层输出的特征矩阵进行多头池化运算，对多头池化运算后得到的特征向量进行拼接，得到与每个所述语义特征矩阵对应的特征向量；

将每个所述语义特征矩阵对应的特征向量进行拼接，得到所述词语级语义特征。

在一种实施方式中，处理器1010，还用于：

将所述词语级语义特征与所述词语级标签向量进行词语级粒度特征融合，得到词语级语义特征向量；

将所述字符级标签向量和所述词语级语义特征向量，进行词语级粒度特征和字符级粒度特征的融合，得到所述字符级语义特征向量和融合后的语义特征向量。

可选地，处理器1010，还用于：

初始化所述词语级标签向量对应的第一权重矩阵、所述词语级语义特征对应的第二权重矩阵、所述词语级标签向量对应的第一偏置项、所述词语级语义特征对应的第二偏置项、第三偏置项以及第四偏置项；

根据所述第一权重矩阵和所述第一偏置项对所述词语级标签向量进行微调，得到第一特征向量；

根据所述第二权重矩阵和所述第二偏置项对所述词语级语义特征进行微调，得到第二特征向量；

根据所述第三偏置项对所述第一特征向量和所述第二特征向量进行噪声过滤，得到噪声过滤后的特征向量；

根据所述第四偏置项和所述第一特征向量，计算第一权重向量；

对所述第一权重向量和所述噪声过滤后的特征向量进行融合，得到特征调整向量；

通过所述特征调整向量对所述第二特征向量的特征值进行调整，得到所述词语级语义特征向量。

可选地，处理器1010，还用于：

初始化所述字符级标签向量对应的第三权重矩阵、所述字符级标签向量对应的第五偏置项和所述词语级语义特征向量对应的第六偏置项；

根据所述第三权重矩阵和所述第五偏置项对所述字符级标签向量进行微调，得到所述字符级语义特征向量；

根据所述词语级语义特征向量、所述字符级语义特征向量和所述第六偏置项，计算第二权重向量；

对所述第二权重向量和所述词语级语义特征向量进行融合，得到融合后的词语级语义特征向量；

对所述第二权重向量和所述字符级语义特征向量进行融合，得到融合后的字符级语义特征向量；

根据所述融合后的词语级语义特征向量和所述融合后的字符级语义特征向量，计算所述融合后的语义特征向量。

可选地，处理器1010，还用于：

通过多尺度卷积核对所述词向量矩阵进行文本特征提取，得到多个通道的特征向量；

对多个所述通道的特征向量进行融合，从不同角度进行语义特征提取，得到所述多个语义特征矩阵。

可选地，处理器1010，还用于：

对所述输入内容进行分词处理；

通过停用词字典去除分词处理后的输入内容中的停用词。

可选地，处理器1010，还用于：

对所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量进行拼接；

通过预设函数对拼接后的结果进行处理，得到所述情感分类结果。

应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器1009可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。

处理器1010可包括一个或多个处理单元；可选的，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述情感分析方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述情感分析方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述文本情感分析方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种情感分析方法，其特征在于，所述方法包括：

获取与输入内容对应的词语级标签向量、字符级标签向量以及词向量矩阵；

对所述词向量矩阵进行语义特征提取，得到多个语义特征矩阵；

对多个所述语义特征矩阵进行上下文语义特征提取，得到词语级语义特征；

对所述词语级标签向量、所述字符级标签向量以及所述词语级语义特征进行多粒度特征融合，得到词语级语义特征向量、字符级语义特征向量和融合后的语义特征向量；

根据所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量得到与所述输入内容对应的情感分类结果。

2.根据权利要求1所述的方法，其特征在于，所述对多个所述语义特征矩阵进行上下文语义特征提取，得到词语级语义特征，包括：

通过多头自注意力模块对多个所述语义特征矩阵进行上下文语义特征提取，得到所述词语级语义特征，其中，所述多头自注意力模块为具有多个深度多头自注意力计算层的多跳深度网络结构；

所述通过多头自注意力模块对多个所述语义特征矩阵进行上下文语义特征提取，得到所述词语级语义特征，包括：

对每个所述语义特征矩阵进行变换，得到第一矩阵、第二矩阵和第三矩阵；

根据所述第一矩阵、所述第二矩阵以及所述第三矩阵，计算多头自注意力矩阵；

对所述多头自注意力矩阵进行线性变换，得到历史信息；

计算每个所述深度多头自注意力计算层输出的特征矩阵，其中，第N个深度多头自注意力计算层的输入为第N-1个深度多头自注意力计算层输出的特征矩阵、所述第二矩阵、所述第三矩阵、所述历史信息；

对最后一个多头自注意力层输出的特征矩阵进行多头池化运算，对多头池化运算后得到的特征向量进行拼接，得到与每个所述语义特征矩阵对应的特征向量；

将每个所述语义特征矩阵对应的特征向量进行拼接，得到所述词语级语义特征。

3.根据权利要求1所述的方法，其特征在于，所述对所述词语级标签向量、字符级标签向量以及所述词语级语义特征进行多粒度特征融合，得到词语级语义特征向量、字符级语义特征向量和融合后的语义特征向量，包括：

将所述词语级语义特征与所述词语级标签向量进行词语级粒度特征融合，得到词语级语义特征向量；

将所述字符级标签向量和所述词语级语义特征向量，进行词语级粒度特征和字符级粒度特征的融合，得到所述字符级语义特征向量和融合后的语义特征向量。

4.根据权利要求3所述的方法，其特征在于，所述将所述词语级语义特征与所述词语级标签向量进行词语级粒度特征融合，得到词语级语义特征向量，包括：

初始化所述词语级标签向量对应的第一权重矩阵、所述词语级语义特征对应的第二权重矩阵、所述词语级标签向量对应的第一偏置项、所述词语级语义特征对应的第二偏置项、第三偏置项以及第四偏置项；

根据所述第一权重矩阵和所述第一偏置项对所述词语级标签向量进行微调，得到第一特征向量；

根据所述第二权重矩阵和所述第二偏置项对所述词语级语义特征进行微调，得到第二特征向量；

根据所述第三偏置项对所述第一特征向量和所述第二特征向量进行噪声过滤，得到噪声过滤后的特征向量；

根据所述第四偏置项和所述第一特征向量，计算第一权重向量；

对所述第一权重向量和所述噪声过滤后的特征向量进行融合，得到特征调整向量；

通过所述特征调整向量对所述第二特征向量的特征值进行调整，得到所述词语级语义特征向量。

5.根据权利要求3所述的方法，其特征在于，所述将所述字符级标签向量和所述词语级语义特征向量，进行词语级粒度特征和字符级粒度特征的融合，得到所述字符级语义特征向量和融合后的语义特征向量，包括：

初始化所述字符级标签向量对应的第三权重矩阵、所述字符级标签向量对应的第五偏置项和所述词语级语义特征向量对应的第六偏置项；

根据所述第三权重矩阵和所述第五偏置项对所述字符级标签向量进行微调，得到所述字符级语义特征向量；

根据所述词语级语义特征向量、所述字符级语义特征向量和所述第六偏置项，计算第二权重向量；

对所述第二权重向量和所述词语级语义特征向量进行融合，得到融合后的词语级语义特征向量；

对所述第二权重向量和所述字符级语义特征向量进行融合，得到融合后的字符级语义特征向量；

根据所述融合后的词语级语义特征向量和所述融合后的字符级语义特征向量，计算所述融合后的语义特征向量。

6.根据权利要求1所述的方法，其特征在于，所述对所述词向量矩阵进行语义特征提取，得到多个语义特征矩阵，包括：

通过多尺度卷积核对所述词向量矩阵进行文本特征提取，得到多个通道的特征向量；

对多个所述通道的特征向量进行融合，从不同角度进行语义特征提取，得到所述多个语义特征矩阵。

7.根据权利要求1所述的方法，其特征在于，所述根据所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量得到情感分类结果，包括：

对所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量进行拼接；

通过预设函数对拼接后的结果进行处理，得到所述情感分类结果。

8.一种情感分析装置，其特征在于，所述装置包括：

第一处理模块，用于获取与输入内容对应的词语级标签向量、字符级标签向量以及词向量矩阵；

第二处理模块，用于对所述词向量矩阵进行语义特征提取，得到多个语义特征矩阵；

第三处理模块，用于对多个所述语义特征矩阵进行上下文语义特征提取，得到词语级语义特征；

第四处理模块，用于对所述词语级标签向量、所述字符级标签向量以及所述词语级语义特征进行多粒度特征融合，得到词语级语义特征向量、字符级语义特征向量和融合后的语义特征向量；

第五处理模块，用于根据所述词语级语义特征向量、所述字符级语义特征向量和所述融合后的语义特征向量得到与所述输入内容对应的情感分类结果。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的情感分析方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的情感分析方法的步骤。

Images