CN110209824B

CN110209824B - 基于组合模型的文本情感分析方法、系统、装置

Info

Publication number: CN110209824B
Application number: CN201910510457.XA
Authority: CN
Inventors: 胡卫明; 赵品龙
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2019-06-13
Filing date: 2019-06-13
Publication date: 2021-06-22
Anticipated expiration: 2039-06-13
Also published as: CN110209824A

Abstract

本发明属于模式识别技术领域，具体涉及了一种基于组合模型的文本情感分析方法、系统、装置，旨在解决无法有效结合文本的双向序列和结构化信息，文本情感分析不够全面、准确的问题。本发明方法包括：采用词向量词典对文本查表，获得文本每个词的词向量；对词的位置信息进行编码，并与相应词向量相加，获得文本的句子表示；采用双向编码表示器，提取文本的深度双向特征表示；采用多核卷积神经网络提取文本的深度双向特征表示的句子结构信息；对文本的句子结构信息分类得到待判断情感文本的情感类别。本发明能够有效的提取文本的双向序列特性以及结构特征，能够对文本情感进行更为全面的分析，并且网络可以并行训练，能够大大缩减训练时间。

Description

基于组合模型的文本情感分析方法、系统、装置

技术领域

本发明属于模式识别技术领域，具体涉及了一种基于组合模型的文本情感分析方法、系统、装置。

背景技术

很多文本都包含了情感信息，不管是电子商品评价、电影评论、酒店评价等等，越来越多的消费者在购买产品或享受服务的时候会对产品或服务的评价信息进行参考。商家也会对这些评价进行分析，判断这些评价是不是可以吸引顾客，分析哪些方面还存在不足，发现潜在的问题然后进行改进。由于评价数据的数据量往往十分巨大，人工分析将会花费大量的人力物力。利用机器学习方法可以更高效率的进行文本情感分析。

深度神经网络(DNN，Deep Neural Network)由于不需要手工构建特征并且其结果好，已经成为情感分析中广泛使用的方法。文本情感分析中的深度神经网络主要涉及卷积神经网络(CNN，Convolutional Neural Network)和循环神经网络(RNN，Recurrent NeuralNetwork)两种框架。文本是结构化和有组织的，基于卷积神经网络的算法可以有效地挖掘文本中的结构化信息，从而提高分类的准确性。不管对情感分析有用的特征出现在句子中的什么位置，卷积神经网络都能够有效的提取这些特征。比如在情感分析中，卷积神经网络能够通过中心词周围的几个词，对中心词的特征进行准确的提取。由于卷积神经网络可以并行化训练并能够使用GPU加速，训练时间比循环神经网络快的多。基于循环神经网络的算法可以有效地挖掘文本中的序列信息，并且本身就具有处理变长输入的优势。长短期记忆神经网络(LSTM，Long Short Term Memory)是循环神经网络一种变体，在任何给定时间段，长短期记忆神经网络都可以“记忆”先前读取的值。直观地说，当进行任何类型的文本分析时，使用长短期记忆神经网络的好处是网络能记住它以前“读”过的内容，从而可以更好地理解输入。比如在情感分析中，它可能能够处理情绪变化的句子，比如“我讨厌读书，直到我读了百年孤独”。循环神经网络能过整个序列信息从而判断该句子的情感是积极的。

但是，单纯的使用卷积神经网络无法有效捕捉句子的序列信息，而使用长短期记忆神经网络无法提取句子的结构化特征。并且使用长短期记忆神经网络进行序列信息提取还有存在如下几个问题：无法很好的捕捉长文本时序关系；训练速度比较慢；只考虑了一个方向的序列关系。目前几乎所有的网络情感分析方法要么没有考虑到双向的序列信息，要么没有考虑句子的结构化信息。

发明内容

为了解决现有技术中的上述问题，即无法有效结合文本的双向序列和结构化信息，文本情感分析不够全面、准确的问题，本发明提供了一种基于组合模型的文本情感分析方法，包括：

步骤S10，采用词向量词典对获取的待判断情感文本进行查表，获得待判断情感文本每个词的词向量；

步骤S20，对每个词的位置信息进行编码，将编码得到的每个词的位置表示与相应词的词向量相加，获得待判断情感文本的句子表示；

步骤S30，采用双向编码表示器，依据所述待判断情感文本的句子表示，获得待判断情感文本的深度双向特征表示；

步骤S40，采用多核卷积神经网络提取所述待判断情感文本的深度双向特征表示的句子结构信息；

步骤S50，使用softmax分类函数对所述待判断情感文本的句子结构信息进行分类，获得待判断情感文本的情感类别。

在一些优选的实施例中，步骤S10中“采用词向量词典对获取的待判断情感文本进行查表，获得待判断情感文本每个词的词向量”，其方法为：

v_i＝o_iW_em

其中，v_i代表词向量，i代表词向量对应的词在句子中的位置；o_i为1×N维度的one-hot向量，表示词向量对应的词在词典中的位置，N为词向量词典中所有词的个数；W_em为N×d维度的矩阵代表词向量词典，d为句子的长度。

在一些优选的实施例中，步骤S20中“对每个词的位置信息进行编码”，其方法为：

p_i＝|p_i,1p_i,2 p_i,3…p_i,2j p_i,2j+1…p_i,d|

其中，p_i代表第i个词的位置编码；

p_i,2j为p_i的第2j个元素，d为句子的长度。

在一些优选的实施例中，步骤S20中“将编码得到的每个词的位置表示与相应词的词向量相加，获得待判断情感文本的句子表示”，其方法为：

X＝|v₁+p₁ v₂+p₂ v₃+p₃…v_i+p_i…v_l+p_l|^T

其中，v_i为词向量，p_i为词向量对应的位置表示，l为待判断情感文本的句子长度。

在一些优选的实施例中，步骤S30中“采用双向编码表示器，依据所述待判断情感文本的句子表示，获得待判断情感文本的深度双向特征表示”，其方法为：

步骤S31：通过对所述待判断情感文本的句子表示进行第一设定数量的权重矩阵相乘的线性变换，对句子的表示进行降维，得到待判断情感文本的句子的第一设定数量的降维矩阵表示；

步骤S32，将所述第一设定数量的降维矩阵分别进行自注意力机制操作后拼接，然后进行一次矩阵相乘的线性变换，得到待判断情感文本的句子的二次降维矩阵表示；

步骤S33，将所述待判断情感文本的句子表示与待判断情感文本的句子的二次降维矩阵表示进行残差连接后进行归一化处理，获得隐层特征表示；

步骤S34，将所述隐层特征表示输入位置相关的前馈网络，将获得的二次隐层特征表示与隐层特征表示进行残差连接后进行归一化处理，获得待判断情感文本的深度双向特征表示。

在一些优选的实施例中，步骤S40中“采用多核卷积神经网络提取所述待判断情感文本的深度双向特征表示的句子结构信息”，其方法为：

步骤S41：采用多种卷积核的多核卷积神经网络对所述待判断情感文本的深度双向特征表示按照不同卷积核进行一维多核卷积操作；

步骤S42，对卷积操作获得的每一个特征图，进行最大池化操作，并通过全连接操作映射到c维，获得待判断情感文本的句子结构信息，c为情感类别的数量。

在一些优选的实施例中，步骤S50中“使用softmax分类函数对所述待判断情感文本的句子结构信息进行分类，获得待判断情感文本的情感类别”，其方法为：

y’＝|y’₁y’₂…y’_i y’_i+1…y’_c|

其中，y’_i代表文本情感是第i个情感的概率，

h_j代表softmax层的第j个节点的值；y'为softmax函数的输出值；c为情感类别的数量；

y'中最大值出现的位置为待判断情感文本所属的情感类别。

在一些优选的实施例中，所属词向量词典，其获取方法为：

利用word2vec工具对原始文本数据进行训练，得到词向量词典。

本发明的另一方面，提出了一种基于组合模型的文本情感分析系统，包括输入模块、词向量查找模块、位置编码模块、双向编码表示模块、结构信息提取模块、分类模块、输出模块；

所述输入模块，配置为获取待判断情感文本并输入；

所述词向量查找模块，配置为采用词向量词典对待判断情感文本进行查表，获得待判断情感文本每个词的词向量；

所述位置编码模块，配置为对待判断情感文本每个词的位置信息进行编码并与相应的词向量相加，获得待判断情感文本的句子表示；

所述双向编码表示模块，配置为采用双向编码表示器，依据待判断情感文本的句子表示，获得待判断情感文本的深度双向特征表示；

所述结构信息提取模块，配置为采用多核卷积神经网络提取待判断情感文本的深度双向特征表示的句子结构信息；

所述分类模块，配置为使用softmax分类函数对待判断情感文本的句子结构信息进行分类，获得待判断情感文本的情感类别；

所述输出模块，配置为将获得的待判断情感文本的情感类别输出。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于组合模型的文本情感分析方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于组合模型的文本情感分析方法。

本发明的有益效果：

(1)本发明基于组合模型的文本情感分析方法，能够有效的提取文本的双向序列特性以及结构特征，能够对文本情感进行更为全面的分析。

(2)本发明基于组合模型的文本情感分析方法，将BERT与CNN结合，可以很好的将句子内部结构特征信息和句子的序列信息结合，综合考虑之后对整个文本的情感值进行预测。

(3)本发明基于组合模型的文本情感分析方法，BERT和CNN可以并行训练，能够大大缩减训练所需要的时间，所以适合在数据量很大的数据库上进行有效的训练，提高情感预测的准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于组合模型的文本情感分析方法的流程示意图；

图2是本发明基于组合模型的文本情感分析方法一种实施例的数据流示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明的一种基于组合模型的文本情感分析方法，该文本情感分析方法包括：

为了更清晰地对本发明基于组合模型的文本情感分析方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的基于组合模型的文本情感分析方法，该文本情感分析方法包括步骤S10-步骤S50，各步骤详细描述如下：

步骤S10，采用词向量词典对获取的待判断情感文本进行查表，获得待判断情感文本每个词的词向量。

词向量词典通过word2vec工具对原始文本数据进行训练得到，词典包含了所有训练数据的单词，并且每一个单词对应一个词向量。

待判断情感文本中每个词的词向量通过在词向量词典中查表得到，如式(1)所示：

v_i＝o_iW_em 式(1)

其中，v_i代表词向量，i代表词向量对应的词在句子中的位置；o_i为1×N维度的one-hot向量，表示词向量对应的词在词典中的位置，N为词向量词典中所有词的个数；W_em为N×d维度的矩阵，代表词向量词典，d为句子的长度。

步骤S20，对每个词的位置信息进行编码，将编码得到的每个词的位置表示与相应词的词向量相加，获得待判断情感文本的句子表示。

由于本发明未使用循环神经网络(RNN，Recurrent Neural Network)，为了利用文本中词的位置序列信息，对每个词进行位置信息编码，如式(2)所示：

p_i＝|p_i,1 p_i,2 p_i,3…p_i,2j p_i,2j+1…p_i,d| 式(2)

其中，p_i代表第i个词的位置编码；

p_i,2j为p_i的第2j个元素，d为句子的长度。

将编码得到的每个词的位置表示与相应词的词向量相加，获得待判断情感文本的句子表示，如式(3)所示：

X＝|v₁+p₁ v₂+p₂ v₃+p₃…v_i+p_i…v_l+p_l|^T 式(3)

步骤S30，采用双向编码表示器，依据所述待判断情感文本的句子表示，获得待判断情感文本的深度双向特征表示。

步骤S31：通过对所述待判断情感文本的句子表示进行第一设定数量的权重矩阵相乘的线性变换，对句子的表示进行降维，得到待判断情感文本的句子的第一设定数量的降维矩阵表示。

本发明一个实施例中，对所述待判断情感文本的句子表示进行三个矩阵相乘的线性变换，如式(4)所示：

(Q_i,K_i,V_i)＝(XW_i ^Q,XW_i ^K,XW_i ^V),i＝1,2,3…h 式(4)

其中，W_i ^Q、W_i ^K、

为权重矩阵，h为可调节的正整数超参数，d为句子的长度。

步骤S32，将所述第一设定数量的降维矩阵分别进行自注意力机制操作后拼接，然后进行一次矩阵相乘的线性变换，得到待判断情感文本的句子的二次降维矩阵表示。

将多个降维矩阵分别进行自注意力机制操作，其方法如式(5)所示：

其中，

为尺度缩放因子，

将经过自注意力机制变换后的结果进行拼接，再经过与矩阵相乘的线性变换，如式(6)所示：

Multihead(X)＝concat(head₁,head₂…head_h)W^o 式(6)

其中，concat()表示对矩阵拼接，head₁,head₂…head_h的矩阵维度为

拼接后的矩阵维度为l×d，W^o∈R^d×d为权重矩阵。

步骤S33，将所述待判断情感文本的句子表示与待判断情感文本的句子的二次降维矩阵表示进行残差连接后进行归一化处理，获得隐层特征表示。

将待判断情感文本的句子表示与待判断情感文本的句子的二次降维矩阵表示进行残差连接，其方法如式(7)所示：

Res(X)＝X+Multihead(X) 式(7)

将所述隐层特征表示输入位置相关的前馈网络，获得的二次隐层特征表示，其方法如式(8)所示：

PFW(r)＝max(0,rW₁+b₁)W₂+b₂ 式(8)

其中，r为隐层特征表示中的一个行向量，W₁、W₂分别为权重矩阵，b₁、b₂分别为偏置。

步骤S40，采用多核卷积神经网络提取所述待判断情感文本的深度双向特征表示的句子结构信息。

步骤S41：采用多种卷积核的多核卷积神经网络对所述待判断情感文本的深度双向特征表示按照不同卷积核进行一维多核卷积操作。

本发明一个实施例中，采用3种卷积核的多核卷积神经网络，其卷积核大小分别为3、4、5，使用多个卷积核相当于抽取了文本不同局部信息的结构特征，相对于只用一个卷积核的卷积来说，使用多核卷积抽取到的特征表达更加丰富全面。

步骤S50，使用softmax分类函数对所述待判断情感文本的句子结构信息进行分类，获得待判断情感文本的情感类别，如式(9)所示：

y’＝|y’₁ y’₂…y’_i y’_i+1…y’_c| 式(9)

其中，y’_i代表文本情感是第i个情感的概率，

h_j代表softmax层的第j个节点的值；y'为softmax函数的输出值；c为情感类别的数量。

y'中最大值出现的位置为待判断情感文本所属的情感类别，例如将文本情感分为三类：消极的、中性的、积极的，y'则是一个三维的向量。

如图2所示，为本发明基于组合模型的文本情感分析方法一种实施例的数据流示意图，V为输入的待判断情感的文本，从词向量词典中查找的待判断情感文本中每一个词的词向量与相应的位置编码信息相加，获得待判断情感文本的句子表示，通过BERT预训练模型(BERT，Bidirectional Encoder Representation from Transformers)以及卷积神经网络模型(CNN，Convolutional Neural Network)提取待判断情感文本的深度双向特征表示的句子结构信息，最终采用softmax分类函数对所述待判断情感文本的句子结构信息进行分类，获得待判断情感文本的情感类别y'。其中BERT预训练模型将待判断情感文本的句子表示依次进行一次多个矩阵线性变换操作、一次注意力机制操作、一次矩阵拼接操作、一次线性变换操作、一次残差连接操作、一次归一化操作、两次位置相关全连接操作、一次残差连接操作、一次归一化操作；CNN卷积神经网络模型对BERT预训练模型处理后的信息依次进行一次卷积核为3、4、5的多核卷积操作、一次最大池化操作、一次全连接操作。

本发明第二实施例的基于组合模型的文本情感分析系统，包括输入模块、词向量查找模块、位置编码模块、双向编码表示模块、结构信息提取模块、分类模块、输出模块；

所述输入模块，配置为获取待判断情感文本并输入；

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于组合模型的文本情感分析系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于组合模型的文本情感分析方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于组合模型的文本情感分析方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims

1.一种基于组合模型的文本情感分析方法，其特征在于，该文本情感分析方法包括：

步骤S50，使用softmax分类函数对所述待判断情感文本的句子结构信息进行分类，获得待判断情感文本的情感类别；

其中，步骤S30包括：

2.根据权利要求1所述的基于组合模型的文本情感分析方法，其特征在于，步骤S10中“采用词向量词典对获取的待判断情感文本进行查表，获得待判断情感文本每个词的词向量”，其方法为：

v_i＝o_iW_em

3.根据权利要求1所述的基于组合模型的文本情感分析方法，其特征在于，步骤S20中“对每个词的位置信息进行编码”，其方法为：

p_i＝|p_i,1 p_i,2 p_i,3…p_i,2j p_i,2j+1…p_i,d|

其中，p_i代表第i个词的位置编码；

p_i,2j为p_i的第2j个元素，d为句子的长度。

4.根据权利要求1所述的基于组合模型的文本情感分析方法，其特征在于，步骤S20中“将编码得到的每个词的位置表示与相应词的词向量相加，获得待判断情感文本的句子表示”，其方法为：

X＝|v₁+p₁v₂+p₂v₃+p₃…v_i+p_i…v_l+p_l|^T

5.根据权利要求1所述的基于组合模型的文本情感分析方法，其特征在于，步骤S40中“采用多核卷积神经网络提取所述待判断情感文本的深度双向特征表示的句子结构信息”，其方法为：

6.根据权利要求1所述的基于组合模型的文本情感分析方法，其特征在于，步骤S50中“使用softmax分类函数对所述待判断情感文本的句子结构信息进行分类，获得待判断情感文本的情感类别”，其方法为：

y’＝|y’₁ y’₂…y’_i y’_i+1…y’_c|

其中，y_i'代表文本情感是第i个情感的概率，

y'中最大值出现的位置为待判断情感文本所属的情感类别。

7.根据权利要求1所述的基于组合模型的文本情感分析方法，其特征在于，所属词向量词典，其获取方法为：

8.一种基于组合模型的文本情感分析系统，其特征在于，包括输入模块、词向量查找模块、位置编码模块、双向编码表示模块、结构信息提取模块、分类模块、输出模块；

所述输入模块，配置为获取待判断情感文本并输入；

所述输出模块，配置为将获得的待判断情感文本的情感类别输出；

其中，采用双向编码表示器，依据待判断情感文本的句子表示，获得待判断情感文本的深度双向特征表示，其方法为：

通过对所述待判断情感文本的句子表示进行第一设定数量的权重矩阵相乘的线性变换，对句子的表示进行降维，得到待判断情感文本的句子的第一设定数量的降维矩阵表示；

将所述第一设定数量的降维矩阵分别进行自注意力机制操作后拼接，然后进行一次矩阵相乘的线性变换，得到待判断情感文本的句子的二次降维矩阵表示；

将所述待判断情感文本的句子表示与待判断情感文本的句子的二次降维矩阵表示进行残差连接后进行归一化处理，获得隐层特征表示；

将所述隐层特征表示输入位置相关的前馈网络，将获得的二次隐层特征表示与隐层特征表示进行残差连接后进行归一化处理，获得待判断情感文本的深度双向特征表示。

9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的基于组合模型的文本情感分析方法。

10.一种处理装置，包括

处理器，适于执行各条程序；以及

存储装置，适于存储多条程序；

其特征在于，所述程序适于由处理器加载并执行以实现：

权利要求1-7任一项所述的基于组合模型的文本情感分析方法。