CN110502757B - 一种自然语言情感分析方法 - Google Patents

Abstract

本发明公开一种自然语言情感分析方法。本方法针对传统的以词向量作为卷积神经网络的输入无法考虑情感特征对文本情感极性的影响、难以突出对类别更具代表性的词且卷积神经网络无法充分利用上下文信息等问题，提出一种结合基于权重分配的多通道卷积神经网络和双向长短时记忆网络特征的方法。将不同特征融合形成不同的通道作为卷积神经网络的输入，从多方面特征学习文本的情感信息，有效表示每个词对于分类的重要性，获取更多的隐藏信息。同时，结合BILSTM获取到的文本上下文信息，解决了卷积神经网络无法充分利用上下文信息的问题。本申请中的方法在情感分类任务中相较于之前基于神经网络的情感分析方法取得了更好的分类效果。

Description

一种自然语言情感分析方法

技术领域

本发明涉及大数据领域，尤其涉及一种基于权重分配的多通道卷积神经网络与双向长短时记忆网络特征相结合的模型的自然语言情感分析方法。

背景技术

近年来，随着深度学习技术在自然语言领域的不断发展与完善，越来越多的学者将深度学习的相关技术应用到情感分类问题当中。Kin等采用卷积神经网络(CNN)完成了对电影评论的情感分类，Wang等利用长短时记忆网络(LSTM)对文本情感进行分析，都取得了比传统分类器更好的效果。但上述模型无法挖掘到文本更多的隐藏信息，从而导致对于文本中包含的大量的语义信息利用不充分。

此外，业内人士还提出结合不同粒度的卷积神经网络来获取到更多的语义信息。但该方案中使用的模型并没有对现有的情感资源，包括情感词典、情感规则等进行有效利用，忽略了情感信息对于情感分类的影响。

发明内容

基于现有技术中的问题，本发明的目的就是提供一种自然语言情感分析方法。

为了达到上述的目的，本发明采用的主要技术方案包括：

第一方面，本发明提供一种自然语言情感分析方法，包括：

101、选择待分析的文本；

102、对选择的文本进行分词处理，获取分词后的词语，将所述词语映射为多维度词向量，所述多维度词向量包括文本词向量和情感词向量；

103、基于所述多维度词向量，获取每一个多维度词向量的特征权重；

104、将每一个多维度词向量和各自的特征权重结合形成不同的通道；

将所有的通道输入到预先训练的第一模型中WAMCCNN的输入层中，经过WAMCCNN的输入层、卷积层和池化层的依次处理，获取包括局部特征的中间结果；

105、将所述多维度词向量中文本词向量输入到所述第一模型的BILSTM中，获取BILSTM输出的包括全局特征的输出结果；

106、将所述输出结果转换为一维向量的输出结果，并将转换后的输出结果和所述中间结果进行融合；

107、并将融合结果输入WAMCCNN的全连接层，经过全连接层、隐藏层的处理，通过输出层输出分类结果；

其中，第一模型为WAMCCNN和BILSTM结合的模型。

可选地，在步骤101之前，所述方法还包括：

100、建立包括WAMCCNN和BILSTM的第一模型；

获取用于训练所述第一模型的训练数据集，采用训练数据集对所述第一模型进行训练，获取训练后的第一模型。

可选地，所述第一模型中的WAMCCNN包括：

输入层，用于接收步骤104中输入的多个通道；

卷积层，用于采用多窗口多卷积核的方式对每一个输入的通道进行卷积操作，获取不同通道的局部特征；

池化层，用于对每一个卷积后的结果进行下采样操作；

全连接层，用于将所有池化层的所有结果进行合并，得到一个特征向量；

隐藏层，用于对所述全连接层的特征向量进行处理，获得分类结果；

输出层，用于输出分类结果。

可选地，第一模型在使用时，所述全连接层，还用于将BILSTM的输出结果和所有池化层的操作后的结果进行特征向量融合，得到一个特征向量。

可选地，所述卷积层，具体用于，提取不同输入通道的局部特征，对于长度为h的卷积核，在进行卷积操作时，若将文本的n个词语划分为n-h+1个词组，n-h+1个词组中每个词组的分量为y_i：i+h-1，n-h+1个词组对应的分量表示为{y_0：h-1，y_1：h，...，y_n-h+1：n}，通过对不同分量进行卷积，得到卷积特征：

C＝c₁，c₂，...，c_n-h+1

c_i＝relu(W·y_i：i+h-1+b)

其中，c_i是对分量y_i：i+h-1进行卷积操作后提取到的特征信息，每个词组的分量包括：文本词向量，情感词向量和特征权重；W∈R^h*(n+k)为卷积核权重，b为卷积核偏置项。

可选地，所述池化层，具体用于，采用max-over-time pooling方法对卷积后的卷积特征进行下采样，提取重要的特征信息：c′＝max{C}

其中，c′为下采样后得到的结果，假设有d个卷积核，通过下采样得到的特征向量表示为：c′＝(c′₁，c′₂，...，c_d′)；

或者，采用多窗口多卷积核的卷积方式，其中卷积核数量均为d，经池化操作后得到特征向量：

其中，j＝{1，2，3，4}表示通道的下标，n＝{1，2，3}表示窗口下标，

表示第j个通道采用第n个窗口进行卷积、池化后得到的特征向量。

可选地，所述全连接层，具体用于，将通过不同窗口获得的特征进行合并得到该通道的特征向量：

将不同通道特征进行合并得到特征向量：

其中，

为拼接操作，

表示分配权重。

可选地，所述全连接层，还用于，根据下述公式进行处理，形成新的特征向量：

其中，L为将BILSTM的输出结果转换为一维向量的结果；C′为WAMCCNN中对所有池化层操作后的通道特征进行合并得到的特征向量，

为拼接操作。

可选地，所述隐藏层，具体用于：依据下述公式进行处理：

R＝relu(W_h·X+b_h)

其中，R∈R^q为隐藏层输出，q为隐藏层输出维度，W_h∈R^d×q为隐藏层权重，d为全连接层输出的向量维度，b_h为隐藏层偏置项，X为全连接层的输出。

进一步地，在卷积层操作之前，以词语为单位对输入文本进行卷积操作，对于文本表示为n个词语，s＝{w₁，w₂，...，w_n}，其特征表示为：

e_1：n＝(e₁，e₂，...，e_n)

tag_1：n＝(tag₁，tag₂，...，tag_n)

α_1：n＝(α₁，α₂，...，α_n)

其中，e为文本的词向量，tag为文本情感词向量，α为词向量的特征权重；

本发明将不同的特征结合形成不同的输入通道：

其中，

为拼接操作，

表示分配权重。本申请中以四个通道为例说明，其中，V₁至V₄表示4个通道，且每个通道输入的内容是不同的。

输出层，可使用softmax函数输出分类结果。

本发明的有益效果是：

本发明的方法中使用基于权重分配的多通道卷积神经网络与双向长短时记忆网络特征相结合的模型(WAMCCNN-BILSTM，Weight Allocation Multi-ChannelsConvolutional Neural Networks-Bidirectional Long-Short Time Memory Network)进行文本分析，具有如下的效果：

1)针对现有技术中的MCCNN模型进行改进并提出基于权重分配的多通道卷积神经网络(WAMCCNN，Weight Allocation Multi-Channels Convolutional Neural Networks)模型，该WAMCCNN模型使用词语的特征权重代替词语的位置特征表征词语在文本中的重要程度，通过TF-IDF特征权重算法计算每个词语的特征权重，将其与其它特征结合形成不同的通道作为卷积神经网络的输入，充分利用文本的情感信息以及词语对于分类重要性等信息学习出文本的局部特征。相较于原模型如CNN，该模型：第一、降低了输入向量维度，提高了模型的训练效率；第二、更加准确的表示出了词语对于文本的重要程度；第三、提升了文本分类的准确率。

2)针对卷积神经网络无法充分利用文本的上下文关系，使用双向长短时记忆网络(BILSTM)来获取包含文本上下文信息的全局特征。提出基于权重分配的多通道卷积神经网络与双向长短时记忆网络特征相结合的模型(WAMCCNN-BILSTM)。该模型与上述WAMCCNN模型比较，该模型在训练过程中充分地利用到了文本的上下文信息，使得文本分类的准确率进一步得到提升。

3)本申请中使用的方法可以应用到有关分类的各种领域，比如：网络舆情、垃圾邮件过滤、商品评论、微博话题等等实现对各应用中文本的分析。

附图说明

图1为本发明的方法中使用的基于权重分配的多通道卷积神经网络的结构示意图；

图2为本发明的方法中使用的模型的结构示意图；

图3为基于WAMCCNN模型的自然语言情感分析方法流程示意图；

图4为基于WAMCCNN-BILSTM模型的自然语言情感分析方法流程示意图。

具体实施方式

为了更好地解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

为了更好的理解本发明实施例的方案，以下对本发明实施例的装置进行概述说明。

本发明提供一种自然语言情感分析方法，可包括下述的图中未示出的各步骤：

101、选择待分析的文本。

本实施例不限定文本的内容，任何可以分析的文本内容都可以作为待分析的文本。本实施例的文本可以是微博中用户发送的短信息/长篇文章，或者是微信朋友圈中发送的短文本，或者是某一个百度贴吧论坛中的信息等。

102、对选择的文本进行分词处理，获取分词后的词语，并将分词后的所有词语映射为多维度词向量，并获取每个词向量的特征权重。

在本实施例中，预先通过TF-IDF算法获取了训练集中多个常用词对应词向量的特征权重，然后将待分析文本中分词后的每个词语与预先获取的词语进行比对，若存在匹配的，则将该分词后的词语对应的词向量的特征权重赋予匹配的词语的特征权重。若在预先获取的词语中不存在匹配的分词后的词语，则将该不存在匹配的词语对应的词向量的特征权重设置为1。

可以理解的是，可以在训练下述的WAMCCNN-BILSTM模型时借助于TF-IDF算法获取多个常用词对应词语的特征权重。

需要说明的是，本实施例中的多维度词向量包括：文本词向量和情感词向量。分词后的每个词语均对应一个文本词向量和一个情感词向量。

在实际应用中，在步骤102中获取分词后的词语之后，对所有分词的词语进行情感标注，例如采用预先的情感划分标准进行情感标注，使得分词后的每一个词语均对应文本词向量和情感词向量，进而多维度词向量包括：文本词向量和情感词向量。

103、将每个多维度词向量和各自的特征权重结合形成多个不同的通道，将形成的通道输入到预先训练的第一模型(如WAMCCNN-BILSTM模型)中WAMCCNN模型的输入层中，通过WAMCCNN模型中卷积层、池化层的处理，获得包括局部特征的中间结果；

将步骤102中多维度词向量中每个文本词向量作为第一模型(如WAMCCNN-BILSTM模型)中BILSTM模型的输入，获取BILSTM模型的输出结果，将输出结果处理成一维向量；

将一维向量的输出结果和所述包括局部特征的中间结果进行融合，作为WAMCCNN模型中全连接层的输入，经过全连接层、隐藏层的处理，通过输出层输出分类结果。

在本实施例中，第一模型为WAMCCNN-BILSTM模型。针对现有技术中的MCCNN模型进行改进并提出基于权重分配的多通道卷积神经网络模型(WAMCCNN)，该模型使用词语的特征权重代替词语的位置特征表征词语在文本中的重要程度，通过TF-IDF特征权重算法计算每个词的特征权重，将其与其它特征结合形成不同的通道作为卷积神经网络的输入，充分利用文本的情感信息以及词语对于分类重要性等信息学习出文本的局部特征。相较于原模型如CNN，该模型：第一、降低了输入向量维度，提高了模型的训练效率；第二、更加准确的表示出了词语对于文本的重要程度；第三、提升了文本分类的准确率。

针对卷积神经网络无法充分利用文本的上下文关系，使用BILSTM模型来获取包含文本上下文信息的全局特征，由此，第一模型在训练过程中充分地利用到了文本的上下文信息，使得文本分类的准确率进一步得到提升。

在实际应用中，在前述步骤101之前，上述方法还可包括下述的图中未示出的步骤100：

100、建立WAMCCNN模型和BILSTM模型，基于建立的WAMCCNN模型和BILSTM模型，获取WAMCCNN-BILSTM模型即第一模型；

并采用预先有分类结果的数据，建立用于训练第一模型的训练集和测试集，基于所述训练集和测试集，对第一模型进行训练，获得训练后的第一模型。

所述第一模型为基于权重分配的多通道卷积神经网络与双向长短时记忆网络相结合的模型；基于权重分配的多通道卷积神经网络具有的功能为：使用词语的特征权重代替词语的位置特征表征词语在文本中的重要程度，且通过TF-IDF特征权重算法计算每个词语的特征权重，将每个词语的特征权重与该词语其它特征结合形成不同的通道作为卷积神经网络的输入，以及利用文本的情感信息以及词语对于分类重要性信息学习出文本的局部特征；双向长短时记忆网络用于获取包含文本上下文信息的全局特征；最后将局部特征和全局特征相结合。

由此，基于步骤100中的模型可对上述步骤101和步骤102中对各个待分析的文本进行处理。由此，可以在对文本分析过程中，充分利用文本的情感信息以及词语对于分类重要性等信息学习出文本的局部特征。还能够有效结合文本的上下文信息，使得文本分类的准确率进一步得到提升。

为了更好的理解本发明中关于模型的内容，以下结合图1和图2分别对两个模型进行说明。

1、基于权重分配的多通道卷积神经网络模型(WAMCCNN模型)

在本实施例中，WAMCCNN模型不同于现有技术中CNN，具体说明如下：

如图1所示，WAMCCNN模型包括下述的1)至6)的各个部分：

1)输入层，例如，可以将不同的特征向量结合形成四个不同的通道作为输入，使用不同的通道获得输入文本丰富的特征信息。

结合图3进行说明：

通道1：(文本词向量

文本情感词向量)

特征权重；

通道2：文本词向量

文本情感词向量；

通道3：文本词向量

特征权重；

通道4：文本情感词向量

特征权重。

其中，

为拼接操作，

表示分配权重。

2)卷积层，例如，可以通过多窗口多卷积核的方式对不同的输入通道进行卷积操作，获取不同通道的局部特征。

例如，可以将卷积窗口设为3个，其卷积窗口大小为[3,4,5](如图1所示的卷积层)，卷积核个数均设为128。

3)池化层，例如，可以通过不同的池化层对不同输入通道卷积后的结果进行下采样，使得每个通道中的特征信息都能被充分利用。

4)全连接层，例如，可以将不同通道卷积、池化后获取到的局部特征进行合并，得到一个特征向量。

5)隐藏层，为了获取不同特征之间的联系，可以利用一个隐藏层对合并层得到的特征向量进行特征提取，学习不同特征之间的联系。

6)输出层，使用softmax函数输出分类结果。

和普通卷积神经网络相比，本实施例中提出的WAMCCNN模型充分利用了文本中所隐藏的情感信息且有效突出了词语对于分类的贡献度。通过将不同特征结合形成不同的输入通道，使得模型在训练过程中充分学习不同特征间的联系，获取到更多的语义信息。因为将不同的特征相结合不但可以生成新的特征，也使得不同特征间相互联系和影响。同时，WAMCCNN模型的通道相互独立，不同通道使用不同的卷积核和激活函数，使得模型学习到更加多样性的信息。

2、WAMCCNN-BILSTM模型

如图2所示，本实施例的WAMCCNN-BILSTM模型可包括下述的五部分：

1)输入层，将不同特征向量组合形成不同通道作为WAMCCNN的输入，将特征向量中的文本词向量作为BILSTM的输入。

2)特征提取层，使用WAMCCNN获取包含丰富信息的文本局部特征，使用BILSTM提取包含文本上下文信息的全局特征。

3)全连接层，将WAMCCNN和BILSTM提取到的特征进行拼接。

4)隐藏层，为了获取不同特征之间的联系，本实施例中可以利用一个隐藏层对全连接层得到的特征向量进行特征提取，学习不同特征之间的联系。

5)输出层，利用softmax函数输出分类结果。

如图4所示，本实施例的WAMCCNN-BILSTM模型，在充分利用情感信息以及词语在文本中重要程度等信息的同时，考虑到了上下文信息对于分类结果的影响，将两种深度学习模型特征相结合，使得该模型在情感分类任务中相较于之前基于神经网络的情感分析方法取得了更好的分类效果。

为了进一步理解前述图4所示的内容的流程过程，以下给出一个具体的例子进行说明。

本实施例选择一个具体文本进行分析说明。

一、首先使用该模型在相关数据集上进行训练，其具体参数设置如下：

1、设置文本词语最大长度为5，长度不足5的用Null填充，长度超过5的超出部分直接去除；

2、设置文本词向量维度为100维，情感词向量维度为50维；

3、对于WAMCCNN，不同通道可以采用不同大小的卷积核进行卷积操作，卷积窗口大小为[3,4,5],卷积核个数均设为128；

4、对于BILSTM，设置其隐藏层维度为100，隐藏层层数为2；

5、设置全连接层大小为1024；

6、设置一个batch(一批次)大小为20；

通过设置以上参数使用模型在相关数据集上进行训练，得出训练好的模型，从而进行文本情感分析。

使用train_word_vector函数(该函数通过使用谷歌的word2vec模型对文本进行词向量训练)提前对经过分词后的训练集进行训练，得到文本词向量集合，接着对hownet情感词典进行训练得到情感词向量集合。

二、输入待分析的文本：我觉得这个东西非常好

1、分词

调用load_data函数(该函数功能为：读入待分析的文本，加载停用词表，使用jieba分词工具对文本进行分词，然后去除非中文字符，得到分词后的结果)进行文本分词处理。

分词后：我/觉得/这个东西/非常/好

对于分词后的文本，将其长度固定为5，长度不足5的部分用Null填充，长度超过5的部分直接去除。(本文本正好长度为5)

2、文本向量化

使用word2vec.load函数加载文本词向量集，对于文本分词后的每个词，通过索引的方式得到它的词向量，例如model[‘我’](model即为word2vec.load函数的返回值，也就是词向量集合)，即为‘我’的词向量([0.14258,0.12590,0.13654，0.14256,0.12458])。对于未出现词(未出现词即为训练集中未出现的词)或者填充词null的处理方法为使用np.random.uniform函数得到一个均匀分布的向量。‘我/觉得/这个东西/非常/好’五个词 的词向量如下：

[[0.14258,0.12590,0.13654，0.14256,0.12458]，

[0.12365,0.13247,0.13621,0.14521,0.14874],

[0.12523,0.13624,0.13246,0.12481,0.13269],

[0.14145,0.12154,0.15213,0.13214,0.12475],

[0.10258,0.10352,0.11245,0.11623,0.13254]]

3、文本情感向量化

假设其情感词向量维度为2维：

使用word2vec.load函数加载情感词向量集，对于每个词，通过索引的方式得到它的词向量，例如model[‘非常’](model即为word2vec.load函数的返回值，也就是词向量集合)即为‘非常’的词向量。对于未出现词(未出现词即为情感字典中没有出现的词语)的处理为使用np.random.uniform函数得到一个均匀分布的向量。‘我/觉得/这个东西/非常/ 好’五个词的情感词向量如下：

[[0.10023,0.12014],

[0.11456,0.12412],

[0.13214,0.11421],

[0.36251,0.12463],

[0.23145,0.21022]]

4、计算特征权重

调用get_tfidf函数(该函数功能为：通过对分词后的训练集使用TF-IDF算法得到训练集中每个词的特征权重)得到训练集中出现词语的特征权重集合，通过使用索引的形式得出每个词语的权重，例如tfidf[‘我’]即为‘我’的特征权重，对于未出现词或者填充词Null，默认其特征权重为1。‘我/觉得/这个东西/非常/好’五个词的特征权重如下：

特征权重为(0.312，2.788，0.677，1.972，2.169)

5、计算多通道卷积神经网络的输入

调用save_vector函数将其不同的特征(包括文本词向量，情感词向量、特征权重)按前面所述方式结合形成不同的输入通道，作为多通道卷积神经网络的输入。

以下为第一个通道输入(将文本词向量与情感词向量简单拼接成新的特征矩阵然后乘以每个词语的权重)：

[[0.04448,0.03928,0.04260,0.04448,0.03886,0.03127,0.03748]

[0.34473,0.36932,0.37975,0.40484,0.41468,0.31939,0.34604]

[0.08478,0.09223,0.08967,0.08449,0.08983,0.08945,0.07732]

[0.27893,0.23967,0.30001,0.26058,0.24600,0.71486,0.24577]

[0.22249,0.22453,0.24390,0.25210,0.28747,0.11619,0.45596]]

以下作为第二个通道的输入(将文本词向量与情感词向量简单拼接成新的特征矩阵)：

[[0.14258,0.12590,0.136540.14256,0.12458,0.10023,0.12014]

[0.12365,0.13247,0.13621,0.14521,0.14874,0.11456,0.12412]

[0.12523,0.13624,0.13246,0.12481,0.13269,0.13214,0.11421]

[0.14145,0.12154,0.15213,0.13214,0.12475,0.36251,0.12463]

[0.10258,0.10352,0.11245,0.11623,0.13254,0.23145,0.21022]]

以下作为第三个通道的输入(将文本词向量乘以每个词语的权重)：

[[0.04448,0.03928,0.0.042600.04478,0.03886]，

[0.34473,0.36932,0.37975,0.40484,0.41468],

[0.08478,0.09223,0.08967,0.08449,0.08983],

[0.27893,0.23967,0.30001,0.26058,0.24600],

[0.22249,0.22453,0.24390,0.25210,0.28747]]

以下作为第四个通道的输入(将情感词向量乘以每个词语的权重)：

[[0.03127,0.03748],

[0.31939,0.34604],

[0.08945,0.07732],

[0.71486,0.24577],

[0.11619,0.45596]]

6、卷积与池化

调用conv函数对每个通道进行卷积操作，卷积窗口大小和卷积核数量设置如前面所述，将三种不同窗口卷积得到的特征进行拼接，

窗口大小为3，得到的特征为(a1,a2,…,a128)

窗口大小为4，得到的特征为(b1,b2,…b128)

窗口大小为5，得到的特征为(c1,c2,…,c128)

将其进行简单拼接得到(a1,a2,…,a128,b1,b2,…b128,c1,c2,…,c128)其余三个通道特征拼接方式和上述方式一样,得到：

(d1,d2,…,d128,e1,e2,…e128,f1,f2,…,f128)

(m1,m2,…,m128,n1,n2,…n128,l1,l2,…,l128)

(o1,o2,…,o128,p1,p2,…p128,q1,q2,…,q128)

然后，将四个通道得到的特征再进行拼接，得到一个一维向量:

Conv＝(a1,…,a128,b1,…,b128,c1,…,c128,d1,…,d128,e1,…,e128,f1,…,f128,m1,…,m128,n1,…,n128,l1,…,l128,o1,…,o128,p1,…,p128,q1,…,q128)

作为全连接层输入的一部分。

7、计算BILSTM输出

将文本词向量：

[[0.14258,0.12590,0.13654，0.14256,0.12458]，

[0.12365,0.13247,0.13621,0.14521,0.14874],

[0.12523,0.13624,0.13246,0.12481,0.13269],

[0.14145,0.12154,0.15213,0.13214,0.12475],

[0.10258,0.10352,0.11245,0.11623,0.13254]]

作为BILSTM的输入，BILSTM输出为包含两个张量的元组，代表双向LSTM在每一个时刻的输出，将其拼接成一个张量，然后使用reshape函数将其映射为一个1维的向量(也就是说，将三维向量[batch_size,num_step,2*size],本文本中batch_size为1，num_step为5，size为100，映射为一维向量)，得到1维向量：lstm＝(x1,x2,…,x1000)。

8、合并与输出

将1维向量lstm与上面通过卷积网络得到的Conv进行拼接得到一个2536列的特征向量，作为全连接层，再利用一个隐藏层对全连接层得到的特征进行特征提取，学习不同特征之间的联系，最后经过softmax层(即输出层)得到分类结果为1(结果为1代表积极文本，结果为0代表消极文本)。

以上对本发明的具体实施例进行的描述只是为了说明本发明的技术路线和特点，其目的在于让本领域内的技术人员能够了解本发明的内容并据以实施，但本发明并不限于上述特定实施方式。凡是在本发明权利要求的范围内做出的各种变化或修饰，都应涵盖在本发明的保护范围内。

Claims (9)

1.一种自然语言情感分析方法，其特征在于，包括：

101、选择待分析的文本；

102、对选择的文本进行分词处理，获取分词后的词语，将所述词语映射为多维度词向量，所述多维度词向量包括文本词向量和情感词向量；

103、基于所述多维度词向量，获取每一个多维度词向量的特征权重；

104、将每一个多维度词向量和各自的特征权重结合形成不同的通道；

将所有的通道输入到预先训练的第一模型中WAMCCNN的输入层中，经过WAMCCNN的输入层、卷积层和池化层的依次处理，获取包括局部特征的中间结果；

105、将所述多维度词向量中文本词向量输入到所述第一模型的BILSTM中，获取BILSTM输出的包括全局特征的输出结果；

106、将所述输出结果转换为一维向量的输出结果，并将转换后的输出结果和所述中间结果进行融合；

107、并将融合结果输入WAMCCNN的全连接层，经过全连接层、隐藏层的处理，通过输出层输出分类结果；

其中，第一模型为WAMCCNN和BILSTM结合的模型。

2.根据权利要求1所述的方法，其特征在于，在步骤101之前，所述方法还包括：

100、建立包括WAMCCNN和BILSTM的第一模型；

获取用于训练所述第一模型的训练数据集，采用训练数据集对所述第一模型进行训练，获取训练后的第一模型。

3.根据权利要求2所述的方法，其特征在于，所述第一模型中的WAMCCNN包括：

输入层，用于接收步骤104中输入的多个通道；

卷积层，用于采用多窗口多卷积核的方式对每一个输入的通道进行卷积操作，获取不同通道的局部特征；

池化层，用于对每一个卷积后的结果进行下采样操作；

全连接层，用于将所有池化层的所有结果进行合并，得到一个特征向量；

隐藏层，用于对所述全连接层的特征向量进行处理，获得分类结果；

输出层，用于输出分类结果。

4.根据权利要求3所述的方法，其特征在于，

第一模型在使用时，所述全连接层，还用于将BILSTM的输出结果和所有池化层的操作后的结果进行特征向量融合，得到一个特征向量。

5.根据权利要求3所述的方法，其特征在于，所述卷积层，具体用于，提取不同输入通道的局部特征，对于长度为h的卷积核，在进行卷积操作时，若将文本的n个词语划分为n-h+1个词组，n-h+1个词组中每个词组的分量为y_i:i+h-1，n-h+1个词组对应的分量表示为{y_0:h-1,y_1:h,…,y_n-h+1:n}，通过对不同分量进行卷积，得到卷积特征：

C＝c₁,c₂,…,c_n-h+1

c_i＝relu(W·y_i:i+h-1+b)

其中，c_i是对分量y_i:i+h-1进行卷积操作后提取到的特征信息，每个词组的分量包括：文本词向量，情感词向量和特征权重；W∈R^h*(n+k)为卷积核权重，b为卷积核偏置项。

6.根据权利要求3所述的方法，其特征在于，所述池化层，具体用于，采用max-over-time pooling方法对卷积后的卷积特征进行下采样，提取重要的特征信息：c′＝max{C}

其中，c′为下采样后得到的结果，假设有d个卷积核，通过下采样得到的特征向量表示为：c′＝(c′₁,c′₂,…,c_d′)；

或者，采用多窗口多卷积核的卷积方式，其中卷积核数量均为d，经池化操作后得到特征向量：

其中，j＝{1,2,3,4}表示通道的下标,n＝{1,2,3}表示窗口下标，

表示第j个通道采用第n个窗口进行卷积、池化后得到的特征向量。

7.根据权利要求6所述的方法，其特征在于，所述全连接层，具体用于，将通过不同窗口获得的特征进行合并得到该通道的特征向量：

将不同通道特征进行合并得到特征向量：

其中，

为拼接操作，

表示分配权重。

8.根据权利要求4所述的方法，其特征在于，所述全连接层，还用于，根据下述公式进行处理，形成新的特征向量：

其中，L为将BILSTM的输出结果转换为一维向量的结果；C′为WAMCCNN中对所有池化层操作后的通道特征进行合并得到的特征向量，

为拼接操作。

9.根据权利要求7或8所述的方法，其特征在于，所述隐藏层，具体用于：依据下述公式进行处理：

R＝relu(W_h·X+b_h)

其中，R∈R^q为隐藏层输出，q为隐藏层输出维度，W_h∈R^d×q为隐藏层权重，d为全连接层输出的向量维度，b_h为隐藏层偏置项，X为全连接层的输出。

Images