CN107609009B - 文本情感分析方法、装置、存储介质和计算机设备 - Google Patents

Abstract

本发明涉及一种文本情感分析方法、装置、存储介质和计算机设备。获取测试文本中句子的句向量，句向量是由句子中的词的词向量连接构成，将句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到句子的三个句子特征向量。将三个句子特征向量连接，通过分类器SVM对连接后的句子特征向量进行分类得到句子的情感分类结果，根据句子的情感分类结果得到测试文本的情感倾向。该方法结合了卷积神经网络能够有效的提取局部特征、双向长短时记忆神经网络能够有效地分析时序特征的优势，通过该方法对测试文本经过情感分析后获取的情感倾向更高的鲁棒性和泛化能力，且更加高效。

Description

文本情感分析方法、装置、存储介质和计算机设备

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种文本情感分析方法、装置、存储介质和计算机设备。

背景技术

对文本情感数据进行自动化分析一直是人工智能、自然语言处理技术的一个重要研究及应用技术领域，其主要功能是通过自然语言处理技术和情感计算技术，自动分析和学习文本数据中蕴含的情感表达，根据情感表达将句子分为正面、负面和中性三种类别。

随着我国综合国力不断提高，互联网、物联网等第三产业逐渐成为经济发展的最新引擎。在这些应用领域里对文本数据进行情感分析是推动其发展进步的重要力量之一，尤其是在舆情管理、商业决策、大数据分析等任务中发挥着举足轻重的作用。例如，在互联网舆情分析领域，利用情感分析技术可以获知广大网民对于特定事件的意见与观点，及时了解民众的舆论趋势，正确采取引导行动，实现有效有序的社会管理。在反恐领域，通过对社交媒体上极端情感的分析，可以发现潜在的恐怖分子。在商业决策领域，通过对海量用户评论的情感分析与观点挖掘，能够获取可靠的用户反馈信息，了解产品优缺点，同时深刻理解用户的真实需求，实现精准营销。此外，情感分析还被成功应用于股市预测、票房预测、选举结果预测等场景中，充分体现了情感分析在各行各业的巨大作用。

传统的，文本情感分析方法主要有基于情感词典、机器学习以及深度学习等。但是对于需要处理大量文本数据的行业而言，采用传统的文本情感分析的方法对文本数据进行情感分类，不仅准确度差，而且工作效率也很低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高分析准确度的文本情感分析方法、装置、存储介质和计算机设备。

一种文本情感分析方法，所述方法包括：

获取测试文本中句子的句向量，所述句向量是由所述句子中的词的词向量连接构成；

将所述句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到所述句子的三个句子特征向量；

将所述三个句子特征向量连接，通过分类器对连接后的句子特征向量进行分类得到所述句子的情感分类结果；

根据句子的情感分类结果得到测试文本的情感倾向。

在其中一个实施例中，所述两个卷积神经网络包括：一个卷积核为3的卷积神经网络和另一个卷积核为5的卷积神经网络。

在其中一个实施例中，所述将所述句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络进行处理得到三个所述句子的句子特征向量，包括：

将所述句向量分别输入到预设的两个卷积神经网络中进行卷积操作，再进行最大池化操作，生成第一句子特征向量；

将所述句向量输入到预设的一个双向长短期记忆神经网络计算出第二句子特征向量，再将第二句子特征向量一维化。

在其中一个实施例中，所述方法还包括：

对用于建模的文本进行预处理，对预处理后的文本中的句子进行人工情感标注，得到句子的情感分类结果；

将用于建模的文本根据预先训练的词向量集合得到句子的句向量，所述句向量是由所述句子中的词的词向量连接构成；

将所述句向量分别输入到随机初始化网络参数的两个卷积神经网络和一个双向长短期记忆神经网络中进行训练，得到所述句子的三个句子特征向量，将所述三个句子特征向量连接得到连接后的句子特征向量；

根据连接后的句子特征向量及标注后的句子的情感分类结果通过反向传播算法训练得到建模后的网络参数以及更新后的所述句子中的词的词向量；

根据所述建模后的网络参数得到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型。

在其中一个实施例中，在所述对用于建模的文本进行预处理之前还包括训练所述词向量集合的过程，具体为：

获取无标注语料库；

对所述无标注语料库中的句子进行预处理；

对预处理后的无标注语料库中句子中的词进行随机初始化为词向量；

获取句子中目标词及目标词前后预设数目的词的词向量，计算最大化目标函数的值，根据所述最大化目标函数的值生成目标词的词向量；

获取所述无标注语料库中词的词向量。

在其中一个实施例中，所述根据句子的情感分类结果得到测试文本的情感倾向，包括：

根据测试文本中句子的情感分类结果的比例，得到测试文本的情感倾向。

一种文本情感分析装置，所述装置包括：

测试文本句向量获取模块，用于获取测试文本中句子的句向量，所述句向量是由所述句子中的词的词向量连接构成；

句子特征向量获取模块，用于将所述句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到所述句子的三个句子特征向量；

分类模块，用于将所述三个句子特征向量连接，通过分类器对连接后的句子特征向量进行分类得到所述句子的情感分类结果；

测试文本情感倾向获取模块，用于根据句子的情感分类结果得到测试文本的情感倾向。

在其中一个实施例中，所述句子特征向量获取模块包括：

第一句子特征向量生成模块，用于将所述句向量分别输入到预设的两个卷积神经网络中进行卷积操作，再进行最大池化操作，生成第一句子特征向量；

第二句子特征向量生成模块，用于将所述句向量输入到预设的一个双向长短期记忆神经网络计算出第二句子特征向量，再将第二句子特征向量一维化。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取测试文本中句子的句向量，所述句向量是由所述句子中的词的词向量连接构成；

将所述句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到所述句子的三个句子特征向量；

将所述三个句子特征向量连接，通过分类器对连接后的句子特征向量进行分类得到所述句子的情感分类结果；

根据句子的情感分类结果得到测试文本的情感倾向。

一种计算机设备，所述计算机设备包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取测试文本中句子的句向量，所述句向量是由所述句子中的词的词向量连接构成；

将所述句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到所述句子的三个句子特征向量；

将所述三个句子特征向量连接，通过分类器对连接后的句子特征向量进行分类得到所述句子的情感分类结果；

根据句子的情感分类结果得到测试文本的情感倾向。

上述文本情感分析方法、装置、存储介质和计算机设备，通过测试文本的词向量获取测试文本的句向量，将句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到句子的三个句子特征向量。最后计算出句子的情感分类结果，进而计算出整个测试文本的情感倾向。该方法结合了卷积神经网络能够有效的提取局部特征、双向长短时记忆神经网络能够有效地分析时序特征的优势，通过该方法对测试文本经过情感分析后获取的情感倾向更高的鲁棒性和泛化能力，且更加高效。

附图说明

图1为一个实施例中服务器的内部结构图；

图2为一个实施例中文本情感分析方法的流程图；

图3为一个实施例中文本情感分析方法的流程图；

图4为图2中句子特征向量获取方法的流程图；

图5为一个实施例中双向LSTM记忆单元结构示意图；

图6为另一个实施例中文本情感分析方法的流程图；

图7为一个实施例中获取无标注语料库中词的词向量方法的流程图；

图8为一个实施例中文本情感分析装置的结构示意图；

图9为图8中句子特征向量获取模块的结构示意图；

图10为另一个实施例中文本情感分析装置的结构示意图；

图11为一个实施例中词向量集合训练模块的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在一个实施例中，如图1所示，还提供了一种服务器，该服务器包括通过系统总线连接的处理器、非易失性存储介质、内存储器、网络接口，非易失性存储介质中存储有操作系统和一种文本情感分析装置，该文本情感分析装置用于执行一种文本情感分析方法。该处理器用于提高计算和控制能力，支撑整个服务器的运行。内存储器用于为非易失性存储介质中的文本情感分析装置的运行提供环境，该内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得该处理器执行一种文本情感分析方法。网络接口用于与终端进行网络通信，接收或发送数据，例如接收终端发送的文本情感分析的请求，以及向终端发送文本情感倾向结果等。

在一个实施例中，如图2所示，提供了一种文本情感分析方法，以该方法应用于图1中的服务器为例进行说明，包括：

步骤210，获取测试文本中句子的句向量，句向量是由句子中的词的词向量连接构成。

请一并结合图3所示，图3为一个实施例中文本情感分析方法的流程图。在对测试文本310进行测试时候，前提是已经建立好了模型的。在建立模型的时候生成了测试文本所需的两个卷积神经网络CNN和一个双向长短期记忆神经网络LSTM模型的网络参数，同时对建模文本的句子中的词的词向量进行了更新。卷积神经网络(Convolutional NeuralNetwork,CNN)是深度学习技术中极具代表的网络结构之一。长短期记忆网络模型是指LSTM(Long Short-Term Memory)，一种时间递归神经网络。双向长短期记忆网络模型包括前向长短期记忆网络模型和后向长短期记忆网络模型。

通过上述更新后的词的词向量，经过Embedding(词向量)层320处理。请一并结合图3所示，Embedding(词向量)层320分别对测试文本中的每一个句子，获取句子中的词的词向量，进而将整个句子的词向量从头到尾连接起来，构成句向量。句向量是由句子中的词的词向量连接构成。词向量指的是每个词被表征为一个维度为d的向量。

步骤220，将句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到句子的三个句子特征向量。

两个卷积神经网络和一个双向长短期记忆神经网络模型是预先训练好的模型。当然，也可以选择其他数量的卷积神经网络和双向长短期记忆神经网络模型。在本发明实施例所使用的模型分为三层，请一并结合图3所示，第一层和第二层都为卷积层330，第三层为双向长短期记忆神经网络。将获取的句向量复制3份，分别输入到并行的两个卷积神经网络和一个双向长短期记忆神经网络模型中进行处理，即分为3条路进行同步处理。将句向量输入每个卷积层，卷积核按照相应的长度即按照卷积核的大小从前向后扫描文本，并执行卷积操作。经过卷积处理后接着在池化层340进行最大池化操作后生成一个句子特征向量。最大池化操作(max pooling)，是指选取窗口内的最大值作为一个特征，对进行卷积操作后的结果进行最大池化操作能够有效降维以及改善过拟合。对一个句子，经过了两个不同的卷积层就输出了两个不同的句子特征向量，这两个句子特征向量都是一维的。

将句向量输入了双向长短期记忆神经网络模型中即双向LSTM层360进行处理生成句子的另一个句子特征向量，在该模型中，词的向量表征是通过将词的前文和后文表征联合起来的，即这种表征方法非常有效的将一个词在其语境中的信息表征出来，可以应用到多种自然语言处理任务中。通过不断融合前后词的向量表征h_t最后得到整个句子的句子特征向量。因为通过长短期记忆神经网络模型得到的句子特征向量是多维的，所以要通过Flatten层350即压平层进行一维化处理。

步骤230，将三个句子特征向量连接，通过分类器SVM对连接后的句子特征向量进行分类得到句子的情感分类结果。

请一并结合图3所示，经过merge层370将提取的三个特征向量前后拼接起来，输入到全连接层，全连接层的节点与merge层370的每个节点都进行连接，从全连接层380输出融合后的句子特征向量。全连接层380是将前一层的每个节点与全连接层的节点全部进行连接。通常网络层数越多，对句子的拟合效果越好。通过分类器SVM390将经过全连接层处理后得到的句子特征向量进行分类，情感分类结果分为三类：积极、消极和中性。当然，也可以对情感进行更细化的分类，例如喜悦、兴奋、生气、愤怒、悲伤、恐惧、厌烦等。或者也可以采用其他的分类标准对情感进行分类。具体的，对“马尔代夫的天空好美呀”这个句子处理后得到融合后的句子特征向量进行分类，得出情感分类结果为积极。在上述整个对测试文本的处理过程中都同时进行Dropout(丢失)操作，Dropout的奥秘就是可以随机选择所要忽略的隐层节点，在每个批次的训练过程中，由于每次随机忽略的隐层节点都不同，这样就使得每次训练的网络都是不一样的，每次训练都可以当做一个“新”的模型。Dropout操作可以用来防止过拟合，即在训练过程中随机的使得双向LSTM的部分网络参数保持不变，调节另外的部分网络参数，进而提高网络的泛化能力。

步骤240，根据句子的情感分类结果得到测试文本的情感倾向。

将测试文本中每个句子的句子特征向量进行分类后，根据测试文本中句子的情感分类结果的比例，得到测试文本的情感倾向。具体的，例如，分析出测试文本中情感分类结果为积极的句子占比70％，测试文本中情感分类结果为消极的句子占比10％，测试文本中情感分类结果为中性的句子占比20％。那么就得出测试文本的情感倾向为积极。

本实施例中，通过测试文本的词向量获取测试文本的句向量，将句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到句子的三个句子特征向量。最后计算出句子的情感分类结果，进而计算出整个测试文本的情感倾向。该方法结合了卷积神经网络能够有效的提取局部特征、双向长短时记忆神经网络能够有效地分析时序特征的优势，通过该方法对测试文本经过情感分析后获取的情感倾向更高的鲁棒性和泛化能力，且更加高效。泛化能力(generalization ability)是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

在一个实施例中，两个卷积神经网络包括：一个卷积核为3的卷积神经网络和另一个卷积核为5的卷积神经网络。

在本实施例中，上述模型中的两个卷积神经网络，一个卷积神经网络的卷积核为3，另一个卷积神经网络的卷积核为5。就像一个滑动窗口一样，卷积核为3就是每次以3个词向量来进行卷积操作，提取特征向量。卷积核为5就是每次以5个词向量来进行卷积操作，提取特征向量。采用不同卷积核的卷积神经网络，能够通过不同提取方式提取到不同的特征向量，从而能够更加有效的提取局部特征，使得提取出的特征向量有更高的稳定性和泛化能力。

在一个实施例中，如图4所示，将句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络进行处理得到三个句子的句子特征向量，包括：

步骤221，将句向量分别输入到预设的两个卷积神经网络中进行卷积操作，再进行最大池化操作，生成第一句子特征向量。

将句向量输入预设的每个卷积层，卷积核按照相应的长度即按照卷积核的大小从前向后扫描文本，并执行卷积操作。每个卷积层后面接着以窗口大小2和3进行最大池化操作后会生成一个固定长度的句子特征向量。当然，窗口大小也可以为其他数值。最大池化操作(max pooling)，是指选取窗口内的最大值作为一个特征，对进行卷积操作后的结果进行最大池化操作能够有效降维以及改善过拟合。对一个句子，经过了两个不同的卷积层就输出了两个不同的第一句子特征向量，这两个第一句子特征向量都是一维的。

步骤223，将句向量输入到预设的一个双向长短期记忆神经网络计算出第二句子特征向量，再将第二句子特征向量一维化。

与将句向量输入每个卷积层同步，将句向量输入到预设的一个双向长短期记忆神经网络LSTM进行计算出第二句子特征向量。具体的计算过程如下：对于一个给定序列(w₁,w₂,...,w_n)，这个序列中包含了n个词向量，词向量指的是每个词被表征为一个维度为d的向量。LSTM包含前向LSTM和后向LSTM，是根据其读取方向的不同称其为前向LSTM和后向LSTM。前向LSTM正向读取该输入序列将每个词所在句子中左边的词计算表征为一个向量

同理利用反向LSTM反向读取该输入序列生成相应的表征该词在句子中后文特征的向量

在双向长短期记忆神经网络LSTM中，文本中一个词的向量表征h_t是对词向量进一步考虑了时序信息之后得到的新的向量，是更高层次的词向量。具体的，词的向量表征h_t是通过将词的前文和后文表征联合起来的，即

这种表征方法非常有效的将一个词在其语境中的信息表征出来，这种词表征方法可以应用到多种自然语言处理任务中。具体的，一个LSTM记忆单元结构如图5所示：整过网络是一个时序建模的网络，对应着前后词建模。x_t、x_t-1、x_t+1表示前后相邻的词向量，y_t、y_t-1、y_t+1表示表示隐藏层的输出，相当于是对应词的输出标签。

表示隐含层参数。不同的箭头方向表示文本输入顺序，一个正向输入，一个逆向输入。逆向输入的意思是指，先输入后一个词的词向量，在输入当前词的词向量。例如，一个句子是“我很开心”，假设每个词对应的词向量为我(0.4 0.30.2 0.1)很(0.3 0.3 0.3 0.1)开心(0.4 0.2 0.2 0.2)，每输入一个词的词向量，再依次从前向后输入计算每一个词的

然后对这个词进行逆序输入，计算每一个

再通过

将词的前文和后文表征联合起来得到h_t。就这样依次去计算，直到将一个句子中的词向量都进行了计算，最终输出的h_t即为第二句子特征向量。再将第二句子特征向量通过Flatten层即压平层进行一维化处理，处理后得到一维的句子特征向量。

在本实施例中，首先采用两个卷积神经网络和一个双向长短期记忆神经网络来对句向量中的词向量进行处理，结合了卷积神经网络能够有效的提取局部特征、双向长短时记忆神经网络能够有效地分析时序特征的优势。然后，采用的两个卷积神经网络的卷积核不同，通过不同的卷积核能够提取出不同的特征。再采用正向和反向的长短时记忆神经网络，使用双向长短期记忆网络模型分别对前向和后向序列信息进行提取，能够更完整的反映词向量之间的关联关系，提高最终计算出的句子特征向量的准确性。

在一个实施例中，如图6所示，文本情感分析方法还包括：

步骤250，对用于建模的文本进行预处理，对预处理后的文本中的句子进行人工情感标注，得到句子的情感分类结果。

对用于建模的文本进行预处理，具体的可以是一篇新闻文本。首先，将文本按照句子进行分割，根据关键词列表提取关键句，需要先将文本转换为等长的输入序列。然后对每个关键句进行分词，每个句子长度最多20个词，对于多出的进行删除，不足的循环复制文本直到20个字。当然，也可以设置为其他数值。例如，一个句子为“我今天做了一件好事很开心”，只有12个字，不足20个字。就需要进行预处理，预处理后得到的句子为“我今天做了一件好事很开心。我今天做了一件好。”再对预处理后的文本中的句子进行人工情感标注，得到句子的情感分类结果。情感分类结果分为三类：积极、消极和中性。

步骤260，将用于建模的文本根据预先训练的词向量集合得到句子的句向量，句向量是由句子中的词的词向量连接构成。

预先训练的词向量集合是根据无标注语料库的句子进行预处理，对预处理后的无标注语料库中句子中的词进行随机初始化为词向量。再获取句子中目标词及目标词前后预设数目的词的词向量，计算最大化目标函数的值，根据最大化目标函数的值生成目标词的词向量，最终获取无标注语料库中所有词的词向量。获取用于建模的文本，根据预先训练的词向量集合得到句子中词的词向量，进而将句子中的词的词向量连接构成句向量。

步骤270，将句向量分别输入到随机初始化网络参数的两个卷积神经网络和一个双向长短期记忆神经网络中进行训练，得到句子的三个句子特征向量，将三个句子特征向量连接得到连接后的句子特征向量。

对两个卷积神经网络和一个双向长短期记忆神经网络的网络参数进行随机初始化后，再将句向量分别输入到随机初始化网络参数的两个卷积神经网络和一个双向长短期记忆神经网络中进行分别训练。训练的过程跟实测的过程一样，具体为，将句向量输入预设的每个卷积层，卷积核按照相应的长度即按照卷积核的大小从前向后扫描文本，并执行卷积操作。每个卷积层后面接着以窗口大小2和3进行最大池化操作后会生成一个固定长度的句子特征向量。当然，窗口大小也可以为其他数值。最大池化操作(max pooling)，是指选取窗口内的最大值作为一个特征，对进行卷积操作后的结果进行最大池化操作能够有效降维以及改善过拟合。对一个句子，经过了两个不同的卷积层就输出了两个不同的第一句子特征向量，这两个第一句子特征向量都是一维的。

同步将将句向量输入到预设的一个双向长短期记忆神经网络LSTM进行计算出第二句子特征向量。具体的计算过程如下：对于一个给定序列(w₁,w₂,...,w_n)，这个序列中包含了n个词向量，词向量指的是每个词被表征为一个维度为d的向量。LSTM包含前向LSTM和后向LSTM，是根据其读取方向的不同称其为前向LSTM和后向LSTM。前向LSTM正向读取该输入序列将每个词所在句子中左边的词计算表征为一个向量

同理利用反向LSTM反向读取该输入序列生成相应的表征该词在句子中后文特征的向量

再通过

将词的前文和后文表征联合起来得到h_t。就这样依次去计算，直到将一个句子中的词向量都进行了计算，最终输出的h_t即为第二句子特征向量。再将第二句子特征向量通过Flatten层即压平层进行一维化处理，处理后得到一维的句子特征向量。

将三个句子特征向量连接得到连接后的句子特征向量，再输入到全连接层中进行融合，从全连接层输出融合后的句子特征向量。

步骤280，根据连接后的句子特征向量及标注后的句子的情感分类结果通过反向传播算法训练得到建模后的网络参数以及更新后的句子中的词的词向量。

根据连接后的句子特征向量及标注后的句子的情感分类结果，通过反向传播算法训练得到两个卷积神经网络和一个双向长短期记忆神经网络模型的网络参数，并对输入的用于建模的文本中的词的词向量进行了更新，更新后的词向量的准确性更高。

步骤290，根据建模后的网络参数得到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型。

将建模后获得的网络参数带入至两个卷积神经网络和一个双向长短期记忆神经网络模型中，就得到了训练后的两个卷积神经网络和一个双向长短期记忆神经网络模型。后续，可以通过这个模型去对测试文本进行分析情感倾向。

在本实施例中，预先对用于建模的文本中的句子进行人工情感标注，得到句子的情感分类结果。再通过初始化网络参数的模型计算出句子特征向量。根据连接后的句子特征向量及标注后的句子的情感分类结果通过反向传播算法训练得到建模后的网络参数，并对输入的用于建模的文本中的词的词向量进行了更新。这样用人工标注的准确无误的结果去进行训练能够不断提高训练出的网络参数的准确性，并且同时对根据预先训练的词向量集合获得的建模文本中的句子的词向量进行了更新，在下次对测试文本进行实测的时候，就可以使用更新之后的词向量去获得测试文本的词向量。如此，便进一步提高了实测时候结果的准确性。

在一个实施例中，如图7所示，在对用于建模的文本进行预处理之前还包括训练词向量集合的过程，具体为：

步骤710，获取无标注语料库。

通过网络收集无标注语料库，无标注语料库的数据量的大小为建模文本数据量的100倍以上为佳，当然，无标注语料库的数据量的大小也可以为其他合理的大小。

步骤720，对无标注语料库中的句子进行预处理。

首先，将无标注语料库中的文本按照句子进行分割，根据关键词列表提取关键句，需要先将文本转换为等长的输入序列。然后对每个关键句进行分词，每个句子长度最多20个词，对于多出的进行删除，不足的循环复制文本直到20个字。

步骤730，对预处理后的无标注语料库中句子中的词进行随机初始化为词向量。

对于语料库中的每个句子中的每一个词随机初始化为词向量w_t。

步骤740，获取句子中目标词及目标词及前后预设数目的词的词向量，计算最大化目标函数的值，根据最大化目标函数的值生成目标词的词向量。

获取句子中目标词及目标词的上下文词语并计算最大化目标函数的值，最大化目标函数的公式如下：

log P(w_t|w_t-k,...,w_t+k)，

其中，k为选定的目标词的前后词的个数，一般设置为3。即获取目标词及目标词前后3个词的词向量，来计算最大化目标函数的值。n为句子长度为20。当然，上述k和n的值都可以设置为其他数值。

步骤750，获取无标注语料库中词的词向量。

依次对每一个句子中的每一个词进行计算出词向量，进而计算出整个无标注语料库中所有词的词向量。经过训练后得到整个无标注语料库的词向量集合。

在本实施例中，通过对从网络上收集大规模无标注语料库进行训练，先对无标注语料库中的词进行随机初始化词向量，然后再对每一个词计算最大化目标函数的值。通过最大化目标函数的值得到整个无标注语料库中所有词的词向量。使用大规模语料库训练出的词向量在表达语义上更合适，更准确，有效提升分类结果。

在一个实施例中，根据句子的情感分类结果得到测试文本的情感倾向，包括：根据测试文本中句子的情感分类结果的比例，得到测试文本的情感倾向。

在本实施例中，将测试文本中每个句子的句子特征向量进行分类后，根据测试文本中句子的情感分类结果的比例，得到测试文本的情感倾向。具体的，例如，分析出测试文本中情感分类结果为积极的句子占比70％，测试文本中情感分类结果为消极的句子占比10％，测试文本中情感分类结果为中性的句子占比20％。那么就得出测试文本的情感倾向为积极。

在一个实施例中，提供了一种文本情感分析方法，该方法以应用于如图1所示的服务器中进行举例说明。

首先，通过网络收集无标注语料库，将无标注语料库中的文本进行预处理。具体为，按照句子进行分割，根据关键词列表提取关键句，需要先将文本转换为等长的输入序列。然后对每个关键句进行分词，每个句子长度最多20个词，对于多出的进行删除，不足的循环复制文本直到20个字。对于语料库中的每个句子中的每一个词随机初始化为词向量w_t。获取句子中目标词及目标词的上下文词语并计算最大化目标函数的值。依次对每一个句子中的每一个词进行计算出词向量，进而计算出整个无标注语料库中所有词的词向量。经过训练后得到整个无标注语料库的词向量集合。

进一步的，对用于建模的文本进行如上述一样的预处理，对预处理后的文本中的句子进行人工情感标注，得到句子的情感分类结果。情感分类结果分为三类：积极、消极和中性。将用于建模的文本根据上述预先训练的词向量集合得到句子中词的词向量，进而将句子中的词的词向量连接得到句向量。

进一步的，对两个卷积神经网络和一个双向长短期记忆神经网络的网络参数进行随机初始化后，再将句向量分别输入到随机初始化网络参数的两个卷积神经网络和一个双向长短期记忆神经网络中进行分别训练。具体为，将句向量输入预设的每个卷积层，卷积核按照相应的长度即按照卷积核的大小从前向后扫描文本，并执行卷积操作。再经过最大池化操作后会生成句子特征向量。对一个句子，经过了两个不同的卷积层就输出了两个不同的第一句子特征向量，这两个第一句子特征向量都是一维的。同步将将句向量输入到预设的一个双向长短期记忆神经网络LSTM进行计算出第二句子特征向量。再将第二句子特征向量通过Flatten层即压平层进行一维化处理，处理后得到一维的句子特征向量。根据标注后的句子的情感分类结果，通过反向传播算法训练得到两个卷积神经网络和一个双向长短期记忆神经网络模型的网络参数，并对输入的用于建模的文本中的词的词向量进行了更新。将建模后获得的网络参数带入至两个卷积神经网络和一个双向长短期记忆神经网络模型中，就得到了训练后的两个卷积神经网络和一个双向长短期记忆神经网络模型。后续，可以通过这个模型去对测试文本进行分析情感倾向。

进一步的，在建模之后，对测试文本进行实测。分别对测试文本中的每一个句子，获取句子中的词的词向量，进而将整个句子的词向量从头到尾连接起来，构成句向量。将句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到句子的三个句子特征向量。经过merge层将提取的三个特征向量前后拼接起来，输入到全连接层，全连接层的节点与merge层的每个节点都进行连接，从全连接层输出融合后的句子特征向量。通过分类器SVM将融合后的句子特征向量进行分类，得出情感分类结果。最后，根据测试文本中句子的情感分类结果的比例，得到测试文本的情感倾向。

在一个实施例中，如图8所示，提供了一种文本情感分析装置800，该装置包括：测试文本句向量获取模块810、句子特征向量获取模块820、分类模块830及测试文本情感倾向获取模块840。其中：

测试文本句向量获取模块810，用于获取测试文本中句子的句向量，句向量是由句子中的词的词向量连接构成；

句子特征向量获取模块820，用于将句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到句子的三个句子特征向量；

分类模块830，用于将三个句子特征向量连接，通过分类器SVM对连接后的句子特征向量进行分类得到句子的情感分类结果；

测试文本情感倾向获取模块840，用于根据句子的情感分类结果得到测试文本的情感倾向。

在一个实施例中，如图9所示，句子特征向量获取模块820包括：第一句子特征向量生成模块821和第二句子特征向量生成模块822。其中：

第一句子特征向量生成模块821，用于将句向量分别输入到预设的两个卷积神经网络中进行卷积操作，再进行最大池化操作，生成第一句子特征向量；

第二句子特征向量生成模块822，用于将句向量输入到预设的一个双向长短期记忆神经网络计算出第二句子特征向量，再将第二句子特征向量一维化。

在一个实施例中，如图10所示，文本情感分析装置800还包括：标注模块850、建模文本的句向量获取模块860、训练模块880、网络参数及更新后的词向量获取模块880及模型生成模块890。其中：

标注模块850，用于对用于建模的文本进行预处理，对预处理后的文本中的句子进行人工情感标注，得到句子的情感分类结果；

建模文本的句向量获取模块860，用于将用于建模的文本根据预先训练的词向量集合得到句子的句向量，句向量是由句子中的词的词向量连接构成；

训练模块880，用于将句向量分别输入到随机初始化网络参数的两个卷积神经网络和一个双向长短期记忆神经网络中进行训练，得到句子的三个句子特征向量，将三个句子特征向量连接得到连接后的句子特征向量；

网络参数及更新后的词向量获取模块880，用于根据连接后的句子特征向量及标注后的句子的情感分类结果通过反向传播算法训练得到建模后的网络参数以及更新后的句子中的词的词向量；

模型生成模块890，用于根据建模后的网络参数得到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型。

在一个实施例中，如图11所示，在标注模块850之前还包括词向量集合训练模块900，词向量集合训练模块900包括：无标注语料库获取模块910、预处理模块920、词向量随机初始化模块930、目标词的词向量生成模块940及无标注语料库中词的词向量获取模块950。其中：

无标注语料库获取模块910，用于获取无标注语料库。

预处理模块920，用于对无标注语料库中的句子进行预处理。

词向量随机初始化模块930，用于对预处理后的无标注语料库中句子中的词进行随机初始化为词向量。

目标词的词向量生成模块940，用于获取句子中目标词及目标词前后预设数目的词的词向量，计算最大化目标函数的值，根据最大化目标函数的值生成目标词的词向量。

无标注语料库中词的词向量获取模块950，用于获取无标注语料库中词的词向量。

在一个实施例中，测试文本情感倾向获取模块840，还用于根据测试文本中句子的情感分类结果的比例，得到测试文本的情感倾向。

在一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取测试文本中句子的句向量，句向量是由句子中的词的词向量连接构成；将句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到句子的三个句子特征向量；将三个句子特征向量连接，通过分类器SVM对连接后的句子特征向量进行分类得到句子的情感分类结果；根据句子的情感分类结果得到测试文本的情感倾向。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：两个卷积神经网络包括：一个卷积核为3的卷积神经网络和另一个卷积核为5的卷积神经网络。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：将句向量分别输入到预设的两个卷积神经网络中进行卷积操作，再进行最大池化操作，生成第一句子特征向量；将句向量输入到预设的一个双向长短期记忆神经网络计算出第二句子特征向量，再将第二句子特征向量一维化。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：对用于建模的文本进行预处理，对预处理后的文本中的句子进行人工情感标注，得到句子的情感分类结果；将用于建模的文本根据预先训练的词向量集合得到句子的句向量，句向量是由句子中的词的词向量连接构成；将句向量分别输入到随机初始化网络参数的两个卷积神经网络和一个双向长短期记忆神经网络中进行训练，得到句子的三个句子特征向量，将三个句子特征向量连接得到连接后的句子特征向量；根据连接后的句子特征向量及标注后的句子的情感分类结果通过反向传播算法训练得到建模后的网络参数以及更新后的句子中的词的词向量；根据建模后的网络参数得到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：获取无标注语料库；对无标注语料库中的句子进行预处理；对预处理后的无标注语料库中句子中的词进行随机初始化为词向量；获取句子中目标词及目标词前后预设数目的词的词向量，计算最大化目标函数的值，根据最大化目标函数的值生成目标词的词向量；获取无标注语料库中词的词向量。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：根据测试文本中句子的情感分类结果的比例，得到测试文本的情感倾向。

在一个实施例中，还提供了一种计算机设备，该计算机设备包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取测试文本中句子的句向量，句向量是由句子中的词的词向量连接构成；将句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到句子的三个句子特征向量；将三个句子特征向量连接，通过分类器SVM对连接后的句子特征向量进行分类得到句子的情感分类结果；根据句子的情感分类结果得到测试文本的情感倾向。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：两个卷积神经网络包括：一个卷积核为3的卷积神经网络和另一个卷积核为5的卷积神经网络。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：将句向量分别输入到预设的两个卷积神经网络中进行卷积操作，再进行最大池化操作，生成第一句子特征向量；将句向量输入到预设的一个双向长短期记忆神经网络计算出第二句子特征向量，再将第二句子特征向量一维化。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：对用于建模的文本进行预处理，对预处理后的文本中的句子进行人工情感标注，得到句子的情感分类结果；将用于建模的文本根据预先训练的词向量集合得到句子的句向量，句向量是由句子中的词的词向量连接构成；将句向量分别输入到随机初始化网络参数的两个卷积神经网络和一个双向长短期记忆神经网络中进行训练，得到句子的三个句子特征向量，将三个句子特征向量连接得到连接后的句子特征向量；根据连接后的句子特征向量及标注后的句子的情感分类结果通过反向传播算法训练得到建模后的网络参数以及更新后的句子中的词的词向量；根据建模后的网络参数得到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：获取无标注语料库；对无标注语料库中的句子进行预处理；对预处理后的无标注语料库中句子中的词进行随机初始化为词向量；获取句子中目标词及目标词前后预设数目的词的词向量，计算最大化目标函数的值，根据最大化目标函数的值生成目标词的词向量；获取无标注语料库中词的词向量。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：根据测试文本中句子的情感分类结果的比例，得到测试文本的情感倾向。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种文本情感分析方法，所述方法包括：

对用于建模的文本进行预处理，对预处理后的文本中的句子进行人工情感标注，得到句子的情感分类结果；

将用于建模的文本根据预先训练的词向量集合得到句子的句向量，所述句向量是由所述句子中的词的词向量连接构成；

将所述句向量分别输入到随机初始化网络参数的两个卷积神经网络和一个双向长短期记忆神经网络中进行训练，得到所述句子的三个句子特征向量，将所述三个句子特征向量连接得到连接后的句子特征向量；

根据所述连接后的句子特征向量及标注后的句子的情感分类结果通过反向传播算法训练得到建模后的网络参数以及更新后的所述句子中的词的词向量；

根据所述建模后的网络参数得到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型；

获取测试文本中句子的句向量，所述句向量是由所述句子中的词的词向量连接构成；

将所述句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络模型进行处理得到所述句子的三个句子特征向量；

将所述三个句子特征向量连接，通过分类器对连接后的句子特征向量进行分类得到所述句子的情感分类结果；

根据句子的情感分类结果得到测试文本的情感倾向。

2.根据权利要求1所述的方法，其特征在于，所述两个卷积神经网络包括：一个卷积核为3的卷积神经网络和另一个卷积核为5的卷积神经网络。

3.根据权利要求1所述的方法，其特征在于，所述将所述句向量分别输入到预设的两个卷积神经网络和一个双向长短期记忆神经网络进行处理得到三个所述句子的句子特征向量，包括：

将所述句向量分别输入到预设的两个卷积神经网络中进行卷积操作，再进行最大池化操作，生成第一句子特征向量；

将所述句向量输入到预设的一个双向长短期记忆神经网络计算出第二句子特征向量，再将第二句子特征向量一维化。

4.根据权利要求1所述的方法，其特征在于，在所述对用于建模的文本进行预处理之前还包括训练所述词向量集合的过程，具体为：

获取无标注语料库；

对所述无标注语料库中的句子进行预处理；

对预处理后的无标注语料库中句子中的词进行随机初始化为词向量；

获取句子中目标词及目标词前后预设数目的词的词向量，计算最大化目标函数的值，根据所述最大化目标函数的值生成目标词的词向量；

获取所述无标注语料库中词的词向量。

5.根据权利要求1所述的方法，其特征在于，所述根据句子的情感分类结果得到测试文本的情感倾向，包括：

根据测试文本中句子的情感分类结果的比例，得到测试文本的情感倾向。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的文本情感分析方法。

7.一种计算机设备，所述计算机设备包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的文本情感分析方法。

Images