CN109902177A - 基于双通道卷积记忆神经网络的文本情感分析方法 - Google Patents

Abstract

根据本发明所涉及的基于双通道卷积记忆神经网络的文本情感分析方法，因为将测试集中的文本同时进行词义训练与情感训练分别得到词向量矩阵与扩展特征向量矩阵，再将词向量矩阵与扩展特征向量矩阵进行计算得到训练文本向量矩阵，再将训练文本向量矩阵通过LSTM训练得到具有上下文关系的训练文本感情向量矩阵，将训练文本感情矩阵通过CNN处理得到训练文本情感分类，再将训练文本情感分类通过与对应文本的人为感情评价进行自调整。

Description

基于双通道卷积记忆神经网络的文本情感分析方法

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于双通道卷积记忆神经网络的文本情感分析方法。

背景技术

随着我国电子商务的健康发展，流量红利期已过，客户成本越来越高。电子商务企业如何识别客户消费偏好，开展精准营销，降低竞争成本，是每个企业必备功课。商品评论数据是电子商务交易完成后，客户对产品的质量、价格、服务等方面的评价。商品评论数据已成为企业获取客户消费偏好、开展精准营销的重要信息来源。这种评价集往往带有很强的情感倾向。研究客户的情感倾向既能度量客户对企业的认可度，也能挖掘客户的消费偏好。目前，文本情感分析领域主要分为三个研究方向。第一个是基于规则和词典的方法：这种方法借助人工构建的情感词典和专家总结的规则来识别文本的情感，一般不考虑词之间的语义关联，仅仅是将文本看成是词与词的集合。基于情感词典的文本情感分类方法性能过于依赖词典的质量，对网络新词和表情符号的区分能力不强。第二个是基于机器学习的方法：此方法运用机器学习分类器，通过人工选择的语言学特征进行训练，用训练好的分类器识别文本的情感，常用的分类器有朴素贝叶斯、最大熵模型、支持向量机，常用的语言学特征有词袋模型、词性特征、否定词特征等。第三个是基于深度学习的方法：此种方法运用神经网络模型，通过在训练集上的训练自动学习得到用于分类的情感特征，然后用训练好的神经网络模型识别文本的情感。由此产生的常用相关技术方法有：(1)运用word2vec工具得到文本的词向量表示，输入到训练好的卷积神经网络(convolutin neural network,CNN)中，得到商品评论文本的情感倾向。(2)将对抗式训练应用到文本情感分析领域，结合CNN，提高了在处理对抗样本时的鲁棒性。(3)利用情感词典得到文本的情感极性分值结合word2vec得到的词向量，得到有“情感信息”的特征向量，再输入CNN中进行训练。以上三个专利都只在模型的输入层进行优化，再用CNN进行情感判定，而本文对神经网络进行优化，融合了LSTM(Long Short Term Memory)神经网络和CNN，提高了文本情感分析的准确度。(4)采用word2vec工具得到文本的词向量表示，将其输入LSTM神经网络得到具有上下文语义关系的词向量，再输入CNN提取特征，最后通过softmax(归一化)层得到文本情感类别。(5)选用词语特征与词向量作为双通道输入，接着用CNN进行文本情感分类，(6)联合使用CNN和LSTM对词向量进行处理。

深度学习适合做文本情感分析是因为深度学习结构灵活，其底层词嵌入技术能避免文本长短不均带来的处理困难，使用深度学习抽象特征，能避免大量人工提取特征的工作。技术方法(1)-(3)和技术方法(5)都只在模型的输入层进行优化，再用CNN进行情感判定，技术方法(4)、(6)的在神经网络的输入层的输入对文本情感信息表示较简单造成对文本情感分析的准确率不高。

发明内容

本发明是为了解决上述问题而进行的，提供了一种基于双通道卷积记忆神经网络的文本情感分析方法，具有这样的特征，包括以下步骤：

步骤S1:将原始商品评论文本进行预处理得到训练集与测试集，文本包含多个单词；

步骤S2:将训练集中预处理好的一句文本进行训练，得到训练文本向量矩阵，作为神经网络双通道输入的一个通道；同时创建并通过五种词语特征词典对训练文本的单词进行匹配并设置情感权重值，得到训练文本的扩展特征向量矩阵，作为神经网络双通道输入的另一个通道；再将训练文本向量矩阵与扩展特征向量矩阵进行拼接，组成一个第一向量矩阵作为LSTM神经网络的输入；

步骤S3:利用LSTM神经网络得到第一向量矩阵中每一个单词向量的上下文情感特征关系，基于该情感特征关系调整单词向量的情感权重值，得到矫正情感权重值，生成具有上下文情感特征关系的感情向量矩阵。

步骤S4:利用卷积神经网络CNN的3种尺寸的卷积核将感情向量矩阵对应的单词向量按不同单词数量组合方式得到多个词组序列，并筛选其中矫正情感权重值最高的词组序列；

步骤S5:分别对词组序列中每个感情特征的矫正情感权重值进行计算情感类别的概率，根据所得概率赋予对应的文本的文本情感标签；

步骤S6:将计算所得的文本情感标签与该文本的人工情感标记进行对比，根据对比结果通过Adam算法最小化交叉熵损失函数，调整LSTM和CNN神经网络的权重矩阵参数，使得文本情感标签与人为感情评价一致；

步骤S7:重复步骤S2-步骤S6直至训练集中的全部文本进行训练，将对应的扩展特征向量矩阵作为最终特征向量矩阵，将对应的训练文本感情向量矩阵作为最终感情向量矩阵，至此，本发明的文本情感分类模型训练完成；

步骤S8:运用训练好的文本情感分类模型对测试集文本进行情感分析，得到的文本情感分类与文本的人为评价进行对比验证，验证情感分析的准确性。

在本发明提供的基于双通道卷积记忆神经网络的文本情感分析方法中，还可以具有这样的特征：其中，步骤S1中，处理的过程包括以下子步骤：

步骤S1-1：选择预定数量的原始商品评论文本得到数据集；

步骤S1-2：对数据集进行数据清洗、分词处理以及词性标注得到预处理后的文本；

步骤S1-3：将预处理后的文本按预定比例分为训练集和测试集。训练集与测试集的比例为5:1-4:1。

在本发明提供的基于双通道卷积记忆神经网络的文本情感分析方法中，还可以具有这样的特征：其中，步骤S2中，得到第一向量矩阵包括以下子步骤：

步骤S2-1：对训练文本中每个单词词进行词义训练得到构成词的语义词向量矩阵，作为神经网络的双通道输入的一个输入。语义词向量的训练采用Skip-gram模型训练语义词向量。该模型从目标词的上下文中选择一个单词，将单词作为输入，预测目标词；

步骤S2-2：五种词语特征词典中包含每个词的情感权重；利用五种词语特征词典对单词进行匹配并赋予相应权重，将情感权重归一化到[-1,1]，得到扩展特征向量矩阵，作为神经网络双通道输入的另一个输入；

步骤S2-3：将训练文本向量矩阵与扩展特征向量矩阵拼接成一个第一向量矩阵作为神经网络的输入。

发明的作用与效果

根据本发明所涉及的基于双通道卷积记忆神经网络的文本情感分析方法，因为将测试集中的文本同时进行词义训练与情感训练分别得到词向量矩阵与扩展特征向量矩阵，再将词向量矩阵与扩展特征向量矩阵进行计算得到训练文本向量矩阵，再将训练文本向量矩阵通过LSTM训练得到具有上下文关系的训练文本感情向量矩阵，将训练文本感情矩阵通过CNN处理得到训练文本情感分类，再将训练文本情感分类通过与对应文本的人为感情评价进行自调整。所以，本发明的基于双通道卷积记忆神经网络的文本情感分析方法具有扩展特征向量与词向量组成双通道输入结构，且经过LSTM训练再进入CNN，使得本方法的情感分析模型融合了LSTM(Long Short Term Memory)神经网络和CNN，提高了文本情感分析的准确度。增加了扩展特征向量与词向量组成双通道输入结构，考虑到了文本的上下文联系，极大程度消除了歧义，获得了更丰富的文本表述，因此增强了文本的情感信息表示，有利于增加文本情感分类效果及提高文本情感分类的准确度。

附图说明

图1是本发明的实施例中基于双通道卷积记忆神经网络的文本情感分析方法的步骤流程图；

图2是本发明的实施例中基于双通道卷积记忆神经网络的文本情感分析方法的数据流程图；

图3是本发明的实施例中基于双通道卷积记忆神经网络的文本情感分析方法的LSTM神经网络节点内部的结构图；

图4是本发明的实施例中基于双通道卷积记忆神经网络的文本情感分析方法的经测试的文本情感准确率曲线；

图5是本发明的实施例中基于双通道卷积记忆神经网络的文本情感分析方法的经测试的文本情感损失率曲线。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明的基于双通道卷积记忆神经网络的文本情感分析方法作具体阐述。

如图1所示，基于双通道卷积记忆神经网络的文本情感分析方法S100，包括以下步骤：

步骤S1：将原始商品评论文本进行预处理得到训练集与测试集，文本包含多个单词。如图2所示，本步骤数据状态处于‘预处理阶段’，包括以下子步骤：

步骤S1-1：选择预定数量的原始商品评论文本得到数据集；

在本实施例中，选取2012年亚马逊美食评论数据集，将四、五星评论文本标记为积极评价，一、二星评论文本标记为消极评价。通过这种方式最后随机采集20000条评论文本，为了保持数据的平衡性，选取积极评价和消极评价的评论文本各10000条作为数据集。

步骤S1-2：对数据集进行数据清洗、分词处理以及词性标注得到预处理后的文本；

在本实施例中，从数据集得到特征数据集要经过数据清洗、数据去重、文本分词、停用词过滤、词性标注以及情感类别标注。

‘数据清洗’指通过使用python语言设计如下3种正则表达式规则对数据集进行清洗：规则1：去除评论文本中含有特定品牌的广告词，如Just do it(耐克运动鞋)、Ask formore(百事流行鞋)等；规则2：去除评论文本中含有的网址，如http://,www,\.cn,\.com,\ .hk等；规则3：评论文本中除A-Z,a-z,0-9,！,？外无词义的符号，如“(”、“)”、“*”、“{”、“}”、“\”等。以文本‘"http://www.amazon.com/gp/product/B000GWLUGU"This taffy is sososo good！’为例，经过‘数据清洗’后，该文本转化为‘This taffy is so so so good！’。

‘数据去重’指去除数据集中可能会出现许多含义重复的文本，例如“The caketastes very good”，“The cake tastes really good”，“The cake tastes so good”,这三个文本表达的都是一个含义，所以对这类含义重复的文本进行去重，能够简化数据集。以‘This taffy is so so so good！’为例，经过‘数据清洗’后，该文本转化为‘This taffyis so good！’。

‘文本分词’指对文本按词分隔。在这里使用python语言对文本中出现的缩写以及符号进行了规则的限定：(1)对于缩写形式，如I’ll，They don’t等，拆分为[“I”,“’ll”]，[“They”,“do”,“n’t”]的形式；(2)对于标点符号来说，通常是当做独立的词处理；(3)会将评论中最后一个与标点符号相连的词汇分开，如just do it.会被正确处理为[“just”,“do”,“it”,“.”]。以‘This taffy is so good！’为例，经过‘文本分词’后，该文本转化为‘“This”，“taffy”，“is”，“so”，“good”，“！”’。

‘停用词过滤’指使用本领域常用的停用词字典对一些情感倾向影响很小的词进行过滤去除。如“do“,”is”,”shall”等，将其去除能简化文本。以‘“This”，“taffy”，“is”，“so”，“good”，“！”’为例，经过‘停用词过滤’后，该文本转化为‘“This”，“taffy”，“so”，“good”，“！”’。

词的某些词性能体现出情感倾向，筛选出这些词性有助于文本情感的分类。‘词性标注’指根据评论中词的用法标注出单词的词性，如名词、动词、形容词等。本发明使用python语言进行词性标注。以‘“This”，“taffy”，“so”，“good”，“！”’为例，经过‘词性标注’后，该文本转化为‘“This/N”，“taffy/N”，“so/D”，“good/A”，“！/X”’其中N表示名词，D表示副词，A表示形容词，X表示标点符号。

‘情感类别标记’将商品评论文本中一星和二星评价标注为消极0，四星和五星评价标注为积极1。以‘“This/N”，“taffy/N”，“so/D”，“good/A”，“！/X”’为例，经过‘情感类比标记’后，该文本转化为‘“This/N”“taffy/N”“so/D”“good/A”“！/X”“1”’。

步骤S1-3：将预处理后的文本按预定比例分为训练集和测试集。训练集与测试集的比例为5:1-4:1。在本实施例中，训练集和测试集按4:1划分。

步骤S2：将训练集中预处理好的一句文本进行训练，得到训练文本向量矩阵，作为神经网络双通道输入的一个通道；同时创建并通过五种词语特征词典对训练文本的单词进行匹配并设置情感权重值，得到训练文本的扩展特征向量矩阵，作为神经网络双通道输入的另一个通道；再将训练文本向量矩阵与扩展特征向量矩阵进行拼接，组成一个第一向量矩阵作为LSTM神经网络的输入；本步骤数据状态处于如图2所示的‘文本表示阶段’，目的在于将文本表示为神经网络可辨识的、具有情感特征的向量矩阵，包括以下子步骤：

步骤S2-1:对训练文本中每个单词词进行词义训练得到构成词的语义词向量矩阵，作为神经网络的双通道输入的一个输入。语义词向量的训练采用Skip-gram模型训练语义词向量。该模型从目标词的上下文中选择一个单词，将单词作为输入，预测目标词；

在本实施例中，对预处理后的文本的每个构成词使用word2vec(谷歌词向量工具)Skip-gram模型训练语义词向量进行训练，得到能被神经网络辨识的含有语义信息的词向量矩阵并其作为LSTM(长短期记忆)神经网络的其中一个输入通道。具体为采用word2vec(谷歌词向量工具)的Skip-gram模型训练语义词向量。将经过分词处理后的文本输入模型中，通过最大化语义词向量损失函数：

得到语义词向量。该模型从目标x的上下文q中选择一个词，将q的一个词作为输入。

其中，Z表示经过分词预处理后的文本，x表示预测目标词，q表示文本，x_j表示q中的一个词，j表示q中构成词的个数，P(x_j|x)表示通过目标x预测x_j的概率，L_semantic代表词义损失率。

步骤S2-2:五种词语特征词典中包含每个词的情感权重；利用五种词语特征词典对单词进行匹配并赋予相应权重，将情感权重归一化到[-1,1]，得到扩展特征向量矩阵，作为神经网络双通道输入的另一个输入；

在本实施例中，利用词性标注结果和情感词特征词典、词性特征词典、程度副词特征词典、否定词特征词典、标点符号特征词典构造扩展特征矩阵，作为LSTM神经网络的另一个输入通道。具体构造方法如下：

首先挑选对文本情感倾向影响最显著的五种词特征，分别是情感词、词性(如副词、形容词、动词)、程度副词、否定词和标点符号(如感叹号、问号)作为扩展特征。然后根据每个扩展特征对情感分类的贡献强度分别赋予强度值，将这些强度值作为情感权重并赋予相应的情感权重值，将情感权重值归一化到[-1,1]。如表1所示，在表1中，分别选取了五种词特征下的例词，最后利用这些特征将文本映射为扩展特征向量矩阵，作为LSTM神经网络的另一个输入通道。将文本的每个词都分别与上述特征进行匹配，匹配成功时将强度值赋值给对应特征，否则赋值为0。

表1

各扩展特征的设计方法如下：

(1)情感词特征.情感词是情感极性判定中最为重要的考量依据。从英文情感词典SentiWordNet中选取常用的正、负向情感词构建情感词典(如正向情感词“like”，“love”等，负向情感词“sad”，“terrified”等)。情感词典中的词都有相应的情感得分，本发明把所有情感得分归一化到[-1,1]。

(2)词性特征.研究发现动词、形容词和副词等词性是表达情感的主要标志，选取文本中标注的动词、形容词、副词等作为词性词典；

(3)程度副词特征.程度副词在修饰情感词时会改变情感词的情感倾向程度。因此，引入程度副词特征能更真实地反应情感表达的强弱。从知网HowNet知识库中选取6个等级，共170个程度副词，并对每个等级赋予不同权重，构建程度副词词典。表2列出部分程度副词及其赋值情况；

表2

(4)否定词特征。否定词的出现能改变情感词的极性，直接影响文本的情感倾向.因此，收集一些常见的否定词(如“no”、“never”等作为否定词词典用于情感极性判定；

(5)标点符号特征.标点符号是表达情感的重要载体，一些标点符号(如‘！’、‘？’等)能对情感极性起到加强的作用。所以，引入标点符号特征进一步增强文本表示的效果；

通过上述构建的5种词典对文本的每一个单词进行匹配，若该词存在于词典中，则赋予相应权重得分，否则赋值为0，得到一个维度为5的扩展特征向量，作为LSTM神经网络的一个输入通道。

步骤S2-3:将训练文本向量矩阵与扩展特征向量矩阵拼接成一个第一向量矩阵作为神经网络的输入。

以预处理后的‘“This/N”“taffy/N”“so/D”“good/A”“！/X”“1”’为例，经过步骤S2的处理后，获得每个词对应的具有情感特征的词向量(维度是50)，即：

“This/N”：[0.2613，-0.5301，0.4906，……]

“taffy/N”：[0.4561,0.1586,-0.3658,……]

“so/D”:[0.1589,0.7581,0.8451，……]

“good/A”:[-0.8436，0.4614，0.1698，……]

“！/X”:[0.6658,-0.4873,-0.9547，……]

步骤S3：利用LSTM神经网络得到第一向量矩阵中每一个单词向量的上下文情感特征关系，基于该情感特征关系调整单词向量的情感权重值，得到矫正情感权重值，生成具有上下文情感特征关系的感情向量矩阵。本步骤数据状态处于如图2所示的‘深层特征挖掘阶段’。

在本实施例中，LSTM层由LSTM单元组成，每个时序对应一个LSTM单元，LSTM单元在每个时序按顺序输入，然后在LSTM内部主要有三个阶段的处理，如图3所示；

其中，图中x_t-1表示上一时刻的输入，h_t-1表示上一时刻LSTM单元的输出，c_t-1表示上一时刻记忆单元的值，x_t表示当前时刻的输入，h_t表示当前时刻LSTM单元的输出，c_t表示当前时刻记忆单元的值，σ表示sigmoid函数(数据激活函数)，tanh表示tanh函数(双切函数)，‘X’表示对输入进行取舍操作，‘+’表示输入进行加操作，f_t表示遗忘门的输出，表示遗忘上一时刻记忆单元状态的概率，i_t表示当前时刻输入门的值，o_t表示控制c_t信息流入h_t的多少，x_t+1表示下一时刻的输入，h_t+1表示下一时刻LSTM单元的输出。三个阶段的处理具体为：

(1).遗忘门阶段。这个阶段是对上一个单词经LSTM单元处理后传递来的输出进行选择性遗忘，由sigmoid函数决定保留与情感特征相关的信息到当前单词的LSTM单元的记忆单元中，遗忘与情感特征无关的信息。此阶段读取两个输入，分别是句子第t个单词的向量x_t和上一个单词(即第t-1个单词)经LSTM单元处理后的输出h_t-1，经sigmoid函数筛选后，输出f_t，f_t是[0,1]区间内的一个概率，表示对h_t-1的遗忘程度，1表示完全保留h_t-1的信息，0表示完全遗忘h_t-1的信息。f_t定义为：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

式中：σ为sigmoid函数；W_f为遗忘门的权重矩阵；[h_t-1,x_t]表示把两个向量连接成一个更长的向量，b_f为遗忘门的偏置项。

(2)记忆阶段。这个阶段决定第t个单词的输入向量x_t有多少信息保存到记忆单元c_t中，主要分3步完成。首先通过sigmoid函数决定来自h_t-1和x_t的信息哪些需要更新得到i_t；然后通过tanh函数创建一个包含所有可能值的向量即备选的用来更新的信息；最后把上一个单词的记忆单元c_t-1与f_t相乘，丢弃掉与情感特征无关的信息，接着加上将这些与情感相关的信息添加到第t个单词的记忆单元c_t中。

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

式中：σ为sigmoid函数；tanh为tanh函数；W_i为输入门的权重矩阵；b_i为输入门的偏置项；W_c为记忆单元的权重矩阵；b_c为记忆单元的偏置项；‘*’表示矩阵对应位置元素相乘；‘·’表示矩阵内积。

(3)输出阶段。这个阶段需要确定输出与情感相关的部分。首先将当前记忆单元c_t通过tanh函数进行处理，得到一个-1到1之间的值，然后利用sigmoid函数筛选c_t中与情感相关的部分，将其作为第t个单词的输出，并传递到下一个单词的LSTM单元中，对下一个单词进行同样的上述步骤的处理。

o_t＝σ(W_o·[h_t-1,x_t]+b_o)

h_t＝o_t*tanh(c_t)

式中：σ为sigmoid函数；W_o为输出门的权重矩阵；b_o为输出门的偏置项；tanh为tanh函数；o_t是[0,1]区间上的概率，筛选当前记忆单元c_t与情感相关的部分作为输出；h_t为第t个单词经LSTM单元处理后的输出；

以‘“This/N”“taffy/N”“so/D”“good/A”“！/X”“1”’为例，每一个词在进行LSTM单元处理后都能学习到上文相关的情感特征信息，例如，处理到“good/A”这个词的向量时，会受到上文“so/D”的影响，相应情感特征权重将会增加，若上文没有情感特征信息则相应LSTM单元将不做处理。

步骤S4：利用卷积神经网络CNN的3种尺寸的卷积核将感情向量矩阵对应的单词向量按不同单词数量组合方式得到多个词组序列，并筛选其中矫正情感权重值最高的词组序列。本步骤数据状态处于如图2所示的‘深层特征挖掘阶段’。

在本实施例中，卷积层的设置为将经过LSTM神经网络得到的考虑了上下文情感特征信息的向量矩阵进行卷积，卷积操作即卷积核S∈R^d×m(R^d×m表示维度是d×m的矩阵)与m(卷积核的滑动窗口大小)个向量矩阵进行点乘得到新的感情特征值，如下式：c_j＝f(S^Tx_j-m+1:j+b)，式中x_j-m+1:j表示文本中从第j-m+1个词到第j个词所对应的词向量，b为偏置项，f为修正线性单元函数(Rectified Linear unit，ReLU函数)，使用大小为2、3、4这3种尺寸的卷积核进行卷积，不同的卷积核生成包含不同单词数的词组的特征图，对包含相同单词数的词组特征图进行池化处理。采用最大值采样(max-pooling)，在多个特征图中保留权值最大者，既能消除非最大值，从而减少上层的计算量；又能提取到不同区域的局部依赖，保持最显著的信息特征。特征图c＝max{c}，即抽取局部最优特征。

使用3种尺寸的卷积核对词向量进行卷积，以对‘“This/N”“taffy/N”“so/D”“good/A”“！/X”“1”’使用尺寸为2的卷积核为例，句子将会划分成词数量为2的词组序列，如[“This/N”“taffy/N”]，[“taffy/N”“so/D”],[“so/D”“good/A”],[“good/A”“！/X”],对词组序列进行卷积得到若干个特征图，采用最大池化方法，保留感情特征值最显著的词组序列[“so/D”“good/A”]。

步骤S5：分别对词组序列中每个感情特征的矫正情感权重值进行计算情感类别的概率，根据所得概率赋予对应的文本的文本情感标签。本步骤数据状态处于如图2所示的‘情感识别阶段’；

步骤S6：将计算所得的文本情感标签与该文本的人工情感标记进行对比，根据对比结果通过Adam算法最小化交叉熵损失函数，调整LSTM和CNN神经网络的权重矩阵参数，使得文本情感标签与人为感情评价一致。本步骤数据状态处于如图2所示的‘情感识别阶段’；

在本实施例中，softmax(归一化)层的设置如下：

经步骤四中池化操作后得到的是单词的最终向量表示X，包含了上下文情感特征关系和句子局部最显著的情感特征，将其输入softmax(归一化)层。本发明通过一个softmax(归一化)函数输出分类结果，公式如下：

y＝softmax(W·X+b)

X＝c*r

式中W为全连接层权重矩阵，b为全连接层偏置项，r为池化层输出的正则项限制，*为矩阵对应位置元素相乘。使用交叉熵代价函数作为模型优化的目标，交叉熵代价函数如下：

其中C为数据的类别集合，D为训练集数据集合，i为数据的类别编号，j是训练数据集样本的编号，y为训练集中待分类句子的预测情感类别的输出值，为实际情感类别，λ‖W‖²为loss代价函数的正则项。λ是正则项的衰减系数，W是全连接层权重矩阵。λ是一个较小的数值，可以取0.1。

步骤S6：将训练文本情感分类与对应文本的人为感情评价对比并根据对比结果通过修正扩展特征向量矩阵与训练文本感情向量矩阵调整训练文本情感分类,本步骤数据状态处于如图2所示的‘情感识别阶段’。

在本实施例中，使用Adam算法最小化交叉熵损失函数loss。假设t时刻，目标函数loss对于神经网络权重矩阵参数W的一阶导数是g_t，首先计算梯度的第一时刻平均值m_t和梯度的第二时刻非中心方差值：

m_t＝β₁m_t-1+(1-β₁)g_t

其中，m_t-1表示t-1时刻的梯度平均值，v_t-1表示t-1时刻梯度的非中心方差值

接着计算m_t和v_t的指数衰减均值和

最后得到训练文本感情向量矩阵参数W更新方法：

其中，W_t表示t时刻训练文本感情向量矩阵参数，W_t+1表示t+1时刻训练文本感情向量矩阵参数，η是学习率，∈是数值稳定常数，默认数值为10^-8，β₁是一阶动量衰减系数，一般为0.9，β₂是二阶动量衰减系数，一般为0.999。

使用Adam算法对扩展特征向量矩阵与训练文本感情向量矩阵进行调整，最小化交叉熵损失函数，使得模型的情感分类效果最准确。

步骤S7：重复步骤S2-步骤S6直至训练集中的全部文本进行训练，将对应的扩展特征向量矩阵作为最终特征向量矩阵，将对应的训练文本感情向量矩阵作为最终感情向量矩阵，至此，本发明的文本情感分类模型训练完成；

步骤S8：运用训练好的文本情感分类模型对测试集文本进行情感分析，得到的文本情感分类与文本的人为评价进行对比验证，验证情感分析的准确性。

在本实施例中，如图4、图5所示，在应用通过本发明对情感分析模型训练是时，在训练集的文本迭代次数达到1000次以后，本发明的情感分析模型的准确率稳定在95％，比同样条件下，一般的神经网络模型提升5％的准确率，损失率在0.05以下。

实施例的作用与效果

根据本实施例所涉及的基于双通道卷积记忆神经网络的文本情感分析方法，因为将测试集中的文本同时进行词义训练与情感训练分别得到词向量矩阵与扩展特征向量矩阵，再将词向量矩阵与扩展特征向量矩阵进行计算得到训练文本向量矩阵，再将训练文本向量矩阵通过LSTM训练得到具有上下文关系的训练文本感情向量矩阵，将训练文本感情矩阵通过CNN处理得到训练文本情感分类，再将训练文本情感分类通过与对应文本的人为感情评价进行自调整。所以，本实施例的基于双通道卷积记忆神经网络的文本情感分析方法具有扩展扩展特征向量与词向量组成双通道输入结构，且经过LSTM训练再进入CNN，使得本方法的情感分析考虑到了文本的上下文联系，极大程度消除了歧义，获得了更丰富的文本表述，因此增强了文本的情感信息表示，有利于增加文本情感分类效果及提高文本情感分类的准确度。

上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (3)

1.一种基于双通道卷积记忆神经网络的文本情感分析方法，其特征在于，包括以下步骤：

步骤S1:将原始商品评论文本进行预处理得到训练集与测试集，所述文本包含多个单词；

步骤S2:将所述训练集中预处理好的一句所述文本进行训练，得到训练文本向量矩阵，作为神经网络双通道输入的一个通道；同时创建并通过五种词语特征词典对所述训练文本的单词进行匹配并设置情感权重值，得到所述训练文本的扩展特征向量矩阵，作为所述神经网络双通道输入的另一个通道；再将所述训练文本向量矩阵与所述扩展特征向量矩阵进行拼接，组成一个第一向量矩阵作为LSTM神经网络的输入；

步骤S3:利用LSTM神经网络得到所述第一向量矩阵中每一个单词向量的上下文情感特征关系，基于该情感特征关系调整所述单词向量的情感权重值，得到矫正情感权重值，生成具有上下文情感特征关系的感情向量矩阵。

步骤S4:利用卷积神经网络CNN的3种尺寸的卷积核将所述感情向量矩阵对应的所述单词向量按不同单词数量组合方式得到多个词组序列，并筛选其中所述矫正情感权重值最高的词组序列；

步骤S5:分别对所述词组序列中每个所述感情特征的所述矫正情感权重值进行计算情感类别的概率，根据所得概率赋予对应的所述文本的文本情感标签；

步骤S6:将计算所得的文本情感标签与该文本的人工情感标记进行对比，根据对比结果通过Adam算法最小化交叉熵损失函数，调整LSTM和CNN神经网络的权重矩阵参数，使得所述文本情感标签与所述人为感情评价一致；

步骤S7:重复步骤S2-步骤S6直至所述训练集中的全部所述文本进行训练，将对应的所述扩展特征向量矩阵作为最终特征向量矩阵，将对应的所述训练文本感情向量矩阵作为最终感情向量矩阵，至此，本发明的文本情感分类模型训练完成；

步骤S8:运用训练好的文本情感分类模型对测试集文本进行情感分析，得到的文本情感分类与所述文本的人为评价进行对比验证，验证情感分析的准确性。

2.根据权利要求1所述的基于双通道卷积记忆神经网络的文本情感分析方法，其特征在于：

其中，步骤S1中，处理的过程包括以下子步骤：

步骤S1-1：选择预定数量的所述原始商品评论文本得到数据集；

步骤S1-2：对所述数据集进行数据清洗、分词处理以及词性标注得到预处理后的文本；

步骤S1-3：将所述预处理后的文本按预定比例分为训练集和测试集。所述训练集与所述测试集的比例为5:1-4:1。

3.根据权利要求1所述的基于双通道卷积记忆神经网络的文本情感分析方法，其特征在于：

其中，步骤S2中，得到所述第一向量矩阵包括以下子步骤：

步骤S2-1：对所述训练文本中每个单词词进行词义训练得到所述构成词的语义词向量矩阵，作为神经网络的双通道输入的一个输入。语义词向量的训练采用Skip-gram模型训练语义词向量。该模型从目标词的上下文中选择一个单词，将所述单词作为输入，预测目标词；

步骤S2-2：所述五种词语特征词典中包含每个词的情感权重；利用五种词语特征词典对单词进行匹配并赋予相应权重，将情感权重归一化到[-1,1]，得到扩展特征向量矩阵，作为神经网络双通道输入的另一个输入；

步骤S2-3：将所述训练文本向量矩阵与所述扩展特征向量矩阵拼接成一个第一向量矩阵作为神经网络的输入。