CN109726745B - 一种融入描述知识的基于目标的情感分类方法 - Google Patents

Abstract

本发明提出了一种融入描述知识的基于目标的情感分类方法，属于深度学习及知识库技术领域。在基于目标的情感分析任务中，本发明利用目标的描述知识并将描述信息融入到目标表示中，目标的描述来自含有关于实体的海量知识且易访问的知识库。针对基于目标的情感分析，本发明提出了一种新的模型‑DEGN，该模型利用一个门控机制紧密有效地将所给目标的描述知识结合到端到端的神经网络中，并且利用监督注意力机制从目标、目标上下文以及目标的描述句中抽取重要信息来生成它们更有效的表示。本发明在F1‑score和strict accuracy两个指标上均超过所有已有模型，达到最高水平。

Description

一种融入描述知识的基于目标的情感分类方法

技术领域

本发明属于深度学习及知识库技术领域，涉及一种融入描述知识的基于目标的情感分类方法。

背景技术

随着信息技术和社会媒体的迅猛发展和大数据时代的到来，互联网渗透到到大众日常生活的方方面面，越来越多的人在网上发表自己针对服务、商品、政治、新闻等的观点和评论，互联网中积累了含有观点的海量文本。当某一个体试图去做决定、并转换为行为时，通常会斟酌、考虑他人的意见、建议、观点及看法。或者说，他人的意见和观点对一个人的决定和行为将产生显著影响。一个企业或机构若能对大众针对产品或服务的观点进行有效分析，就可以及时做出决策调整，在竞争中占领优势地位。

在学术界，基于目标的观点挖掘，也可称为基于目标的情感分析或基于目标的情感分类。其研究目标是，从文本中分析展示人们对于实体及其属性所表达的观点、情感、评价、态度和情绪，这里的实体可以是各种产品、个人、机构、事情和服务等。这是一类旨在利用可计算的方法从自然语言文本中提取观点和情感信息的研究。从自然语言处理角度看，基于目标的情感分析任务就是识别出人们谈论的主题以及针对主题所表达出来的观点倾向。

目前，基于目标的情感分析方法分为传统方法和基于神经网络方法。传统方法需要大量的人工标注特征，而神经网络模型能够自动有效地学习得到特征表示，可以用少量的人工代价在情感分析任务中取得良好效果。虽然已有的神经网络模型已经取得了很好的效果，但是它们都忽略了目标的描述信息，仅仅利用目标以及上下文进行问题建模。当前，大部分深度学习模型都利用LSTM网络进行建模，但是目标词或短语可以视作极短序列，而LSTM处理长序列更有优势，这就导致已有的深度神经网络模型所得到的目标向量表示并不十分有效。而目标的文本形式描述信息通常是长序列，这就能发挥LSTM处理长序列的优点。将描述信息的向量表示融入目标的向量表示后可以得到更加有效的目标表示，从而提高最终情感分析的准确性。近年来，融入外部知识的方法在其他自然语言处理任务中取得了良好效果，但是在基于目标的情感分析中还未见被采用。

发明内容

本发明的目的是为了解决当前基于深度神经网络模型基于目标的情感分类算法存在的问题，包括：(1)未考虑目标描述信息，生成的目标表示向量所含语义信息匮乏，不能充分表示目标具体内容。(2)当前大部分模型基于LSTM长短期记忆网络，LSTM主要优势在于建模长序列，而情感句中的目标往往为一个词或长度较短的短语，不能充分发挥LSTM的优势来生成有效的目标表示。(3)现有方法不能很好处理对目标敏感的情感分析问题，例如两个句子：“The waitress is so hot！”，“The meal is so hot！”，一个句子对于‘waitress’的情感极性是积极的，第二个句子对于‘meal’的情感极性是消极的，若不知‘waitress’和‘meal’具体是什么的情况下将无法正确作出情感分类。人类之所以容易判断上述两个例子的情感极性，是因为利用到了这两个目标的背景描述知识。针对以上问题，本发明提出一种融入描述知识的基于目标的情感分类方法。

本发明方法包括以下步骤：

步骤1、将数据集分为训练集和测试集，所述训练集用于优化模型参数，所述测试集用于测试模型效果。按批次输入训练数据，输入数据样本为目标、情感句以及正确的目标情感极性标签。

步骤2、从在线知识库中，抽取数据集中目标词或短语文本形式的描述信息(目标描述句)。

步骤3、进行数据预处理，将文本形式的数据转化为含有语义信息的向量。

步骤4、采用长短期记忆网络，分别对目标、目标的描述以及目标上下文进行建模，并利用注意力机制生成三者的向量表示。具体方法如下：

步骤4.1、将目标、目标的描述以及目标上下文的词典ID序列，通过词典-词向量矩阵转化为向量序列。将三者的向量序列作为各自LSTM神经网络的输入，得到各自LSTM神经网络输出的隐藏层序列，并得到目标隐藏层均值向量t_avg和上下文隐藏层均值向量c_avg。

该步骤的具体实现方法如下：

步骤4.1.1、神经网络模型的实际输入为两个句子(上下文和目标的描述句)和目标(一个词或一个短语)，假设三者长度分别为m、l、n，将所有词转化为词向量后，输入为三者的实值词向量序列[w_c ¹,w_c ²,...,w_c ^k,...,w_c ^m]，[w_d ¹,w_d ²,...,w_d ⁱ,...,w_d ^l]和[w_t ¹,w_t ²,...,w_t ^j,...,w_t ⁿ]。

步骤4.1.2、三者的实值词向量序列作为LSTM神经网络的输入，得到上下文、目标描述句、目标的隐藏层向量序列

计算公式为：

I_i＝σ(W_I[x_i,h_i-1])+b_I (1)

f_i＝σ(W_f[x_i,h_i-1])+b_f (2)

o_i＝σ(W_o[x_i,h_i-1])+b_o (5)

h_i＝o_i*tanh(C_i) (6)

其中，x_i、I_i、f_i和o_i分别为输入的词向量、输入门、遗忘门和输出门，W和b分别为LSTM网络的权值矩阵和偏置，σ代表sigmoid激活函数，tanh为双曲正切激活函数，C_i代表神经元状态，

代表候选值向量，h_i代表隐藏层向量，隐藏层向量序列中的每一维对应一个词的隐藏层向量。

步骤4.1.3、计算得到目标和上下文的隐藏层向量平均值t_avg、c_avg：

其中，

表示目标的隐藏层向量，

表示上下文的隐藏层向量。

步骤4.2、在注意力机制中，为了更有效地抽取描述句以及目标上下文中的信息，用t_avg监督生成描述句以及目标上下文的注意力向量，用二者的注意力向量分别与二者的隐藏层向量相乘，得到描述信息和目标上下文的最终向量表示d_rep和c_rep，用c_avg监督生成目标的注意力向量，将目标的隐藏层向量与其相乘得到目标的向量表示t_rep。具体包括以下步骤：

步骤4.2.1、用t_avg监督生成目标上下文以及描述句各词的隐藏层向量分数，用c_avg监督生成目标各词的隐藏层向量分数，隐藏层向量分数体现

和

在目标上下文、描述句和目标(词序列)中的重要性，隐藏层向量分数计算公式如下：

其中，W和b分别为权重矩阵和偏置，tanh为双曲正切激活函数。

和

分别为t_avg和c_avg的转置，γ()表示隐藏层的向量分数。

步骤4.2.2、得到隐藏层分数后归一化得到注意力权值向量，三者的注意力权值向量各维和为1，计算公式如下：

其中，exp为指数函数，α_k、β_i、λ_j分别表示上下文、描述句、目标的注意力权值向量。

步骤4.2.3、利用得到的注意力权值向量α_k、β_i、λ_j，分别与目标、描述句、目标上下文的隐藏层向量相乘得到三者的向量表示，计算公式如下：

由此得到了目标、目标上下文以及描述句的有效向量表示。

但是，目标的向量表示如同传统的目标表示一样，只包含了目标中词的信息，并不能充分地表达目标的内容(具体是什么)。而将描述句的向量表示有效地融入到目标的向量表示中，可以丰富目标的向量表示所含的语义信息。

步骤5、采用门控机制，将向量形式的描述信息融入目标的向量表示中，得到新的目标的向量表示。具体方法如下：

步骤5.1、为了在使来自目标的信息和来自目标描述的信息达到一个平衡，利用一个描述嵌入门控机制，控制向目标的表示向量中融入描述向量的程度，具体实现如下：

通过描述和目标的向量表示，计算得到一个标量g控制融入描述知识的程度，计算公式为：

g＝W_g*[t_rep,d_rep] (18)

其中，[，]表示向量拼接运算，W_g是权重矩阵，W_g将目标的表示向量和描述向量拼接而成的向量映射到实数空间，得到g为实数。g能够控制描述融入到目标中的程度，并且g对于不同的目标-描述对都是不同的。因为不同的目标-描述对，描述知识融入的最佳程度是不同的，由此能得到更加有效的最终目标表示。

步骤5.2、得到g之后，在g的控制下，将描述知识的向量表示融入目标的向量表示中，生成新的目标向量表示，计算公式为：

t_rep＝t_rep+g*d_rep (19)

得到的t_rep为更新后的目标向量表示。

步骤6、将新的目标向量与目标上下文向量进行拼接并送入分类器，最终输出情感分类结果。

步骤7、根据定义好的损失函数计算损失，更新参数。训练数据处理完毕后输入测试数据用来测试模型效果。若模型效果指标不再提高或达到要求，停止迭代，保存模型结果。用该模型对基于目标的情感分类数据进行预测，输出情感分类结果。

有益效果

在基于目标的情感分析任务中，本发明第一次利用目标的描述知识并将描述信息融入到目标表示中。目标的描述来自含有关于实体的海量知识且易访问的知识库(维基百科，DBpedia)。

针对基于目标的情感分析，本发明提出了一种新的模型-DEGN(DescriptionEmbedding Gated Network)。该模型利用一个门控机制紧密有效地将所给目标的描述知识结合到端到端的神经网络中，并且利用监督注意力机制从目标、目标上下文以及目标的描述句中抽取重要信息来生成它们更有效地表示。

在通用数据集SemEval 2014上的实验结果表明，本发明所提出的的方法在F1-score和strict accuracy两个指标上均超过所有已有模型，达到最高水平。

附图说明

图1为本发明方法的流程图；

图2为目标、目标上下文以及目标描述句的注意力向量可视化结果；

图3为本发明提出的DEGN模型与当前主流模型的效果在准确度指标上的对比；

图4为本发明提出的DEGN模型与当前主流模型的效果在F1-score指标上的对比。

具体实施方法

下面结合附图和实施例，对本发明方法做进一步详细说明书。

实施例

一种融入描述知识的基于目标的情感分类方法，如图1所示，包括以下步骤：

步骤1、在基准数据集SemEval 2014Task4数据集上实施验证试验。数据集包括餐馆评论数据集(restaurant)和笔记本电脑评论数据集(laptop)，各自分为训练集和测试集，样本包含三种情感极性(positive，negative以及neural)之一。训练集用于优化模型参数，测试集用于测试模型效果。

步骤2、从在线知识库中，抽取目标词或短语文本形式的描述信息(目标描述句)。

进一步地，步骤2中抽取目标的描述信息的方法为：

步骤2.1、用SPARQL语句在DBpedia中查询目标的描述，若存在，则返回查询结果作为目标的描述信息，若不存在，进行步骤2.2。

步骤2.2、在维基百科检索目标词或短语：如果存在对应词条，抓取前120个词或前两个句子，进行格式清洗返回纯文本格式的描述信息；如果不存在对应词条，返回空序列作为目标的描述信息。

步骤3、进行数据预处理，按批次输入训练数据样本，输入数据样本为目标、情感句、目标的描述句以及正确的目标情感极性标签。将文本形式的数据转化为含有语义信息的向量。

进一步地，步骤3中数据预处理的方法为：

步骤3.1、统计训练集、测试集以及抽取的文本形式的描述信息中的词，建立词典，词典中每个词对应一个ID，ID按词出现的次序排序。将原始数据中的词用对应词典ID替换，则原始数据转化为词ID的序列。

步骤3.2、在Glove词向量文件中查找词典中所有词的词向量，建立词典-词向量矩阵，矩阵中列数为词典所含词量，行数为词向量维度。

步骤4、采用长短期记忆网络，分别对目标、目标的描述以及目标上下文进行建模，并利用注意力机制生成三者的向量表示。

进一步地，步骤4中生成三者向量表示的方法为：

步骤4.1、将目标、目标的描述以及目标上下文的词典ID序列通过词典-词向量矩阵转化为向量序列，将三者的向量序列作为各自LSTM神经网络的输入，得到各自LSTM神经网络输出的隐藏层序列，并得到目标隐藏层均值向量t_avg和上下文隐藏层均值向量c_avg。包括以下步骤：

步骤4.1.1、神经网络模型的实际输入为两个句子(上下文和目标的描述句)和目标(一个词或一个短语)，假设三者长度分别为m，l，n。将所有词转化为词向量后，输入为三者的实值词向量序列[w_c ¹,w_c ²,...,w_c ^k,...,w_c ^m]，[w_d ¹,w_d ²,...,w_d ⁱ,...,w_d ^l]和[w_t ¹,w_t ²,...,w_t ^j,...,w_t ⁿ]。

步骤4.1.2、三者的实值向量序列作为LSTM神经网络的输入，得到隐藏层向量序列。计算公式为：

I_i＝σ(W_I[x_i,h_i-1])+b_I

f_i＝σ(W_f[x_i,h_i-1])+b_f

o_i＝σ(W_o[x_i,h_i-1])+b_o

h_i＝o_i*tanh(C_i)

其中，x_i、I_i、f_i和o_i分别为输入的词向量、输入门、遗忘门和输出门，W和b分别为LSTM的权值矩阵和偏置，σ代表sigmoid激活函数，C_i代表神经元状态，

代表候选值向量，h_i代表隐藏层向量。

现在得到了三者的隐藏层向量序列

和

隐藏层向量序列中的每一维对应一个词的隐藏层向量。

步骤4.1.3、计算得到目标和上下文的隐藏层向量平均值t_avg、c_avg：

步骤4.2、在注意力机制中，为了更有效地抽取描述句以及目标上下文中的信息，用t_avg监督生成描述句以及目标上下文的注意力向量，用二者的注意力向量分别与二者的隐藏层向量相乘得到描述信息和目标上下文的最终向量表示d_rep和c_rep，用c_avg监督生成目标的注意力向量，将目标的隐藏层向量与其相乘得到目标的向量表示t_rep。包括以下步骤：

步骤4.2.1、用t_avg监督生成目标上下文以及描述句各词的隐藏层向量分数，用c_avg监督生成目标各词的隐藏层向量分数，隐藏层向量分数可以体现

和

在目标上下文，描述句和目标(词序列)中的重要性，隐藏层向量分数计算公式如下：

其中，W和b分别为权重矩阵和偏置，tanh为双曲正切激活函数。

和

分别为t_avg和c_avg的转置。

步骤4.2.2、得到隐藏层分数后归一化得到注意力权值向量，三者的注意力权值向量各维和为1，公式如下：

其中exp为指数函数，α_k、β_i、λ_j分别表示上下文、描述句、目标的注意力权值向量。

步骤4.2.3、经过上述步骤的计算，可以利用得到的注意力权值向量α_k、β_i、λ_j分别与目标、描述句、目标上下文的隐藏层向量相乘得到三者的向量表示，计算公式如下：

如此得到了目标、目标上下文以及描述句的有效向量表示，但目标的向量表示如同传统的目标表示一样只包含了目标中词的信息，并不能充分地表达目标的内容(具体是什么)。而将描述句的向量表示有效地融入到目标的向量表示中可以丰富目标的向量表示所含的语义信息。

步骤5、采用门控机制，将向量形式的描述信息融入目标的向量表示中，得到新的目标的向量表示。

进一步地，步骤5中得到新的向量表示的方法为：

步骤5.1、为了在使来自目标的信息和来自目标描述的信息达到一个平衡，利用一个描述嵌入门控制来控制向目标的表示向量中融入描述向量的程度，具体实现如下：

通过描述和目标的向量表示计算得到一个标量g控制融入描述知识的程度，计算公式为：

g＝W_g*[t_rep,d_rep]

其中，[，]表示向量拼接，W_g是权重矩阵，W_g将目标的表示向量和描述向量拼接而成的向量映射到实数空间，得到g为实数。g可以控制描述融入到目标中的程度，并且g对于不同的目标-描述对都是不同的。因为不同的目标-描述对，描述知识融入的最佳程度是不同的，这样就能得到更加有效的最终目标表示。

步骤5.2、得到g之后，在g的控制下将描述知识的向量表示融入目标的向量表示中，生成新的目标向量表示，计算公式为：

t_rep＝t_rep+g*d_rep

步骤6、将新的目标向量与目标上下文向量进行拼接并送入分类器，最终输出情感分类结果。

进一步地，步骤6中得到分类结果方法为：

步骤6.1、将t_rep和c_rep拼接在一起作为情感特征向量V，用非线性函数将高维情感特征向量映射到C维分类向量中(C为情感类别数)。公式如下：

δ＝tanh(W_δV+b_δ)

其中，W_δ为权重矩阵，b_δ为偏置。得到的C维向量δ中的每一维对应的数值大小反映出将情感极性判断为该类的可能性大小。

步骤6.2、将分类向量输入softmax分类器，输出C个情感类别的概率，取最大概率的类别作为情感分类的最终结果。公式如下：

其中，

表示某对目标和目标上下文(s,t)的情感极性被判别为C个类别中的第k类的概率，δ_k和δ_i分别表示δ向量中的第k维和第i维的数值，C中概率最大的类别即为最终的情感分类结果。

步骤7、根据定义好的损失函数计算损失，更新参数。训练数据处理完毕后输入测试数据用来测试模型效果。若模型效果指标不再提高或达到要求，停止迭代，保存模型结果。用该模型对基于目标的情感分类数据进行预测，输出情感分类结果。

进一步地，步骤7中更新模型参数的方法为：

用Adam优化算法最小化损失函数来优化模型参数，损失函数为每个训练样例的交叉熵损失之和：

其中，S、T和C为目标上下文、目标以及情感类别的集合，

表示样例被判别为第k个情感类别的概率，

表示真实情感类别。若样例情感极性为第k类，则其他类别对应值为0。

Claims (8)

1.一种融入描述知识的基于目标的情感分类方法，其特征在于包括以下步骤：

步骤1、将数据集分为训练集和测试集，所述训练集用于优化模型参数，所述测试集用于测试模型效果；

按批次输入训练数据，输入数据样本为目标、情感句以及正确的目标情感极性标签；

步骤2、从在线知识库中，抽取数据集中目标词或短语文本形式的描述信息；

步骤3、进行数据预处理，将文本形式的数据转化为含有语义信息的向量；

步骤4、采用长短期记忆网络，分别对目标、目标的描述以及目标上下文进行建模，并利用注意力机制生成三者的向量表示；

步骤5、采用门控机制，将向量形式的描述信息融入目标的向量表示中，得到新的目标的向量表示，具体方法如下：

步骤5.1、利用一个描述嵌入门控机制，控制向目标的表示向量中融入描述向量的程度，方式如下：

通过描述和目标的向量表示，计算得到一个标量g控制融入描述知识的程度，计算公式为：

g＝W_g*[t_rep,d_rep]

其中，[，]表示向量拼接运算，W_g是权重矩阵，W_g将目标的表示向量和描述向量拼接而成的向量映射到实数空间，得到g为实数，g能够控制描述融入到目标中的程度，并且g对于不同的目标-描述对都是不同的；t_rep为目标的向量表示；d_rep为描述信息的最终向量表示；

步骤5.2、在g的控制下，将描述知识的向量表示融入目标的向量表示中，生成新的目标向量表示，计算公式为：

t_rep＝t_rep+g*d_rep

得到的t_rep为更新后的目标向量表示；

步骤6、将新的目标向量与目标上下文向量进行拼接并送入分类器，最终输出情感分类结果；

步骤7、根据定义好的损失函数计算损失，更新参数；训练数据处理完毕后输入测试数据用来测试模型效果，若模型效果指标不再提高或达到要求，停止迭代，保存模型结果；用该模型对基于目标的情感分类数据进行预测，输出情感分类结果。

2.如权利要求1所述的一种融入描述知识的基于目标的情感分类方法，其特征在于，所述步骤2中抽取目标的描述信息的方法为：

步骤2.1、用SPARQL语句在DBpedia中查询目标的描述，若存在，则返回查询结果作为目标的描述信息，若不存在，进行步骤2.2；

步骤2.2、在维基百科检索目标词或短语：如果存在对应词条，抓取前120个词或前两个句子，进行格式清洗返回纯文本格式的描述信息；如果不存在对应词条，返回空序列作为目标的描述信息；

步骤3、进行数据预处理，按批次输入训练数据样本，输入数据样本为目标、情感句、目标的描述句以及正确的目标情感极性标签；将文本形式的数据转化为含有语义信息的向量。

3.如权利要求1所述的一种融入描述知识的基于目标的情感分类方法，其特征在于，所述步骤3中数据预处理的方法为：

步骤3.1、统计训练集、测试集以及抽取的文本形式的描述信息中的词，建立词典，词典中每个词对应一个ID，ID按词出现的次序排序；

将原始数据中的词用对应词典ID替换，则原始数据转化为词ID的序列；

步骤3.2、在Glove词向量文件中查找词典中所有词的词向量，建立词典-词向量矩阵，矩阵中列数为词典所含词量，行数为词向量维度。

4.如权利要求1所述的一种融入描述知识的基于目标的情感分类方法，其特征在于，所述步骤4的具体实现方法如下：

步骤4.1、将目标、目标的描述以及目标上下文的词典ID序列，通过词典-词向量矩阵转化为向量序列；

将三者的向量序列作为各自LSTM神经网络的输入，得到各自LSTM神经网络输出的隐藏层序列，并得到目标隐藏层均值向量t_avg和上下文隐藏层均值向量c_avg；

步骤4.2、在注意力机制中，为了更有效地抽取描述句以及目标上下文中的信息，用t_avg监督生成描述句以及目标上下文的注意力向量，用二者的注意力向量分别与二者的隐藏层向量相乘，得到描述信息和目标上下文的最终向量表示d_rep和c_rep，用c_avg监督生成目标的注意力向量，将目标的隐藏层向量与其相乘得到目标的向量表示t_rep。

5.如权利要求4所述的一种融入描述知识的基于目标的情感分类方法，其特征在于，所述步骤4.1包括以下步骤：

步骤4.1.1、神经网络模型的实际输入为两个句子和目标，假设三者长度分别为m、l、n，将所有词转化为词向量后，输入为三者的实值词向量序列[w_c ¹,w_c ²,...,w_c ^k,...,w_c ^m]，[w_d ¹,w_d ²,...,w_d ⁱ,...,w_d ^l]和[w_t ¹,w_t ²,...,w_t ^j,...,w_t ⁿ]；

步骤4.1.2、三者的实值词向量序列作为LSTM神经网络的输入，得到上下文、目标描述句、目标的隐藏层向量序列

计算公式为：

I_i＝σ(W_I[x_i,h_i-1])+b_I (1)

f_i＝σ(W_f[x_i,h_i-1])+b_f (2)

o_i＝σ(W_o[x_i,h_i-1])+b_o (5)

h_i＝o_i*tanh(C_i) (6)

其中，x_i、I_i、f_i和o_i分别为输入的词向量、输入门、遗忘门和输出门，W和b分别为LSTM网络的权值矩阵和偏置，σ代表sigmoid激活函数，tanh为双曲正切激活函数，

代表候选值向量，h_i代表隐藏层向量，隐藏层向量序列中的每一维对应一个词的隐藏层向量；

步骤4.1.3、计算得到目标和上下文的隐藏层向量平均值t_avg、c_avg：

其中，

表示目标的隐藏层向量，

表示上下文的隐藏层向量。

6.如权利要求4所述的一种融入描述知识的基于目标的情感分类方法，其特征在于，所述步骤4.2包括以下步骤：

步骤4.2.1、用t_avg监督生成目标上下文以及描述句各词的隐藏层向量分数，用c_avg监督生成目标各词的隐藏层向量分数，隐藏层向量分数体现

和

在目标上下文、描述句和目标中的重要性，隐藏层向量分数计算公式如下：

其中，W和b分别为权重矩阵和偏置，tanh为双曲正切激活函数；

和

分别为t_avg和c_avg的转置，γ()表示隐藏层的向量分数；

步骤4.2.2、得到隐藏层分数后归一化得到注意力权值向量，三者的注意力权值向量各维和为1，计算公式如下：

其中，exp为指数函数，α_k、β_i、λ_j分别表示上下文、描述句、目标的注意力权值向量；

步骤4.2.3、利用得到的注意力权值向量α_k、β_i、λ_j，分别与目标、描述句、目标上下文的隐藏层向量相乘得到三者的向量表示，计算公式如下：

由此得到了目标、目标上下文以及描述句的有效向量表示。

7.如权利要求1所述的一种融入描述知识的基于目标的情感分类方法，其特征在于，所述步骤6中得到分类结果方法为：

步骤6.1、将t_rep和c_rep拼接在一起作为情感特征向量V，用非线性函数将高维情感特征向量映射到C维分类向量中，C为情感类别数，公式如下：

δ＝tanh(W_δV+b_δ)

其中，W_δ为权重矩阵，b_δ为偏置；得到的C维向量δ中的每一维对应的数值大小反映出将情感极性判断为该类的可能性大小；

步骤6.2、将分类向量输入softmax分类器，输出C个情感类别的概率，取最大概率的类别作为情感分类的最终结果，公式如下：

其中，

表示某对目标和目标上下文(s,t)的情感极性被判别为C个类别中的第k类的概率，δ_k和δ_i分别表示δ向量中的第k维和第i维的数值，C中概率最大的类别即为最终的情感分类结果。

8.如权利要求1所述的一种融入描述知识的基于目标的情感分类方法，其特征在于，所述步骤7中更新模型参数的方法为：

用Adam优化算法最小化损失函数优化模型参数，损失函数为每个训练样例的交叉熵损失之和：

其中，S、T和C为目标上下文、目标以及情感类别的集合，

表示样例被判别为第k个情感类别的概率，

表示真实情感类别；若样例情感极性为第k类，则其他类别对应值为0。

Images