CN111737467A - 一种基于分段卷积神经网络的对象级情感分类方法 - Google Patents

Abstract

本申请公开了一种基于分段卷积神经网络的对象级情感分类方法，对待分类文本进行特征提取并对其进行上下文特征划分，得到第一上、下文特征；将其输入到预置分段卷积神经网络，使得卷积层对其分别进行卷积运算得到上、下文局部特征，分段池化层对上、下文局部特征进行最大池化操作得到上、下文池化特征，特征融合层对上、下文池化特征和注意力模块提取的注意力特征表示进行特征融合，softmax层对融合特征进行处理，输出情感分类结果，解决了现有的情感分类方法没有考虑到由对象所划分的上下文对分类效果的影响，在卷积神经网络的池化层通常采用的是最大池化操作，导致无法得到更细粒度的上下文特征，使得情感分类结果准确性不高的技术问题。

Description

一种基于分段卷积神经网络的对象级情感分类方法

技术领域

本申请涉及情感分类技术领域，尤其涉及一种基于分段卷积神经网络的对象级情感分类方法。

背景技术

情感分类旨在挖掘出人们在文本中所表达观点情感倾向的类别，其主要集中在对篇章级别、句子级别和对象级别的情感分类任务的研究上，其中，对象级情感分类是一种相对比较细粒度的分类问题，其旨在判断出句子中对某个特定对象的情感类别，例如，“这台笔记本电脑的功能很强大，但价格太高了！”该任务需要针对对象“功能”判断出正向的情感类别，以及针对对象“价格”判断出负向的情感类别。

现有技术中通过卷积神经网络进行情感分类，没有考虑到由对象所划分出的上下文对分类效果的影响，在卷积神经网络的池化层通常采用最大池化操作提取句子级特征，无法得到更细粒度的上下文特征，使得情感分类结果准确性不高。

发明内容

本申请提供了一种基于分段卷积神经网络的对象级情感分类方法，用于解决现有的情感分类方法没有考虑到由对象所划分出的上下文对分类效果的影响，在卷积神经网络的池化层通常采用的是最大池化操作，导致无法得到更细粒度的上下文特征，使得情感分类结果准确性不高的技术问题。

有鉴于此，本申请第一方面提供了一种基于分段卷积神经网络的对象级情感分类方法，包括：

对获取的待分类文本进行特征提取，基于第一目标对象在所述待分类文本的句子中的位置对提取的特征进行上下文特征划分，得到第一上文特征和第一下文特征；

将所述第一上文特征和所述第一下文特征输入到预置分段卷积神经网络，使得所述预置分段卷积神经网络中的卷积层对所述第一上文特征和所述第一下文特征分别进行卷积运算得到上文局部特征和下文局部特征，分段池化层对所述上文局部特征和所述下文局部特征分别进行最大池化操作得到上文池化特征和下文池化特征，注意力模块通过计算得到每个词的注意力得分得到注意力特征表示，特征融合层对所述上文池化特征、所述下文池化特征和所述注意力特征表示进行特征融合得到融合特征，softmax层对融合特征进行处理，输出所述待分类文本中所述第一目标对象的情感分类结果，其中，所述注意力特征表示包括上文注意力特征表示和下文注意力特征表示。

可选的，所述对获取的待分类文本进行特征提取，包括：

对获取的待分类文本进行词嵌入特征提取。

可选的，所述对获取的待分类文本进行特征提取，还包括：

对获取的待分类文本进行辅助特征提取，所述辅助特征包括情感得分特征、词性特征或位置特征。

可选的，对获取的待分类文本进行位置特征提取，包括：

基于位置重排算法对获取的待分类文本中各个词的位置进行重新排序；

对排序后的所述待分类文本进行位置特征提取。

可选的，所述基于位置重排算法对获取的待分类文本中各个词的位置进行重新排序，包括：

提取获取的待分类文本中各个词与所述第一目标对象的相对位置值，得到第一位置特征向量；

基于第一位置特征向量和情感得分特征向量计算各个词的位置得分，得到位置得分向量，其中，所述情感得分特征向量基于情感词典计算所述待分类文本中的各个词的情感得分特征值得到；

基于所述位置得分向量和所述第一位置特征向量计算排序后各个词与所述第一目标对象的相对位置值，得到第二位置特征向量。

可选的，所述位置得分的计算公式为：

其中，score_i为第i个词的位置得分，l_i、l_j分别为第i、j个词与第一目标对象的相对位置值，s_i、s_j分别为第i、j个词的情感得分特征值，n为词数量。

可选的，所述排序后各个词与所述第一目标对象的相对位置值的计算公式为：

l′_i＝f(l_i)top_k(score_i,score)；

其中，l′_i为排序后第i个词与第一目标对象的相对位置值，l_i为排序前第i个词与第一目标对象的相对位置值，top_k(socre_i,socre)为输出score_i在所有位置得分中排在第几位的函数，score_i为第i个词的位置得分，score为位置得分向量，当l_i小于0时，f(l_i)输出-1，当l_i等于0时，f(l_i)输出0，当l_i大于0时，f(l_i)输出1。

可选的，所述基于第一目标对象在所述待分类文本的句子中的位置对提取的特征进行上下文特征划分，得到第一上文特征和第一下文特征，包括：

基于第一目标对象在所述待分类文本的句子中的位置对提取的所述词嵌入特征和所述辅助特征分别进行上下文特征划分，得到词嵌入上文特征、词嵌入下文特征、辅助上文特征和辅助下文特征；

将所述词嵌入上文特征和所述辅助上文特征进行特征融合得到第一上文特征，将所述词嵌入下文特征和所述辅助下文特征进行特征融合得到第一下文特征。

可选的，所述注意力模块通过计算得到每个词的注意力得分得到注意力特征表示，包括：

所述注意力模块分别计算所述词嵌入上文特征和所述词嵌入下文特征中对应的各个词的注意力得分，得到上文注意力得分和下文注意力得分；

所述注意力模块基于所述上文注意力得分对所述词嵌入上文特征进行加权求和，得到新词嵌入上文特征；

所述注意力模块基于所述下文注意力得分对所述词嵌入下文特征进行加权求和，得到新词嵌入下文特征；

所述注意力模块对所述新词嵌入上文特征和所述新词嵌入下文特征分别进行卷积操作后，再分别进行非线性变换，得到所述上文注意力特征表示和所述下文注意力特征表示。

可选的，所述将所述第一上文特征和所述第一下文特征输入到预置分段卷积神经网络，之前还包括：

对获取的待训练文本进行特征提取，基于第二目标对象在所述待训练文本的句子中的位置对提取的特征进行上下文特征划分，得到第二上文特征和第二下文特征；

将所述第二上文特征和所述第二下文特征输入到构建的分段卷积神经网络，对所述分段卷积神经网络进行训练，得到训练好的所述分段卷积神经网络，将训练好的所述分段卷积神经网络作为所述预置分段卷积神经网络。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种基于分段卷积神经网络的对象级情感分类方法，包括：对获取的待分类文本进行特征提取，基于第一目标对象在待分类文本的句子中的位置对提取的特征进行上下文特征划分，得到第一上文特征和第一下文特征；将第一上文特征和第一下文特征输入到预置分段卷积神经网络，使得预置分段卷积神经网络中的卷积层对第一上文特征和第一下文特征分别进行卷积运算得到上文局部特征和下文局部特征，分段池化层对上文局部特征和下文局部特征分别进行最大池化操作得到上文池化特征和下文池化特征，注意力模块通过计算得到每个词的注意力得分得到注意力特征表示，特征融合层对上文池化特征、下文池化特征和注意力特征表示进行特征融合得到融合特征，softmax层对融合特征进行处理，输出待分类文本中第一目标对象的情感分类结果，其中，注意力特征表示包括上文注意力特征表示和下文注意力特征表示。

本申请中的基于分段卷积神经网络的对象级情感分类方法，通过第一目标对象在待分类文本句子中的位置，对获取的待分类文本提取的特征进行上下文特征划分，得到第一上文特征和第一下文特征，考虑到了由对象划分句子上下文的重要性；通过将第一上文特征和第一下文特征输入到预置分段卷积神经网络中，使得分段卷积神经网络中的分段池化层对卷积层提取得到的上文局部特征和下文局部特征进行分段最大池化操作，从而提取更加细粒度的对象上下文特征，进而提高情感分类准确率；并且，通过在分段卷积神经网络中增加注意力模块计算各个词的注意力得分得到注意力特征表示，通过将注意力特征表示与分段池化层提取的细粒度特征进行融合，可以增强特征表示，进一步提高情感分类准确率，从而解决了现有的情感分类方法没有考虑到由对象所划分出的上下文对分类效果的影响，在卷积神经网络的池化层通常采用的是最大池化操作，导致无法得到更细粒度的上下文特征，使得情感分类结果准确性不高的技术问题。

附图说明

图1为本申请提供的一种基于分段卷积神经网络的对象级情感分类方法的实施例一的流程示意图；

图2为本申请提供的一种基于分段卷积神经网络的对象级情感分类方法的实施例二的流程示意图；

图3为本申请实施例提供的无位置重排的各个词与对象的相对位置的示意图；

图4为本申请实施例提供的有位置重排的各个词与对象的相对位置的示意图；

图5为本申请实施例提供的一种预置分段卷积神经网络的模型结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种基于分段卷积神经网络的对象级情感分类方法的实施例一，包括：

步骤101、对获取的待分类文本进行特征提取，基于第一目标对象在待分类文本的句子中的位置对提取的特征进行上下文特征划分，得到第一上文特征和第一下文特征。

需要说明的是，对获取的待分类文本进行特征提取，可以是提取词嵌入特征，还可以提取词性特征、情感得分特征或位置特征等，然后可以根据第一目标对象在待分类文本句子中的位置对提取的特征进行上下文特征划分，假设第一目标对象在句子中的位置为k，对应的词嵌入特征为x_k，那么X_up＝{x₁,x₂,…,x_k}为第一上文特征，X_down＝{x_k,x_k+1,…,x_n}为第一下文特征；也可以先根据第一目标对象在待分类文本句子中的位置，将句子划分为上文(up)和下文(down)两部分，然后分别对上文和下文进行特征提取，得到第一上文特征和第一下文特征。

步骤102、将第一上文特征和第一下文特征输入到预置分段卷积神经网络，使得预置分段卷积神经网络中的卷积层对第一上文特征和第一下文特征分别进行卷积运算得到上文局部特征和下文局部特征，分段池化层对上文局部特征和下文局部特征分别进行最大池化操作得到上文池化特征和下文池化特征，注意力模块通过计算得到每个词的注意力得分得到注意力特征表示，特征融合层对上文池化特征、下文池化特征和注意力特征表示进行特征融合得到融合特征，softmax层对融合特征进行处理，输出待分类文本中第一目标对象的情感分类结果。

需要说明的是，将第一上文特征和第一下文特征输入到预置卷积神经网络中，使得预置卷积神经网络中卷积层对第一上文特征和第一下文特征分别进行卷积运算，提取得到上文局部特征和下文局部特征；分段池化层对上文局部特征和下文局部特征分别进行分段最大池化操作，得到上文池化特征和下文池化特征，从而提取更加细粒度的上下文特征，其中，分段池化层包括第一池化层和第二池化层，第一池化层对上文局部特征进行最大池化操作，得到上文池化特征，第二池化层对下文局部特征进行最大池化操作，得到下文池化特征；通过注意力模块计算各个词的注意力得分，进而提取到包括上文注意力特征表示和下文注意力特征表示的注意力特征表示；通过特征融合层将上文池化特征、下文池化特征、上文注意力特征表示和下文注意力特征表示进行融合，最终通过softmax层对融合特征进行处理，得到待分类文本中第一目标对象的情感分类结果，其中，情感分类结果包括正向、中性和负向

本申请实施例中的基于分段卷积神经网络的对象级情感分类方法，通过第一目标对象在待分类文本句子中的位置，对获取的待分类文本提取的特征进行上下文特征划分，得到第一上文特征和第一下文特征，考虑到了由对象划分句子上下文的重要性；通过将第一上文特征和第一下文特征输入到预置分段卷积神经网络中，使得分段卷积神经网络中的分段池化层对卷积层提取得到的上文局部特征和下文局部特征进行分段最大池化操作，从而提取更加细粒度的对象上下文特征，进而提高情感分类准确率；并且，通过在分段卷积神经网络中增加注意力模块计算各个词的注意力得分得到注意力特征表示，通过将注意力特征表示与分段池化层提取的细粒度特征进行融合，可以增强特征表示，进一步提高情感分类准确率，从而解决了现有的情感分类方法没有考虑到由对象所划分出的上下文对分类效果的影响，在卷积神经网络的池化层通常采用的是最大池化操作，导致无法得到更细粒度的上下文特征，使得情感分类结果准确性不高的技术问题。

为了便于理解，请参阅图2，本申请提供的一种基于分段卷积神经网络的对象级情感分类方法的实施例二，包括：

步骤201、对获取的待训练文本进行特征提取，基于第二目标对象在待训练文本的句子中的位置对提取的特征进行上下文特征划分，得到第二上文特征和第二下文特征。

需要说明的是，对获取的待训练文本进行特征提取，可以是提取词嵌入特征，还可以提取词性特征、情感得分特征或位置特征等，然后可以根据第二目标对象在待分类文本句子中的位置对提取的特征进行上下文特征划分；也可以先根据第二目标对象在待分类文本句子中的位置，将句子划分为上文和下文两部分，然后分别对上文和下文进行特征提取，得到第一上文特征和第一下文特征。得到第二上文特征和第二下文特征的具体过程可以参考步骤203中的第一上文特征和第一下文特征的提取过程，在此不再进行赘述。

需要指出的是，待训练文本和待分类文本可以从公开的数据集中获取，通过对数据集进行划分得到训练集(待训练文本)和测试集(待分类文本)，相应的，基于待分类文本提取得到特征为第一上文特征和第一下文特征，基于待训练文本提取得到的特征为第二上文特征和第二下文特征。

步骤202、将第二上文特征和第二下文特征输入到构建的分段卷积神经网络，对分段卷积神经网络进行训练，得到训练好的分段卷积神经网络，将训练好的分段卷积神经网络作为预置分段卷积神经网络。

需要说明的是，构建的分段卷积神经网络包括卷积层、分段池化层、注意力模块、特征融合层和softmax层，当分段卷积神经网络训练时的迭代次数达到迭代阈值时，停止训练，得到训练好的分段卷积神经网络，也可以是当分段卷积神经网络的训练误差低于误差阈值时，停止训练，得到训练好的分段卷积神经网络，将训练好的卷积神经网络作为预置卷积神经网络。为了防止分段卷积神经网络出现过拟合现象，本申请实施例中可以在分段卷积神经网络的分段池化层和优化损失函数过程中分别采用dropout和L₂正则化策略。

步骤203、对获取的待分类文本进行特征提取，基于第一目标对象在待分类文本的句子中的位置对提取的特征进行上下文特征划分，得到第一上文特征和第一下文特征。

需要说明的是，对获取的待分类文本进行特征提取，可以是提取词嵌入特征(word)，还可以提取词性特征(S)、情感得分特征(P)或位置特征(L)等辅助特征，为将词或辅助特征嵌入模型，需要将其进行向量化表示，假设包含对象的任意句子中包含n个词，i∈[1,n]，e_i为第i个词对应的one-hot向量。词嵌入特征和辅助特征提取的具体过程如下：

1、词嵌入指的是在“上下文相似的词，其语义也相似”假设的基础上，将词嵌入到一个维度较低且固定的空间当中，以得到一种稠密且包含语义的分布式词向量，本申请实施例中采用Glove预训练词向量作为词嵌入特征，对于未登录词，词向量用0向量进行初始化，假设

为句子中某个词的词向量，即词嵌入特征，词嵌入矩阵表示为

V为数据集中词的集合，|V|为词表的大小，本申请实施例中的词向量的维度d的取值范围优选为0≤d≤300，获取词向量的查找操作可以表示为：

x_i＝W_ee_i。

2、词的情感得分指反映其情感倾向程度的值，值越大表示该词为正向情感词的功率越大，反之则越小。假设情感得分特征嵌入矩阵的维度为m₁，s_i为句子中第i个词的情感得分特征值，其可以抽取自情感词典NRC，

为句子的情感得分特征嵌入矩阵，s_i对应的情感得分特征嵌入向量S_i∈S可以表示为：

S_i＝W_Se_i；

式中，

为可训练矩阵，其通过均匀分布U(-1,1)随机初始化，在模型训练过程中不断学习和更新。

3、词性信息也是一种有利于情感极性判断的特征，当一个词为形容词时，该词很有可能用以表达观点，假设词性特征嵌入矩阵的维度为m₂，p_i为句子中第i个词的词性特征值，可以由自然语言处理工具NLTK提取得到，

为句子的词性特征嵌入矩阵，词性特征值p_i对应的词性特征嵌入向量P_i∈P为：

P_i＝W_Pe_i；

式中，

为可训练矩阵，其通过均匀分布U(-1,1)随机初始化，在模型训练过程中不断学习和更新。

4、在对象级情感分类任务中，距离对象越近的词越有可能成为描述对象的词，其所在位置也就越重要，可以参考图3，一般取词语对象的相对位置作为位置特征，但是该方法使情感词“horrible”相对于第一目标对象“staff”的距离较非情感词“was”和“so”要远，不利于对象级情感分类，为了解决该问题，本申请实施例提出一种位置重排算法对获取的待分类文本中各个词的位置进行重新排序，具体为：

(1)提取获取的待分类文本中各个词与第一目标对象的相对位置值，得到第一位置特征向量(l₁,l₂,…,l_i,…,l_j,…,l_n)；

(2)基于第一位置特征向量和情感得分特征向量计算各个词的位置得分，得到位置得分向量score＝(score₁,score₂,…score_i,…score_n)，其中，情感得分特征向量基于情感词典计算待分类文本中的各个词的情感得分特征值得到，位置得分的计算公式为：

其中，score_i为第i个词的位置得分，l_i、l_j分别为第i、j个词与第一目标对象的相对位置值，s_i、s_j分别为第i、j个词的情感得分特征值，n为词数量，通过在考虑原位置的基础上引入情感得分因素，使得情感词能够分配到更大的位置得分。

(3)基于位置得分向量和第一位置特征向量计算排序后各个词与第一目标对象的相对位置值，得到第二位置特征向量(l′₁,l′₂,…,l′_i,…l′_n)，即，排序后的位置特征向量；其中，排序后各个词与第一目标对象的相对位置值的计算公式为：

l′_i＝f(l_i)top_k(score_i,score)；

其中，l′_i为排序后第i个词与第一目标对象的相对位置值，l_i为排序前第i个词与第一目标对象的相对位置值，top_k(socre_i,socre)为输出score_i在所有位置得分中排在第几位的函数，score_i为第i个词的位置得分，score为位置得分向量，当l_i小于0时，f(l_i)输出-1，表示第i个词出现在第一目标对象的左边；当l_i等于0时，f(l_i)输出0，表示第i个词为第一目标对象本身；当l_i大于0时，f(l_i)输出1，表示第i个词出现在第一目标对象的右边。

通过位置重排算法对获取的待分类文本中各个词的位置进行重新排序，对图3中各词进行位置重排，重排后各词的位置变化可以参考图4，排序后“horrible”的位置特征值由3变为1，意味着“horrible”处于更重要的位置上。

假设位置特征嵌入矩阵的维度为m₃，

为句子的位置特征嵌入矩阵，则重排后的位置特征值l′_i对应的位置特征嵌入向量L_i∈L为：

L_i＝W_Le_i；

式中，

为可训练矩阵，其通过均匀分布U(-1,1)随机初始化，在模型训练过程中不断学习和更新。

需要指出的是，考虑到时间性能因素，可以将辅助特征嵌入的维度m₁、m₂、m₃统一设置为较低的维度，具体取值可以根据实际情况进行设置。

提取特征后，可以根据第一目标对象在待分类文本句子中的位置对提取的特征进行上下文特征划分，假设第一目标对象在句子中的位置为k，对应的词嵌入特征为x_k，那么X_up＝{x₁,x₂,…,x_k}为词嵌入上文特征，X_down＝{x_k,x_k+1,…,x_n}为词嵌入下文特征，相应地，S_up、S_down、P_up、P_down、L_up、L_down分别为由第一目标对象划分的辅助上文特征和辅助下文特征；可以将词嵌入上文特征和辅助上文特征进行特征融合得到第一上文特征U，将词嵌入下文特征和辅助下文特征进行特征融合得到第一下文特征D，需要指出的是，可以是直接将词嵌入上文特征、词嵌入下文特征分别作为第一上文特征、第一下文特征，也可以将词嵌入上文特征、词嵌入下文特征与部分辅助上文特征、辅助下文特征进行特征融合得到第一上文特征、第一下文特征，也可以是将词嵌入上文特征、词嵌入下文特征与全部辅助上文特征、辅助下文特征进行特征融合得到第一上文特征、第一下文特征，本申请实施例中优选将词嵌入上文特征、词嵌入下文特征与全部辅助上文特征、辅助下文特征进行特征融合，得到第一上文特征U和第一下文特征D，即：

式中，

为矩阵拼接操作，S_up、S_down、P_up、P_down、L_up、L_down分别为词性上文特征嵌入矩阵、词性下文特征嵌入矩阵、情感得分上文特征嵌入矩阵、情感得分下文特征嵌入矩阵、位置上文特征嵌入矩阵、位置下文特征嵌入矩阵，拼接得到的U和D中词向量的维度为m。

步骤204、将第一上文特征和第一下文特征输入到预置分段卷积神经网络，使得预置分段卷积神经网络中的卷积层对第一上文特征和第一下文特征分别进行卷积运算得到上文局部特征和下文局部特征，分段池化层对上文局部特征和下文局部特征分别进行最大池化操作得到上文池化特征和下文池化特征，注意力模块通过计算得到每个词的注意力得分得到注意力特征表示，特征融合层对上文池化特征、下文池化特征和注意力特征表示进行特征融合得到融合特征，softmax层对融合特征进行处理，输出待分类文本中第一目标对象的情感分类结果。

需要说明的是，预置分段卷积神经网络的模型结构可以参考图5，其中，图5中的特征连接层即为特征融合层，注意力表示即为通过注意力模块提取的注意力特征表示，词的多特征向量表示包括第一上文特征和第一下文特征。将第一上文特征U和第一下文特征D输入到预置分段卷积神经网络，使得预置分段卷积神经网络中的卷积层对第一上文特征U和第一下文特征D分别进行卷积运算得到上文局部特征C_up和下文局部特征C_down，即：

C_up(i,j)＝f(U*W_up(:,:,j)+b₁(j))，i∈[1,(k-1)-w+1],j∈[1,n_conv]；

C_down(i,j)＝f(D*W_down(:,:,j)+b₂(j))，i∈[1,(n-k-1)-w+1],j∈[1,n_conv]；

式中，*为两个矩阵元素对应相乘相加操作，f(·)为非线性激活函数ReLU，w为卷积过滤器的长度，其值表示每次提取局部特征对应词的个数，b₁、

为偏置向量，n_conv为卷积过滤器的数量，W_up、

为卷积参数矩阵。

为了得到包含上下文更加细粒度的特征，本申请实施例中对上文局部特征C_up和下文局部特征C_down两部分分别做最大池化操作，即分段池化以得到包含上下文特征的池化特征，即：

Z_up(j)＝max(C_up(:,j)),j∈[1,n_conv]；

Z_down(j)＝max(C_down(:,j)),j∈[1,n_conv]；

式中，Z_up为上文池化特征，Z_down为下文池化特征。

为了进一步提高分类准确率，本申请实施例中通过增加注意力模块来赋予那些在情感分类过程中起到重要作用的词更大的权重，进而提高分类准确率，注意力模块通过卷积操作计算每个词的注意力得分，假设i为中心词的位置，w_a为卷积窗口长度，在一个窗口内使用参数矩阵

和偏置

计算词嵌入上文特征和词嵌入下文特征中对应的各个词的注意力得分，得到上文注意力得分和下文注意力得分，即：

其中，当计算词嵌入上文特征中对应的各个词的注意力得分时，x_i为词嵌入上文特征中的中心词对应的词向量，得到上文注意力得分s_{up_att,i}；当计算词嵌入下文特征中对应的各个词的注意力得分时，x_i为词嵌入下文特征中的中心词对应的词向量，得到下文注意力得分s_{down_att,i}，g(·)为非线性激活函数sigmoid，s_att,i为第i个词的注意力得分，使用s_att,i对词向量进行加权求和，得到新词嵌入特征，即：

需要指出的是，注意力模块基于上文注意力得分对词嵌入上文特征进行加权求和，得到新词嵌入上文特征y_up，此时上式中的s_att,i为上文注意力得分，x_i为词嵌入上文特征中的第i个词对应的词向量；

注意力模块基于下文注意力得分对词嵌入下文特征进行加权求和，得到新词嵌入下文特征y_down，此时上式中的s_att,i为下文注意力得分，x_i为词嵌入下文特征中的第i个词对应的词向量。

最后，注意力模块通过参数矩阵

和偏置

计算得到注意力特征表示Z_att，即：

需要指出的是，注意力特征表示包括上文注意力特征表示Z_{up_att}和下文注意力特征表示Z_{down_att}，注意力模块对新词嵌入上文特征y_up进行卷积操作后，再进行非线性变换，得到上文注意力特征表示，注意力模块对新词嵌入下文特征y_down进行卷积操作后，再进行非线性变换，得到下文注意力特征表示Z_{down_att}。

假设分段卷积神经网络中所用卷积过滤器的类型为#n_w，其值指一个特定长度的卷积过滤器，若分段卷积神经网络中使用到3个不同长度的卷积过滤器，则#n_w的取值为[1,2,3]。特征融合层将分段池化层输出的上文池化特征、下文池化特征与注意力模块输出的上文注意力特征表示、下文注意力特征表示进行串联达到特征融合的目的，以丰富句子的特征表示，得到融合特征Z_out，softmax层对融合特征Z_out进行处理，输出待分类文本中第一目标对象的情感分类结果P，即：

P＝softmax(W_fZ_out+b_f)；

式中，

为向量连接操作，W_f和b_f分别为权重参数和偏置参数。

本申请实施例中的基于分段卷积神经网络的对象级情感分类方法，考虑到由对象划分出句子上下文的重要性，通过分段最大池化操作提取更加细粒度的对象上下文特征，提高情感分类准确率；并且，根据情感分类的特点，引入多个辅助特征，将词的位置、词性以及词在情感词典中的情感得分与词嵌入特征进行融合，增强了特征表示，进一步提高了情感分类的准确率；本申请实施例中还在分段卷积神经网络中增加注意力模块，通过卷积的方式计算词的注意力得分，为那些在情感分类过程中起到重要作用的词赋予更大的权重，以此获取更有利于情感分类的特征。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于分段卷积神经网络的对象级情感分类方法，其特征在于，包括：

对获取的待分类文本进行特征提取，基于第一目标对象在所述待分类文本的句子中的位置对提取的特征进行上下文特征划分，得到第一上文特征和第一下文特征；

将所述第一上文特征和所述第一下文特征输入到预置分段卷积神经网络，使得所述预置分段卷积神经网络中的卷积层对所述第一上文特征和所述第一下文特征分别进行卷积运算得到上文局部特征和下文局部特征，分段池化层对所述上文局部特征和所述下文局部特征分别进行最大池化操作得到上文池化特征和下文池化特征，注意力模块通过计算得到每个词的注意力得分得到注意力特征表示，特征融合层对所述上文池化特征、所述下文池化特征和所述注意力特征表示进行特征融合得到融合特征，softmax层对融合特征进行处理，输出所述待分类文本中所述第一目标对象的情感分类结果，其中，所述注意力特征表示包括上文注意力特征表示和下文注意力特征表示。

2.根据权利要求1所述的基于分段卷积神经网络的对象级情感分类方法，其特征在于，所述对获取的待分类文本进行特征提取，包括：

对获取的待分类文本进行词嵌入特征提取。

3.根据权利要求2所述的基于分段卷积神经网络的对象级情感分类方法，其特征在于，所述对获取的待分类文本进行特征提取，还包括：

对获取的待分类文本进行辅助特征提取，所述辅助特征包括情感得分特征、词性特征或位置特征。

4.根据权利要求3所述的基于分段卷积神经网络的对象级情感分类方法，其特征在于，对获取的待分类文本进行位置特征提取，包括：

基于位置重排算法对获取的待分类文本中各个词的位置进行重新排序；

对排序后的所述待分类文本进行位置特征提取。

5.根据权利要求4所述的基于分段卷积神经网络的对象级情感分类方法，其特征在于，所述基于位置重排算法对获取的待分类文本中各个词的位置进行重新排序，包括：

提取获取的待分类文本中各个词与所述第一目标对象的相对位置值，得到第一位置特征向量；

基于第一位置特征向量和情感得分特征向量计算各个词的位置得分，得到位置得分向量，其中，所述情感得分特征向量基于情感词典计算所述待分类文本中的各个词的情感得分特征值得到；

基于所述位置得分向量和所述第一位置特征向量计算排序后各个词与所述第一目标对象的相对位置值，得到第二位置特征向量。

6.根据权利要求5所述的基于分段卷积神经网络的对象级情感分类方法，其特征在于，所述位置得分的计算公式为：

其中，score_i为第i个词的位置得分，l_i、l_j分别为第i、j个词与第一目标对象的相对位置值，s_i、s_j分别为第i、j个词的情感得分特征值，n为词数量。

7.根据权利要求5所述的基于分段卷积神经网络的对象级情感分类方法，其特征在于，所述排序后各个词与所述第一目标对象的相对位置值的计算公式为：

l′_i＝f(l_i)top_k(score_i,score)；

其中，l′_i为排序后第i个词与第一目标对象的相对位置值，l_i为排序前第i个词与第一目标对象的相对位置值，top_k(socre_i,socre)为输出score_i在所有位置得分中排在第几位的函数，score_i为第i个词的位置得分，score为位置得分向量，当l_i小于0时，f(l_i)输出-1，当l_i等于0时，f(l_i)输出0，当l_i大于0时，f(l_i)输出1。

8.根据权利要求3所述的基于分段卷积神经网络的对象级情感分类方法，其特征在于，所述基于第一目标对象在所述待分类文本的句子中的位置对提取的特征进行上下文特征划分，得到第一上文特征和第一下文特征，包括：

基于第一目标对象在所述待分类文本的句子中的位置对提取的所述词嵌入特征和所述辅助特征分别进行上下文特征划分，得到词嵌入上文特征、词嵌入下文特征、辅助上文特征和辅助下文特征；

将所述词嵌入上文特征和所述辅助上文特征进行特征融合得到第一上文特征，将所述词嵌入下文特征和所述辅助下文特征进行特征融合得到第一下文特征。

9.根据权利要求8所述的基于分段卷积神经网络的对象级情感分类方法，其特征在于，所述注意力模块通过计算得到每个词的注意力得分得到注意力特征表示，包括：

所述注意力模块分别计算所述词嵌入上文特征和所述词嵌入下文特征中对应的各个词的注意力得分，得到上文注意力得分和下文注意力得分；

所述注意力模块基于所述上文注意力得分对所述词嵌入上文特征进行加权求和，得到新词嵌入上文特征；

所述注意力模块基于所述下文注意力得分对所述词嵌入下文特征进行加权求和，得到新词嵌入下文特征；

所述注意力模块对所述新词嵌入上文特征和所述新词嵌入下文特征分别进行卷积操作后，再分别进行非线性变换，得到所述上文注意力特征表示和所述下文注意力特征表示。

10.根据权利要求1所述的基于分段卷积神经网络的对象级情感分类方法，其特征在于，所述将所述第一上文特征和所述第一下文特征输入到预置分段卷积神经网络，之前还包括：

对获取的待训练文本进行特征提取，基于第二目标对象在所述待训练文本的句子中的位置对提取的特征进行上下文特征划分，得到第二上文特征和第二下文特征；

将所述第二上文特征和所述第二下文特征输入到构建的分段卷积神经网络，对所述分段卷积神经网络进行训练，得到训练好的所述分段卷积神经网络，将训练好的所述分段卷积神经网络作为所述预置分段卷积神经网络。

Images