CN117235251A - 一种文本情感分类方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供了一种文本情感分类方法、装置及电子设备，该方法包括：获取待识别的文本；将待识别的文本输入到文本特征提取模型中进行特征提取处理，得到文本特征提取模型输出的文本特征向量，特征提取处理用于根据待识别的文本的上下文语义生成与待识别的文本的上下文语义相对应的文本特征向量；将文本特征向量输入到文本情感分类模型中进行文本情感分类处理，得到文本情感分类模型输出的情感分类结果。

Description

一种文本情感分类方法、装置及电子设备

技术领域

本申请涉及大数据领域，尤其涉及一种文本情感分类方法、装置及电子设备。

背景技术

随着网络用户量的不断增加，用户的业务询问需求也呈爆炸式增长，伴随而来的是大量可用于参考和深度挖掘的信息，文本情感类分类模型应运而生。通过文本情感类分类模型可以觉察出用户在业务对话中的情绪，直接或间接判断用户的业务询问需求或意向，并将意见反馈给业务端。

在一些场景下，文本情感分类方法是基于词典进行判断，词典中的基本词汇是对大脑形成积极、消极、否定词和程度副词的情感词典。在对待识别的文本样本进行情感分析的时候，需要对文本样本中的句子生成句向量，相关技术中采用word-embedding的方式取加权平均生成句向量，但是该种方式无法理解上下文的语义，同一个词在不同的语境表达的意思可能不一样，导致文本情感分类模型的分类准确率较低。

发明内容

本申请实施例的目的是提供一种文本情感分类方法、装置及电子设备，提高了文本情感分类模型的分类准确率。

第一方面，本申请实施例提供了一种文本情感分类方法，包括：获取待识别的文本；将所述待识别的文本输入到文本特征提取模型中进行特征提取处理，得到所述文本特征提取模型输出的文本特征向量，所述特征提取处理用于根据所述待识别的文本的上下文语义生成与所述待识别的文本的上下文语义相对应的文本特征向量；将所述文本特征向量输入到文本情感分类模型中进行文本情感分类处理，得到所述文本情感分类模型输出的情感分类结果。

第二方面，本申请实施例提供了一种文本情感分类装置，包括：获取模块，用于获取待识别的文本；处理模块，用于将所述待识别的文本输入到文本特征提取模型中进行特征提取处理，得到所述文本特征提取模型输出的文本特征向量，所述特征提取处理用于根据所述待识别的文本的上下文语义生成与所述待识别的文本的上下文语义相对应的文本特征向量；所述处理模块，还用于将所述文本特征向量输入到文本情感分类模型中进行文本情感分类处理，得到所述文本情感分类模型输出的情感分类结果。

第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所提到的文本情感分类方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所提到的文本情感分类方法步骤。

以上本申请实施例提供的技术方案，通过获取待识别的文本；将所述待识别的文本输入到文本特征提取模型中进行特征提取处理，得到所述文本特征提取模型输出的文本特征向量，所述特征提取处理用于根据所述待识别的文本的上下文语义生成与所述待识别的文本的上下文语义相对应的文本特征向量；将所述文本特征向量输入到文本情感分类模型中进行文本情感分类处理，得到所述文本情感分类模型输出的情感分类结果，能够由文本特征提取模型根据待识别的文本的上下文的语义提取出文本特征向量，再由文本情感分类模型对文本特征向量进行情感分类处理，最终得到的情感分类结果结合了待识别的文本的上下文的语义，提高了文本情感分类模型的分类准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的文本情感分类方法的流程示意图；

图2为本申请实施例提供的文本情感分类装置的模块组成示意图；

图3为本申请实施例提供的电子设备的结构示意图。

具体实施方式

本申请实施例提供了一种文本情感分类方法、装置及电子设备，提高了文本情感分类模型的分类准确率。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

下面对本申请实施例提供的文本情感分类方法进行说明，示例性的，如图1所示，本申请实施例提供一种文本情感分类方法，该方法的执行主体可以为服务器，其中，该服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群，而且，该服务器可以是能够进行文本情感分类的服务器，该文本情感分类方法具体可以包括以下步骤：

在步骤S101中，获取待识别的文本。

具体来讲，待识别的文本可以是来源于各种数据源的文本，例如客服与用户对话的文本、双方通话的文本等。对于待识别的文本而言，其包括至少一个句子，每一个句子由至少一个单词构成，构成待识别的文本的上下文之间具有语义关系，构成每个句子的单词具有不同的情感类别。

在步骤S103中，将待识别的文本输入到文本特征提取模型中进行特征提取处理，得到文本特征提取模型输出的文本特征向量。

其中，特征提取处理用于根据待识别的文本的上下文语义生成与待识别的文本的上下文语义相对应的文本特征向量。对于文本特征提取模型而言，其主要结合待识别的文本的上下文语义从待识别的文本中提取出待识别的文本的文本特征向量。

在一种可能的实现方式中，文本特征提取模型包括分词模块和交互模块，在特征提取处理中，分词模块用于对待识别的文本中的句子分割成多个单词，对各个单词编码后进行加权求和，得到与单词对应的初始化向量。交互模块用于对初始化向量和待识别的文本中的句子进行交互，得到初始化向量和待识别文本中的句子的交互的文本特征向量。

具体来讲，分词模块可以采用中文预训练模型(Albert)，交互模块可以采用多头交叉注意力模型(Multi-head)相结合对待识别的文本进行特征提取处理，得到文本特征提取模型输出的文本特征向量。文本特征提取模型的encoder层和特征提取层主要通过预训练模型编码完成，预训练模型(Albert)的参数量较少，模型的训练速度和训练效率较高。待识别的文本传入到中文预训练模型(Albert)中通过分词器分割成单词(token)，然后对每一个token进行编码，得到三个编码向量，分别为token-embedding(token转换编码向量)、position-embedding(单词在待识别的文本中的位置的转换)和token-type-embedding(token类型的转换编码向量)，然后对三个类型的编码向量进行加权求和后作为初始化向量输出，如此，可以通过中文预训练模型(Albert)待识别的文本进行初始化，提高文本情感分类模型的分类准确率。而多头交叉注意力模型主要利用机制实现词和句子之间的交互，通过encoder层和特征提取获取句子、重点词和词汇搭配的向量表示，也就是说，将中文预训练模型(Albert)输出的初始化向量和待识别的文本中的句子通过encoder层进行交互搭配，得到包含待识别的句子中上下文语义的文本特征向量，如句子的特征向量表示、重点词的特征向量表示、单词的向量表示。如此，通过分词模块对待识别的文本中的句子进行分词，再由交互模块对与单词对应的初始化向量与待识别的文本中的句子进行交互，从而能学习到包含上下文语义的文本特征向量，不同的模块执行不同的任务，有利于任务的互相隔离，避免任务间互相影响而造成提取出的文本特征向量精度较低的问题。

在步骤S105中，将文本特征向量输入到文本情感分类模型中进行文本情感分类处理，得到文本情感分类模型输出的情感分类结果。

具体来讲，文本情感分类模型是基于构建的深度网络模型进行文本建模、特征提取以及情感分类，这是因为深度神经网络具备较强的数据特征表示能力，由于多个非线性隐含层的存在，一个多层次的神经网络几乎可以学习到任意分布的数据特征。本申请实施例中，文本情感分类模型可以采用textcnn文本分类模型，textcnn文本分类模型包含四个部分，分别为词嵌入(Embedding)、卷积(Convolution)、池化(MaxPolling)、全连接和softmax(FullConnection and Softmax)，其中，词嵌入是将待识别文本中的的句子形成句子矩阵，然后将句子矩阵中的每一个词表征为一个向量，这里可以采用预训练的模型，也可以随机初始化的方式将句子矩阵中的每一个词表征为一个向量。然后将待识别的文本中包含多个单词的词向量的句子作为卷积层的输入，然后将该输入看作一幅图像，卷积提取相邻单词的特征，卷积层可以采用一维卷积，卷积核的宽度为词向量的维度。池化是将卷积层的所有特征向量进行分段，切割成若干段后，每个分段里面各自取一个最大特征值。每个卷积层有两个通道，池化是将不同长度的句子变成定长的表示，全连接层和softmax用于输出每个文本情感所属的类别的概率，其中，情感分类结果包括但不限于积极类型、消极类型、不同程度的积极类型以及不同程度的消息类型等。值得注意的是，本申请实施例中采用的textcnn文本分类模型可以和相关技术中的textcnn文本分类模型的相同或相似之处互相参照，本申请实施例在此并不作限定。

下面以具体的实例来说明本申请实施例采用文本特征提取模型进行文本特征向量提取后，再利用文本情感分类模型进行情感分类的分类效果进行说明，其中，文本特征提取模型以Albert+Multi-head为例，情感分类模型以textcnn为例。

示例性的，以月为单位，抽样客户与用户的对话文本100000，通过二分类基准模型抽取负面客户用户对话文本数据，通过分词器(如jieba分词器)获取负面客户用户的对话文本数据中的每个句子的分词和词性，分词和词性可以通过情感词表确定，通过核对情感此表，将负面客户用户的对话文本数据中的负面情绪程度划分为高、中、低以及其他四个等级，同样依据上述的负面情绪程度划分为高、中、低以及其他四个标签。

如表1所示，是直接采用文本情感分类模型进行情感分类的数据表。

如表2所示，是采用文本特征提取模型和文本情感分类模型相互结合进行情感分类的数据表。其中，

上述两个表中，precision表示查准率，recall表示召回率，f1-score表示得分值，labels表示标签，Test_set表示测试集，Train_set表示训练集，accuracy表示准确率，support表示数据量级。由上述结果可以看出，使用文本特征模型和文本情感分类模型相互结合的方式使得情感分类的准确率达到0.83，而仅使用文本情感分类模型的准确率仅为0.80。

通过本申请实施例公开的技术方案，能够由文本特征提取模型根据待识别的文本的上下文的语义提取出文本特征向量，再由文本情感分类模型对文本特征向量进行情感分类处理，最终得到的情感分类结果结合了待识别的文本的上下文的语义，提高了文本情感分类模型的分类准确率。

在一种可能的实现方式中，在将待识别的文本输入到文本特征提取模型中进行特征提取处理之前，方法还包括：获取N个第一文本样本，N为大于1的整数，将N个第一文本样本依次输入到待训练的文本特征提取模型中进行迭代训练，直至文本特征提取模型的模型参数达到最优，得到训练后的文本特征提取模型。

其中，在每次对文本特征提取模型进行训练时，文本特征提取模型中的分词模块通过分词器将第一文本样本分割为多个单词，并对各单词进行编码，得到与单词对应的至少一个编码向量，对与单词对应的至少一个编码向量进行加权求和后得到分词模块输出的初始化向量，文本特征提取模型中的交互模块对初始化向量和第一文本样本中的句子进行交互，得到初始化向量和第一文本样本中的句子交互的文本特征向量。

具体来讲，分词模块可以采用中文预训练模型(Albert)，交互模块可以采用多头交叉注意力模型(Multi-head)相结合对第一文本样本进行特征提取处理，得到文本特征提取模型输出的文本特征向量。文本特征提取模型的encoder层和特征提取层主要通过预训练模型编码完成，预训练模型(Albert)的参数量较少，模型的训练速度和训练效率较高。第一文本样本传入到中文预训练模型(Albert)中通过分词器分割成单词(token)，然后对每一个token进行编码，得到三个编码向量，分别为token-embedding、position-embedding和token-type-embedding，然后对三个类型的编码向量进行加权求和后作为初始化向量输出，如此，可以通过中文预训练模型(Albert)第一文本样本进行初始化，提高文本情感分类模型的分类准确率。而多头交叉注意力模型主要利用机制实现词和句子之间的交互，通过encoder层和特征提取获取句子、重点词和词汇搭配的向量表示，也就是说，将中文预训练模型(Albert)输出的初始化向量和第一文本样本中的句子通过encoder层进行交互搭配，得到包含待识别的句子中上下文语义的文本特征向量。如此，通过添加文本特征提取模型可以实现对后续的文本情感分类模型进行初始化，从而进一步提高情感分类模型的分类精度。

在一种可能的实现方式中，在将待识别的文本输入到文本特征提取模型中进行特征提取处理，得到文本特征提取模型输出的文本特征向量之前，方法还包括：获取M个第二文本样本，M为大于1的整数；将M个第二文本样本依次输入至文本特征提取模型中进行特征提取处理，得到文本特征提取模型输出的多个文本特征向量样本。

在将文本特征向量输入到文本情感分类模型中进行文本情感分类处理，得到文本情感分类模型输出的情感分类结果之前，方法还包括：将多个文本特征向量样本输入至待训练的文本情感分类模型进行迭代训练，直至文本情感分类模型的模型参数最优，得到训练后的文本情感分类模型。

具体来讲，本申请实施例中，文本情感分类模型可以采用textcnn文本分类模型，textcnn文本分类模型包含四个部分，分别为词嵌入(Embedding)、卷积(Convolution)、池化(MaxPolling)、全连接和softmax(FullConnection and Softmax)，其中，词嵌入是将待识别文本中的的句子形成句子矩阵，然后将句子矩阵中的每一个词表征为一个向量，这里可以采用预训练的模型，也可以随机初始化的方式将句子矩阵中的每一个词表征为一个向量。然后将第二文本样本中包含多个单词的词向量的句子作为卷积层的输入，然后将该输入看作一幅图像，卷积提取相邻单词的特征，卷积层可以采用一维卷积，卷积核的宽度为词向量的维度。池化是将卷积层的所有特征向量进行分段，切割成若干段后，每个分段里面各自取一个最大特征值。每个卷积层有两个通道，池化是将不同长度的句子变成定长的表示，全连接层和softmax用于输出每个文本情感所属的类别的概率。如此，通过添加文本特征提取模型可以实现对后续的文本情感分类模型进行初始化，利用文本特征提取模型输出的文本特征向量对情感分类模型进行训练，从而进一步提高情感分类模型的分类精度。值得注意的是，本申请实施例中采用的textcnn文本分类模型可以和相关技术中的textcnn文本分类模型的相同或相似之处互相参照，本申请实施例在此并不作限定。

在一种可能的实现方式中，在将多个文本特征向量样本输入至待训练的文本情感分类模型进行迭代训练，直至文本情感分类模型的模型参数最优，得到训练后的文本情感分类模型之后，方法还包括：基于粒子群优化算法对训练后的文本情感分类模型的模型参数进行优化，得到更新后的文本情感分类模型；将文本特征向量输入到文本情感分类模型中进行文本情感分类处理包括：将文本特征向量输入到更新后的文本情感分类模型中进行文本情感分类处理。

具体来讲，对于粒子群算法而言，每一个粒子相当于一个候选解，每一个粒子会根据当前最优位置和整体最优位置，调度出每个粒子的飞行速度和飞行方向，寻找到最优的飞行位置。在维度空间中有m个粒子，本申请实施例中采用v_id标识第i个粒子的速度，x_id表示第i个粒子的位置，第i个粒子自身搜索到的最优位置记为p_id，整个粒子群搜索到的最优位置记为p_gd，整个粒子群通过飞行速度和飞行位置的更新来搜索整个状态空间。如以下公式(1)和(2)所示。

v'_id＝ωv_id+c₁·rand()·(p_id-x_id)+c₂·rand()·(p_gd-x_id)

x′_id＝x_id+v′_id

其中，v'_id表示粒子更新后的飞行位置，x'_id表示粒子更新后的飞行速度，ω为惯性权重，c₁和c₂为动态自动调节学习因子，rand()为在[0，1]范围内变化的随机数。

对于上述的粒子群算法，其在应用的过程中，往往存在收敛过快，容易陷入局部最优解的问题，为了解决上述问题，本申请实施例通过动态粒子群算法(粒子群优化算法)对上述训练好的文本情感分类模型进行优化。其中，对于上述公式v'_id＝ωv_id+c₁·rand()·(p_id-x_id)+c₂·rand()·(p_gd-x_id)其搜索速度不能广度计算粒子正确的飞行方向，本申请实施例从粒子搜索角度判断是动态非线性过程，将上述的公式v'_id＝ωv_id+c₁·rand()·(p_id-x_id)+c₂·rand()·(p_gd-x_id)进行改进以提高粒子的活性，改进后的公式如下：

其中，t表示粒子当前的迭代次数，t_max表示最大迭代次数，t越大，也越大，且不超过1，使得粒子的飞行位置变化速度变化慢，对数函数让粒子飞行位置产生振荡，以此粒子的搜索控件得到动态调整。

粒子群优化算法的粒子搜索能力的增强，可以提高前期粒子搜索能力并增加搜索速度，后期增加粒子的搜索精度，惯性权值公式如下：

其中，ω_start表示的是惯性权重的初始值，ω_end表示的是惯性权重的终止值，t表示粒子当前的迭代次数，t_max表示最大迭代次数，对于ω与搜索速度的关系，ω较大，前期利于快速搜索，ω较小，后期利于快速搜索。

粒子群优化算法中，自动调节学习因子有利于越出局部极值循环，学习因子c₁和c₂的调整公式如下：

其中，c_start为c₁和c₂的初始化，c_end为c₁和c₂的终值，v＝-ω，ω为惯性权值，上述公式中，学习因子c₁和c₂由惯性权值决定，c₁越大，c₂越小，自身调节能力也随之增强，随着粒子飞行速度的变化，c₁和c₂达到一定阈值，自我调节能力也随之减少，外界交互能力随之提升。

如此，将上述的粒子群优化算法应用于文本情感分类模型的模型参数的优化的场景中，可以通过粒子群优化算法对文本情感分类模型的核心的模型参数进行优化，解决文本情感分类模型的模型参数泛滥的问题，此外，使用粒子群优化算法可以对文本情感分类模型的模型参数实现自动搜索，并寻求最优解，使得文本情感分类模型的效果更加优化，进一步提升文本情感分类模型的分类精度。

具体来讲，基于粒子群优化算法对训练后的文本情感分类模型的模型参数进行优化包括：获取预设的粒子群的粒子个数，初始化粒子群的模型参数和粒子群中每个粒子的位置向量和速度向量；将粒子群的每个粒子依次在文本分类模型中进行前向传播，在训练后的文本情感分类模型的损失函数未收敛之前，更新粒子的速度向量和位置向量，将更新后的速度向量和位置向量重新传回训练后的文本情感分类模型中，更新训练后的文本情感分类模型的模型参数，直至训练后的文本情感分类模型的损失函数收敛，得到更新后的文本情感分类模型。

更为具体的，首先设定粒子群优化算法中粒子的个数为m，初始化模型参数，如初始化加速常参数c₁、c₂和惯性权重ω，将粒子群中每个粒子的位置向量和速度向量进行初始化，初始化的个粒子的位置向量和速度向量的初始值作为[0,1]之间的随机数。

对于每个粒子，依次在文本分类模型中进行前向传播，其中，前向传播分为卷积层计算和下采样计算，卷积层计算采用下式进行计算：

其中，M_j表示输入的特征参数的集合，xⁿ _j表示第n层的第j个特征图，是卷积核函数，f()是激活函数，本申请实施例中采用Sigmoid函数作为激活函数，/>是偏执参数。

下采样计算采用下式计算：

其中，β为下采样特征计算常数参数，down()为下采样的目标函数，在输出层计算出结果时，在n层的网络中，作为神经网络的输入样本，利用激活函数和惯性权重进行各层的连接，其网络计算表示如下式：

y＝f_n(...(f₂(f₁(X·W⁽¹⁾)W⁽²⁾))...)W⁽ⁿ⁾

误差函数(损失函数)表示如下式：

其中，N是网络输入训练样本的个数，C是输出层神经元的数目，是第i个样本的第j个输出节点的期望值，y_ji是第i个样本的第j个输出节点的实际输出值。

将文本分类模型的训练网络中计算的参数作为粒子群算法中的一个粒子，粒子的长度作为文本分类模型的训练网络中参与训练的参数个数，再次使用公式y＝f_n(...(f₂(f₁(X·W⁽¹⁾)W⁽²⁾))...)W⁽ⁿ⁾和循环迭代更新，得到文本分类模型的最优参数。具体是，对于每个粒子，依次在文本分类模型通过公式y＝f_n(...(f₂(f₁(X·W⁽¹⁾)W⁽²⁾))...)W⁽ⁿ⁾进行前向传播，再通过公式/>计算得到损失函数的数值，在文本分类模型训练的过程中直至损失函数达到极小值的时候(收敛)，即停止对文本分类模型的训练，如果没有收敛，则通过公式v'_id＝ωv_id+c₁·rand()·(p_id-x_id)+c₂·rand()·(p_gd-x_id)和x'_id＝x_id+v'_id更新粒子的飞行速度和飞行位置，将更新后的粒子的飞行速度和飞行位置重新传回到文本分类模型的训练网络中，更新文本分类模型的权重、学习因子等。

如此，通过粒子群优化算法对文本情感分类模型的核心的模型参数进行优化，解决文本情感分类模型的模型参数泛滥的问题，此外，使用粒子群优化算法可以对文本情感分类模型的模型参数实现自动搜索，并寻求最优解，使得文本情感分类模型的效果更加优化，进一步提升文本情感分类模型的分类精度。

进一步，本申请结合上述的表1、表2和下文中的表3，对利用文本特征提取模型和粒子群优化算法相结合对文本情感分类模型的分类精度所体现的效果进行说明。

如表3所示，是采用文本特征提取模型、文本情感分类模型和粒子群优化算法相互结合进行情感分类的数据表。其中，文本特征提取模型以Albert+Multi-head为例，情感分类模型以textcnn为例，粒子群优化算法以自适应动态粒子群优化(adaptive dynamicparticle swarm optimization，ADPSO)为例。

上述表中，precision表示查准率，recall表示召回率，f1-score表示得分值，labels表示标签，Test_set表示测试集，Train_set表示训练集，accuracy表示准确率，support表示数据量级。由上述结果可以看出，使用文本特征模型和文本情感分类模型相互结合的方式使得情感分类的准确率达到0.83，而仅使用文本情感分类模型的准确率仅为0.80，使用文本特征提取模型、文本情感分类模型和粒子群优化算法相互结合的文本情感分类模型的准确率达到了0.86。

对应上述实施例提供的文本情感分类方法，基于相同的技术构思，本申请实施例还提供了一种文本情感分类装置，图2本申请实施例提供的文本情感分类装置的模块组成示意图，该文本情感分类装置用于执行上述实施例描述的文本情感分类方法，如图2所示，该文本情感分类装置200包括：获取模块201，用于获取待识别的文本；处理模块202，用于将待识别的文本输入到文本特征提取模型中进行特征提取处理，得到文本特征提取模型输出的文本特征向量，特征提取处理用于根据待识别的文本的上下文语义生成与待识别的文本的上下文语义相对应的文本特征向量；处理模块202，还用于将文本特征向量输入到文本情感分类模型中进行文本情感分类处理，得到文本情感分类模型输出的情感分类结果。

在一种可能的实现方式中，文本特征提取模型包括分词模块和交互模块；在特征提取处理中，分词模块用于对待识别的文本中的句子分割成多个单词，对各单词编码后进行加权求和，得到与单词对应的初始化向量；交互模块用于对初始化向量和待识别的文本中的句子进行交互，得到初始化向量和待识别文本中的句子的交互的文本特征向量。

在一种可能的实现方式中，获取模块201，还用于获取N个第一文本样本，N为大于1的整数；装置还包括：训练模块，用于将N个第一文本样本依次输入到待训练的文本特征提取模型中进行迭代训练，直至文本特征提取模型的模型参数达到最优，得到训练后的文本特征提取模型；在每次对文本特征提取模型进行训练时，文本特征提取模型中的分词模块通过分词器将第一文本样本分割为多个单词，并对各单词进行编码，得到与单词对应的至少一个编码向量，对与单词对应的至少一个编码向量进行加权求和后得到分词模块输出的初始化向量，文本特征提取模型中的交互模块对初始化向量和第一文本样本中的句子进行交互，得到初始化向量和第一文本样本中的句子交互的文本特征向量。

在一种可能的实现方式中，获取模块201，还用于获取M个第二文本样本，M为大于1的整数；处理模块202，还用于将M个第二文本样本依次输入至文本特征提取模型中进行特征提取处理，得到文本特征提取模型输出的多个文本特征向量样本；处理模块202，还用于将多个文本特征向量样本输入至待训练的文本情感分类模型进行迭代训练，直至文本情感分类模型的模型参数最优，得到训练后的文本情感分类模型。

在一种可能的实现方式中，处理模块202，还用于基于粒子群优化算法对训练后的文本情感分类模型的模型参数进行优化，得到更新后的文本情感分类模型；处理模块202，还用于将文本特征向量输入到更新后的文本情感分类模型中进行文本情感分类处理。

在一种可能的实现方式中，获取模块201，还用于获取预设的粒子群的粒子个数，处理模块202，还用于初始化粒子群的模型参数和粒子群中每个粒子的位置向量和速度向量；将粒子群的每个粒子依次在文本分类模型中进行前向传播，在训练后的文本情感分类模型的损失函数未收敛之前，更新粒子的速度向量和位置向量，将更新后的速度向量和位置向量重新传回训练后的文本情感分类模型中，更新训练后的文本情感分类模型的模型参数，直至训练后的文本情感分类模型的损失函数收敛，得到更新后的文本情感分类模型。

本申请实施例提供的文本情感分类装置能够实现上述文本情感分类方法对应的实施例中的各个过程，且具有相同或类似的有益效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例提供的文本情感分类装置与本申请实施例提供的文本情感分类方法基于同一申请构思，文本情感分类装置和文本情感分类方法基于同一申请构思，因此该实施例的具体实施可以参见前述文本情感分类方法的实施，且具有相同或类似的有益效果，重复之处不再赘述。

对应上述实施例提供的文本情感分类方法，基于相同的技术构思，本申请实施例还提供了一种电子设备，该电子设备用于执行上述的文本情感分类方法，图3为实现本申请各个实施例的一种电子设备的结构示意图，如图3所示。电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器301和存储器302，存储器302中可以存储有一个或一个以上存储应用程序或数据。其中，存储器302可以是短暂存储或持久存储。存储在存储器302的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对电子设备中的一系列计算机可执行指令。

更进一步地，处理器301可以设置为与存储器302通信，在电子设备上执行存储器302中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源303，一个或一个以上有线或无线网络接口304，一个或一个以上输入输出接口305，一个或一个以上键盘306。

具体在本实施例中，电子设备包括有处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现以上方法实施例中的各个步骤，且具有以上方法实施例所具有的有益效果，为避免重复，本申请实施例在此不再赘述。

本实施例中还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现以上方法实施例中的各个步骤，且具有以上方法实施例所具有的有益效果，为避免重复，本申请实施例在此不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，电子设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、装置或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种文本情感分类方法，其特征在于，所述文本情感分类方法包括：

获取待识别的文本；

将所述待识别的文本输入到文本特征提取模型中进行特征提取处理，得到所述文本特征提取模型输出的文本特征向量，所述特征提取处理用于根据所述待识别的文本的上下文语义生成与所述待识别的文本的上下文语义相对应的文本特征向量；

将所述文本特征向量输入到文本情感分类模型中进行文本情感分类处理，得到所述文本情感分类模型输出的情感分类结果。

2.根据权利要求1所述的文本情感分类方法，其特征在于，所述文本特征提取模型包括分词模块和交互模块；

在所述特征提取处理中，所述分词模块用于对所述待识别的文本中的句子分割成多个单词，对各所述单词编码后进行加权求和，得到与所述单词对应的初始化向量；

所述交互模块用于对所述初始化向量和所述待识别的文本中的句子进行交互，得到所述初始化向量和所述待识别文本中的句子的交互的文本特征向量。

3.根据权利要求1所述的文本情感分类方法，其特征在于，在所述将所述待识别的文本输入到文本特征提取模型中进行特征提取处理之前，所述方法还包括：

获取N个第一文本样本，所述N为大于1的整数；

将所述N个第一文本样本依次输入到待训练的文本特征提取模型中进行迭代训练，直至所述文本特征提取模型的模型参数达到最优，得到训练后的文本特征提取模型；

在每次对所述文本特征提取模型进行训练时，所述文本特征提取模型中的分词模块通过分词器将所述第一文本样本分割为多个单词，并对各所述单词进行编码，得到与所述单词对应的至少一个编码向量，对与所述单词对应的至少一个编码向量进行加权求和后得到所述分词模块输出的初始化向量，所述文本特征提取模型中的交互模块对所述初始化向量和所述第一文本样本中的句子进行交互，得到所述初始化向量和所述第一文本样本中的句子交互的文本特征向量。

4.根据权利要求1所述的文本情感分类方法，其特征在于，在所述将所述待识别的文本输入到文本特征提取模型中进行特征提取处理，得到所述文本特征提取模型输出的文本特征向量之前，所述方法还包括：

获取M个第二文本样本，所述M为大于1的整数；

将所述M个第二文本样本依次输入至所述文本特征提取模型中进行特征提取处理，得到所述文本特征提取模型输出的多个文本特征向量样本；

在所述将所述文本特征向量输入到文本情感分类模型中进行文本情感分类处理，得到所述文本情感分类模型输出的情感分类结果之前，所述方法还包括：

将多个所述文本特征向量样本输入至待训练的文本情感分类模型进行迭代训练，直至所述文本情感分类模型的模型参数最优，得到训练后的文本情感分类模型。

5.根据权利要求4所述的文本情感分类方法，其特征在于，在所述将多个所述文本特征向量样本输入至待训练的文本情感分类模型进行迭代训练，直至所述文本情感分类模型的模型参数最优，得到训练后的文本情感分类模型之后，所述方法还包括：

基于粒子群优化算法对所述训练后的文本情感分类模型的模型参数进行优化，得到更新后的文本情感分类模型；

所述将所述文本特征向量输入到文本情感分类模型中进行文本情感分类处理包括：

将所述文本特征向量输入到所述更新后的文本情感分类模型中进行文本情感分类处理。

6.根据权利要求5所述的文本情感分类方法，其特征在于，所述基于粒子群优化算法对所述训练后的文本情感分类模型的模型参数进行优化包括：

获取预设的粒子群的粒子个数，初始化所述粒子群的模型参数和所述粒子群中每个粒子的位置向量和速度向量；

将所述粒子群的每个粒子依次在所述文本分类模型中进行前向传播，在所述训练后的文本情感分类模型的损失函数未收敛之前，更新所述粒子的速度向量和位置向量，将更新后的速度向量和位置向量重新传回所述训练后的文本情感分类模型中，更新所述训练后的文本情感分类模型的模型参数，直至所述训练后的文本情感分类模型的损失函数收敛，得到所述更新后的文本情感分类模型。

7.一种文本情感分类装置，其特征在于，所述文本情感分类装置包括：

获取模块，用于获取待识别的文本；

处理模块，用于将所述待识别的文本输入到文本特征提取模型中进行特征提取处理，得到所述文本特征提取模型输出的文本特征向量，所述特征提取处理用于根据所述待识别的文本的上下文语义生成与所述待识别的文本的上下文语义相对应的文本特征向量；

所述处理模块，还用于将所述文本特征向量输入到文本情感分类模型中进行文本情感分类处理，得到所述文本情感分类模型输出的情感分类结果。

8.根据权利要求7所述的文本情感分类装置，其特征在于，所述获取模块，还用于获取N个第一文本样本，所述N为大于1的整数；

所述装置还包括：训练模块，用于将所述N个第一文本样本依次输入到待训练的文本特征提取模型中进行迭代训练，直至所述文本特征提取模型的模型参数达到最优，得到训练后的文本特征提取模型；

在每次对所述文本特征提取模型进行训练时，所述文本特征提取模型中的分词模块通过分词器将所述第一文本样本分割为多个单词，并对各所述单词进行编码，得到与所述单词对应的至少一个编码向量，对与所述单词对应的至少一个编码向量进行加权求和后得到所述分词模块输出的初始化向量，所述文本特征提取模型中的交互模块对所述初始化向量和所述第一文本样本中的句子进行交互，得到所述初始化向量和所述第一文本样本中的句子交互的文本特征向量。

9.一种电子设备，包括处理器、通信接口、存储器和通信总线，其特征在于，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信，所述存储器，用于存放计算机程序，所述处理器，用于执行所述存储器上所存放的程序，实现如权利要求1-6任意一项所述的文本情感分类方法步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-6任意一项所述的文本情感分类方法步骤。