CN110609897A - 一种融合全局和局部特征的多类别中文文本分类方法 - Google Patents

Abstract

本发明公开了一种融合全局和局部特征的多类别中文文本分类方法，具体过程如下：获取文本数据并进行预处理；把预处理后的文本向量化表示；利用带有注意力机制的双向长短期记忆网络获取文本的上下文语义特征；然后利用宽卷积神经网络在上下文语义特征的基础上提取带有局部语义信息的全局语义特征；把最终的特征向量输入到分类层实现文本分类。本发明以循序渐进的方式先捕获全局语义特征再捕捉局部语义特征，可以更好的提取文本特征，从而进一步提高文本分类的精度。本发明较好的解决了现有技术在长文本、多类别中文文本分类中存在的提取语义关键特征难度大、分类效果差的问题。

Description

一种融合全局和局部特征的多类别中文文本分类方法

技术领域

本发明涉及自然语言处理的文本分类技术领域，具体涉及一种融合全局和局部特征的多类别中文文本分类方法。

技术背景

近年来，文本数据通过互联网的方式快速增长，积累的文本数据越来越多，在这些海量的数据中蕴含着许多有价值的信息，如何高效的挖掘并利用这些信息成了一大难题，自然语言处理的文本分类技术是一种有效的解决方法。它是先使用文本数据训练分类器模型，然后使用训练完成的模型对新的文本实现划分类别的过程，核心是学习一个序列表示。文本分类技术在日常生活中有着广泛的应用，例如，它可用于舆论分析，垃圾短信和邮件的过滤，问题、主题分类，推荐系统，信息检索，数据挖掘，因此是自然语言处理领域的一个重要研究方向。

目前，学习一个序列表示通常是基于机器学习、深度学习的方法。基于机器学习的方法主要采用决策树、KNN、SVM、逻辑回归、朴素贝叶斯分类，例如，Goudjil等人采用SVM 分类器的后验概率来选择样本并进行分类，但是SVM对大规模数据训练比较困难，且无法直接支持多分类任务；Li等人改进的树增强了朴素贝叶斯，有效的提升了准确率，但计算过程复杂、耗时；Joulin等人提出的FastText模型考虑了单词间的顺序关系和分类器的计算速度，模型结构简单且计算速度快，但准确率较低。虽然基于机器学习方法的效果在不断优化，但仍然存在着文本表示高维度、高稀疏、特征表达能力弱、需要人工提取特征、且只能适用小规模数据集的文本分类等问题。

近年来，伴随着深度学习的发展出现了许多基于神经网络的文本分类方法，由于文本是时序型数据，因此学界主要采用循环神经网络捕捉文本信息。Goles等人利用隐藏层的循环递归来改进传统前向神经网络，提出了RNN网络，它以循环递归特性来挖掘数据的序列信息，由于RNN自身的循环递归特性，导致网络结构复杂度高，所以处理数据比较耗时，而且RNN还存在梯度爆炸和梯度消失等问题。Schuster等人提出了RNN的一种变体BiLSTM 网络，该网络不仅可以获取更长的序列信息，而且可以通过双向结构更好地表达上下文信息，改进的BiLSTM网络虽然在一定程度上缓解了梯度爆炸和梯度消失的问题，但是使得计算量进一步剧增。Kim等人将卷积神经网络(CNN)运用到文本分类任务中[21]，CNN具有稀疏连接和参数共享的特点，从而显著的改善了时间花销问题，但是由于卷积核的固定而无法获取长序列信息。针对这一现象Kalchbrenner等人[22]利用宽卷积代替窄卷积，并采用K-maxpooling的方式较好的解决了输入序列长度受限的问题。CNN虽然可以高效挖掘文本数据的局部语义特征，且训练速度非常快，但它无法获取上下文信息。在不同任务研究中，CNN、RNN以自身网络结构特点展现出了各自的优势与不足。

因此，需要对现有技术进行改进，以提高文本分类的准确度，使其适用于多种类型的文本分类任务。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种融合全局和局部特征的多类别中文文本分类方法，尽可能的避免文本特征信息的丢失，实现高容错的效果，使其适用于多种类型的文本分类任务，尤其是多分类的长文本分类场景。

本发明的目的可以通过采取如下技术方案达到：

一种融合全局和局部特征的多类别中文文本分类方法，所述的文本分类方法包括以下步骤：

S1、获取文本数据，并对数据进行预处理；

S2、把预处理后的文本数据映射为词向量；

S3、搭建混合神经网络文本分类模型；

S4、建立目标函数，采用随机梯度下降法训练S3中的文本分类模型。

进一步地，步骤S1中所述的预处理过程如下：

S2.1：对文本数据进行数据清洗预处理，包括删除原始数据集中的无关数据、重复数据以及处理异常值和缺失值数据，初步筛选掉与分类无关的信息；

S2.2：对文本数据进行类别标签标注；

S2.3：对标注完成的文本数据进行分词、去停用词、TextRank预处理操作，进一步清除无关数据，其中，TextRank算法主要是针对长文本数据，该算法不需要事先对文本进行训练就可以实现关键信息的提取。

进一步地，S2中所述的把预处理后的文本数据映射为词向量过程如下：

使用自然语言技术处理文本分类的前提条件是，把文本数据转化为计算机能够识别和处理的向量化形式，在本发明中通过词嵌入矩阵的映射，把按批次读入带有标签的文本数据映射为一个三维词向量矩阵M，词嵌入矩阵可以由Word2Vec或者NNLM方法得到，此时，一个包含n个字的文本D_j＝{x₁,x₂,…,x_n}可以向量化表示成如下形式：

e＝(e₁,e₂,...,e_i,...,e_n)

其中，e∈R^n×d，表示词嵌入矩阵，v_w表示字典大小，d表示词向量维度，每个字在词嵌入矩阵E_w中都有一个唯一的用于检索其对应词向量的索引它是一个维度为字典大小值为0或1的二值向量，除了x_i位置外的所有位置都是零，这些词向量表示保持了语料最原始的信息，对接下来的步骤影响重大。

进一步地，S3中所述的搭建混合神经网络文本分类模型过程如下：

本发明设计的文本分类模型包括上下文语义提取器模块、局部语义提取器模块、文本分类输出模块三个部分组成。

所述上下文语义提取器用于提取文本数据的上下文语义特征，具体为：

递归神经网络RNN擅长解决时间序列问题，但它不能很好的处理长时记忆的问题且存在梯度消失和梯度爆炸的现象，长短时记忆网络LSTM可以很好的解决上述问题。

使用LSTM提取全局语义特征，在时间步t时的隐藏层状态h_t更新如下：

i_t＝σ(W_eie_t+W_hih_t-1+b_i)

f_t＝σ(W_efe_t+W_hfh_t-1+b_f)

g_t＝tanh(W_ece_t+W_hfh_t-1+b_c)

c_t＝i_tg_t+f_tc_t-1

o_t＝σ(W_eoe_t+W_hoh_t-1+b_c)

h_t＝o_ttanh(c_t)

LSTM作为RNN的一种经典变体，它通过门结构调节信息，并通过存储单元存储历史信息，它主要由4个部分组成:输入门i_t、遗忘门f_t、输出门o_t、候选门g_t，其中W_ei、W_hi、 W_ef、W_hf、W_eo、W_ho、W_ec、W_hf分别表示权重，b_i、b_f、b_o、b_c分别表示偏置值，σ和tanh 表示激活函数，所有的这些门都将对下一时刻数据产生一定的影响。使用当前的词向量e_i和前一时刻的隐藏状态h_t-1作为输入，单元结构决定当前的状态是否使用这些输入，是否要遗忘之前存储的部分记忆,并输出新生成的状态，因此，当前单元状态c_t是通过计算前一时刻单元状态c_t-1的权重和该单元当前所生成的信息共同决定。

标准的LSTM网络在对文本进行建模的时，只是考虑到了时序信息而忽略了下文信息， Bi-LSTM网络通过正向和反向两层网络结构来扩展单向的LSTM网络,保证了在时间序列上对过去和未来的信息都能考虑到，这样就可以充分获取文本的全局语义特征。如图2所示，C_b0、C_f0分别表示正向和反向的初始单元状态信息，C_bn和C_fn存储着正向和反向最终的单元状态信息。

将词向量输入到正向Bi-LSTM网络中，得到前向隐藏层特征同理，将词向量输入到反向Bi-LSTM网络，可得到后向隐藏层特征Bi-LSTM网络在第i个时刻的上下文词嵌入表示h_i是正向输出和反向输出的级连，拼接每个时间步的语义状态得到全局语义特征H：

H＝(h₁,h₂,...,h_i...,h_n)

其中， 表示拼接操作，H∈R^batch×n×2d,batch为每一批次读入的文本数据条数，n表示时间步长，它等于文本最大序列长度，d表示特征向量的维度。

注意力机制是一种资源分配制度，它通过模拟人脑注意力的特点，对重要的信息给予较多的注意，在自然语言处理中引入注意力机制，可以突出输入各部分对输出的影响程度。本发明在Bi-LSTM模块之后引入注意力机制，生成含有注意力概率分布a的加权全局语义特征V，由此突出全局语义特征中不同特征对文本分类的影响。

a＝[a₁,a₂,...,a_i,...,a_r*n]

其中，a∈R^{batch×r*n×2d}，m＝W_a2σ(W_a1H+b_a)，r表示每个文本的Attention方案数量，W_a1∈R^d×n是全局注意力权重矩阵，b_a为全局注意力偏置矩阵，σ为激活函数，w_a2∈R^r*n×d表示每个文本不同的注意力方案矩阵，a_i是第i时刻的全局语义特征注意力概率分布，m值越大说明了该时刻的全局语义特征越重要。

得到每一时刻的注意力概率分布a_i后，将它们分别和该时刻对应的全局语义特征h_i相乘，就可以得到第i时刻的加权全局语义特征V_i，拼接每个时刻的加权全局语义特征，得到加权全局语义特征V：

V＝[V₁,V₂,...,V_i,...,V_r*n]

其中，V_i＝a_ih_i，V∈R^{batch×r*n×2d}。

所述局部语义提取器用于在加权全局语义特征的基础上提取文本数据的局部语义特征，具体为：

把加权全局语义特征V作为宽卷积神经网络CNN的输入，CNN对加权全局语义特征进行卷积操作，每一次卷积都通过一个固定大小的窗口来产生一个新的特征经过卷积后得到第j个文本包含局部和全局语义特征的C_j：

其中，C_j∈R^{(r*n-h+1)×2d}，W_vi∈R^2d×h表示卷积操作所采用的卷积核向量，h和2d分别表示卷积核窗口的高和宽，V_i:h表示输入加权全局语义特征的第i行到第h行的特征值，对应文本的第i个到第h个字，b_vi表示偏置。

接着采用最大池化方法，得到每个文本的最终特征表示获取所有后，就得到该批次文本数据最终的文本特征向量表示C：

其中，C∈R^batch×2d，

所述文本分类输出模块用于实现文本数据的预测输出，具体为：

得到最终的特征向量表示后，最后的工作就是将得到的文本特征向量通过Softmax分类器来判断该文本属于哪一类。

把最终得到的特征向量C作为分类层的输入，分类层采用dropout方式将最佳特征C_d连接到Softmax分类器中，并计算输出向量p(y)：

p(y)＝soft max(W_cC_d+b_c)

其中，p(y)∈R^{batch×classes}，W_c∈R^2u×classes和b_c分别表示Softmax分类器的权重参数和偏置项，classes表示文本的类别数，C_d∈R^batch×2u为C通过dropout产生的最佳特征。

Softmax分类器用于计算出文本数据属于每一类别的概率p(y)，它是一个维度为类别数量大小的向量，其每一维都是一个0～1范围内的数字，代表该文本属于各类别的概率，然后选择最大概率y对应的类型作为文本分类的预测输出：

y＝arg max(p(y))

通过分类器层之后，整个模型就实现对文本数据的分类任务。

进一步地，S4中所述的建立目标函数训练搭建完成的文本分类模型过程如下：

在模型训练过程中，为了衡量预测结果与文本真实类别之间的相似度，采用最小化优化方法，把预测结果与文本真实类别之间的交叉熵J(θ)作为模型训练的目标函数，然后使用随机梯度下降法训练文本分类模型。

其中，θ为混合神经网络文本分类模型当前参数，N为训练样本大小，L为样本对应的真实类别标签，L_j∈L，y为Softmax分类器的预测分类结果，p(L_j)表示正确分类结果，交叉熵可以通过p(L_j)来表达y的困难程度，交叉熵越小，p(L_j)和y就越接近。对交叉熵再取均值同时引入L₂正则化作为该模型的最终目标函数，λ是L₂正则项系数。

在训练模型时采用Adam方法来最小化目标函数J(θ)，它主要利用梯度的一阶矩估计和二阶矩估计动态调整模型的每个参数，经过Adam的偏置校正后，每一次的迭代学习都会有一个确定范围，使得参数变化较为平稳。

本发明相对于现有技术具有如下的优点及效果：

1)本发明提出先获取文本数据的加权全局语义特征信息，再基于加权全局语义特征的基础上获取局部语义特征信息，从而得到最终的文本特征表示。模型汲取了Bi-LSTM、Attention机制、CNN各自的优势。首先利用Bi-LSTM提取文本的全局语义特征，并在此过程中引入Attention机制计算每一时刻全局语义特征的重要程度；然后利用CNN神经网络提取局部语义特征，进一步挖掘文本的特征信息；最后结合全局和局部语义特征完成中文文本分类任务。采取这样的方法能有效避免文本特征信息的丢失，达到高容错的效果。

2)针对长文本数据，为了尽可能的减少无关数据对分类的影响，在预处理时使用TextRank算法。

3)在计算加权全局语义特征信息时，为了实现attention的多样性,使用r种attention 方案代替传统的单attention方案，不同的attention方案可以学习到不同侧重点的句子表示，从而能够提取到更有价值的特征信息，提高分类准确率。

4)模型在最大限度的获取词向量语义特征信息的同时，缓解了传统文本分类方法只能进行简单线性分类，而不能很好解决非连续性和长期依赖问题。此外,本发明提出的方法很好的解决了在文本分类时简短语料信息量少的问题。

5)模型不仅适用于短文本、少类别的分类，而且可以很好的处理长文本、多类别分类任务，可应用于舆论分析，垃圾短信和邮件的过滤，问题、主题分类，推荐系统，信息检索，数据挖掘应用中。

6)本发明与目前其它文本分类方法相比可以取得更优的效果。说明本发明提出的一种融合全局和局部特征的多类别中文文本分类方法，使用该方法可以得到更好的序列表示。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1示出了本发明的文本分类方法流程图；

图2示出了本发明的混合神经网络文本分类模型示意图；

图3示出了本发明的文本向量化过程示意图；

图4示出了本发明在短文本三分类情感分析任务中语料的句子长度分布；

图5示出了本发明在短文本三分类情感分析任务中语料关键信息词云图；

图6示出了本发明在短文本三分类情感分析任务中模型训练过程准确度变化示意图；

图7示出了本发明在短文本三分类情感分析任务中模型训练过程误差变化示意图；

图8示出了本发明在长文本多分类任务中语料的句子长度分布；

图9示出了本发明在长文本多分类任务中模型训练过程准确度变化示意图；

图10示出了本发明在长文本多分类任务中模型训练过程误差变化示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明了，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域其他人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明可应用于互联网上的文本分类任务，例如电商网站的舆论分析和新闻网站的文本分类场景中。根据本发明的一个实施例，提供了一种融合全局和局部特征的多类别中文文本分类方法，简言之，该方法包括，先将文本数据进行预处理并向量化表示；利用向量化表示的数据训练本发明提出的文本分类模型；使用训练完成的模型进行文本分类预测，具体流程如图1所示，该方法包括以下步骤：

步骤S1、获取文本数据，并对数据进行预处理。

本次实验使用的语料数据是利用爬虫技术爬取国内某大型电商平台上关于**感冒药销售的评数据，利用本发明提出的文本分类方法，挖掘消费者在使用该药物的一些隐含信息，模型可以分析出该药物从销售到消费者服用各环节中存在的一些问题，从而能够间接地指导工作人员进行后续的改进工作。本次实验语料基本信息如表1所示，图4展示了本次实验语料的句子长度分布情况，图5展示了所使用语料的一些关键信息词云图。

表1短文本三分类情感分析任务中使用的语料信息

对**感冒药评论数据进行数据清洗预处理，包括删除原始数据集中的无关数据、重复数据以及处理异常值和缺失值数据，例如HTML网页标签、标点符号、特殊表情符号，初步筛选掉与分类无关的信息。

把**感冒药评论数标注为好评、中评、差评三类。

对标注完成的评论数据使用jieba进行分词和去停用词，此过程使用的部分医学专有名词和停用词分别如表2和表3所示。

表2分词过程使用的部医学专业名词

针对长文本数据使用TextRank算法进一步清除无关数据，该算法不需要事先对文本进行训练就可以实现关键信息的提取。

把预处理完成的文本数据分为训练集、测试集和验证集三部分。

步骤S2、把预处理后的文本数据映射为词向量。

评论数据向量化过程如图3所示。

通过词嵌入矩阵的映射，把按批次读入带有标签的文本数据映射为一个三维词向量矩阵，该三维词向量矩阵包含两部分内容：评论内容D和标签内容L，词嵌入矩阵可以由Word2Vec 或者NNLM方法得到。

表3分词过程使用的部分停用词

步骤S3、搭建混合神经网络文本分类模型。

本发明设计的文本分类模型包括上下文语义提取器模块、局部语义提取器模块、文本分类输出模块三个部分组成，进一步可细分为七个层次：(1)输入层；(2)预处理层；(3)词嵌入层；(4)Bi-LSTM层，它通过正向LSTM网络和反向LSTM网络来提取文本数据的全局语义特征；(5)attention机制层，生成含有注意力概率分布的加权全局语义特征；(6)CNN 层，在加权全局语义特征的基础上进行局部语义特征提取，得到最终的特征表示；(7)输出层。图2示出了本发明提出的文本分类模型结构示意图，模型使用的部分参数如表4所示。

表4短文本三分类情感分析任务中搭建模型使用的部分参数

步骤S4、建立目标函数，采用随机梯度下降法训练设计完成的的文本分类模型。

为了方便评估本文提出的模型，采用了文本分类常用评价指标：准确率、召回率和F1 值作为综合评价指标。

模型整个训练过程的准确度和损失值变化如图6和图7所示。当循环达到2000次左右时，准确度逐渐趋于稳定，维持在99.00％左右，损失值最终维持在0.01左右。为了比较本发明提出的TBLC-rAttention模型性能，本次实验选取了CNN、LSTM、Bi-LSTM、BiLSTM-Attention、RCNN 5种分类模型作为比较基准，复现的5种分类模型和TBLC-rAttention模型的比较结果如表5所示，所有的数据是在训练准确度和测试准确度都不再变化，再循环1000次后得到的结果。

在表5中，通过LSTM和Bi-LSTM的实验结果可以发现，虽然Bi-LSTM花费的时间比LSTM多，但是准确度提高了约3％，这是由于Bi-LSTM网络通过正向和反向两层网络结构来扩展单向的LSTM网络的结果,这样的网络结构可以充分提取文本的上下文信息，因此准确度会得到改善，但是空间复杂度是LSTM的2倍，所以花费的时间比LSTM略长；在Bi- LSTM模型中引入Attention机制准确度提高了4％左右，说明Attention机制的确可以有效的识别出对分类有效的特征信息；只使用CNN网络进行文本分类时，虽然准确率不是最好的但大大的节省了训练时间；RCNN汲取了RNN和CNN各自的优势，分类效果比单独使用 RNN或者CNN的效果都好，与BiLSTM+Attention效果接近；本发明提出的TBLC-rAttention 文本分类模型在RCNN的基础上引入rAttention机制，并在预处理过程中使用了TextRank 算法，使得模型的分类准确率达到了99％，在本次实验的所有模型中分类准确度最高。

表5短文本三分类情感分析任务中各模型总体表现对比结果

步骤S5、使用验证集文本数据，验证训练完成的文本分类模型。

表6展示了TBLC-rAttention模型的验证效果，模型基本上以100％的准确率实现了评论数据分类，值得一提的是当消费者没有进行评论，电商系统会默认为好评，但模型将这类数据视为中评，这更符合我们的期望。

表6短文本三分类情感分析任务中TBLC-rAttention模型验证结果

实施例2

本发明提出的模型也适用于长文本多类别中文文本分类任务，长文本数据采用清华大学自然语言处理实验室推出的THUCT中文文本数据集，该数据集文本数量大、类别多，包含财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐共计14类，数据集划分基本信息如表7所示，图8展示了本次实验语料的句子长度分布情况。复现的5种分类模型和TBLC-rAttention模型的比较结果如表8和表9所示，其中，表8示出了在长文本多分类任务中各模型总体对比结果；表9示出了在长文本多分类任务中各模型在每一小类上的准确率对比结果，所有的数据是在训练准确度和测试准确度都不再变化，再循环1000次后得到的结果。模型整个训练过程的准确度和损失值变化如图9和图 10所示。当循环达到3000次左右时，准确度逐渐趋于稳定维持在94.00％左右，损失值最终维持在0.06左右。此外，在具体的每一类识别效果中TBLC-rAttention的表现也是最好的。

表7长文本多分类任务中使用的语料信息

表8长文本多分类任务中各模型总体表现对比结果

表9长文本多分类任务中各模型在每一小类上的准确率对比结果

综上所述，本发明提出的模型实现了先提取文本数据的加权全局语义特征，再基于加权全局语义特征的基础上获取局部语义特征得到最终的文本特征表示，同时用训练好的模型可以很好的完成文本多分类任务，且比现有的文本分类方法表现的更出色。它不仅适用于短文本、少类别的分类，而且可以很好的处理长文本、多类别的分类任务。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种融合全局和局部特征的多类别中文文本分类方法，包括以下步骤：

S1、获取文本数据，并对数据进行预处理；

S2、把预处理后的文本数据映射为词向量；

其特征在于还包括以下步骤：

S3、搭建混合神经网络文本分类模型，模型包括上下文语义提取器模块、局部语义提取器模块、文本分类输出模块三个部分。

所述上下文语义提取器包括正向Bi-LSTM网络、反向Bi-LSTM网络以及引入的注意力机制，用于提取文本数据的上下文语义特征V，具体为：

将词向量输入到正向Bi-LSTM网络中，得到前向语义特征同理，将词向量输入到反向Bi-LSTM网络，可得到反向语义特征Bi-LSTM网络在第i个时刻的上下文词嵌入表示h_i是正向和反向的级连，拼接每个时间步的语义状态得到全局语义特征H：

H＝(h₁,h₂,...,h_i...,h_n)

其中， 表示拼接操作，H∈R^batch×n×2d,batch为每一批次读入的文本数据条数，n表示时间步长，它等于文本最大序列长度，d表示特征向量的维度。

在Bi-LSTM模块之后引入注意力机制，生成含有注意力概率分布a的加权全局语义特征V，用于突出全局语义特征中不同特征对文本分类的影响，a的具体表述方式如下：

a＝[a₁,a₂,...,a_i,...,a_r*n]

其中，a∈R^{batch×r*n×2d}，m＝W_a2σ(W_a1H+b_a)，r表示每个文本的attention方案数量，W_a1∈R^d×n是全局注意力权重矩阵，b_a为全局注意力偏置矩阵，σ为激活函数，w_a2∈R^r*n×d表示每个文本不同的注意力方案矩阵，a_i是第i时刻的全局语义特征注意力概率分布，m值越大说明了该时刻的全局语义特征越重要；

得到每一时刻的注意力概率分布a_i后，将它们分别和该时刻对应的全局语义特征h_i相乘，就可以得到第i时刻的加权全局语义特征V_i，拼接每个时刻的加权全局语义特征，得到加权全局语义特征V：

V＝[V₁,V₂,...,V_i,...,V_r*n]

其中，V_i＝a_ih_i，V∈R^{batch×r*n×2d}。

所述局部语义提取器采用宽卷积神经网络CNN，用于在加权全局语义特征的基础上提取文本数据的局部语义特征，具体为：

把加权全局语义特征V作为宽卷积神经网络CNN的输入，CNN对加权全局语义特征进行卷积操作，每一次卷积都通过一个固定大小的窗口来产生一个新的特征经过卷积后得到第j个文本包含局部和全局语义特征的C_j：

其中，C_j∈R^{(r*n-h+1)×2d}，W_vi∈R^2d×h表示卷积操作所采用的卷积核向量，h和2d分别表示卷积核窗口的高和宽，V_i:h表示输入加权全局语义特征的第i行到第h行的特征值，对应文本的第i个到第h个字，b_vi表示偏置。

接着采用最大池化方法，得到每个文本的最终特征表示获取所有后，就得到该批次文本数据最终的文本特征向量表示C：

其中，C∈R^batch×2d，

所述文本分类输出模块用于实现待分类文本数据的类型预测，具体为：

把最终得到的特征向量C作为分类层的输入，分类层采用dropout方式将最佳特征C_d连接到Softmax分类器中，并计算输出向量p(y)：

p(y)＝soft max(C_dW_c+b_c)

其中，p(y)∈R^{batch×classes}，W_c∈R^2u×classes和b_c分别表示Softmax分类器的权重参数和偏置项，classes表示文本的类别数，C_d∈R^batch×2u为C通过dropout产生的最佳特征。

Softmax分类器用于计算出文本数据属于每一类别的概率p(y)，它是一个维度为类别数量大小的向量，其每一维都是一个0～1范围内的数字，代表该文本属于各类别的概率，然后选择最大概率y对应的类型作为文本分类的预测输出；

S4、采用最小化优化方法，把预测结果与训练文本真实类别之间的交叉熵作为模型训练的目标函数，并使用随机梯度下降法训练文本分类模型；

S5、将经过步骤S1、S2处理后的待分类文本数据输入训练完成的混合神经网络文本分类模型进行中文文本分类预测，输出待分类文本的类型。

2.根据权利要求1所述的一种融合全局和局部特征的多类别中文文本分类方法，其特征在于，步骤S1中所述的预处理过程如下：

S2.1：对文本数据进行数据清洗预处理，初步去除无关数据；

S2.2：对文本数据进行类别标签标注；

S2.3：对标注完成的文本数据进行分词、去停用词、TextRank预处理操作，进一步清除无关数据。

3.根据权利要求1所述的一种融合全局和局部特征的多类别中文文本分类方法，其特征在于，步骤S2中所述的把预处理后的文本数据映射为词向量过程如下：

通过词嵌入矩阵的映射，把按批次读入带有标签的文本数据映射为一个三维词向量矩阵M，其中，所述的词嵌入矩阵可以由Word2Vec或者NNLM方法得到，具体的一个包含n个字的文本D_j＝{x₁,x₂,…,x_n}的词向量表示如下：

e＝(e₁,e₂,...,e_i,...,e_n)

其中，e∈R^n×d，表示词嵌入矩阵，v_w表示字典大小，d表示词向量维度，每个字在词嵌入矩阵E_w中都有一个唯一的用于检索其对应词向量的索引它是一个维度为字典大小值为0或1的二值向量，除了x_i位置外的所有位置都是零。

4.根据权利要求1所述的一种融合全局和局部特征的多类别中文文本分类方法，其特征在于，步骤S4中所述的训练文本包括文本数据、文本类型标签。