CN110750640A - 基于神经网络模型的文本数据分类方法、装置及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，公开了一种基于神经网络模型的文本分类方法，包括：收集文本数据，对所述文本数据进行预处理操作，得到预处理后的文本数据；将所述预处理后的文本数据转换为文本向量；利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，得到初始文本特征；根据上述得到的初始文本特征，利用随机梯度下降算法与fine‑turing方法训练所述BP神经网络分类模型，直到得到最佳的文本特征；根据所述最佳的文本特征，利用分类器对所述文本数据进行分类，输出所述文本数据的分类结果。本发明还提出一种基于神经网络模型的文本分类装置以及一种计算机可读存储介质。本发明能够实现文本数据的精确分类。

Description

基于神经网络模型的文本数据分类方法、装置及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于神经网络模型的文本数据分类方法、装置及计算机可读存储介质。

背景技术

随着网络技术的快速发展，对于电子文本信息进行有效地组织和管理，并能快速、准确且全面地从中找到相关信息的要求越来越高。文本分类作为处理和组织大量文本数据的关键技术，在较大程度上解决了信息杂乱的问题，方便用户准确地获取所需的信息，是信息过滤、信息检索、搜索引擎及文本数据库等领域的技术基础。

现有技术主要是基于文本中的词频特征构建文本分类模型，进而基于构建的文本分类模型对待分类文本进行文本分类。但是，因文本中的词频并不能有效体现文本的类别，所以现有技术通常存在文本分类不准确的问题。

发明内容

本发明提供一种基于神经网络模型的文本分类方法、装置及计算机可读存储介质，其主要目的在于提供一种精确的文本数据的分类方案。

为实现上述目的，本发明提供的一种基于神经网络模型的文本分类方法，包括：

收集文本数据，对所述文本数据进行预处理操作，得到预处理后的文本数据；

将所述预处理后的文本数据转换为文本向量；

利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，得到初始文本特征；

根据上述得到的初始文本特征，利用随机梯度下降算法与fine-turing方法训练所述BP神经网络分类模型，直到得到最佳的文本特征；

根据所述最佳的文本特征，利用分类器对所述文本数据进行分类，输出所述文本数据的分类结果。

可选地，所述对所述文本数据进行预处理操作包括：

对所述文本数据与预先构建的词典中的词条根据预先规定的策略进行匹配，得到所述文本数据中的词语；

利用已经构建好的停用词表和所述文本数据中的词语进行匹配，如果匹配成功，则判断该词语是停用词，将该词语删除；

构建依存关系图计算词语之间的关联强度，利用TextRank算法迭代算出词语的重要度得分，将每个词语表示成数值向量形式；

计算所述文本数据中每两个之间的欧式距离，当所述欧氏距离小于预设阈值时，删除的两个文本数据中的其中一个。

可选地，所述将所述预处理后的文本数据转换为文本向量包括：

利用变焦神经网络的文本层次化编码器，对所述预处理后的文本数据进行编码处理，得到经过编码处理的文本向量，其中，所述文本层次化编码器包括文字嵌入层和两个bi-LSTM层，所述文字嵌入层将所述词语由word2vec初始化，得到词语向量，第一个bi-LSTM层接收词语向量作为输入并生成句子向量，第二个bi-LSTM层接收句子向量作为输入并生成段落向量，得到包括词语向量、句子向量以及段落向量的所述文本向量。

可选地，所述利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，从而得到文本特征，包括：

构建3层BP神经网络，其中，每层BP神经网络的输入层n个单元对应n个特征参数，输出层m个单元对应m种模式分类，取中间隐藏层单元数为q，用

表示输入层单元i与隐层单元q之间的连接权，用

表示隐层单元q与输出层单元j之间的连接权，θ_q为隐藏层各单元的阈值，则隐藏层第q单元的输出O_q为：

输出层第j单元的输出y_i为：

在上式中，δ_j为输出层各单元的阈值，j＝1,2,…,m；

根据复合函数求偏导数的链式法则，求得文本特征X_i的灵敏度δ_ij和文本特征X_k的灵敏度δ_kj之差:

其中

此时，若则δ_ij>δ_kj，即文本特征X_i对第j类模式的分类能力比文本特征X_k的强，并据此选择文本特征。

可选地，所述分类器为随机森林分类器；及

所述利用分类器对文本数据进行分类包括：

使用交叉认证的方式对所述文本数据进行划分，其中，所述交叉认证是把原始文本数据按照页数的不同，分成k个子文本数据，在每次训练时，使用其中一个子文本数据进行作为测试集，其余子文本数据作为训练集，并进行k次轮换；

将上述得到的子文本特征作为决策树的子节点，构建多个决策树；

汇集所有决策树的文本分类结果进行累加求和，得到票数最高的结果为最终的文本分类结果。

此外，为实现上述目的，本发明还提供一种基于神经网络模型的文本分类装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的基于神经网络模型的文本分类程序，所述基于神经网络模型的文本分类程序被所述处理器执行时实现如下步骤：

收集文本数据，对所述文本数据进行预处理操作，得到预处理后的文本数据；

将所述预处理后的文本数据转换为文本向量；

利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，得到初始文本特征；

根据上述得到的初始文本特征，利用随机梯度下降算法与fine-turing方法训练所述BP神经网络分类模型，直到得到最佳的文本特征；

根据所述最佳的文本特征，利用分类器对所述文本数据进行分类，输出所述文本数据的分类结果。

可选地，所述对所述文本数据进行预处理操作包括：

对所述文本数据与预先构建的词典中的词条根据预先规定的策略进行匹配，得到所述文本数据中的词语；

利用已经构建好的停用词表和所述文本数据中的词语进行匹配，如果匹配成功，则判断该词语是停用词，将该词语删除；

构建依存关系图计算词语之间的关联强度，利用TextRank算法迭代算出词语的重要度得分，将每个词语表示成数值向量形式；

计算所述文本数据中每两个之间的欧式距离，当所述欧氏距离小于预设阈值时，删除的两个文本数据中的其中一个。

可选地，所述将所述预处理后的文本数据转换为文本向量包括：

利用变焦神经网络的文本层次化编码器，对所述预处理后的文本数据进行编码处理，得到经过编码处理的文本向量，其中，所述文本层次化编码器包括文字嵌入层和两个bi-LSTM层，所述文字嵌入层将所述词语由word2vec初始化，得到词语向量，第一个bi-LSTM层接收词语向量作为输入并生成句子向量，第二个bi-LSTM层接收句子向量作为输入并生成段落向量，得到包括词语向量、句子向量以及段落向量的所述文本向量。

可选地，所述利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，从而得到文本特征，包括：

构建3层BP神经网络，其中，每层BP神经网络的输入层n个单元对应n个特征参数，输出层m个单元对应m种模式分类，取中间隐藏层单元数为q，用

表示输入层单元i与隐层单元q之间的连接权，用

表示隐层单元q与输出层单元j之间的连接权，θ_q为隐藏层各单元的阈值，则隐藏层第q单元的输出O_q为：

输出层第j单元的输出y_i为：

在上式中，δ_j为输出层各单元的阈值，j＝1,2,…,m；

根据复合函数求偏导数的链式法则，求得文本特征X_i的灵敏度δ_ij和文本特征X_k的灵敏度δ_kj之差:

其中

此时，若

则δ_ij>δ_kj，即文本特征X_i对第j类模式的分类能力比文本特征X_k的强，并据此选择文本特征。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于神经网络模型的文本分类程序，所述基于神经网络模型的文本分类程序可被一个或者多个处理器执行，以实现如上所述的基于神经网络模型的文本分类方法的步骤。

本发明提出的基于神经网络模型的文本分类方法、装置及计算机可读存储介质利用基于决策树优化的BP神经网络分类模型对文本数据进行特征选择，得到初始文本特征，并利用随机梯度下降算法与fine-turing方法训练所述BP神经网络分类模型，以得到最佳的文本特征，并根据所述最佳的文本特征利用分类器对所述文本数据进行分类。本发明通过训练BP神经网络分类模型，得到所述文本数据中最有代表性的文本特征，根据该文本特征进行文本分类能够改善传统文本分类方法分类精度低等缺点，因此，本发明能够实现快速、准确的文本分类。

附图说明

图1为本发明一实施例提供的基于神经网络模型的文本分类方法的流程示意图；

图2为本发明一实施例提供的基于神经网络模型的文本分类装置的内部结构示意图；

图3为本发明一实施例提供的基于神经网络模型的文本分类装置中基于神经网络模型的文本分类程序的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，所述“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

进一步地，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提供一种基于神经网络模型的文本分类方法。参照图1所示，为本发明一实施例提供的基于神经网络模型的文本分类方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，基于神经网络模型的文本分类方法包括：

S1、收集文本数据，并对所述文本数据进行预处理操作，得到预处理后的文本数据，并将所述预处理后的文本数据转换为文本向量。

本发明较佳实施例可以从网络中，例如新闻网站、购物网站、论文数据库或者各种论坛中收集所述文本数据。

所述文本数据是非结构化或半结构化的数据，不能被分类算法直接识别，因此，本发明较佳实施例对所述文本数据进行预处理操作的目的是将所述文本数据转化为向量空间模型：d_i＝(w₁,w₂,…,w_n)，其中，w_j为第j个特征项的权重。

本发明实施例对所述文本数据执行包括分词、去停用词、特征权重计算、去重等的预处理操作。

本发明实施例所述分词方法包括对所述文本数据与预先构建的词典中的词条根据预先规定的策略进行匹配，得到所述文本数据中的词语。

在本发明实施例中，所选取的去停用词的方法为停用词表过滤，即通过已经构建好的停用词表和文本数据中的词语进行匹配，如果匹配成功，那么这个词语就是停用词，需要将该词删除。

在经过分词、去停用词后，所述文本数据由一系列的特征词(关键词)表示，但是这种文本形式的数据并不能直接被分类算法所处理，而应该转化为数值形式，因此需要对这些特征词进行权重计算，用来表征该特征词在文本中的重要性。

本发明实施例使用TF-IDF算法进行特征词计算。所述TF-IDF算法是利用统计信息、词向量信息以及词语间的依存句法信息，通过构建依存关系图来计算词语之间的关联强度，利用TextRank算法迭代算出词语的重要度得分。

详细地，本发明在进行特征词的权重计算时，首先计算任意两词W_i和W_j的依存关联度：

其中len(W_i,W_j)表示词语W_i和W_j之间的依存路径长度，b是超参数。

本发明认为2个词之间的语义相似度无法准确衡量词语的重要程度，只有当2个词中至少有一个在文本中出现的频率很高，才能证明2个词很重要。根据万有引力的概念，将词频看作质量，将2个词的词向量间的欧氏距离视为距离，根据万有引力公式来计算2个词之间的引力。然而在当前文本环境中，仅利用词频来衡量文本中某个词的重要程度太过片面，因此本发明引入了IDF值，将词频替换为TF-IDF值，从而考虑到更全局性的信息。于是得到了新的词引力值公式。文本词语W_i和的W_j的引力为：

其中，tfidf(W)是词W的TF-IDF值，d是词W_i和W_j的词向量之间的欧式距离。

因此，词语W_i和的W_j之间的关联度为：

weight(W_i，W_j)＝Dep(W_i，W_j)*f_grav(W_i，W_j)

最后，本发明利用TextRank算法建立一个无向图G＝(V,E)，其中V是顶点的集合，E是边的集合，根据下列式子算出词语W_i的得分，：

其中

是与顶点W_i有关的集合，η为阻尼系数，由此得到特征权重WS(W_i)，并因此将每个词语表示成数值向量形式。

进一步地，由于所收集的文本数据来源错综复杂，其中可能会存在很多重复的文本数据。大量的重复数据会影响分类精度，因此，在本发明实施例中，在对文本进行分类前首先利用欧式距离方法对文本进行去重操作，其公式如下：

式中w_1j和w_2j分别为2个文本数据。在分别计算每两个文本数据的欧式距离后，欧式距离越小，说明文本数据越相似，则删除欧氏距离小于预设阈值的两个文本数据中的其中一个。

进一步地，本发明优选实施例还包括利用变焦神经网络的文本层次化编码器，对所述预处理后的文本数据进行编码处理，得到经过编码处理的文本向量。

在本发明实施例中，所述文本层次化编码器有三层，分别为文字嵌入层和两个bi-LSTM层，其中，所述文字嵌入层将所述词语由word2vec初始化，得到词语向量，并利用第一个bi-LSTM层接收词语向量作为输入并生成句子向量，第二个bi-LSTM层接收句子向量作为输入并生成段落向量。

详细地，所述第一个bi-LSTM层将每一个词语作为输入后，在每个时间不长输出一个隐藏状态向量，接下来使用最大池化操作获得一个固定长度的句子向量，并将所有的句子向量作为层次记忆的句子分量，所使用公式为：

式中，表示输入的词语，

表示通过最大池化操作获得的一个固定长度的句子向量，其长度和j有关，R_s表示层次记忆的句子向量。

接下来本发明使用类似的方式，使用第二个bi-LSTM层和最大池化操作将句子分量转换为段落向量。

通过层次化编码，本发明赋予每一级每一个语言单元一个向量表示(hierarchical distributed memory)，并保留其句段划分的分界信息，据此得到包括词语向量、句子向量以及段落向量的文本向量。

S2、利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，从而得到文本特征。

由于在很多情况下，文本数据中的特征数量会远远超过训练数据的数量，为简化模型的训练，本发明使用基于BP神经网络的方法进行特征选择，并以特征X对状态Y变化的灵敏度δ作为评价文本特征的度量，即：

所述BP神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传递，误差反向传播，在前向传递中，输入信号从输入层经过隐藏层逐层处理，直至输出层。每一层的神经元状态只影响下一层神经元状态。如果输出层得不到期望输出，则转入反向传播，根据预测误差调整网络权值和阈值，从而使网络预测输出不断逼近期望输出。

本发明所述BP神经网络包括如下结构：

输入层：是整个神经网络唯一数据输入入口，输入层的神经元节点数目和文本的数值向量维数相同，每一个神经元的值对应数值向量的每个项的值；

隐藏层：是对主要用来对输入层输入的数据进行非线性化处理，以激励函数为基础对输入的数据进行非线性拟合可以有效保证模型的预测能力；

输出层：在隐藏层之后，是整个模型的唯一输出。输出层的神经元节点数目和文本的类别数目相同。

由于BP神经网络的结构对分类结果具有很大影响，如果设计不好将出现收敛速度慢、训练速度低、分类精度低等缺点，因此本发明使用决策树来对BP神经网络进行优化。在本发明实施例中，取决策树最长的规则链长度作为BP神经网络的隐藏层节点数目来对神经网络的结构进行优化，即将决策树的深度作为BP神经网络的隐藏层节点数目。

本发明较佳实施例构建3层BP神经网络，其中，输入层n个单元对应n个特征参数，输出层m个单元对应m种模式分类，取中间隐藏层单元数为q，用

表示输入层单元i与隐层单元q之间的连接权，用

表示隐层单元q与输出层单元j之间的连接权，θ_q为隐藏层各单元的阈值，则隐藏层第q单元的输出O_q为：

输出层第j单元的输出y_i为：

在上式中，δ_j为输出层各单元的阈值，j＝1,2,…,m。

根据复合函数求偏导数的链式法则求得文本特征X_i的灵敏度δ_ij和文本特征X_k的灵敏度δ_kj之差:

其中，

此时，若

则必有δ_ij>δ_kj，即文本特征X_i对第j类模式的分类能力比文本特征X_k的强，据此进行文本特征的选择。

S3、根据上述得到的文本特征，利用随机梯度下降算法与fine-turing方法训练所述BP神经网络分类模型，直到得到最佳的文本特征，根据所述最佳的文本特征，利用分类器对文本数据进行分类，输出目标文本的分类结果。

所述fine-turing方法即通过可用神经网络，提取其浅层特征，并修改深度神经网络中的参数，构建新的神经网络模型，以减少迭代次数，从而更快速的获得最佳的BP神经网络分类模型。

本发明较佳实施例中，训练所述BP神经网络分类模型的流程如下：

Ⅰ、构建损失函数。

在神经网络中，损失函数用来评价网络模型输出的预测值与真实值Y之间的差异。这里用

来表示损失函数，它使一个非负实数函数，损失值越小，网络模型的性能越好。输入模式向量为A_k＝(a₁,a₂,…a₈)(k＝1,2,…,20)，希望输出向量为Y_k(k＝1,2,…,20)，根据深度学习中神经元基本公式，各层输入、输出为

本发明选取分类损失函数：

其中，m为所述文本数据的样本个数，h_θ(x⁽ⁱ⁾)为所述文本数据的预测值，y⁽ⁱ⁾为所述文本数据的真实值；

同时，为缓解梯度消散问题，本发明选择ReLU函数relu(x)＝max(0,x)作为激活函数，该函数满足仿生学中的稀疏性，只有当输入值高于一定数目时才激活该神经元节点，当输入值低于0时进行限制，当输入上升到某一阙值以上时，函数中自变量与因变量呈线性关系。其中x表示所述反向梯度累计值和下降梯度累计值。

Ⅱ、用随机梯度下降算法解所述损失函数，并使用fine-turing方法减少模型迭代次数。

梯度下降算法是神经网络模型训练最常用的优化算法。为找到损失函数

的最小值，需要沿着与梯度向量相反的方向-dL/dy更新变量y，这样可以使得梯度减少最快，直至损失收敛至最小值。在本发明实施例中，结合动量方法，每输入batch-sizes数据，随着梯度下降降低学习率，每输入一个epoch,根据学习率降低情况提升衰减率，参数更新公式如下：L＝L-α dL/dy,α表示学习率，dL/dy为衰减率，从而可以获取最终的BP神经网络参数。同时，在使用fine-turing方法时，本发明首先调整网络层中的参数，删去FC层并调整学习速率，因为最后一层是重新学习，因此相比较其他层需要有更快的学习速率，本发明weight和bias的学习速率加快10倍，且并不改变学习策略。最后修改solver参数，通过减少文本数据大小，将步长从原来的100000变成了20000，最大的迭代次数也相应减少，从而在更小迭代次数的情况下得到最优化的BP神经网络分类模型，并利用所述最优化的BP神经网络分类获取最佳的文本特征。

进一步地，本发明较佳实施例利用随机森林算法作为分类器，根据所述最佳的文本特征，对所述收集的文本数据进行分类。

所述随机森林算法是利用袋装算法的有放回抽样，从原始样本中抽取多个样本子集，并使用这几个样本对多个决策树模型训练，在训练过程中使用借鉴了随机特征子空间方法，在特征集中抽取部分特征进行决策树的分裂，最后集成多个决策树称为一个集成分类器，这个集成分类器称为随机森林。其算法流程可分为三部分，子样本集的生成，决策树的构建，投票产生结果，其具体流程如下所示：

1)生成子样本集：随机森林是一种集成分类器，对于每个基分类器需要产生一定的样本子集，作为基分类器的输入变量。为了兼顾评估模型，样本集的划分有多种方式，在本发明实施例中，使用的是交叉认证的方式对文本数据进行划分，所述交叉认证是把原始文本按照页数的不同，分成k个子文本数据，在每次训练时，使用其中一个子文本数据进行作为测试集，其余子文本数据作为训练集，并进行k次轮换步骤。

2)构建决策树：在随机森林中，每个基分类器都是一棵独立的决策树。在决策树的构建过程中最重要的是分裂规则，分裂规则试图寻找一个最优的特征对样本进行划分，来提高最终分类的准确性。随机森林的决策树与普通的决策树构建方式基本一致，不同的是随机森林的决策树在进行分裂时选择的特征并不是对整个特征全集进行搜索，而是随机选取k个特征进行划分。在本发明实施例中，将上述得到的子文本特征作为决策树的子节点，其下节点为各自提取到特征。

3)投票产生结果。随机森林的分类结果是各个基分类器，即决策树，进行投票得出。随机森林对基分类器一视同仁，每个决策树得出一个分类结果，汇集所有决策树的文本分类结果进行累加求和，票数最高的结果为最终的文本分类结果，即对文本进行有效分类。

本发明还提供一种基于神经网络模型的文本分类装置。参照图2所示，为本发明一实施例提供的基于神经网络模型的文本分类装置的内部结构示意图。

在本实施例中，基于神经网络模型的文本分类装置1可以是PC(PersonalComputer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。该基于神经网络模型的文本分类装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是基于神经网络模型的文本分类装置1的内部存储单元，例如该基于神经网络模型的文本分类装置1的硬盘。存储器11在另一些实施例中也可以是基于神经网络模型的文本分类装置1的外部存储设备，例如基于神经网络模型的文本分类装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括基于神经网络模型的文本分类装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于基于神经网络模型的文本分类装置1的应用软件及各类数据，例如基于神经网络模型的文本分类程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行基于神经网络模型的文本分类程序01等。

通信总线13用于实现这些组件之间的连接通信。

网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。

可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于神经网络模型的文本分类装置1中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11-14以及基于神经网络模型的文本分类程序01的基于神经网络模型的文本分类装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对基于神经网络模型的文本分类装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图2所示的装置1实施例中，存储器11中存储有基于神经网络模型的文本分类程序01；处理器12执行存储器11中存储的基于神经网络模型的文本分类程序01时实现如下步骤：

步骤一、收集文本数据，并对所述文本数据进行预处理操作，得到预处理后的文本数据，并将所述预处理后的文本数据转换为文本向量。

本发明较佳实施例可以从网络中，例如新闻网站、购物网站、论文数据库或者各种论坛中收集所述文本数据。

所述文本数据是非结构化或半结构化的数据，不能被分类算法直接识别，因此，本发明较佳实施例对所述文本数据进行预处理操作的目的是将所述文本数据转化为向量空间模型：d_i＝(w₁,w₂,…,w_n)，其中，w_j为第j个特征项的权重。

本发明实施例对所述文本数据执行包括分词、去停用词、特征权重计算、去重等的预处理操作。

本发明实施例所述分词方法包括对所述文本数据与预先构建的词典中的词条根据预先规定的策略进行匹配，得到所述文本数据中的词语。

在本发明实施例中，所选取的去停用词的方法为停用词表过滤，即通过已经构建好的停用词表和文本数据中的词语进行匹配，如果匹配成功，那么这个词语就是停用词，需要将该词删除。

在经过分词、去停用词后，所述文本数据由一系列的特征词(关键词)表示，但是这种文本形式的数据并不能直接被分类算法所处理，而应该转化为数值形式，因此需要对这些特征词进行权重计算，用来表征该特征词在文本中的重要性。

本发明实施例使用TF-IDF算法进行特征词计算。所述TF-IDF算法是利用统计信息、词向量信息以及词语间的依存句法信息，通过构建依存关系图来计算词语之间的关联强度，利用TextRank算法迭代算出词语的重要度得分。

详细地，本发明在进行特征词的权重计算时，首先计算任意两词W_i和W_j的依存关联度：

其中len(W_i,W_j)表示词语W_i和W_j之间的依存路径长度，b是超参数。

本发明认为2个词之间的语义相似度无法准确衡量词语的重要程度，只有当2个词中至少有一个在文本中出现的频率很高，才能证明2个词很重要。根据万有引力的概念，将词频看作质量，将2个词的词向量间的欧氏距离视为距离，根据万有引力公式来计算2个词之间的引力。然而在当前文本环境中，仅利用词频来衡量文本中某个词的重要程度太过片面，因此本发明引入了IDF值，将词频替换为TF-IDF值，从而考虑到更全局性的信息。于是得到了新的词引力值公式。文本词语W_i和的W_j的引力为：

其中，tfidf(W)是词W的TF-IDF值，d是词W_i和W_j的词向量之间的欧式距离。

因此，词语W_i和的W_j之间的关联度为：

weight(W_i，W_j)＝Dep(W_i，W_j)，f_grav(W_i，W_j)

最后，本发明利用TextRank算法建立一个无向图G＝(V,E)，其中V是顶点的集合，E是边的集合，根据下列式子算出词语W_i的得分：

其中

是与顶点W_i有关的集合，η为阻尼系数，由此得到特征权重WS(W_i)，并因此将每个词语表示成数值向量形式。

进一步地，由于所收集的文本数据来源错综复杂，其中可能会存在很多重复的文本数据。大量的重复数据会影响分类精度，因此，在本发明实施例中，在对文本进行分类前首先利用欧式距离方法对文本进行去重操作，其公式如下：

式中w_1j和w_2j分别为2个文本数据。在分别计算每两个文本数据的欧式距离后，欧式距离越小，说明文本数据越相似，则删除欧氏距离小于预设阈值的两个文本数据中的其中一个。

进一步地，本发明优选实施例还包括利用变焦神经网络的文本层次化编码器，对所述预处理后的文本数据进行编码处理，得到经过编码处理的文本向量。

在本发明实施例中，所述文本层次化编码器有三层，分别为文字嵌入层和两个bi-LSTM层，其中，所述文字嵌入层将所述词语由word2vec初始化，得到词语向量，并利用第一个bi-LSTM层接收词语向量作为输入并生成句子向量，第二个bi-LSTM层接收句子向量作为输入并生成段落向量。

详细地，所述第一个bi-LSTM层将每一个词语作为输入后，在每个时间不长输出一个隐藏状态向量，接下来使用最大池化操作获得一个固定长度的句子向量，并将所有的句子向量作为层次记忆的句子分量，所使用公式为：

式中，

表示输入的词语，表示通过最大池化操作获得的一个固定长度的句子向量，其长度和j有关，R_s表示层次记忆的句子向量。

接下来本发明使用类似的方式，使用第二个bi-LSTM层和最大池化操作将句子分量转换为段落向量。

通过层次化编码，本发明赋予每一级每一个语言单元一个向量表示(hierarchical distributed memory)，并保留其句段划分的分界信息，据此得到包括词语向量、句子向量以及段落向量的文本向量。

步骤二、利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，从而得到文本特征。

由于在很多情况下，文本数据中的特征数量会远远超过训练数据的数量，为简化模型的训练，本发明使用基于BP神经网络的方法进行特征选择，并以特征X对状态Y变化的灵敏度δ作为评价文本特征的度量，即：

所述BP神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传递，误差反向传播，在前向传递中，输入信号从输入层经过隐藏层逐层处理，直至输出层。每一层的神经元状态只影响下一层神经元状态。如果输出层得不到期望输出，则转入反向传播，根据预测误差调整网络权值和阈值，从而使网络预测输出不断逼近期望输出。

本发明所述BP神经网络包括如下结构：

输入层：是整个神经网络唯一数据输入入口，输入层的神经元节点数目和文本的数值向量维数相同，每一个神经元的值对应数值向量的每个项的值；

隐藏层：是对主要用来对输入层输入的数据进行非线性化处理，以激励函数为基础对输入的数据进行非线性拟合可以有效保证模型的预测能力；

输出层：在隐藏层之后，是整个模型的唯一输出。输出层的神经元节点数目和文本的类别数目相同。

由于BP神经网络的结构对分类结果具有很大影响，如果设计不好将出现收敛速度慢、训练速度低、分类精度低等缺点，因此本发明使用决策树来对BP神经网络进行优化。在本发明实施例中，取决策树最长的规则链长度作为BP神经网络的隐藏层节点数目来对神经网络的结构进行优化，即将决策树的深度作为BP神经网络的隐藏层节点数目。

本发明较佳实施例构建3层BP神经网络，其中，输入层n个单元对应n个特征参数，输出层m个单元对应m种模式分类，取中间隐藏层单元数为q，用

表示输入层单元i与隐层单元q之间的连接权，用表示隐层单元q与输出层单元j之间的连接权，θ_q为隐藏层各单元的阈值，则隐藏层第q单元的输出O_q为：

输出层第j单元的输出y_i为：

在上式中，δ_j为输出层各单元的阈值，j＝1,2,…,m。

根据复合函数求偏导数的链式法则求得文本特征X_i的灵敏度δ_ij和文本特征X_k的灵敏度δ_kj之差:

其中，

此时，若

则必有δ_ij>δ_kj，即文本特征X_i对第j类模式的分类能力比文本特征X_k的强，据此进行文本特征的选择。

步骤三、根据上述得到的文本特征，利用随机梯度下降算法与fine-turing方法来训练所述BP神经网络分类模型，直到得到最佳的文本特征，根据所述最佳的文本特征，利用分类器对文本数据进行分类，输出目标文本的分类结果。

所述fine-turing方法即通过可用神经网络，提取其浅层特征，并修改深度神经网络中的参数，构建新的神经网络模型，以减少迭代次数，从而更快速的获得最佳的BP神经网络分类模型。

本发明较佳实施例中，训练所述BP神经网络分类模型的流程如下：

Ⅰ、构建损失函数。

在神经网络中，损失函数用来评价网络模型输出的预测值

与真实值Y之间的差异。这里用

来表示损失函数，它使一个非负实数函数，损失值越小，网络模型的性能越好。输入模式向量为A_k＝(a₁,a₂,…a₈)(k＝1,2,…,20)，希望输出向量为Y_k(k＝1,2,…,20)，根据深度学习中神经元基本公式，各层输入、输出为

本发明选取分类损失函数：

其中，m为所述文本数据的样本个数，h_θ(x⁽ⁱ⁾)为所述文本数据的预测值，y⁽ⁱ⁾为所述文本数据的真实值；

同时，为缓解梯度消散问题，本发明选择ReLU函数relu(x)＝max(0,x)作为激活函数，该函数满足仿生学中的稀疏性，只有当输入值高于一定数目时才激活该神经元节点，当输入值低于0时进行限制，当输入上升到某一阙值以上时，函数中自变量与因变量呈线性关系。其中x表示所述反向梯度累计值和下降梯度累计值。

Ⅱ、用随机梯度下降算法解所述损失函数，并使用fine-turing方法减少模型迭代次数。

梯度下降算法是神经网络模型训练最常用的优化算法。为找到损失函数

的最小值，需要沿着与梯度向量相反的方向-dL/dy更新变量y，这样可以使得梯度减少最快，直至损失收敛至最小值。在本发明实施例中，结合动量方法，每输入batch-sizes数据，随着梯度下降降低学习率，每输入一个epoch,根据学习率降低情况提升衰减率，参数更新公式如下：L＝L-α dL/dy,α表示学习率，dL/dy为衰减率，从而可以获取最终的BP神经网络参数。同时，在使用fine-turing方法时，本发明首先调整网络层中的参数，删去FC层并调整学习速率，因为最后一层是重新学习，因此相比较其他层需要有更快的学习速率，本发明weight和bias的学习速率加快10倍，且并不改变学习策略。最后修改solver参数，通过减少文本数据大小，将步长从原来的100000变成了20000，最大的迭代次数也相应减少，从而在更小迭代次数的情况下得到最优化的BP神经网络分类模型，并利用所述最优化的BP神经网络分类获取最佳的文本特征。。

进一步地，本发明较佳实施例利用随机森林算法作为分类器，根据所述最佳的文本特征，对所述收集的文本数据进行文本分类。

所述随机森林算法是利用袋装算法的有放回抽样，从原始样本中抽取多个样本子集，并使用这几个样本对多个决策树模型训练，在训练过程中使用借鉴了随机特征子空间方法，在特征集中抽取部分特征进行决策树的分裂，最后集成多个决策树称为一个集成分类器，这个集成分类器称为随机森林。其算法流程可分为三部分，子样本集的生成，决策树的构建，投票产生结果，其具体流程如下所示：

1)生成子样本集：随机森林是一种集成分类器，对于每个基分类器需要产生一定的样本子集，作为基分类器的输入变量。为了兼顾评估模型，样本集的划分有多种方式，在本发明实施例中，使用的是交叉认证的方式对文本数据进行划分，所述交叉认证是把原始文本按照页数的不同，分成k个子文本数据，在每次训练时，使用其中一个子文本数据进行作为测试集，其余子文本数据作为训练集，并进行k次轮换步骤。

2)构建决策树：在随机森林中，每个基分类器都是一棵独立的决策树。在决策树的构建过程中最重要的是分裂规则，分裂规则试图寻找一个最优的特征对样本进行划分，来提高最终分类的准确性。随机森林的决策树与普通的决策树构建方式基本一致，不同的是随机森林的决策树在进行分裂时选择的特征并不是对整个特征全集进行搜索，而是随机选取k个特征进行划分。在本发明实施例中，将上述得到的子文本特征作为决策树的子节点，其下节点为各自提取到特征。

3)投票产生结果。随机森林的分类结果是各个基分类器，即决策树，进行投票得出。随机森林对基分类器一视同仁，每个决策树得出一个分类结果，汇集所有决策树的文本分类结果进行累加求和，票数最高的结果为最终的文本分类结果，即对文本进行有效分类。

可选地，在其他实施例中，基于神经网络模型的文本分类程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述基于神经网络模型的文本分类程序在基于神经网络模型的文本分类装置中的执行过程。

例如，参照图3所示，为本发明基于神经网络模型的文本分类装置一实施例中的基于神经网络模型的文本分类程序的程序模块示意图，该实施例中，基于神经网络模型的文本分类程序可以被分割为样本收集模块10、特征提取模块20及文本分类模块30。示例性地：

所述样本收集模块10用于：收集文本数据，对所述文本数据进行预处理操作，得到预处理后的文本数据，并将所述预处理后的文本数据转换为文本向量。

其中，所述对所述文本数据进行预处理操作包括：

对所述文本数据与预先构建的词典中的词条根据预先规定的策略进行匹配，得到所述文本数据中的词语；

利用已经构建好的停用词表和所述文本数据中的词语进行匹配，如果匹配成功，则判断该词语是停用词，将该词语删除；

构建依存关系图计算词语之间的关联强度，利用TextRank算法迭代算出词语的重要度得分，将每个词语表示成数值向量形式；

计算所述文本数据中每两个之间的欧式距离，当所述欧氏距离小于预设阈值时，删除的两个文本数据中的其中一个。

其中，所述将所述文本数据转换为文本向量包括：

利用变焦神经网络的文本层次化编码器，对所述预处理后的文本数据进行编码处理，得到经过编码处理的文本向量，其中，所述文本层次化编码器包括文字嵌入层和两个bi-LSTM层，所述文字嵌入层将所述词语由word2vec初始化，得到词语向量，第一个bi-LSTM层接收词语向量作为输入并生成句子向量，第二个bi-LSTM层接收句子向量作为输入并生成段落向量。

所述特征提取模块20用于：利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，得到初始文本特征。

其中，所述利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，从而得到文本特征，包括：

构建3层BP神经网络，其中，每层BP神经网络的输入层n个单元对应n个特征参数，输出层m个单元对应m种模式分类，取中间隐藏层单元数为q，用

表示输入层单元i与隐层单元q之间的连接权，用

表示隐层单元q与输出层单元j之间的连接权，θ_q为隐藏层各单元的阈值，则隐藏层第q单元的输出O_q为：

输出层第j单元的输出y_i为：

在上式中，δ_j为输出层各单元的阈值，j＝1,2,…,m；

根据复合函数求偏导数的链式法则，求得文本特征X_i的灵敏度δ_ij和文本特征X_k的灵敏度δ_kj之差:

其中

此时，若

则δ_ij>δ_kj，即文本特征X_i对第j类模式的分类能力比文本特征X_k的强，并据此选择文本特征。

所述文本分类模块30用于：根据上述得到的初始文本特征，利用随机梯度下降算法与fine-turing方法训练所述BP神经网络分类模型，直到得到最佳的文本特征，根据所述最佳的文本特征，利用分类器对所述文本数据进行分类，输出所述文本数据的分类结果。

其中，所述分类器为随机森林分类器；及

所述利用分类器对文本数据进行分类包括：

使用交叉认证的方式对所述文本数据进行划分，其中，所述交叉认证是把原始文本数据按照页数的不同，分成k个子文本数据，在每次训练时，使用其中一个子文本数据进行作为测试集，其余子文本数据作为训练集，并进行k次轮换；

将上述得到的子文本特征作为决策树的子节点，构建多个决策树；

汇集所有决策树的文本分类结果进行累加求和，得到票数最高的结果为最终的文本分类结果。

上述样本收集模块10、特征提取模块20、文本分类模块30等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于神经网络模型的文本分类程序，所述基于神经网络模型的文本分类程序可被一个或多个处理器执行，以实现如下操作：

收集文本数据，对所述文本数据进行预处理操作，得到预处理后的文本数据；

将所述预处理后的文本数据转换为文本向量；

利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，得到初始文本特征；

根据上述得到的初始文本特征，利用随机梯度下降算法与fine-turing方法训练所述BP神经网络分类模型，直到得到最佳的文本特征；

根据所述最佳的文本特征，利用分类器对所述文本数据进行分类，输出所述文本数据的分类结果。

本发明计算机可读存储介质具体实施方式与上述基于神经网络模型的文本分类装置和方法各实施例基本相同，在此不作累述。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于神经网络模型的文本分类方法，其特征在于，所述方法包括：

收集文本数据，对所述文本数据进行预处理操作，得到预处理后的文本数据；

将所述预处理后的文本数据转换为文本向量；

利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，得到初始文本特征；

根据上述得到的初始文本特征，利用随机梯度下降算法与fine-turing方法训练所述BP神经网络分类模型，直到得到最佳的文本特征；

根据所述最佳的文本特征，利用分类器对所述文本数据进行分类，输出所述文本数据的分类结果。

2.如权利要求1所述的基于神经网络模型的文本分类方法，其特征在于，所述对所述文本数据进行预处理操作包括：

对所述文本数据与预先构建的词典中的词条根据预先规定的策略进行匹配，得到所述文本数据中的词语；

利用已经构建好的停用词表和所述文本数据中的词语进行匹配，如果匹配成功，则判断该词语是停用词，将该词语删除；

构建依存关系图计算词语之间的关联强度，利用TextRank算法迭代算出词语的重要度得分，将每个词语表示成数值向量形式；

计算所述文本数据中每两个之间的欧式距离，当所述欧氏距离小于预设阈值时，删除的两个文本数据中的其中一个。

3.如权利要求2所述的基于神经网络模型的文本分类方法，其特征在于，所述将所述预处理后的文本数据转换为文本向量包括：

利用变焦神经网络的文本层次化编码器，对所述预处理后的文本数据进行编码处理，得到经过编码处理的文本向量，其中，所述文本层次化编码器包括文字嵌入层和两个bi-LSTM层，所述文字嵌入层将所述词语由word2vec初始化，得到词语向量，第一个bi-LSTM层接收词语向量作为输入并生成句子向量，第二个bi-LSTM层接收句子向量作为输入并生成段落向量，得到包括词语向量、句子向量以及段落向量的所述文本向量。

4.如权利要求1中所述的基于神经网络模型的文本分类方法，其特征在于，所述利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，从而得到文本特征，包括：

构建3层BP神经网络，其中，每层BP神经网络的输入层n个单元对应n个特征参数，输出层m个单元对应m种模式分类，取中间隐藏层单元数为q，用

表示输入层单元i与隐层单元q之间的连接权，用

表示隐层单元q与输出层单元j之间的连接权，θ_q为隐藏层各单元的阈值，则隐藏层第q单元的输出O_q为：

输出层第j单元的输出y_i为：

在上式中，δ_j为输出层各单元的阈值，j＝1，2，...，m；

根据复合函数求偏导数的链式法则，求得文本特征X_i的灵敏度δ_ij和文本特征X_k的灵敏度δ_kj之差：

其中

此时，若

则δ_ij＞δ_kj，即文本特征X_i对第j类模式的分类能力比文本特征X_k的强，并据此选择文本特征。

5.如权利要求1至4中任意一项所述的基于神经网络模型的文本分类方法，所述分类器为随机森林分类器；及

所述利用分类器对文本数据进行分类包括：

使用交叉认证的方式对所述文本数据进行划分，其中，所述交叉认证是把原始文本数据按照页数的不同，分成k个子文本数据，在每次训练时，使用其中一个子文本数据进行作为测试集，其余子文本数据作为训练集，并进行k次轮换；

将上述得到的子文本数据作为决策树的子节点，构建多个决策树；

汇集所有决策树的文本分类结果进行累加求和，得到票数最高的结果为最终的文本分类结果。

6.一种基于神经网络模型的文本分类装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的基于神经网络模型的文本分类程序，所述基于神经网络模型的文本分类程序被所述处理器执行时实现如下步骤：

收集文本数据，对所述文本数据进行预处理操作，得到预处理后的文本数据；

将所述预处理后的文本数据转换为文本向量；

利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，得到初始文本特征；

根据上述得到的初始文本特征，利用随机梯度下降算法与fine-turing方法训练所述BP神经网络分类模型，直到得到最佳的文本特征；

根据所述最佳的文本特征，利用分类器对所述文本数据进行分类，输出所述文本数据的分类结果。

7.如权利要求6所述的基于神经网络模型的文本分类装置，其特征在于，所述对所述文本数据进行预处理操作包括：

对所述文本数据与预先构建的词典中的词条根据预先规定的策略进行匹配，得到所述文本数据中的词语；

利用已经构建好的停用词表和所述文本数据中的词语进行匹配，如果匹配成功，则判断该词语是停用词，将该词语删除；

构建依存关系图计算词语之间的关联强度，利用TextRank算法迭代算出词语的重要度得分，将每个词语表示成数值向量形式；

计算所述文本数据中每两个之间的欧式距离，当所述欧氏距离小于预设阈值时，删除的两个文本数据中的其中一个。

8.如权利要求7所述的基于神经网络模型的文本分类装置，其特征在于，所述将所述预处理后的文本数据转换为文本向量包括：

利用变焦神经网络的文本层次化编码器，对所述预处理后的文本数据进行编码处理，得到经过编码处理的文本向量，其中，所述文本层次化编码器包括文字嵌入层和两个bi-LSTM层，所述文字嵌入层将所述词语由word2vec初始化，得到词语向量，第一个bi-LSTM层接收词语向量作为输入并生成句子向量，第二个bi-LSTM层接收句子向量作为输入并生成段落向量，得到包括词语向量、句子向量以及段落向量的所述文本向量。

9.如权利要求6所述的基于神经网络模型的文本分类装置，其特征在于，所述利用基于决策树优化的BP神经网络分类模型对所述文本向量进行特征选择，从而得到文本特征，包括：

构建3层BP神经网络，其中，每层BP神经网络的输入层n个单元对应n个特征参数，输出层m个单元对应m种模式分类，取中间隐藏层单元数为q，用

表示输入层单元i与隐层单元q之间的连接权，用

表示隐层单元q与输出层单元j之间的连接权，θ_q为隐藏层各单元的阈值，则隐藏层第q单元的输出O_q为：

输出层第j单元的输出y_i为：

在上式中，δ_j为输出层各单元的阈值，j＝1，2，...，m；

根据复合函数求偏导数的链式法则，求得文本特征X_i的灵敏度δ_ij和文本特征X_k的灵敏度δ_kj之差：

其中

此时，若

则δ_ij＞δ_kj，即文本特征X_i对第j类模式的分类能力比文本特征X_k的强，并据此选择文本特征。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于神经网络模型的文本分类程序，所述基于神经网络模型的文本分类程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的基于神经网络模型的文本分类方法的步骤。

Images