CN111639186B - 动态嵌入投影门控的多类别多标签文本分类模型及装置 - Google Patents

Abstract

本发明提供一种动态嵌入投影门控的多类别多标签文本分类模型，用于对输入文本进行分类，其特征在于，包括：预处理层，对输入文本进行预处理；词嵌入层，用于通过预训练分布式词向量初始化预处理文本从而获取包含原始信息的第一词嵌入矩阵；词嵌入动态控制层，用于根据第一词嵌入矩阵提取融合了该第一词嵌入矩阵上下文信息的转换信息，并基于动态嵌入投影门控制原始信息与转换信息形成第二词嵌入矩阵；细粒度信息增强层，用于通过多核多通道卷积神经网络对第二词嵌入矩阵进行语义编码获取细粒度信息增强的增强文本表征；语义信息提取层，用于通过全连接神经网络将增强文本表征映射至样本标记空间，从而输出类别概率分布并完成文本分类。

Description

动态嵌入投影门控的多类别多标签文本分类模型及装置

技术领域

本发明属于自然语言处理领域，涉及文本分类技术，具体涉及一种动态嵌入投影门控的多类别多标签文本分类模型及装置。

背景技术

文本分类是自然语言处理中的一项基本且重要的任务，能够根据内容将文本分配到至少一个预定义的标记或类别中。这项任务在多种应用场景中发挥着重要的作用，例如，主题分类、意图检测、情感分析等。现阶段，非结构化文本数据是信息传播的主要途径之一，从文本中提取关键信息尤为重要。早期，一些用于文本分类的机器学习算法，如支持向量机(SVM)、朴素贝叶斯(NB)、逻辑回归(LR)等，由于文本特征表达的高纬度、高稀疏性而无法准确获取给定文本的分类类别。

近年来，随着信息技术的飞速发展和人工智能的不断进步，自然语言处理为文本建模提供了一种高效可行的方式。这种方式利用深度学习模型去掉繁杂的特征工程，解决大规模文本分类任务中的文本表征问题，使得文本可以自动获取特征表达能力，从而端到端地解决问题。

长短期记忆网络(LSTM)和卷积神经网络(CNN)是最常见的深度学习模型，人们在此基础上提出了大量用于文本分类的模型结构。滑铁卢大学学者提出在词嵌入和LSTM的四个权重矩阵上进行正则化操作可以提升多类别与多标签文本分类的准确度；北京大学学者提出利用基于LSTM的编解码序列生成模型能够融合多个分类标签的互信息；中科院学者提出基于词向量级别注意力机制的双向LSTM模型能够捕获文本中的关键语义信息；纽约大学学者最早将CNN用于文本分类任务中以获取文本中类似于n-gram的局部上下文信息；卡内基梅隆大学相关学者提出将动态最大池化作为CNN特征图的后续组件可以生成带有位置信息的多个特征；随着计算机视觉的发展纽约大学学者提出完全基于字符级信息的CNN图像卷积架构提高了模型对于拼写错误的鲁棒性。

然而，上述文本分类技术无法充分表征文本的语义差别，由于文本在语义的不同层次都具有其独特的表征和关联程度的差异，并且这些技术大多是简单地通过不同深度的特征抽取器来抽取词向量序列的特征，因此无法兼顾模型的分类精度和效率，这表现在要提高准确率，则会提升模型复杂度，同时也没有充分利用词向量之间的局部上下文关联信息，不足以表征文本在各个层次的语义。

发明内容

为解决上述问题，提供一种动态嵌入投影门控的多类别多标签文本分类模型及装置，本发明采用了如下技术方案：

本发明提供了一种动态嵌入投影门控的多类别多标签文本分类模型，用于对输入文本进行文本分类，其特征在于，包括：预处理层，用于对输入文本进行预处理得到预处理文本；词嵌入层，用于通过预训练分布式词向量对预处理文本进行初始化从而获取包含原始信息的第一词嵌入矩阵；词嵌入动态控制层，用于根据第一词嵌入矩阵提取融合了该第一词嵌入矩阵上下文信息的转换信息，并基于动态嵌入投影门控制原始信息与转换信息形成第二词嵌入矩阵；细粒度信息增强层，用于通过多核多通道卷积神经网络对第二词嵌入矩阵进行语义编码获取细粒度信息增强的增强文本表征；语义信息分类层，用于通过全连接神经网络将增强文本表征映射至样本标记空间，从而输出类别概率分布并完成文本分类。

本发明提供的动态嵌入投影门控的多类别多标签文本分类模型，还可以具有这样的技术特征，其中，词嵌入动态控制层具有卷积核大小为r、通道数为h的一维卷积神经网络，该一维卷积神经网络用于根据第一词嵌入矩阵获取转换信息T＝[t₁,t₂,...t_n]^Τ，该转换信息T可以通过计算输入文本每个特定位置i的位置转换信息t_i得到，i＝1,2,…,n，即：t_i＝[t₁,t₂,...t_h]，t_j＝f(g(W_j⊙X_i:i+r)+b_j)j＝1,2,...h，式中，t_j表示特定位置i的第j维特征，⊙表示第一词嵌入矩阵之间对应元素的点积操作，g表示矩阵各元素之间的求和函数，f表示ReLU激活函数，W_j和b_j分别表示一维卷积神经网络第j个通道的权重矩阵和偏置项。

动态嵌入投影门分为负责控制转换信息T流动的转换门G_t以及负责控制原始信息X流动的传送门G_c，即：G_t＝σ(XW_proj+b_proj)，G_c＝1-G_t，式中，W_proj和b_proj分别表示动态嵌入投影门的权重矩阵和偏移向量，σ为sigmoid激活函数，词嵌入动态控制层通过转换门G_t以及传送门G_c将原始信息X以及转换信息T结合得到第二词嵌入矩阵E：E＝X⊙G_c+T⊙G_t

本发明提供的动态嵌入投影门控的多类别多标签文本分类模型，还可以具有这样的技术特征，其中，多核多通道卷积神经网络的卷积核大小分别为k₁、k₂、k₃，通道数为l，第二词嵌入矩阵输入到多核多通道卷积神经网络后，首先输出三个不同粒度的n-gram文本特征图，该n-gram文本特征图的特征图维度分别是(n-k₁+1)×l、(n-k₂+1)×l、(n-k₂+1)×l，其次沿着输入文本的方向分别对每个文本特征图进行最大化池操作从而得到维度为l的三个文本表征，最后将三个文本表征进行拼接从而得到增强文本表征。

本发明提供的动态嵌入投影门控的多类别多标签文本分类模型，还可以具有这样的技术特征，还包括：用于训练动态嵌入投影门控的多类别多标签文本分类模型的损失函数层，其中，当文本分类为多类别文本分类时，损失函数层采用以softmax为激活函数的交叉熵损失；当文本分类为多标签文本分类时，损失函数层采用以sigmoid为激活函数的二元交叉熵损失，即：

式中，θ代表动态嵌入投影门控的多类别多标签文本分类模型的模型参数，m代表训练样本数量，c代表分类目标类别数，y_ij代表第i个训练样本在第j个标签类别上的真实值，z_ij代表第i个训练样本在第j个标签类别上经过全连接神经网络后的预测值，σ为sigmoid激活函数。

本发明还提供了一种动态嵌入投影门控的多类别多标签文本分类装置，用于对输入文本进行分类，其特征在于，包括：输入文本获取部，用于获取输入文本；文本分类部，具有预设的文本分类模型，用于将输入文本进行分类从而得到对应输入文本的文本分类信息；以及分类信息输出部，用于将文本分类信息进行输出，其中，文本分类模型为权利要求1-4中任意一项的动态嵌入投影门控的多类别多标签文本分类模型。

发明作用与效果

根据本发明的动态嵌入投影门控的多类别多标签文本分类模型及装置，由于在词嵌入动态控制层中，通过对短连接与门控机构进行自适应组合构造出一种动态嵌入投影门，能够高效地融合词向量之间的局部上下文关联信息和控制重组信息的流动；然后由于在细粒度信息增强层中，设计了多核多通道卷积神经网络结构获取细粒度信息增强的文本表征，能够兼顾文本分类处理的精度与效率；最后在语义信息分类层通过全连接神经网络将提取的文本表征映射至标记空间完成分类。因此，通过本发明的动态嵌入投影门控的多类别多标签文本分类模型，可以适应文本分类的多类别与多标签情况，在无需人工干预的情况下，可以高效地提取输入文本的上下文信息并进行文本分类，同时兼顾了文本分类的精度与效率，具有较强的适应性、鲁棒性及准确性。

附图说明

图1是本发明实施例中动态嵌入投影门控的多类别多标签文本分类装置的结构框图；

图2是本发明实施例中动态嵌入投影门控的多类别多标签文本分类模型的模型架构图；

图3是本发明实施例中5种分类模型在4个标准数据集上的效果对比示意图；

图4是本发明实施例中5种分类模型在4个标准数据集上的收敛时间(s)对比示意图；

图5是本发明实施例中动态嵌入投影门控的多类别多标签文本分类模型消融实验结果示意图；以及

图6是本发明实施例中动态嵌入投影门控的多类别多标签文本分类模型捕获特征的可视化展示图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的动态嵌入投影门控的多类别多标签文本分类模型及装置作具体阐述。

<实施例>

图1是本发明实施例中动态嵌入投影门控的多类别多标签文本分类装置的结构框图。

如图1所示，动态嵌入投影门控的多类别多标签文本分类装置100包括输入文本获取部101、文本分类部102、分类信息输出部103以及用于控制上述各部的控制部104。

其中，动态嵌入投影门控的多类别多标签文本分类装置100为一台计算机，该计算机的存储器中存储有分别对应输入文本获取部101、文本分类部102以及分类信息输出部103的执行工作的计算机程序。

输入文本获取部101用于获取待分类的输入文本。

本实施例中，输入文本获取部101获取的输入文本为用户导入计算机中的电影评价文本。该电影评价文本为某电影网站中某用户对《阿甘正传》这部电影的评价：“《阿甘正传》是一部精彩的电影，集喜剧、戏剧和战争于一身。”。

文本分类部102存储有一个预先训练完成的文本分类模型，用于将输入文本输入到该文本分类模型中从而完成文本分类。

图2是本发明实施例中动态嵌入投影门控的多类别多标签文本分类模型的模型架构图。

如图2所示，文本分类模型200为动态嵌入投影门控的多类别多标签文本分类模型，该模型具有预处理层201、词嵌入层202、词嵌入动态控制层203、细粒度信息增强层204、语义信息分类层205以及损失函数层206。

预处理层201用于对输入文本进行预处理，即中文分词和去停用词。

本实施例中，给定文本S，使用北京大学pkuseg分词工具按照中文理解的方法将S分割为连续序列的单个词语，并去除掉S中所包含的句号、逗号、分号等特殊符号，去除掉S中所包含的一些对句子重要度影响很小的词语，如“的”、“了”等词语。最后用[w₁,...,w_n]来表示输入文本S经过中文分词和去停用词之后的结果，n代表词的个数。

词嵌入层202用于通过预训练分布式词向量对预处理后的输入文本进行初始化从而获取包含原始信息的第一词嵌入矩阵X。

本实施例中，使用腾讯中文预训练词向量将[w₁,...,w_n]中的每一个词转换成稠密的词向量，得到第一词嵌入矩阵X＝[x₁,...,x_n]。其中，词向量的维度是e，X是一张n×e的二维矩阵。

词嵌入动态控制层203用于根据词嵌入层202输出的第一词嵌入矩阵提取转换信息，并基于动态嵌入投影门控制原始信息与转换信息形成第二词嵌入矩阵。

具体地，词嵌入动态控制层203的处理过程具体包括如下步骤：

步骤S2-1：获取第一词嵌入矩阵X的转换信息T：该转换信息由卷积核大小为r、通道数为h的一维卷积神经网络产生，即：

T＝[t₁,t₂,...t_n]^Τ (1)

t_i＝[t₁,t₂,...t_h] (2)

t_j＝f(g(W_j⊙X_i:i+r)+b_j)j＝1,2,...h (3)

式中，t_i为输入文本特定位置i的转换信息，t_j代表词向量x_i的第j维转换特征，⊙为矩阵之间对应元素的点积操作，g为矩阵各元素之间的求和函数，f为ReLU激活函数，W_j和b_j分别代表一维卷积神经网络第j个通道的权重矩阵和偏置项，转换信息T是一张n×h的二维矩阵，本实施例中设置h等于e。

步骤S2-2：通过短连接直接获取词嵌入矩阵的原始信息X。

接下来，通过动态嵌入投影门(Dynamic Embedding ProjectionGate，DEPG)动态地控制原始词信息与词的局部上下文信息并进行自适应调整，从而将词嵌入矩阵的原始信息X与词嵌入矩阵的转换信息T进行结合。图2左侧部分展示了DEPG的工作机制，该动态嵌入投影门分为转换门G_t(Transform Gate)和传送门G_c(Carry Gate)。

步骤S2-3：构造负责控制转换信息T流动的转换门G_t和负责控制原始信息X流动的传送门G_c，即：

G_t＝σ(XW_pro_j+b_pro_j) (4)

G_c＝1-G_t (5)

式中，W_pro_j和b_pro_j分别代表动态嵌入投影门的权重矩阵和偏移向量，σ为sigmoid激活函数。

步骤S2-4：获取第二词嵌入矩阵E：将原始信息X与转换信息T进行结合，通过DEPG动态地控制原始词信息与词的局部上下文信息并进行自适应调整，得到融合原始信息与转换信息的第二词嵌入矩阵E：

E＝X⊙G_c+T⊙G_t (6)

细粒度信息增强层204具有多核多通道卷积神经网络，用于通过该多核多通道卷积神经网络对第二词嵌入矩阵进行语义编码获取细粒度信息增强的增强文本表征。

本实施例中，多核多通道卷积神经网络(Multi-kernel and Multi-channel CNN，MMCNN)的卷积核大小分别为k₁、k₂、k₃，通道数为l。该多核多通道卷积神经网络的输入为第二词嵌入矩阵E，能够对第二词嵌入矩阵进行语义编码，从而获取输入文本各个位置不同粒度的n-gram特征。

图2右侧部分展示了MMCNN的工作机制。以卷积核k₁、通道数1为例，可以得到第二词嵌入矩阵E特定位置i的单个特征c_i：

式中，⊙为矩阵之间对应元素的点积操作，g为矩阵各元素之间的求和函数，f为ReLU激活函数，W和b分别代表一维卷积神经网络单个通道的权重矩阵和偏置项。

接着，在整个输入文本中通过滑动卷积核k₁以生成词嵌入矩阵E的一个特征向量考虑到多核多通道卷积神经网络的通道数为l，那么存在l个不同子空间形成的特征向量对输入文本进行表征，得到一个(n-k₁+1)×l的特征图；同时，考虑到多核多通道卷积神经网络的核大小分别为k₁、k₂、k₃，那么存在3个不同粒度的n-gram文本特征图F₁、F₂、F₃，这三个文本特征图维度分别是(n-k₁+1)×l、(n-k₂+1)×l、(n-k₂+1)×l。

在得到3个不同粒度的n-gram文本特征图F₁、F₂、F₃之后，MMCNN沿着文本的方向分别对每个特征图进行最大池化操作，获取融合每个子空间显著信息的文本表征d₁、d₂、d₃，这三个文本表征的维度都是l。

最后，MMCNN将这三个文本表征d₁、d₂、d₃进行拼接，完成对输入文本的语义编码，从而获取细粒度信息增强的增强文本表征p：

p＝[d₁；d₂；d₃] (9)

式中，符号“；”代表拼接操作，文本表征p的维度是3l。

语义信息分类层205用于通过全连接神经网络将增强文本表征p映射至样本标记空间，从而输出类别概率分布并完成文本分类。

损失函数层206用于在训练时对多类别多标签文本分类模型200的损失进行计算并完成训练。

具体地，根据多类别多标签文本分类模型200所进行的文本分类任务的不同，损失函数层206采用不同的损失进行训练。

当文本分类为多类别文本分类任务时，损失函数层206采用以softmax为激活函数的交叉熵损失进行训练。

当文本分类为多标签文本分类任务时，损失函数层206采用以sigmoid为激活函数的二元交叉熵损失进行训练，即：

式中，θ代表文本分类模型200的模型参数，m代表训练样本数量，c代表分类目标类别数，y_ij代表第i个训练样本在第j个标签类别上的真实值，z_ij代表第i个训练样本在第j个标签类别上经过全连接神经网络后的预测值，σ为sigmoid激活函数。

本实施例中，对于电影评价文本S所采用的文本分类为多类别文本分类任务，因此在语义信息分类层205通过softmax函数计算文本类别概率分布Prob，即：

Prob＝softmax(Wp+b) (12)

Pred＝argmax(Prob) (13)

式中，W和b分别代表全连接神经网络的权重矩阵和偏移向量，Pred为最终预测的类别。

根据上述步骤的操作过程，即可对给定文本S的情感类别进行预测(将电影的评价情感划分为0到9这10个等级，0表示非常消极的评价，9表示非常积极的评价)，比如本实施例中给定文本S的类别值为8，表示用户对电影《阿甘正传》的评论体现出用户对其很满意，这属于多类别文本分类。

如果对给定文本S的主题类型进行预测(将电影的主题类型划分为“喜剧”、“爱情”、“战争”等)，即文本分类为多标签文本分类任务。在进行多标签文本分类的时候，需要对语义信息分类层205以及损失函数层206进行更改：通过sigmoid函数计算每个类别标签的置信度Coef，即：

Coef＝σ(Wp+b) (12)

Pred＝Coef>0.5 (13)

式中，W和b分别代表全连接神经网络的权重矩阵和偏移向量，Pred为最终预测的多个标签，比如本实施例中给定文本S所预测出的主题类型(即标签)为“喜剧”和“战争”。

通过上述文本分类模型，文本分类部102即可完成对输入文本的分类并输出对应的文本类型信息。该文本类型信息即语义信息分类层205输出的类别标签。

分类信息输出部103用于将输入文本以及文本分类信息进行输出。

本实施例中，分类信息输出部103将输入文本以及文本类型信息输出给计算机的显示屏，从而让该显示屏显示给定文本S(电影评价文本)的分类结果供用户查看。在本发明其他方案中，该分类信息输出部103也可以将输入文本以及对应的文本类型信息输出给其他系统或是装置。

为验证本发明的有效性，本实施例中与两种以CNN为编码器的文本分类改进方法和两种以LSTM为编码器的文本分类改进方法在模型的精度和效率方面进行了定量比较，同时也通过消融实验验证了动态嵌入投影门对文本分类任务的重要作用，还通过可视化实验展示了本发明在文本分类任务中捕获特征的详细过程。实验证明，本发明在多类别与多标签文本分类任务中有突出表现。具体地：

图3是本发明实施例中5种分类模型在4个标准数据集上的效果对比示意图。

如图3所示，IMDB和AG属于多类别文本分类数据集，AAPD和Reuters属于多标签文本分类数据集。“±”右边的数值表示模型在5种随机种子下实验结果的标准差。通过图3可以看出，本发明的文本分类模型200(DEPG-CNN)相对于其他模型，在多类别(Multi-class)与多标签(Multi-label)文本分类任务上效果显著。

图4是本发明实施例中5种分类模型在4个标准数据集上的收敛时间(s)对比示意图。

如图4所示，本发明的文本分类模型200在数据集IMDB、AG和AAPD上均超过其他模型，在数据集Reuters上处于第二好的水平。值得注意的是XML-CNN虽然在数据集Reuters上优于本发明的文本分类模型200，但在精度方面却远低于本发明的文本分类模型200。

图5是本发明实施例中动态嵌入投影门控的多类别多标签文本分类模型消融实验结果示意图。

如图5所示，“-DEPG”表示模型不使用DEPG的情况。可以看出，带有DEPG的模型在4个标准数据集上均超过不使用DEPG的情况，这也说明了本发明构造的DEPG可以提升多类别与多标签文本分类的效果。

图6是本发明实施例中动态嵌入投影门控的多类别多标签文本分类模型捕获特征的可视化展示图。

如图6所示，(a)表示经过预训练分布式词向量初始化后的词嵌入矩阵，(b)表示DEPG层输出的上下文词嵌入矩阵，(c)表示多核多通道CNN层输出的特征图。图中的“Icingcall out of money out of patience out of time and for the foreseeable futureout of business”是从AG新闻测试集中随机选择的一段文本。从图6的(a)和(b)可以看出，DEPG不仅能够抑制不重要的词信息(例如“and”,“for”和“the”)，而且还能保留重要的上下文信息(例如“Icing call out”,“out of money”和“out of business”)，进而显式地说明了DEPG的有效性。从图6的(b)和(c)可以看出，DEPG层输出的重要特征在经过多核多通道CNN层之后被增强，这说明了多核多通道CNN能够获取细粒度信息增强的文本表征。

实施例作用与效果

根据本实施例提供的动态嵌入投影门控的多类别多标签文本分类模型及装置，由于在词嵌入动态控制层中，通过对短连接与门控机构进行自适应组合构造出一种动态嵌入投影门，能够高效地融合词向量之间的局部上下文关联信息和控制重组信息的流动；然后由于在细粒度信息增强层中，设计了多核多通道卷积神经网络结构获取细粒度信息增强的文本表征，能够兼顾文本分类处理的精度与效率；最后在语义信息分类层通过全连接神经网络将提取的文本表征映射至标记空间完成分类。因此，通过本发明的动态嵌入投影门控的多类别多标签文本分类模型，可以适应文本分类的多类别与多标签情况，在无需人工干预的情况下，可以高效地提取输入文本的上下文信息并进行文本分类，同时兼顾了文本分类的精度与效率，具有较强的适应性、鲁棒性及准确性。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (4)

1.一种动态嵌入投影门控的多类别多标签文本分类模型，用于对输入文本进行文本分类，其特征在于，包括：

预处理层，用于对所述输入文本进行预处理得到预处理文本；

词嵌入层，用于通过预训练分布式词向量对所述预处理文本进行初始化从而获取包含原始信息的第一词嵌入矩阵；

词嵌入动态控制层，用于根据所述第一词嵌入矩阵提取融合了该第一词嵌入矩阵上下文信息的转换信息，并基于动态嵌入投影门控制所述原始信息与所述转换信息形成第二词嵌入矩阵；

细粒度信息增强层，用于通过多核多通道卷积神经网络对所述第二词嵌入矩阵进行语义编码获取细粒度信息增强的增强文本表征；

语义信息分类层，用于通过全连接神经网络将所述增强文本表征映射至样本标记空间，从而输出类别概率分布并完成所述文本分类,

其中，所述词嵌入动态控制层具有卷积核大小为r、通道数为h的一维卷积神经网络，该一维卷积神经网络用于根据所述第一词嵌入矩阵获取所述转换信息T＝[t₁,t₂,...t_n]^T，该转换信息T可以通过计算所述输入文本每个特定位置i的位置转换信息t_i，i＝1,2,…,n得到，即：

t_i＝[t₁,t₂,...t_h]

t_j＝f(g(W_j⊙X_i:i+r)+b_j)j＝1，2，...h

式中，t_j代表所述特定位置i的第j维特征，⊙为矩阵之间对应元素的点积操作，g为矩阵各元素之间的求和函数，f为ReLU激活函数，W_j和b_j分别代表所述一维卷积神经网络第j个通道的权重矩阵和偏置项，

所述动态嵌入投影门分为负责控制所述转换信息T流动的转换门G_t以及负责控制所述原始信息X流动的传送门G_c，即：

G_t＝σ(XW_proj+b_proj)

G_c＝1-G_t

式中，W_proj和b_proj分别代表所述动态嵌入投影门的权重矩阵和偏移向量，σ为sigmoid激活函数，

所述词嵌入动态控制层通过所述转换门G_t以及所述传送门G_c将所述原始信息X以及所述转换信息T结合得到所述第二词嵌入矩阵E：E＝X⊙G_c+T⊙G_t。

2.根据权利要求1所述的动态嵌入投影门控的多类别多标签文本分类模型，其特征在于：

其中，所述多核多通道卷积神经网络的卷积核大小分别为k₁、k₂、k₃，通道数为l，

所述第二词嵌入矩阵输入到所述多核多通道卷积神经网络之后，首先输出三个不同粒度的n-gram文本特征图，该n-gram文本特征图的特征图维度分别是(n-k₁+1)×l、(n-k₂+1)×l、(n-k₂+1)×l，其次沿着所述输入文本的方向分别对每个所述文本特征图进行最大化池操作从而得到维度为l的三个文本表征，最后将三个所述文本表征进行拼接从而得到所述增强文本表征。

3.根据权利要求1所述的动态嵌入投影门控的多类别多标签文本分类模型，其特征在于，还包括：

用于训练所述动态嵌入投影门控的多类别多标签文本分类模型的损失函数层，

其中，当所述文本分类为多类别文本分类时，所述损失函数层采用以softmax为激活函数的交叉熵损失；

当所述文本分类为多标签文本分类时，所述损失函数层采用以sigmoid为激活函数的二元交叉熵损失，即：

式中，θ代表所述动态嵌入投影门控的多类别多标签文本分类模型的模型参数，m代表训练样本数量，c代表分类目标类别数，y_ij代表第i个所述训练样本在第j个标签类别上的真实值，z_ij代表第i个所述训练样本在第j个标签类别上经过所述全连接神经网络后的预测值，σ为sigmoid激活函数。

4.一种动态嵌入投影门控的多类别多标签文本分类装置，用于对输入文本进行分类，其特征在于，包括：

输入文本获取部，用于获取所述输入文本；

文本分类部，具有预设的文本分类模型，用于将所述输入文本进行分类从而得到对应所述输入文本的文本分类信息；以及

分类信息输出部，用于将所述文本分类信息进行输出，

其中，所述文本分类模型为权利要求1-3中任意一项所述的动态嵌入投影门控的多类别多标签文本分类模型。