CN113688237A - 文本分类方法、文本分类网络的训练方法及装置 - Google Patents
文本分类方法、文本分类网络的训练方法及装置 Download PDFInfo
- Publication number
- CN113688237A CN113688237A CN202110915419.XA CN202110915419A CN113688237A CN 113688237 A CN113688237 A CN 113688237A CN 202110915419 A CN202110915419 A CN 202110915419A CN 113688237 A CN113688237 A CN 113688237A
- Authority
- CN
- China
- Prior art keywords
- network
- text
- training
- classification
- text classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 242
- 238000000034 method Methods 0.000 title claims abstract description 104
- 230000008569 process Effects 0.000 claims abstract description 38
- 239000013598 vector Substances 0.000 claims description 133
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 238000003058 natural language processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 17
- 238000005457 optimization Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008014 freezing Effects 0.000 description 4
- 238000007710 freezing Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本公开涉及自然语言处理技术领域，具体提供了一种文本分类方法、文本分类网络的训练方法及装置。一种文本分类方法包括：将待分类的文本数据输入训练后的文本分类网络，得到文本分类网络预测输出的分类结果；文本分类网络的训练过程包括：利用样本文本数据集，对未训练的文本分类网络进行多轮迭代训练；在第二部分轮次训练中，基于文本分类网络的输出结果与分类标签信息之间的差异调整主干网络的网络参数，直至满足收敛条件，得到训练后的文本分类网络。本公开方法减少文本分类网络的训练时间，提高文本分类网络的训练速度和网络泛化能力。
Description
技术领域
本公开涉及自然语言处理技术领域，具体涉及一种文本分类方法、文本分类网络的训练方法及装置。
背景技术
文本分类是自然语言处理中最为重要的研究方向之一，文本分类在目前许多场景下均有着广泛的应用，例如舆情分析、垃圾信息和邮件过滤、搜索引擎对网页相关性排序、信息检索、数据挖掘等。
相关技术中，可以利用文本分类网络对文本类别进行预测输出，但是相关技术中的分类网络训练参数过多，训练时间长，并且分类网络对词向量过度优化导致网络过拟合，因此分类网络的训练速度和泛化能力较差。
发明内容
为提高文本分类网络的训练速度和泛化能力，本公开实施方式提供了一种文本分类方法、文本分类网络的训练方法及装置、电子设备、存储介质。
第一方面，本公开实施方式提供了一种文本分类方法，包括：
将待分类的文本数据输入训练后的文本分类网络，得到所述文本分类网络预测输出的分类结果；
其中，所述文本分类网络包括文本表示网络和主干网络，所述文本分类网络的训练过程包括：
获取样本文本数据集，所述样本文本数据集中的每个样本文本数据包括对应的分类标签信息；
利用所述样本文本数据集，对未训练的所述文本分类网络进行多轮迭代训练；所述多轮迭代训练包括第一部分轮次训练，以及除所述第一部分轮次训练之外的第二部分轮次训练；
其中，在所述第一部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述文本表示网络和所述主干网络的网络参数；
在所述第二部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
在一些实施方式中，所述文本分类网络还包括词向量调整网络，所述将待分类的文本数据输入训练后的文本分类网络，得到所述文本分类网络预测输出的分类结果，包括：
将待分类的文本数据输入所述文本表示网络，得到所述文本表示网络输出的第一词向量；
将所述第一词向量输入词向量调整网络，得到所述词向量调整网络输出的第二词向量；
将所述第二词向量输入所述主干网络，得到所述输出结果。
在一些实施方式中，所述文本分类网络的训练过程还包括：
在所述第二部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异；并基于所述差异调整所述词向量调整网络和所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
在一些实施方式中，所述文本分类网络的训练过程还包括：
在所述第一部分轮次训练完成后，得到第一文本分类网络；
根据所述第一文本分类网络的网络结构和网络参数，建立第二文本分类网络；所述第二文本分类网络包括所述词向量调整网络；
在所述第二部分轮次训练中，基于所述第二文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述第二文本分类网络的所述词向量调整网络和所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
在一些实施方式中，在所述待分类的文本数据为中文文本时，在将待分类的文本数据输入文本分类网络之前，所述方法还包括：
对所述待分类的文本数据进行分词处理，得到处理后的文本数据。
在一些实施方式中，所述文本表示网络包括词嵌入网络；
所述主干网络包括以下中至少之一：
长短时间记忆网络、循环神经网络、卷积神经网络以及注意力网络。
在一些实施方式中，所述词向量调整网络包括全连接网络。
第二方面，本公开实施方式提供了一种文本分类网络的训练方法，所述文本分类网络包括文本表示网络和主干网络，所述方法包括：
获取样本文本数据集，所述样本文本数据集中的每个样本文本数据包括对应的分类标签信息；
利用所述样本文本数据集，对未训练的所述文本分类网络进行多轮迭代训练；所述多轮迭代训练包括第一部分轮次训练，以及除所述第一部分轮次训练之外的第二部分轮次训练；
其中，在所述第一部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述文本表示网络和所述主干网络的网络参数；
在所述第二部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
第三方面，本公开实施方式提供了一种文本分类装置，包括：
输入模块，被配置为将待分类的文本数据输入训练后的文本分类网络，得到所述文本分类网络预测输出的分类结果；
其中，所述文本分类网络包括文本表示网络和主干网络，所述文本分类网络的训练过程包括：
获取样本文本数据集，所述样本文本数据集中的每个样本文本数据包括对应的分类标签信息；
利用所述样本文本数据集，对未训练的所述文本分类网络进行多轮迭代训练；所述多轮迭代训练包括第一部分轮次训练，以及除所述第一部分轮次训练之外的第二部分轮次训练；
其中，在所述第一部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述文本表示网络和所述主干网络的网络参数；
在所述第二部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
在一些实施方式中，所述文本分类网络还包括词向量调整网络，所述输入模块具体被配置为：
将待分类的文本数据输入所述文本表示网络，得到所述文本表示网络输出的第一词向量；
将所述第一词向量输入词向量调整网络，得到所述词向量调整网络输出的第二词向量；
将所述第二词向量输入所述主干网络，得到所述输出结果。
在一些实施方式中，所述文本分类网络的训练过程还包括：
在所述第二部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异；并基于所述差异调整所述词向量调整网络和所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
在一些实施方式中，所述文本分类网络的训练过程还包括：
在所述第一部分轮次训练完成后，得到第一文本分类网络；
根据所述第一文本分类网络的网络结构和网络参数，建立第二文本分类网络；所述第二文本分类网络包括所述词向量调整网络；
在所述第二部分轮次训练中，基于所述第二文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述第二文本分类网络的所述词向量调整网络和所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
在一些实施方式中，在所述待分类的文本数据为中文文本时，所述装置还包括：
分词处理模块，被配置为对所述待分类的文本数据进行分词处理，得到处理后的文本数据。
在一些实施方式中，所述文本表示网络包括词嵌入网络。
在一些实施方式中，所述主干网络包括以下中至少之一：
长短时间记忆网络、循环神经网络、卷积神经网络以及注意力网络。
在一些实施方式中，所述词向量调整网络包括全连接网络。
第四方面，本公开实施方式提供了一种文本分类网络的训练装置，所述文本分类网络包括文本表示网络和主干网络，所述装置包括：
获取模块，被配置为获取样本文本数据集，所述样本文本数据集中的每个样本文本数据包括对应的分类标签信息；
多轮迭代训练模块，被配置为利用所述样本文本数据集，对未训练的所述文本分类网络进行多轮迭代训练；所述多轮迭代训练包括第一部分轮次训练，以及除所述第一部分轮次训练之外的第二部分轮次训练；
其中，在所述第一部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述文本表示网络和所述主干网络的网络参数；
在所述第二部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
第五方面，本公开实施方式提供了一种电子设备，包括：
处理器；和
存储器，存储有能够被所述处理器读取的计算机指令，当所述计算机指令被读取时，所述处理器执行根据第一方面或第二方面中任一实施方式所述的方法。
第六方面，本公开实施方式提供了一种存储介质，用于存储计算机可读指令，所述计算机可读指令用于使计算机执行根据第一方面或第二方面中任一实施方式所述的方法。
本公开实施方式的文本分类方法，在对文本分类网络训练时，包括利用样本文本数据集，对未训练的所述文本分类网络进行多轮迭代训练，其中，在第一部分轮次训练中，基于文本分类网络输出结果和样本文本数据的分类标签信息的差异对文本表示网络和主干网络的网络参数进行训练，在第二部分轮次训练中，则基于差异对主干网络进行训练，得到训练后的文本分类网络。由于文本表示网络参数庞大，因此仅在第一部分轮次训练中进行训练，而在第二部分轮次中对文本表示网络进行冻结训练，大幅减少了网络训练时间，而且避免训练过程中文本表示网络对词向量过度优化导致网络过拟合，提高分类网络的训练速度和网络泛化能力。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开一些实施方式中文本分类方法的流程图。
图2是根据本公开一些实施方式中文本分类网络的结构示意图。
图3是根据本公开一些实施方式中文本分类方法中网络训练的流程图。
图4是根据本公开一些实施方式中文本分类网络的结构示意图。
图5是根据本公开一些实施方式中文本分类方法的流程图。
图6是根据本公开一些实施方式中文本分类方法中网络训练的流程图。
图7是根据本公开一些实施方式中文本分类方法中网络训练的流程图。
图8是根据本公开一些实施方式中文本分类方法中网络训练的原理图。
图9是根据本公开一些实施方式中文本分类网络的训练方法的流程图。
图10是根据本公开一些实施方式中文本分类网络的训练装置的结构框图。
图11是适于实现本公开实施方式中方法的电子设备的结构框图。
具体实施方式
下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
文本分类是指在给定的分类体系下，对未知类别标号的文本，根据其内容进行归类，信息处理中很多任务都可以归结为文本分类问题。例如搜索引擎对网页的相关性排序、垃圾短信和邮件的过滤、文档的组织、信息检索及挖掘等，文本分类是自然语言处理领域最为重要的研究方向之一。
相关技术中，文本分类网络大致可以包括两个部分：文本表示和文本分类。文本表示是指将文本数据表示成反映文本语言学特征的空间向量，词嵌入网络是一种较好的文本表示方式。在神经网络中，词嵌入层通常是训练好的转换矩阵，其目的是将输入的文本数据转化为其对应的词向量，这个转化矩阵即为词嵌入层的网络参数。在得到词向量之后，可进一步通过核心主干网络层预测输出分类结果。
词嵌入层中包含非常多的网络参数，例如，文本分类网络包括30000的词表，128维的词向量，则词嵌入层参数量为128*30000。一方面，如此多的参数导致分类网络的训练耗时很长，大大影响网络的部署和调优效率；另一方面，对词嵌入层的过度优化也会导致网络的过拟合，使得网络泛化能力较差。
正是基于上述相关技术中的缺陷，本公开实施方式提供了一种文本分类方法、文本分类网络的训练方法及装置、电子设备、存储介质，从而提高文本分类网络的训练速度和网络泛化能力。
第一方面，本公开实施方式提供了一种文本分类方法。在一些实施方式中，本公开示例基于训练后的文本分类网络对待分类的文本数据进行分类，得到分类结果。
如图1所示，在一些实施方式中，本公开示例的文本分类方法包括：
S110、获取待分类的文本数据。
S120、将待分类的文本数据输入训练后的文本分类网络，得到文本分类网络预测输出的分类结果。
具体而言，待分类的文本数据表示需要通过文本分类网络进行分类的数据。本公开实施方式中，可预先对文本分类网络进行训练，得到训练后的文本分类网络，然后将待分类的文本数据输入训练后的文本分类网络，从而得到文本分类网络输出的分类结果。
在一些实施方式中，本公开示例的文本分类网络包括文本表示网络和主干网络。文本表示网络用于将输入的文本数据转换为空间向量，从而主干网络可根据空间向量提取得到更高层的文本特征，经由输出层归纳分类之后输出对应的分类结果。
基于上述文本分类网络结构，在一些实施方式中，本公开示例的文本分类方法中对文本分类网络的训练过程包括：获取样本文本数据集，利用样本文本数据集，对未训练的文本分类网络进行多轮迭代训练。
具体而言，样本文本数据集中包括多个样本文本数据，每个样本文本数据包括对应的分类标签信息，分类标签信息即为样本文本数据的真实值。
在本公开实施方式中，对于文本分类网络的训练包括多个轮次，也即利用样本文本数据集对文本分类网络进行多轮的迭代训练。在本公开实施方式中，定义多轮迭代训练的前部分轮次为“第一部分轮次”，其余部分训练轮次为“第二部分轮次”。
在第一部分轮次训练中，基于文本分类网络的输出结果和分类标签信息，获取输出结果和分类标签信息之间的差异，并基于差异调整文本表示网络和主干网络的网络参数；
而在第二部分轮次训练中，基于文本分类网络的输出结果和分类标签信息，获取输出结果和分类标签信息之间的差异，并基于差异调整主干网络的网络参数，直至差异满足收敛条件，得到训练后的文本分类网络。
也即，在本公开实施方式中，将文本分类网络的训练过程分为两个阶段。在第一部分轮次的训练中，同时调整文本表示网络和主干网络的网络参数；而在第二部分轮次的训练中，仅调整主干网络的网络参数。对于文本分类网络的结构以及具体训练过程，本公开下述实施方式进行说明，在此暂不详述。
通过上述可知，在本公开实施方式中，由于文本表示网络参数庞大，因此仅在第一部分轮次训练中进行参数调整，而在第二部分轮次中对文本表示网络进行冻结，仅调整主干网络的网络参数，从而大幅减少了网络训练时间，而且避免训练过程中文本表示网络对词向量过度优化导致网络过拟合，提高分类网络的训练速度和网络泛化能力。
图2中示出了本公开一些实施方式中文本分类网络的网络结构，下面结合图2对本公开文本分类网络的训练过程进行说明。
如图2所示，在一些实施方式中，文本分类网络包括文本表示网络100、主干网络200以及输出层300。文本表示网络100用于将文本数据转换为空间向量，在一个示例中，文本表示网络100以词嵌入网络为例，文本数据在输入词嵌入网络之前，可首先对文本数据进行预处理，将每一个词转化为数字标号，然后将预处理后的文本数据输入词嵌入网络，词嵌入网络将每个词映射为一个空间向量，也即词向量。
主干网络200可包括多个隐层，这些隐层即为文本分类网络的主体，用于根据文本表示网络100输出的词向量得到更高层的文本特征，每个隐层都可以认为对应着不同抽象层次的特征。主干网络200可以包括例如TextCNN(文本卷积网络)、TextRNN(文本循环卷积网络)、Attention(注意力网络)、LSTM(长短时间记忆网络)中的一种或多种组合，本公开对此不作限制。
通过文本表示网络100表示文本、主干网络200提取高级特征，输出层300即可归纳分类结果，最终输出得到分类结果。在一个示例中，输出层300可包括分类器网络。
基于上述图2示例中文本分类网络的结构，如图3所示，本公开示例的文本分类方法中文本分类网络的训练过程包括：
S310、获取样本文本数据集。
S320、利用样本文本数据集，对未训练的文本分类网络进行多轮迭代训练。
首先，获取样本文本数据集，数据集中包括多个样本文本数据，每个样本文本数据包括对应的分类标签信息，分类标签信息即为样本文本数据的真实值。在一个示例中，可通过人工标注的方式得到每个样本文本数据的分类标签信息。在另一个示例中，可通过神经网络标注的方式得到每个样本文本数据的分类标签信息。本公开对此不作限制。
其次，对文本分类网络的训练包括多轮迭代训练，本公开对“每一轮”的定义不作限制，本领域技术人员可以根据不同场景定义何为“一轮”。例如，“一轮训练”可以表示样本文本数据集中的所有数据全部输入文本分类网络一遍；又例如，“一轮训练”也可以表示样本文本数据集中的所有数据全部输入文本分类网络两遍甚至多遍；再例如，“一轮训练”还可以表示样本文本数据集中的预设数量的数据输入文本分类网络；等。本公开对此不作限制。
在本公开实施方式中，定义多轮迭代训练的前部分轮次为“第一部分轮次”，其余部分训练轮次为“第二部分轮次”。例如，可定义首轮训练为第一部分轮次，后续训练为第二部分轮次；又例如，可定义前若干次训练为第一部分轮次，后续训练为第二部分轮次；等。本领域技术人员对此可以理解，本公开对此不再赘述。
在第一部分轮次训练中，将样本文本数据集输入文本表示网络100，得到文本表示网络100输出的第一词向量。
在一个示例中，文本表示网络100为词嵌入网络，在输入样本文本数据之前，可首先对样本文本数据进行预处理，将每一个词转化为数字标号，然后将预处理后的文本数据输入词嵌入网络，词嵌入网络将每个词映射为空间向量，得到词向量。
在一个示例中，当文本数据为中文文本时，在输入样本文本数据之前，还可对样本文本数据进行分词处理，得到包括至少一个词语的文本数据。在下述中对分词处理进行详细说明，在此暂不详述。
在得到第一词向量之后，主干网络200进一步提取更高层的信息，例如语义信息、上下文信息等，输出层300根据主干网络200输出的特征进行分类，输出得到分类结果。
在一个示例中，主干网络200包括LSTM(Long Short Term Memory，长短时记忆)网络，LSTM网络不仅可以融合上下文信息，而且可以保留较早时间的信息，避免文本分类中的长期依赖问题。基于LSTM网络得到文本数据的特征序列，输出层300可以利用全连接网络作为分类器，从而根据特征序列得到每个特征序列对应的分类概率，选择最大概率即可得到最终的输出结果。
在得到每个样本文本数据的输出结果后，可根据输出结果以及样本文本数据自身对应的分类标签信息得到两者之间的差异，也即损失，然后通过反向传播算法即可根据该差异对文本表示网络100和主干网络200的网络参数进行调优，直至完成第一部分轮次的网络训练。
通过上述可知，在第一部分轮次的训练中，需要对文本表示网络100和主干网络200同时进行参数优化。在第一部分轮次训练完成之后，即可进行第二部分轮次的网络训练。
在第二部分轮次训练中，将样本文本数据输入文本表示网络100，得到文本表示网络100输出的第一词向量。在得到第一词向量之后，主干网络200进一步提取更高层的信息，例如语义信息、上下文信息等，输出层300根据主干网络200输出的特征进行分类，输出得到分类结果。此过程与第一部分轮次训练相同，参照前述即可，对此不再赘述。
在得到每个样本文本数据的输出结果后，可根据输出结果以及样本文本数据自身对应的分类标签信息得到两者之间的差异，也即损失，然后通过反向传播算法即可根据该差异，仅对主干网络200的网络参数进行调优，直至满足收敛条件，即可得到训练完成的文本分类网络。
通过上述可知，在第二轮次的训练中，仅针对主干网络200进行参数优化，而冻结文本表示网络100的优化，直至满足收敛条件，文本分类网络即训练完成。例如，当文本分类网络的输出结果与分类标签信息之间的差异满足预设阈值条件时，确定满足收敛条件；又例如，当训练次数满足预设次数阈值时，确定满足收敛条件；等。本公开对此不作限制。
通过上述可知，在本公开实施方式中，由于文本表示网络参数庞大，因此仅在第一部分轮次训练中进行训练，而在第二部分轮次中对文本表示网络进行冻结训练，大幅减少了网络训练时间，而且避免训练过程中文本表示网络对词向量过度优化导致网络过拟合，提高分类网络的训练速度和网络泛化能力。
在一些实施方式中，考虑到在第二部分轮次中，文本表示网络100冻结训练，文本表示网络100输出的词向量无法进行调整，相应降低了网络的文本表示能力，而且当样本数据分布变化时，网络的泛化能力变差。
基于此，在一些实施方式中，如图4所示，本公开文本分类网络还包括词向量调整网络400，词向量调整网络400位于文本表示网络100与主干网络200之间。
词向量调整网络400的作用是对文本表示网络100转换后的词向量结果进行调整，从而提高文本表示能力。但是可以理解，词向量调整网络400的参数远远小于文本表示网络100。例如一个示例中，词向量调整网络400可使用全连接网络实现。在本示例中，文本分类网络包括30000的词表，128维的词向量，句子空间长度为40。文本表示网络100的参数量为128*30000，而词向量调整网络400的参数量为128*40。可以看到，相对于文本表示网络100，词向量调整网络400的网络参数数量大幅减少。
基于图4所示文本分类网络结构，图5示出了本公开文本分类方法的一些实施方式，下面结合图4和图5进行具体说明。
如图5所示，在一些实施方式中，本公开示例的文本分类方法包括：
S510、将待分类的文本数据输入文本表示网络，得到文本表示网络输出的第一词向量。
具体而言，如图4所示网络结构，将待分类的文本数据输入文本表示网络100，文本表示网络100将文本数据转换为空间向量，也即第一词向量。
S520、将第一词向量输入词向量调整网络，得到词向量调整网络输出的第二词向量。
可以理解，基于前述可知，在网络训练阶段，在第二轮次训练中文本表示网络100冻结训练，因此网络的文本表示能力可能降低。在本公开一些实施方式中，将文本表示网络100输出的第一词向量输入词向量调整网络400，利用词向量调整网络400对第一词向量进一步进行调整，得到具有更好的文本表示效果的第二词向量。
S530、将第二词向量输入主干网络，得到输出结果。
具体而言，将第二词向量输入主干网络200，主干网络200进一步提取更高层的信息，例如语义信息、上下文信息等，输出层300根据主干网络200输出的特征进行分类，输出得到分类结果。
通过上述可知，本公开实施方式中，利用词向量调整网络400提高网络的文本表示能力，并且词向量调整网络的网络参数相较于文本表示网络数量更少，因此本公开文本分类方法在保证网络精度的情况下可降低网络训练时间，提高网络训练效率。
基于图4所示文本分类网络结构，图6示出了本公开文本分类方法中文本分类网络的训练过程，下面结合图4和图6进行具体说明。
如图6所示，在一些实施方式中，本公开示例的文本分类方法中文本分类网络的训练过程包括：
S610、在第二部分轮次训练中，基于文本分类网络的输出结果和分类标签信息，获取输出结果和所述分类标签信息之间的差异。
S620、基于差异调整词向量调整网络和主干网络的网络参数，直至差异满足收敛条件，得到训练后的文本分类网络。
具体而言，在网络训练阶段，对于第一部分轮次训练，可暂不设置词向量调整网络400，而是采用例如图2所示的文本表示网络结构，其训练过程也与前述相同，在此不再赘述。
而在第二部分轮次训练中，可在文本表示网络100与主干网络200之间设置词向量调整网络400，也即文本分类网络的网络结构如图4所示。
在第二部分轮次训练中，将样本文本数据输入文本表示网络100，得到文本表示网络100输出的第一词向量。然后将第一词向量输入词向量调整网络400，得到词向量调整网络输出的第二词向量。之后将第二词向量输入主干网络200和输出层300，得到输出层300的输出结果。在得到每个样本文本数据的输出结果后，可根据输出结果以及样本文本数据自身对应的分类标签信息得到两者之间的差异，然后通过反向传播算法即可根据该差异，对主干网络200和词向量调整网络400的网络参数进行调优，直至满足收敛条件，即可得到训练完成的文本分类网络。
可以理解的是，本公开实施方式中，在第二部分轮次训练中对文本表示网络100冻结训练，但是通过对词向量调整网络400的参数调优，仍旧可以使得文本分类网络具有较好的文本表示能力，进而保证网络精度。同时，词向量调整网络400的参数远远小于文本表示网络100，因此本公开文本分类方法在保证网络精度的情况下可降低网络训练时间，提高网络训练效率。
图7示出了本公开文本分类方法的一些实施方式中对文本分类网络的训练过程，图8示出了训练过程的原理图，下面结合图7和图8进一步说明。
如图7所示，在一些实施方式中，本公开示例的文本分类方法中对文本分类网络的训练过程包括：
S710、在第一部分轮次训练完成后，得到第一文本分类网络。
具体而言，如图8所示，在第一部分轮次训练中，文本分类网络的训练过程具体为：将样本文本数据集输入文本表示网络100，得到文本表示网络100输出的第一词向量。在得到第一词向量之后，主干网络200进一步提取更高层的信息，例如语义信息、上下文信息等，输出层300根据主干网络200输出的特征进行分类，输出得到分类结果。在得到每个样本文本数据的输出结果后，可根据输出结果以及样本文本数据自身对应的分类标签信息得到两者之间的差异，通过反向传播算法即可根据该差异对文本表示网络100和主干网络200的网络参数进行调优，直至完成第一部分轮次的网络训练。第一部分轮次的训练过程与上述相同，本领域技术人员参照前述即可，在此不再赘述。
在第一部分轮次对文本表示网络100和主干网络200训练之后，得到第一文本分类网络。
S720、根据第一文本分类网络的网络结构和网络参数，建立第二文本分类网络，第二文本分类网络包括词向量调整网络。
具体来说，在第一部分轮次训练完成之后，可首先建立镜像的文本分类网络，也即包括相同文本表示网络100、主干网络200以及输出层300的网络，同时将第一部分轮次训练完成的网络参数迁移至建立的网络中。如图8所示，在建立网络的过程中，在文本表示网络100和主干网络200之间增加词向量调整网络400，从而得到第二文本分类网络。
S730、在第二部分轮次训练中，基于第二文本分类网络的输出结果和分类标签信息，获取输出结果和所述分类标签信息之间的差异。
S740、基于差异调整第二文本分类网络的词向量调整网络和主干网络的网络参数，直至差异满足收敛条件，得到训练后的文本分类网络。
词向量调整网络400的作用是在第二部分轮次训练中，文本表示网络100冻结训练的情况下，通过词向量调整网络400对中间词向量结果进行调整。同时，词向量调整网络400的网络参数相对于文本表示网络100大幅减少，训练时间较少。
对于词向量调整网络400，其输入是128*40的特征向量表示的文本数据，经过相同大小128*40的矩阵的对应位置元素相乘，输出相同大小，也即128*40的特征向量。在对词向量调整网络400优化的过程中，相当于通过词向量调整网络400放大或缩小词向量的维度，从而减小误差。
在第二部分轮次的训练中，将样本文本数据输入文本表示网络100，得到文本表示网络100输出的第一词向量。词向量调整网络400根据文本表示网络100输出的第一词向量，通过上述处理得到第二词向量。在得到第二词向量之后，主干网络200进一步提取更高层的信息，例如语义信息、上下文信息等，输出层300根据主干网络200输出的特征进行分类，输出得到分类结果。
在得到每个样本文本数据的输出结果后，可根据输出结果以及样本文本数据自身对应的分类标签信息得到两者之间的差异，也即损失，然后通过反向传播算法即可根据该差异，对主干网络200和词向量微调层400的网络参数进行调优，直至满足收敛条件，即可得到训练完成的文本分类网络。
通过上述可知，本公开实施方式中，在第二部分轮次训练中对文本表示网络100冻结训练，但是通过对词向量调整网络400的参数调优，仍旧可以使得文本分类网络具有较好的文本表示能力，进而保证网络精度。同时，词向量调整网络400的参数远远小于文本表示网络100，因此本公开文本分类方法在保证网络精度的情况下可降低网络训练时间，提高网络训练效率。
在一些实施方式中，当文本数据为中文文本时，在输入样本文本数据之前，还可对样本文本数据进行分词处理，得到包括至少一个词语的文本数据，在基于处理后的数据对分类网络进行训练。
具体来说，可以基于设定的分词算法对文本数据进行分词处理，例如基于字符串匹配的分词算法、基于理解的分词算法、基于统计的分词算法等。本公开对此不作限制。
通过上述可知，在本公开实施方式中，在第二部分轮次训练中，虽然文本表示网络冻结训练，但是通过加入词向量调整网络补充参数，一方面相对于文本表示网络的训练大大减少了调整参数的数量，降低网络训练时间，另一方面可通过词向量调整网络对中间结果进行调整，提高文本表示能力，而且在样本分布发生变化时，通过词向量调整网络的参数调整，可适应不同数据分布，进一步提高网络泛化能力。
第二方面，本公开提供了一种文本分类网络的训练方法。如图9所示，在一些实施方式中，本公开示例的文本分类网络的训练方法包括：
S910、获取样本文本数据集。
S920、利用样本文本数据集，对未训练的文本分类网络进行多轮迭代训练。
本公开实施方式中，对于文本分类网络的训练包括多个轮次，也即利用样本文本数据集对文本分类网络进行多轮的迭代训练。具体来说，本公开示例的文本分类网络的网络结构可以参照前述第一方面任一实施方式进行实施，同时对于文本分类网络的训练过程可对应参照前述训练过程实施，本公开对此不再赘述。
通过上述可知，本公开实施方式的文本分类方法和文本分类网络的训练方法，在网络训练的第二部分轮次训练中，通过对文本表示网络冻结训练，大幅减少了网络训练时间，而且避免训练过程中文本表示网络对词向量过度优化导致网络过拟合，提高分类网络的训练速度和网络泛化能力。并且通过词向量调整网络对中间结果进行调整，提高文本表示能力，而且在样本分布发生变化时，通过词向量调整网络的参数调整，可适应不同数据分布，进一步提高网络泛化能力。
第三方面，本公开实施方式提供了一种文本分类装置。在一些实施方式中，本公开示例的文本分类装置包括：
输入模块，被配置为将待分类的文本数据输入训练后的文本分类网络，得到文本分类网络预测输出的分类结果。
其中，文本分类网络包括文本表示网络和主干网络，文本分类网络的训练过程包括：
获取样本文本数据集，样本文本数据集中的每个样本文本数据包括对应的分类标签信息；
利用样本文本数据集，对未训练的文本分类网络进行多轮迭代训练；多轮迭代训练包括第一部分轮次训练，以及除第一部分轮次训练之外的第二部分轮次训练；
其中，在第一部分轮次训练中，基于文本分类网络的输出结果和分类标签信息，获取输出结果和分类标签信息之间的差异，并基于差异调整文本表示网络和主干网络的网络参数；
在第二部分轮次训练中，基于文本分类网络的输出结果和分类标签信息，获取输出结果和分类标签信息之间的差异，并基于差异调整主干网络的网络参数，直至差异满足收敛条件，得到训练后的文本分类网络。
通过上述可知，在本公开实施方式中，由于文本表示网络参数庞大，因此仅在第一部分轮次训练中进行参数调整，而在第二部分轮次中对文本表示网络进行冻结，仅调整主干网络的网络参数，从而大幅减少了网络训练时间，而且避免训练过程中文本表示网络对词向量过度优化导致网络过拟合，提高分类网络的训练速度和网络泛化能力。
在一些实施方式中，文本分类网络还包括词向量调整网络，输入模块具体被配置为：
将待分类的文本数据输入文本表示网络，得到文本表示网络输出的第一词向量；
将第一词向量输入词向量调整网络，得到词向量调整网络输出的第二词向量；
将第二词向量输入所述主干网络，得到输出结果。
在一些实施方式中，在待分类的文本数据为中文文本时，所述装置还包括：
分词处理模块，被配置为对待分类的文本数据进行分词处理，得到处理后的文本数据。
在一些实施方式中，所述文本表示网络包括词嵌入网络。
在一些实施方式中，所述主干网络包括以下中至少之一：
长短时间记忆网络、循环神经网络、卷积神经网络以及注意力网络。
在一些实施方式中，所述词向量调整网络包括全连接网络。
第四方面，本公开实施方式提供了一种文本分类网络的训练装置。如图10所示，在一些实施方式中，本公开示例的文本分类网络的训练装置：
获取模块1010，被配置为获取样本文本数据集，样本文本数据集中的每个样本文本数据包括对应的分类标签信息。
多轮迭代训练模块1020，被配置为利用样本文本数据集，对未训练的文本分类网络进行多轮迭代训练；多轮迭代训练包括第一部分轮次训练，以及除第一部分轮次训练之外的第二部分轮次训练；其中，在第一部分轮次训练中，基于文本分类网络的输出结果和分类标签信息，获取输出结果和分类标签信息之间的差异，并基于差异调整文本表示网络和主干网络的网络参数；在第二部分轮次训练中，基于文本分类网络的输出结果和分类标签信息，获取输出结果和分类标签信息之间的差异，并基于差异调整主干网络的网络参数，直至满足收敛条件，得到训练后的文本分类网络。
通过上述可知，本公开实施方式中，在对文本分类网络训练时，在第二部分轮次训练中，通过对文本表示网络冻结训练，大幅减少了网络训练时间，而且避免训练过程中文本表示网络对词向量过度优化导致网络过拟合，提高分类网络的训练速度和网络泛化能力。并且通过词向量调整网络对中间结果进行调整，提高文本表示能力，而且在样本分布发生变化时，通过词向量调整网络的参数调整，可适应不同数据分布，进一步提高网络泛化能力。
第五方面，本公开提供了一种电子设备，包括：
处理器；和
存储器，存储有能够被处理器读取的计算机指令，当计算机指令被读取时，处理器执行根据第一方面或者第二方面任一实施方式的方法。
第六方面，本公开实施方式提供了一种存储介质，用于存储计算机可读指令，计算机可读指令用于使计算机执行根据第一方面或者第二方面任一实施方式的方法。
具体而言，图11示出了适于用来实现本公开方法的计算机系统600的结构示意图，通过图11所示系统，可实现上述处理器及存储介质相应功能。
如图11所示，计算机系统600包括处理器601和存储器602，处理器601可以根据存储在存储器602中的程序或者从存储部分608加载到存储器602中的程序而执行各种适当的动作和处理。在存储器602中，还存储有系统600操作所需的各种程序和数据。处理器601、存储器602通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施方式，上文方法过程可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行上述方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
显然，上述实施方式仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。
Claims (12)
1.一种文本分类方法，其特征在于，包括：
将待分类的文本数据输入训练后的文本分类网络，得到所述文本分类网络预测输出的分类结果；
其中，所述文本分类网络包括文本表示网络和主干网络，所述文本分类网络的训练过程包括：
获取样本文本数据集，所述样本文本数据集中的每个样本文本数据包括对应的分类标签信息；
利用所述样本文本数据集，对未训练的所述文本分类网络进行多轮迭代训练；所述多轮迭代训练包括第一部分轮次训练，以及除所述第一部分轮次训练之外的第二部分轮次训练；
其中，在所述第一部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述文本表示网络和所述主干网络的网络参数；
在所述第二部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
2.根据权利要求1所述的方法，其特征在于，所述文本分类网络还包括词向量调整网络，将待分类的文本数据输入训练后的文本分类网络，得到所述文本分类网络预测输出的分类结果，包括：
将待分类的文本数据输入所述文本表示网络，得到所述文本表示网络输出的第一词向量；
将所述第一词向量输入词向量调整网络，得到所述词向量调整网络输出的第二词向量；
将所述第二词向量输入所述主干网络，得到所述输出结果。
3.根据权利要求2所述的方法，其特征在于，所述文本分类网络的训练过程还包括：
在所述第二部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异；
基于所述差异调整所述词向量调整网络和所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
4.根据权利要求2所述的方法，其特征在于，所述文本分类网络的训练过程还包括：
在所述第一部分轮次训练完成后，得到第一文本分类网络；
根据所述第一文本分类网络的网络结构和网络参数，建立第二文本分类网络；所述第二文本分类网络包括所述词向量调整网络；
在所述第二部分轮次训练中，基于所述第二文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异；
基于所述差异调整所述第二文本分类网络的所述词向量调整网络和所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
5.根据权利要求1所述的方法，其特征在于，在所述待分类的文本数据为中文文本时，在将待分类的文本数据输入文本分类网络之前，所述方法还包括：
对所述待分类的文本数据进行分词处理，得到处理后的文本数据。
6.根据权利要求1至5任一项所述的方法，其特征在于，
所述文本表示网络包括词嵌入网络；
所述主干网络包括以下中至少之一：
长短时间记忆网络、循环神经网络、卷积神经网络以及注意力网络。
7.根据权利要求2至4任一项所述的方法，其特征在于，
所述词向量调整网络包括全连接网络。
8.一种文本分类网络的训练方法，其特征在于，所述文本分类网络包括文本表示网络和主干网络，所述方法包括：
获取样本文本数据集，所述样本文本数据集中的每个样本文本数据包括对应的分类标签信息；
利用所述样本文本数据集，对未训练的所述文本分类网络进行多轮迭代训练；所述多轮迭代训练包括第一部分轮次训练，以及除所述第一部分轮次训练之外的第二部分轮次训练；
其中，在所述第一部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述文本表示网络和所述主干网络的网络参数；
在所述第二部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
9.一种文本分类装置，其特征在于，包括：
输入模块，被配置为将待分类的文本数据输入训练后的文本分类网络，得到所述文本分类网络预测输出的分类结果；
其中，所述文本分类网络包括文本表示网络和主干网络，所述文本分类网络的训练过程包括：
获取样本文本数据集，所述样本文本数据集中的每个样本文本数据包括对应的分类标签信息；
利用所述样本文本数据集，对未训练的所述文本分类网络进行多轮迭代训练；所述多轮迭代训练包括第一部分轮次训练，以及除所述第一部分轮次训练之外的第二部分轮次训练；
其中，在所述第一部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述文本表示网络和所述主干网络的网络参数；
在所述第二部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
10.一种文本分类网络的训练装置，其特征在于，所述文本分类网络包括文本表示网络和主干网络，所述装置包括：
获取模块，被配置为获取样本文本数据集，所述样本文本数据集中的每个样本文本数据包括对应的分类标签信息；
多轮迭代训练模块，被配置为利用所述样本文本数据集，对未训练的所述文本分类网络进行多轮迭代训练；所述多轮迭代训练包括第一部分轮次训练，以及除所述第一部分轮次训练之外的第二部分轮次训练；
其中，在所述第一部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述文本表示网络和所述主干网络的网络参数；
在所述第二部分轮次训练中，基于所述文本分类网络的输出结果和所述分类标签信息，获取所述输出结果和所述分类标签信息之间的差异，并基于所述差异调整所述主干网络的网络参数，直至所述差异满足收敛条件，得到训练后的文本分类网络。
11.一种电子设备，其特征在于，包括：
处理器；和
存储器，存储有能够被所述处理器读取的计算机指令，当所述计算机指令被读取时，所述处理器执行根据权利要求1至7任一项所述的方法，或者执行根据权利要求8所述的方法。
12.一种存储介质，其特征在于，用于存储计算机可读指令，所述计算机可读指令用于使计算机执行根据权利要求1至7任一项所述的方法，或者执行根据权利要求8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110915419.XA CN113688237B (zh) | 2021-08-10 | 2021-08-10 | 文本分类方法、文本分类网络的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110915419.XA CN113688237B (zh) | 2021-08-10 | 2021-08-10 | 文本分类方法、文本分类网络的训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113688237A true CN113688237A (zh) | 2021-11-23 |
| CN113688237B CN113688237B (zh) | 2024-03-05 |
Family
ID=78579788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110915419.XA Active CN113688237B (zh) | 2021-08-10 | 2021-08-10 | 文本分类方法、文本分类网络的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113688237B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115243250A (zh) * | 2022-07-25 | 2022-10-25 | 每日互动股份有限公司 | 一种获取wifi画像的方法、系统及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046179A (zh) * | 2019-12-03 | 2020-04-21 | 哈尔滨工程大学 | 一种面向特定领域开放网络问句的文本分类方法 |
| CN111461304A (zh) * | 2020-03-31 | 2020-07-28 | 北京小米松果电子有限公司 | 分类神经网络的训练方法、文本分类方法、装置及设备 |
| WO2020164267A1 (zh) * | 2019-02-13 | 2020-08-20 | 平安科技（深圳）有限公司 | 文本分类模型构建方法、装置、终端及存储介质 |
| CN111723203A (zh) * | 2020-06-15 | 2020-09-29 | 苏州意能通信息技术有限公司 | 一种基于终生学习的文本分类方法 |
| CN112818691A (zh) * | 2021-02-01 | 2021-05-18 | 北京金山数字娱乐科技有限公司 | 命名实体识别模型训练方法及装置 |
| WO2021114625A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 用于多任务场景的网络结构构建方法和装置 |
| CN113205049A (zh) * | 2021-05-07 | 2021-08-03 | 开放智能机器（上海）有限公司 | 一种单据识别方法以及识别系统 |
-
2021
- 2021-08-10 CN CN202110915419.XA patent/CN113688237B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020164267A1 (zh) * | 2019-02-13 | 2020-08-20 | 平安科技（深圳）有限公司 | 文本分类模型构建方法、装置、终端及存储介质 |
| CN111046179A (zh) * | 2019-12-03 | 2020-04-21 | 哈尔滨工程大学 | 一种面向特定领域开放网络问句的文本分类方法 |
| CN111461304A (zh) * | 2020-03-31 | 2020-07-28 | 北京小米松果电子有限公司 | 分类神经网络的训练方法、文本分类方法、装置及设备 |
| WO2021114625A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 用于多任务场景的网络结构构建方法和装置 |
| CN111723203A (zh) * | 2020-06-15 | 2020-09-29 | 苏州意能通信息技术有限公司 | 一种基于终生学习的文本分类方法 |
| CN112818691A (zh) * | 2021-02-01 | 2021-05-18 | 北京金山数字娱乐科技有限公司 | 命名实体识别模型训练方法及装置 |
| CN113205049A (zh) * | 2021-05-07 | 2021-08-03 | 开放智能机器（上海）有限公司 | 一种单据识别方法以及识别系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张晓辉;于双元;王全新;徐保民;: "基于对抗训练的文本表示和分类算法", 计算机科学, no. 1, 15 June 2020 (2020-06-15) * |
| 杜思佳;于海宁;张宏莉;: "基于深度学习的文本分类研究进展", 网络与信息安全学报, no. 04, 15 August 2020 (2020-08-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115243250A (zh) * | 2022-07-25 | 2022-10-25 | 每日互动股份有限公司 | 一种获取wifi画像的方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113688237B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111414479B (zh) | 基于短文本聚类技术的标签抽取方法 | |
| CN113255694B (zh) | 训练图像特征提取模型和提取图像特征的方法、装置 | |
| CN107301170B (zh) | 基于人工智能的切分语句的方法和装置 | |
| CN108710611B (zh) | 一种基于词网络和词向量的短文本主题模型生成方法 | |
| CN111190997B (zh) | 一种使用神经网络和机器学习排序算法的问答系统实现方法 | |
| CN111078887B (zh) | 文本分类方法和装置 | |
| US20060074630A1 (en) | Conditional maximum likelihood estimation of naive bayes probability models | |
| CN112199501B (zh) | 一种科技信息文本分类方法 | |
| CN110705298A (zh) | 一种改进的前缀树与循环神经网络结合的领域分类方法 | |
| CN111414471B (zh) | 用于输出信息的方法和装置 | |
| CN112232070A (zh) | 自然语言处理模型构建方法、系统、电子设备及存储介质 | |
| CN113688237B (zh) | 文本分类方法、文本分类网络的训练方法及装置 | |
| CN117635275A (zh) | 基于大数据的智能电商运营商品管理平台及方法 | |
| CN116204610B (zh) | 一种基于可研报告命名实体识别的数据挖掘方法及装置 | |
| CN114996442B (zh) | 一种联合抽象程度判别和摘要优化的文本摘要生成系统 | |
| CN113806536B (zh) | 文本分类方法及其装置、设备、介质、产品 | |
| CN116010545A (zh) | 一种数据处理方法、装置及设备 | |
| CN110705287B (zh) | 一种用于文本摘要的生成方法和系统 | |
| CN114818738A (zh) | 一种客服热线用户意图轨迹识别的方法及系统 | |
| CN113469267A (zh) | 一种基于深度特征检索的文本图像字符识别方法与系统 | |
| CN116150379B (zh) | 短信文本分类方法、装置、电子设备及存储介质 | |
| CN109408706B (zh) | 一种图像过滤方法 | |
| CN115409135B (zh) | 一种网络业务文档的分类管理方法 | |
| CN111710331B (zh) | 基于多切片深度神经网络的语音立案方法和装置 | |
| WO2023213233A1 (zh) | 任务处理方法、神经网络的训练方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |