CN113486978B - 文本分类模型的训练方法、装置、电子设备及存储介质 - Google Patents

文本分类模型的训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113486978B
CN113486978B CN202110845713.8A CN202110845713A CN113486978B CN 113486978 B CN113486978 B CN 113486978B CN 202110845713 A CN202110845713 A CN 202110845713A CN 113486978 B CN113486978 B CN 113486978B
Authority
CN
China
Prior art keywords
model
classification
target
text classification
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110845713.8A
Other languages
English (en)
Other versions
CN113486978A (zh
Inventor
伍星
周湘阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110845713.8A priority Critical patent/CN113486978B/zh
Publication of CN113486978A publication Critical patent/CN113486978A/zh
Application granted granted Critical
Publication of CN113486978B publication Critical patent/CN113486978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种文本分类模型的训练方法、装置、电子设备及存储介质，其中方法基于目标分类任务的第一训练数据得到第一文本分类模型，基于目标参数对第二预训练模型进行初始化，得到第二文本分类模型，并采用第一文本分类模型和第二文本分类模型分别对目标分类任务的第二训练数据进行识别，并基于识别结果获取目标损失，以第一文本分类模型为老师模型、第二文本分类模型为学生模型，根据目标损失对第二文本分类模型进行反向传播，得到更新后的第二文本分类模型。由于本公开中进行模型蒸馏的老师模型和学生模型可以采用任意规模相同的Transformer预训练模型，且在学生模型初始化时基于目标参数来减少计算量，因此，可以大大提升学生模型的预测速度及效果。

Description

文本分类模型的训练方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种文本分类模型的训练方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展，基于自然语言处理的预训练模型进行文本分类取得了突破性的进展。然而，由于预训练模型的参数规模过于庞大，单个样本计算一次的开销动辄上百毫秒，从而很难应用到实际生产中。因此业界提出了很多专门为预训练模型设计的知识蒸馏方法。
而知识蒸馏作为一种重要的模型压缩手段，其通过“Teacher-Student网络思想”的训练方法，可以将复杂模型(也称老师模型、Teacher模型)中的特征表示“知识”蒸馏出来，迁移到简单模型(也称学生模型、Student模型)中，从而提高Student模型在任务上的表现。
但是现有的蒸馏模型架构中Teacher模型与Student模型无论是在模型深度还是模型宽度方面都存在较大差异。如Teacher模型是基于复杂、学习能力强的网络得到，其参数量巨大，推理速度慢，而Student模型则是基于简单、学习能力相对较弱的网络得到，其参数量较小，推理速度快。虽然Student模型能够从Teacher模型中学习到知识，但是基于上述差异导致Student模型的表达效果以及准确度远不及Teacher模型。
发明内容
本公开提供一种文本分类模型的训练方法、装置、电子设备及存储介质，以至少解决相关技术中基于Student模型与Teacher模型之间的差异，导致Student模型的表达效果及准确度远不及Teacher模型的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种文本分类模型的训练方法，包括:
基于目标分类任务的第一训练数据对第一预训练模型进行修正，得到修正后的第一文本分类模型；
基于目标参数对第二预训练模型进行初始化，得到初始化后的第二文本分类模型，所述第二预训练模型的网络参数与所述第一预训练模型的网络参数相同，所述目标参数是用于减少所述第二文本分类模型的计算量的超参数；
采用所述第一文本分类模型和所述第二文本分类模型分别对目标分类任务的第二训练数据进行识别，得到对所述第二训练数据的第一分类识别结果和第二分类识别结果；
基于所述第二训练数据以及所述第一分类识别结果和所述第二分类识别结果，获取目标损失；
以所述第一文本分类模型为老师模型、所述第二文本分类模型为学生模型，根据所述目标损失对所述第二文本分类模型进行反向传播，得到更新后的第二文本分类模型。
在其中一个实施例中，所述目标参数包括所述第二文本分类模型对目标分类任务的第二训练数据进行识别时，首次进行池化操作的网络层以及相邻两次池化操作之间间隔的网络层数；所述目标参数基于所述目标分类任务采用网络搜索的方法确定或根据所述目标分类任务的特征从预设参数中确定。
在其中一个实施例中，所述第二文本分类模型对目标分类任务的第二训练数据进行识别，包括：将所述目标分类任务的第二训练数据输入所述第二文本分类模型；获取所述第二文本分类模型对所述第二训练数据进行识别后的第二分类识别结果，所述第二分类识别结果是所述第二文本分类模型采用首次进行池化操作的网络层对所述网络层的输入进行池化操作、以及所述第二文本分类模型每经过间隔的网络层数后对对应网络层的输入进行池化操作后的特征进行特征识别得到的。
在其中一个实施例中，所述目标参数还包括进行池化操作的类型，所述池化操作的类型包括平均池化和最大池化中的任一种。
在其中一个实施例中，所述目标参数还包括进行池化操作的窗口大小和步长。
在其中一个实施例中，所述第二训练数据中标注了目标分类结果；所述基于所述第二训练数据以及所述第一分类识别结果和所述第二分类识别结果，获取目标损失，包括：基于所述第二训练数据中标注的目标分类结果以及所述第一分类识别结果，获取第一分类损失；基于所述第二训练数据中标注的目标分类结果以及所述第二分类识别结果，获取第二分类损失；根据所述第一分类损失和所述第二分类损失，计算所述目标损失。
根据本公开实施例的第二方面，提供一种文本分类方法，所述方法包括：
获取待处理数据；
通过文本分类模型对所述待处理数据进行分类处理，得到所述待处理数据的分类结果，所述文本分类模型为通过如上第一方而任一项所述的文本分类模型的训练方法得到的更新后的第二文本分类模型。
根据本公开实施例的第三方面，提供一种文本分类模型的训练装置，包括：
第一文本分类模型获取模块，被配置为执行基于目标分类任务的第一训练数据对第一预训练模型进行修正，得到修正后的第一文本分类模型；
第二文本分类模型获取模块，被配置为执行基于目标参数对第二预训练模型进行初始化，得到初始化后的第二文本分类模型，所述第二预训练模型的网络参数与所述第一预训练模型的网络参数相同，所述目标参数是用于减少所述第二文本分类模型的计算量的超参数；
分类识别模块，被配置为执行采用所述第一文本分类模型和所述第二文本分类模型分别对目标分类任务的第二训练数据进行识别，得到对所述第二训练数据的第一分类识别结果和第二分类识别结果；
目标损失获取模块，被配置为执行基于所述第二训练数据以及所述第一分类识别结果和所述第二分类识别结果，获取目标损失；
训练模块，被配置为执行以所述第一文本分类模型为老师模型、所述第二文本分类模型为学生模型，根据所述目标损失对所述第二文本分类模型进行反向传播，得到更新后的第二文本分类模型。
在其中一个实施例中，所述目标参数包括所述第二文本分类模型对目标分类任务的第二训练数据进行识别时，首次进行池化操作的网络层以及相邻两次池化操作之间间隔的网络层数；所述装置还包括目标参数获取模块，被配置为执行基于所述目标分类任务采用网络搜索的方法确定目标参数或根据所述目标分类任务的特征从预设参数中确定目标参数。
在其中一个实施例中，所述分类识别模块被配置为执行：将所述目标分类任务的第二训练数据输入所述第二文本分类模型；获取所述第二文本分类模型对所述第二训练数据进行识别后的第二分类识别结果，所述第二分类识别结果是所述第二文本分类模型采用首次进行池化操作的网络层对所述网络层的输入进行池化操作、以及所述第二文本分类模型每经过间隔的网络层数后对对应网络层的输入进行池化操作后的特征进行特征识别得到的。
在其中一个实施例中，所述目标参数还包括进行池化操作的类型，所述池化操作的类型包括平均池化和最大池化中的任一种。
在其中一个实施例中，所述目标参数还包括进行池化操作的窗口大小和步长。
在其中一个实施例中，所述第二训练数据中标注了目标分类结果；所述目标损失获取模块被配置为执行：基于所述第二训练数据中标注的目标分类结果以及所述第一分类识别结果，获取第一分类损失；基于所述第二训练数据中标注的目标分类结果以及所述第二分类识别结果，获取第二分类损失；根据所述第一分类损失和所述第二分类损失，计算所述目标损失。
根据本公开实施例的第四方面，提供一种文本分类装置，包括：
待处理数据获取模块，被配置为执行获取待处理数据；
分类结果获取模块，被配置为执行通过文本分类模型对所述待处理数据进行分类处理，得到所述待处理数据的分类结果，所述文本分类模型为通过如上第一方面任一项所述的文本分类模型的训练方法得到的更新后的第二文本分类模型。
根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，使得电子设备执行第一方面的任一项实施例中所述的文本分类模型的训练方法。
根据本公开实施例的第六方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行第一方面的任一项实施例中所述的文本分类模型的训练方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行第一方面的任一项实施例中所述的文本分类模型的训练方法。
本公开的实施例提供的技术方案至少带来以下有益效果：基于目标分类任务的第一训练数据对第一预训练模型进行修正，得到修正后的第一文本分类模型，基于目标参数对第二预训练模型进行初始化，得到初始化后的第二文本分类模型，并采用第一文本分类模型和第二文本分类模型分别对目标分类任务的第二训练数据进行识别，得到对第二训练数据的第一分类识别结果和第二分类识别结果，进而基于第二训练数据以及第一分类识别结果和第二分类识别结果，获取目标损失，以第一文本分类模型为老师模型、第二文本分类模型为学生模型，根据目标损失对第二文本分类模型进行反向传播，得到更新后的第二文本分类模型。由于本公开中进行模型蒸馏的老师模型和学生模型可以采用任意的Transformer预训练模型，从而不需要额外单独进行预训练处理，因此节约了预训练资源。又由于学生模型与老师模型的规模相同，且在学生模型初始化时基于目标参数来减少计算量，因此，可以大大提升学生模型的预测速度及效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的传统的模型蒸馏结构示意图。
图2是根据另一示例性实施例示出的传统的模型蒸馏结构示意图。
图3是根据一示例性实施例示出的一种文本分类模型的训练方法的流程图。
图4是根据一示例性实施例示出的获取目标损失的步骤的流程示意图。
图5是根据另一示例性实施例示出的文本分类模型的蒸馏结构示意图。
图6是根据一示例性实施例示出的一种文本分类方法的流程图。
图7是根据一示例性实施例示出的一种文本分类模型的训练装置的框图。
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
由于传统技术中基于Student模型与Teacher模型之间的差异，导致Student模型的表达效果及准确度远不及Teacher模型。而TinyBERT作为一种基于Transformer(一种基于encoder-decoder结构的模型)的模型专门设计的知识蒸馏方法被提出。如图1所示，对于多层Transformer模型，假定Student模型有M个Transformer层，Teacher模型有N个Transformer层，其中N大于M，则从Teacher模型中选择M个Transformer层用于对Student模型中的Transformer层蒸馏。并通过建立Student层到对应的Teacher层的映射函数来学习信息，同时嵌入层蒸馏和预测层蒸馏也会被考虑进来。但是，由于Student模型在深度和宽度上都有所减小，导致模型的容量减小，因此在效果上容易出现明显的降低。
TinyBERT还提出了一种专门用于TinyBERT的两段式学习框架，从而分别在预训练阶段和针对特定任务的学习阶段执行Transformer蒸馏。这一框架虽然能够确保TinyBERT可以获取TeacherBERT的通用知识和针对特定任务的知识。但是，由于需要预训练阶段的蒸馏，这个阶段虽然只需要做一次，但是成本很大，而且对于不同的预训练模型，无法直接使用，都需要先做预训练蒸馏，再做针对特定任务的学习蒸馏，从而导致耗费大量算力。
而Funnel Transformer(漏斗变压器)提出了另一种可以有效提高Transformer处理长序列效率的方法，如图2所示：随着模型加深，使用池化操作(Pool)压缩在输入序列方向上的长度，让模型变窄，从而节约高层的参数量，直到最后得到单个向量(或几个，取决于具体任务的需要)。由于Transformer的空间复杂度是输入序列长度的平方级，当输入序列很长的时候，Transformer会消耗大量空间，从而降低运算效率。在句子级任务上的实验表明，Funnel-Transformer在相同的FLOPS(floating-point operations per second，每秒所执行的浮点运算次数)和模型大小下能实现更好的效果。但是，传统的FunnelTransformer是为预训练阶段设计的，因此，Funnel Transformer的encoder在fine-tune(微调)阶段不能直接替换成其它预训练模型，而是需要巨大的算力在大量的数据上从头进行训练，从而导致资源消耗过大。
基于此，本公开提供了一种文本分类模型的训练方法，使得Student模型在知识蒸馏的时候，能够使用和Teacher模型同等复杂、学习能力相当的大网络，同时还能够解决推理速度慢的瓶颈，且保障了模型的表达效果。如图3所示，包括以下步骤。
在步骤S310中，基于目标分类任务的第一训练数据对第一预训练模型进行修正，得到修正后的第一文本分类模型。
其中，第一预训练模型可以是已有的任意基于Transformer的预训练模型，从而不需要额外单独进行预训练处理。第一训练数据则是基于一定的目标分类任务而挖掘的用于对第一预训练模型进行修正，使得模型能够基于第一训练数据微调至收敛(即修正的过程)而用于具体的目标分类任务的样本数据。目标分类任务则是基于具体的分类场景进行文本分类的任务，包括但不限于问答匹配的分类任务、意图识别的分类任务等。第一文本分类模型则是基于具体的目标分类任务的第一训练数据对第一预训练模型进行训练后得到的收敛后的模型，该第一文本分类模型还是用于模型蒸馏的老师模型。在本实施例中，基于目标分类任务的第一训练数据对第一预训练模型进行修正，从而得到修正后的第一文本分类模型。
在步骤S320中，基于目标参数对第二预训练模型进行初始化，得到初始化后的第二文本分类模型。
其中，第二预训练模型的网络参数与第一预训练模型的网络参数相同，也就是说第二预训练模型可以采用与第一预训练模型完全相同的预训练模型。第二文本分类模型则是基于目标参数对第二预训练模型进行初始化后得到的模型，该第二文本分类模型还是用于模型蒸馏的学生模型。具体地，目标参数则是用于减少第二文本分类模型的计算量的超参数。在本实施例中，基于目标参数对第二预训练模型进行初始化，从而得到初始化后的第二文本分类模型。
在步骤S330中，采用第一文本分类模型和第二文本分类模型分别对目标分类任务的第二训练数据进行识别，得到对第二训练数据的第一分类识别结果和第二分类识别结果。
其中，目标分类任务的第二训练数据是基于目标分类任务进行模型蒸馏的样本数据。第一分类识别结果是第一文本分类模型对第二训练数据进行识别后得到的分类结果，第二分类识别结果是第二文本分类模型对第二训练数据进行识别后得到的分类结果。具体地，通过采用第一文本分类模型对目标分类任务的第二训练数据进行识别，从而得到对第二训练数据的第一分类识别结果。通过采用第二文本分类模型对目标分类任务的第二训练数据进行识别，从而得到对第二训练数据的第二分类识别结果。
在步骤S340中，基于第二训练数据以及第一分类识别结果和第二分类识别结果，获取目标损失。
其中，目标损失是模型蒸馏损失，用于表征在模型蒸馏过程中第二文本分类模型相对于第一文本分类模型的差距。具体地，第二训练数据中标注了目标结果，因此，基于第一文本分类模型输出的第一分类识别结果与目标结果之间的差异可以得到第一分类损失，基于第二文本分类模型输出的第二分类识别结果与目标结果之间的差异可以得到第二分类损失，进而基于第一分类损失和第二分类损失可以确定目标损失。
在步骤S350中，以第一文本分类模型为老师模型、第二文本分类模型为学生模型，根据目标损失对第二文本分类模型进行反向传播，得到更新后的第二文本分类模型。
具体地，以第一文本分类模型为老师模型、第二文本分类模型为学生模型，并根据上述获取的目标损失对第二文本分类模型进行反向传播，以更新优化第二文本分类模型中的模型参数，从而得到更新后的第二文本分类模型，即完成对学生模型的蒸馏。
上述文本分类模型的训练方法，基于目标分类任务的第一训练数据对第一预训练模型进行修正，得到修正后的第一文本分类模型，基于目标参数对第二预训练模型进行初始化，得到初始化后的第二文本分类模型，并采用第一文本分类模型和第二文本分类模型分别对目标分类任务的第二训练数据进行识别，得到对第二训练数据的第一分类识别结果和第二分类识别结果，进而基于第二训练数据以及第一分类识别结果和第二分类识别结果，获取目标损失，以第一文本分类模型为老师模型、第二文本分类模型为学生模型，根据目标损失对第二文本分类模型进行反向传播，得到更新后的第二文本分类模型。由于本公开中进行模型蒸馏的老师模型和学生模型可以采用任意的Transformer预训练模型，从而不需要额外单独进行预训练处理，因此节约了预训练资源。又由于学生模型与老师模型的规模相同，且在学生模型初始化时基于目标参数来减少计算量，因此，可以大大提升学生模型的预测速度及效果。
在一示例性实施例中，第二训练数据中标注了目标分类结果，则如图4所示，在步骤S340中，基于第二训练数据以及第一分类识别结果和第二分类识别结果，获取目标损失，具体可以通过以下步骤实现：
在步骤S410中，基于第二训练数据中标注的目标分类结果以及第一分类识别结果，获取第一分类损失。
其中，目标分类结果是第二训练数据中标注的实际分类结果。第一分类识别结果是基于第一文本分类模型对第二训练数据进行识别后预测的分类结果。第一分类损失则是第一文本分类模型预测的分类结果与实际分类结果之间的差异。在本实施例中，第一分类损失可以采用逻辑回归损失函数进行计算。具体地，逻辑回归损失函数包括但不限于交叉熵损失函数(softmax cross entropy,简称SCE)、均方误差损失函数(Mean Square Error,简称MSE)等。
在步骤S420中，基于第二训练数据中标注的目标分类结果以及第二分类识别结果，获取第二分类损失。
其中，第二分类识别结果是基于第二文本分类模型对第二训练数据进行识别后预测的分类结果。第二分类损失则是第二文本分类模型预测的分类结果与实际分类结果之间的差异。在本实施例中，基于第二训练数据中标注的目标分类结果以及第二分类识别结果，并采用与上述第一分类损失相同的方法计算损失后再经过一次对数运算，从而得到第二分类损失。举例来说，若基于交叉熵损失函数计算损失，则第一分类损失具体可以采用softmax函数进行计算，第二分类损失具体可以采用log_softmax函数进行计算。
在步骤S430中，根据第一分类损失和第二分类损失，计算目标损失。
在本实施例中，基于第一分类损失和第二分类损失，计算目标损失。具体地，可以计算第一分类损失和第二分类损失的乘积，从而将乘积作为目标损失。
举例来说，若目标分类结果为Z，第一分类识别结果为Z1，第二分类识别结果Z2，则可以采用如下交叉熵损失函数计算目标损失L，即L＝-softmax(Z1，Z)×log_softmax(Z2/t，Z)，其中，-softmax(Z1，Z)为第一分类损失，log_softmax(Z2/t，Z)为第二分类损失，其中t为温度参数，一般取1。
上述实施例中，基于第二训练数据中标注的目标分类结果以及第一分类识别结果，获取第一分类损失，并基于第二训练数据中标注的目标分类结果以及第二分类识别结果，获取第二分类损失，进而根据第一分类损失和第二分类损失，计算得到目标损失。由于目标损失表征在模型蒸馏过程中第二文本分类模型相对于第一文本分类模型的差距，因此，基于目标损失优化第二文本分类模型的模型参数，使得第二文本分类模型能够达到与第一文本分类模型类似的预测效果。
在一示例性实施例中，以第一预训练模型和第二预训练模型为开源的BERT模型为例来说，则在目标任务上基于第一训练数据微调Teacher BERT模型(即第一预训练模型)，直到模型收敛，得到最终的Teacher模型(即第一文本分类模型)。并基于目标参数对Student BERT模型(即第二预训练模型)进行初始化，初始化后的模型即为Student模型(即第二文本分类模型)。进而基于第二训练数据进行模型蒸馏，具体地，目标参数包括Student模型对第二训练数据进行识别时，首次进行池化操作的网络层以及相邻两次池化操作之间间隔的网络层数。
具体地，算法过程如图5所示，对于左边的Teacher模型，基于第二训练数据及其数据的序列长度逐层计算每个位置的损失，并由最后一层CLS位置的向量经过分类器后输出第一分类识别结果。对于右边的Student模型，由于Transformer的时间复杂度是数据序列长度的平方级，当数据序列很长的时候，Transformer会消耗大量空间，从而降低运算效率。基于此，本公开通过采用目标参数进行初始化，使得Student模型在相邻两次池化操作之间间隔若干网络层，从而能够有效地基于数据序列长度的维度降低Student模型的时间复杂度，并能够将关键特征信息保存下来。
其中，Transformer中的Self-Attention时间复杂度可通过O＝n2×d来表示，其中n是数据的序列长度，d是模型的参数维度。举例来说，对于图5中预训练模型为12层的网络结构，Student模型每经过一次池化操作后，n则减少为n/2，时间复杂度则降低到原来的1/4。因此，对于图5中的Student模型，其前向传播的计算量大致只有Teacher模型的1/3，从而可以提高Student模型的预测速度。
又由于在越底层开始做池化操作，则底层信息保留得就越少，计算量则减少得越多；而隔更少的层做一次池化操作，计算量也减少得越多。基于此，在对Student BERT模型进行初始化时，首次进行池化操作的网络层以及相邻两次池化操作之间间隔的网络层数至关重要。也即，首次进行池化操作的网络层越大，其推理速度也就越慢，但是效果会更好，而首次进行池化操作的网络层越小，则其推理速度更快。而两次池化操作之间间隔的网络层数越小，则推理速度越快。
在实际应用中，可以基于具体的目标分类任务的特征确定，例如，对于简单的分类任务，由于需要保留的信息少，可以基于预设的推荐设定在第1层第一次做池化操作，然后每隔2层就做一次池化操作；对于复杂的分类任务，由于需要保留的信息更多，可以基于预设的推荐设定在第3层第一次做池化操作，然后每隔4层就做一次池化操作。当然，还可以基于具体的目标分类任务采用网络搜索的方法确定上述参数。
具体地，若在模型初始化过程中，确定Student模型中首次进行池化操作的网络层以及相邻两次池化操作之间间隔的网络层数后，则Student模型基于第二训练数据进行识别时，仅在first_pool_layer(首次进行池化操作的网络层)+k(两次池化操作之间间隔的网络层数)*pool_every_n_layers的层，对其输入进行池化操作，从而实现输入长度减半并能将关键特征信息保存下来，进而由Student模型最后一层CLS位置的向量经过分类器后输出第二分类识别结果。
进而基于上述如图4所示的方法计算目标损失，并基于目标损失通过反向传播更新Student模型的参数，使得计算量减少的Student模型在任务上的表现逼近完整计算量的Teacher模型的表现。
在一示例性实施例中，为了增加Student模型在预测时预测结果(即第二分类识别结果)中不同概率之间的区分度，可以在上述图4所示的实施例中确定目标损失的损失函数中增加熵惩罚。因此，在对Student模型进行初始化的目标参数中还可以包括是否增加熵惩罚的配置参数。
在一示例性实施例中，为了使得Student模型可以更好的收敛，在对Student模型进行初始化的目标参数中还可以包括采用何种损失函数计算目标损失的的配置参数。具体可以根据目标分类任务进行损失函数的配置。
在一示例性实施例中，为了进一步提升Student模型的性能，还可以让Student模型在中间隐层的状态矩阵来逼近Teacher模型，即通过Student模型的隐层参与计算损失。因此，在对Student模型进行初始化的目标参数中还可以包括是否让隐层参与计算损失的配置参数。
在一示例性实施例中，目标参数还包括进行池化操作的类型，池化操作的类型包括平均池化和最大池化中的任一种。由于不同的目标分类任务具有不同的特点，因此，对于不同的目标分类任务可以采用不同的池化操作进行特征提取，以更好的突出分类任务的特点。例如，对于只需要提取部分信息的目标分类任务，则采用最大池化效果较好，而对于需要参考所有特征信息的目标分类任务，则采用平均池化的效果较好。因此，在对Student模型进行初始化的目标参数中还可以包括对池化操作的类型进行选择的配置参数。
在一示例性实施例中，在对Student模型进行初始化的目标参数中还可以包括对池化操作的窗口大小和步长的配置参数。其具体可以根据目标分类任务的特点进行配置，从而使得Student模型能更高效的应用在目标分类任务上。
由上述可知，在对Student模型进行初始化时的目标参数很多，参数空间也很大，因此，为了找到最适合目标分类任务的参数配置，可以使用网络搜索(grid-search)的方法进行搜索配置。
在一示例性实施例中，基于查询分类任务进一步验证了上述文本分类模型的训练方法的效果。具体地，Teacher模型和Student模型都使用BERT-base(12层)的预训练模型，若输入数据的最大长度为128，对Student模型进行初始化的目标参数如下表1所示，表1：
对于两次池化操作之间间隔的网络层数的不同，其对应效果如下表2所示(其中，funnel-distill-X表示每隔X层做一次池化操作，与上述表1中的pool_every_n_layers含义相同)，其他参数采用表1中的默认值，表2如下所示：
从上述表2中可知，随着pool_every_n_layers的减小，模型的预测速度越来越快，但是在性能上并没有较大的损失，且在pool_every_n_layers＝2(Bert-base-12层+funnel-distill-2)的时候，相比于Teacher模型，甚至得到了2.74倍的速度提升，但在精度上只有0.18％的降低。从而充分证明了上述的训练方法能够保证Student模型在分类任务上优秀的表现。
在一示例性实施例中，如图6所示，本公开还提供了一种文本分类方法，包括：
在步骤S610中，获取待处理数据。
其中，待处理数据是指待要进行文本分类处理的输入数据。文本分类处理包括包括但不限于问答匹配的分类处理、意图识别的分类处理等。本实施例中并不对此进行限定。
在步骤S620中，通过文本分类模型对待处理数据进行分类处理，得到待处理数据的分类结果。
其中，文本分类模型是通过如上图3至图5所述的文本分类模型的训练方法得到的更新后的第二文本分类模型。分类结果则是基于上述得到的更新后的第二文本分类模型对待处理数据进行识别后得到的预测类别。具体地，基于上述得到的更新后的第二文本分类模型对待处理数据进行分类处理，从而得到待处理数据的分类结果。
由于上述用于进行文本分类处理的分类模型是通过如上图3至图5所述的文本分类模型的训练方法得到的更新后的第二文本分类模型，因此，该第二文本分类模型具有较好的预测效果及预测速度，从而能够提高对待处理数据的预测效率及准确度。
应该理解的是，虽然图3-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
图7是根据一示例性实施例示出的一种文本分类模型的训练装置框图。参照图7，该装置包括第一文本分类模型获取模块702，第二文本分类模型获取模块704，分类识别模块706，目标损失获取模块708和训练模块710。
第一文本分类模型获取模块702，被配置为执行基于目标分类任务的第一训练数据对第一预训练模型进行修正，得到修正后的第一文本分类模型；
第二文本分类模型获取模块704，被配置为执行基于目标参数对第二预训练模型进行初始化，得到初始化后的第二文本分类模型，所述第二预训练模型的网络参数与所述第一预训练模型的网络参数相同，所述目标参数是用于减少所述第二文本分类模型的计算量的超参数；
分类识别模块706，被配置为执行采用所述第一文本分类模型和所述第二文本分类模型分别对目标分类任务的第二训练数据进行识别，得到对所述第二训练数据的第一分类识别结果和第二分类识别结果；
目标损失获取模块708，被配置为执行基于所述第二训练数据以及所述第一分类识别结果和所述第二分类识别结果，获取目标损失；
训练模块710，被配置为执行以所述第一文本分类模型为老师模型、所述第二文本分类模型为学生模型，根据所述目标损失对所述第二文本分类模型进行反向传播，得到更新后的第二文本分类模型。
在一示例性实施例中，所述目标参数包括所述第二文本分类模型对目标分类任务的第二训练数据进行识别时，首次进行池化操作的网络层以及相邻两次池化操作之间间隔的网络层数；所述装置还包括目标参数获取模块，被配置为执行基于所述目标分类任务采用网络搜索的方法确定目标参数或根据所述目标分类任务的特征从预设参数中确定目标参数。
在一示例性实施例中，所述分类识别模块被配置为执行：将所述目标分类任务的第二训练数据输入所述第二文本分类模型；获取所述第二文本分类模型对所述第二训练数据进行识别后的第二分类识别结果，所述第二分类识别结果是所述第二文本分类模型采用首次进行池化操作的网络层对所述网络层的输入进行池化操作、以及所述第二文本分类模型每经过间隔的网络层数后对对应网络层的输入进行池化操作后的特征进行特征识别得到的。
在一示例性实施例中，所述目标参数还包括进行池化操作的类型，所述池化操作的类型包括平均池化和最大池化中的任一种。
在一示例性实施例中，所述目标参数还包括进行池化操作的窗口大小和步长。
在一示例性实施例中，所述第二训练数据中标注了目标分类结果；所述目标损失获取模块被配置为执行：基于所述第二训练数据中标注的目标分类结果以及所述第一分类识别结果，获取第一分类损失；基于所述第二训练数据中标注的目标分类结果以及所述第二分类识别结果，获取第二分类损失；根据所述第一分类损失和所述第二分类损失，计算所述目标损失。
关于上述实施例中的文本分类模型的训练装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在一示例性实施例中，本公开还提供了一种文本分类装置，包括待处理数据获取模块和分类结果获取模块，其中：
待处理数据获取模块，被配置为执行获取待处理数据；
分类结果获取模块，被配置为执行通过文本分类模型对所述待处理数据进行分类处理，得到所述待处理数据的分类结果，所述文本分类模型为通过如上第一方面任一项所述的文本分类模型的训练方法得到的更新后的第二文本分类模型。
关于上述实施例中的文本分类装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于文本分类模型的训练的设备Z00的框图。例如，设备Z00可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图8，设备Z00可以包括以下一个或多个组件：处理组件Z02、存储器Z04、电源组件Z06、多媒体组件Z08、音频组件Z10、输入/输出(I/O)的接口Z12、传感器组件Z14以及通信组件Z16。
处理组件Z02通常控制设备Z00的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件Z02可以包括一个或多个处理器Z20来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件Z02可以包括一个或多个模块，便于处理组件Z02和其他组件之间的交互。例如，处理组件Z02可以包括多媒体模块，以方便多媒体组件Z08和处理组件Z02之间的交互。
存储器Z04被配置为存储各种类型的数据以支持在设备Z00的操作。这些数据的示例包括用于在设备Z00上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器Z04可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件Z06为设备Z00的各种组件提供电力。电源组件Z06可以包括电源管理系统，一个或多个电源，及其他与为设备Z00生成、管理和分配电力相关联的组件。
多媒体组件Z08包括在所述设备Z00和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件Z08包括一个前置摄像头和/或后置摄像头。当设备Z00处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件Z10被配置为输出和/或输入音频信号。例如，音频组件Z10包括一个麦克风(MIC)，当设备Z00处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器Z04或经由通信组件Z16发送。在一些实施例中，音频组件Z10还包括一个扬声器，用于输出音频信号。
I/O接口Z12为处理组件Z02和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件Z14包括一个或多个传感器，用于为设备Z00提供各个方面的状态评估。例如，传感器组件Z14可以检测到设备Z00的打开/关闭状态，组件的相对定位，例如所述组件为设备Z00的显示器和小键盘，传感器组件Z14还可以检测设备Z00或设备Z00一个组件的位置改变，用户与设备Z00接触的存在或不存在，设备Z00方位或加速/减速和设备Z00的温度变化。传感器组件Z14可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件Z14还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件Z14还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件Z16被配置为便于设备Z00和其他设备之间有线或无线方式的通信。设备Z00可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件Z16经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件Z16还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备Z00可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器Z04，上述指令可由设备Z00的处理器Z20执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行上述实施例所述的文本分类模型的训练方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种文本分类模型的训练方法，其特征在于，所述方法包括：
基于目标分类任务的第一训练数据对第一预训练模型进行修正，得到修正后的第一文本分类模型；
基于目标参数对第二预训练模型进行初始化，得到初始化后的第二文本分类模型，所述第二预训练模型的网络参数与所述第一预训练模型的网络参数相同，所述目标参数是用于减少所述第二文本分类模型的计算量的超参数；
采用所述第一文本分类模型和所述第二文本分类模型分别对目标分类任务的第二训练数据进行识别，得到对所述第二训练数据的第一分类识别结果和第二分类识别结果，所述目标参数包括所述第二文本分类模型对目标分类任务的第二训练数据进行识别时，首次进行池化操作的网络层以及相邻两次池化操作之间间隔的网络层数；
基于所述第二训练数据以及所述第一分类识别结果和所述第二分类识别结果，获取目标损失；
以所述第一文本分类模型为老师模型、所述第二文本分类模型为学生模型，根据所述目标损失对所述第二文本分类模型进行反向传播，得到更新后的第二文本分类模型。
2.根据权利要求1所述的方法，其特征在于，所述目标参数基于所述目标分类任务采用网络搜索的方法确定或根据所述目标分类任务的特征从预设参数中确定。
3.根据权利要求2所述的方法，其特征在于，所述第二文本分类模型对目标分类任务的第二训练数据进行识别，包括：
将所述目标分类任务的第二训练数据输入所述第二文本分类模型；
获取所述第二文本分类模型对所述第二训练数据进行识别后的第二分类识别结果，所述第二分类识别结果是所述第二文本分类模型采用首次进行池化操作的网络层对所述网络层的输入进行池化操作、以及所述第二文本分类模型每经过间隔的网络层数后对对应网络层的输入进行池化操作后的特征进行特征识别得到的。
4.根据权利要求2所述的方法，其特征在于，所述目标参数还包括进行池化操作的类型，所述池化操作的类型包括平均池化和最大池化中的任一种。
5.根据权利要求2所述的方法，其特征在于，所述目标参数还包括进行池化操作的窗口大小和步长。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述第二训练数据中标注了目标分类结果；所述基于所述第二训练数据以及所述第一分类识别结果和所述第二分类识别结果，获取目标损失，包括：
基于所述第二训练数据中标注的目标分类结果以及所述第一分类识别结果，获取第一分类损失；
基于所述第二训练数据中标注的目标分类结果以及所述第二分类识别结果，获取第二分类损失；
根据所述第一分类损失和所述第二分类损失，计算所述目标损失。
7.一种文本分类方法，其特征在于，所述方法包括：
获取待处理数据；
通过文本分类模型对所述待处理数据进行分类处理，得到所述待处理数据的分类结果，所述文本分类模型为通过如权利要求1-6任一项所述的文本分类模型的训练方法得到的更新后的第二文本分类模型。
8.一种文本分类模型的训练装置，其特征在于，包括：
第一文本分类模型获取模块，被配置为执行基于目标分类任务的第一训练数据对第一预训练模型进行修正，得到修正后的第一文本分类模型；
第二文本分类模型获取模块，被配置为执行基于目标参数对第二预训练模型进行初始化，得到初始化后的第二文本分类模型，所述第二预训练模型的网络参数与所述第一预训练模型的网络参数相同，所述目标参数是用于减少所述第二文本分类模型的计算量的超参数；
分类识别模块，被配置为执行采用所述第一文本分类模型和所述第二文本分类模型分别对目标分类任务的第二训练数据进行识别，得到对所述第二训练数据的第一分类识别结果和第二分类识别结果，所述目标参数包括所述第二文本分类模型对目标分类任务的第二训练数据进行识别时，首次进行池化操作的网络层以及相邻两次池化操作之间间隔的网络层数；
目标损失获取模块，被配置为执行基于所述第二训练数据以及所述第一分类识别结果和所述第二分类识别结果，获取目标损失；
训练模块，被配置为执行以所述第一文本分类模型为老师模型、所述第二文本分类模型为学生模型，根据所述目标损失对所述第二文本分类模型进行反向传播，得到更新后的第二文本分类模型。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括目标参数获取模块，
被配置为执行基于所述目标分类任务采用网络搜索的方法确定目标参数或根据所述目标分类任务的特征从预设参数中确定目标参数。
10.根据权利要求9所述的装置，其特征在于，所述分类识别模块被配置为执行：
将所述目标分类任务的第二训练数据输入所述第二文本分类模型；
获取所述第二文本分类模型对所述第二训练数据进行识别后的第二分类识别结果，所述第二分类识别结果是所述第二文本分类模型采用首次进行池化操作的网络层对所述网络层的输入进行池化操作、以及所述第二文本分类模型每经过间隔的网络层数后对对应网络层的输入进行池化操作后的特征进行特征识别得到的。
11.根据权利要求9所述的装置，其特征在于，所述目标参数还包括进行池化操作的类型，所述池化操作的类型包括平均池化和最大池化中的任一种。
12.根据权利要求9所述的装置，其特征在于，所述目标参数还包括进行池化操作的窗口大小和步长。
13.根据权利要求8至12任一项所述的装置，其特征在于，所述第二训练数据中标注了目标分类结果；所述目标损失获取模块被配置为执行：
基于所述第二训练数据中标注的目标分类结果以及所述第一分类识别结果，获取第一分类损失；
基于所述第二训练数据中标注的目标分类结果以及所述第二分类识别结果，获取第二分类损失；
根据所述第一分类损失和所述第二分类损失，计算所述目标损失。
14.一种文本分类装置，其特征在于，包括：
待处理数据获取模块，被配置为执行获取待处理数据；
分类结果获取模块，被配置为执行通过文本分类模型对所述待处理数据进行分类处理，得到所述待处理数据的分类结果，所述文本分类模型为通过如权利要求1-6任一项所述的文本分类模型的训练方法得到的更新后的第二文本分类模型。
15.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的方法。
CN202110845713.8A 2021-07-26 2021-07-26 文本分类模型的训练方法、装置、电子设备及存储介质 Active CN113486978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110845713.8A CN113486978B (zh) 2021-07-26 2021-07-26 文本分类模型的训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110845713.8A CN113486978B (zh) 2021-07-26 2021-07-26 文本分类模型的训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113486978A CN113486978A (zh) 2021-10-08
CN113486978B true CN113486978B (zh) 2024-03-05

Family

ID=77943727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110845713.8A Active CN113486978B (zh) 2021-07-26 2021-07-26 文本分类模型的训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113486978B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114780709B (zh) * 2022-03-22 2023-04-07 北京三快在线科技有限公司 文本匹配方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184508A (zh) * 2020-10-13 2021-01-05 上海依图网络科技有限公司 一种用于图像处理的学生模型的训练方法及装置
CN112487182A (zh) * 2019-09-12 2021-03-12 华为技术有限公司 文本处理模型的训练方法、文本处理方法及装置
CN112990342A (zh) * 2021-04-08 2021-06-18 重庆大学 一种半监督sar目标识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487182A (zh) * 2019-09-12 2021-03-12 华为技术有限公司 文本处理模型的训练方法、文本处理方法及装置
CN112184508A (zh) * 2020-10-13 2021-01-05 上海依图网络科技有限公司 一种用于图像处理的学生模型的训练方法及装置
CN112990342A (zh) * 2021-04-08 2021-06-18 重庆大学 一种半监督sar目标识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"TINYBERT:DISTILLING BERT FOR NATURAL LANGUAGE UNDERSTANDING";Xiaoqi Jiao etc.;《arXiv:1909.10351v2[cs.CL]》;全文 *

Also Published As

Publication number Publication date
CN113486978A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
RU2749970C1 (ru) Способ сжатия модели нейронной сети, а также способ и устройство для перевода языкового корпуса
US20210304069A1 (en) Method for training classification model, classification method and device, and storage medium
EP3901948A1 (en) Method for training a voiceprint extraction model and method for voiceprint recognition, and device and medium thereof
US11455491B2 (en) Method and device for training image recognition model, and storage medium
WO2022166069A1 (zh) 深度学习网络确定方法、装置、电子设备及存储介质
CN112287994A (zh) 伪标签处理方法、装置、设备及计算机可读存储介质
CN109165738B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN111126079B (zh) 用于机器翻译的神经网络模型压缩方法、装置及存储介质
CN109670077B (zh) 视频推荐方法、装置和计算机可读存储介质
CN111242303B (zh) 网络训练方法及装置、图像处理方法及装置
WO2020232976A1 (zh) 信息处理方法及装置、电子设备和存储介质
CN110941727B (zh) 一种资源推荐方法、装置、电子设备及存储介质
CN111160047A (zh) 一种数据处理方法、装置和用于数据处理的装置
CN112148923A (zh) 搜索结果的排序方法、排序模型的生成方法、装置及设备
CN113486978B (zh) 文本分类模型的训练方法、装置、电子设备及存储介质
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN113553448A (zh) 一种推荐模型训练方法、装置、电子设备及存储介质
CN112259122A (zh) 音频类型识别方法、装置及存储介质
CN115512116B (zh) 图像分割模型优化方法、装置、电子设备及可读存储介质
CN109460458B (zh) 查询改写意图的预测方法及装置
CN116310633A (zh) 一种关键点检测模型训练方法及关键点检测方法
CN112712385B (zh) 广告推荐方法、装置、电子设备及存储介质
CN114462410A (zh) 实体识别方法、装置、终端及存储介质
CN115454259A (zh) 一种输入方法、装置和用于输入的装置
CN114117198A (zh) 模型训练方法、推荐方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant