CN114626376A - 文本分类模型的训练方法、装置及文本分类方法 - Google Patents

文本分类模型的训练方法、装置及文本分类方法 Download PDF

Info

Publication number
CN114626376A
CN114626376A CN202210283313.7A CN202210283313A CN114626376A CN 114626376 A CN114626376 A CN 114626376A CN 202210283313 A CN202210283313 A CN 202210283313A CN 114626376 A CN114626376 A CN 114626376A
Authority
CN
China
Prior art keywords
text
classification
model
candidate space
mlm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210283313.7A
Other languages
English (en)
Inventor
莫琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202210283313.7A priority Critical patent/CN114626376A/zh
Publication of CN114626376A publication Critical patent/CN114626376A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种文本分类模型的训练方法、装置及文本分类方法，训练方法包括：构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。本申请显著提高了预测准确性，且计算量小、适用场景、领域广泛、实用性极强。

Description

文本分类模型的训练方法、装置及文本分类方法
技术领域
本申请涉及人工智能技术领域，具体涉及一种文本分类模型的训练方法、装置及文本分类方法。
背景技术
文本分类问题是自然语言处理(NLP)领域非常重要和常见的一种任务形式，分类问题最常用的方法也是监督分类方法，该方法需要大量的有标注的训练数据对模型进行训练，才能使得分类结果较为理想。
随着BERT等模型的横空出世，越来越多人开始使用大规模预训练模型加上fine-tune的模式进行分类，但直接使用BERT模型的分类结果不够理想，如果想得到较好的分类结果仍需要一大部分语料进行模型训练。
后来GPT3模型出现了，GPT3模型凭借其超大规模参数可以对分类任务有较好的效果，但是该模型参数规模太大，很难再工业界落地应用。
发明内容
针对上述问题，本申请实施例提供了一种文本分类模型的训练方法、装置及文本分类方法，将文本分类问题巧妙的转化为“完形填空”的形式，基于现有的MLM，即可达到理想的文本分类效果，以克服或部分克服现有技术的不足之处。
第一方面，本申请实施例提供了一种文本分类模型的训练方法，包括：
构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；
将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；
将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；
根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。
第二方面，本申请实施例还提供了一种文本分类模型的训练装置，所述装置包括：
构建单元，用于构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；
转化单元，用于将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；
Token预测单元，用于将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；
映射及更新单元，用于根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。
第三方面，本申请实施例还提供了一种文本分类方法，所述方法是采用上述任一所述的文本模型的训练方法得到的文本分类模型实现的。
第四方面，本申请实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一的方法。
第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述任一的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
本申请对本申请基于现有的MLM模型，采用有标注数据对通过模型进行再次训练，再次训练时，首先根据分类任务构建候选空间，并建立候选空间与实际类别之间的映射关系，通过对待预测文本进行改造，将分类任务的文本改造为“完形填空”的形式，要求“填空”中的内容需属于构建的候选空间，采用MLM模型对改造后的对待预测文本进行预测，得到“填空”中的内容，然后将“填空”中的内容映射到实际的类别中，从而实现了文本分类任务，通过对MLM模型的参数进行调整，得到了文本分类模型。本申请中能够在仅具有少量的有标注的样本的情况下，使项目快速落地上线，并得到效果理想的文本分类模型，相对于现有技术中，直接在原有的MLM模型的基础上，采用微调方式得到的分类模型，本申请显著提高了预测准确性，且计算量小、适用场景、领域广泛、实用性极强。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请的一个实施例的文本分类模型的训练方法的流程示意图；
图2示出了根据本申请的一个实施例的候选空间和实际类别的关系的示意图；
图3示出了根据本申请的一个实施例的文本识别模型的训练装置的结构示意图；
图4为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
文本分类是是自然语言处理(NLP)领域非常重要和常见的一种任务形式，应用场景非常广泛，如可用于商品评价进行统计等，通过对用户的评价进行二分类或者多分类，就可以统计出用户对该商品的态度。
传统的分类问题最常用的方法也是监督学习方法，即采用大量的带有标注的数据对模型进行训练，得到的预测模型才能使得分类结果较为理想。
随着BERT模型的横空出世，越来越多人开始使用大规模预训练模型加上fine-tune(微调)的模式进行分类，即在BERT模型的最后加上一个任务相关的输出层，然后基于少量的数据，对修改后的BERT模型进行微调，以得到适合目标任务的BERT模型。这种方式仍然存在很多不足之处，第一，直接使用BERT模型作分类任务，其分类结果不够理想，仍然需要一些语料进行模型微调，但有时带有标注的数据是非常匮乏的，甚至在训练初期，还会出现没有语料的情况，这就造成了项目无法快速上线的难题。
在BERT模型之后，又出现了GPT3模型，虽然GPT3模型凭借其超大规模参数可以对分类有较好的效果，但是模型太大，很难再工业界落地应用。
针对上述问题，本申请提供了一种文本分类模型的训练方法，本申请的构思在于，基于现有的MLM模型(英文全称Masked Language Model，中文全称掩码语言模型，可以理解为采用掩码语言训练任务经过训练得到的机器学习模型)，以及根据分类任务构建候选空间，通过对有标注的待预测文本进行改造，将分类任务的文本改造为“完形填空”的形式，要求“填空”中的内容需属于构建的候选空间，采用MLM模型对改造后的对待预测文本进行预测，得到“填空”中的内容，然后将“填空”中的内容映射到实际的类别中，从而实现了文本分类任务的思想，对现有技术中的MLM模型进行训练，在只要少量标注样本的情况下，可以使项目快速落地上线；且相对于现有技术中，直接使用MLM模型，如BERT模型，直接进行分类任务的方式，显著提高了预测准确性。
图1示出了根据本申请的一个实施例的文本分类模型的训练方法的流程示意图，从图1可以看出，本申请至少包括步骤S110～步骤S140：
步骤S110：构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系。
需要说明的是，本申请中的MLM模型通常是现有技术中已存在的，已经经过大量数据，采用MLM方法进行预训练的获得的，如广泛使用的BERT等。且如果在需要的情况下，可以在MLM模型后连接一些文本分类任务的相关层，如全连接层等。
首先，构建分类任务的候选空间，候选空间的构建可以根据多方面的因素构建，包括但不限于模型类型、应用场景、应用领域等等，如应用场景为对客户的评价座分类，模型类型为二分类模型，可以把候选空间构建为(很，不)，模型类型为三分类模型，可以把候选空间构建为{不，一般，很}，也就是说，候选空间中的值的数量与分类模型中的实际类别数量是一致的。而对于候选空间中的值具体是什么通常是一些程度形容性词语、态度形容性词语等。对于候选空间的构建方法，对此本申请不作限制，可以根据具体任务进行构建。
候选空间是与实际类别之间具有一一映射关系，根据构建的候选空间，建立其与实际类别之间的映射关系，举例来说，对于二分类问题，实际类别通常为正面的或负面的；对于三分类问题，实际类别通常为正面的、中立的、负面的。图2示出了根据本申请的一个实施例的候选空间和实际类别的关系的示意图，从图2中可以看出，候选空间内的一个子集与实际类别中的一个类别具有映射关系。再以二分类问题为例，候选空间为(很，不)，其与实际类别(正面的，负面的)之间的映射关系可以为：“很”对应“正面的”；“否”对应“负面的”。
步骤S120：将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间。
在MLM训练任务中，通常是采用模型的Embedding层将语言进行掩码处理后，再输入模型的后续层中进行训练的，掩码处理是将输入的语言中的一个或几个字或词进行掩蔽，被掩蔽掉的每个字或词称为一个token，举例来讲，一条训练语句为“我的名字叫张三”，在进行掩蔽处理时，将“名字”两个字掩蔽掉了，这里的“名字”二字就可以理解为被掩蔽token。当然了，语料进入模型后，均会被转化为向量的形式，上述示例是为了便于理解，形象的解释。
举例来讲，对于二分类模型，文本分类任务通常是根据一句话或者一段话，预测出该文本是正面的、还是负面的，待预测文本通常为完整的一句话，而掩蔽语言文本中的一个或多个字或词被掩蔽(mask)，在预测时，预测的结果就是这个字或者词是什么。
比如说，针对一个评论分类问题，假如我们给定对“这家餐厅的味道很好吃。”进行评论分类，我们可以将这句话增加一些描述性的语句，然后将与分类相关的位置的字词掩蔽掉，从而构建一个待补充的描述的完形填空问题：“这家餐厅的味道很好吃。____满意。”，这里下划线的部分是该句话中与分类相关的字词，也是在预测时要进行预测的部分，将这一部分掩蔽掉，从而我们就完成的了待预测文本的改造，即将待预测文本“这家餐厅的味道很好吃。”，改造为了“这家餐厅的味道很好吃。____满意。”。
需要说明的是，下划线部分的内容只能来自于预构建的候选空间中，如在本实施例中，掩蔽语言文本“这家餐厅的味道很好吃。____满意。”中，下划线的部分只能填写“不”或者“很”。
另需要说明的是，转化后得到的掩蔽语言文本也是具有标注的，如“这家餐厅的味道很好吃。____满意。”——正面。
步骤S130：将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token。
在得到掩蔽语言文本后，将其输入至上述的经过得到的MLM模型中，进行结果预测。本申请中，MLM模型对掩蔽语言文本的预测过程可参考现有技术，以开源的BERT模型为例，将掩蔽语言文本输入至BERT模型中，BERT模型的Embedding层首先对掩蔽语言文本进行向量转化处理，然后使处理后的掩蔽语言文本进入到BERT模型的后续层中，如“这家餐厅的味道很好吃。____满意。”为目标文本，由于候选空间是提前预购好的，MLM模型对掩蔽语言文本的预测结果是候选空间中某个值(子集)的概率值，将概率值最大的作为最后预测结果，比如二分类，“很”的预测概率是78％，那么预测结果就是“很”。
步骤S140：根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述待预测文本的分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。
根据前述建立的映射关系，将采用MLM模型得到的预测结果映射到实际类别中，即可得到所述待预测文本的分类结果。在本实施例中，得到的预测结果为“很”，通过映射后，即可得到实际类别为“正面的”。
MLM对于掩蔽语言文本的预测，得到的直接结果是候选空间中的一个子集，通过映射关系，可以得到待预测文本的分类结果。由于该步骤只是简单的映射步骤，因此，该步骤出错的概率是非常低的，本申请中对于文本分类的准确性主要取决步骤S130中MLM模型对掩蔽语言文本的预测的准确度，由于MLM模型是专门针对掩蔽训练方法涉及并训练得到的模型，因此其准确度很高，从而保障了本申请的文本分类方法的准确性。相对于现有技术中而言，本申请将文本分类任务转化为了一个MLM模型预测token的过程，准确度有了显著提高。
在上述训练的过程中，不断的调整MLM模型的参数，即可得到文本分类模型。训练的过程是不断迭代的过程，一个轮次的训练过程结束后，根据该轮次的训练过程得到的结果，对MLM模型的参数进行调整，然后将更新后的模型参数用于下一轮次的训练，直达达到预设的训练要求，如预设的训练要求为迭代20000次，则当达到这个迭代次数后，整个训练过程结束，即得到文本分类模型。
由图1所示的方法可以看出，本申请对本申请基于现有的MLM模型，采用有标注数据对通过模型进行再次训练，再次训练时，首先根据分类任务构建候选空间，并建立候选空间与实际类别之间的映射关系，通过对待预测文本进行改造，将分类任务的文本改造为“完形填空”的形式，要求“填空”中的内容需属于构建的候选空间，采用MLM模型对改造后的对待预测文本进行预测，得到“填空”中的内容，然后将“填空”中的内容映射到实际的类别中，从而实现了文本分类任务，通过对MLM模型的参数进行调整，得到了文本分类模型。本申请中能够在仅具有少量的有标注的样本的情况下，使项目快速落地上线，并得到效果理想的文本分类模型，相对于现有技术中，直接在原有的MLM模型的基础上，采用微调方式得到的分类模型，本申请显著提高了预测准确性，且计算量小、适用场景、领域广泛、实用性极强。
在本申请的一些实施例中，在上述方法中，在所述构建所述分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系的步骤之前，还包括：基于无标注的领域训练数据，对MLM模型进行文本分类任务训练，得到更新后的MLM模型；基于有标注的领域训练数据，对所述更新后的MLM模型进行文本分类任务训练。
在本申请的一些实施例中，MLM模型原本是经过预训练，如现有技术中的BERT模型或RoBERTa模型等模型。本步骤目的是在MLM模型的基础上，对其采用特定领域的训练数据进行预训练，使其更加适用于特定领域的文本分类任务，如金融领域、医疗领域、建筑领域等等。在预计将得到的模型使用在某一特定领域的情况下，可采用该领域的语料进行fine-tune，使其能够达到更高的准确度。
具体的，先采用基于无标注的领域训练数据，对MLM模型进行文本分类任务训练，得到更新后的MLM模型；然后再基于有标注的领域训练数据，对所述更新后的MLM模型进行文本分类任务训练。
对于基于无标注的领域训练数据的训练步骤无需很多数据，大概10w+条数据，即可达到很理想的效果。将采用无标注的领域训练数据训练的MLM模型记为更新后的MLM模型。
然后可以进一步地对更新后的MLM模型采用监督的方式进行训练，即基于少量的有标注数据，对得到的更新后的MLM模型进行分类任务再次训练，这里所说的“少量的”是针对现有技术中对模型进行预训练的海量数据而言是非常小规模的，如几百条有批注的数据即可达到较好的训练效果。通过再次训练即可得到效果更为理想的文本分类模型。
在本申请的一些实施例中，在上述方法中，所述构建分类任务的候选空间包括：确定所述分类任务的实际类别的数量；根据所述数量，以及所述分类任务的应用场景，确定所述候选空间的多个子集；将所述多个子集，按照预设排序规则进行排序，得到所述候选空间。
候选空间可以根据人为想得到的预测结果的实际类别，以及分类任务的应用场景等因素构建，由于候选空间中的子集与实际类别是一一对应的，因此，候选空间的子集的数量与实际类别的数量是相等的。
首先，确定分类任务的实际类别，如对商品的评价，实际类别通常为正面的、中性的和负面的，这时可确定分类任务的实际类别的数量为3。根据该数量，可以确定候选空间内子集的数量也为3，然后可以根据应用场景确定候选空间的多个子集，如对一个商品的评价，通常买家的评价通常为很满意、一般、不满意，满意通常为对待预测文本的描述性语句，这时，可以确定候选空间为：很、一般、不；最后可以按照预设的排序规则进行排序即可，如按照满意程度降序排列，即得到候选空间为{很、一般、不}。
在本申请的一些实施例中，在上述方法中，所述建立所述候选空间与实际类别之间的映射关系包括：根据所述候选空间中各子集的语义特征，建立所述候选空间中各子集与各实际类别之间的一一对应关系，将所述对应关系作为所述映射关系。
候选空间中，每个子集对待预测文本中都有一个倾向性的描述，将各子集与回归到待预测文本，尤其是根据待预测文本获得的掩蔽语言文本中时，能够得到一个语义特征，该语义特征与实际类别对待预测文本的倾向性的描述是一致的，可以根据这种一致性，建立候选空间与实际类别之间的映射关系。
如一个候选空间的子集为“不”，其回归到掩蔽语言文本中，得到的语义特征是“不满意”，则可确定该子集与实际类别中的负面的具有对应关系，从而建立起二者的映射关系。
在本申请的一些实施例中，在上述方法中，所述将有标注训练数据转化为掩蔽语言文本，包括：对所述有标注训练数据添加指定形容词；在所述形容词的指定位置添加限制性词语，其中，所述限制性词语属于所述候选空间；将所述限制性词语作为被掩蔽的token，得到掩蔽语言文本。
也就是说，所述掩蔽语言文本中被掩蔽的待预测部分(token)是与分类相关的字词，且与分类相关的字词属于预设的候选空间。
对于掩蔽语言文本的构造，可以由用户自己来定义执行的，大概流程就是针对分类的需求，选择一个合适的形容词，比如“满意”、“合格”等，然后再前面或者后面加上条件限制词汇，比如“不”、“很”、“一般”，构成不满意、很满意、一般满意，然后将其中的限制性词汇“不”、“很”、“一般”作为被mask掉的token，就得到的待预测文本转化后的掩蔽语言文本。
在本申请的一些实施例中，在上述方法中，所述MLM模型为采用MLM方法训练得到的BERT模型或RoBERTa模型。
以BERT模型为例，BERT有两大预训练任务：MLM和NSP。MLM为遮掩语言模型(MaskedLanguage Modeling，MLM)。标准的语言模型(LM)是从左到右或者从右到左进行训练，但是BERT模型多层双向训练，因此可以BERT在训练时随机mask部分token，然后只预测那些被屏蔽的token，MLM学习的是单词与单词之间的关系。MLM实际上是一个完形填空任务，随机mask掉文本中的某些字词，然后用模型去预测被mask的字词，因此BERT直接用于分类任务的准确度并不高，而通过本申请，采用BERT模型去预测mask掉的属于候选空间中的token，准确度是非常高的，相对于现有技术中的分类模型，极大程度上提高了预测的准确度。
图3示出了根据本申请的一个实施例的文本识别模型的训练装置的结构示意图，从图3可以看出，所述装置300包括：
构建单元310，用于构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；
转化单元320，用于将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；
Token预测单元330，用于将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；
映射及更新单元340，用于根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。
在本申请的一些实施例中，上述装置还包括：预训练单元，用于在所述构建所述分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系的步骤之前，用于基于无标注的领域训练数据，对MLM模型进行文本分类任务训练，得到更新后的MLM模型；基于有标注的领域训练数据，对所述更新后的MLM模型进行文本分类任务训练。
在本申请的一些实施例中，在上述装置中，构建单元310，用于确定所述分类任务的实际类别的数量；根据所述数量，以及所述分类任务的应用场景，确定所述候选空间的多个子集；将所述多个子集，按照预设排序规则进行排序，得到所述候选空间。
在本申请的一些实施例中，在上述装置中，构建单元310，用于根据所述候选空间中各子集的语义特征，建立所述候选空间中各子集与各实际类别之间的一一对应关系，将所述对应关系作为所述映射关系。
在本申请的一些实施例中，在上述装置中，转化单元320，用于对所述有标注训练数据添加指定形容词；在所述形容词的指定位置添加限制性词语，其中，所述限制性词语属于所述候选空间；将所述限制性词语作为被掩蔽的token，得到掩蔽语言文本。
在本申请的一些实施例中，在上述装置中，所述MLM模型为采用MLM方法训练得到的BERT模型或RoBERTa模型。
能够理解，上述文本识别模型的训练装置，能够实现前述实施例中提供的文本识别模型的训练方法的各个步骤，关于文本识别模型的训练方法的相关阐释均适用于文本识别模型的训练装置，此处不再赘述。
图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成文本识别模型的训练装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；
将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；
将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；
根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。
上述如本申请图3所示实施例揭示的文本识别模型的训练装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图3中文本识别模型的训练装置执行的方法，并实现文本识别模型的训练装置在图3所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图3所示实施例中文本识别模型的训练装置执行的方法，并具体用于执行：
构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；
将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；
将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；
根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种文本分类模型的训练方法，其特征在于，包括：
构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；
将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；
将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；
根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。
2.根据权利要求1所述的方法，其特征在于，在所述构建所述分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系的步骤之前，还包括：
基于无标注的领域训练数据，对MLM模型进行文本分类任务训练，得到更新后的MLM模型；
基于有标注的领域训练数据，对所述更新后的MLM模型进行文本分类任务训练。
3.根据权利要求1所述的方法，其特征在于，所述构建分类任务的候选空间包括：
确定所述分类任务的实际类别的数量；
根据所述数量，以及所述分类任务的应用场景，确定所述候选空间的多个子集；
将所述多个子集，按照预设排序规则进行排序，得到所述候选空间。
4.根据权利要求1所述的方法，其特征在于，所述建立所述候选空间与实际类别之间的映射关系包括：
根据所述候选空间中各子集的语义特征，建立所述候选空间中各子集与各实际类别之间的一一对应关系，将所述对应关系作为所述映射关系。
5.根据权利要求1所述的方法，其特征在于，在本申请的一些实施例中，在上述方法中，所述将有标注训练数据转化为掩蔽语言文本，包括：
对所述有标注训练数据添加指定形容词；
在所述形容词的指定位置添加限制性词语，其中，所述限制性词语属于所述候选空间；
将所述限制性词语作为被掩蔽的token，得到掩蔽语言文本。
6.根据权利要求1～5中任一项所述的方法，其特征在于，所述MLM模型为采用MLM方法训练得到的BERT模型或RoBERTa模型。
7.一种文本分类模型的训练装置，其特征在于，所述装置包括：
构建单元，用于构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；
转化单元，用于将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；
Token预测单元，用于将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；
映射及更新单元，用于根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。
8.一种文本分类方法，其特征在于，所述方法是采用权利要求1～6中任一项所述的文本模型的训练方法得到的文本分类模型实现的。
9.一种电子设备，其特征在于，包括：
处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～6所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1～7中任一项所述的方法。
CN202210283313.7A 2022-03-22 2022-03-22 文本分类模型的训练方法、装置及文本分类方法 Pending CN114626376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210283313.7A CN114626376A (zh) 2022-03-22 2022-03-22 文本分类模型的训练方法、装置及文本分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210283313.7A CN114626376A (zh) 2022-03-22 2022-03-22 文本分类模型的训练方法、装置及文本分类方法

Publications (1)

Publication Number Publication Date
CN114626376A true CN114626376A (zh) 2022-06-14

Family

ID=81904688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210283313.7A Pending CN114626376A (zh) 2022-03-22 2022-03-22 文本分类模型的训练方法、装置及文本分类方法

Country Status (1)

Country Link
CN (1) CN114626376A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116049400A (zh) * 2023-01-04 2023-05-02 北京百度网讯科技有限公司 文本分类模型的训练方法、文本分类方法及其装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116049400A (zh) * 2023-01-04 2023-05-02 北京百度网讯科技有限公司 文本分类模型的训练方法、文本分类方法及其装置

Similar Documents

Publication Publication Date Title
CN108733837B (zh) 一种病历文本的自然语言结构化方法及装置
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN112966074A (zh) 一种情感分析方法、装置、电子设备以及存储介质
CN110532353A (zh) 基于深度学习的文本实体匹配方法、系统、装置
US20220222447A1 (en) Translation method and apparatus, electronic device, and computer-readable storage medium
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN114926835A (zh) 文本生成、模型训练方法和装置
CN110929532B (zh) 数据处理方法、装置、设备及存储介质
CN114072816A (zh) 用于神经主题建模中的多视图和多源迁移的方法和系统
CN115186147B (zh) 对话内容的生成方法及装置、存储介质、终端
Wang et al. Gated hierarchical attention for image captioning
CN117648950A (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
CN115017987A (zh) 语言模型微调方法、文本分类方法、装置及设备
CN114626376A (zh) 文本分类模型的训练方法、装置及文本分类方法
US11321527B1 (en) Effective classification of data based on curated features
CN114692624A (zh) 一种基于多任务迁移的信息抽取方法、装置及电子设备
CN112256841B (zh) 文本匹配和对抗文本识别方法、装置及设备
US20230186155A1 (en) Machine learning method and information processing device
CN115080748B (zh) 一种基于带噪标签学习的弱监督文本分类方法和装置
CN116362242A (zh) 一种小样本槽值提取方法、装置、设备及存储介质
CN116779061A (zh) 交互式药物分子设计方法、装置、电子设备及介质
CN110851600A (zh) 基于深度学习的文本数据处理方法及装置
CN115357712A (zh) 方面级情感分析方法、装置、电子设备及存储介质
Wakchaure et al. A scheme of answer selection in community question answering using machine learning techniques
CN115713082A (zh) 一种命名实体识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination