CN111767405B - 文本分类模型的训练方法、装置、设备及存储介质 - Google Patents

文本分类模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111767405B
CN111767405B CN202010753159.6A CN202010753159A CN111767405B CN 111767405 B CN111767405 B CN 111767405B CN 202010753159 A CN202010753159 A CN 202010753159A CN 111767405 B CN111767405 B CN 111767405B
Authority
CN
China
Prior art keywords
sample
training
training sample
classification model
semantic representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010753159.6A
Other languages
English (en)
Other versions
CN111767405A (zh
Inventor
邱耀
张金超
周杰
牛成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010753159.6A priority Critical patent/CN111767405B/zh
Publication of CN111767405A publication Critical patent/CN111767405A/zh
Priority to PCT/CN2021/101372 priority patent/WO2022022163A1/zh
Priority to US17/948,348 priority patent/US20230016365A1/en
Application granted granted Critical
Publication of CN111767405B publication Critical patent/CN111767405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

本申请公开了一种文本分类模型的训练方法、装置、设备及存储介质，涉及人工智能和计算机技术领域。所述方法包括：获取文本分类模型的训练样本；通过文本分类模型确定训练样本的语义表示，以及训练样本的预测分类结果；生成训练样本对应的对抗样本；通过文本分类模型确定训练样本对应的对抗样本的语义表示；基于训练样本的预测分类结果确定文本分类模型的分类损失；基于训练样本的语义表示和训练样本对应的对抗样本的语义表示，确定文本分类模型的对比损失；根据分类损失和对比损失，对文本分类模型进行训练。本申请提高分类器的准确性和鲁棒性的同时，也提高了编码器的鲁棒性，从而实现了文本分类模型的分类效果和鲁棒性的整体提高。

Description

文本分类模型的训练方法、装置、设备及存储介质
技术领域
本申请实施例涉及人工智能和计算机技术领域，特别涉及一种文本分类模型的训练方法、装置、设备及存储介质。
背景技术
随着人工智能技术在文本分类模型方面的研究和进步，适用于文本分类模型的训练方法也是越来越多。
文本分类模型的输入可以是一个句子，然后该模型输出该句子所属的类别。传统的文本分类模型不具备很强的鲁棒性，在输入句子上添加一些很小的扰动就可以让模型分类错误。
发明内容
本申请实施例提供了一种文本分类模型的训练方法、装置、设备及存储介质，能够提升文本分类模型的鲁棒性。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种文本分类模型的训练方法，所述方法包括：
获取文本分类模型的训练样本，所述训练样本为文本；
通过所述文本分类模型确定所述训练样本的语义表示，以及所述训练样本的预测分类结果；
生成所述训练样本对应的对抗样本；
通过所述文本分类模型确定所述训练样本对应的对抗样本的语义表示；
基于所述训练样本的预测分类结果确定所述文本分类模型的分类损失；
基于所述训练样本的语义表示和所述训练样本对应的对抗样本的语义表示，确定所述文本分类模型的对比损失；
根据所述分类损失和所述对比损失，对所述文本分类模型进行训练。
根据本申请实施例的一个方面，提供了一种文本分类模型的训练装置，所述装置包括：
训练样本获取模块，用于获取文本分类模型的训练样本，所述训练样本为文本；
分类结果预测模块，用于通过所述文本分类模型确定所述训练样本的语义表示，以及所述训练样本的预测分类结果；
对抗样本生成模块，用于生成所述训练样本对应的对抗样本；
语义表示生成模块，用于通过所述文本分类模型确定所述训练样本对应的对抗样本的语义表示；
分类损失生成模块，用于基于所述训练样本的预测分类结果确定所述文本分类模型的分类损失；
对比损失生成模块，用于基于所述训练样本的语义表示和所述训练样本对应的对抗样本的语义表示，确定所述文本分类模型的对比损失；
分类模型训练模块，用于根据所述分类损失和所述对比损失，对所述文本分类模型进行训练。
根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述文本分类模型的训练方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述文本分类模型的训练方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述文本分类模型的训练方法。
本申请实施例提供的技术方案可以包括如下有益效果：
在对文本分类模型进行训练的过程中，通过生成训练样本对应的对抗样本，除了计算文本分类模型的分类损失之外，还基于训练样本及其对抗样本的语义表示来计算模型的对比损失，综合上述分类损失和对比损失优化模型参数，以达到训练文本分类模型的目的；这样，在文本分类模型的训练过程中，不仅要正确分类训练样本及其对抗样本，还要让训练样本与其对抗样本的语义表示尽可能地接近，该方法不仅能够提高分类器的准确性和鲁棒性，同时还会提高编码器的鲁棒性，从而实现了文本分类模型的分类效果和鲁棒性的整体提高。
另外，如果在生成训练样本的对抗样本之后，仅让模型正确分类训练样本及其对抗样本，并只计算分类损失，那么模型的分类器的准确性和鲁棒性会得到提高，但无法保证可以提高模型的编码器(或称为特征提取器)的鲁棒性，本申请实施例提供的技术方案通过计算对比损失，让模型输出的训练样本与其对抗样本的语义表示尽可能地接近，从而提高了编码器的鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的方案实施环境的示意图；
图2是本申请一个实施例提供的文本分类模型的训练方法的流程图；
图3是本申请一个实施例提供的预训练模型在文本分类上应用的示意图；
图4是本申请一个实施例提供的文本分类模型的训练方法的架构图；
图5是本申请一个实施例提供的对比学习的示意图；
图6是本申请一个实施例提供的文本分类方法的流程图；
图7是本申请一个实施例提供的文本分类模型的训练装置的框图；
图8是本申请另一个实施例提供的文本分类模型的训练装置的框图；
图9是本申请一个实施例提供的计算机设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的自然语言处理和机器学习技术，利用机器学习技术训练文本分类模型，通过该文本分类模型对文本进行分类。
本申请实施例提供的方法，各步骤的执行主体可以是计算机设备，该计算机设备是指具备数据计算、处理和存储能力的电子设备。该计算机设备可以是诸如PC(PersonalComputer，个人计算机)、平板电脑、智能手机、可穿戴设备、智能机器人等终端；也可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。
本申请实施例提供的技术方案，可以被使用在任何需要文本分类功能的产品或系统中，比如情感分析系统、黄反系统、商品分类系统、意图分类系统等，本申请实施例提供的技术方案能够有效提升文本分类模型的鲁棒性，并提升文本分类的准确率。
在一个示例中，如图1所示，以情感分析系统为例，该系统可以包括终端10和服务器20。
终端10可以是诸如手机、平板电脑、PC、可穿戴设备等电子设备。用户可以通过终端10接入服务器20，并进行文本分类操作。例如，终端10中可以安装目标应用程序的客户端，用户可以通过该客户端接入服务器20，并进行文本分类操作。上述目标应用程序可以是任何提供情感分析服务的应用程序，如情绪检测类应用程序、意图识别类应用程序等，本申请实施例对此不做限定。
服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。服务器20用于为终端10中的目标应用程序的客户端提供后台服务。例如，服务器20可以是上述目标应用程序(如情绪检测类应用程序)的后台服务器。
终端10和服务器20之间可以通过网络进行通信。
示例性地，用户在目标应用程序的客户端中输入了一条语音信息(如“今天天气真好”)，客户端将该语音信息发送给服务器20，服务器20先将该语音信息转换为文本信息，然后将该文本信息输入至文本分类模型，由该文本分类模型输出该文本信息对应的情绪分类(如高兴)。
当然，在一些其他示例中，文本分类模型也可以部署在终端10中，如上述目标应用程序的客户端中，本申请实施例对此不做限定。
请参考图2，其示出了本申请一个实施例提供的文本分类模型的训练方法的流程图。该方法可以包括如下几个步骤(201～207)：
步骤201，获取文本分类模型的训练样本，训练样本为文本。
文本分类模型是用于对待识别文本进行分类的机器学习模型。文本分类模型的分类类别可以预先被设定，其分类规则和方法可通过模型训练进行优化。
可选地，在不同的应用场景中，可以构建不同功能的文本分类模型。在情感分析场景中，可以构建用于判断目标人物的心情的文本分类模型。例如，文本分类模型将文本分为高兴和不高兴两种类别，待识别文本为“今天天气真好！”，该文本分类模型得出待识别文本属于高兴类别，则可判断目标人物的心情为高兴。在意图识别场景中，可以构建用于识别目标语句的意图的文本分类模型。在问答匹配场景中，可以构建用于识别目标问题的答案的文本分类模型，本申请在此不做限定。
训练样本是一个文本，文本内容是字符串，其包括但不限于文字、标点符号、特殊字符等中的至少一种。可选地，训练样本可以是中文文本，例如“我爱中国”，也可以是外语文本，例如英语“I Love China”，还可以是中文与外语的混合，例如“China是中国的意思”。可选地，训练样本的文本内容可以是一个词语，也可以是一个句子，其还可以是段落及文章等。在本申请实施例中，对文本分类模型所用于识别的语言类型不做限定，如其可以是中文、英语、日语、韩语等。例如，当需要用于对中文文本进行分类的文本分类模型时，训练样本也可以选用中文；当需要用于对英文文本进行分类的文本分类模型时，训练样本也可以选用英语。
步骤202，通过文本分类模型确定训练样本的语义表示，以及训练样本的预测分类结果。
在本申请实施例中，语义表示是指用于表示语义的载体，该载体可以是一个符号，也可以是一个图形，还可以是数字。在本申请实施例中，该载体是可供机器学习的词嵌入，例如：使用词嵌入(1，2，3)表示中文字“我”，即“我”的语义表示为词嵌入(1，2，3)。词嵌入(word embedding)是指用于替代文本中词的一种数字向量表现形式，词嵌入也称为词向量。
在示例性实施例中，参考图3，获取输入文本“Tok 1，Tok 2，...，Tok N”(Tok N表示输入文本中的第N个分词)，文本分类模型在输入样本的前面添加一个[CLS]标志，经过词嵌入提取单元得到输入文本中各个分词的词向量“E(CLS)，E1，E2，...，En”，然后通过编码器得到相应的语义向量“C,T1,T2,...,TN”，并取[CLS]在编码器最后一层的隐状态向量C作为整个样本的语义向量，即上述输入文本的语义表示，然后将其输入到一个由全连接层和Softmax函数组成的分类器中。
可选地，预测分类结果是指由文本分类模型输出的该训练样本所属类别的预测结果。该预测分类结果可能与训练样本的真实分类结果相同，也可能与训练样本的真实分类结果不同。其中训练样本的真实分类结果是已知的，表示该训练样本正确的分类结果。例如，训练样本的真实分类结果为A，文本分类模型输出的该训练样本的预测分类结果是A，则文本分类模型的预测分类结果与真实分类结果相同。
在一个示例中，文本分类模型包括词嵌入提取单元、编码器、分类器和对比损失计算单元。其中，词嵌入提取单元用于提取训练样本的词嵌入；编码器用于基于训练样本的词嵌入，生成训练样本的语义表示，编码器也可称为特征提取器，用于基于词嵌入提取语义特征信息；分类器用于基于训练样本的语义表示，确定训练样本所属的类别；对比损失计算单元用于计算对比损失。
可选地，词嵌入提取单元可以是一个编码矩阵。例如one-hot编码矩阵。编码器可以是一个多层的神经网络。分类器可以是二分类器、三分类器等，其分类类别可以根据实际需求进行设计。
参考图4，文本分类模型包括词嵌入提取单元41、编码器42、分类器43、对比损失计算单元44和存储单元45。文本分类模型获取一个训练样本，文本分类模型先通过词嵌入提取单元41提取该训练样本的词嵌入Eo，然后基于该词嵌入Eo，通过编码器42生成该训练样本的语义表示Ro，最后通过分类器43根据该语义表示Ro确定该训练样本的预测分类结果。有关对比损失计算单元44和存储单元45的介绍说明可参见下文。
步骤203，生成训练样本对应的对抗样本。
在本申请实施例中，对抗样本是指对训练样本添加扰动信息而新生成的样本。可选地，添加的扰动信息以不改变训练样本的语义为前提，即该对抗样本与训练样本在语义上保持一致。
在一个示例中，对抗样本的生成过程包括获取训练样本的词嵌入，然后给训练样本的词嵌入添加扰动信息，得到处理后的词嵌入，该处理后的词嵌入即为训练样本对应的对抗样本。
例如，参考图4，文本分类模型获取一个训练样本，首先通过词嵌入提取单元41提取训练样本的词嵌入Eo，然后通过基于分类损失Lc得到扰动信息P，并且将该扰动信息P加入词嵌入Eo，从而得到词嵌入Ea，Ea即为对抗样本的词嵌入。其中，Ra为该对抗样本的语义表示。在本申请中，，得到扰动信息P的内容可以包括：计算文本分类模型的损失函数对于训练样本的梯度，在该梯度的正梯度方向进行扰动，该扰动即为上述扰动信息P。
示例性地，在训练样本的词嵌入矩阵中添加扰动，例如，训练样本的词嵌入为“(1，2，3)(4，5，6)(7，8，9)”，添加扰动后得到的处理后的词嵌入为“(1，2，4)(4，5，7)(7，8，9)”。
在另一个示例中，对抗样本的生成过程包括给训练样本的文本内容添加扰动信息，得到处理后的文本信息，该处理后的文本信息即为训练样本对应的对抗样本。例如，文本分类模型获取一个训练样本，则直接在训练样本的文本内容中添加扰动信息，从而得到对抗样本。示例性地，对训练样本进行诸如字序、错别字等类别的微小修改，例如，训练样本为“我爱中国”，将“我”修改为错别字“俄”，则添加扰动后的文本信息为“俄爱中国”。
上文提供了在词嵌入级别和文本级别添加扰动信息，以生成对抗样本。相比于文本级别的扰动信息，词嵌入级别的扰动信息可以更加地细粒度。可选地，如果训练样本对应的对抗样本是词嵌入形式的，该对抗样本可以由FreeLB算法得到，还可以是由FreeAT算法得到，本申请在此不做限定。
在示例性实施例中，对抗样本的生成和使用方法包括：
该方法可以是基于白盒攻击的，白盒攻击是指攻击者知道关于被攻击文本分类模型的所有信息，包括模型结构、损失函数等。攻击的方法是给训练样本的词嵌入加扰动，从而得到对抗样本，这个扰动由损失函数的梯度计算得来，可以让文本分类模型更容易犯错。然后文本分类模型去优化对于对抗样本的分类误差。整个优化过程用公式表示如下：
其中，f是文本分类模型的forward函数，θ是文本分类模型的参数，L是文本分类模型的损失函数，δ是对抗扰动，X是训练样本的词嵌入，y是训练样本所属的真实类别，D是数据分布，Z是训练样本的单词序列。
步骤204，通过文本分类模型确定训练样本对应的对抗样本的语义表示。
可选地，参考图4，文本分类模型通过对词嵌入Eo添加扰动信息P，从而得到词嵌入Ea，然后基于上述对抗样本的词嵌入Ea，通过编码器42生成上述对抗样本的语义表示Ra。
在本申请实施例中，训练样本的语义表示是用于表征训练样本的语义特征的数学表示，例如其以特征向量形式被映射在文本分类模型的表示空间里。对抗样本的语义表示是用于表征对抗样本的语义特征的数学表示，例如其以特征向量形式被映射在文本分类模型的表示空间里。
步骤205，基于训练样本的预测分类结果确定文本分类模型的分类损失。
分类损失函数是用于衡量预测分类结果与真实分类结果之间差异的函数。可选地，该函数的值越小，表明预测分类结果与真实分类结果越接近，模型的精度也就越高；反之，该函数的值越大，表明预测分类结果与真实分类结果越不接近，模型的精度也就越低。
参考图4，通过分类器43得到训练样本的预测分类结果，再通过分类损失函数基于训练样本的预测分类结果和训练样本的真实分类结果，计算相应的分类损失Lc。
在一个示例中，基于训练样本以及对抗样本的预测分类结果确定文本分类模型的分类损失。也即，在计算分类损失时，除了考虑训练样本的分类损失之外，还结合考虑对抗样本的分类损失。对于某一个训练样本对应的对抗样本来说，该训练样本的真实分类结果与该对抗样本的真实分类结果相同。另外，对抗样本的预测分类结果由分类器基于对抗样本的语义表示输出得到。
步骤206，基于训练样本的语义表示和训练样本对应的对抗样本的语义表示，确定文本分类模型的对比损失。
在本申请实施例中，对比损失用于指示训练样本的语义表示和训练样本对应的对抗样本的语义表示之间的差异程度，该差异程度可以采用距离或相似度来表示。可选地，该对比损失的值越小，表示训练样本的语义表示和训练样本对应的对抗样本的语义表示之间的表示距离也越小；反之，该对比损失的值越大，表示训练样本的语义表示和训练样本对应的对抗样本的语义表示之间的表示距离也越大。文本分类模型可以通过最小化对比损失，拉近训练样本的语义表示和训练样本对应的对抗样本的语义表示之间的表示距离，来增强编码器的鲁棒性，并输出高质量的对抗样本，从而提高了分类器的分类效果，进而提高文本分类模型的分类效果和鲁棒性。
如图5所示，其出示了本申请一个实施例提供的对比学习的示意图。其中，椭圆501代表着文本分类模型的表示空间，两个圆圈502指的是属于同一个类别的两个训练样本的语义表示，三角形503指的是类别和圆圈502不同的一组样本的语义表示，通过最小化对比损失，减小两个圆圈502之间的表示距离，同时增大两个圆圈502与三角形503的表示距离，使得模型学习到更好的语义表示。
在示例性实施例中，参考图4，基于训练样本的语义表示Ro和训练样本对应的对抗样本的语义表示Ra，文本分类模型通过对比损失计算单元44计算得到对比损失LD。
在一个示例中，确定文本分类模型的对比损失，包括如下步骤：
1、基于训练样本的语义表示、训练样本对应的对抗样本的语义表示，以及异样本的语义表示，确定第一对比损失；其中，异样本是指与训练样本属于不同类别的样本。
在本申请实施例中，第一对比损失是指基于训练样本对应的对抗样本的语义表示的对比损失。
可选地，确定第一对比损失的过程包括：从与训练样本属于不同类别的样本中，随机采样获取m个异样本，m为正整数；计算第一相似度，第一相似度是指训练样本的语义表示和训练样本对应的对抗样本的语义表示之间的相似度；计算m个异样本分别对应的第二相似度，第二相似度是指练样本对应的对抗样本的语义表示和异样本的语义表示之间的相似度；根据第一相似度和第二相似度，计算第一对比损失。
2、基于训练样本的语义表示、训练样本对应的对抗样本的语义表示，以及异样本对应的对抗样本的语义表示，确定第二对比损失。
在本申请实施例中，文本分类模型通过对异样本的词嵌入添加扰动信息，从而生成异样本对应的对抗样本。例如，文本分类模型获取随机采样的异样本，首先通过词嵌入提取单元提取异样本的词嵌入，然后通过处理分类损失得到扰动信息，并将该扰动信息加入该异样本的词嵌入，从而得到异样本对应的对抗样本的词嵌入，基于异样本对应的对抗样本的词嵌入，文本分类模型通过编码器得到异样本对应的对抗样本的语义表示。可选地，文本分类模型可以通过直接对异样本的文本添加扰动信息，从而得到异样本对应的对抗样本，本申请在此不做限定。
上述第二对比损失是指基于训练样本的语义表示的对比损失。
可选地，确定第二对比损失的过程包括：从与训练样本属于不同类别的样本中，随机采样获取m个异样本，m为正整数；计算第三相似度，第三相似度是指所述训练样本的语义表示和训练样本对应的对抗样本的语义表示之间的相似度；计算m个异样本分别对应的第四相似度，第四相似度是指训练样本的语义表示和异样本对应的对抗样本的语义表示之间的相似度；根据第三相似度和第四相似度，计算第二对比损失。
3、根据第一对比损失和第二对比损失，确定文本分类模型的对比损失。
可选地，文本分类模型的对比损失为上述第一对比损失与上述第二对比损失之和。
在示例性实施例中，文本分类模型的对比损失的计算过程可以由如下公式表示：
LD＝LD o+LD a，
其中，i是指第i个训练样本，Ri是指训练样本的语义表示，Ri adv是训练样本对应的对抗样本的语义表示，Ri,j是指第i个训练样本的第j个异样本的语义表示，Ri,j adv是指第i个训练样本的第j个异样本对应的对抗样本的语义表示，m是指随机采样的异样本的数量，m为正整数，可选地，可以对m设定上限阈值，如此可以限定异样本的数量，减少异样本范围，j为小于等于m的正整数。LD a是基于训练样本对应的对抗样本的语义表示的对比损失(即上述第一对比损失)，它用于拉近Ri adv和Ri的表示距离，同时让Ri adv和Ri与Ri,j的表示距离变大，该损失会在一个集合Sadv＝{Ri adv,Ri,Ri,1,…,Ri,m}上计算。同理，LD o是基于训练样本的语义表示的对比损失(即上述第二对比损失)，它用于拉近Ri和Ri adv的表示距离，同时让Ri和Ri adv与Ri,j adv的表示距离变大，该损失会在一个集合Sadv＝{Ri adv,Ri,Ri,1 adv,…,Ri,m adv}上计算。最终的对比损失LD是LD a和LD o的和。
其中，hθ函数是计算两个文本的语义表示相似度的判定函数。可选地，两个文本的相似度越高，hθ函数的输出就越大；反之，两个文本的相似度越低，hθ的输出就越小。hθ({Ri adv，Ri})用于确定训练样本对应的对抗样本的语义表示和训练样本的语义表示之间的相似度，即上述提及的第一相似度；hθ({Ri adv，Ri,j})用于确定训练样本对应的对抗样本的语义表示和异样本的语义表示之间的相似度，即上述提及的第二相似度；hθ({Ri，Ri adv})用于确定训练样本的语义表示和训练样本对应的对抗样本的语义表示之间的相似度，即上述提及的第三相似度；hθ({Ri，Ri,j adv})用于确定训练样本的语义表示和异样本对应的对抗样本的语义表示之间的相似度，即上述提及的第四相似度。
对于函数hθ，使用向量的点乘结果作为相似度得分，然后使用一个超参数τ来调节该分数的动态范围，其公式如下：
其中，x1和x2分别表示两个用于进行相似度计算的向量。
可选地，本申请可以通过使用NCE(Noise-Contrastive Estimation，噪声对比估计)方法来减少计算资源的损耗。
可选地，文本分类模型需要得到的训练样本的语义表示和训练样本对应的对抗样本的语义表示的数量庞大，其通常可以达到10000到20000。在本申请中，文本分类模型至少包括两个动态缓冲器，第一动态缓冲器用于存储训练样本的语义表示，第二动态缓冲器用于存储训练样本对应的对抗样本的语义表示，并动态更新第一动态缓冲器中存储的数据和第二动态缓冲器中存储的数据，以下为动态缓冲器的更新公式：
Borig[i]＝M*Borig[i]+(1-M)*Ri
Badv[i]＝M*Badv[i]+(1-M)*Ri adv，
其中M是动量，一个超参数，Borig[i]是存储训练样本的语义表示对应的单位向量数集，Badv[i]是存储训练样本对应的对抗样本的语义表示对应的单位向量数集。Ri和Ri adv的每次计算都会被动态更新到Borig[i]和Badv[i]对应位置上。
当需要使用训练样本的语义表示和训练样本对应的对抗样本的语义表示时，只需输入训练样本的语义表示和训练样本对应的对抗样本的语义表示更新存储时的序列号，便可直接从动态缓冲器中提取序列号对应的内容。例如，Borig[i]中存储的内容即是第i个训练样本语义表示，只需提取Borig[i]对应的存储内容即可获得第i个训练样本的语义表示。
步骤207，根据分类损失和对比损失，对文本分类模型进行训练。
在一个示例中，文本分类模型训练包括根据分类损失和对比损失，确定文本分类模型的总损失；调整文本分类模型的参数，以最小化该总损失，得到完成训练的文本分类模型。
可选地，上述文本分类模型训练过程可以用如下公式表示：
其中，f是文本分类模型的forward函数，θ是文本分类模型的参数，LC和LD分别是分类损失和对比损失，v是一个训练样本，y是训练样本的真实标签(即真实分类结果)，D是数据分布，δ是对抗扰动，E是训练样本的词嵌入。首先通过最大化分类损失来得到对抗扰动δ，再把它加入训练样本的词嵌入上得到对应的词嵌入形式的对抗样本，然后通过最小化该对抗样本的分类损失LC和对比损失LD之和，来调整文本分类模型的参数，得到训练完成的文本分类模型。即在文本分类模型的训练过程中，不仅要正确分类训练样本对应的对抗样本，还要让训练样本对应的对抗样本的语义表示和训练样本的语义表示尽可能的相似。
综上所述，本申请实施例提供的技术方案，在对文本分类模型进行训练的过程中，通过生成训练样本对应的对抗样本，除了计算文本分类模型的分类损失之外，还基于训练样本及其对抗样本的语义表示来计算模型的对比损失，综合上述分类损失和对比损失优化模型参数，以达到训练文本分类模型的目的；这样，在文本分类模型的训练过程中，不仅要正确分类训练样本及其对抗样本，还要让训练样本与其对抗样本的语义表示尽可能地接近，该方法不仅能够提高分类器的准确性和鲁棒性，同时还会提高编码器的鲁棒性，从而实现了文本分类模型的分类效果和鲁棒性的整体提高。
另外，如果在生成训练样本的对抗样本之后，仅让模型正确分类训练样本及其对抗样本，并只计算分类损失，那么模型的分类器的准确性和鲁棒性会得到提高，但无法保证可以提高模型的编码器(或称为特征提取器)的鲁棒性，本申请实施例提供的技术方案通过计算对比损失，让模型输出的训练样本与其对抗样本的语义表示尽可能地接近，从而提高了编码器的鲁棒性。
另外，本申请还通过最小化对比损失，拉近训练样本的语义表示和训练样本对应的对抗样本的语义表示之间的表示距离，来增强编码器的鲁棒性，并输出高质量的对抗样本，从而提高了分类器的分类效果，进而提高文本分类模型的分类效果和鲁棒性。
上文对文本分类模型的训练方法进行了介绍说明，下面将对文本分类模型如何确定待分类文本所属的类别进行介绍说明：
在一个示例中，通过文本分类模型确定待分类文本所属的类别，参考图6，具体包括如下几个步骤(601-603)：
步骤601，获取待分类文本。
其中，待分类文本的所属类别未知，可选地，待分类文本可以是一个或多个。
步骤602，通过文本分类模型提取待分类文本的语义表示。
可选地，上述文本分类模型包括词嵌入提取单元、编码器和分类器；其中，词嵌入提取单元用于提取待分类文本的词嵌入；编码器用于基于待分类文本的词嵌入，生成待分类文本的语义表示；分类器用于基于待分类文本的语义表示，确定待分类文本所属的类别。
例如，基于待分类文本的词嵌入，文本分类模型通过编码器生成待分类文本的语义表示。
步骤603，基于待分类文本的语义表示，确定待分类文本所属的类别。
基于待分类文本的语义表示，文本分类模型通过分类器确定待分类文本所属的类别。可选地，文本分类模型输出的待分类文本所属类别可以是模型中所有类别比重最高的。
综上所述，本申请通过训练好的文本分类模型对待分类文本进行分类，以确定待分类文本所属的类别。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
参考图7，其示出了本申请一个实施例提供的文本分类模型训练装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。如图7所示，该装置700包括：训练样本获取模块701、分类结果预测模块702、对抗样本生成模块703、语义表示生成模块704、分类损失生成模块705、对比损失生成模块706和分类模型训练模块707。
所述训练样本获取模块701，用于获取文本分类模型的训练样本，所述训练样本为文本。
所述分类结果预测模块702，用于通过所述文本分类模型确定所述训练样本的语义表示，以及所述训练样本的预测分类结果。
所述对抗样本生成模块703，用于生成所述训练样本对应的对抗样本。
所述语义表示生成模块704，用于通过所述文本分类模型确定所述训练样本对应的对抗样本的语义表示。
所述分类损失生成模块705，用于基于所述训练样本的预测分类结果确定所述文本分类模型的分类损失。
所述对比损失生成模块706，用于基于所述训练样本的语义表示和所述训练样本对应的对抗样本的语义表示，确定所述文本分类模型的对比损失。
所述分类模型训练模块707，用于根据所述分类损失和所述对比损失，对所述文本分类模型进行训练。
在一个示例性实施例中，如图8所示，所述对比损失生成模块706，包括：第一损失确定单元706a、第二损失确定单元706b和对比损失确定单元706c。
第一损失确定单元706a，用于基于所述训练样本的语义表示、所述训练样本对应的对抗样本的语义表示，以及异样本的语义表示，确定第一对比损失；其中，所述异样本是指与所述训练样本属于不同类别的样本。
第二损失确定单元706b，用于基于所述训练样本的语义表示、所述训练样本对应的对抗样本的语义表示，以及所述异样本对应的对抗样本的语义表示，确定第二对比损失。
对比损失确定单元706c，用于根据所述第一对比损失和所述第二对比损失，确定所述文本分类模型的对比损失。
在一个示例性实施例中，所述第一损失确定单元706a，用于：
从与所述训练样本属于不同类别的样本中，随机采样获取m个异样本，所述m为正整数；
计算第一相似度，所述第一相似度是指所述训练样本的语义表示和所述训练样本对应的对抗样本的语义表示之间的相似度；
计算所述m个异样本分别对应的第二相似度，所述第二相似度是指所述训练样本对应的对抗样本的语义表示和所述异样本的语义表示之间的相似度；
根据所述第一相似度和所述第二相似度，计算所述第一对比损失。
在一个示例性实施例中，所述第二损失确定单元706b，用于：
从与所述训练样本属于不同类别的样本中，随机采样获取m个异样本，所述m为正整数；
计算第三相似度，所述第三相似度是指所述训练样本的语义表示和所述训练样本对应的对抗样本的语义表示之间的相似度；
计算所述m个异样本分别对应的第四相似度，所述第四相似度是指所述训练样本的语义表示和所述异样本对应的对抗样本的语义表示之间的相似度；
根据所述第三相似度和所述第四相似度，计算所述第二对比损失。
在一个示例性实施例中，所述分类模型训练模块707，用于：
根据所述分类损失和所述对比损失，确定所述文本分类模型的总损；
调整所述文本分类模型的参数，以最小化所述总损失，得到完成训练的所述文本分类模型。
在一个示例性实施例中，所述对抗样本生成模块703，用于：
获取所述训练样本的词嵌入；
给所述训练样本的词嵌入添加扰动信息，得到处理后的词嵌入；
其中，所述处理后的词嵌入作为所述训练样本对应的对抗样本。
在一个示例性实施例中，所述对抗样本生成模块703，用于：
给所述训练样本的文本内容添加扰动信息，得到处理后的文本信息；
其中，所述处理后的文本信息作为所述训练样本对应的对抗样本。
在一个示例性实施例中，如图8所示，所述装置700还包括：缓冲器创建模块708和缓冲器更新模块709。
所述缓冲器创建模块708，用于创建第一缓冲器和第二缓冲器；其中，所述第一缓冲器用于存储所述训练样本的语义表示，所述第二缓冲器用于存储所述训练样本对应的对抗样本的语义表示。
所述缓冲器更新模块709，用于对所述第一缓冲器中存储的数据进行动态更新。
所述缓冲器更新模块709，还用于对所述第二缓冲器中存储的数据进行动态更新。
在一个示例性实施例中，所述文本分类模型包括词嵌入提取单元、编码器、分类器和对比损失计算单元。
其中，所述词嵌入提取单元用于提取输入文本的词嵌入。
所述编码器用于基于所述输入文本的词嵌入，生成所述输入文本的语义表示。
所述分类器用于基于所述输入文本的语义表示，确定所述输入文本所属的类别。
所述对比损失计算单元用于计算所述对比损失。
综上所述，本申请实施例提供的技术方案，在对文本分类模型进行训练的过程中，通过生成训练样本对应的对抗样本，除了计算文本分类模型的分类损失之外，还基于训练样本及其对抗样本的语义表示来计算模型的对比损失，综合上述分类损失和对比损失优化模型参数，以达到训练文本分类模型的目的；这样，在文本分类模型的训练过程中，不仅要正确分类训练样本及其对抗样本，还要让训练样本与其对抗样本的语义表示尽可能地接近，该方法不仅能够提高分类器的准确性和鲁棒性，同时还会提高编码器的鲁棒性，从而实现了文本分类模型的分类效果和鲁棒性的整体提高。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图9，其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以用于实施上述实施例中提供的文本分类模型的训练方法。具体来讲：
该计算机设备900包括处理单元(如CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)和FPGA(Field Programmable GateArray，现场可编程逻辑门阵列)等)901、包括RAM(Random-Access Memory，随机存储器)902和ROM(Read-Only Memory，只读存储器)903的系统存储器904，以及连接系统存储器904和中央处理单元901的系统总线905。该计算机设备900还包括帮助服务器内的各个器件之间传输信息的基本输入/输出系统(Input Output System，I/O系统)906，和用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备907。
该基本输入/输出系统906包括有用于显示信息的显示器908和用于用户输入信息的诸如鼠标、键盘之类的输入设备909。其中，该显示器908和输入设备909都通过连接到系统总线905的输入输出控制器910连接到中央处理单元901。该基本输入/输出系统906还可以包括输入输出控制器910以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器910还提供输出到显示屏、打印机或其他类型的输出设备。
该大容量存储设备907通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。该大容量存储设备907及其相关联的计算机可读介质为计算机设备900提供非易失性存储。也就是说，该大容量存储设备907可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦写可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备907可以统称为存储器。
根据本申请实施例，该计算机设备900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备900可以通过连接在该系统总线905上的网络接口单元911连接到网络912，或者说，也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括计算机程序，该计算机程序存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述文本分类模型的训练方法。
在一个示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集在被处理器执行时以实现上述文本分类模型的训练方法。
可选地，该计算机可读存储介质可以包括：ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存储器)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random Access Memory，电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在一个示例性实施例中，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质中读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行上述文本分类模型的训练方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种文本分类模型的训练方法，其特征在于，所述方法包括：
获取文本分类模型的训练样本，所述训练样本为文本；
通过所述文本分类模型确定所述训练样本的语义表示，以及所述训练样本的预测分类结果；
生成所述训练样本对应的对抗样本；
通过所述文本分类模型确定所述训练样本对应的对抗样本的语义表示；
基于所述训练样本的预测分类结果确定所述文本分类模型的分类损失；
基于所述训练样本的语义表示、所述训练样本对应的对抗样本的语义表示，以及异样本的语义表示，确定第一对比损失；其中，所述异样本是指与所述训练样本属于不同类别的样本；
基于所述训练样本的语义表示、所述训练样本对应的对抗样本的语义表示，以及所述异样本对应的对抗样本的语义表示，确定第二对比损失；
根据所述第一对比损失和所述第二对比损失，确定所述文本分类模型的对比损失；
根据所述分类损失和所述对比损失，对所述文本分类模型进行训练。
2.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本的语义表示、所述训练样本对应的对抗样本的语义表示，以及异样本的语义表示，确定第一对比损失，包括：
从与所述训练样本属于不同类别的样本中，随机采样获取m个异样本，所述m为正整数；
计算第一相似度，所述第一相似度是指所述训练样本的语义表示和所述训练样本对应的对抗样本的语义表示之间的相似度；
计算所述m个异样本分别对应的第二相似度，所述第二相似度是指所述训练样本对应的对抗样本的语义表示和所述异样本的语义表示之间的相似度；
根据所述第一相似度和所述第二相似度，计算所述第一对比损失。
3.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本的语义表示、所述训练样本对应的对抗样本的语义表示，以及所述异样本对应的对抗样本的语义表示，确定第二对比损失，包括：
从与所述训练样本属于不同类别的样本中，随机采样获取m个异样本，所述m为正整数；
计算第三相似度，所述第三相似度是指所述训练样本的语义表示和所述训练样本对应的对抗样本的语义表示之间的相似度；
计算所述m个异样本分别对应的第四相似度，所述第四相似度是指所述训练样本的语义表示和所述异样本对应的对抗样本的语义表示之间的相似度；
根据所述第三相似度和所述第四相似度，计算所述第二对比损失。
4.根据权利要求1所述的方法，其特征在于，所述根据所述分类损失和所述对比损失，对所述文本分类模型进行训练，包括：
根据所述分类损失和所述对比损失，确定所述文本分类模型的总损失；
调整所述文本分类模型的参数，以最小化所述总损失，得到完成训练的所述文本分类模型。
5.根据权利要求1所述的方法，其特征在于，所述生成所述训练样本对应的对抗样本，包括：
获取所述训练样本的词嵌入；
给所述训练样本的词嵌入添加扰动信息，得到处理后的词嵌入；
其中，所述处理后的词嵌入作为所述训练样本对应的对抗样本。
6.根据权利要求1所述的方法，其特征在于，所述生成所述训练样本对应的对抗样本，包括：
给所述训练样本的文本内容添加扰动信息，得到处理后的文本信息；
其中，所述处理后的文本信息作为所述训练样本对应的对抗样本。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
创建第一缓冲器和第二缓冲器；其中，所述第一缓冲器用于存储所述训练样本的语义表示，所述第二缓冲器用于存储所述训练样本对应的对抗样本的语义表示；
对所述第一缓冲器中存储的数据进行动态更新；
对所述第二缓冲器中存储的数据进行动态更新。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述文本分类模型包括词嵌入提取单元、编码器、分类器和对比损失计算单元；其中，
所述词嵌入提取单元用于提取输入文本的词嵌入；
所述编码器用于基于所述输入文本的词嵌入，生成所述输入文本的语义表示；
所述分类器用于基于所述输入文本的语义表示，确定所述输入文本所属的类别；
所述对比损失计算单元用于计算所述对比损失。
9.一种文本分类模型的训练装置，其特征在于，所述装置包括：
训练样本获取模块，用于获取文本分类模型的训练样本，所述训练样本为文本；
分类结果预测模块，用于通过所述文本分类模型确定所述训练样本的语义表示，以及所述训练样本的预测分类结果；
对抗样本生成模块，用于生成所述训练样本对应的对抗样本；
语义表示生成模块，用于通过所述文本分类模型确定所述训练样本对应的对抗样本的语义表示；
分类损失生成模块，用于基于所述训练样本的预测分类结果确定所述文本分类模型的分类损失；
对比损失生成模块，用于基于所述训练样本的语义表示、所述训练样本对应的对抗样本的语义表示，以及异样本的语义表示，确定第一对比损失；其中，所述异样本是指与所述训练样本属于不同类别的样本；基于所述训练样本的语义表示、所述训练样本对应的对抗样本的语义表示，以及所述异样本对应的对抗样本的语义表示，确定第二对比损失；根据所述第一对比损失和所述第二对比损失，确定所述文本分类模型的对比损失；
分类模型训练模块，用于根据所述分类损失和所述对比损失，对所述文本分类模型进行训练。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上述权利要求1至8任一项所述的文本分类模型的训练方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如上述权利要求1至8任一项所述的文本分类模型的训练方法。
CN202010753159.6A 2020-07-30 2020-07-30 文本分类模型的训练方法、装置、设备及存储介质 Active CN111767405B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010753159.6A CN111767405B (zh) 2020-07-30 2020-07-30 文本分类模型的训练方法、装置、设备及存储介质
PCT/CN2021/101372 WO2022022163A1 (zh) 2020-07-30 2021-06-22 文本分类模型的训练方法、装置、设备及存储介质
US17/948,348 US20230016365A1 (en) 2020-07-30 2022-09-20 Method and apparatus for training text classification model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010753159.6A CN111767405B (zh) 2020-07-30 2020-07-30 文本分类模型的训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111767405A CN111767405A (zh) 2020-10-13
CN111767405B true CN111767405B (zh) 2023-12-08

Family

ID=72727935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010753159.6A Active CN111767405B (zh) 2020-07-30 2020-07-30 文本分类模型的训练方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US20230016365A1 (zh)
CN (1) CN111767405B (zh)
WO (1) WO2022022163A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767405B (zh) * 2020-07-30 2023-12-08 腾讯科技（深圳）有限公司 文本分类模型的训练方法、装置、设备及存储介质
CN112487826A (zh) * 2020-11-30 2021-03-12 北京百度网讯科技有限公司 信息抽取方法、抽取模型训练方法、装置以及电子设备
CN112685539B (zh) * 2020-12-31 2022-12-23 成都网安科技发展有限公司 基于多任务融合的文本分类模型训练方法和装置
CN112765319B (zh) * 2021-01-20 2021-09-03 中国电子信息产业集团有限公司第六研究所 一种文本的处理方法、装置、电子设备及存储介质
CN112800227B (zh) * 2021-01-29 2023-01-17 科大讯飞股份有限公司 文本分类模型的训练方法及其设备、存储介质
CN112966112B (zh) * 2021-03-25 2023-08-08 支付宝(杭州)信息技术有限公司 基于对抗学习的文本分类模型训练和文本分类方法及装置
CN113053516A (zh) * 2021-03-26 2021-06-29 安徽科大讯飞医疗信息技术有限公司 一种对抗样本生成方法、装置、设备及存储介质
CN113110592B (zh) * 2021-04-23 2022-09-23 南京大学 一种无人机避障与路径规划方法
CN113220553B (zh) * 2021-05-13 2022-06-17 支付宝(杭州)信息技术有限公司 一种文本预测模型性能的评估方法和装置
CN113673201A (zh) * 2021-07-15 2021-11-19 北京三快在线科技有限公司 一种文本表示向量生成方法、装置、存储介质及电子设备
CN113836297B (zh) * 2021-07-23 2023-04-14 北京三快在线科技有限公司 文本情感分析模型的训练方法及装置
CN113590761B (zh) * 2021-08-13 2022-03-25 网易有道信息技术（北京）有限公司 文本处理模型的训练方法、文本处理方法及相关设备
CN113723070B (zh) * 2021-08-20 2024-01-23 上海浦东发展银行股份有限公司 文本相似度模型训练方法、文本相似度检测方法及装置
CN113705244B (zh) * 2021-08-31 2023-08-22 平安科技（深圳）有限公司 对抗文本样本生成方法、装置与存储介质
CN113837370B (zh) * 2021-10-20 2023-12-05 贝壳找房(北京)科技有限公司 用于训练基于对比学习的模型的方法和装置
CN114298122A (zh) * 2021-10-22 2022-04-08 腾讯科技（深圳）有限公司 数据分类方法、装置、设备、存储介质及计算机程序产品
CN114330312A (zh) * 2021-11-03 2022-04-12 腾讯科技（深圳）有限公司 标题文本处理方法、装置、存储介质和程序
CN114049634B (zh) * 2022-01-12 2022-05-13 深圳思谋信息科技有限公司 一种图像识别方法、装置、计算机设备和存储介质
CN114676255A (zh) * 2022-03-29 2022-06-28 腾讯科技（深圳）有限公司 文本处理方法、装置、设备、存储介质及计算机程序产品
CN114841137A (zh) * 2022-04-18 2022-08-02 北京百度网讯科技有限公司 模型获取方法、装置、电子设备及存储介质
CN114648032B (zh) * 2022-05-23 2022-08-19 腾讯科技（深圳）有限公司 语义理解模型的训练方法、装置和计算机设备
CN116010595A (zh) * 2022-11-15 2023-04-25 东北林业大学 基于同构性和异质性动态信息交互的多模态情感分类方法
CN116861302B (zh) * 2023-09-05 2024-01-23 吉奥时空信息技术股份有限公司 一种案件自动分类分拨方法
CN116932767B (zh) * 2023-09-18 2023-12-12 江西农业大学 基于知识图谱的文本分类方法、系统、存储介质及计算机
CN117093715B (zh) * 2023-10-18 2023-12-29 湖南财信数字科技有限公司 词库扩充方法、系统、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457701A (zh) * 2019-08-08 2019-11-15 南京邮电大学 基于可解释性对抗文本的对抗训练方法
CN110502976A (zh) * 2019-07-10 2019-11-26 深圳追一科技有限公司 文本识别模型的训练方法及相关产品
CN110704619A (zh) * 2019-09-24 2020-01-17 支付宝(杭州)信息技术有限公司 文本分类方法、装置及电子设备
CN111241287A (zh) * 2020-01-16 2020-06-05 支付宝(杭州)信息技术有限公司 用于生成对抗文本的生成模型的训练方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908635B (zh) * 2017-09-26 2021-04-16 百度在线网络技术（北京）有限公司 建立文本分类模型以及文本分类的方法、装置
CN108875776B (zh) * 2018-05-02 2021-08-20 北京三快在线科技有限公司 模型训练方法和装置、业务推荐的方法和装置、电子设备
CN111767405B (zh) * 2020-07-30 2023-12-08 腾讯科技（深圳）有限公司 文本分类模型的训练方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502976A (zh) * 2019-07-10 2019-11-26 深圳追一科技有限公司 文本识别模型的训练方法及相关产品
CN110457701A (zh) * 2019-08-08 2019-11-15 南京邮电大学 基于可解释性对抗文本的对抗训练方法
CN110704619A (zh) * 2019-09-24 2020-01-17 支付宝(杭州)信息技术有限公司 文本分类方法、装置及电子设备
CN111241287A (zh) * 2020-01-16 2020-06-05 支付宝(杭州)信息技术有限公司 用于生成对抗文本的生成模型的训练方法及装置

Also Published As

Publication number Publication date
US20230016365A1 (en) 2023-01-19
CN111767405A (zh) 2020-10-13
WO2022022163A1 (zh) 2022-02-03

Similar Documents

Publication Publication Date Title
CN111767405B (zh) 文本分类模型的训练方法、装置、设备及存储介质
CN111444340B (zh) 文本分类方法、装置、设备及存储介质
CN108984526B (zh) 一种基于深度学习的文档主题向量抽取方法
WO2022007823A1 (zh) 一种文本数据处理方法及装置
CN110188358B (zh) 自然语言处理模型的训练方法及装置
CN111930942B (zh) 文本分类方法、语言模型训练方法、装置及设备
CN110321563B (zh) 基于混合监督模型的文本情感分析方法
CN109947931B (zh) 基于无监督学习的文本自动摘要方法、系统、设备及介质
US20220129621A1 (en) Bert-based machine-learning tool for predicting emotional response to text
CN116935169B (zh) 文生图模型训练方法以及文生图方法
CN114565104A (zh) 语言模型的预训练方法、结果推荐方法及相关装置
CN111368078A (zh) 一种模型训练的方法、文本分类的方法、装置及存储介质
CN111898374B (zh) 文本识别方法、装置、存储介质和电子设备
CN111522908A (zh) 一种基于BiGRU和注意力机制的多标签文本分类方法
CN111858878B (zh) 从自然语言文本中自动提取答案的方法、系统及存储介质
CN113723105A (zh) 语义特征提取模型的训练方法、装置、设备及存储介质
CN113593661A (zh) 临床术语标准化方法、装置、电子设备及存储介质
CN112131345B (zh) 文本质量的识别方法、装置、设备及存储介质
WO2021129411A1 (zh) 文本处理方法及装置
CN113704393A (zh) 关键词提取方法、装置、设备及介质
WO2023116572A1 (zh) 一种词句生成方法及相关设备
Yang Application of English vocabulary presentation based on clustering in college English teaching
CN115713082A (zh) 一种命名实体识别方法、装置、设备及存储介质
WO2021129410A1 (zh) 文本处理方法及装置
CN114330297A (zh) 语言模型的预训练方法、语言文本的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030090

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant