CN115423031A - 一种模型训练的方法以及相关装置 - Google Patents

一种模型训练的方法以及相关装置 Download PDF

Info

Publication number
CN115423031A
CN115423031A CN202211144567.7A CN202211144567A CN115423031A CN 115423031 A CN115423031 A CN 115423031A CN 202211144567 A CN202211144567 A CN 202211144567A CN 115423031 A CN115423031 A CN 115423031A
Authority
CN
China
Prior art keywords
training sample
initial
model
sample set
initial training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211144567.7A
Other languages
English (en)
Inventor
韩超
陈世哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211144567.7A priority Critical patent/CN115423031A/zh
Publication of CN115423031A publication Critical patent/CN115423031A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种模型训练的方法以及相关装置，实现对噪声数据的抑制，提升模型在多标签分类业务上的性能。该方法可应用于云技术、人工智能、智慧交通、车联网等各种场景。该模型训练的方法包括：获取初始训练样本集；基于第一初始模型、第二初始模型分别对每个初始训练样本进行处理，得到第一数据特征、第二数据特征；基于第一数据特征、第二数据特征分别对初始训练样本集进行重新采样处理，得到第一训练样本集、第二训练样本集；基于第二训练样本集对第一初始模型的模型参数进行更新，得到第一目标模型，基于第一训练样本集对第二初始模型的模型参数进行更新，得到第二目标模型；选取目标业务模型，目标业务模型用于对多标签任务进行识别处理。

Description

一种模型训练的方法以及相关装置
技术领域
本申请实施例涉及人工智能技术领域，具体涉及一种模型训练的方法以及相关装置。
背景技术
带噪学习是深度学习的一个研究子领域，其主要研究如何识别数据集中的噪声数据，并且让模型在噪声数据集上能够获取更好的性能。在相关方案中，主要提出了一种co-teaching的训练方法来降低分类识别任务上噪声数据对模型的影响，其具体是通过模型在训练过程中进行梯度计算和反向传播，进而丢弃每个批次(batch)中的损失(loss)较大的样本，即过滤掉噪声样本。
然而，现有的co-teaching方案仅能够适用于分类识别任务中，不能够应用于多标签分类的识别任务，造成场景的应用比较局限。另外，该co-teaching在训练过程中，仅将损失较大的样本作为噪声数据，而其他的噪声数据也会影响训练得到的模型在分类识别任务上的识别效果，从而造成模型的性能较差。
发明内容
本申请实施例提供了一种模型训练的方法以及相关装置，能够使两个初始模型在模型训练过程中进行协同学习、互相指导，以此来实现对所有的噪声数据的抑制，解决了在多标签分类业务上模型易受噪声数据影响导致性能下降的问题，而且还能够适用于多标签分类等场景中，扩展了适用场景。
第一方面，本申请实施例提供了一种模型训练的方法。该方法包括：获取初始训练样本集，初始训练样本集包括多个初始训练样本；基于第一初始模型对每个初始训练样本进行特征提取处理，得到每个初始训练样本的第一数据特征，以及基于第二初始模型对每个初始训练样本进行特征提取处理，得到每个初始训练样本的第二数据特征；基于每个初始训练样本的第一数据特征对初始训练样本集进行重新采样处理，得到第一训练样本集，以及基于每个初始训练样本的第二数据特征对初始训练样本集进行重新采样处理，得到第二训练样本集；基于第二训练样本集对第一初始模型的模型参数进行更新调整，以得到第一目标模型，以及基于第一训练样本集对第二初始模型的模型参数进行更新调整，以得到第二目标模型；从第一目标模型和第二目标模型中选取目标业务模型，目标业务模型用于对多标签任务进行识别处理。
第二方面，本申请实施例提供了一种多标签分类的方法。该方法包括：获取待分类数据集，待分类数据集包括至少一个待分类数据；基于目标业务模型对至少一个待分类数据中的每个待分类数据进行多标签识别处理，得到每个待分类数据的标签分类结果，标签分类结果用于指示对应的待分类数据的标签分类情况；其中，目标业务模型是从第一目标模型和第二目标模型中选取得到的模型，第一目标模型是基于第二训练样本集对第一初始模型的模型参数进行更新调整得到，第二目标模型是基于第一训练样本集对第二初始模型的模型参数进行更新调整得到，第一训练样本集是基于每个初始训练样本的第一数据特征对初始训练样本集进行重新采样处理得到，第二训练样本集是基于每个初始训练样本的第二数据特征对初始训练样本集进行重新采样处理得到。
第三方面，本申请实施例提供了一种多标签分类装置。该多标签分类装置包括获取单元和处理单元。其中，获取单元用于获取初始训练样本集，初始训练样本集包括多个初始训练样本。处理单元用于：基于第一初始模型对每个初始训练样本进行特征提取处理，得到每个初始训练样本的第一数据特征，以及基于第二初始模型对每个初始训练样本进行特征提取处理，得到每个初始训练样本的第二数据特征；基于每个初始训练样本的第一数据特征对初始训练样本集进行重新采样处理，得到第一训练样本集，以及基于每个初始训练样本的第二数据特征对初始训练样本集进行重新采样处理，得到第二训练样本集；基于第二训练样本集对第一初始模型的模型参数进行更新调整，以得到第一目标模型，以及基于第一训练样本集对第二初始模型的模型参数进行更新调整，以得到第二目标模型；从第一目标模型和第二目标模型中选取目标业务模型，目标业务模型用于对多标签任务进行识别处理。
在一些可选的示例中，处理单元用于：基于每个初始训练样本的第一数据特征计算对应的初始训练样本的第一采样概率；基于第一采样概率对初始训练样本集进行采样，得到采样后的第一样本集；对初始训练样本集和采样后的第一样本集进行MixUp处理，得到第一训练样本集。
在另一些可选的示例中，处理单元用于：对初始训练样本集中的第i个初始训练样本和采样后的第一样本集中的第j个第一样本进行加权求和处理，得到第一输入样本，i、j≥1、且i、j为整数；对第i个初始训练样本对应的标签和第j个第一样本的标签进行加权求和处理，得到第一期望标签；基于第一输入样本和第一期望标签，生成第一训练样本集。
在另一些可选的示例中，处理单元用于：基于每个初始训练样本的第二数据特征计算对应的初始训练样本的第二采样概率；基于第二采样概率对初始训练样本集进行采样，得到采样后的第二样本集；对初始训练样本集和采样后的第二样本集进行MixUp处理，得到第二训练样本集。
在另一些可选的示例中，处理单元用于：对初始训练样本集中的第i个初始训练样本和采样后的第二样本集中的第j个第二样本进行加权求和处理，得到第二输入样本；对第i个初始训练样本对应的标签和第j个第二样本的标签进行加权求和处理，得到第二期望标签；基于第二输入样本和第二期望标签，生成第二训练样本集。
在另一些可选的示例中，处理单元用于：基于第一初始模型对每个初始训练样本进行标签预测，得到每个初始训练样本的第一预测标签；根据每个初始训练样本的第一预测标签与对应初始训练样本的第一标注标签，计算每个初始训练样本的第一数据特征。
在另一些可选的示例中，处理单元用于：计算每个初始训练样本的第一预测标签的置信度与第一标注标签的真实值之间的差值的平均绝对值；将平均绝对值作为对应的初始训练样本的第一数据特征。
在另一些可选的示例中，处理单元用于：计算每个初始训练样本的第一预测标签的置信度与第一标注标签的真实值之间的差值的绝对值的最大值；将最大值作为对应的初始训练样本的第一数据特征。
在另一些可选的示例中，处理单元用于：基于预设学习率和第二训练样本集进行计算处理，得到第一值；计算第一初始模型的初始权重与第一值之间的差值，得到第一初始模型的更新权重；基于第一初始模型的更新权重对第一初始模型的模型参数进行更新调整，以得到第一目标模型。
本申请实施例第四方面提供了一种多标签分类装置，包括：存储器、输入/输出(I/O)接口和存储器。存储器用于存储程序指令。处理器用于执行存储器中的程序指令，以执行上述第一方面的实施方式对应的模型训练的方法；或者执行上述第二方面的实施方式所对应的多标签分类的方法。
本申请实施例第五方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行以执行上述第一方面的实施方式对应的方法；或者执行上述第二方面的实施方式所对应的多标签分类的方法。
本申请实施例第六方面提供了一种包含指令的计算机程序产品，当其在计算机或者处理器上运行时，使得计算机或者处理器执行上述以执行上述第一方面的实施方式对应的方法；或者执行上述第二方面的实施方式所对应的多标签分类的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，在获取到初始训练样本集后，可以将该初始训练样本集中的每个初始训练样本输入到第一初始模型中，通过该第一初始模型对每个初始训练样本进行特征提取，得到每个初始训练样本相应的第一数据特征。同样地，将该初始训练样本集中的每个初始训练样本输入到第二初始模型中，通过该第二初始模型对每个初始训练样本进行特征提取，得到每个初始训练样本相应的第二数据特征。通过每个训练样本的第一数据特征、第二数据特征分别对初始训练样本集进行重新采样处理，以此采样得到第一训练样本集、第二训练样本集。然后，将第一训练样本集作为第二初始模型的训练数据，将第二训练样本集作为第一初始模型的训练数据，以此分别训练得到相应的第二目标模型、第一目标模型，进而从第一目标模型和第二目标模型中选取出性能较好的模型作为目标业务模型，进而通过该目标业务模型对多标签任务进行识别处理。通过上述方式，将各自初始模型重新采样处理得到的训练样本集，作为对方初始模型的训练数据，使得这两个初始模型在模型训练过程中进行协同学习、互相指导，以此来实现对所有的噪声数据的抑制，解决了在多标签分类业务上模型易受噪声数据影响导致性能下降的问题，而且还能够适用于多标签分类等场景中，扩展了适用场景。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了现有方案提供的模型训练的结构示意图；
图2示出了本申请实施例提供的应用场景示意图；
图3示出了本申请实施例提供的模型训练的流程框架示意图；
图4示出了本申请实施例提供的模型训练的方法的一种流程图；
图5示出了本申请实施例提供的重新采样的处理流程图；
图6示出了本申请实施例提供的多标签分类的流程示意图；
图7示出了本申请实施例提供的多标签分类装置的结构示意图；
图8示出了本申请实施例提供的多标签分类装置的硬件结构示意图。
具体实施方式
本申请实施例提供了一种模型训练的方法以及相关装置，能够使两个初始模型在模型训练过程中进行协同学习、互相指导，以此来实现对所有的噪声数据的抑制，解决了在多标签分类业务上模型易受噪声数据影响导致性能下降的问题，而且还能够适用于多标签分类等场景中，扩展了适用场景。
可以理解的是，在本申请的具体实施方式中，涉及到用户信息、用户的个人数据等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供的代码处理的方法是基于人工智能(artificialintelligence，AI)实现的。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请实施例中，主要涉及的人工智能技术包括上述所提及的机器学习等方向。例如，可以涉及机器学习(machine learning，ML)中的深度学习(deep learning)，包括人工神经网络等。
本申请提供的模型训练的方法可以应用于具有数据处理能力的多标签分类装置，如终端设备、服务器等。其中，终端设备可以包括但不限于智能手机、台式计算机、笔记本电脑、平板电脑、智能音箱、车载设备、智能手表等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器等，本申请不做具体限定。另外，所提及的终端设备以及服务器可以通过有线通信或无线通信等方式进行直接连接或间接连接，本申请不做具体限定。
上述所提及的多标签分类装置可以具备机器学习能力。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括神经网络等技术。
参阅图1，示出了现有方案提供的模型训练的结构示意图。如图1所示，在相关提出的co-teaching方案中，在通过两个模型(如模型A和模型B)对训练数据集中每个批次(batch)的训练数据进行训练的过程中，这两个模型都需要依赖于上一批次对方模型所选取出的训练样本进行梯度计算和反向传播，直接将每个批次(batch)中的损失(loss)较大的样本为潜在的噪声样本。但是，现有的co-teaching方案仅能够适用于分类识别任务中，不能够直接应用于多标签分类的识别任务中。而且，该co-teaching在训练过程中，仅将损失较大的样本作为噪声数据，并过滤掉该损失较大的噪声数据，而其他的噪声数据也会影响训练得到的模型在分类识别任务上的识别效果，从而造成模型的性能较差。
因此，本申请实施例提供了一种模型训练的方法以及多标签分类的方法。该模型训练的方法、多标签分类的方法可以应用图2示出的业务场景中。图2示出了本申请实施例提供的应用场景示意图。如图2所示，对于新增加的标签分类需求，可以先收集无标签的业务数据，然后通过DCF系统经过人工标注处理后，得到人工标注标签数据。这时候，通过模型对人工标注标签数据进行训练之后，便可以基于训练得到的模型对无标签的业务数据进行多标签分类识别处理，进而自动化地实现基于机器对无标签的业务数据进行标签标注，以此代替人工标注，进而节省相应的人工成本。示例性地，本申请实施例提供的模型训练的方法主要应用在图2中的模型训练过程中，不仅能够有效地提升噪声数据集上训练的多标签分类的识别结果，提升模型性能，而且还能够适用于多标签分类等场景中，扩展了使用场景。
示例性地，针对图2示出的本申请实施例提供的模型训练的过程，其具体训练过程可以参照图3示出的流程框架示意图进行理解。图3示出了本申请实施例提供的模型训练的流程结构示意图。如图3所示，在获取到训练数据集后，可以将该训练数据集分成至少两个批次的训练样本集。针对每个批次的训练样本集，可以将训练样本集输入到第一初始模型中，通过该第一初始模型对训练样本集中的每个训练样本进行特征提取，得到每个训练样本相应的第一数据特征。然后，通过每个训练样本的第一数据特征计算出相应的概率分布，进而通过概率分布从训练样本集中进行重新采样，得到采样后的第一样本集。进一步地，通过将采样后的第一样本集和训练样本集进行MixUp处理，以此采样得到最终的训练数据集，即得到第一训练样本集。
同样地，针对每个批次的训练样本集，还可以将训练样本集输入到第二初始模型中，通过该第二初始模型对训练样本集中的每个训练样本进行特征提取，得到每个训练样本相应的第二数据特征。然后，通过每个训练样本的第二数据特征计算出相应的概率分布，进而通过概率分布从训练样本集中进行重新采样，得到采样后的第二样本集。进一步地，通过将采样后的第二样本集和训练样本集进行MixUp处理，以此采样得到最终的训练数据集，即得到第二训练样本集。
这样，将第一训练样本集作为第二初始模型的训练数据，将第二训练样本集作为第一初始模型的训练数据，以此分别训练得到相应的第二目标模型、第一目标模型。从第一目标模型和第二目标模型中选取出性能较好的模型作为目标业务模型，进而通过该目标业务模型对多标签任务进行识别处理。通过上述方式，将各自初始模型重新采样处理得到的训练样本集，作为对方初始模型的训练数据，使得这两个初始模型在模型训练过程中进行协同学习、互相指导，以此来实现对噪声数据的抑制，解决了在多标签分类业务上模型易受噪声数据影响导致性能下降的问题，而且还能够适用于多标签分类等场景中，扩展了适用场景。而且，自动化地实现基于机器对无标签的业务数据进行标签标注，以此代替人工标注，进而节省相应的人工成本。
需说明，所描述的第一初始模型的模型结构和第二初始模型的模型结构可以相同，也可以不相同，本申请实施例中不做具体限定说明。另外，在第一初始模型的模型结构和第二初始模型的模型结构相同的情况下，可以为第一初始模型和第二初始模型初始化设置不同的权重。
另外，本申请实施例可以应用于各种场景，包括但不限于云技术、人工智能、智慧交通、车联网、辅助驾驶等领域。所描述的用于执行模型训练的方法的执行主体可以包括但不限于服务器、终端设备等。终端设备可以包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。
为了便于理解本申请的技术方案，下述先从模型训练的方法来描述本申请方案。图4示出了本申请实施例提供的模型训练的方法的一种流程图。如图4所示，该模型训练的方法可以包括如下步骤：
401、获取初始训练样本集，初始训练样本集中包括多个初始训练样本。
该示例中，在进行模型训练之前，可以先获取训练数据集。然后，将该训练数据集随机划分成至少两个批次(batch)的初始训练样本集，每个批次初始训练样本集中包括多个初始训练样本。示例性地，在该初始训练样本集中，还可以包括每个初始训练样本的标注标签。所描述的标注标签可以包括但不限于视频应用场景中的“心酸”、“感动”、“搞笑”、“励志”、“甜蜜”等等，本申请实施例中不做限定说明。
402、基于第一初始模型对每个初始训练样本进行特征提取处理，得到每个初始训练样本的第一数据特征，以及基于第二初始模型对每个初始训练样本进行特征提取处理，得到每个初始训练样本的第二数据特征。
该示例中，所描述的第一初始模型的模型结构和第二初始模型的模型结构可以相同，也可以不相同，本申请实施例中不做具体限定说明。另外，在第一初始模型的模型结构和第二初始模型的模型结构相同的情况下，可以为第一初始模型和第二初始模型初始化设置不同的权重。
所描述的第一初始模型可以包括但不限于卷积神经网络(convolutional neuralnetworks，CNN)中的resnet、mobilenet，也可以包括vision transformer、swintransformer等，本申请实施例中不做限定说明。所描述的第二初始模型也可以包括但不限于CNN中的resnet、mobilenet，也可以包括visiontransformer、swintransformer等。
在一些示例中，基于第一初始模型对每个初始训练样本进行特征提取处理，得到每个初始训练样本的第一数据特征，可以采用如下方式来实现，即：先基于第一初始模型对每个初始训练样本进行标签预测，以得到每个初始训练样本的第一预测标签；然后，根据每个初始训练样本的第一预测标签与对应的初始训练样本的第一标注标签，计算出每个初始训练样本的第一数据特征。示例性地，在根据每个初始训练样本的第一预测标签与对应的初始训练样本的第一标注标签，计算出每个初始训练样本的第一数据特征的过程中，具体可以通过多种方法来计算得到，例如下述两种计算方式：
方式一：先计算每个初始训练样本的第一预测标签的置信度与第一标注标签的真实值之间的差值的平均绝对值。具体使用公式表示如下：
Figure BDA0003855073440000101
其中，i表示初始训练样本集
Figure BDA0003855073440000102
中的第i个初始训练样本，k表示每个初始训练样本共有k个标签，r表示这k个标签中的第r个标签，qr表示第r个第一预测标签的置信度，lr表示第r个第一标注标签的真实值。然后，在计算得到该平均绝对值之后，将平均绝对值作为对应的初始训练样本的第一数据特征。需说明，i、r、k≥1、且i、r、k均为整数。
方式二：先计算每个初始训练样本的第一预测标签的置信度与第一标注标签的真实值之间的差值的绝对值的最大值。具体使用公式表示如下：
Figure BDA0003855073440000103
其中，i表示初始训练样本集
Figure BDA0003855073440000104
中的第i个初始训练样本，k表示每个初始训练样本共有k个标签，r表示这k个标签中的第r个标签，qr表示第r个第一预测标签的置信度，lr表示第r个第一标注标签的真实值。然后，在计算得到最大值之后，直接将该最大值作为对应的初始训练样本的第一数据特征。
需说明，上述所描述的第一数据特征可以指示出对应的初始训练样本的预测标签与标注标签之间的差异情况。除了使用上述所描述的两种方式来计算初始训练样本的第一数据特征之外，在实际应用中还可以使用其他的方式来计算，本申请实施例中不做限定。
另外，针对第二初始模型对每个初始训练样本进行特征提取处理，得到每个初始训练样本的第二数据特征的处理过程，具体也可以参照前述确定出第一数据特征的处理过程进行理解。示例性地，基于第二初始模型对每个初始训练样本进行特征提取处理，得到每个初始训练样本的第二数据特征，可以采用如下方式来实现，即：先基于第二初始模型对每个初始训练样本进行标签预测，以得到每个初始训练样本的第二预测标签；然后，根据每个初始训练样本的第二预测标签与对应的初始训练样本的第二标注标签，计算出每个初始训练样本的第二数据特征。示例性地，在根据每个初始训练样本的第二预测标签与对应的初始训练样本的第二标注标签，计算出每个初始训练样本的第二数据特征的过程中，具体可以通过多种方法来计算得到，例如下述两种计算方式：
方式①：先计算每个初始训练样本的第二预测标签的置信度与第二标注标签的真实值之间的差值的平均绝对值。具体使用公式表示如下：
Figure BDA0003855073440000111
其中，i表示初始训练样本集
Figure BDA0003855073440000112
中的第i个初始训练样本，k表示每个初始训练样本共有k个标签，r表示这k个标签中的第r个标签，qr表示第r个第二预测标签的置信度，lr表示第r个第二标注标签的真实值。然后，在计算得到该平均绝对值之后，将平均绝对值作为对应的初始训练样本的第二数据特征。
方式②：先计算每个初始训练样本的第二预测标签的置信度与第二标注标签的真实值之间的差值的绝对值的最大值。具体使用公式表示如下：
Figure BDA0003855073440000113
其中，i表示初始训练样本集
Figure BDA0003855073440000114
中的第i个初始训练样本，k表示每个初始训练样本共有k个标签，r表示这k个标签中的第r个标签，qr表示第r个第二预测标签的置信度，lr表示第r个第二标注标签的真实值。然后，在计算得到最大值之后，直接将该最大值作为对应的初始训练样本的第二数据特征。
需说明，上述所描述的第二数据特征可以指示出对应的初始训练样本的预测标签与标注标签之间的差异情况。除了使用上述所描述的两种方式来计算初始训练样本的第二数据特征之外，在实际应用中还可以使用其他的方式来计算，本申请实施例中不做限定。
403、基于每个初始训练样本的第一数据特征对初始训练样本集进行重新采样处理，得到第一训练样本集，以及基于每个初始训练样本的第二数据特征对初始训练样本集进行重新采样处理，得到第二训练样本集。
该示例中，在提取得到每个初始训练样本的第一数据特征后，能够根据每个初始训练样本的第一数据特征对初始训练样本集进行重新采样处理，以采样得到第一训练样本集。
示例性地，针对步骤403中的根据第一数据特征对初始训练样本集进行重新采样处理，其具体过程可以参照下述图5示出的处理流程示意图进行理解。如图5所示，该处理流程至少包括如下步骤：
S501、基于每个初始训练样本的第一数据特征计算对应的初始训练样本的第一采样概率。
该示例中，在经过上述步骤402计算得到每个初始训练样本的第一数据特征之后，可以将所有的初始训练样本的第一数据特征进行求和处理，并计算每个初始训练样本的第一数据特征占总和的比值，以此计算得的每个初始训练样本的第一采样概率，即
Figure BDA0003855073440000121
其中，pi表示出该初始训练样本集中第i个初始训练样本的采样概率。需说明，在该初始训练样本集中，所有的初始训练样本的采样概率之和为1。
S502、基于第一采样概率对初始训练样本集进行采样，得到采样后的第一样本集。
该示例中，在计算得到每个初始训练样本的第一采样概率之后，可以将该第一采样概率与初始训练样本集中的初始训练样本的总数相乘，便可以采样得到该采样后的第一数据集。需说明，若采样后的第一数据集中的样本数量为k，那么可以将该采样后的第一数据集独立采样k次，进而得到最终采样得到的第一样本集的训练样本数量与初始训练样本集中的初始训练样本的数量一致。
S503、对初始训练样本集和采样后的第一样本集进行MixUp处理，得到第一训练样本集。
该示例中，由于MixUp技术能够避免第一初始模型和第二初始模型在训练过程中发生拟合导致采样结果出现偏差，那么在得到采样后的第一样本集后，通过对初始训练样本集和采样后的第一样本集进行MixUp处理，便可以得到第一训练样本集。
示例性地，对初始训练样本集和采样后的第一样本集进行MixUp处理的过程，可以通过如下方式来实现，即：首先对初始训练样本集中的第i个初始训练样本和采样后的第一样本集中的第j个样本进行加权求和处理，得到第一输入样本
Figure BDA0003855073440000131
即
Figure BDA0003855073440000132
其中，xi表示初始训练样本集中的第i个初始训练样本，xj表示采样后的第一样本集中的第j个样本，λ为可调整的数值，且0≤λ≤1。
同样地，对第i个初始训练样本对应的标签和第j个第一样本的标签进行加权求和处理，得到第一期望标签
Figure BDA0003855073440000133
即
Figure BDA0003855073440000134
其中，yi表示第i个初始训练样本对应的标签，yj表示第j个第一样本的标签。
这样，在计算得到第一输入样本和第一期望标签后，便能够根据该第一输入样本和第一期望标签，生成第一训练样本集。
类似地，在提取得到每个初始训练样本的第二数据特征之后，根据每个初始训练样本的第二数据特征对初始训练样本集进行重新采样处理，以采样得到第二训练样本集。示例性地，基于每个初始训练样本的第二数据特征对初始训练样本集进行重新采样处理，得到第二训练样本集，包括：基于每个初始训练样本的第二数据特征计算对应的初始训练样本的第二采样概率；基于第二采样概率对初始训练样本集进行采样，得到采样后的第二样本集；对初始训练样本集和采样后的第二样本集进行MixUp处理，得到第二训练样本集。另外，针对对初始训练样本集和采样后的第二样本集进行MixUp处理，得到第二训练样本集的过程，也可以采用如下方式来实现，即：对初始训练样本集中的第i个初始训练样本和采样后的第二样本集中的第j个第二样本进行加权求和处理，得到第二输入样本；对第i个初始训练样本对应的标签和第j个第二样本的标签进行加权求和处理，得到第二期望标签；基于第二输入样本和第二期望标签，生成第二训练样本集。
需说明，本申请实施例中如何采样得到第二训练样本集，具体可以参照前述图5中示出的采样第一训练样本集的过程进行理解，此处不做赘述。
404、基于第二训练样本集对第一初始模型的模型参数进行更新调整，以得到第一目标模型，以及基于第一训练样本集对第二初始模型的模型参数进行更新调整，以得到第二目标模型。
该示例中，在重新采样得到第二训练样本集后，能够通过该第二训练样本集训练该第一初始模型，以此实现对第一初始模型的模型参数进行更新调整。示例性地，可以根据预设学习率和第二训练样本集进行计算处理，得到第一值，即
Figure BDA0003855073440000141
Figure BDA0003855073440000142
表示第二训练样本集，η为学习率，f1为第一初始模型，
Figure BDA0003855073440000143
为梯度值。然后，计算第一初始模型的初始权重与第一值之间的差值，得到第一初始模型的更新权重，即：
Figure BDA0003855073440000144
其中，w″1为第一初始模型的更新权重，w1为第一初始模型的初始权重。这样，在得到第一初始模型的更新权重之后，便能够根据第一初始模型的更新权重对第一初始模型的模型参数进行更新调整，以得到第一目标模型。
类似地，在重新采样得到第一训练样本集后，能够通过该第一训练样本集训练该第二初始模型，以此实现对第二初始模型的模型参数进行更新调整。示例性地，可以根据预设学习率和第一训练样本集进行计算处理，得到第二值，即
Figure BDA0003855073440000145
Figure BDA0003855073440000146
表示第一训练样本集，η为学习率，f2为第二初始模型，
Figure BDA0003855073440000147
为梯度值。然后，计算第二初始模型的初始权重与第二值之间的差值，得到第二初始模型的更新权重，即；
Figure BDA0003855073440000148
其中，w″2为第二初始模型的更新权重，w1为第二初始模型的初始权重。这样，在得到第二初始模型的更新权重之后，便能够根据第二初始模型的更新权重对第二初始模型的模型参数进行更新调整，以得到第二目标模型。
405、从第一目标模型和第二目标模型中选取目标业务模型，目标业务模型用于对多标签任务进行识别处理。
该示例中，在训练得到第一目标模型和第二目标模型之后，能够从该第一目标模型和第二模型中选取目标业务模型。示例性地，通过获取测试样本集，并通过第一目标模型对测试样本集进行多标签分类处理，计算得到该第一目标模型的模型性能。同样地，通过第二目标模型对测试样本集进行多标签分类处理，计算得到该第二目标模型的模型性能。进一步地，根据第一目标模型的模型性能和第二目标模型的模型性能，从该第一目标模型和第二目标模型中选取目标业务模型。举例来说，若是第一目标模型的模型性能优于第二目标模型的模型性能，则将该第一目标模型选取为目标业务模型；反之，若是第二目标模型的模型性能优于第一目标模型的模型性能，则将该第二目标模型选取为目标业务模型。
这样，在确定出目标业务模型之后，便能够通过该目标业务模型进行多标签分类任务处理。所描述的多标签分类任务处理包括但不限于应用在视频场景、图像分类场景、文本分类场景、语音分类场景等，本申请实施例中不做具体限定。
本申请实施例中，在获取到初始训练样本集后，可以将该初始训练样本集中的每个初始训练样本输入到第一初始模型中，通过该第一初始模型对每个初始训练样本进行特征提取，得到每个初始训练样本相应的第一数据特征。同样地，将该初始训练样本集中的每个初始训练样本输入到第二初始模型中，通过该第二初始模型对每个初始训练样本进行特征提取，得到每个初始训练样本相应的第二数据特征。通过每个训练样本的第一数据特征、第二数据特征分别对初始训练样本集进行重新采样处理，以此采样得到第一训练样本集、第二训练样本集。然后，将第一训练样本集作为第二初始模型的训练数据，将第二训练样本集作为第一初始模型的训练数据，以此分别训练得到相应的第二目标模型、第一目标模型，进而从第一目标模型和第二目标模型中选取出性能较好的模型作为目标业务模型，进而通过该目标业务模型对多标签任务进行识别处理。通过上述方式，将各自初始模型重新采样处理得到的训练样本集，作为对方初始模型的训练数据，使得这两个初始模型在模型训练过程中进行协同学习、互相指导，以此来实现对噪声数据的抑制，解决了在多标签分类业务上模型易受噪声数据影响导致性能下降的问题，而且还能够适用于多标签分类等场景中，扩展了适用场景。而且，自动化地实现基于机器对无标签的业务数据进行标签标注，以此代替人工标注，进而节省相应的人工成本。
上述图4主要介绍了本申请实施例提供的模型训练的方法。在经过图4的模型训练方法训练得到该目标业务模型后，可以将该目标业务模型应用在多标签任务分类的场景中。示例性地，图6示出了本申请实施例提供的多标签分类的流程示意图。如图6所示，该多标签分类的流程可以包括如下步骤：
601、获取待分类数据集，待分类数据集包括至少一个待分类数据。
该示例中，在经过上述图4的处理过程得到目标业务模型后，能够将该目标业务模型下发至下游应用中。这时候，通过获取待分类数据集，进而通过该目标业务模型对该待分类数据集中的每个待分类数据进行多标签识别处理。
602、基于目标业务模型对至少一个待分类数据中的每个待分类数据进行多标签识别处理，得到每个待分类数据的标签分类结果，标签分类结果用于指示对应的待分类数据的标签分类情况。
该示例中，在获取得到每个待分类数据后，能够通过该目标业务模型对每个待分类数据进行多标签识别处理，以此得到每个待分类数据的标签分类结果。
需说明，所描述的目标业务模型是从第一目标模型和第二目标模型中选取得到的模型，第一目标模型是基于第二训练样本集对第一初始模型的模型参数进行更新调整得到，第二目标模型是基于第一训练样本集对第二初始模型的模型参数进行更新调整得到，第一训练样本集是基于每个初始训练样本的第一数据特征对初始训练样本集进行重新采样处理得到，第二训练样本集是基于每个初始训练样本的第二数据特征对初始训练样本集进行重新采样处理得到。具体如何训练得到该目标业务模型，其训练过程具体可以参照前述图4中所描述的内容进行理解，此处不做赘述。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。可以理解的是为了实现上述功能，包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请中所公开的实施例描述的各示例的模块及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
下面对本申请实施例中的多标签分类装置进行详细描述，图7为本申请实施例中提供的多标签分类装置的一个实施例示意图。如图7所示，该多标签分类装置可以包括获取单元701以及处理单元702。
其中，获取单元701用于获取初始训练样本集，初始训练样本集包括多个初始训练样本。处理单元702用于：基于第一初始模型对每个初始训练样本进行特征提取处理，得到每个初始训练样本的第一数据特征，以及基于第二初始模型对每个初始训练样本进行特征提取处理，得到每个初始训练样本的第二数据特征；基于每个初始训练样本的第一数据特征对初始训练样本集进行重新采样处理，得到第一训练样本集，以及基于每个初始训练样本的第二数据特征对初始训练样本集进行重新采样处理，得到第二训练样本集；基于第二训练样本集对第一初始模型的模型参数进行更新调整，以得到第一目标模型，以及基于第一训练样本集对第二初始模型的模型参数进行更新调整，以得到第二目标模型；从第一目标模型和第二目标模型中选取目标业务模型，目标业务模型用于对多标签任务进行识别处理。
在一些可选的示例中，处理单元702用于：基于每个初始训练样本的第一数据特征计算对应的初始训练样本的第一采样概率；基于第一采样概率对初始训练样本集进行采样，得到采样后的第一样本集；对初始训练样本集和采样后的第一样本集进行MixUp处理，得到第一训练样本集。
在另一些可选的示例中，处理单元702用于：对初始训练样本集中的第i个初始训练样本和采样后的第一样本集中的第j个第一样本进行加权求和处理，得到第一输入样本，i、j≥1、且i、j为整数；对第i个初始训练样本对应的标签和第j个第一样本的标签进行加权求和处理，得到第一期望标签；基于第一输入样本和第一期望标签，生成第一训练样本集。
在另一些可选的示例中，处理单元702用于：基于每个初始训练样本的第二数据特征计算对应的初始训练样本的第二采样概率；基于第二采样概率对初始训练样本集进行采样，得到采样后的第二样本集；对初始训练样本集和采样后的第二样本集进行MixUp处理，得到第二训练样本集。
在另一些可选的示例中，处理单元702用于：对初始训练样本集中的第i个初始训练样本和采样后的第二样本集中的第j个第二样本进行加权求和处理，得到第二输入样本；对第i个初始训练样本对应的标签和第j个第二样本的标签进行加权求和处理，得到第二期望标签；基于第二输入样本和第二期望标签，生成第二训练样本集。
在另一些可选的示例中，处理单元702用于：基于第一初始模型对每个初始训练样本进行标签预测，得到每个初始训练样本的第一预测标签；根据每个初始训练样本的第一预测标签与对应初始训练样本的第一标注标签，计算每个初始训练样本的第一数据特征。
在另一些可选的示例中，处理单元702用于：计算每个初始训练样本的第一预测标签的置信度与第一标注标签的真实值之间的差值的平均绝对值；将平均绝对值作为对应的初始训练样本的第一数据特征。
在另一些可选的示例中，处理单元702用于：计算每个初始训练样本的第一预测标签的置信度与第一标注标签的真实值之间的差值的绝对值的最大值；将最大值作为对应的初始训练样本的第一数据特征。
在另一些可选的示例中，处理单元702用于：基于预设学习率和第二训练样本集进行计算处理，得到第一值；计算第一初始模型的初始权重与第一值之间的差值，得到第一初始模型的更新权重；基于第一初始模型的更新权重对第一初始模型的模型参数进行更新调整，以得到第一目标模型。
在另一些可选的示例中，获取单元701用于：获取测试样本集。处理单元702用于：基于第一目标模型对测试样本集进行多标签分类处理，计算得到第一目标模型的模型性能，以及基于第二目标模型对测试样本集进行多标签分类处理，计算得到第二目标模型的模型性能；根据第一目标模型的模型性能和第二目标模型的模型性能，从第一目标模型和第二目标模型中选取目标业务模型。
在另一些可选的示例中，获取单元701用于获取待分类数据集，待分类数据集包括至少一个待分类数据。处理单元702用于：基于目标业务模型对至少一个待分类数据中的每个待分类数据进行多标签识别处理，得到每个待分类数据的标签分类结果，标签分类结果用于指示对应的待分类数据的标签分类情况；其中，目标业务模型是从第一目标模型和第二目标模型中选取得到的模型，第一目标模型是基于第二训练样本集对第一初始模型的模型参数进行更新调整得到，第二目标模型是基于第一训练样本集对第二初始模型的模型参数进行更新调整得到，第一训练样本集是基于每个初始训练样本的第一数据特征对初始训练样本集进行重新采样处理得到，第二训练样本集是基于每个初始训练样本的第二数据特征对初始训练样本集进行重新采样处理得到。
上面从模块化功能实体的角度对本申请实施例中的多标签分类装置进行描述，下面从硬件处理的角度对本申请实施例中的多标签分类装置进行描述。图8是本申请实施例提供的多标签分类装置的结构示意图。该多标签分类装置可因配置或性能不同而产生比较大的差异。该多标签分类装置可以至少一个处理器801，通信线路807，存储器803以及至少一个通信接口804。
处理器801可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，服务器IC)，或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路807可包括一通路，在上述组件之间传送信息。
通信接口804，使用任何收发器一类的装置，用于与其他装置或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。
存储器803可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储装置，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储装置，存储器可以是独立存在，通过通信线路807与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器803用于存储执行本申请方案的计算机执行指令，并由处理器801来控制执行。处理器801用于执行存储器803中存储的计算机执行指令，从而实现本申请上述实施例提供的方法。
可选的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。
在具体实现中，作为一种实施例，该多标签分类装置可以包括多个处理器，例如图8中的处理器801和处理器802。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个装置、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，该多标签分类装置还可以包括输出设备805和输入设备806。输出设备805和处理器801通信，可以以多种方式来显示信息。输入设备806和处理器801通信，可以以多种方式接收目标对象的输入。例如，输入设备806可以是鼠标、触摸屏装置或传感装置等。
上述的多标签分类装置可以是一个通用装置或者是一个专用装置。在具体实现中，该多标签分类装置可以是服务器、终端设备等或有图8中类似结构的装置。本申请实施例不限定该多标签分类装置的类型。
需说明，图8中的处理器801可以通过调用存储器803中存储的计算机执行指令，使得多标签分类装置执行如图4至图6对应的方法实施例中的方法。
具体的，图7中的处理单元702的功能/实现过程可以通过图8中的处理器801调用存储器803中存储的计算机执行指令来实现。图7中的获取单元701的功能/实现过程可以通过图8中的通信接口804来实现。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种模型训练的方法、多标签分类的方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种模型训练的方法、多标签分类的方法的部分或全部步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上述实施例，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现，当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD))等。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种模型训练的方法，其特征在于，包括：
获取初始训练样本集，所述初始训练样本集包括多个初始训练样本；
基于第一初始模型对每个所述初始训练样本进行特征提取处理，得到每个所述初始训练样本的第一数据特征，以及基于第二初始模型对每个所述初始训练样本进行特征提取处理，得到每个所述初始训练样本的第二数据特征；
基于所述每个所述初始训练样本的第一数据特征对所述初始训练样本集进行重新采样处理，得到第一训练样本集，以及基于所述每个所述初始训练样本的第二数据特征对所述初始训练样本集进行重新采样处理，得到第二训练样本集；
基于所述第二训练样本集对所述第一初始模型的模型参数进行更新调整，以得到第一目标模型，以及基于所述第一训练样本集对所述第二初始模型的模型参数进行更新调整，以得到第二目标模型；
从所述第一目标模型和所述第二目标模型中选取目标业务模型，所述目标业务模型用于对多标签任务进行识别处理。
2.根据权利要求1所述的方法，其特征在于，所述基于所述每个所述初始训练样本的第一数据特征对所述初始训练样本集进行重新采样处理，得到第一训练样本集，包括：
基于每个所述初始训练样本的第一数据特征计算对应的初始训练样本的第一采样概率；
基于所述第一采样概率对所述初始训练样本集进行采样，得到采样后的第一样本集；
对所述初始训练样本集和所述采样后的第一样本集进行MixUp处理，得到第一训练样本集。
3.根据权利要求2所述的方法，其特征在于，所述对所述初始训练样本集和所述采样后的第一样本集进行MixUp处理，得到第一训练样本集，包括：
对所述初始训练样本集中的第i个初始训练样本和所述采样后的第一样本集中的第j个第一样本进行加权求和处理，得到第一输入样本，i、j≥1、且i、j为整数；
对所述第i个初始训练样本对应的标签和所述第j个第一样本的标签进行加权求和处理，得到第一期望标签；
基于所述第一输入样本和所述第一期望标签，生成所述第一训练样本集。
4.根据权利要求1所述的方法，其特征在于，所述基于所述每个所述初始训练样本的第二数据特征对所述初始训练样本集进行重新采样处理，得到第二训练样本集，包括：
基于每个所述初始训练样本的第二数据特征计算对应的初始训练样本的第二采样概率；
基于所述第二采样概率对所述初始训练样本集进行采样，得到采样后的第二样本集；
对所述初始训练样本集和所述采样后的第二样本集进行MixUp处理，得到第二训练样本集。
5.根据权利要求4所述的方法，其特征在于，所述对所述初始训练样本集和所述采样后的第二样本集进行MixUp处理，得到第二训练样本集，包括：
对所述初始训练样本集中的第i个初始训练样本和所述采样后的第二样本集中的第j个第二样本进行加权求和处理，得到第二输入样本；
对所述第i个初始训练样本对应的标签和所述第j个第二样本的标签进行加权求和处理，得到第二期望标签；
基于所述第二输入样本和所述第二期望标签，生成所述第二训练样本集。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述基于第一初始模型对每个所述初始训练样本进行特征提取处理，得到每个所述初始训练样本的第一数据特征，包括：
基于所述第一初始模型对每个所述初始训练样本进行标签预测，得到每个所述初始训练样本的第一预测标签；
根据每个所述初始训练样本的第一预测标签与对应所述初始训练样本的第一标注标签，计算每个所述初始训练样本的第一数据特征。
7.根据权利要求6所述的方法，其特征在于，所述根据每个所述初始训练样本的第一预测标签与对应所述初始训练样本的第一标注标签，计算每个所述初始训练样本的第一数据特征，包括：
计算每个所述初始训练样本的第一预测标签的置信度与第一标注标签的真实值之间的差值的平均绝对值；
将所述平均绝对值作为对应的所述初始训练样本的第一数据特征。
8.根据权利要求6所述的方法，其特征在于，所述根据每个所述初始训练样本的第一预测标签与对应所述初始训练样本的第一标注标签，计算每个所述初始训练样本的第一数据特征，包括：
计算每个所述初始训练样本的第一预测标签的置信度与第一标注标签的真实值之间的差值的绝对值的最大值；
将所述最大值作为对应的所述初始训练样本的第一数据特征。
9.根据权利要求1至5中任一项所述的方法，其特征在于，所述基于所述第二训练样本集对所述第一初始模型的模型参数进行更新调整，以得到第一目标模型，包括：
基于预设学习率和所述第二训练样本集进行计算处理，得到第一值；
计算所述第一初始模型的初始权重与所述第一值之间的差值，得到所述第一初始模型的更新权重；
基于所述第一初始模型的更新权重对所述第一初始模型的模型参数进行更新调整，以得到第一目标模型。
10.一种多标签分类装置，其特征在于，包括：
获取单元，用于获取初始训练样本集，所述初始训练样本集包括多个初始训练样本；
处理单元，用于基于第一初始模型对每个所述初始训练样本进行特征提取处理，得到每个所述初始训练样本的第一数据特征，以及基于第二初始模型对每个所述初始训练样本进行特征提取处理，得到每个所述初始训练样本的第二数据特征；
所述处理单元，用于基于所述每个所述初始训练样本的第一数据特征对所述初始训练样本集进行重新采样处理，得到第一训练样本集，以及基于所述每个所述初始训练样本的第二数据特征对所述初始训练样本集进行重新采样处理，得到第二训练样本集；
所述处理单元，用于基于所述第二训练样本集对所述第一初始模型的模型参数进行更新调整，以得到第一目标模型，以及基于所述第一训练样本集对所述第二初始模型的模型参数进行更新调整，以得到第二目标模型；
所述处理单元，用于从所述第一目标模型和所述第二目标模型中选取目标业务模型，所述目标业务模型用于对多标签任务进行识别处理。
11.一种多标签分类装置，其特征在于，所述多标签分类装置包括：输入/输出(I/O)接口、处理器和存储器，所述存储器中存储有程序指令；
所述处理器用于执行存储器中存储的程序指令，执行如权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在计算机设备上运行时，使得所述计算机设备执行如权利要求1至9中任一项所述的方法。
CN202211144567.7A 2022-09-20 2022-09-20 一种模型训练的方法以及相关装置 Pending CN115423031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211144567.7A CN115423031A (zh) 2022-09-20 2022-09-20 一种模型训练的方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211144567.7A CN115423031A (zh) 2022-09-20 2022-09-20 一种模型训练的方法以及相关装置

Publications (1)

Publication Number Publication Date
CN115423031A true CN115423031A (zh) 2022-12-02

Family

ID=84204652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211144567.7A Pending CN115423031A (zh) 2022-09-20 2022-09-20 一种模型训练的方法以及相关装置

Country Status (1)

Country Link
CN (1) CN115423031A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117349670A (zh) * 2023-10-25 2024-01-05 杭州汇健科技有限公司 一种肿瘤检测模型训练系统、方法、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117349670A (zh) * 2023-10-25 2024-01-05 杭州汇健科技有限公司 一种肿瘤检测模型训练系统、方法、设备及存储介质
CN117349670B (zh) * 2023-10-25 2024-04-12 杭州汇健科技有限公司 一种肿瘤检测模型训练系统、方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111190939B (zh) 一种用户画像构建方法及装置
CN109492772B (zh) 生成信息的方法和装置
CN109740018B (zh) 用于生成视频标签模型的方法和装置
CN110363084A (zh) 一种上课状态检测方法、装置、存储介质及电子
CN107944481A (zh) 用于生成信息的方法和装置
CN108197592A (zh) 信息获取方法和装置
CN109815365A (zh) 用于处理视频的方法和装置
CN109858528A (zh) 推荐系统训练方法、装置、计算机设备及存储介质
CN113657087B (zh) 信息的匹配方法及装置
EP4113376A1 (en) Image classification model training method and apparatus, computer device, and storage medium
CN117726884B (zh) 对象类别识别模型的训练方法、对象类别识别方法及装置
CN116109732A (zh) 图像标注方法、装置、处理设备及存储介质
CN115423031A (zh) 一种模型训练的方法以及相关装置
CN113850669A (zh) 用户分群方法、装置、计算机设备及计算机可读存储介质
CN111667018B (zh) 一种对象聚类的方法、装置、计算机可读介质及电子设备
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN116127066A (zh) 文本聚类方法、文本聚类装置、电子设备及存储介质
CN109657133A (zh) 交友对象推荐方法、装置、设备和存储介质
CN112801053B (zh) 视频数据处理方法、装置
CN108446660A (zh) 用于识别人脸图像的方法和装置
CN107798556A (zh) 用于更新状况记录的方法、设备和存储介质
CN107483595A (zh) 信息推送方法和装置
CN113886547A (zh) 基于人工智能的客户实时对话转接方法、装置和电子设备
CN113569091A (zh) 视频数据的处理方法、装置
CN109840535B (zh) 实现地形分类的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination