CN114462531A - 一种模型训练方法、装置及电子设备 - Google Patents

Abstract

本说明书公开了一种模型训练方法、装置及电子设备。其中，方法包括：将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的。基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注。基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注。基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

Description

一种模型训练方法、装置及电子设备

技术领域

本文件涉及人工智能技术领域，尤其涉及一种模型训练方法、装置及电子设备。

背景技术

随着人工智能的快速发展，越来越多的工作采用机器方式作业，这其中就离不开学习模型的使用。通常情况下，学习模型需要基于标注有标签的样本完成训练。样本的标签能够促使学习模型根据样本的数据分布规律，学习样本的知识表征。可见，样本标注的准确率和样本标注的数据量是影响学习模型训练效果的重要指标。目前绝大部分的建模场景依赖人工方式完成样本的标注。而人工方式标注的效率较低，难以支撑模型训练对于样本数量的要求，此外，疏忽和专业能力不足也会导致样本标注容易出现错误，这些因素都不利于模型的训练。

为此，当前亟需能够解决模型训练所遇到的样本标注数据量不足以及样本标注正确率较低的技术方案。

发明内容

本说明书实施例提供了一种模型训练方法、装置及电子设备，能够采用机械方式完成一部分模型训练样本的标注，从而减少对于人工标注的依赖，可在一定程度改善样本标注数据量不足以及样本标注正确率不高的问题。

为解决上述技术问题，本说明书实施例是这样实现的：

第一方面，提出了一种模型训练方法，包括：

将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的；

基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注；

基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注；

基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

第二方面，提出了一种模型训练装置，包括：

模型分类模块，将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的；

第一标注模块，基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注；

第二标注模块，基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注；

模型训练模块，基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

第三方面，提出了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的；

基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注；

基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注；

基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的；

基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注；

基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注；

基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

本说明书实施例的方案采用机械方式完成一部分模型训练样本的标注，从而减少对人工方式标注的依赖，在样本标注的积累和样本标注的正确率上均得到了改善，能够有效提升模型训练后的性能。同时也降低了模型训练的门槛，对人工智能应用的普及起到促进作用。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书一个实施例提供的模型训练方法的第一种流程示意图。

图2为本说明书一个实施例提供的模型训练方法的第二种流程示意图。

图3为本说明书一个实施例提供的模型训练装置的结构示意图。

图4为本说明书一个实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本文件的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本文件一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文件保护的范围。

如前所述，目前绝大部分的建模场景依赖人工方式完成样本的标注。而人工标注的效率较低，难以支撑模型训练对于样本数量的要求；此外，疏忽和专业能力不足也会导致样本标注容易出现错误，这些因素都不利于模型的训练。为此，本文件旨在提出一种采用机械方式完成一部分模型训练样本的标注的技术方案，可减少对于人工标注的依赖，从而在一定程度改善样本标注数据量不足以及样本标注正确率不高的问题。

图1是本说明书实施例方法的流程图。图1所示的方法可以由下文相对应的装置执行，包括如下步骤：

S102，将目标场景中未标注的第一样本集输入至标注模型，得到第一样本集各样本的预测结果，标注模型是基于目标场景中已标注的第二样本集训练得到的。

其中，第一样本集可以指待标注的用于训练目标模型的样本集合。本说明书实施例利用有限的已标注的第二样本集，训练提供机械方式标注的标注模型，并基于标注模型对第一样本集尝试进行标注，从而减少人工标注的负担。

S104，基于第一样本集各样本的预测结果，对第一样本集中的第三样本集进行标注。

应理解，标注模型在有限的第二样本集训练下，并不能保证对第一样本集所有样本进行成功预测，因此本步骤可以从第一样本集中选取预测结果的置信值达到有效预测阈值的样本作为第三样本集，并基于第三样本集对应的预测结果，对第三样本集进行标注。

其中，标注模型针对某一样本的预测结果也就是是标注模型预测该样本最大置信值的分类。比如，本说明书实施例的标注模型用于样本进行风险等级的标注，则提供的分类可以包括“高风险”、“中风险”和“低风险”这三种，样本在输入标注模型后，标注模型会计算样本在“高风险”、“中风险”和“低风险”这三种分类下的概率，也就是置信值。而置信值最高的分类作为标注模型最终输出的预测结果。

如果某一样本在“高风险”、“中风险”和“低风险”的置信值相互接近，比如“高风险”置信值为33％，“中风险”置信值为37％，“低风险”置信值为40％，这说明标注模型对这个样本的分类模棱两可，无法提供有效的预测。也就是说，当某一分类的置信值明显高于其他分类的置信值时，才能认定标注模型针对该样本提供有效的预测。因此，通过设置对预测结果的置信值进行有效预测阈值的判定，可以筛选出标注模型能够预测的样本。针对标注模型能够预测的样本，则可以将标注模型提供的该样本的预测结果作为该样本的标签。

S106，基于不同于第三样本集的标注方式，对第一样本集中的第四样本集进行标注。

应理解，对于训练模型所需要使用的第一样本集来说，剩余无法基于标注模型完成标注的样本则需要通过其他方式完成标注。比如：使用其他的标注模型对第四样本集进行标注，或者，也可以使用人工方式对第四样本集进行标注，这里本文不对第四样本集的标注作具体限定。

S108，基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

应用理解的是，第一样本集中至少有第三样本集是通过标注模型机械完成标注的，这部分样本的标注效率要快于人工标注方式，因此只要第一样本集的基数较大，通过标机械方式标注的第三样本集的样本数量能够得到保障。

如果第四样本集是采用的是人工方式标注，则本说明书实施例的方法相当于是在现有的人工方式标注基础之上，额外补充了机械方式标注的第三样本集训练目标模型。其中，第三样本集的标注正确率要高于人工方式标注的第四样本集。

可以看出，本说明书实施例的方法采用机械方式完成一部分模型训练样本的标注，从而减少对人工方式标注的依赖，在样本标注的积累和样本标注的正确率上均得到了改善，能够有效提升模型训练后的性能。同时也降低了模型训练的门槛，对于人工智能技术的发展也起到了促进作用。

应理解的是，标注模型的标注性能越好，第一样本集中能够通过机械方式标注的样本的数量也就越多。这里为了保证标注模型的标注性能具有一定水准，除了在目标场景中有限的已标注的样本中取出一份作为训练标注模型的第二样本集外，还可以将另一部分第五样本集用于对标注模型进行性能改善。

即，在执行S102前，将第五样本集输入标注模型，得到由标注模型提供的第五样本集各样本的预测结果；之后，对第五样本集中低分数预测结果的样本进行重新标注，低分数预测结果的样本是预测结果与标签不一致的样本，和/或，预测结果的置信值未达到有效预测阈值的样本。并基于重新标注后的第五样本集，对标注模型进行再训练，以进一步提升标注性能。

在实际应用中，第五样本集中的样本可以但不限于是基于人工方式完成标注，也就是将人工标注的第五样本集中输入至标注模型，来检测标注模型的标注性能。如果标注模型无法对第五样本集中的样本提供有效的预测结果，或者提供的预测结果与人工标注的标签不一致，则通常存在两种可能，一种是标注模型训练后标注能力还存在不足，另一种是样本人工标注出现了错误，表示训练标准模型所使用第二样本集也可能同样存在这种隐患。不管是哪种情况，都有需求标注模型进行再训练。为此，考虑到人工标注的样本数量有限，本说明书实施例的方法可以使用五样本集对标注模型进行再训练。在对标注模型进行再训练前，需要对第五样本集中低分数预测结果的样本进行重新标注(比如人工方式重新标注或使用其他标注模型进行机械方式的标注)，以尝试修正可能出现的人工标注错误的隐患。

当然，为了提高目标模型的训练效率，如果第五样本集中低分数预测结果的样本占比小于一定水准，则反映了标注模型的训练提升空间较小，针对这种情况，可以放弃对标注模型进行再训练。也就是当第五样本集中低分数预测结果的样本占比达到预设占比阈值时，再对第五样本集进行重新标注，并使用重新标注的第五样本集对标注模型进行再训练。

此外，除了基于标注的第三样本集和标注的第四样本集训练目标模型外，也可以进一步引入标注的第二样本集或重新标注的第五样本集，对目标模型进行训练。该方式可以在果训练目标模型的样本严重不足时采用。

当然，不同标注方式的样本训练目标模型有着各自的优势，比如人工方式可以对特征不明显或特征相对偏离的样本进行标注，而机械方式标注则能够对某一特征范围内的样本提供高准确率的标注。训练过程需要基于目标模型的损失函数，计算目标模型训练输出结果与标签之间的误差，也就是训练误差值。为提高训练误差值计算的准确度，可以针对不同标注方式的样本可以配置专属的训练误差算法。即，目标模型的损失函数包含有与训练所述目标模型的样本所采用的标注方式一一对应的损失子函数(每种损失子函数用于计算所属标注方式的样本的训练误差值)。

优选地，目标模型的损失函数可以是由各损失子函数加权求和得到，也就是不同标注方式的损失子函数对应有不同的加权系数。在对目标模型进行训练前，可以考虑各标注方式的样本对于本次训练任务的重要程度来，灵活调整各损失子函数的加权系数。

比如，目标应用场景期望目标模型侧重对极端情况的预测，则偏离常规特征的样本对于模型训练的影响更为重要，而这部分样本显然需要依赖人工方式才能够有效标注，因此可以适当调高目标模型的损失函数中针对人工方式标注的损失子函数的权重系数，从而有选择性地让目标模型向极端情况预测的能力倾斜。

下面本说明书实施例方法的流程进行详细介绍。

本说明书实施例方法在训练目标模型前，准备好已人工标注的样本和尚未标注的样本。其中，未标注的样本分即上文所述的第二样本集，已人工标注的样本进一步分为上文所述的第二样本集和第五样本集。这里，使用第二样本集，初步训练用于机械方式标注的标注模型。对应地，如图2所示，训练目标模型的流程包括：

S21，将已标注的第五样本集输入至标注模型，以尝试对第五样本集中样本进行预测。

S22，获取标注模型提供的第五样本集中各样本的预测结果。

S23，对第五样本集中低分数预测结果的样本重新标注，得到重新标注的第五样本集。

S24，基于重新标注的第五样本集对标注模型进行再训练。

S25，将未标注的第一样本集输入至再训练后的标注模型，以尝试对第一样本集中样本进行预测。

S26，获取标注模型提供的第一样本集中各样本的预测结果。

S27，将第一样本集中高分数预测结果作为对应样本的模型标注结果，得到机械标注的第三样本集。

S28，对低分数预测结果的样本进行人工标注，得到人工标注的第四样本集。

S29，基于重新标注的第五样本集、机械标注的第三样本集和人工标注的第四样本集，对目标模型进行训练。

从上数示例可以看出，本说明书实施例的方法基于主动学习方式，使用标签模型筛选可能存在问题的少量人工标注的样本进行标注修正；同时，基于半监督学习方式，将机械标注的样本与人工标注的样本进行混合，以解决标注样本不足以支持模型训练的问题。

需要说明的是，本说明书实施例方法训练的目标模型的样本数据还可以基于其他样本训练的标注模型完成机械标注和标注修正。此外，训练得到的目标模型可以在各式各样的人工智能应用场景中使用，特别是对人工标注训练样本存在较大难度的场景(比如对医疗图像中癌变细胞的识别)，这里不作具体限定。

与上述图1所示方法相对应地，本说明书实施例还提供一种模型训练装置。图3是本说明书实施例模型训练装置300的结构图，包括：

模型分类模块310，将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的。

第一标注模块320，基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注。

第二标注模块330，基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注。

模型训练模块340，基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

本说明书实施例的装置采用机械方式完成一部分模型训练样本的标注，从而减少对人工方式标注的依赖，在样本标注的积累和样本标注的正确率上均得到了改善，能够有效提升模型训练后的性能。同时也降低了模型训练的门槛，对人工智能应用的普及起到促进作用。

可选地，本说明书实施例模型训练装置还包括：

重训练模块，将所述目标场景中已标注的第五样本集输入所述标注模型，得到所述第五样本集各样本的预测结果；对所述第五样本集中低分数预测结果的样本进行重新标注，并基于重新标注后的所述第五样本集，对所述标注模型进行再训练。其中，所述低分数预测结果的样本是预测结果与标签不一致的样本，和/或，预测结果的置信值未达到有效预测阈值的样本；

可选地，模型训练模块340基于标注的第三样本集、标注的第四样本集和标注的第二样本集，对目标模型进行训练。或者，模型训练模块340基于标注的第三样本集、标注的第四样本集和重新标注后的所述第五样本集，对所述目标模型进行训练。

可选地，所述目标模型的损失函数包含有与训练所述目标模型的样本所采用的标注方式一一对应的损失子函数，每种损失子函数用于计算所属标注方式的样本的训练误差值。其中，所述目标模型的损失函数是由各损失子函数加权求和得到，不同标注方式的损失子函数对应不同的加权系数。

可选地，第一标注模块320从所述第一样本集中选取预测结果的置信值达到有效预测阈值的样本作为第三样本集；之后，基于所述第三样本集对应的预测结果，对所述第三样本集进行标注。

显然，本说明书实施例的模型训练装置可以作为上述图1所示方法的执行主体，因此能够实现该方法在图1所实现的功能。由于原理相同，本文不再赘述。

图4是本说明书的一个实施例提供的电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成上述模型训练装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的。

基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注。

基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注。

基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

本说明书实施例的电子设备采用机械方式完成一部分模型训练样本的标注，从而减少对人工方式标注的依赖，在样本标注的积累和样本标注的正确率上均得到了改善，能够有效提升模型训练后的性能。同时也降低了模型训练的门槛，对人工智能应用的普及起到促进作用。

上述如本说明书图1所示实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1的联盟链中的状态备份方法，本说明书在此不再赘述。

当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下操作：

将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的。

基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注。

基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注。

基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

应理解，上述指令当被包括多个应用程序的便携式电子设备执行时，能够使上文所述模型训练装置实现图1所示实施例对应的功能。由于原理相同，本文不再赘述。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。此外，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

Claims (10)

1.一种模型训练方法，包括：

将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的；

基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注；

基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注；

基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

2.如权利要求1所述的方法，

将目标场景中未标注的第一样本集输入至标注模型之前，所述方法还包括：

将所述目标场景中已标注的第五样本集输入所述标注模型，得到所述第五样本集各样本的预测结果；

对所述第五样本集中低分数预测结果的样本进行重新标注，其中，所述低分数预测结果的样本是预测结果与标签不一致的样本，和/或，预测结果的置信值未达到有效预测阈值的样本；

基于重新标注后的所述第五样本集，对所述标注模型进行再训练。

3.如权利要求1所述的方法，

基于标注的第三样本集和标注的第四样本集，对目标模型进行训练，包括：

基于标注的第三样本集、标注的第四样本集和标注的第二样本集，对目标模型进行训练。

4.如权利要求2所述的方法，

基于标注的第三样本集、标注的第四样本集和重新标注后的所述第五样本集，对所述目标模型进行训练。

5.如权利要求1所述的方法，

所述目标模型的损失函数包含有与训练所述目标模型的样本所采用的标注方式一一对应的损失子函数，每种损失子函数用于计算所属标注方式的样本的训练误差值。

6.如权利要求5所述的方法，

所述目标模型的损失函数是由各损失子函数加权求和得到，其中，不同标注方式的损失子函数对应不同的加权系数。

7.如权利要求1所述的方法，

基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注，包括：

从所述第一样本集中选取预测结果的置信值达到有效预测阈值的样本作为第三样本集；

基于所述第三样本集对应的预测结果，对所述第三样本集进行标注。

8.一种模型训练装置，包括：

模型分类模块，将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的；

第一标注模块，基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注；

第二标注模块，基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注；

模型训练模块，基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

9.一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的；

基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注；

基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注；

基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

将目标场景中未标注的第一样本集输入至标注模型，得到所述第一样本集各样本的预测结果，所述标注模型是基于所述目标场景中已标注的第二样本集训练得到的；

基于所述第一样本集各样本的预测结果，对所述第一样本集中的第三样本集进行标注；

基于不同于所述第三样本集的标注方式，对所述第一样本集中的第四样本集进行标注；

基于标注的第三样本集和标注的第四样本集，对目标模型进行训练。

Images