CN114692706A - 模型训练方法、系统、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种模型训练方法、系统、装置、设备和存储介质，该方法包括：处理设备根据标注任务中第一数据对应的人工标注结果训练标注模型。再利用此模型对标注任务中的第二数据进行辅助标注，以输出第二数据对应的辅助标注结果，以供人工修正。再根据人工修正后的标注结果优化标注模型。最终，处理设备输出优化后的第二标注模型，同时还输出标注任务对应的标注结果。可见，上述方法可以实现模型训练和标注任务的同时进行，降低了人工标注的工作量。并且由于标注模型是根据标注任务训练得到的，因此，优化后的标注模型是适用于此标注任务的最佳标注模型，不会出现因不存在适用的标注模型，而只能选择人工标注的情况。

Description

模型训练方法、系统、装置、设备和存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种模型训练方法、系统、装置、设备和存储介质。

背景技术

近年来，人工智能技术已经应用到众多领域，比如自动驾驶、人脸识别、人机对话等等。人工智能的实现依靠的是通过机器学习或者深度学习训练得到的各种模型，比如目标检测模型、语音识别模型、人脸识别模型、语言模型等。而利用标注后的训练样本对模型进行有监督训练则是一种较为成熟的模型训练方法，这也就使得样本标注成为人工智能领域必不可少的一项工作。

在实际应用中，由于模型适用的场景多种多样，因此，使得训练样本的标注需要也多种多样。

发明内容

本发明实施例提供一种模型训练方法、装置、设备和存储介质，用以保证标注模型与标注任务的匹配。

本发明实施例提供一种模型训练方法，包括：

接收包含第一数据和第二数据的标注任务；

根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；

将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；

根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

本发明实施例提供一种模型训练装置，包括：

接收模块，用于接收包含第一数据和第二数据的标注任务；

训练模块，用于根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；

输入模块，用于将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；

调整模块，用于根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

输出模块，用于输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

本发明实施例提供一种电子设备，包括：处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现：

接收包含第一数据和第二数据的标注任务；

根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；

将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；

根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

本发明实施例提供了一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：

接收包含第一数据和第二数据的标注任务；

根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；

将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；

根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

本发明实施例提供一种模型训练系统，包括：通信连接的第一处理设备和第二处理设备

所述第一处理设备，用于接收包含第一数据和第二数据的标注任务；以及根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；根据接收到的所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

所述第二处理设备，用于获取所述第一标注模型，将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；发送修正后标注结果至所述第一处理设备；以及输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

在本发明提供的模型训练方法，处理设备接收标注任务，先根据标注任务中第一数据对应的人工标注结果训练第一标注模型。再利用此模型对标注任务中的第二数据进行辅助标注，以输出可供人工修正的、对应于第二数据的辅助标注结果。处理设备可以根据第二数据对应的修正后标注结果调整第一标注模型的模型参数，得到第二标注模型。最终，处理设备输出适用于此标注任务的第二标注模型同时，还可以输出第二数据对应的修正后标注结果，再结合第一数据对应人工标注结果，也即是完成了标注任务。

可见，上述方法可以实现模型训练和标注任务的同时进行，并且降低人工标注的工作量。另外，由于标注模型是使用标注任务中的数据训练完成的，因此，训练得到的第二标注模型是适用于此标注任务的最佳标注模型，不会出现因不存在适用的标注模型，而只能选择人工标注的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种模型训练方法的流程图；

图2为本发明实施例提供的另一种模型训练方法的流程图；

图3为本发明实施例提供的一种模型训练系统的结构示意图；

图4为本发明实施例提供的模型训练方法应用在音频转换场景下的示意图；

图5为本发明实施例提供的一种模型训练装置的结构示意图；

图6为与图5所示实施例提供的模型训练装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式。除非上下文清楚地表示其他含义，“多个”一般包含至少两个。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

在对本发明实施例提供的模型训练方法进行说明之前，还可以对样本标注的实际使用进行示例性说明：

正如背景技术中提及的，在模型训练过程中，样本的标注是中必不可少的。为了提高标注效率，减轻标注人员的工作压力，则可以借助标注模型来进行样本的辅助标注。待标注样本可以认为是标注模型需要执行的标注任务，并且标注任务中包含的待标注样本可以是图像、视频、音频、文字中的任一种。本发明提供的下述各实施例都承接此“标注任务”的描述。

在实际应用中，标注需求是多种多样的，假设标注任务中包含的是图像，则标注需求可以是将图像中的物体A标注出来，也可以是将图像中的物体B标注出来。

而对于图像样本的标注，现有技术中，若存在适用于识别物体A的模型，则可以直接将其作为标注模型，由其识别并标注图像中的物体A。

若不存在适用于识别物体B的模型，则只能采用人工标注的方式将图像中的物体B标注出来。也即是说，当不存在与标注任务对应的标注模型时，只能进行人工标注，从而导致标注效率低下。为了避免这种情况，则可以使用本发明实施例提供的模型训练方法，以实现在执行标注任务的同时训练出专门适用于此标注任务的标注模型。也即是使用本发明实施例提供的方法能够同时实现样本标注和模型训练，也相当于是为用户同时提供样本标注服务和模型训练服务。

需要说明的有，本发明提供的模型训练方法可以适用于不同的标注任务，本发明并不对标注任务进行任何限定。标注任务比如可以是对图像中的某物物体进行标注，执行此任务后得到的标注模型具有目标检测功能。又比如可以是将音频转换为文字，执行此任务后得到的标注模型具有语音识别功能。又比如可以对语句进行情感分类，执行此任务后得到的标注模型具有对情感分类功能。

承接上述举例，执行完标注任务后可以得到具有不同功能的标注模型，则基于标注模型的输出还可以进一步完成其他任务。比如利用具有目标检测功能的模型检测出的人脸图像，再进一步根据人脸图像实现人脸识别。又比如利用具有语义识别功能的模型将用户输入的语音转换成文字，再进一步根据文字实现人机对话等等。

基于上述描述，下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

本发明下述各实施例提供的该模型训练方法可以由处理设备来执行。可以理解的是，该处理设备可以实现为软件、或者软件和硬件的组合，具体来说可以是服务器。根据上述描述可知，使用本发明各实施例提供的方法实际上可以同时为用户提供样本标注服务和模型训练服务。因此，执行模型训练方法的处理设备也可以认为是提供标注服务和模型训练服务的服务平台。

下述各实施例均以将服务平台作为执行主体为例，详细说明模型训练方法执行过程。图1为本发明实施例提供的一种模型训练方法的流程图。如图1所示，该方法包括如下步骤：

101、接收包含第一数据和第二数据的标注任务。

用户可以通过服务平台提供的接口提交标注任务，即将包含数据的标注任务输入服务平台。可选地，标注任务中包含的数据可以是音频、文本、图像、视频中的任一种。可选地，用户可以是具有标注需求的用户。承接上述举例，用户可以是智能机器人的开发方，开发方在执行标注任务并训练得到标注模型后，还可以基于得到的标注模型进一步训练语言模型，使智能机器人具有人机对话功能。用户还可以是身份识别设备(比如人脸打卡机)的开发方，开发方可以基于标注模型进一步训练人脸识别模型，以使设备具有人脸识别功能。

对于标注任务中的第一数据，可以由服务平台的标注人员进行人工标注。可选地，为了保证后续步骤102中第一标注模型的训练效果，第一数据需要满足预设条件。并且不同的标注任务，第一数据需要满足不同的预设条件。

对于存在正负样本的标注任务，第一数据的数量需要满足预设阈值，并且正负样本的比例也要满足预设比例。

举例来说，假设标注任务为对语句进行情感分类，则第一数据可以是语句。语句的数量需要满足预设阈值。语句中属于“正向”情感的语句可以认为是正样本，属于“负向”情感的语句可以认为是负样本，并且正负样本的比例需要满足预设比例，比如可以是1：1。

对于不存在正负样本的标注任务，第一数据只需要数量满足预设阈值即可。

举例来说，假设标注任务是将语音转换为文字，第一数据可以是多条音频，此时，音频的数量只需要满足预设阈值即可。

102、根据第一数据对应的人工标注结果进行训练，得到第一标注模型。

接着，服务平台可以利用第一数据及其对应的人工标注结果进行模型训练，以得到第一标注模型，也即是完成了标注模型的初步训练。

承接上述的情感分类标注任务，可以将多条语句作为训练样本，将人工标注的情感类型作为监督信息进行模型训练，以得到第一标注模型。承接上述的音频转换为文字任务，可以将音频作为训练样本，将人工转换的文字作为监督信息进行模型训练，以得到第一标注模型。

103、将第二数据输入第一标注模型，由第一标注模型输出第二数据对应的辅助标注结果，以供人工修正。

然后，服务平台再将未标注的第二数据输入第一标注模型，由第一模型输出并展示辅助标注结果。可选地，标注任务中除第一数据之外的剩余数据均可以认为是第二数据。并且由于第一标注模型的标注准确度有限，输出的辅助标注结果中往往存在错误，因此，还可以对展示的辅助标注结果进行人工修正，以得到第二数据对应的修正后标注结果。

其中，第二数据的数量也需要满足预设阈值。本实施例并不限定第一数据与第二数据之间的数量关系。但通常来说，第二数据的数量可以大于或等于第一数据的数量。

104、根据第二数据对应的修正后标注结果，调整第一标注模型的模型参数，以得到第二标注模型。

可选地，服务平台可以根据修正后标注结果调整第一标注模型的模型参数，调整参数的过程也即是对第一标注模型进行模型优化的过程。优化过程具体可以是：将第二数据作为训练样本，将修正后标注结果作为监督信息，以使第一标注模型再一次输出对应于第二数据的辅助标注结果，并借助损失函数调整模型参数，也即是实现了利用修正后标注结果对第一标注模型进行再训练。

可选地，服务平台也可以根据修正后标注结果以及第一数据对应的人工标注结果调整模型参数。

105、输出人工标注结果、修正后标注结果以及适用于标注任务的第二标注模型。

最终，服务平台将第二标注模型反馈给用户，同时在上述过程中，标注任务中的第一数据和第二数据也都进行了标注，也即是完成了标注任务。服务平台还可以将标注任务对应的标注结果，即将第二数据对应的修正后标注结果以及第一数据对应的人工标注结果也一并反馈给用户。

上述过程中，服务平台可以同时提供模型训练服务和标注服务，并且由于标注模型是使用用户提供的数据训练得到的，因此，标注模型是适用于标注任务的最佳标注模型，不会出现因没有适用于标注任务的标注模型而只能选择人工标注的情况。

本实施例中，服务平台接收标注任务，先根据标注任务中第一数据对应的人工标注结果训练第一标注模型。再利用此模型对标注任务中的第二数据进行辅助标注，以输出对应于第二数据的辅助标注结果。服务平台可以根据第二数据对应的修正后标注结果优化模型，得到第二标注模型。最终，服务平台输出适用于此标注任务的第二标注模型同时，还可以输出标注任务对应的标注结果。

可见，上述方法可以实现模型训练和标注任务的同时进行，并且降低人工标注的工作量。另外，由于标注模型是使用标注任务中的数据训练完成的，因此，训练得到的第二标注模型是适用于此标注任务的最佳标注模型，不会出现因不存在适用的标注模型，而只能选择人工标注的情况。

图1所示的实施例是将标注任务中除第一数据之外的剩余数据均作为第二数据，这样在使用第二数据及其对应的修正后标注结果进行第一标注模型的优化之后，标注任务中不存在未使用过的数据。在实际应用中，为了保证标注模型的标注准确度，第一标注模型的优化过程往往需要进行多次，此时由于已经没有未使用过的数据，因此只能多次重复使用标注任务中的第一数据、第二数据来进行模型优化，而多次使用相同数据又容易使模型出现过拟合。

为了避免过拟合，可选地，可以将标注任务中除第一数据之外的剩余数据进行分组。可选地，可以将剩余数据按照数据量，平均的划分为多组数据，分别称为第二数据、第三数据……以此类推。当然要保证每组数据的数据量满足预设阈值，不能过少。

经过上述划分之后，标注任务可以包括第一数据、第二数据、第三数据等等。按照图1所示实施例的方式，服务平台可以先根据第一数据训练得到第一标注模型，再根据第二数据对应的修正后标注结果以及第一数据对应的人工标注结果进行模型优化，以得到第二标注模型。模型的优化过程还可以参考标注结果的修正率，以使优化后的模型满足目标准确率。

模型优化的过程具体可以结合图2理解。图2为本发明实施例提供的另一种模型训练方法的流程图，如图2所示，该方法可以包括如下步骤：

201、接收包含第一数据和第二数据的标注任务。

202、根据第一数据对应的人工标注结果进行训练，得到第一标注模型。

上述步骤201～步骤202的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此不再赘述。

203、将第二数据输入第一标注模型，由第一标注模型输出第二数据对应的辅助标注结果，以供人工修正。

将第二数据输入第一标注模型，第一标注模型可以输出并展示第二数据对应的辅助标注结果，服务平台的标注人员可以对辅助标注结果进行修正，以使服务平台统计第一标注模型的修正率。在辅助标注结果中，被人工修正的可以称为目标标注结果，则修正率也即是目标标注结果数量与辅助标注结果数量的比值M。

举例来说，第二数据中包含N条音频，则第一标注模型可以依次将N条音频转换成文字，人工对于文字的修正也是逐条进行的。可选地，此时，服务平台可以实时统计有多少条音频被转换成文字，并实时计算比值M。

假设，在T1时刻，第一标注模型将N条中的N1条音频转换文字，即第一标注模型输出N1条辅助标注结果，服务平台可以计算在T1时刻下的比值M。由于此时第一标注模型还未将N条音频全部转换为文字，上述计算出的比值M并不能准确地反映第一标注模型的标注准确度，因此，无论比值M与第一预设阈值(其可以认为是预设修正率)之间的大小关系是什么都不会进行模型优化。在实际应用中，第一预设阈值可以设置为20％。

204、比较目标标注结果的数量与辅助标注结果的数量的比值是否小于第一预设阈值，若小于，则执行步骤205，否则执行步骤210，其中，目标标注结果为辅助标注结果中被人工修正的标注结果。

继续承接步骤203中的举例，随着第一标注模型不断输出辅助标注结果，假设在T2时刻，服务平台统计出第一标注模型输出N条辅助标注结果，此时，则可以比较比值M与第一预设阈值之间的大小关系。

若在T2时刻计算出的比值M大于或等于第一预设阈值,表明辅助标注结果中被人工修正的比例较高，表明第一标注模型对于第一数据和第二数据还没有很好的学习效果，导致第一标注模型的修正率以及标注准确度都不够，则可以根据第二数据对应的修正后标注结果以及第一数据对应的人工标注结果进行第一模型的优化，也即是执行步骤210。

若T2时刻计算出的比值M小于第一预设阈值，表明辅助标注结果中被人工修正的比例较低，在可接受范围内，表明第一标注模型对于第一数据、第二数据已经具有较好的学习效果，则服务平台可以进一步执行步骤205，即比较比值M和第二预设阈值。

其中，第二预设阈值可以间接反映标注模型的目标准确率，目标准确率＝1-预设修正率。目标准确率为最终训练出的标注模型所能达到的标注能力。第二预设阈值小于第一预设阈值，第二预设阈值可以设置为10％，即目标准确率设置为90％。则T2时刻的比值M和第二预设阈值的比较结果能够反映第一标识模型在T2时刻下的标注准确度。

205、比较目标标注结果的数量与辅助标注结果的数量的比值是否小于第二预设比值，若小于，则执行步骤206，否则执行步骤207～步骤209，其中，第一预设比值大于第二预设比值。

206、输出适用于标注任务的第一标注模型。

若T2时刻计算出的比值M小于第二预设阈值，表明在T2时刻，第一标注模型的修正率满足要求，同时模型的标注准确率也满足要求，表明利用第一数据训练得到的第一标注模型已经具有很好的标注能力，则服务平台可以直接将其输出。此第一标注模型是适用于标注任务的最佳模型。可选地，用户或者服务平台可以使用第一标注模型对标注任务中剩余数据进行标注。

207、获取标注任务中的第三数据。

208、将第三数据输入第一标注模型，以由第一标注模型输出第三数据对应的辅助标注结果，以供人工修正。

209、根据第二数据和第三数据各自对应的修正后标注结果以及人工标注结果，调整标第一注模型的模型参数，以得到第二标注模型。

若T2时刻计算出的比值M大于或等于第二预设阈值，表明在T2时刻，第一标注模型的修正率满足要求，但模型的标注准确率不满足要求，表明第一标注模型对第一数据、第二数据的学习效果在可接受范围内。第一数据、第二数据中被人工修正的标注结果数量较少，使用其进行模型优化，模型的标注能力并不能得到很好地提升。则为了进一步保证模型的优化结果，还可以使用标注任务中未使用过的数据进行模型优化。

具体来说，获取标注任务中的第三数据，并将第三数据输入至第一标注模式，以由第一标注模型输出第三数据对应的辅助标注结果。第三数据对应的辅助标注结果依旧可以进行人为修正。最终，可以根据第二数据、第三数据各自对应的修正后标注结果调整第一标注模型的模型参数；也可以根据第一数据对应的人工标注结果以及第二数据、第三数据各自对应的修正后标注结果调整第一标注模型的模型参数。

210、根据修正后标注结果和人工标注结果，调整标第一注模型的模型参数，以得到第二标注模型。

上述步骤210的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此不再赘述。

本实施例中也标注任务中的数据和标注模型的训练是同时进行的，也即是同时为用户提供了标注服务和模型训练服务。

实际应用中，可以根据第一标注模型的修正率和标注准确度重复上述的步骤204～步骤210中的一个或几个步骤，以使优化后的标注模型满足预设修正率和目标准确度。

本实施例的过程总结来说为：服务平台先利用标注任务中的第一数据进行模型的初步训练，得到第一标注模型。再利用标注任务中的一部分数据(比如第二数据)确定第一标注模型的修正率和标注准确度，即模型的训练效果。一种情况，若第一标注模型的修正率和标注准确率都满足要求，则直接将第一标注模型反馈给用户。另一种情况，若第一标注模型的修正率满足要求，但标注准确率不满足，则可以使用标注任务中的又一部分数据(比如第三数据)对应的修正后标注结果对第一标注模型进行优化。又一种情况，若第一标注模型的修正率不满足要求，则为了使第一标注模型对第一数据、第二数据具有较好的学习效果，还可以继续使用两数据各自对应的标注结果优化第一标注模型，此时，其他数据的标注结果暂且不用进行人工修正，降低人工修正的工作量。

可选地，对于第一标注模型的优化，还可以设置优化次数，若在达到预设优化次数，并且标注任务中的数据也全都使用完毕，标注模型还未满足预设修正率和目标标注准确率，则可以直接将当前训练得到的模型反馈给用户。

若在未达到预设优化次数之前，标注模型已经能够满足预设修正率和目标标注准确率标注模型，则可以提前终止模型训练，从而提高模型训练的效率。这种情况下，仅使用标注任务中的一部分数据即可训练出标注模型，可以由训练好的标注模型对标注任务中的剩余数据进行标注，减轻标注人员的标注压力。

另外，在实际应用中，服务平台往往会同时接收到多个标注任务，可选地，可以将其存入缓存队列，同时还可以根据标注任务的类型和所需的处理资源对其设置优先级，可以根据存入缓存队列中的时间，或者标注任务的优先级来依次执行标注任务。并且，根据上述描述可知，模型训练和标注任务可以同时进行，因此，标注任务也可以认为模型训练任务。

以图2所示实施例为例，服务平台可以同时为用户提供模型训练服务和标注服务，在此过程中主要包括模型训练和辅助标注两个步骤。其中，模型训练步骤包括：根据第一数据对应的人工标注结果训练得到第一标注模型；根据第二数据对应的修正后标注结果以及人工标注结果优化第一标注模型；根据第二数据、第三数据各自对应的修正后标注结果以及人工标注结果优化第一标注模型。辅助标注的步骤具体包括：利用第一标注模型输出第二数据和第三数据各自对应的辅助标注结果。

而上述实施例中对这两个步骤的描述是从整个服务平台的角度出发的。在实际应用中，可选地，服务平台由多个设备构成，并由不同的设备分别执行模型训练和辅助标注的步骤。可选地，服务平台也可以部署在一台设备上，模型训练和辅助标注步骤可以分别由服务平台中的不同处理器执行。

在这种情况下，就需要使服务平台的多个设备之间或者多个处理器之间建立通信连接，以实时通知标注模型的训练状态给另一设备或处理器，并根据训练状态进一步执行标注任务，从而最终实现同时提供标注服务和模型训练服务。

基于上述描述，图3为本发明实施例提供的一种模型训练系统的结构示意图，如图3所示，该系统可以包括：通信连接的第一处理设备1和第二处理设备2。

第一处理设备1具体用于进行模型训练和优化，以为用户提供模型训练服务；第二处理设备2具体用于使用第一处理设备1训练出的模型对标注任务进行辅助标注，以为用户提供标注服务。

具体地，首先，用户可以利用服务平台提供的接口输入标注任务，以使服务平台中的两个处理设备都能够得到标注任务中包含的数据。接着，服务平台的标注人员可以对标注任务中的第一数据进行标注，以使得到第一数据对应的人工标注结果。第一处理设备1根据此人工标注结果训练得到第一标注模型。第一处理设备1还会保存此第一标注模型，并且将第一数据对应的人工标注结果以及可执行文件发送至第二处理设备2。其中，第一处理设备1保存的具体来说是第一标注模型对应的可执行文件。

然后，第二处理设备2接收并执行第一标注模型对应的可执行文件，即将标注任务中的第二数据输入第一标注模型，以由第一标注模型输出第二数据对应的辅助标注结果。辅助标注结果还可以进行人工修正，以得到修正后标注结果。第二处理器2会保存并发送修正后标注结果至第一处理设备1。第一处理设备1接收第二数据对应的修正后标注结果后，进一步根据此修正后标注结果调整第一标注模型的模型参数，得到第二标注模型。第一处理设备1保存并发送此第二标注模型对应的可执行文件至第二处理设备2。

经过上述过程，利用第一处理设备1能够训练得到标注模型，利用第二处理设备2能够得到第二数据对应的修正后标注结果。

最终，第二处理设备2可以输出适用于标注任务的第二标注模型，也即是为用户提供了模型训练服务。并且第二处理器2还可以输出标注任对应的标注结果，也即是为用户提供了标注服务。

上述过程的具体实现过程可以参见图1所示实施例中的相关描述，在此不再赘述。

可选地，为保证第一标注模型的训练效果，第一数据需要满足预设条件。与图1所示的实施例相同的，第一数据在数量上要满足预设阈值，并且在特定的标注任务中第一数据中包含的正负样本的分布比例也要满足预设比例。只有当第一数据满足预设条件时，才能进行标注模型的训练。

在得到第一标注模型后，对于此模型的优化过程，可以参见以下描述：

可选地，第一处理设备1在利用第一数据对应的人工标注结果训练第一标注模型的过程中，还会实时发送模型的训练状态至第二处理设备2，以使第二处理设备2了解模型的训练进度。

当训练状态为训练完成时，可选地，第一处理设备1可以主动将第一模型对应的可执行文件发送至第二处理设备2，当然第二处理设备2也可以根据接收到的训练状态主动向第一处理设备1获取第一标注模型对应的可执行文件。

第二处理设备2可以执行此文件，即将标注任务中的第二数据输入第一标注模型，以使此第一标注模型输出第二数据对应的辅助标注结果。并且在第一标注模型输出的辅助标注结果中，被人工修正的可以称为目标标注结果，第一标注模型的修正率也即是目标标注结果数量与辅助标注结果数量的比值M。

由于第一标注模型是依次对第二数据中的每条数据进行辅助标注的，人工对第二数据对应的辅助标注结果进行修正过程也是逐条进行的。因此，在第一标注模型实时输出辅助标注结果的同时，第二处理设备2还可以实时计算比值M。

为了保证模型优化的效果，可选地，在第一标注模型输出第二数据中所有数据的辅助标注结果，并且所有辅助标注结果也都进行人工修正后，第二处理设备2可以进一步计算此时的比值M，并比较此比值M与第一预设阈值之间的大小关系。

若比值M大于或等于第一预设阈值，表明第一标注模型的修正率不符合要求，则第二处理设备2会发送修正后的标注结果和第一数据对应的人工标注结果至第一处理设备1，以由第一处理设备1根据二者调整模型参数，也即是对第一标注模型进行再训练。

若比值M小于第一预设阈值，表明第一标注模型的修正率符合要求，则进一步比较比值M与第二预设阈值，其中，第一预设阈值大于第二预设阈值，第二阈值能够间接反映模型的标注准确度。

若比值M小于第二预设阈值，表明第一标注模型的修正率和标注准确率都满足要求，则第二处理设备2直接输出适用于标注任务的第一标注模型。

若比值M大于第二预设阈值，表明第一标注模型的修正率符合要求，但标注准确度不满足要求，则第二处理设备2获取标注任务中的第三数据，并执行第一标注模型对应的可执行文件，即将第三数据输入第一标注模型，以由辅助标注模型输出可供第三数据对应的辅助标注结果，以供人工修正。

第二处理设备2还会发送第二数据和第三数据各自对应的修正后标注结果以及人工标注结果至第一处理设备1。第一处理设备1根据第二数据和第三数据各自对应的修正后标注结果以及人工标注结果，调整标第一注模型的模型参数。

上述过程的具体实现过程可以参见图2所示实施例中的相关描述，在此不再赘述。并且在模型优化过过程中，第一处理设备1也可以实时向第二处理设备2发送训练状态。

另外，需要说明的有，可选地，模型训练系统具体可以是一台服务器，此时，第一处理设备1和第二处理设备2具体可以是服务器中的两个处理器。第一处理器1可以是图像处理器(Graphics Processing Unit，简称GPU)，第二处理器2可以是中央处理器(CentralProcessing Unit，简称CPU)。

本实施例中未详细描述的内容可以参见上述各实施例中的内容，所能达到的技术效果也可以参见图1～图2所示实施例中的内容，在此不再赘述。

为便于理解，结合如下的应用场景对以上提供的模型训练方法、模型训练系统的具体实现进行示例性说明。下面内容可以结合图4理解。

假设，服务平台部署在一台设备上。标注任务是将音频转换成文字。并且用户输入包含A条音频的标注任务，其中的B条音频即为上述各实施例中的第一数据，可以将剩余的A-B条音频划分为数量相等的多组，即上述各实施例中的第二数据、第三数据等等，第二数据、第三数据中可以包含C条音频。并且第一数据和第二数据的数量都要满足预设条件。

基于此，服务器接收到标注任务后，可以人工将A条音频转换成文字，并由服务平台中的GPU根据A条音频及其对应的文字进行模型训练，以得到第一标注模型。在训练过程中，GPU可以实时向服务平台中的CPU发送训练状态信息，以通知CPU第一标注模型的训练状态。

当第一标注模型训练完成后，GPU可以将第一标注模型对应的可执行文件发送至CPU。CPU执行此文件，以将第二数据输入第一标注模型，由第一标注模型输出第二数据对应的辅助标注结果，并且辅助标注结果可以进行人工修正。

由于CPU是逐条将第二数据中的音频转换成文字的，因此人工修正也是逐条进行的。CPU还可以实时计算第一标注模型的修正率。修正率也即是在某一时刻下，目标标注结果的数量与第一标注模型在此时刻下已经输出的辅助标注结果的数量的比值D。其中，目标标注结果为第一标注模型输出的辅助标注结果中被人工修改的标注结果。

但考虑到修正率的准确性，因此只有当CPU将第二数据中的全部音频转换成文字后计算得到的修正率才是准确的。所以，CPU在计算比值D的同时还会实时统计第一标注模型是否将B条音频数据全部标注完成。当全部标注完成时，CPU才会进一步判断第一标注模型的修正率是否满足要求，即比值D是否小于第一预设阈值。

若比值D大于或等于第一预设阈值，表明第一标注模型的修正率不符合要求，则CPU发送第二数据对应的修正后的标注结果和第一数据对应的人工标注结果至GPU，以由GPU根据二者调整第一标注模型的模型参数，也即是对第一标注模型进行再训练。

若比值D小于第一预设阈值，表明第一标注模型的修正率符合要求，则进一步比较比值D与第二预设阈值，其中，第一预设阈值大于第二预设阈值。

若比值D小于第二预设阈值，表明第一标注模型的修正率和标注准确率都满足要求，则GPU直接输出适用于标注任务的第一标注模型。也即是完成了为用户提供模型训练服务。同时，CPU还可以输出第一数据对应的人工标注，也相当于为用户完成了部分标注任务。标注任务中的剩余音频可以由第一标注模型完成。

若比值D大于第二预设阈值，表明第一标注模型的修正率符合要求，但标注准确度不满足要求，则CPU获取标注任务中的第三数据，并执行第一标注模型对应的可执行文件，即将第三数据输入第一标注模型，以由辅助标注模型输出可供第三数据对应的辅助标注结果，以供人工修正。

CPU还会发送第二数据和第三数据各自对应的修正后标注结果以及人工标注结果至GPU。GPU根据第二数据和第三数据各自对应的修正后标注结果以及人工标注结果，调整标第一注模型的模型参数。

重复上述过程直至标注模型的修正率和标注准确度同时满足要求。

以下将详细描述本发明的一个或多个实施例的模型训练装置。本领域技术人员可以理解，这些模型训练装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图5为本发明实施例提供的一种模型训练装置的结构示意图，如图5所示，该装置包括：

接收模块11，用于接收包含第一数据和第二数据的标注任务。

训练模块12，用于根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型。

输入模块13，用于将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正。

调整模块14，用于根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型。

输出模块15，用于输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

可选地，所述调整模块14具体用于：若目标标注结果的数量与所述辅助标注结果的数量的比值大于或等于第一预设阈值，则根据所述修正后标注结果和所述人工标注结果，调整所述标第一注模型的模型参数，其中，所述目标标注结果为所述辅助标注结果中被人工修正的标注结果。

可选地，所述调整模块14具体用于：若所述目标标注结果的数量与所述辅助标注结果的数量的比值小于所述第一预设阈值，则比较所述比值与所述第二预设阈值，所述第一预设阈值大于所述第二预设阈值；以及若所述比值小于所述第二预设阈值，则输出适用于所述标注任务的所述第一标注模型。

可选地，所述调整模块14具体用于：若所述比值大于所述第二预设阈值，则获取所述标注任务中的第三数据；

将所述第三数据输入所述第一标注模型，以由所述第一标注模型输出所述第三数据对应的辅助标注结果，以供人工修正；

根据所述第二数据和所述第三数据各自对应的修正后标注结果以及所述人工标注结果，调整所述标第一注模型的模型参数。

其中，所述第一数据的数量和/或所述第一数据中正样本和负样本的分布比例满足预设条件。

所述第二数据的数量和所述第三数据的数量均为预设阈值。

所述标注任务包括对音频、文本、图像、视频中的至少一项进行标注。

图5所示的模型训练装置可以执行前述图1至图2所示实施例提供的模型训练方法，本实施例未详细描述的部分，可参考对图1至图2所示实施例的相关说明，在此不再赘述。

以上描述了模型训练装置的内部功能和结构，在一个可能的设计中，模型训练装置的结构可实现为电子设备，如图6所示，该电子设备可以包括：处理器31和存储器32。其中，所述存储器32用于存储支持该电子设备执行前述图1至图2所示实施例中提供的模型训练方法的程序，所述处理器31被配置为用于执行所述存储器32中存储的程序。

所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器31执行时能够实现如下步骤：

接收包含第一数据和第二数据的标注任务；

根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；

将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；

根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

可选地，所述处理器31还用于执行前述图1至图2所示实施例中的全部或部分步骤。

其中，所述智能机器人的结构中还可以包括通信接口33，用于与其他设备或通信网络通信。

另外，本发明实施例提供了一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：

接收包含第一数据和第二数据的标注任务；

根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；

将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；

根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种模型训练方法，其特征在于，包括：

接收包含第一数据和第二数据的标注任务；

根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；

将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；

根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，包括：

若目标标注结果的数量与所述辅助标注结果的数量的比值大于或等于第一预设阈值，则根据所述修正后标注结果和所述人工标注结果，调整所述标第一注模型的模型参数，其中，所述目标标注结果为所述辅助标注结果中被人工修正的标注结果。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若所述目标标注结果的数量与所述辅助标注结果的数量的比值小于所述第一预设阈值，则比较所述比值与所述第二预设阈值，所述第一预设阈值大于所述第二预设阈值；

若所述比值小于所述第二预设阈值，则输出适用于所述标注任务的所述第一标注模型。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述比值大于所述第二预设阈值，则获取所述标注任务中的第三数据；

将所述第三数据输入所述第一标注模型，以由所述第一标注模型输出所述第三数据对应的辅助标注结果，以供人工修正；

所述根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，包括：

根据所述第二数据和所述第三数据各自对应的修正后标注结果以及所述人工标注结果，调整所述标第一注模型的模型参数。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：所述第一数据的数量和/或所述第一数据中正样本和负样本的分布比例满足预设条件。

6.根据权利要求5所述的方法，其特征在于，所述第二数据的数量和所述第三数据的数量均为预设阈值。

7.根据权利要求1所述的方法，其特征在于，所述标注任务包括对音频、文本、图像、视频中的至少一项进行标注。

8.一种模型训练系统，其特征在于，包括：通信连接的第一处理设备和第二处理设备

所述第一处理设备，用于接收包含第一数据和第二数据的标注任务；以及根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；根据接收到的所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

所述第二处理设备，用于获取所述第一标注模型，将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；发送修正后标注结果至所述第一处理设备；以及输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

9.根据权利要求8所述的系统，其特征在于，所述第一处理设备具体用于，若所述第一数据的数量和/或所述第一数据中正样本和负样本的分布比例满足预设条件，则根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型。

10.根据权利要求8所述的系统，其特征在于，所述第一处理设备还用于，发送标注模型的训练状态；以及若所述训练状态为训练完成，则将所述第一标注模型对应的可执行文件发送至所述第二处理设备，以由所述第二处理设备将接收到的所述第二数据输入所述第一标注模型。

11.根据权利要求8所述的系统，其特征在于，所述第二处理设备还用于：确定目标标注结果的数量与所述辅助标注结果的数量的比值，其中，所述目标标注结果为所述辅助标注结果中被人工修正的标注结果；

若所述比值大于或等于第一预设阈值，则发送所述修正后标注结果和所述人工标注结果至所述第一处理设备，以由所述第一处理设备根据所述修正后标注结果和所述人工标注结果，调整所述标第一注模型的模型参数。

12.根据权利要求11所述的系统，其特征在于，所述第二处理设备还用于，若比值小于所述第一预设阈值，则比较所述比值与所述第二预设阈值，所述第一预设阈值大于所述第二预设阈值；

若所述比值小于所述第二预设阈值，则输出适用于所述标注任务的所述第一标注模型。

13.根据权利要求12所述的系统，其特征在于，所述第二处理设备还用于，若所述比值大于所述第二预设阈值，则获取所述标注任务中的第三数据；

将所述第三数据输入所述第一标注模型，以由所述辅助标注模型输出所述可供所述第三数据对应的辅助标注结果，以供人工修正；

发送所述第二数据和所述第三数据各自对应的修正后标注结果以及所述人工标注结果至所述第一处理设备；

所述第一处理设备，还用于根据所述第二数据和所述第三数据各自对应的修正后标注结果以及所述人工标注结果，调整所述标第一注模型的模型参数。

14.一种模型训练装置，其特征在于，包括：

接收模块，用于接收包含第一数据和第二数据的标注任务；

训练模块，用于根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；

输入模块，用于将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；

调整模块，用于根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

输出模块，用于输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

15.一种电子设备，包括：处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现：

接收包含第一数据和第二数据的标注任务；

根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；

将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；

根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

16.一种存储计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：

接收包含第一数据和第二数据的标注任务；

根据所述第一数据对应的人工标注结果进行训练，得到第一标注模型；

将所述第二数据输入所述第一标注模型，由所述第一标注模型输出所述第二数据对应的辅助标注结果，以供人工修正；

根据所述第二数据对应的修正后标注结果，调整所述第一标注模型的模型参数，以得到第二标注模型；

输出所述人工标注结果、所述修正后标注结果以及适用于所述标注任务的所述第二标注模型。

Images