CN110427487A - 一种数据标注方法、装置及存储介质 - Google Patents

Abstract

本说明书实施例提供一种数据标注方法、装置及存储介质。所述方法包括：根据待标注数据中表达的内容，对待标注数据进行分类；根据所述待标注数据的类型，选择相应的预标注模型对所述待标注数据进行一次标注，获得第一标注结果；对所述一次标注的数据进行二次标注，获得第二标注结果；将所述第二标注结果作为最终标注结果。通过上述方式使数据标注的效率与准确率都得到了保障，使用模型进行预标注，补偿了人工标注的效率问题，同时利用二次标注，提高了纯模型标注的准确率。

Description

一种数据标注方法、装置及存储介质

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种数据标注方法、装置及存储介质。

背景技术

随着互联网以及人工智能的快速发展，业务量也越来越多，在人工智能开发/识别过程中需要的非结构化数据标注量越来越大，传统的标注方法耗费巨大的人力财力和时间，如催收机器人的语音数据标注工作，和文字意图标注工作，需要消耗巨大的人力物力。

标注工作已经成为人工智能高速发展的瓶颈，而在标注的过程中，重复的标注样本和可被模型识别的样本，占了很大的比重。现有技术中，对于重复的标注样本和可被模型识别的样本通常是使用模型进行自动化标注的，而大规模使用模型标注，虽然可以提高标注效率，但无法保证精确程度。

发明内容

本说明书实施例的目的是提供一种数据标注方法、装置及存储介质，以提高标注效率和提升模型的精确程度。

为解决上述问题，本说明书实施例提供一种数据标注方法、装置及存储介质是这样实现的。

一种数据标注方法，所述方法包括：根据待标注数据中表达的内容，对待标注数据进行分类；根据所述待标注数据的类型，选择相应的预标注模型对所述待标注数据进行一次标注，获得第一标注结果；对所述一次标注的数据进行二次标注，获得第二标注结果；将所述第二标注结果作为最终标注结果。

一种数据标注装置，所述装置包括：分类模块，用于根据待标注数据中表达的内容，对待标注数据进行分类；第一标注模块，用于根据所述待标注数据的类型，选择相应的预标注模型对所述待标注数据进行一次标注，获得第一标注结果；第二标注模块，用于对所述一次标注的数据进行二次标注，获得第二标注结果；结果确定模块，用于将所述第二标注结果作为最终标注结果。

一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被执行时实现：根据待标注数据中表达的内容，对待标注数据进行分类；根据所述待标注数据的类型，选择相应的预标注模型对所述待标注数据进行一次标注，获得第一标注结果；对所述一次标注的数据进行二次标注，获得第二标注结果；将所述第二标注结果作为最终标注结果。

由以上本说明书实施例提供的数据标注方法，可以根据待标注数据中表达的内容，对待标注数据进行分类；根据所述待标注数据的类型，选择相应的预标注模型对所述待标注数据进行一次标注，获得第一标注结果；对所述一次标注的数据进行二次标注，获得第二标注结果；将所述第二标注结果作为最终标注结果。本说明书实施例提供的数据标注方法，充分利用了机器学习的优势，提供了一种集成一次标注和二次标注，使标注的效率与准确率都得到了保障，使用模型进行预标注，补偿了人工标注的效率问题，同时利用二次标注，提高了纯模型标注的准确率。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例一个场景示例的方法流程图；

图2为本说明书实施例一个场景示例的方法流程图；

图3为本说明书实施例一种数据标注方法的流程图；

图4为本说明书实施例一种数据标注装置的功能模块图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

在本实施方式中，执行所述数据标注方法的主体可以是具有逻辑运算功能的电子设备，所述电子设备可以是服务器或客户端，所述客户端可以为台式电脑、平板电脑、笔记本电脑、工作站等。当然，客户端并不限于上述具有一定实体的电子设备，其还可以为运行于上述电子设备中的软体。还可以是一种通过程序开发形成的程序软件，该程序软件可以运行于上述电子设备中。

现有的使用模型进行自动化标注的，而大规模使用模型标注，虽然可以提高标注效率，但无法保证精确程度，考虑到数据的多样性，数据中不同的内容表达可能出现相同的意思，如果利用多模型标注与二次标注相结合，可以最大化的提高标注效率的新方法。

本实施方式提供了一个场景示例，如图1所示，图1为本实施方式提供的一个场景示例的流程图。

在本场景示例中，将文本数据作为待标注数据来对数据标注模型进行训练。首先通过服务器接收待标注的文本数据，再调用数据筛选模型对待标注的文本数据进行分类，将不同文本数据类型按内容进行精确的区分，对于复杂类型，如混合型数据，可以依靠随机森林算法对文本数据进行分类。举例来说，文本数据的类型可以包括交易类数据、医药类数据、文学类数据等类型的数据，在服务器获取待标注的文本数据后，可通过调用数据筛选模型对待标注文本数据进行分类。例如，数据筛选模型可以对待标注文本数据进行文字识别，根据文本数据中的关键词信息来确定待标注文本数据的类别。

在本场景示例中，在确定待标注文本数据的类别后，可以自动选择相应的预标注模型对文本数据进行标注。例如，如果所述文本数据为交易类数据，通常需要对交易日期、客户电话号码、交易金额等进行标注，则可以选择交易类预标注模型。

在一些实施例中，可以查找此次标注所需要的预标注模型是否已存在并可用，若存在并可用，则使用该预标注模型进行标注，否则，使用预设的通用预标注模型进行标注。其中，所述预标注模型可以通过文字识别技术，将如XML、HTML等不同格式的文本数据转换为服务器可识别的文件从而提取文字信息，再根据文字信息中包含的关键字来对待标注文本数据进行标注。具体的，可以对文字信息进行分词，并根据分词的结果确定文字信息中包含的关键词，在根据预先建立好的关键词与需要标注的内容的对应关系，对待标注文本数据进行标注。

在一些实施例中，所述预标注模型在提取待标注文本数据的文字信息后，还可以通过自然语言技术对文字信息进行语义识别，对需要标注的内容进行标注。其中，所述预标注模型可以通过以下方式训练而成：预先将大量包含需要标注的内容作为训练样本，通过机器学习的方法，训练一个能够识别文字信息中不同短语所表征的含义以及能够识别多个短语之间的关联关系的自然语言模型。在模型选择完毕后，模型便可对待标注文本数据进行一次标注，并获取第一标注结果，再将第一标注结果与原待标注数据进行分发，并交予二次标注平台进行二次标注。

在本场景示例中，可以通过第二标注平台对所述一次标注的数据进行标注，并获得第二标注结果。其中，二次标注平台是为了对模型预标注的结果进行检测和确认，同时将确认准确和有效的数据，并将第二标注结果与预标注结果对比，检测第二标注结果与预标注的结果是否重复。其中，第二标注结果可以包括相比于第一标注结果增加的部分、对第一标注结果修正的部分、与第一标注结果重复的部分以及二次标注平台未识别到的第一标注结果的部分。将所述第二标注结果的作为最终标注结果。

在一些实施例中，二次标注平台可以是人工标注，通过人工对原始文本数据进行标注，并确认和修改预标注的结果，也可是是机器标注，其中，机器标注与预标注采用的标注模型不同，比如，基于不同的核心算法进行标注。

在本场景示例中，为了进一步提高数据标注的效率，还可以通过对预标注模型进行迭代训练，以提高预标注模型的对文本的识别率。如图2所示，在二次标注后，可以将所述第二标注结果中与所述第一标注结果不同的标注结果作为训练集，对预标注模型进行训练，将训练后的预标注模型代替原来的预标注模型对所述待标注数据进行一次标注；还可以将所述第二标注结果中与所述第一标注结果不同的标注结果加入预设的训练集中，得到新的训练集，并利用所述新的训练集对预标注模型进行训练，将训练后的预标注模型代替原来的预标注模型对所述待标注数据进行一次标注，其中，预设的训练集为已经经过标注并且标注的结果为标准结果的数据。在一些实施例中，可以在二次标注后，判断所述第二标注结果中与所述第一标注结果不同的标注结果在第二标注结果中所占的比例是否超过预设阈值，如果超过，则利用所述训练集对预标注模型进行训练。其中，所述预设阈值可以是，10％、20％、50％等，本领域技术人员可以根据实际情况确定阈值，本说明书实施例在此不做限定。

在一些实施例中，并在训练完成时，可以通过预设的测试集对训练后的预标注模型进行测试，判断所述训练后的预标注模型对测试集的识别率是否大于预设阈值。其中，预设的测试集为已经经过标注并且标注的结果为标准结果的数据。具体的，可以统计模型的准确率、召回率等模型的评价指标来判断训练后的预标注模型对测试集的识别率是否大于预设阈值，如果是，则表明训练后的预标注模型有增益效果，则使用该模型替换原预标注模型，并使用新的预标注模型对待标注文本数据继续进行一次标注，以此方法进行迭代训练和标注，最终完成标注任务，以实现标注效率最大化；否则，表明训练后的预标注模型没有增益效果，则撤销此次训练结果，回退至上一状态，将此次标注的内容退回并进行标记。其中，所述预设阈值可以是90％、80％，在实际应用中可以根据实际情况自行设定，在本实施例中并不以此为限。

在一些实施例中，在所述训练后的预标注模型对测试集的识别率是大于预设阈值的情况下，还可以确定对训练后的预标注模型进行测试后出现的异常数据，其中所述异常数据为对所述测试集的标注结果中出现标注错误的数据；再根据所述异常数据，对所述训练后的预标注模型进行优化，将经过优化后的预标注模型代替原来的预标注模型对所述待标注数据进行一次标注。其中，所述对所述训练后的预标注模型进行优化包括：对所述异常数据进行修正，将修正后的数据作为训练集，对所述训练后的预标注模型再次进行训练。

本场景示例充分利用机器学习的优势，提供了一种集成预标注和二次标注，使标注的效率与准确率都得到了保障，使用模型进行预标注，补偿了人工标注的效率问题，同时利用二次标注，提高了纯模型标注的准确率，在标注结果输出到模型后，存在检测系统，对训练的效果进行了保障，以此方法进行迭代训练和标注，减少了由于模型失误导致模型不准确的问题。

请参阅图3，图3为本说明书一种数据标注方法的一个实施例，所述方法可以包括以下步骤。

S310：根据待标注数据中表达的内容，对待标注数据进行分类。

在一些实施例中，可以通过服务器接收待标注数据，再调用数据筛选模型对待标注数据进行分类，将不同数据类型按数据中表达的内容进行区分，对于复杂类型，如混合型数据，可以依靠随机森林算法对数据进行分类。

在一些实施例中，待标注数据可以为文本数据、图像数据、视频数据或者音频数据，所述数据的类型可以包括交易类数据、医药类数据、文学类数据等类型的数据。例如，所述待标注数据为文本数据时，在服务器获取待标注的文本数据后，可通过调用数据筛选模型对待标注文本数据进行分类。具体的，数据筛选模型可以对待标注文本数据的内容进行文字识别，根据文字所表达的意思对待标注文本进行分类，还可以识别待标注文本中是否包含某些关键字，再根据关键字信息来确定待标注文本的类别。

S320：根据所述待标注数据的类型，选择相应的预标注模型对所述待标注数据进行一次标注，获得第一标注结果。

具体的，例如对于文本数据进行标注，如果所述文本数据为交易类数据，通常需要对交易日期、客户电话号码、交易金额等进行标注，则可以选择交易类预标注模型；果所述文本数据为医药类数据，通常需要对药品名称、适用症状、生产日期、有效日期等进行标注，则可以选择医药类预标注模型。

在一些实施例中，所述预标注模型可以通过文字识别技术，将如XML、HTML等不同格式的文本数据转换为服务器可识别的文件从而提取文字信息，再根据文字信息中包含的关键字来对待标注文本数据进行标注。具体的，可以对文字信息进行分词，并根据分词的结果确定文字信息中包含的关键词，在根据预先建立好的关键词与需要标注的内容的对应关系，对待标注文本数据进行标注。

在一些实施例中，所述预标注模型在提取待标注文本数据的文字信息后，可以通过自然语言技术对文字信息进行语义识别，对需要标注的内容进行标注。其中，所述预标注模型可以通过以下方式训练而成：预先将大量包含需要标注的内容作为训练样本，通过机器学习的方法，训练一个能够识别文字信息中不同短语所表征的含义以及能够识别多个短语之间的关联关系的自然语言模型。在进行预标注模型的训练时，首先可以通过人工标注的方式，在训练样本中将需要标注的内容进行标注。

S330：对所述一次标注的数据进行二次标注，获得第二标注结果。

在一些实施例中，在通过对待标注数据进行预标注后，还可以对待标注数据进行二次标注。具体的，第二次标注可以通过机器标注，其中，机器标注与预标注采用的标注模型不同，比如，第二次标注所采用的模型，在将如XML、HTML等不同格式的文本数据转换为服务器可识别的文件从而提取文字信息后，再对文字信息采用不同的分词方式，并根据分词的结果确定文字信息中包含的关键词，在根据预先建立好的关键词与需要标注的内容的对应关系，对待标注文本数据进行标注。或者，第二次标注所采用的模型在训练时可以选取不同的训练样本进行训练得到。在一些实施例中，第二次标注还可以是人工进行标注，通过人工对待标注数据进行直接标注。

S340：将所述第二标注结果作为最终标注结果。

在一些实施例中，所述第二标注结果可以包括第二标注结果可以包括相比于第一标注结果增加的部分、对第一标注结果修正的部分、与第一标注结果重复的部分以及二次标注平台未识别到的第一标注结果的部分。

在一些实施例中，可以将所述第二标注结果作为最终标注结果。

在一些实施例中，为了进一步提高数据标注的效率，还可以通过对预标注模型进行迭代训练，以提高预标注模型的对文本的识别率。具体的，在二次标注后，可以将所述第二标注结果中与所述第一标注结果不同的标注结果作为训练集，对预标注模型进行训练。或者，将所述第二标注结果中与所述第一标注结果不同的标注结果加入预设的训练集中，得到新的训练集，并利用所述新的训练集对预标注模型进行训练。

在一些实施例中，为减少工作量，可以在二次标注后，判断所述第二标注结果中与所述第一标注结果不同的标注结果在第二标注结果中所占的比例是否超过预设阈值，如果超过，则利用所述训练集对预标注模型进行训练。如果不超过，则将所述不同的标注结果加入预设的训练集中，得到新的训练集，并将新的训练集替换原来的预设的训练集并进行存储，以此来不断地对预设的训练集进行更新，在第二标注结果中与第一标注结果不同的标注结果在第二标注结果中所占的比例超过预设阈值时，则用更新后的预设的训练集来对预标注模型进行训练。其中，所述预设阈值可以是，10％、20％、50％等，本领域技术人员可以根据实际情况确定阈值，本说明书实施例在此不做限定。

在一些实施例中，并在训练完成时，可以通过预设的测试集对训练后的预标注模型进行测试，判断所述训练后的预标注模型对测试集的识别率是否大于预设阈值。其中，预设的测试集为已经经过标注并且标注的结果为标准结果的数据。具体的，可以统计模型的准确率、召回率等模型的评价指标来判断训练后的预标注模型对测试集的识别率是否大于预设阈值，如果是，则表明训练后的预标注模型有增益效果，则使用该模型替换原预标注模型，并使用新的预标注模型对待标注文本数据继续进行一次标注获得第三标注结果，再对所述第三标注结果进行二次标注，获得第四标注结果，最后将所述第四标注结果作为最终标注结果。以此方法进行迭代训练和标注，最终完成标注任务，以实现标注效率最大化；否则，表明训练后的预标注模型没有增益效果，则撤销此次训练结果，回退至上一状态，将此次标注的内容退回并进行标记。其中，所述预设阈值可以是90％、80％，在实际应用中可以根据实际情况自行设定，在本实施例中并不以此为限。

本说明书实施例提供的数据标注方法，充分利用了机器学习的优势，提供了一种集成预标注和二次标注，使标注的效率与准确率都得到了保障，使用模型进行预标注，补偿了人工标注的效率问题，同时利用二次标注，提高了纯模型标注的准确率，在标注结果输出到模型后，存在检测系统，对训练的效果进行了保障，以此方法进行迭代训练和标注，减少了由于模型失误导致模型不准确的问题。

本说明书实施例还提供了一种数据标注方法的计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：根据待标注数据中表达的内容，对待标注数据进行分类；根据所述待标注数据的类型，选择相应的预标注模型对所述待标注数据进行一次标注，获得第一标注结果；对所述一次标注的数据进行二次标注，获得第二标注结果；将所述第二标注结果作为最终标注结果。

在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可用于存储所述计算机程序和/或模块，所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据用户终端的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器。在本实施方式中，该计算机可读存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

参阅图4，在软件层面上，本说明书实施例还提供了一种数据标注装置，该装置具体可以包括以下的结构模块。

分类模块410，用于根据待标注数据中表达的内容，对待标注数据进行分类；

第一标注模块420，用于根据所述待标注数据的类型，选择相应的预标注模型对所述待标注数据进行一次标注，获得第一标注结果；

第二标注模块430，用于对所述一次标注的数据进行二次标注，获得第二标注结果；

结果确定模块440，用于将所述第二标注结果作为最终标注结果。

在一些实施例中，所述装置还可以包括训练模块，用于将所述第二标注结果中与所述第一标注结果不同的标注结果作为训练集，对预标注模型进行训练；使用训练后的预标注模型对所述待标注数据进行一次标注，获得第三标注结果；对所述第三标注结果进行二次标注，获得第四标注结果；将所述第四标注结果作为最终标注结果。

在一些实施例中，所述训练模块还包括：判断模块，用于在预标注模型训练完成后，判断训练后的预标注模型是否满足预设条件，若满足，则将训练后的预标注模型代替原来的预标注模型对所述待标注数据进行一次标注。

在一些实施例中，所述训练模块还包括：优化模块，用于在训练后的预标注模型满足预设条件时，确定对训练后的预标注模型进行测试后出现的异常数据；所述异常数据为对所述测试集的标注结果中出现标注错误的数据；根据所述异常数据，对所述训练后的预标注模型进行优化，将经过优化后的预标注模型对所述待标注数据进行一次标注；其中，所述对所述训练后的预标注模型进行优化包括：对所述异常数据进行修正，将修正后的数据作为训练集，对所述训练后的预标注模型再次进行训练。

本说明书实施例提供的数据标注装置，充分利用了机器学习的优势，提供了一种集成预标注和二次标注，使标注的效率与准确率都得到了保障，使用模型进行预标注，补偿了人工标注的效率问题，同时利用二次标注，提高了纯模型标注的准确率，在标注结果输出到模型后，存在检测系统，对训练的效果进行了保障，以此方法进行迭代训练和标注，减少了由于模型失误导致模型不准确的问题。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例和设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员在阅读本说明书文件之后，可以无需创造性劳动想到将本说明书列举的部分或全部实施例进行任意组合，这些组合也在本说明书公开和保护的范围内。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims (12)

1.一种数据标注方法，其特征在于，所述方法包括：

根据待标注数据中表达的内容，对待标注数据进行分类；

根据所述待标注数据的类型，选择相应的预标注模型对所述待标注数据进行一次标注，获得第一标注结果；

对所述一次标注的数据进行二次标注，获得第二标注结果；

将所述第二标注结果作为最终标注结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第二标注结果中与所述第一标注结果不同的标注结果作为训练集，对预标注模型进行训练；

使用训练后的预标注模型对所述待标注数据进行一次标注，获得第三标注结果；

对所述第三标注结果进行二次标注，获得第四标注结果；

将所述第四标注结果作为最终标注结果。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在预标注模型训练完成后，判断训练后的预标注模型是否满足预设条件，若满足，则将训练后的预标注模型对所述待标注数据进行一次标注。

4.根据权利要求3所述的方法，其特征在于，所述判断训练后的预标注模型是否满足预设条件包括：

通过预设的测试集对训练后的预标注模型进行测试，判断所述训练后的预标注模型对测试集的识别率是否大于预设阈值。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若训练后的预标注模型满足预设条件，则确定对训练后的预标注模型进行测试后出现的异常数据；所述异常数据为对所述测试集的标注结果中出现标注错误的数据；

根据所述异常数据，对所述训练后的预标注模型进行优化，将经过优化后的预标注模型对所述待标注数据进行一次标注；

其中，所述对所述训练后的预标注模型进行优化包括：对所述异常数据进行修正，将修正后的数据作为训练集，对所述训练后的预标注模型再次进行训练。

6.根据权利要求2-5任一项所述的方法，其特征在于，所述方法还包括：

在对预标注模型进行训练之前，判断所述不同的标注结果在所述第二标注结果中占比是否超过预设阈值；

如果超过，则使用所述训练集对预标注模型进行训练。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述数据为文本数据、图像数据、视频数据、音频数据中的至少一种。

8.一种数据标注装置，其特征在于，所述装置包括：

分类模块，用于根据待标注数据中表达的内容，对待标注数据进行分类；

第一标注模块，用于根据所述待标注数据的类型，选择相应的预标注模型对所述待标注数据进行一次标注，获得第一标注结果；

第二标注模块，用于对所述一次标注的数据进行二次标注，获得第二标注结果；

结果确定模块，用于将所述第二标注结果作为最终标注结果。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

训练模块，用于将所述第二标注结果中与所述第一标注结果不同的标注结果作为训练集，对预标注模型进行训练；使用训练后的预标注模型对所述待标注数据进行一次标注，获得第三标注结果；对所述第三标注结果进行二次标注，获得第四标注结果；将所述第四标注结果作为最终标注结果。

10.根据权利要求9所述的装置，其特征在于，所述训练模块还包括：

判断模块，用于在预标注模型训练完成后，判断训练后的预标注模型是否满足预设条件，若满足，则将训练后的预标注模型对所述待标注数据进行一次标注。

11.根据权利要求9所述的装置，其特征在于，所述训练模块还包括：

优化模块，用于在训练后的预标注模型满足预设条件时，确定对训练后的预标注模型进行测试后出现的异常数据；所述异常数据为对所述测试集的标注结果中出现标注错误的数据；根据所述异常数据，对所述训练后的预标注模型进行优化，将经过优化后的预标注模型对所述待标注数据进行一次标注；其中，所述对所述训练后的预标注模型进行优化包括：对所述异常数据进行修正，将修正后的数据作为训练集，对所述训练后的预标注模型再次进行训练。

12.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被执行时实现：根据待标注数据中表达的内容，对待标注数据进行分类；根据所述待标注数据的类型，选择相应的预标注模型对所述待标注数据进行一次标注，获得第一标注结果；对所述一次标注的数据进行二次标注，获得第二标注结果；将所述第二标注结果作为最终标注结果。