CN109902765A - 一种支持人工智能的智能云标记方法 - Google Patents

Abstract

本发明公开了一种支持人工智能的智能云标记方法，该支持人工智能的智能云标记方法具体步骤如下：S1：将需要标记的数据上传至云标记系统，开始基础标记阶段，该阶段由初级工程师以及普通人工智能模型联合进行第一轮标记；S2：第二个阶段为疑难标记阶段，此阶段将由经验丰富的工程师以及准确率大于90％的人工智能模型联合进行第二轮标记；S3：第三阶段为讨论标记阶段，此阶段将由专家以及准确率大于99％的人工智能模型联合进行第三轮标记。本系统还可以帮助标记工作人员减轻工作负担，标记人员只需核对AI判别的结果，而不必认真核对每条数据，减少了人力和时间开支。

Description

一种支持人工智能的智能云标记方法

技术领域

本发明涉及智能云标记技术领域，具体为一种支持人工智能的智能云标记方法。

背景技术

在传统数据标记过程中，由于数据数量过于庞大、显示器清晰度等原因，数据标记人员通常会耗费大量工作时间，而且伴随着有大概率的误判情况发生，这往往会导致依赖被标记数据的其他工作的时间延长，甚至标记误判会导致其他工作发生严重错误，发生这种情况后被标记的数据只能被迫重新进行标记，大大浪费了时间、人力。传统的人工标记手段已经无法应对现代人工智能时代的快速发展。现代AI时代的快速发展需要大量准确及时的数据支持，而支持人工智能的智能云标记系统的出现及时满足了当今时代发展的要求。

发明内容

本发明的目的在于提供一种支持人工智能的智能云标记方法，该支持人工智能的智能云标记方法具体步骤如下：

S1：将需要标记的数据上传至云标记系统，开始基础标记阶段，该阶段由初级工程师以及普通人工智能模型联合进行第一轮标记，初级工程师与AI标记结果一致，则结果作为最终输出；若不一致，将问题数据进行下一步处理；

S2：第二个阶段为疑难标记阶段，此阶段将由经验丰富的工程师以及准确率大于90％的人工智能模型联合进行第二轮标记，经验丰富的工程师与AI标记结果一致，则结果作为最终输出；若不一致，将问题数据进行下一步处理；

S3：第三阶段为讨论标记阶段，此阶段将由专家以及准确率大于99％的人工智能模型联合进行第三轮标记，专家与AI标记结果一致，则结果作为最终输出；若不一致，标记结果以专家结果为准，作为最终输出。

优选的，所述步骤S1包括以下步骤：

(1)将需要标记的数据上传至云标记系统，由初级工程师进行人工判别，与此同时将判读后的数据作为人工智能模型的训练集，自动进行模型训练；

(2)当模型准确率达到预计水准时，在之后的每次人工标记数据前，将数据自动传入模型进行标记，然后进行人工标记，同时将AI的判别结果显示在界面上，初级工程师将以此为参考进行标记；

(3)若初级工程师与AI标记结果一致，则结果作为最终输出；若不一致，则将问题数据传入第二阶段：疑难标记阶段。

优选的，所述步骤S2包括以下步骤：

(1)将步骤S1无法准确判别的数据再次进行标记，首先由经验丰富的工程师进行人工判别，与此同时将判读后的数据作为人工智能模型的训练集，自动进行模型训练；

(2)当模型准确率达到90％准确率时，在之后的每次人工标记数据前，将数据自动传入模型进行标记，然后进行人工标记，同时将AI的判别结果显示在界面上，经验丰富的工程师将以此为参考进行标记；

(3)若经验丰富的工程师与AI标记结果一致，则结果作为最终输出；若不一致，则将问题数据传入步骤S2进行疑难标记阶段。

优选的，所述步骤S3包括以下步骤：

(1)将步骤S2无法准确判别的数据再次进行标记，首先由专家进行人工判别，与此同时将判读后的数据作为人工智能模型的训练集，自动进行模型训练；

(2)当模型准确率达到99％准确率时，在之后的每次人工标记数据前，将数据自动传入模型进行标记，然后进行人工标记，同时将AI的判别结果显示在界面上，专家将以此为参考进行标记；

(3)专家与AI标记结果一致，则结果作为最终输出，若不一致，则以专家标记结果为最终结果。

与现有技术相比，本发明的有益效果是：智能云标记系统可以统一管理已标记和未标记数据，应对当下需要对海量数据的操作的情况，提供了一个便捷、快速的系统平台，系统提供了方便的数据标记环境，大大简化了标记工作人员的数据管理工作。本系统还可以帮助标记工作人员减轻工作负担，标记人员只需核对AI判别的结果，而不必认真核对每条数据，减少了人力和时间开支。通过基础标记阶段、疑难标记阶段和讨论标记阶段三个阶段多级循环的方式，经过人工和AI双重判别，以及模糊数据的三层判别，最终由高精度AI模型以及专家标记，最大程度上降低标记误判率，可以防止标记过的数据再次返工，减少了后续工作的时间，提高了工作效率。

附图说明

图1为本发明实施例中智能云标记系统的基础标记阶段数据集显示界面；

图2为本发明实施例中智能云标记系统的人工标记界面；

图3为本发明实施例中智能云标记系统的人工以及人工智能联合标记界面；

图4为本发明实施例中智能云标记系统中该数据集完成一个阶段标记后的界面；

图5为本发明实施例中智能云标记系统的疑难标记阶段数据集显示界面；

图6为本发明实施例中智能云标记系统的讨论标记阶段数据集显示界面；

图7为本发明实施例中智能云标记系统的步骤流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

本发明的目的在于提供一种支持人工智能的智能云标记方法，该支持人工智能的智能云标记方法具体步骤如下：

S1：将需要标记的数据上传至云标记系统，开始基础标记阶段，该阶段由初级工程师以及普通人工智能模型联合进行第一轮标记，初级工程师与AI标记结果一致，则结果作为最终输出；若不一致，将问题数据进行下一步处理；

S2：第二个阶段为疑难标记阶段，此阶段将由经验丰富的工程师以及准确率大于90％的人工智能模型联合进行第二轮标记，经验丰富的工程师与AI标记结果一致，则结果作为最终输出；若不一致，将问题数据进行下一步处理；

S3：第三阶段为讨论标记阶段，此阶段将由专家以及准确率大于99％的人工智能模型联合进行第三轮标记，专家与AI标记结果一致，则结果作为最终输出；若不一致，标记结果以专家结果为准，作为最终输出。

优选的，所述步骤S1包括以下步骤：

(1)将需要标记的数据上传至云标记系统，由初级工程师进行人工判别，与此同时将判读后的数据作为人工智能模型的训练集，自动进行模型训练；

(2)当模型准确率达到预计水准时，在之后的每次人工标记数据前，将数据自动传入模型进行标记，然后进行人工标记，同时将AI的判别结果显示在界面上，初级工程师将以此为参考进行标记；

(3)若初级工程师与AI标记结果一致，则结果作为最终输出；若不一致，则将问题数据传入第二阶段：疑难标记阶段。

优选的，所述步骤S2包括以下步骤：

(1)将步骤S1无法准确判别的数据再次进行标记，首先由经验丰富的工程师进行人工判别，与此同时将判读后的数据作为人工智能模型的训练集，自动进行模型训练；

(2)当模型准确率达到90％准确率时，在之后的每次人工标记数据前，将数据自动传入模型进行标记，然后进行人工标记，同时将AI的判别结果显示在界面上，经验丰富的工程师将以此为参考进行标记；

(3)若经验丰富的工程师与AI标记结果一致，则结果作为最终输出；若不一致，则将问题数据传入步骤S2进行疑难标记阶段。

优选的，所述步骤S3包括以下步骤：

(1)将步骤S2无法准确判别的数据再次进行标记，首先由专家进行人工判别，与此同时将判读后的数据作为人工智能模型的训练集，自动进行模型训练；

(2)当模型准确率达到99％准确率时，在之后的每次人工标记数据前，将数据自动传入模型进行标记，然后进行人工标记，同时将AI的判别结果显示在界面上，专家将以此为参考进行标记；

(3)专家与AI标记结果一致，则结果作为最终输出，若不一致，则以专家标记结果为最终结果。

本示例模拟了一个正常数据标注过程，其中数据为人眼相机拍摄的眼底图片，通过将图片上传智能云标记系统，搭建图像标注示例，本系统利用多级智能自动标记算法，结合人工和人工智能联合标记，可以验证智能云标记系统极大程度节省了数据标注时间，提高标注准确率。

步骤1：根据图1所示，将图片集上传至智能云标记系统，本示例中数据集名称为“test_01”。点击数据集名称，选择第一轮标记：初始标记。标记界面如图3所示，每张图片有“渗水”、“环点”、“正常”和“图像模糊”四种状态。开始由初级工程师进行人工标记，并且系统后台一直在自动进行人工智能模型训练。如图3所示，在标注至一定图片后，人工智能开始参与标记，界面右上角自动提示本张图片的人工智能判别结果，初级工程师将参考AI的判读结果进行标记。

标记完一张图片后自动显示下一张，数据集全部标记完成后，显示标记结束界面，如图4所示。当AI与初级工程师标记结果一致时，标记后的图片作为最终结果；若不一致，图片将传入第二轮。

步骤2：根据图5所示，点击数据集名称，选择第二轮标记：疑难标记。将步骤1传入的图片由经验丰富的工程师进行人工标记，并且系统后台一直在自动进行人工智能模型训练。如步骤1中图3所示，在标注至一定图片后，同步等待人工智能模型准确率上升至99％，之后人工智能开始参与标记，界面右上角自动提示本张图片的人工智能判别结果，有经验的工程师将参考AI的判读结果进行标记。

标记完一张图片后自动显示下一张，数据集全部标记完成后，显示标记结束界面，如步骤1中图4所示。当AI与工程师标记结果一致时，标记后的图片作为最终结果；若不一致，图片将传入最后一轮。

步骤3：根据图6所示，点击数据集名称，选择最后一轮标记：讨论标记。将步骤二传入的图片由专家进行人工标记，并且系统后台一直在自动进行人工智能模型训练。如步骤1中图3所示，在标注至一定图片后，同步等待人工智能模型准确率上升至99％，之后人工智能开始参与标记，界面右上角自动提示本张图片的人工智能判别结果，专家将参考AI的判读结果进行标记。

标记完一张图片后自动显示下一张，数据集全部标记完成后，显示标记结束界面，如步骤1中图4所示。本批图像数据的标记结果以专家标记结果为最终结果。最终的标记结果会存储在系统输出的结果库里，至此智能云标记系统的图像标记过程结束。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种支持人工智能的智能云标记方法，其特征在于：该支持人工智能的智能云标记方法具体步骤如下：

S1：将需要标记的数据上传至云标记系统，开始基础标记阶段，该阶段由初级工程师以及普通人工智能模型联合进行第一轮标记，初级工程师与AI标记结果一致，则结果作为最终输出；若不一致，将问题数据进行下一步处理；

S2：第二个阶段为疑难标记阶段，此阶段将由经验丰富的工程师以及准确率大于90％的人工智能模型联合进行第二轮标记，经验丰富的工程师与AI标记结果一致，则结果作为最终输出；若不一致，将问题数据进行下一步处理；

S3：第三阶段为讨论标记阶段，此阶段将由专家以及准确率大于99％的人工智能模型联合进行第三轮标记，专家与AI标记结果一致，则结果作为最终输出；若不一致，标记结果以专家结果为准，作为最终输出。

2.根据权利要求1所述的一种支持人工智能的智能云标记方法，其特征在于：所述步骤S1包括以下步骤：

(1)将需要标记的数据上传至云标记系统，由初级工程师进行人工判别，与此同时将判读后的数据作为人工智能模型的训练集，自动进行模型训练；

(2)当模型准确率达到预计水准时，在之后的每次人工标记数据前，将数据自动传入模型进行标记，然后进行人工标记，同时将AI的判别结果显示在界面上，初级工程师将以此为参考进行标记；

(3)若初级工程师与AI标记结果一致，则结果作为最终输出；若不一致，则将问题数据传入第二阶段：疑难标记阶段。

3.根据权利要求1所述的一种支持人工智能的智能云标记方法，其特征在于：所述步骤S2包括以下步骤：

(1)将步骤S1无法准确判别的数据再次进行标记，首先由经验丰富的工程师进行人工判别，与此同时将判读后的数据作为人工智能模型的训练集，自动进行模型训练；

(2)当模型准确率达到90％准确率时，在之后的每次人工标记数据前，将数据自动传入模型进行标记，然后进行人工标记，同时将AI的判别结果显示在界面上，经验丰富的工程师将以此为参考进行标记；

(3)若经验丰富的工程师与AI标记结果一致，则结果作为最终输出；若不一致，则将问题数据传入步骤S2进行疑难标记阶段。

4.根据权利要求1所述的一种支持人工智能的智能云标记方法，其特征在于：所述步骤S3包括以下步骤：

(1)将步骤S2无法准确判别的数据再次进行标记，首先由专家进行人工判别，与此同时将判读后的数据作为人工智能模型的训练集，自动进行模型训练；

(2)当模型准确率达到99％准确率时，在之后的每次人工标记数据前，将数据自动传入模型进行标记，然后进行人工标记，同时将AI的判别结果显示在界面上，专家将以此为参考进行标记；

(3)专家与AI标记结果一致，则结果作为最终输出，若不一致，则以专家标记结果为最终结果。