CN112966772A

CN112966772A - 一种多人在线的图像半自动标注方法及系统

Info

Publication number: CN112966772A
Application number: CN202110305229.6A
Authority: CN
Inventors: 杨青; 祝飞; 庞陈雷; 王立强; 周长江
Original assignee: Zhejiang Lab
Current assignee: Zhejiang Lab
Priority date: 2021-03-23
Filing date: 2021-03-23
Publication date: 2021-06-15

Abstract

本申请公开了一种多人在线的图像半自动标注方法及系统，涉及的领域包括工业产品缺陷标准的制定，缺陷样品数据的收集，样品数据集的划分，人工标注；预检测模型训练，服务器端深度学习模型部署，客户端和服务器端数据通信，半自动标注文件的产生和显示；人工交互式修改，模型精度指标计算，模型微调迭代。该发明的主要特点是，只使用少量缺陷样本就可以训练一个预检测模型。然后通过人工修改预检测模型的输出结果，不断生成新的标注数据。最后，当新的标注数据达到一定比例时，将新的标注数据加入到原来的训练数据，重新微调模型参数。同时，该发明同时支持多个客户端同步工作，只需要每个标注客户端能连接到互联网即可完成标注工作。

Description

一种多人在线的图像半自动标注方法及系统

技术领域

本发明涉及工业产品缺陷检测技术领域，特别涉及一种多人在线的图像半自动标注方法及系统。

背景技术

近几年来，人工智能技术正以前所未有的速度改变制造业生产模式。其中，以卷积神经网络为代表的深度学习技术极大提升了目标检测算法的精度的准确度，这使得在工业质检产线上部署深度学习模型变成了可能。由于深度学习模型具有上亿个参数，具有极强的泛化能力，因此能够适应非常复杂的场景。特别是在复杂的工业场景下，以深度学习为代表的目标检测算法能发挥巨大的作用。但是为了训练一个大型的神经网络模型，需要大量的人工标注数据。按照人工介入程度不同，目前的标注方法可分为：手工标注方法和半自动交互式标注方法。

人工标注的方法一般操作步骤是由专业人员设定标注规范和标准，制作标注样例，然后将采集的样本图片交给标注员工进行学习标注，最后由质检员对标注结果进行检查。但是实际标注过程中，由于专业人员的标准设定不清晰，标注员工对标注规范的理解有差异，质检员的错误判断，都会导致部分目标的漏标或者错标，而这些漏标或者误标的样本会极大的影响深度学习算法的准确性和精度。为了解决这些问题，专利CN111671452A中设计了复杂的作业分发模块来提升图像的标注精度，但是并没有减少标注人员的工作量。

半自动标注方法是最近几年兴起的，使用人工智能技术辅助标注人员进行样本标注工作的方法和系统。半自动标注按照是否需要远程服务器分为离线和在线两种模式，专利CN109446369A中提出了一种离线的半自动标注系统和方法，但是离线的模型标注软件不能实时的更新预测模型，也不能支持多人同时工作。随着网络技术的成熟，多人在线的半自动标注系统的优势越发明显。相比于离线的标注系统，在线的标注系统能在远程服务器上实时通信，从而实现了目标检测模型的实时更新，不断的提升半自动标注结果的精度和速度。

发明内容

为了解决现有的标注软件完全依赖人力，不能多人协作的缺陷，本发明提供了一种半自动化标注方法和系统。本发明从工业产品图像的采集，到产品缺陷标准的建立，数据集的建立和划分，到模型的训练，更新和迭代，实现了数据标注和模型训练的高效统一。提高了图像数据标注效率和正确率，缩短了检测算法的交付时间。

为了实现上述目的，本发明采取的技术方案如下：

S1：首先制定工业产品缺陷标准，将初始的缺陷样本随机划分为2个不同的数据集，其中第一批样本按照传统人工标注的流程，安排专业标注人员对图像中的缺陷用矩形框的形式标注出来，安排另外一批人员对标注结果进行检查得到初始的训练数据集，即人工标注数据集，另一批样本作为半自动标注数据集；

S2：将人工标注数据集的图片和相应的人工标注文件上传到云端服务器，使用数字图像处理中的数据增强算法进一步扩展训练数据集，调用云端服务器的目标检测模型训练脚本，评价不同算法预测结果的精度，得到精度最高的预检测模型的权重文件；

S3：将预检测模型部署在云端服务器上，设置模型调用接口和IP地址，本地标注客户端将序列化的图片通过post消息的方式将数据传输到云端服务器上，云端服务器接收标注客户端数据并反序列化得到原始的图像数据，然后调用当前的预检测模型对图像中的缺陷位置和种类进行预测，最后云端服务器将预测结果存储为json文件并通过网络传输到本地标注客户端；

S4：多个本地标注客户端接受云端服务器传回的数据，解析传回的json文件，获得预检测模型输出的缺陷种类和位置坐标信息，将结果实时的显示在标注软件上，通过人工交互的方式判断当前预测结果是否正确，对于符合标准的预测结果不做修改，对于预测错误或者漏检的部分，人工的修改标注结果或者增加标注框，直至该张图片符合标准数据集的规范为止；

S5：当半自动标注数据集标注完成十分之一后，将半自动标注数据集和人工标注数据集合并，重复步骤S2至步骤S5，直至所有样本图像都标注完成或者目标检测模型平均精度提升低于0.1%为止。

作为优选，所述步骤S1中，按照工业产品的质量检测要求，制定缺陷标准，包括缺陷种类和缺陷位置大小指标，将原始的缺陷样本随机打乱，根据1：9至1：1的比例将样本划分为两个数据集，按照标注方式的不同分别称为人工标注数据集和半自动标注数据集，其中，人工标注数据集远远小于半自动标注数据集，同时，每一个数据集中还需要保证每一类缺陷样本数量至少有50张，人工标注数据集按照一般人工标注的流程，首先由技术人员对图片进行标注，然后安排一组质检人员对标注结果进行检查。

作为优选，所述步骤S2中，使用旋转、平移、放大、缩小、色彩变换、混合（mixup）和裁剪（cutup）的方法对原有数据集进行扩充；使用目标检测算法的训练脚本进行模型训练直至模型收敛，评价目标检测结果的精度得到最优的目标检测模型。

作为优选，所述步骤S3中，在服务器端上部署预检测模型，设置服务器IP地址和端口，服务器接收标注客户端发送的二进制数据，然后反序列化为相应的图像数据，应用程序调用目标检测模型对图像缺陷位置和种类进行推断，并将结果通过json文件的格式传送给标注客户端。

作为优选，所述步骤S4中，多个标注客户端可同步工作，标注客户端为普通的笔记本电脑或台式机，其类型不受限制，每一个标注客户端显示当前待标注图像，建立和服务器的连接，将当前图像转化为二进制数据流的格式通过post消息传递到步骤S3部署的服务器上，并接收服务器端传回的数据，解析json文件，并将缺陷种类和位置信息实时的显示在客户端软件上；每个客户端软件提供标注修改功能，支持多人在线工作，修改其中错误的标注和漏标的缺陷，自动保存结果。

作为优选，所述步骤S5中，当半自动化标注的结果累积到原来的十分之一后，将标注数据和原来的标注数据集合并，微调目标检测模型的权重，更新服务器上的预检测模型。

本发明还提供了一种半自动化在线标注系统，包括数据集管理划分模块、在线预检测模型训练模块、本地客户端和服务器通信模块、多人在线交互式修改模块，其中数据集管理划分模块连接在线预检测模型训练模块，本地客户端和服务器通信模块连接多人在线交互式修改模块；

所述的数据集管理划分模块，用于收集和管理工业场景中的缺陷样本图像，该模块用于存储数据集图像和对应的标注文件，并能将整个数据集划分为人工标注数据集和半自动标注数据集；

所述的在线预检测模型训练模块：用于在线训练目标检测模型，该模块部署在云端服务器上由脚本调用，训练程序可指定对应的训练数据集和测试集，训练常见的目标检测模型，并评价模型的精度指标；

所述的本地客户端和服务器通信模块，用于建立本地标注客户端和远程服务器之间的连接及传递消息，该模块通过HTTP协议连接客户端软件和服务器软件，一台云端服务器能同时和多个客户端建立连接，标注客户端软件通过该模块将序列化的图像数据传递到云端服务器上，服务器通过该模块将预检测的结果传回到标注客户端上；

所述的多人在线交互式修改模块：用于显示预检测结果，并提供交互式修改工具，帮助标注人员修改标注框的信息，自动提交标注结果到服务器。

作为优选，在线预检测模型训练模块将人工预先标注数据集送入在线预检测模型训练模块训练目标检测模型1多人在线交互式修改模块通过本地客户端和服务器通信模块建立标注客户端和服务器部署端之间的联系，获取图像预标注结果，将人工修改结果同步到服务器。

本发明能实现如下技术效果：

（1）本发明能提高现有标注系统的自动化程度。纯手工的标注方法需要耗费大量的人力和时间，本发明提供了一种多人在线半自动化标注方法和系统，用少量的样本训练了目标检测模型后，计算机会对缺陷目标的可能位置做出预测，标注人员只需要对计算机预测的结果做简单修改即可得到一张图片的标注。

（2）本发明能提高标注系统的标注效率。本发明以服务器为中心，建立了多个客户端和服务器的连接。因此，本发明支持多人同时进行在线标注任务，提高整体的标注效率。

（3）本发明结合了数据标注过程和模型训练过程，缩短了算法交付时间。传统的算法研发过程中，数据标注和模型训练是被分成了两个步骤，但是本发明在数据标注的同时训练相应的目标检测模型，缩短了算法的研发周期。

（4）本发明能帮助确定样本数据集规模的问题。深度学习模型通常不确定在多大规模的数据集能达到最好的效果。本发明采取迭代更新的方式解决了这个问题，避免标注全部数据集造成的资源浪费。

（5）本发明能为标注人员和算法研究人员提供指导。标注人员在标注过程中能看到目前检测算法的预测结果，因此他们能根据模型的预测结果，实时修改缺陷标准，使得样本的标注更加符合实际情况。算法研究人员则能根据算法预测情况更新算法训练策略。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例多人在线图像半自动化标注系统的工作流程图；

图2 为本实施例提供的多客户端在线半自动标注系统和实施方式；

图3 为图像半自动标注系统各模块的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术

方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得

的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例的在线交互标注系统的工作流程图。其具体工作流程如下：

第一步是工业品缺陷标准制定：在工厂产线上布置光源，相机和机械控制设备，采集工业品表面图片，保证相机曝光清晰，缺陷样品丰富。然后，根据工业品的缺陷成因，形态，严重程度等因素的不同，将缺陷样本划分为不同的缺陷类别和缺陷位置和大小。例如，根据缺陷的形态不同，可将缺陷分为点状缺陷，线状缺陷和面状缺陷。根据缺陷成因不同，可将缺陷划分为内部应力缺陷，表面缺陷，异物杂质缺陷等。不同产品的缺陷划分不完全一致。

可以理解的是，由于缺陷标准有着非常强的主观性。因此，为了最大限度减少缺陷标准不统一带来的影响，缺陷标准的制定需要经过多名有经验的质检员的统一制定和确认。

完成缺陷标准的制定后，下一步执行数据集的划分和标注任务。首先，将数据集划分为人工标注数据集和待标注数据集。具体而言，该步骤由随机数生成脚本完成，按照特定比例将数据集划分为两份。这个比例由数据集的大小确定，一般为1：9至1：1之间的某个数值。其中，人工标注数据集按照人工标注的一般流程标注，首先由专业的标注人员按照事先确定的标准在原始图像上标注出缺陷所在的位置和种类，缺陷在图像中的位置用矩形框表示，程序记录矩形框中心点坐标(x,y)和矩形框的高(h)和宽(w)，缺陷的种类用不同颜色的矩形框表示。然后，安排另外一批标注人员对之前的标注结果进行检查，修改其中不符合标准的矩形框。最后，将每一张图片的标注结果以文本文件的格式保存于电脑硬盘或者其他形式的储存设备中，

第二步是预检测模型的训练，将第一步中标注的图像和对应的缺陷标注文件打包上传到云端服务器作为训练数据集。由于人工标注的数据集样本量较少，因此需要对其先进行数据增广后再训练预检测模型。例如，首先使用旋转、平移、放大、缩小、色彩变换、mixup和cutup等方法扩展训练集。然后，设置云端服务器的目标检测模型的数据集路径，包括常见的RCNN系列检测模型，SSD检测模型和YOLO检测模型等。最后，调用模型训练脚本训练相应的目标检测模型，计算目标检测结果的评价指标。

如实施例中所述的目标检测结果使用的评价指标是各类别平均精度的平均值（mAP）。对于一个分类问题，通常使用查准率（P）和查全率（R）来评价分类结果的好坏，其计算方式如下所示：

其中，TP，FP和FN分别表示真正，假正和假负的个数。一般情况下查准率和查全率是

相互矛盾的关系，因此将不同P-R组合绘制为P-R曲线，平均精度（AP）是P-R曲线下的面积，mAP则是所有类别P-R曲线下面积的平均值。

第三步是目标检测模型的部署，由于标注客户端设备硬件差异大，环境变量不同，直接

在每一个客户端上部署预检测模型非常困难，因此本发明选择将预检测模型部署在服务器端，同时提供一个调用接口供所有标注客户端使用。具体而言，本发明以Flask微服务器框架为载体部署目标检测模型，Flask是一个轻量级网络框架，其提供了python语言定义的web服务器和应用程序之间的一种简单通用接口。本步具体的实施方式如下，首先在服务器端配置web服务地址和端口，启动Flask服务。然后，当标注人员进行标注任务时，用户点击AI辅助按钮，本地客户端将执行相应的函数，在本地将图片数据转化为二进制数据，这一过程也被成为序列化。接下来，使用HTTP的POST方法将客户端上的图像数据上传到云端服务器。云端服务器接收不同标注客户端的数据并将二进制数据转化为图像像素的灰度值，这个过程也被称为反序列化。最后，服务器调用预检测模型对输入图像的缺陷进行检测并将检测的结果以json文件的格式传回到标注客户端。

第四步是标注客户端显示自动标注结果和人工交互修改。具体的实施方式如下，多个不同机器上客户端同时工作，机器的类型和操作系统不受限制，包括笔记本电脑和台式机，每一个客户端接收服务器传回的json文件并解析为的形式。和人工标注过程相同，按照预检测模型输出的缺陷种类和位置信息，以不同颜色矩形框的形式显示在标注客户端上。然后，用人工交互的方式判断当前的检测结果是否正确。对于符合检测标注的矩形框不做修改，对于位置错误的矩形框拖动矩形框修改其位置和大小，对于类别错误的矩形框右键修改其类别信息，对于漏检或者错检的矩形框，增加或者删除这些标注。

第五步是模型的迭代更新。当半自动标注的样本达到原来的十分之一后，可以重新训练模型，更新当前预测模型的参数，提高机器预检测结果的精度。具体的做法是，将多个标注客户端协同标注的结果文件全部上传到服务器中的训练数据集中，以上一次的权重作为初始值再次调用相应的目标检测模型更新权重，重新评价目标检测结果的精度。重复上述步骤２至步骤5，直至数据标注完成或者检测模型mAP提升幅度小于0.1%为止。该实施例的整个系统和工作流程如图2所示。

以上内容是结合本发明的优选实施方式对所提供技术方案所作的进一步详细说明，不能认定本发明具体实施只局限于上述这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种多人在线的图像半自动标注方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种多人在线的图像半自动标注方法，其特征在于，所述步骤S1包括：

按照工业产品的质量检测要求，制定缺陷标准，包括缺陷种类和缺陷位置大小指标，将原始的缺陷样本随机打乱，根据1：9至1：1的比例将样本划分为两个数据集，按照标注方式的不同分别称为人工标注数据集和半自动标注数据集，其中，人工标注数据集远远小于半自动标注数据集，同时，每一个数据集中还需要保证每一类缺陷样本数量至少有50张，人工标注数据集按照一般人工标注的流程，首先由技术人员对图片进行标注，然后安排一组质检人员对标注结果进行检查。

3.根据权利要求1所述的一种多人在线的图像半自动标注方法，其特征在于，所述步骤S2包括：

使用旋转、平移、放大、缩小、色彩变换、混合（mixup）和裁剪（cutup）的方法对原有数据集进行扩充；

使用目标检测算法的训练脚本进行模型训练直至模型收敛，评价目标检测结果的精度得到最优的目标检测模型。

4.根据权利要求1所述的一种多人在线的图像半自动标注方法，其特征在于，所述步骤S3包括：

在服务器端上部署预检测模型，设置服务器IP地址和端口，服务器接收标注客户端发送的二进制数据，然后反序列化为相应的图像数据，应用程序调用目标检测模型对图像缺陷位置和种类进行推断，并将结果通过json文件的格式传送给标注客户端。

5.根据权利要求1所述的一种多人在线的图像半自动标注方法，其特征在于，所述步骤S4包括：

多个标注客户端可同步工作，标注客户端为普通的笔记本电脑或台式机，其类型不受限制，每一个标注客户端显示当前待标注图像，建立和服务器的连接，将当前图像转化为二进制数据流的格式通过post消息传递到步骤S3部署的服务器上，并接收服务器端传回的数据，解析json文件，并将缺陷种类和位置信息实时的显示在客户端软件上；

每个客户端软件提供标注修改功能，支持多人在线工作，修改其中错误的标注和漏标的缺陷，自动保存结果。

6.根据权利要求1所述的一种多人在线的图像半自动标注方法，其特征在于，所述步骤S5中：

当半自动化标注的结果累积到原来的十分之一后，将标注数据和原来的标注数据集合并，微调目标检测模型的权重，更新服务器上的预检测模型。

7.一种多人在线的图像半自动标注系统，其特征在于，包括数据集管理划分模块、在线预检测模型训练模块、本地客户端和服务器通信模块、多人在线交互式修改模块，其中数据集管理划分模块连接在线预检测模型训练模块，本地客户端和服务器通信模块连接多人在线交互式修改模块；

8.根据权利要求7所述的一种多人在线的图像半自动标注系统，在线预检测模型训练模块将人工预先标注数据集送入在线预检测模型训练模块训练目标检测模型1多人在线交互式修改模块通过本地客户端和服务器通信模块建立标注客户端和服务器部署端之间的联系，获取图像预标注结果，将人工修改结果同步到服务器。