CN111783783B - 一种用于图像分割的标注系统及标注方法 - Google Patents

Abstract

一种用于图像分割的标注系统及标注方法，解决了现有目标分割时采用人工标注的方式时间长及成本高的问题，属于货车图像目标分割领域。本发明包括:首先手动标注小部分数据集，然后对数据集进行数据扩增，获得训练集，利用训练集并采用超参搜索和网络结构训练出最优分割模型，利用最优分割模型对待标注数据进行预测，标注人员二次修改最优分割模型预测的标注结果，最后对二次修改后的标注数据集结果进行验收审核，然后完成整个标注任务。

Description

一种用于图像分割的标注系统及标注方法

技术领域

本发明涉及一种利用深度学习实现的半自动标注系统及标注方法，属于货车图像目标分割领域。

背景技术

长期以来，传统的人工查看图像进行故障判断，存在高成本、低效率问题，采用对货车进行自动化故障检测具有重要意义。目前深度学习是实现货车自动化故障检测重要的一项技术，深度学习技术主要包括目标分类、目标检测和目标分割三种技术。

目标分割是深度学习实现货车故障自动识别中一个长期的有挑战的技术问题，采用目标分割能精准的分割出货车待识别目标的轮廓信息，进而根据目标的轮廓信息判断目标是否发生故障，此技术是现今货车自动识别的一项关键技术，但是目标分割需要大量精细、复杂的人工标注信息，制约着目标分割识别模块的研发进度，导致大量的时间都花费在制作数据样本上。

发明内容

针对现有目标分割时采用人工标注的方式时间长及成本高的问题，本发明提供一种半自动的用于图像分割的标注系统及标注方法。

本发明的一种用于图像分割的标注系统，所述系统包括：

手动标注模块，用于获取待识别列车部件图像的数据集，并对数据集中的图像手动标注，分割出列车部件，将标注后的图像存入标注数据集；

数据扩增模块，与手动标注模块连接，用于根据标注数据集中的图像进行数据扩增，将原始图像和扩增后的图像作为训练集；

模型训练模块，与数据扩增模块连接，用于采用训练集对分割网络进行训练，采用超参数搜索，确定最优的分割模型；

预测模块，与模型训练模块连接，用于利用确定的最优的分割模型对待标注的图像进行分割预测。

作为优选，所述预测模块还包括数据格式转换模块和标注修改模块；

数据格式转换模块，用于对分割预测出的图像进行数据格式转换，数据格式转换后的图像中轮廓信息包括更少的点轮廓信息；

标注修改模块，与数据格式转换模块连接，用于对数据格式转换后的图像进行标注修改。

作为优选，所述数据格式转换模块包括，

模板生成模块，用于制作模板JSON文件；

外轮廓确定模块，用于寻找分割预测出的图像的外轮廓；

点轮廓信息确定模块，与外轮廓确定模块连接，用于采用多边形逼近的方法确定外轮廓的点轮廓信息；

文件存储模块，同时与模板生成模块和点轮廓信息确定模块连接，用于在制作的模板JSON文件中存储每张图像的点轮廓信息和原始信息，作为数据格式转换后的图像。

作为优选，所述标注修改模块包括任务池、分配模块、进程记录模块和多个修改客户端：

任务池，用于存储数据格式转换后的图像，该图像为待修改标注的图像，还用于存储完成修改标注的图像；

分配模块，同时与任务池、进程记录模块和各修改客户端连接，用于将待修改标注的图像从任务池中分发任务给各修改客户端，所述标注修改任务未被进程记录模块记录，还用于当修改客户端完成当前修改任务后，将该修改任务存入任务池中；

进程记录模块，同时与各修改客户端连接，用于记录每个修改客户端的标注修改进展；

每个修改客户端，用于对接收到的待修改标注的图像进行修改。

作为优选，所述系统还包括审核模块，所述审核模块包括：

裁剪模块，用于在标注修改后的图像中，通过找列车部件的最小外界矩形，进行裁剪，获取分割目标；

归类模块，与裁剪模块连接，用于将相同标签的分割目标放在同一个文件夹中；

检测模块，与归类模块连接，用于检测文件夹中的标签及部件轮廓是否正确，如果发生错误，修改相应的轮廓和标签，将各文件夹中的分割目标存入标注数据集中。

本发明还提供一种用于图像分割的标注方法，所述方法包括：

S1、获取待识别列车部件图像的数据集，并对数据集中的图像手动标注，分割出列车部件，将标注后的图像存入标注数据集；

S2、根据标注数据集中的图像进行数据扩增，将原始图像和扩增后的图像作为训练集；

S3、采用训练集对分割网络进行训练，采用超参数搜索，确定最优的分割模型；

S4、利用S3确定的最优的分割模型对待标注的图像进行分割预测。

作为优选，所述S4还包括对分割预测出的图像进行数据格式转换，对数据格式转换后的图像进行标注修改，数据格式转换后的图像中轮廓信息包括更少的点轮廓信息。

作为优选，所述对分割预测出的图像进行数据格式转换包括：

S411、制作模板JSON文件；

S412、寻找分割预测出的图像的外轮廓；

S413、采用多边形逼近的方法确定外轮廓的点轮廓信息；

S414、在S411制作的模板JSON文件中存储每张图像的点轮廓信息和原始信息，作为数据格式转换后的图像。

作为优选，所述对数据格式转换后的图像进行标注修改，包括：

将数据格式转换后的图像作为待修改标注的图像存储在任务池中，在任务池中将待修改标注的图像分发任务给各修改客户端，并通过一个进程记录每个修改客户端的标注修改进展，每个修改客户端完成当前标注修改任务完成后，将该标注修改任务存入任务池中，再分配新的标注修改任务给各修改客户端，所述新的标注修改任务未在进程记录中出现过。

作为优选，所述方法还包括S5：

S51、在标注修改后的图像中，通过找列车部件的最小外界矩形，进行裁剪，获取分割目标，将相同标签的分割目标放在同一个文件夹中；

S52、检测文件夹中的标签及部件轮廓是否正确，如果发生错误，修改相应的轮廓和标签，将各文件夹中的分割目标存入标注数据集中。

本发明的有益效果，本发明针对目标分割数据标注成本高，提出了一种利用分割模型和用户交互实现的标注系统及标注方法，首先手动标注一小部分数据集，然后最优目标分割模型的预测大部分数据集，转化成标注的JSON文件格式，采用团队标注方法，快速修正预测结果，减轻标注工作者的工作负担，提高标注进度，保证标注数据的精度，进而加速目标分割算法的研发进度。

附图说明

图1为本发明方法的原理示意图；

图2为本发明的数据格式转换的流程；

图3为未加入多边形逼近轮廓的示意图；图4为加入多边形逼近轮廓的示意图；

图5为需要修改的示意图，其中修改箭头表示需要修改的两点；图6为修改标注后的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本实施方式的一种用于图像分割的标注方法，包括：

步骤一、获取待识别列车部件图像的数据集，对数据集中的列车部件图像进行人工手动数据标注，分割出列车部件，将标注后的图像存入标注数据集；

步骤一中，收集待识别列车部件的数据集，并对数据集进行过滤和筛选，删除图像中过度曝光、噪声污染严重、失真的图像。并对标注数据进行规范化标注格式，包括标记目标的轮廓和标记目标的标签信息。本实施方式采用Labelme标记软件，根据规范化的标注格式，标记分割模型需要的JSON数据集格式，手工对采集到的一小部分(大约几百张)待识别列车部件的轮廓进行描点标记，精准分割出部件的轮廓信息。

步骤二、根据标注数据集中的图像进行数据扩增，将原始图像和扩增后的图像作为训练集；

步骤二中，采用对标注数据集进行随机虚化、对比度增强、随机上下翻转、随机左右翻转、随机调整亮度、随机调整gamma，随机旋转、随机缩放、自适应直方图均衡化和随机裁剪等图像处理方式进行数据扩增操作。

由于列车车速、室外光照等因素的影响，运动中的货车线阵图像可能会出现对比度不同，图像拉伸、对焦问题等问题，针对自动识别部件图像的具体问题，采用合适的图像增强方法进行处理，既能获得更多的训练样本，进而增加下一步训练的准确性。

步骤三、采用训练集对分割网络进行训练，采用超参数搜索，确定最优的分割模型；

本实施方式可以支持语义分割和实例分割两种，其中语义分割采用的模型是Unet网络，Unet网络是一种编码器和解码器的结构，它支持多种骨干网络结构(backbone)，包括：

VGG(16，19)，ResNets(18,34,50,101,152),ResNeXt(50,101),Inception(V3),DenseNet(121,169,201),MobileNets("mobilenet","mobilenetv2")，EfficientNets(b0-b7)；

实例分割支持Mask RCNN，MS RCNN等网络结构，实例分割支持的骨干网络包括VGG(16，19)，ResNets(18,34,50,101,152),ResNeXt(50,101),Inception(V3)等。

本实施方式步骤三中采用Ray.tune开源超参调节平台，在有限的时间内和资源限制下，Ray.tune测试一定量的超参数，超参数包括学习率、动量、损失函数和迭代次数、网络结构。训练分割模型时，在一定的搜索空间内寻找最优的一组超参数组合，使得在有限的数据下获得最优的准确率的分割模型。

步骤四、利用步骤三确定的最优的分割模型对待标注的图像进行分割预测。

本实施方式的步骤四针对训练的最优结果的分割模型，对剩余的大部分未标记的数据进行分割预测。

本实施方式首先人工手动标注小部分数据集，然后对数据集进行数据扩增，并采用超参搜索和网络结构搜索出最优分割模型，利用最优模型对大部分待标注数据进行预测。使用图像半自动标注在相同工作量情况下，能够节约标注人员的数量，进而节约标注成本。本实施方式的超参搜索出最优的分割效果，进一步减少标注人员的工作量。

在优选实施例中，本实施方式的步骤四还包括对分割预测出的图像进行数据格式转换，对数据格式转换后的图像进行标注修改，数据格式转换后的图像中轮廓信息包括更少的点轮廓信息，减少了描绘轮廓的数据点，减少了人工二次修正的工作量。

如图2所示，本实施方式对分割预测出的图像进行数据格式转换的过程包括：

1、制作模板JSON文件：

根据labelme中输出的JSON文件格式，制作自己的模板JSON文件。

2、寻找分割预测出的图像的外轮廓：

根据分割模型预测出来的结果，使用opencv中的寻找外轮廓函数findContours找到每个分割结果的外轮廓。

3、采用多边形逼近的方法确定外轮廓的点轮廓信息；

采用多边形逼近的方法，即opencv中的cv2.approxPolyDP函数，用更少的点来描绘轮廓。如果直接采用第二步轮廓描点方式直接输出标注JSON文件，会造成标记点非常多如图3所示，后续人工辅助标记的工作量会非常繁重，根本达不到半自动标注的目的，此环节加入多边形逼近轮廓，标记文件的可视化如图4所示，用更少的点来替代更多的点，但是更少的点也能精准描绘图像输出标注JSON文件，能够大大缩短标注人员后续的工作量。

4、在制作的模板JSON文件中存储每张图像的点轮廓信息和原始信息，作为数据格式转换后的图像。

根据制作的JSON模板文件，对每张待标注图像生成一个新的JSON文件，JSON文件包含更少的点轮廓信息和图像的原始信息。新的JSON文件以供后续标注人员修改标注数据。

在选择标注方式的方式时，可能一次不能选择出最好的标记轮廓和标签，本实施方式提供的数据格式转换，对同一部件的JSON文件能提供增加多部件功能或者对于多部件JSON文件提供删减部件功能，避免修改标注种类而造成大量标注数据的浪费。

优选实施例中，本实施方式的对数据格式转换后的图像进行标注修改过程包括：

将数据格式转换后的图像作为待修改标注的图像存储在任务池中，在任务池中将待修改标注的图像分发任务给各修改客户端，并通过一个进程记录每个修改客户端的标注修改进展，每个修改客户端完成当前标注修改任务完成后，将该标注修改任务存入任务池中，再分配新的标注修改任务给各修改客户端，所述新的标注修改任务未在进程记录中出现过。

本实施方式采用团队协助的方式，在任务池中分发任务，并通过一个进程记录每个修改客户端的工作进展，每个修改客户端完成分配新的标注修改任务，防止标注过程中同一个人多次修改同一文件，造成资源的浪费，也能提升团队整体的工作效率。

本实施方式在标注人数固定的情况下，采用团队协助大幅度提高标注所用的时间，缩短工程项目模块的研发时间。

本实施方式的修改客户端在标注工具下，针对标注的规范，对标注文件JSON文件进行修改和保存，图5是需要修改的图像，标注人员需要使用利用修改客户端的标注工具修改箭头点，使部件的轮廓尽可能的重合，如图6所示就是一个修改后的结果。

本实施方式的标注方法相当于二次修正标注的过程，由于长时间标注相同的任务，标注人员会产生懈怠，分神，进而影响标注的效果，而本实施方式能二次修正获得更好的标记结果从而提高研发算法的识别率。

优选实施例中，本实施方式还包括步骤五：

步骤五一、在标注修改后的图像中，通过找列车部件的最小外界矩形，进行裁剪，获取分割目标，将相同标签的分割目标放在同一个文件夹中；

步骤五二、检测文件夹中的标签及部件轮廓是否正确，如果发生错误，修改相应的轮廓和标签，将各文件夹中的分割目标存入标注数据集中。

本实施方式可由工程师或者标注人员检测文件夹中的标签及部件轮廓是否正确，部件轮廓是否精细描绘，如果发生错误修改相应的轮廓和标签，此操作能减少部件的错分类，提高部件标注结果进而提高模型分割的准确率。

本实施方式在准确无误的对待标注数据进行标注后，把前期人工标注的数据和后期加入的数据，做一个数据的更新，重新执行数据扩增、最优模型的选取，人工二次修正标注和标注结果评估，一直反复直到没有新的待标注任务为止。

本实施方式的一种用于图像分割的标注系统，所述系统包括：

手动标注模块，用于获取待识别列车部件图像的数据集，并对数据集中的图像手动标注，分割出列车部件，将标注后的图像存入标注数据集；

数据扩增模块，与手动标注模块连接，用于根据标注数据集中的图像进行数据扩增，将原始图像和扩增后的图像作为训练集；

模型训练模块，与数据扩增模块连接，用于采用训练集对分割网络进行训练，采用超参数搜索，确定最优的分割模型；

预测模块，与模型训练模块连接，用于利用确定的最优的分割模型对待标注的图像进行分割预测。

优选实施例中，本实施方式中预测模块还包括数据格式转换模块和标注修改模块；

数据格式转换模块，用于对分割预测出的图像进行数据格式转换，数据格式转换后的图像中轮廓信息包括更少的点轮廓信息；

标注修改模块，与数据格式转换模块连接，用于对数据格式转换后的图像进行标注修改。

优选实施例中，本实施方式中数据格式转换模块包括，

模板生成模块，用于制作模板JSON文件；

外轮廓确定模块，用于寻找分割预测出的图像的外轮廓；

点轮廓信息确定模块，与外轮廓确定模块连接，用于采用多边形逼近的方法确定外轮廓的点轮廓信息；

文件存储模块，同时与模板生成模块和点轮廓信息确定模块连接，用于在制作的模板JSON文件中存储每张图像的点轮廓信息和原始信息，作为数据格式转换后的图像。

优选实施例中，本实施方式中标注修改模块包括任务池、分配模块、进程记录模块和多个修改客户端：

任务池，用于存储数据格式转换后的图像，该图像为待修改标注的图像，还用于存储完成修改标注的图像；

分配模块，同时与任务池、进程记录模块和各修改客户端连接，用于将待修改标注的图像从任务池中分发任务给各修改客户端，所述标注修改任务未被进程记录模块记录，还用于当修改客户端完成当前修改任务后，将该修改任务存入任务池中；

进程记录模块，同时与各修改客户端连接，用于记录每个修改客户端的标注修改进展；

每个修改客户端，用于对接收到的待修改标注的图像进行修改。

优选实施例中，本实施方式中还包括审核模块，所述审核模块包括：

裁剪模块，用于在标注修改后的图像中，通过找列车部件的最小外界矩形，进行裁剪，获取分割目标；

归类模块，与裁剪模块连接，用于将相同标签的分割目标放在同一个文件夹中；

检测模块，与归类模块连接，用于检测文件夹中的标签及部件轮廓是否正确，如果发生错误，修改相应的轮廓和标签，将各文件夹中的分割目标存入标注数据集中。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (6)

1.一种用于图像分割的标注系统，其特征在于，所述系统包括：

手动标注模块，用于获取待识别列车部件图像的数据集，并对数据集中的图像手动标注，分割出列车部件，将标注后的图像存入标注数据集；

数据扩增模块，与手动标注模块连接，用于根据标注数据集中的图像进行数据扩增，将原始图像和扩增后的图像作为训练集；

模型训练模块，与数据扩增模块连接，用于采用训练集对分割网络进行训练，采用超参数搜索，确定最优的分割模型；

预测模块，与模型训练模块连接，用于利用确定的最优的分割模型对待标注的图像进行分割预测；

所述预测模块还包括数据格式转换模块和标注修改模块；

数据格式转换模块，用于对分割预测出的图像进行数据格式转换，采用多边形逼近的方法确定外轮廓的点轮廓信息，数据格式转换后的图像中轮廓信息包括更少的点轮廓信息；

标注修改模块，与数据格式转换模块连接，用于对数据格式转换后的图像进行标注修改；

所述标注修改模块包括任务池、分配模块、进程记录模块和多个修改客户端：

任务池，用于存储数据格式转换后的图像，该图像为待修改标注的图像，还用于存储完成修改标注的图像；

分配模块，同时与任务池、进程记录模块和各修改客户端连接，用于将待修改标注的图像从任务池中分发任务给各修改客户端，所述标注修改任务未被进程记录模块记录，还用于当修改客户端完成当前修改任务后，将该修改任务存入任务池中；

进程记录模块，同时与各修改客户端连接，用于记录每个修改客户端的标注修改进展；

每个修改客户端，用于对接收到的待修改标注的图像进行修改。

2.根据权利要求1所述的用于图像分割的标注系统，其特征在于，所述数据格式转换模块包括，

模板生成模块，用于制作模板JSON文件；

外轮廓确定模块，用于寻找分割预测出的图像的外轮廓；

点轮廓信息确定模块，与外轮廓确定模块连接，用于采用多边形逼近的方法确定外轮廓的点轮廓信息；

文件存储模块，同时与模板生成模块和点轮廓信息确定模块连接，用于在制作的模板JSON文件中存储每张图像的点轮廓信息和原始信息，作为数据格式转换后的图像。

3.根据权利要求1所述的用于图像分割的标注 系统，其特征在于，所述系统还包括审核模块，所述审核模块包括：

裁剪模块，用于在标注修改后的图像中，通过找列车部件的最小外界矩形，进行裁剪，获取分割目标；

归类模块，与裁剪模块连接，用于将相同标签的分割目标放在同一个文件夹中；

检测模块，与归类模块连接，用于检测文件夹中的标签及部件轮廓是否正确，如果发生错误，修改相应的轮廓和标签，将各文件夹中的分割目标存入标注数据集中。

4.一种用于图像分割的标注方法，其特征在于，所述方法包括：

S1、获取待识别列车部件图像的数据集，并对数据集中的图像手动标注，分割出列车部件，将标注后的图像存入标注数据集；

S2、根据标注数据集中的图像进行数据扩增，将原始图像和扩增后的图像作为训练集；

S3、采用训练集对分割网络进行训练，采用超参数搜索，确定最优的分割模型；

S4、利用S3确定的最优的分割模型对待标注的图像进行分割预测；

所述S4还包括对分割预测出的图像进行数据格式转换，对数据格式转换后的图像进行标注修改，数据格式转换后的图像中轮廓信息包括更少的点轮廓信息；

所述对数据格式转换后的图像进行标注修改，包括：

将数据格式转换后的图像作为待修改标注的图像存储在任务池中，在任务池中将待修改标注的图像分发任务给各修改客户端，并通过一个进程记录每个修改客户端的标注修改进展，每个修改客户端完成当前标注修改任务完成后，将该标注修改任务存入任务池中，再分配新的标注修改任务给各修改客户端，所述新的标注修改任务未在进程记录中出现过。

5.根据权利要求4所述的用于图像分割的标注方法，其特征在于，所述对分割预测出的图像进行数据格式转换包括：

S411、制作模板JSON文件；

S412、寻找分割预测出的图像的外轮廓；

S413、采用多边形逼近的方法确定外轮廓的点轮廓信息；

S414、在S411制作的模板JSON文件中存储每张图像的点轮廓信息和原始信息，作为数据格式转换后的图像。

6.根据权利要求4所述的用于图像分割的标注方法，其特征在于，所述方法还包括S5：

S51、在标注修改后的图像中，通过找列车部件的最小外界矩形，进行裁剪，获取分割目标，将相同标签的分割目标放在同一个文件夹中；

S52、检测文件夹中的标签及部件轮廓是否正确，如果发生错误，修改相应的轮廓和标签，将各文件夹中的分割目标存入标注数据集中。

Images