CN109446369A - 图像半自动标注的交互方法及系统 - Google Patents

Abstract

一种图像半自动标注的交互方法，包括：S1、将初始样本按照不同的类别属性划分为3个不同类型的标注样本；将上述3类标注样本通过人工标注得到不同种类的标注结果，然后分别使用Mask‑RCNN、Fast‑RCNN、FCN三个模型分别训练；S2、使用离线的方式处理待标注图片的数据集，标注过程为将待标注图片的数据集依次经过上述3个深度学习模型，输出得到数据样本所有类型和坐标点的json格式文件；S3、根据标注图像的名称调用上述json格式文件的相关的属性标签值和坐标点值；S4、在标注软件中显示对应自动标注的结果，通过人工判断目标地物的所属类别和区域标注是否规范合理；S5、将上述标注正确的标注样本进行数据增广后回馈至所述模型再训练。

Description

图像半自动标注的交互方法及系统

技术领域

本发明涉及汽车无人驾驶道路图像标注技术领域，特别涉及一种图像半自动标注的交互方法及系统。

背景技术

数据是AI的燃料，这充分说明数据在自动驾驶领域的重要性不言而喻，尤其是国内自动驾驶起步较晚，缺乏合理有效的数据集进行训练。在复杂路况下，自动驾驶还远远达不到上路标准，比如：在不同道路环境下的车辆、行人、道路信号标志灯的识别和定位，这其中的很多问题仅依靠技术手段很难解决，因此需要大规模精准数据集的帮助，现有的待标注数据的方法可分为两种：传统手工标注和半自动智能标注。

传统手工标注是由相关人员指定标注规范，大量标注人员手动进行道路地物标注的过程。而实际待标注数据是一个很困难的过程，标注任务复杂，繁琐，耗时，需要花大量时间整理和待标注数据；此外，由于每个标注者专业知识背景的不同，对标注规范的理解和认知也会有一定的差异，标注过程中可能会出现一些不符合标准的标注错误，而这些标注不规范的部分为后续的深度学习任务带来巨大的挑战。

半自动智能标注是将深度学习技术应用到自动标注技术当中，最近深度学习掀起了人工智能的新浪潮，它被广泛应用到无人驾驶、医学、人脸识别和语音理解翻译等各方面领域，其标注过程是通过深度学习神经网络训练大量标注规范的道路数据集，将得到的深度学习模型识别和定位未标注的道路目标地物，但在训练数据集数量不足和数据集类别数较多的情况下，部分自动标注的效果可能和实际地物坐标点位置出现差异，这主要是由于在训练模型的过程中单个深度学习模型的泛化能力不足，也有可能是在训练过程中出现欠拟合或者过拟合，因此需要人工审核修正地物的正确属性和坐标点位置，这种方法虽然在一定程度上提高了标注效率，但是仍不适用于大样本多标签下的样本标注。

发明内容

有鉴于此，本发明的目的是提供一种基于多种深度学习模型集成的图像半自动标注目标地物的交互方法及系统，以解决上述背景技术中提到的问题。

一种图像半自动标注的交互方法，其包括如下步骤：

S1、将初始样本按照不同的类别属性划分为3个不同类型的标注样本，即子集1、子集2和子集3；将上述3类标注样本通过人工标注输出得到不同种类的标注结果，然后分别使用Mask-RCNN、Fast-RCNN、FCN三个深度学习模型分别训练上述3个子集，最后得到3个不同的图像区域标注的分类模型；

S2、使用离线的方式处理待标注图片的数据集，处理过程为将待标注图片的数据集依次经过上述3个训练好的深度学习模型，输出得到该图片包含的类型属性和坐标点位置信息的json格式文件；

S3、利用标注软件根据图像的名称调用上述json格式文件相关的属性标签值和坐标点值，实现目标地物的自动标注；

S4、显示对应自动标注的结果，人工判断目标地物的所属类别和区域标注是否规范合理，对于有错误和不规范的部分进行调整和补充以达到标注规范的要求，实现数据集图片的完整标注；

S5、将上述正确的标注样本回馈至上述三种深度学习模型进行训练，直至所得到分类模型的分类性能提升增幅小于或等于预设阈值为止。

在本发明所述的图像半自动标注的交互方法中，

所述步骤S1包括：

按照不同类别属性在数据集中所占比例将初始样本划分为3种不同类型的标注样本，得到样本子集1、子集2和子集3；子集1的目标地物总数大于子集2；子集2的目标地物总数大于子集3；

通过人工标注上述3个子集得到不同种类的标注结果，根据各个类型的数量和特征信息选取对应的深度学习训练模型，将子集1中的标注样本送入Mask-RCNN模型中训练；将子集2和子集3进行数据增广后送入对应模型中训练，子集2对应fast-RCNN模型，子集3对应FCN模型。

在本发明所述的图像半自动标注的交互方法中，

所述步骤S2包括:

将待标注图片首先放入Mask-RCNN模型中进行预测目标地物的属性和位置信息，将输出得到数据样本的名称、所有类别属性和类型对应的坐标点保存在json格式文件中；

将待标注图片依次放入fast-RCNN模型和FCN模型中进行测试，分别得到各个目标地物的类别号和坐标点位置信息同样保存在json格式文件当中。

在本发明所述的图像半自动标注的交互方法中，

所述步骤S3包括:

利用标注软件调用json格式文件信息；标注软件的界面布局采用多行多列的形式，第一行采用单栏的形式，用来显示菜单栏以及各个按钮的快捷键；第二行采用三栏的形式，第一栏上面显示常用的按钮；第二栏要显示的内容是画布，用来显示待标注的图片以及通过鼠标操作显示各个区域信息，第三栏在竖直方向上又被分为3个部分，第一部分显示不重复标签的类别属性，便于检查该图片包含的目标类型，第二部分显示画布上面各个标注区域的属性、坐标点个数、各个坐标点数值以及最小外接矩形框的坐标点信息，而最后一部分显示图像名称序列集合；

在点击自动标注按钮后，根据标注图像的名称调用上述json格式文件的相关的属性标签值和坐标点值，实现目标地物的自动标注，标注的不重复类别属性值将在第二行第三栏的第一列中显示，而各个目标地物的详细信息将在第二行第三栏的第二列中分别显示。

在本发明所述的图像半自动标注的交互方法中，

所述步骤S4包括：

修改画布上目标区域标注不规范的部分：首先选择需要修改目标区域的角点，拖动鼠标移到区域目标的边缘，使得标注区域的多边形形状与原图像的边缘相吻合；

当目标标注过于简单粗略的部分需要增加标注点数，点击在第二行的第一栏中点击增加点按钮，然后在需要增加角点的区域点击鼠标左键，则新增加点n+1就会插入到原来的n和n+1角点之间，则原有角点索引值由n+1变为n+2，后续所有角点的索引值都会增加1，那么先有两个点的连线就会被打断，然后按照点的顺序依次连接线段；

当目标标注过于繁琐的部分需要减少标注点数，在第二行的第一栏中点击删除点按钮，然后使用鼠标左键点击需要被删除的角点，则该角点n就会在画布中消失，而后续所有角点的索引值都会减少1，然后多边形会按照新的角点顺序依次连接线段；

当标注目标不符合要求时，在第二栏的第二部分选中该标签，选中后画布上相应的多边形会被红色半透明阴影填充，确定是应该删除的类型后，按delete按钮该多边形和属性标签都会在界面上面消失；

当标注目标属性错误时，在第二栏的第二部分双击该标签，在弹出的界面中选择正确的属性标签值；

当需要创建新的目标时，在第二行的第一栏中选择创建多边形按钮，相应的函数也会被触发，在画布上沿着未标注目标地物的边缘绘制点即可，最后选择正确的标签属性值；

上述所有操作完成以后，点击在第二行的第一栏中保存按钮则该原图像和标注信息都会被保存在文件夹当中。

在本发明所述的图像半自动标注的交互方法中，

所述步骤S5包括：

利用步骤S4标注样本图片；

将标注好的样本图片在放入步骤S1的3个深度学习模型当中，根据样本信息修改相应的参数和调整网络模型，再次训练深度学习模型，进一步提高网络的查全率和查准率，增强网络模型的泛化能力。

本发明还提供一种图像半自动标注的交互系统，其包括如下模块：

初版模型获取模块，用于将初始样本按照不同的类别属性划分为3个不同类型的标注样本，即子集1、子集2和子集3；将上述3类标注样本通过人工标注输出得到不同种类的标注结果，然后分别使用Mask-RCNN、Fast-RCNN、FCN三个深度学习模型分别训练上述3个子集，最后得到3个不同的图像区域标注的分类模型；

离线信息获取模块，用于使用离线的方式处理待标注图片的数据集，处理过程为将待标注图片的数据集依次经过上述3个训练好的深度学习模型，输出得到该图片包含的类型属性和坐标点位置信息的json格式文件；

智能标注模块，用于利用标注软件根据图像的名称调用上述json格式文件相关的属性标签值和坐标点值，实现目标地物的自动标注；

人工修正模块，用于修改对应自动标注的结果，人工判断目标地物的所属类别和区域标注是否规范合理，对于有错误和不规范的部分进行调整和补充以达到标注规范的要求，实现数据集图片的完整标注；

回馈模块，用于将上述正确的标注样本回馈至上述三种深度学习模型进行训练，直至所得到分类模型的分类性能提升增幅小于或等于预设阈值为止。

实施本发明提供的图像半自动标注的交互方法及系统与现有技术相比具有以下有益效果：对于同一种图片中的不同的类型属性选用不同的深度学习模型进行训练，提高了目标的查全率和查准率；然后离线提取目标属性值和目标的区域标注坐标点值，这同样节约了标注成本和提升了标注效率；其次通过人工检查自动标注的结果并修正有错误的地方，使得样本标注越来越规范；最后将上述获得的自动标注样本送入深度学习模型中进行再次训练，这样进一步提高了模型的泛化能力，使得后续的样本标注越来越精确，人工参与的工作量也逐渐减少，这样也推动了汽车无人驾驶的发展和优化进程。

附图说明

图1是图像半自动标注的交互方法流程图

图2是智能标注模块的结构框图。

具体实施方式

一种图像半自动标注的交互方法，其包括如下步骤：

S1、将初始样本按照不同的类别属性划分为3个不同类型的标注样本，即子集1、子集2和子集3；将上述3类标注样本通过人工标注输出得到不同种类的标注结果，然后分别使用Mask-RCNN、Fast-RCNN、FCN三个深度学习模型分别训练上述3个子集，最后得到3个不同的图像区域标注的分类模型；

根据在汽车无人驾驶过程中路面地物的类型设计需要标注图像的标注类别，针对每一类别属性赋予一个独一无二的标签，由于每个类别图像的梯度、纹理和颜色特征都会有区别，因此设计每个类别在标注过程中所需的注意事项。

在初始数据集的类别数量较大和标注样本数量较少的情况下，本发明则评估在获取的路面图片中各个类型的数量和特征信息，在综合所有数据集分析发现路灯、直线导向箭头、护栏、车道分割线和围墙的个数在标注样本中所占比例较大，而矩形标志牌、圆形标志牌、龙门架和右转导向箭头的个数在标注样本中所占比例适中，而三角形标志牌、左转导向箭头、掉头导向箭头和路缘石的个数在标注样本中所占比例较少。

按照上述不同类别属性在数据集中所占比例将初始样本划分为3种不同类型的标注样本，得到样本子集1(目标地物总数较多)、子集2(目标地物总数适中)和子集3(目标地物总数较少)，例如在子集1中只标注含有类别属性为路灯、直线导向箭头、护栏、车道分割线和围墙的图像区域信息，其余的目标地物均视为背景，子集2和子集3的标注方法类似，唯一的区别就是标注类别属性不同，但3中不同的样本中可能会出现部分重复，因为某一张图片中可能会同时出现子集1和子集2所属的类别属性，所以该样本则可以同时出现在子集1和子集2的数据集当中。

然后通过人工标注上述3个子集得到不同种类的标注结果，根据各个类型的数量和特征信息选取合适的深度学习训练模型，子集1样本数据集标注的目标属性有围墙、矩形标志牌、龙门架、导向箭头直行、导向箭头直行或右转、路缘石6种目标，检查标注结果无误后将其送入Mask-RCNN中训练。

由于子集2和子集3中目标属性的样本数量值较少，则需要对其先进行数据增广后在送入模型中训练，数据增广常用的方法主要有旋转、平移、放大、缩小、高斯噪声和椒盐噪声等。对fast-RCNN模型训练所用的数据集是增广后的子集2，该模型训练的目标属性有导向箭头_直行或左转、导向箭头左弯或左合流、导向箭头左转、导向箭头右转、圆形交通标志牌、三角形交通标志牌、导流带和车道分割线实线8种目标地物；由于子集3的样本标签值非常少，因此需要使用语义分割较精准的FCN模型进行训练，该模型训练的目标属性分别有导向箭头左右转弯、导向箭头左转或掉头、导向箭头直行或掉头、导向箭头掉头、导向箭头右弯或右合流和车道分割线虚线6种目标属性。

S2、使用离线的方式处理待标注图片的数据集，处理过程为将待标注图片的数据集依次经过上述3个训练好的深度学习模型，输出得到该图片包含的类型属性和坐标点位置信息的json格式文件；

S21：在开发软件过程中发现在软件中直接载入上述3个模型耗时较长，并且对电脑的环境和配置要求较高，为了节省标注时间和标注成本，本发明在这一过程中使用离线的方式对待标注数据集。

将待标注图片首先放入Mask-RCNN模型中进行预测目标地物的属性和位置信息，将输出得到数据样本的名称、所有类别属性和该类型对应的坐标点保存在json格式文件中。

同理将上述图片依次放入fast-RCNN和FCN神经网络中进行测试，分别得到各个目标的类别号和坐标点位置信息同样保存在json格式文件当中。

S3、利用标注软件根据图像的名称调用上述json格式文件相关的属性标签值和坐标点值，实现目标地物的自动标注。

利用标注软件调用json格式文件信息；标注软件的界面布局采用多行多列的形式，第一行采用单栏的形式，用来显示菜单栏以及各个按钮的快捷键；第二行采用三栏的形式，第一栏上面显示常用的按钮，例如打开文件夹、保存标注信息、自动标注、创建多边形、创建矩形和缩放页面等按钮，第二栏要显示的内容是画布，用来显示待标注的图片以及通过鼠标操作显示各个区域信息，第三栏在竖直方向上又被分为3个部分，第一部分显示不重复标签的类别属性，便于检查该图片包含的目标类型，第二部分显示画布上面各个标注区域的属性、坐标点个数、各个坐标点数值以及最小外接矩形框的坐标点信息，而最后一部分显示图像名称序列集合。

点击自动标注按钮后，则标注软件根据标注图像的名称调用上述json格式文件的相关的属性标签值和坐标点值，实现目标地物的自动标注，标注的不重复类别属性值将在第三行第二栏的第一列中显示，而各个目标的详细信息将在第二行第三栏的第二列中分别显示。

S4、显示对应自动标注的结果，人工判断目标地物的所属类别和区域标注是否规范合理，对于有错误和不规范的部分进行调整和补充以达到标注规范的要求，实现数据集图片的完整标注；

由于模型泛化能力不足的原因，步骤S3的自动标注需要人工干预才能达到标注规范要求。

对于在画布上对目标区域标注不规范的修改方法如下，首先利用鼠标左键选择需要修改目标区域的角点，然后拖动鼠标移到区域目标的边缘，使得标注区域的多边形形状与原图像的边缘相互吻合。

由于模型的欠拟合可能会出现某一目标地物的角点处没有被检测出来，那么就需要点击在第二行的第一栏中点击增加点按钮，然后在需要增加角点的区域点击鼠标左键，则新增加点n+1就会插入到原来的n和n+1角点之间，则原有角点索引值由n+1变为n+2，后续所有角点的索引值都会增加1，那么先有两个点的连线就会被打断，然后按照点的顺序依次连接线段。

由于模型的过拟合可能会出现某一目标地物出现过多的角点，那么就需要点击在第二行的第一栏中点击删除点按钮，然后使用鼠标左键点击需要被删除的角点，则该角点n就会在画布中消失，而后续所有角点的索引值都会减少1，然后多边形会按照新的角点顺序依次连接线段。

自动标注过程中可能会出现多余的区域标注，则我们就需要删除这些多余的标签，具体的操作过程为在第二栏的第二部分选中该标签，选中后画布上相应的多边形会被红色半透明阴影填充，确定是应该删除的类型后，按delete按钮该多边形和属性标签都会在界面上面消失。

自动标注过程中也可能会出现目标标注的区域是正确的，但是所属的类别属性值是错误的，则本发明就需要对其进行纠正，具体的操作过程为在第二栏的第二部分双击该标签，在弹出的界面中选择正确的属性标签值即可。

自动标注过程中同样也可能出现某目标地物没有被识别标定的情况，则本发明就需要手动标定，具体在操作过程为在第二行的第一栏中选择创建多边形按钮，相应的函数也会被触发，标注人员只需要在画布上沿着未标注目标地物的边缘绘制点即可，最后选择正确的标签属性值即可。

上述所有步骤完成以后，点击在第二行的第一栏中保存按钮则该原图像和标注信息都会被保存在文件夹当中

S5、将上述正确的标注样本回馈至上述三种深度学习模型进行训练，直至所得到分类模型的分类性能提升增幅小于或等于预设阈值为止。

利用步骤S4标注大规模规范的样本图片。

将标注好的样本图片在放入步骤S1的3个深度学习模型当中，根据样本信息修改相应的参数和调整网络模型，再次训练深度学习模型，进一步提高网络的查全率和查准率，增强网络模型的泛化能力。上述实施例的实施过程可以参考附图1。

本发明还提供一种图像半自动标注的交互系统，其包括如下模块：

初版模型获取模块，用于将初始样本按照不同的类别属性划分为3个不同类型的标注样本，即子集1、子集2和子集3；将上述3类标注样本通过人工标注输出得到不同种类的标注结果，然后分别使用Mask-RCNN、Fast-RCNN、FCN三个深度学习模型分别训练上述3个子集，最后得到3个不同的图像区域标注的分类模型；根据项目需要设计标注图像的标注类别以及标注每类别所需的注意事项得到标注规范。

离线信息获取模块，用于使用离线的方式处理待标注图片的数据集，处理过程为将待标注图片的数据集依次经过上述3个训练好的深度学习模型，输出得到该图片包含的类型属性和坐标点位置信息的json格式文件；在标注软件中，使用深度学习模型实时预测数据集的输出耗时较长，并且对电脑的环境和配置要求较高，离线信息获取模块的处理可以节省标注时间和标注成本。

智能标注模块，用于利用标注软件根据图像的名称调用上述json格式文件相关的属性标签值和坐标点值，实现目标地物的自动标注；

如图2所示，智能标注模块还可以包括角点修改模块，用于增加目标角点和删除目标角点；形状修改模块，移动标注目标地物的角点位置和整体形状；属性修改模块，用于修改目标属性；添加目标模块，用于创建新的目标。

人工修正模块，用于修改对应自动标注的结果，人工判断目标地物的所属类别和区域标注是否规范合理，对于有错误和不规范的部分进行调整和补充以达到标注规范的要求，实现数据集图片的完整标注；

回馈模块，用于将上述正确的标注样本回馈至上述三种深度学习模型进行训练，直至所得到分类模型的分类性能提升增幅小于或等于预设阈值为止。

实施本发明提供的图像半自动标注的交互方法及系统与现有技术相比具有以下有益效果：对于同一种图片中的不同的类型属性选用不同的深度学习模型进行训练，提高了目标的查全率和查准率；然后离线提取目标属性值和目标的区域标注坐标点值，这同样节约了标注成本和提升了标注效率；其次通过人工检查自动标注的结果并修正有错误的地方，使得样本标注越来越规范；最后将上述获得的自动标注样本送入深度学习模型中进行再次训练，这样进一步提高了模型的泛化能力，使得后续的样本标注越来越精确，人工参与的工作量也逐渐减少，这样也推动了汽车无人驾驶的发展和优化进程。

可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其它各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (7)

1.一种图像半自动标注的交互方法，其特征在于，其包括如下步骤：

S1、将初始样本按照不同的类别属性划分为3个不同类型的标注样本，即子集1、子集2和子集3；将上述3类标注样本通过人工标注输出得到不同种类的标注结果，然后分别使用Mask-RCNN、Fast-RCNN、FCN三个深度学习模型分别训练上述3个子集，最后得到3个不同的图像区域标注的分类模型；

S2、使用离线的方式处理待标注图片的数据集，处理过程为将待标注图片的数据集依次经过上述3个训练好的深度学习模型，输出得到该图片包含的类型属性和坐标点位置信息的json格式文件；

S3、利用标注软件根据图像的名称调用上述json格式文件相关的属性标签值和坐标点值，实现目标地物的自动标注；

S4、显示对应自动标注的结果，人工判断目标地物的所属类别和区域标注是否规范合理，对于有错误和不规范的部分进行调整和补充，以达到标注规范的要求，实现数据集图片的完整标注；

S5、将上述正确的标注样本回馈至上述三种深度学习模型进行训练，直至所得到分类模型的分类性能提升增幅小于或等于预设阈值为止。

2.如权利要求1所述的图像半自动标注的交互方法，其特征在于，

所述步骤S1包括：

按照不同类别属性在数据集中所占比例将初始样本划分为3种不同类型的标注样本，得到样本子集1、子集2和子集3；子集1的目标地物总数大于子集2；子集2的目标地物总数大于子集3；

通过人工标注上述3个子集得到不同种类的标注结果，根据各个类型的数量和特征信息选取对应的深度学习训练模型，对于子集1中的标注样本送入Mask-RCNN模型中训练；对于子集2和子集3进行数据增广后送入对应模型中训练，子集2对应fast-RCNN模型，子集3对应FCN模型。

3.如权利要求2所述的图像半自动标注的交互方法，其特征在于，

所述步骤S2包括:

将待标注图片首先放入Mask-RCNN模型中进行预测目标地物的属性和位置信息，将输出得到数据样本的名称、所有类别属性和类型对应的坐标点保存在json格式文件中；

将待标注图片依次放入fast-RCNN模型和FCN模型中进行测试，分别得到各个待标注图片的类别号和坐标点位置信息同样保存在json格式文件当中。

4.如权利要求3所述的图像半自动标注的交互方法，其特征在于，

所述步骤S3包括:

利用标注软件调用json格式文件信息；标注软件的界面布局采用多行多列的形式，第一行采用单栏的形式，用来显示菜单栏以及各个按钮的快捷键；第二行采用三栏的形式，第一栏上面显示常用的按钮；第二栏要显示的内容是画布，用来显示待标注的图片以及通过鼠标操作显示各个区域信息，第三栏在竖直方向上又被分为3个部分，第一部分显示不重复标签的类别属性，便于检查该图片包含的目标类型，第二部分显示画布上面各个标注区域的属性、坐标点个数、各个坐标点数值以及最小外接矩形框的坐标点信息，而最后一部分显示图像名称序列集合；

在点击自动标注按钮后，根据标注图像的名称调用上述json格式文件的相关的属性标签值和坐标点值，实现目标地物的自动标注，标注的不重复类别属性值将在第二行第三栏的第一列中显示，而各个目标地物的详细信息将在第二行第三栏的第二列中分别显示。

5.如权利要求3所述的图像半自动标注的交互方法，其特征在于，

所述步骤S4包括：

修改画布上目标区域标注不规范的部分：首先选择需要修改目标区域的角点，拖动鼠标移到区域目标的边缘，使得标注区域的多边形形状与原图像的边缘相吻合；

当目标标注过于简单粗略的部分需要增加标注点数，点击在第二行的第一栏中点击增加点按钮，然后在需要增加角点的区域点击鼠标左键，则新增加点n+1就会插入到原来的n和n+1角点之间，则原有角点索引值由n+1变为n+2，后续所有角点的索引值都会增加1，那么先有两个点的连线就会被打断，然后按照点的顺序依次连接线段；

当目标标注过于繁琐的部分需要减少标注点数，在第二行的第一栏中点击删除点按钮，然后使用鼠标左键点击需要被删除的角点，则该角点n就会在画布中消失，而后续所有角点的索引值都会减少1，然后多边形会按照新的角点顺序依次连接线段；

当标注目标不符合要求时，在第二栏的第二部分选中该标签，选中后画布上相应的多边形会被红色半透明阴影填充，确定是应该删除的类型后，按delete按钮该多边形和属性标签都会在界面上面消失；

当标注目标属性错误时，在第二栏的第二部分双击该标签，在弹出的界面中选择正确的属性标签值；

当需要创建新的目标时，在第二行的第一栏中选择创建多边形按钮，相应的函数也会被触发，在画布上沿着未标注目标地物的边缘绘制点即可，最后选择正确的标签属性值；

上述所有操作完成以后，点击在第二行的第一栏中保存按钮则该原图像和标注信息都会被保存在文件夹当中。

6.如权利要求5所述的图像半自动标注的交互方法，其特征在于，

所述步骤S5包括：

利用步骤S44标注样本图片；

将标注好的样本图片在放入步骤S1的3个深度学习模型当中，根据样本信息修改相应的参数和调整网络模型，再次训练深度学习模型，进一步提高网络的查全率和查准率，增强网络模型的泛化能力。

7.一种图像半自动标注的交互系统，其特征在于，其包括如下模块：

初版模型获取模块，用于将初始样本按照不同的类别属性划分为3个不同类型的标注样本，即子集1、子集2和子集3；将上述3类标注样本通过人工标注输出得到不同种类的标注结果，然后分别使用Mask-RCNN、Fast-RCNN、FCN三个深度学习模型分别训练上述3个子集，最后得到3个不同的图像区域标注的分类模型；

离线信息获取模块，用于使用离线的方式处理待标注图片的数据集，处理过程为将待标注图片的数据集依次经过上述3个训练好的深度学习模型，输出得到该图片包含的类型属性和坐标点位置信息的json格式文件；

智能标注模块，用于利用标注软件根据图像的名称调用上述json格式文件相关的属性标签值和坐标点值，实现目标地物的自动标注；

人工修正模块，用于修改对应自动标注的结果，人工判断目标地物的所属类别和区域标注是否规范合理，对于有错误和不规范的部分进行调整和补充以达到标注规范的要求，实现数据集图片的完整标注；

回馈模块，用于将上述正确的标注样本回馈至上述三种深度学习模型进行训练，直至所得到分类模型的分类性能提升增幅小于或等于预设阈值为止。