CN111860515A - 一种交互式智能2d语义分割系统、方法、存储介质和装置 - Google Patents

Abstract

本发明提供了一种交互式智能2D语义分割系统，包括图像输入接口、标注前端、标注后端，图像输入接口连接目标图像库，图像输入接口连接标注后端，标注后端通过图像输入接口接收目标图像，标注后端连接标注前端，其特征在于：标注后端接收标注前端的标注范围和标注类型；标注后端包括模板存储模块、裁剪模块、前景提取模块和轮廓提取模块；裁剪模块和模板存储模块连接前景提取模块；裁剪模块裁剪目标图像；模板存储模块生产模板；前景提取模块连接轮廓提取模块；前景提取模块生成前景提取模板；轮廓提取模块提取图像轮廓。本发明的有益效果是：提供一种交互式智能2D语义分割系统，可方便的获取ground‑truth，具有较强的鲁棒性和准确性。

Description

一种交互式智能2D语义分割系统、方法、存储介质和装置

技术领域

本发明涉及数据标注，特别涉及一种交互式智能2D语义分割系统、方法、存储介质和装置。

背景技术

传统2D语义分割标注方法是使用完全人工标注，标注员使用多边形将目标物所属的图片像素点完全包围，从而达到2D语义分割的效果。2D语义分割标注任务的标注精度取决于多边形与目标物轮廓的贴合程度。大部分情况，要求与目标物轮廓的贴合程度越高，需要的多边形顶点数量就越多。为了达到更高的标注精度，需要标注员绘制出更多顶点的多边形以贴合目标物轮廓，目标物的轮廓越复杂，标注难度就会越大，标注效率就会越低。由此可知传统完全人工的2D语义分割方法，标注效率低，精度难以提高。

虽然CN108734113A提出了一种车辆自动标注方法，但是一方面作为一种半监督的物体分割需要物体第一帧的ground-truth，实用中获取比较麻烦；另一方面其缺乏交互功能，导致缺乏鲁棒性和准确性。

故市场亟需一种可以方便的获取ground-truth，并具有较强的鲁棒性和准确性的2D语义分割系统、方法、存储介质和装置。

发明内容

为了解决上述技术问题，本发明中披露了一种交互式智能2D语义分割系统、方法、存储介质和装置，本发明的技术方案是这样实施的：

一种交互式智能2D语义分割系统，包括图像输入接口、标注前端、标注后端，所述图像输入接口连接目标图像库，所述图像输入接口连接所述标注后端，所述标注后端通过所述图像输入接口接收所述目标图像，所述标注后端连接所述标注前端，其特征在于：所述标注后端接收所述标注前端的标注范围和标注类型；所述标注后端包括模板存储模块、裁剪模块、前景提取模块和轮廓提取模块；所述裁剪模块和所述模板存储模块连接所述前景提取模块；所述裁剪模块裁剪所述目标图像；所述模板存储模块生产模板；所述前景提取模块连接所述轮廓提取模块；所述前景提取模块生成前景提取模板；所述轮廓提取模块提取图像轮廓。

优选地，所述前景提取模块包括基于包括GraphCut、GrabCut、OneCut算法的计算机程序的一种或多种。

优选地，所述轮廓提取模块使用基于边界追踪算法的计算机程序。

优选地，所述标注前端包括矩形框标注模块；所述矩形框标注模块发送标注范围和标注类型给所述标注后端；所述标注范围为矩形。

优选地，所述标注前端还包括内部曲线绘制标注模块；所述内部曲线绘制标注模块发送标注范围和标注类型给所述标注后端；所述标注后端为不规则形状的框。

优选地，所述标注前端还包括模板修正模块。

一种交互式2D语义分割方法，使用一种交互式智能2D语义分割系统，包括：S1：所述目标图像库通过所述图像输入接口输入目标图像到所述标注前端；S2：标注员使用所述标注前端设置标注范围和标注类型；S3：所述标注前端传输所述标注范围和标注类型给所述模板存储模块和所述裁剪模块；S4：所述裁剪模块使用所述标注框裁剪所述目标图像，得到被裁剪图像；S5：所述模板存储模块根据所述标注框和所述标注类别生成初始模板；S6：所述前景提取模块读取所述被裁剪图像和所述初始模板并根据所述初始模板对所述被裁剪模块进行前景提取，得到前景背景分割结果；S7：所述轮廓提取模块读取所述前景背景分割结果并进行轮廓提取，得到目标轮廓。

优选地，还包括：S8：所述标注前端读取所述目标轮廓并将所述目标轮廓覆盖在所述目标图像上；S9：若所述标注员确认所述目标轮廓正确，结束方法，否则进入S10；S10：所述标注员使用所述标注前端绘制在所述被裁剪图像中的错误区域，生成修正模板并赋值所述初始模板为所述修正模板，回到S6。

一种交互式2D语义分割存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行一种交互式2D语义分割方法。

一种交互式2D语义分割装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种交互式2D语义分割方法。

实施本发明的技术方案可解决现有技术中只能适用于多种品类，并且无法实现自我进化的技术问题；实施本发明的技术方案，可实现方便的适用于半监督的物体分割，并具有较强的鲁棒性和准确性的技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为在一种具体的实施例1的系统结构图；

图2为在一种优选的实施例7的流程图。

在上述附图中，各图号标记分别表示：

(1)图像输入接口、(2)标注前端、(3)标注后端、(31)模板存储模块、(32)裁剪模块、(33)前景提取模块、(34)轮廓提取模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于说明，对下述名词做出解释：

ground truth：有监督学习中，数据是有标注的，以(x,t)的形式出现，其中x是输入数据，t是标注.正确的t标注是ground truth，错误的标记则不是。

在一种具体的实施例1中，如图1所示，一种交互式智能2D语义分割系统，包括图像输入接口(1)、标注前端(2)、标注后端(3)，所述图像输入接口(1)连接目标图像库，所述图像输入接口(1)连接所述标注后端(3)，所述标注后端(3)通过所述图像输入接口(1)接收所述目标图像，所述标注后端(3)连接所述标注前端(2)，其特征在于：所述标注后端(3)接收所述标注前端(2)的标注范围和标注类型；所述标注后端(3)包括模板存储模块(31)、裁剪模块(32)、前景提取模块(33)和轮廓提取模块(34)；所述裁剪模块(32)和所述模板存储模块(31)连接所述前景提取模块(33)；所述裁剪模块(32)裁剪所述目标图像；所述模板存储模块(31)生产模板；所述前景提取模块(33)连接所述轮廓提取模块(34)；所述前景提取模块(33)生成前景提取模板；所述轮廓提取模块(34)提取图像轮廓。

在该种具体的实施例1中，图像输入接口(1)用于接收外部传输的图像，一般为从外部数据库传输来的图像，也可以是直接实时传输的实时图像，可为图片也可为视频；标注前端(2)与标注后端(3)之间呈C/S或者B/S架构，标注前端(2)为标注员提供操作界面并显示标注后端(3)的数据，标注后端(3)用于处理前端的操作；在运行过程中，标注员在接收到目标图像之后，标注所要处理的处理范围并注明标注的类别并将该信息发送给标注后端(3)，从而获取到正确的ground-truth，克服了传统技术中物体第一帧的ground-truth难以获取的问题，标注后端(3)中的模板存储模块(31)根据处理范围以及标注的类别产生相应的初始模板，裁剪模块(32)使用标注框对目标图像进行裁剪得到被裁剪图像，然后再使用初始模板通过前景提取模块(33)对被裁剪图像进行前景提取，获取到前景提取模板，再将前景提取模板和被裁剪图像导入轮廓提取模块(34)中，经过轮廓提取模块(34)的边缘提取，得到相应的目标轮廓，最后将目标轮廓显示在标注前端(2)上，由标注员使用标注前端(2)判断目标轮廓是否正确，并对错误的轮廓区域进行修正，从而产生修正后的前景提取模板，即修正模板，最后将修正模板重新导入前景提取模块(33)中，重新对轮廓进行提取；通过上述模块之间的交互，可以方便的获取ground-truth，并具有较强的鲁棒性和准确性，提升了用户的实际体验。

在一种优选的实施例2中，如图1所示，所述前景提取模块(33)包括基于包括GraphCut、GrabCut、OneCut算法的计算机程序的一种或多种。

在该种优选的实施例2中，使用通用的前景提取算法如GraphCut、GrabCut、OneCut等分割的前景提取算法，以适应不同种类的目标物的需求，同时也可以针对不同的类型的目标物选用特定的经过针对性优化的算法对其进行前景提取。

在一种优选的实施例3中，如图1所示，所述轮廓提取模块(34)使用基于边界追踪算法的计算机程序。

在该种优选的实施例中，轮廓提取模块(34)基于边界追踪算法，其利用点的八邻域信息，选择下一个点作为边界点，这个算法需要选择一个开始点，可以选择图像上是目标点在最上、最左的点。然后查看它的八邻域的点，从右下方45°的位置开始寻找，如果是目标点，将沿顺时针90°作为下一次寻找的方向，如果不是，则逆时针45°继续寻找，一旦找到重复上面的过程；使用该种算法；该种算法可被有效用于二值图像的区域计数、收缩、拓扑结构分析，非常适用于2D图像的予以分割，适用于该种类型的数据进行使用。

在一种优选的实施例4中，如图1所示，所述标注前端(2)包括矩形框标注模块；所述矩形框标注模块发送标注范围和标注类型给所述标注后端(3)；所述标注范围为矩形；所述标注前端(2)还包括内部曲线绘制标注模块；所述内部曲线绘制标注模块发送标注范围和标注类型给所述标注后端(3)；所述标注后端(3)为不规则形状的框。

在该种优选的实施例中，标注前端(2)既可以使用矩形框进行标注，也可使用目标物内部绘制曲线来实现标注，具体使用哪种可根据实际情况由标注员实际进行选择，在进行目标物内部绘制曲线进行标注时，标注员使用画笔工具涂抹目标物内部，从而告知标注后端什么区域属于目标物前景。

在一种优选的实施例中5，如图1所示，所述标注前端(2)还包括模板修正模块。

在该种优选的实施例中，在运行过程中，若最终显示的分割结果被标注员认为是错误的，标注员便使用模板修正模块对前景轮廓进行修正，标注员使用划线的方式在图像上画出错误区域，从而修改初始模板，得到修正模板，然后再将初始模板赋值为修正模板，重新进入前景提取模块(33)进行前景提取。

在一种具体的实施例6中，如图2所示，一种交互式2D语义分割方法，使用一种交互式智能2D语义分割系统，包括：S1：所述目标图像库通过所述图像输入接口(1)输入目标图像到所述标注前端(2)；S2：标注员使用所述标注前端(2)设置标注框和标注类别；S3：所述标注前端(2)传输所述标注框和所述标注类型给所述模板存储模块(31)和所述裁剪模块(32)；S4：所述裁剪模块(32)使用所述标注框裁剪所述目标图像，得到被裁剪图像；S5：所述模板存储模块(31)根据所述标注框和所述标注类别生成初始模板；S6：所述前景提取模块(33)读取所述被裁剪图像和所述初始模板并根据所述初始模板对所述被裁剪模块(32)进行前景提取，得到前景背景分割结果；S7：所述轮廓提取模块(34)读取所述前景背景分割结果并进行轮廓提取，得到目标轮廓。

在该种具体的实施例中，目标图像库将图像通过图像输入接口(1)输入目标图像到标注前端(2)，标注员对目标图像进行判断，选择标注类别，并对标注的物体所在的范围使用矩形框进行划定得到标注框，该种方法一般适用于车辆，交通标注牌等，被矩形框框住后前景面积占比比较大的目标，同时也可以使用其他不规则的形状对标注的物体所在的范围进行划定从而得到相应的标注框，一般适用与斜向的车道线等，在矩形框内前景面积占比较小的目标。，然后将标注类别和标注框导入模板存储模块(31)中，模板存储模块(31)根据标注类别和标注框生成相应的初始模板，将标注框和目标图像导入到裁剪模块(32)中，裁剪模块(32)根据标注框裁剪目标图像，得到被裁剪图像，前景提取模块(33)根据初始模板对裁剪图像进行前景提取，从而得到相应的轮廓图像即前景背景分割结果，然后将前景背景分割结果导入轮廓提取模块(34)中，轮廓提取模块(34)使用边缘提取算法，得到目标轮廓并将之返回给前端。

在一种优选的实施例7中，如图2所示，还包括：S8：所述标注前端(2)读取所述目标轮廓并将所述目标轮廓覆盖在所述目标图像上；S9：若所述标注员确认所述目标轮廓正确，结束方法，否则进入S10；S10：所述标注员使用所述标注前端(2)绘制在所述被裁剪图像中的错误区域，生成修正模板并赋值所述初始模板为所述修正模板，回到S6。

在该种优选的实施例中，将目标轮廓覆盖在目标图像上，一般而言会将目标轮廓设置为半透明的，以方便标注员进行对比，若标注员认为是正确的，则进行标注，并输出该标注结果，若标注员认为是错误的，则使用标注前端(2)标注出错误的区域从而产生修正模板，然后将初始模板赋值为修正模板，重新导入到前景提取模块(33)中重新进行提取，从而实现了交互与人工纠错。

在一种具体的实施例8中，一种交互式2D语义分割存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行一种交互式2D语义分割方法。

在该种具体的实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

在一种具体的实施例9中，一种交互式2D语义分割装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种交互式2D语义分割方法。

在该种具体的实施例中，上述装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

需要指出的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种交互式智能2D语义分割系统，包括图像输入接口、标注前端、标注后端，所述图像输入接口连接目标图像库，所述图像输入接口连接所述标注后端，所述标注后端通过所述图像输入接口接收所述目标图像，所述标注后端连接所述标注前端，其特征在于：所述标注后端接收所述标注前端的标注范围和标注类型；所述标注后端包括模板存储模块、裁剪模块、前景提取模块和轮廓提取模块；

所述裁剪模块和所述模板存储模块连接所述前景提取模块；所述裁剪模块裁剪所述目标图像；所述模板存储模块生产模板；

所述前景提取模块连接所述轮廓提取模块；所述前景提取模块生成前景提取模板；所述轮廓提取模块提取图像轮廓。

2.根据权利要求1所述的一种交互式智能2D语义分割系统，其特征在于：所述标注前端包括矩形框标注模块；

所述矩形框标注模块发送标注范围和标注类型给所述标注后端；

所述标注范围为矩形。

3.根据权利要求2所述的一种交互式智能2D语义分割系统，其特征在于：所述轮廓提取模块使用基于边界追踪算法的计算机程序。

4.根据权利要求1所述的一种交互式智能2D语义分割系统，其特征在于：所述标注前端还包括内部曲线绘制标注模块；

所述内部曲线绘制标注模块发送标注范围和标注类型给所述标注后端；

所述标注范围为不规则多边形。

5.根据权利要求1-4任一所述的一种交互式智能2D语义分割系统，其特征在于：所述前景提取模块包括基于包括GraphCut、GrabCut、OneCut算法的计算机程序的一种或多种。

6.根据权利要求5所述的一种交互式智能2D语义分割系统，其特征在于：所述标注前端还包括模板修正模块。

7.一种交互式2D语义分割方法，使用权利要求1-6任一所述的一种交互式智能2D语义分割系统，包括：

S1：所述目标图像库通过所述图像输入接口输入目标图像到所述标注前端；

S2：标注员使用所述标注前端设置标注范围和标注类型；

S3：所述标注前端传输所述标注范围和标注类型给所述模板存储模块和所述裁剪模块；

S4：所述裁剪模块使用所述标注框裁剪所述目标图像，得到被裁剪图像；

S5：所述模板存储模块根据所述标注框和所述标注类别生成初始模板；

S6：所述前景提取模块读取所述被裁剪图像和所述初始模板并根据所述初始模板对所述被裁剪模块进行前景提取，得到前景背景分割结果；

S7：所述轮廓提取模块读取所述前景背景分割结果并进行轮廓提取，得到目标轮廓。

8.根据权利要求7所述的一种交互式2D语义分割方法，使用一种交互式智能2D语义分割系统，其特征在于：还包括：

S8：所述标注前端读取所述目标轮廓并将所述目标轮廓覆盖在所述目标图像上；

S9：若所述标注员确认所述目标轮廓正确，结束方法，否则进入S10；

S10：所述标注员使用所述标注前端绘制在所述被裁剪图像中的错误区域，生成修正模板并赋值所述初始模板为所述修正模板，回到S6。

9.一种交互式2D语义分割存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求7至8任一项中所述的方法。

10.一种交互式2D语义分割装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求7至8任一项中所述的方法。

Images