CN107492135A - 一种图像分割标注方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明提供一种图像分割标注方法、装置及计算机可读存储介质。该方法包括：根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像；根据用户对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像；根据修正再标注的标注图像，获得与所述待分割标注图像对应的最终标注数据。本发明通过预先存储的分割标注方式，对待分割标注图像进行预标注处理，且通过用户操作，对经预标注处理后的标注图像进行修正再标注，最终得到与待分割标注图像对应的最终标注数据，提高图像分割的标注效率以及人工核查标注数据的效率。

Description

一种图像分割标注方法、装置及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像分割标注方法、装置及计算机可读存储介质。

背景技术

随着机器学习的不断发展，高质量、高效率的数据标注以及检查流程成为提升整体研发效率的关键。在与计算机视觉相关的数据处理及标注中，图像分割的标注及核查是最为复杂和困难的任务之一。

目前典型的标注方法及流程为，将大数据分解为不同的小数据集，通过本地画笔、Photoshop等工具进行标注，保存相关的蒙版图像，最后收集完成数据初步标定，再对数据集进行人工核查，对于结果不满意的部分进行重新标注。

但是，采用本地画笔、Photoshop等工具标注效率低，且后续对数据集的人工核查效率也低。而且采用本地化标注方法容易在数据的传播过程中引入不可预知的错误，如文件重名、掉包、标注互串等。

发明内容

本发明实施例提供一种图像分割标注方法、装置及计算机可读存储介质，以解决现有本地化图像分割的标注方法标注效率低以及后续对标注数据的人工核查效率低的问题。

第一方面，本发明实施例提供一种图像分割标注方法，包括：

根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像；

根据用户对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像；

根据修正再标注的标注图像，获得与所述待分割标注图像对应的最终标注数据。

第二方面，本发明实施例提供一种图像分割标注装置，包括：

预标注处理模块，用于根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像；

第一获取模块，用于根据用户对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像；

第二获取模块，用于根据修正再标注的标注图像，获得与所述待分割标注图像对应的最终标注数据。

第三方面，本发明实施例提供一种图像分割标注装置，存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如本发明实施例第一方面提供的图像分割标注方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例第一方面提供的图像分割标注方法的步骤。

本发明实施例的上述方案中，通过预先存储的分割标注方式，对待分割标注图像进行预标注处理，且通过用户操作，对经预标注处理后的标注图像进行修正再标注，最终得到与待分割标注图像对应的最终标注数据，提高图像分割的标注效率以及人工核查标注数据的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例的图像分割标注方法的流程图；

图2为图1中步骤101的具体流程图；

图3为图1中步骤102的具体流程图；

图4为本发明一实施例提供的图像分割标注装置结构示意图；

图5为本发明另一实施例提供的图像分割标注装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例的图像分割标注方法的流程图。下面就该图具体说明该方法的实施过程。

步骤101，根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像。

这里，待分割标注图像包括一个或多个。也就是说，本方法可对单个待分割标注图像进行标注，也可对多个待分割标注进行批量标注。

需要说明的是，分割标注方式包括：分割标注算法。其中，该分割标注算法是将先前得到的标注数据作为样本数据，经机器学习得到的。

这里，待分割标注图像经预标注处理后，得到与该待分割标注图像对应的初始标注数据。

这里，预标注处理后的标注图像为黑白灰度图像。也就是，待分割标注图像上覆有初始标注数据。相等于，预标注处理后的标注图像由待分割标注图像和初始标注数据生成。

需说明的是，通过分割标注方式对待分割标注图像的预标注处理，实现对图像的自动标注，其标注速度较人工标注速度要快得多，提高标注效率。

步骤102，根据用户对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像。

这里，用户对经预标注处理后的标注图像的修正再标注的操作，相等于是对标注处理后的标注图像进行人工核查。在上一步骤中，标注效率得到提高的基础上，人工核查的效率也会得到显著提高。

步骤103，根据修正再标注的标注图像，获得与所述待分割标注图像对应的最终标注数据。

这里，获得的最终标注数据可作为训练样本数据，经机器学习，以便得到较优的图像分割标注算法。

本发明实施例提供的图像分割标注方法，通过预先存储的分割标注方式，对待分割标注图像进行预标注处理，且通过用户操作，对经预标注处理后的标注图像进行修正再标注，最终得到与待分割标注图像对应的最终标注数据，提高图像分割的标注效率以及人工核查标注数据的效率。

这里，如图2所示，本发明实施例中，步骤101还可包括：

步骤1011，接收用户在web前端的人机交互界面上对预先存储的分割标注方式的第一选取操作。

应该知道的是，用互联网来做比喻，凡是通过浏览器到用户端计算机的统称为web前端技术。相反地，存贮于服务器端的统称为后端技术。

web前端技术包括JavaScript、ActionScript、CSS、xHTML等“传统”技术与AdobeAIR、Google Gears，以及概念性较强的交互式设计，艺术性较强的视觉设计等等。

其中JavaScript、ActionScript、CSS、xHTML都是web的编程语言。

本步骤中，web前端的人机交互界面上可提供至少一种分割标注方式的选择项，供用户进行选择。这样可以满足不同用户对不同分割标注方式的选择需求。

步骤1012，确定所述第一选取操作所选取的分割标注方式为目标分割标注方式。

步骤1013，根据所述目标分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像。

这里，通过上述步骤1011～步骤1013，分割标注方式的确定通过用户在web前端的人机交互界面的操作实现，且web前端的人机交互界面为用户提供一个全网端的操作环境，使得待分割标注图像的标注处理在网络端，也就是服务器侧完成，不必在本地端标注，避免了采用本地化标注方法容易在标注数据的传播过程中引入的不可预知的错误。

由于，预先存储的分割标注方式的固有特性，在这里，可理解为分割标注算法的固有特性，不可能对每一幅待分割标注图像的标注处理都做到准确无误，不可避免的会出现对某个或某些待分割标注图像标注处理出现偏差的情况，这时就需要通过人工核查来修正这些标注出现偏差的经预标注处理后的标注图像。因此，本发明实施例中，如图3所示，步骤102还可包括：

步骤1021，接收用户在web前端的人机交互界面上对预先存储的标注模板的第二选取操作。

本步骤中，web前端的人机交互界面上可提供至少一种标注模板的选择项，供用户进行选择。这样可以满足不同用户对标注模板的使用习惯。

需要说明的是，标注模板为标注方式的模板，可以包括：Polygon模板、Superpixel模板、Brush模板、Scribble模板。

其中，在Polygon标注方式下，用户通过折线图进行分割交互；在Superpixel标注方式下，用户通过预先分配好的超像素块进行涂抹操作；在Brush标注方式下，用户通过标准画笔进行交互；Scribble标注方式下，用户基于mark点进行交互。

步骤1022，确定所述第二选取操作所选取的标注模板为目标标注模板。

步骤1023，根据用户在所述目标标注模板上对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像。

这里，确定目标标注模板后，目标标注模板开启并显示于web前端的人机交互界面上。

这里，通过上述步骤1021～步骤1023，web前端的人机交互界面提供可选地标注模板，不仅可以适应不同用户的标注习惯，还使得经预标注处理后的标注图像的人工核查直接在网路端完成，不必在本地端修正标注，省去用户上传修正标注后的标注数据的时间，提高人工核查效率。

另外，考虑到不同用户对待分割标注图像的处理速度和质量，提升标注数据作为后期样本数据的数据质量，本发明实施例的方法，在步骤101之前，还包括：

获取预先记录的与当前web前端对应的操作用户的用户权限，所述用户权限用于表示允许操作用户处理的待分割标注图像的数量；

根据所述用户权限，向当前web前端发送对应数量的待分割标注图像。

这里，不同的操作用户对应不同的用户权限等级，可以按照用户权限等级向用户所操作的web前端分配对应数量的待分割标注图像，这样可以在保证图像分割的标注效率的前提下，提升标注数据的数据质量。

当然，用户权限的不同对应的被分配到的待分割标注图像的处理复杂度也可以不同。

需要说明的是，被分配到的待分割标注图像个数较多，且不足以在web前端的人工交互界面上全部显示时，可以以分页的形式显示，每页可显示预设数量的待分割标注图像，可提供页面选择项，供用户选择处理具体某一页上的待分割标注图像。

综上所述，本发明实施例的图像分割标注方法，通过预先存储的分割标注方式，对待分割标注图像进行预标注处理，且通过用户操作，对经预标注处理后的标注图像进行修正再标注，最终得到与待分割标注图像对应的最终标注数据，提高图像分割的标注效率以及人工核查标注数据的效率。

本发明实施例还提供一种计算机可读存储介质，其上存储有出行信息的提示程序(指令)，该程序(指令)被处理器执行时实现以下步骤：根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像；根据用户对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像；根据修正再标注的标注图像，获得与所述待分割标注图像对应的最终标注数据。

可选地，该程序(指令)被处理器执行时还可实现以下步骤：接收用户在web前端的人机交互界面上对预先存储的分割标注方式的第一选取操作；确定所述第一选取操作所选取的分割标注方式为目标分割标注方式；根据所述目标分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像。

可选地，该程序(指令)被处理器执行时还可实现以下步骤：接收用户在web前端的人机交互界面上对预先存储的标注模板的第二选取操作；确定所述第二选取操作所选取的标注模板为目标标注模板；根据用户在所述目标标注模板上对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像。

可选地，该程序(指令)被处理器执行时还可实现以下步骤：在根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像之前，获取预先记录的与当前web前端对应的操作用户的用户权限，所述用户权限用于表示允许操作用户处理的待分割标注图像的数量；根据所述用户权限，向当前web前端发送对应数量的待分割标注图像。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

如图4所示，本发明实施例还提供一种图像分割标注装置200，包括：

预标注处理模块201，用于根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像；

第一获取模块202，用于根据用户对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像；

第二获取模块203，用于根据修正再标注的标注图像，获得与所述待分割标注图像对应的最终标注数据。

在图4的基础上，可选地，如图5所示，所述预标注处理模块201可具体包括：

第一接收子模块2011，用于接收用户在web前端的人机交互界面上对预先存储的分割标注方式的第一选取操作；

标注方式确定子模块2012，用于确定所述第一选取操作所选取的分割标注方式为目标分割标注方式；

预标注处理子模块2013，用于根据所述目标分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像。

可选地，所述第一获取模块202可具体包括：

第二接收子模块2021，用于接收用户在web前端的人机交互界面上对预先存储的标注模板的第二选取操作；

标注模板确定子模块2022，用于确定所述第二选取操作所选取的标注模板为目标标注模板；

第一获取子模块2023，用于根据用户在所述目标标注模板上对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像。

可选地，本实施例所述图像分割标注装置200还可包括：

第三获取模块204，用于在根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像之前，获取预先记录的与当前web前端对应的操作用户的用户权限，所述用户权限用于表示允许操作用户处理的待分割标注图像的数量；

发送模块205，用于根据所述用户权限，向当前web前端发送对应数量的待分割标注图像。

这里，图像分割标注装置200能够实现图1至图3的方法实施例中图像分割标注装置实现的各个过程，为避免重复，这里不再赘述。

本发明实施例提供的图像分割标注装置，预标注处理模块通过预先存储的分割标注方式，对待分割标注图像进行预标注处理，然后第一获取模块通过用户操作，对经预标注处理后的标注图像进行修正再标注，最后第二获取模块根据修正再标注的标注图像，得到与待分割标注图像对应的最终标注数据，提高图像分割的标注效率以及人工核查标注数据的效率。

本发明另一个实施例的图像分割标注装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如上所述的图像分割标注方法中的步骤。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

进一步需要说明的是，此说明书中所描述的移动终端包括但不限于智能手机、平板电脑等。

此说明书中所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。

本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。

实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。

在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。

上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像分割标注方法，其特征在于，包括：

根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像；

根据用户对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像；

根据修正再标注的标注图像，获得与所述待分割标注图像对应的最终标注数据。

2.根据权利要求1所述的图像分割标注方法，其特征在于，根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像的步骤，包括：

接收用户在web前端的人机交互界面上对预先存储的分割标注方式的第一选取操作；

确定所述第一选取操作所选取的分割标注方式为目标分割标注方式；

根据所述目标分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像。

3.根据权利要求1所述的图像分割标注方法，其特征在于，所述根据用户对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像的步骤，包括：

接收用户在web前端的人机交互界面上对预先存储的标注模板的第二选取操作；

确定所述第二选取操作所选取的标注模板为目标标注模板；

根据用户在所述目标标注模板上对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像。

4.根据权利要求1所述的图像分割标注方法，其特征在于，根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像的步骤之前，所述方法还包括：

获取预先记录的与当前web前端对应的操作用户的用户权限，所述用户权限用于表示允许操作用户处理的待分割标注图像的数量；

根据所述用户权限，向当前web前端发送对应数量的待分割标注图像。

5.一种图像分割标注装置，其特征在于，包括：

预标注处理模块，用于根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像；

第一获取模块，用于根据用户对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像；

第二获取模块，用于根据修正再标注的标注图像，获得与所述待分割标注图像对应的最终标注数据。

6.根据权利要求5所述的图像分割标注装置，其特征在于，所述预标注处理模块包括：

第一接收子模块，用于接收用户在web前端的人机交互界面上对预先存储的分割标注方式的第一选取操作；

标注方式确定子模块，用于确定所述第一选取操作所选取的分割标注方式为目标分割标注方式；

预标注处理子模块，用于根据所述目标分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像。

7.根据权利要求5所述的图像分割标注装置，其特征在于，所述第一获取模块包括：

第二接收子模块，用于接收用户在web前端的人机交互界面上对预先存储的标注模板的第二选取操作；

标注模板确定子模块，用于确定所述第二选取操作所选取的标注模板为目标标注模板；

第一获取子模块，用于根据用户在所述目标标注模板上对经预标注处理后的标注图像的修正再标注的操作，获得修正再标注的标注图像。

8.根据权利要求5所述的图像分割标注装置，其特征在于，所述图像分割标注装置还包括：

第三获取模块，用于在根据预先存储的分割标注方式，对待分割标注图像进行预标注处理，获得预标注处理后的标注图像之前，获取预先记录的与当前web前端对应的操作用户的用户权限，所述用户权限用于表示允许操作用户处理的待分割标注图像的数量；

发送模块，用于根据所述用户权限，向当前web前端发送对应数量的待分割标注图像。

9.一种图像分割标注装置，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的图像分割标注方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的图像分割标注方法的步骤。