CN110503705B - 图像标注方法和设备 - Google Patents

Abstract

本发明提供一种图像标注方法和设备，所述方法包括：确定标注模式，所述标注模式包括自动标注模式和手动标注模式；在所述自动标注模式下，根据用户在图像中的选定内容确定动态参数，并根据所述动态参数和预设参数确定自动标注区域；在所述手动标注模式下，以用户在图像中选定的像素点为中心,将设定范围内的图像内容确定为手动标注区域。

Description

图像标注方法和设备

技术领域

本发明涉及图像处理领域，具体涉及一种图像标注方法和设备。

背景技术

利用机器学习算法和模型对图像进行识别是一种高效的方式，也是诸如自动驾驶、智能摄像、机器人等众多领域的底层技术。

利用机器学习模型(例如神经网络)进行图像识别之前，首先要使用样本图像对模型进行训练，训练的方式通常是：1.由人工在图像中标记出感兴趣目标，并生成目标区域标识信息；2.使用标注生成的标识信息和图像一同输入深度神经网络；3.训练深度神经网络，待其收敛。然后则可以利用经过训练的机器学习模型从图像中识别并标记出感兴趣目标。

人工对图像中标记出感兴趣目标的过程中，需要标注者根据感兴趣目标的位置和形状等情况进行手工描绘。图1示出了医疗领域中的眼底图像，其虚线框内包含多个病变区域，从图中可以看出这些区域数量多、轮廓形状不规则、面积较小。标注者需要在图像中标注出这些病变区域，目前图像的标注手段通常是基于Labelimg和精灵标注助手等标注工具，使用圆形、矩形等多边形将眼底图像的病变特征标出，所标记的区域的轮廓与目标的轮廓之间有很大的误差。

上述标注结果仅能满足图像识别和检测的需求，却不能满足更高级的需求，如图对感兴趣目标进行分割的需求。在面对更高级的需求时，往往需要感兴趣目标的轮廓进行更精确的标注，如果使用人工标注，将消耗大量的人力与时间成本。

发明内容

有鉴于此，本发明提供一种图像标注方法，包括：

确定标注模式，所述标注模式包括自动标注模式和手动标注模式；

在所述自动标注模式下，根据用户在图像中的选定内容确定动态参数，并根据所述动态参数和预设参数确定自动标注区域；

在所述手动标注模式下，以用户在图像中选定的像素点为中心,将设定范围内的图像内容确定为手动标注区域。

可选地，所述标注模式还包括自动擦除模式；在所述自动擦除模式下，根据用户在所述自动标注区域或所述手动标注区域中的选定内容确定自动擦除区域。

可选地，在所述自动擦除模式下，根据用户在所述自动标注区域或所述手动标注区域中的选定内容确定自动擦除区域，包括：

获取用户在所述图像中的选定范围；

擦除所述选定范围内的全部所述自动标注区域或所述手动标注区域。

可选地，在所述自动擦除模式下，根据用户在所述自动标注区域或所述手动标注区域中的选定内容确定自动擦除区域，包括：

获取用户在所述自动标注区域或所述手动标注区域中选定的像素点；

基于所述像素点擦除连通的所述自动标注区域或连通的所述手动标注区域。

可选地，所述标注模式还包括手动擦除模式；在所述手动擦除模式下，以用户在所述图像中选定的像素点为中心,将设定范围内的所述自动标注区域或所述手动标注区域擦除。

可选地，在所述自动标注模式下，根据用户在图像中的选定内容确定动态参数，并根据所述动态参数和预设参数确定自动标注区域，包括：

向用户提供多种区域分割算法选项；

根据用户选定的区域分割算法为用户提供相应的选定方式；

根据用户在所述选定方式下所选的图像内容确定动态参数，并基于选定的区域分割算法利用所述动态参数和预设参数确定自动标注区域。

可选地，在所述自动标注模式下，根据用户在图像中的选定内容确定动态参数，并根据所述动态参数和预设参数确定自动标注区域，包括：

获取用户在所述图像中的选定区域；

根据所述选定区域的尺寸确定最大面积阈值和最小面积阈值；

在所述选定区域中根据所述最大面积阈值、所述最小面积阈值、预设迭代步长、预设稳定性阈值确定自动标注区域。

可选地，在所述自动标注模式下，根据用户在图像中的选定内容确定动态参数，并根据所述动态参数和预设参数确定自动标注区域，包括：

获取用户在所述图像中选定的像素点；

基于所述像素点的位置和像素值以及预设阈值进行区域生长确定自动标注区域。

可选地，基于所述像素点的位置和像素值以及预设阈值进行区域生长确定自动标注区域，包括：

以所述像素点为起始点，以第一条件和第二条件进行区域生长，确定至少一个自动标注区域，其中所述第一条件为相邻像素点的像素值与当前的自动标注区域内所有像素点的平均像素值的差异是否小于预设阈值，所述第二条件为当前的自动标注区域的尺寸是否达到预设尺寸。

相应地，本发明还提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述图像标注方法。

根据本发明提供的图像标注方法和设备，用户可以根据图像中的感兴趣目标的特点选择自动标注模式或手动标注模式，在自动标注模式下，用户可以在图像中大致选定一些内容，标注工具将基于用户选定的内容确定动态参数，并根据动态参数和预设参数自动确定标注区域，此模式适合应对复杂边界的区域，对大部分感兴趣目标进行快速高效的标注；同时用户还可以使用手动标注模式，在此模式下标注工具以用户在图像中选定的像素点为中心,将设定范围内的图像内容确定为手动标注区域，从而可以对自动标注的结果进行适当补充，或者应对一些不适合自动标注的目标。本方案功能全面，能够实现节约人力与时间成本的目的，并且便利性较强、操作简单，可视化效果好。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一幅具有病变区域的眼底图像；

图2是本发明提供的图像标注方法的流程图；

图3是在自动标注模式下确定标注区域的示意图；

图4是在自动擦除模式下删除若干标注区域的示意图；

图5是提取标注区域掩膜的结果示意图；

图6是在自动擦除模式下的删除一个连通标注区域的示意图；

图7是本发明提供的一种优选的图像标注方法的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明提供一种图像标注方法，该方法可以由服务器或个人计算机等电子设备来执行，本方法可以用于制作训练机器学习模型的样本图像，结合部分人工操作，自动对图像中的感兴趣区域进行标注。如图2所示，该方法包括如下步骤：

S1A，确定标注模式，标注模式包括自动标注模式和手动标注模式。为了便于用户进行人机交互，可以向用户呈现一个交互界面，其中包括图像显示区域和设置区域，标注模式的选项在设置区域中，由用户选择自动标注模式或手动标注模式。

S2A，在自动标注模式下，根据用户在图像中的选定内容确定动态参数，并根据动态参数和预设参数确定自动标注区域。当用户选择了自动标注模式时，还应当相应地确定对图像内容的选定方式。关于选定方式，即为用户通过输入设备(如鼠标、触摸屏等等)在图像内容中选择自己想标注的内容的操作方式。以鼠标操作为例，用户可以选择图像中的某一点，也即选定内容可以是一个或多个像素点；或者用户可以在图像选定一个矩形、圆形、椭圆形的区域，也即选定内容可以是一个或多个区域。

自动标注模式中需要用到两类参数，第一类参数是预设参数，这种参数由工具设计者根据用户的应用场景进行预选设定，例如本工具是用于处理眼科的眼底照片，则根据眼底照片的尺寸、像素值分布、形状等等特点设置预设参数，在用户使用时预设参数不会发生改变。第二类参数是动态参数，所谓动态是指该参数需要根据用户选的内容实时确定，对于不同的算法，所确定的参数不同。动态参数包括多种，例如像素值、区域面积、区域边界位置等等都可以视为动态参数。

作为简单举例，当用户选定的是一个像素点时，该像素点的像素值即为一个动态参数，之后可基于该像素值确定一个连通区域作为标注区域。

需要说明的是，在自动标注模式下，用户的选定内容不等于自动标注区域。根据不同的算法，自动标注区域可以小于或者大于选定内容。例如用户选定一个点，自动标注区域可以是包含该点的一个区域；例如用户选定一个区域，自动标注区域可以是包含该区域的一个更大的区域，或者是在该选定区域内的一些分散的小区域。

当确定了自动标注区域时，可以通过设定的像素值生成该区域的掩膜图，例如图3所示，其中左侧是原始图像，右侧是确定了自动标注区域并生成掩膜的结果。

S3A，在手动标注模式下，以用户在图像中选定的像素点为中心,将设定范围内的图像内容确定为手动标注区域。

当用户选择了手动标注模式时，同时也相应地确定了对图像内容的选定方式，并且用户的选定内容等于手动标注区域。标注工具还可以允许用户提供其中的设定范围，来调整手动标注的面积。

例如选定方式为以用户在图像中点击的像素点为中心，将半径d(可以由系统默认或者用户设置和修改)的圆形区域确定为手动标注区域。当确定了手动标注区域时，可以利用设定的像素值生成该区域的掩膜。

另外，本方案可以支持标注多个类别的区域。具体来说，例如在图3所示眼底图像中，存在渗出区域和出血区域这两种需要标注的区域，在进行标注时，可以在交互界面中提供类别选择，明确当前需要标注的区域类别，在生成掩膜图时，使用不同的像素值生成不同类别区域的掩膜。

在实际应用时，用户可以根据实际情况选择进入手动标注模式还是自动标注模式，也即标注工具不限定上述步骤S2A和S3A的执行顺序。当用户完成标注后，如图5所示可以生成针对标注区域的掩膜结果，将右侧的掩膜作为眼底图像的标签信息用于训练机器学习模型。

根据本发明提供的图像标注方法，用户可以根据图像中的感兴趣目标的特点选择自动标注模式或手动标注模式，在自动标注模式下，用户可以在图像中大致选定一些内容，标注工具将基于用户选定的内容确定动态参数，并根据动态参数和预设参数自动确定标注区域，此模式适合应对复杂边界的区域，对大部分感兴趣目标进行快速高效的标注；同时用户还可以使用手动标注模式，在此模式下标注工具以用户在图像中选定的像素点为中心,将设定范围内的图像内容确定为手动标注区域，从而可以对自动标注的结果进行适当补充，或者应对一些不适合自动标注的目标。本方案功能全面，能够实现节约人力与时间成本的目的，并且便利性较强、操作简单，可视化效果好。

在得到自动标注区域或手动标注区域的掩膜后，用户可查看掩膜是否准确，在一个可选的实施例中，还提供对这些标注区域的修订功能。具体地，标注模式中还包括自动擦除模式，在自动擦除模式下，根据用户在自动标注区域或手动标注区域中的选定内容确定自动擦除区域。

在此模式中，用户的选定内容不等于自动擦除区域，根据不同的算法，自动擦除区域可以小于或者大于选定内容。作为一种可选的自动擦除方式，自动擦除包括如下步骤：

获取用户在图像中的选定范围。例如用户可以使用输入装置(鼠标或触摸屏)选择一个矩形区域、圆形区域或椭圆形区域等等。

擦除选定范围内的全部自动标注区域或手动标注区域。作为示例性的说明，如图4所示用户选择一个矩形区域41，该矩形区域41中的多个标注区域将被擦除，也即删除将两个标注区域的掩膜。

作为另一种可选的自动擦除方式，自动擦除包括如下步骤：

获取用户在自动标注区域或手动标注区域中选定的像素点；

基于像素点擦除连通的自动标注区域或连通的手动标注区域。具体地，获取用户选择的像素点，判断该点是否属于背景，如果该点不是背景，即为掩膜的像素值,则在该掩膜上寻找周围所有像素值相同的点，即连通的掩膜，然后将掩膜删除，由此实现标注区域的快速智能擦除。作为示例性的说明，如图6所示用户选择一个像素点60，基于该像素点确定连通的掩膜，并将其整体删除。

在一个优选的实施例中，标注工具同时支持上述两种可选的自动擦除方式，当用户选择自动擦除模式后，还可以进一步选择擦除方式，在选定了擦除方式后，相应地确定了对图像的选择方式，如果是上述第一种实施方式，则允许用户选择一个或多个区域；如果是上述第二种实施方式，则允许用户选择一个或多个点。

为了进一步提高对标注区域修订功能的灵活性，标注模式中还包括手动擦除模式。在手动擦除模式下，以用户在图像中选定的像素点为中心,将设定范围内的自动标注区域或手动标注区域擦除。当用户选择了手动擦除模式时，同时也相应地确定了对图像内容的选定方式，并且用户的选定内容等于手动标注区域。标注工具还可以允许用户提供其中的设定范围，来调整手动擦除的面积。

例如选定方式为以用户在图像中点击的像素点为中心，将半径d(可以由系统默认或者用户设置和修改)的圆形区域确定为手动擦除区域，删除该区域内的掩膜内容。

关于上述自动标注模式下使用的算法，本发明提供一种可选的分割算法，上述步骤S2A可包括如下步骤：

S2A1，获取用户在图像中的选定区域。在使用本算法时，该选定区域应当具有一定的尺寸，实际使用时可以提供一个尺寸阈值，只有当用户选的区域尺寸超过阈值时才认定是有效的选定区域。

S2A2，根据选定区域的尺寸确定最大面积阈值和最小面积阈值。在一个具体的实施例中选定区域的尺寸与这两个面积阈值呈正相关关系，这两个面积阈值的用途可以理解为用于自动标注区域进行筛选，使得最终确定自动标注区域的面积既不会小于最小面积阈值也不会超过最大面积阈值。

S2A3，在选定区域中根据最大面积阈值、最小面积阈值、预设迭代步长、预设稳定性阈值确定自动标注区域。具体是采用最大稳定极值区域分割算法，基于分水岭的思想对用户选定的区域进行分割。在本实施例中以最大面积阈值、最小面积阈值作为动态阈值，以预设迭代步长、预设稳定性阈值作为预设阈值，在用户选定的区域内分割符合这些阈值条件的区域作为自动标注区域。这种分割算法适合对集群的小目标进行的自动标注。

关于上述自动标注模式下使用的算法，本发明还提供另一种可选的分割算法，上述步骤S2A可包括如下步骤：

S2A4，获取用户在图像中选定的像素点；

S2A5，基于像素点的位置和像素值以及预设阈值进行区域生长确定自动标注区域。

区域生长的算法包括多种，区域生长的条件、相关阈值和参数可以根据图像实际情况进行预先设定，例如可以是根据相邻像素点的RGB值、HSV值的差异与设定阈值的关系以及图像中的边缘进行生长。步骤S2A4中用户选择的像素点为种子点，用户在此步骤中可以选择一个或多个像素点作为种子点，每一个种子点均单独作为起点进行生长，所得到的生长区域可能是重合的，也可能是部分重合或者不重合的。

例如有多个种子点对应的生长区域的边界可能会相互重叠，也即多个生长区域相连而成为一个更大的生长区域，因此最终得到的生长区域可能是一个或者多个，其数量与种子点的数量没有规定的对应关系，这些生长区域内的像素点的特征与相应的种子点相似度较高，最终停止生长时的结果即为自动标注区域。这种分割算法适合对孤立的面积中等偏大的区域进行自动标注。

进一步地，在一个具体的实施例中提供一种优选的区域生长方式来确定自动标注区域。在上述步骤S2A5中，以用户选择的像素点为起始点(种子点)，以第一条件和第二条件进行区域生长，确定至少一个自动标注区域，其中第一条件为相邻像素点的像素值与当前的自动标注区域内所有像素点的平均像素值的差异是否小于预设阈值，第二条件为当前的自动标注区域的尺寸是否达到预设尺寸。

具体地，首先将每个种子点分别视作一个目标区域，目标区域的平均像素值等于该点的像素值。步骤S2A5具体包括：

S2A51，对于每个目标区域，找到临近的像素点作为候选点。临近的像素点可以目标区域当前边界上的像素点的8邻域的像素点或4邻域的像素点。

S2A52，计算每个候选点的像素值与对应区域的平均像素值的差异。该差异例如是欧氏距离，如果欧氏距离小于预设阈值则加入该区域，否则放弃该候选点。

然后回到步骤S2A51。当目标区域周围没有满足条件的像素点时，或者目标区域的像素点数量超过预设的阈值，则该区域停止生长，此时得到的即为自对标注区域。

本发明还提供一种优选的图像标注方法，本方法同时提供多种区域分割算法，并可以结合上述各种可选的实施方式，根据用户的操作对图像进行标注。如图7所示，本方法包括如下步骤：

S1B，确定标注模式，标注模式包括自动标注模式和手动标注模式。具体可参照上述实施例中的步骤S1A，此处不再赘述。

S2B，在自动标注模式下，向用户提供多种区域分割算法选项，包括但不限于上述实施例中的最大稳定极值区域分割算法和区域生长算法。

S3B，根据用户选定的区域分割算法为用户提供相应的选定方式。例如当用户选择了最大稳定极值区域分割算法时，为用户提供区域选定方式；当用户选择了区域生长算法时，为用户提供区像素点选定方式；

S4B，根据用户所选的图像内容确定动态参数，并基于选定的区域分割算法利用动态参数和预设参数确定自动标注区域。不同的算法，所使用的的参数不同，具体可参照上述实施例中的步骤S2A的内容，此处不再赘述。

本发明实施例还提供一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述图像标注方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种图像标注方法，其特征在于，包括：

确定标注模式，所述标注模式包括自动标注模式和手动标注模式；

在所述自动标注模式下，根据用户在图像中的选定内容确定动态参数，并根据所述动态参数和预设参数确定自动标注区域；

在所述手动标注模式下，以用户在图像中选定的像素点为中心,将设定范围内的图像内容确定为手动标注区域；

其中在所述自动标注模式下，根据用户在图像中的选定内容确定动态参数，并根据所述动态参数和预设参数确定自动标注区域，包括：

获取用户在所述图像中的选定区域；

根据所述选定区域的尺寸确定最大面积阈值和最小面积阈值；

在所述选定区域中根据所述最大面积阈值、所述最小面积阈值、预设迭代步长、预设稳定性阈值确定自动标注区域。

2.根据权利要求1所述的方法，其特征在于，所述标注模式还包括自动擦除模式；在所述自动擦除模式下，根据用户在所述自动标注区域或所述手动标注区域中的选定内容确定自动擦除区域。

3.根据权利要求2所述的方法，其特征在于，在所述自动擦除模式下，根据用户在所述自动标注区域或所述手动标注区域中的选定内容确定自动擦除区域，包括：

获取用户在所述图像中的选定范围；

擦除所述选定范围内的全部所述自动标注区域或所述手动标注区域。

4.根据权利要求2所述的方法，其特征在于，在所述自动擦除模式下，根据用户在所述自动标注区域或所述手动标注区域中的选定内容确定自动擦除区域，包括：

获取用户在所述自动标注区域或所述手动标注区域中选定的像素点；

基于所述像素点擦除连通的所述自动标注区域或连通的所述手动标注区域。

5.根据权利要求1所述的方法，其特征在于，所述标注模式还包括手动擦除模式；在所述手动擦除模式下，以用户在所述图像中选定的像素点为中心,将设定范围内的所述自动标注区域或所述手动标注区域擦除。

6.根据权利要求1所述的方法，其特征在于，在所述自动标注模式下，根据用户在图像中的选定内容确定动态参数，并根据所述动态参数和预设参数确定自动标注区域，包括：

向用户提供多种区域分割算法选项；

根据用户选定的区域分割算法为用户提供相应的选定方式；

根据用户在所述选定方式下所选的图像内容确定动态参数，并基于选定的区域分割算法利用所述动态参数和预设参数确定自动标注区域。

7.根据权利要求1或6中任一项所述的方法，其特征在于，在所述自动标注模式下，根据用户在图像中的选定内容确定动态参数，并根据所述动态参数和预设参数确定自动标注区域，包括：

获取用户在所述图像中选定的像素点；

基于所述像素点的位置和像素值以及预设阈值进行区域生长确定自动标注区域。

8.根据权利要求7所述的方法，其特征在于，基于所述像素点的位置和像素值以及预设阈值进行区域生长确定自动标注区域，包括：

以所述像素点为起始点，以第一条件和第二条件进行区域生长，确定至少一个自动标注区域，其中所述第一条件为相邻像素点的像素值与当前的自动标注区域内所有像素点的平均像素值的差异是否小于预设阈值，所述第二条件为当前的自动标注区域的尺寸是否达到预设尺寸。

9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-8任意一项所述的图像标注方法。