CN116664616B - 交互式图像分割标注方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及一种交互式图像分割标注方法、装置、计算机设备及存储介质。方法包括：响应于参照待分割缺陷的属性参数对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框；响应在待分割图像上输入的触发点，控制交互分割框跟随触发点的移动而移动；根据交互分割框在移动前以及每次移动后分别在待分割图像中所覆盖的范围，确定各交互分割区域；交互分割区域为需要进行图像分割的区域；分别对各交互分割区域进行分割推理，得到待分割图像的交互分割标注结果。采用本申请，能够提高图像的分割标注精度。

Description

交互式图像分割标注方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种交互式图像分割标注方法、装置、计算机设备及存储介质。

背景技术

随着计算机视觉技术的快速发展，对图像进行分割标注得到训练数据是一个必不可少的环节。目前，主要是将需要分割的整张图像输入到深度学习模型中，以通过深度学习模型对该整张图像进行分割预测，从而得到图像分割标注结果。但是，在某些情况下，需要分割的图像尺寸和缺陷面积的比例差距较大，这会影响图像分割标注的精度。

发明内容

基于此，有必要针对上述技术问题，提供一种交互式图像分割标注方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，能够提高图像分割标注的精度。

第一方面，本申请提供了一种交互式图像分割标注方法，包括：

响应于参照待分割缺陷的属性参数对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框；

响应在待分割图像上输入的触发点，控制交互分割框跟随触发点的移动而移动；

根据交互分割框在移动前以及每次移动后分别在待分割图像中所覆盖的范围，确定各交互分割区域；交互分割区域为需要进行图像分割的区域；

分别对各交互分割区域进行分割推理，得到待分割图像的交互分割标注结果。

第二方面，本申请提供了一种交互式图像分割标注装置，包括：

区域框选模块，用于响应于参照待分割缺陷的属性参数对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框；

移动跟随模块，用于响应在待分割图像上输入的触发点，控制交互分割框跟随触发点的移动而移动；

区域确定模块，用于根据交互分割框在移动前以及每次移动后分别在待分割图像中所覆盖的范围，确定各交互分割区域；交互分割区域为需要进行图像分割的区域；

分割标注模块，用于分别对各交互分割区域进行分割推理，得到待分割图像的交互分割标注结果。

第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。

第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。

上述交互式图像分割标注方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，通过移动触发点而控制待分割图像中的交互分割框跟随触发点的移动而移动，并且通过交互分割框在移动前以及每次移动后在待分割图像中所覆盖的范围来确定需要进行图像分割的各交互分割区域，并针对各交互分割区域进行分割推理得到交互分割标注结果。也就是说，用户可以针对不同情况的待分割缺陷，框选合适的交互分割框，并且还可以通过调整触发点的位置，使同一个交互分割框跟随触发点灵活移动，从而让多个小粒度的交互分割框所覆盖的区域与待分割缺陷之间的比例差距保持在一个合理的范围内，这就保证本申请中通过对限缩范围的各交互分割框进行分割推理的方式，相比起直接对整图进行分割推理方式，分割标注的精度更高。

附图说明

图1为本申请实施例提供的一种交互式图像分割标注方法的流程示意图；

图2为本申请实施例提供的另一种交互式图像分割标注方法的流程示意图；

图3为本申请实施例提供的一种交互式图像分割标注装置的结构框图；

图4为本申请实施例提供的一种计算机设备的内部结构图；

图5为本申请实施例提供的另一种计算机设备的内部结构图；

图6为本申请实施例提供的一种计算机可读存储介质的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1所示，提供了一种交互式图像分割标注方法，本实施例以该方法应用终端为例进行说明。可以理解的是，该方法可以由终端或服务器单独实现，也可以通过终端和服务器的交互实现。本实施例中，该方法包括但不限于包括以下步骤：

S102、响应于参照待分割缺陷的属性参数对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框。

其中，待分割图像指的是存在缺陷、且需要将缺陷分割出来的图像。

待分割缺陷，指的是在待分割图像上的缺陷。待分割缺陷的属性参数，指的是用于表征待分割缺陷的形状和大小的参数。可以理解，用户可以参照显示在终端交互界面中的待分割缺陷的形状和大小，在待分割图像上划取合适的交互分割框。

区域框选操作，指的是通过框选的方式，在待分割图像上确定出一个用于指定分割区域的交互分割框的操作。在一些实施例中，交互分割框可以是不规则的多边形，也可以是规则的多边形，例如矩形。

具体地，用户参照待分割缺陷的形状和大小，对待分割图像进行区域框选操作。终端则响应于该区域框选操作，确定用户在待分割图像上所框选的交互分割框。

在一些实施例中，用户可以直接在待分割图像中框选出能够覆盖待分割缺陷所在范围的交互分割框，若用户在待分割图像上框选的交互分割框与待分割缺陷的比例差距较小，则说明用户此时框选的交互分割框是比较合适的，此时则可以直接对该交互分割框所覆盖交互分割区域进行分割推理，以得到待分割图像的交互分割标注结果。

在另一些实施例中，待分割图像可能会存在有形状特殊的缺陷，比如细长类的缺陷，如果用户直接在待分割图像中框选出能够覆盖待分割缺陷所在范围的交互分割框，就会导致交互分割框与待分割缺陷的比例差距较大。考虑到以上情况，在本申请中，用户还可以先在待分割图像中框选能够覆盖一部分待分割缺陷所在范围的交互分割框，再输入触发点以移动交互分割框，通过不断输入触发点不断移动交互分割框，直到各移动前和移动后的交互分割框能够覆盖待分割缺陷的所有范围，再对各移动前和移动后的交互分割框所覆盖的各交互分割区域进行分割推理，以得到待分割图像的交互分割标注结果。

S104、响应在待分割图像上输入的触发点，控制交互分割框跟随触发点的移动而移动。

其中，触发点，指的是通过交互在待分割图像中确定的像素点。

具体地，用户在待分割图像上输入触发点，终端响应于用户在待分割图像上输入的触发点，控制交互分割框跟随触发点的移动而移动，从而保证每次移动后的交互分割框能够框选跟随移动的触发点。

在一些实施例中，用户可以通过在终端交互界面显示的待分割图像上进行点击或触摸操作来输入对应的触发点。

S106、根据交互分割框在移动前以及每次移动后分别在待分割图像中所覆盖的范围，确定各交互分割区域。其中，交互分割区域为需要进行图像分割的区域。

具体地，终端确定交互分割框在移动前在待分割图像中所覆盖的范围，并确定交互分割框在每次移动后分别在待分割图像中所覆盖的范围，确定各交互分割区域。

S108、分别对各交互分割区域进行分割推理，得到待分割图像的交互分割标注结果。

其中，分割推理用于预测交互分割区域中的哪些部分为缺陷。交互分割标注结果，指的是将对交互分割区域所预测的缺陷进行交互分割标注得到的结果。

具体地，终端分别对各交互分割区域进行分割推理，以得到各个交互分割区域中存在缺陷的区域，并针对存在缺陷的区域进行交互分割标注，比如将存在缺陷的区域对应的像素值确定为第一像素值，将不存在缺陷的区域对应的像素值确定为第二像素值，从而得到待分割图像的交互分割标注结果。

可见，在本申请实施例中，通过移动触发点而控制待分割图像中的交互分割框跟随触发点的移动而移动，并且通过交互分割框在移动前以及每次移动后在待分割图像中所覆盖的范围来确定需要进行图像分割的各交互分割区域，并针对各交互分割区域进行分割推理得到交互分割标注结果。也就是说，用户可以针对不同情况的待分割缺陷，框选合适的交互分割框，并且还可以通过调整触发点的位置，使同一个交互分割框跟随触发点灵活移动，从而让多个小粒度的交互分割框所覆盖的区域与待分割缺陷之间的比例差距保持在一个合理的范围内，这就保证本申请中通过对限缩范围的各交互分割框进行分割推理的方式，相比起直接对整图进行分割推理方式，分割标注的精度更高。此外，本申请还提出了交互分割框跟随触发点移动的方式，在保持交互分割框的尺寸不变的情况下，根据用户输入的触发点的位置，灵活调整交互分割框的位置，能够提高细长类缺陷的分割精度，相比起传统方式中用户每次都手动针对各个区域的缺陷重新进行框选的方式，效率更高。

在一些实施例中，各次输入的触发点位于待分割缺陷的前景或背景上，交互分割标注结果包括交互分割标注掩膜；步骤108包括：

针对每次输入的触发点，根据触发点和对应跟随的交互分割区域的相对位置，将触发点转换成先验矩阵；先验矩阵用于表征在触发点的预设范围内的像素点是前景或背景；

针对每个交互分割区域，参照交互分割区域分别截取待分割图像和预设分割掩膜的感兴趣区域，得到感兴趣分割图像和感兴趣分割掩膜；预设分割掩膜，是与待分割图像尺寸相同、且包括多个自定义像素值的掩膜；

根据各交互分割区域分别对应的先验矩阵、感兴趣分割图像和感兴趣分割掩膜，对各交互分割区域进行分割推理，得到待分割图像的交互分割标注掩膜。

在一些实施例中，假设待分割图像的尺寸为(W, H)，则可以将其初始化成一个W×H×3的第一矩阵，同时还可以初始化一个与待分割图像的尺寸大小相同的第二矩阵W×H×1，作为预设分割掩膜，同时可以将第二矩阵中的值全设为0。此时可以初始化某个触发点对应的、与待分割图像尺寸大小相同的先验矩阵W×H×1。该先验矩阵中的值是通过该触发点在待分割图像中的像素坐标、该触发点对应跟随的交互分割区域在待分割图像中的像素坐标所确定的，比如，以触发点的像素坐标为中心，进行预设半径的高斯核处理，从而确定触发点以及在触发点的预设范围内的像素点在先验矩阵中的值，并将触发点以及触发点的预设范围内的像素点在先验矩阵中的值与其他值进行区分，得到先验矩阵。

在一些实施例中，该触发点可以是仅表示位于待分割缺陷的前景上的像素点。在另一些实施例中，该触发点可以是正触发点，也可以是负触发点，正触发点是位于待分割缺陷的前景上的像素点，负触发点是位于待分割缺陷的背景上像素点，在这种情况下，该触发点对应的先验矩阵则是W×H×2。正触发点对应的先验矩阵，则表征在正触发点的预设范围内的像素点被分割成缺陷的概率大于其他像素点，而负触发点对应的先验矩阵，则表征在负触发点的预设范围内的像素点被分割成缺陷的概率小于其他像素点。

可见，在本实施例中，通过用户在待分割缺陷上输入的触发点构造交互分割区域对应的先验矩阵，这样能够在分割推理时，给模型提供哪些区域很有可能是缺陷的先验信息，相比起传统技术中直接对整图进行分割推理的方式，能够更有效地提高分割推理的精度。

在一些实施例中，步骤“根据各交互分割区域分别对应的先验矩阵、感兴趣分割图像和感兴趣分割掩膜，对各交互分割区域进行分割推理，得到待分割图像的交互分割标注掩膜”包括：

针对每个交互分割区域，将交互分割区域对应的先验矩阵、感兴趣分割图像和感兴趣分割掩膜输入至图像分割模型进行处理，输出交互分割概率图；交互分割概率图中的各像素点对应有分割预测概率；分割预测概率表示该像素点被预测为缺陷的概率；

根据各像素点对应的分割预测概率，确定各像素点对应的像素值；

根据各像素点对应的像素值，确定交互分割区域对应的初步交互分割标注掩膜；

根据各交互分割区域分别对应的初步交互分割标注掩膜，得到待分割图像的交互分割标注掩膜。

其中，图像分割模型，用于预测交互分割区域中的各像素点为缺陷的概率。在工业领域中，图像分割模型是工业通用的交互深度学习模型。

具体地，针对每个交互分割区域，终端将交互分割区域对应的先验矩阵、感兴趣分割图像和感兴趣分割掩膜进行特征融合处理，得到融合特征图，并将融合特征图输入至图像分割模型进行推理，输出交互分割概率图。终端确定第一置信度阈值，将交互分割概率图中分割预测概率大于或等于第一置信度阈值的像素值确定为第一像素值，并将交互分割概率图中分割概率小于第一置信度阈值的像素值确定为第二像素值。终端根据各像素点对应的第一像素值和第二像素值，得到交互分割区域的初步交互分割标注掩膜。终端根据各交互分割区域分别对应的初步交互分割标注掩膜，得到待分割图像的交互分割标注掩膜。在一些实施例中，第一像素值可以是1，第二像素值可以是0。

可见，在本实施例中，通过图像分割模型对各个小粒度的交互分割区域进行分割推理，能够得到较好的小缺陷分割标注结果，从而保证缺陷分割的精度。

在一些实施例中，步骤“根据各交互分割区域分别对应的初步交互分割标注掩膜，得到待分割图像的交互分割标注掩膜”包括：

针对每个交互分割区域对应的初步交互分割标注掩膜，确定初步交互分割标注掩膜中的目标边缘像素点；目标边缘像素点，是初步交互分割标注掩膜中分割预测概率位于预设的置信度范围内的边缘像素点；

确定初步交互分割标注掩膜中的非边缘像素点；

将各交互分割区域分别对应的目标边缘像素点的像素值，以及非边缘像素点的像素值映射到预设分割掩膜上，得到待分割图像的交互分割标注掩膜。

其中，边缘像素点，是位于交互分割标注掩膜边缘的像素点。非边缘像素点，是位于交互分割标注掩膜内部的像素点。置信度范围，指的是大于或等于第二置信度阈值。对应的，目标边缘像素点，是初步交互分割标注掩膜中分割预测概率大于或等于第二置信度阈值的边缘像素点。需要说明的是，第二置信度阈值大于第一置信度阈值。

可见，在本实施例中，提出了一种边缘结果的融合方法，当初步交互分割标注掩膜的边缘像素点对应的置信度小于第二置信度阈值，则忽略本次的分割结果，即，不考虑将置信度小于第二置信度阈值的边缘像素点的像素值映射到预设分割掩膜上，而是将大于或等于第二置信度阈值的边缘像素点的像素值和非边缘像素点的像素值映射到预设分割掩膜上。这样，能够解决通过不同的交互分割区域对同一个待分割缺陷进行分割推理导致边缘分割效果较差的问题，保证最终确定的交互分割标注掩膜的准确性。

在一些实施例中，步骤104包括：

响应在待分割图像上输入的触发点，确定触发点在待分割图像上的坐标，得到触发点坐标；

确定用于表征交互分割框的区域范围的坐标，得到区域坐标；

在根据触发点坐标和区域坐标确定触发点位于交互分割框之外的情况下，控制交互分割框移动到以触发点为中心的位置上。

具体地，用户在待分割图像上通过点击或者触摸输入触发点，终端响应于用户在待分割图像上输入的触发点，确定触发点在待分割图像中的像素坐标，得到触发点坐标。终端确定用于表征交互分割框的区域范围的坐标，得到区域坐标。比如，若交互分割框为矩形框，则终端可以确定交互分割区域左上顶点的像素坐标和右下顶点的像素坐标，得到区域坐标，或者确定交互分割区域左下顶点的像素坐标和右上顶点的像素坐标，得到区域坐标。终端根据触发点坐标和区域坐标，确定触发点是否位于交互分割框之内，若触发点位于交互分割框之内，则不移动交互分割框；若触发点位于交互分割框之外，则控制交互框移动到以触发点为中心的位置上。

可见，在本实施例中，提出了交互分割框跟随触发点移动方法，当触发点位于交互分割框之内，则说明交互分割框所覆盖的范围就是用户想要确定的交互分割区域，此时则不需要对交互分割框进行移动，以减少资源损耗。当用户输入了新的触发点，且该触发点位于交互分割框之外，则说明用户想确认其他的交互分割区域，此时则保持交互分割框的尺寸不变，并控制交互分割框根据新的触发点的位置进行跟随移动，以对移动后的交互分割框所覆盖的区域进行分割推理，让用户更灵活地根据交互分割标注结果进行交互调整。

在一些实施例中，在步骤108之后，交互式图像分割标注方法还包括：

将待分割图像的交互分割标注掩膜进行可视转换，得到内部可视状态掩膜和边缘可视状态掩膜；内部可视状态掩膜用于表征交互分割标注掩膜的内部区域；边缘可视状态掩膜用于表征交互分割标注掩膜的边缘轮廓；

响应于对内部可视状态掩膜和边缘可视状态掩膜进行编辑操作，对交互分割标注掩膜进行调整，得到调整后的交互分割标注掩膜。

具体地，在得到待分割图像的交互分割标注掩膜之后，用户需要判断当前的交互分割标注掩膜是否达到标注要求，如果该交互分割标注掩膜没有达到标注要求，则重复步骤104至步骤108继续对待分割缺陷进行交互分割标注，直至交互分割标注掩膜达到标注要求。如果交互分割标注掩膜达到标注要求，终端则保存当前的交互分割标注掩膜，转到精修分割模式。即，终端将待分割图像的交互分割标注掩膜进行可视转换，得到内部可视状态掩膜和边缘可视状态掩膜。用户则可以对内部可视状态掩膜和边缘可视状态掩膜进行编辑操作，终端则响应于编辑操作，对交互分割标注掩膜进行调整，得到调整后的交互分割标注掩膜。

可见，在本实施例中，通过对交互分割标注掩膜进行标注约束，能够保证确定的交互分割标注掩膜的准确性。在此基础上，再针对准确的交互分割标注掩膜进行精修分割，以通过交互的方式再次对交互分割标注掩膜进行调整，相比起传统方式中通过用户重新划分分割区域的方式，能够极大提高了用户标注的效率，同时还保证调整后的交互分割标注掩膜的质量。

在一些实施例中，步骤“响应于对内部可视状态掩膜和边缘可视状态掩膜进行编辑操作，对交互分割标注掩膜进行调整，得到调整后的交互分割标注掩膜”包括以下至少一种处理：

在第一修改模式下，响应于针对内部可视状态掩膜进行的区域修改操作，对内部可视状态掩膜进行调整，得到调整后的内部可视状态掩膜；

在第二修改模式下，响应于针对边缘可视状态掩膜进行的线段修改操作，对边缘可视状态掩膜进行调整，得到调整后的边缘可视状态掩膜；

根据调整后的内部可视状态掩膜和调整后的边缘可视状态掩膜，得到调整后的交互分割标注掩膜。

其中，区域修改操作，指的是对内部可视状态掩膜进行粒度较大的区域填充或者区域擦除操作。线段修改操作，指的是对边缘可视状态进行粒度较小的线段填充或者线段擦除操作。

在一些实施例中，第一修改模式可以是笔刷修改模式，在笔刷修改模式下，用户可以通过虚拟笔刷对内部可视状态掩膜进行填充和擦除，以达到修改内部可视状态掩膜的目的。

在另一些实施例中，第二修改模式可以是点线修改模式，在点线修改模式下，用户可以对边缘可视状态掩膜进行边缘线段的增加或者删除，以得到修改边缘可视状态掩膜的目的。

可见，在本申请实施例中，对于某些轻微未贴合待分割缺陷的交互分割标注掩膜，提出了一种分割精修方法，即，可以采用笔刷修改和点线修改两种模式，让用户直接对交互分割标注掩膜进行修改，相比起传统技术中通过与图像分割模型进行交互修改的方式，效率更高。

在一些实施例中，如图2所示，本申请的交互式图像分割标注方法具体还包括但不限于包括：终端获取待分割图像，用户在待分割图像上划取交互分割框并输入触发点。终端判断触发点是否在交互分割框内，若触发点在交互分割框内，则确定本次交互所产生的交互数据，即先验矩阵、感兴趣分割图像和感兴趣分割掩膜。若触发点在交互分割框外，则终端在控制交互分割框跟随触发点移动后，确定本次交互所产生的交互数据。之后，终端将交互数据输入至图像分割模型中进行模型推理，并对模型输入的数据进行后处理，得到交互分割标注掩膜。用户判断结果是否满意，即用户判断交互分割标注掩膜是否满意，若不满意，则迭代执行用户输入触发点以及后续步骤，直至用户对交互分割标注掩膜满意。最后，终端通过精修分割模式调整交互分割标注掩膜，以结束交互式图像分割标注的流程。

在一些实施例中，本申请的交互式图像分割标注方法具体还包括但不限于包括以下步骤：

（1）响应于参照待分割缺陷的属性参数对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框。

（2）响应在待分割图像上输入的触发点，确定触发点在待分割图像的坐标，得到触发点坐标。

（3）确定用于表征交互分割框的区域范围的坐标，得到区域坐标。

（4）在根据触发点坐标和区域坐标确定触发点位于交互分割框之外的情况下，控制交互分割框移动到以触发点为中心的位置上。若触发点位于交互分割框之内，则不控制交互分割框移动。

（5）根据交互分割框在移动前以及每次移动后分别在待分割图像中所覆盖的范围，确定各交互分割区域。

（6）根据各次输入的触发点分别和对应跟随的交互分割区域的相对位置，将各触发点各自转换成先验矩阵。

（7）针对每个交互分割区域，参照交互分割区域分别截取待分割图像和预设分割掩膜的感兴趣区域，得到感兴趣分割图像和感兴趣分割掩膜。

（8）针对每个交互分割区域，将交互分割区域对应的先验矩阵、感兴趣分割图像和感兴趣分割掩膜输入至图像分割模型进行处理，输出交互分割概率图。

（9）根据各像素点对应的分割预测概率，确定各像素点对应的像素值。

（10）根据各像素点对应的像素值，确定交互分割区域的初步交互分割标注掩膜。

（11）针对每个交互分割区域对应的初步交互分割标注掩膜，确定初步交互分割标注掩膜中的目标边缘像素点。

（12）确定初步交互分割标注掩膜中的非边缘像素点。

（13）将各交互分割区域对应的目标边缘像素点的像素值，以及非边缘像素点的像素值映射到预设分割掩膜上，得到待分割图像的交互分割标注掩膜。

（14）将待分割图像的交互分割标注掩膜进行可视转换，得到内部可视状态掩膜和边缘可视状态掩膜。在第一修改模式下，执行步骤（15），在第二修改模式下，执行步骤（16）。

（15）响应于针对内部可视状态掩膜进行的区域修改操作，对内部可视状态掩膜进行调整，得到调整后的内部可视状态掩膜。

（16）响应于针对边缘可视状态掩膜进行的线段修改操作，对边缘可视状态掩膜进行调整，得到调整后的边缘可视状态掩膜。

（17）根据调整后的内部可视状态掩膜和调整后的边缘可视状态掩膜，得到调整后的交互分割标注掩膜。

应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种交互式图像分割标注装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个交互式图像分割标注装置实施例中的具体限定可以参见上文中对于交互式图像分割标注方法的限定，在此不再赘述。

如图3所示，本申请实施例提供了一种交互式图像分割标注装置300，包括：

区域框选模块302，用于响应于参照待分割缺陷的属性参数对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框；

移动跟随模块304，用于响应在待分割图像上输入的触发点，控制交互分割框跟随触发点的移动而移动；

区域确定模块306，用于根据交互分割框在移动前以及每次移动后分别在待分割图像中所覆盖的范围，确定各交互分割区域；交互分割区域为需要进行图像分割的区域；

分割标注模块308，用于分别对各交互分割区域进行分割推理，得到待分割图像的交互分割标注结果。

在一些实施例中，各次输入的触发点位于所述待分割缺陷的前景或背景上，交互分割标注结果包括交互分割标注掩膜；在分别对各交互分割区域进行分割推理，得到待分割图像的交互分割标注结果方面，分割标注模块308具体用于：

针对每次输入的触发点，根据触发点和对应跟随的交互分割区域的相对位置，将触发点转换成先验矩阵；先验矩阵用于表征在触发点的预设范围内的像素点是前景或背景；

针对每个交互分割区域，参照交互分割区域分别截取待分割图像和预设分割掩膜的感兴趣区域，得到感兴趣分割图像和感兴趣分割掩膜；预设分割掩膜，是与待分割图像尺寸相同、且包括多个自定义像素值的掩膜；

根据各交互分割区域分别对应的先验矩阵、感兴趣分割图像和感兴趣分割掩膜，对各交互分割区域进行分割推理，得到待分割图像的交互分割标注掩膜。

在一些实施例中，在根据各交互分割区域分别对应的先验矩阵、感兴趣分割图像和感兴趣分割掩膜，对各交互分割区域进行分割推理，得到待分割图像的交互分割标注掩膜方面，分割标注模块308具体用于：

针对每个交互分割区域，将交互分割区域对应的先验矩阵、感兴趣分割图像和感兴趣分割掩膜输入至图像分割模型进行处理，输出交互分割概率图；交互分割概率图中的各像素点对应有分割预测概率；分割预测概率表示该像素点被预测为缺陷的概率；

根据各像素点对应的分割预测概率，确定各像素点对应的像素值；

根据各像素点对应的像素值，确定交互分割区域对应的初步交互分割标注掩膜；

根据各交互分割区域分别对应的初步交互分割标注掩膜，得到待分割图像的交互分割标注掩膜。

在一些实施例中，在根据各交互分割区域分别对应的初步交互分割标注掩膜，得到待分割图像的交互分割标注掩膜方面，分割标注模块308具体用于：

针对每个交互分割区域对应的初步交互分割标注掩膜，确定初步交互分割标注掩膜中的目标边缘像素点；目标边缘像素点，是初步交互分割标注掩膜中分割预测概率位于预设的置信度范围内的边缘像素点；

确定初步交互分割标注掩膜中的非边缘像素点；

将各交互分割区域分别对应的目标边缘像素点的像素值，以及非边缘像素点的像素值映射到预设分割掩膜上，得到待分割图像的交互分割标注掩膜。

在一些实施例中，在响应在待分割图像上输入的触发点，控制交互分割框跟随触发点的移动而移动方面，移动跟随模块304具体用于：

响应在待分割图像上输入的触发点，确定触发点在待分割图像上的坐标，得到触发点坐标；

确定用于表征交互分割框的区域范围的坐标，得到区域坐标；

在根据触发点坐标和区域坐标确定触发点位于交互分割框之外的情况下，控制交互分割框移动到以触发点为中心的位置上。

在一些实施例中，本申请的交互式图像分割标注装置300还包括编辑调整模块，编辑调整模块用于：

将待分割图像的交互分割标注掩膜进行可视转换，得到内部可视状态掩膜和边缘可视状态掩膜；内部可视状态掩膜用于表征交互分割标注掩膜的内部区域；边缘可视状态掩膜用于表征交互分割标注掩膜的边缘轮廓；

响应于对内部可视状态掩膜和边缘可视状态掩膜进行编辑操作，对交互分割标注掩膜进行调整，得到调整后的交互分割标注掩膜。

在一些实施例中，在响应于对内部可视状态掩膜和边缘可视状态掩膜进行编辑操作，对交互分割标注掩膜进行调整，得到调整后的交互分割标注掩膜方面，编辑调整模块具体用于：

在第一修改模式下，响应于针对内部可视状态掩膜进行的区域修改操作，对内部可视状态掩膜进行调整，得到调整后的内部可视状态掩膜；

在第二修改模式下，响应于针对边缘可视状态掩膜进行的线段修改操作，对边缘可视状态掩膜进行调整，得到调整后的边缘可视状态掩膜；

根据调整后的内部可视状态掩膜和调整后的边缘可视状态掩膜，得到调整后的交互分割标注掩膜。

上述交互式图像分割标注装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）及通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储与交互式图像分割标注相关的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的交互式图像分割标注方法中的步骤。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述的交互式图像分割标注方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4或图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一些实施例中，如图6所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（FerroelectricRandom Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（StaticRandom AccessMemory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种交互式图像分割标注方法，其特征在于，包括：

响应于参照待分割缺陷的属性参数对待分割图像进行的区域框选操作，确定位于所述待分割图像上的交互分割框；

响应在所述待分割图像上输入的触发点，控制所述交互分割框跟随所述触发点的移动而移动；

根据所述交互分割框在移动前以及每次移动后分别在所述待分割图像中所覆盖的范围，确定各交互分割区域；所述交互分割区域为需要进行图像分割的区域；

分别对所述各交互分割区域进行分割推理，得到所述待分割图像的交互分割标注结果。

2.根据权利要求1所述的方法，其特征在于，各次输入的触发点位于所述待分割缺陷的前景或背景上；所述交互分割标注结果包括交互分割标注掩膜；所述分别对所述各交互分割区域进行分割推理，得到所述待分割图像的交互分割标注结果，包括：

针对每次输入的触发点，根据所述触发点和对应跟随的交互分割区域的相对位置，将所述触发点转换成先验矩阵；所述先验矩阵用于表征在所述触发点的预设范围内的像素点是前景或背景；

针对每个交互分割区域，参照所述交互分割区域分别截取所述待分割图像和预设分割掩膜的感兴趣区域，得到感兴趣分割图像和感兴趣分割掩膜；所述预设分割掩膜，是与所述待分割图像尺寸相同、且包括多个自定义像素值的掩膜；

根据所述各交互分割区域分别对应的先验矩阵、感兴趣分割图像和感兴趣分割掩膜，对所述各交互分割区域进行分割推理，得到所述待分割图像的交互分割标注掩膜。

3.根据权利要求2所述的方法，其特征在于，所述根据所述各交互分割区域分别对应的先验矩阵、感兴趣分割图像和感兴趣分割掩膜，对所述各交互分割区域进行分割推理，得到所述待分割图像的交互分割标注掩膜，包括：

针对所述每个交互分割区域，将所述交互分割区域对应的先验矩阵、感兴趣分割图像和感兴趣分割掩膜输入至图像分割模型进行处理，输出交互分割概率图；所述交互分割概率图中的各像素点对应有分割预测概率；所述分割预测概率表示该像素点被预测为缺陷的概率；

根据所述各像素点对应的分割预测概率，确定所述各像素点对应的像素值；

根据所述各像素点对应的像素值，确定所述交互分割区域对应的初步交互分割标注掩膜；

根据所述各交互分割区域分别对应的初步交互分割标注掩膜，得到所述待分割图像的交互分割标注掩膜。

4.根据权利要求3所述的方法，其特征在于，所述根据所述各交互分割区域分别对应的初步交互分割标注掩膜，得到所述待分割图像的交互分割标注掩膜，包括：

针对所述每个交互分割区域对应的初步交互分割标注掩膜，确定所述初步交互分割标注掩膜中的目标边缘像素点；所述目标边缘像素点，是所述初步交互分割标注掩膜中分割预测概率位于预设的置信度范围内的边缘像素点；

确定所述初步交互分割标注掩膜中的非边缘像素点；

将所述各交互分割区域分别对应的目标边缘像素点的像素值，以及非边缘像素点的像素值映射到所述预设分割掩膜上，得到所述待分割图像的交互分割标注掩膜。

5.根据权利要求1所述的方法，其特征在于，所述响应在所述待分割图像上输入的触发点，控制所述交互分割框跟随所述触发点的移动而移动，包括：

响应在所述待分割图像上输入的触发点，确定所述触发点在所述待分割图像上的坐标，得到触发点坐标；

确定用于表征所述交互分割框的区域范围的坐标，得到区域坐标；

在根据所述触发点坐标和所述区域坐标确定所述触发点位于所述交互分割框之外的情况下，控制所述交互分割框移动到以所述触发点为中心的位置上。

6.根据权利要求1至5任一项所述的方法，其特征在于，在所述分别对所述各交互分割区域进行分割推理，得到所述待分割图像的交互分割标注结果之后，所述方法还包括：

将所述待分割图像的交互分割标注掩膜进行可视转换，得到内部可视状态掩膜和边缘可视状态掩膜；所述内部可视状态掩膜用于表征所述交互分割标注掩膜的内部区域；所述边缘可视状态掩膜用于表征所述交互分割标注掩膜的边缘轮廓；

响应于对所述内部可视状态掩膜和所述边缘可视状态掩膜进行编辑操作，对所述交互分割标注掩膜进行调整，得到调整后的交互分割标注掩膜。

7.根据权利要求6所述的方法，其特征在于，所述响应于对所述内部可视状态掩膜和所述边缘可视状态掩膜进行编辑操作，对所述交互分割标注掩膜进行调整，得到调整后的交互分割标注掩膜，包括以下至少一种处理：

在第一修改模式下，响应于针对所述内部可视状态掩膜进行的区域修改操作，对所述内部可视状态掩膜进行调整，得到调整后的内部可视状态掩膜；

在第二修改模式下，响应于针对所述边缘可视状态掩膜进行的线段修改操作，对所述边缘可视状态掩膜进行调整，得到调整后的边缘可视状态掩膜；

根据所述调整后的内部可视状态掩膜和所述调整后的边缘可视状态掩膜，得到调整后的交互分割标注掩膜。

8.一种交互式图像分割标注装置，其特征在于，包括：

区域框选模块，用于响应于参照待分割缺陷的属性参数对待分割图像进行的区域框选操作，确定位于所述待分割图像上的交互分割框；

移动跟随模块，用于响应在所述待分割图像上输入的触发点，控制所述交互分割框跟随所述触发点的移动而移动；

区域确定模块，用于根据所述交互分割框在移动前以及每次移动后分别在所述待分割图像中所覆盖的范围，确定各交互分割区域；所述交互分割区域为需要进行图像分割的区域；

分割标注模块，用于分别对所述各交互分割区域进行分割推理，得到所述待分割图像的交互分割标注结果。

9.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。