CN116612269A - 交互式分割标注方法、装置、计算机设备及存储介质 - Google Patents
交互式分割标注方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116612269A CN116612269A CN202310872170.8A CN202310872170A CN116612269A CN 116612269 A CN116612269 A CN 116612269A CN 202310872170 A CN202310872170 A CN 202310872170A CN 116612269 A CN116612269 A CN 116612269A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- image
- interaction
- segmented
- interactive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 322
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 161
- 238000002372 labelling Methods 0.000 title claims abstract description 99
- 230000003993 interaction Effects 0.000 claims abstract description 233
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000004044 response Effects 0.000 claims abstract description 19
- 238000003709 image segmentation Methods 0.000 claims description 54
- 230000007547 defect Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000009432 framing Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种交互式分割标注方法、装置、计算机设备及存储介质。方法包括：在框选标注模式下，响应于对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框；根据交互分割框在待分割图像上所覆盖的范围，确定交互分割区域；交互分割区域为需要对待分割图像进行分割标注的区域；响应在交互分割区域内标注的交互点，确定交互点的交互点类型信息和交互点位置信息；交互点类型信息，用于表征交互点是否是需要进行分割标注的像素点；根据交互点类型信息和交互点位置信息，对交互分割区域的图像内容进行分割标注，得到待分割图像的分割标注信息。采用本申请能够提高分割标注的效率。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种交互式分割标注方法、装置、计算机设备及存储介质。
背景技术
随着计算机视觉技术的快速发展，对图像进行分割标注是一个必不可少的环节。目前，主要是通过人工手动点击图像中的各个边缘像素点，以完成针对图像的分割标注。但是，在图像的轮廓复杂、边缘像素点多等的情况下，采用上述分割标注方式的效率很低。
发明内容
基于此，有必要针对上述技术问题，提供一种交互式分割标注方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，能够提高分割标注的效率。
第一方面，本申请提供了一种交互式分割标注方法，包括：
在框选标注模式下，响应于对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框；
根据交互分割框在待分割图像上所覆盖的范围，确定交互分割区域；交互分割区域为需要对待分割图像进行分割标注的区域；
响应在交互分割区域内标注的交互点，确定交互点的交互点类型信息和交互点位置信息；交互点类型信息，用于表征交互点是否是需要进行分割标注的像素点；
根据交互点类型信息和交互点位置信息，对交互分割区域的图像内容进行分割标注，得到待分割图像的分割标注信息。
第二方面，本申请提供了一种交互式分割标注装置，包括：
框选标注模块，用于在框选标注模式下，响应于对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框；
区域确定模块，用于根据交互分割框在待分割图像上所覆盖的范围，确定交互分割区域；交互分割区域为需要对待分割图像进行分割标注的区域；
信息确定模块，用于响应在交互分割区域内标注的交互点，确定交互点的交互点类型信息和交互点位置信息；交互点类型信息，用于表征对应类型的交互点是否是需要进行分割标注的像素点；
分割标注模块，用于根据交互点类型信息和交互点位置信息，对交互分割区域的图像内容进行分割标注，得到待分割图像的分割标注信息。
第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本上述的方法中的步骤。
上述交互式分割标注方法、装置、计算机设备、计算机可读存储介质及计算机程序产品，通过在框选标注模式下，响应于对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框；根据交互分割框在待分割图像上所覆盖的范围，确定需要对待分割图像进行分割标注的交互分割区域，以限缩后续对图像进行自动分割标注的范围，提高分割标注效率。响应在交互分割区域内标注的交互点，确定交互点的交互点类型信息和交互点位置信息。这样，就能够明确哪些交互点为需要被分割标注的像素点，而哪些交互点为不需要被分割标注的像素点，为后续自动对交互分割区域进行分割标注提供先验信息，这样就能够保证根据交互点类型信息和交互点位置信息，对交互分割区域的图像内容进行分割标注所得到的分割标注信息的准确性。也就是说，在本申请中，用户不需要再沿着待分割缺陷的边缘进行逐个像素点的标注，只需要执行区域框选以及标注交互点的简单交互操作就可以实现自动化的分割标注，提高了分割标注的效率。此外，在自动分割标注时，通过将交互点类型信息和交互点位置信息作为分割标注的先验信息，还能够提高分割标注的准确性。
附图说明
图1为本申请实施例提供的一种交互式分割标注方法的流程示意图；
图2为本申请实施例提供的另一种交互式分割标注方法的流程示意图；
图3为本申请实施例提供的一种交互式分割标注装置的结构框图；
图4为本申请实施例提供的一种计算机设备的内部结构图；
图5为本申请实施例提供的另一种计算机设备的内部结构图；
图6为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一些实施例中，如图1所示，提供了一种交互式分割标注方法，本实施例以该方法应用终端为例进行说明。可以理解的是，该方法可以由终端单独实现，也可以通过终端和服务器的交互实现。本实施例中，该方法包括但不限于包括以下步骤：
S202、在框选标注模式下，响应于对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框。
其中，待分割图像指的是存在缺陷、且需要将缺陷分割出来的图像。
框选标注模式，指的是以框选的方式在待分割图像上确定交互分割框的模式。区域框选操作，指的是通过框选的方式在待分割图像上确定出一个用于指定交互分割区域的交互分割框的操作。在一些实施例中，交互分割框可以是不规则的多边形，也可以是规则的多边形，比如矩形。
在一些实施例中，用户可以参照待分割图像中的待分割缺陷的属性参数，在待分割图像上框选合适的交互分割框。其中，待分割缺陷指的是在待分割图像上的缺陷，待分割缺陷的属性参数，指的是用于表征所述待分割缺陷的形状和大小的参数。
具体地，在对待分割图像进行分割标注之前，用户可以选定一个标注模式，若用户选定的模式是框选标注模式，则其可以在框选标注模式下，参照待分割缺陷的形状和大小，对待分割图像进行区域框选操作。终端则响应于该区域框选操作，确定用户在待分割图像上所框选的交互分割框。
S204、根据交互分割框在待分割图像上所覆盖的范围，确定交互分割区域。
其中，交互分割区域为需要对待分割图像进行分割标注的区域。
具体地，终端可以直接将交互分割框目前在待分割图像中所覆盖的范围，确定为交互分割区域。终端还可以将交互分割框移动前在待分割图像中所覆盖的范围，以及交互分割框每次移动后分别在待分割图像中所覆盖的范围，一并确定为交互分割区域。
S206、响应在交互分割区域内标注的交互点，确定交互点的交互点类型信息和交互点位置信息。
其中，交互点，指的是通过交互操作在交互分割区域中标注的像素点。交互点类型信息，用于表征交互点是否是需要进行分割标注的像素点。
在一些实施例中，用户可以通过在终端交互界面显示的交互分割区域上进行点击或者触摸操作，来标注对应的交互点。
具体地，在确定好交互分割区域之后，用户在交互分割区域上标注交互点，终端则响应于用户在交互分割区域上标注的交互点，获取对应交互点的交互点类型信息和交互点位置信息。
S208、根据交互点类型信息和交互点位置信息，对交互分割区域的图像内容进行分割标注，得到待分割图像的分割标注信息。
其中，分割标注指的是对交互分割区域的图像内容进行分割推理，并对分割推理得到的结果进行标注的过程。可以理解，分割推理用于预测交互分割区域中的哪些部分为缺陷。
具体地，终端将交互点类型信息和交互点位置信息作为模型推理的先验信息，通过图像分割模型对交互分割区域的图像内容进行分割推理，得到待分割图像的图像分割掩膜。终端对图像分割掩膜进行标注处理，得到待分割图像的分割标注信息。
需要说明的是，图像分割模型，指的是用于预测交互分割区域中的各像素点为缺陷的概率的模型。在工业领域中，图像分割模型则是工业通用的交互深度学习模型。
在一些实施例中，本申请可以提供两种预训练的图像分割模型供用户选择，根据模型的识别准确度和速度具体分为精确模式和流畅模式，用户可以根据自身电脑的配置选择不同的标注模式。其中，精确模式会加载大模型，其耗能和精度都比较高，流畅模式则会加载小模型，其耗能和精度都比较低。
可见，在本申请实施例中，通过在框选标注模式下，响应于对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框；根据交互分割框在待分割图像上所覆盖的范围，确定需要对待分割图像进行分割标注的交互分割区域，以限缩后续对图像进行自动分割标注的范围，提高分割标注效率。响应在交互分割区域内标注的交互点，确定交互点的交互点类型信息和交互点位置信息。这样，就能够明确哪些交互点为需要被分割标注的像素点，而哪些交互点为不需要被分割标注的像素点，为后续自动对交互分割区域进行分割标注提供先验信息，这样就能够保证根据交互点类型信息和交互点位置信息，对交互分割区域的图像内容进行分割标注所得到的分割标注信息的准确性。也就是说，在本申请中，用户不需要再沿着待分割缺陷的边缘进行逐个像素点的标注，只需要执行区域框选以及标注交互点的简单交互操作就可以实现自动化的分割标注，提高了分割标注的效率。此外，在自动分割标注时，通过将交互点类型信息和交互点位置信息作为分割标注的先验信息，还能够提高分割标注的准确性。
在一些实施例中，交互点类型信息包括正交互点类型和负交互点类型；正交互点类型对应的交互点为需要进行分割标注的像素点；负交互点类型对应的交互点为不需要进行分割标注的像素点；交互点位置信息包括正交互点坐标和负交互点坐标。步骤208包括：根据用于表征交互分割框的区域范围的多个区域坐标，对待分割图像进行裁剪处理，得到感兴趣图像；根据感兴趣图像、正交互点类型、正交互点坐标、负交互点类型和负交互点坐标，对交互分割区域进行分割推理，得到待分割图像的图像分割掩膜；对图像分割掩膜进行标注处理，得到待分割图像的分割标注信息。
其中，感兴趣图像指的是与相应交互分割区域的尺寸相同的图像。
在一些实施例中，可以通过不同的标注操作区分交互点具体的类型。比如，若用户点击鼠标左键，则左键点击到的像素点就是正交互点；若用户点击鼠标右键，则右键点击到的像素点就是负交互点。
具体地，终端确定用于表征交互分割框的区域范围的多个区域坐标。若交互分割框为矩形框，则终端可以确定交互分割区域左上顶点的像素坐标和右下顶点的像素坐标，得到区域坐标，或者确定交互分割区域左下顶点的像素坐标和右上顶点的像素坐标，得到区域坐标，或者确定任意三个顶点或四个顶点的像素坐标，得到区域坐标。终端根据区域坐标在待分割图像中定位交互分割区域，以对交互分割区域进行裁剪处理，得到感兴趣图像。终端将正交互点类型、正交互点坐标、负交互点类型和负交互点坐标作为模型推理的先验信息，通过图像分割模型对感兴趣图像的图像内容进行分割推理，得到至少一个交互分割区域分别对应的图像分割掩膜。根据至少一个交互分割区域分别对应的图像分割掩膜，确定待分割图像整体的分割掩膜，即待分割图像的图像分割掩膜。接着，终端对图像分割掩膜进行标注处理，得到待分割图像的分割标注信息。
可见，在本实施例中，通过用户在交互分割区域上标注交互点，给模型提供哪些像素点或者像素点所在区域很有可能是缺陷的先验信息，相比起传统技术中直接对整图进行分割推理的方式，能够更有效地提高分割推理的精度。
在一些实施例中，对感兴趣图像的图像内容进行分割推理包括三个部分，分别是前处理、模型推理以及后处理。其中，前处理和后处理底层利用C++实现，并利用Emscripten交叉编译工具将C++代码编译成Webassembly（Wasm），即可在网页运行的文件。模型推理部分则可以调用一些合适的深度学习推理框架来实现。其中，C++是一种计算机高级程序设计语言，由C语言扩展升级而产生。Emscripten是一种基于LLVM的编译器。Wasm是一种二进制格式，并且该二进制格式可以在大量操作系统和体系结构上运行。
在一些实施例中，前处理的过程包括：终端根据交互分割区域左上顶点的横坐标、左上顶点的纵坐标、交互分割区域的宽度和长度对交互分割区域进行裁剪处理，得到感兴趣图像。终端对感兴趣图像进行归一化处理，比如将感兴趣图像中的每个像素值除以255，得到归一化图像。终端按照预设缩放比例对归一化图像进行缩小处理，得到一定尺寸，比如得到256×256大小的缩小后图像。终端将缩小后图像从HWC格式转换成CHW格式，得到格式转换图像。终端处理所有的交互点信息，以筛选出所有在感兴趣区域内的交互点，同归一化图像缩放比例进行缩小，得到新的交互点。需要说明的是，进行缩放处理的目的是提高模型推理效率。
其中，HWC格式是指按照高度、宽度和通道数的顺序排列图像尺寸的格式。例如，一张形状为256×256×3的RGB图像，在HWC格式中表示为[256, 256, 3]。CHW格式是指按照通道数、高度和宽度的顺序排列图像尺寸的格式。例如，一张形状为3×256×256的RGB图像，在CHW格式中表示为[3, 256, 256]。可以理解，在计算机视觉和深度学习中，通常使用CHW格式表示图像尺寸。
在一些实施例中，模型推理的过程包括：终端将格式转换图像以及新的交互点一并输入至深度学习推理框架中进行分割推理，输出和交互分割区域等大的图像分割掩膜。
在一些实施例中，后处理的过程包括：终端将图像分割掩膜进行激活，即sigmod处理，并按照预设缩放比例将图像分割掩膜进行放大处理，得到放大后图像。将放大后图像映射到与待分割图像的图像尺寸相同的原始图像掩膜中，得到图像分割掩膜。
需要说明的是，在本申请中，可以将前处理和后处理都封装成接口，并与模型推理部分在前端串接起来。此外，为了提升性能，还可以对前处理和后处理部分进行优化，比如利用wasm向量指令集进行优化，使其运行速度更快。其中，指令集，是中央处理器（CentralProcessing Unit，CPU）中用来计算和控制计算机系统的一套指令的集合。向量指令集，是单指令流多数据流(Single InstructionMultiple Data，SIMD），一条指令能够同时处理多个数据。比如，前处理中的归一化步骤，是将图像中的每个像素值除以255，利用指令集后，则可以采用对应的指令一次性处理多个数据，即一次性就可以将多个像素值除以255。
可以理解，本申请通过上述方式实现了利用浏览器资源进行高效分割推理，保证了准确性，低延迟的同时，可以向无限量云端用户提供服务，而不产生额外的资源消耗。
在一些实施例中，待分割图像的分割标注信息包括至少一个目标区域和对应的分割标注信息；至少一个目标区域为在图像分割掩膜中被识别成前景的区域。步骤“对图像分割掩膜进行标注处理，得到待分割图像的分割标注信息”包括：在至少一个目标区域连通的情况下，则针对至少一个目标区域统一生成一个分割标注信息；在至少一个目标区域不连通的情况下，则针对各个目标区域分别生成各自对应的分割标注信息。
具体地，在分割完成后，用户可以在终端交互界面上进行标注确认操作，终端则响应于该标注确认操作，确定被识别成前景的一个或者多个目标区域。在目标区域连通的情况下，则只生成一个特征标注，即分割标注信息。在目标区域不连通的情况下，则针对各个目标区域分别生成多个相同名称的不同标注，得到各自对应的分割标注信息。
在一些实施例中，用户可以在终端交互界面上按enter键或者点击“确认标注”按钮，以完成标注确认操作。
可见，在本实施例中，终端可以根据目标区域的连通情况去针对性完成标注处理，能够灵活适用于不同的标注场合。
在一些实施例中，图像分割掩膜中包括被识别成前景的目标区域。在步骤“根据感兴趣图像、正交互点坐标和负交互点坐标，对交互分割区域进行分割推理，得到待分割图像的图像分割掩膜”之后，本申请的交互式分割标注方法还包括：响应于针对图像分割掩膜进行的区域编辑操作，对图像分割掩膜中的目标区域进行区域编辑处理，得到调整后的图像分割掩膜。
其中，区域编辑操作，指的是对内部区域进行区域填充或者区域擦除的操作。
具体地，在得到待分割图像的图像分割掩膜之后，终端将图像分割掩膜绘制在网页视图上，用户确定是否需要对当前的图像分割掩膜进行调整，如果用户需要对当前的图像分割掩膜进行调整，则可以对图像分割掩膜中的目标区域进行区域填充或者区域擦除操作，终端则响应于区域填充或者区域擦除操作，对图像分割掩膜中的目标区域进行调整，得到调整后的图像分割掩膜。
可见，在本实施例中，用户通过对自动分割的图像分割掩膜进行编辑，能够提高调整后的图像分割掩膜的质量。
在一些实施例中，若用户需要对图像分割掩膜进行画笔补充，则可以选择对应的画笔工具，并且确定画笔大小及颜色，通过设置好的画笔涂抹图像分割掩膜中的目标区域，得到调整后的图像分割掩膜。
在一些实施例中，若用户需要对图像分割掩膜进行擦除修正，则可以选择橡皮擦工具，并且确定橡皮擦的大小，通过设置好的橡皮擦来擦除目标区域，得到调整后的图像分割掩膜。
在一些实施例中，框选标注模式包括自定义框选标注模式和固定框选标注模式。步骤202包括以下至少一种：
在自定义框选标注模式下，响应于对待分割图像进行的自定义区域框选操作，确定位于待分割图像上自定义的交互分割框；
在固定框选标注模式下，响应于对预先生成的交互分割框进行的移动操作，确定移动后的交互分割框。
可见，在本实施例中，通过设置不同的框选方式，能够满足不同的框选需求，提高了标注的灵活性。
在一些实施例中，在固定框选标注模式下，终端会自动生成固定大小的交互分割框，比如256×256大小的交互分割框，并且默认为半透明状态跟随鼠标显示，用户可以通过移动鼠标从而实现对固定大小的交互分割框的移动。
在一些实施例中，步骤“在自定义框选标注模式下，响应于对待分割图像进行的自定义区域框选操作，确定位于待分割图像上自定义的交互分割框”包括以下至少一种：
在自定义框选标注模式下，响应于对待分割图像进行的至少一次自定义区域框选操作，确定执行最近一次自定义框选操作时自定义的交互分割框，以将自定义的交互分割框所覆盖的范围确定为需要进行分割标注的交互分割区域；
在自定义框选标注模式下，响应于在待分割图像上输入的触发点，控制原始自定义的交互分割框跟随触发点移动而移动，并将原始自定义的交互分割框和每次移动后的交互分割框所覆盖的范围确定为需要进行分割标注的交互分割区域。
其中，触发点，指的是通过交互，比如通过点击或者触摸在待分割图像中确定的像素点。
在一些实施例中，在自定义框选模式下，用户可以不勾选跟随鼠标。在这种情况下，用户可以直接在待分割图像中框选出能够覆盖待分割缺陷所在范围的自定义的交互分割框，若用户觉得自定义的交互分割框所在的位置不对，则还可以再次点击以移动该自定义的交互分割框，或者重新进行自定义框选，直至满意为止。
在另一些实施例中，在自定义框选模式下，用户可以勾选跟随鼠标。这是因为，待分割图像可能会存在有形状特殊的缺陷，比如细长类的缺陷，如果用户直接在待分割图像中框选出能够覆盖待分割缺陷所在范围的自定义的交互分割框，就会导致自定义的交互分割框与待分割缺陷的比例差距较大，从而影响分割标注的准确性。考虑到以上情况，在本申请中，用户可以先在待分割图像中框选能够覆盖一部分待分割缺陷所在范围的原始自定义的交互分割框，再输入触发点以移动原始自定义的交互分割框，通过不断输入触发点不断移动自定义的交互分割框，直到各移动前和移动后的自定义的交互分割框能够覆盖待分割缺陷的所有范围为止。
可见，在本实施例中，用户可以针对缺陷的具体情况，灵活性地选择以上任意一种自定义框选模式以确定需要进行分割标注的交互分割区域，满足了不同的分割标注需求。
在一些实施例中，若用户在自定义框选模式下勾选跟随鼠标，鼠标在移出自定义的交互分割框后，前置的自定义交互分割框则跟随鼠标半透明显示，点击后可再次生成同等大小的自定义交互分割框，并自动识别自定义交互分割框中的目标区域。
在一些实施例中，若用户在自定义框选模式下不勾选跟随鼠标，鼠标在移出自定义的交互分割框后，用户需要按住鼠标重新框选新的交互分割框，上一个交互分割框则清除，再在新的交互分割框内点击并识别目标区域。点击自定义的交互分割框外的区域，则无效果生成。
在一些实施例中，本申请的交互式分割标注方法还包括：在点选标注模式下，响应于对待分割图像中的待分割缺陷进行的点选标注操作，确定位于待分割缺陷上的多个目标交互点；根据多个目标交互点对待分割图像进行分割标注，得到待分割图像的分割标注信息。
具体地，在点选标注模式下，用户可以使用鼠标对待分割图像进行点击，比如点击待分割缺陷上的各个像素点，得到目标交互点。终端则根据多个交互点对待分割图像进行分割标注，以得到待分割图像的分割标注信息。
在一些实施例中，如图2所示，本申请的交互式分割标注方法具体包括：开始快速标注，确定标注模式。若选择点选标注，则点选目标区域，若选择固定框选标注，则跟随鼠标半透明显示固定范围框大小，并点选目标区域。若选择自定义框选标注，则框选标注范围，之后若勾选跟随鼠标，则跟随鼠标半透明显示固定范围框大小并点选目标区域，若勾选不跟随鼠标则再次框选标注范围并点选目标区域。在点选目标区域之后，确认是否需要画笔补充，若不需要画笔补充，则确认是否需要擦除修正，若不需要擦除修正，则确认标注。若需要画笔补充，则选择画笔工具、选择画笔大小及颜色，涂抹目标区域。若需要擦除修正，则选择橡皮擦工具、选择橡皮擦大小，擦除目标区域。在确认标注后，若mask连续，则生成一个特征一个标注，并在选择特征后结束标注。若mask不连续，则生成一个特征多个标注，并在选择特征后结束标注。
在一些实施例中，本申请的交互式分割标注方法具体还包括但不限于包括以下步骤：
（1）确定标注模式，在点选标注模式下，执行步骤（2），在自定义框选标注模式下，执行步骤（3）或（4），在固定框选标注模式下，执行步骤（5）。
（2）响应于对待分割图像中的待分割缺陷进行的点选标注操作，确定位于待分割缺陷上的多个目标交互点；根据多个目标交互点对待分割图像进行分割标注，得到待分割图像的分割标注信息。
（3）响应于对待分割图像进行的至少一次自定义区域框选操作，确定执行最近一次自定义框选操作时自定义的交互分割框，以将自定义的交互分割框所覆盖的范围确定为需要进行分割标注的交互分割区域，执行步骤（6）。
（4）响应于在待分割图像上输入的触发点，控制原始自定义的交互分割框跟随触发点移动而移动，并将原始自定义的交互分割框和每次移动后的交互分割框所覆盖的范围确定为需要进行分割标注的交互分割区域，执行步骤（6）。
（5）响应于对预先生成的交互分割框进行的移动操作，确定移动后的交互分割框，并将移动后的交互分割框所覆盖的范围确定为需要进行分割标注的交互分割区域，执行步骤（6）。
（6）响应在交互分割区域内标注的交互点，确定交互点的交互点类型信息和交互点位置信息。
（7）根据用于表征交互分割框的区域范围的多个区域坐标，对待分割图像进行裁剪处理，得到感兴趣图像。
（8）根据感兴趣图像、正交互点坐标和负交互点坐标，对交互分割区域进行分割推理，得到待分割图像的图像分割掩膜。若需要对图像分割掩膜进行调整，执行步骤（9），若不需要对图像分割区域掩膜进行调整，执行步骤（10）。
（9）响应于针对图像分割掩膜进行的区域编辑操作，对图像分割掩膜中的目标区域进行区域编辑处理，得到调整后的图像分割掩膜，执行步骤（10）。
（10）在至少一个目标区域连通的情况下，则针对至少一个目标区域统一生成一个分割标注信息；在至少一个目标区域不连通的情况下，则针对各个目标区域分别生成各自对应的分割标注信息。
需要说明的是，本申请提出一种快速标注工具，能够有效解决目前标注复杂轮廓的缺陷时，需要不断勾画目标区域而费时费力的问题，使分割标注更加快速，更加准确，为后续标注提供更加高效的标注方式。尤其是结合画笔及橡皮擦的使用，覆盖的标注场景更广，适用性更强。
应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种交互式分割标注装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个交互式分割标注装置实施例中的具体限定可以参见上文中对于交互式分割标注方法的限定，在此不再赘述。
如图3所示，本申请实施例提供了一种交互式分割标注装置300，包括：
框选标注模块302，用于在框选标注模式下，响应于对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框；
区域确定模块304，用于根据交互分割框在待分割图像上所覆盖的范围，确定交互分割区域；交互分割区域为需要对待分割图像进行分割标注的区域；
信息确定模块306，用于响应在交互分割区域内标注的交互点，确定交互点的交互点类型信息和交互点位置信息；交互点类型信息，用于表征对应类型的交互点是否是需要进行分割标注的像素点；
分割标注模块308，用于根据交互点类型信息和交互点位置信息，对交互分割区域的图像内容进行分割标注，得到待分割图像的分割标注信息。
上述交互式分割标注装置300，通过在框选标注模式下，响应于对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框；根据交互分割框在待分割图像上所覆盖的范围，确定需要对待分割图像进行分割标注的交互分割区域，以限缩后续对图像进行自动分割标注的范围，提高分割标注效率。响应在交互分割区域内标注的交互点，确定交互点的交互点类型信息和交互点位置信息。这样，就能够明确哪些交互点为需要被分割标注的像素点，而哪些交互点为不需要被分割标注的像素点，为后续自动对交互分割区域进行分割标注提供先验信息，这样就能够保证根据交互点类型信息和交互点位置信息，对交互分割区域的图像内容进行分割标注所得到的分割标注信息的准确性。也就是说，在本申请中，用户不需要再沿着待分割缺陷的边缘进行逐个像素点的标注，只需要执行区域框选以及标注交互点的简单交互操作就可以实现自动化的分割标注，提高了分割标注的效率。此外，在自动分割标注时，通过将交互点类型信息和交互点位置信息作为分割标注的先验信息，还能够提高分割标注的准确性。
在一些实施例中，交互点类型信息包括正交互点类型和负交互点类型；正交互点类型对应的交互点为需要进行分割标注的像素点；负交互点类型对应的交互点为不需要进行分割标注的像素点；交互点位置信息包括正交互点坐标和负交互点坐标。在根据交互点类型信息和交互点位置信息，对交互分割区域的图像内容进行分割标注，得到待分割图像的分割标注信息方面，分割标注模块308具体用于：根据用于表征交互分割框的区域范围的多个区域坐标，对待分割图像进行裁剪处理，得到感兴趣图像；根据感兴趣图像、正交互点类型、正交互点坐标、负交互点类型和负交互点坐标，对交互分割区域进行分割推理，得到待分割图像的图像分割掩膜；对图像分割掩膜进行标注处理，得到待分割图像的分割标注信息。
在一些实施例中，待分割图像的分割标注信息包括至少一个目标区域和对应的分割标注信息；至少一个目标区域为在图像分割掩膜中被识别成前景的区域。在对图像分割掩膜进行标注处理，得到待分割图像的分割标注信息方面，分割标注模块308具体用于：在至少一个目标区域连通的情况下，则针对至少一个目标区域统一生成一个分割标注信息；在至少一个目标区域不连通的情况下，则针对各个目标区域分别生成各自对应的分割标注信息。
在一些实施例中，图像分割掩膜中包括被识别成前景的目标区域。本申请的交互式分割标注装置300还包括区域编辑模块，区域编辑模块具体用于：响应于针对图像分割掩膜进行的区域编辑操作，对图像分割掩膜中的目标区域进行区域编辑处理，得到调整后的图像分割掩膜。
在一些实施例中，框选标注模式包括自定义框选标注模式和固定框选标注模式。在响应于对待分割图像进行的区域框选操作，确定位于待分割图像上的交互分割框方面，框选标注模块302具体用于：在自定义框选标注模式下，响应于对待分割图像进行的自定义区域框选操作，确定位于待分割图像上自定义的交互分割框；在固定框选标注模式下，响应于对预先生成的交互分割框进行的移动操作，确定移动后的交互分割框。
在一些实施例中，在响应于对待分割图像进行的自定义区域框选操作，确定位于待分割图像上自定义的交互分割框方面，框选标注模块302具体用于：在自定义框选标注模式下，响应于对待分割图像进行的至少一次自定义区域框选操作，确定执行最近一次自定义框选操作时自定义的交互分割框，以将自定义的交互分割框所覆盖的范围确定为需要进行分割标注的交互分割区域；在自定义框选标注模式下，响应于在待分割图像上输入的触发点，控制原始自定义的交互分割框跟随触发点移动而移动，并将原始自定义的交互分割框和每次移动后的交互分割框所覆盖的范围确定为需要进行分割标注的交互分割区域。
在一些实施例中，本申请的交互式分割标注装置300还包括点选标注模块，点选标注模块具体用于：在点选标注模式下，响应于对待分割图像中的待分割缺陷进行的点选标注操作，确定位于待分割缺陷上的多个目标交互点；根据多个目标交互点对待分割图像进行分割标注，得到待分割图像的分割标注信息。
上述交互式分割标注装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）及通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储与交互式分割标注相关的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的交互式分割标注方法中的步骤。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述的交互式分割标注方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4或图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中，如图6所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种交互式分割标注方法，其特征在于，包括：
在框选标注模式下，响应于对待分割图像进行的区域框选操作，确定位于所述待分割图像上的交互分割框；
根据所述交互分割框在所述待分割图像上所覆盖的范围，确定交互分割区域；所述交互分割区域为需要对所述待分割图像进行分割标注的区域；
响应在所述交互分割区域内标注的交互点，确定所述交互点的交互点类型信息和交互点位置信息；所述交互点类型信息，用于表征交互点是否是需要进行分割标注的像素点；
根据所述交互点类型信息和所述交互点位置信息，对所述交互分割区域的图像内容进行分割标注，得到所述待分割图像的分割标注信息。
2.根据权利要求1所述的方法，其特征在于，所述交互点类型信息包括正交互点类型和负交互点类型；所述正交互点类型对应的交互点为需要进行分割标注的像素点；所述负交互点类型对应的交互点为不需要进行分割标注的像素点；所述交互点位置信息包括正交互点坐标和负交互点坐标；所述根据所述交互点类型信息和所述交互点位置信息，对所述交互分割区域的图像内容进行分割标注，得到所述待分割图像的分割标注信息，包括：
根据用于表征所述交互分割框的区域范围的多个区域坐标，对所述待分割图像进行裁剪处理，得到感兴趣图像；
根据所述感兴趣图像、所述正交互点类型、所述正交互点坐标、所述负交互点类型和所述负交互点坐标，对所述交互分割区域进行分割推理，得到所述待分割图像的图像分割掩膜；
对所述图像分割掩膜进行标注处理，得到所述待分割图像的分割标注信息。
3.根据权利要求2所述的方法，其特征在于，所述待分割图像的分割标注信息包括至少一个目标区域和对应的分割标注信息；所述至少一个目标区域为在所述图像分割掩膜中被识别成前景的区域；所述对所述图像分割掩膜进行标注处理，得到所述待分割图像的分割标注信息，包括：
在所述至少一个目标区域连通的情况下，则针对所述至少一个目标区域统一生成一个分割标注信息；
在所述至少一个目标区域不连通的情况下，则针对各个目标区域分别生成各自对应的分割标注信息。
4.根据权利要求2所述的方法，其特征在于，在所述根据所述感兴趣图像、所述正交互点坐标和所述负交互点坐标，对所述交互分割区域进行分割推理，得到所述待分割图像的图像分割掩膜之后，所述方法还包括：
响应于针对所述图像分割掩膜进行的区域编辑操作，对所述图像分割掩膜中的目标区域进行区域编辑处理，得到调整后的图像分割掩膜。
5.根据权利要求1所述的方法，其特征在于，所述框选标注模式包括自定义框选标注模式和固定框选标注模式；所述在框选标注模式下，响应于对待分割图像进行的区域框选操作，确定位于所述待分割图像上的交互分割框，包括以下至少一种：
在所述自定义框选标注模式下，响应于对所述待分割图像进行的自定义区域框选操作，确定位于所述待分割图像上自定义的交互分割框；
在所述固定框选标注模式下，响应于对预先生成的交互分割框进行的移动操作，确定移动后的交互分割框。
6.根据权利要求5所述的方法，其特征在于，所述在所述自定义框选标注模式下，响应于对所述待分割图像进行的自定义区域框选操作，确定位于所述所述待分割图像上自定义的交互分割框，包括以下至少一种：
在所述自定义框选标注模式下，响应于对所述待分割图像进行的至少一次自定义区域框选操作，确定执行最近一次自定义框选操作时自定义的交互分割框，以将所述自定义的交互分割框所覆盖的范围确定为需要进行分割标注的交互分割区域；
在所述自定义框选标注模式下，响应于在所述待分割图像上输入的触发点，控制原始自定义的交互分割框跟随所述触发点移动而移动，并将所述原始自定义的交互分割框和每次移动后的交互分割框所覆盖的范围确定为需要进行分割标注的交互分割区域。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
在点选标注模式下，响应于对待分割图像中的待分割缺陷进行的点选标注操作，确定位于所述待分割缺陷上的多个目标交互点；
根据所述多个目标交互点对所述待分割图像进行分割标注，得到所述待分割图像的分割标注信息。
8.一种交互式分割标注装置，其特征在于，包括：
框选标注模块，用于在框选标注模式下，响应于对待分割图像进行的区域框选操作，确定位于所述待分割图像上的交互分割框；
区域确定模块，用于根据所述交互分割框在所述待分割图像上所覆盖的范围，确定交互分割区域；所述交互分割区域为需要对所述待分割图像进行分割标注的区域；
信息确定模块，用于响应在所述交互分割区域内标注的交互点，确定所述交互点的交互点类型信息和交互点位置信息；所述交互点类型信息，用于表征对应类型的交互点是否是需要进行分割标注的像素点；
分割标注模块，用于根据所述交互点类型信息和所述交互点位置信息，对所述交互分割区域的图像内容进行分割标注，得到所述待分割图像的分割标注信息。
9.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310872170.8A CN116612269B (zh) | 2023-07-17 | 2023-07-17 | 交互式分割标注方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310872170.8A CN116612269B (zh) | 2023-07-17 | 2023-07-17 | 交互式分割标注方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116612269A true CN116612269A (zh) | 2023-08-18 |
| CN116612269B CN116612269B (zh) | 2023-11-03 |
Family
ID=87680395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310872170.8A Active CN116612269B (zh) | 2023-07-17 | 2023-07-17 | 交互式分割标注方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116612269B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837194A (zh) * | 2021-09-23 | 2021-12-24 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理装置、电子设备以及存储介质 |
| WO2022134382A1 (zh) * | 2020-12-22 | 2022-06-30 | 深圳市慧鲤科技有限公司 | 图像分割方法及装置、电子设备和存储介质、计算机程序 |
| CN115965787A (zh) * | 2023-01-09 | 2023-04-14 | 中国人民解放军国防科技大学 | 一种遥感图像交互式分割方法、计算机设备及存储介质 |
| CN116310318A (zh) * | 2023-01-19 | 2023-06-23 | 腾讯科技（深圳）有限公司 | 交互式的图像分割方法、装置、计算机设备和存储介质 |
-
2023
- 2023-07-17 CN CN202310872170.8A patent/CN116612269B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022134382A1 (zh) * | 2020-12-22 | 2022-06-30 | 深圳市慧鲤科技有限公司 | 图像分割方法及装置、电子设备和存储介质、计算机程序 |
| CN113837194A (zh) * | 2021-09-23 | 2021-12-24 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理装置、电子设备以及存储介质 |
| CN115965787A (zh) * | 2023-01-09 | 2023-04-14 | 中国人民解放军国防科技大学 | 一种遥感图像交互式分割方法、计算机设备及存储介质 |
| CN116310318A (zh) * | 2023-01-19 | 2023-06-23 | 腾讯科技（深圳）有限公司 | 交互式的图像分割方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116612269B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11880977B2 (en) | Interactive image matting using neural networks | |
| WO2020192463A1 (zh) | 一种展示方法及装置 | |
| JP2020187736A (ja) | 地域的特徴を有する分類器学習のための学習データ生成方法およびそのシステム | |
| CN107578367B (zh) | 一种风格化图像的生成方法及装置 | |
| US20220044451A1 (en) | Method and device for image generation and colorization | |
| US11455752B2 (en) | Graphical element color diffusion techniques | |
| CN112100296B (zh) | 一种便于进行gis矢量数据编辑的gis系统 | |
| WO2023071861A1 (zh) | 数据可视化展示方法、装置、计算机设备和存储介质 | |
| CN111583379A (zh) | 虚拟模型的渲染方法、装置、存储介质与电子设备 | |
| CN110428504B (zh) | 文本图像合成方法、装置、计算机设备和存储介质 | |
| CN112799583B (zh) | 一种基于android平台的点位示意图绘制系统 | |
| US10573033B2 (en) | Selective editing of brushstrokes in a digital graphical image based on direction | |
| CN116612269B (zh) | 交互式分割标注方法、装置、计算机设备及存储介质 | |
| CN114565915B (zh) | 样本文本图像获取方法、文本识别模型训练方法和装置 | |
| CN111583264A (zh) | 图像分割网络的训练方法、图像分割方法和存储介质 | |
| CN116452756A (zh) | 三维场景局部自动化生成方法、装置、设备及存储介质 | |
| CN113610864B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112927321B (zh) | 基于神经网络的图像智能设计方法、装置、设备及存储介质 | |
| CN116664616B (zh) | 交互式图像分割标注方法、装置、计算机设备及存储介质 | |
| CN114797109A (zh) | 对象编辑方法、装置、电子设备和存储介质 | |
| Wang et al. | Curve-based image editing for product styling | |
| US20230100305A1 (en) | System and process for repainting of planar objects in video | |
| CN116452702B (zh) | 信息图表快速设计方法、装置、计算机设备和存储介质 | |
| CN115330974B (zh) | 一种三维字体实时建模渲染方法、系统、设备和介质 | |
| US20240126427A1 (en) | Constrained stroke editing for digital content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |