CN116580286A - 图像标注方法、装置、设备和存储介质 - Google Patents

图像标注方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116580286A
CN116580286A CN202310850471.0A CN202310850471A CN116580286A CN 116580286 A CN116580286 A CN 116580286A CN 202310850471 A CN202310850471 A CN 202310850471A CN 116580286 A CN116580286 A CN 116580286A
Authority
CN
China
Prior art keywords
labeling
target
image
pixel points
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310850471.0A
Other languages
English (en)
Other versions
CN116580286B (zh
Inventor
吴凯
江冠南
王智玉
束岸楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Contemporary Amperex Technology Co Ltd
Original Assignee
Contemporary Amperex Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Contemporary Amperex Technology Co Ltd filed Critical Contemporary Amperex Technology Co Ltd
Priority to CN202310850471.0A priority Critical patent/CN116580286B/zh
Publication of CN116580286A publication Critical patent/CN116580286A/zh
Application granted granted Critical
Publication of CN116580286B publication Critical patent/CN116580286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种图像标注方法、装置、设备和存储介质，方法包括：在图像标注工具中载入待标注的目标图像，并在基于图像标注工具检测到连续标注控件被触发的情况下，对标注光标在目标图像上的移动位置进行记录，得到光标移动路径。基于光标移动路径在目标图像上确定多个目标像素点，并对多个目标像素点进行一次性地标注处理，以基于多个目标像素点在目标图像中确定与图像标注工具中当前设置的标签对应的目标标注区域。本申请实施例可以便于标注人员通过一次连续标注操作从目标图像中选取多个目标像素点进行一次性地标注处理，减少了标注人员重复性的点击操作，从而可以提高标注效率。

Description

图像标注方法、装置、设备和存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像标注方法、装置、设备和存储介质。
背景技术
随着深度学习技术的发展，深度学习技术的应用也越来越广泛。其中，关于神经网络模型的训练是深度学习技术中非常重要的环节，会影响神经网络模型在应用阶段的准确性。
通常情况下，在神经网络模型的训练阶段需要大量的训练样本。例如，对于图像处理的神经网络模型，每个训练样本可以包括训练图像和对应的标签数据（或者称之为标注数据）。
相关技术中，标注人员在使用传统的标注工具对训练图像进行标注过程中，通常需要对训练图像进行多次重复性地点击操作。因此，相关技术的标注效率较低。
发明内容
鉴于上述问题，本申请提供一种图像标注方法、装置、设备和存储介质，能够解决相关技术中标注效率较低的问题。
第一方面，本申请提供了一种图像标注方法，方法包括：
在图像标注工具中载入待标注的目标图像；
在基于图像标注工具检测到连续标注控件被触发的情况下，对标注光标在目标图像上的移动位置进行记录，得到光标移动路径；
基于光标移动路径在目标图像上确定多个目标像素点；
对多个目标像素点进行一次性地标注处理，以基于多个目标像素点在目标图像中确定与图像标注工具中当前设置的标签对应的目标标注区域。
本申请实施例的技术方案中，通过基于图像标注工具中设置的连续标注控件，可以根据标注光标在目标图像上移动的光标移动路径，在目标图像上确定多个目标像素点，并对多个目标像素点进行一次性地标注处理得到目标标注区域，以便于标注人员可以通过一次连续标注操作从目标图像中选取多个目标像素点进行一次性地标注处理，减少了标注人员重复性的点击操作，从而可以提高标注效率。
在一些实施例中，基于光标移动路径在目标图像上确定多个目标像素点，包括：
确定连续标注控件对应的标注图形的图形类型；
基于光标移动路径在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点。
本申请实施例的技术方案中，通过基于图像标注工具中设置的连续标注控件，可以根据光标移动路径在目标图像上确定位于目标标注图形内的多个目标像素点，以便于标注人员可以在目标图像上选择任意一个目标标注图形，以利用预设标注分割模型可以对目标标注图形内的多个目标像素点进行一次性地标注处理，不仅可以减少标注人员重复性的点击操作，而且还可以提升分割模型的推理速度，从而可以提高标注效率。
在一些实施例中，连续标注控件包括框选控件，框选控件对应的图形类型为框形类型；基于光标移动路径在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点，包括：
在连续标注控件为框选控件的情况下，基于光标移动路径在目标图像上确定与框形类型对应的框形标注图形，并将框形标注图形内的像素点作为多个目标像素点。
本申请实施例的技术方案中，通过基于图像标注工具中设置的框选控件，可以根据标注光标在目标图像上移动的光标移动路径，在目标图像上确定位于框形标注图形内的多个目标像素点，以便于标注人员可以在目标图像上框出一个任意大小的框形标注图形，以利用预设标注分割模型可以对框形标注图形内的多个目标像素点进行一次性地标注处理，不仅可以减少标注人员重复性的点击操作，还可以达到精细化标注效果，提升预设标注分割模型的推理速度，从而可以提高标注效率。
在一些实施例中，连续标注控件包括画线控件，画线控件对应的图形类型为至少一条直线组成的线形类型；基于光标移动路径在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点，包括：
在连续标注控件为画线控件的情况下，基于光标移动路径在目标图像上确定与线形类型对应的线形标注图形，并将线形标注图形内的像素点作为多个目标像素点。
本申请实施例的技术方案中，通过基于图像标注工具中设置的画线控件，可以根据标注光标在目标图像上移动的光标移动路径，在目标图像上确定位于线形标注图形上的多个目标像素点，以便于标注人员可以在目标图像上选择任意一条线形标注图形，以利用预设标注分割模型可以对特定的线形标注图形上的多个目标像素点进行一次性地标注处理，可以减少标注人员重复性的点击操作，极大地提升标注人员的标注效率，以便于标注人员可以对待标注图像的某一区域进行快速地标注。
在一些实施例中，连续标注控件包括涂鸦控件，涂鸦控件对应的图形类型为曲线类型；基于光标移动路径在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点，包括：
在连续标注控件为涂鸦控件的情况下，基于光标移动路径在目标图像上确定与曲线类型对应的曲线形标注图形，并将曲线形标注图形内的像素点作为多个目标像素点。
本申请实施例的技术方案中，通过基于图像标注工具中设置的涂鸦控件，可以根据标注光标在目标图像上移动的光标移动路径，在目标图像上确定位于曲线形标注图形上的多个目标像素点，以便于标注人员可以在目标图像上选择任意一条曲线形标注图形，以利用预设标注分割模型可以对曲线形标注图形上的多个目标像素点进行一次性地标注处理，可以减少标注人员重复性的点击操作，极大地提升标注人员的标注效率，以便于标注人员可以对待标注图像的某一区域进行快速地标注。
在一些实施例中，基于光标移动路径在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点，包括：
确定与连续标注控件对应的目标槽函数；
基于光标移动路径利用目标槽函数在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点。
在一些实施例中，方法还包括：
在基于图像标注工具检测到退出标注控件被触发的情况下，结束当前的连续标注操作，便于在标注用户需要更换为其他类型的标注操作的情况下，可以及时地结束当前的连续标注操作。
在一些实施例中，方法还包括：
在基于图像标注工具检测到重新标注控件被触发的情况下，重新开启连续标注操作，便于标注用户在连续标注操作不当等情况下，可以及时地重新开启连续标注操作。
在一些实施例中，方法还包括：
在基于图像标注工具检测到屏蔽标注控件被触发的情况下，隐藏目标图像中的历史标注区域，以便于标注人员可以专注于当前的标注操作，以及方便检查当前的标注操作的合理性，从而不仅可以提高标注人员的标注效率，还可以提高标注人员的标注质量。
在一些实施例中，方法还包括：
在基于图像标注工具检测到擦除标注控件被触发的情况下，将目标图像中的历史标注区域中擦除光标在移动过程中途经的位置区域删除，以便于标注人员可以灵活地对历史标注区域进行调整，以得到符合要求的标注区域。
在一些实施例中，对多个目标像素点进行一次性地标注处理，以基于多个目标像素点在目标图像中确定与图像标注工具中当前设置的标签对应的目标标注区域，包括：
将多个目标像素点输入预设标注分割模型，得到预设标注分割模型输出的目标标注区域的指示信息；
根据目标标注区域的指示信息确定目标标注区域。
在一些实施例中，对多个目标像素点进行一次性地标注处理，以基于多个目标像素点在目标图像中确定与图像标注工具中当前设置的标签对应的目标标注区域，包括：
将多个目标像素点发送给服务器；
接收服务器返回的目标标注区域的指示信息，并根据目标标注区域的指示信息确定目标标注区域；其中，目标标注区域的指示信息为服务器根据多个目标像素点和预设标注分割模型得到的指示信息。
在一些实施例中，对标注光标在目标图像上的移动位置进行记录，得到光标移动路径，包括：
基于图像标注工具中画布上的光标信号，对标注光标在目标图像上的移动位置进行记录，得到光标移动路径。
第二方面，本申请提供了一种图像标注装置，装置包括：
载入模块，用于在图像标注工具中载入待标注的目标图像；
记录模块，用于在基于图像标注工具检测到连续标注控件被触发的情况下，对标注光标在目标图像上的移动位置进行记录，得到光标移动路径；
确定模块，用于基于光标移动路径在目标图像上确定多个目标像素点；
处理模块，用于对多个目标像素点进行一次性地标注处理，以基于多个目标像素点在目标图像中确定与图像标注工具中当前设置的标签对应的目标标注区域。
第三方面，本申请提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述图像标注方法实施例中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述图像标注方法实施例中的步骤。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读对下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在全部附图中，用相同的附图标号表示相同的部件。在附图中：
图1为本申请实施例提供的应用环境的示意图；
图2为本申请一些实施例提供图像标注方法的流程示意图；
图3为本申请一些实施例提供的多个目标像素点的确定方法的流程示意图；
图4为本申请另一些实施例提供的图像标注方法的流程示意图；
图5为本申请实施例提供的图像标注工具的初始页面的示意图；
图6为本申请实施例提供的图像标注工具中载入目标图像的示意图；
图7为本申请实施例提供的单次点击操作情况下对应的标注区域的示意图；
图8为本申请实施例提供的框选控件被触发的情况下的目标标注图形的示意图；
图9为本申请实施例提供的画线控件被触发的情况下的目标标注图形的示意图；
图10为本申请实施例提供的涂鸦控件被触发的情况下的目标标注图形的示意图；
图11为本申请一些实施例提供的图像标注装置的结构示意图；
图12为本申请一些实施例中电子设备的结构示意图。
具体实施方式
下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”以及它的任何变形，意图在于覆盖不排他的包含。
在本申请实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中，“多个”的含义是两个以上（包括两个），除非另有明确具体的限定。
本申请实施例提供的图像标注方法、装置、设备和存储介质，可以应用于神经网络模型的训练图像对应的图像标注应用场景；当然，还可以应用于其它应用场景。
随着深度学习技术的发展，深度学习技术的应用也越来越广泛。在生产电池的过程中，深度学习技术被广泛的应用到生产线中。其中，关于神经网络模型的训练是深度学习技术中非常重要的环节，会影响神经网络模型在应用阶段的准确性。
由于在大数据的前提下，在数量可观的训练集下，可以看到神经网络的稳定性领先于其他算法，因此，在神经网络模型的训练阶段需要大量的训练样本。例如，对于图像处理的神经网络模型，每个训练样本可以包括训练图像和对应的标签数据（或者称之为标注数据）；其中，标注数据是神经网络模型的训练阶段的最重要的环节。
相关技术中，标注人员在使用传统的标注工具（例如，EISeg标注工具）对训练图像进行标注过程中，通常需要对训练图像进行多次重复性地点击操作。
其中，高效交互式分割（Efficient Interactive Segmentation，EISeg）标注工具是一款开源的标注工具，但它仅包含基本的点击标注功能，会导致标注人员重复大量的点击操作，从而降低了标注人员的标注效率，不能满足标注人员的需求。
为了解决相关技术的标注效率较低的问题，本申请实施例提出通过基于图像标注工具中设置的连续标注控件处于触发状态下，可以根据标注光标在待标注的目标图像上移动的光标移动路径，从目标图像上确定多个目标像素点，并对多个目标像素点进行一次性地标注处理，以便于标注人员可以通过一次连续标注操作从目标图像中选取多个目标像素点进行一次性地标注处理，减少了标注人员重复性的点击操作，可以提高标注人员的标注效率，从而可以一定程度上满足标注人员的标注需求。
图1为本申请实施例提供的应用环境的示意图，如图1所示，本申请实施例的应用环境中可以包括但不限于：标注人员的电子设备10和服务器11。需要说明的是，电子设备10中可以安装有图像标注工具，服务器11可以为图像标注工具对应的远程服务器。
应理解，电子设备10可以采用本申请实施例提供的图像标注方法进行图像标注。
一种可能的实现方式中，电子设备10可以预先从服务器11下载预设标注分割模型，以便于电子设备10在待标注的目标图像上确定多个目标像素点的情况下，可以利用预设标注分割模型对多个目标像素点进行一次性地标注处理。其中，预设标注分割模型可以包括但不限于预设交互式标注分割模型。
另一种可能的实现方式中，若电子设备10未预先从服务器11下载预设标注分割模型，电子设备10可以在待标注的目标图像上确定多个目标像素点的情况下，可以将多个目标像素点发送给服务器11，以供服务器11利用预设标注分割模型对多个目标像素点进行一次性地标注处理，并向电子设备10返回标注区域的指示信息。
在一些实施例中，图2为本申请一些实施例提供图像标注方法的流程示意图，本申请实施例中以该方法应用于图1中的电子设备为例进行说明。如图2所示，本申请实施例的方法可以包括以下步骤：
步骤S201、在图像标注工具中载入待标注的目标图像。
本申请实施例中涉及的图像标注工具中设置有连续标注控件，其中，连续标注控件被触发的情况下，标注人员可以通过控制标注光标在目标图像上移动的方式提取到目标图像上的多个目标像素点，其中，目标像素点用于进行标注处理。
一种可能的实现方式中，电子设备在检测到图像标注工具中的文件加载控件被触发的情况下，可以显示文件列表，以便于标注人员可以从文件列表中选择目标文件。进一步地，电子设备可以显示目标文件中的每个图像对应的图像信息，以便于标注人员根据每个图像对应的图像信息选择目标图像对应的图像信息；其中，任意图像对应的图像信息可以包括但不限于：该图像对应的缩略图、名称、类型、存储位置中的至少一项。进一步地，电子设备根据目标图像对应的图像信息可以在图像标注工具中载入待标注的目标图像。
另一种可能的实现方式中，电子设备可以在检测到满足预设触发条件的情况下，可以在图像标注工具中自动地载入待标注的目标图像，其中，预设触发条件可以包括但不限于：接收到其他设备发送的目标图像，或者到达预设时间点。
当然，本步骤中，电子设备还可以通过其他方式在图像标注工具中载入待标注的目标图像。
步骤S202、在基于图像标注工具检测到连续标注控件被触发的情况下，对标注光标在目标图像上的移动位置进行记录，得到光标移动路径。
本申请实施例中的连续标注控件可以包括但不限于以下至少一项：框选标注控件（或者简称为框选控件）、画线标注控件（或者简称为画线控件）、涂鸦标注控件（或者简称为涂鸦控件）。其中，框选控件可以用于将目标图像上的目标框形标注图形内的像素点作为多个目标像素点，画线控件可以用于将目标图像上的目标线形标注图形内的像素点作为多个目标像素点，涂鸦控件可以用于将目标图像上的目标曲线形标注图形内的像素点作为多个目标像素点。
本步骤中，电子设备在基于图像标注工具检测到连续标注控件被触发的情况下，可以对标注光标在目标图像上的移动位置进行记录，从而得到光标移动路径，其中，光标移动路径可以包括但不限于：标注光标的起始位置信息、标注光标的终止位置信息，和/或，标注光标途经的位置信息。
示例性地，标注人员可以通过持续按压输入装置并移动输入装置的方式，可以使得标注光标在目标图像上移动，其中，输入装置可以包括但不限于鼠标或者触控笔。
例如，标注人员可以通过持续按压鼠标并拖拽鼠标移动的方式，可以使得标注光标在目标图像上移动。
又一示例性地，标注人员可以通过手指以一定压力触摸电子设备的显示屏并移动手指的方式，可以使得标注光标在目标图像上移动。
当然，还可以通过其他方式使得标注光标在目标图像上移动。
一种可能的实现方式中，电子设备可以基于图像标注工具中画布（scene）上的光标信号，对标注光标在目标图像上的移动位置进行记录，得到光标移动路径，其中，光标信号用于记录标注光标在目标图像上移动的位置信息。示例性地，光标信号可以包括但不限于：释放信号（release signal）或涂鸦点信号（scrawl points signal）。
例如，在连续标注控件为框选控件的情况下，标注人员可以通过持续按压鼠标并移动鼠标的方式，可以使得标注光标在目标图像上移动，以在目标图像上绘制出框形标注图形。在这个过程中，电子设备基于图像标注工具中画布上的释放信号（release signal），可以记录标注光标在目标图像上移动的位置信息，其中，位置信息可以包括但不限于：标注人员开始按压鼠标时的位置信息（或者称之为标注光标的起始位置信息）、鼠标处于按压状态下的移动位置信息（或者称之为标注光标途经的位置信息）和标注人员释放鼠标时的位置信息（或者称之为标注光标的终止位置信息）。
又例如，在连续标注控件为画线控件的情况下，标注人员可以通过持续按压鼠标并移动鼠标的方式，可以使得标注光标在目标图像上移动，以在目标图像上绘制出至少一条直线组成的线形标注图形。在这个过程中，电子设备基于图像标注工具中画布上的释放信号（release signal），可以记录标注光标在目标图像上移动的位置信息，其中，位置信息可以包括但不限于：标注人员开始按压鼠标时的位置信息、鼠标处于按压状态下的移动位置信息和标注人员释放鼠标时的位置信息。
应理解，在线形标注图形包括多条直线的情况下，本申请实施例中的线形标注图形也可以称之为折线形标注图形。
又例如，在连续标注控件为涂鸦控件的情况下，标注人员可以通过持续按压鼠标并移动鼠标的方式，可以使得标注光标在目标图像上移动，以在目标图像上绘制出曲线形标注图形。在这个过程中，电子设备基于图像标注工具中画布上的涂鸦点信号（scrawlpoints signal），可以记录标注光标在目标图像上移动的位置信息，其中，位置信息可以包括但不限于：标注人员开始按压鼠标时的位置信息、鼠标处于按压状态下的移动位置信息和标注人员释放鼠标时的位置信息。
应理解，本申请实施例中的曲线形标注图形的线条宽度通常会大于线形标注图形中的线条宽度。
另一种可能的实现方式中，电子设备可以根据显示屏的触点检测信号，对标注光标在目标图像上的移动位置进行记录，得到光标移动路径。
当然，电子设备还可以通过其他方式对标注光标在目标图像上的移动位置进行记录，得到光标移动路径。
步骤S203、基于光标移动路径在目标图像上确定多个目标像素点。
本步骤中，电子设备可以基于上述步骤S202中得到的光标移动路径在目标图像上确定多个目标像素点，其中，多个目标像素点用于进行一次性地标注处理，即同时输入预设标注分割模型。
示例性地，多个目标像素点可以标注人员通过一次连续标注操作从目标图像上选取的像素点；其中，连续标注操作可以包括但不限于：框选标注操作、画线标注操作，或者涂鸦标注操作。
一种可能的实现方式中，电子设备可以将目标图像上位于光标移动路径上的所有像素点作为多个目标像素点。
另一种可能的实现方式中，电子设备可以根据光标移动路径确定对应的预设选择区域，并将预设选择区域内的所有像素点作为多个目标像素点，其中，预设选择区域可以包括但不限于圆形区域、矩形区域或者多边形区域，预设选择区域的尺寸与光标移动路径的长度相关。
例如，假设光标移动路径的长度为10厘米，预设选择区域为矩形区域，则电子设备可以将光标移动路径的长度作为矩形区域的对角线长度得到对应的矩形区域。
又例如，假设光标移动路径的长度为10厘米，预设选择区域为圆形区域，则电子设备可以将光标移动路径的长度作为圆形区域的直径长度得到对应的圆形区域。
又例如，假设光标移动路径的长度为10厘米，预设选择区域为多边形区域，则电子设备可以将光标移动路径的长度作为周长得到对应的多边形区域。
当然，电子设备基于光标移动路径，还可以通过其他方式在目标图像上确定多个目标像素点。
步骤S204、对多个目标像素点进行一次性地标注处理，以基于多个目标像素点在目标图像中确定与图像标注工具中当前设置的标签对应的目标标注区域。
本步骤中，电子设备对多个目标像素点进行一次性地标注处理，以基于多个目标像素点在目标图像中确定与图像标注工具中当前设置的标签对应的目标标注区域。
一种可能的实现方式中，将多个目标像素点输入预设标注分割模型，得到预设标注分割模型输出的目标标注区域的指示信息；根据目标标注区域的指示信息确定目标标注区域。
本实现方式中，若电子设备预先从服务器下载了预设标注分割模型，则电子设备可以将多个目标像素点一次性地输入预设标注分割模型进行推理，得到预设标注分割模型输出的目标标注区域的指示信息，并根据目标标注区域的指示信息在目标图像中确定目标标注区域，其中，目标标注区域的指示信息可以包括但不限于：目标标注区域对应的边界框的位置信息和分割信息。
可见，本实现方式中，电子设备通过将多个目标像素点一次性地输入本地的预设标注分割模型进行推理的方式，不仅可以减少标注人员重复性的点击操作，而且无需与服务器交互，可以节省一些数据传输时长，从而有利于提高标注人员的标注效率。
需要说明的是，在电子设备预先从服务器下载了多种类型的标注分割模型的情况下，本申请实施例中涉及的预设标注分割模型可以为电子设备预先指定的模型，或者，可以为标注人员基于图像标注工具中的加载网络参数控件指定的模型。
另一种可能的实现方式中，将多个目标像素点发送给服务器；接收服务器返回的目标标注区域的指示信息，并根据目标标注区域的指示信息确定目标标注区域；其中，目标标注区域的指示信息为服务器根据多个目标像素点和预设标注分割模型得到的指示信息。
本实现方式中，若电子设备未预先从服务器下载了预设标注分割模型，则电子设备可以将多个目标像素点发送给服务器，以使服务器将多个目标像素点一次性地输入预设标注分割模型进行推理，得到目标标注区域的指示信息，并将目标标注区域的指示信息返回给电子设备。进一步地，电子设备可以根据目标标注区域的指示信息在目标图像中确定目标标注区域。
示例性地，电子设备可以通过套接字（Socket）连接将多个目标像素点发送给服务器，以调用服务器的图形处理器（graphics processing unit，GPU）利用预设标注分割模型进行推理，其中，由预设检测算法流程（pipeline）对目标图像进行推理。应理解，预设检测算法流程可以表示在外接程序与主机之间交换数据的管线段的线性通信模型。
进一步地，服务器还可以将目标标注区域的指示信息以JS对象简谱（Java ScriptObject Notation，JSON）格式文件或COCO（Common Objects in Context）格式文件通过Socket连接返回给电子设备；当然，服务器还可以将指示信息以其他文件格式返回给电子设备。
当然，电子设备还可以通过其它方式与服务器进行信息传输。
可见，本实现方式中，电子设备通过将多个目标像素点发送给服务器，以使服务器将多个目标像素点一次性地输入预设标注分割模型进行推理的方式，不仅可以减少标注人员重复性的点击操作，而且由于服务器的处理能力比较强，因此，可以提高预设标注分割模型的推理效率，从而有利于提高标注人员的标注效率。
需要说明的是，在服务器中包括多种类型的标注分割模型的情况下，本申请实施例中涉及的预设标注分割模型可以为服务器预先指定的模型，或者，可以为标注人员基于图像标注工具中的加载网络参数控件向服务器指定的模型
上述图像标注方法、装置、设备和存储介质，通过在图像标注工具中载入待标注的目标图像，并在基于图像标注工具检测到连续标注控件被触发的情况下，对标注光标在目标图像上的移动位置进行记录，得到光标移动路径。进一步地，基于光标移动路径在目标图像上确定多个目标像素点，并对多个目标像素点进行一次性地标注处理，以基于多个目标像素点在目标图像中确定与图像标注工具中当前设置的标签对应的目标标注区域。可见，本申请实施例中，通过基于图像标注工具中设置的连续标注控件处于触发状态下，可以根据标注光标在目标图像上移动的光标移动路径，在目标图像上确定多个目标像素点，并对多个目标像素点进行一次性地标注处理得到目标标注区域，以便于标注人员可以通过一次连续标注操作从目标图像中选取多个目标像素点进行一次性地标注处理，减少了标注人员重复性的点击操作，从而可以提高标注效率。
在一些实施例中，图3为本申请一些实施例提供的多个目标像素点的确定方法的流程示意图，在上述实施例的基础上，本申请实施例对上述步骤S203中“基于光标移动路径在目标图像上确定多个目标像素点”的相关内容进行介绍。如图3所示，上述步骤S203可以包括以下步骤：
步骤S2031、确定连续标注控件对应的标注图形的图形类型。
本步骤中，电子设备可以根据被触发的连续标注控件，确定连续标注控件对应的标注图形的图形类型。
示例性地，电子设备可以根据被触发的连续标注控件的控件标识查询预设控件的标注图形类型库，确定连续标注控件对应的标注图形的图形类型，其中，预设控件的标注图形类型库中可以包括不同连续标注控件的控件标识与对应的标注图形的图形类型之间的对应关系。
示例性地，若连续标注控件为框选控件，则电子设备可以根据框选控件的第一控件标识查询预设控件的标注图形类型库，将与第一控件标识对应的标注图形的图形类型作为框选控件对应的标注图形的图形类型，其中，框选控件对应的标注图形的图形类型为框形类型，框形类型可以包括但不限于圆形框形类型、矩形框形类型或者多边形框形类型。
又一示例性地，若连续标注控件为画线控件，则电子设备可以根据画线控件的第二控件标识查询预设控件的标注图形类型库，将与第二控件标识对应的标注图形的图形类型作为画线控件对应的标注图形的图形类型，其中，画线控件对应的标注图形的图形类型为至少一条直线组成的线形类型。
又一示例性地，若连续标注控件为涂鸦控件，则电子设备可以根据涂鸦控件的第三控件标识查询预设控件的标注图形类型库，将与第三控件标识对应的标注图形的图形类型作为涂鸦控件对应的标注图形的图形类型，其中，涂鸦控件对应的标注图形的图形类型为曲线类型。
步骤S2032、基于光标移动路径在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点。
本步骤中，电子设备可以基于光标移动路径在目标图像上确定与连续标注控件的标注图形的图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点，以便于利用预设标注分割模型可以对多个目标像素点进行一次性地标注处理。
示例性地，目标标注图形可以包括但不限于目标框形标注图形、目标线形标注图形，或者目标曲线形标注图形。
可选地，电子设备可以确定与连续标注控件对应的目标槽函数，并基于光标移动路径利用目标槽函数在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点。
示例性地，电子设备可以根据被触发的连续标注控件的控件标识查询预设控件的槽函数库，确定连续标注控件对应的目标槽函数，其中，预设控件的槽函数库中可以包括不同连续标注控件的控件标识与对应的槽函数之间的对应关系。
例如，预设控件的槽函数库中可以包括：框选控件的第一控件标识与对应的槽函数boxOutImage之间的对应关系、画线控件的第二控件标识与对应的槽函数lineClickImage之间的对应关系，以及涂鸦控件的第三控件标识与对应的槽函数scrawlImage之间的对应关系。
本申请实施例中，电子设备在检测到标注光标移动结束的情况下，会将标注光标在目标图像上的光标移动路径传送给连续标注控件对应的目标槽函数。示例性地，电子设备在检测到标注人员释放鼠标的情况下，电子设备可以将光标信号记录的标注光标在目标图像上移动的位置信息传送给连续标注控件对应的目标槽函数。
一种可能的实现方式中，若连续标注控件包括框选控件，框选控件对应的图形类型为框形类型，上述步骤S2032可以包括：在连续标注控件为框选控件的情况下，基于光标移动路径在目标图像上确定与框形类型对应的框形标注图形，并将框形标注图形内的像素点作为多个目标像素点。
本实现方式中，在连续标注控件为框选控件的情况下，电子设备可以基于光标移动路径在目标图像上确定与框形类型对应的框形标注图形（或者称之为目标框形标注图形），并将框形标注图形内的像素点作为多个目标像素点，以便于利用预设标注分割模型可以对多个目标像素点进行一次性地标注处理。
例如，电子设备可以基于光标移动路径中的起始位置信息、光标移动路径中途经的位置信息和光标移动路径中的终止位置信息，利用目标槽函数boxOutImage在目标图像上确定与框形类型对应的框形标注图形，并将框形标注图形内的像素点作为多个目标像素点。
可见，相对于相关技术中将整个待推理图像输入分割模型进行推理的方式，本实现方式中，通过基于图像标注工具中设置的框选控件，可以根据标注光标在目标图像上移动的光标移动路径，在目标图像上确定位于框形标注图形内的多个目标像素点，以便于标注人员可以在目标图像上框出一个任意大小的框形标注图形，以利用预设标注分割模型可以对框形标注图形内的多个目标像素点进行一次性地标注处理，不仅可以减少标注人员重复性的点击操作，还可以达到精细化标注效果，提升预设标注分割模型的推理速度，从而可以提高标注效率。
另一种可能的实现方式中，若连续标注控件包括画线控件，画线控件对应的图形类型为至少一条直线组成的线形类型，上述步骤S2032可以包括：在连续标注控件为画线控件的情况下，基于光标移动路径在目标图像上确定与线形类型对应的线形标注图形，并将线形标注图形内的像素点作为多个目标像素点。
本实现方式中，在连续标注控件为画线控件的情况下，电子设备可以基于光标移动路径在目标图像上确定与线形类型对应的线形标注图形（或者称之为目标线形标注图形），并将线形标注图形内的像素点作为多个目标像素点，以便于利用预设标注分割模型可以对多个目标像素点进行一次性地标注处理。
应理解，在线形标注图形包括多条直线的情况下，本申请实施例中的线形标注图形也可以称之为折线形标注图形。
例如，电子设备可以基于光标移动路径中的起始位置信息、光标移动路径中途经的位置信息和终止位置信息，利用目标槽函数lineClickImage在目标图像上确定与线形类型对应的线形标注图形，并将线形标注图形内的像素点作为多个目标像素点。
可见，本实现方式中，通过基于图像标注工具中设置的画线控件，可以根据标注光标在目标图像上移动的光标移动路径，在目标图像上确定位于线形标注图形上的多个目标像素点，以便于标注人员可以在目标图像上选择任意一条线形标注图形，以利用预设标注分割模型可以对特定的线形标注图形上的多个目标像素点进行一次性地标注处理，可以减少标注人员重复性的点击操作，极大地提升标注人员的标注效率，以便于标注人员可以对待标注图像的某一区域进行快速地标注。
另一种可能的实现方式中，若连续标注控件包括涂鸦控件，涂鸦控件对应的图形类型为曲线类型，上述步骤S2032可以包括：在连续标注控件为涂鸦控件的情况下，基于光标移动路径在目标图像上确定与曲线类型对应的曲线形标注图形，并将曲线形标注图形内的像素点作为多个目标像素点。
本实现方式中，在连续标注控件为涂鸦控件的情况下，电子设备可以基于光标移动路径在目标图像上确定与曲线类型对应的曲线形标注图形（或者称之为目标曲线形标注图形），并将曲线形标注图形内的像素点作为多个目标像素点，以便于利用预设标注分割模型可以对多个目标像素点进行一次性地标注处理。
例如，电子设备可以基于光标移动路径中的起始位置信息、终止位置信息和标注光标途经的位置信息，利用目标槽函数scrawlImage在目标图像上确定与曲线类型对应的曲线形标注图形，并将曲线形标注图形内的像素点作为多个目标像素点。
可见，本实现方式中，通过基于图像标注工具中设置的涂鸦控件，可以根据标注光标在目标图像上移动的光标移动路径，在目标图像上确定位于曲线形标注图形上的多个目标像素点，以便于标注人员可以在目标图像上选择任意一条曲线形标注图形，以利用预设标注分割模型可以对曲线形标注图形上的多个目标像素点进行一次性地标注处理，可以减少标注人员重复性的点击操作，极大地提升标注人员的标注效率，以便于标注人员可以对待标注图像的某一区域进行快速地标注。
需要说明的是，电子设备基于光标移动路径还可以通过除槽函数之外的其他方式，在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点。
综上，本申请实施例中，通过确定连续标注控件对应的标注图形的图形类型；进一步地，基于光标移动路径在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点。可见，相对于相关技术中标注人员需要多次重复性地点击操作以分别选取不同像素点进行多次推理的方式，本申请实施例中，通过基于图像标注工具中设置的连续标注控件，可以根据光标移动路径在目标图像上确定位于目标标注图形内的多个目标像素点，以便于标注人员可以在目标图像上选择任意一个目标标注图形，以利用预设标注分割模型可以对目标标注图形内的多个目标像素点进行一次性地标注处理，不仅可以减少标注人员重复性的点击操作，而且还可以提升分割模型的推理速度，从而可以提高标注效率。
在一些实施例中，在上述实施例的基础上，本申请实施例还可以提供退出标注控件、重新标注控件、屏蔽标注控件和/或擦除标注控件，以便于标注人员可以更加灵活地基于图像标注工具进行图像标注。
在一些实施例中，在上述实施例的基础上，本申请实施例的图像标注方法还可以包括：电子设备在基于图像标注工具检测到退出标注控件被触发的情况下，可以结束当前的连续标注操作，以便于在标注用户需要更换为其他类型的标注操作的情况下，可以及时地结束当前的连续标注操作。
例如，假设连续标注控件为框选控件，连续标注操作为框选标注操作，电子设备在检测到退出标注控件被触发的情况下，可以结束当前的框选标注操作，从而将框选控件调整为非触发状态。
又例如，假设连续标注控件为画线控件，连续标注操作为画线标注操作，电子设备在检测到退出标注控件被触发的情况下，可以结束当前的画线标注操作，从而将画线控件调整为非触发状态。
又例如，假设连续标注控件为涂鸦控件，连续标注操作为涂鸦标注操作，电子设备在检测到退出标注控件被触发的情况下，可以结束当前的涂鸦标注操作，从而将涂鸦控件调整为非触发状态。
在一些实施例中，在上述实施例的基础上，本申请实施例的图像标注方法还可以包括：电子设备在基于图像标注工具检测到重新标注控件被触发的情况下，重新开启连续标注操作，以便于标注用户在连续标注操作不当（例如，选取的目标像素点不合适等）等情况下，可以及时地重新开启连续标注操作。
例如，假设连续标注控件为框选控件，连续标注操作为框选标注操作，电子设备在检测到重新标注控件被触发的情况下，可以重新开启框选标注操作。
在一些实施例中，在上述实施例的基础上，本申请实施例的图像标注方法还可以包括：电子设备还可以在基于图像标注工具检测到屏蔽标注控件被触发的情况下，隐藏目标图像中的历史标注区域，可以暂时把目标图像中的历史标注区域进行隐藏，使历史标注区域不会影响标注人员当前的标注操作，以便于标注人员可以专注于当前的标注操作，以及方便检查当前的标注操作的合理性，从而不仅可以提高标注人员的标注效率，还可以提高标注人员的标注质量。
应理解，电子设备在基于图像标注工具检测到屏蔽标注控件被再次触发的情况下，可以再次显示目标图像中的历史标注区域。
在一些实施例中，在上述实施例的基础上，本申请实施例的图像标注方法还可以包括：电子设备还可以在基于图像标注工具检测到擦除标注控件被触发的情况下，将目标图像中的历史标注区域中擦除光标在移动过程中途经的位置区域删除，以便于标注人员可以灵活地对历史标注区域进行调整，以得到符合要求的标注区域。
应理解，在基于图像标注工具检测到擦除标注控件被触发的情况下，本申请实施例中的标注光标就切换为擦除光标，以便于将目标图像中的历史标注区域中擦除光标在移动过程中途经的位置区域删除。
在一些实施例中，图4为本申请另一些实施例提供的图像标注方法的流程示意图，在上述实施例的基础上，为了便于理解，本申请下述实施例中以图像标注工具为功能扩展后的EISeg标注工具，以及图像标注工具在包括加载网络参数控件和添加标签控件的基础上，还可以包括连续标注控件、屏蔽标注控件和擦除标注控件为例，对基于图像标注工具进行图像标注方法进行介绍。
本申请实施例中的连续标注控件可以包括：框选控件、画线标注控件（或者称之为折线标注控件）和涂鸦标注控件；其中，框选控件可以包括矩形标注控件、画圆标注控件和多边形标注控件。
示例性地，本申请实施例中可以通过PYQT框架将连续标注控件、屏蔽标注控件和擦除标注控件等功能集成到EISeg标注工具得到本申请实施例中的图像标注工具；当然，还可以通过其他方式进行功能集成。
如图4所示，本实施例提供的图像标注方法可以包括以下步骤：
步骤S401、在图像标注工具中加载网络模型参数。
本步骤中，电子设备在启动图像标注工具的情况下，可以在图像标注工具中加载网络模型参数，以确定需要使用的预设标注分割模型。
例如，电子设备可以通过运行python-m eiseg启动EISeg标注工具，当然还可以通过其他方式启动EISeg标注工具。
图5为本申请实施例提供的图像标注工具的初始页面的示意图，如图5所示，电子设备在检测到图像标注工具中的加载网络参数控件C1被触发的情况下，可以显示多种类型的标注分割模型的标识信息，以便于标注人员可以根据多种类型的标注分割模型的标识信息选择所需的预设标注分割模型的标识信息。示例性地，任意标注分割模型的标识信息可以包括但不限于：该标注分割模型的名称信息。
应理解，在电子设备未预先从服务器下载预设标注分割模型的情况下，电子设备还需要向服务器发送标注人员所选择的预设标注分割模型的标识信息，以便于服务器利用预设标注分割模型进行推理。
步骤S402、在图像标注工具中载入待标注的目标图像，以及在图像标注工具中添加标注标签。
需要说明的是，关于本步骤的可实现方式，可以参考上述步骤S201中的相关内容，此处不再赘述。
图6为本申请实施例提供的图像标注工具中载入目标图像的示意图，如图6所示，图像标注工具中的图像显示区域可以显示待标注的目标图像I。进一步地，电子设备在检测到图像标注工具中的添加标签控件C2被触发的情况下，图像标注工具中的标签显示区域可以显示当前设置的标注标签L；其中，添加标签控件C2可以包括添加前景标签控件C21和添加背景标签控件C22。
步骤S403、在基于图像标注工具检测到连续标注控件被触发的情况下，确定连续标注控件对应的标注图形的图形类型。
需要说明的是，关于本步骤的可实现方式，可以参考上述步骤S2031中的相关内容，此处不再赘述。
步骤S404、基于标注光标在目标图像上移动的光标移动路径在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点。
步骤S405、对多个目标像素点进行一次性地标注处理，以基于多个目标像素点在目标图像中确定与图像标注工具中当前设置的标签对应的目标标注区域。
为了便于理解，本申请下述实施例中依次对单次点击操作的图像标注与连续标注操作的图像标注进行介绍。
图7为本申请实施例提供的单次点击操作情况下对应的标注区域的示意图，如图7所示，电子设备在检测到标注人员对目标图像上的单次点击操作的情况下，可以利用预设标注分割模型对整个目标图像进行标注处理得到标注区域P0。
为了便于理解，本申请下述实施例中以矩形标注控件为例，对框选控件被触发的情况下的目标标注图形进行介绍。
图8为本申请实施例提供的矩形标注控件被触发的情况下的目标标注图形的示意图，如图8所示，电子设备可以基于光标移动路径在目标图像上确定与矩形框形类型对应的矩形框形标注图形G1，并将矩形框形标注图形G1内的像素点作为多个目标像素点，以便于利用预设标注分割模型可以对多个目标像素点进行一次性地标注处理。
示例性地，电子设备在确定矩形框形标注图形G1的情况下，图像标注工具中的矩形标注显示区域中的矩形标注控件变化为退出框选标注控件C3和重新框选标注控件C4。其中，电子设备在检测到退出框选标注控件C3被触发的情况下，可以结束当前的矩形标注操作，从而将矩形标注控件调整为非触发状态；电子设备在检测到重新框选标注控件C4被触发的情况下，可以重新开启矩形标注操作。
需要说明的是，在矩形标注控件被触发的情况下，电子设备会屏蔽标注人员在目标图像上的单次点击操作，以及在确定矩形框形标注图形G1的情况下，电子设备会响应标注人员在矩形框形标注图形G1内的点击操作。其中，电子设备在检测到标注人员在矩形框形标注图形G1内的点击操作的情况下，可以将矩形框形标注图形G1内的多个目标像素点进行一次性地标注处理。
图9为本申请实施例提供的画线控件被触发的情况下的目标标注图形的示意图，如图9所示，电子设备可以基于光标移动路径在目标图像上确定与线形类型对应的线形标注图形G2，并将线形标注图形G2内的像素点作为多个目标像素点，以便于利用预设标注分割模型可以对多个目标像素点进行一次性地标注处理。
需要说明的是，在画线控件被触发的情况下，电子设备会屏蔽标注人员在目标图像上的单次点击操作，以及电子设备在检测到标注光标移动结束的情况下，可以将线形标注图形G2内的多个目标像素点进行一次性地标注处理得到目标标注区域P1。
图10为本申请实施例提供的涂鸦控件被触发的情况下的目标标注图形的示意图，如图10所示，电子设备可以基于光标移动路径在目标图像上确定与曲线类型对应的曲线形标注图形G3，并将曲线形标注图形G3内的像素点作为多个目标像素点，以便于利用预设标注分割模型可以对多个目标像素点进行一次性地标注处理。
需要说明的是，在涂鸦控件被触发的情况下，电子设备会屏蔽标注人员在目标图像上的单次点击操作，以及电子设备在检测到标注光标移动结束的情况下，可以将曲线形标注图形G3内的多个目标像素点进行一次性地标注处理得到目标标注区域P2。
综上，相对于相关技术中的标注工具，本申请实施例中的图像标注工具在功能上进行了扩展，使得图像标注工具具有框选标注功能、画线标注功能、涂鸦标注功能、屏蔽标注功能，和/或擦除标注控件等，可以实现图像半自动化推理，可以很好地帮助标注人员节约点击操作的次数以快速地确定目标标注区域，提高了标注人员的工作效率，获取到更多更精确的标注数据，有利于提高深度学习技术中网络模型（或者称之为深度学习模型）的精度和泛化能力，使得在产线利用网络模型进行检测（例如电池缺陷检测等）的检测结果更加准确。
另外，通过将上述功能集成到EISeg标注工具中，标注人员不需要过多的深度学习知识和代码知识（例如PYQT框架代码等）即可使用EISeg标注工具的各种功能，以调用网络模型进行标注处理，可以降低标注人员的使用门槛。另外，上述功能的扩展迁移性更强，除了可以适用于电池标注数据外，其他类型的标注数据都可用上述功能，以便于提高标注人员的工作效率，从而提高对应产线的效率。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像标注方法的图像标注装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像标注装置实施例中的具体限定可以参见上文中对于图像标注方法的限定，在此不再赘述。
在一些实施例中，图11为本申请一些实施例提供的图像标注装置的结构示意图，本申请实施例提供的图像标注装置可以应用于电子设备中。如图11所示，本申请实施例的图像标注装置可以包括：载入模块1101、记录模块1102、确定模块1103和处理模块1104。
其中，载入模块1101，用于在图像标注工具中载入待标注的目标图像；
记录模块1102，用于在基于图像标注工具检测到连续标注控件被触发的情况下，对标注光标在目标图像上的移动位置进行记录，得到光标移动路径；
确定模块1103，用于基于光标移动路径在目标图像上确定多个目标像素点；
处理模块1104，用于对多个目标像素点进行一次性地标注处理，以基于多个目标像素点在目标图像中确定与图像标注工具中当前设置的标签对应的目标标注区域。
在一些实施例中，确定模块1103，包括：
第一确定单元，用于确定连续标注控件对应的标注图形的图形类型；
第二确定单元，用于基于光标移动路径在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点。
在一些实施例中，连续标注控件包括框选控件，框选控件对应的图形类型为框形类型；第二确定单元具体用于：
在连续标注控件为框选控件的情况下，基于光标移动路径在目标图像上确定与框形类型对应的框形标注图形，并将框形标注图形内的像素点作为多个目标像素点。
在一些实施例中，连续标注控件包括画线控件，画线控件对应的图形类型为至少一条直线组成的线形类型；第二确定单元具体用于：
在连续标注控件为画线控件的情况下，基于光标移动路径在目标图像上确定与线形类型对应的线形标注图形，并将线形标注图形内的像素点作为多个目标像素点。
在一些实施例中，连续标注控件包括涂鸦控件，涂鸦控件对应的图形类型为曲线类型；第二确定单元具体用于：
在连续标注控件为涂鸦控件的情况下，基于光标移动路径在目标图像上确定与曲线类型对应的曲线形标注图形，并将曲线形标注图形内的像素点作为多个目标像素点。
在一些实施例中，第二确定单元具体用于：
确定与连续标注控件对应的目标槽函数；
基于光标移动路径利用目标槽函数在目标图像上确定与图形类型对应的目标标注图形，并将目标标注图形内的像素点作为多个目标像素点。
在一些实施例中，图像标注装置还包括：
结束模块，用于在基于图像标注工具检测到退出标注控件被触发的情况下，结束当前的连续标注操作。
在一些实施例中，图像标注装置还包括：
重标注模块，用于在基于图像标注工具检测到重新标注控件被触发的情况下，重新开启连续标注操作。
在一些实施例中，图像标注装置还包括：
隐藏模块，用于在基于图像标注工具检测到屏蔽标注控件被触发的情况下，隐藏目标图像中的历史标注区域。
在一些实施例中，图像标注装置还包括：
删除模块，用于在基于图像标注工具检测到擦除标注控件被触发的情况下，将目标图像中的历史标注区域中擦除光标在移动过程中途经的位置区域删除。
在一些实施例中，处理模块1104具体用于：
将多个目标像素点输入预设标注分割模型，得到预设标注分割模型输出的目标标注区域的指示信息；
根据目标标注区域的指示信息确定目标标注区域。
在一些实施例中，处理模块1104具体用于：
将多个目标像素点发送给服务器；
接收服务器返回的目标标注区域的指示信息，并根据目标标注区域的指示信息确定目标标注区域；其中，目标标注区域的指示信息为服务器根据多个目标像素点和预设标注分割模型得到的指示信息。
在一些实施例中，记录模块1102具体用于：
基于图像标注工具中画布上的光标信号，对标注光标在目标图像上的移动位置进行记录，得到光标移动路径。
本申请实施例提供的图像标注装置可以用于执行本申请上述图像标注方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，图12为本申请一些实施例中电子设备的结构示意图，如图12所示，本申请实施例提供的电子设备可以包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现本申请上述图像标注方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
示例性地，该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，还提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现本申请上述图像标注方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
在一些实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请上述图像标注方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
在一些实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请上述图像标注方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric RandomAccess Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本申请并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

Claims (16)

1.一种图像标注方法，其特征在于，所述方法包括：
在图像标注工具中载入待标注的目标图像；
在基于所述图像标注工具检测到连续标注控件被触发的情况下，对标注光标在所述目标图像上的移动位置进行记录，得到光标移动路径；
基于所述光标移动路径在所述目标图像上确定多个目标像素点；
对所述多个目标像素点进行一次性地标注处理，以基于所述多个目标像素点在所述目标图像中确定与所述图像标注工具中当前设置的标签对应的目标标注区域。
2.根据权利要求1所述的图像标注方法，其特征在于，所述基于所述光标移动路径在所述目标图像上确定多个目标像素点，包括：
确定所述连续标注控件对应的标注图形的图形类型；
基于所述光标移动路径在所述目标图像上确定与所述图形类型对应的目标标注图形，并将所述目标标注图形内的像素点作为所述多个目标像素点。
3.根据权利要求2所述的图像标注方法，其特征在于，所述连续标注控件包括框选控件，所述框选控件对应的图形类型为框形类型；所述基于所述光标移动路径在所述目标图像上确定与所述图形类型对应的目标标注图形，并将所述目标标注图形内的像素点作为所述多个目标像素点，包括：
在所述连续标注控件为所述框选控件的情况下，基于所述光标移动路径在所述目标图像上确定与所述框形类型对应的框形标注图形，并将所述框形标注图形内的像素点作为所述多个目标像素点。
4.根据权利要求2所述的图像标注方法，其特征在于，所述连续标注控件包括画线控件，所述画线控件对应的图形类型为至少一条直线组成的线形类型；所述基于所述光标移动路径在所述目标图像上确定与所述图形类型对应的目标标注图形，并将所述目标标注图形内的像素点作为所述多个目标像素点，包括：
在所述连续标注控件为所述画线控件的情况下，基于所述光标移动路径在所述目标图像上确定与所述线形类型对应的线形标注图形，并将所述线形标注图形内的像素点作为所述多个目标像素点。
5.根据权利要求2所述的图像标注方法，其特征在于，所述连续标注控件包括涂鸦控件，所述涂鸦控件对应的图形类型为曲线类型；所述基于所述光标移动路径在所述目标图像上确定与所述图形类型对应的目标标注图形，并将所述目标标注图形内的像素点作为所述多个目标像素点，包括：
在所述连续标注控件为所述涂鸦控件的情况下，基于所述光标移动路径在所述目标图像上确定与所述曲线类型对应的曲线形标注图形，并将所述曲线形标注图形内的像素点作为所述多个目标像素点。
6.根据权利要求2-5中任一项所述的图像标注方法，其特征在于，所述基于所述光标移动路径在所述目标图像上确定与所述图形类型对应的目标标注图形，并将所述目标标注图形内的像素点作为所述多个目标像素点，包括：
确定与所述连续标注控件对应的目标槽函数；
基于所述光标移动路径利用所述目标槽函数在所述目标图像上确定与所述图形类型对应的目标标注图形，并将所述目标标注图形内的像素点作为所述多个目标像素点。
7.根据权利要求1-5中任一项所述的图像标注方法，其特征在于，所述方法还包括：
在基于所述图像标注工具检测到退出标注控件被触发的情况下，结束当前的连续标注操作。
8.根据权利要求1-5中任一项所述的图像标注方法，其特征在于，所述方法还包括：
在基于所述图像标注工具检测到重新标注控件被触发的情况下，重新开启连续标注操作。
9.根据权利要求1-5中任一项所述的图像标注方法，其特征在于，所述方法还包括：
在基于所述图像标注工具检测到屏蔽标注控件被触发的情况下，隐藏所述目标图像中的历史标注区域。
10.根据权利要求1-5中任一项所述的图像标注方法，其特征在于，所述方法还包括：
在基于所述图像标注工具检测到擦除标注控件被触发的情况下，将所述目标图像中的历史标注区域中擦除光标在移动过程中途经的位置区域删除。
11.根据权利要求1-5中任一项所述的图像标注方法，其特征在于，对所述多个目标像素点进行一次性地标注处理，以基于所述多个目标像素点在所述目标图像中确定与所述图像标注工具中当前设置的标签对应的目标标注区域，包括：
将所述多个目标像素点输入预设标注分割模型，得到所述预设标注分割模型输出的所述目标标注区域的指示信息；
根据所述目标标注区域的指示信息确定所述目标标注区域。
12.根据权利要求1-5中任一项所述的图像标注方法，其特征在于，对所述多个目标像素点进行一次性地标注处理，以基于所述多个目标像素点在所述目标图像中确定与所述图像标注工具中当前设置的标签对应的目标标注区域，包括：
将所述多个目标像素点发送给服务器；
接收所述服务器返回的所述目标标注区域的指示信息，并根据所述目标标注区域的指示信息确定所述目标标注区域；其中，所述目标标注区域的指示信息为所述服务器根据所述多个目标像素点和预设标注分割模型得到的指示信息。
13.根据权利要求1-5中任一项所述的图像标注方法，其特征在于，所述对标注光标在所述目标图像上的移动位置进行记录，得到光标移动路径，包括：
基于所述图像标注工具中画布上的光标信号，对所述标注光标在所述目标图像上的移动位置进行记录，得到光标移动路径。
14.一种图像标注装置，其特征在于，所述装置包括：
载入模块，用于在图像标注工具中载入待标注的目标图像；
记录模块，用于在基于所述图像标注工具检测到连续标注控件被触发的情况下，对标注光标在所述目标图像上的移动位置进行记录，得到光标移动路径；
确定模块，用于基于所述光标移动路径在所述目标图像上确定多个目标像素点；
处理模块，用于对所述多个目标像素点进行一次性地标注处理，以基于所述多个目标像素点在所述目标图像中确定与所述图像标注工具中当前设置的标签对应的目标标注区域。
15.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-13中任一项所述的方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-13中任一项所述的方法。
CN202310850471.0A 2023-07-12 2023-07-12 图像标注方法、装置、设备和存储介质 Active CN116580286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310850471.0A CN116580286B (zh) 2023-07-12 2023-07-12 图像标注方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310850471.0A CN116580286B (zh) 2023-07-12 2023-07-12 图像标注方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN116580286A true CN116580286A (zh) 2023-08-11
CN116580286B CN116580286B (zh) 2023-11-03

Family

ID=87545713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310850471.0A Active CN116580286B (zh) 2023-07-12 2023-07-12 图像标注方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116580286B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367445A (zh) * 2020-03-31 2020-07-03 中国建设银行股份有限公司 图像标注方法及装置
CN111724402A (zh) * 2020-06-18 2020-09-29 北京小白世纪网络科技有限公司 一种医疗影像标注方法、系统及装置
CN112346809A (zh) * 2020-11-09 2021-02-09 深圳市安软科技股份有限公司 网页图像标注方法、装置、电子设备及存储介质
CN114067564A (zh) * 2021-11-15 2022-02-18 武汉理工大学 一种基于yolo的交通状况综合监测方法
CN114388105A (zh) * 2020-10-16 2022-04-22 腾讯科技（深圳）有限公司 病理切片处理方法、装置、计算机可读介质及电子设备
WO2022121766A1 (zh) * 2020-12-07 2022-06-16 天津天瞳威势电子科技有限公司 一种可行驶区域的检测方法及装置
CN115469954A (zh) * 2022-09-20 2022-12-13 成都数之联科技股份有限公司 一种基于Canvas的图像标注方法及系统
CN115878701A (zh) * 2022-11-30 2023-03-31 浪潮通用软件有限公司 基于etl工具的目标检测模型训练方法及装置
CN116012843A (zh) * 2023-03-24 2023-04-25 北京科技大学 一种虚拟场景数据标注生成方法及系统
CN116385789A (zh) * 2023-04-07 2023-07-04 北京百度网讯科技有限公司 图像处理方法、训练方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367445A (zh) * 2020-03-31 2020-07-03 中国建设银行股份有限公司 图像标注方法及装置
CN111724402A (zh) * 2020-06-18 2020-09-29 北京小白世纪网络科技有限公司 一种医疗影像标注方法、系统及装置
CN114388105A (zh) * 2020-10-16 2022-04-22 腾讯科技（深圳）有限公司 病理切片处理方法、装置、计算机可读介质及电子设备
CN112346809A (zh) * 2020-11-09 2021-02-09 深圳市安软科技股份有限公司 网页图像标注方法、装置、电子设备及存储介质
WO2022121766A1 (zh) * 2020-12-07 2022-06-16 天津天瞳威势电子科技有限公司 一种可行驶区域的检测方法及装置
CN114067564A (zh) * 2021-11-15 2022-02-18 武汉理工大学 一种基于yolo的交通状况综合监测方法
CN115469954A (zh) * 2022-09-20 2022-12-13 成都数之联科技股份有限公司 一种基于Canvas的图像标注方法及系统
CN115878701A (zh) * 2022-11-30 2023-03-31 浪潮通用软件有限公司 基于etl工具的目标检测模型训练方法及装置
CN116012843A (zh) * 2023-03-24 2023-04-25 北京科技大学 一种虚拟场景数据标注生成方法及系统
CN116385789A (zh) * 2023-04-07 2023-07-04 北京百度网讯科技有限公司 图像处理方法、训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116580286B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN108363587B (zh) 应用程序运行监控方法、装置、计算机设备和存储介质
JP4802672B2 (ja) 電子文書管理装置、電子文書管理プログラム、電子文書管理システム
CN111596911B (zh) 生成控件的方法、装置、计算机设备和存储介质
WO2019041639A1 (zh) 信息存储、展示方法、装置、设备及计算机存储介质
JP2017068406A (ja) 電子機器および方法
CN110555073A (zh) 一种数据处理方法、装置及电子设备和存储介质
US20140089841A1 (en) Device and method for providing application interface based on writing input
CN109710144B (zh) 笔记本的笔记页处理方法、计算机设备和存储介质
CN114049631A (zh) 一种数据标注的方法、装置、计算机设备和存储介质
CN106484779B (zh) 文件操作方法及装置
CN116580286B (zh) 图像标注方法、装置、设备和存储介质
CN113282239A (zh) 数据迁移方法、存储器及控制器
CN110058938B (zh) 一种内存处理方法、装置、电子设备和可读介质
CN101334990A (zh) 信息显示设备、显示系统和信息显示方法
CN110321321A (zh) 网络块设备快照读写方法、装置、设备及存储介质
CN112765110B (zh) 一种pdf批注数据生成方法、装置、设备及存储介质
CN112269523B (zh) 对象编辑处理方法、装置及电子设备
CN110879686B (zh) 一种标注擦除方法、装置及电子设备
CN112988663A (zh) 文件存储方法和电子设备
JP2014203406A (ja) 制御装置、制御方法および制御プログラム
WO2020210975A1 (zh) 选取子轨迹的方法、电子设备、计算机可读存储介质
CN111522939B (zh) 一种处理笔记的方法、装置、计算机存储介质及终端
CN113992938B (zh) 视频上传方法、装置、电子设备及计算机可读存储介质
CN111158808B (zh) 一种显示设备及白板文件保存方法
JP2014071539A (ja) 画像データ編集装置、および画像データ編集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant