CN110992384A - 半自动化图像数据标注方法、电子装置及存储介质 - Google Patents

半自动化图像数据标注方法、电子装置及存储介质 Download PDF

Info

Publication number
CN110992384A
CN110992384A CN201911117335.0A CN201911117335A CN110992384A CN 110992384 A CN110992384 A CN 110992384A CN 201911117335 A CN201911117335 A CN 201911117335A CN 110992384 A CN110992384 A CN 110992384A
Authority
CN
China
Prior art keywords
coordinate
executing
semi
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911117335.0A
Other languages
English (en)
Other versions
CN110992384B (zh
Inventor
邓辅秦
黄永深
彭健烽
冯华
陈颖颖
李伟科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN201911117335.0A priority Critical patent/CN110992384B/zh
Publication of CN110992384A publication Critical patent/CN110992384A/zh
Priority to US17/772,846 priority patent/US20220375188A1/en
Priority to PCT/CN2020/100348 priority patent/WO2021093344A1/zh
Application granted granted Critical
Publication of CN110992384B publication Critical patent/CN110992384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种半自动化图像数据标注方法、电子装置及存储介质，通过在步骤S200中获取未选择区域坐标点及第一范围值，通过鼠标在未选择区域上点击获取到鼠标的坐标作为未选择区域坐标点。通过多次选择未选择区域坐标点及第一范围值，可以在每一次grabcut分割后再执行边缘跟踪算法获得当前边缘坐标，利用每一次获得的当前边缘坐标更新局部坐标集合，最后在用户确认前景区域被全选中后，会在键盘上按下某个键从而发送出全选中指令，则此时的局部坐标集合就被作为全部坐标集合，由用户输入对应于该前景图像的类别信息，并将类别信息与全部坐标集合保存为json文件用于后续的神经网络训练。

Description

半自动化图像数据标注方法、电子装置及存储介质
技术领域
本发明涉及计算机图像处理技术领域，特别涉及一种半自动化图像数据标注方法、电子装置及存储介质。
背景技术
grabcut图像分割算法是一种有效的从复杂背景中提取前景目标的图像分割算法，利用了图像中的纹理(颜色)信息和边界(反差)信息，图像分割效果比较好。输入一个包含目标的图像，使用grabcut算法进行图像切割，即可将前景目标从背景图像中分离出来，输出目标为白色和背景为黑色的二值化图片。
grabcut算法的交互方法是通过用户画框来实现。用户画一个框，框住前景物体，鼠标释放以后，前景就可以被分割出来。如图5所示，为现有技术中，使用grabcut算法进行图像分割的效果图。一般可以通过grabcut算法来将前景分割出来，从而获得前景图像的标注数据。但是在采用grabcut算法获取标注数据的时候，只能对前景图像画一个框，导致在对某些轮廓形状比较特别的前景图像使用grabcut算法时，画的框范围特别大，从而在框内存在较多的背景像素，导致grabcut算法精度下降。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种半自动化图像数据标注方法、电子装置及存储介质，能够多次对待标注图像执行grabcut算法获取前景图像的轮廓坐标，提升了获取到的图像标注数据的精度。
第一方面，本发明实施例提供一种半自动化图像数据标注方法，包括以下步骤：
步骤S100:显示待标注图像，所述待标注图像包括已选择区域和未选择区域；
步骤S200:获取未选择区域坐标点及第一范围值；
步骤S300:基于获取的获取未选择区域坐标点及第一范围值执行grabcut算法并获得grabcut算法分割后二值化图片；
步骤S400:对二值化图片执行边缘跟踪算法获取当前边缘坐标；
步骤S500:基于获取的当前边缘坐标更新局部坐标集合；
步骤S600:基于获取的局部坐标集合更新所述待标注图像的已选择区域；
步骤S700:判断是否收到全选中指令，若是，则生成全部坐标集合，若否，则返回步骤S200；
步骤S800:获取类别信息，并将类别信息与全部坐标集合保存为json文件。
根据本发明实施例的一种半自动化图像数据标注方法，至少具有如下有益效果：通过在步骤S200中获取未选择区域坐标点及第一范围值，通过鼠标在未选择区域上点击获取到鼠标的坐标作为未选择区域坐标点，并以未选择区域坐标点为基准点，根据用户输入的第一范围值来构建正方形，这个正方形就是grabcut算法中的画框操作。通过多次选择未选择区域坐标点及第一范围值，可以在每一次grabcut分割后再执行边缘跟踪算法获得当前边缘坐标，利用每一次获得的当前边缘坐标更新局部坐标集合，最后在用户确认前景区域被全选中后，会在键盘上按下某个键从而发送出全选中指令，则此时的局部坐标集合就被作为全部坐标集合，由用户输入对应于该前景图像的类别信息，并将类别信息与全部坐标集合保存为json文件用于后续的神经网络训练。因此，本实施例提供的半自动化图像数据标注方法，可以在利用grabcut算法进行自动分割的基础上，又可以接受人工的实时干预，提高了图像数据标注的精度。
本发明的一个特定实施例中，所述第一范围值用于构建正方形，获取所述第一范围值包括以下步骤：
步骤S210:判断已选择区域是否为空，若是，则执行步骤S300，若否，则执行步骤S220；
步骤S220:判断由第一范围值构建的正方形范围内是否包含局部坐标集合内的坐标，若是，则执行步骤S300。
本发明的一个特定实施例中，所述基于获取的局部坐标集合更新所述待标注图像的已选择区域，包括以下步骤：
将所述局部坐标集合里的坐标围起来的区域进行高亮或阴影显示。
本发明的一个特定实施例中，所述基于获取的当前边缘坐标更新局部坐标集合，包括以下步骤：
步骤S510:判断已选择区域是否为空，若是，则将当前边缘坐标加入到局部坐标集合中，若否，则执行步骤S520；
步骤S520:将当前边缘坐标中与局部坐标集合中重复的坐标删除后加入到局部坐标集合中。
本发明的一个特定实施例中，所述生成全部坐标集合，包括以下步骤：
步骤S710：建立集合A'，将局部坐标集合中的任一个坐标点p0添加到集合A'中，将局部坐标集合中除了p0之外的其他坐标点建立集合A2，将第一标记坐标点p置为p0；
步骤S720：判断集合A2中元素数量是否为零，若否，则执行步骤S720a，若是，则执行步骤S720b；
步骤S720a：计算集合A2中的所有坐标点与第一标记坐标点p的距离d，将第一标记坐标点p置为集合A2中对应于距离d的最小值的坐标点，将集合A2中对应于距离d的最小值的坐标点添加到集合A'中并从集合A2中删除，返回步骤S720；
步骤S720b：按照坐标点添加到所述集合A'中的顺序将坐标点进行排序；
步骤S730：建立全部坐标集合，将p0添加到全部坐标集合中并从集合A'删除，将第二标记坐标点p'置为p0；
步骤S740：判断集合A'中的元素数量是否为一，若否，则执行步骤S740a，若是，则执行步骤S740b；
步骤S740a：判断第二标记坐标点p'与集合A'中排序位于最前两位的两个坐标点是否三点共线，若是，则执行步骤S740a1，若否，则执行步骤S740a2；
步骤S740a1：将集合A'中排序位于最前一位的坐标点从集合A'中删除，返回步骤S740；
步骤S740a2：将第二标记坐标点p'置为集合A'中排序位于最前一位的坐标点，将集合A'中排序位于最前一位的坐标点添加到全部坐标集合中并从集合A'中删除，返回步骤S740；
步骤S740b：将集合A'中的坐标点添加到全部坐标集合中，输出全部坐标集合。
第二方面，本发明实施例提供了一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面中任一项所述的一种半自动化图像数据标注方法。
由于本发明实施例的一种电子装置执行如本发明第一方面中任一项所述的一种半自动化图像数据标注方法，因此具有本发明第一方面的所有有益效果。
第三方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面中任一项所述的一种半自动化图像数据标注方法。
由于本发明实施例的计算机可读存储介质上存储有用于执行如本发明第一方面中任一项所述的一种半自动化图像数据标注方法的计算机可执行指令，因此具有本发明第一方面的所有有益效果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明第一实施例提供的一种电子装置的结构示意图；
图2为本发明第二实施例提供的一种半自动化图像数据标注方法的流程图；
图3为本发明第三实施例的构建正方形的效果图；
图4为本发明第四实施例提供的一种半自动图像数据标注方法的效果图；
图5为为现有技术中使用grabcut算法进行图像分割的效果图；
附图标记：
电子装置100、处理器101、存储器102。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本，而不能理解为对本的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
随着计算机技术不断突破，人工智能已经成为了这个时代的主题，深度学习更是成为了最近几年突破巨大的技术，而基于深度学习的图像分割网络的训练需要大量的图像标注数据，例如智能垃圾分类系统，这个系统需要图像标注数据进行学习才能识别出垃圾及其种类，如果想要这个系统能够识别出废纸这种垃圾，那就需要对大量的包含废纸的图像(如地面上的废纸)进行图像切割，得到废纸图像和背景图像，再对废纸图像进行数据标注，再把得到的图像标注数据交由系统学习。
由此可知，许多需要智能识别的系统如上述的智能垃圾分类系统，表面缺陷检测系统和自动驾驶都需要大量的图像标注数据，而这些图像标注数据正必须从图像分割而来。图像标注数据的需求越来越大，而图像标注数据的获取，首先需要对包含目标的图像进行图像分割，将其分成目标图像和背景图像两部分，再对目标图像进行数据标注。
为了满足基于深度学习的图像分割网络的训练对图像标注数据的需求，技术众包平台应运而生、有的公司招聘上万数据标注员，但由于现有数据标注方法的一些缺点，使得获取大量的图像标注数据同样需要消耗大量的人力、物力、财力。
现有的数据标注方法是使用开源的图像分割数据标注工具(如Labelme，Labelimg等)对目标图像的边缘进行打点标绘(通过鼠标点击把图像中的目标物体的边缘描绘出来，如要对形状复杂的目标物体进行打点标绘，则可能需要点击鼠标上百次)，然后把目标图像从背景中分离出来，即对图像进行分割，得到目标图像，后对所得到的目标图像进行数据标注。
本发明涉及以传统图像分割算法grabcut为主要算法的图像分割技术，提供了一种开创性的半自动化数据标注方法，大幅度地减少了打点标绘即点击鼠标的次数，同时由于grabcut算法的一些色差分析机制，可以提高数据标注的效率、精确度，满足基于深度学习的图像分割网络的训练对图像数据的需求。
基于此，本发明提供了一种半自动化图像数据标注方法、电子装置及存储介质，通过将待标注图像显示在电子屏幕上，根据用户多次使用鼠标在待标注图像上点击产生未选择区域坐标点以及根据用户在每次产生未选择区域坐标点后输入的第一范围值，可以对前景图像轮廓形状复杂的图像分次、分区域获取轮廓的当前边缘坐标，最后再将分次、分区域获取的当前边缘坐标合并为局部坐标集合，并在用户确认前景图像被完全选中后，由用户发送全选中指令。计算机在接收到全选中指令后，则把当前的局部坐标集合作为全部坐标集合，并通过键盘接收用户输入的分类信息，例如足球等，最后将类别信息与全部坐标集合保存为json文件，便于以后用于神经网络的训练。
下文提供了许多不同的实施方式或例子用来实现本发明的不同方案，值得理解的是，下述描述仅是示例性说明，而不是对发明的具体限制。
参照图1所示，为本发明第一实施例提供的一种电子装置100，包括存储器102、处理器101，图4中以一个处理器101和一个存储器102为例。
处理器和存储器可以通过总线或者其他方式连接，图1中以通过总线连接为例。
存储器102作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器102可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器102可选包括相对于处理器远程设置的存储器102，这些远程存储器可以通过网络连接至该电子装置100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
参照图2所示，为本发明第一实施例的电子装置，在该实施例中，电子装置100中处理器101可以用于调用存储器102中存储的一种半自动化图像数据标注方法，并执行以下步骤：
步骤S100:显示待标注图像，所述待标注图像包括已选择区域和未选择区域；
步骤S200:获取未选择区域坐标点及第一范围值；
步骤S300:基于获取的获取未选择区域坐标点及第一范围值执行grabcut算法并获得grabcut算法分割后二值化图片；
步骤S400:对二值化图片执行边缘跟踪算法获取当前边缘坐标；
步骤S500:基于获取的当前边缘坐标更新局部坐标集合；
步骤S600:基于获取的局部坐标集合更新所述待标注图像的已选择区域；
步骤S700:判断是否收到全选中指令，若是，则生成全部坐标集合，若否，则返回步骤S200；
步骤S800:获取类别信息，并将类别信息与全部坐标集合保存为json文件。
基于上述电子装置的硬件结构，提出本发明的一种半自动化图像数据标注方法的各个实施例。
参照图2所示，为本发明第二实施例的一种半自动化图像数据标注方法，包括以下步骤：
步骤S100:显示待标注图像，所述待标注图像包括已选择区域和未选择区域；
步骤S200:获取未选择区域坐标点及第一范围值；
步骤S300:基于获取的获取未选择区域坐标点及第一范围值执行grabcut算法并获得grabcut算法分割后二值化图片；
步骤S400:对二值化图片执行边缘跟踪算法获取当前边缘坐标；
步骤S500:基于获取的当前边缘坐标更新局部坐标集合；
步骤S600:基于获取的局部坐标集合更新所述待标注图像的已选择区域；
步骤S700:判断是否收到全选中指令，若是，则生成全部坐标集合，若否，则返回步骤S200；
步骤S800:获取类别信息，并将类别信息与全部坐标集合保存为json文件。
本实施例中，可以通过PC电脑屏幕或者平板电脑屏幕将待标注图像显示给标注员，标注图像上包括前景区域和背景区域，标注员通过鼠标在前景区域点击产生一个鼠标事件，从而获得该鼠标在待标注图像上点击的坐标作为未选择区域坐标点。然后由标注员从键盘输入数值作为第一范围值。第一范围值包括标注员从键盘输入的距离值和角度值，这个距离值表示待标注图像上与未选择区域坐标点满足该距离值的像素点，然后以未选择区域坐标点为圆心转动该角度值选定符合距离值的像素点作为正方形的一个对角点，从而确定一个正方形，形成这个正方形相当于grabcut算法中的画框交互方式。
在通过获取未选择区域坐标点及第一范围值生成正方形后，执行grabcut算法获得分割后的二值化图片。图像分割后，图像会被分为目标物体(即前景)和背景两部分，然后系统内部将目标物体的所有像素设置为黑色，背景的所有像素设置为白色，所以该图像的所有像素也就被分为了两个数值，黑色和白色，这就是二值化图片。将这些数据保存在系统内部，然后对二值化的图片进行边缘跟踪算法获取当前边缘坐标，当前边缘坐标就是当前二值化图片的轮廓像素坐标。
把当前边缘坐标保存为局部坐标集合，将局部坐标集合中的坐标围起来的区域进行高亮或者阴影显示，这部分被高亮或者阴影显示的区域就是已选择区域。在前景图像复杂的情况下，执行第一次grabcut算法的时候，已选择区域可能只是前景的一部分，因此如果标注员没有发送全选中指令的话，就会重新捕捉鼠标的位置形成新的未选择区域坐标点，并等待用户输入新的第一范围值，对未选择区域做grabcut算法获取新的当前边缘坐标。在获取到新的当前边缘坐标后，将新的边缘坐标与前一轮获取的局部坐标集合中的坐标对比，去除掉相同的当前边缘坐标后将剩下的当前边缘坐标加入到局部坐标集合中，再根据这一轮局部坐标集合中的坐标围起来的区域进行高亮或者阴影处理。这一轮的已选择区域就会增大，根据标注员的判断，如果认为当前的已选择区域还未满足精度要求，则会继续重复步骤步骤S200。直到标注员认为已选择区域与前进的重合程度达到要求，就可以发送全选中指令，完成一张待标注图像的标注工作。采用本实施例方法，可以实现多次小范围的图像分割算法，对于轮廓形状复杂的图像可以提高半自动标注的精度。
参照图3所示，为本发明第三实施例的构建正方形的效果图，本发明的第三实施例提供了一种半自动化图像数据标注方法，所述第一范围值用于构建正方形，获取所述第一范围值包括以下步骤：
步骤S210:判断已选择区域是否为空，若是，则执行步骤S300，若否，则执行步骤S220；
步骤S220:判断由第一范围值构建的正方形范围内是否包含局部坐标集合内的坐标，若是，则执行步骤S300。
本实施例中，第一次获取未选择区域坐标点的时候，已选择区域为空，判断的依据是局部坐标集合是否为空，若局部坐标集合中有坐标存在，则判断已选择区域不为空。
在第二次获取未选择区域坐标点的时候，已选择区域不为空。如图3中的3-a、3-b、3-c所示，在第二次用鼠标点击未选择区域以及获取第一范围值之后，会执行grabcut算法获取该正方形范围的二值化图片，然后获取当前边缘坐标，再将当前边缘坐标与第一次的局部坐标集合合并，这个过程叫做更新局部坐标集合。
如图3中的3-d所示，本实施例中规定，若第二次通过未选择区域坐标点和第一范围值形成的正方形的范围内不包括第一次的局部坐标集合中的任一个坐标的，则无法选中，需要标号员重新输入第一范围值。
本发明的第四实施例提供了一种半自动化图像数据标注方法，所述基于获取的局部坐标集合更新所述待标注图像的已选择区域，包括以下步骤：
将所述局部坐标集合里的坐标围起来的区域进行高亮或阴影显示。
本实施例中，将局部坐标集合里的坐标围起来的区域进行高亮或阴影显示，便于标注员确认已选择区域和未选择区域。对局部坐标集合里的坐标围起来的区域内的像素进行亮度调高、颜色调白的操作，方便用户识别目前选中区域。
参照图4所示，是本发明第四实施例提供的一种半自动图像数据标注方法的效果图，对局部坐标集合里的坐标围起来的区域内所有的像素使用阴影算法，使得该区域加上阴影，输出为局部区域变暗的图像，作用是方便用户识别目标物体中被选中的局部区域。
本发明的第五实施例提供了一种半自动化图像数据标注方法，所述基于获取的当前边缘坐标更新局部坐标集合，包括以下步骤：
步骤S510:判断已选择区域是否为空，若是，则将当前边缘坐标加入到局部坐标集合中，若否，则执行步骤S520；
步骤S520:将当前边缘坐标中与局部坐标集合中重复的坐标删除后加入到局部坐标集合中。
本实施例中，每一轮更新一次局部坐标集合，并对局部坐标集合中的坐标围起来的区域进行高亮或者阴影显示，实时反馈给标注员，便于标注员操作。
本发明的第六实施例提供了一种半自动化图像数据标注方法，所述生成全部坐标集合，包括以下步骤：
步骤S710：建立集合A'，将局部坐标集合中的任一个坐标点p0添加到集合A'中，将局部坐标集合中除了p0之外的其他坐标点建立集合A2，将第一标记坐标点p置为p0；
步骤S720：判断集合A2中元素数量是否为零，若否，则执行步骤S720a，若是，则执行步骤S720b；
步骤S720a：计算集合A2中的所有坐标点与第一标记坐标点p的距离d，将第一标记坐标点p置为集合A2中对应于距离d的最小值的坐标点，将集合A2中对应于距离d的最小值的坐标点添加到集合A'中并从集合A2中删除，返回步骤S720；
步骤S720b：按照坐标点添加到所述集合A'中的顺序将坐标点进行排序；
步骤S730：建立全部坐标集合，将p0添加到全部坐标集合中并从集合A'删除，将第二标记坐标点p'置为p0；
步骤S740：判断集合A'中的元素数量是否为一，若否，则执行步骤S740a，若是，则执行步骤S740b；
步骤S740a：判断第二标记坐标点p'与集合A'中排序位于最前两位的两个坐标点是否三点共线，若是，则执行步骤S740a1，若否，则执行步骤S740a2；
步骤S740a1：将集合A'中排序位于最前一位的坐标点从集合A'中删除，返回步骤S740；
步骤S740a2：将第二标记坐标点p'置为集合A'中排序位于最前一位的坐标点，将集合A'中排序位于最前一位的坐标点添加到全部坐标集合中并从集合A'中删除，返回步骤S740；
步骤S740b：将集合A'中的坐标点添加到全部坐标集合中，输出全部坐标集合。
纯人工标注的时候，对于前景区域的部分轮廓是直线的情况，例如，对于真实目标区域是正方形的情况，标注员一般只取用鼠标点击该正方形的四个顶点，两个相邻顶点之间拉一条直线。因此，表示该正方形的坐标只需要四个像素点，极大减少了数据量。而使用半自动化标注方式时，由于使用grabcut算法实现自动分割，并对分割后获得的二值化图片进行边缘跟踪算法获取二值化图片的边缘像素坐标作为当前边缘坐标，因此当前边缘坐标都是一系列互为邻域的像素点组成，而全部坐标集合又是由多次获得的当前边缘坐标构成，造成全部坐标集合的数据量很大。
本实施例提供了将获得的全部坐标集合中的坐标进行简化的算法。该算法包括两部分，第一部分是步骤S710至步骤S720，这些步骤将全部坐标集合中的坐标点按照其添加到集合A'中的顺序进行排序，如果按照添加到集合A'中的顺序依次经过这些全部坐标集合中的坐标点，刚好围成了已选择区域的轮廓。因此步骤S730至步骤S740组成的第二部分，就是按照添加到集合A'中的顺序依次检验该已选择区域轮廓上的相邻的三个点是否共线，如果共线则把中间的点去掉，只保留首尾两个点，实现人工标注时的效果，减少了半自动标注产生的数据量。
本发明第七实施例的计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第二至第六实施例任一项所述的半自动化图像数据标注方法。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (7)

1.一种半自动化图像数据标注方法，其特征在于，包括以下步骤：
步骤S100:显示待标注图像，所述待标注图像包括已选择区域和未选择区域；
步骤S200:获取未选择区域坐标点及第一范围值；
步骤S300:基于获取的获取未选择区域坐标点及第一范围值执行grabcut算法并获得grabcut算法分割后二值化图片；
步骤S400:对二值化图片执行边缘跟踪算法获取当前边缘坐标；
步骤S500:基于获取的当前边缘坐标更新局部坐标集合；
步骤S600:基于获取的局部坐标集合更新所述待标注图像的已选择区域；
步骤S700:判断是否收到全选中指令，若是，则生成全部坐标集合，若否，则返回步骤S200；
步骤S800:获取类别信息，并将类别信息与全部坐标集合保存为json文件。
2.根据权利要求1所述的一种半自动化图像数据标注方法，其特征在于，所述第一范围值用于构建正方形，获取所述第一范围值包括以下步骤：
步骤S210:判断已选择区域是否为空，若是，则执行步骤S300，若否，则执行步骤S220；
步骤S220:判断由第一范围值构建的正方形范围内是否包含局部坐标集合内的坐标，若是，则执行步骤S300。
3.根据权利要求1所述的一种半自动化图像数据标注方法，其特征在于，所述基于获取的局部坐标集合更新所述待标注图像的已选择区域，包括以下步骤：
将所述局部坐标集合里的坐标围起来的区域进行高亮或阴影显示。
4.根据权利要求1所述的一种半自动化图像数据标注方法，其特征在于，所述基于获取的当前边缘坐标更新局部坐标集合，包括以下步骤：
步骤S510:判断已选择区域是否为空，若是，则将当前边缘坐标加入到局部坐标集合中，若否，则执行步骤S520；
步骤S520:将当前边缘坐标中与局部坐标集合中重复的坐标删除后加入到局部坐标集合中。
5.根据权利要求1所述的一种半自动化图像数据标注方法，其特征在于，所述生成全部坐标集合，包括以下步骤：
步骤S710：建立集合A'，将局部坐标集合中的任一个坐标点p0添加到集合A'中，将局部坐标集合中除了p0之外的其他坐标点建立集合A2，将第一标记坐标点p置为p0；
步骤S720：判断集合A2中元素数量是否为零，若否，则执行步骤S720a，若是，则执行步骤S720b；
步骤S720a：计算集合A2中的所有坐标点与第一标记坐标点p的距离d，将第一标记坐标点p置为集合A2中对应于距离d的最小值的坐标点，将集合A2中对应于距离d的最小值的坐标点添加到集合A'中并从集合A2中删除，返回步骤S720；
步骤S720b：按照坐标点添加到所述集合A'中的顺序将坐标点进行排序；
步骤S730：建立全部坐标集合，将p0添加到全部坐标集合中并从集合A'删除，将第二标记坐标点p'置为p0；
步骤S740：判断集合A'中的元素数量是否为一，若否，则执行步骤S740a，若是，则执行步骤S740b；
步骤S740a：判断第二标记坐标点p'与集合A'中排序位于最前两位的两个坐标点是否三点共线，若是，则执行步骤S740a1，若否，则执行步骤S740a2；
步骤S740a1：将集合A'中排序位于最前一位的坐标点从集合A'中删除，返回步骤S740；
步骤S740a2：将第二标记坐标点p'置为集合A'中排序位于最前一位的坐标点，将集合A'中排序位于最前一位的坐标点添加到全部坐标集合中并从集合A'中删除，返回步骤S740；
步骤S740b：将集合A'中的坐标点添加到全部坐标集合中，输出全部坐标集合。
6.电子装置，包括：存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1至5中任一项所述的一种半自动化图像数据标注方法。
7.计算机可读存储介质，存储有计算机可执行指令，其特征在于：所述计算机可执行指令用于执行如权利要求1至5中任一项所述的一种半自动化图像数据标注方法。
CN201911117335.0A 2019-11-15 2019-11-15 半自动化图像数据标注方法、电子装置及存储介质 Active CN110992384B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911117335.0A CN110992384B (zh) 2019-11-15 2019-11-15 半自动化图像数据标注方法、电子装置及存储介质
US17/772,846 US20220375188A1 (en) 2019-11-15 2020-07-06 Semi-automatic image data labeling method, electronic apparatus, and storage medium
PCT/CN2020/100348 WO2021093344A1 (zh) 2019-11-15 2020-07-06 半自动化图像数据标注方法、电子装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911117335.0A CN110992384B (zh) 2019-11-15 2019-11-15 半自动化图像数据标注方法、电子装置及存储介质

Publications (2)

Publication Number Publication Date
CN110992384A true CN110992384A (zh) 2020-04-10
CN110992384B CN110992384B (zh) 2023-04-11

Family

ID=70084617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911117335.0A Active CN110992384B (zh) 2019-11-15 2019-11-15 半自动化图像数据标注方法、电子装置及存储介质

Country Status (3)

Country Link
US (1) US20220375188A1 (zh)
CN (1) CN110992384B (zh)
WO (1) WO2021093344A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985394A (zh) * 2020-08-19 2020-11-24 东南大学 Kitti数据集的半自动实例标注方法及系统
WO2021093344A1 (zh) * 2019-11-15 2021-05-20 五邑大学 半自动化图像数据标注方法、电子装置及存储介质
CN113806573A (zh) * 2021-09-15 2021-12-17 上海商汤科技开发有限公司 标注方法、装置、电子设备、服务器及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230098319A1 (en) * 2021-09-28 2023-03-30 Darvis Inc. Method and system for tracking objects in area

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106406693A (zh) * 2016-08-30 2017-02-15 腾讯科技（深圳）有限公司 图像选中方法及装置
CN108921836A (zh) * 2018-06-28 2018-11-30 京东方科技集团股份有限公司 一种提取眼底图像标注的方法及装置
CN109409376A (zh) * 2018-11-05 2019-03-01 昆山紫东智能科技有限公司 针对固废对象的图像分割方法、计算机终端及存储介质
CN109446369A (zh) * 2018-09-28 2019-03-08 武汉中海庭数据技术有限公司 图像半自动标注的交互方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5968098B2 (ja) * 2012-06-14 2016-08-10 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
CN102982544B (zh) * 2012-11-21 2015-09-30 清华大学 多前景目标图像交互式分割方法
CN104574429A (zh) * 2015-02-06 2015-04-29 北京明兰网络科技有限公司 全景图漫游中交互热点的自动选取方法
CN109426793A (zh) * 2017-09-01 2019-03-05 中兴通讯股份有限公司 一种图像行为识别方法、设备及计算机可读存储介质
CN110992384B (zh) * 2019-11-15 2023-04-11 五邑大学 半自动化图像数据标注方法、电子装置及存储介质
CN111028261B (zh) * 2019-11-15 2023-03-17 五邑大学 高精度半自动化图像数据标注方法、电子装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106406693A (zh) * 2016-08-30 2017-02-15 腾讯科技（深圳）有限公司 图像选中方法及装置
CN108921836A (zh) * 2018-06-28 2018-11-30 京东方科技集团股份有限公司 一种提取眼底图像标注的方法及装置
CN109446369A (zh) * 2018-09-28 2019-03-08 武汉中海庭数据技术有限公司 图像半自动标注的交互方法及系统
CN109409376A (zh) * 2018-11-05 2019-03-01 昆山紫东智能科技有限公司 针对固废对象的图像分割方法、计算机终端及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021093344A1 (zh) * 2019-11-15 2021-05-20 五邑大学 半自动化图像数据标注方法、电子装置及存储介质
CN111985394A (zh) * 2020-08-19 2020-11-24 东南大学 Kitti数据集的半自动实例标注方法及系统
CN113806573A (zh) * 2021-09-15 2021-12-17 上海商汤科技开发有限公司 标注方法、装置、电子设备、服务器及存储介质

Also Published As

Publication number Publication date
US20220375188A1 (en) 2022-11-24
WO2021093344A1 (zh) 2021-05-20
CN110992384B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN110992384B (zh) 半自动化图像数据标注方法、电子装置及存储介质
CN111028261B (zh) 高精度半自动化图像数据标注方法、电子装置及存储介质
CN106909902B (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN110910401A (zh) 半自动化图像分割数据标注方法、电子装置及存储介质
JP2019036167A (ja) 画像処理装置、画像処理方法
CN102096831B (zh) 一种图形动态关系识别方法
CN110910414B (zh) 图像轮廓生成方法、图像标注方法、电子装置及存储介质
CN110163864B (zh) 图像分割方法、装置、计算机设备和存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN112967255A (zh) 一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法
CN112037180B (zh) 染色体分割方法及装置
CN113158895A (zh) 票据识别方法、装置、电子设备及存储介质
CN114241326A (zh) 一种渐进式遥感影像地物要素智能生产方法及系统
CN110874170A (zh) 一种图像区域修正方法、图像分割方法及装置
CN113033386A (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN115546824B (zh) 禁忌图片识别方法、设备及存储介质
CN115830025A (zh) 白细胞分类计数方法、系统、存储介质及计算机设备
CN112435274B (zh) 一种基于面向对象分割的遥感影像面状地物提取方法
CN111382645B (zh) 电子地图中识别过期建筑的方法和系统
CN112634240A (zh) 基于阈值分割的甲状腺超声图像干扰界面自动识别去除方法
CN109871910A (zh) 一种手写字符识别方法及装置
US20240153095A1 (en) Side Outer Extraction System And Method
CN115565201B (zh) 禁忌图片识别方法、设备及存储介质
CN116895022B (zh) 基于点云数据处理的建筑物边界提取方法
CN117593648B (zh) 基于弱监督学习的遥感目标建筑物提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant