CN113160257B - 图像数据标注方法、装置、电子设备及存储介质 - Google Patents
图像数据标注方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113160257B CN113160257B CN202110443655.6A CN202110443655A CN113160257B CN 113160257 B CN113160257 B CN 113160257B CN 202110443655 A CN202110443655 A CN 202110443655A CN 113160257 B CN113160257 B CN 113160257B
- Authority
- CN
- China
- Prior art keywords
- curve
- image
- labeling
- determining
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 120
- 230000011218 segmentation Effects 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于计算机技术领域，提供了图像数据标注方法、装置、电子设备及存储介质，包括：获取初始标注图像，所述初始标注图像为将原图像输入第一语义分割模型根据像素类别得到的图像；确定所述初始标注图像中每类像素所在区域对应的外轮廓；对各个所述外轮廓进行多边形拟合，得到各个所述外轮廓分别对应的多边形；根据各个所述多边形的顶点进行锚点标注，得到目标标注数据。本申请实施例能够提高语义分割的图像数据标注效率。
Description
技术领域
本申请属于计算机技术领域，尤其涉及一种图像数据标注方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的发展，深度神经网络被广泛应用于计算机视觉领域。目前，基于深度神经网络的图像处理任务大致包括图像分类任务、目标检测任务、语义分割任务等，通过相应标注好的数据集对深度神经网络进行训练，可以得到能够执行相应任务的分类模型、目标检测模型、语义分割模型等。通常，这些数据集由人工进行标注，其中，由于语义分割模型为像素级的分类模型，因此，训练语义分割模型所需的数据集通常需要在原图像的多个像素点上进行标注得到，其标注过程复杂，耗费的时间成本和人力成本较高，即，现有语义分割对应的图像数据标注效率较低。
发明内容
有鉴于此，本申请实施例提供了图像数据标注方法、装置、电子设备及存储介质，以解决现有技术中如何提高语义分割的图像数据标注效率的问题。
本申请实施例的第一方面提供了一种图像数据标注方法，包括：
获取初始标注图像，所述初始标注图像为将原图像输入第一语义分割模型根据像素类别得到的图像；
确定所述初始标注图像中每类像素所在区域对应的外轮廓；
对各个所述外轮廓进行多边形拟合，得到各个所述外轮廓分别对应的多边形；
根据各个所述多边形的顶点进行锚点标注，得到目标标注数据。
本申请实施例的第二方面提供了一种图像数据标注装置，包括：
获取单元，用于获取初始标注图像，所述初始标注图像为将原图像输入第一语义分割模型根据像素类别得到的图像；
外轮廓确定单元，用于确定所述初始标注图像中每类像素所在区域对应的外轮廓；
多边形拟合单元，用于对各个所述外轮廓进行多边形拟合，得到各个所述外轮廓分别对应的多边形；
锚点标注单元，用于根据各个所述多边形的顶点进行锚点标注，得到目标标注数据。
本申请实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，使得电子设备实现如所述图像数据标注方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得电子设备实现如所述图像数据标注方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行所述图像数据标注方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，通过获取初始标注图像，确定初始标注图像中每类像素所在区域对应的外轮廓，并确定各个外轮廓对应的多边形，根据各个多边形的顶点进行锚点标注，得到目标标注数据。由于该初始标注图像为将原图像输入第一语义分割模型根据像素类别进行处理得到的图像，基于该初始标注图像进行外轮廓确定、多边形拟合、锚点标注等处理，能够自动准确地生成目标标注数据，因此在无需耗费大量的人力成本和时间成本的情况下，就能够自动高效地得到大量的标注数据，从而能够提高语义分割的图像数据标注效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像数据标注方法的实现流程示意图；
图2是本申请实施例提供的一种图像数据标注装置的示意图；
图3是本申请实施例提供的电子设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
目前，由于语义分割模型为像素级的分类模型，因此，训练语义分割模型所需的数据集通常需要在原图像的多个像素点上进行标注得到，其标注过程复杂，耗费的时间成本和人力成本较高，即，现有语义分割对应的图像数据标注效率较低。为了解决该技术问题，本申请实施例提供了一种图像数据标注方法、装置、电子设备及存储介质，通过获取初始标注图像，确定初始标注图像中每类像素所在区域对应的外轮廓，并确定各个外轮廓对应的多边形，根据各个多边形的顶点进行锚点标注，得到目标标注数据。由于该初始标注图像为将原图像输入第一语义分割模型根据像素类别得到的图像，基于该初始标注图像进行外轮廓确定、多边形拟合、锚点标注等处理，能够自动准确地生成目标标注数据，因此在无需耗费大量的人力成本和时间成本的情况下，就能够自动高效地得到大量的标注数据，从而能够提高语义分割的图像数据标注效率。
实施例一：
图1示出了本申请实施例提供的一种图像数据标注方法的流程示意图，该图像数据标注方法的执行主体为电子设备，包括但不限于个人电脑、服务器、笔记本等，如图1所示的图像数据标注方法详述如下：
在S101中，获取初始标注图像，所述初始标注图像为将原图像第一语义分割模型根据像素类别得到的图像。
本申请实施例中，第一语义分割模型为提前根据少量(预设数目)标注好的图像数据集训练得到的语义分割模型，该图像数据集可以为开源的公开数据集，也可以为根据当前的图像处理任务人工标注得到的数据集。本申请实施例中的初始标注图像为将原图像输入该第一语义分割模型进行处理得到的图像。具体地，可以通过摄像机拍摄或者从图像数据库中获取到与当前的图像处理任务的内容相关的原图像，并将该原图像输入至该第一语义分割模型进行像素分类处理，即可得到该初始标注图像。具体地，该第一语义分割模型基于原图像中每个像素的像素信息(可以包括像素坐标值、像素灰度值、像素RGB值等信息)，将原图像中的每个像素分为不同的类别(每个类别用于标识一个特定的物体，例如人体、动物、路面标识等)，并将相同类别的像素采用同一颜色(或者同一灰度值)表示，不同类别的像素采用不同的颜色(或者不同灰度值)表示，从而实现对原图像的像素分类处理，得到初始标注图像。
可选地，在所述步骤S101之前，还包括：
获取预设数目人工标注的第一样本图像；
根据所述第一样本图像对待训练的语义分割模型进行训练，得到第一语义分割模型。
本申请实施例中，在获取初始标注图像之前，可以先获取预设数目人工标注的第一样本图像。具体地，可以通过获取预设数目的原图像并依次进行显示，之后接收用户在该显示的原图像上操作的标注指令(例如滑动指令、点击指令)，完成对该原图像的标注，得到对应的第一样本图像。
之后根据该第一样本图像对待训练的语义分割模型进行初步的训练，得带该第一语义分割模型。
本申请实施例中，通过预设数目人工标注的第一样本图像来对待训练的语义分割模型进行训练，得到第一语义分割模型，从而能够通过少量的人工标注数据来初步得到第一语义分割模型，使得后续能够借助该第一语义分割模型得到的初始标注图像，并基于该初始标注图像自动得到原图像的目标标注数据，保证后续能够高效地实现自动的图像数据标注。并且，由于人工标注的第一样本图像相对于公开的数据集来说，能够更加适用于当前用户需要的语义分割任务，因此基于该人工标注的第一样本图像能够训练得到更准确的第一语义分割模型，使得后续根据该第一语义分割模型能够获得准确的初始标注图像。
在S102中，确定所述初始标注图像中每类像素所在区域对应的外轮廓。
本申请实施例中，如上所述，初始标注图像中的每个类别的像素采用不同的颜色(或者灰度值)来区分表示，因此对于各个类别的像素，可以根据初始标注图像中的像素的像素信息，确定由同一类别的像素组成的区域，从而确定每个类别的像素的所在区域，并提取该所在区域的外轮廓。例如，可以确定初始标注图像中像素信息为红色的像素作为一个类别的像素，并根据该类别的像素所在的区域确定该类像素的外轮廓，该外轮廓通常与原图像中一个类别的图像信息相对应，例如可以为原图像中包含的人体图像对应的轮廓或者物体图像对应的轮廓。在一个实施例中，可以先对初始标注图像进行去噪处理后，再确定各个类别的像素所在区域对应的外轮廓。
可选地，所述步骤S102，包括：
确定所述初始标注图像中每类像素分别对应的连通域；
过滤像素数量小于第一预设阈值的所述连通域，并根据过滤后剩余的各个所述连通域分别确定各个所述外轮廓。
本申请实施例中，具体可以根据初始标识图像中各个像素点的像素信息(可以为颜色信息、灰度值信息等)求得各个像素点的邻域(例如4邻域、8邻域、D邻域)等，并将相同类别的像素点的邻域进行拼接，得到各个类别的像素分别对应的连通域。
之后，将各个连通域中像素数量小于第一预设阈值的连通域滤除，得到剩余的像素数量大于或者等于第一预设阈值的各个连通域，并提取各个连通域的外轮廓，从而得到各个类别的像素分别对应的外轮廓。其中，该第一预设阈值可以根据实际情况提前设定。示例性地，该第一预设阈值可以为25个像素。
本申请实施例中，通过连通域的提取及过滤，能够去除杂点，准确地确定各个类别的像素对应的外轮廓。
在S103中，对各个所述外轮廓进行多边形拟合，得到各个所述外轮廓分别对应的多边形。
本申请实施例中，在确定各个类别的像素分别对应的外轮廓之后，通过多边形拟合算法对各个外轮廓分别进行多边形拟合，得到各个外轮廓分别对应的多边形。
可选地，所述步骤S103，包括：
对于各个所述外轮廓，分别作如下处理：
A1：确定所述外轮廓对应的初始的曲线；
A2：将所述曲线的首端点和所述曲线的尾端点之间的直线段确定为所述曲线的弦；
A3：从所述曲线中确定与所述曲线的弦距离最大的点作为所述曲线的目标点；
A4：若所述曲线的目标点与所述曲线的弦的距离小于或者等于第二预设阈值，则确定所述曲线处理完毕，并以所述曲线的弦为目标线段；否则，以所述曲线的首端点与所述曲线的目标点之间的曲线段，以及所述曲线的目标点与所述曲线的尾端点之间的曲线段分别作为两条新的曲线，并返回所述确定所述曲线的首端点和尾端点的步骤及后续的步骤；
A5：若检测到所有曲线均处理完毕，则根据各条所述目标线段，组合得到所述外轮廓对应的多边形。
本申请实施例中，对于每个外轮廓，可以通过上述的步骤A1至步骤A5，求得该外轮廓对应的多边形。
在步骤A1中，可以确定该外轮廓对应的初始的曲线，具体地，可以根据该外轮廓包含的像素点的集合，绘制一条能够与该外轮廓大致重合的曲线作为该外轮廓对应的初始的曲线。
在步骤A2中，将该曲线的首尾两个像素点分别称为该曲线的首端点A，和该曲线的尾端点B，并将这两个端点之间的直线段确定为该曲线的弦AB。
在步骤A3中，从该曲线中确定一个与该曲线的弦AB的距离最大的像素点作为该曲线的目标点C。
在步骤A4中，若该曲线的目标点C与该曲线的弦AB之间的距离小于或者等于预设的第二预设阈值，则说明当前该曲线的弦AB与该曲线在误差范围内近似，因此此时可以确定该曲线处理完毕，无需进一步切分，并将该曲线的弦AB作为能够近似表示该段曲线的目标线段。相反地，若该曲线的目标点C与该曲线的弦AB之间的距离大于该第二预设阈值，则说明当前曲线的弦与该曲线不近似，此时需要进一步对该曲线进行切分处理得到更小的曲线。具体地，以该曲线的首端点A和该曲线的目标点C之间的曲线段AC作为一条新的曲线，以该曲线的目标点C和该曲线的尾端点B之间的曲线段CB作为另一条新的曲线，即，将原来的曲线切分为AC、CB两条新的曲线，之后，返回步骤A2，对于每条新的曲线，继续上述的步骤A2至步骤A4的处理，直至该曲线处理完毕。
在步骤A5中，当检测到所有切分到的曲线均处理完毕后，将所有确定出的目标线段进行首尾拼接，组合得到该外轮廓对应的多边形。
本申请实施例中，通过曲线的弦和目标点的距离关系的判定和新的曲线确定，使得最终能够得到各条能够近似表示各段曲线的目标线段，从而能够根据各条目标线段准确地拟合出该外轮廓对应的多边形。
可选地，所述第二预设阈值根据所述外轮廓对应的周长而确定。
本申请实施例中，上述的第二预设阈值具体根据外轮廓对应的初始的曲线的周长自适应确定。具体地，设该外轮廓对应的周长为L，则该第二预设阈值threshold＝0.02×L。
本申请实施例中，由于能够根据该外轮廓的周长自适应确定该第二预设阈值，因此能够进一步提高多边形拟合的准确性。
在S104中，根据各个所述多边形的顶点进行锚点标注，得到目标标注数据。
本申请实施例中，在得到各个多边形之后，将该多边形对应的各个顶点作为各个锚点进行标注，从而得到目标标识数据。具体地，多边形对应的各个顶点即为组成多边形的各个目标线段对应的端点。具体地，可以通过预设的标注工具，例如Labelme标注软件(一个图形界面的图像标注软件)，对各个多边形进行自动的锚点标注，生成对应的json标注文件作为目标标注数据。其中，json(JavaScript Object Notation)是一种轻量级的数据交换格式。
可选地，所述步骤S104，包括：
根据各个所述多边形的顶点，通过预设的标注工具进行锚点标注，得到初始的锚点标注信息；
接收修改指令，修改所述锚点标注信息，得到目标标注数据。
本申请实施例中，在根据各个多边形的顶点，通过预设的标注工具进行锚点标注，得到初始的锚点标注信息后，将与该初始标注图像对应的原图像(即输入第一语义分割模型之前的原图像)和该初始的锚点标注信息一同显示至预览画面中供用户进行预览。之后，用户在观察到该预览画面中存在标注不准确的锚点时，通过在该预览画面上进行点击或者划动操作，发出修改指令。之后，电子设备接收该修改指令，修改该锚点标注信息中对应的一个或者多个锚点的位置，得到修改后的锚点标注信息，并将该修改后的锚点标注信息作为最终输出的目标标注数据。
本申请实施例中，由于在根据预设标注工具获取到初始的锚点标注信息后，能够进一步地接收修改指令进行锚点标注信息的修改，因此能够进一步保证图像数据标注的准确性。并且，由于该修改指令具体是在得到初始的锚点标注信息后对少量锚点进行修改，因此其操作简单，相对于直接进行一整张图像的人工标注的方式，能够在保证准确性的同时，提高图像数据标注的效率。
可选地，在所述步骤S104之后，还包括：
根据所述目标标注数据对所述第一语义分割模型进行训练，得到第二语义分割模型。
本申请实施例中，在得到目标标注数据后，可以将初始标注图像对应的原图像与该目标标注数据组合得到携带锚点标注信息的第二样本图像。通过步骤S101至步骤S104自动获取多张初始标注图像对应的目标标注数据，即可根据该各个目标标注数据自动生成对应的多张第二样本图像。将自动生成的第二样本图像输入第一语义分割模型，对该第一语义分割模型进行进一步的训练，即可得到能够执行更加准确的图像分割任务的第二语义分割模型。
本申请实施例中，通过图像数据标注方法能够自动高效地生成更多的目标标注数据，并根据该目标标注数据自动高效地对第一语义分割模型进行进一步的训练得到第二语义分割模型，因此能够高效准确地实现语义分割模型的训练。
本申请实施例中，通过获取初始标注图像，确定初始标注图像中每类像素所在区域对应的外轮廓，并确定各个外轮廓对应的多边形，根据各个多边形的顶点进行锚点标注，得到目标标注数据。由于该初始标注图像为将原图像输入第一语义分割模型根据像素类别得到的图像，基于该初始标注图像进行外轮廓确定、多边形拟合、锚点标注等处理，能够自动准确地生成目标标注数据，因此在无需耗费大量的人力成本和时间成本的情况下，就能够自动高效地得到大量的标注数据，从而能够提高语义分割的图像数据标注效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例二：
图2示出了本申请实施例提供的一种图像数据标注装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分：
该图像数据标注装置包括：获取单元21、外轮廓确定单元22、多边形拟合单元23、锚点标注单元24。其中：
获取单元21，用于获取初始标注图像，所述初始标注图像为将原图像输入第一语义分割模型根据像素类别得到的图像。
外轮廓确定单元22，用于确定所述初始标注图像中每类像素所在区域对应的外轮廓。
多边形拟合单元23，用于对各个所述外轮廓进行多边形拟合，得到各个所述外轮廓分别对应的多边形。
锚点标注单元24，用于根据各个所述多边形进行锚点标注，得到目标标注数据。
可选地，所述外轮廓确定单元22，具体用于确定所述初始标注图像中每类像素分别对应的连通域；过滤像素数量小于第一预设阈值的所述连通域，并根据过滤后剩余的各个所述连通域分别确定各个所述外轮廓。
可选地，所述多边形拟合单元23，具体用于对于各个所述外轮廓，分别作如下处理：确定所述外轮廓对应的初始的曲线；将所述曲线的首端点和所述曲线的尾端点之间的直线段确定为所述曲线的弦；从所述曲线中确定与所述曲线的弦距离最大的点作为所述曲线的目标点；若所述曲线的目标点与所述曲线的弦的距离小于或者等于第二预设阈值，则确定所述曲线处理完毕，并以所述曲线的弦为目标线段；否则，以所述曲线的首端点与所述曲线的目标点之间的曲线段，以及所述曲线的目标点与所述曲线的尾端点之间的曲线段分别作为两条新的曲线，并返回执行所述将所述曲线的首端点和所述曲线的尾端点之间的直线段确定为所述曲线的弦的步骤及后续的步骤；若检测到所有曲线均处理完毕，则根据各条所述目标线段，组合得到所述外轮廓对应的多边形。
可选地，所述第二预设阈值根据所述外轮廓对应的周长而确定。
可选地，所述锚点标注单元24，具体用于根据各个所述多边形的顶点，通过预设的标注工具进行锚点标注，得到初始的锚点标注信息；接收修改指令，修改所述锚点标注信息，得到目标标注数据。
可选地，所述图像数据标注装置，还包括：
第一训练单元，用于获取预设数目人工标注的第一样本图像；根据所述第一样本图像对待训练的语义分割模型进行训练，得到第一语义分割模型。
可选地，所述图像数据标注装置，还包括：
第二训练单元，用于根据所述目标标注数据对所述第一语义分割模型进行训练，得到第二语义分割模型。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
实施例三：
图3是本申请一实施例提供的电子设备的示意图。如图3所示，该实施例的电子设备3包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32，例如图像数据标注程序。所述处理器30执行所述计算机程序32时实现上述各个图像数据标注方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，所述处理器30执行所述计算机程序32时实现上述各装置实施例中各模块/单元的功能，例如图2所示获取单元21至锚点标注单元24的功能。
示例性的，所述计算机程序32可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述处理器30执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序32在所述电子设备3中的执行过程。
所述电子设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31可以是所述电子设备3的内部存储单元，例如电子设备3的硬盘或内存。所述存储器31也可以是所述电子设备3的外部存储设备，例如所述电子设备3上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器31还可以既包括所述电子设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种图像数据标注方法，其特征在于，包括：
获取初始标注图像，所述初始标注图像为将原图像输入第一语义分割模型根据像素类别得到的图像；
确定所述初始标注图像中每类像素所在区域对应的外轮廓；
对各个所述外轮廓进行多边形拟合，得到各个所述外轮廓分别对应的多边形；
根据各个所述多边形的顶点进行锚点标注，得到目标标注数据；
所述确定所述初始标注图像中每类像素所在区域对应的外轮廓，包括：
确定所述初始标注图像中每类像素对应的连通域；
过滤像素数量小于第一预设阈值的所述连通域，并根据过滤后剩余的各个所述连通域分别确定各个所述外轮廓；
所述对各个所述外轮廓进行多边形拟合，得到各个所述外轮廓分别对应的多边形，包括：
对于各个所述外轮廓，分别作如下处理：
确定所述外轮廓对应的初始的曲线；
将所述曲线的首端点和所述曲线的尾端点之间的直线段确定为所述曲线的弦；
从所述曲线中确定与所述曲线的弦距离最大的点作为所述曲线的目标点；
若所述曲线的目标点与所述曲线的弦的距离小于或者等于第二预设阈值，则确定所述曲线处理完毕，并以所述曲线的弦为目标线段；否则，以所述曲线的首端点与所述曲线的目标点之间的曲线段，以及所述曲线的目标点与所述曲线的尾端点之间的曲线段分别作为两条新的曲线，并返回执行所述将所述曲线的首端点和所述曲线的尾端点之间的直线段确定为所述曲线的弦的步骤及后续的步骤；
若检测到所有曲线均处理完毕，则根据各条所述目标线段，组合得到所述外轮廓对应的多边形。
2.如权利要求1所述的图像数据标注方法，其特征在于，所述第二预设阈值根据所述外轮廓对应的周长而确定。
3.如权利要求1所述的图像数据标注方法，其特征在于，所述根据各个所述多边形的顶点进行锚点标注，得到目标标注数据，包括:
根据各个所述多边形的顶点，通过预设的标注工具进行锚点标注，得到初始的锚点标注信息；
接收修改指令，修改所述锚点标注信息，得到目标标注数据。
4.如权利要求1至3任意一项所述的图像数据标注方法，其特征在于，在所述获取初始标注图像之前，还包括：
获取预设数目人工标注的第一样本图像；
根据所述第一样本图像对待训练的语义分割模型进行训练，得到第一语义分割模型。
5.如权利要求1至3任意一项所述的图像数据标注方法，其特征在于，在所述根据各个所述多边形的顶点进行锚点标注，得到目标标注数据之后，还包括：
根据所述目标标注数据对所述第一语义分割模型进行训练，得到第二语义分割模型。
6.一种图像数据标注装置，其特征在于，包括：
获取单元，用于获取初始标注图像，所述初始标注图像为将原图像输入第一语义分割模型根据像素类别得到的图像；
外轮廓确定单元，用于确定所述初始标注图像中每类像素所在区域对应的外轮廓；
多边形拟合单元，用于对各个所述外轮廓进行多边形拟合，得到各个所述外轮廓分别对应的多边形；
锚点标注单元，用于根据各个所述多边形的顶点进行锚点标注，得到目标标注数据；
所述外轮廓确定单元，具体用于确定所述初始标注图像中每类像素分别对应的连通域；过滤像素数量小于第一预设阈值的所述连通域，并根据过滤后剩余的各个所述连通域分别确定各个所述外轮廓；
所述多边形拟合单元，具体用于对于各个所述外轮廓，分别作如下处理：确定所述外轮廓对应的初始的曲线；将所述曲线的首端点和所述曲线的尾端点之间的直线段确定为所述曲线的弦；从所述曲线中确定与所述曲线的弦距离最大的点作为所述曲线的目标点；若所述曲线的目标点与所述曲线的弦的距离小于或者等于第二预设阈值，则确定所述曲线处理完毕，并以所述曲线的弦为目标线段；否则，以所述曲线的首端点与所述曲线的目标点之间的曲线段，以及所述曲线的目标点与所述曲线的尾端点之间的曲线段分别作为两条新的曲线，并返回执行所述将所述曲线的首端点和所述曲线的尾端点之间的直线段确定为所述曲线的弦的步骤及后续的步骤；若检测到所有曲线均处理完毕，则根据各条所述目标线段，组合得到所述外轮廓对应的多边形。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，使得电子设备实现如权利要求1至5任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，使得电子设备实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443655.6A CN113160257B (zh) | 2021-04-23 | 2021-04-23 | 图像数据标注方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443655.6A CN113160257B (zh) | 2021-04-23 | 2021-04-23 | 图像数据标注方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113160257A CN113160257A (zh) | 2021-07-23 |
| CN113160257B true CN113160257B (zh) | 2024-01-16 |
Family
ID=76870027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110443655.6A Active CN113160257B (zh) | 2021-04-23 | 2021-04-23 | 图像数据标注方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160257B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673521A (zh) * | 2021-08-27 | 2021-11-19 | 中汽创智科技有限公司 | 一种分割数据标注方法、装置、电子设备及存储介质 |
| CN113470051B (zh) * | 2021-09-06 | 2022-02-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分割方法、计算机终端及存储介质 |
| CN114332109B (zh) * | 2021-12-10 | 2024-04-09 | 深圳致星科技有限公司 | 料件重量获取方法、装置、电子设备及存储介质 |
| CN114202654B (zh) * | 2022-02-17 | 2022-04-19 | 广东皓行科技有限公司 | 一种实体目标的模型构建方法、存储介质和计算机设备 |
| CN114332140B (zh) * | 2022-03-16 | 2022-07-12 | 北京文安智能技术股份有限公司 | 一种交通道路场景图像的处理方法 |
| CN114638818B (zh) * | 2022-03-29 | 2023-11-03 | 广东利元亨智能装备股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN115601385B (zh) * | 2022-04-12 | 2023-05-05 | 北京航空航天大学 | 气泡形态处理方法、设备及介质 |
| CN114820679B (zh) * | 2022-07-01 | 2023-04-18 | 小米汽车科技有限公司 | 图像标注方法、装置、电子设备和存储介质 |
| CN115619811B (zh) * | 2022-12-16 | 2023-04-14 | 北京远舢智能科技有限公司 | 一种烟支数量的确定方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993750A (zh) * | 2017-12-29 | 2019-07-09 | 中国科学院深圳先进技术研究院 | 一种手腕骨的分割识别方法及系统、终端及可读存储介质 |
| CN110866930A (zh) * | 2019-11-18 | 2020-03-06 | 北京云聚智慧科技有限公司 | 语义分割辅助标注方法与装置 |
| CN111126266A (zh) * | 2019-12-24 | 2020-05-08 | 上海智臻智能网络科技股份有限公司 | 文本处理方法、文本处理系统、设备及介质 |
| WO2020125495A1 (zh) * | 2018-12-17 | 2020-06-25 | 中国科学院深圳先进技术研究院 | 一种全景分割方法、装置及设备 |
| CN112132750A (zh) * | 2020-09-25 | 2020-12-25 | 北京猿力未来科技有限公司 | 一种视频处理方法与装置 |
| CN112329659A (zh) * | 2020-11-10 | 2021-02-05 | 平安科技（深圳）有限公司 | 基于车辆图像的弱监督语义分割方法及其相关设备 |
-
2021
- 2021-04-23 CN CN202110443655.6A patent/CN113160257B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993750A (zh) * | 2017-12-29 | 2019-07-09 | 中国科学院深圳先进技术研究院 | 一种手腕骨的分割识别方法及系统、终端及可读存储介质 |
| WO2020125495A1 (zh) * | 2018-12-17 | 2020-06-25 | 中国科学院深圳先进技术研究院 | 一种全景分割方法、装置及设备 |
| CN110866930A (zh) * | 2019-11-18 | 2020-03-06 | 北京云聚智慧科技有限公司 | 语义分割辅助标注方法与装置 |
| CN111126266A (zh) * | 2019-12-24 | 2020-05-08 | 上海智臻智能网络科技股份有限公司 | 文本处理方法、文本处理系统、设备及介质 |
| CN112132750A (zh) * | 2020-09-25 | 2020-12-25 | 北京猿力未来科技有限公司 | 一种视频处理方法与装置 |
| CN112329659A (zh) * | 2020-11-10 | 2021-02-05 | 平安科技（深圳）有限公司 | 基于车辆图像的弱监督语义分割方法及其相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113160257A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113160257B (zh) | 图像数据标注方法、装置、电子设备及存储介质 | |
| CN108765278B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| CN110705583A (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
| CN109886928B (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
| CN110874594A (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
| US11886492B2 (en) | Method of matching image and apparatus thereof, device, medium and program product | |
| CN112348765A (zh) | 数据增强方法、装置、计算机可读存储介质及终端设备 | |
| CN112418216A (zh) | 一种复杂自然场景图像中的文字检测方法 | |
| CN110969046B (zh) | 人脸识别方法、设备及计算机可读存储介质 | |
| CN112651953A (zh) | 图片相似度计算方法、装置、计算机设备及存储介质 | |
| CN112419214A (zh) | 一种标注图像生成方法、装置、可读存储介质及终端设备 | |
| CN114581646A (zh) | 文本识别方法、装置、电子设备及存储介质 | |
| JP2022168167A (ja) | 画像処理方法、装置、電子機器及び記憶媒体 | |
| CN112257629A (zh) | 一种建筑图纸的文本信息识别方法及装置 | |
| CN112966687B (zh) | 图像分割模型训练方法、装置及通信设备 | |
| CN109117837B (zh) | 感兴趣区域确定方法和设备 | |
| CN113487473A (zh) | 一种添加图像水印的方法、装置、电子设备及存储介质 | |
| CN115393470B (zh) | 一种文物数字线图的绘制方法、绘制系统及绘制装置 | |
| CN108491820B (zh) | 图像中肢体表示信息的识别方法、装置及设备、存储介质 | |
| EP4345741A1 (en) | Image content extraction method and apparatus, and terminal and storage medium | |
| CN112801238B (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
| CN112991308B (zh) | 一种图像质量的确定方法、装置、电子设备和介质 | |
| CN111582286B (zh) | 印刷电路板同质化确定方法和装置 | |
| CN114708237A (zh) | 一种用于头发健康状况的检测算法 | |
| CN111191580A (zh) | 合成渲染方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |