CN110570434B - 一种图像分割标注方法和装置 - Google Patents

一种图像分割标注方法和装置 Download PDF

Info

Publication number
CN110570434B
CN110570434B CN201810576571.8A CN201810576571A CN110570434B CN 110570434 B CN110570434 B CN 110570434B CN 201810576571 A CN201810576571 A CN 201810576571A CN 110570434 B CN110570434 B CN 110570434B
Authority
CN
China
Prior art keywords
contour
target object
segmentation
new
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810576571.8A
Other languages
English (en)
Other versions
CN110570434A (zh
Inventor
周健
孙海鸣
谢迪
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810576571.8A priority Critical patent/CN110570434B/zh
Publication of CN110570434A publication Critical patent/CN110570434A/zh
Application granted granted Critical
Publication of CN110570434B publication Critical patent/CN110570434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像分割标注方法和装置，该方法包括：从待分割图像中截取图像块，所述图像块中包含一个待分割的目标对象；使用训练好的分割模型对所述图像块进行分割，得到所述目标对象的分割结果；所述分割模型用于预测不同类别的物体的分割结果并为不同类别的物体的分割结果赋予相同的真值；接收标注指令，将所述目标对象的分割结果的真值设置成所述标注指令所指定的真值。本申请实施例提供了一种半自动化的分割标注工具，在保证和人工标注相同精度的情况下，能够减少标注时间和人力成本。

Description

一种图像分割标注方法和装置
技术领域
本申请涉及图像识别技术领域，尤其涉及一种图像分割标注方法和装置。
背景技术
图像分割可以包括语义分割(Semantic segmentation，SS)和实例分割(InstanceSegmentation，IS)。SS的目的是对图像中的每个像素进行分类，即为每个像素打上类别标签；而IS不但要进行像素级别的分类，还需要在具体的类别基础上区别开不同的实例。
当前大多数SS算法和IS算法都是基于深度学习的方式，而深度学习的效果很大程度上依赖于大量的训练数据，大规模的训练数据需要花费很大的人力物力和时间去标注。
发明内容
有鉴于此，本申请实施例提供一种图像分割标注方法，用以提供一种半自动化的分割标注工具，在保证和人工标注相同精度的情况下，能够减少标注时间和人力成本。
具体地，本申请实施例是通过如下技术方案实现的：
本申请实施例第一方面，提供了一种图像分割标注方法，包括：
从待分割图像中截取图像块，所述图像块中包含一个待分割的目标对象；
使用训练好的分割模型对所述图像块进行分割，得到所述目标对象的分割结果；所述分割模型用于预测不同类别的物体的分割结果并为不同类别的物体的分割结果赋予相同的真值；
接收标注指令，将所述目标对象的分割结果的真值设置成所述标注指令所指定的真值。
本申请实施例第二方面，提供了一种图像分割标注装置，具有实现上述第一方面提供的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或单元。
一种实现方式中，所述装置可以包括：
截取模块，用于从待分割图像中截取图像块，所述图像块中包含一个待分割的目标对象；
分割模块，用于使用训练好的分割模型对所述图像块进行分割，得到所述目标对象的分割结果；所述分割模型用于预测不同类别的物体的分割结果并为不同类别的物体的分割结果赋予相同的真值；
标注模块，用于接收标注指令，将所述目标对象的分割结果的真值设置成所述标注指令所指定的真值。
另一种实现方式中，所述装置可以包括处理器、存储器和总线，所述处理器和所述存储器之间通过总线相互连接；所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行本申请实施例第一方面提供的方法。
本申请实施例能够提供一种高效的图像分割标注工具，可以用来为SS和IS标注训练数据。本申请实施例在训练时，收集单个物体的图像块和对应的标签图片送入分割模型进行训练，由于标签图片上使用了固定真值标注所有的物体类别，使得训练得到的分割模型具有良好的分割性能。在应用时，本申请实施例将待分割图像分解为多个图像块，每个图像块包含一个待分解的目标对象，然后将多个图像块分别送入分割模型进行目标分割，这种方式相比直接将完整的待分割图像送入分割模型进行目标分割，在分割难度上有所下降，在分割精度上有所提升。
附图说明
图1是训练数据的标注示意图；
图2是本申请实施例提供的方法流程图；
图3是本申请实施例提供的原始图片和标签图片的示意图；
图4是本申请实施例提供的外扩矩形框的示意图；
图5是PSPNet的网络结构示意图；
图6是本申请实施例提供的对图4所示场景图进行分割标注的示意图；
图7是本申请实施例提供的另一方法流程图；
图8是Douglas-Peucker算法示意图；
图9是本申请实施例提供的装置模块框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
图1为本申请实施例的真值设定的一个示例，物体真值的设定也可以采用其他方式，并不限于此。参见图1，从左至右依次为原图、为SS标注的训练数据、为IS标注的训练数据。从图1可见，SS和IS使用的训练数据不仅要提供具有丰富特征的图像，还要指明图像中包括的物体的真值(label，即类别标识)信息。对于不同图像，同一类的物体的真值是固定的；例如“路(road)”在所有的场景图像中对应的真值均是1，其它物体的真值信息可以参见表1所示。
表1Cityscapes评测数据集的真值信息
Figure BDA0001687352090000031
Figure BDA0001687352090000041
为加快训练数据的标注速度和精度，本申请实施例提供了如图2所示的流程：
参见图2，图2为本申请提供的图像分割标注方法的示范性实施例流程图。该方法可应用于集成了GPU(Graphics Processing Unit，图形处理器)和/或CPU(CentralProcessing Unit，中央处理器)的服务器，如图2所示，该方法包括以下步骤：
步骤201：训练分割模型。
这里，对分割模型的训练过程描述如下：
第一步，获取训练数据集，该训练数据集包括原始图片和与原始图片对应的标签图片。
所谓标签图片，是一个只有两种颜色的图片，背景和前景分别用不同的颜色表示。参见图3，从左至右依次为原始图片(原始图片中的阴影表示背景和背景中的干扰物)和其对应的标签图片。
本申请实施例中，原始图片中仅包含一个物体，标签图片上标记有物体的分割结果(mask)和该分割结果的真值，每张标签图片上标记的真值相同。即，不论标签图片中的物体属于哪种类别，本申请实施例均为其赋予相同的真值。例如，对所有物体的分割结果都用1进行标注，其它(即背景)则用0标注。
相比为不同类别的物体赋予不同真值的标注方式，本申请实施例采用这种为不同类别物体赋予相同真值的标注方式的优势在于：在图片内容、图片数量、分割模型架构、训练迭代次数一定的前提下，采用本申请实施例的标注方式可以得到性能更好的分割模型。原因在于，无论是SS还是IS，分割种类的增加必然要求分割模型具有更强的性能，换而言之，分割种类越少，分割性能会越高；而本申请实施例将所有的物体都视为一类进行处理，精度自然比多于一类的场景分割性能好。
在整理训练数据集时，针对待分割图像中可能出现的物体，可以找到具有该物体的数据集，如PASCAL VOC、COCO、Cityscapes、ADE20K等，从中提取该物体的图像块(patch)和对应的标签图片加入训练数据集。当然，也可以人工标注一些数据加入训练数据集。
在一个例子中，在通过已有数据集或者人工标注获得物体的图像块和对应的标签图片后，可以对其进行同比例压缩，空白处用0填充，从而得到固定尺寸大小(如宽和高固定为224像素)的图像块和标签图片。如此可以降低分割模型的训练难度。后续在使用基于此类固定尺寸大小的训练数据集训练的分割模型进行目标分割时，可以输入相同尺寸大小的图像块，这样一来可以提高分割准确率，二来可以提高分割速度。
在一个例子中，为了增强训练数据的完整性，同时也是考虑到在实际使用时通过自动检测或者人工拖框获取的物体ROI(Region of Interest，感兴趣区域)的矩形框，其大小可能在一定范围内波动，从而可能导致物体的一些边缘信息被遗漏掉；所以本申请实施例定义了一个外扩系数，根据这个外扩系数，在通过自动检测或者人工拖框获得物体ROI的矩形框后，可以将该矩形框向外扩张得到一新矩形框，该新矩形框完全包含原矩形框，也即，该新矩形框完全包括目标物体。
以下结合图4说明扩张后的新矩形框和扩张前的旧矩形框之间的关系。
图4中，较小的矩形框为扩张前的旧矩形框，较大的矩形框为扩张后的新矩形框。假设旧矩形框的左上顶点为(x，y)，长为L，宽为W；预设的外扩系数为r；那么
新矩形框的长Lnew满足：
Lnew＝L*(1+r)公式(1)
新矩形框的宽Wnew满足：
Wnew＝W*(1+r)公式(2)
新矩形框的左上顶点(xnew，ynew)满足：
Figure BDA0001687352090000061
这里我们定义Ratio＝1+r，Ratio表示新矩形框的边长和旧矩形框的同一边长的长度比例。显然，Ratio越大，物体在整个图像块中的比例越小。训练中，可以将Ratio取为1.05-1.35之间的一个数，在这个范围内Ratio越小，分割性能越好。
第二步，利用获取的训练数据集对通用的分割模型进行一定数量的训练后，得到训练好的分割模型。
本申请实施例中，可以采用已有的分割模型，常用的分割模型有FCN、DeepLab、PSPNet等。这里以PSPNet为例，对分割模型的架构做简单介绍。
图5为PSPNet的架构示意图。对于输入图像(input image)，首先通过一个ResNet网络(即图5中的CNN)提取图像特征(feature map)，如图5(b)；之后将得到的feature map输出到一个全局池化(pool)层，再通过一个金字塔(pyramid)的pooling结构获得多个子区域(sub-region)的特征表示，之后通过上采样(upsampling)，并串联层(concat)所有特征，得到最后的特征表示向量，从而获得图像的局部和全局特征，如图5(c)所示，图中从上到下四个卷积层，卷积核大小分别为1、2、3、6。最后将得到的向量输入一个卷积层(卷积，用于减小维度)，得到输出图像(即最后的预测结果)，如图5(d)所示。
分割模型的训练过程可以包括前向传播和后向传播两个阶段：前向传播，即输入一个原始图片，预测原始图片的分割结果；后向传播，即计算预测的分割结果与输入的标签图片之间的误差，利用该误差从分割模型的最后一层依次往前反向传播，修改分割模型的网络参数，以使输出误差最小化。
以上介绍了分割模型的训练过程，下面介绍分割模型的应用过程。
步骤202：从待分割图像中截取图像块，该图像块中包含一个待分割的目标对象。
待分割图像中一般包括一个或多个目标对象，例如，图4中待分割的目标对象就有汽车、交通标志牌、路灯、树、公交站、楼房等。
应用中，可以通过自动检测器或者人工检测方式，检测待分割图像中的物体。针对检测到的每一物体，将该物体以图像块的形式从完整的待分割图像中截取出来，并分别送入训练好的分割模型进行分割。
作为一种实施方式，在从待分割图像中截取图像块时，可以通过以下方式实现：在待分割图像中确定一个待分割的目标对象，该目标对象通过矩形框标记出；根据预设的外扩系数，将该目标对象的矩形框向外扩张得到新矩形框，该新矩形框完全包含该目标对象并靠近该目标对象的边缘；最后，将该新矩形框所包围的图像块从待分割图像中截取出。为形象说明这一过程，请参考图6，图6(a)表示待分割的场景图像，(b)表示从(a)中截取出的汽车的图像块。
至于扩张后的新矩形框和扩张前的矩形框之间的大小关系，可以参考上述公式(1)至公式(3)，这里不作赘述。
可选的，在获取到图像块之后，还可以对图像块进行预处理，例如，对其进行同比例压缩，空白处用0填充，如图6中的(c)所示；图像块满足统一规格后再输入到分割模型中。
步骤203：使用训练好的分割模型对上述图像块进行分割，得到上述目标对象的分割结果。
图6中的(d)，即为使用分割模型对图6(c)进行分割得到的分割结果。
本申请实施例提供的分割模型可以用于预测不同类别的物体的分割结果，并为不同类别的物体的分割结果赋予相同的真值。并且，本申请实施例的分割模型的分割性能不受待分割图像包含的物体种类、物体个数的影响。
作为一种方式，在得到目标对象的分割结果后，可以将该目标对象的分割结果叠加到待分割图像中的该目标对象的位置处。具体可以通过坐标映射的方式将分割结果叠加到待分割图像中。图6中的(e)，即为将图6(d)所示的分割结果叠加到图6(a)后的效果图。
步骤204：接收标注指令，将上述目标对象的分割结果的真值设置成该标注指令所指定的真值。
通过分割模型输出的目标对象分割结果的真值仅是本申请实施例预定义的一个固定值，可能并不等同于该物体的实际真值。此时通过人工协助，便可容易地修正该目标对象的真值，得到真实的真值图，从而为SS算法或IS算法提供正确的训练数据。
至此，完成图2所示流程。
通过图2所示流程能够提供一种高效的图像分割标注工具，可以用来为SS和IS标注训练数据。本申请实施例在训练时，收集单个物体的图像块和对应的标签图片送入分割模型进行训练，由于标签图片上使用了固定真值标注所有的物体类别，使得训练得到的分割模型具有良好的分割性能。在应用时，本申请实施例将待分割图像分解为多个图像块，每个图像块包含一个待分解的目标对象，然后将多个图像块分别送入分割模型进行目标分割，这种方式相比直接将完整的待分割图像送入分割模型进行目标分割，在分割难度上有所下降，在分割精度上有所提升。
可选的，在一个实施例中，可以引入人工干预，对图像块的分割效果进行轮廓的微调，以保证标注精度。
具体地，如图7所示，在执行上述步骤203：使用训练好的分割模型对上述图像块进行分割，得到上述目标对象的分割结果后；可以执行以下步骤：
步骤205：从上述目标对象的分割结果中提取该目标对象的轮廓。
例如，可以通过OpenCV(一个基于BSD许可发行的跨平台计算机视觉库)中的findContour函数直接得到轮廓。图6中的(f)，即为从图6(d)提取的轮廓。
步骤206：对提取的轮廓进行多边形拟合，得到包含有限个轮廓点的轮廓拟合线。
常用的多边形拟合算法有多种，这里以道格拉斯-普克(Douglas-Peucker，)算法为例，说明如何用多边形逼近一个轮廓。
如图8所示，该算法先从图8(b)所示的轮廓中选择2个最远的点；然后将2个点连成一个线段，如图8(c)所示；接下来，再查找轮廓上到线段距离最远的点，添加到逼近后的新轮廓中，如图8(d)所示；算法反复迭代，不断将最远的点添加到结果中，直到所有的点到多边形的最短距离小于指定的精度，得到最终的轮廓拟合线，如图8(f)所示。
步骤207：针对得到的轮廓拟合线中的每两个相邻轮廓点，计算该两个相邻轮廓点之间的距离，若该距离超过设定阈值则在该两个相邻轮廓点间增加新的轮廓点。
Douglas-Peucker算法有一个缺陷，对于长度很长的线段，参加拟合的点很少，如图8中的(f)最下边的一条线段，只有2个轮廓点。针对这一问题，本申请实施例设计一个参数DISTANCE_THRESHOLD，用来控制点的稠密度。
具体的，若两个相邻轮廓点的坐标分别为(xa，ya)和(xb，yb)，则可以计算得到该两个相邻轮廓点间的距离满足以下公式要求：
Figure BDA0001687352090000091
若该两个相邻轮廓点间的距离dab不大于设定阈值Distance_Threshold，则继续处理下一组相邻的轮廓点。
若该两个相邻轮廓点间的距离dab大于设定阈值Distance_Threshold，则在该两个相邻轮廓点间增加nab个新的轮廓点；其中，nab满足以下公式要求：
nab＝floor(dab/Distance_Threshold)-1 公式(5)
第k个新的轮廓点的坐标(xk，yk)满足以下公式要求：
Figure BDA0001687352090000092
参考图6中的(g)，为对图6(f)所示的车辆轮廓进行拟合和增加轮廓点后的轮廓拟合线。
步骤208：当轮廓拟合线中任两个相邻轮廓点间的距离均不超过设定阈值时，将该轮廓拟合线叠加到待分割图像中的上述目标对象的位置处。
轮廓拟合线围住的区域即为目标对象的分割结果。
参考图6中的(h)，为将图6(g)所示的轮廓拟合线叠加到图6(a)后的效果图。
步骤209：接收针对该轮廓拟合线中的轮廓点的拖曳指令，根据该拖曳指令调整轮廓点的位置。
之后，继续执行步骤204：接收标注指令，将上述目标对象的分割结果的真值设置成该标注指令所指定的真值。
至此，完成图7所示流程。
通过图7所示的流程能够提供一种半自动的图像分割标注工具，通过提取分割模型的轮廓以及可调稠密度的关键点，以方便人工进行轮廓的微调，而人为干预可以产生更精确的标注结果。而相比纯人工进行标注，由于本申请实施例只需人工对物体的轮廓点进行微调，很大程度上降低了人工成本和时间成本。
以上对本申请实施例提供的方法进行了描述。下面对本申请实施例提供的装置进行描述。参见图9，图9为本申请实施例提供的图像分割标注装置的功能模块图。如图9所示，该装置包括：
截取模块901，用于从待分割图像中截取图像块，所述图像块中包含一个待分割的目标对象；
分割模块902，用于使用训练好的分割模型对所述图像块进行分割，得到所述目标对象的分割结果；所述分割模型用于预测不同类别的物体的分割结果并为不同类别的物体的分割结果赋予相同的真值；
标注模块903，用于接收标注指令，将所述目标对象的分割结果的真值设置成所述标注指令所指定的真值。
在其中一种实施方式中，所述分割模块902可以通过以下方式训练得到所述分割模型：获取训练数据集，所述训练数据集包括原始图片和与原始图片对应的标签图片；原始图片中仅包含一个物体，标签图片上标记有物体的分割结果和该分割结果的真值，每张标签图片上标记的真值相同；利用所述训练数据集对通用的分割模型进行一定数量的训练后，得到训练好的分割模型。
在其中一种实施方式中，所述截取模块901，用于在所述待分割图像中确定一个待分割的目标对象，所述目标对象通过矩形框标记出；根据预设的外扩系数，将所述目标对象的矩形框向外扩张得到新矩形框，所述新矩形框完全包含所述目标对象并靠近所述目标对象的边缘；将所述新矩形框所包围的图像块从待分割图像中截取出。
在其中一种实施方式中，若外扩前的矩形框的左上顶点为(x，y)，长为L，宽为W；预设的外扩系数为r；则
外扩后的所述新矩形框的长Lnew满足：Lnew＝L*(1+r)；
外扩后的所述新矩形框的宽Wnew满足：Wnew＝W*(1+r)；
外扩后的所述新矩形框的左上顶点(xnew，ynew)满足：
Figure BDA0001687352090000111
Figure BDA0001687352090000112
在其中一种实施方式中，所述装置还可以包括：
叠加模块，用于将所述目标对象的分割结果叠加到所述待分割图像中的所述目标对象的位置处。
在其中一种实施方式中，所述装置还可以包括：
轮廓提取模块，用于从所述目标对象的分割结果中提取所述目标对象的轮廓；
轮廓拟合模块，用于对所述轮廓进行多边形拟合，得到包含有限个轮廓点的轮廓拟合线；
轮廓调整模块，用于针对所述轮廓拟合线中的每两个相邻轮廓点，计算该两个相邻轮廓点之间的距离，若该距离超过设定阈值则在该两个相邻轮廓点间增加新的轮廓点；
叠加模块，用于当轮廓拟合线中任两个相邻轮廓点间的距离均不超过设定阈值时，将该轮廓拟合线叠加到所述待分割图像中的所述目标对象的位置处，所述轮廓拟合线围住的区域为目标对象的分割结果。
在其中一种实施方式中，所述轮廓调整模块，用于：若该两个相邻轮廓点的坐标分别为(xa，ya)和(xb，yb)，则计算得到该两个相邻轮廓点间的距离
Figure BDA0001687352090000121
若该两个相邻轮廓点间的距离dab大于设定阈值Distance_Threshold，则在该两个相邻轮廓点间增加nab个新的轮廓点；
其中，nab＝floor(dab/Distance_Threshold)-1；
第k个新的轮廓点的坐标(xk，yk)满足：
Figure BDA0001687352090000122
在其中一种实施方式中，所述轮廓调整模块，还可以用于接收针对该轮廓拟合线中的轮廓点的拖曳指令；根据所述拖曳指令调整轮廓点的位置。
需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本申请的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
至此，完成图9所示装置的描述。
本申请实施例还提供一种图像分割标注装置，包括处理器、存储器和总线，所述处理器和所述存储器之间通过总线相互连接；所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，以实现如图2和图7所示的方法。
此外，本申请实施例还提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现图2和图7所示的方法。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (16)

1.一种图像分割标注方法，其特征在于，包括：
从待分割图像中截取图像块，所述图像块中包含一个待分割的目标对象；
使用训练好的分割模型对所述图像块进行分割，得到所述目标对象的分割结果；所述分割模型用于预测不同类别的物体的分割结果并为不同类别的物体的分割结果赋予相同的真值；真值用于标识物体的类别；
接收标注指令，将所述目标对象的分割结果的真值设置成所述标注指令所指定的真值；
其中，所述分割模型通过以下方式训练得到：
获取训练数据集，所述训练数据集包括原始图片和与原始图片对应的标签图片；原始图片中仅包含一个物体，标签图片上标记有物体的分割结果和该分割结果的真值，每张标签图片上标记的真值相同；
利用所述训练数据集对通用的分割模型进行一定数量的训练后，得到训练好的分割模型。
2.如权利要求1所述的方法，其特征在于，所述从待分割图像中截取图像块，包括：
在所述待分割图像中确定一个待分割的目标对象，所述目标对象通过矩形框标记出；
根据预设的外扩系数，将所述目标对象的矩形框向外扩张得到新矩形框，所述新矩形框完全包含所述目标对象并靠近所述目标对象的边缘；
将所述新矩形框所包围的图像块从待分割图像中截取出。
3.如权利要求2所述的方法，其特征在于，若外扩前的矩形框的左上顶点为(x，y)，长为L，宽为W；预设的外扩系数为r；则
外扩后的所述新矩形框的长Lnew满足：Lnew＝L*(1+r)；
外扩后的所述新矩形框的宽Wnew满足：Wnew＝W*(1+r)；
外扩后的所述新矩形框的左上顶点(xnew，ynew)满足：
Figure FDA0003775363030000011
Figure FDA0003775363030000021
4.如权利要求1所述的方法，其特征在于，在使用训练好的分割模型对所述图像块进行分割，得到所述目标对象的分割结果之后，所述方法还包括：
将所述目标对象的分割结果叠加到所述待分割图像中的所述目标对象的位置处。
5.如权利要求1所述的方法，其特征在于，在使用训练好的分割模型对所述图像块进行分割，得到所述目标对象的分割结果之后，所述方法还包括：
从所述目标对象的分割结果中提取所述目标对象的轮廓；
对所述轮廓进行多边形拟合，得到包含有限个轮廓点的轮廓拟合线；
针对所述轮廓拟合线中的每两个相邻轮廓点，计算该两个相邻轮廓点之间的距离，若该距离超过设定阈值则在该两个相邻轮廓点间增加新的轮廓点；
当轮廓拟合线中任两个相邻轮廓点间的距离均不超过设定阈值时，将该轮廓拟合线叠加到所述待分割图像中的所述目标对象的位置处，所述轮廓拟合线围住的区域为目标对象的分割结果。
6.如权利要求5所述的方法，其特征在于，所述计算该两个相邻轮廓点之间的距离，若该距离超过设定阈值则在该两个相邻轮廓点间增加新的轮廓点，包括：
若该两个相邻轮廓点的坐标分别为(xa，ya)和(xb，yb)，则计算得到该两个相邻轮廓点间的距离
Figure FDA0003775363030000022
若该两个相邻轮廓点间的距离dab大于设定阈值Distance_Threshold，则在该两个相邻轮廓点间增加nab个新的轮廓点；
其中，nab＝floor(dab/Distance_Threshold)-1；
1≤k≤nab-1，第k个新的轮廓点的坐标(xk，yk)满足：
Figure FDA0003775363030000023
7.如权利要求5所述的方法，其特征在于，在将该轮廓拟合线叠加到所述待分割图像中的所述目标对象的位置处之后，所述方法还包括：
接收针对该轮廓拟合线中的轮廓点的拖曳指令；
根据所述拖曳指令调整轮廓点的位置。
8.一种图像分割标注装置，其特征在于，包括：
截取模块，用于从待分割图像中截取图像块，所述图像块中包含一个待分割的目标对象；
分割模块，用于使用训练好的分割模型对所述图像块进行分割，得到所述目标对象的分割结果；所述分割模型用于预测不同类别的物体的分割结果并为不同类别的物体的分割结果赋予相同的真值；真值用于标识物体的类别；
标注模块，用于接收标注指令，将所述目标对象的分割结果的真值设置成所述标注指令所指定的真值；
其中，所述分割模块通过以下方式训练得到所述分割模型：
获取训练数据集，所述训练数据集包括原始图片和与原始图片对应的标签图片；原始图片中仅包含一个物体，标签图片上标记有物体的分割结果和该分割结果的真值，每张标签图片上标记的真值相同；
利用所述训练数据集对通用的分割模型进行一定数量的训练后，得到训练好的分割模型。
9.如权利要求8所述的装置，其特征在于，
所述截取模块，用于在所述待分割图像中确定一个待分割的目标对象，所述目标对象通过矩形框标记出；根据预设的外扩系数，将所述目标对象的矩形框向外扩张得到新矩形框，所述新矩形框完全包含所述目标对象并靠近所述目标对象的边缘；将所述新矩形框所包围的图像块从待分割图像中截取出。
10.如权利要求9所述的装置，其特征在于，若外扩前的矩形框的左上顶点为(x，y)，长为L，宽为W；预设的外扩系数为r；则
外扩后的所述新矩形框的长Lnew满足：Lnew＝L*(1+r)；
外扩后的所述新矩形框的宽WneW满足：Wnew＝W*(1+r)；
外扩后的所述新矩形框的左上顶点(xnew，ynew)满足：
Figure FDA0003775363030000041
Figure FDA0003775363030000042
11.如权利要求8所述的装置，其特征在于，所述装置还包括：
叠加模块，用于将所述目标对象的分割结果叠加到所述待分割图像中的所述目标对象的位置处。
12.如权利要求8所述的装置，其特征在于，所述装置还包括：
轮廓提取模块，用于从所述目标对象的分割结果中提取所述目标对象的轮廓；
轮廓拟合模块，用于对所述轮廓进行多边形拟合，得到包含有限个轮廓点的轮廓拟合线；
轮廓调整模块，用于针对所述轮廓拟合线中的每两个相邻轮廓点，计算该两个相邻轮廓点之间的距离，若该距离超过设定阈值则在该两个相邻轮廓点间增加新的轮廓点；
叠加模块，用于当轮廓拟合线中任两个相邻轮廓点间的距离均不超过设定阈值时，将该轮廓拟合线叠加到所述待分割图像中的所述目标对象的位置处，所述轮廓拟合线围住的区域为目标对象的分割结果。
13.如权利要求12所述的装置，其特征在于，所述轮廓调整模块，用于：
若该两个相邻轮廓点的坐标分别为(xa，ya)和(xb，yb)，则计算得到该两个相邻轮廓点间的距离
Figure FDA0003775363030000043
若该两个相邻轮廓点间的距离dab大于设定阈值Distance_Threshold，则在该两个相邻轮廓点间增加nab个新的轮廓点；
其中，nab＝floor(dab/Distance_Threshold)-1；
1≤k≤nab-1，第k个新的轮廓点的坐标(xk，yk)满足：
Figure FDA0003775363030000044
14.如权利要求12所述的装置，其特征在于，
所述轮廓调整模块，还用于接收针对该轮廓拟合线中的轮廓点的拖曳指令；根据所述拖曳指令调整轮廓点的位置。
15.一种图像分割标注装置，其特征在于，包括处理器、存储器和总线，所述处理器和所述存储器之间通过总线相互连接；
所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行如权利要求1至7任一项所述的方法。
16.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，所述机器可读指令促使所述处理器实现权利要求1至7任一项所述的方法。
CN201810576571.8A 2018-06-06 2018-06-06 一种图像分割标注方法和装置 Active CN110570434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810576571.8A CN110570434B (zh) 2018-06-06 2018-06-06 一种图像分割标注方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810576571.8A CN110570434B (zh) 2018-06-06 2018-06-06 一种图像分割标注方法和装置

Publications (2)

Publication Number Publication Date
CN110570434A CN110570434A (zh) 2019-12-13
CN110570434B true CN110570434B (zh) 2022-09-30

Family

ID=68772552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810576571.8A Active CN110570434B (zh) 2018-06-06 2018-06-06 一种图像分割标注方法和装置

Country Status (1)

Country Link
CN (1) CN110570434B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209908B (zh) * 2019-12-31 2023-07-14 深圳奇迹智慧网络有限公司 更新标注框的方法、装置、存储介质和计算机设备
CN111259772B (zh) * 2020-01-13 2023-05-30 广州虎牙科技有限公司 图像标注方法、装置、设备和介质
CN111283652B (zh) * 2020-03-24 2020-10-16 中科开创（广州）智能科技发展有限公司 智能消杀防疫机器人
CN111666811B (zh) * 2020-04-22 2023-08-15 北京联合大学 一种提取交通场景图像中交通标志牌区域方法及系统
CN111783783B (zh) * 2020-06-18 2021-06-04 哈尔滨市科佳通用机电股份有限公司 一种用于图像分割的标注系统及标注方法
CN111985394B (zh) * 2020-08-19 2021-05-28 东南大学 Kitti数据集的半自动实例标注方法及系统
CN112419331A (zh) * 2020-11-13 2021-02-26 珠海格力电器股份有限公司 一种图像分割方法、装置、终端、存储介质及处理器
CN113269794A (zh) * 2021-05-27 2021-08-17 中山大学孙逸仙纪念医院 一种图像区域分割方法、装置、终端设备及存储介质
CN113657234B (zh) * 2021-08-10 2024-04-26 小叶子（北京）科技有限公司 图像识别方法、装置、存储介质及电子设备
CN114091626B (zh) * 2022-01-19 2022-04-22 浙江吉利控股集团有限公司 真值检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129684A (zh) * 2011-03-17 2011-07-20 南京航空航天大学 基于拟合轮廓的异源图像匹配方法
CN107153822A (zh) * 2017-05-19 2017-09-12 北京航空航天大学 一种基于深度学习的半自动图像精标注方法
CN108062526A (zh) * 2017-12-15 2018-05-22 厦门美图之家科技有限公司 一种人体姿态估计方法及移动终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789080B (zh) * 2010-01-21 2012-07-04 上海交通大学 车辆车牌实时定位字符分割的检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129684A (zh) * 2011-03-17 2011-07-20 南京航空航天大学 基于拟合轮廓的异源图像匹配方法
CN107153822A (zh) * 2017-05-19 2017-09-12 北京航空航天大学 一种基于深度学习的半自动图像精标注方法
CN108062526A (zh) * 2017-12-15 2018-05-22 厦门美图之家科技有限公司 一种人体姿态估计方法及移动终端

Also Published As

Publication number Publication date
CN110570434A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110570434B (zh) 一种图像分割标注方法和装置
CN111640125B (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN108446694B (zh) 一种目标检测方法及装置
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN110543858A (zh) 多模态自适应融合的三维目标检测方法
CN108197567B (zh) 用于图像处理的方法、装置和计算机可读介质
WO2021155558A1 (zh) 道路标线的识别方法、地图生成方法及相关产品
US20230005278A1 (en) Lane extraction method using projection transformation of three-dimensional point cloud map
CN111582339A (zh) 一种基于深度学习的车辆检测与识别的方法
WO2023226654A1 (zh) 一种目标物单体化方法、装置、设备及存储介质
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN114820679A (zh) 图像标注方法、装置、电子设备和存储介质
CN110874170A (zh) 一种图像区域修正方法、图像分割方法及装置
US11610407B2 (en) Vehicles, systems, and methods for determining an entry of an occupancy map of a vicinity of a vehicle
CN113887481A (zh) 一种图像处理方法、装置、电子设备及介质
CN113537017A (zh) 基于级联型回归修正的光学遥感图像飞机检测方法和装置
CN117522801A (zh) 道路图像的坑洞检测方法、装置、设备以及存储介质
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN113780189A (zh) 一种基于U-Net改进的车道线检测方法
CN112949731A (zh) 基于多专家模型的目标检测方法、装置、存储介质及设备
CN112861860A (zh) 一种基于上下边界提取的自然场景下文字检测方法
CN111507287A (zh) 一种航空影像中道路斑马线角点提取方法及系统
CN115937454B (zh) 一种在大规模城市场景中自动摆放树木模型的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant