CN109934838A - 一种基于超像素的图片语义分割标注方法及装置 - Google Patents
一种基于超像素的图片语义分割标注方法及装置 Download PDFInfo
- Publication number
- CN109934838A CN109934838A CN201910153120.8A CN201910153120A CN109934838A CN 109934838 A CN109934838 A CN 109934838A CN 201910153120 A CN201910153120 A CN 201910153120A CN 109934838 A CN109934838 A CN 109934838A
- Authority
- CN
- China
- Prior art keywords
- super
- pixel
- classification
- picture
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000002372 labelling Methods 0.000 claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 230000001174 ascending effect Effects 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 101100060131 Mus musculus Cdk5rap2 gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于超像素的图片语义分割标注方法及装置，该方法包括按照预设算法将预先获取的图片分割成多个超像素；接收用户对任意超像素的类别标注操作，为任意超像素分配相应的标注类别；接收用户以已标注类别的超像素为基准的连续选取操作，将连续选取操作对应的超像素标注为与基准超像素类别相同的类别；当监测到连续选取操作对应的超像素形成闭环时，将闭环以内的超像素标注为与选取操作对应超像素类别相同的类别。由此，对于图片中的任意类别的超像素，用户可以仅对其中的小部分超像素进行标注，而对于大部分超像素采用连续选取操作的方式实现统一标注，从而大大地提高了超像素标注的效率，进而提高了后续对图片内容的识别速率。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于超像素的图片语义分割标注方法及装置。
背景技术
目前基于深度学习的目标检测和场景语义分割非常流行，已经成为自动驾驶领域主要的视觉感知方法。语义分割可以针对输入的图片，分割出图片中的路面、汽车、车道线等等，其实质是针对图片中每一个像素点的分类，例如，基于Mapillary Vistas数据集的图片语义分割方式。而且，在基于深度学习进行目标检测和语义分割时通常需要涉及大量的图片标注操作，特别是对于场景语义分割，目前比较流行的是多边形的分割方式，然而这种分割方式不仅耗时耗力，带来了巨大的人工成本，而且标注的效果也并不理想，例如容易出现物体边缘较粗糙的问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于超像素的图片语义分割标注方法及装置。
依据本发明一方面，提供了一种基于超像素的图片语义分割标注方法，包括：
按照预设算法将预先获取的图片分割成多个超像素；
接收用户对任意超像素的类别标注操作，为所述任意超像素分配相应的标注类别；
接收用户以已标注类别的超像素为基准的连续选取操作，将连续选取操作对应的超像素标注为与基准超像素类别相同的类别；
当监测到所述连续选取操作对应的超像素形成闭环时，将闭环以内的超像素标注为与所述选取操作对应超像素类别相同的类别。
可选的，接收用户对任意超像素的类别标注操作，为所述任意超像素分配相应的标注类别，包括：
接收用户针对任意超像素从多个候选类别中选取与所述任意超像素对应的标注类别的选取操作，为所述任意超像素分配用户选取的标注类别。
可选的，所述方法还包括：
接收用户对所述图片的指定操作，所述指定操作为预定义的用于调整所述超像素阈值大小的操作；
利用所述指定操作调整所述超像素的阈值大小，使所述超像素阈值符合用户标注需求。
可选的，所述指定操作包括转动鼠标滚轮的操作，其中，
若鼠标滚轮由下至上转动，则超像素阈值由大到小调整，若鼠标滚轮由上至下转动，则超像素阈值由小到大调整；或者
若鼠标滚轮由上至下转动，则超像素阈值由大到小调整，若鼠标滚轮由下至上转动，则超像素阈值由小到大调整。
可选的，在利用所述指定操作调整所述超像素的阈值大小时，若调整阈值后的任一超像素所占区域与已标注类别的超像素所占区域的重叠区域大于所述任一超像素所占区域的1/2，将所述任一超像素标注为与所述重叠区域的超像素类别相同的类别。
可选的，所述方法还包括：
当接收到用户对边缘检测功能的触发操作时，采用预设边缘检测技术检测分割后图片中物体的边缘区域；
按照预设规则调整边缘区域中的超像素阈值，直到图片中的物体边缘与超像素边缘的重合度达到指定的重合需求。
可选的，按照预设规则调整边缘区域中的超像素阈值，直到图片中的物体边缘与超像素边缘的重合度达到指定的重合需求，包括：
控制所述分割后图片中的超像素阈值由大到小依次变化，且在所述超像素阈值变化过程中检测当前阈值的超像素所占区域内部是否经过任意物体的边缘；
若是，将经过所述任意物体边缘的超像素的当前阈值进行缩小，基于缩小后的超像素阈值重新生成图片中相应区域的超像素，直到图片中的全部物体边缘均与超像素边缘的重合度达到指定的重合需求。
依据本发明另一方面，还提供了一种基于超像素的图片语义分割标注装置，包括：
分割模块，适于按照预设算法将预先获取的图片分割成多个超像素；
分配模块，适于接收用户对任意超像素的类别标注操作，为所述任意超像素分配相应的标注类别；
第一标注模块，适于接收用户以已标注类别的超像素为基准的连续选取操作，将连续选取操作对应的超像素标注为与基准超像素类别相同的类别；
第二标注模块，适于当监测到所述连续选取操作对应的超像素形成闭环时，将闭环以内的超像素标注为与所述选取操作对应超像素类别相同的类别。
依据本发明再一方面，还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行上文任意实施例中的基于超像素的图片语义分割标注方法。
在本发明实施例中，首先按照预设算法将预先获取的图片分割成多个超像素，然后当接收到用户对任意超像素进行类别标注操作时，可以基于用户的标注操作为该任意超像素分配相应的标注类别。当用户对任意超像素进行类别标注之后，还可以执行以已经标注类别的超像素为基准进行连续选取操作，从而能够将连续选取的超像素标注为与基准超像素类别相同的类别。由此，对于图片中的任意类别的超像素，用户可以仅对其中的小部分超像素进行标注，而对于大部分超像素可以采用连续选取操作的方式实现统一标注，不仅可以对超像素进行准确标注，而且还大大地提高了超像素标注的效率，进而提高了后续对图片内容的识别速率。
进一步地，当监测到所述连续选取操作对应的超像素形成闭环时，还可以通过将闭环以内的超像素标注为与所述选取操作对应超像素类别相同的类别的方式，来有效地减少人工标注的时间，既节约了人力资源成本，又进一步地提高了超像素标注的效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的基于超像素的图片语义分割标注方法的流程示意图；
图2示出了根据本发明另一个实施例的基于超像素的图片语义分割标注方法的流程示意图；
图3示出了根据本发明一个实施例的基于超像素的图片语义分割标注装置的结构示意图；
图4示出了根据本发明另一个实施例的基于超像素的图片语义分割标注装置的结构示意图；
图5示出了根据本发明再一个实施例的基于超像素的图片语义分割标注装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为解决上述技术问题，本发明实施例提供了一种基于超像素的图片语义分割标注方法，该方法可以应用于汽车的高级驾驶辅助系统(Advanced Driving AssistantSystem，ADAS)、自动泊车辅助系统(AutoParkingAssist，APA)及自动驾驶等领域。图1示出了根据本发明一个实施例的基于超像素的图片语义分割标注方法的流程示意图。参见图1，该方法至少包括步骤S102至步骤S108。
步骤S102，按照预设算法将预先获取的图片分割成多个超像素。
步骤S104，接收用户对任意超像素的类别标注操作，为任意超像素分配相应的标注类别。
步骤S106，接收用户以已标注类别的超像素为基准的连续选取操作，将连续选取操作对应的超像素标注为与基准超像素类别相同的类别。
步骤S108，当监测到连续选取操作对应的超像素形成闭环时，将闭环以内的超像素标注为与选取操作对应超像素类别相同的类别。
对于图片中的任意类别的超像素，用户可以仅对其中的小部分超像素进行标注，而对于大部分超像素可以采用连续选取操作的方式实现统一标注，不仅可以对超像素进行准确标注，而且还大大地提高了超像素标注的效率，进而提高了后续对图片内容的识别速率。进一步地，当监测到连续选取操作对应的超像素形成闭环时，还可以通过将闭环以内的超像素标注为与选取操作对应超像素类别相同的类别的方式，来有效地减少人工标注的时间，既节约了人力资源成本，又进一步地提高了超像素标注的效率。
参见上文步骤S102，超像素是由相似的纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。它可以利用像素之间特征的相似性将像素分组，从而能够利用少量的超像素来代替大量的像素以表达图片特征，可以很大程度上降低图像后续处理的复杂度。
在本发明一个实施例中，预设算法可以采用线性迭代聚类算法(simple lineariterative clustering，SLIC)。由于线性迭代聚类算法是一种思想简单、方便实现的算法，可以将彩色图像转化为CIELAB颜色空间和XY坐标下的5维特征向量，并对5维特征向量构造距离度量标准，对图像像素进行局部聚类，能够生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价。因此，采用线性迭代聚类算法将图片分割成多个超像素，可以达到更好的分割效果，比传统的基于多边形的语义分割标注方法更加有效率，节省了图片语义分割标注的人力成本。当然，也可以采用其他算法将图片分割成多个超像素，本发明实施例对此不做具体的限定。
参见上文步骤S104，在本发明一实施例中，接收用户对任意超像素的类别标注操作，具体可以是接收用户针对任意超像素从多个候选类别中选取与任意超像素对应的标注类别的选取操作。
在该实施例中，需要预先定义用户的标注操作，例如，用户的标注操作对应于鼠标右击及点选操作。那么，当监测到用户在某个超像素上右击鼠标之后，获取随后用户从多个候选类别中点选的标注类别，从而将点选对应的标注类别分配给右击鼠标操作对应的超像素。
在本发明一实施例中，为了方便用户对超像素的类别标注，以提高超像素类别标注的效率，在对超像素进行标注的过程中，可以通过预先定义的指定操作用来调整超像素阈值的大小。由此，当接收到用户对图片的指定操作之后，可以利用指定操作调整超像素的阈值大小，从而使得超像素阈值符合用户标注需求。
在一个可选实施例中，指定操作可以包括转动鼠标滚轮的操作，即可以通过鼠标滚轮的转动来调整超像素阈值的大小。例如，当接收到鼠标滚轮由下至上的转动操作时，控制图片的超像素阈值由大到小调整。而当接收到鼠标滚轮由上至下的转动操作时，控制图片的超像素阈值由小到大调整。反之，又例如，当接收到鼠标滚轮由上至下转动，控制图片的超像素阈值由大到小调整，当接收到鼠标滚轮由下至上转动，则超像素阈值由小到大调整。本发明实施例对通过鼠标滚轮的转动来调整超像素阈值的大小的具体调整形式不做限定。
本发明实施例可以在图片分割成多个超像素之后的任意步骤中接收并执行来自用户的指定操作，如用户可以在未标注超像素类别之前调整超像素的阈值大小，也可以在标注的过程中，一边标注超像素类别，一边随时调整超像素的阈值大小。
例如，在用户对任意超像素的类别进行标注之前接收来自用户的指定操作，则可以利用指定操作调整超像素的阈值大小，使超像素阈值符合用户标注需求，方便用户后续对超像素的类别进行快速地标注。
又例如，在用户已经对部分超像素进行了类别标注之后接收来自用户的指定操作，则不仅可以利用指定操作调整超像素的阈值大小，以使超像素阈值达到符合用户标注需求，还可以依据超像素阈值大小的变化来对超像素的类别进行自动标注。
具体的，检测调整阈值后的任一超像素所占区域与已标注类别的超像素所占区域的重叠区域是否大于任一超像素所占区域的1/2，若是，则直接将任一超像素标注为与重叠区域的超像素类别相同的类别。例如，调整阈值后的某个超像素所占区域几乎与已标注类别的超像素所占区域完全重叠，那么可以直接将该超像素标注为与其几乎完全重叠的超像素类别相同的类别。
参见上文步骤S106，在本发明一实施例中，用户以已标注类别的超像素为基准的连续选取操作，可以对应于用户以已标注类别的超像素为基准的鼠标点击拖拽操作。即当接收到用户点击某个已经标注好类别的超像素，并以此超像素为基准进行拖拽时，凡是被拖拽路径所覆盖到的超像素均可以标注其类别为与基准的超像素类别相同的类别。当然，连续选取操作还可以是连续的鼠标点选操作、连续的鼠标双击操作等等，本发明实施例对连续选取操作的具体操作方式不做限定。
参见上文步骤S108，在本发明一实施例中，若检测到上文步骤S106中的连续选取操作对应的超像素形成闭环时，还可以将这个闭环内的超像素自动的标注为连续选取操作对应的超像素类别相同的类别。基于该方式，用户在进行连续选取操作时，在通过判断得知较多数量的超像素为同一类别，那么可以通过对该类超像素边缘上的一个或多个超像素进行标注，并以鼠标点击拖拽的方式将该类别的超像素形成闭环，从而可以实现对超像素类别的快速标注。其中，这里的闭环可以包括圆形、方形、不规则形状的闭环，此处不做限定。
通过上文实施例可知，本发明实施例可以通过鼠标点选、鼠标点击拖拽的方式实现对同一类别的较多数量的超像素的便捷、方便的标注，大大地提高了超像素的标注效率。
本发明实施例提供了另一种基于超像素的图片语义分割标注方法，该方法可以应用于汽车的高级驾驶辅助系统、自动泊车辅助系统及自动驾驶等领域。图2示出了根据本发明一个实施例的基于超像素的图片语义分割标注方法的流程示意图。参见图2，该方法至少包括步骤S202至步骤S214。
步骤S202，按照预设算法将预先获取的图片分割成多个超像素。
在该步骤中，结合上文实施例，预设算法可以采用SLIC算法，也可以采用其他的算法，此处不做具体的限定。
步骤S204，接收用户对图片的指定操作，利用指定操作调整超像素的阈值大小，使超像素阈值符合用户标注需求，其中，指定操作为预定义的用于调整超像素阈值大小的操作。
该实施例中，指定操作可以包括转动鼠标滚轮的操作，也可以是其他方式的操作，此处不做具体的限定。
步骤S206，当接收到用户对边缘检测功能的触发操作时，采用预设边缘检测技术检测分割后图片中物体的边缘区域。
在该步骤中，预设边缘检测技术可以采用二值化处理、Canny边缘检测算法、Sobel算子(像素图像边缘检测中最重要的算子之一)等等技术，本发明实施例对边缘检测技术不做具体的限定。
步骤S208，按照预设规则调整边缘区域中的超像素阈值，直到图片中的物体边缘与超像素边缘的重合度达到指定的重合需求。
步骤S210，接收用户对任意超像素的类别标注操作，为任意超像素分配相应的标注类别。
步骤S212，接收用户以已标注类别的超像素为基准的连续选取操作，将连续选取操作对应的超像素标注为与基准超像素类别相同的类别。
步骤S214，当监测到连续选取操作对应的超像素形成闭环时，将闭环以内的超像素标注为与选取操作对应超像素类别相同的类别。
该步骤中的闭环可以包括圆形、方形、不规则形状的闭环，此处不做限定。
对于上述步骤S202至步骤S204及步骤S210至步骤S214的介绍，具体可以参见上文实施例的内容，此处不再进行相应的赘述。
在本发明一实施例中，在执行完成步骤S214之后，若还存在未标注类别的超像素，还可以继续接收用户对图片的指定操作，利用指定操作调整超像素的阈值大小，进而执行上文的步骤S206至步骤S214，直到图像中所有超像素类别被标注完成。
参见上文步骤S208，在本发明一实施例中，按照预设规则调整边缘区域中的超像素阈值时，具体可以结合阈值金字塔的方式来调整边缘区域中的超像素阈值，阈值金字塔的方式指的是控制超像素阈值由大到小依次变化。
具体的，按照预设规则调整边缘区域中的超像素阈值的过程是，首先，控制分割后图片中的超像素阈值由大到小依次变化，且在超像素阈值变化过程中检测当前阈值的超像素所占区域内部是否经过图像中任意物体的边缘。若是，将经过任意物体边缘的超像素的当前阈值进行缩小，并基于缩小后的超像素阈值重新生成图片中相应区域的超像素，直到图片中的全部物体边缘均与超像素边缘的重合度达到指定的重合需求。在该实施例中，指定的重合需求是指全部物体边缘与超像素边缘的重合度较高且用户视觉难以察觉出置于超像素边缘之外的物体边缘，或者是指在对任意物体边缘处的超像素阈值进行缩小的过程中，超像素阈值已经调整达到了最佳阈值，而无法再调整出其他数值的阈值以使物体边缘与超像素边缘的重合度更高。
上述方式可以使图像中物体的边缘出的超像素块尽量的小，从而标注出来的边缘也可以更加清晰一些。
在本发明一实施例中，在步骤S206采用预设边缘检测技术检测分割后图片中物体的边缘区域之后，还可以将图片中物体的非边缘区域中的超像素阈值放大到指定阈值，即将物体形状内部大连通域的超像素块相对放大一些，从而可以有效节约用户的超像素类别标注时间，提高超像素类别标注效率。
在本发明一个实施例中，在用户触发了边缘检测功能之后，还可以和上文实施例中的用于调整超像素阈值大小的指定操作(如转动鼠标滚轮的操作)结合使用。
例如，用户将鼠标的光标放置在一个物体的边缘区域，当用户转动鼠标滚轮后，可以将同一边缘区域中的超像素阈值调大或调小。又例如，用户将鼠标的光标放置在一个物体的非边缘区域，当用户转动鼠标滚轮后，可以将同一非边缘区域中的超像素阈值调大或调小。此时，利用接收到的针对图像的指定操作就不是调整整张图的超像素阈值大小，而是调整部分区域的超像素阈值大小，实现了对超像素阈值的灵活调节。
在采用本发明上文实施例对图像中的超像素类别进行标注之后，可以利用已经标注超像素类别的图像作为模型训练参数进行模型的训练，训练好模型之后，便可以在汽车上使用该模型，利用模型的输出结果获得图像中物体的信息，方便汽车自动避开障碍物。由于本发明实施例可以准确、快速的实现对超像素类别的标注，而模型的精度主要取决于超像素类别标注的好坏，因此，本发明实施例可以进一步有效地提高图像内容的识别速率和精度。
基于同一发明构思，本发明实施例还提供了一种基于超像素的图片语义分割标注装置，参见图3，基于超像素的图片语义分割标注装置300包括分割模块310、分配模块320、第一标注模块330、第二标注模块340。
现介绍本发明实施例的基于超像素的图片语义分割标注装置300的各组成或器件的功能以及各部分间的连接关系：
分割模块310，适于按照预设算法将预先获取的图片分割成多个超像素；
分配模块320，与分割模块310耦合，适于接收用户对任意超像素的类别标注操作，为任意超像素分配相应的标注类别；
第一标注模块330，与分配模块320耦合，适于接收用户以已标注类别的超像素为基准的连续选取操作，将连续选取操作对应的超像素标注为与基准超像素类别相同的类别；
第二标注模块340，与第一标注模块330耦合，适于当监测到连续选取操作对应的超像素形成闭环时，将闭环以内的超像素标注为与选取操作对应超像素类别相同的类别。
在本发明一实施例中，预设算法可以包括线性迭代聚类算法，当然，也可以采用其他算法将图片分割成多个超像素，本发明实施例对此不做具体的限定。
在本发明一实施例中，分配模块320还适于，接收用户针对任意超像素从多个候选类别中选取与任意超像素对应的标注类别的选取操作，为任意超像素分配用户选取的标注类别。
本发明实施例还提供了另一种基于超像素的图片语义分割标注装置，参见图4，基于超像素的图片语义分割标注装置300除了包括上述各模块之外，还包括接收模块350、第一调整模块360。
接收模块350，与分割模块310耦合，适于接收用户对图片的指定操作，指定操作为预定义的用于调整超像素阈值大小的操作。
第一调整模块360，与接收模块350和分配模块320分别耦合，适于利用指定操作调整超像素的阈值大小，使超像素阈值符合用户标注需求。
在本发明一实施例中，指定操作包括转动鼠标滚轮的操作，例如，若鼠标滚轮由下至上转动，则超像素阈值由大到小调整，若鼠标滚轮由上至下转动，则超像素阈值由小到大调整。
在本发明一实施例中，第一调整模块360还适于，在利用指定操作调整超像素的阈值大小的过程中，若调整阈值后的任一超像素所占区域与已标注类别的超像素所占区域的重叠区域大于任一超像素所占区域的1/2，将任一超像素标注为与重叠区域的超像素类别相同的类别。
本发明实施例还提供了又一种基于超像素的图片语义分割标注装置，参见图5，基于超像素的图片语义分割标注装置300除了包括上述各模块之外，还包括检测模块370、第二调整模块380。
检测模块370，与第一调整模块360耦合，适于当接收到用户对边缘检测功能的触发操作时，采用预设边缘检测技术检测分割后图片中物体的边缘区域。
第二调整模块380，与检测模块370和分配模块320分别耦合，适于按照预设规则调整边缘区域中的超像素阈值，直到图片中的物体边缘与超像素边缘的重合度达到指定的重合需求。
在本发明一实施例中，第二调整模块380还适于，控制分割后图片中的超像素阈值由大到小依次变化，且在超像素阈值变化过程中检测当前阈值的超像素所占区域内部是否经过任意物体的边缘，若是，将经过任意物体边缘的超像素的当前阈值进行缩小，基于缩小后的超像素阈值重新生成图片中相应区域的超像素，直到图片中的全部物体边缘均与超像素边缘的重合度达到指定的重合需求。
在本发明另一实施例中，第二调整模块380还适于，将分割后图片中物体的非边缘区域中的超像素阈值放大到指定阈值。
本发明实施例还提供了一种计算机存储介质，计算机存储介质存储有计算机程序代码，当计算机程序代码在计算设备上运行时，导致计算设备执行上文任意实施例中的基于超像素的图片语义分割标注方法。
根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：
在本发明实施例中，首先按照预设算法将预先获取的图片分割成多个超像素，然后当接收到用户对任意超像素进行类别标注操作时，可以基于用户的标注操作为该任意超像素分配相应的标注类别。当用户对任意超像素进行类别标注之后，还可以执行以已经标注类别的超像素为基准进行连续选取操作，从而能够将连续选取的超像素标注为与基准超像素类别相同的类别。由此，对于图片中的任意类别的超像素，用户可以仅对其中的小部分超像素进行标注，而对于大部分超像素可以采用连续选取操作的方式实现统一标注，不仅可以对超像素进行准确标注，而且还大大地提高了超像素标注的效率，进而提高了后续对图片内容的识别速率。
进一步地，当监测到连续选取操作对应的超像素形成闭环时，还可以通过将闭环以内的超像素标注为与选取操作对应超像素类别相同的类别的方式，来有效地减少人工标注的时间，既节约了人力资源成本，又进一步地提高了超像素标注的效率。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。
Claims (9)
1.一种基于超像素的图片语义分割标注方法，包括：
按照预设算法将预先获取的图片分割成多个超像素；
接收用户对任意超像素的类别标注操作，为所述任意超像素分配相应的标注类别；
接收用户以已标注类别的超像素为基准的连续选取操作，将连续选取操作对应的超像素标注为与基准超像素类别相同的类别；
当监测到所述连续选取操作对应的超像素形成闭环时，将闭环以内的超像素标注为与所述选取操作对应超像素类别相同的类别。
2.根据权利要求1所述的方法，其中，接收用户对任意超像素的类别标注操作，为所述任意超像素分配相应的标注类别，包括：
接收用户针对任意超像素从多个候选类别中选取与所述任意超像素对应的标注类别的选取操作，为所述任意超像素分配用户选取的标注类别。
3.根据权利要求1或2所述的方法，其中，还包括：
接收用户对所述图片的指定操作，所述指定操作为预定义的用于调整所述超像素阈值大小的操作；
利用所述指定操作调整所述超像素的阈值大小，使所述超像素阈值符合用户标注需求。
4.根据权利要求3所述的方法，其中，所述指定操作包括转动鼠标滚轮的操作，其中，
若鼠标滚轮由下至上转动，则超像素阈值由大到小调整，若鼠标滚轮由上至下转动，则超像素阈值由小到大调整；或者
若鼠标滚轮由上至下转动，则超像素阈值由大到小调整，若鼠标滚轮由下至上转动，则超像素阈值由小到大调整。
5.根据权利要求3所述的方法，其中，
在利用所述指定操作调整所述超像素的阈值大小时，若调整阈值后的任一超像素所占区域与已标注类别的超像素所占区域的重叠区域大于所述任一超像素所占区域的1/2，将所述任一超像素标注为与所述重叠区域的超像素类别相同的类别。
6.根据权利要求1或2所述的方法，其中，还包括：
当接收到用户对边缘检测功能的触发操作时，采用预设边缘检测技术检测分割后图片中物体的边缘区域；
按照预设规则调整边缘区域中的超像素阈值，直到图片中的物体边缘与超像素边缘的重合度达到指定的重合需求。
7.根据权利要求6所述的方法，其中，按照预设规则调整边缘区域中的超像素阈值，直到图片中的物体边缘与超像素边缘的重合度达到指定的重合需求，包括：
控制所述分割后图片中的超像素阈值由大到小依次变化，且在所述超像素阈值变化过程中检测当前阈值的超像素所占区域内部是否经过任意物体的边缘；
若是，将经过所述任意物体边缘的超像素的当前阈值进行缩小，基于缩小后的超像素阈值重新生成图片中相应区域的超像素，直到图片中的全部物体边缘均与超像素边缘的重合度达到指定的重合需求。
8.一种基于超像素的图片语义分割标注装置，包括：
分割模块，适于按照预设算法将预先获取的图片分割成多个超像素；
分配模块，适于接收用户对任意超像素的类别标注操作，为所述任意超像素分配相应的标注类别；
第一标注模块，适于接收用户以已标注类别的超像素为基准的连续选取操作，将连续选取操作对应的超像素标注为与基准超像素类别相同的类别；
第二标注模块，适于当监测到所述连续选取操作对应的超像素形成闭环时，将闭环以内的超像素标注为与所述选取操作对应超像素类别相同的类别。
9.一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行权利要求1-7任一项所述的基于超像素的图片语义分割标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910153120.8A CN109934838B (zh) | 2019-02-28 | 2019-02-28 | 一种基于超像素的图片语义分割标注方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910153120.8A CN109934838B (zh) | 2019-02-28 | 2019-02-28 | 一种基于超像素的图片语义分割标注方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109934838A true CN109934838A (zh) | 2019-06-25 |
| CN109934838B CN109934838B (zh) | 2021-07-13 |
Family
ID=66986274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910153120.8A Active CN109934838B (zh) | 2019-02-28 | 2019-02-28 | 一种基于超像素的图片语义分割标注方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109934838B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570352A (zh) * | 2019-08-26 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 图像标注方法、装置、系统及细胞标注方法 |
| CN110598705A (zh) * | 2019-09-27 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 图像的语义标注方法及装置 |
| CN110866930A (zh) * | 2019-11-18 | 2020-03-06 | 北京云聚智慧科技有限公司 | 语义分割辅助标注方法与装置 |
| CN112784894A (zh) * | 2021-01-18 | 2021-05-11 | 西南石油大学 | 一种岩石薄片显微图像自动标注方法 |
| CN113408633A (zh) * | 2021-06-29 | 2021-09-17 | 北京百度网讯科技有限公司 | 用于输出信息的方法、装置、设备以及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023145A (zh) * | 2016-05-06 | 2016-10-12 | 哈尔滨工程大学 | 基于超像素标注的遥感图像的分割与识别方法 |
| CN106022353A (zh) * | 2016-05-05 | 2016-10-12 | 浙江大学 | 一种基于超像素分割的图像语义标注方法 |
| US20180114064A1 (en) * | 2014-12-16 | 2018-04-26 | Irobot Corporation | Systems and Methods for Capturing Images and Annotating the Captured Images with Information |
-
2019
- 2019-02-28 CN CN201910153120.8A patent/CN109934838B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180114064A1 (en) * | 2014-12-16 | 2018-04-26 | Irobot Corporation | Systems and Methods for Capturing Images and Annotating the Captured Images with Information |
| CN106022353A (zh) * | 2016-05-05 | 2016-10-12 | 浙江大学 | 一种基于超像素分割的图像语义标注方法 |
| CN106023145A (zh) * | 2016-05-06 | 2016-10-12 | 哈尔滨工程大学 | 基于超像素标注的遥感图像的分割与识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 曹奇敏: "网络信息文本挖掘若干问题研究", 《中国博士学位论文全文数据库信息科技辑》 * |
| 风吴痕: "labelme标注的数据分析", 《CSDN HTTPS://BLOG.CSDN.NET/WC781708249/ARTICLE/DETAILS/79595174》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570352A (zh) * | 2019-08-26 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 图像标注方法、装置、系统及细胞标注方法 |
| CN110598705A (zh) * | 2019-09-27 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 图像的语义标注方法及装置 |
| CN110866930A (zh) * | 2019-11-18 | 2020-03-06 | 北京云聚智慧科技有限公司 | 语义分割辅助标注方法与装置 |
| CN110866930B (zh) * | 2019-11-18 | 2022-04-12 | 北京云聚智慧科技有限公司 | 语义分割辅助标注方法与装置 |
| CN112784894A (zh) * | 2021-01-18 | 2021-05-11 | 西南石油大学 | 一种岩石薄片显微图像自动标注方法 |
| CN112784894B (zh) * | 2021-01-18 | 2022-11-15 | 西南石油大学 | 一种岩石薄片显微图像自动标注方法 |
| CN113408633A (zh) * | 2021-06-29 | 2021-09-17 | 北京百度网讯科技有限公司 | 用于输出信息的方法、装置、设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109934838B (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934838A (zh) | 一种基于超像素的图片语义分割标注方法及装置 | |
| Wang et al. | Color image segmentation using pixel wise support vector machine classification | |
| US8411986B2 (en) | Systems and methods for segmenation by removal of monochromatic background with limitied intensity variations | |
| WO2015010451A1 (zh) | 一种从单幅图像检测道路的方法 | |
| Rahman et al. | A framework for fast automatic image cropping based on deep saliency map detection and gaussian filter | |
| Lopez-Molina et al. | Generating fuzzy edge images from gradient magnitudes | |
| US8670615B2 (en) | Refinement of segmentation markup | |
| US10536164B2 (en) | Adapting image vectorization operations using machine learning | |
| CN105957124B (zh) | 具有重复场景元素的自然图像颜色编辑方法及装置 | |
| Lee et al. | Directional texture transfer with edge enhancement | |
| CN107977624A (zh) | 一种语义分割方法、装置以及系统 | |
| WO2021082507A1 (zh) | 半自动化图像分割数据标注方法、电子装置及存储介质 | |
| CN110503115A (zh) | 一种颜色识别方法、装置、设备及计算机可读存储介质 | |
| CN104134198A (zh) | 一种对图像进行局部处理的方法 | |
| Liu et al. | A mask R-CNN model with improved region proposal network for medical ultrasound image | |
| CN110503705A (zh) | 图像标注方法和设备 | |
| Mairon et al. | A closer look at context: From coxels to the contextual emergence of object saliency | |
| Zheng et al. | A new artistic information extraction method with multi channels and guided filters for calligraphy works | |
| Yang et al. | Paint with stitches: a style definition and image-based rendering method for random-needle embroidery | |
| Varga et al. | Twin deep convolutional neural network for example-based image colorization | |
| CN108694398A (zh) | 一种图像分析方法及装置 | |
| CN106846399A (zh) | 一种获取图像的视觉重心的方法及装置 | |
| Sun et al. | Mural2sketch: A combined line drawing generation method for ancient mural painting | |
| İlhan | A cross-platform test tool for digital image processing | |
| Oh et al. | Point-cut: Interactive image segmentation using point supervision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220317 Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province Patentee after: Yikatong (Hubei) Technology Co.,Ltd. Address before: No.c101, chuanggu start up area, taizihu cultural Digital Industrial Park, No.18 Shenlong Avenue, Wuhan Economic Development Zone, Hubei Province Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd. |