CN110598705A - 图像的语义标注方法及装置 - Google Patents

Abstract

本发明公开了一种图像的语义标注方法及装置。其中，该方法包括：获取待标注图像；确定待标注图像中所包括的待标注对象的对象类型；对待标注图像执行与对象类型对应的区域检测操作，得到待标注对象对应的对象区域，其中，对对象区域进行语义标注。本发明解决了对图像进行语义标注的效率较低的技术问题。

Description

图像的语义标注方法及装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种图像的语义标注方法及装置。

背景技术

像素语义分割大多都是使用深度学习的技术，因此在大部分像素语义分割之前，需要对样本进行标注，而像素语义分割是像素级的，因此样本的标注过程会耗费大量的人力以及时间。

语义分割的业界样本标注工具是labelme，这个工具是通过人工画折现的方式来实现对图像中的物体进行像素级的区域标注，这个工具存在的问题主要有以下两点：折线方式来做像素级的标注，还是会存在不精确的情况。标注的效率还是太慢。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像的语义标注方法及装置，以至少解决对图像进行语义标注的效率较低的技术问题。

根据本发明实施例的一个方面，提供了一种图像的语义标注方法，包括：获取待标注图像；

确定所述待标注图像中所包括的待标注对象的对象类型；

对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域；对所述对象区域进行语义标注。

根据本发明实施例的另一方面，还提供了一种图像的语义标注装置，包括：获取模块，用于获取待标注图像；

第一确定模块，用于确定所述待标注图像中所包括的待标注对象的对象类型；

执行模块，用于对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域；对所述对象区域进行语义标注。

可选地，所述第一确定模块，包括：

第一处理单元，用于获取所述待标注对象在所述待标注图像上所对应的像素的像素数量；在所述像素数量大于目标数量的情况下，确定出所述待标注对象的对象类型为所述第一类型。

可选地，所述第一确定模块，包括：

第二处理单元，用于获取所述待标注对象在所述待标注图像上所对应的像素的像素数量；在所述像素数量小于或者等于目标数量的情况下，确定出所述待标注对象的对象类型为所述第二类型。

可选地，所述装置还包括：

第二确定模块，用于在对所述对象区域进行语义标注之后，将携带有所述对象区域和语义之间的对应关系的所述待标注图像确定为已标注图像；

训练模块，用于使用所述已标注图像对语义分割模型进行训练，其中，所述语义分割模型用于对输入的图像进行像素语义分割。

在本发明实施例中，采用获取待标注图像；确定待标注图像中所包括的待标注对象的对象类型；对待标注图像执行与对象类型对应的区域检测操作，得到待标注对象对应的对象区域，其中，对所述对象区域进行语义标注的方式，通过对待标注图像上属于不同类型的待标注对象执行不同的区域检测操作，自动对待标注图像上待检测对象所在的区域进行检测，获取到对象区域，再对对象区域进行语义标注，达到了自动进行语义标注的目的，从而实现了提高对图像进行语义标注的效率的技术效果，进而解决了对图像进行语义标注的效率较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的图像的语义标注方法的示意图；

图2是根据本发明实施例的一种可选的图像的语义标注方法的应用环境示意图；

图3是根据本发明可选的实施方式的一种可选的图像的语义标注方法的示意图一；

图4是根据本发明可选的实施方式的一种可选的图像的语义标注方法的示意图二；

图5是根据本发明可选的实施方式的一种可选的图像的语义标注方法的示意图三；

图6是根据本发明可选的实施方式的一种可选的图像的语义标注方法的示意图四；

图7是根据本发明可选的实施方式的一种可选的图像的语义标注方法的示意图五；

图8是根据本发明可选的实施方式的一种可选的图像的语义标注方法的示意图六；

图9是根据本发明可选的实施方式的一种可选的图像的语义标注方法的示意图七；

图10是根据本发明实施例的一种可选的图像的语义标注装置的示意图；

图11是根据本发明实施例的一种可选的图像的语义标注方法的应用场景示意图一；

图12是根据本发明实施例的一种可选的图像的语义标注方法的应用场景示意图二；

图13是根据本发明实施例的一种可选的图像的语义标注方法的应用场景示意图三；以及

图14是根据本发明实施例的一种可选的电子装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种图像的语义标注方法，如图1所示，该方法包括：

步骤S102，获取待标注图像；

步骤S104，确定所述待标注图像中所包括的待标注对象的对象类型；

步骤S106，对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域；对所述对象区域进行语义标注。

可选地，在本实施例中，上述图像的语义标注方法可以应用于如图2所示的设备202所构成的硬件环境中。如图2所示，设备202获取待标注图像；确定待标注图像中所包括的待标注对象的对象类型；对待标注图像执行与对象类型对应的区域检测操作，得到待标注对象对应的对象区域；对对象区域进行语义标注。

可选地，在本实施例中，上述图像的语义标注方法可以但不限于应用于对图像进行语义标注的场景中。其中，上述设备可以但不限于为用于进行语义标注的客户端，也可以是包括语义标注客户端和语义标注服务器的系统。

可选地，在本实施例中，上述待标注图像可以但不限于包括各种类型的应用程序的图像。例如，在线教育应用、即时通讯应用、社区空间应用、游戏应用、购物应用、浏览器应用、金融应用、多媒体应用、直播应用等可选地，在本实施例中，从待标注图像中检测出的对象区域可以但不限于包括一个或者多个区域。比如：可以在待标注图像中检测出天空区域、地面区域、车辆区域等等。

可选地，在本实施例中，语义标注后可以得到对象区域对应的语义标签，该语义标签用于对对象区域进行分类，用来指示对象区域的语义类型。比如：对于游戏图像，语义标签可以但不限于包括：游戏角色、游戏场景、游戏道具，游戏场景标签又可以细分为地面场景、天空场景、树木场景、障碍场景等等。

可选地，在本实施例中，待标注对象的对象类型可以但不限于根据对象的语义类型来划分，比如：分为场景类型和物体类型。对场景类型的对象采用适合场景类型的区域检测操作来确定对象区域，对物体类型的对象采用适合物体类型的区域检测操作来确定对象区域。从而使得检测操作与待检测对象能够互相适配，提高检测的效率。

在一个可选的实施方式中，如图3所示，获取待标注图像为道路交通图像。确定待标注图像中所包括的待标注对象的对象类型。其中，待标注对象包括：树木，车辆，建筑，车道，天空，人行道，道路设施。树木，建筑，车道，天空，人行道的对象类型属于场景类型，车辆和道路设施的对象类型属于物体类型。对该道路交通图像执行与场景类型对应的区域检测操作，得到树木对应的对象区域1，建筑对应的对象区域2，车道对应的对象区域3，天空对应的对象区域4，人行道对应的对象区域5。对该道路交通图像执行与物体类型对应的区域检测操作，得到道路设施对应的对象区域6，车辆对应的对象区域7。将对象区域1的语义标注为树木，对象区域2的语义标注为建筑，对象区域3的语义标注为车道，对象区域4的语义标注为天空，对象区域5的语义标注为人行道，对象区域6的语义标注为道路设施，对象区域7的语义标注为车辆。

可见，通过上述步骤，通过对待标注图像上属于不同类型的待标注对象执行不同的区域检测操作，自动对待标注图像上待检测对象所在的区域进行检测，获取到对象区域，再对对象区域进行语义标注，达到了自动进行语义标注的目的，从而实现了提高对图像进行语义标注的效率的技术效果，进而解决了对图像进行语义标注的效率较低的技术问题。

作为一种可选的方案，确定所述待标注图像中所包括的待标注对象的对象类型，包括：

S1，获取所述待标注对象在所述待标注图像上所对应的像素的像素数量；

S2，在所述像素数量大于目标数量的情况下，确定出所述待标注对象的对象类型为所述第一类型。

可选地，在本实施例中，可以通过检测待标注对象所占的像素数量与目标数量之间的关系确定检测对象区域的方式。比如：如果待标注对象所占的像素数量与目标数量相比较大，则确定待标注对象属于第一类型，可能是背景类型或者较大范围的物体。采用第一类型对应的分割区域的操作确定出对象区域。

可选地，在本实施例中，还可以通过界面上显示的控件确定检测对象区域的方式，比如：在检测到对第一控件执行的选择操作的情况下，确定出所述待标注对象的对象类型为所述第一类型，其中，在显示了所述待标注图像的界面上显示有所述第一控件。

作为一种可选的方案，对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域，包括：

S1，在确定出所述待标注对象的对象类型为第一类型的情况下，将所述待标注图像分割为多个分割区域，其中，所述多个分割区域中每个分割区域所包括的像素点的目标像素特征之间的相似度满足目标相似度条件，所述第一类型用于指示所述待标注对象在所述待标注图像中所占的面积大于目标阈值；

S2，在检测到对所述多个分割区域中的目标分割区域执行的选择操作的情况下，将所述目标分割区域确定为所述对象区域。

可选地，在本实施例中，在待标注对象的对象类型为第一类型的情况下，也就是说，待标注对象在待标注图像中所占的面积大于目标阈值的情况下，可以采用区域分割的方式检测对象区域，分割出的区域所包括的像素点的目标像素特征之间的相似度满足目标相似度条件。也就是说，将待标注图像分割为若干个目标像素特征具有一定关系的区域，再通过选择操作确定从多个分割区域中确定检测区域。

可选地，在本实施例中，上述目标相似度条件可以但不限于为相似度高于相似度阈值等等。即将目标像素特征比较相似的像素点划分到一个区域中。比如：可以但不限于采用对像素点进行聚类的方式，首先确定每个像素点所对应的特征向量，该特征向量能够表示像素点的颜色、亮度、纹理、位置等特征。确定像素的特征向量之间的距离，距离越小表示相似度越高，将特征之间的距离小于目标距离的像素点归为一类，得到一个分割区域。

可选地，在本实施例中，上述目标像素特征可以但不限于包括颜色、亮度、纹理等。

作为一种可选的方案，将待标注图像分割为多个分割区域，包括：

S1，对待标注图像进行超像素分割，得到多个分割区域。

可选地，在本实施例中，上述区域分割过程可以但不限于通过超像素分割技术来实现。

可选地，在本实施例中，超像素分割的检测方式可以但不限于用于对图像中区域面积大于目标面积的区域进行标注。

可选地，在本实施例中，超像素分割过程将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。超像素分割的结果是图像上子区域的集合(这些子区域的全体覆盖了整个图像)，或是从图像中提取的轮廓线的集合(例如边缘检测)。一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。超像素分割是对图像中的每个像素加标签的一个过程，这一过程使得具有相同标签的像素具有某种共同视觉特性。

在超像素分割过程中，可以是将彩色图像转化为特征向量，然后对特征向量构造距离度量标准，对图像像素进行局部聚类得到图像区域的集合。超像素分割算法能生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价，比较符合人们期望的分割效果。

在一个可选的实施方式中，如图4所示，通过超像素分割来进行图像的语义标注过程包括如下流程：

首先，对输入的图像进行超像素分割，将图像分割成能够比较好的贴合边缘的块，结果如图5所示，虽然不能将某个物体完全分割出来，但是能够大致的贴合边缘，这样有利于之后的标注。

然后，选择属于标注物体的区域，比如上述分割结果，如果需要标注坦克，则选择所有属于坦克的区域(可通过鼠标滑动来实现)，这样就能大大减少标注的工作量。

最后，选择完区域后，会和真实的标签有所偏差，这时可以对区域边缘进行微调来矫正，最终完成标注。

在另一个可选的实施方式中，如图6所示，界面上显示了待标注图像为赛车游戏的图像，并显示有第一控件和第二控件，图像中包括的待标注对象包括：游戏角色a1和a2、起跑线b、赛道c、树木d1和d2、山峰e1，e2和e3等等。检测到对第一控件执行的点击操作，对赛车游戏的图像进行超像素分割，得到多个分割区域M，在检测到对多个分割区域M中的目标分割区域N执行的选择操作的情况下，将目标分割区域N确定为对象区域，从而得到起跑线的区域P，将该区域P的语义标注为起跑线。

作为一种可选的方案，确定所述待标注图像中所包括的待标注对象的对象类型，包括：

S1，获取所述待标注对象在所述待标注图像上所对应的像素的像素数量；

S2，在所述像素数量小于或者等于目标数量的情况下，确定出所述待标注对象的对象类型为所述第二类型。

可选地，在本实施例中，可以通过检测待标注对象所占的像素数量与目标数量之间的关系确定检测对象区域的方式。比如：如果检测到对第二控件执行了选择操作，或者，待标注对象所占的像素数量与目标数量相比较小或者相同，则确定待标注对象属于第二类型。采用第二类型对应的轮廓检测的操作确定出对象区域。

可选地，在本实施例中，还可以通过界面上显示的控件确定检测对象区域的方式，例如：在检测到对第二控件执行的选择操作的情况下，确定出所述待标注对象的对象类型为所述第二类型，其中，在显示了所述待标注图像的界面上显示有所述第二控件；

作为一种可选的方案，对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域，包括：

S1，在确定出所述待标注对象的对象类型为第二类型的情况下，对所述待标注图像进行轮廓检测，得到轮廓检测区域，其中，所述第二类型用于指示所述待标注对象在所述待标注图像中所占的面积小于或者等于目标阈值；

S2，将所述轮廓检测区域确定为所述对象区域。

可选地，在本实施例中，轮廓检测的方式可以但不限于用于对图像中待标注对象所占面积小于或者等于目标阈值的区域进行标注。

可选地，在本实施例中，轮廓检测的方法可以但不限于包括两类，一类是利用边缘检测算子检测目标轮廓，另一类是从人类视觉系统中提取可以使用的数学模型完成目标轮廓检测。

作为一种可选的方案，对待标注图像进行轮廓检测，包括：

S1，在检测到对待标注图像执行的框选操作的情况下，将框选操作在待标注图像上所指示的区域确定为待轮廓检测区域；

S2，对待轮廓检测区域进行轮廓检测，得到轮廓检测区域。

可选地，在本实施例中，可以但不限于首先通过框选操作在待标注图像中框出物体的大致范围，再在该范围内进行轮廓检测，从而提高检测的效率。

在一个可选的实施方式中，如图7所示，通过物体轮廓检测来进行图像的语义标注过程包括如下流程：

首先，用矩形框标出需要标注的物体(可以通过鼠标画矩形框实现)。

然后，通过轮廓检测的算法来得到物体的轮廓(比如：可以使用polyrnn++模型)，这样能够圈出物体的大概轮廓。如图8所示。

可选地，在本实施例中，polyrnn++模型的算法流程可以但不限于包括以下过程：使用CNN(卷积神经网络)提取图像特征。使用RNN(循环神经网络)解码多边形顶点。为了提高RNN的预测效果，加入了注意力机制(attention)。同时使用评估网络(evaluatornetwork)从RNN提议的候选多边形中选出最佳。最后使用门控图神经网络(Gated GraphNeural Network，GGNN)上采样，以提高输出分辨率。最终将检测出的多边形区域作为检测物体的轮廓。最后，对轮廓检测的结果进行边缘的微调后，最终完成标注。

在另一个可选的实施方式中，如图9所示，界面上显示了待标注图像为赛车游戏的图像，并显示有第一控件和第二控件，图像中包括的待标注对象包括：游戏角色a1和a2、起跑线b、赛道c、树木d1和d2、山峰e1，e2和e3等等。检测到对第二控件执行的点击操作，则检测对赛车游戏的图像执行的框选操作，确定框选区域W后，对框选区域W进行轮廓检测，从而得到游戏角色a1的对象区域Q，将该区域Q的语义标注为游戏角色a1。

作为一种可选的方案，在对所述对象区域进行语义标注之后，还包括：

S1，将携带有所述对象区域和语义之间的对应关系的所述待标注图像确定为已标注图像；

S2，使用已标注图像对语义分割模型进行训练，其中，语义分割模型用于对输入的图像进行像素语义分割。

可选地，在本实施例中，进行语义标签标注后的待标注图像可以作为已标注的样本图像对语义分割模型进行训练，训练后的语义分割模型可以用于对输入的图像进行像素语义分割的处理。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述图像的语义标注方法的图像的语义标注装置，如图10所示，该装置包括：

获取模块102，用于获取待标注图像；

第一确定模块104，用于确定所述待标注图像中所包括的待标注对象的对象类型；

执行模块106，用于对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域；对所述对象区域进行语义标注。

可选地，所述第一确定模块，包括：

第一处理单元，用于获取所述待标注对象在所述待标注图像上所对应的像素的像素数量；在所述像素数量大于目标数量的情况下，确定出所述待标注对象的对象类型为所述第一类型。

可选地，所述执行模块，包括：

分割单元，用于在确定出所述待标注对象的对象类型为第一类型的情况下，将所述待标注图像分割为多个分割区域，其中，所述多个分割区域中每个分割区域所包括的像素点的目标像素特征之间的相似度满足目标相似度条件，所述第一类型用于指示所述待标注对象在所述待标注图像中所占的面积大于目标阈值；

第一确定单元，用于在检测到对所述多个分割区域中的目标分割区域执行的选择操作的情况下，将所述目标分割区域确定为所述对象区域。

可选地，所述分割单元，包括：

分割子单元，用于对所述待标注图像进行超像素分割，得到所述多个分割区域。

可选地，所述第一确定模块，包括：

第二处理单元，用于获取所述待标注对象在所述待标注图像上所对应的像素的像素数量；在所述像素数量小于或者等于目标数量的情况下，确定出所述待标注对象的对象类型为所述第二类型。

可选地，所述执行模块，包括：

检测单元，用于在确定出所述待标注对象的对象类型为第二类型的情况下，对所述待标注图像进行轮廓检测，得到轮廓检测区域，其中，所述第二类型用于指示所述待标注对象在所述待标注图像中所占的面积小于或者等于目标阈值；

第三确定单元，用于将所述轮廓检测区域确定为所述对象区域。

可选地，所述检测单元，包括：

确定子单元，用于在检测到对所述待标注图像执行的框选操作的情况下，将所述框选操作在所述待标注图像上所指示的区域确定为待轮廓检测区域；

检测子单元，用于对所述待轮廓检测区域进行轮廓检测，得到所述轮廓检测区域。

可选地，所述装置还包括：

第二确定模块，用于在对所述对象区域进行语义标注之后，将携带有所述对象区域和语义之间的对应关系的所述待标注图像确定为已标注图像；

训练模块，用于使用所述已标注图像对语义分割模型进行训练，其中，所述语义分割模型用于对输入的图像进行像素语义分割。

本发明实施例的应用环境可以但不限于参照上述实施例中的应用环境，本实施例中对此不再赘述。本发明实施例提供了用于实施上述实时通信的连接方法的一种可选的具体应用示例。

作为一种可选的实施例，上述基于区块链的身份信息的授权方法可以但不限于应用于如图11所示的对区块链上注册帐号的身份信息进行管理的场景中。在本场景中，利用超像素分割和轮廓检测来简化语义分割标注过程，实现了一个标注工具，流程如图11所示：

输入图像后，用户可以根据要标注的物体来选择合适的标注方法(可以通过选择标注控件来选择不同的标注方法)，比如：如果物体范围大(例如背景)则可以选择超像素分割，标注工具会通过超像素分割来进行区域的检测，如果物体范围小(例如人，车等)则可以选择轮廓检测的方法，标注工具会通过轮廓检测进行区域的检测。

如果使用超像素分割的方式，如图12所示，首先用超像素分割算法将图像预处理，处理后会得到一个分割图像，每个区域都会非常贴合图像的边缘，之后只需要将属于标注物体的区域选择出来，就能完成标注，这里使用鼠标滑动选择的方法，选择出鼠标滑动经过的所有区域。

如果使用轮廓检测的方式，如图13所示，首先用矩形框来圈出需要标注的物体，再将圈出的矩形图像输入给polyrnn++模型，得到该物体的轮廓，将轮廓直接显示到标注工具中。

经过超像素分割方式或者轮廓检测方式的标签可能不会达到完美贴合标注物，因此在工具自动标注过后，还可以由人工来微调标注结果，这里利用鼠标拖动轮廓点的方式来实现微调。微调过后才为最终的标注结果。

上述语义分割的标注工具可以但不限于用于标注游戏画面，任何需要做语义分割的图像都能标注，通用性非常广，且标注的效果要优于目前的语义分割标注工具labelme。统计labelme与上述标注工具的标注效率如下：同样的500张样本，用labelme工具标注，需要6.5天，而使用本标注工具，可以只花费3.5天，大大提高了标注的效率。

根据本发明实施例的又一个方面，还提供了一种用于实施上述基于区块链的身份信息的授权的电子装置，如图14所示，该电子装置包括：一个或多个(图中仅示出一个)处理器1402、存储器1404、传感器1406、编码器1408以及传输装置1410，该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取待标注图像；

S2，确定所述待标注图像中所包括的待标注对象的对象类型；

S3，对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域；对所述对象区域进行语义标注。

可选地，本领域普通技术人员可以理解，图14所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图14其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图14中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图14所示不同的配置。

其中，存储器1404可用于存储软件程序以及模块，如本发明实施例中的基于区块链的身份信息的授权方法和装置对应的程序指令/模块，处理器1402通过运行存储在存储器1404内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标组件的控制方法。存储器1404可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1404可进一步包括相对于处理器1402远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述的传输装置1410用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1410包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1410为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

其中，具体地，存储器1404用于存储应用程序。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取待标注图像；

S2，确定所述待标注图像中所包括的待标注对象的对象类型；

S3，对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域；对所述对象区域进行语义标注。

可选地，存储介质还被设置为存储用于执行上述实施例中的方法中所包括的步骤的计算机程序，本实施例中对此不再赘述。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种图像的语义标注方法，其特征在于，包括：

获取待标注图像；

确定所述待标注图像中所包括的待标注对象的对象类型；

对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域；对所述对象区域进行语义标注。

2.根据权利要求1所述的方法，其特征在于，确定所述待标注图像中所包括的待标注对象的对象类型，包括：

获取所述待标注对象所对应的像素的像素数量；

在所述像素数量大于目标数量的情况下，确定出所述待标注对象的对象类型为所述第一类型。

3.根据权利要求2所述的方法，其特征在于，对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域，包括：

在确定出所述待标注对象的对象类型为第一类型的情况下，将所述待标注图像分割为多个分割区域，其中，所述多个分割区域中每个分割区域所包括的像素点的目标像素特征之间的相似度满足目标相似度条件，所述第一类型用于指示所述待标注对象在所述待标注图像中所占的面积大于目标阈值；

在检测到对所述多个分割区域中的目标分割区域执行的选择操作的情况下，将所述目标分割区域确定为所述对象区域。

4.根据权利要求3所述的方法，其特征在于，将所述待标注图像分割为多个分割区域，包括：

对所述待标注图像进行超像素分割，得到所述多个分割区域。

5.根据权利要求1所述的方法，其特征在于，确定所述待标注图像中所包括的待标注对象的对象类型，包括：

获取所述待标注对象在所述待标注图像上所对应的像素的像素数量；

在所述像素数量小于或者等于目标数量的情况下，确定出所述待标注对象的对象类型为所述第二类型。

6.根据权利要求5所述的方法，其特征在于，对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域，包括：

在确定出所述待标注对象的对象类型为第二类型的情况下，对所述待标注图像进行轮廓检测，得到轮廓检测区域，其中，所述第二类型用于指示所述待标注对象在所述待标注图像中所占的面积小于或者等于目标阈值；

将所述轮廓检测区域确定为所述对象区域。

7.根据权利要求6所述的方法，其特征在于，对所述待标注图像进行轮廓检测，包括：

在检测到对所述待标注图像执行的框选操作的情况下，将所述框选操作在所述待标注图像上所指示的区域确定为待轮廓检测区域；

对所述待轮廓检测区域进行轮廓检测，得到所述轮廓检测区域。

8.根据权利要求1所述的方法，其特征在于，在对所述对象区域进行语义标注之后，所述方法还包括：

将携带有所述对象区域和语义之间的对应关系的所述待标注图像确定为已标注图像；

使用所述已标注图像对语义分割模型进行训练，其中，所述语义分割模型用于对输入的图像进行像素语义分割。

9.一种图像的语义标注装置，其特征在于，包括：

获取模块，用于获取待标注图像；

第一确定模块，用于确定所述待标注图像中所包括的待标注对象的对象类型；

执行模块，用于对所述待标注图像执行与所述对象类型对应的区域检测操作，得到所述待标注对象对应的对象区域；对所述对象区域进行语义标注。

10.根据权利要求9所述的装置，其特征在于，所述执行模块，包括：

分割单元，用于在确定出所述待标注对象的对象类型为第一类型的情况下，将所述待标注图像分割为多个分割区域，其中，所述多个分割区域中每个分割区域所包括的像素点的目标像素特征之间的相似度满足目标相似度条件，所述第一类型用于指示所述待标注对象在所述待标注图像中所占的面积大于目标阈值；

第一确定单元，用于在检测到对所述多个分割区域中的目标分割区域执行的选择操作的情况下，将所述目标分割区域确定为所述对象区域。

11.根据权利要求10所述的装置，其特征在于，所述分割单元，包括：

分割子单元，用于对所述待标注图像进行超像素分割，得到所述多个分割区域。

12.根据权利要求9所述的装置，其特征在于，所述执行模块，包括：

检测单元，用于在确定出所述待标注对象的对象类型为第二类型的情况下，对所述待标注图像进行轮廓检测，得到轮廓检测区域，其中，所述第二类型用于指示所述待标注对象在所述待标注图像中所占的面积小于或者等于目标阈值；

第三确定单元，用于将所述轮廓检测区域确定为所述对象区域。

13.根据权利要求12所述的装置，其特征在于，所述检测单元，包括：

确定子单元，用于在检测到对所述待标注图像执行的框选操作的情况下，将所述框选操作在所述待标注图像上所指示的区域确定为待轮廓检测区域；

检测子单元，用于对所述待轮廓检测区域进行轮廓检测，得到所述轮廓检测区域。

14.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。

15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。