CN109377509B - 图像语义分割标注的方法、装置、存储介质和设备 - Google Patents

Abstract

本公开涉及一种图像语义分割标注的方法、装置、存储介质和设备，该方法包括：通过获取待标注图像；利用预先确定的第一预训练模型对待标注图像进行分割标注，以确定分割标注后的目标标注图像，该第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型；根据用户输入信息，确定是否需要对目标标注图像进行手动修正；当确定需要对目标标注图像进行手动修正时，将通过预设颜色标记后的目标标注图像以预设的透明度叠加在待标注图像上，用于辅助用户进行手动修正。因此，能够对图像标注的适用场景进行扩展，同时满足在图像中分割多类别的需求，提升分割标注方法的通用性。

Description

图像语义分割标注的方法、装置、存储介质和设备

技术领域

本公开涉及图像处理技术领域，具体地，涉及一种图像语义分割标注的方法、装置、存储介质和设备。

背景技术

图像语义分割的标注最初是完全手动完成的，如利用LabelMe图像语义分割标注工具，通过勾勒物体边缘的方式生成物体区域的像素级标注，但是，此方式不但操作复杂，而且效率非常低，难以快速标注大量的训练数据。因此，在一种现有技术中，先通过SegNet对图像进行预分割，再对预分割后的图像进行人工修正，这相对于传统的纯手动标注方法，大幅提高了标注效率。但是由于SegNet网络的精度不高，会导致预分割图像不够精细，而增加人工修正阶段的工作量；此外，由于仅使用单个语义分割模型对图像进行预分割，主要针对于室外交通道路场景下的图像处理，并不适用于其它场景。

发明内容

为了克服现有技术中存在的问题，本公开的目的是提供一种图像语义分割标注的方法、装置、存储介质和设备。

根据本公开实施例的第一方面，提供一种图像语义分割标注的方法，所述方法包括：

获取待标注图像；

利用预先确定的第一预训练模型对所述待标注图像进行分割标注，以确定分割标注后的目标标注图像，所述第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型；

根据用户输入信息，确定是否需要对所述目标标注图像进行手动修正；

当确定需要对所述目标标注图像进行手动修正时，将通过预设颜色标记后的所述目标标注图像以预设的透明度叠加在所述待标注图像上，用于辅助用户进行手动修正。

可选的，所述方法还包括：

根据预设训练信息，确定用于对所述待标注图像进行分割标注的所述第一预训练模型；

其中，所述预设训练信息包括预设的第二预训练模型或者预设的分割类别。

可选的，所述预设训练信息为所述第二预训练模型，所述根据预设训练信息，确定用于对所述待标注图像进行分割标注的所述第一预训练模型，包括：

将所述第二预训练模型确定为所述第一预训练模型。

可选的，所述预设训练信息为所述预设的分割类别，所述根据预设训练信息，确定用于对所述待标注图像进行分割标注的所述第一预训练模型，包括：

根据所述预设的分割类别，在所述预训练模型集合中搜索，以确定包含所述预设的分割类别的预训练模型，作为所述第一预训练模型。

可选的，当所述第一预训练模型包括所述预训练模型集合中的一个预训练模型时，所述利用预先确定的第一预训练模型对所述待标注图像进行分割标注，以确定分割标注后的目标标注图像，包括：

利用所述第一预训练模型对所述待标注图像进行预分割，以确定预分割后的第一图像；

当所述预设训练信息为所述第二预训练模型时，将所述第一图像确定为所述目标标注图像；

当所述预设训练信息为所述预设的分割类别时，将所述第一图像中非所述预设的分割类别设置为背景类别，以确定所述目标标注图像。

可选的，当所述第一预训练模型包括所述预训练模型集合中的多个预训练模型时，所述利用预先确定的第一预训练模型对所述待标注图像进行分割标注，以确定分割标注后的目标标注图像，包括：

利用所述第一预训练模型对所述待标注图像进行预分割，以确定预分割后的多个第一图像；

当所述预设训练信息为所述第二预训练模型时，利用预先确定的融合处理规则，将所述多个第一图像进行融合处理，以得到所述目标标注图像；

当所述预设训练信息为所述预设的分割类别时，将所述多个第一图像中非所述预设的分割类别设置为背景类别，以确定多个第二图像；

利用所述融合处理规则，将所述多个第二图像进行融合处理，以得到所述目标标注图像。

可选的，所述融合处理规则，包括：

当多个第三图像中的第一像素点在所述多个第三图像中均为同一类别时，保持所述第一像素点的类别；

当所述多个第三图像中的第一像素点在所述多个第三图像中的类别不相同时，判断所述第一像素点在所述多个第三图像中的类别的优先级；

将所述第一像素点在所述多个第三图像中所述优先级最高的类别确定为所述第一像素点的类别；

当所述第一像素点在至少两个所述多个第三图像中的类别的优先级相同时，将所述第一像素点在所述两个或以上的所述多个第三图像中的类别中置信度最高的类别作为所述第一像素点的类别；

其中，所述第一像素点是所述第三图像中的任一像素点，所述第三图像是当所述第一预训练模型包括所述预训练模型集合中的多个预训练模型时，所述第一图像或者所述第二图像中的任一图像。

根据本公开实施例的第二方面，提供一种图像语义分割标注的装置，所述装置包括：

获取模块，用于获取待标注图像；

标注模块，用于利用预先确定的第一预训练模型对所述待标注图像进行分割标注，以确定分割标注后的目标标注图像，所述第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型；

确定模块，用于根据用户输入信息，确定是否需要对所述目标标注图像进行手动修正；

修正模块，用于当确定需要对所述目标标注图像进行手动修正时，将通过预设颜色标记后的所述目标标注图像以预设的透明度叠加在所述待标注图像上，用于辅助用户进行手动修正。

可选的，所述装置还包括：

模型确定模块，用于根据预设训练信息，确定用于对所述待标注图像进行分割标注的所述第一预训练模型；

其中，所述预设训练信息包括预设的第二预训练模型或者预设的分割类别，所述第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型。

可选的，所述预设训练信息为所述第二预训练模型，所述模型确定模块，用于：

将所述第二预训练模型确定为所述第一预训练模型。

可选的，所述预设训练信息为所述预设的分割类别，所述模型确定模块，用于：

根据所述预设的分割类别，在所述预训练模型集合中搜索，以确定包含所述预设的分割类别的预训练模型，作为所述第一预训练模型。

可选的，当所述第一预训练模型包括所述预训练模型集合中的一个预训练模型时，所述标注模块，包括：

预分割子模块，用于利用所述第一预训练模型对所述待标注图像进行预分割，以确定预分割后的第一图像；

图像确定子模块，用于当所述预设训练信息为所述第二预训练模型时，将所述第一图像确定为所述目标标注图像；

所述图像确定子模块，还用于当所述预设训练信息为所述预设的分割类别时，将所述第一图像中非所述预设的分割类别设置为背景类别，以确定所述目标标注图像。

可选的，当所述第一预训练模型包括所述预训练模型集合中的多个预训练模型时，所述标注模块，包括：

预分割子模块，用于利用所述第一预训练模型对所述待标注图像进行预分割，以确定预分割后的多个第一图像；

图像确定子模块，用于当所述预设训练信息为所述第二预训练模型时，利用预先确定的融合处理规则，将所述多个第一图像进行融合处理，以得到所述目标标注图像；

所述图像确定子模块，还用于当所述预设训练信息为所述预设的分割类别时，将所述多个第一图像中非所述预设的分割类别设置为背景类别，以确定多个第二图像；

融合处理子模块，用于利用所述融合处理规则，将所述多个第二图像进行融合处理，以得到所述目标标注图像。

可选的，所述融合处理规则，包括：

当多个第三图像中的第一像素点在所述多个第三图像中均为同一类别时，保持所述第一像素点的类别；

当所述多个第三图像中的第一像素点在所述多个第三图像中的类别不相同时，判断所述第一像素点在所述多个第三图像中的类别的优先级；

将所述第一像素点在所述多个第三图像中所述优先级最高的类别确定为所述第一像素点的类别；

当所述第一像素点在至少两个所述多个第三图像中的类别的优先级相同时，将所述第一像素点在所述两个或以上的所述多个第三图像中的类别中置信度最高的类别作为所述第一像素点的类别；

其中，所述第一像素点是所述第三图像中的任一像素点，所述第三图像是当所述第一预训练模型包括所述预训练模型集合中的多个预训练模型时，所述第一图像或者所述第二图像中的任一图像。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现本公开第一方面所提供的图像语义分割标注的方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括：

存储器，其上存储有第三方面所述的计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述图像语义分割标注的方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

通过获取待标注图像；利用预先确定的第一预训练模型对所述待标注图像进行分割标注，以确定分割标注后的目标标注图像，所述第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型；根据用户输入信息，确定是否需要对所述目标标注图像进行手动修正；当确定需要对所述目标标注图像进行手动修正时，将通过预设颜色标记后的所述目标标注图像以预设的透明度叠加在所述待标注图像上，用于辅助用户进行手动修正。通过引入多预训练模型对待标注图像进行预分割，以及对多个预分割后的图像进行融合，之后根据用户输入信息进行图像的手动修正，以得到高精度的分割图像。因此，根据本公开的技术方案，能够对图像标注的适用场景进行扩展，同时满足在图像中分割多类别的需求，提升分割标注方法的通用性。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种图像语义分割标注的方法的流程图；

图2是根据一示例性实施例示出的另一种图像语义分割标注的方法的流程图；

图3是根据一示例性实施例示出的又一种图像语义分割标注的方法的流程图；

图4是根据一示例性实施例示出的又一种图像语义分割标注的方法的流程图；

图5是根据一示例性实施例示出的一种图像语义分割标注的装置的框图；

图6是根据一示例性实施例示出的另一种图像语义分割标注的装置的框图；

图7是根据一示例性实施例示出的一种标注模块的框图；

图8是根据一示例性实施例示出的另一种标注模块的框图；

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

在介绍本公开的实施例之前，首先对本公开的技术背景进行说明，基于现有技术中采用的SegNet网络精度不高的问题，本公开提供的技术方案在保持时间效率的基础上，使用了精度更高的语义分割网络ICNet(英文：Image Cascade Network，中文：图像级联网络)。示例地，ICNet网络结构，从输入至输出，依次生成三个尺度的下采样图像，其对应的下采样比例分别为1/4、1/2和1，分别定义为低分辨率(Low Resolution)，中分辨率(MedianResolution)，高分辨率(High Resolution)的图像。该网络处理方式分为3个分支，第一分支：低分辨率图像输入到一个基于全卷积网络(英文：Fully Convolutional Networks，简称：FCN)的PSPNet(英文：Pyramid Scene Parsing Network)结构中，该网络输出为原始输入的1/32大小的特征图(feature maps)；在第二分支中，将中分辨率图像输入到3个卷积层，下采样率为8的网络中，网络输出为原始输入的1/16大小的特征图，该1/16的特征图和第一分支输出的1/32的特征图通过CFF(中文：级联特征融合单元，英文：cascade featurefusion)聚合，得到输出为1/16的特征图；在第三分支中，将高分辨率图像输入到3个卷积层(卷积核尺寸为3×3，步长为2)，下采样率为8，该网络输出为原始输入的1/8大小的特征图，之后该1/8的特征图和上一分支聚合得到的1/16的特征图通过CFF单元再次聚合，最终得到输出为1/8的特征图，之后再对该1/8的特征图进行上采样，输出原始图像大小的经实时语义分割后的图像。本公开提出的技术方案利用ICNet，实现了一种图像级联网络对图像进行分割的方法，能够在保证算法实时性的基础上大大提高了算法的精度，从而提高图像的语义分割标注。

图1是根据一示例性实施例示出的一种图像语义分割标注的方法的流程图，如图1所示，该方法包括以下步骤：

步骤101，获取待标注图像。

示例地，待标注图像是一张或者多张需要进行语义分割标注的图像，本公开所提供的技术方案能够进行批次的图像处理。

步骤102，利用预先确定的第一预训练模型对待标注图像进行分割标注，以确定分割标注后的目标标注图像。

其中，第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型。由于本公开可以采用多预训练模型的方案，示例地，该预训练模型集合可以包括利用多个数据集训练所得到的ICNet模型，可选的，包括Pascal VOC，MS COCO，CityScapes，CamVid等数据集，将以上数据集对ICNet进行训练后所得到的预训练模型作为预训练模型集合中的多个预训练模型，以便对待标注图像进行分割标注前，可以预先指定进行预训练的模型或分割类别，如果指定预训练模型中的某一个预训练模型作为第一预训练模型，则直接调用该预训练模型进行图像的分割标注处理；否则，将选择包含预先指定的分割类别的预训练模型作为第一预训练模型进行待标注图像的分割标注。

步骤103，根据用户输入信息，确定是否需要对目标标注图像进行手动修正。

示例地，在根据上述步骤利用第一预训练模型完成待标注图像的分割标注处理之后，得到目标标注图像，通常还需要对其进行手动修改，以进一步完善对待标注图像的分割标注，本步骤用以提示用户进行操作，以确定是否对目标标注图像进行手动修正。

步骤104，当确定需要对目标标注图像进行手动修正时，将通过预设颜色标记后的目标标注图像以预设的透明度叠加在待标注图像上，用于辅助用户进行手动修正。

示例地，系统会将预设颜色标记，例如上色的目标标注图像以预设的透明度叠加在原图，也就是待标注图像上，便于用户能够直观地对比原图和经过第一预训练模型分割标注后的目标标注图像，并按类别在目标标注图像上进行加减区域操作。例如，用户正在调整类别C的标注，并在像素点(x，y)上设置了“+”标志，则系统自动在像素点(x，y)周围进行边缘检测，并将边缘区域内的像素设置为类别C；反之，若用户在像素点(x，y)上设置了“-”标志，则检测到的边缘区域内的像素将被设置为背景类。需要注意的是，边缘检测区域内不能出现用户设置的相反标志，例如：在检测一个新的“+”标志周围的边缘时，若边缘区域内出现了用户设置的“-”标志，则需要调整边缘检测阈值，重新进行边缘检测，直到边缘区域不与用户设置的标志相冲突，反之也同理。

综上所述，本公开所提供的技术方案，通过获取待标注图像；利用预先确定的第一预训练模型对待标注图像进行分割标注，以确定分割标注后的目标标注图像，该第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型；根据用户输入信息，确定是否需要对目标标注图像进行手动修正；当确定需要对目标标注图像进行手动修正时，将通过预设颜色标记后的目标标注图像以预设的透明度叠加在待标注图像上，用于辅助用户进行手动修正。因此，能够对图像标注的适用场景进行扩展，同时满足在图像上分割多类别物体的需求，提升分割标注方法的通用性。

图2是根据一示例性实施例示出的另一种图像语义分割标注的方法的流程图，如图2所示，该方法还包括以下步骤：

步骤105，根据预设训练信息，确定用于对待标注图像进行分割标注的第一预训练模型。

其中，预设训练信息包括预设的第二预训练模型或者预设的分割类别。

示例地，在进行图像的分割标注之前，需要利用本步骤确定第一预训练模型，而根据预设训练信息不同，对应执行不同的操作。

当预设训练信息为第二预训练模型时，该步骤包括：将第二预训练模型确定为第一预训练模型。也就是说，可以进行预训练模型的预先设定，在进行待标注图像的分割标注处理时，直接将预设训练信息中预设的第二预训练模型作为第一预训练模型。例如，用户A可以直接指定用Pascal VOC训练出的ICNet模型作为第一预训练模型，也就是等价于选择了Pascal VOC数据集的20类作为分割类别。

或者，当预设训练信息为预设的分割类别时，该步骤包括：根据预设的分割类别，在预训练模型集合中搜索，以确定包含预设的分割类别的预训练模型，作为第一预训练模型。也就是说，若预设的分割类别被作为预设训练信息，则在预训练模型集合中确定包含预设的分割类别所对应的预训练模型。例如，用户B也可以预设该分割类别为：人行道和猫，则将会在预训练模型集合中进行搜索，选出利用MS COCO和CityScapes这两个数据集训练出来的预训练模型作为第一预训练模型。

需要说明的是，当预设的分割类别为多个，在预训练模型集合中搜索包含该多个分割类别的预训练模型时，确定出多个预训练模型均包含该分割类别，则遵循预训练模型尽可能少，以保证分割标注操作的效率的原则，确定最少个数的预训练模型。

图3是根据一示例性实施例示出的又一种图像语义分割标注的方法的流程图，如图3所示，当第一预训练模型包括预训练模型集合中的一个预训练模型时，步骤102所述的用预先确定的第一预训练模型对待标注图像进行分割标注，以确定分割标注后的目标标注图像，包括以下步骤：

步骤1021，利用第一预训练模型对待标注图像进行预分割，以确定预分割后的第一图像。

步骤1022，当预设训练信息为第二预训练模型时，将第一图像确定为目标标注图像。

示例地，当预设训练信息为第二预训练模型时，直接将第二预训练模型作为第一预训练模型进行待标注图像的分割标注，以得到第一图像，即作为目标标注图像。例如，用户A指定了用Pascal VOC训练出的ICNet模型作为第一预训练模型，因此可以确定的是，第一预训练模型中所包含的20类均为用户指定的分割类别，进而不需要进行额外操作，该第一图像即作为目标标注图像。

步骤1023，当预设训练信息为预设的分割类别时，将第一图像中非预设的分割类别设置为背景类别，以确定目标标注图像。

示例地，当预设训练信息为预设的分割类别时，首先利用通过预设的分割类别所确定的第一预训练模型进行待处理图像的预分割，以确定预分割后的第一图像。例如，当第一预训练模型是通过使用MS COCO数据集训练出的预训练模型时，在获取到第一图像之后，由于该使用MS COCO数据集所训练出的第一预训练模型中总共包含80类，而预设的分割类别为猫，因此可以将第一预训练模型所预分割得到的第一图像中除了“猫”之外的其他类别(79类)均设置为背景类。

图4是根据一示例性实施例示出的又一种图像语义分割标注的方法的流程图，如图4所示，当第一预训练模型包括预训练模型集合中的多个预训练模型时，步骤102所述的用预先确定的第一预训练模型对待标注图像进行分割标注，以确定分割标注后的目标标注图像，包括以下步骤：

步骤1024，利用第一预训练模型对待标注图像进行预分割，以确定预分割后的多个第一图像。

示例地，类似于步骤1021的操作，但此时利用多个预训练模型分别对待标注图像进行预分割处理，进而能够确定多个第一图像，之后再根据预设训练信息的不同类型选择进行步骤1025或者步骤1026的操作。

步骤1025，当预设训练信息为第二预训练模型时，利用预先确定的融合处理规则，将多个第一图像进行融合处理，以得到目标标注图像。

示例地，该融合处理规则，包括：

当多个第三图像中的第一像素点在多个第三图像中均为同一类别时，保持第一像素点的类别。

例如，当第一像素点(x，y)在多个第三图像中均被判定为类别C(包括背景类)，则在进行融合处理时，将保持该第一像素点的类别C。

当多个第三图像中的第一像素点在多个第三图像中的类别不相同时，判断第一像素点在多个第三图像中的类别的优先级。

将第一像素点在多个第三图像中优先级最高的类别确定为第一像素点的类别。

例如，当第一像素点(x，y)在一部分第三图像中被判定为背景类，而其他第三图像中被判定为类别C(非背景类)，则在进行多个第三图像的融合处理时，则将第一像素点的类别确定为类别C。

也就是说，设置背景类的优先级低于预设的分割类别。

当第一像素点在至少两个多个第三图像中的类别的优先级相同时，将第一像素点在两个或以上的多个第三图像中的类别中置信度最高的类别作为第一像素点的类别。

例如，当第一像素点(x，y)在一部分第三图像中被判定为类别B(非背景类)，而其他在第三图像中被判定为类别C(非背景类)，则在进行多个第三图像的融合处理时，则类别B和类别C中置信度最高的类别作为第一像素点的类别，例如在第三图像中类别C的置信度高于类别B的置信度，则第一像素点的类别确定为类别C。而当第一像素点(x，y)在多个第三图像中的类别多于2个时，也同样采用上述方法进行确定第一像素点的类别。

其中，第一像素点是第三图像中的任一像素点，第三图像是当第一预训练模型包括预训练模型集合中的多个预训练模型时，第一图像或者第二图像中的任一图像。

步骤1026，当预设训练信息为预设的分割类别时，将多个第一图像中非预设的分割类别设置为背景类别，以确定多个第二图像。

示例地，预设的分割类别为人行道和猫，则确定出的第一预训练模型为利用MSCOCO和CityScapes这两个数据集所训练出的预训练模型，由于MS COCO数据集训练出的第一预训练模型中包含80类，而预设的分割类别包括猫和人行道，因此可以将通过MS COCO数据集训练出的预训练模型所预分割得到的第一图像中除了“猫”之外的其他类别(79类)均设置为背景类，同理，将利用CityScapes数据集训练出的预训练模型所预分割得到的第一图像中除了“人行道”以外的其它类也被设置为背景类，之后再利用上述的融合处理规则进行多个第二图像的处理，也就是进行步骤1027的操作。

步骤1027，利用融合处理规则，将多个第二图像进行融合处理，以得到目标标注图像。

示例地，预设的分割类别为人行道和猫，对应确定了利用MS COCO和CityScapes数据库训练出的第一预训练模型所预分割后两个第一图像，并将这两个第一图像中除了人行道和猫以外的类别作为背景类，分别确定了由MS COCO数据库训练出的第一预训练模型经上述步骤得到第二图像Im和由CityScapes数据库训练出的第一预训练模型经上述步骤得到第二图像为Ic，目标标注图像表示为If，对于第二图像上的第一像素点(x，y)结合融合处理规则，如下：

若Im(x，y)和Ic(x，y)均为背景类，则If(x,y)为背景类；

若Im(x，y)为背景类，而Ic(x，y)为“人行道”，则If(x，y)为“人行道”；

若Im(x，y)为“猫”，而Ic(x,y)为背景类，则If(x，y)为“猫”；

若Im(x,y)为“猫”，而Ic(x，y)为“人行道”，则比较第一像素点(x，y)在Im和Ic中为“猫”和“人行道”的置信度，取置信度高的类别为If(x，y)的类别。

综上，在完成对第二图像中的所有像素点的融合操作后，即生成了目标标注图像。

综上所述，本公开所提供的技术方案，通过获取待标注图像；利用预先确定的第一预训练模型对待标注图像进行分割标注，以确定分割标注后的目标标注图像，该第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型；根据用户输入信息，确定是否需要对目标标注图像进行手动修正；当确定需要对目标标注图像进行手动修正时，将通过预设颜色标记后的目标标注图像以预设的透明度叠加在待标注图像上，用于辅助用户进行手动修正。因此，能够对图像标注的适用场景进行扩展，同时满足在图像中分割多类别的需求，提升分割标注方法的通用性。

图5是根据一示例性实施例示出的一种图像语义分割标注的装置的框图。参照图5，用于实现上述所述方法的实施例，该装置500包括：

获取模块510，用于获取待标注图像。

标注模块520，用于利用预先确定的第一预训练模型对待标注图像进行分割标注，以确定分割标注后的目标标注图像，第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型。

确定模块530，用于根据用户输入信息，确定是否需要对目标标注图像进行手动修正。

修正模块540，用于当确定需要对目标标注图像进行手动修正时，将通过预设颜色标记后的目标标注图像以预设的透明度叠加在待标注图像上，用于辅助用户进行手动修正。

图6是根据一示例性实施例示出的另一种图像语义分割标注的装置的框图。参照图6，该装置500还包括：

模型确定模块550，用于根据预设训练信息，确定用于对待标注图像进行分割标注的第一预训练模型；

其中，预设训练信息包括预设的第二预训练模型或者预设的分割类别。

可选的，预设训练信息为第二预训练模型，模型确定模块550，用于：

将第二预训练模型确定为第一预训练模型。

可选的，预设训练信息为预设的分割类别，模型确定模块550，用于：

根据预设的分割类别，在预训练模型集合中搜索，以确定包含预设的分割类别的预训练模型，作为第一预训练模型。

图7是根据一示例性实施例示出的一种标注模块的框图。参照图7，当第一预训练模型包括预训练模型集合中的一个预训练模型时，该标注模块520包括：

预分割子模块521，用于利用第一预训练模型对待标注图像进行预分割，以确定预分割后的第一图像。

图像确定子模块522，用于当预设训练信息为第二预训练模型时，将第一图像确定为目标标注图像。

图像确定子模块522，还用于当预设训练信息为预设的分割类别时，将第一图像中非预设的分割类别设置为背景类别，以确定目标标注图像。

图8是根据一示例性实施例示出的另一种标注模块的框图。参照图8，当第一预训练模型包括预训练模型集合中的多个预训练模型时，该标注模块520包括：

预分割子模块523，用于利用第一预训练模型对待标注图像进行预分割，以确定预分割后的多个第一图像。

图像确定子模块524，用于当预设训练信息为第二预训练模型时，利用预先确定的融合处理规则，将多个第一图像进行融合处理，以得到目标标注图像。

图像确定子模块524，还用于当预设训练信息为预设的分割类别时，将多个第一图像中非预设的分割类别设置为背景类别，以确定多个第二图像。

融合处理子模块525，用于利用融合处理规则，将多个第二图像进行融合处理，以得到目标标注图像。

可选的，融合处理规则，包括：

当多个第三图像中的第一像素点在多个第三图像中均为同一类别时，保持第一像素点的类别；

当多个第三图像中的第一像素点在多个第三图像中的类别不相同时，判断第一像素点在多个第三图像中的类别的优先级；

将第一像素点在多个第三图像中优先级最高的类别确定为第一像素点的类别；

当第一像素点在至少两个多个第三图像中的类别的优先级相同时，将第一像素点在两个或以上的多个第三图像中的类别中置信度最高的类别作为第一像素点的类别；

其中，第一像素点是第三图像中的任一像素点，第三图像是当第一预训练模型包括预训练模型集合中的多个预训练模型时，第一图像或者第二图像中的任一图像。

综上所述，本公开所提供的图像语义分割标注的装置，通过获取待标注图像；利用预先确定的第一预训练模型对待标注图像进行分割标注，以确定分割标注后的目标标注图像，该第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型；根据用户输入信息，确定是否需要对目标标注图像进行手动修正；当确定需要对目标标注图像进行手动修正时，将通过预设颜色标记后的目标标注图像以预设的透明度叠加在待标注图像上，用于辅助用户进行手动修正。因此，能够对图像标注的适用场景进行扩展，同时满足在图像中分割多类别的需求，提升分割标注方法的通用性。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种电子设备900的框图。如图9所示，该电子设备900可以包括：处理器901，存储器902。该电子设备900还可以包括多媒体组件903，输入/输出(I/O)接口904，以及通信组件905中的一者或多者。

其中，处理器901用于控制该电子设备900的整体操作，以完成上述的图像语义分割标注的方法中的全部或部分步骤。存储器902用于存储各种类型的数据以支持在该电子设备900的操作，这些数据例如可以包括用于在该电子设备900上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器902可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件903可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器902或通过通信组件905发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口904为处理器901和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件905用于该电子设备900与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件905可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像语义分割标注的方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像语义分割标注的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器902，上述程序指令可由电子设备900的处理器901执行以完成上述的图像语义分割标注的方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (14)

1.一种图像语义分割标注的方法，其特征在于，所述方法包括：

获取待标注图像；

利用预先确定的第一预训练模型对所述待标注图像进行分割标注，以确定分割标注后的目标标注图像，所述第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型，所述预训练模型为利用不同数据集训练得到的图像级联网络ICNet模型，所述数据集包括：PascalVOC、MS COCO、CityScapes、CamVid中的任一种；

根据用户输入信息，确定是否需要对所述目标标注图像进行手动修正；

当确定需要对所述目标标注图像进行手动修正时，将通过预设颜色标记后的所述目标标注图像以预设的透明度叠加在所述待标注图像上，用于辅助用户进行手动修正；

所述方法还包括：

根据预设训练信息，确定用于对所述待标注图像进行分割标注的所述第一预训练模型；

其中，所述预设训练信息包括预设的分割类别；

所述根据预设训练信息，确定用于对所述待标注图像进行分割标注的所述第一预训练模型，包括：

根据所述预设的分割类别，在所述预训练模型集合中搜索，以确定包含所述预设的分割类别的预训练模型，作为所述第一预训练模型。

2.根据权利要求1所述的方法，其特征在于，所述预设训练信息包括预设的第二预训练模型。

3.根据权利要求2所述的方法，其特征在于，所述根据预设训练信息，确定用于对所述待标注图像进行分割标注的所述第一预训练模型，包括：

将所述第二预训练模型确定为所述第一预训练模型。

4.根据权利要求2所述的方法，其特征在于，当所述第一预训练模型包括所述预训练模型集合中的一个预训练模型时，所述利用预先确定的第一预训练模型对所述待标注图像进行分割标注，以确定分割标注后的目标标注图像，包括：

利用所述第一预训练模型对所述待标注图像进行预分割，以确定预分割后的第一图像；

当所述预设训练信息为所述第二预训练模型时，将所述第一图像确定为所述目标标注图像；

当所述预设训练信息为所述预设的分割类别时，将所述第一图像中非所述预设的分割类别设置为背景类别，以确定所述目标标注图像。

5.根据权利要求2所述的方法，其特征在于，当所述第一预训练模型包括所述预训练模型集合中的多个预训练模型时，所述利用预先确定的第一预训练模型对所述待标注图像进行分割标注，以确定分割标注后的目标标注图像，包括：

利用所述第一预训练模型对所述待标注图像进行预分割，以确定预分割后的多个第一图像；

当所述预设训练信息为所述第二预训练模型时，利用预先确定的融合处理规则，将所述多个第一图像进行融合处理，以得到所述目标标注图像；

当所述预设训练信息为所述预设的分割类别时，将所述多个第一图像中非所述预设的分割类别设置为背景类别，以确定多个第二图像；

利用所述融合处理规则，将所述多个第二图像进行融合处理，以得到所述目标标注图像。

6.根据权利要求5所述的方法，其特征在于，所述融合处理规则，包括：

当多个第三图像中的第一像素点在所述多个第三图像中均为同一类别时，保持所述第一像素点的类别；

当所述多个第三图像中的第一像素点在所述多个第三图像中的类别不相同时，判断所述第一像素点在所述多个第三图像中的类别的优先级；

将所述第一像素点在所述多个第三图像中所述优先级最高的类别确定为所述第一像素点的类别；

当所述第一像素点在至少两个所述多个第三图像中的类别的优先级相同时，将所述第一像素点在所述两个或以上的所述多个第三图像中的类别中置信度最高的类别作为所述第一像素点的类别；

其中，所述第一像素点是所述第三图像中的任一像素点，所述第三图像是当所述第一预训练模型包括所述预训练模型集合中的多个预训练模型时，所述第一图像或者所述第二图像中的任一图像。

7.一种图像语义分割标注的装置，其特征在于，所述装置包括：

获取模块，用于获取待标注图像；

标注模块，用于利用预先确定的第一预训练模型对所述待标注图像进行分割标注，以确定分割标注后的目标标注图像，所述第一预训练模型是预先确定的预训练模型集合中的一个或者多个预训练模型，所述预训练模型为利用不同数据集训练得到的图像级联网络ICNet模型，所述数据集包括：Pascal VOC、MS COCO、CityScapes、CamVid中的任一种；

确定模块，用于根据用户输入信息，确定是否需要对所述目标标注图像进行手动修正；

修正模块，用于当确定需要对所述目标标注图像进行手动修正时，将通过预设颜色标记后的所述目标标注图像以预设的透明度叠加在所述待标注图像上，用于辅助用户进行手动修正；

所述装置还包括：

模型确定模块，用于根据预设训练信息，确定用于对所述待标注图像进行分割标注的所述第一预训练模型；

其中，所述预设训练信息包括预设的分割类别；

所述模型确定模块还用于：

根据所述预设的分割类别，在所述预训练模型集合中搜索，以确定包含所述预设的分割类别的预训练模型，作为所述第一预训练模型。

8.根据权利要求7所述的装置，其特征在于，所述预设训练信息包括预设的第二预训练模型。

9.根据权利要求8所述的装置，其特征在于，所述模型确定模块，用于：

将所述第二预训练模型确定为所述第一预训练模型。

10.根据权利要求8所述的装置，其特征在于，当所述第一预训练模型包括所述预训练模型集合中的一个预训练模型时，所述标注模块，包括：

预分割子模块，用于利用所述第一预训练模型对所述待标注图像进行预分割，以确定预分割后的第一图像；

图像确定子模块，用于当所述预设训练信息为所述第二预训练模型时，将所述第一图像确定为所述目标标注图像；

所述图像确定子模块，还用于当所述预设训练信息为所述预设的分割类别时，将所述第一图像中非所述预设的分割类别设置为背景类别，以确定所述目标标注图像。

11.根据权利要求8所述的装置，其特征在于，当所述第一预训练模型包括所述预训练模型集合中的多个预训练模型时，所述标注模块，包括：

预分割子模块，用于利用所述第一预训练模型对所述待标注图像进行预分割，以确定预分割后的多个第一图像；

图像确定子模块，用于当所述预设训练信息为所述第二预训练模型时，利用预先确定的融合处理规则，将所述多个第一图像进行融合处理，以得到所述目标标注图像；

所述图像确定子模块，还用于当所述预设训练信息为所述预设的分割类别时，将所述多个第一图像中非所述预设的分割类别设置为背景类别，以确定多个第二图像；

融合处理子模块，用于利用所述融合处理规则，将所述多个第二图像进行融合处理，以得到所述目标标注图像。

12.根据权利要求11所述的装置，其特征在于，所述融合处理规则，包括：

当多个第三图像中的第一像素点在所述多个第三图像中均为同一类别时，保持所述第一像素点的类别；

当所述多个第三图像中的第一像素点在所述多个第三图像中的类别不相同时，判断所述第一像素点在所述多个第三图像中的类别的优先级；

将所述第一像素点在所述多个第三图像中所述优先级最高的类别确定为所述第一像素点的类别；

当所述第一像素点在至少两个所述多个第三图像中的类别的优先级相同时，将所述第一像素点在所述两个或以上的所述多个第三图像中的类别中置信度最高的类别作为所述第一像素点的类别；

其中，所述第一像素点是所述第三图像中的任一像素点，所述第三图像是当所述第一预训练模型包括所述预训练模型集合中的多个预训练模型时，所述第一图像或者所述第二图像中的任一图像。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。

14.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。

Images