CN113313720A - 对象分割方法和装置 - Google Patents

Abstract

本公开实施例提供一种对象分割方法和装置，其中方法包括：接收目标图像、以及对所述目标图像中的待标注对象的预标注；基于所述预标注和目标图像进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码；根据所述候选目标分割掩码、预标注和所述目标图像，对所述候选目标分割掩码进行边界修正处理，输出所述待标注对象对应的目标分割掩码，以供标注者对所述目标分割掩码进行标注。本公开实施例提升了标注效率，降低了标注成本。

Description

对象分割方法和装置

技术领域

本公开涉及机器学习技术，具体涉及一种对象分割方法和装置。

背景技术

语义分割是计算机视觉研究的基础及核心问题之一，可以提供目标精确的边界信息及类别信息。语义分割可以为视觉任务提供精确的像素级信息，被广泛应用到视频监控、智慧医疗、自动驾驶、智慧城市等领域，具有重要研究价值和广泛的应用价值。

然而，标注大规模高质量的分割数据将花费大量的人力成本。比如，对于图像中一个目标物体，标注员需花费几分钟标注一个精准的边界轮廓，而整图标注通常需要数十分钟，标注效率较低。为此，基于交互式的语义分割算法被相继提出，比如，基于掩码预测的方法可以先通过神经网络自动输出一个掩码作为初步的分割结果，在该初步的分割结果的基础上标注者再继续进行标注和调整得到最终的标注结果。但是这种交互式分割方式的标注效率仍然有待提升。

发明内容

有鉴于此，本公开实施例至少提供一种对象分割方法和装置。

第一方面，提供一种对象分割方法，所述方法包括：

接收目标图像、以及对所述目标图像中的待标注对象的预标注；

基于所述预标注和目标图像进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码；

根据所述候选目标分割掩码、预标注和所述目标图像，对所述候选目标分割掩码进行边界修正处理，输出所述待标注对象对应的目标分割掩码，以供标注者对所述目标分割掩码进行标注。

第二方面，提供一种对象分割装置，所述装置还包括：

数据接收模块，用于接收目标图像、以及对所述目标图像中的待标注对象的预标注；

分割预测模块，用于基于所述预标注和目标图像进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码；

边界修正模块，用于根据所述候选目标分割掩码、预标注和所述目标图像，对所述候选目标分割掩码进行边界修正处理，输出所述待标注对象对应的目标分割掩码，以供标注者对所述目标分割掩码进行标注。

第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例的对象分割方法。

第四方面，提供一种电子设备，该设备可以包括存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现本公开任一实施例的对象分割方法。

本公开实施例提供的对象分割方法和装置，通过对待标注对象对应的候选目标分割掩码进行边界修正处理，使得输出的待标注对象对应的目标分割掩码更为准确，从而能够大幅降低标注员对目标分割掩码进行调整的工作量，提升了标注效率，降低了标注成本。

附图说明

为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开至少一个实施例提供的一种对象分割方法的流程图；

图2示出了本公开至少一个实施例提供的一种预标注的示意图；

图3示出了本公开至少一个实施例提供的另一种预标注的示意图；

图4示出了本公开至少一个实施例提供的另一种对象分割方法的流程图；

图5示出了本公开至少一个实施例提供的边界修正网络的训练示意图；

图6示出了本公开至少一个实施例提供的又一种对象分割方法的原理示意；

图7示出了图6的网络架构的训练示意图；

图8示出了本公开至少一个实施例提供的一种对象分割装置的结构示意图；

图9示出了本公开至少一个实施例提供的一种对象分割装置的结构示意图；

图10示出了本公开至少一个实施例提供的一种对象分割装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本公开一个或多个实施例中的技术方案，下面将结合本公开一个或多个实施例中的附图，对本公开一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

对于基于掩码预测的交互式的语义分割方式，该方式能够通过神经网络预测得到图像中的待标注对象对应的初步分割结果，比如，对于图像中的一个待标注的动物“猫”，可以先预测出该“猫”的初步分割轮廓。

但是，发明人在实践中发现，相关技术中的上述基于掩码预测的语义分割，没有考虑到分割结果的边界质量，输出的初步分割结果质量较低，例如，对于上述的动物“猫”预测得到的初步分割轮廓不够准确，存在较大的误差。这就使得在得到上述初步分割结果的基础上，标注员还需要对初步分割结果进行较长时间的修改，才能得到最终的标注结果。因此，标注效率仍然较低。

为了解决上述问题，本公开实施例提供的对象分割方法，旨在提高上述预测得到的图像中待标注对象对应的初步分割结果的质量，使得初步分割结果具有更为精准的分割边界，这样就能够大幅降低标注员在初步分割结果基础上进行的调整工作，从而提升标注效率，降低标注成本。

图1示出了本公开至少一个实施例提供的一种对象分割方法的流程示意图，如图1所示，该方法可以包括如下处理：

在步骤100中，接收目标图像、以及对目标图像中的待标注对象的预标注。

其中，所述的目标图像是待进行标注的图像。例如，一个图像中包括一个动物“猫”，本实施例的目的是通过对图像的处理将其中的猫的边界轮廓由图像中分割出来，即该边界轮廓限定的区域是待标注对象“猫”，再由标注员对分割得到的该待标注对象进行标注，将其标注为“猫”。所述的图像即可以称为目标图像。

所述的待标注对象是目标图像中包括的待进行标注的对象，该对象可以是动作、人、物体、植物等各种类型的对象。所述的预标注，即在对目标图像进行图像处理之前，先由人工在目标图像中将待标注对象的大致区域给出一个初步的限定。如下示例几种预标注的方式：

例如，预标注可以是标注包括所述待标注对象的区域对应的边界框，其中，预标注的区域包括待标注对象，并可以大于待标注对象实际的占用区域。请参见图2的示意，假设要对图2中的自行车进行预标注。其中的边界框21限定的图像区域中包括自行车22，并且该图像区域中也包括不属于自行车的像素。

又例如，预标注还可以是标注待标注对象的边界上的极值点。比如，可以将自行车的边界上的几个关键点标注出来。

再例如，预标注还可以是进行前景-背景点的标注，即将用于表示待标注对象的前景点以及用于表示非待标注对象的背景点标注出来。请参见图3的示意，在对目标图像中的小狗进行预标注时，其中标注的背景点可以是图中的边界框31的四个顶点，还标注出了属于小狗的前景点32。

本公开实施例可以支持上述的多种预标注类型，在实际实施中，可以采用上述预标注类型的至少一种，并不局限于此，也可以采用其他预标注格式。

在步骤102中，基于所述预标注和目标图像进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码。

本步骤中，可以对目标图像进行目标分割处理，例如，可以提取目标图像的图像特征，并根据该图像特征进行分割处理，得到待标注对象对应的候选目标分割掩码。其中，本步骤可以采用神经网络的方式实现，本实施例不限制神经网络的具体结构，例如，该神经网络中可以包括卷积网络、全连接层等。

所述的候选目标分割掩码即将目标图像中的待标注对象的边界轮廓已经初步的确定出来，但是该边界轮廓并不确定一定是精准的，也可能存在误差。比如，在对目标图像中的“猫”预测的候选目标分割掩码中，将本来不属于“猫”的图像像素确定为属于猫，或者将本来属于“猫”的图像像素确定为不属于猫。

此外，在步骤100中接收了对目标图像中的待标注对象的预标注，在本步骤基于预标注和目标图像进行目标分割处理时，可以将预标注转换为预标注高斯图，基于该预标注高斯图和目标图像进行特征提取，提取到的特征可以称为第一目标特征，并基于该第一目标特征对目标图像进行目标分割处理，得到目标图像中的待标注对象对应的候选目标分割掩码。

其中，所述的将预标注转换为预标注高斯图的处理可以包括：基于所述预标注，由所述目标图像中提取所述待标注对象对应的目标区域图像，并将所述目标区域图像转换得到预标注高斯图。具体的，例如，图2中已经预标注了包括待标注对象的区域对应的边界框，可以基于该边界框进行10％的扩充，以获得更好的上下文信息，再将该扩充后的图像区域提取出来即待标注对象的目标区域图像；再将该目标区域图像缩放到预设的固定尺寸后，转换成高斯图。

在步骤104中，根据所述候选目标分割掩码、预标注和所述目标图像，对所述候选目标分割掩码进行边界修正处理，输出所述待标注对象对应的目标分割掩码，以供标注者对所述目标分割掩码进行标注。

本步骤中，可以对步骤102得到的候选目标分割掩码进行边界修正处理，例如，候选目标分割掩码中将原本不属于待标注对象“猫”的图像像素预测为属于“猫”的图像像素，在本步骤的边界修正处理中，就可以将这种误识别纠正过来，即将原本粗糙的候选目标分割掩码经过修正处理，获得高质量的更精准的目标分割掩码，分割结果更为精细。

本实施例的边界修正处理也可以采用神经网络的方式实现，本实施例不限制神经网络的具体结构，例如，该神经网络中可以包括卷积网络、全连接层等。

在一个例子中，本实施例的分割方法可以是应用于标注平台，即用户可以将待标注的目标图像提交到该标注平台，标注平台通过图1所述的流程可以输出对目标图像中的待标注对象的目标分割掩码的预测结果。然后，标注者可以在该目标分割掩码的基础上，对待标注对象进行标注，比如，标注平台预测出了目标图像中的待标注对象“猫”的边界，即将目标图像中“猫”所占的图像区域已经分割出来，标注者可以在此基础上，对目标分割掩码进行调整，使得分割结果进一步精准，并将其标注为“猫”，即标注待标注对象的类别。其中，在标注之前，可以将目标分割掩码转换成多边形顶点(Polygon)的形式，再由标注员作少量调整得到精确边界。标注者对所述目标分割掩码进行调整和标注后的结果，可以提交至标注平台，标注平台向用户返回标注结果，该标注结果包括了对目标图像中待标注对象的分割和标注。用户可以使用该标注结果作为训练网络的图像样本或者也可以用作其他用途。

此外，需要说明的是，上述例子中是以标注任务是标注对象的类别为例，比如标注对象属于“猫”或者“自行车”，但实际实施中并不局限于此，也可以是类别标注之外的其他类型的标注。另外，目标图像中包括的待标注对象的数量可以是一个或者多个，在多个的情况下，可以分别输出各个待标注对象对应的候选目标分割掩码，并对各个候选目标分割掩码进行边界修正处理后，得到各待标注对象对应的更为精准的目标分割掩码。

本实施例的对象分割方法，通过对待标注对象对应的候选目标分割掩码进行边界修正处理，使得输出的待标注对象对应的目标分割掩码更为准确，从而能够大幅降低标注员对目标分割掩码进行调整的工作量，标注员可以在目标分割掩码的基础上继续做少量修改即可，提升了标注效率，降低了标注成本。

图4示出了本公开至少一个实施例提供的另一种对象分割方法的原理示意图，本实施例中，可以通过边界修正网络对候选目标分割掩码进行边界修正。

如图4所示，本实施例可以应用标注平台中的分割框架对接收到的目标图像中的待标注对象进行分割，其中，该分割框架可以包括两个模块：图4中示意的分割预测网络41和边界修正网络42。

在一个示例中，目标图像43和对应的预标注高斯图44经过连接(concat，C表示)后输入分割预测网络41。其中，预标注高斯图44可以是根据目标图像43中的预标注转换处理得到，例如，基于目标图像43中的预标注的边界框提取待标注对象对应的目标区域图像，并将目标区域图像转换得到预标注高斯图。

在分割预测网络41中，可以对所述的目标图像43和对应的预标注高斯图44提取图像特征，例如，可以使用ResNet01提取图像特征，该特征可以称为第一目标特征。并且可以基于该第一目标特征进行目标分割处理，包括但不限于通过级联金字塔结构对ResNet01提取到的图像特征进行特征增强处理。具体的，通过ResNet01提取图像特征，可以得到多个特征图，可以通过金字塔池化模块(PPM)对这些特征图进行融合增强；接着可以通过级联金字塔结构中的全局子网络(GlobalNet)对高分辨率的特征进行编码，并通过调整子网络(RefineNet)进行上采样和拼接操作对不同级别的丰富特征信息进行集成。最后级联金字塔输出的特征向量再通过分割转换处理，得到基于特征向量得到的分割结果，即待标注对象对应的候选目标分割掩码45。

请继续参见图4所示，可以将候选目标分割掩码45、预标注和所述目标图像作为输入数据，输入边界修正网络42。其中，可以是将预标注高斯图44与目标图像43连接(C表示)后与候选目标分割掩码45连接，这些都作为边界修正网络42的输入。该边界修正网络42的网络结构与分割预测网络41类似，可以通过所述边界修正网络42对输入数据进行特征提取，得到第二目标特征，并基于所述第二目标特征进行目标分割处理，得到对所述候选目标分割掩码45进行边界修正后的目标分割掩码46。

图5示意了边界修正网络在训练时的网络结构和训练过程。如图5所示，可以将训练时使用的目标图像称为样本目标图像，那么可以将样本目标图像51、样本预标注52输入分割预测网络，其中，样本预标注52可以是根据样本目标图像51及其上的预标注转换得到的预标注高斯图。分割预测网络可以输出样本候选目标分割掩码53，并将样本目标图像51、样本预标注52和样本候选目标分割掩码53连接后输入待训练的边界修正网络。

在训练阶段，边界修正网络中还包括梯度阻断模块(Gradient Blocking)和扰动模块(Perturbation)，其中，扰动模块可以用于对输入的样本候选目标分割掩码53进行边界扰动，该边界扰动可以是对样本候选目标分割掩码53的边界区域进行随机的膨胀和腐蚀处理，所述的膨胀即将正确的边界前景像素的区域进行扩大，腐蚀即将正确的边界前景像素更改为背景像素。经过边界扰动后，得到扰动后的样本候选目标分割掩码54，并基于样本候选目标分割掩码54、样本目标图像和样本预标注，进行目标分割处理，得到目标分割掩码的预测值55。

请继续参见图5，可以根据目标分割掩码的预测值55和对应的标签值56，调整边界修正网络的网络参数。其中，所述的标签值56是目标分割掩码的真实值。可以计算预测值55和对应的标签值56之间的损失函数值(可以称为第一损失)，并可以计算样本候选目标分割掩码53与标签值56之间的损失函数值(可以称为第二损失)，并结合这两个损失函数值调整分割预测网络和边界修正网络的网络参数。

其中，在调整边界修正网络的网络参数的过程中，可以通过边界修正网络中还包括梯度阻断模块对边界修正网络的网络参数调整进行梯度阻断，即防止梯度的反向传播影响到之前的分割预测网络的训练，让边界修正网络专注于粗糙边界的修正，那么可以根据第一损失调整边界修正网络的网络参数，根据第二损失调整分割预测网络的网络参数。

本实施例的对象分割方法，通过对待标注对象对应的候选目标分割掩码进行边界修正处理，使得输出的待标注对象对应的目标分割掩码更为准确，从而能够大幅降低标注员对目标分割掩码进行调整的工作量，标注员可以在目标分割掩码的基础上继续做少量修改即可，提升了标注效率，降低了标注成本；并且，通过在边界修正网络的训练过程中进行边界扰动和梯度阻断，能够使得训练后的边界修正网络对候选目标分割掩码的边界修正效果更好，使得最终得到的目标分割掩码具有更精准的分割边界。

在又一个实施例中，还可以为分割预测模块提供更多更丰富的先验信息，以使得分割预测得到的候选目标分割掩码更加准确。例如，可以根据目标图像以及该目标图像上对待标注对象的预标注，生成目标置信度图，该目标置信度图用于表示待标注对象的前景预测概率。并基于上述的目标图像、预标注和目标置信度图，输出所述待标注对象对应的候选目标分割掩码。

图6示出了本公开至少一个实施例提供的又一种对象分割方法的原理示意图，本实施例中，在图4所示的网络架构的基础上，增加了置信图预测网络47，该置信图预测网络47中同样可以包括ResNet和级联金字塔。

在一个示例中，目标图像43和对应的预标注高斯图44经过连接(concat，C表示)后输入置信图预测网络47。该置信图预测网络47可以利用ResNet18或者其他的Backbone提取图像特征，并通过由粗到细(Coarse-to-fine)的级联金字塔结构对图像特征进行特征增强处理，分阶段约束分割结果，结合多层特征进行置信图的预测。该置信图预测网络47可以输出目标置信度图48。

请继续参见图6所示，可以将目标置信度图48、预标注高斯图44和目标图像43连接后作为输入数据，输入分割预测网络41。通过分割预测网络41的处理后，可以输出目标图像中的待标注对象对应的候选目标分割掩码45。

接着，可以将候选目标分割掩码45、预标注高斯图44和目标图像43作为输入数据，输入边界修正网络42。可以通过所述边界修正网络42对输入数据进行特征提取，得到第二目标特征，并基于所述第二目标特征进行目标分割处理，得到对所述候选目标分割掩码45进行边界修正后的目标分割掩码46。

图7示意了图6所示的网络架构在训练时的训练过程，如图7所示，可以将训练时使用的目标图像称为样本目标图像，那么可以将样本目标图像71、样本预标注72输入置信图预测网络47，该置信图预测网络47可以输出目标置信度图的预测值73。再通过分割预测网络41，基于样本预标注72、样本目标图像71和目标置信度图的预测值73，输出候选目标分割掩码的预测值74。接着，可以通过边界修正网络42，基于候选目标分割掩码的预测值74、样本预标注72和样本目标图像71，输出待标注对象对应的目标分割掩码的预测值75。

请继续参见图7，可以根据目标分割掩码的预测值75和所述待标注对象的标签值76，得到第一损失；基于候选目标分割掩码的预测值74和所述待标注对象的标签值76，得到第二损失；根据目标置信度图的预测值73和待标注对象的标签值76，得到第三损失。

在一个示例中，上述的第一损失、第二损失或第三损失，在计算损失值时，可以使用交叉熵(CE Loss)和交并比(Iou Loss)损失。例如，可以按照如下的公式(1)计算损失：

如上的公式(1)，其中，i表示整个网络框架中的三个网络，公式(1)中的

表示可以将第一损失、第二损失和第三损失进行相加，而对于其中的每个损失，可以是分别计算交叉熵和交并比，并将交叉熵和交并比相加。

比如，j表示级联金字塔的每一层，可以按照该公式中的

计算第一损失、第二损失或第三损失。λ可以是一个常数。

可以基于所述第一损失、第二损失和第三损失，调整置信图预测网络、分割预测网络和边界修正网络的网络参数。其中，在调整边界修正网络的网络参数的过程中，可以通过边界修正网络中的梯度阻断模块对边界修正网络的网络参数调整进行梯度阻断，即防止梯度的反向传播影响到之前的分割预测网络的训练，让边界修正网络专注于粗糙边界的修正，那么第一损失用于调整边界修正网络的网络参数，而不会影响到置信图预测网络和分割预测网络的参数调整；可以根据第二损失和第三损失调整置信图预测网络和分割预测网络的参数。

本实施例的对象分割方法，通过对待标注对象对应的候选目标分割掩码进行边界修正处理，使得输出的待标注对象对应的目标分割掩码更为准确，标注员继续少量修改操作即可，从而能够大幅降低标注员对目标分割掩码进行调整的工作量，标注员可以在目标分割掩码的基础上继续做少量修改即可，大幅提升了标注效率，降低了标注成本；并且，通过在边界修正网络的训练过程中进行边界扰动和梯度阻断，能够使得训练后的边界修正网络对候选目标分割掩码的边界修正效果更好，使得最终得到的目标分割掩码具有更精准的分割边界；并且，通过置信图预测网络对待标注对象提取先验信息，作为先验信息的置信度图包含丰富的前景/背景先验，并与预标注一同输入分割预测网络，可有效辅助分割预测网络得到更鲁棒的分割结果，有利于提升分割预测网络的分割性能。

此外，对于分割预测网络来说，可以根据输入的预标注类型的不同，设置不同的通道数：若预标注给定边界框，则通道数设置为5(RGB图像3通道，预标注高斯图以及置信度图)；对于极值点预标注，通道数设置为5(RGB图像通道数，预标注高斯图以及置信度图)；对于前景-背景点预测图，通道数设置为6(RGB图像通道数，前景点高斯图，背景点高斯图，置信度图)。

在其他的例子中，标注平台中的分割框架也可以包括置信图预测网络和分割预测网络，而不设置边界修正网络。这种方式中，通过置信图预测网络输出的目标置信度图，也可以增加分割预测网络输入的先验信息，从而提升分割预测网络的分割性能，也有助于提高分割预测网络输出的候选目标分割掩码的准确性。

本公开任一实施例提供的分割方法，可以应用在多种场景下，例如，这些场景包括但不限于：视频监控、无人驾驶、在线视频娱乐、智慧医疗、在线教育等。

为了实现上述任一实施例的对象分割方法，本公开实施例还提供了用于实现该方法的对象分割装置。图8示出了本公开至少一个实施例提供的一种对象分割装置的结构示意图，如下简单描述该装置的结构，其中各个模块的具体处理过程可以结合参见本公开任一对象分割方法的方法实施例的描述。

如图8所示，该装置可以包括：数据接收模块81、分割预测模块82和边界修正模块83。

数据接收模块81，用于接收目标图像、以及对所述目标图像中的待标注对象的预标注。

分割预测模块82，用于基于所述预标注和目标图像进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码。

边界修正模块83，用于根据所述候选目标分割掩码、预标注和所述目标图像，对所述候选目标分割掩码进行边界修正处理，输出所述待标注对象对应的目标分割掩码，以供标注者对所述目标分割掩码进行标注。

在一个例子中，分割预测模块82，在用于基于所述预标注和目标图像进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码时，包括：基于所述预标注，由所述目标图像中提取所述待标注对象对应的目标区域图像；将所述目标区域图像转换得到预标注高斯图；由所述预标注高斯图和所述目标图像进行特征提取得到第一目标特征，并基于所述第一目标特征进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码。

在一个例子中，所述预标注，是如下类型的预标注中的至少一种：包括所述待标注对象的区域对应的边界框；或，所述待标注对象的边界上的极值点；或，用于表示所述待标注对象的前景点以及用于表示非待标注对象的背景点。

在一个例子中，边界修正模块83，在用于根据所述候选目标分割掩码、预标注和所述目标图像，对所述候选目标分割掩码进行边界修正处理时，包括：将所述候选目标分割掩码、预标注和所述目标图像作为输入数据，输入边界修正网络；通过所述边界修正网络对所述输入数据进行特征提取，得到第二目标特征，并基于所述第二目标特征进行目标分割处理，得到对所述候选目标分割掩码进行边界修正后的目标分割掩码。

在一个例子中，如图9所示，该装置还可以包括：第一网络训练模块84。

该第一网络训练模块84，用于对所述边界修正网络进行训练；所述对边界修正网络进行训练的过程包括：将样本目标图像、样本预标注和样本候选目标分割掩码，输入待训练的边界修正网络，并通过所述边界修正网络对所述样本候选目标分割掩码进行边界扰动；基于边界扰动后的样本候选目标分割掩码、所述样本目标图像和样本预标注，进行目标分割处理，得到目标分割掩码的预测值；根据所述目标分割掩码的预测值和对应的标签值，调整所述边界修正网络的网络参数；其中，在调整所述边界修正网络的网络参数的过程中，对所述边界修正网络进行梯度阻断。

在一个例子中，如图10所示，在图8的装置结构的基础上，该装置还可以包括：置信预测模块85，用于根据所述目标图像和所述预标注，输出目标置信度图，所述目标置信度图包括待标注对象的前景预测概率。分割预测模块82，在用于基于所述预标注和目标图像进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码时，包括：基于所述预标注、目标图像和所述目标置信度图，输出所述待标注对象对应的候选目标分割掩码。

在一个例子中，所述置信预测模块85，具体用于通过置信图预测网络根据所述目标图像和所述预标注输出目标置信度图。

所述分割预测模块82，具体用于通过分割预测网络基于所述预标注、目标图像和目标置信度图，输出所述候选目标分割掩码。

所述边界修正模块83，具体用于通过边界修正网络输出所述待标注对象对应的目标分割掩码。

在一个例子中，如图10所示，该装置还可以进一步包括第二网络训练模块86。该第二网络训练模块86，用于对所述置信度预测网络、分割预测网络和边界修正网络进行训练，训练过程包括：通过置信图预测网络，根据样本目标图像和对应的样本预标注输出目标置信度图的预测值；通过分割预测网络，基于样本预标注、样本目标图像和目标置信度图的预测值，输出所述候选目标分割掩码的预测值；通过边界修正网络，基于候选目标分割掩码的预测值、样本预标注和样本目标图像，输出所述待标注对象对应的目标分割掩码的预测值；根据所述目标置信度图的预测值和待标注对象标签值，得到第一损失；根据所述候选目标分割掩码的预测值和所述待标注对象标签值，得到第二损失；并根据目标分割掩码的预测值和所述待标注对象标签值，得到第三损失；基于所述第一损失、第二损失和第三损失，调整所述置信图预测网络、分割预测网络和边界修正网络的网络参数。

在一个例子中，数据接收模块81，还用于接收标注者对所述目标分割掩码进行调整和标注后的结果。

在一些实施例中，上述装置可以用于执行上文所述的对应任意方法，为了简洁，这里不再赘述。

本公开实施例还提供了一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现本说明书任一实施例的对象分割方法。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本说明书任一实施例的对象分割方法。

本领域技术人员应明白，本公开一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本公开一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

其中，本公开实施例所述的“和/或”表示至少具有两者中的其中一个，例如，“多和/或B”包括三种方案：多、B、以及“多和B”。

本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本公开中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本公开中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本公开中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本公开中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPG多(现场可编程门阵列)或多SIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PD多)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本公开包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本公开内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本公开一个或多个实施例的较佳实施例而已，并不用以限制本公开一个或多个实施例，凡在本公开一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开一个或多个实施例保护的范围之内。

Claims (12)

1.一种对象分割方法，其特征在于，所述方法包括：

接收目标图像、以及对所述目标图像中的待标注对象的预标注；

基于所述预标注和目标图像进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码；

根据所述候选目标分割掩码、预标注和所述目标图像，对所述候选目标分割掩码进行边界修正处理，输出所述待标注对象对应的目标分割掩码，以供标注者对所述目标分割掩码进行标注。

2.根据权利要求1所述的方法，其特征在于，所述基于所述预标注和目标图像进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码，包括：

基于所述预标注，由所述目标图像中提取所述待标注对象对应的目标区域图像；

将所述目标区域图像转换得到预标注高斯图；

由所述预标注高斯图和所述目标图像进行特征提取得到第一目标特征，并基于所述第一目标特征进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码。

3.根据权利要求1所述的方法，其特征在于，

所述预标注，是如下类型的预标注中的至少一种：

包括所述待标注对象的区域对应的边界框；

或，所述待标注对象的边界上的极值点；

或，用于表示所述待标注对象的前景点以及用于表示非待标注对象的背景点。

4.根据权利要求1所述的方法，其特征在于，所述根据所述候选目标分割掩码、预标注和所述目标图像，对所述候选目标分割掩码进行边界修正处理，包括：

将所述候选目标分割掩码、预标注和所述目标图像作为输入数据，输入边界修正网络；

通过所述边界修正网络对所述输入数据进行特征提取，得到第二目标特征，并基于所述第二目标特征进行目标分割处理，得到对所述候选目标分割掩码进行边界修正后的目标分割掩码。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：对所述边界修正网络进行训练的过程；所述训练的过程包括：

将样本目标图像、样本预标注和样本候选目标分割掩码，输入待训练的边界修正网络，并通过所述边界修正网络对所述样本候选目标分割掩码进行边界扰动；

基于边界扰动后的样本候选目标分割掩码、所述样本目标图像和样本预标注，进行目标分割处理，得到目标分割掩码的预测值；

根据所述目标分割掩码的预测值和对应的标签值，调整所述边界修正网络的网络参数；其中，在调整所述边界修正网络的网络参数的过程中，对所述边界修正网络进行梯度阻断。

6.根据权利要求1所述的方法，其特征在于，所述接收待标注的目标图像、以及对所述目标图像中的待标注对象的预标注之后，所述方法还包括：

根据所述目标图像和所述预标注，输出目标置信度图，所述目标置信度图包括待标注对象的前景预测概率；

所述基于所述预标注和目标图像进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码，包括：基于所述预标注、目标图像和所述目标置信度图，输出所述待标注对象对应的候选目标分割掩码。

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标图像和所述预标注，输出目标置信度图，包括：通过置信图预测网络根据所述目标图像和所述预标注输出目标置信度图；

所述基于所述预标注、目标图像和所述目标置信度图，输出所述待标注对象对应的候选目标分割掩码，包括：通过分割预测网络基于所述预标注、目标图像和目标置信度图，输出所述候选目标分割掩码；

所述输出所述待标注对象对应的目标分割掩码，包括：通过边界修正网络输出所述待标注对象对应的目标分割掩码。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：对所述置信度预测网络、分割预测网络和边界修正网络的训练过程，所述训练过程包括：

通过置信图预测网络，根据样本目标图像和对应的样本预标注输出目标置信度图的预测值；

通过分割预测网络，基于样本预标注、样本目标图像和目标置信度图的预测值，输出所述候选目标分割掩码的预测值；

通过边界修正网络，基于候选目标分割掩码的预测值、样本预标注和样本目标图像，输出所述待标注对象对应的目标分割掩码的预测值；

根据所述目标置信度图的预测值和待标注对象标签值，得到第一损失；根据所述候选目标分割掩码的预测值和所述待标注对象标签值，得到第二损失；并根据目标分割掩码的预测值和所述待标注对象标签值，得到第三损失；

基于所述第一损失、第二损失和第三损失，调整所述置信图预测网络、分割预测网络和边界修正网络的网络参数。

9.根据权利要求1所述的方法，其特征在于，所述输出所述待标注对象对应的目标分割掩码之后，该方法还包括：

接收标注者对所述目标分割掩码进行调整和标注后的结果。

10.一种对象分割装置，其特征在于，所述装置还包括：

数据接收模块，用于接收目标图像、以及对所述目标图像中的待标注对象的预标注；

分割预测模块，用于基于所述预标注和目标图像进行目标分割处理，得到所述待标注对象对应的候选目标分割掩码；

边界修正模块，用于根据所述候选目标分割掩码、预标注和所述目标图像，对所述候选目标分割掩码进行边界修正处理，输出所述待标注对象对应的目标分割掩码，以供标注者对所述目标分割掩码进行标注。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至9任一所述的方法。

12.一种电子设备，其特征在于，包括：存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现权利要求1至9任一所述的方法。

Images