CN114332149A - 图像分割方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像分割方法、装置、电子设备及存储介质，所述方法包括：对待检测图像进行目标检测，得到所述待检测图像中各目标对象对应的候选框和所述候选框的置信信息；所述置信信息用于表示所述候选框中的对象为显著性前景对象的置信概率；根据所述候选框的置信信息，从所述候选框中确定出目标候选框；将所述目标候选框对应的区域图像输入训练完成的图像分割网络，得到分割出的对象图像，作为所述待检测图像的图像分割结果。该方法通过简化显著性检测问题，可以更具有针对性地对图像进行处理，得到更精确的分割结果。

Description

图像分割方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理的技术领域，尤其涉及一种图像分割方法、装置、电子设备、存储介质及程序产品。

背景技术

显著性检测方法一般是基于视觉显著性分析模型，识别出图像中的感兴趣区域，并分割出感兴趣区域中的前景物体的方法，广泛应用于人像抠图、通用物体分割和场景分割等任务中。

现有技术中，对图像的显著性分割多是采用如GBVS算法、SR算法等的启发式算法，对图像提取低层特征，例如提取亮度、颜色、方向、边缘和频率等特征，通过低层特征的融合判断目标区域和周围像素的差异，进而计算图像区域的显著性，得到显著性图后，利用赢者通吃的竞争机制得到图像中最显著的区域，对显著性区域进行分割。但是，由于低层特征只能反映亮度、颜色等低层信息，灵活性不足，因此这种分割方法容易出现误检和漏检的问题。

发明内容

本公开提供一种图像分割方法、装置、电子设备、存储介质及程序产品，以至少解决相关技术中的显著性检测容易出现误检和漏检的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像分割方法，包括：

对待检测图像进行目标检测，得到所述待检测图像中各目标对象对应的候选框和所述候选框的置信信息；所述置信信息用于表示所述候选框中的对象为显著性前景对象的置信概率；

根据所述候选框的置信信息，从所述候选框中确定出目标候选框；

将所述目标候选框对应的区域图像输入训练完成的图像分割网络，得到分割出的对象图像，作为所述待检测图像的图像分割结果。

在一示例性实施例中，所述对待检测图像进行目标检测，得到所述待检测图像中各目标对象对应的候选框和所述候选框的置信信息，包括：

通过多尺度特征图对所述待检测图像进行目标检测，得到所述待检测图像中各目标对象对应的候选框；

提取所述候选框所对应的区域图像的高层特征信息和低层特征信息，并对所述高层特征信息和所述低层特征信息进行特征融合处理，得到所述候选框的置信信息；所述高层特征信息为所述区域图像的抽象的语义信息，所述低层特征信息为所述区域图像的视觉可见的信息。

在一示例性实施例中，所述根据所述候选框的置信信息，从所述候选框中确定出目标候选框，包括：

将所述候选框的置信信息与预设阈值进行比对；

当所述候选框的置信信息大于预设阈值时，确定所述候选框为所述目标候选框。

在一示例性实施例中，所述训练完成的图像分割网络通过下述训练方式进行训练，包括：

获取样本图像；所述样本图像携带有显著性标注信息；

基于待训练的图像分割网络对所述样本图像的分割结果与所述显著性标注信息之间的第一损失值，从所述样本图像中筛选出目标样本；所述目标样本对应的所述第一损失值大于损失阈值；

增大所述目标样本在所述样本图像中的训练占比，得到所述目标样本的第一训练占比和其他样本的第二训练占比；所述其他样本为所述样本图像中除所述目标样本之外的样本图像；

按照所述第一训练占比和所述第二训练占比，采用所述目标样本和所述其他样本对所述待训练的图像分割网络进行训练，得到所述图像分割网络。

在一示例性实施例中，所述获取样本图像，包括：

获取初始样本图像；所述初始样本图像中包括显著性标注信息存在缺陷的缺陷样本图像；

基于所述初始样本图像中对象的位置，对所述初始样本图像进行样本扩增处理，得到对应的扩增样本图像；

对所述缺陷样本图像所携带的显著性标注信息进行数据优化处理，得到对应的优化样本图像；

根据所述扩增样本图像和所述优化样本图像，得到所述样本图像。

在一示例性实施例中，所述训练完成的图像分割网络还通过下述训练方式进行训练，包括：

获取同一样本图像的第一扩增图像和第二扩增图像；

获取所述待训练的图像分割网络对所述第一扩增图像的第一分割结果和对所述第二扩增图像的第二分割结果；

基于所述第一分割结果和所述第二分割结果之间的第二损失值，对所述待训练的图像分割网络进行训练，得到所述图像分割网络。

在一示例性实施例中，在对所述待训练的图像分割网络进行训练之前，还包括：

构建初始图像分割网络；

在所述初始图像分割网络中添加边界检测分支网络和图像分类分支网络，得到所述待训练的图像分割网络；所述边界检测分支网络用于约束前景显著性的语义边界，所述图像分类分支网络用于预测显著性前景区域中的对象类别。

根据本公开实施例的第二方面，提供一种图像分割装置，包括：

检测单元，被配置为执行对待检测图像进行目标检测，得到所述待检测图像中各目标对象对应的候选框和所述候选框的置信信息；所述置信信息用于表示所述候选框中的对象为显著性前景对象的置信概率；

确定单元，被配置为执行根据所述候选框的置信信息，从所述候选框中确定出目标候选框；

分割单元，被配置为执行将所述目标候选框对应的区域图像输入训练完成的图像分割网络，得到分割出的对象图像，作为所述待检测图像的图像分割结果。

在一示例性实施例中，所述检测单元，还被配置为执行通过多尺度特征图对所述待检测图像进行目标检测，得到所述待检测图像中各目标对象对应的候选框；提取所述候选框对应的区域图像的高层特征信息和低层特征信息，并对所述高层特征信息和所述低层特征信息进行特征融合处理，得到所述候选框的置信信息；所述高层特征信息为所述区域图像的抽象的语义信息，所述低层特征信息为所述区域图像的视觉可见的信息。

在一示例性实施例中，所述确定单元，还被配置为执行将所述候选框的置信信息与预设阈值进行比对；当所述候选框的置信信息大于预设阈值时，确定所述候选框为所述目标候选框。

在一示例性实施例中，所述装置还包括训练单元，被配置为执行获取样本图像；所述样本图像携带有显著性标注信息；基于待训练的图像分割网络对所述样本图像的分割结果与所述显著性标注信息之间的第一损失值，从所述样本图像中筛选出目标样本；所述目标样本对应的所述第一损失值大于损失阈值；增大所述目标样本在所述样本图像中的训练占比，得到所述目标样本的第一训练占比和其他样本的第二训练占比；所述其他样本为所述样本图像中除所述目标样本之外的样本图像；按照所述第一训练占比和所述第二训练占比，采用所述目标样本和所述其他样本对所述待训练的图像分割网络进行训练，得到所述图像分割网络。

在一示例性实施例中，所述训练单元，还被配置为执行获取初始样本图像；所述初始样本图像中包括显著性标注信息存在缺陷的缺陷样本图像；基于所述初始样本图像中对象的位置，对所述初始样本图像进行样本扩增处理，得到对应的扩增样本图像；对所述缺陷样本图像所携带的显著性标注信息进行数据优化处理，得到对应的优化样本图像；根据所述扩增样本图像和所述优化样本图像，得到所述样本图像。

在一示例性实施例中，所述训练单元，还被配置为执行获取同一样本图像的第一扩增图像和第二扩增图像；获取所述待训练的图像分割网络对所述第一扩增图像的第一分割结果和对所述第二扩增图像的第二分割结果；基于所述第一分割结果和所述第二分割结果之间的第二损失值，对所述待训练的图像分割网络进行训练，得到所述图像分割网络。

在一示例性实施例中，所述训练单元，还被配置为执行构建初始图像分割网络；在所述初始图像分割网络中添加边界检测分支网络和图像分类分支网络，得到所述待训练的图像分割网络；所述边界检测分支网络用于约束前景显著性的语义边界，所述图像分类分支网络用于预测显著性前景区域中的对象类别。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上任一项所述的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上任一项所述的方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如上任一项所述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

在进行图像分割时，先对待检测图像进行目标检测，得到待检测图像中各目标对象的候选框和候选框的置信信息，然后基于置信信息从候选框中确定出目标候选框，对确定出的目标候选框对应的区域图像进行图像分割，得到待检测图像的图像分割结果。该方法将图像分割中的显著性检测问题分解为两个子问题，先通过目标检测的方法检测候选框，得到目标候选框，再通过图像分割网络预测目标候选框对应的显著性区域图像的精细的显著性边缘，从而可减少背景区域对目标候选框的干扰，使得分割结果更精确。在这个过程中，显著性检测的问题被简化，可以更具有针对性的处理图像，从而得到更好的图像分割效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像分割方法的流程示意图；

图2是根据一示例性实施例示出的图像分割网络的网络结构示意图；

图3是根据一示例性实施例示出的大模型作为教师网络蒸馏学习网络的示例图；

图4是根据一示例性实施例示出的不同数据优化方式的示例图；

图5是根据一示例性实施例示出的数据优化前后的对比图；

图6是根据一示例性实施例示出的图像分割算法的算法流程图；

图7是根据一示例性实施例示出的采用不同的模型优化方式的优化结果对比图；

图8是根据另一示例性实施例示出的图像分割方法的流程示意图；

图9是根据一示例性实施例示出的一种图像分割装置的结构框图；

图10是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。还需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

在一示例性实施例中，如图1所示，提供了一种图像分割方法，本实施例以该方法应用于终端进行举例说明，其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

在步骤S110中，对待检测图像进行目标检测，得到待检测图像中各目标对象对应的候选框和候选框的置信信息；置信信息用于表示候选框中的对象为显著性前景对象的置信概率。

其中，目标检测用于将图像中感兴趣的目标对象提取出来，确定他们的类别和位置。

其中，置信信息可以为置信度。

其中，候选框表示检测出来的可能包含有感兴趣的目标对象的检测框。

具体实现中，在对待检测图像进行目标检测时，可以采用先通过启发式方法或者卷积神经网络(Convolutional Neural Networks,CNN)产生一系列稀疏的候选框，然后对这些候选框进行分类与回归的两段式检测算法，也可以采用均匀地在待检测图像的不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比，然后利用卷积神经网络提取特征后直接进行分类与回归的一段式检测算法，得到待检测图像中的多个候选框、各个候选框中目标对象的类别，以及目标对象的类别与实际类别匹配的置信度。

在步骤S120中，根据候选框的置信信息，从候选框中确定出目标候选框。

其中，目标候选框可表示被判定为包含的对象为显著性前景对象的候选框。

具体实现中，可以将各个候选框的置信信息与预设阈值进行比较，当候选框的置信信息小于或等于预设阈值时，可判定候选框不是目标候选框；当候选框的置信信息大于预设阈值时，判定候选框为目标候选框。

在步骤S130中，将目标候选框对应的区域图像输入训练完成的图像分割网络，得到分割出的对象图像，作为待检测图像的图像分割结果。

其中，目标候选框对应的区域图像可以基于目标候选框的位置进行抠图得到。

其中，图像分割网络用于从目标候选框中提取出显著性对象的对象图像。

具体实现中，在得到目标候选框后，可将根据目标候选框抠出的区域图像，作为目标候选框对应的区域图像，将该区域图像作为输入图像，输入训练完成的图像分割网络，使图像分割网络从目标候选框对应的区域图像中分割出所包含的对象图像，作为对待检测图像进行图像分割的图像分割结果。

参考图2，为一示例性实施例中图像分割网络的网络结构示意图，在第一阶段，输入目标候选框对应的区域图像后，依次对目标候选框对应的区域图像进行以下处理：卷积提取特征、下采样、分类分支约束高层特征映射到语义信息、上采样、提取高层特征、逐级预测粗糙分割mask(掩模)、预测最终输出分割的掩模图(mask)；在第二阶段，输入目标候选框对应的区域图像和第一阶段输出的掩模图(mask)，再次通过卷积提取特征、进行下采样和上采样、提取高层特征，预测最终输出的分割掩模图(mask)，得到分割出的对象图像。

在一示例性实施例中，图像分割网络的模型还可改进为cascade结构(一种级联结构)，在主干的图像分割网络模型后再级联一个小模型，以召回部分漏检，过滤部分误检，使得图像分割结果更干净，边界更准确。

上述图像分割方法中，在进行图像分割时，先对待检测图像进行目标检测，得到待检测图像中各目标对象的候选框和候选框的置信信息，然后基于置信信息从候选框中确定出目标候选框，对确定出的目标候选框对应的区域图像进行图像分割，得到待检测图像的图像分割结果。该方法将图像分割中的显著性检测问题分解为两个子问题，先通过目标检测的方法检测候选框，得到目标候选框，再通过图像分割网络预测目标候选框对应的显著性区域图像的精细的显著性边缘，从而可减少背景区域对目标候选框的干扰，使得分割结果更精确。在这个过程中，显著性检测的问题被简化，可以更具有针对性的处理图像，从而得到更好的图像分割效果。

在一示例性实施例中，在步骤S110中，对待检测图像进行目标检测，得到待检测图像中各目标对象的候选框和候选框的置信信息，具体可以通过以下步骤实现：通过多尺度特征图对待检测图像进行目标检测，得到待检测图像中各目标对象对应的候选框；提取候选框所对应的区域图像的高层特征信息和低层特征信息，并对高层特征信息和低层特征信息进行特征融合处理，得到候选框的置信信息。

其中，高层特征信息可表示目标候选框对应的区域图像的抽象的语义信息，即无法直接从图像中看出的信息。

其中，低层特征信息可表示目标候选框对应的区域图像中的视觉可见的信息。

具体实现中，对待检测图像进行目标检测时，可以采用多尺度的特征图进行检测，具体可利用大尺度特征图(较靠前的特征图)来检测小对象，而利用小尺度特征图(较靠后的特征图)来检测大对象，得到不同大小的对象的候选框，然后采用卷积对不同的特征图进行检测，得到候选框所对应的区域图像的高层特征信息和低层特征信各个候选框的置信信息。

本实施例中，通过多尺度特征图对待检测图像进行目标检测，可以更好地将目标检测到，提高检测结果的准确度。

在一示例性实施例中，在步骤S120中，根据候选框的置信信息，从候选框中确定出目标候选框，具体可以通过以下步骤实现：将候选框的置信信息与预设阈值进行比对；当候选框的得分大于预设阈值时，确定候选框为目标候选框。

具体实现中，可以将各个候选框的置信信息与预设阈值进行比较，当候选框的置信信息小于或等于预设阈值时，表明对候选框中的对象的分类结果的识别准确度较低，因此可判定候选框不是目标候选框；当候选框的置信信息大于预设阈值时，表明对候选框中的对象的分类结果具有较高的识别准确度，因此可判定候选框为目标候选框。

本实施例中，通过候选框的置信信息与预设阈值的比对，根据比对结果从候选框中确定出置信信息大于预设阈值的候选框，作为目标候选框，从而可避免对置信信息较低的候选框的图像分割造成的计算资源浪费。

在一示例性实施例中，训练完成的图像分割网络通过下述训练方式进行训练，包括：获取样本图像；样本图像携带有显著性标注信息；基于待训练的图像分割网络对样本图像的分割结果与显著性标注信息之间的第一损失值，从样本图像中筛选出目标样本；目标样本对应的第一损失值大于损失阈值；增大目标样本在样本图像中的训练占比，得到目标样本的第一训练占比和其他样本的第二训练占比；其他样本为样本图像中除目标样本之外的样本图像；按照第一训练占比和第二训练占比，采用目标样本和其他样本对待训练的图像分割网络进行训练，得到图像分割网络。

其中，训练占比表示某一样本图像在训练过程中在所有样本图像中所占的比重。

具体实现中，在获取携带有显著性标注信息的样本图像后，可将各个样本图像依次输入待训练的图像分割网络中，得到各个样本图像的分割结果，将各个样本图像的分割结果与对应的显著性标注信息进行作差，得到各个样本图像的分割结果与显著性标注信息之间的第一损失值。从各个样本图像对应的第一损失值中筛选出数值大于损失阈值的目标第一损失值，将目标第一损失值对应的样本图像作为目标样本，并增大目标样本在样本图像中的训练占比，得到目标样本的第一训练占比，同时可对应减小样本图像中除目标样本之外的其他样本的训练占比，或保持其他样本的训练占比不变，得到其他样本的第二训练占比。将目标样本按照第一训练占比，以及将其他样本按照第二训练占比，对待训练的图像分割网络进行训练，得到图像分割网络。

本实施例中，通过分割结果与显著性标注信息的差异，从样本图像中筛选出目标样本图像，并通过增大目标样本图像的训练占比，来对待训练的图像分割网络进行训练，由于目标样本图像对应的第一损失值大于损失阈值，表明目标样本图像的分割结果与实际的显著性标注信息相差较远，对目标样本图像分割难度较大，因此，通过增大目标样本图像的训练占比的方法，对待训练的图像分割网络进行训练，可以提高训练得到的图像分割网络对较难分割的样本的泛化性和准确性，减少图片预测结果置信信息低，显著性不明显，部分前景出现漏检的问题。

在一示例性实施例中，获取样本图像的步骤，具体包括：获取初始样本图像，初始样本图像中包括显著性标注信息存在缺陷的缺陷样本图像；基于初始样本图像中对象的位置，对初始样本图像进行样本扩增处理，得到对应的扩增样本图像；对缺陷样本图像所携带的显著性标注信息进行数据优化处理，得到对应的优化样本图像；根据扩增样本图像和优化样本图像，得到样本图像。

具体实现中，一方面获取大量带有显著性标注的数据难度很大，但采用少量的标注数据会带来过拟合问题，导致在未见过的图标上泛化性较差，因此，本实施例采用样本扩增的方法，对每个携带有显著性标注信息的样本图像进行一定变化，生成与之对应的另一个样本图像。另一方面，样本图像所携带的显著性标注信息的质量参差不齐，部分样本图像的显著性标注信息在边界和细节上可能存在较大的误差，因此，可采用数据预处理的方式优化样本图像的显著性标注信息。

更具体地，基于初始样本图像中对象的位置，对初始样本图像进行样本扩增处理包括位置不变的样本扩增和位置变化的样本扩增。其中，位置不变的样本扩增是指模拟拍摄设备在不同场景中的电磁噪声、场景噪声(如光照强度变化等)、拍照设备焦变化以及模糊等进行的扩增，针对这些情况具体的扩增方式有：在样本图像中分别进行增加高斯噪声、增加均匀白噪声、增加边界位置的高斯噪声、模糊化处理、亮度变化处理、饱和度变化处理、局部随机擦除处理、局部随机亮度处理等扩增操作。位置变化的样本扩增是指模拟摄像头晃动的情况进行的扩增，具体的扩增方式有平移、旋转和镜像翻转等。

对缺陷样本图像所携带的显著性标注信息进行数据优化处理的处理方式可包括：(1)针对显著性信息标注中存在边界琐碎或者不准确的地方的缺陷，采用先对标注信息进行腐蚀、去除琐碎边界，再进行相同大小的膨胀恢复边界，最后再通过导向滤波进行边缘细化的优化方式；(2)针对显著性信息标注内部存在空洞的缺陷，采用找到最大联通域对象的轮廓，对轮廓内部进行填充，得到对象整体的标注的优化方式；(3)针对显著性标注信息中存在口罩人脸数据的缺陷，采用局部随机擦除模拟口罩的优化方式，以解决戴口罩人脸分割不准确的问题；(4)针对显著性信息中部分数据标注不准确的情况，基于图3所示的大模型作为教师网络蒸馏学习网络的示例，采用大模型预测结果作为伪标签训练小模型的优化方式，缓解数据标注错误的情况。

例如，参考图4，为不同数据优化方式的示例图，图中上半部分从左至右的图像依次为随机擦除处理后的图像、未经处理的原始掩模图(原始mask)、腐蚀膨胀处理后的图像和空洞填充处理后的图像，下半部分从左至右的图像依次为原始图像、添加背景后的图像、局部亮度调整后的图像和未经处理的原始掩模图。

参考图5，为数据优化前后的对比图，图中第一列图像为原始图像，第二列图像为显著性标注的图像，第三列图像为进行数据优化后的图像，第四列图像Baseline为参照图像，从图中可以看出数据优化后的图像相对于优化前的标注图像，对于原始图像的表征更准确，更贴近参照图像。

在另一实施方式中，还可基于样本图像的背景，对初始样本图像进行样本扩增处理，得到对应的背景扩增样本图像。具体可随机选择无显著性标注信息的网络图片作为背景，将有标注数据的显著性区域抠出，并贴在背景图片上由此得到携带有显著性标注信息的新的样本图像，实现对样本图像的扩，增强了图像分割网络的泛化性。

本实施例中，通过初始样本图像中对象的位置，对初始样本图像进行样本扩增处理，可以极大地丰富训练样本集，从而解决训练的样本图像不足的问题，通过对显著性标注信息存在缺陷的初始样本图像所携带的显著性标注信息进行数据优化处理，可以提高样本图像所携带的显著性标注信息的质量，从而提高基于该优化样本图像训练得到的图像分割网络的准确性。

在一示例性实施例中，训练完成的分割网络还可通过下述训练方式进行训练，包括：获取同一样本图像的第一扩增图像和第二扩增图像；获取待训练的图像分割网络对第一扩增图像的第一分割结果和对第二扩增图像的第二分割结果；基于第一分割结果和第二分割结果之间的第二损失值，对待训练的图像分割网络进行训练，得到图像分割网络。

具体实现中，针对同一样本图像，分别通过不同的扩增方式进行扩增处理，得到第一扩增图像和第二扩增图像，将第一扩增图像和第二扩增图像分别输入待训练的图像分割网络，得到对第一扩增图像的第一分割结果和对第二扩增图像的第二分割结果，计算第一分割结果与第二分割结果之间的差值，得到第二损失值，当第二损失值不符合预设的精度要求时，调整待训练的图像分割网络的网络参数，重新对第一扩增图像和第二扩增图像进行分割，并进行分割结果的对比，直至第二损失值符合预设的精度要求，以此类推，当对多个样本图像的第一扩增图像和第二扩增图像的分割结果之间的第二损失值符合预设的精度要求时，保存网络参数，得到训练完成的图像分割网络。

本实施例中，通过同一样本图像的第一扩增图像和第二扩增图像的分割结果之间的损失值进行图像分割网络的训练，得到图像分割网络，这种通过对抗损失进行网络训练的方式可以提高图像分割网络的分割结果的稳定性。

在一示例性实施例中，在对待训练的图像分割网络进行训练之前，还包括：构建初始图像分割网络；在初始图像分割网络中添加边界检测分支网络和图像分类分支网络，得到待训练的图像分割网络；边界检测分支网络用于约束前景显著性的语义边界，图像分类分支网络用于预测显著性前景区域中的对象类别。

具体实现中，在构建初始图像分割网络后，在初始图像分割网络中添加用于约束前景显著性的语义边界的边界检测分支网络和用于预测显著性前景区域中的对象类别的图像分类分支网络，得到待训练的图像分割网络，进一步对待训练的图像分割网络进行训练。

本实施例中，通过在图像分割网络中添加边界检测分支网络，约束前景显著性的语义边界，可以提升边界预测的准确性和精细程度，通过在图像分割网络中添加图像分类分支网络，预测显著性前景的对象类别，从而明确前景在语义上的显著性，辅助图像分割网络分割出更有物理意义的对象，过滤无意义类别的情景。

在一示例性实施例中，为了便于本领域技术人员理解本公开实施例，以下将结合具体示例对本公开进行说明。本公开提供的图像分割方法，或称为显著性分割方法的技术方案主要可分为三部分：算法逻辑优化、数据集优化和模型优化，具体地：

在算法优化上，由于传统显著性分割方法需要直接从图像中分割出显著性前景对象，最近的基于深度学习的显著性分割算法也是从图像中直接预测前景，而前景对象大小变化多样，这无疑增大了算法的难度，因此，本公开采用基于区域建议的深度学习目标检测和显著性分割算法。

参考图6所示的算法流程图，具体算法分为两个步骤：(1)采用基于SSD(SingleShot MultiBox Detector，一种检测框架)改进的目标检测算法对待检测图像进行目标检测，得到显著性对象的候选框bbox、类别以及置信度。通过基于SSD改进的目标检测算法计算量更小，可以满足手机端的实时运行，可以理解的是，实际应用中，也可以采用FasterRCNN(Region with CNN feature，一种目标检测方法)、CenterNet(一种目标检测方法)等算法进行目标检测，本公开对此不作限制；(2)根据检测框的置信度与预设阈值的比对结果确定目标检测框，将目标检测框对应的区域图像输入图像分割网络，得到精细的显著性分割结果。

在数据集优化上，可以从基于显著性物体的位置进行样本扩增、基于显著性物体的背景进行样本扩增，以及对具有缺陷的显著性标注信息进行腐蚀膨胀、空洞填充、随机擦除等数据处理等方面对训练样本进行优化。

在模型优化上，具体可以包括以下几个方面：(1)可以采用难样本在线挖掘损失(Ohem损失)，根据预测结果与实际标注信息之间的差异，选择差异较大的样本作为难样本，增大难样本的训练占比，从而提升图像分割网络对难例样本的泛化性；(2)采用对抗损失提升预测稳定性，具体地，可以对同一样本图像x，通过样本扩增处理得到第一扩增图像x1和第二扩增图像x2，输入待训练的图像分割网络后得到预测结果y1和y2，计算y1和y2之间的第二损失值|y1-y2|，基于第二损失值对待训练的图像分割网络进行训练；(3)多任务辅助分支监督，在图像分割网络中加入边界检测分支，约束前景显著性的语义边界，提升边界预测的准确性和精细程度；以及，加入图像分类分支，预测显著性前景的物体类别，从而明确前景在语义上的显著性，辅助网络分割出更具有物理意义的物体，过滤无意义类别的前景；(4)将图像分割网络的结构改进为cascade结构(一种级联结构)，在图像分割网络的主干模型后再级联一个小模型，以召回部分漏检，过滤部分误检，使得图像分割结果更干净，边界更准确。

例如，参考图7，为采用不同的模型优化方式的优化结果对比图，图中从第一列到第六列依次为原始图像、掩模图(mask图)、未经任何优化的原始图像分割网络的分割结果图、添加边界检测分支和图像分类分支后的图像分割网络的分割结果图、采用对抗损失进行训练后的图像分割网络的分割结果图，以及模型结构改进为cascade结构(一种级联结构)后的分割结果图，从图中可以看出经过模型优化处理后的图像分割网络输出的物体图像边界更加准确，细节更加精细，极大地减少了误检和漏检的情况，预测结果置信度更高，可以准确的分割出前景物体的边界。

进一步地，还可以通过定量的描述显著性分割算法的准确性，例如，可采用mIoU(Mean Intersection over Union，平均交并比，用于计算真实值和预测值两个集合的交集和并集之比)作为评测指标，具体形式为：

如下表1所示，为不同优化指标对应的mIoU的对比结果，表中从第二列到第六列的优化指标依次叠加，例如第二列的mIoU值表示未经任何优化处理的原始图像分割网络测试得到的mIoU值、第三列的mIoU值表示经过数据优化处理后的图像分割网络测试得到的mIoU值、第四列的mIoU值则表示经过数据优化处理和添加辅助分支的图像分割网络测试得到的mIoU值，以此类推，最后一列的mIoU值则表示经过数据优化处理、添加辅助分支、对抗损失和ohem损失训练以及改进为cascade结构的图像分割网络测试得到的mIoU值，可见，经过逐级的优化处理后，图像分割网络的mIoU值得到了显著提高。

表1不同优化指标对应的mIoU的对比结果

优化点	原始模型	数据优化	辅助分支	损失函数	Cascade
						mIoU	86.2	87.4	89.0	90.5	91.7

本公开提出了两阶段方法重新定义显著性检测问题，将显著性检测问题拆分为显著性目标检测问题和显著性区域分割问题，从而降低了问题难度，提高了检测结果的准确性，通过样本扩增和数据优化的处理方式模拟不同环境下的样本，扩充样本的多样性，提升了图像分割网络在不同场景下的泛化性，通过损失函数(ohem损失函数、对抗损失函数)提升了图像分割网络的分割结果的置信度和稳定性，并且通过添加图像分类分支提升了前景在语义上的显著性，添加边界预测分支则强调了高层的语义边界，使得模型更准确分割边界，而级联结构进一步减少误检和漏检，使得预测结果得到进一步提升。

在另一示例性实施例中，如图8所示，是根据另一示例性实施例示出的图像分割方法的流程图，本实施例中，该方法包括以下步骤：

步骤S810，通过多尺度特征图对待检测图像进行目标检测，得到待检测图像中的候选框；

步骤S820，提取候选框对应的区域图像的高层特征信息和低层特征信息，并对高层特征信息和低层特征信息进行特征融合处理，得到候选框的置信信息；

步骤S830，将候选框的置信信息与预设阈值进行比对；

步骤S840，当候选框的置信信息大于预设阈值时，确定候选框为目标候选框；

步骤S850，将目标候选框对应的区域图像输入训练完成的图像分割网络，得到分割出的对象图像，作为待检测图像的图像分割结果。

本实施例提供的图像分割方法，将图像分割中的显著性检测问题分解为两个子问题，先通过目标检测的方法检测候选框，得到目标候选框，再通过图像分割网络预测目标候选框对应的显著性区域图像的精细的显著性边缘，从而可减少背景区域对目标候选框的干扰，使得分割结果更精确。在这个过程中，显著性检测的问题被简化，可以更具有针对性的处理图像，从而得到更好的图像分割效果。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。

基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的图像分割方法的图像分割装置。

图9是根据一示例性实施例示出的一种图像分割装置的结构框图。参照图9，该装置包括：检测单元910、确定单元920和分割单元930，其中，

检测单元910，被配置为执行对待检测图像进行目标检测，得到待检测图像中各目标对象对应的候选框和候选框的置信信息；置信信息用于表示候选框中的对象为显著性前景对象的置信概率；

确定单元920，被配置为执行根据候选框的置信信息，从候选框中确定出目标候选框；

分割单元930，被配置为执行将目标候选框对应的区域图像输入训练完成的图像分割网络，得到分割出的对象图像，作为待检测图像的图像分割结果。

在一示例性实施例中，检测单元910，还被配置为执行通过多尺度特征图对待检测图像进行目标检测，得到待检测图像中各目标对象对应的候选框；提取候选框对应的区域图像的高层特征信息和低层特征信息，并对高层特征信息和低层特征信息进行特征融合处理，得到候选框的置信信息；所述高层特征信息为所述区域图像的抽象的语义信息，所述低层特征信息为所述区域图像的视觉可见的信息。

在一示例性实施例中，确定单元920，还被配置为执行将候选框的置信信息与预设阈值进行比对；当候选框的置信信息大于预设阈值时，确定候选框为目标候选框。

在一示例性实施例中，上述装置还包括训练单元，被配置为执行获取样本图像；样本图像携带有显著性标注信息；基于待训练的图像分割网络对样本图像的分割结果与显著性标注信息之间的第一损失值，从样本图像中筛选出目标样本；目标样本对应的第一损失值大于损失阈值；增大目标样本在样本图像中的训练占比，得到目标样本的第一训练占比和其他样本的第二训练占比；其他样本为样本图像中除目标样本之外的样本图像；按照第一训练占比和第二训练占比，采用目标样本和其他样本对待训练的图像分割网络进行训练，得到图像分割网络。

在一示例性实施例中，训练单元，还被配置为执行获取初始样本图像，所述初始样本图像中包括显著性标注信息存在缺陷的缺陷样本图像；基于初始样本图像中对象的位置，对初始样本图像进行样本扩增处理，得到对应的扩增样本图像；对缺陷的样本图像所携带的显著性标注信息进行数据优化处理，得到对应的优化样本图像；根据扩增样本图像和优化样本图像，得到样本图像。

在一示例性实施例中，训练单元，还被配置为执行获取同一样本图像的第一扩增图像和第二扩增图像；获取待训练的图像分割网络对第一扩增图像的第一分割结果和对第二扩增图像的第二分割结果；基于第一分割结果和第二分割结果之间的第二损失值，对待训练的图像分割网络进行训练，得到图像分割网络。

在一示例性实施例中，训练单元，还被配置为执行构建初始图像分割网络；在初始图像分割网络中添加边界检测分支网络和图像分类分支网络，得到待训练的图像分割网络；边界检测分支网络用于约束前景显著性的语义边界，图像分类分支网络用于预测显著性前景区域中的对象类别。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是根据一示例性实施例示出的一种用于实现图像分割方法的电子设备1000的框图。例如，电子设备1000可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图10，电子设备1000可以包括以下一个或多个组件：处理组件1002、存储器1004、电源组件1006、多媒体组件1008、音频组件1010、输入/输出(I/O)的接口1012、传感器组件1014以及通信组件1016。

处理组件1002通常控制电子设备1000的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。

存储器1004被配置为存储各种类型的数据以支持在电子设备1000的操作。这些数据的示例包括用于在电子设备1000上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。

电源组件1006为电子设备1000的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为电子设备1000生成、管理和分配电力相关联的组件。

多媒体组件1008包括在所述电子设备1000和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括前置摄像头和/或后置摄像头。当电子设备1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括麦克风(MIC)，当电子设备1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括扬声器，用于输出音频信号。

I/O接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1014包括一个或多个传感器，用于为电子设备1000提供各个方面的状态评估。例如，传感器组件1014可以检测到电子设备1000的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1000的显示器和小键盘，传感器组件1014还可以检测电子设备1000或电子设备1000组件的位置改变，用户与电子设备1000接触的存在或不存在，设备1000方位或加速/减速和电子设备1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件1016被配置为便于电子设备1000和其他设备之间有线或无线方式的通信。电子设备1000可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1016还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在一示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1004，上述指令可由电子设备1000的处理器1020执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在一示例性实施例中，还提供了一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备1000的处理器1020执行以完成上述方法。

需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像分割方法，其特征在于，包括：

对待检测图像进行目标检测，得到所述待检测图像中各目标对象对应的候选框和所述候选框的置信信息；所述置信信息用于表示所述候选框中的对象为显著性前景对象的置信概率；

根据所述候选框的置信信息，从所述候选框中确定出目标候选框；

将所述目标候选框对应的区域图像输入训练完成的图像分割网络，得到分割出的对象图像，作为所述待检测图像的图像分割结果。

2.根据权利要求1所述的方法，其特征在于，所述对待检测图像进行目标检测，得到所述待检测图像中各目标对象对应的候选框和所述候选框的置信信息，包括：

通过多尺度特征图对所述待检测图像进行目标检测，得到所述待检测图像中各目标对象对应的候选框；

提取所述候选框所对应的区域图像的高层特征信息和低层特征信息，并对所述高层特征信息和所述低层特征信息进行特征融合处理，得到所述候选框的置信信息；所述高层特征信息为所述区域图像的抽象的语义信息，所述低层特征信息为所述区域图像的视觉可见的信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述候选框的置信信息，从所述候选框中确定出目标候选框，包括：

将所述候选框的置信信息与预设阈值进行比对；

当所述候选框的置信信息大于预设阈值时，确定所述候选框为所述目标候选框。

4.根据权利要求1所述的方法，其特征在于，所述训练完成的图像分割网络通过下述训练方式进行训练，包括：

获取样本图像；所述样本图像携带有显著性标注信息；

基于待训练的图像分割网络对所述样本图像的分割结果与所述显著性标注信息之间的第一损失值，从所述样本图像中筛选出目标样本；所述目标样本对应的所述第一损失值大于损失阈值；

增大所述目标样本在所述样本图像中的训练占比，得到所述目标样本的第一训练占比和其他样本的第二训练占比；所述其他样本为所述样本图像中除所述目标样本之外的样本图像；

按照所述第一训练占比和所述第二训练占比，采用所述目标样本和所述其他样本对所述待训练的图像分割网络进行训练，得到所述图像分割网络。

5.根据权利要求4所述的方法，其特征在于，所述获取样本图像，包括：

获取初始样本图像；所述初始样本图像中包括显著性标注信息存在缺陷的缺陷样本图像；

基于所述初始样本图像中对象的位置，对所述初始样本图像进行样本扩增处理，得到对应的扩增样本图像；

对所述缺陷样本图像所携带的显著性标注信息进行数据优化处理，得到对应的优化样本图像；

根据所述扩增样本图像和所述优化样本图像，得到所述样本图像。

6.根据权利要求5所述的方法，其特征在于，所述训练完成的图像分割网络还通过下述训练方式进行训练，包括：

获取同一样本图像的第一扩增图像和第二扩增图像；

获取所述待训练的图像分割网络对所述第一扩增图像的第一分割结果和对所述第二扩增图像的第二分割结果；

基于所述第一分割结果和所述第二分割结果之间的第二损失值，对所述待训练的图像分割网络进行训练，得到所述图像分割网络。

7.一种图像分割装置，其特征在于，包括：

检测单元，被配置为执行对待检测图像进行目标检测，得到所述待检测图像中各目标对象对应的候选框和所述候选框的置信信息；所述置信信息用于表示所述候选框中的对象为显著性前景对象的置信概率；

确定单元，被配置为执行根据所述候选框的置信信息，从所述候选框中确定出目标候选框；

分割单元，被配置为执行将所述目标候选框对应的区域图像输入训练完成的图像分割网络，得到分割出的对象图像，作为所述待检测图像的图像分割结果。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像分割方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像分割方法。

10.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像分割方法。

Images