CN117953213A - 目标分割方法、电子设备以及存储介质 - Google Patents

Abstract

本申请实施例提供一种目标分割方法、电子设备以及存储介质。方法包括：获取待处理图像；将待处理图像输入到经训练的第一分割模型中，以获得第一分割模型输出的第一分割结果；将第一分割结果输入到经训练的第二分割模型中，以获得第二分割模型输出的目标分割结果，其中，第二分割模型至少基于边缘损失函数训练得到。该方案有助于降低边缘信息的损失，使目标分割结果中显示出较为清晰的边缘。

Description

目标分割方法、电子设备以及存储介质

技术领域

本申请涉及图像处理技术领域，更具体地涉及一种目标分割方法、一种电子设备以及一种存储介质。

背景技术

语义分割是计算机视觉中很重要的一个方向。不同于目标检测和目标识别，语义分割实现的是图像像素级别的分类。它能够将一张图片或者视频，按照类别的异同，将图像分为多个块。

相关技术中，基于深度学习的语义分割方法评价指标一般采用平均交并比，即以平均交并比作为价值函数(也可以称为损失函数)引导网络参数更新。但是，这种方式会忽略掉图像的边缘信息，导致输出的分割结果的边缘比较模糊，影响了用户的使用。

发明内容

考虑到上述问题而提出了本申请。本申请提供了一种目标分割方法，包括：获取待处理图像；将待处理图像输入到经训练的第一分割模型中，以获得第一分割模型输出的第一分割结果；将第一分割结果输入到经训练的第二分割模型中，以获得第二分割模型输出的目标分割结果，其中，第二分割模型至少基于边缘损失函数训练得到。

该方案有助于使目标分割结果中显示出较为清晰的边缘。由此，在对边缘信息要求较高的场景中进行应用时，得到的分割结果可以满足用户的使用需求，从而有助于提高用户的使用体验。

示例性地，第二分割模型通过以下第一模型训练操作训练得到：获取第一样本图像；将第一样本图像输入到经训练的第一分割模型中，以获得与第一样本图像对应的第一样本分割结果；将第一样本分割结果输入待训练的第二分割模型中，以获得第二样本分割结果；基于第一样本图像和第二样本分割结果，计算边缘损失值；至少基于边缘损失值，优化第二分割模型的参数，以获得经训练的第二分割模型。

该方案通过至少基于边缘损失值，优化第二分割模型的参数，可以对第二分割模型进行针对图像边缘的训练，从而减小图像分割时边缘信息的损失。

示例性地，第二分割模型至少基于边缘损失函数和结构相似性损失函数训练得到；第一模型训练操作还包括：基于第一样本图像和第二样本分割结果，计算结构相似性损失值；至少基于边缘损失值，优化第二分割模型的参数，包括：至少基于边缘损失值和结构相似性损失值，优化第二分割模型的参数。

上述方案通过结合边缘损失值和结构相似性损失值对第二分割模型进行优化，有助于在保证目标分割结果具有清晰的边缘的基础上，进一步提高分割质量，从而有助于提高用户的使用体验。

示例性地，第二分割模型包括多个级联的第一特征提取模块；第一模型训练操作还包括：对于多个第一特征提取模块中的每个第一特征提取模块，将该第一特征提取模块的输入特征进行采样，以获得与该第一特征提取模块的上一第一特征提取模块的输出特征尺度相同的采样特征；计算采样特征与上一第一特征提取模块的输出特征间的第一差异值；基于第一差异值，优化第二分割模型的参数。

上述技术方案通过利用自监督学习的方式对第二分割模型进行优化，可以进一步提高第二分割模型对图像中的细节的捕捉效果。该方案有助于提高目标分割结果的准确度。

示例性地，第二分割模型包括多个级联的特征提取模块；将第一分割结果输入到经训练的第二分割模型中，以获得第二分割模型输出的目标分割结果，包括：对于多个特征提取模块的每个特征提取模块，将该特征提取模块的输入特征分别沿八个不同方向进行信息叠加，以获得与八个方向一一对应的八个叠加特征；将八个叠加特征进行归一化处理，以获得该特征提取模块的输出特征；其中，多个特征提取模块中的第一个特征提取模块的输入特征为第一分割结果，多个特征提取模块中除第一个特征提取模块外的每个特征提取模块的输入特征通过对该特征提取模块的上一特征提取模块的输出特征进行采样得到，多个特征提取模块中的最后一个特征提取模块的输出特征为目标分割结果。

上述技术方案通过利用八个不同方向进行信息叠加的方式，有助于提高第二分割模型对边缘特征的学习能力，从而有助于更好地提高第二分割模型对图像中的细节的捕捉效果。总之，该方案有助于进一步提高目标分割结果中边缘的清晰程度。

示例性地，第一分割模型通过以下第二模型训练操作训练得到：获取第二样本图像；将第二样本图像输入到经训练的第一分割模型中，以获得与第二样本图像对应的第三样本分割结果；基于第二样本图像和第三样本分割结果，计算平均交并比损失值；至少基于平均交并比损失值，优化第一分割模型的参数，以获得经训练的第一分割模型。

上述方案通过利用平均交并比损失值对第一分割模型进行优化，可以使第一分割模型具有较好的分割精度。该方案有助于进一步提高目标分割的分割精度。

示例性地，第一分割模型包括多个级联的第二特征提取模块；第二模型训练操作还包括：对于多个第二特征提取模块中的每个第二特征提取模块，将该第二特征提取模块的输入特征进行采样，以获得与该第二特征提取模块的上一第二特征提取模块的输出特征尺度相同的采样特征；计算采样特征与上一第二特征提取模块的输出特征间的第二差异值；基于第二差异值，优化第一分割模型的参数。

上述技术方案通过利用自监督学习的方式对第一分割模型进行优化，可以进一步提高第一分割模型对图像中的细节的捕捉效果。该方案有助于提高第一分割结果的准确度。

示例性地，在将待处理图像输入到经训练的第一分割模型中之前，方法还包括：对待处理图像执行边缘增强操作，以获得增强后的待处理图像；将待处理图像输入到经训练的第一分割模型中，包括：将增强后的待处理图像输入到经训练的第一分割模型中。

该方案有助于进一步降低目标分割过程中边缘信息的损失，从而有助于进一步提高目标分割结果中的边缘的清晰程度。

根据本申请的另一方面，提供了一种电子设备，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述的目标分割方法。

该方案有助于使目标分割结果中显示出较为清晰的边缘。由此，在对边缘信息要求较高的场景中进行应用时，得到的分割结果可以满足用户的使用需求，从而有助于提高用户的使用体验。

根据本申请的再一方面，提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述的目标分割方法。

该方案有助于使目标分割结果中显示出较为清晰的边缘。由此，在对边缘信息要求较高的场景中进行应用时，得到的分割结果可以满足用户的使用需求，从而有助于提高用户的使用体验。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出根据本申请一个实施例的目标分割方法的示意性流程图；

图2示出了根据本申请一个实施例的第二分割模型的示意图；

图3示出相关技术中的一个实施例的信息叠加的示意图；

图4示出根据本申请一个实施例的信息叠加的示意图；

图5示出根据本申请一个实施例的第一分割模型的示意图；

图6示出根据本申请一个具体实施例的目标分割方法的示意图；

图7示出了根据本申请实施例的电子设备的示意性框图。

具体实施方式

为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。

语义分割是计算机视觉中很重要的一个方向。相关技术中，基于深度学习的语义分割方法评价指标一般采用平均交并比，即以平均交并比作为价值函数引导网络参数更新。但是，这种方式会忽略掉图像的边缘信息，导致输出的分割结果的边缘比较模糊。例如，对于很细的裂纹分割的任务，在采用这种方式进行裂纹分割时，裂纹边缘会呈现锯齿状。可以理解，在诸如医学等领域中，分割结果中的边缘信息至关重要。以医学领域为例，在该领域中，可以根据分割结果中的边缘信息清晰地定位目标区域(例如病变区域)的位置和大小，进而辅助医师进行诊断。总之，在一些对边缘信息要求较高的场景中，相关技术中的语义分割方法无法满足用户需求，影响了用户的使用。有鉴于此，本申请提供了一种目标分割方法、一种电子设备和一种存储介质。该目标分割方法可以提高对边缘的分割效果，有助于提高分割结果中的边缘的清晰程度。该目标分割方法、电子设备和存储介质在下文详细描述。

根据本申请的一个方面，提供一种目标分割方法。图1示出根据本申请一个实施例的目标分割方法的示意性流程图。如图1所示，该方法100可以包括但不限于以下步骤S110、步骤S120和步骤S130。

在步骤S110，获取待处理图像。

示例性地，待处理图像中包括目标对象。目标对象可以是任意物体，包括但不限于人或人的一部分(例如人脸等)、动物、车辆、建筑物等等。可选地，待处理图像可以是任何合适的包含目标对象的图像。待处理图像可以是图像采集装置采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。

可选地，待处理图像可以是图像采集装置采集到的原始图像。根据本申请实施例，可以采用任何现有的或者未来研发的图像采集装置获取待处理图像。该图像采集装置可以例如为相机、具有拍照功能的移动终端等。

可选地，待处理图像可以是对原始图像进行预处理之后获得的图像。该预处理操作可以是任何用以后续分割模型的输入要求的预处理操作，可以包括为了改善图像的视觉效果，提高图像的清晰度，或是突出图像中的某些特征等便于对待处理图像进行图像分割的所有操作。可选地，预处理操作可以包括滤波等去噪操作，也可以包括图像参数的调整，如增强图像的灰度、对比度、亮度等。替代地，预处理操作可以包括对待处理图像的像素归一化处理。例如，可以将待处理图像的每个像素均除以255，以使预处理后的待处理图像的像素处于[0,1]的范围内。这有助于提高后续步骤的效率。

可选地，预处理操作还可以包括裁剪图像、删除图像等操作。例如，可以将原始图像裁剪为模型需求的大小，还可以删除不满足图像质量要求的原始图像，以获得满足图像质量要求的待处理图像等。

可选地，预处理操作还可以包括利用目标检测的方式在原始图像中提取待处理图像。示例性地，获取待处理图像，可以包括以下步骤：获取包含目标对象的初始图像；对初始图像进行目标检测，以确定目标对象的目标检测结果；基于目标检测结果从初始图像中提取包含目标对象的图像块，以获得待处理图像。可选地，可以利用现有的或将来研发的任意一种目标检测方法对初始图像进行目标检测。例如，可以利用基于灰度的图像分割法来确定初始图像中的目标对象的位置，具体例如大津阈值法等。又例如，可以利用经训练的目标检测模型，确定初始图像中的目标对象的位置。该方案通过对初始图像进行目标检测，并将基于目标检测结果从初始图像中提取包含目标对象的图像块作为待处理图像，由此，有助于减少待处理图像中的无关信息，从而有助于提高后续步骤中对待处理图像的处理效率。

示例性地，对初始图像进行目标检测，以确定目标对象的目标检测结果，包括：将初始图像输入目标检测模型，以获得目标检测结果。可选地，该目标检测模型可以是现有的或将来研发的任意一种用于进行目标检测的神经网络模型。例如，该目标检测模型可以是基于卷积神经网络(CNN)构建得到的神经网络模型。又例如，该目标检测模型可以是基于Transformer架构的神经网络模型。该示例的方案通过利用目标检测模型，可以快速且准确地获得初始图像的目标检测结果。该方案有助于进一步提高图像处理效率。

示例性地，待处理图像的数目可以是1张也可以是多张。可选地，待处理图像的数目为1张，例如每次仅获取一张待处理图像。替代地，待处理图像的数目可以为多张，例如10张、500张，可以一次性获取多张待处理图像，然后将其一次性输入后续的第一分割模型中进行图像分割。

示例性地，待处理图像可以是黑白图像，也可以是彩色图像。示例性地，待处理图像可以是任意尺寸或分辨率大小的图像。替代地，待处理图像也可以是满足预设分辨率要求的图像。在一个示例中，待处理图像可以是具有512*512像素大小的黑白图像。对于待处理图像的要求可以基于实际的图像分割需求、图像采集装置的硬件条件以及模型(例如下文的第一分割模型)对输入图像的要求等进行设置，本申请不对其进行限制。

在步骤S120，将待处理图像输入到经训练的第一分割模型中，以获得第一分割模型输出的第一分割结果。

可选地，第一分割模型可以采用现有的或将来研发的任意一种语义分割模型。例如，该语义分割模型可以包括但不限于U型卷积神经网络(U-net)模型、全卷积神经网络(Fully Convolutional Networks，FCN)模型、DeepLab模型、沙漏模型等中的一种或多种。在一个具体的实施例中，该第一分割模型可以是沙漏模型。在该实施例中，通过采用沙漏模型作为第一分割模型，有助于使得第一分割结果中既包含丰富的语义信息，也包含由于不断降采样而丢失的底层细节信息，从而有助于提高图像分割效果。

可选地，第一分割结果可以采用掩膜图像表示。在一些实施例中，在第一分割结果对应的掩膜图像中，可以将除目标对象外的其他像素的像素值归一化为第一特定颜色(例如黑色)，并利用第二特定颜色(例如红色)的掩膜覆盖目标对象，该第一特定颜色与第二特定颜色不同。进一步地，在掩膜图像中，还可以可选地将目标对象的边缘区域归一化为第三特定颜色(例如白色)，以突出显示目标对象的边缘。其中，第三特定颜色与第一特定颜色、第二特定颜色均不同。

在步骤S130，将第一分割结果输入到经训练的第二分割模型中，以获得第二分割模型输出的目标分割结果，其中，第二分割模型至少基于边缘损失函数训练得到。

与第一分割模型类似，第二分割模型也可以采用现有的或将来研发的任意一种语义分割模型。在一个具体的实施例中，第二分割模型可以采用沙漏模型。

在本示例的方案中，第二分割模型至少基于边缘损失函数训练得到。如上文所述，以平均交并比作为价值函数引导网络参数更新的方式会忽略掉图像的边缘信息，导致输出的分割结果的边缘比较模糊。在本示例的方案中，通过至少基于边缘损失(edge loss)函数对第二分割模型进行训练，可以提高第二分割模型对于边缘的分割效果，从而有助于保证目标分割结果中的边缘的清晰程度。

在本示例的方案中，依次采用第一分割模型和第二分割模型对待处理图像进行目标分割，一方面，通过两个分割模型进行两次目标分割，有助于提高分割结果的准确性；另一方面，利用至少基于边缘损失函数训练得到的第二分割模型执行第二次目标分割，有助于提高对于边缘的分割效果，降低边缘信息的损失，提高目标分割结果中的边缘的清晰程度。具体而言，该方案通过第一分割模型对待处理图像进行第一次目标分割，可以对待处理图像进行粗粒度的处理，得到较为粗略的分割结果，从而减少第二分割模型需要处理的信息量，缩短处理时间。该方案通过将该第一分割结果输入到第二分割模型进行第二次目标分割，可以提高分割结果中对边缘的分割精度，且可以对第一分割结果进行细粒度的处理，有助于得到较为精确的分割结果。总之，该方案有助于使目标分割结果中显示出较为清晰的边缘。由此，在对边缘信息要求较高的场景中进行应用时，得到的分割结果可以满足用户的使用需求，从而有助于提高用户的使用体验。

示例性地，第二分割模型通过以下第一模型训练操作训练得到：获取第一样本图像；将第一样本图像输入到经训练的第一分割模型中，以获得与第一样本图像对应的第一样本分割结果；将第一样本分割结果输入待训练的第二分割模型中，以获得第二样本分割结果；基于第一样本图像和第二样本分割结果，计算边缘损失值；至少基于边缘损失值，优化第二分割模型的参数，以获得经训练的第二分割模型。该优化步骤可以简称为第一损失函数训练步骤。

可选地，第一样本图像可以采用现有的或将来研发的任意一种图像获取方法得到。例如，可以通过人工拍摄目标对象的图像，并将拍摄得到的图像作为样本图像。又例如，可以通过网络爬虫获取目标对象的第一样本图像。

可选地，第一样本图像中的样本对象可以与待处理图像中的目标对象不同。在该实施例中，第一样本图像的数量可以是多个。多个第一样本图像各自对应的样本对象可以不同。在该实施例中，通过利用包括不同样本对象的多个第一样本图像对第二分割模型进行训练，可以提高第二分割模型对不同目标对象的分割能力，从而可以使该第二分割模型对不同目标对象进行目标分割时，均具有较好的分割精度。

可选地，第一样本图像中的样本对象可以与待处理图像中的目标对象相同。在该实施例中，第一样本图像中包括与目标对象相同的样本对象。由此，经该第一样本图像训练得到的第二分割模型可以具有对特定目标对象的良好的分割精度。

可选地，第一样本图像上包括用于指示目标对象的位置以及目标对象的边缘位置的样本图像信息。该样本图像信息可以由用户通过手动标注得到。基于第一样本图像和第二样本分割结果，计算边缘损失值，可以包括以下步骤：将标注后的第一样本图像和第二样本分割结果代入边缘损失函数，以计算边缘损失值。

可以理解，相比于第一样本分割结果，第一样本图像中的边缘信息更加准确。在该示例的方案中，基于第一样本图像和第二样本分割结果，计算边缘损失值，可以使第二分割模型更为准确地学习第一样本图像中的边缘，从而有助于提高第二分割模型对边缘的分割精度。总之，该方案通过至少基于边缘损失值，优化第二分割模型的参数，可以对第二分割模型进行针对图像边缘的训练，从而减小图像分割时边缘信息的损失。

示例性地，第二分割模型至少基于边缘损失函数和结构相似性损失函数训练得到；第一模型训练操作还包括：基于第一样本图像和第二样本分割结果，计算结构相似性损失值。至少基于边缘损失值，优化第二分割模型的参数，包括：至少基于边缘损失值和结构相似性损失值，优化第二分割模型的参数。

可选地，基于第一样本图像和第二样本分割结果，计算结构相似性损失值，可以包括以下步骤：将第一样本图像和第二样本分割结果代入结构相似性损失函数中，以计算结构相似性损失值。

可选地，在得到结构相似性损失(ssim loss)值后，可以基于边缘损失值和结构相似性损失值，对第二分割模型的参数进行优化。至少基于边缘损失值和结构相似性损失值，优化第二分割模型的参数，可以包括以下步骤：基于边缘损失值和结构相似性损失值，确定总分割损失；基于总损失值，优化第二分割模型的参数。在该实施例中，边缘损失值可以以loss₁表示，结构相似性损失值可以以loss₂表示，总分割损失loss＝α*loss₁+β*loss₂，其中，α和β为加权系数，α和β可以根据用户需要设置。

可选地，除边缘损失函数和结构相似性损失函数外，第二分割模型还可以基于诸如平均交并比价值函数、交叉熵损失函数等中的至少一种损失函数进行训练，以进一步提高分割精度。

上述方案通过结合边缘损失值和结构相似性损失值对第二分割模型进行优化，有助于在保证目标分割结果具有清晰的边缘的基础上，进一步提高分割质量，从而有助于提高用户的使用体验。

示例性地，第二分割模型至少基于边缘损失函数、结构相似性损失函数和平均交并比价值函数训练得到；第一模型训练操作还包括：将第一样本图像和第二样本分割结果代入平均交并比价值函数中，以计算平均交并比损失值。至少基于边缘损失值，优化第二分割模型的参数，包括：至少基于边缘损失值、结构相似性损失值和平均交并比损失值，优化第二分割模型的参数。

可选地，在得到结构相似性损失值后，可以基于边缘损失值、结构相似性损失值和平均交并比损失值，对第二分割模型的参数进行优化。至少基于边缘损失值、结构相似性损失值和平均交并比损失值，优化第二分割模型的参数，可以包括以下步骤：基于边缘损失值、结构相似性损失值和平均交并比损失值，确定总分割损失；基于总损失值，优化第二分割模型的参数。在该实施例中，边缘损失值可以以loss₁表示，结构相似性损失值可以以loss₂表示，平均交并比损失值可以以loss₃表示。总分割损失loss＝α*loss₁+β*loss₂+γ*loss₃，其中，α、β和γ为加权系数，α、β和γ均可以根据用户需要设置。

上述方案通过结合平均交并比损失值、边缘损失值和结构相似性损失值对第二分割模型进行优化，有助于进一步提高分割质量和目标分割效果。

示例性地，第二分割模型包括多个级联的第一特征提取模块；第一模型训练操作还包括：对于多个第一特征提取模块中的每个第一特征提取模块，将该第一特征提取模块的输入特征进行采样，以获得与该第一特征提取模块的上一第一特征提取模块的输出特征尺度相同的采样特征；计算采样特征与上一第一特征提取模块的输出特征间的第一差异值；基于第一差异值，优化第二分割模型的参数。该步骤可以简称为第一自监督学习步骤。

第一特征提取模块的数量可以根据需要设置，本申请不对第一特征模块的具体数量进行限制。

图2示出了根据本申请一个实施例的第二分割模型的示意图。在该实施例中，第二分割模型为沙漏模型。第一特征提取模块的数量为5个，由右至左依次为A₁、B₁、C₁、D₁、E₁。如图2所示，可以将第一分割结果输入至A₁中，并经过两次下采样(A₁至B₁、B₁至C₁)以及两次上采样(C₁至D₁，D₁至E₁)后，得到目标分割结果。如图2中带箭头的实线所示，在下采样过程中，可以在相同尺度的特征映射图(即第一特征提取模块对应的特征图像)之间做维度上的融合操作和1*1的卷积操作。同时为进一步提高分割效果，可以利用相邻两个第一特征提取模块进行自监督学习。如图2中带箭头的虚线所示，可以在较后面的特征映射图尺度上进行上/下采样来和前一层的特征映射图尺度相匹配，从而作为前一层的标签进行自监督学习。在该过程中，可以该第一特征提取模块的输入特征进行采样，以获得与该第一特征提取模块的上一第一特征提取模块的输出特征尺度相同的采样特征，并计算采样特征与上一第一特征提取模块的输出特征间的第一差异值，以基于该第一差异值优化第二分割模型的参数。

可选地，第一自监督训练步骤在基于第一损失函数训练步骤进行训练的次数达到预设次数后执行。在本实施例的方案中，在基于第一损失函数训练步骤进行的训练次数(epoch)达到预设次数n后，再执行第一自监督训练步骤。可以理解，在epoch＝n之后，各个第一特征提取模块对应的特征图像的语义信息可信度较高。由此，可以保证自监督学习的效果，提高自监督学习的效率。预设次数n可以根据需要设置。在一个实施例中，n≥30。

上述技术方案通过利用自监督学习的方式对第二分割模型进行优化，可以进一步提高第二分割模型对图像中的细节的捕捉效果。该方案有助于提高目标分割结果的准确度。

示例性地，第二分割模型包括多个级联的特征提取模块；将第一分割结果输入到经训练的第二分割模型中，以获得第二分割模型输出的目标分割结果，包括：对于多个特征提取模块的每个特征提取模块，将该特征提取模块的输入特征分别沿八个不同方向进行信息叠加，以获得与八个方向一一对应的八个叠加特征；将八个叠加特征进行归一化处理，以获得该特征提取模块的输出特征；其中，多个特征提取模块中的第一个特征提取模块的输入特征为第一分割结果，多个特征提取模块中除第一个特征提取模块外的每个特征提取模块的输入特征通过对该特征提取模块的上一特征提取模块的输出特征进行采样得到，多个特征提取模块中的最后一个特征提取模块的输出特征为目标分割结果。

可选地，对于任意一个特征提取模块对应的图像特征(包括输入特征和输出特征)，该特征的维度可以表示为c*w*h。其中，c为图像特征的通道数量，w为图像特征的宽，h为图像特征的高。八个不同方向可以包括上、下、左、右、左上、右上、左下、右下。沿左方向进行信息叠加表示沿c方向向左进行信息叠加。沿右方向进行信息叠加表示沿c方向向右进行信息叠加。沿上方向进行信息叠加表示沿h方向向上进行信息叠加。沿下方向进行信息叠加表示沿h方向向下进行信息叠加。沿左上方向进行信息叠加表示分别沿c方向向左以及沿h方向向上进行信息叠加。沿左下方向进行信息叠加表示分别沿c方向向左以及沿h方向向下进行信息叠加。沿右上方向进行信息叠加表示分别沿c方向向右以及沿h方向向上进行信息叠加。沿右下方向进行信息叠加表示分别沿c方向向右以及沿h方向向下进行信息叠加。以沿上方向进行叠加为例对信息叠加的具体过程进行说明。在该实施例中，可以将输入特征分割为h个切片，然后将第一个切片输入到尺寸为c×w的卷积层，其中w是核宽度。该卷积层的输出被添加到下一个切片以提供一个新的切片。然后，新的切片被发送到下一个卷积层，循环上述步骤，直到最后一个切片被更新，由此，完成沿上方向的信息叠加。

可以理解，方向为左上方向、右上方向、左下方向、右下方向中的任意一个时，该方向均可以分为两个方向。例如，左上方向可以分解为左方向和上方向。可选地，在方向为左上方向、右上方向、左下方向、右下方向中的任意一个时，在进行信息叠加时，可以先沿其中任意一个方向进行信息叠加，以获得中间叠加特征，然后将中间叠加特征沿另外一个方向进行信息叠加，以获得最终的叠加特征。例如，在方向为右上方向时，可以先沿c方向向右进行信息叠加，以获得中间输出特征，然后将中间输出特征沿h方向向上进行信息叠加，以获得沿右上方向进行信息叠加的叠加特征。又例如，在方向为右上方向时，可以先沿h方向向上进行信息叠加，以获得中间输出特征，然后将中间输出特征沿c方向向右进行信息叠加，以获得沿右上方向进行信息叠加的叠加特征。

在相关技术中，信息叠加通常采用固定顺序沿4个方向依次进行信息叠加。图3示出相关技术中的一个实施例的信息叠加的示意图。在该实施例中，信息叠加过程包括4个方向(上、下、左、右)的信息叠加。如图3所示，首先，将输入特征沿下方向进行信息叠加。然后，将沿下方向进行信息叠加得到的叠加特征沿上方向进行信息叠加。接着，将沿上方向进行信息叠加得到的叠加特征沿右方向进行信息叠加。最后，将沿右方向进行信息叠加得到的叠加特征沿左方向进行信息叠加，所得到的叠加特征经归一化后即可得到输出特征。这种方式的归一化会弱化先前方向做的信息传递，如果竖直方向的信息占据主导地位，并且竖直方向信息传递在较前位置的话，网络学习竖直方向的信息会很耗费时间，信息模块在这个顺序上加入了无意的“先验”信息，反而对网络学习增加了难度。有鉴于此，本申请在信息叠加时采用八个不同方向分别进行信息叠加后再进行归一化，直接把八个方向输出的叠加特征融合，且八个方向的权重相同。由此，可以避免对某一方向的方向信息的弱化，有助于简化网络学习的难度。且该方法没有设置对某一方向的偏好，因此可以在训练过程中让网络学习具体任务的偏好，由此，有助于满足不同目标分割任务的需求。

图4示出根据本申请一个实施例的信息叠加的示意图。如图4所示，可以分别沿上、下、左、右、左上、右上、左下、右下进行信息叠加。然后将该八个方向各自进行信息叠加得到的叠加特征进行归一化，以直接将八个方向各自对应的叠加特征融合，并使用卷积操作，以使该特征提取模块的输入特征和输出特征具有相同的尺度。由此，可以得到该特征提取模块的输出特征。

上述技术方案通过利用八个不同方向进行信息叠加的方式，有助于提高第二分割模型对边缘特征的学习能力，从而有助于更好地提高第二分割模型对图像中的细节的捕捉效果。总之，该方案有助于进一步提高目标分割结果中边缘的清晰程度。

示例性地，第一分割模型通过以下第二模型训练操作训练得到：获取第二样本图像；将第二样本图像输入到经训练的第一分割模型中，以获得与第二样本图像对应的第三样本分割结果；基于第二样本图像和第三样本分割结果，计算平均交并比损失值；至少基于平均交并比损失值，优化第一分割模型的参数，以获得经训练的第一分割模型。该步骤可以简称为第二损失函数训练步骤。

与第一样本图像类似，第二样本图像也可以采用现有的或将来研发的任意一种图像获取方法得到。可选地，第一样本图像和第二样本图像可以采用相同的图像。在该实施例中，可以首先利用第二样本图像对第一分割模型进行训练，以获得经训练的第一分割模型。在对第一分割模型训练完成后，可以将第二样本图像作为第一样本图像对第二分割模型进行训练，以获得第二分割模型。该实施例中可以重复利用采样得到的样本图像，有利于提高模型训练效率。可选地，第一样本图像和第二样本图像可以为不同图像。在该实施例中，可以分别获取第一样本图像和第二样本图像，以分别对第一分割模型和第二分割模型进行训练。

与第一样本图像类似，第二样本图像中的样本对象可以与待处理图像中的目标对象相同，也可以与待处理图像中的目标对象不同，不赘述。

可选地，基于第二样本图像和第三样本分割结果，计算平均交并比损失值，可以包括以下步骤：将该第二样本图像与第三样本分割结果代入平均交并比价值函数，以计算平均交并比损失值。

可选地，除平均交并比价值函数外，第一分割模型还可以采用诸如交叉熵损失函数等进行训练，以进一步提高分割精度。

在上述采用平均交并比损失函数训练第二分割模型的实施例中，与第二分割模型对应的平均交并比损失阈值小于与第一分割模型对应的平均交并比损失阈值。由此，在依次采用第一分割模型和第二分割模型对待处理图像进行目标分割时，可以逐渐最小化平均交并比。该方案有助于进一步提高目标分割结果的精度。

上述方案通过利用平均交并比损失值对第一分割模型进行优化，可以使第一分割模型具有较好的分割精度。该方案有助于进一步提高目标分割的分割精度。

示例性地，第一分割模型包括多个级联的第二特征提取模块；第二模型训练操作还包括：对于多个第二特征提取模块中的每个第二特征提取模块，将该第二特征提取模块的输入特征进行采样，以获得与该第二特征提取模块的上一第二特征提取模块的输出特征尺度相同的采样特征；计算采样特征与上一第二特征提取模块的输出特征间的第二差异值；基于第二差异值，优化第一分割模型的参数。该步骤可以简称为第二自监督学习步骤。

第二特征提取模块的数量可以根据需要设置，本申请不对第二特征模块的具体数量进行限制。

图5示出根据本申请一个实施例的第一分割模型的示意图。在该实施例中，第一分割模型为沙漏模型。第二特征提取模块的数量为5个，由左至右依次为A₂、B₂、C₂、D₂、E₂。如图5所示，可以将待处理图像输入至A₂中，并经过两次下采样(A₂至B₂、B₂至C₂)以及两次上采样(C₂至D₂，D₂至E₂)后，得到第一分割结果。如图5中带箭头的实线所示，在下采样过程中，可以在相同尺度的特征映射图(即第二特征提取模块对应的特征图像)之间做维度上的融合操作和1*1的卷积操作。同时为进一步提高分割效果，可以利用相邻两个第二特征提取模块进行自监督学习。如图5中带箭头的虚线所示，可以在较后面的特征映射图尺度上进行上/下采样来和前一层的特征映射图尺度相匹配，从而作为前一层的标签进行自监督学习。在该过程中，可以该第二特征提取模块的输入特征进行采样，以获得与该第二特征提取模块的上一第二特征提取模块的输出特征尺度相同的采样特征，并计算采样特征与上一第二特征提取模块的输出特征间的第二差异值，以基于该第二差异值优化第一分割模型的参数。

可选地，第二自监督训练步骤在基于第二损失函数训练步骤进行训练的次数达到预设次数后执行。在本实施例的方案中，在基于第二损失函数训练步骤进行的训练次数(epoch)达到预设次数n后，再执行第二自监督训练步骤。可以理解，在epoch＝n之后，各个第二特征提取模块对应的特征图像的语义信息可信度较高。由此，可以保证自监督学习的效果，提高自监督学习的效率。预设次数n可以根据需要设置。在一个实施例中，n≥30。

上述技术方案通过利用自监督学习的方式对第一分割模型进行优化，可以进一步提高第一分割模型对图像中的细节的捕捉效果。该方案有助于提高第一分割结果的准确度。

图6示出根据本申请一个具体实施例的目标分割方法的示意图。如图6所示，该目标分割方法包括第一次目标分割(step1)和第二次目标分割(step2)。在step1，将待处理图像输入至第一分割模型，以获得中间结果(intermediate results)。其中，该第一分割模型可以基于分割损失(segmentation loss)函数训练得到。该分割损失函数可以是平均交并比价值函数或交叉熵损失函数。该中间结果即为第一分割结果。在step2，可以将中间结果输入至第二分割模型，以获得预测(predict)结果。其中，该第二分割模型可以基于分割损失(segmentation loss)函数、边缘损失(edge loss)函数和结构相似性损失(ssim loss)函数训练得到。

示例性地，在将待处理图像输入到经训练的第一分割模型中之前，方法还包括：对待处理图像执行边缘增强操作，以获得增强后的待处理图像。将待处理图像输入到经训练的第一分割模型中，包括：将增强后的待处理图像输入到经训练的第一分割模型中。

可选地，可以采用现有的或将来研发的任意一种用于增强图像中的边缘信息的数据增强方法对待处理图像执行边缘增强操作。该数据增强方法可以包括以下方法中的一种或多种：超像素增强、锐化、边缘检测、浮雕等。在示例的方案中，通过对待处理图像执行边缘增强操作，可以增大待处理图像中边缘信息的权重，从而在后续的目标分割过程中，可以尽可能避免边缘信息被忽略。总之，该方案有助于进一步降低目标分割过程中边缘信息的损失，从而有助于进一步提高目标分割结果中的边缘的清晰程度。

根据本申请的又一方面，还提供了一种电子设备。图7示出了根据本申请实施例的电子设备的示意性框图。如图7所示，该电子设备700包括处理器710和存储器720，其中，存储器720中存储有计算机程序指令，计算机程序指令被处理器710运行时用于执行上述的目标分割方法。

可选地，处理器710可以包括任何合适的具有数据处理能力和/或指令执行能力的处理器件。例如，处理器可以采用可编程逻辑控制器(PLC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、中央处理单元(CPU)、专用的集成电路(ASIC)、微控制单元(MCU)和其它形式的处理单元中的一种或几种的组合来实现。

根据本申请的再一方面，还提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行本申请实施例的目标分割方法。所述存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

本领域普通技术人员通过阅读上文关于目标分割方法的相关描述，可以理解上述目标分割方法的具体实现方案，为了简洁，在此不再赘述。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其申请点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的电子设备中的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种目标分割方法，其特征在于，包括：

获取待处理图像；

将所述待处理图像输入到经训练的第一分割模型中，以获得所述第一分割模型输出的第一分割结果；

将所述第一分割结果输入到经训练的第二分割模型中，以获得所述第二分割模型输出的目标分割结果，其中，所述第二分割模型至少基于边缘损失函数训练得到。

2.根据权利要求1所述的目标分割方法，其特征在于，所述第二分割模型通过以下第一模型训练操作训练得到：

获取第一样本图像；

将所述第一样本图像输入到经训练的第一分割模型中，以获得与所述第一样本图像对应的第一样本分割结果；

将所述第一样本分割结果输入待训练的第二分割模型中，以获得第二样本分割结果；

基于所述第一样本图像和所述第二样本分割结果，计算边缘损失值；

至少基于所述边缘损失值，优化所述第二分割模型的参数，以获得经训练的第二分割模型。

3.根据权利要求2所述的目标分割方法，其特征在于，所述第二分割模型至少基于边缘损失函数和结构相似性损失函数训练得到；

所述第一模型训练操作还包括：

基于所述第一样本图像和所述第二样本分割结果，计算结构相似性损失值；

所述至少基于所述边缘损失值，优化所述第二分割模型的参数，包括：

至少基于所述边缘损失值和所述结构相似性损失值，优化所述第二分割模型的参数。

4.根据权利要求3所述的目标分割方法，其特征在于，所述第二分割模型包括多个级联的第一特征提取模块；所述第一模型训练操作还包括：

对于所述多个第一特征提取模块中的每个第一特征提取模块，

将该第一特征提取模块的输入特征进行采样，以获得与该第一特征提取模块的上一第一特征提取模块的输出特征尺度相同的采样特征；

计算所述采样特征与所述上一第一特征提取模块的输出特征间的第一差异值；

基于所述第一差异值，优化所述第二分割模型的参数。

5.根据权利要求1所述的目标分割方法，其特征在于，所述第二分割模型包括多个级联的特征提取模块；所述将所述第一分割结果输入到经训练的第二分割模型中，以获得所述第二分割模型输出的目标分割结果，包括：

对于所述多个特征提取模块的每个特征提取模块，

将该特征提取模块的输入特征分别沿八个不同方向进行信息叠加，以获得与所述八个方向一一对应的八个叠加特征；

将所述八个叠加特征进行归一化处理，以获得该特征提取模块的输出特征；

其中，所述多个特征提取模块中的第一个特征提取模块的输入特征为所述第一分割结果，所述多个特征提取模块中除所述第一个特征提取模块外的每个特征提取模块的输入特征通过对该特征提取模块的上一特征提取模块的输出特征进行采样得到，所述多个特征提取模块中的最后一个特征提取模块的输出特征为所述目标分割结果。

6.根据权利要求1所述的目标分割方法，其特征在于，所述第一分割模型通过以下第二模型训练操作训练得到：

获取第二样本图像；

将所述第二样本图像输入到经训练的第一分割模型中，以获得与所述第二样本图像对应的第三样本分割结果；

基于所述第二样本图像和所述第三样本分割结果，计算平均交并比损失值；

至少基于所述平均交并比损失值，优化所述第一分割模型的参数，以获得经训练的第一分割模型。

7.根据权利要求6所述的目标分割方法，其特征在于，所述第一分割模型包括多个级联的第二特征提取模块；所述第二模型训练操作还包括：

对于所述多个第二特征提取模块中的每个第二特征提取模块，

将该第二特征提取模块的输入特征进行采样，以获得与该第二特征提取模块的上一第二特征提取模块的输出特征尺度相同的采样特征；

计算所述采样特征与所述上一第二特征提取模块的输出特征间的第二差异值；

基于所述第二差异值，优化所述第一分割模型的参数。

8.根据权利要求1所述的目标分割方法，其特征在于，在将所述待处理图像输入到经训练的第一分割模型中之前，所述方法还包括：

对所述待处理图像执行边缘增强操作，以获得增强后的待处理图像；

所述将所述待处理图像输入到经训练的第一分割模型中，包括：

将所述增强后的待处理图像输入到经训练的第一分割模型中。

9.一种电子设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1-8任一项所述的目标分割方法。

10.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1-8任一项所述的目标分割方法。