CN113781491A - 图像分割模型的训练、图像分割方法及装置 - Google Patents

Abstract

本申请公开了一种图像分割模型的训练方法，包括：将已标注图像数据提供至初始分割模型，结合不同的初始设定参数训练初训分割模型；将未标注的图像数据提供至初训分割模型对应得到分割结果；对于分割结果相同的区域，则将该分割结果作为该图像区域的标注，将该图像区域以及标注提供给目标图像分割模型作为训练数据。本申请通过初训分割模型获得无标注的数据的分割结果，并通过判定分割结果来获取无标注的数据中分割结果相同的区域以及该图像区域的标注是可用于图像分割模型的数据，其可充分使用验证后的分割结果相同的图像区域以及该图像区域的标注进行明确的模型训练，提升了无标注数据的利用程度，从而也提升了训练图像分割模型的准确度。

Description

图像分割模型的训练、图像分割方法及装置

技术领域

本申请涉及计算机图像处理技术，具体涉及一种图像分割模型的训练方法，一种图像分割方法，一种图像分割模型的训练装置，一种图像分割装置，一种电子设备，以及一种计算机存储介质。

背景技术

在深度学习的图像分割技术中，常用的图像分割算法包括有监督图像分割算法和无监督图像分割算法，其中，有监督图像分割算法是指使用有标注的数据进行学习和训练图像分割算法；无监督图像分割算法是指使用无标注的数据进行学习和训练图像分割算法。但是在使用有标注的数据的过程中，标注数据却是一项耗费大量人力和时间的程序，需要该领域的技术人逐像素进行精细标注，时间成本高。而使用无标注数据由于其本身并没有精细标注的数据参与训练，因此训练出来的模型分割效果并不理想。

对此，半监督学习因其不需要耗时耗力进行大量标注数据集，且可以提供精细标注而被应用到深度学习的图像分割技术中。其中，半监督学习是指同时使用无标注的数据和有标注的数据进行学习和训练。对应于图像分割技术，半监督图像分割算法是指同时使用无标注的数据和有标注的数据进行学习和训练的图像分割算法。

但是，现有的半监督图像分割算法主要使用一致性约束，即没有标注的数据通过不同变换后的输出应当具有一致性，该方案在训练过程中容易导致本来分割正确的区域可能在训练之后出现错误以致影响分割结果，使模型的准确度低。

发明内容

本申请实施例提供一种图像分割模型的训练方法，以解决现有技术中半监督图像分割算法在模型训练过程中容易导致本来分割正确的区域可能在训练之后出现错误以致影响分割结果，造成模型准确度低的问题。本申请实施例同时还提供一种图像分割方法，一种图像分割模型的训练装置，一种图像分割装置，一种电子设备，以及一种计算机存储介质。

本申请实施例提供一种图像分割模型的训练方法，包括：

将已标注图像数据作为第一训练数据，提供至初始分割模型，并结合为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型；

将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果；

对于所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同；对于分割结果相同的区域，则将该分割结果作为该区域对应的图像区域的标注，将该图像区域以及所述标注提供给目标图像分割模型，对所述目标图像分割模型进行监督训练。

可选的，所述对于所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同的步骤中，对于分割结果不同的区域，则对该区域对应的图像区域进行预定方式的变形处理，获得变形图像区域，并将原图像区域和变形图像区域提供给所述图像分割模型，对图像分割模型进行一致性训练。

可选的，所述为所述初始分割模型提供的不同的初始设定参数，其中的初始设定参数，采用如下方式获得：

将所述第一训练数据中的已标注图像数据分为至少两组，将每组所述已标注图像数据分别提供至原初分割模型，对所述原初分割模型进行监督训练；

将经过不同组别的已标注图像数据训练后的原初分割模型，作为具有不同的初始设定参数的初始分割模型。

可选的，所述获得至少两个经过初步监督训练的初训分割模型，包括两个经过初步监督训练的初训分割模型；

对应的，所述结合为所述初始分割模型提供的不同的初始设定参数包括：两组不同的初始设定参数。

可选的，所述将原图像区域和变形图像区域提供给所述图像分割模型，对图像分割模型进行一致性训练，包括：

将原图像区域和变形图像区域提供给所述图像分割模型，获得所述原图像区域的第一分割结果和所述变形图像区域的第二分割结果，以及获得所述原图像区域的第一目标特征和所述变形图像区域的第二目标特征；

根据所述第一分割结果和所述第二分割结果，获得第一一致性损失；

根据所述第一目标特征和所述第二目标特征，获得第二一致性损失；

根据所述第一一致性损失和所述第二一致性损失，调整所述图像分割模型。

可选的，所述第一目标特征包括所述第一分割结果中表征目标对象的区域边缘的关键点特征，所述第二目标特征包括所述第二分割结果中表征目标对象的区域边缘的关键点特征；

对应的，所述根据所述第一目标特征和所述第二目标特征，获得第二一致性损失，包括：

提取所述第一分割结果中的目标对象的区域边缘关键点特征和所述第二分割结果中的目标对象的区域边缘关键点特征；

根据所述第一分割结果中的目标对象的区域边缘关键点特征和所述第二分割结果中的目标对象的区域边缘关键点特征，确定所述第二一致性损失。

可选的，所述根据所述第一一致性损失和所述第二一致性损失，调整所述图像分割模型，包括：

根据第一一致性损失和第二一致性损失，求取总损失；

根据所述总损失更新图像分割模型的参数，以调整图像分割模型。

可选的，所述对应各个所述初训分割模型，分别得到对应的分割结果，所述分割结果按照区域划分，包括像素级区域。

本申请实施例还提供一种图像分割方法，其特征在于，包括：

获得待分割图像；

将所述待分割图像输入至所述图像分割模型，获得所述待分割图像对应的分割结果；其中，所述图像分割模型根据上述所述的图像分割模型的训练方法训练得到。

本申请实施例还提供一种图像分割模型的训练装置，包括：

初训分割模型获得单元，用于将已标注图像数据作为第一训练数据，提供至初始分割模型，并结合为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型；

分割结果获得单元，用于将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果；

处理单元，用于对于所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同；对于分割结果相同的区域，则将该分割结果作为该区域对应的图像区域的标注，将该图像区域以及所述标注提供给图像分割模型，对图像分割模型进行监督训练。

本申请实施例还提供一种图像分割装置，包括：

待分割图像获得单元，用于获得待分割图像；

分割结果获得单元，用于将所述待分割图像输入至所述图像分割模型，获得所述待分割图像对应的分割结果；其中，所述图像分割模型根据上述所述的图像分割模型的训练方法训练得到。

本申请实施例还提供一种电子设备，所述电子设备包括：处理器；存储器，用于存储计算机程序，该计算机程序被处理器运行，执行上述所述的方法。

本申请实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行上述所述的方法。

与现有技术相比，本申请具有以下优点:

本申请实施例提供一种图像分割模型的训练方法，包括：将已标注图像数据作为第一训练数据，提供至初始分割模型，并结合为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型；将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果；对于所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同；对于分割结果相同的区域，则将该分割结果作为该区域对应的图像区域的标注，将该图像区域以及所述标注提供给目标图像分割模型，对目标图像分割模型进行监督训练。

本申请实施例通过至少两个不同的初训分割模型获得无标注的数据的分割结果，并通过判定分割结果来获取无标注的数据中分割结果相同的区域以及该区域对应的图像区域的标注，作为用于图像分割模型监督训练的数据，即实现将无标注数据“转化”为有标注数据进行模型的训练，提升了无标注数据的利用程度，从而也提升了训练图像分割模型的准确度。

另外，在本申请的优选实施例中，对于分割结果存在的不相同区域，提出了对该区域对应的图像区域进行变形处理，获得变形图像区域；并将原图像区域和变形图像区域提供给所述图像分割模型，对图像分割模型进行一致性训练，该方式实现将无标注数据包含的数据价值进行了充分挖掘，同样提升了无标注数据的利用程度，有助于提升图像分割模型的准确度。

附图说明

图1是本申请第一实施例提供的应用场景的示意图。

图2为本申请第一实施例提供的图像分割模型的训练方法的流程图。

图3为本申请第二实施例提供的图像分割方法的流程图。

图4为本申请第三实施例提供的图像分割模型的训练装置的示意图。

图5为本申请第四实施例提供的图像分割装置的示意图。

图6为本申请第五实施例提供的电子设备的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请实施例。但是本申请实施例能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请实施例内涵的情况下做类似推广，因此本申请实施例不受下面公开的具体实施的限制。

为了使本领域的技术人员更好的理解本申请方案，下面基于本申请提供的图像分割方法对其实施例的具体应用场景进行详细描述，如图1所示，其为本申请实施例提供的应用场景的示意图。

本场景是对用户图像进行分割的场景。具体的，终端获得待分割的图像，待分割图像例如为某个需要从环境中裁剪出来的文本，某个背景复杂的图片中的某个人，以及建筑物等。例如，在拍摄用户图像时，用户身后可能存在有花、草等、桌、椅等背景，从而所拍摄的图像是包含用户图像和花草图像的图像；再例如，在拍摄图像时，用户身边可能存在有其它用户，从而所拍摄的图像是包含用户图像和其它用户图像的图像。终端可通过拍摄的方式直接获得待分割图像，也可以通过第三方设备的传输获得待分割图像。在本场景中，终端可以为手机、计算机、平板电脑等多种类型的设备。

在获得待分割图像后，将待分割图像输入至图像分割模型中，获得待分割图像对应的分割结果。其中，获得待分割图像对应的分割结果包括像素级的分割结果。在本申请的一个具体场景中，待分割图像输入至图像分割模型，其对应输出的分割结果是只包含白色的人体轮廓和黑色背景的图像，从而可从待分割图像中分割出只有人体图像的分割结果。具体的，将待分割图像输入至图像分割模型，图像分割模型会将待分割图像进行分割，其会将用户图像和环境图像进行分割，从而将用户图像作为分割结果输出。

在本场景中，图像分割模型是通过如下方式训练获得的：将已标注图像数据作为第一训练数据，提供至初始分割模型，并结合为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型；将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果；比较所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同；对于分割结果相同的区域，则将该分割结果作为该区域对应的图像区域的标注，将该图像区域以及所述标注提供给图像分割模型，对图像分割模型进行监督训练。以及，所述比较所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同的步骤中，对于分割结果不同的区域，则对该区域对应的图像区域进行预定方式的变形处理，获得变形图像区域，并将原图像区域和变形图像区域提供给所述图像分割模型，对图像分割模型进行一致性训练。对图像分割模型进行进一步的训练过程可参见后续实施例的具体描述。

本场景在对图像分割模型进行训练时，其先通过有标注的数据训练获得至少两个不同的初训分割模型，再将无标注的数据输入至两个不同的初训分割模型中获得对应的分割结果，在分割结果存在相同区域时，说明该无标注的数据的分割结果是正确的，则将该区域对应的图像区域以及该图像区域的标注提供给图像分割模型进行训练。本场景通过至少两个不同的初训分割模型获得无标注的数据的分割结果，并通过判定分割结果来获取无标注的数据中分割结果相同的区域以及该图像区域的标注是可用于图像分割模型的数据，即实现将无标注数据“转化”为有标注数据进行模型的训练，其可充分使用验证后的无标注数据的分割结果相同的图像区域以及该图像区域的标注进行明确的模型训练，提升了无标注数据的利用程度，从而也提升了训练图像分割模型的准确度，使得图像分割模型在分割待分割图像时分割效果得以提升，即提升图像分割模型对待分割图像的分割准确度。

另外，在本场景中，在分割结果存在不相同区域时，说明该无标注的图像数据的分割结果是不正确的，为了利用该无标注图像数据包含的信息量，可以对该区域对应的图像区域进行变形处理，获得变形图像区域。并将原图像区域和变形图像区域提供给所述图像分割模型，对图像分割模型进行一致性训练，该方式可充分使用无标注数据蕴含的信息，提升了无标注数据的利用程度，从而也提升了训练图像分割模型的准确度，使得图像分割模型在分割待分割图像时分割效果得以提升。

需要说明的是，本申请的实施例中图像分割方法的应用场景做出的具体的限定，仅仅是本申请提供的图像分割方法的应用场景的一个实施例，提供该应用场景实施例的目的是便于理解本申请提供的图像分割方法，而并非用于限定本申请提供的图像分割方法。本申请实施例对图像分割还具有其它应用场景，此处将不再一一赘述。

与上述场景相对应的，本申请第一实施例提供了一种图像分割模型的训练方法，如图2所示，图2为本申请第一实施例提供的一种图像分割模型的训练方法的流程图。所述方法包括如下步骤：

步骤S201，将已标注图像数据作为第一训练数据，提供至初始分割模型，并结合为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型。

在本步骤中，已标注图像数据是指图像经过分割后，对应有分割结果，并对每个分割结果对应的区域进行了标注的图像，所述标注一般为人工标注。例如，一张包含有用户图像和以沙发为背景图像的图像，其经过分割后对应的分割结果分别是用户图像和以沙发为背景的图像。此时，分别对用户图像和以沙发为背景的图像进行标注，即对图像中“用户”和“沙发”较为明确的对象进行标注，从而形成经过分割结果标注的已标注图像。与该张图像处理方式基本相同的还有其它数量的图像，每张图像经过分割处理并进行标注，从而构成本步骤中经过分割结果标注的已标注图像数据。

在获得经过分割结果标注的已标注图像数据后，将经过分割结果标注的已标注图像数据作为第一训练数据，提供至初始分割模型。在本申请第一实施例中，初始分割模型可以是能够执行图像分割任务的各种网络模型，包括但不限于U-Net（U型网络）、FCN（FullyConvolutional Networks，全卷积网络）、SegNet（一种用于图像分割的深度卷积编解码结构）、PSPNet（Pyramid Scene Parsing Network，金字塔场景解析网络）、DFANet（Deepfeature aggrgation Network，用于实时语义分割的深度特征聚合网络）等。

在本步骤中，将已标注图像数据作为第一训练数据，提供至初始分割模型，并结合为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型。本步骤实际上是利用有限的已标注图像数据，获得不同倾向的分割模型的过程。所述初始分割模型是指经过训练的分割模型，此时，根据模型的需要，可以为其定制一整套的初始参数，并且，初始参数并没有具体取值的严格要求，因此，可以为同一个结构的初始分割模型提供几套初始参数；理论上，如果经过足够的训练数据的训练，采用不同初始参数的分割模型应当获得基本相同的训练结果，但是，由于初始参数取值不同，并且训练数据不充足，就会造成采用不同初始参数的分割模型，经过同样一批已标注数据训练之后，其获得的最终参数不同，实际分割效果也各自存在偏颇的分割网络；本实施例后续步骤就是假设这些各有偏颇的分割网络如果对某个图像的某个区域产生了同样的分割结果，则基本可以确定该分割结果和实际情况相符；因此，就可以将该同样的分割结果作为标注结果使用。

上述过程中需要人为选择不同的初始参数，实际上也可以用某种方式实现对初始参数的机器选择，以下就提供一种具体方法：将所述第一训练数据中的已标注图像数据分为至少两组，将每组所述已标注图像数据分别提供至原初分割模型，对所述原初分割模型进行监督训练；将经过不同组别的已标注图像数据训练后的原初分割模型，作为具有不同的初始设定参数的初始分割模型。

具体的，将所述第一训练数据中的已标注图像数据分为至少两组，将每组已标注图像数据中的一张图像输入原初分割模型，得到该图像的参考分割结果，并根据该图像的已标注分割结果与该图像的参考分割结果调整原初分割模型的参数，得到调整后的原初分割模型。再将每组已标注图像数据中的再一张图像输入调整后的原初分割模型，得到该图像的参考分割结果，并根据该图像的已标注分割结果与该图像的参考分割结果调整所述调整后的原初分割模型的参数，得到再次调整后的原初分割模型。重复上述步骤，直至将每组所述已标注图像数据中的部分或者全部图像均采用上述操作对所述原初分割模型监督训练完毕，将经过不同组别的已标注图像数据训练后的原初分割模型，作为具有不同的初始设定参数的初始分割模型。这样，就通过训练方式获得了具有不同初始参数的初始分割模型。上述方式的原理是，即使是同样参数的分割模型（例如上面的原初分割模型），如果经过不同图像数据的训练，并且训练数据不够充足的话，最终会获得的分割模型会具有不同的参数，并具有不同的分割效果。

在本实施例中，需要获得至少两个经过初步监督训练的初训分割模型，一般而言，获得两个经过初步监督训练的初训分割模型就可以；当然，也不排除获得三个甚至更多的初始分割模型；对应于上述获得两个初训分割模型，所述为所述初始分割模型提供的不同的初始设定参数包括：两组不同的初始设定参数。

对应的，若采用上述机器训练获得初始分割模型的方式，可以将所述第一训练数据中的已标注图像数据分为两组，即第一组已标注图像和第二组已标注图像。其中，第一组已标注图像和第二组已标注图像中的每个图像可以是完全不同的图像，也可以是第一组已标注图像中的个别图像和第二组已标注图像中的个别图像相同（例如一些非常典型的训练样本可以相同），但是第一组已标注图像和第二组已标注图像在总体上是存在区别的。

步骤S202，将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果。

在前述步骤中，将已标注图像数据作为第一训练数据，提供至初始分割模型，并为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型后，本步骤将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果。

在本步骤中，未标注的图像数据是指未经过人工或是其它工具进行标注的数据，未标注的图像数据是不清楚该图像的分割结果的。例如，一张包含有用户图像和以沙发为背景图像的图像，其未经过人工或是其它工具的标注，模型或是机器无法获知该图像中包含有用户图像和沙发。未标注的图像数据的数据量可以是无限的，设法将其用于对分割模型的训练，有助于减少训练成本，帮助迅速提高分割模型的分割效果。

在本申请第一实施例中，上述将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果，其中的初训分割模型的具体数量为两个，分别为第一初训分割模型，和第二初训分割模型，则具体步骤包括：将获得的未标注的图像数据作为第二训练数据，提供至第一初训分割模型，对应第一初训分割模型得到第一分割结果；以及将获得的未标注的图像数据作为第二训练数据，提供至第二初训分割模型，对应第二初训分割模型得到第二分割结果。其中，分别得到对应的分割结果包括像素级的分割结果。

进一步的，上述将获得的未标注的图像数据作为第二训练数据，提供至第一初训分割模型，对应第一初训分割模型得到第一分割结果，包括：将第二训练数据中的每一张未标注的图像数据提供至第一初训分割模型，获得每一张未标注的图像数据对应的第一分割结果。

上述将获得的未标注的图像数据作为第二训练数据，提供至第二初训分割模型，对应第二初训分割模型得到第二分割结果，包括：将第二训练数据中的每一张未标注的图像数据提供至第二初训分割模型，获得每一张未标注的图像数据对应的第二分割结果。

由于所述的第一初训分割模型和所述第二初训分割模型具有不同的初始参数，因此，其对同样的图像不一定获得相同的分割结果（这里假定分割结果具有统一的标准答案，这是符合一般图像分割情况的），则对于同样的图像区域，必然会出现两种情况，即：分割结果相同，分割结果不同；以下就对分割结果进行比较，并根据相同与不同两种情况进行不同的处理。

步骤S203，对于所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同；对于分割结果相同的区域，则将该分割结果作为该区域对应的图像区域的标注，将该图像区域以及所述标注提供给目标图像分割模型，对目标图像分割模型进行监督训练。

在本申请中，由于未标注的数据无法给出明确的信息，但为了充分利用这些数据量较大的未标注的数据，则可通过对分割结果的进一步处理来对未标注的数据进行使用。其中，所述对应各个所述初训分割模型，分别得到对应的分割结果，所述分割结果按照区域划分，包括像素级区域。

具体的，在本申请第一实施例中，结合上述内容，至少两个经过初步监督训练的初训分割模型至少包括第一初训分割模型和第二初训分割模型。将第二训练数据中的同一图像分别输入至第一初训分割模型和第二初训分割模型，并对应获得第一分割结果和第二分割结果，并对第一分割结果和第二分割结果进行比较。其中，第一分割结果包括多个第一分割区域，第二分割结果包括多个第二分割区域，将多个第一分割区域和多个第二分割区域进行比较，获得多个第一分割区域和多个第二分割区域之间的相同区域和不同区域。其中，多个第一分割区域和多个第二分割区域之间具有一一对应关系，若具有一一对应关系的第一分割区域和第二分割区域相同，则确定第一分割结果和第二分割结果相同；若具有一一对应关系的第一分割区域和第二分割区域相同区域的比例大于预设阈值，则确定第一分割结果和第二分割结果相同；反之，则确定第一分割结果和第二分割结果不相同。

举例说明，设定多个第一分割区域为第一分割区域1，第一分割区域2和第一分割区域3，多个第二分割区域为第二分割区域1，第二分割区域2和第二分割区域3。若第一分割区域1和第二分割区域1相同，第一分割区域2和第二分割区域2相同，第一分割区域3和第二分割区域3相同，则确定第一分割结果和第二分割结果相同。若第一分割区域1和第二分割区域1相同，第一分割区域2和第二分割区域2相同，第一分割区域3和第二分割区域3不相同，则仅仅确定第一分割结果与第二分割结果相互对应的分割区域1、分割区域2的分割结果为相同，分割区域3的分割结果为不相同。

在获得第一分割结果和第二分割结果相互比较的判断结果后，可根据第一分割结果和第二分割结果相互比较的判断结果对第二训练数据中的同一未标注图像进行处理。

具体的，对于分割结果相同的区域，则将该区域的分割结果作为该图像区域的准确分割结果进行标注，将该图像区域以及所述标注提供给图像分割模型，对图像分割模型进行监督训练。其中，对于分割结果相同的区域，基本可以认为该无标注的数据的分割结果是正确的，并对初训分割模型处理后的分割结果作为该图像区域的标注，即实现将无标注数据“转化”为有标注数据，并将该图像区域以及所述标注提供给图像分割模型。

对于第二训练数据中，只要存在上述分割结果为相同的区域，则可将初训分割模型处理后的分割结果作为该图像区域的标注，将其它无标注的图像的该区域以及对应的标注提供给图像分割模型进行训练。上述步骤实现将无标注数据“转化”为有标注数据进行模型的训练，其可充分使用机器验证无标注数据的分割结果，使用大概率正确的分割结果用于待训练的目标分割模型的训练，从而提升了无标注数据的利用程度，进而提升训练图像分割模型的准确度，使得图像分割模型在分割待分割图像时分割效果得以提升。

在本实施例中，获得第一分割结果和第二分割结果相互比较的判断结果后，还会获得很多分割结果不同的区域，对于这些分割结果不同的区域，则对该图像区域进行预定方式的变形处理，获得变形图像区域，并将原图像区域和变形图像区域提供给所述目标图像分割模型，对目标图像分割模型进行一致性训练。其中，对该区域对应的图像进行预定方式的变形处理，包括：对该图像进行缩放或扩大的变形处理。

在本步骤中，将原图像区域和变形图像区域提供给所述图像分割模型，对图像分割模型进行一致性训练，包括：将原图像区域和变形图像区域提供给所述目标图像分割模型，获得所述原图像区域的第一分割结果和所述变形图像区域的第二分割结果，并根据所述第一分割结果和所述第二分割结果，获得第一一致性损失。其中，第一分割结果和所述第二分割结果按照区域划分，包括像素级区域。第一一致性损失是基于像素级的第一分割结果和第二分割结果所得到的像素级的损失，用于约束第一分割结果和第二分割结果中的相对应的像素之间的一致性。

在将原图像区域和变形图像区域提供给所述图像分割模型进行分割训练的过程中，会获得原图像区域的第一目标特征和所述变形图像区域的第二目标特征，并根据所述第一目标特征和所述第二目标特征，获得第二一致性损失。其中，第二一致性损失用于约束图像分割模型对于第一图像和第二图像的分割过程中所得到的整体特征之间的一致性。整体特征具体表现为第一图像对应的第一目标特征和第二图像的第二目标特征。第一目标特征和第二目标特征可以是基于图像分割模型分割过程中所得到的、表征图像整体性的任意特征。在本申请第一实施例中，第一目标特征表征第一分割结果中目标对象的外形特征、姿态特征，第二目标特征表征第二分割结果中目标对象的外形特征、姿态特征。本实施例结合第一分割结果和第二分割结果之间像素级的第一一致性损失，以及第一图像的第一目标特征和第二图像的第二目标特征之间整体性的第二一致性损失，对模型进行参数更新，使得最终得到的图像分割模型具有更好的分割效果。

进一步的，在本申请第一实施例中，所述第一目标特征包括所述第一分割结果中表征目标对象的区域边缘的关键点特征，所述第二目标特征包括所述第二分割结果中表征目标对象的区域边缘的关键点特征；对应的，所述根据所述第一目标特征和所述第二目标特征，获得第二一致性损失，包括：提取所述第一分割结果中的目标对象的区域边缘关键点特征和所述第二分割结果中的目标对象的区域边缘关键点特征，根据所述第一分割结果中的目标对象的区域边缘关键点特征和所述第二分割结果中的目标对象的区域边缘关键点特征，确定所述第二一致性损失。在本实现方式中，第二一致性损失用于约束第一分割结果和第二分割结果中目标对象的区域边缘之间的一致性。通过对分割结果中区域边缘特征的一致性约束，图像分割模型在关注第一分割结果和第二分割结果之间像素级的第一一致性损失的基础上，在分割过程中更加关注目标对象的区域边缘，可以提高图像分割模型关于目标对象的区域边缘的分割效果，从而提升图像分割模型的分割准确度。

在本申请第一实施例中，根据所述第一一致性损失和所述第二一致性损失，调整所述图像分割模型，包括：根据第一一致性损失和第二一致性损失，求取总损失，根据所述总损失更新图像分割模型的参数，以调整目标图像分割模型。

本申请第一实施例提供一种图像分割模型的训练方法，包括：将已标注图像数据作为第一训练数据，提供至初始分割模型，并结合为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型；将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果；对于所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同；对于分割结果相同的区域，则将该分割结果作为该图像区域的标注，将该图像区域以及所述标注提供给目标图像分割模型，对目标图像分割模型进行监督训练。

本申请第一实施例通过至少两个不同的初训分割模型获得无标注的数据的分割结果，并通过判定分割结果来获取无标注的数据中分割结果相同的区域以及该图像区域的标注是可用于图像分割模型的数据，即实现将无标注数据“转化”为有标注数据进行模型的训练，其可充分使用验证后的无标注数据的分割结果相同的图像区域以及该图像区域的标注进行明确的有监督模型训练，提升了无标注数据的利用程度，从而也提升了训练图像分割模型的准确度，使得图像分割模型在分割待分割图像时分割效果得以提升，即提升图像分割模型对待分割图像的分割准确度。

另外，在本申请第一实施例中，在分割结果存在不相同区域时，说明该无标注的数据的分割结果是不正确的，采用了对该图像区域进行变形处理，获得变形图像区域，并将原图像区域和变形图像区域提供给所述图像分割模型，对图像分割模型进行一致性训练的方法，该方法可以充分提取无标注数据中蕴含的信息，提升了无标注数据的利用程度，从而也提升了训练图像分割模型的准确度，使得图像分割模型在分割待分割图像时分割效果得以提升，即提升图像分割模型对待分割图像的分割准确度。

本申请第二实施例提供一种图像分割方法，如图3所示，图3为本申请第二实施例提供的一种图像分割方法的流程图。所述方法包括如下步骤：

步骤S301，获得待分割图像。

在本步骤中，可通过终端获得待分割的待分割图像，其中，在实施例中，待分割图像可以是包括包含人像或者物体或者建筑物等特定关注物的图像。例如，对于拍摄的照片，主角身后可能存在有花、草等、桌、椅等背景，从而所拍摄的图像是包含主角图像和花草图像的图像；再例如，在拍摄照片时，主角身边可能存在有其它人物，从而所拍摄的图像是包含主角图像和其它人物图像的图像。终端可通过拍摄的方式直接获得待分割图像，也可以通过第三方设备的传输获得待分割图像。在本实施例中，终端可以为手机、计算机、平板电脑等多种类型的设备。

步骤S302，将所述待分割图像输入至所述图像分割模型，获得所述待分割图像对应的分割结果。

其中，所述图像分割模型是根据上述第一实施例的图像分割模型的训练方法得到的目标图像分割模型。具体包括：将已标注图像数据作为第一训练数据，提供至初始分割模型，并结合为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型；将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果；对于所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同；对于分割结果相同的区域，则将该分割结果作为该图像区域的标注，将该图像区域以及所述标注提供给图像分割模型，对图像分割模型进行监督训练。以及对于分割结果相同的区域，则将该分割结果作为该图像区域的标注，将该图像区域以及所述标注提供给图像分割模型，对图像分割模型进行监督训练。图像分割模型的训练方法可参见上述第一实施例的描述，此处将不再重复赘述。

本申请第二实施例通过至少两个不同的初训分割模型获得无标注的数据的分割结果，并通过判定分割结果来获取无标注的数据中分割结果相同的区域以及该图像区域的标注是可用于图像分割模型的数据，即实现将无标注数据“转化”为有标注数据进行模型的训练，其可充分使用验证后的无标注数据的分割结果相同的图像区域以及该图像区域的标注进行明确的模型训练，提升了无标注数据的利用程度，从而也提升了训练图像分割模型的准确度，使得图像分割模型在分割待分割图像时分割效果得以提升，即提升图像分割模型对待分割图像的分割准确度。

另外，在本申请第二实施例中，在分割结果存在不相同区域时，说明该无标注的数据的分割结果是不正确的，并对该图像区域进行变形处理，获得变形图像区域。并将原图像区域和变形图像区域提供给所述图像分割模型，对图像分割模型进行一致性训练，该方式实现充分挖掘了无标注数据中蕴含的信息，其可充分使用验证后的无标注的分割结果不相同的图像区域对应的原图像区域和变形图像区域，以及各自图像区域的标注进行模型训练，提升了无标注数据的利用程度，从而也提升了训练图像分割模型的准确度，使得图像分割模型在分割待分割图像时分割效果得以提升。

与本申请第一实施例提供的图像分割模型的训练方法相对应的，本申请第三实施例对应提供一种图像分割模型的训练装置。由于装置实施例基本相似于第一实施例，所以描述得比较简单，相关之处参见第一实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

请参照图4，其为本申请第三实施例提供的一种图像分割模型的训练装置的示意图。该图像分割模型的训练装置包括：初训分割模型获得单元401，用于将已标注图像数据作为第一训练数据，提供至初始分割模型，并结合为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型；分割结果获得单元402，用于将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果；处理单元403，用于对于所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同；对于分割结果相同的区域，则将该分割结果作为该区域对应的图像区域的标注，将该图像区域以及所述标注提供给图像分割模型，对图像分割模型进行监督训练。

可选的，所述处理单元403，还用于对于分割结果不同的区域，则对该区域对应的图像区域进行预定方式的变形处理，获得变形图像区域，并将原图像区域和变形图像区域提供给所述图像分割模型，对图像分割模型进行一致性训练。

可选的，所述为所述初始分割模型提供的不同的初始设定参数，其中的初始设定参数，采用如下方式获得：

将所述第一训练数据中的已标注图像数据分为至少两组，将每组所述已标注图像数据分别提供至原初分割模型，对所述原初分割模型进行监督训练；将经过不同组别的已标注图像数据训练后的原初分割模型，作为具有不同的初始设定参数的初始分割模型。

可选的，所述获得至少两个经过初步监督训练的初训分割模型，包括两个经过初步监督训练的初训分割模型；

对应的，所述结合为所述初始分割模型提供的不同的初始设定参数包括：两组不同的初始设定参数。

可选的，所述处理单元403包括处理子单元，所述处理子单元，用于将原图像区域和变形图像区域提供给所述图像分割模型，获得所述原图像区域的第一分割结果和所述变形图像区域的第二分割结果，以及获得所述原图像区域的第一目标特征和所述变形图像区域的第二目标特征；根据所述第一分割结果和所述第二分割结果，获得第一一致性损失；根据所述第一目标特征和所述第二目标特征，获得第二一致性损失；根据所述第一一致性损失和所述第二一致性损失，调整所述图像分割模型。

可选的，所述第一目标特征包括所述第一分割结果中表征目标对象的区域边缘的关键点特征，所述第二目标特征包括所述第二分割结果中表征目标对象的区域边缘的关键点特征；

对应的，所述处理子单元包括第二一致性损失获得单元，用于提取所述第一分割结果中的目标对象的区域边缘关键点特征和所述第二分割结果中的目标对象的区域边缘关键点特征；根据所述第一分割结果中的目标对象的区域边缘关键点特征和所述第二分割结果中的目标对象的区域边缘关键点特征，确定所述第二一致性损失。

可选的，所述处理子单元还包括调整单元，用于根据第一一致性损失和第二一致性损失，求取总损失；根据所述总损失更新图像分割模型的参数，以调整图像分割模型。

可选的，所述对应各个所述初训分割模型，分别得到对应的分割结果，所述分割结果按照区域划分，包括像素级区域。

与本申请第二实施例提供的图像分割方法相对应的，本申请第四实施例对应提供一种图像分割装置。由于装置实施例基本相似于第二实施例，所以描述得比较简单，相关之处参见第二实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

请参照图5，其为本申请第四实施例提供的一种图像分割装置的示意图。该图像分割装置包括：待分割图像获得单元501，用于获得待分割图像；分割结果获得单元502，用于将所述待分割图像输入至所述图像分割模型，获得所述待分割图像对应的分割结果；其中，所述图像分割模型根据上述第一实施例所述的图像分割模型的训练方法训练得到。

与本申请第一实施例的图像分割模型的训练方法和第二实施例的图像分割方法相对应的，本申请第五实施例还提供一种电子设备。如图6所示，图6为本申请第五实施例中提供的一种电子设备的示意图。该电子设备，包括：处理器601；存储器602，用于存储计算机程序，该计算机程序被处理器运行，执行第一实施例的图像分割模型的训练方法和第二实施例的图像分割方法。

与本申请第第一实施例的图像分割模型的训练方法和第二实施例的图像分割方法相对应的，本申请第六实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行第一实施例的图像分割模型的训练方法和第二实施例的图像分割方法。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器 （CPU）、 输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 （RAM） 和/或非易失性内存等形式，如只读存储器 （ROM） 或闪存（flash RAM）。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、 程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 （PRAM）、静态随机存取存储器 （SRAM）、动态随机存取存储器 （DRAM）、 其他类型的随机存取存储器 （RAM）、只读存储器 （ROM）、电可擦除可编程只读存储器 （EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘 （DVD） 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体 （transitory media），如调制的数据信号和载波。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

Claims (13)

1.一种图像分割模型的训练方法，其特征在于，包括：

将已标注图像数据作为第一训练数据，提供至初始分割模型，并结合为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型；

将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果；

对于所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同；对于分割结果相同的区域，则将该分割结果作为该区域对应的图像区域的标注，将该图像区域以及所述标注提供给目标图像分割模型，对目标图像分割模型进行监督训练。

2.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述对于所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同的步骤中，对于分割结果不同的区域，则对该区域对应的图像区域进行预定方式的变形处理，获得变形图像区域，并将原图像区域和变形图像区域提供给所述图像分割模型，对图像分割模型进行一致性训练。

3.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述为所述初始分割模型提供的不同的初始设定参数，其中的初始设定参数，采用如下方式获得：

将所述第一训练数据中的已标注图像数据分为至少两组，将每组所述已标注图像数据分别提供至原初分割模型，对所述原初分割模型进行监督训练；

将经过不同组别的已标注图像数据训练后的原初分割模型，作为具有不同的初始设定参数的初始分割模型。

4.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述获得至少两个经过初步监督训练的初训分割模型，包括两个经过初步监督训练的初训分割模型；

对应的，所述结合为所述初始分割模型提供的不同的初始设定参数包括：两组不同的初始设定参数。

5.根据权利要求2所述的图像分割模型的训练方法，其特征在于，所述将原图像区域和变形图像区域提供给所述目标图像分割模型，对目标图像分割模型进行一致性训练，包括：

将原图像区域和变形图像区域提供给所述目标图像分割模型，获得所述原图像区域的第一分割结果和所述变形图像区域的第二分割结果，以及获得所述原图像区域的第一目标特征和所述变形图像区域的第二目标特征；

根据所述第一分割结果和所述第二分割结果，获得第一一致性损失；

根据所述第一目标特征和所述第二目标特征，获得第二一致性损失；

根据所述第一一致性损失和所述第二一致性损失，调整所述目标图像分割模型。

6.根据权利要求5所述的图像分割模型的训练方法，其特征在于，所述第一目标特征包括所述第一分割结果中表征目标对象的区域边缘的关键点特征，所述第二目标特征包括所述第二分割结果中表征目标对象的区域边缘的关键点特征；

对应的，所述根据所述第一目标特征和所述第二目标特征，获得第二一致性损失，包括：

提取所述第一分割结果中的目标对象的区域边缘关键点特征和所述第二分割结果中的目标对象的区域边缘关键点特征；

根据所述第一分割结果中的目标对象的区域边缘关键点特征和所述第二分割结果中的目标对象的区域边缘关键点特征，确定所述第二一致性损失。

7.根据权利要求5所述的图像分割模型的训练方法，其特征在于，所述根据所述第一一致性损失和所述第二一致性损失，调整所述目标图像分割模型，包括：

根据第一一致性损失和第二一致性损失，求取总损失；

根据所述总损失更新图像分割模型的参数，以调整目标图像分割模型。

8.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述对应各个所述初训分割模型，分别得到对应的分割结果，所述分割结果按照区域划分，包括像素级区域。

9.一种图像分割方法，其特征在于，包括：

获得待分割图像；

将所述待分割图像输入至所述图像分割模型，获得所述待分割图像对应的分割结果；其中，所述图像分割模型根据上述权利要求1-8任意一项所述的方法训练得到的目标图像分割模型。

10.一种图像分割模型的训练装置，其特征在于，包括：

初训分割模型获得单元，用于将已标注图像数据作为第一训练数据，提供至初始分割模型，并结合为所述初始分割模型提供的不同的初始设定参数，训练获得至少两个经过初步监督训练的初训分割模型；

分割结果获得单元，用于将获得的未标注的图像数据作为第二训练数据，提供至各个所述初训分割模型，对应各个所述初训分割模型，分别得到对应的分割结果；

处理单元，用于对于所述第二训练数据中的同一图像经过不同的初训分割模型处理后的分割结果，比较各个区域的分割结果是否相同；对于分割结果相同的区域，则将该分割结果作为该区域对应的图像区域的标注，将该图像区域以及所述标注提供给目标图像分割模型，对目标图像分割模型进行监督训练。

11.一种图像分割装置，其特征在于，包括：

待分割图像获得单元，用于获得待分割图像；

分割结果获得单元，用于将所述待分割图像输入至所述图像分割模型，获得所述待分割图像对应的分割结果；其中，所述图像分割模型根据上述权利要求1-8任意一项所述的方法训练得到的目标图像分割模型。

12.一种电子设备，其特征在于，所述电子设备包括：处理器；存储器，用于存储计算机程序，该计算机程序被处理器运行，执行权利要求1-8、9任意一项所述的方法。

13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行权利要求1-8、9任意一项所述的方法。

Images