CN114066896A

CN114066896A - 图像分割模型训练方法、图像分割方法及装置

Info

Publication number: CN114066896A
Application number: CN202010746718.0A
Authority: CN
Inventors: 刘家怡; 王华彦
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2020-07-29
Filing date: 2020-07-29
Publication date: 2022-02-18

Abstract

本公开关于一种图像分割模型训练方法、图像分割方法及装置。该方法包括：将目标样本图像输入训练好的第一图像分割模型，以得到第一图像分割概率和第一图像分割标记；将目标样本图像输入待训练的第二图像分割模型，以得到第二图像分割概率和第二图像分割标记；根据第一图像分割标记和第二图像分割标记，确定第一分割损失函数；根据第一分割损失函数，训练第二图像分割模型；其中，第一图像分割模型的模型参数总数多于第二图像分割模型的模型参数总数。根据本公开的方案，利用复杂图像分割模型提供的高质量图像分割标记训练简单图像分割模型，可以提高简单图像分割模型的训练准确度。

Description

图像分割模型训练方法、图像分割方法及装置

技术领域

本公开涉及图像处理领域，尤其涉及一种图像分割模型训练方法、图像分割方法及装置。

背景技术

深度神经网络(Deep Neural Network，DNN)模型是解决图像分割问题(ImageSegmentation，IS)的一个常见方法。在训练图像分割模型的过程中需要大量包括图像分割标记的样本图像，然而，在实际工作中，人工标注的图像分割标记容易出现有误，质量参差不齐的问题，导致图像分割模型训练的准确度较低。

发明内容

本公开提供一种图像分割模型训练方法、图像分割方法及装置，以至少解决相关技术中因人工标注的图像分割标记有误，导致图像分割模型训练的准确度较低问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像分割模型训练方法，包括：

将目标样本图像输入训练好的第一图像分割模型，以得到第一图像分割概率和第一图像分割标记，所述第一图像分割标记基于所述第一图像分割概率确定；

将所述目标样本图像输入待训练的第二图像分割模型，以得到第二图像分割概率和第二图像分割标记，所述第二图像分割标记基于所述第二图像分割概率确定；

根据所述第一图像分割概率和所述第二图像分割概率，确定蒸馏损失函数；

根据所述第一图像分割标记和所述第二图像分割标记，确定第一分割损失函数；

根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型；

其中，所述第一图像分割模型的模型参数总数多于所述第二图像分割模型的模型参数总数。

可选的，所述目标样本图像包括预先标注的目标图像分割标记；

所述根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型步骤之前，所述方法还包括：

根据所述第二图像分割标记和所述目标图像分割标记，确定第二分割损失函数；

所述根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型步骤，包括：

根据所述蒸馏损失函数、所述第一分割损失函数和所述第二分割损失函数，训练所述第二图像分割模型。

可选的，所述目标图像分割标记由人工标注或由第三图像分割模型预测得到。

可选的，所述确定第一分割损失函数步骤之后，所述根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型步骤之前，所述方法还包括：

对所述第一分割损失函数进行平滑处理；

根据所述蒸馏损失函数和平滑处理后的所述第一分割损失函数，训练所述第二图像分割模型。

根据本公开实施例的第二方面，提供一种图像分割方法，包括：

将待分割的第一图像输入第二图像分割模型，以得到第三图像分割标记；

根据所述第三图像分割标记，确定所述第一图像中的分割对象对应的目标区域；

其中，所述第二图像分割模型通过如第一方面任一项所述的图像分割模型训练方法训练得到。

可选的，所述确定所述第一图像中的分割对象对应的目标区域步骤之后，所述方法还包括：

在接收到针对所述目标区域的第一输入的情况下，调整所述目标区域的显示信息；

其中，所述显示信息包括以下至少一项：显示对象、显示颜色。

根据本公开实施例的第三方面，提供一种模型训练装置，包括：

第一输入模块，被配置为将目标样本图像输入训练好的第一图像分割模型，以得到第一图像分割概率和第一图像分割标记，所述第一图像分割标记基于所述第一图像分割概率确定；

第二输入模块，被配置为将所述目标样本图像输入待训练的第二图像分割模型，以得到第二图像分割概率和第二图像分割标记，所述第二图像分割标记基于所述第二图像分割概率确定；

第一确定模块，被配置为根据所述第一图像分割概率和所述第二图像分割概率，确定蒸馏损失函数；

第二确定模块，被配置为根据所述第一图像分割标记和所述第二图像分割标记，确定第一分割损失函数；

训练模块，被配置为根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型；

所述图像分割模型训练装置还包括：

第三确定模块，被配置为根据所述第二图像分割标记和所述目标图像分割标记，确定第二分割损失函数；

所述训练模块，被配置为根据所述蒸馏损失函数、所述第一分割损失函数和所述第二分割损失函数，训练所述第二图像分割模型。

可选的，所述图像分割模型训练装置还包括：

处理模块，被配置为对所述第一分割损失函数进行平滑处理；

所述训练模块，被配置为根据所述蒸馏损失函数和平滑处理后的所述第一分割损失函数，训练所述第二图像分割模型。

根据本公开实施例的第四方面，提供一种图像分割装置，包括：

第三输入模块，被配置为将待分割的第一图像输入第二图像分割模型，以得到第三图像分割标记；

第四确定模块，被配置为根据所述第三图像分割标记，确定所述第一图像中的分割对象对应的目标区域；

其中，所述第二图像分割模型通过如第一方面所述的图像分割模型训练方法训练得到。

可选的，所述图像分割装置还包括：

调整模块，被配置为在接收到针对所述目标区域的第一输入的情况下，调整所述目标区域的显示信息；

根据本公开实施例的第五方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的图像分割模型训练方法，或，如第二方面所述的图像分割方法。

根据本公开实施例的第六方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的图像分割模型训练方法，或，如第二方面所述的图像分割方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，包括：

可执行指令，当所述可执行指令在计算机上运行时，使得计算机程序产品能够执行如第一方面所述的图像分割模型训练方法，或，如第二方面所述的图像分割方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开实施例利用训练好的复杂图像分割模型预测得到的图像分割标记确定的分割损失函数，训练简单图像分割模型，这样，相比于采用人工标注的图像分割标记确定的分割损失函数，训练简单图像分割模型，可以提升用于确定分割损失函数的图像分割标记的质量，进而可以提高简单图像分割模型的训练准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像分割模型训练方法的流程图。

图2是根据一示例性实施例示出的一种图像分割模型训练方法的示意图。

图3是根据一示例性实施例示出的一种图像分割模型训练方法的流程图。

图4是根据一示例性实施例示出的一种图像分割模型训练方法的示意图。

图5是根据一示例性实施例示出的一种图像分割模型训练方法的示意图。

图6是根据一示例性实施例实处的一种图像分割方法的示意图。

图7是根据一示例性实施例示出的一种图像分割模型训练装置的框图。

图8是根据一示例性实施例实处的一种图像分割装置的示意图。

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

为了方便理解，以下对本公开实施例涉及的一些内容进行说明：

在本公开实施例中，第一图像分割模型为训练好的图像分割模型，第二图像分割模型为待训练的图像分割模型，所述第一图像分割模型的模型参数总数多于所述第二图像分割模型的模型参数总数，也就是说，所述第二图像分割模型比所述第一图像分割模型更简化。这样，通过所述第一图像分割模型对所述第二图像分割模型进行训练，可以提高第二图像分割模型的训练准确度；另外，由于第二图像分割模型较为简单，可以在电子设备上设置训练好的第二图像分割模型实现图像分割，从而可以提高图像分割的准确度。

具体实现时，所述第一图像分割模型的模型参数总数多于所述第二图像分割模型的模型参数总数可以但不仅限于包括以下至少一项：

所述第一图像分割模型的模型层数多于所述第二图像分割模型的模型层数；

所述第一图像分割模型的卷积层数多于所述第二图像分割模型的卷积层数；

所述第一图像分割模型的编码器层数多于所述第二图像分割模型的编码器层数；

所述第一图像分割模型的解码器层数多于所述第二图像分割模型的解码器层数；

所述第一图像分割模型的滤波器数量多于所述第二图像分割模型的滤波器数量。

在实际应用中，所述第一图像分割模型可以称为复杂模型、老师模型或T模型，所述第二图像分割模型可以称为轻量模型、学生模型或S模型。

图1是根据一示例性实施例示出的一种图像分割模型训练方法的流程图。如图1所示，图像分割模型训练方法可以包括以下步骤：

在步骤S11中，将目标样本图像输入训练好的第一图像分割模型，以得到第一图像分割概率和第一图像分割标记，所述第一图像分割标记基于所述第一图像分割概率确定。

可以理解的是，所述第一图像分割模型的输入为所述目标样本图像，所述第一图像分割模型的输出包括第一图像分割概率和第一图像分割标记。

所述第一预测分割概率可以理解为所述第一图像分割模型对所述目标样本图像中每个像素为分割对象的预测概率，取值范围为0至1中的任何值。

所述第一图像分割标记可以理解为所述第一图像分割模型对所述目标样本图像中每个像素的分割标记，取值为0或1。对于分割标记为1的像素，该像素属于分割对象，所述分割对象可以为头发、人脸等期望从所述目标样本图像中分割出来的对象；对于分割标记为0的像素，该像素属于背景，可以包括所述目标样本图像中除所述分割对象之外的全部内容。

所述第一图像分割标记可以基于所述第一图像分割概率确定。具体实现时，在某个像素的图像分割概率大于或等于第一阈值的情况下，该像素的图像分割标记取值为1；在某个像素的图像分割概率小于所述第一阈值的情况下，该像素的图像分割标记取值为0，其中，所述第一阈值可以为0至1中的任何值，具体可根据实际需求设定，如所述第一阈值为0.5等。

可选的，所述第一图像分割模型可以通过阈值函数基于第一图像分割概率确定第一图像分割标记，阈值函数可以如下所示：

其中，a可以为0至1中的任何值，具体可根据实际需求设定，如a＝0.5等。

在步骤S12中，将所述目标样本图像输入待训练的第二图像分割模型，以得到第二图像分割概率和第二图像分割标记，所述第二图像分割标记基于所述第二图像分割概率确定。

可以理解的是，所述第二图像分割模型的输入为所述目标样本图像，所述第二图像分割模型的输出包括所述第二图像分割概率和所述第二图像分割标记。

所述第二预测分割概率可以理解为所述第二图像分割模型对所述目标样本图像中每个像素为分割对象的预测概率，取值范围为0至1中的任何值。所述第二图像分割标记可以理解为所述第二图像分割模型对所述目标样本图像中每个像素的分割标记，取值为0或1。所述第二图像分割标记可以基于所述第二图像分割概率确定，所述第二图像分割标记的确定方式与所述第一图像分割标记的确定方式相同，具体可参见关于所述第一图像分割标记的确定的描述，此处不再赘述。

在步骤S13中，根据所述第一图像分割概率和所述第二图像分割概率，确定蒸馏损失函数。

具体实现时，所述蒸馏损失函数可以体现所述第一图像分割模型和所述第二图像分割模型对同一样本图像的学习结果的差异，用于衡量所述第一图像分割模型与所述第二图像分割模型的差异。

具体实现时，所述蒸馏损失函数可以根据所述第一图像分割概率和所述第二图像分割概率的差异确定。可选的，对于第i个目标样本图像x_i，蒸馏损失函数L_KD可以通过公式(1)计算得到：

L_i＝KL[f₁(x_i)-f₂(x_i)] (1)

其中，相对熵(Kullback–Leibler divergence，KL)也可以称为KL距离或KL散度；f₁(x_i)表示所述第二图像分割模型输出的所述第二图像分割概率；f₂(x_i)表示所述第一图像分割模型输出的所述第一图像分割概率。

在步骤S14中，根据所述第一图像分割标记和所述第二图像分割标记，确定第一分割损失函数。

也就是说，所述第一分割损失函数基于所述第一图像分割模型输出的图像分割标记和所述第二图像分割模型输出的图像分割标记确定。

具体实现时，所述第一分割损失函数可以为交叉熵函数。可选的，对于第i个目标样本图像x_i，第一分割损失函数L₁可以通过公式(2)计算得到：

L₁＝-[f₃(x_i)log f₄(x_i)+(1-f₃(x_i))log(1-f₄(x_i)] (2)

其中，f₃(x_i)表示所述第一图像分割模型输出的所述第一图像分割标记；f₄(x_i)表示所述第二图像分割模型输出的所述第二图像分割标记。

在步骤S15中，根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型。

具体实现时，电子设备可以根据所述蒸馏损失函数和所述第一分割损失函数，调节所述第二图像分割模型的模型权重(或称为模型参数)，从而完成一次训练。

在实际应用中，所述目标样本图像可以视为第i个目标样本图像，用于对所述第二图像分割模型进行第i次训练。电子设备可以在完成对第二图像分割模型的第i次训练后，电子设备可以判断所述第二图像分割模型是否收敛，若否，则可以重复步骤S11至步骤S15，利用第i+1个目标样本图像对所述第二图像分割模型进行第i+1次训练，以此类推，直至所述第二图像分割模型训练至收敛；若是，则可结束流程。

对于所述第二图像分割模型的每次训练，在根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型的过程中，可以先根据所述蒸馏损失函数和所述第一分割损失函数，得到总的损失函数，之后，根据总的损失函数，训练所述第二图像分割模型。当然，在其他实施方式中，也可以直接根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型。

可选的，所述第二图像分割模型的训练可以通过更新第二图像分割模型的模型权重实现，但不仅限于此。在本可选实施方式中，对于所述第二图像分割模型的每次训练，可以将该次训练确定的蒸馏损失函数和第一分割损失函数作为优化算法的输入，或，将该次训练确定的蒸馏损失函数和第一分割损失函数所确定的总的损失函数作为优化算法的输入，得到新的模型权重，之后，采用得到的新的模型权重，更新所述第二图像分割模型的模型权重，以实现所述第二图像分割模型的该次训练。

为方便理解图1所示的模型训练方法，以下结合图2进行示例说明。

如图2所示，模型训练方法可以包括以下步骤：

1)将目标样本图像分别输入T模型和S模型，以使T模型输出第一图像分割概率和第一图像分割标记，S模型输出第二图像分割概率和第二图像分割标记；

2)根据所述第一图像分割概率和所述第二图像分割概率确定蒸馏损失函数；

3)根据所述第一图像分割标记和所述第二图像分割标记确定第一分割损失函数；

4)将所述蒸馏损失函数和所述第一分割损失函数输入模型优化算法，以使模型优化算法输出新的模型权重；

5)根据新的模型权重，更新S模型的模型权重。

图3是根据一示例性实施例示出的一种模型训练方法的流程图。图3所示的模型训练方法与图1所示的模型训练方法的主要区别在于：对所述第二图像分割模型的训练作了进一步限定，具体地，所述目标样本图像包括预先标注的目标图像分割标记；所述根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型步骤，包括：根据所述蒸馏损失函数、所述第一分割损失函数和第二分割损失函数，训练所述第二图像分割模型，其中，所述第二分割损失函数根据所述第二图像分割标记和所述目标图像分割标记确定。这样，相比于图1所示的模型训练方法，图3所示的模型训练方法可以进一步利用第二分割损失函数对所述第二图像分割模型进行训练，从而可以增强所述第二图像分割模型的训练效果。

如图3所示，模型训练方法可以包括以下步骤：

在步骤S31中，将目标样本图像输入训练好的第一图像分割模型，以得到第一图像分割概率和第一图像分割标记，所述第一图像分割标记基于所述第一图像分割概率确定。

步骤S31与图1方法实施例中的步骤S11相同，具体可参考上述方法实施例中的描述，为避免重复，在此不再赘述。

在步骤S32中，将所述目标样本图像输入待训练的第二图像分割模型，以得到第二图像分割概率和第二图像分割标记，所述第二图像分割标记基于所述第二图像分割概率确定。

步骤S32与图1方法实施例中的步骤S12相同，具体可参考上述方法实施例中的描述，为避免重复，在此不再赘述。

在步骤S33中，根据所述第一图像分割概率和所述第二图像分割概率，确定蒸馏损失函数。

步骤S33与图1方法实施例中的步骤S12相同，具体可参考上述方法实施例中的描述，为避免重复，在此不再赘述。

在步骤S34中，根据所述第一图像分割标记和所述第二图像分割标记，确定第一分割损失函数。

步骤S34与图1方法实施例中的步骤S14相同，具体可参考上述方法实施例中的描述，为避免重复，在此不再赘述。

在步骤S35中，根据所述第二图像分割标记和所述目标图像分割标记，确定第二分割损失函数。

也就是说，所述第二分割损失函数基于所述第二图像分割模型输出的图像分割标记和所述目标样本图像包括的预先标注的目标图像分割标记确定。

具体实现时，所述第二分割损失函数可以为交叉熵函数。可选的，对于第i个目标样本图像x_i，第二分割损失函数L₂可以通过公式(3)计算得到：

L₂＝-[y_ilog f₄(x_i)+(1-y_i)log(1-f₄(x_i)] (3)

其中，y_i表示第i个目标样本图像包括的预先标注的目标图像分割标记。

在步骤S36中，根据所述蒸馏损失函数、所述第一分割损失函数和所述第二分割损失函数，训练所述第二图像分割模型。

步骤S36与图1方法实施例中的步骤S15类似，其区别在于：步骤S36在步骤S15的基础上，进一步引入所述第二分割损失函数，以增强所述第二图像分割模型的训练效果。步骤S36的具体实施可参考上述方法实施例S15中的描述，为避免重复，在此不再赘述。

为方便理解图3所示的模型训练方法，以下结合图4示例说明如下：

如图4所示，模型训练方法可以包括以下步骤：

1)将包括目标样本图像分别输入T模型和S模型，以使T模型输出第一图像分割概率和第一图像分割标记，S模型输出第二图像分割概率和第二图像分割标记；

4)根据所述第二图像分割标记和所述目标图像分割标记，确定第二分割损失函数。

5)将所述蒸馏损失函数、所述第一分割损失函数和所述第二分割损失函数输入模型优化算法，以使模型优化算法输出新的模型权重；

6)根据新的模型权重，更新S模型的模型权重。

在本实施例中，在图1方法实施例的基础上，同时利用目标样本图像包括的目标图像分割标记确定的第二分割损失函数对所述第二图像分割模型进行训练，可以进一步提高第二图像分割模型训练的准确度，进一步增强所述第二图像分割模型的训练效果。

在本实施例中，所述目标样本图像包括的目标图像分割标记可以通过不同的方式获取得到。可选的，所述目标图像分割标记由人工标注或由第三图像分割模型预测得到。

其中，所述第三图像分割模型可以为所述第一图像分割模型和所述第二图像分割模型之外的，任一可用于图像分割的图像分割模型。

相比于所述目标图像分割标记由人工标注，所述目标图像分割标记由其他图像分割模型通过处理不包括图像分割标记的样本数据得到，一方面，可以节省人工标注成本，降低目标样本图像获取的成本；另一方面，相比于利用人工标注，采用训练好的图像分割模型进行标注，可以降低标注的错误率，从而可以提高目标样本图像的可靠性。

在本公开实施例中，可选的，所述确定第一分割损失函数步骤之后，所述根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型步骤之前，所述方法还包括：

对所述第一分割损失函数进行平滑处理；

在本可选实施方式中，可对所述第一分割损失函数进行平滑处理，以弱化第一图像分割模型预测得到的图像分割标记中潜在错误标记在第一分割损失函数中的作用。这样，可以增强第二图像分割模型对错误图像分割标记的鲁棒性，进而提高第二图像分割模型的训练准确度。

具体实现时，可以根据第一图像分割模型预测得到的图像分割标记的质量，如准确率等，调节超参数，以控制所述第一分割损失函数的平滑程度。可选的，对于第i个目标样本图像x_i，平滑处理后的第一分割损失函数L₁可以通过公式(4)计算得到：

L₁＝-[(f₃(x_i)+ρ)log f₄(x_i)+(1-f₃(x_i)-ρ)log(1-f₄(x_i)] (4)

其中，ρ为控制平滑强度的超参数。这样做能够调节对于标记整体的信赖程度。当ρ＝0时，变为一般性无标签平滑(Label Smoothing，LS)的分割损失函数，即没有进行平滑处理的分割损失函数，在此情况下，公式(4)与公式(2)相同。

类似地，在利用第二分割损失函数训练第二图像分割模型之前，也可以对所述第二分割损失函数进行平滑处理，以利用平滑处理后的第二图像分割函数训练第二图像分割模型。可选的，对于第i个目标样本图像x_i，平滑处理后的第二分割损失函数L₂可以通过公式(5)计算得到：

L₂＝-[(y_i+ρ)log f₄(x_i)+(1-y_i-ρ)log(1-f₄(x_i)] (5)

当ρ＝0时，公式(5)与公式(3)相同。

在本公开实施例中，所述第一图像分割模型为训练好的模型。可选的，所述将目标样本图像输入训练好的第一图像分割模型之前，可以利用包括有人工标记的第四图像分割标记的第一样本图像对所述第一图像分割模型进行训练，得到训练好的第一图像分割模型。

可选的，如图5所示，可以通过以下方式对所述第一图像分割模型进行训练：

1)将包括第一样本图像输入第一图像分割模型，以使所述第一图像分割模型输出第五图像分割标记；

2)根据所述第四图像分割标记和所述第五图像分割标记确定第三分割损失函数。

3)将所述第三分割损失函数输入模型优化算法，以使模型优化算法输出新的模型权重；

4)根据新的模型权重，更新所述第一图像分割模型的模型权重。

需要说明的是，在某些实施方式中，电子设备可以直接获取到其他设备训练好的第一图像分割模型，这样，电子设备无需对第一图像分割模型进行训练，从而可以降低电子设备的运行负担。

需要说明的是，本发明实施例中介绍的多种可选的实施方式，在彼此不冲突的情况下可以相互结合实现，也可以单独实现，对此本发明实施例不作限定。

为方便理解，示例说明如下：

本公开实施例通过充分利用T模型的预测能力来提供高质量标记来提高S模型的训练准确度。

本公开实施例的模型训练方法可以包括以下步骤：

步骤一、利用已有数据训练一个复杂模型T。

此步可以采取与图5的方法，或者其他训练DNN模型的方式来训练T模型。这里与一般训练DNN模型的方法并无二致。首先对于需要处理的分割问题采集一定数据(照片或者视频)。之后对图像中需要分割的对象进行像素层面的标注，每一个像素会被标记为分割对象或者“背景”(此处背景可以是前景等不相关内容)。数据至少进一步随机分成样本图像和测试数据。第二步搭建一个适合自己问题的DNN模型。第三步，采用一般训练DNN模型的优化方法在样本图像上优化模型参数，并在测试数据上测试模型的准确度。本技术方案对于训练方法并没有具体要求，譬如过程中也可以通过LS来降低错误标记对模型的影响。

步骤二、利用T模型预测的分割来训练S模型。

在训练上线模型S时，本公开实施例采用T模型预测的分割标记来训练S模型，具体可参见图2。这样可以避免样本图像中错误的标记对训练S模型的影响。

此外，本公开实施例可以采用图4所示的模型训练方式对第二图像分割模型进行训练。

由图2和图4可知，本公开实施例新加入的一个损失函数是将LS的损失函数中的标记输入替换为T模型输出的图像分割标记。

本公开实施例带来的有益效果主要体现在可以在数据标签有错误的情况下显著提高上线模型的准确性。如：以头发分割为例对比了错误的人工分割标记，T模型的分割预测。其中人工标注错误地将手部也标注成为了头发，而T模型可以有效地分割手部和头发区域。这样，以T模型的预测来训练的S模型比仅以人工分割标记训练的模型在准确度上有提高。

此外，本公开实施例高度自动化，避免了人工再次核查标记数据，降低了人工标注成本。本方案的具体应用非常广泛，比如训练模型来讲图片里人体分割，人脸分割，头发分割，物体分割等等场景，均可以用本方案进一步优化结果，提高模型训练对错误标签的鲁棒性。

本公开实施例还提供一种图像分割方法，如图6所示，图像分割方法可包括以下步骤：

在步骤S61中，将待分割的第一图像输入第二图像分割模型，以得到第三图像分割标记。

其中，所述第二图像分割模型可以通过本公开实施例提供的图像分割模型训练方法训练得到。具体可参考前述描述，此处不再赘述。

在步骤S62中，根据所述第三图像分割标记，确定所述第一图像中的分割对象对应的目标区域。

通过上述方式，可以利用第二图像分割模型，确定第一图像中分割对象对应的目标区域。这样，可以利用目标区域的显示信息执行目标操作，以提高第一图像的利用率。

所述目标操作可以为识别操作，如：在分割对象为人脸的情况下，可以利用目标区域的显示信息进行人脸识别。

所述目标操作也可以为虚拟物品试用操作。可选的，所述确定所述第一图像中的分割对象对应的目标区域步骤之后，所述方法还包括：

具体实现时，所述第一输入可以为触控输入。在此情况下，在接收到所述第一输入的情况下，可以显示N个虚拟物品，N为正整数；在接收到针对所述N个虚拟物品的目标虚拟物品的触控输入或拖动输入的情况下，可以将所述目标虚拟物品映射到所述目标区域，通过改变所述目标区域的显示信息，实现虚拟物品的试用。

在显示屏同时显示有N个虚拟物品和所述第一图像，N为正整数的情况下，所述第一输入可以为：向所述目标区域拖动所述N个虚拟物品的目标虚拟物品的拖动输入；或，将所述N个虚拟物品的目标虚拟物品拖动至所述目标区域的拖动输入。在此情况下，在接收到所述第一输入的情况下，可以将所述目标虚拟物品映射到所述目标区域，通过改变所述目标区域的显示信息，实现虚拟物品的试用。

可以理解的是，虚拟物品可以与分割对象适配，如：在分割对象为脚部的情况下，虚拟物品可以为鞋子；在分割对象为头发的情况下，虚拟物品可以为发夹、假发或颜料等。

图7是根据一示例性实施例示出的一种图像分割模型训练装置框图。参照图7，图像分割模型训练装置700包括第一输入模块701，第二输入模块702，第一确定模块703，第二确定模块704和训练模块705。

第一输入模块701，被配置为将目标样本图像输入训练好的第一图像分割模型，以得到第一图像分割概率和第一图像分割标记，所述第一图像分割标记基于所述第一图像分割概率确定；

第二输入模块702，被配置为将所述目标样本图像输入待训练的第二图像分割模型，以得到第二图像分割概率和第二图像分割标记，所述第二图像分割标记基于所述第二图像分割概率确定；

第一确定模块703，被配置为根据所述第一图像分割概率和所述第二图像分割概率，确定蒸馏损失函数；

第二确定模块704，被配置为根据所述第一图像分割标记和所述第二图像分割标记，确定第一分割损失函数；

训练模块705，被配置为根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型；

所述图像分割模型训练装置700还包括：

所述训练模块705，被配置为根据所述蒸馏损失函数、所述第一分割损失函数和所述第二分割损失函数，训练所述第二图像分割模型。

可选的，所述图像分割模型训练装置700还包括：

所述训练模块705，被配置为根据所述蒸馏损失函数和平滑处理后的所述第一分割损失函数，训练所述第二图像分割模型。

关于上述实施例中的装置，其中各个单元执行操作的具体方式和有益效果已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种图像分割装置框图。参照图8，图像分割装置800包括第三输入模块801和第四确定模块802。

第三输入模块801，被配置为将待分割的第一图像输入第二图像分割模型，以得到第三图像分割标记；

第四确定模块802，被配置为根据所述第三图像分割标记，确定所述第一图像中的分割对象对应的目标区域；

其中，所述第二图像分割模型通过如权利要求1至4中任一项所述的图像分割模型训练方法训练得到。

可选的，所述图像分割装置800还包括：

图9是根据一示例性实施例示出的一种电子设备的框图。如图9所示，电子设备900包括：处理器901、存储器902、用户接口903和总线接口904。

处理器901被配置为执行所述指令，以实现图像分割模型训练方法或图像分割方法。

对于处理器901被配置为实现图像分割模型训练方法的情况：

处理器901，用于读取存储器902中的程序，执行下列过程：

可选的，处理器901，用于读取存储器902中的程序，执行下列过程：

对所述第一分割损失函数进行平滑处理；

对于处理器901被配置为实现图像分割方法的情况：

处理器901，用于读取存储器902中的程序，执行下列过程：

在图9中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器901代表的一个或多个处理器和存储器902代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口904提供接口。针对不同的用户设备，用户接口903还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。

处理器901负责管理总线架构和通常的处理，存储器902可以存储处理器901在执行操作时所使用的数据。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器904，上述指令可由网络设备的处理器901执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，包括：可执行指令，当所述可执行指令在计算机上运行时，使得计算机能够执行上述方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种图像分割模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述目标样本图像包括预先标注的目标图像分割标记；

3.根据权利要求2所述的方法，其特征在于，所述目标图像分割标记由人工标注或由第三图像分割模型预测得到。

4.根据权利要求1所述的方法，其特征在于，所述确定第一分割损失函数步骤之后，所述根据所述蒸馏损失函数和所述第一分割损失函数，训练所述第二图像分割模型步骤之前，所述方法还包括：

对所述第一分割损失函数进行平滑处理；

5.一种图像分割方法，其特征在于，所述方法包括：

6.根据权利要求5所述的方法，其特征在于，所述确定所述第一图像中的分割对象对应的目标区域步骤之后，所述方法还包括：

7.一种图像分割模型训练装置，其特征在于，所述图像分割模型训练装置包括：

8.一种图像分割装置，其特征在于，所述图像分割装置包括：

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的图像分割模型训练方法，或，如权利要求5或6所述的图像分割方法。

10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的图像分割模型训练方法，或，如权利要求5或6所述的图像分割方法。