CN111223102A - 一种图像分割模型训练方法、图像分割方法及装置 - Google Patents

Abstract

本申请提供了一种图像分割模型训练方法、图像分割方法及装置，其中，该方法包括：获取多个样本原图像及与样本原图像对应的样本标注图像；将样本原图像输入至主编码器，获取样本原图像的特征编码；将特征编码输入至主解码器得到样本原图像的第一图像分割结果、将特征编码输入至预先训练好的辅助解码器中得到样本原图像的第二图像分割结果；基于第一图像分割结果、第二图像分割结果及样本标注图像，对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器，将训练好的主编码器和主解码器作为图像分割模型。本申请实施例能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

Description

一种图像分割模型训练方法、图像分割方法及装置

技术领域

本申请涉及图像分割技术领域，具体而言，涉及一种图像分割模型训练方法、图像分割方法及装置。

背景技术

图像分割的目标是通过预测图像中每一个像素所属的类别或者物体，将一幅图像划分成若干个互不重叠的子区域，每个子区域代表了一类物体。随着近些年深度学习技术的不断进步，使得图像分割算法有了巨大的发展。但现有的图像分割方法仍然存在准确率低的问题。

发明内容

有鉴于此，本申请实施例的目的在于提供一种图像分割模型训练方法、图像分割方法及装置，能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

第一方面，本申请实施例提供了一种图像分割模型训练方法，包括：

获取多个样本原图像，以及与所述样本原图像对应的样本标注图像；

将所述样本原图像输入至主编码器中，获取所述样本原图像的特征编码；

将所述样本原图像的特征编码输入至主解码器得到所述样本原图像的第一图像分割结果、以及将所述样本原图像的特征编码输入至预先训练好的辅助解码器中得到所述样本原图像的第二图像分割结果；

基于所述第一图像分割结果和所述第二图像分割结果、以及所述样本标注图像，对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器，将训练好的所述主编码器和所述主解码器作为所述图像分割模型。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述样本标注图像，包括样本标注区域分割图像；所述辅助解码器，包括第一辅助解码器；所述第一辅助解码器对应有第一辅助编码器；

所述第一辅助解码器，采用下述方式训练得到：

将所述样本标注区域分割图像输入至所述第一辅助编码器中，获取所述样本标注区域分割图像的特征编码；

将所述样本标注区域分割图像的特征编码输入至所述第一辅助解码器中，获得所述样本标注区域分割图像的图像分割结果；

基于所述样本标注区域分割图像的图像分割结果，以及所述样本标注区域分割图像，对所述第一辅助解码器进行多轮训练，得到训练好的所述第一辅助解码器。

结合第一方面或第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述样本标注图像，包括样本标注轮廓分割图像；所述辅助解码器，包括第二辅助解码器；所述第二辅助解码器对应有第二辅助编码器；

所述第二辅助解码器，采用下述方式训练得到：

将所述样本标注轮廓分割图像输入至所述第二辅助编码器中，获取所述样本标注轮廓分割图像的特征编码；

将所述样本标注轮廓分割图像的特征编码输入至所述第二辅助解码器中，获得所述样本标注轮廓分割图像的图像分割结果；

基于所述样本标注轮廓分割图像的图像分割结果，以及所述样本标注轮廓分割图像，对所述第二辅助解码器进行多轮训练，得到训练好的所述第二辅助解码器。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述主解码器得到的第一图像分割结果为所述样本原图像的第一区域分割图像，所述第一辅助解码器得到的第二图像分割结果为所述样本原图像的第二区域分割图像；

所述基于所述第一图像分割结果和所述第二图像分割结果、以及所述样本标注图像，对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器，包括：

基于所述第一区域分割图像，以及所述样本标注区域分割图像，获得所述第一区域分割图像的第一误差；以及，基于所述第二区域分割图像，以及所述样本标注区域分割图像，获得所述第二区域分割图像的第二误差；

根据所述第一误差、所述第二误差、以及与所述第一误差对应的第一权重、与所述第二误差对应的第二权重，获得总误差；

基于所述总误差对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器。

结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述主解码器得到的第一图像分割结果为所述样本原图像的第一区域分割图像，所述第二辅助解码器得到的第二图像分割结果为所述样本原图像的第一轮廓分割图像；

所述样本标注图像，包括样本标注区域分割图像和样本标注轮廓分割图像；

所述基于所述第一图像分割结果和所述第二图像分割结果、以及所述样本标注图像，对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器，包括：

基于所述第一区域分割图像，以及所述样本标注区域分割图像，获得所述第一区域分割图像的第一误差；以及，基于所述第一轮廓分割图像，以及所述样本标注轮廓分割图像，获得所述第一轮廓分割图像的第二误差；

根据所述第一误差、所述第二误差、以及与所述第一误差对应的第一权重、与所述第二误差对应的第二权重，获得总误差；

基于所述总误差对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器。

结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第五种可能的实施方式，其中，所述主解码器得到的第一图像分割结果为所述样本原图像的第一区域分割图像，所述第一辅助解码器得到的第二图像分割结果为所述样本原图像的第二区域分割图像；所述第二辅助解码器得到的第二图像分割结果为所述样本原图像的第一轮廓分割图像；

所述样本标注图像，包括样本标注区域分割图像和样本标注轮廓分割图像；

所述基于所述第一图像分割结果和所述第二图像分割结果、以及所述样本标注图像，对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器，包括：

基于所述第一区域分割图像，以及所述样本标注区域分割图像，获得所述第一区域分割图像的第一误差；以及，基于所述第二区域分割图像，以及所述样本标注区域分割图像，获得所述第二区域分割图像的第二误差；以及，基于所述第一轮廓分割图像，以及所述样本标注轮廓分割图像，获得所述第一轮廓分割图像的第三误差；

根据所述第一误差、所述第二误差、所述第三误差、以及与所述第一误差对应的第一权重、与所述第二误差对应的第二权重、与所述第三误差对应的第三权重，获得总误差；

基于所述总误差对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器。

第二方面，本申请实施例提供了一种图像分割方法，包括：

获取待分割图像；

将所述待分割图像输入至如第一方面和第一方面的第一种可能的实施方式至第五种可能的实施方式的任意一项所述的图像分割模型训练方法所得到的图像分割模型中，获取所述待分割图像的图像分割结果。

结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述将所述待分割图像输入至如第一方面和第一方面的第一种可能的实施方式至第五种可能的实施方式的任意一项所述的图像分割模型训练方法所得到的图像分割模型中，获取所述待分割图像的图像分割结果，包括：

将所述待分割图像输入至如第一方面和第一方面的第一种可能的实施方式至第五种可能的实施方式的任意一项所述的图像分割模型训练方法所得到的所述主编码器中，获得所述待分割图像的特征编码；

将所述待分割图像的特征编码输入至所述主解码器中，获取所述待分割图像的图像分割结果。

第三方面，本申请实施例提供了一种图像分割模型训练装置，包括：

第一获取模块，用于获取多个样本原图像，以及与所述样本原图像对应的样本标注图像；

第一处理模块，用于将所述样本原图像输入至主编码器中，获取所述样本原图像的特征编码；

第二处理模块，用于将所述样本原图像的特征编码输入至主解码器得到所述样本原图像的第一图像分割结果、以及将所述样本原图像的特征编码输入至预先训练好的辅助解码器中得到所述样本原图像的第二图像分割结果；

训练模块，用于基于所述第一图像分割结果和所述第二图像分割结果、以及所述样本标注图像，对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器，将训练好的所述主编码器和所述主解码器作为所述图像分割模型。

第四方面，本申请实施例提供了一种图像分割装置，包括：

第二获取模块，用于获取待分割图像；

图像分割结果获取模块，用于将所述待分割图像输入至如权利要求1-6任意一项所述的图像分割模型训练方法所得到的图像分割模型中，获取所述待分割图像的图像分割结果。

本申请实施例提供的一种图像分割模型训练方法、图像分割方法及装置，在模型训练的时候，首先获取多个样本原图像，以及与所述样本原图像对应的样本标注图像；然后将所述样本原图像输入至主编码器中，获取所述样本原图像的特征编码；将所述样本原图像的特征编码输入至主解码器得到所述样本原图像的第一图像分割结果、以及将所述样本原图像的特征编码输入至预先训练好的辅助解码器中得到所述样本原图像的第二图像分割结果；最后基于所述第一图像分割结果和所述第二图像分割结果、以及所述样本标注图像，对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器，将训练好的所述主编码器和所述主解码器作为所述图像分割模型。本申请实施例能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种图像分割模型训练方法的流程图；

图2示出了本申请实施例所提供的图像分割模型训练方法中，第一辅助解码器训练方法的流程图；

图3示出了本申请实施例所提供的图像分割模型训练方法中，第二辅助解码器训练方法的流程图；

图4示出了本申请实施例所提供的图像分割模型训练方法中，主编码器和主解码器第一种训练方法的流程图；

图5示出了本申请实施例所提供的图像分割模型训练方法中，主编码器和主解码器第二种训练方法的流程图；

图6示出了本申请实施例所提供的图像分割模型训练方法中，主编码器和主解码器第三种训练方法的流程图；

图7示出了本申请实施例所提供的一种图像分割方法的流程图；

图8示出了本申请实施例所提供的一种图像分割模型训练装置的结构示意图；

图9示出了本申请实施例所提供的一种图像分割装置的结构示意图；

图10示出了本申请实施例所提供的一种计算机设备的结构示意图；

图11示出了本申请实施例所提供的另一种计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前现有的图像分割方法仍然存在准确率低的问题，基于此，本申请提供的一种图像分割模型训练方法、图像分割方法及装置，能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

现有的图像分割算法在训练网络模型时，通常将人工标注数据作为监督信息，通过计算标注数据与模型输出之间的损失来驱动网络训练。本申请提出了一种新的训练策略，加入标注数据中包含的语义结构信息作为约束来辅助模型训练，从而提高了图像分割方法的准确率。

本申请实施例采用的图像分割模型为自动编码器，自动编码器由编码器和解码器组成。编码器对原图像进行编码，得到特征编码，解码器对特征编码进行解码，得到原图像的图像分割结果。

为便于对本实施例进行理解，首先对本申请实施例所公开的一种图像分割模型训练方法进行详细介绍。

参见图1所示，本申请实施例所提供的图像分割模型训练方法包括S101～S104：

S101：获取多个样本原图像，以及与样本原图像对应的样本标注图像。

S102：将样本原图像输入至主编码器中，获取样本原图像的特征编码。

S103：将样本原图像的特征编码输入至主解码器得到样本原图像的第一图像分割结果、以及将样本原图像的特征编码输入至预先训练好的辅助解码器中得到样本原图像的第二图像分割结果。

具体实现的时候，辅助编码器可以包括第一辅助编码器和/或第二辅助编码器。

可选地，针对辅助编码器只包括第一辅助编码器的情况，样本标注图像，包括样本标注区域分割图像，样本标注区域分割图像指的是将样本原图像中的各个区域标注出来。第一辅助解码器对应有第一辅助编码器。参见图2所示，本申请实施例采用下述方式训练得到第一辅助解码器：

S201：将样本标注区域分割图像输入至第一辅助编码器中，获取样本标注区域分割图像的特征编码。

S202：将样本标注区域分割图像的特征编码输入至第一辅助解码器中，获得样本标注区域分割图像的图像分割结果。

S203：基于样本标注区域分割图像的图像分割结果，以及样本标注区域分割图像，对第一辅助解码器进行多轮训练，得到训练好的第一辅助解码器。

可选地，针对辅助编码器只包括第二辅助编码器的情况，样本标注图像，包括样本标注轮廓分割图像，样本标注轮廓分割图像指的是将样本原图像中的各个区域的轮廓标注出来。第二辅助解码器对应有第二辅助编码器。参见图3所示，本申请实施例采用下述方式训练得到第二辅助解码器：

S301：将样本标注轮廓分割图像输入至第二辅助编码器中，获取样本标注轮廓分割图像的特征编码。

S302：将样本标注轮廓分割图像的特征编码输入至第二辅助解码器中，获得样本标注轮廓分割图像的图像分割结果。

S303：基于样本标注轮廓分割图像的图像分割结果，以及样本标注轮廓分割图像，对第二辅助解码器进行多轮训练，得到训练好的第二辅助解码器。

可选地，针对辅助编码器包括第一辅助编码器和第一辅助编码器的情况，样本标注图像，包括样本标注区域分割图像和样本标注轮廓分割图像。其中，第一辅助编码器和第一辅助编码器的训练过程参见图2和图3。

通过上述步骤得到样本原图像的第一图像分割结果、第二图像分割结果后，本申请实施例提供的图像分割模型训练方法还包括步骤S104。

S104：基于第一图像分割结果和第二图像分割结果、以及样本标注图像，对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器，将训练好的主编码器和主解码器作为图像分割模型。

具体实现的时候，可选地，针对辅助编码器只包括第一辅助编码器的情况，主解码器得到的第一图像分割结果为样本原图像的第一区域分割图像，第一辅助解码器得到的第二图像分割结果为样本原图像的第二区域分割图像。参见图4所示，本申请实施例通过下述步骤得到训练好的主编码器和主解码器：

S401：基于第一区域分割图像，以及样本标注区域分割图像，获得第一区域分割图像的第一误差；以及，基于第二区域分割图像，以及样本标注区域分割图像，获得第二区域分割图像的第二误差。

S402：根据第一误差、第二误差、以及与第一误差对应的第一权重、与第二误差对应的第二权重，获得总误差。

其中，总误差为第一误差与第一权重的乘积和第二误差与第二权重的乘积之和。可选地，由于第一误差是作为主误差、第二误差是作为辅助对主编码器和主解码器进行训练，因此，可以使第一权重的值大于第二权重的值。

S403：基于总误差对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器。

可选地，针对辅助编码器只包括第二辅助编码器的情况，主解码器得到的第一图像分割结果为样本原图像的第一区域分割图像，第二辅助解码器得到的第二图像分割结果为样本原图像的第一轮廓分割图像；样本标注图像，包括样本标注区域分割图像和样本标注轮廓分割图像。参见图5所示，本申请实施例通过下述步骤得到训练好的主编码器和主解码器：

S501：基于第一区域分割图像，以及样本标注区域分割图像，获得第一区域分割图像的第一误差；以及，基于第一轮廓分割图像，以及样本标注轮廓分割图像，获得第一轮廓分割图像的第二误差。

S502：根据第一误差、第二误差、以及与第一误差对应的第一权重、与第二误差对应的第二权重，获得总误差。

其中，总误差为第一误差与第一权重的乘积和第二误差与第二权重的乘积之和。可选地，由于第一误差是作为主误差、第二误差是作为辅助对主编码器和主解码器进行训练，因此，可以使第一权重的值大于第二权重的值。

S503：基于总误差对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器。

可选地，针对辅助编码器包括第一辅助编码器和第二辅助编码器的情况，主解码器得到的第一图像分割结果为样本原图像的第一区域分割图像，第一辅助解码器得到的第二图像分割结果为样本原图像的第二区域分割图像，第二辅助解码器得到的第二图像分割结果为样本原图像的第一轮廓分割图像；样本标注图像，包括样本标注区域分割图像和样本标注轮廓分割图像。参见图6所示，本申请实施例通过下述步骤得到训练好的主编码器和主解码器：

S601：基于第一区域分割图像，以及样本标注区域分割图像，获得第一区域分割图像的第一误差；以及，基于第二区域分割图像，以及样本标注区域分割图像，获得第二区域分割图像的第二误差；以及，基于第一轮廓分割图像，以及样本标注轮廓分割图像，获得第一轮廓分割图像的第三误差。

S602：根据第一误差、第二误差、第三误差、以及与第一误差对应的第一权重、与第二误差对应的第二权重、与第三误差对应的第三权重，获得总误差。

其中，总误差为第一误差与第一权重的乘积、第二误差与第二权重的乘积和第三误差与第三权重的乘积之和。可选地，由于第一误差是作为主误差、第二误差和第三误差是作为辅助对主编码器和主解码器进行训练，因此，可以使第一权重的值大于第二权重和第三权重的值。

S603：基于总误差对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器。

本申请实施例提供的图像分割模型训练方法，首先获取多个样本原图像，以及与样本原图像对应的样本标注图像；然后将样本原图像输入至主编码器中，获取样本原图像的特征编码；将样本原图像的特征编码输入至主解码器得到样本原图像的第一图像分割结果、以及将样本原图像的特征编码输入至预先训练好的辅助解码器中得到样本原图像的第二图像分割结果；最后基于第一图像分割结果和第二图像分割结果、以及样本标注图像，对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器，将训练好的主编码器和主解码器作为图像分割模型。本申请实施例能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

参见图7所示，本申请实施例还提供一种图像分割方法包括：

S701：获取待分割图像；

S702：将待分割图像输入至如本申请实施例提供的图像分割模型训练方法所得到的图像分割模型中，获取待分割图像的图像分割结果。

具体实现的时候，首先将待分割图像输入至本申请实施例提供的图像分割模型训练方法所得到的主编码器中，获得待分割图像的特征编码；然后将待分割图像的特征编码输入至主解码器中，获取待分割图像的图像分割结果。

本申请实施例提供的图像分割方法，在模型训练的时候，首先获取多个样本原图像，以及与样本原图像对应的样本标注图像；然后将样本原图像输入至主编码器中，获取样本原图像的特征编码；将样本原图像的特征编码输入至主解码器得到样本原图像的第一图像分割结果、以及将样本原图像的特征编码输入至预先训练好的辅助解码器中得到样本原图像的第二图像分割结果；最后基于第一图像分割结果和第二图像分割结果、以及样本标注图像，对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器，将训练好的主编码器和主解码器作为图像分割模型。本申请实施例能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

基于同一发明构思，本申请实施例中还提供了与图像分割模型训练方法对应的图像分割模型训练装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述图像分割模型训练方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参见图8所示，本申请实施例所提供的图像分割模型训练装置，包括：

第一获取模块81，用于获取多个样本原图像，以及与样本原图像对应的样本标注图像；

第一处理模块82，用于将样本原图像输入至主编码器中，获取样本原图像的特征编码；

第二处理模块83，用于将样本原图像的特征编码输入至主解码器得到样本原图像的第一图像分割结果、以及将样本原图像的特征编码输入至预先训练好的辅助解码器中得到样本原图像的第二图像分割结果；

训练模块84，用于基于第一图像分割结果和第二图像分割结果、以及样本标注图像，对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器，将训练好的主编码器和主解码器作为图像分割模型。

可选地，样本标注图像，包括样本标注区域分割图像；辅助解码器，包括第一辅助解码器；第一辅助解码器对应有第一辅助编码器；第二处理模块83，具体用于采用下述方式训练得到第一辅助解码器：

将样本标注区域分割图像输入至第一辅助编码器中，获取样本标注区域分割图像的特征编码；

将样本标注区域分割图像的特征编码输入至第一辅助解码器中，获得样本标注区域分割图像的图像分割结果；

基于样本标注区域分割图像的图像分割结果，以及样本标注区域分割图像，对第一辅助解码器进行多轮训练，得到训练好的第一辅助解码器。

可选地，样本标注图像，包括样本标注轮廓分割图像；辅助解码器，包括第二辅助解码器；第二辅助解码器对应有第二辅助编码器；第二处理模块83，具体用于采用下述方式训练得到第二辅助解码器：

将样本标注轮廓分割图像输入至第二辅助编码器中，获取样本标注轮廓分割图像的特征编码；

将样本标注轮廓分割图像的特征编码输入至第二辅助解码器中，获得样本标注轮廓分割图像的图像分割结果；

基于样本标注轮廓分割图像的图像分割结果，以及样本标注轮廓分割图像，对第二辅助解码器进行多轮训练，得到训练好的第二辅助解码器。

可选地，主解码器得到的第一图像分割结果为样本原图像的第一区域分割图像，第一辅助解码器得到的第二图像分割结果为样本原图像的第二区域分割图像；训练模块84，具体用于采用下述方式得到训练好的主编码器和主解码器：

基于第一区域分割图像，以及样本标注区域分割图像，获得第一区域分割图像的第一误差；以及，基于第二区域分割图像，以及样本标注区域分割图像，获得第二区域分割图像的第二误差；

根据第一误差、第二误差、以及与第一误差对应的第一权重、与第二误差对应的第二权重，获得总误差；

基于总误差对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器。

可选地，主解码器得到的第一图像分割结果为样本原图像的第一区域分割图像，第二辅助解码器得到的第二图像分割结果为样本原图像的第一轮廓分割图像；样本标注图像，包括样本标注区域分割图像和样本标注轮廓分割图像；训练模块84，具体用于采用下述方式得到训练好的主编码器和主解码器：

基于第一区域分割图像，以及样本标注区域分割图像，获得第一区域分割图像的第一误差；以及，基于第一轮廓分割图像，以及样本标注轮廓分割图像，获得第一轮廓分割图像的第二误差；

根据第一误差、第二误差、以及与第一误差对应的第一权重、与第二误差对应的第二权重，获得总误差；

基于总误差对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器。

可选地，主解码器得到的第一图像分割结果为样本原图像的第一区域分割图像，第一辅助解码器得到的第二图像分割结果为样本原图像的第二区域分割图像；第二辅助解码器得到的第二图像分割结果为样本原图像的第一轮廓分割图像；样本标注图像，包括样本标注区域分割图像和样本标注轮廓分割图像；训练模块84，具体用于采用下述方式得到训练好的主编码器和主解码器：

基于第一区域分割图像，以及样本标注区域分割图像，获得第一区域分割图像的第一误差；以及，基于第二区域分割图像，以及样本标注区域分割图像，获得第二区域分割图像的第二误差；以及，基于第一轮廓分割图像，以及样本标注轮廓分割图像，获得第一轮廓分割图像的第三误差；

根据第一误差、第二误差、第三误差、以及与第一误差对应的第一权重、与第二误差对应的第二权重、与第三误差对应的第三权重，获得总误差；

基于总误差对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器。

本申请实施例提供的图像分割模型训练装置，在模型训练的时候，首先获取多个样本原图像，以及与样本原图像对应的样本标注图像；然后将样本原图像输入至主编码器中，获取样本原图像的特征编码；将样本原图像的特征编码输入至主解码器得到样本原图像的第一图像分割结果、以及将样本原图像的特征编码输入至预先训练好的辅助解码器中得到样本原图像的第二图像分割结果；最后基于第一图像分割结果和第二图像分割结果、以及样本标注图像，对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器，将训练好的主编码器和主解码器作为图像分割模型。本申请实施例能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

基于同一发明构思，本申请实施例中还提供了与图像分割方法对应的图像分割装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述图像分割方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参见图9所示，本申请实施例所提供的图像分割装置，包括：

第二获取模块91，用于获取待分割图像；

图像分割结果获取模块92，用于将待分割图像输入至本申请实施例提供的图像分割模型训练方法所得到的图像分割模型中，获取待分割图像的图像分割结果。

可选地，图像分割结果获取模块92，具体用于将待分割图像输入至本申请实施例提供的图像分割模型训练方法所得到的主编码器中，获得待分割图像的特征编码；

将待分割图像的特征编码输入至主解码器中，获取待分割图像的图像分割结果。

本申请实施例提供的图像分割装置，在模型训练的时候，首先获取多个样本原图像，以及与样本原图像对应的样本标注图像；然后将样本原图像输入至主编码器中，获取样本原图像的特征编码；将样本原图像的特征编码输入至主解码器得到样本原图像的第一图像分割结果、以及将样本原图像的特征编码输入至预先训练好的辅助解码器中得到样本原图像的第二图像分割结果；最后基于第一图像分割结果和第二图像分割结果、以及样本标注图像，对主编码器和主解码器进行多轮训练，得到训练好的主编码器和主解码器，将训练好的主编码器和主解码器作为图像分割模型。本申请实施例能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述图像分割装置模型训练方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述图像分割装置模型训练方法，从而能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

本申请实施例还提供了另一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述图像分割方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述图像分割方法，从而能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

对应于图1中的图像分割模型训练方法，本申请实施例还提供了一种计算机设备，如图10所示，该设备包括存储器1000、处理器2000及存储在该存储器1000上并可在该处理器2000上运行的计算机程序，其中，上述处理器2000执行上述计算机程序时实现上述图像分割模型训练方法的步骤。

具体地，上述存储器1000和处理器2000能够为通用的存储器和处理器，这里不做具体限定，当处理器2000运行存储器1000存储的计算机程序时，能够执行上述图像分割模型训练方法，从而能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

对应于图7中的图像分割方法，本申请实施例还提供了另一种计算机设备，如图11所示，该设备包括存储器3000、处理器4000及存储在该存储器3000上并可在该处理器4000上运行的计算机程序，其中，上述处理器4000执行上述计算机程序时实现上述图像分割方法的步骤。

具体地，上述存储器3000和处理器4000能够为通用的存储器和处理器，这里不做具体限定，当处理器4000运行存储器3000存储的计算机程序时，能够执行上述图像分割方法，从而能够通过充分利用人工标注数据中所包含的丰富信息去影响图像分割模型的训练过程，提高图像分割的准确率。

本申请实施例所提供的图像分割模型训练方法、图像分割方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像分割模型训练方法，其特征在于，包括：

获取多个样本原图像，以及与所述样本原图像对应的样本标注图像；

将所述样本原图像输入至主编码器中，获取所述样本原图像的特征编码；

将所述样本原图像的特征编码输入至主解码器得到所述样本原图像的第一图像分割结果、以及将所述样本原图像的特征编码输入至预先训练好的辅助解码器中得到所述样本原图像的第二图像分割结果；

基于所述第一图像分割结果和所述第二图像分割结果、以及所述样本标注图像，对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器，将训练好的所述主编码器和所述主解码器作为所述图像分割模型。

2.根据权利要求1所述的方法，其特征在于，所述样本标注图像，包括样本标注区域分割图像；所述辅助解码器，包括第一辅助解码器；所述第一辅助解码器对应有第一辅助编码器；

所述第一辅助解码器，采用下述方式训练得到：

将所述样本标注区域分割图像输入至所述第一辅助编码器中，获取所述样本标注区域分割图像的特征编码；

将所述样本标注区域分割图像的特征编码输入至所述第一辅助解码器中，获得所述样本标注区域分割图像的图像分割结果；

基于所述样本标注区域分割图像的图像分割结果，以及所述样本标注区域分割图像，对所述第一辅助解码器进行多轮训练，得到训练好的所述第一辅助解码器。

3.根据权利要求1或2所述的方法，其特征在于，所述样本标注图像，包括样本标注轮廓分割图像；所述辅助解码器，包括第二辅助解码器；所述第二辅助解码器对应有第二辅助编码器；

所述第二辅助解码器，采用下述方式训练得到：

将所述样本标注轮廓分割图像输入至所述第二辅助编码器中，获取所述样本标注轮廓分割图像的特征编码；

将所述样本标注轮廓分割图像的特征编码输入至所述第二辅助解码器中，获得所述样本标注轮廓分割图像的图像分割结果；

基于所述样本标注轮廓分割图像的图像分割结果，以及所述样本标注轮廓分割图像，对所述第二辅助解码器进行多轮训练，得到训练好的所述第二辅助解码器。

4.根据权利要求2所述的方法，其特征在于，所述主解码器得到的第一图像分割结果为所述样本原图像的第一区域分割图像，所述第一辅助解码器得到的第二图像分割结果为所述样本原图像的第二区域分割图像；

所述基于所述第一图像分割结果和所述第二图像分割结果、以及所述样本标注图像，对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器，包括：

基于所述第一区域分割图像，以及所述样本标注区域分割图像，获得所述第一区域分割图像的第一误差；以及，基于所述第二区域分割图像，以及所述样本标注区域分割图像，获得所述第二区域分割图像的第二误差；

根据所述第一误差、所述第二误差、以及与所述第一误差对应的第一权重、与所述第二误差对应的第二权重，获得总误差；

基于所述总误差对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器。

5.根据权利要求3所述的方法，其特征在于，所述主解码器得到的第一图像分割结果为所述样本原图像的第一区域分割图像，所述第二辅助解码器得到的第二图像分割结果为所述样本原图像的第一轮廓分割图像；

所述样本标注图像，包括样本标注区域分割图像和样本标注轮廓分割图像；

所述基于所述第一图像分割结果和所述第二图像分割结果、以及所述样本标注图像，对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器，包括：

基于所述第一区域分割图像，以及所述样本标注区域分割图像，获得所述第一区域分割图像的第一误差；以及，基于所述第一轮廓分割图像，以及所述样本标注轮廓分割图像，获得所述第一轮廓分割图像的第二误差；

根据所述第一误差、所述第二误差、以及与所述第一误差对应的第一权重、与所述第二误差对应的第二权重，获得总误差；

基于所述总误差对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器。

6.根据权利要求3所述的方法，其特征在于，所述主解码器得到的第一图像分割结果为所述样本原图像的第一区域分割图像，所述第一辅助解码器得到的第二图像分割结果为所述样本原图像的第二区域分割图像；所述第二辅助解码器得到的第二图像分割结果为所述样本原图像的第一轮廓分割图像；

所述样本标注图像，包括样本标注区域分割图像和样本标注轮廓分割图像；

所述基于所述第一图像分割结果和所述第二图像分割结果、以及所述样本标注图像，对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器，包括：

基于所述第一区域分割图像，以及所述样本标注区域分割图像，获得所述第一区域分割图像的第一误差；以及，基于所述第二区域分割图像，以及所述样本标注区域分割图像，获得所述第二区域分割图像的第二误差；以及，基于所述第一轮廓分割图像，以及所述样本标注轮廓分割图像，获得所述第一轮廓分割图像的第三误差；

根据所述第一误差、所述第二误差、所述第三误差、以及与所述第一误差对应的第一权重、与所述第二误差对应的第二权重、与所述第三误差对应的第三权重，获得总误差；

基于所述总误差对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器。

7.一种图像分割方法，其特征在于，包括：

获取待分割图像；

将所述待分割图像输入至如权利要求1-6任意一项所述的图像分割模型训练方法所得到的图像分割模型中，获取所述待分割图像的图像分割结果。

8.根据权利要求7所述的方法，其特征在于，所述将所述待分割图像输入至如权利要求1-6任意一项所述的图像分割模型训练方法所得到的图像分割模型中，获取所述待分割图像的图像分割结果，包括：

将所述待分割图像输入至如权利要求1-6任意一项所述的图像分割模型训练方法所得到的所述主编码器中，获得所述待分割图像的特征编码；

将所述待分割图像的特征编码输入至所述主解码器中，获取所述待分割图像的图像分割结果。

9.一种图像分割模型训练装置，其特征在于，包括：

第一获取模块，用于获取多个样本原图像，以及与所述样本原图像对应的样本标注图像；

第一处理模块，用于将所述样本原图像输入至主编码器中，获取所述样本原图像的特征编码；

第二处理模块，用于将所述样本原图像的特征编码输入至主解码器得到所述样本原图像的第一图像分割结果、以及将所述样本原图像的特征编码输入至预先训练好的辅助解码器中得到所述样本原图像的第二图像分割结果；

训练模块，用于基于所述第一图像分割结果和所述第二图像分割结果、以及所述样本标注图像，对所述主编码器和所述主解码器进行多轮训练，得到训练好的所述主编码器和所述主解码器，将训练好的所述主编码器和所述主解码器作为所述图像分割模型。

10.一种图像分割装置，其特征在于，包括：

第二获取模块，用于获取待分割图像；

图像分割结果获取模块，用于将所述待分割图像输入至如权利要求1-6任意一项所述的图像分割模型训练方法所得到的图像分割模型中，获取所述待分割图像的图像分割结果。

Images