CN115984566A - 图像分割模型的训练及图像分割方法、装置、设备和介质 - Google Patents

Abstract

本公开提供了一种图像分割模型的训练及图像分割方法、装置、设备和介质，涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于OCR文字识别场景。具体实现方案为：对样本图像进行前景轮廓检测，并根据检测结果确定所述样本图像中的背景区域、前景区域以及所述前景区域的轮廓区域；获取分别对所述背景区域、所述前景区域以及所述轮廓区域中像素点进行标注的标准像素类型，并根据所述样本图像以及所述标准像素类型，对待训练模型进行训练生成图像分割模型。本公开实现了提高图像分割模型进行图像分割时的分割精准度的效果。

Description

图像分割模型的训练及图像分割方法、装置、设备和介质

技术领域

本公开涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于OCR文字识别场景，特别涉及一种图像分割模型的训练及图像分割方法、装置、设备和介质。

背景技术

图像分割是图像处理与计算机视觉中极为重要的一种分析图像的方法，它的目的是找到图像中所需目标物体(前景)的具体位置，从而可以对目标物体的属性进行测量，例如面积、直径或形状等属性。

发明内容

本公开提供了一种用于提高图像分割精准度的图像分割模型的训练及图像分割方法、装置、设备和介质。

根据本公开的一方面，提供了一种图像分割模型的训练方法，包括：

对样本图像进行前景轮廓检测，并根据检测结果确定所述样本图像中的背景区域、前景区域以及所述前景区域的轮廓区域；

获取分别对所述背景区域、所述前景区域以及所述轮廓区域中像素点进行标注的标准像素类型，并根据所述样本图像以及所述标准像素类型，对待训练模型进行训练生成图像分割模型。

根据本公开的另一方面，提供了一种图像分割方法，包括：

获取待分割图像；

将所述待分割图像输入至图像分割模型中，并根据所述图像分割模型的输出结果，确定所述待分割图像中的背景区域、前景区域以及所述前景区域的轮廓区域；

其中，所述图像分割模型采用如本公开所提供的图像分割模型的训练方法训练得到。

根据本公开的另一方面，提供了一种图像分割模型的训练装置，包括：

图像区域确定模块，用于对样本图像进行前景轮廓检测，并根据检测结果确定所述样本图像中的背景区域、前景区域以及所述前景区域的轮廓区域；

模型训练模块，用于获取分别对所述背景区域、所述前景区域以及所述轮廓区域中像素点进行标注的标准像素类型，并根据所述样本图像以及所述标准像素类型，对待训练模型进行训练生成图像分割模型。

根据本公开的另一方面，提供了一种图像分割装置，包括：

图像获取模块，用于获取待分割图像；

图像分割模块，用于将所述待分割图像输入至图像分割模型中，并根据所述图像分割模型的输出结果，确定所述待分割图像中的背景区域、前景区域以及所述前景区域的轮廓区域；

其中，所述图像分割模型采用如本公开所提供的图像分割模型的训练方法训练得到。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开中任一项的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开中任一项的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开中任一项的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1A是根据本公开实施例公开的一些图像分割模型的训练方法的流程图；

图1B是根据本公开实施例公开的一些图像区域的示意图；

图2是根据本公开实施例公开的另一些图像分割模型的训练方法的流程图；

图3是根据本公开实施例公开的一些图像分割方法的流程图；

图4是根据本公开实施例公开的一些图像分割模型的训练装置的结构示意图；

图5是根据本公开实施例公开的一些图像分割装置的结构示意图；

图6是用来实现本公开实施例公开的图像分割模型的训练方法和/或图像分割方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前具有众多的方法能够实现图像分割，其中，基于图像分割模型的方法就是这众多方法中的一种。

现有技术在图像分割模型的训练过程中，通常是对样本图像进行二分类标注，即在样本图像中对于“前景区域”和“背景区域”中的像素点进行标注。

然而，通过这种训练方式训练得到的图像分割模型虽然也具备图像分割能力，但是由于训练过程中仅对样本图像中“前景区域”和“背景区域”中的像素点进行标注，这就使得图像分割模型缺乏对于“前景区域”的轮廓区域的识别能力，从而导致“前景区域”的分割效果较差，也间接导致“背景区域”的分割效果检查，造成图像分割的精准度较低的问题。

图1A是根据本公开实施例公开的一些图像分割模型的训练方法的流程图，本实施例可以适用于训练生成图像分割模型的情况。本实施例方法可以由本公开实施例公开的图像分割模型的训练装置来执行，所述装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。

如图1A所示，本实施例公开的图像分割模型的训练方法可以包括：

S101、对样本图像进行前景轮廓检测，并根据检测结果确定样本图像中的背景区域、前景区域以及前景区域的轮廓区域。

其中，样本图像表示训练图像分割模型所需的训练图像数据集，样本图像可以从公开的训练图像数据库中获取得到，也可以从本地端存储的图像中获取得到，还可以采用信息爬取技术从互联网的图像库中获取得到等，本实施例并不对样本图像的获取方式进行限定。样本图像的图像格式包括但不限于JEPG格式、TIFF格式、RAW格式、BMP格式和PNG中的一种或多种。

前景区域表示样本图像中主体实体所覆盖的图像区域，例如假设样本图像中一张检查单为主体实体，则该检查单所覆盖的图像区域即为前景区域。背景区域则表示样本图像中除主体实体外的其他实体所覆盖的图像区域。前景区域的轮廓区域则表示前景区域与背景区域之间的连接区域，也即根据样本图像中主体实体的实体轮廓线所确定的图像区域。

在一种实施方式中，获取样本图像，并采用预设的轮廓检测算法对样本图像的前景区域进行前景轮廓检测，确定前景区域的前景轮廓线，例如包括但不限于通过调用OpenCV函数的方式对样本图像的前景区域进行前景轮廓检测，确定前景区域的前景轮廓线。

根据前景轮廓线从样本图像中确定前景区域的轮廓区域，其中，可以是将前景轮廓线所覆盖的图像区域作为轮廓区域，还可以是将前景轮廓线所覆盖图像区域的延伸图像区域作为轮廓区域，如前景轮廓线的外扩图像区域和/或内缩图像区域等。

在样本图像中确定前景区域的轮廓区域之后，根据轮廓区域在样本图像中的图像区域坐标，即可以在样本图像中确定前景区域，进而从样本图像剩余的图像区域中确定背景区域。

通过对样本图像进行前景轮廓检测，并根据检测结果确定样本图像中的背景区域、前景区域以及前景区域的轮廓区域，实现了数据准备的效果，为后续对背景区域、前景区域以及轮廓区域中像素点进行标注，奠定了数据基础。

S102、获取分别对背景区域、前景区域以及轮廓区域中像素点进行标注的标准像素类型，并根据样本图像以及标准像素类型，对待训练模型进行训练生成图像分割模型。

其中，标准像素类型体现了样本图像中各像素点真实所属的图像区域，即所属图像区域不同的像素点，标注有不同的标准像素类型，而所属图像区域相同的像素点，标注有相同的标准像素类型。图像区域为背景区域、前景区域或轮廓区域。

例如，所属背景区域的像素点与所属前景区域的像素点，标注有不同的标准像素类型；所属背景区域的像素点与所属轮廓区域的像素点，标注有不同的标准像素类型；所属前景区域的像素点与所属轮廓区域的像素点，标注有不同的标准像素类型。又例如，同是所属背景区域的像素点，标注有相同的标准像素类型；同是所属前景区域的像素点，标注有相同的标准像素类型；同是所属轮廓区域的像素点，标注有相同的标准像素类型。

在一种实施方式中，获取对背景区域中各像素点进行标注的第一标准像素类型，获取对前景区域中各像素点进行标注的第二标准像素类型，获取对轮廓区域中各像素点进行标注的第三标准像素类型。其中，对各像素点进行标注的方式可以是人工标注方式，也可以是自动标注方式，本实施例并不对标注的具体方式进行限定。

示例性的，对背景区域中各像素点进行标注的第一标准像素类型为“0”，对前景区域中各像素点进行标注的第二标准像素类型为“1”，对轮廓区域中各像素点进行标注的第三标准像素类型为“2”。本实施例仅以“0”、“1”和“2”为例对各像素点的标准像素类型进行解释说明，而并非对标准像素类型的具体形式进行限定。

将样本图像输入至待训练模型中，并获取待训练模型输出的各像素点的预测像素类型，进而根据各像素点的预测像素类型以及标准像素类型，采用预设的损失函数进行损失总值的计算，进而根据损失总值采用反向传播技术对待训练模型的模型参数进行调整。并且，继续将样本图像输入至待训练模型中再次进行损失总值的计算，并继续根据损失总值采用反向传播技术对待训练模型的模型参数进行调整，直至得到的损失总值满足预设标准为止，完成模型训练生成图像分割模型。其中，图像分割模型的类型为深度学习模型，包括但不限于CNN(Convolutional Neural Networks，卷积神经网络)模型、RNN(RecurrentNeural Network，循环神经网络)模型或者Transformer模型等等。

本公开通过对样本图像进行前景轮廓检测，并根据检测结果确定样本图像中的背景区域、前景区域以及前景区域的轮廓区域，进而获取分别对背景区域、前景区域以及轮廓区域中像素点进行标注的标准像素类型，并根据样本图像以及标准像素类型，对待训练模型进行训练生成图像分割模型，由于在训练数据中添加了对样本图像轮廓区域像素点标注的标准像素类型，从而可以引导待训练模型学习如何识别样本图像中前景区域的轮廓区域，使得训练完成的图像分割模型具备对于前景区域的轮廓区域的识别能力，提高了图像分割模型进行图像分割时的分割精准度。

图1B是根据本公开实施例公开的一些图像区域的示意图，如图1B所示，10表示样本图像，13表示样本图像10的前景区域，12表示前景区域13的轮廓区域，11表示样本图像10的背景区域。

图2是根据本公开实施例公开的另一些图像分割模型的训练方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。

如图2所示，本实施例公开的图像分割模型的训练方法可以包括：

S201、对样本图像进行前景轮廓检测。

S202、根据检测结果确定前景轮廓线，并根据前景轮廓线确定轮廓区域。

在一种实施方式中，根据前景轮廓检测结果，在样本图像中确定前景区域的前景轮廓线，并根据前景轮廓线所覆盖的图像区域确定轮廓区域。

可选的，S202包括：

S2021、按照第一距离值对前景轮廓线进行外扩处理，确定外扩轮廓线，且按照第二距离值对前景轮廓线进行内缩处理，确定内缩轮廓线。

其中，外扩处理表示将前景轮廓线向轮廓线外侧进行扩张，而内缩处理则表示将前景轮廓线向轮廓线内侧进行收缩，无论是外扩处理还是内缩处理，均不改变前景轮廓线的轮廓线形状，即外扩轮廓线和内缩轮廓线均与前景轮廓线具有相同的轮廓线形状。第一距离值和第二距离值可以根据实际业务需求进行设置和调整，例如可以设置第一距离值和第二距离值均为三个像素距离。

在一种实施方式中，采用轮廓线外扩算法按照第一距离值，对前景轮廓线中各轮廓像素点的当前像素点坐标进行外扩处理，确定各轮廓像素点的外扩像素点坐标，进而根据外扩像素点坐标在样本图像中确定外扩轮廓线。并且，采用轮廓线内缩算法按照第二距离值，对前景轮廓线中各轮廓像素点的当前像素点坐标进行内缩处理，确定各轮廓像素点的内缩像素点坐标，进而根据内缩像素点坐标在样本图像中确定内缩轮廓线。

S2022、将外扩轮廓线和内缩轮廓线之间的图像区域作为轮廓区域。

在一种实施方式中，根据外扩轮廓线中各轮廓像素点的外扩像素点坐标，以及内缩轮廓线中各轮廓像素点的内缩像素点坐标，确定位于外扩轮廓线和内缩轮廓线之间的像素点坐标集合，进而根据像素点坐标集合所构成的图像区域确定轮廓区域。

由于前景区域的轮廓区域是用于辅助图像分割模型识别前景区域，提高前景区域的分割精准度，而并非是一种对分割精准度要求高的图像分割结果，因此通过按照第一距离值对前景轮廓线进行外扩处理，确定外扩轮廓线，且按照第二距离值对前景轮廓线进行内缩处理，确定内缩轮廓线，将外扩轮廓线和内缩轮廓线之间的图像区域作为轮廓区域，相比直接将前景轮廓线作为轮廓区域，能够大大降低图像分割模型的训练难度，缩短图像分割模型的训练时间，以及提高图像分割模型的训练效率。

S203、将轮廓区域所围成的图像区域作为前景区域，且将除轮廓区域以及前景区域以外的图像区域，作为背景区域。

在一种实施方式中，将图像坐标位于轮廓区域以内的像素点所构成的图像区域作为前景区域，并且将样本图像中除轮廓区域以及前景区域以外的像素点所构成的图像区域作为背景区域。

通过根据检测结果确定前景轮廓线，并根据前景轮廓线确定轮廓区域，将轮廓区域所围成的图像区域作为前景区域，且将除轮廓区域以及前景区域以外的图像区域，作为背景区域，为后续分别获取对轮廓区域、前景区域和背景区域的中像素点进行标注的标准像素类型，奠定了数据基础，保证图像分割模型的训练过程能够顺利的执行。

S204、获取分别对背景区域、前景区域以及轮廓区域中像素点进行标注的标准像素类型。

S205、将样本图像输入至待训练模型中，并根据待训练模型的输出结果，确定样本图像中像素点对应的预测像素类型。

其中，预测像素类型体现了待训练模型预测的各像素点所属的图像区域。

在一种实施方式中，将样本图像输入至待训练模型中，使得待训练模型对样本图像中各像素点的像素类型进行预测，并获取待训练模型输出的样本图像中各像素点对应的预测像素类型。

S206、根据预测像素类型以及标准像素类型确定损失总值，并根据损失总值对待训练模型进行训练生成图像分割模型。

在一种实施方式中，获取样本图像中各像素点对应的预测像素类型以及标准像素类型，并采用预设的损失函数根据预测像素类型以及标准像素类型，计算各像素点对应的损失值，进而根据所有像素点对应的损失值确定损失总值，最终根据损失总值采用反向传播技术对待训练模型的模型参数进行调整，直至得到的损失总值满足预设标准为止，完成模型训练生成图像分割模型。

通过将样本图像输入至待训练模型中，并根据待训练模型的输出结果，确定样本图像中像素点对应的预测像素类型，根据预测像素类型以及标准像素类型确定损失总值，并根据损失总值对待训练模型进行训练生成图像分割模型，从而保证了待训练模型的训练效果，进一步保证了图像分割模型对于图像分割的精准度。

可选的，根据预测像素类型以及标准像素类型确定损失总值，包括：

根据第一类像素点对应的第一预测像素类型和第一标准像素类型，确定第一损失值；根据第二类像素点对应的第二预测像素类型和第二标准像素类型，确定第二损失值；根据第三类像素点对应的第三预测像素类型和第三标准像素类型，确定第三损失值；根据第一损失值、第二损失值和第三损失值确定损失总值。

其中，第一类像素点为属于背景区域的像素点，将对第一类像素点进行标注的标准像素类型作为第一标准像素类型，且将待训练模型对第一类像素点进行预测的预测像素类型作为第一预测像素类型。第二类像素点为属于前景区域的像素点，将对第二类像素点进行标注的标准像素类型作为第二标准像素类型，且将待训练模型对第二类像素点进行预测的预测像素类型作为第二预测像素类型。第三类像素点为属于轮廓区域的像素点，将对第三类像素点进行标注的标准像素类型作为第三标准像素类型，且将待训练模型对第三类像素点进行预测的预测像素类型作为第三预测像素类型。

在一种实施方式中，采用预设的损失函数根据各第一类像素点的第一预测像素类型以及第一标准像素类型，计算各第一类像素点的损失值，并根据各第一类像素点损失值的和值确定第一损失值；采用预设的损失函数根据各第二类像素点的第二预测像素类型以及第二标准像素类型，计算各第二类像素点的损失值，并根据各第二类像素点损失值的和值确定第二损失值；采用预设的损失函数根据各第三类像素点的第三预测像素类型以及第三标准像素类型，计算各第三类像素点的损失值，并根据各第三类像素点损失值的和值确定第三损失值。

根据第一损失值、第二损失值和第三损失值之间的求和结果确定损失总值。

通过根据第一类像素点对应的第一预测像素类型和第一标准像素类型，确定第一损失值，根据第二类像素点对应的第二预测像素类型和第二标准像素类型，确定第二损失值，根据第三类像素点对应的第三预测像素类型和第三标准像素类型，确定第三损失值，根据第一损失值、第二损失值和第三损失值确定损失总值，实现了根据像素点所属图像区域的不同，进行分类计算损失值的效果，提高了最终得到的损失总值的准确性和可靠性。

可选的，根据第一损失值、第二损失值和第三损失值确定损失总值，包括：

获取第一类像素点对应的第一权重、第二类像素点对应的第二权重以及第三类像素点对应的第三权重；根据第一权重、第二权重和第三权重，对第一损失值、第二损失值以及第三损失值进行加权求和，确定损失总值。

其中，第一类像素点对应第一权重，第二类像素点对应第二权重，第三类像素点对应第三权重，第一权重、第二权重和第三权重的具体数值可以根据实际需求进行设置和调整，第三权重小于第一权重和第二权重。

在一种实施方式中，根据第一损失值与第一权重之间的乘积结果确定第一加权损失值，根据第二损失值与第二权重之间的乘积结果确定第二加权损失值，根据第三损失值与第三权重之间的乘积结果确定第三加权损失值，进而根据第一加权损失值、第二加权损失值和第三加权损失值之间的和值确定损失总值。

示例性的，假设第一权重、第二权重和第三权重分别为a、b和c，第一损失值、第二损失值和第三损失值分别为x、y和z，则损失总值为：ax+by+cz，其中，c＜a且c＜b。

由于前景区域的轮廓区域是用于辅助图像分割模型识别前景区域，提高前景区域的分割精准度，而并非是一种对分割精准度要求高的图像分割结果，因此通过根据第一权重、第二权重和第三权重，对第一损失值、第二损失值以及第三损失值进行加权求和，确定损失总值，其中，第三权重小于第一权重和第二权重，能够降低训练过程中图像分割模型对于轮廓区域识别的关注程度，从而使得图像分割模型能够更快的收敛，减小训练图像分割模型识别轮廓区域的难度，缩短图像分割模型的训练时间，以及提高图像分割模型的训练效率。

图3是根据本公开实施例公开的一些图像分割方法的流程图，本实施例可以适用于利用训练完成的图像分割模型进行图像分割的情况。本实施例方法可以由本公开实施例公开的图像分割装置来执行，所述装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。

如图3所示，本实施例公开的图像分割方法可以包括：

S301、获取待分割图像。

其中，待分割图像表示需要进行图像分割的图像，待分割图像的图像格式包括但不限于JEPG格式、TIFF格式、RAW格式、BMP格式和PNG中的一种或多种。

S302、将待分割图像输入至图像分割模型中，并根据图像分割模型的输出结果，确定待分割图像中的背景区域、前景区域以及前景区域的轮廓区域。

其中，图像分割模型采用如本公开实施例公开的图像分割模型的训练方法训练得到。

在一种实施方式中，将待分割图像输入至图像分割模型中，图像分割模型对待分割图像中各像素点的像素类型进行识别，输出待分割图像中各像素点的识别像素类型，进而根据各像素点的识别像素类型，确定待分割图像中的背景区域、前景区域以及前景区域的轮廓区域。

示例性的，假设设置识别像素类型为“0”的像素点，属于背景区域；设置识别像素类型为“1”的像素点，属于前景区域；设置识别像素类型为“0”的像素点，属于背景区域；设置识别像素类型为“2”的像素点，属于轮廓区域。则将待分割图像中，识别像素类型为“0”的像素点所构成的图像区域作为背景区域，识别像素类型为“1”的像素点所构成的图像区域作为前景区域，识别像素类型为“2”的像素点所构成的图像区域作为轮廓区域。

由于图像分割模型是根据样本图像的背景区域、前景区域以及轮廓区域中像素点的标准像素类型训练得到，因此训练完成的图像分割模型具备对于前景区域的轮廓区域的识别能力，图像分割时对于前景区域以及背景区域的分割精准度较高，因此通过将待分割图像输入至图像分割模型中，并根据图像分割模型的输出结果，确定待分割图像中的背景区域、前景区域以及前景区域的轮廓区域，能够保证对于待分割图像中的前景区域以及背景区域的分割精准度。

图4是根据本公开实施例公开的一些图像分割模型的训练装置的结构示意图，可以适用于训练生成图像分割模型的情况。本实施例装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。

如图4所示，本实施例公开的图像分割模型的训练装置40可以包括图像区域确定模块41和模型训练模块42，其中：

图像区域确定模块41，用于对样本图像进行前景轮廓检测，并根据检测结果确定样本图像中的背景区域、前景区域以及前景区域的轮廓区域；

模型训练模块42，用于获取分别对背景区域、前景区域以及轮廓区域中像素点进行标注的标准像素类型，并根据样本图像以及标准像素类型，对待训练模型进行训练生成图像分割模型。

可选的，图像区域确定模块41，具体用于：

根据检测结果确定前景轮廓线，并根据前景轮廓线确定轮廓区域；

将轮廓区域所围成的图像区域作为前景区域，且将除轮廓区域以及前景区域以外的图像区域，作为背景区域。

可选的，图像区域确定模块41，具体还用于：

按照第一距离值对前景轮廓线进行外扩处理，确定外扩轮廓线，且按照第二距离值对前景轮廓线进行内缩处理，确定内缩轮廓线；

将外扩轮廓线和内缩轮廓线之间的图像区域作为轮廓区域。

可选的，模型训练模块42，具体用于：

将样本图像输入至待训练模型中，并根据待训练模型的输出结果，确定样本图像中像素点对应的预测像素类型；

根据预测像素类型以及标准像素类型确定损失总值，并根据损失总值对待训练模型进行训练生成图像分割模型。

可选的，模型训练模块42，具体还用于：

根据第一类像素点对应的第一预测像素类型和第一标准像素类型，确定第一损失值；

根据第二类像素点对应的第二预测像素类型和第二标准像素类型，确定第二损失值；

根据第三类像素点对应的第三预测像素类型和第三标准像素类型，确定第三损失值；

根据第一损失值、第二损失值和第三损失值确定损失总值；

其中，第一类像素点为属于背景区域的像素点，第二类像素点为属于前景区域的像素点，第三类像素点为属于轮廓区域的像素点。

可选的，模型训练模块42，具体还用于：

获取第一类像素点对应的第一权重、第二类像素点对应的第二权重以及第三类像素点对应的第三权重；

根据第一权重、第二权重和第三权重，对第一损失值、第二损失值以及第三损失值进行加权求和，确定损失总值；

其中，第三权重小于第一权重和第二权重。

本公开实施例所公开的图像分割模型的训练装置40可执行本公开实施例所公开的图像分割模型的训练方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本公开方法实施例中的描述。

图5是根据本公开实施例公开的一些图像分割装置的结构示意图，可以适用于利用训练完成的图像分割模型进行图像分割的情况。本实施例装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。

如图5所示，本实施例公开的图像分割装置50可以包括图像获取模块51和图像分割模块52，其中：

图像获取模块51，用于获取待分割图像；

图像分割模块52，用于将所述待分割图像输入至图像分割模型中，并根据所述图像分割模型的输出结果，确定所述待分割图像中的背景区域、前景区域以及所述前景区域的轮廓区域；

其中，所述图像分割模型采用如权利要求1-6中任一所述的图像分割模型的训练方法训练得到。

本公开实施例所公开的图像分割装置50可执行本公开实施例所公开的图像分割方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本公开方法实施例中的描述。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像分割模型的训练方法和/或图像分割方法。例如，在一些实施例中，图像分割模型的训练方法和/或图像分割方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像分割模型的训练方法和/或图像分割方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像分割模型的训练方法和/或图像分割方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种图像分割模型的训练方法，包括：

对样本图像进行前景轮廓检测，并根据检测结果确定所述样本图像中的背景区域、前景区域以及所述前景区域的轮廓区域；

获取分别对所述背景区域、所述前景区域以及所述轮廓区域中像素点进行标注的标准像素类型，并根据所述样本图像以及所述标准像素类型，对待训练模型进行训练生成图像分割模型。

2.根据权利要求1所述的方法，其中，所述根据检测结果确定所述样本图像中的背景区域、前景区域以及所述前景区域的轮廓区域，包括：

根据检测结果确定前景轮廓线，并根据所述前景轮廓线确定所述轮廓区域；

将所述轮廓区域所围成的图像区域作为所述前景区域，且将除所述轮廓区域以及所述前景区域以外的图像区域，作为所述背景区域。

3.根据权利要求2所述的方法，其中，所述根据所述前景轮廓线确定所述轮廓区域，包括：

按照第一距离值对所述前景轮廓线进行外扩处理，确定外扩轮廓线，且按照第二距离值对所述前景轮廓线进行内缩处理，确定内缩轮廓线；

将所述外扩轮廓线和所述内缩轮廓线之间的图像区域作为所述轮廓区域。

4.根据权利要求1所述的方法，其中，所述根据所述样本图像以及所述标准像素类型，对待训练模型进行训练生成图像分割模型，包括：

将所述样本图像输入至所述待训练模型中，并根据所述待训练模型的输出结果，确定所述样本图像中像素点对应的预测像素类型；

根据所述预测像素类型以及所述标准像素类型确定损失总值，并根据所述损失总值对所述待训练模型进行训练生成图像分割模型。

5.根据权利要求4所述的方法，其中，所述根据所述预测像素类型以及所述标准像素类型确定损失总值，包括：

根据第一类像素点对应的第一预测像素类型和第一标准像素类型，确定第一损失值；

根据第二类像素点对应的第二预测像素类型和第二标准像素类型，确定第二损失值；

根据第三类像素点对应的第三预测像素类型和第三标准像素类型，确定第三损失值；

根据所述第一损失值、所述第二损失值和所述第三损失值确定所述损失总值；

其中，所述第一类像素点为属于所述背景区域的像素点，所述第二类像素点为属于所述前景区域的像素点，所述第三类像素点为属于所述轮廓区域的像素点。

6.根据权利要求5所述的方法，其中，所述根据所述第一损失值、所述第二损失值和所述第三损失值确定所述损失总值，包括：

获取所述第一类像素点对应的第一权重、所述第二类像素点对应的第二权重以及所述第三类像素点对应的第三权重；

根据所述第一权重、所述第二权重和所述第三权重，对所述第一损失值、所述第二损失值以及所述第三损失值进行加权求和，确定所述损失总值；

其中，所述第三权重小于所述第一权重和所述第二权重。

7.一种图像分割方法，包括：

获取待分割图像；

将所述待分割图像输入至图像分割模型中，并根据所述图像分割模型的输出结果，确定所述待分割图像中的背景区域、前景区域以及所述前景区域的轮廓区域；

其中，所述图像分割模型采用如权利要求1-6中任一所述的图像分割模型的训练方法训练得到。

8.一种图像分割模型的训练装置，包括：

图像区域确定模块，用于对样本图像进行前景轮廓检测，并根据检测结果确定所述样本图像中的背景区域、前景区域以及所述前景区域的轮廓区域；

模型训练模块，用于获取分别对所述背景区域、所述前景区域以及所述轮廓区域中像素点进行标注的标准像素类型，并根据所述样本图像以及所述标准像素类型，对待训练模型进行训练生成图像分割模型。

9.根据权利要求8所述的装置，其中，所述图像区域确定模块，具体用于：

根据检测结果确定前景轮廓线，并根据所述前景轮廓线确定所述轮廓区域；

将所述轮廓区域所围成的图像区域作为所述前景区域，且将除所述轮廓区域以及所述前景区域以外的图像区域，作为所述背景区域。

10.根据权利要求9所述的装置，其中，所述图像区域确定模块，具体还用于：

按照第一距离值对所述前景轮廓线进行外扩处理，确定外扩轮廓线，且按照第二距离值对所述前景轮廓线进行内缩处理，确定内缩轮廓线；

将所述外扩轮廓线和所述内缩轮廓线之间的图像区域作为所述轮廓区域。

11.根据权利要求8所述的装置，其中，所述模型训练模块，具体用于：

将所述样本图像输入至所述待训练模型中，并根据所述待训练模型的输出结果，确定所述样本图像中像素点对应的预测像素类型；

根据所述预测像素类型以及所述标准像素类型确定损失总值，并根据所述损失总值对所述待训练模型进行训练生成图像分割模型。

12.根据权利要求11所述的装置，其中，所述模型训练模块，具体还用于：

根据第一类像素点对应的第一预测像素类型和第一标准像素类型，确定第一损失值；

根据第二类像素点对应的第二预测像素类型和第二标准像素类型，确定第二损失值；

根据第三类像素点对应的第三预测像素类型和第三标准像素类型，确定第三损失值；

根据所述第一损失值、所述第二损失值和所述第三损失值确定所述损失总值；

其中，所述第一类像素点为属于所述背景区域的像素点，所述第二类像素点为属于所述前景区域的像素点，所述第三类像素点为属于所述轮廓区域的像素点。

13.根据权利要求12所述的装置，其中，所述模型训练模块，具体还用于：

获取所述第一类像素点对应的第一权重、所述第二类像素点对应的第二权重以及所述第三类像素点对应的第三权重；

根据所述第一权重、所述第二权重和所述第三权重，对所述第一损失值、所述第二损失值以及所述第三损失值进行加权求和，确定所述损失总值；

其中，所述第三权重小于所述第一权重和所述第二权重。

14.一种图像分割装置，包括：

图像获取模块，用于获取待分割图像；

图像分割模块，用于将所述待分割图像输入至图像分割模型中，并根据所述图像分割模型的输出结果，确定所述待分割图像中的背景区域、前景区域以及所述前景区域的轮廓区域；

其中，所述图像分割模型采用如权利要求1-6中任一所述的图像分割模型的训练方法训练得到。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。

Images