CN114332457A - 图像实例分割模型训练、图像实例分割方法和装置 - Google Patents

Abstract

本申请涉及一种图像实例分割模型训练方法、装置、计算机设备和存储介质。所述方法包括：获取训练样本，将训练样本输入到初始图像实例分割模型中，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行计算，得到各个候选特征点对应的图像实例分割准确性，并从各个候选特征点中确定目标特征点；基于目标特征点对应的候选实例分割掩膜和候选实例类别置信度进行分割损失计算，得到初始图像实例分割损失信息；基于初始图像实例分割损失信息进行更新并循环迭代，得到目标图像实例分割模型。采用本方法能够提高图像实例分割的准确性。

Description

图像实例分割模型训练、图像实例分割方法和装置

技术领域

本申请涉及互联网技术领域，特别是涉及一种图像实例分割模型训练、图像实例分割方法、装置、计算机设备和存储介质。

背景技术

随着图像分割技术的发展，出现了实例分割，实例分割是计算机视觉中一项基本的任务，它为图像中的每个实例预测一个像素级的分割结果以及一个语义类别。传统技术中，在进行实例分割时，通常对于同一个实例会有多个相近似的预测结果，为了得到最终的实例结果，一般这些方法会用非极大抑制算法(NMS，Non-Maximum Suppression,)进行后处理，剔除掉不需要的重复预测，从而得到最终的预测结果。然而，使用非极大抑制算法剔除掉不需要的重复预测，可能存在将正确预测进行剔除的问题，导致图像实例分割的准确性下降。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高图像分割准确性的图像实例分割模型训练、图像实例分割方法、装置、计算机设备和存储介质。

一种图像实例分割模型训练方法，所述方法包括：

获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；

将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；

计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；

基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；

基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像实例分割模型，目标图像实例分割模型用于对输入图像进行特征提取，得到输入图像中图像实例对应的分割特征点，基于输入图像中图像实例对应的分割特征点进行图像实例分割。

一种图像实例分割模型训练装置，所述装置包括：

获取模块，用于获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；

训练模块，用于将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；

目标特征点确定模块，用于计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；

损失计算模块，用于基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；

迭代更新模块，用于基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像实例分割模型，目标图像实例分割模型用于对输入图像进行特征提取，得到输入图像中图像实例对应的分割特征点，基于输入图像中图像实例对应的分割特征点进行图像实例分割。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；

将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；

计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；

基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；

基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像实例分割模型，目标图像实例分割模型用于对输入图像进行特征提取，得到输入图像中图像实例对应的分割特征点，基于输入图像中图像实例对应的分割特征点进行图像实例分割。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；

将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；

计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；

基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；

基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像实例分割模型，目标图像实例分割模型用于对输入图像进行特征提取，得到输入图像中图像实例对应的分割特征点，基于输入图像中图像实例对应的分割特征点进行图像实例分割。

上述图像实例分割模型训练方法、装置、计算机设备和存储介质，通过获取训练样本和对应的图像实例标签，将训练样本输入到初始图像实例分割模型中进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度，然后通过计算特征图中各个候选特征点的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点，再使用目标特征点对应的候选实例分割掩膜和候选实例类别置信度来对初始图像实例分割模型进行更新，从而使训练得到的目标图像实例分割模型在使用时能够直接提取到图像实例对应的分割特征点，基于分割特征点进行图像分割预测出对应的图像实例分割掩膜和图像实例类别置信度，从而避免了同一图像实例预测得到对应的多个图像实例分割掩膜，需要使用非极大值抑制算法进行剔除，可能会将正确预测进行剔除的问题，提高了图像实例分割的准确性。

一种图像实例分割方法，所述方法包括：

获取待分割图像；

将待分割图像输入到图像实例分割模型中，其中，通过获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到图像实例分割模型；

图像实例分割模型对待分割图像进行特征提取，得到待分割图像中图像实例对应的分割特征点，使用待分割图像中图像实例对应的分割特征点进行图像实例分割，得到待分割图像中图像实例对应的分割掩膜和类别置信度；

基于待分割图像中图像实例对应的分割掩膜和类别置信度确定待分割图像对应的图像实例分割结果。

一种图像实例分割装置，所述装置包括：

图像获取模块，用于获取待分割图像；

图像输入模块，用于将待分割图像输入到图像实例分割模型中，其中，通过获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到图像实例分割模型；

模型分割模块，用于图像实例分割模型对待分割图像进行特征提取，得到待分割图像中图像实例对应的分割特征点，使用待分割图像中图像实例对应的分割特征点进行图像实例分割，得到待分割图像中图像实例对应的分割掩膜和类别置信度；

分割结果确定模块，用于基于待分割图像中图像实例对应的分割掩膜和类别置信度确定待分割图像对应的图像实例分割结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待分割图像；

将待分割图像输入到图像实例分割模型中，其中，通过获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到图像实例分割模型；

图像实例分割模型对待分割图像进行特征提取，得到待分割图像中图像实例对应的分割特征点，使用待分割图像中图像实例对应的分割特征点进行图像实例分割，得到待分割图像中图像实例对应的分割掩膜和类别置信度；

基于待分割图像中图像实例对应的分割掩膜和类别置信度确定待分割图像对应的图像实例分割结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待分割图像；

将待分割图像输入到图像实例分割模型中，其中，通过获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到图像实例分割模型；

图像实例分割模型对待分割图像进行特征提取，得到待分割图像中图像实例对应的分割特征点，使用待分割图像中图像实例对应的分割特征点进行图像实例分割，得到待分割图像中图像实例对应的分割掩膜和类别置信度；

基于待分割图像中图像实例对应的分割掩膜和类别置信度确定待分割图像对应的图像实例分割结果。

上述图像实例分割方法、装置、计算机设备和存储介质，通过使用图像实例分割模型进行图像实例分割，即对待分割图像进行特征提取，得到待分割图像中图像实例对应的分割特征点，使用待分割图像中图像实例对应的分割特征点进行图像实例分割，得到待分割图像中图像实例对应的分割掩膜和类别置信度，然后使用待分割图像中图像实例对应的分割掩膜和类别置信度确定待分割图像对应的图像实例分割结果，从而能够避免同一图像实例预测得到对应的多个图像实例分割掩膜，需要使用非极大值抑制算法进行剔除，可能会将正确预测进行剔除的问题，提高了图像实例分割的准确性。

附图说明

图1为一个实施例中图像实例分割模型训练方法的应用环境图；

图2为一个实施例中图像实例分割模型训练方法的流程示意图；

图3为一个实施例中得到特征图的流程示意图；

图4为一个实施例中得到候选实例分割掩膜的流程示意图；

图5为一个实施例中得到相似距离的流程示意图；

图6为一个实施例中得到图像实例分割准确性的流程示意图；

图7为另一个实施例中得到图像实例分割准确性的流程示意图；

图8为一个实施例中得到初始损失信息的流程示意图；

图9为一个实施例中图像实例分割方法的流程示意图；

图10为一个具体实施例中图像实例分割模型训练方法的流程示意图；

图11为一个具体实施例中图像实例分割模型训练的框架示意图；

图12为一个具体实施例中图像实例分割的部分示意图；

图13为一个具体实施例中各种应用场景图像实例分割的示意图；

图14为一个具体实施例中图像实例分割结果可视化对比的示意图；

图15为一个实施例中图像实例分割模型训练装置的结构框图；

图16为一个实施例中图像实例分割装置的结构框图；

图17为一个实施例中计算机设备的内部结构图；

图18为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供的方案涉及人工智能的图像识别、图像处理、图像语义理解等技术，具体通过如下实施例进行说明:

本申请提供的图像实例分割模型训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104获取到终端102发送的图像实例分割模型训练指令，服务器104从数据库106中获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；服务器104计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；服务器104基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；服务器104基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像实例分割模型，目标图像实例分割模型用于对输入图像进行特征提取，得到输入图像中图像实例对应的分割特征点，基于输入图像中图像实例对应的分割特征点进行图像实例分割。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种图像实例分割模型训练方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用在终端中，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。在本实施例中，包括以下步骤：

步骤202，获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签。

其中，训练样本是指训练时使用的图像样本。该图像样本中包括有图像实例。图像实例标签是指训练样本中图像实例对应的实例分割结果的真实值，包括实例分割掩膜标签和实例类别标签，实例分割掩膜标签是指训练样本中图像实例对应的分割掩膜的真实值。实例分割类别标签是指训练样本中图像实例对应的真实类别。训练样本中可以包括多个图像实例，每个图像实例都有对应的实例分割羊膜标签和实例类别标签。

具体地，服务器可以从数据库中获取到训练样本和对应的图像实例标签，也可以获取到终端上传的训练样本和对应的图像实例标签，服务器也可以从提供数据服务的服务方获取到训练样本和对应的图像实例标签。服务器也可以从互联网总采集到训练样本和对应的图像实例标签。

步骤204，将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度。

其中，初始图像实例分割模型是指模型参数初始化的图像实例分割模型，模型参数初始化可以是随机初始化，也可以是为0初始化，还可以是高斯分布初始化等等。该图像实例分割模型用于对图像进行实例分割，可以是使用深度卷积神经网络建立的。特征图是使用训练样本进行特征提取得到的特征形成的。特征点用于反映图像灰度值发生剧烈变化的点，特征图中的每个值称为特征点。候选特征点是指需要进行筛选的特征点。掩模是由0和1组成的一个二进制图像。当在某一功能中应用掩模时，1值区域被处理，被屏蔽的0值区域不被包括在计算中。通过指定的数据值、数据范围、有限或无限值、感兴趣区和注释文件来定义图像掩模。候选实例分割掩膜是指候选特征点对应的图像实例的分割掩膜。分割掩膜用于表征候选特征点预测出的图像实例在训练样本中的分割位置。每个候选特征点都有对应的候选实例分割掩膜。候选实例类别置信度是指候选特征点对应的使用初始图像实例分割参数预测得到的图像实例类别的可信程度。每个候选特征点都有对应的候选实例类别置信度。

具体地，服务器将训练样本输入到初始图像实例分割模型中使用初始化的参数进行图像实例分割，初始图像实例分割模型将训练样本进行特征提取，得到训练样本对应的特征图，该训练样本对应的特征图中包含了训练样本的语义信息和细节信息。然后使用特征图中各个候选特征点进行图像实例分割，即进行分割掩膜和图像实例类别的预测，得到各个候选特征点对应的候选实例分割掩膜和各个候选特征点对应的候选实例类别置信度。

步骤206，计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点。

其中，相似距离用于表征候选实例分割掩膜与实例分割掩膜标签之间的相似程度，该相似距离越大，说明候选实例分割掩膜与实例分割掩膜标签越接近，则该候选特征点进行图像分割的准确性就越高。图像实例分割准确性是指图像实例分割的准确程度，图像实例分割准确性越高，说明对应的候选特征点的质量越高，即使用质量高的候选特征点进行图像实例分割可以得到准确性高的图像实例分割结果。目标特征点是指图像实例分割准确性最高的候选特征点。

具体地，服务器根据候选特征点对应的图像分割准确性对各个候选特征点进行正负样本匹配，即使用为每个图像实例对应的图像实例标签分配唯一的高质量特征点，即目标特征点，将目标特征点作为正样本，其他候选特征点作为负样本，此时使用正样本对初始图像实例分割模型进行反向更新，对负样本不做处理。其中，可以使用匈牙利匹配算法来进行匹配。每个图像实例分配一个目标特征点。即服务器可以计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，从各个候选特征点中选取最高图像实例分割准确性对应的候选特征点作为目标特征点。

步骤208，基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息。

其中，初始图像实例分割损失信息用于表征初始图像实例分割模型在进行图像实例分割时的误差。

具体地，服务器使用目标特征点对应的候选实例分割掩膜与图像实例分割掩膜标签进行损失计算，并使用目标特征点对应的候选实例类别置信度和实例类别标签进行损失计算，最后计算所有损失的和，得到初始图像实例分割损失信息。

步骤210，基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像实例分割模型，目标图像实例分割模型用于对输入图像进行特征提取，得到输入图像中图像实例对应的分割特征点，基于输入图像中图像实例对应的分割特征点进行图像实例分割。

其中，目标图像实例分割模型是指训练完成的图像实例分割模型。输入图像是指输入到目标图像实例分割模型中进行图像实例分割的图像。分割特征点是指输入图像中表征图像中实例的目标特征点。该分割特征点进行图像实例分割预测，得到的图像实例分割结果准确性最高。训练完成条件是指图像实例分割模型训练完成的条件，包括模型损失信息达到预设损失阈值、训练迭代次数达到最大迭代次数、模型参数不再发生变化中的至少一种。

具体地，服务器基于初始图像实例分割损失信息更新初始图像实例分割模型中的参数，得到更新后的图像实例分割模型，将更新后的图像实例分割模型作为初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像实例分割模型，目标图像实例分割模型用于对输入图像进行特征提取，得到输入图像中图像实例对应的分割特征点，基于输入图像中图像实例对应的分割特征点进行图像实例分割。

上述图像分割模型训练方法中，通过获取训练样本和对应的图像实例标签，将训练样本输入到初始图像实例分割模型中进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度，然后通过计算特征图中各个候选特征点的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点，再使用目标特征点对应的候选实例分割掩膜和候选实例类别置信度来对初始图像实例分割模型进行更新，从而使训练得到的目标图像实例分割模型在使用时能够直接提取到图像实例对应的分割特征点，基于分割特征点进行图像分割预测出对应的图像实例分割掩膜和图像实例类别置信度，从而避免了同一图像实例预测得到对应的多个图像实例分割掩膜，需要使用非极大值抑制算法进行剔除，可能会将正确预测进行剔除的问题，提高了图像实例分割的准确性。

在一个实施例中，初始图像实例分割模型包括初始特征提取网络和初始特征融合网络；

步骤204，将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，包括：

将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型将训练样本输入初始特征提取网络中，初始特征提取网络使用不同尺度卷积参数将训练样本进行卷积计算，得到训练样本对应的不同尺度特征图；将训练样本对应的不同尺度特征图输入到初始特征融合网络中进行特征融合，得到训练样本对应的特征图。

其中，初始特征提取网络是指参数初始化的特征提取网络，该特征提取网络用于对图像进行特征提取。初始特征融合网络是指采纳数初始化的特征融合网络，该特征融合网络用于将特征提取网络输出的特征进行融合。不同尺度特征图是指不同分辨率的特征图，即每个特征图具有不同的长和宽。

具体地，服务器将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型先将训练样本输入初始特征提取网络中，该初始特征提取网络是使用卷积神经网络建立的。该初始特征提取网络包括了各个不同的卷积层。当初始特征提取网络进行特征提取时，将训练样本通过各个不同的卷积层中不同尺度的卷积参数进行卷积计算，得到训练样本对应的不同尺度特征图。然后将不同尺度特征图输入到初始特征融合网络中进行特征融合，得到训练样本对应的特征图，该初始特征融合网络也是使用卷积神经网络建立的。

在一个实施例中，初始特征融合网络为特征金字塔网络；

如图3所示，将训练样本对应的不同尺度特征图输入到初始特征融合网络中进行特征融合，得到训练样本对应的特征图，包括：

步骤302，将训练样本对应的不同尺度特征图输入到特征金字塔网络中，特征金字塔网络使用不同尺度特征图中高层特征图进行上采样，得到语义特征图。

其中，特征金字塔网络(FPN，feature pyramid networks)用于将不同尺度的特征图之间互相融合，来增强特征图表征能力。通过特征金字塔网络进行特征融合，可以生产融合了多层次信息的特征图，该多层次信息可以包括低层的细节信息和高层的语义信息。高层特征图是指不同尺度特征图中小于融合后特征图尺寸的特征图。语义特征图是指通过上采样提取得到的具有语义信息的特征图。该语义特征图的尺度和融合后的特征图的尺度相同

具体地，服务器将训练样本对应的不同尺度特征图输入到特征金字塔网络中，特征金字塔网络使用不同尺度特征图中高层特征图进行上采样，得到语义特征图，其中，采样可以使用最近邻插值算法、双线性插值算法、均值插值算法、中值插值算法等，优选的，使用最近邻插值算法进行上采样。

步骤304，使用不同尺度特征图中低层特征图进行卷积计算，得到细节特征图。

其中，不同尺度特征图是指不同尺度特征图中大于融合后特征图尺寸的特征图。细节特征图是指通过卷积计算提取得到的具有较小图像实例的细节信息的特征图，该细节特征图的尺度和融合后的特征图的尺度相同。

具体地，服务器将不同尺度特征图中低层特征图进行卷积计算，得到细节特征图。

步骤306，将语义特征图和细节特征图进行融合，得到训练样本对应的特征图。

具体地，服务器将语义特征图和细节特征图中对应元素进行融合，比如，可以将语义特征图和细节特征图同一位置的特征值进行相加，也可以将同一位置的特征值进行相乘等等，得到训练样本对应的特征图。

在上述实施例中，通过使用特征金字塔网络进行融合，能够使提取得到的训练样本对应的特征图具有语义信息和细节信息，提高了得到的特征图的准确性。

在一个实施例中，初始图像实例分割模型包括初始图像实例类别预测网络和初始图像实例掩膜预测网络；

步骤204，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度，包括：

将特征图中各个候选特征点输入到初始图像实例类别预测网络中进行图像实例类别预测，得到各个候选特征点对应的候选实例类别置信度；并将特征图中各个候选特征点输入到初始图像实例掩膜预测网络中进行图像实例掩膜预测，得到各个候选特征点对应的候选实例分割掩膜。

其中，初始图像实例类别预测网络是指参数初始化的图像实例类别预测网络。该图像实例类别预测网络用于预测训练样本中图像实例对应的类别。初始图像实例掩膜预测网络是指参数初始化的图像实例掩膜预测网络，该图像实例掩膜预测网络用于预测训练样本中图像实例对应的掩膜。

具体地，服务器将特征图中各个候选特征点输入到初始图像实例类别预测网络中进行图像实例类别预测，输出类别向量，该类别向量中每个向量元素表示一个候选特征点对应的候选实例类别置信度。该初始图像实例类别预测网络是使用卷积神经网络建立的，该候选特征点是指特征图中的特征值。比如，当特征图的尺度为H*W时，得到的类别向量为H*W*C，其中，H表示长，W表示宽，C表示类别。同时服务器将特征图中各个候选特征点输入到初始图像实例掩膜预测网络中进行图像实例掩膜预测，得到各个候选特征点对应的候选实例分割掩膜。初始图像实例掩膜预测网络也是使用卷积神经网络建立的。

在一个实施例中，初始图像实例掩膜预测网络包括初始卷积参数预测子网络和初始掩膜预测子网络；

如图4所示，将特征图中各个候选特征点输入到初始图像实例掩膜预测网络中进行图像实例掩膜预测，得到各个候选特征点对应的候选实例分割掩膜，包括：

步骤402，将特征图中各个候选特征点输入到初始卷积参数预测子网络进行动态卷积参数预测，得到各个候选特征点对应的初始动态卷积参数。

其中，初始卷积参数预测子网络是参数初始化的卷积参数预测子网络，该卷积参数预测子网络用于进行动态卷积参数的预测。每个候选特征点都与需要预测对应的动态卷积参数。初始动态卷积参数是指使用参数初始化的卷积参数预测子网络预测得到的动态卷积参数，该动态卷积参数用于进行卷积运算预测图像实例的掩膜。

具体地，服务器将特征图中各个候选特征点输入到初始卷积参数预测子网络进行动态卷积参数预测，得到输出的卷积参数向量，该卷积参数向量可以是一个169维的向量。对于一个尺度为H*W的特征图，会输出一个H*W*S的向量。其中S表示动态卷积参数的维度。即服务器得到每个候选特征点对应的初始动态卷积参数。

步骤404，将各个候选特征点对应的初始动态卷积参数和特征图中各个候选特征点输入初始掩膜预测子网络中，初始掩膜预测子网络使用特征图中各个候选特征点进行双线性内插计算，得到转换特征，并计算特征图中各个候选特征点对应的相对位置坐标，基于转换特征和相对位置坐标生成掩膜预测特征图，并基于掩膜预测特征图和各个候选特征点对应的初始动态卷积参数进行卷积运算，得到各个候选特征点对应的候选实例分割掩膜。

其中，初始掩膜预测子网络是指参数初始化的掩膜预测子网络，该掩膜预测子网络用于对图像实例对应的掩膜进行预测。转换特征是指将特征提取网络输出的特征图进行双线性内插融合后得到的特征。相对位置坐标是指候选特征点相对于其他候选特征点的位置坐标，通过每个图像实例对应的候选特征点，与整张特征图的候选特征点计算得到。掩膜预测特征图是指用于进行图像实例掩膜预测的特征图。

具体地，服务器将各个候选特征点对应的初始动态卷积参数和特征图中各个候选特征点输入初始掩膜预测子网络中，该初始掩膜预测子网络使用特征图中各个候选特征点进行双线性内插计算，得到转换特征，并计算特征图中各个候选特征点对应的相对位置坐标，基于转换特征和相对位置坐标生成掩膜预测特征图，并基于掩膜预测特征图和各个候选特征点对应的初始动态卷积参数进行卷积运算，得到各个候选特征点对应的候选实例分割掩膜。

在上述实施例中，通过使用初始卷积参数预测子网络和初始掩膜预测子网络来进行图像实例掩膜预测，从而得到各个候选特征点对应的候选实例分割掩膜，即通过动态卷积参数进行卷积运算，从而能够更加正确地分割出各个图像实例，提高了图像实例分割的准确性。

在一个实施例中，如图5所示，步骤206，计算候选实例分割掩膜和实例分割掩膜标签的相似距离，包括：

步骤502，计算候选实例分割掩膜与实例分割掩膜标签之间的相同掩膜值数，并计算相同掩膜值数的双倍数，得到目标掩膜值数。

其中，相同掩膜值数是指在掩膜中在相同位置是图像实例对应的掩膜值的数量，用于表征算候选实例分割掩膜中图像实例与实例分割掩膜标签中图像实例的重叠程度；

具体地，服务器计算每个候选特征点对应的候选实例分割掩膜分别与实例分割掩膜标签之间的交集，得到相同掩膜值数，然后将相同掩膜值数乘以双倍数，得到目标掩膜值数。

步骤504，计算候选实例分割掩膜对应的候选掩膜值数和实例分割掩膜标签对应的标签掩膜值数，并计算候选掩膜值数和标签掩膜值数的和，得到掩膜值总数。

其中，候选掩膜值数是指候选实例分割掩膜中图像实例对应的掩膜值的数量。标签掩膜值数是指实例分割掩膜标签中图像实例对应的掩膜值的数量。

具体地，服务器计算，计算候选实例分割掩膜对应的候选掩膜值数和实例分割掩膜标签对应的标签掩膜值数，并将候选掩膜值数和标签掩膜值数进行相加，得到掩膜值总数。

在一个实施例中，还可以获取到预设极小参数，计算掩膜值总数与预设极小参数的和，得到目标值，使用目标值进行比值计算，得到相似距离，防止掩膜值总数出现零的情况，导致计算出现错误的问题。

步骤506，计算目标掩膜值数与掩膜值总数的比值，得到候选实例分割掩膜和实例分割掩膜标签的相似距离。

具体地，服务器计算目标掩膜值数与掩膜值总数的比值，得到候选实例分割掩膜和实例分割掩膜标签的相似距离。服务器遍历计算每个候选特征点对应的候选实例分割掩膜分别与实例分割掩膜标签的相似距离，然后根据每个候选特征点的相似距离和每个候选特征点对应的候选实例类别置信度进行图像实例分割准确性计算，得到每个候选特征点对应的图像实例分割准确性。

在一个具体的实施例中，可以使用如下所示的公式(1)计算相似距离。

其中，m_i表示训练样本第i个图像实例掩膜，

表示第i个图像实例的候选特征点对应的候选图像实例掩膜。ε极小数，趋近于零，一般来说取10^(-8)。

在上述实施例中，通过使用目标掩膜值数和掩膜值总数来计算得到候选实例分割掩膜和实例分割掩膜标签的相似距离，提高了得到的相似距离的准确性。

在一个实施例中，如图6所示。步骤206，基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，包括：

步骤602，获取预设第一平衡参数，基于预设第一平衡参数与相似距离进行计算，得到平衡距离。

步骤604，获取预设第二平衡参数，基于预设第二平衡参数与候选实例类别置信度进行计算，得到平衡类别置信度，预设第一平衡参数和预设第二平衡参数的和为目标值。

其中，预设第一平衡参数是指预先设置好的用于平衡相似距离的参数。平衡距离是指平衡后的相似距离。预设第二平衡参数是指预先设置好的用于平衡候选实例类别置信度的参数，目标值可以为1。平衡类别置信度是指平衡后的类别置信度。

具体地，服务器获取到预设第一平衡参数，将预设第一平衡参数作为相似距离的指数进行计算，得到平衡距离，然后获取预设第二平衡参数，阿静预设第二平衡参数作为候选实例类别置信度的指数进行计算，得到平衡类别置信度。在一个实施例中，服务器获取到目标平衡参数，目标平衡参数是指预先设置好的用于平衡的参数，然后使用目标平衡参数计算得到预设第一平衡参数和预设第二平衡参数，在使用预设第一平衡参数和预设第二平衡参数进行后续计算。

步骤606，计算平衡距离与平衡类别置信度的乘积，得到各个候选特征点对应的图像实例分割准确性。

具体地，服务器遍历计算得到每个候选特征点对应的平衡距离与平衡类别置信度，然后计算每个候选特征点对应的平衡距离与平衡类别置信度之间的乘积，得到每个候选特征点对应的图像实例分割准确性。

在上述实施例中，通过使用平衡参数进行平衡处理后，再进行候选特征点对应的图像实例分割准确性的计算，从而使得到的图像实例分割准确性更加准确。

在一个实施例中，如图7所示，步骤206，基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，包括：

步骤702，按照训练样本尺度和特征图尺度的预设关联关系计算各个候选特征点对应的候选位置信息。

其中，预设关联关系是指预先设置好的训练样本尺度与特征图尺度的关系。候选位置信息是指候选特征点在训练样本中所在的位置区域。

具体地，服务器获取到各个候选特征点在特征图的位置，然后根据各个候选特征点在特征图的位置使用训练样本尺度和特征图尺度的预设关联关系计算得到各个候选特征点对应的候选位置信息。

步骤704，当候选位置信息在预设图像实例中心区域范围内时，获取中心位置加权值，使用中心位置加权值、相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到在预设图像实例中心区域范围内的候选特征点对应的图像实例分割准确性。

其中，预设图像实例中心区域范围是指预先设置好的训练样本中图像实例种群区域的范围。中心位置加权值是指预先设置好的当候选特征点在图像实例中心区域范围时得到加权值，可以根据需求设置，比如设置为1。

具体地，当候选位置信息在预设图像实例中心区域范围内时，服务器获取到中心位置加权值，然后计算中心位置加权值、相似距离和候选实例类别置信度的乘积，得到在预设图像实例中心区域范围内的候选特征点对应的图像实例分割准确性。

步骤706，当候选位置信息在预设图像实例中心区域范围外时，获取非中心位置加权值，并使用非中心位置加权值相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到在预设图像实例中心区域范围外的候选特征点对应的图像实例分割准确性。

其中，非中心位置加权值是指候选特征点未在预设图像实例中心区域范围内时的加权值，可以设置为0。即当候选特征点未在预设图像实例中心区域范围内时图像实例分割准确性为0。

具体地，当候选位置信息在预设图像实例中心区域范围外时，获取非中心位置加权值，并使用非中心位置加权值相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到在预设图像实例中心区域范围外的候选特征点对应的图像实例分割准确性

在上述实施例中，通过按照训练样本尺度和特征图尺度的预设关联关系计算各个候选特征点对应的候选位置信息，根候选位置信息与预设图像实例中心区域范围的位置关系来确定候选特征点对应的图像实例分割准确性，从而提高了得到的图像实例分割准确性的准确性。

在一个具体的实施例中，可以使用如下所示的公式(2)计算候选特征点对应的图像实例分割准确性。

其中，Q是指候选特征点的图像实例分割准确性，即候选特征点质量，用于表示候选特征点预测的图像实例分割结果和图像实例标签之间的相似性。

表示在π分配下第i个实例分割掩膜标签分配到的特征点π(i)所预测得到的图像实例分割结果，y_i表示第i个图像实例标签。

表示候选特征点是否在图像实例的中心区域，当候选特征点在中心区域时，

当候选特征点未在中心区域时，

α∈(0，1)，为平衡参数。

表示第i个候选特征点预测得到的类别为c_i的置信度。c_i表示第i个候选特征点对应的类别。该置信度越高表示该候选特征点的实例预测输出和该实例标签的相似性越高。然后使用如下所示的公式(3)从候选特征点中确定目标特征点。

其中，N表示图像实例标签个数，G表示预测得到的实例分割结果个数，即候选特征点个数。

表示所有可能的一对一匹配关系。

表示最终输出的图像实例标签与目标特征点的匹配关系，每个图像实例表征只匹配一个目标特征点。即通过计算候选特征点空间位置、分类质量和分割质量的乘积，得到图像实例分割准确性，然后根据图像实例分割准确性确定目标特征点，提高了得到目标特征点的准确性。

在一个实施例中，如图8所示，步骤208，基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息，包括：

步骤802，使用目标特征点对应的候选实例类别置信度和图像实例标签中的实例类别标签进行分类损失计算，得到类别损失信息。

其中，类别损失信息用于表征目标特征点对应的图像实例预测得到的类别和该图像实例真实的类别之间的误差。

具体地，服务器可以使用分类损失函数计算目标特征点对应的候选实例类别置信度与图像实例标签中的实例类别标签之间的误差，得到类别损失信息。其中，分类损失函数可以是交叉熵损失函数等。

步骤804，使用目标特征点对应的候选实例分割掩膜和图像实例标签中的实例分割掩膜标签进行掩膜损失计算，得到掩膜损失信息。

其中，掩膜损失信息用于表征目标特征对应的图像实例预测得到的掩膜和该图像实例真实的掩膜之间的误差。

具体地，服务器使用回归损失函数计算目标特征点对应的候选实例分割掩膜和图像实例标签中的实例分割掩膜标签，其中，回归损失函数可以是均方误差损失函数、平方损失函数等。

步骤806，计算类别损失信息和掩膜损失信息的和，得到初始损失信息。

具体地，服务器将类别误差和掩膜误差进行相加，就得到了初始损失信息。

在上述实施例中，通过分别计算类别损失信息和掩膜损失信息，然后计算类别损失信息和掩膜损失信息的和，得到初始损失信息，提高了初始损失信息的准确性。

在一个实施例中，如图9所示，提供了一种图像实例分割方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用在终端中，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。在本实施例中，包括以下步骤：

步骤902，获取待分割图像。

其中，待分割图像是指需要进行图像实例分割的图像，该待分割图像中图像实例可以包括有一个，也可以包括有至少两个。

具体地，服务器可以获取到终端发送的带分隔图像。服务器也可以从业务服务器获取到待分割图像。服务器也可以从互联网采集到待分割图像。服务器也可以直接从数据库中获取到待分割图像。

步骤904，将待分割图像输入到图像实例分割模型中，其中，通过获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到图像实例分割模型。

其中，图像实例分割模型是预先训练好的用于进行图像中实例分割的模型，该图像实例分割模型可以是使用上述图像实例分割模型训练方法中任意一实施例中的方法训练得到。

具体地，服务器预先训练得到图像实例分割模型，该图像实例分割模型可以是全卷积神经网络。其中，可以通过获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到图像实例分割模型。然后将图像实例分割模型部署使用。即服务器在获取到待分割图像时，使用部署的图像实例分割模型对待分割图像进行图像实例分割，即服务器将待分割图像输入到图像实例分割模型中。

步骤906，图像实例分割模型对待分割图像进行特征提取，得到待分割图像中图像实例对应的分割特征点，使用待分割图像中图像实例对应的分割特征点进行图像实例分割，得到待分割图像中图像实例对应的分割掩膜和类别置信度。

具体地，服务器中图像实例分割模型对待分割图像进行特征提取，得到待分割图像中图像实例对应的分割特征点，使用待分割图像中图像实例对应的分割特征点进行图像实例类别预测，得到待分割图像中图像实例对应的类别置信度，同时，使用待分割图像中图像实例对应的分割特征点进行图像实例的掩膜预测，得到待分割图像中图像实例对应的分割掩膜。由于每个图像实例在训练过程中只分配一个目标特征点，因此，在图像实例分割时，对于每个图像实例进行图像实例分割时不会产生冗余的预测，即每个图像实例都只会预测出一个图像实例掩膜，从而不需要进行非极大值抑制后处理。

步骤908，基于待分割图像中图像实例对应的分割掩膜和类别置信度确定待分割图像对应的图像实例分割结果。

具体地，服务器根据待分割图像中图像实例对应的分割掩膜和类别置信度就得到待分割图像对应的图像实例分割结果，图像实例分割结果用于表征对待分割图像中每个图像实例的分割结果。然后可以根据待分割图像中图像实例对应的分割掩膜和类别置信度将待分割图像对应的图像实例分割结果进行可视化展示。

上述图像实例分割方法，通过使用图像实例分割模型进行图像实例分割，即对待分割图像进行特征提取，得到待分割图像中图像实例对应的分割特征点，使用待分割图像中图像实例对应的分割特征点进行图像实例分割，得到待分割图像中图像实例对应的分割掩膜和类别置信度，然后使用待分割图像中图像实例对应的分割掩膜和类别置信度确定待分割图像对应的图像实例分割结果，从而能够避免同一图像实例预测得到对应的多个图像实例分割掩膜，需要使用非极大值抑制算法进行剔除，可能会将正确预测进行剔除的问题，提高了图像实例分割的准确性。

在一个实施例中，图像实例分割模型包括特征提取网络和特征融合网络；

步骤906，图像实例分割模型对待分割图像进行特征提取，得到待分割图像中图像实例对应的分割特征点，包括：

将待分割图像输入到特征提取网络中进行特征提取，得到待分割图像对应的不同尺度特征图；将待分割图像对应的不同尺度特征图输入到特征融合网络中进行特征融合，得到待分割图像中图像实例对应的分割特征点。

具体地，服务器将待分割图像输入到图像实例分割模型中的特征提取网络中进行特征提取，通过该特征提取网络中不同的卷积层提取出不同分辨率的特征图，即得到待分割图像对应的不同尺度特征图。然后将待分割图像对应的不同尺度特征图输入到特征融合网络中进行特征融合，得到待分割图像中图像实例对应的分割特征点。其中，该特征融合网络可以是使用特征金字塔网络得到的，同特征金字塔网络可以使得到的分割特征点融合了多层次信息。即通过特征提取网络和特征融合网络提取出待分割图像中每个图像实例对应的分割特征点，从而使提取得到的分割特征点更加的准确。

在一个实施例中，图像实例分割模型包括图像实例类别预测网络和图像实例掩膜预测网络；

步骤906，使用待分割图像中图像实例对应的分割特征点进行图像实例分割，得到待分割图像中图像实例对应的分割掩膜和类别置信度，包括：

将待分割图像中图像实例对应的分割特征点输入到图像实例类别预测网络中，得到分割特征点对应的类别置信度，将分割特征点对应的类别置信度作为分割特征点对应图像实例的类别置信度。并将待分割图像中图像实例对应的分割特征点输入到图像实例掩膜预测网络中进行图像实例掩膜预测，得到分割特征点对应的分割掩膜，将分割特征点对应的分割掩膜作为分割特征点对应图像实例的分割掩膜。

具体地，每个分各特征点都预测对应的类别置信度，当类别置信度超过预先社招的置信度阈值时，该分割特征点对应的图像实例的类别就为该类别置信度对应的类别。服务器吧将待分割图像中图像实例对应的分割特征点输入到图像实例分割模型的图像实例类别预测网络中，图像实例类别预测网络使用图像实例对应的分割特征点进行图像实例类别的预测，即预测该图像实例所属于的语义类型。然后将待分割图像中图像实例对应的分割特征点输入到图像实例掩膜预测网络中进行图像实例掩膜预测，得到分割特征点对应的分割掩膜，将分割特征点对应的分割掩膜作为分割特征点对应图像实例的分割掩膜。即通过不同的分支网络来分别进行分割掩膜预测和类别置信度预测，提高了图像实例分割的准确性。

在一个实施例中，图像实例掩膜预测网络包括卷积参数预测子网络和掩膜预测子网络；

将待分割图像中图像实例对应的分割特征点输入到图像实例掩膜预测网络中进行图像实例掩膜预测，得到分割特征点对应的分割掩膜，包括：

将待分割图像中图像实例对应的分割特征点输入卷积参数预测子网络中进行动态卷积参数预测，得到分割特征点对应的分割卷积参数；将分割卷积参数和待分割图像中图像实例对应的分割特征点输入到掩膜预测子网络中，掩膜预测子网络使用分割卷积参数和待分割图像中图像实例对应的分割特征点进行卷积运算，得到分割特征点对应的分割掩膜。

具体地，服务器在图像实例掩膜预测网络中使用动态卷积技术来进行图像实例对应的分割掩膜的预测。其中，先通过卷积参数预测子网络进行动态卷积惨死于的预测，即对分割特征点预测一组掩膜预测子网络中动态卷积所使用的动态卷积参数，该动态卷积参数用于进行掩膜(mask)的预测。将分割卷积参数和待分割图像中图像实例对应的分割特征点输入到掩膜预测子网络中，掩膜预测子网络获取到分割特征点对应的相对位置坐标，基于该分割特征点和相对位置坐标进行特征融合，生成一个融合后的特征，然后使用融合后的特征与分割卷积参数进行卷积运算，得到该分割特征点对应的图像实例预测得到的分割掩膜。通过使用动态卷积计算来进行分割掩膜的预测，能够使预测得到的分割掩膜更加准确。

在一个实施例中，待分割图像包括至少两个图像实例；

步骤906，即图像实例分割模型对待分割图像进行特征提取，得到待分割图像中图像实例对应的分割特征点，使用待分割图像中图像实例对应的分割特征点进行图像实例分割，得到待分割图像中图像实例对应的分割掩膜和类别置信度，包括：

图像实例分割模型对待分割图像进行特征提取，得到待分割图像中至少两个图像实例分别对应的分割特征点，使用至少两个分割特征点进行图像实例分割，得到待分割图像中至少两个图像实例分别对应的分割掩膜和类别置信度。

具体地，待分割图像中有多少个图像实例，则图像实例分割模型在进行特征提取时，就提取得到每个图像实例对应的唯一分割特征点，然后使用每个图像实例对应的唯一分割特征点进行图像实例分割，得到每个图像实例对应的分割掩膜和类别置信度，从而能够避免使用非极大抑制算法进行后续剔除处理。在图像实例重叠较多时，可以避免剔除掉正确的分割掩膜，从而能够更加正确的分割出重叠的图像实例。

在一个具体的实施例中，如图10所示，提供一种图像实例分割模型训练方法，具体包括以下步骤：

步骤1002，获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签，将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型包括初始特征提取网络、初始特征融合网络、初始图像实例类别预测网络、初始卷积参数预测网络和初始掩膜预测网络。

步骤1004，初始图像实例分割模型将训练样本输入初始特征提取网络中，初始特征提取网络使用不同尺度卷积参数将训练样本进行卷积计算，得到训练样本对应的不同尺度特征图，将训练样本对应的不同尺度特征图输入到初始特征融合网络中进行特征融合，得到训练样本对应的特征图。

步骤1006，将特征图中各个候选特征点输入到初始图像实例类别预测网络中进行图像实例类别预测，得到各个候选特征点对应的候选实例类别置信度。并将特征图中各个候选特征点输入到初始卷积参数预测网络进行动态卷积参数预测，得到各个候选特征点对应的初始动态卷积参数。

步骤1008，将各个候选特征点对应的初始动态卷积参数和特征图中各个候选特征点输入初始掩膜预测网络中，初始掩膜预测子网络使用特征图中各个候选特征点进行双线性内插计算，得到转换特征，并计算特征图中各个候选特征点对应的相对位置坐标，基于转换特征和相对位置坐标生成掩膜预测特征图，并基于掩膜预测特征图和各个候选特征点对应的初始动态卷积参数进行卷积运算，得到各个候选特征点对应的候选实例分割掩膜。

步骤1010，计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并按照训练样本尺度和特征图尺度的预设关联关系计算各个候选特征点对应的候选位置信息；

步骤1012，当候选位置信息在预设图像实例中心区域范围内时，获取中心位置加权值，使用中心位置加权值、相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到在预设图像实例中心区域范围内的候选特征点对应的图像实例分割准确性；

步骤1014，当候选位置信息在预设图像实例中心区域范围外时，获取非中心位置加权值，并使用非中心位置加权值相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到在预设图像实例中心区域范围外的候选特征点对应的图像实例分割准确性。

步骤1016，使用目标特征点对应的候选实例类别置信度和图像实例标签中的实例类别标签进行分类损失计算，得到类别损失信息；使用目标特征点对应的候选实例分割掩膜和图像实例标签中的实例分割掩膜标签进行掩膜损失计算，得到掩膜损失信息；计算类别损失信息和掩膜损失信息的和，得到初始损失信息。

步骤1018，基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像实例分割模型。

本申请还提供一种应用场景，该应用场景应用上述的图像实例分割模型训练方法。具体地，

如图11所示，为图像实例分割的架构示意图，其中，在进行图像实例分割模型训练时，将图像通过图像实例分割模型中的卷积网络提取图像特征，输出得到C3、C4和C5不同分辨率的特征图。然后将该不同分辨率的特征图采样特征融合网络进行特征融合生成融合了多层次信息的特征图，包括特征图P3、P4、P5、P6和P7。此时将特征图输入到类别分支网络(Classification分支网络，图10中右侧最上分支)中进行分类预测，对特征图中的每一个特征点，预测该特征点所属于的图像实例的类别，输出得到一个H*W*C的向量，该向量中每个一个位置代表一个特征点属于该类别的置信度，得到类别预测结果。然后在将特征图输入到控制分支网络(Controller分支网络，图10中右侧中间分支)中，该控制分支网络对特征图中上的每一个特征点预测一组掩膜预测分支网络中进行动态卷积时所使用的参数。即该控制分支网络会输出一个H*W*S的向量，该向量代表每个特征点对应的S维度的动态卷积参数，该S维度可以是169维度。最后，将通过掩膜预测网络对特征融合网络生成的特征图进行融合，并加入相对位置坐标，生成用于进行掩膜预测的特征图，然后使用每一组动态卷积参数与掩膜预测的特征图进行卷积运算，生成每个图像实例的掩膜预测结果。此时进行正负样本的一对一分配。即使用特征点的掩膜预测结果、类别预测结果以及该图像对应的实例分割标签，即实例分割真实值对特征图上的特征点进行正负样本的分配。即计算掩膜预测结果与图像实例掩膜标签之间的相似距离，再使用相似距离计算分类置信度之间的乘积，得到特征点的质量，即特征点的图像实例分割准确性，然后根据特征点的图像实例分割准确性选取最高图像实例分割准确性的特征点作为图像实例对应的唯一目标特征点。然后将目标特征点作为正样本，使用目标特征点对应的类别预测结果和掩膜预测结果对图像实例分割模型的参数进行更新，并不断进行循环迭代，直到达到训练完成条件时，得到目标图像实例分割模型，则该目标图像实例分割模型对每个图像实例只分配到一个特征点，因此在使用目标图像实例分割模型时，该目标图像实例分割模型不会产生冗余的预测，对于每个图像实例只有一个分割掩膜(mask)输出，不需要进行非极大值抑制后处理，从而提高了图像实例分割的准确性。

然后将训练完成的图像实例分割模型进行部署并使用。在使用时，对待分割图像进行分割，如图12所示，为待分割图像原始图和进行图像实例分割后得到的图像实例分割图的部分示意图。具体来说；服务器将待分割图像原始图输入到图像实例分割模型中，图像实例分割模型提取到每个图像实例对应的特征点，使用该特征点进行图像实例分割，得到图像实例分割结果，将图像实例分割结果进行可视化，得到图像实例分割图。在一个具体的实施例中，本申请中图像实例分割方法可以应用到各种图像实例分割中，比如，人车实例分割、场景分割、以及对密集人群进行实例分割等等。如图13所示，为各种应用场景中对图像进行实体分割结果示意图。

在一个具体的实施例中，服务器可以进行对比测试，其中，采用3x(训练36个批次)的学习策略，主干网络为ResNet50-FPN(残差网络50-特征金字塔网络)。参照组采用相同的训练参数实现。得到的测试结果如下表1所示。

表1测试对比表

其中，w/NMS代表有非极大抑制，w/o NMS代表未进行非极大抑制。△表示w/NMS与w/o NMS之间的差值。本申请中在不进行NMS后处理的情况下，mAP(mean AveragePrecision，平均精度均值，目标检测中衡量识别精度的指标)性能几乎不变，而现有技术在不进行NMS后处理时，性能下降严重，至少下降18.5％mAP。并且，本申请相对于现有技术在mAR(Average Recall类别平均召回率)上性能都优于现有技术。同时，对图像实例分割结果进行可视化展示，如图14所示，为图像实例分割结果可视化对比示意图，可以明显看出，本申请在图像实例重叠较多的情况对比现有技术优势明显，能够更加正确地分割出重叠的图像实例。因此，本申请中在进行图像实例分割时能够提高图像实例分割的准确性。

应该理解的是，虽然图2-10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-10中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图15所示，提供了一种图像实例分割模型训练装置1500，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1502、训练模块1504、目标特征点确定模块1506、损失计算模块1508和迭代更新模块1510，其中：

获取模块1502，用于获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；

训练模块1504，用于将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；

目标特征点确定模块1506，用于计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；

损失计算模块1508，用于基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；

迭代更新模块1510，用于基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像实例分割模型，目标图像实例分割模型用于对输入图像进行特征提取，得到输入图像中图像实例对应的分割特征点，基于输入图像中图像实例对应的分割特征点进行图像实例分割。

在一个实施例中，初始图像实例分割模型包括初始特征提取网络和初始特征融合网络；训练模块1504，包括：

特征提取子单元，用于将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型将训练样本输入初始特征提取网络中，初始特征提取网络使用不同尺度卷积参数将训练样本进行卷积计算，得到训练样本对应的不同尺度特征图；

特征融合子单元，用于将训练样本对应的不同尺度特征图输入到初始特征融合网络中进行特征融合，得到训练样本对应的特征图。

在一个实施例中，初始特征融合网络为特征金字塔网络；特征融合子单元还用于将训练样本对应的不同尺度特征图输入到特征金字塔网络中，特征金字塔网络使用不同尺度特征图中高层特征图进行上采样，得到语义特征图；使用不同尺度特征图中低层特征图进行卷积计算，得到细节特征图；将语义特征图和细节特征图进行融合，得到训练样本对应的特征图。

在一个实施例中，初始图像实例分割模型包括初始图像实例类别预测网络和初始图像实例掩膜预测网络；训练模块1504，包括：

类别预测子单元，用于将特征图中各个候选特征点输入到初始图像实例类别预测网络中进行图像实例类别预测，得到各个候选特征点对应的候选实例类别置信度；

掩膜预测子单元，用于并将特征图中各个候选特征点输入到初始图像实例掩膜预测网络中进行图像实例掩膜预测，得到各个候选特征点对应的候选实例分割掩膜。

在一个实施例中，初始图像实例掩膜预测网络包括初始卷积参数预测子网络和初始掩膜预测子网络；

掩膜预测子单元还用于将特征图中各个候选特征点输入到初始卷积参数预测子网络进行动态卷积参数预测，得到各个候选特征点对应的初始动态卷积参数；将各个候选特征点对应的初始动态卷积参数和特征图中各个候选特征点输入初始掩膜预测子网络中，初始掩膜预测子网络使用特征图中各个候选特征点进行双线性内插计算，得到转换特征，并计算特征图中各个候选特征点对应的相对位置坐标，基于转换特征和相对位置坐标生成掩膜预测特征图，并基于掩膜预测特征图和各个候选特征点对应的初始动态卷积参数进行卷积运算，得到各个候选特征点对应的候选实例分割掩膜。

在一个实施例中，目标特征点确定模块1506还用于计算候选实例分割掩膜与实例分割掩膜标签之间的相同掩膜值数，并计算相同掩膜值数的双倍数，得到目标掩膜值数；计算候选实例分割掩膜对应的候选掩膜值数和实例分割掩膜标签对应的标签掩膜值数，并计算候选掩膜值数和标签掩膜值数的和，得到掩膜值总数；计算目标掩膜值数与掩膜值总数的比值，得到候选实例分割掩膜和实例分割掩膜标签的相似距离。

在一个实施例中，目标特征点确定模块1506还用于获取预设第一平衡参数，基于预设第一平衡参数与相似距离进行计算，得到平衡距离；获取预设第二平衡参数，基于预设第二平衡参数与候选实例类别置信度进行计算，得到平衡类别置信度，预设第一平衡参数和预设第二平衡参数的和为目标值；计算平衡距离与平衡类别置信度的乘积，得到各个候选特征点对应的图像实例分割准确性。

在一个实施例中，目标特征点确定模块1506还用于按照训练样本尺度和特征图尺度的预设关联关系计算各个候选特征点对应的候选位置信息；当候选位置信息在预设图像实例中心区域范围内时，获取中心位置加权值，使用中心位置加权值、相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到在预设图像实例中心区域范围内的候选特征点对应的图像实例分割准确性；当候选位置信息在预设图像实例中心区域范围外时，获取非中心位置加权值，并使用非中心位置加权值相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到在预设图像实例中心区域范围外的候选特征点对应的图像实例分割准确性。

在一个实施例中，损失计算模块1508还用于使用目标特征点对应的候选实例类别置信度和图像实例标签中的实例类别标签进行分类损失计算，得到类别损失信息；使用目标特征点对应的候选实例分割掩膜和图像实例标签中的实例分割掩膜标签进行掩膜损失计算，得到掩膜损失信息；计算类别损失信息和掩膜损失信息的和，得到初始损失信息。

在一个实施例中，如图16所示，提供了一种图像实例分割装置1600，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：图像获取模块1602、图像输入模块1604、模型分割模块1606和分割结果确定模块1608，其中：

图像获取模块1602，用于获取待分割图像；

图像输入模块1604，用于将待分割图像输入到图像实例分割模型中，其中，通过获取训练样本和对应的图像实例标签，图像实例标签包括实例分割掩膜标签和实例类别标签；将训练样本输入到初始图像实例分割模型中，初始图像实例分割模型进行特征提取，得到训练样本对应的特征图，基于特征图中各个候选特征点进行图像实例分割，得到各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；计算候选实例分割掩膜和实例分割掩膜标签的相似距离，并基于相似距离和候选实例类别置信度进行图像实例分割准确性计算，得到各个候选特征点对应的图像实例分割准确性，基于图像实例分割准确性从各个候选特征点中确定目标特征点；基于目标特征点对应的候选实例分割掩膜、目标特征点对应的候选实例类别置信度和图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；基于初始图像实例分割损失信息更新初始图像实例分割模型，并返回将训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到图像实例分割模型；

模型分割模块1606，用于图像实例分割模型对待分割图像进行特征提取，得到待分割图像中图像实例对应的分割特征点，使用待分割图像中图像实例对应的分割特征点进行图像实例分割，得到待分割图像中图像实例对应的分割掩膜和类别置信度；

分割结果确定模块1608，用于基于待分割图像中图像实例对应的分割掩膜和类别置信度确定待分割图像对应的图像实例分割结果。

在一个实施例中，图像实例分割模型包括特征提取网络和特征融合网络；模型分割模块1606还用于将待分割图像输入到特征提取网络中进行特征提取，得到待分割图像对应的不同尺度特征图；将待分割图像对应的不同尺度特征图输入到特征融合网络中进行特征融合，得到待分割图像中图像实例对应的分割特征点。

在一个实施例中，图像实例分割模型包括图像实例类别预测网络和图像实例掩膜预测网络；模型分割模块1606还用于将待分割图像中图像实例对应的分割特征点输入到图像实例类别预测网络中，得到分割特征点对应的类别置信度，将分割特征点对应的类别置信度作为分割特征点对应图像实例的类别置信度；并将待分割图像中图像实例对应的分割特征点输入到图像实例掩膜预测网络中进行图像实例掩膜预测，得到分割特征点对应的分割掩膜，将分割特征点对应的分割掩膜作为分割特征点对应图像实例的分割掩膜。

在一个实施例中，图像实例掩膜预测网络包括卷积参数预测子网络和掩膜预测子网络；模型分割模块1606还用于将待分割图像中图像实例对应的分割特征点输入卷积参数预测子网络中进行动态卷积参数预测，得到分割特征点对应的分割卷积参数；将分割卷积参数和待分割图像中图像实例对应的分割特征点输入到掩膜预测子网络中，掩膜预测子网络使用分割卷积参数和待分割图像中图像实例对应的分割特征点进行卷积运算，得到分割特征点对应的分割掩膜。

在一个实施例中，待分割图像包括至少两个图像实例；模型分割模块1606还用于图像实例分割模型对待分割图像进行特征提取，得到待分割图像中至少两个图像实例分别对应的分割特征点，使用至少两个分割特征点进行图像实例分割，得到待分割图像中至少两个图像实例分别对应的分割掩膜和类别置信度。

关于图像实例分割模型训练装置和图像实例分割装置的具体限定可以参见上文中对于图像实例分割模型训练方法和图像实例分割方法的限定，在此不再赘述。上述图像实例分割模型训练装置和图像实例分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储训练样本数据和待分割图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像实例分割模型训练方法或者图像实例分割方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图18所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像实例分割模型训练方法和图像实例分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图17和图18中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像实例分割模型训练方法，其特征在于，所述方法包括：

获取训练样本和对应的图像实例标签，所述图像实例标签包括实例分割掩膜标签和实例类别标签；

将所述训练样本输入到初始图像实例分割模型中，所述初始图像实例分割模型进行特征提取，得到所述训练样本对应的特征图，基于所述特征图中各个候选特征点进行图像实例分割，得到所述各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；

计算所述候选实例分割掩膜和所述实例分割掩膜标签的相似距离，并基于所述相似距离和所述候选实例类别置信度进行图像实例分割准确性计算，得到所述各个候选特征点对应的图像实例分割准确性，基于所述图像实例分割准确性从所述各个候选特征点中确定目标特征点；

基于所述目标特征点对应的候选实例分割掩膜、所述目标特征点对应的候选实例类别置信度和所述图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；

基于所述初始图像实例分割损失信息更新所述初始图像实例分割模型，并返回将所述训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像实例分割模型，所述目标图像实例分割模型用于对输入图像进行特征提取，得到输入图像中图像实例对应的分割特征点，基于所述输入图像中图像实例对应的分割特征点进行图像实例分割。

2.根据权利要求1所述的方法，其特征在于，所述初始图像实例分割模型包括初始特征提取网络和初始特征融合网络；

所述将所述训练样本输入到初始图像实例分割模型中，所述初始图像实例分割模型进行特征提取，得到所述训练样本对应的特征图，包括：

将所述训练样本输入到初始图像实例分割模型中，所述初始图像实例分割模型将所述训练样本输入所述初始特征提取网络中，所述初始特征提取网络使用不同尺度卷积参数将所述训练样本进行卷积计算，得到所述训练样本对应的不同尺度特征图；

将所述训练样本对应的不同尺度特征图输入到所述初始特征融合网络中进行特征融合，得到所述训练样本对应的特征图。

3.根据权利要求2所述的方法，其特征在于，所述初始特征融合网络为特征金字塔网络；

所述将所述训练样本对应的不同尺度特征图输入到所述初始特征融合网络中进行特征融合，得到所述训练样本对应的特征图，包括：

将所述训练样本对应的不同尺度特征图输入到所述特征金字塔网络中，所述特征金字塔网络使用所述不同尺度特征图中高层特征图进行上采样，得到语义特征图；

使用所述不同尺度特征图中低层特征图进行卷积计算，得到细节特征图；

将所述语义特征图和所述细节特征图进行融合，得到所述训练样本对应的特征图。

4.根据权利要求1所述的方法，其特征在于，所述初始图像实例分割模型包括初始图像实例类别预测网络和初始图像实例掩膜预测网络；

所述基于所述特征图中各个候选特征点进行图像实例分割，得到所述各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度，包括：

将所述特征图中各个候选特征点输入到所述初始图像实例类别预测网络中进行图像实例类别预测，得到所述各个候选特征点对应的候选实例类别置信度；

并将所述特征图中各个候选特征点输入到所述初始图像实例掩膜预测网络中进行图像实例掩膜预测，得到所述各个候选特征点对应的候选实例分割掩膜。

5.根据权利要求4所述的方法，其特征在于，所述初始图像实例掩膜预测网络包括初始卷积参数预测子网络和初始掩膜预测子网络；

所述将所述特征图中各个候选特征点输入到所述初始图像实例掩膜预测网络中进行图像实例掩膜预测，得到所述各个候选特征点对应的候选实例分割掩膜，包括：

将所述特征图中各个候选特征点输入到所述初始卷积参数预测子网络进行动态卷积参数预测，得到所述各个候选特征点对应的初始动态卷积参数；

将所述各个候选特征点对应的初始动态卷积参数和所述特征图中各个候选特征点输入所述初始掩膜预测子网络中，所述初始掩膜预测子网络使用所述特征图中各个候选特征点进行双线性内插计算，得到转换特征，并计算所述特征图中各个候选特征点对应的相对位置坐标，基于所述转换特征和所述相对位置坐标生成掩膜预测特征图，并基于所述掩膜预测特征图和所述各个候选特征点对应的初始动态卷积参数进行卷积运算，得到所述各个候选特征点对应的候选实例分割掩膜。

6.根据权利要求1所述的方法，其特征在于，所述计算所述候选实例分割掩膜和所述实例分割掩膜标签的相似距离，包括：

计算所述候选实例分割掩膜与所述实例分割掩膜标签之间的相同掩膜值数，并计算所述相同掩膜值数的双倍数，得到目标掩膜值数；

计算所述候选实例分割掩膜对应的候选掩膜值数和所述实例分割掩膜标签对应的标签掩膜值数，并计算所述候选掩膜值数和所述标签掩膜值数的和，得到掩膜值总数；

计算所述目标掩膜值数与所述掩膜值总数的比值，得到所述候选实例分割掩膜和所述实例分割掩膜标签的相似距离。

7.根据权利要求1所述的方法，其特征在于，基于所述相似距离和所述候选实例类别置信度进行图像实例分割准确性计算，得到所述各个候选特征点对应的图像实例分割准确性，包括：

获取预设第一平衡参数，基于所述预设第一平衡参数与所述相似距离进行计算，得到平衡距离；

获取预设第二平衡参数，基于所述预设第二平衡参数与所述候选实例类别置信度进行计算，得到平衡类别置信度，所述预设第一平衡参数和所述预设第二平衡参数的和为目标值；

计算所述平衡距离与所述平衡类别置信度的乘积，得到所述各个候选特征点对应的图像实例分割准确性。

8.根据权利要求1所述的方法，其特征在于，基于所述相似距离和所述候选实例类别置信度进行图像实例分割准确性计算，得到所述各个候选特征点对应的图像实例分割准确性，包括：

按照训练样本尺度和特征图尺度的预设关联关系计算所述各个候选特征点对应的候选位置信息；

当所述候选位置信息在预设图像实例中心区域范围内时，获取中心位置加权值，使用所述中心位置加权值、所述相似距离和所述候选实例类别置信度进行图像实例分割准确性计算，得到在预设图像实例中心区域范围内的候选特征点对应的图像实例分割准确性；

当所述候选位置信息在预设图像实例中心区域范围外时，获取非中心位置加权值，并使用所述非中心位置加权值所述相似距离和所述候选实例类别置信度进行图像实例分割准确性计算，得到在预设图像实例中心区域范围外的候选特征点对应的图像实例分割准确性。

9.根据权利要求1所述的方法，其特征在于，所述基于所述目标特征点对应的候选实例分割掩膜、所述目标特征点对应的候选实例类别置信度和所述图像实例标签进行分割损失计算，得到初始图像实例分割损失信息，包括：

使用所述目标特征点对应的候选实例类别置信度和所述图像实例标签中的实例类别标签进行分类损失计算，得到类别损失信息；

使用所述目标特征点对应的候选实例分割掩膜和所述图像实例标签中的实例分割掩膜标签进行掩膜损失计算，得到掩膜损失信息；

计算所述类别损失信息和所述掩膜损失信息的和，得到所述初始损失信息。

10.一种图像实例分割方法，其特征在于，所述方法包括：

获取待分割图像；

将所述待分割图像输入到图像实例分割模型中，其中，通过获取训练样本和对应的图像实例标签，所述图像实例标签包括实例分割掩膜标签和实例类别标签；将所述训练样本输入到初始图像实例分割模型中，所述初始图像实例分割模型进行特征提取，得到所述训练样本对应的特征图，基于所述特征图中各个候选特征点进行图像实例分割，得到所述各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；计算所述候选实例分割掩膜和所述实例分割掩膜标签的相似距离，并基于所述相似距离和所述候选实例类别置信度进行图像实例分割准确性计算，得到所述各个候选特征点对应的图像实例分割准确性，基于所述图像实例分割准确性从所述各个候选特征点中确定目标特征点；基于所述目标特征点对应的候选实例分割掩膜、所述目标特征点对应的候选实例类别置信度和所述图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；基于所述初始图像实例分割损失信息更新所述初始图像实例分割模型，并返回将所述训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到所述图像实例分割模型；

所述图像实例分割模型对所述待分割图像进行特征提取，得到所述待分割图像中图像实例对应的分割特征点，使用所述待分割图像中图像实例对应的分割特征点进行图像实例分割，得到所述待分割图像中图像实例对应的分割掩膜和类别置信度；

基于所述待分割图像中图像实例对应的分割掩膜和类别置信度确定所述待分割图像对应的图像实例分割结果。

11.根据权利要求10所述的方法，其特征在于，所述图像实例分割模型包括特征提取网络和特征融合网络；

所述图像实例分割模型对所述待分割图像进行特征提取，得到所述待分割图像中图像实例对应的分割特征点，包括：

将所述待分割图像输入到所述特征提取网络中进行特征提取，得到所述待分割图像对应的不同尺度特征图；

将所述待分割图像对应的不同尺度特征图输入到所述特征融合网络中进行特征融合，得到所述待分割图像中图像实例对应的分割特征点。

12.一种图像实例分割模型训练装置，其特征在于，所述装置包括：

获取模块，用于获取训练样本和对应的图像实例标签，所述图像实例标签包括实例分割掩膜标签和实例类别标签；

训练模块，用于将所述训练样本输入到初始图像实例分割模型中，所述初始图像实例分割模型进行特征提取，得到所述训练样本对应的特征图，基于所述特征图中各个候选特征点进行图像实例分割，得到所述各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；

目标特征点确定模块，用于计算所述候选实例分割掩膜和所述实例分割掩膜标签的相似距离，并基于所述相似距离和所述候选实例类别置信度进行图像实例分割准确性计算，得到所述各个候选特征点对应的图像实例分割准确性，基于所述图像实例分割准确性从所述各个候选特征点中确定目标特征点；

损失计算模块，用于基于所述目标特征点对应的候选实例分割掩膜、所述目标特征点对应的候选实例类别置信度和所述图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；

迭代更新模块，用于基于所述初始图像实例分割损失信息更新所述初始图像实例分割模型，并返回将所述训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到目标图像实例分割模型，所述目标图像实例分割模型用于对输入图像进行特征提取，得到输入图像中图像实例对应的分割特征点，基于所述输入图像中图像实例对应的分割特征点进行图像实例分割。

13.一种图像实例分割装置，其特征在于，所述装置包括：

图像获取模块，用于获取待分割图像；

图像输入模块，用于将所述待分割图像输入到图像实例分割模型中，其中，通过获取训练样本和对应的图像实例标签，所述图像实例标签包括实例分割掩膜标签和实例类别标签；将所述训练样本输入到初始图像实例分割模型中，所述初始图像实例分割模型进行特征提取，得到所述训练样本对应的特征图，基于所述特征图中各个候选特征点进行图像实例分割，得到所述各个候选特征点对应的候选实例分割掩膜和候选实例类别置信度；计算所述候选实例分割掩膜和所述实例分割掩膜标签的相似距离，并基于所述相似距离和所述候选实例类别置信度进行图像实例分割准确性计算，得到所述各个候选特征点对应的图像实例分割准确性，基于所述图像实例分割准确性从所述各个候选特征点中确定目标特征点；基于所述目标特征点对应的候选实例分割掩膜、所述目标特征点对应的候选实例类别置信度和所述图像实例标签进行分割损失计算，得到初始图像实例分割损失信息；基于所述初始图像实例分割损失信息更新所述初始图像实例分割模型，并返回将所述训练样本输入到初始图像实例分割模型中的步骤迭代执行，直到达到训练完成条件时，得到所述图像实例分割模型；

模型分割模块，用于所述图像实例分割模型对所述待分割图像进行特征提取，得到所述待分割图像中图像实例对应的分割特征点，使用所述待分割图像中图像实例对应的分割特征点进行图像实例分割，得到所述待分割图像中图像实例对应的分割掩膜和类别置信度；

分割结果确定模块，用于基于所述待分割图像中图像实例对应的分割掩膜和类别置信度确定所述待分割图像对应的图像实例分割结果。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

Images