CN112233128A - 图像分割方法及模型的训练方法、装置、介质、电子设备 - Google Patents

Abstract

本发明公开了一种图像分割方法、图像分割模型的训练方法、训练装置、计算机可读存储介质以及电子设备，通过训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型，然后计算训练样本图像的感兴趣区域边界概率图，即训练样本图像中每个像素点为感兴趣区域边界的概率，并以训练样本和对应的感兴趣区域概率图训练第二模型，最后将第一模型和第二模型加权融合得到最终的图像分割模型，并且再次以训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型；利用感兴趣区域边界概率图训练第二模型，并且以第二模型指导第一模型的再次训练，可以降低模糊边界对模型训练的影响，提高图像分割模型的准确性和鲁棒性。

Description

图像分割方法及模型的训练方法、装置、介质、电子设备

技术领域

本申请涉及图像处理领域，具体涉及一种图像分割方法、图像分割模型的训练方法、训练装置、计算机可读存储介质以及电子设备。

背景技术

深度学习是当下最流行的研究方向之一，在多个领域，如广告推荐、自动驾驶、医疗保健中都有大量的使用。深度学习，尤其是计算机视觉方向，在近年来重新焕发活力的一个主要原因是数据的获取和保存变得更加简单。在医疗领域，医学影像的数量每年都在以惊人的趋势增长，但是影像科医生的培养需要学习的时间和经验的积累，因此，结合深度学习进行医学影像的分析是一个非常有意义的研究方向。

在医学影像分析中，对生理结构或病灶区域(后面统称为“感兴趣区域(ROI)”)进行准确的识别和勾画，对于后续的分析具有重要的指导作用。但是，医学影像的类型众多，而且大多数是三维数据，甚至还有四维数据(如结合了时间信息的三维数据)。以CT影像为例，一例CT影像就可能包含有几百层需要专家检查标注的图像。这意味着巨大的工作负担，同时也存在因专家技术水平和其它主观因素导致标注质量参差不齐。

实现对ROI的自动化分割可以极大的提升医生的工作效率，减轻医生的工作负担，降低人为因素对标注质量的影响。目前，已经提出了许多结合深度学习对医学影像中的ROI进行自动化分割的方法，其中占据主导地位的是监督学习，这主要是因为监督学习的性能是最好的，这也符合在自然图像中的研究发现。但是，医学图像具有的一些特有性质在一定程度上影响了监督学习的表现，主要在于：人体内部结构是非常复杂的，许多组织互相紧密接触，这会影导致结构边界的模糊；许多医学影像是以对放射信号进行重建的方式得到的，因此重建算法的好坏也会对组织结构的清晰度造成影响；并且，监督学习的性能依赖于标注的质量，而医学图像的标注只能由相关领域的专家完成。专家的技术水平以及主观性都可能会影响标注结果；同时，这种具有专业知识门槛限制的标注方法，也意味着无法通过对同样的数据进行多次标注来提升标注质量。

发明内容

为了解决上述技术问题，本申请提出了一种图像分割方法、图像分割模型的训练方法、训练装置、计算机可读存储介质以及电子设备，通过训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型，然后计算训练样本图像的感兴趣区域边界概率图，即训练样本图像中每个像素点为感兴趣区域边界的概率，并以训练样本和对应的感兴趣区域概率图训练第二模型，最后将第一模型和第二模型加权融合得到最终的图像分割模型，并且再次以训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型；利用感兴趣区域边界概率图训练第二模型，并且以第二模型指导第一模型的再次训练，可以降低模糊边界对模型训练的影响，提高图像分割模型的准确性和鲁棒性。

根据本申请的一个方面，提供了一种图像分割模型的训练方法，包括：将训练样本图像和对应所述训练样本图像的感兴趣区域图像分别作为输入和输出训练第一模型；计算所述训练样本图像的感兴趣区域边界概率图，所述感兴趣区域边界概率图表示所述训练样本图像中每个像素点为感兴趣区域边界的概率；将所述训练样本图像和对应的所述感兴趣区域边界概率图分别作为输入和输出训练第二模型；将所述第一模型和所述第二模型组合，得到图像分割模型；以及将所述训练样本图像和对应所述训练样本图像的所述感兴趣区域图像分别作为输入和输出训练所述图像分割模型。

在一实施例中，所述将所述第一模型和所述第二模型组合，得到图像分割模型包括：将所述第二模型的所有模块分别与所述第一模型中相同数量的模块对应设置，并且将所述第一模型中当前模块的输出特征图像与所述第二模型中对应模块的输出特征图像加权融合后得到的特征图像作为所述第一模型中当前模块的下层模块的输入。

在一实施例中，所述训练所述图像分割模型包括：固定所述第二模型的参数，调整所述第一模型的参数。

在一实施例中，所述计算所述训练样本图像的感兴趣区域边界概率图包括：重复执行随机丢弃所述第一模型中的部分卷积层参数并将每个所述训练样本图像输入丢弃部分卷积层参数后的第一模型N次，得到N个感兴趣区域的边界图像；其中，N为大于1的整数；以及根据所述N个感兴趣区域的边界图像，综合计算每个所述训练样本图像中每个像素点为感兴趣区域边界的预测概率。

在一实施例中，所述根据所述N个感兴趣区域的边界图像，综合计算每个所述训练样本图像中每个像素点为感兴趣区域边界的预测概率包括：计算所述N个感兴趣区域的边界图像中每个像素点为边界的置信度；计算所述N个感兴趣区域的边界图像中每个像素点为边界的置信度的方差；以及根据所述方差，计算得到所述N个感兴趣区域的边界图像中每个像素点为感兴趣区域边界的预测概率。

在一实施例中，所述计算所述训练样本图像的感兴趣区域边界概率图还包括：计算每个所述感兴趣区域图像中感兴趣区域内每个像素点与非感兴趣区域的最小欧式距离以及非感兴趣区域内每个像素点与感兴趣区域的最小欧式距离；对所有的最小欧式距离进行归一化处理，得到对应的每个像素点为感兴趣区域边界的标注概率；以及对所述预测概率和所述标注概率进行融合，得到所述训练样本图像中每个像素点为感兴趣区域边界的综合概率。

在一实施例中，所述第二模型中的非端部模块的上层模块的输出特征图像作为所述非端部模块和所述非端部模块的下层模块的输入；所述将所述训练样本图像和对应的所述感兴趣区域边界概率图分别作为输入和输出训练第二模型包括：获取所述第二模型的每个模块的输出边界；计算所述输出边界的像素点与所述感兴趣区域边界概率图中对应的像素点为感兴趣区域边界的综合概率之间的差距，得到损失值；以及当所述损失值大于预设损失值时，删除该模块。

根据本申请的另一个方面，提供了一种图像分割方法，包括：将待分割图像输入图像分割模型，得到所述待分割图像中的感兴趣区域图像；其中，所述图像分割模型采用上述任一项所述的训练方法得到。

根据本申请的另一个方面，提供了一种图像分割模型的训练装置，包括：第一训练模块，用于将训练样本图像和对应所述训练样本图像的感兴趣区域图像分别作为输入和输出训练第一模型；计算模块，用于计算所述训练样本图像的感兴趣区域边界概率图，所述感兴趣区域边界概率图表示所述训练样本图像中每个像素点为感兴趣区域边界的概率；第二训练模块，用于将所述训练样本图像和对应的所述感兴趣区域边界概率图分别作为输入和输出训练第二模型；融合模块，用于将所述第一模型和所述第二模型组合，得到图像分割模型；以及联合训练模块，用于将所述训练样本图像和对应所述训练样本图像的所述感兴趣区域图像分别作为输入和输出训练所述图像分割模型。

根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的图像分割模型的训练方法。

根据本申请的另一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的图像分割模型的训练方法。

本申请提供的一种图像分割方法、图像分割模型的训练方法、训练装置、计算机可读存储介质以及电子设备，通过训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型，然后计算训练样本图像的感兴趣区域边界概率图，即训练样本图像中每个像素点为感兴趣区域边界的概率，并以训练样本和对应的感兴趣区域概率图训练第二模型，最后将第一模型和第二模型加权融合得到最终的图像分割模型，并且再次以训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型；利用感兴趣区域边界概率图训练第二模型，并且以第二模型指导第一模型的再次训练，可以降低模糊边界对模型训练的影响，提高图像分割模型的准确性和鲁棒性。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的一种图像分割模型的训练方法的流程示意图。

图2是本申请一示例性实施例提供的一种感兴趣区域边界概率图的计算方法的流程示意图。

图3是本申请另一示例性实施例提供的一种感兴趣区域边界概率图的计算方法的流程示意图。

图4是本申请一示例性实施例提供的一种第二模型的训练方法的流程示意图。

图5是本申请一示例性实施例提供的一种图像分割模型的训练装置的结构示意图。

图6是本申请另一示例性实施例提供的一种图像分割模型的训练装置的结构示意图。

图7是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

目前，大多数的ROI自动化分割模型都是基于监督学习得到的，然而，用于医学影像ROI自动化分割的深度学习研究，存在两方面的问题。

问题一：用于监督学习的样本数据本身存在质量上的参差不齐，导致图像语义信息存在歧义性，这种歧义性主要存在于ROI的语义边界上，并且会影响监督学习的优化过程。

问题二：有些方法会根据当前的样本数据来获得ROI的语义边界，根据问题一可知这种语义边界本身就存在歧义，将其用于监督学习并不是一个好的选择。同时，这些研究虽然考虑对ROI边界进行独立的学习，但是并没有ROI主体与ROI边界的特征提取过程进行解耦，考虑到特征提取过程中大量的非线性变化过程，这可能已经对ROI边界信息的特征造成了不可逆的影响。

出于解决上述问题，本申请提供的一种图像分割方法、图像分割模型的训练方法、训练装置、计算机可读存储介质以及电子设备，通过训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型，然后计算训练样本图像的感兴趣区域边界概率图，即训练样本图像中每个像素点为感兴趣区域边界的概率，并以训练样本和对应的感兴趣区域概率图训练第二模型，最后将第一模型和第二模型加权融合得到最终的图像分割模型，并且再次以训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型；利用感兴趣区域边界概率图训练第二模型，并且以第二模型指导第一模型的再次训练，可以降低模糊边界对模型训练的影响，提高图像分割模型的准确性和鲁棒性。

示例性方法

图1是本申请一示例性实施例提供的一种图像分割模型的训练方法的流程示意图。如图1所示，该方法包括如下步骤：

步骤110：将训练样本图像和对应训练样本图像的感兴趣区域图像分别作为输入和输出训练第一模型。

本申请提供的图像分割模型的训练方法的第一个阶段是训练得到第一模型，其中第一模型为一个图像分割网络结构，在一实施例中，第一模型为深度学习模型，具体的可以为SegNet、U-Net、DeepLab V3 plus等神经网络模型中的任一种。下面的描述中仅以U-Net神经网络模型为例进行说明，并非限定第一模型为U-Net神经网络模型。

以训练样本图像和对应训练样本图像的感兴趣区域图像(即训练样本图像中的感兴趣区域图像)分别作为训练样本的输入和输出来训练第一模型，得到训练完成的第一模型，即第一模型可以对图像进行分割得到图像中的感兴趣区域。在一实施例中，对应训练样本图像的感兴趣区域图像可以是由专家手动标注得到的。由于每个专家的水平和认知有所不同，因此，其标注结果存在一定的主观性，并且对于感兴趣区域的边界不是特别清楚的图像，专家在标注时也会有一定的偏差，在训练样本不够准确的前提下，很难保证分割模型的准确性，因此，训练得到的第一模型也只是初步的分割模型，其准确度还有待提高。

步骤120：计算训练样本图像的感兴趣区域边界概率图，感兴趣区域边界概率图表示训练样本图像中每个像素点为感兴趣区域边界的概率。

根据训练样本图像和对应的感兴趣区域，计算训练样本图像中每个像素点为感兴趣区域边界的概率，即获取训练样本图像中每一个像素点是否为感兴趣区域边界以及为感兴趣区域边界的概率，从而可以将感兴趣区域的边界和感兴趣区域的主体进行解耦，从而可以针对感兴趣区域的边界信息进行独立的学习，以提高分割精度。

步骤130：将训练样本图像和对应的感兴趣区域边界概率图分别作为输入和输出训练第二模型。

在上述步骤中通过将感兴趣区域的主体和边界解耦，以得到感兴趣区域的边界信息后，可以利用该边界信息单独训练一个边界分割模型，即第二模型。本申请实施例以上述训练样本图像和对应的感兴趣区域边界概率图作为训练样本的输入和输出来训练第二模型，从而得到一个可以分割感兴趣区域边界的模型。

步骤140：将第一模型和第二模型组合，得到图像分割模型。

具体的组合方式可以是：将第二模型的所有模块分别与第一模型中相同数量的模块对应设置，并且将第一模型中当前模块的输出特征图像与第二模型中对应模块的输出特征图像加权融合后得到的特征图像作为第一模型中当前模块的下层模块的输入。在一实施例中，第二模型的模块数量与第一模型中的下采样模块数量相同；并且步骤140的具体实现方式可以是：将第二模型中的所有模块与第一模型中下采样模块(即编码模块)分别对应设置，且第一模型中的当前模块的输出特征图像和第二模型中对应的模块的输出特征图像加权融合后作为第一模型中的当前模块的下层模块的输入，从而实现第一模型和第二模型的组合。即以第二模型的所有模块作为一个注意力模块来指导第一模型，将感兴趣区域的边界信息加权融合以融入感兴趣区域的主体信息，从而提高图像分割模型的分割精度。

步骤150：将训练样本图像和对应训练样本图像的感兴趣区域图像分别作为输入和输出训练图像分割模型。

再次通过训练样本图像和对应训练样本图像的感兴趣区域图像来训练图像分割模型，即利用训练完成的第二模型来指导第一模型再次训练，从而得到由第一模型和第二模型组合得到的分割精度更高的分割模型。在一实施例中，再次训练的具体方式可以包括：固定第二模型的参数，调整第一模型的参数。通过固定第二模型的参数，仅调整第一模型的参数，以实现第二模型指导第一模型的参数调整，由于相同的训练样本同时训练第一模型和第二模型，可能对第一模型的参数和第二模型的参数调整意义不大，因此，固定第二模型的参数，仅调整第一模型的参数，以提高图像分割模型的训练精度。

本申请提供的一种图像分割模型的训练方法，通过训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型，然后计算训练样本图像的感兴趣区域边界概率图，即训练样本图像中每个像素点为感兴趣区域边界的概率，并以训练样本和对应的感兴趣区域概率图训练第二模型，最后将第一模型和第二模型加权融合得到最终的图像分割模型，并且再次以训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型；利用感兴趣区域边界概率图训练第二模型，并且以第二模型指导第一模型的再次训练，可以降低模糊边界对模型训练的影响，提高图像分割模型的准确性和鲁棒性。

图2是本申请一示例性实施例提供的一种感兴趣区域边界概率图的计算方法的流程示意图。如图2所示，上述步骤120可以包括如下步骤：

步骤121：重复执行随机丢弃第一模型中的部分卷积层参数并将每个训练样本图像输入丢弃部分卷积层参数后的第一模型N次，得到N个感兴趣区域的边界图像；其中，N为大于1的整数。

随机因此第一模型中的部分卷积层的具体实现方式可以是：在第一模型中每个卷积层之后加入一个随机丢弃层(Dropout层)，其中Dropout层会在训练过程中暂时性的随机丢弃卷积层中的部分参数。由于在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象，过拟合指的是模型在训练数据上损失函数比较小，预测准确率较高(如果通过画图来表示的话，就是拟合曲线比较尖，不平滑，泛化能力不好)，但是在测试数据上损失函数比较大，预测准确率较低。Dropout是为了防止模型过拟合，举例来说，假如在训练中设定忽略一半的特征检测器(让一半的卷积层参数值为0)，可以明显地减少过拟合现象。因此，本申请实施例中在第一模型的每个卷积层后都加入一个Dropout层，可以在训练过程中随机的丢弃其中的部分卷积层参数，从而避免第一模型过拟合，提高第一模型的训练精度。

更重要的是，由于Dropout层隐藏对应的卷积层是随机的，因此，将每个训练样本图像输入加入Dropout层后的第一模型N次，可以得到N个不完全相同的感兴趣区域的边界图像，从而可以通过多次的输出结果可以得到像素点为感兴趣区域边界的概率。

步骤122：根据N个感兴趣区域的边界图像，综合计算每个训练样本图像中每个像素点为感兴趣区域边界的预测概率。

在得到了N个感兴趣区域的边界图像后，可以根据该N个感兴趣区域的边界图像中边界位置计算每个像素点为感兴趣区域边界的预测概率。在一实施例中，具体的计算方式可以是：首先，分别将每个感兴趣区域的边界图像中位于边界处的像素点的值记为1，其他的像素点的值记为0；然后，将N个感兴趣区域的边界图像中对应像素点的值相加后除以N后得到的即为该像素点为感兴趣区域边界的预测概率。如该计算方式可以得到一个训练样本图像的感兴趣区域边界概率图，依此方式可以得到所有训练样本图像的感兴趣区域边界概率图。在另一实施例中，计算每个训练样本图像中每个像素点为感兴趣区域边界的预测概率的具体方式可以是：首先，计算N个感兴趣区域的边界图像中每个像素点为边界的置信度，计算置信度的方式可以类似上一实施例中计算预测概率的方式；然后，计算N个感兴趣区域的边界图像中每个像素点为边界的置信度的方差，通过计算方差可以获知每个像素点为边界的置信度稳定性，可以尽量降低个别像素点偶尔出现在边界处的概率；最后，根据方差计算得到N个感兴趣区域的边界图像中每个像素点为感兴趣区域边界的预测概率，具体的计算方式可以是：预测概率＝1-方差/0.25。

图3是本申请另一示例性实施例提供的一种感兴趣区域边界概率图的计算方法的流程示意图。如图3所示，上述步骤120还可以包括如下步骤：

步骤123：计算每个感兴趣区域图像中感兴趣区域内每个像素点与非感兴趣区域的最小欧式距离以及非感兴趣区域内每个像素点与感兴趣区域的最小欧式距离。

由于训练样本图像对应的感兴趣区域图像是相对较为准确的标注图像，即其中的感兴趣区域边界相对准确，因此，计算每个训练样本图像对应的感兴趣区域图像中每个像素点为感兴趣区域边界的概率，可以提高感兴趣区域边界概率图的准确性。具体的计算方式可以是：分别计算每个感兴趣区域图像中感兴趣区域内像素点与非感兴趣区域的最小欧式距离、非感兴趣区域内像素点与感兴趣区域的最小欧式距离，即分别计算感兴趣区域内的像素点与区域外的最近距离、感兴趣区域外的像素点与区域内的最近距离，由于最近距离越小，说明该像素点距离感兴趣区域的边界越近，其为边界的概率也越大，因此，根据最近距离可以感兴趣区域图像中像素点为感兴趣区域边界的概率大小排序。

步骤124：对所有的最小欧式距离进行归一化处理，得到对应的每个像素点为感兴趣区域边界的标注概率。

对所有的最小欧式距离进行归一化处理以将最小欧式距离的值转化为0-1之间的数值，记为每个像素点为感兴趣区域边界的标注概率；具体的处理方式可以是：标注概率＝1-min(1，最小欧式距离/所有最小欧式距离中的最大值)²。

步骤125：对预测概率和标注概率进行融合，得到训练样本图像中每个像素点为感兴趣区域边界的综合概率。

融合预测概率和标注概率，即可得到准确率较高的训练样本图像中每个像素点为感兴趣区域边界的综合概率。具体的融合方式可以是加权平均，也可以是直接相乘(即每个像素点的预测概率乘以标注概率)，本申请对于具体的融合方式不做限定。

图4是本申请一示例性实施例提供的一种第二模型的训练方法的流程示意图。其中，第二模型中的非端部模块的上层模块的输出特征图像作为非端部模块及其下层模块的输入，即第二模型中的非端部模块处设置一个跳过结构(数据可以直接跳过非端部模块而进入该非端部模块的下一模块)；如图4所示，上述步骤130可以包括如下步骤：

步骤131：获取第二模型的每个模块的输出边界。

第二模型中的每一个模块可以相同，为一个小型的图像分割网络，例如一个U-Net网络结构，即第二模型的每个模块可以对输入图像进行分割以得到感兴趣区域边界，即为输出边界图像。

步骤132：计算输出边界的像素点与感兴趣区域边界概率图中对应的像素点为感兴趣区域边界的综合概率之间的差距，得到损失值。

在获取了第二模型的每个模块的输出边界图像后，比对该输出边界图像中的像素点与上述感兴趣区域边界概率图中对应的像素点为感兴趣区域边界的综合概率之间的差距，即比对每个模块的输出边界与上述感兴趣区域边界概率图的区别，以得到损失值。损失值的具体计算方式可以是：记输出边界图像中边界处的像素点的概率为1，其他位置的像素点的概率为0，当对应的像素点的综合概率大于0.7或小于0.3时，计算交叉熵作为损失值；否则，计算输出边界图像中每个像素的概率与感兴趣区域边界概率图中对应的像素点的综合概率之差的绝对值，记为损失值。所有像素点的损失值之和记为该输出边界图像的损失值。

步骤133：当损失值大于预设损失值时，删除该模块。

当某一个模块的输出边界图像的损失值大于预设损失值时，即该模块对于提高分割边界精度效果较差，因此，可以删除该模块(即利用上述跳过结构直连该模块的上一模块和该模块的下一模块)。

在一实施例中，本申请提供了一种图像分割方法，包括：将待分割图像输入图像分割模型，得到待分割图像中的感兴趣区域图像；其中，图像分割模型采用上述任一项的训练方法得到。

本申请提供的一种图像分割方法，通过训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型，然后计算训练样本图像的感兴趣区域边界概率图，即训练样本图像中每个像素点为感兴趣区域边界的概率，并以训练样本和对应的感兴趣区域概率图训练第二模型，最后将第一模型和第二模型加权融合得到最终的图像分割模型，并且再次以训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型；利用感兴趣区域边界概率图训练第二模型，并且以第二模型指导第一模型的再次训练，可以降低模糊边界对模型训练的影响，提高图像分割模型的准确性和鲁棒性。

示例性装置

图5是本申请一示例性实施例提供的一种图像分割模型的训练装置的结构示意图。如图5所示，该训练装置50包括如下模块：

第一训练模块510，用于将训练样本图像和对应训练样本图像的感兴趣区域图像分别作为输入和输出训练第一模型；计算模块520，用于计算训练样本图像的感兴趣区域边界概率图，感兴趣区域边界概率图表示训练样本图像中每个像素点为感兴趣区域边界的概率；第二训练模块530，用于将训练样本图像和对应的感兴趣区域边界概率图分别作为输入和输出训练第二模型；融合模块540，用于将第一模型和第二模型组合，得到图像分割模型；以及联合训练模块550，用于将训练样本图像和对应训练样本图像的感兴趣区域图像分别作为输入和输出训练图像分割模型。

本申请提供的一种图像分割模型的训练装置，通过第一训练模块510训练样本图像和对应训练样本图像的感兴趣区域图像训练第一模型，然后计算模块520计算训练样本图像的感兴趣区域边界概率图，即训练样本图像中每个像素点为感兴趣区域边界的概率，并第二训练模块530以训练样本和对应的感兴趣区域概率图训练第二模型，最后融合模块540将第一模型和第二模型加权融合得到最终的图像分割模型，并且联合训练模块540再次以训练样本图像和对应训练样本图像的感兴趣区域图像训练图像分割模型；利用感兴趣区域边界概率图训练第二模型，并且以第二模型指导第一模型的再次训练，可以降低模糊边界对模型训练的影响，提高图像分割模型的准确性和鲁棒性。

在一实施例中，对应训练样本图像的感兴趣区域图像可以是由专家手动标注得到的。

在一实施例中，融合模块540可以进一步配置为：将第二模型的所有模块分别与第一模型中相同数量的模块对应设置，并且将第一模型中当前模块的输出特征图像与第二模型中对应模块的输出特征图像加权融合后得到的特征图像作为第一模型中当前模块的下层模块的输入。

在一实施例中，联合训练模块550可以进一步配置为：固定第二模型的参数，调整第一模型的参数。

图6是本申请另一示例性实施例提供的一种图像分割模型的训练装置的结构示意图。如图6所示，计算模块520可以包括如下子模块：样本边界获取单元521，用于重复执行随机丢弃第一模型中的部分卷积层参数并将每个训练样本图像输入丢弃部分卷积层参数后的第一模型N次，得到N个感兴趣区域的边界图像；其中，N为大于1的整数；预测概率计算单元522，用于根据N个感兴趣区域的边界图像，综合计算每个训练样本图像中每个像素点为感兴趣区域边界的预测概率。

在一实施例中，预测概率计算单元522可以进一步配置为：分别将每个感兴趣区域的边界图像中位于边界处的像素点的值记为1，其他的像素点的值记为0；将N个感兴趣区域的边界图像中对应像素点的值相加后除以N后得到的即为该像素点为感兴趣区域边界的预测概率。

在一实施例中，如图6所示，预测概率计算单元523可以进一步配置为：计算N个感兴趣区域的边界图像中每个像素点为边界的置信度，计算N个感兴趣区域的边界图像中每个像素点为边界的置信度的方差，根据方差计算得到N个感兴趣区域的边界图像中每个像素点为感兴趣区域边界的预测概率。

在一实施例中，如图6所示，计算模块520还可以包括如下子模块：距离计算单元523，用于计算每个感兴趣区域图像中感兴趣区域内每个像素点与非感兴趣区域的最小欧式距离以及非感兴趣区域内每个像素点与感兴趣区域的最小欧式距离；标准概率计算单元524，用于对所有的最小欧式距离进行归一化处理，得到对应的每个像素点为感兴趣区域边界的标注概率；综合概率计算单元525，用于对预测概率和标注概率进行融合，得到训练样本图像中每个像素点为感兴趣区域边界的综合概率。

在一实施例中，如图6所示，第二训练模块530可以包括如下子模块：输出边界获取单元531，用于获取第二模型的每个模块的输出边界；损失值计算单元532，用于计算输出边界的像素点与感兴趣区域边界概率图中对应的像素点为感兴趣区域边界的综合概率之间的差距，得到损失值；删除单元533，用于当损失值大于预设损失值时，删除该模块。

示例性电子设备

下面，参考图7来描述根据本申请实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图7图示了根据本申请实施例的电子设备的框图。

如图7所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像分割模型的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备或第二设备时，该输入装置13可以是摄像头，用于捕捉图像的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像分割模型的训练方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像分割模型的训练方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种图像分割模型的训练方法，其特征在于，包括：

将训练样本图像和对应所述训练样本图像的感兴趣区域图像分别作为输入和输出训练第一模型；

计算所述训练样本图像的感兴趣区域边界概率图，所述感兴趣区域边界概率图表示所述训练样本图像中每个像素点为感兴趣区域边界的概率；

将所述训练样本图像和对应的所述感兴趣区域边界概率图分别作为输入和输出训练第二模型；

将所述第一模型和所述第二模型组合，得到图像分割模型；以及

将所述训练样本图像和对应所述训练样本图像的所述感兴趣区域图像分别作为输入和输出训练所述图像分割模型。

2.根据权利要求1所述的训练方法，其特征在于，所述将所述第一模型和所述第二模型组合，得到图像分割模型包括：

将所述第二模型的所有模块分别与所述第一模型中相同数量的模块对应设置，并且将所述第一模型中当前模块的输出特征图像与所述第二模型中对应模块的输出特征图像加权融合后得到的特征图像作为所述第一模型中当前模块的下层模块的输入。

3.根据权利要求1所述的训练方法，其特征在于，所述训练所述图像分割模型包括：

固定所述第二模型的参数，调整所述第一模型的参数。

4.根据权利要求1所述的训练方法，其特征在于，所述计算所述训练样本图像的感兴趣区域边界概率图包括：

重复执行随机丢弃所述第一模型中的部分卷积层参数并将每个所述训练样本图像输入丢弃部分卷积层参数后的第一模型N次，得到N个感兴趣区域的边界图像；其中，N为大于1的整数；以及

根据所述N个感兴趣区域的边界图像，综合计算每个所述训练样本图像中每个像素点为感兴趣区域边界的预测概率。

5.根据权利要求4所述的训练方法，其特征在于，所述根据所述N个感兴趣区域的边界图像，综合计算每个所述训练样本图像中每个像素点为感兴趣区域边界的预测概率包括：

计算所述N个感兴趣区域的边界图像中每个像素点为边界的置信度；

计算所述N个感兴趣区域的边界图像中每个像素点为边界的置信度的方差；以及

根据所述方差，计算得到所述N个感兴趣区域的边界图像中每个像素点为感兴趣区域边界的预测概率。

6.根据权利要求4所述的训练方法，其特征在于，所述计算所述训练样本图像的感兴趣区域边界概率图还包括：

计算每个所述感兴趣区域图像中感兴趣区域内每个像素点与非感兴趣区域的最小欧式距离以及非感兴趣区域内每个像素点与感兴趣区域的最小欧式距离；

对所有的最小欧式距离进行归一化处理，得到对应的每个像素点为感兴趣区域边界的标注概率；以及

对所述预测概率和所述标注概率进行融合，得到所述训练样本图像中每个像素点为感兴趣区域边界的综合概率。

7.根据权利要求1所述的训练方法，其特征在于，所述第二模型中的非端部模块的上层模块的输出特征图像作为所述非端部模块和所述非端部模块的下层模块的输入；所述将所述训练样本图像和对应的所述感兴趣区域边界概率图分别作为输入和输出训练第二模型包括：

获取所述第二模型的每个模块的输出边界；

计算所述输出边界的像素点与所述感兴趣区域边界概率图中对应的像素点为感兴趣区域边界的综合概率之间的差距，得到损失值；以及

当所述损失值大于预设损失值时，删除该模块。

8.一种图像分割方法，其特征在于，包括：

将待分割图像输入图像分割模型，得到所述待分割图像中的感兴趣区域图像；

其中，所述图像分割模型采用权利要求1-7中任一项所述的训练方法得到。

9.一种图像分割模型的训练装置，其特征在于，包括：

第一训练模块，用于将训练样本图像和对应所述训练样本图像的感兴趣区域图像分别作为输入和输出训练第一模型；

计算模块，用于计算所述训练样本图像的感兴趣区域边界概率图，所述感兴趣区域边界概率图表示所述训练样本图像中每个像素点为感兴趣区域边界的概率；

第二训练模块，用于将所述训练样本图像和对应的所述感兴趣区域边界概率图分别作为输入和输出训练第二模型；

融合模块，用于将所述第一模型和所述第二模型组合，得到图像分割模型；以及

联合训练模块，用于将所述训练样本图像和对应所述训练样本图像的所述感兴趣区域图像分别作为输入和输出训练所述图像分割模型。

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的图像分割模型的训练方法。

11.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-7任一所述的图像分割模型的训练方法。

Images