CN110766653A - 图像分割方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本发明涉及一种图像分割方法、装置、计算机设备和存储介质。通过获取待分割的包括多个形态结构的图像，再将该图像输入至分割网络，得到至少一个分割任务的分割结果。每个分割任务用于将图像的多个形态结构分割为与分割任务对应数量的分区图像。其中，分割网络包括共享层和与共享层连接的至少一个任务特定层；共享层用于提取多个分割任务之间的共享特征；至少一个任务特定层用于提取至少一个分割任务相关的特征。上述的图像分割方法，相比于传统的直接对不同分割任务的图像进行分割的方法，充分利用了多个分割任务之间的信息共享，从而克服了因不同分割任务对应的样本不平衡导致训练的分割网络质量差的问题，进而提高了各分割任务的分割精度。

Description

图像分割方法、装置、计算机设备和存储介质

技术领域

本申请涉及医疗图像识别技术领域，尤其涉及一种图像分割方法、装置、计算机设备和存储介质。

背景技术

随着医疗图像识别技术的快速发展，对于磁共振成像图像(Magnetic ResonanceImaging,MRI)的量化分析已经被广泛应用于各种脑疾病的刻画描述中，如阿尔兹海默症、精神分裂症等，而脑MRI图像的分割是对大脑进行量化评估的前提，因此如何能够实现对脑MRI图像的精确分割成为了现下亟待解决的问题。

目前，由于脑结构非常复杂，因此在现有的脑MRI图像中存在多种大脑分区的标准，例如，自动解剖标签(Anatomical Automatic Labeling，AAL)模版共有116个分区，LPBA40模版有56个分区。在现有的利用分割网络对输入的脑图像进行分割时，通常会基于一种分区标准的分割任务实现对脑图像的分割，若基于多种分区标准的多种分割任务实现对脑图像分割时，通常采用独立的分割网络分别对各分区标准的分割任务进行处理，从而得到各分割任务的分割结果。

但是，在现有的执行对脑图像进行不同分区标准的分割任务时，普遍存在一个问题，即针对脑结构的分区样本，其中有的分区标准对应的样本比较多，对分割网络的学习相对比较容易，有的分区标准对应的样本很少，训练出来的分割网络的分割精度较低，所以不同大脑分割任务之间存在样本不均衡的问题，进而致使针对多种分割任务的分割精度较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效提高分割精度，特别是基于多种分割任务的分割精度的图像分割方法、装置、计算机设备和存储介质。

第一方面，一种图像分割方法，所述方法包括：

获取待分割的图像；图像包括多个形态结构；

将图像输入至分割网络，得到至少一个分割任务的分割结果，每一个分割任务用于将图像的多个形态结构分割为与分割任务对应数量的分区图像，其中，分割网络包括共享层和与共享层连接的至少一个任务特定层；共享层用于提取多个分割任务之间的共享特征；至少一个任务特定层用于提取至少一个分割任务相关的特征，从而获得基于至少一个分割任务的分割结果。

在其中一个实施例中，分割网络的训练过程，包括：

获取不同分割任务对应的样本数据集；样本数据集包括不同分割任务对应的标注图像；

将不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到系统损失函数的值；

根据系统损失函数的值对待训练的分割网络进行训练，直到统损失函数的值满足预设条件为止，得到分割网络。

在其中一个实施例中，若不同分割任务对应的样本数据集中包括的各分割任务对应的样本数据集不相同，则将不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到系统损失函数的值，包括：

获取各分割任务对应的样本数据集；

将各分割任务对应的样本数据集分别输入至待训练的分割网络，得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到系统损失函数的值。

在其中一个实施例中，系统损失函数包括至少一个任务损失函数或者联合损失函数；

至少一个任务损失函数为至少一个分割任务对应的待训练的任务特定层的输出结果和分割任务对应的标注图像建立的损失函数；

联合损失函数为根据多个任务损失函数联合建立的损失函数。

在其中一个实施例中，若系统损失函数包括至少一个任务损失函数时，

则根据系统损失函数的值对待训练的分割网络进行训练，直到系统损失函数的值满足预设条件为止，得到分割网络，包括：

根据各任务损失函数的值对待训练的共享层和各待训练的任务特定层进行训练，直到各任务损失函数的值满足各自对应的预设条件为止，得到分割网络。

在其中一个实施例中，若系统损失函数包括联合损失函数；

则根据系统损失函数的值对待训练的分割网络进行训练，直到系统损失函数的值满足预设条件为止，得到分割网络，包括：

根据各待训练的任务特定层的输出结果和各分割任务对应的标注图像，得到多个任务损失函数的值；

根据多个任务损失函数的值的加权累加和，得到联合损失函数的值；

根据联合损失函数的值对待训练的共享层和各待训练的任务特定层进行训练，直到联合损失函数的值满足预设条件为止，得到分割网络。

在其中一个实施例中，若不同分割任务对应的样本数据集中包括的各分割任务对应的样本数据集相同，则将不同分割任务对应的样本数据集输入至待训练的分割网络，得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到系统损失函数的值，包括：

将不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到多个任务损失函数的值；

根据多个任务损失函数的值加权累加和，得到系统损失函数的值。

第二方面，一种图像分割装置，所述装置包括：

获取模块，用于获取待分割的图像；图像包括多个形态结构；

分割模块，用于将图像输入至分割网络，得到至少一个分割任务的分割结果，每一个分割任务用于将图像的多个形态结构分割为与分割任务对应数量的分区图像，其中，分割网络包括共享层和与共享层连接的至少一个任务特定层；共享层用于提取多个分割任务之间的共享特征；至少一个任务特定层用于提取至少一个分割任务相关的特征，从而获得基于至少一个分割任务的分割结果。

第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面任一实施例所述的图像分割方法。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一实施例所述的图像分割方法。

本申请提供的一种图像分割方法、装置、计算机设备和存储介质，通过获取待分割的包括多个形态结构的图像，再将该图像输入至分割网络，得到至少一个分割任务的分割结果。每个分割任务用于将图像的多个形态结构分割为与分割任务对应数量的分区图像。其中，分割网络包括共享层和与共享层连接的至少一个任务特定层；共享层用于提取多个分割任务之间的共享特征；至少一个任务特定层用于提取至少一个分割任务相关的特征，从而获得基于至少一个分割任务的分割结果。在上述的图像分割方法中，当基于多个分割任务对输入的图像同时进行各分割任务的分割时，由于分割网络先利用共享层提取多个分割任务之间的共享特征，使共享层可以先学习到多个分割任务之间的共同特征，然后再利用任务特定层学习与各自分割任务相关的特征，相比于传统的直接对不同分割任务的图像进行分割的方法容易存在不同分割任务对应样本不均衡导致训练的分割网络的质量差，从而致使分割精度低的问题。本申请提出的图像分割方法可以充分利用多个分割任务之间的信息共享，然后在学习共享信息的基础上再对图像进行特定分割任务的分割，这样的方法可以克服上述因不同分割任务对应的样本不平衡导致训练的分割网络质量差的问题，同时还可以避免因独立处理分割任务时带来的过拟合现象，进而可以提高各分割任务的分割精度。

附图说明

图1为一个实施例提供的一种计算机设备的内部结构示意图；

图2为一个实施例提供的一种图像分割方法的流程图；

图3为一个实施例提供的一种图像分割方法的流程图；

图4为图3实施例中S202的一种实现方式的流程图；

图5为图3实施例中S203的一种实现方式的流程图；

图6为图3实施例中S202的另一种实现方式的流程图；

图7为一个实施例提供的一种训练网络的结构示意图；

图8为一个实施例提供的一种分割网络的结构示意图；

图9为一个实施例提供的另一种分割网络的结构示意图；

图10为一个实施例提供的一种图像分割装置的结构示意图；

图11为一个实施例提供的一种图像分割装置的结构示意图；

图12为一个实施例提供的一种图像分割装置的结构示意图；

图13为一个实施例提供的一种图像分割装置的结构示意图；

图14为一个实施例提供的一种图像分割装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请提供的图像分割方法，可以应用于如图1所示的计算机设备。该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为一个实施例提供的一种图像分割方法的流程图，该方法的执行主体为图1中的计算机设备，该方法涉及的是计算机设备基于多种分割任务对输入的图像进行分割的具体过程。如图2所示，该方法具体包括以下步骤：

S101、获取待分割的图像；图像包括多个形态结构。

其中，待分割的图像表示当前需要进行分割处理的图像，为一种包含脑结构的图像。形态结构表示脑结构中的各种组织结构，例如，海马、颚叶等。图像包括但不限于常规CT图像、MRI图像、PET-MRI图像等，本实施例对此不做限定。在实际应用中，计算机设备可以通过连接扫描设备对人体脑部结构进行扫描得到待分割的图像。可选的，计算机设备也可以直接从数据库中或从互联网上下载得到包含脑结构的图像，作为待分割的图像，对此本实施例不做限制。

S102、将图像输入至分割网络，得到至少一个分割任务的分割结果，每一个分割任务用于将图像的多个形态结构分割为与分割任务对应数量的分区图像，其中，分割网络包括共享层和与共享层连接的至少一个任务特定层；共享层用于提取多个分割任务之间的共享特征；至少一个任务特定层用于提取至少一个分割任务相关的特征，从而获得基于至少一个分割任务的分割结果。

其中，分割任务表示对输入的图像按照特定数量的分区标准进行分割的任务，具体的用于将输入的图像中的多个形态结构分割为与分割任务对应数量的分区图像。分割网络可以为一种深度卷积神经网络，或是其它类型的神经网络，用于对输入的待分割的图像进行分割处理。共享特征表示多种分区标准之间的共同区域中具有的特征。共享层可以为一种卷积神经网络，可以例如，可以采用任何形式的CNN网络，具体用于对输入的图像进行共享特征的提取。任务特定层可以为一种卷积神经网络，例如，Vnet网络、Unet网络等，具体用于对输入的图像进行与分割任务相关的特征的提取。分割结果表示对输入的图像中多个形态结构按照某一分区标准指示的分区数量进行分割后的图像，比如，目前存在多种大脑分区的标准，例如，AAL模版有116个分区，LPB40有56个分区。

本实施例中，当计算机设备获取到待分割的图像时，可以进一步的将该待分割的图像输入至预先基于多种分割任务训练好的分割网络进行一种分割任务的分割处理，或是多种不同分割任务的分割处理，从而得到至少一个分割任务的分割结果。

本实施例提供的一种图像分割方法，通过获取待分割的包括多个形态结构的图像，再将该图像输入至分割网络，得到至少一个分割任务的分割结果。每个分割任务用于将图像的多个形态结构分割为与分割任务对应数量的分区图像。其中，分割网络包括共享层和与共享层连接的至少一个任务特定层；共享层用于提取多个分割任务之间的共享特征；至少一个任务特定层用于提取至少一个分割任务相关的特征，从而获得基于至少一个分割任务的分割结果。在上述的图像分割方法中，当基于多个分割任务对输入的图像同时进行各分割任务的分割时，由于分割网络先利用共享层提取多个分割任务之间的共享特征，使共享层可以先学习到多个分割任务之间的共同特征，然后再利用任务特定层学习与分割任务相关的特征，相比于传统的直接对不同分割任务的图像进行分割的方法容易存在不同分割任务对应样本不均衡导致训练的分割网络的质量差，从而致使分割精度低的问题，本申请提出的图像分割方法可以充分利用多个分割任务之间的信息共享，然后在学习共享信息的基础上再对图像进行特定分割任务的分割，这样的方法可以克服上述因不同分割任务对应的样本不平衡导致训练的分割网络质量差的问题，同时还可以避免因独立处理分割任务时带来的过拟合现象，进而可以提高各分割任务的分割精度。

本申请还提供了一种训练上述分割网络的方法，如图3所示，该方法具体包括：

S201、获取不同分割任务对应的样本数据集；样本数据集包括不同分割任务对应的标注图像。

其中，样本数据集表示当前需要进行训练时使用的图像集，其中可以包括不同分割任务对应的标注图像，可选的，其中也可以只包括相同分割任务对应的标注图像。标注图像为经过标注后的图像，其上预先由计算机设备按照某种分割任务使用标签标注了脑结构中的多个分区的形态结构。本实施例中，计算机设备可以通过连接扫描设备对人体脑部结构进行扫描得到待分割的图像，然后按照实际分割任务对该待分割的图像进行标注，得到样本数据集。可选的，计算机设备也可以直接从数据库中或从互联网上下载得到包含脑结构的图像，作为待分割的图像，然后按照实际分割任务对该待分割的图像进行标注，得到样本数据集。需要说明的是，样本数据集包括大量的标注图像，以便之后训练分割网络时使用。

S202、将不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到系统损失函数的值。

其中，系统损失函数表示训练分割网络时使用到的损失函数，其具体类型可以根据实际应用需求选取，对此本实施不做限制。

当计算机设备获取到不同分割任务对应的样本数据集时，可以先对该样本数据集中的图像进行预处理，具体的预处理过程可以包括旋转、重采样、调整尺寸、非均匀场偏差校正、去头骨等一系列操作。在进行预处理后，计算机设备可以进一步的将经过预处理后的样本数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果。然后，计算机设备即可将各分割任务对应的分割结果和各分割任务对应的标注图像代入到预设的系统损失函数中进行计算，得到该系统损失函数的值，以便之后计算机设备根据该系统损失函数的值训练分割网络。

S203、根据系统损失函数的值对待训练的分割网络进行训练，直到系统损失函数的值满足预设条件为止，得到分割网络。

上述预设条件可以由计算机设备预先根据实际应用需求确定。在实际训练的过程中，每次当计算机设备利用各分割任务的分割结果和各分割任务对应的标注图像计算得到系统损失函数的值后，都可以使用该系统损失函数的值调整待训练的分割网络中的各参数，直到系统损失函数的值满足预设条件为止，从而得到训练好的分割网络的各参数，最终即可得到训练好的分割网络。

上述实施例中，计算机设备通过获取不同分割任务对应的样本数据集，再将不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到系统损失函数的值。然后根据系统损失函数的值对待训练的分割网络进行训练，直到系统损失函数的值满足预设条件为止，得到分割网络。上述为训练分割网络的过程,通过上述训练方法得到的分割网络能够实现对输入的图像同时进行至少一个分割任务的分割处理，从而得到包括至少一个分割任务的分割结果，且通过上述训练方法训练得到的各分割结果的分割精度较高。

基于上述的训练过程，不同分割任务对应的样本数据集中包括的各分割任务对应的样本数据集可以不相同，也可以相同。但是会对应不同的训练方法。具体的，第一种训练方法为：若不同分割任务对应的样本数据集中包括的各分割任务对应的样本数据集不相同，则上述训练步骤S202“将不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到系统损失函数的值”，如图4所示，包括如下步骤：

S301、获取各分割任务对应的样本数据集。

本实施涉及获取样本数据集的过程，与前述S201的步骤内容相同，具体详细内容请参见前述S201的说明，在此不重复累赘说明。需要说明的是，本实施例中的样本数据集中包含不同分割任务对应的标注图像，以便之后根据不同分割任务对应的标注图像训练分割网络，得到不同分割任务对应的分割结果。

S302、将各分割任务对应的样本数据集分别输入至待训练的分割网络，得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到系统损失函数的值。

本实施例是对前述步骤S202的具体说明，当样本数据集中包括的各分割任务对应的样本数据集不相同时，计算机设备需要将各分割任务对应的样本数据集分别输入至待训练的分割网络，具体的，各分割任务的样本数据集可以被按照预设的任务顺序输入到待训练的分割网络进行训练，可选的，各分割任务的样本数据集也可以随机的输入到待训练的分割网络进行训练，对此本实施不做限制。当计算机设备将各分割任务的样本数据集输入到待训练的分割网络后，待训练的分割网络输出各分割任务对应的分割结果。然后计算机设备就可以根据各分割任务对应的分割结果和各分割任务对应的标注图像，相应的得到系统损失函数的值，以便之后根据该系统损失函数的值训练分割网络。

在实际应用中，上述系统损失函数可以包括至少一个任务损失函数或者联合损失函数；其中，至少一个任务损失函数为至少一个分割任务对应的待训练的任务特定层的输出结果和分割任务对应的标注图像建立的损失函数；联合损失函数为根据多个任务损失函数联合建立的损失函数。

上述任务损失函数为与任务特定层对应的损失函数，即为训练共享层和任务特定层时使用到的损失函数；联合损失函数为同时训练共享层和多个任务特定层时使用到的损失函数。本实施中，当计算机设备每次获取到待训练的任务特定层的输出结果和分割任务对应的标注图像时，可以进一步的根据该任务特定层的输出结果和该分割任务对应的标注图像，建立该分割任务对应的损失函数，即任务损失函数。计算机设备可以根据不同分割任务的任务特定层的输出结果和各分割任务对应的标注图像，建立多个任务损失函数，以便之后计算机设备根据不同的分割任务的任务损失函数基于不同分割任务的样本数据集训练分割网络。计算机设备还可以在得到多个任务损失函数后，建立一个联合损失函数，以便之后计算机设备根据联合损失函数基于不同分割任务的样本数据集训练分割网络。

存在一种应用场景，若图4实施例所述的训练过程中涉及的系统损失函数包括至少一个任务损失函数时，则上述S203“根据系统损失函数的值对待训练的分割网络进行训练，直到系统损失函数的值满足预设条件为止，得到分割网络”的步骤，具体用于：根据各任务损失函数的值对待训练的共享层和各待训练的任务特定层进行训练，直到各任务损失函数的值满足各自对应的预设条件为止，得到分割网络。

本实施例是对前述步骤S203的一种实现方式的具体说明，当图4实施例所述的训练过程中涉及的系统损失函数包括至少一个任务损失函数时，计算机设备需要利用各任务损失函数对分割网络进行训练，具体的训练过程为：当计算机设备基于S201和S201的步骤，得到各分割任务对应的分割结果，即待训练的各任务特定层的输出结果，以及各分割任务对应的标注图像时，计算机设备可以再将待训练的各任务特定层的输出结果和各分割任务对应的标注图像代入到各分割任务对应的任务损失函数中，计算得到各任务损失函数的值。然后根据各任务损失函数的值调整待训练的共享层和各待训练的任务特定层的参数，直到各任务损失函数的值满足各自对应的预设条件为止，得到训练好的共享层和各待训练的任务特定层的参数，从而得到训练好的共享层和各任务特定层，即分割网络。其中的预设条件可以由计算机设备预先根据实际应用需求确定，对此本实施例不做限制。

存在另一种应用场景，若图4实施例所述的训练过程中涉及的系统损失函数包括联合损失函数时，则上述S203“根据系统损失函数的值对待训练的分割网络进行训练，直到系统损失函数的值满足预设条件为止，得到分割网络”的步骤，如图5所示，具体包括：

S401、根据各待训练的任务特定层的输出结果和各分割任务对应的标注图像，得到多个任务损失函数的值。

当计算机设备基于S201和S201的步骤，得到各分割任务对应的分割结果，即待训练的任务特定层的输出结果，以及各分割任务对应的标注图像时，可以再将待训练的各任务特定层的输出结果和各分割任务对应的标注图像代入到各分割任务对应的任务损失函数中，计算得到各任务损失函数的值。

S402、根据多个任务损失函数的值的加权累加和，得到联合损失函数的值。

当计算机设备基于S401的步骤，得到各任务损失函数的值后，还可以进一步的将这多个任务损失函数的值进行加权累加求和运算，得到多个任务损失函数的值的加权累加和，从而得到联合损失函数的值。

S403、根据联合损失函数的值对待训练的共享层和各待训练的任务特定层进行训练，直到联合损失函数的值满足预设条件为止，得到分割网络。

当计算机设备基于S402的步骤，得到联合损失函数的值时，可以进一步的利用该联合损失函数的值对待训练的分割网络进行训练，具体调整待训练的分割网络中的共享层和各任务特定层的参数，直到联合损失函数的值满足预设条件为止，得到训练好的分割网络中的共享层和各任务特定层的参数，以得到训练好的分割网络。预设条件可以由计算机设备预先根据实际应用需求确定。

具体的，第二种训练方法为:若不同分割任务对应的样本数据集中包括的各分割任务对应的样本数据集相同，则上述训练步骤S202“将不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到系统损失函数的值”，如图6所示，包括如下步骤：

S501、将不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到多个任务损失函数的值。

当不同分割任务对应的样本数据集中包括的各分割任务对应的样本数据集相同时，计算机设备可以一次将所有数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果，然后将各分割任务对应的分割结果和各分割任务对应的标注图像代入到各自的任务损失函数中，计算得到多个任务损失函数的值。

S502、根据多个任务损失函数的值加权累加和，得到系统损失函数的值。

本实施例涉及根据多个任务损失函数的值得到系统损失函数的值的过程，具体的，计算机设备可以将多个任务损失函数的值进行加权累加和运算，得到系统损失函数的值。可选的，计算机设备也可以将多个任务损失函数的值进行累加和运算，得到系统损失函数的值。可选的，计算机设备也可以对多个任务损失函数的值进行其它形式的运算，得到系统损失函数的值。

另外，第一、本申请还提供了一种应用上述训练方法的训练网络，如图7所示，该训练网络包括共享层和至少一个任务特定层。训练时，将不同分割任务的样本数据集输入至共享层进行共享特征提取，使共享层输出包含有共享特征的特征图，然后再将该特征图分别输入至与共享层连接的多个任务特定层进行与各分割任务相关的特征提取，得到各分割任务的分割结果。图7所示的训练网络可以应用上述图3-图6任一实施例所述的训练方法，具体训练过程可参见前述说明，在此不重复累赘说明。

第二、本申请还提供了一种用于对输入的图像进行分割处理的分割网络，如图8所示，该分割网络包括一个共享层和一个任务特定层，检测时，将输入图像输入至共享层进行共享特征提取，使共享层输出包含有共享特征的特征图，然后再将该特征图输入至与共享层连接的任务特定层进行与某种分割任务相关的特征提取，得到该分割任务的分割结果。图8所示的分割网络可以应用上述图2实施例所述的图像分割方法，具体图像分割过程可参见前述说明，在此不重复累赘说明。

第三、本申请还提供了一种用于对输入的图像进行分割处理的分割网络，如图9所示，该分割网络包括一个共享层和多个任务特定层，检测时，将输入图像输入至共享层进行多个分割任务之间的共享特征提取，使共享层输出包含有共享特征的特征图，然后再将该特征图分别输入至与共享层连接的多个任务特定层，进行与各不同分割任务相关的特征提取，得到针对上述输入图像的各分割任务的分割结果。图9所示的分割网络可以应用上述图2实施例所述的图像分割方法，具体图像分割过程可参见前述说明，在此不重复累赘说明。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行。

在一个实施例中，如图10所示，提供了一种图像分割装置，包括：获取模块11和分割模块12，其中：

获取模块11，用于获取待分割的图像；图像包括多个形态结构；

分割模块12，用于将图像输入至分割网络，得到至少一个分割任务的分割结果，每一个分割任务用于将图像的多个形态结构分割为与分割任务对应数量的分区图像，其中，分割网络包括共享层和与共享层连接的至少一个任务特定层；共享层用于提取多个分割任务之间的共享特征；至少一个任务特定层用于提取至少一个分割任务相关的特征，从而获得基于至少一个分割任务的分割结果。

在一个实施例中，如图11所示，提供了一种训练分割网络的装置，该装置包括：获取样本模块13、确定模块14和训练模块15，其中：

获取样本模块13，用于获取不同分割任务对应的样本数据集；样本数据集包括不同分割任务对应的标注图像；

确定模块14，用于将不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到系统损失函数的值；‘

训练模块15，用于根据系统损失函数的值对待训练的分割网络进行训练，直到统损失函数的值满足预设条件为止，得到分割网络。

在一个实施例中，若不同分割任务对应的样本数据集中包括的各分割任务对应的样本数据集不相同，则上述确定模块14，如图12所示，包括：

获取单元141，用于获取各分割任务对应的样本数据集；

第一确定单元142，用于将各分割任务对应的样本数据集分别输入至待训练的分割网络，得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到系统损失函数的值。

在一个实施例中，上述系统损失函数包括至少一个任务损失函数或者联合损失函数；其中，至少一个任务损失函数为至少一个分割任务对应的待训练的任务特定层的输出结果和分割任务对应的标注图像建立的损失函数；联合损失函数为根据多个任务损失函数联合建立的损失函数。

在一个实施例中，若系统损失函数包括至少一个任务损失函数时，则上述训练模块15具体用于根据各任务损失函数的值对待训练的共享层和各待训练的任务特定层进行训练，直到各任务损失函数的值满足各自对应的预设条件为止，得到分割网络。

在一个实施例中，若系统损失函数包括联合损失函数时，则上述训练模块15，如图13所示，包括：

第二确定单元151，用于根据各待训练的任务特定层的输出结果和各分割任务对应的标注图像，得到多个任务损失函数的值；

第一累加运算单元152，用于根据多个任务损失函数的值的加权累加和，得到联合损失函数的值；

训练单元153，用于根据联合损失函数的值对待训练的共享层和各待训练的任务特定层进行训练，直到联合损失函数的值满足预设条件为止，得到分割网络。

在一个实施例中，若不同分割任务对应的样本数据集中包括的各分割任务对应的样本数据集相同时，则上述确定模块14，如图14所示，包括：

第三确定单元143，用于将不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各分割任务对应的分割结果，并根据各分割任务对应的分割结果和各分割任务对应的标注图像，得到多个任务损失函数的值；

第二累加运算单元144，用于根据多个任务损失函数的值加权累加和，得到系统损失函数的值。

关于图像分割装置的具体限定可以参见上文中对于一种图像分割方法的限定，在此不再赘述。上述图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待分割的图像；图像包括多个形态结构；

将图像输入至分割网络，得到至少一个分割任务的分割结果，每一个分割任务用于将图像的多个形态结构分割为与分割任务对应数量的分区图像，其中，分割网络包括共享层和与共享层连接的至少一个任务特定层；共享层用于提取多个分割任务之间的共享特征；至少一个任务特定层用于提取至少一个分割任务相关的特征，从而获得基于至少一个分割任务的分割结果。

上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时还实现以下步骤：

获取待分割的图像；图像包括多个形态结构；

将图像输入至分割网络，得到至少一个分割任务的分割结果，每一个分割任务用于将图像的多个形态结构分割为与分割任务对应数量的分区图像，其中，分割网络包括共享层和与共享层连接的至少一个任务特定层；共享层用于提取多个分割任务之间的共享特征；至少一个任务特定层用于提取至少一个分割任务相关的特征，从而获得基于至少一个分割任务的分割结果。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：

获取待分割的图像；所述图像包括多个形态结构；

将所述图像输入至分割网络，得到至少一个分割任务的分割结果，每一个所述分割任务用于将所述图像的所述多个形态结构分割为与所述分割任务对应数量的分区图像，其中，所述分割网络包括共享层和与所述共享层连接的至少一个任务特定层；所述共享层用于提取多个所述分割任务之间的共享特征；所述至少一个任务特定层用于提取所述至少一个分割任务相关的特征，从而获得基于所述至少一个分割任务的分割结果。

2.根据权利要求1所述的方法，其特征在于，所述分割网络的训练过程，包括：

获取不同分割任务对应的样本数据集；所述样本数据集包括所述不同分割任务对应的标注图像；

将所述不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各所述分割任务对应的分割结果，并根据各所述分割任务对应的分割结果和各所述分割任务对应的标注图像，得到系统损失函数的值；

根据所述系统损失函数的值对所述待训练的分割网络进行训练，直到所述系统损失函数的值满足预设条件为止，得到所述分割网络。

3.根据权利要求2所述的方法，其特征在于，若所述不同分割任务对应的样本数据集中包括的各所述分割任务对应的样本数据集不相同，则所述将所述不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各所述分割任务对应的分割结果，并根据各所述分割任务对应的分割结果和各所述分割任务对应的标注图像，得到系统损失函数的值，包括：

获取各所述分割任务对应的样本数据集；

将各所述分割任务对应的样本数据集分别输入至待训练的分割网络，得到各所述分割任务对应的分割结果，并根据各所述分割任务对应的分割结果和各所述分割任务对应的标注图像，得到所述系统损失函数的值。

4.根据权利要求3所述的方法，其特征在于，所述系统损失函数包括至少一个任务损失函数或者联合损失函数；

至少一个所述任务损失函数为至少一个所述分割任务对应的待训练的任务特定层的输出结果和所述分割任务对应的标注图像建立的损失函数；

所述联合损失函数为根据多个所述任务损失函数联合建立的损失函数。

5.根据权利要求4所述的方法，其特征在于，若所述系统损失函数包括至少一个所述任务损失函数时，

则所述根据所述系统损失函数的值对所述待训练的分割网络进行训练，直到所述系统损失函数的值满足预设条件为止，得到所述分割网络，包括：

根据各所述任务损失函数的值对待训练的共享层和各所述待训练的任务特定层进行训练，直到各所述任务损失函数的值满足各自对应的预设条件为止，得到所述分割网络。

6.根据权利要求4所述的方法，其特征在于，若所述系统损失函数包括所述联合损失函数；

则所述根据所述系统损失函数的值对所述待训练的分割网络进行训练，直到所述系统损失函数的值满足预设条件为止，得到所述分割网络，包括：

根据各所述待训练的任务特定层的输出结果和各所述分割任务对应的标注图像，得到多个所述任务损失函数的值；

根据多个所述任务损失函数的值的加权累加和，得到所述联合损失函数的值；

根据所述联合损失函数的值对待训练的共享层和各所述待训练的任务特定层进行训练，直到所述联合损失函数的值满足预设条件为止，得到所述分割网络。

7.根据权利要求2所述的方法，其特征在于，若所述不同分割任务对应的样本数据集中包括的各所述分割任务对应的样本数据集相同，则所述将所述不同分割任务对应的样本数据集输入至待训练的分割网络，得到各所述分割任务对应的分割结果，并根据各所述分割任务对应的分割结果和各所述分割任务对应的标注图像，得到系统损失函数的值，包括：

将所述不同分割任务对应的样本数据集输入至待训练的分割网络，分别得到各所述分割任务对应的分割结果，并根据各所述分割任务对应的分割结果和各所述分割任务对应的标注图像，得到多个任务损失函数的值；

根据所述多个任务损失函数的值加权累加和，得到所述系统损失函数的值。

8.一种图像分割装置，其特征在于，所述装置包括：

获取模块，用于获取待分割的图像；所述图像包括多个形态结构；

分割模块，用于将所述图像输入至分割网络，得到至少一个分割任务的分割结果，每一个所述分割任务用于将所述图像的所述多个形态结构分割为与所述分割任务对应数量的分区图像，其中，所述分割网络包括共享层和与所述共享层连接的至少一个任务特定层；所述共享层用于提取多个所述分割任务之间的共享特征；所述至少一个任务特定层用于提取所述至少一个分割任务相关的特征，从而获得基于所述至少一个分割任务的分割结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images