CN109360210A - 图像分割方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像分割方法、装置、计算机设备及存储介质，属于计算机技术领域。方法包括：获取多个样本图像；调用初始模型，将多个样本图像输入初始模型中，基于多个样本图像，对初始模型进行训练，得到图像分割模型，初始模型用于根据多个样本图像的像素点的类型数量确定图像分割模块的数量；当获取到待分割的第一图像时，调用图像分割模型，由图像分割模型基于多个图像分割模块，对第一图像进行分割，输出第二图像。本发明中初始模型可以自行基于样本图像的像素点的类型数量确定图像分割模块的数量，对于不同人体组织图像均可以直接在初始模型的基础上进行训练，而无需人工参与，重新设计模型，因此，通用性、适用性和实用性好。

Description

图像分割方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机技术领域，特别涉及一种图像分割方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术的发展，图像分割技术应用越来越广泛，例如，医学图像分割、自然图像分割等。其中，图像分割技术是指把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术。人体组织通常有着固定的范围限制以及形态分布特征，根据不同组织分布情况设计特定的图像分割模型能有效地提高分割的准确性。其中，人体组织的一种分布情况为嵌套式，也即是，人体的一个组织内部有另一个组织。例如，脑部肿瘤即为一种嵌套式组织，从嵌套的外层到内层依次为水肿、非增强型肿瘤、增强型肿瘤。

目前，如图1所示，图像分割方法通常采用级联各向异性卷积神经网络(CascadedAnisotropic Convolutional Neural Networks，Cascaded ACNN)，该网络用于对脑部肿瘤进行分割。由于脑部肿瘤需要分割出上述三种组织，该网络包括三个不同类型的分割模型：WNET(Whole Tumor Network)、TNET(Tumor Network)和ENET(Enhancing Tumor Network)，该三个分割模型分别用于对图像进行不同类型的分割，也即是分别用于分割出上述三种组织。图像分割方法通常是将图像输入该网络后，WNET对完整的图像进行分割，得到该图像的水肿区域，将水肿区域的图像输入TNET中，TNET对水肿区域的图像进行分割，得到该图像的非增强型肿瘤所在区域，将非增强型肿瘤所在区域输入ENET中，ENET对非增强型肿瘤所在区域进行分割，得到增强型肿瘤所在区域，最终Cascaded ACNN将三个模型得到的区域按照从小到大的顺序重叠在一起，得到分割后的图像。

上述Cascaded ACNN仅适用于对脑部肿瘤进行分割，如果需要对其他嵌套式人体组织图像进行分割，则需要技术人员基于其他嵌套式人体组织图像的分布情况，重新设计模型，而无法该网络的基础上直接进行训练，因此，上述图像分割方法的通用性、适用性和实用性差。

发明内容

本发明实施例提供了一种图像分割方法、装置、计算机设备及存储介质，可以解决相关技术中通用性、适用性和实用性差的问题。所述技术方案如下：

一方面，提供了一种图像分割方法，所述方法包括：

获取多个样本图像；

调用初始模型，将所述多个样本图像输入初始模型中，基于所述多个样本图像，对所述初始模型进行训练，得到图像分割模型，所述初始模型用于根据所述多个样本图像的像素点的类型数量确定图像分割模块的数量，不同的图像分割模块用于对图像的不同区域进行分割；

当获取到待分割的第一图像时，调用所述图像分割模型，由所述图像分割模型基于多个图像分割模块，对所述第一图像进行分割，输出第二图像，所述多个样本图像和所述第一图像均为目标人体组织图像。

一方面，提供了一种图像分割装置，所述装置包括：

获取模块，用于获取多个样本图像；

训练模块，用于调用初始模型，将所述多个样本图像输入初始模型中，基于所述多个样本图像，对所述初始模型进行训练，得到图像分割模型，所述初始模型用于根据所述多个样本图像的像素点的类型数量确定图像分割模块的数量，不同的图像分割模块用于对图像的不同区域进行分割；

分割模块，用于当获取到待分割的第一图像时，调用所述图像分割模型，由所述图像分割模型基于多个图像分割模块，对所述第一图像进行分割，输出第二图像，所述多个样本图像和所述第一图像均为目标人体组织图像。

一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现所述图像分割方法所执行的操作。

一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述图像分割方法所执行的操作。

本发明实施例通过基于样本图像对初始模型进行训练得到图像分割模型，从而在获取到第一图像时，可以基于训练得到的图像分割模型对第一图像进行分割，其中，初始模型可以自行基于样本图像的像素点的类型数量确定图像分割模块的数量，因而对于不同人体组织图像均可以直接在该初始模型的基础上进行训练，而无需人工参与，重新设计模型，因此，上述图像分割模型的通用性、适用性和实用性好。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明背景技术提供的一种Cascaded ACNN的分割流程示意图；

图2是本发明实施例提供的一种图像分割方法的实施环境；

图3是本发明实施例提供的一种图像分割模型训练方法的流程图；

图4是本发明实施例提供的一种流式分割流程的示意图；

图5是本发明实施例提供的一种图像裁剪方式的示意图；

图6是本发明实施例提供的一种图像裁剪方式的示意图；

图7是本发明实施例提供的一种图像分割模型的结构示意图；

图8是本发明实施例提供的一种分割结果融合方式的示意图；

图9是本发明实施例提供的一种图像分割方法的流程图；

图10是本发明实施例提供的一种图像分割装置的结构示意图；

图11是本发明实施例提供的一种终端的结构示意图；

图12是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图2是本发明实施例提供的一种图像分割方法的实施环境，参见图2，该实施环境中可以包括多个计算机设备。其中，该多个计算机设备可以通过有线连接方式实现数据交互，也可以通过无线网络连接方式实现数据交互，本发明实施例对此不作限定。

在本发明实施例中，计算机设备201可以用于对图像进行分割，在一种可能实现方式中，该图像可以是医学图像，也即是人体组织图像，该人体组织的分布情况为嵌套式，也即是该人体组织图像中一个组织内部有另一个组织。该图像分割方法可以适用于对任何嵌套式的组织的分析场景，例如，肝与肝癌分析、胰腺与胰腺癌分析、肺与肺癌分析、脑部肿瘤分析或脑癌分析等场景。当然，该图像分割方法也可以适用于其它人体组织图像分割场景，本发明实施例在此不一一列举。当然，该图像也可以是其它类型的图像，则该图像分割方法也可以应用于其他图像分割场景中，例如，风景图像分割场景。

该计算机设备202可以用于采集图像，并将采集到的图像发送至计算机设备201，由计算机设备201提供图像分割服务。在一种可能实现方式中，该计算机设备201也可以采集图像，并对采集到的图像进行分割，本发明实施例对此不作限定。在另一种可能实现方式中，该计算机设备202也可以用于存储从其他计算机设备处获取到的图像，该计算机设备201可以从该计算机设备202中获取到存储的图像进行分割。

具体地，该计算机设备201和计算机设备202均可以被提供为终端，也可以被提供为服务器，本发明实施例对此不作限定。

图3是本发明实施例提供的一种图像分割模型训练方法的流程图，该图像分割模型训练方法可以应用于计算机设备中，该计算机设备可以为上述实施环境中的计算机设备201，也可以是其他计算机设备。也即是，可以在上述计算机设备201上训练得到图像分割模型，也可以在其他计算机设备上训练得到图像分割模型后，将该图像分割模型处理为配置文件，将该配置文件发送至计算机设备201，则该计算机设备201中即存储有图像分割模型。当然，也可以由计算机设备201在有图像分割需求时，调用其它计算机设备上训练得到的图像分割模型，本发明实施例对此不作限定。参见图3，该方法可以包括以下步骤：

301、计算机设备获取多个样本图像，每个样本图像携带有标签，该标签用于指示样本图像的目标分割结果。

该多个样本图像为目标人体组织图像，计算机设备可以基于多个样本图像对初始模型进行训练，得到图像分割模型，这样得到的图像分割模型可以对目标人体组织图像进行分割。其中，该目标人体组织图像即可以为上述嵌套式组织的图像，例如，肝部图像、胰腺图像、肺部图像、脑部图像等。

在一种可能实现方式中，在该计算机设备中可以存储有该多个样本图像，在需要进行图像分割模型训练时，该计算机设备即可获取得到该存储的多个样本图像。需要说明的是，每个样本图像还可以携带用于指示目标分割结果的标签，其中，该目标分割结果是指该样本图像的正确的分割结果，或是指该样本图像的真实的分割结果。这样在模型训练过程中，可以获知训练中的模型对样本图像的分割是否准确，可以获知是否需要继续对模型进行训练，从而训练得到的模型对样本图像进行分割时可以得到该目标分割结果，或者非常接近该目标分割结果。

在另一种可能实现方式中，该多个样本图像也可以存储于其他计算机设备，该计算机设备在需要进行图像分割模型训练时，可以从其他计算机设备处获取，本发明实施例对此不作限定。例如，该多个样本图像可以存储于图像数据库中，每个样本图像还携带有标签。则该步骤301即可以为计算机设备从图像数据库中获取多个样本图像。

302、计算机设备调用初始模型，将该多个样本图像输入该初始模型中。

计算机设备获取多个样本图像后，可以调用初始模型，基于该多个样本图像对初始模型进行训练，得到图像分割模型，以便于后续能够基于该图像分割模型对获取到的第一图像进行准确分割。

在一种可能实现方式中，在计算机设备中可以存储有初始模型，并在该步骤302中直接调用该存储的初始模型。在另一种可能实现方式中，在该计算机设备中也可以不存储初始模型，在该计算机设备需要训练模型时，从其他计算机设备处调用初始模型，并执行后续模型训练过程，本发明实施例对具体采用哪种实现方式不作限定。

需要说明的是，该初始模型的模型参数为初始值，计算机设备可以将该多个样本图像作为训练样本和验证样本，对初始模型进行训练，也即是通过样本图像对初始模型的模型参数进行调整，以使得多次调整后的模型参数能够在对第一图像进行分割时，得到的分割结果更准确。

具体地，计算机设备将该多个样本图像输入初始模型中，可以由初始模型对每个样本图像进行分割，基于初始模型的分割结果和样本图像的标签，也即是样本图像的目标分割结果，确定初始模型的分割能力，从而可以通过调整该初始模型的模型参数，以不断提高初始模型的分割能力，以使得后续训练得到的图像分割模型能够准确分割。

在一种可能实现方式中，对于该初始模型的模型参数，也即是上述初始值，可以基于多种样本图像预训练得到，该多种样本图像可以包括多种人体组织图像，该多种人体组织均为上述嵌套式组织，这样该初始模型通过预训练过程获取到了先验知识，使得该初始模型已经对嵌套式组织的图像进行了一定的了解，也即用于模拟医学生在各个科室轮转，从而该医学生可以具备一定的医学知识或临床知识。这样得到的初始模型在后续进行模型训练时，可以有效减少模型训练次数，也可以基于各种嵌套式组织图像对该初始模型，以应用于对各种嵌套式组织图像进行分割，可以有效提高该初始模型以及基于该初始模型训练得到的图像分割模型的实用性和通用性。

在另一种可能实现方式中，该计算机设备可以基于获取到的多个样本图像和历史处理数据中的样本图像进行匹配，获取该多个样本图像和历史样本图像的相似度，然后将相似度最大的样本图像的图像分割模型的模型参数作为上述初始模型的模型参数，也即是上述初始值，这样考虑到历史处理数据中可能处理过类似的样本图像，考虑到样本图像相似，对样本图像进行分割时所需的参数则可能相似，通过直接获取历史处理数据中的模型参数作为初始模型的模型参数，可以有效减少模型训练过程中的迭代次数，减少大量计算量，提高了图像分割模型训练过程的效率。

上述仅提供了两种初始模型的模型参数的设置示例，当然，该初始模型的模型参数也可以由相关技术人员预先设置，本发明实施例对此不作限定。

303、计算机设备中的初始模型根据该多个样本图像的像素点的类型数量，确定图像分割模块的数量。

其中，不同的图像分割模块用于对图像的不同区域进行分割。在本发明实施例中，初始模型可以采用流式分割方案，也即是通过多个图像分割模块依次对样本图像进行分割，对于相邻的两个图像分割模块，前面的图像分割模块对图像进行分割后，可以对原图像进行裁剪，并将裁剪后的图像输入后面的图像分割模块，从而后面的图像分割模块可以基于前一个图像分割模块的分割结果继续进行分割。这样递进式对图像进行多次分割，且关注点一步一步集中，实现了粗糙和细致结合的分割方式，使得分割结果更准确，也适用于不同难度的分割任务。例如，如图4所示，可以先进行一步分割，再对分割得到的区域进行更细致地分割。

该初始模型可以支持各种嵌套式组织的图像的分割需求，且可以支持多类型分割。由于不同人体组织图像，分割过程中需要确定像素点的类型数量不同，例如，脑部肿瘤分割场景需要确定像素点的类型可以包括4种：背景、水肿、非增强型肿瘤和增强型肿瘤。而肝癌分割场景需要确定像素点的类型可以包括三种：背景、肝和肝癌。该初始模型可以基于该类型数据，自行确定图像分割模块的数量，因而，不同的人体组织图像均可以采用该初始模型进行训练从而满足分割需求，有效提高了初始模型的通用性和实用性。

具体地，该步骤303可以为：初始模型将该多个样本图像的前景像素点的类型数量作为该初始模型中的图像分割模块的数量。像素点的类型可以包括至少两个，该至少两个类型可以包括两类：一类为背景，另一类为前景，前景即为该至少两个类型中的背景之外的其它一种或多种类型。相应地，对应的像素点分别为背景像素点和前景像素点。也即是，类型为背景的像素点为背景像素点，类型为前景的像素点为前景像素点。初始模型确定了多个图像分割模块，该多个图像分割模块分别对应像素点的一种类型，也即是每个图像分割模块会着重分割像素点的一种类型。

例如，如果该人体组织图像为脑部图像，前景像素点的类型数量为3，也即是，前景像素点有三种类型：水肿、非增强型肿瘤和增强型肿瘤，相应地，初始模型即可确定图像分割模块的数量为3。这样通过该三个图像分割模块依次对图像进行分割，第一个图像分割模块着重分割出水肿区域，第二图像分割模块着重分割出非增强型肿瘤区域，而第三图个图像分割模块着重分割出增强型肿瘤区域，从而得到图像的分割结果。

需要说明的是，该初始模型可以直接获取该样本图像的前景像素点的类型数量，也可以获取像素点的类型数量，并将该像素点的类型数量减一，得到前景像素点的类型数量，本发明实施例对具体的实现方式不作限定。

在一种可能实现方式中，该多个样本图像的标签中的目标分割结果即用于指示样本图像的每个像素点的类型，则该多个样本图像的像素点的类型数据可以基于多个样本图像的标签得到。相应地，该步骤303之前，该计算机设备的初始模型还可以对该多个样本图像的标签进行分析，得到该多个样本图像的像素点的类型数量，从而可以执行该步骤303，基于类型数量，确定图像分割模块的数量。，例如，初始模型可以统计标签中的目标分割结果中像素点的类型数量，也可以仅统计前景像素点的类型数量。

相关技术中，通常需要由技术人员根据自身经验或对需要进行分割的人体组织图像进行分析，人工确定初始模型中的图像分割模块的数量，且图像分割模块的数量固定，在需要对其它人体组织图像进行分割时，需要技术人员重新确定图像分割模块的数量，而不能直接在初始模型的基础上进行训练，因此，初始模型不具有通用性。而本发明实施例中的初始模型可以自行对样本图像进行分析，确定图像分割模块的数量，该图像分割模块的数量可变，在需要对其它人体组织图像进行分割时，直接获取其它人体组织图像对初始模型进行训练即可，该初始模型可以自行确定图像分割模块的数量，因此，本发明实施例提供的初始模型可以适用于对多种人体组织图像进行分割的场景，具备通用性，实用性更好。

304、初始模型中的多个图像分割模块依次对每个样本图像进行分割，得到每个图像分割模块对样本图像的分割结果。

在确定图像分割模块的数量后，初始模型即可基于多个图像分割模块依次对样本图像进行分割，得到分割结果。具体地，对于每个图像分割模块，可以基于模块参数，对输入的图像进行特征提取，得到图像的特征。然后可以基于提取的特征，对图像中每个像素点进行分类，得到分割结果。

在一种可能实现方式中，该图像分割模块中可以包括至少一个图像分割子模块，不同的图像分割子模块的深度不同。例如，该图像分割模块可以采用深度残差网络(Deepresidual network，ResNet)实现。该图像分割模块可以包括两个图像分割子模块：ResNet-18和ResNet-152，其中，ResNet-152的深度大于ResNet-18的深度。在该初始模型的训练过程中，对于每个图像分割模块，初始模型还可以根据该多个样本图像的图像数量，获取该图像数量对应的图像分割子模块作为该图像分割模块。这样可以针对样本图像的图像数量，选择合适的图像分割子模块来进行训练，从而可以避免出现过拟合(over-fitting)现象或训练后的模型的分割能力差的问题。在此仅以每个图像分割子模块采用二维(Two-dimensional，2D)网络为基础网络为例进行说明，具体地，每个图像分割子模块也可以使用三维Three-dimensional，3D)网络作为基础网络，本发明实施例对此不作限定。

具体地，该初始模型中还可以存储有图像数量与图像分割子模块的对应关系，初始模型基于该对应关系，进行上述图像分割子模块的选择步骤。在一种可能实现方式中，图像数量越大，获取的图像分割子模块的深度越大。这样可以有效应对小数据的情况，在样本数量很少时也可以训练模型，得到分割效果较好的图像分割模型。

进一步地，以该图像分割模块包括两个图像子模块为例，该图像分割模块的获取步骤可以为：当该多个样本图像的图像数量大于预设数量时，初始模型获取第一图像分割子模块；当该多个样本图像的图像数量小于或等于预设数量时，初始模型获取第二图像分割子模块。其中，该第一图像分割子模块的深度大于第二图像分割子模块的深度。预设数量可以由相关技术人员预先设置，本发明实施例对该预设数量的具体取值不作限定。

例如，第一图像分割子模块可以为ResNet-152，第二图像分割子模块可以为ResNet-18，以该预设数量为100为例，上述图像分割模块的获取步骤可以为：当样本图像的图像数量小于或等于100时，可以采用ResNet-18作为基础模型，当样本图像的图像数量大于100时，可以采用ResNet-101作为基础模型。

在一个具体的可能实施例中，每个图像分割模块均可以基于Unity Networking(unet)进行改进，unet因其独特的渐进式上采样以及跳跃式连接(skip connection)结构，特别适用于人体组织图像中细微结构的分割。

初始模型确定了每个图像分割模块的基础模型(图像分割子模块)后，则可以基于该多个图像分割模块依次对样本图像进行分割。具体地，对于该多个图像分割模块中相邻的两个图像分割模块，初始模型可以基于第一图像分割模块对第三图像进行分割，得到第一分割结果，该第一图像分割模块为该相邻的两个图像分割模块中顺序在前的图像分割模块。初始模型再基于第二图像分割模块对基于该第一分割结果裁剪得到的第四图像进行分割，得到第二分割结果，该第二图像分割模块为该相邻的两个图像分割模块中顺序在后的图像分割模块，该第四图像为该第三图像的部分区域。

其中，该第一分割结果与该第二分割结果用于指示图像的每个像素点为至少两个类型中每个类型的概率。第三图像是指输入该第一图像分割模块的图像，第四图像为第一图像分割模块基于第一分割结果对第三图像进行裁剪得到的图像。该第四图像包括该第一分割结果所指示的第一类型的像素点，该第一类型为该第一图像分割模块对应的类型。

同理地，第二图像分割模块对应的类型为第二类型。由于目标人体组织为嵌套式组织，第二类型的像素点所在区域在第一类型的像素点所在区域的内部。可以先着重分割第一类型的像素点，再在第一类型的像素点所在区域内更细致地着重分割第二类型的像素点。需要说明的是，每个图像分割模块均可以对像素点进行分类，确定该像素点为各个类型的概率，而不是仅针对模块对应的类型，而只是更着重分割模块对应的类型。

也即是，第一图像分割模块对第三图像进行分割，确定了各个像素点为各个类型的概率，并初步以该概率确定各个像素点的类型，第一图像分割模块着重分割第一类型，所以可以将包括第一类型的像素点所在区域的第四图像输入第二图像分割模块，第二图像分割模块则可以继续对第四图像进行分割，更着重分割第二类型。如果上述第一图像分割模块为初始模型的多个图像分割模块中的第一个图像分割模块，则上述第三图像即为输入的样本图像本身。

在一种可能实现方式中，考虑到如果样本图像的多个目标区域之间的像素点相差很大，在采样过程中可能会导致某个目标区域的像素点很少甚至消失，使得分割结果不准确，则在上述裁剪过程中还可以设置有：样本图像的多个目标区域之间的像素点比值不同时，对样本图像的裁剪方式还可以不同。具体地，上述步骤303中，在该初始模型的训练过程中，初始模型还可以获取该多个样本图像对应的多个目标区域中相邻目标区域之间的像素点比值，该目标区域为该多个样本图像中目标类型的像素点所在区域。相应地，在该步骤304中，在该多个图像分割模块中每个图像分割模块对图像进行裁剪时，图像分割模块可以根据该多个目标区域中相邻目标区域之间的像素点比值与目标数值的大小关系，对图像进行裁剪。

其中，该目标数值是指像素点比值的阈值，可以用来衡量目标区域之间的像素点比值是否超出用户容忍度，也即是用于衡量多个目标区域之间比例是否失衡，该目标数值可以由相关技术人员预先设置，也可以由计算机设备为用户提供设置选项或输入功能，获取用户设置的数值作为该目标数值，或对用户设置的数值进行处理得到，例如，用户可以输入3，计算机设备可以对3取倒数，得到目标数值1/3，当然，也可以将3作为目标数值，本发明实施例对该目标数值的具体取值不作限定。

在一个具体的可能实施例中，上述裁剪过程中图像分割模块对图像进行裁剪时，可以基于该图像分割模块对应类型的目标区域的尺寸，确定裁剪范围，例如，可以将当前模块对应类型的目标区域作为中心，并外扩一定的百分比(例如10％)进行裁剪，这样输入下一个模块的图像不仅包括当前模块确定出的目标区域，还包括目标区域周围的一些像素信息，可以使得下一个模块也可以对这部分区域再次分割，以避免由于某个模块的分割不准确导致的误差，提高了图像分割的准确性。

具体地，在步骤303中，在该初始模型的训练过程中，初始模型还可以获取该多个样本图像对应的多个目标区域的连通域范围。该步骤可以通过对样本图像的标签进行连通域处理得到，这样通过对样本图像进行统计处理，得到一个标准值，以该标准值来确定合适的裁剪范围。相应地，该步骤304中，在该多个图像分割模块中每个图像分割模块对图像进行裁剪时，图像分割模块可以根据该多个目标区域中相邻目标区域之间的像素点比值与目标数值的大小关系，以及该多个目标区域的连通域范围，对图像进行裁剪。

例如，以上述相邻的两个图像分割模块来说明，该步骤304可以为：对于第一图像分割模块，第一图像分割模块根据第一目标区域与第二目标区域的像素点比值与目标数值的大小关系，以及该第一目标区域或第二目标区域的连通域范围，对该第三图像进行裁剪，该第一目标区域为该第一图像分割模块对应的第一类型的像素点所在区域，该第二目标区域为该第二图像分割模块对应的第二类型的像素点所在区域。

上述过程中根据第一目标区域还是第二目标区域的连通域范围的选择即可以根据上述大小范围确定。具体地，可以包括两种选择情况：情况一、当该第一目标区域与第二目标区域的像素点比值小于目标数值时，第一图像分割模块基于该第一目标区域的连通域范围，对该第三图像进行裁剪。情况二、当该第一目标区域与第二目标区域的像素点比值大于或等于目标数值时，第一图像分割模块基于该第二目标区域的连通域范围，对该第三图像进行裁剪。

进一步地，在情况一中，当该第一目标区域与第二目标区域的像素点比值小于目标数值时，裁剪后的第四图像的尺寸基于该第一目标区域的连通域范围和第一系数得到。在情况二中，当该第一目标区域与第二目标区域的像素点比值大于或等于目标数值时，裁剪后的第四图像的尺寸基于该第二目标区域的连通域范围和第二系数得到，该第一系数小于该第二系数，该第一系数和该第二系数大于一。其中，该第一系数和第二系数均可以由相关技术人员预先设置，本发明实施例对其取值不作限定。

例如，以第一系数为10％，第二系数为50％为例对上述两种情况进行说明，对于情况一，情况一为像素点比值小于目标数值的情况，可以称情况一中的裁剪方式为全包式裁剪(crop)，在这种情况中，例如，目标数值为3，第一目标区域和第二目标区域的像素点比值为2，小于目标数值，这样该第一目标区域和第二目标区域的尺寸大小相差不大，也即是像素点数量相对平衡，则对样本图像进行裁剪使得第二目标区域的像素点消失的可能性很小，则在基于第一分割结果确定了第一目标区域后，将第一目标区域的连通域范围(统计值)与第一系数得到的范围作为裁剪范围。因而，可以将第三图像中的第一目标区域作为中心，外扩第一系数，得到输入第二图像分割模块的第四图像。具体地，可以将连通域范围外扩第一系数的范围作为裁剪范围，例如，可以将连通域范围的高度外扩5％，宽度外扩5％。当然，该第一系数也可以为110％，可以将连通域范围和第一系数的乘积作为裁剪范围。

下面举一个具体示例对情况一进行详细说明，参见图5，以脑部肿瘤分割示例，三种组织从外层到内层分别为：水肿(表示为edema)，非增强型肿瘤(表示为active)，增强型肿瘤(表示为necrotic)，CC表示外接标签方框，也即用于表示裁剪范围。根据统计结果，可以得知三种标签样本数目相对平衡，也即是脑部图像中三个区域之间的像素点比值均小于目标数值，像素点数目相对平衡。以上一模块输出对应类型的目标区域为中心，以该目标区域的连通域范围裁剪图像，也即是，以连通域范围外扩10％，作为下一层模型的输入。如第一个模块中输入的为全图，该模块主要分割edema，以预测图中edema CC1为中心，edema连通域范围(第一目标区域的连通域范围)外扩10％为区域裁剪图像，得到active模型的输入，后面的模块以此类推。上述裁剪过程中，如果裁剪范围超过当前模块输入的图像的范围则以完整全图区域补全，超过完整图区域的则丢弃。

对于情况二，情况二为像素点比值大于目标数值的情况，例如，目标数值为3，第一目标区域和第二目标区域的像素点比值为4，大于目标数值，这样该第一目标区域和第二目标区域的尺寸大小相差较大，也即是像素点数量失衡，第二目标区域相较于第一目标区域很小，属于小样本区域。因此，裁剪范围不能以第一目标区域的连通域范围为准，否则第二目标区域所占比例太小，易丢失，裁剪范围也不能完全以第二目标区域的连通域范围为准，可以补充上下文信息进行扩充，因此，可以外扩50％。

下面举一个具体示例对情况二进行详细说明，参见图6，以肝癌为例。肝部图像的组织从外层到内层分别为肝(表示为liver)和肝癌(表示为tumor)。liver即为第一目标区域，tumor即为第二目标区域。根据统计结果，liver和tumor样本失衡，也即是第一目标区域和第二目标区域的像素点比值大于用户容忍度(目标数值)，则liver属于大样本标签，tumor属于小样本标签。因此，liver模块在裁剪图像时，裁剪范围为连通域范围外扩50％，可以称这种裁剪方式为扫描式crop。第一个模块中输入的为全图，第一个模块分割liver和tumor，重点为liver，预测结果有两个连通域，其中liver CC1大于tumor的训练集连通域范围，Liver CC2则小于此范围。以liver CC1为中心，按照liver训练集统计范围外扩10％crop图像得到Liver Crop，该Liver Crop是在第一目标区域的基础上补入上下文信息后待进行裁剪的图像，接着以tumor连通域范围(第二目标区域的连通域范围)外扩50％的范围从上到下，从左到右扫描输入的图像得到Tumor模型的输入1，2，3。以Liver CC2为中心，tumor连通域范围外扩50％crop则可以得到tumor模型的第4个输入图。

305、计算机设备中的初始模型基于对多个分割结果和该样本图像的标签，获取每个分割结果的分割误差。

初始模型可以采用损失函数获取每个分割结果的分割误差，在一种可能实现方式中，在该初始模型的训练过程中获取每个图像分割模块的分割结果的分割误差时，该图像分割模块对应的类型的权重大于其他类型的权重。这样通过损失函数的权重设置，可以使得每个图像分割模块更着重分割对应类型。例如，对于第一图像分割模块，该第一图像分割模块的分割结果在获取分割误差时，损失函数中，第一类型的权重大于其他类型的权重，例如，以四分类为例，第一类型的权重为0.7，其他三类的权重均为0.1。

306、计算机设备基于多个分割误差，对初始模型的模型参数进行调整，直至达到预设条件时停止，得到图像分割模型，该初始模型的模型参数至少包括每个图像分割模块的模块参数。

计算机设备在获取到多个分割误差后，则可以基于该多个分割误差对初始模型的模型参数进行调整，通过多次调整后的模型参数可以使得该初始模型再对样本图像进行分割时，分割误差减小，也即是准确性更高，这样达到预设条件时，模型即训练完成。其中，每次对样本图像进行分割，获取分割误差和模型参数调整过程均为一次迭代过程，上述模型训练过程即为多次迭代过程。

在一个具体的可能实施例中，上述初始模型的模型参数还可以包括每个图像分割模块的权重，也即是该初始模型的输出为综合该多个图像分割模块的分割结果的输出，该输出可以为对多个图像分割模块的加权求和结果，也即是在多个图像分割模块得到多个分割结果后，可以基于对多个分割结果进行加权求和，输出分割后的图像。需要说明的是，上述各个图像分割模块可以分别训练后，再训练该每个图像分割模块的权重，也可以在对每个图像分割模块的模块参数进行调整时，也调整每个图像分割模块的权重，本发明实施例对此不作限定。

例如，相关技术中，对于多模型融合，通常通过对概率取平均或采用投票的方式实现，而本发明实施例中，该多个图像分割模块的权重可以采用Dice值，Dice值为一种针对分割算法的评价指标。其中，该Dice值的取值范围可以为[0，1]，该Dice值越大，则表示分割性能越好，该Dice值可以基于交叉验证的方式确定。

该预设条件可以基于梯度下降法确定，例如，可以为分割误差收敛，也可以为迭代次数达到目标次数。在一种可能实现方式中，上述图像分割模块的权重和预设条件可以基于交叉验证的方式确定。具体地，该第一迭代停止次数可以基于k-折交叉验证的方式确定，例如，可以基于五折交叉验证的方式确定。以五折交叉验证为例，可以将样本图像分为五部分，将其中四部分作为训练集，将另外一部分作为验证集，再以另外的组合方式进行多次训练和验证，当然，也可以确定不同组合方式后，同时以不同的组合方式对初始模型进行训练和验证，这样通过对样本数据的多种组合进行训练和验证，使得该初始模型遍历了所有的样本数据，训练后的模型的通用性更好，分割结果更准确。其中，该交叉验证过程主要为每进行一定次数的迭代过程时，通过验证数据对训练的模型进行验证，如果分割误差符合预设条件，则可以停止，如果不符合，则可以继续进行上述迭代过程，本发明实施例在此不作过多赘述。

上述步骤303至步骤306为基于该多个样本图像，对该初始模型进行训练，得到图像分割模型的过程，在上述模型训练过程中，初始模型可以自行根据样本图像进行分析，确定图像分割模块的数量，从而可以适用于多种场景，更具通用性、实用性和适用性。

上述训练得到图像分割模型后，当获取到待分割的第一图像时，计算机设备调用该图像分割模型，由该图像分割模型基于多个图像分割模块，对该第一图像进行分割，输出第二图像，该第一图像也是目标人体组织图像。

需要说明的是，如果图像分割模块采用2D网络作为基础网络，输入的样本图像还可能是3D图像，则该初始模型还可以将3D图像转化为2D图像序列，也即是获取3D图像的切片，将切片输入图像分割模块中进行分割。

在一种可能实现方式中，该初始模型和该图像分割模型均包括三个视角子模型，该三个视角子模型分别用于按照不同视角获取图像的切片和对图像进行分割。例如，如图7所示，该三个视角子模型可以分别按照X轴、Y轴、Z轴获取图像的切片，并分别进行分割，最终融合三个视角子模型的分割结果，输出分割后的图像。

这样通过不同视角获取图像的切片，从而综合不同视角的分割结果，可以提高图像分割模型对图像分割的准确性。相应地，初始模型在确定图像分割模块的数量时，可以述将该多个样本图像的前景像素点的类型数量作为每个视角子模型中的图像分割模块的数量。也即是，每个视角子模型中的图像分割模块的数量均为前景像素点的类型数量。上述模型训练过程中，对于每个视角子模型，均可以基于多个图像分割模块依次对样本图像进行分割，从而综合该三个视角子模型的多个分割结果，得到最终的图像。其中，该三个视角子模型中每个视角子模型的分割结果包括多个图像分割模块的图像分割结果。

在一种可能实现方式中，每个视角子模型也可以分别对应有权重，也即是上述Dice值，该每个视角子模型的权重也可以基于交叉验证的方式确定。例如，如图8所示，以四分类为例，每个视角子模型中包括三个图像分割模块，分别为：Model A、Model B和ModelC。该三个模块依次对图像进行分割，得到三个阶段的分割结果，则在融合该三个分割结果时，可以基于三个模块的权重(Dice值)，对分割结果进行加权求和，得到某个视角子模型的分割结果。当然，在此仅以一个视角子模型为例进行说明，在综合多个视角子模型的分割结果时，可以也考虑到每个视角子模型的权重，得到最终输出的图像。

相应地，基于训练得到的图像分割模型对第一图像进行分割的过程中，计算机设备可以由该三个视角子模型分别按照对应的视角，获取第一图像的至少一个切片，由每个视角子模型中的多个图像分割模块对每个切片进行分割，基于该三个视角子模型的分割结果，输出第二图像。其中，该三个视角子模型中每个视角子模型的分割结果包括多个图像分割模块的图像分割结果。基于该三个视角子模型的分割结果，输出第二图像的过程与训练时同理，可以为：计算机设备基于该三个视角子模型对应的权重和每个视角子模型中每个图像分割模块对应的权重，对该三个视角子模型的多个图像分割模块的图像分割结果进行加权求和，输出第二图像，本发明实施例在此不多做赘述。

本发明实施例通过基于样本图像对初始模型进行训练得到图像分割模型，从而在获取到第一图像时，可以基于训练得到的图像分割模型对第一图像进行分割，其中，初始模型可以自行基于样本图像的像素点的类型数量确定图像分割模块的数量，因而对于不同人体组织图像均可以直接在该初始模型的基础上进行训练，而无需人工参与，重新设计模型，因此，上述图像分割模型的通用性、适用性和实用性好。进一步地，上述方法对于一切嵌套式临床组织结构分割具有通用性和针对性，分割性能和时效得到有效提升。且初始模型的结构的可变性使得该方法的可扩展性十分强。

图9是本发明实施例提供的一种图像分割方法的流程图，该图像分割方法应用于计算机设备中，该计算机设备可以为上述实施环境中的计算机设备201。在本发明实施例中，主要对当获取到待分割的第一图像时，调用该图像分割模型，由该图像分割模型基于多个图像分割模块，对该第一图像进行分割，输出第二图像的过程进行了详细说明。参见图9，该图像分割方法可以包括以下步骤：

901、计算机设备获取待分割的第一图像。

计算机设备在检测到图像分割操作时执行该步骤901，也可以接收用户导入的待分割的第一图像，还可以接收其他计算机设备发送的图像分割请求，该图像分割请求中携带有待分割的第一图像，从该图像分割请求中提取待分割的第一图像，或该图像分割请求中可以携带有该第一图像的相关信息，计算机设备可以基于该相关信息，执行该步骤901，当然，该计算机设备也可以通过成像原理获取得到待分割的第一图像。本发明实施例对该待分割的第一图像的具体获取方式和获取时机不作限定。

例如，其他计算机设备可以通过成像原理获取得到待分割的第一图像，并向该计算机设备发送该待分割的第一图像，该计算机设备获取到该待分割的第一图像，该第一图像可以为上述目标人体组织图像，这样可以执行下述步骤，利用通过该目标人体组织的样本图像进行训练得到的图像分割模型，对该第一图像进行分割。

902、计算机设备调用图像分割模型。

其中，该图像分割模型包括多个图像分割模块。该多个图像分割模块的数量在上述图3所示实施例中，对初始模型进行训练时，由初始模型确定。不同的图像分割模块用于对图像的不同区域进行分割，该多个图像分割模块可以依次对第一图像进行分割，实现流式分割方案。

该计算机设备中可以预先存储有图像分割模型，在一种可能实现方式中，该计算机设备即为图3所示的计算机设备，也即是该计算机设备上存储的图像分割模型即为在该计算机设备上训练得到的。在另一种可能实现方式中，该计算机设备不是图3所示的计算机设备，也即是可以在其他计算机设备上训练得到图像分割模型，该计算机设备可以从其他计算机设备上获取该训练好的图像分割模型。当然，该计算机设备上也可以没有存储有图像分割模型，在该计算机设备获取到待分割的第一图像，需要对第一图像进行分割时，可以实时从其他计算机设备处调用图像分割模型，本发明实施例对此不作限定。

与上述步骤306中的内容同理，该图像分割模型还可以包括三个视角子模型，该三个视角子模型分别用于按照不同视角获取图像的切片和对图像进行分割。相应地，每个视角子模型中包括多个图像分割模块。该多个图像分割模块分别对应像素点的一种类型，也即是多个图像分割模块分别用于着重分割像素点的一种类型。

903、计算机设备将该第一图像输入该图像分割模型中，由该图像分割模型基于多个图像分割模块，对该第一图像进行分割，得到多个分割结果。

与上述步骤306中的内容同理，如果该图像分割模型包括三个视角子模型，则该步骤903可以为：计算机设备将该第一图像输入图像分割模型中，由该图像分割模型中的三个视角子模型分别按照对应的视角，获取第一图像的至少一个切片，由每个视角子模型中的多个图像分割模块对每个切片进行分割，基于该三个视角子模型的分割结果，输出第二图像。

与步骤304中的内容同理，每个图像分割模块可以对图像进行分割、裁剪，得到分割结果，具体地，对于该多个图像分割模块中相邻的两个图像分割模块，计算机设备可以基于第一图像分割模块对该第三图像进行分割，得到第一分割结果，该第一图像分割模块为该相邻的两个图像分割模块中顺序在前的图像分割模块。计算机设备基于第二图像分割模块对基于该第一分割结果裁剪得到的第四图像进行分割，得到第二分割结果，该第二图像分割模块为该相邻的两个图像分割模块中顺序在后的图像分割模块，该第四图像为该第三图像的部分区域。其中，该第四图像包括该第一分割结果所指示的第一类型的像素点，该第一类型为该第一图像分割模块对应的类型。

904、计算机设备中的图像分割模型基于多个分割结果，输出第二图像。

在包括三个视角子模型的情况中，该三个视角子模型中每个视角子模型的分割结果包括多个图像分割模块的图像分割结果。相应地，图像分割模型基于该三个视角子模型的分割结果，输出第二图像的过程中，也可以基于该三个视角子模型对应的权重和每个视角子模型中每个图像分割模块对应的权重，对该三个视角子模型的多个图像分割模块的图像分割结果进行加权求和，输出第二图像。其中，该三个视角子模型对应的权重和每个视角子模型中每个图像分割模块对应的权重基于交叉验证的方式确定。上述内容均与图3所示实施例中的相关内容同理，本发明实施例在此不多做赘述。

在该步骤904后，在得到第二图像之后，计算机设备可以存储该第二图像，当然，也可以将第一图像和第二图像对应存储，如果该计算机设备为基于其他计算机设备的图像分割请求进行的上述图像分割过程，也可以将该第二图像发送至该其他计算机设备，本发明实施例对此不作限定。

本发明实施例通过基于样本图像对初始模型进行训练得到图像分割模型，从而在获取到第一图像时，可以基于训练得到的图像分割模型对第一图像进行分割，其中，初始模型可以自行基于样本图像的像素点的类型数量确定图像分割模块的数量，因而对于不同人体组织图像均可以直接在该初始模型的基础上进行训练，而无需人工参与，重新设计模型，因此，上述图像分割模型的通用性、适用性和实用性好。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

图10是本发明实施例提供的一种图像分割装置的结构示意图，参见图10，该装置包括：

获取模块1001，用于获取多个样本图像；

训练模块1002，用于调用初始模型，将该多个样本图像输入初始模型中，基于该多个样本图像，对该初始模型进行训练，得到图像分割模型，该初始模型用于根据该多个样本图像的像素点的类型数量确定图像分割模块的数量，不同的图像分割模块用于对图像的不同区域进行分割；

分割模块1003，用于当获取到待分割的第一图像时，调用该图像分割模型，由该图像分割模型基于多个图像分割模块，对该第一图像进行分割，输出第二图像，该多个样本图像和该第一图像均为目标人体组织图像。

在一种可能实现方式中，该训练模块1002用于将该多个样本图像的前景像素点的类型数量作为该初始模型中的图像分割模块的数量。

在一种可能实现方式中，每个样本图像携带有标签，该标签用于指示该样本图像的目标分割结果；

相应地，该训练模块1002还用于对该多个样本图像的标签进行分析，得到该多个样本图像的像素点的类型数量。

在一种可能实现方式中，该分割模块1003用于：

对于该多个图像分割模块中相邻的两个图像分割模块，基于第一图像分割模块对第三图像进行分割，得到第一分割结果，该第一图像分割模块为该相邻的两个图像分割模块中顺序在前的图像分割模块；

基于第二图像分割模块对基于该第一分割结果裁剪得到的第四图像进行分割，得到第二分割结果，该第二图像分割模块为该相邻的两个图像分割模块中顺序在后的图像分割模块，该第四图像为该第三图像的部分区域。

在一种可能实现方式中，该多个图像分割模块分别对应像素点的一种类型；该第四图像包括该第一分割结果所指示的第一类型的像素点，该第一类型为该第一图像分割模块对应的类型；在该初始模型的训练过程中获取每个图像分割模块的分割结果的分割误差时，该图像分割模块对应的类型的权重大于其他类型的权重。

在一种可能实现方式中，该获取模块1001还用于在该初始模型的训练过程中，获取该多个样本图像对应的多个目标区域中相邻目标区域之间的像素点比值，该目标区域为该多个样本图像中目标类型的像素点所在区域；

该装置还包括：

裁剪模块，用于在该多个图像分割模块中每个图像分割模块对图像进行裁剪时，根据该多个目标区域中相邻目标区域之间的像素点比值与目标数值的大小关系，对图像进行裁剪。

在一种可能实现方式中，该获取模块1001还用于在该初始模型的训练过程中，获取该多个样本图像对应的多个目标区域的连通域范围；

该裁剪模块用于在该多个图像分割模块中每个图像分割模块对图像进行裁剪时，根据该多个目标区域中相邻目标区域之间的像素点比值与目标数值的大小关系，以及该多个目标区域的连通域范围，对图像进行裁剪。

在一种可能实现方式中，该裁剪模块用于：

对于该第一图像分割模块，根据第一目标区域与第二目标区域的像素点比值与目标数值的大小关系，以及该第一目标区域或第二目标区域的连通域范围，对该第三图像进行裁剪，该第一目标区域为该第一图像分割模块对应的第一类型的像素点所在区域，该第二目标区域为该第二图像分割模块对应的第二类型的像素点所在区域。

在一种可能实现方式中，该裁剪模块还用于：

当该第一目标区域与第一目标区域的像素点比值小于目标数值时，基于该第一目标区域的连通域范围，对该第三图像进行裁剪；

当该第一目标区域与第二目标区域的像素点比值大于或等于目标数值时，基于该第二目标区域的连通域范围，对该第三图像进行裁剪。

在一种可能实现方式中，当基于该第二目标区域的连通域范围，对第三图像进行裁剪时，裁剪后的第四图像的尺寸基于该连通域范围和第一系数得到；

当基于该第二目标区域的连通域范围，对该第三图像进行裁剪时，裁剪后的第四图像的尺寸基于该第二目标区域的连通域范围和第二系数得到，该第一系数小于该第二系数。

在一种可能实现方式中，该初始模型和该图像分割模型均包括三个视角子模型，该三个视角子模型分别用于按照不同视角获取图像的切片和对图像进行分割；

相应地，该训练模块1002用于将该多个样本图像的前景像素点的类型数量作为每个视角子模型中的图像分割模块的数量；

相应地，该分割模块1003用于由该三个视角子模型分别按照对应的视角，获取第一图像的至少一个切片，由每个视角子模型中的多个图像分割模块对每个切片进行分割，基于该三个视角子模型的分割结果，输出第二图像。

在一种可能实现方式中，该三个视角子模型中每个视角子模型的分割结果包括多个图像分割模块的图像分割结果；

相应地，该分割模块1003还用于基于该三个视角子模型对应的权重和每个视角子模型中每个图像分割模块对应的权重，对该三个视角子模型的多个图像分割模块的图像分割结果进行加权求和，输出第二图像，该三个视角子模型对应的权重和每个视角子模型中每个图像分割模块对应的权重基于交叉验证的方式确定。

在一种可能实现方式中，该训练模块1002还用于在该初始模型的训练过程中，对于每个图像分割模块，根据该多个样本图像的图像数量，获取该图像数量对应的图像分割子模块作为该图像分割模块，该图像分割模块中包括至少一个图像分割子模块，不同的图像分割子模块的深度不同。

本发明实施例提供的装置，通过基于样本图像对初始模型进行训练得到图像分割模型，从而在获取到第一图像时，可以基于训练得到的图像分割模型对第一图像进行分割，其中，初始模型可以自行基于样本图像的像素点的类型数量确定图像分割模块的数量，因而对于不同人体组织图像均可以直接在该初始模型的基础上进行训练，而无需人工参与，重新设计模型，因此，上述图像分割模型的通用性、适用性和实用性好。

需要说明的是：上述实施例提供的图像分割装置在分割图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像分割装置与图像分割方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述计算机设备可以被提供为下述图11所示的终端，也可以被提供为下述图12所示的服务器，本发明实施例对此不作限定。

图11是本发明实施例提供的一种终端的结构示意图。该终端1100可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1100包括有：处理器1101和存储器1102。

处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1101所执行以实现本发明中方法实施例提供的图像分割模型训练方法或图像分割方法。

在一些实施例中，终端1100还可选包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地，外围设备包括：射频电路1104、触摸显示屏1105、摄像头1106、音频电路1107、定位组件1108和电源1109中的至少一种。

外围设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本发明对此不加以限定。

显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置终端1100的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在终端1100的不同表面或呈折叠设计；在再一些实施例中，显示屏1105可以是柔性显示屏，设置在终端1100的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件1106用于采集图像或视频。可选地，摄像头组件1106包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。

定位组件1108用于定位终端1100的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1108可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源1109用于为终端1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。

加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号，控制触摸显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1112可以检测终端1100的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1113可以设置在终端1100的侧边框和/或触摸显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时，可以检测用户对终端1100的握持信号，由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在触摸显示屏1105的下层时，由处理器1101根据用户对触摸显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1114用于采集用户的指纹，由处理器1101根据指纹传感器1114采集到的指纹识别用户的身份，或者，由指纹传感器1114根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1101授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置终端1100的正面、背面或侧面。当终端1100上设置有物理按键或厂商Logo时，指纹传感器1114可以与物理按键或厂商Logo集成在一起。

光学传感器1115用于采集环境光强度。在一个实施例中，处理器1101可以根据光学传感器1115采集的环境光强度，控制触摸显示屏1105的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1105的显示亮度；当环境光强度较低时，调低触摸显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1115采集的环境光强度，动态调整摄像头组件1106的拍摄参数。

接近传感器1116，也称距离传感器，通常设置在终端1100的前面板。接近传感器1116用于采集用户与终端1100的正面之间的距离。在一个实施例中，当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变小时，由处理器1101控制触摸显示屏1105从亮屏状态切换为息屏状态；当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变大时，由处理器1101控制触摸显示屏1105从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图11中示出的结构并不构成对终端1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图12是本发明实施例提供的一种服务器的结构示意图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)1201和一个或一个以上的存储器1202，其中，所述存储器1202中存储有至少一条指令，所述至少一条指令由所述处理器1201加载并执行以实现上述各个方法实施例提供的图像分割模型训练方法或图像分割方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成上述实施例中的图像分割模型训练方法或图像分割方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种图像分割方法，其特征在于，所述方法包括：

获取多个样本图像；

调用初始模型，将所述多个样本图像输入初始模型中，基于所述多个样本图像，对所述初始模型进行训练，得到图像分割模型，所述初始模型用于根据所述多个样本图像的像素点的类型数量确定图像分割模块的数量，不同的图像分割模块用于对图像的不同区域进行分割；

当获取到待分割的第一图像时，调用所述图像分割模型，由所述图像分割模型基于多个图像分割模块，对所述第一图像进行分割，输出第二图像，所述多个样本图像和所述第一图像均为目标人体组织图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多个样本图像的像素点的类型数量确定图像分割模块的数量，包括：

将所述多个样本图像的前景像素点的类型数量作为所述初始模型中的图像分割模块的数量。

3.根据权利要求1所述的方法，其特征在于，每个样本图像携带有标签，所述标签用于指示所述样本图像的目标分割结果；

相应地，所述根据所述多个样本图像的像素点的类型数量确定图像分割模块的数量之前，所述方法还包括：

对所述多个样本图像的标签进行分析，得到所述多个样本图像的像素点的类型数量。

4.根据权利要求1所述的方法，其特征在于，所述由所述图像分割模型基于多个图像分割模块，对所述第一图像进行分割，包括：

对于所述多个图像分割模块中相邻的两个图像分割模块，基于第一图像分割模块对第三图像进行分割，得到第一分割结果，所述第一图像分割模块为所述相邻的两个图像分割模块中顺序在前的图像分割模块；

基于第二图像分割模块对基于所述第一分割结果裁剪得到的第四图像进行分割，得到第二分割结果，所述第二图像分割模块为所述相邻的两个图像分割模块中顺序在后的图像分割模块，所述第四图像为所述第三图像的部分区域。

5.根据权利要求4所述的方法，其特征在于，所述多个图像分割模块分别对应像素点的一种类型；所述第四图像包括所述第一分割结果所指示的第一类型的像素点，所述第一类型为所述第一图像分割模块对应的类型；在所述初始模型的训练过程中获取每个图像分割模块的分割结果的分割误差时，所述图像分割模块对应的类型的权重大于其他类型的权重。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述初始模型的训练过程中，获取所述多个样本图像对应的多个目标区域中相邻目标区域之间的像素点比值，所述目标区域为所述多个样本图像中目标类型的像素点所在区域；

在所述多个图像分割模块中每个图像分割模块对图像进行裁剪时，根据所述多个目标区域中相邻目标区域之间的像素点比值与目标数值的大小关系，对图像进行裁剪。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述初始模型的训练过程中，获取所述多个样本图像对应的多个目标区域的连通域范围；

所述在所述多个图像分割模块中每个图像分割模块对图像进行裁剪时，根据所述多个目标区域中相邻目标区域之间的像素点比值与目标数值的大小关系，以及所述多个目标区域的连通域范围，对图像进行裁剪。

8.根据权利要求7所述的方法，其特征在于，所述在所述多个图像分割模块中每个图像分割模块对图像进行裁剪时，根据所述多个目标区域中相邻目标区域之间的像素点比值与目标数值的大小关系，以及所述多个目标区域的连通域范围，对图像进行裁剪，包括：

对于所述第一图像分割模块，根据第一目标区域与第二目标区域的像素点比值与目标数值的大小关系，以及所述第一目标区域或所述第二目标区域的连通域范围，对所述第三图像进行裁剪，所述第一目标区域为所述第一图像分割模块对应的第一类型的像素点所在区域，所述第二目标区域为所述第二图像分割模块对应的第二类型的像素点所在区域。

9.根据权利要求8所述的方法，其特征在于，所述根据第一目标区域与第二目标区域的像素点比值与目标数值的大小关系，以及所述第一目标区域或所述第二目标区域的连通域范围，对所述第三图像进行裁剪，包括：

当所述第一目标区域与第二目标区域的像素点比值小于目标数值时，基于所述第一目标区域的连通域范围，对所述第三图像进行裁剪，裁剪后的第四图像的尺寸基于所述第一目标区域的连通域范围和第一系数得到；

当所述第一目标区域与第二目标区域的像素点比值大于或等于目标数值时，基于所述第二目标区域的连通域范围，对所述第三图像进行裁剪，裁剪后的第四图像的尺寸基于所述第二目标区域的连通域范围和第二系数得到，所述第一系数小于所述第二系数。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述初始模型和所述图像分割模型均包括三个视角子模型，所述三个视角子模型分别用于按照不同视角获取图像的切片和对图像进行分割；

相应地，所述根据所述多个样本图像的像素点的类型数量确定图像分割模块的数量，包括：

将所述多个样本图像的前景像素点的类型数量作为每个视角子模型中的图像分割模块的数量；

相应地，所述由所述图像分割模型基于多个图像分割模块，对所述第一图像进行分割，输出第二图像，包括：

由所述三个视角子模型分别按照对应的视角，获取第一图像的至少一个切片，由每个视角子模型中的多个图像分割模块对每个切片进行分割，基于所述三个视角子模型的分割结果，输出第二图像。

11.根据权利要求10所述的方法，其特征在于，所述三个视角子模型中每个视角子模型的分割结果包括多个图像分割模块的图像分割结果；

相应地，所述基于所述三个视角子模型的分割结果，输出第二图像，包括：

基于所述三个视角子模型对应的权重和每个视角子模型中每个图像分割模块对应的权重，对所述三个视角子模型的多个图像分割模块的图像分割结果进行加权求和，输出第二图像，所述三个视角子模型对应的权重和每个视角子模型中每个图像分割模块对应的权重基于交叉验证的方式确定。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述初始模型的训练过程中，对于每个图像分割模块，根据所述多个样本图像的图像数量，获取所述图像数量对应的图像分割子模块作为所述图像分割模块，所述图像分割模块中包括至少一个图像分割子模块，不同的图像分割子模块的深度不同。

13.一种图像分割装置，其特征在于，所述装置包括：

获取模块，用于获取多个样本图像；

训练模块，用于调用初始模型，将所述多个样本图像输入初始模型中，基于所述多个样本图像，对所述初始模型进行训练，得到图像分割模型，所述初始模型用于根据所述多个样本图像的像素点的类型数量确定图像分割模块的数量，不同的图像分割模块用于对图像的不同区域进行分割；

分割模块，用于当获取到待分割的第一图像时，调用所述图像分割模型，由所述图像分割模型基于多个图像分割模块，对所述第一图像进行分割，输出第二图像，所述多个样本图像和所述第一图像均为目标人体组织图像。

14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至权利要求12任一项所述的图像分割方法所执行的操作。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求12任一项所述的图像分割方法所执行的操作。