CN110009598A - 用于图像分割的方法和图像分割设备 - Google Patents

Abstract

描述了一种用于图像分割的方法，包括从数据集接收针对同一对象的多种模态的图像数据；将所述多种模态的图像数据输入到经训练的图像分割网络中，所述图像分割网络包括第一卷积神经网络，所述第一卷积神经网络包括多个第一编码模块和一个解码模块，所述多个第一编码模块与所述多种模态的图像数据一一对应并且每个第一编码模块接收所述多种模态的图像数据中的一种；从每个第一编码模块输出对应模态的图像数据的第一特征图；将对应所述多种模态的图像数据的第一特征图融合以产生融合特征图；以及将融合特征图输入到第一卷积神经网络的解码模块以生成第一分割预测图。

Description

用于图像分割的方法和图像分割设备

技术领域

本公开涉及图像处理的领域，具体地涉及用于图像分割的方法和设备。

背景技术

图像分割被广泛使用在各种技术领域中，例如被广泛使用在医学领域中。在目前的医学领域中，例如，存在各种各样的成像技术来辅助鉴定患者的特定身体部位的损伤区域。例如，脑部损伤由于其严重的危害性已成为当今社会关注的焦点。核磁共振中的DWI（diffusion weighted imaging，弥散加权成像技术）模态的图像数据有成像清晰、边缘明显等特点，在医生标注病人脑损伤区域时被广泛使用。但是，医生通常希望在用DWI模态数据进行精确检查之前使用采用其它成像方法成像的其它模态的图像数据进行初筛。然而，其他模态的图像数据，例如针对脑部的CT（computed tomography，计算机断层扫描）图像数据、以及使用造影剂的核磁共振中的CBV（cerebral blood volume，脑血流容量）图像数据,CBF（cerebral blood flow,脑血流流量）图像数据,MTT（mean transit time，对比剂平均通过时间）图像数据、和脑血流达峰时间Tmax图像数据等存在用肉眼标注准确率不够，而且信息量较少的问题。

发明内容

为此，本公开提供了用于图像分割的方法和图像分割设备，以便克服上述缺陷以及其它可能的缺陷。

根据本公开的一个方面，提供了一种用于图像分割的计算机实施的方法，包括：从数据集接收针对同一对象的多种模态的图像数据；将所述多种模态的图像数据输入到经训练的图像分割网络中，所述图像分割网络包括第一卷积神经网络，所述第一卷积神经网络包括多个第一编码模块和一个第一解码模块，所述多个第一编码模块与所述多种模态的图像数据一一对应并且每个第一编码模块接收所述多种模态的图像数据中的一种；从每个第一编码模块输出对应模态的图像数据的第一特征图；将来自所述多个第一编码模块的对应所述多种模态的图像数据的第一特征图融合以产生融合特征图；以及将融合特征图输入到第一卷积神经网络的第一解码模块以生成第一分割预测图。

通过使用多个编码模块对各种模态的图像数据进行分别编码，各个编码模块可以不共享参数，使得可以最大限度的保留不同模态的数据之间的独立性，从而可以在编码过程中获得模态独立的特征信息。通过在编码结束后对多个编码模块输出的特征进行融合，可以挖掘不同模态之间的关联性，使得即便在输入的数据的信息量较少的情况下，也能够通过设计有效的融合方式，最大程度地得到较精准的分割预测图。通过经训练的图像分割网络，用户可以在所述分割预测图中得到期望的特定信息，因此所述分割预测图可以例如在医学领域中被用来提供重要的辅助诊断信息。

在一些实施例中，所述第一卷积神经网络采用U型结构，其中，所述第一编码模块包括多层卷积结构以及相邻层的卷积结构间的下采样结构，所述下采样结构用于对相邻层的卷积结构中的上层卷积结构输出的特征图进行下采样并将下采样的特征图输入相邻卷积结构中的下层卷积结构；所述第一解码模块包括多层卷积结构以及相邻层的卷积结构间的上采样结构，所述上采样结构用于对相邻层的卷积结构中的下层卷积结构输出的特征图进行上采样并将上采样的特征图输入相邻卷积结构中的上层卷积结构。在这种情况下，所述方法包括：从每个第一编码模块的每层卷积结构输出所述对应模态的图像数据的第一特征图；将来自所述多个第一编码模块的对应层的卷积结构输出的第一特征图融合以产生融合特征图；将融合特征图以跳层连接的方式输入到第一解码模块的对应层的卷积结构以输出第二特征图；以及从第一解码模块的多层卷积结构之一输出的第二特征图中获取所述第一分割预测图。通过采用这样的卷积神经网络，所述方法能够提供更好的分割效果。

在一些实施例中，所述图像分割网络还包括采用U型结构的第二卷积神经网络，所述第二卷积神经网络包括一个第二编码模块和一个第二解码模块，所述第二编码模块包括多层卷积结构以及相邻层的卷积结构间的下采样结构，所述第二解码模块包括多层卷积结构以及相邻层的卷积结构间的上采样结构。在这种情况下，所述方法还包括：将第一解码模块的对应层的卷积结构输出的第二特征图以跳层连接的方式输入到第二编码模块的对应层的卷积结构；将第一卷积神经网络中产生的融合特征图以跳层连接的方式输入到第二解码模块的对应层的卷积结构；将第二编码模块的每层卷积结构输出的第三特征图以跳层连接的方式输入到第二解码模块的对应层的卷积结构以输出第四特征图；以及从第二解码模块的多层卷积结构之一输出的第四特征图中获取第二分割预测图。通过采用这样的图像分割网络，所述方法能够提供更好的分割效果。

在一些实施例中，所述对象可以为患者的脑部。

在一些实施例中，每种模态的图像数据包括针对该对象的图像的空间上相邻的三张切片。通过取相邻的三张切片，能够引入图像数据的空间信息，使得能够利用有限的切片数量得到更好的分割效果。

在一些实施例中，所述多种模态的图像数据可以包括采用不同成像模态成像的图像数据，和/或对所述成像的图像数据进行数据增强以生成的数据增强模态的图像数据。替换地或者附加地，所述多种模态的图像数据可以包括其像素值被归一化的图像数据。替换地或者附加地，所述多种模态的图像数据包括被去背景的图像数据。以这种方式，所述方法能够提供更好的分割效果。

在一些实施例中，所述经训练的图像分割网络是经由以下步骤被训练的：将已标注的图像数据作为用于训练的数据集；采用交叉熵损失函数计算预测结果误差；以及采用反向传播算法更新图像分割网络中的参数。

在一些实施例中，每个第一编码模块包括的多层卷积结构中的至少一层卷积结构包括至少一个密连模块，所述至少一个密连模块包括采用密集连接方式连接的多个卷积层。替换地或者附加地，第二编码模块包括的多层卷积结构中的至少一层卷积结构包括至少一个密连模块，所述至少一个密连模块包括采用密集连接方式连接的多个卷积层。通过包括采用密集连接方式连接的多个卷积层，能够显著提升图像分割性能。

根据本公开的另一个方面，提供了一种图像分割设备，包括接收模块和图像分割网络。接收模块被配置成从数据集接收针对同一对象的多种模态的图像数据。图像分割网络被配置成对所接收的多种模态的图像数据进行分割，所述图像分割网络包括第一卷积神经网络。所述第一卷积神经网络包括：多个第一编码模块，其与所述多种模态的图像数据一一对应，每个第一编码模块被配置成接收所述多种模态的图像数据中的一种并输出对应模态的图像数据的第一特征图；融合模块，其被配置成将来自所述多个第一编码模块的对应所述多种模态的图像数据的第一特征图融合以产生融合特征图；以及第一解码模块，其被配置成基于融合特征图生成第一分割预测图。

根据本公开的又一方面，提供了一种计算设备，包括：存储器，其被配置成存储计算机可执行指令；以及处理器，其被配置成当所述计算机可执行指令被处理器执行时执行上面所述的任一方法。

根据本公开的再一方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行上面所述的任一方法。

根据下文描述的实施例，本公开的这些和其它优点将变得清楚，并且参考下文描述的实施例来阐明本公开的这些和其它优点。

附图说明

现在将更详细并且参考附图来描述本发明，其中：

图1图示了依照本公开的一个实施例的用于图像分割的方法的流程图；

图2图示了依照本公开的一个实施例的用于图像分割的方法的示意原理图。

图3图示了依照本公开的一个实施例的图像分割网络的示例性结构图；

图4a和4b示出了依照本公开的一个实施例的另一图像分割网络的示例性结构图；

图5示出了其中利用了依照本公开的一个实施例的用于图像分割的方法的实例；

图6图示了依照本公开的一个实施例的图像分割设备的示意框图；以及

图7图示了一个示例系统，其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备。

具体实施方式

下面的说明提供用于充分理解和实施本公开的各种实施例的特定细节。本领域的技术人员应当理解，本公开的技术方案可以在没有这些细节中的许多的情况下被实施。在某些情况下，并没有示出或详细描述一些熟知的结构和功能，以避免不必要地使对本公开的实施例的描述模糊不清。在本公开中使用的术语以其最宽泛的合理方式来理解，即使其是结合本公开的特定实施例被使用的。

图1图示了依照本公开的一个实施例的用于图像分割的方法100的流程图。如图1所示，所述方法包括如下步骤110-150。在步骤110处，从数据集接收针对同一对象的多种模态的图像数据。在步骤120处，将所述多种模态的图像数据输入到经训练的图像分割网络中，所述图像分割网络包括卷积神经网络，所述卷积神经网络包括多个编码模块和一个解码模块，每个编码模块接收所述多种模态的图像数据中的一种并且与所述多种模态的图像数据一一对应。在步骤130处，从每个编码模块输出对应模态的图像数据的第一特征图。在步骤140处，将来自所述多个编码模块的对应所述多种模态的图像数据的第一特征图融合以产生融合特征图。在步骤150处，将融合特征图输入到卷积神经网络的解码模块以生成分割预测图。作为示例，所述对象可以是患者的特定身体部位，例如脑部。在这种情况下，该身体部位的损伤区域可以在所述分割预测图中被分割出来。

图2图示了依照本公开的一个实施例的用于图像分割的方法的示意原理图。如2所示，来自数据集的针对同一对象的多种模态的图像数据M1,M2,…,Mn被输入到经训练的图像分割网络中进行分割。所述图像分割网络包括卷积神经网络。如图2所示，所述卷积神经网络包括多个编码模块C1,C2,…,Cn和一个解码模块，每个编码模块用于接收所述多种模态的图像数据M1,M2,…,Mn中的一种并且与所述多种模态的图像数据一一对应。在对输入的图像进行分割的过程中，每个编码模块Ci(i=1,2,…,n)输出对应模态的图像数据的第一特征图Fi(i=1,2,…,n)，来自所述多个编码模块的第一特征图F1,F2，…,Fn被融合以产生融合特征图UF，并且融合特征图UF被输入到所述卷积神经网络的解码模块以生成分割预测图。通过对卷积神经网络进行适当训练，所述生成的分割预测图可以为用户提供各种希望得到的信息，因此也可以被用于辅助诊断。

在本发明的实施例中，通过使用多个编码模块对各模态的图像数据进行分别编码，各个编码模块可以不共享参数，使得可以最大限度的保留不同模态的数据之间的独立性，从而可以在编码过程中获得模态独立的特征信息。通过在编码结束后对多个编码模块输出的特征进行融合，能够整合来自不同模态的图像的特征信息，从而有利于得到较精准的分割预测图，以提供重要的辅助诊断信息。在一些实施例中，可以通过采用1x1的卷积对多个编码模块输出的特征进行融合，当然其它的融合方式也被考虑。

在一些实施例中，所述对象可以是任何物体。作为示例，所述对象可以是患者的身体部位，例如可以是脑部、心脏、肺部、骨骼等等，当然这不是限制性的。作为示例，在下文中，以所述对象为患者的脑部为例来详细阐述本发明的各种实施例。

作为示例，针对患者的脑部的多种模态的图像数据可以包括采用不同成像模态成像的图像数据，例如CT（computed tomography，计算机断层扫描）图像数据、以及使用造影剂的核磁共振中的CBV（cerebral blood volume，脑血流容量）图像数据、CBF（cerebralblood flow,脑血流流量）图像数据、MTT（mean transit time，对比剂平均通过时间）图像数据、和脑血流达峰时间Tmax图像数据等等。替换地或者额外地，所述多种模态的数据还可以包括对所述成像的图像数据进行数据增强以生成的数据增强模态的图像数据，所述数据增强例如可以是直方图均衡化。这在许多情况下是有利的，因为这有利于增强卷积神经网络的分割效果。

在一些实施例中，每种模态的图像数据可以包括针对该对象的图像的空间上相邻的三张切片。通过获取空间上相邻的切片，可以引入该对象的图像的空间信息，使得可以在使用有限切片数量的情况下得到较好的分割结果。

在一些实施例中，所述多种模态的图像数据可以是被预处理的图像数据，所述预处理的图像数据例如可以是其中像素值被归一化的图像数据、去背景的图像数据等等。作为针对脑部的例子，所述去背景的图像数据可以通过根据例如CBF模态的前景（脑组织）与背景（颅壳和其它组织）生成前景的掩膜（mask），并将其作用于其它所有模态的图像数据并将所有的图像数据的背景像素点置零来获得。

所述卷积神经网络可以是采用U型结构的卷积神经网络，U型结构的卷积神经网络是一种全卷积神经网络。图3示出了这样的U型卷积神经网络，该U型卷积神经网络包括左侧的编码模块和右侧的解码模块。应当指出，图3中为了清楚起见仅仅示出了一个编码模块，事实上存在多个这样的编码模块（为了清楚起见，编码模块的数目被假设为n，n为大于1的正整数），如参照图2描述的。

所述编码模块包括多层卷积结构，以及相邻层的卷积结构间的下采样结构。所述解码模块包括多层卷积结构以及相邻层的卷积结构间的上采样结构。编码模块中的卷积结构的层数与解码模块中的卷积结构的层数可以相同或者不同。应当指出，每个卷积结构都包括至少一个卷积模块，每个卷积模块都包括至少一个卷积层。作为示例，图3中的编码模块被示出为包括从上到下的5层卷积结构，以及4个下采样结构Pool1-Pool4（也称为池化层）。作为示例，图3中的编码模块中的每层卷积结构都包括一个卷积模块，分别为卷积模块Dblk1- Dblk5。解码模块被示出为包括从上到下的6层卷积结构以及5个上采样结构Up0-5。如图3所示，6层卷积结构为包括conv1卷积模块的卷积结构以及分别包括卷积模块Ublk1-Ublk5的5层卷积结构。应当指出，在图3中以及下文中的图中，每一个方框下方的数字表示该方框所代表的模块或结构输出的特征图的大小，上方的数字表示所代表的模块或结构输出的通道数。作为示例，Dblk1所在的方框中的数字表示卷积模块Dblk1输出的特征图的大小为128×128，输出的通道数为96。作为例外， Image-in所在方框表示输入的图像大小为256×256，并且该图像的通道数为3，也即3张图像切片。应当指出，图3以及下文中的图中示出的方框中的各个数字的值并不是限制性的，可以根据需要进行设置。

每个下采样结构用于对相邻层的卷积结构中的上层卷积结构输出的特征图进行下采样并将下采样的特征图输入相邻卷积结构中的下层卷积结构。例如，下采样结构Pool1用于将相邻的由Dblk1卷积模块构成的上层卷积结构输出的特征图进行下采样，下采样结构Pool1输出的特征图的大小为64×64，通道数保持不变。下采样结构Pool1输出的特征图被输入到相邻的由Dblk2卷积模块构成的下层卷积结构进行卷积以提取特征，以此类推。

每个上采样结构用于对相邻层的卷积结构中的下层卷积结构输出的特征图进行上采样并将上采样的特征图输入相邻卷积结构中的上层卷积结构。例如，上采样结构Up1用于将相邻的由Ublk2卷积模块构成的下层卷积结构输出的特征图进行上采样，上采样结构Up1输出的特征图的大小为128×128，通道数保持不变（此处通道数为96）。上采样结构Up1输出的特征图被输入到相邻的由Ublk1构成的上层卷积结构进行卷积以还原特征，以此类推。

如图3所示，每个编码模块中的每层卷积结构输出与其接收的一种模态的图像数据对应的第一特征图，并且多个编码模块中的对应层的卷积结构输出的特征图被融合以产生融合特征图UF。应当指出，在本文中，对应层的卷积结构指输出相同尺寸的特征图的卷积结构。在图3中，resout1表示n个编码模块中的由卷积模块Dblk1构成的卷积结构输出的第一特征图被融合成的融合特征图，resout2表示n个编码模块中的由卷积模块Dblk2构成的卷积结构输出的第一特征图被融合成的融合特征图，以此类推。在图3中，所有的resout1到resout5都是融合特征图UF。

然后，融合特征图UF被以跳层连接（skip-connection）的方式输入到解码模块的对应层的卷积结构进行解码以生成第二特征图，并且可以从解码模块的任意层的卷积结构输出的第二特征图中获取分割预测图。作为针对脑部的示例，在所述分割预测图中分割出了患者的脑部损伤区域，这有助于为医生提供辅助诊断信息。例如，在图3中，融合特征图resout2被以跳层连接（skip-connection）的方式输入到解码模块的对应卷积层Ublk2。跳层连接通常包括通道连接和相加连接。在采用通道连接的情况下，执行特征图的沿通道维度的拼接操作。在采用相加连接的情况下，执行特征图的相加操作。可以根据具体情况选择使用通道连接或者相加连接。图3中示出了采用相加连接的情形，当然这不是限制性的。作为示例，Ublk2对所述resout2和上采样结构Up2输出的特征图的相加后的特征图进行卷积以输出第二特征图。例如，可以从Ublk1输出的第二特征图获取分割预测图，也可以从Ublk4输出的第二特征图中获取分割预测图，这不被限制。图3中设置上采样结构Up5和由卷积模块conv1构成的卷积结构主要目的是为了使获取的分割预测图具有与输入的切片相同的尺寸，即256×256，但是这不是必须的。作为示例，解码模块中示出的卷积模块conv2被用于从由卷积模块conv1构成的卷积结构输出的第二特征图获取分割预测图，这不是限制性的。在某些实施例中，将卷积模块conv1输出通道数设置为2，也可以直接从卷积结构直接输出分割预测图。

在一个实施例中，所述卷积神经网络的每个编码模块包括的多层卷积结构中的至少一层卷积结构包括至少一个密连模块（dense block），例如Dblk2可以为密连模块，所述至少一个密连模块包括采用密集连接（dense-connection）方式连接的多个卷积层。

图4a和4b示出了依照本公开的一个实施例的另一图像分割网络的示例性结构图。如图4a和4b所示，该图像分割网络为由两个U型卷积神经网络构成的W型网络，其中图4a示出了第一个U型卷积神经网络，图4b示出了第二个U型卷积神经网络。

图4a中示出的第一个U型卷积神经网络的结构与图3中所示的结构类似。如图4a所示，第一卷积神经网络包括左侧的编码模块和右侧的解码模块。图4a中为了清楚起见仅仅示出了一个编码模块，事实上存在多个这样的编码模块（为了清楚起见，编码模块的数目被假设为n，n为大于1的正整数），如参照图3描述的。第一卷积神经网络中的每个编码模块包括多层卷积结构以及相邻层的卷积结构间的下采样结构，解码模块包括多层卷积结构以及相邻层的卷积结构间的上采样结构。应当指出，每层卷积结构都包括至少一个卷积模块，每个卷积模块都包括至少一个卷积层。作为示例，图4a中的编码模块被示出为包括分别由卷积模块blk1-blk5构成的5层卷积结构以及4个下采样结构Pool1-Pool4（也称为池化层），解码模块被示出为包括分别由卷积模块Ublk1-Ublk5构成的5层卷积结构以及4个上采样结构Up1-Up4。

图4b中示出第二个U型卷积神经网络的结构。该第二卷积神经网络包括一个编码模块和一个解码模块。第二卷积神经网络中的编码模块包括5层卷积结构和4个下采样结构。5层卷积结构从上层到下层包括由卷积模块conv0构成的第一层卷积结构、由卷积模块Dblk1和Trans1构成的第二层卷积结构、由卷积模块Dblk2和Trans2构成的第三层卷积结构、由卷积模块Dblk3和Trans3构成的第四层卷积结构，以及由卷积模块Dblk4和Trans4构成的第五层卷积结构。Trans结构可以是1×1的卷积块，其主要用于调整通道数，但其并不是必须的。4层下采样结构分别为Down1-Down4。

第二卷积神经网络中的解码模块被示出为包括5层卷积结构以及4层上采样结构。如图4b所示，5层卷积结构为分别由卷积模块Ublock0-Ublock4构成的5层卷积结构。4个上采样结构分别为UUp0-UUp3。

图4a和4b中的每个下采样结构用于对相邻层的卷积结构中的上层卷积结构输出的特征图进行下采样并将下采样的特征图输入相邻卷积结构中的下层卷积结构，每个上采样结构用于对相邻层的卷积结构中的下层卷积结构输出的特征图进行上采样并将上采样的特征图输入相邻卷积结构中的上层卷积结构，如参照图3描述的，这里不再赘述。

如图4a所示，第一卷积神经网络中的每个编码模块中的每层卷积结构输出与其接收的一种模态的图像数据对应的第一特征图，并且多个编码模块中的对应层的卷积结构输出的特征图被融合以产生融合特征图UF。在图4a中，resout1表示n个编码模块中的由卷积模块blk1构成的卷积结构输出的第一特征图被融合成的融合特征图，resout2表示n个编码模块中的由卷积模块blk2构成的卷积结构输出的第一特征图被融合成的融合特征图，以此类推。在图中，所有的resout1到resout5都是融合特征图UF。

然后，融合特征图UF被以跳层连接（skip-connection）的方式输入到第一卷积神经网络的解码模块的对应层的卷积结构以生成第二特征图，并且同时被以跳层连接（skip-connection）的方式输入到第二卷积神经网络的解码模块的对应层的卷积结构。例如，融合特征图resout2被以跳层连接的方式输入到第一卷积神经网络的解码模块的对应卷积结构（这里为由Ublk2卷积模块构成的卷积结构），同时被以跳层连接的方式输入到第二卷积神经网络的解码模块的对应层的卷积结构（这里为由Ublock1卷积模块构成的卷积结构）。

进一步地，第一卷积神经网络的解码模块的对应层的卷积结构输出的第二特征图被以跳层连接的方式输入到第二卷积神经网络的编码模块的对应层的卷积结构。如图4b所示，从第一卷积神经网络的解码模块的各卷积结构输出的第二特征图upout1-5分别被以跳层连接的方式输入到第二卷积神经网络的编码模块的对应层的卷积结构（这里分别被输入到5层卷积机构中的卷积模块conv0以及Dblk1-Dblk4）。作为示例，此处的跳层连接采用的是对特征图沿通道维度的拼接操作，而图4a和4b中描述的其它跳层连接采用的是对特征图进行相加操作，当然这都不是限制性的。应当指出，由于卷积模块conv0 处于第二卷积神经网络的编码模块的最上层的卷积结构中，因此没有其它特征图与upout1进行拼接或相加，因此此处的跳层连接相当于将upout1直接输入到卷积模块conv0构成的卷积结构中。

进一步地，第二卷积神经网络的编码模块的每层卷积结构输出的第三特征图被以跳层连接的方式输入到第二卷积神经网络的解码模块对应层的卷积结构以输出第四特征图。作为示例，如图4b所示，由Dblk1和Trans1卷积模块构成的卷积结构输出的第三特征图（这里由卷积模块Trans1输出）被输入到第二卷积神经网络的解码模块的由Ublock1构成的卷积结构中，以生成第四特征图。

应当指出，可以从第二卷积神经网络的解码模块的任意层的卷积结构输出的第四特征图中获取分割预测图。例如，可以从Ubock1输出的第四特征图获取分割预测图，也可以从Ubock5输出的第四特征图中获取分割预测图，这不被限制。作为示例，图4b中示出了使用卷积模块conv2从由卷积模块Ublock0构成的卷积结构输出的第二特征图获取分割预测图。

在一些实施例中，所述第一卷积神经网络的每个编码模块包括的多层卷积结构中的至少一层卷积结构可以包括至少一个密连模块（dense block），例如blk2可以为密连模块，所述至少一个密连模块包括采用密集连接（dense-connection）方式连接的多个卷积层。

在一些实施例中，所述第二卷积神经网络的编码模块包括的多层卷积结构中的至少一层卷积结构可以包括至少一个密连模块（例如，Dblk1- Dblk4模块），例如Dblk1可以为密连模块，所述至少一个密连模块包括采用密集连接方式连接的多个卷积层。

图5示出了其中利用了依照本公开的一个实施例的用于图像分割的方法的一个具体实例。在本实例中，向图像分割网络输入针对脑损伤的患者的脑部的八种模态的图像数据。所述八种模态的图像数据为通过对五种成像模态的图像数据预处理而得到的图像数据。所述五种成像模态的图像数据包括CBF, CBV, CT, MTT, Tmax图像数据。通过对所述五种模态的图像数据中的信息不明显的三种模态CBF, CBV, CT进行直方图均衡化的数据增强处理，可以得到八种模态的图像数据，分别为五种成像模态的图像数据CBF, CBV, CT,MTT, Tmax以及三种数据增强模态的图像数据CBF-N, CBV-N, CT-N。当然，也可以直接使用所述五种成像模态的图像数据直接进行图像分割，这不被限制。在本实例中，将数据增强后的所述八种模态的图像数据输入到图像分割网络进行分割，得到了其中示出了患者的脑部的损伤区域的分割预测图，如图5中的分割预测图所示，其中白色区域表示患者的脑部的损伤区域。应当指出，图5中的每种模态的图像数据以及得到的分割预测图都被示出为256×256大小，但是这仅为示例而不是限制性的。

为了提高图像分割的准确性，在进行图像分割之前，需要对上述图像分割网络进行训练。在本发明的实施例中，可以将已标注的图像数据作为用于训练的数据集，然后采用交叉熵损失函数计算预测结果误差并且采用反向传播算法更新图像分割网络中的参数。

接着以脑部为例，所述用于训练的数据集例如可以是ISLES2018竞赛数据集。可以从所述数据集中获得每个患者的5种模态的图像数据（即，CBF, CBV, CT, MTT, Tmax图像数据）。在一些实施例中，可以对所有图像沿着脑部对称轴做随机翻转操作，并且对所有图片进行0.8-1.2倍的随机缩放，以便将数据集扩充为原来的4倍或者更多倍，这有利于增强训练效果。在一些实施例中，可以对信息不明显的三种模态的图像数据（CBF, CBV, CT图像数据）进行数据增强处理以生成增强模态的图像数据。同样，也可以对所述图像数据进行去背景和/或归一化。在一些实施例中，为了引入空间信息，可以针对每种模态的数据，取空间上相邻的三张切片作为输入的训练数据。

在一些实施例中，可以在上面所述的U型卷积神经网络的编码模块和解码模块的最下层卷积结构处添加弱监督信息（如图3中的weaksp、图4a和4b中的weaksp1和weaksp2所示），以避免编码部分过深对图像分割网络训练的不利影响。在添加弱监督信息的该训练方法中，原始的被标注的图像（例如，256×256）通过缩放，缩小成8×8或者16x16的大小的图像，并对这些图像数据进行预测来帮助网络进行训练。

在添加了若监督信息的情况下，交叉熵损失函数可以被设计为loss=L1+gamma*L_weak，其中L1为最终输出的分割预测图的损失函数，L_weak加入的弱监督信息的分割预测图的损失函数，gamma可以根据实验被获取，例如可以取0.5。

在训练中，可以采用提升（Boosting）训练方法对图像分割网络进行训练。即，在每次遍历所有训练数据后，在训练集上根据预测精度，对每个样本进行排序。然后，加大表现不好的样本的采样概率，以增强模型对于较难学习的样本的学习效果。此外，还可以采用多折交叉验证，即，将数据集平均分成五等份，每次取其中的4份做训练，1份做验证，并根据验证集结果选择出最终的模型。

作为示例，可以对采用不同训练策略训练出的模型进行模型融合。例如，针对图3中描述的图像分割网络、图4a和4b中描述的图像分割网络加上上述提升训练方法、图3中描述的图像分割网络加弱监督信息，以及图4a和4b中描述的图像分割网络加若监督信息4种模型而言，对每种模型进行5折交叉验证，并且每折交叉验证重复训练三次，则总共可以对4x5x3=60个模型做模型融合。对于每一个像素位置，可以使60个模型同时进行预测，取超过半数的结果作为最终预测结果。

图6图示了依照本公开的一个实施例的图像分割设备600的框图。如所示，所述图像分割设备600包括接收模块601和图像分割网络602。接收模块601被配置成从数据集接收针对同一对象的多种模态的图像数据。图像分割网络602被配置成对所接收的多种模态的图像数据进行分割。所述图像分割网络602包括第一卷积神经网络603。所述第一卷积神经网络603包括：多个第一编码模块604，融合模块605，和第一解码模块606。多个第一编码模块604与所述多种模态的图像数据一一对应，每个第一编码模块604被配置成接收所述多种模态的图像数据中的一种并输出对应模态的图像数据的第一特征图。融合模块605被配置成将来自所述多个第一编码模块的对应所述多种模态的图像数据的第一特征图融合以产生融合特征图。第一解码模块606被配置成基于融合特征图生成第一分割预测图。

在一些实施例中，所述第一卷积神经网络603可以采用U型结构。所述每个第一编码模块604可以包括多层卷积结构以及相邻层的卷积结构间的下采样结构，每个第一编码模块604的每层卷积结构被配置成基于该层卷积结构的输入而输出所述对应模态的图像数据的第一特征图，所述下采样结构用于对相邻层的卷积结构中的上层卷积结构输出的特征图进行下采样并将下采样的特征图输入相邻卷积结构中的下层卷积结构。所述第一解码模块606可以包括多层卷积结构以及相邻层的卷积结构间的上采样结构，该第一解码模块606的每层卷积结构被配置成基于该层卷积结构的输入而输出所述对应模态的图像数据的第二特征图，所述上采样结构用于对相邻层的卷积结构中的下层卷积结构输出的特征图进行上采样并将上采样的特征图输入相邻卷积结构中的上层卷积结构。所述融合模块605可以被配置成：将来自所述多个第一编码模块604的对应层的卷积结构输出的第一特征图融合以产生融合特征图，以及将融合特征图以跳层连接的方式输入到第一解码模块606的对应层的卷积结构。所述第一解码模块606被配置成从第一解码模块的多层卷积结构之一输出的第二特征图中获取所述第一分割预测图。

在一些实施例中，所述图像分割网络还可以包括采用U型结构的第二卷积神经网络607，所述第二卷积神经网络607包括一个第二编码模块608和一个第二解码模块609。第二编码模块608包括多层卷积结构以及相邻层的卷积结构间的下采样结构，该第二编码模块608的每层卷积结构与第一解码模块606的对应层的卷积结构跳层连接，以及被配置成接收第一解码模块606的对应层的卷积结构输出的第二特征图并输出所述对应模态的图像数据的第三特征图。第二解码模块609包括多层卷积结构以及相邻层的卷积结构间的上采样结构，该第二解码模块609的每层卷积结构与第二编码模块608的对应层的卷积结构跳层连接，以及被配置成接收第二编码模块608的对应层的卷积结构输出的第三特征图并输出所述对应模态的图像数据的第四特征图。在这种情形下，所述融合模块605还被配置成将第一卷积神经网络603中产生的融合特征图以跳层连接的方式输入到第二解码模块609的对应层的卷积结构。第二解码模块609被配置成从第二解码模块的多层卷积结构之一输出的第四特征图中获取第二分割预测图。

图7图示了示例系统700，其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备710。计算设备710可以是例如服务提供商的服务器、与客户端（例如，客户端设备）相关联的设备、片上系统、和/或任何其它合适的计算设备或计算系统。上面关于图6描述的图像分割设备600可以采取计算设备710的形式。替换地，图像分割设备600可以以图像分割应用716的形式被实现为计算机程序。

如图示的示例计算设备710包括彼此通信耦合的处理系统711、一个或多个计算机可读介质712以及一个或多个I / O接口713。尽管未示出，但是计算设备710还可以包括系统总线或其他数据和命令传送系统，其将各种组件彼此耦合。系统总线可以包括不同总线结构的任何一个或组合，所述总线结构诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。还构思了各种其他示例，诸如控制和数据线。

处理系统711代表使用硬件执行一个或多个操作的功能。因此，处理系统711被图示为包括可被配置为处理器、功能块等的硬件元件714。这可以包括在硬件中实现为专用集成电路或使用一个或多个半导体形成的其它逻辑器件。硬件元件714不受其形成的材料或其中采用的处理机构的限制。例如，处理器可以由（多个）半导体和/或晶体管（例如，电子集成电路（IC））组成。在这样的上下文中，处理器可执行指令可以是电子可执行指令。

计算机可读介质712被图示为包括存储器/存储装置715。存储器/存储装置715表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储装置715可以包括易失性介质（诸如随机存取存储器（RAM））和/或非易失性介质（诸如只读存储器（ROM）、闪存、光盘、磁盘等）。存储器/存储装置715可以包括固定介质（例如，RAM、ROM、固定硬盘驱动器等）以及可移动介质（例如，闪存、可移动硬盘驱动器、光盘等）。计算机可读介质712可以以下面进一步描述的各种其他方式进行配置。

一个或多个I/O接口713代表允许用户向计算设备710输入命令和信息并且可选地还允许使用各种输入/输出设备将信息呈现给用户和/或其他组件或设备的功能。输入设备的示例包括键盘、光标控制设备（例如，鼠标）、麦克风（例如，用于语音输入）、扫描仪、触摸功能（例如，被配置为检测物理触摸的容性或其他传感器）、相机（例如，可以采用可见或不可见的波长（诸如红外频率）将不涉及触摸的运动检测为手势）等等。输出设备的示例包括显示设备（例如，监视器或投影仪）、扬声器、打印机、网卡、触觉响应设备等。因此，计算设备710可以以下面进一步描述的各种方式进行配置以支持用户交互。

计算设备710还包括图像分割应用716。图像分割应用716可以例如是图6的图像分割设备600的软件实例，并且与计算设备710中的其他元件相组合地实现本文描述的技术。

本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。一般地，这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。本文所使用的术语“模块”，“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的特征是与平台无关的，意味着这些技术可以在具有各种处理器的各种计算平台上实现。

所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质传输。计算机可读介质可以包括可由计算设备710访问的各种介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。

与单纯的信号传输、载波或信号本身相反，“计算机可读存储介质”是指能够持久存储信息的介质和/或设备，和/或有形的存储装置。因此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息（诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据）的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘（DVD）或其他光学存储装置、硬盘、盒式磁带、磁带，磁盘存储装置或其他磁存储设备，或其他存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。

“计算机可读信号介质”是指被配置为诸如经由网络将指令发送到计算设备710的硬件的信号承载介质。信号介质典型地可以将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波、数据信号或其它传输机制的调制数据信号中。信号介质还包括任何信息传递介质。术语“调制数据信号”是指以这样的方式对信号中的信息进行编码来设置或改变其特征中的一个或多个的信号。作为示例而非限制，通信介质包括诸如有线网络或直接连线的有线介质以及诸如声、RF、红外和其它无线介质的无线介质。

如前所述，硬件元件714和计算机可读介质712代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑，其在一些实施例中可以用于实现本文描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、复杂可编程逻辑器件（CPLD）以及硅中的其它实现或其他硬件设备的组件。在这种上下文中，硬件元件可以作为执行由硬件元件所体现的指令、模块和/或逻辑所定义的程序任务的处理设备，以及用于存储用于执行的指令的硬件设备，例如，先前描述的计算机可读存储介质。

前述的组合也可以用于实现本文所述的各种技术和模块。因此，可以将软件、硬件或程序模块和其它程序模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件714体现的一个或多个指令和/或逻辑。计算设备710可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。因此，例如通过使用处理系统的计算机可读存储介质和/或硬件元件714，可以至少部分地以硬件来实现将模块实现为可由计算设备710作为软件执行的模块。指令和/或功能可以由一个或多个制品（例如，一个或多个计算设备710和/或处理系统711）可执行/可操作以实现本文所述的技术、模块和示例。

在各种实施方式中，计算设备710可以采用各种不同的配置。例如，计算设备710可以被实现为包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等的计算机类设备。计算设备710还可以被实现为包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备的移动装置类设备。计算设备710还可以实现为电视类设备，其包括具有或连接到休闲观看环境中的一般地较大屏幕的设备。这些设备包括电视、机顶盒、游戏机等。

本文描述的技术可以由计算设备710的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。功能还可以通过使用分布式系统、诸如通过如下所述的平台722而在“云”720上全部或部分地实现。

云720包括和/或代表用于资源724的平台722。平台722抽象云720的硬件（例如，服务器）和软件资源的底层功能。资源724可以包括在远离计算设备710的服务器上执行计算机处理时可以使用的应用和/或数据。资源724还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络提供的服务。

平台722可以抽象资源和功能以将计算设备710与其他计算设备连接。平台722还可以用于抽象资源的分级以提供遇到的对于经由平台722实现的资源724的需求的相应水平的分级。因此，在互连设备实施例中，本文描述的功能的实现可以分布在整个系统700内。例如，功能可以部分地在计算设备710上以及通过抽象云720的功能的平台722来实现。

应当理解，为清楚起见，参考不同的功能单元对本公开的实施例进行了描述。然而，将明显的是，在不偏离本公开的情况下，每个功能单元的功能性可以被实施在单个单元中、实施在多个单元中或作为其它功能单元的一部分被实施。例如，被说明成由单个单元执行的功能性可以由多个不同的单元来执行。因此，对特定功能单元的参考仅被视为对用于提供所描述的功能性的适当单元的参考，而不是表明严格的逻辑或物理结构或组织。因此，本公开可以被实施在单个单元中，或者可以在物理上和功能上被分布在不同的单元和电路之间。

尽管已经结合一些实施例描述了本公开，但是其不旨在被限于在本文中所阐述的特定形式。相反，本公开的范围仅由所附权利要求来限制。附加地，尽管单独的特征可以被包括在不同的权利要求中，但是这些可以可能地被有利地组合，并且包括在不同权利要求中不暗示特征的组合不是可行的和/或有利的。特征在权利要求中的次序不暗示特征必须以其工作的任何特定次序。此外，在权利要求中，词“包括”不排除其它元件，并且不定冠词“一”或“一个”不排除多个。权利要求中的附图标记仅作为明确的例子被提供，不应该被解释为以任何方式限制权利要求的范围。

Claims (15)

1.一种用于图像分割的计算机实施的方法，包括

从数据集接收针对同一对象的多种模态的图像数据；

将所述多种模态的图像数据输入到经训练的图像分割网络中，所述图像分割网络包括第一卷积神经网络，所述第一卷积神经网络包括多个第一编码模块和一个第一解码模块，所述多个第一编码模块与所述多种模态的图像数据一一对应并且每个第一编码模块接收所述多种模态的图像数据中的一种；

从每个第一编码模块输出对应模态的图像数据的第一特征图；

将来自所述多个第一编码模块的对应所述多种模态的图像数据的第一特征图融合以产生融合特征图；以及

将融合特征图输入到第一卷积神经网络的第一解码模块以生成第一分割预测图。

2.根据权利要求1所述的方法，其中所述第一卷积神经网络采用U型结构；

所述每个第一编码模块包括多层卷积结构以及相邻层的卷积结构间的下采样结构，所述下采样结构用于对相邻层的卷积结构中的上层卷积结构输出的特征图进行下采样并将下采样的特征图输入相邻卷积结构中的下层卷积结构；

所述第一解码模块包括多层卷积结构以及相邻层的卷积结构间的上采样结构，所述上采样结构用于对相邻层的卷积结构中的下层卷积结构输出的特征图进行上采样并将上采样的特征图输入相邻卷积结构中的上层卷积结构；

其中，所述方法包括：

从每个第一编码模块的每层卷积结构输出所述对应模态的图像数据的第一特征图；

将来自所述多个第一编码模块的对应层的卷积结构输出的第一特征图融合以产生融合特征图；

将融合特征图以跳层连接的方式输入到第一解码模块的对应层的卷积结构以输出第二特征图；以及

从第一解码模块的多层卷积结构之一输出的第二特征图中获取所述第一分割预测图。

3.根据权利要求2所述的方法，其中所述图像分割网络还包括采用U型结构的第二卷积神经网络，所述第二卷积神经网络包括一个第二编码模块和一个第二解码模块，所述第二编码模块包括多层卷积结构以及相邻层的卷积结构间的下采样结构，所述第二解码模块包括多层卷积结构以及相邻层的卷积结构间的上采样结构；

其中所述方法还包括：

将第一解码模块的对应层的卷积结构输出的第二特征图以跳层连接的方式输入到第二编码模块的对应层的卷积结构；

将第一卷积神经网络中产生的融合特征图以跳层连接的方式输入到第二解码模块的对应层的卷积结构；

将第二编码模块的每层卷积结构输出的第三特征图以跳层连接的方式输入到第二解码模块的对应层的卷积结构以输出第四特征图；以及

从第二解码模块的多层卷积结构之一输出的第四特征图中获取第二分割预测图。

4.根据权利要求1所述的方法，其中所述对象包括患者的脑部。

5.根据权利要求1所述的方法，其中所述每种模态的图像数据包括针对该对象的图像的空间上相邻的三张切片。

6.根据权利要求1所述的方法，其中所述多种模态的图像数据包括采用不同成像模态成像的图像数据，和/或对所述成像的图像数据进行数据增强以生成的数据增强模态的图像数据。

7.根据权利要求1所述的方法，其中所述多种模态的图像数据包括其像素值被归一化的图像数据。

8.根据权利要求1所述的方法，其中所述多种模态的图像数据包括被去背景的图像数据。

9.根据权利要求2所述的方法，其中每个第一编码模块包括的多层卷积结构中的至少一层卷积结构包括至少一个密连模块，所述至少一个密连模块包括采用密集连接方式连接的多个卷积层。

10.根据权利要求3所述的方法，其中第二编码模块包括的多层卷积结构中的至少一层卷积结构包括至少一个密连模块，所述至少一个密连模块包括采用密集连接方式连接的多个卷积层。

11.一种图像分割设备，包括

接收模块，其被配置成从数据集接收针对同一对象的多种模态的图像数据；

图像分割网络，其被配置成对所接收的多种模态的图像数据进行分割，所述图像分割网络包括第一卷积神经网络，所述第一卷积神经网络包括：

多个第一编码模块，其与所述多种模态的图像数据一一对应，每个第一编码模块被配置成接收所述多种模态的图像数据中的一种并输出对应模态的图像数据的第一特征图；

融合模块，其被配置成将来自所述多个第一编码模块的对应所述多种模态的图像数据的第一特征图融合以产生融合特征图；以及

第一解码模块，其被配置成基于融合特征图生成第一分割预测图。

12.根据权利要求11所述的设备，其中所述第一卷积神经网络采用U型结构；

所述每个第一编码模块包括多层卷积结构以及相邻层的卷积结构间的下采样结构，每个第一编码模块的每层卷积结构被配置成基于该层卷积结构的输入而输出所述对应模态的图像数据的第一特征图，所述下采样结构用于对相邻层的卷积结构中的上层卷积结构输出的特征图进行下采样并将下采样的特征图输入相邻卷积结构中的下层卷积结构；

所述第一解码模块包括多层卷积结构以及相邻层的卷积结构间的上采样结构，该第一解码模块的每层卷积结构被配置成基于该层卷积结构的输入而输出所述对应模态的图像数据的第二特征图，所述上采样结构用于对相邻层的卷积结构中的下层卷积结构输出的特征图进行上采样并将上采样的特征图输入相邻卷积结构中的上层卷积结构；

其中，所述融合模块被配置成：

将来自所述多个第一编码模块的对应层的卷积结构输出的第一特征图融合以产生融合特征图；以及

将融合特征图以跳层连接的方式输入到第一卷积神经网络的第一解码模块的对应层的卷积结构；

其中，所述第一解码模块被配置成从第一解码模块的多层卷积结构之一输出的第二特征图中获取所述第一分割预测图。

13.根据权利要求12所述的设备，其中所述图像分割网络还包括采用U型结构的第二卷积神经网络，所述第二卷积神经网络包括：

一个第二编码模块，其包括多层卷积结构以及相邻层的卷积结构间的下采样结构，该第二编码模块的每层卷积结构与第一解码模块的对应层的卷积结构跳层连接，以及被配置成接收第一解码模块的对应层的卷积结构输出的第二特征图并输出所述对应模态的图像数据的第三特征图；

一个第二解码模块，其包括多层卷积结构以及相邻层的卷积结构间的上采样结构，该第二解码模块的每层卷积结构与第二编码模块的对应层的卷积结构跳层连接，以及被配置成接收第二编码模块的对应层的卷积结构输出的第三特征图并输出所述对应模态的图像数据的第四特征图；

其中，所述融合模块还被配置成：将第一卷积神经网络中产生的融合特征图以跳层连接的方式输入到第二解码模块的对应层的卷积结构；

其中，第二解码模块被配置成：从第二解码模块的多层卷积结构之一输出的第四特征图中获取第二分割预测图。

14.一种计算设备，包括

存储器，其被配置成存储计算机可执行指令；

处理器，其被配置成当所述计算机可执行指令被处理器执行时执行如权利要求1-10中的任一项所述的方法。

15.一种计算机可读存储介质，其存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行如权利要求1-10中的任一项所述的方法。