CN114240950B - 一种基于深度神经网络的脑部肿瘤图像生成和分割方法 - Google Patents

Abstract

本发明涉及的是一种基于图像生成的肿瘤图像分割方法，属于医学图像分析技术领域。本发明针对多模态医学图像存在模态缺失的场景，采用一个两阶段多任务框架实现缺失模态的生成并完成目标区域的分割，是通过以下技术方案实现的：首先，使用一个多任务生成器同时获得伪目标模态图像和初步分割结果，通过全局判别器和局部判别器提高生成图像的质量，同时提出一种感知损失函数，以减少生成的和真实的目标域图像之间的语义差距。其次，本发明提出了一个多任务精细分割网络，在生成的目标域图像和初步分割结果的基础上，同时预测精细分割结果和初步分割中的错误，并引入这两个预测之间的一致性约束提升分割性能。本发明与从原始的部分模态图像中直接分割相比，大大提高了分割精度，并且优于现有的图像生成与分割的方法。

Description

一种基于深度神经网络的脑部肿瘤图像生成和分割方法

技术领域

本发明涉及的是一种医学图像生成与分割的方法，特别是肿瘤的缺失模态的生成以及肿瘤区域的分割，属于医学图像分析技术领域。

背景技术

医学图像对于肿瘤的诊断具有重要价值，从医学图像中提取出肿瘤区域的边界，是对肿瘤三维体积和形态的准确测量、手术及放疗规划等诊疗环节至关重要的步骤。脑部和其他中枢神经系统(CNS)肿瘤是最常见的癌症类型之一，估计成年人中每年发生率达29.9/百万，其中约三分之一是恶性的。医学影像技术的发展为脑部肿瘤，如神经胶质瘤、听神经瘤的诊断提供了可靠的途径，从图像中实现脑部肿瘤的自动勾画和分析，有助于减少医生负担，提高诊疗效率，成为计算机智能辅助诊疗系统中的关键部分。

磁共振图像(MRI)是脑部肿瘤影像检查的主要扫描方式。但由于平扫图像及常规T1、T2加权序列的低对比度，对肿瘤区域的显示不够突出，因此临床上通常需要使用对比度增强扫描或者多种成像序列来得到肿瘤区域的更丰富的影像以实现对肿瘤区域的勾画。然而，在临床实践中，这些增强扫描或多模态序列在某些情况下难以得到，导致高对比度图像或某些模态的缺失。例如，针对听神经瘤常用的T2加权磁共振图像中肿瘤和背景之间的对比度较低，虽然使用造影剂之后的T1增强扫描可以得到更高的对比度，但造影剂的使用会引起潜在有害的累积副作用，针对某些患者不适用，从而导致T1增强扫描可能缺失的情况。因此，为了实现脑部肿瘤的精确分割，需要克服缺失模态的问题。

为了解决这些问题，从已有的模态图像中(如T2图像)生成目标模态(如T1增强图像)以辅助肿瘤区域的分割是一个可能的解决方案。对目前的基于图像生成的分割方法进行考察发现，传统的基于字典学习和随机森林的图像生成方法聚焦于低层次像素层面的优化，导致难以得到与实际图像在高层次特征上更一致的生成结果。近年来的深度神经网络和生成对抗网络在图像生成方面取得了一些进展，然而该过程仅考虑图像的生成，很少考虑下游的分割任务，因此生成的结果与分割任务的耦合性受到一定限制。此外，基于图像生成的分割技术中，生成的图像与真实的图像存在一定的域偏移，导致得到高质量的图像生成和分割结果仍然比较困难。

发明内容

本发明的目的在于克服现有的脑部肿瘤图像生成与分割技术中的不足,针对部分模态缺失情况下的脑部肿瘤分割的问题，提出一个新颖的两阶段多任务一致性框架，实现从源图像模态到目标模态图像的生成，并进一步得到肿瘤分割结果。在第一阶段，我们使用一个多任务生成器，在得到一个初步分割结果的同时生成伪目标模态图像，并引入分割感知损失函数以鼓励生成的目标模态图像更适宜于分割任务。在第二阶段，初始分割，源模态图像和生成的伪目标模态图像拼接起来，输入到一个多任务精细分割网络中，该网络同时预测最终分割和初步分割中的错误，利用这两个预测之间的一致性作为正则化约束。这两个阶段中生成器和精细分割网络是端到端训练的，因此它们可以相互适应以实现更好的性能。

本发明技术方案为一种基于深度神经网络的脑部肿瘤图像生成和分割方法，该方法包括：

步骤1：收集一批完整成像模态的扫描图像作为训练集；对多模态图像完成像素归一化、空间裁剪的预处理操作；针对实际应用场景中某个模态可能缺失的情况，以其他模态作为源模态，这个缺失的模态作为目标模态；此外，在训练集中肿瘤的边缘人工勾画出来，以建立分割的金标准；

步骤2：设计与训练生成器；

设x_l、x_h、y分别表示训练图像中输入的源模态图像、对应的目标模态、分割金标准，使用一个多任务生成器G，该生成器以x_l为输入，同时得到生成的伪目标域图像x_h′和初步分割结果y_c；

所述多任务生成器G由一个编码器和两个解码器组成，如图2所示。所述编码器依次包括：第一二维卷积单元、第一二维下采样层、第二二维卷积单元、第二二维下采样层、第一三维卷积单元、第一三维下采样层、第二三维卷积单元、第二三维下采样层、第三三维卷积单元，第三三维卷积单元的输出为编码器的输出；

编码器的输出后连接一个三维上采样层，该三维上采样层的输出作为两个解码器的输入；

所述两个解码器结构完全相同，都依次包括：第一拼接模块、第一三维卷积单元、第一三维上采样层、第二拼接模块、第二三维上采样层、第一二维上采样层、第三拼接模块、第一二维卷积单元、第二二维上采样层、第四拼接模块、第二二维卷积单元，第二二维卷积单元的输出作为解码器的输出；所述第一拼接模块是将解码器的输入与编码器中第二三维卷积单元的输出进行拼接，第二拼接模块是将解码器中第一三维上采样层的输出与编码器中第一三维上采样层的输出进行拼接，所述第三拼接模块是将解码器中的第一二维上采样层的输出与编码器中第二二维卷积单元的输出拼接，所述第四拼接模块是将解码器中第二二维上采样层的输出与编码器中第一二维卷积单元的输出拼接；

设编码器的输入是源模态图像x_l，两个解码器的输出分别是x_h′和y_c；

生成器G训练的损失函数为：

其中

是图像生成的损失函数，

是初步分割的损失函数；λ_c是

的权重，x_h表示真实的目标域图像，y表示分割金标准；

由以下三项组成：

定义1：全局生成损失函数

其中||x_h′-x_h||₁表示向量的L1范数，α_g是其权重，D^E是一个全局判别器，用于判断其输入图像是真实的目标域图像还是伪目标域图像，

是一个全局生成对抗损失函数，其定义为：

其中，

表示概率分布为P_data(x_l,x_h′)的变量x_l,x_h′所定义的函数值的期望，

表示x_l和x_h′在通道方向上进行拼接的结果；

为了生成的伪目标域图像在肿瘤附近具有更好的质量；

定义2：局部生成损失函数

根据训练图像中分割金标准y中肿瘤的的边界框，得到一个肿瘤边框区域的二进制掩码M，分别将x_l、x_h和x_h′乘以M，相应的掩码结果分别表示为

和

局部生成损失函数定义为：

其中

和

分别为生成的伪目标域图像和真实的目标域图像中肿瘤附近的局部区域，α_t是L1范数项的权重，D^T是一个局部判别器，用于判断其输入的肿瘤区域附近的子图像是来自真实的目标域图像还是伪目标域图像，

是一个局部对抗损失函数，其定义为：

其中

表示

和

在通道方向上进行拼接的结果。

再次，由于x_h′和x_h之间的高级语义差距，引入一个感知损失函数来鼓励一个预训练的分割模型在伪目标域图像上具有和真实的目标域图像上相当的性能，这使得生成的和真实的目标域图像图像具有相似的语义特征；因此，在真实的目标域图像上预先训练一个分割模型S_p，然后将其固定，用以指导x_h′的生成，以便S_p在x_h′上表现良好，分割模型S_p的结构与上述生成器的网络结构相似，但仅包含一个解码器，其余的编码器和解码器结构与G中解码器和编码器一致；分割模型S_p的感知损失函数为：

其中，S_p(x_h′)是预训练分割模型S_p对x_h′进行预测的结果，Dice表示S_p(x_h′)与y的重合程度，其定义为Dice(S_p(x_h′),y)＝2|S_p(x_h′)·y|/(|S_p(x_h′)|+|y|)；

因此，公式1中的图像生成的损失函数

的定义为：

其中α_p是

的权重；图3是本发明中图像生成损失函数

各项的示意图。

步骤3：设计与训练分割器；

在生成器G得到的初始分割y_c和伪目标域图像x_h′的基础上，进一步通过分割器S得更精细的分割结果；对y_c进行修正有两种基本方法：一种是直接预测精细分割结果y_f，另一种是先预测初步分割y_c中的误差信息y_e，然后结合误差信息与y_c以获得精细分割，理论上这两种方法得到的结果应该是一致的，因此在两种预测之间添加一个一致性正则化用于提高性能；为此先将x_l,x_h′和y_c按通道方向堆叠起来，形成一幅多通道复合图像

再使用一个双头分割器S，以

作为输入，同时得到一个精细分割结果y_f和一个对初始分割结果中错误区域y_e的预测，S的结构与G的结构一致，其两个解码器的输出分别作为y_f和y_e，

利用y_e对y_c进行校正后的结果表示为：

y_r＝(1-y_c)y_e+y_c(1-y_e)                    公式8

其中当y_c取值为0时，大的y_e值导致y_r被校正为较大的值；当y_c取值为1时，大的y_e值导致y_r被校正为较小的值，y_f和y_r应当具有一致性，定义一致性损失函数为：

此外，y_f对应的金标准为y，y_e对应的金标准为y≠y_c，它们分别对应一个有监督的损失函数

和

因此分割器S的总的损失函数为：

其中

和

通过图像分割中典型的Dice损失函数实现；

步骤4：图像生成与分割的端到端训练；

在步骤2和步骤33的基础上，实现图像生成与分割的端到端的训练，整体流程如图1所示；生成器G和分割器S进行联合训练，整个框架的损失函数和优化目标为：

其中λ_c和λ_S分别是

和

的权重，在优化生成器G和分割器S的同时，需要优化判别器D^E和D^T，二者的损失函数分别定义为：

步骤5：采用训练好的生成器和分割器来实际分割脑部肿瘤图像。

与现有技术相比，本发明具有以下优点：

(1)通过图像生成弥补缺失模态的不足，提高医学图像中肿瘤区域自动分割的精度。

(2)针对图像生成，本发明通过多任务生成器，同时得到伪目标模态图像和初步分割结果，二者共享编码器形成相互的正则化约束，因此可以提高生成器的性能。

(3)本发明提出了肿瘤的可感知损失函数，以缩小生成的伪目标域图像和真实的目标域图像之间的高层语义差异，从而生成对分割器更友好的目标域图像。

(4)为提升肿瘤精细分割的精度，本发明提出了一种的多任务分割器，使用两个分支同时预测精细分割和粗分割中的错误，并且引入这两个预测之间的一致性约束作为正则化，以取得更好的分割性能。

附图说明

图1本发明的图像生成与分割的整体流程图

图2本发明中神经网络结构图

图3本发明中图像生成损失函数组成示意图

图4神经胶质瘤FLAIR图像的生成和分割中不同方法的比较。

图5听神经瘤T1增强图像的生成与分割任务中不同方法的比较。

具体实施方式

基于本发明内容，提供以下针对脑胶质瘤的FLAIR图像生成与肿瘤分割的实施例。本实施例在CPU为Intel(R)Core(TM)i7-6850K 3.60GHz，GPU为Nvidia GTX1080Ti，内存为32.0GB的计算机中实现，编程语言为Python。

步骤1、数据集和预处理

收集一批脑胶质瘤患者的多模态磁共振图像，包含T1,T2,T1增强和FLAIR序列，并且对图像中胶质瘤的边界进行手工勾画，作为分割金标准。本实施例中以T1,T2,T1增强作为源模态图像，FLAIR作为目标模态图像。通过预处理将这些图像的层内分辨率重采样到1mm×1mm，在z轴方向沿着肿瘤区域进行裁剪。对于每种模态，强度值分别归一化到[-1,1]的范围内。

步骤2、生成器的设计与训练

使用如图2所示的多任务生成器G。编码器由五个卷积单元组成，其中前两个是二维卷积单元，后三个是三维卷积单元。前两个卷积单元接着一个二维下采样层，其余使用三维下采样层。两个解码器结构对称，并与编码器的结构也对称。在一个解码器的每一个上采样层后，特征图像与编码器中相同分辨率的特征图像进行拼接，以融合不同层次的特征。对于生成器G，编码器的输入是源模态图像x_l,两个解码器的输出分别是x_h′和y_c。

对多任务生成器G训练的损失函数设计如下：

其中

是图像生成的损失函数，

是初步分割的损失函数。λ_c是

的权重，

由标准的Dice损失函数

实现。

由以下三项组成：

其中

和

分别是一个全局生成损失函数和一个局部生成损失函数，其定义分别为：

其中D^E是一个全局判别器，用于判断其输入图像是真实的目标域图像还是伪目标域图像。D^T是一个局部判别器。用于判断其输入的肿瘤区域附近的子图像是来自真实的目标域图像还是伪目标域图像。

中，根据训练图像中分割金标准y中肿瘤的的边界框，得到一个肿瘤边框区域的二进制掩码M，我们分别将x_l、x_h和x_h′乘以M，相应的掩码结果分别表示为

和

公式3和4中的α_g和α_t是各自对应的L1范数项的权重。

和

分别定义如下：

其中

表示x_l和x_h′在通道方向上进行拼接的结果，作为全局判别器D^E的输入。

表示

和

在通道方向上进行拼接的结果，作为局部判别器D^T的输入。

公式2中的

是一个感知损失函数，用于鼓励一个预训练的分割模型在伪目标域图像上具有和真实的目标域图像上相当的性能，其定义为：

其中S_p是一个在真实的目标域图像上训练一个分割模型。S_p的参数在训练完成后固定起来，用以指导x_h′的生成，以便S_p在x_h′上表现良好。S_p的结构与上述生成器的网络结构类似，不同的是仅包含一个解码器，其余的编码器和解码器结构与图2中所示的一致。S_p(x_h′)是预训练分割模型S_p对x_h′进行预测的结果。

步骤3、分割器的设计与训练

在生成器G得到的初始分割y_c和伪目标域图像x_h′的基础上，我们进一步通过分割器S得更精细的分割结果。先将x_l,x_h′和y_c按通道方向堆叠起来，形成一幅多通道复合图像

再使用一个双头分割器S，以

作为输入，同时得到一个精细分割结果y_f和一个对初始分割结果中错误区域y_e的预测。S的结构与G的结构一致，其两个解码器的输出分别作为y_f和y_e。

利用y_e对y_c进行校正后的结果可以表示为：

y_r＝(1-y_c)y_e+y_c(1-y_e)                    公式8

我们定义的一致性损失函数为：

此外，y_f对应的金标准为y，y_e对应的金标准为y≠y_c，它们分别对应一个有监督的损失函数

和

因此分割器S的总的损失函数为：

其中

和

通过图像分割中典型的Dice损失函数实现。在推理时，由于一致性正则化，预测的y_f和y_r彼此非常接近。我们简单地将y_f作为最终的分割结果。

步骤4、图像生成与分割的端到端训练

在步骤2和3的基础上，本发明实现图像生成与分割的端到端的训练，整体流程如图1所示。生成器G和分割器S进行联合训练，整个框架的的损失函数和优化目标为：

其中λ_c和λ_S分别是

和

的权重。在优化生成器G和分割器S的同时，需要优化判别器D^E和D^T，二者的损失函数分别定义为：

图3，4分别展示了一例基于目标模态的生成的脑肿瘤分割结果。本实施例的实施流程如下。

1、首先利用Numpy(一个科学运算库)和OpenCV(一个计算机视觉和机器学习库)编写函数预处理脑肿瘤MRI数据，将两种或多种不同的模态数据进行裁剪、灰度归一化等预处理。

2、利用Pytorch(一个机器学习库)搭建本发明提出基于两阶段多任务一致性框架，包含了一个多任务生成器G，一个多任务分割器S，一个全局判别器D^E,一个局部判别器D^T和一个在目标模态图像上预训练的分割网络S_p。将数据集随机划分为65％的训练集，15％的验证集和20％的测试集。在训练集上，利用公式11中的损失函数对生成器和分割器进行训练，利用公式12和13中的损失函数对判别器进行训练，使用Adam优化器对网络参数进行优化。对训练集数据循环训练，直至网络收敛。

3、训练完成后，对一个只具有源模态图像的样本，先将其输入生成器G得到一个伪目标域图像和一个初步分割结果，将它们与源模态图像拼接后输入分割器S，进而得到更精细的分割结果，作为该样本的最终分割结果。

图3是本发明提出方法与其他方法在胶质瘤的FLAIR图像生成与分割中的对比。可以看出本方法生成的FLAIR图像与真实的FLAIR图像更接近，并且分割结果十分接近于金标准。图4是上述方法对听觉神经瘤的T1增强图像进行生成与分割的结果，表明本发明的方法生成的T1图像比其他方法得到的结果质量更高，同时分割结果更接近金标准。图5为听神经瘤T1增强图像的生成与分割任务中不同方法的比较。源模态是T2图像，目标模态是T1增强图像。白色和黑色曲线分别显示了分割金标准和算法的预测结果。

Claims (1)

1.一种基于深度神经网络的脑部肿瘤图像生成和分割方法，该方法包括：

步骤1：收集一批完整成像模态的扫描图像作为训练集；对多模态图像完成像素归一化、空间裁剪的预处理操作；针对实际应用场景中某个模态可能缺失的情况，以其他模态作为源模态，这个缺失的模态作为目标模态；此外，在训练集中肿瘤的边缘人工勾画出来，以建立分割的金标准；

步骤2：设计与训练生成器；

设x_l、x_h、y分别表示训练图像中输入的源模态图像、对应的目标模态、分割金标准，使用一个多任务生成器G，该生成器以x_l为输入，同时得到生成的伪目标域图像x_h′和初步分割结果y_c；

所述多任务生成器G由一个编码器和两个解码器组成，所述编码器依次包括：第一二维卷积单元、第一二维下采样层、第二二维卷积单元、第二二维下采样层、第一三维卷积单元、第一三维下采样层、第二三维卷积单元、第二三维下采样层、第三三维卷积单元，第三三维卷积单元的输出为编码器的输出；

编码器的输出后连接一个三维上采样层，该三维上采样层的输出作为两个解码器的输入；

所述两个解码器结构完全相同，都依次包括：第一拼接模块、第一三维卷积单元、第一三维上采样层、第二拼接模块、第二三维上采样层、第一二维上采样层、第三拼接模块、第一二维卷积单元、第二二维上采样层、第四拼接模块、第二二维卷积单元，第二二维卷积单元的输出作为解码器的输出；所述第一拼接模块是将解码器的输入与编码器中第二三维卷积单元的输出进行拼接，第二拼接模块是将解码器中第一三维上采样层的输出与编码器中第一三维上采样层的输出进行拼接，所述第三拼接模块是将解码器中的第一二维上采样层的输出与编码器中第二二维卷积单元的输出拼接，所述第四拼接模块是将解码器中第二二维上采样层的输出与编码器中第一二维卷积单元的输出拼接；

设编码器的输入是源模态图像x_l，两个解码器的输出分别是x_h′和y_c；

生成器G训练的损失函数为：

其中是图像生成的损失函数，是初步分割的损失函数；λ_c是的权重，x_h表示真实的目标域图像，y表示分割金标准；

由以下部分组成：

定义1：全局生成损失函数

其中||x_h′-x_h||₁表示向量的L1范数，α_g是其权重，D^E是一个全局判别器，用于判断其输入图像是真实的目标域图像还是伪目标域图像，是一个全局生成对抗损失函数，其定义为：

其中，表示概率分布为P_data(x_l，x_h′)的变量x_l，x_h′所定义的函数值的期望，x_l◇x_h′表示x_l和x_h′在通道方向上进行拼接的结果；

定义2：局部生成损失函数根据训练图像中分割金标准y中肿瘤的边界框，得到一个肿瘤边框区域的二进制掩码M，分别将x_l、x_h和x_h′乘以M，相应的掩码结果分别表示为和局部生成损失函数定义为：

其中和分别为生成的伪目标域图像和真实的目标域图像中肿瘤附近的局部区域，α_t是L1范数项的权重，D^T是一个局部判别器，用于判断其输入的肿瘤区域附近的子图像是来自真实的目标域图像还是伪目标域图像，是一个局部对抗损失函数，其定义为：

其中表示和在通道方向上进行拼接的结果；

在真实的目标域图像上预先训练一个分割模型S_p，然后将其固定，用以指导x_h′的生成，以便S_p在x_h′上表现良好，分割模型S_p的结构与上述生成器的网络结构相似，但仅包含一个解码器，其余的编码器和解码器结构与G中解码器和编码器一致；分割模型S_p的感知损失函数为：

其中，S_p(x_h′)是预训练分割模型S_p对x_h′进行预测的结果，Dice表示S_p(x_h′)与y的重合程度，其定义为Dice(S_p(x_h′)，y)＝2|S_p(x_h′)·y|/(|S_p(x_h′)|+|y|)；

因此，公式1中的图像生成的损失函数的定义为：

其中α_p是的权重；

步骤3：设计与训练分割器；

在生成器G得到的初始分割y_c和伪目标域图像x_h′的基础上，进一步通过分割器S得更精细的分割结果；对y_c进行修正有两种基本方法：一种是直接预测精细分割结果y_f，另一种是先预测初步分割y_c中的误差信息y_e，然后结合误差信息与y_c以获得精细分割，理论上这两种方法得到的结果应该是一致的，因此在两种预测之间添加一个一致性正则化用于提高性能；为此先将x_l，x_h′和y_c按通道方向堆叠起来，形成一幅多通道复合图像再使用一个双头分割器S，以作为输入，同时得到一个精细分割结果y_f和一个对初始分割结果中错误区域y_e的预测，S的结构与G的结构一致，其两个解码器的输出分别作为y_f和y_e，

利用y_e对y_c进行校正后的结果表示为：

y_r＝(1-y_c)y_e+y_c(1-y_e)    公式8

其中当y_c取值为0时，大的y_e值导致y_r被校正为较大的值；当y_c取值为1时，大的y_e值导致y_r被校正为较小的值，y_f和y_r应当具有一致性，定义一致性损失函数为：

此外，y_f对应的金标准为y，y_e对应的金标准为y≠y_c，它们分别对应一个有监督的损失函数和因此分割器S的总的损失函数为：

其中和通过图像分割中典型的Dice损失函数实现；

步骤4：图像生成与分割的端到端训练；

在步骤2和步骤33的基础上，实现图像生成与分割的端到端的训练，生成器G和分割器S进行联合训练，整个框架的损失函数和优化目标为：

其中λ_c和λ_S分别是和的权重，在优化生成器G和分割器S的同时，需要优化判别器D^E和D^T，二者的损失函数分别定义为：

步骤5：采用训练好的生成器和分割器来实际分割脑部肿瘤图像。

Images