CN109063710B - 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法 - Google Patents

Abstract

本发明涉及图像分割领域中的鼻咽部肿瘤图像分割技术，具体的说是一种基于多尺度特征金字塔的3D CNN鼻咽癌分割方法。针对训练样本，需要由有经验的放射科肿瘤医师对若干鼻咽癌病例进行标注，使用整个三维MRI图像建立数据集，并对数据集进行一定的预处理，然后用网络对训练数据集进行训练，取得高精度的分割模型。对于新的病例，可以用该分割模型分割其MRI图像。相对传统的方法，除了训练阶段需要人工标注外，其余部分均可实现自动处理，大大降低对于有经验医师的需求，且与五种主流网络对比能取得较高的精度。

Description

基于多尺度特征金字塔的3D CNN鼻咽癌分割方法

技术领域

本发明涉及图像分割领域中的鼻咽部肿瘤图像分割技术，具体的说是一种基于多尺度特征金字塔的3D CNN鼻咽癌分割方法。

背景技术

鼻咽癌是鼻咽组织结构中最常见的癌症之一，常发生于鼻咽腔顶部和侧壁的恶性肿瘤。该病是全球高发恶性肿瘤之一，发病率为耳鼻咽喉恶性肿瘤之首，占所有癌症疾病1％。与其他类型的肿瘤如肺肿瘤相比，鼻咽肿瘤具有更复杂的解剖结构。它在空间上与处理类似图像强度的几种组织(空气，骨骼，肌肉和粘膜)很相似，且鼻咽癌的形状和大小、以及非均匀肿瘤强度方面差异较大，因此，需要设计特定的分割方法。而且传统鼻咽癌的诊断具有局限性，临床医生需要借助医学专业知识手动查阅或标注鼻咽癌的边界。由于鼻咽癌是三维MRI图像，按层手动处理过程较繁琐、耗时且容易出错。为了提高处理效率和肿瘤定位的准确性，临床医生通常借助计算机辅助工具来处理任务，因此采用计算机自动分割算法来辅助医生精准定位鼻咽癌成为一种必要需求。

最近，自然图像分割技术被广泛研究与应用，这也促进了医学图像分割的发展。然而，由于自然图像与医学图像的组织结构在形状和大小上存在高度差异性，使得医学图像分割仍然是一个巨大的挑战。近年来，大量文献提出了各种基于机器学习的自动分割算法用于有效解决不同分割问题。卷积神经网络(Convolutional Neural Network，CNN)作为最成功的计算机视觉方法之一被作为核心算法广泛应用于图像分割中。CNN代表了一类深度学习算法。不同CNN框架的相同点在于通过级联数十或者上百个卷积层来提取图像的高阶、复杂的语义特征。传统的计算机视觉算法需要有图像领域经验的人手动提取图像特征，而CNN是由数据驱动，是一种端到端的算法，可自动学习有利于任务的特征，不需要人工干预。CNN的内核权重可通过梯度自动寻找到最优的值来适应目标问题。这种优势降低了为不同任务开发不同算法的成本，但训练CNN需要大量手动标注的训练数据。从全卷积神经网络(Fully Convolutional Neural Network，FCN)的结构开始，大量研究人员试图整合CNN来分析医学图像。例如，胸部CT筛查检测结节，智能手机相机诊断皮肤癌。

目前国内外利用卷积神经网络做鼻咽部肿瘤图像分割的相关研究成果较少，大多数研究者利用CNN进行其他医学图像(如：二维细胞图像，3D心血管，大脑等)分割研究。

等人最早将深度卷积神经网络(Deep Convolutional NeuralNetworks)应用于医学图像分割。作者采用二维卷积神经网络来分割电子显微镜(EM)图像堆叠的任务。为了分割整个堆栈，通过在像素周围提取像素块，以滑动窗口的方式将DCNN应用于每个切片的每个像素。该种处理方式会产生两个问题：大量的冗余计算导致时间效率低下、以及DCNN无法学习全局特征。Ronneberger等人使用“U-Net”结构在相同的EM图像分割任务，获得了更好的结果。“U-Net”结构中一个重要的结构块是跳跃连接，这类网络结构在下采样阶段对图像进行卷积来提取多尺度的图像信息，然后在上采样阶段进行反卷积将特征映射恢复到原始图像的分辨率大小，最后将卷积层的特征映射连接到反卷积层的特征映射。该类网络横向连接特征映射，加强了图像低层特征的传递和特征重用。原始2D结构仅适用于堆叠的2D图像或深度较低的3D图像，而大部分医学图像(如大脑和其他器官的扫描)在每个维度上的尺寸都较大，使2D网络逐层应用效率低下。因此Cicek和Milletari用三维卷积核将2D U-Net扩展为3D U-Net。Milletari等人通过使用残差块进一步修改了原有的U-Net设计，能产生更加精确的分割结果。Kayalibay等人结合3D U-Net和预激活残差块，进一步调整3D U-Net的结构，并在上采样阶段产生多个辅助分割图，使得最终的分割结果融合了多个辅助分割结果，加速上采样阶段各层的收敛。综上，原始方法存在两个问题，一方面，缺乏对原始特征的重用，另一方面，上采样阶段只融合并不能促进上采样阶段的快速收敛。

发明内容

针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种基于多尺度特征金字塔的3D CNN鼻咽癌分割方法。

本发明为实现上述目的所采用的技术方案是：一种基于多尺度特征金字塔的3DCNN鼻咽癌分割方法，包括以下步骤：

步骤1：收集若干例患鼻咽癌的病例，采集其鼻咽部位三维MRI图像数据；

步骤2：对所述MRI图像数据进行标准化预处理；

步骤3：对于病变区域逐层进行人工边缘标注，作为标签数据；

步骤4：构建带多尺度特征金字塔的三维卷积神经网络，使用步骤2中预处理后的MRI图像数据进行训练；

步骤5：对于待分割的鼻咽部位三维MRI图像数据，采集同部位同样模态的医学图像，使用步骤2的方法对采集的图像进行标准化预处理；

步骤6：通过步骤4训练得到的三维卷积神经网络，对步骤5中预处理后的三维MRI图像数据进行分割。

所述对MRI图像数据进行标准化预处理，包括以下步骤：

步骤2.1：在所述三维MRI图像数据中选择包含鼻咽肿瘤的颈部以上的头部图像；

步骤2.2：对步骤2.1中选择的头部图像进行重新采样至预设分辨率；

步骤2.3：在重新采样后的图像中定位肿瘤位置，并将重新采样后的图像裁剪成预定尺寸。

所述步骤4包括以下步骤：

步骤4.1：接收训练样本，所述训练样本为带有标签数据的标准化预处理后的MRI图像数据；

步骤4.2：根据步骤4.1训练样本的数量，采用五折交叉验证，确定每次交叉验证使用80％病人的MRI图像数据做训练样本，20％病人的MRI图像数据做测试样本，初始化卷积层和反卷积层中卷积核权重；

步骤4.3：每次输入一例MRI图像数据到步骤4中的卷积神经网络中的输入层；

步骤4.4：通过前向传播对三维卷积神经网络进行训练，最后通过Softmax分类器，输出鼻咽癌的概率图；

步骤4.5：利用杰卡德相似度，计算步骤4.4输出的鼻咽癌的概率图与步骤2的标签数据的误差：

步骤4.6：基于步骤4.5计算的误差，优化卷积核和反卷积核的权重；

步骤4.7：重复步骤4.3-步骤4.6，迭代若干次。

所述步骤4.5具体为：

其中，Jacc是步骤4.4输出的鼻咽癌的概率图与步骤2的标签数据的误差，PT是预测结果P和真实标签T的元素乘积，||X||₂是X的L2-范数。

本发明具有以下优点及有益效果：

1、针对传统手工或半自动方法工作量大、标注质量不高或差异较大等问题，本发明可以实现对于病变区域的自动分割，且与五种主流网络对比能取得较高的精度。

2、本发明基于元素求和，在每个下采样阶段将原始特征传递到残差块的末尾，以增加原始特征的重用；构建了不同扩张率的空洞卷积组成特征金字塔以提取多尺度信息，并融合不同残差块的多尺度信息传递到上采样阶段，以维持网络梯度流和提高分割精度；在每个上采样阶段，产生辅助分割图，并将辅助分割图的损失加权添加到目标函数中来加速网络的收敛。

3、本发明能够很好的将鼻咽部肿瘤局域分割出来，并且本发明对于不同形状的鼻咽肿瘤具有良好的泛化能力。

附图说明

图1为本发明的网络结构图；

图2为本发明的方法流程图；

图3为两位医学专家的标注示例图；

图4为使用加权交叉熵的一些特定样本的预测结果图；

图5为比较三个样本中特定切片上不同网络的分割结果图；

图6为具有特殊形状的3D MRI肿瘤图像。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

图1为本发明的网络结构，在下采样阶段，将原始特征不断地传递给每个残差块，以增加原始特征的重用，并横向传递给上采样阶段。在下采样阶段，本发明连接了三个空洞卷积层生成的特征映射，加上一个1×1×1的卷积形成一个含有四个平行卷积的空间特征金字塔。该结构对单一尺度提取的卷积特征进行重新采样，融合多尺度特征，并将全局上下文信息结合到模型中。在特征金字塔之后，使用卷积核大小为1×1×1的卷积来减少特征映射的数量。由于每个下采样阶段的图像尺寸不同，所以对应的空洞卷积层使用的扩张率也不同，不同的扩张率使得网络能感知不同的感受野。特征金字塔带有多尺度和层次化的语义信息，对分割不同大小的肿瘤和感知分层的上下文信息非常有效。

本发明创建了三个分割图：一个尺寸与输入尺寸相同，一个尺寸为输入尺寸的一半，另一个尺寸为输入尺寸的四分之一。然后将它们按照以下方式进行组合：首先，使用双线性插值对具有最低分辨率的分割图进行上采样，以获得与次低分辨率分割图相同分辨率大小的分割图。然后将这两者的总和上采样并以相同的方式添加到最高分辨率的分割图中。由于上采样阶段已经融合了来自多个长跳跃连接的局部细节，所以将网络的最后一层产生的最终分割与附加分割图相结合，目的在于“鼓励”网络的前几层来产生好的分割结果来加速网络的收敛。并将这些分割图相关的损失加权添加到目标函数中。

如图2所示，针对训练样本，需要由有经验的放射科肿瘤医师对若干鼻咽癌病例进行标注，使用整个三维MRI图像建立数据集，并对数据集进行一定的预处理，然后用网络对训练数据集进行训练，取得高精度的分割模型。对于新的病例，可以用该分割模型处理其医学图像，获得病变区域的标注数据。相对传统的方法，除了训练阶段需要人工标注外，其余部分均可实现自动处理，大大降低对于有经验医师的需求。本发明的一个实施例包括以下步骤：

步骤1：收集120例患鼻咽癌的病例，采集其鼻咽部位三维MRI的医学图像。

步骤2：对120例MRI数据进行标准化预处理。

步骤2.1：选择包含鼻咽肿瘤的颈部以上的头部图像；

步骤2.2：对原始图像进行重新采样至1.0×1.0×1.0mm³的分辨率；原始采集的图像分辨率大小为0.8×0.8×0.6mm³，代表了一个体素(三维图像的像素称为体素)的尺寸大小，使得转换后每个方向的尺寸保持一致。并且有些病人的分辨率不是0.8×0.8×0.6mm³，转换后统一了所有数据的尺寸大小。

步骤2.3：在定位肿瘤位置之后，将每张图像裁剪成160×198×103的固定尺寸。160×198×103为预定尺寸，该尺寸为三维卷积神经网络接收尺寸，任意尺寸都可以。

步骤3：由有经验的放射科肿瘤医师，对于病变区域逐层进行边缘标注，作为标签数据。

步骤4：构建带多尺度特征金字塔的三维卷积神经网络，对上述病例进行训练。该网络由三个下采样阶段和三个上采样阶段构成，每个下采样阶段由一个跳跃连接的残差块和一个特征金字塔组成。该残差块由两个卷积块和一个分步卷积块组成，每个卷积块包含一个卷积层，一个批量归一化层和一个激活函数层(PRelu)。然后进行逐元素相加，将原始特征与分步卷积块的特征映射进行融合，最后连接一个带三个不同扩张率的空洞卷积组成的特征金字塔。在上采样阶段，每进行一次上采样，将输出的特征映射尺寸扩大为原始的一倍，并输出一个辅助分割预测，最后将三个的辅助分割预测进行融合产生最终的分割预测结果，最后连接Softmax。整个卷积神经网络的结构见图1。

步骤4.1：输入层用于接收训练样本；

步骤4.2：采用五折交叉验证，每次交叉验证使用96个病人的数据做训练样本，24个病人的数据做测试样本。初始化卷积层和反卷积层中卷积核权重；该数值根据总的训练样本120例，五折交叉验证，分出来的。(该数值根据总的120例训练样本，五折交叉验证计算出来的)

步骤4.3：每次输入一个病人的数据到步骤4中卷积神经网络中的输入层；

步骤4.4：通过前向传播对网络进行训练，最后通过Softmax，输出鼻咽癌的概率图；

步骤4.5：利用Jaccrad指数，计算步骤4.4输出的鼻咽癌的概率图与步骤2的标签数据集的误差：

其中，其中PT是预测结果(P)和真实标签(T)的元素乘积，||X||₂是X的L2-范数。

步骤4.6：基于步骤4.5计算的误差，采用Adam优化器，优化卷积核和反卷积核的权重。Adam优化器是一个优化函数，是很多优化函数的一种，实验中采用的是这一种，也可以采用其他优化函数。

步骤4.7：重复步骤4.3-步骤4.6，直到达到一定的迭代次数。在本发明的一个实施例中，迭代5000次，该迭代次数为实验迭代次数，可以作调整。但是迭代次数越多，训练时间越长。

步骤5：对于待诊断的病例，采集同部位同样模态的医学图像，使用相同的预处理进行处理。

步骤6：针对该例病人，输入整个病人MRI数据，通过上面训练完成的神经网络，得到该病人的患鼻咽癌的病变区域。

如图3所示，为两位医学专家的标注示例，红色和绿色边框分别表示两位专家的标注，蓝色边框表示标注相同的部分。

表1.使用加权交叉熵损失函数来定量评估五种主流的方法和我们提出的网络。其中每个额外的权重都进行开平方处理。

从表1可以看出，相比基准网络CNN-based和其他最先进的网络，SFPN在三个指标上都达到了最好的结果，虽然使用加权交叉熵损失函数导致平均对称表面距离(ASSD)的值都普遍偏大，但SFPN相比其他五种网络结构依然能达到最好的效果。说明采用长跳跃连接、多尺度特征金字塔和辅助分割预测对最终的分割结果是有帮助的。

如图4所示，可以看出，加权交叉熵通过扩大预测范围，来使正样本逃避惩罚，使得网络预测肿瘤的范围变大，所以网络结构并不能很好地准确判断肿瘤位置，导致DSC值都不高。其中一个样本的平均DSC评分为0.656，ASSD为2.138mm。

表2.使用Jaccard损失函数定量评估五个主流网络和我们网络的鼻咽癌分割结果

从表2可以看出，相比基准网络CNN-based和其他最先进的网络，采用相同的杰卡德(Jaccard)相似度作为损失函数，SFPN在三个指标上都达到了最好的结果，SFPN的平均Dice值达到了0.737，超过基准网络CNN-based的效果。说明采用长跳跃连接、多尺度特征金字塔和辅助分割预测对最终的分割结果是有帮助的。

图5为比较三个样本中特定切片上不同网络的分割结果图。第一列是原始MRI图像，第二到第八列分别显示了真实标签和不同网络的预测结果。可以看出，我们的模型更加精确地分割出肿瘤的位置。

图6为具有特殊形状的3D MRI肿瘤图像。可以看出，患者的肿瘤呈细长结构，虽然三维卷积神经网络计算出的DSC很低，但是我们的模型也能正确定位肿瘤的位置。

Claims (4)

1.一种基于多尺度特征金字塔的3D CNN鼻咽癌分割方法，其特征在于，包括以下步骤：

步骤1：收集若干例患鼻咽癌的病例，采集其鼻咽部位三维MRI图像数据；

步骤2：对所述MRI图像数据进行标准化预处理；

步骤3：对于病变区域逐层进行人工边缘标注，作为标签数据；

步骤4：构建带多尺度特征金字塔的三维卷积神经网络，使用步骤2中预处理后的MRI图像数据进行训练，该网络由三个下采样阶段和三个上采样阶段构成，每个下采样阶段由一个跳跃连接的残差块和一个特征金字塔组成，该残差块由两个卷积块和一个分步卷积块组成，每个卷积块包含一个卷积层，一个批量归一化层和一个激活函数层，然后进行逐元素相加，将原始特征与分步卷积块的特征映射进行融合，最后连接一个带三个不同扩张率的空洞卷积组成的特征金字塔，在上采样阶段，每进行一次上采样，将输出的特征映射尺寸扩大为原始的一倍，并输出一个辅助分割预测，最后将三个的辅助分割预测进行融合产生最终的分割预测结果，最后连接Softmax；

步骤5：对于待分割的鼻咽部位三维MRI图像数据，采集同部位同样模态的医学图像，使用步骤2的方法对采集的图像进行标准化预处理；

步骤6：通过步骤4训练得到的三维卷积神经网络，对步骤5中预处理后的三维MRI图像数据进行分割。

2.根据权利要求1所述的基于多尺度特征金字塔的3D CNN鼻咽癌分割方法，其特征在于，所述对MRI图像数据进行标准化预处理，包括以下步骤：

步骤2.1：在所述三维MRI图像数据中选择包含鼻咽肿瘤的颈部以上的头部图像；

步骤2.2：对步骤2.1中选择的头部图像进行重新采样至预设分辨率；

步骤2.3：在重新采样后的图像中定位肿瘤位置，并将重新采样后的图像裁剪成预定尺寸。

3.根据权利要求1所述的基于多尺度特征金字塔的3D CNN鼻咽癌分割方法，其特征在于，所述步骤4包括以下步骤：

步骤4.1：接收训练样本，所述训练样本为带有标签数据的标准化预处理后的MRI图像数据；

步骤4.2：根据步骤4.1训练样本的数量，采用五折交叉验证，确定每次交叉验证使用80％病人的MRI图像数据做训练样本，20％病人的MRI图像数据做测试样本，初始化卷积层和反卷积层中卷积核权重；

步骤4.3：每次输入一例MRI图像数据到步骤4中的卷积神经网络中的输入层；

步骤4.4：通过前向传播对三维卷积神经网络进行训练，最后通过Softmax分类器，输出鼻咽癌的概率图；

步骤4.5：利用杰卡德相似度，计算步骤4.4输出的鼻咽癌的概率图与步骤2的标签数据的误差：

步骤4.6：基于步骤4.5计算的误差，优化卷积核和反卷积核的权重；

步骤4.7：重复步骤4.3-步骤4.6，迭代若干次。

4.根据权利要求3所述的基于多尺度特征金字塔的3D CNN鼻咽癌分割方法，其特征在于，所述步骤4.5具体为：

其中，Jacc是步骤4.4输出的鼻咽癌的概率图与步骤2的标签数据的误差，PT是预测结果P和真实标签T的元素乘积，||X||₂是X的L2-范数。

Images