CN109215035A - 一种基于深度学习的脑部mri海马体三维分割方法 - Google Patents

Abstract

本发明涉及计算机视觉、机器学习领域，具体涉及一种基于深度学习的脑部MRI海马体三维分割方法，步骤如下：步骤1，对原始图像集A进行了预处理；步骤2，搭建网络模型；脑部MRI海马体三维分割网络模型包括3个一维卷积层、15个三维卷积和4个最大池化层，整个网络模型分为左侧和右侧两部分，左侧的收缩路径用于捕捉图像的内容，右侧的扩张路径用于精准定位。左侧为一个下采样过程，分五组卷积操作进行。步骤3，训练模型；将规范化的图像集E作为训练集来训练步骤2中的脑部MRI海马体三维分割网络模型，得到训练好的用于脑部MRI海马体三维分割的网络模型F。本发明在保证高分割精度的同时，运算速度快而且可扩展性强。

Description

一种基于深度学习的脑部MRI海马体三维分割方法

技术领域

本发明涉及计算机视觉、机器学习领域，具体涉及一种基于深度学习的脑部MRI海马体三维分割方法。

背景技术

阿兹海默症(俗称的老年痴呆症)的早期临床表现为脑部海马体萎缩，医生可通过核磁共振技术对患者脑部进行三维造影，继而基于影像分析进行诊断以及相关治疗方案的设计。在判断海马体是否萎缩时，医生通常需要对海马体结构进行分割，并进行形状和体积分析。然而海马体尺寸小、形状不规则并因人而异，且在常规核磁共振影像下与周边组织结构对比度低，边界不清晰甚至不连续。非具备多年临床经验的影像科医生难以进行精准分割。

而我国医患比例极为悬殊，稀缺的医生资源远远无法满足庞大患者群体的需求。且基层医院医疗力量薄弱，医生水平参差不齐，造成大量患者涌向大型三甲医院，进一步加剧医患比例失衡。

在深度学习的应用领域不断扩大的基础上，基于人工智能的辅助分析技术已成为医学界乃至全社会重点关注的问题。因而可实现基于深度学习的脑部MRI海马体三维分割方法，本案由此而生。

发明内容

本发明基于深度学习网络，对脑部MRI海马体图像进行三维分割，本发明的方法有效的提升了脑部MRI海马体图像分割的准确率，并大大缩短了分割的时间，可用于大脑核磁共振图像中海马体的准确分割，为诸多的神经退行性疾病的临床诊断与治疗提供依据。

一种基于深度学习的脑部MRI海马体三维分割方法，步骤如下：

步骤1，对原始图像集A进行了预处理；

所述的原始图像集A包含132组NIfTI格式的脑部MRI海马体影像文件。

所述的影像文件包括分辨率大小为192*192*160的图像74组、分辨率大小为256*256*166的36组，分辨率大小为256*256*180的图像22组。

脑部MRI海马体影像文件包含关于患者和扫描参数信息。

步骤1.1尺寸缩小

将原始图像集A中的影像文件全部分割成分辨率为32*32*32的影像文件，得到图像集B。

分割成分辨率为32*32*32的影像文件能使训练速度加快，并且32*32*32的分辨率能够获得优异的卷积处理次数。

步骤1.2选取图像集B中的图像有效区域

取图像集B中的图像任意像素点和该像素点的N邻域的像素点与其做标准差运算，其中，N>1；若标准差都为零，则表示所取该像素点与其N邻域的其他像素点内容完全一致，即为背景部分；

进一步的，所述的N取值为8。

将图像集B中的图像背景部分赋值为0，得到只包含图像有效区域的图像集C，实现大块无效数据不进入训练过程。

步骤1.3数据增强

对图像集C中的图像进行数据增强，增加图像集C数据的丰富性，得到扩充图像集D，从而提高训练模型的精确度。

数据增强包括旋转、镜像、弹性扭曲和膨胀，实现图像集中包括同一张图像在不同角度、不同尺度的各种数据，增加了图像集中图像的个数。通过扩充图像集，防止图像样本过少导致的过拟合问题。

步骤1.4数据规范化

对扩充图像集D进行数据规范化处理，使扩充图像集D中的像素值的范围为[0，1]，得到规范化的图像集E。

步骤2，搭建网络模型；

脑部MRI海马体三维分割网络模型分为左侧和右侧两部分，左侧的收缩路径用于捕捉图像的内容，右侧的扩张路径用于精准定位；左侧为一个下采样过程，分五组卷积操作进行；由输入起第一组为3个一维卷积层和1个三维卷积层，第一组操作后，进入最大池化层，进行1次最大池化操作；然后开始第二组到第五组操作，第二组到第五组均为1个三维卷积层，每组之间卷积操作后进入最大池化层，进行1次最大池化操作；左侧部分完成后进行第9层操作，第9层为1个三维卷积层；完成第九层操作后，进行右侧部分操作，右侧为上采样过程，第9层操作后依次进入第10层到第18层，第10层为反卷积层，第11层和第12层都是三维卷积层，第13层为反卷积层，第14层为三维卷积层，第15层为反卷积层，第16层为三维卷积层，第17层为反卷积层，第18层为三维卷积层，每个卷积层都附带有ReLU激活函数；第18层操作后输出。

步骤3，训练模型；

本发明采用正向传播、获得单次迭代结果、计算损失函数、反向传播的训练结构，结合损失函数采用梯度下降方法对函数公式中的系数进行调整、重复上述过程，直到损失函数值在可接受范围内。

将规范化的图像集E作为训练集来训练步骤2中的脑部MRI海马体三维分割网络模型，得到训练好的用于脑部MRI海马体三维分割的网络模型F。

训练中使用categorical_cross-entropy作为损失函数，categorical_cross-entropy公式如下：

其中，p为预测，t为目标，i表示数据点，j表示类别。

步骤4，模型验证；

对训练模型F的效果进行评估。对结果精度的评估采用基于医学研究业界通用的Dice Metric指标，使用Dice指标来评估所提出的分割算法准确率。

Dice Metric指标如下：

其中A为分割图，B为ground-truth真实分割，|A|和|B|分别为A和B分割图的体素(三维像素)数量，|A∩B|为两图重合部分的体素数量。

本发明中在对132组数据进行分割的过程中，最高分割精度达到0.912，最低分割精度不低于0.842，平均分割精度为0.88。

与现有技术相比，本发明的有益效果是：

(1)利用基于深度学习网络的方法，实现对人脑核磁共振影像中海马体结构的高效自动化精准分割。能够帮助医生对阿兹海默症进行早期的诊断，对医生来说，即使没有具备多年的临床经验，也能实现对海马体的精准分割，这能够缓和我国医患比例极其悬殊的状态。

(2)对患者来说，不必去大型三甲医院，在基层医院只要有人脑核磁共振影像图，就可以对是否患有阿兹海默症进行判别。

(3)高效自动化精准分割：对输入的人脑核磁共振影像可以直接进行分割得到结果，在保证高分割精度的同时，运算速度也比较快。

(4)分割精度高：在对图像集B的132组数据进行分割时，最高分割精度达到0.912，最低分割精度不低于0.842，平均分割精度在0.88。

(5)分割速度块：包括图像数据读写在内，一次性分割132组数据的用时不超过五分钟。不计算数据加载时间，单纯分割一张图像所用时间不超过0.3秒。

(6)可扩展性强：除了用于海马体的检测，我们可以很方便的将本发明中的网络进行重新训练，使其应用于其他器官或者组织的检测和分割，比如眼底视网膜切割，检测肺部结节等。

附图说明

图1是本发明的工作流程框架示意图。

图2是本发明提供的基于深度学习的网络结构图。

具体实施方式

下面结合技术方案和附图对本发明的具体实施例详细说明。

如图2所示，本发明的网络结构主要结合FCN、U-Net 3D及卷积神经网络CNN。

U-Net是基于FCN的一个语义分割网络,U-Net结构中下采样和上采样结合，底层信息和高层信息结合，利用了底层的特征(同分辨率级联)改善上采样的信息不足，显著提高分割的精度。而医学图像数据一般较少，底层的特征犹为重要，且医学图像相比于普通图像，其复杂度是非常高的，灰度范围大，边界不清晰等特点，故而U-Net结构很适合用来做医学图像的分割，如细胞分割、眼底视网膜分割、肺部肿瘤图像分割等都应用了U-Net技术。

在对一系列开发数据集进行交叉验证后，发现仅使用U-Net网络进行分割的精度不高，因此本发明结合FCN、U-Net 3D及卷积神经网络CNN来搭建网络模型。如图2所示。这个模型主要由18个卷积层(其中包括3个一维卷积层、15个三维卷积)、4个重叠的步长为(2，2，2)的最大池化层组成。每个卷积层都附带有ReLU激活函数。图中CONV1D代表一维卷积操作,CONV3D代表三维卷积操作。

一种基于深度学习的脑部MRI海马体三维分割方法，步骤如下：

步骤1，对原始图像集A进行了预处理；

所述的原始图像集A包含132组NIfTI格式的脑部MRI海马体影像文件。

所述的影像文件包括分辨率大小为192*192*160的图像74组、分辨率大小为256*256*166的36组，分辨率大小为256*256*180的图像22组。

进一步的，脑部MRI海马体影像文件包含关于患者和扫描参数信息。

1.1尺寸缩小

将原始图像集A中的影像文件全部分割成分辨率为32*32*32的影像文件，得到图像集B。

分割成分辨率为32*32*32的影像文件是基于两个原因。

a.原始图像集A的分辨率都较大，影响训练速度。

b.32*32*32的分辨率能够获得比较合理的卷积处理次数，故而选择32*32*32为合适值。

1.2选取图像集B中的图像有效区域

对于图像集B中的图像任意像素点，取该像素点的N邻域的其他像素点与其做标准差运算，其中，N>1；若标准差都为零，则表示所取该像素点与它的N邻域的其他像素点内容完全一致，即为背景部分；

进一步的，所述的N取值为8。

将图像集B中的图像背景部分赋值为0，得到只包含图像有效区域的图像集C，实现大块无效数据不进入训练过程。

1.3数据增强

对图像集C中的图像进行数据增强，增加图像集C数据的丰富性，得到扩充图像集D，从而提高训练模型的精确度。

数据增强包括旋转、镜像、弹性扭曲和膨胀，实现图像集中包括同一张图像在不同角度、不同尺度的各种数据，增加了图像集中图像的个数。通过扩充图像集，防止图像样本过少导致的过拟合问题。

1.4数据规范化

对扩充图像集D进行数据规范化处理，使扩充图像集D中的像素值的范围为[0，1]，得到规范化的图像集E。

步骤2，搭建网络模型；

本发明的脑部MRI海马体三维分割网络模型包括3个一维卷积层、15个三维卷积和4个重叠的步长为(2，2，2)的最大池化层，其中，每个卷积层都附带有ReLU激活函数。整个网络模型分为左侧和右侧两部分，左侧的收缩路径用于捕捉图像的内容，右侧的扩张路径用于精准定位。左侧为一个下采样过程，分五组卷积操作进行。由输入起第一组为3个一维卷积层和1个三维卷积层，第一组操作后，进入最大池化层，进行1次最大池化操作；然后开始第二组到第五组操作，第二组到第五组均为1个三维卷积层，每组之间卷积操作后进入最大池化层，进行1次最大池化操作。左侧部分完成后进行第9层操作，第9层为1个三维卷积层。完成第九层操作后，进行右侧部分操作，右侧为上采样过程，分为四组反卷积操作进行，每组反卷积操作后进行卷积操作。右边第一组为2个三维卷积层，第二组到第4组均为1个三维卷积层。第10、13、15、17层为均反卷积层，网络共18层。

步骤3，训练模型；

本发明采用正向传播、获得单次迭代结果、计算损失函数、反向传播的训练结构，结合损失函数采用梯度下降方法对函数公式中的系数进行调整、重复上述过程，直到损失函数值在可接受范围内。

将规范化的图像集E作为训练集来训练步骤2中的脑部MRI海马体三维分割网络模型，使用categorical_cross-entropy作为损失函数，categorical_cross-entropy公式如下：

其中，p为预测，t为目标，i表示数据点，j表示类别。

通过步骤3，可以得到训练好的，用于脑部MRI海马体三维分割的网络模型F。

步骤4，模型验证；

对训练模型F的效果进行评估。在本发明中对结果精度的评估采用基于医学研究业界通用的Dice Metric指标，使用Dice指标来评估所提出的分割算法准确率。

通用的Dice Metric指标如下：

其中A为分割图，B为ground-truth真实分割，|A|和|B|分别为A和B分割图的体素(三维像素)数量，|A∩B|为两图重合部分的体素数量。

本发明中在对132组数据进行分割的过程中，最高分割精度达到0.912，最低分割精度不低于0.842，平均分割精度为0.88。

Claims (8)

1.一种基于深度学习的脑部MRI海马体三维分割方法，其特征在于，步骤如下：

步骤1，对原始图像集A进行了预处理；所述的原始图像集A包含132组NIfTI格式的脑部MRI海马体影像文件；

步骤1.1尺寸缩小

将原始图像集A中的影像文件全部分割成分辨率为32*32*32的影像文件，得到图像集B；

步骤1.2选取图像集B中的图像有效区域

取图像集B中的图像任意像素点和该像素点的N邻域的像素点与其做标准差运算，其中，N>1；标准差都为零，则所取该像素点与其N邻域的其他像素点内容完全一致，即为背景部分；

将图像集B中的图像背景部分赋值为0，得到只包含图像有效区域的图像集C，实现大块无效数据不进入训练过程；

步骤1.3数据增强

对图像集C中的图像进行数据增强，增加图像集C数据的丰富性，得到扩充图像集D，从而提高训练模型的精确度；

步骤1.4数据规范化

对扩充图像集D进行数据规范化处理，使扩充图像集D中的像素值的范围为[0，1]，得到规范化的图像集E；

步骤2，搭建网络模型；

脑部MRI海马体三维分割网络模型分为左侧和右侧两部分，左侧的收缩路径用于捕捉图像的内容，右侧的扩张路径用于精准定位；左侧为一个下采样过程，分五组卷积操作进行；由输入起第一组为3个一维卷积层和1个三维卷积层，第一组操作后，进入最大池化层，进行1次最大池化操作；然后开始第二组到第五组操作，第二组到第五组均为1个三维卷积层，每组之间卷积操作后进入最大池化层，进行1次最大池化操作；左侧部分完成后进行第9层操作，第9层为1个三维卷积层；完成第九层操作后，进行右侧部分操作，右侧为上采样过程，第9层操作后依次进入第10层到第18层，第10层为反卷积层，第11层和第12层都是三维卷积层，第13层为反卷积层，第14层为三维卷积层，第15层为反卷积层，第16层为三维卷积层，第17层为反卷积层，第18层为三维卷积层，每个卷积层都附带有ReLU激活函数；第18层操作后输出；

步骤3，训练得到用于脑部MRI海马体三维分割的网络模型；

将规范化的图像集E作为训练集来训练步骤2中的脑部MRI海马体三维分割网络模型，得到训练好的用于脑部MRI海马体三维分割的网络模型F。

2.如权利要求1所述的脑部MRI海马体三维分割方法，其特征在于，所述的步骤1.2中所述的N取值为8。

3.如权利要求1或2所述的脑部MRI海马体三维分割方法，其特征在于，所述的步骤3中，训练使用categorical_cross-entropy作为损失函数，

categorical_cross-entropy公式如下：

其中，p为预测，t为目标，i表示数据点，j表示类别。

4.如权利要求1或2所述的脑部MRI海马体三维分割方法，其特征在于，所述的步骤1.3数据增强包括旋转、镜像、弹性扭曲和膨胀。

5.如权利要求3所述的脑部MRI海马体三维分割方法，其特征在于，所述的步骤1.3数据增强包括旋转、镜像、弹性扭曲和膨胀。

6.如权利要求1或2或5所述的脑部MRI海马体三维分割方法，其特征在于，对网络模型F进行模型验证；对结果精度的评估采用Dice Metric指标，使用Dice指标来评估所提出的分割算法准确率；

Dice Metric指标如下：

其中，A为分割图，B为ground-truth真实分割，|A|和|B|分别为A和B分割图的三维像素数量，|A∩B|为两图重合部分的三维像素数量。

7.如权利要求3所述的脑部MRI海马体三维分割方法，其特征在于，对网络模型F进行模型验证；

对结果精度的评估采用Dice Metric指标，使用Dice指标来评估所提出的分割算法准确率；

Dice Metric指标如下：

其中，A为分割图，B为ground-truth真实分割，|A|和|B|分别为A和B分割图的三维像素数量，|A∩B|为两图重合部分的三维像素数量。

8.如权利要求4所述的脑部MRI海马体三维分割方法，其特征在于，对网络模型F进行模型验证；

对结果精度的评估采用Dice Metric指标，使用Dice指标来评估所提出的分割算法准确率；

Dice Metric指标如下：

其中，A为分割图，B为ground-truth真实分割，|A|和|B|分别为A和B分割图的三维像素数量，|A∩B|为两图重合部分的三维像素数量。