CN108038860A - 基于3d全卷积神经网络的脊柱分割方法 - Google Patents

Abstract

本发明公开了一种基于3D全卷积神经网络的脊柱分割方法。本发明包括如下步骤：步骤1.建一个用于脊柱分割的3D全卷积神经网络；步骤2.准备数据集，数据集包括训练集+测试集；步骤3.利用训练集训练神经网络，得到网络模型；步骤4.使用得到的网络模型分割测试集中脊柱CT数据，得到分割结果。本发明借助于3D全卷积神经网络来分割脊柱，不仅是全自动的，而且分割精度很准确。

Description

基于3D全卷积神经网络的脊柱分割方法

技术领域

本发明属于医学图像处理领域，具体讲的是一种基于3D全卷积神经网络的脊柱分割方法。

背景技术

脊柱形成人体中一个重要的支撑结构，骨骼包括7颈椎,12胸椎和5腰椎。由于体力活动减少和现代需要久坐的办公室工作，脊柱问题成为现代社会日益严重的问题常见的如特发性脊柱侧弯，严重的脊柱侧弯会影响人体的健康，压迫心肺功能，常需手术矫正。

脊柱骨分割在脊柱外科手术中具有重要的意义。在脊柱外科手术之前，医生需要根据病人的影像资料制定治疗方案，比如确定椎弓根钉的植入角度，植入深度等，这些可通过测量脊椎骨的集合信息(长度，角度，体积)来确定，由于在三维表面网格上测量比较直观方便，更易于为医生所采用，因此需要建立病人的三维模型。脊椎骨的分割精度直接影响到三维表面模型的精度，从而影响医生手术计划的制定，并最终影响手术的效果。

椎骨的分割是一项挑战,主要是由于形状变化和邻近结构相似的强度。传统的分割方法存在工作量大、耗时长、需要大量的预处理等问题。

因此，提出一种不需要进行任何预处理，分割耗时短，分割精度高的分割算法在临床医学应用上非常有必要。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于3D全卷积神经网络的脊柱分割方法，以降低分割的工作量，节约时间，使得脊柱CT的分割更加高效便捷，同时提高分割的准确率。

为实现上述发明的目的，本发明通过以下技术方案予以实现，具体包括以下步骤：

步骤1.建一个用于脊柱分割的3D全卷积神经网络；

步骤2.准备数据集，数据集包括训练集+测试集；

步骤3.利用训练集训练神经网络，得到网络模型；

步骤4.使用得到的网络模型分割测试集中脊柱CT数据，得到分割结果；

步骤1所述的3D全卷积神经网络的构建，具体如下：

卷积神经网络的输入是一个大小为128×128×64的体块，输出也是128×128×64的体块；网络结构分为左右两个部分，网络的左侧是一个压缩的过程，右侧是一个扩张的过程；除了降采样和上采样之外，卷积层均采用5×5×5的卷积核进行卷积，步长为1；

左侧的压缩的过程被分为5个不同的阶段，每个阶段的特征通道的尺寸不同，通道数也不同，都包括两个卷积层；每个卷积层都采用PRelu非线性激活函数；每个阶段的最后通过执行卷积操作来降低分辨率，卷积时采用2×2×2的卷积核，步长为2，进行降采样；随着压缩阶段特征通道的尺寸减小为原来的1/2，提取的特征的通道数为原来的2倍；具体来说：左侧第一个阶段的通道数为16，每个特征通道的尺寸为128×128×64；第二个阶段通道数为32，每个特征通道的尺寸是64×64×32，第三个阶段的通道数为64，每个特征通道的尺寸是32×32×16，第四个阶段的通道数为128，每个特征通道的尺寸为16×16×8，第五个阶段的通道数为256，每个特征通道的尺寸为8×8×4；

网络的右侧的扩张阶段被分为不同的4个阶段，每个阶段的特征通道的尺寸不同，通道数也不同，每个阶段包含两个卷积层；随着特征通道的尺寸变为原来的2倍，通道数变为原来的1/2；具体来说：右侧第一个阶段是通过左侧的第五个阶段，直接通过2×2×2的卷积核降采样得到的，通道数为256，每个特征通道的尺寸是16×16×8，第二个阶段的通道数为128，每个特征通道的尺寸是32×32×16，第三个阶段的通道数为64，特征通道的尺寸为64×64×32，第四个阶段的通道数为32，特征通道的尺寸为128×128×64；除第四个阶段的最后，每个阶段的最后都会采用2×2×2的卷积核进行反卷积操作，使特征通道的尺寸变为原来的2倍；

右侧的第四个阶段得到的32通道的结果，通过最后一次的卷积层，卷积核的尺寸为1×1×1，计算出两个128×128×64的特征图，再通过尺寸为1×1×1的卷积核来产生和输入的尺寸相同的输出，转化为前景和背景的概率，通过softmax层来实现；

左侧的每个阶段的输入被用作卷积，但同时被添加到本阶段第二个卷积层的输出上，来学习一个残差函数；左侧每个阶段经过两个卷积层卷积后的结果，会和右侧扩张阶段特征通道尺寸相同的阶段的上一个阶段降采样后的结果，同时作为特征通道数据，进行扩张阶段的卷积操作。

步骤2所述的数据集准备，具体实现如下：

步骤2-1:搜集大小为512×512×N的脊柱CT体数据，以及这些脊柱CT对应的标准分割结果，其中N为脊柱CT体数据的层数，512×512为CT数据每层的尺寸；

步骤2-2:利用CT体数据说明文件计算出采样间隔都为1时的体数据尺寸；

步骤2-3：再把体数据尺寸的每层图像数据以图像的中心为中心点，向上下左右四个方向分别保留64行像素或列像素，裁剪掉边界没有包含感兴趣图像的区域，保留128×128的尺寸，只关注中间部分的图像。

所述的说明文件用于表示体数据的相关信息，包括：体数据的存储格式、存储位置以及采样间隔。

步骤3所述的利用训练集训练神经网络，得到网络模型，具体实现如下：利用训练集训练卷积神经网络中的各种参数，将步骤2中的训练集输入步骤1设计好的卷积神经网络进行训练，得到参数模型。

步骤4所述的使用得到的网络模型分割测试集中脊柱CT数据，得到分割结果，具体实现如下：

从测试集中随机选择一个大小为512×512×64的体块，按照步骤2-2和2-3将此体块处理为尺寸为128×128×64作为卷积神经网络中的输入，通过卷积神经网络和参数模型的处理，输出一个128×128×64尺寸的体块；然后根据步骤2-2和2-3的逆过程，计算输出一个大小为512×512×64的分割结果。

与现有技术相比，本发明的有益效果是：

本发明构建一个3D全卷积神经网络来直接分割脊柱体数据，不需要对脊柱CT数据的每个断层进行分割，然后拼接成体数据。

本发明的分割过程不仅是全自动的，而且只需要对图像的尺寸进行预处理，使图像的尺寸适应于网络的输入，不需要其它复杂的预处理过程，分割结果很精确。

本发明采用的网络结构的数据输入块并不仅仅局限于64层，在计算机硬件条件，如内存等允许的情况下，修改适量的参数，可以处理层数更多的数据块。

附图说明

图1为本发明流程图；

图2为本发明中的卷积神经网络的结构图；

图3为数据说明文件；

图4为示例三维体数据的第32层的原图；

图5为示例三维体数据的第32层的实验结果图和分割金标准图。

具体的实施方式

下面结合附图对本发明作进一步说明。

如图1所示，基于3D全卷积神经网络的脊柱分割方法，具体包括如下步骤：

步骤1.建一个用于脊柱分割的3D全卷积神经网络；

步骤2.准备数据集，数据集包括训练集+测试集；

步骤3.利用训练集训练神经网络，得到网络模型；

步骤4.使用得到的网络模型分割测试集中脊柱CT数据，得到分割结果；

步骤1所述的3D全卷积神经网络的构建，具体如图2所示：

卷积神经网络的输入是一个大小为128×128×64的体块，输出也是128×128×64的体块。网络结构分为左右两个部分，网络的左侧是一个压缩的过程，右侧是一个扩张的过程。除了降采样和上采样之外，卷积层均采用5×5×5的卷积核进行卷积，步长为1。

左侧的压缩的过程被分为5个不同的阶段，每个阶段的特征通道的尺寸不同，通道数也不同，都包括两个卷积层；每个卷积层都采用PRelu非线性激活函数；每个阶段的最后通过执行卷积操作来降低分辨率，卷积时采用2×2×2的卷积核，步长为2，进行降采样。随着压缩阶段特征通道的尺寸减小为原来的1/2，提取的特征的通道数(channels)为原来的2倍。具体来说，左侧第一个阶段的通道数为16，每个特征通道的尺寸为128×128×64。第二个阶段通道数为32，每个特征通道的尺寸是64×64×32，第三个阶段的通道数为64，每个特征通道的尺寸是32×32×16，第四个阶段的通道数为128，每个特征通道的尺寸为16×16×8，第五个阶段的通道数为256，每个特征通道的尺寸为8×8×4。

网络的右侧的扩张阶段被分为不同的4个阶段，每个阶段的特征通道的尺寸不同，通道数也不同，每个阶段包含两个卷积层；随着特征通道的尺寸变为原来的2倍，通道数变为原来的1/2。具体来说，右侧第一个阶段是通过左侧的第五个阶段，直接通过2×2×2的卷积核降采样得到的，通道数为256，每个特征通道的尺寸是16×16×8，第二个阶段的通道数为128，每个特征通道的尺寸是32×32×16，第三个阶段的通道数为64，特征通道的尺寸为64×64×32，第四个阶段的通道数为32，特征通道的尺寸为128×128×64。除第四个阶段的最后，每个阶段的最后都会采用2×2×2的卷积核进行反卷积操作，使特征通道的尺寸变为原来的2倍。

右侧的第四个阶段得到的32通道的结果，通过最后一次的卷积层，卷积核的尺寸为1×1×1，计算出两个128×128×64的特征图，再通过尺寸为1×1×1的卷积核来产生和输入的尺寸相同的输出，转化为前景和背景的概率，通过softmax层来实现。

左侧的每个阶段的输入被用作卷积，但同时被添加到本阶段第二个卷积层的输出上，来学习一个残差函数。左侧每个阶段经过两个卷积层卷积后的结果，会和右侧扩张阶段特征通道尺寸相同的阶段的上一个阶段降采样后的结果，同时作为特征通道数据，进行扩张阶段的卷积操作。

步骤2所述的数据集准备，具体实现如下：

步骤2-1:搜集大小为512×512×N的脊柱CT体数据，以及这些脊柱CT对应的标准分割结果，其中N为脊柱CT体数据的层数，512×512为CT数据每层的尺寸。

步骤2-2:利用CT体数据说明文件计算出采样间隔(ElementSpacing)都为1时的体数据尺寸(512×0.3125，512×0.3125，64×1)＝(160，160，64)。

所述的说明文件用于表示体数据的相关信息，包括：体数据的存储格式、存储位置以及采样间隔等，参看图3。

步骤2-3：再把尺寸160×160(或其他)的每层图像数据以图像的中心为中心点，向上下左右四个方向分别保留64行(列)像素，裁剪掉边界没有包含感兴趣图像的区域，保留128×128的尺寸，只关注中间部分的图像，如图4所示。

步骤3所述的利用训练集训练神经网络，得到网络模型，具体实现如下：利用训练集训练卷积神经网络中的各种参数，将步骤2中的训练集输入步骤1设计好的卷积神经网络进行训练，得到参数模型。

步骤4所述的使用得到的网络模型分割测试集中脊柱CT数据，得到分割结果，具体实现如下：

从测试集中随机选择一个大小为512×512×64的体块，按照步骤2-2和2-3将此体块处理为尺寸为128×128×64作为卷积神经网络中的输入，通过卷积神经网络和参数模型的处理，输出一个128×128×64尺寸的体块。然后根据步骤2-2和2-3的逆过程，计算输出一个大小为512×512×64的分割结果，如图5所示，其中左侧图为3D全卷积网络分割某CT断层的结果，右侧图为其对应的金标准。

Claims (5)

1.基于3D全卷积神经网络的脊柱分割方法，其特征在于包括如下步骤：

步骤1.建一个用于脊柱分割的3D全卷积神经网络；

步骤2.准备数据集，数据集包括训练集+测试集；

步骤3.利用训练集训练神经网络，得到网络模型；

步骤4.使用得到的网络模型分割测试集中脊柱CT数据，得到分割结果；

步骤1所述的3D全卷积神经网络的构建，具体如下：

卷积神经网络的输入是一个大小为128×128×64的体块，输出也是128×128×64的体块；网络结构分为左右两个部分，网络的左侧是一个压缩的过程，右侧是一个扩张的过程；除了降采样和上采样之外，卷积层均采用5×5×5的卷积核进行卷积，步长为1；

左侧的压缩的过程被分为5个不同的阶段，每个阶段的特征通道的尺寸不同，通道数也不同，都包括两个卷积层；每个卷积层都采用PRelu非线性激活函数；每个阶段的最后通过执行卷积操作来降低分辨率，卷积时采用2×2×2的卷积核，步长为2，进行降采样；随着压缩阶段特征通道的尺寸减小为原来的1/2，提取的特征的通道数为原来的2倍；具体来说：左侧第一个阶段的通道数为16，每个特征通道的尺寸为128×128×64；第二个阶段通道数为32，每个特征通道的尺寸是64×64×32，第三个阶段的通道数为64，每个特征通道的尺寸是32×32×16，第四个阶段的通道数为128，每个特征通道的尺寸为16×16×8，第五个阶段的通道数为256，每个特征通道的尺寸为8×8×4；

网络的右侧的扩张阶段被分为不同的4个阶段，每个阶段的特征通道的尺寸不同，通道数也不同，每个阶段包含两个卷积层；随着特征通道的尺寸变为原来的2倍，通道数变为原来的1/2；具体来说：右侧第一个阶段是通过左侧的第五个阶段，直接通过2×2×2的卷积核降采样得到的，通道数为256，每个特征通道的尺寸是16×16×8，第二个阶段的通道数为128，每个特征通道的尺寸是32×32×16，第三个阶段的通道数为64，特征通道的尺寸为64×64×32，第四个阶段的通道数为32，特征通道的尺寸为128×128×64；除第四个阶段的最后，每个阶段的最后都会采用2×2×2的卷积核进行反卷积操作，使特征通道的尺寸变为原来的2倍；

右侧的第四个阶段得到的32通道的结果，通过最后一次的卷积层，卷积核的尺寸为1×1×1，计算出两个128×128×64的特征图，再通过尺寸为1×1×1的卷积核来产生和输入的尺寸相同的输出，转化为前景和背景的概率，通过softmax层来实现；

左侧的每个阶段的输入被用作卷积，但同时被添加到本阶段第二个卷积层的输出上，来学习一个残差函数；左侧每个阶段经过两个卷积层卷积后的结果，会和右侧扩张阶段特征通道尺寸相同的阶段的上一个阶段降采样后的结果，同时作为特征通道数据，进行扩张阶段的卷积操作。

2.根据权利要求1所述的基于3D全卷积神经网络的脊柱分割方法，其特征在于步骤2所述的数据集准备，具体实现如下：

步骤2-1:搜集大小为512×512×N的脊柱CT体数据，以及这些脊柱CT对应的标准分割结果，其中N为脊柱CT体数据的层数，512×512为CT数据每层的尺寸；

步骤2-2:利用CT体数据说明文件计算出采样间隔都为1时的体数据尺寸；

步骤2-3：再把体数据尺寸的每层图像数据以图像的中心为中心点，向上下左右四个方向分别保留64行像素或列像素，裁剪掉边界没有包含感兴趣图像的区域，保留128×128的尺寸，只关注中间部分的图像。

3.根据权利要求2所述的基于3D全卷积神经网络的脊柱分割方法，其特征在于所述的说明文件用于表示体数据的相关信息，包括：体数据的存储格式、存储位置以及采样间隔。

4.根据权利要求3所述的基于3D全卷积神经网络的脊柱分割方法，其特征在于步骤3所述的利用训练集训练神经网络，得到网络模型，具体实现如下：利用训练集训练卷积神经网络中的各种参数，将步骤2中的训练集输入步骤1设计好的卷积神经网络进行训练，得到参数模型。

5.根据权利要求4所述的基于3D全卷积神经网络的脊柱分割方法，其特征在于步骤4所述的使用得到的网络模型分割测试集中脊柱CT数据，得到分割结果，具体实现如下：

从测试集中随机选择一个大小为512×512×64的体块，按照步骤2-2和2-3将此体块处理为尺寸为128×128×64作为卷积神经网络中的输入，通过卷积神经网络和参数模型的处理，输出一个128×128×64尺寸的体块；然后根据步骤2-2和2-3的逆过程，计算输出一个大小为512×512×64的分割结果。