CN109493317B - 基于级联卷积神经网络的3d多椎骨分割方法 - Google Patents

Abstract

本发明涉及一种基于级联卷积神经网络的3D多椎骨分割方法，分割方法包括：对原始脊柱CT图像进行CTE预处理，获得预处理图像；将预处理图像输入粗分割全卷积网络FCN进行粗分割训练，获得具有椎骨结构位置先验信息的粗分割结果图；将粗分割结果图和预处理图像作为双通道图像输入细分割深度卷积网络CNN，根据粗分割结果图提供的位置先验信息，在预处理图像中对应的位置提取每块椎骨及背景区域的补丁贴片，再对补丁贴片进行分割，获得具有标签的椎骨分割图像。本发明能快速准确地在3D脊柱CT图像中分割出每个椎骨并对其进行标记。

Description

基于级联卷积神经网络的3D多椎骨分割方法

技术领域

本发明涉及医学图像的处理技术领域，尤其涉及一种基于级联卷积神经网络的3D多椎骨分割方法。

背景技术

脊柱是形成人体中心重量轴的重要骨骼结构，包括24块椎骨。通常，采用CT(Computed Tomography)评估椎骨的三维形状。在大多数脊柱CT图像后续的分析和建模任务中都涉及到脊柱分割的基本步骤。人为进行脊柱分割，是费时和主观的，因此临床应用都采取全自动分割或半自动分割方法。由于脊柱结构复杂，椎骨之间的差异较小，因此很难精确提取到椎体感兴趣区域。

在早期的脊柱CT图像处理中，采用自适应阈值处理、区域生长和边界调整等无监督图像处理方法进行图像分割，其分割的准确度较低。后来，又将改进的水平集框架和分水岭分割方法用于脊柱的CT图像分割，虽然分割精度有所提高，但是需要手动辅助完成，因此不具有普适性。当下，有学者提出了基于轮廓模型和形状模型的分割方法，后又将模糊理论融入主动轮廓模型中并提出了新能量形式及模糊速度函数，这种方式对图像噪声和初始轮廓不敏感，可以实现快速收敛；但其缺点是对于灰度不均匀图像不能正确分割，并且主要只适用于二维区域的图像分割，或者需要根据期望区域修改原始模型才能够进行图像分割，耗时巨大。

随着深度学习的发展，卷积神经网络开始用于医学图像的处理中。具有层次特征学习能力的深度卷积神经网络开始成为计算机视觉领域的主要机器学习方法，并且在不同的视觉领域取得了令人满意的结果。首先有人使用U-Net来细分生物医学图像；接着，对于脊柱CT，有人提出了两步法分割五个腰椎并同时标记它们的方法；再后来，又有人提出一种改进的3D U-Net，来学习稀疏注解的密集体积分割；在此基础上，又提出一种用于容积医学图像分割的完全卷积神经网络V-Net；及至基于深度学习方案的自动定位，来识别和分割MR图像中的椎体；之后又提出了一种基于三维深度学习的级联框架，用来从MRI中分割颅颌面骨结构。上述方法在用于脊柱CT图像的椎骨分割中，存在收敛速度慢，耗时的缺陷。

因此，针对以上不足，需要提供一种新的CT图像椎骨分割方法，来提高脊柱图像的分割效率。

发明内容

本发明要解决的技术问题在于，针对现有脊柱CT图像分割方法收敛速度慢，分割过程耗时长的缺陷，提供一种基于级联卷积神经网络的3D多椎骨分割方法。

为了解决上述技术问题，本发明提供了一种基于级联卷积神经网络的3D多椎骨分割方法，所述分割方法包括以下步骤：

步骤一：对原始脊柱CT图像进行CTE预处理，获得预处理图像；

步骤二：将预处理图像输入粗分割全卷积网络FCN进行粗分割训练，获得具有椎骨结构位置先验信息的粗分割结果图；所述粗分割全卷积网络FCN结构包括混合残差连接学习架构；

步骤三：将粗分割结果图和预处理图像作为双通道图像输入细分割深度卷积网络CNN，根据粗分割结果图提供的位置先验信息，在预处理图像中对应的位置提取每块椎骨及背景区域的补丁贴片，再对补丁贴片进行分割，获得具有标签的椎骨分割图像；

粗分割全卷积网络FCN中，每个卷积层后均设置有BN层，用于计算卷积层输出数据的均值及方差，并进行归一化。

在根据本发明所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述预处理包括：

采用CHALE图像增强的方式去除原始脊柱CT图像椎骨外围的器官及组织，并进行阈值分割及膨胀，获得预处理图像；所述预处理图像的体素阈值HU范围为800HU-1200HU。

在根据本发明所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述粗分割全卷积网络FCN对预处理图像的处理过程包括下采样过程和上采样过程：

下采样过程：预处理图像首先经卷积核大小为2×2×2、步长为2、厚度为16的下采样卷积层提取特征值，再通过激活函数PReLU层进行激活，接着传输到具有短连接的下采样重置块；下采样重置块输出的图像数据再依次四次循环输入激活函数PReLU层和下采样重置块，最后输出下采样图像；

上采样过程：将下采样图像经卷积核大小为2×2×2、步长为2、厚度为128的一次反卷积层提取特征值，得到一次反卷积图像；

在叠加层将一次反卷积图像与下采样图像按位置对应叠加，获得叠加图像；再将叠加图像送入具有短连接的上采样重置块；上采样重置块输出的图像数据再依次四次循环输入到二次反卷积层、叠加层和上采样重置块，然后输出上采样图像；所述二次反卷积层的四次循环中，卷积核大小为5×5×5、步长为1、厚度依次为128、64、32、32；

所述的上采样图像再输入到粗分割全卷积网络FCN的soft-max层。

在根据本发明所述的基于级联卷积神经网络的3D多椎骨分割方法中，在下采样过程和上采样过程中，所述上采样重置块和下采样重置块对数据的处理过程相同，分别包括：

重置块每一次输入的图像数据，首先经过卷积核大小为5×5×5、步长为1的一次重置卷积层提取特征值，再经BN层计算均值及方差，进行一次归一化处理；

一次归一化处理获得的图像数据再经过一次激活函数ReLU层和卷积核大小为5×5×5、步长为1的二次重置卷积层提取特征值，再经BN层计算均值及方差，进行二次归一化处理；

将二次归一化处理获得的图像数据与重置块当前输入的图像数据叠加后，再输入二次激活函数ReLU层处理，获得重置块的输出图像。

在根据本发明所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述下采样重置块四次循环中一次重置卷积层和二次重置卷积层的厚度依次为32、64、128、256。

在根据本发明所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述粗分割全卷积网络FCN的soft-max层包括二分类器，所述二分类器包括大小为1×1×1，步长为1的分类卷积层，二分类器对上采样图像进行处理后，通过两个输出通道分别输出粗分割结果图，所述粗分割结果图包括椎骨粗分割区域和非椎骨粗分割区域背景图；所述粗分割结果图与原始脊柱CT图像的大小一致。

在根据本发明所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述细分割深度卷积网络CNN细分割卷积层的卷积步长为1，卷积核为3×3×3；细分割深度卷积网络CNN中soft-max层为多分类器层，用于对粗分割结果图中每段椎骨自动分割和标记；

细分割深度卷积网络CNN的训练集合标签标示为C＝{(I_n，L_n)，n＝0，1，2，…，17}，其中I_n是原始脊柱CT图像；每个L_n包含18个基本事实类别标签k，所述类别标签k由17个椎骨手动分割图像和原始脊柱CT图像中每个体素的背景组成，其中n为体素个数；

细分割深度卷积网络CNN的目标函数为：

其中，

是soft-max层输出类别概率，λ_i是权重因子，N是体素总数，N_i是一个类别L_n内的体素，并且k∈[0，1，2，…，17]表示正确的基本事实类别标签，x为体素点。

在根据本发明所述的基于级联卷积神经网络的3D多椎骨分割方法中，所述补丁贴片分别经过厚度为16的细分割卷积层和max-pooling层提取特征；提取结果再依次循环三次输入细分割卷积层和max-pooling层，获得初始细分割图像；循环三次过程中细分割卷积层的卷积核厚度分别为32、64、18；

将所述初始细分割图像经训练后的细分割深度卷积网络CNN的多分类soft-max层进行分割，获得具有标签的椎骨分割图像；该椎骨分割图像的体素点分为18类，包括17个最终的椎骨分割区域和非椎骨背景区域。

实施本发明的基于级联卷积神经网络的3D多椎骨分割方法，具有以下有益效果：本发明提出一种级联卷积神经网络，它首先使用CTE对原始脊柱CT图像进行预处理，然后将预处理图像经粗分割全卷积网络FCN进行训练，在FCN之后连接一个细分割深度卷积网络CNN对图像进行细分割并分类，最终获得3D分割后的椎骨图像，本发明能快速准确地在3D脊柱CT图像中分割出每个椎骨并对其进行标记。

附图说明

图1是根据本发明的基于级联卷积神经网络的3D多椎骨分割方法的示例性流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于级联卷积神经网络的3D多椎骨分割方法，结合图1所示，根据本公开的实施例的分割方法的流程100开始于步骤S110，然后执行S120的处理。

在S120中，对原始脊柱CT图像进行CTE预处理，获得预处理图像；所述CTE是自适应直方图均衡-阈值分割-膨胀的处理手段的缩写。

在S130中，将预处理图像输入粗分割全卷积网络FCN进行粗分割训练，获得具有椎骨结构位置先验信息的粗分割结果图；所述粗分割全卷积网络FCN结构包括混合残差连接学习架构；所述混合残差连接包括长连接和短连接；

在S140中，将粗分割结果图和预处理图像作为双通道图像输入细分割深度卷积网络CNN，根据粗分割结果图提供的位置先验信息，在预处理图像中对应的位置提取每块椎骨及背景区域的补丁贴片，再对补丁贴片进行分割，获得具有标签的椎骨分割图像；此步骤能在粗分割判定为椎骨区域的位置，对应在预处理图像上密集的提取补丁贴片，贴片大小可以为16×16×8；细分割深度卷积网络CNN再对补丁贴片进行处理，可获得多椎骨分割图像。

粗分割全卷积网络FCN中，每个卷积层后均设置有BN层，用于计算卷积层输出数据的均值及方差，并进行归一化。所述BN层即BatchNormalization层，能对数据求均值以及求方差，并做归一化处理，有助于加快收敛速度，提高卷积网络模型精度。

流程100结束于S150。

作为示例，所述预处理包括：

采用CHALE(自适应直方图均衡算法)图像增强的方式去除原始脊柱CT图像椎骨外围的器官及组织，并进行阈值分割及膨胀，获得预处理图像；所述预处理图像的体素阈值HU范围为800HU-1200HU。原始脊柱CT图像经过CHALE处理后，图像质量能够获得极大改善，为了去附椎骨周围大量不相关的器官和组织，增强后的图像对体素阈值HU范围进行了选择。在阈值操作中图像的细节可能会丢失，为了保留脊柱图像边缘的细节，再膨胀(Expansion)阈值分割图像得到最终CTE预处理图像。

作为示例，所述粗分割全卷积网络FCN对预处理图像的处理过程包括下采样过程和上采样过程：

下采样过程：预处理图像首先经卷积核大小为2×2×2、步长为2、厚度为16的下采样卷积层提取特征值，再通过激活函数PReLU层进行激活，接着传输到具有短连接的下采样重置块；下采样重置块输出的图像数据再依次四次循环输入激活函数PReLU层和下采样重置块，最后输出下采样图像；激活函数PReLU表示带参数的ReLU，其中参数ai可以设置为0.25；

上采样过程：将下采样图像经卷积核大小为2×2×2、步长为2、厚度为128的一次反卷积层提取特征值，得到一次反卷积图像；

在叠加层将一次反卷积图像与下采样图像按位置对应叠加，获得叠加图像；再将叠加图像送入具有短连接的上采样重置块；上采样重置块输出的图像数据再依次四次循环输入到二次反卷积层、叠加层和上采样重置块，然后输出上采样图像；所述二次反卷积层的四次循环中，卷积核大小为5×5×5、步长为1、厚度依次为128、64、32、32；

所述的上采样图像再输入到粗分割全卷积网络FCN的soft-max层。

在下采样过程中，卷积层对图像数据的处理会造成数据沿着路径压缩分辨率降低；激活函数PReLU设置在卷积层后面，紧邻卷积层后面的批量归一化层BN设置，能降低内部协方差的变化，加速训练过程，提高性能。

预处理图像经过下采样过程提取特征图，通过上采样过程将图像还原到与原始图像大小相同。将将一次反卷积图像与下采样图像按位置对应叠加，也称为长链接；之后再将叠加图像送入具有短连接的上采样重置块，经过四个循环后，结束上采样过程进入粗分割全卷积网络FCN的最后一层，soft-max层。

作为示例，在下采样过程和上采样过程中，所述上采样重置块和下采样重置块对数据的处理过程相同，分别包括：

重置块每一次输入的图像数据，首先经过卷积核大小为5×5×5、步长为1的一次重置卷积层提取特征值，再经BN层计算均值及方差，进行一次归一化处理；

一次归一化处理获得的图像数据再经过一次激活函数ReLU层和卷积核大小为5×5×5、步长为1的二次重置卷积层提取特征值，再经BN层计算均值及方差，进行二次归一化处理；

将二次归一化处理获得的图像数据与重置块当前输入的图像数据在叠加层进行叠加，也称为短链接，再输入二次激活函数ReLU层处理，获得重置块的输出图像。

作为示例，所述下采样重置块四次循环中一次重置卷积层和二次重置卷积层的厚度依次为32、64、128、256。

作为示例，所述粗分割全卷积网络FCN的soft-max层包括二分类器，所述二分类器包括大小为1×1×1，步长为1的分类卷积层，二分类器对上采样图像进行处理后，通过两个输出通道分别输出粗分割结果图，所述粗分割结果图包括椎骨粗分割区域和非椎骨粗分割区域背景图；所述粗分割结果图与原始脊柱CT图像的大小一致。

作为示例，所述细分割深度卷积网络CNN细分割卷积层的卷积步长为1，卷积核为3×3×3；细分割深度卷积网络CNN中soft-max层为多分类器层，用于对粗分割结果图中每段椎骨自动分割和标记；soft-max层允许对CT图像中每个椎骨段自动分割，并标记。

细分割深度卷积网络CNN的训练集合标签标示为C＝{(I_n，L_n)，n＝0，1，2，…，17}，其中I_n是原始脊柱CT图像；每个L_n包含18个基本事实类别标签k，所述类别标签k由17个椎骨手动分割图像和原始脊柱CT图像中每个体素的背景组成，其中n为体素个数；

细分割深度卷积网络CNN的目标函数为：

其中，

是soft-max层输出类别概率，λ_i是权重因子，N是体素总数，N_i是一个类别L_n内的体素，并且k∈[0，1，2，…，17]表示正确的基本事实类别标签，x为体素点。所述目标函数是对体素交叉熵损耗进行加权。

在细分割深度卷积网络CNN中，所述训练集合为预先手动分割获得的分割图像真实值，通过训练集合预先对目标函数进行训练后，当输入补丁贴片，能直接在细分割深度卷积网络CNN的输出端获得具有标签的椎骨分割图像。

作为示例，所述补丁贴片分别经过厚度为16的细分割卷积层和max-pooling层提取特征；提取结果再依次循环三次输入细分割卷积层和max-pooling层，获得初始细分割图像；循环三次过程中细分割卷积层的卷积核厚度分别为32、64、18；

将所述初始细分割图像经训练后的细分割深度卷积网络CNN的多分类soft-max层进行分割，获得具有标签的椎骨分割图像；该椎骨分割图像的体素点分为18类，包括17个最终的椎骨分割区域和非椎骨背景区域。

综上所述，本发明所述分割方法适用于脊柱CT图像的分割，分割过程能够快速收敛，分割结果准确度高。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于级联卷积神经网络的3D多椎骨分割方法，其特征在于：所述分割方法包括以下步骤：

步骤一：对原始脊柱CT图像进行CTE预处理，获得预处理图像；所述CTE是自适应直方图均衡-阈值分割-膨胀的处理手段的缩写；所述预处理包括：

采用CHALE图像增强的方式去除原始脊柱CT图像椎骨外围的器官及组织，并进行阈值分割及膨胀，获得预处理图像；所述预处理图像的体素阈值HU范围为800HU-1200HU；

步骤二：将预处理图像输入粗分割全卷积网络FCN进行粗分割训练，获得具有椎骨结构位置先验信息的粗分割结果图；所述粗分割全卷积网络FCN结构包括混合残差连接学习架构；

步骤三：将粗分割结果图和预处理图像作为双通道图像输入细分割深度卷积网络CNN，根据粗分割结果图提供的位置先验信息，在预处理图像中对应的位置提取每块椎骨及背景区域的补丁贴片，再对补丁贴片进行分割，获得具有标签的椎骨分割图像；

粗分割全卷积网络FCN中，每个卷积层后均设置有BN层，用于计算卷积层输出数据的均值及方差，并进行归一化；

所述粗分割全卷积网络FCN的soft-max层包括二分类器，所述二分类器包括大小为1×1×1，步长为1的分类卷积层，二分类器对上采样图像进行处理后，通过两个输出通道分别输出粗分割结果图，所述粗分割结果图包括椎骨粗分割区域和非椎骨粗分割区域背景图；所述粗分割结果图与原始脊柱CT图像的大小一致；

所述细分割深度卷积网络CNN细分割卷积层的卷积步长为1，卷积核为3×3×3；细分割深度卷积网络CNN中soft-max层为多分类器层，用于对粗分割结果图中每段椎骨自动分割和标记；

细分割深度卷积网络CNN的训练集合标签标示为C＝{(I_n，L_n),n＝0,1，2，…，17}，其中I_n是原始脊柱CT图像；每个L_n包含18个基本事实类别标签k，所述类别标签k由17个椎骨手动分割图像和原始脊柱CT图像中每个体素的背景组成，其中n为体素个数；

细分割深度卷积网络CNN的目标函数为：

其中，

是soft-max层输出类别概率，λ_i是权重因子，N是体素总数，N_i是一个类别L_n内的体素，并且k∈[0，1，2，…，17]表示正确的基本事实类别标签，x为体素点。

2.根据权利要求1所述的基于级联卷积神经网络的3D多椎骨分割方法，其特征在于：所述粗分割全卷积网络FCN对预处理图像的处理过程包括下采样过程和上采样过程：

下采样过程：预处理图像首先经卷积核大小为2×2×2、步长为2、厚度为16的下采样卷积层提取特征值，再通过激活函数PReLU层进行激活，接着传输到具有短连接的下采样重置块；下采样重置块输出的图像数据再依次四次循环输入激活函数PReLU层和下采样重置块，最后输出下采样图像；

上采样过程：将下采样图像经卷积核大小为2×2×2、步长为2、厚度为128的一次反卷积层提取特征值，得到一次反卷积图像；

在叠加层将一次反卷积图像与下采样图像按位置对应叠加，获得叠加图像；再将叠加图像送入具有短连接的上采样重置块；上采样重置块输出的图像数据再依次四次循环输入到二次反卷积层、叠加层和上采样重置块，然后输出上采样图像；所述二次反卷积层的四次循环中，卷积核大小为5×5×5、步长为1、厚度依次为128、64、32、32；

所述的上采样图像再输入到粗分割全卷积网络FCN的soft-max层。

3.根据权利要求2所述的基于级联卷积神经网络的3D多椎骨分割方法，其特征在于：在下采样过程和上采样过程中，所述上采样重置块和下采样重置块对数据的处理过程相同，分别包括：

重置块每一次输入的图像数据，首先经过卷积核大小为5×5×5、步长为1的一次重置卷积层提取特征值，再经BN层计算均值及方差，进行一次归一化处理；

一次归一化处理获得的图像数据再经过一次激活函数ReLU层和卷积核大小为5×5×5、步长为1的二次重置卷积层提取特征值，再经BN层计算均值及方差，进行二次归一化处理；

将二次归一化处理获得的图像数据与重置块当前输入的图像数据叠加后，再输入二次激活函数ReLU层处理，获得重置块的输出图像。

4.根据权利要求3所述的基于级联卷积神经网络的3D多椎骨分割方法，其特征在于：

所述下采样重置块四次循环中一次重置卷积层和二次重置卷积层的厚度依次为32、64、128、256。

5.根据权利要求4所述的基于级联卷积神经网络的3D多椎骨分割方法，其特征在于：

所述补丁贴片分别经过厚度为16的细分割卷积层和max-pooling层提取特征；提取结果再依次循环三次输入细分割卷积层和max-pooling层，获得初始细分割图像；循环三次过程中细分割卷积层的卷积核厚度分别为32、64、18；

将所述初始细分割图像经训练后的细分割深度卷积网络CNN的多分类soft-max层进行分割，获得具有标签的椎骨分割图像；该椎骨分割图像的体素点分为18类，包括17个最终的椎骨分割区域和非椎骨背景区域。

Images