CN114693719A - 基于3D-SE-Vnet的脊柱图像分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于3D‑SE‑Vnet的脊柱图像分割方法，涉及深度学习及医学图像检测技术领域，主要包括：获取当前采集的三维脊柱MRI图像；将当前采集的所述三维脊柱MRI图像输入到训练好的脊柱医学图像分割模型中，以对当前采集的所述三维脊柱MRI图像中的多种脊柱组织进行图像分割；所述训练好的脊柱医学图像分割模型是基于目标3D‑SE‑Vnet网络和样本数据集确定的；所述样本数据集包括多个样本；每个所述样本包括三维脊柱MRI样本图像以及相应的标注信息；所述标注信息包括：表征脊柱组织的信息；本发明能够针对多种脊柱组织区域进行三维图像分割，提高了分割结果的准确性和可靠性，为医学诊断辅助治疗提供关键信息。

Description

基于3D-SE-Vnet的脊柱图像分割方法及系统

技术领域

本发明涉及深度学习及医学图像检测技术领域，特别是涉及一种基于3D-SE-Vnet的脊柱图像分割方法及系统。

背景技术

核磁共振成像(MRI)因其没有电离辐射损害，并且与CT相比，拥有更高的软组织分辨率，已成为椎间盘突出及损伤、椎管狭窄症、骨唇增生等脊柱疾病的主要检查手段。目前临床对脊柱MRI医学影像仍依赖人工目视检查，对医生而言耗时耗力，工作量大，诊断效率低，存在漏诊误诊的风险。因此，利用人工智能技术对脊柱MRI医学影像中主要组织进行自动分割成为医疗行业的迫切需求，从而能够有效辅助医生诊断，为后续脊柱疾病智能诊断提供技术支持。

目前对脊柱MRI医学影像的分割仅是针对椎间盘区域的分割，分割难度及临床实际意义不大。与此同时，由于脊柱MRI医学影像是由序列切片组成的，现有的其分割技术大多采用2D卷积构建深度学习网络模型，仅对二维切片进行分割，忽略了切片的层间联系，损失了切片序列的关联性信息。

发明内容

本发明的目的是提供一种基于3D-SE-Vnet的脊柱图像分割方法及系统，能够针对多种脊柱组织区域进行三维图像分割，提高了分割结果的准确性和可靠性，为医学诊断辅助治疗提供关键信息。

为实现上述目的，本发明提供了如下方案：

第一方面，本发明提供的一种基于3D-SE-Vnet的脊柱图像分割方法，包括：

获取当前采集的三维脊柱MRI图像；

将当前采集的所述三维脊柱MRI图像输入到训练好的脊柱医学图像分割模型中，以对当前采集的所述三维脊柱MRI图像中的多种脊柱组织进行图像分割；

所述训练好的脊柱医学图像分割模型是基于目标3D-SE-Vnet网络和样本数据集确定的；所述样本数据集包括多个样本；每个所述样本包括三维脊柱MRI样本图像以及相应的标注信息；所述标注信息包括：表征脊柱组织的信息；

所述目标3D-SE-Vnet网络为在3D-V-net网络添加3D-SE-net嵌入单元后形成的网络；所述3D-SE-net嵌入单元用于对卷积单元输出的特征图进行加权操作。

可选地，所述目标3D-SE-Vnet网络包括：n层卷积网络；

其中，第2层卷积网络至第n-1层卷积网络均包括第一编码模块和第一解码模块，且所述第一编码模块通过跳连结构与所述第一解码模块连接；第1层卷积网络包括第二编码模块和输出模块，所述第二编码模块通过跳连结构与所述输出模块连接；第n层卷积网络包括第二解码模块；

所述第一编码模块和所述第二编码模块均包括第一残差单元和下采样单元，所述第一残差单元与所述下采样单元连接；所述第一残差单元包括第一卷积子单元、第一特征相加子单元、以及设置在所述第一卷积子单元与所述第一特征相加子单元之间的第一3D-SE-net嵌入单元；

所述第一解码模块和所述第二解码模块均包括第二残差单元和上采样单元，所述第二残差单元与所述上采样单元连接；所述第二残差单元包括第二卷积子单元、第二特征相加子单元、以及设置在所述第二卷积子单元与所述第二特征相加子单元之间的第二3D-SE-net嵌入单元。

可选地，所述样本数据集的确定过程为：

获取多种脊柱MRI影像；所述脊柱MRI影像为具有不同形态的脊柱MRI影像序列切面；

对每种所述脊柱MRI影像均进行格式转换，得到多张横断面T2加权像脊柱切片图像；

对每张所述横断面T2加权像脊柱切片图像进行数据增强和尺寸调整；

将数据增强和尺寸调整后的每张横断面T2加权像脊柱切片图像中每种脊柱组织区域进行像素级别标注，得到标注后的多张横断面T2加权像脊柱切片图像；

将所述标注后的多张横断面T2加权像脊柱切片图像进行三维拼接，得到多个样本。

可选地，所述对每张所述横断面T2加权像脊柱切片图像进行数据增强和尺寸调整，具体包括：

对每张所述横断面T2加权像脊柱切片图像进行平移、旋转、剪裁和缩放，得到多张尺寸大小不相同的横断面T2加权像脊柱切片图像；

对多张所述尺寸大小不相同的横断面T2加权像脊柱切片图像采用双线性插值进行尺寸调整，得到多张尺寸大小均相同的横断面T2加权像脊柱切片图像。

可选地，所述将数据增强和尺寸调整后的每张横断面T2加权像脊柱切片图像中每种脊柱组织区域进行像素级别标注，得到标注后的多张横断面T2加权像脊柱切片图像，具体包括：

对每张尺寸大小均相同的横断面T2加权像脊柱切片图像中的每种脊柱组织对应区域内的像素点分别进行标注，并在每种脊柱组织对应的区域内标记上不同的颜色标签，得到标注后的多张横断面T2加权像脊柱切片图像。

可选地，所述训练好的脊柱医学图像分割模型的确定过程为：

将所述样本数据集以病例为单位进行随机排序，并将随机排序后的样本数据集划分为训练集和测试集；

构建基于3D-SE-Vnet网络的脊柱医学图像分割模型；

将所述训练集输入到所述基于3D-SE-V-net网络的脊柱医学图像分割模型中进行训练，当损失函数值和预测准确率达到期望水平时，训练结束，得到训练好的脊柱医学图像分割模型；所述预测准确率为被准确分类的像素占总像素的百分比；

将所述测试集输入到所述训练好的三维脊柱医学图像分割模型中，并采用语义分割评价指标MIoU对所述三维脊柱医学图像分割模型的预测准确性进行评估。

可选地，所述将所述训练集输入到所述基于3D-SE-V-net网络的脊柱医学图像分割模型中进行训练，当损失函数值和准确率达到期望水平时，训练结束，得到训练好的脊柱医学图像分割模型，具体包括：

将所述三维脊柱MRI样本图像输入到所述基于3D-SE-V-net网络的脊柱医学图像分割模型中进行训练，得到多个输出结果，且每个所述输出结果为仅包括一种脊柱组织的三维图像；

计算所述基于3D-SE-V-net网络的脊柱医学图像分割模型的预测准确率；

采用带权重交叉熵损失函数，计算所述三维脊柱MRI样本图像的标注信息和多个输出结果之间的损失值；

当所述损失值和所述预测准确率达到期望值时，得到训练好的脊柱医学图像分割模型。

可选地，所述脊柱医学图像分割模型采用ADAM优化器进行模型训练。

第二方面，本发明提供的一种基于3D-SE-Vnet的脊柱图像分割系统，包括：

三维脊柱MRI图像获取模块，用于获取当前采集的三维脊柱MRI图像；

三维脊柱MRI图像分割模块，用于将当前采集的所述三维脊柱MRI图像输入到训练好的脊柱医学图像分割模型中，以对当前采集的所述三维脊柱MRI图像中的多种脊柱组织进行图像分割；

所述训练好的脊柱医学图像分割模型是基于目标3D-SE-Vnet网络和样本数据集确定的；所述样本数据集包括多个样本；每个所述样本包括三维脊柱MRI样本图像以及相应的标注信息；所述标注信息包括：表征脊柱组织的信息；

所述目标3D-SE-Vnet网络为在3D-V-net网络添加3D-SE-net嵌入单元后形成的网络；所述3D-SE-net嵌入单元用于对卷积单元输出的特征图进行加权操作。

可选地，还包括：样本数据集确定模块；

所述样本数据集确定模块，包括：

脊柱MRI影像获取单元，用于获取多种脊柱MRI影像；所述脊柱MRI影像为具有不同形态的脊柱MRI影像序列切面；

脊柱MRI影像转换单元，用于对每种所述脊柱MRI影像均进行格式转换，得到多张横断面T2加权像脊柱切片图像；

脊柱切片图像处理单元，用于对每张所述横断面T2加权像脊柱切片图像进行数据增强和尺寸调整；

脊柱切片图像标注单元，用于将数据增强和尺寸调整后的每张横断面T2加权像脊柱切片图像中每种脊柱组织区域进行像素级别标注，得到标注后的多张横断面T2加权像脊柱切片图像；

脊柱切片图像拼接单元，用于将所述标注后的多张横断面T2加权像脊柱切片图像进行三维拼接，得到多个样本。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明的脊柱医学图像分割模型能够对三维脊柱MRI图像进行分割，并且在3D-V-net网络结构中嵌入3D-SE-net模块，在模型每层结构中自动学习各通道重要程度及其间关系，不仅保留了切片与切片之间的层间特征联系，而且还大大提高了分割结果的准确性和可靠性。与此同时，本发明能够针对多种组织区域(如：特定的椎间盘、椎间盘异样区域、椎管、关节突等)进行分割，为医疗辅助诊断的提供了关键信息，克服了传统依赖人工目视检查的方法，进一步提高了医生的诊断准确度和诊断效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于3D-SE-Vnet的脊柱图像分割方法流程图；

图2为本发明3D-SE-Vnet网络结构图；

图3为本发明3D-SE-net嵌入单元结构图；

图4为本发明基于3D-SE-Vnet的脊柱图像分割系统结构图。

图5为本发明利用3D-Vnet模型和加权3D-SE-Vnet模型对脊柱医学图像进行分割的结果对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于3D-SE-Vnet的脊柱图像分割方法及系统，能够针对多种脊柱组织区域进行三维图像分割，提高了分割结果的准确性和可靠性，为医学诊断辅助治疗提供关键信息。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明实施例提供了一种基于3D-SE-Vnet的脊柱图像分割方法，包括：

步骤100：获取当前采集的三维脊柱MRI图像。

步骤200：将当前采集的所述三维脊柱MRI图像输入到训练好的脊柱医学图像分割模型中，以对当前采集的所述三维脊柱MRI图像中的多种脊柱组织进行图像分割。

所述训练好的脊柱医学图像分割模型是基于目标3D-SE-Vnet网络和样本数据集确定的；所述样本数据集包括多个样本；每个所述样本包括三维脊柱MRI样本图像以及相应的标注信息；所述标注信息包括：表征脊柱组织的信息。

所述目标3D-SE-Vnet网络为在3D-V-net网络添加3D-SE-net嵌入单元后形成的网络；所述3D-SE-net嵌入单元用于对卷积单元输出的特征图进行加权操作。

进一步地，如图2所示，所述目标3D-SE-Vnet网络包括：n层卷积网络。

其中，第2层卷积网络至第n-1层卷积网络均包括第一编码模块和第一解码模块，且所述第一编码模块通过跳连结构与所述第一解码模块连接；第1层卷积网络包括第二编码模块和输出模块，所述第二编码模块通过跳连结构与所述输出模块连接；第n层卷积网络包括第二解码模块。

所述第一编码模块和所述第二编码模块均包括第一残差单元和下采样单元，所述第一残差单元与所述下采样单元连接；所述第一残差单元包括第一卷积子单元、第一特征相加子单元、以及设置在所述第一卷积子单元与所述第一特征相加子单元之间的第一3D-SE-net嵌入单元。

所述第一解码模块和所述第二解码模块均包括第二残差单元和上采样单元，所述第二残差单元与所述上采样单元连接；所述第二残差单元包括第二卷积子单元、第二特征相加子单元、以及设置在所述第二卷积子单元与所述第二特征相加子单元之间的第二3D-SE-net嵌入单元。

本发明的目标3D-SE-Vnet网络融合了跳连结构以及残差思想的3D-V-net网络作为主体，提出了3D-SE-net嵌入单元，并将其嵌入于主体网络中的每一层卷积网络中，下面对目标3D-SE-Vnet网络结构进行详细说明：

(1)主体3D-V-net网络结构

该网络是端到端的全卷积网络，输入输出均为三维图像。输入是一个尺寸为512×512×12三维脊柱MRI图像，输出是5个尺寸为512×512×12的预测值三维矩阵，分别对应五种分类(0-背景，1-椎间盘，2-椎间盘异样区域，3-椎管，4-关节突)。网络结构呈V形，在竖直方向上，按照数据流方向可划分为左侧的压缩路径(contracting path)和右侧的扩展路径(expansive path)。左侧路径负责数据抽象与编码，右侧路径负责信息解码与语义分割。网络从上至下一共分为五层，左侧路径逐层对原始图像的特征数据进行抽象提取(下采样)，右侧路径逐层对所提取的特征进行像素还原(上采样)。

具体而言，本发明目标3D-SE-Vnet网络中卷积操作的卷积核尺寸默认为3×3×3，步长为1,1,1，激活函数采用PReLU；下采样操作(down-conv)采用卷积代替池化，卷积核尺寸均为2×2×1，步长为2,2,1；上采样操作(up-conv)进行反卷积，卷积核尺寸均为2×2×1，步长为2,2,1。对于左侧路径，第一层网络对输入的三维脊柱MRI图像进行卷积，得到16通道的特征图(feature map)。然后进行下采样，特征图的第一维度和第二维度尺寸减小一半，第三维度尺寸不变，通道数增加一倍。此后第二至第五层变化一致，第一维度和第二维度尺寸分别为256,128,64,32，通道数分别为32,64,128,256。对于右侧路径，从第五层末端上采样开始，特征图的第一维度和第二维度尺寸增大一倍，第三维度尺寸不变。首次上采样后第四层通道数仍保持256不变，此后第三、二、一层通道数减半，分别为128,64,32，最后得到32通道的与原输入尺寸一致的特征图，经过一次卷积核大小为1×1×1的卷积操作，激活函数采用Softmax，输出5通道的预测值三维矩阵。对于网络整体，第二层只进行了两次卷积，第三、四、五层均进行了三次卷积。

其中，网络中的跳连结构(skip connection)在每一层将左侧输出的特征图与右侧输入的特征图拼接(concat)起来再进行卷积，增强模型的定位能力，提高分割精度。由于在下采样过程中，随着抽象程度的提高，图像的位置信息也会不断缺失。在上采样过程中，通过跳连结构融合包含高分辨率位置信息的上层特征图，补充恢复原始图像中的位置信息。

网络中地残差结构则是每次上下采样的输出除了传到下一层进行卷积操作，还与该层卷积后的结果进行特征值相加(element-wise sum)。虽然网络深度越深越好，但深度增加会伴随网络退化的问题，即由于网络变深导致难以训练。加入残差网络能够解决网络退化问题，避免梯度消失和梯度爆炸，使网络训练更快收敛。

(2)3D-SE-net嵌入单元

本发明所构建的3D-SE-net嵌入单元结构如图3所示，将其嵌入主体3D-V-net网络的每一层的残差结构内部，可以自动学习各个通道间的关系，得到不同通道特征的重要程度，从而对各通道特征图进行加权，只需增加较少计算量即可带来模型性能的提升。

3D-SE-net嵌入单元的构建思想是首先采用全局平均池化(global averagepooling)策略，对输入的特征图进行特征压缩(Squeeze)操作，将每个通道的整个空间编码为一个全局特征值。然后进行表征输出(Excitation)操作，经过两个全连接层，输出各通道权重。最后对初始输入特征图进行加权。

针对输入输出均是三维的特征图，构建3D-SE-net嵌入单元。输入的三维特征图经过3D的全局平均池化层，得到一个尺寸为1×1×1×C的特征向量，其中C为通道数。然后经过神经元个数为

的全连接层，激活函数采用ReLU，得到尺寸为

的特征向量，其中r为超参数，可根据模型性能进行调整。再经过神经元个数为C的全连接层，激活函数采用Sigmoid，得到尺寸为1×1×1×C的权重向量。最后将权重向量通过乘法逐通道对输入3D-SE-net嵌入单元的初始三维特征图进行加权，完成在通道维度上对三维特征图重要程度的重新标定。

进一步地，所述样本数据集的确定过程为：

步骤a：获取多种脊柱MRI影像；所述脊柱MRI影像为具有不同形态的脊柱MRI影像序列切面；

其中，影像数据均来自三甲医院的临床病例，影像类型包含椎间盘、椎管、关节突等脊柱组织的多种不同形态的脊柱MRI影像序列切面。

步骤b：对每种所述脊柱MRI影像均进行格式转换，得到多张横断面T2加权像脊柱切片图像。

由于MRI仪器的影像文件保存格式特殊且内容复杂，需要通过专门软件选择所需的方位和加权像，导出成jpg格式。本发明采用多张横断面T2加权像(T2WI)切片图像，重点突出组织的横向弛豫差别，使横断面MRI影像中的椎间盘和椎管等结构清晰显示。

步骤c：对每张所述横断面T2加权像脊柱切片图像进行数据增强和尺寸调整。

所述步骤c具体为：对每张所述横断面T2加权像脊柱切片图像进行平移、旋转、剪裁和缩放，得到多张尺寸大小不相同的横断面T2加权像脊柱切片图像；

对多张所述尺寸大小不相同的横断面T2加权像脊柱切片图像采用双线性插值进行尺寸调整，得到多张尺寸大小均相同的横断面T2加权像脊柱切片图像。

对于机器学习而言，训练样本越充足，模型的泛化能力越强，分割效果越好。但由于医学影像样本数量有限，需要对其进行扩充，即数据增强。通过对原始切片图像进行平移、旋转、剪裁、缩放等操作，使得模型具有平移、旋转等不变性，防止过拟合，提升模型鲁棒性。

其中，对数据进行特征缩放，将原本分布在[0,255]区间的像素值缩放到[0,1]区间内。特征缩放使多维特征具有相近尺度，让梯度下降算法更快收敛。

并且，由于深度学习模型的输入尺寸固定，因此要对数据集的所有脊柱切片图像尺寸进行统一。将脊柱切片图像大小即模型输入的二维尺寸设置为512×512。采用双线性插值进行尺寸调整。

步骤d：将数据增强和尺寸调整后的每张横断面T2加权像脊柱切片图像中每种脊柱组织区域进行像素级别标注，得到标注后的多张横断面T2加权像脊柱切片图像。

所述步骤d具体为：对每张尺寸大小均相同的横断面T2加权像脊柱切片图像中的每种脊柱组织对应区域内的像素点分别进行标注，并在每种脊柱组织对应的区域内标记上不同的颜色标签，得到标注后的多张横断面T2加权像脊柱切片图像。

语义分割任务的标注实质上是对图像中每一个像素进行分类，将背景区域像素值标注为0，将待分割目标区域像素值根据其分类标注为1，2...等。对脊柱MRI切片图像进行标注，将不同类别的待分割目标区域涂上不同颜色标签，标注结果以png文件格式储存。

为了能够更好地满足临床医生对脊柱疾病辅助诊断的需求，除了对椎间盘区域进行标注以外，还对椎间盘异样区域、椎管、关节突部分进行标注。切片图像的像素点值与其类别对应关系是：0-背景，1-椎间盘，2-椎间盘异样区域，3-椎管，4-关节突。

其中，椎间盘为位于脊柱MRI图像中央、呈椭圆形、下边缘稍凹进、包含中间的髓核和外围的纤维环的低信号区域；而椎间盘异样区域则为椎间盘形状不规则不圆滑部分；关节突为位于椎间盘下方、呈Y型的低信号结构；椎管为位于椎间盘和关节突中间、包含脊髓以及下方韧带脂肪、由硬膜囊包裹的三角形高信号区域。

同时，检查图像及标注数据的正误，确保像素点值与其对应分类一致，将不具有代表性、标注错误和异常样本进行数据清理。

步骤e：将所述标注后的多张横断面T2加权像脊柱切片图像进行三维拼接，得到多个样本。

从医疗影像仪器导出的是横断面从上至下的序列切片，而训练模型所需数据是三维的，故要将切片按顺序进行拼接。将拼接后数据转化为三维像素值矩阵，保存为TensorFlow深度学习框架支持的npy格式文件。

进一步地，所述训练好的脊柱医学图像分割模型的确定过程为：

步骤A：将所述样本数据集以病例为单位进行随机排序，并将随机排序后的样本数据集按照8：2比例划分为训练集和测试集。

步骤B：构建基于3D-SE-Vnet网络的脊柱医学图像分割模型。

步骤C：将所述训练集输入到所述基于3D-SE-V-net网络的脊柱医学图像分割模型中进行训练，当损失函数值和预测准确率达到期望水平时，训练结束，得到训练好的脊柱医学图像分割模型；所述预测准确率为被准确分类的像素占总像素的百分比。

所述步骤C具体为：

C1：将所述三维脊柱MRI样本图像输入到所述基于3D-SE-V-net网络的脊柱医学图像分割模型中进行训练，得到多个输出结果，且每个所述输出结果为仅包括一种脊柱组织的三维图像。

其中，使用ADAM优化器进行模型训练。批次大小、学习率、训练epoch根据具体训练情况决定。

C2：计算所述基于3D-SE-V-net网络的脊柱医学图像分割模型的预测准确率。

C3：采用带权重交叉熵损失函数，计算所述三维脊柱MRI样本图像的标注信息和多个输出结果之间的损失值。

对于损失函数的选择，由于切片图像的感兴趣区域(除0-背景外)相对于背景区域较小，因此要平衡背景和感兴趣区域对损失函数的贡献，避免模型倾向背景，训练过程陷入局部最优。可采用带权重交叉熵(weighted cross-entropy)损失函数。

带权重交叉熵损失函数计算公式为：

其中，N表示像素点总数，M表示像素点类别数量，L_i表示第i个像素点的损失值；w_i表示该像素点权重；当真实类别为c时y_ic＝1，否则y_ic＝0；p_ic为该像素点属于类别c的预测概率。

各像素权重矩阵由真实分割结果及各类别区域占比决定，其计算公式为：

其中，N表示像素点总数；M表示像素点类别数量；c为真实类别；m_c为真实分割结果中属于类别c的像素区域对应的0,1掩码矩阵；m_ci为0,1掩码矩阵的第i个元素。

C4：当所述损失值和所述预测准确率达到期望值时，得到训练好的脊柱医学图像分割模型。

步骤D：将所述测试集输入到所述训练好的三维脊柱医学图像分割模型中，并采用语义分割评价指标MIoU对所述三维脊柱医学图像分割模型的预测准确性进行评估。

进一步地，所述基于3D-SE-Vnet的脊柱图像分割方法还包括：

步骤300：对所述分割结果进行可视化输出

所述步骤300具体为：

分割结果输出：模型最后经过激活函数为Softmax的卷积层后，输出5通道的预测值三维矩阵，矩阵尺寸为5×512×512×12，每个通道代表三维图像中每一个像素属于该类的概率值。将输出的5通道预测结果经过argmax函数，返回5通道中每个像素的最大预测值的索引，得到尺寸与输入图像同为512×512×12的分割结果，即各像素值为0(背景)、1(椎间盘)、2(椎间盘异样区域)、3(椎管)或4(关节突)的分类矩阵。

结果可视化：将经过argmax函数处理后的分割结果除以4再乘以255，完成各分割区域从0(黑色)到255(白色)的映射显示，并将分割图片显示和保存。再将原图与分割图叠加，叠加图＝0.5*原图+0.5*分割图，从而实现切片分割结果的可视化。

三维重建显示：采用光线投射法对分割结果进行三维体重建。将三维图像中需要重建的类别对象进行分割预处理，并设置不同类别像素点的色彩值和不透明度。使用三线性差值进行重采样，求得各采样点的色彩值和不透明度，进而合成投影平面，得到最终三维重建图像。

分割区域关键信息计算：为了能够更直观地为医生提供辅助诊断参考，对分割结果的关键区域进行定量分析。利用分割结果像素值为0-4的分类矩阵进行计算分析，得到脊柱MRI各切面的椎管矢状径、椎间盘面积、异样区域位置等信息。其中椎管矢状径是通过计算各切面中分割结果为3(椎管)区域的垂直跨度；椎间盘面积是通过计算各切面中分割结果为1(椎间盘)区域的像素点数；异样区域位置则是通过分析各切面中分割结果为2(椎间盘异样区域)的像素点所在的中心位置。

实施例1

经临床医生标注的脊柱MRI切片图像一共由70个病例组成。每个病例有12张脊柱MRI切片，合成一个三维图像。以8:2的比例划分训练集和测试集，即用由56个三维脊柱MRI图像组成的训练集训练模型，在由14个三维图像组成的测试集上评估模型性能。每个切片图像分辨率为512×512，三维图像尺寸则为512×512×12。

如图5所示，训练一共迭代了300世代，前150世代设置学习率为0.001，后150世代设置学习率为0.0001。使用3D-V-net模型分割准确率达到94.6％，MIoU指标达到73.4％；使用3D-SE-Vnet模型并采用加权交叉熵损失函数，分割准确率达到98.9％，MIoU指标达到92.5％。

相比于3D-V-net，加入了通道注意力机制的模块(3D-SE-net嵌入单元)的3D-SE-Vnet分割精度更高。

如图4所示，本发明提供一种基于3D-SE-Vnet的脊柱图像分割系统，包括：

三维脊柱MRI图像获取模块401，用于获取当前采集的三维脊柱MRI图像；

三维脊柱MRI图像分割模块402，用于将当前采集的所述三维脊柱MRI图像输入到训练好的脊柱医学图像分割模型中，以对当前采集的所述三维脊柱MRI图像中的多种脊柱组织进行图像分割；

所述训练好的脊柱医学图像分割模型是基于目标3D-SE-Vnet网络和样本数据集确定的；所述样本数据集包括多个样本；每个所述样本包括三维脊柱MRI样本图像以及相应的标注信息；所述标注信息包括：表征脊柱组织的信息。

所述目标3D-SE-Vnet网络为在3D-V-net网络添加3D-SE-net嵌入单元后形成的网络；所述3D-SE-net嵌入单元用于对卷积单元输出的特征图进行加权操作。

进一步地，基于3D-SE-Vnet的脊柱图像分割系统还包括：样本数据集确定模块；

所述样本数据集确定模块，包括：

脊柱MRI影像获取单元，用于获取多种脊柱MRI影像；所述脊柱MRI影像为具有不同形态的脊柱MRI影像序列切面。

脊柱MRI影像转换单元，用于对每种所述脊柱MRI影像均进行格式转换，得到多张横断面T2加权像脊柱切片图像。

脊柱切片图像处理单元，用于对每张所述横断面T2加权像脊柱切片图像进行数据增强和尺寸调整。

脊柱切片图像标注单元，用于将数据增强和尺寸调整后的每张横断面T2加权像脊柱切片图像中每种脊柱组织区域进行像素级别标注，得到标注后的多张横断面T2加权像脊柱切片图像。

脊柱切片图像拼接单元，用于将所述标注后的多张横断面T2加权像脊柱切片图像进行三维拼接，得到多个样本。

综上所述，本发明相较于现有技术具有以下技术效果：

(1)根据医生临床诊断的实际标准及需求，对特定的椎间盘、椎间盘异样区域、椎管、关节突四个区域进行分割，并且进一步定量分析椎管矢状径、椎间盘面积、异样区域位置等辅助诊断的关键信息。相比于传统脊柱MRI的分割技术，分割区域更全面多样，更具有临床实际意义。

(2)本发明实现对三维脊柱MRI图像分割，从模型训练到预测过程输入及输出均为三维图像，模型的构建均是3D的。相比于当前均是二维层面的脊柱MRI分割技术，三维的脊柱MRI图像分割能提取分析切片与切片之间的层间特征联系，保留了切片层间信息，无论从医学角度还是从机器学习效果看均大大提高分割结果的准确性和可靠性，便于后续三维重建和显示。

(3)本发明设计了以3D-V-net为主体结构的脊柱MRI图像分割网络模型，重点提出构建并应用3D-SE-net嵌入单元，在模型每层结构中自动学习各通道重要程度及其间关系，只需增加较少计算量便可带来网络分割精度的提升。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于3D-SE-Vnet的脊柱图像分割方法，其特征在于，包括：

获取当前采集的三维脊柱MRI图像；

将当前采集的所述三维脊柱MRI图像输入到训练好的脊柱医学图像分割模型中，以对当前采集的所述三维脊柱MRI图像中的多种脊柱组织进行图像分割；

所述训练好的脊柱医学图像分割模型是基于目标3D-SE-Vnet网络和样本数据集确定的；所述样本数据集包括多个样本；每个所述样本包括三维脊柱MRI样本图像以及相应的标注信息；所述标注信息包括：表征脊柱组织的信息；

所述目标3D-SE-Vnet网络为在3D-V-net网络添加3D-SE-net嵌入单元后形成的网络；所述3D-SE-net嵌入单元用于对卷积单元输出的特征图进行加权操作。

2.根据权利要求1所述的基于3D-SE-Vnet的脊柱图像分割方法，其特征在于，所述目标3D-SE-Vnet网络包括：n层卷积网络；

其中，第2层卷积网络至第n-1层卷积网络均包括第一编码模块和第一解码模块，且所述第一编码模块通过跳连结构与所述第一解码模块连接；第1层卷积网络包括第二编码模块和输出模块，所述第二编码模块通过跳连结构与所述输出模块连接；第n层卷积网络包括第二解码模块；

所述第一编码模块和所述第二编码模块均包括第一残差单元和下采样单元，所述第一残差单元与所述下采样单元连接；所述第一残差单元包括第一卷积子单元、第一特征相加子单元、以及设置在所述第一卷积子单元与所述第一特征相加子单元之间的第一3D-SE-net嵌入单元；

所述第一解码模块和所述第二解码模块均包括第二残差单元和上采样单元，所述第二残差单元与所述上采样单元连接；所述第二残差单元包括第二卷积子单元、第二特征相加子单元、以及设置在所述第二卷积子单元与所述第二特征相加子单元之间的第二3D-SE-net嵌入单元。

3.根据权利要求1所述的基于3D-SE-Vnet的脊柱图像分割方法，其特征在于，所述样本数据集的确定过程为：

获取多种脊柱MRI影像；所述脊柱MRI影像为具有不同形态的脊柱MRI影像序列切面；

对每种所述脊柱MRI影像均进行格式转换，得到多张横断面T2加权像脊柱切片图像；

对每张所述横断面T2加权像脊柱切片图像进行数据增强和尺寸调整；

将数据增强和尺寸调整后的每张横断面T2加权像脊柱切片图像中每种脊柱组织区域进行像素级别标注，得到标注后的多张横断面T2加权像脊柱切片图像；

将所述标注后的多张横断面T2加权像脊柱切片图像进行三维拼接，得到多个样本。

4.根据权利要求3所述的基于3D-SE-Vnet的脊柱图像分割方法，其特征在于，所述对每张所述横断面T2加权像脊柱切片图像进行数据增强和尺寸调整，具体包括：

对每张所述横断面T2加权像脊柱切片图像进行平移、旋转、剪裁和缩放，得到多张尺寸大小不相同的横断面T2加权像脊柱切片图像；

对多张所述尺寸大小不相同的横断面T2加权像脊柱切片图像采用双线性插值进行尺寸调整，得到多张尺寸大小均相同的横断面T2加权像脊柱切片图像。

5.根据权利要求4所述的基于3D-SE-Vnet的脊柱图像分割方法，其特征在于，所述将数据增强和尺寸调整后的每张横断面T2加权像脊柱切片图像中每种脊柱组织区域进行像素级别标注，得到标注后的多张横断面T2加权像脊柱切片图像，具体包括：

对每张尺寸大小均相同的横断面T2加权像脊柱切片图像中的每种脊柱组织对应区域内的像素点分别进行标注，并在每种脊柱组织对应的区域内标记上不同的颜色标签，得到标注后的多张横断面T2加权像脊柱切片图像。

6.根据权利要求5所述的基于3D-SE-Vnet的脊柱图像分割方法，其特征在于，所述训练好的脊柱医学图像分割模型的确定过程为：

将所述样本数据集以病例为单位进行随机排序，并将随机排序后的样本数据集划分为训练集和测试集；

构建基于3D-SE-Vnet网络的脊柱医学图像分割模型；

将所述训练集输入到所述基于3D-SE-V-net网络的脊柱医学图像分割模型中进行训练，当损失函数值和预测准确率达到期望水平时，训练结束，得到训练好的脊柱医学图像分割模型；所述预测准确率为被准确分类的像素占总像素的百分比；

将所述测试集输入到所述训练好的三维脊柱医学图像分割模型中，并采用语义分割评价指标MIoU对所述三维脊柱医学图像分割模型的预测准确性进行评估。

7.根据权利要求6所述的基于3D-SE-Vnet的脊柱图像分割方法，其特征在于，所述将所述训练集输入到所述基于3D-SE-V-net网络的脊柱医学图像分割模型中进行训练，当损失函数值和准确率达到期望水平时，训练结束，得到训练好的脊柱医学图像分割模型，具体包括：

将所述三维脊柱MRI样本图像输入到所述基于3D-SE-V-net网络的脊柱医学图像分割模型中进行训练，得到多个输出结果，且每个所述输出结果为仅包括一种脊柱组织的三维图像；

计算所述基于3D-SE-V-net网络的脊柱医学图像分割模型的预测准确率；

采用带权重交叉熵损失函数，计算所述三维脊柱MRI样本图像的标注信息和多个输出结果之间的损失值；

当所述损失值和所述预测准确率达到期望值时，得到训练好的脊柱医学图像分割模型。

8.根据权利要求6所述的基于3D-SE-Vnet的脊柱图像分割方法，其特征在于，所述脊柱医学图像分割模型采用ADAM优化器进行模型训练。

9.一种基于3D-SE-Vnet的脊柱图像分割系统，其特征在于，包括：

三维脊柱MRI图像获取模块，用于获取当前采集的三维脊柱MRI图像；

三维脊柱MRI图像分割模块，用于将当前采集的所述三维脊柱MRI图像输入到训练好的脊柱医学图像分割模型中，以对当前采集的所述三维脊柱MRI图像中的多种脊柱组织进行图像分割；

所述训练好的脊柱医学图像分割模型是基于目标3D-SE-Vnet网络和样本数据集确定的；所述样本数据集包括多个样本；每个所述样本包括三维脊柱MRI样本图像以及相应的标注信息；所述标注信息包括：表征脊柱组织的信息；

所述目标3D-SE-Vnet网络为在3D-V-net网络添加3D-SE-net嵌入单元后形成的网络；所述3D-SE-net嵌入单元用于对卷积单元输出的特征图进行加权操作。

10.根据权利要求9所述的基于3D-SE-Vnet的脊柱图像分割系统，其特征在于，还包括：样本数据集确定模块；

所述样本数据集确定模块，包括：

脊柱MRI影像获取单元，用于获取多种脊柱MRI影像；所述脊柱MRI影像为具有不同形态的脊柱MRI影像序列切面；

脊柱MRI影像转换单元，用于对每种所述脊柱MRI影像均进行格式转换，得到多张横断面T2加权像脊柱切片图像；

脊柱切片图像处理单元，用于对每张所述横断面T2加权像脊柱切片图像进行数据增强和尺寸调整；

脊柱切片图像标注单元，用于将数据增强和尺寸调整后的每张横断面T2加权像脊柱切片图像中每种脊柱组织区域进行像素级别标注，得到标注后的多张横断面T2加权像脊柱切片图像；

脊柱切片图像拼接单元，用于将所述标注后的多张横断面T2加权像脊柱切片图像进行三维拼接，得到多个样本。

Images