CN118037668A - 基于深度学习的ct脊柱影像的椎弓根识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的CT脊柱影像的椎弓根识别方法，对单个椎骨模型进行预处理，然后利用卷积神经网络对脊柱计算机断层扫描(CT)图像进行学习和训练，通过建立神经网络模型确定网络内各层间的调整参数，然后对样本图像进行特征提取并分类，从单个椎骨中分割出椎弓根区域，分割结果生成椎弓根轮廓作为手术参考，最后采用并交比验证法来验证卷积神经网络模型的正确性。

Description

基于深度学习的CT脊柱影像的椎弓根识别方法

技术领域

本发明涉及医学算法领域，尤其涉及一种基于深度学习的CT脊柱影像的椎弓根识别方法。

背景技术

脊柱的椎体从解剖上可以分为前、中、后三个部分(也叫前柱、中柱、后柱)，前柱是脊柱的椎体，后柱是脊柱的椎板棘突关节等附件结构，中柱就是连接前后柱的双侧椎弓根。其中椎弓根是人体脊柱的重要结构之一，起于椎体后上部，垂直向后方凸起，短而厚，皮质骨环绕四周，表面光滑坚硬，上面是椎间盘、椎间孔，下面是下位椎间孔，内侧为侧方椎管(侧隐窝)。临近重要外科区域，位置恒定，而且不容易发生增生退变。椎弓根在腰椎疾病的术前定位诊断，术中操作参照，以及经皮椎弓根螺钉植入等方面，发挥重要作用，对于医学影像分析和临床诊断具有重要意义。是微创手术的理想解剖参照物，能极大提高手术效率和安全性，是名副其实的微创手术的导航灯塔。在手术时需要利用椎弓根螺钉来重建脊柱的稳定性是脊柱外科最常用的手术技术之一，如何正确高效设别椎弓根一直是脊柱外科界追求的目标。

传统的椎弓根识别方法通常依赖于人工手动测量CT断层图像，难以准确找到椎弓根最狭窄处的径线，存在着精度低、依赖人工经验等问题。由于医生的专业水平不一样，往往导致误差会被放大，并不能准确识别出椎弓根的位置，无法实现真正意义上的椎弓根识别。

综上所述，需要一种基于深度学习的CT脊柱影像的椎弓根识别方法来解决现有技术中所存在的不足之处。

发明内容

针对现有技术的不足，本发明提供了一种基于深度学习的CT脊柱影像的椎弓根识别方法，旨在解决上述问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度学习的CT脊柱影像的椎弓根识别方法，包括以下步骤：

步骤S1：数据收集，收集脊椎的CT影像数据，对CT影像中椎弓根轮廓进行标注，并生成训练数据集和训练验证集；

步骤S2：数据初始化，对收集到的CT脊柱影像数据进行预处理，对所有数据进行重采样；

步骤S3：模型构建，构建卷积神经网络模型，卷积神经网络模型包括脊柱单节椎体识别模型和椎弓根轮廓识别模型；

步骤S4：模型训练，在Tensorflow上搭建卷积神经网络模型，采用迭代逼近的方法，使用训练数据集进行训练调整参数，直至训练验证集验证通过；

步骤S5：轮廓识别，输入患者的脊柱CT影像数据，使用训练好的卷积神经网络模型，自动在CT影像上定位识别关键信息，自动识别椎弓根。

可选的，所述步骤S2中对所有数据进行重采样为：对单一脊柱胸腰连扫的图像进行归一化处理，对序列重新采样，每个序列随机产生若干起点，连续采集指定数量的数据作为训练数据。

可选的，所述步骤S3中脊柱单节椎体识别模型和椎弓根轮廓识别模型均为七层的深度3D卷积神将网络模型。

可选的，所述七层的深度3D卷积神将网络模型的每一层后接ReLU激活函数和Max-Pooling层，经过一个全链接层后反卷积处理，使用Conv3D的1*1卷积核，用Sigmoid激活后进行比对。

可选的，所述椎弓根轮廓识别模型的训练模型为3D-Unet模型，3D-Unet模型包括若干依次串联的训练卷积层。

可选的，所述训练验证集进行验证为：将训练验证集中标注的轮廓和通过预测得到的轮廓使用并交比函数进行对比，计算出模型预测的所有目标中预测正确的比例Precision和所有实际标注目标中模型预测正确的比例Recall。

可选的，所述比例计算的公式为：

设定实际轮廓是A，计算得到的轮廓为B，

并交比IOU＝(A∩B/A∪B)

其中式中，TP为预测准确的个数，FP为IOU小于0.5的数量；FN为完全没有预测到的数量。

可选的，所述卷积神经网络模型的评判指标为调和平均数F，计算公式为：

其中，Precision为模型预测的所有目标中预测正确的比例，Recall为实际标注目标中模型预测正确的比例。

本发明的有益效果：

1、本发明中，通过深度学习算法，实现了对椎弓根的自动识别，减轻了医生的负担，提高了操作效率；

2、本发明中，利用大量的训练数据和深度学习算法，能够更精确地定位识别到椎弓根，降低了手术风险；

3、本发明中，对单个椎骨模型进行预处理，然后利用卷积神经网络对脊柱计算机断层扫描(CT)图像进行学习和训练，通过建立神经网络模型确定网络内各层间的调整参数，然后对样本图像进行特征提取并分类，从单个椎骨中分割出椎弓根区域，分割结果生成椎弓根轮廓作为手术参考，最后采用并交比验证法来验证卷积神经网络模型的正确性。

附图说明

图1为本发明方法的一种流程示意图。

图2为生成单节椎节影像的一种流程图。

图3为数据初始化层厚调整的一种流程图。

图4为数据初始化图像块调整的一种流程图。

图5为3D-Unet模型的一种流程图。

具体实施方式

为了更清楚地说明发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

结合说明书附图1-图5，对本技术方案进行详细说明。

如图1所示，一种基于深度学习的CT脊柱影像的椎弓根识别方法，包括数据收集：收集1000套脊椎的CT影像数据，并对CT影像中椎弓根轮廓进行标注，然后分出其中的800套作为训练数据集，用于训练整个网络、100套作为验证数据集，用于调整神经网络的超参数，在训练过程验证整个网络的准确性，且在训练过程中会被不断使用、100套作为测试数据集，用于最终验证整个网络的准确性，在训练过程中不会被使用，只用于确认最终的网络准确性；

如图2，，在单个椎节识别出来后，获取到单个椎节的标识图(3D)的边界范围。和相应的CT的图像数据相乘获得到只有单个锥体的CT数据，由于锥体大小不尽相同，所以需要把单个锥体的CT数据归一化到一致尺寸：256*256*64。作为训练数据集。

数据初始化：对收集到的所有的脊柱影像数据进行预处理，由于存在CT影像数据间的层间距不同的限制，首先对所有数据进行重采样。

如图3，数据初始化中层厚调整为：考虑到单一脊柱胸腰连扫的图像数量比较大，图像统一归一化到1.25mm层厚。

如图4，图像块调整：由于使用到了3D网络，训练时候容易爆显存。把序列进行重新采样到256*256*128，128层数据在1.25的层厚情况下大于是160mm，可以大约包含5个椎节。这个可以完全满足训练要求。为了增加样本数量，每个序列随机产生数个起点，连续采集128层后作为训练数据，Mask数据和Image数据为相同处理方式，最后保存为nrrd数据格式，只需要数据不需要保存坐标数据。

模型构建：模型整体分2大部分：第一部分为脊柱单节锥体识别，第二部分为构建椎弓根轮廓识别网络模型，均为7层的深度3D卷积神经网络，每一层后接ReLU激活函数和Max-Pooling层，经过一个全链接层后反卷积处理，最后使用Conv3D的1*1卷积核，激活用Sigmoid后进行比对。

模型训练：采用迭代逼近的方法。在Tensorflow上搭建上述的网络模型，并进行训练调参。采用配置为英伟达3090Ti,显存为24GB,英特尔i5-11400CPU，64GB内存的工作站。实验软件：操作系统为Ubuntu 18LTS 64位版，深度学习库为Tensorflow 2.6.0版本，加速工具使用了英伟达的cuda11.6和cuDNN8.3。

如图5，脊椎分段训练，训练模型采用3D-Unet模型，UNet模型包含依次串联的10层，其中：第一层是由两个卷积层和一个池化层依次串联组成的模块，卷积层中卷积核尺寸为3×3，步长为1，池化层中核尺寸为2×2，所述第一层输入的图片为256×256×64，输出的特征映射为128×128×32×32；第二、三层都是由两个卷积层和一个池化层依次串联组成的模块，第一个卷积层中卷积核尺寸为3×3，步长为1，第二个空洞卷积层中卷积核尺寸为3×3，步长为1，池化层核尺寸为2×2，第二、三层输入的特征映射分别是128×128×32×32、64×64×16×64，输出的特征映射分别是64×64×16×64、32×32×8×128；第四层为两个卷积层和一个池化层依次串联组成的模块，每个卷积层中卷积核尺寸为3×3，步长为1，池化层中核尺寸为2×2，第四层输入的特征映射为32×32×8×256，输出的特征映射为16×16×4×512；第五层由两个卷积层串联组成输入的特征映射为16×16×4×512，输出的特征映射为16×16×4×512，再通过上采样得到特征映射大小与所接收的特征映射大小一致的特征映射，最后将上采样得到的特征映射与第七层所接收的特征映射进行融合并输出；第六、七、八、九层每层都由一个上采样层和两个卷积层依次串联组成，所述第六、七、八、九层输入的特征映射尺寸分别为16×16×4×512、32×32×8×256、64×64×16×64、128×128×32×32，输出的特征映射尺寸分别为32×32×8×256、64×64×16×64、128×128×32×32、256×256×64×16，每个卷积层中卷积核尺寸为3×3，步长为1，第六、七、八、九层反卷积后的输出与第一、二、三、四层中大小相同的输出进行拼接后，再进行卷积操作；第十层由一个卷积核尺寸为1×1的卷积层以及一个sigmoid层依次串联构成，第十层输入的特征映射尺寸为256×256×64，输出的特征映射尺寸为256×256×64的，与手工标注的图大小相同。

轮廓识别：使用训练好的模型，输入患者的脊柱影像数据，通过采用构建深度神经网络自动在CT影像上定位识别关键信息，从而实现了椎弓根的自动识别。

同样，椎弓根轮廓的识别，训练模型也为3D-Unet。

测试数据集验证整个网络的准确性：

并交比函数IOU＝(A∩B/A∪B)，可以用来评价整个网络的准确性，假设实际轮廓是A，通过网络计算得到的轮廓为B，包含两个轮廓的区域就是两个轮廓的并集，而交集就是两个轮廓相覆盖的区域，而并交比(IOU)做的是计算两个区域交集和并集之比，也就是交集区域面积除以并集区域的面积。

设定如果IOU≥0.5，那么结果是可以接受的，就说检测正确，如果预测轮廓和测试集中标注轮廓几乎相同大小，就可以说交集大于2/3，如果预测轮廓和测试集中轮廓完美重叠，IOU就是1，因为交集就等于并集。

将测试数据集中标注的轮廓，和通过预测得到的轮廓使用并交比函数进行对比，利用下面公式可以计算出模型预测的所有目标中预测正确的比例Precision(查准率)和所有实际标注目标中模型预测正确的比例Recall(查全率)。

其中式中TP为预测准确的个数，如果所有预测轮廓与标注轮廓的IOU大于或等于0.5，就可以说是预测准确；FP为IOU小于0.5的数量；FN为完全没有预测到的数量。TN为没有被检测到，也没有实际标注的数量(本来就是负样例，分类也是负样例)。

下面公式，定义为查准率和查全率的调和平均数：

当输入100张测试数据集，可通过以上测量和计算得出，得出数据如下表：

TP	71
		FP	23
FN	6
		TN	0
Precision	0.76
		Recall	0.92
F	0.83

在测试集上测得该模型评判指标F为0.83。

本发明工作原理：对单个椎骨模型进行预处理，然后利用卷积神经网络对脊柱计算机断层扫描(CT)图像进行学习和训练，通过建立神经网络模型确定网络内各层间的调整参数，然后对样本图像进行特征提取并分类，从单个椎骨中分割出椎弓根区域，分割结果生成椎弓根轮廓作为手术参考，最后采用并交比验证法来验证卷积神经网络模型的正确性。

通过深度学习算法，实现了对椎弓根的自动识别，减轻了医生的负担，提高了操作效率，利用大量的训练数据和深度学习算法，能够更精确地定位识别到椎弓根，降低了手术风险。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的CT脊柱影像的椎弓根识别方法，其特征在于，包括以下步骤：

步骤S1：数据收集，收集脊椎的CT影像数据，对CT影像中椎弓根轮廓进行标注，并生成训练数据集和训练验证集；

步骤S2：数据初始化，对收集到的CT脊柱影像数据进行预处理，对所有数据进行重采样；

步骤S3：模型构建，构建卷积神经网络模型，卷积神经网络模型包括脊柱单节椎体识别模型和椎弓根轮廓识别模型；

步骤S4：模型训练，在Tensorflow上搭建卷积神经网络模型，采用迭代逼近的方法，使用训练数据集进行训练调整参数，直至训练验证集验证通过；

步骤S5：轮廓识别，输入患者的脊柱CT影像数据，使用训练好的卷积神经网络模型，自动在CT影像上定位识别关键信息，自动识别椎弓根。

2.根据权利要求1所述基于深度学习的CT脊柱影像的椎弓根识别方法，其特征在于，所述步骤S2中对所有数据进行重采样为：对单一脊柱胸腰连扫的图像进行归一化处理，对序列重新采样，每个序列随机产生若干起点，连续采集指定数量的数据作为训练数据。

3.根据权利要求1所述基于深度学习的CT脊柱影像的椎弓根识别方法，其特征在于，所述步骤S3中脊柱单节椎体识别模型和椎弓根轮廓识别模型均为七层的深度3D卷积神将网络模型。

4.根据权利要求3所述基于深度学习的CT脊柱影像的椎弓根识别方法，其特征在于，所述七层的深度3D卷积神将网络模型的每一层后接ReLU激活函数和Max-Pooling层，经过一个全链接层后反卷积处理，使用Conv3D的1*1卷积核，用Sigmoid激活后进行比对。

5.根据权利要求1所述基于深度学习的CT脊柱影像的椎弓根识别方法，其特征在于，所述椎弓根轮廓识别模型的训练模型为3D-Unet模型，3D-Unet模型包括若干依次串联的训练卷积层。

6.根据权利要求1所述基于深度学习的CT脊柱影像的椎弓根识别方法，其特征在于，所述训练验证集进行验证为：将训练验证集中标注的轮廓和通过预测得到的轮廓使用并交比函数进行对比，计算出模型预测的所有目标中预测正确的比例Precision和所有实际标注目标中模型预测正确的比例Recall。

7.根据权利要求6所述基于深度学习的CT脊柱影像的椎弓根识别方法，其特征在于，所述比例计算的公式为：

设定实际轮廓是A，计算得到的轮廓为B，

并交比IOU＝(A∩B/A∪B)

其中式中，TP为预测准确的个数，FP为IOU小于0.5的数量；FN为完全没有预测到的数量。

8.根据权利要求6所述基于深度学习的CT脊柱影像的椎弓根识别方法，其特征在于，所述卷积神经网络模型的评判指标为调和平均数F，计算公式为：

其中，Precision为模型预测的所有目标中预测正确的比例，Recall为实际标注目标中模型预测正确的比例。