CN114581395A - 一种基于深度学习的脊椎医学图像的关键点检测方法 - Google Patents

Abstract

本发明属于医学图像处理及应用技术领域，具体涉及一种基于深度学习的脊椎医学图像的关键点检测方法。本发明的方法包括如下步骤：输入脊椎的医学图像，分割出所述医学图像中的脊椎部分；将步骤1得到的分割图像进行裁剪，得到单个脊椎的图像；将单个脊椎的图像输入预训练的VNET定位网络模型，检测得到关键点的位置信息，所述关键点为上终板的前缘、后缘、左缘和右缘，以及下终板的前缘、后缘、左缘和右缘。本发明能够在脊椎医学图像中定位关键点和测量具有临床指导意义的放射学参数。医生利用这些关键点或放射学参数可进一步进行诊断、手术方案设置或术后评估。本发明能够提高就诊效率以及手术质量，自动化程度高，具有很好的应用前景。

Description

一种基于深度学习的脊椎医学图像的关键点检测方法

技术领域

本发明属于医学图像处理及应用技术领域，具体涉及一种基于深度学习的脊椎医学图像的关键点检测方法。

背景技术

脊柱是人体肌肉骨骼系统的重要组成部分，其作用不仅是维持和支撑身体结构及器官，也对人体日常活动和负荷转移发挥着重要作用，而相关脊椎类疾病具有很大的危害，并且在其早期普遍难以得到诊断。医学影像技术(如CT、MRI等)如今是脊柱外科诊疗的两种主要手段,能够做到有效发现椎骨畸形和损伤，从而能够及时预防和治疗。从医学影像中分割脊椎、测量临床参数是审阅医学影像过程中的重要工作。

早期，在日常临床诊断工作中，骨科医生往往需要人工审阅大量的CT影像，过程耗时耗力，且诊断质量受到主观性的影响，不适用于大规模数据。人工智能技术的自动化手术指导系统有助于医生节省诊断时间，系统可替代医生人工审阅CT影像的过程，给出经过处理后的医学影像，为医生的诊断工作节约了大量的精力和时间。

建立准确的自动化临床参数测量系统是进行脊椎临床应用以及诊断治疗的关键步骤，例如病症诊断，术前指导及术后评估。近年来，深度卷积神经网络的发展使得其可以有效应用于图像处理领域，被广泛应用于CT图像椎骨的识别和定位。然而，截至目前人们已提出了若干CT图像椎骨分割方法(例如：CN111260650A一种脊柱CT序列图像分割方法与系统)，但基于CT图像的椎骨关键点定位的研究却甚少。

腰椎椎间盘置换术是一种替换腰椎椎间盘的手术，在手术前需要获得一系列椎骨CT影像临床参数，从而对病人手术进行评估，确定植入物尺寸和安放位置。现有技术中尚未提出有合适的人工智能模型实现对这些关键点的自动定位和重要参数的自动获取，目前仍然是由经验丰富的临床医生对图像中的关键参数进行手工标记和估计，进而得到关键点位置和参数信息。

发明内容

针对现有技术的缺陷，本发明提供一种基于深度学习的脊椎医学图像的关键点检测方法，目的在于实现从脊椎的医学图像中自动定位关键点和计算临床参数。

一种基于深度学习的脊椎医学图像的关键点检测方法，包括如下步骤：

步骤1，输入脊椎的医学图像，分割出所述医学图像中的脊椎部分，得到分割图像；

步骤2，将步骤1得到的分割图像进行裁剪，得到单个脊椎的图像；

步骤3，将步骤2得到的单个脊椎的图像输入预训练的VNET定位网络模型，检测得到关键点的位置信息，所述关键点为上终板的前缘、后缘、左缘和右缘，以及下终板的前缘、后缘、左缘和右缘。

优选的，所述医学图像为CT图像。

优选的，步骤1中，分割所述医学图像的方法具体如下：

步骤1.1，对所述医学图像进行预处理；

步骤1.2，采用nnUNet模型对所述医学图像中的脊椎部分进行分割，得到分割图像。

优选的，步骤1.1中，数据预处理的过程包括如下步骤：

将每个病人格式为dicom的切片图集转成nii.gz格式；

将所有图像统一空间分辨率至1.25mm×1.25mm×1.25mm。

优选的，步骤2中，具体包括如下步骤：

步骤2.1，将每个分割图像裁剪成包含L1、L2、L3、L4、L5共5块腰椎的椎骨图像；

步骤2.2，按照分割图像的标签位置信息，将所述单个脊椎的图像中其他椎骨的体素设置为0。

优选的，步骤3中，检测得到关键点的算法包括：

采用地标热图的方法，对VNET定位网络模型进行训练；

所述关键点的位置由回归体素范围质心所决定。

优选的，所述地标热图的构建包括:

网络回归的真实标签图是使用手动标记的地标位置为中心的3D高斯函数；

其中，高斯的标准偏差σ根据经验设置为6个体素；概率值乘以一个常数，将最大值缩放为1；任何低于0.1的值都设置为0。

优选的，在步骤3之后，还进行如下步骤4：

步骤4，将步骤3得到的关键点进行关联，得到具有临床指导意义的放射学参数；

所述放射学参数选自终板凹陷顶点位置、终板前后径和横径距离、终板弧面深度、正中矢状面终板形态、椎体高度和椎体宽度中的至少一种。

本发明还提供一种实现上述基于深度学习的脊椎医学图像的关键点检测方法的装置，包括：

数据采集单元，用于采集所述脊椎医学图像；

数据分割单元，用于对所述脊椎医学图像分割，得到分割图像；

目标检测单元，用于将分割图像裁剪为单个脊椎的图像，并对所述关键点进行定位；

放射学参数获取单元，用于将关键点相互关联，获取具有临床指导意义的放射学参数。

本发明还提供一种计算机可读存储介质，其上存储有用于实现上述基于深度学习的脊椎医学图像的关键点检测方法的计算机程序。

本发明通过神经网络模型实现了对脊椎的医学图像中关键点的定位，利用这些关键点，可进一步获得对腰椎椎间盘置换术术前指导具有临床指导意义的放射学参数。本发明对关键点的定位精度高，测量脊椎放射学参数准确。在临床应用中，医生通过对这些关键点或脊椎放射学参数进行分析，可进一步在腰椎椎间盘置换术手术术前进行评估，提升术中质量，降低手术风险，降低人为主观判断的错误概率。此外，本发明也可用在术后评估手术质量，提升了手术的智能程度和工作效率。因此，本发明具有很好的应用前景。

显然，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。

以下通过实施例形式的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。

附图说明

图1为本申请实例提供的一种基于深度学习的腰椎椎间盘置换术术前指导方法流程示意图；

图2为本发明实例所采集的病人CT图像和分割后的椎骨标签图像；

图3为本发明实例中单个椎骨层面上下终板8个关键点示意图，A、B、C、D分别为上终板前缘、后缘、左缘、右缘,a、b、c、d分别为下终板前缘、后缘、左缘、右缘；

图4为本发明实例中患者腰椎层面所有关键点位置示意图；

图5为本发明实例提供的分割网络模型；

图6为本发明实例中放射学参数正中矢状面形态的示意图；

图7为本发明实例中正中矢状面下终板凹陷示意图,C点为凹陷顶点。

具体实施方式

需要特别说明的是，实施例中未具体说明的数据采集、传输、储存和处理等步骤的算法，以及未具体说明的硬件结构、电路连接等均可通过现有技术已公开的内容实现。

对相关术语的解释:

正中矢状面：在矢状面中，把通过人体正中线的矢状面称为正中矢状平面；而椎骨正中矢状面即,通过椎骨正中线的矢状面。

正中冠状面：通过铅垂轴与横轴的平面及与其平行的所有平面都称为冠状面，这些平面将人体分成前、后两个部分，这些平面的正中面则是正中冠状面。

椎骨终板:椎体终板构成了椎间盘的上下边界，位于椎体中心的松质骨和椎间盘之间。

放射学参数：人为定义的用于定量评估病人情况的放射影像中的定量指标，例如放射影像中的点、线、角度等。

实施例1

本实施例提供用于基于深度学习的脊椎医学图像处理方法和装置。

本发明的装置包括：

数据采集单元，用于采集所述脊椎医学图像；

数据分割单元，用于对所述脊椎医学图像分割，得到分割图像；

目标检测单元，用于将分割图像裁剪为单个脊椎的图像，并对所述关键点进行定位；

放射学参数获取单元，用于将关键点相互关联，获取具有临床指导意义的放射学参数。

本发明的方法具体如下：

参阅图1，本发明用于训练网络的分割数据集来自于公开数据集，脊椎关键点均由人工手动标定，检测的关键点是各块椎骨的上下终板的前后缘及左右缘共计8个关键点。

本实施例的实验平台是基于linux操作系统下完成的，编程语言为python3.7，框架为pytorch。

在获得医院方面授权的条件下，将病人图像数据从医院放射科推出至大数据中心，采用pydicom安装包读取病人DCM系列数据，提取出图像像素值矩阵和体素空间分辨率信息，保存为nii.gz文件，去除病人信息，完成脱敏。由于医院内采集病人CT的设备来源不同且有不同型号，不同的3D图像会因扫描参数的不同导致图像的空间分辨率spacing不同，甚至单个病人的CT图像各个维度上的分辨率也有所差异，同时图像尺寸过大，在神经网络训练过程中会占据大量显存，使得网络难以训练，降低网络对数据的学习能力，难以达到预期精度。因此需要在保留原始CT图像质量的要求下统一所有图像的空间分辨率，缩小图片尺寸并统一体素值范围。利用最近邻插值法将所有获取的CT图像空间分辨率调整至1.25mm*1.25mm*1.25mm。然后将图片的最低最高部分5％的像素值去掉，并对图像进行直方图均衡，对比度限制值设为100，完成图像低像素值噪声去除和直方图均衡，至此图像预处理完成，结果如图2(左)所示。

将从上述步骤预处理得到的图像，放入提前训练好的nnUNET网络模型，对不同的椎骨进行分割，并给予对应的label标签，以获得L1-5共5块腰椎的分割图像；

将上述步骤获得的分割图像按照标签裁剪至单个椎骨体积,并将其中其他椎骨的体素设置为0，放入提前训练好的VNET网络模型,以获得所有关键点的概率图，以质心作为关键点坐标，确定其位置。

网络回归的真实标签图是使用手动标记的地标位置为中心的3D高斯函数；其中高斯的标准偏差σ根据经验设置为6个体素。概率值乘以一个常数，将最大值缩放为1。任何低于0.1的值都设置为0。

关键点定位的深度网络采用VNET网络模型,其是3DUNET的改进,将关键点的目标检测任务视为体素回归问题；针对制定的每一个关键点高斯热图，都在网络输入图像中增加一个通道,即共9个通道(8个关键点和背景)，对最终回归的概率图进行阈值分割,将预测概率值前30的坐标都视为正体素,以其质心值作为关键点坐标输出。

关键点如图3、图4所示，包括：

A：上终板前缘；

B：上终板后缘；

C：上终板左缘；

D：上终板右缘；

a：下终板前缘；

b：下终板后缘；

c：下终板左缘；

d：下终板右缘；

本实施例按照6:2:2(训练集:验证集:测试集)对100例脊椎CT图像中共计500块腰椎数据进行数据集划分，在测试集进行关键点定位后，与人工定位对比，8个关键点的平均定位误差为1.95mm，各点的定位误差具体如下表所示：

可见，本实施例对关键点的定位误差小，能够进一步利用这些关键点准确地计算发射学参数。

将深度学习网络中定位得到的关键点进行关联；

放射学参数的计算方法如图6、7所示，具体如下：

拟合的正中矢状面上,终板边缘与上下终板前后缘连线重叠或没有明显的凹陷可见(即终板凹陷的最大深度<1mm)为偏平型；端板边缘形成一条平滑的曲线，端板凹陷的最大深度大于1毫米为凹陷型；终板边缘粗糙度或缺陷超出连接线的投影为不规则型。

上终板前后径：A、B在正中矢状面映射点的连线；

下终板前后径：a、b在正中矢状面映射点的连线；

上终板横径：C、D在正中冠状面映射点的连线；

下终板横径：c、d在正中冠状面映射点的连线；

终板弧面深度：终板凹陷顶点与终板前后径距离；

终板凹陷顶点位置：正中矢状面上,终板凹陷顶点与该终板前缘距离占终板前后径的百分比；

椎体高度：C、c在正中冠状面映射点的连线与D、d在正中冠状面映射点的连线距离平均值；

h1：术后髋关节旋转中心的高度，从股骨头中心做到b的垂线，线段长度即为center高度；

h0：术前髋关节旋转中心的高度，同上；

终板形态：凹陷深度与终板边缘的对应关系；

在获得上述关键点或发射学参数后，医生可以在腰椎椎间盘置换术前给出病人假体尺寸选择和假体安放位置的参考建议，或在术后对手术质量进行评估。

通过上述实施例可以看到，本发明利用神经网络模型，成功构建了一种脊椎医学图像的处理方法，能够在脊椎医学图像中定位关键点并计算测量具有临床指导意义的放射学参数，从而辅助医生进一步的临床诊断、手术方案设置和术后评价。本发明能够提高就诊效率以及手术质量，自动化程度高，因而具有很好的应用前景。

Claims (10)

1.一种基于深度学习的脊椎医学图像的关键点检测方法，其特征在于，包括如下步骤：

步骤1，输入脊椎的医学图像，分割出所述医学图像中的脊椎部分，得到分割图像；

步骤2，将步骤1得到的分割图像进行裁剪，得到单个脊椎的图像；

步骤3，将步骤2得到的单个脊椎的图像输入预训练的VNET定位网络模型，检测得到关键点的位置信息，所述关键点为上终板的前缘、后缘、左缘和右缘，以及下终板的前缘、后缘、左缘和右缘。

2.按照权利要求1所述的检测方法，其特征在于：所述医学图像为CT图像。

3.按照权利要求1所述的检测方法，其特征在于：步骤1中，分割所述医学图像的方法具体如下：

步骤1.1，对所述医学图像进行预处理；

步骤1.2，采用nnUNet模型对所述医学图像中的脊椎部分进行分割，得到分割图像。

4.按照权利要求2所述的检测方法，其特征在于：步骤1.1中，数据预处理的过程包括如下步骤：

将每个病人格式为dicom的切片图集转成nii.gz格式；

将所有图像统一空间分辨率至1.25mm×1.25mm×1.25mm。

5.按照权利要求1所述的检测方法，其特征在于：步骤2中，具体包括如下步骤：

步骤2.1，将每个分割图像裁剪成包含L1、L2、L3、L4、L5共5块腰椎的椎骨图像；

步骤2.2，按照分割图像的标签位置信息，将所述单个脊椎的图像中其他椎骨的体素设置为0。

6.按照权利要求1所述的检测方法，其特征在于：步骤3中，检测得到关键点的算法包括：

采用地标热图的方法，对VNET定位网络模型进行训练；

所述关键点的位置由回归体素范围质心所决定。

7.按照权利要求6所述的检测方法，其特征在于：所述地标热图的构建包括:

网络回归的真实标签图是使用手动标记的地标位置为中心的3D高斯函数；

其中，高斯的标准偏差σ根据经验设置为6个体素；概率值乘以一个常数，将最大值缩放为1；任何低于0.1的值都设置为0。

8.按照权利要求1所述的检测方法，其特征在于：在步骤3之后，还进行如下步骤4：

步骤4，将步骤3得到的关键点进行关联，得到具有临床指导意义的放射学参数；

所述放射学参数选自终板凹陷顶点位置、终板前后径和横径距离、终板弧面深度、正中矢状面终板形态、椎体高度和椎体宽度中的至少一种。

9.一种实现权利要求1-8任一项所述基于深度学习的脊椎医学图像的关键点检测方法的装置，其特征在于，包括：

数据采集单元，用于采集所述脊椎医学图像；

数据分割单元，用于对所述脊椎医学图像分割，得到分割图像；

目标检测单元，用于将分割图像裁剪为单个脊椎的图像，并对所述关键点进行定位；

放射学参数获取单元，用于将关键点相互关联，获取具有临床指导意义的放射学参数。

10.一种计算机可读存储介质，其特征在于：其上存储有用于实现权利要求1-8任一项所述基于深度学习的脊椎医学图像的关键点检测方法的计算机程序。

Images