CN112700448A - 一种脊椎图像分割与识别方法 - Google Patents

Abstract

本发明属于脊椎图像处理技术领域，公开了一种脊椎图像分割与识别方法，包括：输入初始医学影像，基于低分辨率的FCN网络预测出脊柱的初始位置，并返回脊柱的中心点坐标；基于HLGCN使用热力图和关键点回归进行椎骨的定位和识别；基于U‑Net对每个定位和识别的椎骨进行二进制分割，并将各个预测合并到最终的多标签椎骨分割结果中。本发明首先对脊椎进行粗略定位，然后定位并识别单个椎骨，最后以高分辨率对每个椎骨进行分割，来解决在高度重复的结构中同时分割和标记椎骨的难题。设计FCN网络，构建有效的端到端映射；并充分利用3D上下文信息，将FCN与迁移学习和深度监督机制紧密结合，以应对因过度平滑和梯度消失而导致的潜在训练困难。

Description

一种脊椎图像分割与识别方法

技术领域

本发明属于脊椎图像处理技术领域，具体涉及一种脊椎图像分割与识别方法。

背景技术

随着社会的不断发展，工作压力日益增大，脊椎疾病困扰着各年龄阶段和各种职业人群，已成为影响公共健康的几大顽疾之一。随着医学影像技术的不断进步，医学影像技术(CT、MRI等)在脊椎疾病诊断中被广泛应用。在脊柱外科手术中，医生首先根据病人的影像资料制定治疗方案，比如确定椎弓根钉的植入角度、植入深度等。若获取了脊柱的三维结构视图，医生则可以直观地测量，从而制定手术计划。而获取脊柱的三维模型，需要精确分割出椎骨骼部分，椎骨分割结果直接影响三维重建的效果。若获取了病变椎骨的具体椎节位置，医生则可以因地制宜地制定手术计划的同时还可以减轻病人多次检查的痛苦及经济压力。因此，如何准确高效地分割和识别椎骨成为目前医学界和计算机领域研究的热点。

发明内容

本发明目的在于提供一种脊椎图像分割与识别方法，用于解决上述现有技术中存在的技术问题之一，如：如何准确高效地分割和识别椎骨。

为实现上述目的，本发明的技术方案是：

一种脊椎图像分割与识别方法，包括以下步骤：

S1：输入初始医学影像，基于Fully Convolutional Networks网络预测出脊柱的初始位置，并返回脊柱的中心点坐标；

S2：在步骤S1的基础上，基于Hybrid Loss Guided Convolutional Networks使用热力图和关键点回归进行椎骨的定位和识别；

S3：在步骤S2的基础上，基于U-Net对每个定位和识别的椎骨进行二进制分割，并将各个预测合并到最终的多标签椎骨分割结果中。

进一步的，步骤S1包括以下子步骤：

S11：初始医学影像预处理阶段，将CT图像重新采样为8mm体素间距，并初始化网络输入为图像中心；U-Net网络输入大小为[64 * 64 * 128]mm，使最大[512 * 512 * 1024]mm范围的脊柱CT输入网络；

S12：调整U-Net网络，使其执行平均池化、执行线性上采样，U-Net网络使用五个级别，其中每个卷积层的内核大小为[3*3*3]，并具有64个filter的输出；此外，卷积层使用0填充，使网络输入和输出大小保持不变。

进一步的，步骤S2的具体步骤如下：

步骤S21：Hybrid Loss Guided Convolutional Networks网络结合特征点的局部特征及其空间结构，局部特征部分包括在向下采样到低级别之前的两个卷积层以及在与向上采样的低级别连接之后的两个卷积层；每个卷积层使用ReLU激活函数，内核大小为[3*3*3]，并具有64filter输出；空间结构部分由四个具有[7*7*7]个内核的卷积组成，并以局部特征部分分辨率的四分之一进行处理；

步骤S22：在步骤S21的基础上，Hybrid Loss Guided Convolutional Networks网络增加数个分层的侧面路径，以缩短梯度流的反向传播路径，并将浅层暴露进行监督；并将加权交叉熵损失与多类骰子相似性系数损失混合，以公平地指导培训过程；

步骤S23：在步骤S22的基础上，Hybrid Loss Guided Convolutional Networks网络对i=1:N的N个目标椎骨进行热力图回归，网络同时预测N个热力图，即每个单独的椎骨的单个热力图；将预测的热力图单独着色并合并为单个图像；最终的特征点坐标被确定为的局部最大值的最长序列；

步骤S24：在步骤S23的基础上，将每个输入都重采样到2mm的体素间距，网络输入大小为[96*96*64]，使最大[192*192*128]mm范围的脊柱CT输入网络；将网络输入的中心放在预测的脊柱坐标上。

进一步的，步骤S3包括以下具体步骤：

Fully Convolutional Networks网络将对每个局部椎骨进行二进制分割，然后将单独分割的椎骨的结果合并到最终的多标签分割结果中；其中，矩形表示单个椎骨周围的裁剪区域，每个局部椎骨均经过单独处理，然后将每个单独椎骨重采样到原始位置；通过将每个体素处的标签设置为响应最大的标签，可得到最终的多标签分割结果。

与现有技术相比，本发明所具有的有益效果为：

本方案的一个创新点在于，开发了一种针对CT脊椎图像从粗到细的椎骨定位、识别和分割方法。首先对脊椎进行粗略定位，然后定位并识别单个椎骨，最后以高分辨率对每个椎骨进行分割，来解决在高度重复的结构中同时分割和标记椎骨的难题。设计3D FCN（Fully Convolutional Networks）网络，构建有效的端到端映射。并充分利用3D上下文信息，将3D FCN与迁移学习和深度监督机制紧密结合，以应对因过度平滑和梯度消失/爆炸而导致的潜在训练困难。

附图说明

图1是本发明具体实施方式的步骤流程示意图。

图2是本发明具体实施方式的脊柱定位图。

图3是本发明具体实施方式的脊椎分割图。

具体实施方式

下面结合本发明的附图1-3，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

如图1所示，现提出一种脊椎图像分割与识别方法，包括以下步骤：

① 第一步如图：基于U-Net粗略定位脊柱的大致位置，返回整个脊柱的中心点坐标；如图2所示；

由于输入CT图像的体积、视场等变化很大，因此使用一个输入分辨率较粗（较小图像）的FCN(Fully Convolutional Networks)预测出脊柱的大致位置。

图像预处理阶段将CT图像重新采样为8毫米体素间距，并初始化网络输入为图像中心。网络输入大小为[64*64*128]，可使最大[512*512*1024]mm范围的脊柱CT输入网络，此范围足以使网络预测数据集中所有脊柱。

调整U-Net网络，使其执行平均池化而不是最大池化、执行线性上采样而不是转置卷积；其中，平均池化能减小特征提取时邻域大小受限造成的估计值方差增大引入的误差，更多的保留图像的背景信息。

线性上采样无需学习参数，而转置卷积有参数要进行学习。网络使用五个级别，其中每个卷积层的内核大小为[3*3*3]，并具有64个filter的输出。此外，卷积层使用0填充，以使网络输入和输出大小保持不变。

② 第二步：基于Hybrid Loss Guided Convolutional Networks使用热力图和关键点回归进行椎骨的定位和识别；

网络有效地结合了特征点的局部特征及其空间结构，局部特征部分使用五个级别，包括在向下采样到较低级别之前的两个卷积层以及在与上采样的较低级别连接之后的两个卷积层。每个卷积层使用ReLU激活函数，内核大小为[3*3*3]，并具有64filter输出。空间结构部分由四个具有[7*7*7]个内核的卷积组成，并以局部特征部分分辨率的四分之一进行处理。

网络增加几个分层的侧面路径，从而缩短梯度流的反向传播路径，并将浅层暴露给更直接的监督；并将加权交叉熵(wCross)损失与多类骰子相似性系数(mDSC)损失混合，以公平地指导培训过程。

网络对i=1:N的N个目标椎骨进行热力图回归，网络同时预测N个热力图，即每个单独的椎骨的单个热力图。为了可视化，将预测的热力图单独着色并合并为单个图像。最终的特征点坐标被确定为的局部最大值的最长序列，并且没有违反解剖学约束。

此处的图像预处理阶段将每个输入都重采样到2mm的体素间距，网络输入大小为[96*96*64]，可使最大[192*192*128]mm范围的脊柱CT输入网络；为了将处理后的图缩小到脊柱的大致位置，将网络输入的中心放在预测的脊柱坐标上。其中，第一步重采样8mm得到模糊小图定位整个脊柱位置；第二步重采样2mm，此时图像更大，更清晰，做脊椎块的定位和识别；第三步不需要重采样是因为图像本是1mm，做更精细的分割操作。

由于某些CT在z轴具有较大的范围，无法适应网络。训练期间，在z轴上的任意位置裁剪一个Patch。Patch在z方向重叠96个像素即步长为32，然后一个接一个地处理它们，最后通过对所有预测取最大响应来合并重叠Patch的网络预测。对于每个预测的热力图，检测到超过某个阈值的多个局部热力图最大值，然后通过取具有最接近顶部、底部的最大值的热力图来确定在图像上可见的第一个和最后一个椎骨。

③ 第三步：基于U-Net对每个识别的椎骨进行二进制分割，并将各个预测合并到最终的多标签椎骨分割中。

如图3所示， FCN网络将对每个局部椎骨进行二进制分割，然后将单独分割的椎骨的结果合并到最终的多标签分割中。黄色矩形表示单个椎骨周围的裁剪区域，每个局部椎骨均经过单独处理，然后将每个单独椎骨重采样到原始位置。通过将每个体素处的标签设置为响应最大的标签，可以得到最终的多标签分割结果。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种脊椎图像分割与识别方法，其特征在于，包括以下步骤：

S1：输入初始医学影像，基于Fully Convolutional Networks网络预测出脊柱的初始位置，并返回脊柱的中心点坐标；

S2：在步骤S1的基础上，基于Hybrid Loss Guided Convolutional Networks使用热力图和关键点回归进行椎骨的定位和识别；

S3：在步骤S2的基础上，基于U-Net对每个定位和识别的椎骨进行二进制分割，并将各个预测合并到最终的多标签椎骨分割结果中。

2.如权利要求1所述的一种脊椎图像分割与识别方法，其特征在于，步骤S1包括以下子步骤：

S11：初始医学影像预处理阶段，将CT图像重新采样为8mm体素间距，并初始化网络输入为图像中心；U-Net网络输入大小为[64 * 64 * 128]mm，使最大[512 * 512 * 1024]mm范围的脊柱CT输入网络；

S12：调整U-Net网络，使其执行平均池化、执行线性上采样，U-Net网络使用五个级别，其中每个卷积层的内核大小为[3*3*3]，并具有64个filter的输出；此外，卷积层使用0填充，使网络输入和输出大小保持不变。

3.如权利要求2所述的一种脊椎图像分割与识别方法，其特征在于，步骤S2的具体步骤如下：

步骤S21：Hybrid Loss Guided Convolutional Networks网络结合特征点的局部特征及其空间结构，局部特征部分包括在向下采样到低级别之前的两个卷积层以及在与向上采样的低级别连接之后的两个卷积层；每个卷积层使用ReLU激活函数，内核大小为[3*3*3]，并具有64filter输出；空间结构部分由四个具有[7*7*7]个内核的卷积组成，并以局部特征部分分辨率的四分之一进行处理；

步骤S22：在步骤S21的基础上，Hybrid Loss Guided Convolutional Networks网络增加数个分层的侧面路径，以缩短梯度流的反向传播路径，并将浅层暴露进行监督；并将加权交叉熵损失与多类骰子相似性系数损失混合，以公平地指导培训过程；

步骤S23：在步骤S22的基础上，Hybrid Loss Guided Convolutional Networks网络对i=1:N的N个目标椎骨进行热力图回归，网络同时预测N个热力图，即每个单独的椎骨的单个热力图；将预测的热力图单独着色并合并为单个图像；最终的特征点坐标被确定为的局部最大值的最长序列；

步骤S24：在步骤S23的基础上，将每个输入都重采样到2mm的体素间距，网络输入大小为[96*96*64]，使最大[192*192*128]mm范围的脊柱CT输入网络；将网络输入的中心放在预测的脊柱坐标上。

4.如权利要求3所述的一种脊椎图像分割与识别方法，其特征在于，步骤S3包括以下具体步骤：

Fully Convolutional Networks网络将对每个局部椎骨进行二进制分割，然后将单独分割的椎骨的结果合并到最终的多标签分割结果中；其中，矩形表示单个椎骨周围的裁剪区域，每个局部椎骨均经过单独处理，然后将每个单独椎骨重采样到原始位置；通过将每个体素处的标签设置为响应最大的标签，可得到最终的多标签分割结果。

Images