CN111260650A - 一种脊柱ct序列图像分割方法与系统 - Google Patents

一种脊柱ct序列图像分割方法与系统 Download PDF

Info

Publication number
CN111260650A
CN111260650A CN201811361072.3A CN201811361072A CN111260650A CN 111260650 A CN111260650 A CN 111260650A CN 201811361072 A CN201811361072 A CN 201811361072A CN 111260650 A CN111260650 A CN 111260650A
Authority
CN
China
Prior art keywords
image
semantic segmentation
dimensional mask
sequence
mask image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811361072.3A
Other languages
English (en)
Inventor
刘华清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811361072.3A priority Critical patent/CN111260650A/zh
Publication of CN111260650A publication Critical patent/CN111260650A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种脊柱CT序列图像分割方法及系统，该方法包括训练阶段和测试阶段，训练阶段包括如下步骤：(A1)人工标注；(A2)数据集预处理；(A3)构建全局语义分割网络和局部语义分割网络；(A4)训练全局语义分割网络和局部语义分割网络；测试阶段包括如下步骤：(B1)获取待分割的CT序列图像；(B2)图像预处理；(B3)全局语义分割CT序列图像中的骨性结构以及非骨性组织；(B4)局部语义分割脊柱核心段中的各类非骨性组织；(B5)分割结果合成获取。与现有技术相比，本发明能实现脊柱CT序列图像中骨性结构和各类非骨性组织的快速自动分割，分割结果准确可靠。

Description

一种脊柱CT序列图像分割方法与系统
技术领域
本发明涉及CT序列图像分割方法与系统，尤其是涉及一种脊柱CT序列图像分割方法与系统。
背景技术
脊柱手术因其切口小、损伤少在世界各地正如火如荼地开展起来，而精准的手术规划是脊柱手术成功的关键，其中各类医学影像技术则是脊柱手术术前计划制定的基石。常规的脊柱手术的规划严重依赖于外科医生的主观经验，这正是因为常规医学影像提供的客观信息还不够全面。目前，脊柱外科医生的手术方案制定主要依赖于传统的二维影像，包括X光平片、CT和核磁共振。X光能快速地提供脊柱骨性结构的二维信息，在诊断椎体骨折、脊柱畸形等方面有重要临床价值，但在脊柱手术方案制定上价值比较有限。核磁共振因能清晰显示脊柱周围的部分神经而在脊柱疾病的诊疗上有举足轻重的地位，但目前核磁共振仅在临床上提供几个二维切面的影像信息，这对于手术方案的仔细规划是远远不够的。
CT因为扫描快速、价格合适而普及面非常广，其在脊柱的诊疗上也有非常重要的地位。相对于常规的CT而言，薄层CT密度分辨力好，能提供更多的信息，除了能清晰显示骨性结构，在显示椎间盘、神经、血管等软性组织也有非常良好的效果，从而使其在诊断侧隐窝狭窄、椎间孔狭窄、椎管狭窄、椎间盘突出、韧带肥厚等各种病因而引起的神经受压、脊柱骨折、厚重韧带骨化、脊柱肿瘤等脊柱疾病有着非常重要的诊断价值。同时，在薄层CT的基础上，三维重建血管神经等软性组织对于脊柱疾病的诊疗具有非常重大的临床意义。以往的方法是往血管里注射造影剂等方法去增强血管神经的显示，从而实现三维重建。但这种造影剂增强的方法会增加肾脏代谢的负担，对于一些肾功能不全的患者则风险较高，同时部分患者对造影剂存在过敏反应。因此，如何准确地将脊柱的骨性组织及其毗邻的非骨性组织进行分割并完成三维数字化重建显得至关重要，将为脊柱疾病的诊疗提供全方位多视角的辅助，同时为脊柱疾病的手术导航和机器人手术提供新的技术解决方案。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种脊柱CT序列图像分割方法与系统。
本发明的目的可以通过以下技术方案来实现：
一种脊柱CT序列图像分割方法，该方法包括训练阶段和测试阶段，
所述的训练阶段包括如下步骤：
(A1)人工标注：获取多套CT序列图像，并对CT序列图像中的骨性结构以及各类非骨性组织进行人工语义分割得到人工标注的三维掩模图像；
(A2)数据集预处理：对CT序列图像及其人工标注的三维掩模图像进行预处理，构建全局语义分割数据集；
定位并截取CT序列图像及其人工标注的三维掩模图像中的脊柱核心段，构建局部语义分割数据集；
(A3)构建全局语义分割网络和局部语义分割网络；
(A4)采用预处理的全局语义分割数据集对全局语义分割网络进行训练，采用局部语义分割数据集对局部语义分割网络进行训练；
所述的测试阶段包括如下步骤：
(B1)获取待分割的CT序列图像；
(B2)对CT序列图像进行预处理；
(B3)采用训练好的全局语义分割网络对预处理后的CT序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像；
(B4)根据全局三维掩模图像，定位并截取脊柱核心段，采用训练好的局部语义分割网络对CT序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像；
(B5)根据脊柱核心段在全局三维掩模图像中的定位，将脊柱核心段的局部三维掩模图像插入全局三维掩模图像中，合成最终的三维掩模图像。
步骤(A2)具体包括：1、标准化操作，即依序执行：(a)将CT序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作；(c)将白化操作后的CT序列图像按照既定的窗口大小分割为小块体数据；2、数据增广形成新样本，即随机执行以下一个或多个操作：(d)对CT序列图像的3个维度的体素间距增加一小量随机扰动；(e)对CT序列图像添加小量随机噪声；(f)对小块体数据进行随机左右镜像和前后镜像变换。
步骤(B2)具体包括：(a)将CT序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作。
所述的全局语义分割网络和局部语义分割网络均为全卷积生成对抗网络。
所述的全卷积生成对抗网络包括生成模型和判别模型，所述的生成模型输入为预处理后的CT序列图像，输出为三维掩模图像，所述的判别模型用于判别生成模型输出的三维掩模图像与人工标注的三维掩模图像的差异并更新生成模型参数，进而使得生成模型输出的三维掩模图像与人工标注的三维掩模图像无限趋近。
生成模型的损失函数
Figure BDA0001867346900000031
和判别模型的损失函数
Figure BDA0001867346900000032
分别为：
Figure BDA0001867346900000033
其中函数
Figure BDA0001867346900000034
形式如下：
Figure BDA0001867346900000035
其中
Figure BDA0001867346900000036
式中，
Figure BDA0001867346900000037
表示N维实数空间，v表示
Figure BDA0001867346900000038
空间中的任意变量，D(v；θD)表示将v输入判别模型D获得的输出，
Figure BDA0001867346900000039
表示从
Figure BDA00018673469000000310
空间到
Figure BDA00018673469000000311
空间的投影，x表示预处理后的CT序列图像，y表示人工标注的三维掩模图像，G表示生成模型，D表示判别模型，θG表示生成模型的参数，θD表示判别模型的参数，t表示训练过程中的迭代次数，kt和λk为比例系数，γ为差异比，γ为0到1之间的常数，D(y；θD)表示将y输入至判别模型D获得的输出，G(x；θG)表示将x输入至生成模型G获得的三维掩模图像，
Figure BDA00018673469000000312
表示y与D(y；θD)之间的差异，
Figure BDA00018673469000000313
表示G(x；θG)与D(G(x；θG)；θD)之间的差异，D(G(x；θG)；θD)表示将G(x；θG)输入至判别模型D获得的输出，
Figure BDA00018673469000000314
表示生成模型输出的三维掩模图像与人工标注的三维掩模图像的差异。
一种脊柱CT序列图像分割系统，该系统基于上述方法进行CT序列图像分割，所述的CT序列图像分割系统包括：
影像获取模块(1)：该模块获取CT序列图像；
预处理模块(2)：该模块对CT序列图像进行预处理；
模型训练模块(3)：该模块对全局语义分割网络和局部语义分割网络进行训练；
语义分割模块(4)：该模块首先采用预先训练的全局语义分割网络对预处理后的CT序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像，然后采用预先训练的局部语义分割网络对CT序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像，最后将全局三维掩模图像和局部三维掩模图像合成为最终的三维掩模图像。
与现有技术相比，本发明具有如下优点：
(1)本发明采用基于深度学习的方法对脊柱CT序列图像中骨性结构以及各类非骨性组织进行快速自动分割，分割结果准确可靠；
(2)本发明设置全局语义分割网络和局部语义分割网络对脊柱CT序列图像进行全局语义分割和局部语义分割，全局语义分割将CT序列图像中的骨性结构以及非骨性组织进行初步分离，局部语义分割则将CT序列图像中脊柱核心段的各类不同的非骨性组织(如神经、血管、韧带等)进行细分割，进而分割结果更加精准；
(3)本发明全局语义分割网络和局部语义分割网络均采用全卷积生成对抗网络，进一步提高了分割结果的准确可靠性；
(4)本发明对脊柱CT序列图像进行快速有效分割，进而在此基础上可进行三维重建，无需造影剂的增强即可实现软组织的识别，减轻了肾脏代谢的负担，避免了造影剂过敏反应，为脊柱疾病诊疗方案的制定提供全方位多视角的影像辅助，也为脊柱疾病的手术导航和机器人手术提供新的技术解决方案。
附图说明
图1为本发明一种脊柱CT序列图像分割方法的流程框图；
图2为本发明实施例中局部语义分割网络的结构示意图；
图3为本发明一种脊柱CT序列图像分割系统的结构框图；
图4为本实施例中某脊柱CT序列图像的三维掩模图像的切片，4(a)为人工标注的三维掩模图像的切片，4(b)为通过3D-Unet生成模型生成的三维掩模图像的切片；
图5为本实施例中三维重建后的效果示意图；
图6为本实施例中手术规划示意图。
图中，1为影像获取模块，2为预处理模块，3为模型训练模块，4为语义分割模块。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
如图1所示，一种脊柱CT序列图像分割方法，该方法包括训练阶段和测试阶段，
训练阶段包括如下步骤：
(A1)人工标注：获取多套CT序列图像，并对CT序列图像中的骨性结构以及各类非骨性组织进行人工语义分割得到人工标注的三维掩模图像；
(A2)数据集预处理：对CT序列图像及其人工标注的三维掩模图像进行预处理，构建全局语义分割数据集；
定位并截取CT序列图像及其人工标注的三维掩模图像中的脊柱核心段，构建局部语义分割数据集；
(A3)构建全局语义分割网络和局部语义分割网络；
(A4)采用预处理的全局语义分割数据集对全局语义分割网络进行训练，采用局部语义分割数据集对局部语义分割网络进行训练；
测试阶段包括如下步骤：
(B1)获取待分割的CT序列图像；
(B2)对CT序列图像进行预处理；
(B3)采用训练好的全局语义分割网络对预处理后的CT序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像；
(B4)根据全局三维掩模图像，定位并截取脊柱核心段，采用训练好的局部语义分割网络对CT序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像；
(B5)根据脊柱核心段在全局三维掩模图像中的定位，将脊柱核心段的局部三维掩模图像插入全局三维掩模图像中，合成最终的三维掩模图像。
步骤(A2)具体包括：1、标准化操作，即依序执行：(a)将CT序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作；(c)将白化操作后的CT序列图像按照既定的窗口大小分割为小块体数据；2、数据增广形成新样本，即随机执行以下一个或多个操作：(d)对CT序列图像的3个维度的体素间距增加一小量随机扰动；(e)对CT序列图像添加小量随机噪声；(f)对小块体数据进行随机左右镜像和前后镜像变换。
步骤(B2)具体包括：(a)将CT序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作。
全局语义分割网络和局部语义分割网络均为全卷积生成对抗网络。
全卷积生成对抗网络包括生成模型和判别模型，生成模型输入为预处理后的CT序列图像，输出为三维掩模图像，判别模型用于判别生成模型输出的三维掩模图像与人工标注的三维掩模图像的差异并更新生成模型参数，进而使得生成模型输出的三维掩模图像与人工标注的三维掩模图像无限趋近。
生成模型的损失函数
Figure BDA0001867346900000061
和判别模型的损失函数
Figure BDA0001867346900000062
分别为：
Figure BDA0001867346900000063
其中函数
Figure BDA0001867346900000064
形式如下：
Figure BDA0001867346900000065
其中
Figure BDA0001867346900000066
式中，
Figure BDA0001867346900000067
表示N维实数空间，v表示
Figure BDA0001867346900000068
空间中的任意变量，D(v；θD)表示将v输入判别模型D获得的输出，
Figure BDA0001867346900000069
表示从
Figure BDA00018673469000000610
空间到
Figure BDA00018673469000000611
空间的投影，x表示预处理后的CT序列图像，y表示人工标注的三维掩模图像，G表示生成模型，D表示判别模型，θG表示生成模型的参数，θD表示判别模型的参数，t表示训练过程中的迭代次数，kt和λk为比例系数，γ为差异比，γ为0到1之间的常数，D(y；θD)表示将y输入至判别模型D获得的输出，G(x；θG)表示将x输入至生成模型G获得的三维掩模图像，
Figure BDA00018673469000000612
表示y与D(y；θD)之间的差异，
Figure BDA00018673469000000613
表示G(x；θG)与D(G(x；θG)；θD)之间的差异，D(G(x；θG)；θD)表示将G(x；θG)输入至判别模型D获得的输出，
Figure BDA0001867346900000071
表示生成模型输出的三维掩模图像与人工标注的三维掩模图像的差异。
具体地，全局语义分割网络和局部语义分割网络采用的全卷积生成对抗网络的结构相同，内部参数根据实际训练结果获得，本实施例以局部语义分割网络为例进行说明。局部语义分割网络采用的全卷积生成对抗网络的具体结构如图2所示，图中，3D-Unet即为3D-Unet生成模型，图中虚线框中为判别模型。判别模型中：
第1层是卷积层Conv0，卷积核大小为3×3×3，卷积核数目为n，步长为1，激活函数为elu函数；
第2层是卷积层Conv1，卷积核大小为3×3×3，卷积核数目为n，步长为1，激活函数为elu函数；第3层是卷积层Conv2，卷积核大小为3×3×3，卷积核数目为2n，步长为2，激活函数为elu函数；
第4层是卷积层Conv3，卷积核大小为3×3×3，卷积核数目为3n，步长为1，激活函数为elu函数；第5层是卷积层Conv4，卷积核大小为3×3×3，卷积核数目为2n，步长为2，激活函数为elu函数；
第6层是卷积层Conv5，卷积核大小为3×3×3，卷积核数目为3n，步长为1，激活函数为elu函数；第7层是卷积层Conv6，卷积核大小为3×3×3，卷积核数目为h，步长为1，激活函数为elu函数；
第8层是卷积层Conv7，卷积核大小为3×3×3，卷积核数目为h，步长为1，激活函数为elu函数；第9层是卷积层Conv8，卷积核大小为3×3×3，卷积核数目为3n，步长为1，激活函数为elu函数；
第10层是上采样层，上采样因子为2×2×2；
第11层是卷积层Conv9，卷积核大小为3×3×3，卷积核数目为3n，步长为1，激活函数为elu函数；第12层是卷积层Conv10，卷积核大小为3×3×3，卷积核数目为2n，步长为1，激活函数为elu函数；
第13层是上采样层，上采样因子为2×2×2；
第14层是卷积层Conv11，卷积核大小为3×3×3，卷积核数目为2n，步长为1，激活函数为elu函数；第15层是卷积层Conv12，卷积核大小为3×3×3，卷积核数目为n，步长为1，激活函数为elu函数；
第16层是卷积层Conv13，卷积核大小为3×3×3，卷积核数目为3，步长为1，激活函数为softmax函数。
具体地，本发明全卷积生成对抗网络通过如下方式获得：
收集多套脊柱CT序列图像并对其中的骨性结构(脊柱)以及各类非骨性组织(如神经、血管、韧带)进行人工标注，将标注数据分为训练集、验证集和测试集，采用训练集进行全卷积生成对抗网络的训练。
首先，将训练集中的脊柱CT序列图像进行预处理，该预处理与上述脊柱手术规划实际应用时的预处理相同，包括(a)将脊柱CT序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作；(c)将白化操作后的脊柱CT序列图像按照既定的窗口大小分割为小块体数据。其中，训练时的体素间距标称值、白化操作参数和窗口大小均与实际应用时的预处理操作采用的参数相等。然后，对预处理后的脊柱CT序列图像进行扩增操作包括：对数据集进行限定比例范围内的大小缩放和镜像变换，由此，扩大的训练集中样本的个数，从而提高模型训练的准确性。
完成上述预处理和扩增操作后，便建立上述全卷积生成对抗网络，进而进行全卷积生成对抗网络的训练优化全卷积生成对抗网络中的各个参数，具体训练算法如下：
输入：含有N个样本(x，y)的训练集(X,Y)，最小批量数n，最大周期数M，3D-Unet生成模型的学习率ηG、判别模型的学习率ηD，其中x表示预处理后的脊柱CT序列图像，y表示人工标注的三维掩模图像；
输出：训练好的网络参数(θG,θD)，θG表示3D-Unet生成模型的参数，θD表示判别模型的参数。
训练过程为：
1、构建全卷积生成对抗网络，并随机初始化网络参数(θG,θD)；
2、循环t∈{1,2,…,MN/n}，执行3～8：
3、从乱序训练集获取一个批量的训练数据赋值给(xn,yn)；
4、G(xn；θG)前向传播，G(xn；θG)表示生成模型，输入为xn；
5、D(G(xn；θG)；θD)前向传播，D(G(xn；θG)；θD)表示判别模型，输入为G(xn；θG)；
6、D(yn；θD)前向传播，D(yn；θD)表示判别模型，输入为yn；
7、G(xn；θG)后向传播，更新模型参数θG，具体地：
Figure BDA0001867346900000081
Figure BDA0001867346900000082
表示梯度算子；
8、D(·；θD)后向传播，更新模型参数θD，D(·；θD)表示判别模型，输入为yn或G(xn；θG)，具体地：
Figure BDA0001867346900000091
Figure BDA0001867346900000092
如图3所示，一种脊柱CT序列图像分割系统，该系统基于上述方法进行CT序列图像分割，CT序列图像分割系统包括：
影像获取模块1：该模块获取CT序列图像；
预处理模块2：该模块对CT序列图像进行预处理；
模型训练模块3：该模块对全局语义分割网络和局部语义分割网络进行训练；
语义分割模块4：该模块首先采用预先训练的全局语义分割网络对预处理后的CT序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像，然后采用预先训练的局部语义分割网络对CT序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像，最后将全局三维掩模图像和局部三维掩模图像合成为最终的三维掩模图像。
该系统预处理模块2预处操作与上述方法中一致，全卷积生成对抗网络也与上述方法中全卷积生成对抗网络一致，这里不再赘述。
本发明基于深度学习的CT序列图像分割方法及系统能够对脊柱CT序列图像中的骨性结构以及各类非骨性组织进行快速自动分割，分割结果准确可靠。在上述自动分割的基础上可以进行病灶定位识别以及手术方案规划。具体而言，首先，通过全卷积生成对抗网络进行自动语义分割并获取对应的三维掩模图像后，将脊柱CT序列图像和对应的三维掩模图像结合进行分析可以检测受压神经，并对检测出的受压神经进行严重程度分类，实现病灶定位识别。另外，还可将获取得到的三维掩模图像进行三维重建获得三维重建影像，进而根据三维重建影像规划手术方案，包括手术医疗器械的选择，植入物的形状、大小和材料。
本实施例采用上述基于深度学习的CT序列图像分割方法及系统进行CT序列图像分割，如图4(a)所示为人工标注的三维掩模图像的切片，4(b)为通过3D-Unet生成模型生成的三维掩模图像的切片，图中A为骨性结构，B为非骨性组织，由此，本发明3D-Unet生成模型进行语义分割获得的三维掩模图像结果准确。再上述分割的基础上，本实施例进行了脊柱手术规划，图5为本实施例中三维重建后的效果示意图，图中A为骨性结构，C为神经根。通过三维重建后的三维重建影像规划手术方案，由此确定了进入手术操作区域的工作通道D，具体如图6所示。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (7)

1.一种脊柱CT序列图像分割方法，其特征在于，该方法包括训练阶段和测试阶段，
所述的训练阶段包括如下步骤：
(A1)人工标注：获取多套CT序列图像，并对CT序列图像中的骨性结构以及各类非骨性组织进行人工语义分割得到人工标注的三维掩模图像；
(A2)数据预处理：对CT序列图像及其人工标注的三维掩模图像进行预处理，构建全局语义分割数据集；
定位并截取CT序列图像及其人工标注的三维掩模图像中的脊柱核心段，构建局部语义分割数据集；
(A3)构建全局语义分割网络和局部语义分割网络；
(A4)采用预处理的全局语义分割数据集对全局语义分割网络进行训练，采用局部语义分割数据集对局部语义分割网络进行训练；
所述的测试阶段包括如下步骤：
(B1)获取待分割的CT序列图像；
(B2)对CT序列图像进行预处理；
(B3)采用训练好的全局语义分割网络对预处理后的CT序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像；
(B4)根据全局三维掩模图像，定位并截取脊柱核心段，采用训练好的局部语义分割网络对CT序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像；
(B5)根据脊柱核心段在全局三维掩模图像中的定位，将脊柱核心段的局部三维掩模图像插入全局三维掩模图像中，合成最终的三维掩模图像。
2.根据权利要求1所述的一种脊柱CT序列图像分割方法，其特征在于，步骤(A2)具体包括：1、标准化操作，即依序执行：(a)将CT序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作；(c)将白化操作后的CT序列图像按照既定的窗口大小分割为小块体数据；2、数据增广形成新样本，即随机执行以下一个或多个操作：(d)对CT序列图像的3个维度的体素间距增加一小量随机扰动；(e)对CT序列图像添加小量随机噪声；(f)对小块体数据进行随机左右镜像和前后镜像变换。
3.根据权利要求1所述的一种脊柱CT序列图像分割方法，其特征在于，步骤(B2)具体包括：(a)将CT序列图像的3个维度的体素间距设为一相同的标称值；(b)白化操作。
4.根据权利要求1所述的一种脊柱CT序列图像分割方法，其特征在于，所述的全局语义分割网络和局部语义分割网络均为全卷积生成对抗网络。
5.根据权利要求4所述的一种脊柱CT序列图像分割方法，其特征在于，所述的全卷积生成对抗网络包括生成模型和判别模型，所述的生成模型输入为预处理后的CT序列图像，输出为三维掩模图像，所述的判别模型用于判别生成模型输出的三维掩模图像与人工标注的三维掩模图像的差异并更新生成模型参数，进而使得生成模型输出的三维掩模图像与人工标注的三维掩模图像无限趋近。
6.根据权利要求5所述的一种脊柱CT序列图像分割方法，其特征在于，生成模型的损失函数
Figure FDA0001867346890000021
和判别模型的损失函数
Figure FDA0001867346890000022
分别为：
Figure FDA0001867346890000023
其中函数
Figure FDA0001867346890000024
形式如下：
Figure FDA0001867346890000025
其中
Figure FDA0001867346890000026
式中，
Figure FDA0001867346890000027
表示N维实数空间，v表示
Figure FDA0001867346890000028
空间中的任意变量，D(v；θD)表示将v输入判别模型D获得的输出，
Figure FDA0001867346890000029
表示从
Figure FDA00018673468900000210
空间到
Figure FDA00018673468900000211
空间的投影，x表示预处理后的CT序列图像，y表示人工标注的三维掩模图像，G表示生成模型，D表示判别模型，θG表示生成模型的参数，θD表示判别模型的参数，t表示训练过程中的迭代次数，kt和λk为比例系数，γ为差异比，γ为0到1之间的常数，D(y；θD)表示将y输入至判别模型D获得的输出，G(x；θG)表示将x输入至生成模型G获得的三维掩模图像，
Figure FDA00018673468900000212
表示y与D(y；θD)之间的差异，
Figure FDA00018673468900000213
表示G(x；θG)与D(G(x；θG)；θD)之间的差异，D(G(x；θG)；θD)表示将G(x；θG)输入至判别模型D获得的输出，
Figure FDA00018673468900000214
表示生成模型输出的三维掩模图像与人工标注的三维掩模图像的差异。
7.一种脊柱CT序列图像分割系统，其特征在于，该系统基于上述权利要求1～6所述任意一项所述的方法进行CT序列图像分割，所述的CT序列图像分割系统包括：
影像获取模块(1)：该模块获取CT序列图像；
预处理模块(2)：该模块对CT序列图像进行预处理；
模型训练模块(3)：该模块对全局语义分割网络和局部语义分割网络进行训练；
语义分割模块(4)：该模块首先采用预先训练的全局语义分割网络对预处理后的CT序列图像中的骨性结构以及非骨性组织进行全局语义分割，获取对应的全局三维掩模图像，然后采用预先训练的局部语义分割网络对CT序列图像中脊柱核心段的各类非骨性组织进行局部语义分割，获取对应的局部三维掩模图像，最后将全局三维掩模图像和局部三维掩模图像合成为最终的三维掩模图像。
CN201811361072.3A 2018-11-15 2018-11-15 一种脊柱ct序列图像分割方法与系统 Pending CN111260650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811361072.3A CN111260650A (zh) 2018-11-15 2018-11-15 一种脊柱ct序列图像分割方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811361072.3A CN111260650A (zh) 2018-11-15 2018-11-15 一种脊柱ct序列图像分割方法与系统

Publications (1)

Publication Number Publication Date
CN111260650A true CN111260650A (zh) 2020-06-09

Family

ID=70951827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811361072.3A Pending CN111260650A (zh) 2018-11-15 2018-11-15 一种脊柱ct序列图像分割方法与系统

Country Status (1)

Country Link
CN (1) CN111260650A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709424A (zh) * 2020-06-28 2020-09-25 北京航空航天大学 基于多病种胎儿四腔心切面的多部件语义分割方法
CN112150605A (zh) * 2020-08-17 2020-12-29 北京化工大学 用于mri局部sar估计的膝关节模型构建方法
CN113205535A (zh) * 2021-05-27 2021-08-03 青岛大学 一种x光片脊椎自动分割及标识方法
CN113506308A (zh) * 2021-07-06 2021-10-15 同济大学 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
CN114939988A (zh) * 2022-05-20 2022-08-26 常州大学 基于ai的踝骨骨折检测与三维重建方法
CN115294160A (zh) * 2022-10-08 2022-11-04 长春理工大学 面向脊柱影像的轻量化分割网络及其构建方法和应用
CN116934709A (zh) * 2023-07-20 2023-10-24 北京长木谷医疗科技股份有限公司 一种基于弱监督学习的脊柱滑脱智能识别方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709424A (zh) * 2020-06-28 2020-09-25 北京航空航天大学 基于多病种胎儿四腔心切面的多部件语义分割方法
CN112150605A (zh) * 2020-08-17 2020-12-29 北京化工大学 用于mri局部sar估计的膝关节模型构建方法
CN112150605B (zh) * 2020-08-17 2024-02-02 北京化工大学 用于mri局部sar估计的膝关节模型构建方法
CN113205535A (zh) * 2021-05-27 2021-08-03 青岛大学 一种x光片脊椎自动分割及标识方法
CN113506308A (zh) * 2021-07-06 2021-10-15 同济大学 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
CN114939988A (zh) * 2022-05-20 2022-08-26 常州大学 基于ai的踝骨骨折检测与三维重建方法
CN114939988B (zh) * 2022-05-20 2023-09-22 常州大学 基于ai的踝骨骨折检测与三维重建方法
CN115294160A (zh) * 2022-10-08 2022-11-04 长春理工大学 面向脊柱影像的轻量化分割网络及其构建方法和应用
CN115294160B (zh) * 2022-10-08 2022-12-16 长春理工大学 面向脊柱影像的轻量化分割网络及其构建方法和应用
CN116934709A (zh) * 2023-07-20 2023-10-24 北京长木谷医疗科技股份有限公司 一种基于弱监督学习的脊柱滑脱智能识别方法及装置
CN116934709B (zh) * 2023-07-20 2024-04-02 北京长木谷医疗科技股份有限公司 一种基于弱监督学习的脊柱滑脱智能识别方法及装置

Similar Documents

Publication Publication Date Title
CN111260650A (zh) 一种脊柱ct序列图像分割方法与系统
EP4095797B1 (en) Autonomous segmentation of three-dimensional nervous system structures from medical images
EP3751516B1 (en) Autonomous multidimensional segmentation of anatomical structures on three-dimensional medical imaging
CN108629816B (zh) 基于深度学习进行薄层磁共振图像重建的方法
Oulbacha et al. MRI to CT synthesis of the lumbar spine from a pseudo-3D cycle GAN
Tmenova et al. CycleGAN for style transfer in X-ray angiography
Tiago et al. A data augmentation pipeline to generate synthetic labeled datasets of 3D echocardiography images using a GAN
Madhumathy et al. Deep learning based photo acoustic imaging for non-invasive imaging
Dev Imaging and visualization in medical education
CN112071422B (zh) 基于神经网络的腰椎病变诊断系统
CN117524402A (zh) 关于内镜影像分析并自动生成诊断报告的方法
Patel et al. Improved automatic bone segmentation using large-scale simulated ultrasound data to segment real ultrasound bone surface data
Gao et al. 3DSRNet: 3D Spine Reconstruction Network Using 2D Orthogonal X-ray Images Based on Deep Learning
CN116402954A (zh) 一种基于深度学习的脊柱三维结构的重建方法
US20240185509A1 (en) 3d reconstruction of anatomical images
Oulbacha et al. MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms
Malinda et al. Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks
Yu et al. Deep learning single view computed tomography guided by FBP algorithm
CN113052840A (zh) 一种基于低信噪比pet图像的处理方法
Faliagka et al. Registration and fusion techniques for medical images: Demonstration and evaluation
Vrettos et al. Generative adversarial networks for spine imaging: A critical review of current applications
Che Azemin et al. Assessing the Efficacy of StyleGAN 3 in Generating Realistic Medical Images with Limited Data Availability
Zheng et al. Micro CT Image-Assisted Cross Modality Super-Resolution of Clinical CT Images Utilizing Synthesized Training Dataset
Pepe et al. Deep learning and generative adversarial networks in oral and maxillofacial surgery
Li Computer generative method on brain tumor segmentation in MRI images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination