CN111563899A - 一种髋关节ct图像中骨的分割方法 - Google Patents

一种髋关节ct图像中骨的分割方法 Download PDF

Info

Publication number
CN111563899A
CN111563899A CN202010515791.7A CN202010515791A CN111563899A CN 111563899 A CN111563899 A CN 111563899A CN 202010515791 A CN202010515791 A CN 202010515791A CN 111563899 A CN111563899 A CN 111563899A
Authority
CN
China
Prior art keywords
bone
image
bone segmentation
network
hip joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010515791.7A
Other languages
English (en)
Other versions
CN111563899B (zh
Inventor
常勇
刘泽安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huibaitu Technology Co ltd
Original Assignee
Nanjing Huibaitu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huibaitu Technology Co ltd filed Critical Nanjing Huibaitu Technology Co ltd
Priority to CN202010515791.7A priority Critical patent/CN111563899B/zh
Publication of CN111563899A publication Critical patent/CN111563899A/zh
Application granted granted Critical
Publication of CN111563899B publication Critical patent/CN111563899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Abstract

本发明提出一种髋关节CT图像中骨的分割方法，包括以下步骤：S1，获取若干个髋关节CT图像序列，并进行骨的人工标注；S2，训练stackGAN（阶段生成对抗网络）；S3，训练BiLSTM（双向长短期记忆网络）；S4，输入一个髋关节CT图像序列；S5，使用已训练的stackGAN进行骨分割；S6，使用已训练的BiLSTM进行后处理，得到最终的骨分割结果。本发明以二维切片图像为输入，不仅提高了数据适应性，而且降低了模型复杂度；同时充分利用了切片之间的三维结构信息，提高了分割的准确性。

Description

一种髋关节CT图像中骨的分割方法
技术领域
本发明属于医学图像处理技术领域，具体涉及一种髋关节CT图像中骨的分割方法。
背景技术
髋关节是位于骨盆与股骨之间的球窝关节，其中股骨头的末端为球形，正好插入骨盆髋臼。髋关节轴向连接躯干与下肢，可以朝六个不同的方向运动，在我们进行各种活动时承载身体的重量并支撑臀部与腿部肌肉的力量，是身体中最为灵活和承重最大的关节，因此也是全身关节中最容易出现问题的关节之一。
骨关节炎是世界上最常见的关节疾病，其发病率和患病率均随年龄的增长而增加。髋关节严重病变的患者如果通过药物治疗不能获得有效的止痛和功能改善，应考虑进行全髋关节置换手术。对于骨关节炎严重的病例，本方明提出的基于stackGAN和BiLSTM的髋关节CT图像中骨的分割方法可以实现骨的分割，辅助医生对骨盆和股骨进行形态和结构分析，为全髋关节置换手术的术前评估、术中指导和术后评价提供支持。
髋关节CT图像中骨的分割在临床和治疗上有着重要的应用，很多髋关节CT图像中骨的分割方法被提出。但是由于下列因素：髋关节组织损伤可引发关节间隙变窄、模糊甚至骨变形； CT 图像在采集过程中存在伪影、部分体积效应等影响；髋关节在人体中的位置和形态跟个体有较大的关联性；深度学习算法需要大量的训练数据很难获取。这些因素对骨分割的准确性和稳定性有很大影响，髋关节CT图像中骨的分割方法还有很大的提高空间，迫切需要准确性高和稳定性强的骨分割方法。
发明内容
发明目的：为了提高髋关节CT图像中骨分割的准确性和稳定性，本发明提供一种髋关节CT图像中骨的分割方法。
技术方案：一种髋关节CT图像中骨的分割方法，包括如下步骤。
S1：获取若干个髋关节CT图像序列，使用标注软件对图像中的骨进行人工分割，人工分割结果定义为骨的标准分割结果。
S2：使用S1中髋关节CT切片图像及其标准的骨分割结果作为训练数据训练stackGAN。stackGAN包括第一阶段反向条件生成对抗网络和第二阶段正向条件生成对抗网络两个阶段，具体训练过程如下：
S2.1：以S1中CT切片图像及其对应的分割结果为输入，提取非骨特征训练反向条件生成对抗网络；
S2.2：反向条件生成对抗网络训练完成后，以S1中CT切片图像及其对应的分割结果和反向条件生成对抗网络的输出作为正向条件生成对抗网络的输入，提取骨特征训练正向条件生成对抗网络。
S3：使用S2中训练的stackGAN处理S1中髋关节CT图像得到的骨分割结果和S1中的标准骨分割结果作为训练数据训练BiLSTM。
S4：输入一个髋关节CT图像序列。
S5：使用S2中训练好的stackGAN对S4中的髋关节CT图像序列的每一张切片进行骨分割，具体过程如下：
S5.1：第一阶段反向条件生成对抗网络提取非骨特征生成骨的粗分割标签；
S5.2：第二阶段正向条件生成对抗网络以骨的粗分割标签为先验，提取骨特征，进一步生成更为精准的骨分割标签。
S6：使用S3中训练好的BiLSTM对S5得到的骨分割结果进行后处理，得到最终的骨分割结果，具体过程如下：
S6.1：取当前切片图像前面连续k张切片图像的骨分割结果输入到正向LSTM网络；
S6.2：取当前切片图像后面连续k张切片图像的骨分割结果输入到反向LSTM网络；
S6.3：叠加当前切片图像正向LSTM网络和反向LSTM网络输出作为当前切片图像的最终骨分割结果。
特点及有益效果：1）stackGAN以二维切片图像为输入，放宽了输入数据的限制的同时增加了训练数据的样本数量，并可以处理不完全的髋关节 CT 数据；2）BiLSTM对stackGAN的二维分割结果进行正则化，既降低了分割网络的复杂度又有效利用了髋关节CT 切片的三维结构信息。
附图说明
图1为本发明方法的整体流程图。
图2为stackGAN训练过程示意图。
图3为stackGAN分割过程示意图。
图4为BiLSTM结构示意图。
具体实施方式
下面结合附图和具体实施流程对本发明做进一步详细说明。
如图1所示，本发明提出一种髋关节CT图像中骨的分割方法，分为数据标注、模型训练、图像分割三个阶段。每个阶段包括若干步骤，具体过程如下所述。
S1：获取若干个髋关节CT图像序列，放射学专家使用标注软件依次对每个图像中的骨进行人工分割，人工分割结果定义为骨的标准分割结果。
S2：如图2所示，stackGAN包括第一阶段反向条件生成对抗网络（图2上半部分）和第二阶段正向条件生成对抗网络（图2下半部分）两个阶段，每个条件生成对抗网络由生成器和判别器组成。条件生成对抗网络训练时，使用生成器生成分割结果，判别器根据人工分割结果计算生成分割结果可信度（取值0到1之间），根据可信度更新生成器权值进行下一次生成和判定，直到训练结束。在stackGAN训练过程中，首先单独训练第一阶段反向条件生成对抗网络，然后使用第一阶段训练的反向条件生成对抗网络的生成器，训练第二阶段正向条件生成对抗网络，stackGAN具体训练过程如下：
S2.1：把S1中每张髋关节CT切片图像I及其标准的骨分割结果R作为一个训练样例，训练第一阶段反向条件生成对抗网络。训练过程如下：I输入到生成器G1，G1生成I的分割结果S1；R与S1输入到判别器D1，D1计算S1的可信度；根据D1的计算结果更新G1的权值；重复设定的次数，结束反向条件生成对抗网络训练。为了提取反向的非骨特征，所以在提取特征图谱后增加NEG模块，将特征图谱的激活值全部乘以-1取负；
S2.2：反向条件生成对抗网络训练完成后，第二阶段正向条件对抗生成对抗网络生成器G2以I和S1为输入，生成分割结果S2；第二阶段正向条件生成对抗网络判别器D2计算S2的可信度；根据D2的计算结果更新G2的权值；重复设定的次数，结束正向条件生成对抗网络训练。
S3：使用S2中训练的stackGAN处理S1中髋关节CT图像得到的骨分割结果和S1中的标准骨分割结果作为训练数据训练BiLSTM。图4展示了BiLSTM的结构，每个stackGAN的分割结果经过带有空洞卷积编码器得到特征图谱，从编码器得到的特征图谱输入到双向空洞卷积长短期记忆单元。
S4：训练过程结束，输入一个髋关节CT图像序列进行分割。
S5：使用S2中训练好的stackGAN对S4中的髋关节CT图像序列的每一张切片进行骨分割。图3展示了具体使用stackGAN进行分割的示意图，分割由第一阶段反向条件生成对抗网络生成器G1和正向件生成对抗网络生成器G2完成，具体过程如下：
S5.1：第一阶段反向条件生成对抗网络提取非骨特征生成骨的粗分割标签；
S5.2：第二阶段正向条件生成对抗网络以骨的粗分割标签为先验，提取骨特征，进一步生成更为精准的骨分割标签。
S6：使用S3中训练好的BiLSTM对S5得到的骨分割结果进行后处理，得到最终的骨分割结果，具体过程如下：
S6.1：取当前切片前面连续k张切片的骨分割结果输入到正向LSTM网络（如图4上半部分所示）；
S6.2：取当前切片后面连续k张切片的骨分割结果输入到反向LSTM网络（如图4下半部分所示）；
S6.3：叠加当前切片正向LSTM网络和反向LSTM网络的输出为正则化结果，即当前切片图像的最终骨分割结果。

Claims (5)

1.一种髋关节CT图像中骨的分割方法，其特征在于，包括如下步骤：
S1：获取若干个髋关节CT图像序列进行骨的人工标注作为标准的骨分割结果；
S2：使用S1中髋关节CT切片图像及其标准的骨分割结果作为训练数据训练stackGAN；
S3：使用S2训练的stackGAN处理S1中髋关节CT图像得到的骨分割结果和S1中的标准骨分割结果作为训练数据训练BiLSTM；
S4：输入一个髋关节CT图像序列；
S5：使用S2中训练好的stackGAN对S4中的髋关节CT图像序列的每一张切片图像进行骨分割；
S6：使用S3中训练好的BiLSTM对S5得到的骨分割结果进行后处理，得到最终的骨分割结果。
2.根据权利要求1所述的一种髋关节CT图像中骨的分割方法，其特征在于，所述S2中，stackGAN由第一阶段反向条件生成对抗网络和第二阶段正向条件生成对抗网络组成，S2具体包括如下子步骤：
S2.1：提取非骨特征训练反向条件生成对抗网络；
S2.2：固定已训练的反向条件生成对抗网络，提取骨特征训练正向条件生成对抗网络。
3.根据权利要求1所述的一种髋关节CT图像中骨的分割方法，其特征在于，所述S3中BiLSTM包括：当前切片图像前面连续k张切片图像的骨分割结果输入到一个LSTM网络构成的正向LSTM网络；当前切片图像后面连续k张切片图像的骨分割结果输入到另一个LSTM网络构成的反向LSTM网络。
4.根据权利要求1所述的一种髋关节CT图像中骨的分割方法，其特征在于，所述S5具体包括如下子步骤：
S5.1：第一阶段反向条件生成对抗网络提取非骨特征生成骨的粗分割标签；
S5.2：第二阶段正向条件生成对抗网络以骨的粗分割标签为先验，提取骨特征，进一步生成更为精准的骨分割标签。
5.根据权利要求1所述的一种髋关节CT图像中骨的分割方法，其特征在于,所述S6具体包括如下子步骤：
S6.1：取当前切片图像前面连续k张切片图像的骨分割结果输入到正向LSTM网络；
S6.2：取当前切片图像后面连续k张切片图像的骨分割结果输入到反向LSTM网络；
S6.3：叠加当前切片图像正向LSTM网络和反向LSTM网络输出作为当前切片图像的最终骨分割结果。
CN202010515791.7A 2020-06-09 2020-06-09 一种髋关节ct图像中骨的分割方法 Active CN111563899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010515791.7A CN111563899B (zh) 2020-06-09 2020-06-09 一种髋关节ct图像中骨的分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010515791.7A CN111563899B (zh) 2020-06-09 2020-06-09 一种髋关节ct图像中骨的分割方法

Publications (2)

Publication Number Publication Date
CN111563899A true CN111563899A (zh) 2020-08-21
CN111563899B CN111563899B (zh) 2020-10-02

Family

ID=72072595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010515791.7A Active CN111563899B (zh) 2020-06-09 2020-06-09 一种髋关节ct图像中骨的分割方法

Country Status (1)

Country Link
CN (1) CN111563899B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012155A (zh) * 2021-05-07 2021-06-22 刘慧烨 髋关节图像中骨骼分割方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242090A (zh) * 2018-08-28 2019-01-18 电子科技大学 一种基于gan网络的视频描述及描述一致性判别方法
US20190035118A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image conversion
CN110610124A (zh) * 2019-07-30 2019-12-24 珠海亿智电子科技有限公司 一种基于生成对抗网络的图像生成方法
CN110717421A (zh) * 2019-09-25 2020-01-21 北京影谱科技股份有限公司 一种基于生成对抗网络的视频内容理解方法及装置
CN110956579A (zh) * 2019-11-27 2020-04-03 中山大学 一种基于生成语义分割图的文本改写图片方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190035118A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image conversion
CN109242090A (zh) * 2018-08-28 2019-01-18 电子科技大学 一种基于gan网络的视频描述及描述一致性判别方法
CN110610124A (zh) * 2019-07-30 2019-12-24 珠海亿智电子科技有限公司 一种基于生成对抗网络的图像生成方法
CN110717421A (zh) * 2019-09-25 2020-01-21 北京影谱科技股份有限公司 一种基于生成对抗网络的视频内容理解方法及装置
CN110956579A (zh) * 2019-11-27 2020-04-03 中山大学 一种基于生成语义分割图的文本改写图片方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZI-ZHUANG ZOU等: "Intelligent Assessment of Percutaneous Coronary Intervention Based on GAN and LSTM Models", 《IEEE ACCESS(VOLUME:8)》 *
韩忠义: "深度学习算法及其医学影像分析应用研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012155A (zh) * 2021-05-07 2021-06-22 刘慧烨 髋关节图像中骨骼分割方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN111563899B (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN114170128B (zh) 基于深度学习的骨骼分割方法和系统
CN113506334B (zh) 基于深度学习的多模态医学图像融合方法及系统
Cootes et al. Anatomical statistical models and their role in feature extraction
Oulbacha et al. MRI to CT synthesis of the lumbar spine from a pseudo-3D cycle GAN
CN114494183B (zh) 一种基于人工智能的髋臼半径自动测量方法及系统
CN113658142A (zh) 一种基于改进U-Net神经网络的髋关节股骨近端分割方法
CN111563899B (zh) 一种髋关节ct图像中骨的分割方法
Yang et al. Label efficient segmentation of single slice thigh CT with two-stage pseudo labels
Messmer et al. Volumetric model determination of the tibia based on 2D radiographs using a 2D/3D database
Khmelinskii et al. Atlas-based organ & bone approximation for ex-vivo μMRI mouse data: a pilot study
CN116616893A (zh) 一种骨盆植入物通道的自动定位方法
Dixit et al. 3D reconstruction of 2D X-ray images
CN116402954A (zh) 一种基于深度学习的脊柱三维结构的重建方法
Haque et al. Semantic segmentation of thigh muscle using 2.5 d deep learning network trained with limited datasets
Maintier et al. Tibial and femoral bones segmentation on CT-scans: a deep learning approach
Cai et al. Automatic path planning for navigated pedicle screw surgery based on deep neural network
Zhou et al. Automatic segmentation algorithm of femur and tibia based on Vnet-C network
US20220301163A1 (en) Deep learning based medical system and method for image acquisition
Wahid et al. Multi-layered basis pursuit algorithms for classification of MR images of knee ACL tear
US20180192944A1 (en) Methods for monitoring compositional changes in a body
Zhou et al. Automated segmentation and recognition of the bone structure in non-contrast torso CT images using implicit anatomical knowledge
CN113902912A (zh) Cbct影像的处理方法、神经网络系统的创建方法、以及装置
Na et al. Development of a 3D breast shape generation and deformation system for breast implant fabrication
Išgum et al. Special Section Guest Editorial: Advances in High-Dimensional Medical Image Processing
CN111127636A (zh) 一种智能的复杂关节内骨折桌面级三维诊断系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant