CN114170128B - 基于深度学习的骨骼分割方法和系统 - Google Patents
基于深度学习的骨骼分割方法和系统 Download PDFInfo
- Publication number
- CN114170128B CN114170128B CN202011139480.1A CN202011139480A CN114170128B CN 114170128 B CN114170128 B CN 114170128B CN 202011139480 A CN202011139480 A CN 202011139480A CN 114170128 B CN114170128 B CN 114170128B
- Authority
- CN
- China
- Prior art keywords
- neural network
- segmentation
- training
- layer
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 74
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 44
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 91
- 238000003062 neural network model Methods 0.000 claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 238000002372 labelling Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims description 84
- 238000005070 sampling Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 28
- 230000004913 activation Effects 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 21
- 210000002082 fibula Anatomy 0.000 claims description 11
- 210000004417 patella Anatomy 0.000 claims description 11
- 210000002303 tibia Anatomy 0.000 claims description 11
- 210000000689 upper leg Anatomy 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 210000003484 anatomy Anatomy 0.000 abstract description 3
- 230000003902 lesion Effects 0.000 abstract description 3
- 238000001356 surgical procedure Methods 0.000 abstract description 3
- 238000002591 computed tomography Methods 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000002600 positron emission tomography Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 208000012659 Joint disease Diseases 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000020084 Bone disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及基于深度学习的骨骼分割方法和系统。分割方法包括：构建医学图像数据库：获取医学图像数据集，手动标注出不同类型的骨骼的区域；将所述数据集划分为训练集和测试集；将未标注前的医学图像数据转换成第一格式的图片并保存，将标注后的医学图像数据转换成第二格式的图片并保存；建立分割神经网络模型；模型训练：利用训练集对分割神经网络模型进行训练，并利用测试集进行测试；和利用训练好的分割神经网络模型进行分割。本发明提供的分割方法和系统基于深度学习实现了不同类型的骨骼结构的自动分割。与现有技术相比，本发明提高了分割效率以及准确率，可以为定位病变区域、研究解剖结构、设计治疗方案、计算机辅助外科手术等提供基础。
Description
技术领域
本发明涉及图像分割技术领域，尤其涉及基于深度学习的骨骼分割方法和系统。
背景技术
医学图像分割是医学图像处理的基础，可以定量计算目标物体体积、诊断疾病、定位病变区域、研究解剖结构、设计治疗方案、计算机辅助外科手术等。受人体器官和组织内在结构复杂多样的特性，图像分割方法具有面向对象性的特点，不存在一种分割方法适合人体所有部位。
骨骼起着支撑身体的作用，是人体运动系统的一部分，骨与骨之间一般用关节和韧带连接起来。骨科疾病多发，例如，髋关节疾病、膝关节疾病等。精准、快速地分割出不同类型的骨骼结构是具有现实意义的研究方向。
发明内容
(一)技术问题
本发明的一个目的在于提供基于深度学习的骨骼分割方法；
本发明的另一个目的在于提供基于深度学习的骨骼分割系统。
(二)技术方案
1、基于深度学习的骨骼分割方法，所述分割方法基于医学图像数据，所述分割方法包括：
构建医学图像数据库：获取医学图像数据集，手动标注出不同类型的骨骼的区域；将所述数据集划分为训练集和测试集；将未标注前的医学图像数据转换成第一格式的图片并保存，将标注后的医学图像数据转换成第二格式的图片并保存；
建立分割神经网络模型；
模型训练：利用训练集对分割神经网络模型进行训练，并利用测试集进行测试；和
利用训练好的分割神经网络模型进行分割。
2、根据技术方案1所述的方法，
所述分割神经网络模型包括粗分割神经网络和精确分割神经网络。
3、根据技术方案2所述的方法，
所述粗分割神经网络选自FCN、SegNet、Unet、3D-Unet、 Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask中的任一种或多种。
4、根据技术方案2或3所述的方法，
所述精确分割神经网络为EfficientDet、SimCLR、PointRend中的任一种或多种。
5、根据技术方案3至4任一项所述的方法，
所述Unet神经网络包括n个上采样层和n个下采样层；
每个上采样层包括上采样操作层和卷积层；
每个下采样层包括卷积层和池化层。
6、根据技术方案5所述的方法，
n的取值优选为2-8，进一步优选为3-6，更优选为4-5。
7、根据技术方案5或6所述的方法，
每个上采样层包括1个上采样操作层和2个卷积层，其中的卷积层中的卷积核大小为3*3，上采样操作层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512，256，256，128。
8、根据技术方案7所述的方法，
每个下采样层包括2个卷积层和1个池化层，其中的卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128，256，256，512。
9、根据技术方案1至8任一项所述的方法，
将所述数据集按照7:3的比例划分为训练集和测试集。
10、根据技术方案5至9任一项所述的方法，
最后一次上采样结束后设有一个dropout层，droupout率设置为0.7。
11、根据技术方案5至10任一项所述的方法，
所有的卷积层后面设有激活层，激活层使用的激活函数为relu函数。
12、根据技术方案2至11任一项所述的方法，
所述训练按照如下方法进行：
粗分割：将训练集送入粗分割神经网络进行训练；训练过程中，数据标签的背景像素值设置为0，不同类型的骨骼设置为不同的自然数，训练的batch_size为6，学习率设置为1e-4，优化器使用Adam优化器，使用的损失函数为DICE loss；可选地，根据训练过程中损失函数的变化，调整训练批次的大小；
精确分割：送入精确分割神经网络进行精确分割；初始过程包括，先使用双线性插值上采样粗分割的预测结果，再在特征图中选定多个最不确定的点，然后计算多个点的特征表示并且预测labels；重复所述初始过程，直到上采样到需要的大小；
优选地，选定置信度为0.5的点作为最不确定的点；
优选地，点的特征通过双线性插值Bilinear计算。
13、根据技术方案1至12任一项所述的方法，
所述医学图像数据为CT数据、MRI数据、超声数据、X-射线数据、DynaCT数据、PET数据中的任一种或多种；
获取的医学图像数据为二维数据和/或三维数据；和/或
手动标注出股骨、胫骨、腓骨、髌骨中的任一种或多种的区域。
14、基于深度学习的骨骼分割系统，所述系统包括：
数据库构建模块，用于获取医学图像数据集，手动标注出不同类型的骨骼的区域；将所述数据集划分为训练集和测试集；将未标注前的医学图像数据转换成第一格式的图片并保存，将标注后的医学图像数据转换成第二格式的图片并保存；
模型构建模块，用于建立分割神经网络模型；
模型训练模块，用于利用训练集对分割神经网络模型进行训练，并利用测试集进行测试；和
图像分割模块，用于利用训练好的分割神经网络模型进行分割。
15、根据技术方案14所述的系统，
所述数据库构建模块包括：
数据获取单元，用于获取医学图像数据集；接收手动标注出不同类型骨骼区域后的医学图像数据；和将未标注前的医学图像数据转换成第一格式的图片并保存，将标注后的医学图像数据转换成第二格式的图片并保存；
训练集和测试集生成单元，用于根据数据获取单元按照比例生成训练集以及测试集。
16、根据技术方案15所述的系统，
所述训练集和测试集生成单元按照7:3的比例生成训练集和测试集。
17、根据技术方案14至16任一项所述的系统，
所述分割神经网络模型包括粗分割神经网络和精确分割神经网络。
18、根据技术方案17所述的系统，
所述粗分割神经网络选自FCN、SegNet、Unet、3D-Unet、 Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask中的任一种或多种。
19、根据技术方案17或18所述的系统，
所述精确分割神经网络为EfficientDet、SimCLR、PointRend中的任一种或多种。
20、根据技术方案18或19所述的系统，
所述Unet神经网络包括n个上采样层和n个下采样层；
每个上采样层包括上采样操作层和卷积层；
每个下采样层包括卷积层和池化层。
21、根据技术方案20所述的系统，
n的取值优选为2-8，进一步优选为3-6，更优选为4-5。
22、根据技术方案20或21所述的系统，
每个上采样层包括1个上采样操作层和2个卷积层，其中的卷积层中的卷积核大小为3*3，上采样操作层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512，256，256，128。
23、根据技术方案22所述的系统，
每个下采样层包括2个卷积层和1个池化层，其中的卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128，256，256，512。
24、根据技术方案20至23任一项所述的系统，
最后一次上采样结束后设有一个dropout层，droupout率设置为0.7。
25、根据技术方案20至24任一项所述的方法，
所有的卷积层后面设有激活层，激活层使用的激活函数为relu函数。
26、根据技术方案17至25任一项所述的系统，
所述训练按照如下方法进行：
粗分割：将训练集送入粗分割神经网络进行训练；训练过程中，数据标签的背景像素值设置为0，不同类型的骨骼设置为不同的自然数，训练的batch_size为6，学习率设置为1e-4，优化器使用Adam优化器，使用的损失函数为DICE loss；可选地，根据训练过程中损失函数的变化，调整训练批次的大小；
精确分割：送入精确分割神经网络进行精确分割；初始过程包括，先使用双线性插值上采样粗分割的预测结果，再在特征图中选定多个最不确定的点，然后计算多个点的特征表示并且预测labels；重复所述初始过程，直到上采样到需要的大小；
优选地，选定置信度为0.5的点作为最不确定的点；
优选地，点的特征通过双线性插值Bilinear计算。
27、根据技术方案14至26任一项所述的系统，
所述医学图像数据为CT数据、MRI数据、超声数据、X-射线数据、DynaCT数据、PET数据中的任一种或多种；
获取的医学图像数据为二维数据和/或三维数据；和/或
手动标注出股骨、胫骨、腓骨、髌骨中的任一种或多种的区域。
28、根据技术方案14至27任一项所述的系统，
所述系统还包括显示模块，用于显示分割出来的骨骼结构；
可选地，所述显示模块显示骨骼结构的二维影像和/或三维影像。
(三)有益效果
本发明提供的分割方法和系统基于深度学习实现了不同类型的骨骼结构的自动分割。与现有技术相比，本发明提高了分割效率以及准确率。
本发明利用神经网络设计了一个可以自动对骨骼结构进行分割的系统。该系统可以医学图像数据为基础，通过粗分割后再进行精确分割，加快的训练速度，缩短了训练时间，实现了骨骼结构精准、快速地分割，分割出来的骨骼结构无连接并且边缘清晰，可以为定位病变区域、研究解剖结构、设计治疗方案、计算机辅助外科手术等提供基础。
附图说明
图1是本发明的一个实施例提供的分割方法的流程示意图；
图2是本发明的一个实施例提供的分割系统的结构示意图；
图3是转换前后的二维横断面影像图(a为转换前，b为转换后)；
图4至图7是不同层面上分割出来的二维横断面的影像图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
﹤第一方面﹥
本发明在第一方面提供了一种基于深度学习的骨骼分割方法，所述分割方法基于医学图像数据。图1图示了根据本发明实施例的基于深度学习的骨骼分割方法。
参考图1，在步骤101处，构建医学图像数据库，该步骤具体包括：获取医学图像数据集，手动标注出不同类型的骨骼的区域，例如下肢骨骼中的股骨、胫骨、腓骨、髌骨中的任一种或多种，还可以包括籽股；将所述数据集划分为训练集和测试集，优选按照7:3的比例进行划分；将未标注前的医学图像数据转换成第一格式的图片(图片的像素值优选为0-255)并保存，将标注后的医学图像数据转换成第二格式(图片的像素值优选为0-255)的图片并保存；需要说明的是，第一格式与第二格式不同。
医学图像可以为通过任何医学成像模态，如CT(计算机断层扫描)、 MRI(磁共振成像)、超声、X-射线、DynaCT、PET(正电子发射断层扫描)，获取的医学图像。医学图像可以是二维图像、三维图像或三维 +时间的图像。因此，本发明中的医学图像数据可以为CT数据、MRI 数据、超声数据、X-射线数据、DynaCT数据、PET数据中的任一种或多种；获取的医学图像数据可以为二维数据和/或三维数据。
在步骤102处，建立分割神经网络模型。
在一些优选的实施方式中，所述分割神经网络模型包括粗分割神经网络和精确分割神经网络。优选地，所述粗分割神经网络选自FCN、 SegNet、Unet、3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask中的任一种或多种；优选地，所述精确分割神经网络选自EfficientDet、SimCLR、 PointRend中的任一种或多种。
以所述分割神经网络模型为Unet+PointRend为例，利用Unet神经网络进行粗分割，利用PointRend神经网络进行精确分割。具体地，所述Unet神经网络包括n个上采样层和n个下采样层；每个上采样层包括上采样操作层和卷积层；每个下采样层包括卷积层和池化层。n的取值优选为2-8，进一步优选为3-6，更优选为4-5。每个上采样层优选包括1个上采样操作层和2个卷积层，其中的卷积层中的卷积核大小为 3*3，上采样操作层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512，256，256，128。每个下采样层优选包括2个卷积层和1 个池化层，其中的卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128，256，256，512。
在一些优选的实施方式中，最后一次上采样结束后设有一个 dropout层，droupout率设置为0.5-0.7。
在一些优选的实施方式中，所有的卷积层后面设有激活层，激活层使用的激活函数为relu函数。
需要说明的是，本发明对构建医学图像数据库和建立分割神经网络模型这两个步骤没有顺序上的限定。本发明在此处为了具体说明而给出了包含顺序的方法步骤，但不应理解为对处理顺序的限定。
在步骤103处，模型训练。模型训练为利用训练集对分割神经网络模型进行训练，并利用测试集进行测试的步骤。
以所述分割神经网络模型为Unet+PointRend为例进行说明。
训练过程中，将训练集全部送入Unet神经网络进行训练；训练过程中，数据标签的背景像素值设置为0，股骨为1，胫骨为2，腓骨为 3，髌骨为4，训练的batch_size为6，学习率设置为1e-4，优化器使用 Adam优化器，使用的损失函数为DICE loss，可以根据训练过程中损失函数的变化，调整训练批次的大小；
完成粗分割后，送入PointRend神经网络进行精确分割；初始过程包括，先使用双线性插值上采样粗分割的预测结果，再在特征图中选定多个最不确定的点，然后计算多个点的特征表示并且预测labels；重复所述初始过程，直到上采样到需要的大小；
优选地，选定置信度为0.5的点作为最不确定的点；
优选地，点的特征通过双线性插值Bilinear计算。
在步骤104处，利用训练好的分割神经网络模型进行分割。
本发明的骨骼分割涉及在患者医学图像中的骨骼与骨骼之间和/或骨骼与组织之间的边界的检测。本发明提供了基于多种不同深度学习的医学图像分割方法。
﹤第二方面﹥
本发明在第二方面提供了基于深度学习的骨骼分割系统，参考图2，所述系统包括：
数据库构建模块1，用于获取医学图像数据集，手动标注出不同类型的骨骼的区域；将所述数据集划分为训练集和测试集；将未标注前的影像数据转换成第一格式的图片(图片的像素值优选为0-255)并保存，将标注后的数据转换成第二格式的图片(图片的像素值优选为 0-255)并保存；
模型构建模块2，用于建立分割神经网络模型；
模型训练模块3，用于利用训练集对分割神经网络模型进行训练，并利用测试集进行测试；和
图像分割模块4，用于利用训练好的分割神经网络模型进行分割。
所述系统还可以包括显示模块5，用于显示分割出来的骨骼结构。所述显示模块可以显示骨骼结构的二维影像和/或三维影像。
在一些优选的实施方式中，所述数据库构建模块1包括：
数据获取单元，用于获取医学图像数据集；接收手动标注出不同类型骨骼区域后的医学图像数据；和将未标注前的医学图像数据转换成第一格式的图片并保存，将标注后的医学图像数据转换成第二格式的图片并保存；
训练集和测试集生成单元，用于根据数据获取单元按照比例生成训练集以及测试集。
在一些优选的实施方式中，所述训练集和测试集生成单元按照7:3 的比例生成训练集和测试集。
在一些优选的实施方式中，所述分割神经网络模型包括粗分割神经网络和精确分割神经网络。所述粗分割神经网络优选自FCN、SegNet、 Unet、3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、 ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask中的任一种或多种。所述精确分割神经网络优选自EfficientDet、SimCLR、PointRend 中的任一种或多种。
以所述分割神经网络模型为Unet+PointRend为例，利用Unet神经网络进行粗分割，利用PointRend神经网络进行精确分割。具体地，所述Unet神经网络包括n个上采样层和n个下采样层；每个上采样层包括上采样操作层和卷积层；每个下采样层包括卷积层和池化层。n的取值优选为2-8，进一步优选为3-6，更优选为4-5。每个上采样层优选包括1个上采样操作层和2个卷积层，其中的卷积层中的卷积核大小为 3*3，上采样操作层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512，256，256，128。每个下采样层优选包括2个卷积层和1 个池化层，其中的卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128，256，256，512。
在一些优选的实施方式中，最后一次上采样结束后设有一个 dropout层，droupout率设置为0.5-0.7。
在一些优选的实施方式中，所有的卷积层后面设有激活层，激活层使用的激活函数为relu函数。
在一些优选的实施方式中，所述训练按照如下方法进行：
粗分割：将训练集送入粗分割神经网络进行训练；训练过程中，数据标签的背景像素值设置为0，不同类型的骨骼设置为不同的自然数，训练的batch_size为6，学习率设置为1e-4，优化器使用Adam优化器，使用的损失函数为DICE loss；可选地，根据训练过程中损失函数的变化，调整训练批次的大小；
精确分割：送入精确分割神经网络进行精确分割；初始过程包括，先使用双线性插值上采样粗分割的预测结果，再在特征图中选定多个最不确定的点，然后计算多个点的特征表示并且预测labels；重复所述初始过程，直到上采样到需要的大小；
优选地，选定置信度为0.5的点作为最不确定的点；
优选地，点的特征通过双线性插值Bilinear计算。
本发明这一系统可以基于CT数据、MRI数据、超声数据、X-射线数据、DynaCT数据、PET数据中的任一种或多种而进行分割，可以基于二维数据和/或三维数据进行分割。
下面再结合图3至图7对本发明的方法和系统进行更为详细的说明。
利用本发明提供的方法和系统来分割股骨、胫骨、腓骨和髌骨这四类骨骼，所用的数据为CT扫描获得的二维横断面dicom数据。
在步骤101处，在数据库构建模块1中构建医学图像数据库。
该步骤具体包括：获取CT扫描的数据集，手动标注出股骨、胫骨、腓骨、髌骨区域；将所述数据集按照7:3的比例划分为训练集和测试集；将未标注前的二维横断面dicom数据转换成像素值为0-255的jpg格式的数据图片并保存(如图3所示)，将标注后的数据转换成像素值为 0-255的PNG格式的图片并保存。
在步骤102处，在模型构建模块2中建立分割神经网络模型。
所述分割神经网络模型为Unet+PointRend，利用Unet神经网络进行粗分割，利用PointRend神经网络进行精确分割。所述Unet神经网络包括4个上采样层和4个下采样层；每个上采样层包括上采样操作层和卷积层；每个下采样层包括卷积层和池化层。每个上采样层包括1 个上采样操作层和2个卷积层，其中的卷积层中的卷积核大小为3*3，上采样操作层中的卷积核大小为2*2，每个上采样层中的卷积核个数为 512，256，256，128。每个下采样层包括2个卷积层和1个池化层，其中的卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128，256，256，512。最后一次上采样结束后设有一个dropout层，droupout率设置为0.7。所有的卷积层后面设有激活层，激活层使用的激活函数为relu函数。
在步骤103处，在模型训练模块3中进行模型训练。
粗分割训练：将训练集全部送入Unet神经网络进行训练；训练过程中，数据标签的背景像素值设置为0，股骨为1，胫骨为2，腓骨为 3，髌骨为4，训练的batch_size为6，学习率设置为1e-4，优化器使用 Adam优化器，使用的损失函数为DICE loss，根据训练过程中损失函数的变化，调整训练批次的大小；
完成粗分割后，送入PointRend神经网络进行精确分割；初始过程包括，先使用双线性插值上采样粗分割的预测结果，再在特征图中选定多个置信度为0.5的点作为最不确定的点，然后通过双线性插值 Bilinear计算多个点的特征表示并且预测labels；重复所述初始过程，直到上采样到需要的大小。
在步骤104处，在图像分割模块4中进行分割。
最终，分割出来的股骨、胫骨、腓骨和髌骨的二维影像横断面影像可以通过显示模块5显示出来，为了区分，可以使用不同颜色区分这四类骨骼结构。图4至图7是不同层面上分割出来的二维横断面的影像，10为股骨、11为髌骨、12为胫骨、13为腓骨，可以清楚地看到，各类骨骼之间无连结，并且边缘清晰。
需要说明的是，本发明在实施例中用二维横断面影像进行举例，但不应理解为对医学图像数据类型的限定。本发明提供的方法和系统可以使用二维数据和/或三维数据进行分割，实现二维图像和/或三维图像的分割。如，本发明方法和系统可以使用二维横断面影像数据、二维矢状面影像数据、二维冠状面影像数据中的一种或多种来进行分割。
需要说明的是，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (2)
1.基于深度学习的骨骼分割方法，所述分割方法基于医学图像数据，其特征在于，所述分割方法包括：
构建医学图像数据库：获取医学图像数据集，手动标注出不同类型的骨骼的区域；将所述数据集划分为训练集和测试集；将未标注前的医学图像数据转换成第一格式的图片并保存，将标注后的医学图像数据转换成第二格式的图片并保存；其中，第一格式是像素值为0-255的jpg格式，第二格式是像素值为0-255的PNG格式；
建立分割神经网络模型；
模型训练：利用训练集对分割神经网络模型进行训练，并利用测试集进行测试；和
利用训练好的分割神经网络模型进行分割；
所述分割神经网络模型包括粗分割神经网络和精确分割神经网络；
所述粗分割神经网络选自FCN神经网络、SegNet神经网络、Unet神经网络、3D-Unet神经网络、Mask-RCNN神经网络、空洞卷积、ENet神经网络、CRFasRNN神经网络、PSPNet神经网络、ParseNet神经网络、RefineNet神经网络、ReSeg神经网络、LSTM-CF神经网络、DeepMask神经网络中的任一种或多种；
所述精确分割神经网络为EfficientDet神经网络、SimCLR神经网络、PointRend神经网络中的任一种或多种；
所述利用训练好的分割神经网络模型进行分割，按照如下方法进行：
粗分割：将训练集送入粗分割神经网络进行训练；训练过程中，数据标签的背景像素值设置为0，不同类型的骨骼设置为不同的自然数，训练的batch_size为6，学习率设置为1e-4，优化器使用Adam优化器，使用的损失函数为DICE loss；根据训练过程中损失函数的变化，调整训练批次的大小；
精确分割：将粗分割的预测结果送入精确分割神经网络进行精确分割；初始过程包括：先使用双线性插值上采样粗分割的预测结果，再在特征图中选定多个最不确定的点，然后计算多个最不确定的点的特征表示并且预测labels；重复所述初始过程，直到上采样到需要的大小；
选定置信度为0.5的点作为最不确定的点；
点的特征表示通过双线性插值Bilinear计算；
所述Unet神经网络包括n个上采样层和n个下采样层；n的取值为2-8；
每个上采样层包括上采样操作层和卷积层；
每个下采样层包括卷积层和池化层；
每个上采样层包括1个上采样操作层和2个卷积层，其中的卷积层中的卷积核大小为3*3，上采样操作层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512；
每个下采样层包括2个卷积层和1个池化层，其中的卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128；
将所述数据集按照7:3的比例划分为训练集和测试集；
最后一次上采样结束后设有一个dropout层，dropout率设置为0.7；
所有的卷积层后面设有激活层，激活层使用的激活函数为relu函数；
所述医学图像数据为CT数据、MRI数据、超声数据、X-射线数据、DynaCT数据、PET数据中的任一种或多种；
获取的医学图像数据为二维数据和/或三维数据；
手动标注出股骨、胫骨、腓骨、髌骨中的任一种或多种的区域。
2.基于深度学习的骨骼分割系统，其特征在于，所述系统包括：
数据库构建模块，用于获取医学图像数据集，手动标注出不同类型的骨骼的区域；将所述数据集划分为训练集和测试集；将未标注前的影像数据转换成第一格式的图片并保存，将标注后的数据转换成第二格式的图片并保存；其中，第一格式是像素值为0-255的jpg格式，第二格式是像素值为0-255的PNG格式；
模型构建模块，用于建立分割神经网络模型；
模型训练模块，用于利用训练集对分割神经网络模型进行训练，并利用测试集进行测试；
图像分割模块，用于利用训练好的分割神经网络模型进行分割；
所述分割神经网络模型包括粗分割神经网络和精确分割神经网络；
所述粗分割神经网络选自FCN神经网络、SegNet神经网络、Unet神经网络、3D-Unet神经网络、Mask-RCNN神经网络、空洞卷积、ENet神经网络、CRFasRNN神经网络、PSPNet神经网络、ParseNet神经网络、RefineNet神经网络、ReSeg神经网络、LSTM-CF神经网络、DeepMask神经网络中的任一种或多种；
所述精确分割神经网络为EfficientDet神经网络、SimCLR神经网络、PointRend神经网络中的任一种或多种；
所述利用训练好的分割神经网络模型进行分割，训练按照如下方法进行：
粗分割：将训练集送入粗分割神经网络进行训练；训练过程中，数据标签的背景像素值设置为0，不同类型的骨骼设置为不同的自然数，训练的batch_size为6，学习率设置为1e-4，优化器使用Adam优化器，使用的损失函数为DICE loss；根据训练过程中损失函数的变化，调整训练批次的大小；
精确分割：将粗分割的预测结果送入精确分割神经网络进行精确分割；初始过程包括：先使用双线性插值上采样粗分割的预测结果，再在特征图中选定多个最不确定的点，然后计算多个最不确定的点的特征表示并且预测labels；重复所述初始过程，直到上采样到需要的大小；
选定置信度为0.5的点作为最不确定的点；
点的特征表示通过双线性插值Bilinear计算；
所述Unet神经网络包括n个上采样层和n个下采样层；n的取值为2-8；
每个上采样层包括上采样操作层和卷积层；
每个下采样层包括卷积层和池化层；
每个上采样层包括1个上采样操作层和2个卷积层，其中的卷积层中的卷积核大小为3*3，上采样操作层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512；
每个下采样层包括2个卷积层和1个池化层，其中的卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128；
将所述数据集按照7:3的比例划分为训练集和测试集；
最后一次上采样结束后设有一个dropout层，dropout率设置为0.7；
所有的卷积层后面设有激活层，激活层使用的激活函数为relu函数；
所述医学图像数据为CT数据、MRI数据、超声数据、X-射线数据、DynaCT数据、PET数据中的任一种或多种；
获取的医学图像数据为二维数据和/或三维数据；
手动标注出股骨、胫骨、腓骨、髌骨中的任一种或多种的区域。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020108525319 | 2020-08-21 | ||
| CN202010852531 | 2020-08-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114170128A CN114170128A (zh) | 2022-03-11 |
| CN114170128B true CN114170128B (zh) | 2023-05-30 |
Family
ID=80322615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011139480.1A Active CN114170128B (zh) | 2020-08-21 | 2020-10-22 | 基于深度学习的骨骼分割方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114170128B (zh) |
| WO (1) | WO2022037696A1 (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663363B (zh) * | 2022-03-03 | 2023-11-17 | 四川大学 | 一种基于深度学习的髋关节医学图像处理方法和装置 |
| CN114898359B (zh) * | 2022-03-25 | 2024-04-30 | 华南农业大学 | 一种基于改进EfficientDet的荔枝病虫害检测方法 |
| CN114897922B (zh) * | 2022-04-03 | 2024-04-26 | 西北工业大学 | 一种基于深度强化学习的组织病理图像分割方法 |
| CN114648529B (zh) * | 2022-05-19 | 2022-09-23 | 深圳市中科先见医疗科技有限公司 | 一种基于cnn网络的dpcr液滴荧光检测方法 |
| CN115131300B (zh) * | 2022-06-15 | 2023-04-07 | 北京长木谷医疗科技有限公司 | 一种基于深度学习的骨性关节炎智能三维诊断方法及系统 |
| CN115128166B (zh) * | 2022-06-17 | 2024-07-12 | 广东电网有限责任公司广州供电局 | 基于孪生网络和超声导波的电缆铝护套腐蚀损伤成像方法及装置 |
| CN115393272B (zh) * | 2022-07-15 | 2023-04-18 | 北京长木谷医疗科技有限公司 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
| CN115100189B (zh) * | 2022-07-28 | 2023-07-18 | 上海品课信息科技有限公司 | 三维医疗影像的切割方法、电子设备及存储介质 |
| CN115760777B (zh) * | 2022-11-21 | 2024-04-30 | 脉得智能科技(无锡)有限公司 | 基于神经网络结构搜索的桥本氏甲状腺炎诊断系统 |
| CN115797698B (zh) * | 2022-12-13 | 2023-07-14 | 北京大学第三医院（北京大学第三临床医学院） | 一种骨骼矢状位平衡参数检测系统 |
| CN115810015B (zh) * | 2023-02-09 | 2023-05-23 | 慧影医疗科技(北京)股份有限公司 | 基于深度学习的膝关节自动分割方法、系统、介质及设备 |
| CN116109605B (zh) * | 2023-02-13 | 2024-04-02 | 北京医智影科技有限公司 | 医学影像肿瘤分割系统、训练集构建方法和模型训练方法 |
| CN116563314A (zh) * | 2023-03-21 | 2023-08-08 | 北京长木谷医疗科技股份有限公司 | 腰椎分割方法、装置、电子设备及计算机可读存储介质 |
| CN117993583B (zh) * | 2024-04-07 | 2024-06-14 | 厦门贝之园网络科技有限公司 | 基于深度学习的布料裁切方法、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493317A (zh) * | 2018-09-25 | 2019-03-19 | 哈尔滨理工大学 | 基于级联卷积神经网络的3d多椎骨分割方法 |
| CN111311592A (zh) * | 2020-03-13 | 2020-06-19 | 中南大学 | 一种基于深度学习的三维医学图像自动分割方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9999400B2 (en) * | 2015-07-29 | 2018-06-19 | Perkinelmer Health Services, Inc. | Systems and methods for automated segmentation of individual skeletal bones in 3D anatomical images |
| EP3470006B1 (en) * | 2017-10-10 | 2020-06-10 | Holo Surgical Inc. | Automated segmentation of three dimensional bony structure images |
| CN111047605B (zh) * | 2019-12-05 | 2023-04-07 | 西北大学 | 一种脊椎ct分割网络模型的构建方法及分割方法 |
| CN111161284B (zh) * | 2019-12-31 | 2022-02-11 | 东南大学 | 一种基于PSPNet与HED相结合的医学图像骨骼分割方法 |
| CN111325754B (zh) * | 2020-01-02 | 2023-04-07 | 武汉大学 | 一种基于ct序列图像的腰椎骨自动定位方法 |
| CN111354002A (zh) * | 2020-02-07 | 2020-06-30 | 天津大学 | 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法 |
| CN111429452A (zh) * | 2020-04-15 | 2020-07-17 | 深圳市嘉骏实业有限公司 | 基于UNet卷积神经网络的膀胱超声图像分割方法及装置 |
| CN113017829B (zh) * | 2020-08-22 | 2023-08-29 | 张逸凌 | 一种基于深度学习的全膝关节置换术的术前规划方法、系统、介质和设备 |
| CN113076987B (zh) * | 2021-03-29 | 2022-05-20 | 北京长木谷医疗科技有限公司 | 骨赘识别方法、装置、电子设备及存储介质 |
-
2020
- 2020-10-22 CN CN202011139480.1A patent/CN114170128B/zh active Active
-
2021
- 2021-08-20 WO PCT/CN2021/113917 patent/WO2022037696A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493317A (zh) * | 2018-09-25 | 2019-03-19 | 哈尔滨理工大学 | 基于级联卷积神经网络的3d多椎骨分割方法 |
| CN111311592A (zh) * | 2020-03-13 | 2020-06-19 | 中南大学 | 一种基于深度学习的三维医学图像自动分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170128A (zh) | 2022-03-11 |
| WO2022037696A1 (zh) | 2022-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114170128B (zh) | 基于深度学习的骨骼分割方法和系统 | |
| WO2022183719A1 (zh) | 基于深度学习的全髋关节置换翻修术前规划方法和设备 | |
| Cebral et al. | From medical images to anatomically accurate finite element grids | |
| CN109285200B (zh) | 一种基于人工智能的多模态医学影像的转换方法 | |
| CN113450294A (zh) | 多模态医学图像配准融合方法、装置及电子设备 | |
| Meinzer et al. | Computerized planning of liver surgery—an overview | |
| US7356367B2 (en) | Computer aided treatment planning and visualization with image registration and fusion | |
| US7630750B2 (en) | Computer aided treatment planning | |
| CN103854276B (zh) | 图像配准及分割装置和方法，以及医学图像设备 | |
| US8369585B2 (en) | Automatic classification of information in images | |
| CN113506334A (zh) | 基于深度学习的多模态医学图像融合方法及系统 | |
| US20100231605A1 (en) | Medical image processing device and medical image processing program | |
| US20180108131A1 (en) | Generation of a Patient-Specific Anatomical Atlas | |
| EP3550515A1 (en) | Cross-modality image synthesis | |
| CN112862833A (zh) | 血管分段方法、电子装置和存储介质 | |
| US11995838B2 (en) | System and method for imaging | |
| CN116797612B (zh) | 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 | |
| CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
| Morooka et al. | A survey on statistical modeling and machine learning approaches to computer assisted medical intervention: Intraoperative anatomy modeling and optimization of interventional procedures | |
| Hill et al. | Medical image registration using knowledge of adjacency of anatomical structures | |
| EP2912633B1 (en) | Simulation of objects in an atlas and registration of patient data containing a specific structure to atlas data | |
| KR102672010B1 (ko) | 인공지능을 이용한 안면부 골절 판독 장치 및 방법 | |
| CN111563899B (zh) | 一种髋关节ct图像中骨的分割方法 | |
| WO2022229816A1 (en) | 3d reconstruction of anatomical images | |
| US20220301163A1 (en) | Deep learning based medical system and method for image acquisition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100080 1109, area B, SOHO building, Zhongguancun, Haidian District, Beijing Patentee after: Zhang Yiling Patentee after: Beijing Changmugu Medical Technology Co.,Ltd. Patentee after: Changmugu medical technology (Qingdao) Co.,Ltd. Address before: 100080 1109, area B, SOHO building, Zhongguancun, Haidian District, Beijing Patentee before: Zhang Yiling Patentee before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd. Patentee before: Changmugu medical technology (Qingdao) Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |