CN116612174A - 软组织的三维重建方法、系统及计算机存储介质 - Google Patents
软组织的三维重建方法、系统及计算机存储介质 Download PDFInfo
- Publication number
- CN116612174A CN116612174A CN202310649825.5A CN202310649825A CN116612174A CN 116612174 A CN116612174 A CN 116612174A CN 202310649825 A CN202310649825 A CN 202310649825A CN 116612174 A CN116612174 A CN 116612174A
- Authority
- CN
- China
- Prior art keywords
- soft tissue
- model
- module
- dimensional reconstruction
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004872 soft tissue Anatomy 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000011218 segmentation Effects 0.000 claims abstract description 104
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000013334 tissue model Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims abstract description 3
- 238000005516 engineering process Methods 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 35
- 238000011156 evaluation Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 14
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 12
- 238000012952 Resampling Methods 0.000 claims description 10
- 238000002591 computed tomography Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000002600 positron emission tomography Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 2
- 239000002356 single layer Substances 0.000 claims description 2
- 238000005266 casting Methods 0.000 claims 2
- 238000007794 visualization technique Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 15
- 238000003709 image segmentation Methods 0.000 description 14
- 238000011176 pooling Methods 0.000 description 14
- 210000004185 liver Anatomy 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 6
- 206010019695 Hepatic neoplasm Diseases 0.000 description 5
- 230000004913 activation Effects 0.000 description 5
- 208000014018 liver neoplasm Diseases 0.000 description 5
- 230000008485 antagonism Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 208000015634 Rectal Neoplasms Diseases 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 238000012274 Preoperative evaluation Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 210000004303 peritoneum Anatomy 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 208000013718 rectal benign neoplasm Diseases 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000002720 Malnutrition Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004100 adrenal gland Anatomy 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 230000001071 malnutrition Effects 0.000 description 1
- 235000000824 malnutrition Nutrition 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 208000015380 nutritional deficiency disease Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 206010038038 rectal cancer Diseases 0.000 description 1
- 201000001275 rectum cancer Diseases 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000005084 renal tissue Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
一种软组织三维重建方法、系统级计算机存储介质，该方法包括获取软组织的医学影像数据，对获取的软组织的医学影像数据进行预处理，对预处理的影像进行分割，以及针对软组织分割后的结果构建软组织的三维重建模型；所述分割包括粗略分割环节和精细分割环节；其中，所述粗略分割环节采用预训练的U‑net模型对软组织进行粗略分割；所述精细分割环节采用注意力机制突出目标软组织区域的特征，并结合3D U‑net模型进行软组织精细分割；所述系统包括对应的影像数据获取模块、数据预处理模块、U‑net网络软组织分割模块和软组织三维重建模块；所述计算机存储介质存储有用于执行上述软组织的三维重建方法的计算机程序；本发明方法对于软组织模型的重建具有效率高、精度高的优点。
Description
技术领域
本发明涉及医学图像数据处理领域，尤其涉及一种基于图像分割的软组织三维重建方法、系统及计算机存储介质。
背景技术
自从虚拟手术和三维可视化术前评估技术流行以来，人体腹腔软组织三维重建(3D Reconstruction)问题一直受到关注。三维重建的前提在于对软组织进行精准的分割。当前的软组织分割方法往往采用形态学分析策略，集中在对于图像灰度差异的追踪算法上，然而这些方法缺乏有效的人工学习机制，所获得结果的精准度并不能保证临床适用性，往往需要结合后期的人工修正来改善分割效果。尤其对于肿瘤或者复杂软组织病灶，整个分割过程将耗费30分钟至4个小时，严重影响治疗进度。随着当前人工智能技术的普遍应用，以人工智能模型作为医学影像分割框架，改善软组织识别效率，提升三维重建精度，已成为医学领域竞相发展的热点。
为了提高软组织分割的精确性和效率，许多研究者已经在深度学习应用于医学图像分割方面做了大量的研究，如"Gradient-based learning applied to documentrecognition"，LeCun,Yann,et al,Proceedings of the IEEE 86.11(1998)中提出了利用卷积神经网络模型，对图像进行分割。但该方法的耗时较高，分割精度不高。公开号为CN110570432A的中国发明专利公开了一种基于深度学习的CT图像肝脏肿瘤分割，具体将U-Net的网络结构进行优化和改进，添加Dropout层和Batch Normalization层对网络结构进行修改，并使用VGG-16网络模块代替U-Net的编码器部分，建立优化的模型来对肝脏肿瘤CT图像进行精确的分割。但该方法采用单一的影像学模态分析方法，不能全面的覆盖疾病类型，对提升软组织分割及三维重建的有效性改进有限。公开号为CN111652886A的中国发明专利公开了一种基于改进U-net网络的肝肿瘤分割方法，在对肝肿瘤分割前，首先将肝脏区域分割出来，基于Keras深度学习框架搭建肝脏分割的神经网络，后端选择的是tensorflow；对基于改进U-net的肝脏分割网络进行训练；基于Keras深度学习框架搭建基于改进U-net的肝肿瘤分割网络，并且对网络进行训练；采用基于改进U-net的肝脏分割网络从腹部肝脏CT图像中分割出肝脏区域，并从肝脏区域分割出肿瘤和正常肝脏组织。该方法可以消除大量的误分割之外，还可以降低网络模型的复杂度。但是上述方法的分割精度和效率仍不高。
发明内容
针对现有技术中存在的技术问题，本发明旨在提供一种基于图像分割的软组织三维重建方法和系统，以期至少部分地解决现有技术中存在的分割精度不高、分割效率低下等问题，本发明要解决的技术问题通过以下技术方案来实现。
一方面，本发明提供了一种软组织三维重建方法，包括如下步骤：
获取软组织的医学影像数据；
对获取的软组织的医学影像数据进行预处理，得到U-net模型的输入影像数据；
对预处理的影像进行分割，所述分割包括粗略分割环节和精细分割环节；其中，所述粗略分割环节采用预训练的U-net模型对软组织进行粗略分割；所述精细分割环节采用注意力机制突出目标软组织区域的特征，并结合3D U-net模型进行软组织精细分割；
针对软组织分割后的结果构建软组织的三维重建模型。
根据上述软组织三维重建方法，进一步地，所述医学影像数据为软组织的多模态医学影像数据，所述多模态影像数据来自于计算机断层扫描、磁共振成像和正电子发射断层扫描中的一种或几种。
根据上述软组织三维重建方法，进一步地，对获取的软组织的医学影像数据进行预处理包括：采用对比度拉伸技术实现图像细节增强；采用中值滤波技术消除图像上孤立的噪声点，并结合高斯滤波实现图像的平滑去噪；利用图像的区间标准化技术调整灰度值范围；以及利用重采样技术统一数字医学图像分辨率。
根据上述软组织三维重建方法，进一步地，所述注意力机制采用通道注意力模块和空间注意力模块串联，将通道注意力模块和空间注意力模块的输出结果与粗分割后的医学影像特征相乘，赋以权重。
根据上述软组织三维重建方法，进一步地，所述预训练的U-net模型的训练过程中，采用对抗性训练模块生成随机扰动，并将该扰动加入到原始医学影像图中用于模型训练过程。
根据上述软组织三维重建方法，进一步地，针对软组织分割后的结果，采用基于体绘制的光线投射算法构建软组织的三维重建模型。
根据上述软组织三维重建方法，进一步地，还包括三维可视化软组织模型输出步骤，所述三维可视化软组织模型输出步骤包括利用可视化技术以及人机交互虚拟现实技术，设计交互单元，对软组织三维重建结果进行输出。
根据上述软组织三维重建方法，进一步地，还包括模型评估及校正步骤，所述模型评估及校正步骤包括结合临床医师评估及模型性能评价指标，对模型进行校正与改善。
另一方面，本发明还提供了一种软组织的三维重建系统，包括：
影像数据获取模块，用于获取软组织的医学影像数据；
数据预处理模块，用于对获取的软组织的医学影像数据进行预处理，得到U-net模型的输入影像数据；
U-net网络软组织分割模块，用于对预处理的影像进行分割，所述U-net网络软组织分割模块包括粗略分割模块和精细分割模块；其中，所述粗略分割模块用于采用预训练的U-net模型对软组织进行粗略分割；所述精细分割模块用于采用注意力机制突出目标软组织区域的特征，并结合3D U-net模型进行软组织精细分割；
软组织三维重建模块，用于针对U-net网络软组织分割模块对软组织分割后的结果构建软组织的三维重建模型。
根据上述软组织三维重建系统，进一步地，所述影像数据获取模块中，所述医学影像数据为软组织的多模态医学影像数据，所述多模态影像数据来自于计算机断层扫描、磁共振成像和正电子发射断层扫描中的一种或几种。
根据上述软组织三维重建系统，进一步地，所述数据预处理模块中，对获取的软组织的医学影像数据进行预处理包括：采用对比度拉伸技术实现图像细节增强；采用中值滤波技术消除图像上孤立的噪声点，并结合高斯滤波实现图像的平滑去噪；利用图像的区间标准化技术调整灰度值范围；以及利用重采样技术统一数字医学图像分辨率。
根据上述软组织三维重建系统，进一步地，所述U-net网络软组织分割模块中的注意力机制采用通道注意力模块和空间注意力模块串联，将通道注意力模块和空间注意力模块的输出结果与粗分割后的医学影像特征相乘，赋以权重。
根据上述软组织三维重建系统，进一步地，其特征在于，所述预训练的U-net模型的训练过程中，采用对抗性训练模块生成随机扰动，并将该扰动加入到原始医学影像图中用于模型训练过程。
根据上述软组织三维重建系统，进一步地，所述软组织三维重建模块中，针对软组织分割后的结果，采用基于体绘制的光线投射算法构建软组织的三维重建模型。
根据上述软组织三维重建系统，进一步地，还包括三维可视化软组织模型输出模块，用于利用可视化技术以及人机交互虚拟现实技术，设计交互单元，对软组织三维重建结果进行输出。
根据上述软组织三维重建系统，进一步地，还包括模型评估及校正模块，用于结合临床医师评估及模型性能评价指标，对模型进行校正与改善。
另一方面，本发明还提供了一种计算机存储介质，所述计算机存储介质中存储有用于执行以上任一所述的软组织的三维重建方法的计算机程序。
根据本发明的实施方法可以获得如下技术效果：
对于特定软组织病灶，结合多模态医学影像，共同描述病灶形态学特征，并将多模态信息联合输入至人工智能模型，能够有效提升软组织三维重建结果的可靠性，改善术前评估效果。
采用了预训练的U-net模型对于腹腔软组织进行粗略分割；同时结合注意力机制环节结合3D U-net模型进行软组织精细分割，提高了软组织分割的效率和精确度。
涉及的对抗性训练的模块针对原始样本数据不足的问题，增强原始样本空间，扩大深度学习感知空间，提升模型的理解泛化能力，提升分割模型学习过程中的收敛效率。
附图说明
图1是本发明实施例提供的一种软组织三维重建流程示意图；
图2是本发明实施例提供的一种软组织分割方法流程示意图；
图3是本发明实施例提供的一种软组织三维重建系统的结构示意图；
图4是利用本发明的其中一种实施方案所获得的软组织(直肠肿瘤)分割结果；
图5(a)-5(d)是利用本发明的其中一种实施方案所获得的组织器官三维重建结果；其中，5(a)、5(b)、5(c)、5(d)分别为肺部、肝脏、腹膜、肾脏器官的三维重建影像。
具体实施方式
本发明涉及在医学图像中使用深度学习技术的图像分割方法和系统，以及基于该图像分割的软组织三维重建方法和系统。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1为本发明实施例提供的一种软组织三维重建流程图示例。如图1所示，在一些实施例中，软组织的三维重建流程可以包括以下步骤：
S101：多模态影像数据获取。多模态影像数据来自于计算机断层扫描(ComputedTomography，CT)、磁共振成像(Magnetic Resonance Imaging，MRI)、正电子发射断层扫描(Positron Emission Computed Tomography，PET)等。尽管基于单一影像模态(如CT、MRI、PET等)的医学图像分析仍然是领域内主流，不过CT尽管操作简单、重复性高，但对于软组织表征受限；MRI对软组织和解剖结构清晰度高，但缺乏代谢动态信息；PET尽管空间分辨率差，但在评估肿瘤生物学特征(代谢、乏养等)方面具有极高敏感性。本发明的实际应用中，将根据不同病灶类型，合理采用单一模态或多模态联合配准技术，构建原始样本集，用于解析疾病相关的影像学特征。如对于肝脏、肺部、胰腺、肾上腺等结构，采用CT影像数据分析；对于骨骼、肌肉、大脑等结构，采用MRI影像数据分析；对于临床早期筛查、心脏及肿瘤等结构，采用PET影像数据分析；而对于病灶位置复杂的临床实例，考虑利用多模态联合配准分析技术获取原始图像。
S102：数据预处理。原始医学影像数据往往存在噪声、运动伪影等干扰因素，对于后续人为评估及人工智能计算带来不利影响。因此，对于收集到的医学影像数据进行预处理，有助于优化图像质量、降噪、对比度提升等，从而改善所发明框架的总体性能。在本发明的一些实施例中，首先采用对比度拉伸技术实现图像细节增强，解决曝光不足或过度带来的图像纹理特征模糊问题；采用中值滤波技术来消除医学图像上孤立的噪声点，并结合高斯滤波实现图像的平滑去噪；利用图像的区间标准化技术调整灰度值范围，用于联合分析来自不同机器型号的医学图像格式；最后利用重采样技术统一数字医学图像分辨率，消除层扫描间距及像素间距带来的不确定性，规范人工智能模型的影像学输入像素格式。
S103：U-net网络软组织分割。对上述预处理的影像进行分割，首先采用预训练的U-net模型对于腹腔软组织进行粗略分割；进一步采用注意力机制环节，突出目标软组织区域的显著特征，并结合3D U-net模型进行软组织精细分割。为了应对原始样本数据不足的问题，模型中设计了一种对抗性训练的模块，用于仿真医学图像的扰动信息，并将该扰动合并至训练样本中，以增强原始样本空间，实现自适应扰动生成以及数据增强，扩大深度学习感知空间。该对抗性训练单元仅在模型训练阶段使用，用于提升模型的理解泛化能力。在所设计的模型架构中，对于每个卷积层配备Relu激活函数和BatchNorm标准化结构，目的在于提升分割模型学习过程中的收敛效率。
其中，在一个优选实施方式中，本发明的U-net模型例如由一个编码器(下采样器)和解码器(上采样器)组成，前半部分用于特征提取，后半部分作为上采样。编码器部分由两个3x3的卷积层(Relu)再加上一个2x2的maxpooling(最大池化)层组成一个下采样的模块，解码器部分由一个上采样的卷积层(去卷积层)+特征拼接concat+两个3x3的卷积层(Relu)反复构成。其中，注意力机制环节主要设计在上述最大池化层中，通过权重调节来将注意力集中的部分(例如主要是软组织部分，而不是脊柱、血管等部分)所占的影响力提高，提高模型训练后对软组织部分的识别能力。
其中，对抗性训练模块，用于仿真医学图像的扰动信息，其例如是将一些常见的干扰部件，例如是脊柱、血管等部位的影像信息作为扰动信息随机叠加到正常的部分训练样本中，从而增加训练样本的数量，以及模型对各种扰动的抗干扰能力。
S104：软组织三维重建。针对软组织分割后的结果，采用基于体绘制的光线投射算法构建组织器官的三维重建模型。首先将分割后单层医学图像(CT、MRI、PET单模态图像或者多模态联合配准图像)中单个像素点的灰度值提取出来，基于该像素点空间邻接信息确定三维坐标，并将其保存成三维数组形式作为体纹理数据。利用线性转换函数技术将体纹理信息转为颜色值和透明度值，用以明确三维体数据场中不同纹理坐标的颜色信息及透明度信息。该发明中利用滤波技术及临床信息，将医学图像灰度值分为8—10个组别，对于不同组别采用不同纹理转换函数，实现不同软组织的对比度增强。采用矢量计算及内部点扩散技术，实现像平面的三维空间转换，确保光线投射算法在三维立体空间的适用性。对于转换后的光线投射算法按照一定间隔进行重采样，获取采样点处体纹理数据的颜色值及透明度，最后沿着算法方向对颜色信息进行累积，确定空间纹理信息，完成软组织三维重建。
另外，可选的，在一些实施例中，还可以包括如下步骤：
S105：软组织模型输出。利用可视化技术、以及人机交互虚拟现实技术，设计交互单元，对软组织三维重建结果进行输出，用户可以手动检测三维重建结果，包括放大、缩小、透视、标记、虚拟切割等操作。
S106：模型评估及校正。进一步的，在一些实施例中，还可以结合临床医师评估及模型性能评价指标，对上述模型进行校正与改善。
图2示出了本发明实施例提供的一种三维重建流程中的软组织分割方法的流程示意。根据图2所示，在一些实施例中，软组织分割方法可以包括如下步骤：
粗略分割环节：对软组织进行粗分割，在一些实施例中，粗分割方法可以采用预训练的U-net模型，来提取图像特征，得到原图像等比例大小的特征图。本发明的一些实施例所采用的预训练U-net模型是在Carvana数据集上经过图像分割训练后得到的，其中Carvana数据集包括5056个训练样本，涉及16种类的汽车图像分割和识别。将Carvana数据上预训练的U-net网络迁移到医学影像分割领域，可以给出关于医学图像轮廓及边缘的粗略分割结果，为后续精细分割提供针对性的像素目标，减少图像冗余，提升分割模型计算效率。
精细分割环节：对粗分割后的图像进行软组织精细分割，该步骤中，主要是结合注意力机制和3D U-net模型进行软组织精细分割。医学影像往往都是灰度图像，语义简单、结构较为固定，因此高级语义特征和低级语义特征在解析图像信息时同等重要。在一些实施例中，首先，3D U-net网络采用4个下采样模块提取医学图像低级语义信息。其次，3D U-net网络上采样模块持续利用多尺度信息合并策略，在上采样过程中不断融合下采样过程的低级语义信息，使分割图恢复边缘等信息时更加精细。在模型构建中，对于每个卷积层配备Relu激活函数和BatchNorm标准化结构，解决协方差偏移问题，提升分割模型学习过程中的收敛效率。
本发明在3D U-net网络的上采样和下采样过程中加入了注意力机制设计，使深度学习模型在训练过程中更加注意组织器官部分，忽略图像中的脊柱、血液等扰动部分，提升训练效率。其中，注意力机制采用通道注意力模块MC(F)和空间注意力模块MS(F)串联的设计，将MC(F)和MS(F)的输出结果与粗分割后的医学影像特征相乘，赋以权重，可实现有效的注意力机制融合。
通道注意力模块用于对医学图像进行空间维度上的全局最大池化(MaxPool)和平均池化(AvgPool)，压缩空间尺寸；将得到的全局和平均池化结果输入到多层感知机(MLP)中，用于学习各个通道的重要性；全部通道重要性进行“加”操作并输入到Sigmoid函数中，获取最终的通道注意力模块MC(F)。
MC(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
其中，F为模型输入的医学影像特征图；AvgPool代表对特征图F做全局平均池化操作；MaxPool代表对特征图F做全局最大池化操作；MLP为一个多层感知机结构；σ代表一个非线性激活函数。
空间注意力模块需要在通道维度上对输入的特征图进行全局最大池化和平均池化；将全局池化和平均池化输出结果按照通道进行拼接(f)；最终拼接结果输入到Sigmoid函数中获得空间注意力模块MS(F)。
MS(F)＝σ(f([AvgPool(F)；MaxPool(F)]))
其中，F为模型输入的医学影像特征图；AvgPool代表对特征图F做全局平均池化操作；MaxPool代表对特征图F做全局最大池化操作；f代表一个特征拼接操作，用于将最大池化和平均池化结果进行向量拼接；σ代表一个非线性激活函数。
另外，在分割模型设计过程中，医学影像样本量不足的问题在领域内普遍存在。针对此问题，在一些实施例中，可以引入对抗性训练单元，实现自适应扰动生成以及数据增强，提升模型泛化能力。首先，对抗性训练模块用于不断生成随机扰动，并将该扰动加入到原始医学影像图中用于模型训练过程，目的在于降低医学图像分割精度；其次，U-net分割模块用于不断发现这些扰动，挖掘医学图像中高质量信息，从而提升模型分割精度。在对抗性模块与U-net模块相互作用的过程中，将会生成一组对抗性的样本，这些样本对于扩大模型学习范围、提升深度学习感知域具有重要作用。最后，将这些对抗性样本融入到训练样本中，可以丰富原始训练样本，弥补医学样本量不足的问题。
参见图3，图3为本发明实施例提供的一种软组织三维重建系统的结构示意图。如图3所示，该装置包括：
数据获取模块，用于获取多模态影像数据，其中该多模态影像数据来自于计算机断层扫描(Computed Tomography，CT)，磁共振成像(Magnetic Resonance Imaging，MRI)，正电子发射断层扫描(Positron Emission Computed Tomography，PET)中的一种或其组合。
数据预处理模块，用于对于收集到的多模态影像数据进行预处理。在本发明的一些实施例中，首先采用对比度拉伸技术实现图像细节增强，解决曝光不足或过度带来的图像纹理特征模糊问题；采用中值滤波技术来消除医学图像上孤立的噪声点，并结合高斯滤波实现图像的平滑去噪；利用图像的区间标准化技术调整灰度值范围，用于联合分析来自不同机器型号的医学图像格式；最后利用重采样技术统一数字医学图像分辨率，消除层扫描间距及像素间距带来的不确定性，规范人工智能模型的影像学输入像素格式。
软组织分割模块：用于对上述预处理的医学影像进行分割。在一些实施例中，软组织风格模块包括粗略分割模块，和精细分割模块。
其中，粗略分割模块用于对软组织进行粗分割，粗分割方法可以采用预训练的U-net模型，来提取图像特征，得到原图像等比例大小的特征图。本发明的一些实施例所采用的预训练U-net模型是在Carvana数据集上经过图像分割训练后得到的，其中Carvana数据集包括5056个训练样本，涉及16种类的汽车图像分割和识别。将Carvana数据上预训练的U-net网络迁移到医学影像分割领域，可以给出关于医学图像轮廓及边缘的粗略分割结果，为后续精细分割提供针对性的像素目标，减少图像冗余，提升分割模型计算效率。
精细分割模块，用于对粗分割后的图像进行软组织精细分割。在一些实施例中，进一步用于结合注意力机制改善传统3D U-net的上采样和下采样方式，进行软组织精细分割。针对原始样本数据量不足的问题，模型中加入对抗性训练单元，实现自适应扰动生成以及数据增强，提升模型泛化能力。在模型构建中，对于每个卷积层配备Relu激活函数和BatchNorm标准化结构，提升分割模型学习过程中的收敛效率。具体地，可参考上述精细分割环节的描述。
软组织三维重建模块：用于针对软组织精细分割后的结果，采用基于体绘制的光线投射算法构建组织器官的三维重建模型。在提取医学影像灰度特征后，依据研究目标差异将灰度值进行分组，实现不同组织对比度增强。在算法执行过程中，采用转换函数赋予不同像素点颜色值和透明度值，结合重采样技术将颜色值和重采样值合并，实现医学影像的三维重建。
软组织模型可视化模块：利用可视化技术、以及人机交互虚拟现实技术，设计交互单元，对软组织三维重建结果进行输出。用户可以手动检测三维重建结果，包括放大、缩小、透视、标记、虚拟切割等操作。
模型评估及校正模块：用于结合临床医师评估及模型性能评价指标，对上述模型进行校正与改善。
图4为利用本发明的其中一种实施方案所获得的软组织(直肠肿瘤)分割结果。该实施例采用CT图像作为待处理的图像，实施方案涉及的是一种直肠癌肿瘤的CT图像分割任务。图中，左侧为原始CT图像；中间为分割结果；右侧为在分割结果基础上进行外扩(临床上有助于放疗计划制定)；DICE代表分割效果评价指标。结果表明所发明的软组织分割模型能够有效识别并分割出CT图像中的肿瘤位置及结构，同时也可以对所分割结果进行一定尺度的外扩，满足后续肿瘤放疗任务的临床需求。
图5为利用本发明的其中一种实施方案所获得的组织器官三维重建结果。该实施例涉及肝脏、肺部、腹膜、肾部组织的三维重建，采用CT图像作为待处理图像，通过预处理技术、分割技术及三维重建技术，能够正确获得不同组织器官的三维重建结果。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种图像分割方法或三维重建方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必需的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其他的形式。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (18)
1.一种软组织的三维重建方法，其特征在于，包括如下步骤：
获取软组织的医学影像数据；
对获取的软组织的医学影像数据进行预处理，得到U-net模型的输入影像数据；
对预处理的影像进行分割，所述分割包括粗略分割环节和精细分割环节；其中，所述粗略分割环节采用预训练的U-net模型对软组织进行粗略分割；所述精细分割环节采用注意力机制突出目标软组织区域的特征，并结合3D U-net模型进行软组织精细分割；
针对软组织分割后的结果构建软组织的三维重建模型。
2.根据权利要求1所述的三维重建方法，其特征在于，所述医学影像数据为软组织的多模态医学影像数据，所述多模态影像数据来自于计算机断层扫描、磁共振成像和正电子发射断层扫描中的一种或多种。
3.根据权利要求1所述的三维重建方法，其特征在于，所述对获取的软组织的医学影像数据进行预处理包括：采用对比度拉伸技术实现图像细节增强；采用中值滤波技术消除图像上孤立的噪声点，并结合高斯滤波实现图像的平滑去噪；利用图像的区间标准化技术调整灰度值范围；以及利用重采样技术统一数字医学图像分辨率。
4.根据权利要求1所述的三维重建方法，其特征在于，所述注意力机制采用通道注意力模块和空间注意力模块串联，将通道注意力模块和空间注意力模块的输出结果与粗分割后的医学影像特征相乘，赋以权重。
5.根据权利要求1或4所述的三维重建方法，其特征在于，所述预训练的U-net模型的训练过程中，采用对抗性训练模块生成随机扰动，并将该扰动加入到原始医学影像图中用于模型训练过程。
6.根据权利要求1所述的三维重建方法，其特征在于，所述针对软组织分割后的结果构建软组织的三维重建模型包括采用基于体绘制的光线投射算法构建软组织的三维重建模型。
7.根据权利要求6所述的三维重建方法，其特征在于，所述针对软组织分割后的结果构建软组织的三维重建模型包括：将分割后的单层医学图像中单个像素点的灰度值提取出来，基于所述像素点空间邻接信息确定三维坐标，并将其保存成三维数组形式作为体纹理数据；利用线性转换函数技术将体纹理信息转为颜色值和透明度值，用以明确三维体数据场中不同纹理坐标的颜色信息及透明度信息；利用滤波技术及临床信息，将医学图像灰度值分为8～10个组别，对于不同组别采用不同纹理转换函数，实现不同软组织的对比度增强；采用矢量计算及内部点扩散技术，实现像平面的三维空间转换，确保光线投射算法在三维立体空间的适用性；对于转换后的光线投射算法按照一定间隔进行重采样，获取采样点处体纹理数据的颜色值及透明度，最后沿着算法方向对颜色信息进行累积，确定空间纹理信息，完成软组织三维重建。
8.根据权利要求1所述的软组织三维重建方法，其特征在于，还包括三维可视化软组织模型输出步骤，所述三维可视化软组织模型输出步骤包括利用可视化技术以及人机交互虚拟现实技术，设计交互单元，对软组织三维重建结果进行输出。
9.根据权利要求1或8所述的软组织三维重建方法，其特征在于，还包括模型评估及校正步骤，所述模型评估及校正步骤包括结合临床医师评估及模型性能评价指标，对模型进行校正与改善。
10.一种软组织的三维重建系统，其特征在于，包括：
影像数据获取模块，用于获取软组织的医学影像数据；
数据预处理模块，用于对获取的软组织的医学影像数据进行预处理，得到U-net模型的输入影像数据；
U-net网络软组织分割模块，用于对预处理的影像进行分割，所述U-net网络软组织分割模块包括粗略分割模块和精细分割模块；其中，所述粗略分割模块用于采用预训练的U-net模型对软组织进行粗略分割；所述精细分割模块用于采用注意力机制突出目标软组织区域的特征，并结合3D U-net模型进行软组织精细分割；
软组织三维重建模块，用于针对软组织分割后的结果构建软组织的三维重建模型。
11.根据权利要求10所述的软组织的三维重建系统，其特征在于，所述影像数据获取模块中，所述医学影像数据为软组织的多模态医学影像数据，所述多模态影像数据来自于计算机断层扫描、磁共振成像和正电子发射断层扫描中的一种或多种。
12.根据权利要求10所述的软组织的三维重建系统，其特征在于，所述数据预处理模块中，对获取的软组织的医学影像数据进行预处理包括：采用对比度拉伸技术实现图像细节增强；采用中值滤波技术消除图像上孤立的噪声点，并结合高斯滤波实现图像的平滑去噪；利用图像的区间标准化技术调整灰度值范围；以及利用重采样技术统一数字医学图像分辨率。
13.根据权利要求10所述的软组织的三维重建系统，其特征在于，所述U-net网络软组织分割模块中的注意力机制采用通道注意力模块和空间注意力模块串联，将通道注意力模块和空间注意力模块的输出结果与粗分割后的医学影像特征相乘，赋以权重。
14.根据权利要求10或13所述的软组织的三维重建系统，其特征在于，所述预训练的U-net模型的训练过程中，采用对抗性训练模块生成随机扰动，并将该扰动加入到原始医学影像图中用于模型训练过程。
15.根据权利要求10所述的软组织的三维重建系统，其特征在于，所述软组织三维重建模块中，针对软组织分割后的结果，采用基于体绘制的光线投射算法构建软组织的三维重建模型。
16.根据权利要求10所述的软组织的三维重建系统，其特征在于，还包括三维可视化软组织模型输出模块，用于利用可视化技术以及人机交互虚拟现实技术，设计交互单元，对软组织三维重建结果进行输出。
17.根据权利要求10或16所述的软组织的三维重建系统，其特征在于，还包括模型评估及校正模块，用于结合临床医师评估及模型性能评价指标，对模型进行校正与改善。
18.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有用于执行如权利要求1-9任一所述的软组织的三维重建方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310649825.5A CN116612174A (zh) | 2023-06-02 | 2023-06-02 | 软组织的三维重建方法、系统及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310649825.5A CN116612174A (zh) | 2023-06-02 | 2023-06-02 | 软组织的三维重建方法、系统及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116612174A true CN116612174A (zh) | 2023-08-18 |
Family
ID=87677992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310649825.5A Pending CN116612174A (zh) | 2023-06-02 | 2023-06-02 | 软组织的三维重建方法、系统及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116612174A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351215A (zh) * | 2023-12-06 | 2024-01-05 | 上海交通大学宁波人工智能研究院 | 一种人工肩关节假体设计系统及方法 |
| CN117437350A (zh) * | 2023-09-12 | 2024-01-23 | 南京诺源医疗器械有限公司 | 一种用于手术术前规划的三维重建系统及方法 |
-
2023
- 2023-06-02 CN CN202310649825.5A patent/CN116612174A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437350A (zh) * | 2023-09-12 | 2024-01-23 | 南京诺源医疗器械有限公司 | 一种用于手术术前规划的三维重建系统及方法 |
| CN117437350B (zh) * | 2023-09-12 | 2024-05-03 | 南京诺源医疗器械有限公司 | 一种用于手术术前规划的三维重建系统及方法 |
| CN117351215A (zh) * | 2023-12-06 | 2024-01-05 | 上海交通大学宁波人工智能研究院 | 一种人工肩关节假体设计系统及方法 |
| CN117351215B (zh) * | 2023-12-06 | 2024-02-23 | 上海交通大学宁波人工智能研究院 | 一种人工肩关节假体设计系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Costa et al. | Towards adversarial retinal image synthesis | |
| CN110443867B (zh) | 基于生成对抗网络的ct图像超分辨率重构方法 | |
| US20230104173A1 (en) | Method and system for determining blood vessel information in an image | |
| CN116612174A (zh) | 软组织的三维重建方法、系统及计算机存储介质 | |
| Shen et al. | Mass image synthesis in mammogram with contextual information based on GANs | |
| CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| Zhou et al. | Deep learning methods for medical image fusion: A review | |
| CN111080657A (zh) | 基于卷积神经网络多维度融合的ct图像器官分割方法 | |
| EP4030385A1 (en) | Devices and process for synthesizing images from a source nature to a target nature | |
| Singh et al. | Medical image generation using generative adversarial networks | |
| CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
| CN112150564A (zh) | 基于深度卷积神经网络医学图像融合算法 | |
| CN115830163A (zh) | 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置 | |
| Sun et al. | Double U-Net CycleGAN for 3D MR to CT image synthesis | |
| Poonkodi et al. | 3d-medtrancsgan: 3d medical image transformation using csgan | |
| Cai et al. | Triple multi-scale adversarial learning with self-attention and quality loss for unpaired fundus fluorescein angiography synthesis | |
| CN114881914A (zh) | 基于医学影像确定三维功能肝段的系统及方法 | |
| Asma-Ull et al. | Data efficient segmentation of various 3d medical images using guided generative adversarial networks | |
| CN113538209A (zh) | 一种多模态医学影像配准方法、配准系统、计算设备和存储介质 | |
| CN116503506A (zh) | 一种图像重建方法、系统、装置及存储介质 | |
| CN116152235A (zh) | 一种肺癌ct到pet的医学图像跨模态合成方法 | |
| Safari et al. | MedFusionGAN: multimodal medical image fusion using an unsupervised deep generative adversarial network | |
| CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
| CN112529949A (zh) | 一种基于t2图像生成dwi图像的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |