CN116664590A - 基于动态对比增强磁共振图像的自动分割方法及装置 - Google Patents
基于动态对比增强磁共振图像的自动分割方法及装置 Download PDFInfo
- Publication number
- CN116664590A CN116664590A CN202310960787.5A CN202310960787A CN116664590A CN 116664590 A CN116664590 A CN 116664590A CN 202310960787 A CN202310960787 A CN 202310960787A CN 116664590 A CN116664590 A CN 116664590A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- pituitary
- dce
- image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 claims abstract description 35
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims abstract description 28
- 206010061538 Pituitary tumour benign Diseases 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013139 quantization Methods 0.000 claims abstract description 4
- 230000001817 pituitary effect Effects 0.000 claims description 51
- 208000007913 Pituitary Neoplasms Diseases 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 201000005746 Pituitary adenoma Diseases 0.000 claims description 6
- 208000021310 pituitary gland adenoma Diseases 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 239000003550 marker Substances 0.000 claims description 2
- 206010028980 Neoplasm Diseases 0.000 abstract description 3
- 210000000056 organ Anatomy 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 206010062767 Hypophysitis Diseases 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 210000003635 pituitary gland Anatomy 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 102400000739 Corticotropin Human genes 0.000 description 1
- 101800000414 Corticotropin Proteins 0.000 description 1
- 108010051696 Growth Hormone Proteins 0.000 description 1
- 102100024819 Prolactin Human genes 0.000 description 1
- 108010057464 Prolactin Proteins 0.000 description 1
- 102100038803 Somatotropin Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- IDLFZVILOHSSID-OVLDLUHVSA-N corticotropin Chemical compound C([C@@H](C(=O)N[C@@H](CO)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC=1NC=NC=1)C(=O)N[C@@H](CC=1C=CC=CC=1)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CC=1C2=CC=CC=C2NC=1)C(=O)NCC(=O)N[C@@H](CCCCN)C(=O)N1[C@@H](CCC1)C(=O)N[C@@H](C(C)C)C(=O)NCC(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N1[C@@H](CCC1)C(=O)N[C@@H](C(C)C)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](C(C)C)C(=O)N[C@@H](CC=1C=CC(O)=CC=1)C(=O)N1[C@@H](CCC1)C(=O)N[C@@H](CC(N)=O)C(=O)NCC(=O)N[C@@H](C)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC(O)=O)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CO)C(=O)N[C@@H](C)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](C)C(=O)N[C@@H](CC=1C=CC=CC=1)C(=O)N1[C@@H](CCC1)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC=1C=CC=CC=1)C(O)=O)NC(=O)[C@@H](N)CO)C1=CC=C(O)C=C1 IDLFZVILOHSSID-OVLDLUHVSA-N 0.000 description 1
- 229960000258 corticotropin Drugs 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000122 growth hormone Substances 0.000 description 1
- 238000013427 histology analysis Methods 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 229940097325 prolactin Drugs 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012764 semi-quantitative analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
基于动态对比增强磁共振图像的自动分割方法及装置，能够适用于微小器官和肿瘤的自动分割，取得较好的分割结果。方法包括：（1）基于DCE‑MRI图像勾画用于垂体及垂体微腺瘤分割的金标准；（2）对输入模型的DCE‑MRI图像进行处理；（3）选择ResUnet和SwinUnetr作为分割的基本框架进行模型训练；（4）使用Dice相似系数作为量化分割性能的评价指标。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于动态对比增强磁共振图像的自动分割方法，以及基于动态对比增强磁共振图像的自动分割装置。
背景技术
垂体腺瘤是病理性HPRL最常见的原因，其中微腺瘤因其体积小，个体解剖结构多变，其影像诊断一直存在挑战。MRI是诊断垂体腺瘤的主要成像方式，对于指导管理决策、评估治疗反应和长期监测至关重要。然而，复杂的正常垂体解剖，包括垂体前叶和垂体后叶之间不同的影像学特征，使得正常特征和病理特征的区分具有挑战性。特别是小于5 mm的微腺瘤所在的垂体，往往具有与正常垂体相似的影像学特征，导致假阴性诊断。除了PRL外，垂体微腺瘤还有许多分泌其他激素的亚型，如促肾上腺皮质激素和生长激素等。微腺瘤及其亚型的早期、准确诊断至关重要。动态对比增强磁共振（dynamic contrast-enhancedmagnetic resonance imaging, DCE-MRI）提供了比常规MRI更丰富的关于病变结构和功能的信息，显著提高了垂体微腺瘤的诊断准确率，但仍无法单凭影像学特征对垂体微腺瘤进行精准分类诊断。近年来，影像组学分析越来越多地应用于脑肿瘤MRI研究，通过分析定量特征，将图像转化为医学影像中可挖掘的数据，能够超越传统的视觉解释，并为精确诊断提供更多有价值的信息。
清晰、准确的轮廓是微腺瘤影像组学特征分析的重要前提，同时有利于用药治疗随访期间的体积监测，从而更好地进行疗效评估并指导用药。因此，亟需基于DCE-MRI的垂体微腺瘤精确分割。本研究在第二部分对垂体泌乳素微腺瘤进行DCE-MRI半定量分析时，仍然采用手动勾画ROI的方式，不仅主观性强，且费时费力。得益于人工智能（artificialintelligence, AI）的发展，肿瘤等病灶的分割可以以更加自动化的方式完成。深度学习方法，特别是卷积神经网络（convolutional neural networks, CNN），在器官分割、病变分割等医学问题的评估中显示出巨大的潜力。此外，计算机辅助诊断（computer-aideddiagnosis, CAD）已被用来改善微腺瘤的检测和监测。但对于需多疾病而言，没有形成高质量、大规模的数据集，将限制深度学习、机器学习等AI在医学图像领域的应用。因此，近期有研究使用基于UNETR的深度学习分割模型，从全脑T1加权MRI中提取鞍区和鞍旁区，并生成了一个新的垂体MRI成像数据集。该数据集的形成为垂体病理的相关机器学习研究奠定了基础。然而，上述垂体微腺瘤相关研究均以检测框的形式识别、检测垂体及微腺瘤所在的矩形/立方区域，并没有实现垂体及微腺瘤体积的准确分割。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于动态对比增强磁共振图像的自动分割方法，其能够适用于微小器官和肿瘤的自动分割，取得较好的分割结果。
本发明的技术方案是：这种基于动态对比增强磁共振图像的自动分割方法，其包括以下步骤：
（1）基于DCE-MRI图像勾画用于垂体及垂体微腺瘤分割的金标准；
（2）对输入模型的DCE-MRI图像进行处理：使用中间三个切片和后五个动态期相的图像，最终输入为二维图像数据；使用中间三个切片和后五个动态期相的图像，并把同一期相不同层面位置的切片按照空间顺序叠成体数据，最终输入为三维图像数据；使用所有包含垂体/微腺瘤的切片和所有期相的图像，并把同一位置不同期相的切片按照动态增强的时间顺序叠成体数据，最终输入为三维图像数据；使用所有切片和所有期相，把同一期相不同位置的切片按照空间顺序叠成体数据，同一患者的所有期相作为不同的通道，最终输入为四维图像数据；
（3）选择ResUnet和SwinUnetr作为分割的基本框架进行模型训练；
（4）使用Dice相似系数作为量化分割性能的评价指标：
，
其中X为金标准，Y为分割结果，Dice比较分割结果和金标准之间的相似度，Dice越大，分割结果越精确。
不同于传统的MRI图像，DCE-MRI在三维空间信息之外，还包括时间信息，本发明充分利用DCE-MRI图像在多个动态增强期相的时间变化信息，将SwinUnetr中多模态的处理方式化用为DCE-MRI数据的多个动态增强期相，采用SwinUnetr模型，探究并评估其在DCE-MRI图像上的分割性能，并与较为成熟的ResUnet对比，探索一种适用于垂体及微腺瘤的自动分割方法，在基于DCE-MRI的分割任务中取得较好的分割结果。
还提供了一种基于动态对比增强磁共振图像的自动分割装置，其包括：
分割模块，其配置来基于DCE-MRI图像勾画用于垂体及垂体微腺瘤分割的金标准；
图像处理模块，其配置来对输入模型的DCE-MRI图像进行处理：使用所有切片和所有期相，把同一期相不同位置的切片按照空间顺序叠成体数据，同一患者的所有期相作为不同的通道，最终输入为四维图像数据；
训练模块，其配置来选择ResUnet和SwinUnetr作为分割的基本框架进行模型训练；
评价模块，其配置来使用Dice相似系数作为量化分割性能的评价指标：
，
其中X为金标准，Y为分割结果，Dice比较分割结果和金标准之间的相似度，Dice越大，分割结果越精确。
附图说明
图1示出了根据本发明的基于动态对比增强磁共振图像的自动分割方法的流程图。
具体实施方式
如图1所示，这种基于动态对比增强磁共振图像的自动分割方法，其包括以下步骤：
（1）基于DCE-MRI图像勾画用于垂体及垂体微腺瘤分割的金标准；；
（2）对输入模型的DCE-MRI图像进行处理：使用所有切片和所有期相，把同一期相不同位置的切片按照空间顺序叠成体数据，同一患者的所有期相作为不同的通道，最终输入为四维图像数据；
（3）选择ResUnet和SwinUnetr作为分割的基本框架进行模型训练；
（4）使用Dice相似系数作为量化分割性能的评价指标：
，
其中X为金标准，Y为分割结果，Dice比较分割结果和金标准之间的相似度，Dice越大，分割结果越精确。
不同于传统的MRI图像，DCE-MRI在三维空间信息之外，还包括时间信息，本发明充分利用DCE-MRI图像在多个动态增强期相的时间变化信息，将SwinUnetr中多模态的处理方式化用为DCE-MRI数据的多个动态增强期相，采用SwinUnetr模型，探究并评估其在DCE-MRI图像上的分割性能，并与较为成熟的ResUnet对比，探索一种适用于垂体微腺瘤的自动分割方法，在基于DCE-MRI的分割任务中取得较好的分割结果。
优选地，所述步骤（1）中，由两位放射科医师使用MITK Workbench软件在冠状位DCE-MRI图像上以逐层方式手动勾画垂体及垂体微腺瘤病灶的轮廓；组内相关系数ICC用于评估二者间轮廓勾画的一致性，ICC值介于0～1之间，ICC>0.75 表示一致性较好；为了最大程度减少轮廓定义的模糊性，将两位放射医师的标记勾画结果进行融合，以获得每个受试者的单一、共识的垂体/微腺瘤轮廓，并将融合的勾画结果作为金标准。
优选地，所述步骤（1）中，以矢状位及冠状位的非DCE-MRI图像作为参考。
优选地，所述步骤（1）中，勾画时排除图像质量较差的检查；对于同一层面，选择垂体及微腺瘤的边界最清晰的动态期相进行手动分割的勾画，并将该期相的勾画结果应用于其他剩余期相。
优选地，所述步骤（3）中，采用ResUnet时，首先应用已在垂体腺瘤的分割中取得了较好结果的ResUnet作为分割网络：该CNN基于Residual Unet结构，由分析路径和合成路径组成；将输入的二维DCE图像分辨率大小重新调整为512×512，进行垂体分割任务时，将DCE图像进一步中心裁切为128×128的大小，之后输入ResUnet框架模型；网络有35个卷积层，由用于下采样的Resblock 、Conv3D组块，和用于上采样的Deconv3D组块组成；每个Resblock由一条捷径shortcut和几个堆叠层组成：卷积层和可以自适应地学习矫正线性单元的参数PReLU的层激活函数PReLU层；分析路径由重复的Resblock组成，每个Resblock后面都有一个Conv3D组块，执行用于下采样的3×3×3卷积操作，每个维度的步长为2。
优选地，所述步骤（3）中，在合成路径中，重复的Resblock后面是用于特征图的上采样的3×3×3转置卷积操作，每个维度的步长为2；来自分析路径中等分辨率层的shortcut连接，为合成路径提供基本的高分辨率特征；在最后一层中，一个3×3×3的卷积操作将输出通道的数量减少到2，其中2为金标准的标签的数量，mask中，标签=1代表垂体/微腺瘤，标签=0代表非垂体/微腺瘤的部分。
优选地，所述步骤（3）中，采用SwinUnetr模型，利用一个带有Swin Transformer的U形网络作为编码器，通过利用移位窗计算自注意力的方式提取五种不同分辨率的特征，并在不同的分辨率上通过跳跃连接与基于CNN的解码器相连；针对DCE-MRI图像数据，将4D分割任务重新表述为不同期相的3D数据，其中多个期相的数据通过不同的通道输入，然后被投影到嵌入的一维序列中，并作为分层的Swin Tansformer中编码器的输入；SwinUnetr对输入的3D数据创建非重叠的补丁，使用补丁分区层创建具有计算自注意力所需大小的窗。
优选地，所述步骤（3）中，在预处理阶段，将输入的DCE图像分辨率大小重新调整为512×512×32，通过插值的方法将来自不同MR扫描仪的动态增强期数对齐，统一为12期；进行垂体分割任务时，将DCE图像进一步中心裁切为96×96×32的大小，之后输入SwinUnetr框架模型；进行垂体微腺瘤分割任务时，同时输入垂体分割的金标准，基于从垂体掩膜mask中计算的垂体中心将DCE图像进一步裁切为64×64×32的大小，之后输入SwinUnetr框架模型；分割模型将输出输入图像的像素水平二值mask，其中1代表垂体/微腺瘤组织，0代表非垂体/微腺瘤组织。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于动态对比增强磁共振图像的自动分割装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
分割模块，其配置来基于DCE-MRI图像勾画用于垂体及垂体微腺瘤分割的金标准；
图像处理模块，其配置来对输入模型的DCE-MRI图像进行处理：使用所有切片和所有期相，把同一期相不同位置的切片按照空间顺序叠成体数据，同一患者的所有期相作为不同的通道，最终输入为四维图像数据；
训练模块，其配置来选择ResUnet和SwinUnetr作为分割的基本框架进行模型训练；
评价模块，其配置来使用Dice相似系数作为量化分割性能的评价指标：
，
其中X为金标准，Y为分割结果，Dice比较分割结果和金标准之间的相似度，Dice越大，分割结果越精确。
优选地，所述训练模块中，
采用ResUnet时，首先应用已在垂体腺瘤的分割中取得了较好结果的ResUnet作为分割网络：该CNN基于Residual Unet结构，由分析路径和合成路径组成；将输入的二维DCE图像分辨率大小重新调整为512×512，进行垂体分割任务时，将DCE图像进一步中心裁切为128×128的大小，之后输入ResUnet框架模型；网络有35个卷积层，由用于下采样的Resblock 、Conv3D组块，和用于上采样的Deconv3D组块组成；每个Resblock由一条捷径shortcut和几个堆叠层组成：卷积层和可以自适应地学习矫正线性单元的参数PReLU的层激活函数PReLU层；分析路径由重复的Resblock组成，每个Resblock后面都有一个Conv3D组块，执行用于下采样的3×3×3卷积操作，每个维度的步长为2；
在合成路径中，重复的Resblock后面是用于特征图的上采样的3×3×3转置卷积操作，每个维度的步长为2；来自分析路径中等分辨率层的shortcut连接，为合成路径提供基本的高分辨率特征；在最后一层中，一个3×3×3的卷积操作将输出通道的数量减少到2，其中2为金标准的标签的数量，mask中，标签=1代表垂体/微腺瘤，标签=0代表非垂体/微腺瘤的部分；
采用SwinUnetr模型，利用一个带有Swin Transformer的U形网络作为编码器，通过利用移位窗计算自注意力的方式提取五种不同分辨率的特征，并在不同的分辨率上通过跳跃连接与基于CNN的解码器相连；针对DCE-MRI图像数据，将4D分割任务重新表述为不同期相的3D数据，其中多个期相的数据通过不同的通道输入，然后被投影到嵌入的一维序列中，并作为分层的Swin Tansformer中编码器的输入；SwinUnetr对输入的3D数据创建非重叠的补丁，使用补丁分区层创建具有计算自注意力所需大小的窗；
在预处理阶段，将输入的DCE图像分辨率大小重新调整为512×512×32，通过插值的方法将来自不同MR扫描仪的动态增强期数对齐，统一为12期；进行垂体分割任务时，将DCE图像进一步中心裁切为96×96×32的大小，之后输入SwinUnetr框架模型；进行垂体微腺瘤分割任务时，同时输入垂体分割的金标准，基于从垂体掩膜mask中计算的垂体中心将DCE图像进一步裁切为64×64×32的大小，之后输入SwinUnetr框架模型；分割模型将输出输入图像的像素水平二值mask，其中1代表垂体/微腺瘤组织，0代表非垂体/微腺瘤组织。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (10)
1.基于动态对比增强磁共振图像的自动分割方法，其特征在于：其包括以下步骤：
（1）基于DCE-MRI图像勾画用于垂体及垂体微腺瘤分割的金标准；
（2）对输入模型的DCE-MRI图像进行处理：使用所有切片和所有期相，把同一期相不同位置的切片按照空间顺序叠成体数据，同一患者的所有期相作为不同的通道，最终输入为四维图像数据；
（3）选择ResUnet和SwinUnetr作为分割的基本框架进行模型训练；
（4）使用Dice相似系数作为量化分割性能的评价指标：
，
其中X为金标准，Y为分割结果，Dice比较分割结果和金标准之间的相似度，Dice越大，分割结果越精确。
2.根据权利要求1所述的基于动态对比增强磁共振图像的自动分割方法，其特征在于：所述步骤（1）中，由两位放射科医师使用MITK Workbench软件在冠状位DCE-MRI图像上以逐层方式手动勾画垂体及垂体微腺瘤病灶的轮廓；组内相关系数ICC用于评估二者间轮廓勾画的一致性，ICC值介于0～1之间，ICC>0.75 表示一致性较好；为了最大程度减少轮廓定义的模糊性，将两位放射医师的标记勾画结果进行融合，以获得每个受试者的单一、共识的垂体/微腺瘤轮廓，并将融合的勾画结果作为金标准。
3.根据权利要求2所述的基于动态对比增强磁共振图像的自动分割方法，其特征在于：所述步骤（1）中，以矢状位及冠状位的非DCE-MRI图像作为参考。
4.根据权利要求3所述的基于动态对比增强磁共振图像的自动分割方法，其特征在于：所述步骤（1）中，勾画时排除图像质量较差的检查；对于同一层面，选择垂体及微腺瘤的边界最清晰的动态期相进行手动分割的勾画，并将该期相的勾画结果应用于其他剩余期相。
5.根据权利要求4所述的基于动态对比增强磁共振图像的自动分割方法，其特征在于：所述步骤（3）中，采用ResUnet时，首先应用已在垂体腺瘤的分割中取得了较好结果的ResUnet作为分割网络：该CNN基于Residual Unet结构，由分析路径和合成路径组成；将输入的二维DCE图像分辨率大小重新调整为512×512，进行垂体分割任务时，将DCE图像进一步中心裁切为128×128的大小，之后输入ResUnet框架模型；网络有35个卷积层，由用于下采样的Resblock 、Conv3D组块，和用于上采样的Deconv3D组块组成；每个Resblock由一条捷径shortcut和几个堆叠层组成：卷积层和可以自适应地学习矫正线性单元的参数PReLU的层激活函数PReLU层；分析路径由重复的Resblock组成，每个Resblock后面都有一个Conv3D组块，执行用于下采样的3×3×3卷积操作，每个维度的步长为2。
6.根据权利要求5所述的基于动态对比增强磁共振图像的自动分割方法，其特征在于：所述步骤（3）中，在合成路径中，重复的Resblock后面是用于特征图的上采样的3×3×3转置卷积操作，每个维度的步长为2；来自分析路径中等分辨率层的shortcut连接，为合成路径提供基本的高分辨率特征；在最后一层中，一个3×3×3的卷积操作将输出通道的数量减少到2，其中2为金标准的标签的数量，mask中，标签=1代表垂体/微腺瘤，标签=0代表非垂体/微腺瘤的部分。
7.根据权利要求4所述的基于动态对比增强磁共振图像的自动分割方法，其特征在于：所述步骤（3）中，采用SwinUnetr模型，利用一个带有Swin Transformer的U形网络作为编码器，通过利用移位窗计算自注意力的方式提取五种不同分辨率的特征，并在不同的分辨率上通过跳跃连接与基于CNN的解码器相连；针对DCE-MRI图像数据，将4D分割任务重新表述为不同期相的3D数据，其中多个期相的数据通过不同的通道输入，然后被投影到嵌入的一维序列中，并作为分层的Swin Tansformer中编码器的输入；SwinUnetr对输入的3D数据创建非重叠的补丁，使用补丁分区层创建具有计算自注意力所需大小的窗。
8.根据权利要求7所述的基于动态对比增强磁共振图像的自动分割方法，其特征在于：所述步骤（3）中，在预处理阶段，将输入的DCE图像分辨率大小重新调整为512×512×32，通过插值的方法将来自不同MR扫描仪的动态增强期数对齐，统一为12期；进行垂体分割任务时，将DCE图像进一步中心裁切为96×96×32的大小，之后输入SwinUnetr框架模型；进行垂体微腺瘤分割任务时，同时输入垂体分割的金标准，基于从垂体掩膜mask中计算的垂体中心将DCE图像进一步裁切为64×64×32的大小，之后输入SwinUnetr框架模型；分割模型将输出输入图像的像素水平二值mask，其中1代表垂体/微腺瘤组织，0代表非垂体/微腺瘤组织。
9.基于动态对比增强磁共振图像的自动分割装置，其特征在于：其包括：
分割模块，基于DCE-MRI图像勾画用于垂体及垂体微腺瘤分割的金标准；
图像处理模块，其配置来对输入模型的DCE-MRI图像进行处理：使用所有切片和所有期相，把同一期相不同位置的切片按照空间顺序叠成体数据，同一患者的所有期相作为不同的通道，最终输入为四维图像数据；
训练模块，其配置来选择ResUnet和SwinUnetr作为分割的基本框架进行模型训练；
评价模块，其配置来使用Dice相似系数作为量化分割性能的评价指标：
，
其中X为金标准，Y为分割结果，Dice比较分割结果和金标准之间的相似度，Dice越大，分割结果越精确。
10.根据权利要求9所述的基于动态对比增强磁共振图像的自动分割装置，其特征在于：所述训练模块中，
采用SwinUnetr时，利用一个带有Swin Transformer的U形网络作为编码器，通过利用移位窗计算自注意力的方式提取五种不同分辨率的特征，并在不同的分辨率上通过跳跃连接与基于CNN的解码器相连；针对DCE-MRI图像数据，将4D分割任务重新表述为不同期相的3D数据，其中多个期相的数据通过不同的通道输入，然后被投影到嵌入的一维序列中，并作为分层的Swin Tansformer中编码器的输入；SwinUnetr对输入的3D数据创建非重叠的补丁，使用补丁分区层创建具有计算自注意力所需大小的窗；
在预处理阶段，将输入的DCE图像分辨率大小重新调整为512×512×32，通过插值的方法将来自不同MR扫描仪的动态增强期数对齐，统一为12期；进行垂体分割任务时，将DCE图像进一步中心裁切为96×96×32的大小，之后输入SwinUnetr框架模型；进行垂体微腺瘤分割任务时，同时输入垂体分割的金标准，基于从垂体掩膜mask中计算的垂体中心将DCE图像进一步裁切为64×64×32的大小，之后输入SwinUnetr框架模型；分割模型将输出输入图像的像素水平二值mask，其中1代表垂体/微腺瘤组织，0代表非垂体/微腺瘤组织。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310960787.5A CN116664590B (zh) | 2023-08-02 | 2023-08-02 | 基于动态对比增强磁共振图像的自动分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310960787.5A CN116664590B (zh) | 2023-08-02 | 2023-08-02 | 基于动态对比增强磁共振图像的自动分割方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116664590A true CN116664590A (zh) | 2023-08-29 |
| CN116664590B CN116664590B (zh) | 2023-10-13 |
Family
ID=87710184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310960787.5A Active CN116664590B (zh) | 2023-08-02 | 2023-08-02 | 基于动态对比增强磁共振图像的自动分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664590B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636076A (zh) * | 2024-01-25 | 2024-03-01 | 北京航空航天大学 | 基于深度学习影像模型的前列腺mri图像分类方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200015734A1 (en) * | 2017-12-05 | 2020-01-16 | Rulon Mayer | “One Stop Shop” for Prostate Cancer Staging using Imaging Biomarkers and Spatially Registered Multi-Parametric MRI |
| CN111476793A (zh) * | 2020-03-10 | 2020-07-31 | 西北大学 | 动态增强磁共振成像处理方法、系统、存储介质、终端 |
| CN112508953A (zh) * | 2021-02-05 | 2021-03-16 | 四川大学 | 基于深度神经网络的脑膜瘤快速分割定性方法 |
| CN114596318A (zh) * | 2022-03-21 | 2022-06-07 | 南通大学 | 一种基于Transformer的乳腺癌磁共振成像病灶分割方法 |
| WO2022166800A1 (zh) * | 2021-02-02 | 2022-08-11 | 广州柏视医疗科技有限公司 | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 |
| CN116091518A (zh) * | 2022-11-28 | 2023-05-09 | 深圳大学 | 基于动态对比增强磁共振影像的乳腺病灶分割方法及装置 |
| CN116342600A (zh) * | 2023-05-29 | 2023-06-27 | 中日友好医院(中日友好临床医学研究所) | 胸腺瘤组织病理学图像中细胞核的分割方法 |
-
2023
- 2023-08-02 CN CN202310960787.5A patent/CN116664590B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200015734A1 (en) * | 2017-12-05 | 2020-01-16 | Rulon Mayer | “One Stop Shop” for Prostate Cancer Staging using Imaging Biomarkers and Spatially Registered Multi-Parametric MRI |
| CN111476793A (zh) * | 2020-03-10 | 2020-07-31 | 西北大学 | 动态增强磁共振成像处理方法、系统、存储介质、终端 |
| WO2022166800A1 (zh) * | 2021-02-02 | 2022-08-11 | 广州柏视医疗科技有限公司 | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 |
| CN112508953A (zh) * | 2021-02-05 | 2021-03-16 | 四川大学 | 基于深度神经网络的脑膜瘤快速分割定性方法 |
| CN114596318A (zh) * | 2022-03-21 | 2022-06-07 | 南通大学 | 一种基于Transformer的乳腺癌磁共振成像病灶分割方法 |
| CN116091518A (zh) * | 2022-11-28 | 2023-05-09 | 深圳大学 | 基于动态对比增强磁共振影像的乳腺病灶分割方法及装置 |
| CN116342600A (zh) * | 2023-05-29 | 2023-06-27 | 中日友好医院(中日友好临床医学研究所) | 胸腺瘤组织病理学图像中细胞核的分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| 孙明霞;: "垂体腺瘤的CT与MRI影像分析", 西北国防医学杂志, no. 02 * |
| 杨珍等: "《利用DCE-MRI结合改进卷积神经网络的MR图像自动分割与分类方法》", 《 重庆理工大学学报（自然科学版）》, pages 141 - 157 * |
| 邓金城;彭应林;刘常春;陈子杰;雷国胜;吴江华;张广顺;邓小武;: "深度卷积神经网络在放射治疗计划图像分割中的应用", 中国医学物理学杂志, no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636076A (zh) * | 2024-01-25 | 2024-03-01 | 北京航空航天大学 | 基于深度学习影像模型的前列腺mri图像分类方法 |
| CN117636076B (zh) * | 2024-01-25 | 2024-04-12 | 北京航空航天大学 | 基于深度学习影像模型的前列腺mri图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116664590B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311592B (zh) | 一种基于深度学习的三维医学图像自动分割方法 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| US20240078722A1 (en) | System and method for forming a super-resolution biomarker map image | |
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| CN111612754B (zh) | 基于多模态图像融合的mri肿瘤优化分割方法及系统 | |
| CN110689543A (zh) | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 | |
| KR102410955B1 (ko) | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램 | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| CN111429460A (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
| CN111640120A (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| KR20230059799A (ko) | 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| CN114092439A (zh) | 一种多器官实例分割方法及系统 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| CN116188479B (zh) | 基于深度学习的髋关节图像分割方法及系统 | |
| CN112263217B (zh) | 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| WO2021183765A1 (en) | Automated detection of tumors based on image processing | |
| CN113223004A (zh) | 一种基于深度学习的肝脏图像分割方法 | |
| CN112420170A (zh) | 一种提高计算机辅助诊断系统图片分类准确度的方法 | |
| CN113313728A (zh) | 一种颅内动脉分割方法及系统 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| US20240169544A1 (en) | Methods and systems for biomedical image segmentation based on a combination of arterial and portal image information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |