CN114387286A - 脑影像脑膜瘤全自动筛查与肿瘤分割方法及装置 - Google Patents
脑影像脑膜瘤全自动筛查与肿瘤分割方法及装置 Download PDFInfo
- Publication number
- CN114387286A CN114387286A CN202210024189.2A CN202210024189A CN114387286A CN 114387286 A CN114387286 A CN 114387286A CN 202210024189 A CN202210024189 A CN 202210024189A CN 114387286 A CN114387286 A CN 114387286A
- Authority
- CN
- China
- Prior art keywords
- image
- meningioma
- segmentation
- model
- screening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010027191 meningioma Diseases 0.000 title claims abstract description 192
- 230000011218 segmentation Effects 0.000 title claims abstract description 123
- 238000012216 screening Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 46
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 28
- 210000004556 brain Anatomy 0.000 title claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 238000012805 post-processing Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 208000003174 Brain Neoplasms Diseases 0.000 claims abstract description 10
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 9
- 238000002790 cross-validation Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 abstract description 4
- 238000011160 research Methods 0.000 abstract description 3
- 238000003759 clinical diagnosis Methods 0.000 abstract description 2
- 238000009472 formulation Methods 0.000 abstract description 2
- 239000000203 mixture Substances 0.000 abstract description 2
- 238000013136 deep learning model Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 241001269524 Dura Species 0.000 description 2
- 201000007980 brain meningioma Diseases 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 210000003169 central nervous system Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007917 intracranial administration Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002610 neuroimaging Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种脑影像脑膜瘤全自动筛查与肿瘤分割方法及装置,包括如下步骤:步骤S1:将脑膜瘤患者的图像文件进行格式转换;步骤S2:对格式转换后的图像文件的图像进行预处理;步骤S3:对预处理后的图像文件中的图像数据进行增强处理;步骤S4:对增强处理后的图像数据进行筛查,得到包含脑膜瘤的切片图像并保存;步骤S5:对包含脑膜瘤的切片图像进行分割,得到脑膜瘤分割结果图像并保存;步骤S6:对包含脑膜瘤的切片图像和脑膜瘤分割结果图像进行后处理。本发明结合了深度学习的分类和分割技术,具有无创性、可重复、批量化、提高医生临床诊断效率的优点,可为脑膜瘤影像组学研究以及临床医生手术方案制定提供辅助。
Description
技术领域
本发明涉及医学图像处理的技术领域,具体地,涉及一种脑影像脑膜瘤全自动筛查与肿瘤分割方法及装置,尤其是涉及一种基于深度学习的脑影像脑膜瘤全自动筛查与肿瘤分割方法及装置。
背景技术
脑膜瘤是成人中最常见的原发性颅内肿瘤。每十万人口中,脑膜瘤的发病率为8.03,占原发性中枢神经系统(CNS)肿瘤的三分之一以上,使其成为最常见的原发性颅内肿瘤。尽管大多数脑膜瘤有良好的预后,但由于完全切除仍然有难度,它们常常复发。脑膜瘤表现为附着于硬脑膜的广泛性硬脑膜半球或椭圆形病变。虽然脑膜瘤通常易于诊断,但是也存在有大量的可变影像特征的组织学变体,因此想要达到高分割精度并不是容易的事情。磁共振成像(MRI)已成为用于可视化和管理颅内脑膜瘤的关键检查方法。在MRI上,脑膜瘤在原子核自旋纵向持续时间(T1)和原子核自旋横向持续时间(T2)加权序列上表现出对皮质的等强度,并在施用对比剂增强后通常具有很强的均匀增强作用。
准确检测脑膜瘤并随后进行精确分割对于临床治疗计划至关重要。目前,脑膜瘤是由神经放射科医生人工检测判断,然后通过半自动软件手动分割的,常用的软件有ITK-SNAP等,这样就存在医生的工作量大而且重复性差的问题,另外,在区分肿瘤与邻近的解剖结构或骨骼受累方面也存在局限性。
近年来,许多学者对于脑膜瘤的检测和分割方法进行了研究。其中传统的图像处理方法,如有一种融合模糊c均值(FCM)和区域增长技术的算法,它可以检测大脑中线位置的脑膜瘤,并对其进行定位。该算法距离准确分割脑膜瘤还有一定差距。基于深度学习的方法,通过眼动跟踪(ET)生成脑膜瘤分割蒙版,然后以此为金标准基于经典的医学图像U型分割网络(U-net)深度模型进行训练,得出脑膜瘤的分割图像。这一方法需要操作人员目光注视脑膜瘤区域,这样的方式在临床很容易出现错误,并且对于操作员的视力有损伤。同时也没有达到全自动的脑膜瘤分割流程。也有学者基于一种多尺度3D分割网络(DeepMedic)深度模型实现了对脑膜瘤的分割。但是该模型是基于神经胶质瘤病例训练,然后应用于脑膜瘤分割。这样有可能导致模型的泛化性差,不能应用于复杂的临床真实病例脑膜瘤的分割中。
公开号为CN112508953A的中国发明专利文献公开了一种基于深度神经网络的脑膜瘤快速分割定性方法,包括如下步骤:准备磁共振脑部图像;建立脑膜瘤分割模型,并通过脑膜瘤分割模型从磁共振脑部图像中筛选出包含脑膜瘤区域的有效图像;建立脑膜瘤分级模型,并通过脑膜瘤分级模型对有效图像进行分级检测,并输出脑膜瘤分级检测结果。
针对上述中的相关技术,发明人认为上述方法在实际应用中,复杂的临床环境让许多算法难以取得好的效果,需要人工干预的流程多,医生工作量大,并且对于不同医院不同设备所采集的不同类型的脑影像,各种方法也难以适应,从而导致分割的结果出现较大误差。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种脑影像脑膜瘤全自动筛查与肿瘤分割方法及装置。
根据本发明提供的一种脑影像脑膜瘤全自动筛查与肿瘤分割方法,包括如下步骤:
步骤S1:将脑膜瘤患者的图像文件进行格式转换;
步骤S2:对格式转换后的图像文件的图像进行预处理;
步骤S3:对预处理后的图像文件中的图像数据进行增强处理;
步骤S4:对增强处理后的图像数据进行筛查,得到包含脑膜瘤的切片图像并保存;
步骤S5:对包含脑膜瘤的切片图像进行分割,得到脑膜瘤分割结果图像并保存;
步骤S6:对包含脑膜瘤的切片图像和脑膜瘤分割结果图像进行后处理。
优选的,在所述步骤S1中,所述图像文件包括磁共振序列图像文件,采用编程语言通过工具包将脑膜瘤患者磁共振序列图像文件进行格式转换。
优选的,在所述步骤S2中,统一格式转换后的图像文件的图像大小;根据图像大小不同统一图像大小,对大的图像进行裁剪,小的图像围绕图像四周进行插值处理;
对统一格式后的图像进行直方图均衡化处理;
对均衡化处理的图像进行归一化处理;图像通过减去图像灰度均值,再除以标准差的方式实现图像归一化处理。
优选的,在所述步骤S3中,建立脑膜瘤筛查模型,增加脑膜瘤筛查模型训练数据的多样性;
预处理后的图像增强处理的方式包括对预处理后的图像进行预定角度旋转、水平和垂直镜像、横向和纵向平移预定值和图像亮度调整为初始的预定倍数。
优选的,在所述步骤S4中,将增强处理后的图像导入脑膜瘤筛查模型进行筛查;脑膜瘤筛查模型的建立采取迁移学习方式,使用经过数据集训练过的模型参数;在预测阶段,对真实临床数据进行预测,检测出包含脑膜瘤的切片图像并保存。
优选的,在所述步骤S5中,建立脑膜瘤分割模型,脑膜瘤分割模型基于步骤S4检测出的包含脑膜瘤切片的图像进行分割;脑膜瘤分割模型采用深度学习全监督方式,使用已筛查出的图像数据进行训练;在分割测试阶段,直接采用训练好的脑膜瘤模型对包含脑膜瘤的切片图像进行分割,并保存脑膜瘤分割结果图像。
优选的,所述脑膜瘤筛查模型,在经过预训练模型输出后添加平均池化层、多个全连接层和多个Dropout层,激活函数采用elu函数。
优选的,所述深度学习分割模型,采用多折交叉验证的方式选择分割模型参数;设置固定的种子点,保障每次训练时数据划分位置相同,通过交叉验证的方式对脑膜瘤分割模型的稳定性进行对比。
根据本发明提供的一种脑影像脑膜瘤全自动筛查与肿瘤分割装置,包括如下模块:
模块M1:将脑膜瘤患者的图像文件进行格式转换;
模块M2:对格式转换后的图像文件的图像进行预处理;
模块M3:对预处理后的图像文件中的图像数据进行增强处理;
模块M4:对增强处理后的图像数据进行筛查,得到包含脑膜瘤的切片图像并保存;
模块M5:对包含脑膜瘤的切片图像进行分割,得到脑膜瘤分割结果图像并保存;
模块M6:对包含脑膜瘤的切片图像和脑膜瘤分割结果图像进行后处理。
优选的,在所述模块M1中,所述图像文件包括磁共振序列图像文件,采用编程语言通过工具包将脑膜瘤患者磁共振序列图像文件进行格式转换。
与现有技术相比,本发明具有如下的有益效果:
1、本发明的脑影像脑膜瘤全自动筛查与肿瘤分割方法,可适用于各种脑影像的采集设备,对于每种设备采集的数据均可以通过数据增强和数据预处理方法转换为适合脑膜瘤检测和分割模型的数据格式;
2、本发明模型经过训练后,脑膜瘤检测模型可以有效的检测出数据中包含脑膜瘤的切片图像。脑膜瘤分割模型可以完成脑膜瘤的精准分割;
3、本发明数据后处理能够将脑膜瘤检测和分割结果转换为NIfTI格式文件,以适应临床医生所需,便于查看;所有数据处理、模型训练、模型测试均支持批量数据处理操作;
4、本发明的脑膜瘤辅助诊断及肿瘤分割系统,结合了深度学习的分类和分割技术,具有无创性、可重复、批量化、提高医生临床诊断效率的优点,可为脑膜瘤影像组学研究以及临床医生手术方案制定提供辅助。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是本发明实施例中脑影像脑膜瘤全自动筛查与肿瘤分割方法的流程图;
图2是本发明实施例中待处理脑影像切片示意图;
图3是本发明实施例中待筛查脑影像处理的流程图;
图4是本发明实施例中筛查训练曲线图;
图5是本发明实施例中筛查评估结果曲线图;
图6是本发明实施例中待分割脑影像处理的流程图;
图7是本发明实施例中分割结果图像的示意图。
附图标记:categorical_accuracy的中文译文为分类准确率;loss的中文译文为损失;val_categorical_accuracy的中文译文为验证分类准确率;val_loss的中文译文为验证损失;曲线U-net表示经典医学图像U型分割网络;Res-U-net表示加入残差模块的U型分割网络;U-net++表示嵌套密集跳过连接的U型分割网络;Att-U-net表示注意力机制的U型分割网络;SA-U-net表示空间注意力机制的U型分割网络。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例公开了一种基于深度学习的脑影像脑膜瘤全自动筛查与肿瘤分割方法,用于对临床二维脑影像进行脑膜瘤的全自动筛查与肿瘤分割。如图1和图2所示,该方法包括如下步骤:步骤S1:将脑膜瘤患者的图像文件进行格式转换。图像文件包括磁共振序列图像文件,采用编程语言通过工具包将脑膜瘤患者磁共振序列图像文件进行格式转换。如图3所示,采用一种图像分析软件算法和数据结构的简化接口(SimpleITK)和常见的神经影像文件格式访问的工具包(NiBabel)对各采集设备采集来的神经影像信息学技术计划(NIfTI)和医学数字成像和通信标准(Dicom)格式文件进行转换,以便于后续图像处理算法对数据进行处理。采用一种解释性的高级通用编程语言(python)通过使用SimpleITK和nibabel工具包将脑膜瘤患者磁共振T1CE序列图像文件从NIfTI和Dicom格式转换为联合图像小组开发的一种常用的数字图像有损压缩格式(英文全称为joint photographicexperts group,简称为jpeg)和轻便网络图形格式(英文全称为portable networkgraphics,简称为png)文件,为后续导入深度学习模型训练做准备。脑膜瘤患者磁共振T1对比增强序列图像通常以NIfTI和Dicom格式保存,通过SimpleITK、nibabel等工具包将数据转换为jpeg、png等图片格式,为后续导入深度学习模型做准备。
步骤S2:对格式转换后的图像文件的图像进行预处理。统一格式转换后的图像文件的图像大小;根据图像大小不同统一图像大小,对大的图像进行裁剪,小的图像围绕图像四周进行插值处理。对统一格式后的图像进行直方图均衡化处理;对均衡化处理的图像进行归一化处理;图像通过减去图像灰度均值,再除以标准差的方式实现图像归一化处理。采用直方图均衡化提高图像中脑膜瘤区域与周围脑组织的对比度,然后通过归一化算法批量处理所有数据,提高数据的一致性。首先,统一图像大小。由于图像大小不同,统一图像大小为高度和宽度均为256。对过大的图像进行裁剪,小的图像围绕图像四周进行插值处理。其次,对图像进行直方图均衡化处理。提高脑膜瘤区域与脑组织直接的对比度。最后,对图像进行归一化处理。原始图像通过减去图像灰度均值,再除以标准差的方式,实现图归一化处理。图像大小统一为256×256,当图像高度等于宽度时,采用等比例缩放的方式将图像大小更改为256×256;当高度小于宽度时,图像横向以0值进行插值,直到高度等于宽度后再进行等比例缩放到256×256;当宽度小于高度时,图像纵向以0值进行插值,直到高度等于宽度后再进行等比例缩放到256×256。针对格式转换后的图像进行预处理。首先,由于图像大小不同,对过大的图像进行裁剪,小的图像以0值围绕图像四周进行插值。其次,对图像进行直方图均衡化处理。最后,对图像进行归一化处理,减去图像灰度均值,再除以标准差。
步骤S3:对预处理后的图像文件中的图像数据进行增强处理。建立脑膜瘤筛查模型,增加脑膜瘤筛查模型训练数据的多样性。预处理后的图像增强处理的方式包括对预处理后的图像进行预定角度旋转、水平和垂直镜像、横向和纵向平移预定值和图像亮度调整为初始的预定倍数。图像数据增强的过程具体为:a)随机旋转90度;b)水平镜像;c)垂直镜像;d)水平平移±0.1;e)垂直平移±0.1;f)亮度偏移范围[1.0,1.4];g)归一化,减去像素均值,除以像素标准差。通过图像数据增强后,可以避免过拟合,增加图像多样性,避免样本不均衡,提高训练模型的泛化性。图像数据增强处理。增加筛查模型训练数据的多样性,提高模型的泛化性和准确性。增强处理方法采用对图像进行随机90度旋转,水平和垂直镜像,横向和纵向平移,图像亮度调整为初始的1.0~1.4倍等处理方式。深度学习筛查模型,在预训练模型输出后添加了1个平均池化层、4个全连接层和4个Dropout层。激活函数采用elu函数,提高了对噪声的鲁棒性。
步骤S4:对增强处理后的图像数据进行筛查,得到包含脑膜瘤的切片图像并保存。将增强处理后的图像导入脑膜瘤筛查模型进行筛查;脑膜瘤筛查模型的建立采取迁移学习方式,使用经过数据集训练过的模型参数;在预测阶段,对真实临床数据进行预测,检测出包含脑膜瘤的切片图像并保存。脑膜瘤筛查模型,在经过预训练模型输出后添加了平均池化层、多个全连接层和多个防止网络过拟合的技术(Dropout)层。激活函数采用指数线性单元(elu)函数。深度学习模型脑膜瘤筛查采用多种深度学习分类模型构建。图像数据增强后的数据导入分类模型中,通过分类模型区分出包含和未包含脑膜瘤的切片图像。训练过程各参数分别为:学习率采用自适应的衰减方式,学习率初始设置为0.0001,当评估指标停止上升5次后,学习率会降低为原来的0.25倍,学习率最小支持0.00000001。优化器使用一种基于一阶自适应估计的随机梯度下降方法(Adam)优化器。损失函数采用多分类交叉熵损失函数。迭代次数为120次。使用L1正则化减少过拟合。一次训练的样本量为64。采用端到端开源机器学习平台(TensorFlow)的可视化工具包(TensorBoard)对模型训练进行了可视化。模型保存最佳的训练参数模型。数据包含不同扫描仪(GE 3.0T,SIEMENS 3.0T和GE 1.5T)采集脑膜瘤磁共振T1CE序列图像数据,同时这些数据包含厚切和薄切的数据。图像数据增强后,将图像导入用于脑膜瘤筛查模型进行筛查。筛查模型的建立采取迁移学习方式,使用经过大型视觉数据库(ImageNet)训练过的模型参数,其中所采用的预训练模型包括:谷歌公司开发的创始网络模型第三个版本(InceptionV3),残差网络(ResNet)多通路卷积改进版本(ResNeXt101)和谷歌大脑开发的一种网络模型(Efficient-Net),Efficient-Net模型在深度、宽度和分辨率进行调整后分为B1-B7七种模型。在预测阶段,对真实临床数据进行预测,检测出包含脑膜瘤的切片图像并保存。
筛查模型包含:InceptionV3,ResNeXt101和Efficient-Net系列模型。这些模型均通过ImageNet图像数据库训练,ImageNet图像数据库包含各类图像特征信息,经过训练后的模型可以提高学习新图像数据的效率,也有研究证明会有更高的准确率。这样采用经过预训练模型来训练的方式为迁移学习,该方法属于监督学习方法,进一步训练所需的脑膜瘤图像,需要人为进行标注,随后在预训练模型后加入了1个全局平均池化层,4个密集连接卷积层,4个Dropout层。最后通过归一化指数函数(softmax)作为激活函数对图像进行预测,完成脑膜瘤切片图像的筛查任务。
如图4所示,Efficient-Net-B7预训练模型在本发明数据中训练的可视化结果。包括评估指标和损失函数曲线。
如图5所示,Recall的中文译文为召回率;false_positive_rate的中文译文为假阳性率;AUC英文全称为Area Under Curve,表示ROC曲线下与坐标轴围成的面积,ROC英文全称为receiver operating characteristic,中文译文为受试者操作特征。
步骤S5:对包含脑膜瘤的切片图像进行分割,得到脑膜瘤分割结果图像并保存。如图6和图7所示,建立脑膜瘤分割模型,脑膜瘤分割模型基于步骤S4检测出的包含脑膜瘤切片的图像进行分割;脑膜瘤分割模型采用深度学习全监督方式,使用已筛查出的图像数据进行训练;在分割测试阶段,直接采用训练好的脑膜瘤模型对包含脑膜瘤的切片图像进行分割,并保存脑膜瘤分割结果图像。深度学习分割模型,采用多折交叉验证的方式选择分割模型参数;设置固定的种子点,保障每次训练时数据划分位置相同,通过交叉验证的方式对脑膜瘤分割模型的稳定性进行了对比。深度学习模型脑膜瘤分割采用多种深度学习分割模型构建。该步骤用于分割模型的数据采用直方图均衡化和归一化处理后导入分割模型中进行训练,最终得到脑膜瘤分割结果图像。模型包含:经典的医学图像U型分割网络(U-net),加入残差模块的U型分割网络(Res-U-net),嵌套密集跳过连接的U型分割网络(U-net++),包含注意力机制的U型分割网络(Att-U-net)和包含空间注意力机制的U型分割网络(SA-U-net)模型。数据包含不同中心不同扫描仪(GE 3.0T,SIEMENS 3.0T和GE 1.5T)采集脑膜瘤磁共振T1CE序列图像数据,同时这些数据包含厚切和薄切的数据。训练过程各参数分别为:学习率采用自适应的衰减方式,学习率初始设置为0.0001,当评估指标停止上升10次后,学习率会降低为原来的0.1倍,学习率最小支持0.00000001。优化器使用Adam优化器。损失函数采用骰子损失(Dice Loss)与二元焦点损失(Binary Focal Loss)之和,两种损失函数的叠加作为最终的损失函数,同时可以通过加权的方式进行调整。实施过程中也可以通过其他损失函数来进行训练。评估指标采用骰子(Dice)相似系数。迭代次数为100次。一次训练的样本量为5。深度学习分割模型,采用5折交叉验证的方式选择最佳分割模型参数;设置固定的种子点,以保障每次训练时数据划分位置相同,通过交叉验证的方式对脑膜瘤分割模型的稳定性进行了对比。
脑膜瘤分割模型基于步骤S4检测出的包含脑膜瘤切片的图像进行分割。分割模型采用深度学习全监督方式,使用已筛查出的图像数据进行训练,其中分割模型可支持:U-net,Res-U-net,U-net++,Att-U-net和SA-U-net等多种分割模型。在分割测试阶段,直接采用训练好的模型对包含脑膜瘤的切片图像进行分割,并保存脑膜瘤分割结果图像。
步骤S6:对包含脑膜瘤的切片图像和脑膜瘤分割结果图像进行后处理。图像后处理。通过后处理方法可以实现脑膜瘤分割结果图像与原始切片图像映射,并保存为NIfTI格式文件方便医生使用相关软件进行查看。包含脑膜瘤的原始切片图像和脑膜瘤分割结果图像均通过Python图像处理标准库(Python Imaging Library-PIL)中的图像(Image)函数进行读取操作,图像读取后转换为数组形式存入列表,列表中包含样本数、图像高度和图像宽度数据。包含脑膜瘤的原始切片图像和脑膜瘤分割结果图像通过SimpleITK工具包被转换NIfTI格式文件,在这个过程中对图像进行重采样操作,目的是确保包含脑膜瘤的原始切片图像和脑膜瘤分割结果图像具有相同的采样间隔,做到一一对应,最后将生成的NIfTI格式文件保存到对应的文件夹中。图像后处理旨在将包含脑膜瘤的切片图像与脑膜瘤分割结果图像进行映射,并由Png等图像文件分别转换成对应的NIfTI格式文件,方便医生后续使用临床常用软件进行查看。将包含脑膜瘤的切片图像与脑膜瘤分割结果图像进行映射,并分别生成对应的NIfTI格式文件,方便医生后续使用临床常用软件进行查看。
本发明实施例还提供了一种基于深度学习的脑影像脑膜瘤全自动筛查与肿瘤分割装置,用于对临床二维脑影像进行脑膜瘤的全自动筛查与肿瘤分割。该系统包括如下模块:模块M1:将脑膜瘤患者的图像文件进行格式转换。图像文件包括磁共振序列图像文件,采用编程语言通过工具包将脑膜瘤患者磁共振序列图像文件进行格式转换。格式转换部,用于采用SimpleITK、nibabel等工具包对各采集设备采集来的NIfTI和Dicom格式文件进行转换,转换后的切片图像可经过预处理和增强后输入筛查模型。
模块M2:对格式转换后的图像文件的图像进行预处理。图像预处理部,采用裁剪和插值等方法调整图像大小,然后对调整后的图像进行直方图均衡化处理,最后经过减去图像灰度均值,再除以标准差的归一化处理。
模块M3:对预处理后的图像文件中的图像数据进行增强处理。图像数据增强部,采用随机旋转,水平和垂直镜像,横向和纵向平移以及图像亮度调整等方法对预处理后的图像进行增强处理,以此增加筛查模型输入图像的数量和多样性。
模块M4:对增强处理后的图像数据进行筛查,得到包含脑膜瘤的切片图像并保存。深度学习模型脑膜瘤筛查部,基于增强后的数据,采用迁移学习方法对筛查模型进行训练,训练后的模型可以对新数据进行脑膜瘤筛查,并且可支持多个筛查模型包括:InceptionV3,ResNeXt101和Efficient-Net系列模型。
模块M5:对包含脑膜瘤的切片图像进行分割,得到脑膜瘤分割结果图像并保存。深度学习模型脑膜瘤分割部,对于检测出包含脑膜瘤的切片图像进行预处理,然后采用多种分割模型对图像数据进行分割模型训练,训练后的分割模型可以对新数据进行脑膜瘤分割,并保存分割结果,分割模型包括:U-net,Res-U-net,U-net++,Att-U-net和SA-U-net等多种分割模型;
模块M6:对包含脑膜瘤的切片图像和脑膜瘤分割结果图像进行后处理。图像后处理部,检测模型检测出的包含脑膜瘤的切片图像数据与脑膜瘤分割结果图像进行映射,并分别生成对应的脑膜瘤切片图像与脑膜瘤分割结果的NIfTI格式文件。
本发明包括数据处理单元,用以对各患者术前头颅磁共振T1CE序列图像进行格式转换、预处理、图像数据增强等;集成了多个深度学习模型的脑膜瘤检测单元,用于区分出各患者头颅磁共振T1CE序列中包含脑膜瘤的切片图像;基于筛查后的包含脑膜瘤的切片图像,集成了多个深度学习模型脑膜瘤分割单元可以完成对图像中脑膜瘤的精准分割;后处理单元将包含脑膜瘤的切片图像和分割结果图像进行对应,转换为临床医生常用软件可读取的格式。本发明可用于对脑膜瘤患者磁共振T1CE序列图像进行检测并对包含脑膜瘤的图像进行分割。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种脑影像脑膜瘤全自动筛查与肿瘤分割方法,其特征在于,包括如下步骤:
步骤S1:将脑膜瘤患者的图像文件进行格式转换;
步骤S2:对格式转换后的图像文件的图像进行预处理;
步骤S3:对预处理后的图像文件中的图像数据进行增强处理;
步骤S4:对增强处理后的图像数据进行筛查,得到包含脑膜瘤的切片图像并保存;
步骤S5:对包含脑膜瘤的切片图像进行分割,得到脑膜瘤分割结果图像并保存;
步骤S6:对包含脑膜瘤的切片图像和脑膜瘤分割结果图像进行后处理。
2.根据权利要求1所述的脑影像脑膜瘤全自动筛查与肿瘤分割方法,其特征在于,在所述步骤S1中,所述图像文件包括磁共振序列图像文件,采用编程语言通过工具包将脑膜瘤患者磁共振序列图像文件进行格式转换。
3.根据权利要求1所述的脑影像脑膜瘤全自动筛查与肿瘤分割方法,其特征在于,在所述步骤S2中,统一格式转换后的图像文件的图像大小;根据图像大小不同统一图像大小,对大的图像进行裁剪,小的图像围绕图像四周进行插值处理;
对统一格式后的图像进行直方图均衡化处理;
对均衡化处理的图像进行归一化处理;图像通过减去图像灰度均值,再除以标准差的方式实现图像归一化处理。
4.根据权利要求3所述的脑影像脑膜瘤全自动筛查与肿瘤分割方法,其特征在于,在所述步骤S3中,建立脑膜瘤筛查模型,增加脑膜瘤筛查模型训练数据的多样性;
预处理后的图像增强处理的方式包括对预处理后的图像进行预定角度旋转、水平和垂直镜像、横向和纵向平移预定值和图像亮度调整为初始的预定倍数。
5.根据权利要求4所述的脑影像脑膜瘤全自动筛查与肿瘤分割方法,其特征在于,在所述步骤S4中,将增强处理后的图像导入脑膜瘤筛查模型进行筛查;脑膜瘤筛查模型的建立采取迁移学习方式,使用经过数据集训练过的模型参数;在预测阶段,对真实临床数据进行预测,检测出包含脑膜瘤的切片图像并保存。
6.根据权利要求5所述的脑影像脑膜瘤全自动筛查与肿瘤分割方法,其特征在于,在所述步骤S5中,建立脑膜瘤分割模型,脑膜瘤分割模型基于步骤S4检测出的包含脑膜瘤切片的图像进行分割;脑膜瘤分割模型采用深度学习全监督方式,使用已筛查出的图像数据进行训练;在分割测试阶段,直接采用训练好的脑膜瘤模型对包含脑膜瘤的切片图像进行分割,并保存脑膜瘤分割结果图像。
7.根据权利要求5所述的脑影像脑膜瘤全自动筛查与肿瘤分割方法,其特征在于,所述脑膜瘤筛查模型,在经过预训练模型输出后添加平均池化层、多个全连接层和多个Dropout层,激活函数采用elu函数。
8.根据权利要求1所述的脑影像脑膜瘤全自动筛查与肿瘤分割方法,其特征在于,所述深度学习分割模型,采用多折交叉验证的方式选择分割模型参数;设置固定的种子点,保障每次训练时数据划分位置相同,通过交叉验证的方式对脑膜瘤分割模型的稳定性进行对比。
9.一种脑影像脑膜瘤全自动筛查与肿瘤分割装置,其特征在于,包括如下模块:
模块M1:将脑膜瘤患者的图像文件进行格式转换;
模块M2:对格式转换后的图像文件的图像进行预处理;
模块M3:对预处理后的图像文件中的图像数据进行增强处理;
模块M4:对增强处理后的图像数据进行筛查,得到包含脑膜瘤的切片图像并保存;
模块M5:对包含脑膜瘤的切片图像进行分割,得到脑膜瘤分割结果图像并保存;
模块M6:对包含脑膜瘤的切片图像和脑膜瘤分割结果图像进行后处理。
10.根据权利要求9所述的脑影像脑膜瘤全自动筛查与肿瘤分割装置,其特征在于,在所述模块M1中,所述图像文件包括磁共振序列图像文件,采用编程语言通过工具包将脑膜瘤患者磁共振序列图像文件进行格式转换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210024189.2A CN114387286A (zh) | 2022-01-05 | 2022-01-05 | 脑影像脑膜瘤全自动筛查与肿瘤分割方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210024189.2A CN114387286A (zh) | 2022-01-05 | 2022-01-05 | 脑影像脑膜瘤全自动筛查与肿瘤分割方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114387286A true CN114387286A (zh) | 2022-04-22 |
Family
ID=81199012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210024189.2A Pending CN114387286A (zh) | 2022-01-05 | 2022-01-05 | 脑影像脑膜瘤全自动筛查与肿瘤分割方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114387286A (zh) |
-
2022
- 2022-01-05 CN CN202210024189.2A patent/CN114387286A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110114834B (zh) | 用于医疗程序的深度学习医疗系统和方法 | |
EP3611661B1 (en) | Magnetic resonance imaging quality classification based on deep machine-learning to account for less training data | |
US9858665B2 (en) | Medical imaging device rendering predictive prostate cancer visualizations using quantitative multiparametric MRI models | |
US20240055126A1 (en) | Medical Image Segmentation Using Deep Learning Models Trained with Random Dropout and/or Standardized Inputs | |
US11969265B2 (en) | Neural network classification of osteolysis and synovitis near metal implants | |
CN110807755A (zh) | 使用定位器图像进行平面选择 | |
CN110322444A (zh) | 医疗图像处理方法、装置、存储介质及计算机设备 | |
CN111563523A (zh) | 利用机器训练的异常检测的copd分类 | |
CN110992440B (zh) | 弱监督磁共振快速成像方法和装置 | |
CN110991254B (zh) | 超声图像视频分类预测方法及系统 | |
CN110556177A (zh) | 自动扫描工作流程 | |
Ilyasova | Computer systems for geometrical analysis of blood vessels diagnostic images | |
CN112750137A (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
US10964074B2 (en) | System for harmonizing medical image presentation | |
CN116434918A (zh) | 医学图像处理方法及计算机可读存储介质 | |
CN114387286A (zh) | 脑影像脑膜瘤全自动筛查与肿瘤分割方法及装置 | |
CN115294023A (zh) | 肝脏肿瘤自动分割方法及装置 | |
CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
CN114331996A (zh) | 基于自编码解码器的医学影像分型方法及系统 | |
Zhao et al. | HS–GS: a method for multicenter MR image standardization | |
CN114926477B (zh) | 一种基于深度学习的脑肿瘤多模态mri影像分割方法 | |
US20230337987A1 (en) | Detecting motion artifacts from k-space data in segmentedmagnetic resonance imaging | |
US20230368393A1 (en) | System and method for improving annotation accuracy in mri data using mr fingerprinting and deep learning | |
US20230293014A1 (en) | Plane selection using localizer images | |
US20240183922A1 (en) | Compact signal feature extraction from multi-contrast magnetic resonance images using subspace reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |