CN113516653B - 一种多特征融合计算识别胶质瘤复发与坏死的方法 - Google Patents
一种多特征融合计算识别胶质瘤复发与坏死的方法 Download PDFInfo
- Publication number
- CN113516653B CN113516653B CN202110918571.3A CN202110918571A CN113516653B CN 113516653 B CN113516653 B CN 113516653B CN 202110918571 A CN202110918571 A CN 202110918571A CN 113516653 B CN113516653 B CN 113516653B
- Authority
- CN
- China
- Prior art keywords
- glioma
- image
- focus
- segmentation
- necrosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010018338 Glioma Diseases 0.000 title claims abstract description 73
- 208000032612 Glial tumor Diseases 0.000 title claims abstract description 72
- 230000004927 fusion Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000017074 necrotic cell death Effects 0.000 title claims abstract description 37
- 238000004364 calculation method Methods 0.000 title claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 230000003902 lesion Effects 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims description 62
- 238000012216 screening Methods 0.000 claims description 19
- 238000013145 classification model Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 210000003625 skull Anatomy 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 210000005013 brain tissue Anatomy 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000000692 Student's t-test Methods 0.000 claims description 4
- 238000012353 t test Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 208000005017 glioblastoma Diseases 0.000 abstract description 40
- 230000002980 postoperative effect Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 39
- 206010028851 Necrosis Diseases 0.000 description 28
- 239000011159 matrix material Substances 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 5
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000002597 diffusion-weighted imaging Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 206010067362 Radiation necrosis Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004393 prognosis Methods 0.000 description 3
- 238000001959 radiotherapy Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 206010012218 Delirium Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 230000001338 necrotic effect Effects 0.000 description 2
- 230000010412 perfusion Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 206010003571 Astrocytoma Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 206010066901 Treatment failure Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000011319 anticancer therapy Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004791 biological behavior Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种多特征融合计算识别胶质瘤复发与坏死的方法，包括以下步骤，步骤一：数据预处理；步骤二：对胶质瘤病灶进行分割；步骤三：对胶质瘤病灶影像组学特征进行获取；步骤四：对多特征融合分类；本发明所述的一种多特征融合计算识别胶质瘤复发与坏死的方法，本方法神经网络的卷积层特征与影像组学特征进行融合，使模型通过两种特征维度空间，能够从常规MRI结构像学习到区分复发与坏死的病灶特征信息，以此缓解国内专业医疗人员的分布不均匀、高质量影像设备有限等问题，从而能够辅助医生对术后的GBM患者有更好的预判结果。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种多特征融合计算识别胶质瘤复发与坏死的方法。
背景技术
胶质母细胞瘤（Glioblastoma，GBM）依据WHO分级属于星形细胞瘤IV级，按WHO分级体系，I级为低度恶性，具有较小的恶性度；而IV级为高度恶性，具有快速生长的潜能和侵袭性的生物学行为，胶质瘤是成人中枢神经系统最常见和侵袭性最强的恶性原发性肿瘤，在外观、形状和组织学上具有极端的内在异质性。临床治疗时胶质瘤患者的预后很差，目前手术切除配合术后放疗或联合放化疗成为胶质瘤治疗最重要的方法。其中，放射坏死(RN)通常发生在放射治疗后3年内，并且通常与复发性肿瘤无法区分，因为它表现为增强的肿块病变，周围有不同程度的水肿，并在连续磁共振成像(MRI，magnetic resonance imaging)上呈进行性增强。因此，区分复发性胶质瘤和RN在决定后续治疗方面具有临床重要性；复发表明治疗失败，需要使用额外的抗癌疗法，而RN则接受保守治疗。
临床上医生阅片通常是采用正电子发射型计算机断层显像（PET）、弥散加权成像（DWI）、及灌注影像(Perfusion fMRI)，当前国内的PET数量较少且地域分布不均衡，并且DTI和fMRI的影像分析对医生的要求较高，而常规的MRI结构影像又很难获取复发与坏死的相关特征信息。对于胶质瘤的复发与坏死的研究，通常是研究PET、DWI及fMRI影像的影像学特征、相对表观扩散系数（rADC）、相对脑血容量（rCBV）以及相对脑血流量（rCBF）等生化指标，其对研究者的专业性要求度较高。
随着计算机视觉技术的发展，采用传统影像特征分析技术、基于深度学习的图像分割、检测、分类技术，研究胶质瘤病灶的形状的分割、病灶大小的计算、位置的检测及生长速度的预测较多，结合上面的分析，故本文将常规的MRI影像进行偏置场校正、图像模态配准、图像采样归一化和颅骨去除等预处理操作后的脑部区域，采用基于图像分割的影像组学的特征融合技术和基于深度学习的图像分类技术，实现能够较快、较准确对患者拍摄的常规MRI结构像识别胶质瘤病灶区域复发与坏死病症信息，为此，我们提出一种多特征融合计算识别胶质瘤复发与坏死的方法。
发明内容
本发明提出了一种多特征融合计算识别胶质瘤（GBM）复发与坏死的方法，该方法首先，采用传统图像处理和基于深度学习的UNet分割算法，对常规的MRI结构像进行多结构影像的配准及归一化等数据预处理；其次，在常规MRI结构像的分割比赛RSNA-ASNR-MICCAIBraTS Challenge 2021（BraTS21）数据集上训练病灶分割模型，其中分割模型采用基于UNet改进的Intel UNet的nnUNet网络结构，获取病灶区域的体像素，以此，减少繁重的标注工作，只需要医师审核标注结果是否正确即可；然后结合影像组学的T-test、Lasso特征筛选等传统图像处理技术获取GBM病灶区域的影像学特征，如病灶体积的形状信息、灰度分布、纹理特征等；最后，将通过影像组学提取的特征与基于ShuffleNet的分类网络的最后一层卷积进行多种特征融合计算，实现仅采用常规的MRI结构像，能够识别GBM的复发与坏死，可以有效解决背景技术中的问题。
为实现上述目的，本发明采取的技术方案为：
一种多特征融合计算识别胶质瘤复发与坏死的方法，包括以下步骤：
步骤一、数据预处理：采用传统图像处理和基于深度学习的UNet分割算法，对常规的MRI结构像进行多结构影像的配准及归一化等数据预处理；
步骤二、对胶质瘤病灶进行分割：在常规MRI结构像的分割比赛
RSNA-ASNR-MICCAI BraTS Challenge 2021数据集上训练病灶分割模型，其中分割模型采用基于UNet改进的Intel UNet的nnUNet网络结构，对病灶区域的体像素进行获取；
步骤三、对胶质瘤病灶影像组学特征进行获取：结合影像组学的T-test、
Lasso特征筛选等传统图像处理技术获取胶质瘤病灶区域的影像学特征；
步骤四、对多特征融合分类：将通过影像组学提取的特征与基于ShuffleNet的分类网络的最后一层卷积进行多种特征融合计算，实现仅采用常规的MRI结构像，能够识别胶质瘤的复发与坏死。
本发明的进一步改进在于，所述数据预处理的具体流程如下：首先，将医院提供的单患者的dicom切片图集转成nii格式；然后，对患者数据进行偏置场校正；其次，进行像素空间、坐标空间归一化；最后，采用基于Unet的深度学习分割算法，将除脑组织外的颅骨区域去除。
本发明的进一步改进在于，所述对胶质瘤病灶进行分割的具体流程如下：首先，采用nnUNet模型在BraTS21数据集的T1、T1ce、T2三个模态的胶质瘤数据集上训练胶质瘤病灶的分割模型；然后，将获取的分割模型在上述步骤一中数据预处理清洗的医院提供的胶质瘤数据集进行病灶区域的分割推断；其次，对于患者的病灶分割效果，让3位专业人员帮忙交叉检查，标记错误或漏分割的数据；最后，结合医生的意见，胶质瘤的病灶区域涉及的体像素会比常规影像上呈现的多。
本发明的进一步改进在于，所述对胶质瘤病灶影像组学特征进行获取的具体流程如下：对上述GBM病灶分割模块获取的病灶体积块，采用pyradiomic库，提取影像组学特征，采用T-test结合Lasso特征对一部分特征量进行筛选。
本发明的进一步改进在于，所述对多特征融合分类的具体流程如下：
S1、将常规MRI的T1、T1ce、T2结构像数据对应R、G、B通道，进行
三模态的特征融合；
S2、常规MRI的三个结构像融合后的图像上荧光绿的区域及周围则表示病灶信息；
S3、针对结构像融合后的GBM数据集，则根据前面三位医生交叉筛选nnUNet分割模型推断的结果，筛选掉没有病灶信息的结构像融合切片图；
S4、在结构像融合切片图数据集上调用多尺度特征学习网络Shuffle Net模型学习病灶的多尺度信息；
S5、将最后卷积层输入到Max池化层获取关键信息，再融合到前述GBM数据集上获取的病灶影像组学特征获取模块获取的含有GBM病灶信息的特征，结合分类层进一步学习特征信息；
S7、通过softmax分类器优化卷积神经网络特征融合分类模型对于复发和坏死的分类效果。
本发明的进一步改进在于，所述Lasso特征约束条件如下：
。
本发明的进一步改进在于，采用所述pyradiomic库，提取的影像组学特征为FirstOrder Statistics、Shape-based (3D)、Shape-based (2D)、Gray Level CooccurenceMatrix、Gray Level Run Length Matrix、Gray Level Size Zone Matrix、NeighbouringGray Tone Difference Matrix、Gray Level Dependence Matrix。
与现有技术相比，本发明具有如下有益效果：
1、针对GBM复发与坏死的研究，对比主流的影像学常用的生化数据的统计分析或对PET、DWI及fMRI影像采用计算机视觉分析，本方法选择常规的MRI结构像，通过python对医院提供的数据集上实现端到端的图像预处理，生成Glioma_Dataset。
2、利用影像组学具有可重复性、无创性、客观性等特点，同时为减少医生的标注工作，本方法在BraTS21胶质瘤数据集上训练nnUNet分割模型，并在Glioma_Dataset获取分割模型的推断结果，再结合影像组学的特征获取到的病灶体素中提取肿瘤异质性信息。
3、为使分类模型能够从常规MRI结构像获取GBM的复发与坏死的特征信息，本方法将多模态的MRI结构像类似图像RGB通道，将单一结构像视为单个通道信息，进行多通道的特征融合。
4、本方法神经网络的卷积层特征与影像组学特征进行融合，使模型通过两种特征维度空间，能够从常规MRI结构像学习到区分复发与坏死的病灶特征信息，以此缓解国内专业医疗人员的分布不均匀、高质量影像设备有限等问题，从而能够辅助医生对术后的GBM患者有更好的预判结果。
5、本发明提出的方法，可以在分类模型的卷积层生成特征图对应的病灶热力图，可视化病灶的区域，能够辅助医生探索模型关注的特征区域并且判断哪些是具有决定性或辅助性作用。此外，本方法通过替换医院提供的MRI脑部的目标数据集预处理，也可以用于脑内类似病症的研究，如GBM的谵妄现象预判、阿尔茨海默等病症的研究。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种多特征融合计算识别胶质瘤复发与坏死的方法的数据预处理流程图；
图2为本发明一种多特征融合计算识别胶质瘤复发与坏死的方法的GBM病灶分割与影像组学特征获取流程图；
图3为本发明一种多特征融合计算识别胶质瘤复发与坏死的方法的常规MRI的T1、T1ce、T2结构像数据特征融合图；
图4为本发明一种多特征融合计算识别胶质瘤复发与坏死的方法的卷积神经网络特征融合分类模型结构图。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明，其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制，为了更好地说明本发明的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸，对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的，基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
实施例1
如图1-4所示，一种多特征融合计算识别胶质瘤复发与坏死的方法，包括以下步骤：
步骤一、数据预处理：采用传统图像处理和基于深度学习的UNet分割算
法，对常规的MRI结构像进行多结构影像的配准及归一化等数据预处理；
步骤二、对胶质瘤病灶进行分割：在常规MRI结构像的分割比赛数据集上训练病灶分割模型，其中分割模型采用nnUNet网络结构，对病灶区域的体像素进行获取；
步骤三、对胶质瘤病灶影像组学特征进行获取：结合影像组学的T-test、
Lasso特征筛选等传统图像处理技术获取胶质瘤病灶区域的影像学特征；
步骤四、对多特征融合分类：将通过影像组学提取的特征与基于ShuffleNet的分类网络的最后一层卷积进行多种特征融合计算，实现仅采用常规的MRI结构像，能够识别胶质瘤的复发与坏死。
在本实施例中，如图1所示，数据预处理的具体流程如下：首先，将格式为dicom切片图集转成nii格式；然后，对数据进行偏置场校正；其次，进行像素空间、坐标空间归一化；最后，采用基于Unet的深度学习分割算法，将除脑组织外的颅骨区域去除。
在本实施例中，对胶质瘤病灶进行分割的具体流程如下：首先，采用nnUNet模型在比赛数据集的T1、T1ce、T2三个模态的胶质瘤数据集上训练胶质瘤病灶的分割模型；然后，如图2所示，将获取的分割模型在上述步骤一中数据预处理清洗的胶质瘤数据集进行病灶区域的分割推断；其次，对于患者的病灶分割效果，进行人工交叉检查，标记错误或漏分割的数据；最后，结合人工的意见，获得比常规影像上呈现的胶质瘤的病灶区域涉及的多的体像素数据。
在本实施例中，对胶质瘤病灶影像组学特征进行获取的具体流程如下：对上述GBM病灶分割模块获取的病灶体积块，采用pyradiomic库，提取影像组学特征，采用T-test结合Lasso特征对一部分特征量进行筛选。
在本实施例中，如图4所示，对多特征融合分类的具体流程如下：
S1、如图3所示，将常规MRI的T1、T1ce、T2结构像数据对应R、G、B通道，进行三模态的特征融合；
S2、常规MRI的三个结构像融合后的图像上荧光绿的区域（图3中框选部位颜色为荧光绿色）及周围则表示病灶信息；
S3、针对结构像融合后的GBM数据集，则根据上述人工交叉筛选nnUNet分割模型推断的结果，筛选掉没有病灶信息的结构像融合切片图；
S4、在结构像融合切片图数据集上调用多尺度特征学习网络Shuffle Net模型学习病灶的多尺度信息；
S5、将最后卷积层输入到Max池化层获取关键信息，再融合到前述GBM数据集上获取的病灶影像组学特征获取模块获取的含有GBM病灶信息的特征，结合分类层进一步学习特征信息；
S7、通过softmax分类器优化卷积神经网络特征融合分类模型对于复发和坏死的分类效果。
在本实施例中，Lasso特征约束条件如下：
在本实施例中，采用pyradiomic库，提取的影像组学特征为First OrderStatistics、Shape-based (3D)、Shape-based (2D)、Gray Level Cooccurence Matrix、Gray Level Run Length Matrix、Gray Level Size Zone Matrix、Neighbouring GrayTone Difference Matrix、Gray Level Dependence Matrix。
实施例2
如图1-4所示，一种多特征融合计算识别胶质瘤复发与坏死的方法，包括以下步骤：
步骤一、数据预处理：采用传统图像处理和基于深度学习的UNet分割算法，对常规的MRI结构像进行多结构影像的配准及归一化等数据预处理；
步骤二、对胶质瘤病灶进行分割：在常规MRI结构像的分割比赛
RSNA-ASNR-MICCAI BraTS Challenge 2021数据集上训练病灶分割模型，其中分割模型采用基于UNet改进的Intel UNet的nnUNet网络结构，对病灶区域的体像素进行获取；
步骤三、对胶质瘤病灶影像组学特征进行获取：结合影像组学的T-test、
Lasso特征筛选等传统图像处理技术获取胶质瘤病灶区域的影像学特征；
步骤四、对多特征融合分类：将通过影像组学提取的特征基于ShuffleNet的分类网络的最后一层卷积进行多种特征融合计算，实现仅采用常规的MRI结构像，能够识别胶质瘤的复发与坏死；
针对GBM复发与坏死的研究，对比主流的影像学常用的生化数据的统计分析或对PET、DWI及fMRI影像采用计算机视觉分析，本方法选择常规的MRI结构像，通过python对医院提供的数据集上实现端到端的图像预处理，生成Glioma_Dataset。
在本实施例中，所述数据预处理的具体流程如下：首先，将医院提供的单患者的dicom切片图集转成nii格式；然后，对患者数据进行偏置场校正；其次，进行像素空间、坐标空间归一化；最后，采用基于Unet的深度学习分割算法，将除脑组织外的颅骨区域去除。
在本实施例中，所述对胶质瘤病灶进行分割的具体流程如下：首先，采用nnUNet模型在BraTS21数据集的T1、T1ce、T2三个模态的胶质瘤数据集上训练胶质瘤病灶的分割模型；然后，将获取的分割模型在上述步骤一中数据预处理清洗的医院提供的胶质瘤数据集进行病灶区域的分割推断；其次，对于患者的病灶分割效果，让3位专业人员帮忙交叉检查，标记错误或漏分割的数据；最后，结合医生的意见，胶质瘤的病灶区域涉及的体像素会比常规影像上呈现的多；
利用影像组学具有可重复性、无创性、客观性等特点，同时为减少医生的标注工作，本方法在BraTS21胶质瘤数据集上训练nnUNet分割模型，并在Glioma_Dataset获取分割模型的推断结果，再结合影像组学的特征获取到的病灶体素中提取肿瘤异质性信息。
在本实施例中，所述对胶质瘤病灶影像组学特征进行获取的具体流程如下：对上述GBM病灶分割模块获取的病灶体积块，采用pyradiomic库，提取First OrderStatistics、Shape-based (3D)、Shape-based (2D)、Gray Level Cooccurence Matrix、Gray Level Run Length Matrix、Gray Level Size Zone Matrix、Neighbouring GrayTone Difference Matrix、Gray Level Dependence Matrix影像组学特征，采用T-test结合Lasso约束特征
，对一部分特征量进行筛选。
在本实施例中，所述对多特征融合分类的具体流程如下：
S1、将常规MRI的T1、T1ce、T2结构像数据对应R、G、B通道，进行
三模态的特征融合；
S2、常规MRI的三个结构像融合后的图像上荧光绿的区域及周围则表示病灶信息；
为使分类模型能够从常规MRI结构像获取GBM的复发与坏死的特征信息，本方法将多模态的MRI结构像类似图像RGB通道，将单一结构像视为单个通道信息，进行多通道的特征融合；
S3、针对结构像融合后的GBM数据集，则根据前面三位医生交叉筛选nnUNet分割模型推断的结果，筛选掉没有病灶信息的结构像融合切片图；
S4、在结构像融合切片图数据集上调用多尺度特征学习网络Shuffle Net模型学习病灶的多尺度信息；
S5、将最后卷积层输入到Max池化层获取关键信息，再融合到前述GBM数据集上获取的病灶影像组学特征获取模块获取的含有GBM病灶信息的特征，结合分类层进一步学习特征信息；
S7、通过softmax分类器优化卷积神经网络特征融合分类模型对于复发和坏死的分类效果；
本方法神经网络的卷积层特征与影像组学特征进行融合，使模型通过两种特征维度空间，能够从常规MRI结构像学习到区分复发与坏死的病灶特征信息，以此缓解国内专业医疗人员的分布不均匀、高质量影像设备有限等问题，从而能够辅助医生对术后的GBM患者有更好的预判结果。
实施例3
如图1-4所示，本发明一种多特征融合计算识别胶质瘤复发与坏死的方法，主要由数据预处理模块、GBM病灶分割模块、GBM病灶影像组学特征获取模块、多特征融合的分类模型模块组成。
在本实施例中，数据预处理模块，对于医院采集的常规MRI的T1、T1ce、T2结构像数据集，其提供的格式是DICOM（Digital Imaging and Communications in Medicine），为便于后续步骤的图像处理，如图1所示，使用python语言，首先将医院提供的单患者的dicom切片图集转成nii格式；然后，对患者数据进行偏置场校正以减少扫描仪本身以及许多未知问题等因素导致MR图像上的亮度不均衡的问题；其次进行像素空间、坐标空间归一化，减少样本分布差异性；最后，采用基于Unet的深度学习分割算法，将除脑组织外的颅骨区域去除，使后续算法模块能够专注于病灶区域，学习GBM病灶的有效特征。通过数据预处理模块，能够对医院提供的数据实现数据清洗，用于机器视觉的图像影像分析。
在本实施例中，GBM病灶分割模块，由于神经外科的医生日常工作内容繁重，为减少他们对病灶的标注工作，本方法采用nnUNet模型在BraTS21数据集的T1、T1ce、T2三个模态的胶质瘤数据集上训练GBM病灶的分割模型，并将获取的分割模型在上述数据预处理模块清洗的医院提供的GBM数据集进行病灶区域的分割推断，如图2所示，同时对于患者的病灶分割效果，让3位医生帮忙交叉检查，标记错误或漏分割的数据。最后，结合医生的意见，GBM的病灶区域涉及的体像素会比常规影像上呈现的多，本方法将获取的病灶体积进行放大，具体放大系数由医生凭借其经验给的数值。
在本实施例中，GBM病灶影像组学特征获取模块，对前面GBM病灶分割模块获取的病灶体积块，采用pyradiomic库，提取First Order Statistics、Shape-based (3D)、Shape-based (2D)、Gray Level Cooccurence Matrix、Gray Level Run Length Matrix、Gray Level Size Zone Matrix、Neighbouring Gray Tone Difference Matrix、GrayLevel Dependence Matrix影像组学特征，由于获取的影像组学特征较多且并不是所有的特征都符合GBM病灶的分析，故本方法采用T-test结合Lasso特征筛选掉一部分特征量，其中，Lasso特征约束条件如下，最后，筛选出来的特征再用于后续的特征融合。
在本实施例中，多特征融合的分类模型模块，将数据预处理模型清洗后的医院数据集，即常规MRI的T1、T1ce、T2结构像数据，为更好利用不同模态间的信息，本方法仿照图像的RGB通道信息，将T1、T1ce、T2对应R、G、B通道，进行三模态的特征融合，如图3所示，常规MRI的三个结构像融合后的图像上荧光绿的区域及周围则表示病灶信息。针对结构像融合后的GBM数据集，则根据前面三位医生交叉筛选nnUNet分割模型推断的结果，筛选掉没有病灶信息的结构像融合切片图。
为了通过常规MRI结构像获取GBM的复发和坏死的特征信息，本方法在结构像融合切片图数据集上调用多尺度特征学习网络Shuffle Net模型学习病灶的多尺度信息，如图4所示，并将最后卷积层输入到Max池化层获取关键信息，再融合到前述GBM数据集上获取的病灶影像组学特征获取模块获取的含有GBM病灶信息的特征，以此，实现多种维度的特征信息的获取，模型再结合分类层进一步学习特征信息，最后，再通过softmax分类器优化卷积神经网络特征融合分类模型对于复发和坏死的分类效果。
需要说明的是，本发明为一种多特征融合计算识别胶质瘤复发与坏死的方法，可以在分类模型的卷积层生成特征图对应的病灶热力图，可视化病灶的区域，能够辅助医生探索模型关注的特征区域并且判断哪些是具有决定性或辅助性作用。此外，本方法通过替换医院提供的MRI脑部的目标数据集预处理，也可以用于脑内类似病症的研究，如GBM的谵妄现象预判、阿尔茨海默等病症的研究。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (3)
1.一种多特征融合计算识别胶质瘤复发与坏死的方法，其特征在于，包括以下步骤：
步骤一、数据预处理：采用传统图像处理和基于深度学习的UNet分割算
法，对常规的MRI结构像进行多结构影像的配准及归一化数据预处理；
步骤二、对胶质瘤病灶进行分割：在常规MRI结构像的分割数据集上训练病灶分割模型，其中分割模型采用nnUNet网络结构，对病灶区域的体像素进行获取；
步骤三、对胶质瘤病灶影像组学特征进行获取：结合影像组学的T-test、
Lasso特征筛选获取胶质瘤病灶区域的影像学特征；
步骤四、对多特征融合分类：将通过影像组学提取的特征与基于ShuffleNet
的分类网络的最后一层卷积进行多种特征融合计算，实现仅采用常规的MRI结构像，能够识别胶质瘤的复发与坏死；
所述对胶质瘤病灶影像组学特征进行获取的具体流程如下：对胶质瘤病灶分割模型获取的病灶体积块，采用pyradiomic库，提取影像组学特征，采用T-test结合Lasso特征对一部分特征量进行筛选；所述对多特征融合分类的具体流程如下：
S1、将常规MRI的T1、T1ce、T2结构像数据对应R、G、B通道，进行
三模态的特征融合；
S2、常规MRI的三个结构像融合后的图像上荧光绿的区域及周围则表示病灶信息，得到病灶信息；
S3、针对结构像融合后的胶质瘤数据集，则根据人工交叉筛选nnUNet分割模型推断的结果，筛选掉没有病灶信息的结构像融合切片图；
S4、在结构像融合切片图数据集上调用多尺度特征学习网络Shuffle Net模型学习病灶的多尺度信息；
S5、将最后卷积层输入到Max池化层获取关键信息，再融合到GBM数据集上获取的病灶影像组学特征获取模块获取的含有胶质瘤病灶信息的特征，结合分类层进一步学习特征信息；
S7、通过softmax分类器优化卷积神经网络特征融合分类模型对于复发和坏死的分类效果。
2.根据权利要求1所述的一种多特征融合计算识别胶质瘤复发与坏死的方法，其特征在于：所述数据预处理的具体流程如下：首先，将格式为dicom切片图集转成nii格式；然后，对数据进行偏置场校正；其次，进行像素空间、坐标空间归一化；最后，采用基于Unet的深度学习分割算法，将除脑组织外的颅骨区域去除。
3.根据权利要求1所述的一种多特征融合计算识别胶质瘤复发与坏死的方法，其特征在于：所述对胶质瘤病灶进行分割的具体流程如下：首先，采用nnUNet模型在数据集的T1、T1ce、T2三个模态的胶质瘤数据集上训练胶质瘤病灶的分割模型；然后，将获取的分割模型在上述步骤一中数据预处理清洗的胶质瘤数据集进行病灶区域的分割推断；其次，对于患者的病灶分割效果，进行人工交叉检查，标记错误或漏分割的数据；最后，结合人工的意见，获得比常规影像上呈现的胶质瘤的病灶区域涉及的多的体像素数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110918571.3A CN113516653B (zh) | 2021-08-11 | 2021-08-11 | 一种多特征融合计算识别胶质瘤复发与坏死的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110918571.3A CN113516653B (zh) | 2021-08-11 | 2021-08-11 | 一种多特征融合计算识别胶质瘤复发与坏死的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113516653A CN113516653A (zh) | 2021-10-19 |
| CN113516653B true CN113516653B (zh) | 2024-03-15 |
Family
ID=78069014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110918571.3A Active CN113516653B (zh) | 2021-08-11 | 2021-08-11 | 一种多特征融合计算识别胶质瘤复发与坏死的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113516653B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023115333A1 (zh) * | 2021-12-21 | 2023-06-29 | 深圳先进技术研究院 | 用于脑胶质瘤分级的专家知识约束的深度学习方法 |
| CN115311302B (zh) * | 2022-10-12 | 2022-12-23 | 四川大学华西医院 | 股骨头缺血坏死分期诊断系统和存储介质 |
| CN116386043A (zh) * | 2023-03-27 | 2023-07-04 | 北京市神经外科研究所 | 一种脑神经医疗影像胶质瘤区域快速标记方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015149034A2 (en) * | 2014-03-27 | 2015-10-01 | Life Technologies Corporation | Gene fusions and gene variants associated with cancer |
| CN112419247A (zh) * | 2020-11-12 | 2021-02-26 | 复旦大学 | 基于机器学习的mr图像脑肿瘤检测方法和系统 |
| CN112686902A (zh) * | 2019-10-17 | 2021-04-20 | 西安邮电大学 | 核磁共振影像中脑胶质瘤识别与分割的两阶段计算方法 |
-
2021
- 2021-08-11 CN CN202110918571.3A patent/CN113516653B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015149034A2 (en) * | 2014-03-27 | 2015-10-01 | Life Technologies Corporation | Gene fusions and gene variants associated with cancer |
| CN112686902A (zh) * | 2019-10-17 | 2021-04-20 | 西安邮电大学 | 核磁共振影像中脑胶质瘤识别与分割的两阶段计算方法 |
| CN112419247A (zh) * | 2020-11-12 | 2021-02-26 | 复旦大学 | 基于机器学习的mr图像脑肿瘤检测方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 结合小波融合和深度学习的脑胶质瘤自动分割;宫进昌;王宇;王远军;;波谱学杂志;20200609(02);第8-10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113516653A (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113516653B (zh) | 一种多特征融合计算识别胶质瘤复发与坏死的方法 | |
| Dabiri et al. | Muscle segmentation in axial computed tomography (CT) images at the lumbar (L3) and thoracic (T4) levels for body composition analysis | |
| Jia et al. | Atlas registration and ensemble deep convolutional neural network-based prostate segmentation using magnetic resonance imaging | |
| Ramzan et al. | Volumetric segmentation of brain regions from MRI scans using 3D convolutional neural networks | |
| Tong et al. | 3D deeply-supervised U-net based whole heart segmentation | |
| Zhang et al. | Ischemic stroke lesion segmentation using multi-plane information fusion | |
| Depeursinge et al. | 3D lung image retrieval using localized features | |
| Ling et al. | Intelligent assistant diagnosis system of osteosarcoma MRI image based on transformer and convolution in developing countries | |
| Liu et al. | Brain tumor segmention based on dilated convolution refine networks | |
| Xue et al. | Superficial white matter analysis: An efficient point-cloud-based deep learning framework with supervised contrastive learning for consistent tractography parcellation across populations and dMRI acquisitions | |
| CN114202524A (zh) | 多模态医学图像的性能评价方法与系统 | |
| CN112927187A (zh) | —种自动识别定位局灶性皮质发育不良癫痫病灶的方法 | |
| Wu et al. | A medically assisted model for precise segmentation of osteosarcoma nuclei on pathological images | |
| Celik et al. | A new 3D MRI segmentation method based on Generative Adversarial Network and Atrous Convolution | |
| Celebi et al. | Guest editorial skin lesion image analysis for melanoma detection | |
| Zhang et al. | Multiple organ-specific cancers classification from PET/CT images using deep learning | |
| Kumar et al. | Brain tumor segmentation of the FLAIR MRI images using novel ResUnet | |
| Rosas González et al. | 3D automatic brain tumor segmentation using a multiscale input U-Net network | |
| Xie et al. | Cntseg: A multimodal deep-learning-based network for cranial nerves tract segmentation | |
| Li et al. | Attention-guided multi-scale learning network for automatic prostate and tumor segmentation on MRI | |
| Jin et al. | Automatic primary gross tumor volume segmentation for nasopharyngeal carcinoma using ResSE-UNet | |
| Hu et al. | EA-Net: Edge-aware network for brain structure segmentation via decoupled high and low frequency features | |
| Li et al. | A dual attention-guided 3D convolution network for automatic segmentation of prostate and tumor | |
| Cabrera et al. | Segmentation of axillary and supraclavicular tumoral lymph nodes in PET/CT: A hybrid CNN/component-tree approach | |
| Chen et al. | Prior attention enhanced convolutional neural network based automatic segmentation of organs at risk for head and neck cancer radiotherapy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |