CN116310343A - 一种基于特征解耦的多模态脑肿瘤mri分割方法 - Google Patents
一种基于特征解耦的多模态脑肿瘤mri分割方法 Download PDFInfo
- Publication number
- CN116310343A CN116310343A CN202310332485.3A CN202310332485A CN116310343A CN 116310343 A CN116310343 A CN 116310343A CN 202310332485 A CN202310332485 A CN 202310332485A CN 116310343 A CN116310343 A CN 116310343A
- Authority
- CN
- China
- Prior art keywords
- original
- brain tumor
- feature
- segmentation
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 105
- 230000011218 segmentation Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000002595 magnetic resonance imaging Methods 0.000 title claims description 109
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 18
- 206010028980 Neoplasm Diseases 0.000 description 13
- 238000003709 image segmentation Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 208000030173 low grade glioma Diseases 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000000133 brain stem Anatomy 0.000 description 2
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 2
- 208000029824 high grade glioma Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 201000011614 malignant glioma Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000003248 secreting effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种基于特征解耦的多模态脑肿瘤MRI分割方法，引入深监督机制对多模态脑肿瘤MRI图像的深层特征进行提取，同时采用注意力融合机制的网络提取区分性的特征，利用辅助枝干网络解耦特征并充分提取分割部位特征，同时构建动态特征库，引入无监督的聚类算法增强特征，提升模态数据不完整情况下的分割精度，拓展了网络模型在多模态数据中的适用性、泛化性，本发明能够自适应的处理脑肿瘤MRI不同模态的图像间对应关系，提升深度模型在模态数据不完整情况下的分割效果。
Description
技术领域
本发明属于图像分割技术领域，具体涉及一种基于特征解耦的多模态脑肿瘤MRI分割方法。
背景技术
医学图像分割的目标是将CT、MRI、X光等影像中，具有视觉同质性、语义一致性的器官、组织、病灶等区域进行划分与提取；其利用图像处理、计算机视觉、机器学习等方法，为疾病的数字化建模与自动化辅助诊疗提供理论及应用支撑；作为医学影像智能分析技术的关键步骤，医学图像分割算法已展现出广阔的临床应用前景。
近年来，随着人工智能技术的发展，基于机器学习的人工智能技术广泛应用于计算机视觉等领域并取得重大成果，针对实际临床应用场景与需求，研究具备精准性、鲁棒性、通用性的医学图像分割方法，进而发展具有自主知识产权的新一代智能化临床辅诊系统，在促进医院临床诊疗水平与效率、提升多级诊疗制度下的基层诊疗水平、增强医疗系统信息化实力等方面，具有十分重要的现实意义。
现有的针对深度神经网络的监督反馈特性，一般性的自然图像分析任务往往需要大量的训练数据来保证模型的收敛，对于训练样本的数量与质量提出了很高的要求，而脑肿瘤MRI图像分割领域，由于组织生理学差异、器官运动的影响，以及影像采集时设备参数、规范不同等原因，同一病例会产生不同模态的脑肿瘤MRI影像，各种模态影像的数据往往具有较大的外观差异性；在此基础上，由于病症的稀疏性、数据敏感性、相对封闭性，加之脑肿瘤MRI影像标签需要医学专业人员进行标注，一直以来就很难获得大量的高质量训练样本；由于上文分析的各种原因，使得现阶段的脑肿瘤MRI图像分割任务中，研究人员不得不面对缺乏样本、缺乏标注以及模态丢失等问题；
因此，在上述问题的制约下，大多数现有的脑肿瘤MRI分割方法往往被局限在模态数据多样性上，从而带来了一系列的弊端：
1)由于可用数据太少，难以利用深度架构的数据驱动机制建立准确可信的模型；
2)学习模型的泛化能力很难持续提升，在模态数据不全时，其易用性、通用性受到了制约；
3)不同模态的脑肿瘤MRI影像分析任务下的模型相对独立，造成医学共有知识难以有效提炼。
发明内容
为解决上述问题，本发明提供一种基于特征解耦的多模态脑肿瘤MRI分割方法，包括：
S1：获取脑肿瘤MRI图像数据集；其中，所述脑肿瘤MRI图像数据集包括：多个模态的脑肿瘤MRI图像、脑肿瘤MRI图像对应的模态类别标签和脑肿瘤MRI图像对应的分割图标签；
S2：利用第一UNet网络的编码部分对脑肿瘤MRI图像进行下采样得到多个尺度的原始特征；
S3：将多个尺度的原始特征分别输入注意力机制模块对原始特征进行特征增强得到多个尺度的原始增强特征；
S4：将尺度最大的原始增强特征输入Resnet网络预测脑肿瘤MRI图像的模态类别；并根据Resnet网络的预测结果和脑肿瘤MRI图像的模态类别标签对Resnet网络进行监督训练；
S5：将尺度最小的原始增强特征输入空间金字塔池化层进行语义增强得到第一原始语义增强特征；将第一原始语义增强特征输入softmax分类器进行粗分割，将分割精度高于预设值的第一原始语义增强特征存储至有序队列中构建特征库；
S6：利用第一UNet网络的解码部分逐级对多个尺度的原始特征进行上采样得到脑肿瘤MRI恢复图像；并将脑肿瘤MRI图像作为标签对第一UNet网络的解码部分进行监督训练；
S7：利用Kmeans算法对特征库中的第一原始语义增强特征进行聚类生成多个类和类中心点，根据类中心的数量计算每个第一原始语义增强特征对每个类的权重；将第一原始语义增强特征对其所属类的权重与其所属类的类中心点相乘，得到第二原始语义增强特征；
S8：将不同尺度的原始增强特征和第二原始语义增强特征输入第二UNet网络的解码部分逐级解码出与脑肿瘤MRI图像尺度一致的分割图，将分割图输入Softmax输出分割图的类别预测结果，并利用脑肿瘤MRI图像的分割图标签进行监督训练。
本发明至少具有以下有益效果
本发明根据深监督机制利用UNet网络的编码部分提取多个尺度的原始特征，同时采用注意力机制对原始特征进行增强得到原始增强特征，利用空间金字塔池化层对尺度最小的原始增强特征进一步的增强，并进行粗分割构建特征库，引入无监督的聚类算法增强特征，提升了模态数据不完整情况下的分割的精度，拓展了网络模型在多模态数据中的适用性、泛化性，本发明能够自适应的处理脑肿瘤MRI不同模态的图像间对应关系，提升深度模型在模态数据不完整情况下的分割效果。
附图说明
图1为本发明的方法流程图；
图2为本发明分割模型示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1，本发明提供一种基于特征解耦的多模态脑肿瘤MRI分割方法，包括：
S1：获取脑肿瘤MRI图像数据集；其中，所述脑肿瘤MRI图像数据集包括：多个模态的脑肿瘤MRI图像、脑肿瘤MRI图像对应的模态类别标签和脑肿瘤MRI图像对应的分割图标签；
优选地，一种获取脑肿瘤MRI图像数据集的实施方式，包括：本实施例从网络下载BraTS2018数据集，该数据集中包含了285个病例，每个病例有四个不同的模态，通过对BraTS2018数据集中每个脑肿瘤MRI图像打上模态类别标签和分割图标签得到脑肿瘤MRI图像数据集。
优选地，一种获取脑肿瘤MRI图像数据集的实施方式，包括：本实施例从15个医疗中心获取285个MRI扫描数据，对每个脑肿瘤MRI图像打上模态类别标签和分割图标签得到脑肿瘤MRI图像数据集，每个MRI扫描都包括T1、T1ce、T2和FLAIR图像序列。
优选地，一种对脑肿瘤MRI图像打上模态类别标签的实施方式，包括：
例如，本实施采用4个模态的脑肿瘤MRI图像，因此模态类别标签分为4个类别，其中，0表示T1，1表示T1ce，2表示T2，3表示FLAIR。
优选地，一种对每个脑肿瘤MRI图像打上分割图标签的实施方式包括：
本实施例主要针对脑肿瘤MRI图像中的完整肿瘤、肿瘤核心和增强瘤进行分割，因此本实施例中的分割图标签为脑肿瘤MRI图像对应的完整肿瘤分割图像、肿瘤核心分割图像和增强瘤分割图像。
优选地，一种对每个脑肿瘤MRI图像打上分割图标签的实施方式包括：
本实施例主要针对脑肿瘤MRI图像的低级别胶质瘤(LGG)、高级别胶质瘤和脑脊液分泌瘤(HGG)进行分割，因此本实施例中的分割图标签为脑肿瘤MRI图像对应低级别胶质瘤(LGG)、高级别胶质瘤和脑脊液分泌瘤(HGG)图像。
优选地，一种对脑肿瘤MRI图像数据进行预处理的方式包括：
将脑肿瘤MRI图像进行相同的裁剪和数据增强等；
优选地，一种对脑肿瘤MRI图像数据进行预处理的方式包括：
随机对脑肿瘤MRI图像进行裁剪，增强肿瘤MRI图像的数量。
优选地，一种对脑肿瘤MRI图像数据进行预处理的方式包括：
利用高斯滤波算法对脑肿瘤MRI图像中的噪声进行过滤，提高图像分类的准确性。
优选地，一种对脑肿瘤MRI图像数据进行预处理的方式包括：
将脑肿瘤MRI图像数据集中的脑肿瘤MRI图像进行拉升，使其尺度为572*572，572*572的尺度一般作为UNet网络的输入尺度。
请参阅图2，S2：利用第一UNet网络的编码部分对脑肿瘤MRI图像进行下采样得到多个尺度的原始特征；
优选地，第一UNet网络的编码部分包括：四个下采样模块，其中，每个下采样模块包括依次连接的卷积层、批归一化BN层，激活函数ReLU层和池化层，每个下采样模块的输出作为下一个下采样模块的输入，每个下采样模块的输出均作为原始特征得到多个尺度的原始特征。
优选地，一种第一UNet网络编码部分的实施方式包括：卷积层的卷积核大小为3，池化层下采样的尺度为2，将第一UNet网络编码部分中每个下采样模块输出的中间特征作为多个尺度的原始语义特征，按照尺度排序为80×80×80的特征图、40×40×40的特征图、20×20×20的特征图以及10×10×10的特征图。
S3：将多个尺度的原始特征分别输入注意力机制模块对原始特征进行特征增强得到多个尺度的原始增强特征；
优选地，所述对原始特征进行特征增强包括：
Channelattention＝X*Sigmoid(MLP(Avgpool(X)+Maxpool(X)))
其中，Channelattention表示原始增强特征，X表示原始特征，Sigmoid表示激活函数，MLP表示多层感知机，
表示全局平均池化，Maxpool表示全局最大池化。
S4：将尺度最大的原始增强特征输入Resnet网络预测脑肿瘤MRI图像的模态类别；并根据Resnet网络的预测结果和脑肿瘤MRI图像的模态类别标签对Resnet网络进行监督训练；
优选地，所述对Resnet网络进行监督训练包括：
根据Resnet网络的预测结果和脑肿瘤MRI图像的模态类别标签构建交叉熵损失函数，利用adam优化器对Resnet网络的参数进行优化，其中，交叉熵损失函数如下所示：
其中，
表示交叉熵损失函数，yi表示脑肿瘤MRI图像的模态类别标签，P(xi)表示Resnet网络对脑肿瘤MRI图像的预测结果，N表示样本的数量。
S5：将尺度最小的原始增强特征输入空间金字塔池化层进行语义增强得到第一原始语义增强特征；将第一原始语义增强特征输入softmax分类器进行粗分割，将分割精度高于预设值的第一原始语义增强特征存储至有序队列中构建特征库；
优选地，所述分割精度的计算方式包括：
其中，Loss表示分割精度，xi表示第一原始语义增强特征，P(xi)表示Softmax分类器对第一原始语义增强特征的预测值，yij表示第一原始语义增强特征的标签，M表示标签的数量，脑肿瘤MRI图像的分割图有M个，例如，当需要分割图为完整肿瘤、肿瘤核心和增强瘤时M为3。
优选地，所述第一原始语义增强特征的标签包括：
将脑肿瘤MRI图像的分割图标签进行下采样使其与第一原始语义增强特征的尺度一致，得到第一原始语义增强特征的标签。
S6：利用第一UNet网络的解码部分逐级对多个尺度的原始特征进行上采样得到脑肿瘤MRI恢复图像；并将脑肿瘤MRI图像作为标签对第一UNet网络的解码部分进行监督训练；
优选地，所述对第一UNet网络的解码部分进行监督训练包括：
根据脑肿瘤MRI恢复图像和脑肿瘤MRI图像创建损失函数，利用adam优化器对第一UNet网络解码部分的参数进行更新，该损失函数如下所示：
其中，
表示第一UNet网络解码部分的损失函数，f(xi)表示脑肿瘤MRI恢复图像，xi表示脑肿瘤MRI图像，MSE表示均方误差函数，M表示样本数量。
优选地，第一UNet网络的解码部分主要由四个上采样模块构成，其中，每个上采样模块包括依次连接的池化层，卷积层、批归一化BN层和激活函数ReLU层，每个上采样模块的输出作为下一个上采样模块的输入。
优选地，第一UNet和第二UNet网络的解码部分均包括：四个上采样模块，其中，每个上采样模块包括依次连接的池化层，卷积层、批归一化BN层和激活函数ReLU层，每个上采样模块的输出作为下一个上采样模块的输入。
优选地，一种第一UNet网络解码部分的实施方式，包括：卷积层的卷积核大小为3，池化层的上采样尺度为2，将第一UNet网络解码部分的输出设置为单通道的图像输出，将多尺度的原始特征通过解码器后得到与脑肿瘤MRI图像尺度一致的重建预测图像即脑肿瘤MRI恢复图像。
优选地，所述对多个尺度的原始特征进行上采样得到脑肿瘤MRI恢复图像包括：
将尺度最小的原始特征输入第一UNet网络解码部分的第一个上采样模块输出第一子中间特征；将第一子中间特征与其尺度相同的原始特征在特征维度上拼接后输入下一个上采样模块得到第二子中间特征，将第二子中间特征与其同尺度的原始特征在特征维度上拼接后输入下一个上采样模块得到第三子中间特征，将第三子中间特征与其同尺度的原始特征在特征维度上拼接后输入下一个上采样模块得到第四子中间特征，同理将第四子中间特征与其同尺度的原始特征在特征维度上拼接后输入最后一个上采样模块输出的特征图即为脑肿瘤MRI恢复图像。
S7：利用Kmeans算法对特征库中的第一原始语义增强特征进行聚类生成多个类和类中心点，根据类中心的数量计算每个第一原始语义增强特征对每个类的权重；将第一原始语义增强特征对其所属类的权重与其所属类的类中心点相乘，得到第二原始语义增强特征；
Kmeans算法属于非监督学习，K均值聚类是最基础常用的聚类算法。它的基本思想是，通过迭代寻找K个簇(Cluster)的一种划分方案，使得聚类结果对应的损失函数最小。其中，损失函数可以定义为各个样本距离所属簇中心点的误差平方和。
优选地，所述第二原始语义增强特征包括：
其中，F′表示第二原始语义增强特征，F表示第一原始语义增强特征，
表示点积操作，Ckmeans(Fbank)表示类中心点。
S8：将不同尺度的原始增强特征和第二原始语义增强特征输入第二UNet网络的解码部分逐级解码出与脑肿瘤MRI图像尺度一致的分割图，将分割图输入Softmax输出分割图的类别预测结果，并利用脑肿瘤MRI图像的分割图标签进行监督训练。
优选地，第二UNet的网络解码部分包括：四个上采样模块，其中，每个上采样模块包括依次连接的池化层，卷积层、批归一化BN层和激活函数ReLU层，每个上采样模块的输出作为下一个上采样模块的输入。
优选地，第二UNet网络解码部分的实施方式包括：卷积层的卷积核大小为3，池化层的上采样尺度为2，将第二UNet网络解码部分的输出设置为4通道的图像输出，将不同尺度的原始增强特征和第二原始语义增强特征输入第二UNet网络的解码部分通过解码后得到与脑肿瘤MRI图像尺度一致的分割图。
将第二原始语义增强特征输入第二UNet网络解码部分的第一个上采样模块输出第一中间特征，将第一中间特征与其尺度相同的原始增强特征拼接后输入下一个上采样模块输出第二中间特征，将第二中间特征与其尺度相同的原始增强特征拼接后输入下一个上采样模块输出第三中间特征，同理将第三中间特征与其尺度相同的原始增强特征拼接后输入下一个上采样模块得到第四中间特征，最后将第四中间特征与其尺度相同的增强特征在特征维度上拼接后输入最后一个上采样模块输出与脑肿瘤MRI图像尺度一致的分割图，将每个通道的分割图输入Softmax输出分割图的类别预测结果，并利用脑肿瘤MRI图像的分割图标签进行监督训练。
优选地，所述利用脑肿瘤MRI图像的分割图标签进行监督训练包括：
根据分割图和分割图标签构建Dice损失函数，利用反向传播机制更新第二UNet网络解码部分的参数，其中，该损失函数如下：
其中，
表示第二UNet网络解码部分的损失函数，t表示样本数量，f表示Dice分割损失函数，X表示脑肿瘤MRI图像，Y表示脑肿瘤MRI图像对应的分割图标签，p(X)表示Softmax输出的分割图的类别。
在实施例中，采用数据集(BraTS2018)进行实验，数据集(BraTS2018)来自脑肿瘤分割挑战赛，被广泛用来做脑肿瘤分割任务，该数据集中包含了285个病例，每个病例有四个不同的模态，需要分割出三个肿瘤部位。本发明主要针对模态信息不全情况下的分割，实验设置中会分别模拟模态丢失情况的组合。表1给出了在不同模态丢失的情况下测试得到的实验结果。
表1不同模态组合的测试结果
从表1中可以看出，通过在不同的模态组合情况下进行测试，相同的情况下本发明得到的分割精度(Dice系数)相比基线模型大幅提升，该结果说明，本发明能够有效地基于特征解耦提升脑肿瘤MRI影响在模态丢失情况下的分割精度，相比之下，在模态信息数据不完整的情况下，基线模型性能显著下降，由此可得本发明是有效的。
本实施例中设置最大epoch次数为450，初始学习率为0.001；
本发明根据深监督机制利用UNet网络的编码部分提取多个尺度的原始特征，同时采用注意力机制对原始特征进行增强得到原始增强特征，利用空间金字塔池化层对尺度最小的原始增强特征进一步的增强，并进行粗分割构建特征库，引入无监督的聚类算法增强特征，提升了模态数据不完整情况下的分割的精度，拓展了网络模型在多模态数据中的适用性、泛化性，本发明能够自适应的处理脑肿瘤MRI不同模态的图像间对应关系，提升深度模型在模态数据不完整情况下的分割效果。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于特征解耦的多模态脑肿瘤MRI分割方法，其特征在于，包括：
S1：获取脑肿瘤MRI图像数据集；其中，所述脑肿瘤MRI图像数据集包括：多个模态的脑肿瘤MRI图像、脑肿瘤MRI图像对应的模态类别标签和脑肿瘤MRI图像对应的分割图标签；
S2：利用第一UNet网络的编码部分对脑肿瘤MRI图像进行下采样得到多个尺度的原始特征；
S3：将多个尺度的原始特征分别输入注意力机制模块对原始特征进行特征增强得到多个尺度的原始增强特征；
S4：将尺度最大的原始增强特征输入Resnet网络预测脑肿瘤MRI图像的模态类别；并根据Resnet网络的预测结果和脑肿瘤MRI图像的模态类别标签对Resnet网络进行监督训练；
S5：将尺度最小的原始增强特征输入空间金字塔池化层进行语义增强得到第一原始语义增强特征；将第一原始语义增强特征输入softmax分类器进行粗分割，将分割精度高于预设值的第一原始语义增强特征存储至有序队列中构建特征库；
S6：利用第一UNet网络的解码部分逐级对多个尺度的原始特征进行上采样得到脑肿瘤MRI恢复图像；并将脑肿瘤MRI图像作为标签对第一UNet网络的解码部分进行监督训练；
S7：利用Kmeans算法对特征库中的第一原始语义增强特征进行聚类生成多个类和类中心点，根据类中心的数量计算每个第一原始语义增强特征对每个类的权重；将第一原始语义增强特征对其所属类的权重与其所属类的类中心点相乘，得到第二原始语义增强特征；
S8：将不同尺度的原始增强特征和第二原始语义增强特征输入第二UNet网络的解码部分逐级解码出与脑肿瘤MRI图像尺度一致的分割图，将分割图输入Softmax输出分割图的类别预测结果，并利用脑肿瘤MRI图像的分割图标签进行监督训练。
2.根据权利要求1所述的一种基于特征解耦的多模态脑肿瘤MRI分割方法，其特征在于，第一UNet网络的编码部分包括：四个下采样模块，其中，每个下采样模块包括依次连接的卷积层、批归一化BN层，激活函数ReLU层和池化层，每个下采样模块的输出作为下一个下采样模块的输入，每个下采样模块的输出均作为原始特征得到多个尺度的原始特征。
3.根据权利要求1所述的一种基于特征解耦的多模态脑肿瘤MRI分割方法，其特征在于，第一UNet和第二UNet网络的解码部分均包括：四个上采样模块，其中，每个上采样模块包括依次连接的池化层，卷积层、批归一化BN层和激活函数ReLU层，每个上采样模块的输出作为下一个上采样模块的输入。
4.根据权利要求1所述的一种基于特征解耦的多模态脑肿瘤MRI分割方法，其特征在于，所述对原始特征进行特征增强包括：
Channelattention＝X*Sigmoid(MLP(Avgpool(X)+Maxpool(X)))
其中，Channelattention表示原始增强特征，X表示原始特征，Sigmoid表示激活函数，MLP表示多层感知机，Avgpool表示全局平均池化，Maxpool表示全局最大池化。
5.根据权利要求1所述的一种基于特征解耦的多模态脑肿瘤MRI分割方法，其特征在于，所述分割精度的计算方式包括：
其中，Loss表示分割精度，xi表示第一原始语义增强特征，P(xi)表示softmax分类器对第一原始语义增强特征的预测值，yij表示第一原始语义增强特征的标签，M表示标签的数量。
6.根据权利要求5所述的一种基于特征解耦的多模态脑肿瘤MRI分割方法，其特征在于，所述第一原始语义增强特征的标签包括：
将脑肿瘤MRI图像的分割图标签进行下采样使其与第一原始语义增强特征的尺度一致，得到第一原始语义增强特征的标签。
7.根据权利要求6所述的一种基于特征解耦的多模态脑肿瘤MRI分割方法，其特征在于，所述第二原始语义增强特征包括：
其中，F′表示第二原始语义增强特征，F表示第一原始语义增强特征，
表示点积操作，Ckmeans(Fbank)表示类中心点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310332485.3A CN116310343A (zh) | 2023-03-29 | 2023-03-29 | 一种基于特征解耦的多模态脑肿瘤mri分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310332485.3A CN116310343A (zh) | 2023-03-29 | 2023-03-29 | 一种基于特征解耦的多模态脑肿瘤mri分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116310343A true CN116310343A (zh) | 2023-06-23 |
Family
ID=86832349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310332485.3A Pending CN116310343A (zh) | 2023-03-29 | 2023-03-29 | 一种基于特征解耦的多模态脑肿瘤mri分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310343A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437493A (zh) * | 2023-12-20 | 2024-01-23 | 泰山学院 | 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 |
| CN117611806A (zh) * | 2024-01-24 | 2024-02-27 | 北京航空航天大学 | 基于影像和临床特征的前列腺癌手术切缘阳性预测系统 |
-
2023
- 2023-03-29 CN CN202310332485.3A patent/CN116310343A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437493A (zh) * | 2023-12-20 | 2024-01-23 | 泰山学院 | 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 |
| CN117437493B (zh) * | 2023-12-20 | 2024-03-29 | 泰山学院 | 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 |
| CN117611806A (zh) * | 2024-01-24 | 2024-02-27 | 北京航空航天大学 | 基于影像和临床特征的前列腺癌手术切缘阳性预测系统 |
| CN117611806B (zh) * | 2024-01-24 | 2024-04-12 | 北京航空航天大学 | 基于影像和临床特征的前列腺癌手术切缘阳性预测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lundervold et al. | An overview of deep learning in medical imaging focusing on MRI | |
| Lan et al. | Generative adversarial networks and its applications in biomedical informatics | |
| Behrad et al. | An overview of deep learning methods for multimodal medical data mining | |
| Khan et al. | Deep neural architectures for medical image semantic segmentation | |
| Shanmugam et al. | Alzheimer’s disease classification using pre-trained deep networks | |
| Hu et al. | Automatic abdominal multi-organ segmentation using deep convolutional neural network and time-implicit level sets | |
| US8799202B2 (en) | Predicting states of subjects | |
| Sun et al. | Anatomical attention guided deep networks for ROI segmentation of brain MR images | |
| Patel et al. | Image level training and prediction: intracranial hemorrhage identification in 3D non-contrast CT | |
| Chen et al. | A survey on graph neural networks and graph transformers in computer vision: a task-oriented perspective | |
| CN116310343A (zh) | 一种基于特征解耦的多模态脑肿瘤mri分割方法 | |
| Jyothi et al. | Deep learning models and traditional automated techniques for brain tumor segmentation in MRI: a review | |
| Balwant | A review on convolutional neural networks for brain tumor segmentation: methods, datasets, libraries, and future directions | |
| Bashir-Gonbadi et al. | Brain tumor classification using deep convolutional autoencoder-based neural network: Multi-task approach | |
| Qayyum et al. | Automatic segmentation using a hybrid dense network integrated with an 3D-atrous spatial pyramid pooling module for computed tomography (CT) imaging | |
| Li et al. | MCRformer: Morphological constraint reticular transformer for 3D medical image segmentation | |
| Sowrirajan et al. | MRI brain tumor classification using a hybrid VGG16-NADE model | |
| Singh et al. | Automated detection of Alzheimer disease using MRI images and deep neural networks-A review | |
| CN113436127A (zh) | 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质 | |
| Liu et al. | Large margin and local structure preservation sparse representation classifier for Alzheimer’s magnetic resonance imaging classification | |
| Pallawi et al. | Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey | |
| Fu et al. | x-net: Dual supervised medical image segmentation with multi-dimensional self-attention and diversely-connected multi-scale convolution | |
| Al-Shboul et al. | Overview of convolutional neural networks architectures for brain tumor segmentation. | |
| Yerachmiel et al. | Weakly supervised brain tumor segmentation via semantic affinity deep neural network | |
| CN112614092A (zh) | 脊柱检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |