CN116703949A - 基于肿瘤原型驱动与多专家集成的多模态mri脑肿瘤分割方法 - Google Patents
基于肿瘤原型驱动与多专家集成的多模态mri脑肿瘤分割方法 Download PDFInfo
- Publication number
- CN116703949A CN116703949A CN202310979259.4A CN202310979259A CN116703949A CN 116703949 A CN116703949 A CN 116703949A CN 202310979259 A CN202310979259 A CN 202310979259A CN 116703949 A CN116703949 A CN 116703949A
- Authority
- CN
- China
- Prior art keywords
- tumor
- prototype
- integration
- mode
- expert
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 204
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000010354 integration Effects 0.000 title claims abstract description 67
- 230000011218 segmentation Effects 0.000 title claims abstract description 53
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 24
- 230000003993 interaction Effects 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 238000010276 construction Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 206010030113 Oedema Diseases 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000007634 remodeling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 206010017711 Gangrene Diseases 0.000 claims description 5
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 claims 1
- 230000004807 localization Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，属于医学图像处理技术领域。本发明包括步骤：获取用于多模态MRI肿瘤分割模型的训练数据集；将不同模态的肿瘤图像输入肿瘤原型构建模块中，实现不同模态特征的相互传递，并根据信息交互后的特征来构建肿瘤原型；将获得信息完整的肿瘤原型特征传输到原型驱动的特征表示与融合模块中，增强每个模态中肿瘤区域的特征，并得到不同模态的融合特征；将不同模态的肿瘤图像拼接后输入多专家集成的关键信息整合模块中，实现不同深度层上的特征直接辅助肿瘤区域的识别与定位；构建解码网络，输出肿瘤的分割结果图。本发明能辅助肿瘤区域的识别与定位，提升了分割性能。
Description
技术领域
本发明涉及基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，属于医学图像处理技术领域。
背景技术
尽早地发现和诊断肿瘤并制定高效的治疗计划是提高患者存活率的关键。虽然医生能够通过人工标注MRI 影像的肿瘤区域来确定肿瘤的位置和大小，但是人工标注往往耗时耗力且带有很大的主观性。为了提高诊断的一致性、准确性和高效性，基于深度神经网络的肿瘤分割算法得到越来越多的关注。然而，目前基于深度神经网络的肿瘤分割方法仍存在一些问题，如肿瘤区域相互包含所造成的信息混叠对性能的影响，且未采取有针对性的措施来凸显对应肿瘤特征作用，限制了分割性能的进一步提升。针对该图像分割问题，提出了一种基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法。
发明内容
为了解决现有方法的不足，本发明针对肿瘤区域相互包含所造成的信息混叠，无法实现对不同的肿瘤特征进行有针对的增强，从而影响肿瘤分割结果的准确性，提出了一种基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法。
本发明的技术方案是：基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，所述方法的具体步骤如下：
步骤1：获取用于多模态MRI肿瘤分割模型的训练数据集；
步骤2：将不同模态的肿瘤图像输入肿瘤原型构建模块中，实现不同模态特征的相互传递，并根据信息交互后的特征来构建肿瘤原型；具体操作如下：
将多模态MRI肿瘤图像输入到肿瘤原型构建模块后，先利用四个模态特定编码器分别对每个模态提取特征，然后将提取的特征分别进行自注意力操作；接着，使用交叉注意力的原理实现不同模态的信息交互；之后，将每个模态信息交互后的特征再通过前馈网络提取特征后，送入到原型特征生成模块中生成肿瘤原型。
步骤3：将获得信息完整的肿瘤原型特征传输到原型驱动的特征表示与融合模块中，增强每个模态中肿瘤区域的特征，并得到不同模态的融合特征；具体操作如下：
将每个模态的肿瘤原型特征与步骤2中经过前馈网络提取的特征送入到特征表示
与融合模块后，先分别将每个模态的特征与对应的肿瘤原型送入到原型驱动模块中，然后
得到不同肿瘤区域的激活图；之后，将每个模态上不同的肿瘤区域激活图分别与当前模态
特征进行点积操作后再拼接融合，得到肿瘤信息丰富的特征，最后，将不同模态上的肿瘤信
息丰富的特征先经过卷积降维后再拼接，并经过多头自注意力得到不同模态最终的
融合特征。
步骤4：将不同模态的肿瘤图像拼接后输入多专家集成的关键信息整合模块中，实现不同深度层上的特征直接辅助肿瘤区域的识别与定位，具体操作如下：
将多模态MRI肿瘤图像拼接后送入到多专家集成的关键信息整合模块，然后利用
与步骤2中结构相同的编码器进行特征提取；之后，将编码器不同阶段的输出特征送入
到多专家集成的关键信息整合模块中的不同的专家网络提取肿瘤关键特征。
步骤5：构建解码网络，输出肿瘤的分割结果图。
进一步地，所述步骤1中每个MRI图像都由Flair、T1、T1c和T2四种模态的图像组成；每个模态的MRI图像中包含背景（BG）区域，坏疽和非强化肿瘤区域（NCR/NET），瘤周水肿（ED）和增强肿瘤(ET)四种类别，且每个MRI图像的尺寸大小为 240*240*155，然后对采集的MRI图像数据进行预处理，预处理的方法具体为，首先对数据进行裁剪，裁剪后的图像大小为128*128*128，对裁剪后的图像进行归一化。
所述步骤2中，肿瘤原型构建模块包括编码器、自注意力层、多模态信息交互层
和原型特征生成模块；肿瘤原型构建模块用于实现不同模态特征的相互传递，并根据信息
交互后的特征来构建肿瘤原型。
进一步地，所述步骤2中，给定不同模态的肿瘤图像，分别输入参数不共享的编码
器，其中编码器采用UNet结构来设计，得到的特征为，其中m，表示肿瘤数据的四种模态，H、W为输入图像的高和宽，D是切片数，C是
通道数，然后每个模态的输出特征经过自注意力层得到特征。
进一步地，所述步骤2中，多模态信息交互使用了交叉注意力的原理来实现不同模态间的信息交互，此过程实现如下:
在多模态信息交互中，设表示当前模态， 表示除之外的
其他模态，表示模态的信息向流动，的过程表示为：
其中，表示第j个注意力头的结果，，，，为线性映射的
参数矩阵，LN为层归一化，在得到第j个注意力头的特征之后，的完整表示为：
其中，为线性映射矩阵，为头的个数，将其设置为8，当遍历完除之外
的所有模态后，便能实现其它模态信息与的交互，然后，综合所有模态所携带的信息，定
义为：
其中，为除之外互不相同的三个模态，特征经过由线性层、激活函
数GELU以及Dropout构成的前馈网络提取特征后，经过重塑得到特征，H、W为
输入图像的高和宽，D是切片数， 是重塑后的特征通道数。
进一步地，所述步骤2中，原型特征生成（PFG）模块用于实现如下功能:
重塑得到的特征经过卷积、softmax和split之后得到用于表示肿瘤不同区域
类别的概率图,和，上述过程公式化为:
由此得到特定模态肿瘤不同区域的原型：
其中，表示当前模态肿瘤区域的第类的原
型，表示矩阵的点乘，H、W为输入图像的高和宽，D是切片数， 是重塑后的特征通道数。
进一步地，所述步骤3中，原型驱动的特征表示与融合模块包括原型驱动模块、卷积、ReLU激活和多头自注意力；
所述步骤3中，原型驱动模块增强每个模态中肿瘤区域的特征，此过程实现如下:
将经线性映射和扩充操作得到与重塑得到的特征维度相同的矩阵表示，
并将与在通道方向进行拼接来强化与共有的肿瘤特征，对拼接后的特征进行卷积和ReLU激活，得到特征激活图，中数值的大小反映了相同位置处的特
征隶属于肿瘤区域第i类的程度；然后通过点积操作，实现对肿瘤第i个类别区域进行增强，
定义为：
从而获得，和，并对其进行拼接，送入卷积层得到当前
模态肿瘤完整区域的特征表示，定义为：
其中，代表拼接操作，，最后将送入的卷积层
进行特征整合，并将不同模态的结果进行拼接，送入多头注意力层得到融合后的特征，定义
为：
其中，为卷积操作, 表示多头自注意力。
进一步地，所述步骤4中多专家集成的关键信息整合模块实现对肿瘤区域的识别
与定位，由编码器和专家网络构成；
所述步骤4中多专家集成的关键信息整合模块中的编码器采用与编码器相
同的结构；
所述步骤4中多专家集成的关键信息整合模块中的专家网络包括卷积层、softmax以及split操作；专家网络学习过程如下：
经过卷积、softmax和split后得到用于表示肿瘤不同区域类别的概率图,和，定义为：
根据,和对肿瘤信息进行增强与整合，定义为：
所述步骤4中多专家集成的关键信息整合模块实现过程如下：
将所有模态肿瘤图像拼接输入，的第个编码块输出结果记为，将送入
第个专家网络来学习NCR/NET、ED、ET三个肿瘤区域的特征，得到为专家网络学习到的
肿瘤关键特征。
进一步地，所述步骤5中，将步骤2中编码器不同阶段输出的特
征与步骤4中对应的专家网络学习到的肿瘤关键特征融合后，采用跳跃连接，送到解码
器，得到最终的分割结果，解码器采用UNet的解码器；
在解码网络中，采用上采样操作将步骤3中得到的融合特征进行解码，其中，
在解码过程中，首先对特征图进行上采样，得到采样后的特征图，然后解码网络将这些
特征图与步骤4专家网络的输出的肿瘤关键特征进行融合，之后，将步骤2中编码器相同分辨率下的特征图拼接后通过跳越连接进行融合，最后，解码网络
将拼接的特征图通过卷积进行融合，经过4次上采样操作后，得到与输入图像分辨率一致的
分割结果图。
本发明的有益效果是：
1、本发明通过构建能表达肿瘤特定特征的原型，并利用该原型来实现肿瘤特征判别性的增强，克服了已有方法对肿瘤区域分类与定位的不准确性，解决了肿瘤区域相互包含所造成的信息混叠对性能的影响；
2、本发明通过在肿瘤特征中植入原型特征，并以此产生特征的激活图来凸显与原型类别一致的特征；
3、本发明通过在不同深度层上植入多专家网络来预测特征所属的类别概率，利用该预测结果实现相关特征的增强，并将该特征补充到解码器中，以辅助肿瘤区域的识别与定位，提升了分割性能；
4、本发明肿瘤原型驱动与多专家集成的肿瘤分割方法，通过一种信息交互机制，实现不同模态特征的相互传递，解决了单模态图像特征单一的问题，实现了肿瘤原型的构建；
5、本发明为有效利用网络不同深度层上的特征所表现出来的不同特性，利用原型驱动的特征表示与融合方法，通过嵌入肿瘤原型特征实现了对应特征判别性的增强，解决了无法有针对性地对肿瘤不同区域进行特征凸显的困难。
6、本发明多专家集成的关键特征整合方法，利用了不同网络深度上的特征来参与肿瘤区域的识别与定位，进一步改善了特征的判别性，提升了肿瘤分割结果的准确性。
7、实验结果表明，本发明提出的方法能有效分割肿瘤，比现有方法性能更好。
附图说明
下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图；
图1为本发明的流程结构示意图；
图2为本发明的肿瘤原型构建模块示意图；
图3为本发明的肿瘤原型构建模块中的原型特征生成模块示意图；
图4为本发明的原型驱动的特征表示与融合模块示意图；
图5为本发明的原型驱动的特征表示与融合模块中的原型驱动模块示意图；
图6为本发明的专家网络模块示意图；
图7为本发明方法与现有方法试验效果对比图。
具体实施方式
实施例1：如图1-图7所示，基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，所述方法的具体步骤如下：
步骤1：获取用于多模态MRI肿瘤分割模型的训练数据集；所述步骤1中采用的数据为公开的多模态肿瘤数据集，所述步骤1中每个MRI图像都由Flair、T1、T1c和T2四种模态的图像组成；每个模态的MRI图像中包含背景（BG）区域，坏疽和非强化肿瘤区域（NCR/NET），瘤周水肿（ED）和增强肿瘤(ET)四种类别，且每个MRI图像的尺寸大小为 240*240*155，然后对采集的MRI图像数据进行预处理，预处理的方法具体为，首先对数据进行裁剪，裁剪后的图像大小为128*128*128，对裁剪后的图像进行归一化和数据增强操作，其中使用的数据增强方法包括旋转、镜像。
步骤2：将不同模态的肿瘤图像输入肿瘤原型构建模块中，实现不同模态特征的相互传递，并根据信息交互后的特征来构建肿瘤原型；具体操作如下：
如图2所示为本发明的肿瘤原型构建模块示意图，将多模态MRI肿瘤图像输入到肿
瘤原型构建模块（CTP）后，先利用四个模态特定编码器分别对每个模态提取特征，然后
将提取的特征分别进行自注意力操作；接着，使用交叉注意力的原理实现不同模态的信
息交互；之后，将每个模态信息交互后的特征再通过前馈网络提取特征后，得到送入到
原型特征生成模块中生成肿瘤原型。
肿瘤原型构建模块（CTP）由多模态信息交互(Multimodal informationinteraction, MII)和原型特征生成(Prototype feature generation, PFG)两部分构成。该模块实现不同模态特征的相互传递，并根据信息交互后的特征来构建肿瘤原型。
进一步地，所述步骤2中，肿瘤原型构建模块包括编码器、自注意力层、多模态
信息交互层和原型特征生成模块；肿瘤原型构建模块用于实现不同模态特征的相互传递，
并根据信息交互后的特征来构建肿瘤原型。
进一步地，所述步骤2中，给定不同模态的肿瘤图像，分别输入参数
不共享的编码器，其中编码器采用UNet结构来设计，得到的特征为，其
中m，表示肿瘤数据的四种模态，H、W为输入图像的高和宽，D是切片数，C
是通道数，然后每个模态的输出特征经过自注意力层得到特征。
进一步地，所述步骤2中，多模态信息交互使用了交叉注意力的原理来实现不同模态间的信息交互，此过程实现如下:
在多模态信息交互中，设表示当前模态， 表示除之外的
其他模态，表示模态的信息向流动，的过程表示为：
其中，表示第j个注意力头的结果，，，，为线性映射的
参数矩阵，LN为层归一化，在得到第j个注意力头的特征之后，的完整表示为：
其中，为线性映射矩阵，为头的个数，将其设置为8，当遍历完除之外
的所有模态后，便能实现其它模态信息与的交互，然后，综合所有模态所携带的信息，定
义为：
其中，为除之外互不相同的三个模态，特征经过由线性层、激活函
数GELU以及Dropout构成的前馈网络提取特征后，经过重塑得到特征，H、W为
输入图像的高和宽，D是切片数， 是重塑后的特征通道数。
进一步地，如图3所示为本发明的肿瘤原型构建模块中的原型特征生成模块示意图，所述步骤2中，原型特征生成（PFG）模块用于实现如下功能:
重塑得到的特征经过卷积、softmax和split之后得到用于表示肿瘤不同区域
类别的概率图,和，上述过程公式化为:
由此得到特定模态肿瘤不同区域的原型：
其中，表示当前模态肿瘤区域的第类的原
型，表示矩阵的点乘，H、W为输入图像的高和宽，D是切片数， 是重塑后的特征通道数。
步骤3：将获得信息完整的肿瘤原型特征传输到原型驱动的特征表示与融合模块中，增强每个模态中肿瘤区域的特征，并得到不同模态的融合特征；具体操作如下：
将每个模态的肿瘤原型特征与步骤2中经过前馈网络提取的特征送入到特征表示
与融合模块后，先分别将每个模态的特征与对应的肿瘤原型送入到原型驱动模块中，然后
得到不同肿瘤区域的激活图；之后，将每个模态上不同的肿瘤区域激活图分别与当前模态
特征进行点积操作后再拼接融合，得到肿瘤信息丰富的特征，最后，将不同模态上的肿瘤信
息丰富的特征先经过卷积降维后再拼接，并经过多头自注意力得到不同模态最终的
融合特征。
进一步地，如图4所示为本发明的原型驱动的特征表示与融合模块示意图，所述步
骤3中，原型驱动的特征表示与融合模块包括原型驱动模块、卷积、ReLU激活和多头
自注意力；
进一步地，如图5所示为本发明的原型驱动的特征表示与融合模块中的原型驱动模块示意图，所述步骤3中，原型驱动模块增强每个模态中肿瘤区域的特征，此过程实现如下:
将经线性映射和扩充操作得到与重塑得到的特征维度相同的矩阵表示，
并将与在通道方向进行拼接来强化与共有的肿瘤特征，对拼接后的特征进行卷积和ReLU激活，得到特征激活图，中数值的大小反映了相同位置处的特
征隶属于肿瘤区域第i类的程度；然后通过点积操作，实现对肿瘤第i个类别区域进行增强，
定义为：
从而获得，和，并对其进行拼接，送入卷积层得到当前
模态肿瘤完整区域的特征表示，定义为：
其中，代表拼接操作，，最后将送入的卷积层
进行特征整合，并将不同模态的结果进行拼接，送入多头注意力层得到融合后的特征，定义
为：
其中，为卷积操作, 表示多头自注意力。
步骤4：将不同模态的肿瘤图像拼接后输入多专家集成的关键信息整合模块中，实现不同深度层上的特征直接辅助肿瘤区域的识别与定位，具体操作如下：
将多模态MRI肿瘤图像拼接后送入到多专家集成的关键信息整合模块，然后利用
与步骤2中结构相同的编码器进行特征提取；之后，将编码器不同阶段的输出特征送入
到多专家集成的关键信息整合模块中的不同的专家网络提取肿瘤关键特征。
进一步地，所述步骤4中多专家集成的关键信息整合模块实现过程如下：
将步骤一所有模态肿瘤图像拼接输入，的第个编码块输出结果记为，将送入第个专家网络来学习NCR/NET、ED、ET三个肿瘤区域的特征，得到为专家网络学
习到的肿瘤关键特征。
进一步地，所述步骤4中多专家集成的关键信息整合模块实现对肿瘤区域的识别
与定位，由编码器和专家网络构成；
进一步地，所述步骤4中多专家集成的关键信息整合模块中的编码器采用与编
码器相同的结构；
进一步地，如图6所示为本发明的专家网络模块示意图，所述步骤4中多专家集成的关键信息整合模块中的专家网络包括卷积层、softmax以及split操作；专家网络学习过程如下：
经过卷积、softmax和split后得到用于表示肿瘤不同区域类别的概率图,和，定义为：
根据,和对肿瘤信息进行增强与整合，定义为：
步骤5：构建解码网络，输出肿瘤的分割结果图。
进一步地，所述步骤5中，将步骤2中编码器不同阶段输出的特
征与步骤4中对应的专家网络学习到的肿瘤关键特征融合后，采用跳跃连接，送到解码
器，得到最终的分割结果，解码器采用UNet的解码器；
在解码网络中，采用上采样操作将步骤3中得到的融合特征进行解码，其中，
在解码过程中，首先对特征图进行上采样，得到采样后的特征图，然后解码网络将这些
特征图与步骤4专家网络的输出的肿瘤关键特征进行融合，之后，将步骤2中编码器相同分辨率下的特征图拼接后通过跳越连接进行融合，最后，解码网络
将拼接的特征图通过卷积进行融合，经过4次上采样操作后，得到与输入图像分辨率一致的
分割结果图。
为验证本发明方法的有效性，本发明在Multimodal Brain Tumor SegmentationChallenge 2018(BraTS2018)，Multimodal Brain Tumor Segmentation Challenge 2019(BraTS2019)和Multimodal Brain Tumor Segmentation Challenge 2020(BraTS2020)三个公开的数据集上评估了提出方法的性能。在此过程中，本发明方法对应模型分别在BraTS2018，BrTS2019和BraTS2020三个数据集的训练集上进行训练，在验证集上进行结果测试，并将测试结果上传到CBICA在线平台进行性能评价。每个数据集的所有病例都由Flair、T1、T1c和T2四种模态的图像组成。每个模态图像中都包含背景区域, 坏疽和非强化肿瘤区域, 瘤周水肿和增强肿瘤区域。BraTS2018，BraTS2019和BraTS2020中的训练集分别由来自285，335和369个病例，标签已知的MRI序列构成；验证集分别由来自66，125和125个病例，标签未知的MRI序列构成。本发明算法是在Pytorch1.12.1框架下开发的，并在配备了两张NVIDIA GTX3090显卡(显存24G)上进行了训练。在训练中，我们使用Adam优化器来对模型进行参数优化。在此过程中，Batch size设置为2， weight decay为0.00001。并利用“poly”学习策略实现学习率的动态调整，初始学习率为0.0002，总共训练了2000轮。
进一步地，本发明采用Dice分数和Hausdorff距离评估模型的分割精度。Dice分数通过计算预测结果和真实标签边界的重叠率来度量分割性能。Dice系数值越大，表示分割结果越接近真实标签。HD95距离通过度量预测结果和真实标签的边界之间的相似度，来衡量分割的性能，其数值越小，表示边界分割越精确。
进一步地，在BraTS2018数据集上，本发明方法和3D U-Net, VNet, CANet,以及TransBTS等脑肿瘤分割方法进行了性能比较，实验结果如表1所示。每个类别最好的结果以黑体显示，ET代表增强肿瘤区域，WT由所有的肿瘤区域构成，TC由增强肿瘤区域以及坏疽和非强化肿瘤区域构成。从此可以看出，本发明方法在ET、WT和TC区域，Dice系数分别达到了81.06%，90.57%和84.60%，HD95距离分别达到2.85mm，3.97mm和6.88mm。在BraTS2019数据集上，本发明方法和3D U-Net, VNet, Attention U-Net,以及KiU-Net等脑肿瘤分割方法进行了性能比较，实验结果如表2所示。从此可以看出，本发明方法在ET、WT和TC区域，Dice系数分别达到了77.69%，90.16%和82.97%，HD95距离分别达到2.98mm，5.25mm和5.57mm。在BraTS2020数据集上，本发明方法和3D U-Net, VNet, HDC-Net,以及RFNet等脑肿瘤分割方法进行了性能比较，实验结果如表3所示。从此可以看出，本发明方法在ET、WT和TC区域，Dice系数分别达到了83.95%，79.04%和90.32%。这证明了本发明方法在分割肿瘤区域和边界的有效性。
表1为不同方法在BraTS2018验证集上的客观评价比较
表 2 为不同方法在BraTS2019上的实验结果对比。
表3 不同方法在BraTS2020数据集上的对比实验结果。
进一步地，本发明将3DV-Net、Vnet、Attn U-Net和TransBTS分割结果进行了视觉效果对比。本发明方法和3D U-Net，V-Net，Attention U-Net，TransBTS方法的分割结果如图7所示。由此可以看出，提出的方法可以更加精确的识别和定位肿瘤区域和肿瘤边界，而其他方法的分割结果较粗略。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，其特征在于：所述方法的具体步骤如下：
步骤1：获取用于多模态MRI肿瘤分割模型的训练数据集；
步骤2：将不同模态的肿瘤图像输入肿瘤原型构建模块中，实现不同模态特征的相互传递，并根据信息交互后的特征来构建肿瘤原型；
步骤3：将获得信息完整的肿瘤原型特征传输到原型驱动的特征表示与融合模块中，增强每个模态中肿瘤区域的特征，并得到不同模态的融合特征；
步骤4：将不同模态的肿瘤图像拼接后输入多专家集成的关键信息整合模块中，实现不同深度层上的特征直接辅助肿瘤区域的识别与定位，具体操作如下：
将多模态MRI肿瘤图像拼接后送入到多专家集成的关键信息整合模块，然后利用与步骤2中结构相同的编码器进行特征提取；之后，将编码器不同阶段的输出特征送入到多专家集成的关键信息整合模块中的不同的专家网络提取肿瘤关键特征；
步骤5：构建解码网络，输出肿瘤的分割结果图。
2.根据权利要求1所述的基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，其特征在于，所述步骤1中每个MRI图像都由Flair、T1、T1c和T2四种模态的图像组成；每个模态的MRI图像中包含背景（BG）区域，坏疽和非强化肿瘤区域（NCR/NET），瘤周水肿（ED）和增强肿瘤(ET)四种类别，且每个MRI图像的尺寸大小为 240*240*155，然后对采集的MRI图像数据进行预处理，预处理的方法具体为，首先对数据进行裁剪，裁剪后的图像大小为128*128*128，对裁剪后的图像进行归一化。
3.根据权利要求1所述的基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，其特征在于，所述步骤2中，具体操作如下：
将多模态MRI肿瘤图像输入到肿瘤原型构建模块后，先利用四个模态特定编码器分别对每个模态提取特征，然后将提取的特征分别进行自注意力操作；接着，使用交叉注意力的原理实现不同模态的信息交互；之后，将每个模态信息交互后的特征再通过前馈网络提取特征后，送入到原型特征生成模块中生成肿瘤原型；
所述步骤2中，肿瘤原型构建模块包括编码器、自注意力层、多模态信息交互层和原型特征生成模块；肿瘤原型构建模块用于实现不同模态特征的相互传递，并根据信息交互后的特征来构建肿瘤原型。
4.根据权利要求1所述的基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，其特征在于，所述步骤2中，给定不同模态的肿瘤图像，分别输入参数不共享的编码器，其中编码器/>采用UNet结构来设计，得到的特征为/>，其中m，表示肿瘤数据的四种模态，H、W为输入图像的高和宽，D是切片数，C是通道数，然后每个模态的输出特征/>经过自注意力层得到特征/>。
5.根据权利要求1所述的基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，其特征在于，所述步骤2中，多模态信息交互使用了交叉注意力的原理来实现不同模态间的信息交互，此过程实现如下:
在多模态信息交互中，设表示当前模态，/> 表示除/>之外的其他模态，/>表示/>模态的信息向/>流动，/>的过程表示为：
；
其中，表示/>第j个注意力头的结果，/>，，/>，/>为线性映射的参数矩阵，LN为层归一化，在得到第j个注意力头的特征/>之后，/>的完整表示为：
；
其中，为线性映射矩阵，/>为头的个数，将其设置为8，当/>遍历完除/>之外的所有模态后，便能实现其它模态信息与/>的交互，然后，综合所有模态所携带的信息，定义为：
；
其中，为除/>之外互不相同的三个模态，特征/>经过由线性层、激活函数GELU以及Dropout构成的前馈网络提取特征后，经过重塑得到特征/>，H、W为输入图像的高和宽，D是切片数， />是重塑后的特征通道数。
6.根据权利要求1所述的基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，其特征在于，所述步骤2中，原型特征生成模块用于实现如下功能:
重塑得到的特征经过卷积、softmax和split之后得到用于表示肿瘤不同区域类别的概率图/>,/>和/>，上述过程公式化为:
；
由此得到特定模态肿瘤不同区域的原型：
；
其中，表示当前模态/>肿瘤区域的第/>类的原型，表示矩阵的点乘，H、W为输入图像的高和宽，D是切片数， />是重塑后的特征通道数。
7.根据权利要求1所述的基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，其特征在于，所述步骤3具体操作如下：
将每个模态的肿瘤原型特征与步骤2中经过前馈网络提取的特征送入到特征表示与融合模块后，先分别将每个模态的特征与对应的肿瘤原型送入到原型驱动模块中，然后得到不同肿瘤区域的激活图；之后，将每个模态上不同的肿瘤区域激活图分别与当前模态特征进行点积操作后再拼接融合，得到肿瘤信息丰富的特征，最后，将不同模态上的肿瘤信息丰富的特征先经过卷积降维后再拼接，并经过多头自注意力得到不同模态最终的融合特征。
8.根据权利要求1所述的基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，其特征在于，所述步骤3中，原型驱动的特征表示与融合模块包括原型驱动模块、卷积、ReLU激活和多头自注意力；
所述步骤3中，原型驱动模块增强每个模态中肿瘤区域的特征，此过程实现如下:
将经线性映射和扩充操作得到与重塑得到的特征/>维度相同的矩阵表示/>，并将与/>在通道方向进行拼接来强化/>与/>共有的肿瘤特征，对拼接后的特征进行卷积和ReLU激活，得到特征激活图/>，/>中数值的大小反映了/>相同位置处的特征隶属于肿瘤区域第i类的程度；然后通过点积操作，实现对肿瘤第i个类别区域进行增强，定义为：
；
从而获得，/>和/>，并对其进行拼接，送入/>卷积层得到当前模态肿瘤完整区域的特征表示，定义为：
；
其中，代表拼接操作，/>，最后将/>送入/>的卷积层进行特征整合，并将不同模态的结果进行拼接，送入多头注意力层得到融合后的特征，定义为：
；
其中，为/>卷积操作, />表示多头自注意力。
9.根据权利要求1所述的基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，其特征在于，所述步骤4中多专家集成的关键信息整合模块实现对肿瘤区域的识别与定位，由编码器和专家网络构成；
所述步骤4中多专家集成的关键信息整合模块中的编码器采用与编码器/>相同的结构；
所述步骤4中多专家集成的关键信息整合模块中的专家网络包括卷积层、softmax以及split操作；专家网络学习过程如下：
经过卷积、softmax和split后得到用于表示肿瘤不同区域类别的概率图/>,和/>，定义为：
；
根据,/>和/>对肿瘤信息进行增强与整合，定义为：
；
所述步骤4中多专家集成的关键信息整合模块实现过程如下：
将所有模态肿瘤图像拼接输入，/>的第/>个编码块输出结果记为/>，将/>送入第/>个专家网络来学习NCR/NET、ED、ET三个肿瘤区域的特征，得到/>为专家网络学习到的肿瘤关键特征。
10.根据权利要求1所述的基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法，其特征在于，所述步骤5中，将步骤2中编码器不同阶段输出的特征与步骤4中对应的专家网络学习到的肿瘤关键特征/>融合后，采用跳跃连接，送到解码器，得到最终的分割结果，解码器/>采用UNet的解码器；
在解码网络中，采用上采样操作将步骤3中得到的融合特征进行解码，其中，在解码过程中，首先对特征图/>进行上采样，得到采样后的特征图，然后解码网络将这些特征图与步骤4专家网络的输出的肿瘤关键特征/>进行融合，之后，将步骤2中编码器相同分辨率下的特征图拼接后通过跳越连接进行融合，最后，解码网络将拼接的特征图通过卷积进行融合，经过4次上采样操作后，得到与输入图像分辨率一致的分割结果图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310979259.4A CN116703949A (zh) | 2023-08-05 | 2023-08-05 | 基于肿瘤原型驱动与多专家集成的多模态mri脑肿瘤分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310979259.4A CN116703949A (zh) | 2023-08-05 | 2023-08-05 | 基于肿瘤原型驱动与多专家集成的多模态mri脑肿瘤分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116703949A true CN116703949A (zh) | 2023-09-05 |
Family
ID=87843671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310979259.4A Pending CN116703949A (zh) | 2023-08-05 | 2023-08-05 | 基于肿瘤原型驱动与多专家集成的多模态mri脑肿瘤分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116703949A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409019A (zh) * | 2023-09-15 | 2024-01-16 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于集成学习的多模态脑肿瘤图像分割方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365496A (zh) * | 2020-12-02 | 2021-02-12 | 中北大学 | 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法 |
| AU2021104634A4 (en) * | 2021-07-27 | 2022-05-05 | Tiruveedula GopiKrishna | Prototype for Detection and Classification of Brain Tumor using CNN feature-based LLRBFNN Model |
| US20220180506A1 (en) * | 2020-12-03 | 2022-06-09 | Ping An Technology (Shenzhen) Co., Ltd. | Method, device, and storage medium for pancreatic mass segmentation, diagnosis, and quantitative patient management |
-
2023
- 2023-08-05 CN CN202310979259.4A patent/CN116703949A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365496A (zh) * | 2020-12-02 | 2021-02-12 | 中北大学 | 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法 |
| US20220180506A1 (en) * | 2020-12-03 | 2022-06-09 | Ping An Technology (Shenzhen) Co., Ltd. | Method, device, and storage medium for pancreatic mass segmentation, diagnosis, and quantitative patient management |
| AU2021104634A4 (en) * | 2021-07-27 | 2022-05-05 | Tiruveedula GopiKrishna | Prototype for Detection and Classification of Brain Tumor using CNN feature-based LLRBFNN Model |
Non-Patent Citations (3)
| Title |
|---|
| YAFEIZHANG 等: "Prototype-Driven and Multi-Expert Integrated Multi-Modal MR Brain Tumor Image Segmentation", 《HTTPS://ARXIV.ORG/PDF/2307.12180.PDF》, pages 4 - 6 * |
| YUEQIN DIAO 等: "Joint learning-based feature reconstruction and enhanced network for incomplete multi-modal brain tumor segmentation", 《COMPUTERS IN BIOLOGY AND MEDICINE》, pages 1 - 11 * |
| 王聪聪: "基于多任务学习深度神经网络的图像分割研究", 《中国优秀硕士论文全文数据库 信息科技辑》, no. 2022, pages 138 - 1338 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409019A (zh) * | 2023-09-15 | 2024-01-16 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于集成学习的多模态脑肿瘤图像分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102177568B1 (ko) | 레이블 있는 데이터 및 레이블 없는 데이터를 병용하는 준지도 강화 학습 방법 및 이를 이용한 장치 | |
| CN111127385B (zh) | 基于生成式对抗网络的医学信息跨模态哈希编码学习方法 | |
| US12008757B2 (en) | Method and system for automatic multiple lesion annotation of medical images | |
| CN107851194A (zh) | 用于脑肿瘤分类的视觉表示学习 | |
| CN112365980B (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统 | |
| KR102246318B1 (ko) | 병리 이미지 검색을 위한 시스템 및 방법 | |
| CN111242948B (zh) | 图像处理、模型训练方法、装置、设备和存储介质 | |
| CN116703949A (zh) | 基于肿瘤原型驱动与多专家集成的多模态mri脑肿瘤分割方法 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| KR20220067931A (ko) | 3차원 영상 영역화 방법 및 장치 | |
| CN111325766A (zh) | 三维边缘检测方法、装置、存储介质和计算机设备 | |
| CN112633416A (zh) | 一种融合多尺度超像素的脑ct图像分类方法 | |
| CN114519719A (zh) | 一种脑肿瘤mr图像分割方法 | |
| CN114494215A (zh) | 基于Transformer的甲状腺结节检测方法 | |
| CN115661165A (zh) | 基于增强注意力的编解码网络胶质瘤融合分割系统及方法 | |
| CN115222992A (zh) | 基于术前术中影像的乳腺癌淋巴结良恶性分类系统及方法 | |
| CN117237351B (zh) | 一种超声图像分析方法以及相关装置 | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| CN113095351A (zh) | 借助于初始标记的改善生成经标记的数据的方法 | |
| CN116580198A (zh) | 基于跨尺度交互式融合Transformer模型的医学图像实例分割方法 | |
| CN116433970A (zh) | 甲状腺结节分类方法、系统、智能终端及存储介质 | |
| CN113469962B (zh) | 一种面向癌症病变检测的特征提取和图文融合方法及系统 | |
| CN117011566A (zh) | 一种目标检测方法、检测模型训练方法、装置及电子设备 | |
| CN116704272A (zh) | 用于医学视觉-语言多模态任务的文本嵌入表示方法及系统 | |
| Penkin et al. | Optimal input scale transformation search for deep classification neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |