CN116664605A - 基于扩散模型和多模态融合的医学图像肿瘤分割方法 - Google Patents
基于扩散模型和多模态融合的医学图像肿瘤分割方法 Download PDFInfo
- Publication number
- CN116664605A CN116664605A CN202310954604.9A CN202310954604A CN116664605A CN 116664605 A CN116664605 A CN 116664605A CN 202310954604 A CN202310954604 A CN 202310954604A CN 116664605 A CN116664605 A CN 116664605A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- denoising
- segmentation
- tumor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 71
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 title claims abstract description 37
- 238000009792 diffusion process Methods 0.000 title claims abstract description 31
- 230000003044 adaptive effect Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 208000003174 Brain Neoplasms Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010017711 Gangrene Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及基于扩散模型和多模态融合的医学图像肿瘤分割方法，属于医学图像处理技术领域。本发明包括步骤：获取多模态MRI医学图像，并对图像进行预处理；构建去噪网络，将预处理好的多模态图像分别送入不同的去噪网络，该网络通过正向扩散过程对输入图像进行破坏，然后预测噪声并修复出正常区域；将每个模态的原始输入图片和噪声图像的预测值被级联输入到不同的分割网络编码器中；构建自适应融合模块，预测每个模态的重要性，自适应融合不同模态的编码特征；构建分割网络解码器，将编码器的输出特征通过跳越连接送入到解码器并输出分割结果图。本发明通过网络自适应学习不同模态的贡献程度，提升了融合效率和分割精度。
Description
技术领域
本发明涉及基于扩散模型和多模态融合的医学图像肿瘤分割方法，属于医学图像处理技术领域。
背景技术
肿瘤具有很高的致死率。因此，尽早发现和诊断肿瘤并制定高效的治疗计划是提高患者存活率的关键。由于核磁共振成像中的特殊性质，图像中常常存在各种伪影和噪声。这些伪影和噪声不仅影响视觉感受，也会干扰图像分割的结果。为了提高诊断的一致性、准确性和高效性，基于深度神经网络的肿瘤分割算法得到越来越多的关注。然而，目前基于深度神经网络的肿瘤分割方法仍存在一些问题，如计算量大，模型对图像处理质量不高，由于且未采取有针对性的措施来凸显对应肿瘤特征作用，限制了分割性能的进一步提升。针对该图像分割问题，提出了基于扩散模型和多模态融合的医学图像肿瘤分割方法。
发明内容
为了解决现有方法的不足，本发明针对肿瘤图像存在伪影、噪声、对比度低和不同模态的MRI图像对肿瘤区域的敏感性不同等问题，提出了基于扩散模型和多模态融合的医学图像肿瘤分割方法。
本发明的技术方案是：基于扩散模型和多模态融合的医学图像肿瘤分割方法，所述方法的具体步骤如下：
Step1：获取多模态MRI医学图像，并对图像进行预处理；
Step2：构建去噪网络，将预处理好的多模态图像分别送入不同的去噪网络，该网络通过正向扩散过程对输入图像进行破坏，然后预测噪声并修复出正常区域；
Step3：将每个模态的原始输入图片和噪声图像的预测值被级联输入到不同的分割网络编码器中；
Step4：构建自适应融合模块，预测每个模态的重要性，自适应融合不同模态的编码特征；
Step5：构建分割网络解码器，将编码器的输出特征通过跳越连接送入到解码器并输出分割结果图；
Step6：训练去噪网络和分割网络，所述Step6具体包括为：
Step61、利用Adam优化器对去噪网络和分割网络中的参数进行优化；
Step62、训练去噪网络和分割网络时定义一个损失函数，该函数将预测的掩码与真实标签进行比较，从图像中准确地提取肿瘤区域；
去噪网络的损失函数定义为：
其中，代表输入的噪声预测网络；为t时刻具有噪声的图像，为高斯
噪声；
Step63、采用加权交叉熵损失函数和Dice损失函数对分割网络进行优化，所述损失函数包括两部分，第一部分为真实标签和预测结果的加权交叉熵损失，第二部分采用Dice损失，所述损失函数为：
其中为加权交叉熵损失，为Dice损失，为真实标签，为预
测结果； 总的损失函数为：
。
进一步地，所述Step1中，将不同模态的肿瘤图像随机裁剪到大小，在
输入去噪网络之前对其进行归一化操作，并采用镜像翻转、强度变化、随机旋转进行数据增
强。
进一步地，所述Step2中去噪网络由扩散正向过程、扩散模型和一步去噪组成，该网络对输入肿瘤图像进行去噪处理，修复出正常区域。
进一步地，所述Step2中去噪网络具体操作过程如下：
预处理好的肿瘤图像通过不断地将高斯噪声添加到当前的图像，高斯噪声尺度通
过调节，定义为：
其中为输入肿瘤图像，为t时刻具有噪声的图像，为单位矩阵，，，表示正态分布。
进一步地，所述Step2中，去噪网络中的一步去噪过程如下：
其中，为去噪网络输出的正常肿瘤图像，表示噪声方差调度，表示经过
训练的去噪网络，为t时刻具有噪声的图像。
进一步地，所述Step3中，分割网络编码器采用四个参数不共享的编码器，其结构为UNet编码器部分。
进一步地，所述Step3中分割网络编码器具体操作步骤如下：
分割网络的输入是原始输入图像和从去噪网络获得的相应去噪图像沿通道维度
合并后的图像；编码器采用UNet结构对输入的不同模态的MRI图像进行特征提取，得到的特
征为，其中，表示肿瘤数据的四种模态，H、W为输入图
像的高和宽，D是切片数，C是通道数，为编码器第个特征提取块。
进一步地，所述Step4中自适应融合模块包括全局平均池化，全连接层，ReLU激活函数和softmax操作。
进一步地，所述Step4中自适应融合模块具体操作步骤如下：
将Step3获得不同模态特征沿通道维度进行拼接，先进行全局平均池化，然后经过第一个全连接层和ReLU激活函数进行降维，再经过第二个全连接层和softmax操作得到四个输出值，分别代表每个模态的权重，然后将权重值乘到对应的模态特征上进行自适应融合，整个过程定义为：
其中，为拼接操作，，均表示肿瘤数据的四种模态特
征。
进一步地，所述Step5中分割网络的解码器为UNet网络解码结构，将编码器最后一层的输出特征通过Step4自适应融合后，进行上采样操作，得到采样后的特征图，然后解码网络将Step4中获得的具有相同分辨率大小的特征图通过跳越连接拼接，并继续上采样操作，重构到原始图像分辨率大小。
本发明的有益效果是：
1、因为在肿瘤分割中，图像会受到噪声或伪影等多种因素的影响，从而干扰肿瘤的定位和分割，本发明加入的去噪网络，使用扩散模型将噪声和伪影减少到最小，同时每个去噪子网络分别使用损失函数进行约束，去噪过程可以将原始图像中的噪声和干扰去除并修复出正常区域；
2、现有技术中在分割过程中，仅仅通过去噪得到的图像可能并不能很好地区分正常区域和异常区域，因为它们仅仅是像素值的变化，而不一定能很好地反映出结构和形态的差异；因此，本发明将去噪后的图像与原始图像进行拼接，得到了一个包含更多结构信息的图像。这个图像能够更好地反映出正常区域和异常区域的差异，从而有利于分割网络准确地对异常区域进行标记；
3、由于不同模态对不同的肿瘤区域敏感性不同，直接将编码网络输出的特征进行融合将会引入大量无关信息，因此，本发明提出一种基于扩散模型和多模态融合的医学图像肿瘤分割方法，通过网络自适应学习不同模态的贡献程度，提升了模型的融合效率和分割精度。
4、本发明一步去噪的结合使扩散模型速度加快；分割网络采用类似于U-Net的架构，由编码器、解码器和跳跃连接组成；分割网络的输入是原始输入图像和从去噪网络获得的相应去噪图像沿通道合并后的图像，通过自适应融合模块有效抑制肿瘤无关信息，提升不同模态特征的融合质量，分割网络被训练来预测肿瘤区域，该网络使肿瘤的定位和分割更加准确和稳健。
附图说明
图1为本发明方法的流程结构示意图；
图2为本发明方法的自适应特征融合模块结构图；
图3为本发明为不同方法的分割效果对比图。
具体实施方式
实施例1：如图1-图3所示，基于扩散模型和多模态融合的医学图像肿瘤分割方法，所述方法的具体步骤如下：
Step1：获取多模态MRI医学图像，并对图像进行预处理：将不同模态的肿瘤图像随
机裁剪到大小，在输入去噪网络之前对其进行归一化操作，并采用镜像翻转、
强度变化、随机旋转进行数据增强。归一化的计算方式如下：
其中为归一化后的值，为归一化前的值，为输入的序列。表示输入序列
的均值，表示输入序列的标准差。
Step2：构建去噪网络，将预处理好的多模态图像分别送入不同的去噪网络，该网络通过正向扩散过程对输入图像进行破坏，然后预测噪声并修复出正常区域；
所述Step2中去噪网络由扩散正向过程、扩散模型和一步去噪组成，该网络对输入肿瘤图像进行去噪处理，修复出正常区域。
所述Step2中去噪网络具体操作过程如下：
预处理好的肿瘤图像通过不断地将高斯噪声添加到当前的图像，高斯噪声尺度通
过调节，定义为：
其中为输入肿瘤图像，为t时刻具有噪声的图像，为单位矩阵，，，表示正态分布。
所述Step2中，去噪网络中的一步去噪过程如下：
其中，为去噪网络输出的正常肿瘤图像，表示噪声方差调度，表示经过
训练的去噪网络，为t时刻具有噪声的图像。
Step3：将每个模态的原始输入图片和噪声图像的预测值被级联输入到不同的分割网络编码器中；
所述Step3中，分割网络编码器采用四个参数不共享的编码器，其结构为UNet编码器部分。
所述Step3中分割网络编码器具体操作步骤如下：
分割网络的输入是原始输入图像和从去噪网络获得的相应去噪图像沿通道维度
合并后的图像；编码器采用UNet结构对输入的不同模态的MRI图像进行特征提取，得到的特
征为，其中，表示肿瘤数据的四种模态，H、W为输入图
像的高和宽，D是切片数，C是通道数，为编码器第个特征提取块。
Step4：构建自适应融合模块，预测每个模态的重要性，自适应融合不同模态的编码特征；
所述Step4中自适应融合模块包括全局平均池化，全连接层，ReLU激活函数和softmax操作。所述Step4中自适应融合模块具体操作步骤如下：
将Step3获得不同模态特征沿通道维度进行拼接，先进行全局平均池化，然后经过第一个全连接层和ReLU激活函数进行降维，再经过第二个全连接层和softmax操作得到四个输出值，分别代表每个模态的权重，然后将权重值乘到对应的模态特征上进行自适应融合，整个过程定义为：
其中，为拼接操作，，均表示肿瘤数据的四种模态特
征。
Step5：构建分割网络解码器，将编码器的输出特征通过跳越连接送入到解码器并输出分割结果图；
所述Step5中分割网络的解码器为UNet网络解码结构，将编码器最后一层的输出特征通过Step4自适应融合后，进行上采样操作，得到采样后的特征图，然后解码网络将Step4中获得的具有相同分辨率大小的特征图通过跳越连接拼接，并继续上采样操作，重构到原始图像分辨率大小。
Step6：训练去噪网络和分割网络，所述Step6具体包括为：
Step61、利用Adam优化器对去噪网络和分割网络中的参数进行优化；
Step62、训练去噪网络和分割网络时定义一个损失函数，该函数将预测的掩码与真实标签进行比较，从图像中准确地提取肿瘤区域；
去噪网络的损失函数定义为：
其中，代表输入的噪声预测网络；为t时刻具有噪声的图像，为高斯
噪声；
Step63、采用加权交叉熵损失函数和Dice损失函数对分割网络进行优化，所述损失函数包括两部分，第一部分为真实标签和预测结果的加权交叉熵损失，第二部分采用Dice损失，所述损失函数为：
其中为加权交叉熵损失，为Dice损失，为真实标签，为预
测结果；总的损失函数为：
。
进一步地，为验证本发明方法的有效性，我们在Multimodal Brain TumorSegmentation Challenge 2020(BraTS2020)数据集上评估了提出方法的性能。每个数据集的所有病例都由Flair、T1、T1c和T2四种模态的图像组成。每个模态图像中都包含背景区域, 坏疽和非强化肿瘤区域, 瘤周水肿和增强肿瘤区域。BraTS2020中的训练集包含369个标签已知的MRI序列，验证集由125个标签未知的MRI序列构成。在此过程中，本发明将训练集以7:1:2的比例随机划分。本发明算法是在Pytorch框架下开发的，并在一张NVIDIAGTX3090显卡上进行了训练。在训练中，我们使用AdamW优化器来对模型进行参数优化。在此过程中，Batch size设置为1， weight decay为0.00001。学习率采用余弦退火算法进行调整，warmup设置为总训练轮数的1/10，总共训练了300轮。
进一步地，本发明采用Hausdorff距离和Dice分数评估模型的分割精度。HD95距离通过度量预测结果和真实标签的边界之间的相似度，来衡量分割的性能，其数值越小，表示边界分割越精确，Dice分数通过计算预测结果和真实标签边界的重叠率来度量分割性能。Dice系数值越大，表示分割结果越接近真实标签。
进一步地，在BraTS2020数据集上，本发明方法和3D U-Net，V-Net，Attention U-Net，TransBTS和SegResNet等脑肿瘤分割方法进行了性能比较，实验结果如表1所示。从此可以看出，本发明方法在ET、WT和TC区域，Dice系数分别达到了75.3%，89.3%和87.2%，Hausdorff距离分别为2.82，4.92，4.23。这证明了本发明方法在分割肿瘤区域和边界的有效性。
表1为不同方法在BraTS2018验证集上的客观评价比较
进一步地，本发明将TransBTS、SegResNet和Attention-Unet分割结果进行了视觉效果对比，如图3所示。由此可以看出，提出的方法可以更加精确的识别和定位肿瘤区域和肿瘤边界，而其他方法的分割结果较粗略。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.基于扩散模型和多模态融合的医学图像肿瘤分割方法，其特征在于：所述方法的具体步骤如下：
Step1：获取多模态MRI医学图像，并对图像进行预处理；
Step2：构建去噪网络，将预处理好的多模态图像分别送入不同的去噪网络，该网络通过正向扩散过程对输入图像进行破坏，然后预测噪声并修复出正常区域；
Step3：将每个模态的原始输入图片和噪声图像的预测值被级联输入到不同的分割网络编码器中；
Step4：构建自适应融合模块，预测每个模态的重要性，自适应融合不同模态的编码特征；
Step5：构建分割网络解码器，将编码器的输出特征通过跳越连接送入到解码器并输出分割结果图；
Step6：训练去噪网络和分割网络。
2.根据权利要求1所述的基于扩散模型和多模态融合的医学图像肿瘤分割方法，其特征在于：所述Step1中，将不同模态的肿瘤图像随机裁剪到大小，在输入去噪网络之前对其进行归一化操作，并采用镜像翻转、强度变化、随机旋转进行数据增强。
3.根据权利要求1所述的基于扩散模型和多模态融合的医学图像肿瘤分割方法，其特征在于，所述Step2中去噪网络由扩散正向过程、扩散模型和一步去噪组成，该网络对输入肿瘤图像进行去噪处理，修复出正常区域。
4.根据权利要求1所述的基于扩散模型和多模态融合的医学图像肿瘤分割方法，其特征在于，所述Step2中去噪网络具体操作过程如下：
预处理好的肿瘤图像通过不断地将高斯噪声添加到当前的图像，高斯噪声尺度通过调节，定义为：
；
；
其中为输入肿瘤图像，/>为t时刻具有噪声的图像，/>为单位矩阵，/>，，/>表示噪声方差调度，/>表示正态分布。
5.根据权利要求3所述的基于扩散模型和多模态融合的医学图像肿瘤分割方法，其特征在于，所述Step2中，去噪网络中的一步去噪过程如下：
；
其中，为去噪网络输出的正常肿瘤图像，/>表示噪声方差调度，/>表示经过训练的去噪网络，/>为t时刻具有噪声的图像。
6.根据权利要求1所述的基于扩散模型和多模态融合的医学图像肿瘤分割方法，其特征在于，所述Step3中，分割网络编码器采用四个参数不共享的编码器，其结构为UNet编码器部分。
7.根据权利要求1所述的基于扩散模型和多模态融合的医学图像肿瘤分割方法，其特征在于，所述Step3中分割网络编码器具体操作步骤如下：
分割网络的输入是原始输入图像和从去噪网络获得的相应去噪图像沿通道维度合并后的图像；编码器采用UNet结构对输入的不同模态的MRI图像进行特征提取，得到的特征为，其中/>，表示肿瘤数据的四种模态，H、W为输入图像的高和宽，D是切片数，C是通道数，/>为编码器第/>个特征提取块。
8.根据权利要求1所述的基于扩散模型和多模态融合的医学图像肿瘤分割方法，其特征在于，所述Step4中自适应融合模块包括全局平均池化，全连接层，ReLU激活函数和softmax操作；
所述Step4中自适应融合模块具体操作步骤如下：
将Step3获得不同模态特征沿通道维度进行拼接，先进行全局平均池化，然后经过第一个全连接层和ReLU激活函数进行降维，再经过第二个全连接层和softmax操作得到四个输出值，分别代表每个模态的权重，然后将权重值乘到对应的模态特征上进行自适应融合，整个过程定义为：
；
；
；
；
其中，为拼接操作，/>，/>均表示肿瘤数据的四种模态特征。
9.根据权利要求1所述的基于扩散模型和多模态融合的医学图像肿瘤分割方法，其特征在于，所述Step5中分割网络的解码器为UNet网络解码结构，将编码器最后一层的输出特征通过Step4自适应融合后，进行上采样操作，得到采样后的特征图，然后解码网络将Step4中获得的具有相同分辨率大小的特征图通过跳越连接拼接，并继续上采样操作，重构到原始图像分辨率大小。
10.根据权利要求1所述的基于扩散模型和多模态融合的医学图像肿瘤分割方法，其特征在于，所述Step6具体包括为：
Step61、利用Adam优化器对去噪网络和分割网络中的参数进行优化；
Step62、训练去噪网络和分割网络时定义一个损失函数，该函数将预测的掩码与真实标签进行比较，从图像中准确地提取肿瘤区域；
去噪网络的损失函数定义为：
；
其中，代表输入/>的噪声预测网络；/>为t时刻具有噪声的图像，/>为高斯噪声；
Step63、采用加权交叉熵损失函数和Dice损失函数对分割网络进行优化，所述损失函数包括两部分，第一部分为真实标签和预测结果的加权交叉熵损失，第二部分采用Dice损失，所述损失函数为：
；
其中为加权交叉熵损失，/>为Dice损失，/>为真实标签，/>为预测结果； 总的损失函数为：
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310954604.9A CN116664605B (zh) | 2023-08-01 | 2023-08-01 | 基于扩散模型和多模态融合的医学图像肿瘤分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310954604.9A CN116664605B (zh) | 2023-08-01 | 2023-08-01 | 基于扩散模型和多模态融合的医学图像肿瘤分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116664605A true CN116664605A (zh) | 2023-08-29 |
| CN116664605B CN116664605B (zh) | 2023-10-10 |
Family
ID=87721099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310954604.9A Active CN116664605B (zh) | 2023-08-01 | 2023-08-01 | 基于扩散模型和多模态融合的医学图像肿瘤分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664605B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011673A (zh) * | 2023-10-07 | 2023-11-07 | 之江实验室 | 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置 |
| CN117893440A (zh) * | 2024-03-15 | 2024-04-16 | 昆明理工大学 | 基于扩散模型和景深引导生成的图像去雾方法 |
| CN117936105A (zh) * | 2024-03-25 | 2024-04-26 | 杭州安鸿科技股份有限公司 | 基于深度学习网络的多模态黑色素瘤免疫治疗预测方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105389811A (zh) * | 2015-10-30 | 2016-03-09 | 吉林大学 | 一种基于多级阈值分割的多模态医学图像处理方法 |
| US20190045224A1 (en) * | 2016-02-04 | 2019-02-07 | Mediatek Inc. | Method and apparatus of non-local adaptive in-loop filters in video coding |
| CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
| CN112258488A (zh) * | 2020-10-29 | 2021-01-22 | 山西三友和智慧信息技术股份有限公司 | 一种医疗影像病灶分割方法 |
| US20210358117A1 (en) * | 2020-05-18 | 2021-11-18 | Prince Mohammad Bin Fahd University | Multi-stage brain tumor image processing method and system |
| CN114119977A (zh) * | 2021-12-01 | 2022-03-01 | 昆明理工大学 | 一种基于图卷积的Transformer胃癌癌变区域图像分割方法 |
| CN114782350A (zh) * | 2022-04-14 | 2022-07-22 | 浙江工业大学 | 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 |
| CN114820341A (zh) * | 2022-03-17 | 2022-07-29 | 西北工业大学 | 一种基于增强Transformer的图像盲去噪方法及系统 |
| CN115359045A (zh) * | 2022-10-19 | 2022-11-18 | 之江实验室 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
| CN115841464A (zh) * | 2022-11-25 | 2023-03-24 | 上海成电福智科技有限公司 | 基于自监督学习的多模态脑肿瘤影像分割方法 |
| CN115908187A (zh) * | 2022-12-07 | 2023-04-04 | 北京航空航天大学 | 基于快速去噪扩散概率模型的图像特征分析与生成方法 |
| CN116402865A (zh) * | 2023-06-06 | 2023-07-07 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
-
2023
- 2023-08-01 CN CN202310954604.9A patent/CN116664605B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105389811A (zh) * | 2015-10-30 | 2016-03-09 | 吉林大学 | 一种基于多级阈值分割的多模态医学图像处理方法 |
| US20190045224A1 (en) * | 2016-02-04 | 2019-02-07 | Mediatek Inc. | Method and apparatus of non-local adaptive in-loop filters in video coding |
| US20210358117A1 (en) * | 2020-05-18 | 2021-11-18 | Prince Mohammad Bin Fahd University | Multi-stage brain tumor image processing method and system |
| CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
| CN112258488A (zh) * | 2020-10-29 | 2021-01-22 | 山西三友和智慧信息技术股份有限公司 | 一种医疗影像病灶分割方法 |
| CN114119977A (zh) * | 2021-12-01 | 2022-03-01 | 昆明理工大学 | 一种基于图卷积的Transformer胃癌癌变区域图像分割方法 |
| CN114820341A (zh) * | 2022-03-17 | 2022-07-29 | 西北工业大学 | 一种基于增强Transformer的图像盲去噪方法及系统 |
| CN114782350A (zh) * | 2022-04-14 | 2022-07-22 | 浙江工业大学 | 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 |
| CN115359045A (zh) * | 2022-10-19 | 2022-11-18 | 之江实验室 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
| CN115841464A (zh) * | 2022-11-25 | 2023-03-24 | 上海成电福智科技有限公司 | 基于自监督学习的多模态脑肿瘤影像分割方法 |
| CN115908187A (zh) * | 2022-12-07 | 2023-04-04 | 北京航空航天大学 | 基于快速去噪扩散概率模型的图像特征分析与生成方法 |
| CN116402865A (zh) * | 2023-06-06 | 2023-07-07 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
Non-Patent Citations (5)
| Title |
|---|
| JUNDE WU等: "Medsegdiff: Medical image segmentation with diffusion probabilistic model", HTTPS://ARXIV.ORG/ABS/2211.00611, pages 1 - 11 * |
| YAFEI ZHANG等: "Prototype-Driven and Multi-Expert Integrated Multi-Modal MR Brain Tumor Image Segmentation", HTTPS://ARXIV.ORG/ABS/2307.12180, pages 1 - 14 * |
| ZEROOOOOO: "COLING 22，DABERT——双流注意力增强型BERT，自适应融合提升模型效果", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/573235518> * |
| ZHENG HUANG等: "AMF-Net: An adaptive multisequence fusing neural network for multi-modality brain tumor diagnosis", BIOMEDICAL SIGNAL PROCESSING AND CONTROL, vol. 72, pages 1 - 10 * |
| 李家忻: "基于深度学习的多模态磁共振图像肺部肿块分割方法研究", 中国博士学位论文全文数据库 医药卫生科技辑, pages 072 - 1 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011673A (zh) * | 2023-10-07 | 2023-11-07 | 之江实验室 | 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置 |
| CN117011673B (zh) * | 2023-10-07 | 2024-03-26 | 之江实验室 | 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置 |
| CN117893440A (zh) * | 2024-03-15 | 2024-04-16 | 昆明理工大学 | 基于扩散模型和景深引导生成的图像去雾方法 |
| CN117893440B (zh) * | 2024-03-15 | 2024-05-14 | 昆明理工大学 | 基于扩散模型和景深引导生成的图像去雾方法 |
| CN117936105A (zh) * | 2024-03-25 | 2024-04-26 | 杭州安鸿科技股份有限公司 | 基于深度学习网络的多模态黑色素瘤免疫治疗预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116664605B (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116664605B (zh) | 基于扩散模型和多模态融合的医学图像肿瘤分割方法 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN109410219B (zh) | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 | |
| Gros et al. | SoftSeg: Advantages of soft versus binary training for image segmentation | |
| CN115661144B (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN110120048B (zh) | 结合改进U-Net和CMF的三维脑肿瘤图像分割方法 | |
| CN112150428A (zh) | 一种基于深度学习的医学图像分割方法 | |
| CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
| CN105809175B (zh) | 一种基于支持向量机算法的脑水肿分割方法及系统 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN113221925B (zh) | 一种基于多尺度图像的目标检测方法及装置 | |
| Liu et al. | Infrared and visible image fusion and denoising via ℓ2− ℓp norm minimization | |
| Zhang et al. | Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement | |
| Gui et al. | Adaptive single image dehazing method based on support vector machine | |
| Saleem et al. | A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| CN117593275A (zh) | 一种医学图像分割系统 | |
| CN110378167B (zh) | 一种基于深度学习的条码图像补正方法 | |
| Wu et al. | Multi-focus image fusion: Transformer and shallow feature attention matters | |
| Kumar et al. | Underwater Image Enhancement using deep learning | |
| CN116342446A (zh) | 多聚焦图像融合方法及装置、电子设备、存储介质 | |
| CN106709921B (zh) | 一种基于空间Dirichlet混合模型的彩色图像分割方法 | |
| Shen | A novel conditional generative adversarial network based on graph attention network For moving image denoising | |
| CN116310394A (zh) | 显著性目标检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |