CN111612754B - 基于多模态图像融合的mri肿瘤优化分割方法及系统 - Google Patents

基于多模态图像融合的mri肿瘤优化分割方法及系统 Download PDF

Info

Publication number
CN111612754B
CN111612754B CN202010413904.2A CN202010413904A CN111612754B CN 111612754 B CN111612754 B CN 111612754B CN 202010413904 A CN202010413904 A CN 202010413904A CN 111612754 B CN111612754 B CN 111612754B
Authority
CN
China
Prior art keywords
modal
network
tumor
image fusion
mri
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010413904.2A
Other languages
English (en)
Other versions
CN111612754A (zh
Inventor
耿道颖
于泽宽
李郁欣
尹波
张军
吴昊
耿岩
胡斌
杨丽琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuying Shanghai Medical Technology Co ltd
Original Assignee
Fuying Shanghai Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuying Shanghai Medical Technology Co ltd filed Critical Fuying Shanghai Medical Technology Co ltd
Priority to CN202010413904.2A priority Critical patent/CN111612754B/zh
Publication of CN111612754A publication Critical patent/CN111612754A/zh
Application granted granted Critical
Publication of CN111612754B publication Critical patent/CN111612754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于多模态图像融合的MRI肿瘤优化分割方法及系统，包括：步骤1：构建MRI肿瘤多模态图像融合的网络；步骤2：构建用于增强肿瘤图像分割的多模态3D网络；步骤3：基于GAN的图像融合，构建显著性损失函数；步骤4：构建Mask注意机制对比度损失函数；步骤5：构建SSIM损失函数；步骤6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。本发明当训练深层架构时，一个剩余单位会有所帮助；利用递归残差卷积层进行特征积累，为分割任务提供了更好的特征表示；为医学图像分割设计了具有相同网络参数、性能较好的U‑NET体系结构。

Description

基于多模态图像融合的MRI肿瘤优化分割方法及系统
技术领域
本发明涉及医学图像分割技术领域，具体地，涉及一种基于多模态图像融合的MRI肿瘤优化分割方法及系统。尤其地，涉及一种多模态医学图像融合与损失函数优化的三维U-Net大脑肿瘤分割方法。
背景技术
多模态MRI(核磁共振)图像是脑肿瘤评估和治疗的重要诊断工具，就目前而言，相比自然图像，医学影像分辨率相对较低，而且医学造影代价较高，数据量相对较少。医学图像的标注门槛较高，只有经验丰富的资深医师才能对三维图像进行准确标注，因此，可用来进行计算机学研究的数据样本及标签非常稀少。数据量的匮乏是医学影像相对自然图像分割的难点之一，导致目前还没有一种分割算法能够满足临床的需要，不同专家手动分割脑肿瘤图像的结果也有很大差异，而且人工成本较高。因此，研究精确度高及鲁棒性强的脑肿瘤分割方法是十分有必要的。
基于MRI图像的脑肿瘤传统分割方法大致可以分为三类，即基于边界、基于区域以及两者相结合的方法。其中，基于边界的方法就是在图像中标识目标的边界，基于区域的方法就是在图像中标识目标所占有的区域，两者相结合的方法就是将基于边界和基于区域的方法结合起来，取两者的优势而避免其劣势的方法。但是，本发明的发明人经过研究发现，这些方法的分割结果过于粗糙且分割效率较低，并且不适用于样本量不足的脑肿瘤图像。
近年来，深度学习算法已经在医学图像分析的诸多领域得到广泛应用，以卷积网络(Convolutional Neural Networks,CNN)为代表的网络都包含多个卷积层，激活层，池化层等，如U-Net[1]和V-Net[2]、DenseNet[3]。这些网络已成功应用于许多生物医学图像任务，并在语义分割上表现出良好的表现。如今，很多研究学者将分割的重点由2D分割转移到3D分割上来，3D-CNN模型在一定程度上解决了将2D-CNN架构直接作用于三维医学影像时切片与切片间不连续性的问题。但是目前的三维医学图像数据较少，深度网络却需要大量的数据进行训练，因此由于数据量不足导致所得出的分割结果不够精确。
专利文献CN107220980A(申请号：201710379095.6)公开了一种基于全卷积网络的MRI图像脑肿瘤自动分割方法，包括脑肿瘤多模态MRI图像预处理、全卷积网络模型构造、网络训练与参数调优和脑肿瘤图像自动分割，具体将MRI图像脑肿瘤的分割转换为像素级语义标注问题，对MRI不同模态强调的差异信息，将FLAIR、T1、T1c和T2四个模态的二维整幅切片合成四通道输入图像，利用已经训练好的卷积神经网络的卷积层和池化层作为基础特征层，在后添加三个与全连接层等同的卷积层构成中间层，使得中间层输出与语义分割类别数量相对应的粗糙分割图，在中间层的后面添加反卷积网络，用于对粗糙分割图进行插值得到与原图像大小一样的精细分割图。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于多模态图像融合的MRI肿瘤优化分割方法及系统。
针对现有传统分割方法要通过人的主观意识去理解图像，从而提取特定的特征信息，如灰度信息、纹理信息及对称信息等实现脑肿瘤的分割，结果只能针对特定图像有比较好的分割结果，并且分割结果过于粗糙、分割效率较低的技术问题，本发明提供一种基于多模态图像融合的MRI肿瘤优化分割网络。本发明融合Mask注意机制和显著性损失函数，来获得具有更多肿瘤信息的更好生成融合图像，同时采用三阶段分割，输入四模态的MRI图像，基于级联改良的U-Net来准确提取肿瘤，并使用前期阶段的分割结果作为后期阶段的附加输入。
根据本发明提供的基于多模态图像融合的MRI肿瘤优化分割方法，包括：
步骤1：构建MRI肿瘤多模态图像融合的网络；
步骤2：构建用于增强肿瘤图像分割的多模态3D网络；
步骤3：基于GAN的图像融合，构建显著性损失函数；
步骤4：构建Mask注意机制对比度损失函数；
步骤5：构建SSIM损失函数；
步骤6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。
优选的，所述MRI肿瘤多模态图像融合的网络包括：融合Mask注意机制和显著性损失函数。
优选的，所述步骤3包括：在图像融合中，引入结构相似度指数，结构相似度指数是两个图像相似度的度量；
引入对比度损失函数、结构相似性损失函数、细节损失函数，设置λ,μ,ω为权重因子，通过计算三种函数分别乘以权重后叠加得到显著性损失函数。
优选的，所述步骤4包括：定义Ei是Maski区域的四个模态图像体素的加权灰度平均值，计算出两两模态图像体素的加权灰度平均值相减与相加的比值，叠加后取绝对值得出损失函数。
优选的，所述步骤5包括：构造Mask注意区域G(z)mask＝(1-Mask4)⊙G(z)和ymask＝(1-Mask4)⊙y，在融合图像G(z)和生成金标准y之间通过变换得到结构相似度指数，推出SSIM损失函数。
优选的，所述步骤6包括：根据所述MRI肿瘤多模态图像融合的网络，对输入的3D核磁共振图像进行融合，根据多模态3D网络将融合后的多模态图像进行分割，通过高斯随机变量初始化添加的三个卷积层的权值，利用预处理后的四通道图像作为训练样本并输入到构造的全卷积网络模型中，再采用随机梯度下降法作为优化方法有监督地最小化损失函数，从而对全卷积网络模型包括的所有卷积层的权值进行调优训练。
优选的，所述用于肿瘤核图像分割的多模态3D网络包括：
网络的压缩路径由4个block组成，每个block使用了3个有效卷积和1个MaxPooling降采样，每次降采样之后Feature Map的个数翻倍；
网络的扩展路径由4个block组成，除最后一层每个block开始之前通过反卷积将Feature Map的尺寸乘2，同时将其个数减半，然后和左侧对称的压缩路径的Feature Map合并。
优选的，整个多模态MRI肿瘤图像的融合结果用作附加输入，连同四种模态的MRI图像序列输入到核磁共振图像通道，产生3通道级联输入；
多模态3D网络的输出是3通道张量，为肿瘤分割结果图。
优选的，加入SE激励模块，SE激励模块明确建模通道之间的相互依赖关系，自适应重新校准通道方向的特征响应。
根据本发明提供的基于多模态图像融合的MRI肿瘤优化分割系统，包括：
模块M1：构建MRI肿瘤多模态图像融合的网络；
模块M2：构建用于增强肿瘤图像分割的多模态3D网络；
模块M3：基于GAN的图像融合，构建显著性损失函数；
模块M4：构建Mask注意机制对比度损失函数；
模块M5：构建SSIM损失函数；
模块M6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。
与现有技术相比，本发明具有如下的有益效果：
1、本发明当训练深层架构时，一个剩余单位会有所帮助；
2、本发明利用递归残差卷积层进行特征积累，为分割任务提供了更好的特征表示；
3、本发明为医学图像分割设计了具有相同网络参数、性能较好的U-NET体系结构。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的神经网络分割算法流程图；
图2为本发明的多模态脑胶质瘤影像分割的方法的流程图；
图3为本发明的神经网络架构图；
图4为本发明的多模态融合示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明将医学图像和深度学习算法结合起来,构建多模态MRI脑肿瘤图像的生成，并完成脑肿瘤核磁共振图像的分割。这种基于多模态图像融合的MRI肿瘤优化分割将在医学影像领域内产生重要的影响。本发明提出了一种基于U-Net的改进网络结构，融合了SE-Net网络，通过明确地建模通道之间的相互依赖关系，自适应地重新校准通道方向的特征响应。SE块带来了显着的改善性能，为现有的最先进的CNNs在轻微的额外计算成本。提供快速、可靠的脑肿瘤影像生成结果，从而为脑肿瘤的诊断、治疗和医生模拟读片训练提供准确的依据。
为使本发明目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明实的技术方案进行清楚、完整地描述，包括以下步骤：
如图2所示为多模态医学图像融合流程图。本发明提出了融合Mask注意机制和显著性损失函数，输入对抗生成网络的图像可以仅包含多个病灶区域的Mask图像多通道融合图像，也可以包含融合Mask图像及现有的健康人多模态MRI影像，配对的MRI影像为包含不同病灶的脑肿瘤影像。
本发明包括基于GAN网络的图像融合，其中对抗生成网络GAN的网络结构包括生成模型G和判别模型D。生成模型G捕获样本数据分布并生成类似于真实训练数据的样本，其中噪声Z服从某个分布(例如高斯分布，随机分布，均匀分布等)；判别模型D是一个二分类器，用于估计样本来自训练数据(非生成数据)的概率。
通过优化目标函数，可以调整概率生成模型的参数，使得生成的概率分布尽可能接近实际数据分布，但是这里的分布参数不再与传统概率统计相同，这些参数保存在一个黑盒中。
通过获得具有更多肿瘤信息的更好生成融合图像，从而进一步提高肿瘤、坏死、水肿区域的分割精度。本发明将神经胶质瘤的MRIT1，T2，T1ce和Flair模态定义为X1,X2,X3,X4，然后在分割金标准中将肿瘤核心记为Mask1，在分割金标准中将肿瘤增长区域记为Mask2，在分割金标准中将肿瘤水肿记为Mask3，在分割金标准中将背景定义为Mask4。将“融合图像”定义为G(z)，将融合金标准图像定义为y。则显著性损失函数如公式(2)所示：
Losssilency＝λ(1-LossContrast)+μ(1-LossSSIM)+ωLossdetail       (2)
其中，LossContrast是对比度损失函数，LossSSIM是结构相似性损失函数，Lossdetial是细节损失函数，λ,μ,ω是权重因子。
在图像增强方法中，对比度C通常用于评估肿瘤图像对比度。将Y定义为ROI的平均灰度值，将G定义为背景的平均灰度值，则C可以通过以下等式(3)获得：
Figure BDA0002494328310000051
所述方法中还包括构建Mask注意机制对比度损失函数，如下式：
Figure BDA0002494328310000052
其中，Ei是Maski区域的四个模态图像体素的加权灰度平均值。可以通过以下等式计算Ei：
Figure BDA0002494328310000061
其中，Mi是Maski的体积，⊙是元素对应相乘运算，αi,βi,γi,ηi是Mi中四种模态MRI的权重因子，通过最大化不同肿瘤部位之间的对比度以获得更明显的肿瘤融合边缘。
在图像融合方法中，结构相似度指数(structural similarity index，SSIM)是两个图像相似度的度量。SSIM的值为[0,1]，SSIM越接近于1，表示两幅图越相似。给定两个图像A和B，则量图像的SSIM如下式：
Figure BDA0002494328310000062
其中，μA为图像A的灰度均值，μB为图像B的灰度均值，
Figure BDA0002494328310000064
为图像A的灰度方差，
Figure BDA0002494328310000065
为图像B的灰度方差，σAB为图像A、B的灰度协方差的，C1，C2为常数，一般取C1＝0.5C2。
SSIM可以克服MSE无法测量图像结构相似性的缺点，在融合图像Gz和生成金标准y之间提出了基于SSIM的Mask注意机制SSIM损失函数，Mask注意区域为G(z)mask＝(1-Mask4)⊙G(z)和ymask＝(1-Mask4)⊙y，SSIM损失函数如下式：
Figure BDA0002494328310000063
综上，本发明提出融合mask注意机制，对比度CII指标的SSIM损失函数，保证多模态MRI的融合效果。
(2)如图1所示为本发明的多模态脑胶质瘤影像分割的方法的流程图，对选用的多模态图像模板进行融合以及损失函数的优化，再基于输入的经过预处理的肿瘤图像特征图，搭建分割模型并进行分割模型训练，最后对完成对图像的精确分割；
(3)如图3所示为本发明的神经网络DRD模块，流程图输入可以是Xu，也可以是k-space域中的Ku，通过ReLU进行卷积计算。
(4)如图4所示为本发明的神经网络架构图，网络的输入是一张边缘经过镜像操作的图片，网络的压缩路径是由卷积和Max Pooling构成的一系列降采样操作。压缩路径由4个block组成，每个block使用了3个有效卷积和1个Max Pooling降采样，每次降采样之后Feature Map的个数乘2。同时网络的压缩路径中加入SE激励模块，将这些块堆叠在一起，形成SE-Net架构。通过挤压操作产生一个通道描述符通过聚合特征图谱,聚合之后是一个激励操作，采用一个简单的自选通机制的形式，将嵌入作为输入，并产生一组每个通道的调制权值。这些权值被应用到特征映射U中，以生成SE块的输出，这些输出可以直接输入到网络的后续层中。SE块明确地建模通道之间的相互依赖关系，自适应地重新校准通道方向的特征响应。
网络的扩展路径同样由4个block组成，除最后一层每个block开始之前通过反卷积将Feature Map的尺寸乘2，同时将其个数减半，然后和左侧对称的压缩路径的FeatureMap合并，由于左侧压缩路径和右侧扩展路径的Feature Map的尺寸不一样，是通过将压缩路径的Feature Map裁剪到和扩展路径相同尺寸的Feature Map进行归一化的。扩展路径的卷积操作依旧使用的是有效卷积操作，最终得到的Feature Map的尺寸。由于该任务是一个二分类任务，所以网络有两个输出Feature Map。
综上所述，本发明公开了一种基于多模态图像融合的MRI肿瘤优化分割方法，该方法首先构建多模态MRI脑肿瘤图像的生成，将多种模式的脑肿瘤图像进行融合结合最新的全卷积神经网络图像分割方法，提出DRD-Net网络结构，并加入SE激励模块，明确地建模通道之间的相互依赖关系，自适应地重新校准通道方向的特征响应从而实现脑肿瘤图像的精确分割。为脑肿瘤的诊断、治疗和医生模拟读片训练提供准确的依据。
根据本发明提供的基于多模态图像融合的MRI肿瘤优化分割系统，包括：
模块M1：构建MRI肿瘤多模态图像融合的网络；
模块M2：构建用于增强肿瘤图像分割的多模态3D网络；
模块M3：基于GAN的图像融合，构建显著性损失函数；
模块M4：构建Mask注意机制对比度损失函数；
模块M5：构建SSIM损失函数；
模块M6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，包括：
步骤1：构建MRI肿瘤多模态图像融合的网络；
步骤2：构建用于增强肿瘤图像分割的多模态3D网络；
步骤3：基于GAN的图像融合，构建显著性损失函数；
步骤4：构建Mask注意机制对比度损失函数；
步骤5：构建SSIM损失函数；
步骤6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。
2.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述MRI肿瘤多模态图像融合的网络包括：融合Mask注意机制和显著性损失函数。
3.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤3包括：在图像融合中，引入结构相似度指数，结构相似度指数是两个图像相似度的度量；
引入对比度损失函数、结构相似性损失函数、细节损失函数，设置λ,μ,ω为权重因子，通过计算三种函数分别乘以权重后叠加得到显著性损失函数。
4.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤4包括：定义Ei是Maski区域的四个模态图像体素的加权灰度平均值，计算出两两模态图像体素的加权灰度平均值相减与相加的比值，叠加后取绝对值得出损失函数。
5.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤5包括：构造Mask注意区域G(z)mask＝(1-Mask4)⊙G(z)和ymask＝(1-Mask4)⊙y，在融合图像G(z)和生成金标准y之间通过变换得到结构相似度指数，推出SSIM损失函数。
6.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤6包括：根据所述MRI肿瘤多模态图像融合的网络，对输入的3D核磁共振图像进行融合，根据多模态3D网络将融合后的多模态图像进行分割，通过高斯随机变量初始化添加的三个卷积层的权值，利用预处理后的四通道图像作为训练样本并输入到构造的全卷积网络模型中，再采用随机梯度下降法作为优化方法有监督地最小化损失函数，从而对全卷积网络模型包括的所有卷积层的权值进行调优训练。
7.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述用于肿瘤核图像分割的多模态3D网络包括：
网络的压缩路径由4个block组成，每个block使用了3个有效卷积和1个Max Pooling降采样，每次降采样之后Feature Map的个数翻倍；
网络的扩展路径由4个block组成，除最后一层每个block开始之前通过反卷积将Feature Map的尺寸乘2，同时将其个数减半，然后和左侧对称的压缩路径的Feature Map合并。
8.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，整个多模态MRI肿瘤图像的融合结果用作附加输入，连同四种模态的MRI图像序列输入到核磁共振图像通道，产生3通道级联输入；
多模态3D网络的输出是3通道张量，为肿瘤分割结果图。
9.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，加入SE激励模块，SE激励模块明确建模通道之间的相互依赖关系，自适应重新校准通道方向的特征响应。
10.一种基于多模态图像融合的MRI肿瘤优化分割系统，其特征在于，包括：
模块M1：构建MRI肿瘤多模态图像融合的网络；
模块M2：构建用于增强肿瘤图像分割的多模态3D网络；
模块M3：基于GAN的图像融合，构建显著性损失函数；
模块M4：构建Mask注意机制对比度损失函数；
模块M5：构建SSIM损失函数；
模块M6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。
CN202010413904.2A 2020-05-15 2020-05-15 基于多模态图像融合的mri肿瘤优化分割方法及系统 Active CN111612754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413904.2A CN111612754B (zh) 2020-05-15 2020-05-15 基于多模态图像融合的mri肿瘤优化分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413904.2A CN111612754B (zh) 2020-05-15 2020-05-15 基于多模态图像融合的mri肿瘤优化分割方法及系统

Publications (2)

Publication Number Publication Date
CN111612754A CN111612754A (zh) 2020-09-01
CN111612754B true CN111612754B (zh) 2023-04-07

Family

ID=72196552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413904.2A Active CN111612754B (zh) 2020-05-15 2020-05-15 基于多模态图像融合的mri肿瘤优化分割方法及系统

Country Status (1)

Country Link
CN (1) CN111612754B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112147573A (zh) * 2020-09-14 2020-12-29 山东科技大学 一种基于csi的幅值和相位信息的无源定位方法
CN112200810B (zh) * 2020-09-30 2023-11-14 深圳市第二人民医院(深圳市转化医学研究院) 多模态的自动化脑室分割系统及其使用方法
CN112488976B (zh) * 2020-12-11 2022-05-17 华中科技大学 一种基于darts网络的多模态医学图像融合方法
CN112529915B (zh) * 2020-12-17 2022-11-01 山东大学 一种脑肿瘤图像分割方法及系统
CN112950639B (zh) * 2020-12-31 2024-05-10 山西三友和智慧信息技术股份有限公司 一种基于SA-Net的MRI医学图像分割方法
CN112785617B (zh) * 2021-02-23 2022-04-15 青岛科技大学 残差UNet直肠癌肿瘤磁共振图像自动分割方法
CN113496493B (zh) * 2021-06-11 2024-04-16 浙江工业大学 一种结合多模态信息的脑肿瘤图像分割方法
CN113571203B (zh) * 2021-07-19 2024-01-26 复旦大学附属华山医院 多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统
CN113554642B (zh) * 2021-08-12 2022-03-11 北京安德医智科技有限公司 对病灶鲁棒的脑区定位方法及装置、电子设备和存储介质
CN114332102A (zh) * 2021-12-31 2022-04-12 福州大学 基于分离表示的脑肿瘤图像生成与分割联合学习方法
CN114494322B (zh) * 2022-02-11 2024-03-01 合肥工业大学 一种基于图像融合技术的多模态图像分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082084A1 (zh) * 2016-11-07 2018-05-11 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN110047080A (zh) * 2019-03-12 2019-07-23 天津大学 一种基于V-Net的多模态脑肿瘤图像精细分割的方法
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082084A1 (zh) * 2016-11-07 2018-05-11 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN110047080A (zh) * 2019-03-12 2019-07-23 天津大学 一种基于V-Net的多模态脑肿瘤图像精细分割的方法
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于三维全卷积DenseNet的脑胶质瘤MRI分割;黄奕晖等;《南方医科大学学报》;20180620(第06期);全文 *

Also Published As

Publication number Publication date
CN111612754A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111612754B (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN111311592A (zh) 一种基于深度学习的三维医学图像自动分割方法
US20070223815A1 (en) Feature Weighted Medical Object Contouring Using Distance Coordinates
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
Aranguren et al. Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN111768375B (zh) 一种基于cwam的非对称gm多模态融合显著性检测方法及系统
CN112598656A (zh) 一种基于UNet++优化和权值预算的脑肿瘤分割算法
CN111260667A (zh) 一种结合空间引导的神经纤维瘤分割方法
CN116596846A (zh) 图像分割方法、图像分割模型构建方法、装置及介质
CN112036298A (zh) 一种基于双段区块卷积神经网络的细胞检测方法
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN117522891A (zh) 一种3d医学图像分割系统及方法
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统
CN117036380A (zh) 一种基于级联Transformer的脑肿瘤分割方法
CN116309640A (zh) 一种基于多层级多注意力MLMA-UNet网络的图像自动分割方法
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法
CN111612762B (zh) Mri脑肿瘤图像生成方法及系统
CN115018780A (zh) 一种融合全局推理和mlp架构的甲状腺结节分割方法
CN112927203A (zh) 基于多序列mri全局信息的胶质瘤患者术后生存期预测方法
CN113160142A (zh) 一种融合先验边界的脑肿瘤分割方法
CN111932557A (zh) 基于集成学习和概率图模型的图像语义分割方法及装置
CN117523205B (zh) 少样本ki67多类别细胞核的分割识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210305

Address after: 200131 building C, No. 888, Huanhu West 2nd Road, Lingang New District, Pudong New Area pilot Free Trade Zone, Shanghai

Applicant after: Fuying (Shanghai) Medical Technology Co.,Ltd.

Address before: 200040 No. 12 middle Urumqi Road, Shanghai, Jingan District

Applicant before: HUASHAN HOSPITAL, FUDAN University

GR01 Patent grant
GR01 Patent grant