CN112037171B - 基于多模态特征融合的多任务mri脑瘤图像分割方法 - Google Patents

基于多模态特征融合的多任务mri脑瘤图像分割方法 Download PDF

Info

Publication number
CN112037171B
CN112037171B CN202010752119.XA CN202010752119A CN112037171B CN 112037171 B CN112037171 B CN 112037171B CN 202010752119 A CN202010752119 A CN 202010752119A CN 112037171 B CN112037171 B CN 112037171B
Authority
CN
China
Prior art keywords
image
feature
segmentation
mode
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010752119.XA
Other languages
English (en)
Other versions
CN112037171A (zh
Inventor
张鼎文
黄国海
张强
张佳佳
韩军功
王龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010752119.XA priority Critical patent/CN112037171B/zh
Publication of CN112037171A publication Critical patent/CN112037171A/zh
Application granted granted Critical
Publication of CN112037171B publication Critical patent/CN112037171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于多模态特征融合的多任务MRI脑瘤图像分割方法，包括获取第一多模态3D MRI图像集；对第一多模态3D MRI图像进行标准化处理得到第二多模态3D MRI图像；将第二T1图像、第二T1c图像、第二T2图像和第二Flair图像输入至训练完成的脑瘤分割网络模型，得到第一ET区域分割图、第一TC区域分割图和第一WT区域分割图；得到第二ET区域分割图、第二TC区域分割图和第二WT区域分割图；将第二ET区域分割图、第二TC区域分割图和第二WT区域分割图结合成为最终的3D多类别脑瘤分割图。本发明根据三个脑瘤区域间的相互联系设计了级联的多任务分割网络结构，根据分析得到的不同模态MRI图像在分割不同的肿瘤区域时的重要性不同。

Description

基于多模态特征融合的多任务MRI脑瘤图像分割方法
技术领域
本发明属于医学图像处理技术领域，具体涉及一种基于多模态特征融合的多任务MRI脑瘤图像分割方法。
背景技术
MRI(Magnetic Resonance Imaging，磁共振成像)脑瘤图像分割，旨在从多模态MRI图像数据中分割出各个不同的肿瘤区域(整体脑瘤区域WT、脑瘤核区域TC和强化脑瘤核区域ET)。该任务可得到患者的重要的临床信息和病理特征，进而能够为患者的临床治疗及制定后续的康复计划提供重要的参考信息。
早期MRI脑瘤图像分割依靠经验丰富的医生人工地判断MRI图像中的肿瘤区域。为了实现分割工作由人工向计算机的转变，多种在自然图像上较为成熟的分割算法被应用在MRI脑瘤图像分割任务中，如基于图像像素值分析的分割方法和基于水平集和活动轮廓模型的分割方法。这些方法虽能够实现MRI脑瘤图像的自动化分割，但效果不尽如人意。近年来飞速发展的深度学习算法在图像处理领域获得了巨大的成功，并广泛应用于MRI脑瘤图像分割中，取得了显著的效果。目前基于深度学习的MRI脑瘤图像分割方法可以分成基于2D卷积神经网络的分割方法和基于3D卷积神经网络的分割方法。2D分割网络和3D分割网络各有优缺点，2D分割网络普遍应用在自然图像的分割任务中，也适用于医学图像分割任务，然而，由于MRI图像为3D数据，所以3D分割网络在此任务中更为常用。
目前，3D U-Net和3D V-Net及其扩展的模型是应用较多的3D端对端的分割模型，这两种模型充分利用的卷积网络中的多层特征信息，可以在数据集比较小的医学图像分割任务中取得不错的效果。然而，由于脑瘤可发病于脑部的任意区域，其形状大小不一，再加上MRI脑瘤图像中肿瘤区域和非肿瘤区域的分界不明显，肿瘤内各个区域的对比度不高且存在严重类间不平衡等问题，使得MRI脑瘤图像分割任务仍充满挑战。
为解决类间不平衡的问题，避免训练时分割模型受到背景和健康组织的过度影响，基于由粗到细的MRI脑瘤图像分割方法被提出，如“WANG G,LI W,OURSELIN S,etal.Automatic brain tumor segmentation using cascaded anisotropicconvolutional neural networks[C]//International MICCAI brainlesionworkshop.2017:178–190.”，公开了一种基于多任务级联结构的MRI脑瘤图像分割方法，该方法将复杂的多类别语义分割任务分成三个二值化分割任务，依次分割出脑瘤图像中的三个肿瘤区域。级联结构首先分割出其中一类(如WT)的区域，然后将该结果和原输入图像结合分割下一类，依次分割出所有区域，最后将所有区域的分割图结合得到最后的多分类结果。其中在将前一步分割结果和原输入图像结合时，现有方法常采用像素级融合，如，级联，掩膜和像素级相加。
然而，这种简单的像素级融合方法未考虑到MRI脑瘤图像不同模态信息对不同肿瘤区域重要性的差异。此外，上述方法仅将脑瘤分割任务当作普通的多分类语义分割任务进行处理而没有充分利用脑瘤各区域间的联系。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于多模态特征融合的多任务MRI脑瘤图像分割方法。本发明要解决的技术问题通过以下技术方案实现：
一种基于多模态特征融合的多任务MRI脑瘤图像分割方法，包括：
获取第一多模态3D MRI图像集，其中，所述第一多模态3D MRI图像集包括若干第一多模态3D MRI图像，所述第一多模态3D MRI图像包括第一T1图像、第一T1c图像、第一T2图像和第一Flair图像；
对所述第一多模态3D MRI图像进行标准化处理得到第二多模态3D MRI图像，所述第二多模态3D MRI图像包括第二T1图像、第二T1c图像、第二T2图像和第二Flair图像；
将所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像输入至训练完成的脑瘤分割网络模型，得到第一ET区域分割图、第一TC区域分割图和第一WT区域分割图，所述脑瘤分割网络模型包括第一分割子网络、第二分割子网络和第三分割子网络，且在所述第一分割子网络、所述第二分割子网络和所述第三分割子网络之前分别设置了一多模态特征感知模块；
采用去除小连通域方法对所述第一ET区域分割图、所述第一TC区域分割图和所述第一WT区域分割图进行后处理，并去除所述第一ET区域分割图的噪声区域，对应得到第二ET区域分割图、第二TC区域分割图和第二WT区域分割图；
将所述第二ET区域分割图、所述第二TC区域分割图和所述第二WT区域分割图结合成为最终的3D多类别脑瘤分割图。
在本发明的一个实施例中，对所述第一多模态3D MRI图像进行标准化处理得到第二多模态3D MRI图像，包括：
分别求取所述第一T1图像、所述第一T1c图像、所述第一T2图像和所述第一Flair图像的像素均值和方差；
基于所述像素均值和所述方差，根据标准化计算公式分别对所述第一T1图像、所述第一T1c图像、所述第一T2图像和所述第一Flair图像进行处理，对应得到所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像。
在本发明的一个实施例中，所述第一分割子网络包括：一个3×3×3的第一卷积模块，三个第一残差模块和一个1×1×1的第二卷积模块，其中，所述第一卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层级联一个批规范化层和一个ReLu激活函数层构成，所述第一残差模块包含两个卷积核数为16、卷积核大小为3×3×3、扩张系数为2的卷积层，且每个卷积层前级联一个批规范化层和一个ReLu激活函数层，所述第二卷积模块由一个卷积核数为2、卷积核大小为1×1×1的3D卷积层构成。
在本发明的一个实施例中，所述第二分割子网络包括：一个3×3×3的第三卷积模块，三个第二残差模块和一个1×1×1的第四卷积模块，其中，所述第三卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层级联一个批规范化层和一个ReLu激活函数层构成，所述第二残差模块包含两个卷积核数为16、卷积核大小为3×3×3、扩张系数为4的卷积层，且每个卷积层前级联一个批规范化层和一个ReLu激活函数层，所述第四卷积模块由一个卷积核数为2、卷积核大小为1×1×1的3D卷积层构成。
在本发明的一个实施例中，所述第三分割子网络包括：一个3×3×3的第五卷积模块，三个第三残差模块和一个1×1×1的第六卷积模块，其中，所述第五卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层级联一个批规范化层和一个ReLu激活函数层构成，所述第三残差模块包含两个卷积核数为16、卷积核大小为3×3×3、扩张系数为6的卷积层，且每个卷积层前级联一个批规范化层和一个ReLu激活函数层，所述第六卷积模块由一个卷积核数为2、卷积核大小为1×1×1的3D卷积层构成。
在本发明的一个实施例中，所述脑瘤分割网络模型的训练方法包括：
获取第二多模态3D MRI图像集，其中，所述第二多模态3D MRI图像集包括若干第三多模态3D MRI图像，所述第三多模态3D MRI图像包括第三T1图像、第三T1c图像、第三T2图像和第三Flair图像；
对第三多模态3D MRI图像进行标准化处理得到第四多模态3D MRI图像，所述第四多模态3D MRI图像包括第四T1图像、第四T1c图像、第四T2图像和第四Flair图像；
基于多模态特征感知模块，分别对所述第四T1图像、所述第四T1c图像、所述第四T2图像和所述第四Flair图像进行处理，得到初始的多模态特征，其中所述初始的多模态特征包括第四多模态特征、第五多模态特征和第六多模态特征，所述多模态特征感知模块包括第一多模态特征感知模块、第二多模态特征感知模块和第三多模态特征感知模块；
将所述第四多模态特征输入至所述第一分割子网络得到训练完成的所述第一多模态特征感知模块和所述第一分割子网络；
将所述第五多模态特征与ET真值图进行级联之后输入至所述第二分割子网络进行训练得到训练完成的所述第二多模态特征感知模块和所述第二分割子网络；
将所述第六多模态特征与TC真值图进行级联之后输入至所述第三分割子网络进行训练得到训练完成的所述第三多模态特征感知模块和所述第三分割子网络；
将训练完成的所述第一多模态特征感知模块、所述第一分割子网络、所述第二多模态特征感知模块、所述第二分割子网络、所述第三多模态特征感知模块和所述第三分割子网络进行级联后得到完整的脑瘤分割网络模型。
在本发明的一个实施例中，基于多模态特征感知模块，分别对所述第四T1图像、所述第四T1c图像、所述第四T2图像和所述第四Flair图像进行处理，得到多模态特征，包括：
将所述第四T1图像、所述第四T1c图像、所述第四T2图像和所述第四Flair图像分别输入至两个第七卷积模块，对应得到第一单模态特征、第二单模态特征、第三单模态特征和第四单模态特征；
级联所述第一单模态特征、所述第二单模态特征、所述第三单模态特征和所述第四单模态特征得到级联后的第一多模态特征；
将所述第一多模态特征依次经过全局平均池化层、第一全连接层和第二全连接层得到第一权重向量；
利用所述第一权重向量对所述第一多模态特征进行像素级相乘得到加权后的第一特征图像，之后对所述第一特征图像进行分离操作得到所述多模态特征。
在本发明的一个实施例中，将所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像输入至训练完成的脑瘤分割网络模型，得到第一ET区域分割图、第一TC区域分割图和第一WT区域分割图，包括：
基于多模态特征感知模块，分别对所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像进行处理，得到多模态特征，其中所述多模态特征包括第一多模态特征、第二多模态特征和第三多模态特征；
将所述第一多模态特征输入至所述第一分割子网络得到所述第一ET区域分割图；
将所述第二多模态特征与所述第一ET区域分割图进行级联之后输入至所述第二分割子网络得到所述第一TC区域分割图；
将所述第三多模态特征与所述第一TC区域分割图进行级联之后输入至所述第三分割子网络得到所述第一WT区域分割图。
在本发明的一个实施例中，基于多模态特征感知模块，分别对所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像进行处理，得到多模态特征，包括：
将所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像分别输入至两个第七卷积模块，对应得到第五单模态特征、第六单模态特征、第七单模态特征和第八单模态特征；
级联所述第五单模态特征、所述第六单模态特征、所述第七单模态特征和所述第八单模态特征得到级联后的第二多模态特征；
将所述第二多模态特征依次经过全局平均池化层、第一全连接层和第二全连接层得到第二权重向量；
利用所述第二权重向量对所述第二多模态特征进行像素级相乘得到加权后的第二特征图像；
对所述第二特征图像进行分离操作得到所述多模态特征。
本发明的有益效果：
本发明根据三个脑瘤区域间的相互联系设计了级联的多任务分割网络结构，根据分析得到的不同模态MRI图像在分割不同的肿瘤区域时的重要性不同，本发明设计了多模态特征感知模块对不同模态的MRI图像输入信息进行加权融合。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于多模态特征融合的多任务MRI脑瘤图像分割方法的流程示意图；
图2是本发明实施例提供的一种基于多模态特征融合的多任务MRI脑瘤图像分割方法的实现流程图；
图3是本发明实施例提供的一种多任务级联分割网络的框架图；
图4是本发明实施例提供的一种BraTS 2017验证集下本发明消融实验结果的仿真对比图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1、图2和图3，图1是本发明实施例提供的一种基于多模态特征融合的多任务MRI脑瘤图像分割方法的流程示意图，图2是本发明实施例提供的一种基于多模态特征融合的多任务MRI脑瘤图像分割方法的实现流程图，图3是本发明实施例提供的一种多任务级联分割网络的框架图。本发明实施例提供一种基于多模态特征融合的多任务MRI脑瘤图像分割方法，该多任务MRI脑瘤图像分割方法包括：
步骤1、获取第一多模态3D MRI图像集，其中，所述第一多模态3D MRI图像集包括若干第一多模态3D MRI图像，所述第一多模态3D MRI图像包括第一T1图像、第一T1c图像、第一T2图像和第一Flair图像。
具体地，第一多模态3D MRI图像为3D图像，其中，第一多模态3D MRI图像包括四个模态的3D MRI图像，分别为第一T1图像、第一T1c图像、第一T2图像和第一Flair图像，其中第一T1图像为T1加权图像，第一T1c图像为对比增强的T1加权图像，第一T2图像为T2加权图像，第一Flair图像为液体衰减反转恢复的T2加权图像。不同模态具有不同的特性，突出不同的领域，本实施例将第一多模态3D MRI图像记为Xm1，则 代表第一T1图像，/>代表第一T1c图像，/>代表第一T2图像，/>代表第一Flair图像。
步骤2、对第一多模态3D MRI图像进行标准化处理得到第二多模态3D MRI图像，第二多模态3D MRI图像包括第二T1图像、第二T1c图像、第二T2图像和第二Flair图像。
步骤2.1、分别求取第一T1图像、第一T1c图像、第一T2图像和第一Flair图像的像素均值和方差。
具体地，利用第一T1图像、第一T1c图像、第一T2图像和第一Flair图像的非零脑部区域对应求取第一T1图像、第一T1c图像、第一T2图像和第一Flair图像的像素均值和方差，其中方差的计算方式为现有技术，在此不再赘述。
步骤2.2、基于像素均值和方差，根据标准化计算公式分别对第一T1图像、第一T1c图像、第一T2图像和第一Flair图像进行处理，对应得到第二T1图像、第二T1c图像、第二T2图像和第二Flair图像。
具体地，利用标准化计算公式分别对第一T1图像、第一T1c图像、第一T2图像和第一Flair图像进行标准化处理，对应得到第二T1图像、第二T1c图像、第二T2图像和第二Flair图像，其中，标准化计算公式为：
其中，Xm2代表第二多模态3D MRI图像，μ代表像素均值，σ代表方差。
通过这种方式可将原始3D图像的值缩放成均值为0、方差为1的状态，便于后续分割算法的处理。
步骤3、将第二T1图像、第二T1c图像、第二T2图像和第二Flair图像输入至训练完成的脑瘤分割网络模型，得到第一ET区域分割图、第一TC区域分割图和第一WT区域分割图，脑瘤分割网络模型包括第一分割子网络、第二分割子网络和第三分割子网络，且在第一分割子网络、第二分割子网络和第三分割子网络之前分别设置了一多模态特征感知模块。
具体地，第一分割子网络用于分割ET区域，第一分割子网络的数学表达式为其中，WI为第一分割子网络fI(·)的参数，/>表示ET区域分割结果图/>的第i个像素点。
第一分割子网络包括：一个3×3×3的第一卷积模块，三个第一残差模块和一个1×1×1的第二卷积模块，其中，第一卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层级联一个批规范化层和一个ReLu激活函数层构成，第一残差模块包含两个卷积核数为16、卷积核大小为3×3×3、扩张系数为2的卷积层，且第一残差模块的每个卷积层前级联一个批规范化层和一个ReLu激活函数层，第二卷积模块由一个卷积核数为2、卷积核大小为1×1×1的3D卷积层构成。
第二分割子网络用于分割TC区域，第二分割子网络的数学表达式为其中，WII为第二分割子网络fII(·)的参数，/>表示TC区域分割结果图/>的第i个像素点，在实际使用时，利用第一分割子网络所得到的ET区域分割结果图/>指导分割TC区域，具体使用时是将ET区域分割结果图/>和经过多模态特征感知模块的多模态特征的级联作为第二分割子网络的输入。
第二分割子网络包括：一个3×3×3的第三卷积模块，三个第二残差模块和一个1×1×1的第四卷积模块，其中，第三卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层级联一个批规范化层和一个ReLu激活函数层构成，第二残差模块包含两个卷积核数为16、卷积核大小为3×3×3、扩张系数为4的卷积层，且第二残差模块的每个卷积层前级联一个批规范化层和一个ReLu激活函数层，第四卷积模块由一个卷积核数为2、卷积核大小为1×1×1的3D卷积层构成。
第三分割子网络用于分割WT区域，第三分割子网络的数学表达式为其中，WIII为第三分割子网络fIII(·)的参数，/>表示WT区域分割结果图/>的第i个像素点，在实际使用时，利用第二分割子网络所得到的TC区域分割结果图/>指导分割WT区域，具体使用时是将TC区域分割结果图/>和经过多模态特征感知模块的多模态特征的级联作为第三分割子网络的输入。
因此，为了能够得到训练完成的脑瘤分割网络模型，本实施例将提供一种脑瘤分割网络模型的训练方法，该训练方法包括：
S1、获取第二多模态3D MRI图像集，其中，第二多模态3D MRI图像集包括若干第三多模态3D MRI图像，第三多模态3D MRI图像包括第三T1图像、第三T1c图像、第三T2图像和第三Flair图像。
具体地，第三多模态3D MRI图像用于训练模型，第三T1图像为T1加权图像，第三T1c图像为对比增强的T1加权图像，第三T2图像为T2加权图像，第三Flair图像为液体衰减反转恢复的T2加权图像。
S2、对第三多模态3D MRI图像进行标准化处理得到第四多模态3D MRI图像，第四多模态3D MRI图像包括第四T1图像、第四T1c图像、第四T2图像和第四Flair图像。
S2.1、分别求取第三T1图像、第三T1c图像、第三T2图像和第三Flair图像的像素均值和方差。
具体地，利用第三T1图像、第三T1c图像、第三T2图像和第三Flair图像的非零脑部区域对应求取第三T1图像、第三T1c图像、第三T2图像和第三Flair图像的像素均值和方差，其中方差的计算方式为现有技术，在此不再赘述。
S2.2、基于像素均值和方差，根据标准化计算公式分别对第三T1图像、第三T1c图像、第三T2图像和第三Flair图像进行处理，对应得到第四T1图像、第四T1c图像、第四T2图像和第四Flair图像。
具体地，利用标准化计算公式分别对第三T1图像、第三T1c图像、第三T2图像和第三Flair图像进行标准化处理，对应得到第四T1图像、第四T1c图像、第四T2图像和第四Flair图像。
S3、基于多模态特征感知模块，分别对第四T1图像、第四T1c图像、第四T2图像和第四Flair图像进行处理得到初始的多模态特征，初始的多模态特征包括第四多模态特征、第五多模态特征和第六多模态特征，多模态特征感知模块包括第一多模态特征感知模块、第二多模态特征感知模块和第三多模态特征感知模块。
具体地，本实施例在所构建的多任务分割网络的基础上，在每个分割子网络的前面分别引入一个多模态特征感知模块来融合多模态图像信息以分割各个肿瘤区域，即多模态特征感知模块分别为第一多模态特征感知模块、第二多模态特征感知模块和第三多模态特征感知模块。通过多模态特征感知模块可以实现多模态图像信息的融合，这种方法可以最大限度地利用多模态信息来预测分割相应的肿瘤区域。由于不同的模态图像在分割不同的肿瘤区域时的重要程度不一样，网络中根据对应的肿瘤分割区域使用三个多模态特征感知模块来提取多模态感知特征，具体过程如下：
a＝g(Xm'；Λ)
其中，⊙是像素级相乘(用向量中的每个值和对应的特征图进行相乘)，a是嵌入在网络中自动学习的权重向量，是加权后的特征图，Λ是多模态特征感知模块g(·)中的参数，Xm'表示不同模态的图像。
S3.1、将第四T1图像、第四T1c图像、第四T2图像和第四Flair图像分别输入至两个第七卷积模块，对应得到第一单模态特征、第二单模态特征、第三单模态特征和第四单模态特征。
具体地，将大小为h×w×d的四个模态MRI脑瘤图像(即第四T1图像第四T1c图像/>第四T2图像/>和第四Flair图像/>)均经过两个第七卷积模块提取单模态特征，分别得到第一单模态特征/>第二单模态特征/>第三单模态特征/>和第四单模态特征/>其中h,w,d分别表示3D MRI图像的高度、宽度和深度，第七卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层和一个ReLu激活函数构成，具体过程如下：
其中，表示参数为/>的3D卷积层，φ(·)表示ReLu激活函数。
S3.2、级联第一单模态特征、第二单模态特征、第三单模态特征和第四单模态特征得到级联后的第一多模态特征。
具体地，级联步骤S3.1中获得的大小为h×w×d的单模态特征得到大小为h×w×l的第一多模态特征，其中l＝d×c，c为输入模态的数量，如下：
其中，Cat(·)表示级联，Fm4为级联后的第一多模态特征。
S3.3、将第一多模态特征依次经过全局平均池化层、第一全连接层和第二全连接层得到第一权重向量。
将步骤S3.2所获得的第一多模态特征Fm4依次经全局平均池化层、第一全连接层和第二全连接层得到第一权重向量V1：
V1＝φ(l(φ(l(Gap(Fm4)；θ1))；θ2))
其中，Gap(·)表示全局平均池化，l(·；θ{1,2})表示参数为θ{1,2}的全连接，φ(·)表示ReLu激活函数。
S3.4、利用第一权重向量对第一多模态特征进行像素级相乘得到加权后的第一特征图像，之后对第一特征图像进行分离操作得到多模态特征。
具体地，使用步骤S3.3获得的第一权重向量V1对步骤S3.2得到的第一多模态特征Fm4进行像素级相乘得到加权后的第一特征图像，由于本实施例设计的网络结构是3D的，而现在得到的第一特征图像大小为h×w×l，需要将第一特征图像分离成和原来通道数一样的3D特征图大小为h×w×d×c，具体过程如下：
其中，⊙为像素级相乘，split(·)表示分离操作，为/>和/>的统称，表示第四多模态特征，/>表示第五多模态特征，/>表示第六多模态特征，其中，第一多模态特征感知模块对应得到的为第四多模态特征，其中，第二多模态特征感知模块对应得到的为第五多模态特征，其中，第三多模态特征感知模块对应得到的为第六多模态特征，三个多模态特征对应的三个多模态特征感知模块完全一样，仅模块所学习到的参数不同。
另外，在分别对三个分支网络进行预训练前，本实施例还提供一种损失函数：
一方面，为缓解MRI脑瘤分割任务训练数据中存在的类间不平衡问题，采用Dice损失函数：
其中，为某一类的预测分割结果，/>为对应的真值图，N为分割图中包含的像素个数。
另一方面，使用t-test(t检验)来检验预测结果中前景和背景的差异程度，通过最大化t来训练网络学习在肿瘤区域预测更高的概率，在非肿瘤区域预测更低的概率，本实施例通过最大化以下Lt-test来近似t，即：
其中，μf、和Nf分别为预测分割图中前景区域的像素均值、方差和像素个数，而μg、/>和Ng分别为背景区域的像素均值、方差和像素个数。
综合上述两个损失函数构建本实施例的最终的损失函数：
L＝LDice-αLt-test
其中，α是Lt-test的权重系数。
S4、将第四多模态特征输入至第一分割子网络得到训练完成的第一多模态特征感知模块和第一分割子网络。
具体地，将第四多模态特征输入至第一分割子网络对第一多模态特征感知模块(即设置在第一分割子网络之前的多模态特征感知模块)和第一分割子网络进行训练，对应得到ET区域预测分割结果，将ET区域预测分割结果和其对应的第一真值图输入至损失函数L＝LDice-αLt-test，通过反向传播的方式更新第一多模态特征感知模块和第一分割子网络中的参数，从而获得第一多模态特征感知模块和第一分割子网络的最优解，得到训练完成的第一多模态特征感知模块和第一分割子网络，其中，医生对第三多模态3D MRI图像标注ET区域、TC区域和WT区域获得真值图，该真值图包括ET真值图、TC真值图和WT真值图，求取第一多模态特征感知模块和第一分割子网络的损失函数时利用的为ET真值图和ET区域预测分割结果。
S5、将第五多模态特征与ET真值图进行级联之后输入至第二分割子网络进行训练得到训练完成的第二多模态特征感知模块和第二分割子网络。
具体地，将第五多模态特征与ET真值图进行级联，之后输入至第二分割子网络对其进行训练，对应得到TC区域预测分割结果，将TC区域预测分割结果和其对应的TC真值图输入至损失函数L＝LDice-αLt-test，通过反向传播的方式更新第二多模态特征感知模块和第二分割子网络中的参数，从而获得第二多模态特征感知模块和第二分割子网络的最优解，得到训练完成的第二多模态特征感知模块和第二分割子网络。
S6、将第六多模态特征与TC真值图进行级联之后输入至第三分割子网络进行训练得到训练完成的第三多模态特征感知模块和第三分割子网络。
具体地，将第六多模态特征与TC真值图进行级联，之后输入至第三分割子网络对其进行训练，对应得到WT区域预测分割结果，将WT区域预测分割结果和其对应的WT真值图输入至损失函数L＝LDice-αLt-test，通过反向传播的方式更新第三多模态特征感知模块和第二分割子网络中的参数，从而获得第三多模态特征感知模块和第二分割子网络的最优解，得到训练完成的第三多模态特征感知模块和第二分割子网络。
S7、将训练完成的第一多模态特征感知模块、第一分割子网络、第二多模态特征感知模块、第二分割子网络、第三多模态特征感知模块和第三分割子网络进行级联后得到完整的脑瘤分割网络模型,加载预训练的参数进行第二阶段的微调训练以完成整体网络结构的训练。
因此，步骤3可以具体包括：
步骤3.1、基于多模态特征感知模块，分别对第二T1图像、第二T1c图像、第二T2图像和第二Flair图像进行处理，得到多模态特征，其中多模态特征包括第一多模态特征、第二多模态特征和第三多模态特征。
步骤3.11、将第二T1图像、第二T1c图像、第二T2图像和第二Flair图像分别输入至两个第七卷积模块，对应得到第五单模态特征、第六单模态特征、第七单模态特征和第八单模态特征。
具体地，将大小为h×w×d的四个模态MRI脑瘤图像(即第二T1图像第二T1c图像/>第二T2图像/>和第二Flair图像/>)均经过两个第七卷积模块提取单模态特征，分别得到第五单模态特征/>第六单模态特征/>第七单模态特征/>和第八单模态特征/>其中h,w,d分别表示3D MRI图像的高度、宽度和深度，具体过程如下：
其中，表示参数为/>的3D卷积层，φ(·)表示ReLu激活函数。
步骤3.12、级联第五单模态特征、第六单模态特征、第七单模态特征和第八单模态特征得到级联后的第二多模态特征。
具体地，级联步骤3.11中获得的大小为h×w×d的单模态特征得到大小为h×w×l的第二多模态特征，其中l＝d×c，c为输入模态的数量，如下：
其中，Cat(·)表示级联，Fm2为级联后的第二多模态特征。
步骤3.13、将第二多模态特征依次经过全局平均池化层、第一全连接层和第二全连接层得到第二权重向量。
将步骤3.12所获得的第二多模态特征Fm2依次经全局平均池化层、第一全连接层和第二全连接层得到第二权重向量V2：
V2＝φ(l(φ(l(Gap(Fm2)；θ1))；θ2))
其中，Gap(·)表示全局平均池化，l(·；θ{1,2})表示参数为θ{1,2}的全连接，φ(·)表示ReLu激活函数。
步骤3.14、利用第二权重向量对第二多模态特征进行像素级相乘得到加权后的第二特征图像，之后对第二特征图像进行分离操作得到多模态特征。
具体地，使用步骤S3.13获得的第二权重向量V2对步骤S3.12得到的第二多模态特征Fm2进行像素级相乘得到加权后的第二特征图像，由于本实施例设计的网络结构是3D的，而现在得到的第二特征图像大小为h×w×l，需要将第二特征图像分离成和原来通道数一样的3D特征图大小为h×w×d×c，具体过程如下：
其中，⊙为像素级相乘，split(·)表示分离操作，为/>和/>的统称，表示第一多模态特征，/>表示第二多模态特征，/>表示第三多模态特征，三个多模态特征对应的三个多模态特征感知模块完全一样，仅模块所学习到的参数不同。
步骤3.2、将第一多模态特征输入至训练完成的脑瘤分割网络模型的第一分割子网络得到第一ET区域分割图，其中，其过程通过数学描述更新为如下形式：
步骤3.3、将第二多模态特征与第一ET区域分割图进行级联之后输入至训练完成的脑瘤分割网络模型的第二分割子网络得到第一TC区域分割图，其中，其过程通过数学描述更新为如下形式：
步骤3.4、将第三多模态特征与第一TC区域分割图进行级联之后输入至第三分割子网络得到第一WT区域分割图，其中，其过程通过数学描述更新为如下形式：
其中，ΦI＝{WI,ΛI}，ΦII＝{WII,ΛII}和ΦIII＝{WIII,ΛIII}分别表示三个分支网络FI(·)，FII(·)和FIII(·)的参数，表示ET区域对应的多模态特征，/>表示TC区域对应的多模态特征，/>表示WT区域对应的多模态特征。
步骤4、采用去除小连通域方法对第一ET区域分割图、第一TC区域分割图和第一WT区域分割图进行后处理，并去除第一ET区域分割图的噪声区域，对应得到第二ET区域分割图、第二TC区域分割图和第二WT区域分割图。
具体地，采用去除小连通域的方法对第一ET区域分割图、第一TC区域分割图和第一WT区域分割图进行后处理，具体地说，将第一ET区域分割图、第一TC区域分割图和第一WT区域分割图中体积小于阈值的区域置为背景，其中阈值分别取第一ET区域分割图、第一TC区域分割图和第一WT区域分割图中的最大连通域体积的三分之一，另，对于第一ET区域分割图而言，去除噪声区域，噪声区域一般为小于500个像素的连通域，从而对应得到第二ET区域分割图、第二TC区域分割图和第二WT区域分割图。
步骤5、将第二ET区域分割图、第二TC区域分割图和第二WT区域分割图结合成为最终的3D多类别脑瘤分割图。
1)本发明揭示了多模态脑瘤分割任务中所存在的多任务结构(不同区域分割间的联系和多模态数据与各区域间的关系)，同时，本发明构建了一种新的多任务级联结构的脑瘤分割网络。
2)本发明根据三个脑瘤区域间的相互联系设计了级联的多任务分割网络结构，根据分析得到的不同模态MRI图像在分割不同的肿瘤区域时的重要性不同，本发明设计了多模态特征感知模块对不同模态的MRI图像输入信息进行加权融合。
以下结合仿真实验，对本发明的技术效果作进一步说明：
1、仿真条件：本发明使用谷歌公司开发的TensorFlow深度学习框架和Python编程语言，以Ubuntu 18系统为平台，在英伟达GTX 1080Ti显卡上进行所有仿真实验。
2、仿真内容及结果分析：
仿真1
将本发明与现有基于2D卷积神经网络的脑瘤分割方法，基于2.5D卷积神经网络的脑瘤分割方法和基于3D卷积神经网络的脑瘤分割方法在BraTS 2017验证集上进行实验，并通过BraTS提供的在线网站进行测试，所获得的实验结果如表1所示：
表1 BraTS 2017验证集下本发明与现有技术实验结果比较
如表1所示，其中，ET、WT和TC分别是强化脑瘤核区域、整体脑瘤区域、脑瘤核区域所有样本的平均Dice值，AVG(Average)为这三个区域Dice指标的均值，参数量为模型的参数信息。
从表1可以看出，和其他现有方法相比较，本发明方法可以提高MRI脑瘤图像中肿瘤区域的分割精度；并且相比其他方法本发明的网络所包含的训练参数更少，使网络更容易保存和迁移到其他设备。
仿真2
在BraTS 2017验证集上设计消融实验，验证本发明所提出的多任务分割网络和多模态特征感知模块的有效性，对实验结果进行直观的比较，如图4所示，其中，输入图像表示数据集中原始3D MRI脑瘤图像的一个2D切片数据，本发明表示本发明所获得3D脑瘤分割图对应输入图像的2D分割结果，无多任务结构表示本发明网络结构不包含多任务分割结构时的结果，无多模态模块表示本发明网络结构不包含多模态特征感知模块时的结果；图4中第一第二行是轴向切片，第三第四行是矢状位方向切片，第五第六行是冠状位方向切片。
从图4可以看出，分割结果可视化差异主要体现在ET和TC区域(或者强化脑瘤核和肥强脑瘤核)的分割精度差异上；综合图中的样本可以看出，在引入本发明提出的多任务分割网络和多模态特征感知模块后，模型的分割结果更完整，这足以表明本发明所提出的多任务分割网络和多模态特征感知模块的有效性。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于多模态特征融合的多任务MRI脑瘤图像分割方法，其特征在于，包括：
获取第一多模态3D MRI图像集，其中，所述第一多模态3D MRI图像集包括若干第一多模态3D MRI图像，所述第一多模态3D MRI图像包括第一T1图像、第一T1c图像、第一T2图像和第一Flair图像；
对所述第一多模态3D MRI图像进行标准化处理得到第二多模态3DMRI图像，所述第二多模态3D MRI图像包括第二T1图像、第二T1c图像、第二T2图像和第二Flair图像；
将所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像输入至训练完成的脑瘤分割网络模型，得到第一ET区域分割图、第一TC区域分割图和第一WT区域分割图，所述脑瘤分割网络模型包括第一分割子网络、第二分割子网络和第三分割子网络，且在所述第一分割子网络、所述第二分割子网络和所述第三分割子网络之前分别设置了一多模态特征感知模块；
将所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像输入至训练完成的脑瘤分割网络模型，得到第一ET区域分割图、第一TC区域分割图和第一WT区域分割图，包括：
基于多模态特征感知模块，分别对所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像进行处理，得到多模态特征，其中所述多模态特征包括第一多模态特征、第二多模态特征和第三多模态特征；
将所述第一多模态特征输入至所述第一分割子网络得到所述第一ET区域分割图；
将所述第二多模态特征与所述第一ET区域分割图进行级联之后输入至所述第二分割子网络得到所述第一TC区域分割图；
将所述第三多模态特征与所述第一TC区域分割图进行级联之后输入至所述第三分割子网络得到所述第一WT区域分割图；
采用去除小连通域方法对所述第一ET区域分割图、所述第一TC区域分割图和所述第一WT区域分割图进行后处理，并去除所述第一ET区域分割图的噪声区域，对应得到第二ET区域分割图、第二TC区域分割图和第二WT区域分割图；
将所述第二ET区域分割图、所述第二TC区域分割图和所述第二WT区域分割图结合成为最终的3D多类别脑瘤分割图。
2.根据权利要求1所述的多任务MRI脑瘤图像分割方法，其特征在于，对所述第一多模态3D MRI图像进行标准化处理得到第二多模态3D MRI图像，包括：
分别求取所述第一T1图像、所述第一T1c图像、所述第一T2图像和所述第一Flair图像的像素均值和方差；
基于所述像素均值和所述方差，根据标准化计算公式分别对所述第一T1图像、所述第一T1c图像、所述第一T2图像和所述第一Flair图像进行处理，对应得到所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像。
3.根据权利要求1所述的多任务MRI脑瘤图像分割方法，其特征在于，所述第一分割子网络包括：一个3×3×3的第一卷积模块，三个第一残差模块和一个1×1×1的第二卷积模块，其中，所述第一卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层级联一个批规范化层和一个ReLu激活函数层构成，所述第一残差模块包含两个卷积核数为16、卷积核大小为3×3×3、扩张系数为2的卷积层，且每个卷积层前级联一个批规范化层和一个ReLu激活函数层，所述第二卷积模块由一个卷积核数为2、卷积核大小为1×1×1的3D卷积层构成。
4.根据权利要求1所述的多任务MRI脑瘤图像分割方法，其特征在于，所述第二分割子网络包括：一个3×3×3的第三卷积模块，三个第二残差模块和一个1×1×1的第四卷积模块，其中，所述第三卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层级联一个批规范化层和一个ReLu激活函数层构成，所述第二残差模块包含两个卷积核数为16、卷积核大小为3×3×3、扩张系数为4的卷积层，且每个卷积层前级联一个批规范化层和一个ReLu激活函数层，所述第四卷积模块由一个卷积核数为2、卷积核大小为1×1×1的3D卷积层构成。
5.根据权利要求1所述的多任务MRI脑瘤图像分割方法，其特征在于，所述第三分割子网络包括：一个3×3×3的第五卷积模块，三个第三残差模块和一个1×1×1的第六卷积模块，其中，所述第五卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层级联一个批规范化层和一个ReLu激活函数层构成，所述第三残差模块包含两个卷积核数为16、卷积核大小为3×3×3、扩张系数为6的卷积层，且每个卷积层前级联一个批规范化层和一个ReLu激活函数层，所述第六卷积模块由一个卷积核数为2、卷积核大小为1×1×1的3D卷积层构成。
6.根据权利要求1所述的多任务MRI脑瘤图像分割方法，其特征在于，所述脑瘤分割网络模型的训练方法包括：
获取第二多模态3D MRI图像集，其中，所述第二多模态3D MRI图像集包括若干第三多模态3D MRI图像，所述第三多模态3D MRI图像包括第三T1图像、第三T1c图像、第三T2图像和第三Flair图像；
对第三多模态3D MRI图像进行标准化处理得到第四多模态3D MRI图像，所述第四多模态3D MRI图像包括第四T1图像、第四T1c图像、第四T2图像和第四Flair图像；
基于多模态特征感知模块，分别对所述第四T1图像、所述第四T1c图像、所述第四T2图像和所述第四Flair图像进行处理，得到初始的多模态特征，其中所述初始的多模态特征包括第四多模态特征、第五多模态特征和第六多模态特征，所述多模态特征感知模块包括第一多模态特征感知模块、第二多模态特征感知模块和第三多模态特征感知模块；
将所述第四多模态特征输入至所述第一分割子网络得到训练完成的所述第一多模态特征感知模块和所述第一分割子网络；
将所述第五多模态特征与ET真值图进行级联之后输入至所述第二分割子网络进行训练得到训练完成的所述第二多模态特征感知模块和所述第二分割子网络；
将所述第六多模态特征与TC真值图进行级联之后输入至所述第三分割子网络进行训练得到训练完成的所述第三多模态特征感知模块和所述第三分割子网络；
将训练完成的所述第一多模态特征感知模块、所述第一分割子网络、所述第二多模态特征感知模块、所述第二分割子网络、所述第三多模态特征感知模块和所述第三分割子网络进行级联后得到完整的脑瘤分割网络模型。
7.根据权利要求6所述的多任务MRI脑瘤图像分割方法，其特征在于，基于多模态特征感知模块，分别对所述第四T1图像、所述第四T1c图像、所述第四T2图像和所述第四Flair图像进行处理，得到多模态特征，包括：
将所述第四T1图像、所述第四T1c图像、所述第四T2图像和所述第四Flair图像分别输入至两个第七卷积模块，对应得到第一单模态特征、第二单模态特征、第三单模态特征和第四单模态特征；
级联所述第一单模态特征、所述第二单模态特征、所述第三单模态特征和所述第四单模态特征得到级联后的第一多模态特征；
将所述第一多模态特征依次经过全局平均池化层、第一全连接层和第二全连接层得到第一权重向量；
利用所述第一权重向量对所述第一多模态特征进行像素级相乘得到加权后的第一特征图像，之后对所述第一特征图像进行分离操作得到所述多模态特征。
8.根据权利要求1所述的多任务MRI脑瘤图像分割方法，其特征在于，基于多模态特征感知模块，分别对所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像进行处理，得到多模态特征，包括：
将所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像分别输入至两个第七卷积模块，对应得到第五单模态特征、第六单模态特征、第七单模态特征和第八单模态特征；
级联所述第五单模态特征、所述第六单模态特征、所述第七单模态特征和所述第八单模态特征得到级联后的第二多模态特征；
将所述第二多模态特征依次经过全局平均池化层、第一全连接层和第二全连接层得到第二权重向量；
利用所述第二权重向量对所述第二多模态特征进行像素级相乘得到加权后的第二特征图像；
对所述第二特征图像进行分离操作得到所述多模态特征。
CN202010752119.XA 2020-07-30 2020-07-30 基于多模态特征融合的多任务mri脑瘤图像分割方法 Active CN112037171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010752119.XA CN112037171B (zh) 2020-07-30 2020-07-30 基于多模态特征融合的多任务mri脑瘤图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010752119.XA CN112037171B (zh) 2020-07-30 2020-07-30 基于多模态特征融合的多任务mri脑瘤图像分割方法

Publications (2)

Publication Number Publication Date
CN112037171A CN112037171A (zh) 2020-12-04
CN112037171B true CN112037171B (zh) 2023-08-15

Family

ID=73583697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010752119.XA Active CN112037171B (zh) 2020-07-30 2020-07-30 基于多模态特征融合的多任务mri脑瘤图像分割方法

Country Status (1)

Country Link
CN (1) CN112037171B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785602A (zh) * 2021-01-08 2021-05-11 重庆兆琨智医科技有限公司 一种多模态脑肿瘤图像分割系统及方法
CN112837276B (zh) * 2021-01-20 2023-09-29 重庆邮电大学 一种基于级联深度神经网络模型的脑胶质瘤分割方法
CN114494322B (zh) * 2022-02-11 2024-03-01 合肥工业大学 一种基于图像融合技术的多模态图像分割方法
CN115115575A (zh) * 2022-04-27 2022-09-27 腾讯医疗健康(深圳)有限公司 一种图像检测方法、装置、计算机设备及存储介质
CN115115628B (zh) * 2022-08-29 2022-11-22 山东第一医科大学附属省立医院(山东省立医院) 一种基于三维精细化残差网络的腔隙性脑梗死识别系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082084A1 (zh) * 2016-11-07 2018-05-11 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN108492297A (zh) * 2017-12-25 2018-09-04 重庆理工大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN109242860A (zh) * 2018-08-21 2019-01-18 电子科技大学 基于深度学习及权重空间集成的脑肿瘤图像分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质
WO2020108525A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统、存储介质及计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020133354A1 (en) * 2018-12-29 2020-07-02 Shenzhen Malong Technologies Co., Ltd. 3d segmentation network and 3d refinement module

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082084A1 (zh) * 2016-11-07 2018-05-11 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN108492297A (zh) * 2017-12-25 2018-09-04 重庆理工大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109242860A (zh) * 2018-08-21 2019-01-18 电子科技大学 基于深度学习及权重空间集成的脑肿瘤图像分割方法
WO2020108525A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统、存储介质及计算机设备
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于WRN-PPNet的多模态MRI脑肿瘤全自动分割;朱婷;王瑜;肖洪兵;邢素霞;;计算机工程(第12期);全文 *

Also Published As

Publication number Publication date
CN112037171A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112037171B (zh) 基于多模态特征融合的多任务mri脑瘤图像分割方法
Wee et al. Cortical graph neural network for AD and MCI diagnosis and transfer learning across populations
CN111462086A (zh) 图像分割方法及装置、神经网络模型的训练方法及装置
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN115170582A (zh) 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
CN109146891B (zh) 一种应用于mri的海马体分割方法、装置及电子设备
US11043296B2 (en) Systems and methods for semi-automatic tumor segmentation
CN111369567A (zh) 三维图像中目标对象的分割方法、装置及电子设备
JP6345332B1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Alawad et al. Machine learning and deep learning techniques for optic disc and cup segmentation–a review
CN110827963A (zh) 针对病理图像的语义分割方法和电子设备
CN113554668B (zh) 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN112837276A (zh) 一种基于级联深度神经网络模型的脑胶质瘤分割方法
CN110991408A (zh) 基于深度学习方法分割脑白质高信号的方法和装置
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
CN115908299A (zh) 基于医学影像的生存期预测方法、装置、设备及介质
CN115641317A (zh) 面向病理图像的动态知识回溯多示例学习及图像分类方法
CN110084270A (zh) 病理切片图像识别方法及设备
CN113177938B (zh) 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件
Mansour et al. Kidney segmentations using cnn models
CN113724184A (zh) 脑出血预后预测方法、装置、电子设备及存储介质
CN110189299B (zh) 一种基于MobileNet的脑血管事件自动识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant