CN112862830A - 一种多模态图像分割方法、系统、终端及可读存储介质 - Google Patents
一种多模态图像分割方法、系统、终端及可读存储介质 Download PDFInfo
- Publication number
- CN112862830A CN112862830A CN202110120374.7A CN202110120374A CN112862830A CN 112862830 A CN112862830 A CN 112862830A CN 202110120374 A CN202110120374 A CN 202110120374A CN 112862830 A CN112862830 A CN 112862830A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- image
- layer
- modal
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003709 image segmentation Methods 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 60
- 230000004927 fusion Effects 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 238000010606 normalization Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 208000008930 Low Back Pain Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 208000008035 Back Pain Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 206010061246 Intervertebral disc degeneration Diseases 0.000 description 1
- 208000018650 Intervertebral disc disease Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 208000021600 intervertebral disc degenerative disease Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种多模态图像分割方法、系统、终端及可读存储介质，分割方法包括读取多模态图像的每个模态下的数据，获得对应的三维矩阵，按照矢状面进行二维矩阵数据切片的提取操作；然后进行归一化处理并去除不包含目标的切片，得到训练数据集；构建基于编码‑解码结构与特征融合的全卷积神经网络模型；对全卷积神经网络模型进行监督学习，得到具有泛化能力的分割模型；将实际采集到的多模态图像归一化，输入具有泛化能力的分割模型中，得到分割粗略图；对分割粗略图使用形态学中计算连通区域的方法，得到精细的图像分割结果。本发明避免了不同模态导致的网络难优化问题，有效提升了分割精度。
Description
技术领域
本发明属于图像处理领域，涉及一种多模态图像分割方法、系统、终端及可读存储介质。
背景技术
目前，对于医学图像的分割分为传统的基于手动设置特征的分割方法以及基于深度学习的自动特征提取的方法。传统的分割方法，如：区域生长、分水岭算法，基于边缘检测的分割方法、基于小波分析的图像分割方法、基于主动轮廓模型的分割方法等。这些手动设置特征的传统方法应用场景单一、而且容易受到噪声、伪影的影响，在实际应用中鲁棒性较差。而基于深度学习的方法，通过监督学习大量的样本特征，训练得到分割模型，其泛化能力较强。虽然，基于深度学习的一些自动方法摆脱了传统方法的弊端，如Olaf在2015年提出的U-net，通过搭建卷积神经网络构建模型，训练模型，在医学图像的分割上取得突破性进展。但是，这些算法大部分基于单模态或者忽略不同模态之间的差异信息，将其看作成整体用于训练模型。然而具有丰富模态的多模态成像是某些成像技术的巨大优势，这些不同模态的信息有利于图像中分割目标的预测，而且利用不同模态的特性也更加符合实际的分析过程，因此，针对多模态图像也应该开发出相适用的多模态自动图像分割方法与系统。
发明内容
本发明的目的在于针对上述现有技术中缺少针对多模态图像的图像处理方法以及现有图像分隔方法的分割精度不足的问题，提供一种多模态图像分割方法、系统、终端及可读存储介质，能够获取多模态下丰富的图像特征，有效的提高多模态图像的分割精度。
为了实现上述目的，本发明有如下的技术方案：
一种多模态图像分割方法，包括以下步骤：
-首先，读取多模态图像的每个模态下的数据，获得对应的三维矩阵，按照矢状面进行二维矩阵数据切片的提取操作；然后，进行归一化处理并去除不包含目标的切片，得到训练数据集，所述的训练数据集包含原始切片以及标注分割好的图片；
-构建基于编码-解码结构与特征融合的全卷积神经网络模型，全卷积神经网络模型包括以下三部分：带多模态特征融合的编码器、解码器以及中间特征融合模块；
-通过训练数据集对全卷积神经网络模型进行监督学习，得到具有泛化能力的分割模型；
-将实际采集到的多模态图像归一化，输入具有泛化能力的分割模型中，得到分割粗略图；
-对分割粗略图使用形态学中计算连通区域的方法，得到精细的图像分割结果。
优选的，所述的归一化处理包括：
设X为原始图像的像素矩阵，按以下公式进行计算：
得到归一化图像矩阵
归一化之后的图像中像素值大小在-1～1之间。
优选的，所述带多模态特征融合的编码器为多通道的卷积结构，每个通道由多个卷积块构成，卷积块由卷积层conv、归一化层BatchNorm、激活函数ReLU构成；模态Fat和模态Int通道之间、模态Opp和模态Wat之间分别在每个卷积块之间插入特征融合模块CMFB，所述的特征融合模块CMFB用于融合两个模态的特征图，增强不同模态之间的特征提取效果；
所述的解码器接受来自编码器提取的特征图，除了第一层的解码器，其余解码层都由卷积块构成，卷积块由卷积层conv、归一化层BatchNorm、激活函数ReLU构成；各个卷积块之间通过上采样操作连接；所述的中间特征融合模块接收来自不同模态的特征图，先通过通道拼接操作，然后使用1×1卷积降低特征维度，与解码器的特征模块再次拼接。
优选的，通过反向传播算法对全卷积神经网络模型进行监督学习，训练时采用的损失函数为交叉熵，计算式如下：
其中，pi为预测值，yi为真实标签值；网络参数优化器为Adam。
优选的，通过具有泛化能力的分割模型提取各个模态图片的特征，对每一个像素进行分类，得到二值粗略分割图像。
优选的，通过对分割粗略图中的所有连通区域统计像素数值，去除小于设定阈值的连通区域，得到精细的图像分割结果。
优选的，所述的全卷积神经网络模型由三部分构成：第一部分为编码层，编码层用于提取特征，使用五层的编码块产生特征图为
其中
表示第i个模态的第j层编码层的特征通道数，
表示第i个模态的第j层卷积块的图片尺寸，对于特征融合模块，特征融合公式表示为：
第二部分为中间特征融合模块，中间特征融合模块的表达式为：
最后一部分为解码层，解码层用于恢复原始尺寸，对每一个像素点预测其标签；每一层解码层的表达式为：Gi＝convblock(concat(Gi-1，Fi))，convblock为卷积块，Gi为第i层的解码层产生的特征图，第i层解码层得到的特征通过反卷积操作得到第i+1层的输入特征。
本发明还提供一种多模态图像分割系统，包括：
训练数据集构建模块，用于读取多模态图像的每个模态下的数据，获得对应的三维矩阵，按照矢状面进行二维矩阵数据切片的提取操作；然后进行归一化处理并去除不包含目标的切片，得到训练数据集，所述的训练数据集包含原始切片以及标注分割好的图片；
全卷积神经网络模型构建模块，用于构建基于编码-解码结构与特征融合的全卷积神经网络模型，所述的全卷积神经网络模型包括以下三部分：带多模态特征融合的编码器、解码器以及中间特征融合模块；
模型训练模块，用于通过训练数据集对构建出的全卷积神经网络模型进行监督学习，得到具有泛化能力的分割模型；
粗略图分割模块，用于将实际采集到的多模态图像归一化，输入具有泛化能力的分割模型中，得到分割粗略图；
精细分割模块，用于对分割粗略图使用形态学中计算连通区域的方法，得到精细的图像分割结果。
本发明还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现多模态图像分割方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现多模态图像分割方法的步骤。
相较于现有技术，本发明有如下的有益效果：采用基于编码-解码结构的全卷积神经网络，使用了多通道的编码层，避免了不同模态像素的干扰而导致的网络难以优化的缺点，得以获取多模态下丰富的特征。加入中间特征融合模块代替简单的按通道拼接操作，精炼了特征，也降低了特征通道冗余的问题。与现有的多模态图像分割算法相比，本发明构建神经网络，通过监督学习使网络具有泛化能力，能够较为精确地从整张图片中分割开目标，同时考虑了多模态图像的丰富信息，避免了不同模态导致的网络难优化问题，有效提升了分割精度。
进一步的，本发明的全卷积神经网络模型加入了特征融合模块，使各模态之间的特征在编码阶段得到充分融合，从而使多模态通道提取相同的特征，使特征得以精炼。
附图说明
图1本发明实施例多模态图像分割方法的流程图；
图2本发明实施例多模态特征融合模块的结构图；
图3本发明实施例全卷积神经网络模型的结构示意图；
图4本发明实施例多模态MRI图像训练集中的部分原始图像；
图5本发明实施例验证数据集中待分割的原始图像；
图6本发明实施例的试验结果对比图：(a)是医生标注的真实分割结果；(b)是U-Net网络得到的分割结果；(c)是本发明方法得到的分割结果。
具体实施方式
下面结合实施例以及附图对本发明做进一步的详细说明。
本发明的实施例以MRI多模态下的腰椎间盘图像为例进行说明。
在医学影像分析中，针对MRI成像的椎间盘图像开发自动图像分析和定量方法用以诊断腰椎间盘异常具有重大意义。下背痛(LBP)疾病是困扰人们的普遍健康问题之一，而且下背痛往往致使人们工作效率和生活质量受到影响。在各种临床研究中已经明确了下背痛与椎间盘退化之间是密切相关的。目前存在多种医学成像方式用于诊断腰椎间盘退变疾病，如CT、MRI等，而核磁共振(MR)成像(MRI)技术由于其出色的软组织对比度、成像清晰和无明显缺陷而被认为是诊断腰椎间盘异常的主要成像技术。临床使用核磁共振技术诊断下背痛等腰椎间盘疾病成为常态，医生通过椎间盘影像观察椎间盘的形状、大小以及形变情况，判断腰椎间盘的异常变化。进而，针对MRI多模态下的腰椎间盘图像自动化分割有利于对其相关的疾病的诊断、跟踪治疗，可以使人们摆脱繁重的手动标注，提高临床治疗的效率。
本发明多模态图像分割方法能够实现一种多模态MRI椎间盘图像分割方法，可应用在椎间盘医学图像分割领域，为下一步3D建模提供精确地分割结果。本发明以16份3D多模态MRI椎间盘数据为例，该数据集中每一份数据包括4种模态以及相应的标注，4种模态分别为：in-phase,opposed-phase,water,fat。在本实施例中，目标是将椎间盘MRI图像分割出椎间盘，一共包括椎间盘、背景两类，对于椎间盘标注为255像素值，背景为0像素值。
参见图1，本发明多模态图像分割方法的实施例包括以下步骤：
(1)图像预处理；
3D MRI的数据尺寸为36×256×256，为了得到2D切片，预处理阶段在矢状面进行切片操作，最后得到4个模态分别576张256×256的2D切片。然后，去除不包含目标的切片以及进行归一化操作，最后得到训练数据集Dtrain，包含4个模态各440张待分割数据的训练集Xtrain，以及440张真实标注的数据集Ytrain，部分数据见图4。
划分好数据集后，对数据集Xtrain进行归一化处理，其归一化方法如下：
设Xi为原始图像i的像素矩阵，按以下公式进行归一化处理：
得到归一化图像矩阵
归一化之后的图像中像素值大小在-1～1之间。
(2)构建基于编码-解码结构与特征融合的全卷积神经网络模型；
参见图3，本发明基于编码-解码结构与特征融合的全卷积神经网络模型包括带特征融合模块的编码块、中间融合块以及解码块三个主要模块。图3中所有卷积块由两个卷积层组成，卷积层包含卷积操作、batch归一化、ReLU激活函数三部分。编码块中卷积块的卷积核大小为3×3，stride为1，补丁大小为1，卷积块中通道数依次为：32、64、128、256大小；解码块中的卷积核大小和编码块相同，卷积块中通道数依次为：512和256、256和128、128和64以及64和32；编码块中的卷积块之间通过特征融合模块CMFB连接，图2展示了CMFB的结构，模态Fat的第i层卷积块生成的特征图经过1×1卷积、激活函数ReLu后与模态Inn的第i层卷积块生成的特征图按对应元素相加，得到模态Inn的第i+1层卷积块输入特征图。特征融合模块中的卷积核大小为3×3，stride为1，补丁为1，特征通道数与对应的卷积块输出的特征通道数相同。模态Opp和模态Wat的特征融合模块与模态Fat和模态Inn相同。编码块中每一层4个模态的卷积块通过拼接操作分别得到大小为：128×256×256、256×128×128、512×64×64以及1024×32×32；分别经过图3中的中间特征融合模块，即1×1卷积操作，得到特征图大小分别为32×256×256、64×128×128、128×64×64以及256×32×32。
解码层中各卷积块通过反卷积连接，即低层特征通过反卷积恢复特征图尺寸为2倍，解码层中第1个卷积块得到中间特征融合模块1的特征，大小为256×32×32，通过反卷积操作得到128×64×64，接着与中间特征融合模块2的特征拼接，得到256×64×64，输入到卷积块2中得到128×64×64，依次类推，最终在卷积块4中输出32×256×256尺寸的特征图，最后输入到最后的卷积块中得到2×256×256，经过SoftMax函数处理后得到预测的分割图。
(3)训练网络模型；
将多模态MRI数据集中360张切片作为训练集，剩下72张作为测试集。网络训练轮数为300epochs,每次输入数据量为4；采用Adam作为网络模型的优化方法，学习率设置为10e-5。网络评价指标为Dice系数，公式为：
其中A，B分别代表预测的分割图和标注的分割图；
损失函数为交叉熵损失函数：
其中，pi为预测值，yi为真实标签值。
将训练集数据输入到本发明的网络模型中，经过编码器、解码器，得到预测结果图，计算损失函数，通过反向传播算法，更新网络中的参数值，训练300epochs后结束训练，期间保存最佳的分割模型。
(4)测试网络模型：将测试集中数据(图5为部分图)输入到训练好的网络模型中，得到粗略的分割图，然后进一步对得到的分割图为粗略图，采用去除小连通区域的方法以及针对非lumber椎间盘的其他椎间盘进行去除的方法，得到精细分割结果，图6为网络模型得到的分割结果。图6清晰的表明本发明提出的算法对于椎间盘进行了精细的分割，对比U-Net方法，本发明去除了分割错误的像素以及非lumber椎间盘的其他椎间盘。
本发明的实施例中，训练后的模型在验证集上的评价指标Dice系数为89.42％，对比原有网络U-net提升了2％左右。本发明实施例对于多模态MRI的特点设计了新颖的多通道编码层以及特征融合模块，提高了椎间盘分割精度，分割结果可用于三维重建。
本发明还提供一种多模态图像分割系统，包括：
训练数据集构建模块，用于读取多模态图像的每个模态下的数据，获得对应的三维矩阵，按照矢状面进行二维矩阵数据切片的提取操作；然后进行归一化处理并去除不包含目标的切片，得到训练数据集，所述的训练数据集包含原始切片以及标注分割好的图片；
全卷积神经网络模型构建模块，用于构建基于编码-解码结构与特征融合的全卷积神经网络模型，所述的全卷积神经网络模型包括以下三部分：带多模态特征融合的编码器、解码器以及中间特征融合模块；
模型训练模块，用于通过训练数据集对构建出的全卷积神经网络模型进行监督学习，得到具有泛化能力的分割模型；
粗略图分割模块，用于将实际采集到的多模态图像归一化，输入具有泛化能力的分割模型中，得到分割粗略图；
精细分割模块，用于对分割粗略图使用形态学中计算连通区域的方法，得到精细的图像分割结果。
本发明还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现多模态图像分割方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现多模态图像分割方法的步骤。
所述的计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明图像分割的方法。
所述终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备，也可以是处理器、存储器。处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。存储器可用于存储计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现多模态图像分割系统的各种功能。
以上所述的仅仅是本发明的较佳实施例，并不用以对本发明的技术方案进行任何限制，本领域技术人员应当理解的是，在不脱离本发明精神和原则的前提下，该技术方案还可以进行若干简单的修改和替换，这些修改和替换也均属于权利要求书所涵盖的保护范围之内。
Claims (10)
1.一种多模态图像分割方法，其特征在于，包括以下步骤：
-首先，读取多模态图像的每个模态下的数据，获得对应的三维矩阵，按照矢状面进行二维矩阵数据切片的提取操作；然后，进行归一化处理并去除不包含目标的切片，得到训练数据集，所述的训练数据集包含原始切片以及标注分割好的图片；
-构建基于编码-解码结构与特征融合的全卷积神经网络模型，全卷积神经网络模型包括以下三部分：带多模态特征融合的编码器、解码器以及中间特征融合模块；
-通过训练数据集对全卷积神经网络模型进行监督学习，得到具有泛化能力的分割模型；
-将实际采集到的多模态图像归一化，输入具有泛化能力的分割模型中，得到分割粗略图；
-对分割粗略图使用形态学中计算连通区域的方法，得到精细的图像分割结果。
2.根据权利要求1所述的多模态图像分割方法，其特征在于，所述的归一化处理包括：
设X为原始图像的像素矩阵，按以下公式进行计算：
得到归一化图像矩阵
归一化之后的图像中像素值大小在-1～1之间。
3.根据权利要求1所述的多模态图像分割方法，其特征在于：
所述带多模态特征融合的编码器为多通道的卷积结构，每个通道由多个卷积块构成，卷积块由卷积层conv、归一化层BatchNorm、激活函数ReLU构成；模态Fat和模态Int通道之间、模态Opp和模态Wat之间分别在每个卷积块之间插入特征融合模块CMFB，所述的特征融合模块CMFB用于融合两个模态的特征图，增强不同模态之间的特征提取效果；
所述的解码器接受来自编码器提取的特征图，除了第一层的解码器，其余解码层都由卷积块构成，卷积块由卷积层conv、归一化层BatchNorm、激活函数ReLU构成；各个卷积块之间通过上采样操作连接；所述的中间特征融合模块接收来自不同模态的特征图，先通过通道拼接操作，然后使用1×1卷积降低特征维度，与解码器的特征模块再次拼接。
4.根据权利要求1所述的多模态图像分割方法，其特征在于：通过反向传播算法对全卷积神经网络模型进行监督学习，训练时采用的损失函数为交叉熵，计算式如下：
其中，pi为预测值，yi为真实标签值；网络参数优化器为Adam。
5.根据权利要求1所述的多模态图像分割方法，其特征在于：通过具有泛化能力的分割模型提取各个模态图片的特征，对每一个像素进行分类，得到二值粗略分割图像。
6.根据权利要求1所述的多模态图像分割方法，其特征在于：通过对分割粗略图中的所有连通区域统计像素数值，去除小于设定阈值的连通区域，得到精细的图像分割结果。
7.根据权利要求1所述的多模态图像分割方法，其特征在于：所述的全卷积神经网络模型由三部分构成：第一部分为编码层，编码层用于提取特征，使用五层的编码块产生特征图为
其中
表示第i个模态的第j层编码层的特征通道数，
表示第i个模态的第j层卷积块的图片尺寸，对于特征融合模块，特征融合公式表示为：
第二部分为中间特征融合模块，中间特征融合模块的表达式为：
最后一部分为解码层，解码层用于恢复原始尺寸，对每一个像素点预测其标签；每一层解码层的表达式为：Gi＝convblock(concat(Gi-1，Fi))，convblock为卷积块，Gi为第i层的解码层产生的特征图，第i层解码层得到的特征通过反卷积操作得到第i+1层的输入特征。
8.一种多模态图像分割系统，其特征在于，包括：
训练数据集构建模块，用于读取多模态图像的每个模态下的数据，获得对应的三维矩阵，按照矢状面进行二维矩阵数据切片的提取操作；然后进行归一化处理并去除不包含目标的切片，得到训练数据集，所述的训练数据集包含原始切片以及标注分割好的图片；
全卷积神经网络模型构建模块，用于构建基于编码-解码结构与特征融合的全卷积神经网络模型，所述的全卷积神经网络模型包括以下三部分：带多模态特征融合的编码器、解码器以及中间特征融合模块；
模型训练模块，用于通过训练数据集对构建出的全卷积神经网络模型进行监督学习，得到具有泛化能力的分割模型；
粗略图分割模块，用于将实际采集到的多模态图像归一化，输入具有泛化能力的分割模型中，得到分割粗略图；
精细分割模块，用于对分割粗略图使用形态学中计算连通区域的方法，得到精细的图像分割结果。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述的处理器执行所述的计算机程序时实现如权利要求1至7中任意一项所述的多模态图像分割方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述的计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的多模态图像分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110120374.7A CN112862830B (zh) | 2021-01-28 | 2021-01-28 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110120374.7A CN112862830B (zh) | 2021-01-28 | 2021-01-28 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112862830A true CN112862830A (zh) | 2021-05-28 |
| CN112862830B CN112862830B (zh) | 2023-12-22 |
Family
ID=75987634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110120374.7A Active CN112862830B (zh) | 2021-01-28 | 2021-01-28 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112862830B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487591A (zh) * | 2021-07-22 | 2021-10-08 | 上海嘉奥信息科技发展有限公司 | 一种基于ct的整条脊柱的分割方法、系统 |
| CN113487624A (zh) * | 2021-06-24 | 2021-10-08 | 深圳市赛维网络科技有限公司 | 一种人体实例分割方法、终端设备及存储介质 |
| CN113496495A (zh) * | 2021-06-25 | 2021-10-12 | 华中科技大学 | 可缺失输入的医学图像分割模型建立方法及分割方法 |
| CN113506334A (zh) * | 2021-06-07 | 2021-10-15 | 刘星宇 | 基于深度学习的多模态医学图像融合方法及系统 |
| CN115393678A (zh) * | 2022-08-01 | 2022-11-25 | 北京理工大学 | 一种基于图像式中间态的多模态数据融合决策方法 |
| CN116310187A (zh) * | 2023-05-17 | 2023-06-23 | 中国地质大学（武汉） | 一种小尺度短周期的滩涂精细建模方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204600A (zh) * | 2016-07-07 | 2016-12-07 | 广东技术师范学院 | 基于多序列mr图像关联信息的脑肿瘤图像分割方法 |
| CN106600609A (zh) * | 2016-11-30 | 2017-04-26 | 上海联影医疗科技有限公司 | 一种医学图像中脊柱的分割方法及系统 |
| CN107644421A (zh) * | 2016-07-20 | 2018-01-30 | 上海联影医疗科技有限公司 | 医学图像分割方法及系统 |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109598728A (zh) * | 2018-11-30 | 2019-04-09 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、诊断系统及存储介质 |
| CN109598727A (zh) * | 2018-11-28 | 2019-04-09 | 北京工业大学 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
| CN109886971A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像分割方法及系统 |
| CN110222794A (zh) * | 2019-06-21 | 2019-09-10 | 福州大学 | 多模态图像的自适应特征融合方法 |
| CN110298361A (zh) * | 2019-05-22 | 2019-10-01 | 浙江省北大信息技术高等研究院 | 一种rgb-d图像的语义分割方法和系统 |
| US10467500B1 (en) * | 2018-12-31 | 2019-11-05 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
| US20200082534A1 (en) * | 2018-09-10 | 2020-03-12 | Deepmind Technologies Limited | 3-d convolutional neural networks for organ segmentation in medical images for radiotherapy planning |
| CN111340828A (zh) * | 2020-01-10 | 2020-06-26 | 南京航空航天大学 | 基于级联卷积神经网络的脑部胶质瘤分割 |
| CN111667486A (zh) * | 2020-04-29 | 2020-09-15 | 杭州深睿博联科技有限公司 | 一种基于深度学习的多模态融合胰腺分割方法和系统 |
| CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
| CN111915619A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种双特征提取与融合的全卷积网络语义分割方法 |
-
2021
- 2021-01-28 CN CN202110120374.7A patent/CN112862830B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204600A (zh) * | 2016-07-07 | 2016-12-07 | 广东技术师范学院 | 基于多序列mr图像关联信息的脑肿瘤图像分割方法 |
| CN107644421A (zh) * | 2016-07-20 | 2018-01-30 | 上海联影医疗科技有限公司 | 医学图像分割方法及系统 |
| CN106600609A (zh) * | 2016-11-30 | 2017-04-26 | 上海联影医疗科技有限公司 | 一种医学图像中脊柱的分割方法及系统 |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| US20200082534A1 (en) * | 2018-09-10 | 2020-03-12 | Deepmind Technologies Limited | 3-d convolutional neural networks for organ segmentation in medical images for radiotherapy planning |
| CN109598727A (zh) * | 2018-11-28 | 2019-04-09 | 北京工业大学 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
| CN109598728A (zh) * | 2018-11-30 | 2019-04-09 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、诊断系统及存储介质 |
| US10467500B1 (en) * | 2018-12-31 | 2019-11-05 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
| CN109886971A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像分割方法及系统 |
| CN110298361A (zh) * | 2019-05-22 | 2019-10-01 | 浙江省北大信息技术高等研究院 | 一种rgb-d图像的语义分割方法和系统 |
| CN110222794A (zh) * | 2019-06-21 | 2019-09-10 | 福州大学 | 多模态图像的自适应特征融合方法 |
| CN111340828A (zh) * | 2020-01-10 | 2020-06-26 | 南京航空航天大学 | 基于级联卷积神经网络的脑部胶质瘤分割 |
| CN111667486A (zh) * | 2020-04-29 | 2020-09-15 | 杭州深睿博联科技有限公司 | 一种基于深度学习的多模态融合胰腺分割方法和系统 |
| CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
| CN111915619A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种双特征提取与融合的全卷积网络语义分割方法 |
Non-Patent Citations (12)
| Title |
|---|
| HANQIANG LIU 等: "Broad Learning-based Intervertebral Discs Localization and Segmentation", 《ISICDM 2019》 * |
| HANQIANG LIU 等: "Broad Learning-based Intervertebral Discs Localization and Segmentation", 《ISICDM 2019》, 31 December 2019 (2019-12-31), pages 263 - 268 * |
| JOSE DOLZ 等: "HyperDense-Net: A Hyper-Densely Connected CNN for Multi-Modal Image Segmentation", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
| JOSE DOLZ 等: "HyperDense-Net: A Hyper-Densely Connected CNN for Multi-Modal Image Segmentation", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 38, no. 5, 31 May 2019 (2019-05-31), pages 1116 - 1126, XP011722426, DOI: 10.1109/TMI.2018.2878669 * |
| YICHAO WU 等: "Hepatic Lesion Segmentation by Combining Plain and Contrast-Enhanced CT Images with Modality Weighted U-Net", 《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
| YICHAO WU 等: "Hepatic Lesion Segmentation by Combining Plain and Contrast-Enhanced CT Images with Modality Weighted U-Net", 《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, 26 August 2019 (2019-08-26), pages 1 - 4 * |
| 朱婷等: "基于WRN-PPNet的多模态MRI脑肿瘤全自动分割", 《计算机工程》 * |
| 朱婷等: "基于WRN-PPNet的多模态MRI脑肿瘤全自动分割", 《计算机工程》, no. 12, 16 May 2018 (2018-05-16), pages 258 - 263 * |
| 朱婷等: "基于多通路CNN的多模态MRI神经胶质瘤分割", 《计算机应用与软件》 * |
| 朱婷等: "基于多通路CNN的多模态MRI神经胶质瘤分割", 《计算机应用与软件》, no. 04, 15 April 2018 (2018-04-15), pages 0 - 4 * |
| 陈浩 等: "基于同一特征空间的多模态脑肿瘤分割方法", 《计算机应用》 * |
| 陈浩 等: "基于同一特征空间的多模态脑肿瘤分割方法", 《计算机应用》, vol. 40, no. 7, 10 July 2020 (2020-07-10), pages 2104 - 2109 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113506334A (zh) * | 2021-06-07 | 2021-10-15 | 刘星宇 | 基于深度学习的多模态医学图像融合方法及系统 |
| CN113506334B (zh) * | 2021-06-07 | 2023-12-15 | 刘星宇 | 基于深度学习的多模态医学图像融合方法及系统 |
| CN113487624A (zh) * | 2021-06-24 | 2021-10-08 | 深圳市赛维网络科技有限公司 | 一种人体实例分割方法、终端设备及存储介质 |
| CN113487624B (zh) * | 2021-06-24 | 2023-10-13 | 深圳市赛维网络科技有限公司 | 一种人体实例分割方法、终端设备及存储介质 |
| CN113496495A (zh) * | 2021-06-25 | 2021-10-12 | 华中科技大学 | 可缺失输入的医学图像分割模型建立方法及分割方法 |
| CN113496495B (zh) * | 2021-06-25 | 2022-04-26 | 华中科技大学 | 可缺失输入的医学图像分割模型建立方法及分割方法 |
| CN113487591A (zh) * | 2021-07-22 | 2021-10-08 | 上海嘉奥信息科技发展有限公司 | 一种基于ct的整条脊柱的分割方法、系统 |
| CN115393678A (zh) * | 2022-08-01 | 2022-11-25 | 北京理工大学 | 一种基于图像式中间态的多模态数据融合决策方法 |
| CN115393678B (zh) * | 2022-08-01 | 2024-04-02 | 北京理工大学 | 一种基于图像式中间态的多模态数据融合决策方法 |
| CN116310187A (zh) * | 2023-05-17 | 2023-06-23 | 中国地质大学（武汉） | 一种小尺度短周期的滩涂精细建模方法 |
| CN116310187B (zh) * | 2023-05-17 | 2023-08-04 | 中国地质大学（武汉） | 一种小尺度短周期的滩涂精细建模方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112862830B (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
| CN112465830B (zh) | 一种磨玻璃样肺结节自动分割方法及计算机设备 | |
| WO2019200747A1 (zh) | 分割股骨近端的方法、装置、计算机设备和存储介质 | |
| CN111145181B (zh) | 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法 | |
| Li et al. | Automatic lumbar spinal MRI image segmentation with a multi-scale attention network | |
| CN111598875A (zh) | 甲状腺结节自动检测模型构建方法、系统及装置 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN110782427B (zh) | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 | |
| CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| CN115809998A (zh) | 基于E2C-Transformer网络的胶质瘤MRI数据分割方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN115984555A (zh) | 一种基于深度自编码器构图的冠状动脉狭窄识别方法 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN115018863A (zh) | 基于深度学习的图像分割方法及装置 | |
| Tursynova et al. | Brain Stroke Lesion Segmentation Using Computed Tomography Images based on Modified U-Net Model with ResNet Blocks. | |
| CN117495882A (zh) | 一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法 | |
| CN117291935A (zh) | 一种头颈瘤病灶区域图像分割方法及计算机可读介质 | |
| CN116228731A (zh) | 一种多对比学习冠状动脉高危斑块检测方法、系统及终端 | |
| Adegun et al. | Deep convolutional network-based framework for melanoma lesion detection and segmentation | |
| Sünkel et al. | Hybrid quantum machine learning assisted classification of COVID-19 from computed tomography scans | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| Liu et al. | TrEnD: A transformer‐based encoder‐decoder model with adaptive patch embedding for mass segmentation in mammograms | |
| CN114565617A (zh) | 基于剪枝U-Net++的乳腺肿块图像分割方法及系统 | |
| Shijitha et al. | Efficient Morphological Segmentation of Brain Hemorrhage Stroke Lesion Through MultiResUNet. | |
| Bouslimi et al. | Deep Learning Based Localisation and Segmentation of Prostate Cancer from mp-MRI Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |