CN112950644A - 基于深度学习的新生儿大脑图像分割方法及模型构建方法 - Google Patents
基于深度学习的新生儿大脑图像分割方法及模型构建方法 Download PDFInfo
- Publication number
- CN112950644A CN112950644A CN202110284664.5A CN202110284664A CN112950644A CN 112950644 A CN112950644 A CN 112950644A CN 202110284664 A CN202110284664 A CN 202110284664A CN 112950644 A CN112950644 A CN 112950644A
- Authority
- CN
- China
- Prior art keywords
- magnetic resonance
- image
- resonance image
- bimodal
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000003709 image segmentation Methods 0.000 title claims abstract description 20
- 238000010276 construction Methods 0.000 title abstract description 5
- 230000002902 bimodal effect Effects 0.000 claims abstract description 83
- 230000011218 segmentation Effects 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000011176 pooling Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims description 24
- 238000012795 verification Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 13
- 238000007499 fusion processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 abstract description 12
- 238000005728 strengthening Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 210000001519 tissue Anatomy 0.000 description 10
- 230000011157 brain segmentation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 210000001638 cerebellum Anatomy 0.000 description 3
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 3
- 230000001054 cortical effect Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000036642 wellbeing Effects 0.000 description 3
- 210000004885 white matter Anatomy 0.000 description 3
- 210000000133 brain stem Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000004884 grey matter Anatomy 0.000 description 2
- 210000001320 hippocampus Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 235000011437 Amygdalus communis Nutrition 0.000 description 1
- 208000021657 Birth injury Diseases 0.000 description 1
- 208000036626 Mental retardation Diseases 0.000 description 1
- 208000037212 Neonatal hypoxic and ischemic brain injury Diseases 0.000 description 1
- 241000220304 Prunus dulcis Species 0.000 description 1
- 235000020224 almond Nutrition 0.000 description 1
- 210000004727 amygdala Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 230000004641 brain development Effects 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 206010008129 cerebral palsy Diseases 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003988 neural development Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 208000033300 perinatal asphyxia Diseases 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种基于深度学习的新生儿大脑图像分割方法及模型构建方法，对数据集中包括双模态磁共振图像和基准图像进行预处理；预构建特征强化双模态分割网络模型FedNet，用与处理后的数据集对特征强化双模态分割网络模型FedNet进行训练，将处理后的数据集输入训练好的特征强化双模态分割网络模型FedNet中，输出分割后的二维图像；对分割后的二维图像进行重建，输出和预处理前图像大小相同的已分割的新生儿大脑磁共振图像；本发明采用双通道特征强化下采样模块，通过不同模态分别进行卷积和最大池化处理，这样充分结合了双通道输出的特征信息的多样性，本发明中提出注意上采样模块，使得分割网络能够具有注意的特征，从而提升了网络分割的精准度。
Description
技术领域
本发明属于医学图像分割领域，涉及模式识别、图像处理技术，具体涉及基于深度学习的新生儿大脑图像分割方法及模型构建方法。
背景技术
新生儿大脑损伤对于正常发育和比较早期神经发育特别不利，主要由围生期缺氧以及产伤所致。也是引起之后脑瘫、智力低下以及癫痫等疾病关键的因素。新生儿大脑磁共振图像(MRI)分割一直是临床放射科重要的一部分，它有助于检查新生儿尤其是早产儿的脑健全以及神经是否发展健全的情况，特别是可以分析出威胁大脑健康的因素从而帮助新生儿大脑的诊断。因此分割新生儿脑组织对新生儿早期脑发育的研究具有重要意义。现如今，对于新生儿大脑核磁共振的分析主要是由放射科的医生进行手工分割后主观进行检查。这样的检查不仅繁琐、耗时以及重复性差而且会由于不同的患者而发生主观上的判断。因此自动大脑的全自动分割成为了研究的必然趋势。
近年来，基于深度学习的图像分割方法发展如火如荼，并且在磁共振成像领域取得突破性进展，例如全卷积神经网络(FCN)、U-Net以及深度卷积神经网络。在大脑分割领域用的最多是U-Net网络，该网络结构由捕获上下文的收缩路径和支持精确定位的对称展开路径组成，优点在于能够从较小的数据集中得到端到端的训练，从而训练出较好的分割模型，而且在使用GPU的情况下能够更快速的分割出大脑组织。为了加快大脑分割训练模型的速度以及提高分割的精准度，数据在被用于训练网络之前都会进行预处理，主要的预处理方法有偏差场矫正、图像配准以及数据标准化处理。
相比于成人大脑分割，新生儿的脑部图像分割更具有挑战性：1)在扫描期间，新生儿不能静止不动,这就导致新生儿大脑MRI即使扫描序列很短也会显示运动伪影；2)新生儿脑部磁共振图像和成人脑部图像的同一组织的强度值有明显差别；3)在新生儿大脑中每一种组织类型表现出明显的强度不均匀化，这是由于射频的不均匀性和发育组织的生物特性的结合所导致；4)不同的组织强度特征有很大程度上的重叠，这样对于依据边界处不同组织强度不同分割是具有很大的难度。综上所述，如何在新生儿大脑磁共振组织分割算法上进行改进，使得分割的速度加快并且提高分割的精准度是急需面对的一项挑战。
发明内容
针对现有技术存在的不足，本发明的目的在于，提供基于深度学习的新生儿大脑图像分割方法及模型构建方法，解决现有技术中对于多分割任务分割效果差的技术问题。
为了解决上述技术问题，本发明采用如下技术方案予以实现：
基于深度学习的新生儿大脑图像分割模型构建方法，该方法包括以下步骤：
步骤1，获得新生儿大脑磁共振图像的数据集，将数据集中的双模态新生儿大脑磁共振图像和基准图像进行第一预处理，得到大小一致的二维双模态磁共振图像和二维基准图像；
所述的数据集中包括双模态新生儿大脑磁共振图像和基准图像；
步骤2，预构建特征强化双模态分割网络模型FedNet；
所述的特征强化双模态分割网络模型FedNet包括4个双通道特征强化下采样模块和4个注意上采样模块；
步骤3，以步骤1输出的大小一致的二维双模态磁共振图像作为输入，以大小一致的二维基准图像作为标签，对步骤2中预构建的特征强化双模态分割网络模型FedNet进行训练，得到训练好的特征强化双模态分割网络模型FedNet。
本发明还具有如下技术特征：
步骤2中，所述的双通道特征强化下采样模块用于对不同模态的图像进行特征提取和强化上采样输出后的特征；
所述的注意上采样模块结合通道注意力机制和空间注意力机制，使得输出特征同时具备通道和空间的注意特征；加大每个特征对应重要分割类别的权重，屏蔽不相干的特征信息，以提高分割的准确率。
步骤2中，所述的双通道特征强化下采样模块的双通道中的每个通道包含空间可分离的卷积层、ReLU激活函数层和最大池化层，双通道之间的特征值通过最大融合层相融合；
所述的上采样模块包含反卷积层、空间可分离的卷积层、ReLU激活函数层和Concat。
所述的扩张融合注意力模块将通道注意力机制和空间注意力机制相结合，先对提取的特征进行通道注意力处理，将提取的特征与通道注意力处理后的特征进行融合处理；将融合处理后的特征进行提取，提取的特征进行空间注意力处理，将提取的特征与空间注意力处理后的特征进行融合处理，使输出特征同时具备通道和空间的注意特征。
将新生儿大脑磁共振图像的数据集分为训练集、验证集和测试集，对训练集和验证集中的双模态新生儿大脑磁共振图像和基准图像进行第一预处理。
所述的第一预处理的具体步骤为：
步骤1.1，对训练集和验证集中的双模态磁共振图像进行标准化预处理；
步骤1.2，对训练集和验证集中的经过标准化预处理的双模态磁共振图像和基准图像进行进行切片转化为二维双模态磁共振图像和二维基准图像；并将二维双模态磁共振图像和二维基准图像裁剪成大小一致的二维双模态磁共振图像和二维基准图像。
步骤1.1的具体步骤为：
步骤1.1.1，在训练集和验证集中任意各选出一个模态磁共振图像Img1和另一个模态磁共振图像Img2进行归一化处理，所述的归一化处理后的磁共振图像Img1和磁共振图像Img2像素值都在0和1之间；
步骤1.1.2，将归一化后的磁共振图像Img1和磁共振图像Img2分别进行对比度受限的自适应直方图均衡化，得到两个对比度加强后的磁共振图像ImgA和磁共振图像ImgB；
步骤1.1.3，以磁共振图像ImgA和磁共振图像ImgB作为直方图匹配处理中双模态磁共振图像的参考图像，对训练集和验证集中除磁共振图像Img1和磁共振图像Img2之外的磁共振图像与对比度加强后相同模态的磁共振图像ImgA和磁共振图像ImgB进行直方图匹配，使训练集和验证集中所有磁共振图像与磁共振图像Img1和磁共振图像Img2具有相同的直方图特性；
所述的相同的直方图特性即图像像素值均在0和1之间，相对于原磁共振图像的对比度加强。
基于深度学习的新生儿大脑图像分割方法，该方法包括以下步骤：
步骤一，采集双模态新生儿大脑磁共振图像，对所述的双模态新生儿大脑磁共振图像进行第二预处理，得到大小一致的二维双模态磁共振图像；
步骤二，将经过步骤一中第二预处理后的大小一致的二维双模态磁共振图像输入如上所述的训练好的特征强化双模态分割网络模型FedNet中，输出分割后的二维图像；
步骤三，对分割后的二维图像进行重建，输出和预处理前图像大小相同的已分割的新生儿大脑磁共振图像。
所述的第二预处理的具体步骤为：
对步骤一中所述的双模态新生儿大脑磁共振图像进行进行切片转化为二维双模态磁共振图像；并将二维双模态磁共振图像裁剪成大小一致的二维双模态磁共振图像。
本发明与现有技术相比，具有如下技术效果：
(Ⅰ)本发明采用双通道特征强化下采样模块，通过不同模态分别进行卷积和最大池化处理，这样充分结合了双通道输出的特征信息的多样性，本发明中提出注意上采样模块，使得分割网络能够具有注意的特征，从而提升了网络分割的精准度。
(Ⅱ)本发明将双通道特征强化下采样模块中最大池化输出的特征进行了最大融合处理，再输出到注意上采样模块中，在双通道最大池化输出的两个特征信息都存在的情况下，选取特征值高的进行训练，这样就可以达到信息互补作用，从而提高分割的精准度。
(Ⅲ)本发明采用了注意上采样模块，将新生儿大脑图像中的不同组织区分开来，区分由于在组织边界相似的特征值，从而提高分割的精准度。
附图说明
图1为本发明的流程示意图。
图2为本发明的特征强化双模态分割网络模型FedNet的结构示意图。
图3为本发明的双通道特征强化下采样模块网络结构示意图。
图4为本发明的注意上采样模块网络结构示意图。
图5为本发明提出的扩张融合注意模块网络结构示意图。
图6为本发明提出的扩张融合注意模块中的子模块网络结构示意图，图6(a)为通道注意力模块网络结构示意图，图(b)为空间注意力模块网络结构示意图。
图7为标准化预处理前后对比图，图7(a)为原始T1模态磁共振图像，图7(c)为原始T2模态磁共振图像，图7(b)为标准化预处理后T1模态磁共振图像，图7(d)为标准化预处理后T2模态磁共振图像。
图8为标准化预处理后已裁剪图像示意图，图8(a)、图8(c)和图8(e)为二维模态磁共振图像示意图，图8(b)为图8(a)对应的已裁剪二维模态磁共振图像示意图，图8(d)为图8(c)对应的已裁剪二维模态磁共振图像示意图，图8(f)为图8(e)对应的已裁剪二维模态磁共振图像示意图。
图9(a)为本实施例1中T1模态磁共振图像，图9(b)为本实施例1中T2模态磁共振图像，图9(c)为实施例1中已分割的模态磁共振图像。
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例1：
本实施例给出基于深度学习的新生儿大脑图像分割方法及模型构建方法，如图1所示，该方法包括以下步骤：
步骤1，获得新生儿大脑磁共振图像的数据集，将数据集中的双模态新生儿大脑磁共振图像和基准图像进行第一预处理，得到大小一致的二维双模态磁共振图像和二维基准图像；
所述的数据集中包括双模态新生儿大脑磁共振图像和基准图像；
在本实施例中，从新生儿大脑磁共振图像的数据集选取一组如图7(a)和图7(c)所示的T1模态磁共振图像和T2模态磁共振图像；经过标准化预处理后输出如图7(b)标准化预处理后T1模态磁共振图像和图7(d)所示的标准化预处理后T2模态磁共振图像；
步骤2，预构建特征强化双模态分割网络模型FedNet；
所述的特征强化双模态分割网络模型FedNet包括4个双通道特征强化下采样模块和4个注意上采样模块；
在本实施例中，预构建如图2所示的特征强化双模态分割网络模型FedNet；
步骤3，以步骤1输出的大小一致的二维双模态磁共振图像作为输入，以大小一致的二维基准图像作为标签，对步骤2中预构建的特征强化双模态分割网络模型FedNet进行训练，得到训练好的特征强化双模态分割网络模型FedNet；
在本实施例中，利用Dice相似性系数(DSC)来计算分割的精准度，它直接计算预测出的大脑分割与基准图像之间的重叠部分，公式如下：
其中，TP表示真阳性，即像素既属于预测图像又属于基准图像；FP表示假阳性，即像素不属于基准图像；FN表示假阴性，即像素属于基准图像但不属于预测图像；由此可以看出分割的效果越好，DSC的值越接近1；
本实施例利用了DSC分别对新生儿大脑各组织计算损失函数；
损失函数如下：
其中yi为第i类对应的预测出的值，
为第i类基准图像对应的像素值；
作为本实施例的一种优选方案，步骤2中，所述的双通道特征强化下采样模块用于对不同模态的图像进行特征提取和强化上采样输出后的特征；
所述的注意上采样模块结合通道注意力机制和空间注意力机制，使得输出特征同时具备通道和空间的注意特征；加大每个特征对应重要分割类别的权重，屏蔽不相干的特征信息，以提高分割的准确率。
作为本实施例的一种优选方案，步骤2中，如图3所示，所述的双通道特征强化下采样模块的双通道中的每个通道包含空间可分离的卷积层、ReLU激活函数层和最大池化层，双通道之间的特征值通过最大融合层相融合；
步骤2中，如图4所示，所述的注意上采样模块包含上采样模块和扩张融合注意力模块，所述的上采样模块包含反卷积层、空间可分离的卷积层、ReLU激活函数层和Concat。
作为本实施例的一种优选方案，如图5和图6所示，所述的扩张融合注意力模块将通道注意力机制和空间注意力机制相结合，先对提取的特征进行通道注意力处理，将提取的特征与通道注意力处理后的特征进行融合处理；将融合处理后的特征进行提取，提取的特征进行空间注意力处理，将提取的特征与空间注意力处理后的特征进行融合处理，使输出特征同时具备通道和空间的注意特征。
在本实施例中，具体采用以下步骤对输入的双模态图像进行分割处理：
步骤2.1：如FedNet中的第一个双通道特征强化下采样模块，将步骤1中所得到的T1模态磁共振图像块和T2模态磁共振图像块输入到双通道特征强化下采样模块，具体如下：
步骤2.1.1，将步骤1得到的T1模态和T2模态磁共振图像块分别输入卷积核为3×3的双层空间可分离的二维卷积，每个卷积后面都进行了ReLU激活，得到一个具有很精细非线性映射的T1特征图和T2特征图；
步骤2.1.2，将步骤2.1.1中得到的T1特征图和T2特征图分别进行池化窗口大小为2×2，步长为1的最大池化处理，得到经过压缩后的具有最大特征值的TA和TB特征图；
步骤2.1.3，将步骤2.1.2输出的TA和TB特征图进行最大融合处理，通过将TA和TB特征图的特征值进行逐一比较，得到具有最大特征值的最大融合特征图TF；
最大融合的数学公式如下：
其中i＝1,2,3，...，N，N为TA和TB特征图中的特征数目的最大值，i为对应的特征值的次序，
为双通道最大池化输出的TA特征图的特征值，
为双通道最大池化输出的TB特征图的特征值，TF(i)为采用逐特征值比较方法取得的特征最大值；
步骤2.2，如FedNet中第一个注意上采样模块，包括上采样模块和扩张融合注意力模块，具体步骤为：
步骤2.2.1，将输入注意上采样模块的特征图进行反卷积，得到一个尺度增大的特征图Tt，将步骤2.1中双通道特征强化下采样模块输出的特征图TF与特征图Tt进行concat合并，得到一个较高分辨率的特征图Tc；
步骤2.2.2，将concat合并之后的特征图Tc进行卷积核为3×3的双层空间可分离的卷积，每层卷积之后进行ReLU激活，得到更精细具有非线性映射的特征图Tss；
步骤2.2.3，最后将Tss进行DFAM处理，得到一个具有通道和空间特性的注意特征图Td；
步骤2.2.3.1，将输入的特征图进行卷积核为3×3的卷积(C3)和扩张卷积(D3)，然后将二者输出进行Concat连接，再进行卷积核为1×1卷积(C1)。每层卷积之后都用了ReLU激活函数进行非线性映射，得到一个经过特征提取之后的特征图I；
步骤2.2.3.2：将步骤2.2.3.1中经过特征提取之后的特征图I进行通道注意处理，并和处理后的通道注意特征图进行拼接，再进行卷积核为1×1卷积，得到一个通道注意特征图。本实例中通道注意力网络结构如图6中(a)所示，通道注意模块是将输入的特征图I，分别经过基于特征图的宽度和高度进行最大池化和平均池化，然后经过多层感知器之后进行相加，最后用Sigmoid函数进行激活，通道注意机制表达式如下：
其中OC(I)为经过通道注意力之后输出的通道注意映射，公式中C代表通道的意思，w1,w0为MLP的权重，
表示输入特征图I在通道上的平均池化输出，
中下标avg代表平均池化，
表示输入特征图I在通道上的最大池化输出，
中下标max代表最大池化，σ为sigmoid激活操作，AvgPooling为平均池化，MaxPooling为最大池化，MLP为多层感知器；
步骤2.2.3.3：将步骤2.2.3.2得到的通道注意特征图经过步骤2.2.3.1处理，得到一个通道注意再提取的特征图I1进行空间注意处理并和处理后的空间注意特征进行拼接，最后将拼接后的特征进行1×1的卷积，最终得到一个经过精提取同时具有通道和空间特性的特征图。本实例中用到的空间注意模块(SAM)，是将输入到空间注意模块的特征图I1首先基于通道做最大池化处理再进行平均池化处理，处理完的结果输入到卷积核为7×7的二维卷积层，最后用Sigmoid函数进行激活，空间注意机制表达式如下：
其中，Os(I1)为经过空间注意力之后输出的特征图，公式中S代表空间，
表示图像特征在空间上的平均池化，其中
中的下标表示平均池化，
表示图像特征在空间上的最大池化，其中
中的下标表示最大池化。f7×7表示卷积核大小为7×7的二维卷积层，AvgPooling为平均池化，MaxPooling为最大池化。
作为本实施例的一种优选方案，新生儿大脑磁共振图像的数据集分为训练集、验证集和测试集，对训练集和验证集中的双模态新生儿大脑磁共振图像和基准图像进行第一预处理。
作为本实施例的一种优选方案，所述的第一预处理的具体步骤为：
步骤1.1，对训练集和验证集中的双模态磁共振图像进行标准化预处理；
步骤1.2，对训练集和验证集中的经过标准化预处理的双模态磁共振图像和基准图像进行进行切片转化为二维双模态磁共振图像和二维基准图像；并将二维双模态磁共振图像和二维基准图像裁剪成大小一致的二维双模态磁共振图像和二维基准图像。
在本实施例中，选取如图8(a)、图8(c)和图8(e)所示的二维模态磁共振图像，对其进行裁剪，输出如图8(b)、图8(d)和图8(f)所示的已裁剪二维模态磁共振图像。
作为本实施例的一种优选方案，步骤1.1具体步骤为：
步骤1.1.1，在训练集和验证集中任意各选出一个模态磁共振图像Img1和另一个模态磁共振图像Img2进行归一化处理，所述的归一化处理后的磁共振图像Img1和磁共振图像Img2像素值都在0和1之间；
在本实施例中，所述的归一化处理为：
其中，Vnew为归一化后的像素值，Vold输入的图像像素值，Min为整个图像体积中最小的像素值，Max为整个图像体积中最大的像素值；
步骤1.1.2，将归一化后的磁共振图像Img1和磁共振图像Img2分别进行对比度受限的自适应直方图均衡化，得到两个对比度加强后的磁共振图像ImgA和磁共振图像ImgB；
步骤1.1.3，以磁共振图像ImgA和磁共振图像ImgB作为直方图匹配处理中双模态磁共振图像的参考图像，对训练集和验证集中除磁共振图像Img1和磁共振图像Img2之外的磁共振图像与对比度加强后相同模态的磁共振图像ImgA和磁共振图像ImgB进行直方图匹配，使训练集和验证集中所有磁共振图像与磁共振图像Img1和磁共振图像Img2具有相同的直方图特性；
所述的相同的直方图特性即图像像素值均在0和1之间，相对于原磁共振图像的对比度加强。
作为本实施例的一种优选方案，所述的第二预处理的具体步骤为：
将测试集中的二维双模态磁共振图像和二维基准图像裁剪成大小一致的二维双模态磁共振图像和二维基准图像。
基于深度学习的新生儿大脑图像分割方法，该方法包括以下步骤：
步骤一，采集双模态新生儿大脑磁共振图像，对所述的双模态新生儿大脑磁共振图像进行第二预处理，得到大小一致的二维双模态磁共振图像；
在本实施例中，选取如图9(a)和图9(b)所示的T1模态磁共振图像和T2模态磁共振图像；
步骤二，将经过步骤一中第二预处理后的大小一致的二维双模态磁共振图像输入如上所述的训练好的特征强化双模态分割网络模型FedNet中，输出分割后的二维图像；
步骤三，对分割后的二维图像进行重建，输出和预处理前图像大小相同的如图9(c)所示的已分割的新生儿大脑磁共振图像。
所述的第二预处理的具体步骤为：
对步骤一中所述的双模态新生儿大脑磁共振图像进行进行切片转化为二维双模态磁共振图像；并将二维双模态磁共振图像裁剪成大小一致的二维双模态磁共振图像。
本实施例中，经过训练以及验证，得到了步骤3训练好的特征强化双模态分割网络模型FedNet，选用测试集对步骤3训练好的特征强化双模态分割网络模型FedNet进行测试，首先按照训练时图像块的大小作为提取步长提取测试集上每一个图像的图像块，然后我们将图像块输入到训练好的特征强化双模态分割网络模型FedNet中，从而获得了一个大小为32×32×9的概率映射图，其中9为分割的类别数，接着将概率映射图上每个像素对应的最大概率对应的标签返回，最后将分割后的二维图像块按照提取二维图像的逆方式重建成裁剪前的尺寸，得到了已分割的新生儿大脑磁共振图像。
在本实施例中，选取公开数据集Dhcp作为数据集；本实施例中采用Sklearn包中的extract_patches算法将双模态磁共振图像和基准图像裁剪转化为大小为32×32的二维双模态磁共振图像和二维基准图像；选用的数据集Dhcp中40个20-44周的新生儿大脑图像，每个大脑数据由290×290×203个像素组成，数据集中提供了用于脑脊液、大脑皮层灰质、白质、心室、小脑、深部灰质、脑干、海马和杏仁体组织分割的基准图像，分割类别为对应的8类，其对应的标签分别为1-8。
数据集为40个T1模态磁共振图像和T2模态磁共振图像，选取25个样本作为训练集，10个作为验证集，5个作为测试集。如表1所示，为本发明的方法与现有方法在Dice指标上与的结果对比，其中Proposed为本发明的方法，1为脑脊液(Cerebrospinal Fluid)、2为大脑皮层灰质(Cortical Gray Matter)、3为白质(White Matter)、4为心室(Ventricles)、5为小脑(Cerebellum)、6为深部灰质(Deep Gray Matter)、7为脑干(Brainstem)、8为海马和杏仁体；由上述对比，可以得知本发明提出的基于深度学习的新生儿大脑磁共振图像分割方法相比于其他分割方法，在分割多任务的情况下分割的效果更好。
表1 Dice指标上本发明方法与其他方法的结果对比
| 方法 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| U-Net | 0.8364 | 0.6832 | 0.7140 | 0.6051 | 0.6968 | 0.6366 | 0.57239 | 0.8089 |
| FCN | 0.8357 | 0.6506 | 0.6938 | 0.5755 | 0.5831 | 0.6211 | 0.4186 | 0.8112 |
| Proposed | 0.9162 | 0.8378 | 0.8913 | 0.8465 | 0.8522 | 0.9500 | 0.7986 | 0.9335 |
Claims (9)
1.基于深度学习的新生儿大脑图像分割模型构建方法，其特征在于，该方法包括以下步骤：
步骤1，获得新生儿大脑磁共振图像的数据集，将数据集中的双模态新生儿大脑磁共振图像和基准图像进行第一预处理，得到大小一致的二维双模态磁共振图像和二维基准图像；
所述的数据集中包括双模态新生儿大脑磁共振图像和基准图像；
步骤2，预构建特征强化双模态分割网络模型FedNet；
所述的特征强化双模态分割网络模型FedNet用于分割新生儿大脑图像，包括4个双通道特征强化下采样模块和4个注意上采样模块；
步骤3，以步骤1输出的大小一致的二维双模态磁共振图像作为输入，以大小一致的二维基准图像作为标签，对步骤2中预构建的特征强化双模态分割网络模型FedNet进行训练，得到训练好的特征强化双模态分割网络模型FedNet。
2.如权利要求1所述的基于深度学习的新生儿大脑图像分割模型构建方法，其特征在于，步骤2中，所述的双通道特征强化下采样模块用于对不同模态的图像进行特征提取和强化上采样输出后的特征；
所述的注意上采样模块结合通道注意力机制和空间注意力机制，使得输出特征同时具备通道和空间的注意特征；加大每个特征对应重要分割类别的权重，屏蔽不相干的特征信息，以提高分割的准确率。
3.如权利要求1所述的基于深度学习的新生儿大脑图像分割模型构建方法，其特征在于，步骤2中，所述的双通道特征强化下采样模块的双通道中的每个通道包含空间可分离的卷积层、ReLU激活函数层和最大池化层，双通道之间的特征值通过最大融合层相融合；
步骤2中，所述的注意上采样模块包含上采样模块和扩张融合注意力模块，所述的上采样模块包含反卷积层、空间可分离的卷积层、ReLU激活函数层和Concat。
4.如权利要求3所述的基于深度学习的新生儿大脑图像分割模型构建方法，其特征在于，所述的扩张融合注意力模块将通道注意力机制和空间注意力机制相结合，先对提取的特征进行通道注意力处理，将提取的特征与通道注意力处理后的特征进行融合处理；将融合处理后的特征进行提取，提取的特征进行空间注意力处理，将提取的特征与空间注意力处理后的特征进行融合处理，使输出特征同时具备通道和空间的注意特征。
5.如权利要求1所述的基于深度学习的新生儿大脑图像分割模型构建方法，其特征在于，将新生儿大脑磁共振图像的数据集分为训练集、验证集和测试集，对训练集和验证集中的双模态新生儿大脑磁共振图像和基准图像进行第一预处理。
6.如权利要求5所述的基于深度学习的新生儿大脑图像分割模型构建方法，其特征在于，所述的第一预处理的具体步骤为：
步骤1.1，对训练集和验证集中的双模态磁共振图像进行标准化预处理；
步骤1.2，对训练集和验证集中的经过标准化预处理的双模态磁共振图像和基准图像进行进行切片转化为二维双模态磁共振图像和二维基准图像；并将二维双模态磁共振图像和二维基准图像裁剪成大小一致的二维双模态磁共振图像和二维基准图像。
7.如权利要求6所述的基于深度学习的新生儿大脑图像分割模型构建方法，其特征在于，步骤1.1的具体步骤为：
步骤1.1.1，在训练集和验证集中任意各选出一个模态磁共振图像Img1和另一个模态磁共振图像Img2进行归一化处理，所述的归一化处理后的磁共振图像Img1和磁共振图像Img2像素值都在0和1之间；
步骤1.1.2，将归一化后的磁共振图像Img1和磁共振图像Img2分别进行对比度受限的自适应直方图均衡化，得到两个对比度加强后的磁共振图像ImgA和磁共振图像ImgB；
步骤1.1.3，以磁共振图像ImgA和磁共振图像ImgB作为直方图匹配处理中双模态磁共振图像的参考图像，对训练集和验证集中除磁共振图像Img1和磁共振图像Img2之外的磁共振图像与对比度加强后相同模态的磁共振图像ImgA和磁共振图像ImgB进行直方图匹配，使训练集和验证集中所有磁共振图像与磁共振图像Img1和磁共振图像Img2具有相同的直方图特性；
所述的相同的直方图特性即图像像素值均在0和1之间，相对于原磁共振图像的对比度加强。
8.基于深度学习的新生儿大脑图像分割方法，其特征在于，该方法包括以下步骤：
步骤一，采集双模态新生儿大脑磁共振图像，对所述的双模态新生儿大脑磁共振图像进行第二预处理，得到大小一致的二维双模态磁共振图像；
步骤二，将经过步骤一中第二预处理后的大小一致的二维双模态磁共振图像输入如权利要求1所述的训练好的特征强化双模态分割网络模型FedNet中，输出分割后的二维图像；
步骤三，对分割后的二维图像进行重建，输出和预处理前图像大小相同的已分割的新生儿大脑磁共振图像。
9.如权利要求8所述的基于深度学习的新生儿大脑磁共振图像分割方法，其特征在于，所述的第二预处理的具体步骤为：
对步骤一中所述的双模态新生儿大脑磁共振图像进行进行切片转化为二维双模态磁共振图像；并将二维双模态磁共振图像裁剪成大小一致的二维双模态磁共振图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110284664.5A CN112950644B (zh) | 2021-03-17 | 2021-03-17 | 基于深度学习的新生儿大脑图像分割方法及模型构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110284664.5A CN112950644B (zh) | 2021-03-17 | 2021-03-17 | 基于深度学习的新生儿大脑图像分割方法及模型构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950644A true CN112950644A (zh) | 2021-06-11 |
| CN112950644B CN112950644B (zh) | 2024-04-05 |
Family
ID=76230285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110284664.5A Active CN112950644B (zh) | 2021-03-17 | 2021-03-17 | 基于深度学习的新生儿大脑图像分割方法及模型构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950644B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516671A (zh) * | 2021-08-06 | 2021-10-19 | 重庆邮电大学 | 一种基于U-net和注意力机制的婴幼儿脑组织分割方法 |
| CN114332462A (zh) * | 2021-12-31 | 2022-04-12 | 福州大学 | 一种针对大脑病变融入注意力机制的mri分割方法 |
| CN114898110A (zh) * | 2022-04-25 | 2022-08-12 | 四川大学 | 一种基于全分辨率表示网络的医学图像分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190026897A1 (en) * | 2016-11-07 | 2019-01-24 | Institute Of Automation, Chinese Academy Of Sciences | Brain tumor automatic segmentation method by means of fusion of full convolutional neural network and conditional random field |
| CN110930397A (zh) * | 2019-12-06 | 2020-03-27 | 陕西师范大学 | 一种磁共振图像分割方法、装置、终端设备及存储介质 |
| CN111640119A (zh) * | 2020-04-09 | 2020-09-08 | 北京邮电大学 | 一种图像处理方法、处理装置、电子设备及存储介质 |
| CN111870245A (zh) * | 2020-07-02 | 2020-11-03 | 西安交通大学 | 一种跨对比度引导的超快速核磁共振成像深度学习方法 |
| CN112288749A (zh) * | 2020-10-20 | 2021-01-29 | 贵州大学 | 一种基于深度迭代融合深度学习模型的颅骨图像分割方法 |
-
2021
- 2021-03-17 CN CN202110284664.5A patent/CN112950644B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190026897A1 (en) * | 2016-11-07 | 2019-01-24 | Institute Of Automation, Chinese Academy Of Sciences | Brain tumor automatic segmentation method by means of fusion of full convolutional neural network and conditional random field |
| CN110930397A (zh) * | 2019-12-06 | 2020-03-27 | 陕西师范大学 | 一种磁共振图像分割方法、装置、终端设备及存储介质 |
| CN111640119A (zh) * | 2020-04-09 | 2020-09-08 | 北京邮电大学 | 一种图像处理方法、处理装置、电子设备及存储介质 |
| CN111870245A (zh) * | 2020-07-02 | 2020-11-03 | 西安交通大学 | 一种跨对比度引导的超快速核磁共振成像深度学习方法 |
| CN112288749A (zh) * | 2020-10-20 | 2021-01-29 | 贵州大学 | 一种基于深度迭代融合深度学习模型的颅骨图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 姚发展;李智;王丽会;程欣宇;张健;: "深度迭代融合的脑部磁共振图像颅骨去除网络", 中国图象图形学报, no. 10 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516671A (zh) * | 2021-08-06 | 2021-10-19 | 重庆邮电大学 | 一种基于U-net和注意力机制的婴幼儿脑组织分割方法 |
| CN113516671B (zh) * | 2021-08-06 | 2022-07-01 | 重庆邮电大学 | 一种基于U-net和注意力机制的婴幼儿脑组织图像分割方法 |
| CN114332462A (zh) * | 2021-12-31 | 2022-04-12 | 福州大学 | 一种针对大脑病变融入注意力机制的mri分割方法 |
| CN114898110A (zh) * | 2022-04-25 | 2022-08-12 | 四川大学 | 一种基于全分辨率表示网络的医学图像分割方法 |
| CN114898110B (zh) * | 2022-04-25 | 2023-05-09 | 四川大学 | 一种基于全分辨率表示网络的医学图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950644B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| KR101857624B1 (ko) | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 | |
| CN112950644B (zh) | 基于深度学习的新生儿大脑图像分割方法及模型构建方法 | |
| CN107563434B (zh) | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 | |
| CN114565761B (zh) | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 | |
| CN108985345B (zh) | 一种基于肺部医学图像融合分类的检测装置 | |
| Chen et al. | 3D intracranial artery segmentation using a convolutional autoencoder | |
| CN114581662B (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
| CN108109140A (zh) | 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN112348785B (zh) | 一种癫痫病灶定位方法及系统 | |
| CN111402198B (zh) | 基于解剖地标和残差网络的阿尔兹海默症分类方法及系统 | |
| CN111681230A (zh) | 脑白质高信号评分系统及其评分方法 | |
| CN109919915A (zh) | 基于深度学习的视网膜眼底图像异常区域检测方法及设备 | |
| Wang et al. | Automatic real-time CNN-based neonatal brain ventricles segmentation | |
| CN114202524A (zh) | 多模态医学图像的性能评价方法与系统 | |
| Cui et al. | Alzheimer's disease diagnosis using enhanced inception network based on brain magnetic resonance image | |
| CN115330807A (zh) | 一种基于混合卷积网络的脉络膜新生血管图像分割方法 | |
| Tong et al. | Automatic lumen border detection in IVUS images using dictionary learning and kernel sparse representation | |
| Tachibana et al. | The utility of applying various image preprocessing strategies to reduce the ambiguity in deep learning-based clinical image diagnosis | |
| CN111583192A (zh) | Mri图像与深度学习乳腺癌图像处理方法及早筛系统 | |
| Xu et al. | Retinal vessel segmentation with vae reconstruction and multi-scale context extractor | |
| Zhang et al. | Research on brain glioma segmentation algorithm | |
| CN116597041B (zh) | 一种脑血管病核磁影像清晰度优化方法、系统及电子设备 | |
| CN115147404B (zh) | 一种双重特征融合mra图像的颅内动脉瘤分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |