CN114332462A - 一种针对大脑病变融入注意力机制的mri分割方法 - Google Patents
一种针对大脑病变融入注意力机制的mri分割方法 Download PDFInfo
- Publication number
- CN114332462A CN114332462A CN202111663245.9A CN202111663245A CN114332462A CN 114332462 A CN114332462 A CN 114332462A CN 202111663245 A CN202111663245 A CN 202111663245A CN 114332462 A CN114332462 A CN 114332462A
- Authority
- CN
- China
- Prior art keywords
- mri
- brain
- attention
- segmentation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000007246 mechanism Effects 0.000 title claims abstract description 44
- 230000003902 lesion Effects 0.000 title claims abstract description 28
- 230000002490 cerebral effect Effects 0.000 title description 2
- 238000012549 training Methods 0.000 claims abstract description 42
- 210000004556 brain Anatomy 0.000 claims abstract description 41
- 206010051290 Central nervous system lesion Diseases 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000013526 transfer learning Methods 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims abstract description 5
- 230000010354 integration Effects 0.000 claims abstract description 5
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 claims abstract description 4
- 108091006146 Channels Proteins 0.000 claims description 49
- 238000011176 pooling Methods 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 15
- 210000001519 tissue Anatomy 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 210000005013 brain tissue Anatomy 0.000 claims description 11
- 206010072731 White matter lesion Diseases 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000001788 irregular Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000008602 contraction Effects 0.000 claims description 6
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 4
- 238000002224 dissection Methods 0.000 claims description 3
- 210000004884 grey matter Anatomy 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 210000003625 skull Anatomy 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 41
- 238000003709 image segmentation Methods 0.000 description 6
- 230000036285 pathological change Effects 0.000 description 4
- 231100000915 pathological change Toxicity 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004641 brain development Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
Images
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种针对大脑病变融入注意力机制的MRI分割方法，包括以下步骤；步骤S1、收集有分割图结果的大脑MRI图像，建立训练集；步骤S2、对训练集中待分割的原始大脑MRI图像进行预处理；步骤S3、建立带有注意力机制的卷积神经网络，并以训练集对其模型进行训练；步骤S4、当模型训练完成后，使用训练好的模型参数对验证集图像进行预测，并且生成大脑MRI组织与病变分割图；步骤S5、建立评估文件，评估分割结果；本发明能抽取出更加关键及重要的信息，同时借助迁移学习来提高在小数据集上进行训练的训练效果。
Description
技术领域
本发明涉及图像识别技术领域，尤其是一种针对大脑病变融入注意力机制的MRI分割方法。
背景技术
图像分割一直是计算机视觉领域的研究热门。图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤
磁共振成像(MRI)是一种广泛应用于临床诊断和脑研究的无创医学成像技术。它具有空间分辨率高、采集时间快的特点。不同的MRI模式，如T1加权(T1)、T2加权(T2)、T1加权对比增强(T1C)和T2加权液体衰减反转恢复(FLAIR)，提供不同的对比信息，有助于区分不同类型的组织。本发明所聚焦的脑组织与病变分割就是基于MRI上进行的，大脑组织与病变的精确分割对于许多神经系统疾病和状况的定量评估具有重要意义，在脑发育、成熟和衰老的机制等下游分析中发挥重要作用。
大脑MRI组织与病变的分割属于医学图像分割的范畴，与普通的图像分割不同，大脑MRI分割的模态更加多样化，像素值有着巨大差别，因此相比自然图像，大脑MRI分割的难度更高。根据图像分割目标的不同，大脑MRI分割的研究主要是基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法，但如今随着深度学习的火爆，基于深度学习的大脑MRI分割已经成为了当前的主流，比如FCN，U-net，DeeplabV3+等网络结构。
目前常用的方法，面对微小，空间距离远且不规则的白质病变，会出现分割错误的情况；目前常用的大脑MRI组织与病变的分割方法通常都是采用神经网络的架构，但是大脑MRI中的病变即使在同一个数据集不同例的分布也不相同，只使用这些卷积网络会由于卷积核的感受野有限，很难建立明确的长距离依赖关系，因此不能够很好的提取病变区域的上下文信息，导致最后大脑病变分割区域同时医学图像通常对标注的要求较高，数据集较小，直接训练的效果往往不太好。
发明内容
本发明提出一种针对大脑病变融入注意力机制的MRI分割方法，能抽取出更加关键及重要的信息，同时借助迁移学习来提高在小数据集上进行训练的训练效果。
本发明采用以下技术方案。
一种针对大脑病变融入注意力机制的MRI分割方法，包括以下步骤；
步骤S1、收集有分割图结果的大脑MRI图像，建立训练集；
步骤S2、对训练集中待分割的原始大脑MRI图像进行预处理；
步骤S3、建立带有注意力机制的卷积神经网络，并以训练集对其模型进行训练；
步骤S4、当模型训练完成后，使用训练好的模型参数对验证集图像进行预测，并且生成大脑MRI组织与病变分割图；
步骤S5、建立评估文件，评估分割结果。
在步骤S1中，使用包含大脑正常组织和病变组织的MRBRains18数据集，所述MRBRains18数据集的MRI图像包含T1、T2和Flair三种模态；在步骤S1中，对大脑MRI图像进行颅骨剥离处理。
在步骤S2中以预处理来优化组织与病变分割结果，包括以下步骤；
步骤A1、针对T1图像，通过直方图均衡化处理，来增加图像中大脑组织尤其是灰质白质的对比度；
步骤A2、将3个连续切片堆叠为RGB图像，使3个切片的每个2D彩色图像形成类似3D表示的MR体积的一部分；
步骤A3、进行数据增强，其数据增强策略包括图像缩放和图像旋转。
所述步骤S3中，建立带有注意力机制的2D卷积神经网络，所述注意力机制结合空间注意力、通道注意力并形成对应的模块，其方法如下：
首先通过输入特征图F(H*W*C)，计算出一个通道注意力模块，其中H为高度、W为宽度、C为通道数；接着，分别传进一个两层的神经网络MLP，即多层感知器，该多层感知器是共享的；
然后按照通道顺序乘以这个模块；然后继续计算出空间注意力模块，继续按照宽高维度乘以这个模块，
最后输出经过调整的特征图；所述空间注意力模块与通道注意力模块经完整训练后，用于提取出不同例子的白质病变特征以及位置，优化不规则的白质病变的分割结果。
所述步骤S3中，建立带有注意力机制的2D卷积神经网络时，首先进行通道注意力的处理，具体步骤为：将输入的特征图F＝(H*W*C)分别经过基于宽和高的全局最大池化与全局平均池化，得到两个1*1*C的特征图，接着，分别传进一个两层的神经网络(MLP)，也就是多层感知器；所述多层感知器是共享的；然后将多层感知器输出的特征进行基于元素求和操作，再经过sigmoid函数激活操作，生成最终的通道注意力，即Mc；最后，将Mc和输入特征图F做元素乘法操作，生成空间注意力模块需要的输入特征，计算公式如下
其中，σ代表sigmoid函数，
表示平均池化特征，
表示最大池化特征，W1,W0代表着两个多层感知器的权重，输入进来多层感知器的
和
共享这两个权重，以提高模型泛化能力；
然后将通道注意力模块输出的特征图F'作为空间注意力模块的输入特征图；空间注意力模块的相关步骤为：首先做一个基于通道的全局最大池化与全局平均池化，得到两个H*W*1的特征图，然后将这两个特征图基于通道做拼接操作；然后经过一个7×7卷积降维为1个通道，即H*W*1；再经过sigmoid生成空间注意力，即Ms；最后将Ms和该模块的输入图做乘法，得到最终生成的特征；空间注意力计算公式如下：
f7*7表示一个7×7卷积核的卷积运算。
所述带有注意力机制的2D卷积神经网络的基础基于U-net网络，包括收缩路径和扩张路径；收缩路径即为下采样层，用于获取上下文信息；扩张路径即为上采样层，用于精确的定位，且两条路径相互对称；然后在上采样层和下采样层的跳跃连接中加入注意力模块；
所述U-net网络的第一层为归一化层，用于对所使用的3种大脑MRI模态T1、T2、FLAIR的图像切片进行通道维度归一化，使这些分别反应不同组织与病变侧重点的模态一起以240*240的图像切片输入到网络中；
下采样阶段包括3个卷积层，每一层结构均有2个卷积块，卷积块的大小为3*3，和1个下采样层连接，下采样层连接使用2x2的最大池化来减少空间维度，其中，每个卷积块均由2D卷积网络和批归一化层构成，每个卷积块均用于输出特征图。每一次最大池化后特征图大小就缩小一倍。
所述U-net网络通过上采样阶段还原经过最大池化的特征图，在上采样阶段，即扩张路径，在上采样、3x3卷积和连接跳跃连接之间交替进行；所述3x3卷积随后是ReLU激活；
所述空间注意力模块和通道注意力模块被添加到各编码器级与相应解码器级之间的跳跃连接中；每个注意力模块输出的特征图与解码器阶段上采样后对应的特征图连接，经过跳跃连接与注意力机制进行加权拼接的输出，利用对应的低电平特征和高电平特征的通道间关系来使网络提取有用的高层信息，提升对大脑组织与病变尤其是白质病变的区域感知的完整度，使分割能提供更精细的特征；
在最后一层，使用1x1卷积将高维特征向量减少到9类；
所述低电平特征为下采样最大池化后的低分辨率信息；所述高电平特征为上采样后的高分辨率信息。
在步骤S3的训练阶段中，当数据集为小数据集时，通过先下载已经在IMAGENET进行预训练的权重，来进行迁移学习，把在超大数据集上训练得到的网络权重迁移到本步骤中的数据上进行训练，以节约大量的训练时间，降低欠拟合/过拟合的风险。
模型训练选择批量大小为4，训练设置50个周期后完成，同时采用交叉熵损失LCE和骰子损失Ld相结合的损失函数Ld，优化器选择为随机梯度下降SGD，初始学习率选择为0.001，来解决大脑MRI图像存在的类不平衡问题；LCE的公式为
N为图像的总像素数目yi表示图像中该像素的人工分割标签，所述针对大脑病变融入注意力机制的MRI分割方法分割的大脑MRI共分割为9个类，其中包括背景，pi表示该像素属于相应类的相应预测概率，LD的表示如下
总损失为
L＝LD+αLCE 公式五；
其中ε＝1一直为常数，以保持数值稳定性，α＝1.0为权重常数，以控制两种损失之间的权衡。
在步骤S5中，通过评估文件来评估最终分割结果，具体为使用戴斯相似性系数DSC来评估最后得分割结果；所述戴斯相似性系数表示两个物体相交的体积占总体积的比值，即对目标区域施行的空间重叠度量，大小属于[0，1]；具体表示为公式
其中G为专家手动分割得结果，P为通过测试自动生成得分割结果。
本发明针对大脑mri病变分割精度不高的问题引入了注意力机制，通过通道注意力和空间注意力机制，加强网络对重要特征的关注度，针对医学数据集普遍偏小型的缺点，通过迁移学习，在Imagenet数据集上经过预训练，使训练效果更好。
与现有技术相比，本发明的优点在于：
1、现有的大脑MRI分割方法不是基于2D就是基于3D，各有缺点，2D提取不到3D信息，使分割结果不佳，3D方法会增加显存，使训练时间过长；而本发明将3个连续切片堆叠为RGB图像，每个2D彩色图像形成了MR体积的一部分(3个切片)的类似3D的表示。这样不仅增加彩色信息数据，包含部分3D信息，同时避免了3D卷积网络昂贵的计算和内存需求。
2、现有的大脑MRI分割方法都是基于卷积网络基础上的，不能学习远程上下文信息，对不规则病变分割结果往往不好；而本发明在原有卷积网络基础上，增加注意力机制，增强特征图的语义信息，可以很好的将不规则病变区域分割出来，提高病变分割精度。
3、现有的大脑MRI分割方法通常使用从头开始训练的方法，是因为这些私人机构已有着大量的大脑MRI数据集，但由于医学数据的隐私性，大部分数据都是私人所有。而当使用小型公开数据时，由于数据样本少会导致训练效果不好；而本发明通过使用迁移学习，能利用在Imagenet数据集上经过预训练的数据，从而使模型在数据样本非常少的时候依然有较好的分割效果。
本发明属于医学图像处理领域，涉及一种基于深度学习的医学图像分割方法，方法流程包括：获取大脑MRI分割数据集，然后进行数据的预处理，如数据增强，直方图均衡化；根据处理后的数据集，通过全卷积网络构建MRI分割模型，针对现有对于大脑同时分割组织与病变存在的难点，如病变分割精度不高，混淆病变与部分组织区域的问题，通过引入CBAM(空间注意力机制与时间注意力机制)，弥补了原本基于全卷积网络时卷积核的感受野有限的不足，不能对不规则病变进行较好分割的问题。注意力机制增强特征图的语义信息，在复杂度和计算量不变的基础上可以有效提高网络的分割精度从而能够提取更准确的病变区域，提高病变分割的准确性。本发明能够较好检测出大脑的病变所在组织位置，为后续治疗奠定基础。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明的流程示意图；
附图2是本发明针对大脑病变融入注意力机制的MRI分割的整体流程示意图；
附图3是本发明设计的U-net结构图(图中：归一层将3种大脑MRI模态T1、T2、FLAIR的图像切片进行通道维度归一化，卷积层1到6都是由3*3卷积块组成的；CBAM为基于卷积网络的空间注意力与通道注意力相结合的模块；softmax函数用于多分类输出)；
附图4是基于空间注意力与通道注意力的结构及对应处理流程的整体混合注意力模块示意图；
附图5是基于空间注意力与通道注意力的结构及对应处理流程的通道注意力模块示意图；
附图6是基于空间注意力与通道注意力的结构及对应处理流程的空间注意力模块示意图。
具体实施方式
如图所示，一种针对大脑病变融入注意力机制的MRI分割方法，包括以下步骤；
步骤S1、收集有分割图结果的大脑MRI图像，建立训练集；
步骤S2、对训练集中待分割的原始大脑MRI图像进行预处理；
步骤S3、建立带有注意力机制的卷积神经网络，并以训练集对其模型进行训练；
步骤S4、当模型训练完成后，使用训练好的模型参数对验证集图像进行预测，并且生成大脑MRI组织与病变分割图；
步骤S5、建立评估文件，评估分割结果。
在步骤S1中，使用包含大脑正常组织和病变组织的MRBRains18数据集，所述MRBRains18数据集的MRI图像包含T1、T2和Flair三种模态；在步骤S1中，对大脑MRI图像进行颅骨剥离处理。
在步骤S2中以预处理来优化组织与病变分割结果，包括以下步骤；
步骤A1、针对T1图像，通过直方图均衡化处理，来增加图像中大脑组织尤其是灰质白质的对比度；
步骤A2、将3个连续切片堆叠为RGB图像，使3个切片的每个2D彩色图像形成类似3D表示的MR体积的一部分；
步骤A3、进行数据增强，其数据增强策略包括图像缩放和图像旋转。
所述步骤S3中，建立带有注意力机制的2D卷积神经网络，所述注意力机制结合空间注意力、通道注意力并形成对应的模块，其方法如下：
首先通过输入特征图F(H*W*C)，计算出一个通道注意力模块，其中H为高度、W为宽度、C为通道数；接着，分别传进一个两层的神经网络MLP，即多层感知器，该多层感知器是共享的；
然后按照通道顺序乘以这个模块；然后继续计算出空间注意力模块，继续按照宽高维度乘以这个模块，
最后输出经过调整的特征图；所述空间注意力模块与通道注意力模块经完整训练后，用于提取出不同例子的白质病变特征以及位置，优化不规则的白质病变的分割结果。
所述步骤S3中，建立带有注意力机制的2D卷积神经网络时，首先进行通道注意力的处理，具体步骤为：将输入的特征图F＝(H*W*C)分别经过基于宽和高的全局最大池化与全局平均池化，得到两个1*1*C的特征图，接着，分别传进一个两层的神经网络(MLP)，也就是多层感知器；所述多层感知器是共享的；然后将多层感知器输出的特征进行基于元素求和操作，再经过sigmoid函数激活操作，生成最终的通道注意力，即Mc；最后，将Mc和输入特征图F做元素乘法操作，生成空间注意力模块需要的输入特征，计算公式如下
其中，σ代表sigmoid函数，
表示平均池化特征，
表示最大池化特征，W1,W0代表着两个多层感知器的权重，输入进来多层感知器的
和
共享这两个权重，以提高模型泛化能力；
然后将通道注意力模块输出的特征图F'作为空间注意力模块的输入特征图；空间注意力模块的相关步骤为：首先做一个基于通道的全局最大池化与全局平均池化，得到两个H*W*1的特征图，然后将这两个特征图基于通道做拼接操作；然后经过一个7×7卷积降维为1个通道，即H*W*1；再经过sigmoid生成空间注意力，即Ms；最后将Ms和该模块的输入图做乘法，得到最终生成的特征；空间注意力计算公式如下：
f7*7表示一个7×7卷积核的卷积运算。
所述带有注意力机制的2D卷积神经网络的基础基于U-net网络，包括收缩路径和扩张路径；收缩路径即为下采样层，用于获取上下文信息；扩张路径即为上采样层，用于精确的定位，且两条路径相互对称；然后在上采样层和下采样层的跳跃连接中加入注意力模块；
所述U-net网络的第一层为归一化层，用于对所使用的3种大脑MRI模态T1、T2、FLAIR的图像切片进行通道维度归一化，使这些分别反应不同组织与病变侧重点的模态一起以240*240的图像切片输入到网络中；
下采样阶段包括3个卷积层，每一层结构均有2个卷积块，卷积块的大小为3*3，和1个下采样层连接，下采样层连接使用2x2的最大池化来减少空间维度，其中，每个卷积块均由2D卷积网络和批归一化层构成，每个卷积块均用于输出特征图。每一次最大池化后特征图大小就缩小一倍。
所述U-net网络通过上采样阶段还原经过最大池化的特征图，在上采样阶段，即扩张路径，在上采样、3x3卷积和连接跳跃连接之间交替进行；所述3x3卷积随后是ReLU激活；
所述空间注意力模块和通道注意力模块被添加到各编码器级与相应解码器级之间的跳跃连接中；每个注意力模块输出的特征图与解码器阶段上采样后对应的特征图连接，经过跳跃连接与注意力机制进行加权拼接的输出，利用对应的低电平特征和高电平特征的通道间关系来使网络提取有用的高层信息，提升对大脑组织与病变尤其是白质病变的区域感知的完整度，使分割能提供更精细的特征；
在最后一层，使用1x1卷积将高维特征向量减少到9类；
所述低电平特征为下采样最大池化后的低分辨率信息；所述高电平特征为上采样后的高分辨率信息。
在步骤S3的训练阶段中，当数据集为小数据集时，通过先下载已经在IMAGENET进行预训练的权重，来进行迁移学习，把在超大数据集上训练得到的网络权重迁移到本步骤中的数据上进行训练，以节约大量的训练时间，降低欠拟合/过拟合的风险。
模型训练选择批量大小为4，训练设置50个周期后完成，同时采用交叉熵损失LCE和骰子损失Ld相结合的损失函数Ld，优化器选择为随机梯度下降SGD，初始学习率选择为0.001，来解决大脑MRI图像存在的类不平衡问题；LCE的公式为
N为图像的总像素数目yi表示图像中该像素的人工分割标签，所述针对大脑病变融入注意力机制的MRI分割方法分割的大脑MRI共分割为9个类，其中包括背景，pi表示该像素属于相应类的相应预测概率，LD的表示如下
总损失为
L＝LD+αLCE 公式五；
其中ε＝1一直为常数，以保持数值稳定性，α＝1.0为权重常数，以控制两种损失之间的权衡。
在步骤S5中，通过评估文件来评估最终分割结果，具体为使用戴斯相似性系数DSC来评估最后得分割结果；所述戴斯相似性系数表示两个物体相交的体积占总体积的比值，即对目标区域施行的空间重叠度量，大小属于[0，1]；具体表示为公式
其中G为专家手动分割得结果，P为通过测试自动生成得分割结果。
Claims (10)
1.一种针对大脑病变融入注意力机制的MRI分割方法，其特征在于：包括以下步骤；
步骤S1、收集有分割图结果的大脑MRI图像，建立训练集；
步骤S2、对训练集中待分割的原始大脑MRI图像进行预处理；
步骤S3、建立带有注意力机制的卷积神经网络，并以训练集对其模型进行训练；
步骤S4、当模型训练完成后，使用训练好的模型参数对验证集图像进行预测，并且生成大脑MRI组织与病变分割图；
步骤S5、建立评估文件，评估分割结果。
2.根据权利要求1所述的一种针对大脑病变融入注意力机制的MRI分割方法，其特征在于：在步骤S1中，使用包含大脑正常组织和病变组织的MRBRains18数据集，所述MRBRains18数据集的MRI图像包含T1、T2和Flair三种模态；在步骤S1中，对大脑MRI图像进行颅骨剥离处理。
3.根据权利要求2所述的一种针对大脑病变融入注意力机制的MRI分割方法，其特征在于：在步骤S2中以预处理来优化组织与病变分割结果，包括以下步骤；
步骤A1、针对T1图像，通过直方图均衡化处理，来增加图像中大脑组织尤其是灰质白质的对比度；
步骤A2、将3个连续切片堆叠为RGB图像，使3个切片的每个2D彩色图像形成类似3D表示的MR体积的一部分；
步骤A3、进行数据增强，其数据增强策略包括图像缩放和图像旋转。
4.根据权利要求2所述的一种针对大脑病变融入注意力机制的MRI分割方法，其特征在于：所述步骤S3中，建立带有注意力机制的2D卷积神经网络，所述注意力机制结合空间注意力、通道注意力并形成对应的模块，其方法如下：
首先通过输入特征图F(H*W*C)，计算出一个通道注意力模块，其中H为高度、W为宽度、C为通道数；接着，分别传进一个两层的神经网络MLP，即多层感知器，该多层感知器是共享的；然后按照通道顺序乘以这个模块；然后继续计算出空间注意力模块，继续按照宽高维度乘以这个模块，最后输出经过调整的特征图；所述空间注意力模块与通道注意力模块经完整训练后，用于提取出不同例子的白质病变特征以及位置，优化不规则的白质病变的分割结果。
5.根据权利要求4所述的一种针对大脑病变融入注意力机制的MRI分割方法，其特征在于：所述步骤S3中，建立带有注意力机制的2D卷积神经网络时，首先进行通道注意力的处理，具体步骤为：将输入的特征图F＝(H*W*C)分别经过基于宽和高的全局最大池化与全局平均池化，得到两个1*1*C的特征图，接着，分别传进一个两层的神经网络(MLP)，也就是多层感知器；所述多层感知器是共享的；然后将多层感知器输出的特征进行基于元素求和操作，再经过sigmoid函数激活操作，生成最终的通道注意力，即Mc；最后，将Mc和输入特征图F做元素乘法操作，生成空间注意力模块需要的输入特征，计算公式如下
其中，σ代表sigmoid函数，
表示平均池化特征，
表示最大池化特征，W1,W0代表着两个多层感知器的权重，输入进来多层感知器的
和
共享这两个权重，以提高模型泛化能力；
然后将通道注意力模块输出的特征图F'作为空间注意力模块的输入特征图；空间注意力模块的相关步骤为：首先做一个基于通道的全局最大池化与全局平均池化，得到两个H*W*1的特征图，然后将这两个特征图基于通道做拼接操作；然后经过一个7×7卷积降维为1个通道，即H*W*1；再经过sigmoid生成空间注意力，即Ms；最后将Ms和该模块的输入图做乘法，得到最终生成的特征；空间注意力计算公式如下：
f7*7表示一个7×7卷积核的卷积运算。
6.根据权利要求5所述的一种针对大脑病变融入注意力机制的MRI分割方法，其特征在于：所述带有注意力机制的2D卷积神经网络的基础基于U-net网络，包括收缩路径和扩张路径；收缩路径即为下采样层，用于获取上下文信息；扩张路径即为上采样层，用于精确的定位，且两条路径相互对称；然后在上采样层和下采样层的跳跃连接中加入注意力模块；
所述U-net网络的第一层为归一化层，用于对所使用的3种大脑MRI模态T1、T2、FLAIR的图像切片进行通道维度归一化，使这些分别反应不同组织与病变侧重点的模态一起以240*240的图像切片输入到网络中；
下采样阶段包括3个卷积层，每一层结构均有2个卷积块，卷积块的大小为3*3，和1个下采样层连接，下采样层连接使用2x2的最大池化来减少空间维度，其中，每个卷积块均由2D卷积网络和批归一化层构成，每个卷积块均用于输出特征图。每一次最大池化后特征图大小就缩小一倍。
7.根据权利要求6所述的一种针对大脑病变融入注意力机制的MRI分割方法，其特征在于：所述U-net网络通过上采样阶段还原经过最大池化的特征图，在上采样阶段，即扩张路径，在上采样、3x3卷积和连接跳跃连接之间交替进行；所述3x3卷积随后是ReLU激活；
所述空间注意力模块和通道注意力模块被添加到各编码器级与相应解码器级之间的跳跃连接中；每个注意力模块输出的特征图与解码器阶段上采样后对应的特征图连接，经过跳跃连接与注意力机制进行加权拼接的输出，利用对应的低电平特征和高电平特征的通道间关系来使网络提取有用的高层信息，提升对大脑组织与病变尤其是白质病变的区域感知的完整度，使分割能提供更精细的特征；在最后一层，使用1x1卷积将高维特征向量减少到9类；
所述低电平特征为下采样最大池化后的低分辨率信息；所述高电平特征为上采样后的高分辨率信息。
8.根据权利要求7所述的一种针对大脑病变融入注意力机制的MRI分割方法，其特征在于：在步骤S3的训练阶段中，当数据集为小数据集时，通过先下载已经在IMAGENET进行预训练的权重，来进行迁移学习，把在超大数据集上训练得到的网络权重迁移到本步骤中的数据上进行训练，以节约大量的训练时间，降低欠拟合/过拟合的风险。
9.根据权利要求8所述的一种针对大脑病变融入注意力机制的MRI分割方法，其特征在于：模型训练选择批量大小为4，训练设置50个周期后完成，同时采用交叉熵损失LCE和骰子损失Ld相结合的损失函数Ld，优化器选择为随机梯度下降SGD，初始学习率选择为0.001，来解决大脑MRI图像存在的类不平衡问题；LCE的公式为
N为图像的总像素数目yi表示图像中该像素的人工分割标签，所述针对大脑病变融入注意力机制的MRI分割方法分割的大脑MRI共分割为9个类，其中包括背景，pi表示该像素属于相应类的相应预测概率，LD的表示如下
总损失为
L＝LD+αLCE 公式五；
其中ε＝1一直为常数，以保持数值稳定性，α＝1.0为权重常数，以控制两种损失之间的权衡。
10.根据权利要求9所述的一种针对大脑病变融入注意力机制的MRI分割方法，其特征在于：在步骤S5中，通过评估文件来评估最终分割结果，具体为使用戴斯相似性系数DSC来评估最后得分割结果；所述戴斯相似性系数表示两个物体相交的体积占总体积的比值，即对目标区域施行的空间重叠度量，大小属于[0，1]；具体表示为公式
其中G为专家手动分割得结果，P为通过测试自动生成得分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111663245.9A CN114332462B (zh) | 2021-12-31 | 2021-12-31 | 一种针对大脑病变融入注意力机制的mri分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111663245.9A CN114332462B (zh) | 2021-12-31 | 2021-12-31 | 一种针对大脑病变融入注意力机制的mri分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114332462A true CN114332462A (zh) | 2022-04-12 |
| CN114332462B CN114332462B (zh) | 2024-07-26 |
Family
ID=81021208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111663245.9A Active CN114332462B (zh) | 2021-12-31 | 2021-12-31 | 一种针对大脑病变融入注意力机制的mri分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332462B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114511581A (zh) * | 2022-04-20 | 2022-05-17 | 四川大学华西医院 | 一种多任务多分辨率协作的食管癌病变分割方法及装置 |
| CN115115648A (zh) * | 2022-06-20 | 2022-09-27 | 北京理工大学 | 一种结合UNet和体绘制先验知识的脑组织分割方法 |
| CN115238833A (zh) * | 2022-09-22 | 2022-10-25 | 中国民航大学 | 一种空气涡轮起动机轴承性能退化特征提取方法 |
| CN116228797A (zh) * | 2023-05-09 | 2023-06-06 | 中国石油大学(华东) | 基于注意力和U-Net的页岩扫描电镜图像分割方法 |
| CN116863358A (zh) * | 2023-08-18 | 2023-10-10 | 华大天元(北京)科技股份有限公司 | 电网无人机巡检图像绝缘子缺陷识别方法及系统 |
| CN117593274A (zh) * | 2023-11-30 | 2024-02-23 | 齐鲁工业大学(山东省科学院) | 一种基于共享通道注意力机制的心脏mri分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN111667489A (zh) * | 2020-04-30 | 2020-09-15 | 华东师范大学 | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN112950644A (zh) * | 2021-03-17 | 2021-06-11 | 西北大学 | 基于深度学习的新生儿大脑图像分割方法及模型构建方法 |
-
2021
- 2021-12-31 CN CN202111663245.9A patent/CN114332462B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN111667489A (zh) * | 2020-04-30 | 2020-09-15 | 华东师范大学 | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112950644A (zh) * | 2021-03-17 | 2021-06-11 | 西北大学 | 基于深度学习的新生儿大脑图像分割方法及模型构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 黄立勤: ""基于机器视觉的导盲杖辅助识别系统设计"", 《贵州大学学报(自然科学版)》, 31 March 2019 (2019-03-31) * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114511581A (zh) * | 2022-04-20 | 2022-05-17 | 四川大学华西医院 | 一种多任务多分辨率协作的食管癌病变分割方法及装置 |
| CN114511581B (zh) * | 2022-04-20 | 2022-07-08 | 四川大学华西医院 | 一种多任务多分辨率协作的食管癌病变分割方法及装置 |
| CN115115648A (zh) * | 2022-06-20 | 2022-09-27 | 北京理工大学 | 一种结合UNet和体绘制先验知识的脑组织分割方法 |
| CN115238833A (zh) * | 2022-09-22 | 2022-10-25 | 中国民航大学 | 一种空气涡轮起动机轴承性能退化特征提取方法 |
| CN115238833B (zh) * | 2022-09-22 | 2022-11-25 | 中国民航大学 | 一种空气涡轮起动机轴承性能退化特征提取方法 |
| CN116228797A (zh) * | 2023-05-09 | 2023-06-06 | 中国石油大学(华东) | 基于注意力和U-Net的页岩扫描电镜图像分割方法 |
| CN116228797B (zh) * | 2023-05-09 | 2023-08-15 | 中国石油大学(华东) | 基于注意力和U-Net的页岩扫描电镜图像分割方法 |
| CN116863358A (zh) * | 2023-08-18 | 2023-10-10 | 华大天元(北京)科技股份有限公司 | 电网无人机巡检图像绝缘子缺陷识别方法及系统 |
| CN117593274A (zh) * | 2023-11-30 | 2024-02-23 | 齐鲁工业大学(山东省科学院) | 一种基于共享通道注意力机制的心脏mri分割方法 |
| CN117593274B (zh) * | 2023-11-30 | 2024-06-04 | 齐鲁工业大学(山东省科学院) | 一种基于共享通道注意力机制的心脏mri分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114332462B (zh) | 2024-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114332462B (zh) | 一种针对大脑病变融入注意力机制的mri分割方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN112508864B (zh) | 基于改进UNet++的视网膜血管图像分割方法 | |
| CN112446891B (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| CN113034505B (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| CN110889852A (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN112767417B (zh) | 一种基于级联U-Net网络的多模态图像分割方法 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN111461233A (zh) | 一种基于MDCLSTM-LDenseNet网络的核磁共振图像自动分类方法及装置 | |
| CN115861616A (zh) | 面向医学图像序列的语义分割系统 | |
| CN117351363A (zh) | 基于Transformer的遥感影像建筑物提取方法 | |
| CN117391938B (zh) | 一种红外图像超分辨率重建方法、系统、设备及终端 | |
| CN113313728B (zh) | 一种颅内动脉分割方法及系统 | |
| CN116912253B (zh) | 基于多尺度混合神经网络的肺癌病理图像分类方法 | |
| CN116503593A (zh) | 一种基于深度学习的视网膜oct图像积液分割方法 | |
| CN117058163A (zh) | 基于多尺度大卷积核的深度可分离医疗图像分割算法 | |
| CN112862089B (zh) | 一种具有可解释性的医学图像深度学习方法 | |
| Shamsolmoali et al. | Salient skin lesion segmentation via dilated scale-wise feature fusion network | |
| Xu et al. | MCPA: Multi-scale Cross Perceptron Attention Network for 2D Medical Image Segmentation | |
| CN117576567B (zh) | 一种使用多层级差异特征自适应融合的遥感图像变化检测方法 | |
| CN117765251B (zh) | 一种基于金字塔视觉转换器的膀胱肿瘤分割方法 | |
| Liu et al. | Computerized Diagnosis of Fundus Vascular Structure Based on Predictions of Diabetic Retinopathy Grade and Risk of Macular Edema | |
| CN115116625A (zh) | 胰腺癌淋巴结转移分期预测方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |