CN116843696B - 基于特征相似性和超参数卷积注意力的心脏mri分割方法 - Google Patents
基于特征相似性和超参数卷积注意力的心脏mri分割方法 Download PDFInfo
- Publication number
- CN116843696B CN116843696B CN202310470456.3A CN202310470456A CN116843696B CN 116843696 B CN116843696 B CN 116843696B CN 202310470456 A CN202310470456 A CN 202310470456A CN 116843696 B CN116843696 B CN 116843696B
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- fau
- feature map
- oca
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 title claims description 28
- 238000002595 magnetic resonance imaging Methods 0.000 title claims description 21
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000010586 diagram Methods 0.000 claims description 129
- 230000006870 function Effects 0.000 claims description 64
- 238000013507 mapping Methods 0.000 claims description 49
- 238000011176 pooling Methods 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 27
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012952 Resampling Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000035945 sensitivity Effects 0.000 abstract description 2
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 102100031786 Adiponectin Human genes 0.000 description 1
- 101000775469 Homo sapiens Adiponectin Proteins 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000005003 heart tissue Anatomy 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
Abstract
一种基于特征相似性和超参数卷积注意力的心脏MRI分割方法,分割网络模型中使用特征相似性模块,通过提取长程依赖性来探索密集的上下文信息,并将其编码到特征图中,有助于分割心脏中不同形态的组织。将超参数卷积注意力模块代替解码器中的普通卷积,用于提取重要的特征信息,扩大感受野,加快收敛速度,提高模型性能。结合加权交叉熵损失和Dice损失的组合函数联合指导网络的训练,能够更全面的考虑正负样本之间的平衡关系,可以在保证高灵敏度的同时提高网络的训练效率和分割精度,产生更加稳定的训练结果。
Description
技术领域
本发明涉及医学图像分割技术领域,具体涉及一种基于特征相似性和超参数卷积注意力的心脏MRI分割方法。
背景技术
心脏MRI的精确分割有助于早期诊断和治疗,基于分割结果,医生可以有效地获得诊断指标,如心肌质量和厚度、射血分数和心室容积。目前心脏MRI分割的研究方法主要分为基于传统和基于深度学习的方法。传统的方法的表示能力通常太有限,无法处理外观和形状的巨大变化,在心脏MRI分割中表现并不出色。随着成像和计算能力的进步,深度学习使特征抽象达到了更高水平,而U-Net的提议大大促进了基于深度学习的图像分割的发展,是最成功的医学图像分割体系结构。然而,由于心脏解剖结构复杂,心脏分割仍然具有挑战性,在成像过程中容易产生伪影,部分体积效应和强度分布的不均匀性,特征利用不充分、依赖性较低等问题,因此,找到一个稳健和准确的心脏组织分割方法具有重要意义。
发明内容
本发明为了克服以上技术的不足,提供了一种加快网络收敛的超参数卷积注意力,获得更好的分割结果的心脏MRI分割方法。
本发明克服其技术问题所采用的技术方案是:
一种基于特征相似性和超参数卷积注意力的心脏MRI分割方法,包括如下步骤:
a)收集n个患者的心脏MRI数据,得到MRI数据集p,p={p1,p2,…,pi,…,pn},pi为第i名患者的心脏MRI数据,i∈{1,2,…,n};
b)对MRI数据集p进行预处理操作,得到预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,...,Tfan};
c)将预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,...,Tfan}划分为训练集、验证集和测试集;
d)建立分割网络模型,分割网络模型由编码器和解码器构成,将训练集中的第i名患者预处理后的图像Tfai输入到分割网络模型的编码器中,得到特征图
e)将特征图输入到分割网络模型的解码器中,得到分割图像;
f)训练分割网络模型;
g)将测试集中的第i名患者预处理后的图像Tfai输入到训练后的分割网络模型中,输出得到预测的分割图像。
优选的,步骤a)中从自动心脏诊断挑战公开数据中获取包含100名患者的心脏短轴MRI数据,得到MRI数据集。
进一步的,步骤b)包括如下步骤:
b-1)将第i名患者的心脏MRI数据pi和其相对应的分割掩码沿z轴进行逐个切片的重采样,重采样为x轴方向的像素间距为1.5,y轴方向的像素间距为1.5;
b-2)将重采样后的心脏MRI数据pi执行裁剪大小为192×192的2D中心剪裁操作,得到剪裁后的数据p′i,剪裁后的MRI数据集p′,p′={p′1,p′2,...,p′i,…,p′n},将剪裁后的MRI数据集p′保存为nii格式文件;
b-3)读取第i名患者的nii格式文件,将其切片为二维图像,将切片后的二维图像进行归一化处理,得到第i名患者预处理后的图像Tfai,预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,…,Tfan}。
优选的,步骤c)中将预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,...,Tfan}按7:2:1的比例划分为训练集、验证集和测试集。
进一步的,步骤d)包括如下步骤:
d-1)分割网络模型的编码器由第一卷积单元、第二卷积单元、第一最大池化层、第三卷积单元、第四卷积单元、第二最大池化层、第五卷积单元、第六卷积单元、第三最大池化层、第七卷积单元、第八卷积单元、第四最大池化层、深度超参数卷积层、特征相似性模块FS构成;
d-2)编码器的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将训练集中的第i个预处理后的图像Tfai输入到编码器的第一卷积单元中,输出得到特征图
d-3)编码器的第二卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第二卷积单元中,输出得到特征图/>
d-4)将特征图输入到编码器的第一最大池化层中,输出得到特征图/>
d-5)编码器的第三卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第三卷积单元中,输出得到特征图/>
d-6)编码器的第四卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第四卷积单元中,输出得到特征图/>
d-7)将特征图输入到编码器的第二最大池化层中,输出得到特征图/>
d-8)编码器的第五卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第五卷积单元中,输出得到特征图/>
d-9)编码器的第六卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第六卷积单元中,输出得到特征图/>
d-10)将特征图输入到编码器的第三最大池化层中,输出得到特征图/>
d-11)编码器的第七卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第七卷积单元中,输出得到特征图/>
d-12)编码器的第八卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第八卷积单元中,输出得到特征图/>
d-13)将特征图输入到编码器的第四最大池化层中,输出得到特征图/>
d-14)将特征图输入到编码器的深度超参数卷积层中,输出得到特征图/>
d-15)编码器的特征相似性模块FS由卷积单元、第一卷积层、第二卷积层、第三卷积层、softmax函数层、reshape函数层、第四卷积层构成;
d-16)特征相似性模块FS的卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到特征相似性模块FS的卷积单元中,输出得到特征图Tfs-1;
d-17)将特征图Tfs-1分别输入到特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层,分别得到特征图Tfs-1-1、特征图Tfs-1-2、特征图Tfs-1-3;
d-18)将特征图Tfs-1-1与特征图Tfs-1-2相乘操作后输入到特征相似性模块FS的softmax函数层中,输出得到特征图Tfs-1-4;
d-19)将特征图Tfs-1-3和特征图Tfs-1-4相乘操作后输入到特征相似性模块FS的reshape函数层中,输出得到特征图Tf′s-1-5,将特征图Tf′s-1-5与特征图Tfs-1相加得到特征图Tfs-1-5;
d-20)将特征图Tfs-1-5输入到特征相似性模块FS的第四卷积层中,输出得到特征图
优选的,步骤d-2)中第一卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-3)中第二卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-4)中第一最大池化层的卷积核大小为2×2;步骤d-5)中第三卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-6)中第四卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-7)中第二最大池化层的卷积核大小为2×2;步骤d-8)中第五卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-9)中第六卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-10)中第三最大池化层的卷积核大小为2×2;d-11)中第七卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-12)中第八卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-13)中第四最大池化层的卷积核大小为2×2;步骤d-14)中深度超参数卷积层的卷积核大小为3×3、padding为1、步长为1;d-16)中特征相似性模块FS的卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-17)中特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×1;d-20)中特征相似性模块FS的第四卷积层的卷积核大小为3×3、padding为1、步长为1。
进一步的,步骤e)包括如下步骤:
e-1)分割网络模型的解码器由第一上采样层、第一超参数卷积注意力模块OCA、第二上采样层、第二超参数卷积注意力模块OCA、第三上采样层、第三超参数卷积注意力模块OCA、第四上采样层、第四超参数卷积注意力模块OCA构成;
e-2)将特征图输入到解码器的第一上采样层中,输出得到特征图/>
e-3)将特征图与特征图/>进行拼接操作,得到特征图/>
e-4)解码器的第一超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-1-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-1-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-1-3,将特征图Tfau-1-1和特征图Tfau-1-2相加得到特征图Tfau-1-4,将特征图Tfau-1-2和特征图Tfau-1-3相加得到特征图Tfau-1-5,将特征图Tfau-1-4输入到第一超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-1-6,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-1-7,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-1-8,将注意力图Tfau-1-6与特征图Tfau-1-7相乘操作后输入到第一超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-1-9,将特征图Tfau-1-7、特征图Tfau-1-8、特征图/>相加得到特征图Tfau-1-10,将特征图Tfau-1-9与特征图Tfau-1-10相乘操作后输入到第一超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-5)将特征图输入到解码器的第二上采样层中,输出得到特征图/>
e-6)将特征图与特征图/>进行拼接操作,得到特征图/>
e-7)解码器的第二超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-2-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-2-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-2-3,将特征图Tfau-2-1和特征图Tfau-2-2相加得到特征图Tfau-2-4,将特征图Tfau-2-2和特征图Tfau-2-3相加得到特征图Tfau-2-5,将特征图Tfau-2-4输入到第二超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-2-6,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-2-7,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-2-8,将注意力图Tfau-2-6与特征图Tfau-2-7相乘操作后输入到第二超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-2-9,将特征图Tfau-2-7、特征图Tfau-2-8、特征图/>相加得到特征图Tfau-2-10,将特征图Tfau-2-9与特征图Tfau-2-10相乘操作后输入到第二超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-8)将特征图输入到解码器的第三上采样层中,输出得到特征图/>
e-9)将特征图与特征图/>进行拼接操作,得到特征图/>
e-10)解码器的第三超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-3-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-3-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-3-3,将特征图Tfau-3-1和特征图Tfau-3-2相加得到特征图Tfau-3-4,将特征图Tfau-3-2和特征图Tfau-3-3相加得到特征图Tfau-3-5,将特征图Tfau-3-4输入到第三超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-3-6,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-3-7,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-3-8,将注意力图Tfau-3-6与特征图Tfau-3-7相乘操作后输入到第三超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-3-9,将特征图Tfau-3-7、特征图Tfau-3-8、特征图/>相加得到特征图Tfau-3-10,将特征图Tfau-3-9与特征图Tfau-3-10相乘操作后输入到第三超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-11)将特征图输入到解码器的第四上采样层中,输出得到特征图/>
e-12)将特征图与特征图/>进行拼接操作,得到特征图/>
e-13)解码器的第四超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-4-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-4-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-4-3,将特征图Tfau-4-1和特征图Tfau-4-2相加得到特征图Tfau-4-4,将特征图Tfau-4-2和特征图Tfau-4-3相加得到特征图Tfau-4-5,将特征图Tfau-4-4输入到第四超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-4-6,将注意力图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-4-7,将注意力图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-4-8,将注意力图Tfau-4-6与特征图Tfau-4-7相乘操作后输入到第四超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-4-9,将特征图Tfau-4-7、特征图Tfau-4-8、特征图/>相加得到特征图Tfau-4-10,将特征图Tfau-4-9与特征图Tfau-4-10相乘操作后输入到第四超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-14)将特征图进行1×1的卷积操作后输出得到分割图像。
优选的,解码器的第一上采样层、第二上采样层、第三上采样层、第四上采样层的卷积核大小均为2×2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第一深度超参数卷积层的卷积核大小均为3×3、扩张率均为3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二深度超参数卷积层的卷积核大小均为3×3、扩张率均为5、第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第三深度超参数卷积层的卷积核大小均为3×3、扩张率均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第一卷积层的卷积核大小均为5×5、padding均为2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二卷积层的卷积核大小均为3×3、padding均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的深度可分离卷积层的卷积核大小均为3×3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第三卷积层的卷积核大小均为1×1。
进一步的,步骤f)包括如下步骤:
f-1)通过公式Totalloss=Dloss+WCEloss计算得到总损失Totalloss,式中Dloss为Dice损失,WCEloss为加权交叉熵损失;
f-2)采用Adam优化器使用总损失Totalloss训练分割网络模型。
优选的,步骤f-2)训练时批处理的大小设置为16,迭代周期为100,学习率设置为0.001。
本发明的有益效果是:通过提取长程依赖性来探索密集的上下文信息,并将其编码到特征图中,有助于分割心脏中不同形态的组织。将超参数卷积注意力模块代替解码器中的普通卷积,用于提取重要的特征信息,扩大感受野,加快收敛速度,提高模型性能。
附图说明
图1为本发明的分割网络模型结构图;
图2为本发明的特征相似性模块FS的结构图;
图3为本发明的超参数卷积注意力模块OCA的结构图。
具体实施方式
下面结合附图1、附图2、附图3对本发明做进一步说明。
一种基于特征相似性和超参数卷积注意力的心脏MRI分割方法,包括如下步骤:
a)收集n个患者的心脏MRI数据,得到MRI数据集p,p={p1,p2,…,pi,…,pn},pi为第i名患者的心脏MRI数据,i∈{1,2,…,n}。
b)对MRI数据集p进行预处理操作,得到预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,…,Tfan}。
c)将预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,...,Tfan}划分为训练集、验证集和测试集。
d)建立分割网络模型,分割网络模型由编码器和解码器构成,将训练集中的第i名患者预处理后的图像Tfai输入到分割网络模型的编码器中,得到特征图
e)将特征图输入到分割网络模型的解码器中,得到分割图像。
f)训练分割网络模型。
g)将测试集中的第i名患者预处理后的图像Tfai输入到训练后的分割网络模型中,输出得到预测的分割图像。
分割网络模型中使用特征相似性模块,通过提取长程依赖性来探索密集的上下文信息,并将其编码到特征图中,有助于分割心脏中不同形态的组织。将超参数卷积注意力模块代替解码器中的普通卷积,用于提取重要的特征信息,扩大感受野,加快收敛速度,提高模型性能。结合加权交叉熵损失和Dice损失的组合函数联合指导网络的训练,能够更全面的考虑正负样本之间的平衡关系,可以在保证高灵敏度的同时提高网络的训练效率和分割精度,产生更加稳定的训练结果。
实施例1:
步骤a)中从自动心脏诊断挑战公开数据(Automated Cardiac DiagnosisChallenge,ACDC)中获取包含100名患者的心脏短轴MRI数据,得到MRI数据集。
实施例2:
步骤b)包括如下步骤:
b-1)将第i名患者的心脏MRI数据pi和其相对应的分割掩码沿z轴进行逐个切片的重采样,重采样为x轴方向的像素间距为1.5,y轴方向的像素间距为1.5。
b-2)将重采样后的心脏MRI数据pi执行裁剪大小为192×192的2D中心剪裁操作,得到剪裁后的数据p′i,剪裁后的MRI数据集p′,p′={p′1,p′2,…,p′i,…,p′n},将剪裁后的MRI数据集p′保存为nii格式文件。
b-3)读取第i名患者的nii格式文件,将其切片为二维图像,将切片后的二维图像进行归一化处理,得到第i名患者预处理后的图像Tfai,预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,…,Tfan}。
实施例3:
步骤c)中将预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,…,Tfan}按7:2:1的比例划分为训练集、验证集和测试集。
实施例4:
步骤d)包括如下步骤:
d-1)分割网络模型的编码器由第一卷积单元、第二卷积单元、第一最大池化层、第三卷积单元、第四卷积单元、第二最大池化层、第五卷积单元、第六卷积单元、第三最大池化层、第七卷积单元、第八卷积单元、第四最大池化层、深度超参数卷积层、特征相似性模块FS构成。
d-2)编码器的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将训练集中的第i个预处理后的图像Tfai输入到编码器的第一卷积单元中,输出得到特征图
d-3)编码器的第二卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第二卷积单元中,输出得到特征图/>
d-4)将特征图输入到编码器的第一最大池化层中,输出得到特征图/>
d-5)编码器的第三卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第三卷积单元中,输出得到特征图/>
d-6)编码器的第四卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第四卷积单元中,输出得到特征图/>
d-7)将特征图输入到编码器的第二最大池化层中,输出得到特征图/>
d-8)编码器的第五卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第五卷积单元中,输出得到特征图/>
d-9)编码器的第六卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第六卷积单元中,输出得到特征图/>
d-10)将特征图输入到编码器的第三最大池化层中,输出得到特征图/>
d-11)编码器的第七卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第七卷积单元中,输出得到特征图/>
d-12)编码器的第八卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第八卷积单元中,输出得到特征图/>
d-13)将特征图输入到编码器的第四最大池化层中,输出得到特征图/>
d-14)将特征图输入到编码器的深度超参数卷积层中,输出得到特征图/>
d-15)编码器的特征相似性模块FS由卷积单元、第一卷积层、第二卷积层、第三卷积层、softmax函数层、reshape函数层、第四卷积层构成。
d-16)特征相似性模块FS的卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到特征相似性模块FS的卷积单元中,输出得到特征图Tfs-1。
d-17)将特征图Tfs-1分别输入到特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层,分别得到特征图Tfs-1-1、特征图Tfs-1-2、特征图Tfs-1-3。
d-18)将特征图Tfs-1-1与特征图Tfs-1-2相乘操作后输入到特征相似性模块FS的softmax函数层中,输出得到特征图Tfs-1-4。
d-19)将特征图Tfs-1-3和特征图Tfs-1-4相乘操作后输入到特征相似性模块FS的reshape函数层中,输出得到特征图Tf′s-1-5,将特征图Tf′s-1-5与特征图Tfs-1相加得到特征图Tfs-1-5。
d-20)将特征图Tfs-1-5输入到特征相似性模块FS的第四卷积层中,输出得到特征图
在该实施例中,优选的,步骤d-2)中第一卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-3)中第二卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-4)中第一最大池化层的卷积核大小为2×2;步骤d-5)中第三卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-6)中第四卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-7)中第二最大池化层的卷积核大小为2×2;步骤d-8)中第五卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-9)中第六卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-10)中第三最大池化层的卷积核大小为2×2;d-11)中第七卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-12)中第八卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-13)中第四最大池化层的卷积核大小为2×2;步骤d-14)中深度超参数卷积层的卷积核大小为3×3、padding为1、步长为1;d-16)中特征相似性模块FS的卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-17)中特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×1;d-20)中特征相似性模块FS的第四卷积层的卷积核大小为3×3、padding为1、步长为1。
实施例5:
步骤e)包括如下步骤:
e-1)分割网络模型的解码器由第一上采样层、第一超参数卷积注意力模块OCA、第二上采样层、第二超参数卷积注意力模块OCA、第三上采样层、第三超参数卷积注意力模块OCA、第四上采样层、第四超参数卷积注意力模块OCA构成。
e-2)将特征图输入到解码器的第一上采样层中,输出得到特征图/>
e-3)将特征图与特征图/>进行拼接操作,得到特征图/>
e-4)解码器的第一超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-1-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-1-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-1-3,将特征图Tfau-1-1和特征图Tfau-1-2相加得到特征图Tfau-1-4,将特征图Tfau-1-2和特征图Tfau-1-3相加得到特征图Tfau-1-5,将特征图Tfau-1-4输入到第一超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-1-6,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-1-7,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-1-8,将注意力图Tfau-1-6与特征图Tfau-1-7相乘操作后输入到第一超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-1-9,将特征图Tfau-1-7、特征图Tfau-1-8、特征图/>相加得到特征图Tfau-1-10,将特征图Tfau-1-9与特征图Tfau-1-10相乘操作后输入到第一超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-5)将特征图输入到解码器的第二上采样层中,输出得到特征图/>
e-6)将特征图与特征图/>进行拼接操作,得到特征图/>
e-7)解码器的第二超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-2-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-2-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-2-3,将特征图Tfau-2-1和特征图Tfau-2-2相加得到特征图Tfau-2-4,将特征图Tfau-2-2和特征图Tfau-2-3相加得到特征图Tfau-2-5,将特征图Tfau-2-4输入到第二超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-2-6,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-2-7,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-2-8,将注意力图Tfau-2-6与特征图Tfau-2-7相乘操作后输入到第二超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-2-9,将特征图Tfau-2-7、特征图Tfau-2-8、特征图/>相加得到特征图Tfau-2-10,将特征图Tfau-2-9与特征图Tfau-2-10相乘操作后输入到第二超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-8)将特征图输入到解码器的第三上采样层中,输出得到特征图/>
e-9)将特征图与特征图/>进行拼接操作,得到特征图/>
e-10)解码器的第三超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-3-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-3-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-3-3,将特征图Tfau-3-1和特征图Tfau-3-2相加得到特征图Tfau-3-4,将特征图Tfau-3-2和特征图Tfau-3-3相加得到特征图Tfau-3-5,将特征图Tfau-3-4输入到第三超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-3-6,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-3-7,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-3-8,将注意力图Tfau-3-6与特征图Tfau-3-7相乘操作后输入到第三超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-3-9,将特征图Tfau-3-7、特征图Tfau-3-8、特征图/>相加得到特征图Tfau-3-10,将特征图Tfau-3-9与特征图Tfau-3-10相乘操作后输入到第三超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-11)将特征图输入到解码器的第四上采样层中,输出得到特征图/>
e-12)将特征图与特征图/>进行拼接操作,得到特征图/>
e-13)解码器的第四超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-4-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-4-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-4-3,将特征图Tfau-4-1和特征图Tfau-4-2相加得到特征图Tfau-4-4,将特征图Tfau-4-2和特征图Tfau-4-3相加得到特征图Tfau-4-5,将特征图Tfau-4-4输入到第四超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-4-6,将特征图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-4-7,将特征图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-4-8,将注意力图Tfau-4-6与特征图Tfau-4-7相乘操作后输入到第四超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-4-9,将特征图Tfau-4-7、特征图Tfau-4-8、特征图/>相加得到特征图Tfau-4-10,将特征图Tfau-4-9与特征图Tfau-4-10相乘操作后输入到第四超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-14)将特征图进行1×1的卷积操作后输出得到分割图像。
在该实施例中,优选的,解码器的第一上采样层、第二上采样层、第三上采样层、第四上采样层的卷积核大小均为2×2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第一深度超参数卷积层的卷积核大小均为3×3、扩张率均为3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二深度超参数卷积层的卷积核大小均为3×3、扩张率均为5、第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第三深度超参数卷积层的卷积核大小均为3×3、扩张率均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第一卷积层的卷积核大小均为5×5、padding均为2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二卷积层的卷积核大小均为3×3、padding均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的深度可分离卷积层的卷积核大小均为3×3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第三卷积层的卷积核大小均为1×1。
实施例6:
步骤f)包括如下步骤:
f-1)通过公式Totalloss=Dloss+WCEloss计算得到总损失Totalloss,式中Dloss为Dice损失,WCEloss为加权交叉熵损失。
f-2)采用Adam优化器使用总损失Totalloss训练分割网络模型。优选的,步骤f-2)训练时批处理的大小设置为16,迭代周期为100,学习率设置为0.001。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于,包括如下步骤:
a)收集n个患者的心脏MRI数据,得到MRI数据集p,p={p1,p2,…,pi,…,pn},pi为第i名患者的心脏MRI数据,i∈{1,2,...,n};
b)对MRI数据集p进行预处理操作,得到预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,…,Tfan};
c)将预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,…,Tfan}划分为训练集、验证集和测试集;
d)建立分割网络模型,分割网络模型由编码器和解码器构成,将训练集中的第i名患者预处理后的图像Tfai输入到分割网络模型的编码器中,得到特征图
e)将特征图输入到分割网络模型的解码器中,得到分割图像;
f)训练分割网络模型;
g)将测试集中的第i名患者预处理后的图像Tfai输入到训练后的分割网络模型中,输出得到预测的分割图像;
步骤d)包括如下步骤:
d-1)分割网络模型的编码器由第一卷积单元、第二卷积单元、第一最大池化层、第三卷积单元、第四卷积单元、第二最大池化层、第五卷积单元、第六卷积单元、第三最大池化层、第七卷积单元、第八卷积单元、第四最大池化层、深度超参数卷积层、特征相似性模块FS构成;
d-2)编码器的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将训练集中的第i个预处理后的图像Tfai输入到编码器的第一卷积单元中,输出得到特征图
d-3)编码器的第二卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第二卷积单元中,输出得到特征图/>
d-4)将特征图输入到编码器的第一最大池化层中,输出得到特征图/>d-5)编码器的第三卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第三卷积单元中,输出得到特征图/>d-6)编码器的第四卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第四卷积单元中,输出得到特征图/>d-7)将特征图/>输入到编码器的第二最大池化层中,输出得到特征图d-8)编码器的第五卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第五卷积单元中,输出得到特征图/>d-9)编码器的第六卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第六卷积单元中,输出得到特征图/>d-10)将特征图/>输入到编码器的第三最大池化层中,输出得到特征图/>d-11)编码器的第七卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第七卷积单元中,输出得到特征图/>d-12)编码器的第八卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第八卷积单元中,输出得到特征图/>d-13)将特征图/>输入到编码器的第四最大池化层中,输出得到特征图/>d-14)将特征图/>输入到编码器的深度超参数卷积层中,输出得到特征图/>d-15)编码器的特征相似性模块FS由卷积单元、第一卷积层、第二卷积层、第三卷积层、softmax函数层、reshape函数层、第四卷积层构成;
d-16)特征相似性模块FS的卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到特征相似性模块FS的卷积单元中,输出得到特征图Tfs-1;
d-17)将特征图Tfs-1分别输入到特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层,分别得到特征图Tfs-1-1、特征图Tfs-1-2、特征图Tfs-1-3;
d-18)将特征图Tfs-1-1与特征图Tfs-1-2相乘操作后输入到特征相似性模块FS的softmax函数层中,输出得到特征图Tfs-1-4;
d-19)将特征图Tfs-1-3和特征图Tfs-1-4相乘操作后输入到特征相似性模块FS的reshape函数层中,输出得到特征图Tf′s-1-5,将特征图Tf′s-1-5与特征图Tfs-1相加得到特征图Tfs-1-5;
d-20)将特征图Tfs-1-5输入到特征相似性模块FS的第四卷积层中,输出得到特征图
步骤e)包括如下步骤:
e-1)分割网络模型的解码器由第一上采样层、第一超参数卷积注意力模块OCA、第二上采样层、第二超参数卷积注意力模块OCA、第三上采样层、第三超参数卷积注意力模块OCA、第四上采样层、第四超参数卷积注意力模块OCA构成;
e-2)将特征图输入到解码器的第一上采样层中,输出得到特征图/>e-3)将特征图/>与特征图/>进行拼接操作,得到特征图/>
e-4)解码器的第一超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-1-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-1-2,将特征图/>输入到第三深度超参数卷积层后,得到特征图Tfau-1-3,将特征图Tfau-1-1和特征图Tfau-1-2相加得到特征图Tfau-1-4,将特征图Tfau-1-2和特征图Tfau-1-3相加得到特征图Tfau-1-5,将特征图Tfau-1-4输入到第一超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-1-6,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-1-7,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-1-8,将注意力图Tfau-1-6与特征图Tfau-1-7相乘操作后输入到第一超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-1-9,将特征图Tfau-1-7、特征图Tfau-1-8、特征图/>相加得到特征图Tfau-1-10,将特征图Tfau-1-9与特征图Tfau-1-10相乘操作后输入到第一超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-5)将特征图输入到解码器的第二上采样层中,输出得到特征图/>e-6)将特征图/>与特征图/>进行拼接操作,得到特征图/>
e-7)解码器的第二超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-2-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-2-2,将特征图/>输入到第三深度超参数卷积层后,得到特征图Tfau-2-3,将特征图Tfau-2-1和特征图Tfau-2-2相加得到特征图Tfau-2-4,将特征图Tfau-2-2和特征图Tfau-2-3相加得到特征图Tfau-2-5,将特征图Tfau-2-4输入到第二超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-2-6,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-2-7,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-2-8,将注意力图Tfau-2-6与特征图Tfau-2-7相乘操作后输入到第二超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-2-9,将特征图Tfau-2-7、特征图Tfau-2-8、特征图/>相加得到特征图Tfau-2-10,将特征图Tfau-2-9与特征图Tfau-2-10相乘操作后输入到第二超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-8)将特征图输入到解码器的第三上采样层中,输出得到特征图/>e-9)将特征图/>与特征图/>进行拼接操作,得到特征图/>
e-10)解码器的第三超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-3-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-3-2,将特征图/>输入到第三深度超参数卷积层后,得到特征图Tfau-3-3,将特征图Tfau-3-1和特征图Tfau-3-2相加得到特征图Tfau-3-4,将特征图Tfau-3-2和特征图Tfau-3-3相加得到特征图Tfau-3-5,将特征图Tfau-3-4输入到第三超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-3-6,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-3-7,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-3-8,将注意力图Tfau-3-6与特征图Tfau-3-7相乘操作后输入到第三超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-3-9,将特征图Tfau-3-7、特征图Tfau-3-8、特征图/>相加得到特征图Tfau-3-10,将特征图Tfau-3-9与特征图Tfau-3-10相乘操作后输入到第三超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-11)将特征图输入到解码器的第四上采样层中,输出得到特征图/>e-12)将特征图/>与特征图/>进行拼接操作,得到特征图/>
e-13)解码器的第四超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-4-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-4-2,将特征图/>输入到第三深度超参数卷积层后,得到特征图Tfau-4-3,将特征图Tfau-4-1和特征图Tfau-4-2相加得到特征图Tfau-4-4,将特征图Tfau-4-2和特征图Tfau-4-3相加得到特征图Tfau-4-5,将特征图Tfau-4-4输入到第四超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-4-6,将特征图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-4-7,将特征图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-4-8,将注意力图Tfau-4-6与特征图Tfau-4-7相乘操作后输入到第四超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-4-9,将特征图Tfau-4-7、特征图Tfau-4-8、特征图/>相加得到特征图Tfau-4-10,将特征图Tfau-4-9与特征图Tfau-4-10相乘操作后输入到第四超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-14)将特征图进行1×1的卷积操作后输出得到分割图像。
2.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于:步骤a)中从自动心脏诊断挑战公开数据中获取包含100名患者的心脏短轴MRI数据,得到MRI数据集。
3.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于,步骤b)包括如下步骤:
b-1)将第i名患者的心脏MRI数据pi和其相对应的分割掩码沿z轴进行逐个切片的重采样,重采样为x轴方向的像素间距为1.5,y轴方向的像素间距为1.5;b-2)将重采样后的心脏MRI数据pi执行裁剪大小为192×192的2D中心剪裁操作,得到剪裁后的数据pi′,剪裁后的MRI数据集p′,p′={p1′,p2′,…,pi′,...,pn′},将剪裁后的MRI数据集p′保存为nii格式文件;
b-3)读取第i名患者的nii格式文件,将其切片为二维图像,将切片后的二维图像进行归一化处理,得到第i名患者预处理后的图像Tfai,预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,...,Tfan}。
4.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于:步骤c)中将预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,...,Tfan}按7:2:1的比例划分为训练集、验证集和测试集。
5.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于:步骤d-2)中第一卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-3)中第二卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-4)中第一最大池化层的卷积核大小为2×2;步骤d-5)中第三卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-6)中第四卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-7)中第二最大池化层的卷积核大小为2×2;步骤d-8)中第五卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-9)中第六卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-10)中第三最大池化层的卷积核大小为2×2;d-11)中第七卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-12)中第八卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-13)中第四最大池化层的卷积核大小为2×2;步骤d-14)中深度超参数卷积层的卷积核大小为3×3、padding为1、步长为1;d-16)中特征相似性模块FS的卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-17)中特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×1;d-20)中特征相似性模块FS的第四卷积层的卷积核大小为3×3、padding为1、步长为1。
6.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于:解码器的第一上采样层、第二上采样层、第三上采样层、第四上采样层的卷积核大小均为2×2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第一深度超参数卷积层的卷积核大小均为3×3、扩张率均为3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二深度超参数卷积层的卷积核大小均为3×3、扩张率均为5、第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第三深度超参数卷积层的卷积核大小均为3×3、扩张率均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第一卷积层的卷积核大小均为5×5、padding均为2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二卷积层的卷积核大小均为3×3、padding均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的深度可分离卷积层的卷积核大小均为3×3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第三卷积层的卷积核大小均为1×1。
7.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于,步骤f)包括如下步骤:
f-1)通过公式Totalloss=Dloss+WCEloss计算得到总损失Totalloss,式中Dloss为Dice损失,WCEloss为加权交叉熵损失;
f-2)采用Adam优化器使用总损失Totalloss训练分割网络模型。
8.根据权利要求7所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于:步骤f-2)训练时批处理的大小设置为16,迭代周期为100,学习率设置为0.001。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310470456.3A CN116843696B (zh) | 2023-04-27 | 2023-04-27 | 基于特征相似性和超参数卷积注意力的心脏mri分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310470456.3A CN116843696B (zh) | 2023-04-27 | 2023-04-27 | 基于特征相似性和超参数卷积注意力的心脏mri分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116843696A CN116843696A (zh) | 2023-10-03 |
CN116843696B true CN116843696B (zh) | 2024-04-09 |
Family
ID=88173178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310470456.3A Active CN116843696B (zh) | 2023-04-27 | 2023-04-27 | 基于特征相似性和超参数卷积注意力的心脏mri分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116843696B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117409014B (zh) * | 2023-10-09 | 2024-05-28 | 齐鲁工业大学(山东省科学院) | 一种基于特征选择的轻量级心脏mri分割方法 |
CN117635942B (zh) * | 2023-12-05 | 2024-05-07 | 齐鲁工业大学(山东省科学院) | 一种基于边缘特征增强的心脏mri图像分割方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080654A (zh) * | 2019-11-18 | 2020-04-28 | 中国科学院深圳先进技术研究院 | 图像的病变区域分割方法、装置及服务器 |
CN111738113A (zh) * | 2020-06-10 | 2020-10-02 | 杭州电子科技大学 | 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法 |
CN113642390A (zh) * | 2021-07-06 | 2021-11-12 | 西安理工大学 | 一种基于局部注意力网络的街景图像语义分割方法 |
CN113744209A (zh) * | 2021-08-22 | 2021-12-03 | 河南工业大学 | 基于多尺度残差U-net网络的心脏分割方法 |
WO2022047625A1 (zh) * | 2020-09-01 | 2022-03-10 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
CN114708212A (zh) * | 2022-03-28 | 2022-07-05 | 山西三友和智慧信息技术股份有限公司 | 一种基于SEA-Unet的心脏图像分割方法 |
CN114821218A (zh) * | 2021-12-14 | 2022-07-29 | 上海悠络客电子科技股份有限公司 | 基于改进的通道注意力机制的目标检测模型搜索方法 |
CN115170582A (zh) * | 2022-06-13 | 2022-10-11 | 武汉科技大学 | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 |
CN115187482A (zh) * | 2022-07-09 | 2022-10-14 | 大连工业大学 | 基于多尺度注意力蒸馏学习网络的图像去雨算法 |
-
2023
- 2023-04-27 CN CN202310470456.3A patent/CN116843696B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080654A (zh) * | 2019-11-18 | 2020-04-28 | 中国科学院深圳先进技术研究院 | 图像的病变区域分割方法、装置及服务器 |
CN111738113A (zh) * | 2020-06-10 | 2020-10-02 | 杭州电子科技大学 | 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法 |
WO2022047625A1 (zh) * | 2020-09-01 | 2022-03-10 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
CN113642390A (zh) * | 2021-07-06 | 2021-11-12 | 西安理工大学 | 一种基于局部注意力网络的街景图像语义分割方法 |
CN113744209A (zh) * | 2021-08-22 | 2021-12-03 | 河南工业大学 | 基于多尺度残差U-net网络的心脏分割方法 |
CN114821218A (zh) * | 2021-12-14 | 2022-07-29 | 上海悠络客电子科技股份有限公司 | 基于改进的通道注意力机制的目标检测模型搜索方法 |
CN114708212A (zh) * | 2022-03-28 | 2022-07-05 | 山西三友和智慧信息技术股份有限公司 | 一种基于SEA-Unet的心脏图像分割方法 |
CN115170582A (zh) * | 2022-06-13 | 2022-10-11 | 武汉科技大学 | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 |
CN115187482A (zh) * | 2022-07-09 | 2022-10-14 | 大连工业大学 | 基于多尺度注意力蒸馏学习网络的图像去雨算法 |
Non-Patent Citations (2)
Title |
---|
Distilling Pixel-Wise Feature Similarities for Semantic Segmentation;Yuhu Shan;《arXiv:1910.14226v1》;第1-9页 * |
基于深度学习的心脏分割算法研究;徐佳陈;《中国优秀硕士学位论文全文数据库 基础科学辑》;第三章 * |
Also Published As
Publication number | Publication date |
---|---|
CN116843696A (zh) | 2023-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116843696B (zh) | 基于特征相似性和超参数卷积注意力的心脏mri分割方法 | |
CN113077471A (zh) | 一种基于u型网络的医学图像分割方法 | |
CN109949276B (zh) | 一种于改进SegNet分割网络的淋巴结检测方法 | |
CN110689548A (zh) | 一种医学图像分割方法、装置、设备及可读存储介质 | |
CN111401480A (zh) | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 | |
CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
CN111260705B (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
CN112348830B (zh) | 基于改进3D U-Net的多器官分割方法 | |
CN110874860A (zh) | 基于混合损失函数的对称监督模型的目标提取方法 | |
CN111932512B (zh) | 一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法 | |
CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
CN111080658A (zh) | 基于可形变配准和dcnn的宫颈mri图像分割方法 | |
CN111091575A (zh) | 一种基于强化学习方法的医学图像分割方法 | |
CN110853048A (zh) | 基于粗、精训练的mri图像分割方法、装置和存储介质 | |
CN113269799A (zh) | 一种基于深度学习的宫颈细胞分割方法 | |
CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
CN114663445A (zh) | 一种基于多尺度边缘感知的三维心脏图像分割方法 | |
CN117078941B (zh) | 一种基于上下文级联注意力的心脏mri分割方法 | |
CN117115132A (zh) | 一种基于改进U-Net模型的口腔CBCT影像牙齿及软组织分割模型方法 | |
CN113139627B (zh) | 纵隔肿物识别方法、系统及装置 | |
CN113689950B (zh) | 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质 | |
CN113409447B (zh) | 一种基于多切片组合的冠状动脉分割方法和装置 | |
CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
CN115496732A (zh) | 一种半监督心脏语义分割算法 | |
CN113283465B (zh) | 一种弥散张量成像数据分析方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |