CN117593274A - 一种基于共享通道注意力机制的心脏mri分割方法 - Google Patents
一种基于共享通道注意力机制的心脏mri分割方法 Download PDFInfo
- Publication number
- CN117593274A CN117593274A CN202311620442.1A CN202311620442A CN117593274A CN 117593274 A CN117593274 A CN 117593274A CN 202311620442 A CN202311620442 A CN 202311620442A CN 117593274 A CN117593274 A CN 117593274A
- Authority
- CN
- China
- Prior art keywords
- feature map
- layer
- block
- convolution
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000007246 mechanism Effects 0.000 title claims abstract description 16
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 title claims description 53
- 230000006870 function Effects 0.000 claims description 155
- 238000011176 pooling Methods 0.000 claims description 144
- 238000010586 diagram Methods 0.000 claims description 119
- 238000012952 Resampling Methods 0.000 claims description 77
- 238000012549 training Methods 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 24
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 12
- 230000000747 cardiac effect Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 5
- 102100031786 Adiponectin Human genes 0.000 claims description 4
- 101000775469 Homo sapiens Adiponectin Proteins 0.000 claims description 4
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000002759 z-score normalization Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 210000005240 left ventricle Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000004165 myocardium Anatomy 0.000 description 2
- 210000005241 right ventricle Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
一种基于共享通道注意力机制的心脏MRI分割方法,涉及图像分割技术领域,设计了卷积块和共享通道注意力块融合的编‑解码器结构,并基于U型架构构建心脏MRI分割网络模型,共享通道注意力块能够提升模型对特定特征信息的权重,减少特征的冗余,改善网络的特征融合,提高其分割的准确性。为了更好地融合利用使网络中用来起分割作用的浅层特征和用来定位的深层特征,将跳跃连接融合的特征输入完全注意力门控块进行像素级别的特征提取,更突出感受野内的主要特征,更好地学习网络特征,优化模型输出,改善分割结果。
Description
技术领域
本发明涉及图像分割技术领域,具体涉及一种基于共享通道注意力机制的心脏MRI分割方法。
背景技术
心脏MRI将心脏图像分成具有解剖学意义的几部分,根据这些部分在心脏短轴图像堆栈中手工标记出左、右心室和心肌的位置,计算不同的定量指标。最早期的分割手段是通过传统方式进行的,它对于心脏相关的先验知识有着一定的要求,不但需要人工参与,还要事先掌握心脏结构和形状的相关信息,有一定的依赖性和局限性。随着成像和计算能力的进步,深度学习通过训练自动从样本数据中提取出更高级的语义特征等信息,高效完成大量数据分割需求,分割性能和准确性有显著提高,但分割结果容易受到图像中噪声和图像强度不均匀的影响。
与自然图像相比,心脏MRI图像具有容易受成像设备、成像条件和不同患者等的影响,标准的标注数据少的特点。近几年提出了许多基于U-net改进的图像分割方法对心脏MRI成像部位进行分割,但仍有要被改进的地方,例如医学图像常有的不能很好地捕获不同尺度特征之间的相关性、背景噪声大的问题等。因此,探寻一种稳健和准确的心脏图像分割方法尤为重要。
发明内容
本发明为了克服以上技术的不足,提供了一种分割精度高的心脏MRI分割方法。本发明克服其技术问题所采用的技术方案是:
一种基于共享通道注意力机制的心脏MRI分割方法,包括如下步骤:
a)收集N个心脏MRI图像数据,得到心脏MRI图像数据集C,C={C1,C2,...,Ci,...,CN},Ci为第i个心脏MRI图像数据,i∈{1,...,N};
b)将第i个心脏MRI图像数据Ci进行预处理,得到预处理后的第i个心脏MRI图像数据Li,预处理后的心脏MRI图像数据集为L,L={L1,L2,...,Li,...,LN};
c)将预处理后的心脏MRI图像数据集L划分为训练集、验证集、测试集,将训练集中的各个预处理后的心脏MRI图像数据沿Z轴切片,得到X个切片图像,第i个切片图像为Fi,i∈{1,...,X},将测试集中的各个预处理后的图像沿Z轴切片,得到Y个切片图像,第j个切片图像为Fj,j∈{1,...,Y};
d)建立分割网络模型,分割网络模型由编码器、解码器构成;
e)将训练集中第i个切片图像Fi输入到分割网络模型的编码器中,输出得到特征图
f)将特征图输入到分割网络模型的解码器中,通过跳跃连接进行特征提取,得到分割图像/>
g)通过损失函数Lloss训练分割网络模型,得到优化后的分割网络模型;
h)将测试集中第j个切片图像Fj输入到优化后的分割网络模型中,得到分割图像D′b 1。
进一步的,步骤a)中从自动心脏诊断挑战赛ACDC数据库中获取N个心脏MRI图像数据。
进一步的,步骤b)包括如下步骤:
b-1)第i张MRI图像数据沿Z轴切片,将切割的若干切片进行X轴方向的像素间距为1.5、Y轴方向的像素间距为1.5的重采样操作;
b-2)将重采样操作后的切片进行中心剪裁,剪裁后的切片的大小为224×224;
b-3)将剪裁后的各个切片堆叠重新恢复为心脏MRI图像数据C′i;
b-4)将心脏MRI图像数据C′i以0.5的概率沿水平轴或垂直轴进行翻转,翻转角度为90度,得到旋转后的心脏MRI图像数据;
b-5)将旋转后的心脏MRI图像数据进行Z-Score标准化处理,得到预处理后的第i个心脏MRI图像数据Li。
进一步的,将预处理后的心脏MRI图像数据集L按照7:1:2的比例划分为训练集、验证集、测试集。进一步的,步骤e)包括如下步骤:
e-1)分割网络模型的编码器由第一编码块、第一最大池化层、第二编码块、第二最大池化层、第三编码块、第三最大池化层、第四编码块、第四最大池化层、卷积层构成;
e-2)编码器的第一编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第一编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将训练集中第i个切片图像Fi输入到卷积块中,输出得到特征图编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将训练集中第i个切片图像Fi输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将训练集中第i个切片图像Fi输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与训练集中第i个切片图像Fi相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第一编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>
e-3)将特征图输入到编码器的第一最大池化层中,输出得到特征图/>e-4)编码器的第二编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第二编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第二编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第二编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>
e-5)将特征图输入到编码器的第二最大池化层中,输出得到特征图/>e-6)编码器的第三编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第三编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第三编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第三编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>
e-7)将特征图输入到编码器的第三最大池化层中,输出得到特征图/>e-8)编码器的第四编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第四编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第四编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第四编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>
e-9)将特征图输入到编码器的第四最大池化层中,输出得到特征图/>e-10)将特征图/>输入到编码器的卷积层中,输出得到特征图/>
优选的,步骤e-2)中第一编码块的卷积块的卷积层的卷积核大小为3×3,第一编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-3)中第一最大池化层的步长为2、池化核大小为2×2,步骤e-4)中第二编码块的卷积块的卷积层的卷积核大小为3×3,第二编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-5)中第二最大池化层的步长为2、池化核大小为2×2;步骤e-6)中第三编码块的卷积块的卷积层的卷积核大小为3×3,第三编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-7)中第三最大池化层的步长为2、池化核大小为2×2;步骤e-8)中第四编码块的卷积块的卷积层的卷积核大小为3×3,第四编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-9)中第四最大池化层的步长为2、池化核大小为2×2;步骤e-10)中编码器的卷积层的卷积核大小为3×3。
进一步的,步骤f)包括如下步骤:
f-1)分割网络模型的解码器由第一上采样层、第一完全注意力门控块FAG、第一解码块、第二上采样层、第二完全注意力门控块FAG、第二解码块、第三上采样层、第三完全注意力门控块FAG、第三解码块、第四上采样层、第四完全注意力门控块FAG、第四解码块、卷积层构成;
f-2)将特征图输入到解码器的第一上采样层中,输出得到特征图/>
f-3)解码器的第一完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图依次输入到第一完全注意力门控块FAG的第一卷积层中,输出得到特征图Da′1-1,将特征图Da′1-1输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第一完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图/>与特征图/>相加操作,得到特征图/>将特征图/>依次输入到第一完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图将特征图/>与特征图/>进行相乘操作后输入到第一完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>与特征图/>进行相乘操作,得到特征图/>将特征图/>和特征图/>进行相加操作,得到特征图/>
f-4)解码器的第一解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第一解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第一解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第一解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>
f-5)将特征图输入到解码器的第二上采样层中,输出得到特征图/>
f-6)解码器的第二完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图依次输入到第二完全注意力门控块FAG的第一卷积层中,输出得到特征图D′a 2-1,将特征图D′a 2-1输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第二完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图/>与特征图/>相加操作,得到特征图/>将特征图/>依次输入到第二完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图将特征图/>与特征图/>进行相乘操作后输入到第二完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>与特征图/>进行相乘操作,得到特征图/>将特征图/>和特征图/>进行相加操作,得到特征图/>
f-7)解码器的第二解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第二解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第二解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第二解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>
f-8)将特征图输入到解码器的第三上采样层中,输出得到特征图/>
f-9)解码器的第三完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图依次输入到第三完全注意力门控块FAG的第一卷积层中,输出得到特征图D′a 3-1,将特征图D′a 3-1输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第三完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图/>与特征图/>相加操作,得到特征图/>将特征图/>依次输入到第三完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图将特征图/>与特征图/>进行相乘操作后输入到第三完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>与特征图/>进行相乘操作,得到特征图/>将特征图/>和特征图/>进行相加操作,得到特征图/>
f-10)解码器的第三解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第三解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第三解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第三解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>
f-11)将特征图输入到解码器的第四上采样层中,输出得到特征图/>
f-12)解码器的第四完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图依次输入到第四完全注意力门控块FAG的第一卷积层中,输出得到特征图D′a 4-1,将特征图D′a 4-1输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第四完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图/>与特征图/>相加操作,得到特征图/>将特征图/>依次输入到第四完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图/>将特征图/>与特征图/>进行相乘操作后输入到第四完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>与特征图/>进行相乘操作,得到特征图/>将特征图/>和特征图/>进行相加操作,得到特征图/>
f-13)解码器的第四解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第三解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第四解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第四解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>
f-14)将特征图输入到解码器的卷积层中,输出得到分割图像/>
优选的,步骤f-2)中第一上采样层的卷积核大小为2×2;步骤f-3)中第一完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-4)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1;步骤f-5)中第二上采样层的卷积核大小为2×2;步骤f-6)中第二完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-7)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1;步骤f-8)中第三上采样层的卷积核大小为2×2;步骤f-9)中第三完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-10)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1;步骤f-11)中第四上采样层的卷积核大小为2×2;步骤f-12)中第四完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-13)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1,步骤f-14)中解码器的卷积层的卷积核大小为1×1、步长为1、填充为0。
进一步的,步骤g)包括如下步骤:
g-1)通过公式Lloss=LDice+ωLCE计算损失函数Lloss,式中LDice为Dice损失,LCE为交叉熵损失,ω为超参数;
g-2)使用Adam优化器利用损失函数Lloss训练分割网络模型,得到优化后的分割网络模型。
优选的,训练分割网络模型时初始学习率设置为0.001,batch size设置为32,epoch设置为200,学习率lr设置为0.001,超参数ω设置为0.05。
本发明的有益效果是:设计了卷积块和共享通道注意力块融合的编-解码器结构,并基于U型架构构建心脏MRI分割网络模型,共享通道注意力块能够提升模型对特定特征信息的权重,减少特征的冗余,改善网络的特征融合,提高其分割的准确性。为了更好地融合利用使网络中用来起分割作用的浅层特征和用来定位的深层特征,将跳跃连接融合的特征输入完全注意力门控块进行像素级别的特征提取,更突出感受野内的主要特征,更好地学习网络特征,优化模型输出,改善分割结果。
附图说明
图1为本发明的分割网络模型的结构图;
图2为本发明的编码块的结构图;
图3为本发明的解码块的结构图;
图4为本发明的共享通道注意力块SCA的结构图;
图5为本发明的完全注意力门控块FAG的结构图。
具体实施方式
下面结合附图1至附图5对本发明做进一步说明。
一种基于共享通道注意力机制的心脏MRI分割方法,包括如下步骤:
a)收集N个心脏MRI图像数据,得到心脏MRI图像数据集C,C={C1,C2,...,Ci,...,CN},Ci为第i个心脏MRI图像数据,i∈{1,...,N}。b)将第i个心脏MRI图像数据Ci进行预处理,得到预处理后的第i个心脏MRI图像数据Li,预处理后的心脏MRI图像数据集为L,L={L1,L2,...,Li,...,LN}。c)将预处理后的心脏MRI图像数据集L划分为训练集、验证集、测试集,将训练集中的各个预处理后的心脏MRI图像数据沿Z轴切片,得到X个切片图像,第i个切片图像为Fi,i∈{1,...,X},将测试集中的各个预处理后的图像沿Z轴切片,得到Y个切片图像,第j个切片图像为Fj,j∈{1,...,Y}。
d)建立分割网络模型,分割网络模型由编码器、解码器构成。
e)将训练集中第i个切片图像Fi输入到分割网络模型的编码器中,输出得到特征图
f)将特征图输入到分割网络模型的解码器中,通过跳跃连接进行特征提取,得到分割图像/>
g)通过损失函数Lloss训练分割网络模型,得到优化后的分割网络模型。
h)将测试集中第j个切片图像Fj输入到优化后的分割网络模型中,得到分割图像D′b 1。
为了验证本专利方法的可靠性,对最终的预测分割结果D′b 1进行系统性的评价,与现有的深度学习分割方法进行比较,如表一所示:
表一 不同实验方法的比较
通过表一可以看出,对比了多种经典的分割方法,分别为U-Net,SegNet,DeepLabv3+,UT-Net。每种方法均对ACDC心脏数据集进行分割,使用Dice系数、Hausdorff距离和平均表面距离三种评估指标统计了分割左、右心室和心肌精度值,ASD和Hausdorff距离的得分越低表示性能越好。从表中数据可以看出,本发明方法的平均Dice评价指标相较于之前的最优方法提升了1.8%,平均Hausdorff距离评价指标相较于之前的最优方法提升了1.61%,平均ASD评价指标相较于之前的最优方法提升了0.6%,均优于之前的方法,说明本发明方法存在一定优势,分割效果比较理想,尤其是在心肌部分的提升更加显著。
在本发明的一个实施例中,步骤a)中从自动心脏诊断挑战赛ACDC数据库中获取N个心脏MRI图像数据。
在本发明的一个实施例中,步骤b)包括如下步骤:
b-1)第i张MRI图像数据沿Z轴切片,将切割的若干切片进行X轴方向的像素间距为1.5、Y轴方向的像素间距为1.5的重采样操作。
b-2)将重采样操作后的切片进行中心剪裁,剪裁后的切片的大小为224×224。
b-3)将剪裁后的各个切片堆叠重新恢复为心脏MRI图像数据C′i。
b-4)将心脏MRI图像数据Ci′以0.5的概率沿水平轴或垂直轴进行翻转,翻转角度为90度,得到旋转后的心脏MRI图像数据。
b-5)将旋转后的心脏MRI图像数据进行Z-Score标准化处理,得到预处理后的第i个心脏MRI图像数据Li。
在本发明的一个实施例中,将预处理后的心脏MRI图像数据集L按照7:1:2的比例划分为训练集、验证集、测试集。
在本发明的一个实施例中,步骤e)包括如下步骤:
e-1)分割网络模型的编码器由第一编码块、第一最大池化层、第二编码块、第二最大池化层、第三编码块、第三最大池化层、第四编码块、第四最大池化层、卷积层构成。
e-2)编码器的第一编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第一编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将训练集中第i个切片图像Fi输入到卷积块中,输出得到特征图编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将训练集中第i个切片图像Fi输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将训练集中第i个切片图像Fi输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图将特征图/>按元素与训练集中第i个切片图像Fi相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第一编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>
e-3)将特征图输入到编码器的第一最大池化层中,输出得到特征图/>e-4)编码器的第二编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第二编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第二编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第二编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>
e-5)将特征图输入到编码器的第二最大池化层中,输出得到特征图/>e-6)编码器的第三编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第三编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第三编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第三编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>
e-7)将特征图输入到编码器的第三最大池化层中,输出得到特征图/>e-8)编码器的第四编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第四编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第四编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第四编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>
e-9)将特征图输入到编码器的第四最大池化层中,输出得到特征图/>e-10)将特征图/>输入到编码器的卷积层中,输出得到特征图/>
在该实施例中,优选的,步骤e-2)中第一编码块的卷积块的卷积层的卷积核大小为3×3,第一编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-3)中第一最大池化层的步长为2、池化核大小为2×2,步骤e-4)中第二编码块的卷积块的卷积层的卷积核大小为3×3,第二编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-5)中第二最大池化层的步长为2、池化核大小为2×2;步骤e-6)中第三编码块的卷积块的卷积层的卷积核大小为3×3,第三编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-7)中第三最大池化层的步长为2、池化核大小为2×2;步骤e-8)中第四编码块的卷积块的卷积层的卷积核大小为3×3,第四编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-9)中第四最大池化层的步长为2、池化核大小为2×2;步骤e-10)中编码器的卷积层的卷积核大小为3×3。
在本发明的一个实施例中,步骤f)包括如下步骤:
f-1)分割网络模型的解码器由第一上采样层、第一完全注意力门控块FAG、第一解码块、第二上采样层、第二完全注意力门控块FAG、第二解码块、第三上采样层、第三完全注意力门控块FAG、第三解码块、第四上采样层、第四完全注意力门控块FAG、第四解码块、卷积层构成。第一完全注意力门控块FAG、第二完全注意力门控块FAG、第三完全注意力门控块FAG、第四完全注意力门控块FAG起到跳跃连接的作用。
f-2)将特征图输入到解码器的第一上采样层中,输出得到特征图/>
f-3)解码器的第一完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图依次输入到第一完全注意力门控块FAG的第一卷积层中,输出得到特征图D′a 1-1,将特征图D′a 1-1输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第一完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图/>与特征图/>相加操作,得到特征图/>将特征图/>依次输入到第一完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图将特征图/>与特征图/>进行相乘操作后输入到第一完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>与特征图/>进行相乘操作,得到特征图/>将特征图/>和特征图/>进行相加操作,得到特征图/>第四编码块与第一解码块间通过第一全注意力门控块FAG进行跳跃连接。
f-4)解码器的第一解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第一解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>一解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第一解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>
f-5)将特征图输入到解码器的第二上采样层中,输出得到特征图/>
f-6)解码器的第二完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图依次输入到第二完全注意力门控块FAG的第一卷积层中,输出得到特征图D′a 2-1,将特征图D′a 2-1输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第二完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图/>与特征图/>相加操作,得到特征图/>将特征图/>依次输入到第二完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图将特征图/>与特征图/>进行相乘操作后输入到第二完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>与特征图/>进行相乘操作,得到特征图/>将特征图/>和特征图/>进行相加操作,得到特征图/>第三编码块与第二解码块间通过第二全注意力门控块FAG进行跳跃连接。
f-7)解码器的第二解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第二解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第二解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第二解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>
f-8)将特征图输入到解码器的第三上采样层中,输出得到特征图/>f-9)解码器的第三完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图/>依次输入到第三完全注意力门控块FAG的第一卷积层中,输出得到特征图Da′3-1,将特征图Da′3-1输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第三完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图与特征图/>相加操作,得到特征图/>将特征图/>依次输入到第三完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图/>将特征图与特征图/>进行相乘操作后输入到第三完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>与特征图/>进行相乘操作,得到特征图/>将特征图/>和特征图/>进行相加操作,得到特征图/>第二编码块与第三解码块间通过第三全注意力门控块FAG进行跳跃连接。
f-10)解码器的第三解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第三解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第三解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第三解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>
f-11)将特征图输入到解码器的第四上采样层中,输出得到特征图/>
f-12)解码器的第四完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图依次输入到第四完全注意力门控块FAG的第一卷积层中,输出得到特征图D′a 4-1,将特征图D′a 4-1输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第四完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图/>与特征图/>相加操作,得到特征图/>将特征图/>依次输入到第四完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图/>将特征图/>与特征图/>进行相乘操作后输入到第四完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>与特征图/>进行相乘操作,得到特征图/>将特征图和特征图/>进行相加操作,得到特征图/>第一编码块与第四解码块间通过第二全注意力门控块FAG进行跳跃连接。
f-13)解码器的第四解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第三解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第四解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第四解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>
f-14)将特征图输入到解码器的卷积层中,输出得到分割图像/>
在该实施例中,优选的,步骤f-2)中第一上采样层的卷积核大小为2×2;步骤f-3)中第一完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-4)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1;步骤f-5)中第二上采样层的卷积核大小为2×2;步骤f-6)中第二完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-7)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1;步骤f-8)中第三上采样层的卷积核大小为2×2;步骤f-9)中第三完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-10)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1;步骤f-11)中第四上采样层的卷积核大小为2×2;步骤f-12)中第四完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-13)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1,步骤f-14)中解码器的卷积层的卷积核大小为1×1、步长为1、填充为0。
在本发明的一个实施例中,步骤g)包括如下步骤:
g-1)通过公式Lloss=LDice+ωLCE计算损失函数Lloss,式中LDice为Dice损失,LCE为交叉熵损失,ω为超参数。
g-2)使用Adam优化器利用损失函数Lloss训练分割网络模型,得到优化后的分割网络模型。
在该实施例中,优选的,训练分割网络模型时初始学习率设置为0.001,batchsize设置为32,epoch设置为200,学习率lr设置为0.001,超参数ω设置为0.05。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于共享通道注意力机制的心脏MRI分割方法,其特征在于,包括如下步骤:
a)收集N个心脏MRI图像数据,得到心脏MRI图像数据集C,C={C1,C2,...,Ci,...,CN},Ci为第i个心脏MRI图像数据,i∈{1,...,N};
b)将第i个心脏MRI图像数据Ci进行预处理,得到预处理后的第i个心脏MRI图像数据Li,预处理后的心脏MRI图像数据集为L,L={L1,L2,...,Li,...,LN};
c)将预处理后的心脏MRI图像数据集L划分为训练集、验证集、测试集,将训练集中的各个预处理后的心脏MRI图像数据沿Z轴切片,得到X个切片图像,第i个切片图像为Fi,i∈{1,...,X},将测试集中的各个预处理后的图像沿Z轴切片,得到Y个切片图像,第j个切片图像为Fj,j∈{1,...,Y};
d)建立分割网络模型,分割网络模型由编码器、解码器构成;
e)将训练集中第i个切片图像Fi输入到分割网络模型的编码器中,输出得到特征图
f)将特征图输入到分割网络模型的解码器中,通过跳跃连接进行特征提取,得到分割图像/>
g)通过损失函数Lloss训练分割网络模型,得到优化后的分割网络模型;
h)将测试集中第j个切片图像Fj输入到优化后的分割网络模型中,得到分割图像
2.根据权利要求1所述的基于共享通道注意力机制的心脏MRI分割方法,其特征在于:步骤a)中从自动心脏诊断挑战赛ACDC数据库中获取N个心脏MRI图像数据。
3.根据权利要求1所述的基于共享通道注意力机制的心脏MRI分割方法,其特征在于,步骤b)包括如下步骤:
b-1)第i张MRI图像数据沿Z轴切片,将切割的若干切片进行X轴方向的像素间距为1.5、Y轴方向的像素间距为1.5的重采样操作;
b-2)将重采样操作后的切片进行中心剪裁,剪裁后的切片的大小为224×224;b-3)将剪裁后的各个切片堆叠重新恢复为心脏MRI图像数据Ci′;
b-4)将心脏MRI图像数据Ci′以0.5的概率沿水平轴或垂直轴进行翻转,翻转角度为90度,得到旋转后的心脏MRI图像数据;
b-5)将旋转后的心脏MRI图像数据进行Z-Score标准化处理,得到预处理后的第i个心脏MRI图像数据Li。
4.根据权利要求1所述的基于共享通道注意力机制的心脏MRI分割方法,其特征在于:将预处理后的心脏MRI图像数据集L按照7:1:2的比例划分为训练集、验证集、测试集。
5.根据权利要求1所述的基于共享通道注意力机制的心脏MRI分割方法,其特征在于,步骤e)包括如下步骤:
e-1)分割网络模型的编码器由第一编码块、第一最大池化层、第二编码块、第二最大池化层、第三编码块、第三最大池化层、第四编码块、第四最大池化层、卷积层构成;
e-2)编码器的第一编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第一编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将训练集中第i个切片图像Fi输入到卷积块中,输出得到特征图编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将训练集中第i个切片图像Fi输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将训练集中第i个切片图像Fi输入到共享通道注意力块SCA的最大池化层中,输出得到特征图共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与训练集中第i个切片图像Fi相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第一编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>
e-3)将特征图输入到编码器的第一最大池化层中,输出得到特征图/>e-4)编码器的第二编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第二编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第二编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第二编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>e-5)将特征图/>输入到编码器的第二最大池化层中,输出得到特征图/>e-6)编码器的第三编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第三编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第三编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图将特征图/>按元素与特征图/>相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第三编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>e-7)将特征图/>输入到编码器的第三最大池化层中,输出得到特征图/>e-8)编码器的第四编码块由卷积块、共享通道注意力块SCA、Conv2d层、InstanceNorm层构成,第四编码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第四编码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图将特征图/>依次输入到第四编码块的Conv2d层、InstanceNorm层中,输出得到特征图/>e-9)将特征图/>输入到编码器的第四最大池化层中,输出得到特征图/>e-10)将特征图/>输入到编码器的卷积层中,输出得到特征图/>
6.根据权利要求5所述的基于共享通道注意力机制的心脏MRI分割方法,其特征在于:步骤e-2)中第一编码块的卷积块的卷积层的卷积核大小为3×3,第一编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-3)中第一最大池化层的步长为2、池化核大小为2×2,步骤e-4)中第二编码块的卷积块的卷积层的卷积核大小为3×3,第二编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-5)中第二最大池化层的步长为2、池化核大小为2×2;步骤e-6)中第三编码块的卷积块的卷积层的卷积核大小为3×3,第三编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-7)中第三最大池化层的步长为2、池化核大小为2×2;步骤e-8)中第四编码块的卷积块的卷积层的卷积核大小为3×3,第四编码块的Conv2d层的卷积核大小为3×3、padding为1、步长为1;步骤e-9)中第四最大池化层的步长为2、池化核大小为2×2;步骤e-10)中编码器的卷积层的卷积核大小为3×3。
7.根据权利要求1所述的基于共享通道注意力机制的心脏MRI分割方法,其特征在于,步骤f)包括如下步骤:
f-1)分割网络模型的解码器由第一上采样层、第一完全注意力门控块FAG、第一解码块、第二上采样层、第二完全注意力门控块FAG、第二解码块、第三上采样层、第三完全注意力门控块FAG、第三解码块、第四上采样层、第四完全注意力门控块FAG、第四解码块、卷积层构成;
f-2)将特征图输入到解码器的第一上采样层中,输出得到特征图/>f-3)解码器的第一完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图/>依次输入到第一完全注意力门控块FAG的第一卷积层中,输出得到特征图/>将特征图/>输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第一完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图与特征图/>相加操作,得到特征图/>将特征图/>依次输入到第一完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图/>将特征图与特征图/>进行相乘操作后输入到第一完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>与特征图/>进行相乘操作,得到特征图/>将特征图/>和特征图/>进行相加操作,得到特征图/>
f-4)解码器的第一解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第一解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第一解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第一解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>
f-5)将特征图输入到解码器的第二上采样层中,输出得到特征图/>f-6)解码器的第二完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图/>依次输入到第二完全注意力门控块FAG的第一卷积层中,输出得到特征图/>将特征图/>输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第二完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图/>与特征图/>相加操作,得到特征图/>将特征图/>依次输入到第二完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图/>将特征图/>与特征图/>进行相乘操作后输入到第二完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>与特征图/>进行相乘操作,得到特征图/>将特征图/>和特征图/>进行相加操作,得到特征图/>
f-7)解码器的第二解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第二解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第二解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图/>相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图/>将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第二解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>f-8)将特征图/>输入到解码器的第三上采样层中,输出得到特征图/>f-9)解码器的第三完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图/>依次输入到第三完全注意力门控块FAG的第一卷积层中,输出得到特征图/>将特征图/>输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第三完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图/>与特征图/>相加操作,得到特征图/>将特征图/>依次输入到第三完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图/>将特征图/>与特征图/>进行相乘操作后输入到第三完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图与特征图/>进行相乘操作,得到特征图/>将特征图/>和特征图/>进行相加操作,得到特征图/>
f-10)解码器的第三解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第三解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第三解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图Ds 3-3和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第三解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>f-11)将特征图输入到解码器的第四上采样层中,输出得到特征图/>f-12)解码器的第四完全注意力门控块FAG由第一卷积层、第一重采样单元、第二卷积层、ReLU函数、第三卷积层、Sigmoid函数、第二重采样单元构成,将特征图/>依次输入到第四完全注意力门控块FAG的第一卷积层中,输出得到特征图/>将特征图/>输入到第一重采样单元中通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图/>输入到第四完全注意力门控块FAG的第二卷积层中,输出得到特征图/>将特征图/>与特征图相加操作,得到特征图/>将特征图/>依次输入到第四完全注意力门控块FAG的ReLU函数、第三卷积层、Sigmoid函数中,输出得到特征图/>将特征图/>与特征图进行相乘操作后输入到第四完全注意力门控块FAG的第二重采样单元中,通过pytorch中的multinominal采样函数进行重采样操作,输出得到特征图/>将特征图与特征图/>进行相乘操作,得到特征图/>将特征图/>和特征图/>进行相加操作,得到特征图/>
f-13)解码器的第四解码块由卷积块、共享通道注意力块SCA、ConvTranspose2d层、InstanceNorm层构成,将特征图与特征图/>进行相加操作,得到特征图/>第三解码块的卷积块依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图/>输入到卷积块中,输出得到特征图/>第四解码块的共享通道注意力块SCA由全局平均池化层、最大池化层、共享多层感知机S-MLP、Sigmoid函数构成,将特征图/>输入到共享通道注意力块SCA的全局平均池化层中,输出得到特征图/>将特征图/>输入到共享通道注意力块SCA的最大池化层中,输出得到特征图/>共享多层感知机S-MLP依次由第一FC层、GeLU层、第二FC层构成,将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>输入到共享多层感知机S-MLP中,输出得到特征图/>将特征图/>和特征图相加操作,得到特征图/>将特征图/>输入到共享通道注意力块SCA的Sigmoid函数中,输出得到特征图/>将特征图/>按元素与特征图/>相乘操作,得到特征图将特征图/>与特征图/>相乘操作,得到特征图/>将特征图/>依次输入到第四解码块的ConvTranspose2d层、InstanceNorm层中,输出得到特征图/>f-14)将特征图/>输入到解码器的卷积层中,输出得到分割图像/>
8.根据权利要求7所述的基于共享通道注意力机制的心脏MRI分割方法,其特征在于:步骤f-2)中第一上采样层的卷积核大小为2×2;步骤f-3)中第一完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-4)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1;步骤f-5)中第二上采样层的卷积核大小为2×2;步骤f-6)中第二完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-7)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1;步骤f-8)中第三上采样层的卷积核大小为2×2;步骤f-9)中第三完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-10)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1;步骤f-11)中第四上采样层的卷积核大小为2×2;步骤f-12)中第四完全注意力门控块FAG的第一卷积层、第二卷积层的卷积核大小均为1×1,第三卷积层的卷积核大小为3×3、步长为1、填充为1;步骤f-13)中卷积块的卷积层的卷积核大小为3×3,ConvTranspose2d层的卷积核大小为3×3、padding为1、步长为1,步骤f-14)中解码器的卷积层的卷积核大小为1×1、步长为1、填充为0。
9.根据权利要求1所述的基于共享通道注意力机制的心脏MRI分割方法,其特征在于,步骤g)包括如下步骤:
g-1)通过公式Lloss=LDice+ωLCE计算损失函数Lloss,式中LDice为Dice损失,LCE为交叉熵损失,ω为超参数;
g-2)使用Adam优化器利用损失函数Lloss训练分割网络模型,得到优化后的分割网络模型。
10.根据权利要求9所述的基于共享通道注意力机制的心脏MRI分割方法,其特征在于:训练分割网络模型时初始学习率设置为0.001,batch size设置为32,epoch设置为200,学习率lr设置为0.001,超参数ω设置为0.05。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311620442.1A CN117593274B (zh) | 2023-11-30 | 2023-11-30 | 一种基于共享通道注意力机制的心脏mri分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311620442.1A CN117593274B (zh) | 2023-11-30 | 2023-11-30 | 一种基于共享通道注意力机制的心脏mri分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117593274A true CN117593274A (zh) | 2024-02-23 |
CN117593274B CN117593274B (zh) | 2024-06-04 |
Family
ID=89919787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311620442.1A Active CN117593274B (zh) | 2023-11-30 | 2023-11-30 | 一种基于共享通道注意力机制的心脏mri分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117593274B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150245066A1 (en) * | 2012-09-28 | 2015-08-27 | Sony Corporation | Image processing apparatus and image processing method |
CN114066866A (zh) * | 2021-11-23 | 2022-02-18 | 湖南科技大学 | 一种基于深度学习的医学图像自动分割方法 |
CN114332462A (zh) * | 2021-12-31 | 2022-04-12 | 福州大学 | 一种针对大脑病变融入注意力机制的mri分割方法 |
CN114821070A (zh) * | 2022-06-02 | 2022-07-29 | 哈尔滨理工大学 | 一种基于改进U-Net型网络的心脏MRI分割方法 |
CN115546227A (zh) * | 2022-10-17 | 2022-12-30 | 哈尔滨理工大学 | 基于改进Unet网络的视网膜血管分割网络、分割方法、计算机设备和存储介质 |
US20230206025A1 (en) * | 2021-12-24 | 2023-06-29 | Pusan National University Industry-University Cooperation Foundation | Deep Learning Model Based on Attention Using Embedding Scheme for Continuous Variables of Tabular Data |
CN116563265A (zh) * | 2023-05-23 | 2023-08-08 | 山东省人工智能研究院 | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 |
CN116612131A (zh) * | 2023-05-22 | 2023-08-18 | 山东省人工智能研究院 | 一种基于ADC-UNet模型的心脏MRI结构分割方法 |
CN116843696A (zh) * | 2023-04-27 | 2023-10-03 | 山东省人工智能研究院 | 基于特征相似性和超参数卷积注意力的心脏mri分割方法 |
CN117078941A (zh) * | 2023-09-22 | 2023-11-17 | 齐鲁工业大学(山东省科学院) | 一种基于上下文级联注意力的心脏mri分割方法 |
-
2023
- 2023-11-30 CN CN202311620442.1A patent/CN117593274B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150245066A1 (en) * | 2012-09-28 | 2015-08-27 | Sony Corporation | Image processing apparatus and image processing method |
CN114066866A (zh) * | 2021-11-23 | 2022-02-18 | 湖南科技大学 | 一种基于深度学习的医学图像自动分割方法 |
US20230206025A1 (en) * | 2021-12-24 | 2023-06-29 | Pusan National University Industry-University Cooperation Foundation | Deep Learning Model Based on Attention Using Embedding Scheme for Continuous Variables of Tabular Data |
CN114332462A (zh) * | 2021-12-31 | 2022-04-12 | 福州大学 | 一种针对大脑病变融入注意力机制的mri分割方法 |
CN114821070A (zh) * | 2022-06-02 | 2022-07-29 | 哈尔滨理工大学 | 一种基于改进U-Net型网络的心脏MRI分割方法 |
CN115546227A (zh) * | 2022-10-17 | 2022-12-30 | 哈尔滨理工大学 | 基于改进Unet网络的视网膜血管分割网络、分割方法、计算机设备和存储介质 |
CN116843696A (zh) * | 2023-04-27 | 2023-10-03 | 山东省人工智能研究院 | 基于特征相似性和超参数卷积注意力的心脏mri分割方法 |
CN116612131A (zh) * | 2023-05-22 | 2023-08-18 | 山东省人工智能研究院 | 一种基于ADC-UNet模型的心脏MRI结构分割方法 |
CN116563265A (zh) * | 2023-05-23 | 2023-08-08 | 山东省人工智能研究院 | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 |
CN117078941A (zh) * | 2023-09-22 | 2023-11-17 | 齐鲁工业大学(山东省科学院) | 一种基于上下文级联注意力的心脏mri分割方法 |
Non-Patent Citations (2)
Title |
---|
TRINH LE BA KHANH 等: "Enhancing U-Net with Spatial-Channel Attention Gate for Abnormal Tissue Segmentation in Medical Imaging", APPLIED SCIENCES, 19 August 2020 (2020-08-19), pages 1 - 19 * |
徐宏伟 等: "基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割", 计算机应用研究, no. 07, 31 December 2020 (2020-12-31), pages 323 - 326 * |
Also Published As
Publication number | Publication date |
---|---|
CN117593274B (zh) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
CN111369565A (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
CN112580639B (zh) | 一种基于进化神经网络模型压缩的早期胃癌图像识别方法 | |
CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
CN114119516B (zh) | 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法 | |
CN110070540A (zh) | 图像生成方法、装置、计算机设备及存储介质 | |
CN106844524A (zh) | 一种基于深度学习和Radon变换的医学图像检索方法 | |
CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
CN112364920B (zh) | 基于深度学习的甲状腺癌病理图像分类方法 | |
CN114066913B (zh) | 一种心脏图像分割方法及系统 | |
CN112150470A (zh) | 图像分割方法、装置、介质及电子设备 | |
CN116563265A (zh) | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 | |
CN115409815A (zh) | 一种基于三维可变形transformer的肺结节检测方法 | |
CN114240965A (zh) | 一种图注意力模型驱动的小样本学习肿瘤分割方法 | |
CN117649385A (zh) | 一种基于全局和局部注意力机制的肺部ct图像分割方法 | |
CN110992309A (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
CN111667488B (zh) | 一种基于多角度U-Net的医学图像分割方法 | |
CN114066883A (zh) | 一种基于特征选择与残差融合的肝肿瘤分割方法 | |
CN117593274B (zh) | 一种基于共享通道注意力机制的心脏mri分割方法 | |
CN113313699A (zh) | 基于弱监督学习的x光胸部疾病分类及定位方法、电子设备 | |
CN111145183A (zh) | 一种用于透明隔腔超声图像的分割系统及方法 | |
CN116228732A (zh) | 一种乳腺癌分子分型预测方法、系统、介质、设备及终端 | |
CN116030043A (zh) | 一种多模态医学图像分割方法 | |
CN115690423A (zh) | 一种基于深度学习的ct序列图像肝脏肿瘤分割方法 | |
CN115131386A (zh) | 胸腔病灶影像的轮廓提取及检测方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |