CN116843696B - 基于特征相似性和超参数卷积注意力的心脏mri分割方法 - Google Patents

基于特征相似性和超参数卷积注意力的心脏mri分割方法 Download PDF

Info

Publication number
CN116843696B
CN116843696B CN202310470456.3A CN202310470456A CN116843696B CN 116843696 B CN116843696 B CN 116843696B CN 202310470456 A CN202310470456 A CN 202310470456A CN 116843696 B CN116843696 B CN 116843696B
Authority
CN
China
Prior art keywords
convolution
layer
fau
feature map
oca
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310470456.3A
Other languages
English (en)
Other versions
CN116843696A (zh
Inventor
刘瑞霞
胡盼盼
舒明雷
徐鹏摇
尚晓依
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202310470456.3A priority Critical patent/CN116843696B/zh
Publication of CN116843696A publication Critical patent/CN116843696A/zh
Application granted granted Critical
Publication of CN116843696B publication Critical patent/CN116843696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/0985Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

一种基于特征相似性和超参数卷积注意力的心脏MRI分割方法,分割网络模型中使用特征相似性模块,通过提取长程依赖性来探索密集的上下文信息,并将其编码到特征图中,有助于分割心脏中不同形态的组织。将超参数卷积注意力模块代替解码器中的普通卷积,用于提取重要的特征信息,扩大感受野,加快收敛速度,提高模型性能。结合加权交叉熵损失和Dice损失的组合函数联合指导网络的训练,能够更全面的考虑正负样本之间的平衡关系,可以在保证高灵敏度的同时提高网络的训练效率和分割精度,产生更加稳定的训练结果。

Description

基于特征相似性和超参数卷积注意力的心脏MRI分割方法
技术领域
本发明涉及医学图像分割技术领域,具体涉及一种基于特征相似性和超参数卷积注意力的心脏MRI分割方法。
背景技术
心脏MRI的精确分割有助于早期诊断和治疗,基于分割结果,医生可以有效地获得诊断指标,如心肌质量和厚度、射血分数和心室容积。目前心脏MRI分割的研究方法主要分为基于传统和基于深度学习的方法。传统的方法的表示能力通常太有限,无法处理外观和形状的巨大变化,在心脏MRI分割中表现并不出色。随着成像和计算能力的进步,深度学习使特征抽象达到了更高水平,而U-Net的提议大大促进了基于深度学习的图像分割的发展,是最成功的医学图像分割体系结构。然而,由于心脏解剖结构复杂,心脏分割仍然具有挑战性,在成像过程中容易产生伪影,部分体积效应和强度分布的不均匀性,特征利用不充分、依赖性较低等问题,因此,找到一个稳健和准确的心脏组织分割方法具有重要意义。
发明内容
本发明为了克服以上技术的不足,提供了一种加快网络收敛的超参数卷积注意力,获得更好的分割结果的心脏MRI分割方法。
本发明克服其技术问题所采用的技术方案是:
一种基于特征相似性和超参数卷积注意力的心脏MRI分割方法,包括如下步骤:
a)收集n个患者的心脏MRI数据,得到MRI数据集p,p={p1,p2,…,pi,…,pn},pi为第i名患者的心脏MRI数据,i∈{1,2,…,n};
b)对MRI数据集p进行预处理操作,得到预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,...,Tfan};
c)将预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,...,Tfan}划分为训练集、验证集和测试集;
d)建立分割网络模型,分割网络模型由编码器和解码器构成,将训练集中的第i名患者预处理后的图像Tfai输入到分割网络模型的编码器中,得到特征图
e)将特征图输入到分割网络模型的解码器中,得到分割图像;
f)训练分割网络模型;
g)将测试集中的第i名患者预处理后的图像Tfai输入到训练后的分割网络模型中,输出得到预测的分割图像。
优选的,步骤a)中从自动心脏诊断挑战公开数据中获取包含100名患者的心脏短轴MRI数据,得到MRI数据集。
进一步的,步骤b)包括如下步骤:
b-1)将第i名患者的心脏MRI数据pi和其相对应的分割掩码沿z轴进行逐个切片的重采样,重采样为x轴方向的像素间距为1.5,y轴方向的像素间距为1.5;
b-2)将重采样后的心脏MRI数据pi执行裁剪大小为192×192的2D中心剪裁操作,得到剪裁后的数据p′i,剪裁后的MRI数据集p′,p′={p′1,p′2,...,p′i,…,p′n},将剪裁后的MRI数据集p′保存为nii格式文件;
b-3)读取第i名患者的nii格式文件,将其切片为二维图像,将切片后的二维图像进行归一化处理,得到第i名患者预处理后的图像Tfai,预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,…,Tfan}。
优选的,步骤c)中将预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,...,Tfan}按7:2:1的比例划分为训练集、验证集和测试集。
进一步的,步骤d)包括如下步骤:
d-1)分割网络模型的编码器由第一卷积单元、第二卷积单元、第一最大池化层、第三卷积单元、第四卷积单元、第二最大池化层、第五卷积单元、第六卷积单元、第三最大池化层、第七卷积单元、第八卷积单元、第四最大池化层、深度超参数卷积层、特征相似性模块FS构成;
d-2)编码器的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将训练集中的第i个预处理后的图像Tfai输入到编码器的第一卷积单元中,输出得到特征图
d-3)编码器的第二卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第二卷积单元中,输出得到特征图/>
d-4)将特征图输入到编码器的第一最大池化层中,输出得到特征图/>
d-5)编码器的第三卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第三卷积单元中,输出得到特征图/>
d-6)编码器的第四卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第四卷积单元中,输出得到特征图/>
d-7)将特征图输入到编码器的第二最大池化层中,输出得到特征图/>
d-8)编码器的第五卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第五卷积单元中,输出得到特征图/>
d-9)编码器的第六卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第六卷积单元中,输出得到特征图/>
d-10)将特征图输入到编码器的第三最大池化层中,输出得到特征图/>
d-11)编码器的第七卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第七卷积单元中,输出得到特征图/>
d-12)编码器的第八卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第八卷积单元中,输出得到特征图/>
d-13)将特征图输入到编码器的第四最大池化层中,输出得到特征图/>
d-14)将特征图输入到编码器的深度超参数卷积层中,输出得到特征图/>
d-15)编码器的特征相似性模块FS由卷积单元、第一卷积层、第二卷积层、第三卷积层、softmax函数层、reshape函数层、第四卷积层构成;
d-16)特征相似性模块FS的卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到特征相似性模块FS的卷积单元中,输出得到特征图Tfs-1
d-17)将特征图Tfs-1分别输入到特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层,分别得到特征图Tfs-1-1、特征图Tfs-1-2、特征图Tfs-1-3
d-18)将特征图Tfs-1-1与特征图Tfs-1-2相乘操作后输入到特征相似性模块FS的softmax函数层中,输出得到特征图Tfs-1-4
d-19)将特征图Tfs-1-3和特征图Tfs-1-4相乘操作后输入到特征相似性模块FS的reshape函数层中,输出得到特征图Tfs-1-5,将特征图Tfs-1-5与特征图Tfs-1相加得到特征图Tfs-1-5
d-20)将特征图Tfs-1-5输入到特征相似性模块FS的第四卷积层中,输出得到特征图
优选的,步骤d-2)中第一卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-3)中第二卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-4)中第一最大池化层的卷积核大小为2×2;步骤d-5)中第三卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-6)中第四卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-7)中第二最大池化层的卷积核大小为2×2;步骤d-8)中第五卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-9)中第六卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-10)中第三最大池化层的卷积核大小为2×2;d-11)中第七卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-12)中第八卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-13)中第四最大池化层的卷积核大小为2×2;步骤d-14)中深度超参数卷积层的卷积核大小为3×3、padding为1、步长为1;d-16)中特征相似性模块FS的卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-17)中特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×1;d-20)中特征相似性模块FS的第四卷积层的卷积核大小为3×3、padding为1、步长为1。
进一步的,步骤e)包括如下步骤:
e-1)分割网络模型的解码器由第一上采样层、第一超参数卷积注意力模块OCA、第二上采样层、第二超参数卷积注意力模块OCA、第三上采样层、第三超参数卷积注意力模块OCA、第四上采样层、第四超参数卷积注意力模块OCA构成;
e-2)将特征图输入到解码器的第一上采样层中,输出得到特征图/>
e-3)将特征图与特征图/>进行拼接操作,得到特征图/>
e-4)解码器的第一超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-1-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-1-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-1-3,将特征图Tfau-1-1和特征图Tfau-1-2相加得到特征图Tfau-1-4,将特征图Tfau-1-2和特征图Tfau-1-3相加得到特征图Tfau-1-5,将特征图Tfau-1-4输入到第一超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-1-6,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-1-7,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-1-8,将注意力图Tfau-1-6与特征图Tfau-1-7相乘操作后输入到第一超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-1-9,将特征图Tfau-1-7、特征图Tfau-1-8、特征图/>相加得到特征图Tfau-1-10,将特征图Tfau-1-9与特征图Tfau-1-10相乘操作后输入到第一超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-5)将特征图输入到解码器的第二上采样层中,输出得到特征图/>
e-6)将特征图与特征图/>进行拼接操作,得到特征图/>
e-7)解码器的第二超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-2-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-2-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-2-3,将特征图Tfau-2-1和特征图Tfau-2-2相加得到特征图Tfau-2-4,将特征图Tfau-2-2和特征图Tfau-2-3相加得到特征图Tfau-2-5,将特征图Tfau-2-4输入到第二超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-2-6,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-2-7,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-2-8,将注意力图Tfau-2-6与特征图Tfau-2-7相乘操作后输入到第二超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-2-9,将特征图Tfau-2-7、特征图Tfau-2-8、特征图/>相加得到特征图Tfau-2-10,将特征图Tfau-2-9与特征图Tfau-2-10相乘操作后输入到第二超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-8)将特征图输入到解码器的第三上采样层中,输出得到特征图/>
e-9)将特征图与特征图/>进行拼接操作,得到特征图/>
e-10)解码器的第三超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-3-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-3-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-3-3,将特征图Tfau-3-1和特征图Tfau-3-2相加得到特征图Tfau-3-4,将特征图Tfau-3-2和特征图Tfau-3-3相加得到特征图Tfau-3-5,将特征图Tfau-3-4输入到第三超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-3-6,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-3-7,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-3-8,将注意力图Tfau-3-6与特征图Tfau-3-7相乘操作后输入到第三超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-3-9,将特征图Tfau-3-7、特征图Tfau-3-8、特征图/>相加得到特征图Tfau-3-10,将特征图Tfau-3-9与特征图Tfau-3-10相乘操作后输入到第三超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-11)将特征图输入到解码器的第四上采样层中,输出得到特征图/>
e-12)将特征图与特征图/>进行拼接操作,得到特征图/>
e-13)解码器的第四超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-4-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-4-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-4-3,将特征图Tfau-4-1和特征图Tfau-4-2相加得到特征图Tfau-4-4,将特征图Tfau-4-2和特征图Tfau-4-3相加得到特征图Tfau-4-5,将特征图Tfau-4-4输入到第四超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-4-6,将注意力图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-4-7,将注意力图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-4-8,将注意力图Tfau-4-6与特征图Tfau-4-7相乘操作后输入到第四超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-4-9,将特征图Tfau-4-7、特征图Tfau-4-8、特征图/>相加得到特征图Tfau-4-10,将特征图Tfau-4-9与特征图Tfau-4-10相乘操作后输入到第四超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-14)将特征图进行1×1的卷积操作后输出得到分割图像。
优选的,解码器的第一上采样层、第二上采样层、第三上采样层、第四上采样层的卷积核大小均为2×2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第一深度超参数卷积层的卷积核大小均为3×3、扩张率均为3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二深度超参数卷积层的卷积核大小均为3×3、扩张率均为5、第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第三深度超参数卷积层的卷积核大小均为3×3、扩张率均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第一卷积层的卷积核大小均为5×5、padding均为2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二卷积层的卷积核大小均为3×3、padding均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的深度可分离卷积层的卷积核大小均为3×3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第三卷积层的卷积核大小均为1×1。
进一步的,步骤f)包括如下步骤:
f-1)通过公式Totalloss=Dloss+WCEloss计算得到总损失Totalloss,式中Dloss为Dice损失,WCEloss为加权交叉熵损失;
f-2)采用Adam优化器使用总损失Totalloss训练分割网络模型。
优选的,步骤f-2)训练时批处理的大小设置为16,迭代周期为100,学习率设置为0.001。
本发明的有益效果是:通过提取长程依赖性来探索密集的上下文信息,并将其编码到特征图中,有助于分割心脏中不同形态的组织。将超参数卷积注意力模块代替解码器中的普通卷积,用于提取重要的特征信息,扩大感受野,加快收敛速度,提高模型性能。
附图说明
图1为本发明的分割网络模型结构图;
图2为本发明的特征相似性模块FS的结构图;
图3为本发明的超参数卷积注意力模块OCA的结构图。
具体实施方式
下面结合附图1、附图2、附图3对本发明做进一步说明。
一种基于特征相似性和超参数卷积注意力的心脏MRI分割方法,包括如下步骤:
a)收集n个患者的心脏MRI数据,得到MRI数据集p,p={p1,p2,…,pi,…,pn},pi为第i名患者的心脏MRI数据,i∈{1,2,…,n}。
b)对MRI数据集p进行预处理操作,得到预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,…,Tfan}。
c)将预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,...,Tfan}划分为训练集、验证集和测试集。
d)建立分割网络模型,分割网络模型由编码器和解码器构成,将训练集中的第i名患者预处理后的图像Tfai输入到分割网络模型的编码器中,得到特征图
e)将特征图输入到分割网络模型的解码器中,得到分割图像。
f)训练分割网络模型。
g)将测试集中的第i名患者预处理后的图像Tfai输入到训练后的分割网络模型中,输出得到预测的分割图像。
分割网络模型中使用特征相似性模块,通过提取长程依赖性来探索密集的上下文信息,并将其编码到特征图中,有助于分割心脏中不同形态的组织。将超参数卷积注意力模块代替解码器中的普通卷积,用于提取重要的特征信息,扩大感受野,加快收敛速度,提高模型性能。结合加权交叉熵损失和Dice损失的组合函数联合指导网络的训练,能够更全面的考虑正负样本之间的平衡关系,可以在保证高灵敏度的同时提高网络的训练效率和分割精度,产生更加稳定的训练结果。
实施例1:
步骤a)中从自动心脏诊断挑战公开数据(Automated Cardiac DiagnosisChallenge,ACDC)中获取包含100名患者的心脏短轴MRI数据,得到MRI数据集。
实施例2:
步骤b)包括如下步骤:
b-1)将第i名患者的心脏MRI数据pi和其相对应的分割掩码沿z轴进行逐个切片的重采样,重采样为x轴方向的像素间距为1.5,y轴方向的像素间距为1.5。
b-2)将重采样后的心脏MRI数据pi执行裁剪大小为192×192的2D中心剪裁操作,得到剪裁后的数据p′i,剪裁后的MRI数据集p′,p′={p′1,p′2,…,p′i,…,p′n},将剪裁后的MRI数据集p′保存为nii格式文件。
b-3)读取第i名患者的nii格式文件,将其切片为二维图像,将切片后的二维图像进行归一化处理,得到第i名患者预处理后的图像Tfai,预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,…,Tfan}。
实施例3:
步骤c)中将预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,…,Tfan}按7:2:1的比例划分为训练集、验证集和测试集。
实施例4:
步骤d)包括如下步骤:
d-1)分割网络模型的编码器由第一卷积单元、第二卷积单元、第一最大池化层、第三卷积单元、第四卷积单元、第二最大池化层、第五卷积单元、第六卷积单元、第三最大池化层、第七卷积单元、第八卷积单元、第四最大池化层、深度超参数卷积层、特征相似性模块FS构成。
d-2)编码器的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将训练集中的第i个预处理后的图像Tfai输入到编码器的第一卷积单元中,输出得到特征图
d-3)编码器的第二卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第二卷积单元中,输出得到特征图/>
d-4)将特征图输入到编码器的第一最大池化层中,输出得到特征图/>
d-5)编码器的第三卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第三卷积单元中,输出得到特征图/>
d-6)编码器的第四卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第四卷积单元中,输出得到特征图/>
d-7)将特征图输入到编码器的第二最大池化层中,输出得到特征图/>
d-8)编码器的第五卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第五卷积单元中,输出得到特征图/>
d-9)编码器的第六卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第六卷积单元中,输出得到特征图/>
d-10)将特征图输入到编码器的第三最大池化层中,输出得到特征图/>
d-11)编码器的第七卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第七卷积单元中,输出得到特征图/>
d-12)编码器的第八卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第八卷积单元中,输出得到特征图/>
d-13)将特征图输入到编码器的第四最大池化层中,输出得到特征图/>
d-14)将特征图输入到编码器的深度超参数卷积层中,输出得到特征图/>
d-15)编码器的特征相似性模块FS由卷积单元、第一卷积层、第二卷积层、第三卷积层、softmax函数层、reshape函数层、第四卷积层构成。
d-16)特征相似性模块FS的卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到特征相似性模块FS的卷积单元中,输出得到特征图Tfs-1
d-17)将特征图Tfs-1分别输入到特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层,分别得到特征图Tfs-1-1、特征图Tfs-1-2、特征图Tfs-1-3
d-18)将特征图Tfs-1-1与特征图Tfs-1-2相乘操作后输入到特征相似性模块FS的softmax函数层中,输出得到特征图Tfs-1-4
d-19)将特征图Tfs-1-3和特征图Tfs-1-4相乘操作后输入到特征相似性模块FS的reshape函数层中,输出得到特征图Tfs-1-5,将特征图Tfs-1-5与特征图Tfs-1相加得到特征图Tfs-1-5
d-20)将特征图Tfs-1-5输入到特征相似性模块FS的第四卷积层中,输出得到特征图
在该实施例中,优选的,步骤d-2)中第一卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-3)中第二卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-4)中第一最大池化层的卷积核大小为2×2;步骤d-5)中第三卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-6)中第四卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-7)中第二最大池化层的卷积核大小为2×2;步骤d-8)中第五卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-9)中第六卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-10)中第三最大池化层的卷积核大小为2×2;d-11)中第七卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-12)中第八卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-13)中第四最大池化层的卷积核大小为2×2;步骤d-14)中深度超参数卷积层的卷积核大小为3×3、padding为1、步长为1;d-16)中特征相似性模块FS的卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-17)中特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×1;d-20)中特征相似性模块FS的第四卷积层的卷积核大小为3×3、padding为1、步长为1。
实施例5:
步骤e)包括如下步骤:
e-1)分割网络模型的解码器由第一上采样层、第一超参数卷积注意力模块OCA、第二上采样层、第二超参数卷积注意力模块OCA、第三上采样层、第三超参数卷积注意力模块OCA、第四上采样层、第四超参数卷积注意力模块OCA构成。
e-2)将特征图输入到解码器的第一上采样层中,输出得到特征图/>
e-3)将特征图与特征图/>进行拼接操作,得到特征图/>
e-4)解码器的第一超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-1-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-1-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-1-3,将特征图Tfau-1-1和特征图Tfau-1-2相加得到特征图Tfau-1-4,将特征图Tfau-1-2和特征图Tfau-1-3相加得到特征图Tfau-1-5,将特征图Tfau-1-4输入到第一超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-1-6,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-1-7,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-1-8,将注意力图Tfau-1-6与特征图Tfau-1-7相乘操作后输入到第一超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-1-9,将特征图Tfau-1-7、特征图Tfau-1-8、特征图/>相加得到特征图Tfau-1-10,将特征图Tfau-1-9与特征图Tfau-1-10相乘操作后输入到第一超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-5)将特征图输入到解码器的第二上采样层中,输出得到特征图/>
e-6)将特征图与特征图/>进行拼接操作,得到特征图/>
e-7)解码器的第二超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-2-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-2-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-2-3,将特征图Tfau-2-1和特征图Tfau-2-2相加得到特征图Tfau-2-4,将特征图Tfau-2-2和特征图Tfau-2-3相加得到特征图Tfau-2-5,将特征图Tfau-2-4输入到第二超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-2-6,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-2-7,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-2-8,将注意力图Tfau-2-6与特征图Tfau-2-7相乘操作后输入到第二超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-2-9,将特征图Tfau-2-7、特征图Tfau-2-8、特征图/>相加得到特征图Tfau-2-10,将特征图Tfau-2-9与特征图Tfau-2-10相乘操作后输入到第二超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-8)将特征图输入到解码器的第三上采样层中,输出得到特征图/>
e-9)将特征图与特征图/>进行拼接操作,得到特征图/>
e-10)解码器的第三超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-3-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-3-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-3-3,将特征图Tfau-3-1和特征图Tfau-3-2相加得到特征图Tfau-3-4,将特征图Tfau-3-2和特征图Tfau-3-3相加得到特征图Tfau-3-5,将特征图Tfau-3-4输入到第三超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-3-6,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-3-7,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-3-8,将注意力图Tfau-3-6与特征图Tfau-3-7相乘操作后输入到第三超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-3-9,将特征图Tfau-3-7、特征图Tfau-3-8、特征图/>相加得到特征图Tfau-3-10,将特征图Tfau-3-9与特征图Tfau-3-10相乘操作后输入到第三超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-11)将特征图输入到解码器的第四上采样层中,输出得到特征图/>
e-12)将特征图与特征图/>进行拼接操作,得到特征图/>
e-13)解码器的第四超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-4-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-4-2,将特征图输入到第三深度超参数卷积层后,得到特征图Tfau-4-3,将特征图Tfau-4-1和特征图Tfau-4-2相加得到特征图Tfau-4-4,将特征图Tfau-4-2和特征图Tfau-4-3相加得到特征图Tfau-4-5,将特征图Tfau-4-4输入到第四超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-4-6,将特征图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-4-7,将特征图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-4-8,将注意力图Tfau-4-6与特征图Tfau-4-7相乘操作后输入到第四超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-4-9,将特征图Tfau-4-7、特征图Tfau-4-8、特征图/>相加得到特征图Tfau-4-10,将特征图Tfau-4-9与特征图Tfau-4-10相乘操作后输入到第四超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-14)将特征图进行1×1的卷积操作后输出得到分割图像。
在该实施例中,优选的,解码器的第一上采样层、第二上采样层、第三上采样层、第四上采样层的卷积核大小均为2×2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第一深度超参数卷积层的卷积核大小均为3×3、扩张率均为3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二深度超参数卷积层的卷积核大小均为3×3、扩张率均为5、第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第三深度超参数卷积层的卷积核大小均为3×3、扩张率均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第一卷积层的卷积核大小均为5×5、padding均为2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二卷积层的卷积核大小均为3×3、padding均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的深度可分离卷积层的卷积核大小均为3×3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第三卷积层的卷积核大小均为1×1。
实施例6:
步骤f)包括如下步骤:
f-1)通过公式Totalloss=Dloss+WCEloss计算得到总损失Totalloss,式中Dloss为Dice损失,WCEloss为加权交叉熵损失。
f-2)采用Adam优化器使用总损失Totalloss训练分割网络模型。优选的,步骤f-2)训练时批处理的大小设置为16,迭代周期为100,学习率设置为0.001。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于,包括如下步骤:
a)收集n个患者的心脏MRI数据,得到MRI数据集p,p={p1,p2,…,pi,…,pn},pi为第i名患者的心脏MRI数据,i∈{1,2,...,n};
b)对MRI数据集p进行预处理操作,得到预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,…,Tfan};
c)将预处理后的数据集Tfa={Tfa1,Tfa2,…,Tfai,…,Tfan}划分为训练集、验证集和测试集;
d)建立分割网络模型,分割网络模型由编码器和解码器构成,将训练集中的第i名患者预处理后的图像Tfai输入到分割网络模型的编码器中,得到特征图
e)将特征图输入到分割网络模型的解码器中,得到分割图像;
f)训练分割网络模型;
g)将测试集中的第i名患者预处理后的图像Tfai输入到训练后的分割网络模型中,输出得到预测的分割图像;
步骤d)包括如下步骤:
d-1)分割网络模型的编码器由第一卷积单元、第二卷积单元、第一最大池化层、第三卷积单元、第四卷积单元、第二最大池化层、第五卷积单元、第六卷积单元、第三最大池化层、第七卷积单元、第八卷积单元、第四最大池化层、深度超参数卷积层、特征相似性模块FS构成;
d-2)编码器的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将训练集中的第i个预处理后的图像Tfai输入到编码器的第一卷积单元中,输出得到特征图
d-3)编码器的第二卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到编码器的第二卷积单元中,输出得到特征图/>
d-4)将特征图输入到编码器的第一最大池化层中,输出得到特征图/>d-5)编码器的第三卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第三卷积单元中,输出得到特征图/>d-6)编码器的第四卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第四卷积单元中,输出得到特征图/>d-7)将特征图/>输入到编码器的第二最大池化层中,输出得到特征图d-8)编码器的第五卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第五卷积单元中,输出得到特征图/>d-9)编码器的第六卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第六卷积单元中,输出得到特征图/>d-10)将特征图/>输入到编码器的第三最大池化层中,输出得到特征图/>d-11)编码器的第七卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第七卷积单元中,输出得到特征图/>d-12)编码器的第八卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图/>输入到编码器的第八卷积单元中,输出得到特征图/>d-13)将特征图/>输入到编码器的第四最大池化层中,输出得到特征图/>d-14)将特征图/>输入到编码器的深度超参数卷积层中,输出得到特征图/>d-15)编码器的特征相似性模块FS由卷积单元、第一卷积层、第二卷积层、第三卷积层、softmax函数层、reshape函数层、第四卷积层构成;
d-16)特征相似性模块FS的卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成,将特征图输入到特征相似性模块FS的卷积单元中,输出得到特征图Tfs-1
d-17)将特征图Tfs-1分别输入到特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层,分别得到特征图Tfs-1-1、特征图Tfs-1-2、特征图Tfs-1-3
d-18)将特征图Tfs-1-1与特征图Tfs-1-2相乘操作后输入到特征相似性模块FS的softmax函数层中,输出得到特征图Tfs-1-4
d-19)将特征图Tfs-1-3和特征图Tfs-1-4相乘操作后输入到特征相似性模块FS的reshape函数层中,输出得到特征图Tfs-1-5,将特征图Tfs-1-5与特征图Tfs-1相加得到特征图Tfs-1-5
d-20)将特征图Tfs-1-5输入到特征相似性模块FS的第四卷积层中,输出得到特征图
步骤e)包括如下步骤:
e-1)分割网络模型的解码器由第一上采样层、第一超参数卷积注意力模块OCA、第二上采样层、第二超参数卷积注意力模块OCA、第三上采样层、第三超参数卷积注意力模块OCA、第四上采样层、第四超参数卷积注意力模块OCA构成;
e-2)将特征图输入到解码器的第一上采样层中,输出得到特征图/>e-3)将特征图/>与特征图/>进行拼接操作,得到特征图/>
e-4)解码器的第一超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-1-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-1-2,将特征图/>输入到第三深度超参数卷积层后,得到特征图Tfau-1-3,将特征图Tfau-1-1和特征图Tfau-1-2相加得到特征图Tfau-1-4,将特征图Tfau-1-2和特征图Tfau-1-3相加得到特征图Tfau-1-5,将特征图Tfau-1-4输入到第一超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-1-6,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-1-7,将特征图Tfau-1-5输入到第一超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-1-8,将注意力图Tfau-1-6与特征图Tfau-1-7相乘操作后输入到第一超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-1-9,将特征图Tfau-1-7、特征图Tfau-1-8、特征图/>相加得到特征图Tfau-1-10,将特征图Tfau-1-9与特征图Tfau-1-10相乘操作后输入到第一超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-5)将特征图输入到解码器的第二上采样层中,输出得到特征图/>e-6)将特征图/>与特征图/>进行拼接操作,得到特征图/>
e-7)解码器的第二超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-2-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-2-2,将特征图/>输入到第三深度超参数卷积层后,得到特征图Tfau-2-3,将特征图Tfau-2-1和特征图Tfau-2-2相加得到特征图Tfau-2-4,将特征图Tfau-2-2和特征图Tfau-2-3相加得到特征图Tfau-2-5,将特征图Tfau-2-4输入到第二超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-2-6,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-2-7,将特征图Tfau-2-5输入到第二超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-2-8,将注意力图Tfau-2-6与特征图Tfau-2-7相乘操作后输入到第二超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-2-9,将特征图Tfau-2-7、特征图Tfau-2-8、特征图/>相加得到特征图Tfau-2-10,将特征图Tfau-2-9与特征图Tfau-2-10相乘操作后输入到第二超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-8)将特征图输入到解码器的第三上采样层中,输出得到特征图/>e-9)将特征图/>与特征图/>进行拼接操作,得到特征图/>
e-10)解码器的第三超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-3-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-3-2,将特征图/>输入到第三深度超参数卷积层后,得到特征图Tfau-3-3,将特征图Tfau-3-1和特征图Tfau-3-2相加得到特征图Tfau-3-4,将特征图Tfau-3-2和特征图Tfau-3-3相加得到特征图Tfau-3-5,将特征图Tfau-3-4输入到第三超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-3-6,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-3-7,将特征图Tfau-3-5输入到第三超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-3-8,将注意力图Tfau-3-6与特征图Tfau-3-7相乘操作后输入到第三超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-3-9,将特征图Tfau-3-7、特征图Tfau-3-8、特征图/>相加得到特征图Tfau-3-10,将特征图Tfau-3-9与特征图Tfau-3-10相乘操作后输入到第三超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-11)将特征图输入到解码器的第四上采样层中,输出得到特征图/>e-12)将特征图/>与特征图/>进行拼接操作,得到特征图/>
e-13)解码器的第四超参数卷积注意力模块OCA由第一深度超参数卷积层、第二深度超参数卷积层、第三深度超参数卷积层、sigmoid函数层、第一卷积层、第二卷积层、深度可分离卷积层、第三卷积层构成,将特征图输入到第一深度超参数卷积层后,得到特征图Tfau-4-1,将特征图/>输入到第二深度超参数卷积层后,得到特征图Tfau-4-2,将特征图/>输入到第三深度超参数卷积层后,得到特征图Tfau-4-3,将特征图Tfau-4-1和特征图Tfau-4-2相加得到特征图Tfau-4-4,将特征图Tfau-4-2和特征图Tfau-4-3相加得到特征图Tfau-4-5,将特征图Tfau-4-4输入到第四超参数卷积注意力模块OCA的sigmoid函数层后,输出得到注意力图Tfau-4-6,将特征图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第一卷积层中,输出得到特征图Tfau-4-7,将特征图Tfau-4-5输入到第四超参数卷积注意力模块OCA的第二卷积层中,输出得到特征图Tfau-4-8,将注意力图Tfau-4-6与特征图Tfau-4-7相乘操作后输入到第四超参数卷积注意力模块OCA的深度可分离卷积层中,输出得到特征图Tfau-4-9,将特征图Tfau-4-7、特征图Tfau-4-8、特征图/>相加得到特征图Tfau-4-10,将特征图Tfau-4-9与特征图Tfau-4-10相乘操作后输入到第四超参数卷积注意力模块OCA的第三卷积层中,输出得到特征图/>
e-14)将特征图进行1×1的卷积操作后输出得到分割图像。
2.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于:步骤a)中从自动心脏诊断挑战公开数据中获取包含100名患者的心脏短轴MRI数据,得到MRI数据集。
3.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于,步骤b)包括如下步骤:
b-1)将第i名患者的心脏MRI数据pi和其相对应的分割掩码沿z轴进行逐个切片的重采样,重采样为x轴方向的像素间距为1.5,y轴方向的像素间距为1.5;b-2)将重采样后的心脏MRI数据pi执行裁剪大小为192×192的2D中心剪裁操作,得到剪裁后的数据pi′,剪裁后的MRI数据集p′,p′={p1′,p2′,…,pi′,...,pn′},将剪裁后的MRI数据集p′保存为nii格式文件;
b-3)读取第i名患者的nii格式文件,将其切片为二维图像,将切片后的二维图像进行归一化处理,得到第i名患者预处理后的图像Tfai,预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,...,Tfan}。
4.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于:步骤c)中将预处理后的数据集Tfa={Tfa1,Tfa2,...,Tfai,...,Tfan}按7:2:1的比例划分为训练集、验证集和测试集。
5.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于:步骤d-2)中第一卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-3)中第二卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-4)中第一最大池化层的卷积核大小为2×2;步骤d-5)中第三卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-6)中第四卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-7)中第二最大池化层的卷积核大小为2×2;步骤d-8)中第五卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-9)中第六卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-10)中第三最大池化层的卷积核大小为2×2;d-11)中第七卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-12)中第八卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;步骤d-13)中第四最大池化层的卷积核大小为2×2;步骤d-14)中深度超参数卷积层的卷积核大小为3×3、padding为1、步长为1;d-16)中特征相似性模块FS的卷积单元的卷积层的卷积核大小为3×3、padding为1、步长为1;d-17)中特征相似性模块FS的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×1;d-20)中特征相似性模块FS的第四卷积层的卷积核大小为3×3、padding为1、步长为1。
6.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于:解码器的第一上采样层、第二上采样层、第三上采样层、第四上采样层的卷积核大小均为2×2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第一深度超参数卷积层的卷积核大小均为3×3、扩张率均为3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二深度超参数卷积层的卷积核大小均为3×3、扩张率均为5、第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第三深度超参数卷积层的卷积核大小均为3×3、扩张率均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的的第一卷积层的卷积核大小均为5×5、padding均为2;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第二卷积层的卷积核大小均为3×3、padding均为1;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的深度可分离卷积层的卷积核大小均为3×3;第一超参数卷积注意力模块OCA、第二超参数卷积注意力模块OCA、第三超参数卷积注意力模块OCA、第四超参数卷积注意力模块OCA的第三卷积层的卷积核大小均为1×1。
7.根据权利要求1所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于,步骤f)包括如下步骤:
f-1)通过公式Totalloss=Dloss+WCEloss计算得到总损失Totalloss,式中Dloss为Dice损失,WCEloss为加权交叉熵损失;
f-2)采用Adam优化器使用总损失Totalloss训练分割网络模型。
8.根据权利要求7所述的基于特征相似性和超参数卷积注意力的心脏MRI分割方法,其特征在于:步骤f-2)训练时批处理的大小设置为16,迭代周期为100,学习率设置为0.001。
CN202310470456.3A 2023-04-27 2023-04-27 基于特征相似性和超参数卷积注意力的心脏mri分割方法 Active CN116843696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310470456.3A CN116843696B (zh) 2023-04-27 2023-04-27 基于特征相似性和超参数卷积注意力的心脏mri分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310470456.3A CN116843696B (zh) 2023-04-27 2023-04-27 基于特征相似性和超参数卷积注意力的心脏mri分割方法

Publications (2)

Publication Number Publication Date
CN116843696A CN116843696A (zh) 2023-10-03
CN116843696B true CN116843696B (zh) 2024-04-09

Family

ID=88173178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310470456.3A Active CN116843696B (zh) 2023-04-27 2023-04-27 基于特征相似性和超参数卷积注意力的心脏mri分割方法

Country Status (1)

Country Link
CN (1) CN116843696B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409014B (zh) * 2023-10-09 2024-05-28 齐鲁工业大学(山东省科学院) 一种基于特征选择的轻量级心脏mri分割方法
CN117635942B (zh) * 2023-12-05 2024-05-07 齐鲁工业大学(山东省科学院) 一种基于边缘特征增强的心脏mri图像分割方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080654A (zh) * 2019-11-18 2020-04-28 中国科学院深圳先进技术研究院 图像的病变区域分割方法、装置及服务器
CN111738113A (zh) * 2020-06-10 2020-10-02 杭州电子科技大学 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法
CN113642390A (zh) * 2021-07-06 2021-11-12 西安理工大学 一种基于局部注意力网络的街景图像语义分割方法
CN113744209A (zh) * 2021-08-22 2021-12-03 河南工业大学 基于多尺度残差U-net网络的心脏分割方法
WO2022047625A1 (zh) * 2020-09-01 2022-03-10 深圳先进技术研究院 一种图像处理方法、系统和计算机存储介质
CN114708212A (zh) * 2022-03-28 2022-07-05 山西三友和智慧信息技术股份有限公司 一种基于SEA-Unet的心脏图像分割方法
CN114821218A (zh) * 2021-12-14 2022-07-29 上海悠络客电子科技股份有限公司 基于改进的通道注意力机制的目标检测模型搜索方法
CN115170582A (zh) * 2022-06-13 2022-10-11 武汉科技大学 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN115187482A (zh) * 2022-07-09 2022-10-14 大连工业大学 基于多尺度注意力蒸馏学习网络的图像去雨算法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080654A (zh) * 2019-11-18 2020-04-28 中国科学院深圳先进技术研究院 图像的病变区域分割方法、装置及服务器
CN111738113A (zh) * 2020-06-10 2020-10-02 杭州电子科技大学 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法
WO2022047625A1 (zh) * 2020-09-01 2022-03-10 深圳先进技术研究院 一种图像处理方法、系统和计算机存储介质
CN113642390A (zh) * 2021-07-06 2021-11-12 西安理工大学 一种基于局部注意力网络的街景图像语义分割方法
CN113744209A (zh) * 2021-08-22 2021-12-03 河南工业大学 基于多尺度残差U-net网络的心脏分割方法
CN114821218A (zh) * 2021-12-14 2022-07-29 上海悠络客电子科技股份有限公司 基于改进的通道注意力机制的目标检测模型搜索方法
CN114708212A (zh) * 2022-03-28 2022-07-05 山西三友和智慧信息技术股份有限公司 一种基于SEA-Unet的心脏图像分割方法
CN115170582A (zh) * 2022-06-13 2022-10-11 武汉科技大学 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN115187482A (zh) * 2022-07-09 2022-10-14 大连工业大学 基于多尺度注意力蒸馏学习网络的图像去雨算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Distilling Pixel-Wise Feature Similarities for Semantic Segmentation;Yuhu Shan;《arXiv:1910.14226v1》;第1-9页 *
基于深度学习的心脏分割算法研究;徐佳陈;《中国优秀硕士学位论文全文数据库 基础科学辑》;第三章 *

Also Published As

Publication number Publication date
CN116843696A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN116843696B (zh) 基于特征相似性和超参数卷积注意力的心脏mri分割方法
CN113077471A (zh) 一种基于u型网络的医学图像分割方法
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
CN110689548A (zh) 一种医学图像分割方法、装置、设备及可读存储介质
CN111401480A (zh) 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN111260705B (zh) 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法
CN112348830B (zh) 基于改进3D U-Net的多器官分割方法
CN110874860A (zh) 基于混合损失函数的对称监督模型的目标提取方法
CN111932512B (zh) 一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN111080658A (zh) 基于可形变配准和dcnn的宫颈mri图像分割方法
CN111091575A (zh) 一种基于强化学习方法的医学图像分割方法
CN110853048A (zh) 基于粗、精训练的mri图像分割方法、装置和存储介质
CN113269799A (zh) 一种基于深度学习的宫颈细胞分割方法
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN114663445A (zh) 一种基于多尺度边缘感知的三维心脏图像分割方法
CN117078941B (zh) 一种基于上下文级联注意力的心脏mri分割方法
CN117115132A (zh) 一种基于改进U-Net模型的口腔CBCT影像牙齿及软组织分割模型方法
CN113139627B (zh) 纵隔肿物识别方法、系统及装置
CN113689950B (zh) 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质
CN113409447B (zh) 一种基于多切片组合的冠状动脉分割方法和装置
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
CN115496732A (zh) 一种半监督心脏语义分割算法
CN113283465B (zh) 一种弥散张量成像数据分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant