CN116563265B - 基于多尺度注意力和自适应特征融合的心脏mri分割方法 - Google Patents

基于多尺度注意力和自适应特征融合的心脏mri分割方法 Download PDF

Info

Publication number
CN116563265B
CN116563265B CN202310582599.3A CN202310582599A CN116563265B CN 116563265 B CN116563265 B CN 116563265B CN 202310582599 A CN202310582599 A CN 202310582599A CN 116563265 B CN116563265 B CN 116563265B
Authority
CN
China
Prior art keywords
layer
feature map
module
convolution
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310582599.3A
Other languages
English (en)
Other versions
CN116563265A (zh
Inventor
陈长芳
张云
舒明雷
刘照阳
周书旺
单珂
徐鹏摇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202310582599.3A priority Critical patent/CN116563265B/zh
Publication of CN116563265A publication Critical patent/CN116563265A/zh
Application granted granted Critical
Publication of CN116563265B publication Critical patent/CN116563265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Processing (AREA)

Abstract

一种基于多尺度注意力和自适应特征融合的心脏MRI分割方法，有效提取多尺度上下文信息并通过注意力机制来融合不同尺度的特征，加强对目标区域的敏感度。通过不同膨胀率的膨胀卷积在不降低分辨率的情况下获取不同尺寸的感受野，提取多尺度目标特征。对包含丰富的空间信息的浅层特征和包含丰富的语义信息的深层特征进行融合，可以抑制无关背景的干扰，保留更重要的语义上下文信息进行更精确的定位。

Description

基于多尺度注意力和自适应特征融合的心脏MRI分割方法
技术领域
本发明涉及图像分割技术领域，具体涉及一种基于多尺度注意力和自适应特征融合的心脏MRI分割方法。
背景技术
心脏核磁共振成像技术存在短轴切片数量少，切片厚度过厚等特点，导致图像的短轴分辨率过低、信息量稀疏等问题。同时还存在心脏子结构之间，子结构和周围组织之间对比度差，子结构形状大小多变等问题。所以，如何自动对心脏核磁共振图像进行精确的分割已经成为了一个重要的医学图像问题。
目前，心脏MRI分割的方法主要包括基于传统方法和基于深度学习的方法。传统方法具有很好的鲁棒性，也推动了该领域的进步，但是效率低下，逐渐不适用于医院的临床诊断工作。相对于传统方法，深度学习的方法在提高效率的同时也提高了准确性，所以被广泛应用。这类方法可以自动学习图像的特征信息，从而更加快速的分割心脏的各个子结构。虽然心脏MRI分割技术一直在不断进步，也取得了一定进展，但成像过程中由于不均匀的磁场强度以及心脏跳动的噪声产生伪影，造成边界模糊的问题仍然存在。因此，如何快速准确的分割心脏MRI仍然是医学图像处理中具有挑战性的问题。
发明内容
本发明为了克服以上技术的不足，提供了一种提高心脏MRI分割精度的方法。本发明克服其技术问题所采用的技术方案是：
一种基于多尺度注意力和自适应特征融合的心脏MRI分割方法，包括如下步骤：
a)选择N个有专家标注结果的心脏MRI数据；
b)对第i个有专家标注结果的心脏MRI数据进行预处理，得到第i个预处理后的图像Ai，i∈{1,...,N}，得到预处理后的心脏MRI数据集A，A＝{A1,A2,...,Ai,...,AN}；
c)将预处理后的心脏MRI数据集A划分为训练集、验证集、测试集，将训练集中的各个预处理后的图像沿Z轴切片，得到M个切片图像，第i个切片图像为Fi，i∈{1,...,M}，Fi∈RC×H×W，其中R为实数空间，C为图像的通道数，H为图像的高度，W为图像的宽度，将测试集中的各个预处理后的图像沿Z轴切片，得到O个切片图像，第j个切片图像为Fj，j∈{1,...,O}，Fj∈RC×H×W；
d)建立分割网络模型，分割网络模型由编码器、多尺度注意力模块MSA、解码器构成；
e)将训练集中第i个切片图像Fi输入到分割网络模型的编码器中，输出得到特征图特征图/>特征图/>特征图/>
f)将特征图特征图/>特征图/>特征图/>输入到分割网络模型的多尺度注意力模块MSA中，输出得到特征图/>
g)将特征图输入到分割网络模型的解码器中，输出得到预测分割图像/>
h)通过公式Ltotal＝LDice+λLCE计算得到总损失Ltotal，式中LDice为Dice损失，LCE为交叉熵损失，λ为权重，利用总损失Ltotal通过Adam优化器训练分割网络模型，得到优化后的分割网络模型；
i)将测试集中第j个切片图像Fj输入到优化后的分割网络模型中，得到预测分割图像
优选的，步骤a)中从ACDC公开数据集中选择有专家标注结果的心脏MRI数据。进一步的，步骤b)包括如下步骤：
b-1)对第i个有专家标注结果的心脏MRI数据沿Z轴切片，将切割的若干切片进行体素为(1.5,1.5)的重采样操作，将重采样后的切片进行中心剪裁，剪裁后的切片的大小为192*192，将剪裁后的各个切片堆叠重新恢复为心脏MRI数据；
b-2)对重新恢复的心脏MRI数据进行Z-Score标准化处理，得到第i个预处理后的图像Ai。
优选的，将预处理后的心脏MRI数据集A按照7:1:2的比例划分为训练集、验证集、测试集。
进一步的，步骤e)包括如下步骤：
e-1)分割网络模型的编码器由第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块构成；
e-2)编码器的第一下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将训练集中第i个切片图像Fi输入到第一下采样模块的DC块中，输出得到特征图将特征图/>输入到第一下采样模块的最大池化层中，输出得到特征图/>e-3)编码器的第二下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将特征图/>输入到第二下采样模块的DC块中，输出得到特征图/>将特征图/>输入到第二下采样模块的最大池化层中，输出得到特征图/>
e-4)编码器的第三下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将特征图输入到第三下采样模块的DC块中，输出得到特征图/>将特征图/>输入到第三下采样模块的最大池化层中，输出得到特征图/>
e-5)编码器的第四下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将特征图输入到第四下采样模块的DC块中，输出得到特征图/>将特征图/>输入到第四下采样模块的最大池化层中，输出得到特征图/>
优选的，步骤e-2)中第一下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2；步骤e-3)中第二下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2；步骤e-4)中第三下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2；步骤e-5)中第四下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2。
进一步的，步骤f)包括如下步骤：
f-1)分割网络模型的多尺度注意力模块MSA由金字塔注意力融合模块PAF、多尺度残差块MSR构成；
f-2)多尺度注意力模块MSA的金字塔注意力融合模块PAF由第一最大池化层、第一卷积层、第二最大池化层、第二卷积层、第一Sigmoid层、第三最大池化层、第三卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第二Sigmoid层、第三Sigmoid层、第四卷积层构成，将特征图依次输入到金字塔注意力融合模块PAF的第一最大池化层、第一卷积层中，输出得到特征图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第二最大池化层、第二卷积层、第一Sigmoid层中，输出得到注意力图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第三最大池化层、第三卷积层中，输出得到特征图/>将注意力图/>与特征图/>相乘到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第一膨胀卷积层中，输出得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第二膨胀卷积层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图输入到金字塔注意力融合模块PAF的第三膨胀卷积层中，输出得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第二Sigmoid层中，输出得到注意力图/>将特征图/>输入到金字塔注意力融合模块PAF的第三Sigmoid层中，输出得到注意力图将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图相乘得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图将特征图/>输入到金字塔注意力融合模块PAF的第四卷积层中，输出得到特征图f-3)多尺度注意力模块MSA的多尺度残差块MSR由卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、SE模块构成，将特征图/>输入到多尺度残差块MSR的卷积层中，输出得到特征图/>将特征图/>依次输入到多尺度残差块MSR的第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层中，输出得到特征图/>将特征图/>输入到多尺度残差块MSR的SE模块中，输出得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图/>步骤f-2)中金字塔注意力融合模块PAF的第一最大池化层的卷积核大小为8×8，第二最大池化层的卷积核大小为4×4，第三最大池化层的卷积核大小为2×2，金字塔注意力融合模块PAF的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3、步长均为1、填充均为1，金字塔注意力融合模块PAF的第四卷积层的卷积核大小为1×1、步长为1、填充为0，金字塔注意力融合模块PAF的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1、第二膨胀卷积层的卷积核大小为3×3、膨胀率为2，第三膨胀卷积层的卷积核大小为3×3、膨胀率为4；步骤f-3)中多尺度残差块MSR的卷积层的卷积核大小为3×3、步长为1、填充为1，多尺度残差块MSR的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1，第二膨胀卷积层的卷积核大小为3×3、膨胀率为2，第三膨胀卷积层的卷积核大小为3×3、膨胀率为4。
进一步的，步骤g)包括如下步骤：
g-1)分割网络模型的解码器由第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块、卷积层构成；
g-2)解码器的第一上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图输入到第一上采样模块的上采样层中，输出得到特征图/>第一上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第一上采样模块的卷积块中，输出得到特征图/>g-3)解码器的第二上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图/>输入到第二上采样模块的上采样层中，输出得到特征图/>第二上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图/>将特征图输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第二上采样模块的卷积块中，输出得到特征图g-4)解码器的第三上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图/>输入到第三上采样模块的上采样层中，输出得到特征图/>第三上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第三上采样模块的卷积块中，输出得到特征图/>g-5)解码器的第四上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图/>输入到第四上采样模块的上采样层中，输出得到特征图/>第四上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图将特征图/>输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第四上采样模块的卷积块中，输出得到特征图/>
g-6)将特征图输入到解码器的卷积层中，输出得到预测分割图像/>
优选的，步骤g-2)中第一上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；步骤g-3)中第二上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；g-4)中第三上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；g-5)中第四上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；步骤e-6)中解码器的卷积层的卷积核大小为1×1、步长为1、填充为0。
本发明的有益效果是：能够有效提取多尺度上下文信息并通过注意力机制来融合不同尺度的特征，加强对目标区域的敏感度。通过不同膨胀率的膨胀卷积在不降低分辨率的情况下获取不同尺寸的感受野，提取多尺度目标特征。对包含丰富的空间信息的浅层特征和包含丰富的语义信息的深层特征进行融合，可以抑制无关背景的干扰，保留更重要的语义上下文信息进行更精确的定位
附图说明
图1为本发明的分割网络模型的结构图；
图2为本发明的多尺度注意力模块MSA的结构图；
图3为本发明的自适应特征融合模块AF的结构图。
具体实施方式
下面结合附图1、附图2、附图3对本发明做进一步说明。
一种基于多尺度注意力和自适应特征融合的心脏MRI分割方法，包括如下步骤：
a)选择N个有专家标注结果的心脏MRI数据，用于心脏分割。
b)对第i个有专家标注结果的心脏MRI数据进行预处理，得到第i个预处理后的图像Ai，i∈{1,...,N}，得到预处理后的心脏MRI数据集A，A＝{A1,A2,...,Ai,...,AN}。
c)将预处理后的心脏MRI数据集A划分为训练集、验证集、测试集，将训练集中的各个预处理后的图像沿Z轴切片，得到M个切片图像，第i个切片图像为Fi，i∈{1,...,M}，Fi∈RC×H×W，其中R为实数空间，C为图像的通道数，H为图像的高度，W为图像的宽度，将测试集中的各个预处理后的图像沿Z轴切片，得到O个切片图像，第j个切片图像为Fj，j∈{1,...,O}，Fj∈RC×H×W。
d)建立分割网络模型，分割网络模型由编码器、多尺度注意力模块MSA、解码器构成。
e)将训练集中第i个切片图像Fi输入到分割网络模型的编码器中，输出得到特征图特征图/>特征图/>特征图/>
f)将特征图特征图/>特征图/>特征图/>输入到分割网络模型的多尺度注意力模块MSA中，输出得到特征图/>
g)将特征图输入到分割网络模型的解码器中，输出得到预测分割图像/>
h)通过公式Ltotal＝LDice+λLCE计算得到总损失Ltotal，式中LDice为Dice损失，LCE为交叉熵损失，λ为权重，利用总损失Ltotal通过Adam优化器训练分割网络模型，得到优化后的分割网络模型。进一步优选的，训练分割网络模型时，学习率设置为0.0001，批次大小为32，迭代次数epoch设置为200。
i)将测试集中第j个切片图像Fj输入到优化后的分割网络模型中，得到预测分割图像
通过不同膨胀率的膨胀卷积在不降低分辨率的情况下获取不同尺寸的感受野，提取多尺度目标特征。对包含丰富的空间信息的浅层特征和包含丰富的语义信息的深层特征进行融合，可以抑制无关背景的干扰，保留更重要的语义上下文信息进行更精确的定位。
实施例1：
步骤a)中从ACDC公开数据集中选择有专家标注结果的心脏MRI数据。
实施例2：
步骤b)包括如下步骤：
b-1)对第i个有专家标注结果的心脏MRI数据沿Z轴切片，将切割的若干切片进行体素为(1.5,1.5)的重采样操作，将重采样后的切片进行中心剪裁，剪裁后的切片的大小为192*192，将剪裁后的各个切片堆叠重新恢复为心脏MRI数据。b-2)对重新恢复的心脏MRI数据进行Z-Score标准化处理，得到第i个预处理后的图像Ai。
实施例3：
将预处理后的心脏MRI数据集A按照7:1:2的比例划分为训练集、验证集、测试集。
实施例4：
步骤e)包括如下步骤：
e-1)分割网络模型的编码器由第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块构成。
e-2)编码器的第一下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将训练集中第i个切片图像Fi输入到第一下采样模块的DC块中，输出得到特征图将特征图/>输入到第一下采样模块的最大池化层中，输出得到特征图/>e-3)编码器的第二下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将特征图/>输入到第二下采样模块的DC块中，输出得到特征图/>将特征图/>输入到第二下采样模块的最大池化层中，输出得到特征图/>
e-4)编码器的第三下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将特征图输入到第三下采样模块的DC块中，输出得到特征图/>将特征图/>输入到第三下采样模块的最大池化层中，输出得到特征图/>
e-5)编码器的第四下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将特征图输入到第四下采样模块的DC块中，输出得到特征图/>将特征图/>输入到第四下采样模块的最大池化层中，输出得到特征图/>
在该实施例中，优选的，步骤e-2)中第一下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2；步骤e-3)中第二下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2；步骤e-4)中第三下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2；步骤e-5)中第四下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2。
实施例5：
步骤f)包括如下步骤：
f-1)分割网络模型的多尺度注意力模块MSA由金字塔注意力融合模块PAF、多尺度残差块MSR构成。
f-2)多尺度注意力模块MSA的金字塔注意力融合模块PAF由第一最大池化层、第一卷积层、第二最大池化层、第二卷积层、第一Sigmoid层、第三最大池化层、第三卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第二Sigmoid层、第三Sigmoid层、第四卷积层构成，将特征图依次输入到金字塔注意力融合模块PAF的第一最大池化层、第一卷积层中，输出得到特征图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第二最大池化层、第二卷积层、第一Sigmoid层中，输出得到注意力图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第三最大池化层、第三卷积层中，输出得到特征图/>将注意力图/>与特征图/>相乘到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第一膨胀卷积层中，输出得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第二膨胀卷积层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图输入到金字塔注意力融合模块PAF的第三膨胀卷积层中，输出得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第二Sigmoid层中，输出得到注意力图/>将特征图/>输入到金字塔注意力融合模块PAF的第三Sigmoid层中，输出得到注意力图将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图相乘得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图将特征图/>输入到金字塔注意力融合模块PAF的第四卷积层中，输出得到特征图f-3)多尺度注意力模块MSA的多尺度残差块MSR由卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、SE模块构成，将特征图/>输入到多尺度残差块MSR的卷积层中，输出得到特征图/>将特征图/>依次输入到多尺度残差块MSR的第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层中，输出得到特征图/>将特征图/>输入到多尺度残差块MSR的SE模块中，输出得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图/>在该实施例中，优选的，步骤f-2)中金字塔注意力融合模块PAF的第一最大池化层的卷积核大小为8×8，第二最大池化层的卷积核大小为4×4，第三最大池化层的卷积核大小为2×2，金字塔注意力融合模块PAF的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3、步长均为1、填充均为1，金字塔注意力融合模块PAF的第四卷积层的卷积核大小为1×1、步长为1、填充为0，金字塔注意力融合模块PAF的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1、第二膨胀卷积层的卷积核大小为3×3、膨胀率为2，第三膨胀卷积层的卷积核大小为3×3、膨胀率为4；步骤f-3)中多尺度残差块MSR的卷积层的卷积核大小为3×3、步长为1、填充为1，多尺度残差块MSR的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1，第二膨胀卷积层的卷积核大小为3×3、膨胀率为2，第三膨胀卷积层的卷积核大小为3×3、膨胀率为4。
实施例6：
步骤g)包括如下步骤：
g-1)分割网络模型的解码器由第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块、卷积层构成。
g-2)解码器的第一上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图输入到第一上采样模块的上采样层中，输出得到特征图/>第一上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第一上采样模块的卷积块中，输出得到特征图/>g-3)解码器的第二上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图/>输入到第二上采样模块的上采样层中，输出得到特征图/>第二上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图/>与特征图拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图/>将特征图/>与特征图/>相加得到特征图将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图相乘得到特征图/>将特征图/>输入到第二上采样模块的卷积块中，输出得到特征图/>g-4)解码器的第三上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图/>输入到第三上采样模块的上采样层中，输出得到特征图/>第三上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第三上采样模块的卷积块中，输出得到特征图/>g-5)解码器的第四上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图/>输入到第四上采样模块的上采样层中，输出得到特征图/>第四上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图将特征图/>输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第四上采样模块的卷积块中，输出得到特征图/>g-6)将特征图/>输入到解码器的卷积层中，输出得到预测分割图像在该实施例中，优选的，步骤g-2)中第一上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；步骤g-3)中第二上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；g-4)中第三上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；g-5)中第四上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；步骤e-6)中解码器的卷积层的卷积核大小为1×1、步长为1、填充为0。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多尺度注意力和自适应特征融合的心脏MRI分割方法，其特征在于，包括如下步骤：
a)选择N个有专家标注结果的心脏MRI数据；
b)对第i个有专家标注结果的心脏MRI数据进行预处理，得到第i个预处理后的图像Ai，i∈{1,...,N}，得到预处理后的心脏MRI数据集A，A＝{A1,A2,...,Ai,...,AN}；
c)将预处理后的心脏MRI数据集A划分为训练集、验证集、测试集，将训练集中的各个预处理后的图像沿Z轴切片，得到M个切片图像，第i个切片图像为Fi，i∈{1,...,M}，Fi∈RC ×H×W，其中R为实数空间，C为图像的通道数，H为图像的高度，W为图像的宽度，将测试集中的各个预处理后的图像沿Z轴切片，得到O个切片图像，第j个切片图像为Fj，j∈{1,...,O}，Fj∈RC×H×W；
d)建立分割网络模型，分割网络模型由编码器、多尺度注意力模块MSA、解码器构成；
e)将训练集中第i个切片图像Fi输入到分割网络模型的编码器中，输出得到特征图特征图/>特征图/>特征图/>
f)将特征图特征图/>特征图/>特征图/>输入到分割网络模型的多尺度注意力模块MSA中，输出得到特征图/>
g)将特征图输入到分割网络模型的解码器中，输出得到预测分割图像/>
h)通过公式Ltotal＝LDice+λLCE计算得到总损失Ltotal，式中LDice为Dice损失，LCE为交叉熵损失，λ为权重，利用总损失Ltotal通过Adam优化器训练分割网络模型，得到优化后的分割网络模型；
i)将测试集中第j个切片图像Fj输入到优化后的分割网络模型中，得到预测分割图像
步骤e)包括如下步骤：
e-1)分割网络模型的编码器由第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块构成；
e-2)编码器的第一下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将训练集中第i个切片图像Fi输入到第一下采样模块的DC块中，输出得到特征图将特征图/>输入到第一下采样模块的最大池化层中，输出得到特征图/>
e-3)编码器的第二下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将特征图输入到第二下采样模块的DC块中，输出得到特征图/>将特征图/>输入到第二下采样模块的最大池化层中，输出得到特征图/>
e-4)编码器的第三下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将特征图输入到第三下采样模块的DC块中，输出得到特征图/>将特征图/>输入到第三下采样模块的最大池化层中，输出得到特征图/>
e-5)编码器的第四下采样模块由DC块、最大池化层构成，DC块依次由第一卷积层、第一BN层、第一Relu激活函数层、第二卷积层、第二BN层、第二Relu激活函数层构成，将特征图输入到第四下采样模块的DC块中，输出得到特征图/>将特征图/>输入到第四下采样模块的最大池化层中，输出得到特征图/>
步骤f)包括如下步骤：
f-1)分割网络模型的多尺度注意力模块MSA由金字塔注意力融合模块PAF、多尺度残差块MSR构成；
f-2)多尺度注意力模块MSA的金字塔注意力融合模块PAF由第一最大池化层、第一卷积层、第二最大池化层、第二卷积层、第一Sigmoid层、第三最大池化层、第三卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第二Sigmoid层、第三Sigmoid层、第四卷积层构成，将特征图依次输入到金字塔注意力融合模块PAF的第一最大池化层、第一卷积层中，输出得到特征图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第二最大池化层、第二卷积层、第一Sigmoid层中，输出得到注意力图/>将特征图/>依次输入到金字塔注意力融合模块PAF的第三最大池化层、第三卷积层中，输出得到特征图/>将注意力图/>与特征图/>相乘到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第一膨胀卷积层中，输出得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第二膨胀卷积层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到金字塔注意力融合模块PAF的第三膨胀卷积层中，输出得到特征图/>将特征图输入到金字塔注意力融合模块PAF的第二Sigmoid层中，输出得到注意力图/>将特征图/>输入到金字塔注意力融合模块PAF的第三Sigmoid层中，输出得到注意力图将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图相乘得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图将特征图/>输入到金字塔注意力融合模块PAF的第四卷积层中，输出得到特征图
f-3)多尺度注意力模块MSA的多尺度残差块MSR由卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、SE模块构成，将特征图输入到多尺度残差块MSR的卷积层中，输出得到特征图/>将特征图/>依次输入到多尺度残差块MSR的第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层中，输出得到特征图/>将特征图/>输入到多尺度残差块MSR的SE模块中，输出得到特征图/>将特征图/>特征图/>特征图/>相加得到特征图/>步骤g)包括如下步骤：
g-1)分割网络模型的解码器由第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块、卷积层构成；
g-2)解码器的第一上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图输入到第一上采样模块的上采样层中，输出得到特征图/>第一上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第一上采样模块的卷积块中，输出得到特征图/>
g-3)解码器的第二上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图输入到第二上采样模块的上采样层中，输出得到特征图/>第二上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第二上采样模块的卷积块中，输出得到特征图/>g-4)解码器的第三上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图/>输入到第三上采样模块的上采样层中，输出得到特征图/>第三上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图将特征图/>输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图/>将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第三上采样模块的卷积块中，输出得到特征图/>g-5)解码器的第四上采样模块由上采样层、自适应特征融合模块AF、卷积块构成，将特征图/>输入到第四上采样模块的上采样层中，输出得到特征图/>第四上采样模块的自适应特征融合模块AF由通道注意力模块、空间注意力模块构成，通道注意力模块由最大池化层、第一全连接层、第二全连接层、平均池化层、第三全连接层、第四全连接层、sigmoid函数层构成，空间注意力模块由最大池化层、平均池化层、卷积层、sigmoid函数层构成，卷积块依次由卷积层、BN层、Relu激活函数层构成，将/>依次输入到通道注意力模块的最大池化层、第一全连接层、第二全连接层中，输出得到特征图/>将/>依次输入到通道注意力模块的平均池化层、第三全连接层、第四全连接层中，输出得到特征图/>将特征图/>与特征图/>相加得到特征图/>将特征图/>输入到通道注意力模块的sigmoid函数层中，输出得到注意力图/>将特征图/>输入到空间注意力模块的最大池化层中，输出得到特征图/>将特征图/>输入到空间注意力模块的平均池化层中，输出得到特征图/>将特征图/>与特征图/>拼接得到特征图/>将特征图/>依次输入到空间注意力模块的卷积层、sigmoid函数层中，输出得到注意力图将特征图/>与特征图/>相加得到特征图/>将注意力图/>与特征图相乘得到特征图/>将注意力图/>与特征图/>相乘得到特征图/>将特征图/>输入到第四上采样模块的卷积块中，输出得到特征图/>g-6)将特征图/>输入到解码器的卷积层中，输出得到预测分割图像/>
2.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法，其特征在于：步骤a)中从ACDC公开数据集中选择有专家标注结果的心脏MRI数据。
3.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法，其特征在于，步骤b)包括如下步骤：
b-1)对第i个有专家标注结果的心脏MRI数据沿Z轴切片，将切割的若干切片进行体素为(1.5,1.5)的重采样操作，将重采样后的切片进行中心剪裁，剪裁后的切片的大小为192*192，将剪裁后的各个切片堆叠重新恢复为心脏MRI数据；b-2)对重新恢复的心脏MRI数据进行Z-Score标准化处理，得到第i个预处理后的图像Ai。
4.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法，其特征在于：将预处理后的心脏MRI数据集A按照7:1:2的比例划分为训练集、验证集、测试集。
5.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法，其特征在于：步骤e-2)中第一下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2；步骤e-3)中第二下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2；步骤e-4)中第三下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2；步骤e-5)中第四下采样模块的DC块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1，最大池化层的卷积核大小为2×2。
6.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法，其特征在于：步骤f-2)中金字塔注意力融合模块PAF的第一最大池化层的卷积核大小为8×8，第二最大池化层的卷积核大小为4×4，第三最大池化层的卷积核大小为2×2，金字塔注意力融合模块PAF的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3、步长均为1、填充均为1，金字塔注意力融合模块PAF的第四卷积层的卷积核大小为1×1、步长为1、填充为0，金字塔注意力融合模块PAF的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1、第二膨胀卷积层的卷积核大小为3×3、膨胀率为2，第三膨胀卷积层的卷积核大小为3×3、膨胀率为4；步骤f-3)中多尺度残差块MSR的卷积层的卷积核大小为3×3、步长为1、填充为1，多尺度残差块MSR的第一膨胀卷积层的卷积核大小为3×3、膨胀率为1，第二膨胀卷积层的卷积核大小为3×3、膨胀率为2，第三膨胀卷积层的卷积核大小为3×3、膨胀率为4。
7.根据权利要求1所述的基于多尺度注意力和自适应特征融合的心脏MRI分割方法，其特征在于：步骤g-2)中第一上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；步骤g-3)中第二上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；g-4)中第三上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；g-5)中第四上采样模块的上采样层的卷积核大小为2×2、步长为2，空间注意力模块的卷积层的卷积核大小为7×7、步长为1、填充为3，卷积块的卷积层的卷积核大小为3×3、步长为1、填充为1；步骤e-6)中解码器的卷积层的卷积核大小为1×1、步长为1、填充为0。
CN202310582599.3A 2023-05-23 2023-05-23 基于多尺度注意力和自适应特征融合的心脏mri分割方法 Active CN116563265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310582599.3A CN116563265B (zh) 2023-05-23 2023-05-23 基于多尺度注意力和自适应特征融合的心脏mri分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310582599.3A CN116563265B (zh) 2023-05-23 2023-05-23 基于多尺度注意力和自适应特征融合的心脏mri分割方法

Publications (2)

Publication Number Publication Date
CN116563265A CN116563265A (zh) 2023-08-08
CN116563265B true CN116563265B (zh) 2024-03-01

Family

ID=87489643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310582599.3A Active CN116563265B (zh) 2023-05-23 2023-05-23 基于多尺度注意力和自适应特征融合的心脏mri分割方法

Country Status (1)

Country Link
CN (1) CN116563265B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078941B (zh) * 2023-09-22 2024-03-01 齐鲁工业大学(山东省科学院) 一种基于上下文级联注意力的心脏mri分割方法
CN117409014B (zh) * 2023-10-09 2024-05-28 齐鲁工业大学(山东省科学院) 一种基于特征选择的轻量级心脏mri分割方法
CN117522881B (zh) * 2023-11-06 2024-06-18 山东省人工智能研究院 基于注意力机制和多层级特征融合的心脏图像分割方法
CN117649523B (zh) * 2023-11-28 2024-07-09 齐鲁工业大学(山东省科学院) 一种基于LUnetr模型的可变心脏MRI分割方法
CN117593274B (zh) * 2023-11-30 2024-06-04 齐鲁工业大学(山东省科学院) 一种基于共享通道注意力机制的心脏mri分割方法
CN117635942B (zh) * 2023-12-05 2024-05-07 齐鲁工业大学(山东省科学院) 一种基于边缘特征增强的心脏mri图像分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359297A (zh) * 2022-01-04 2022-04-15 浙江大学 基于注意力金字塔的多分辨率语义分割方法及装置
CN114519719A (zh) * 2022-01-07 2022-05-20 宁波大学 一种脑肿瘤mr图像分割方法
CN114581662A (zh) * 2022-02-17 2022-06-03 华南理工大学 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN115170582A (zh) * 2022-06-13 2022-10-11 武汉科技大学 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN115641340A (zh) * 2022-09-07 2023-01-24 闽江学院 基于多尺度注意力门控网络的视网膜血管图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580646B2 (en) * 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359297A (zh) * 2022-01-04 2022-04-15 浙江大学 基于注意力金字塔的多分辨率语义分割方法及装置
CN114519719A (zh) * 2022-01-07 2022-05-20 宁波大学 一种脑肿瘤mr图像分割方法
CN114581662A (zh) * 2022-02-17 2022-06-03 华南理工大学 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN115170582A (zh) * 2022-06-13 2022-10-11 武汉科技大学 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN115641340A (zh) * 2022-09-07 2023-01-24 闽江学院 基于多尺度注意力门控网络的视网膜血管图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
改进的卷积神经网络在肺部图像上的分割应用;钱宝鑫;肖志勇;宋威;;计算机科学与探索(第08期);102-111 *

Also Published As

Publication number Publication date
CN116563265A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN116563265B (zh) 基于多尺度注意力和自适应特征融合的心脏mri分割方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
Zheng et al. 3-D consistent and robust segmentation of cardiac images by deep learning with spatial propagation
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN103793904B (zh) 图像配准装置及其图像配准的方法
CN100566655C (zh) 用于处理图像以确定图像特性或分析候补的方法
CN114708255B (zh) 一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN110136122B (zh) 一种基于注意力深度特征重建的脑mr图像分割方法
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN116612131B (zh) 一种基于ADC-UNet模型的心脏MRI结构分割方法
CN110415284A (zh) 一种单视彩色图像深度图获得方法及装置
CN114119516A (zh) 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法
CN117078941B (zh) 一种基于上下文级联注意力的心脏mri分割方法
CN116681894A (zh) 一种结合大核卷积的相邻层特征融合Unet多器官分割方法、系统、设备及介质
CN116596949A (zh) 一种基于条件扩散模型的医学图像分割方法
CN114494289A (zh) 一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割处理方法
CN109741439B (zh) 一种二维mri胎儿图像的三维重建方法
CN113269774B (zh) 一种mri图像的帕金森病分类及标注病灶区域的方法
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN113487560A (zh) 一种基于空间特征注意力机制的脑肿瘤分割方法及装置
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
CN114119558B (zh) 一种自动生成鼻咽癌影像诊断结构化报告方法
CN115797378A (zh) 基于几何交并比损失的前列腺轮廓分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant