CN117635942A - 一种基于边缘特征增强的心脏mri图像分割方法 - Google Patents

一种基于边缘特征增强的心脏mri图像分割方法 Download PDF

Info

Publication number
CN117635942A
CN117635942A CN202311648278.5A CN202311648278A CN117635942A CN 117635942 A CN117635942 A CN 117635942A CN 202311648278 A CN202311648278 A CN 202311648278A CN 117635942 A CN117635942 A CN 117635942A
Authority
CN
China
Prior art keywords
feature map
feature
layer
branch
fmb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311648278.5A
Other languages
English (en)
Other versions
CN117635942B (zh
Inventor
陈长芳
刘亚鑫
舒明雷
孔祥龙
刘照阳
朱喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202311648278.5A priority Critical patent/CN117635942B/zh
Publication of CN117635942A publication Critical patent/CN117635942A/zh
Application granted granted Critical
Publication of CN117635942B publication Critical patent/CN117635942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Nonlinear Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于边缘特征增强的心脏MRI图像分割方法,涉及图像分割技术领域,设计了特征复用模块和卷积块同时进行编码提取输入特征图不同的特征,这样可以实现更好的特征复用、信息融合、上下文理解以及参数共享等优势,设计了U型网络架构实现心脏MRI图像分割。设计了边缘特征增强模块可以提供重要的形状和结构信息,能够帮助准确地分割心脏图像,提高分割效果和准确性,提出了多尺度特征提取加权卷积提高了分割的准确性、鲁棒性和适应性,能够更好地处理多尺度信息和尺度不匹配问题,从而改善心脏图像分割的结果。本网络更加注重边缘信息特征和多尺度信息的提取,通过本网络结构的设计提高了分割的精度。

Description

一种基于边缘特征增强的心脏MRI图像分割方法
技术领域
本发明涉及图像分割技术领域,具体涉及一种基于边缘特征增强的心脏MRI图像分割方法。
背景技术
心脏图像分割在医学影像处理中具有重要意义,它为医生提供了对心脏结构和功能的精确定量分析,然而,由于心脏图像本身的复杂性和噪声干扰的存在,现有的图像分割方法往往难以准确地提取心脏轮廓和内部结构。
最常见的心脏MRI的分割方法主要有传统方法分割法以及基于深度学习的分割法,传统分割方法方式包括阈值处理、基于边缘和区域的处理和模型法等方法。这些方法需要依靠大量的专业知识以及细致的判断标准才能达到良好的准确性。在实际应用中具有依赖性和局限性。深度学习的方法虽然具有许多优势,但也存在一些不足之处,例如数据需求量大,边界模糊,边缘特征不清晰,分割过程中的噪声和伪影,泛化性偌等问题。因此,需要考虑如何在有限的数据集上获得更高的分割精度。
发明内容
本发明为了克服以上技术的不足,提供了一种提高图像分割精度的基于边缘特征增强的心脏MRI图像分割方法。
本发明克服其技术问题所采用的技术方案是:
一种基于边缘特征增强的心脏MRI图像分割方法,包括如下步骤:
a)获取N个心脏MRI图像数据,得到心脏MRI图像数据集S,S={S1,S2,...,Si,...,SN},Si为第i个心脏MRI图像数据,i∈{1,…,N};
b)将第i个心脏MRI图像数据Si进行预处理,得到预处理后的第i个心脏MRI图像数据Ti,预处理后的心脏MRI图像数据集为T,T={T1,T2,…,Ti,…,TN};
c)将预处理后的心脏MRI图像数据集T划分为训练集、验证集、测试集,将训练集中的各个预处理后的心脏MRI图像数据沿Z轴切片,得到X个切片图像,第i个切片图像为Fi,i∈{1,...,X},将测试集中的各个预处理后的图像沿Z轴切片,得到Y个切片图像,第j个切片图像为Fj,j∈{1,...,Y};
d)建立U型分割网络模型,U型分割网络模型由编码器、解码器构成;
e)U型分割网络模型的编码器由第一分支、第二分支、拼接模块SM构成,将训练集中的第i个切片图像为Fi输入到编码器的第一分支中,输出得到特征图训练集中的第i个切片图像为Fi输入到编码器的第二分支中,输出得到特征图/>将特征图/>和特征图/>输入到编码器的拼接模块SM中,输出得到特征图Fc1
f)将特征图Fc1输入到U型分割网络模型的解码器中,输出得到分割图像Fc9
g)训练U型分割网络模型,得到优化后的U型分割网络模型;
h)将测试集中第j个切片图像Fj输入到优化后的U型分割网络模型中,得到分割图像F′c9
进一步的,步骤a)中从自动心脏诊断挑战赛ACDC数据库中获取N个心脏MRI图像数据。
进一步的,步骤b)包括如下步骤:
b-1)第i张MRI图像数据Si沿Z轴切片,将切割的若干切片进行X轴方向的像素间距为1.5、Y轴方向的像素间距为1.5的重采样操作;
b-2)将重采样操作后的切片进行中心剪裁,剪裁后的切片的大小为224×224;
b-3)将剪裁后的各个切片堆叠重新恢复为心脏MRI图像数据S′i
b-4)将心脏MRI图像数据S′i以0.4的概率沿水平轴或垂直轴进行翻转,翻转角度为45度,得到旋转后的心脏MRI图像数据;
b-5)将旋转后的心脏MRI图像数据进行Zero-MN零均值化处理,得到预处理后的第i个心脏MRI图像数据Ti.
进一步的,步骤c)中将预处理后的心脏MRI图像数据集T按照7:1:2的比例划分为训练集、验证集、测试集。
进一步的,步骤e)包括如下步骤:
e-1)编码器的第一分支由第一特征复用模块FMB、第一下采样块、第二特征复用模块FMB、第二下采样块、第三特征复用模块FMB、第三下采样块、第四特征复用模块FMB构成;
e-2)编码器的第一分支的第一特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第一特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将训练集中的第i个切片图像Fi输入到第一特征复用模块FMB的第一分支中,输出得到特征图第一特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将训练集中的第i个切片图像Fi输入到第一特征复用模块FMB的第二分支中,输出得到特征图/>第一特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将训练集中的第i个切片图像Fi输入到第一特征复用模块FMB的第三分支中,输出得到特征图/>将训练集中的第i个切片图像Fi与特征图/>进行拼接操作,得到特征图/>将训练集中的第i个切片图像Fi与特征图/>进行拼接操作,得到特征图/>将特征图/>依次输入到第一特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图/>将特征图/>依次输入到第一特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作后一次输入到第一特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>
e-3)编码器的第一分支的第一下采样块依次由ReLU激活函数、BN层、平均池化层构成,将特征图输入到第一下采样块中,输出得到特征图/>e-4)编码器的第一分支的第二特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第二特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第二特征复用模块FMB的第一分支中,输出得到特征图/>第二特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第二特征复用模块FMB的第二分支中,输出得到特征图/>第二特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将特征图/>输入到第二特征复用模块FMB的第三分支中,输出得到特征图/>将特征图/>与特征图进行拼接操作,得到特征图/>将特征图/>与特征图/>进行拼接操作,得到特征图/>将特征图/>依次输入到第二特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图/>将特征图/>依次输入到第二特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图将特征图/>与特征图/>进行拼接操作后依次输入到第二特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>e-5)编码器的第一分支的第二下采样块依次由ReLU激活函数、BN层、平均池化层构成,将特征图/>输入到第二下采样块中,输出得到特征图/>e-6)编码器的第一分支的第三特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第三特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第三特征复用模块FMB的第一分支中,输出得到特征图/>第三特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第三特征复用模块FMB的第二分支中,输出得到特征图/>第三特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将特征图/>输入到第三特征复用模块FMB的第三分支中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作,得到特征图将特征图/>与特征图/>进行拼接操作,得到特征图/>将特征图依次输入到第三特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图/>将特征图/>依次输入到第三特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作后依次输入到第三特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>e-7)编码器的第一分支的第三下采样块依次由ReLU激活函数、BN层、平均池化层构成,将特征图/>输入到第三下采样块中,输出得到特征图/>e-8)编码器的第一分支的第四特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第四特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第四特征复用模块FMB的第一分支中,输出得到特征图/>第四特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第四特征复用模块FMB的第二分支中,输出得到特征图第四特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将特征图/>输入到第四特征复用模块FMB的第三分支中,输出得到特征图将特征图/>与特征图/>进行拼接操作,得到特征图/>将特征图与特征图/>进行拼接操作,得到特征图/>将特征图/>依次输入到第四特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图将特征图/>依次输入到第四特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作后依次输入到第四特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>e-9)编码器的第二分支由第一卷积块、第一最大池化层、第二卷积块、第二最大池化层、第三卷积块、第三最大池化层、第四卷积块构成;
e-10)编码器的第二分支的第一卷积块依次由卷积层、ReLU激活函数构成,将训练集中的第i个切片图像Fi输入到第一卷积块中,输出得到特征图e-11)将特征图/>输入到编码器的第二分支的第一最大池化层中,输出得到特征图/>
e-12)编码器的第二分支的第二卷积块依次由卷积层、ReLU激活函数构成,将特征图输入到第二卷积块中,输出得到特征图/>e-13)将特征图/>输入到编码器的第二分支的第二最大池化层中,输出得到特征图/>
e-14)编码器的第二分支的第三卷积块依次由卷积层、ReLU激活函数构成,将特征图输入到第三卷积块中,输出得到特征图/>e-15)将特征图/>输入到编码器的第二分支的第三最大池化层中,输出得到特征图/>
e-16)编码器的第二分支的第四卷积块依次由卷积层、ReLU激活函数构成,将特征图输入到第四卷积块中,输出得到特征图/>e-17)将特征图/>和特征图/>输入到编码器的拼接模块SM中进行拼接操作,得到特征图Fc1
优选的,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一分支的第一卷积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一分支的第二卷积层的卷积核大小均为3×3,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一分支的Dropout层的概率均为0.2、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二分支的第一卷积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二分支的第二卷积层的卷积核大小均为3×3,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二分支的Dropout层的概率均为0.2、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第三分支的卷积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一卷积层的积层的卷积核大小均为1×1、padding=0、stride=0,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二卷积层的积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第三卷积层的积层的卷积核大小均为1×1、padding=0、stride=0,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第四卷积层的积层的卷积核大小均为3×3、padding=1、stride=1,第一卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0,第二卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0,第三卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0,第四卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0。
步骤e-2)中第一特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4;步骤e-4)中第二特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4;步骤e-6)中第三特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4;步骤e-8)中第四特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4。
进一步的,步骤f)包括如下步骤:
f-1)U型分割网络模型的解码器由第一卷积层、第一上采样层、第一多尺度特征提取加权卷积块MSFEW、第一解码层Dec1、第二卷积层、第二上采样层、第二多尺度特征提取加权卷积块MSFEW、第二解码层Dec2、第三卷积层、第三上采样层、边缘特征增强块EFEM、第三解码层Dec3、第四卷积层、第五卷积层构成;
f-2)将特征图Fc1输入到解码器的第一卷积层中,输出得到特征图Fc2
f-3)将特征图Fc2输入到解码器的第一上采样层中,输出得到特征图Fc3
f-4)解码器的第一多尺度特征提取加权卷积块MSFEW由第一分支、第二分支、第三分支、第四分支、通道注意力机制CAM、空间注意力机制SAM、softmax函数、卷积层、ReLU激活函数构成,第一分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图输入到第一分支中,输出得到特征图/>第二分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第二分支中,输出得到特征图/>第三分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第三分支中,输出得到特征图/>第四分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第四分支中,输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图与特征图/>进行逐元素相加操作后输入到softmax函数中输出得到特征图将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图进行逐元素相乘操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图将特征图/>与特征图/>进行逐元素相乘操作后输入到softmax函数中输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作后依次输入到卷积层、ReLU激活函数中,输出得到特征图/>将特征图/>特征图特征图/>进行相加操作,输出得到特征图/>f-5)将特征图Fc3与特征图输入到解码器的第一解码层Dec1中进行拼接操作,得到特征图G1
f-6)将特征图G1输入到解码器的第二卷积层中,输出得到特征图Fc4;f-7)将特征图Fc4输入到解码器的第二上采样层中,输出得到特征图Fc5
f-8)解码器的第二多尺度特征提取加权卷积块MSFEW由第一分支、第二分支、第三分支、第四分支、通道注意力机制CAM、空间注意力机制SAM、softmax函数、卷积层、ReLU激活函数构成,第一分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图输入到第一分支中,输出得到特征图/>第二分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第二分支中,输出得到特征图/>第三分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第三分支中,输出得到特征图/>第四分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第四分支中,输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图与特征图/>进行逐元素相加操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相乘操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相乘操作后输入到softmax函数中输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作后依次输入到卷积层、ReLU激活函数中,输出得到特征图/>将特征图/>特征图/>特征图/>进行相加操作,输出得到特征图/>f-9)将特征图Fc5与特征图/>输入到解码器的第二解码层Dec2中进行拼接操作,得到特征图G2
f-10)将特征图G2输入到解码器的第三卷积层中,输出得到特征图Fc6
f-11)将特征图Fc6输入到解码器的第三上采样层中,输出得到特征图Fc7
f-12)解码器的边缘特征增强块EFEM由深度分离卷积块、BN层、通道注意力机制CAM、空间注意力机制SAM、上采样层构成,深度分离卷积块由第一深度可分离卷积层、第二深度可分离卷积层、第三深度可分离卷积层、第四深度可分离卷积层、第一sigmoid函数、第二sigmoid函数构成,将特征图输入到深度分离卷积块的第一深度可分离卷积层中,输出得到特征图/>将特征图/>输入到深度分离卷积块的第二深度可分离卷积层中,输出得到特征图/>将特征图/> k输入到深度分离卷积块的第三深度可分离卷积层中,输出得到特征图/>将特征图/>输入到深度分离卷积块的第四深度可分离卷积层中,输出得到特征图/>将特征图/>输入到第一sigmoid函数中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相乘得到特征图/>将特征图/>输入到第二sigmoid函数中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相乘得到特征图/>将特征图/>特征图/>特征图/>进行相加操作,得到特征图/>将特征图/>输入到边缘特征增强块EFEM的BN层中,输出得到特征图/>将特征图/>输入到边缘特征增强块EFEM的通道注意力机制中CAM,输出得到特征图/>将特征图/>输入到边缘特征增强块EFEM的空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>逐元素相乘得到特征图/>将特征图/>输入到边缘特征增强块EFEM的上采样层中,输出得到特征图/>将特征图/>与特征图/>进行相加操作,得到特征图/>f-13)将特征图Fc7与特征图/>输入到解码器的第三解码层Dec3中进行拼接操作,得到特征图G3
f-14)将特征图G3输入到解码器的第四卷积层中,输出得到特征图Fc8
f-15)将特征图Fc8输入到解码器的第五卷积层中,输出得到分割图像Fc9。优选的,步骤f-2)中解码器的第一卷积层的卷积核大小为3×3;步骤f-4)中第一分支的卷积层的卷积核大小为3×3,第一分支的Dropout层的概率为0.2,扩张率为1,第二分支的卷积层的卷积核大小为3×3,第二分支的Dropout层的概率为0.2,扩张率为2,第三分支的卷积层的卷积核大小为3×3,第三分支的Dropout层的概率为0.2,扩张率为4,第四分支的卷积层的卷积核大小为3×3,第四分支的Dropout层的概率为0.2,扩张率为8,第一多尺度特征提取加权卷积块MSFEW的卷积层的卷积核大小为1×1;步骤f-6)中解码器的第一卷积层的卷积核大小为3×3;步骤f-8)中第一分支的卷积层的卷积核大小为3×3,第一分支的Dropout层的概率为0.2,扩张率为1,第二分支的卷积层的卷积核大小为3×3,第二分支的Dropout层的概率为0.2,扩张率为2,第三分支的卷积层的卷积核大小为3×3,第三分支的Dropout层的概率为0.2,扩张率为4,第四分支的卷积层的卷积核大小为3×3,第四分支的Dropout层的概率为0.2,扩张率为8,第二多尺度特征提取加权卷积块MSFEW的卷积层的卷积核大小为1×1;步骤f-10)中解码器的第三卷积层的卷积核大小为3×3;步骤f-12)中第一深度可分离卷积层的扩张率为1、卷积核大小为3×3、padding=1、stride=1,第二深度可分离卷积层的扩张率为3、卷积核大小为3×3、padding=1、stride=1,第三深度可分离卷积层的扩张率为5、卷积核大小为3×3、padding=1、stride=1,第四深度可分离卷积层的扩张率为7、卷积核大小为3×3、padding=1、stride=1;步骤f-14)中第四卷积层的卷积核大小为3×3;步骤f-15)中第五卷积层的卷积核大小为1×1。
进一步的,步骤g)包括如下步骤:
g-1)通过公式Lloss=W1LDice+W2LHD+W3LBCE计算得到损失函数Lloss,LDice第Dice损失,LHD为豪斯多夫距离,LBCE为二分类交叉熵损失,W1、W2、W3均为权重值;
g-2)使用Adam优化器通过损失函数Lloss训练U型分割网络模型,得到优化后的U型分割网络模型过
本发明的有益效果是:设计了特征复用模块和卷积块同时进行编码提取输入特征图不同的特征,这样可以实现更好的特征复用、信息融合、上下文理解以及参数共享等优势,设计了U型网络架构实现心脏MRI图像分割。设计了边缘特征增强模块可以提供重要的形状和结构信息,能够帮助准确地分割心脏图像,提高分割效果和准确性,提出了多尺度特征提取加权卷积提高了分割的准确性、鲁棒性和适应性,能够更好地处理多尺度信息和尺度不匹配问题,从而改善心脏图像分割的结果。本网络更加注重边缘信息特征和多尺度信息的提取,通过本网络结构的设计提高了分割的精度。
附图说明
图1为本发明的U型分割网络模型结构图;
图2为本发明的边缘特征增强块EFEM的结构图;
图3为本发明的深度分离卷积模块DSCM的结构图;
图4为本发明的特征复用块FMB的结构图;
图5为本发明的多尺度特征提取加权卷积块MSFEW的结构图。
具体实施方式
下面结合附图1至附图5对本发明做进一步说明。
一种基于边缘特征增强的心脏MRI图像分割方法,包括如下步骤:
a)获取N个心脏MRI图像数据,得到心脏MRI图像数据集S,S={S1,S2,...,Si,...,SN},Si为第i个心脏MRI图像数据,i∈{1,...,N}。
b)将第i个心脏MRI图像数据Si进行预处理,得到预处理后的第i个心脏MRI图像数据Ti,预处理后的心脏MRI图像数据集为T,T={T1,T2,...,Ti,...,TN}。
c)将预处理后的心脏MRI图像数据集T划分为训练集、验证集、测试集,将训练集中的各个预处理后的心脏MRI图像数据沿Z轴切片,得到X个切片图像,第i个切片图像为Fi,i∈{1,...,X},将测试集中的各个预处理后的图像沿Z轴切片,得到Y个切片图像,第j个切片图像为Fj,j∈{1,...,Y}。
d)建立U型分割网络模型,U型分割网络模型由编码器、解码器构成。
e)U型分割网络模型的编码器由第一分支、第二分支、拼接模块SM构成,将训练集中的第i个切片图像为Fi输入到编码器的第一分支中,输出得到特征图训练集中的第i个切片图像为Fi输入到编码器的第二分支中,输出得到特征图/>将特征图/>和特征图/>输入到编码器的拼接模块SM中,输出得到特征图Fc1
f)将特征图Fc1输入到U型分割网络模型的解码器中,输出得到分割图像Fc9
g)训练U型分割网络模型,得到优化后的U型分割网络模型。
h)将测试集中第j个切片图像Fj输入到优化后的U型分割网络模型中,得到分割图像F′c9
表一 不同实验方法的比较:
通过表一可以看出,本发明对比了多种经典的分割方法,分别为U-Net,TransUNet,ResUNet,Att-UNet,FCT。每种方法均对ACDC心脏数据集进行分割,使用Dice系数、Hausdorff距离、精确率(Precision)和像素准确率(PA)四种评估指标统计了心脏图像分割在收缩末期(ES)和舒张末期(ED)的精确度,Hausdorff距离的得分越低表示性能越好,Dice系数,精确率(Precision)和像素准确率(PA)得分越高性能越好。从表中数据可以看出,本发明方法的心脏图像分割收缩末期(ES)平均Dice评价指标相较于之前的最优方法提升了1.07%,平均精确率(Precision)评价指标相较于之前的最优方法提升了0.97%,像素准确率(PA)评价指标相较于之前的最优方法提升了0.1%,心脏图像分割舒张末期(ED)平均Dice评价指标相较于之前的最优方法提升了0.65%,平均Hausdorff距离评价指标相较于之前的最优方法提升了0.25%,像素准确率(PA)评价指标相较于之前的最优方法提升了0.1%,优于之前的方法,说明本发明方法存在一定优势,分割效果比较理想。
在本发明的一个实施例中,步骤a)中从自动心脏诊断挑战赛ACDC数据库中获取N个心脏MRI图像数据。
在本发明的一个实施例中,步骤b)包括如下步骤:
b-1)第i张MRI图像数据Si沿Z轴切片,将切割的若干切片进行X轴方向的像素间距为1.5、Y轴方向的像素间距为1.5的重采样操作。
b-2)将重采样操作后的切片进行中心剪裁,剪裁后的切片的大小为224×224;b-3)将剪裁后的各个切片堆叠重新恢复为心脏MRI图像数据Si′。
b-4)将心脏MRI图像数据Si′以0.4的概率沿水平轴或垂直轴进行翻转,翻转角度为45度,得到旋转后的心脏MRI图像数据。
b-5)将旋转后的心脏MRI图像数据进行Zero-MN零均值化处理,得到预处理后的第i个心脏MRI图像数据Ti
步骤c)中将预处理后的心脏MRI图像数据集T按照7:1:2的比例划分为训练集、验证集、测试集。
步骤e)包括如下步骤:
e-1)编码器的第一分支由第一特征复用模块FMB、第一下采样块、第二特征复用模块FMB、第二下采样块、第三特征复用模块FMB、第三下采样块、第四特征复用模块FMB构成。
e-2)编码器的第一分支的第一特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第一特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将训练集中的第i个切片图像Fi输入到第一特征复用模块FMB的第一分支中,输出得到特征图第一特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将训练集中的第i个切片图像Fi输入到第一特征复用模块FMB的第二分支中,输出得到特征图/>第一特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将训练集中的第i个切片图像Fi输入到第一特征复用模块FMB的第三分支中,输出得到特征图/>将训练集中的第i个切片图像Fi与特征图/>进行拼接操作,得到特征图/>将训练集中的第i个切片图像Fi与特征图/>进行拼接操作,得到特征图/>将特征图/>依次输入到第一特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图/>将特征图/>依次输入到第一特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作后一次输入到第一特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>
e-3)编码器的第一分支的第一下采样块依次由ReLU激活函数、BN层、平均池化层构成,将特征图输入到第一下采样块中,输出得到特征图/>e-4)编码器的第一分支的第二特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第二特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第二特征复用模块FMB的第一分支中,输出得到特征图/>第二特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第二特征复用模块FMB的第二分支中,输出得到特征图/>第二特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将特征图/>输入到第二特征复用模块FMB的第三分支中,输出得到特征图/>将特征图/>与特征图进行拼接操作,得到特征图/>将特征图/>与特征图/>进行拼接操作,得到特征图/>将特征图/>依次输入到第二特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图/>将特征图/>依次输入到第二特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图将特征图/>与特征图/>进行拼接操作后依次输入到第二特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>e-5)编码器的第一分支的第二下采样块依次由ReLU激活函数、BN层、平均池化层构成,将特征图/>输入到第二下采样块中,输出得到特征图/>e-6)编码器的第一分支的第三特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第三特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第三特征复用模块FMB的第一分支中,输出得到特征图/>第三特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第三特征复用模块FMB的第二分支中,输出得到特征图/>第三特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将特征图/>输入到第三特征复用模块FMB的第三分支中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作,得到特征图将特征图/>与特征图/>进行拼接操作,得到特征图/>将特征图依次输入到第三特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图/>将特征图/>依次输入到第三特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作后依次输入到第三特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>e-7)编码器的第一分支的第三下采样块依次由ReLU激活函数、BN层、平均池化层构成,将特征图/>输入到第三下采样块中,输出得到特征图/>e-8)编码器的第一分支的第四特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第四特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第四特征复用模块FMB的第一分支中,输出得到特征图/>第四特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第四特征复用模块FMB的第二分支中,输出得到特征图第四特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将特征图/>输入到第四特征复用模块FMB的第三分支中,输出得到特征图将特征图/>与特征图/>进行拼接操作,得到特征图/>将特征图与特征图/>进行拼接操作,得到特征图/>将特征图/>依次输入到第四特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图将特征图/>依次输入到第四特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作后依次输入到第四特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>e-9)编码器的第二分支由第一卷积块、第一最大池化层、第二卷积块、第二最大池化层、第三卷积块、第三最大池化层、第四卷积块构成。
e-10)编码器的第二分支的第一卷积块依次由卷积层、ReLU激活函数构成,将训练集中的第i个切片图像Fi输入到第一卷积块中,输出得到特征图e-11)将特征图/>输入到编码器的第二分支的第一最大池化层中,输出得到特征图/>
e-12)编码器的第二分支的第二卷积块依次由卷积层、ReLU激活函数构成,将特征图输入到第二卷积块中,输出得到特征图/>e-13)将特征图/>输入到编码器的第二分支的第二最大池化层中,输出得到特征图/>
e-14)编码器的第二分支的第三卷积块依次由卷积层、ReLU激活函数构成,将特征图输入到第三卷积块中,输出得到特征图/>e-15)将特征图/>输入到编码器的第二分支的第三最大池化层中,输出得到特征图/>
e-16)编码器的第二分支的第四卷积块依次由卷积层、ReLU激活函数构成,将特征图输入到第四卷积块中,输出得到特征图/>e-17)将特征图/>和特征图/>输入到编码器的拼接模块SM中进行拼接操作,得到特征图Fc1
在该实施例中,优选的,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一分支的第一卷积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一分支的第二卷积层的卷积核大小均为3×3,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一分支的Dropout层的概率均为0.2、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二分支的第一卷积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二分支的第二卷积层的卷积核大小均为3×3,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二分支的Dropout层的概率均为0.2、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第三分支的卷积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一卷积层的积层的卷积核大小均为1×1、padding=0、stride=0,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二卷积层的积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第三卷积层的积层的卷积核大小均为1×1、padding=0、stride=0,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第四卷积层的积层的卷积核大小均为3×3、padding=1、stride=1,第一卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0,第二卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0,第三卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0,第四卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0。
在该实施例中,步骤e-2)中第一特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4;步骤e-4)中第二特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4;步骤e-6)中第三特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4;步骤e-8)中第四特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4。第三分支的卷积层输出的特征图的每一个权重都乘以6的目的是为了增加滤波器对输入数据的影响力,使网络更强大的提取特定特征,每个特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4的目的是为了增加滤波器对输入数据的影响力,使网络更强大的提取特定特征。
在本发明的一个实施例中,步骤f)包括如下步骤:
f-1)U型分割网络模型的解码器由第一卷积层、第一上采样层、第一多尺度特征提取加权卷积块MSFEW、第一解码层Dec1、第二卷积层、第二上采样层、第二多尺度特征提取加权卷积块MSFEW、第二解码层Dec2、第三卷积层、第三上采样层、边缘特征增强块EFEM、第三解码层Dec3、第四卷积层、第五卷积层构成。f-2)将特征图Fc1输入到解码器的第一卷积层中,输出得到特征图Fc2
f-3)将特征图Fc2输入到解码器的第一上采样层中,输出得到特征图Fc3。f-4)解码器的第一多尺度特征提取加权卷积块MSFEW由第一分支、第二分支、第三分支、第四分支、通道注意力机制CAM、空间注意力机制SAM、softmax函数、卷积层、ReLU激活函数构成,第一分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图输入到第一分支中,输出得到特征图/>第二分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第二分支中,输出得到特征图/>第三分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第三分支中,输出得到特征图/>第四分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第四分支中,输出得到特征图将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图进行逐元素相加操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相乘操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图将特征图/>与特征图/>进行逐元素相加操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相乘操作后输入到softmax函数中输出得到特征图/>将特征图特征图/>特征图/>特征图/>进行拼接操作后依次输入到卷积层、ReLU激活函数中,输出得到特征图/>将特征图/>特征图/>特征图/>进行相加操作,输出得到特征图/>f-5)将特征图Fc3与特征图/>输入到解码器的第一解码层Dec1中进行拼接操作,得到特征图G1
f-6)将特征图G1输入到解码器的第二卷积层中,输出得到特征图Fc4
f-7)将特征图Fc4输入到解码器的第二上采样层中,输出得到特征图Fc5
f-8)解码器的第二多尺度特征提取加权卷积块MSFEW由第一分支、第二分支、第三分支、第四分支、通道注意力机制CAM、空间注意力机制SAM、softmax函数、卷积层、ReLU激活函数构成,第一分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图输入到第一分支中,输出得到特征图/>第二分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第二分支中,输出得到特征图/>第三分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第三分支中,输出得到特征图/>第四分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第四分支中,输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图与特征图/>进行逐元素相加操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相乘操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图与特征图/>进行逐元素相乘操作后输入到softmax函数中输出得到特征图将特征图/>特征图/>特征图/>特征图/>进行拼接操作后依次输入到卷积层、ReLU激活函数中,输出得到特征图/>将特征图/>特征图/>特征图/>进行相加操作,输出得到特征图/>f-9)将特征图Fc5与特征图/>输入到解码器的第二解码层Dec2中进行拼接操作,得到特征图G2
f-10)将特征图G2输入到解码器的第三卷积层中,输出得到特征图Fc6
f-11)将特征图Fc6输入到解码器的第三上采样层中,输出得到特征图Fc7。f-12)解码器的边缘特征增强块EFEM由深度分离卷积块、BN层、通道注意力机制CAM、空间注意力机制SAM、上采样层构成,深度分离卷积块由第一深度可分离卷积层、第二深度可分离卷积层、第三深度可分离卷积层、第四深度可分离卷积层、第一sigmoid函数、第二sigmoid函数构成,将特征图输入到深度分离卷积块的第一深度可分离卷积层中,输出得到特征图将特征图/>输入到深度分离卷积块的第二深度可分离卷积层中,输出得到特征图将特征图/>输入到深度分离卷积块的第三深度可分离卷积层中,输出得到特征图将特征图/>输入到深度分离卷积块的第四深度可分离卷积层中,输出得到特征图将特征图/>输入到第一sigmoid函数中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相乘得到特征图/>将特征图/>输入到第二sigmoid函数中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相乘得到特征图/>将特征图/>特征图/>特征图/>进行相加操作,得到特征图/>将特征图/>输入到边缘特征增强块EFEM的BN层中,输出得到特征图/>将特征图/>输入到边缘特征增强块EFEM的通道注意力机制中CAM,输出得到特征图/>将特征图/>输入到边缘特征增强块EFEM的空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>逐元素相乘得到特征图/>将特征图/>输入到边缘特征增强块EFEM的上采样层中,输出得到特征图/>将特征图/>与特征图/>进行相加操作,得到特征图/>f-13)将特征图Fc7与特征图/>输入到解码器的第三解码层Dec3中进行拼接操作,得到特征图G3
f-14)将特征图G3输入到解码器的第四卷积层中,输出得到特征图Fc8
f-15)将特征图Fc8输入到解码器的第五卷积层中,输出得到分割图像Fc9。在该实施例中,优选的,步骤f-2)中解码器的第一卷积层的卷积核大小为3×3;步骤f-4)中第一分支的卷积层的卷积核大小为3×3,第一分支的Dropout层的概率为0.2,扩张率为1,第二分支的卷积层的卷积核大小为3×3,第二分支的Dropout层的概率为0.2,扩张率为2,第三分支的卷积层的卷积核大小为3×3,第三分支的Dropout层的概率为0.2,扩张率为4,第四分支的卷积层的卷积核大小为3×3,第四分支的Dropout层的概率为0.2,扩张率为8,第一多尺度特征提取加权卷积块MSFEW的卷积层的卷积核大小为1×1;步骤f-6)中解码器的第一卷积层的卷积核大小为3×3;步骤f-8)中第一分支的卷积层的卷积核大小为3×3,第一分支的Dropout层的概率为0.2,扩张率为1,第二分支的卷积层的卷积核大小为3×3,第二分支的Dropout层的概率为0.2,扩张率为2,第三分支的卷积层的卷积核大小为3×3,第三分支的Dropout层的概率为0.2,扩张率为4,第四分支的卷积层的卷积核大小为3×3,第四分支的Dropout层的概率为0.2,扩张率为8,第二多尺度特征提取加权卷积块MSFEW的卷积层的卷积核大小为1×1;步骤f-10)中解码器的第三卷积层的卷积核大小为3×3;步骤f-12)中第一深度可分离卷积层的扩张率为1、卷积核大小为3×3、padding=1、stride=1,第二深度可分离卷积层的扩张率为3、卷积核大小为3×3、padding=1、stride=1,第三深度可分离卷积层的扩张率为5、卷积核大小为3×3、padding=1、stride=1,第四深度可分离卷积层的扩张率为7、卷积核大小为3×3、padding=1、stride=1;步骤f-14)中第四卷积层的卷积核大小为3×3;步骤f-15)中第五卷积层的卷积核大小为1×1。
在本发明的一个实施例中,步骤g)包括如下步骤:
g-1)通过公式Lloss=W1LDice+W2LHD+W3LBCE计算得到损失函数Lloss,LDice第Dice损失,LHD为豪斯多夫距离,LBCE为二分类交叉熵损失,W1、W2、W3均为权重值;
g-2)使用Adam优化器通过损失函数Lloss训练U型分割网络模型,得到优化后的U型分割网络模型。训练时,学习率为le-4,批大小设置为10,为避免过拟合,对模型进行加权保留验证集中损失函数Lloss最小的系数作为模型的最优权值。最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于边缘特征增强的心脏MRI图像分割方法,其特征在于,包括如下步骤:
a)获取N个心脏MRI图像数据,得到心脏MRI图像数据集S,S={S1,S2,…,Si,...,SN},Si为第i个心脏MRI图像数据,i∈{1,...,N};
b)将第i个心脏MRI图像数据Si进行预处理,得到预处理后的第i个心脏MRI图像数据Ti,预处理后的心脏MRI图像数据集为T,T={T1,T2,...,Ti,...,TN};
c)将预处理后的心脏MRI图像数据集T划分为训练集、验证集、测试集,将训练集中的各个预处理后的心脏MRI图像数据沿Z轴切片,得到X个切片图像,第i个切片图像为Fi,i∈{1,...,X},将测试集中的各个预处理后的图像沿Z轴切片,得到Y个切片图像,第j个切片图像为Fj,j∈{1,...,Y};
d)建立U型分割网络模型,U型分割网络模型由编码器、解码器构成;
e)U型分割网络模型的编码器由第一分支、第二分支、拼接模块SM构成,将训练集中的第i个切片图像为Fi输入到编码器的第一分支中,输出得到特征图训练集中的第i个切片图像为Fi输入到编码器的第二分支中,输出得到特征图/>将特征图/>和特征图/>输入到编码器的拼接模块SM中,输出得到特征图Fc1
f)将特征图Fc1输入到U型分割网络模型的解码器中,输出得到分割图像Fc9
g)训练U型分割网络模型,得到优化后的U型分割网络模型;
h)将测试集中第j个切片图像Fj输入到优化后的U型分割网络模型中,得到分割图像F′c9
2.根据权利要求1所述的基于边缘特征增强的心脏MRI图像分割方法,其特征在于:步骤a)中从自动心脏诊断挑战赛ACDC数据库中获取N个心脏MRI图像数据。
3.根据权利要求1所述的基于边缘特征增强的心脏MRI图像分割方法,其特征在于,步骤b)包括如下步骤:
b-1)第i张MRI图像数据Si沿Z轴切片,将切割的若干切片进行X轴方向的像素间距为1.5、Y轴方向的像素间距为1.5的重采样操作;
b-2)将重采样操作后的切片进行中心剪裁,剪裁后的切片的大小为224×224;b-3)将剪裁后的各个切片堆叠重新恢复为心脏MRI图像数据Si′;
b-4)将心脏MRI图像数据Si′以0.4的概率沿水平轴或垂直轴进行翻转,翻转角度为45度,得到旋转后的心脏MRI图像数据;
b-5)将旋转后的心脏MRI图像数据进行Zero-MN零均值化处理,得到预处理后的第i个心脏MRI图像数据Ti
4.根据权利要求1所述的基于边缘特征增强的心脏MRI图像分割方法,其特征在于:步骤c)中将预处理后的心脏MRI图像数据集T按照7:1:2的比例划分为训练集、验证集、测试集。
5.根据权利要求1所述的基于边缘特征增强的心脏MRI图像分割方法,其特征在于,步骤e)包括如下步骤:
e-1)编码器的第一分支由第一特征复用模块FMB、第一下采样块、第二特征复用模块FMB、第二下采样块、第三特征复用模块FMB、第三下采样块、第四特征复用模块FMB构成;
e-2)编码器的第一分支的第一特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第一特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将训练集中的第i个切片图像Fi输入到第一特征复用模块FMB的第一分支中,输出得到特征图第一特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将训练集中的第i个切片图像Fi输入到第一特征复用模块FMB的第二分支中,输出得到特征图/>第一特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将训练集中的第i个切片图像Fi输入到第一特征复用模块FMB的第三分支中,输出得到特征图/>将训练集中的第i个切片图像Fi与特征图进行拼接操作,得到特征图/>将训练集中的第i个切片图像Fi与特征图/>进行拼接操作,得到特征图/>将特征图/>依次输入到第一特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图/>将特征图/>依次输入到第一特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图将特征图/>与特征图/>进行拼接操作后一次输入到第一特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>
e-3)编码器的第一分支的第一下采样块依次由ReLU激活函数、BN层、平均池化层构成,将特征图输入到第一下采样块中,输出得到特征图/>e-4)编码器的第一分支的第二特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第二特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第二特征复用模块FMB的第一分支中,输出得到特征图/>第二特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第二特征复用模块FMB的第二分支中,输出得到特征图/>第二特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将特征图/>输入到第二特征复用模块FMB的第三分支中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作,得到特征图/>将特征图/>与特征图/>进行拼接操作,得到特征图/>将特征图/>依次输入到第二特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图/>将特征图/>依次输入到第二特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作后依次输入到第二特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>
e-5)编码器的第一分支的第二下采样块依次由ReLU激活函数、BN层、平均池化层构成,将特征图输入到第二下采样块中,输出得到特征图/>e-6)编码器的第一分支的第三特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第三特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第三特征复用模块FMB的第一分支中,输出得到特征图/>第三特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第三特征复用模块FMB的第二分支中,输出得到特征图/>第三特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将特征图/>输入到第三特征复用模块FMB的第三分支中,输出得到特征图/>将特征图/>与特征图进行拼接操作,得到特征图/>将特征图/>与特征图/>进行拼接操作,得到特征图/>将特征图/>依次输入到第三特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图/>将特征图/>依次输入到第三特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作后依次输入到第三特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>
e-7)编码器的第一分支的第三下采样块依次由ReLU激活函数、BN层、平均池化层构成,将特征图输入到第三下采样块中,输出得到特征图/>e-8)编码器的第一分支的第四特征复用模块FMB由第一分支、第二分支、第三分支、第一卷积层、第二卷积层、第一ReLU激活函数、第三卷积层、第四卷积层、第二ReLU激活函数、第五卷积层、Dropout层构成,第四特征复用模块FMB的第一分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第四特征复用模块FMB的第一分支中,输出得到特征图/>第四特征复用模块FMB的第二分支依次由第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、Dropout层、BN层构成,将特征图/>输入到第四特征复用模块FMB的第二分支中,输出得到特征图/>第四特征复用模块FMB的第三分支依次由空洞卷积层、卷积层、BN层、ReLU激活函数构成,将特征图/>输入到第四特征复用模块FMB的第三分支中,输出得到特征图/>将特征图/>与特征图进行拼接操作,得到特征图/>将特征图/>与特征图/>进行拼接操作,得到特征图/>将特征图/>依次输入到第四特征复用模块FMB的第一卷积层、第二卷积层、第一ReLU激活函数中,输出得到特征图/>将特征图/>依次输入到第四特征复用模块FMB的第三卷积层、第四卷积层、第二ReLU激活函数中,输出得到特征图/>将特征图/>与特征图/>进行拼接操作后依次输入到第四特征复用模块FMB的第五卷积层、Dropout层中,输出得到特征图/>
e-9)编码器的第二分支由第一卷积块、第一最大池化层、第二卷积块、第二最大池化层、第三卷积块、第三最大池化层、第四卷积块构成;
e-10)编码器的第二分支的第一卷积块依次由卷积层、ReLU激活函数构成,将训练集中的第i个切片图像Fi输入到第一卷积块中,输出得到特征图e-11)将特征图/>输入到编码器的第二分支的第一最大池化层中,输出得到特征图/>
e-12)编码器的第二分支的第二卷积块依次由卷积层、ReLU激活函数构成,将特征图输入到第二卷积块中,输出得到特征图/>
e-13)将特征图输入到编码器的第二分支的第二最大池化层中,输出得到特征图
e-14)编码器的第二分支的第三卷积块依次由卷积层、ReLU激活函数构成,将特征图输入到第三卷积块中,输出得到特征图/>
e-15)将特征图输入到编码器的第二分支的第三最大池化层中,输出得到特征图
e-16)编码器的第二分支的第四卷积块依次由卷积层、ReLU激活函数构成,将特征图输入到第四卷积块中,输出得到特征图/>
e-17)将特征图和特征图/>输入到编码器的拼接模块SM中进行拼接操作,得到特征图Fc1
6.根据权利要求5所述的基于边缘特征增强的心脏MRI图像分割方法,其特征在于:第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一分支的第一卷积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一分支的第二卷积层的卷积核大小均为3×3,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一分支的Dropout层的概率均为0.2、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二分支的第一卷积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二分支的第二卷积层的卷积核大小均为3×3,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二分支的Dropout层的概率均为0.2、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第三分支的卷积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第一卷积层的积层的卷积核大小均为1×1、padding=0、stride=0,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第二卷积层的积层的卷积核大小均为3×3、padding=1、stride=1,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第三卷积层的积层的卷积核大小均为1×1、padding=0、stride=0,第一特征复用模块FMB、第二特征复用模块FMB、第三特征复用模块FMB、第四特征复用模块FMB的第四卷积层的积层的卷积核大小均为3×3、padding=1、stride=1,第一卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0,第二卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0,第三卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0,第四卷积块的卷积层的卷积核大小为3×3、padding=0、步长为0。
7.根据权利要求5所述的基于边缘特征增强的心脏MRI图像分割方法,其特征在于:步骤e-2)中第一特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4;步骤e-4)中第二特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4;步骤e-6)中第三特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4;步骤e-8)中第四特征复用模块FMB的第三分支的卷积层输出的特征图的每一个权重都乘以6,第一特征复用模块FMB的第四卷积层输出的特征图的每一个权重都乘以4。
8.根据权利要求1所述的基于边缘特征增强的心脏MRI图像分割方法,其特征在于,步骤f)包括如下步骤:
f-1)U型分割网络模型的解码器由第一卷积层、第一上采样层、第一多尺度特征提取加权卷积块MSFEW、第一解码层Dec1、第二卷积层、第二上采样层、第二多尺度特征提取加权卷积块MSFEW、第二解码层Dec2、第三卷积层、第三上采样层、边缘特征增强块EFEM、第三解码层Dec3、第四卷积层、第五卷积层构成;
f-2)将特征图Fc1输入到解码器的第一卷积层中,输出得到特征图Fc2
f-3)将特征图Fc2输入到解码器的第一上采样层中,输出得到特征图Fc3
f-4)解码器的第一多尺度特征提取加权卷积块MSFEW由第一分支、第二分支、第三分支、第四分支、通道注意力机制CAM、空间注意力机制SAM、softmax函数、卷积层、ReLU激活函数构成,第一分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图输入到第一分支中,输出得到特征图/>第二分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第二分支中,输出得到特征图/>第三分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第三分支中,输出得到特征图/>第四分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第四分支中,输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图与特征图/>进行逐元素相加操作后输入到softmax函数中输出得到特征图将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图进行逐元素相乘操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图将特征图/>与特征图/>进行逐元素相乘操作后输入到softmax函数中输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作后依次输入到卷积层、ReLU激活函数中,输出得到特征图/>将特征图/>特征图特征图/>进行相加操作,输出得到特征图/>
f-5)将特征图Fc3与特征图输入到解码器的第一解码层Dec1中进行拼接操作,得到特征图G1
f-6)将特征图G1输入到解码器的第二卷积层中,输出得到特征图Fc4
f-7)将特征图Fc4输入到解码器的第二上采样层中,输出得到特征图Fc5
f-8)解码器的第二多尺度特征提取加权卷积块MSFEW由第一分支、第二分支、第三分支、第四分支、通道注意力机制CAM、空间注意力机制SAM、softmax函数、卷积层、ReLU激活函数构成,第一分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图输入到第一分支中,输出得到特征图/>第二分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第二分支中,输出得到特征图/>第三分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第三分支中,输出得到特征图/>第四分支依次由卷积层、Dropout层、ReLU激活函数构成,将特征图/>输入到第四分支中,输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图与特征图/>进行逐元素相加操作后输入到softmax函数中输出得到特征图将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图进行逐元素相乘操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作后输入到softmax函数中输出得到特征图/>将特征图/>输入到通道注意力机制CAM中,输出得到特征图/>将特征图/>输入到空间注意力机制SAM中,输出得到特征图将特征图/>与特征图/>进行逐元素相乘操作后输入到softmax函数中输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作后依次输入到卷积层、ReLU激活函数中,输出得到特征图/>将特征图/>特征图特征图/>进行相加操作,输出得到特征图/>
f-9)将特征图Fc5与特征图输入到解码器的第二解码层Dec2中进行拼接操作,得到特征图G2
f-10)将特征图G2输入到解码器的第三卷积层中,输出得到特征图Fc6
f-11)将特征图Fc6输入到解码器的第三上采样层中,输出得到特征图Fc7
f-12)解码器的边缘特征增强块EFEM由深度分离卷积块、BN层、通道注意力机制CAM、空间注意力机制SAM、上采样层构成,深度分离卷积块由第一深度可分离卷积层、第二深度可分离卷积层、第三深度可分离卷积层、第四深度可分离卷积层、第一sigmoid函数、第二sigmoid函数构成,将特征图输入到深度分离卷积块的第一深度可分离卷积层中,输出得到特征图/>将特征图/>输入到深度分离卷积块的第二深度可分离卷积层中,输出得到特征图/>将特征图/>输入到深度分离卷积块的第三深度可分离卷积层中,输出得到特征图/>将特征图/>输入到深度分离卷积块的第四深度可分离卷积层中,输出得到特征图/>将特征图/>输入到第一sigmoid函数中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相乘得到特征图/>将特征图/>输入到第二sigmoid函数中,输出得到特征图/>将特征图/>与特征图/>进行逐元素相乘得到特征图/>将特征图/>特征图/>特征图/>进行相加操作,得到特征图/>将特征图/>输入到边缘特征增强块EFEM的BN层中,输出得到特征图/>将特征图/>输入到边缘特征增强块EFEM的通道注意力机制中CAM,输出得到特征图/>将特征图/>输入到边缘特征增强块EFEM的空间注意力机制SAM中,输出得到特征图/>将特征图/>与特征图/>逐元素相乘得到特征图/>将特征图/>输入到边缘特征增强块EFEM的上采样层中,输出得到特征图/>将特征图/>与特征图/>进行相加操作,得到特征图/>
f-13)将特征图Fc7与特征图输入到解码器的第三解码层Dec3中进行拼接操作,得到特征图G3
f-14)将特征图G3输入到解码器的第四卷积层中,输出得到特征图Fc8
f-15)将特征图Fc8输入到解码器的第五卷积层中,输出得到分割图像Fc9
9.根据权利要求7所述的基于边缘特征增强的心脏MRI图像分割方法,其特征在于:步骤f-2)中解码器的第一卷积层的卷积核大小为3×3;步骤f-4)中第一分支的卷积层的卷积核大小为3×3,第一分支的Dropout层的概率为0.2,扩张率为1,第二分支的卷积层的卷积核大小为3×3,第二分支的Dropout层的概率为0.2,扩张率为2,第三分支的卷积层的卷积核大小为3×3,第三分支的Dropout层的概率为0.2,扩张率为4,第四分支的卷积层的卷积核大小为3×3,第四分支的Dropout层的概率为0.2,扩张率为8,第一多尺度特征提取加权卷积块MSFEW的卷积层的卷积核大小为1×1;步骤f-6)中解码器的第一卷积层的卷积核大小为3×3;步骤f-8)中第一分支的卷积层的卷积核大小为3×3,第一分支的Dropout层的概率为0.2,扩张率为1,第二分支的卷积层的卷积核大小为3×3,第二分支的Dropout层的概率为0.2,扩张率为2,第三分支的卷积层的卷积核大小为3×3,第三分支的Dropout层的概率为0.2,扩张率为4,第四分支的卷积层的卷积核大小为3×3,第四分支的Dropout层的概率为0.2,扩张率为8,第二多尺度特征提取加权卷积块MSFEW的卷积层的卷积核大小为1×1;步骤f-10)中解码器的第三卷积层的卷积核大小为3×3;步骤f-12)中第一深度可分离卷积层的扩张率为1、卷积核大小为3×3、padding=1、stride=1,第二深度可分离卷积层的扩张率为3、卷积核大小为3×3、padding=1、stride=1,第三深度可分离卷积层的扩张率为5、卷积核大小为3×3、padding=1、stride=1,第四深度可分离卷积层的扩张率为7、卷积核大小为3×3、padding=1、stride=1;步骤f-14)中第四卷积层的卷积核大小为3×3;步骤f-15)中第五卷积层的卷积核大小为1×1。
10.根据权利要求1所述的基于边缘特征增强的心脏MRI图像分割方法,其特征在于,步骤g)包括如下步骤:
g-1)通过公式Lloss=W1LDice+W2LHD+W3LBCE计算得到损失函数Lloss,LDice第Dice损失,LHD为豪斯多夫距离,LBCE为二分类交叉熵损失,W1、W2、W3均为权重值;
g-2)使用Adam优化器通过损失函数Lloss训练U型分割网络模型,得到优化后的U型分割网络模型。
CN202311648278.5A 2023-12-05 2023-12-05 一种基于边缘特征增强的心脏mri图像分割方法 Active CN117635942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311648278.5A CN117635942B (zh) 2023-12-05 2023-12-05 一种基于边缘特征增强的心脏mri图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311648278.5A CN117635942B (zh) 2023-12-05 2023-12-05 一种基于边缘特征增强的心脏mri图像分割方法

Publications (2)

Publication Number Publication Date
CN117635942A true CN117635942A (zh) 2024-03-01
CN117635942B CN117635942B (zh) 2024-05-07

Family

ID=90017933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311648278.5A Active CN117635942B (zh) 2023-12-05 2023-12-05 一种基于边缘特征增强的心脏mri图像分割方法

Country Status (1)

Country Link
CN (1) CN117635942B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392444A (zh) * 2014-11-18 2015-03-04 陕西师范大学 基于二维集合经验模式分解的医学mr图像特征提取方法
CN106890009A (zh) * 2017-03-17 2017-06-27 深圳大学 一种骨骼肌体积变化的自动测量方法和装置
CN107424162A (zh) * 2017-05-05 2017-12-01 上海联影医疗科技有限公司 一种图像分割方法及系统
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110517278A (zh) * 2019-08-07 2019-11-29 北京旷视科技有限公司 图像分割和图像分割网络的训练方法、装置和计算机设备
CN111047602A (zh) * 2019-11-26 2020-04-21 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备
CN111161271A (zh) * 2019-12-31 2020-05-15 电子科技大学 一种超声图像分割方法
US20200211698A1 (en) * 2004-01-22 2020-07-02 Robert Edwin Douglas Method and apparatus for generating an artificial intelligence 3d dataset and performing interactive manipulation and rendering of the dataset
CN112258524A (zh) * 2020-10-20 2021-01-22 推想医疗科技股份有限公司 一种多分支图像分割方法、装置、介质及电子设备
CN112419320A (zh) * 2021-01-22 2021-02-26 湖南师范大学 基于sam与多层uda的跨模态心脏分割方法
US20210081677A1 (en) * 2019-09-18 2021-03-18 Inception Institute of Artificial Intelligence, Ltd. Unsupervised Video Object Segmentation and Image Object Co-Segmentation Using Attentive Graph Neural Network Architectures
CN112785569A (zh) * 2021-01-19 2021-05-11 浙江工业大学 基于边缘指导和多尺度融合的全景片龋齿分割方法
CN113205523A (zh) * 2021-04-29 2021-08-03 浙江大学 多尺度表征优化的医学影像分割识别系统、终端及存储介质
EP3866113A1 (en) * 2020-02-17 2021-08-18 Agile Robots AG Image segmentation methods and apparatus
CN113450359A (zh) * 2020-03-25 2021-09-28 腾讯医疗健康(深圳)有限公司 医学图像分割、显示、模型训练方法、系统、设备和介质
US20220318459A1 (en) * 2021-03-25 2022-10-06 Nvidia Corporation Robotic tactile sensing
CN115170582A (zh) * 2022-06-13 2022-10-11 武汉科技大学 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN115424021A (zh) * 2022-09-22 2022-12-02 湖南师范大学 基于特征复用和多尺度权重卷积的右心室分割方法及装置
CN116563265A (zh) * 2023-05-23 2023-08-08 山东省人工智能研究院 基于多尺度注意力和自适应特征融合的心脏mri分割方法
US11763934B1 (en) * 2018-02-09 2023-09-19 Robert Edwin Douglas Method and apparatus for a simulated physiologic change for CT and MRI examinations
CN116843696A (zh) * 2023-04-27 2023-10-03 山东省人工智能研究院 基于特征相似性和超参数卷积注意力的心脏mri分割方法
CN117058307A (zh) * 2023-07-04 2023-11-14 北京师范大学 心脏三维核磁共振图像生成方法、系统、设备及储存介质

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200211698A1 (en) * 2004-01-22 2020-07-02 Robert Edwin Douglas Method and apparatus for generating an artificial intelligence 3d dataset and performing interactive manipulation and rendering of the dataset
CN104392444A (zh) * 2014-11-18 2015-03-04 陕西师范大学 基于二维集合经验模式分解的医学mr图像特征提取方法
CN106890009A (zh) * 2017-03-17 2017-06-27 深圳大学 一种骨骼肌体积变化的自动测量方法和装置
CN107424162A (zh) * 2017-05-05 2017-12-01 上海联影医疗科技有限公司 一种图像分割方法及系统
US11763934B1 (en) * 2018-02-09 2023-09-19 Robert Edwin Douglas Method and apparatus for a simulated physiologic change for CT and MRI examinations
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110517278A (zh) * 2019-08-07 2019-11-29 北京旷视科技有限公司 图像分割和图像分割网络的训练方法、装置和计算机设备
US20210081677A1 (en) * 2019-09-18 2021-03-18 Inception Institute of Artificial Intelligence, Ltd. Unsupervised Video Object Segmentation and Image Object Co-Segmentation Using Attentive Graph Neural Network Architectures
CN111047602A (zh) * 2019-11-26 2020-04-21 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备
CN111161271A (zh) * 2019-12-31 2020-05-15 电子科技大学 一种超声图像分割方法
EP3866113A1 (en) * 2020-02-17 2021-08-18 Agile Robots AG Image segmentation methods and apparatus
CN113450359A (zh) * 2020-03-25 2021-09-28 腾讯医疗健康(深圳)有限公司 医学图像分割、显示、模型训练方法、系统、设备和介质
CN112258524A (zh) * 2020-10-20 2021-01-22 推想医疗科技股份有限公司 一种多分支图像分割方法、装置、介质及电子设备
CN112785569A (zh) * 2021-01-19 2021-05-11 浙江工业大学 基于边缘指导和多尺度融合的全景片龋齿分割方法
CN112419320A (zh) * 2021-01-22 2021-02-26 湖南师范大学 基于sam与多层uda的跨模态心脏分割方法
US20220318459A1 (en) * 2021-03-25 2022-10-06 Nvidia Corporation Robotic tactile sensing
CN113205523A (zh) * 2021-04-29 2021-08-03 浙江大学 多尺度表征优化的医学影像分割识别系统、终端及存储介质
CN115170582A (zh) * 2022-06-13 2022-10-11 武汉科技大学 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN115424021A (zh) * 2022-09-22 2022-12-02 湖南师范大学 基于特征复用和多尺度权重卷积的右心室分割方法及装置
CN116843696A (zh) * 2023-04-27 2023-10-03 山东省人工智能研究院 基于特征相似性和超参数卷积注意力的心脏mri分割方法
CN116563265A (zh) * 2023-05-23 2023-08-08 山东省人工智能研究院 基于多尺度注意力和自适应特征融合的心脏mri分割方法
CN117058307A (zh) * 2023-07-04 2023-11-14 北京师范大学 心脏三维核磁共振图像生成方法、系统、设备及储存介质

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
A. KARTHIK: "Cardiac Left Ventricle Segmentation using Recurrent U-Net and Level Set with Short Axis MRI Images", 《2022 INTERNATIONAL CONFERENCE ON ADVANCES IN COMPUTING, COMMUNICATION AND APPLIED INFORMATICS (ACCAI)》, 15 April 2022 (2022-04-15) *
CHAO JIA: "AMO-Net: abdominal multi-organ segmentation in MRI with a extend Unet", 《2021 IEEE 4TH ADVANCED INFORMATION MANAGEMENT, COMMUNICATES, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (IMCEC)》, 19 July 2021 (2021-07-19) *
DA CHEN: "A Generalized Asymmetric Dual-Front Model for Active Contours and Image Segmentation", 《IEEE TRANSACTIONS ON IMAGE PROCESSING ( VOLUME: 30)》, 12 March 2021 (2021-03-12) *
MATTHEW NG: "Estimating Uncertainty in Neural Networks for Cardiac MRI Segmentation: A Benchmark Study:", 《ARXIV》, 30 December 2022 (2022-12-30) *
TARUN KANTI GHOSH: "Multi-Class Probabilistic Atlas-Based Whole Heart Segmentation Method in Cardiac CT and MRI", 《IEEE ACCESS ( VOLUME: 9)》, 3 March 2021 (2021-03-03) *
XIAOJIAO XIAO: "Edge-aware Multi-task Network for Integrating Quantification Segmentation and Uncertainty Prediction of Liver Tumor on Multi-modality Non-contrast MRI", 《ARXIV》, 4 July 2023 (2023-07-04) *
YANRONG HOU: "Deep Neural Network Denoising Model Based on Sparse Representation Algorithm for ECG Signal", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT ( VOLUME: 72)》, 7 May 2023 (2023-05-07) *
刘照阳: "蓝牙心电采集终端的设计与实现", 《自动化仪表》, 31 August 2018 (2018-08-31) *
徐佳陈: "基于深度学习的心脏分割算法研究", 《中国优秀硕士论文全文数据库》, 15 February 2023 (2023-02-15) *
徐佳陈: "心脏动态MRI图像分割的时空多尺度网络", 《中国图象图形学报》, 31 March 2022 (2022-03-31) *
杨明: "面向农村基层的医疗云系统设计与实现", 《山东科学》, 31 January 2017 (2017-01-31) *
王位: "基于深度学习的MRI心脏图像自动分割", 《中国优秀硕士论文全文数据库》, 15 August 2021 (2021-08-15) *

Also Published As

Publication number Publication date
CN117635942B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN109447998B (zh) 基于PCANet深度学习模型下的自动分割方法
CN108346145A (zh) 一种病理切片中非常规细胞的识别方法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN113674253A (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN110619641A (zh) 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法
CN111080657A (zh) 基于卷积神经网络多维度融合的ct图像器官分割方法
CN113192076B (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN113327258A (zh) 一种基于深度学习的肺部ct图像识别方法
CN114202545A (zh) 一种基于UNet++的低级别胶质瘤图像分割方法
CN110349170B (zh) 一种全连接crf级联fcn和k均值脑肿瘤分割算法
CN117078941B (zh) 一种基于上下文级联注意力的心脏mri分割方法
CN112348830B (zh) 基于改进3D U-Net的多器官分割方法
CN113129310B (zh) 一种基于注意力路由的医学图像分割系统
CN112288749A (zh) 一种基于深度迭代融合深度学习模型的颅骨图像分割方法
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN118430790A (zh) 一种基于多模态图神经网络的乳腺肿瘤bi-rads分级方法
CN110992309A (zh) 基于深层信息传递网络的眼底图像分割方法
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
CN117853861A (zh) 农作物病害识别模型的训练方法及农作物病害识别方法
CN109740669A (zh) 一种基于深度特征聚合的乳腺癌病理图像分类方法
CN116778158B (zh) 基于改进u形网络的多组织成分图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant