CN117649523A - 一种基于LUnetr模型的可变心脏MRI分割方法 - Google Patents
一种基于LUnetr模型的可变心脏MRI分割方法 Download PDFInfo
- Publication number
- CN117649523A CN117649523A CN202311599251.1A CN202311599251A CN117649523A CN 117649523 A CN117649523 A CN 117649523A CN 202311599251 A CN202311599251 A CN 202311599251A CN 117649523 A CN117649523 A CN 117649523A
- Authority
- CN
- China
- Prior art keywords
- feature map
- convolution layer
- layer
- block
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 37
- 102100031786 Adiponectin Human genes 0.000 claims abstract description 6
- 101000775469 Homo sapiens Adiponectin Proteins 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 164
- 230000003993 interaction Effects 0.000 claims description 132
- 230000006870 function Effects 0.000 claims description 120
- 239000013598 vector Substances 0.000 claims description 66
- 230000004913 activation Effects 0.000 claims description 65
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 47
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 20
- 102100029792 Dentin sialophosphoprotein Human genes 0.000 claims description 18
- 101000865404 Homo sapiens Dentin sialophosphoprotein Proteins 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 9
- 230000000747 cardiac effect Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 16
- 230000009466 transformation Effects 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 210000005003 heart tissue Anatomy 0.000 description 1
- 210000003709 heart valve Anatomy 0.000 description 1
- 210000001308 heart ventricle Anatomy 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
一种基于LUnetr模型的可变心脏MRI分割方法，涉及医学图像分割技术领域，通过对ACDC数据集中的数据进行预处理，将预处理后的数据集通过编码器中的MBConv模块以及pooling‑style模块得到特征图。然后将该特征图输入到解码器中，将LUnetr Block模块加入到解码器中，可以从全局和局部两个分支进行提取特征，充分利用融合特征中的有用信息，来确保对每个图像进行精准的分割，得到最终分割图像。科学有效的增强提取特征的效果，充分利用全局特征和局部特征相结合的方法来处理特征提取问题，提高了心脏图像分割的精准性以及高效性。
Description
技术领域
本发明涉及医学图像分割技术领域，具体涉及一种基于LUnetr模型的可变心脏MRI分割方法。
背景技术
心脏MRI影像分割是指将心脏磁共振成像数据中心的心脏区域与其他组织区域进行更加准确的分割。心脏磁共振成像就是一种非侵入式的影像技术，可以通过磁场和无线电波来生成具有高空间率、高可对比度和多模态的心脏成像图片。心脏MRI分割是一项非常困难的任务，需要医生对于人体的解剖结构知识具有深刻的理解，但数据由于图像采集时，数据预处理、成像设备和分割算法多个外在因素的影响，MRI图像仍然会存在着许多噪声干扰、伪影。心脏具有多个结构和组织，例如心房、心室、心肌、心瓣膜等，每一个区域都在形状、大小都有着不同的特征。心脏影像的复杂性以及多样性让心脏区域的影像分割变得困难。目前，心脏MRI影像分割的研究主要是集中在心脏组织结构提取和分析方面。自动分割仍然无法取得较高的准确率，MRI图像的质量可能受到多种因素的影响，例如运动伪影、伪影、噪声、个体差异性等，这都可能导致分割算法难以准确地识别心脏结构。
发明内容
本发明为了克服以上技术的不足，提供了一种提高心脏MRI分割精度的方法。本发明克服其技术问题所采用的技术方案是：
一种基于LUnetr模型的可变心脏MRI分割方法，包括：
a)获取J张心脏MRI图像数据，得到MRI图像数据集X，X＝{X1,X2,...,Xi,...,XJ}，其中Xi为第i张MRI图像，i∈{1,...,J}；
b)对MRI图像数据集X行预处理，得到预处理后的MRI图像数据集X′，X′＝{X′1,X′2,...,X′i,...,X′J}，其中X′i为预处理后的第i张MRI图像；
c)将预处理后的MRI图像数据集X′划分为训练集、验证集、测试集；
d)建立分割网络模型，分割网络模型由编码器、解码器构成；
e)将训练集中预处理后的第i张MRI图像X′i输入到分割网络模型的编码器中，输出得到特征图Fm′5-i；
f)将特征图Fm′5-i输入到分割网络模型的解码器中，输出得到分割图像Yn0-i；
g)对分割网络模型进行训练，得到优化后的分割网络模型；
h)将测试集中第i张MRI图像Xi输入到优化后的分割网络模型中，输出得到分割图像Y′n0-i。
进一步的，步骤a)中从自动心脏诊断挑战赛ACDC数据库中获取J张心脏MRI图像数据。
进一步的，步骤b)包括如下步骤：
b-1)利用numpy库中的GetArrayFromImage()函数将第i张MRI图像Xi转换为Numpy数组，通过Numpy数组的索引得到2D切片图像
b-2)使用SimplelTK库中的Resample函数2D切片图像进行重采样得到像素间距为(1.5,1.5)的图像/>
b-3)根据过Numpy数组的索引对图像进行中心剪裁得到图像/>
b-4)将图像进行归一化操作，得到预处理后的第i张的MRI图像X′i，各个预处理后的MRI图像构成预处理后的MRI图像数据集X′＝{X′1,X′2,...,X′i,...,X′J}。
进一步的，步骤c)中将预处理后的MRI图像数据集X′按7:1:2的比例划分为训练集、验证集、测试集。
进一步的，步骤e)包括如下步骤：
e-1)分割网络模型的编码器由第一MBConv块、第一pooling-style块、第二MBConv块、第二pooling-style块、第三MBConv块、第三pooling-style块、第四MBConv块、第四pooling-style块、第五MBConv块、DSPP模块构成；e-2)编码器的第一MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将训练集中预处理后的第i张MRI图像Xi′输入到第一MBConv块中，输出得到特征图Fm1-i；
e-3)编码器的第一pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm1-i输入到第一pooling-style块中，输出得到特征图Fm1′-i；
e-4)编码器的第二MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm1′-i输入到第二MBConv块中，输出得到特征图Fm2-i；
e-5)编码器的第二pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm2-i输入到第二pooling-style块中，输出得到特征图Fm2′-i；
e-6)编码器的第三MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm2′-i输入到第三MBConv块中，输出得到特征图Fm3-i；
e-7)编码器的第三pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm3-i输入到第三pooling-style块中，输出得到特征图Fm3′-i；
e-8)编码器的第四MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm3′-i输入到第四MBConv块中，输出得到特征图Fm4-i；
e-9)编码器的第四pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm4-i输入到第四pooling-style块中，输出得到特征图Fm4′-i；
e-10)编码器的第五MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm4′-i输入到第五MBConv块中，输出得到特征图Fm5-i；
e-11)编码器的DSPP模块由第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第四膨胀卷积层构成，将特征图Fm5-i输入到第一膨胀卷积层中，输出得到特征图将特征图Fm5-i输入到第二膨胀卷积层中，输出得到特征图/>将特征图Fm5-i输入到第三膨胀卷积层中，输出得到特征图/>将特征图Fm5-i输入到第四膨胀卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作，得到特征图Fm5′-i。
优选的，步骤e-2)中第一MBConv块的第一卷积层的卷积核大小为1×1，第一MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第一MBConv块的第二卷积层的卷积核大小为1×1；步骤e-3)中第一pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第一pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-4)中第二MBConv块的第一卷积层的卷积核大小为1×1，第二MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第二MBConv块的第二卷积层的卷积核大小为1×1；步骤e-5)中第二pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第二pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-6)中第三MBConv块的第一卷积层的卷积核大小为1×1，第三MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第三MBConv块的第二卷积层的卷积核大小为1×1；步骤e-7)中第三pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第三pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-8)中第四MBConv块的第一卷积层的卷积核大小为1×1，第四MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第四MBConv块的第二卷积层的卷积核大小为1×1；步骤e-9)中第四pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第四pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-10)中第五MBConv块的第一卷积层的卷积核大小为1×1，第五MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第五MBConv块的第二卷积层的卷积核大小为1×1；步骤e-11)中DSPP模块的第一膨胀卷积层的膨胀系数为6，DSPP模块的第二膨胀卷积层的膨胀系数为12，DSPP模块的第三膨胀卷积层的膨胀系数为18，DSPP模块的第四膨胀卷积层的膨胀系数为24。
进一步的，步骤f)包括如下步骤：
f-1)分割网络模型的解码器由第一上采样层、第一LUnetr Block块、第二上采样层、第二LUnetr Block块、第三上采样层、第三LUnetr Block块、第四上采样层、第四LUnetrBlock块、卷积层构成；
f-2)将特征图Fm′5-i输入到解码器的第一上采样层中，输出得到特征图Yn4-i，将特征图Yn4-i与特征图Fm′4-i进行拼接操作，得到特征图Yn′4-i；
f-3)解码器的第一LUnetr Block块由局部交互分支、全局交互分支构成，第一LUnetr Block块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn′4-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作得到特征图/>第一LUnetr Block块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″4-i；
f-4)将特征图Yn″4-i输入到解码器的第二上采样层中，输出得到特征图Yn3-i，将特征图Yn3-i与特征图Fm′3-i进行拼接操作，得到特征图Yn′3-i；
f-5)解码器的第二LUnetr Block块由局部交互分支、全局交互分支构成，第二LUnetr Block块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn3′-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作得到特征图/>第二LUnetrBlock块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″3-i；
f-6)将特征图Yn″3-i输入到解码器的第三上采样层中，输出得到特征图Yn2-i，将特征图Yn2-i与特征图Fm′2-i进行拼接操作，得到特征图Yn′2-i；
f-7)解码器的第三LUnetr Block块由局部交互分支、全局交互分支构成，第二LUnetr Block块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn′2-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作得到特征图/>第三LUnetrBlock块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″2-i；
f-8)将特征图Yn″2-i输入到解码器的第四上采样层中，输出得到特征图Yn1-i，将特征图Yn1-i与特征图Fm′1-i进行拼接操作，得到特征图Yn′1-i；
f-9)解码器的第四LUnetr Block块由局部交互分支、全局交互分支构成，第二LUnetr Block块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn′1-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作得到特征图/>第四LUnetrBlock块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″1-i；
f-10)将特征图Yn″1-i输入到解码器的卷积层中，输出得到分割图像Yn0-i。优选的，步骤f-3)中第一LUnetr Block块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-5)中第二LUnetr Block块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-7)中第三LUnetr Block块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-9)中第四LUnetr Block块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-10)中解码器的卷积层的卷积核大小为1×1。
进一步的，步骤g)中使用Adam优化器利用交叉熵损失函数对分割网络模型进行训练，得到优化后的分割网络模型。
优选的，训练分割网络模型时初始学习率为2×10-4，batch size设置为128，epoch设置为1000，学习率lr设置为0.001.超参数ω设置为0.05。
本发明的有益效果是：通过对ACDC数据集中的数据进行预处理，将预处理后的数据集通过编码器中的MBConv模块以及pooling-style模块得到特征图。然后将该特征图输入到解码器中，将LUnetr Block模块加入到解码器中，可以从全局和局部两个分支进行提取特征，充分利用融合特征中的有用信息，来确保对每个图像进行精准的分割，得到最终分割图像。相较于其他方法，本专利科学有效的增强提取特征的效果，充分利用全局特征和局部特征相结合的方法来处理特征提取问题，提高了心脏图像分割的精准性以及高效性。
附图说明
图1为本发明的分割网络模型结构图；
图2为本发明的pooling-style模块的结构图；
图3为本发明的LUnetr Block模块的结构图；
图4为本发明的MD-FFN模块的结构图。
具体实施方式
下面结合附图1至附图4对本发明做进一步说明。
一种基于LUnetr模型的可变心脏MRI分割方法，包括：
a)获取J张心脏MRI图像数据，得到MRI图像数据集X，X＝{X1,X2,...,Xi,...,XJ}，其中Xi为第i张MRI图像，i∈{1,...,J}。
b)对MRI图像数据集X行预处理，得到预处理后的MRI图像数据集X′，X′＝{X′1,X′2,...,X′i,...,X′J}，其中X′i为预处理后的第i张MRI图像。
c)将预处理后的MRI图像数据集X′划分为训练集、验证集、测试集。
d)建立分割网络模型，分割网络模型由编码器、解码器构成。
e)将训练集中预处理后的第i张MRI图像X′i输入到分割网络模型的编码器中，输出得到特征图Fm′5-i。
f)将特征图Fm′5-i输入到分割网络模型的解码器中，输出得到分割图像Yn0-i。
g)对分割网络模型进行训练，得到优化后的分割网络模型。
h)将测试集中第i张MRI图像Xi输入到优化后的分割网络模型中，输出得到分割图像Y′n0-i。
在本发明的一个实施例中，步骤a)中从自动心脏诊断挑战赛ACDC数据库中获取J张心脏MRI图像数据。
为了验证本专利方法的可靠性，进行了一系列实验，在实验中实现了不同模型对ACDC数据集中的RV、Myo、LV区域的IOU、Dice系数的效果。效果如表1所示：
表1
如表1所示，在我们的实验方式中，我们针对U-Net、SegNet、Swin-Unet流行的深度学习的方法，还有专利中提到的LUnetr模型进行做了一个比较。通过我们的方法，实现了图像的分割，评价指标分别是Iou、Dice系数，在实验中，我们详细地做了每一个实验，对不同区域的这两个指标做了调优，充分体现了我们模型的较高的分割效果。从上表中的数据可以清晰的看出，本专利提出的模型，无论在Iou，还是Dice系数上性能都达到了很好的水平，并且相较于其他三个模型，在RV、Myo、LV三个区域的Iou都有了不同程度的提升,提升幅度在1％-6％不等。Dice系数也是有了长足的发展，相较于之前，有1％左右的增长。
在本发明的一个实施例中，步骤b)包括如下步骤：
b-1)利用numpy库中的GetArrayFromImage()函数将第i张MRI图像Xi转换为Numpy数组，通过Numpy数组的索引得到2D切片图像
b-2)使用SimplelTK库中的Resample函数2D切片图像进行重采样得到像素间距为(1.5,1.5)的图像/>
b-3)根据过Numpy数组的索引对图像进行中心剪裁得到图像/>
b-4)将图像进行z-score归一化操作，得到预处理后的第i张的MRI图像X′i，各个预处理后的MRI图像构成预处理后的MRI图像数据集X′＝{X′1,X′2,...,X′i,...,X′J}。
在本发明的一个实施例中，步骤c)中将预处理后的MRI图像数据集X′按7:1:2的比例划分为训练集、验证集、测试集。
在本发明的一个实施例中，步骤e)包括如下步骤：
e-1)分割网络模型的编码器由第一MBConv块、第一pooling-style块、第二MBConv块、第二pooling-style块、第三MBConv块、第三pooling-style块、第四MBConv块、第四pooling-style块、第五MBConv块、DSPP模块构成。
e-2)编码器的第一MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将训练集中预处理后的第i张MRI图像X′i输入到第一MBConv块中，输出得到特征图Fm1-i。预处理后的第i张MRI图像X′i在第一BN层中进行归一化处理，使用第一Swish激活函数进行非线性变换，Depthwise Conv卷积层进行卷积运算，同时通过第二BN层进行归一化处理，使用第二Swish激活函数进行非线性变换，SE模块及第二卷积层接受SE模块的输出，第三BN层进行归一化处理。
e-3)编码器的第一pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm1-i输入到第一pooling-style块中，输出得到特征图Fm′1-i。
e-4)编码器的第二MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm′1-i输入到第二MBConv块中，输出得到特征图Fm2-i。特征图Fm′1-i在第一BN层中进行归一化处理，使用第一Swish激活函数进行非线性变换，DepthwiseConv卷积层进行卷积运算，同时通过第二BN层进行归一化处理，使用第二Swish激活函数进行非线性变换，SE模块及第二卷积层接受SE模块的输出，第三BN层进行归一化处理。
e-5)编码器的第二pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm2-i输入到第二pooling-style块中，输出得到特征图Fm′2-i。
e-6)编码器的第三MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm′2-i输入到第三MBConv块中，输出得到特征图Fm3-i。特征图Fm′2-i在第一BN层中进行归一化处理，使用第一Swish激活函数进行非线性变换，DepthwiseConv卷积层进行卷积运算，同时通过第二BN层进行归一化处理，使用第二Swish激活函数进行非线性变换，SE模块及第二卷积层接受SE模块的输出，第三BN层进行归一化处理。
e-7)编码器的第三pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm3-i输入到第三pooling-style块中，输出得到特征图Fm′3-i。
e-8)编码器的第四MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm′3-i输入到第四MBConv块中，输出得到特征图Fm4-i。特征图Fm′3-i在第一BN层中进行归一化处理，使用第一Swish激活函数进行非线性变换，DepthwiseConv卷积层进行卷积运算，同时通过第二BN层进行归一化处理，使用第二Swish激活函数进行非线性变换，SE模块及第二卷积层接受SE模块的输出，第三BN层进行归一化处理。
e-9)编码器的第四pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm4-i输入到第四pooling-style块中，输出得到特征图Fm′4-i。
e-10)编码器的第五MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm′4-i输入到第五MBConv块中，输出得到特征图Fm5-i。特征图Fm′4-i在第一BN层中进行归一化处理，使用第一Swish激活函数进行非线性变换，DepthwiseConv卷积层进行卷积运算，同时通过第二BN层进行归一化处理，使用第二Swish激活函数进行非线性变换，SE模块及第二卷积层接受SE模块的输出，第三BN层进行归一化处理。
e-11)编码器的DSPP模块由第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第四膨胀卷积层构成，将特征图Fm5-i输入到第一膨胀卷积层中，输出得到特征图将特征图Fm5-i输入到第二膨胀卷积层中，输出得到特征图/>将特征图Fm5-i输入到第三膨胀卷积层中，输出得到特征图/>将特征图Fm5-i输入到第四膨胀卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作，得到特征图Fm′5-i。
在该实施例中，步骤e-2)中第一MBConv块的第一卷积层的卷积核大小为1×1，第一MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第一MBConv块的第二卷积层的卷积核大小为1×1；步骤e-3)中第一pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第一pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-4)中第二MBConv块的第一卷积层的卷积核大小为1×1，第二MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第二MBConv块的第二卷积层的卷积核大小为1×1；步骤e-5)中第二pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第二pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-6)中第三MBConv块的第一卷积层的卷积核大小为1×1，第三MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第三MBConv块的第二卷积层的卷积核大小为1×1；步骤e-7)中第三pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第三pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-8)中第四MBConv块的第一卷积层的卷积核大小为1×1，第四MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第四MBConv块的第二卷积层的卷积核大小为1×1；步骤e-9)中第四pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第四pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-10)中第五MBConv块的第一卷积层的卷积核大小为1×1，第五MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第五MBConv块的第二卷积层的卷积核大小为1×1；步骤e-11)中DSPP模块的第一膨胀卷积层的膨胀系数为6，DSPP模块的第二膨胀卷积层的膨胀系数为12，DSPP模块的第三膨胀卷积层的膨胀系数为18，DSPP模块的第四膨胀卷积层的膨胀系数为24。
在本发明的一个实施例中，步骤f)包括如下步骤：
f-1)分割网络模型的解码器由第一上采样层、第一LUnetr Block块、第二上采样层、第二LUnetr Block块、第三上采样层、第三LUnetr Block块、第四上采样层、第四LUnetrBlock块、卷积层构成。
f-2)将特征图Fm′5-i输入到解码器的第一上采样层中，输出得到特征图Yn4-i，将特征图Yn4-i与特征图Fm′4-i进行拼接操作，得到特征图Yn′4-i。
f-3)解码器的第一LUnetr Block块由局部交互分支、全局交互分支构成，第一LUnetr Block块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，ViT模型时一种基于自注意力机制的模型，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn4′-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作得到特征图/>第一LUnetr Block块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，Swin ViT模型为基于注意力的模型，对图像进行分块处理，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″4-i。
f-4)将特征图Yn″4-i输入到解码器的第二上采样层中，输出得到特征图Yn3-i，将特征图Yn3-i与特征图Fm′3-i进行拼接操作，得到特征图Yn′3-i。
f-5)解码器的第二LUnetr Block块由局部交互分支、全局交互分支构成，第二LUnetr Block块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn′3-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作得到特征图/>第二LUnetrBlock块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″3-i。
f-6)将特征图Yn″3-i输入到解码器的第三上采样层中，输出得到特征图Yn2-i，将特征图Yn2-i与特征图Fm′2-i进行拼接操作，得到特征图Yn′2-i。
f-7)解码器的第三LUnetr Block块由局部交互分支、全局交互分支构成，第二LUnetr Block块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn′2-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>、特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作得到特征图/>第三LUnetrBlock块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″2-i。
f-8)将特征图Yn″2-i输入到解码器的第四上采样层中，输出得到特征图Yn1-i，将特征图Yn1-i与特征图Fm′1-i进行拼接操作，得到特征图Yn′1-i。
f-9)解码器的第四LUnetr Block块由局部交互分支、全局交互分支构成，第二LUnetr Block块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn1′-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作得到特征图/>第四LUnetrBlock块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″1-i。
f-10)将特征图Yn″1-i输入到解码器的卷积层中，输出得到分割图像Yn0-i。在该实施例中，步骤f-3)中第一LUnetr Block块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-5)中第二LUnetr Block块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-7)中第三LUnetr Block块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-9)中第四LUnetr Block块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-10)中解码器的卷积层的卷积核大小为1×1。
在本发明的一个实施例中，步骤g)中使用Adam优化器利用交叉熵损失函数对分割网络模型进行训练，得到优化后的分割网络模型。在该实施例中，优选的训练分割网络模型时初始学习率为2×10-4，batch size设置为128，epoch设置为1000，学习率lr设置为0.001.超参数ω设置为0.05。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于LUnetr模型的可变心脏MRI分割方法，其特征在于，包括：
a)获取J张心脏MRI图像数据，得到MRI图像数据集X，X＝{X1,X2,...,Xi,...,XJ}，其中Xi为第i张MRI图像，i∈{1,...,J}；
b)对MRI图像数据集X行预处理，得到预处理后的MRI图像数据集X′，X′＝{X′1,X′2,...,X′i,...,X′J}，其中X′i为预处理后的第i张MRI图像；
c)将预处理后的MRI图像数据集X′划分为训练集、验证集、测试集；
d)建立分割网络模型，分割网络模型由编码器、解码器构成；
e)将训练集中预处理后的第i张MRI图像X′i输入到分割网络模型的编码器中，输出得到特征图Fm′5-i；
f)将特征图Fm′5-i输入到分割网络模型的解码器中，输出得到分割图像Yn0-i；
g)对分割网络模型进行训练，得到优化后的分割网络模型；
h)将测试集中第i张MRI图像Xi输入到优化后的分割网络模型中，输出得到分割图像Y′n0-i。
2.根据权利要求1所述的基于LUnetr模型的可变心脏MRI分割方法，其特征在于：步骤a)中从自动心脏诊断挑战赛ACDC数据库中获取J张心脏MRI图像数据。
3.根据权利要求1所述的基于LUnetr模型的可变心脏MRI分割方法，其特征在于：步骤b)包括如下步骤：
b-1)利用numpy库中的GetArrayFromImage()函数将第i张MRI图像Xi转换为Numpy数组，通过Numpy数组的索引得到2D切片图像
b-2)使用SimplelTK库中的Resample函数2D切片图像进行重采样得到像素间距为(1.5,1.5)的图像/>
b-3)根据过Numpy数组的索引对图像进行中心剪裁得到图像/>
b-4)将图像进行归一化操作，得到预处理后的第i张的MRI图像X′i，各个预处理后的MRI图像构成预处理后的MRI图像数据集X′＝{X′1,X′2,...,X′i,...,X′J}。
4.根据权利要求1所述的基于LUnetr模型的可变心脏MRI分割方法，其特征在于：步骤c)中将预处理后的MRI图像数据集X′按7:1:2的比例划分为训练集、验证集、测试集。
5.根据权利要求1所述的基于LUnetr模型的可变心脏MRI分割方法，其特征在于，步骤e)包括如下步骤：
e-1)分割网络模型的编码器由第一MBConv块、第一pooling-style块、第二MBConv块、第二pooling-style块、第三MBConv块、第三pooling-style块、第四MBConv块、第四pooling-style块、第五MBConv块、DSPP模块构成；
e-2)编码器的第一MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将训练集中预处理后的第i张MRI图像X′i输入到第一MBConv块中，输出得到特征图Fm1-i；
e-3)编码器的第一pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm1-i输入到第一pooling-style块中，输出得到特征图Fm′1-i；
e-4)编码器的第二MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm′1-i输入到第二MBConv块中，输出得到特征图Fm2-i；
e-5)编码器的第二pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm2-i输入到第二pooling-style块中，输出得到特征图Fm′2-i；
e-6)编码器的第三MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm′2-i输入到第三MBConv块中，输出得到特征图Fm3-i；
e-7)编码器的第三pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm3-i输入到第三pooling-style块中，输出得到特征图Fm3′-i；
e-8)编码器的第四MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm3′-i输入到第四MBConv块中，输出得到特征图Fm4-i；
e-9)编码器的第四pooling-style块依次由第一卷积层、第二卷积层、第三卷积层、第一全连接层构成，将特征图Fm4-i输入到第四pooling-style块中，输出得到特征图Fm4′-i；
e-10)编码器的第五MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、Depthwise Conv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Fm4′-i输入到第五MBConv块中，输出得到特征图Fm5-i；
e-11)编码器的DSPP模块由第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第四膨胀卷积层构成，将特征图Fm5-i输入到第一膨胀卷积层中，输出得到特征图将特征图Fm5-i输入到第二膨胀卷积层中，输出得到特征图/>将特征图Fm5-i输入到第三膨胀卷积层中，输出得到特征图/>将特征图Fm5-i输入到第四膨胀卷积层中，输出得到特征图将特征图/>特征图/>特征图/>特征图/>进行拼接操作，得到特征图Fm5′-i。
6.根据权利要求5所述的基于LUnetr模型的可变心脏MRI分割方法，其特征在于：步骤e-2)中第一MBConv块的第一卷积层的卷积核大小为1×1，第一MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第一MBConv块的第二卷积层的卷积核大小为1×1；步骤e-3)中第一pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第一pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-4)中第二MBConv块的第一卷积层的卷积核大小为1×1，第二MBConv块的DepthwiseConv卷积层的卷积核大小为3×3，第二MBConv块的第二卷积层的卷积核大小为1×1；步骤e-5)中第二pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第二pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-6)中第三MBConv块的第一卷积层的卷积核大小为1×1，第三MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第三MBConv块的第二卷积层的卷积核大小为1×1；步骤e-7)中第三pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第三pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-8)中第四MBConv块的第一卷积层的卷积核大小为1×1，第四MBConv块的Depthwise Conv卷积层的卷积核大小为3×3，第四MBConv块的第二卷积层的卷积核大小为1×1；步骤e-9)中第四pooling-style块的第一卷积层及第二卷积层的卷积核大小均为2×2、步长均为2、填充均为0，第四pooling-style块的第三卷积层的卷积核大小为1×1；步骤e-10)中第五MBConv块的第一卷积层的卷积核大小为1×1，第五MBConv块的DepthwiseConv卷积层的卷积核大小为3×3，第五MBConv块的第二卷积层的卷积核大小为1×1；步骤e-11)中DSPP模块的第一膨胀卷积层的膨胀系数为6，DSPP模块的第二膨胀卷积层的膨胀系数为12，DSPP模块的第三膨胀卷积层的膨胀系数为18，DSPP模块的第四膨胀卷积层的膨胀系数为24。
7.根据权利要求1所述的基于LUnetr模型的可变心脏MRI分割方法，其特征在于，步骤f)包括如下步骤：
f-1)分割网络模型的解码器由第一上采样层、第一LUnetr Block块、第二上采样层、第二LUnetr Block块、第三上采样层、第三LUnetr Block块、第四上采样层、第四LUnetrBlock块、卷积层构成；
f-2)将特征图Fm′5-i输入到解码器的第一上采样层中，输出得到特征图Yn4-i，将特征图Yn4-i与特征图Fm′4-i进行拼接操作，得到特征图Yn′4-i；
f-3)解码器的第一LUnetr Block块由局部交互分支、全局交互分支构成，第一LUnetrBlock块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、DepthwiseConv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn4′-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图将特征图/>与特征图/>进行拼接操作得到特征图/>第一LUnetr Block块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″4-i；
f-4)将特征图Yn″4-i输入到解码器的第二上采样层中，输出得到特征图Yn3-i，将特征图Yn3-i与特征图Fm′3-i进行拼接操作，得到特征图Yn′3-i；
f-5)解码器的第二LUnetr Block块由局部交互分支、全局交互分支构成，第二LUnetrBlock块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、DepthwiseConv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn′3-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图将特征图/>与特征图/>进行拼接操作得到特征图/>第二LUnetr Block块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″3-i；
f-6)将特征图Yn″3-i输入到解码器的第三上采样层中，输出得到特征图Yn2-i，将特征图Yn2-i与特征图Fm′2-i进行拼接操作，得到特征图Yn′2-i；
f-7)解码器的第三LUnetr Block块由局部交互分支、全局交互分支构成，第二LUnetrBlock块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、DepthwiseConv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn′2-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图将特征图/>与特征图/>进行拼接操作得到特征图/>第三LUnetr Block块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″2-i；
f-8)将特征图Yn″2-i输入到解码器的第四上采样层中，输出得到特征图Yn1-i，将特征图Yn1-i与特征图Fm′1-i进行拼接操作，得到特征图Yn′1-i；
f-9)解码器的第四LUnetr Block块由局部交互分支、全局交互分支构成，第二LUnetrBlock块的局部交互分支由MBConv块、ViT模型、torch.flatten()函数、MD-FNN模块构成，局部交互分支的MBConv块依次由第一卷积层、第一BN层、第一Swish激活函数、DepthwiseConv卷积层、第二BN层、第二Swish激活函数、SE模块、第二卷积层、第三BN层、Dropout层构成，将特征图Yn1′-i输入到MBConv块中，输出得到特征图将特征图/>输入到局部交互分支的ViT模型中，输出得到一系列空间连续的patch，使用torch.flatten()函数将该一系列空间连续的patch转换为M个一维向量，局部交互分支的MD-FNN模块由第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层、第二卷积层构成，将M个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图将特征图/>与特征图/>进行拼接操作得到特征图/>第四LUnetr Block块的全局交互分支由Swin ViT模型、torch.flatten()函数、MD-FNN模块、卷积层构成，将特征图/>输入到全局交互分支的Swin ViT模型中，输出得到使用torch.flatten()函数将该一系列空间连续的patch转换为P个一维向量，将P个一维向量输入到MD-FNN模块的第一卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第一深度卷积层中，输出得到特征图/>将特征图/>输入到MD-FNN模块的第二深度卷积层中，输出得到特征图将特征图/>输入到MD-FNN模块的第三深度卷积层中，输出得到特征图/>将特征图/>特征图/>特征图/>特征图/>进行拼接操作得到特征图/>将特征图/>输入到MD-FNN模块的第二卷积层中，输出得到特征图/>将特征图/>与特征图/>进行拼接操作，得到特征图/>将特征图/>与特征图/>通过加权的方式求和后输入到全局交互分支的卷积层中，输出得到特征图Yn″1-i；
f-10)将特征图Yn″1-i输入到解码器的卷积层中，输出得到分割图像Yn0-i。
8.根据权利要求7所述的基于LUnetr模型的可变心脏MRI分割方法，其特征在于：步骤f-3)中第一LUnetr Block块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-5)中第二LUnetr Block块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-7)中第三LUnetrBlock块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-9)中第四LUnetr Block块的局部交互分支的MD-FNN模块的第一卷积层的卷积核大小为1×1，第一深度卷积层的卷积核大小为1，第二深度卷积层的卷积核大小为3，第三深度卷积层的卷积核大小为5，第二卷积层的卷积核大小为1×1，全局交互分支的卷积层的卷积核大小为1×1；步骤f-10)中解码器的卷积层的卷积核大小为1×1。
9.根据权利要求1所述的基于LUnetr模型的可变心脏MRI分割方法，其特征在于：步骤g)中使用Adam优化器利用交叉熵损失函数对分割网络模型进行训练，得到优化后的分割网络模型。
10.根据权利要求9所述的基于LUnetr模型的可变心脏MRI分割方法，其特征在于：训练分割网络模型时初始学习率为2×10-4，batch size设置为128，epoch设置为1000，学习率lr设置为0.001.超参数ω设置为0.05。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311599251.1A CN117649523B (zh) | 2023-11-28 | 2023-11-28 | 一种基于LUnetr模型的可变心脏MRI分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311599251.1A CN117649523B (zh) | 2023-11-28 | 2023-11-28 | 一种基于LUnetr模型的可变心脏MRI分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117649523A true CN117649523A (zh) | 2024-03-05 |
| CN117649523B CN117649523B (zh) | 2024-07-09 |
Family
ID=90048884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311599251.1A Active CN117649523B (zh) | 2023-11-28 | 2023-11-28 | 一种基于LUnetr模型的可变心脏MRI分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649523B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180259608A1 (en) * | 2015-11-29 | 2018-09-13 | Arterys Inc. | Automated cardiac volume segmentation |
| US20190223725A1 (en) * | 2018-01-25 | 2019-07-25 | Siemens Healthcare Gmbh | Machine Learning-based Segmentation for Cardiac Medical Imaging |
| EP3830793A1 (en) * | 2018-07-30 | 2021-06-09 | Memorial Sloan Kettering Cancer Center | Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy |
| CN114359293A (zh) * | 2021-12-10 | 2022-04-15 | 南昌大学 | 一种基于深度学习的三维mri脑肿瘤分割方法 |
| CN115830041A (zh) * | 2022-12-01 | 2023-03-21 | 湖南中医药大学 | 一种基于交叉融合卷积与可变形注意力Transformer的3D医学图像分割方法 |
| CN115965633A (zh) * | 2023-01-19 | 2023-04-14 | 重庆理工大学 | 一种结合Transformer和U-Net的医学图像肝脏分割方法及系统 |
| CN116563265A (zh) * | 2023-05-23 | 2023-08-08 | 山东省人工智能研究院 | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 |
| CN116612131A (zh) * | 2023-05-22 | 2023-08-18 | 山东省人工智能研究院 | 一种基于ADC-UNet模型的心脏MRI结构分割方法 |
| CN117078941A (zh) * | 2023-09-22 | 2023-11-17 | 齐鲁工业大学(山东省科学院) | 一种基于上下文级联注意力的心脏mri分割方法 |
-
2023
- 2023-11-28 CN CN202311599251.1A patent/CN117649523B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180259608A1 (en) * | 2015-11-29 | 2018-09-13 | Arterys Inc. | Automated cardiac volume segmentation |
| US20190223725A1 (en) * | 2018-01-25 | 2019-07-25 | Siemens Healthcare Gmbh | Machine Learning-based Segmentation for Cardiac Medical Imaging |
| EP3830793A1 (en) * | 2018-07-30 | 2021-06-09 | Memorial Sloan Kettering Cancer Center | Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy |
| CN114359293A (zh) * | 2021-12-10 | 2022-04-15 | 南昌大学 | 一种基于深度学习的三维mri脑肿瘤分割方法 |
| CN115830041A (zh) * | 2022-12-01 | 2023-03-21 | 湖南中医药大学 | 一种基于交叉融合卷积与可变形注意力Transformer的3D医学图像分割方法 |
| CN115965633A (zh) * | 2023-01-19 | 2023-04-14 | 重庆理工大学 | 一种结合Transformer和U-Net的医学图像肝脏分割方法及系统 |
| CN116612131A (zh) * | 2023-05-22 | 2023-08-18 | 山东省人工智能研究院 | 一种基于ADC-UNet模型的心脏MRI结构分割方法 |
| CN116563265A (zh) * | 2023-05-23 | 2023-08-08 | 山东省人工智能研究院 | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 |
| CN117078941A (zh) * | 2023-09-22 | 2023-11-17 | 齐鲁工业大学(山东省科学院) | 一种基于上下文级联注意力的心脏mri分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117649523B (zh) | 2024-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lyu et al. | Multi-contrast super-resolution MRI through a progressive network | |
| Sun et al. | An adversarial learning approach to medical image synthesis for lesion detection | |
| CN110047138A (zh) | 一种磁共振薄层图像重建方法 | |
| CN109087318A (zh) | 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法 | |
| CN110459301A (zh) | 基于热力图和面部关键点的脑部神经外科导航配准方法 | |
| CN111080657A (zh) | 基于卷积神经网络多维度融合的ct图像器官分割方法 | |
| CN113538616B (zh) | 一种联合PUGAN与改进U-net的磁共振图像重构方法 | |
| CN110444277A (zh) | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 | |
| CN112508953B (zh) | 基于深度神经网络的脑膜瘤快速分割定性方法 | |
| CN116071401B (zh) | 基于深度学习的虚拟ct图像的生成方法及装置 | |
| CN113256749B (zh) | 一种基于高维相关性先验信息的快速磁共振成像重建算法 | |
| WO2024022485A1 (zh) | 基于多尺度判别的计算机血管造影成像合成方法 | |
| CN117078941B (zh) | 一种基于上下文级联注意力的心脏mri分割方法 | |
| CN117237196A (zh) | 基于隐式神经表征的脑部mri超分辨率重建方法及系统 | |
| CN109741439B (zh) | 一种二维mri胎儿图像的三维重建方法 | |
| CN116152235A (zh) | 一种肺癌ct到pet的医学图像跨模态合成方法 | |
| Lu et al. | Two-stage self-supervised cycle-consistency transformer network for reducing slice gap in MR images | |
| CN117475268A (zh) | 一种基于sgdd gan的多模态医学图像融合方法 | |
| CN117649523B (zh) | 一种基于LUnetr模型的可变心脏MRI分割方法 | |
| Qiu et al. | Cardiac Magnetic Resonance Images Superresolution via Multichannel Residual Attention Networks | |
| CN115330600A (zh) | 一种基于改进srgan的肺部ct图像超分辨率方法 | |
| CN112562031B (zh) | 一种基于样本距离重构的核磁共振图像聚类方法 | |
| CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| CN118172251B (zh) | 基于轻量化扩散模型的前列腺mri超分辨率重建方法 | |
| CN117994143B (zh) | 多模态mr图像合成方法、系统、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |