CN117557675A - 一种深度学习mri图像加速重建方法及系统 - Google Patents
一种深度学习mri图像加速重建方法及系统 Download PDFInfo
- Publication number
- CN117557675A CN117557675A CN202410044133.2A CN202410044133A CN117557675A CN 117557675 A CN117557675 A CN 117557675A CN 202410044133 A CN202410044133 A CN 202410044133A CN 117557675 A CN117557675 A CN 117557675A
- Authority
- CN
- China
- Prior art keywords
- domain data
- image
- module
- sensitivity
- mri
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 32
- 230000001133 acceleration Effects 0.000 title claims abstract description 25
- 230000035945 sensitivity Effects 0.000 claims abstract description 106
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 102
- 230000006872 improvement Effects 0.000 claims abstract description 77
- 102100037707 Down syndrome critical region protein 4 Human genes 0.000 claims abstract description 63
- 101000880955 Homo sapiens Down syndrome critical region protein 4 Proteins 0.000 claims abstract description 63
- 230000009977 dual effect Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000011084 recovery Methods 0.000 claims abstract description 5
- 238000011282 treatment Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 49
- 210000004556 brain Anatomy 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及MRI重建技术领域，尤其涉及一种深度学习MRI图像加速重建方法及系统，所述方法，包括：S1、获取MRI扫描图像集，并对所述MRI扫描图像集进行预处理，得到预处理后的MRI扫描图像集；S2、将预处理后的MRI扫描图像集，输入到已训练好的骨干模型中，所述骨干模型输出初步的MRI图像重建结果；所述骨干模型依次包括：灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及N‑1个第一模块组；所述第一模块组依次包括：灵敏度改进模块SMRB和双域交叉注意力改进模块DCRB；S3、采用恢复模型ShiftNet作为细化网络，对初步的MRI图像重建结果进行细化处理，得到最终的MRI图像重建结果。
Description
技术领域
本发明涉及MRI重建技术领域，尤其涉及一种深度学习MRI图像加速重建方法及系统。
背景技术
磁共振成像（MRI）是一种无创、无辐射的医学成像技术，广泛用于临床疾病诊断、治疗和筛查。因为MRI需要多次的射频（RF）脉冲以填充K空间，与其他医学成像方式，如X射线或计算机断层扫描（CT）相比，通常需要更长的采集时间。最常用的方案是采用多线圈阵列在相位编码方向进行K空间欠采样。然而，在实际应用中，高加速系数会引起混叠干扰并降低重构图像的信噪比（SNR），显著降低图像质量的同时严重影响诊断。为了提高MRI图像的重建效果，人们提出了多种方法，包括部分傅里叶重建、并行成像（PI）、基于稀疏矩阵的压缩感知（CS）以及深度学习（DL）的模型。PI在加速度因子较低时表现良好，但在更高的扫描速率下出现残余混叠或噪声增强等问题。此外，基于CS的方法在加速系数变大时，容易出现模糊。
发明内容
鉴于现有技术的上述缺点、不足，本发明提供一种深度学习MRI图像加速重建方法及系统。
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种深度学习MRI图像加速重建方法，包括：
S1、获取MRI扫描图像集，并对所述MRI扫描图像集进行预处理，得到预处理后的MRI扫描图像集；
S2、将预处理后的MRI扫描图像集，输入到已训练好的骨干模型中，所述骨干模型输出初步的MRI图像重建结果；
所述骨干模型依次包括：灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及N-1个第一模块组；所述第一模块组依次包括：灵敏度改进模块SMRB和双域交叉注意力改进模块DCRB；
S3、采用恢复模型ShiftNet作为细化网络，对初步的MRI图像重建结果进行细化处理，得到最终的MRI图像重建结果。
优选地，所述预处理包括：图像增强处理、数据填充处理。
优选地，所述方法在S1之前还包括：
S0、获取初始训练数据集，并基于所述初始训练数据集，对预先获取的骨干模型进行训练，得到训练好的骨干模型。
优选地，所述S0具体包括：
S01、获取初始训练数据集，所述初始训练数据集为纽约大学fastMRI Initiative数据库的内部24线圈脑MRI数据集；
所述24线圈脑MRI数据集包括：多个维度的MRI的图片；
其中，多个维度包括：时间维度、切片维度、视图维度、对比度维度、加速因子维度；
S02、使用基线模型CAUnet，采用相邻切片重建法ASR对所述初始训练数据集在指定维度上进行相邻K空间的重建处理，以填充缺失的K空间数据得到重建后的初始训练数据集；
S03、采用预先获取的PromptUnet网络对重建后的初始训练数据集中的K空间域数据进行处理，得到相应的提示信息Prompt；
所述重建后的初始训练数据集中的K空间域数据为指定的加速因子条件下的MRI的图片；
S04、基于所述K空间域数据，以及与该K空间域数据所对应的图像域数据以及提示信息Prompt，对预先获取的骨干模型进行训练，直至满足预先指定的训练结束条件，得到训练好的骨干模型；
所述提示信息Prompt包括：提示信息的空间域数据以及提示信息的图像域数据；
预先指定的训练条件为：所述骨干模型的损失函数最小化。
优选地，预先获取的PromptUnet网络是由基线模型CAUnet扩展得到的，具体为：在基线模型CAUnet每个级别的UpBlocks分别一一对应集成用于学习输入类型提示的PromptBlock模块以得到提示信息Prompt。
优选地，
所述骨干模型依次包括：灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及N-1个第一模块组；
所述灵敏度估计模块SMEB，用于接收所述K空间域数据，并针对所述K空间域数据，采用以大核卷积为内核的UNet网络对线圈敏感度SM进行粗略估计，得到线圈敏感度SM估计值，以及还用于将所得到的线圈敏感度SM估计值传输至与该灵敏度估计模块SMEB相邻的双域交叉注意力改进模块DCRB中；
与该灵敏度估计模块SMEB相邻的双域交叉注意力改进模块DCRB，用于接收图像域数据，并根据第一输入信息以及所接收的由该灵敏度估计模块SMEB所传递的线圈敏感度SM估计值，对所述图像域数据、K空间域数据进行更新，得到更新后的图像域数据和更新后的K空间域数据，并将更新后的图像域数据、更新后的K空间域数据和所述线圈敏感度SM估计值传输至与该双域交叉注意力改进模块DCRB相邻的第一模块组中；
所述第一输入信息包括：提示信息的空间域数据、K空间域数据、提示信息的图像域数据；
所述第一模块组中的灵敏度改进模块SMRB，用于基于第二输入信息和所接收到的图像域数据、K空间域数据以及线圈敏感度SM估计值，对所接收到的线圈敏感度SM估计值进行更新，得到更新后的线圈敏感度SM估计值，并将更新后的线圈敏感度SM估计值和所接收到的图像域数据、K空间域数据传输至第一模块组中的双域交叉注意力改进模块DCRB中；
所述第二输入信息包括K空间域数据；
所述第一模块组中的双域交叉注意力改进模块DCRB，用于基于第一输入信息和所接收到的图像域数据、K空间域数据以及线圈敏感度SM估计值，对所接收到的图像域数据和K空间域数据进行更新，得到更新后的图像域数据、更新后的K空间域数据，并将更新后的图像域数据、更新后的K空间域数据和所接收到的线圈敏感度SM估计值传输至相邻的下一第一模块组中。
优选地，
其中，骨干模型中的第t+1个灵敏度改进模块SMRB，采用公式（1）对所接收到的线圈敏感度SM估计值进行更新，得到更新后的线圈敏感度SM估计值；
所述公式（1）为：
；
其中，A*表示A的共轭转置；
A= MF，且M是预先设定的二进制掩码；
F代表傅里叶变换；
是骨干模型中的第t个双域交叉注意力改进模块DCRB对所接收到的图像域数据进行更新，所得到的更新后的图像域数据；
表示/>的共轭转置；
表示K空间域数据；
表示展开算子；
是在对接收到的线圈敏感度SM估计值/>进行更新时所使用到的可学习的更新步长；
表示第三预先设定常数；
骨干模型中的第t个灵敏度改进模块SMRB所接收到的线圈敏感度SM估计值的正则化。
优选地，
所述骨干模型的损失函数为：
表示双域交叉注意力改进模块DCRB上全采样的基准真值；
预先设定的第一系数；
，其中N为骨干模型中双域交叉注意力改进模块DCRB的数量；
是预先设定的固定常数；其中0＜/>＜1；
表示骨干模型中第t个双域交叉注意力改进模块DCRB所得到的更新后的K空间域数据；
表示骨干模型中第N个双域交叉注意力改进模块DCRB所得到的更新后的K空间域数据；
是K空间全采样的基准真值；
是骨干模型中的第N个双域交叉注意力改进模块DCRB对所接收到的图像域数据进行更新，所得到的更新后的图像域数据；
预先设定的第二系数；
预先设定的第三系数；
预先设定的第四系数；
；
为基于K空间域数据获取的估计灵敏度；
表示在估计灵敏度x的方向的变化率；
表示在估计灵敏度y的方向的变化率。
优选地，
其中，在对所述骨干模型进行训练过程中，采用adam优化器对骨干模型的参数进行调整，从而使得所述骨干模型的损失函数最小化。
另一方面，本实施例还提供一种深度学习MRI图像加速重建系统，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述任一所述的深度学习MRI图像加速重建方法。
本发明的有益效果是：本发明的一种深度学习MRI图像加速重建方法及系统，由于将预处理后的MRI扫描图像集，输入到已训练好的骨干模型中，所述骨干模型输出初步的MRI图像重建结果；所述骨干模型依次包括：灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及N-1个第一模块组；所述第一模块组依次包括：灵敏度改进模块SMRB和双域交叉注意力改进模块DCRB，本发明的一种深度学习MRI图像加速重建方法中的训练好的骨干模型是以灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及灵敏度改进模块SMRB为主干，以Prompt为辅助的双流网络结构，充分利用了MRI图像和K空间特征信息，能够捕捉输入数据的局部特征和全局关联，提高了骨干模型对输入数据的理解和建模能力，从而能进一步优化MRI图像重建的质量。
附图说明
图1为本发明的一种深度学习MRI图像加速重建方法流程图；
图2为现有的基线模型CAUnet结构示意图；
图3为本发明实施例中的PromptUnet网络结构示意图；
图4为本发明实施例中的骨干模型的结构示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
实施例一
参见图1，本实施例提供一种深度学习MRI图像加速重建方法，包括：
S1、获取MRI扫描图像集，并对所述MRI扫描图像集进行预处理，得到预处理后的MRI扫描图像集；所述预处理包括：图像增强处理、数据填充处理。
S2、将预处理后的MRI扫描图像集，输入到已训练好的骨干模型中，所述骨干模型输出初步的MRI图像重建结果；
所述骨干模型依次包括：灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及N-1个第一模块组；
所述第一模块组依次包括：灵敏度改进模块SMRB和双域交叉注意力改进模块DCRB；
S3、采用恢复模型ShiftNet作为细化网络，对初步的MRI图像重建结果进行细化处理，得到最终的MRI图像重建结果。
本实施例中通过使用强大的恢复模型ShiftNet作为细化网络，进一步探索图像域中的帧间/对比度一致性，以进行多帧/对比度特征聚合，该细化网络采用堆叠Unet和分组时空移位操作来扩展有效感受野。
在本实施例的实际应用中，所述方法在S1之前还包括：
S0、获取初始训练数据集，并基于所述初始训练数据集，对预先获取的骨干模型进行训练，得到训练好的骨干模型。
所述S0具体包括：
S01、获取初始训练数据集，所述初始训练数据集为纽约大学fastMRI Initiative数据库的内部24线圈脑MRI数据集；
所述24线圈脑MRI数据集包括：多个维度的MRI的图片；
其中，多个维度包括：时间维度、切片维度、视图维度、对比度维度、加速因子维度；
S02、使用基线模型CAUnet，采用相邻切片重建法ASR对所述初始训练数据集在指定维度上进行相邻K空间的重建处理，以填充缺失的K空间数据得到重建后的初始训练数据集；
本实施例中，使用CAUnet网络填充缺失的K空间数据，很大程度上消除图像混叠伪影。
S03、采用预先获取的PromptUnet网络对重建后的初始训练数据集中的K空间域数据进行处理，得到相应的提示信息Prompt；
所述重建后的初始训练数据集中的K空间域数据为指定的加速因子条件下的MRI的图片；
S04、基于所述K空间域数据，以及与该K空间域数据所对应的图像域数据以及提示信息Prompt，对预先获取的骨干模型进行训练，直至满足预先指定的训练结束条件，得到训练好的骨干模型；
所述提示信息Prompt包括：提示信息的空间域数据以及提示信息的图像域数据；预先指定的训练条件为：所述骨干模型的损失函数最小化。
本实施例中的提示信息的空间域数据参见图4中的KR，本实施例中的提示信息的图像域数据参见图4中的XR。
其中，预先获取的PromptUnet网络是由基线模型CAUnet扩展得到的，具体为：在基线模型CAUnet每个级别的UpBlocks分别一一对应集成用于学习输入类型提示的PromptBlock模块以得到提示信息Prompt。
需要说明的是，本实施例中的基线模型CAUnet是一个具有通道注意力的Unet式网络，参见图2，基线模型CAUnet具有3级编码器-解码器结构，每个级别都包含一个编码器、解码器以及对应的skip连接。同时，BottleneckBlock也是神经网络中常见的结构，以降低计算复杂性，同时保持网络的表达能力，得到了本实施例中的预先获取的PromptUnet网络结构如图3所示。
参见图4，所述骨干模型依次包括：灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及N-1个第一模块组；
所述灵敏度估计模块SMEB，用于接收所述K空间域数据，并针对所述K空间域数据，采用以大核卷积为内核的UNet网络对线圈敏感度SM进行粗略估计，得到线圈敏感度SM估计值，以及还用于将所得到的线圈敏感度SM估计值传输至与该灵敏度估计模块SMEB相邻的双域交叉注意力改进模块DCRB中；
与该灵敏度估计模块SMEB相邻的双域交叉注意力改进模块DCRB，用于接收图像域数据，并根据第一输入信息以及所接收的由该灵敏度估计模块SMEB所传递的线圈敏感度SM估计值，对所述图像域数据、K空间域数据进行更新，得到更新后的图像域数据和更新后的K空间域数据，并将更新后的图像域数据、更新后的K空间域数据和所述线圈敏感度SM估计值传输至与该双域交叉注意力改进模块DCRB相邻的第一模块组中；
所述第一输入信息包括：提示信息的空间域数据、K空间域数据、提示信息的图像域数据；
所述第一模块组中的灵敏度改进模块SMRB，用于基于第二输入信息和所接收到的图像域数据、K空间域数据以及线圈敏感度SM估计值，对所接收到的线圈敏感度SM估计值进行更新，得到更新后的线圈敏感度SM估计值，并将更新后的线圈敏感度SM估计值和所接收到的图像域数据、K空间域数据传输至第一模块组中的双域交叉注意力改进模块DCRB中；
所述第二输入信息包括K空间域数据；
所述第一模块组中的双域交叉注意力改进模块DCRB，用于基于第一输入信息和所接收到的图像域数据、K空间域数据以及线圈敏感度SM估计值，对所接收到的图像域数据和K空间域数据进行更新，得到更新后的图像域数据、更新后的K空间域数据，并将更新后的图像域数据、更新后的K空间域数据和所接收到的线圈敏感度SM估计值传输至相邻的下一第一模块组中。
本实施例中训练好的骨干模型中最后一个第一模块组中的双域交叉注意力改进模块DCRB所输出的更新后的图像域数据就作为所述骨干模型输出初步的MRI图像重建结果。
本实施例中整个骨干模型由1个灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及N-1个第一模块组组成。所述第一模块组依次包括：灵敏度改进模块SMRB和双域交叉注意力改进模块DCRB；这样，线圈敏感度SM就可以根据最新更新的图像来调整其“焦点”，同时重建的图像也可以受益于“重新聚焦”的线圈敏感度SM。
在本实施例中，骨干模型中的第t+1个灵敏度改进模块SMRB，采用公式（1）对所接收到的线圈敏感度SM估计值进行更新，得到更新后的线圈敏感度SM估计值；
其中，所述公式（1）为：
；
其中，A*表示A的共轭转置；
A= MF，且M是预先设定的二进制掩码；
F代表傅里叶变换；
是骨干模型中的第t个双域交叉注意力改进模块DCRB对所接收到的图像域数据进行更新，所得到的更新后的图像域数据；
表示/>的共轭转置；
表示K空间域数据；
表示展开算子；
是在对接收到的线圈敏感度SM估计值/>进行更新时所使用到的可学习的更新步长；
是骨干模型中的第t+1个灵敏度改进模块SMRB，对所接收到的线圈敏感度SM估计值进行更新，得到的更新后的线圈敏感度SM估计值；
表示第三预先设定常数；
骨干模型中的第t个灵敏度改进模块SMRB所接收到的线圈敏感度SM估计值的正则化。
在本实施例的一种实施方式中，骨干模型中的第t+1个双域交叉注意力改进模块DCRB，是采用公式（2）对所接收到的图像域数据Xt进行更新，得到更新后的图像域数据xt+1；
其中，所述公式（2）为：
；
其中，A*表示A的共轭转置；A= MF，且M是二进制掩码，其中非零元素表示数据采集；F代表傅里叶变换；是在对接收到的图像域数据/>进行更新时所使用到的可学习的更新步长；/>表示展开算子；/>表示缩减算子；/>表示第一预先设定常数；/>表示通过Swin Transformer得到的图像域数据/>的正则化；/>表示第二预先设定常数；
表示骨干模型中第t个双域交叉注意力改进模块DCRB所得到的更新后的K空间域数据的正则化。
本实施例中，将SwinT（Swin Transformer）与大核卷积分别作用于图像域数据和K空间域数据的双域交叉注意力改进模块DCRB。由于混叠通常会导致图像间的全局伪影，而SwinT实现跨层连接和多尺度特征融合，因此在图像域数据中采用SwinT执行操作。同时，由于K空间域数据中的每个元素编码全局感受野的信息，因此使用Unet形状的大核卷积来执行/>操作，用于对SwinT得到的结果进行有效改进和补充。本实施例中将SwinTransformer和大核卷积分别应用于图像域数据和K空间域数据的双域交叉注意力改进模块DCRB，能更好地利用参考模态中的先验信息，以改进目标模态的重构效果。通过引入注意力机制和大核卷积，骨干模型可以更好地捕获全局和局部的上下文信息，而双域交叉注意力改进模块DCRB可以有助于在两个模态之间传递和整合信息。
在本实施例中，所述骨干模型的损失函数为：
；
表示双域交叉注意力改进模块DCRB上全采样的基准真值；
预先设定的第一系数；
，其中N为骨干模型中双域交叉注意力改进模块DCRB的数量；
是预先设定的固定常数；其中0＜/>＜1；
表示骨干模型中第t个双域交叉注意力改进模块DCRB所得到的更新后的K空间域数据；
表示骨干模型中第N个双域交叉注意力改进模块DCRB所得到的更新后的K空间域数据；
是K空间全采样的基准真值；
是骨干模型中的第N个双域交叉注意力改进模块DCRB对所接收到的图像域数据进行更新，所得到的更新后的图像域数据；
预先设定的第二系数；
预先设定的第三系数；
预先设定的第四系数；
；
为基于K空间域数据获取的估计灵敏度；
表示在估计灵敏度x的方向的变化率；
表示在估计灵敏度y的方向的变化率。
其中，在对所述骨干模型进行训练过程中，采用adam优化器对骨干模型的参数进行调整，从而使得所述骨干模型的损失函数最小化。
另外，本实施例还提供一种深度学习MRI图像加速重建系统，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如实施例中所述的深度学习MRI图像加速重建方法。本实施例中的处理器为图形处理单元（GPU ，Graphics ProcessingUnit）。
实施例二
本实施例提供一种深度学习MRI图像加速重建方法，以缩短扫描时间并提高图像质量。本实施例二提供的一种深度学习MRI图像加速重建方法按照以下步骤实施：
第1步骤、使用NYU fastMRI Initiative数据库的内部24线圈脑MRI数据集。其中，NYU fastMRI Initiative数据库是一个合作项目，旨在通过开发新的技术来加速磁共振成像（MRI），提高MRI扫描的效率。该数据库包含使用不同成像协议和扫描仪获得的MRI数据集。NYU fastMRI Initiative数据库的内部24线圈脑MRI数据集是由3T扫描仪(uMR 890)获取，包括62对T1-FLAIR和T2w成对切片（T1-FLAIR和T2w分别指代两种不同的MRI序列，T1-FLAIR表示T1加权流体衰减反演恢复，T2w表示T2加权，T1代表一种MRI序列，T2也是一种MRI序列），维度为24×320×320。
将24线圈脑MRI数据集分割，其中，25名被试（503个成对切片）用于训练，12名被试（241个成对切片）和25名被试（504个成对切片）分别用于验证和测试。最后采用最小-最大归一化。
第2步骤、将24线圈脑MRI数据集中每名被试（503个成对切片）进行随机刚性变换，包括在[-1.8σ，1.8σ]之间的角度旋转和[-16σ，16σ]之间的体素平移，其中σ为尺度因子σ =1。然后对训练数据进行水平翻转。
第3步骤、使用PyTorch实现提出的深度学习MRI图像加速重建方法。其中，优化器为Adam优化器，初始学习率为5e-4，每三分之一的总epoch衰减一半。Mini-batch大小为1。大脑数据集的训练epoch数为300。双域交叉注意力改进模块DCRB的数量为N = 25。λ0至λ3分别设置为10、10、1和100。SwinT初始窗口大小：初始窗口大小为4。DCRB的patch大小：设置为4、2和1，对于N个DCRB，patch大小交替变化。
第4步骤、获取初始训练数据集，使用NYU fastMRI Initiative数据库的内部24线圈脑MRI数据集。
数据集包括多个维度的MRI图片，如时间维度、切片维度、视图维度、对比度维度、加速因子维度。
使用基线模型CAUnet，采用相邻切片重建法ASR对初始训练数据集在指定维度上进行相邻K空间的重建处理。
使用预先获取的PromptUnet网络对重建后的初始训练数据集中的K空间域数据进行处理，得到相应的提示信息Prompt。
基于K空间域数据、图像域数据以及提示信息Prompt对预先获取的骨干模型进行训练，直至满足预先指定的训练结束条件，得到训练好的骨干模型。
其中，骨干模型包括：灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及N-1个第一模块组。第一模块组包括：灵敏度改进模块SMRB和双域交叉注意力改进模块DCRB。可以使用已有的深度学习网络架构，如U-Net或ResNet等，进行骨干模型的训练。
灵敏度估计模块SMEB接收K空间域数据，使用UNet网络对线圈敏感度SM进行粗略估计，得到线圈敏感度SM估计值，并传递至相邻的DCRB模块。
双域交叉注意力改进模块DCRB接收图像域数据和来自SMEB的线圈敏感度SM估计值，对图像域数据和K空间域数据进行更新，传递至第一模块组。
第5步骤、使用恢复模型ShiftNet对初步的MRI图像重建结果进行细化处理，得到最终的MRI图像重建结果。
第6步骤、采用所述骨干模型的损失函数，结合SSIM等指标对模型性能进行评估。根据评估结果，进行骨干模型参数调整和优化，以提高重建质量和加速效果。
第7步骤、完成骨干模型的训练和调优后，可以将其部署到实际的MRI扫描设备上，用于加速脑部MRI图像的重建。通过减少扫描时间，可以提高患者的舒适度，并在临床上更快地获取高质量的MRI图像。
其中，所使用的处理器为12th Gen Intel(R) Core(TM) i5-12400F CPU，主频为2.50 GHz，内存32GB，显卡为GeForce RTX 3060。Ubuntu操作系统和PyCharm 2022。
本实施例中深度学习MRI图像加速重建方法在脑部MRI数据上得到了详细的应用和调优，以满足医学影像重建的需求。
本实施例中的一种深度学习MRI图像加速重建方法及系统，由于将预处理后的MRI扫描图像集，输入到已训练好的骨干模型中，所述骨干模型输出初步的MRI图像重建结果；所述骨干模型依次包括：灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及N-1个第一模块组；所述第一模块组依次包括：灵敏度改进模块SMRB和双域交叉注意力改进模块DCRB，本实施例中的一种深度学习MRI图像加速重建方法中的训练好的骨干模型是以灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及灵敏度改进模块SMRB为主干，以Prompt为辅助的双流网络结构，充分利用了MRI图像和K空间特征信息，能够捕捉输入数据的局部特征和全局关联，提高了骨干模型对输入数据的理解和建模能力，从而能进一步优化MRI图像重建的质量。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连；可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征 “上”或“下”，可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”，可以是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”，可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度低于第二特征。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行改动、修改、替换和变型。
Claims (10)
1.一种深度学习MRI图像加速重建方法，其特征在于，包括：
S1、获取MRI扫描图像集，并对所述MRI扫描图像集进行预处理，得到预处理后的MRI扫描图像集；
S2、将预处理后的MRI扫描图像集，输入到已训练好的骨干模型中，所述骨干模型输出初步的MRI图像重建结果；
所述骨干模型依次包括：灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及N-1个第一模块组；所述第一模块组依次包括：灵敏度改进模块SMRB和双域交叉注意力改进模块DCRB；
S3、采用恢复模型ShiftNet作为细化网络，对初步的MRI图像重建结果进行细化处理，得到最终的MRI图像重建结果。
2.根据权利要求1所述的深度学习MRI图像加速重建方法，其特征在于，所述预处理包括：图像增强处理、数据填充处理。
3.根据权利要求1所述的深度学习MRI图像加速重建方法，其特征在于，所述方法在S1之前还包括：
S0、获取初始训练数据集，并基于所述初始训练数据集，对预先获取的骨干模型进行训练，得到训练好的骨干模型。
4.根据权利要求3所述的深度学习MRI图像加速重建方法，其特征在于，所述S0具体包括：
S01、获取初始训练数据集，所述初始训练数据集为纽约大学fastMRI Initiative数据库的内部24线圈脑MRI数据集；
所述24线圈脑MRI数据集包括：多个维度的MRI的图片；
其中，多个维度包括：时间维度、切片维度、视图维度、对比度维度、加速因子维度；
S02、使用基线模型CAUnet，采用相邻切片重建法ASR对所述初始训练数据集在指定维度上进行相邻K空间的重建处理，以填充缺失的K空间数据得到重建后的初始训练数据集；
S03、采用预先获取的PromptUnet网络对重建后的初始训练数据集中的K空间域数据进行处理，得到相应的提示信息Prompt；
所述重建后的初始训练数据集中的K空间域数据为指定的加速因子条件下的MRI的图片；
S04、基于所述K空间域数据，以及与该K空间域数据所对应的图像域数据以及提示信息Prompt，对预先获取的骨干模型进行训练，直至满足预先指定的训练结束条件，得到训练好的骨干模型；
所述提示信息Prompt包括：提示信息的空间域数据以及提示信息的图像域数据；
预先指定的训练条件为：所述骨干模型的损失函数最小化。
5.根据权利要求4所述的深度学习MRI图像加速重建方法，其特征在于，预先获取的PromptUnet网络是由基线模型CAUnet扩展得到的，具体为：在基线模型CAUnet每个级别的UpBlocks分别一一对应集成用于学习输入类型提示的PromptBlock模块以得到提示信息Prompt。
6.根据权利要求5所述的深度学习MRI图像加速重建方法，其特征在于，
所述骨干模型依次包括：灵敏度估计模块SMEB、双域交叉注意力改进模块DCRB以及N-1个第一模块组；
所述灵敏度估计模块SMEB，用于接收所述K空间域数据，并针对所述K空间域数据，采用以大核卷积为内核的UNet网络对线圈敏感度SM进行粗略估计，得到线圈敏感度SM估计值，以及还用于将所得到的线圈敏感度SM估计值传输至与该灵敏度估计模块SMEB相邻的双域交叉注意力改进模块DCRB中；
与该灵敏度估计模块SMEB相邻的双域交叉注意力改进模块DCRB，用于接收图像域数据，并根据第一输入信息以及所接收的由该灵敏度估计模块SMEB所传递的线圈敏感度SM估计值，对所述图像域数据、K空间域数据进行更新，得到更新后的图像域数据和更新后的K空间域数据，并将更新后的图像域数据、更新后的K空间域数据和所述线圈敏感度SM估计值传输至与该双域交叉注意力改进模块DCRB相邻的第一模块组中；
所述第一输入信息包括：提示信息的空间域数据、K空间域数据、提示信息的图像域数据；
所述第一模块组中的灵敏度改进模块SMRB，用于基于第二输入信息和所接收到的图像域数据、K空间域数据以及线圈敏感度SM估计值，对所接收到的线圈敏感度SM估计值进行更新，得到更新后的线圈敏感度SM估计值，并将更新后的线圈敏感度SM估计值和所接收到的图像域数据、K空间域数据传输至第一模块组中的双域交叉注意力改进模块DCRB中；
所述第二输入信息包括K空间域数据；
所述第一模块组中的双域交叉注意力改进模块DCRB，用于基于第一输入信息和所接收到的图像域数据、K空间域数据以及线圈敏感度SM估计值，对所接收到的图像域数据和K空间域数据进行更新，得到更新后的图像域数据、更新后的K空间域数据，并将更新后的图像域数据、更新后的K空间域数据和所接收到的线圈敏感度SM估计值传输至相邻的下一第一模块组中。
7.根据权利要求6所述的深度学习MRI图像加速重建方法，其特征在于，
其中，骨干模型中的第t+1个灵敏度改进模块SMRB，采用公式（1）对所接收到的线圈敏感度SM估计值进行更新，得到更新后的线圈敏感度SM估计值；
所述公式（1）为：
；
其中，A*表示A的共轭转置；
A= MF，且M是预先设定的二进制掩码；
F代表傅里叶变换；
是骨干模型中的第t个双域交叉注意力改进模块DCRB对所接收到的图像域数据进行更新，所得到的更新后的图像域数据；
表示/>的共轭转置；
表示K空间域数据；
表示展开算子；
是在对接收到的线圈敏感度SM估计值/>进行更新时所使用到的可学习的更新步长；
表示第三预先设定常数；
骨干模型中的第t个灵敏度改进模块SMRB所接收到的线圈敏感度SM估计值的正则化。
8.根据权利要求7所述的深度学习MRI图像加速重建方法，其特征在于，
所述骨干模型的损失函数为：
；
表示双域交叉注意力改进模块DCRB上全采样的基准真值；
预先设定的第一系数；
，其中N为骨干模型中双域交叉注意力改进模块DCRB的数量；
是预先设定的固定常数；其中0＜/>＜1；
表示骨干模型中第t个双域交叉注意力改进模块DCRB所得到的更新后的K空间域数据；
表示骨干模型中第N个双域交叉注意力改进模块DCRB所得到的更新后的K空间域数据；
是K空间全采样的基准真值；
是骨干模型中的第N个双域交叉注意力改进模块DCRB对所接收到的图像域数据进行更新，所得到的更新后的图像域数据；
预先设定的第二系数；
预先设定的第三系数；
预先设定的第四系数；
；
为基于K空间域数据获取的估计灵敏度；
表示在估计灵敏度x的方向的变化率；
表示在估计灵敏度y的方向的变化率。
9.根据权利要求8所述的深度学习MRI图像加速重建方法，其特征在于，
其中，在对所述骨干模型进行训练过程中，采用adam优化器对骨干模型的参数进行调整，从而使得所述骨干模型的损失函数最小化。
10.一种深度学习MRI图像加速重建系统，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-9中任一所述的深度学习MRI图像加速重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410044133.2A CN117557675B (zh) | 2024-01-12 | 2024-01-12 | 一种深度学习mri图像加速重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410044133.2A CN117557675B (zh) | 2024-01-12 | 2024-01-12 | 一种深度学习mri图像加速重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117557675A true CN117557675A (zh) | 2024-02-13 |
| CN117557675B CN117557675B (zh) | 2024-04-30 |
Family
ID=89817025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410044133.2A Active CN117557675B (zh) | 2024-01-12 | 2024-01-12 | 一种深度学习mri图像加速重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117557675B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180247113A1 (en) * | 2016-10-10 | 2018-08-30 | Gyrfalcon Technology Inc. | Image Classification Systems Based On CNN Based IC and Light-Weight Classifier |
| US20190219654A1 (en) * | 2018-01-12 | 2019-07-18 | Korea Advanced Institute Of Science And Technology | Method for varying undersampling dimension for accelerating multiple-acquisition magnetic resonance imaging and device for the same |
| US10901059B1 (en) * | 2020-01-31 | 2021-01-26 | The Board Of Trustees Of The Leland Stanford Junior University | Multi-shot diffusion-weighted MRI reconstruction using unrolled network with U-net as priors |
| US20210035338A1 (en) * | 2019-07-31 | 2021-02-04 | Z2Sky Technologies Inc. | Unified Dual-Domain Network for Medical Image Formation, Recovery, and Analysis |
| CN113016005A (zh) * | 2018-11-13 | 2021-06-22 | 三星电子株式会社 | 联合无监督对象分割与修复 |
| CN113077527A (zh) * | 2021-03-16 | 2021-07-06 | 天津大学 | 一种基于欠采样的快速磁共振图像重建方法 |
| CN113076972A (zh) * | 2021-03-04 | 2021-07-06 | 山东师范大学 | 一种基于深度学习的两阶段Logo图像检测方法及系统 |
| WO2023050249A1 (zh) * | 2021-09-30 | 2023-04-06 | 深圳先进技术研究院 | 基于深度学习的磁共振成像方法、系统、终端及存储介质 |
| CN116630462A (zh) * | 2023-07-10 | 2023-08-22 | 深圳市联影高端医疗装备创新研究院 | 磁共振图像的重建方法、装置、计算机设备和存储介质 |
| CN116758100A (zh) * | 2023-08-17 | 2023-09-15 | 神州医疗科技股份有限公司 | 一种3d医学图像分割系统及方法 |
| CN116863024A (zh) * | 2023-07-18 | 2023-10-10 | 天津天达图治科技有限公司 | 一种磁共振图像重建方法、系统、电子设备及存储介质 |
| US20230360794A1 (en) * | 2022-05-09 | 2023-11-09 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for medical imaging |
| CN117350979A (zh) * | 2023-10-20 | 2024-01-05 | 仰和华健数字医疗科技(上海)有限公司 | 一种基于医疗超声影像的任意病灶分割和追踪系统 |
-
2024
- 2024-01-12 CN CN202410044133.2A patent/CN117557675B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180247113A1 (en) * | 2016-10-10 | 2018-08-30 | Gyrfalcon Technology Inc. | Image Classification Systems Based On CNN Based IC and Light-Weight Classifier |
| US20190219654A1 (en) * | 2018-01-12 | 2019-07-18 | Korea Advanced Institute Of Science And Technology | Method for varying undersampling dimension for accelerating multiple-acquisition magnetic resonance imaging and device for the same |
| CN113016005A (zh) * | 2018-11-13 | 2021-06-22 | 三星电子株式会社 | 联合无监督对象分割与修复 |
| US20210383242A1 (en) * | 2018-11-13 | 2021-12-09 | Samsung Electronics Co., Ltd. | Joint unsupervised object segmentation and inpainting |
| US20210035338A1 (en) * | 2019-07-31 | 2021-02-04 | Z2Sky Technologies Inc. | Unified Dual-Domain Network for Medical Image Formation, Recovery, and Analysis |
| US10901059B1 (en) * | 2020-01-31 | 2021-01-26 | The Board Of Trustees Of The Leland Stanford Junior University | Multi-shot diffusion-weighted MRI reconstruction using unrolled network with U-net as priors |
| CN113076972A (zh) * | 2021-03-04 | 2021-07-06 | 山东师范大学 | 一种基于深度学习的两阶段Logo图像检测方法及系统 |
| CN113077527A (zh) * | 2021-03-16 | 2021-07-06 | 天津大学 | 一种基于欠采样的快速磁共振图像重建方法 |
| WO2023050249A1 (zh) * | 2021-09-30 | 2023-04-06 | 深圳先进技术研究院 | 基于深度学习的磁共振成像方法、系统、终端及存储介质 |
| US20230360794A1 (en) * | 2022-05-09 | 2023-11-09 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for medical imaging |
| CN116630462A (zh) * | 2023-07-10 | 2023-08-22 | 深圳市联影高端医疗装备创新研究院 | 磁共振图像的重建方法、装置、计算机设备和存储介质 |
| CN116863024A (zh) * | 2023-07-18 | 2023-10-10 | 天津天达图治科技有限公司 | 一种磁共振图像重建方法、系统、电子设备及存储介质 |
| CN116758100A (zh) * | 2023-08-17 | 2023-09-15 | 神州医疗科技股份有限公司 | 一种3d医学图像分割系统及方法 |
| CN117350979A (zh) * | 2023-10-20 | 2024-01-05 | 仰和华健数字医疗科技(上海)有限公司 | 一种基于医疗超声影像的任意病灶分割和追踪系统 |
Non-Patent Citations (3)
| Title |
|---|
| KAICONG SUN等: "Joint Cross-Attention Network With Deep Modality Prior for Fast MRI Reconstruction", IEEE TRANSACTIONS ON MEDICAL IMAGING, 11 September 2023 (2023-09-11) * |
| 张登强 等: "基于双域并行编解码网络的磁共振图像重建", 激光与光电子学进展, vol. 59, no. 12, 30 June 2022 (2022-06-30) * |
| 黄敏;管智慧;周到;陈军波;: "基于K空间数据的深度核磁共振图像重建", 生物医学工程研究, no. 02, 25 June 2020 (2020-06-25) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117557675B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sandino et al. | Compressed sensing: From research to clinical practice with deep neural networks: Shortening scan times for magnetic resonance imaging | |
| US10393842B1 (en) | Highly-scalable image reconstruction using deep convolutional neural networks with bandpass filtering | |
| US8823374B2 (en) | System for accelerated MR image reconstruction | |
| US10739432B2 (en) | Dynamic magnetic resonance imaging | |
| US11170543B2 (en) | MRI image reconstruction from undersampled data using adversarially trained generative neural network | |
| CN111951344B (zh) | 一种基于级联并行卷积网络的磁共振图像重建方法 | |
| Sandino et al. | Deep convolutional neural networks for accelerated dynamic magnetic resonance imaging | |
| CN113096208B (zh) | 基于双域交替卷积的神经网络磁共振图像的重建方法 | |
| CN115135237A (zh) | 磁共振影像处理装置及其方法 | |
| CN110264538B (zh) | 用于核磁共振图像重建的方法、系统和装置 | |
| CN113359077A (zh) | 一种磁共振成像方法及相关设备 | |
| Jiang et al. | Respiratory motion correction in abdominal MRI using a densely connected U-Net with GAN-guided training | |
| Pezzotti et al. | An adaptive intelligence algorithm for undersampled knee mri reconstruction: Application to the 2019 fastmri challenge | |
| Li et al. | A modified generative adversarial network using spatial and channel-wise attention for CS-MRI reconstruction | |
| CN112272535B (zh) | 磁共振弥散成像的方法和系统 | |
| Ouchi et al. | Reconstruction of compressed-sensing MR imaging using deep residual learning in the image domain | |
| Lv et al. | Parallel imaging with a combination of sensitivity encoding and generative adversarial networks | |
| CN114331849A (zh) | 一种跨模态核磁共振超分网络及图像超分辨率方法 | |
| US11467240B2 (en) | Methods, systems, and computer readable media for accelerating diffusion magnetic resonance imaging (MRI) acquisition via slice-interleaved diffusion encoding | |
| CN110148193A (zh) | 基于自适应正交字典学习的动态磁共振并行重建方法 | |
| CN117557675B (zh) | 一种深度学习mri图像加速重建方法及系统 | |
| US20230380714A1 (en) | Method and system for low-field mri denoising with a deep complex-valued convolutional neural network | |
| CN113674379B (zh) | 一种基于参考支撑集的共稀疏分析模型的mri重构方法、系统及计算机可读存储介质 | |
| US20220308147A1 (en) | Enhancements to quantitative magnetic resonance imaging techniques | |
| CN103860173B (zh) | 磁共振k空间重建方法与装置、磁共振成像方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |