CN118135048A - 磁共振欠采样数据的插值重建方法、系统、设备及介质 - Google Patents
磁共振欠采样数据的插值重建方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN118135048A CN118135048A CN202410241444.8A CN202410241444A CN118135048A CN 118135048 A CN118135048 A CN 118135048A CN 202410241444 A CN202410241444 A CN 202410241444A CN 118135048 A CN118135048 A CN 118135048A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- convolutional neural
- neural network
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 121
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 98
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 230000001502 supplementing effect Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 123
- 230000008569 process Effects 0.000 claims description 42
- 230000000153 supplemental effect Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000002595 magnetic resonance imaging Methods 0.000 abstract description 16
- 238000004364 calculation method Methods 0.000 description 16
- 238000005070 sampling Methods 0.000 description 13
- 239000013589 supplement Substances 0.000 description 11
- 238000005457 optimization Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 235000020079 raki Nutrition 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开一种磁共振欠采样数据的插值重建方法、系统、设备及介质,涉及磁共振成像领域,方法包括将所述磁共振欠采样数据分别重建网络的输入数据先验分支和物理先验补充分支,得到第一k空间数据和第二k空间数据;所述数据先验分支为编解码网络;所述物理先验补充分支为卷积神经网络结构;所述卷积神经网络结构包括第一卷积神经网络、第二卷积神经网络和融合网络;将所述第一k空间数据和所述第二k空间数据进行融合,得到插值的k空间数据;根据所述插值的k空间数据进行重建,得到重建图像。本发明能实现磁共振成像高效、精确地实时重建。
Description
技术领域
本发明涉及磁共振成像领域,特别是涉及一种磁共振欠采样数据的插值重建方法、系统、设备及介质。
背景技术
目前的磁共振加速重建算法主要有两类,一类是基于压缩感知的方法,另一类是并行成像方法。压缩感知方法主要利用人工设计的先验知识和数据的稀疏性,将重建问题看作是对成像逆问题的优化求解过程。但是此类方法需要人工设计先验,先验知识简单却计算复杂度较高,需要多次迭代计算密集的操作子,并且重建性能受限;深度学习技术的引入允许网络模型自行学习更为复杂的先验和特征,并且可以基于GPU等并行计算单元加速运行和训练速度,取得了值得关注的大幅度性能提升。但是这类方法大多在图像域进行图像的恢复和重建,经过实验发现,网络经过训练会学到固定的模式,在面对离散或者特殊数据时,会生成难以预见的重建伪影,这对于临床诊断来说会带来不可估计的负面影响,容易带来误判等问题。另外,目前较为先进的图像域深度学习方法确实没有引入实际设备使用当中,反而是基于传统的并形成像的,像GRAPPA这种保守的k空间插值方法至今仍被广泛利用。但是GRAPPA只通过线性核来学习线圈之间的冗余特性,在高倍条件下表现不佳,并且噪声抑制能力较差;RAKI方法通过引入深度学习技术在自动校准区域中训练一系列非线性卷积核,来建模线圈间的冗余关系。通过更好的优化算法(梯度下降训练)来得到了具有更好的噪声抑制能力的非线性重建核,RAKI在更高倍率下取得了更好的重建性能。但是此类方法由于需要在线训练,并且每个线圈需要单独训练一个重建网络,所以重建速度特别慢,通常需要几十秒到几分钟不等。并且,其由于只利用了单个数据的低频区域信息进行核的训练,使得重建核难以包含更多的高频和多个数据的普遍特性,使得重建网络的插值性能受限,难以应对高频信息和噪声,限制了其性能的提升。
现有技术在磁共振成像领域已经取得了显著的发展,但仍存在一些技术问题需要解决。传统的磁共振成像重建方法通常需要在离线环境下进行复杂的计算过程,这导致实时性能较差,不能满足快速诊断的需求。此外,由于数据采样率较低或缺乏适应性,传统方法可能会导致重建结果的质量降低和细节丢失。同时,操作流程复杂,并且难以适应不同数据集的个性化需求。
发明内容
本发明的目的是提供一种磁共振欠采样数据的插值重建方法、系统、设备及介质,可实现磁共振成像高效、精确地实时重建。
为实现上述目的,本发明提供了如下方案:
一种磁共振欠采样数据的插值重建方法,包括:
获取磁共振欠采样数据;
将所述磁共振欠采样数据分别重建网络的输入数据先验分支和物理先验补充分支,得到第一k空间数据和第二k空间数据;所述数据先验分支为编解码网络;所述物理先验补充分支为卷积神经网络结构;所述卷积神经网络结构包括第一卷积神经网络、第二卷积神经网络和融合网络;所述第一卷积神经网络和所述第二卷积神经网络并联;所述第一卷积神经网络和所述第二卷积神经网络均与所述融合网络连接;
将所述第一k空间数据和所述第二k空间数据进行融合,得到插值的k空间数据;
根据所述插值的k空间数据进行重建,得到重建图像。
可选地,所述物理先验补充分支的训练过程包括:
利用训练数据利用梯度下降算法对第一卷积神经网络进行训练;
固定所述第一卷积神经网络的网络参数并将所述第一卷积神经网络的网络参数作为所述第二卷积神经网络的初始参数;
利用训练数据的自动校准区域对所述卷积神经网络进行训练。
可选地,所述重建网络的训练过程包括:
固定所述物理先验补充分支的网络参数;
利用训练数据对所述重建网络的数据先验分支进行训练。
可选地,根据所述插值的k空间数据进行重建,得到重建图像,具体包括:
将所述插值的k空间数据进行反傅里叶变换,得到多通道复数图像;
求所述多通道复数图像的绝对值,得到各个通道的幅值图像;
根据所述幅值图像确定重建图像。
本发明还提供一种磁共振欠采样数据的插值重建系统,包括:
获取模块,用于获取磁共振欠采样数据;
输入模块,用于将所述磁共振欠采样数据分别重建网络的输入数据先验分支和物理先验补充分支,得到第一k空间数据和第二k空间数据;所述数据先验分支为编解码网络;所述物理先验补充分支为卷积神经网络结构;所述卷积神经网络结构包括第一卷积神经网络、第二卷积神经网络和融合网络;所述第一卷积神经网络和所述第二卷积神经网络并联;所述第一卷积神经网络和所述第二卷积神经网络均与所述融合网络连接;
融合模块,用于将所述第一k空间数据和所述第二k空间数据进行融合,得到插值的k空间数据;
重建模块,用于根据所述插值的k空间数据进行重建,得到重建图像。
可选地,所述物理先验补充分支的训练过程包括:
利用训练数据利用梯度下降算法对第一卷积神经网络进行训练;
固定所述第一卷积神经网络的网络参数并将所述第一卷积神经网络的网络参数作为所述第二卷积神经网络的初始参数;
利用训练数据的自动校准区域对所述卷积神经网络进行训练。
可选地,所述重建网络的训练过程包括:
固定所述物理先验补充分支的网络参数;
利用训练数据对所述重建网络的数据先验分支进行训练。
可选地,所述重建模块具体包括:
反傅里叶变换单元,用于将所述插值的k空间数据进行反傅里叶变换,得到多通道复数图像;
绝对值求解单元,用于求所述多通道复数图像的绝对值,得到各个通道的幅值图像;
重建单元,用于根据所述幅值图像确定重建图像。
本发明还提供一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现所述的方法。
本发明还提供一种计算机存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述的方法。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明将所述磁共振欠采样数据分别重建网络的输入数据先验分支和物理先验补充分支,得到第一k空间数据和第二k空间数据;所述数据先验分支为编解码网络;所述物理先验补充分支为卷积神经网络结构;所述卷积神经网络结构包括第一卷积神经网络、第二卷积神经网络和融合网络;所述第一卷积神经网络和所述第二卷积神经网络并联;从而进行重建,得到重建图像,实现磁共振成像高效、精确地实时重建。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为采集的磁共振k空间完备数据和欠采样数据示意图;
图2为磁共振欠采样数据的插值重建方法示意图;
图3为利用大量数据预训练数据先验网络的流程图;
图4为利用数据先验网络和预训练参数构成并行网络及其训练流程图;
图5为并行网络和编解码网络的并行结构及其训练流程图;
图6为重建效果图;
图7为本发明提供的磁共振欠采样数据的插值重建方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种磁共振欠采样数据的插值重建方法、系统、设备及介质,可实现磁共振成像高效、精确地实时重建。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图2和图7所示,本发明提供的一种磁共振欠采样数据的插值重建方法,包括:
步骤101:获取磁共振欠采样数据。
步骤102:将所述磁共振欠采样数据分别重建网络的输入数据先验分支和物理先验补充分支,得到第一k空间数据和第二k空间数据;所述数据先验分支为编解码网络;所述物理先验补充分支为卷积神经网络结构;所述卷积神经网络结构包括第一卷积神经网络、第二卷积神经网络和融合网络;所述第一卷积神经网络和所述第二卷积神经网络并联;所述第一卷积神经网络和所述第二卷积神经网络均与所述融合网络连接。
所述物理先验补充分支的训练过程包括:利用训练数据利用梯度下降算法对第一卷积神经网络进行训练;固定所述第一卷积神经网络的网络参数并将所述第一卷积神经网络的网络参数作为所述第二卷积神经网络的初始参数;利用训练数据的自动校准区域对所述卷积神经网络进行训练。
所述重建网络的训练过程包括:固定所述物理先验补充分支的网络参数;利用训练数据对所述重建网络的数据先验分支进行训练。
步骤103:将所述第一k空间数据和所述第二k空间数据进行融合,得到插值的k空间数据。
步骤104:根据所述插值的k空间数据进行重建,得到重建图像。
步骤104,具体包括:将所述插值的k空间数据进行反傅里叶变换,得到多通道复数图像;求所述多通道复数图像的绝对值,得到各个通道的幅值图像;根据所述幅值图像确定重建图像。
本发明还提供一种磁共振欠采样数据的插值重建方法在实际应用中的具体工作步骤。
1.利用磁共振设备通过现有采集策略对膝盖、大脑等部位进行扫描,通过已有编码技术,扫描感兴趣区域,通过接受线圈收取回波信号,即可得到多个切片、多个线圈通道的频域的磁共振原始k空间数据,将这些数据进行保存。通过这种方法采集、保存一定数量的磁共振原始k空间数据(如图1中的(a)所示的磁共振原始k空间数据,得到的是经过空间相位频率编码的特定切片和通道的原始k空间数据,通常来说,在全采样的情况下,可以通过此数据获取到清晰、无伪影的重建图像),形成多数据形态数据集。数据规模可大可小,从几十个数据到几万数据都可以作为模型训练的原始k空间数据。
2.利用上述数据集训练具有多数据普遍特性的卷积神经网络。利用训练数据的全图(包含所有的低频、中频和高频信息),使用梯度下降方法,根据采样倍率(等间隔采样),将多通道采样数据输入网络,通过迭代学习,使得网络具备预估欠采样数据的能力。
3.利用步骤2中训练好的卷积神经网络形成并行结构,分别在各个数据的自动校准区域上训练并行网络,保存训练参数。其中一个网络的参数固定,不随着训练进行参数更新;另一个网络则在每个单独数据上的自动校准区域上进行进一步的训练,此时不再利用多数据关系。整个步骤的训练和验证都基于单个数据,不同数据的训练与验证过程单独进行。具体过程如下,ACS区域将模拟欠采样过程,将其中采样的位置数值输入到两个分支当中,一个分支的参数保留步骤2中训练的参数,使用全局、全图先验预估欠采样数据;另一个分支的参数由步骤2中的训练参数进行初始化,然而其参数随着优化迭代进行更新。两个分支的结果通过融合之后,用自动校准区域的数据进行监督,使得通过训练更新之后,参数可以学习变化的分支可以利用单个数据的物理特性,自行补充全局分支没能恢复的数据信息和特征细节,使得最终的结果逼近ACS区域的真实数值。
4.利用步骤3中训练好的网络与高性能编解码网络形成并行结构,固定前者网络参数,利用编解码强大的学习能力、大数据先验进一步训练以补充填充k空间的缺失信息,并保存所有网络参数。全图欠采样数据分别被输入到两个分支,首先利用步骤3中训练好的网络初步恢复出全图k空间;然后再输入到未充分训练的编解码网络当中。两个分支通过线性融合模块进行融合,然后经过数据一致性层恢复数据的保真度,然后利用全图全采样信息作为训练的监督。经过大数据集训练之后,得到离线重建结果,评估指标并进行模型微调。
5.将所有网络模型和参数嵌入到磁共振计算单元当中进行实时在线扫描与重建,欠采样数据扫描获取之后被输入到计算单元模型之中,此时不再需要1的计算过程,直接在步骤2中利用自动校准区域进行扫描特有的数据信息补充训练,然后得到的网络参数作为步骤3中其中局部分支的参数配合预先训练好的编解码网络形成的并行结构,得到实机的最终重建结果。
步骤1的具体方法为:采集、保存磁共振原始k空间数据,可以形成一个多数据形态的数据集,其规模可以有所不同。这个数据集的大小可以根据需要进行调整,可以从几十个数据到几万个数据都可以作为模型训练的原始数据。数据集的规模会对模型的训练产生影响。较小规模的数据集可能无法涵盖所有的情况和变化,模型的泛化能力可能会受到限制。因此,当有更多的原始k空间数据可用时,可以选择更大规模的数据集,以增强模型的学习能力和适应性。同时,确保数据集的多样性也很重要。包含不同类型的病例、不同扫描参数设置下的数据以及来自不同设备的数据,可以确保模型对各种场景和差异的适应性。这种多样性有助于提高模型的鲁棒性和可靠性,并减少过拟合的风险。另外,数据集的质量也是至关重要的。在收集和保存原始k空间数据时,需要确保数据的准确性和完整性。这包括检查数据采集的参数设置是否正确、是否存在任何伪影或其他图像质量问题。对于一些特定的应用场景,可能需要进行额外的数据预处理步骤,如去除噪声、纠正畸变等,以提高数据集的质量。总之,采集和保存一定规模的磁共振原始k空间数据集对于训练模型非常重要。通过获取多样性且具有高质量的数据集,可以提高模型的学习能力和适应性,进而在磁共振成像领域取得更好的结果。
步骤2的具体方法为:利用上述数据集,可以训练一个具有多数据普遍特性的卷积神经网络,此网络包含三个卷积层(w1,b1),(w2,b2)和(w3,b3),其中,w1,w2,w3分别是三个卷积层的网络权重,b1,b2,b3分别是三个卷积层的偏置项,除了最后一个卷积层,前面两个卷积层后面都跟随着一个ReLU激活函数,具体计算过程如下公式所述:
其中,是欠采样的k空间,形式如图1中的(b)所示的欠采样;/>是计算后的填充的未采样点的数值;*是卷积操作,卷积操作中可以带有bias偏置项,也可以将其设置为0,即不采用偏置项。需要注意的是,采用的卷积层为空洞卷积,空洞卷积的空洞大小等于加速倍率。这样的处理可以很方便的使得网络只利用采集到的数据点去预估未采样的其余数据。
这个网络将学习使用训练数据的完整数据,其中包含了所有的低频、中频和高频信息。通过使用梯度下降方法,并根据采样倍率(等间隔采样),可以将多通道的采样数据输入到网络中。网络会通过迭代学习的方式,逐渐具备预估欠采样数据的能力。训练过程分为多个步骤。步骤21:首先将采样数据输入到网络中进行前向传播,网络会对输入的数据进行如式子1所述的卷积操作和非线性变换,以提取特征并逐渐构建出一个与实际数据相匹配的模型。步骤22:将网络的输出与真实的欠采样数据进行比较,计算它们之间的差异,计算公式如下所示:
其中kraw为k空间真值,为预估的k空间。通过上式子可以计算网络预测与期望输出之间的差值。步骤23:通过使用上述损失函数来量化这种差异,并结合梯度下降优化算法,可以反向传播误差信号,通过梯度回传技术计算出每个权重的更新梯度,从而更新网络中的权重和参数,以便更好地逼近目标。通过多次迭代训练,网络逐渐学习到如何根据已知的采样数据预测欠采样数据的信息。这种训练使得网络能够从部分采样的数据中重建出完整的图像,从而实现对欠采样数据的预测。网络具体结构采用三层卷积神经网络,卷积核的大小分别为(5,2),(1,1),(3,2),通道数目分别为128,1024,(R-2)*2*通道数目,具体网络参数可以根据数据情况自行调整,不是决定本方法是否可行的关键。经过全分辨数据的训练之后,网络就初步具备了欠采样数据的填充插值能力,但是由于此网络是通过多数据、全图训练出来的,只学习到了大部分数据的普遍属性,并且网络较为简单,描述能力有限,难以应对所有数据的特殊形式,所以其重建能力有限,所以在后面将其作为整体框架的初始化网络参数和数据通常的基线重建。
所述步骤3的具体方法为:通过步骤2中得到训练好的卷积神经网络之后,本步骤利用上述步骤2中已经训练好的网络结构和权重构建一个并行结构,继续在每个数据集的自动校准区域上进行进一步的单独训练,并进一步保存训练参数。在这个并行网络中,其中一个分支的参数固定,不会随着训练进行而更新;另一个分支则在每个单独数据的自动校准区域上进行更深层次的训练,此时不再利用多数据之间的关系。整个训练和验证过程都基于单个数据,不同数据之间的训练和验证是独立进行的。具体的训练过程如下。自动校准区域是每个k空间数据都有的一部分,处于k空间数据的中心区域,一般占据中心区域的8%或者4%。见图1中的(b)的中间一块连续亮的区域。步骤31:使用每个数据中心位置的自动校准区域(ACS)来模拟欠采样过程,将其中采样的位置数值输入到两个分支中,作为网络的输入和训练数据。一个分支的参数保持固定,使用步骤2中训练得到的全局、全图预测的权重作为网络参数进行固定。另一个分支的参数由步骤2中的训练参数初始化,然后在优化迭代过程中进行更新,具体的训练数据就是步骤1提到的训练集中的所有数据的自动校准区域。两个网络的前向计算过程同式子1,得到的重建结果分别为和/>其中/>是第一个分支的输出,/>是第二个分支的输出。步骤32:两个分支的结果经过线性融合,融合过程如下:
其中μ为一个可以学习的参数,初始化为1,随着网络的训练自行学习到最佳的融合策略。两个分支输出的都是预估的自动校准区域的未采样点的数值。两个分支的输入都是自动校准区域的采样点,然后经过两个网络分别插值填充,得到两个预估的未采样的频域数值。融合之后的数据也是预估的自动校准区域的未采样点的数值,它将两个输出结果进行了线性组合。步骤33:使用自动校准区域的原始数据进行监督,使得在训练更新之后,能够学习到变化的分支可以自行补充全局分支未能恢复的数据信息和特征细节,从而让最终的结果逼近ACS区域的真实数值。所采用的过程和损失函数与式子2一样。通过这种并行训练结构,可以利用单个数据的物理特性,通过自动校准区域来补充全局分支未能恢复的数据信息。这种方法可以提高模型对于不同数据的适应性和泛化能力,在各个自动校准区域上更好地还原真实数值。由于每个数据之间的训练和验证是独立的,这种并行结构可以更好地处理数据之间的差异,并为每个数据集提供个性化的优化。综上所述,利用步骤2中训练好的卷积神经网络构建并行结构,并在每个数据的自动校准区域上进行进一步的训练,可以通过补充数据信息和特征细节来逼近ACS区域的真实数值。这种方法为单个数据集提供了个性化的优化,并提高了模型的适应性和泛化能力,进一步改善了预测和重建的结果。
所述步骤4的具体方法为:利用步骤3中训练好的网络与高性能编解码网络形成并行结构,可以进一步增强模型的学习能力。在这个并行结构中,前者网络的参数被固定,而后者网络则利用编解码网络的强大学习能力和大数据先验进行进一步训练,以补充填充k空间缺失的信息,并保存所有网络参数。在该结构中,全图欠采样数据分别被输入到两个分支。首先,使用步骤3中训练好的网络初步恢复出全图的k空间数据然后,将欠采样数据输入到未训练的编解码网络U中,通过编解码计算得到了网络的输出,这一过程可以描述为:
其中,是欠采样数据,/>是编解码网络的输出。
两个分支的输出通过线性融合模块进行融合(同式子3):
然后经过数据一致性层来提高重建数据的保真度,例如采用softDC:
krec(j)为数据一致性层的输出。为融合模块的输出。γ为可学习的参数用来平衡两种数据的选择策略。j为对不同位置的数值的索引值。Ω是采集到的位置点,即未采样的位置直接采用预估的结果,而采样位置的数值采用预估结果和采样数值的线性融合数值。最后,利用全图全采样信息作为训练的监督信号进行训练,例如采用结构相似度损失函数/>
其中为网络预估的重建图像,通过对krec(数据一致性层的输出)进行反傅里叶变换操作得到多通道复数图像/>然后利用求绝对值获得各个通道的幅值图像/>然后利用均方根的和得到最终的单幅重建图像
x的获取经过了同样的过程,不过其是通过全采样的k空间数据得到的。
通过使用大规模的数据集进行训练,这个并行结构可以产生离线重建结果。可以评估这些结果的指标,并对模型进行微调。评估指标可以包括重建图像的质量、噪声水平、结构准确性等。根据评估结果,可以进行模型的微调,以进一步提升重建结果的质量和准确性。利用并行结构、固定网络参数和编解码网络的学习能力,可以扩展模型的表达能力和适应性。编解码网络能够通过大数据先验学习到更多的图像特征,并补充填充k空间中缺失的信息。通过融合两个分支的输出,并使用数据一致性层来保证重建数据的保真度,可以得到更准确和高质量的重建结果。整个过程中,使用全图全采样信息作为训练的监督信号,以确保重建结果与原始完整数据的一致性。通过离线的大数据集训练和评估指标的分析,能够对模型进行微调和优化,进一步提高重建的效果,并使其逼近真实数据的表现。综上所述,利用步骤3中训练好的网络与编解码网络形成并行结构,可以通过离线训练和大数据先验补充填充k空间缺失的信息,并得到高质量的重建结果。通过评估指标和模型微调,可以不断改进模型以获得更好的重建效果。训练监督可以是全采样的k空间,也可以是全采样数据对应的图像。
所述步骤5的具体方法为:在实时在线扫描与重建过程中,可以将所有的网络模型和参数嵌入到磁共振计算单元中。一旦欠采样数据被扫描获取,它将被输入到计算单元模型中进行处理,此时不再需要步骤1的计算过程。相反,直接利用步骤2中的自动校准区域来训练并补充扫描所特有的数据信息。对于在线重建,将得到的网络参数与预先训练好的编解码网络相结合,形成一个并行结构。具体而言,通过利用步骤2中自动校准区域来训练,得到的网络参数将作为步骤3中局部分支的参数。这个局部分支与预先训练好的编解码网络协同工作,以实现实机的最终重建结果。这种实时在线扫描与重建方法的优势在于它能够高效地利用已训练好的网络模型和参数,在磁共振计算单元中直接完成重建过程。由于不再需要进行步骤1中的计算过程,整个过程更加简化和快速。通过直接利用步骤2中的自动校准区域进行训练,能够更好地捕捉并补充扫描数据中的特定信息。同时,结合预先训练好的编解码网络,可以进一步提高重建的质量和准确性。总之,将所有网络模型和参数嵌入到磁共振计算单元中进行实时在线扫描与重建能够带来高效、简化且快速的重建过程。通过直接利用自动校准区域进行训练,并结合编解码网络,能够获得最终的实机重建结果。这种方法具有较高的实用性和应用价值,并为磁共振成像领域的实时重建提供了新的解决方案。
利用全采样高清晰度图像作为最终监督的k空间插值重建方法如图3、图4和图5所示。图3即为步骤2的流程示意图,首先利用建立的数据集,在多数据的全分辨率数据上训练一个具有数据普遍属性先验的卷积神经网络来学习k空间通用的插值过程,利用带有空洞的卷积,并将空洞的大小设置为加速倍率,可以巧妙地使用普通地卷积滑动操作模拟欠采样过程,使得该位置地重建过程只能看到欠采样采集到的数值,然后的监督是经过处理的全采样k空间数据,即每个位置是未采集到的(加速倍率-1)*2*并行采集线圈数,网络的输出具有相同的大小和通道数,这保证了利用带有空洞的正常卷积即可以模拟利用采集数据预估未采样值的过程,然后利用经过相同变换的全采样数据进行监督,经过在整个训练集上进行迭代随机梯度下降训练,即可使得卷积神经网络学会数据普遍的填充、插值策略。
接下来,如图4所示,利用上面训练好的网络形成一个并行结构,其中一个分支为数据先验分支,是具有大数据填充先验的重建分支;另一个分支的网络参数即初始化为相同的网络参数,使用通用的重建网络参数作为初始参数,可以简化训练难度,降低迭代次数,提高训练效果的同时加快训练速度。另外,数据先验分支的网络参数是固定的,不随着网络的训练进行参数更新。分别利用每个数据的自动校准区域训练每个数据各自的重建网络,因为固定了一个分支的网络分支,并且这个分支的网络参数是固定的,所以随着训练,另一个分支就自然而然地利用每个数据单独的物理属性学习到了每个数据特殊的重建信息,这帮助更好的处理每个数据之间的特殊性,以得到针对性的重建结果。
经过图4的单独训练之后,每个数据具有了单独的物理先验分支的重建网络,利用这个网络完成全图的填充重建,这个重建结果是在全局重建结果的基础上针对每个数据特性,进行了针对性补充重建的结果。将其与一个高性能编解码网络形成并行结构,这一过程固定物理补充分支的网络参数,只通过大数据对编解码网络进行训练,使得网络通过强大的学习能力,利用不同数据先验来对浅层网络和单个数据难以捕捉的非线性和噪声情况进行学习,进一步利用深度网络和大数据赋能,进一步地提升最终的重建结果,这一过程的具体过程见图5所示。两个分支的结果经过线性融合,然后经过数据一致性层之后,利用求绝对值和平方根和就得到了实数的重建结果。训练过程中,利用全采样图像进行监督。
重建结果和与其他方法的对比结果如图6所示。可以看到本发明插值重建结果具有更好的信噪比和可视化结果。
整体框架可以去除步骤4,只采用步骤2和步骤3形成的k空间填充方法也具备很好的重建实时性、性能。其利用大数据先验作为初始网络参数形成的并行重建结构,相对于传统的RAKI方法,重建速度提升了近四十倍,并且得到了提升的重建性能,也具有极大的实际应用意义。
步骤4的训练过程中,也可以利用全采样的k空间作为训练的监督,也可以取得很好的重建性能提升。最终的重建结果再通过反傅里叶变换、求绝对值和平方根和来获得。
在一个部位(如膝盖)进行训练得到的重建网络框架,直接应用于其他组织部位,不再进行提前的大数据采集和训练,也可以获得很好的重建性能,表现出了很好的泛化性,甚至线圈不同的情况下,也可以通过复制、多次分批等方法利用其他数据训练的方法进行插值重建。
方法中采用的所有网络均可以替换成其他网络,利于浅层的卷积神经网络可以由更复杂的网络、Transformer模块等模型进行替代,包括后面的编解码网络也可以根据实际情况进行替换。
本发明还提供一种磁共振欠采样数据的插值重建系统,包括:
获取模块,用于获取磁共振欠采样数据。
输入模块,用于将所述磁共振欠采样数据分别重建网络的输入数据先验分支和物理先验补充分支,得到第一k空间数据和第二k空间数据;所述数据先验分支为编解码网络;所述物理先验补充分支为卷积神经网络结构;所述卷积神经网络结构包括第一卷积神经网络、第二卷积神经网络和融合网络;所述第一卷积神经网络和所述第二卷积神经网络并联;所述第一卷积神经网络和所述第二卷积神经网络均与所述融合网络连接。
融合模块,用于将所述第一k空间数据和所述第二k空间数据进行融合,得到插值的k空间数据。
重建模块,用于根据所述插值的k空间数据进行重建,得到重建图像。
作为一种可选的实施方式,所述物理先验补充分支的训练过程包括:
利用训练数据利用梯度下降算法对第一卷积神经网络进行训练。
固定所述第一卷积神经网络的网络参数并将所述第一卷积神经网络的网络参数作为所述第二卷积神经网络的初始参数。
利用训练数据的自动校准区域对所述卷积神经网络进行训练。
作为一种可选的实施方式,所述重建网络的训练过程包括:
固定所述物理先验补充分支的网络参数。
利用训练数据对所述重建网络的数据先验分支进行训练。
作为一种可选的实施方式,所述重建模块具体包括:
反傅里叶变换单元,用于将所述插值的k空间数据进行反傅里叶变换,得到多通道复数图像。
绝对值求解单元,用于求所述多通道复数图像的绝对值,得到各个通道的幅值图像。
重建单元,用于根据所述幅值图像确定重建图像。
本发明还提供一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现所述的方法。
本发明还提供一种计算机存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述的方法。
本发明提出的方法通过在k空间域进行学习和插值,不会直接在图像域中进行学习和重建,这不会因为学到了固定部位的常见结构而引入不可预见的图像先验,从而产生重建伪影。由于频域和空间域具有全局的对应关系,本方法在k空间插值重建时引入的先验不会影响图像中某部位的重建,所以相对纸面指标更强的先进图像域方法,本发明更为安全、可用。
本发明通过将多个通道的预测聚合到一个网络当中,成倍的加快了重建的速度。并且通过预先在大数据上训练卷积网络,使得网络学到了多数据普遍先验的基础上进行专门化扫描特定的插值补充,减少了网络训练的迭代次数,成倍地加快了重建速度的同时,也提升了插值性能。
这些提升主要源自于以下四点:
预先在多数据上训练卷积神经网络,这使得重建网络预先隐含了多数据和高频重建的信息和先验。
使用步骤1中预训练的网络参数作为在线训练网络的初始化参数,减少了训练迭代次数,并且增加了结果的数据针对性,对不同的数据有个性化的重建策略。
最后再通过高性能编解码网络补充更为复杂的非理想噪声和结构。
综合上述策略本发明在具有超快的重建速度的同时,引入了多数据和高频的先验信息,并且通过高性能的k网络补充非线性、难以捕获的信息,最终获得了超高的插值重建性能。
本发明的方法将网络模型和参数嵌入到磁共振计算单元中,在线实时扫描和重建过程中直接处理数据,避免了离线计算的时间消耗。通过利用步骤2中的自动校准区域进行训练,并结合预先训练的编解码网络形成并行结构,可以补充恢复特定数据集缺失的信息,提升重建数据的质量和准确性。此外,该方案简化了操作流程,减少了操作者的工作量,并提供了个性化的优化,使得模型更好地适应不同数据集,产生准确和高质量的重建结果。
本发明通过结合已有的网络模型和大数据先验信息,提供了一个实用的解决方案来解决现有技术中的局限性。这个方案旨在提高实时性能、提升数据恢复质量、简化操作流程,并为不同数据集提供个性化的优化。通过充分利用已经训练好的网络模型和大数据的先验信息,该方法能够在实机环境中获得高质量的重建结果,有助于改善磁共振成像的实时重建效果和应用场景。
因此,通过将网络模型和参数嵌入到计算单元中进行在线扫描与重建,并利用自动校准区域进行数据信息补充训练,本方法能够较好地解决现有技术中实时性能差、数据恢复质量低、复杂操作流程以及缺乏个性化等问题。这种创新方案提供了一个更高效、快速并且可靠的磁共振成像重建解决方案,有望为该领域的进一步发展和应用提供新的推动力。
1)提高实时性能:传统的磁共振成像重建方法通常需要在离线环境下进行复杂的计算,耗费大量时间。然而,上述方案将网络模型和参数嵌入到计算单元中,实现了实时在线扫描与重建,极大地提高了实时成像的性能。不再依赖于离线计算过程,避免了对大规模数据的处理,使得实时影像在获取后能够立即生成。
2)数据恢复质量:传统方法在采样率较低时可能会导致图像质量的降低和细节丢失。然而,在上述方案中,利用步骤2中的自动校准区域进行训练,可以针对特定的数据集补充恢复缺失信息。通过融合两个分支的输出,并使用数据一致性层进一步提高重建数据的保真度。这种方式有效地弥补了传统方法中缺乏完整图像信息的问题,从而提升了数据的恢复质量和准确性。
3)个性化重建:传统方法对于不同数据集的适应性较差,往往会导致重建结果与真实数据存在偏离。然而,上述方案通过在每个数据集的自动校准区域上进行进一步训练,并使用预先训练好的编解码网络形成并行结构,能够为不同数据集提供个性化的优化。这种个性化的重建方式使得模型更好地适应不同数据集,并产生更准确和高质量的重建结果。
4)操作流程:传统方法中,重建过程需要多次迭代、调整参数以及专业人员的参与。然而,上述方案将网络模型和参数嵌入到磁共振计算单元中进行在线扫描与重建,简化了操作流程。不再需要复杂的计算过程和手动调整参数,减少了操作者的工作量,降低了人为误差的可能性。
5)提供实用的解决方案:上述方案利用现有技术和网络结构的结合,旨在提供一种实用的解决方案,使得磁共振成像能够更加高效、精确地进行实时重建。通过充分利用已经训练好的网络模型和大数据的先验信息,该方案能够在实机环境中获得高质量的重建结果,进一步推动磁共振成像技术的发展和应用。
综上所述,上述方案解决了传统磁共振成像方法中实时性能差、数据恢复质量不高、缺乏个性化和操作流程复杂等问题。通过将网络模型与计算单元结合,并在在线扫描过程中利用自动校准区域进行数据补充训练,同时结合预先训练的编解码网络形成并行结构,该方案提供了一个实用的解决方案,改善了磁共振成像的实时重建效果和应用场景。
以对照试验作为比较例,和GRAPPA、RAKI以及Res RAKI方法进行对比,这些方法不仅重建速度较慢,流程负责,并且在高倍率时重建性能不佳。结果对比如图6所示。可以看到,本方法重建的图像在各个倍率下信噪比更高,细节更丰富,重建质量更好。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种磁共振欠采样数据的插值重建方法,其特征在于,包括:
获取磁共振欠采样数据;
将所述磁共振欠采样数据分别重建网络的输入数据先验分支和物理先验补充分支,得到第一k空间数据和第二k空间数据;所述数据先验分支为编解码网络;所述物理先验补充分支为卷积神经网络结构;所述卷积神经网络结构包括第一卷积神经网络、第二卷积神经网络和融合网络;所述第一卷积神经网络和所述第二卷积神经网络并联;所述第一卷积神经网络和所述第二卷积神经网络均与所述融合网络连接;
将所述第一k空间数据和所述第二k空间数据进行融合,得到插值的k空间数据;
根据所述插值的k空间数据进行重建,得到重建图像。
2.根据权利要求1所述的磁共振欠采样数据的插值重建方法,其特征在于,所述物理先验补充分支的训练过程包括:
利用训练数据利用梯度下降算法对第一卷积神经网络进行训练;
固定所述第一卷积神经网络的网络参数并将所述第一卷积神经网络的网络参数作为所述第二卷积神经网络的初始参数;
利用训练数据的自动校准区域对所述卷积神经网络进行训练。
3.根据权利要求2所述的磁共振欠采样数据的插值重建方法,其特征在于,所述重建网络的训练过程包括:
固定所述物理先验补充分支的网络参数;
利用训练数据对所述重建网络的数据先验分支进行训练。
4.根据权利要求1所述的磁共振欠采样数据的插值重建方法,其特征在于,根据所述插值的k空间数据进行重建,得到重建图像,具体包括:
将所述插值的k空间数据进行反傅里叶变换,得到多通道复数图像;
求所述多通道复数图像的绝对值,得到各个通道的幅值图像;
根据所述幅值图像确定重建图像。
5.一种磁共振欠采样数据的插值重建系统,其特征在于,包括:
获取模块,用于获取磁共振欠采样数据;
输入模块,用于将所述磁共振欠采样数据分别重建网络的输入数据先验分支和物理先验补充分支,得到第一k空间数据和第二k空间数据;所述数据先验分支为编解码网络;所述物理先验补充分支为卷积神经网络结构;所述卷积神经网络结构包括第一卷积神经网络、第二卷积神经网络和融合网络;所述第一卷积神经网络和所述第二卷积神经网络并联;所述第一卷积神经网络和所述第二卷积神经网络均与所述融合网络连接;
融合模块,用于将所述第一k空间数据和所述第二k空间数据进行融合,得到插值的k空间数据;
重建模块,用于根据所述插值的k空间数据进行重建,得到重建图像。
6.根据权利要求5所述的磁共振欠采样数据的插值重建系统,其特征在于,所述物理先验补充分支的训练过程包括:
利用训练数据利用梯度下降算法对第一卷积神经网络进行训练;
固定所述第一卷积神经网络的网络参数并将所述第一卷积神经网络的网络参数作为所述第二卷积神经网络的初始参数;
利用训练数据的自动校准区域对所述卷积神经网络进行训练。
7.根据权利要求6所述的磁共振欠采样数据的插值重建系统,其特征在于,所述重建网络的训练过程包括:
固定所述物理先验补充分支的网络参数;
利用训练数据对所述重建网络的数据先验分支进行训练。
8.根据权利要求5所述的磁共振欠采样数据的插值重建系统,其特征在于,所述重建模块具体包括:
反傅里叶变换单元,用于将所述插值的k空间数据进行反傅里叶变换,得到多通道复数图像;
绝对值求解单元,用于求所述多通道复数图像的绝对值,得到各个通道的幅值图像;
重建单元,用于根据所述幅值图像确定重建图像。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至4中任意一项所述的方法。
10.一种计算机存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410241444.8A CN118135048A (zh) | 2024-03-04 | 2024-03-04 | 磁共振欠采样数据的插值重建方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410241444.8A CN118135048A (zh) | 2024-03-04 | 2024-03-04 | 磁共振欠采样数据的插值重建方法、系统、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118135048A true CN118135048A (zh) | 2024-06-04 |
Family
ID=91232938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410241444.8A Pending CN118135048A (zh) | 2024-03-04 | 2024-03-04 | 磁共振欠采样数据的插值重建方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118135048A (zh) |
-
2024
- 2024-03-04 CN CN202410241444.8A patent/CN118135048A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
CN109410289B (zh) | 一种深度学习的高欠采样超极化气体肺部mri重建方法 | |
CN108829639B (zh) | 一种磁共振成像方法和设备 | |
CN110097512A (zh) | 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用 | |
CN108765511A (zh) | 基于深度学习的超声图像超分辨率重建方法 | |
US10627470B2 (en) | System and method for learning based magnetic resonance fingerprinting | |
CN104933683A (zh) | 一种用于磁共振快速成像的非凸低秩重建方法 | |
CN111870245B (zh) | 一种跨对比度引导的超快速核磁共振成像深度学习方法 | |
Kelkar et al. | Prior image-constrained reconstruction using style-based generative models | |
CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
CN114140341A (zh) | 一种基于深度学习的磁共振图像非均匀场校正方法 | |
CN113509165B (zh) | 基于CAR2UNet网络的复数快速磁共振成像方法 | |
CN110148193A (zh) | 基于自适应正交字典学习的动态磁共振并行重建方法 | |
CN116863024A (zh) | 一种磁共振图像重建方法、系统、电子设备及存储介质 | |
CN116626570A (zh) | 多对比度mri采样和图像重建 | |
CN114693823B (zh) | 一种基于空频双域并行重建的磁共振图像重建方法 | |
US20230367850A1 (en) | Systems and methods for mri data processing | |
CN118135048A (zh) | 磁共振欠采样数据的插值重建方法、系统、设备及介质 | |
US11941732B2 (en) | Multi-slice MRI data processing using deep learning techniques | |
CN116070401A (zh) | 一种基于变换域张量低秩先验深度展开网络的高维磁共振图像重建方法 | |
CN115170691A (zh) | 基于深度学习和交替方向乘子法的磁共振成像的重构方法 | |
EP3916417A1 (en) | Correction of magnetic resonance images using multiple magnetic resonance imaging system configurations | |
CN114299174A (zh) | 一种基于深度无监督学习的多回波欠采样重建—水脂分离方法 | |
JP2023069890A (ja) | 磁気共鳴イメージング装置、画像処理装置、及び、画像処理方法 | |
CN112669400A (zh) | 基于深度学习预测和残差架构的动态mr重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |