CN113077527B - 一种基于欠采样的快速磁共振图像重建方法 - Google Patents

Abstract

本发明涉及一种基于欠采样的快速磁共振图像重建方法，包括以下步骤：步骤1、采集大量磁共振数据，作为深度重建网络模型的数据集；步骤2、使用欠扫描过程中所有可能存在的mask矩阵对训练数据进行数据增强，扩充步骤1所采集的数据集；步骤3、对步骤2扩充后的数据集进行归一化处理；步骤4、建立双域并行重建网络；步骤5、利用步骤3归一化处理后的数据对步骤4所建立的双域并行重建网络进行训练，得到训练好的双域并行重建网络，然后将采集到的前扫描图像经过归一化预处理之后送入到训练好的网络中进行前向传播，输出即可得到重建后的图像。本发明能够使网络具备利用欠采样数据进行核磁共振图像高清重建的能力，能够消除违背采样定理条件下带来的伪影。

Description

一种基于欠采样的快速磁共振图像重建方法

技术领域

本发明属于图像处理技术领域，涉及磁共振图像的重建方法，尤其是一种基于欠采样的快速磁共振图像重建方法。

背景技术

目前，磁共振成像技术已经成为医疗诊断中不可或缺的检查手段，其对于脑部以及其他软组织的成像可以达到很好的诊断效果，目前在临床中的应用十分重要和普遍。但是目前的磁共振仍面临着采集时间过长、病人舒适性较差的弊端，采集时间长、预约时间长严重限制了磁共振的应用和普及。

在2006年左右出现的压缩感知技术(CS)[David Donoho.Compressedsensing.IEEE Transactions on Information Theory,52(4):1289–1306,2006.]是使得磁共振采集时间大幅缩短的重要突破，其允许设备在进行k空间数据采样时，相较于之前的临床扫描，减少扫描的数目，并且可以生成可以应用于医疗诊断的图像。之后，出现了并形成像技术，其在数据采集时，采用多个接收线圈用来接收身体激发信号，同时可以获得关注不同部位的多个k空间数据，利用复数敏感度图可以对这些线圈数据进行过融合，从而可以生成更好的重建图像[MarkA.Griswold,Peter M.Jakob,Robin M.Heidemann,MathiasNittka,Vladimir Jellus,JianminWang,Berthold Kiefer,andAxel Haase.Generalizedautocalibrating partiallyparallel acquisitions(GRAPPA).Magnetic Resonance inMedicine,47(6):1202–1210,2002.]。但是这两个方法允许的加速时间仍然有限。

在欠采样重建方法中，利用数据先验是突破采样定理的关键，所以利用机器学习技术的重建方法一般会取得更好地重建效果。

在fastMRI公开数据集发布之后，更多的机器学习方法出现，出现了直接利用UNet的只在图像域进行优化重建的单线圈、多线圈方法[Jure Zbontar,Florian Knoll,Anuroop Sriram,et al.fastmri:An open dataset andbenchmarks for acceleratedMRI.CoRR,abs/1811.08839,2018.]；在此之前，也产生了只在图像域进行优化的变分网络方法VarNet[Kerstin Hammernik,Teresa Klatzer,Erich Kobler,Michael P.Recht,Daniel K.Sodickson,Thomas Pock,and Florian Knoll.Learning a variationalnetwork forreconstruction ofaccelerated MRI data.Magnetic Resonance inMedicine,79(6):3055–3071,2018.]，其利用简单的卷积操作作为空间稀疏约束，通过级联不断优化图像，但是最终重建的效果不能达到很好的效果和指标。

2018年出现的AUTOMAP方法[Bo Zhu,Jeremiah Z.Liu,Stephen F.Cauley,BruceR.Rosen,and Matthew S.Rosen.Image reconstructionby domain-transform manifoldlearning.Nature,555(7697),2018.]，提出了利用全连接层来代替包括傅里叶变换在内的各种变换，使得重建问题变成了全深度网络重建问题，并且从流形学习角度阐述了两个域在某个维度存在低维的映射关系。这一方法算是开辟了频域和图像域先后处理的先河，但是其在磁共振加速重建中由于计算的复杂度没有得到很好地应用和效果。

之前的基于机器学习的方法通常只关注磁共振图像在图像空间下的学习与重建，或者利用单纯的编解码网络，或者通过编解码网络的级联，还有通过中间层为k空间数据的级联网络，但是对于欠采样的优化仍然是只在图像域进行优化。2020年发表的GrappaNet方法[Sriram,A.,Zbontar,J.,Murrell,T.,Zitnick,C.L.,Defazio,A.,&Sodickson,D.K.(2020).GrappaNet:Combining parallel imaging with deep learning for multi-coilMRI reconstruction.In Proceedings ofthe IEEE/CVF Conference on ComputerVisionand Pattern Recognition,pages 14315-14322.]，涉及了分别在频域与图像域进行优化重建的网络模型，输入的k空间数据会分别经过频域优化网络和图像域优化网络，之后再级联，从而达到一定的重建效果，但是其仍然没有利用到频域与图像域重建网络之间的特征关系，从而可以进一步地提升重建的效果。

综上所述，之前的方法都是只在图像域或者频域进行重建的方法，或者是频域、图像域先后进行重建优化的方法，其重建效果仍然有限，并且很难达到更高的加速倍率，仍存在一定的不足。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于欠采样的快速磁共振图像重建方法，能够同时利用频域与空间域数据作为双域并行网络的输入，来进行高速的高清磁共振图像加速重建。

本发明解决其现实问题是采取以下技术方案实现的：

一种基于欠采样的快速磁共振图像重建方法，包括以下步骤：

步骤1、采集大量磁共振数据，作为深度重建网络模型的数据集；

步骤2、使用欠扫描过程中所有可能存在的mask矩阵对训练数据进行数据增强，扩充步骤1所采集的数据集；

步骤3、对步骤2扩充后的数据集进行归一化处理；

步骤4、建立双域并行重建网络；

步骤5、利用步骤3归一化处理后的数据对步骤4所建立的双域并行重建网络进行训练，得到训练好的双域并行重建网络，然后将采集到的前扫描图像经过归一化预处理之后送入到训练好的网络中进行前向传播，输出即可得到重建后的图像。

而且，所述步骤1的具体方法为：利用磁共振设备进行大量磁共振数据的采集，采集时对数据进行全采样，此时采样的数据的空间域形式可以作为网络输出的标签，用来监督网络的训练；通常采集到的数据格式为k空间频域格式，用来作为频域网络的监督，之后利用反傅里叶变换和RSS方法将采集到的频域数据转换到图像域，在转换过程中利用计算到的敏感度图进行多线圈数据的融合，以得到最终的标签图像作为空间域网络训练阶段的输出监督。

而且，所述步骤2的具体方法为：

在深度重建网络模型的训练阶段，采用所有的4倍和8倍欠采样组合，即除了中心采样的区域，其他区域的mask会在采样倍率允许的情况下穷举所有可能的欠采样mask，用来模拟欠扫描过程，每个采集到的k空间数据都会经过所有mask组合的处理用来作为训练数据，以用来进行数据集的扩充。

而且，所述步骤3的具体方法为：在获得了所有的数据集数据之后，在送入网络进行训练计算之前，进行输入输出数据的预处理和归一化，首先计算输入图像域数据的mean和std，然后利用计算得到的mean和std来进行输入频域、空间域数据以及输出频域、空间域数据的归一化，经过归一化之后的数据会更易于网络的训练和收敛。

而且，所述步骤4的双域并行重建网络的网络结构包括两个并行的卷积神经网络，所述两个并行的卷积神经网络具备编解码结构，用于提取图像中的高频与低频信息；

所述步骤4的双域并行重建网络的一个网络进行频域的重建，另一个网络进行图像域的重建；在中间特征层，频域的特征会通过反傅里叶变换之后映射到图像域特征并与图像域对应的特征进行cat操作继续进行图像域的前向传播，并且图像域的特征也会经过傅里叶变换映射到频域特征当中去，然后与频域网络中的频域特征进行融合cat，然后继续频域特征的前向传播和优化，上下两个网络之间通过IFFT和FFT操作进行了特征级的信息交互；

在所述步骤4的双域并行重建网络中，进行多次的特征融合过程，融合过程同时存在于编码端和解码端；并在该深度重建网络模型的双域并行网络进行级联，级联时存在三种选择：(1)基于延续频域和图像域的重建；(2)将前一级的图像输出傅里叶变换之后作为下一级频域网络的输入、频域输出经过反傅里叶变换作为图像域网络的输入；(3)下一级的并行网络的两个输入可以同时利用前一个网络的两个输出，将两个输出分别映射到一个域中进行cat操作然后作为输入。

而且，所述步骤5的具体方法为：

在进行网络的训练时，在图像输出中采用SSIM损失函数，在频域输出中采用L1损失函数，网络的输出监督有两个，分别为频域和图像域，两个输出监督进行了权重分配；

该双域并行重建网络对于输出图像的监督为320*320的分辨率，并且两个网络的输出都为复数双通道输入输出，分别为复数输入的实数和虚数，在图像域网络的最后，输出的为双通道的复数图像，经过绝对值计算幅值，然后取中心的320*320范围作为最后的输出，与标签图像做结构相似度或者L1损失函数；

经过测试集进行测试，得到此训练完成双域并行重建网络之后，即可利用欠扫描得到的频域数据作为频域网络的输入，欠扫描频域数据经过IFFT处理得到的不清晰空域图像作为图像域网络的输入，然后经过如步骤3的归一化处理过程，再经过训练得到的双域并行重建网络的前向计算，即可在网络输出得到重建后的图像。

本发明的优点和有益效果：

1、本发明提供一种基于欠采样的快速磁共振图像重建方法，通过利用磁共振设备采集到的欠采样的单线圈或多线圈数据，制作深度网络模型的数据集；在训练阶段，将此数据分别以k空间频域和空间域的形式输入到新设计的双域并行网络当中去，通过利用随机梯度下降法对深度网络模型进行训练，使得网络具备利用欠采样数据进行核磁共振图像高清重建的能力，能够消除违背采样定理条件下带来的伪影，使得图像具备临床诊断使用条件。

2、本发明发明提出一种新的双域并行网络来进行磁共振图像欠采样重建，针对磁共振扫描采集数据的特性，即获取的数据为频域数据，而图像的重建通常是在图像域进行的。本发明提出的一种新的双域并行磁共振深度网络模型，通过频域图像与图像域重建网络的并行重建，同时完成频域与图像域的优化与重建，在中间特征层还可以相互利用特征信息，通过傅里叶变换之后就可以利用到另一个并行网络当中。这样的并行重建可以使得两个网络都可以利用到另一个域重建过程中在特征层面的有益信息，从而提升网络的重建能力，达到更好的重建效果。

2、本发明能够将上述的双域网络进行级联，通过级联之后，并行网络不仅可以并行相互利用彼此的信息，另外还可以通过串联，在图像域和频域先后进行优化，形成了一种两维的重建效果，在并行层面有一个维度的重建，串行在另一个维度又进行了重建，对于网络的整体重建性能有一个较大的提升。

附图说明

图1是本发明的磁共振前扫描加速高清重建方法的流程图；

图2是本发明的双域并行网络的示意图1；

图3是本发明的双域并行网络的示意图2；

图4是本发明的简单级联的双域并行网络示意图；

图5是本发明的跨域级联的双域并行网络示意图

图6是本发明的跨域cat双输入级联的双域并行网络示意图；

图7是本发明的双螺旋结构式的双域并行网络示意图；

图8(a)、图8(b)和图8(c)分别是本发明的网络输入、输出以及标签的示意图。

具体实施方式

以下结合附图对本发明实施例作进一步详述：

一种基于欠采样的快速磁共振图像重建方法，如图1所示，包括以下步骤：

步骤1、采集大量磁共振数据，作为深度重建网络模型的数据集；

所述步骤1的具体方法为：利用磁共振设备进行大量磁共振数据的采集，采集时对数据进行全采样，此时采样的数据的空间域形式可以作为网络输出的标签，用来监督网络的训练；通常采集到的数据格式为k空间频域格式，用来作为频域网络的监督，之后利用反傅里叶变换和RSS方法将采集到的频域数据转换到图像域，在转换过程中利用计算到的敏感度图进行多线圈数据的融合，以得到最终的标签图像作为空间域网络训练阶段的输出监督，具体图像域输出标签图像如图8(c)所示。

步骤2、使用欠扫描过程中所有可能存在的mask矩阵对训练数据进行数据增强，扩充步骤1所采集的数据集。

目前常用的欠采样倍数为4倍和8倍，在4倍欠采样时，会取中心8％的全采样数据，8倍欠采样时，全采样中心4％的数据。对于其他高频数据，会采取随机采样或等间距采样。

所述步骤2的具体方法为：

在深度重建网络模型的训练阶段，采用所有的4倍和8倍欠采样组合，即除了中心采样的区域，其他区域的mask会在采样倍率允许的情况下穷举所有可能的欠采样mask，用来模拟欠扫描过程，每个采集到的k空间数据都会经过所有mask组合的处理用来作为训练数据，以用来进行数据集的扩充。

步骤3、对步骤2扩充后的数据集进行归一化处理；

所述步骤3的具体方法为：在获得了所有的数据集数据之后，在送入网络进行训练计算之前，进行输入输出数据的预处理和归一化，首先计算输入图像域数据的mean和std，然后利用计算得到的mean和std来进行输入频域、空间域数据以及输出频域、空间域数据的归一化，经过归一化之后的数据会更易于网络的训练和收敛。

步骤4、建立双域并行重建网络；

所述步骤4的双域并行重建网络的网络结构包括两个并行的卷积神经网络，如图2所示，所述两个并行的卷积神经网络具备编解码结构，用于提取图像中的高频与低频信息。

所述步骤4的双域并行重建网络的一个网络进行频域的重建，如图2左侧网络，另一个网络进行图像域的重建，如图2右侧网络；在中间特征层，频域的特征会通过反傅里叶变换之后映射到图像域特征并与图像域对应的特征进行cat操作继续进行图像域的前向传播，并且图像域的特征也会经过傅里叶变换映射到频域特征当中去，然后与频域网络中的频域特征进行融合cat，然后继续频域特征的前向传播和优化，如图3中上下两个网络之间通过IFFT和FFT操作进行了特征级的信息交互。

在所述步骤4的双域并行重建网络中，进行多次的特征融合过程，融合过程同时存在于编码端和解码端；并在该深度重建网络模型的双域并行网络进行级联，级联时存在三种选择：(1)基于延续频域和图像域的重建，如图4所示；(2)将前一级的图像输出傅里叶变换之后作为下一级频域网络的输入、频域输出经过反傅里叶变换作为图像域网络的输入，如图5所示；(3)下一级的并行网络的两个输入可以同时利用前一个网络的两个输出，将两个输出分别映射到一个域中进行cat操作然后作为输入，如图6所示。

在本实施例中，采用的双域并行重建网络在图像域和频域采用的都为编解码结构，实际上在频域进行更适用的重建网络会更适应于频域数据，例如浅层编解码结构，或者利用一些特殊的卷积例如对称卷积、对角卷积或者射线卷积。另外，如果经过多次如图5的级联，形成的网络会呈现出类似DNA双螺旋结构的级联并串行重建网络，如图7所示。

步骤5、利用步骤3归一化处理后的数据对步骤4所建立的双域并行重建网络进行训练，得到训练好的双域并行重建网络，然后将采集到的前扫描图像经过归一化预处理之后送入到训练好的网络中进行前向传播，输出即可得到重建后的图像。

所述步骤5的具体方法为：

在进行网络的训练时，在图像输出中采用SSIM损失函数，在频域输出中采用L1损失函数，网络的输出监督有两个，分别为频域和图像域，两个输出监督进行了权重分配；

在本实施例中，训练时采用0.001的学习率，进行共50个epoch的训练，在40个epoch时，将学习率调小10倍，变为0.0001的学习率，使得网络能够更好地收敛，以达到更好地效果。

该双域并行重建网络对于输出图像的监督为320*320的分辨率，并且两个网络的输出都为复数双通道输入输出，也就是输入两个通道，分别为复数输入的实数和虚数，在图像域网络的最后，输出的为双通道的复数图像，经过绝对值计算幅值，然后取中心的320*320范围作为最后的输出，与标签图像做结构相似度或者L1损失函数；

经过测试集进行测试，网络可以具备很好的欠采样磁共振数据重建能力。得到此训练完成双域并行重建网络之后，即可利用欠扫描得到的频域数据作为频域网络的输入，欠扫描频域数据经过IFFT处理得到的不清晰空域图像作为图像域网络的输入，然后经过如步骤3的归一化处理过程，再经过训练得到的双域并行重建网络的前向计算，即可在网络输出得到重建后的图像。

在本实施例中，经过训练的算法会将软件集成到嵌入式计算设备或者其他高性能计算平台，对接磁共振扫描设备，用来进行实际上机使用，经过4倍和8倍前扫描的磁共振设备，其扫描速度会被大大提升，使得原本需要几十分钟的扫描过程缩短到只有几分钟，并且具备很高清、具有较好对比度、能够运用到临床诊断的磁共振图像，具体重建结果见图8，图8(a)为直接将欠扫描的数据进行重建的结果，不甚清晰，具有伪影，图8(b)为本发明的方法重建的结果，与图8(c)的全采样标签图像相比，结果已经十分高清，伪影得到了很大的去除，具有很好的重建效果。

实验结果说明：

如图8所示，可以看到网络在单线圈以及多线圈设备上都具备很好的磁共振图像重建效果。图像具备很好的细节保留，并且对比度十分接近原图，在psnr、ssim以及nmse上也达到了很好的指标，并且对于医生所关注的损伤或病灶部位，都达到了很好的临床诊断要求。本方法在大幅提升磁共振设备的采集速度、减少扫描数量和时间的基础上，提出了一种可以级联的双域并行深度网络模型，模型间可以进行特征级别的特征融合和交互，具备很好的基于磁共振欠扫描数据的加速重建效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (5)

1.一种基于欠采样的快速磁共振图像重建方法，其特征在于：包括以下步骤：

步骤1、采集大量磁共振数据，作为深度重建网络模型的数据集；

步骤2、使用欠扫描过程中所有可能存在的mask矩阵对训练数据进行数据增强，扩充步骤1所采集的数据集；

步骤3、对步骤2扩充后的数据集进行归一化处理；

步骤4、建立双域并行重建网络；

步骤5、利用步骤3归一化处理后的数据对步骤4所建立的双域并行重建网络进行训练，得到训练好的双域并行重建网络，然后将采集到的前扫描图像经过归一化预处理之后送入到训练好的网络中进行前向传播，输出即可得到重建后的图像；

所述步骤4的双域并行重建网络的网络结构包括两个并行的卷积神经网络，所述两个并行的卷积神经网络具备编解码结构，用于提取图像中的高频与低频信息；

所述步骤4的双域并行重建网络的一个网络进行频域的重建，另一个网络进行图像域的重建；在中间特征层，频域的特征会通过反傅里叶变换之后映射到图像域特征并与图像域对应的特征进行cat操作继续进行图像域的前向传播，并且图像域的特征也会经过傅里叶变换映射到频域特征当中去，然后与频域网络中的频域特征进行融合cat，然后继续频域特征的前向传播和优化，上下两个网络之间通过IFFT和FFT操作进行了特征级的信息交互；

在所述步骤4的双域并行重建网络中，进行多次的特征融合过程，融合过程同时存在于编码端和解码端；并在该深度重建网络模型的双域并行网络进行级联，级联时存在三种选择：(1)基于延续频域和图像域的重建；(2)将前一级的图像输出傅里叶变换之后作为下一级频域网络的输入、频域输出经过反傅里叶变换作为图像域网络的输入；(3)下一级的并行网络的两个输入可以同时利用前一个网络的两个输出，将两个输出分别映射到一个域中进行cat操作然后作为输入。

2.根据权利要求1所述的一种基于欠采样的快速磁共振图像重建方法，其特征在于：所述步骤1的具体方法为：利用磁共振设备进行大量磁共振数据的采集，采集时对数据进行全采样，此时采样的数据的空间域形式可以作为网络输出的标签，用来监督网络的训练；通常采集到的数据格式为k空间频域格式，用来作为频域网络的监督，之后利用反傅里叶变换和RSS方法将采集到的频域数据转换到图像域，在转换过程中利用计算到的敏感度图进行多线圈数据的融合，以得到最终的标签图像作为空间域网络训练阶段的输出监督。

3.根据权利要求1所述的一种基于欠采样的快速磁共振图像重建方法，其特征在于：所述步骤2的具体方法为：

在深度重建网络模型的训练阶段，采用所有的4倍和8倍欠采样组合，即除了中心采样的区域，其他区域的mask会在采样倍率允许的情况下穷举所有可能的欠采样mask，用来模拟欠扫描过程，每个采集到的k空间数据都会经过所有mask组合的处理用来作为训练数据，以用来进行数据集的扩充。

4.根据权利要求1所述的一种基于欠采样的快速磁共振图像重建方法，其特征在于：所述步骤3的具体方法为：在获得了所有的数据集数据之后，在送入网络进行训练计算之前，进行输入输出数据的预处理和归一化，首先计算输入图像域数据的mean和std，然后利用计算得到的mean和std来进行输入频域、空间域数据以及输出频域、空间域数据的归一化，经过归一化之后的数据会更易于网络的训练和收敛。

5.根据权利要求1所述的一种基于欠采样的快速磁共振图像重建方法，其特征在于：所述步骤5的具体方法为：

在进行网络的训练时，在图像输出中采用SSIM损失函数，在频域输出中采用L1损失函数，网络的输出监督有两个，分别为频域和图像域，两个输出监督进行了权重分配；

该双域并行重建网络对于输出图像的监督为320*320的分辨率，并且两个网络的输出都为复数双通道输入输出，分别为复数输入的实数和虚数，在图像域网络的最后，输出的为双通道的复数图像，经过绝对值计算幅值，然后取中心的320*320范围作为最后的输出，与标签图像做结构相似度或者L1损失函数；

经过测试集进行测试，得到此训练完成双域并行重建网络之后，即可利用欠扫描得到的频域数据作为频域网络的输入，欠扫描频域数据经过IFFT处理得到的不清晰空域图像作为图像域网络的输入，然后经过如步骤3的归一化处理过程，再经过训练得到的双域并行重建网络的前向计算，即可在网络输出得到重建后的图像。

Images