CN110598579A - 一种基于深度学习的超复数磁共振波谱重建方法 - Google Patents

Abstract

一种基于深度学习的超复数磁共振波谱重建方法，涉及磁共振波谱。根据磁共振波谱信号指数模型生成超复数磁共振波谱的全采样时域信号，按照欠采样模板对全采样时域信号进行欠采样以及对没有采集到的数据点位置进行置零得到超复数磁共振波谱的欠采样时域信号，将该欠采样时域信号以及对应全采样时域信号换为复数时域信号，各自进行傅立叶变换得到对应的频率域的欠采样和全采样磁共振波谱，生成用于超复数谱重建的训练集；构建用于超复数磁共振波谱重建的深度学习网络，采用得到的训练集对该深度学习网络训练，得到训练好的超复数磁共振波谱重建的网络参数；采用训练好的网络对超复数磁共振波谱的欠采样时域信号重建，得到完整的超复数磁共振波谱。

Description

一种基于深度学习的超复数磁共振波谱重建方法

技术领域

本发明涉及磁共振波谱，尤其是涉及一种基于深度学习的超复数磁共振波谱重建方法。

背景技术

磁共振波谱(Magnetic Resonance Spectroscopy,MRS)可以明确地阐明分子结构，已经被广泛应用于医学、化学和生物学等领域。在欠采样磁共振波谱重建中，如何在保证重建波谱质量的同时降低采样时间是一个重要技术问题。

传统的磁共振重建方法主要利用磁共振时间或者频率信号的数学特性来重建频谱。Qu Xiaobo等(Qu X,Mayzel M,Cai J,Chen Z,Orekhov V.Accelerated NMRspectroscopy with low-Rank reconstruction[J].Angewandte Chemie InternationalEdition,2015,54(3):852-854.)提出了一种基于低秩汉克尔矩阵的磁共振波谱重建方法，约束磁共振时域信号转Hankel矩阵的低秩特性，在低强度宽谱峰恢复上取得了比较好的结果。该方法还扩展到了三维及更高维的波谱重建中(Ying J,Lu H,Wei Q,Cai J,Guo D,WuJ,Chen Z,Qu X.Hankel matrix nuclear norm regularized tensor completion for N-dimensional exponential signals[J],IEEE Transactions on Signal Processing,2017,65(14):3702-3717.)，并且通过利用汉克尔矩阵的范德蒙分解(Ying J,Cai J,GuoDi,Tang G,Chen Z,Qu X,Vandermonde factorization of Hankel matrix for complexexponential signal recovery—application in fast NMR spectroscopy[J],IEEETransactions on Signal Processing,2018,66(21):5520-5533.)以及加权核范数操作(Guo D,Qu X.Improved reconstruction of low intensity magnetic resonancespectroscopy with weighted low rank Hankel matrix completion[J].IEEE Access,2018,6:4933-4940)和(Qu X,Qiu T,Guo Di,Lu H,Ying J,Shen M,Hu B,Orekhov V,ChenZ.High-fidelity spectroscopy reconstruction in accelerated NMR[J],ChemicalCommunications,2018,54(78):10958-10961.)进一步提高了对密集谱峰和低强度谱峰的重建能力。但是，这类低秩汉克尔矩阵重建方法迭代过程中的奇异值分解所耗费的时间较高，因此导致波谱重建时间较长。Guo Di等(Guo D,Lu H,Qu X.A fast low rank Hankelmatrix factorization reconstruction method for non-uniformly sampled magneticresonance spectroscopy[J].IEEE Access,2017,5:16033-16039.)成功地将低秩矩阵进行分解并引入并行计算，避免时间复杂度高的奇异值分解，不过仍然需要花费一定时间。对于超复数磁共振波谱，其信号包括多个虚部分量，与传统复数磁共振波谱只有一个虚部分量不同。

深度学习是一种新兴的数据处理与重建方法。自Lecun等(Lecun Y,Bottou L,Bengio Y,Haffner P.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.)提出卷积神经网络(Convolutional Neural Networks，CNN)后受到许多关注并且发展迅速。Jo Schlemper等(Schlemper J,Caballero J,Hajnal J V,Price A,Rueckert D.A deep cascade ofconvolutional neural networks for dynamic MR image reconstruction[J].IEEETransactions on Medical Imaging,2018,37(2):491-503.)提出了利用设备实测采集数据作为训练集的压缩感知重建的神经网络构。

发明内容

本发明的目的在于提供重建波谱速度快、重建波谱精度高的一种基于深度学习的超复数磁共振波谱重建方法。

本发明包括以下步骤：

1)根据磁共振波谱信号指数模型生成超复数磁共振波谱的全采样时域信号，按照欠采样模板对超复数磁共振波谱的全采样时域信号进行欠采样以及对没有采集到的数据点位置进行置零得到超复数磁共振波谱的欠采样时域信号，将该超复数磁共振波谱的欠采样时域信号以及对应超复数磁共振波谱的全采样时域信号换为复数时域信号，各自进行傅立叶变换得到对应的频率域的欠采样和全采样磁共振波谱，生成用于超复数谱重建的训练集；

2)构建用于超复数磁共振波谱重建的由多个密集连接卷积神经网络模块和数据校验模块级连构成的深度学习网络，采用由步骤1)得到的训练集对该深度学习网络进行训练，得到训练好的超复数磁共振波谱重建的网络参数；

3)采用训练好的网络对超复数磁共振波谱的欠采样时域信号进行重建，得到完整的超复数磁共振波谱。

在步骤1)中，所述生成用于超复数谱重建的训练集的具体步骤可为：

(1)通过下式构建超复数磁共振波谱的全采样时域信号

其中，表示超复数集合，N和M表示时域信号的行数和列数，表示信号的第n行，第m列的数据，R表示谱峰个数，a_r表示每个谱峰的幅度大小，Δt₁和Δt₂表示两个时间维的增量，f_1,r和f_2,r表示两个频率维的归一化频率，τ_1,r和τ_2,r表示两个时间维信号的衰减因子；

(2)根据由步骤(1)生成的超复数磁共振波谱的全采样时域信号的大小设计欠采样模板M，该模板由0和1组成，其中0表示该点对应的数据点没有被采集到，1表示该点对应的数据点被采集到，将该模板M与步骤1)生成的超复数磁共振波谱的全采样时域信号进行点乘，得到超复数磁共振波谱的欠采样时域信号然后，将所有超复数磁共振波谱的欠采样时域信号以及对应的全采样信号利用超复数转复数技术，将其转化为复数信号；最后，将复数信号进行傅立叶变换，得到带伪影的波谱S_u和参考波谱S作为用于超复数谱重建的＝预训练数据对。

在步骤2)中，所述深度学习网络用于超复数磁共振波谱重建，由多个密集连接卷积神经网络模块和多个数据校验模块分别串联组成；每个密集连接卷积神经网络模块包含L卷积层，每个卷积层包含I卷积核，除最后一个卷积层外，每个卷积层均连接一个ReLu层；密集连接卷积神经网络模块中每一个卷积层的输入都是前面所有层输出的并集；所述数据校验模块用于利用采集到的数据点对密集连接卷积神经网络模块重建信号进行数据校验；每个数据校验模块输出信号与全采样信号误差之和为设计的损失函数，所述设计的损失函数指导每个密集连接卷积神经网络模块和数据校验层组合的模块输出更逼近真实谱信号；

在步骤2)中，所述采用由步骤1)得到的训练集对该深度学习网络进行训练，可采用ADAM优化算法。

在步骤3)中，所述采用训练好的网络对超复数磁共振波谱的欠采样时域信号进行重建的具体方法可为：

输入待重建的目标超复数磁共振波谱的欠采样时域信号转化成复数信号；然后将复数信号向训练好的超复数磁共振波谱重建的网络正向传播后，得到重建出的完整复数频域信号，进行逆傅里叶变换后得到重建后的时域复数信号，再对重建后的时域复数信号进行复数到超复数变换和傅里叶变换后，即可得到重建后完整的超复数磁共振波谱。

本发明不需要设备采集的实测数据集作为训练集，而是根据指数函数产生的时域的超复数信号作为磁共振波谱的训练集并设计了对应的神经网络结构，且所重建的数据不再是传统的复数磁共振数据，而是超复数磁共振数据。本发明适用于超复数磁共振波谱信号重建，具有重建波谱速度快，重建波谱精度高等的优点。相比于传统磁共振波谱重建，首先由于超复数数据维度高，重建花费时间长，而深度学习中的神经网络一旦训练得当，可以直接把目标谱输入网络进行快速重建，大大减少了传统方法耗在算法计算上的时间消耗，约减少了80％的时耗。其次，该网络采用超复数谱而不是传统的磁共振波谱作为重建的目标，在相同采样时间下，N维超复数谱可以提高2^N-1倍分辨率。在相同分辨率下N维超复数谱原则上可以加速数据采集2^N-1倍。

附图说明

图1是用于超复数磁共振波谱重建的数据校验卷积神经网络的训练过程图。

图2是密集连接卷积模块部分与数据校验模块部分的详细结构图。

图3是利用该深度神经网络重建欠采样超复数波谱过程图。

图4是欠采样模板。

图5是超复数全采样波谱。

图6是本发明重建超复数波谱。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明实施例利用指数函数生成的超复数磁共振信号训练网络，然后在欠采样的超复数磁共振时域信号中重建出二维超复数磁共振波谱。具体实施过程如下：

1)利用式(1)生成超复数磁共振波谱时域信号。超复数磁共振波谱的全采样时域信号通过式(1)构建：

其中，表示超复数集合，N和M表示时域信号的行数和列数，表示信号的第n行，第m列的数据，R表示谱峰个数，a_r表示每个谱峰的幅度大小，Δt₁和Δt₂表示两个时间维的增量，f_1,r和f_2,r表示两个频率维的归一化频率，τ_1,r和τ_2,r表示两个时间维信号的衰减因子。本实施例共产生40000个超复数时域信号每个中N＝90,M＝44谱峰的个数R为1到10个。对固定的谱峰，将生成带有不同的幅度、频率和衰减因子的二维超复数时域信号，幅度a_r取值范围0.05≤a_r≤1，频率f_1,r和f_2,r取值范围0.01≤f_1,r,f_2,r≤0.99。衰减因子τ_1,r和τ_2,r取值范围10≤τ_1,r,τ_2,r≤179.2。

2)建立超复数磁共振波谱深度学习重建网络训练数据集。首先，根据由步骤1)生成的数据大小设计欠采样模板M。该模板由0和1组成，其中0表示该点对应的数据点没有被采集到，1表示该点对应的数据点被采集到。将该模板M与步骤1)生成的全采样超复数时域信号进行点乘，得到欠采样超复数时域信号最后，将所有欠采样信号以及对应的全采样信号利用超复数转复数技术，将其转化为复数信号。将复数信号进行傅立叶变换，得到带伪影的波谱S_u和参考波谱S作为训练数据(即预训练数据对)。

下面具体说明上述超复数数据转换为复数信号的步骤。根据步骤1)超复数信号公式，可以表示为两个复数信号的外乘，即其中i,j,k分别对应三个虚部单位，满足i²＝-1,j²＝-1和ij＝ji＝k,k²＝-1的运算关系。超复数波谱的时域信号的R₁R₂，R₁I₂，I₁R₂和I₁I₂按照如下方式组合，得到四个复数矩阵7₊₊，7_+-，7_-+和7_--。

对上述四个复数矩阵分别进行补零，将矩阵拓展到原本大小的四倍，即将拓展后的矩阵根据下角标符号指示进行沿行和列的复共轭对称操作，其中下角标第一个符号指示该矩阵是否需要沿行进行复共轭对称，符号为表示不需要复共轭对称操作，符号表示该矩阵需要沿行进行复共轭对称操作。下角标第二个符号指示该矩阵是否需要沿列进行复共轭对称，符号为表示不需要复共轭对称操作，符号表示该矩阵需要沿列进行复共轭对称操作。每一个维的复共轭对称操作完成之后，需要沿着该维对矩阵进行一个数据点的循环移位操作。最后，将进行上述操作的四个复数矩阵相加，完成对超复数信号转换为复数信号7的过程。对欠采样时域超复数信号进行同样操作得到欠采样时域复数信号7_u。

3)构建用于超复数磁共振波谱重建的深度学习网络，如图1所示。该网络由5个密集连接卷积模块和5个数据校验模块分别串联组成。输入信号通过第一个密集连接卷积模块后进入第一个数据校验模块，该模块的输出将作为第二个密集连接卷积模块的输入，以此类推，具体连接方式如图2所示。第5个数据校验模块的输出为整个深度学习重建网络的输出结果，下面详细说明网络的每个模块。

密集连接卷积模块：所述每个密集连接卷积神经网络模块包含L卷积层，每个卷积层包含I卷积核，每个卷积核大小为h×h。每个卷积层，除最后一个卷积层外，均连接一个ReLu层。模块中每一个卷积层的输入都是前面所有层输出的并集。第k个密集连接模块的输入复数波谱其输出为：

其中，θ是卷积神经网络的训练参数，表示对第k个密集连接模块从输入波谱到输出结果S_k的非线性映射。为上一个数据校验模块的输出结果。

数据校验模块：该模块利用采集到的数据点对密集连接卷积模块重建信号进行数据校验。第k个数据校验模块对输入的波谱S_k进行下述式(4)的操作：

其中，λ是数据校验层的数据校验参数，F^T为傅里叶逆变换，对波谱信号S_k进行傅里叶逆变换得到复数时域信号即然后对中每个元素(n,m)进行一系列的修正，修正方式为公式(4)，其中Ω为采样模板T_u不为0的坐标集合。最后，将修正后的时域信号进行傅里叶变换得到频域波谱 为数据校验模块的输出。

构建多级最小化损失函数：设计的损失函数为每个数据校验模块输出信号与全采样信号误差之和。所述设计的损失函数指导每个密集连接卷积神经网络和数据校验层组合的模块输出更逼近真实谱信号。所述损失函数定义如下：

其中，训练集K卷积模块的个数，k∈K，‖·‖_F表示矩阵的F范数(Frobenius范数)，θ和λ是卷积神经网络的训练参数，两个都需要训练。是第d个训练样本的第k-1个数据校验模块的输出。为第d个训练样本的最终网络重建的完整复数时域信号。T^d是第d个训练样本的全采样复数时域信号。最后根据图1，遍历完所有的d个训练数据以后，得到训练好的重建网络，即步骤4。

4)使用步骤1)和2)生成的数据集训练步骤3)中所设计的深度学习重建网络。使用ADAM优化算法训练步骤3)中的网络参数θ和λ，可得到模型的最优取值和

5)使用步骤4)所述的训练好的网络对欠采样超复数磁共振波谱信号进行重建，具体步骤如图3。输入待重建的目标欠采样超复数时域信号然后根据公式2，把其转化成复数信号然后将向步骤3)和4)得到训练好的网络对其进行网络的正向传播后，得到重建出的完整复数频域信号并将其进行逆傅里叶变换，得到重建后的时域复数信号即再将分别对其进行复数到超复数变换(公式2与其表述的逆过程)g(x)和傅里叶变换F后，即可得到重建后完整的超复数波谱用公式表示为：

6)对间接维平面进行5％欠采样(采样模板如图4，黑色表示0，白色表示1)的三维超复数磁共振时域数据重建后向第一维和第二维投影后获得的谱图如图6，对比图5的全采样波谱图。可以得出，利用仿真的超复数磁共振时域信号和校验卷积神经网络结合训练出来的网络，可重建出高质量的超复数磁共振波谱图。

综上，本发明提供了一种基于深度学习的超复数磁共振波谱重建方法，首先根据磁共振波谱信号指数模型生成全采样超复数波谱时域信号，按照欠采样模板对时域全采样超复数信号进行欠采样以及对没有采集到的数据点位置进行置零得到欠采样超复数时域信号。将该欠采样超复数信号以及全采样超复数时域信号换为复数时域信号，各自进行傅立叶变换得到对应的频率域的欠采样和全采样磁共振波谱，生成用于超复数谱重建的训练集；构建用于超复数磁共振波谱重建的由多个密集卷积模块和数据校验模块级连构成的深度学习网络，采用由上述得到的训练集对该深度学习网络进行训练，得到训练好的超复数磁共振波谱重建的网络参数；采用该训练好的网络对欠采样的超复数磁共振波谱时域信号进行重建，得到完整的超复数磁共振波谱。该方法适用于超复数磁共振波谱信号重建，具有重建速度快、重建波谱精度高等的优点。相比于传统磁共振波谱重建，首先由于超复数数据维度高，重建花费时间长，而深度学习中的神经网络一旦训练得当，可以直接把目标谱输入网络进行快速重建，大大减少了传统方法耗在算法计算上的时间消耗，约减少了80％的时耗。其次，该网络采用超复数谱而不是传统的磁共振波谱作为重建的目标，在相同采样时间下，N维超复数谱可以提高2^N-1倍分辨率。在相同分辨率下N维超复数谱原则上可以加速数据采集2^N-1倍。

Claims (5)

1.一种基于深度学习的超复数磁共振波谱重建方法，其特征在于包括以下步骤：

1)根据磁共振波谱信号指数模型生成超复数磁共振波谱的全采样时域信号，按照欠采样模板对超复数磁共振波谱的全采样时域信号进行欠采样以及对没有采集到的数据点位置进行置零得到超复数磁共振波谱的欠采样时域信号，将该超复数磁共振波谱的欠采样时域信号以及对应超复数磁共振波谱的全采样时域信号换为复数时域信号，各自进行傅立叶变换得到对应的频率域的欠采样和全采样磁共振波谱，生成用于超复数谱重建的训练集；

2)构建用于超复数磁共振波谱重建的由多个密集连接卷积神经网络模块和数据校验模块级连构成的深度学习网络，采用由步骤1)得到的训练集对该深度学习网络进行训练，得到训练好的超复数磁共振波谱重建的网络参数；

3)采用训练好的网络对超复数磁共振波谱的欠采样时域信号进行重建，得到完整的超复数磁共振波谱。

2.如权利要求1所述一种基于深度学习的超复数磁共振波谱重建方法，其特征在于在步骤1)中，所述生成用于超复数谱重建的训练集的具体步骤为：

(1)通过下式构建超复数磁共振波谱的全采样时域信号

其中，表示超复数集合，N和M表示时域信号的行数和列数，表示信号的第n行，第m列的数据，R表示谱峰个数，a_r表示每个谱峰的幅度大小，Δt₁和Δt₂表示两个时间维的增量，f_1,r和f_2,r表示两个频率维的归一化频率，τ_1,r和τ_2,r表示两个时间维信号的衰减因子；

(2)根据由步骤(1)生成的超复数磁共振波谱的全采样时域信号的大小设计欠采样模板M，该模板由0和1组成，其中0表示该点对应的数据点没有被采集到，1表示该点对应的数据点被采集到，将该模板M与步骤1)生成的超复数磁共振波谱的全采样时域信号进行点乘，得到超复数磁共振波谱的欠采样时域信号T._u；然后，将所有超复数磁共振波谱的欠采样时域信号以及对应的全采样信号利用超复数转复数技术，将其转化为复数信号；最后，将复数信号进行傅立叶变换，得到带伪影的波谱S_u和参考波谱S作为用于超复数谱重建的＝预训练数据对。

3.如权利要求1所述一种基于深度学习的超复数磁共振波谱重建方法，其特征在于在步骤2)中，所述深度学习网络用于超复数磁共振波谱重建，由多个密集连接卷积神经网络模块和多个数据校验模块分别串联组成；每个密集连接卷积神经网络模块包含L卷积层，每个卷积层包含I卷积核，除最后一个卷积层外，每个卷积层均连接一个ReLu层；密集连接卷积神经网络模块中每一个卷积层的输入都是前面所有层输出的并集；所述数据校验模块用于利用采集到的数据点对密集连接卷积神经网络模块重建信号进行数据校验；每个数据校验模块输出信号与全采样信号误差之和为设计的损失函数，所述设计的损失函数指导每个密集连接卷积神经网络模块和数据校验层组合的模块输出更逼近真实谱信号。

4.如权利要求1所述一种基于深度学习的超复数磁共振波谱重建方法，其特征在于在步骤2)中，所述采用由步骤1)得到的训练集对该深度学习网络进行训练，采用ADAM优化算法。

5.如权利要求1所述一种基于深度学习的超复数磁共振波谱重建方法，其特征在于在步骤3)中，所述采用训练好的网络对超复数磁共振波谱的欠采样时域信号进行重建的具体方法为：

输入待重建的目标超复数磁共振波谱的欠采样时域信号转化成复数信号；然后将复数信号向训练好的超复数磁共振波谱重建的网络正向传播后，得到重建出的完整复数频域信号，进行逆傅里叶变换后得到重建后的时域复数信号，再对重建后的时域复数信号进行复数到超复数变换和傅里叶变换后，即得到重建后完整的超复数磁共振波谱。