CN108596994A - 一种基于深度学习和数据自洽的磁共振弥散加权成像方法 - Google Patents

Abstract

本发明公开了一种基于深度学习和数据自洽的磁共振弥散加权成像方法，涉及磁共振弥散加权成像领域；其包括：1：通过由数据自洽层、CNN网络和相位约束层组成的网络模块重复叠加构建网络后，执行包含预扫描和导航回波的序列确定网络的输入数据和训练标记数据；2：将训练标记数据作为目标，将输入数据对应的图像输入已构建的网络通过反向传播训练得到网络的输入输出映射关系；3：执行包含预扫描和无导航回波的序列获得成像信号和数据自洽卷积核，将其输入网络通过前向传播映射获得输出图像完成重建；解决了现有基于传统的弥散加权成像受限各因素导致成像分辨率低的问题，达到了提高网络学习能力，提高成像分辨率的效果。

Description

一种基于深度学习和数据自洽的磁共振弥散加权成像方法

技术领域

本发明涉及磁共振弥散加权成像领域，尤其是一种基于深度学习和数据自洽的磁共振弥散加权成像方法。

背景技术

磁共振弥散成像技术，是一种依赖体内水分子随机运动而提供图像对比度的崭新技术。组织中水分子的扩散符合随机的热运动模型，扩散的幅度和方向受到生物膜和组织中生物大分子的影响。当梯度磁场存在时，水分子的扩散运动会引起磁化矢量的失相位，导致磁共振信号的降低。磁共振信号降低的程度依赖于组织类型、结构、物理和生理的状态及微环境。上述过程中，专门用来影响水分子热运动的梯度磁场称为弥散敏感梯度。弥散敏感梯度能够显著提高各种序列对水分子随机热运动的敏感性，进而帮助观察水分子的扩散特性，但是这种梯度磁场也对其他类型的运动如头部运动十分敏感。单次激发弥散成像技术，在一次信号激发后，采集用于成像的所有数据；这种方式能有效的缩短扫描时间，有利于避免引入更多宏观运动对图像造成影响。但是，单次激发扫描方式采用的回波链较长，容易引起磁敏感伪影和几何形变；单次采集所能够得到的数据有限，因此图像的分辨率较低，不利于细微结构的诊断；为了减少图像伪影和几何形变，以及有效的提高图像空间分辨率，采用的策略是使用多次激发磁共振弥散成像技术；该技术面临的主要挑战是有效的处理不同激发所采集数据之间存在的由于宏观运动导致的相位误差。根据数据采集方式的不同，可以将宏观运动矫正分为两类：第一类需要在正常数据采集之前，采集导航回波信号，这个信号会被用来矫正接下来每个激发所采集的成像数据；第二类不需要采集导航回波信号，而是通过每次激发数据之间的关系来矫正相互的相位。同采集导航回波的方式相比，不需要导航回波的采样方式有更高的数据采集效率，也能避免导航回波与实际成像数据之间失配的问题。

2002年，M.A.Griswold等人提出了GRAPPA技术。GRAPPA技术同样利用多通道相控阵线圈，但不需要额外计算线圈的空间灵敏度分布，而是利用K空间数据的相关性恢复欠采样的数据，GRAPPA技术在对K空间进行欠采样的同时，会保留K空间中心的数据为全采样，这部分数据叫做ACS信号；然后，根据ACS信号计算出代表K空间数据之间相关性的卷积核；最后，使用估计出的卷积核以及已采集数据，重建欠采样的数据，进而得到完整的K空间数据，对应的就是没有卷褶的图像。GRAPPA技术避免了精确的估计线圈灵敏度的空间分布，不过其重建质量也直接受到接收线圈以及卷积核的影响。

2010年，Michael Lustig等人提出了基于信号域数据自洽的SPIRiT技术。该技术将欠采样K空间的重建问题定义为一个优化问题，优化的目标是保证ACS信号与欠采样信号有最好的自洽性，SPIRiT技术在K空间欠采样的同时，也需要保留K空间中心的ACS数据为全采样，不过SPIRiT可以兼容任意的欠采样模式；然后，根据ACS信号计算出代表K空间局部数据自洽性卷积核；最后，使用估计出的卷积核以及已经采集的数据，通过迭代计算的方式重建欠采样的数据，进而得到完整的K空间数据。该技术对于任意形式的K空间填充都是适用的，而且能够在求解过程中方便的融合先验知识，能够有效的提高重建的精确性以及获得更高的扫描加速因子。依赖于并行成像的无导航回波多次激发弥散成像，其临床不足在于受到并行成像的性能的限制，其中激发次数越多，则对于单次激发数据而言欠采样率就越高，这样对于并行成像的要求就越高，并行成像只能处理一定程度欠采样的数据，因此整体上就限制了激发次数的提升，另一方面并行成像数据恢复能力本身收到接收通道的数目、几何形状基于算法本身的限制，因此现有并行成像激发次数不能太多从而导致最终图像的分辨率难以继续提升。

近些年，以卷积神经网络为代表的深度学习在计算机视觉、语言理解等领域获得了重大进展。近两年，为了获得更高的加速比以及更好的重建效果，将深度学习的思想用于磁共振稀疏重建进而更有效的恢复欠采样数据的技术不断涌现。2016年，Wang等人提出将深度学习用于磁共振稀疏重建的技术。该技术首先构造一个卷积神经网络，然后使用端到端的训练模式使得该网络能够将输入的欠采样数据转化为全采样数据，最后，将网络的输出结果作为压缩感知重建的初始值或者作为压缩感知重建的方程中新引入的正则化项，优点在于首次将基于神经网络的重建优势应用到实际中，缺点在于，只是将神经网络重建作为辅助的手段，后期仍然要基于数学模型的重建，这就从根本上限制了算法的性能提升；网络结构较浅、且简单，难以获得更高的性能；2017年，Jo Schlemper等人提出一种串联的深度学习网络模式用于磁共振稀疏重建。该技术将磁共振稀疏重建定义为图像域消除伪影的学习过程，构造的卷积神经网络能够通过训练过程学会如何消除由于欠采样而导致的图像伪影。该技术首先构造出较浅的卷积神经网络，然后在该网络后面添加专门设置的数据一致性层，用于提供已采样数据的信息；最后，将上述两个基本结构重复的串联起来，构造出更深的卷积网络，但是技术尚不能支持多通道信号

基于深度学习的磁共振稀疏重建技术显示出了明显优于传统并行成像、稀疏低秩或者压缩感知技术的性能。但是，目前尚没有相关研究将深度学习的强大数据恢复能力与多次激发磁共振弥散技术相结合，以更好的处理多次激发之间的相位误差，获得更高的分辨率。

发明内容

本发明的目的在于：本发明公开了一种基于深度学习和数据自洽的磁共振弥散加权成像方法，解决了现有基于传统的弥散加权成像受限并行成像性能因素导致成像分辨率低的问题。

本发明采用的技术方案如下：

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明使用数据自洽层使得该网络结构能够处理来自多通道的磁共振数据且更有效地利用磁共振多通道数据本身的冗余特性，帮助基于深度学习的卷积神经网络建立更稳定、精准的端到端映射关系，从根本上提高多次激发磁共振重建的质量，使用相位约束层处理来自多次激发的磁共振弥散加权数据，进一步利用多次激发数据之间的冗余信息，提升网络重建的性能；将数据自洽层、相位约束层以串联的形式融入序贯模型的卷积神经网络结构能够改善网络结构的泛化能力、提升网络训练及测试的稳定性；解决了现有基于传统的弥散加权成像受限各因素导致成像分辨率低的问题，达到了提高网络学习能力，提高成像分辨率的效果；

2.本发明采用卷积神经网络处理单次激发的多通道信号相比传统的基于模型的方法采用卷积网络的方法能够更好的恢复欠采样数据，能够获得更好的图像质量；多个数据自洽层共享基于磁共振先验知识计算出的自洽卷积核和已采集K空间数据数据，自洽层保证了整个网络的多通道信号处理能力，更有效的利用多个通道之间的信号冗余，生成更为精准的图像；

3.本发明能够支持无导航回波磁共振弥散成像提高激发次数，并且有效的处理不同激发数据之间的相位误差，获得更高的图像分辨率、更高的信噪比；

4.本发明使用同样的磁共振弥散信号，相对于传统的方法能够生成更为精准的图像；

5.本发明提出的卷积神经网络中的所有超参数都不是人为设定，而是经过大量数据训练得到的，对于临床复杂的结构，包括扫描部位、图像信噪比等，都能够提供更为稳定的图像重建质量。

6.数据自洽层、相位约束层和已采集K空间数据按照序贯模型排列，一方面通过增加网络结构的深度提高网路的学习能力，另一方面，重复的使用已知信息监督整个学习过程，能够保证学习的稳定性，提高网络的泛化能力。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明的网络示意图；

图2是本发明步骤1的方法流程图；

图3是本发明序列示意图；

图4是本发明网络输入输出示意图；

图5是本发明采集序列生成网络标记数据的流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合图1-5对本发明作详细说明。

步骤1：通过由数据自洽层、CNN网络和相位约束层组成的网络模块重复叠加构建网络后，执行包含预扫描和导航回波的多次激发弥散加权序列获得多次激发成像信号和数据自洽卷积核并确定网络的输入数据和训练标记数据；

步骤2：将训练标记数据作为目标，将输入数据对应的图像、多次激发成像信号和数据自洽卷积核输入已构建的网络通过反向传播训练得到网络的输入输出映射关系；

步骤3：执行包含预扫描和无导航回波的多次激发弥散加权序列获得成像信号和数据自洽卷积核，将成像信号对应的图像输入已完成训练的网络并融入数据自洽卷积核通过前向传播映射获得输出图像完成重建。

每个CBR单元至少包含一个卷积层、一个规范化层和一个非线性激活层；CNN网络前半部分的CBR单元还加入汇聚层，后半部分加入反汇聚层。反向传播过程：如图4所示，一个神经网络结构包含三个层次，输入层，包含三个输入i1，i2，b1；中间层，包括h1，h2，b2；输出层，包括o1，o2；层与层之间连接的权重为标记的w1，w2，反向传播：在神经网络训练阶段，给定已知的输入和输出，以最小化损失函数为目标，通过链式法则递归求解权重w参数和b参数；因此，反向传播即为通过链式法则计算参数w和b相对于损失函数的梯度确定最优的参数。前向传播过程：已知的测试集数据为多次激发的磁共振弥散加权图像，以及网络结构各个层次的共享数据；已知权重w参数和b参数即前期训练阶段求得的，给定输入i1和i2即测试集数据，通过网络的逐层计算，得到精确的输出结果即未知映射数据完成磁共振高分辨率弥散加权成像的重建，因此前向传播即为已经完成训练的神经网络将给定的输入映射为输出的过程。

本发明将数据自洽层、相位约束层以串联的形式融入序贯模型的卷积神经网络结构能够改善网络结构的泛化能力、提升网络训练及测试的稳定性；解决了现有基于传统的弥散加权成像受限各因素导致成像分辨率低的问题，达到了提高网络学习能力，提高成像分辨率的效果。

实施例1

步骤1包括如下步骤：

步骤1.1：将由数据自洽层、CNN网络和相位约束层组成的网络模块依次叠加初步完成网络构建，每个网络模块中数据自洽层与CNN网络多对多连接，CNN网络与相位约束层多对一连接；

步骤1.2：采集多次激发弥散加权序列中的预扫描数据，基于与扫描数据生成矫正矩阵和数据自洽方程，如图2中的101-102；

步骤1.3：基于矫正矩阵计算所有接收线圈的灵敏度分布如图2中的104，基于数据自洽方程计算卷积核如图2中标记的103；

步骤1.4：采集多次激发弥散加权序列中的导航回波信号和成像信号，成像信号在第一个180度脉冲后采集，导航回波在第二个180度脉冲后采集，虚线表示弥散敏感梯度，如图3所示，将成像信号作为已构建网络的输入数据，通过导航回波信号矫正多次激发成像信号之间的相位差获得磁共振弥散模值图像并将其作为已构建网络的训练标记数据，如图5所示，矫正相位误差如公式1所示；

其中，g为多次激发成像信号对应的多组图像，E为由线圈灵敏度和导航回波对应的相位图计算出来的编码矩阵，Ψ为所有接收通道的相关矩阵，H为厄米特矩阵运算符，为磁共振弥散加权图像。矩阵E经过厄米特算符后，相当于对矩阵E进行了共轭转置操作，属于数学领域的公知，在此不赘述。

步骤2包括如下步骤：

步骤2.1：将输入数据转换为图像输入已构建的网络如图1中标记的401，将已采集的多次激发成像信号和数据自洽卷积核融入已构建网络如图1中的402和403，通过数据自洽层进行数据自洽将每次激发的多通道图像映射为卷褶伪影减弱的多通道图像如图1中标记的404；

步骤2.1中的数据自洽过程包括如下步骤：

步骤2.1.1：第一层数据自洽层输入为输入图像，其他数据自洽层输入为相位约束层输出即每次激发的多通道图像I_pcon，将其通过傅里叶变换获得K空间信号S_pcon，计算如公式4所示：

S_pcon＝FI_pcon；

步骤2.1.2：将K空间信号S_pcon进行数据投影，若K空间位置上的数据已被采集，则填充为已采集数据S_acq，若未被采集则计算S_pcon后构造新的完整K空间数据S_dp，计算如公式5所示：

步骤2.1.3：将已采集数据和融入的数据自洽卷积核进行卷积运算获得新K空间数据S_sc，计算如公式6所示：

S_sc＝f_sc(S_dp，G)＝G*S_dp；

步骤2.1.4：将新的K空间数据S_sc通过傅里叶逆变换转换为图像域的多通道图像I_sc完成数据自洽，计算如公式7所示：

I_sc＝F^-1S_sc。

步骤2.2：将卷褶伪影减弱的多通道图像通过CNN网络映射获得无卷褶或卷褶减弱的图像I_cnn如图1中标记的405；

步骤2.3：将无卷褶或卷褶减弱的图像I_cnn输入相位约束层经过激发平均和相位恢复完成相位约束如图1中标记的406，将训练标记数据作为目标代入最小化损失函数进行反向传播训练获得输入输出的映射关系，最小化损失函数如公式2所示：

其中，X_i为成像信号对应图像，Y_i为已知的训练标记图像，θ为网络表征参数。

步骤2.3中的相位约束包括如下步骤：

步骤2.3.1：通过处理每次激发对应图像I_cnn，i获得具有平滑性质的相位图计算如公式8所示：

其中，I_cnn，i为每次激发对应图像，N_s为激发次数；

步骤2.3.2：将不同激发图像I_cnn，i减去对应的具有平滑性质的相位信息后，采用取平均的方式进行激发合，计算如公式9所示：

其中，为相位图，为相位图的共轭，I_avg为相位约束层；

步骤2.3.3：将每次激发对应的具有平滑性质的相位图重新附加到激发合成后的图像中，得到相位约束后的各次激发的图像I_pcon，i，计算如公式10所示：；

其中，为相位图，I_pcon，i为相位约束后的各次激发的图像，I_avg为相位约束层。

步骤3包括如下步骤：

步骤3.1：根据步骤2得到的映射关系确定网络的结构和运算特征，扫描包含无导航回波的多次激发弥散加权序列得到成像信号和数据自洽卷积核；

步骤3.2：将成像信号转换为图像后输入已完成训练的网络进行前向传播根据输入输出映射关系即公式3得到磁共振弥散模值图像完成重建，如图1中标记的407，公式3计算如下：

f(θ，X)：X→Y

其中，X为成像信号对应的图像，Y为磁共振弥散模值图像，θ为网络表征参数。

本发明将深度学习网络应用于多次激发的磁共振弥散加权成像领域中，需要克服的问题：一、多次激发信号的合成问题，通过训练得到超参数设定克服了将相位约束算法转换为网络结构的形式的技术难点，通过设置梯度传递和反向传播克服了如何将相位约束层融合至卷积网络中的技术难点，通过设置相关约束层实现有效地合成多次激发信号并产生了意外的效果：超参数通过训练得到并非人为设定，利于提高网络的泛化能力使其具有稳定的性能；二、通过将数据自洽层、CNN网络和相关约束层层串联组成序贯模型，实现多通道的磁共振弥散加权成像，同时实现快速高倍欠采样，克服了处理图像域和K空间信号域的转换、前向传播和反向传播过程要在两个域中交替进行的问题，通过数据自洽层实现多个通道的处理的问题，解决了现有基于深度学习的成像方法只能处理单通道数据的问题。另一方面在训练阶段采用包含无导航回波的序列，测试阶段采用包含导航回波的序列，通过线下调试保证导航回波获得好的重建结果，然后把这个结果作为训练的目标；用无导航回波信号作为网络输入，通过重建神经网络前向传播，使得无导航回波网络重建方案能够得到又好有稳定的重建效果，同时具有较短的扫描时间，克服了采用无导航回波无法达到采用导航回波的效果的偏见，保证了基于深度学习网络的得到的重建效果的稳定性，同时缩短了扫描时间。

Claims (8)

1.一种基于深度学习和数据自洽的磁共振弥散加权成像方法，其特征在于：包括如下步骤：

步骤1：通过由数据自洽层、CNN网络和相位约束层组成的网络模块重复叠加构建网络后，执行包含预扫描和导航回波的多次激发弥散加权序列获得多次激发成像信号和数据自洽卷积核并确定网络的输入数据和训练标记数据；

步骤2：将训练标记数据作为目标，将输入数据对应的图像、多次激发成像信号和数据自洽卷积核输入已构建的网络通过反向传播训练得到网络的输入输出映射关系；

步骤3：执行包含预扫描和无导航回波的多次激发弥散加权序列获得成像信号和数据自洽卷积核，将成像信号对应的图像输入已完成训练的网络并融入数据自洽卷积核通过前向传播映射获得输出图像完成重建。

2.根据权利要求1所述的一种基于深度学习和数据自洽的磁共振弥散加权成像方法，其特征在于：所述步骤1包括如下步骤：

步骤1.1：将由数据自洽层、CNN网络和相位约束层组成的网络模块依次叠加初步完成网络构建，每个网络模块中数据自洽层与CNN网络多对多连接，CNN网络与相位约束层多对一连接；

步骤1.2：采集多次激发弥散加权序列中的预扫描数据，基于与扫描数据生成矫正矩阵和数据自洽方程；

步骤1.3：基于矫正矩阵计算所有接收线圈的灵敏度分布，基于数据自洽方程计算卷积核；

步骤1.4：采集多次激发弥散加权序列中的导航回波信号和成像信号，将成像信号作为已构建网络的输入数据，通过导航回波信号矫正多次激发成像信号之间的相位差获得磁共振弥散模值图像并将其作为已构建网络的训练标记数据，矫正相位误差如公式1所示：

其中，g为多次激发成像信号对应的多组图像，E为由线圈灵敏度和导航回波对应的相位图计算出来的编码矩阵，Ψ为所有接收通道的相关矩阵，H为厄米特矩阵运算符，为磁共振弥散加权图像。

3.根据权利要求1所述的一种基于深度学习和数据自洽的磁共振弥散加权成像方法，其特征在于：所述步骤2包括如下步骤：

步骤2.1：将输入数据转换为图像输入已构建的网络，将已采集的多次激发成像信号和数据自洽卷积核融入已构建网络，通过数据自洽层进行数据自洽将每次激发的多通道图像映射为卷褶伪影减弱的多通道图像；

步骤2.2：将卷褶伪影减弱的多通道图像通过CNN网络映射获得无卷褶或卷褶减弱的图像I_cnn；

步骤2.3：将无卷褶或卷褶减弱的图像I_cnn输入相位约束层经过激发平均和相位恢复完成相位约束，将训练标记数据作为目标代入最小化损失函数进行反向传播训练获得输入输出的映射关系，最小化损失函数如公式2所示：

其中，X_i为成像信号对应图像，Y_i为已知的训练标记图像，θ为网络表征参数。

4.根据权利要求1所述的一种基于深度学习和数据自洽的磁共振弥散加权成像方法，其特征在于：所述步骤3包括如下步骤：

步骤3.1：根据步骤2得到的映射关系确定网络的结构和运算特征，扫描包含无导航回波的多次激发弥散加权序列得到成像信号和数据自洽卷积核；

步骤3.2：将成像信号转换为图像后输入已完成训练的网络进行前向传播根据输入输出映射关系即公式3得到磁共振弥散模值图像完成重建，公式3计算如下：

f(θ，X)：X→Y

其中，X为成像信号对应的图像，Y为磁共振弥散模值图像，θ为网络表征参数。

5.根据权利要求3所述的一种基于深度学习和数据自洽的磁共振弥散加权成像方法，其特征在于：所述步骤2.1中的数据自洽过程包括如下步骤：

步骤2.1.1：第一层数据自洽层输入为输入图像，其他数据自洽层输入为相位约束层输出即每次激发的多通道图像I_pcon，将其通过傅里叶变换获得K空间信号S_pcon，计算如公式4所示：

S_pcon＝FI_pcon；

步骤2.1.2：将K空间信号S_pcon进行数据投影，若K空间位置上的数据已被采集，则填充为已采集数据S_acq，若未被采集则计算S_pcon后构造新的完整K空间数据S_dp，计算如公式5所示：

步骤2.1.3：将已采集数据和融入的数据自洽卷积核进行卷积运算获得新K空间数据S_sc，计算如公式6所示：

S_sc＝f_sc(S_dp，G)＝G*S_dp；

步骤2.1.4：将新的K空间数据S_sc通过傅里叶逆变换转换为图像域的多通道图像I_sc完成数据自洽，计算如公式7所示：

I_sc＝F^-1S_sc。

6.根据权利要求5所述的一种基于深度学习和数据自洽的磁共振弥散加权成像方法，其特征在于：所述步骤2.3中的相位约束包括如下步骤：

步骤2.3.1：通过处理每次激发对应图像I_cnn，i获得具有平滑性质的相位图计算如公式8所示：

其中，I_cnn，i为每次激发对应图像，N_s为激发次数；

步骤2.3.2：将不同激发图像I_cnn，i减去对应的具有平滑性质的相位信息后，采用取平均的方式进行激发合，计算如公式9所示：

其中，为相位图，为相位图的共轭，I_avg为相位约束层；

步骤2.3.3：将每次激发对应的具有平滑性质的相位图重新附加到激发合成后的图像中，得到相位约束后的各次激发的图像I_pcon，i，计算如公式10所示：

其中，为相位图，I_pcon，i为相位约束后的各次激发的图像，I_avg为相位约束层。

7.根据权利要求3所述的一种基于深度学习和数据自洽的磁共振弥散加权成像方法，其特征在于：所述CNN网络包括多个CBR单元、成对汇聚层和反汇聚层以及残差链接，残差连接一端连接CNN网络输入，另一端与最后一个CBR单元连接构成最终输出图像。

8.根据权利要求7所述的一种基于深度学习和数据自洽的磁共振弥散加权成像方法，其特征在于：所述每个CBR单元至少包含一个卷积层、一个规范化层和一个非线性激活层；所述CNN网络前半部分的CBR单元还加入汇聚层，后半部分加入反汇聚层。