CN108828481B - 一种基于深度学习和数据一致性的磁共振重建方法 - Google Patents

Abstract

本发明公开了一种基于深度学习和数据一致性的磁共振重建方法，涉及磁共振重建方法领域；其包括1：采集K空间数据并将其融入按卷积神经网络、数据一致性层顺序重复叠加组成的网络完成网络搭建；2：将K空间数据中的欠采样数据转换为卷褶图像作为已搭建网络的输入，将其的全采样数据转换为完整图像作为已搭建网络的标记数据，通过反向传播训练网络获得网络输入输出的映射关系；3：将测试集对应图像输入已完成训练的网络进行前向传播获得输出图像完成磁共振重建。本发明解决了现有基于深度学习的磁共振重建方法未充分利用已采集数据且只能处理单通道导致重建性能差和稳定性差的问题，达到了实施监督，提高学习能力，从而提高重建性能的效果。

Description

一种基于深度学习和数据一致性的磁共振重建方法

技术领域

本发明涉及磁共振重建方法领域，尤其是一种基于深度学习和数据一致性的磁共振重建方法。

背景技术

磁共振成像技术是利用氢质子的核磁共振现象进行成像的一种技术。人体内包含单数质子的原子核，例如广泛存在的氢原子核，其质子具有自旋运动。带电原子核的自旋运动，在物理上类似于单独的小磁体，而且在没有外部条件影响下这些小磁体的方向性分布是随机的。当人体置于外部磁场中时，这些小磁体将按照外部磁场的磁力线重新排列具体为在平行于或反平行于外在磁场磁力线的两个方向排列，将上述平行于外在磁场磁力线的方向称为正纵向轴，将上述反平行于外在磁场磁力线的方向称为负纵向轴，原子核只具有纵向磁化分量，该纵向磁化分量既具有方向又具有幅度；用特定频率的射频脉冲激发处于外在磁场中的原子核，使这些原子核的自旋轴偏离正纵向轴或负纵向轴产生共振，这就是磁共振现象。上述被激发原子核的自旋轴偏离正纵向轴或负纵向轴之后，原子核具有了横向磁化分量。停止发射射频脉冲后，被激发的原子核发射回波信号，将吸收的能量逐步以电磁波的形式释放出来，其相位和能级都恢复到激发前的状态，将原子核发射的回波信号经过空间编码等进一步处理即可重建图像。

近些年，以卷积神经网络为代表的深度学习在计算机视觉、语言理解等领域获得了重大进展。近两年，为了获得更高的加速比以及更好的重建效果，将深度学习的思想用于磁共振稀疏重建进而缩短扫描时间的技术不断涌现；2016年，Wang等人提出将深度学习用于磁共振稀疏重建的技术，该技术首先构造一个卷积神经网络，然后使用端到端的训练模式使得该网络能够将输入的欠采样数据转化为全采样数据，最后，将网络的输出结果作为压缩感知重建的初始值或者作为压缩感知重建的方程中新引入的正则化项，但是基于网络的重建结果仅仅作为接下来基于模型算法的正则化项，导致重建结果仍然由模型算法本身决定，不能有效的发挥网络学习的优势；该网络浅且设计过于简单，导致网络的学习能力不足，重建效果难以提高。

2017年，Dongwook Lee等人将一种具有大感受野和残差连接的卷积神经网络用于磁共振稀疏重建，该技术对于输入的多通道稀疏数据，在图像域采用端到端的训练模式，结合了U-net具有的大感受野的特性以及ResNet的残差连接来获得更好的学习效果，该技术中因未考虑已采集数据且存在对模值和相位进行单独训练带来的稳定性差的缺点，其中复数通过依赖于额外的图像分割算法，使用幅度和相位通道来处理，现有临床复杂的结构会导致算法的不确定。2017年，Chang Min Hyun等人也提出基于U-net网络进行磁共振单通道稀疏重建，同时该技术在网络训练完成后的实施阶段利用了已采样数据信息；2017年产生了网络加数据一致性层的神经网络结构，但是该结构只能处理单通道数据；综上所述现有技术中未充分利用已采集数据的信息且只能处理多通道，导致整个网络的学习能力缺乏监督信号，从而其的学习能力弱，重建性能交底以及稳定性差。因此需要一种磁共振重建方法能加强网络的学习能力并有效地提高重建性能和稳定性。

发明内容

本发明的目的在于：本发明提供了一种基于深度学习和数据一致性的磁共振重建方法，解决了现有基于深度学习的磁共振重建方法未充分利用已采集数据且只能处理单通道从而无法提升网络的学习能力导致重建性能差和稳定性差的问题。

本发明采用的技术方案如下：

一种基于深度学习和数据一致性的磁共振重建方法，包括如下步骤：

步骤1：采集K空间数据并将其融入按卷积神经网络、数据一致性层顺序重复叠加组成的网络完成网络搭建；

步骤2：将K空间数据中的欠采样数据转换为卷褶图像作为已搭建网络的输入，将K空间数据中的全采样数据转换为完整图像作为已搭建网络的标记数据即输出，将标记数据作为目标通过反向传播训练网络获得网络输入输出的映射关系；

步骤3：将测试集对应图像输入已完成训练的网络进行前向传播获得输出图像完成磁共振重建。

优选地，所述步骤1包括如下步骤：

步骤1.1：采用多通道的接收线圈采集多通道K空间数据完成接收数据；

步骤1.2：将卷积神经网络和数据一致性层按顺序依次重复叠加组成的初步网络；

步骤1.3：将采集的多通道K空间数据融入初步网络完成网络搭建。

优选地，所述步骤2包括如下步骤：

步骤2.1：通过人工欠采样K空间数据获得欠采样数据即欠采样多通道K空间数据，欠采样数据大小为：N_x*N_y*N_c，其中，N_x代表采集数据的行数，N_y表示数据的列数，N_c代表接收通道的数目，K空间数据剩余区域为全采样数据；

步骤2.2：将欠采样多通道K空间数据S_u通过傅里叶变换获得其对应的多通道卷褶图像I_u，其大小为：N_x*N_y*N_c，计算如公式1所示：

I_u＝FFT[S_u]

步骤2.3：网络中的卷积神经网络R_esu将多通道卷褶图像I_u输入分为实部和虚部转换为无卷褶图像I_ResU；

步骤2.4：将无卷褶图像I_ResU输入数据一致性层结合已采集的多通道K空间数据完成数据一致性约束得到图像I_dc；

步骤2.5：将标记数据对应的图像作为已搭建网络输出，欠采样数据对应的图像作为已搭建网络输入，通过反向传播训练网络得到网络参数从而得出输入输出的映射关系，计算如公式2如下：

其中，X_i表示网络输入即已知卷褶图像，Y_i表示网络输出即无卷褶图像，θ表示网络表征参数。

优选地，所述卷积神经网络包括卷积层、规范层、激活层、汇聚层、反汇聚层以及连接层。

优选地，所述步骤2.3包括如下步骤：

步骤2.3.1：将多通道卷褶图像I_u分为实部和虚部两个通道，计算如公式3所示：

Real_u+i*img_u＝I_u

其中，I_u表示多通道卷褶图像，而Real_u表示I_u的实部，img_u表示I_u的虚部；

步骤2.3.2：将两个通道的数据，合成为一个通道的复数数据得到无卷褶图像I_ResU，计算如公式4所示：

Real_ResU+i*img_ResU＝I_ResU

其中，Real_ResU表示IR_esU的实部，img_ResU表示I_ResU的虚部，I_ResU表示无卷褶图像。

优选地，所述步骤2.4包括如下步骤：

步骤2.4.1：将无卷褶图像I_ResU输入数据通过傅里叶变换获得K空间数据S_ResU，计算如公式5所示：

S_ResU＝FI_ResU

步骤2.4.2：进行数据一致性约束：将K空间数据S_ResU与K空间网格上已采集数据S_u融合，计算如公式6所示：

其中，参数Λ为数据提取算子，参数λ为用于平衡图像的噪声影响的参数；

步骤2.4.3：将完成数据一致性约束的数据f_dc(S_ResU，S_u，λ)通过傅里叶逆变换将K空间数据转换为图像I_dc，计算如公式7所示：

I_dc＝F^-1f_dc(S_ResU，S_u，λ)

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明通过使用数据一致性层使得该网络结构能够持续的获得已采集数据的约束，在网络学习的过程中不断的“提醒”网络结构要记得利用已采集数据，利于获得更为稳定、精准的重建效果；将数据一致性层以串联的形式融入序贯模型的卷积神经网络改善网络结构的泛化能力、提升网络训练及测试的稳定性，解决了现有基于深度学习的磁共振重建方法未充分利用已采集数据从而无法提升网络的学习能力导致重建性能差和稳定性差的问题，达到了在学习过程中实施监督，提高学习能力，从而提高重建性能和稳定性的效果；

2.本发明多次使用已采集数据构造数据一致性层，加深网络结构，获得更好的学习效果以及重复施加限制，确保重建结果的稳定；

3.本发明的磁共振数据为复数，将其分为实部和虚部利用两个通道可以有效利用神经网络的实数处理能力，避免了将复数分为幅度和相位难以解决相位卷褶以及背景相位的缺点；

4.本发明的网络结构能够对多通道、复数数据进行一体化的训练及测试，避免了现有对模值和相位进行单独训练带来的稳定性差的缺点，一体化训练及测试有利于网络训练结果的一致性和稳定性；

5.本发明提出的卷积神经网络中的所有超参数都不是人为设定，而是经过大量数据训练得到的，对于复杂的结构即扫描部位、图像信噪比等，都能够提供更为稳定的图像重建质量；

6.本发明多个数据一致性层共享基于磁共振先验知识的已采集K空间数据，提高了该方法的实用性和卷积神经网络的泛化能力；

7.本发明网络中的ResU单元的输入为包含实部-虚部的多通道数据，能将这些数据映射为输出的包含实部-虚部的多通道数据，实现处理多通道数据。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明基于函数式模型和残差连接的卷积神经网络示意图；

图2是本发明融入残差连接的多尺度卷积神经网络示意图；

图3是本发明磁共振多通道K空间数据的采样过程示意图；

图4是本发明的方法流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合图1-4对本发明作详细说明。

一种基于深度学习和数据一致性的磁共振重建方法，包括如下步骤：

步骤1：采集K空间数据并将其融入按卷积神经网络、数据一致性层顺序重复叠加组成的网络完成网络搭建；

步骤2：将K空间数据中的欠采样数据转换为卷褶图像作为已搭建网络的输入，将K空间数据中的全采样数据转换为完整图像作为已搭建网络的标记数据即输出，将标记数据作为目标通过反向传播训练网络获得网络输入输出的映射关系；

步骤3：将测试集对应图像输入已完成训练的网络进行前向传播获得输出图像完成磁共振重建。

实施例1

步骤1包括如下步骤：

步骤1.1：采用多通道的接收线圈采集多通道K空间数据完成接收数据；

步骤1.2：将卷积神经网络和数据一致性层按顺序依次重复叠加组成的初步网络；

步骤1.3：将采集的多通道K空间数据融入初步网络完成网络搭建。

步骤2包括如下步骤：

步骤2.1：通过人工欠采样K空间数据获得欠采样数据即欠采样多通道K空间数据，欠采样数据大小为：N_x*N_y*N_c，其中，N_x代表采集数据的行数，N_y表示数据的列数，N_c代表接收通道的数目，K空间数据剩余区域为全采样数据；

步骤2.2：将欠采样多通道K空间数据S_u通过傅里叶变换获得其对应的多通道卷褶图像I_u，其大小为：N_x*N_y*N_c，计算如公式1所示：

I_u＝FFT[S_u]

步骤2.3：网络中的卷积神经网络Resu将多通道卷褶图像I_u输入分为实部和虚部转换为无卷褶图像I_ResU；

步骤2.4：将无卷褶图像I_ResU输入数据一致性层结合已采集的多通道K空间数据完成数据一致性约束得到图像I_dc；

步骤2.5：将标记数据对应的图像作为已搭建网络输出，欠采样数据对应的图像作为已搭建网络输入，通过反向传播训练网络得到网络参数从而得出输入输出的映射关系，计算如公式2如下：

其中，X_i表示网络输入即已知卷褶图像，Y_i表示网络输出即无卷褶图像，θ表示网络表征参数。

卷积神经网络包括卷积层、规范层、激活层、汇聚层、反汇聚层以及连接层。

步骤2.3包括如下步骤：

步骤2.3.1：将多通道卷褶图像I_u分为实部和虚部两个通道，计算如公式3所示：

Real_u+i*img_u＝I_u

其中，I_u表示多通道卷褶图像，而Real_u表示I_u的实部，img_u表示I_u的虚部；

步骤2.3.2：将两个通道的数据，合成为一个通道的复数数据得到无卷褶图像I_ResU，计算如公式4所示：

Real_ResU+i*img_ResU＝I_ResU

其中，Real_ResU表示I_ResU的实部，img_ResU表示I_ResU的虚部，I_ResU表示无卷褶图像。

步骤2.4包括如下步骤：

步骤2.4.1：将无卷褶图像I_ResU输入数据通过傅里叶变换获得K空间数据S_ResU，计算如公式5所示：

S_ResU＝FI_ResU

步骤2.4.2：进行数据一致性约束：将K空间数据S_ResU与K空间网格上已采集数据S_u融合，计算如公式6所示：

其中，参数Λ为数据提取算子，参数λ为用于平衡图像的噪声影响的参数；将已采集K空间位置的数据(即k∈Ω)权重设置为

而未采集的数据(即

)权重为1，参数λ用于平衡图像的噪声影响，不考虑噪声的情况下，该参数认为是无穷大，λ参数也可以通过网络的训练过程确定；

步骤2.4.3：将完成数据一致性约束的数据f_dc(S_ResU，S_u，λ)通过傅里叶逆变换将K空间数据转换为图像I_dc，计算如公式7所示：

I_dc＝F^-1f_dc(S_ResU，S_u，λ)

如图1、3所示，在K空间区域采集多通道欠采样K空间数据即101，欠采样对应的为欠采样区域即102，K空间区域剩余区域为全采样区域即ACS数据即103，将欠采样多通道K空间数据通过傅里叶变换转换为多通道卷褶图像即104，实现K空间数据与图像域的转换；将多通道卷褶图像输入网络，通过网络的卷积神经网络模块ResU₁将复数数据分实部和虚部分别处理转换为无卷褶图像，将无卷褶图像输入数据一致性层进行约束，结合已采集的K空间数据进行数据约束即202，通过傅里叶变换、数据一致性约束、傅里叶逆变换完成数据约束获得图像I_dc即204，通过重复叠加的卷积神经网络模块和数据一致性层得到最终的输出即205；整个过程即为将卷褶图像通过深度学习网络转换为无卷褶图像，对于K空间而言即输入欠采样数据得到全采样数据；由于K空间数据的欠采样，导致图像在欠采样方向发生卷褶产生伪影，重建网络的作用在于消除由于数据欠采样而导致的图像卷褶伪影，即等价于在K空间恢复欠采样的数据。本申请先构建网络，采集数据给定网络的输入和输出，通过反向传播训练得到网络输入输出的映射关系，将测试数据通过已知输入输出映射关系的网络得到输出数据，将卷褶图像输入得到无卷褶图像，完成磁共振重建。

如图2所示，根据数据尺度的不同，将整个网络划分为多个单元，包括302～310，在单元内部，卷积层采用大小为3X3的卷积核，其后面紧跟着一个规范层和激活层；卷积神经网络ResU的前半部分，每个单元后面包含一个汇聚层用于缩小图像尺度，本实施方案采用最大汇聚策略即如图2中的红色箭头；卷积神经网络ResU的后半部分，每个单元后面则包含一个反汇聚层用于扩大图像尺度，本实施方案采用平均反汇聚即如图2中黄色箭头；网络的单元311尺寸需要跟单元301保持一致，因此从单元310到311使用了大小为1X1的卷积核；最后，将单元301和311两者相互叠加后得到最终的输出312，数据上方标出了每个单元中对应数据的通道数目。网络的输入层将每个复数图像分解为实部图像和虚部图像，因此通道数目增加一倍即301，网络结构的每一层所包含的通道数目标记在该层上方，该网络包括卷积层、规范层、激活层、汇聚层、反汇聚层以及收缩路径即图中虚线连接的连接层；其中，汇聚层和反汇聚层共同实现了网络的多尺度表达，网络下方标出了不同层所对应的尺度，网络结构前半部分具有同等尺度的层会通过连接层传递到对应的后半部分，网络结构的直接输出与输入数据通过残差链接合并后，得到完整的重建后的图像。

本发明通过使用数据一致性层使得该网络结构能够持续的获得已采集数据的约束，在网络学习的过程中不断的“提醒”网络结构要记得利用已采集数据，利于获得更为稳定、精准的重建效果；将数据一致性层以串联的形式融入序贯模型的卷积神经网络改善网络结构的泛化能力、提升网络训练及测试的稳定性，网络中的ResU单元的输入为包含实部-虚部的多通道数据，能将这些数据映射为输出的包含实部-虚部的多通道数据，实现处理多通道数据；解决了现有基于深度学习的磁共振重建方法未充分利用已采集数据从而无法提升网络的学习能力导致重建性能差和稳定性差的问题，达到了在学习过程中实施监督，提高学习能力，从而提高重建性能和稳定性的效果。

Claims (6)

1.一种基于深度学习和数据一致性的磁共振重建方法，其特征在于：包括如下步骤：

步骤1：采集K空间数据并将其融入按卷积神经网络、数据一致性层顺序重复叠加组成的网络完成网络搭建；

步骤2：将K空间数据中的欠采样数据转换为卷褶图像作为已搭建网络的输入，将K空间数据中的全采样数据转换为完整图像作为已搭建网络的标记数据即输出，将标记数据作为目标通过反向传播训练网络获得网络输入输出的映射关系；

步骤3：将测试集对应图像输入已完成训练的网络进行前向传播获得输出图像完成磁共振重建。

2.根据权利要求1所述的一种基于深度学习和数据一致性的磁共振重建方法，其特征在于：所述步骤1包括如下步骤：

步骤1.1：采用多通道的接收线圈采集多通道K空间数据完成接收数据；

步骤1.2：将卷积神经网络和数据一致性层按顺序依次重复叠加组成的初步网络；

步骤1.3：将采集的多通道K空间数据融入初步网络完成网络搭建。

3.根据权利要求1所述的一种基于深度学习和数据一致性的磁共振重建方法，其特征在于：所述步骤2包括如下步骤：

步骤2.1：通过人工欠采样K空间数据获得欠采样数据即欠采样多通道K空间数据，欠采样数据大小为：N_x*N_y*N_c，其中，N_x代表欠采样数据的行数，N_y表示欠采样数据的列数，N_c代表欠采样数据接收通道的数目，K空间数据剩余区域为全采样数据；

步骤2.2：将欠采样多通道K空间数据S_u通过傅里叶变换获得其对应的多通道卷褶图像I_u，其大小为：N_x*N_y*N_c，计算如公式1所示：

I_u＝FFT[S_u]；

步骤2.3：网络中的卷积神经网络R_esu将多通道卷褶图像I_u输入分为实部和虚部转换为无卷褶图像I_ResU；

步骤2.4：将无卷褶图像I_ResU输入数据一致性层结合已采集的多通道K空间数据完成数据一致性约束得到图像I_dc；

步骤2.5：将标记数据对应的图像作为已搭建网络输出，欠采样数据对应的图像作为已搭建网络输入，通过反向传播训练网络得到网络参数从而得出输入输出的映射关系，计算如公式2如下：

其中，X_i表示网络输入即已知卷褶图像，Y_i表示网络输出即无卷褶图像，θ表示网络表征参数。

4.根据权利要求1所述的一种基于深度学习和数据一致性的磁共振重建方法，其特征在于：所述卷积神经网络包括卷积层、规范层、激活层、汇聚层、反汇聚层以及连接层。

5.根据权利要求3所述的一种基于深度学习和数据一致性的磁共振重建方法，其特征在于：所述步骤2.3包括如下步骤：

步骤2.3.1：将多通道卷褶图像I_u分为实部和虚部两个通道，计算如公式3所示：

Real_u+i*img_u＝I_u；

其中，I_u表示多通道卷褶图像，而Real_u表示I_u的实部，img_u表示I_u的虚部；

步骤2.3.2：将两个通道的数据，合成为一个通道的复数数据得到无卷褶图像I_ResU，计算如公式4所示：

Real_ResU+i*img_ResU＝I_ResU；

其中，Real_ResU表示I_ResU的实部，img_ResU表示I_ResU的虚部，I_ResU表示无卷褶图像。

6.根据权利要求3所述的一种基于深度学习和数据一致性的磁共振重建方法，其特征在于：所述步骤2.4包括如下步骤：

步骤2.4.1：将无卷褶图像I_ResU输入数据通过傅里叶变换获得K空间数据S_ResU，计算如公式5所示：

S_ResU＝FI_ResU；

步骤2.4.2：进行数据一致性约束：将K空间数据S_ResU与K空间网格上已采集数据S_u融合，计算如公式6所示：

其中，参数Λ为数据提取算子，参数λ为用于平衡图像的噪声影响的参数；

步骤2.4.3：将完成数据一致性约束的数据f_dc(S_ResU,S_u,λ)通过傅里叶逆变换将K空间数据转换为图像I_dc，计算如公式7所示：

I_dc＝F^-1f_dc(S_ResU,S_u,λ)。

Images