CN108629816A - 基于深度学习进行薄层磁共振图像重建的方法 - Google Patents

Abstract

本发明公开了一种基于深度学习进行薄层磁共振图像重建的方法。其具体步骤如下：1)在脑部的轴向面和矢状面采集厚层磁共振图像；2)将厚层磁共振图像进行配准和归一化预处理；3)利用配对的配准后厚层磁共振图像训练基于3D U‑net的图像融合网络，生成薄层磁共振图像初步重建结果；4)利用薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像训练细节重建网络，获得最终重建结果。在青少年脑部磁共振图像的数据集中，本发明方法可以提供更好的薄层磁共振图像重建结果，重建的磁共振图像可以更好地显示脑部的结构和细节，并且可以大大提高磁共振图像中灰质、白质和全部脑容积的估计准确率。

Description

基于深度学习进行薄层磁共振图像重建的方法

技术领域

本发明属于计算机医学图像处理技术领域，具体涉及一种基于深度学习进行薄层磁共振图像重建的方法。

背景技术

诸如磁共振成像和电子计算机断层扫描(Computed Tomography,CT)等医学成像技术可以产生人体横截面的断层图像，在成像过程中成像仪器会等间隔地对一定厚度的人体结构进行采样，并利用采集得到的成像信号重建人体部位的三维体积图像。切片之间的间隔是磁共振成像的关键成像参数，比如厚层磁共振图像，也可称为常规磁共振图像，常采用5mm至8mm的切片厚度。厚层磁共振图像常用于疾病的筛查和初步诊断，不能用于精确描述脑部结构和脑功能，或用于手术规划和指导，因为其切片采样间隔中包含的许多临床信息丢失了[1]。通常薄层磁共振图像的截面厚度不超过2mm，其可以在轴向面和矢状面均保持高分辨率，从而生成更精确和可靠的影像信息。因此，为了获得准确和可靠的分析结果，大多数基于磁共振的临床研究都是基于薄层磁共振图像的[2]。例如，在脑胶质瘤的诊疗中，虽然脑胶质瘤患者通常在常规磁共振检查中已经获得厚度为6mm的头部磁共振图像，但是在进行手术前其必须再次获得厚度为2mm的术前导航磁共振图像以获得更精确的脑部结构信息[3]。出于成像成本和机器损耗等原因，临床上的常规磁共振扫描很常见，而相对来说，只在固定场合才使用到薄层磁共振扫描[4]。虽然常规磁共振影像数据庞大，但这些图像不能用于脑胶质瘤的进一步精准诊断和脑结构分析[5]。此外，临床影像数据往往同时存在多种层厚的磁共振图像，利用不同层厚的磁共振影像进行深度数据挖掘会由于信息量差异而造成分析误差。因此，利用厚层磁共振图像重建薄层磁共振图像至关重要，因为它不仅可以大幅增加可用于深层临床信息挖掘的影像数量，还可以对不同扫描层厚的影像进行规范化。

在实际应用中，薄层磁共振图像的重建是一个很复杂的问题。首先，常规磁共振图像与薄层磁共振图像不仅采用切片间隔不同，而且磁共振成像参数往往也不相同[6]。其次，虽然磁共振图像可以被对齐到一个标准化的空间，但成对的磁共振图像很难实现体素到体素的配准。因此，薄层磁共振图像重建会包含图像配准与图像重建的复杂过程。

发明内容

为了克服现有技术的不足，本发明目的在于提供一种基于深度学习进行薄层磁共振图像重建的方法，该方法能有效提升厚层磁共振图像信息量，具有更好的薄层磁共振图像重建结果，重建的磁共振图像可以更好地显示脑部的结构和细节，提高磁共振图像中灰质、白质和全部脑容积的估计准确率。

本发明的技术方案具体介绍如下。

本发明提供一种基于深度学习进行薄层磁共振图像重建的方法，具体步骤如下：

1)在脑部的轴向面和矢状面采集厚层磁共振图像；

2)将采集的厚层磁共振图像进行配准和归一化预处理；

3)利用配对的配准后厚层磁共振图像训练具有深层架构的基于3D U-net的图像融合网络，以融合不同平面上的厚层磁共振图像并且校正配对图像之间的误差，生成薄层磁共振图像初步重建结果；其中：所述图像融合网络由一个用于稳健的上下文捕获的聚焦路径和一个用于精确定位的对称扩展路径组成；图像融合网络包括核大小为3×3×3的三维卷积块、核大小为3×3×3以及步长为2×2×2的三维最大池化、连结、核大小为2×2×2的三维卷积转置和核大小为3×3×3的线性卷积块；在图像融合网络的聚焦路径中，轴向面和矢状面的厚层磁共振图像在同一个尺度上并联在一起，并依次通过具有32个滤波器的三维卷积块、三维最大池化、具有64个滤波器的三维卷积快、三维最大池化、具有128个滤波器的三维卷积块和三维最大池化；在图像融合网络的扩展路径中，聚焦路径的最终输出依次通过具有256个滤波器的三维卷积块，具有256个滤波器的三维卷积转置，具有128个滤波器的三维卷积块，具有128个滤波器的三维卷积转置，具有64个滤波器的三维卷积块，具有64个滤波器的三维卷积转置，具有32个滤波器的三维卷积块和具有1个滤波器的三维卷积；聚焦路径中三组三维卷积块的输出和扩展路径中尺度相同的三组三维卷积转置输出通过连结进行并联；

4)利用由步骤3)获得的薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像训练细节重建网络，获得最终的薄层磁共振图像重建结果；其中：所述细节重建网络呈编码-解码架构，由一个全卷积网络和一个卷积长短记忆网络LSTM模块构建，所述细节重建网络包括具有核大小为3×3的卷积快，核大小为3×3以及时间长度为2的卷积LSTM，核大小为4×4以及步长为2的卷积转置和跳跃连接；在细节重建网络的编码结构中，初步重建结果和高分辨率的矢状面厚层磁共振图像并联在一起，并依次通过具有32个滤波器并且步长为1的卷积块，具有64个滤波器并且步长为2的卷积块，具有64个滤波器并且步长为1的卷积块，具有128个滤波器并且步长为2的卷积块；编码结构的输出输入到具有128个滤波器的卷积LSTM，并且两个对应于同一层初步重建结果的高分辨率矢状厚层磁共振图像的输出结果被设置为循环紧邻结构，在细节重建网络的解码结构中，卷积LSTM的输出依次通过具有128个滤波器并且步长为1的卷积块，具有64个滤波器的卷积转置，具有64个滤波器的并且步长为1的卷积块，具有32个滤波器的卷积转置和具有1个滤波器的并且步长为1的卷积块；原图像和编码结构与解码结构中三组尺度相同的卷积块输出通过跳跃连接加性相连。

本发明中，步骤2)中，将厚层磁共振图像配准到蒙特利尔神经病学研究所MNI的标准脑图集上。

本发明中，步骤3)中，三维卷积块由连续的两组具有批归一化BN层和修正线性单元ReLU层的卷积层组成。

本发明中，步骤3)中，利用大小为64×64×64像素的三维磁共振图像小块训练图像融合网络，训练使用Adam优化方法。

本发明中，步骤4)中，卷积块由连续的具有BN层和ReLU层的卷积层组成。

本发明中，步骤4)中，训练细节重建网络时，细节重建网络以循环方式利用，全尺寸的薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像直接输入到细节重建网络中，并且切片按顺序连续地输入到细节重建网络中。

本发明中，步骤4)中，采用利用端对端的方式训练细节重建网络，使用Adam优化方法训练细节重建网络。

本发明中，步骤4)中，细节重建网络表示如下：

其中I^H′是图像融合网络生成的初始结果，是第i个具有两倍切片数的矢状面厚层磁共振图像，代表没有循环结构的细节重建网络的运算，F_D代表解码路径的运算，也就是卷积LSTM模块之后的网络部分，input是通道中网络的输入，而input^↑′是input双线性插值结果，是利用初步结果和运算得到的卷积LSTM的输出，h_t为卷积LSTM的隐藏层，ConvLSTM是卷积LSTM模块的运算，是编码路径的运算，也就是卷积LSTM模块之前的网络部分，而F_E代表编码路径的运算。

本发明中，卷积LSTM模块是状态输入为卷积而不是乘法的LSTM单元，其中包括遗忘门、输入门、细胞状态、输出门和隐藏状态，卷积LSTM模块的运算公式如下：

f_t＝σ(W_f*[h_t-1,x_t]+b_f) (5)

i_t＝σ(W_i*[h_t-1,x_t]+b_i) (6)

o_t＝σ(W_o*[h_t-1,x_t]+b_o) (9)

在上述公式中，代表矩阵乘法，“*”代表线性卷积运算，f_t，i_t，Cell_t和o_t分别是遗忘门、输入门、细胞状态和输出门，σ是sigmoid运算，W_f，W_i，W_C和W_o以及b_f，b_i，b_C和b_o分别是遗忘门、输入门、细胞状态以及输出门的卷积核权重和偏置，而x_t是输入图像。

和现有技术相比，本发明的有益效果在于：在青少年脑部磁共振图像的数据集中，本发明方法可以提供更好的薄层磁共振图像重建结果，重建的磁共振图像可以更好地显示脑部的结构和细节，并且可以将磁共振图像中灰质、白质和全部脑容积的估计准确率分别从0.85，0.96和0.91提升到0.92，0.99和0.91。

附图说明

图1是本发明的DeepVolume方法的框架图。

图2是本发明的基于3D U-net进行开发的图像融合网络的结构图。

图3是本发明的包含了编码网络和解码网络细节重建网络的结构图。

图4是本发明的细节重建网络的循环结构图。

图5是卷积长短记忆网络的内部结构。

图6是实施例1中DeepVolume和四种对比方法的重建结果以及对应的薄层和厚层磁共振图像。

图7是实施例1从薄层图像和重建结果中获得的灰质容积、白质容积和全部脑容积散点图。

图8是实施例1中从重建结果和薄层磁共振图像中获得灰质容积、白质容积和全部脑容积Bland-Altman图。

具体实施方式

下面结合附图和实施例对本发明的技术方案进行详细阐述。

实施例1

实施例中提出一种基于深度学习进行薄层磁共振图像重建的方法，该方法用DeepVolume表示，如图1所示，具体步骤如下。

1)在脑部的轴向面和矢状面采集厚层磁共振图像；

采集厚层磁共振图像时，厚层轴向面磁共振图像脉冲序列为T1flair，成像平面为轴向面，切片厚度和层间距之和为6.5mm，切片数为19，像素宽度为0.47×0.47mm，重复时间为2291ms，回波时间为25mm，反转时间为750ms。厚层矢状面磁共振图像脉冲序列为T1flair，成像平面为轴向面，切片厚度和层间距之和为6.5mm，切片数为19，像素宽度为0.47×0.47mm，重复时间为1450ms，回波时间为25mm，反转时间为628ms。

2)将采集的厚层磁共振图像进行配准和归一化预处理；

在预处理阶段，我们首先将所有磁共振图像配准到蒙特利尔神经病学研究所(Montreal Neurological Institute,MNI)的标准脑图集上，配准的体素尺寸大小为0.5×0.5×1mm。此外，为了更好地利用矢状面中的高分辨率信息，我们将矢状面厚层磁共振图像额外配准到体素尺寸大小为0.5×0.5×0.5mm的MNI的标准脑图集上。在磁共振图像在标准化空间中对齐之后，我们在每个通道分别对图像的灰度值进行归一化。灰度值归一化过程遵循三个步骤：首先，去除每幅磁共振图像最高和最低2.5％的灰度值以避免没必要的误差干扰；其次，我们对每幅磁共振图像的灰度值范围进行归一化到0至255，以方便重建结果进行8比特整数下的评估。最后，为了准备输入到CNN，我们将每一个通道中的图像数据进行标准化，将图像灰度值再次归一化到0到1的范围内，并且分别减去和除以每个通道的平均值和标准偏差。还有另一个问题就是厚层磁共振图像的成像区域总是略小于薄层磁共振图像的成像区域，比如轴向面厚层磁共振图像在矢状面边缘上有很多的空白区域。为了使厚层磁共振图像在各个方向上更为完整，我们提前使用一个平面上的厚层磁共振图像对另一个平面上的厚层磁共振图像进行了填充。

3)利用配对的配准后厚层磁共振图像训练具有深层架构的基于3D U-net的图像融合网络，以融合不同平面上的厚层磁共振图像并且校正配对图像之间的误差，生成薄层磁共振图像初步重建结果；

如图2所示，图像融合网络可以生成薄层磁共振图像，图像融合网络由一系列包括三维卷积块、三维最大池化、连结、三维卷积转置和三维卷积等模块构成。在图像融合网络的聚焦路径中，两个方向的薄层磁共振图像并联起来输入到网络之中，并依次通过具有32个滤波器的三维卷积块、三维最大池化、具有64个滤波器的三维卷积快、三维最大池化、具有128个滤波器的三维卷积块和三维最大池化。在图像融合网络的扩展路径中，聚焦路径的最终输出依次通过具有256个滤波器的三维卷积块，具有256个滤波器的三维卷积转置，具有128个滤波器的三维卷积块，具有128个滤波器的三维卷积转置，具有64个滤波器的三维卷积块，具有64个滤波器的三维卷积转置，具有32个滤波器的三维卷积块和具有1个滤波器的三维卷积。另外，聚焦路径中三组三维卷积块的输出和扩展路径中尺度相同的三组三维卷积转置输出通过连结并联起来。

图像融合网络中的三维卷积块由连续的两组具有批归一化(BatchNormalization,BN)层和修正线性单元(Rectified Linear Unit,ReLU)层的卷积层组成。图像融合网络的网络架构基本上参照一个名为3D U-net的CNN结构，其为用于医学图像分析的最先进的网络架构，近来在许多医学成像研究中取得名列前茅的效果。在图像融合网络中，卷积和卷积转置核的大小分别为3×3×3和2×2×2，最大池化层的步长和内核大小分别为2×2×2和3×3×3。一般来说，3D U-net包括一个用于稳健的上下文捕获的聚焦路径和一个用于精确定位的对称扩展路径。在图像融合网络中，我们用线性卷积块替换原始3D U-net的最后一层，以将图像分割网络转化为图像重建网络。在训练阶段，我们利用大小为64×64×64像素的三维磁共振图像小块来训练图像融合网络。由于最大池化层的存在，三维空间中的感受野可以达到8×8×8像素，这种大的感受野也可以帮助网络从厚层磁共振图像中恢复存在轻微的不匹配的薄层磁共振图像。先聚焦再扩展的网络架构有助于图像融合网络提取厚层磁共振图像的深层特征，同时将这些特征与薄层磁共振图像相关联。因此，图像融合网络可以促进两个平面上厚层磁共振图像的深度融合以构建厚层和薄层磁共振图像之间的映射关系。

4)利用由步骤3)获得的薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像训练细节重建网络，获得最终的薄层磁共振图像重建结果。

图3简要地展示出细节重建网络的网络结构，细节重建网络由一系列包括卷积块、卷积LSTM、卷积转置和跳跃连接等模块构成。在细节重建网络的编码结构中，初步重建结果和高分辨率的矢状面厚层磁共振图像并联在一起，并依次通过具有32个滤波器并且步长为1的卷积块，具有64个滤波器并且步长为2的卷积块，具有64个滤波器并且步长为1的卷积块，具有128个滤波器并且步长为2的卷积块。编码结构的输出输入到具有128个滤波器的卷积LSTM，并且两个对应于同一层初步重建结果的高分辨率矢状厚层磁共振图像的输出结果被设置为循环紧邻结构。在细节重建网络的解码结构中，卷积LSTM的输出依次通过具有128个滤波器并且步长为1的卷积块，具有64个滤波器的卷积转置，具有64个滤波器的并且步长为1的卷积块，具有32个滤波器的卷积转置和具有1个滤波器的并且步长为1的卷积块。另外，为了让细节重建网络更专注于图像差别的细节，我们将原图像和编码结构与解码结构中三组尺度相同的卷积块输出通过跳跃连接加性相连。

由图可见，在细节重建网络中我们利用编码-解码的网络结构来提取图像细节。在细节重建网络中我们模拟了薄层磁共振图像的成像过程，将轴面上的全尺寸二维磁共振图像连续地输入网络。并且我们以端对端的方式训练这个网络，为其提供了有利于在轴平面中重建图像细节的全局上下文信息。类似地，图中卷积块由连续的具有BN层和ReLU层的卷积层组成。我们将第一层和最后一层的卷积核大小设置为5×5以获得更大的上下文，其余包括卷积LSTM的卷积核大小设置为3×3，转置卷积的步长和核大小是2和4×4。为了充分利用矢状面厚层磁共振图像的矢状高分辨率，矢状面图像被配准到0.5mm的间距的标准空间并且依次输入到网络之中。一般来说，细节重建网络可以表示为：

其中I^H′是图像融合网络生成的初始结果，是第i个具有两倍切片数的矢状面厚层磁共振图像。代表没有循环结构的细节重建网络的运算，F_D代表解码路径的运算，也就是卷积LSTM模块之后的网络部分。input是通道中网络的输入，而input^↑′是input双线性插值结果。是利用初步结果和运算得到的卷积LSTM的输出，而h_t为卷积LSTM的隐藏层。ConvLSTM是卷积LSTM模块的运算，具体在后面的公式(5～10)中进行描述。是编码路径的运算，也就是卷积LSTM模块之前的网络部分，而F_E代表编码路径的运算。

我们的初步结果的大脑结构已经与薄层磁共振图像非常相似，因此，细节重建网络应该更加合理地利用这些初步结果。我们在细节重建网络中使用了三个跳跃层以保证初步结果在不同深度的重建过程中总是可用的。如式(2)所示，我们跳跃层被定义为求和过程。在细节重建过程中跳跃连接的使用非常有效，因为它们不仅可以保留由图像融合网络所提供的正确大脑结构，还可以帮助网络在递归过程中为初步结果的存储节省空间。

本发明将细节重建网络以循环方式进行利用，如图4所示，对应相同切片的重建结果共享卷积LSTM网络的隐藏层以增强相邻矢状面厚层磁共振图像的相关性。由图可见，细节重建网络的权重被多次使用，同样的滤波器被递归地应用于特征图的计算。我们使用的递归网络结构可以在不增加网络参数的情况下利用非常大的背景信息。

作为细节重建网络的一个关键组成部分，在矢状面具有高分辨率的矢状面厚层图像被连续输入到网络中。相比于初步结果和薄层磁共振图像，矢状面厚层磁共振图像有两倍的切片数量，这种精确的矢状面信息可以帮助细节重建网络在轴向面和矢状面上提供正确和准确的细节。

在细节重建网络的内部，我们内嵌了一个卷积LSTM模块以利用三维信息重现薄层磁共振图像重建结果的细节，图5描述了卷积LSTM的内部结构，在本模型中，临近切片被视作为连续时间的样本，不同切片的信息被紧密相连以纠正初始结果中的细节。

卷积LSTM可以被看作是状态输入为卷积而不是乘法的LSTM单元，其中包括遗忘门、输入门、细胞状态、输出门和隐藏状态。卷积LSTM模块运算的公式如下：

f_t＝σ(W_f*[h_t-1,x_t]+b_f) (5)

i_t＝σ(W_i*[h_t-1,x_t]+b_i) (6)

o_t＝σ(W_o*[h_t-1,x_t]+b_o) (9)

在上述公式中，代表矩阵乘法(HadamardProduct)，“*”代表线性卷积运算。f_t，i_t，Cell_t和o_t分别是遗忘门、输入门、细胞状态和输出门，σ是sigmoid运算。W_f，W_i，W_C和W_o以及b_f，b_i，b_C和b_o分别是遗忘门、输入门、细胞状态以及输出门的卷积核权重和偏置，而x_t是输入图像。在重建方法的后处理中，我们使用预处理过程中获得的平均值和标准偏差值将最终的重建结果恢复到真实的灰度级。

实施例中，为了比较由不同方法得到的重建结果，计算重建结果与薄层磁共振图像的平均绝对误差(Mean Absolute Error,MAE)和峰值信噪比(Peak Signal-to-NoiseRatio,PSNR)值作为评价指标，这两个评估指标的计算方式为：

其中N为评价的数据个数，M、J和K分别为磁共振图像的三个维度，I^G和I^H分别为重建结果及其对应的薄层磁共振图像。由于本研究的目的是预测脑结构和脑容积估计，我们对重建结果的评估仅计算了磁共振图像中的去除颅骨和头皮后的脑部区域。

为了评估利用重建结果的脑容积估计结果的准确率，准确率测量表示为：

其中和分别表示根据重建结果和薄层磁共振图像估计得到的脑容积的平均值。

此外，我们还计算了计算相关系数以找到从重建结果与薄层磁共振图像中获得的脑容积之间的关联，相关系数计算方式为：

其中V_R(i)和V_Thin(i)分别为从第i个重建结果和薄层磁共振图像中估算得到的脑容积，σ_R和σ_Thin为V_R和V_Thin的标准差。

结果分析

DeepVolume和其他方法获得的重建结果、DeepVolume获得的初步结果以及原始磁共振图像如图6所示，由图可见，DeepVolume可在轴向面和矢状面获得良好的重建结果。以薄层磁共振图像作为金标准，利用各种方法获得重建结果的评估结果总结如表1所示，其他广泛应用的高图像质量重建方法相比，DeepVolume可以生成最接近金标准的重建结果。

实验在具有以下参数的工作站上完成：3.00GHz CPU、Inter Xeon E5-2687W(v4)和Nvidia Titan Xp GPU，DeepVolume的测试运算过程可以在半分钟内完成，具体而言，图像融合网络和细节重建网络都大概需要约14秒进行运算。

以薄层磁共振图像估计得到的脑容积为金标准，各种方法得到的脑容积估计评估结果在表2中进行比较。由统计结果可见，从DeepVolume重建结果中估计得到的灰质容积、白质容积和全部脑容积的估计结果是最准确的，并且与薄层磁共振图像中得到的结果密切相关。为了评估DeepVolume脑容积估计的可靠性，我们基于DeepVolume和其他比较方法获得的结果做了散点图和Bland-Altman图，分别如图7和图8所示。与利用其他广泛使用方法获得的重建图像和利用厚层磁共振图像中得到脑容积估计结果相比，利用DeepVolume获得的重建图像得到的结果更加可靠，并且与薄层磁共振图像的结果更加一致。

在DeepVolume的帮助下，与轴向面磁共振图像相比，一致的灰质区域从86.41％(6640044个体素中的5737807个)扩大到93.96％(6640044个体素中的6239234个)，而一致的白质区域从93.38％(4132622个体素中的3858916个)扩大到95.55％(4132622个体素中的3937760个)。对于灰质来说，在尾状核、豆状核和丘脑区域以及大脑边缘周围的区域的误差被很大程度地减少。对于白质来说，豆状核和脑岛区域的误差被很大程度地减少。

表1.不同方法获得的重建结果，评价指标基于重建结果中的脑部区域进行计算

注：各评价指标中的最优结果由粗体标示。

表2.从不同方法中获得脑容积估计结果

注：各评价指标中的最优结果由粗体标示。

参考文献

[1]GERING D T,NABAVI A,KIKINIS R,et al.An integrated visualizationsystem for surgical planning and guidance using image fusion and an open MR[J].Journal of Magnetic Resonance Imaging,2001,13(6):967-975.

[2]SAUR D,SCHELTER B,SCHNELLS,et al.Combining functional andanatomical connectivity reveals brain networks for auditory languagecomprehension[J].Neuroimage,2010,49(4):3187-3197.

[3]SENFT C,BINK A,FRANZ K,et al.Intraoperative MRI guidance andextent of resection in glioma surgery:a randomised,controlled trial[J].LancetOncology,2011,12(11):997-1003.

[4]LU H,NAGAE-POETSCHER LM,GOLAY X,et al.Routine clinical brain MRIsequences for use at 3.0Tesla[J].Journal of Magnetic Resonance Imaging,2005,22(1):13-22.

[5]JOVICICH J,CZANNER S,SALAT D,et al.MRI-derived measurements ofhuman subcortical,ventricular and intracranial brain volumes:reliabilityeffects of scan sessions,acquisition sequences,data analyses,scanner upgrade,scanner vendors and field strengths[J].Neuroimage,2009,22(1):177-192.

[6]BARKHOF F,FILIPPI M,MILLER D H,et al.Comparison of MRI criteria atfirst presentation to predict conversion to clinically definite multiplesclerosis[J].Brain,1997,120(11):2059-2069.

Claims (9)

1.一种基于深度学习进行薄层磁共振图像重建的方法，其特征在于，具体步骤如下：

1)在脑部的轴向面和矢状面采集厚层磁共振图像；

2)将采集的厚层磁共振图像进行配准和归一化预处理；

3)利用配对的配准后厚层磁共振图像训练具有深层架构的基于3D U-net的图像融合网络，以融合不同平面上的厚层磁共振图像并且校正配对图像之间的误差，生成薄层磁共振图像初步重建结果；其中：所述图像融合网络由一个用于稳健的上下文捕获的聚焦路径和一个用于精确定位的对称扩展路径组成；图像融合网络包括核大小为3×3×3的三维卷积块、核大小为3×3×3以及步长为2×2×2的三维最大池化、连结、核大小为2×2×2的三维卷积转置和核大小为3×3×3的线性卷积块；在图像融合网络的聚焦路径中，轴向面和矢状面的厚层磁共振图像在同一个尺度上并联在一起，并依次通过具有32个滤波器的三维卷积块、三维最大池化、具有64个滤波器的三维卷积快、三维最大池化、具有128个滤波器的三维卷积块和三维最大池化；在图像融合网络的扩展路径中，聚焦路径的最终输出依次通过具有256个滤波器的三维卷积块，具有256个滤波器的三维卷积转置，具有128个滤波器的三维卷积块，具有128个滤波器的三维卷积转置，具有64个滤波器的三维卷积块，具有64个滤波器的三维卷积转置，具有32个滤波器的三维卷积块和具有1个滤波器的三维卷积；聚焦路径中三组三维卷积块的输出和扩展路径中尺度相同的三组三维卷积转置输出通过连结进行并联；

4)利用由步骤3)获得的薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像训练细节重建网络，获得最终的薄层磁共振图像重建结果；其中：所述细节重建网络呈编码-解码架构，由一个全卷积网络和一个卷积长短记忆网络LSTM模块构建，所述细节重建网络包括具有核大小为3×3的卷积快，核大小为3×3以及时间长度为2的卷积LSTM，核大小为4×4以及步长为2的卷积转置和跳跃连接；在细节重建网络的编码结构中，初步重建结果和高分辨率的矢状面厚层磁共振图像并联在一起，并依次通过具有32个滤波器并且步长为1的卷积块，具有64个滤波器并且步长为2的卷积块，具有64个滤波器并且步长为1的卷积块，具有128个滤波器并且步长为2的卷积块；编码结构的输出输入到具有128个滤波器的卷积LSTM，并且两个对应于同一层初步重建结果的高分辨率矢状厚层磁共振图像的输出结果被设置为循环紧邻结构，在细节重建网络的解码结构中，卷积LSTM的输出依次通过具有128个滤波器并且步长为1的卷积块，具有64个滤波器的卷积转置，具有64个滤波器的并且步长为1的卷积块，具有32个滤波器的卷积转置和具有1个滤波器的并且步长为1的卷积块；原图像和编码结构与解码结构中三组尺度相同的卷积块输出通过跳跃连接加性相连。

2.根据权利要求1所述的方法，其特征在于，步骤2)中，将厚层磁共振图像配准到蒙特利尔神经病学研究所MNI的标准脑图集上。

3.根据权利要求1所述的方法，其特征在于，步骤3)中，三维卷积块由连续的两组具有批归一化BN层和修正线性单元ReLU层的卷积层组成。

4.根据权利要求1所述的方法，其特征在于，步骤3)中，利用大小为64×64×64像素的三维磁共振图像小块训练图像融合网络，训练使用Adam优化方法。

5.根据权利要求1所述的方法，其特征在于，步骤4)中，卷积块由两组连续的具有BN层和ReLU层的卷积层组成。

6.根据权利要求1所述的方法，其特征在于，步骤4)中，训练细节重建网络时，细节重建网络以循环方式利用，全尺寸的薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像直接输入到细节重建网络中，并且切片按顺序连续地输入到细节重建网络中。

7.根据权利要求1所述的方法，其特征在于，步骤4)中，采用利用端对端的方式训练细节重建网络，使用Adam优化方法训练细节重建网络。

8.根据权利要求1所述的方法，其特征在于，步骤4)中，细节重建网络表示如下：

其中I^H′是图像融合网络生成的初始结果，是第i个具有两倍切片数的矢状面厚层磁共振图像，代表没有循环结构的细节重建网络的运算，F_D代表解码路径的运算，也就是卷积LSTM模块之后的网络部分，input是通道中网络的输入，而input^↑是input双线性插值结果，是利用初步结果和运算得到的卷积LSTM的输出，h_t为卷积LSTM的隐藏层，ConvLSTM是卷积LSTM模块的运算，是编码路径的运算，也就是卷积LSTM模块之前的网络部分，而F_E代表编码路径的运算。

9.根据权利要求1或8所述的方法，其特征在于，卷积LSTM模块是状态输入为卷积而不是乘法的LSTM单元，其中包括遗忘门、输入门、细胞状态、输出门和隐藏状态，卷积LSTM模块的运算公式如下：

f_t＝σ(W_f*[h_t-1，x_t]+b_f) (5)

i_t＝σ(W_i*[h_t-1，x_t]+b_i) (6)

o_t＝σ(W_o*[h_t-1，x_t]+b_o) (9)

在上述公式中，代表矩阵乘法，“*”代表线性卷积运算，f_t，i_t，Cell_t和o_t分别是遗忘门、输入门、细胞状态和输出门，σ是sigmoid运算，W_f，W_i，W_C和W_o以及b_f，b_i，b_C和b_o分别是遗忘门、输入门、细胞状态以及输出门的卷积核权重和偏置，而x_t是输入图像。