CN112489150B - 面向快速mri的深度神经网络的多尺度序贯训练方法 - Google Patents

Abstract

一种面向快速MRI的深度神经网络的多尺度序贯训练方法，该训练方法构建多尺度的MR训练图像来训练深度神经网络，首先学习从低倍欠采样的MR图像到全采样MR图像的映射关系，得到深度神经网络模型的初始参数；再逐步增大输入的MR图像的欠采样倍数，在每种欠采样尺度下，依次训练深度神经网络学习从欠采样的MR图像到全采样的MR图像的映射关系，并且每次在更低尺度下的深度神经网络模型的训练都是以前一个尺度下训练所得的网络模型为基础，从而为最终重构高倍欠采样的MR图像累积足够丰富的先验知识，有效地提升MR图像的重建精度。本发明所提供的方法能够有效地重建高倍欠采样的磁共振图像，具有很强的实用性。

Description

面向快速MRI的深度神经网络的多尺度序贯训练方法

技术领域

本发明涉及医学成像领域，尤其是磁共振成像(Magnetic Resonance Imaging，MRI)的医学图像技术领域，主要用于加快成像速度和提高成像质量。

背景技术

磁共振成像(MRI)是目前临床医学影像中最重要的非侵入式检查方法之一，是继CT之后影像行业的又一大进步，成像质量优于B超和CT，但不会像CT等成像方式那样产生电离辐射；具有温度敏感性、多方位、多参数、多模态、多面成像能力等优点，不仅可显示人体组织的解剖信息，而且可显示功能信息；已经广泛地应用于血管造影、神经病学、心脏病学检查等多种临床应用，尤其适用于前列腺疾病、脑膜炎、肌肉骨骼系统疾病、糖尿病、心血管病等疾病的早期定性分析和治疗规划；在介入治疗中得到广泛认可，被誉为现代医学影像技术皇冠上的明珠。如今，MRI在临床上有广泛的应用，每年至少有6000万病例利用MRI技术进行检查。

尽管MRI是目前少有的对人体无伤害的安全、准确的临床诊断方法，并且具有多方位、多参数、多模态等有点，但是成像速度过慢和介电伪影较高仍然是横亘在MRI领域多年的两大困扰。MRI扫描时间过长、成像较慢会造成以下问题：(1)给病人造成额外的痛苦，尤其是对有“幽闭恐惧症”的病人；(2)器官的非自主运动(如呼吸、眨眼、吞咽等非自主运动)更容易造成图像模糊，增加伪影；(3)无法满足动态实时成像与手术导航的需要。

现有的并行成像技术和由欠采样数据快速重建磁共振(Magnetic Resonance，MR)图像的技术都取得了一定的成功，但在高倍加速因子下，仍会产生较严重的混叠伪影。因此，研究一种在高倍加速采样的同时还能保证图像精度的快速MRI方法尤为重要。最近的研究表明，利用深度学习的方法可对欠采样的MR图像实现快速、准确的重建，这为快速MR成像指明了新方向。然而，现有的深度学习算法基本上是直接学习从高倍欠采样的MR图像到全采样MR图像的映射，这就要求对高倍欠采样的MR图像进行大量的零填充，不仅增加了额外的计算开销，而且还会给重建图像带来明显的伪影，从而导致重建的MR图像的信噪比较低，病灶信息难以清晰呈现。

发明内容

为了克服已有技术的不足，为了提升深度神经网络对高倍欠采样的磁共振图像的重建精度，本发明利用k空间中不同欠采样比率下的磁共振图像相对于全采样的磁共振图像在高频空间中的信息差异，提出了一种深度神经网络的多尺度序贯训练方法，以更有效地学习高倍欠采样的磁共振图像中丢失的细节信息，从而加快磁共振成像。该训练方法通过构建多尺度的MR训练图像，使深度神经网络从低倍欠采样的MR图像到高倍欠采样的MR图像，逐步学习在不同的欠采样尺度下，欠采样的MR图像与全采样的MR图像的映射关系，从而为最终重构高倍欠采样的MR图像累积足够多的先验知识，有效地提升MR图像的重建精度。

本发明解决其技术问题所采用的技术方案是：

一种面向快速MRI的深度神经网络多尺度序贯训练方法，包括以下步骤：

步骤1令f(·；Θ)表示对k空间中的任意u倍欠采样的MR图像进行重建的深度神经网络，这里，Θ为f(·；Θ)的参数集，/>表示MR图像所在的k空间，/>为y_u的维度，N为全采样的MR图像/>的维度，/>表示MR图像所在的像素空间；本发明中，将k空间中的MR图像的维度称为其尺度；y_u和x存在如下关系：

y_u＝S_uy＝S_uFx，

其中，表示在k空间中的全采样图像，S_u∈{0,1}^M×N表示对y进行u倍欠采样的掩码矩阵，/>为傅里叶变换矩阵，用于将MR图像从像素空间变换到k空间；

步骤2基于多尺度序贯训练方法训练f(·；Θ)，得到Θ的最优参数集Θ^★。

进一步，所述步骤2的具体步骤如下：

步骤2.1构建用于训练深度神经网络f(·；Θ)的多尺度的MR图像集

T＝{T₁,T₂,…,T_D}，

这里，T_d表示尺度为/>的训练子集，且各训练子集T_d的尺度存在如下关系：

M₁>M₂>…>M_D＝M；

T_d通过如下方式构建：

其中，Γ＝{1,2,…,G}为训练样本的索引集，G为训练样本的个数，为第g张全采样的MR图像，/>为第g张尺度为/>的MR图像，训练子集T_d的尺度由的尺度决定，/>通过如下方式构建：

其中，表示对k空间中的MR图像进行u_d倍欠采样的掩码矩阵；

步骤2.2构建深度神经网络f(·；Θ)的验证集

V＝{V₁,V₂,…,V_D}

这里，Λ＝{1,2,…,L}为验证样本的索引集，L为验证样本的个数；

步骤2.3令d＝0，随机初始化f(·；Θ)的参数集Θ为Θ⁽⁰⁾；

步骤2.4令迭代期数(Epoch)e＝0，迭代次数t＝0，d＝d+1，取训练子集T_d为当前阶段的训练集；

步骤2.5令e＝e+1，训练批次b＝0，将T_d中训练样本的索引集Γ随机分割为B个不相交的子集：

步骤2.6令t＝t+1，训练批次b＝b+1，计算

步骤2.7通过梯度下降法，优化如下损失函数

其中，为损失函数；

步骤2.8在验证集V_d上评估深度神经网络f(·；Θ^(t))的质量：

其中，Q(·,·)为质量评估函数；

步骤2.9迭代执行上述步骤2.6～步骤2.8，直至b＝B；

步骤2.10迭代执行上述步骤2.5～步骤2.9，直至e＝E^(d)，这里E^(d)为预设的最大训练期数；

步骤2.11选取当前深度神经网络f(·；Θ)的最优参数集其中，

步骤2.12令Θ⁽⁰⁾＝Θ^(d)，迭代执行上述步骤2.4～步骤2.11，直至d＝D；

步骤2.13选取深度神经网络f(·；Θ)的最优参数集Θ^★＝Θ^(D)。

本发明的技术构思为：从高倍欠采样的MR图像恢复全采样的MR图像是加速磁共振成像的一种有效手段。通过构建深度神经网络，学习从高倍欠采样的MR图像到全采样的MR图像的映射关系是实现这一目标的主流技术。然而，由于高倍欠采样的MR图像中丢失的高频数据过多，直接寻求从高倍欠采样MR图像到全采样MR图像的映射关系，会导致深度神经网络的重构性能不佳，重构的MR图像出现伪影、缺乏细节等问题。为了解决这一问题，受自然图像的多尺度超分辨率重构算法的启发，本发明结合欠采样的MR图像及其在k空间中的数据分布规律，提出了深度神经网络的一种多尺度序贯训练方法：首先学习从低倍欠采样的MR图像到全采样MR图像的映射关系，得到深度神经网络模型的初始参数；再逐步增大输入的MR图像的欠采样倍数，训练深度神经网络在不同的欠采样尺度下，学习欠采样的MR图像到全采样的MR图像的映射关系，并且每次在更低尺度下的深度神经网络模型的训练都是以前一个尺度下训练所得的网络模型为基础，从而为最终重构高倍欠采样的MR图像累积足够丰富的先验知识，有效地提升MR图像的重建精度。

相对于现有的面向快速MRI的深度神经网络的训练方法，本发明的有益效果主要表现在：基于多尺度序贯训练的深度神经网络能够充分利用在不同的低倍欠采样尺度下学习到的从欠采样MR图像到全采样MR图像的先验知识，从而有效地提升高倍欠采样的MR图像的重建精度。

附图说明

图1是本发明所提出的多尺度序贯训练流程图。

图2是本发明使用的深度神经网络U-Net的网络结构，其中，除了明确标注的“1×1卷积”外，其它所采用的“卷积”都是3×3卷积；下方标注有数字的矩形块表示“特征图”块，数字表示当前特征图块中所包含的特征图的个数。

图3是掩码矩阵的示例，其中，(a)是中心欠采样掩码矩阵，(b)是高斯欠采样掩码矩阵。图4是MR图像的示例，其中，(a)和(b)分别为k空间中的8倍欠采样的MR图像和全采样的MR图像，(c)和(d)分别为像素空间中的由零填充方法得到的MR图像和全采样的MR图像。

图5是本发明所采用的多尺度训练集的示例，每一行为一个训练子集，每个训练子集由两组MR图像构成，第一组为欠采样的MR图像，第二组为对应的全采样的MR图像；第一行至第三行，欠采样MR图像的欠采样倍数分别为4倍、6倍和8倍；为便于理解，每组欠采样的MR图像都经过了k空间中的零填充和逆傅里叶变换处理。

图6是本发明所提出的深度神经网络的多尺度序贯训练方法的原理说明图，给出了各个尺度的训练图像(从左到右依次为4倍、6倍和8倍欠采样的MR图像)及与之对应的k空间中的采样掩码矩阵。采用多尺度序贯训练方法，可以使深度神经网络从易到难，逐步学习逐渐增大的高频部分丢失的信息，从而为最终重构高倍欠采样的MR图像累积足够多的先验知识。

图7是针对8倍欠采样的MR图像，使用三种网络U-Net、RDU-Net和ICU-Net在单尺度训练(第一行)和多尺度序贯训练下(第二行)所得到的网络模型的重构效果展示。从第2列至第4列，分别为U-Net、RDU-Net和ICU-Net的重构结果；第1列的第1张图片为基于0填充方法对8倍欠采样MR图像的重构结果，第2张为对应的采样MR图像。

图8是针对16倍欠采样的MR图像，使用三种网络U-Net、RDU-Net和ICU-Net在单尺度训练(第一行)和多尺度序贯训练下(第二行)所得到的网络模型的重构效果展示。从第2列至第4列，分别为U-Net、RDU-Net和ICU-Net的重构结果；第1列的第1张图片为基于0填充方法对16倍欠采样MR图像的重构结果，第2张为对应的采样MR图像。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图8，一种面向快速MRI的深度神经网络的多尺度序贯训练方法，包括以下步骤：

步骤1令f(·；Θ)表示对k空间中的任意u倍欠采样的MR图像进行重建的深度神经网络；这里，Θ为f(·；Θ)的参数集，f(·；Θ)可以是任意的可用于图像重建的神经网络，图2以U-Net为例给出了f(·；Θ)的一个范例；/>表示MR图像所在的k空间，/>为y_u的维度，N为全采样的MR图像x的维度，/> 表示MR图像所在的像素空间；本发明中，将k空间中的MR图像的维度称为其尺度；y_u和x存在如下关系：

y_u＝S_uy＝S_uFx，

其中，表示在k空间中的全采样图像，S_u∈{0,1}^M×N表示对y进行u倍欠采样的掩码矩阵，/>为傅里叶变换矩阵，用于将MR图像从像素空间变换到k空间；掩码矩阵S_u可以使用中心欠采样矩阵或高斯欠采样矩阵，图3中(a)给出了中心欠采样掩码矩阵的示例，图3中(b)给出了高斯欠采样掩码矩阵的示例；图4中(a)和(c)给出了u＝8倍欠采样的y_u在k空间和像素空间中的示例，图4中(b)和(d)分别给出了全采样的MR图像y和x在k空间和像素空间中的示例。

步骤2基于多尺度序贯训练方法训练f(·；Θ)，得到Θ的最优参数集Θ^★，步骤如下：

步骤2.1构建用于训练深度神经网络f(·；Θ)的多尺度的MR图像集

T＝{T₁,T₂,…,T_D}，

这里，Td_表示尺度为/>的训练子集，且各训练子集T_d的尺度存在如下关系：

M₁>M₂>…>M_D＝M；

T_d通过如下方式构建：

其中，Γ＝{1,2,…,G}为训练样本的索引集，G为训练样本的个数，为第g张全采样的MR图像，/>为第g张尺度为/>的MR图像，训练子集T_d的尺度由的尺度决定，/>通过如下方式构建：

其中，表示对k空间中的MR图像进行u_d倍欠采样的掩码矩阵；图5给出了训练集T的示例，其中，第一行的训练子集设置u₁＝4，第二行的训练子集设置u₂＝6，第三行的训练子集设置u₃＝8，为便于理解，图5中每一行所展示的训练子集由像素空间中的欠采样图像及其全采样图像对构成，这里，像素空间中的欠采样图像是由k空间中的欠采样图像/>经过零填充和逆傅里叶变换后得到；

步骤2.2构建深度神经网络f(·；Θ)的验证集

V＝{V₁,V₂,…,V_D}

这里，Λ＝{1,2,…,L}为验证样本的索引集，L为验证样本的个数；

步骤2.3令d＝0，随机初始化f(·；Θ)的参数集Θ为Θ⁽⁰⁾，初始化方法可从均值为0，方差为1的高斯分布中采样，作为初始权值，并令偏置项初始值为0；

步骤2.4令迭代期数(Epoch)e＝0，迭代次数t＝0，d＝d+1，取训练子集T_d为当前阶段的训练集；

步骤2.5令e＝e+1，训练批次b＝0，将T_d中训练样本的索引集Γ随机分割为B个不相交的子集：其中，批次大小(Batch Size)，即/>可取6或8；

步骤2.6令t＝t+1，训练批次b＝b+1，计算

步骤2.7通过梯度下降法，优化如下损失函数

其中，l(·，·)为损失函数，可以采用l₁范数、l₂范数或Charbonnier惩罚函数，其中，Charbonnier惩罚函数定义为：其中x₁、x₂分别为重构图像和原始图像，∈为一个常量，可设∈＝0.001；

步骤2.8在验证集V_d上评估深度神经网络f(·；Θ^(t))的质量：

其中，Q(·,·)为质量评估函数，可以采用峰值信噪比(PSNR)或结构化相似度(SSIM)作为质量评估函数；

步骤2.9迭代执行上述步骤2.6～步骤2.8，直至b＝B；

步骤2.10迭代执行上述步骤2.5～步骤2.9，直至e＝E^(d)，这里E^(d)为预设的最大训练期数，可设置E^(d)＝100；

步骤2.11选取当前深度神经网络f(·；Θ)的最优参数集其中，

步骤2.12令Θ⁽⁰⁾＝Θ^(d)，迭代执行上述步骤2.4～步骤2.11，直至d＝D；

步骤2.13选取深度神经网络f(·；Θ)的最优参数集Θ^＊＝Θ^(D)。

为了说明本发明的工作原理，图6给出了各个尺度的训练图像(从左到右依次为4倍、6倍和8倍欠采样的MR图像)及与之对应的k空间中的采样掩码矩阵，从采样掩码矩阵容易看出，采用多尺度序贯训练方法，可以使深度神经网络从易到难，逐步学习逐渐增大的高频部分丢失的信息，从而为最终重构高倍欠采样的MR图像累积足够多的先验知识。

通过实验来验证本发明所提出的多尺度序贯训练方法的有益效果。使用飞利浦Ingenia3T扫描仪对5名受试者进行扫描，获取T2WI模态的MR图像，对其进行预处理，去除没有任何脑组织的切片，将每张MR切片裁剪为336×336×261大小。使用Adam优化算法对U-Net网络进行训练，动量大小设置为0.9，批次大小设置为6，初始学习率设置为0.001，并且每迭代50个期数(Epoch)后下降10倍，进行100个期数的迭代。为了定量评价网络的重建性能，使用峰值信噪比(PSNR)和结构相似度(SSIM)对重构的MR图像进行质量评估。

表1报告了由5种不同的训练方法得到的U-Net模型对8倍欠采样的T2WI图像的重构性能。具体的，这5种训练方法分别为{8}、{4,6,8}、{6/4/8}、{8/6/4/8}、{4/6/8}，其中，{8}表示只使用8倍欠采样的MR图像及其全采样图像对构成的训练集进行训练；{4,6,8}表示多尺度混合训练，也就是将4倍、6倍、8倍欠采样的MR图像及其全采样图像对，混合起来，构成训练集进行训练；{6/4/8}表示依次使用6倍、4倍、8倍欠采样的MR图像及其全采样图像对构成训练子集，进行训练；{8/6/4/8}表示依次使用8倍、6倍、4倍、8倍欠采样的MR图像及其全采样图像对构成训练子集，进行训练；{4/6/8}表示采用本发明提出的多尺度序贯训练方法进行训练，即依次使用4倍、6倍、8倍欠采样的MR图像及其全采样图像对构成训练子集，进行训练。

表1

从表1的实验结果，可以看出：使用多尺度数据进行训练比只使用单尺度的训练数据进行训练的重构效果要好；相较于多尺度混合训练({4,6,8})和多尺度逆序训练({6/4/8}、{8/6/4/8})，本发明所提出的多尺度序贯训练方法更加简洁有效，表现出了更优的重构性能。

图7和图8分别针对8倍和16倍欠采样MR图像，对三种网络U-Net、RDU-Net和ICU-Net在单尺度训练(第一行)和在本发明所提出的多尺度序贯训练下(第二行)所得到的网络模型的重构效果进行了视觉对比，可以看出，多尺度序贯训练下，在视觉上也表现出了优于其它方法的重构效果。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (1)

1.一种面向快速MRI的深度神经网络的多尺度序贯训练方法，其特征在于，所述方法包括以下步骤：

步骤1令f(·；Θ)表示对k空间中的任意u倍欠采样的MR图像进行重建的深度神经网络，这里，Θ为f(·；Θ)的参数集，/>表示MR图像所在的k空间，/>为y_u的维度，N为全采样的MR图像/>的维度，/>表示MR图像所在的像素空间；本发明中，将k空间中的MR图像的维度称为其尺度；y_u和x存在如下关系：

y_u＝S_uy＝S_uFx,

其中，表示在k空间中的全采样图像，S_u∈{0,1}^M×N表示对y进行u倍欠采样的掩码矩阵，/>为傅里叶变换矩阵，用于将MR图像从像素空间变换到k空间；

步骤2基于多尺度序贯训练方法训练f(·；Θ)，得到Θ的最优参数集Θ^＊；

所述步骤2的步骤如下：

步骤2.1构建用于训练深度神经网络f(·；Θ)的多尺度的MR图像集

T＝{T₁,T₂,…,T_D}，

这里，T_d表示尺度为/>的训练子集，且各训练子集T_d的尺度存在如下关系：

M₁>M₂>…>M_D＝M；

T_d通过如下方式构建：

其中，Γ＝{1,2,…,G}为训练样本的索引集，G为训练样本的个数，为第g张全采样的MR图像，/>为第g张尺度为/>的MR图像，训练子集T_d的尺度由/>的尺度决定，/>通过如下方式构建：

其中，表示对k空间中的MR图像进行u_d倍欠采样的掩码矩阵；

步骤2.2构建深度神经网络f(·；Θ)的验证集

V＝{V₁,V₂,…,V_D}

这里，Λ＝{1,2,…,L}为验证样本的索引集，L为验证样本的个数；

步骤2.3令d＝0，随机初始化f(·；Θ)的参数集Θ为Θ⁽⁰⁾；

步骤2.4令迭代期数e＝0，迭代次数t＝0，d＝d+1，取训练子集T_d为当前阶段的训练集；

步骤2.5令e＝e+1，训练批次b＝0，将T_d中训练样本的索引集Γ随机分割为B个不相交的子集：

步骤2.6令t＝t+1，训练批次b＝b+1，计算

步骤2.7通过梯度下降法，优化如下损失函数

其中，为损失函数；

步骤2.8在验证集V_d上评估深度神经网络f(·；Θ^(t))的质量：

其中，Q(·,·)为质量评估函数；

步骤2.9迭代执行上述步骤2.6～步骤2.8，直至b＝B；

步骤2.10迭代执行上述步骤2.5～步骤2.9，直至e＝E^(d)，这里E^(d)为预设的最大训练期数；

步骤2.11选取当前深度神经网络f(·；Θ)的最优参数集其中，

步骤2.12令Θ⁽⁰⁾＝Θ^(d)，迭代执行上述步骤2.4～步骤2.11，直至d＝D；

步骤2.13选取深度神经网络f(·；Θ)的最优参数集Θ^＊＝Θ^(D)。