CN111598964B - 一种基于空间自适应网络的定量磁化率图像重建方法 - Google Patents

Abstract

一种基于空间自适应网络的定量磁化率图像重建方法，空间自适应网络直接学习场图到定量磁化率图像的映射，其包括编码器和解码器，在编码器部分通过级联Inception模块提高网络抓取不同层次特征的能力；在解码器部分使用工作在不同分辨率的空间自适应模块进行信息补充并增加训练稳定性，空间自适应模块能够充分使用场图中幅值、对比度等信息，同时还可以为网络提供幅值图中结构信息，从而提高磁化率图像的重建质量。与其他方法相比，空间自适应网络在健康人脑及病患数据上均能够重建出伪影更少、准确度更高的磁化率图像。

Description

一种基于空间自适应网络的定量磁化率图像重建方法

技术领域

本发明涉及基于卷积神经网络的磁共振图像处理技术领域，特别是指一种基于空间自适应网络的定量磁化率图像重建方法。

背景技术

磁共振成像是一种可以绘制物体内部组织结构图像的成像技术，由于其在检查过程中对人体没有任何伤害并且能提供清晰精细的组织结构图像，磁共振成像成为常规的、重要的临床诊断工具，而且已被广泛地应用于脑功能、精神疾病、认知神经科学及化学等科研领域。定量磁化率成像(Quantitative Susceptibility Mapping,QSM)是近年来磁共振成像技术上的重大进展。磁化率是物质放入外磁场后的一种物理特性，物质根据磁化率特性可分为顺磁性、逆磁性和铁磁性。同时磁化率也是组织的一种内在特性，如果能有效地加以利用，可以为研究组织的结构和功能提供重要的信息。QSM通过测量局部场的分布来确定组织磁化率的分布，可以对组织的铁含量、钙化、血氧饱和度等进行有效的定量分析，对脑出血、多发性硬化症及帕金森综合症等脑神经疾病的研究和诊断也具有重要意义，因此QSM在科学和医学领域受到了越来越多的重视。

通常来说，组织的磁化率信息包含在磁共振图像的相位图中，但大多数磁共振成像技术是依赖幅度信息成像，含丰富磁化率信息的相位图通常被舍弃。 QSM可以充分利用相位图像中的信息，最终得到定量磁化率图像。首先，系统所能记录的相位信息与真实相位之间存在不同程度的相位周期模糊，称为相位缠绕。在计算磁化率分布之前，需要通过相位解缠绕，恢复失去的相位周期。然后，由于磁共振中匀场不完全及组织与空气交界处磁化率变化等，均会使得背景磁场产生强烈变化，进而掩盖局部组织间磁化率对比度，使得相位缠绕更为严重。因此，在相位解缠绕后，需要区分背景场与磁敏感物质产生的局部场，即去除背景场，以获得高质量的局部场分布图(场图)。最后通过特有的重建算法由场图得到定量磁化率图像。

由于偶极子卷积核中奇异角的存在，从场图重建出定量磁化率图像是一个病态的逆问题。人们已经提出了许多方法来解决这个问题，如基于分片常数先验,阈值截断法(TKD),从幅值图像提取边缘结构信息先验的正则化方法,但这些方法都需要人工设计特征提取规则，流程繁琐。目前通过多方向采样来计算磁化率(COSMOS)是一种较为有效的方法，可以有效地抑制重建出磁化率图像中的伪影，但是COSMOS需要不同方向的采样数据，在临床中难以实现。

近年来，随着硬件计算能力的提高，深度学习技术在图像处理领域取得了巨大成功。深度学习方法通常训练深度神经网络直接学习输入数据与标签数据之间特征分布的变换，不再需要人工设计特征提取规则。在图像超分辨、压缩感知重建等图像重建的病态逆问题上，深度学习方法已经取得超越传统方法的重建效果。在QSM领域，2018年Jongho Lee等人首次提出了基于深度神经网络的定量磁化率成像，2019年Steffen Bollmann等人使用模拟数据训练出了可重建真实人脑磁化率图像的网络。但是上述深度学习方法使用的网络结构均基于传统U-Net，并且在网络结构的设计上没有利用到幅值图中的结构信息。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种能够利用幅值图中结构信息，基于空间自适应网络的定量磁化率图像重建方法。

本发明采用如下技术方案：

一种基于空间自适应网络的定量磁化率图像重建方法,其特征在于：采用空间自适应网络实现将输入的场图重建为磁化率图像，其包括编码器和解码器；编码器中，首先使用一个卷积核为3×3×3的卷积层将场图映射到特征图，将所得特征图依次通过3组Inception模块,将每组Inception模块的输出级联，并且在通道维度上乘以一个可训练的权值进行特征选择，再输入到多尺度编码层进一步编码；解码器部中，在每次上采样前使用空间自适应模块，该空间自适应模块包括空间自适应归一化和残差模块，空间自适应归一化为自适应的从场图和幅值图中提取信息对网络进行信息补充，残差模块通过批归一化对学习到的残差进行拉伸来增强纹理。

优选的，所述Inception模块包括3个支路，一支路的卷积核为1×1×1 的卷积、一支路的卷积核为3×3×3的卷积，另一支路的包含两组卷积核为 3×3×3的卷积，每个卷积层后均连接批归一化层及激活函数RELU。

优选的，所述可训练的权值为一维的可训练变量，将其与3组Inception 模块级联后的特征图相乘，通过调整权值确定该特征图的重要程度；然后使用卷积核为1×1×1的卷积对经过特征选择的特征图进行降维，再将所得特征图送入多尺度编码层中进一步编码。

优选的，多尺度编码层为传统U-Net的编码器部分，包括10个卷积层，其中3个卷积层的步长为2以实现下采样，每个卷积层后均连接批归一化层及激活函数RELU。

优选的，所述空间自适应模块还包括卷积核为3×3×3的卷积和激活函数 RELU；使用3×3×3的卷积对输入到空间自适应模块的特征图进行解码，再将解码后的特征图进行空间自适应归一化处理；空间自适应归一化处理中，首先对经过3×3×3的卷积后的特征图进行批归一化

其中M为输入特征图的批大小，x为输入特征图即x＝{x¹，x²，...x^M}，μ和σ²分别为x的均值及方差，∈为机器零以防止0值的出现，γ₁和β₁为一维的可训练变量对标准化后的数据进行缩放和平移，其维度与x的通道数相同，批归一化的输出为

然后再使用含有场图与幅值图空间信息的可训练变量γ₂和β₂分别与y_BN相乘与相加得到空间自适应归一化的输出y

y＝γ₂y_BN+β₂

其中可训练变量γ₂和β₂由场图与幅值图映射而来，γ₂和β₂的尺寸与y_BN相同。

优选的，空间自适应归一化中的可训练变量γ₂和β₂通过场图与幅值图映射得到；首先，使用不同次数的平均池化操作改变场图和幅值图的分辨率，再通过卷积核为3×3×3的卷积将场图和幅值图分别映射到特征图空间，使用可训练的权值进行特征选择及卷积核为1×1×1的卷积进行降维，每个卷积层后连接激活函数RELU，最后使用卷积核为3×3×3卷积从降维后的特征图中分别映射出具有场图和幅值图空间信息的γ₂和β₂。

优选的，所述空间自适应网络的总损失函数包括均方误差L_mse(w)和梯度损失L_gdl(w)：

其中Y为标签图像，

为网络的输出图像，

和

为使用[-1,1]梯度算子分别在Y和

的x、y、z方向进行卷积运算得到梯度分量；训练空间自适应网络的总损失函数为 L_total(w)＝w₁L_mse(w)+w₂L_gdl(w)

其中w₁和w₂为平衡两部分损失的权值。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

本发明针对从场图重建定量磁化率图像这一病态逆问题，采用空间自适应网络实现定量磁化率图像重建，不需要人工设计特征提取规则；空间自适应网络在编码器部分通过级联Inception模块提高网络抓取不同层次特征的能力；在解码器部分使用工作在不同分辨率的空间自适应模块进行信息补充并增加训练稳定性，其能够充分使用场图中幅值、对比度等信息，同时还可以为网络提供幅值图中结构信息，提高磁化率图像的重建质量；与其他方法相比，空间自适应网络在健康人脑及病患数据上均能够重建出伪影更少、准确度更高的磁化率图像。

附图说明

图1为空间自适应网络网络结构图；

图2通过MSSIM-epoch、PSNR-epoch曲线显示分别移除本发明方法SAQSM 中Inception模块、权值及残差模块对重建结果的影响；

图3为不同方法在健康人脑数据上的磁化率重建结果；

图4为不同方法在病患人脑数据上的磁化率重建结果；

图5为不同方法在2019 QSM挑战赛数据上的结果。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

一种基于空间自适应网络的定量磁化率图像重建方法，采用空间自适应网络实现将输入的场图(Field)重建为磁化率图像(Suspt)，其包括编码器(Encoder) 和解码器(Decoder)，所有卷积核均为三维卷积核。编码器中，首先使用一个卷积核为3×3×3的卷积层将场图映射到特征图，将所得特征图依次通过3组 Inception模块(Inception Block)，将每组Inception模块的输出再级联以提高网络抓取不同层次特征的能力，并且在通道维度上乘以一个可训练的权值(weight)进行特征选择，再输入到多尺度编码层进一步编码；解码器部中，在每次上采样前使用空间自适应模块(Spatially Adaptive Module)，该空间自适应模块包括空间自适应归一化和残差模块(RB)，空间自适应归一化为自适应的从场图(Field)和幅值图(Mag)中提取信息对网络进行信息补充，残差模块通过批归一化对学习到的残差进行拉伸来增强纹理。

本发明训练数据来自9名健康志愿者，每位志愿者在4个方向上扫描9-16 回波，TR/TE1/ΔTE＝45/2/2ms，成像视野为220×220×110，矩阵尺寸为 224×224×110，仰卧方向的场图、幅值图作为训练数据，对应的COSMOS用作训练时的标签。受GPU内存的限制，在训练时将场图、幅值图及COSMOS切成64×64×16的三维块，64×64的图像块足以包含原始图像中的大尺度特征，在 Z方向上，16层图像也能提供足够的层间信息。

Inception模块包括3个支路，一支路的卷积核为1×1×1的卷积、一支路的卷积核为3×3×3的卷积，另一支路的包含两组卷积核为3×3×3的卷积，每个卷积层后均连接批归一化层及激活函数RELU。

传统U-Net每一层的感受野的大小往往是固定的，并且经过多次下采样后，每增加一个卷积层，感受野的增加间隔会比较大，导致网络提取大尺度特征的能力下降。比如在经过3次下采样后，每使用一个卷积核大小为3×3×3，步长为 1的卷积层，其感受野的增加值为16。因此在编码器部分，首先将场图映射到特征图空间，然后依次通过3组Inception模块后再级联，此时得到特征图的感受野在3-15之间的，正好可以对多次下采样后感受野之间的间隔进行填充，这些特征图经过特征选择后将被输入到多尺度编码层中进一步编码，从而让网络能够提取更多不同尺度、不同层次的特征。

一维的可训练变量作为权值(weight)来进行特征选择，将其与3组Inception 模块级联后的特征图在通道维度上相乘以进行特征选择，网络在训练时通过调整权值便可以决定该特征图的重要程度，在一定程度上加速了网络的收敛。然后使用卷积核为1×1×1的卷积对经过特征选择的特征图进行降维，再将所得特征图送入多尺度编码层中进一步编码。

多尺度编码层由10个卷积层组成，其中3个卷积层的步长为2以实现下采样，每个卷积层后均连接批归一化层及激活函数RELU。本发明中采用的下采样次数为3，从而使空间自适应网络的最大感受野达到73，足以覆盖图像中的大尺度特征，下采样次数及级联Inception模块的数量可根据训练数据的尺寸大小进行适当调整。

空间自适应模块主要包括空间自适应归一化和残差模块(Residual Block,RB)组成，其具体的组成部分依次为卷积核为3×3×3的卷积、空间自适应归一化、激活函数RELU及残差模块。使用3×3×3的卷积对输入到空间自适应模块的特征图进行解码，再将解码后的特征图进行空间自适应归一化处理。空间自适应归一化是一种条件归一化，其首先对经过3×3×3的卷积后的特征图进行批归一化(Batch Normalization,BN)

其中M为输入特征图的批大小，x为输入特征图即x＝{x¹，x²，...x^M}，μ和σ²分别为x的均值及方差，∈为机器零以防止0值的出现，γ₁和β₁为一维的可训练变量对标准化后的数据进行缩放和平移，其维度与x的通道数相同，批归一化的输出为

然后再使用含有场图与幅值图空间信息的可训练变量γ₂和β₂分别与y_BN相乘及相加得到空间自适应归一化的输出y

y＝γ₂y_BN+β₂

其中可训练变量γ₂和β₂由场图与幅值图映射而来，γ₂和β₂的尺寸与y_BN相同。

空间自适应归一化是一种条件归一化，可训练变量γ₂和β₂由场图与幅值图映射而来。由于空间自适应模块工作在不同分辨率，因此首先使用不同次数的平均池化操作改变场图和幅值图的分辨率，再通过卷积核为3×3×3的卷积将场图和幅值图分别映射到特征图空间，使用可训练的权值进行特征选择及卷积核为1×1×1的卷积进行降维，每个卷积层后连接激活函数RELU，最后使用卷积核为3×3×3卷积从降维后的特征图中分别映射出具有场图和幅值图空间信息的γ₂和β₂，分别与经过批归一化的特征图相乘及相加。此时γ₂和β₂均是具有空间维度的张量而不再是一维的向量，在这个过程中其可以自适应地选择场图和幅值图中的空间信息对网络进行信息补充。因此在之前的卷积及反卷积后可以使用批归一化来增加网络训练的稳定性，而不会存在对比度等信息丢失的问题。

图1为空间自适应网络网络结构图；网络的输入为场图，输出为磁化率图像；图中IB表示Inception模块，SAM表示空间自适应模块，64×64×16表示输入及输出图像块的大小，{1,32,48,64,128,144,256}等数字表示通道数，其余缩写及符号已在图中注明。

搭建空间自适应网络使用的深度学习框架为TensorFlow，批大小为4，γ的值为10^-8，使用ADAM作为优化器，初始学习率设置为10^-4，遍历15次训练数据后学习率调整为10^-5，在一块英伟达GTX 1080Ti显卡上空间自适应网络的训练时间约为10小时。

图2通过MSSIM-epoch、PSNR-epoch曲线显示分别移除本发明方法SAQSM中Inception模块、权值及残差模块对重建结果的影响；结果显示，各个模块的使用均能够在不同程度上提升重建效果。本申请还将空间自适应网络与TKD，SFCR， U-Net在健康人脑数据、病患人脑数据及2019 QSM挑战赛数据上的重建结果进行对比，其中TKD的阈值设置为0.2，SFCR中λ1和λ2设置为50和1，γ1和γ2设置为2000和20，本发明方法标记为SAQSM。

图3为不同方法在健康人脑数据上的磁化率重建结果，图中前两行展示了横断面和冠状面的重建结果及局部放大图，图中的数字表示该图与COSMOS的SSIM 及PSNR值；图中后两行为不同方法结果与COSMOS之间的差值图像；图中箭头标明了有明显差异的区域。从图中箭头所指向的位置可以看出，本发明的方法 SAQSM更加准确的重建的苍白球区域，从差值图及客观评价指标中可以看到，本发明的结果更加接近黄金标准COSMOS。

不同方法在病患人脑数据上的磁化率重建结果如图4所示，为了测试网络的泛化性，深度学习方法均使用健康人脑数据进行训练并且没有经过微调，与其他方法相比，空间自适应网络SAQSM利用了幅值图中的结构信息，从而更准确地显示了病灶区域。

图5为不同方法在2019 QSM挑战赛数据上的结果，挑战赛数据为含有钙化区域的模拟数据，首先使用健康人脑数据进行训练，再使用不含钙化区域的模拟数据对网络进行微调，局部放大图中的黑点为钙化区域，与其他方法相比，的重建结果更加光滑并且更准确地显示了钙化区域。

表1列出了空间自适应网络与其他方法在2019 QSM挑战赛数据上的客观评价指标对比，其中包括整体均方根误差(Root Mean Squared Error,RMSE)，整体去均值均方根误差(demeaned RMSE,dRMSE)，皮层灰质及白质区域的去均值均方根误差(dRMSE in Tissue,dRMSE_T)，静脉血管的去均值均方根误差(dRMSE in Blood,dRMSE_B)，深灰质的去均值均方根误差(dRMSE in Deep gray matter, dRMSE_D)，钙化区域的伪影水平(CalcificationStreak,CS)，钙化区域的磁矩偏差(Deviation from Calcification Moment,DCM)。评价指标的值越小表示重建效果越好，从表1中可以看出，SAQSM在这些评价指标上均取得了有竞争力的结果。

表1：不同方法的客观评价指标对比

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (5)

1.一种基于空间自适应网络的定量磁化率图像重建方法,其特征在于：采用空间自适应网络实现将输入的场图重建为磁化率图像，其包括编码器和解码器；编码器中，首先使用一个卷积核为3×3×3的卷积层将场图映射到特征图，将所得特征图依次通过3组Inception模块,将每组Inception模块的输出级联，并且在通道维度上乘以一个可训练的权值进行特征选择，再输入到多尺度编码层编码；解码器中，在每次上采样前使用空间自适应模块，该空间自适应模块包括空间自适应归一化和残差模块，空间自适应归一化为自适应地从场图和幅值图中提取信息对网络进行信息补充，残差模块通过批归一化对学习到的残差进行拉伸来增强纹理；

所述空间自适应模块还包括卷积核为3×3×3的卷积和激活函数RELU；使用3×3×3的卷积对输入到空间自适应模块的特征图进行解码，再将解码后的特征图进行空间自适应归一化处理；空间自适应归一化处理中，首先对经过3×3×3的卷积后的特征图进行批归一化：

其中M为输入特征图的批大小，x为输入特征图即x＝{x¹,x²,…x^M}，μ和σ²分别为x的均值及方差，∈为机器零以防止0值的出现，γ₁和β₁为一维的可训练变量对标准化后的数据进行缩放和平移，其维度与x的通道数相同，批归一化的输出为

然后再使用含有场图与幅值图空间信息的可训练变量γ₂和β₂分别与y_BN相乘与相加得到空间自适应归一化的输出y：

y＝γ₂y_BN+β₂

其中可训练变量γ₂和β₂由场图与幅值图映射而来，γ₂和β₂的尺寸与y_BN相同；

所述空间自适应网络的总损失函数包括均方误差L_mse(w)和梯度损失L_gdl(w)：

其中Y为标签图像，

为网络的输出图像，

和

为使用[-1,1]梯度算子分别在Y和

的x、y、z方向进行卷积运算得到梯度分量；训练空间自适应网络的总损失函数为：

L_total(w)＝w₁L_mse(W)+w₂L_gdl(w)

其中w₁和w₂为平衡两部分损失的权值。

2.如权利要求1所述的一种基于空间自适应网络的定量磁化率图像重建方法,其特征在于：所述Inception模块包括3个支路，一支路的卷积核为1×1×1的卷积、一支路的卷积核为3×3×3的卷积，另一支路包含两组卷积核为3×3×3的卷积，每个卷积层后均连接批归一化层及激活函数RELU。

3.如权利要求1所述的一种基于空间自适应网络的定量磁化率图像重建方法,其特征在于：所述可训练的权值为一维的可训练变量，将其与3组Inception模块级联后的特征图相乘，通过调整权值确定该特征图的重要程度；然后使用卷积核为1×1×1的卷积对经过特征选择的特征图进行降维，再将所得特征图送入多尺度编码层中编码。

4.如权利要求1所述的一种基于空间自适应网络的定量磁化率图像重建方法,其特征在于：多尺度编码层为传统U-Net的编码器部分，包括10个卷积层，其中3个卷积层的步长为2，以实现下采样，每个卷积层后均连接批归一化层及激活函数RELU。

5.如权利要求1所述的一种基于空间自适应网络的定量磁化率图像重建方法,其特征在于：空间自适应归一化中的可训练变量γ₂和β₂通过场图与幅值图映射得到；首先，使用不同次数的平均池化操作改变场图和幅值图的分辨率，再通过卷积核为3×3×3的卷积将场图和幅值图分别映射到特征图空间，使用可训练的权值进行特征选择及卷积核为1×1×1的卷积进行降维，每个卷积层后连接激活函数RELU，最后使用卷积核为3×3×3卷积从降维后的特征图中分别映射出具有场图和幅值图空间信息的γ₂和β₂。

Images