CN111123183A - 基于复数R2U_Net网络的快速磁共振成像方法 - Google Patents

基于复数R2U_Net网络的快速磁共振成像方法 Download PDF

Info

Publication number
CN111123183A
CN111123183A CN201911380988.8A CN201911380988A CN111123183A CN 111123183 A CN111123183 A CN 111123183A CN 201911380988 A CN201911380988 A CN 201911380988A CN 111123183 A CN111123183 A CN 111123183A
Authority
CN
China
Prior art keywords
complex
net
data
neural network
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911380988.8A
Other languages
English (en)
Other versions
CN111123183B (zh
Inventor
史雄丽
施伟成
王春林
金朝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911380988.8A priority Critical patent/CN111123183B/zh
Publication of CN111123183A publication Critical patent/CN111123183A/zh
Application granted granted Critical
Publication of CN111123183B publication Critical patent/CN111123183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了基于复数R2U_Net卷积神经网络的快速磁共振成像方法，本发明包括训练数据的准备、基于复数R2U_Net卷积神经网络的训练、基于复数R2U_Net卷积神经网络的图像重建三个步骤。采用本发明方法，通过构建复数卷积模块代替U_Net网络中的实数卷积模块，并加入复数批标准化、复数激活和复数递归残差卷积神经网络模块，构建了全部模块都基于复数的递归残差卷积神经网络。基于复数R2U_Net卷积神经网络的重建图像不仅可重建磁共振的幅值图像，还可重建出相位图像。此外，采用复数R2U_Net卷积神经网络训练时，能恢复出更多图像的高频信息。

Description

基于复数R2U_Net网络的快速磁共振成像方法
技术领域
本发明属于磁共振成像领域，涉及一种基于复数R2U_Net网络的快速磁共振成像方法。
背景技术
磁共振成像(Magnetic Resonance Imaging，MRI)因其具有高的空间分辨率和软组织对比度、且无辐射损伤、可任意方位断层扫描等优点，已经成为一项有效的临床诊断辅助手段。但MRI在实际应用中，面临着成像速度慢以及容易产生运动伪影等缺点，导致磁共振成像在实际临床中适用范围受到限制，因此如何快速磁共振成像成为MRI领域的热点研究之一。
近几年来，随着GPU(Graphic Processing Unit)硬件计算性能的提高，研究工作者开始将基于卷积神经网络的深度学习方法应用于磁共振成像领域，取得了较高的成效。但目前基于卷积神经网络的快速MRI成像方法主要是针对实数展开训练，重建的图像只能保留幅值信息，相位信息全部丢失了。MRI采集的k空间数据是复数，经过常规的傅里叶重建，得到的也是复数数据，因此既有幅值信息，也有相位信息。在一些MRI的应用中，相位可用于获取有关磁化率、血流或化学移位的信息，相位在磁敏感加权成像等多个应用中有着重要作用。因此研究基于复数卷积神经网络的快速MRI成像能满足更多的临床需求。
目前已申请的基于复数卷积神经网络的快速磁共振成像方面的专利有：
基于深度卷积神经网络的磁共振成像方法(申请号：CN201811388227.2)，提出通过深度卷积神经网络在k空间进行训练，将复数值分为实部和虚部，分别作为实数图像进行训练。一种基于深度先验学习的头颈联合成像方法和装置(申请号：CN201811525187.1)提供一种基于复数残差神经网络和先验学习的头颈联合成像方法，解决了现有的头颈联合成像中所存在的无法同时保证成像精度和成像时间需求的问题。
国内外已发表的基于复数卷积神经网络深度学习的快速磁共振成像方面的文章有：
Dedmari MA等人提出将膝盖部位的复数磁共振图像放入卷积神经网络中进行训练(Dedmari M A，Conjeti S，Estrada S，et a1.Complex fully convolutional neuralnetworks for MR image reconstruction[C].International workshop on machinelearning for medical image reconstruction.springer，cham，2018：30-38.)。Lee D等人提出利用残差学习网络分别训练幅度和相位的网络(Lee D，Yoo J，Tak S，et al.Deepresidual learning for accelerated MRI using magnitude and phase networks[J].IEEE Transactions on Biomedical Engineering，2018，65(9)：1985-1995.)。Zeng W等人提出基于CNN和数据一致性层紧密连接的网络，从而利用了数据一致性，MR重建质量优于当前的级联网络(Zeng W，Peng J，Wang S，et al.A comparative study of CNN-basedsuper-resolution methods in MRI reconstruction and its beyond[J].SignalProcessing：Image Communication，2019.)。Wang S等人提出一种多通道图像重建方法，利用残差复数卷积神经网络加速并行MRI成像(Wang S，Cheng H，Ying L，et al.Deepcomplex MRI：exploiting deep residual network for fast parallel MR imagingwith complex convolution[J].Arxiv Preprint Arxiv：1906.04359，2019.)。
以上发表的基于复数卷积神经网络方面的文章或专利主要是将实部和虚部分别作为实数进入网络进行训练(实部和虚部都是基于实数卷积)，或者基于残差卷积神经网络和密集连接网络进行训练成像，没有出现过任何将基于复数卷积和递归残差U_Net网络结合在一起的专利或文章。
发明内容
本发明针对现有的实数卷积神经网络在磁共振快速成像方法中只能训练实数数据的缺点，提出基于复数R2U_Net网络的快速磁共振成像方法，通过构建复数卷积模块代替U_Net网络中的实数卷积模块，并加入复数批标准化、复数激活和复数递归残差卷积神经网络模块，构建了全部模块都基于复数的递归残差卷积神经网络。复数残差模块用于解决深层网络的训练问题，复数递归模块能够保证增加网络层数的同时控制参数数量。基于复数R2U_Net卷积神经网络的重建图像不仅可重建磁共振的幅值图像，还可重建出相位图像。此外，采用复数R2U Net卷积神经网络训练时，能恢复出更多图像的高频信息。
本发明包含三个步骤：训练数据准备、基于复数R2U_Net卷积神经网络模型的训练、基于复数R2U_Net卷积神经网络的磁共振图像重建。
步骤1：训练数据准备
训练数据的准备包含2个步骤：数据欠采样、填零重建。
步骤1-1：数据欠采样
全采样的k空间数据用Sk(xk，yk)表示，其中，xk表示k空间频率编码FE(FrequencyEncoding)方向的位置，yk表示在相位编码PE(Phase Encoding)方向的位置，经过离散傅里叶反变换得到参考全采样图像Iref(x，y)：
Iref(x，y)＝IDFT(Sk(xk，yk)) [1]
对k空间数据进行模拟欠采样，欠采样模式选择规则欠采样，即在k空间的PE方向每隔N行采集一行数据，其中N为大于1的整数，在k空间PE方向中心区域全采集，采集全部行数的4％；在FE方向的数据都为全采集，用Su(xk，yk)表示采集到的欠样k空间数据；用欠采样模板mask与全采样k空间数据矩阵Sk(xk，yk)进行点乘的方式获取模拟欠采样数据，用公式表示为：
Su(xk，yk)＝Sk(xk，yk).*mask(xk，yk) [2]其中，.*表示点乘，欠采样模板mask矩阵大小和全采样k空间矩阵一样，即模板mask中的每一个点mask(xk，yk)对应矩阵Sk(xk，yk)中的每一个点，需采集k空间对应的点，则模板mask矩阵中的值表示为1，反之不采则表示为0：
Figure BDA0002342233620000031
步骤1-2：填零重建
对于欠采样数据Su(xk，yk)，进行离散傅里叶反变换，得到填零重建图像，用Iu(x，y)表示：
Iu(x，y)＝IDFT(Su(xk，yk)) [4]
Iref(x，y)是全采样图像，Iu(x，y)是欠采样图像，Iref(x，y)和Iu(x，y)组成训练数据对用来训练网络。
步骤2：基于复数R2U_Net卷积神经网络模型的训练
复数R2U_Net网络训练包含2个步骤：复数R2U_Net卷积神经网络的构建和训练。
步骤2-1：复数R2U_Net卷积神经网络构建
复数R2U_Net卷积神经网络构建包含2个步骤：复数U_Net卷积神经网络、复数递归残差模块。
步骤2-1-1：复数U_Net卷积神经网络
复数U_Net卷积神经网络中包括四层复数降采样和四层复数升采样。每个复数降采样层包括复数卷积、复数批标准化、复数激活函数和复数池化，每个复数升采样层包括复数卷积、复数批标准化、复数激活函数和复数上采样，在复数升采样中，每层的复数上采样输出和上采样输出层同层的递归残差模块输出进行合并，再依次经过复数卷积、复数批标准化、复数激活函数得到复数升采样层的输出。
复数卷积公式如下：
Figure BDA0002342233620000041
Figure BDA0002342233620000042
其中，*表示卷积操作；复数卷积层的卷积核为
Figure BDA0002342233620000043
其中
Figure BDA0002342233620000044
是一个复数矩阵，WR和WI是实数矩阵；复数数据的输入特征为Cn-1＝a+ib，其中a和b是实数矩阵；Cn是经过卷积之后的第n层输出。其中第一层n＝1时的Cn-1＝C0＝Iu(x，y)。
复数批标准化公式如下：
Figure BDA0002342233620000045
Figure BDA0002342233620000046
Figure BDA0002342233620000047
Figure BDA0002342233620000048
其中，
Figure BDA0002342233620000049
是计算中间值；N是复数批标准化输出；V是协方差矩阵，Vri＝Vir，初始化为0，Vrr和Vii初始化为
Figure BDA00023422336200000410
移位参数β为复数，其实部和虚部记为R{β}，I{β}均初始化为0；γ是缩放参数矩阵，γrr和γii初始为
Figure BDA00023422336200000411
γri初始化为0。
复数激活公式如下：
Figure BDA0002342233620000051
其中，θN是N的相位；
Figure BDA0002342233620000057
是一个可学习参数；M是复数激活函数的输出。
步骤2-1-2：复数递归残差模块
复数递归残差模块包含2个递归计算和1个残差计算，递归计算由卷积模块组成，每个卷积模块包含复数卷积、复数批标准化、复数激活函数三个单元，复数递归计算公式如下：
Figure BDA0002342233620000052
Figure BDA0002342233620000053
其中，Ct+n是递归单元的输出，t表示递归次数。
残差计算公式如下：
Figure BDA0002342233620000054
Cn+1＝modReLU(yn) [9-2]其中，Cn和Cn+1分别是残差单元的输入和输出，F表示残差，h(Cn)表示输入Cn的恒等映射，yn表示残差和恒等映射的和。
步骤2-2：复数R2U_Net卷积神经网络训练
复数R2U_Net网络训练包含3个步骤：复数损失函数、计算循环的判断条件、循环迭代。
步骤2-2-1：复数损失函数
选取改进的复数均方误差函数作为反向传播的损失函数，通过损失函数计算输出层的损失值loss。对于训练数据集
Figure BDA0002342233620000055
T表示批数据大小，上标i表示批数据中第i个图像，i＝1，2…T，损失值用改进的复数均方误差函数表示：
Figure BDA0002342233620000056
其中R2U_Net表示复数R2U_Net卷积神经网络。
步骤2-2-2：计算循环的判断条件
设循环次数为p，计算损失值和损失阈值的差值DIF作为循环的判断条件：
DIF＝loss-τ [11]其中τ表示损失阈值。
步骤2-2-3：循环迭代
对于训练数据集
Figure BDA0002342233620000061
用Adam算法进行参数优化，可表示为：
Figure BDA0002342233620000062
其中，θt表示优化后的参数；t表示时间步；lr表示学习率，用于控制模型的学习进度，采用多项式衰减方式下降；∈表示防止分母为0的参数；
Figure BDA0002342233620000063
和
Figure BDA0002342233620000064
可用公式表示为：
mt←β1*mt-1+(1-β1)*gt [12-2]
Figure BDA0002342233620000065
vt←β2*vt-1+(1-β2)*gt 2 [12-4]
Figure BDA0002342233620000066
其中，β1表示一阶矩估计的指数衰减率，β2表示二阶矩估计的指数衰减率，mt表示gt的一矩阶估计，vt表示gt的二阶矩估计，
Figure BDA0002342233620000067
表示对mt的校正，
Figure BDA0002342233620000068
表示对vt的校正，gt可用公式表示为：
Figure BDA0002342233620000069
其中，i表示第几张图，θ表示网络参数，
Figure BDA00023422336200000610
表示参数梯度，R2U_Net表示R2U_Net卷积神经网络，Iu(x，y)(i)表示第i张输入图像，Iref(x，y)(i)表示第i张参考全采样图像。
学习率lr的更新可表示为：
Figure BDA00023422336200000611
其中，epoch表示学习轮数，max_epoch表示最大学习轮数，
Figure BDA00023422336200000615
表示指数参数项，
Figure BDA00023422336200000612
当参数θ没有收敛时，循环迭代地更新各个部分；即时间步t加1，更新目标函数在该时间步t上对参数θ求梯度、更新偏差的一阶矩估计gt和二阶原始矩估计vt，再计算偏差修正的一阶矩估计
Figure BDA00023422336200000613
和偏差修正的二阶矩估计
Figure BDA00023422336200000614
然后再用以上计算出来的值更新模型的参数θ。
执行步骤2-2-2，若DIF大于等于0，继续到执行步骤2-2-3，若DIF小于0，或迭代次数达到设定次数p，迭代循环结束；通过网络的反向传播训练网络得到优化的网络参数θ。
步骤3：基于复数R2U_Net卷积神经网络的图像重建
用已训练好的复数R2U_Net卷积神经网络对欠采样测试数据Itest(x，y)进行重建，重建结果用Ioutput(x，y)表示：
Ioutput(x，y)＝R2U_Net(Itest(x，y)，θ) [13]
结果Ioutput(x，y)经过离散傅里叶变换得到k空间数据，用Sp(xk，yk)表示。在k空间，用欠采样数据Su(xk，yk)中实际采集到的数据替换Sp(xk，yk)中对应位置的数据，然后利用离散傅里叶反变换进行图像重建，用Irecon(x，y)表示最终的图像重建结果：
Irecon(x，y)＝IDFT(Su(xk，yk)+Sp(xk，yk)(1-mask(xk，yk))) [14]
采用本发明方法，即基于复数R2U_Net网络的快速磁共振成像方法，通过对大量的复数数据进行训练，可利用训练好的网络参数，快速重建出磁共振的复数图像，既可得到幅值图像，还可重建出相位图像，并且能恢复出更多图像的高频信息，能满足多个快速磁共振成像领域的需求。同时本发明具有以下特点：
1)本发明的残差网络可有效的防止梯度消失，且更容易训练。
2)递归模块则能保证增加深度的同时控制模型参数数量。
3)针对目前在神经网络中应用普遍的SGD算法在损失函数学习过程中的严重震荡问题，本发明采用Adam算法进行优化，使得学习变得平滑，有利于获得更好的优化参数。
4)对学习率采用多项式衰减的方法，更有益于训练，可得到网络最优参数。
附图说明
图1是采用本发明方法的数据采集示意图；
图2是本发明的网络结构图；
图3是复数图像重建实例的幅值对比图和误差图；
图4是复数图像重建实例的相位对比图和误差图；
具体实施方式
本发明包含三个步骤：训练数据准备、基于复数R2U_Net卷积神经网络模型的训练、基于复数R2U_Net卷积神经网络的磁共振图像重建。
步骤1：训练数据准备
训练数据的准备包含2个步骤：数据欠采样、填零重建。
步骤1-1：数据欠采样
如图1(a)所示：全采样的k空间数据用Sk(xk，yk)表示，其中，xk表示k空间频率编码FE(Frequency Encoding)方向的位置，yk表示在相位编码PE(Phase Encoding)方向的位置，经过离散傅里叶反变换得到参考全采样图像Iref(x，y)：
Iref(x，y)＝IDFT(Sk(xk，yk)) [1]
如图1(b)所示：对k空间数据进行模拟欠采样，欠采样模式选择规则欠采样，即在k空间的PE方向每隔N行采集一行数据，其中N为大于1的整数，在k空间PE方向中心区域全采集，采集全部行数的4％；在FE方向的数据都为全采集，用Su(xk，yk)表示采集到的欠样k空间数据。如图1(c)所示：用欠采样模板mask与全采样k空间数据矩阵Sk(xk，yk)进行点乘的方式获取模拟欠采样数据，用公式表示为：
Su(xk，yk)＝Sk(xk，yk).*mask(xk，yk) [2]其中，.*表示点乘，欠采样模板mask矩阵大小和全采样k空间矩阵一样，即模板mask中的每一个点mask(xk，yk)对应矩阵Sk(xk，yk)中的每一个点，需采集k空间对应的点，则模板mask矩阵中的值表示为1，反之不采则表示为0：
Figure BDA0002342233620000081
步骤1-2：填零重建
对于欠采样数据Su(xk，yk)，进行离散傅里叶反变换，得到填零重建图像，用Iu(x，y)表示填零重建图像：
Iu(x，y)＝IDFT(Su(xk，yk)) [4]
Iref(x，y)是全采样图像，Iu(x，y)是欠采样图像，Iref(x，y)和Iu(x，y)组成训练数据对用来训练网络。
步骤2：基于复数R2U_Net卷积神经网络模型的训练
复数R2U_Net网络训练包含2个步骤：复数R2U_Net卷积神经网络的构建和训练。
步骤2-1：复数R2U_Net卷积神经网络构建
复数R2U_Net卷积神经网络构建包含2个步骤：复数U_Net卷积神经网络、复数递归残差模块。
步骤2-1-1：复数U_Net卷积神经网络
如图2所示：复数U_Net卷积神经网络中包括四层复数降采样和四层复数升采样。每个复数降采样层包括复数卷积、复数批标准化、复数激活函数和复数池化，每个复数升采样层包括复数卷积、复数批标准化、复数激活函数和复数上采样，在复数升采样中，每层的复数上采样输出和上采样输出层同层的递归残差模块输出进行合并，再依次经过复数卷积、复数批标准化、复数激活函数得到复数升采样层的输出。
复数卷积公式如下：
Figure BDA0002342233620000091
Figure BDA0002342233620000092
其中，*表示卷积操作；复数卷积层的卷积核为
Figure BDA0002342233620000093
其中
Figure BDA0002342233620000094
是一个复数矩阵，WR和WI是实数矩阵；复数数据的输入特征为Cn-1＝a+ib，其中a和b是实数矩阵；Cn是经过卷积之后的第n层输出。其中第一层n＝1时的Cn-1＝C0＝Iu(x，y)。
复数批标准化公式如下：
Figure BDA0002342233620000095
Figure BDA0002342233620000096
Figure BDA0002342233620000097
Figure BDA0002342233620000098
其中，
Figure BDA0002342233620000099
是计算中间值；N是复数批标准化输出；V是协方差矩阵，Vri＝Vir，初始化为0，Vrr和Vii初始化为
Figure BDA00023422336200000910
移位参数β为复数，其实部和虚部记为R{β}，I{β}均初始化为0；γ是缩放参数矩阵，γrr和γii初始为
Figure BDA0002342233620000101
γri初始化为0。
复数激活公式如下：
Figure BDA0002342233620000102
其中，θN是N的相位；
Figure BDA0002342233620000103
是一个可学习参数；M是复数激活函数的输出。
步骤2-1-2：复数递归残差模块
如图2所示：复数递归残差模块包含2个递归计算和1个残差计算，递归计算由卷积模块组成，每个卷积模块包含复数卷积、复数批标准化、复数激活函数三个单元，复数递归计算公式如下：
Figure BDA0002342233620000104
Figure BDA0002342233620000105
其中，Ct+n是递归单元的输出，t表示递归次数。
残差计算公式如下：
Figure BDA0002342233620000106
Cn+1＝modReLU(yn) [9-2]其中，Cn和Cn+1分别是残差单元的输入和输出，F表示残差，h(Cn)表示输入Cn的恒等映射，yn表示残差和恒等映射的和。
步骤2-2：复数R2U_Net卷积神经网络训练
复数R2U_Net网络训练包含3个步骤：复数损失函数、计算循环的判断条件、循环迭代。
步骤2-2-1：复数损失函数
选取改进的复数均方误差函数作为反向传播的损失函数，通过损失函数计算输出层的损失值loss。对于训练数据集
Figure BDA0002342233620000107
T表示批数据大小，上标i表示批数据中第i个图像，i＝1，2…T，损失值用改进的复数均方误差函数表示：
Figure BDA0002342233620000108
其中R2U_Net表示复数R2U_Net卷积神经网络。
步骤2-2-2：计算循环的判断条件
设循环次数为p，计算损失值和损失阈值的差值DIF作为循环的判断条件：
DIF＝loss-τ [11]其中τ表示损失阈值。
步骤2-2-3：循环迭代
对于训练数据集
Figure BDA0002342233620000111
用Adam算法进行参数优化，可表示为：
Figure BDA0002342233620000112
其中，θt表示优化后的参数；t表示时间步；lr表示学习率，用于控制模型的学习进度，采用多项式衰减方式下降；∈表示防止分母为0的参数；
Figure BDA0002342233620000113
和
Figure BDA0002342233620000114
可用公式表示为：
mt←β1*mt-1+(1-β1)*gt [12-2]
Figure BDA0002342233620000115
vt←β2*vt-1+(1-β2)*gt 2 [12-4]
Figure BDA0002342233620000116
其中，β1表示一阶矩估计的指数衰减率，β2表示二阶矩估计的指数衰减率，mt表示gt的一矩阶估计，vt表示gt的二阶矩估计，
Figure BDA0002342233620000117
表示对mt的校止，
Figure BDA0002342233620000118
表示对vt的校正，gt可用公式表示为：
Figure BDA0002342233620000119
其中，i表示第几张图，θ表示网络参数，
Figure BDA00023422336200001110
表示参数梯度，R2U_Net表示R2U_Net卷积神经网络，Iu(x，y)(i)表示第i张输入图像，Iref(x，y)(i)表示第i张参考全采样图像。
学习率lr的更新可表示为：
Figure BDA00023422336200001111
其中，epoch表示学习轮数，max_epoch表示最大学习轮数，
Figure BDA00023422336200001113
表示指数参数项，
Figure BDA00023422336200001112
当参数θ没有收敛时，循环迭代地更新各个部分；即时间步t加1，更新目标函数在该时间步t上对参数θ求梯度、更新偏差的一阶矩估计gt和二阶原始矩估计vt，再计算偏差修正的一阶矩估计
Figure BDA0002342233620000121
和偏差修正的二阶矩估计
Figure BDA0002342233620000122
然后再用以上计算出来的值更新模型的参数θ。
执行步骤2-2-2，若DIF大于等于0，继续到执行步骤2-2-3，若DIF小于0，或迭代次数达到设定次数p，迭代循环结束；通过网络的反向传播训练网络得到优化的网络参数θ。
步骤3：基于复数R2U_Net卷积神经网络的图像重建
如图2所示：用已训练好的复数R2U_Net卷积神经网络对欠采样测试数据Itest(x，y)进行重建，重建结果用Ioutput(x，y)表示：
Ioutput(x，y)＝R2U_Net(Itest(x，y)，θ) [13]
结果Ioutput(x，y)经过离散傅里叶变换得到k空间数据，用Sp(xk，yk)表示。在k空间，用欠采样数据Su(xk，yk)中实际采集到的数据替换Sp(xk，yk)中对应位置的数据，然后利用离散傅里叶反变换进行图像重建，用Irecon(x，y)表示最终的图像重建结果：
Irecon(x，y)＝IDFT(Su(xk，yk)+Sp(xk，yk)(1-mask(xk，yk))) [14]
以下结合人体头部的MRI数据，对基于复数R2U-Net卷积神经网络快速磁共振成像方法进行实例说明。假设要采集的MRI图像Sref(xk，yk)的矩阵大小为xk×yk＝256×256，将采集到的数据进行傅里叶反变换得到参考图像Iref(x，y)，在k空间的相位编码PE方向随机采集数据得到欠采样k空间数据Su(xk，yk)，共采集了29％的k空间数据。接下来将采集的欠采样数据Su(xk，yk)进行常规的填零傅里叶重建，重建后图像为Iu(x，y)，反复进行欠采样数据的填零重建得到训练集
Figure BDA0002342233620000123
如图1所示，图(a)是全采样的k空间图，图(b)是规则欠采样模板，图(c)是欠采样的k空间图。训练数据一共800个，测试数据是40个，每个数据都是复数，大小为256×256×2，复数的实部和虚部各占一个通道。然后构建复数R2U_Net卷积神经网络，复数R2U_Net卷积神经网络包括四个降采样层和四个升采样层，其中每层降采样包含一个复数递归残差模块和复数池化模块；每层升采样层包含一个复数递归残差模块和复数上采样模块，在升采样中，每层的上采样输出和同层的降采样递归残差计算输出进行合并，再依次经过复数递归残差模块得到升采样层的输出，图2是复数R2U_Net的网络结构图。网络构建好之后，对网络进行训练，当网络训练误差小于损失阈值或者次数达到50次时结束，得到参数优化后的复数R2U_Net卷积神经网络。利用训练好的复数R2U_Net卷积神经网络对欠采样数据进行重建得到输出图像Ioutput(x，y)，然后将图像Ioutput(x，y)进行矫正，即将Ioutput(x，y)经过离散傅里叶变换得到k空间数据Sp(xk，yk)。在k空间中，用欠采样数据Su(xk，yk)替换Sp(xk，yk)中对应位置的数据，然后再利用离散傅里叶反变换进行图像重建，得到最终的图像重建结果Irecon(x，y)。实验中，网络的训练时间约为11小时，重建时间可达到秒级，实验所用显卡型号为Tesla K80，显存11g。
将本发明的重建结果和填零重建及复数U_Net网络进行对比，如图3所示表示各方法重建的磁共振图像的幅值图和对应的误差图，图(a)是全采样幅值图，图(b)是填零重建幅值图，图(c)是复数U_Net网络重建的幅值图，图(d)是本发明复数R2U_Net网络重建的幅值图，图(e)是填零重建图像幅值的误差图，图(f)是复数U_Net网络重建的幅值误差图，图(g)是本发明复数R2U_Net网络重建的幅值误差图。如图4所示表示各方法重建的磁共振图像的相位图和对应的误差图，图(a)是全采样相位图，图(b)是填零重建相位图，图(c)是复数U_Net网络重建的相位图，图(d)是本发明复数R2U_Net网络重建的相位图，图(e)是填零重建图像相位的误差图，图(f)是复数U_Net网络重建的相位误差图，图(g)是本发明复数R2U_Net网络重建的相位误差图。从幅值误差图和相位误差图上都可以直观地看出本发明方法的误差最小。总相对误差(Total Relative Error，TRE)公式如下：
Figure BDA0002342233620000131
通过总相对误差计算，填零重建幅值TRE误差值为312×10-4，复数U_Net网络训练重建幅值图的TRE误差值为45×10-4，本发明复数R2U_Net网络训练重建幅值图的TRE误差值为15×10-4，本发明的TRE误差值是最小的。
可见本发明通过复数R2U_Net卷积神经网络进行MRI快速成像，相比实数卷积神经网络，本发明既保留了磁共振图像的幅值信息，又保留了相位信息，而且相比较于填零重建图像和基于复数U_Net卷积神经网络的重建图像有着更高的重建质量。

Claims (1)

1.基于复数R2U_Net网络的快速磁共振成像方法，其特征在于，该方法具体包括以下步骤：
步骤1：训练数据准备
训练数据的准备包含2个步骤：数据欠采样、填零重建；
步骤1-1：数据欠采样
全采样的k空间数据用Sk(xk,yk)表示，其中，xk表示k空间频率编码FE方向的位置，yk表示在相位编码PE方向的位置，经过离散傅里叶反变换得到参考全采样图像Iref(x,y)：
Iref(x,y)＝IDFT(Sk(xk,yk)) [1]
对k空间数据进行模拟欠采样，欠采样模式选择规则欠采样，即在k空间的PE方向每隔N行采集一行数据，其中N为大于1的整数，在k空间PE方向中心区域全采集，采集全部行数的4％；在FE方向的数据都为全采集，用Su(xk,yk)表示采集到的欠样k空间数据；用欠采样模板mask与全采样k空间数据矩阵Sk(xk,yk)进行点乘的方式获取模拟欠采样数据，用公式表示为：
Su(xk,yk)＝Sk(xk,yk).*mask(xk,yk) [2]
其中，.*表示点乘，欠采样模板mask矩阵大小和全采样k空间矩阵一样，即模板mask中的每一个点mask(xk,yk)对应矩阵Sk(xk,yk)中的每一个点，需采集k空间对应的点，则模板mask矩阵中的值表示为1，反之不采则表示为0：
Figure FDA0002342233610000011
步骤1-2：填零重建
对于欠采样数据Su(xk,yk)，进行离散傅里叶反变换，得到填零重建图像，用Iu(x,y)表示：
Iu(x,y)＝IDFT(Su(xk,yk)) [4]
Iref(x,y)是全采样图像，Iu(x,y)是欠采样图像，Iref(x,y)和Iu(x,y)组成训练数据对用来训练网络；
步骤2：基于复数R2U_Net卷积神经网络模型的训练
复数R2U_Net网络训练包含2个步骤：复数R2U_Net卷积神经网络的构建和训练；
步骤2-1：复数R2U_Net卷积神经网络构建
复数R2U_Net卷积神经网络构建包含2个步骤：复数U_Net卷积神经网络、复数递归残差模块；
步骤2-1-1：复数U_Net卷积神经网络
复数U_Net卷积神经网络中包括四层复数降采样和四层复数升采样；每个复数降采样层包括复数卷积、复数批标准化、复数激活函数和复数池化，每个复数升采样层包括复数卷积、复数批标准化、复数激活函数和复数上采样，在复数升采样中，每层的复数上采样输出和上采样输出层同层的递归残差模块输出进行合并，再依次经过复数卷积、复数批标准化、复数激活函数得到复数升采样层的输出；
复数卷积公式如下：
Figure FDA0002342233610000021
Figure FDA0002342233610000022
其中，*表示卷积操作；复数卷积层的卷积核为
Figure FDA0002342233610000023
其中
Figure FDA0002342233610000024
是一个复数矩阵，WR和WI是实数矩阵；复数数据的输入特征为Cn-1＝a+ib，其中a和b是实数矩阵；Cn是经过卷积之后的第n层输出；其中第一层n＝1时的Cn-1＝C0＝Iu(x,y)；
复数批标准化公式如下：
Figure FDA0002342233610000025
Figure FDA0002342233610000026
Figure FDA0002342233610000027
Figure FDA0002342233610000028
其中，
Figure FDA0002342233610000029
是计算中间值；N是复数批标准化输出；V是协方差矩阵，Vri＝Vir，初始化为0，Vrr和Vii初始化为
Figure FDA00023422336100000210
移位参数β为复数，其实部和虚部记为R{β},I{β}均初始化为0；γ是缩放参数矩阵，γrr和γii初始为
Figure FDA0002342233610000031
γri初始化为0；
复数激活公式如下：
Figure FDA0002342233610000032
其中，θN是N的相位；
Figure FDA0002342233610000033
是一个可学习参数；M是复数激活函数的输出；
步骤2-1-2：复数递归残差模块
复数递归残差模块包含2个递归计算和1个残差计算，递归计算由卷积模块组成，每个卷积模块包含复数卷积、复数批标准化、复数激活函数三个单元，复数递归计算公式如下：
Figure FDA0002342233610000034
Figure FDA0002342233610000035
其中，Ct+n是递归单元的输出，t表示递归次数；
残差计算公式如下：
Figure FDA0002342233610000036
Cn+1＝modReLU(yn) [9-2]
其中，Cn和Cn+1分别是残差单元的输入和输出，F表示残差，h(Cn)表示输入Cn的恒等映射，yn表示残差和恒等映射的和；
步骤2-2：复数R2U_Net卷积神经网络训练
复数R2U_Net网络训练包含3个步骤：复数损失函数、计算循环的判断条件、循环迭代；
步骤2-2-1：复数损失函数
选取改进的复数均方误差函数作为反向传播的损失函数，通过损失函数计算输出层的损失值loss；对于训练数据集
Figure FDA0002342233610000037
T表示批数据大小，上标i表示批数据中第i个图像，i＝1,2…T，损失值用改进的复数均方误差函数表示：
Figure FDA0002342233610000038
其中R2U_Net表示复数R2U_Net卷积神经网络；
步骤2-2-2：计算循环的判断条件
设循环次数为p，计算损失值和损失阈值的差值DIF作为循环的判断条件：
DIF＝loss-τ [11]
其中τ表示损失阈值；
步骤2-2-3：循环迭代
对于训练数据集
Figure FDA0002342233610000041
用Adam算法进行参数优化，可表示为：
Figure FDA0002342233610000042
其中，θt表示优化后的参数；t表示时间步；lr表示学习率，用于控制模型的学习进度，采用多项式衰减方式下降；∈表示防止分母为0的参数；
Figure FDA0002342233610000043
和
Figure FDA0002342233610000044
可用公式表示为：
m＝←β1*mt-1+(1-β1)*gt [12-2]
Figure FDA0002342233610000045
vt←β2*vt-1+(1-β2)*gt 2 [12-4]
Figure FDA0002342233610000046
其中，β1表示一阶矩估计的指数衰减率，β2表示二阶矩估计的指数衰减率，mt表示gt的一矩阶估计，vt表示gt的二阶矩估计，
Figure FDA0002342233610000047
表示对mt的校正，
Figure FDA0002342233610000048
表示对vt的校正，gt可用公式表示为：
Figure FDA0002342233610000049
其中，i表示第几张图，θ表示网络参数，
Figure FDA00023422336100000410
表示参数梯度，R2U_Net表示R2U_Net卷积神经网络，Iu(x,y)(i)表示第i张输入图像，Iref(x,y)(i)表示第i张参考全采样图像；
学习率lr的更新可表示为：
Figure FDA00023422336100000411
其中，epoch表示学习轮数，max_epoch表示最大学习轮数，
Figure FDA00023422336100000412
表示指数参数项，
Figure FDA00023422336100000413
当参数θ没有收敛时，循环迭代地更新各个部分；即时间步t加1，更新目标函数在该时间步t上对参数θ求梯度、更新偏差的一阶矩估计gt和二阶原始矩估计vt，再计算偏差修正的一阶矩估计
Figure FDA0002342233610000051
和偏差修正的二阶矩估计
Figure FDA0002342233610000052
然后再用以上计算出来的值更新模型的参数θ；
执行步骤2-2-2，若DIF大于等于0，继续到执行步骤2-2-3，若DIF小于0，或迭代次数达到设定次数p，迭代循环结束；通过网络的反向传播训练网络得到优化的网络参数θ；
步骤3：基于复数R2U_Net卷积神经网络的图像重建
用已训练好的复数R2U_Net卷积神经网络对欠采样测试数据Itest(x,y)进行重建，重建结果用Ioutput(x,y)表示：
Ioutput(x,y)＝R2U_Net(Itest(x,y),θ) [13]
结果Ioutput(x,y)经过离散傅里叶变换得到k空间数据，用Sp(xk,yk)表示；在k空间，用欠采样数据Su(xk,yk)中实际采集到的数据替换Sp(xk,yk)中对应位置的数据，然后利用离散傅里叶反变换进行图像重建，用Irecon(x,y)表示最终的图像重建结果：
Irecon(x,y)＝IDFT(Su(xk,yk)+Sp(xk,yk)(1-mask(xk,yk))) [14]。
CN201911380988.8A 2019-12-27 2019-12-27 基于复数R2U_Net网络的快速磁共振成像方法 Active CN111123183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911380988.8A CN111123183B (zh) 2019-12-27 2019-12-27 基于复数R2U_Net网络的快速磁共振成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911380988.8A CN111123183B (zh) 2019-12-27 2019-12-27 基于复数R2U_Net网络的快速磁共振成像方法

Publications (2)

Publication Number Publication Date
CN111123183A true CN111123183A (zh) 2020-05-08
CN111123183B CN111123183B (zh) 2022-04-15

Family

ID=70504734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911380988.8A Active CN111123183B (zh) 2019-12-27 2019-12-27 基于复数R2U_Net网络的快速磁共振成像方法

Country Status (1)

Country Link
CN (1) CN111123183B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812569A (zh) * 2020-07-23 2020-10-23 广州互云医院管理有限公司 一种基于深度学习的k空间欠采样轨迹的方法
CN111951344A (zh) * 2020-08-09 2020-11-17 昆明理工大学 一种基于级联并行卷积网络的磁共振图像重建方法
CN112329538A (zh) * 2020-10-10 2021-02-05 杭州电子科技大学 一种基于微波视觉的目标分类方法
CN112435162A (zh) * 2020-11-13 2021-03-02 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN112508957A (zh) * 2020-12-08 2021-03-16 深圳先进技术研究院 图像分割方法和装置、电子设备、机器可读存储介质
CN112734869A (zh) * 2020-12-15 2021-04-30 杭州电子科技大学 基于稀疏复数u型网络的快速磁共振成像方法
CN112748382A (zh) * 2020-12-15 2021-05-04 杭州电子科技大学 基于CUNet伪影定位的SPEED磁共振成像方法
CN112946545A (zh) * 2021-01-28 2021-06-11 杭州电子科技大学 基于PCU-Net网络的快速多通道磁共振成像方法
CN113506258A (zh) * 2021-07-02 2021-10-15 中国科学院精密测量科学与技术创新研究院 多任务复值深度学习的欠采样肺部气体mri重建方法
CN115272510A (zh) * 2022-08-08 2022-11-01 中国科学院精密测量科学与技术创新研究院 基于编码增强复值网络的肺部气体mri重建方法
WO2024113395A1 (zh) * 2022-12-02 2024-06-06 中国科学院深圳先进技术研究院 一种快速磁共振成像方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934419A (zh) * 2017-03-09 2017-07-07 西安电子科技大学 基于复数轮廓波卷积神经网络的极化sar图像分类方法
CN107507148A (zh) * 2017-08-30 2017-12-22 南方医科大学 基于卷积神经网络去除磁共振图像降采样伪影的方法
CN108717717A (zh) * 2018-04-23 2018-10-30 东南大学 基于卷积神经网络和迭代方法相结合的稀疏mri重建的方法
CN109658469A (zh) * 2018-12-13 2019-04-19 深圳先进技术研究院 一种基于深度先验学习的头颈联合成像方法和装置
CN109903259A (zh) * 2019-01-25 2019-06-18 厦门大学 一种基于深度学习的磁共振波谱重建方法
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN110151181A (zh) * 2019-04-16 2019-08-23 杭州电子科技大学 基于递归残差u型网络的快速磁共振成像方法
CN110378167A (zh) * 2019-07-09 2019-10-25 江苏安方电力科技有限公司 一种基于深度学习的条码图像补正算法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934419A (zh) * 2017-03-09 2017-07-07 西安电子科技大学 基于复数轮廓波卷积神经网络的极化sar图像分类方法
CN107507148A (zh) * 2017-08-30 2017-12-22 南方医科大学 基于卷积神经网络去除磁共振图像降采样伪影的方法
CN108717717A (zh) * 2018-04-23 2018-10-30 东南大学 基于卷积神经网络和迭代方法相结合的稀疏mri重建的方法
CN109658469A (zh) * 2018-12-13 2019-04-19 深圳先进技术研究院 一种基于深度先验学习的头颈联合成像方法和装置
CN109903259A (zh) * 2019-01-25 2019-06-18 厦门大学 一种基于深度学习的磁共振波谱重建方法
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN110151181A (zh) * 2019-04-16 2019-08-23 杭州电子科技大学 基于递归残差u型网络的快速磁共振成像方法
CN110378167A (zh) * 2019-07-09 2019-10-25 江苏安方电力科技有限公司 一种基于深度学习的条码图像补正算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MD ZAHANGIR ALOM1*等: "Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation", 《RESEARCH GATE》 *
MD ZAHANGIR ALOM等: "Nuclei Segmentation with Recurrent Residual Convolutional Neural Networks based U-Net (R2U-Net)", 《IEEE XPLORE》 *
王亚东: "基于复数全卷积神经网络的SAR自动目标识别", 《中国优秀博硕士论文全文数据库（硕士）》 *
王钟书等: "基于复数深度网络的SAR图像变化检测", 《第五届高分辨率对地观测学术年会论文集》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812569A (zh) * 2020-07-23 2020-10-23 广州互云医院管理有限公司 一种基于深度学习的k空间欠采样轨迹的方法
CN111951344A (zh) * 2020-08-09 2020-11-17 昆明理工大学 一种基于级联并行卷积网络的磁共振图像重建方法
CN111951344B (zh) * 2020-08-09 2022-08-02 昆明理工大学 一种基于级联并行卷积网络的磁共振图像重建方法
CN112329538B (zh) * 2020-10-10 2024-07-02 杭州电子科技大学 一种基于微波视觉的目标分类方法
CN112329538A (zh) * 2020-10-10 2021-02-05 杭州电子科技大学 一种基于微波视觉的目标分类方法
CN112435162A (zh) * 2020-11-13 2021-03-02 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN112435162B (zh) * 2020-11-13 2024-03-05 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN112508957A (zh) * 2020-12-08 2021-03-16 深圳先进技术研究院 图像分割方法和装置、电子设备、机器可读存储介质
CN112508957B (zh) * 2020-12-08 2023-12-01 深圳先进技术研究院 图像分割方法和装置、电子设备、机器可读存储介质
CN112748382A (zh) * 2020-12-15 2021-05-04 杭州电子科技大学 基于CUNet伪影定位的SPEED磁共振成像方法
CN112734869B (zh) * 2020-12-15 2024-04-26 杭州电子科技大学 基于稀疏复数u型网络的快速磁共振成像方法
CN112734869A (zh) * 2020-12-15 2021-04-30 杭州电子科技大学 基于稀疏复数u型网络的快速磁共振成像方法
CN112946545B (zh) * 2021-01-28 2022-03-18 杭州电子科技大学 基于PCU-Net网络的快速多通道磁共振成像方法
CN112946545A (zh) * 2021-01-28 2021-06-11 杭州电子科技大学 基于PCU-Net网络的快速多通道磁共振成像方法
CN113506258A (zh) * 2021-07-02 2021-10-15 中国科学院精密测量科学与技术创新研究院 多任务复值深度学习的欠采样肺部气体mri重建方法
CN113506258B (zh) * 2021-07-02 2022-06-07 中国科学院精密测量科学与技术创新研究院 多任务复值深度学习的欠采样肺部气体mri重建方法
CN115272510B (zh) * 2022-08-08 2023-09-22 中国科学院精密测量科学与技术创新研究院 基于编码增强复值网络的肺部气体mri重建方法
CN115272510A (zh) * 2022-08-08 2022-11-01 中国科学院精密测量科学与技术创新研究院 基于编码增强复值网络的肺部气体mri重建方法
WO2024113395A1 (zh) * 2022-12-02 2024-06-06 中国科学院深圳先进技术研究院 一种快速磁共振成像方法及装置

Also Published As

Publication number Publication date
CN111123183B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN111123183B (zh) 基于复数R2U_Net网络的快速磁共振成像方法
CN109993809B (zh) 基于残差U-net卷积神经网络的快速磁共振成像方法
CN111028306B (zh) 基于AR2 U-Net神经网络的快速磁共振成像方法
CN110151181B (zh) 基于递归残差u型网络的快速磁共振成像方法
Qin et al. Convolutional recurrent neural networks for dynamic MR image reconstruction
Lee et al. Deep residual learning for accelerated MRI using magnitude and phase networks
CN110148215B (zh) 一种基于平滑约束和局部低秩约束模型的四维磁共振图像重建方法
Hamilton et al. Machine learning for rapid magnetic resonance fingerprinting tissue property quantification
CN109410289B (zh) 一种深度学习的高欠采样超极化气体肺部mri重建方法
Lee et al. Deep artifact learning for compressed sensing and parallel MRI
CN108335339A (zh) 一种基于深度学习和凸集投影的磁共振重建方法
Chen et al. Pyramid convolutional RNN for MRI image reconstruction
CN109360152A (zh) 基于稠密卷积神经网络的三维医学图像超分辨率重建方法
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
CN107576924A (zh) 一种磁共振动态成像方法和装置
CN110264538B (zh) 用于核磁共振图像重建的方法、系统和装置
CN112734869B (zh) 基于稀疏复数u型网络的快速磁共振成像方法
CN111598964B (zh) 一种基于空间自适应网络的定量磁化率图像重建方法
CN114119791A (zh) 一种基于交叉域迭代网络的mri欠采样图像重建方法
Pezzotti et al. An adaptive intelligence algorithm for undersampled knee mri reconstruction: Application to the 2019 fastmri challenge
Lv et al. Parallel imaging with a combination of sensitivity encoding and generative adversarial networks
CN113509165B (zh) 基于CAR2UNet网络的复数快速磁共振成像方法
CN105184755A (zh) 基于自一致性的含联合全变分的并行磁共振成像高质量重构方法
Biswas et al. Model-based free-breathing cardiac MRI reconstruction using deep learned & storm priors: MoDL-storm
CN114299174B (zh) 一种基于深度无监督学习的多回波欠采样重建—水脂分离方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant