CN110151181A - 基于递归残差u型网络的快速磁共振成像方法 - Google Patents
基于递归残差u型网络的快速磁共振成像方法 Download PDFInfo
- Publication number
- CN110151181A CN110151181A CN201910304369.4A CN201910304369A CN110151181A CN 110151181 A CN110151181 A CN 110151181A CN 201910304369 A CN201910304369 A CN 201910304369A CN 110151181 A CN110151181 A CN 110151181A
- Authority
- CN
- China
- Prior art keywords
- network
- data
- indicate
- residual error
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002595 magnetic resonance imaging Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 54
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 14
- 230000017105 transposition Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000001965 increasing effect Effects 0.000 abstract description 8
- 238000004880 explosion Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 24
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 6
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 201000009030 Carcinoma Diseases 0.000 description 1
- 208000019155 Radiation injury Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Abstract
本发明公开了基于递归残差U型网络的快速磁共振成像方法，本发明包含数据处理，模型训练、图像重建三个步骤。采用本发明方法，在U型网络加入递归残差模块，解决网络反向传播带来的梯度爆炸和梯度消失的问题，还能在增加网络层数的同时不增加新的网络参数，重建图像质量提升显著，能恢复出更多的图像细节。
Description
技术领域
本发明属于磁共振成像领域，涉及一种基于递归残差U型网络的快速磁共振成像方法。
背景技术
磁共振成像(Magnetic Resonance Imaging，MRI)技术因其具有较高的软组织分辨率，对人体没有电离辐射损伤等优点在临床应用中非常受欢迎。但是由于MRI的成像速度较慢，成像过程中被检者的生理性运动等往往会造成成像伪影，难以满足实时成像的要求，因此如何加快MRI的成像速度是MRI理论和技术研究的热点之一。减少MRI的k空间数据采集总量是一种有效的加速方法，但是数据采集量的大量减少，会带来图像质量的显著下降，尽管研究者可通过多种重建算法，例如，压缩感知(Compressed Sensing，CS)技术等，提高欠采样图像重建的质量，但是往往需要较长的重建时间，难以满足实时重建的临床需求。
2015年，由于卷积神经网络具有离线训练、快速成像的优点，研究者开始将它应用到快速磁共振成像研究中。卷积神经网络利用大量的数据对网络进行训练，生成参数优化后的卷积神经网络，再将需要重建的欠采样数据利用训练好的网络进行快速高质量重建，已成为这两年MRI快速成像领域的研究热点。
目前已申请的基于卷积神经网络的快速MRI成像方面的专利有：磁共振成像方法和系统(申请号：CN201310633874.6)，基于深度网络模型来估计k空间中已采样点和未采样点之间的映射关系，从而估计出完整的k空间数据来重建磁共振图像；一种基于深度卷积神经网络的快速磁共振成像方法及装置(申请号：CN201580001261.8)，提出基于深度卷积神经网络来实现快速磁共振成像；一种磁共振成像方法及装置(申请号：CN201710236330.4)，提出基于多对比度的欠采和全采MRI图像来训练网络；一种基于卷积神经网络的多对比度磁共振图像重建方法(申请号：CN201711354454.9)，提出利用多对比度MRI图像来训练卷积神经网络；一种磁共振成像方法和系统(申请号：CN201611006925.2)，基于深度学习方法提高CS-MRI图像重建的质量和速度；基于机器学习的并行磁共振成像GRAPPA方法(申请号：CN201210288373.4)，提供一种基于机器学习的并行磁共振成像GRAPPA方法；基于深度卷积网的一维部分傅里叶并行磁共振成像方法(申请号：CN201710416357.1)和一种基于深度学习和凸集投影的磁共振重建方法(申请号：CN201810306848.5)，这两个专利将深度学习方法应用于磁共振并行成像领域。目前已申请的基于U型网络的快速MRI成像方面的专利有：一种基于双通路U型卷积神经网络的医学图像分割方法(申请号：CN201810203917.X)，主要用于医学图像分割。基于深度学习进行薄层磁共振图像重建的方法(申请号：CN201810435306.8)，将厚层磁共振图像用三维U型网络生成薄层磁共振图像，提高了磁共振图像中灰质、白质和全部脑容积的估计准确率。目前已申请的基于递归残差神经网络的快速MRI成像方面的专利有：一种基于增强递归残差网络的磁共振图像超分辨重建方法(申请号：CN201810251558.5)，以反复递归的残差模块为基本单元建立递归残差网络，获得磁共振超分辨重建效果；一种基于递归残差注意力网络的图像超分辨率重建方法(申请号：CN201810600397.6)，加入残差注意力网络和递归网络，增加层数的同时而不增加新的参数提高超分辨率重建的精度。目前还未能查询到任何基于递归残差U型网络的快速磁共振成像方法的授权发明专利或申请。
目前国内外已发表的基于深度学习卷积神经网络的快速磁共振成像方面的文章有：Wang S等人提出基于卷积神经网络进行快速磁共振图像重建(Wang S,etal.Accelerating magnetic resonance imaging via deep learning,in Proc.IEEE13th Int.Conf.Biomedical Imaging,pp.514–517,2016.)。Yu S等人提出基于生成对抗网络的深度学习方法加速CS-MRI重建(Yu S,Dong H,Yang G,et al.Deep de-aliasing forfast compressive sensing MRI.arXiv preprint arXiv:1705.07137,2017.)。Yang Y等人提出在Generic-ADMM-Net网络的非线性转换层中加入广义运算算子构成Complex-ADMM-Net实现图像重建(Yang Y,et al.ADMM-Net:A deep learning approach forcompressive sensing MRI.arXiv:1705.06869v1,2017.)。Lee D等人提出深度伪影学习网络用于CS-MRI并行成像(Lee D,Yoo J,Ye J C.Deep artifact learning for compressedsensing and parallel MRI.arXiv preprint arXiv:1703.01120,2017.)，通过幅值网络和相位网络直接估计混叠伪影，可将欠采样重建的图像减去估计的混叠伪影来获得无混叠图像。Hammernik K等人提出一种深度变分网络并加速基于并行成像的MRI重建(HammernikK et al.Learning a variational network for reconstruction of accelerated MRIdata,Magn.Reson.Med.vol.79,no.6,pp.3055-3071,2017.)。目前已发表的基于U型网络的MRI快速成像方面的文章有：Jin K H等人(JinK H,et al.Deep convolutional neuralnetwork for inverse problems in imaging.IEEE Transactions on ImageProcessing,2017,26(9):4509-4522.)提出基于滤波反投影的深度学习网络结构解决成像中的逆问题，其中的基础网络是U型网络结构。2018年，Yang G等人提出了以U型网络为基础的生成对抗网络DAGAN，用于CS-MRI成像(Yang G,et al.Dagan:Deep de-aliasinggenerative adversarial networks for fast compressed sensing MRIreconstruction.IEEE Transactions on Medical Imaging,2018,37(6):1310-1321.)。Hyun C M等人(Hyun C M,Kim H P,Lee S M,et al.Deep learning for undersampledMRI reconstruction.Physics in medicine and biology,10.1088/1361-6560/aac71a，2018.)为U型网络MRI快速成像提供了数学理论依据。Corey-Zumar将U型网络应用于脑部和前列腺图像重建(https://github.com/Corey-Zumar/MRIReconstruction/tree/master/ sub-mrine)。目前已发表的基于递归残差U型网络的文章有：Md Z A等人使用递归残差U型网络进行视网膜图像中的血管分割、皮肤癌分割和肺病变分割(Md Z A,Mahmudul H,ChrisY.Recurrent Residual Convolutional NeuralNetwork based on U-Net(R2U-Net)forMedical Image Segmentation,arXiv:1802.06955,2018.)。Md Z A等人将R2U-Net首次应用于公开数据集中的核分割，清楚地证明了R2U-Net模型对核分割任务的鲁棒性(Md ZA,Chris Y,Tarek M T,and Vijayan K A.Nuclei Segmentation with RecurrentResidual Convolutional Neural Networks based U-Net(R2U-Net),IEEE NationalAerospace and Electronics Conference,arXiv:1811.03447,2018.)。
以上发表的基于深度学习卷积神经网络的快速MRI成像方面的文章或申请的发明专利，主要是基于卷积神经网络或U型网络的深度学习方法来进行快速MRI成像，或者是基于递归残差卷积神经网络的快速MRI成像，或者是基于递归残差U型网络的医学图像分割，没有出现过任何基于递归残差U型网络的快速MRI成像的专利或文章。
发明内容
本发明针对现有的基于U型网络的快速MRI成像在成像质量上的不足，对现有的U型网络模块进行改进，加入递归残差卷积神经网络模块，在增加U型网络层数的同时不增加新的参数，能在重建时恢复出更多图像的高频信息。
本发明包含三个步骤：数据处理、模型训练、图像重建。
1.数据处理
数据处理包含两个步骤：数据采样、填零重建。
1-1.数据采样
全采样k空间数据为kref(xk,yk)，其中xk表示k空间频率编码(FrequencyEncoding,FE)方向，yk表示相位编码(Phase Encoding,PE)方向。全采样k空间数据kref(xk,yk)由全采样参考图像Iref(x,y)经离散傅里叶变换(DFT)得到。
kref(xk,yk)＝DFT(Iref(x,y)) (1)
对于k空间数据的模拟欠采样，使用1维均匀欠采样模板mask，在PE方向隔n行进行数据采集，在PE方向中心的4％行进行采集，在FE方向全采集。用欠采样模板和全采样k空间数据点乘表示采样过程。
ku(xk,yk)＝mask*kref(xk,yk) (2)
其中，ku(xk,yk)表示欠采样k空间数据；*表示点乘；mask为全采样k空间数据相同大小的矩阵，采集的点用1表示，未采集的点用0表示。
1-2.填零重建
将得到的欠采样k空间数据进行离散傅里叶反变换，生成填零重建图像，即欠采样的图像Iu(x,y)。全采样参考图像Iref(x,y)和欠采样图像Iu(x,y)组成一对训练数据。
2.网络训练
网络训练包含两个步骤：构建网络、训练网络。
2-1.构建网络
构建网络包含2个步骤：U型网络、递归残差模块。
2-1-1.U型网络
U型网络包含降采样和升采样两部分，采样包含卷积(Convolution,Conv)、批标准化(Batch Normalization，BN)、激活函数(Activation Function,AF)、池化(Pooling)、转置卷积(Transposed Convolution)五个基本单元。
卷积公式如下：
Cl＝Wl*Cl-1+bl (4)
其中，Cl表示第l层输出；Wl表示第l层的卷积核，其大小为wh×wh×nl，nl表示通道数，wh×wh表示单通道卷积核尺寸；Cl-1表示第l层输入；bl表示第l层偏置量。
批标准化公式如下：
其中，μ，ρ分别是批数据的均值和方差；T为批数据大小；是批标准化输出；γ、β为经验参数。
激活函数公式如下：
其中，σ为激活函数。
池化公式如下：
C1＝pool(Cl) (10)
其中，pool为池化。
转置卷积公式如下：
Cl＝Wl T*Cl-1+bl (11)
其中，Wl T为转置卷积核。
降采样包含4层，每层包含1个递归残差模块和1个池化模块。
降采样的最后一层输出经过一次递归残差模块处理，得到升采样的输入。
升采样包含4层，每层包含1个转置卷积模块和1个递归残差模块。在升采样中，每层的转置卷积输出Ca会和同层降采样递归残差计算输出Cb进行合并(concat)，得到升采样递归残差模块输入Ccat，合并公式如下：
Ccat＝concat(Ca+Cb) (12)
2-1-2.递归残差模块
递归残差模块包含2个递归(Recurrent)计算和1个残差(Residual)计算，递归计算由卷积模块组成每个卷积模块包含卷积、批标准化和激活函数三个单元，递归计算公式如下：
其中，t表示递归次数；BN表示批标准化；Cls表示残差计算的输出。
残差计算公式如下：
Cl-1＝Wl-2*Cl-2+bl-2 (15)
Cls＝recus(Cl-1) (16)
Clo＝Cl-1+Cls (17)
其中，recus表示递归计算；Clo表示递归残差模块输出。
2-2.网络训练
网络训练包含3个步骤：损失函数、优化算法、循环计算。
2-2-1.损失函数
使用均方根误差函数(Mean Squared Error，MSE)作为反向传播的损失函数，求得输出层的损失值loss。对数据集损失函数计算公式如下：
其中，角标i表示批数据的第i个矩阵；i＝(1,2…T)，RR_Unet表示递归残差U型网络；θ表示训练的网络参数。
2-2-2.优化算法
优化算法使用随机梯度下降法(Stochastic gradient descent，SGD)算法流程如下：
θ←θ-lr×g (20)
其中，g表示第i批数据梯度均值；表示参数梯度；lr表示学习率。
2-2-3.循环计算
以差值dif作为损失值和损失阈值的判断条件：
其中，τ表示损失阈值。
计算差值dif，若差值不小于零，则执行优化算法；若差值小于零，则迭代结束。执行n次循环计算，直到求得最优网络参数θ。
3.图像重建
用训练好的递归残差U型网络对测试图像Itu(x,y)进行在线重建，得到重建预测图像Irecon(x,y)，重建算法如下：
Irecon(x,y)＝RR_Unet(Itu(x,y),θbest) (22)
其中，θbest表示训练好的网络最优参数。
将重建预测图像进行离散傅里叶变换得到k空间预测数据krecon(xk,yk)，用实际采集到的k空间数据ktu(xk,yk)去替换krecon(xk,yk)中相应位置的数据，最后的重建图像用Iout(x,y)表示：
Iout(x,y)＝IDFT(krecon(xk,yk)(1-mask)+ktu(xk,yk)) (23)
其中，1表示与采样mask相同的1矩阵。
本发明采用的递归残差U型网络的快速MRI成像，在降采样和升采样的每一层都使用了递归残差模块，递归残差模块不仅能解决网络反向传播带来的梯度爆炸和梯度消失的问题，还能在增加网络层数的同时不增加新的网络参数，在训练和重建的过程中有更好的细节表现。同时采用随机梯度下降法(SGD)，能加快算法收敛速度，更快训练出较优模型。此外，采用规则欠采样方式进行数据采集，实现方式简单。本发明具有以下特点：
1、在U型网络每个采样层加入递归残差模块，解决网络反向传播带来的梯度爆炸和梯度消失的问题，增加网络层数的同时不增加新的网络参数。
2、在优化器选择上使用了随机梯度下降法，加快算法收敛速度，更快训练出较优模型。
3、在采样中使用1维均匀欠采样，能加快采集速度，更易于硬件实现。
附图说明
图1是采用本发明进行数据采集的示意图；
图2是本发明的网络结构图；
图3是图像重建实例的结果对比图；
具体实施方式
本发明包含三个步骤：数据处理、模型训练、图像重建。
1.数据处理
数据处理包含两个步骤：数据采样、填零重建。
1-1.数据采样
全采样k空间数据为kref(xk,yk)(如图1(a)所示)，其中xk表示k空间频率编码(Frequency Encoding,FE)方向，yk表示相位编码(Phase Encoding,PE)方向。全采样k空间数据kref(xk,yk)由全采样参考图像Iref(x,y)(如图1(b)所示)经离散傅里叶变换(DFT)得到。
kref(xk,yk)＝DFT(Iref(x,y)) (1)
对于k空间数据的模拟欠采样，使用1维均匀欠采样模板mask(如图1(c)所示)，在PE方向隔n行进行数据采集，在PE方向中心的4％行进行采集，在FE方向全采集。用欠采样模板和全采样k空间数据点乘表示采样过程。
ku(xk,yk)＝mask*kref(xk,yk) (2)
其中，ku(xk,yk)表示欠采样k空间数据(如图1(d)所示)；*表示点乘；mask为全采样k空间数据相同大小的矩阵，采集的点用1表示，未采集的点用0表示。
1-2.填零重建
将得到的欠采样k空间数据进行离散傅里叶反变换，生成填零重建图像，即欠采样的图像Iu(x,y)(如图1(e)所示)。全采样参考图像Iref(x,y)和欠采样图像Iu(x,y)组成一对训练数据。
2.网络训练
网络训练包含两个步骤：构建网络、训练网络。
2-1.构建网络
构建网络包含2个步骤：U型网络、递归残差模块。
2-1-1.U型网络
U型网络(如图2所示)包含降采样和升采样两部分，采样包含卷积(Convolution,Conv)、批标准化(Batch Normalization，BN)、激活函数(Activation Function,AF)、池化(Pooling)、转置卷积(Transposed Convolution)五个基本单元。
卷积公式如下：
Cl＝Wl*Cl-1+bl (4)
其中，Cl表示第l层输出；Wl表示第l层的卷积核，其大小为wh×wh×nl，nl表示通道数，wh×wh表示单通道卷积核尺寸；Cl-1表示第l层输入；bl表示第l层偏置量。
批标准化公式如下：
其中，μ，ρ分别是批数据的均值和方差；T为批数据大小；是批标准化输出；γ、β为经验参数。
激活函数公式如下：
其中，σ为激活函数。
池化公式如下：
Cl＝pool(Cl) (10)
其中，pool为池化。
转置卷积公式如下：
Cl＝Wl T*Cl-1+bl (11)
其中，Wl T为转置卷积核。
降采样包含4层，每层包含1个递归残差模块和1个池化模块。
降采样的最后一层输出经过一次递归残差模块处理，得到升采样的输入。
升采样包含4层，每层包含1个转置卷积模块和1个递归残差模块。在升采样中，每层的转置卷积输出Ca会和同层降采样递归残差计算输出Cb进行合并(concat)，得到升采样递归残差模块输入Ccat，合并公式如下：
Ccat＝concat(Ca+Cb) (12)
2-1-2.递归残差模块
递归残差模块包含2个递归(Recurrent)计算和1个残差(Residual)计算(如图2所示)，递归计算由卷积模块组成每个卷积模块包含卷积、批标准化和激活函数三个单元，递归计算公式如下：
其中，t表示递归次数；BN表示批标准化；Cls表示残差计算的输出。
残差计算公式如下：
Cl-1＝Wl-2*Cl-2+bl-2 (15)
Cls＝recus(Cl-1) (16)
Clo＝Cl-1+Cls (17)
其中，recus表示递归计算；Clo表示递归残差模块输出。
2-2.网络训练
网络训练包含3个步骤：损失函数、优化算法、循环计算。
2-2-1.损失函数
使用均方根误差函数(Mean Squared Error，MSE)作为反向传播的损失函数，求得输出层的损失值loss。对数据集损失函数计算公式如下：
其中，角标i表示批数据的第i个矩阵；i＝(1,2…T)，RR_Unet表示递归残差U型网络；θ表示训练的网络参数。
2-2-2.优化算法
优化算法使用随机梯度下降法(Stochastic gradient descent，SGD)算法流程如下：
θ←θ-lr×g (20)
其中，g表示第i批数据梯度均值；表示参数梯度；lr表示学习率。
2-2-3.循环计算
以差值dif作为损失值和损失阈值的判断条件：
其中，τ表示损失阈值。
计算差值dif，若差值不小于零，则执行优化算法；若差值小于零，则迭代结束。执行n次循环计算，直到求得最优网络参数θ。
3.图像重建
用训练好的递归残差U型网络对测试图像Itu(x,y)进行在线重建，得到重建预测图像Irecon(x,y)，重建算法如下：
Irecon(x,y)＝RR_Unet(Itu(x,y),θbest) (22)
其中，θbest表示训练好的网络最优参数。
将重建预测图像进行离散傅里叶变换得到k空间预测数据krecon(xk,yk)，用实际采集到的k空间数据ktu(xk,yk)去替换krecon(xk,yk)中相应位置的数据，最后的重建图像用Iout(x,y)表示：
Iout(x,y)＝IDFT(krecon(xk,yk)(1-mask)+ktu(xk,yk)) (23)
其中，1表示与采样mask相同的1矩阵。
以下结合人体头部的MRI数据，对基于递归残差U型网络快速磁共振成像方法进行实例说明，如图1所示，(a)为全采样k空间数据kref(xk,yk)，经过离散傅里叶变换得到全采样图像，(b)为全采样图像数据Iref(x,y)，(c)为1维均匀欠采样模板mask，采样方式为每隔4行采集一行数据，并采集中间16行主要数据，数据尺度大小均为256*256，对(a)进行欠采样生成欠采样k空间数据，(d)为欠采样k空间数据ku(xk,yk)，(d)经过离散傅里叶变换得到欠采样图像Iu(x,y)，本发明采集3200对图像数据，其中3000对数据用于递归残差U型网络的训练，200对数据用于重建对比。网络结构如图2所示，包含4层降采样，4层升采样和每个采样层的一个递归残差模块。递归残差模块包含1次残差计算和2次递归计算，递归计算的递归次数为2。实验环境为INTEL I5-4460 16G内存,NVIDIA GTX1080 8G显存,Windows10,Python3.6.5,Pytorch1.0.1。基于U型网络训练共2.5小时，重建时间约为1.2秒，基于递归残差U型网络训练共4小时，重建时间约1.6秒。图3显示了各重建方法的结果图，(a)是原始图像，(b)是填零重建图像，(c)是基于U型网络的重建图像，(d)是基于递归残差U型网络的重建图像，(e)、(f)、(g)分别是(b)、(c)、(d)与原始图像(a)的差值图。从图中可以直观的看出填零重建的误差最大，基于U型网络的重建图像(c)能较好的还原出原始图像，基于递归残差U型网络的重建图像(d)能在基于U型网络的基础上进一步提高图像的细节信息，误差更小。总相对误差(total relative error,TRE)公式如下：
填零重建的TRE值为1.6215，基于U型网络的重建TRE值为0.9707，而本发明的重建TRE值为0.5351。
通过本发明可以看出，相同欠采样的条件下，在加入递归残差模块的U型网络能比U型网络在增加网络层数的同时没有增加网络参数。相比U型网络，虽然本专利提出的方法训练时间有所增加，但重建图像质量提升显著，能恢复出更多的图像细节。
Claims (1)
1.基于递归残差U型网络的快速磁共振成像方法，其特征在于，该方法具体包括以下三个步骤：数据处理、模型训练、图像重建；
1.数据处理
数据处理包含两个步骤：数据采样、填零重建；
1-1.数据采样
全采样k空间数据为kref(xk，yk)，其中xk表示k空间频率编码方向，yk表示相位编码方向；全采样k空间数据kref(xk，yk)由全采样参考图像Iref(x，y)经离散傅里叶变换得到；
kref(xk，yk)＝DFT(Iref(x，y)) (1)
对于k空间数据的模拟欠采样，使用1维均匀欠采样模板mask，在PE方向隔n行进行数据采集，在PE方向中心的4％行进行采集，在FE方向全采集；用欠采样模板和全采样k空间数据点乘表示采样过程；
ku(xk，yk)＝mask*kref(xk，yk) (2)
其中，ku(xk，yk)表示欠采样k空间数据；*表示点乘；mask为全采样k空间数据相同大小的矩阵，采集的点用1表示，未采集的点用0表示；
1-2.填零重建
将得到的欠采样k空间数据进行离散傅里叶反变换，生成填零重建图像，即欠采样的图像Iu(x，y)；全采样参考图像Iref(x，y)和欠采样图像Iu(x，y)组成一对训练数据；
2.网络训练
网络训练包含两个步骤：构建网络、训练网络；
2-1.构建网络
构建网络包含2个步骤：U型网络、递归残差模块；
2-1-1.U型网络
U型网络包含降采样和升采样两部分，采样包含卷积、批标准化、激活函数、池化、转置卷积五个基本单元；
卷积公式如下：
Cl＝Wl*Cl-1+bl (4)
其中，Cl表示第l层输出；Wl表示第l层的卷积核，其大小为wh×wh×nl，nl表示通道数，wh×wh表示单通道卷积核尺寸；Cl-1表示第l层输入；bl表示第l层偏置量；
批标准化公式如下：
其中，μ，ρ分别是批数据的均值和方差；T为批数据大小；是批标准化输出；γ、β为经验参数；
激活函数公式如下：
其中，σ为激活函数；
池化公式如下：
Cl＝pool(Cl) (10)
其中，pool为池化；
转置卷积公式如下：
Cl＝W1 T*Cl-1+bl (11)
其中，Wl T为转置卷积核；
降采样包含4层，每层包含1个递归残差模块和1个池化模块；
降采样的最后一层输出经过一次递归残差模块处理，得到升采样的输入；
升采样包含4层，每层包含1个转置卷积模块和1个递归残差模块；在升采样中，每层的转置卷积输出Ca会和同层降采样递归残差计算输出Cb进行合并(concat)，得到升采样递归残差模块输入Ccat，合并公式如下：
Ccat＝concat(Ca+Cb) (12)
2-1-2.递归残差模块
递归残差模块包含2个递归计算和1个残差计算，递归计算由卷积模块组成每个卷积模块包含卷积、批标准化和激活函数三个单元，递归计算公式如下：
其中，t表示递归次数；BN表示批标准化；Cls表示残差计算的输出；
残差计算公式如下：
Cl-1＝Wl-2*Cl-2+bl-2 (15)
Cls＝recus(Cl-1) (16)
Clo＝Cl-1+Cls (17)
其中，recus表示递归计算；Clo表示递归残差模块输出；
2-2.网络训练
网络训练包含3个步骤：损失函数、优化算法、循环计算；
2-2-1.损失函数
使用均方根误差函数作为反向传播的损失函数，求得输出层的损失值loss；对数据集损失函数计算公式如下：
其中，角标i表示批数据的第i个矩阵；i＝(1，2…T)，RR_Unet表示递归残差U型网络；θ表示训练的网络参数；
2-2-2.优化算法
优化算法使用随机梯度下降法算法流程如下：
θ←θ-lr×g (20)
其中，g表示第i批数据梯度均值；表示参数梯度；lr表示学习率；
2-2-3.循环计算
以差值dif作为损失值和损失阈值的判断条件：
其中，τ表示损失阈值；
计算差值dif，若差值不小于零，则执行优化算法；若差值小于零，则迭代结束；执行n次循环计算，直到求得最优网络参数θ；
3.图像重建
用训练好的递归残差U型网络对测试图像Itu(x，y)进行在线重建，得到重建预测图像Irecon(x，y)，重建算法如下：
Irecon(x，y)＝RR_Unet(Itu(x，y)，θbest) (22)
其中，θbest表示训练好的网络最优参数；
将重建预测图像进行离散傅里叶变换得到k空间预测数据krecon(xk，yk)，用实际采集到的k空间数据ktu(xk，yk)去替换krecon(xk，yk)中相应位置的数据，最后的重建图像用Iout(x，y)表示：
Iout(x，y)＝IDFT(krecon(xk，yk)(1-mask)+ktu(xk，yk)) (23)
其中，1表示与采样mask相同的1矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910304369.4A CN110151181B (zh) | 2019-04-16 | 2019-04-16 | 基于递归残差u型网络的快速磁共振成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910304369.4A CN110151181B (zh) | 2019-04-16 | 2019-04-16 | 基于递归残差u型网络的快速磁共振成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110151181A true CN110151181A (zh) | 2019-08-23 |
| CN110151181B CN110151181B (zh) | 2022-07-19 |
Family
ID=67639528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910304369.4A Expired - Fee Related CN110151181B (zh) | 2019-04-16 | 2019-04-16 | 基于递归残差u型网络的快速磁共振成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110151181B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674824A (zh) * | 2019-09-26 | 2020-01-10 | 五邑大学 | 基于R2U-Net的手指静脉分割方法、装置和存储介质 |
| CN110717958A (zh) * | 2019-10-12 | 2020-01-21 | 深圳先进技术研究院 | 一种图像重建方法、装置、设备及介质 |
| CN110992318A (zh) * | 2019-11-19 | 2020-04-10 | 上海交通大学 | 一种基于深度学习的特种金属瑕疵检测系统 |
| CN111123183A (zh) * | 2019-12-27 | 2020-05-08 | 杭州电子科技大学 | 基于复数R2U_Net网络的快速磁共振成像方法 |
| CN111382845A (zh) * | 2020-03-12 | 2020-07-07 | 成都信息工程大学 | 一种基于自注意力机制的模板重建方法 |
| CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
| CN111862122A (zh) * | 2020-07-29 | 2020-10-30 | 南通大学 | 一种基于深度学习的瓦楞纸板堆叠层数计数方法 |
| CN111870245A (zh) * | 2020-07-02 | 2020-11-03 | 西安交通大学 | 一种跨对比度引导的超快速核磁共振成像深度学习方法 |
| CN111899165A (zh) * | 2020-06-16 | 2020-11-06 | 厦门大学 | 一种基于功能模块的多任务图像重建卷积网络模型 |
| CN111951221A (zh) * | 2020-07-13 | 2020-11-17 | 清影医疗科技（深圳）有限公司 | 一种基于深度神经网络的肾小球细胞图像识别方法 |
| CN112164122A (zh) * | 2020-10-30 | 2021-01-01 | 哈尔滨理工大学 | 一种基于深度残差生成对抗网络的快速cs-mri重建方法 |
| CN112419437A (zh) * | 2019-11-29 | 2021-02-26 | 上海联影智能医疗科技有限公司 | 用于重建磁共振图像的系统和方法 |
| CN112946545A (zh) * | 2021-01-28 | 2021-06-11 | 杭州电子科技大学 | 基于PCU-Net网络的快速多通道磁共振成像方法 |
| CN113012050A (zh) * | 2019-12-18 | 2021-06-22 | 武汉Tcl集团工业研究院有限公司 | 一种图像处理方法及装置 |
| CN113177981A (zh) * | 2021-04-29 | 2021-07-27 | 中国科学院自动化研究所 | 双通路颅咽管瘤侵袭性分类及其病灶区域分割系统 |
| CN114154427A (zh) * | 2022-02-08 | 2022-03-08 | 中国石油大学(华东) | 基于深度学习的体积压裂裂缝扩展预测方法和系统 |
| CN114581550A (zh) * | 2021-12-31 | 2022-06-03 | 浙江大学 | 基于跨域网络的磁共振成像降采样和重建方法 |
| CN116128768A (zh) * | 2023-04-17 | 2023-05-16 | 中国石油大学(华东) | 一种带有去噪模块的无监督图像低照度增强方法 |
| CN116843597A (zh) * | 2023-08-30 | 2023-10-03 | 南方科技大学 | 离散点图像快速重建模型方法、装置、终端及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108010100A (zh) * | 2017-12-07 | 2018-05-08 | 厦门大学 | 一种基于残差网络的单扫描磁共振定量t2成像重建方法 |
| CN108828481A (zh) * | 2018-04-24 | 2018-11-16 | 朱高杰 | 一种基于深度学习和数据一致性的磁共振重建方法 |
| CN108830854A (zh) * | 2018-03-22 | 2018-11-16 | 广州多维魔镜高新科技有限公司 | 一种图像分割方法及存储介质 |
| US20190049540A1 (en) * | 2017-08-10 | 2019-02-14 | Siemens Healthcare Gmbh | Image standardization using generative adversarial networks |
| US20190046068A1 (en) * | 2017-08-10 | 2019-02-14 | Siemens Healthcare Gmbh | Protocol independent image processing with adversarial networks |
-
2019
- 2019-04-16 CN CN201910304369.4A patent/CN110151181B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190049540A1 (en) * | 2017-08-10 | 2019-02-14 | Siemens Healthcare Gmbh | Image standardization using generative adversarial networks |
| US20190046068A1 (en) * | 2017-08-10 | 2019-02-14 | Siemens Healthcare Gmbh | Protocol independent image processing with adversarial networks |
| CN108010100A (zh) * | 2017-12-07 | 2018-05-08 | 厦门大学 | 一种基于残差网络的单扫描磁共振定量t2成像重建方法 |
| CN108830854A (zh) * | 2018-03-22 | 2018-11-16 | 广州多维魔镜高新科技有限公司 | 一种图像分割方法及存储介质 |
| CN108828481A (zh) * | 2018-04-24 | 2018-11-16 | 朱高杰 | 一种基于深度学习和数据一致性的磁共振重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| DONGWOOK LEE ET AL: "《Deep residual learning for compressed sensing MRI》", 《2017 IEEE 14TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2017)》 * |
| DONGWOOK LEE ET AL: "Deep Residual Learning for Accelerated MRI Using Magnitude and Phase Networks", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING 》 * |
| MD ZAHANGIR ALOM ET AL: "Recurrent residual U-Net for medical image segmentation", 《JOURNAL OF MEDICAL IMAGING》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674824A (zh) * | 2019-09-26 | 2020-01-10 | 五邑大学 | 基于R2U-Net的手指静脉分割方法、装置和存储介质 |
| CN110717958A (zh) * | 2019-10-12 | 2020-01-21 | 深圳先进技术研究院 | 一种图像重建方法、装置、设备及介质 |
| CN110992318A (zh) * | 2019-11-19 | 2020-04-10 | 上海交通大学 | 一种基于深度学习的特种金属瑕疵检测系统 |
| CN112419437A (zh) * | 2019-11-29 | 2021-02-26 | 上海联影智能医疗科技有限公司 | 用于重建磁共振图像的系统和方法 |
| CN113012050A (zh) * | 2019-12-18 | 2021-06-22 | 武汉Tcl集团工业研究院有限公司 | 一种图像处理方法及装置 |
| CN111123183A (zh) * | 2019-12-27 | 2020-05-08 | 杭州电子科技大学 | 基于复数R2U_Net网络的快速磁共振成像方法 |
| CN111123183B (zh) * | 2019-12-27 | 2022-04-15 | 杭州电子科技大学 | 基于复数R2U_Net网络的快速磁共振成像方法 |
| CN111382845A (zh) * | 2020-03-12 | 2020-07-07 | 成都信息工程大学 | 一种基于自注意力机制的模板重建方法 |
| CN111382845B (zh) * | 2020-03-12 | 2022-09-02 | 成都信息工程大学 | 一种基于自注意力机制的模板重建方法 |
| CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
| CN111696168B (zh) * | 2020-06-13 | 2022-08-23 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
| CN111899165A (zh) * | 2020-06-16 | 2020-11-06 | 厦门大学 | 一种基于功能模块的多任务图像重建卷积网络模型 |
| CN111870245A (zh) * | 2020-07-02 | 2020-11-03 | 西安交通大学 | 一种跨对比度引导的超快速核磁共振成像深度学习方法 |
| CN111870245B (zh) * | 2020-07-02 | 2022-02-11 | 西安交通大学 | 一种跨对比度引导的超快速核磁共振成像深度学习方法 |
| CN111951221B (zh) * | 2020-07-13 | 2023-10-31 | 清影医疗科技（深圳）有限公司 | 一种基于深度神经网络的肾小球细胞图像识别方法 |
| CN111951221A (zh) * | 2020-07-13 | 2020-11-17 | 清影医疗科技（深圳）有限公司 | 一种基于深度神经网络的肾小球细胞图像识别方法 |
| CN111862122A (zh) * | 2020-07-29 | 2020-10-30 | 南通大学 | 一种基于深度学习的瓦楞纸板堆叠层数计数方法 |
| CN112164122A (zh) * | 2020-10-30 | 2021-01-01 | 哈尔滨理工大学 | 一种基于深度残差生成对抗网络的快速cs-mri重建方法 |
| CN112946545B (zh) * | 2021-01-28 | 2022-03-18 | 杭州电子科技大学 | 基于PCU-Net网络的快速多通道磁共振成像方法 |
| CN112946545A (zh) * | 2021-01-28 | 2021-06-11 | 杭州电子科技大学 | 基于PCU-Net网络的快速多通道磁共振成像方法 |
| CN113177981B (zh) * | 2021-04-29 | 2022-10-14 | 中国科学院自动化研究所 | 双通路颅咽管瘤侵袭性分类及其病灶区域分割系统 |
| CN113177981A (zh) * | 2021-04-29 | 2021-07-27 | 中国科学院自动化研究所 | 双通路颅咽管瘤侵袭性分类及其病灶区域分割系统 |
| CN114581550A (zh) * | 2021-12-31 | 2022-06-03 | 浙江大学 | 基于跨域网络的磁共振成像降采样和重建方法 |
| CN114581550B (zh) * | 2021-12-31 | 2023-04-07 | 浙江大学 | 基于跨域网络的磁共振成像降采样和重建方法 |
| CN114154427B (zh) * | 2022-02-08 | 2022-04-19 | 中国石油大学(华东) | 基于深度学习的体积压裂裂缝扩展预测方法和系统 |
| CN114154427A (zh) * | 2022-02-08 | 2022-03-08 | 中国石油大学(华东) | 基于深度学习的体积压裂裂缝扩展预测方法和系统 |
| CN116128768A (zh) * | 2023-04-17 | 2023-05-16 | 中国石油大学(华东) | 一种带有去噪模块的无监督图像低照度增强方法 |
| CN116843597A (zh) * | 2023-08-30 | 2023-10-03 | 南方科技大学 | 离散点图像快速重建模型方法、装置、终端及存储介质 |
| CN116843597B (zh) * | 2023-08-30 | 2023-11-24 | 南方科技大学 | 离散点图像快速重建方法、装置、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110151181B (zh) | 2022-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110151181A (zh) | 基于递归残差u型网络的快速磁共振成像方法 | |
| CN111028306B (zh) | 基于AR2 U-Net神经网络的快速磁共振成像方法 | |
| CN109993809B (zh) | 基于残差U-net卷积神经网络的快速磁共振成像方法 | |
| Pezzotti et al. | An adaptive intelligence algorithm for undersampled knee MRI reconstruction | |
| Sandino et al. | Compressed sensing: From research to clinical practice with deep neural networks: Shortening scan times for magnetic resonance imaging | |
| CN111123183B (zh) | 基于复数R2U_Net网络的快速磁共振成像方法 | |
| Yiasemis et al. | Recurrent variational network: A deep learning inverse problem solver applied to the task of accelerated mri reconstruction | |
| Hamilton et al. | Machine learning for rapid magnetic resonance fingerprinting tissue property quantification | |
| Wu et al. | IREM: high-resolution magnetic resonance image reconstruction via implicit neural representation | |
| Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
| US20210033688A1 (en) | Multi-resolution quantitative susceptibility mapping with magnetic resonance imaging | |
| CN111870245B (zh) | 一种跨对比度引导的超快速核磁共振成像深度学习方法 | |
| Zhang et al. | A deep unrolling network inspired by total variation for compressed sensing MRI | |
| CN113971706B (zh) | 一种快速磁共振智能成像方法 | |
| CN105678822B (zh) | 一种基于Split Bregman迭代的三正则磁共振图像重构方法 | |
| Pezzotti et al. | An adaptive intelligence algorithm for undersampled knee mri reconstruction: Application to the 2019 fastmri challenge | |
| Chen et al. | LIT-Former: Linking in-plane and through-plane transformers for simultaneous CT image denoising and deblurring | |
| Vedula et al. | 3D FLAT: Feasible learned acquisition trajectories for accelerated MRI | |
| CN116725515B (zh) | 一种磁共振快速成像方法 | |
| CN106023124A (zh) | 一种基于先验图像约束的磁共振稀疏重建图像方法 | |
| Hou et al. | PNCS: Pixel-level non-local method based compressed sensing undersampled MRI image reconstruction | |
| Zabihi et al. | SepUnet: depthwise separable convolution integrated U-net for MRI reconstruction | |
| CN113509165B (zh) | 基于CAR2UNet网络的复数快速磁共振成像方法 | |
| CN113838105B (zh) | 基于深度学习的弥散微循环模型驱动参数估计方法、装置及介质 | |
| Qi et al. | Multi-task MR imaging with iterative teacher forcing and re-weighted deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220719 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |