CN111028306A - 基于AR2 U-Net神经网络的快速磁共振成像方法 - Google Patents

基于AR2 U-Net神经网络的快速磁共振成像方法 Download PDF

Info

Publication number
CN111028306A
CN111028306A CN201911077341.8A CN201911077341A CN111028306A CN 111028306 A CN111028306 A CN 111028306A CN 201911077341 A CN201911077341 A CN 201911077341A CN 111028306 A CN111028306 A CN 111028306A
Authority
CN
China
Prior art keywords
neural network
data
net
ar2u
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911077341.8A
Other languages
English (en)
Other versions
CN111028306B (zh
Inventor
吴琛艳
史雄丽
金朝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911077341.8A priority Critical patent/CN111028306B/zh
Publication of CN111028306A publication Critical patent/CN111028306A/zh
Application granted granted Critical
Publication of CN111028306B publication Critical patent/CN111028306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于AR2 U‑Net神经网络的快速磁共振成像方法，对现有的R2U‑Net卷积神经网络加以改进，在R2U‑Net卷积神经网络的基础上，加入了注意门模块，用AG训练的模型隐含地学习抑制输入图像中的不相关区域，同时突出显示对特定任务有用的显着特征，因此AR2 U‑Net卷积神经网络在重建同质量图像的情形下，只需要少量的训练数据。对于优化损失函数在更新中存在摆动幅度过大的问题，本发明采用Adam优化算法来取代常规的SGD优化算法，可进一步加快卷积网络的收敛速度，且能有效防止训练过早结束的问题，对于学习率的处理上，采用多项式衰减策略，使得学习能够平稳下降，且随着轮数的增加下降越快。

Description

基于AR2 U-Net神经网络的快速磁共振成像方法
技术领域
本发明属于磁共振成像领域，涉及一种基于AR2 U-Net卷积神经网络的快速磁共振成像方法。
背景技术
1946年，磁共振成像(Magnetic Resonance Imaging，MRI)原理被两位美国科学家布洛赫和珀塞尔发现。MRI，因其具有较高的软组织分辨率，对人体没有电离辐射损伤等优点，应用范围日益广泛，已成为一项常规医学检查方法。但由于MRI在应用中常存在扫描速度慢的缺点，容易产生运动伪影，且难以满足实时成像的要求，因此如何加快MRI的成像速度是MRI领域的热点之一。
以往研究员通常从三个方面来加速MRI的成像时间，一是提高MRI硬件的性能，但人体的生理效应限制了MRI硬件的磁场强度和磁场梯度的切换率，二是采用并行成像(Parallel Imaging，PI)技术，PI技术受限于线圈敏感度分布的准确测量，三是减少MRI频域空间(k-Space,k空间)的数据采集量，但是数据采集量的大量减少，会带来图像质量的显著下降，尽管研究员可通过多种重建算法提高欠采样图像重建的质量，但是往往需要较长的重建时间，难以满足实时成像的临床需求。
近些年来，卷积神经网络(Convolutional Neural Network，CNN)在医学影像领域中，成了新的研究热点，是一种具有良好前景的MRI快速成像方法。
目前已申请的基于卷积神经网络的MRI快速成像方面的专利有：磁共振成像方法和系统(申请号：CN201310633874.6)，基于深度网络模型来估计k空间中已采样点和未采样点之间的映射关系，从而估计出完整的k空间数据来重建磁共振图像，基于残差U-Net卷积神经网络的快速磁共振成像方法(申请号：CN 201910201305.1)，通过将残差模块加入U-Net卷积神经网络，可解决U-Net卷积神经网络的梯度消失、过拟合及收敛速度慢等问题，提高基于U-Net卷积神经网络的进行快速MRI成像的质量，基于递归残差U型网络的快速磁共振成像方法(申请号：CN201910304369.4)，通过将残差模块加入U-Net卷积神经网络(R2U-Net)，可解决U-Net卷积神经网络的梯度消失、过拟合及收敛速度慢等问题，提高基于U-Net卷积神经网络的进行快速MRI成像的质量，一种基于深度卷积神经网络的快速磁共振成像方法及装置(申请号：CN201580001261.8)，提出基于深度卷积神经网络来实现快速磁共振成像，一种磁共振成像方法及装置(申请号：CN201710236330.4)，提出基于多对比度的欠采和全采MRI图像来训练网络，一种基于卷积神经网络的多对比度磁共振图像重建方法(申请号：CN201711354454.9)，提出利用多对比度MRI图像来训练卷积神经网络，一种磁共振成像方法和系统(申请号：CN201611006925.2)，基于深度学习方法提高CS-MRI图像重建的质量和速度，基于机器学习的并行磁共振成像GRAPPA方法(申请号：CN201210288373.4)，提供一种基于机器学习的并行磁共振成像GRAPPA方法，基于深度卷积网的一维部分傅里叶并行磁共振成像方法(申请号：CN201710416357.1)和一种基于深度学习和凸集投影的磁共振重建方法(申请号：CN201810306848.5)，这两个专利将深度学习方法应用于磁共振并行成像领域，一种基于增强递归残差网络的磁共振图像超分辨重建方法(申请号：CN201810251558.5)，以反复递归的残差模块为基本单元建立递归残差网络，获得磁共振超分辨重建效果。
目前已申请的基于Attention卷积神经网络深度学习专利有：基于BiLSTM-Attention深度神经网络的心搏分类方法(申请号：CN201910095804.7)，主要具有心电信号分类准确、有效对心电信号进行深度学习分类的优点，一种基于Attention机制和卷积神经网络的快速商标图像检索方法(申请号：CN201810750096.1)，用于商标特征提取，对待查询商标图像进行检索，并生成检索结果，一种基于Attention的循环神经网络模型的图分类方法(申请号：CN201810924561.9)，构建循环神经网络，通过循环神经网络的隐含层将机器之前观察过的图的局部信息整合起来，并用来辅助视角移动的决策和进行图分类，一种基于GAN和Self-Attention的图像局部信息迁移方法(申请号：201811368715.7)，具有避免局部迁移与图像全局像素的影响、解决图像局部迁移对整体图像的干扰因素等优点。目前还未能查询到任何基于AR2U-Net卷积神经网络的快速磁共振成像方法的授权发明专利或申请。
国内外已发表的基于卷积神经网络深度学习的快速MRI成像方面的文章有：2016年，Wang S等人提出基于卷积神经网络进行快速磁共振图像重建(Wang S,etal.Accelerating magnetic resonance imaging via deep learning,in Proc.IEEE13th Int.Conf.Biomedical Imaging,pp.514–517,2016.)。Yu S等人提出基于生成对抗网络的深度学习方法加速CS-MRI重建(Yu S,Dong H,Yang G,et al.Deep de-aliasing forfast compressive sensing MRI.arXiv preprint arXiv:1705.07137,2017.)。Yang Y等人提出在Generic-ADMM-Net网络的非线性转换层中加入广义运算算子构成Complex-ADMM-Net实现图像重建(Yang Y,et al.ADMM-Net:A deep learning approach forcompressive sensing MRI.arXiv:1705.06869v1,2017.)。2017年，Lee D等人提出深度伪影学习网络用于CS-MRI并行成像(Lee D,Yoo J,Ye J C.Deep artifact learning forcompressed sensing and parallel MRI.arXiv preprint arXiv:1703.01120,2017.)，通过幅值网络和相位网络直接估计混叠伪影，可将欠采样重建的图像减去估计的混叠伪影来获得无混叠图像。Hammernik K等人提出一种深度变分网络并加速基于并行成像的MRI重建(Hammernik K et al.Learning a variational network for reconstruction ofaccelerated MRI data,Magn.Reson.Med.vol.79,no.6,pp.3055-3071,2017.)。
目前已发表的基于U-Net卷积神经网络的MRI快速成像方面的文章有：Jin K H等人(Jin K H,et al.Deep convolutional neural network for inverse problems inimaging.IEEE Transactions on Image Processing,2017,26(9):4509-4522.)提出基于滤波反投影的深度学习网络结构解决成像中的逆问题，其中的基础网络是U-Net网络结构。2018年，Yang G等人提出了以U-Net神经网络为基础的生成对抗网络DAGAN，用于CS-MRI成像(Yang G,et al.Dagan:Deep de-aliasing generative adversarial networks forfast compressed sensing MRI reconstruction.IEEE Transactions on MedicalImaging,2018,37(6):1310-1321.)。Hyun C M等人(Hyun C M,Kim H P,Lee S M,etal.Deep learning for undersampled MRI reconstruction[J].Physics in medicineand biology,2018.)为U-Net卷积神经网络MRI快速成像提供了数学理论依据。
目前已发表的基于Attention卷积神经网络的方面的文章有：2018年，Ozan Oktay等人提出了一种新的医学图像注意门(attention gate)模型，该模型能自动学习聚焦不同形状和大小的目标结构(Ozan Oktay,Jo Schlemper,Loic Le Folgoc,Matthew Lee,Mattias Heinrich,et al.Attention U-Net:Learning Where to Look for thePancreas[J].arXiv:1804.03999v1,2017.)。2019年，Man Yuan等人引入了一种新型的广域注意力单元(WRAU)，并将其整合到一个密集连接的U-Net架构中(Man Yuan,Liu Zhi,WangFan,et al.Using the wide-range attention U-Net for road segmentation[J].Remote Sensing Letters.2019.)。2018年，Sheng Lian等人提出了一个attention引导的虹膜分割模型(Sheng Lian Zhiming Luo Zhun Zhong Xiang Lin Songzhi Su ShaoziLi,et al.Attention guided U-Net for accurate iris segmentation[J].Journal ofVisual Communication and Image Representation,2018。
以上发表的基于卷积神经网络深度学习的快速MRI成像方面的文章或申请的发明专利，主要是基于一般的U-Net卷积神经网络深度学习方法来进行MRI快速成像或者是基于残差或者基于递归残差卷积神经网络(R2U-Net)的MRI快速成像。以上发表的基于卷积神经网络深度学习方面的快速MRI成像方面的文章或申请的发明专利，主要是基于一般的U-Net卷积神经网络深度学习方法来进行MRI快速成像或者是基于残差或者基于递归残差卷积神经网络(R2U-Net)的MRI快速成像；以上发表的基于attention的发明专利或文章主要是用于图像分类和分割的，没有出现过任何将attention与U-Net卷积神经网络相结合，并应用于MRI图像重建方面的专利或文章。
发明内容
本发明针对现有R2U-Net卷积神经网络在磁共振快速成像方法上的不足，对现有的R2U-Net卷积神经网络加以改进，在R2U-Net卷积神经网络的基础上，加入了注意门(Attention Gates，AG)模块，用AG训练的模型隐含地学习抑制输入图像中的不相关区域，同时突出显示对特定任务有用的显着特征，因此AR2 U-Net卷积神经网络在重建同质量图像的情形下，只需要少量的训练数据(比R2U-Net卷积神经网络少500张训练图片)。对于优化损失函数在更新中存在摆动幅度过大的问题，本发明采用Adam(Adaptive MomentEstimation)优化算法来取代常规的SGD(Stochastic Gradient Descent)优化算法，可进一步加快卷积网络的收敛速度，且能有效防止训练过早结束的问题，对于学习率的处理上，采用多项式衰减策略，使得学习能够平稳下降，且随着轮数的增加下降越快。
本发明包含三个步骤：训练数据准备、基于AR2 U-Net卷积神经网络模型的训练、基于AR2 U-Net卷积神经网络的图像重建。
步骤1：训练数据的准备
训练数据的准备包含2个步骤：全采样数据、填零重建。
步骤1-1：全采样数据
全采样的k空间数据用Sk(xk,yk)表示，其中，xk表示k空间频率编码FE(FrequencyEncoding)方向的位置，yk表示在相位编码PE(Phase Encoding)方向的位置，经过离散傅立叶反变换(IDFT)得到参考全采样图像Iref(x,y)：
Iref(x,y)＝IDFT(Sk(xk,yk)) [1]
对k空间数据进行模拟欠采样，在k空间的PE方向，每隔N(N为大于1的整数)行采集一行数据，实现两边均匀采集，而在k空间PE方向中心区域全采集，概率为全部行数的4％，在FE方向的数据都为全采集，用Su(xk,yk)表示采集到的欠采样k空间数据。用欠采样模板mask与全采样k空间数据矩阵Sk(xk,yk)进行点乘的方式获取模拟欠采样数据，可用公式表示为：
Su(xk,yk)＝Sk(xk,yk).*mask(xk,yk) [2]
其中，欠采样模板mask矩阵大小和全采样k空间矩阵一样，即模板mask中的每一个点mask(xk,yk)对应矩阵Sk(xk,yk)中的每一个点，若需要采集k空间对应的点，则模板mask矩阵中的值表示为1，反之则表示为0：
Figure BDA0002262887940000051
步骤1-2：填零重建
对于欠采样数据Su(xk,yk)，进行傅里叶反变换，得到填零重建图像，用Iu(x,y)表示：
Iu(x,y)＝IDFT(Su(xk,yk)) [4]
到这里，就得到了一对训练数据，即全采样图像数据Iref(x,y)和欠采样图像数据Iu(x,y)。
步骤2：基于AR2 U-Net卷积神经网络模型的训练
此网络训练包含2个步骤：AR2 U-Net卷积神经网络的构建和卷积神经网络的训练。
步骤2-1：AR2 U-Net卷积神经网络构建
AR2 U-Net卷积神经网络构建包含3个步骤：U-Net卷积神经网络、R2(递归残差)模块、AG模块。
步骤2-1-1：U-Net卷积神经网络
U-Net卷积神经网络包含收缩路径(contracting path)，即下采样和扩展路径(expanding path)，即上采样，两条路径相互对称。收缩路径主要是用来捕捉图片中的上下文信息(context information)，而与之相对称的扩展路径则是为了对图片中所需要分割出来的部分进行精准定位(localization)。U-Net卷积神经网络卷积层包括卷积(Conv)、批标准化(Batch Normalization，BN)和激活(Activation)三步操作。
其中卷积公式如下：
Figure BDA0002262887940000061
其中，*表示卷积，
Figure BDA0002262887940000062
表示卷积核，其大小为s×kn×kn×mn，s表示第n-1层特征子图数量，kn表示第n层滤波器的大小，mn表示第n层滤波器的数量，
Figure BDA0002262887940000063
表示第n层的偏置量，Cn表示经过卷积后的第n层输出，Cn-1表示第n-1层特征图。
其中批标准化公式如下：
Figure BDA0002262887940000064
Figure BDA0002262887940000065
其中BN表示批标准化，μ是批数据均值，T为批数据大小，
Figure BDA0002262887940000066
是标准化输出，γ、β为经验参数
Figure BDA00022628879400000614
是中间计算值。
其中激活公式如下：
Figure BDA0002262887940000067
其中，σ为激活函数,
Figure BDA0002262887940000068
表示为激活输出。
步骤2-1-2：R2(递归残差)模块
递归残差模块包含2个递归(Recurrent)计算和1个残差(Residual)计算，递归计算由卷积模块组成,每个卷积模块包含卷积、批标准化和激活函数三个单元，递归计算公式如下：
Figure BDA0002262887940000069
Figure BDA00022628879400000610
其中，
Figure BDA00022628879400000611
是第n个残差单元的输出，t表示递归次数。
残差计算公式如下：
Figure BDA00022628879400000612
Figure BDA00022628879400000613
Figure BDA0002262887940000071
和
Figure BDA0002262887940000072
分别是第n个残差单元的输入和输出，每个残差单元都重复公式[9-1]、[9-2]两次，F表示残差，
Figure BDA0002262887940000073
表示输入
Figure BDA0002262887940000074
的恒等映射，
Figure BDA0002262887940000075
表示残差和恒等映射的和。
步骤2-1-3：AG模块
在U-Net网络解码时，在对编码每个分辨率上的特征与解码中对应特征进行拼接之前，使用了一个AG模块，重新调整了编码的输出特征。AG模块生成一个门控信号，用来控制不同空间位置处特征，从编码部分提取的部分不是直接用于解码，而是加入了AG模块再进行解码，即对上采样后的特征图和同层下采样层的上一层的特征图进行了AG模块处理后再合并。
其公式如下：
Figure BDA0002262887940000076
其中，n表示第几层，i表示像素空间，
Figure BDA0002262887940000077
表示为通道1*1*1卷积计算线性变换，σ1表示为Relu激活函数，σ2表示为Sigmoid激活函数，Conv1表示为1*1*1卷积，bg和
Figure BDA0002262887940000078
表示为偏置项，θatt表示为参数，最终得到Attention系数
Figure BDA0002262887940000079
σ1表示为Relu激活函数，是为了克服梯度消失的问题加快训练速度，其公式如下：
f(x)＝max(0,x) [11-1]
其中x表示输入值，f(x)表示最大值输出，max表示最大值。
σ2表示为Sigmoid激活函数，其公式如下：
f(x)＝1/(1+e-x) [11-2]
其中x表示输入值，f(x)表示输出。
2-2：网络训练
网络训练包含3个步骤：损失函数、循环条件、循环迭代。
2-2-1：损失函数
选取均方误差(Mean Squared Error，MSE)函数作为反向传播的损失函数，通过损失函数计算输出层的损失值loss。对于训练数据集
Figure BDA00022628879400000710
T表示批数据大小，上标i表示批数据中第i个图像，i＝(1,2…T)，损失值用均方误差函数表示：
Figure BDA0002262887940000081
其中AR2Unet表示AR2 U-Net卷积神经网络，θ表示网络参数。
2-2-2：循环条件
设循环次数为n，计算损失值和损失阈值的差值DIF作为循环的判断条件：
DIF＝loss-τ [13]
其中τ表示损失阈值。
2-2-3：循环迭代
对于训练数据集
Figure BDA0002262887940000082
使用Adam算法进行参数优化，流程如下：
Figure BDA0002262887940000083
Figure BDA0002262887940000084
Figure BDA0002262887940000085
Figure BDA0002262887940000086
Figure BDA0002262887940000087
其中θt表示优化后的参数，t表示时间步，i表示第几张图，θ表示网络参数，
Figure BDA0002262887940000088
表示参数梯度，AR2Unet表示AR2 U-Net卷积神经网络，Iu(x,y)(i)表示第i张输入图像，Iref(x,y)(i)表示第i张参考全采样图像，β1表示一阶矩估计的指数衰减率(如0.9)，β2表示二阶矩估计的指数衰减率(如0.999)，mt表示gt的一矩阶估计，vt表示gt的二阶矩估计，
Figure BDA0002262887940000089
表示对β1的校正，
Figure BDA00022628879400000810
表示对β2的校正，lr表示学习率,用于控制模型的学习进度,采用多项式衰减方式下降,epoch表示学习轮数，max_epoc表示最大学习轮数，
Figure BDA00022628879400000811
表示指数参数项
Figure BDA00022628879400000812
学习率大则学习速度快，反之则慢，但学习率过大或者过小都不利于数据的训练，快刚开始训练时，学习率以0.01～0.001为宜，一定轮数过后学习率逐渐减缓，接近训练结束时，学习速率的衰减应该在100倍以上。∈表示防止分母为0的参数。当参数θ没有收敛时，循环迭代地更新各个部分。即时间步t加1,更新目标函数在该时间步上对参数θ所求的梯度、更新偏差的一阶矩估计和二阶原始矩估计，再计算偏差修正的一阶矩估计和偏差修正的二阶矩估计，然后再用以上计算出来的值更新模型的参数θ。
执行步骤2-2-2，若DIF大于等于0，继续到执行步骤2-2-3，若DIF小于0，或迭代次数达到设定次数n，迭代循环结束。通过网络的反向传播训练网络得到优化的网络参数θ。
步骤3：基于AR2 U-Net卷积神经网络的图像重建。
用已训练好的AR2 U-Net卷积神经网络对欠采样测试数据Itest(x,y)进行重建，重建结果用Ioutput(x,y)表示：
Ioutput(x,y)＝AR2Unet(Itest(x,y),θ) [15]
结果Ioutput(x,y)经过离散傅立叶变换得到k空间数据，用Sp(xk,yk)表示，对于k空间中进行过数据采集的点用实际采集到的数据Su(xk,yk)替换Sp(xk,yk)中对应位置的数据，然后利用离散傅立叶反变换(IDFT)进行图像重建，用Irecon(x,y)表示最终的图像重建结果：
Irecon(x,y)＝IDFT(Su(xk,yk)+Sp(xk,yk)(1-mask(xk,yk))) [16]
采用本发明方法，即基于AR2 U-Net卷积神经网络的快速磁共振成像方法在下采样阶段使用残差网络提取特征，在下采样层同层和上采样层上一层的特征图中加入AG模块，再和上采样后的特征图进行合并。残差网络可有效防止梯度消失，且更容易训练。基于已训练好参数的AR2 U-Net卷积神经网络，在不同数据集和训练大小的同时，不断提高U-Net的预测性能，同时保持计算效率，AG模块在不需要多个CNN模块的情况下，采用不同大小的数据进行训练，一致地提高了参数的精度，提高了重建图像的质量。同时本发明具有以下特点：
1)网络结构在每一层上采样层和同层下采样层的上一层的特征图中加入AG模块，隐含地学习抑制输入图像中的不相关区域，同时突出显示对特定任务有用的显着特征，不需要训练多个模型和大量额外的模型参数也可以得到质量较高的磁共振重建图。
2)针对目前在神经网络中应用普遍的SGD算法在损失函数变化上的严重震荡问题，本发明采用Adam算法进行优化，使得损失函数变得平滑，有利于获得更好的优化参数。
3)对学习率采用多项式衰减的方法，更有益于训练到最优参数，重建图像更为清晰。
4)本发明可对规则的欠采样k空间数据进行快速高质量重建，相比随机欠采样，本发明的数据采集方法更为简单，易于硬件实现。
附图说明
图1是采用本发明进行数据采集的示意图；
图2是本发明的网络结构图；
图3是本发明的AG模块图；
图4是本发明训练中学习率衰减图；
图5是图像重建实例的结果对比图；
具体实施方式
本发明包含三个步骤：训练数据的准备、基于AR2 U-Net卷积神经网络模型的训练、基于AR2 U-Net卷积神经网络的图像重建。
步骤1：训练数据的准备
训练数据的准备包含3个步骤：全采样数据、填零重建。
全采样的k空间数据用Sk(xk,yk)表示，其中，xk表示k空间频率编码FE(FrequencyEncoding)方向的位置，yk表示在相位编码PE(Phase Encoding)方向的位置，经过离散傅立叶反变换(IDFT)得到参考全采样图像Iref(x,y)：
Iref(x,y)＝IDFT(Sk(xk,yk)) [1]
对k空间数据进行模拟欠采样，在k空间的PE方向，每隔N(N为大于1的整数)行采集一行数据，实现两边均匀采集，而在k空间PE方向中心区域全采集，概率为全部行数的4％，在FE方向的数据都为全采集，用Su(xk,yk)表示采集到的欠采样k空间数据。用欠采样模板mask与全采样k空间数据矩阵Sk(xk,yk)进行点乘的方式获取模拟欠采样数据，如图1所示，(a)表示全采样k空间数据，(b)表示欠采样模板，(c)表示欠采样k空间数据，可用公式表示为：
Su(xk,yk)＝Sk(xk,yk).*mask(xk,yk) [2]
其中，欠采样模板mask矩阵大小和全采样k空间矩阵一样，即模板mask中的每一个点mask(xk,yk)对应矩阵Sk(xk,yk)中的每一个点，若需要采集k空间对应的点，则模板mask矩阵中的值表示为1，反之则表示为0：
Figure BDA0002262887940000111
步骤1-2：填零重建
对于欠采样数据Su(xk,yk)，其对应k空间中没有进行数据采集的点令其值为0，然后用离散傅立叶反变换进行图像重建，得到填零重建图像，用Iu(x,y)表示：
Iu(x,y)＝IDFT(Su(xk,yk)) [4]
到这里，就得到了一对训练数据，即全采样图像数据Iref(x,y)和欠采样图像数据Iu(x,y)。
步骤2：基于AR2 U-Net卷积神经网络模型的训练
此网络训练包含2个步骤：AR2 U-Net卷积神经网络的构建和卷积神经网络的训练。
步骤2-1：AR2 U-Net卷积神经网络构建
AR2 U-Net卷积神经网络构建包含3个步骤：U-Net卷积神经网络、R2(递归残差)模块、AG模块。
步骤2-1-1：U-Net卷积神经网络
如图2所示，基于AR2 U-Net卷积神经网络主要有两部分组成：下采样和上采样。两条路径相互对称。下采样路径主要是用来捕捉图片中的上下文信息(contextinformation)，而与之相对称的上采样路径则是为了对图片中所需要分割出来的部分进行精准定位(localization)。U-Net卷积神经网络卷积层包括卷积(Conv)、批标准化(BatchNormalization，BN)和激活(Activation)三步操作。
其中卷积公式如下：
Figure BDA0002262887940000112
其中，*表示卷积，
Figure BDA0002262887940000113
表示卷积核，其大小为s×kn×kn×mn，s表示第n-1层特征子图数量，kn表示第n层滤波器的大小，mn表示第n层滤波器的数量，
Figure BDA0002262887940000114
表示第n层的偏置量，Cn表示经过卷积后的第n层输出，Cn-1表示第n-1层特征图。
其中批标准化公式如下：
Figure BDA0002262887940000121
Figure BDA0002262887940000122
其中BN表示批标准化，μ是批数据均值，T为批数据大小，
Figure BDA0002262887940000123
是标准化输出，γ、β为经验参数
Figure BDA00022628879400001216
是中间计算值。
其中激活公式如下：
Figure BDA0002262887940000124
其中，σ为激活函数,
Figure BDA0002262887940000125
表示为激活输出。
步骤2-1-2：R2(递归残差)模块
递归残差模块包含2个递归(Recurrent)计算和1个残差(Residual)计算，递归计算由卷积模块组成,每个卷积模块包含卷积、批标准化和激活函数三个单元，递归计算公式如下：
Figure BDA0002262887940000126
Figure BDA0002262887940000127
其中，
Figure BDA0002262887940000128
是第n个残差单元的输出，t表示递归次数。
残差计算公式如下：
Figure BDA0002262887940000129
Figure BDA00022628879400001210
Figure BDA00022628879400001211
和
Figure BDA00022628879400001212
分别是第n个残差单元的输入和输出，每个残差单元都重复公式[9-1]、[9-2]两次，F表示残差，
Figure BDA00022628879400001213
表示输入
Figure BDA00022628879400001214
的恒等映射，
Figure BDA00022628879400001215
表示残差和恒等映射的和。
步骤2-1-3：AG模块
在U-Net网络解码时，在对编码每个分辨率上的特征与解码中对应特征进行拼接之前，使用了一个AG，重新调整了编码的输出特征。该模块生成一个门控信号，用来控制不同空间位置处特征，从编码部分提取的部分不是直接用于解码，而是加入了AG模块再进行解码，即对上采样后的特征图和同层下采样层的上一层的特征图进行了AG模块处理后再合并。如图2所示，将上采样层F4XH4XW4XD4与同层下采样层的上一层F3XH3XW3XD3进行了AG模块处理后得到串联形态的F3XH3XW3XD3，然后再与F4XH4XW4XD4上采样得到的F3XH3XW3XD3进行卷积操作得到F2XH3XW3XD3，接着继续进行下一步AG模块处理。
其公式如下：
Figure BDA0002262887940000131
如图3所示，其中，n表示第几层，i表示像素空间，
Figure BDA0002262887940000132
表示为通道1*1*1卷积计算线性变换，σ1表示为Relu激活函数，σ2表示为Sigmoid激活函数，Conv1表示为1*1*1卷积，bg和
Figure BDA0002262887940000133
表示为偏置项，θatt表示为参数，最终得到Attention系数
Figure BDA0002262887940000134
σ1表示为Relu激活函数，是为了克服梯度消失的问题加快训练速度，其公式如下：
f(x)＝max(0,x) [11-1]
其中x表示输入值，f(x)表示最大值输出，max表示最大值。
σ2表示为Sigmoid激活函数，其公式如下：
f(x)＝1/(1+e-x) [11-2]
其中x表示输入值，f(x)表示输出。
2-2：网络训练
网络训练包含3个步骤：损失函数、循环条件、循环迭代。
2-2-1：损失函数
选取均方误差(Mean Squared Error，MSE)函数作为反向传播的损失函数，通过损失函数计算输出层的损失值loss。对于训练数据集
Figure BDA0002262887940000135
T表示批数据大小，上标i表示批数据中第i个图像，i＝(1,2…T)，损失值用均方误差函数表示：
Figure BDA0002262887940000136
其中AR2Unet表示AR2 U-Net卷积神经网络，θ表示网络参数。
2-2-2：循环条件
设循环次数为n，计算损失值和损失阈值的差值DIF作为循环的判断条件：
DIF＝loss-τ [13]
其中τ表示损失阈值。
2-2-3：循环迭代
对于训练数据集
Figure BDA0002262887940000141
使用Adam算法进行参数优化，流程如下：
Figure BDA0002262887940000142
Figure BDA0002262887940000143
Figure BDA0002262887940000144
Figure BDA0002262887940000145
Figure BDA0002262887940000146
其中θt表示优化后的参数，t表示时间步，i表示第几张图，θ表示网络参数，
Figure BDA0002262887940000147
表示参数梯度，AR2Unet表示AR2 U-Net卷积神经网络，Iu(x,y)(i)表示第i张输入图像，Iref(x,y)(i)表示第i张参考全采样图像，β1表示一阶矩估计的指数衰减率(如0.9)，β2表示二阶矩估计的指数衰减率(如0.999)，mt表示gt的一矩阶估计，vt表示gt的二阶矩估计，
Figure BDA0002262887940000148
表示对β1的校正，
Figure BDA0002262887940000149
表示对β2的校正，lr表示学习率,用于控制模型的学习进度,采用多项式衰减方式下降,epoch表示学习轮数，max_epoc表示最大学习轮数，
Figure BDA00022628879400001410
表示指数参数项
Figure BDA00022628879400001411
如图4所示，学习率大则学习速度快，反之则慢，但学习率过大或者过小都不利于数据的训练，快刚开始训练时，学习率以0.01～0.001为宜，一定轮数过后学习率逐渐减缓，接近训练结束时，学习速率的衰减应该在100倍以上。∈表示防止分母为0的参数。当参数θ没有收敛时，循环迭代地更新各个部分。即时间步t加1,更新目标函数在该时间步上对参数θ所求的梯度、更新偏差的一阶矩估计和二阶原始矩估计，再计算偏差修正的一阶矩估计和偏差修正的二阶矩估计，然后再用以上计算出来的值更新模型的参数θ。
执行步骤2-2-2，若DIF大于等于0，继续到执行步骤2-2-3，若DIF小于0，或迭代次数达到设定次数n，迭代循环结束。通过网络的反向传播训练网络得到优化的网络参数θ。
步骤3：基于AR2 U-Net卷积神经网络的图像重建。
用已训练好的AR2 U-Net卷积神经网络对欠采样测试数据Itest(x,y)进行重建，重建结果用Ioutput(x,y)表示：
Ioutput(x,y)＝AR2Unet(Itest(x,y),θ) [15]
结果Ioutput(x,y)经过离散傅立叶变换得到k空间数据，用Sp(xk,yk)表示，对于k空间中进行过数据采集的点用实际采集到的数据Su(xk,yk)替换Sp(xk,yk)中对应位置的数据，然后利用离散傅立叶反变换(IDFT)进行图像重建，用Irecon(x,y)表示最终的图像重建结果：
Irecon(x,y)＝IDFT(Su(xk,yk)+Sp(xk,yk)(1-mask(xk,yk)))[16]
以下结合人体头部的MRI数据，对基于AR2 U-Net卷积神经网络快速磁共振成像方法进行实例说明。假设要采集的MRI图像Sref(xk,yk)的矩阵大小为xk×yk＝256×256，将采集到的数据进行傅里叶逆变换得到参考图像Iref(x,y)，在k空间的相位编码PE方向每隔N＝4行采集一行k空间数据，并在信息量集中的k空间中心区域进行全采样，共采集14行相位编码数据得到欠采样k空间数据Su(xk,yk)。接下来将采集到的欠采样数据Su(xk,yk)进行常规的填零傅立叶重建，重建后图像为Iu(x,y)，反复进行欠采样数据的填零重建得到训练集
Figure BDA0002262887940000151
然后构建AR2U-Net卷积神经网络，网络结构中主要包含利用卷积层提取特征、残差计算、AG模块处理、转置卷积及合并。网络构建好后对训练数据进行训练，当网络训练误差小于损失阈值或者训练次数达到n时训练结束，得到参数优化后的AR2 U-Net卷积神经网络。将训练好的网络用于测试图像的网络重建，得到输出图像Ioutput(x,y)，然后将输出图像进行矫正得到最终输出图像Irecon(x,y)。
如图5所示上下两层分别表示重建图和对应的差值图，图(a)是参考图，图(b)是填零重建图，图(c)是采用R2U-Net网络重建图，图(d)是采用本发明方法重建图，图(e)、图(f)和图(g)分别代表图(b)、图(c)和图(d)与图(a)的差值图，从差值图可以看出本发明方法的重建图质量优于填零重建图及R2U-Net网络重建图。
本发明方法的重建图TRE误差比U-Net卷积神经网络和填重建的TRE误差都要低，其中填零重建TRE误差为0.0014，R2U-Net重建TRE误差为7.2289e-0.4，AR2U-Net重建TRE误差为3.3402e-0.4，TRE误差公式如下：
Figure BDA0002262887940000161
其中，I(x,y)表示重建图，Iref(x,y)表示参考图。
实验所用显卡型号为GTX1080，显存8g，训练数据为1500脑部图像，每张图像大小为256*256，测试数据是200张脑部图像，训练时间约为1.8个小时。重建时间约为1s。而R2U-Net卷积神经网络训练时间则需要为2个小时。重建时间约为1.2s。
可见本发明通过AR2 U-Net卷积神经网络进行MRI快速成像，相比R2U-Net卷积神经网络成像，本发明有更好的成像质量,训练和成像时间也比R2U-Net更短。

Claims (1)

1.基于AR2 U-Net神经网络的快速磁共振成像方法，其特征在于，该方法具体包括以下步骤：
步骤1：训练数据的准备
训练数据的准备包含2个步骤：全采样数据、填零重建；
步骤1-1：全采样数据
全采样的k空间数据用Sk(xk，yk)表示，其中，xk表示k空间频率编码FE方向的位置，yk表示在相位编码PE方向的位置，经过离散傅立叶反变换得到参考全采样图像Iref(x，y)：
Iref(x，y)＝IDFT(Sk(xk，yk)) [1]
对k空间数据进行模拟欠采样，在k空间的PE方向，每隔N行采集一行数据，其中N为大于1的整数，实现两边均匀采集，而在k空间PE方向中心区域全采集，概率为全部行数的4％，在FE方向的数据都为全采集，用Su(xk，yk)表示采集到的欠采样k空间数据；用欠采样模板mask与全采样k空间数据矩阵Sk(xk，yk)进行点乘的方式获取模拟欠采样数据，用公式表示为：
Su(xk，yk)＝Sk(xk，yk).*mask(xk，yk) [2]
其中，欠采样模板mask矩阵大小和全采样k空间矩阵一样，即模板mask中的每一个点mask(xk，yk)对应矩阵Sk(xk，yk)中的每一个点，若需要采集k空间对应的点，则模板mask矩阵中的值表示为1，反之则表示为0：
Figure FDA0002262887930000011
步骤1-2：填零重建
对于欠采样数据Su(xk，yk)，进行傅里叶反变换，得到填零重建图像，用Iu(x，y)表示：
Iu(x，y)＝IDFT(Su(xk，yk)) [4]
到这里，就得到了一对训练数据，即全采样图像数据Iref(x，y)和欠采样图像数据Iu(x，y)；
步骤2：基于AR2 U-Net卷积神经网络模型的训练
此网络训练包含2个步骤：AR2 U-Net卷积神经网络的构建和卷积神经网络的训练；
步骤2-1：AR2 U-Net卷积神经网络构建
AR2 U-Net卷积神经网络构建包含3个步骤：U-Net卷积神经网络、递归残差模块、AG模块；
步骤2-1-1：U-Net卷积神经网络
U-Net卷积神经网络卷积层包括卷积、批标准化和激活三步操作；
其中卷积公式如下：
Figure FDA0002262887930000021
其中，*表示卷积，
Figure FDA0002262887930000028
表示卷积核，其大小为s×kn×kn×mn，s表示第n-1层特征子图数量，kn表示第n层滤波器的大小，mn表示第n层滤波器的数量，
Figure FDA0002262887930000022
表示第n层的偏置量，Cn表示经过卷积后的第n层输出，Cn-1表示第n-1层特征图；
其中批标准化公式如下：
Figure FDA0002262887930000023
Figure FDA0002262887930000024
其中BN表示批标准化，μ是批数据均值，T为批数据大小，
Figure FDA0002262887930000025
是标准化输出，γ、β为经验参数，
Figure FDA0002262887930000029
是中间计算值；
其中激活公式如下：
Figure FDA0002262887930000026
其中，σ为激活函数，
Figure FDA0002262887930000027
表示为激活输出；
步骤2-1-2：递归残差模块
递归残差模块包含2个递归计算和1个残差计算，递归计算由卷积模块组成，每个卷积模块包含卷积、批标准化和激活函数三个单元，递归计算公式如下：
Figure FDA0002262887930000031
Figure FDA0002262887930000032
其中，
Figure FDA0002262887930000033
是第n个残差单元的输出，t表示递归次数；
残差计算公式如下：
Figure FDA0002262887930000034
Figure FDA0002262887930000035
Figure FDA0002262887930000036
和
Figure FDA0002262887930000037
分别是第n个残差单元的输入和输出，F表示残差，
Figure FDA0002262887930000038
表示输入
Figure FDA0002262887930000039
的恒等映射，
Figure FDA00022628879300000310
表示残差和恒等映射的和；
步骤2-1-3：AG模块
在U-Net网络解码时，在对编码每个分辨率上的特征与解码中对应特征进行拼接之前，使用了一个AG模块，重新调整了编码的输出特征；AG模块生成一个门控信号，用来控制不同空间位置处特征，即对上采样后的特征图和同层下采样层的上一层的特征图进行了AG模块处理后再合并；
其公式如下：
Figure FDA00022628879300000311
其中，n表示第几层，i表示像素空间，
Figure FDA00022628879300000312
表示为通道1*1*1卷积计算线性变换，σ1表示为Relu激活函数，σ2表示为Sigmoid激活函数，Convl表示为1*1*1卷积，b。和
Figure FDA00022628879300000313
表示为偏置项，θatt表示为参数，最终得到Attention系数
Figure FDA00022628879300000314
σ1表示为Relu激活函数，其公式如下：
f(x)＝max(0，x) [11-1]
其中x表示输入值，f(x)表示最大值输出，max表示最大值；
σ2表示为Sigmoid激活函数，其公式如下：
f(x)＝1/(1+e-x) [11-2]
其中x表示输入值，f(x)表示输出；
2-2：网络训练
网络训练包含3个步骤：损失函数、循环条件、循环迭代；
2-2-1：损失函数
选取均方误差函数作为反向传播的损失函数，通过损失函数计算输出层的损失值loss；对于训练数据集
Figure FDA0002262887930000041
T表示批数据大小，上标i表示批数据中第i个图像，i＝(1，2…T)，损失值用均方误差函数表示：
Figure FDA0002262887930000042
其中AR2Unet表示AR2 U-Net卷积神经网络，θ表示网络参数；
2-2-2：循环条件
设循环次数为n，计算损失值和损失阈值的差值DIF作为循环的判断条件：
DIF＝loss-τ [13]
其中τ表示损失阈值；
2-2-3：循环迭代
对于训练数据集
Figure FDA0002262887930000043
使用Adam算法进行参数优化，流程如下：
Figure FDA0002262887930000044
Figure FDA0002262887930000045
Figure FDA0002262887930000046
Figure FDA0002262887930000047
Figure FDA0002262887930000048
其中θt表示优化后的参数，t表示时间步，i表示第几张图，θ表示网络参数，
Figure FDA0002262887930000049
表示参数梯度，AR2Unet表示AR2 U-Net卷积神经网络，Iu(x，y)(i)表示第i张输入图像，Iref(x，y)(i)表示第i张参考全采样图像，β1表示一阶矩估计的指数衰减率，β2表示二阶矩估计的指数衰减率，mt表示gt的一矩阶估计，vt表示gt的二阶矩估计，
Figure FDA00022628879300000410
表示对β1的校正，
Figure FDA0002262887930000051
表示对β2的校正；lr表示学习率，用于控制模型的学习进度，采用多项式衰减方式下降，epoch表示学习轮数，max_epoc表示最大学习轮数，
Figure FDA0002262887930000052
表示指数参数项，
Figure FDA0002262887930000053
∈表示防止分母为0的参数；当参数θ没有收敛时，循环迭代地更新各个部分；即时间步t加1，更新目标函数在该时间步上对参数θ所求的梯度、更新偏差的一阶矩估计和二阶原始矩估计，再计算偏差修正的一阶矩估计和偏差修正的二阶矩估计，然后再用以上计算出来的值更新模型的参数θ；
执行步骤2-2-2，若DIF大于等于0，继续到执行步骤2-2-3，若DIF小于0，或迭代次数达到设定次数n，迭代循环结束；通过网络的反向传播训练网络得到优化的网络参数θ；
步骤3：基于AR2 U-Net卷积神经网络的图像重建；
用已训练好的AR2 U-Net卷积神经网络对欠采样测试数据Itest(x，y)进行重建，重建结果用Ioutput(x，y)表示：
Ioutput(x，y)＝AR2Unet(Itest(x，y)，θ) [15]
结果Ioutput(x，y)经过离散傅立叶变换得到k空间数据，用Sp(xk，yk)表示，对于k空间中进行过数据采集的点用实际采集到的数据Su(xk，yk)替换Sp(xk，yk)中对应位置的数据，然后利用离散傅立叶反变换(IDFT)进行图像重建，用Irecon(x，y)表示最终的图像重建结果：
Irecon(x，y)＝IDFT(Su(xk，yk)+Sp(xk，yk)(1-mask(xk，yk))) [16]。
CN201911077341.8A 2019-11-06 2019-11-06 基于AR2 U-Net神经网络的快速磁共振成像方法 Active CN111028306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911077341.8A CN111028306B (zh) 2019-11-06 2019-11-06 基于AR2 U-Net神经网络的快速磁共振成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911077341.8A CN111028306B (zh) 2019-11-06 2019-11-06 基于AR2 U-Net神经网络的快速磁共振成像方法

Publications (2)

Publication Number Publication Date
CN111028306A true CN111028306A (zh) 2020-04-17
CN111028306B CN111028306B (zh) 2023-07-14

Family

ID=70204936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911077341.8A Active CN111028306B (zh) 2019-11-06 2019-11-06 基于AR2 U-Net神经网络的快速磁共振成像方法

Country Status (1)

Country Link
CN (1) CN111028306B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767989A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 神经网络的训练方法和装置
CN111862123A (zh) * 2020-07-29 2020-10-30 南通大学 一种基于深度学习的ct腹部动脉血管分级识别方法
CN111862122A (zh) * 2020-07-29 2020-10-30 南通大学 一种基于深度学习的瓦楞纸板堆叠层数计数方法
CN111870245A (zh) * 2020-07-02 2020-11-03 西安交通大学 一种跨对比度引导的超快速核磁共振成像深度学习方法
CN112489154A (zh) * 2020-12-07 2021-03-12 重庆邮电大学 基于局部优化生成对抗网络的mri运动伪影校正方法
CN112748382A (zh) * 2020-12-15 2021-05-04 杭州电子科技大学 基于CUNet伪影定位的SPEED磁共振成像方法
CN112785593A (zh) * 2021-03-12 2021-05-11 大连民族大学 一种基于深度学习的脑部图像分割方法
CN112800865A (zh) * 2021-01-12 2021-05-14 西北大学 基于Attention U-net模型和归一化相关系数匹配识别脸谱特征的方法
CN112924913A (zh) * 2021-02-02 2021-06-08 厦门大学 一种时空编码磁共振成像超分辨率重建方法及系统
CN112946545A (zh) * 2021-01-28 2021-06-11 杭州电子科技大学 基于PCU-Net网络的快速多通道磁共振成像方法
CN113066144A (zh) * 2021-03-09 2021-07-02 北京工业大学 一种基于深度学习的多模态扩散光学层析成像重建方法
WO2021139237A1 (zh) * 2020-05-14 2021-07-15 平安科技（深圳）有限公司 损失函数的优化方法、装置、设备及存储介质
CN113128585A (zh) * 2021-04-16 2021-07-16 重庆康如来科技有限公司 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法
CN113487507A (zh) * 2021-07-07 2021-10-08 中国计量大学 一种基于多模块特征聚合的双域递归网络mr重建方法
CN113509165A (zh) * 2021-03-23 2021-10-19 杭州电子科技大学 基于CAR2UNet网络的复数快速磁共振成像方法
WO2021248749A1 (zh) * 2020-06-10 2021-12-16 四川大学华西医院 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法
CN114609631A (zh) * 2022-03-08 2022-06-10 电子科技大学 一种基于生成对抗网络的合成孔径雷达欠采样成像方法
CN114720956A (zh) * 2022-06-07 2022-07-08 成都信息工程大学 针对双偏振天气雷达的水凝物粒子分类识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN110148195A (zh) * 2019-05-22 2019-08-20 山东颐邦齐鲁医生集团管理有限公司 一种磁共振图像生成方法、系统、终端及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN110148195A (zh) * 2019-05-22 2019-08-20 山东颐邦齐鲁医生集团管理有限公司 一种磁共振图像生成方法、系统、终端及存储介质

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139237A1 (zh) * 2020-05-14 2021-07-15 平安科技（深圳）有限公司 损失函数的优化方法、装置、设备及存储介质
WO2021248749A1 (zh) * 2020-06-10 2021-12-16 四川大学华西医院 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法
CN111767989A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 神经网络的训练方法和装置
CN111870245A (zh) * 2020-07-02 2020-11-03 西安交通大学 一种跨对比度引导的超快速核磁共振成像深度学习方法
CN111870245B (zh) * 2020-07-02 2022-02-11 西安交通大学 一种跨对比度引导的超快速核磁共振成像深度学习方法
CN111862123A (zh) * 2020-07-29 2020-10-30 南通大学 一种基于深度学习的ct腹部动脉血管分级识别方法
CN111862122A (zh) * 2020-07-29 2020-10-30 南通大学 一种基于深度学习的瓦楞纸板堆叠层数计数方法
CN111862123B (zh) * 2020-07-29 2024-01-23 南通大学 一种基于深度学习的ct腹部动脉血管分级识别方法
CN112489154A (zh) * 2020-12-07 2021-03-12 重庆邮电大学 基于局部优化生成对抗网络的mri运动伪影校正方法
CN112489154B (zh) * 2020-12-07 2022-06-03 重庆邮电大学 基于局部优化生成对抗网络的mri运动伪影校正方法
CN112748382A (zh) * 2020-12-15 2021-05-04 杭州电子科技大学 基于CUNet伪影定位的SPEED磁共振成像方法
CN112800865A (zh) * 2021-01-12 2021-05-14 西北大学 基于Attention U-net模型和归一化相关系数匹配识别脸谱特征的方法
CN112800865B (zh) * 2021-01-12 2023-08-25 西北大学 基于Attention U-net模型和归一化相关系数匹配识别脸谱特征的方法
CN112946545A (zh) * 2021-01-28 2021-06-11 杭州电子科技大学 基于PCU-Net网络的快速多通道磁共振成像方法
CN112946545B (zh) * 2021-01-28 2022-03-18 杭州电子科技大学 基于PCU-Net网络的快速多通道磁共振成像方法
CN112924913A (zh) * 2021-02-02 2021-06-08 厦门大学 一种时空编码磁共振成像超分辨率重建方法及系统
CN113066144A (zh) * 2021-03-09 2021-07-02 北京工业大学 一种基于深度学习的多模态扩散光学层析成像重建方法
CN113066144B (zh) * 2021-03-09 2024-02-06 北京工业大学 一种基于深度学习的多模态扩散光学层析成像重建方法
CN112785593B (zh) * 2021-03-12 2024-05-24 大连民族大学 一种基于深度学习的脑部图像分割方法
CN112785593A (zh) * 2021-03-12 2021-05-11 大连民族大学 一种基于深度学习的脑部图像分割方法
CN113509165A (zh) * 2021-03-23 2021-10-19 杭州电子科技大学 基于CAR2UNet网络的复数快速磁共振成像方法
CN113509165B (zh) * 2021-03-23 2023-09-22 杭州电子科技大学 基于CAR2UNet网络的复数快速磁共振成像方法
CN113128585B (zh) * 2021-04-16 2022-08-16 重庆康如来科技有限公司 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法
CN113128585A (zh) * 2021-04-16 2021-07-16 重庆康如来科技有限公司 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法
CN113487507A (zh) * 2021-07-07 2021-10-08 中国计量大学 一种基于多模块特征聚合的双域递归网络mr重建方法
CN114609631B (zh) * 2022-03-08 2023-12-22 电子科技大学 一种基于生成对抗网络的合成孔径雷达欠采样成像方法
CN114609631A (zh) * 2022-03-08 2022-06-10 电子科技大学 一种基于生成对抗网络的合成孔径雷达欠采样成像方法
CN114720956B (zh) * 2022-06-07 2022-11-01 成都信息工程大学 针对双偏振天气雷达的水凝物粒子分类识别方法及装置
CN114720956A (zh) * 2022-06-07 2022-07-08 成都信息工程大学 针对双偏振天气雷达的水凝物粒子分类识别方法及装置

Also Published As

Publication number Publication date
CN111028306B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN111028306B (zh) 基于AR2 U-Net神经网络的快速磁共振成像方法
CN109993809B (zh) 基于残差U-net卷积神经网络的快速磁共振成像方法
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
Wang et al. Deep learning for fast MR imaging: A review for learning reconstruction from incomplete k-space data
CN111123183B (zh) 基于复数R2U_Net网络的快速磁共振成像方法
CN108090871B (zh) 一种基于卷积神经网络的多对比度磁共振图像重建方法
Lyu et al. Super-resolution MRI through deep learning
CN110151181A (zh) 基于递归残差u型网络的快速磁共振成像方法
CN108335339A (zh) 一种基于深度学习和凸集投影的磁共振重建方法
CN109360152A (zh) 基于稠密卷积神经网络的三维医学图像超分辨率重建方法
CN113298710B (zh) 基于外部注意力机制的光学相干层析超分辨率成像方法
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
CN111899165A (zh) 一种基于功能模块的多任务图像重建卷积网络模型
CN111932650A (zh) 一种基于高通量深度展开网络的核磁共振图像重建方法
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
CN113379867A (zh) 一种基于联合优化采样矩阵的核磁共振图像重建方法
CN112184549B (zh) 基于时空变换技术的超分辨图像重建方法
CN112734869A (zh) 基于稀疏复数u型网络的快速磁共振成像方法
CN111784792A (zh) 基于双域卷积神经网络的快速磁共振重建系统及其训练方法与应用
CN113509165B (zh) 基于CAR2UNet网络的复数快速磁共振成像方法
Fan et al. An interpretable MRI reconstruction network with two-grid-cycle correction and geometric prior distillation
Rashid et al. Single MR image super-resolution using generative adversarial network
Usman et al. Motion corrected multishot MRI reconstruction using generative networks with sensitivity encoding
CN117974468A (zh) 一种全局与局部特征交互并行的多模态医学图像融合方法
CN112669400B (zh) 基于深度学习预测和残差架构的动态mr重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant