CN114305386A - 一种人工智能多对比度磁共振快速成像方法 - Google Patents

一种人工智能多对比度磁共振快速成像方法 Download PDF

Info

Publication number
CN114305386A
CN114305386A CN202111521959.6A CN202111521959A CN114305386A CN 114305386 A CN114305386 A CN 114305386A CN 202111521959 A CN202111521959 A CN 202111521959A CN 114305386 A CN114305386 A CN 114305386A
Authority
CN
China
Prior art keywords
network
magnetic resonance
contrast
image
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111521959.6A
Other languages
English (en)
Inventor
郭迪
曾谷山
屈小波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Shenru Technology Co ltd
Xiamen University of Technology
Original Assignee
Xiamen Shenru Technology Co ltd
Xiamen University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Shenru Technology Co ltd, Xiamen University of Technology filed Critical Xiamen Shenru Technology Co ltd
Priority to CN202111521959.6A priority Critical patent/CN114305386A/zh
Publication of CN114305386A publication Critical patent/CN114305386A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种人工智能多对比度磁共振快速成像方法,涉及多对比度磁共振快速成像方法。提供重建速度快、重建质量好且有较好解释性的一种人工智能多对比度磁共振快速成像方法。获取不同对比度的多通道磁共振图像,通过将多通道合成单通道来得到满足网络训练要求的训练集;根据传统最优化迭代计算过程搭建基于联合稀疏约束的复数神经网络;建立网络损失函数;训练网络参数;用训练好的网络模型对欠采样多对比度磁共振图像进行重建。同时兼顾了传统算法的可解释性和深度网络的强学习能力,同时应用复数卷积网络来直接处理复数数据,设计联合稀疏约束模块来更好的利用不同对比度间的结构信息,具有重建速度快、重建质量好且有较好解释性的特点。

Description

一种人工智能多对比度磁共振快速成像方法
技术领域
本发明涉及多对比度磁共振快速成像方法,尤其以传统算法为指导来搭建基于联合稀疏 约束的复数网络的人工智能多对比度磁共振快速成像方法。
背景技术
磁共振成像(Magnetic Resonance Imaging,MRI)是一种重要的临床辅助诊断工具。MRI由 于不同对比度能提供更加丰富的结构信息,因此在临床诊断中往往会采集多个对比度的磁共 振图像。但是,采集图像的增加也直接增加仪器的扫描时间。为此,研究人员利用压缩感知 理论来欠采样磁共振信号达到降低采样时间的目的,然后通过重建算法获得满足临床诊断要 求的高质量图像,实现高质量快速磁共振成像。在深度学习之前,研究人员尝试各种约束来 利用不同对比度间的结构相似性,包括联合稀疏特性(ZongyingLai,Xinlin Zhang,Di Guo, Xiaofeng Du,Yonggui Yang,Gang Guo,Zhong Chen,XiaoboQu.Joint sparse reconstruction of multi-contrast MRI images with graph basedredundant wavelet transform.BMC Medical Imaging, 18(1):1-6,2018)以及联合图像梯度信息(Berkin Bilgic,Vivek K Goyal,Elfar Adalsteinsson, Multi-contrastreconstruction with Bayesian compressed sensing.Magnetic Resonance inMedicine,66(6):1601-1615,2011)。但这些传统迭代重建算法运行时间仍然很长,且需要提前 寻找有效的先验信息并手动调节超参数。
近些年,深度学习在生物医学磁共振领域迅速发展(Xiaobo Qu,Yihui Huang,Hengfa Lu, Tianyu Qiu,Di Guo,Dr.Tatiana Agback,Vladislav Orekhov,ZhongChen.Accelerated nuclear magnetic resonance spectroscopy with deeplearning.AngewandteChemie International Edition, 132(26):10383-10386,2020;Dichen Chen,Zi Wang,Di Guo,Vladislav Orekhov,Xiaobo Qu, Review and prospect:Deep learning in nuclear magnetic resonance spectroscopy.Chemistry-A EuropeanJournal,26:10391-10401,2020;Zi Wang,Di Guo,Zhangren Tu,Yihui Huang,YirongZhou,Jian Wang,Liubin Feng,Donghai Lin,Yongfu You,Tatiana Agback,VladislavOrekhov, Xiaobo Qu,XCloud-MoDern:An artificial intelligence cloud foraccelerated NMR spectroscopy. arXiv:2012.14830,2020.;Yihui Huang,Jinkui Zhao,Zi Wang,Di Guo,Xiaobo Qu,Exponential signal reconstruction with deep hankelmatrix factorization.arXiv:2007.06246,2020;Tieyuan Lu, Xinlin Zhang,YihuiHuang,Di Guo,Feng Huang,Qin Xu,Yuhan Hu,Lin Ou-Yang,Jianzhong Lin, ZhipingYang,Xiaobo Qu,pFISTA-SENSE-ResNet for parallel MRI reconstruction.Journal ofMagnetic Resonance,318:106790,2020)。在基于深度学习的多对比度磁共振图像重建方面,Sun 等人(Liyan Sun,Zhiwen Fan,Xueyang Fu,Yue Huang,Xinghao Ding,JohnPaisley,A deep information sharing network for multi-contrast compressedsensing MRI reconstruction.IEEE Transactions on Image Processing,28(12),6141-6153,2019)提出用密集残差网络来实现多对比 度欠采样图像到全采样图像的端到端的映射方法,该方法比传统算法重建图像误差更低、重 建速度更快。但是,Sun等人提出的方法是针对实数图像,难以直接应用到实际磁共振成像 是复数数据的场景,同时也没能充分利用不同对比度间的结构相似性。
发明内容
本发明的目的在于提供重建速度快、重建质量好且有较好解释性的一种人工智能多对比 度磁共振快速成像方法。
本发明包括以下步骤:
1)获取不同对比度的多通道磁共振图像,通过将多通道合成单通道来得到满足网络训练 要求的训练集;
2)根据传统最优化迭代计算过程搭建基于联合稀疏约束的复数神经网络;
3)建立网络损失函数;
4)训练网络参数;
5)用训练好的网络模型对欠采样多对比度磁共振图像进行重建。
在步骤1)中,所述获取不同对比度的多通道磁共振图像,通过将多通道合成单通道来 得到满足网络训练要求的训练集的具体方法如下:
从磁共振成像仪上获取到的完整的多通道磁共振数据经傅里叶变换后可以表示为 Xc=[xc,1,xc,2,...,xc,J],其中,
Figure BDA0003408002940000021
N、J、c分别表示获取图像像素点的个数、通道的 数量以及第c种对比度图像,
Figure BDA0003408002940000022
表示复数域;由于处理单通道的数据,因此需要将多通道合 并成为单通道,采用ESPIRiT(Martin Uecker,Peng Lai,Mark J.Murphy,PatrickVirtue,Michael Elad,John M.Pauly,Shreyas S.Vasanawala,Michael Lustig,ESPIRiT—an eigenvalue approach to autocalibrating parallel MRI:Where SENSEmeets GRAPPA.Magnetic Resonance in Medicine, 71(3):990-1001,2014)方法完成单通道的合并,合成方法如下:
Figure BDA0003408002940000031
ES(·)表示用ESPIRiT方法将多通道合成为单通道,
Figure BDA0003408002940000032
代表第c种对比度图像的 合成图像,
Figure BDA0003408002940000033
在网络训练过程中作为标签;用欠采样矩阵
Figure BDA0003408002940000034
和傅里叶变换
Figure BDA0003408002940000035
Figure BDA0003408002940000036
进行操作得到欠采样图像
Figure BDA0003408002940000037
μ表示数据是欠采样的,M表示采 样点的个数,具体操作为:
Figure BDA0003408002940000038
其中,(·)H、(·)T分别表示复共轭转置和转置;通过上述操作,得到的供网络模型训练的训练 集
Figure BDA0003408002940000039
L表示训练集中数据(Xu,Xcombined)对数,
Figure BDA00034080029400000310
Figure BDA00034080029400000311
Xu,
Figure BDA00034080029400000312
在步骤2)中,所述基于联合稀疏约束的复数神经网络以迭代块为核心,通过叠加若干 个迭代块作来构成整个网络;每个迭代块包含三个模块:数据校验模块、稀疏学习模块和联 合稀疏约束模块,其中联合稀疏约束模块是整个迭代块中不同对比度图像交换信息的唯一位 置,也是最关键的模块;整个网络可以用一个映射函数表示,即f(Xu;Θ),Θ代表网络训练 参数的集合,每个模块的具体内容如下:
2.1数据校验模块用于保证重建图像与测量数据间的一致性:第s个迭代块的输入可以表 示为
Figure BDA00034080029400000313
s表示迭代块的索引,
Figure BDA00034080029400000314
表示第c种对比度磁共振图像在第s个迭代块 处的输入,数据校验快执行如下操作:
Figure BDA00034080029400000315
每种对比度图像单独进行数据校验操作,γs表示第s个迭代块的步长且满足γs∈Θ,U和F分 别表示欠采样矩阵和傅里叶变换,
Figure BDA00034080029400000316
表示第c种对比度的欠采样图像,
Figure BDA00034080029400000317
表示第c种对比度 图像经过第s个数据校验模块的输出。当s=1时,
Figure BDA00034080029400000318
2.2稀疏学习模块用于学习一个稀疏转换,目的是让输入的图像被尽可能的稀疏表示: 它包含前向稀疏操作和反向稀疏操作,分别用
Figure BDA00034080029400000319
Figure BDA00034080029400000320
表示,且满足
Figure BDA00034080029400000321
数据校验 块的输出作为前向稀疏操作的输入,稀疏操作用三层复数卷积层代替,每层包含24个特征图, 卷积核大小为3×3,激活函数使用复数线性整流函数(Complex RectifiedLinear Unit,CReLU) (Elizabeth K.Cole,Joseph Y.Cheng,John M.Pauly,ShreyasS.Vasanawala,Analysis of deep complex-valued convolutional neural networksfor MRI reconstruction.arXiv:2004.01738,2020), 前向稀疏操作如下:
Figure BDA0003408002940000041
Figure BDA0003408002940000042
是第c种对比度磁共振图像在第s个前向稀疏操作的输出;与数据校验模块一样,每种对 比度图像单独操作;需要注意在同一个迭代块中,不同对比度图像在进行前向稀疏操作时网 络权重共享,即每个迭代块中仅产生一组
Figure BDA0003408002940000043
反向稀疏操作和前向操作类似,目的是为了模 拟传统算法中稀疏转换的逆操作;网络层数和卷积核以及激活函数与前向稀疏操作一致,不 同处在于反向操作的输入是联合稀疏模块的输出,操作如下:
Figure BDA0003408002940000044
其中,
Figure BDA0003408002940000045
表示第c种对比度磁共振图像在第s个反向稀疏操作后的输出,
Figure BDA0003408002940000046
是第c种对比度 磁共振图像在第s个联合稀疏约束模块的输出,在接下来的步骤2.3中会进行介绍;同前向 稀疏操作一样,反向稀疏操作中同样网络权重共享;
2.3联合稀疏约束模块用于约束不同对比度图像共同稀疏的特性,也是整个迭代块中不 同对比度交换信息的唯一模块:这个模块包含两个操作,即组操作G和组软阈值操作
Figure BDA0003408002940000047
其中λ表示惩罚参数且满足λ∈Θ,||·||2表示向量的二范数; 组操作G的过程如下:对于前向稀疏操作的输出
Figure BDA0003408002940000048
经过前向稀疏操作后的大小为 n×h×w×24(每次训练样本数量×图像高度×图像宽度×输出的特征图数量),即
Figure BDA0003408002940000049
之后将不同对比度磁共振图像经过前向稀疏操作后得到的对应的特征图组合起来,用
Figure BDA00034080029400000410
表示形成的24个组的特征,其中
Figure BDA00034080029400000411
代表第c种对比度图像的第k个特征图的向量 形式;最后对每组特征图对应的像素点组成一个向量进行组阈值操作。因此,第s个迭代块 中的联合稀疏约束模块可以表示为:
Figure BDA00034080029400000412
此外,为了加速网络的训练和提升网络效果,在迭代块内和迭代块间分别运用残差结构, 在迭代块内,残差结构定义式为:
Figure BDA00034080029400000413
其中,
Figure BDA00034080029400000414
表示第c种对比度磁共振图像在第s个迭代块的输出;
迭代块间的残差结构体现在第s+1个迭代块的输入是前两个迭代块的输出加权的和,数 学公式表示为:
Figure BDA0003408002940000051
其中,μs用来平衡前两个迭代块的输出,且满足μs∈Θ。参数{γ,λ,μ}会进行相应的初始化。
在步骤3)中,考虑到每个迭代块的输出对最后的重建结果产生影响,网络的损失函数如 下:
Figure BDA0003408002940000052
其中,C和S分别表示对比度图像数量和网络迭代块的数量,|·|表示求向量中每一个复数的模 值,
Figure BDA0003408002940000053
表示向量的二范数的平方,
Figure BDA0003408002940000054
代表第c种对比度图像在第s个迭代块的输出。
在步骤4)中,采用深度学习中的Adam算法(Diederik P.Kingma,Jimmy Ba,Adam:Amethod for stochastic optimization.arXiv:1412.6980,2014.)实现网络的反向传播达到训练更新 网络参数的目的,训练完成的参数集合用
Figure BDA0003408002940000055
表示。
在步骤5)中,通过步骤4)此时网络模型已经训练完成,即网络映射函数f(·)已经确立; 将采集到的多对比度欠采样图像输入到网络中,网络最终输出表示对应对比度磁共振图像的 重建结果
Figure BDA0003408002940000056
其中
Figure BDA0003408002940000057
Figure BDA0003408002940000058
表示待重建的多对比度磁共振数据,
Figure BDA0003408002940000059
Figure BDA00034080029400000510
表示 第c种对比度磁共振图像对应的重建结果。
本发明提出一种基于传统最优化算法来搭建多对比度磁共振重建网络的方法,利用多对 比度图像的联合稀疏重建迭代算法设计神经网络,降低重建误差。
本发明首先获取单通道的欠采样和全采样多对比度磁共振图像作为网络的训练集,根据 传统最优化迭代计算过程来搭建基于联合稀疏约束的复数神经网络,然后用处理好的训练集 来训练网络参数,最后用训练好的网络模型对欠采样多对比度磁共振图像进行重建。与现有 方法相比,本发明同时兼顾了传统算法的可解释性和深度网络的强学习能力,同时应用复数 卷积网络来直接处理复数数据,设计联合稀疏约束模块来更好的利用不同对比度间的结构信 息,具有重建速度快、重建质量好且有较好解释性的特点。
附图说明
图1为实施例中采样15%数据量的欠采样模板。在图1中,(a)是T1对比度磁共振图像的 欠采样模板,(b)是T2对比度磁共振图像的欠采样模板
图2为基于联合稀疏约束的多对比度磁共振图像重建网络模型的整体结构图和第s个迭 代块的展开图。
图3为网络重建结果及对应误差图。在图3中,(a)、(f)分别是全采样的T1、T2对比度磁 共振图像,(b)、(g)是Sun等人提出的基于密集连接和残差学习网络的T1重建磁共振图像和 T2重建磁共振图像,(d)、(i)是对应的误差图(Liyan Sun,Zhiwen Fan,XueyangFu,Yue Huang, Xinghao Ding,John Paisley,A deep information sharing networkfor multi-contrast compressed sensing MRI reconstruction.IEEE Transactions onImage Processing,28(12):6141-6153,2019)需 要注意的是,由于该方法被提出来是处理实数数据,将其实数卷积网络改变成复数卷积网络, 重建结果显示的是更改后的结果,(c)、(h)本发明的T1重建磁共振图像和T2重建磁共振图像, (e)是对应的误差图。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
本发明实施例包括以下步骤:
第一步:获取不同对比度的多通道磁共振图像,通过将多通道合成单通道来得到满足网 络训练要求的训练集和用于测试的测试集
本发明实施例使用3特斯拉的磁共振仪对5名自愿者的大脑进行成像,其中4名自愿者 的数据用来训练,1名自愿者的数据用于测试,成像的相关参数为(T1:重复时间=6.9ms,序 列回波=2.5ms,视野=256mm2,厚度=1mm;T2:重复时间=2500ms,序列回波=74.8,视野 =256mm2,厚度=1mm),T1/T2代表两种对比度图像,每个自愿者采集到的数据大小为 256×256×186×12(高×长×宽×通道数)。选取横截面的图像,选取4名自愿者的中间61层作为 训练集。为此,对比度磁共振图像c的12通道数据经傅里叶变换后可以表示为 Xc=[xc,1,xc,2,...,xc,12],其中
Figure BDA0003408002940000061
Figure BDA0003408002940000062
表示复数域。c={T1,T2},由于是处理单通道 的数据,所以需要将多通道合并成为单通道。本发明采用ESPIRiT(Martin Uecker,Peng Lai, Mark J.Murphy,Patrick Virtue,Michael Elad,John M.Pauly,ShreyasS.Vasanawala,Michael Lustig,ESPIRiT—an eigenvalue approach toautocalibrating parallel MRI:Where SENSE meets GRAPPA.Magnetic Resonance inMedicine,71(3):990-1001,2014.)方法完成单通道的合并,合 成方法如下:
Figure BDA0003408002940000071
ES(·)表示用ESPIRiT方法将多通道合成为单通道,
Figure BDA0003408002940000072
代表第c种对比度图像 的合成图像,
Figure BDA0003408002940000073
在网络训练过程中作为标签。用欠采样矩阵U和傅里叶变换F对
Figure BDA0003408002940000074
进 行操作得到欠采样图像
Figure BDA0003408002940000075
μ表示数据是欠采样的,实施例用15%的欠采样模板(如 图1所示),具体操作为:
Figure BDA0003408002940000076
其中,(·)H、(·)T分别表示复共轭转置和转置。通过上述操作,得到的供网络模型训练的训练 集
Figure BDA0003408002940000077
244表示训练集中数据(Xu,Xcombined)对数,
Figure BDA0003408002940000078
Figure BDA0003408002940000079
Xu,
Figure BDA00034080029400000710
此外,对训练集进行一次180°的旋转操作 以扩充数据集,此时训练集数据对的对数变为488。
可以用同样的方法对来自另一个自愿者的61层数据进行处理得到网络的测试集
Figure BDA00034080029400000711
第二步:根据传统最优化迭代计算过程来搭建基于联合稀疏约束的复数神经网络
所述基于联合稀疏约束的复数网络模型以迭代块为核心,通过叠加若干个迭代块作来构 成整个网络。每个迭代块包含三个模块:数据校验模块、稀疏学习模块和联合稀疏约束模块, 其中联合稀疏约束模块是整个迭代块中不同对比度图像交换信息的唯一位置,也是最关键的 模块。整个网络可以用一个映射函数表示,即f(Xu;Θ),Θ代表网络训练参数的集合。图2 给出了第s个迭代块的展开图,以下依据图2对第s个迭代块中的每个模块进行说明:
a)数据校验模块用于保证重建图像与测量数据间的一致性:第s个迭代块的输入可以表 示为
Figure BDA00034080029400000712
s表示迭代块的索引,
Figure BDA00034080029400000713
表示T1对比度磁共振图像在第s个迭代块处的输 入,数据校验快执行如下操作:
Figure BDA00034080029400000714
每种对比度图像单独进行数据校验操作,γs表示第s个迭代块的步长且满足γs∈Θ,U 和F分别表示欠采样矩阵和傅里叶变换,
Figure BDA0003408002940000081
表示第c种对比度的欠采样图像,
Figure BDA0003408002940000082
表示第c种 对比度图像经过第s个数据校验模块的输出。当s=1时,
Figure BDA0003408002940000083
b)稀疏学习模块用于学习一个稀疏转换:它包含了前向稀疏操作和反向稀疏操作,分别 用
Figure BDA0003408002940000084
Figure BDA0003408002940000085
表示,且满足
Figure BDA0003408002940000086
数据校验块的输出作为前向稀疏操作的输入,稀疏操 作用三层复数卷积层代替,每层包含24个特征图,卷积核大小为3×3,激活函数使用复数线性 整流函数(Complex Rectified Linear Unit,CReLU)(Elizabeth K.Cole,Joseph Y.Cheng,John M. Pauly,Shreyas S.Vasanawala,Analysis of deep complex-valued convolutional neural networks for MRI reconstruction.arXiv:2004.01738,2020.),前向稀疏操作如下:
Figure BDA0003408002940000087
Figure BDA0003408002940000088
是第c种对比度磁共振图像在第s个前向稀疏操作的输出。与数据校验模块一样,每 种对比度图像单独操作。需要注意在同一个迭代块中,不同对比度图像在进行前向稀疏操作 时网络权重共享,即每个迭代块中仅产生一组
Figure BDA0003408002940000089
反向稀疏操作和前向操作类似,目的是为 了模拟传统算法中稀疏转换的逆操作。网络层数和卷积核以及激活函数与前向稀疏操作一致, 不同处在于反向操作的输入是联合稀疏约束模块的输出,操作如下:
Figure BDA00034080029400000810
其中,
Figure BDA00034080029400000811
表示第c种对比度磁共振图像在第s个反向稀疏操作后的输出,
Figure BDA00034080029400000812
是第c种对比度 磁共振图像在第s个联合稀疏约束模块的输出,在接下来的步骤c)中会对共同稀疏约束模块 进行介绍。同前向稀疏操作一样,反向稀疏操作中同样网络权重共享。
c)联合稀疏约束模块用于约束不同对比度图像共同稀疏的特性,也是整个迭代块中不同 对比度交换信息的唯一模块:这个模块包含了两个操作,即组操作G和组软阈值操作
Figure BDA00034080029400000813
其中λ表示惩罚参数且满足λ∈Θ,||·||2表示向量的二范数。 组操作G的过程如下:对于前向稀疏操作的输出
Figure BDA00034080029400000814
其大小为n×h×w×24(每次训练样本数 量×图像高度×图像宽度×输出的特征图数量),即
Figure BDA00034080029400000815
之后将不同对比度磁共振图像 经过前向稀疏操作后得到的对应的特征图组合起来,用
Figure BDA00034080029400000816
表示形成的24个组的特征,
Figure BDA0003408002940000091
代表T1对比度图像的第k个特征图的向量形式。最后对每组特征图对应的像素点进行组阈 值操作。因此,第s个迭代块中的联合稀疏约束模块可以表示为:
Figure BDA0003408002940000092
此外,为了加速网络的训练和提升网络效果,在迭代块内核迭代块间分别运用残差结构,在 迭代块内,残差结构定义式为:
Figure BDA0003408002940000093
其中,
Figure BDA0003408002940000094
表示第c种对比度磁共振图像在第s个迭代块的输出。
迭代块间的残差结构体现在第s+1个迭代块的输入是前两个迭代块的输出加权的和,数 学公式表示为:
Figure BDA0003408002940000095
其中,μs用来平衡前两个迭代块的输出,且满足μs∈Θ。参数{γ,λ,μ}会进行相应的初始化。 参数{γ,λ,μ}的初始化为{1,0.001,0.5}。
第三步:建立网络损失函数
考虑到每个迭代块的输出对最后的重建结果产生影响,网络的损失函数如下:
Figure BDA0003408002940000096
其中,C和S分别表示对比度图像数量和网络迭代块的数量,|·|表示对向量中的每个复数求模 值,
Figure BDA0003408002940000097
表示向量的二范数的平方,
Figure BDA0003408002940000098
代表第c种对比度图像在第s个迭代块的输出,兼顾图 像重建质量和重建时间,设置S=8。
第四步:训练网络参数
采用深度学习中的Adam算法(Diederik P.Kingma,Jimmy Ba,Adam:A method forstochastic optimization.arXiv:1412.6980,2014)实现网络的反向传播达到训练更新网络参数的 目的,训练完成的参数集合用
Figure BDA0003408002940000099
表示。。
第五步:用训练好的网络模型对欠采样多对比度磁共振图像进行重建
通过第四步,此时网络模型已经训练完成,即网络映射函数f(·)已经确立。将采集到的 多对比度欠采样磁共振图像输入到网络中,网络最终输出表示对应对比度磁共振图像的重建 结果:
Figure BDA0003408002940000101
其中,
Figure BDA0003408002940000102
Figure BDA0003408002940000103
分别表示T1/T2对比度磁共振欠采样图像对应的重建结果。
在实施例中,T1/T2对比度全采样磁共振图像和15%采样率下的重建磁共振图像及其对 应误差图如图3所示。
可以看出,一种人工智能多对比度磁共振成像方法可以快速重建出高质量的磁共振图像, 且优于前言的密集残差卷积神经网络(Liyan Sun,Zhiwen Fan,Xueyang Fu,YueHuang, Xinghao Ding,John Paisley,A deep information sharing network formulti-contrast compressed sensing MRI reconstruction.IEEE Transactions onImage Processing,28(12):6141-6153,2019)的 重建结果。
本发明提出一种人工智能多对比度磁共振快速成像方法。这种方法依据传统迭代重建来 搭建神经网络,构建联合稀疏约束模块来利用不同对比度的结构信息,并使用复数卷积网络 来直接处理复数数据。所发明方法具有重建速度快、重建图像质量好、网络可解释性好的特 点。

Claims (6)

1.一种人工智能多对比度磁共振快速成像方法,其特征在于包括以下步骤:
1)获取不同对比度的多通道磁共振图像,通过将多通道合成单通道来得到满足网络训练要求的训练集;
2)根据传统最优化迭代计算过程搭建基于联合稀疏约束的复数神经网络;
3)建立网络损失函数;
4)训练网络参数;
5)用训练好的网络模型对欠采样多对比度磁共振图像进行重建。
2.如权利要求1所述一种人工智能多对比度磁共振快速成像方法,其特征在于在步骤1)中,所述获取不同对比度的多通道磁共振图像,通过将多通道合成单通道来得到满足网络训练要求的训练集的具体方法如下:
从磁共振成像仪上获取到的完整的多通道磁共振数据经傅里叶变换后表示为Xc=[xc,1,xc,2,...,xc,J],其中,
Figure FDA0003408002930000011
N、J、c分别表示获取图像像素点的个数、通道的数量以及第c种对比度图像,
Figure FDA0003408002930000012
表示复数域;由于处理单通道的数据,因此需要将多通道合并成为单通道,采用ESPIRiT方法完成单通道的合并,合成方法如下:
Figure FDA0003408002930000013
ES(·)表示用ESPIRiT方法将多通道合成为单通道,
Figure FDA0003408002930000014
代表第c种对比度图像的合成图像,
Figure FDA0003408002930000015
在网络训练过程中作为标签;然后用欠采样矩阵
Figure FDA0003408002930000016
和傅里叶变换
Figure FDA0003408002930000017
Figure FDA0003408002930000018
进行操作得到欠采样图像
Figure FDA0003408002930000019
μ表示数据是欠采样的,M表示采样点的个数,具体操作为:
Figure FDA00034080029300000110
其中,(·)H、(·)T分别表示复共轭转置和转置;通过上述操作,得到的供网络模型训练的训练集
Figure FDA00034080029300000111
L表示训练集中数据(Xu,Xcombined)对数,
Figure FDA00034080029300000112
Figure FDA00034080029300000113
3.如权利要求1所述一种人工智能多对比度磁共振快速成像方法,其特征在于在步骤2)中,所述基于联合稀疏约束的复数神经网络以迭代块为核心,通过叠加若干个迭代块来构成整个网络;每个迭代块包含三个模块:数据校验模块、稀疏学习模块和联合稀疏约束模块,其中联合稀疏约束模块是整个迭代块中不同对比度图像交换信息的唯一位置,也是最关键的模块;整个网络用一个映射函数表示,即f(Xu;Θ),Θ代表网络训练参数的集合,每个模块的具体内容如下:
2.1数据校验模块用于保证重建图像与测量数据间的一致性:第s个迭代块的输入表示为
Figure FDA0003408002930000021
s表示迭代块的索引,
Figure FDA0003408002930000022
表示第c种对比度磁共振图像在第s个迭代块处的输入,数据校验快执行如下操作:
Figure FDA0003408002930000023
每种对比度图像单独进行数据校验操作,γs表示第s个迭代块的步长且满足γs∈Θ,U和F分别表示欠采样矩阵和傅里叶变换,
Figure FDA0003408002930000024
表示第c种对比度的欠采样图像,
Figure FDA0003408002930000025
表示第c种对比度图像经过第s个数据校验模块的输出;当s=1时,
Figure FDA0003408002930000026
2.2稀疏学习模块用于学习一个稀疏转换,目的是让输入的图像被尽可能的稀疏表示:它包含前向稀疏操作和反向稀疏操作,分别用
Figure FDA0003408002930000027
Figure FDA0003408002930000028
表示,且满足
Figure FDA0003408002930000029
数据校验块的输出作为前向稀疏操作的输入,稀疏操作用三层复数卷积层代替,每层包含24个特征图,卷积核大小为3×3,激活函数使用复数线性整流函数,前向稀疏操作如下:
Figure FDA00034080029300000210
Figure FDA00034080029300000211
是第c种对比度磁共振图像在第s个前向稀疏操作的输出;与数据校验模块一样,每种对比度图像单独操作;需要注意在同一个迭代块中,不同对比度图像在进行前向稀疏操作时网络权重共享,即每个迭代块中仅产生一组
Figure FDA00034080029300000212
反向稀疏操作和前向操作类似,目的是为模拟传统算法中稀疏转换的逆操作;网络层数和卷积核以及激活函数与前向稀疏操作一致,不同处在于反向操作的输入是联合稀疏模块的输出,操作如下:
Figure FDA00034080029300000213
其中,
Figure FDA00034080029300000214
表示第c种对比度磁共振图像在第s个反向稀疏操作后的输出,
Figure FDA00034080029300000215
是第c种对比度磁共振图像在第s个联合稀疏约束模块的输出;同前向稀疏操作一样,反向稀疏操作中同样网络权重共享;
2.3联合稀疏约束模块用于约束不同对比度图像共同稀疏的特性,也是整个迭代块中不同对比度交换信息的唯一模块:这个模块包含两个操作,即组操作G和组软阈值操作
Figure FDA0003408002930000031
其中λ表示惩罚参数且满足λ∈Θ,||·||2表示向量的二范数;组操作G的过程如下:对于前向稀疏操作的输出
Figure FDA0003408002930000032
经过前向稀疏操作后的大小为n×h×w×24,其中,n为每次训练样本数量,h为图像高度,w为图像宽度,24为输出的特征图数量,即
Figure FDA0003408002930000033
之后将不同对比度磁共振图像经过前向稀疏操作后得到的对应的特征图组合起来,用
Figure FDA0003408002930000034
表示形成的24个组的特征,其中
Figure FDA0003408002930000035
代表第c种对比度图像的第k个特征图的向量形式;最后对每组特征图对应的像素点组成一个向量进行组阈值操作,因此,第s个迭代块中的联合稀疏约束模块表示为:
Figure FDA0003408002930000036
此外,为了加速网络的训练和提升网络效果,在迭代块内和迭代块间分别运用残差结构,在迭代块内,残差结构定义式为:
Figure FDA0003408002930000037
其中,
Figure FDA0003408002930000038
表示第c种对比度磁共振图像在第s个迭代块的输出;
迭代块间的残差结构体现在第s+1个迭代块的输入是前两个迭代块的输出加权的和,数学公式表示为:
Figure FDA0003408002930000039
其中,μs用来平衡前两个迭代块的输出,且满足μs∈Θ,参数{γ,λ,μ}会进行相应的初始化。
4.如权利要求1所述一种人工智能多对比度磁共振快速成像方法,其特征在于在步骤3)中,考虑到每个迭代块的输出对最后的重建结果产生影响,网络的损失函数如下:
Figure FDA00034080029300000310
其中,C和S分别表示对比度图像数量和网络迭代块的数量,|·|表示求向量中每一个复数的模值,
Figure FDA00034080029300000311
表示向量的二范数的平方,
Figure FDA00034080029300000312
代表第c种对比度图像在第s个迭代块的输出。
5.如权利要求1所述一种人工智能多对比度磁共振快速成像方法,其特征在于在步骤4)中,采用深度学习中的Adam算法实现网络的反向传播达到训练更新网络参数的目的,训练完成的参数集合用
Figure FDA00034080029300000313
表示。
6.如权利要求1所述一种人工智能多对比度磁共振快速成像方法,其特征在于在步骤5)中,通过步骤4)此时网络模型已经训练完成,即网络映射函数f(·)已经确立;将采集到的多对比度欠采样图像输入到网络中,网络最终输出表示对应对比度磁共振图像的重建结果
Figure FDA0003408002930000041
其中
Figure FDA0003408002930000042
Figure FDA0003408002930000043
表示待重建的多对比度磁共振数据,
Figure FDA0003408002930000044
Figure FDA0003408002930000045
表示第c种对比度磁共振图像对应的重建结果。
CN202111521959.6A 2021-12-13 2021-12-13 一种人工智能多对比度磁共振快速成像方法 Pending CN114305386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111521959.6A CN114305386A (zh) 2021-12-13 2021-12-13 一种人工智能多对比度磁共振快速成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111521959.6A CN114305386A (zh) 2021-12-13 2021-12-13 一种人工智能多对比度磁共振快速成像方法

Publications (1)

Publication Number Publication Date
CN114305386A true CN114305386A (zh) 2022-04-12

Family

ID=81051028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111521959.6A Pending CN114305386A (zh) 2021-12-13 2021-12-13 一种人工智能多对比度磁共振快速成像方法

Country Status (1)

Country Link
CN (1) CN114305386A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597037A (zh) * 2023-05-22 2023-08-15 厦门大学 一种物理生成数据驱动的快速磁共振智能成像方法
CN116597037B (zh) * 2023-05-22 2024-06-04 厦门大学 一种物理生成数据驱动的快速磁共振智能成像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597037A (zh) * 2023-05-22 2023-08-15 厦门大学 一种物理生成数据驱动的快速磁共振智能成像方法
CN116597037B (zh) * 2023-05-22 2024-06-04 厦门大学 一种物理生成数据驱动的快速磁共振智能成像方法

Similar Documents

Publication Publication Date Title
CN110151181B (zh) 基于递归残差u型网络的快速磁共振成像方法
CN110378980B (zh) 一种基于深度学习的多通道磁共振图像重建方法
CN108335339B (zh) 一种基于深度学习和凸集投影的磁共振重建方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN111047515B (zh) 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN108596994B (zh) 一种基于深度学习和数据自洽的磁共振弥散加权成像方法
WO2020134826A1 (zh) 磁共振并行成像方法及相关设备
CN106373167A (zh) 一种基于深度神经网络的压缩传感核磁共振成像方法
CN112150568A (zh) 基于Transformer模型的磁共振指纹成像重建方法
CN109584164B (zh) 基于二维影像迁移学习的医学图像超分辨率三维重建方法
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
CN112946545B (zh) 基于PCU-Net网络的快速多通道磁共振成像方法
CN111870245A (zh) 一种跨对比度引导的超快速核磁共振成像深度学习方法
CN111754598B (zh) 基于变换学习的局部空间邻域并行磁共振成像重构方法
CN114998458A (zh) 基于参考图像和数据修正的欠采样磁共振图像重建方法
CN116823625A (zh) 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
CN109920017B (zh) 基于特征向量的自一致性的联合全变分Lp伪范数的并行磁共振成像重构方法
CN113835059A (zh) 一种用于扩散加权磁共振成像的数据处理方法和系统
CN114305386A (zh) 一种人工智能多对比度磁共振快速成像方法
CN116863024A (zh) 一种磁共振图像重建方法、系统、电子设备及存储介质
CN115471580A (zh) 一种物理智能高清磁共振扩散成像方法
CN114140404A (zh) 基于人工智能的肺部多核mri双域超分辨率重建方法
Wang et al. High-fidelity reconstruction with instance-wise discriminative feature matching loss
Qiao et al. A model-based deep network for MRI reconstruction using approximate message passing algorithm
CN113838105A (zh) 基于深度学习的弥散微循环模型驱动参数估计方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination