CN113509165B - 基于CAR2UNet网络的复数快速磁共振成像方法 - Google Patents
基于CAR2UNet网络的复数快速磁共振成像方法 Download PDFInfo
- Publication number
- CN113509165B CN113509165B CN202110309274.9A CN202110309274A CN113509165B CN 113509165 B CN113509165 B CN 113509165B CN 202110309274 A CN202110309274 A CN 202110309274A CN 113509165 B CN113509165 B CN 113509165B
- Authority
- CN
- China
- Prior art keywords
- complex
- data
- car2unet
- network
- magnetic resonance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000002595 magnetic resonance imaging Methods 0.000 title claims abstract description 41
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 34
- 230000007246 mechanism Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000005070 sampling Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000008034 disappearance Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 238000010587 phase diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 102220610836 Thialysine N-epsilon-acetyltransferase_K80G_mutation Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Radiology & Medical Imaging (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于CAR2UNet网络的复数快速磁共振成像方法，磁共振成像技术在实际应用中存在扫描时间较长的问题，且磁共振成像数据是一种复数信号，相位能获得磁化率等多种人体生理信息。本文提出基于复数注意力机制的递归残差U型卷积神经网络，对复数磁共振数据进行离线训练和快速重建，复数注意力机制模块通过着重关注图像中的感兴趣区域来增加网络模型重建精度，复数递归残差模块可以在增加卷积神经网络深度的同时控制模型参数数量，减少训练时梯度消失的现象。实验结果表明，CAR2UNet卷积神经网络能够重建出高质量的复数图像，使得感兴趣区域的细节更清晰，有助于欠采样数据的幅值和相位成像，并提高磁共振成像的速度。
Description
技术领域
本发明属于快速磁共振成像领域，涉及一种基于CAR2UNet网络的复数快速磁共振成像方法。
背景技术
磁共振成像(MRI，Magnetic Resonance Imaging)由于具有无辐射、软组织分辨率高和非入侵式检测等优点，被广泛应用到临床医学诊断中。但是MRI技术还存在成像时间较长和容易产生运动伪影等缺点，使得该技术应用于实际临床医学诊断中的范围受限，所以如何加快磁共振成像成为MRI领域的研究热点之一。
伴随着近几年计算机硬件整体性能的提升，尤其是GPU性能的提升，在MRI研究领域内出现了基于卷积神经网络的方法来加快磁共振成像，该方法取得了较好的效果。目前基于卷积神经网络的快速磁共振成像方法主要有两种，一种是基于实数展开训练的，另一种是基于复数展开训练的。基于实数的方法虽然能得到较好的成像效果，但是重建得到的图像只保留了幅值信息。但是MRI采集到的数据是复数数据，复数数据中所包含的相位信息具有如磁化率、血流量等信息。在实际的临床应用中，磁共振图像中的病变部位往往是需要被特别关注的，而注意力机制又可以突出重建图像的局部细节，即病变部位，因此研究基于注意力机制和复数卷积神经网络的快速磁共振成像具有实际的临床应用价值。
目前已申请的和注意力机制和基于复数卷积神经网络的快速磁共振成像相关的专利有：
基于轻量级的递归式非局部自注意力的图像分割方法(申请号：CN202011261240.9)，该方法能够有效进行人像分割，效果显著。基于层次化多头交互注意力的对话状态生成方法(申请号：CN202011341577.0)，提出将自我注意力机制应用于任务型对话技术领域。基于AR2U-Net神经网络的快速磁共振成像方法(申请号：CN201911077341.8)，提出了实数注意力递归残差网络的磁共振成像方法。一种基于深度学习的多通道磁共振图像重建方法(申请号：CN201910641089.2)提出构建多通道深度学习模型，采用残差连接的方式来训练模型的方法，该方法具有重建速度快和重建效果好的优点。基于复数R2U_Net网络的快速磁共振成像方法(申请号：CN201911380988.8)，提出了一种基于复数递归残差的卷积神经网络模型。
国内外已发表的基于复数卷积神经网络的快速磁共振成像方面的文章有：
2018年，Lee D等人提出的基于双框架U-net网络对磁共振图像的幅值和相位分别进行训练的方法(Lee D,Yoo J,Tak S,et al.Deep residual learning for acceleratedMRI using magnitude and phase networks[J].IEEE Transactions on BiomedicalEngineering,2018,65(9):1985-1995.)；2018年，Eo T等人提出KIKI-net卷积神经网络(EoT,Jun Y,Kim T,et al.KIKI-net:cross-domain convolutional neural networks forreconstructing undersampled magnetic resonance images[J].Magnetic Resonancein Medicine,2018,80(5):2188-2201.)，将磁共振数据的实部和虚部作为两通道数据进行训练，但是网络只重建了幅值图像，丢失了相位信息。
2018年，Trabelsi C等人提出了复数卷积神经网络的数学理论基础(Trabelsi C,Bilaniuk O,Zhang Y,et al.Deep complex networks[J].Arxiv Preprint Arxiv:1705.09792,2017.)，并基于复数模块的计算将复数卷积神经网络应用于音频预测中，验证了复数卷积神经网络的可行性。2019年，Choi H S等人提出基于深层复数U-Net的相位感知语音增强技术(Choi H S,Kim J H,Huh J,et al.Phase-aware speech enhancement withdeep complex u-net[C].International Conference on LearningRepresentations.2018.)，进一步推进了复数卷积神经网络在语音领域的应用。2018年，Dedmari M A等人提出了利用密集性全卷积神经网络的复数磁共振成像方法(Dedmari MA,Conjeti S,Estrada S,et al.Complex fully convolutional neural networks forMR image reconstruction[C].International Workshop on Machine Learning forMedical Image Reconstruction,2018:30-38.)，取得了重建效果较好的幅值和相位图像。2019年，Wang S等人提出了基于复数残差网络的并行磁共振成像方法(Wang S,Cheng H,Ying L,et al.DeepcomplexMRI:Exploiting deep residual network for fastparallel MR imaging with complex convolution[J].Magnetic Resonance Imaging,2020,68:136-147.)，恢复重建了高质量的幅值图像。2020年，Cole E等人研究了端到端的复数卷积神经网络，利用多组数据对不同宽度、不同深度的网络进行了训练和分析，并验证了各网络的有效性(Cole E K,Cheng J Y,Pauly J M,et al.Complex-valuedconvolutional neural networks for MRI reconstruction[J].Arxiv Preprint Arxiv:2004.01738,2020.)。
以上发表的基于复数卷积神经网络和注意力机制方面相关的文章中，主要是基于深度级联网络和U型卷积神经网络来进行MRI快速成像，或者将注意力机制应用于分割或实数磁共振成像领域，没有出现过将注意力机制与复数U型递归残差卷积神经网络融合在一起用于快速磁共振成像方面的文章或专利。
发明内容
本发明在基于复数递归残差卷积神经网络的基础上，加入了复数注意力机制模块，提出了基于CAR2UNet卷积神经网络的快速磁共振成像方法。CAR2UNet卷积神经网络的子模块主要包括复数卷积、复数批标准化、复数激活函数、复数递归残差模块和复数注意力机制模块。其中，复数递归残差模块可以解决深层网络的训练问题和控制模型参数的总量，复数注意力机制模块可以突出感兴趣区域，弱化局部不相关的信息。基于复数CAR2UNet网络重建得到的图像不仅具有幅值信息和相位信息，而且由于引入了复数注意力机制模块，能够还原出更多的高频信息，增强图像的局部细节。
基于CAR2UNet网络的快速磁共振成像方法，具体包括以下步骤：
步骤一、数据处理与划分
s1.1、数据采集与预处理
初始数据为全采样的k空间复数数据，用SK(kx，ky)表示，其中，kx表示k空间频率编码FE方向的位置，ky表示k空间相位编码PE方向的位置；选取PE方向为模拟欠采样方向，也就是在PE方向每隔n行取一行，对于k空间中心区域全采集，采集的行数约占总行数的4％，在FE方向全采集；根据以上要求构造欠采样模板，公式如下：
其中，mask表示欠采样模板，对于需要采集的数据，mask的值设置为1，不需要采集的部分设置为0，且mask矩阵的大小要与全采样k空间复数数据矩阵的大小一致；
接下来对全采样k空间复数数据进行模拟欠采样，方法就是将欠采样模板mask与k空间复数矩阵点乘，公式如下：
Su(kx，ky)＝mask.*SK(kx，ky) [2]
其中，Su(kx，ky)表示欠采样k空间数据；.*表示点乘；
对于全采样和欠采样的k空间数据SK(kx，ky)和Su(kx，ky)，进行傅里叶反变换，转换到图像域，公式如下：
Iref(x，y)＝IDFT(SK(kx，ky)) [3-1]
Iu(x，y)＝IDFT(Su(kx，ky)) [3-2]
其中，Iref(x，y)为全采样参考图像，Iu(x，y)为欠采样图像，也就是填零重建图，将对应的数据对保存成mat文件构成训练数据。
s1.2数据集划分
将复数数据的实部和虚部一一对应分开，再将数据集分为训练集、验证集和测试集，其中全采样数据作为欠采样数据的真实值标签。
步骤二：CAR2UNet网络模型的构建与训练优化
s2.1、CAR2UNet网络的构建
CAR2UNet卷积神经网络包括四个复数降采样层和四个复数升采样层，其中每层复数降采样包含一个复数递归残差模块和复数最大值池化模块；每层复数升采样层包含一个复数递归残差模块和复数上采样模块；在升采样中，每层的上采样输出和对应层的降采样递归残差的输出进行合并作为复数注意力机制模块CA的输入，然后复数注意力机制模块的输出和上采样的输出合并，再依次经过复数递归残差模块得到升采样层的输出；该网络中复数递归残差模块中，包含两个复数递归单元和一个残差单元；复数卷积公式如下：
hn*Wn-1＝(A*x-B*y)+i(A*x+B*y) [4-2]
其中，*表示卷积；hn＝x+iy为复数卷积的卷积核，其中hn为一个复数矩阵，i表示虚部，x和y为实数矩阵；卷积核的大小为s×k×k×m，s表示上一层特征图的数量，k表示卷积核的大小，m为当前层的卷积核数量；复数数据的输入为Wn-1＝A+iB，其中A和B都为实数矩阵，Wn为经过卷积后的第n层输出；当n＝1时Wn-1＝W0，即填零重建图Iu(x，y)；复数批标准化公式如下：
其中，是计算中间值；V是协方差矩阵，Vri＝Vir，初始化为0，Vrr和Vii的值初始化为/>
其中，移位参数β为复数，其实部和虚部记为R{β}和I{β}均初始化为0；γ为缩放参数矩阵，γrr和γii初始为γri初始化为0；
复数激活函数公式如下：
其中，Z为批标准化的输出，θz是Z的相位；b为实数，是一个可学习的参数；M是复数激活函数的输出；
复数递归残差模块的公式如下：
W1+n＝modReLU(BN(hn+1*(Wn-1+Wn)+bn+1)) [7-1]
Wt+n＝modReLU(BN(hn+t*(Wn-1+Wn+t-1)+bn+t)) [7-2]
其中，Wt+n是递归单元的输出，t表示递归次数，hn+t表示第t次递归时的复数卷积核，bn+t表示第t次递归时的卷积的偏置；Wn和Wn+1分别是残差单元的输入和输出，F表示残差，ρ(Wn)表示输入Wn的恒等映射；
注意力机制是受人类视觉的处理机制启发而衍生出来的一项技术，即人类可以快速扫描全局图像时获得自己感兴趣的局部区域，弱化了不相关背景区域的特征响应。注意力机制也可以说是一种资源分配技术，可以主动并自觉地着重关注某一对象。设Fu。是复数升采样层的特征，Fdown是复数降采样层的特征，σ1和σ2是参数值不同的复数激活函数modReLU，ψ代表复数线性变换，则复数注意力机制模块先将复数降采样层Fdown和上一层复数升采样层Fup的特征分别经过一个1×1的复数卷积操作后进行合并，再依次经过复数激活函数σ1、复数线性变换ψ、复数激活函数σ2以及复数重采样得到复数注意力机制系数，最后将编码层特征乘以复数注意力机制系数进行输出。复数重采样的目的是为了把输出特征图的大小转换为复数降采样层Fdown输入的大小。
s2.2、CAR2UNet网络的训练
将复数均方误差函数作为网络反向传播的损失函数，通过损失函数计算输出层的损失值；公式如下：
其中，CAR2UNet(Iu (ξ))为数据经过网络后的输出；T表示批数据的大小，ξ表示同批数据的第ξ个图像；R()代表取实部，I()代表取虚部；
s2.3、CAR2UNet网络的优化
将epoch次数作为循环迭代的次数，当epoch次数未达到设定值时执行优化算法，当epoch次数达到设定值时，停止迭代，得到最终的网络参数θ；
步骤三、基于CAR2UNet网络的图像重建
将训练好的CAR2UNet网络参数θ对欠采样测试数据Itest_u(x，y)进行重建，重建结果用Iout(x，y)表示：
Iout(x，y)＝CAR2UNet(Itest_u(x，y)，θ) [9]
把Iout(x，y)经过傅里叶变换转换为k空间数据，用Sr(kx，ky)表示，同样再把测试数据Itest_u(x，y)转换为k空间数据，用Su(kx，ky)表示，把Su(kx，ky)中实际采集到的数据替换Sr(kx，ky)中对应位置的数据，再通过傅里叶反变换转换到图像域，用Irec(x，y)表示：
Irec(x，y)＝IDFT(Su(kx，ky)+Sr(kx，ky).*(1-mask)) [10]。
通过本发明的方法，即通过CAR2UNet卷积神经网络来进行快速磁共振成像的方法得到的重建图像，不仅保存了幅值信息，也保存了相位信息，并且由于复数注意力机制模块的作用，图像的区域细节也变得更加明显。本发明具有以下的特点：
1)复数卷积神经网络不仅可以重建幅值图像，也可以重建相位信息。
2)复数注意力机制模块的引入，可以在训练过程中加强图像中我们所感兴趣的部分的特征，减少不相关特征的提取，从而在重建图像的过程中恢复出更多感兴趣的高频细节，方便在临床应用时的诊断。
3)复数递归残差的引入可以在使网络训练变得更加容易，控制模型参数数量。
4)采用Adam算法可以为不同的参数设置独立的自适应学习率，有利于模型得到更好的优化参数。
附图说明
图1是欠采样方式；
图2是复数注意力机制的结构图；
图3是本发明的网络结构图；
图4是复数图像重建实例的幅值对比图和误差图；
图5是复数图像重建实例的幅值局部放大图；
图6是复数图像重建实例的相位对比图和误差图；
具体实施方式
以下结合附图对本发明作进一步的解释说明；
基于CAR2UNet网络的快速磁共振成像方法，实验环境为INTEL 17-1070016G内存，Tesla K80 11G显存，Windows10，Python3.7.1，Pytorch1.7.0+cu110。具体包括以下步骤：
步骤一、数据处理与划分
本实例实验中采用人体膝盖复数磁共振图像(该数据来源于http：//old.mridata.org)，包括20个采集样本，每个采集样本的大小为320×320×256×8。取256×320的二维横切面，选择2000张单通道复数全采样图像。原始的全采样k空间数据为Sk(kx，ky)，经过离散傅里叶反变换得到全采样图像Iref(x，y)。
欠采样k空间图像由Sk(kx，ky)经过模拟规则欠采样得到，规则欠采样模板如图1(b)所示，规则欠采样模板用mask表示。采样率选择27％，通过将Sk(kx，ky)与mask点乘的方式得到欠采样k空间数据Su(kx，ky)，对Su(kx，ky)进行离散傅里叶反变换，得到欠采样图像Iu(x，y)，然后将全采样图像和欠采样图像一一对应组成数据集，全采样图像作为欠采样图像的真实值标签。
将数据集的数据处理分成3部分，其中，1760对图像用来训练网络，120对图像作为训练中的验证数据，120对作为测试数据。
步骤二、CAR2UNet网络的构建与训练优化
s2.1、CAR2UNet网络构建
复数注意力机制模块如图2所示，Fup是复数升采样层的特征，Fdown是复数降采样层的特征，σ1和σ2是参数值不同的复数激活函数modReLU，ψ代表复数线性变换。复数注意力机制模块先将复数降采样层和上一层复数升采样层的特征分别经过一个1×1的复数卷积操作后进行合并，再依次经过复数激活函数σ1、复数线性变换ψ、复数激活函数σ2以及复数重采样得到注意力机制系数，最后将编码层特征乘以注意力机制系数进行输出。复数重采样的目的是为了把输出特征图的大小转换为复数降采样层Fdown输入的大小。
如图3所示，复数递归残差U型卷积神经网络包括四个降采样层和四个升采样层，其中每层降采样包含一个复数递归残差模块和复数池化模块。每个升采样层包含一个复数递归残差模块和复数上采样模块，在升采样中，每个上采样的输出和相对应的上一层的降采样递归残差单元的输出进行合并，再依次经过复数递归残差模块得到升采样层的输出。该网络的复数递归残差模块中，包含两个复数递归单元和一个残差单元。
CAR2UNet网络的卷积操作中的卷积核大小设为3×3，步长设为1，卷积计算的填充参数设为1。复数池化窗口大小设为2×2，步长为2。在网络的最后一层的输出卷积中，卷积核大小设为1×1，步长设为1，填充参数为0。
s2.2、CAR2UNet网络训练、优化
利用误差的反向传播机制和优化器更新CAR2UNet网络参数。选取复数均方误差函数作为反向传播的损失函数。利用Adam算法对网络参数进行优化；达到设定的训练次数时结束，得到参数优化后的CAR2UNet卷积神经网络。设置epoch的值为50，即总共训练50次。
步骤三、基于CAR2UNet网络的图像重建
在CAR2UNet网络模型中导入步骤二优化后的网络模型参数θ，再输入测试集中欠采样数据Itest_u(x，y)，得到预测数据Iout(x，y)；然后利用数据一致性来进一步提高图像的重建质量。数据一致性操作在k空间中进行，利用真实采集到的数据替换k空间重建数据中对应位置上的数据，再利用离散傅里叶逆变换得到最终的重建图像Irec(x，y)。
本发明可以通过总相对误差(Total Relative Error，TRE)和结构相似性(Structural Similarity，SSIM)准则对复数重建图像进行定量的分析，分别如式12和式13所示。TRE的值越小，代表重建的磁共振图像质量越高，而SSIM的值越大，则代表重建的图像与参考图更相似，即重建质量越高。
其中，Irec(x，y)是复数欠采样磁共振数据的幅值重建图，Iref(x，y)是复数全采样磁共振数据的幅值参考图。
c1＝(k1L)2 [13-2]
c2＝(k2L)2 [13-3]
其中，a，b分别代表两张复数磁共振幅值图像，设μa代表a的平均值，μb代表b的平均值，σa代表a的方差，σb代表b的方差，σab代表a和b的协方差，L代表MR图像的像素值变化区间(可设为0-255)，k1＝0.01，k2＝0.03，c1和c2是常数。
如图4所示，是复数膝盖数据重建幅值图和幅值误差图，(a)是全采样幅值参考图，(b)是规则欠采样填零重建幅值图，图中有显著的重叠伪影，(c)是规则欠采样CUNet重建幅值图，(d)代表规则欠采样CAR2UNet重建幅值图，(e)是欠采样率为27％的规则欠采样模板，(f)是填零重建幅值的误差图，(g)是CUNet重建幅值误差图，(h)是CAR2UNet重建幅值的误差图。从图4可见，CUNet和CAR2UNet均可抑制填零重建幅值图中的重叠伪影，相比CUNet重建，CAR2UNet重建幅值的误差更小。其中填零重建SSIM值为0.82，TRE值为3.5×10-3；CUNet的SSIM值为：0.90，TRE值为：1.6×10-3；CAR2UNet的SSIM值为：0.89，TRE值为：1.6×10-3。CAR2UNet的TRE和CUNet方法相当，但是CAR2UNet的SSIM值高于CUNet方法的SSIM值，即CAR2UNet的重建质量相对更高。
如图5所示，是将CUNet卷积神经网络和CAR2UNet卷积神经网络重建的膝盖幅值图像局部放大的细节图，其中图(a)是测试数据的全采样幅值参考图，(b)是CUNet卷积神经网络重建的幅值图，(c)是CUNet卷积神经网络重建的幅值图，(d)是测试数据的全采样幅值参考图的局部放大图，(e)是CUNet卷积神经网络重建的幅值图的局部放大图，(f)是CAR2UNet卷积神经网络重建的幅值图的局部放大图。如图中红色箭头所示，CAR2UNet重建图像更接近参考图像。
如图6所示，是复数膝盖数据重建相位图和相位误差图，(a)是全采样相位参考图，(b)是规则欠采样填零重建相位图，(c)是规则欠采样CUNet重建相位图，图中有显著的重叠伪影，(d)代表规则欠采样CAR2UNet重建相位图，(e)是欠采样率为27％的规则欠采样模板，(f)是填零重建相位的误差图，(g)是CUNet重建相位误差图，(h)是CAR2UNet重建相位的误差图。从图6可见，CUNet和CAR2UNet均可抑制填零重建相位图中的重叠伪影。
120对测试图像的填零重建图的TRE误差均值为2.3×10-3，SSIM均值为0.82。CUNet网络重建图的TRE误差均值为1.2×10-3，SSIM均值为0.88，CAR2UNet网络重建图的TRE误差均值为1.0×10-3，SSIM均值为0.90。从均值比较可以看出CAR2UNet的TRE均值误差小于CUNet方法，CAR2UNet的SSIM均值略高于CUNet方法，即CAR2UNet的重建质量总体更高。
填零重建图的重建时间为0.9s；CUNet网络训练50轮(50个epochs)大概需要12小时，重建一张复数磁共振图像需要0.3s；CAR2UNet网络训练50轮大概需要25小时，重建一张复数磁共振图像需要0.6s。离线训练时间虽然较长，但重建速度较快。
本文提出基于CAR2UNet网络的快速磁共振成像方法，复数注意力机制模块通过关注图像的感兴趣区域来增加网络模型的重建精度。复数递归模块可以在增加卷积神经网络深度的同时控制模型参数数量，残差连接使得信息前后向传播更加顺畅。CAR2UNet卷积神经网络能够使得感兴趣区域的细节更为清晰，重建出高质量的磁共振复数图像，重建速度也保持在秒级别，可达到实际应用的需求。
Claims (3)
1.基于CAR2UNet网络的复数快速磁共振成像方法，其特征在于：该方法具体包括以下步骤：
步骤一、数据处理与划分
s1.1、数据采集与预处理
s1.2数据集划分
步骤二：CAR2UNet网络模型的构建与训练优化
s2.1、CAR2UNet网络的构建
CAR2UNet卷积神经网络包括四个复数降采样层和四个复数升采样层，其中每层复数降采样包含一个复数递归残差模块和复数最大值池化模块；每层复数升采样层包含一个复数递归残差模块和复数上采样模块；在升采样中，每层的上采样输出和对应层的降采样递归残差的输出进行合并作为复数注意力机制模块CA的输入，然后复数注意力机制模块的输出和上采样的输出合并，再依次经过复数递归残差模块得到升采样层的输出；该网络中复数递归残差模块中，包含两个复数递归单元和一个残差单元；复数卷积公式如下：
hn*Wn-1＝(A*x-B*y)+i(A*x+B*y) [4-2]
其中，*表示卷积；hn＝x+iy为复数卷积的卷积核,其中hn为一个复数矩阵，i表示虚部，x和y为实数矩阵；卷积核的大小为s×k×k×m，s表示上一层特征图的数量，k表示卷积核的大小，m为当前层的卷积核数量；复数数据的输入为Wn-1＝A+iB,其中A和B都为实数矩阵，Wn为经过卷积后的第n层输出；当n＝1时Wn-1＝W0，即填零重建图Iu(x，y)；
复数批标准化公式如下：
其中，是计算中间值；V是协方差矩阵，Vri＝Vir，初始化为0，Vrr和Vii的值初始化为
其中，移位参数β为复数，其实部和虚部记为R{β}和I{β}均初始化为0；γ为缩放参数矩阵，γrr和γii初始为γri初始化为0；
复数激活函数公式如下：
其中，Z为批标准化的输出，θz是Z的相位；b为实数，是一个可学习的参数；M是复数激活函数的输出；
复数递归残差模块的公式如下：
W1+n＝modReLU(BN(hn+1*(Wn-1+Wn)+bn+1)) [7-1]
Wt+n＝modReLU(BN(hn+t*(Wn-1+Wn+t-1)+bn+t)) [7-2]
其中，Wt+n是递归单元的输出，t表示递归次数，hn+t表示第t次递归时的复数卷积核，bn+t表示第t次递归时的卷积的偏置；Wn和Wn+1分别是残差单元的输入和输出，F表示残差，ρ(Wn)表示输入Wn的恒等映射；
s2.2、CAR2UNet网络的训练
将复数均方误差函数作为网络反向传播的损失函数，通过损失函数计算输出层的损失值；公式如下：
其中，CAR2UNet(Iu (ξ))为数据经过网络后的输出；T表示批数据的大小，ξ表示同批数据的第ξ个图像；R()代表取实部，I()代表取虚部；
s2.3、CAR2UNet网络的优化
将epoch次数作为循环迭代的次数，当epoch次数未达到设定值时执行优化算法，当epoch次数达到设定值时，停止迭代，得到最终的网络参数θ；
步骤三、基于CAR2UNet网络的图像重建
将训练好的CAR2UNet网络参数θ对欠采样测试数据Itest_u(x，y)进行重建，重建结果用Iout(x，y)表示：
Iout(x，y)＝CAR2UNet(Itest_u(x，y)，θ) [9]
把Iout(x，y)经过傅里叶变换转换为k空间数据，用Sr(kx，ky)表示，同样再把测试数据Itest_u(x，y)转换为k空间数据，用Su(kx，ky)表示，把Su(kx，ky)中实际采集到的数据替换Sr(kx，ky)中对应位置的数据，再通过傅里叶反变换转换到图像域，用Irec(x，y)表示：
Irec(x，y)＝IDFT(Su(kx，ky)+Sr(kx，ky).*(1-mask)) [10]。
2.根据权利要求1所述的基于CAR2UNet网络的复数快速磁共振成像方法，其特征在于：所述的数据采集与预处理，具体为：
初始数据为全采样的k空间复数数据，用SK(kx，ky)表示，其中，kx表示k空间频率编码FE方向的位置，ky表示k空间相位编码PE方向的位置；选取PE方向为模拟欠采样方向，也就是在PE方向每隔n行取一行，对于k空间中心区域全采集，采集的行数约占总行数的4％，在FE方向全采集；根据以上要求构造欠采样模板，公式如下：
其中，mask表示欠采样模板，对于需要采集的数据，mask的值设置为1，不需要采集的部分设置为0，且mask矩阵的大小要与全采样k空间复数数据矩阵的大小一致；
接下来对全采样k空间复数数据进行模拟欠采样，方法就是将欠采样模板mask与k空间复数矩阵点乘，公式如下：
Su(kx，ky)＝mask.*SK(kx，ky) [2]
其中，Su(kx，ky)表示欠采样k空间数据；.*表示点乘；
对于全采样和欠采样的k空间数据SK(kx，ky)和Su(kx，ky)，进行傅里叶反变换，转换到图像域，公式如下：
Iref(x，y)＝IDFT(SK(kx，ky)) [3-1]
Iu(x，y)＝IDFT(Su(kx，ky)) [3-2]
其中，Iref(x，y)为全采样参考图像，Iu(x，y)为欠采样图像，也就是填零重建图，将对应的数据对保存成mat文件构成训练数据。
3.根据权利要求1所述的基于CAR2UNet网络的复数快速磁共振成像方法，其特征在于：所述的数据集划分，具体为：
将复数数据的实部和虚部一一对应分开，再将数据集分为训练集、验证集和测试集，其中全采样数据作为欠采样数据的真实值标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110309274.9A CN113509165B (zh) | 2021-03-23 | 2021-03-23 | 基于CAR2UNet网络的复数快速磁共振成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110309274.9A CN113509165B (zh) | 2021-03-23 | 2021-03-23 | 基于CAR2UNet网络的复数快速磁共振成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113509165A CN113509165A (zh) | 2021-10-19 |
| CN113509165B true CN113509165B (zh) | 2023-09-22 |
Family
ID=78061915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110309274.9A Active CN113509165B (zh) | 2021-03-23 | 2021-03-23 | 基于CAR2UNet网络的复数快速磁共振成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113509165B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114626418A (zh) * | 2022-03-18 | 2022-06-14 | 中国人民解放军32802部队 | 一种基于多中心复残差网络的辐射源识别方法及装置 |
| CN116012472A (zh) * | 2022-12-02 | 2023-04-25 | 中国科学院深圳先进技术研究院 | 一种快速磁共振成像方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028306A (zh) * | 2019-11-06 | 2020-04-17 | 杭州电子科技大学 | 基于AR2 U-Net神经网络的快速磁共振成像方法 |
| CN112132817A (zh) * | 2020-09-29 | 2020-12-25 | 汕头大学 | 一种混合注意力机制的眼底图像视网膜血管分割方法 |
| KR20200145701A (ko) * | 2019-06-21 | 2020-12-30 | 주식회사 머니브레인 | 음성 신호를 이용한 발화 동영상 생성 방법 및 장치 |
| CN112164069A (zh) * | 2020-07-29 | 2021-01-01 | 南通大学 | 一种基于深度学习的ct腹部血管分割方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10393842B1 (en) * | 2018-02-20 | 2019-08-27 | The Board Of Trustees Of The Leland Stanford Junior University | Highly-scalable image reconstruction using deep convolutional neural networks with bandpass filtering |
| CN114581550B (zh) * | 2021-12-31 | 2023-04-07 | 浙江大学 | 基于跨域网络的磁共振成像降采样和重建方法 |
-
2021
- 2021-03-23 CN CN202110309274.9A patent/CN113509165B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200145701A (ko) * | 2019-06-21 | 2020-12-30 | 주식회사 머니브레인 | 음성 신호를 이용한 발화 동영상 생성 방법 및 장치 |
| CN111028306A (zh) * | 2019-11-06 | 2020-04-17 | 杭州电子科技大学 | 基于AR2 U-Net神经网络的快速磁共振成像方法 |
| CN112164069A (zh) * | 2020-07-29 | 2021-01-01 | 南通大学 | 一种基于深度学习的ct腹部血管分割方法 |
| CN112132817A (zh) * | 2020-09-29 | 2020-12-25 | 汕头大学 | 一种混合注意力机制的眼底图像视网膜血管分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113509165A (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993809B (zh) | 基于残差U-net卷积神经网络的快速磁共振成像方法 | |
| Wen et al. | Transform learning for magnetic resonance image reconstruction: From model-based learning to building neural networks | |
| CN111028306B (zh) | 基于AR2 U-Net神经网络的快速磁共振成像方法 | |
| Oh et al. | Unpaired deep learning for accelerated MRI using optimal transport driven CycleGAN | |
| Lee et al. | Deep residual learning for accelerated MRI using magnitude and phase networks | |
| CN110151181B (zh) | 基于递归残差u型网络的快速磁共振成像方法 | |
| Qin et al. | Convolutional recurrent neural networks for dynamic MR image reconstruction | |
| CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
| US10859657B2 (en) | MRI reconstruction using deep learning, generative adversarial network and acquisition signal model | |
| CN111123183B (zh) | 基于复数R2U_Net网络的快速磁共振成像方法 | |
| CN109410289B (zh) | 一种深度学习的高欠采样超极化气体肺部mri重建方法 | |
| Bilgic et al. | Highly accelerated multishot echo planar imaging through synergistic machine learning and joint reconstruction | |
| Lee et al. | Deep artifact learning for compressed sensing and parallel MRI | |
| Yoon et al. | Motion adaptive patch-based low-rank approach for compressed sensing cardiac cine MRI | |
| EP2210119B1 (fr) | Procede de reconstruction d'un signal a partir de mesures experimentales perturbees par le mouvement | |
| CN113509165B (zh) | 基于CAR2UNet网络的复数快速磁共振成像方法 | |
| CN112946545B (zh) | 基于PCU-Net网络的快速多通道磁共振成像方法 | |
| Korkmaz et al. | Self-supervised MRI reconstruction with unrolled diffusion models | |
| CN117223028A (zh) | 用于带去噪磁共振图像重建的系统和方法 | |
| Kelkar et al. | Prior image-constrained reconstruction using style-based generative models | |
| Lin et al. | Deep learning for low-field to high-field MR: image quality transfer with probabilistic decimation simulator | |
| Li et al. | High quality and fast compressed sensing MRI reconstruction via edge-enhanced dual discriminator generative adversarial network | |
| Cha et al. | Geometric approaches to increase the expressivity of deep neural networks for MR reconstruction | |
| Babu et al. | Fast low rank column-wise compressive sensing for accelerated dynamic MRI | |
| Ravishankar et al. | Physics-driven deep training of dictionary-based algorithms for MR image reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |