CN112946545A - 基于PCU-Net网络的快速多通道磁共振成像方法 - Google Patents
基于PCU-Net网络的快速多通道磁共振成像方法 Download PDFInfo
- Publication number
- CN112946545A CN112946545A CN202110117685.8A CN202110117685A CN112946545A CN 112946545 A CN112946545 A CN 112946545A CN 202110117685 A CN202110117685 A CN 202110117685A CN 112946545 A CN112946545 A CN 112946545A
- Authority
- CN
- China
- Prior art keywords
- channel
- data
- complex
- network
- pcu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000002595 magnetic resonance imaging Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 238000010276 construction Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 34
- 238000010606 normalization Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 11
- 239000000284 extract Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/4818—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/58—Calibration of imaging systems, e.g. using test probes, Phantoms; Calibration objects or fiducial markers such as active or passive RF coils surrounding an MR active material
Landscapes
- Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了基于PCU‑Net网络的快速多通道磁共振成像方法，包括数据处理与划分、PCU‑Net网络的构建与训练优化以及多通道磁共振图像重建三个步骤。本方法将复数U型卷积神经网络拓展至多通道数据的训练和预测，通过多通道复数模块提取多个通道间的特征，基于多通道复数均方误差训练网络，以用于多通道欠采样数据的磁共振图像重建，并通过循环导入网络参数的方法加速网络收敛。实验结果表明，本发明方法不仅能高质量重建多通道磁共振图像，而且基于训练后的优化参数，可快速重建多通道图像，以满足实时在线重建的需求。
Description
技术领域
本发明属于磁共振成像领域，具体涉及一种基于PCU-Net网络的快速多通道磁共振成像方法。
背景技术
磁共振成像(Magnetic Resonance Imaging,MRI)是一种无电离辐射的非侵入式医学成像方法，现在已经广泛应用于临床辅助诊断中。但在实际应用中，由于磁共振成像速度较慢、易于产生运动伪影等缺点，使得该技术的应用受到一定的限制。
并行磁共振成像(pMRI)和压缩感知(CS)都是重要的MRI加速方法，pMRI采用了多个并行线圈同时接收空间的感应信号，根据获得的各个线圈的空间灵敏度的差异信息来实现空间信息的编码，可减少对k空间相位编码线的填充，从而加快磁共振成像的速度。
传统的并行磁共振成像算法可分为基于图像域和基于k空间域两大类，它们的代表算法分别是SENSE和GRAPPA，其中SENSE算法需要获取并行线圈的敏感度分布，而GRAPPA算法也需要额外扫描k空间中心区域的数据行，计算并行线圈的权重系数，这额外增加了数据采集时间，而且在高加速因子下，成像质量会显著下降。深度学习是利用深度神经网络来解决特征表达的一种自动学习过程，现在已经被广泛应用于目标分割、语音识别等领域，由于其独特的优势，近年来，研究者开始把深度学习应用到pMRI中来。
目前已申请的基于深度学习的快速并行磁共振成像方面的专利有：
基于深度卷积网的一维部分傅里叶并行磁共振成像方法(申请号：CN201710416357.1)，通过构建多层的卷积神经网络，重建出效果不错的单通道全采样图像。一种基于生成式对抗网络的并行磁共振成像方法(申请号：CN201910630400.3)，提出了一种基于生成式对抗网络的并行磁共振成像方法，其中判别网络模型采用卷积神经网络，生成网络模型采用卷积自编码器，该方法用于解决现有基于深度学习的并行磁共振成像方法需要大量训练样本而导致成像时间长的问题。
国内外已发表的基于深度学习的快速并行磁共振成像方面的文章有：
Lee D等人提出适用于单线圈和多线圈的残差学习网络，由幅度网络和相位网络组成(Lee D,Yoo J,Tak S,et al.Deep residual learning for accelerated MRI usingmagnitude and phase networks[J].IEEE Transactions on Biomedical Engineering,2018,65(9):1985-1995.)。Cha E等人提出了一种k空间深度学习算法用于并行磁共振成像(Cha E,Kim E Y,Ye J C.k-space deep learning for parallel mri:Application totime-resolved mr angiography[J].arXiv preprint arXiv:1806.00806,2018.)。Schlemper J等人通过扩展深层级联神经网络和利用数据一致性层，为多线圈数据提出了简单的重构网络，且对数据一致性层进行了扩展，产生了两种网络变体(Schlemper J,DuanJ,Ouyang C,et al.Data consistency networks for(calibration-less)acceleratedparallel MR image reconstruction[J].arXiv preprint arXiv:1909.11795,2019.)。Schlemper J等人提出了一种用于快速并行磁共振成像的集成网络，包括并行线圈网络PCNs和灵敏度网络SNs(Schlemper J,Qin C,Duan J,et al.Σ-net:Ensembled IterativeDeep Neural Networks for Accelerated Parallel MR Image Reconstruction[J].arXiv preprint arXiv:1912.05480,2019.)。Wang S等人首次提出在不利用线圈敏感度信息和先验信息的情况下，利用深度复数卷积神经网络加速并行MRI成像(Wang S,ChengH,Ying L,et al.DeepcomplexMRI:Exploiting deep residual network for fastparallel MR imaging with complex convolution[J].Magnetic Resonance Imaging,2020,68:136-147.)。Qin C等人提出了一种深度网络插值策略，用于加速并行磁共振图像重建,新的插值网络可以有效地平衡数据保真度和感知质量(Qin C,Schlemper J,Hammernik K,et al.Deep Network Interpolation for Accelerated Parallel MRImage Reconstruction[J].arXiv preprint arXiv:2007.05993,2020.)。
以上发表的基于深度学习方面的专利或文章主要利用了神经网络中卷积模块的堆叠和先验信息来研究多通道磁共振图像重建，而使用U-Net卷积神经网络的方法主要用于研究基于实数的单通道数据，虽然也有Wang S等人使用复数模块结合卷积神经网络研究基于复数的多通道数据，但是所提出的卷积网络只是简单卷积模块的级联，并没有使用U-Net卷积神经网络，也没有出现过任何基于复数U-Net(CU-Net)网络的多通道磁共振成像方面的专利或文章。
发明内容
针对现有技术的不足，本发明提出了基于PCU-Net网络的快速多通道磁共振成像方法，将多通道复数模块与U-Net卷积神经网络相结合得到PCU-Net网络，并通过循环导入网络参数的训练方法加速PCU-Net网络的训练，在不需要任何先验信息的情况下，对多通道的欠采样数据离线训练，实现基于多通道复数数据的快速磁共振成像。
基于PCU-Net网络的快速多通道磁共振成像方法，具体包括以下步骤：
步骤一、数据处理与划分
s1.1、数据采集与预处理
对k空间数据进行全采样得到k空间多通道数据fm(kx,ky)，其中m表示数据通道数，经过离散傅里叶反变换IDFT后得到全采样图像Fm(x,y)：
Fm(x,y)＝IDFT(fm(kx,ky)) (1)
对k空间多通道数据fm(kx,ky)进行1维随机欠采样，得到欠采样的k空间数据um(kx,ky)：
um(kx,ky)＝fm(kx,ky)·maskm(x,y) (2)
其中，·表示点乘，maskm为每个通道的随机欠采样模板，maskm(x,y)为采集的数据在mask矩阵中对应的值：
对欠采样的k空间数据um(kx,ky)进行离散傅里叶反变换，得到填零重建图像，即欠采样图像Um(x,y)。将全采样图像Fm(x,y)和欠采样图像Um(x,y)一一对应。
s1.2、复数数据归一化
将步骤1.1得到的对应的多通道全采样和欠采样图像在每个通道分别进行复数数据归一化，在保留每个通道复数数据原始相位的情况下对幅值进行归一化，然后将每个通道归一化后的幅值和保留的相位重新组合成多通道复数数据：
normm＝(magm-mag_minm)/(mag_maxm-mag_minm) (4)
imagem＝normm·exp(j·phasem) (5)
其中normm表示归一化后的多通道幅值数据，magm表示原始的多通道幅值数据，mag_minm表示原多通道幅值数据的最小值，mag_maxm表示原多通道幅值数据的最大值，phasem表示保留的原始多通道复数数据的相位，imagem表示经过复数数据归一化后重新得到的多通道复数数据。
s1.3、数据集划分
将步骤1.1、1.2中经过预处理和归一化后的数据的实部与虚部一一对应后分开，再将数据集分为训练集、验证集和测试集，其中全采样数据作为欠采样数据的真实值标签。
步骤二、PCU-Net网络的构建与训练优化
s2.1、PCU-Net网络构建
PCU-Net网络是一个基于多通道复数模块的U型网络，它包括四个降采样层和四个升采样层，其中每个降采样层包括多通道复数卷积、多通道复数批标准化、多通道复数激活和多通道复数池化；每个升采样层包括多通道复数卷积、多通道复数批标准化、多通道复数激活和多通道复数上采样。在每一个升采样层中，上采样输出和对应的降采样输出进行拼接。将实部与虚部分开且一一对应的多通道数据输入PCU-Net后，相应得到实部和虚部分开的多通道数据。
所述多通道复数卷积将输入特征的实数部分和虚数部分分别进行卷积：
C(m,n)＝W(m,n)*μ(m,n-1)+b(m,n) (6)
其中，m、n分别表示通道数和层数；C(m,n)是经过多通道复数卷积后第m个通道第n层的输出；b(m,n)表示第m个通道第n层的偏置量；W(m,n)为复数卷积的卷积核，分为实数部分W(m,n,r)与虚数部分W(m,n,i)，W(m,n)＝W(m,n,r)+jW(m,n,i)；μ(m,n-1)为复数数据的输入特征，也分为实数部分与虚数部分，μ(m,n-1)＝μ(m,n-1,r)+jμ(m,n-1,i)，当n＝1时，输入特征μ(m,n-1)即为网络的输入Um(x,y)；W(m,n)*μ(m,n-1)由实部O(m,n,r)和虚部O(m,n,i)两部分组成：
O(m,n,r)＝W(m,n,r)*μ(m,n,r)-W(m,n,i)*μ(m,n,i) (7)
O(m,n,i)＝W(m,n,r)*μ(m,n,i)+W(m,n,i)*μ(m,n,r) (8)
所述多通道复数批标准化在每个通道分别进行复数批标准化操作：
其中，Z(m,n)是多通道复数批标准化输出，
是中间值，γ(m,n)是缩放参数矩阵，β(m,n)是移位参数，V(m,n)是协方差矩阵。BN()表示多通道复数批标准化操作，E[]表示求取期望，Cov()表示求取协方差矩阵，R{}、I{}分别表示求取实部与虚部。
作为优选，γ(m,n,rr)和γ(m,n,ii)初始化为
γ(m,n,ri)初始化为0；β(m,n)初始化为0；V(m,n,rr)和V(m,n,ii)初始化为
V(m,n,ri)和V(m,n,ir)初始化为0。
所述多通道复数激活在每个通道分别采用modReLU激活函数：
其中，Q(m,n)是多通道复数激活的输出，θZ(m,n)为多通道复数批标准化输出Z(m,n)的相位，l(m,n)为可学习参数。
通过modReLU激活函数在原点创建半径为l(m,n)的非激活区域，激活其余区域，保留预激活的相位。
所述多通道复数池化对每个通道采用复数幅值最大值池化，将幅值最大的复数作为复数池化的结果。
所述多通道复数上采样对每个通道采用双线性插值算法，通过插值扩大图像尺寸。
s2.2、PCU-Net网络训练
将训练集数据输入到步骤2.1构建的PCU-Net网络中，选取多通道复数均方误差函数作为反向传播的损失函数，计算训练集数据真实值标签与网络预测值的损失值，同时在训练过程中使用验证集验证误差。
所述多通道复数均方误差函数在计算多通道复数数据误差时，对数据的实部与虚部分别使用均方误差后再整合，得到最终的损失值loss：
其中，
表示训练数据集，T表示批数据大小，k表示图像在批数据中顺序，k＝1,2…T。
表示PCU-Net网络输出的预测值，||||2表示求取2范数。
s2.3、PCU-Net网络优化
通过Adam优化器对网络参数进行循环迭代优化。将训练次数作为循环迭代的终止条件，通过网络的前向传播和误差的反向传播得到最终优化的网络模型参数θ。
所述循环迭代设置每一轮的训练次数epoch的固定值为p，进行多轮迭代；在每一轮迭代结束时保存网络参数，并在下一轮迭代训练开始时导入上一轮最后保存的网络参数，再进行新一轮的迭代训练并保存网络参数。循环迭代n次，网络的训练次数为n×p。
步骤三、多通道磁共振图像重建
在PCU-Net网络模型中导入步骤二优化后的网络模型参数θ，再输入测试集中的多通道欠采样数据Tm(x,y)，得到多通道预测数据Predictm(x,y)：
Predictm(x,y)＝PCU-Net(Tm(x,y),θ) (15)
对网络输出的预测数据进行一致性操作提高重建图像的质量，首先对每个通道的数据进行离散傅里叶变换DFT得到k空间数据Sm(kx,ky)，再用欠采样k空间数据替换Sm(kx,ky)中相应位置的数据，然后进行离散傅里叶反变换进行图像重建，得到重建结果Reconm(x,y)，最后对Reconm(x,y)使用平方和开根号方法进行合成得到最终的图像Result(x,y)：
Sm(kx,ky)＝DFT(Predictm(x,y)) (16)
Reconm(x,y)＝IDFT(um(kx,ky)+Sm(kx,ky)·(1-maskm(x,y))) (17)
其中，M表示多通道数据的最大通道数。
本发明具有以下有益效果：
1、将复数U型卷积神经网络拓展至多通道数据的训练和预测，通过多通道复数模块提取多个通道间的特征，基于多通道复数均方误差训练网络，并对网络输出的预测结果进行数据一致性操作，使重建结果最大程度地保留了原数据的所有信息。
2、在PCU-Net网络模型训练优化的过程中使用多通道复数均方误差函数作为损失函数，更好地提升了网络预测性能；并且通过循环保存和导入参数的方法加速网络收敛，缩短训练时间的同时降低对硬件性能的要求。
3、本方法基于端到端的深度学习优化算法，不需要任何先验信息即可完成对多通道欠采样数据的离线训练，并且图像重建的时间很短，可以达到实时在线重建的需求。
附图说明
图1是1维随机欠采样模板示意图；
图2是本方法中PCU-Net网络的结构图；
图3是实施例中得到的复数多通道图像重建预测图；
图4是实施例中得到的复数多通道图像重建的对比图和误差图；
具体实施方式
以下结合附图对本发明作进一步的解释说明；
基于PCU-Net网络的快速多通道磁共振成像方法，实验环境为INTEL I7-1070016G内存，NVIDIA RTX3080 11G显存，Windows10，Python3.7.1，Pytorch1.7.0+cu110。具体包括以下步骤：
步骤一、数据处理与划分
本实例采用的磁共振数据为20个4D的k空间膝盖数据集，每个数据集的大小为320×320×256×8，取第1个维度上的数据，即选取320×256×8的3D数据，每个维度上取靠中间位置的50张较完整的膝盖切片图像，共得到1000张8通道的320×256图像。原始的全采样k空间数据为fm(kx,ky)，m＝1,2,…,8，经过离散傅里叶反变换得到全采样图像Fm(x,y)。
欠采样k空间图像由fm(kx,ky)经过1维随机欠采样得到，随机欠采样模板如图1所示，每个通道的随机欠采样模板用maskm表示。设置每个模板的欠采样率为29％，通过fm(kx,ky)与maskm点乘的方式获取欠采样k空间数据um(kx,ky)。对um(kx,ky)进行离散傅里叶反变换，得到欠采样图像Um(x,y)，然后将全采样图像Fm(x,y)和欠采样图像Um(x,y)一一对应组成数据集，全采样图像Fm(x,y)作为欠采样图像的真实值标签。
将数据集中的数据进行复数数据归一化处理后分成3部分，其中800个为训练集，100个为验证集，100个为测试集。由于复数在网络中的操作是把实部和虚部分开的，所以在进入网络之前要把8通道数据分为一一对应的实部和虚部。
步骤二、PCU-Net网络的构建与训练优化
s2.1、PCU-Net网络构建
构建如图2所示的PCU-Net网络，包括四个降采样层和四个升采样层，其中每个降采样层包括多通道复数卷积、多通道复数批标准化、多通道复数激活和多通道复数池化；每个升采样层包括多通道复数卷积、多通道复数批标准化、多通道复数激活和多通道复数上采样。在每一个升采样层中，上采样输出和对应的降采样输出进行拼接。将实部与虚部分开且一一对应的多通道数据输入PCU-Net后，相应得到实部和虚部分开的多通道数据。
设置网络输入层起始卷积核个数为32；4个降采样层卷积核个数分别为64、128、256、256；4个升采样层卷积核个数分别为128、64、32、32；为保证卷积过程中图像尺寸大小不变，设置卷积核大小为3×3，步长为1，padding为1；输出层是8个1×1的卷积核，步长为1，padding为0；在多通道复数池化中，设置池化窗口大小为2×2，步长为2，获得原来数据尺寸一半的数据；在多通道复数上采样中，使用双线性插值作为上采样算法，比例因子为2，获得原来数据尺寸两倍的数据。
s2.2、PCU-Net网络训练、优化
利用误差的反向传播机制和优化器更新PCU-Net网络参数。选取多通道复数均方误差函数作为反向传播的损失函数，在多通道复数数据的误差计算中，对实部和虚部分别使用均方误差，并进行整合；通过Adam算法对网络参数进行优化；当网络经过循环训练，达到设定的训练次数时结束，得到参数优化后的PCU-Net卷积神经网络。设置epoch的固定值p为2，循环迭代次数n为50，即总共训练100次。
步骤三、多通道磁共振图像重建
在PCU-Net网络模型中导入步骤二优化后的网络模型参数θ，再输入测试集中的多通道欠采样数据Tm(x,y)，得到多通道预测数据Predictm(x,y)，如图3所示，其中(a)～(h)分别表示8个通道的预测图像。
对网络输出的预测数据进行一致性操作提高重建图像的质量，首先对每个通道的数据进行离散傅里叶变换DFT得到k空间数据Sm(kx,ky)，再用欠采样k空间数据替换Sm(kx,ky)中相应位置的数据，然后进行离散傅里叶反变换进行图像重建，得到重建结果Reconm(x,y)，最后对Reconm(x,y)使用平方和开根号方法进行合成得到最终的图像Result(x,y)。
本实例与使用填零重建和CS重建方法的结果对比图如图4所示，其中(a)为全采样图，(b)、(e)为填零重建图与误差图，(c)、(f)为CS重建图与误差图，(d)、(g)为本实施例得到的重建图与误差图。
计算总相对误差TRE时，先对相应的全采样图像Fm(x,y)采用SOS方法，得到融合后的图像F(x,y)，再计算TRE，TRE值越小，说明重建误差越小，其计算公式如下：
得到填零重建的TRE值为4×10-3，CS重建的TRE值为2.3×10-3，本方法重建的TRE值为8.5×10-4。从误差图和TRE值两方面都可以看出，基于PCU-Net卷积神经网络的重建误差最小，而且能恢复图像更多的细节信息。从重建单张图像的时间来看，基于填零重建的重建时间约为0.2秒，基于CS重建迭代1次的重建时间约为7秒(CS重建迭代10次后收敛，时间约为60秒)，基于PCU-Net卷积神经网络的训练时间为3.3小时，重建时间约为4秒。
因此本方法通过PCU-Net卷积神经网络进行快速多通道磁共振图像重建，在相同的欠采样条件下，相比填零重建和CS重建，TRE值与重建误差最小；虽然所需的训练时间比较长，但是重建时间短，后期经过代码优化和硬件性能提升，可以达到实时在线重建的需求。
Claims (6)
1.基于PCU-Net网络的快速多通道磁共振成像方法，其特征在于：该方法具体包括以下步骤：
步骤一、数据处理与划分
s1.1、数据采集与预处理
对k空间数据进行全采样得到k空间多通道数据fm(kx,ky)，其中m表示数据通道数，经过离散傅里叶反变换IDFT后得到全采样图像Fm(x,y)：
Fm(x,y)＝IDFT(fm(kx,ky)) (1)
对k空间多通道数据fm(kx,ky)进行1维随机欠采样，得到欠采样的k空间数据um(kx,ky)：
um(kx,ky)＝fm(kx,ky)·maskm(x,y) (2)
其中，·表示点乘，maskm为每个通道的随机欠采样模板，maskm(x,y)为采集的数据在mask矩阵中对应的值：
对欠采样的k空间数据um(kx,ky)进行离散傅里叶反变换，得到填零重建图像，即欠采样图像Um(x,y)；将全采样图像Fm(x,y)和欠采样图像Um(x,y)一一对应；
s1.2、复数数据归一化
将步骤1.1得到的对应的多通道全采样和欠采样图像在保留每个通道复数数据原始相位的情况下对幅值进行归一化，然后将每个通道归一化后的幅值和保留的相位重新组合成多通道复数数据：
normm＝(magm-mag_minm)/(mag_maxm-mag_minm) (4)
imagem＝normm·exp(j·phasem) (5)
其中normm表示归一化后的多通道幅值数据，magm表示原始的多通道幅值数据，mag_minm表示原多通道幅值数据的最小值，mag_maxm表示原多通道幅值数据的最大值，phasem表示保留的原始多通道复数数据的相位，imagem表示经过复数数据归一化后重新得到的多通道复数数据；
s1.3、数据集划分
将步骤1.1、1.2中经过预处理和归一化后的数据的实部与虚部一一对应后分开，再将数据集分为训练集、验证集和测试集，其中全采样数据作为欠采样数据的真实值标签；
步骤二、PCU-Net网络的构建与训练优化
s2.1、PCU-Net网络构建
PCU-Net网络是一个基于多通道复数模块的U型网络，它包括四个降采样层和四个升采样层，其中每个降采样层包括多通道复数卷积、多通道复数批标准化、多通道复数激活和多通道复数池化；每个升采样层包括多通道复数卷积、多通道复数批标准化、多通道复数激活和多通道复数上采样；在每一个升采样层中，上采样输出和对应的降采样输出进行拼接；将实部与虚部分开且一一对应的多通道数据输入PCU-Net后，相应得到实部和虚部分开的多通道数据；
所述多通道复数卷积将输入特征的实数部分和虚数部分分别进行卷积；多通道复数批标准化在每个通道分别进行复数批标准化操作；多通道复数激活在每个通道分别采用modReLU激活函数，在原点创建半径为l(m,n)的非激活区域，激活其余区域，保留预激活的相位；多通道复数池化对每个通道采用复数幅值最大值池化，将幅值最大的复数作为复数池化的结果；多通道复数上采样对每个通道采用双线性插值算法，通过插值扩大图像尺寸；
s2.2、PCU-Net网络训练
将训练集数据输入到步骤2.1构建的PCU-Net网络中，选取多通道复数均方误差函数作为反向传播的损失函数，对数据的实部与虚部分别使用均方误差后再整合，计算训练集数据真实值标签与网络预测值的损失值loss；同时在训练过程中使用验证集验证误差；
s2.3、PCU-Net网络优化
通过Adam优化器对网络参数进行循环迭代优化；将训练次数作为循环迭代的终止条件，通过网络的前向传播和误差的反向传播得到最终优化的网络模型参数θ；
所述循环迭代设置每一轮的训练次数epoch的固定值为p，进行多轮迭代；在每一轮迭代结束时保存网络参数，并在下一轮迭代训练开始时导入上一轮最后保存的网络参数，再进行新一轮的迭代训练并保存网络参数；循环迭代n次，网络的训练次数为n×p；
步骤三、多通道磁共振图像重建
在PCU-Net网络模型中导入步骤二优化后的网络模型参数θ，再输入测试集中的多通道欠采样数据Tm(x,y)，得到多通道预测数据Predictm(x,y)：
Predictm(x,y)＝PCU-Net(Tm(x,y),θ) (6)
对网络输出的预测数据进行一致性操作提高重建图像的质量，首先对每个通道的数据进行离散傅里叶变换DFT得到k空间数据Sm(kx,ky)，再用欠采样k空间数据替换Sm(kx,ky)中相应位置的数据，然后进行离散傅里叶反变换进行图像重建，得到重建结果Reconm(x,y)，最后对Reconm(x,y)使用平方和开根号方法进行合成得到最终的图像Result(x,y)：
Sm(kx,ky)＝DFT(Predictm(x,y)) (7)
Reconm(x,y)＝IDFT(um(kx,ky)+Sm(kx,ky)·(1-maskm(x,y))) (8)
其中，M表示多通道数据的最大通道数。
2.如权利要求1所述基于PCU-Net网络的快速多通道磁共振成像方法，其特征在于：所述多通道复数卷积的具体操作为：
C(m,n)＝W(m,n)*μ(m,n-1)+b(m,n) (10)
其中，m、n分别表示通道数和层数；C(m,n)是经过多通道复数卷积后第m个通道第n层的输出；b(m,n)表示第m个通道第n层的偏置量；W(m,n)为复数卷积的卷积核，分为实数部分W(m,n,r)与虚数部分W(m,n,i)，W(m,n)＝W(m,n,r)+jW(m,n,i)；μ(m,n-1)为复数数据的输入特征，也分为实数部分与虚数部分，μ(m,n-1)＝μ(m,n-1,r)+jμ(m,n-1,i)，当n＝1时，输入特征μ(m,n-1)即为网络的输入Um(x,y)；W(m,n)*μ(m,n-1)由实部O(m,n,r)和虚部O(m,n,i)两部分组成：
O(m,n,r)＝W(m,n,r)*μ(m,n,r)-W(m,n,i)*μ(m,n,i) (11)
O(m,n,i)＝W(m,n,r)*μ(m,n,i)+W(m,n,i)*μ(m,n,r) (12)。
3.如权利要求1所述基于PCU-Net网络的快速多通道磁共振成像方法，其特征在于：所述多通道复数批标准化的具体操作为：
其中，Z(m,n)是多通道复数批标准化输出，
是中间值，γ(m,n)是缩放参数矩阵，β(m,n)是移位参数，V(m,n)是协方差矩阵；BN()表示多通道复数批标准化操作，E[]表示求取期望；Cov()表示求取协方差矩阵；R{}、I{}分别表示求取实部与虚部。
4.如权利要求3所述基于PCU-Net网络的快速多通道磁共振成像方法，其特征在于：
γ(m,n,rr)和γ(m,n,ii)初始化为
初始化为0；β(m,n)初始化为0；V(m,n,rr)和V(m,n,ii)初始化为
V(m,n,ri)和V(m,n,ir)初始化为0。
5.如权利要求1所述基于PCU-Net网络的快速多通道磁共振成像方法，其特征在于：所述modReLU激活函数为：
其中，Q(m,n)是多通道复数激活的输出，
为多通道复数批标准化输出Z(m,n)的相位，l(m,n)为可学习参数。
6.如权利要求1所述基于PCU-Net网络的快速多通道磁共振成像方法，其特征在于：所述多通道复数均方误差函数为：
其中，
表示训练数据集，T表示批数据大小，k表示图像在批数据中顺序，k＝1,2…T；
表示PCU-Net网络输出的预测值，||||2表示求取2范数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110117685.8A CN112946545B (zh) | 2021-01-28 | 2021-01-28 | 基于PCU-Net网络的快速多通道磁共振成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110117685.8A CN112946545B (zh) | 2021-01-28 | 2021-01-28 | 基于PCU-Net网络的快速多通道磁共振成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112946545A true CN112946545A (zh) | 2021-06-11 |
| CN112946545B CN112946545B (zh) | 2022-03-18 |
Family
ID=76238563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110117685.8A Active CN112946545B (zh) | 2021-01-28 | 2021-01-28 | 基于PCU-Net网络的快速多通道磁共振成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112946545B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487507A (zh) * | 2021-07-07 | 2021-10-08 | 中国计量大学 | 一种基于多模块特征聚合的双域递归网络mr重建方法 |
| CN113506258A (zh) * | 2021-07-02 | 2021-10-15 | 中国科学院精密测量科学与技术创新研究院 | 多任务复值深度学习的欠采样肺部气体mri重建方法 |
| CN114581550A (zh) * | 2021-12-31 | 2022-06-03 | 浙江大学 | 基于跨域网络的磁共振成像降采样和重建方法 |
| CN116597037A (zh) * | 2023-05-22 | 2023-08-15 | 厦门大学 | 一种物理生成数据驱动的快速磁共振智能成像方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108828481A (zh) * | 2018-04-24 | 2018-11-16 | 朱高杰 | 一种基于深度学习和数据一致性的磁共振重建方法 |
| CN109993809A (zh) * | 2019-03-18 | 2019-07-09 | 杭州电子科技大学 | 基于残差U-net卷积神经网络的快速磁共振成像方法 |
| CN110151181A (zh) * | 2019-04-16 | 2019-08-23 | 杭州电子科技大学 | 基于递归残差u型网络的快速磁共振成像方法 |
| CN110378980A (zh) * | 2019-07-16 | 2019-10-25 | 厦门大学 | 一种基于深度学习的多通道磁共振图像重建方法 |
| CN111028306A (zh) * | 2019-11-06 | 2020-04-17 | 杭州电子科技大学 | 基于AR2 U-Net神经网络的快速磁共振成像方法 |
| CN111123183A (zh) * | 2019-12-27 | 2020-05-08 | 杭州电子科技大学 | 基于复数R2U_Net网络的快速磁共振成像方法 |
| US20200249306A1 (en) * | 2019-02-05 | 2020-08-06 | University Of Virginia Patent Foundation | Method and system for deep convolutional neural net for artifact suppression in dense mri |
| CN111583356A (zh) * | 2020-05-13 | 2020-08-25 | 首都医科大学附属北京友谊医院 | 一种基于卷积神经网络的磁共振图像合成方法和装置 |
-
2021
- 2021-01-28 CN CN202110117685.8A patent/CN112946545B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108828481A (zh) * | 2018-04-24 | 2018-11-16 | 朱高杰 | 一种基于深度学习和数据一致性的磁共振重建方法 |
| US20200249306A1 (en) * | 2019-02-05 | 2020-08-06 | University Of Virginia Patent Foundation | Method and system for deep convolutional neural net for artifact suppression in dense mri |
| CN109993809A (zh) * | 2019-03-18 | 2019-07-09 | 杭州电子科技大学 | 基于残差U-net卷积神经网络的快速磁共振成像方法 |
| CN110151181A (zh) * | 2019-04-16 | 2019-08-23 | 杭州电子科技大学 | 基于递归残差u型网络的快速磁共振成像方法 |
| CN110378980A (zh) * | 2019-07-16 | 2019-10-25 | 厦门大学 | 一种基于深度学习的多通道磁共振图像重建方法 |
| CN111028306A (zh) * | 2019-11-06 | 2020-04-17 | 杭州电子科技大学 | 基于AR2 U-Net神经网络的快速磁共振成像方法 |
| CN111123183A (zh) * | 2019-12-27 | 2020-05-08 | 杭州电子科技大学 | 基于复数R2U_Net网络的快速磁共振成像方法 |
| CN111583356A (zh) * | 2020-05-13 | 2020-08-25 | 首都医科大学附属北京友谊医院 | 一种基于卷积神经网络的磁共振图像合成方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| CHIHEB TRABELSI等: "Deep Complex Networks", 《ARXIV》 * |
| 胡源: "基于深度学习的快速磁共振成像技术研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113506258A (zh) * | 2021-07-02 | 2021-10-15 | 中国科学院精密测量科学与技术创新研究院 | 多任务复值深度学习的欠采样肺部气体mri重建方法 |
| CN113487507A (zh) * | 2021-07-07 | 2021-10-08 | 中国计量大学 | 一种基于多模块特征聚合的双域递归网络mr重建方法 |
| CN114581550A (zh) * | 2021-12-31 | 2022-06-03 | 浙江大学 | 基于跨域网络的磁共振成像降采样和重建方法 |
| CN114581550B (zh) * | 2021-12-31 | 2023-04-07 | 浙江大学 | 基于跨域网络的磁共振成像降采样和重建方法 |
| CN116597037A (zh) * | 2023-05-22 | 2023-08-15 | 厦门大学 | 一种物理生成数据驱动的快速磁共振智能成像方法 |
| CN116597037B (zh) * | 2023-05-22 | 2024-06-04 | 厦门大学 | 一种物理生成数据驱动的快速磁共振智能成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112946545B (zh) | 2022-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112946545B (zh) | 基于PCU-Net网络的快速多通道磁共振成像方法 | |
| Wen et al. | Transform learning for magnetic resonance image reconstruction: From model-based learning to building neural networks | |
| CN110151181B (zh) | 基于递归残差u型网络的快速磁共振成像方法 | |
| CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
| Lee et al. | Deep artifact learning for compressed sensing and parallel MRI | |
| CN109239631B (zh) | 一种磁共振成像方法和装置 | |
| CN112150568A (zh) | 基于Transformer模型的磁共振指纹成像重建方法 | |
| CN109615675B (zh) | 一种多通道磁共振成像的图像重建方法 | |
| CN113379867B (zh) | 一种基于联合优化采样矩阵的核磁共振图像重建方法 | |
| CN108010094B (zh) | 一种磁共振图像重建方法和装置 | |
| CN111784792A (zh) | 基于双域卷积神经网络的快速磁共振重建系统及其训练方法与应用 | |
| CN113971706A (zh) | 一种快速磁共振智能成像方法 | |
| CN114820849A (zh) | 基于深度学习的磁共振cest图像重建方法、装置及设备 | |
| CN111353935A (zh) | 基于深度学习的磁共振成像优化方法及其设备 | |
| CN114119791A (zh) | 一种基于交叉域迭代网络的mri欠采样图像重建方法 | |
| CN113509165B (zh) | 基于CAR2UNet网络的复数快速磁共振成像方法 | |
| CN114972570A (zh) | 图像重建方法及设备 | |
| CN115471580A (zh) | 一种物理智能高清磁共振扩散成像方法 | |
| Lv et al. | Parallel imaging with a combination of sensitivity encoding and generative adversarial networks | |
| WO2024021796A1 (zh) | 一种图像处理方法、装置、电子设备、存储介质及程序产品 | |
| CN117250573A (zh) | 一种基于稀疏k空间自学习的多通道磁共振成像方法 | |
| CN117011409A (zh) | 多部位物理智能高清扩散磁共振数据生成方法 | |
| CN105676156A (zh) | 一种基于多通道协作编码的磁共振成像重建方法和装置 | |
| CN115511996A (zh) | 一种基于深度学习的压缩感知磁共振图像快速重建方法 | |
| CN116203486A (zh) | 用于mri数据处理的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |