CN114693823B - 一种基于空频双域并行重建的磁共振图像重建方法 - Google Patents
一种基于空频双域并行重建的磁共振图像重建方法 Download PDFInfo
- Publication number
- CN114693823B CN114693823B CN202210231752.3A CN202210231752A CN114693823B CN 114693823 B CN114693823 B CN 114693823B CN 202210231752 A CN202210231752 A CN 202210231752A CN 114693823 B CN114693823 B CN 114693823B
- Authority
- CN
- China
- Prior art keywords
- network
- domain
- data
- reconstruction
- magnetic resonance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Abstract
本发明涉及一种基于空频双域并行重建的磁共振图像重建方法,包括以下步骤:步骤1、利用磁共振设备采集、储存大量磁共振原始数据,作为空频双域并行网络模型的训练、测试数据集;步骤2、对步骤1所采集的数据集进行预处理;步骤3、利用K网络和V网络分别进行K域和图像域的重建,进而构建空频双域并行重建网络;步骤4、利用监督数据对步骤3所构建的空频双域并行网络进行训练;步骤5、利用步骤4训练好的空频双域并行网络输出磁共振重建图像。本发明同时利用频域与空间域欠采样数据,作为双域并行网络的输入,进行高速的高清磁共振图像加速重建,进而能够在小参数量的基础上,获得更好的重建图像。
Description
技术领域
本发明属于信息与通信工程技术领域,涉及一种磁共振图像重建方法,尤其是一种基于空频双域并行重建的磁共振图像重建方法。
背景技术
磁共振成像具有无接触、无电离辐射、软组织分辨力强等优势,但是目前磁共振成像的采集时间十分漫长,通常超过半个小时,导致设备吞吐量小且易出现运动伪影。因此,加速磁共振成像过程是一项具有巨大科研意义的研究课题,并且具有很强的急迫性。
到目前为止,提升磁共振成像速度的方法主要分为两个方面:一个是通过改进梯度磁场等硬件来进行突破;另一方面就是利用新的高效脉冲序列等软件算法带来采集速度的进步。另外,并行成像技术是加速磁共振成像中最为重要的进展之一,利用并行线圈阵列同时采集多个数据点,代替了传统的顺序采集策略,极大的提升了成像的质量和速度。
磁共振快速成像是通过减少磁共振设备的测量数量,获取不完备的K空间数据(欠采样数据),然后利用相关算法优化具有伪影的欠采样图像,从而恢复全采样数据或高质量图像的技术。
2006年,一系列方法引入了压缩感知,压缩感知技术的引入使得磁共振加速成像又取得了极大的进展,其使得磁共振设备通过仅扫描之前磁共振图像的部分数据,便可进行清晰成像。而数据扫描是整个磁共振成像阶段最为耗时的过程,通过仅扫描四分之一甚至八分之一的数据,即可实现四倍、八倍的加速成像。但这一过程由于违反了香农采样定理,会不可避免的在磁共振图像中引入了大量的伪影。
在过去的三年里,机器学习方法开始逐步被用来进行磁共振图像的重建,其引入使得重建效果得到巨大提升,给进一步加速磁共振成像速度带来的很大的希望。
目前国内外的研究动态主要分为五类。
(1)对采集到的k-space数据进行反傅里叶变换,转换到图像域,然后利用学习到图像先验知识的神经网络进行重建,这类方法以SENSE为开端,之后产生了利用U-Net编解码网络来进行图像域重建的方法,通过深度卷积神经网络学习图像域先验,从而消除伪影,着重在图像域上进行恢复和重建。
(2)直接利用神经网络在K域上进行数据填充、恢复,然后利用反傅里叶变换得到重建图像,这类方法以SMASH和GRAPPA为代表,利用并行线圈特性,通过优化组合k-space数据,从而在频域完成对于欠采样数据的恢复,重建出接近全采样的图像,之后产生了在其基础之上的深度学习方法,此类的方法以GRAPPA-Net、TAKI算法为代表,开始利用深度网络结构学习多线圈数据线性关系,利用数据先验和线圈组合特性,填充欠采样k-space数据,从而进行一定程度的频域重建。
(3)利用迭代展开方法不断在图像域进行恢复,展开优化方程,从而进行迭代优化,这类方法以变分网络重建为代表。Kerstin等人提出的变分网络方法将广义压缩感知重构方法转化为变分模型,并且对其进行展开,形成了类似于梯度下降的迭代优化过程,学习后的数据具备很好的泛化性,可以完成对于未知数据的MRI图像重建。
(4)利用神经网络直接跨域的方法。Bo等人提出的AUTOMAP方法是这类方法中的典型代表,其提出了一种统一的图像重建框架,通过学习先验使得网络具备从传感器域到图像域的映射。但是此类方法往往需要大型的网络完成特征提取、低维表示和跨域映射,使得网络的设计和训练面临巨大的困难,所以在这方面的工作十分有限。
(5)同时在频域和图像域进行优化的跨域重建方法。这类方法是目前较为常见且重建性能显著的方法。其在重建过程中不局限于对于单一域的优化过程,而是对两个域的数据同时或者先后进行优化,网络经过精心的设计,往往可以取得很好的重建效果。Maosong等人提出的MD-Recon-Net为一种级联卷积神经网络,其包含两个并行且相互交互的分支,同时对K域数据和图像域数据进行操作,并且探索了两域之间的潜在关系,经过结果对比,其在视觉效果、模型规模以及计算成本上都优于其他大部分DL算法。
但是上述多种方法的实时性以及得到的重建图像质量依然过低,其主要依靠简单的使用U型网络或者直接使用U型网络进行级联或并联,从而在单域(图像域或频域)或者双域(图像域和频域)进行磁共振图像的重建,没有考虑到U型网络对于磁共振重建任务的适应性,并且直接引用U网络进行级联或并联会带来巨大的参数量,从而限制了相关方法的性能和应用。
经检索,未发现与本发明相同或相似的现有技术的专利文献。
发明内容
本发明的目的在于克服现有技术中的不足,提出一种基于空频双域并行重建的磁共振图像重建方法,同时利用频域与空间域欠采样数据,作为双域并行网络的输入,进行高速的高清磁共振图像加速重建,进而能够在小参数量的基础上,获得更好的重建图像。
本发明解决其现实问题是采取以下技术方案实现的:
一种基于空频双域并行重建的磁共振图像重建方法,包括以下步骤:
步骤1、利用磁共振设备采集、储存大量磁共振原始数据,作为空频双域并行网络模型的训练、测试数据集;
步骤2、对步骤1所采集的数据集进行预处理;
步骤3、利用K网络和V网络分别进行K域和图像域的重建,进而构建空频双域并行重建网络。
步骤4、利用监督数据对步骤3所构建的空频双域并行网络进行训练;
步骤5、利用步骤4训练好的空频双域并行网络输出磁共振重建图像。
而且,所述步骤1的具体方法为:
利用磁共振设备进行磁共振全采样数据的采集,采集格式包括原始k空间数据,之后会通过反傅里叶变换生成相应的全采样重建图像,通过对大量成对数据进行储存,构建深度网络模型的相关训练和测试数据集;
而且,所述步骤2的预处理过程包括生成掩码矩阵模拟欠采样过程,利用此掩码分别得到欠采样的k空间数据以及图像数据作为深度重建网络的输入;以及对两域数据的实虚两个通道分别进行均值方差归一化以及将数据的实值和虚值分开为两个通道进行拼接处理。
而且,所述步骤3的空频双域并行重建网络包括两个并行的卷积神经网络,该两个卷积神经网络具备编解码结构,用于提取图像中的伪影和结构信息。双域并行网络中的K网络进行频域的重建,V网络进行图像域的重建;
其中,K网络中采用跨域的上下采样,以提升对于频域数据的重建性能。V网络当中采用了改进的顶端残差,新颖的底端残差,以及引入的通道注意力机制,进而提升网络对于重建的整体性能。
本发明的优点和有益效果:
1、本发明提出一种空频双域并行网络来进行磁共振图像欠采样重建。之前的方法只是简单的利用U型网络或者是对U型网络进行级联来进行磁共振数据的重建。但是U型网络具有庞大的网络规模,并且不能很好的适应两域的重建任务。在进行多次级联之后,会带来巨大的参数量提升,严重限制了其性能和应用。本发明设计的K网络和V网络对U型网络进行改进,针对不同域的特性,分别对U型网络进行改进。在K型网络当中,采用了跨域的上下采样,在更小的网络上,可以获得超越大型网络的性能;在V网络当中,引入了改进的顶端残差、底端残差以及通道注意力机制,在缩减网络规模的基础上,获得了更优的重建结果。
2、本发明通过精简整个并行网络的数据融合结构,使并行网络只在图像域进行线性融合,通过一个可以训练的参数来平衡两个输出结果,智能的选择两域中更优的重建结构,充分的利用两域的互补优势,得到了更好、更简洁的融合结构。
附图说明
图1是本发明的空频双域并行重建方法的流程图;
图2是本发明的K网络示意图;
图3是本发明的V网络示意图;
图4是本发明的空频双域并行网络示意图;
图5是本发明的重建效果及性能对比图。
具体实施方式
以下结合附图对本发明实施例作进一步详述:
一种基于空频双域并行重建的磁共振图像重建方法,如图1所示,通过利用磁共振设备采集到的欠采样的单线圈或多线圈数据,制作深度网络模型的数据集;在训练阶段,将此数据分别以k空间频域和空间域的形式输入到新设计的空频双域并行网络当中去,通过利用随机梯度下降法对深度网络模型进行训练,使得网络具备利用欠采样数据进行核磁共振图像高清重建的能力,能够消除违背采样定理条件下带来的伪影,获得更好的重建图像。
该方法包括以下步骤:
步骤1、利用磁共振设备采集、储存大量磁共振原始数据,作为空频双域并行网络模型的训练、测试数据集;
所述步骤1的具体方法为:
利用磁共振设备进行磁共振全采样数据的采集,采集格式包括原始k空间数据,之后会通过反傅里叶变换生成相应的全采样重建图像,通过对大量成对数据进行储存,构建深度网络模型的相关训练和测试数据集;
在本实施例中,所述步骤1首先利用磁共振设备进行大量原始数据的采集,作为深度重建网络模型的训练和测试数据集。采集时会对数据进行全采样,此时采样的数据的空间域形式可以作为网络输出的标签,用来监督网络的训练。通常采集到的数据格式为k空间频域格式,之后会利用反傅里叶变换和RSS方法将采集到的数据转换到图像域,以得到最终的标签图像作为网络的输出监督。
所述步骤1的采集、储存磁共振原始数据并计算输出监督数据。利用欲加速的磁共振设备,进行大量磁共振数据的采集,在进行此步骤的数据采集时,应进行原始数据全采样,全采样的数据为无加速条件下获取的常见采集数据,其直接经过反傅里叶变换到图像域的结果具有清晰、无伪影的特点,所以将此全采样的数据的空间域形式作为步骤3中网络训练时的真值标签,用来监督网络的训练。通常直接采集到的数据格式为k空间频域格式,需要利用反傅里叶变换和平方根求和方法将采集到的数据转换到单幅灰度图像,即得到最终的标签图像作为网络的输出监督。
步骤2、对步骤1所采集的数据集进行预处理;
所述步骤2的预处理过程包括生成掩码矩阵模拟欠采样过程,利用此掩码分别得到欠采样的k空间数据以及图像数据作为深度重建网络的输入;以及对两域数据的实虚两个通道分别进行均值方差归一化以及将数据的实值和虚值分开为两个通道进行拼接处理。
在本实施例中,所述步骤2在网络的训练和测试阶段,会模拟欠采样过程中的掩码矩阵。目前常用的欠采样倍数为4倍和8倍,在4倍欠采样时,会取中心8%的全采样数据,8倍欠采样时,全采样中心4%的数据。对于其他高频数据,会采取随机采样或等间距采样。另外还可以依据实际设备的欠采样需求,采用相应倍数和轨迹的掩码矩阵。
所述步骤2生成欠采样输入数据。在网络的训练阶段,还需要模拟设备欠采样过程来得到掩码矩阵从而对全采样数据进行处理,以得到欠采样数据作为网络的输入,经过掩码矩阵处理的数据具备了加速特性,其空间域图像具备不清晰、伪影的特性,需要利用本发明的重建网络进行重建和恢复,以接近(1)中的全采样清晰标签图像。本发明的空频双域并行网络具有两个输入,分别为频域数据(即为对全采样频域数据经过掩码矩阵点乘处理的欠采样频域数据)和空间域数据(即为欠采样频域数据的空间域形式,由反傅里叶变换而得)。目前常用的欠采样倍数为4倍和8倍,在4倍欠采样时,会取中心8%的全采样数据,8倍欠采样时,全采样中心4%的数据。对于其他高频数据,会采取随机采样或等间距采样。在实际应用中,应依据具体设备的欠扫描策略决定合适的模拟掩码矩阵设置。
所述步骤2在获得了所有的数据集数据之后,在送入网络进行训练计算之前,会进行输入输出数据的预处理和归一化,首先分别计算输入数据两个通道的均值和方差,然后利用计算得到的均值方差来进行输入频域、空间域数据以及输出频域、空间域数据的归一化,经过归一化之后的数据会更易于网络的训练和收敛。
所述步骤2在获得了所有的数据集数据之后、输入进网络进行训练之前,对获取的监督和两域的输入数据进行预处理和归一化。首先分别计算输入双域数据实部和虚部的均值和方差,然后利用计算得到的均值方差来进行输入频域、空间域数据以及输出频域、空间域数据的归一化和去归一化(将数据减去均值,再除以方差),经过归一化之后的数据会更易于网络的训练和收敛。经过预处理之后的数据即可作为步骤3构建的空频双域并行网络的输入。
步骤3、利用K网络和V网络分别进行K域和图像域的重建,进而构建空频双域并行重建网络。
所述步骤3的空频双域并行重建网络包括两个并行的卷积神经网络,该两个卷积神经网络具备编解码结构,用于提取图像中的伪影和结构信息。双域并行网络中的K网络进行频域的重建,V网络进行图像域的重建;
其中,K网络中采用跨域的上下采样,以提升对于频域数据的重建性能。V网络当中采用了改进的顶端残差,新颖的底端残差,以及引入的通道注意力机制,进而提升网络对于重建的整体性能。
在本实施例中,空频双域并行模型以欠采样的k空间数据和图像同时作为输入,输出预测的全采样重建图像,输入数据经过了归一化等预处理过程,输出的数据在训练阶段会和全采样图像进行结构相似度损失计算,通过反向传播,训练整个网络使得其具备通过欠采样数据重建高清磁共振图像的能力。分别利用K网络和V网络进行单域的类似重建过程,但是只需要输入对应域的欠采样数据,都输出图像域的数据(K网络的输出经过反傅里叶变换),损失计算在图像域进行。
步骤3为空频双域并行网络的设计。设计的网络结构包括两个并行的卷积神经网络,这两个卷积神经网络具备编解码结构,以用来提取图像中的伪影和结构信息。双域并行网络的一个网络进行频域的重建(K网络),另一个网络进行图像域的重建(V网络)。两个子网络都经过了特殊设计,以保证更适应于磁共振数据的重建任务。其中K网络中采用了跨域的上下采样,以减少频域数据的损失,保留更多的图像信息,以提升对于频域数据的重建性能。而V网络当中采用了改进的顶端残差,新颖的底端残差,以及引入的通道注意力机制,可以很好的提升网络对于重建的整体性能。空频双域并行网络即基于这两个子网络设计而成,其为多个重复的并行块组成,每个块中包含两个并行的分支,一个分支由K网络完成频域数据的填充,然后经过数据一致性层完成数据的保真处理,然后通过反傅里叶变换到图像域与另一分支输出进行融合;另一个分支由V网络和空间域数据一致操作组成,输出即为空间域数据。两域数据经过线性融合,由一个可以训练的参数来权衡两域输出的权重。
在对输入数据进行计算前,应设计确定空频双域网络的具体结构。空频双域并行网络具有多级级联结构,如图4所示,级联次数可变,表示为T,通过多次级联,可以利用迭代优势获取更高质量的重建性能。空频双域并行网络由并行的K网络和V网络构成,两个网络具有编解码结构,用ck、lk和ci、li分别表示两个子网络的首层通道数以及下采样次数。此步骤的设计过程即为确定网络中的T、ck、lk、ci、li五个超参数值,来定义网络架构的具体结构。将步骤一中获取的输入数据输入到确定的网络结构中,从而计算得到网络的输出。
本发明设计的网络级联结构包括两个并行的卷积神经网络,如图4所示,这两个卷积神经网络都具备编解码结构,但是具体的输入数据不同,分别输入步骤1中得到的频域数据和空间域数据,以用来提取磁共振数据的双域信息。即双域并行网络的一个网络进行频域的重建(K网络),另一个网络进行图像域的重建(V网络)。两个子网络都经过了特殊设计,以保证更适应于磁共振数据的重建任务。如图2,与现有U型网络不同的是,K网络中采用了跨域的上下采样(如图2上端所示,在进行上下采样操作时,会首先利用反傅里叶变换将特征变换到图像域,再进行上下采样操作,最后再利用傅里叶变换返回到频域进行接下来的特征计算),以减少频域数据的损失,保留更多的图像信息,以提升对于频域数据的重建性能。而V网络当中,如图3,采用了改进的顶端残差,新颖的底端残差,以及引入的通道注意力机制,可以很好的提升网络对于重建的整体性能。顶端残差为将同一层的编码器后端的特征引入到同一层解码器的前端进行残差相加;底端残差为将同一层的编码器前端的特征引入到同一层解码器的后端进行残差相加;通道注意力机制采用全局池化得到简化的通道信息,然后利用两层的线性计算和激活操作得到通道注意值来进行通道注意力操作。两个网络分别具有lk、li次下采样,每级有两次卷积核大小为3*3,步长为1的卷积操作,下采样采用的最大池化操作,上采样采用的转置卷积操作,具体的通道设置分别见图2和图3,网络的最后利用1*1卷积操作将输出通道变换为2,以分别表示实部和虚部。如图4,空频双域并行网络即基于这两个子网络设计而成,其为多个重复的并行块组成,每个块中包含两个并行的分支,一个分支由K网络完成频域数据的填充,然后经过数据一致性层完成数据的保真处理,然后通过反傅里叶变换到图像域与另一分支输出进行融合;另一个分支由V网络和空间域数据一致操作组成,输出即为空间域数据。两域数据经过线性融合,由一个可以训练的参数来权衡两域输出的权重,经过逐步迭代优化,构成空频双域并行网络,即将步骤一得到的两域输入送入到构成的空频双域并行网络进行前向计算,即可得到输出图像,从而完成步骤4中的监督训练。
步骤4、利用监督数据对步骤3所构建的空频双域并行网络进行训练;
利用建立的数据集数据、标签和数据预处理层对构建的空频双域并行重建网络进行训练,得到训练好的网络权重;
利用监督数据对步骤3所构建的空频双域并行网络进行训练,使得网络在测试集上具备一定的重建能力。如步骤3所述,利用两域输入数据送入到设计的空频双域并行网络计算之后得到网络的输出,训练过程计算网络输出与真值的损失值,本发明采用SSIM损失函数对最终的图像输出进行监督。网络的输出监督只有一个图像域监督,利用计算得到的损失进行梯度反向传播,从而更新网络参数值,优化网络的重建性能。训练时采用0.001的学习率,进行共50个epoch的训练,在40个epoch时,将学习率调小10倍,变为0.0001的学习率,使得网络能够更好地收敛,以达到更好地效果。经过在整个训练集上的训练学习,网络在测试集上可以具备很好的欠采样磁共振数据重建能力。
在进行网络的监督时,只在网络的最后采用SSIM损失函数,对最终的图像输出进行监督。网络的输出监督只有一个图像域监督。训练时采用0.001的学习率,进行共50个epoch的训练,在40个epoch时,将学习率调小10倍,变为0.0001的学习率,使得网络能够更好地收敛,以达到更好地效果。网络对于输出图像的监督为320*320的分辨率,并且两个网络的输出都为复数双通道输入输出,也就是输入两个通道,分别为复数输入的实数和虚数。在图像域网络的最后,输出的为双通道的复数图像,经过绝对值计算幅值,然后取中心的320*320范围作为最后的输出,与标签图像做结构相似度损失函数。经过训练学习,网络可以具备很好的欠采样磁共振数据重建能力。
步骤5、利用步骤4训练好的空频双域并行网络输出磁共振重建图像。
将训练好的空频双域并行网络模型集成到硬件设备当中,在采集时设备只需要进行欠扫描得到欠采样数据,然后通过读取训练好的网络参数进行前向传播的计算,即可重建出最终的高清磁共振图像。
将经过训练的网络集成到嵌入式计算设备或者其他高性能计算平台,对接磁共振扫描设备,用来进行实际上机使用。经过欠扫描的磁共振设备,其扫描速度会被大大提升,使得原本需要几十分钟的扫描过程缩短到只有几分钟,并且通过使用本发明提出的空频双域并行网络,得到高清、较好对比度的磁共振重建图像。
本发明的实验结果如图5所示,可以看到本发明提出的重建算法具备很好的磁共振图像重建效果。图像具备很好的细节保留,并且对比度十分接近原图,在PSNR、SSIM以及NMSE上也达到了很好的指标。本方法在大幅提升磁共振设备的采集速度、减少扫描数量和时间的基础上,提出了一种可以级联的空频双域并行深度网络模型,其中双域子网络结构经过了专门性优化,更适用于重建任务,经过简洁高效的图像域线性融合之后,具备很好的基于磁共振欠扫描数据的加速重建效果。
本发明的工作原理是:
本发明提出一种基于空频双域并行重建的磁共振图像重建方法,通过分别针对两域设计了具有适应性的专有网络,即K网络和V网络,分别进行频域和图像域的重建,通过在频域网络中引入跨域上采样和下采样,在图像域网络中采用改进的顶端残差、底部残差以及通道注意力机制,分别提升了两种网络在各自域中的重建性能。通过两域网络的并行重建,然后在图像域进行融合,可以利用各自的重建优势,另外经过改进的K网络和V网络具备更小的网络规模,可以很轻松的通过级联重建来迭代优化重建结果,构成一种空频双域并行重建网络。采用本发明所述的方法,可以有效的实现快速欠采样磁共振图像高质量重建。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
Claims (3)
1.一种基于空频双域并行重建的磁共振图像重建方法,其特征在于:包括以下步骤:
步骤1、利用磁共振设备采集、储存大量磁共振原始数据,作为空频双域并行网络模型的训练、测试数据集;
步骤2、对步骤1所采集的数据集进行预处理;
步骤3、利用K网络和V网络分别进行K域和图像域的重建,进而构建空频双域并行重建网络;
步骤4、利用监督数据对步骤3所构建的空频双域并行网络进行训练;
步骤5、利用步骤4训练好的空频双域并行网络输出磁共振重建图像;
所述步骤3的空频双域并行重建网络包括两个并行的卷积神经网络,该两个卷积神经网络具备编解码结构,用于提取图像中的伪影和结构信息;双域并行网络中的K网络进行频域的重建,V网络进行图像域的重建;
其中,K网络中采用跨域的上下采样,以提升对于频域数据的重建性能;V网络当中采用了改进的顶端残差,改进的底端残差,以及引入的通道注意力机制,进而提升网络对于重建的整体性能。
2.根据权利要求1所述的一种基于空频双域并行重建的磁共振图像重建方法,其特征在于:所述步骤1的具体方法为:
利用磁共振设备进行磁共振全采样数据的采集,采集格式包括原始k空间数据,之后会通过反傅里叶变换生成相应的全采样重建图像,通过对大量成对数据进行储存,构建深度网络模型的相关训练和测试数据集。
3.根据权利要求1所述的一种基于空频双域并行重建的磁共振图像重建方法,其特征在于:所述步骤2的预处理过程包括生成掩码矩阵模拟欠采样过程,利用此掩码分别得到欠采样的k空间数据以及图像数据作为深度重建网络的输入;以及对两域数据的实虚两个通道分别进行均值方差归一化以及将数据的实值和虚值分开为两个通道进行拼接处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210231752.3A CN114693823B (zh) | 2022-03-09 | 一种基于空频双域并行重建的磁共振图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210231752.3A CN114693823B (zh) | 2022-03-09 | 一种基于空频双域并行重建的磁共振图像重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114693823A CN114693823A (zh) | 2022-07-01 |
CN114693823B true CN114693823B (zh) | 2024-06-04 |
Family
ID=
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
WO2020134826A1 (zh) * | 2018-12-24 | 2020-07-02 | 深圳先进技术研究院 | 磁共振并行成像方法及相关设备 |
CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
CN112669606A (zh) * | 2020-12-24 | 2021-04-16 | 西安电子科技大学 | 利用动态时空图训练卷积神经网络的交通流预测方法 |
CN113077527A (zh) * | 2021-03-16 | 2021-07-06 | 天津大学 | 一种基于欠采样的快速磁共振图像重建方法 |
CN113096208A (zh) * | 2021-03-16 | 2021-07-09 | 天津大学 | 基于双域交替卷积的神经网络磁共振图像的重建方法 |
CN113096207A (zh) * | 2021-03-16 | 2021-07-09 | 天津大学 | 基于深度学习和边缘辅助的快速磁共振成像方法与系统 |
CN113538616A (zh) * | 2021-07-09 | 2021-10-22 | 浙江理工大学 | 一种联合PUGAN与改进U-net的磁共振图像重构方法 |
CN113870335A (zh) * | 2021-10-22 | 2021-12-31 | 重庆邮电大学 | 一种基于多尺度特征融合的单目深度估计方法 |
CN114119791A (zh) * | 2020-08-28 | 2022-03-01 | 中原工学院 | 一种基于交叉域迭代网络的mri欠采样图像重建方法 |
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020134826A1 (zh) * | 2018-12-24 | 2020-07-02 | 深圳先进技术研究院 | 磁共振并行成像方法及相关设备 |
CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
CN114119791A (zh) * | 2020-08-28 | 2022-03-01 | 中原工学院 | 一种基于交叉域迭代网络的mri欠采样图像重建方法 |
CN112669606A (zh) * | 2020-12-24 | 2021-04-16 | 西安电子科技大学 | 利用动态时空图训练卷积神经网络的交通流预测方法 |
CN113077527A (zh) * | 2021-03-16 | 2021-07-06 | 天津大学 | 一种基于欠采样的快速磁共振图像重建方法 |
CN113096208A (zh) * | 2021-03-16 | 2021-07-09 | 天津大学 | 基于双域交替卷积的神经网络磁共振图像的重建方法 |
CN113096207A (zh) * | 2021-03-16 | 2021-07-09 | 天津大学 | 基于深度学习和边缘辅助的快速磁共振成像方法与系统 |
CN113538616A (zh) * | 2021-07-09 | 2021-10-22 | 浙江理工大学 | 一种联合PUGAN与改进U-net的磁共振图像重构方法 |
CN113870335A (zh) * | 2021-10-22 | 2021-12-31 | 重庆邮电大学 | 一种基于多尺度特征融合的单目深度估计方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
CN113077527B (zh) | 一种基于欠采样的快速磁共振图像重建方法 | |
CN108828481B (zh) | 一种基于深度学习和数据一致性的磁共振重建方法 | |
CN109993809A (zh) | 基于残差U-net卷积神经网络的快速磁共振成像方法 | |
CN110675321A (zh) | 一种基于渐进式的深度残差网络的超分辨率图像重建方法 | |
CN111870245B (zh) | 一种跨对比度引导的超快速核磁共振成像深度学习方法 | |
CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
CN106157244A (zh) | 一种基于稀疏表示的QR Code图像超分辨重建方法 | |
CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
CN108447102A (zh) | 一种低秩与稀疏矩阵分解的动态磁共振成像方法 | |
CN113379601A (zh) | 基于降质变分自编码器的真实世界图像超分辨方法及系统 | |
CN109636721A (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
CN102590773A (zh) | 磁共振成像的方法和系统 | |
CN110942496B (zh) | 基于螺旋桨采样和神经网络的磁共振图像重建方法及系统 | |
CN111784792A (zh) | 基于双域卷积神经网络的快速磁共振重建系统及其训练方法与应用 | |
CN112700508B (zh) | 一种基于深度学习的多对比度mri图像重建方法 | |
CN116725515B (zh) | 一种磁共振快速成像方法 | |
CN113538611A (zh) | 一种无监督的心脏磁共振参数定量图像重建方法 | |
CN114693823B (zh) | 一种基于空频双域并行重建的磁共振图像重建方法 | |
CN112213673A (zh) | 动态磁共振成像方法、装置、重建计算机及磁共振系统 | |
CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
CN113538612B (zh) | 一种基于变分低秩分解的k空间加速磁共振图像重建方法 | |
CN115170691A (zh) | 基于深度学习和交替方向乘子法的磁共振成像的重构方法 | |
CN113506258A (zh) | 多任务复值深度学习的欠采样肺部气体mri重建方法 | |
CN114693823A (zh) | 一种基于空频双域并行重建的磁共振图像重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |