CN116863024A - 一种磁共振图像重建方法、系统、电子设备及存储介质 - Google Patents
一种磁共振图像重建方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116863024A CN116863024A CN202310884048.2A CN202310884048A CN116863024A CN 116863024 A CN116863024 A CN 116863024A CN 202310884048 A CN202310884048 A CN 202310884048A CN 116863024 A CN116863024 A CN 116863024A
- Authority
- CN
- China
- Prior art keywords
- magnetic resonance
- convolution
- resonance image
- image reconstruction
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 11
- 230000001133 acceleration Effects 0.000 description 13
- 238000012549 training Methods 0.000 description 12
- 230000035945 sensitivity Effects 0.000 description 11
- 238000002595 magnetic resonance imaging Methods 0.000 description 10
- 230000004927 fusion Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Algebra (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开一种磁共振图像重建方法、系统、电子设备及存储介质,涉及图像重建领域,方法包括获取磁共振原始空间数据;利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据;根据所述欠采样数据利用快速磁共振图像重建网络进行重建,得到重建磁共振图像;所述快速磁共振图像重建网络每级中两个连续的卷积模块为依次连接的反傅里叶卷积模块和傅里叶卷积模块。本发明能提高图像的重建性能和效果。
Description
技术领域
本发明涉及图像重建领域,特别是涉及一种磁共振图像重建方法、系统、电子设备及存储介质。
背景技术
磁共振成像(MRI)是一种无创检查身体内部结构和器官的方法,已成为医学影像学中重要的诊断工具。MRI通过采集物体中原子核的共振信号,并利用计算机技术将这些信号转化成可视化的图像。然而,MRI图像的获取通常需要长时间的扫描过程,这不仅增加了患者的不适感,而且也会增加成本和设备使用率的压力。
为了解决这一问题,研究人员提出了各种加速MRI的方法。其中,从欠采样k-space数据进行MRI加速重建已成为一种热门的方法,它可以通过减少采样次数来缩短扫描时间,从而提高成像速度。然而,欠采样k-space数据也会引入伪影和图像模糊等重建问题。因此,研究人员提出了各种方法来解决这些问题。
在从欠采样k-space数据进行MRI加速重建的方法中,压缩感知(compressedsensing)是一种常见的方法,它利用图像的稀疏性和低秩性进行重建。这种方法已经被广泛应用于MRI图像的重建中,并取得了良好的效果。
除了压缩感知之外,研究人员还提出了一些其他的方法来解决从欠采样k-space数据进行MRI加速重建的问题。例如,多通道重建方法(multi-channel reconstruction)利用多个独立的通道进行加速重建,可以提高重建质量和速度。同时,卷积神经网络(CNN)也被用于MRI图像重建中,它可以自动学习从欠采样k-space数据到完整图像的映射,可以得到更好的重建效果。
总的来说,从欠采样k-space数据进行MRI加速重建是一种有效的方法,可以大大缩短扫描时间,从而提高成像速度和减轻患者的不适感。在实际应用中,需要结合不同的方法和技术,针对具体问题进行选择和优化,以获得最佳的重建效果。
但是目前的这些算法仍然存在着很多的问题。首先,这类方法的重建指标仍然不够高,对于严格的医疗诊断需求来说,应获得接近完全准确、安全的重建结果。现在不论是从指标以及视觉感受上来说,磁共振加速重建仍然缺乏足够的准确度,仍然需要大量的研究工作来推进其重建质量和精度。
其次,这些方法大多基于深度卷积编解码网络对欠采样图像进行优化重建,经过卷积以及上采样处理之后的图像,面临着图像过度平滑、细节丢失难以重建的问题,有限制的感受野也限制了图像的重建质量,这严重限制了深度学习加速重建技术在实际医疗诊断中的应用。
发明内容
本发明的目的是提供一种磁共振图像重建方法、系统、电子设备及存储介质,可提高图像的重建性能和效果。
为实现上述目的,本发明提供了如下方案:
一种磁共振图像重建方法,包括:
获取磁共振原始空间数据;
利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据;
根据所述欠采样数据利用快速磁共振图像重建网络进行重建,得到重建磁共振图像;所述快速磁共振图像重建网络为U型网络;所述快速磁共振图像重建网络每级中两个连续的卷积模块为依次连接的反傅里叶卷积模块和傅里叶卷积模块。
可选地,利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据,具体包括:
将所述磁共振原始空间数据与所述掩码矩阵进行点乘,生成欠采样数据。
可选地,在利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据之后,还包括:
对所述欠采样数据进行零均值规范化处理。
可选地,根据所述欠采样数据利用快速磁共振图像重建网络进行重建,得到重建磁共振图像,具体包括:
将所述欠采样数据通过快速磁共振图像重建网络的第一卷积层,得到卷积输出;
将所述卷积输出利用快速磁共振图像重建网络的带有残差的卷积层进行特征提取,得到空间相邻特征信息和多线圈冗余信息;
将所述空间相邻特征信息和所述多线圈冗余信息利用快速磁共振图像重建网络的第二卷积层进行通道调整,得到特征信息;
根据所述特征信息利用快速磁共振图像重建网络的反傅里叶卷积模块,得到图像域特征;
将所述图像域特征利用快速磁共振图像重建网络的第三卷积层,得到第一跨域卷积结果;
将所述跨域卷积结果利用快速磁共振图像重建网络的傅里叶卷积模块,得到第二跨域卷积结果;
将所述第一跨域卷积结果和所述第二跨域卷积结果进行拼接,得到重建磁共振图像。
本发明还提供一种磁共振图像重建系统,包括:
获取模块,用于获取磁共振原始空间数据;
生成模块,用于利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据;
重建模块,用于根据所述欠采样数据利用快速磁共振图像重建网络进行重建,得到重建磁共振图像;所述快速磁共振图像重建网络为U型网络;所述快速磁共振图像重建网络每级中两个连续的卷积模块为依次连接的反傅里叶卷积模块和傅里叶卷积模块。
可选地,生成模块具体包括:
生成单元,用于将所述磁共振原始空间数据与所述掩码矩阵进行点乘,生成欠采样数据。
可选地,还包括:
零均值规范化处理模块,用于对所述欠采样数据进行零均值规范化处理。
可选地,重建模块具体包括:
第一卷积模块,用于将所述欠采样数据通过快速磁共振图像重建网络的第一卷积层,得到卷积输出;
特征提取单元,用于将所述卷积输出利用快速磁共振图像重建网络的带有残差的卷积层进行特征提取,得到空间相邻特征信息和多线圈冗余信息;
通道调整单元,用于将所述空间相邻特征信息和所述多线圈冗余信息利用快速磁共振图像重建网络的第二卷积层进行通道调整,得到特征信息;
傅里叶反变换单元,用于根据所述特征信息利用快速磁共振图像重建网络的反傅里叶卷积模块,得到图像域特征;
第二卷积单元,用于将所述图像域特征利用快速磁共振图像重建网络的第三卷积层,得到第一跨域卷积结果;
傅里叶变换单元,用于将所述跨域卷积结果利用快速磁共振图像重建网络的傅里叶卷积模块,得到第二跨域卷积结果;
拼接单元,用于将所述第一跨域卷积结果和所述第二跨域卷积结果进行拼接,得到重建磁共振图像。
本发明还提供一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如所述的方法。
本发明还提供一种计算机存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如所述的方法。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明获取磁共振原始空间数据;利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据;根据所述欠采样数据利用快速磁共振图像重建网络进行重建,得到重建磁共振图像;所述快速磁共振图像重建网络为U型网络;所述快速磁共振图像重建网络每级中两个连续的卷积模块为依次连接的反傅里叶卷积模块和傅里叶卷积模块。本发明通过快速磁共振图像重建网络中的依次连接的反傅里叶卷积模块和傅里叶卷积模块,提高图像的重建性能和效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的磁共振图像重建方法示意图;
图2为反傅里叶卷积模块示意图;
图3为快速磁共振图像重建网络示意图;
图4为基于反傅里叶卷积模块和傅里叶卷积模块的重建方法示意图;
图5为本发明提供的磁共振图像重建方法的重建结果图;
图6为端到端分网络方法重建结果图;
图7为磁共振图像重建结果图;
图8为本发明提供的磁共振图像重建方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种磁共振图像重建方法、系统、电子设备及存储介质,可提高图像的重建性能和效果。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和图8所示,本发明提供的一种磁共振图像重建方法,包括:
步骤101:获取磁共振原始空间数据。
对大量磁共振原始k空间数据进行采集和储存,作为模型训练、验证和测试数据集;对训练集和验证集进行采集时,进行全采样扫描得到完备的k空间原始数据,此全采样k空间数据或其空间域形式可以作为网络的训练真值,用来监督网络的训练;直接采集到的数据格式为k空间频域复数格式,通常利用反傅里叶变将采集到的频域数据转换到图像域,然后计算复数数据的绝对值,之后在多线圈通道维度计算平方根和,以得到最终的标签图像作为空间域网络训练阶段的监督;对于测试集的采集可以直接利用设备的加速轨迹直接采集欠采样的原始k空间数据,并对此数据和加速掩码矩阵进行储存。
步骤102:利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据。利用模拟的加速掩码矩阵,生成欠采样数据。
步骤102,具体包括:将所述磁共振原始空间数据与所述掩码矩阵进行点乘,生成欠采样数据。
在模型训练和验证阶段,生成、模拟设备欠采样过程的掩码矩阵,生成的掩码矩阵用来指定需要被采集的相位编码线,这些位置的掩码矩阵值为一,未采集的数据点数值为零;对于二维数据,应对所有切片的中间一定范围内的相位编码线进行连续全采样以作为自动校准区域(例如4倍加速为中间8%的区域,8倍加速为中间4%的区域,16倍加速为中间2%的区域),剩余位置依据加速倍率和采样方式(等间隔或随机采样)进行选择;另外也可以采用高斯或者螺旋欠采样掩码。掩码矩阵决定磁共振设备在数据采集时,对哪些位置的数据进行扫描,是计算机自动生成的。生成过程基于一定的逻辑,即通常会在低频区域采取全采集的策略:低频一定范围的区域执行连续全采集,例如4倍加速为相位编码中间8%的区域,8倍加速为中间4%的区域,16倍加速为中间2%的区域;其余区域依据采取的策略进行采集,例如4倍随机采样,中间8%的数据全采集,则在剩余的位置随机采集17%的相位编码线,这样合起来就采集了约25%的数据,即采集速度加速了4倍。得到掩码矩阵之后,与原始k空间数据点乘,即可模拟磁共振设备的加速扫描过程,生成欠采样数据。
在利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据之后,还包括:对所述欠采样数据进行零均值规范化处理。
在获得了所有的数据集数据之后,在送入网络进行训练计算之前,对欠采样数据进行零均值规范化,首先计算输入数据所有不同通道的均值和方差,然后利用计算得到的均值和方差来进行输入频域、空间域数据的标准化预处理,这一处理可降低网络的训练和收敛难度。另外,在网络完成前向计算得到输出之后,利用上述得到的均值、方差对输出数据进行去归一化操作,将输出数值映射回原始数值范围,以便进行数据一致性操作和重建图像指标计算。标准化预处理具体指首先分别计算每个通道的均值和方差;然后将数据减去均值然后除以方差。去归一化就是在得到经过处理的数据之后,将此数据乘以方差然后加上均值即可。
步骤103:根据所述欠采样数据利用快速磁共振图像重建网络进行重建,得到重建磁共振图像;所述快速磁共振图像重建网络为U型网络;所述快速磁共振图像重建网络每级中两个连续的卷积模块为依次连接的反傅里叶卷积模块和傅里叶卷积模块。设计基于双域超快速傅里叶卷积的快速磁共振图像重建网络,并利用训练、验证集,对所设计重建网络进行训练,使得重建网络具备从欠采样数据进行高质量重建的能力。将训练完毕的重建模型算法嵌入到磁共振设备当中,从而对磁共振设备加速采集到的欠采样数据进行实时高质量重建,并利用显示设备展示重建图像。
步骤103,具体包括:
将所述欠采样数据通过快速磁共振图像重建网络的第一卷积层,得到卷积输出;将所述卷积输出利用快速磁共振图像重建网络的带有残差的卷积层进行特征提取,得到空间相邻特征信息和多线圈冗余信息;将所述空间相邻特征信息和所述多线圈冗余信息利用快速磁共振图像重建网络的第二卷积层进行通道调整,得到特征信息;根据所述特征信息利用快速磁共振图像重建网络的反傅里叶卷积模块,得到图像域特征;将所述图像域特征利用快速磁共振图像重建网络的第三卷积层,得到第一跨域卷积结果;将所述跨域卷积结果利用快速磁共振图像重建网络的傅里叶卷积模块,得到第二跨域卷积结果;将所述第一跨域卷积结果和所述第二跨域卷积结果进行拼接,得到重建磁共振图像。
快速磁共振图像重建网络中采用了新设计的快速反傅里叶卷积模块,来进行磁共振数据的频域特征提取、填充和计算;快速傅里叶卷积和反傅里叶卷积模块被设计用来代替原始U型网络中每级两个连续的卷积模块,可以得到更高质量的双域重建结果。其输入为处理后的欠采样数据或者是特征图,输出为精炼后的特征图或者输出重建图像。
所述快速反傅里叶卷积模块具体结构如下:对模块输入的欠采样K空间数据或频域特征(一般网络的第一个模块输入为步骤3输出的欠采样数据,而之后的模块的输入都为中间特征图;一般除了最后一个模块,其余的模块的输出都为中间特征图),输入数据应具备复数特性,通过预先设定,指定一半通道为实数通道,另一半通道数据为对应的虚部通道;输入数据首先经过一层核大小为1*1的卷积层,将数据通道变换到输出通道并整合通道信息,输出为x1;然后x1经过一个带有残差的核大小为3*3的卷积层,提取K空间相邻特征信息和多线圈冗余信息,输出为x2;之后数据x2再次经过一层核大小为1*1的卷积层整合通道信息,并为接下来的跨域卷积做通道调整,从而将频域感受野扩充到所有频率,得到特征x3;之后数据x3通过预先设定的实部和虚部,利用傅里叶反变换到图像域,得到对应的图像域特征,将此特征输入到一层核大小为1*1的卷积层进行空域特征的提取,扩充频域感受野到所有频率;跨域卷积之后将特征利用傅里叶变换返回频域,同时对整个跨域卷积操作进行残差操作,保证信息流的畅通,输出为x4。随后将跨域卷积的输入x3和输出x4进行拼接操作,然后送入到最后一个核大小为1*1的卷积层进行通道整合和选取,其输出即为整个超快速反傅里叶卷积模块的输出。
网络在训练时采用结构相似度损失函数;网络的输出为重建K空间数据,分别为多线圈复数数据的实数和虚数,最后的输出首先经过绝对值计算幅值,然后利用平方根和融合多线圈图像为单幅图像,即得到了最后的重建图像。
对于重建框架,大量利用超快速反傅里叶卷积模块代替U型网络当中的每级两个连续的卷积层,形成基于超快速反傅里叶卷积网络,此网络具有更少的参数量,但是却将K空间重建性能大幅提升。
二维重建方法为超快速傅里叶卷积网络和超快速反傅里叶卷积网络的并联、级联形式。针对多线圈数据,首先同样利用超快速傅里叶卷积网络来计算每个通道图像的灵敏度图(利用灵敏度图融合多线圈数据为单通道图像),然后分别利用超快速傅里叶卷积网络和反傅里叶卷积网络在双域并行进行重建优化:在频域分支,首先利用多通道k空间数据,进行多线圈数据的填充,填充利用超快速反傅里叶卷积网络,然后利用之前计算的敏感度图融合为单幅图像,等待与另一支图像域重建结果进行融合;图像域网络首先利用敏感度图变换为单幅图像,然后利用超快速傅里叶卷积网络完成图像域重建;双域重建结果融合过程发生在单幅图像域,融合之后的结果利用敏感度图返回到多线圈k空间数据格式,经过更柔和的数据一致性操作后作为下一级的输入或者最终的输出。之后重复进行多通道融合、重建、多通道恢复和数据一致性的操作,重复级联多次。方法的输入为多通道欠采样k空间数据以及其对应的欠采样图像,最后输出经过绝对值计算和平方根和融合多通道的单幅图像。
首先利用测试数据输入进网络进行重建效果观测,把每个磁共振欠采样数据输入到训练好的重建网络当中,经过前向传播计算,即可完成数据的重建,通过可视化和指标计算,得到本专利方法可以得到高质量的重建结果,图像清晰无伪影。
最终,将网络模型嵌入到磁共振设备当中,利用预先设定好的欠扫描轨迹,得到欠采样数据,然后利用基于双域超快速傅里叶卷积的快速磁共振图像重建方法完成实时、快速磁共振高质量重建,在达到4倍、8倍甚至16倍加速的基础上,完成高质量重建。
所提超快速反傅里叶卷积的具体结构如图2所示,其在典型U型网络中的应用效果如图3所示,组成的新网络叫做基于超快速反傅里叶卷积的U型网络,用来完成k空间或频域的重建。对模块输入欠采样K空间数据或频域特征,输入数据应具备复数特性,通过预先设定,指定一半通道为实数通道,另一半通道数据为对应的虚部通道;输入数据首先经过一层核大小为1*1的卷积层,将数据通道变换到输出通道并整合通道信息;然后经过一个带有残差的核大小为3*3的卷积层,提取K空间相邻特征信息和多线圈冗余信息;之后数据再次经过一层核大小为1*1的卷积层整合通道信息,并为接下来的跨域卷积做通道调整,从而将频域感受野扩充到所有频率;之后数据通过预先设定的实部和虚部,利用傅里叶反变换到图像域,得到对应的图像域特征,将此特征输入到一层核大小为1*1的卷积层进行空域特征的提取,扩充频域感受野到所有频率;跨域卷积之后将特征利用傅里叶变换返回频域,同时对整个跨域卷积操作进行残差操作,保证信息流的畅通。随后将跨域卷积的输入和输出进行拼接操作,然后送入到最后一个核大小为1*1的卷积层进行通道整合和选取,其输出即为整个超快速反傅里叶卷积模块的输出。
超快速反傅里叶卷积用来代替U型网络或者ResNet等网络中连续的两个卷积,用来给网络的频域重建提供可以覆盖全频率的感受野。
另外基于超快速反傅里叶卷积和之前提出的超快速傅里叶卷积(两种卷积统称为超快速傅里叶卷积),提出了一种新型的双域超快速傅里叶卷积的快速磁共振图像重建方法,具体框架图如图4所示。
二维重建方法为超快速傅里叶卷积网络和超快速反傅里叶卷积网络的并联、级联形式。针对多线圈数据,首先同样利用超快速傅里叶卷积网络来计算每个通道图像的灵敏度图(利用灵敏度图融合多线圈数据为单通道图像),然后分别利用超快速傅里叶卷积网络和反傅里叶卷积网络在双域并行进行重建优化:在频域分支,首先利用多通道k空间数据,进行多线圈数据的填充,填充利用超快速反傅里叶卷积网络,然后利用之前计算的敏感度图融合为单幅图像,等待与另一支图像域重建结果进行融合;图像域网络首先利用敏感度图变换为单幅图像,然后利用超快速傅里叶卷积网络完成图像域重建;双域重建结果融合过程发生在单幅图像域,融合之后的结果利用敏感度图返回到多线圈k空间数据格式,经过更柔和的数据一致性操作后作为下一级的输入或者最终的输出。之后重复进行多通道融合、重建、多通道恢复和数据一致性的操作,重复级联多次。方法的输入为欠采样数据,最后输出经过绝对值计算和平方根和融合多通道的单幅图像。
图4下方提供了敏感度图预估模块和新提出的更柔和的数据一致性模块的具体结构图。
更柔和的数据一致性模块首先将重建的k空间和原始欠采样数据在通道维度进行拼接,然后经过一个3*3的卷积操作进行数据融合和提取,通过网络学习自动获取到合适的数据一致性策略。然后通过掩码进一步简化网络学习过程,对于未采集的点,直接采用重建结果,对于采集点位,则通过网络训练自动平衡数据。
图5显示了在6次级联之后的重建效果图。在4倍加速下可以看到,网络具备很好的加速重建性能。
首先,现用重建方法都利用普通卷积结构,网络的重建感受野严重不足;其次是没有利用双域或者是对双域数据的利用不合理,以及对于双域数据的融合存在问题,进一步限制了相关的重建性能;最后是没有采用更有效地数据一致性操作,硬性混合k空间造成数据不连续性,影响了重建结果。
以对照试验作为比较例,和端到端变分网络进行对比,其只采用了单域的卷积神经网络重建,并且采用了一般的数据一致操作。如图6和图7所示。可以看到,本方法重建的图像信噪比更高,细节更丰富,重建质量更好。
本方法设计了一种新型双域超快速傅里叶卷积的快速磁共振图像重建框架,利用中心对称的双域重建结构,更适用于双域数据特性,并且将双域重建感受野扩展到了全图;另外图像域单幅图像融合策略简单有效;还利用了一种新的更柔和的数据一致性操作。这些使得本方法有着重建性能高、效果好的特性,并且在高倍率下依然有着很好的重建性能。
这些提升主要源自于以下四点:
1.双域超快速傅里叶卷积的应用。在图像域采用超快速傅里叶卷积的基础上,进一步提出了超快速反傅里叶卷积完成k空间的大感受野重建。
2.图像域单幅图像融合策略更为简单有效,融合策略更合理,并且更易于网络的训练学习。
3.提出了一种新的更柔和的数据一致性操作,使得网络可以在不同的频率采用不同的数据一致性策略,给与网络更大的学习自由度。
4.本发明提出了一种新型双域超快速傅里叶卷积的快速磁共振图像重建框架,中心对称的双域结构,使得k域可以更好的利用多线圈冗余信息,图像域可以直接在单幅图像提炼图像细节。从而综合获得了极优的多线圈重建性能。
本发明还提供一种磁共振图像重建系统,包括:
获取模块,用于获取磁共振原始空间数据。
生成模块,用于利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据。
重建模块,用于根据所述欠采样数据利用快速磁共振图像重建网络进行重建,得到重建磁共振图像;所述快速磁共振图像重建网络为U型网络;所述快速磁共振图像重建网络每级中两个连续的卷积模块为依次连接的反傅里叶卷积模块和傅里叶卷积模块。
作为一种可选地实施方式,生成模块具体包括:
生成单元,用于将所述磁共振原始空间数据与所述掩码矩阵进行点乘,生成欠采样数据。
作为一种可选的实施方式,还包括:
零均值规范化处理模块,用于对所述欠采样数据进行零均值规范化处理。
作为一种可选地实施方式,重建模块具体包括:
第一卷积模块,用于将所述欠采样数据通过快速磁共振图像重建网络的第一卷积层,得到卷积输出。
特征提取单元,用于将所述卷积输出利用快速磁共振图像重建网络的带有残差的卷积层进行特征提取,得到空间相邻特征信息和多线圈冗余信息。
通道调整单元,用于将所述空间相邻特征信息和所述多线圈冗余信息利用快速磁共振图像重建网络的第二卷积层进行通道调整,得到特征信息。
傅里叶反变换单元,用于根据所述特征信息利用快速磁共振图像重建网络的反傅里叶卷积模块,得到图像域特征。
第二卷积单元,用于将所述图像域特征利用快速磁共振图像重建网络的第三卷积层,得到第一跨域卷积结果。
傅里叶变换单元,用于将所述跨域卷积结果利用快速磁共振图像重建网络的傅里叶卷积模块,得到第二跨域卷积结果。
拼接单元,用于将所述第一跨域卷积结果和所述第二跨域卷积结果进行拼接,得到重建磁共振图像。
本发明还提供一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如所述的方法。
本发明还提供一种计算机存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如所述的方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种磁共振图像重建方法,其特征在于,包括:
获取磁共振原始空间数据;
利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据;
根据所述欠采样数据利用快速磁共振图像重建网络进行重建,得到重建磁共振图像;所述快速磁共振图像重建网络为U型网络;所述快速磁共振图像重建网络每级中两个连续的卷积模块为依次连接的反傅里叶卷积模块和傅里叶卷积模块。
2.根据权利要求1所述的磁共振图像重建方法,其特征在于,利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据,具体包括:
将所述磁共振原始空间数据与所述掩码矩阵进行点乘,生成欠采样数据。
3.根据权利要求1所述的磁共振图像重建方法,其特征在于,在利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据之后,还包括:
对所述欠采样数据进行零均值规范化处理。
4.根据权利要求1所述的磁共振图像重建方法,其特征在于,根据所述欠采样数据利用快速磁共振图像重建网络进行重建,得到重建磁共振图像,具体包括:
将所述欠采样数据通过快速磁共振图像重建网络的第一卷积层,得到卷积输出;
将所述卷积输出利用快速磁共振图像重建网络的带有残差的卷积层进行特征提取,得到空间相邻特征信息和多线圈冗余信息;
将所述空间相邻特征信息和所述多线圈冗余信息利用快速磁共振图像重建网络的第二卷积层进行通道调整,得到特征信息;
根据所述特征信息利用快速磁共振图像重建网络的反傅里叶卷积模块,得到图像域特征;
将所述图像域特征利用快速磁共振图像重建网络的第三卷积层,得到第一跨域卷积结果;
将所述跨域卷积结果利用快速磁共振图像重建网络的傅里叶卷积模块,得到第二跨域卷积结果;
将所述第一跨域卷积结果和所述第二跨域卷积结果进行拼接,得到重建磁共振图像。
5.一种磁共振图像重建系统,其特征在于,包括:
获取模块,用于获取磁共振原始空间数据;
生成模块,用于利用所述磁共振原始空间数据和掩码矩阵生成欠采样数据;
重建模块,用于根据所述欠采样数据利用快速磁共振图像重建网络进行重建,得到重建磁共振图像;所述快速磁共振图像重建网络为U型网络;所述快速磁共振图像重建网络每级中两个连续的卷积模块为依次连接的反傅里叶卷积模块和傅里叶卷积模块。
6.根据权利要求5所述的磁共振图像重建系统,其特征在于,生成模块具体包括:
生成单元,用于将所述磁共振原始空间数据与所述掩码矩阵进行点乘,生成欠采样数据。
7.根据权利要求5所述的磁共振图像重建系统,其特征在于,还包括:
零均值规范化处理模块,用于对所述欠采样数据进行零均值规范化处理。
8.根据权利要求5所述的磁共振图像重建系统,其特征在于,重建模块具体包括:
第一卷积模块,用于将所述欠采样数据通过快速磁共振图像重建网络的第一卷积层,得到卷积输出;
特征提取单元,用于将所述卷积输出利用快速磁共振图像重建网络的带有残差的卷积层进行特征提取,得到空间相邻特征信息和多线圈冗余信息;
通道调整单元,用于将所述空间相邻特征信息和所述多线圈冗余信息利用快速磁共振图像重建网络的第二卷积层进行通道调整,得到特征信息;
傅里叶反变换单元,用于根据所述特征信息利用快速磁共振图像重建网络的反傅里叶卷积模块,得到图像域特征;
第二卷积单元,用于将所述图像域特征利用快速磁共振图像重建网络的第三卷积层,得到第一跨域卷积结果;
傅里叶变换单元,用于将所述跨域卷积结果利用快速磁共振图像重建网络的傅里叶卷积模块,得到第二跨域卷积结果;
拼接单元,用于将所述第一跨域卷积结果和所述第二跨域卷积结果进行拼接,得到重建磁共振图像。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至4中任意一项所述的方法。
10.一种计算机存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310884048.2A CN116863024A (zh) | 2023-07-18 | 2023-07-18 | 一种磁共振图像重建方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310884048.2A CN116863024A (zh) | 2023-07-18 | 2023-07-18 | 一种磁共振图像重建方法、系统、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116863024A true CN116863024A (zh) | 2023-10-10 |
Family
ID=88228429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310884048.2A Pending CN116863024A (zh) | 2023-07-18 | 2023-07-18 | 一种磁共振图像重建方法、系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116863024A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117557675A (zh) * | 2024-01-12 | 2024-02-13 | 北京航空航天大学杭州创新研究院 | 一种深度学习mri图像加速重建方法及系统 |
-
2023
- 2023-07-18 CN CN202310884048.2A patent/CN116863024A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117557675A (zh) * | 2024-01-12 | 2024-02-13 | 北京航空航天大学杭州创新研究院 | 一种深度学习mri图像加速重建方法及系统 |
CN117557675B (zh) * | 2024-01-12 | 2024-04-30 | 北京航空航天大学杭州创新研究院 | 一种深度学习mri图像加速重建方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
CN113077527B (zh) | 一种基于欠采样的快速磁共振图像重建方法 | |
CN108828481B (zh) | 一种基于深度学习和数据一致性的磁共振重建方法 | |
Wen et al. | Transform learning for magnetic resonance image reconstruction: From model-based learning to building neural networks | |
CN111951344B (zh) | 一种基于级联并行卷积网络的磁共振图像重建方法 | |
CN113379867B (zh) | 一种基于联合优化采样矩阵的核磁共振图像重建方法 | |
CN106485764A (zh) | Mri图像的快速精确重建方法 | |
CN111436936B (zh) | 基于mri的ct图像重建方法 | |
CN112164122A (zh) | 一种基于深度残差生成对抗网络的快速cs-mri重建方法 | |
CN116863024A (zh) | 一种磁共振图像重建方法、系统、电子设备及存储介质 | |
CN111784792A (zh) | 基于双域卷积神经网络的快速磁共振重建系统及其训练方法与应用 | |
CN114419176A (zh) | 一种螺旋桨磁共振成像的重建系统和方法 | |
CN113096207B (zh) | 基于深度学习和边缘辅助的快速磁共振成像方法与系统 | |
CN117611601B (zh) | 基于文字辅助的半监督3d医学图像分割方法 | |
CN115601572A (zh) | 基于半监督CycleGan网络的超声相控阵图像优化重构方法及系统 | |
CN112213673B (zh) | 动态磁共振成像方法、装置、重建计算机及磁共振系统 | |
CN116070401A (zh) | 一种基于变换域张量低秩先验深度展开网络的高维磁共振图像重建方法 | |
CN113052840B (zh) | 一种基于低信噪比pet图像的处理方法 | |
CN115294300A (zh) | 多分支注意力先验参数化有限投影快速荧光断层重建方法 | |
CN112150570B (zh) | 一种基于迭代p阈值投影算法的压缩感知磁共振成像方法 | |
CN114913262A (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
CN113920211A (zh) | 一种基于深度学习的快速磁敏感加权成像方法 | |
CN118135048A (zh) | 磁共振欠采样数据的插值重建方法、系统、设备及介质 | |
CN117576250B (zh) | 前瞻性欠采样MRI Dixon数据的快速重建方法及系统 | |
CN117808919A (zh) | 基于深度学习的生成对抗网络进行mri欠采样重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |