CN116626570A - 多对比度mri采样和图像重建 - Google Patents

多对比度mri采样和图像重建 Download PDF

Info

Publication number
CN116626570A
CN116626570A CN202310193799.XA CN202310193799A CN116626570A CN 116626570 A CN116626570 A CN 116626570A CN 202310193799 A CN202310193799 A CN 202310193799A CN 116626570 A CN116626570 A CN 116626570A
Authority
CN
China
Prior art keywords
mri
undersampled
contrast
data
sampling pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310193799.XA
Other languages
English (en)
Inventor
陈潇
陈章
刘毅康
孙善辉
陈德仁
赵麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN116626570A publication Critical patent/CN116626570A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4818—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/50—NMR imaging systems based on the determination of relaxation times, e.g. T1 measurement by IR sequences; T2 measurement by multiple-echo sequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5602—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by filtering or weighting based on different relaxation times within the sample, e.g. T1 weighting using an inversion pulse
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G01R33/5611—Parallel magnetic resonance imaging, e.g. sensitivity encoding [SENSE], simultaneous acquisition of spatial harmonics [SMASH], unaliasing by Fourier encoding of the overlaps using the temporal dimension [UNFOLD], k-t-broad-use linear acquisition speed-up technique [k-t-BLAST], k-t-SENSE
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本文描述了与多对比度磁共振成像(MRI)图像的重建相关联的系统、方法和装置。重建可以基于使用对应的采样模式针对多个对比度收集的欠采样MRI数据来执行。针对多个对比度的采样模式和重建操作可以使用通过一个或多个神经网络实施的深度学习技术来联合优化。提供了端到端重建优化框架，利用该框架，可以存储在处理一个对比度时收集的信息，并将其用于另一个对比度。描述了用于从k空间获得欠采样MRI数据的可微分采样器，并且使用新颖的整体循环神经网络来基于欠采样MRI数据重建MRI图像。

Description

多对比度MRI采样和图像重建
技术领域
本申请涉及医学图像领域。
背景技术
磁共振成像(MRI)已经成为用于疾病检测、诊断和治疗监测的非常重要的工具。对诸如大脑的解剖结构的MRI检查可能涉及多个图像，包括T1加权图像、T2加权图像、流体衰减反转恢复(FLAIR)图像等，各个图像可能与唯一的对比度相关联。由于MRI本质上是一种慢速成像技术，因此可能需要加速这种多对比度MRI检查。常规加速技术在采样和重建期间独立地处理各个对比度，目标是实现各个单独对比度的最佳结果。使用这些技术，可以彼此单独地确定应用于不同对比度的采样模式和重建算法，而不利用可以在对比度之间共享的信息。因此，虽然可以优化针对各个对比度获得的图像，但是整个MRI检查的结果可能变得次优(例如，关于重建质量和/或采集时间变得次优)。因此，期望用于提高多对比度MRI检查的质量的系统、方法和装置。
发明内容
本文描述了与基于用于多个对比度(例如，T1加权、T2加权等)的欠采样MRI数据来重建多对比度磁共振成像(MRI)图像相关联的系统、方法和装置。一种被配置为执行图像重建任务的设备可以包括：一个或多个处理器，其被配置为：获得与第一对比度(例如，T1加权)相关联的第一欠采样MRI数据，并且使用人工神经网络(ANN)针对第一对比度重建第一MRI图像，其中，第一MRI图像的重建可以包括：确定第一欠采样MRI数据的多个第一特性(例如，特征)，以及基于第一欠采样MRI数据的多个第一特性预测第一MRI图像。一个或多个处理器还可被配置为：获得与第二对比度相关联的第二欠采样MRI数据，并且使用ANN针对第二对比度重建第二MRI图像，其中，第二MRI图像的重建包括：确定第二欠采样MRI数据的多个第二特性，以及基于第二欠采样MRI数据的多个第二特性和第一欠采样MRI数据的多个第一特性的至少子集来预测第二MRI图像。
在示例中，本文所述的第一欠采样MRI数据可使用第一采样模式(例如，第一采样掩模)来导出，第二欠采样MRI数据可使用第二采样模式(例如，第二采样掩模)来导出，并且第一采样模式和第二采样模式可被联合确定或优化(例如，与ANN的参数一起)。
在示例中，ANN可以在包括以下步骤的过程中训练：将第一估计采样模式应用于MRI训练数据集以获得第一欠采样MRI训练数据，将第二估计采样模式应用于MRI训练数据集以获得第二欠采样MRI训练数据，使用ANN的初步参数基于第一欠采样MRI训练数据生成第一重建MRI图像，使用ANN的初步参数基于第二欠采样MRI训练数据生成第二重建MRI图像，以及基于与第一重建MRI图像和第二重建MRI图像相关联的相应金标准调节第一估计采样模式、第二估计采样模式或ANN的初步参数中的至少一个。
在示例中，本文所述的第一采样模式和第二采样模式可以分别对应于第一可微分概率掩模和第二可微分概率掩模，第一可微分概率掩模和第二可微分概率掩模允许在ANN的训练期间确定的损失反向传播通过网络。在示例中，ANN可以包括循环神经网络(RNN)，其被配置为确定第一欠采样MRI数据的多个第一特性，并且将多个第一特性存储为与第一对比度相关联的第一MRI图像的隐状态。RNN还可被配置为确定第二欠采样MRI数据的多个第二特性，并且将多个第二特性存储为与第二对比度相关联的第二MRI图像的隐状态。RNN可被配置为基于第一MRI图像的隐状态来重建第二MRI图像。在示例中，RNN可包括多个解码器层，各个解码器层可被配置为确定第一欠采样MRI数据的相应的第一上采样特征集作为第一对比度的隐状态的一部分，并且确定第二欠采样MRI数据的相应的第二上采样特征集作为第二对比度的隐状态的一部分。在示例中，第一欠采样MRI数据的相应的第一上采样特征集可由多个解码器层中的每个解码器层使用来确定第二欠采样MRI数据的相应的第二上采样特征集。
在示例中，本文所述的RNN可以包括多个网络块，并且各个网络块可以包括多个编码器层、多个解码器层、以及数据一致性(DC)层，DC层被配置为确保针对对比度重建的MRI图像与实际MRI数据一致。
附图说明
从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。
图1是例示了根据本文所述的一个或多个实施例的可与多对比度MRI图像生成相关联的示例操作的简化框图。
图2是例示了联合确定用于对k空间进行采样以针对多个对比度获得欠采样MRI数据的模式以及基于欠采样数据针对多个对比度联合重建MRI图像的示例的简化框图。
图3是例示了根据本文所述的一个或多个实施例的多对比度MRI重建器的示例的简化框图。
图4是例示了根据本文所述的一个或多个实施例的RNN块的示例结构的简化框图。
图5是例示了根据本文所述的一个或多个实施例的训练一个或多个人工神经网络以便执行采样和/或重建任务的示例的简化框图。
图6是例示了根据本文所述的一个或多个实施例的可以被执行用于训练神经网络的示例操作的简化流程图。
图7是例示了可以被配置为执行本文提供的一个或多个实施例所述的任务的设备的示例部件的简化框图。
具体实施方式
在附图的各图中，通过示例而非限制性的方式例示了本公开。
图1例示了可以与多对比度MRI图像生成相关联的示例操作。在图中示出并且在本文中描述了两个对比度，但是本领域技术人员将理解，所公开的技术可以用于获得多于两个对比度的图像。如图所示，可以基于与解剖结构相关联的空间、频率和/或相位信息(例如，图1所示的102a和102b)生成诸如大脑的解剖结构的MRI图像，并且这种信息在本文中可以互换地称为k空间、k空间数据或k空间信息。对于某些MRI检查，与不同对比度(例如，T1加权、T2加权、流体衰减反转恢复(FLAIR)等)相关联的数据可以从k空间收集，并且为了加速数据收集过程，相应的采样模式(例如，图1所示的104a和104b)可以用于对k空间进行欠采样以获得针对不同对比度的欠采样MRI数据(例如，图1所示的106a和106b)。在示例中，针对不同对比度的采样模式可以由相应的采样掩模表示，采样掩模可以指示在k空间中的何处要收集MRI数据和/或在k空间中的何处不要收集MRI数据。
一旦被收集，针对多个对比度的欠采样MRI数据106a和106b就可以用于获得对应的MRI图像(例如，图1所示的108a和108b)，例如，通过对欠采样MRI数据应用快速傅里叶逆变换(IFFT)(术语“欠采样MRI数据”在本文中可以与术语“欠采样MRI图像”互换使用)。然后可以(例如，通过图1所示的重建器110)重建MRI图像108a和108b，以恢复由于欠采样而丢失的细节和/或去除由欠采样引起的伪影(例如，混叠伪影)。作为重建的结果，可以以提高的质量(例如，具有与基于全采样的k空间数据生成的图像相同或大致类似的质量)生成针对多个对比度的相应MRI图像(例如，图1所示的112a和112b)。由此生成的多对比度MRI图像可用于促进各种下游任务，包括例如病理区域的分割、T1映射(其中，多对比度MRI图像可拟合到指数恢复信号模型以计算各个图像像素的T1值)等。
可以确定用于多对比度MRI图像的采样模式，并且可以通过考虑可以由多个对比度共享(例如，由于底层对象对于多个对比度是相同的)的信息来针对多个对比度执行重建操作。通过以这种联合方式执行采样和/或重建任务，可以提高任务的总体质量和速度。
图2例示了联合确定用于对k空间进行采样以针对多个对比度获得欠采样MRI数据的模式以及基于欠采样数据针对多个对比度联合重建MRI图像的示例。如图所示，可以使用多对比度MRI采样掩模生成器(例如，图所示的202)来确定与多个对比度相关联的采样模式(例如，采样掩模)，并且可以使用多对比度MRI图像重建器(例如，图所示的204)来执行图像重建任务。MRI采样掩模生成器202和MRI图像重建器204中的任一个或两个都可以使用人工神经网络(ANN)来实施，该ANN可以被训练为联合优化用于多个对比度的采样模式和/或重建操作。在示例中，MRI采样掩模生成器202可以用于离线确定用于多个对比度的采样掩模(例如，采样模式)(例如，结合对包括在MRI图像重建器204中的MRI图像重建神经网络的训练)，并且可以保存所确定的采样掩模(例如，在系统存储器或数据库中)以用于与多个MRI对比度相关联的k空间206的随后采样(例如，MRI扫描仪可以使用采样掩模来收集用于多个对比度的数据)。如将在下面更详细地描述的，一个对比度的采样掩模的确定可以与另一个对比度的采样掩模的确定和/或与针对多个对比度的MRI图像的重建相结合。例如，针对第一对比度确定的采样模式可以包括k空间的可以被再次用于第二对比度的部分，因此，针对第二对比度的采样模式可以不需要包括k空间的这些部分。在示例中，MRI采样掩模生成器202可以被配置为离线确定用于多个对比度的采样模式，并且在推断或运行时例如基于可以在推断或运行时提供给MRI采样掩模生成器的性能准则或指标(例如，总MRI加速度)来进一步细化这些采样模式。
本文所述的采样掩模可以以可微分的方式(例如，MRI采样掩模生成器202可以是可微分采样掩模生成器)来生成，以便于训练用于采样和/或重建任务的神经网络。例如，可以二值化用于对k空间进行欠采样的掩模以指示k空间位置将被采样的概率(例如，1指示在该位置处采样，而0指示在该位置处没有采样)。然而，这种二值化过程可能是不可微分的，并且可能不允许梯度反向传播通过神经网络。为了允许反向传播，可以使用sigmoid函数来近似二值化过程并确定用于特定MRI对比度的采样掩模(例如，用于对k空间的各个位置进行采样的概率)。Sigmoid函数的示例可以如下：
σs(uc≤pc)
其中，uc∈CN可以表示随机向量的实现，该随机向量可以均匀地分布在[0，1]上，pc可以表示概率掩模，σs(t)可以被设置为1/(1+e-st)，并且s可以表示斜率。如将在下面更详细地描述的，在神经网络的训练期间，可以在正向传递中使用二值化函数，并且在反向传播期间，可以使用sigmoid函数的梯度作为二值化函数的近似。
针对特定对比度的MRI图像(例如208a、208b或208c)的重建也可以通过考虑为其他对比度收集的信息来执行。例如，MRI图像重建器204可以被配置为使用ANN基于由ANN从第一欠采样MRI数据(例如，其可以使用第一采样模式或掩模针对第一对比度获得)提取的多个第一特性(例如，特征)来针对第一对比度重建第一MRI图像。MRI图像重建器204还可使用ANN基于第一欠采样MRI数据的多个第一特性的至少子集和由ANN从第二欠采样MRI数据(例如，第二欠采样数据可使用第二采样模式或掩模针对第二对比度获得)提取的多个第二特性来针对第二对比度重建第二MRI图像。这样，例如，通过确保针对不同对比度重建的MRI图像至少相对于由多个对比度共享的这些特征(例如，特性)是一致的，可以提高图像重建操作的总体质量。然后，重建的多对比度MRI图像(例如，208a-208c)可用于促进各种下游任务210，包括例如T2*映射。
图3例示了多对比度MRI重建器300(例如，图2的多对比度MRI图像重建器204)的示例，其可用于基于针对对比度收集的欠采样MRI数据生成不同对比度的MRI图像。如图所示，重建器300可以被配置为使用人工神经网络(诸如，包括一个或多个RNN单元302的循环神经网络(RNN))来执行图像重建任务。人工神经网络可以被训练为实施机器学习(ML)模型，该模型可以在输入处取得与多个对比度相关联的欠采样MRI图像304(或者可以用于经由IFFT获得MRI图像的对应MRI数据)，并且生成针对多个对比度的重建MRI图像306(例如，图2的图像208a-208c)作为输出。例如，RNN单元302可被配置(例如，被训练)为取得与当前对比度c相关联的欠采样MRI数据(例如，零填充、欠采样MRI图像)以及先前对比度(例如，对比度c-1)的隐状态hc-1，并且输出当前对比度的重建MRI图像(例如，高保真度MRI图像)和当前对比度的隐状态hc以供随后使用(例如，用于处理下一对比度c+1)。例如，RNN单元302可被配置为基于针对第一对比度获得(例如，使用第一采样掩模)的第一欠采样MRI数据来重建与第一对比度相对应的第一MRI图像，并且将信息(例如，从第一欠采样MRI数据提取的特征)存储为第一隐状态。对于第二对比度，RNN单元302还可被配置为将针对第二对比度获得(例如，使用第二采样掩模)的第二欠采样MRI数据和所存储的第一对比度的隐状态作为输入，并且基于输入针对第二对比度重建第二MRI图像。RNN单元302可以存储信息(例如，从第二欠采样MRI数据提取的特征)作为要用于附加对比度(例如，第三对比度、第四对比度等)的第二隐状态。使用这样的循环网络架构，可以利用不同对比度图像(例如，与相同的底层解剖对象相关)之间的相关性来提高多对比度图像重建的质量。
在示例中，RNN单元302可包括一个或多个(例如，三个)网络块(例如，堆叠或串接的网络块)，其被配置为从输入MRI图像(例如，欠采样MRI图像)提取特征(例如，以一个或多个特征图的形式)，并基于所提取的特征来预测重建的MRI图像。在示例中，RNN单元302的各个网络块可以被配置为接收一个或多个输入，并基于这些输入生成一个或多个输出。这些输入可包括例如与先前对比度相关联的隐状态(例如，各个对比度的隐状态hc可包括与网络块相关联的相应隐状态h(1)、h(2)、h(3)等)，并且输出可包括可由随后网络块使用和/或用于随后对比度的隐状态。
图4例示了可以包括在RNN单元(例如，图3所示的RNN单元302)中的网络块(例如，图3所示的网络块1、网络块2等)的示例结构。如图所示，网络块400(例如，其在本文中还可被称为子网络)可包括输入层(未示出)、多个卷积层和/或转置卷积层(例如，包括瓶颈408的402-414)、输出层(未示出)、和/或数据一致性(DC)层416。输入层可以被配置为接收针对特定MRI对比度的欠采样MRI图像(例如，经由IFFT从欠采样MRI数据导出的)，预处理输入图像，和/或将输入图像传递到卷积和/或DC层。卷积层(例如，402-406)可以各自包括多个卷积核或过滤器(例如，4个卷积层中的每一个具有64/128/256/512个过滤器)，其具有相应权重(例如，对应于由神经网络实施的ML模型的参数)，可以被配置为从输入图像提取特征。卷积运算之后可以是批归一化和/或激活函数(例如，诸如修正线性单元(ReLu)激活函数)，并且由各个卷积层提取的特征可以通过一个或多个池化层和/或一个或多个全连接层来下采样以获得特征的表示，例如以特征图或特征向量的形式。这些卷积层、池化层、激活函数和/或全连接层一起可以作为特征编码器操作，并且在本文中可以被称为特征编码器。
由特征编码器提取的特征可以被传递(例如，经由张量)到一个或多个上池化层(图4中未示出)和一个或多个(例如，4个)转置卷积层(例如，解码器层410-414)。通过上池化层和/或转置卷积层，可以对通过编码器提取的特征进行上采样和进一步处理(例如，经由多个反卷积操作)以导出一个或多个放大或密集特征图或特征向量。密集特征图或向量然后可以用于例如在输出层生成与在输入处接收的欠采样图像对应的重建MRI图像(例如，图2的图像208a、208b或208c)。上池化层和/或转置卷积层(例如，解码器层410-414)可以一起作为特征解码器操作，并且在本文中可以被称为特征解码器。
如图4所示，网络块400的各个解码器层(例如，图所示的412)可以被配置为接收由先前解码器层(例如，410)产生的特征图或特征向量、由对应的编码器层(例如，经由从404到412的跳跃连接)产生的特征图或特征向量、和/或与先前对比度相关联的隐状态ht-1(例如，隐状态的卷积)作为输入。基于输入(例如，输入的串接或组合)，解码器层可以生成(例如，经由卷积运算的集合)输出，该输出可以包括在输入处接收的欠采样MRI图像的上采样特征集(例如，对应于某个尺度或分辨率)。该上采样特征集可以用作后续解码器层的输入以及当前对比度的隐状态，并且可以用于针对当前对比度重建MRI图像。例如，RNN的各个解码器层可被配置为基于由编码器层从用于第一对比度的第一欠采样MRI图像提取的特征来确定相应的第一上采样特征集(例如，为第一特征图或第一特征向量的形式)，并且将相应的第一上采样特征集存储为第一对比度的隐状态的一部分。各个解码器层还可被配置为基于由编码器层从用于第二对比度的第二欠采样MRI图像提取的特征来确定相应的第二上采样特征集(例如，为第二特征图或第二特征向量的形式)，并且将相应的第二上采样特征集存储为第二对比度的隐状态的一部分。解码器层可以基于由解码器层针对第一对比度图像确定的第一特征集(例如，除了由编码器经由跳跃连接传递的特征和/或由先前解码器层确定的特征之外)来针对第二对比度图像确定相应的第二上采样特征集。通过在对比度和/或网络块之间传递(例如，直接地)由各个解码器层确定的上采样特征，从一个对比度或由一个网络块获得的信息可以与另一对比度或另一网络块共享，使得可以保持和再次使用多个对比度和/或多个网络块之中的有用信息。
如图4所示，RNN块400还可以包括数据一致性(DC)层420，其被配置为确保针对对比度重建(例如，估计)的MRI图像与实际MRI数据一致。例如，DC层420可被配置为向重建的图像应用FFT以获得估计的k空间。然后，可以将估计的k空间中的数据与用于重建图像的欠采样MRI数据进行比较，以确保在重建过程期间维持数据一致性。比较例如可以在欠采样MRI数据与在从其收集欠采样MRI数据的采样位置处的估计k空间的数据之间逐元素地执行。
图5例示了训练一个或多个人工神经网络(例如，样本掩模生成神经网络和/或MRI图像重建神经网络，诸如图3的RNN 302)以便执行本文所述的采样和/或重建任务的示例。如图所示，在训练期间，可以使用采样掩模生成器502a(例如，其可以是采样掩模生成神经网络)来预测第一采样掩模，并且可以将估计的采样掩模应用于第一对比度的全采样MRI训练数据集504a(例如，以仿真真实k空间)，以针对第一对比度获得第一欠采样MRI训练数据506a。类似地，可以使用采样掩模生成器502b(例如，其可以是与502a相同的采样掩模生成神经网络)来预测第二采样掩模，并且可以将估计的采样掩模应用于第二对比度的全采样MRI训练数据集504b，以针对第二对比度获得第二欠采样MRI训练数据506b。然后，可以分别将第一欠采样MRI训练数据506a和第二欠采样MRI训练数据506b转换(例如，经由IFFT)成欠采样MRI图像508a和508b，并将其提供给重建神经网络510(例如，图3的RNN 302)以预测用于第一对比度的第一重建MRI图像512a和用于第二对比度的第二重建MRI图像512b。
(例如，采样掩模和/或重建图像的)预测可以使用本文所述的采样神经网络和/或重建神经网络的初步参数(例如，权重)来进行，并且可以确定与预测相关联的一个或多个损失并且将其用于更新神经网络的初步参数。例如，可基于多对比度MRI图像的重建通过将预测图像512a和512b与相应的金标准图像进行比较并基于预测图像和金标准图像计算均方误差(MSE)、结构相似度指数(SSIM)、L1范数、峰值信噪比(PSNR)等来直接确定第一损失514a。另外或替代地，可基于下游任务(诸如利用重建的多对比度图像512a和512b的T2*映射)确定第二损失514b。第二损失514b可例如基于使用MRI图像512a/512b生成的拟合T2*图与金标准T2*图之间的MSE来确定。
一旦确定，本文所述的损失(例如，损失的梯度下降)就可以反向传播通过MRI图像重建器510和/或采样掩模生成器502a/502b，以更新用于预测采样掩模和/或多对比度图像的参数，和/或更新由采样掩模生成器502a/502b预测的采样掩模。损失可以单独地(例如，基于损失的相应梯度下降)或作为组合损失(例如，基于损失的平均值的梯度下降)来反向传播。反向传播至少部分因为使得采样掩模506a和506b(例如，概率掩模)可微分(例如，通过使用sigmoid函数来近似采样掩模的二值化)而是可能的。在示例中，可以在可以生成采样掩模的正向传递中使用二值化函数，并且在反向传播期间，可以使用sigmoid函数的梯度作为二值化函数的近似。
在示例中，可以对多对比度3D脑MRI数据集和/或多对比度3D膝盖数据集进行本文所述的训练，两个数据集都可以是公开可用的。在示例中，训练数据集可包括多个受试者，并且对于各个受试者，可存在多个MRI对比度，诸如不同的T2*加权对比度。在示例中，训练数据集中的容积可以被切片(例如，在横向截面中)，从而产生多个训练切片图像、验证切片图像和/或用于测试的切片图像。切片图像可以以特定分辨率(例如256×224)来调整尺寸，并且可以通过图像均值来归一化。训练可以以预定的学习率(例如，0.01)进行预定数量的时期(例如，100个时期)。
使用图5所例示的训练技术，可以联合确定或优化与采样模式确定和MRI图像重建相关联的操作。针对一个对比度(例如，第一对比度)的采样和/或图像重建也可以与针对另一个对比度(例如，第二对比度)的采样和/或图像重建联合地确定或优化。
图6例示了可以在训练神经网络(例如，图3的RNN 302)以执行本文所述的采样和/或重建任务的同时执行的示例操作。如图所示，训练操作可以包括在602例如基于从具有类似架构的另一神经网络的一个或多个概率分布或参数值收集的样本来初始化神经网络的参数(例如，与神经网络的各个过滤器或核相关联的权重)。训练操作还可以包括在604向神经网络提供与多对比度MRI检查相关联的训练数据(例如，全采样的k空间数据)，并且在606使神经网络预测相应的采样模式并将其应用于训练数据，以获得各个对比度的欠采样的k空间数据。训练操作还可以包括在608基于多个对比度的欠采样k空间数据(或欠采样MRI图像)来重建MRI图像，以及在610基于采样/重建操作的结果以及期望的结果来确定各种损失。如本文所述，损失可以包括与图像预测相关联的重建损失和/或与下游任务相关联的映射损失。
一旦确定，就可以在612例如单独地或作为组合损失(例如，所确定的损失的平均值)来评估损失，以确定是否已经满足一个或多个训练终止准则。例如，如果上述损失低于预定阈值，如果两次训练迭代之间(例如，连续训练迭代之间)的损失变化降至预定阈值以下等，则可以认为训练终止准则被满足。如果在612确定已经满足训练终止准则，则训练可以结束。否则，在训练返回到606之前，可以在614将损失(例如，单独地或作为组合损失)反向传播穿过神经网络(例如，基于与损失相关联的相应梯度下降或组合损失的梯度下降)。
为了说明的简单起见，训练步骤在本文中以特定顺序描绘和描述。然而，应当理解，训练操作可以以各种顺序、同时和/或与本文未呈现或描述的其它操作一起发生。此外，应当注意，并非可包括在训练过程中的所有操作都在本文中描绘和描述，并且并非所有例示的操作都需要执行。
本文所述的系统、方法和/或装置可以使用一个或多个处理器、一个或多个储存装置和/或其他合适的辅助装置(诸如显示装置、通信装置、输入/输出装置等)来实施。图7是例示了可以被配置为执行本文所述的联合采样和重建任务的示例设备700的框图。如图所示，设备700可以包括处理器(例如，一个或多个处理器)702，该处理器可以是中央处理单元(CPU)、图形处理单元(GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或能够执行本文所述的功能的任何其它电路或处理器。设备700还可以包括通信电路704、存储器706、大容量储存装置708、输入装置710和/或通信链路712(例如，通信总线)，附图所示的一个或多个部件可以通过该通信链路交换信息。
通信电路704可以被配置为利用一个或多个通信协议(例如，TCP/IP)和一个或多个通信网络来发送和接收信息，这些通信网络包括局域网(LAN)、广域网(WAN)、因特网、无线数据网络(例如，Wi-Fi、3G、4G/LTE或5G网络)。存储器706可以包括被配置为存储机器可读指令的存储介质(例如，非瞬时性存储介质)，当机器可读指令被实行时，使得处理器702执行本文所述的一个或多个功能。机器可读介质的示例可以包括易失性或非易失性存储器，包括但不限于半导体存储器(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))、闪存等)。大容量储存装置708可以包括一个或多个磁盘，诸如一个或多个内置硬盘、一个或多个可移动盘、一个或多个磁光盘、一个或多个CD-ROM或DVD-ROM盘等，在磁盘上可以存储指令和/或数据，以便于处理器702的操作。输入装置710可以包括键盘、鼠标、语音控制输入装置、触敏输入装置(例如，触摸屏)等，用于接收设备700的用户输入。
应当注意，设备700可以作为独立装置操作或者可以与其他计算装置连接(例如，联网或成群)，以执行本文所述的功能。并且即使在图7中仅示出了各个部件的一个实例，本领域技术人员也将理解，设备700可以包括图中示出的一个或多个部件的多个实例。
尽管已经根据某些实施例和一般关联的方法描述了本公开，但是实施例和方法的变更和变换将对本领域技术人员显而易见。因此，示例性实施例的以上描述不限制本公开。在不脱离本公开的精神和范围的情况下，其它改变、替换和变更也是可能的。另外，除非另外具体陈述，否则利用诸如“分析”、“确定”、“启用”、“识别”、“修改”等术语的讨论是指计算机系统或类似电子计算装置的动作和过程，这些动作和过程将表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据操纵和变换成表示为计算机系统存储器或其它这种信息存储、传输或显示装置内的物理量的其它数据。
应当理解，上述描述旨在为说明性的，而不是限制性的。在阅读和理解以上描述之后，许多其它实施方式对于本领域技术人员将显而易见。因此，本公开的范围应当参考所附权利要求以及这种权利要求被赋予的等同物的全部范围来确定。

Claims (10)

1.一种用于医学图像重建的方法，所述方法包括：
获得与第一对比度相关联的第一欠采样磁共振成像(MRI)数据；
使用人工神经网络(ANN)重建与所述第一对比度相关联的第一MRI图像，其中，所述第一MRI图像的所述重建包括：确定所述第一欠采样MRI数据的多个第一特性，以及基于所述第一欠采样MRI数据的所述多个第一特性预测所述第一MRI图像；
获得与第二对比度相关联的第二欠采样MRI数据；并且
使用所述ANN重建与所述第二对比度相关联的第二MRI图像，其中，所述第二MRI图像的所述重建包括：确定所述第二欠采样MRI数据的多个第二特性，以及基于所述第二欠采样MRI数据的所述多个第二特性和所述第一欠采样MRI数据的所述多个第一特性的至少子集来预测所述第二MRI图像。
2.根据权利要求1所述的方法，其中，与所述第一对比度相关联的所述第一欠采样MRI数据使用第一采样模式来导出，与所述第二对比度相关联的所述第二欠采样MRI数据使用第二采样模式来导出，并且所述第一采样模式和所述第二采样模式联合确定。
3.根据权利要求2所述的方法，其中，所述第一采样模式和所述第二采样模式在所述ANN的训练期间联合确定，其中，所述ANN的所述训练包括：
将第一估计采样模式应用于MRI训练数据集以获得第一欠采样MRI训练数据；
将第二估计采样模式应用于所述MRI训练数据集以获得第二欠采样MRI训练数据；
使用所述ANN基于所述第一欠采样MRI训练数据生成第一重建MRI图像；
使用所述ANN基于所述第二欠采样MRI训练数据生成第二重建MRI图像；以及
基于与所述第一重建MRI图像和所述第二重建MRI图像相关联的相应金标准调节所述第一估计采样模式、所述第二估计采样模式和所述ANN的参数。
4.根据权利要求3所述的方法，其中，所述第一估计采样模式、所述第二估计采样模式和所述ANN的所述参数还基于使用所述第一重建MRI图像或所述第二重建MRI图像执行的任务的质量来调节。
5.根据权利要求3所述的方法，其中，所述第一采样模式对应于第一可微分概率掩模，并且其中，所述第二采样模式对应于第二可微分概率掩模。
6.根据权利要求1所述的方法，其中，所述ANN包括循环神经网络(RNN)，其被配置为确定所述第一欠采样MRI数据的所述多个第一特性，并且将所述多个第一特性存储为所述第一MRI图像的隐状态，所述RNN还被配置为确定所述第二欠采样MRI数据的所述多个第二特性，并且将所述多个第二特性存储为所述第二MRI图像的隐状态，所述RNN还被配置为基于所述第一MRI图像的所述隐状态来重建所述第二MRI图像。
7.根据权利要求6所述的方法，其中，所述RNN包括多个解码器层，各个解码器层被配置为确定所述第一欠采样MRI数据的相应的第一上采样特征集作为所述第一对比度的所述隐状态的一部分，并且确定所述第二欠采样MRI数据的相应的第二上采样特征集作为所述第二对比度的所述隐状态的一部分。
8.根据权利要求7所述的方法，其中，所述第一欠采样MRI数据的所述相应的第一上采样特征集由所述多个解码器层中的每个解码器层使用来确定所述第二欠采样MRI数据的所述相应的第二上采样特征集。
9.根据权利要求6所述的方法，其中，所述RNN包括多个网络块，并且其中，各个所述网络块包括多个编码器层、多个解码器层、以及数据一致性(DC)层。
10.一种用于医学图像重建的设备，包括一个或多个处理器，其被配置为执行如权利要求1-9任意一项所述的方法。
CN202310193799.XA 2022-05-10 2023-03-02 多对比度mri采样和图像重建 Pending CN116626570A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/741,307 US12013452B2 (en) 2022-05-10 2022-05-10 Multi-contrast MRI sampling and image reconstruction
US17/741,307 2022-05-10

Publications (1)

Publication Number Publication Date
CN116626570A true CN116626570A (zh) 2023-08-22

Family

ID=87640569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310193799.XA Pending CN116626570A (zh) 2022-05-10 2023-03-02 多对比度mri采样和图像重建

Country Status (2)

Country Link
US (1) US12013452B2 (zh)
CN (1) CN116626570A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195061A (zh) * 2023-11-07 2023-12-08 腾讯科技（深圳）有限公司 事件响应预测模型处理方法、装置和计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105051564A (zh) 2013-03-22 2015-11-11 皇家飞利浦有限公司 用于压缩感测MRI中的经改进的k-空间采样的方法
KR101518751B1 (ko) 2013-11-21 2015-05-11 연세대학교 산학협력단 다중 대조도 자기공명영상에서 잡음 제거 방법 및 장치
CN112423659B (zh) * 2018-05-21 2023-04-21 上海联影医疗科技股份有限公司 多对比度磁共振成像的系统和方法
US11449989B2 (en) * 2019-03-27 2022-09-20 The General Hospital Corporation Super-resolution anatomical magnetic resonance imaging using deep learning for cerebral cortex segmentation
DE102019220456A1 (de) * 2019-12-20 2021-06-24 Siemens Healthcare Gmbh Medizinische Bilddaten für longitudinale Studien

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195061A (zh) * 2023-11-07 2023-12-08 腾讯科技（深圳）有限公司 事件响应预测模型处理方法、装置和计算机设备
CN117195061B (zh) * 2023-11-07 2024-03-29 腾讯科技（深圳）有限公司 事件响应预测模型处理方法、装置和计算机设备

Also Published As

Publication number Publication date
US20230366964A1 (en) 2023-11-16
US12013452B2 (en) 2024-06-18

Similar Documents

Publication Publication Date Title
CN109325985B (zh) 磁共振图像重建方法、装置和计算机可读存储介质
CN112085677A (zh) 一种图像处理方法、系统和计算机存储介质
US10627470B2 (en) System and method for learning based magnetic resonance fingerprinting
Kelkar et al. Prior image-constrained reconstruction using style-based generative models
US20230116931A1 (en) Medical information processing apparatus, medical information processing method, and storage medium
CN115294229A (zh) 用于重建磁共振成像（mri）图像的方法及设备
Li et al. High quality and fast compressed sensing MRI reconstruction via edge-enhanced dual discriminator generative adversarial network
CN114972570A (zh) 图像重建方法及设备
CN116626570A (zh) 多对比度mri采样和图像重建
Liu et al. Multi-contrast MR reconstruction with enhanced denoising autoencoder prior learning
CN116823910A (zh) Mri重建方法及计算机程序产品
CN113509165A (zh) 基于CAR2UNet网络的复数快速磁共振成像方法
CN116203486A (zh) 用于mri数据处理的系统和方法
Zong et al. Fast reconstruction of highly undersampled MR images using one and two dimensional principal component analysis
CN105676156A (zh) 一种基于多通道协作编码的磁共振成像重建方法和装置
CN112669400B (zh) 基于深度学习预测和残差架构的动态mr重建方法
CN114926366A (zh) 使用人工神经网络的运动伪影校正的方法和设备
CN114299174A (zh) 一种基于深度无监督学习的多回波欠采样重建—水脂分离方法
US20230184860A1 (en) Systems and methods for generating multi-contrast mri images
CN112634385A (zh) 一种基于深度拉普拉斯网络的快速磁共振成像方法
US20240233212A1 (en) Systems and methods for processing medical images with multi-layer perceptron neural networks
CN117333571B (zh) 磁共振图像的重建方法、系统、设备及介质
CN113842134B (zh) 基于双路人工神经网络的双序列加速核磁成像优化方法
KR102514804B1 (ko) 비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치
CN114972562B (zh) 联合线圈灵敏度估计与图像重建的快速磁共振成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination