CN111080738A - 图像重建的系统和方法 - Google Patents

图像重建的系统和方法 Download PDF

Info

Publication number
CN111080738A
CN111080738A CN201911359397.2A CN201911359397A CN111080738A CN 111080738 A CN111080738 A CN 111080738A CN 201911359397 A CN201911359397 A CN 201911359397A CN 111080738 A CN111080738 A CN 111080738A
Authority
CN
China
Prior art keywords
training
space
data points
model
image reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911359397.2A
Other languages
English (en)
Other versions
CN111080738B (zh
Inventor
陈章
孙善辉
陈德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN111080738A publication Critical patent/CN111080738A/zh
Application granted granted Critical
Publication of CN111080738B publication Critical patent/CN111080738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5602—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by filtering or weighting based on different relaxation times within the sample, e.g. T1 weighting using an inversion pulse
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请涉及一种系统，该系统根据磁共振成像(MRI)扫描仪获取的磁共振(MR)信号获取K空间数据集。该系统还可以基于K空间数据集，使用包含序列子模型和域转换子模型的图像重建模型，通过以下操作生成重建图像：将K空间数据集的至少一部分输入到序列子模型中；从序列子模型输出K空间数据集的特征表示；将K空间数据集的特征表示输入到域转换子模型中；以及从域转换子模型输出重建图像。

Description

图像重建的系统和方法
交叉引用
本申请要求于2019年11月28日提交的美国申请号为US 16/699,092的优先权，其全部内容通过引用的方式并入本文。
技术领域
本申请涉及磁共振成像(MRI)系统的图像重建，具体地，涉及基于机器学习技术重建磁共振(MR)图像的系统和方法。
背景技术
磁共振成像(MRI)通过非侵入方式提供对象或其部分解剖结构，应用广泛。当前，基于与MR信号相对应的K空间数据集来重建MRI图像。实际上，如果对K空间数据集进行全采样，则K空间数据集的数据采集速度慢，导致MRI扫描耗时，并增加了被扫描对象的不适感。降采样可以加快数据采集的速度，基于降采样K空间数据集，可以使用逆傅立叶变换技术进行图像重建。采用这种方式，可能会在重建图像中引入伪影，如，混叠伪影，数据采集的加速是以牺牲重建图像的质量来实现的。因此，期望提供一种使用降采样K空间数据集来有效地重建高质量磁共振(MR)图像的系统和方法。
发明内容
本申请的第一方面提供了一种图像重建方法。所述方法包括：根据磁共振成像(MRI)扫描仪获取的磁共振(MR)信号获取K空间数据集；基于所述K空间数据集，使用包含序列子模型和域转换子模型的图像重建模型，通过以下操作生成重建图像：将所述K空间数据集的至少一部分输入到所述序列子模型中；从所述序列子模型输出所述K空间数据集的特征表示；将所述K空间数据集的所述特征表示输入到所述域转换子模型中；以及从所述域转换子模型输出所述重建图像。
本申请的第二方面提供了一种图像重建的系统。所述系统包括K空间数据集获取模块和图像重建模块。所述K空间数据集获取模块被配置为根据磁共振成像(MRI)扫描仪获取的磁共振(MR)信号获取K空间数据集；所述图像重建模块被配置为基于所述K空间数据集，使用包含序列子模型和域转换子模型的图像重建模型，通过以下方式重建图像：将所述K空间数据集的至少一部分输入到所述序列子模型中；从所述序列子模型输出所述K空间数据集的特征表示；将所述K空间数据集的所述特征表示输入到所述域转换子模型中；以及从所述域转换子模型输出所述重建图像。
本申请的第三方面提供了一种生成图像重建模型的方法，所述方法包括：获取至少两个训练K空间数据集；以及基于所述至少两个训练K空间数据集，通过训练初始图像重建模型生成图像重建模型。
本申请的第四方面提供了一种生成图像重建模型的系统。所述系统可以获取至少两个训练K空间数据集；以及基于所述至少两个训练K空间数据集，通过训练初始图像重建模型生成图像重建模型。
本申请的第五方面提供了一种生成图像重建模型的装置，其包括处理器，所述处理器用于执行图像重建方法。所述方法包括：根据磁共振成像(MRI)扫描仪获取的磁共振(MR)信号获取K空间数据集；基于所述K空间数据集，使用包含序列子模型和域转换子模型的图像重建模型，通过以下操作生成重建图像：将所述K空间数据集的至少一部分输入到所述序列子模型中；从所述序列子模型输出所述K空间数据集的特征表示；将所述K空间数据集的所述特征表示输入到所述域转换子模型中；以及从所述域转换子模型输出所述重建图像。
本申请的第六方面提供了一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行图像重建方法。所述方法包括：根据磁共振成像(MRI)扫描仪获取的磁共振(MR)信号获取K空间数据集；基于所述K空间数据集，使用包含序列子模型和域转换子模型的图像重建模型，通过以下操作生成重建图像：将所述K空间数据集的至少一部分输入到所述序列子模型中；从所述序列子模型输出所述K空间数据集的特征表示；将所述K空间数据集的所述特征表示输入到所述域转换子模型中；以及从所述域转换子模型输出所述重建图像。
本申请的第七方面提供了一种生成图像重建模型的装置，其包括处理器，所述处理器用于执行生成图像重建模型方法。所述方法包括：获取至少两个训练K空间数据集；以及基于所述至少两个训练K空间数据集，通过训练初始图像重建模型生成图像重建模型。
本申请的第八方面提供了一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如生成图像重建方法。所述方法包括：获取至少两个训练K空间数据集；以及基于所述至少两个训练K空间数据集，通过训练初始图像重建模型生成图像重建模型。
本申请的第九方面提供了一种图像重建的系统，其包括：包括一组指令的至少一个存储设备；至少一个与所述至少一个存储设备连通的处理器，其中，当执行所述一组指令时，所述至少一个处理器被配置为使所述系统执行以下操作：根据磁共振成像(MRI)扫描仪获取的磁共振(MR)信号获取K空间数据集；基于所述K空间数据集，使用包含序列子模型和域转换子模型的图像重建模型，通过以下操作生成重建图像：将所述K空间数据集的至少一部分输入到所述序列子模型中；从所述序列子模型输出所述K空间数据集的特征表示；将所述K空间数据集的所述特征表示输入到所述域转换子模型中；以及从所述域转换子模型输出所述重建图像。
本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图未按比例绘制。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：
图1是根据本申请的一些实施例所示的示例性磁共振成像(MRI)系统的示意图；
图2是根据本申请的一些实施例所示的示例性MRI扫描仪的示意图；
图3是根据本申请的一些实施例所示的计算设备的示例性硬件组件和/或软件组件的示意图；
图4是根据本申请的一些实施例所示的移动设备的示例性硬件组件和/或软件组件的示意图；
图5是根据本申请的一些实施例所示的示例性处理设备的示意性框图；
图6是根据本申请的一些实施例所示的基于K空间数据集使用图像重建模型生成重建图像的示例性流程的流程图；
图7是根据本申请的一些实施例所示的基于K空间数据集使用图像重建模型生成重建图像的示例性流程的流程图；
图8是根据本申请的一些实施例所示的生成图像重建模型的示例性流程的流程图；
图9是根据本申请的一些实施例所示的生成图像重建模型的示例性流程的流程图；以及
图10是根据本申请的一些实施例所示的基于K空间数据集生成包含一系列数据点的变形数据的示例性过程的示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，对于本领域的普通技术人员来讲，本发明可以在不采用所述细节的情况下实施。在其他情况下，为了避免不必要地模糊本申请的各方面，已经在相对较高的级别上概略地描述了众所周知的方法、过程、系统、组件和/或电路。对于本领域的普通技术人员来讲，对本申请披露的实施例进行的各种修改是显而易见的，并且本申请中定义的通则在不背离本申请的精神及范围的情况下，可以适用于其他实施例及应用情景。因此，本申请不限于所示的实施例，而是符合与申请专利范围一致的最广泛范围。
本申请中所使用的术语仅用于描述特定的示例性实施例，并不限制本申请的范围。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请说明书中，术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其他特征、整体、步骤、操作、组件、部件和/或其组合的情况。
应当理解的是，本申请使用的“系统”、“单元”、“模块”、“和/或”、“块”是按升序区分不同级别的不同构件、元素、部件、部分或组件的方法。然而，可以使用另一个达到相同目的表达取代以上术语。
通常，本申请所使用的“模块”、“单元”或“块”是指存储在硬件或固件中的逻辑或软件指令的集合。本申请描述的模块、单元或块可以通过软件和/或硬件实施，也可以被存储于任何一种计算机可读的非临时媒介或另一个存储设备中。在一些实施例中，可以编译软件模块/单元/块并将其链接到可执行程序中。这里的软件模块可以对自身或其他模块/单元/块传递的信息作出回应，以及/或者可以在检测到某些事件或中断时作出回应。可以在一个计算机可读媒介上提供被设置为可以在计算设备上(例如，如图3所示的处理器310)执行操作的软件模块/单元/块，这里的计算机可读媒介可以是光盘、数字光盘、闪存盘、磁盘或任何其他种类的有形媒介作为数字下载(最初以压缩或可安装的格式存储，在执行之前需要进行安装、解压缩或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中，并应用在计算设备的操作之中。软件指令可以嵌入在固件中，例如EPROM。应当进一步理解，硬件模块/单元/块可以包括在连接的逻辑组件中，例如门控和触发器，和/或可以包括在可编程单元中，例如可编程门阵列或处理器。本申请描述的模块/单元/块或计算设备功能优选地作为软件模块实施框但是也可以被表示在硬件或固件中。通常，本申请描述的模块/单元/块是指可以与其他模块/单元/块或者被划分为子模块/子单元/子块的逻辑模块/单元/块组合在一起，而不管它们的物理组织或存储。
应该理解的是，当单元、引擎、模块或块被称为在另一单元、引擎、模块或块“上”、“连接至”或“耦合至”另一单元、引擎、模块或块时，它可以直接在、连接或耦合到其他单元、引擎、模块或块上，或与其他单元、引擎、模块或框，或介入单元、引擎、模块或框进行通信。在本申请中，术语“和/或”可包括任何一个或以上相关所列条目或其组合。
根据以下对附图的描述，本申请所述的和其他的特征、操作方法、相关组件的功能和经济的结构更加显而易见，这些都构成说明书的一部分。本申请提供用于医学成像和/或医学治疗的系统和组件。在一些实施例中，医疗系统可以包括成像系统。成像系统可以包括单模态成像系统和/或多模态成像系统。在一些实施例中，医疗系统可以包括治疗系统。
本申请的一方面涉及重建MR图像的系统和方法。其中，获取的图像(例如，重建的MR图像)可以包括2D图像切片、3D图像(例如，包含一堆2D图像切片的3D图像)、包含2D或3D图像的时间序列的4D图像(例如，视频)。可以根据由MRI扫描仪获取的MR信号获取K空间数据集。可以使用图像重建模型基于K空间数据集来生成重建图像(例如，视频)。图像重建模型可以包括序列子模型和域转换子模型。序列子模型可以被配置为确定K空间数据集的特征表示。域转换子模型被配置为基于K空间数据集的特征表示生成重建图像(例如，视频)。
当前，序列模型(例如，CNN模型、RNN模型)或本申请中称之为的序列子模型，可以从整个输入数据集的较短区间提取特征表示。序列模型可以基于所提取的特征表示来确定输入数据集的输出。在一些实施例中，序列子模型(例如，RNN模型)可以是联结模型，被配置为有序地处理输入数据集。该输入数据集包括在时间和/或空间上彼此相关的至少两个数据点。例如，输入数据集可以包括序列(x1,x2,…,xi,…,xn)。对于x1，RNN模型的循环单元(例如，简单循环单元)可以基于x1确定第一特征表示。对于x2，循环单元可以基于第一特征表示和x2确定第二特征表示。类似地，对于xn，循环单元可以基于第(n-1)个特征表示和xn来确定第n个特征表示。序列模型可以基于第n个特征表示来确定输入数据集的输出。这样，与使用一个或以上全连接层提取输入数据集的整个特征表示的机器学习模型(例如，AUTOMAP模型)相比，可以减少内存的消耗。通常，序列模型可用于语言处理(例如，翻译)、语音处理(例如，语音识别、语音合成)、时间序列预测等。
根据本申请的一些实施例，可以将K空间数据集的至少一部分输入到序列子模型和域转换子模型中，协同地重建MR图像(例如，视频)。序列子模型可以在K空间域中提取K空间数据集或其一部分的特征表示。域转换子模型可以将K空间域中的特征表示映射到图像域中，确定重建的MR图像(例如，视频)。以此方式，与使用具有固定长度的输入和/或使用一个或以上全连接层来提取用于图像重建的K空间数据集的特征表示的机器学习模型(例如，AUTOMAP模型)相比，可以减少内存(例如，如果使用图形处理单元(GPU)来执行处理，则该内存为显存)消耗。在某些情况下，可以对K空间数据集进行降采样，也可以选择性地剔除降采样K空间数据集的至少一部分(例如，在特征提取和图像重建中可以剔除降采样K空间数据集中未采样数据点)，从而进一步减少内存消耗。
根据本申请的一些实施例，K空间数据集可以包括在空间上彼此相关的至少两个数据点。例如，K空间数据集可以进一步变换为包含至少两个数据点的向量的形式。该形式类似于数据点的时间序列形式。数据点的不同类型的附加信息(例如，包括位置信息，时间信息的特性信息)也可以分别变换为类似于数据点的时间序列形式的向量形式。在一些情况下，向量可以包括K空间数据集的至少一部分数据点的位置信息，使得可以随机地对其进行变形而不需按照固定顺序对其变形来生成向量。可以将向量或矩阵形式的K空间数据集或其一部分有序地输入到序列子模型(例如，RNN模型)和域转换子模型中，以重建MR图像(例如，视频)。K空间数据集有序或序列处理可以灵活调整处理时的步长。例如，对于序列处理中的每个操作，通过选择待输入到序列子模型中的数据点(例如，以向量或矩阵的形式)的数量来调整操作中的步长。与使用一个或以上全连接层来提取输入数据集的整个特征表示的机器学习模型(例如AUTOMAP模型)相比，图像重建模型或其一部分可用于处理包含不同数量数据点的各种大小和/或尺寸的K空间数据。因此，适用于处理包含相同数量数据点(例如，仅输入512×512矩阵形式的数据集)的相同大小和/或维度的输入数据集。
在某些情况下，序列子模型和域转换子模型可能包括一个或以上跳跃连接结构。跳跃连接结构使得K空间数据集的附加特征表示和/或附加信息或其一部分从序列子模型传输到域转换子模型，从而基于特征表示、附加特征表示和/或附加信息或其一部分来确定重建图像(例如，视频)。该附加信息可以包括数据点的特征信息，例如，K空间数据集的降采样信息、K空间数据集的位置信息、K空间数据集的时间信息等。
根据本申请的一些实施例，基于至少两个训练K空间数据集训练初始序列子模型和初始域转换子模型来生成序列子模型和域转换子模型。在训练期间，基于全采样的参考K空间数据集重建的参考图像(例如，视频)可以是初始域转换子模型的期望输出。因此，与基于相同降采样K空间数据集使用逆傅里叶变换技术生成的重建图像(例如，视频)相比，基于降采样K空间数据集使用序列子模型和域转换子模型生成的重建图像(例如，视频)中伪影的数量可能更少。
在某些情况下，可以基于降噪技术降低参考图像(例如，视频)的噪音。在训练期间，噪音较小的参考图像(例如视频)可以是初始域转换子模型的期望输出。因此，训练得到的序列子模型和域转换子模型也可以被配置为减少重建图像(例如视频)中的噪音。
图1是根据本申请的一些实施例所示的示例性磁共振成像(MRI)系统100的示意图。如图所示，MRI系统100可以包括MRI扫描仪110、网络120、终端130、处理设备140和存储设备150。MRI系统100的组件可以以一种或多种方式连接。仅作为示例，如图1所示，MRI扫描仪110可以通过网络120连接到处理设备140。又例如，如连接MRI扫描仪110和处理设备140的虚线双向箭头所示，MRI扫描仪110可以直接连接到处理设备140，再例如，存储设备150可以直接或通过网络120连接到处理设备140。作为又一示例，终端设备(例如131、132、133等)可以直接连接到处理设备140(如连接终端130和处理设备140的虚线箭头所示)，也可以通过网络120连接到处理设备140。
MRI扫描仪110可以扫描位于其检测空间内的对象，并生成与该对象有关的至少两个数据(例如，MR信号、K空间数据集)。在本申请中，“对象”和“物体”可互换使用。对象可以包括生物学对象(例如，人类、动物)、非生物学对象(例如，模体)等。在一些实施例中，对象可以包括对象的特定部位，器官和/或组织。在一些实施例中，MRI扫描仪110可以是闭孔扫描仪或开孔扫描仪。
在本申请中，图1所示的X轴、Y轴和Z轴可以形成正交坐标系。图1所示的X轴和Z轴可以是水平的，而Y轴可以是垂直的。如图所示，从面向MRI扫描仪110的正面的方向看，沿着X轴的正X方向可以是从MRI扫描仪110的右侧到左侧；沿图1所示的Y轴的正Y方向可以从MRI扫描仪110的下部到上部；沿图1所示的Z轴的正Z方向可以表示对象从MRI扫描仪110的扫描通道(或称为孔)中移出的方向。MRI扫描仪110的更多描述可以在本申请的其他地方找到，例如，参见例如图2及其描述。
网络120可以包括便于MRI系统100的信息和/或数据的交换的任何合适的网络。在一些实施例中，一个或以上MRI系统100的组件(例如MRI扫描仪110、终端130、处理设备140或存储设备150)可以通过网络120与MRI系统100的一个或以上其他组件通信信息和/或数据。例如，处理设备140可以通过网络120获取根据MRI扫描仪110获取的MR信号来获取K空间数据集。在一些实施例中，网络120可以是有线网络或无线网络等或其任意组合。在一些实施例中，网络120可以包括一个或以上网络接入点。例如，网络120可以包括诸如基站和/或互联网交换点之类的有线和/或无线网络接入点，MRI系统100的一个或以上组件可以通过这些接入点连接到网络120以交换数据和/或信息。
终端130可以包括移动设备131、平板计算机132、膝上型计算机133等或其任何组合。在一些实施例中，终端130可以远程操作MRI扫描仪110和/或处理设备140。在一些实施例中，终端130可以经由无线连接来操作MRI扫描仪110和/或处理设备140。在一些实施例中，终端130可以接收用户输入的信息和/或指令，并通过网络120将所接收的信息和/或指令发送给MRI扫描仪110或处理设备140。
在一些实施例中，终端130可以从处理设备140接收数据和/或信息。在一些实施例中，终端130可以是处理设备140的一部分。在一些实施例中，可以省去终端130。处理设备140可以处理从MRI扫描仪110、终端130和/或存储设备150获取的数据和/或信息。例如，处理设备140可以根据MRI扫描仪110获取的MR信号获取K空间数据集。又例如，处理设备140可基于K空间数据集使用图像重建模型生成重建图像。图像重建模型可以包括序列子模型和域转换子模型。在一些实施例中，处理设备140可以是单个服务器或服务器组。服务器组可以是集中式或分布式的。在一些实施例中，处理设备140可以是本地的或远程的。例如，处理设备140可以经由网络120访问MRI扫描仪110、终端130和/或存储设备150中存储或获取的信息和/或数据。又例如，处理设备140可以直接连接到MRI扫描仪110(如图1中连接处理设备140和MRI扫描仪110的虚线箭头所示)、终端130(如图1中连接处理设备140和终端130的虚线箭头所示)和/或存储设备150访问存储或获取的信息和/或数据。在一些实施例中，处理设备140可以在云平台上实现。
存储设备150可以存储数据和/或指令。在一些实施例中，存储设备150可以存储从MRI扫描仪110、终端130和/或处理设备140获取的数据。例如，处理设备140可以根据MRI扫描仪110获取的MR信号，基于K空间数据集使用图像重建模型生成重建图像，然后将重建图像存储在存储设备150中以备使用或处理。图像重建模型可以包括序列子模型和域转换子模型。在一些实施例中，存储设备150可以存储从终端130和/或处理设备140获取的数据。在一些实施例中，存储设备150可以存储处理设备140可执行或用于执行本申请中描述的示例性方法的数据和/或指令。
在一些实施例中，存储设备150可以连接到网络120以与MRI系统100的一个或以上组件通信(例如，MRI扫描仪110、处理设备140、终端130等)。MRI系统100的一个或以上组件可以通过网络120访问存储在存储设备150中的数据或指令。在一些实施例中，存储设备150可以直接连接至MRI系统100的一个或以上部件或与之通信(例如，MRI扫描仪110、处理设备140、终端130等)。在一些实施例中，存储设备150可以是处理设备140的一部分。
在一些实施例中，MRI系统100还可以包括一个或以上电源(未在图1中显示)，该电源连接到MRI系统100的一个或以上组件(例如MRI扫描仪110、处理设备140、终端130、存储设备150等)。
图2是根据本申请的一些实施例所示的示例性MRI扫描仪110的示意图。如图所示，主磁体201可以生成第一磁场(或称为主磁场)，该第一磁场可以作用于暴露在场内的对象(也称为物体)上。主磁体201可以包括需要电源(未示出)运行的电阻磁体或超导磁体。可替代地，主磁体201可以包括永磁体。主磁体201可以包括孔，可以将对象放置在其中。主磁体201还可以控制所生成的主磁场的均匀性。主磁体201可以包括匀场线圈，该匀场线圈可以放置在主磁体201的间隙中来补偿主磁体201的磁场的不均匀性，该匀场线圈可由匀场电源供电。
梯度线圈202可以位于主磁体201的内部。梯度线圈202可以生成第二磁场(或称为梯度场，其包括梯度场Gx、Gy和Gz)。第二磁场可以叠加在由主磁体201生成的主场上并使主磁场变形，从而使得对象的质子的磁取向可以根据其在梯度场内的位置而变化，从而将空间信息编码至由要成像的对象区域生成的MR信号中。梯度线圈202可以包括X线圈(例如，被配置为生成对应于X方向的梯度场Gx)、Y线圈(例如，被配置为生成对应于Y方向的梯度场Gy)和/或Z线圈(例如，被配置为生成对应于Z方向的梯度场Gz)(图2中未示出)。在一些实施例中，Z线圈可以基于圆形(麦克斯韦)线圈来设计，而X线圈和Y线圈可以基于鞍形(Golay)线圈来设计。三组线圈可以生成用于位置编码的三个不同的磁场。梯度线圈202可以允许对MR信号进行空间编码以用于图像重建。梯度线圈202可以与X梯度放大器204、Y梯度放大器205或Z梯度放大器206的一个或以上连接。三个放大器的一个或以上可以连接到波形发生器216。波形发生器216可以生成作用于X梯度放大器204、Y梯度放大器205和/或Z梯度放大器206的梯度波形。放大器可以放大波形，放大的波形可以应用于梯度线圈202中的线圈之一，以分别在X轴、Y轴或Z轴上生成磁场。梯度线圈202可以被设计用于闭孔MRI扫描仪或开孔MRI扫描仪。在一些情况下，梯度线圈202的所有三组线圈可以被通电来生成三个梯度场。在本申请的一些实施例中，可以对X线圈和Y线圈通电来生成X方向和Y方向上的梯度场。其中，在图2种描述的X轴、Y轴、Z轴、X方向、Y方向和Z方向与图1中描述的相同或相似。
在一些实施例中，射频(RF)线圈203可以位于主磁体201内部，并用作发射器、接收器或两者。RF线圈203可以与RF电子器件209连接，RF电子器件209可以被配置或用作波形发射器和/或波形接收器的一个或以上集成电路(IC)。RF电子器件209可以连接到射频功率放大器(RFPA)207和模数转换器(ADC)208。
当用作发射器时，RF线圈203可以生成用于提供第三磁场RF信号，该第三磁场用于生成与成像中的对象的区域有关的MR信号。第三磁场可以垂直于主磁场。波形发生器216可以生成RF脉冲。RF脉冲可以由RFPA 207放大，并由RF电子器件209处理。响应于RF电子器件209基于放大的RF脉冲生成的强大电流，将RF脉冲作用于RF线圈203上来生成RF信号。
当用作接收器时，RF线圈负责检测MR信号(例如回声)。在激发之后，可以由RF线圈203感测由对象生成的MR信号。然后，接收放大器可以从RF线圈203接收感测到的MR信号，放大感测到的MR信号，并将放大的MR信号提供给ADC 208。ADC 208可以将MR信号从模拟信号转换为数字信号。然后，数字MR信号可以被发送到处理设备140以进行采样。
在一些实施例中，梯度线圈202和RF线圈203可以环绕于于对象上。本领域的普通技术人员可以理解，主磁体201、梯度线圈202和RF线圈203可以以多种配置环绕对象。
在一些实施例中，RFPA 207可以放大RF脉冲(例如，RF脉冲的功率、RF脉冲的电压)，从而生成放大的RF脉冲以驱动RF线圈203。RFPA 207可以包括基于晶体管的RFPA、基于真空管的RFPA等或其任意组合。基于晶体管的RFPA可以包括一个或以上晶体管。基于真空管的RFPA可以包括三极管、四极管、速调管等或其任意组合。在一些实施例中，RFPA 207可以包括线性RFPA或非线性RFPA。在一些实施例中，RFPA 207可以包括一个或以上RFPA。
在一些实施例中，MRI扫描仪110可以进一步包括对象定位系统(未示出)。所述对象定位系统可以包括对象支架和运输设备。可以将对象放置在对象支架上，并通过传输设备将其放置在主磁体201的孔内。
图3是根据本申请的一些实施例所示的可在其上实现处理设备140的计算设备的示例性硬件和/或软件组件的示意图。如图3所示，计算设备300可以包括处理器310、存储器320、输入/输出(I/O)330和通信端口340。
处理器310可以根据本申请描述的技术执行计算机指令(程序代码)并执行处理设备140的功能。计算机指令可以包括执行本申请描述的特定功能的例程、程序、主体、组件、信号、数据结构、过程、模块和功能。例如，处理器310可以从存储设备150和/或终端130获取图像重建模型。图像重建模型可以包括序列子模型和域转换子模型。
仅出于说明目的，在计算设备300中仅描述了一个处理器。但是，应注意，本申请中的计算设备300还可以包括多个处理器，因此，如本申请中所述由一个处理器执行的方法的操作也可以由多个处理器联合或分别执行。例如，如果在本申请的计算设备300的处理器中执行操作A和B，应当理解，操作A和操作B也可以由两个不同的处理器共同或分别在计算设备300中执行(例如，第一处理器执行操作A，第二处理器执行操作B，或者第一处理器和第二处理器共同执行操作A和B)。
仅作为示例，处理器310可以接收指令以遵循MRI扫描协议以对对象进行成像/扫描。例如，处理器310可以指示MRI扫描仪110的对象定位系统将对象移动至主磁体201的孔内的适当位置。又例如，处理器310还可提供某些控制信号以控制主磁体201以生成具有特定强度的主磁场。
处理器310可以接收控制信号以设置梯度波形和/或RF波形的形状、幅度和/或时间，并将设定的参数发送给波形发生器216，以指示波形发生器216通过放大器204-207分别生成作用于梯度线圈202和RF线圈203的特定的梯度波形序列和脉冲序列。
处理器310还可以基于一个或以上采样参数对来自RF线圈203的数据(例如，回波)进行采样，例如，时间信息(例如，数据采集的长度)、K空间数据采集的类型(例如，降采样、过采样等)、采样轨迹(例如，笛卡尔轨迹、如螺旋轨迹、径向轨迹的非笛卡尔轨迹)等或其组合。在一些实施例中，时间信息可以由用户(例如，操作者)输入或者由MRI系统100基于成像过程的一个或以上其他参数(例如，临床需要)自动地确定。时间信息可以分别对应发送到梯度线圈202和RF线圈203的梯度和RF波形的类型，以便正确地采样MR信号。处理器310还可以通过重建采样数据来生成MR图像。
存储器320可以存储从MRI扫描仪110、终端130、存储设备150或MRI系统100的任何其他组件获取的数据/信息。在一些实施例中，存储器320可以包括大容量存储设备、可移动存储设备、易失性读写内存、只读内存(ROM)等或其任意组合。在一些实施例中，存储器320可以存储一个或以上程序和/或指令以执行在本申请中描述的示例性方法。例如，存储器320可以存储处理设备140用于基于K空间数据集使用图像重建模型生成重建图像的程序。图像重建模型可以包括序列子模型和域转换子模型。
I/O 330可以输入或输出信号、数据或信息。在一些实施例中，I/O 330可以使用户与处理设备140交互。在一些实施例中，I/O 330可以包括输入设备和输出设备。仅作为示例，处理设备140的用户(例如，操作员)可以通过I/O 330输入与正在/将要成像/扫描的对象(例如，患者)有关的数据。与对象有关的数据可以包括个人信息(例如，姓名、年龄、性别、病史、合同信息、体格检查结果等)和/或包括必须执行的MRI扫描性质的测试信息。用户还可以输入MRI扫描仪110操作所需的参数，例如图像对比度和/或比率、感兴趣区域(ROI)、切片厚度、成像类型(例如，T1加权成像、T2加权成像、质子密度加权成像等)、T1、T2、回波类型(自旋回波、快速自旋回波(FSE)、快速恢复FSE、单发FSE、梯度召回回波、具有稳定状态成像的快速成像等)、翻转角值、采集时间(TA)、回波时间(TE)、重复时间(TR)、回波列长度(ETL)、相数、激励数(NEX)、反转时间、带宽(例如，RF接收器带宽、RF发射器带宽等)、扫描类型、采样类型等或其任意组合。I/O还可以显示基于采样数据生成的MR图像(例如，视频)。
通信端口340可以连接到网络(例如，网络120)以促进数据通信。通信端口340可以在处理设备140与MRI扫描仪110、终端130或存储设备150之间建立连接。该连接可以是有线连接、无线连接或两者的组合，以实现数据传输和接收。在一些实施例中，通信端口340可以是标准化端口，如RS232、RS485等。在一些实施例中，通信端口340可以是专门设计的通信端口。例如，通信端口340可以根据医学数字成像和通信(DICOM)协议来设计。
图4是根据本申请的一些实施例所示的可在其上实现终端130的移动设备的示例性硬件和/或软件组件的示意图。如图4所示，移动设备400可以包括通信平台410、显示器420、图形处理单元(GPU)430、中央处理单元(CPU)440、输入/输出(I/O)450、内存460和存储器490。在一些实施例中，任意其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可以被包括于移动设备400中。在一些实施例中，可以将移动操作系统470(例如，iOS、Android、Windows Phone等)和一个或以上应用480从存储器490加载到内存460中，以便由CPU 440执行。应用程序480可以包括浏览器或任何其他合适的移动应用程序，用于从处理设备140接收和呈现与图像处理有关的信息或其他信息。用户与信息流的交互可以经由I/O450，并经由网络120将其提供给处理设备140和/或MRI系统100的其他组件。
为了实施本申请描述的各种模块、单元及其功能，计算机硬件平台可用作本申请中描述之一个或以上组件的硬件平台。这种计算机的硬件元件、操作系统和编程语言本质上是常规的，并且假定本领域技术人员充分熟悉这些硬件元件、操作系统和编程语言，以使这些技术适应这里描述的图像重建。具有用户接口组件的计算机可用于实施个人计算机(PC)或任何其他类型的工作站或终端设备。若程控得当，计算机亦可用作服务器。应当相信，本领域技术人员应熟悉该计算机装置的结构、程序设计和一般操作，因此，不需加以说明附图。
图5是根据本申请的一些实施例所示的示例性处理设备140的示意性框图。处理设备140可以包括K空间数据集获取模块510、图像重建模块520和模型训练模块530。
K空间数据集获取模块510可以被配置为根据MRI扫描仪(例如，MRI扫描仪110)获取的MR信号获取K空间数据集。如图1所示，MRI扫描仪可以通过扫描对象(例如，器官、组织)来获取MR信号。在一些实施例中，MRI扫描仪可以实时获取MR信号。在一些实施例中，MRI扫描仪可以预先获取MR信号。K空间数据集获取模块510可以从MRI扫描仪或存储有MR信号的存储设备获取MR信号。
在一些实施例中，K空间数据集获取模块510可以通过使用MR信号填充K空间来生成K空间数据集。在一些实施例中，K空间数据集获取模块510可以基于采样技术来填充K空间。在一些实施例中，K空间数据集获取模块510可以通过使用MR信号填充K空间数据集中的数据点的至少一部分来生成K空间数据集。在一些实施例中，K空间数据集可以包括全采样的K空间数据集、降采样K空间数据集等。K空间数据集获取模块510可以从存储有K空间数据集的存储设备中获取K空间数据集。
在一些实施例中，K空间数据集获取模块510可以基于降采样模式或轨迹来获取降采样K空间数据集。在一些实施例中，分布在降采样模式或轨迹上的采样点可以与K空间中数据点的亮度分布匹配。通常，在K空间的中心区域中数据点的亮度可能大于K空间的边缘区域。因此，在K空间的中心区域的采样密度可以大于在K空间的边缘区域的采样密度。其中，K空间的采样密度可以指K空间或K空间的一部分的单位面积的采样点的计数。附加地或可替代地，可以对K空间的中心区域进行全采样，而对K空间的剩余区域进行降采样。
在一些实施例中，K空间数据集获取模块510可以基于采样掩膜来生成降采样图案或轨迹。为了说明的目的，采样掩膜可以包括二进制矩阵，其中“1”表示对K空间中的某个数据点进行采样，而“0”表示未对K空间中的某个数据点进行采样。在一些实施例中，可以基于MRI系统100(例如，MRI扫描仪110)的类型来指定采样模式或轨迹。因此，K空间数据集获取模块510可以基于MRI系统100的类型来选择采样掩模。例如，如果由笛卡尔采样掩模确定的降采样图案或轨迹适合于MRI系统100的类型(例如，提供更好的重建图像质量)，则采样掩模可以包括笛卡尔采样掩模。
图像重建模块520可以被配置为基于k空间数据集使用图像重建模型生成重建图像。图像重建模型可以包括序列子模型和域转换子模型。其中，序列子模型可以被配置为确定K空间数据集的特征表示。例如，特征表示可以包括与K空间数据集相对应的K空间域中的低级特征(例如，边缘特征(总体形状或轮廓)、纹理特征)、K空间域中的高级特征(例如，语义特征)、K空间域中的复杂特征(例如，深层次特征)等。在一些实施例中，图像重建模块520可以将K空间数据集的至少一部分输入到序列子模型中。此外，图像重建模块520可以从序列子模型输出K空间数据集的特征表示。在一些实施例中，K空间数据集可以包括至少两个数据点。图像重建模块520可以基于K空间数据集的降采样信息剔除未采样的数据点(例如，分配为零的数据点)，然后将其输入到序列子模型中。在一些实施例中，图像重建模块520还可获取至少两个数据点的附加信息(或在剔除一部分数据点(例如，未采样的数据点)之后的剩余数据点)。例如，附加信息(例如，特性信息)可以包括至少两个数据点(或剩余数据点)的降采样信息、至少两个数据点(或剩余数据点)的位置信息、至少两个数据点(或剩余数据点)的时序信息，等。在一些实施例中，图像重建模块520可以将至少两个数据点(或剩余数据点)和至少两个数据点(或剩余数据点)的附加信息连结起来，然后将其输入到序列子模型中。例如，图像重建模块520可以通过连结至少两个数据点(或剩余数据点)和至少两个数据点(或剩余数据点)的附加信息来获取张量，并将至少一部分张量输入到序列子模型中。其中，张量可以指描述从一组代数对象(例如，向量、标量)到另一组代数对象的线性映射代数对象。例如，张量可以包括数值的多维阵列。
在一些实施例中，图像重建模块520可以基于K空间数据集获取一系列数据点。图像重建模块520可以将一系列数据点的至少一部分有序地输入到序列子模型中。例如，图像重建模块520可以获取向量、矩阵或张量形式的一系列数据点，并且将该一系列数据点的至少一部分有序地输入到序列子模型中。此外，图像重建模块520可以从序列子模型输出K空间数据集的特征表示。
其中，向量、矩阵或张量可以包括一系列数据点或其一部分。在一些实施例中，图像重建模块520可以基于K空间数据集(即，至少两个数据点)获取向量、矩阵或张量。在一些实施例中，一系列数据点中的每一个可以对应于K空间数据集中的一个数据点。图像重建模块520可以将K空间数据集(即，至少两个数据点)变形成向量、矩阵或张量。
在一些实施例中，图像重建模块520可以获取一系列数据点的附加信息。其中，一系列数据点中的一个数据点的附加信息可以包括K空间数据集中的对应数据点的信息。例如，附加信息可以包括该一系列数据点的降采样信息、该一系列数据点的位置信息、该一系列数据点的时间信息等。在一些实施例中，图像重建模块520可以获取与该一系列数据点的附加信息的至少一部分相关的至少一个系列的数据点。图像重建模块520可以将该至少一个系列的数据点和该一系列的数据点连结起来，并将其输入到序列子模型中。在一些实施例中，图像重建模块520可以以至少一个向量、矩阵或张量的形式获取至少一系列数据点。图像重建模块520可以将至少一个向量(矩阵或张量)和向量(矩阵或张量)连结起来，并将其输入到序列子模型中。
在一些实施例中，图像重建模块520可以根据序列或规则获取与附加信息相关的向量(矩阵或张量)和/或至少一个向量(矩阵或张量)。例如，如果K空间数据中的至少两个数据点排列成矩阵，图像重建模块520可以根据序列或规则按行或列获取和/或变形至少两个数据点来获取向量。相应地，图像重建模块520可以按行或列获取和/或变形至少两个数据点的附加信息来获取与附加信息相关的至少一个向量。又例如，图像重建模块520可以按照矩阵维度获取和/或变形至少两个数据点来获取与附加信息相关的待输入到序列子模型的至少一个矩阵。再例如，待输入到序列子模型的每个张量有指定的维度(例如3、5)。图像重建模块520可以根据指定的维度获取和/或变形至少两个数据点来获取与附加信息相关的待输入到序列子模型的至少一个张量。在一些实施例中，如果向量包括一系列数据点的位置信息，则图像重建模块520可以随机地获取和/或变形至少两个数据点来获取向量。相应地，图像重建模块520可以随机地获取和/或变形至少两个数据点的附加信息来获取与附加信息相关的向量。
在一些实施例中，图像重建模块520可以将一系列数据点(例如，向量、矩阵或张量)的至少一部分有序地输入到序列子模型中。在一些实施例中，图像重建模块520可以将一系列数据点(例如，以向量、矩阵或张量的形式)有序地输入到序列子模型中。在一些实施例中，除了一系列数据点的至少一部分(例如，以向量、矩阵或张量的形式)之外，序列子模型的输入可以包括这些数据点的附加信息(例如，降采样信息、位置信息、时间信息等，或其组合)。例如，图像重建模块520可以通过合并一系列数据点和一系列数据点的附加信息，获取一个或以上连结的向量、矩阵或张量，并从一个或以上连结的向量、矩阵或张量中获取序列子模型的输入。在将一系列数据点(例如，向量(矩阵或张量)或连结的向量、矩阵或张量)输入序列子模型之前，图像重建模块520可以根据降采样信息，从一系列数据点中剔除与K空间数据集中的未采样数据点相对应的一系列数据点(例如，向量，矩阵或张量)，或连结的向量、矩阵或张量)的数据点(例如，分配为零的数据点)。出于说明目的，向量(或矩阵或张量)可以仅包括与K空间中的采样数据点相对应的数据点。连结的向量或矩阵或张量可以包括与K空间中的采样数据点相对应的数据点及其附加信息。
域转换子模型可以被配置为基于K空间数据集的特征表示确定重建图像。在一些实施例中，图像重建模块520可以将特征表示输入到域转换子模型中。然后，域转换子模型可以输出重建图像。
在一些实施例中，图像重建模块520可以从本申请的其他地方公开的存储设备(例如，存储设备150、存储设备320、存储设备490)或第三方(例如，外部设备)获取序列子模型和域转换子模型。
模型训练模块530可以被配置为生成图像重建模型。在一些实施例中，处理设备140可以基于至少两个训练K空间数据集中的至少一个，通过训练初始图像重建模型来生成图像重建模型。
在一些实施例中，模型训练模块530可以获取至少两个训练K空间数据集。在一些实施例中，至少两个训练K空间数据集可以包括一个或以上降采样训练K空间数据集、一个或以上有序的训练K空间数据集等。该一个或多个降采样训练K空间数据集的第一部分可以直接通过MRI扫描仪(例如MRI扫描仪110)、存储设备(例如，存储设备150、存储设备320、存储设备490)、外部设备等获取。在一些实施例中，模型训练模块530可以获取一个或以上全采样的参考K空间数据集。模型训练模块530可以通过对一个或以上参考K空间数据集进行降采样来获取该一个或多个降采样训练K空间数据集的第二部分。
在一些实施例中，模型训练模块530可以基于每个训练K空间数据集的至少两个训练数据点的训练降采样信息，剔除未采样的训练数据点(例如，分配为零的训练数据点)，并基于其生成图像重建模型。在一些实施例中，在每个训练K空间数据集中，模型训练模块530可以获取至少两个训练数据点(或部分训练数据点之后剩余的训练数据点，例如，剔除未采样的训练数据点)的附加训练信息。在一些实施例中，模型训练模块530可以基于至少两个训练数据点(或剩余训练数据点)及其附加训练信息来生成图像重建模型。例如，附加训练信息可以包括至少两个训练数据点(或剩余训练数据点)的训练降采样信息、至少两个训练数据点(或剩余训练数据点)的训练位置信息、至少两个训练数据点(或剩余训练数据点)的训练时间信息等。
在一些实施例中，模型训练模块530可以获取与每个训练K空间数据集相对应的一系列训练数据点。模型训练模块530可以基于类似于上述获取一系列数据点的流程获取该一系列的训练数据点。在一些实施例中，模型训练模块530可以基于一系列训练数据点生成图像重建模型。在一些实施例中，模型训练模块530还可以获取一系列训练数据点的附加训练信息。模型训练模块530可以基于一系列训练数据点和该系列训练数据点的附加训练信息来生成图像重建模型。其中，一系列训练数据点中一个训练数据点的附加训练信息可以包括训练K空间数据集中的相应训练数据点的附加训练信息。例如，附加训练信息可以包括该系列训练数据点的训练降采样信息、该系列训练数据点的训练位置信息、该系列训练数据点的训练时间信息等。
在一些实施例中，模型训练模块530可以通过执行至少两个迭代来迭代地更新初始图像重建模型或更新的图像重建模型的参数来生成图像重建模型。例如，参数可以包括层内核的大小、层的数量、层中节点的数量、学习率、批大小、次数、两个相连节点之间的相连权值、与节点有关的偏差向量、层中节点的激活向量等。在一些实施例中，模型训练模块530可以基于训练算法来生成图像重建模型。例如，训练算法可以包括梯度下降算法、牛顿算法、拟牛顿算法、莱文贝格-马夸特算法、共轭梯度算法等或其任意组合。
处理设备140中的模块可以经由有线连接或无线连接彼此连接或通信。两个或以上模块可以合并成一个模块，任意一个模块可以被拆分成两个或以上单元。
应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。例如，处理设备140可以进一步包括存储模块(图5中未示出)。存储模块可以被配置为存储在由处理设备140的任何组件执行的任何流程期间生成的数据。又例如，处理设备140的每个组件可以包括一个存储设备。附加地或替代地，处理设备140的组件可以共享公共的存储设备。再例如，模型训练模块530是不必要的，可以从在本申请中其他地方公开的存储设备(例如，存储设备150、存储器320、存储器490)获取图像重建模型。
图6是根据本申请的一些实施例所示的基于K空间数据集使用图像重建模型生成重建图像的示例性流程的流程图。在一些实施例中，流程600可以在图1所示的MRI系统100中实施。例如，流程600可以以指令的形式存储在存储介质(例如，存储设备150或处理设备140的存储320)中，并且可以由处理设备140(例如，处理设备140的处理器310或图5所示的处理设备140中的一个或以上模块)调用和/或执行。以下呈现的流程600的操作旨在说明的目的。在一些实施例中，流程600可以利用未描述的一个或以上附加操作和/或不通过一个或以上本申请讨论的操作来完成。另外，如图6所示和以下描述的流程600的操作顺序不旨在是限制性的。
在610中，处理设备140(例如，K空间数据集获取模块510)可以根据MRI扫描仪(例如，MRI扫描仪110)获取的MR信号，获取K空间数据集。如图1所示，MRI扫描仪可以通过扫描对象或其一部分(例如，器官、组织)来获取MR信号。在一些实施例中，MRI扫描仪可以实时获取MR信号。在一些实施例中，MRI扫描仪可以预先获取MR信号。处理设备140可以从MRI扫描仪或存储有MR信号的存储设备获取MR信号。
在一些实施例中，处理设备140可以通过使用MR信号填充K空间来生成K空间数据集。在一些实施例中，处理设备140可以基于采样技术来填充K空间。例如，采样技术可以包括笛卡尔采样技术、螺旋采样技术、径向采样技术、Z采样技术等。处理设备140可以从存储有K空间数据集的存储设备获取K空间数据集。
在一些实施例中，处理设备140可以进一步使用K空间数据集来生成重建图像。K空间数据集可以包括代表重建图像中像素的空间频率的至少两个数据点。K空间数据集中的每个数据点可以包含关于重建图像中每个像素的空间频率信息。K空间数据集中每个数据点的亮度可以表示数据点的独特空间频率对重建图像的相对贡献。在一些实施例中，K空间数据集中的每个数据点都可以表示为复数。数据点可以包括幅值和相位。出于说明目的，K空间数据集可以包括二维(2D)K空间数据集、三维(3D)K空间数据集、四维(4D)K空间数据集，等。相应地，重建的图像可以包括2D图像、3D图像、4D图像(例如，视频)等。
在一些实施例中，处理设备140可以使用MR信号填充至少两个数据点的至少一部分来生成K空间数据集。在一些实施例中，K空间数据集可以包括全采样K空间数据集，即，可以通过对MR信号进行采样来获取K空间数据集的至少两个数据点。在一些实施例中，K空间数据集可以包括降采样K空间数据集，即，通过对MR信号进行采样，仅获取K空间数据集的至少两个数据点的一部分，而K空间数据集的至少两个数据点的剩余部分可通过分配一个或以上未从MR信号中采样的值来获取。为了说明的目的，处理设备140可以给未采样的数据点分配一个或以上初始值，例如，零。
在一些实施例中，处理设备140可以基于降采样模式或轨迹获取降采样K空间数据集。在一些实施例中，分布在降采样模式或轨迹上的采样点可以与K空间中数据点的亮度分布匹配。通常，在K空间的中心区域中的数据点的亮度可能大于K空间边缘区域的亮度。因此，在K空间的中心区域的采样密度可以大于在K空间的边缘区域的采样密度。其中，K空间的采样密度可以指K空间或K空间的一部分的单位面积的采样点的计数。附加地或可替代地，可以对K空间的中心区域进行全采样，而对K空间的剩余区域进行降采样。
在一些实施例中，处理设备140可以基于采样掩模获取降采样图案或轨迹。为了说明的目的，采样掩膜可以包括二进制矩阵，其中“1”表示对K空间中的一个数据点进行采样，而“0”表示未对K空间中的一个数据点进行采样。在一些实施例中，采样掩膜可以有采样率。其中，采样掩模的采样率可以指采样点与采样掩模中所有点的比率。采样率可以是MRI扫描仪中的默认设置，或者可以由MRI系统100或用户设置。
例如，采样掩膜可以包括2D随机采样掩膜、伪径向采样掩膜、笛卡尔采样掩膜等。在一些实施例中，可以基于MRI系统100(例如，MRI扫描仪110)的类型来指定采样模式或轨迹。相应地，处理设备140可以基于MRI系统100的类型来选择采样掩模。例如，如果根据笛卡尔采样掩模的降采样图案或轨迹适合于MRI系统100的类型(例如，提供更好的重建图像质量)，则采样掩模可包括笛卡尔采样掩模。
在620中，处理设备140(例如，图像重建模块520)可以基于K空间数据集使用图像重建模型来生成重建图像。例如，图像重建模型可以包括简单循环网络(SRN)模型、门控序列模型(如LSTM网络模型)、堆叠循环神经网络(SRNN)模型、双向循环网络模型、递归神经网络(RecNN)模型、图网络模型、卷积神经网络(CNN)模型、Transformer模型(例如、Transformer XL模型、基于Transformer的双向编码器表示(BERT)模型)、全卷积神经网络(FCN)模型、生成对抗网络(GAN)模型、反向传播(BP)神经网络模型、径向基函数(RBF)神经网络模型、深度信念(DBN)神经网络模型、Elman神经网络模型中的至少一个。在一些实施例中，图像重建模型可以包括序列子模型和域转换子模型。例如，序列子模型可包括简单循环单元(SRU)、门控单元、长短时记忆(LSTM)单元、关注层、双向循环单元等或其任意组合。又例如，该序列子模型可以包括简单循环网络(SRN)模型、门控序列模型(例如，LSTM网络模型)、堆叠循环神经网络(SRNN)模型、双向循环网络模型、递归神经网络(RecNN)模型、图网络模型、卷积神经网络(CNN)模型、Transformer模型(例如，TransformerXL模型、基于Transformer的双向编码器表示(BERT)模型)中的至少一个。出于说明目的，CNN模型可以包括一维CNN模型、多维CNN模型等。例如，多维CNN模型的一维可用于指示或记录序列子模型处理的数据的序列。其中，序列子模型被配置为确定K空间数据集的特征表示。例如，特征表示可以包括与K空间数据集相对应的K空间域中低级特征(例如，边缘特征、纹理特征)、K空间域中的高级特征(例如，语义特征)、K空间域中的复杂特征(例如，深层次特征)等。
在一些实施例中，处理设备140可以将K空间数据集的至少一部分输入到序列子模型(例如，CNN模型)中。此外，处理设备140可以从序列子模型输出K空间数据集的特征表示。在一些实施例中，处理设备140可以基于K空间数据集的降采样信息剔除未采样的数据点(例如，分配为零的数据点)，然后将其输入到序列子模型中。在一些实施例中，处理设备140还可以获取至少两个数据点的附加信息(或剔除一部分数据点(例如，未采样的数据点)之后剩下的数据点)。例如，附加信息可以包括至少两个数据点(或剩余数据点)的降采样信息、至少两个数据点(或剩余数据点)的位置信息、至少两个数据点(或剩余数据点)的时间信息等。在一些实施例中，该处理设备140可以将至少两个数据点(或剩余数据点)和至少两个数据点(或剩余数据点)的附加信息连结起来，然后将其输入到序列子模型中。例如，处理设备140可以通过连结至少两个数据点(或剩余数据点)和至少两个数据点(或剩余数据点)的附加信息来获取张量，并将张量的至少一部分输入到序列子模型中。其中，张量可以指描述从一组代数对象(例如，向量、标量)到另一组代数对象的线性映射代数对象。例如，张量可以包括数值的多维阵列。
在一些实施例中，处理设备140可以基于K空间数据集获取一系列数据点。处理设备140可以将该一系列数据点的至少一部分有序地输入到序列子模型中。此外，处理设备140可以从序列子模型输出K空间数据集的特征表示。使用序列子模型确定K空间数据集的特征表示的更多描述可以在本申请的其他地方找到，例如，参见图7及其描述。
域转换子模型可以被配置为基于K空间数据集的特征表示确定重建图像。在一些实施例中，处理设备140可以将特征表示输入到域转换子模型中。然后，处理设备140可以从域转换子模型输出重建图像。例如，域转换子模型可以包括卷积神经网络(CNN)模型、全卷积神经网络(FCN)模型、生成对抗网络(GAN)模型、反向传播(BP)神经网络模型、径向基函数(RBF)神经网络模型、深度信念(DBN)神经网络模型、Elman神经网络模型等或其任意组合。可以在本申请的其他地方找到使用序列子模型和域转换子模型生成重建图像的更多描述，例如，参见图7及其描述。
在一些实施例中，图像重建模型可以由MRI系统100(例如，处理设备140、存储设备(存储设备150、存储设备320、存储设备490))或第三方(例如，外部设备)确定。在一些实施例中，MRI系统100可以离线确定和/或更新图像重建模型并将图像重建模型存储在存储设备中。在一些实施例中，图像重建模型可以由，例如，MRI扫描仪的制造商或卖方，确定和/或更新(或维护)。例如，制造商或卖方可以在MRI扫描仪和/或处理设备140的安装之前或期间，将图像重建模型加载到MRI系统100或其一部分(例如，处理设备140)中，并且不时地(定期地或不定期地)维护或更新图像重建模型。可以通过安装存储在存储设备(例如，光盘、USB驱动器等)上的程序或通过网络120从外部来源(例如，由制造商或供应商维护的服务器)搜索到的程序来实现维护或更新。该程序可以包括新模型(例如，新图像重建模型)或替代或补充模型的相应部分的模型的一部分。
在一些实施例中，可以基于至少两个训练数据集对图像重建模型进行训练。可以使用训练算法来训练图像重建模型。例如，训练算法可以包括梯度下降算法、牛顿算法、拟牛顿算法、莱文贝格-马夸特算法、共轭梯度算法等或其任意组合。可以在本申请的其他地方找到有关生成图像重建模型的更多描述，例如，参见图8-9及其描述。
在本申请的一些实施例中，可以基于至少两个训练的K空间数据集训练初始图像重建模型来生成图像重建模型。在训练期间，基于全采样的参考K空间数据集重建的参考图像(也称为“参考重建图像”)可以是初始图像重建模型的期望输出。因此，与基于相同降采样K空间数据集使用逆傅里叶变换技术生成的重建图像相比，基于该降采样K空间数据集使用图像重建模型生成的重建图像伪影更少。
在一些实施例中，可以基于降噪技术来降低参考图像的噪音。在训练中，噪音较小的参考图像可以是初始图像重建模型的期望输出。因此，训练出的图像重建模型也可以被配置为减少重建图像的噪音。在一些实施例中，降噪技术可以使用一个或以上滤波器，示例性滤波器可以包括中值滤波器、sigma滤波器、均值滤波器、K近邻(K-NN)滤波器、Wilcoxon滤波器等或其任意组合。
图7是根据本申请的一些实施例所示的基于K空间数据集使用图像重建模型生成重建图像的示例性流程的流程图。在一些实施例中，流程700可以在图1所示的MRI系统100中实施。例如，流程700可以以指令的形式存储在存储介质(例如，存储设备150或处理设备140的存储320)中，并且可以由处理设备140(例如，处理设备140的处理器310或图5所示的处理设备140中的一个或以上模块)调用和/或执行。以下呈现的所示流程700的操作旨在是说明的目的。在一些实施例中，流程700可以利用未描述的一个或以上附加操作和/或不通过一个或以上本申请讨论的操作来完成。另外，如图7所示和以下描述的流程700的操作顺序不旨在是限制性的。在一些实施例中，可以基于流程700来实现流程600中的操作620。
在710，处理设备140(例如，图像重建模块520)可以基于K空间数据集获取一系列数据点。在一些实施例中，一系列数据点中的每一个可以对应于K空间数据集中的一个数据点。在一些实施例中，处理设备140可以获取向量、矩阵或张量形式的一系列数据点。在一些实施例中，处理设备140可以将K空间数据集(即，至少两个数据点)变形成向量、矩阵或张量。例如，处理设备140可以将至少两个数据点变形成行向量。又例如，处理设备140可以将至少两个数据点变形成行向量。
如操作610所述，K空间数据集中的每个数据点都可以表示为复数。在一些实施例中，该复数可以表示一系列数据点中对应的数据点。在一些实施例中，一系列数据点中对应的数据点可以以复数的实部和复数的虚部的形式表示。数据点可以包括幅值和相位。在一些实施例中，幅值和相位可以表示为一系列数据点中对应的数据点。
在一些实施例中，处理设备140可以获取该一系列数据点的附加信息。例如，附加信息可以包括该一系列数据点的降采样信息、该一系列数据点的位置信息、该一系列数据点的时间信息等。其中，降采样信息可以表明一系列数据点中的数据点是采样数据点还是未采样数据点。在一些实施例中，在降采样信息中，采样数据点和未采样数据点可以有不同的标记。例如，采样数据点的降采样信息可以用1表示，而未采样数据点可以用0表示。在一些实施例中，处理设备140可以生成一系列第二数据点，其包括该一系列数据点的降采样信息。在一些实施例中，处理设备140可以获取向量、矩阵或张量形式的一系列第二数据点。例如，第二向量可以包括行向量或列向量。通过有选择地剔除未采样的数据点，可以减少该一系列数据点的大小(例如，以向量、矩阵或张量的形式)。因此，在没有牺牲最终图像的质量的条件下，减少了图像重建要处理的数据点的数量。
其中，数据点的位置信息可以指该数据点在K空间中的位置。在一些实施例中，数据点的位置可以包括与K空间相关联的坐标系中数据点的坐标。在一些实施例中，坐标系可以是2D坐标系。数据点的位置信息可以包括与K空间数据集中对应数据点的x坐标和y坐标相关的信息。例如，二维坐标系的中心可以是K空间的顶点(例如，左上顶点、右上顶点)。又例如，2D坐标系的中心可能是K空间的中心。在一些实施例中，坐标系可以是3D坐标系。数据点的位置信息可以包括与K空间数据集中的对应数据点的x坐标、y坐标和z坐标相关的信息。在一些实施例中，与K空间数据集中的数据点的坐标相关的信息可以包括坐标的绝对值、距其坐标已知的参考点的距离或基于确定的坐标的其他信息。
在一些实施例中，处理设备140还可以在进一步处理中合并K空间数据的位置信息以用于进一步的处理。例如，至少一个系列的数据点可以包括一系列的第三数据点、一系列第四数据点、一系列第五数据点等。该一系列的第三数据点包括该系列的数据点或其一部分的第一坐标(例如，与x坐标相关的信息)。该一系列第四数据点包括该一系列数据点或其一部分的第二坐标(例如，与y坐标相关的信息)。该一系列第五数据点包括该一系列数据点或其一部分的第三坐标(例如，有关z坐标的信息)。在一些实施例中，处理设备140可以以至少一个向量或矩阵的形式获取该至少一系列数据点。例如，至少一个向量(或矩阵或张量)可以包括包含一系列第三数据点或其一部分的第三向量(或矩阵或张量)、包含一系列第四数据点或其一部分的第四向量(或矩阵或张量)、包含一系列第五数据点或其一部分的第五向量(或矩阵或张量)等。例如，该至少一个向量可以包括行向量或列向量。
在一些实施例中，处理设备140可以连结与附加信息相关的至少一个系列的数据点(例如，一系列的第二数据点、一系列的第三数据点、一系列的第四数据点、一系列的第五数据点)或其一部分和上述一系列数据点的至少一部分。例如，处理设备140可以连结一系列数据点和该一系列的第二数据点。又例如，处理设备140可以将一系列数据点、一系列的第二数据点、一系列的第三数据点以及一系列的第四数据点连结在一起。再例如，处理设备140可以将一系列的数据点、一系列的第二数据点、一系列的第三数据点、一系列的第四数据点以及一系列的第五数据点连结在一起。在一些实施例中，处理设备140可以进一步将一系列连结的数据点输入到序列子模型中。例如，可以将一系列连结的数据点排列成矩阵，处理设备140可以将其至少一部分输入到序列子模型中。又例如，可以将附加信息添加到向量中，处理设备140可以将其至少一部分输入到序列子模型中。
在一些实施例中，处理设备140可以根据顺序或规则获取与附加信息相关的一系列数据点(例如，向量(或矩阵或张量)和/或一个或多个向量(或矩阵或张量))。例如，如果将K空间数据中的至少两个数据点排列成矩阵，则处理设备140可以按行或按列获取和/或变形至少两个数据点来获取向量。因此，处理设备140可以按行或列获取和/或变形至少两个数据点的附加信息来获取与附加信息相关的至少一个向量。又例如，处理设备140可以按照矩阵维度获取和/或变形至少两个数据点来获取与附加信息相关的待输入到序列子模型的至少一个矩阵。再例如，待输入到序列子模型的每个张量有指定的维度(例如3、5)。处理设备140可以根据指定的维度获取和/或变形至少两个数据点来获取与附加信息相关的待输入到序列子模型的至少一个张量。在一些实施例中，如果向量包括一系列数据点的位置信息，则处理设备140可以随机地获取和/或变形至少两个数据点来获取向量。相应地，处理设备140可以随机地获取和/或变形至少两个数据点的附加信息来获取与附加信息相关的向量。因此，处理设备140可以随机地获取和/或变形至少两个数据点的附加信息来获取与附加信息有关的至少一个向量。对K空间数据集和/或K空间数据集的附加信息进行变形可以改变与空间相关的K空间数据集的数据点的形式使其按照向量排布。该形式类似于数据点的时间序列形式，有利于顺序或序列处理。这种形式变化可以避免以其原始格式(例如，一个2D矩阵、一个3D矩阵)消耗大量内存处理整个K空间数据集。另外，被配置为处理特定维度(例如256x256矩阵)的K空间数据集的模型可能不适用于处理不同维度(例如64x64矩阵)的K空间数据集。因此，需要开发多个模型来满足处理不同维度的K空间数据集的需求。但是，通过变形成向量的形式，可以由同一模型处理不同维度的K空间数据集，从而无需开发处理不同维度的K空间数据集的不同模型。
在720中，处理设备140(例如，图像重建模块520)可以将一系列数据点(例如，以向量、矩阵或张量的形式)的至少一部分有序地输入到序列子模型中。在一些实施例中，处理设备140可以将在710中确定的一系列数据点(例如，以向量、矩阵或张量的形式)有序地输入到序列子模型中。在一些实施例中，处理设备140可以将一系列数据点的一部分输入到序列子模型中。在一些实施例中，除了一系列数据点的至少一部分(例如，以向量、矩阵或张量的形式)之外，序列子模型的输入可以包括这些数据点(例如，降采样信息、位置信息、时间信息等或其组合)的附加信息。例如，处理设备140可以通过合并一系列数据点和该一系列数据点的附加信息，获取一个或以上连结的向量、矩阵或张量，并从一个或以上连结的向量、矩阵或张量中获取序列子模型的输入。在将一系列数据点(或一系列连结的数据点)输入到序列子模型之前，处理设备140可以基于降采样信息从一系列数据点中剔除与K空间数据集中的未采样数据点(例如，分配为零的数据点)相对应的一系列数据点(或一系列连结的数据点)中的数据点。出于说明目的，一系列数据点(或一系列连结的数据点)可以仅包括与K空间中的采样数据点相对应的数据点。一系列连结的数据点可以包括与K空间中的采样数据点相对应的数据点及其附加信息。
可以基于一个或以上因素选择输入到序列子模型中的数据点的步长或数量，例如，可用的存储量、处理设备140的处理能力、理想的图像重建速度或时间等。在不同的图像重建操作中可以使用不同的步长。例如，特定图像重建操作中的步长可以基于由处理设备140的操作参数(例如，图像重建操作的目标(例如，图像重建的某些应用需要比其他应用更快的处理)、用户指定的理图像重建速度或时间、处理设备140的配置(例如，可用的内存量、处理能力)等或其组合来确定。
在730中，处理设备140(例如，图像重建模块520)可以从序列子模型输出K空间数据集的特征表示。如图6所述，特征表示可以包括与K空间数据集相对应的K空间域中低级特征(例如，边缘特征、纹理特征)、K空间域中的高级特征(例如，语义特征)、K空间域中的复杂特征(例如，深层次特征)等。在一些实施例中，特征表示可以用向量表示，该向量的长度可以小于输入到序列子模型中的向量的长度。例如，序列子模型可包括简单循环单元SRU、门控单元、长短时记忆LSTM单元、关注层、双向循环单元等或其任意组合。又例如，该序列子模型可以包括简单循环网络(SRN)模型、门控序列模型(例如，LSTM网络模型)、堆叠循环神经网络(SRNN)模型、双向循环网络模型、递归神经网络(RecNN)模型、图网络模型、卷积神经网络(CNN)模型、Transformer模型(例如，TransformerXL模型、基于Transformer的双向编码器表示(BERT))模型)等中的至少一个。
在一些实施例中，处理设备140可以从本申请中其他地方描述的存储设备(例如，存储设备150、存储器320、存储器490)或外部设备获取序列子模型。在一些实施例中，序列子模型可以基于MRI系统100或外部设备基于至少两个训练K空间数据集而预先确定，并存储在存储设备或外部设备中。确定序列子模型的更多描述可以在本申请的其他地方找到，例如，参见图8-9及其描述。
在740中，处理设备140(例如，图像重建模块520)可以将K空间数据集的特征表示输入到域转换子模型中。例如，域转换子模型可能包括卷积神经网络(CNN)模型、全卷积神经网络(FCN)模型、生成对抗网络(GAN)模型、反向传播(BP)神经网络模型、径向基函数(RBF)神经网络模型、深度信念(DBN)神经网络模型、Elman神经网络模型等或其任意组合。
在一些实施例中，特征表示可能与域转换子模型的输入不匹配。例如，表示特征表示的向量的第一长度与域转换子模型的输入向量的第二长度不同。在这种情况下，域转换子模型的第一层可以是卷积层。卷积层可以将包含特征表示的向量转换为第二长度，从而与域转换子模型的输入匹配。
在一些实施例中，处理设备140可以从本申请中其他地方描述的存储设备(例如，存储设备150、存储器320、存储器490)或外部设备获取域转换子模型。在一些实施例中，MRI系统100或外部设备可以基于至少两个训练K空间数据集来预先确定域转换子模型，并将其存储在存储设备或外部设备中。确定域转换子模型的更多描述可以在本申请的其他地方找到，例如，参见图8-9及其描述。
在750中，处理设备140(例如，图像重建模块520)可以从域转换子模型输出重建图像。在一些实施例中，域转换子模型可以提取K空间数据集的特征表示的特征信息，并根据该特征信息确定重建图像。在一些实施例中，特征信息可以包括图像域中K空间数据集的特征表示。域转换子模型可以将K空间域中的特征表示映射或转换为图像域中的特征表示。与K空间域中的特征表示相似，特征信息可以包括在图像域中的低级特征(例如，边缘特征、纹理特征)、图像域中的高级特征(例如，语义特征)、图像域中的复杂特征(例如，深层次特征)等。
在一些实施例中，序列子模型和域转换子模型可以包括一个或以上跳跃连接结构。跳跃连接结构可以允许K空间数据集的附加特征表示和/或附加信息(例如，特征信息包括降采样信息、位置信息、时间信息)或其一部分从序列子模型传输到域转换子模型。域转换子模型可以基于特征表示、附加特征表示和/或附加信息或其一部分来确定重建图像。例如，序列子模型的第一层(或单元)可以通过跳跃连接结构连接到域转换子模型的第二层(或单元)。又例如，两个或以上序列子模型的层(或单元)可以分别通过两个或以上跳跃连接结构连接到域转换子模型的两个或以上层(单元)。由于第一层的输出数据的第一长度(例如，输出向量)可能与第二层的输入数据的第二长度(例如，输入向量)不同，跳跃连接结构还可以包括卷积层。卷积层可以将包括附加特征表示和/或附加信息或其一部分的输出数据的长度转换为第二长度，从而与第二层的输入数据匹配。
图8是根据本申请的一些实施例所示的生成图像重建模型的示例性流程的流程图。在一些实施例中，流程800可以在图1所示的MRI系统100中实施。例如，流程800可以以指令的形式存储在存储介质(例如，存储设备150或处理设备140的存储320)中，并且可以由处理设备140(例如，处理设备140的处理器310或图5所示的处理设备140中的一个或以上模块)调用和/或执行。以下呈现的流程800的操作旨说明的目的。在一些实施例中，流程800可以利用未描述的一个或以上附加操作，和/或不通过一个或以上本申请讨论的操作来完成。另外，如图8所示和以下描述的流程800的操作顺序不旨在是限制性的。在一些实施例中，可以基于流程800来生成如图5-6所示的图像重建模型。
在810中，处理设备140(例如，模型训练模块530)可以获取至少两个训练K空间数据集。类似于图6-7所示的K空间数据集，训练K空间数据集可以进一步用于生成训练的重建图像。训练K空间数据集可以包括代表训练的重建图像中像素的空间频率的至少两个训练数据点。在一些实施例中，至少两个训练K空间数据集可能包括一个或以上降采样训练K空间数据集、一个或以上全采样训练K空间数据集等。在一些实施例中，可以通过MRI扫描仪(例如，MRI扫描仪110)直接获取训练K空间数据集的第一部分。
在一些实施例中，处理设备140可以通过对一个或以上参考K空间数据集进行降采样来获取该一个或多个降采样训练K空间数据集的第二部分。在一些实施例中，处理设备140可以通过扫描不同对象或对象的不同部分而生成的MR信号来生成一个或以上参考K空间数据集。对于一个或以上参考K空间数据集，处理设备140可以基于一个或以上训练采样掩膜对参考K空间数据集进行降采样。类似于图6所述的采样掩膜，训练采样掩膜可以包括二进制矩阵，其中“1”表示对训练K空间中的一个训练数据点(也称为采样训练数据点)进行采样，“0”表示未对训练K空间中的一个训练数据点(也称为“非采样训练数据点”)进行采样。为了说明的目的，处理设备140可以将未采样的训练数据点分配一个或以上初始值，例如零。
例如，训练采样掩膜可以包括2D随机采样掩膜、伪径向采样掩膜、笛卡尔采样掩膜等。在一些实施例中，可以基于MRI系统100(例如，MRI扫描仪110)的类型来指定采样模式或轨迹。相应地，处理设备140可以基于MRI系统100的类型来选择采样掩模。例如，如果根据笛卡尔采样掩模的降采样图案或轨迹适合于MRI系统100的类型(例如，提供更好的重建图像质量)，则采样掩模可包括笛卡尔采样掩模。在一些实施例中，可以基于用户输入来选择合适的训练采样掩膜。
在820中，处理设备140(例如，模型训练模块530)可以基于至少两个训练K空间数据集、通过训练初始图像重建模型来生成图像重建模型。在一些实施例中，至少两个训练K空间数据集中的每个训练K空间数据集可以包括至少两个训练数据点，处理设备140可以基于训练K空间数据集的至少两个训练数据点的降采样信息剔除未采样的训练数据点(例如，分配为零的训练数据点)。在一些实施例中，处理设备140可以获取至少两个训练数据点(或剔除一部分训练数据点(例如，未采样的训练数据点)之后剩下的训练数据点)的附加训练信息。在一些实施例中，处理设备140可以基于至少两个训练数据点(或剩余训练数据点)及其附加训练信息来生成图像重建模型。例如，附加训练信息可以包括至少两个训练数据点(或剩余训练数据点)的训练降采样信息、至少两个训练数据点(或剩余训练数据点)的训练位置信息、至少两个训练数据点(或剩余训练数据点)的训练时间信息等。
在一些实施例中，处理设备140可以获取与每个训练K空间数据集相对应的一系列训练数据点。在一些实施例中，处理设备140可以以训练向量(或矩阵或张量)的形式获取一系列训练数据点。其中，训练向量(或矩阵或张量)可以对应于训练K空间数据集。处理设备140可以基于类似于获取图6-7所示的包含一系列数据点的向量(或矩阵)的流程来获取训练向量(或矩阵、张量)。在一些实施例中，处理设备140可以基于至少两个系列的训练数据点(例如，训练向量(或矩阵、张量)，通过训练初始图像重建模型)来生成图像重建模型。
在一些实施例中，一系列训练数据点中的每个训练数据点可以对应于训练K空间数据集中的一个训练数据点。训练K空间数据集中的训练数据点可以表示为复数。在一些实施例中，一系列训练数据点(例如，训练向量(或矩阵或张量))中对应的训练数据点可以表示为复数。在一些实施例中，一系列训练数据点(例如，训练向量(或矩阵、张量))中对应的训练数据点可以表示为复数的实部和复数的虚部。训练K空间中的一个训练数据点可以包括幅值和相位。在一些实施例中，幅值和相位可以表示为一系列训练数据点(例如，训练向量(或矩阵、张量))中对应的训练数据点。
在一些实施例中，处理设备140可以获取一系列训练数据点的附加训练信息。例如，附加训练信息可以包括该一系列训练数据点的训练降采样信息、该一系列训练数据点的训练位置信息、该一系列训练数据点的训练时间信息等。其中，训练降采样信息可以表明一系列训练数据点中的训练数据点是采样训练数据点还是未采样训练数据点。在一些实施例中，在训练降采样信息中，采样训练数据点和未采样训练数据点可以有不同的标记。例如，采样训练数据点的训练降采样信息可以用1表示，而未采样训练数据点的训练降采样信息可以用0表示。在一些实施例中，处理设备140可以生成一系列第二训练数据点，其包括该一系列训练数据点的训练降采样信息。在一些实施例中，处理设备140可以获取向量、矩阵或张量形式的一系列第二训练数据点。
其中，训练数据点的训练位置信息可以指该训练数据点在训练K空间中的位置。在一些实施例中，训练数据点的位置可以包括与训练K空间相关联的坐标系中训练数据点的坐标。在一些实施例中，坐标系可以是2D坐标系。训练数据点的训练位置信息可以包括与训练K空间数据集中对应训练数据点的x坐标和y坐标相关的信息。例如，二维坐标系的中心可以是训练K空间的一个顶点(例如，左上顶点、右上顶点)。又例如，2D坐标系的中心可以是训练K空间的中心。在一些实施例中，坐标系可以是3D坐标系。训练数据点的训练位置信息可以包括与训练K空间数据集中对应训练数据点的x坐标、y坐标和z坐标相关的信息。
在一些实施例中，处理设备140还可以生成与位置信息相关的至少一个系列的训练数据点。该至少一个系列的训练数据点可以包括一系列的第三训练数据点、一系列第四训练数据点、一系列第五训练数据点等。该一系列的第三训练数据点包括该系列的训练数据点或其一部分的第一坐标(例如，与x坐标相关的信息)。该一系列的第四训练数据点包括该一系列训练数据点或其一部分的第二坐标(例如，与y坐标相关的信息)。该一系列的第五训练数据点包括该一系列训练数据点或其一部分的第三坐标(例如，有关z坐标的信息)。在一些实施例中，处理设备140可以将该至少一个系列的训练数据点转换为至少一个训练向量或矩阵的形式。例如，至少一个训练向量(或矩阵)可以包括包含一系列第三训练数据点或其一部分的第三训练向量(或矩阵)、包含一系列第四训练数据点或其一部分的第四训练向量(或矩阵)、包含一系列第五训练数据点或其一部分的第五训练向量(或矩阵)等。
在一些实施例中，处理设备140可以连结与附加训练信息相关的至少一个系列的训练数据点(例如，一系列的第二训练数据点、一系列的第三训练数据点、一系列的第四训练数据点、一系列的第五训练数据点)或其一部分和上述一系列训练数据点的至少一部分。例如，处理设备140可以连结一系列数据点和该一系列的第二数据点。又例如，处理设备140可以连结一系列训练数据点、一系列的第二训练数据点和一系列的第三训练数据点。又例如，处理设备140可以连结一系列训练数据点、一系列的第二训练数据点、一系列的第三训练数据点以及一系列的第四训练数据点。再例如，处理设备140可以连结一系列的训练数据点、一系列的第二训练数据点、一系列的第三训练数据点、一系列的第四训练数据点以及一系列的第五训练数据点连结在一起。
在一些实施例中，处理设备140可以根据训练顺序或规则获取与附加训练信息的一系列训练数据点(例如，训练向量(或矩阵或张量)和/或一个或多个训练向量(或矩阵或张量))。例如，如果将训练K空间数据集中的至少两个训练数据点排列成矩阵，则处理设备140可以按行或列获取和/或变形至少两个训练数据点来获取训练向量。因此，处理设备140可以按行或列获取和/或变形至少两个训练数据点的附加训练信息来获取与附加训练信息相关的至少一个训练向量。又例如，处理设备140可以按照矩阵维度获取和/或变形至少两个训练数据点来获取与附加训练信息相关的待输入到序列子模型的至少一个训练矩阵。再例如，待输入到序列子模型的每个训练张量有指定的维度(例如，3、5)。处理设备140可以根据指定的维度来获取和/或变形至少两个训练数据点来获取与附加训练信息相关的待输入到序列子模型的至少一个训练张量。在一些实施例中，如果训练向量包括一系列训练数据点的训练位置信息，则处理设备140可以随机地获取和/或变形至少两个训练数据点来获取训练向量。相应地，处理设备140可以随机地获取和/或变形至少两个训练数据点的附加训练信息来获取与附加训练信息相关的训练向量。
在一些实施例中，处理设备140可以通过执行至少两个迭代来迭代更新初始图像重建模型的一个或以上参数来生成图像重建模型。在一些实施例中，初始图像重建模型可以包括初始序列子模型和初始域转换子模型。处理设备140可以通过迭代更新初始序列子模型和/或初始域转换子模型的一个或以上参数来生成图像重建模型。例如，参数可以包括层内核的大小、层的数量、层中节点的数量、学习率、批大小、次数、两个相连节点之间的连接权值、与节点有关的偏差向量、层中节点的激活向量等。
在一些实施例中，处理设备140可以基于训练算法来生成图像重建模型。例如，训练算法可以包括梯度下降算法、牛顿算法、拟牛顿算法、莱文贝格-马夸特算法、共轭梯度算法等或其任意组合。可以在本申请的其他地方找到生成重建图像的更多描述，例如，参见图9及其描述。
图9是根据本申请的一些实施例所示的生成图像重建模型的示例性流程的流程图。在一些实施例中，流程900可以在图1所示的MRI系统100中实现。例如，流程900可以以指令的形式存储在存储介质(例如，存储设备150或处理设备140的存储320)中，并且可以由处理设备140(例如，处理设备140的处理器310或图5所示的处理设备140中的一个或以上模块)调用和/或执行。以下呈现的流程900的操作旨在说明的目的。在一些实施例中，流程900可以利用未描述的一个或以上附加操作和/或不通过一个或以上本申请讨论的操作来完成。另外，如图9所示和以下描述的流程900的操作顺序不旨在是限制性的。在一些实施例中，可以基于流程900来实现流程800中的操作820。
在910，处理设备140(例如，模型训练模块530)可以确定或获取初始图像重建模型。初始图像重建模型可以包括初始序列子模式和初始域转换子模型。在一些实施例中，初始序列子模型的结构可以包括，例如，输入层、隐藏层、简单循环单元(SRU)、门控单元、长短时记忆(LSTM)单元、双向循环单元、关注层、输出层等。初始序列子模型可以包括简单循环网络(SRN)模型、门控序列模型(例如，LSTM网络模型)、堆叠循环神经网络(SRNN)模型、双向循环网络模型、递归神经网络(RecNN)模型、图网络模型、卷积神经网络(CNN)模型、Transformers模型(例如、Transformers XL模型、基于Transformer的双向编码器表示(BERT)模型)等。出于说明目的，初始序列子模型可以是LSTM网络模型，其包括输入层、LSTM单元、输出层等。LSTM单元可以包括三个门，即输入门、忘记门和输出门。
在一些实施例中，初始域转换子模型的结构可以包括，例如，输入层、卷积层、池化层、全连接层、输出层、生成器、判别器等。相应地，初始域转换子模型可以包括卷积神经网络(CNN)模型、全卷积神经网络(FCN)模型、生成对抗网络(GAN)模型、反向传播(BP)神经网络模型、径向基函数(RBF)神经网络模型、深度信念(DBN)神经网络模型、Elman神经网络模型等。出于说明目的，初始域转换子模型可以是CNN模型，其包括输入层、一个或以上卷积层、一个或以上池化层、一个或以上全连接层、输出层等。
在一些实施例中，初始序列子模型和初始域转换子模型可以包括至少两个参数(也称为“训练参数”)。例如，训练参数可以包括层内核的大小、层的数量、层中节点的数量、学习率、批大小、次数、两个相连的节点之间的连接权值、与节点有关的偏差向量、层中节点的激活向量等或其任意组合。
在一些实施例中，处理设备140可以初始化或设置训练参数。例如，处理设备140可以将连接权值设置为-1到1之间的随机值。又例如，处理设备140可以将偏差向量设置为0到1之间的随机值。在一些实施例中，处理设备140可以基于高斯随机算法、Xavier算法等来初始化或设置参数。
在920中，对于如图8所示的至少两个训练K空间数据集的至少一个中的每一个，使用训练K空间数据集(例如，相应的训练向量、矩阵或张量、或相应的连结的训练向量、矩阵或张量)、初始的或更新的序列子模型，以及初始的或更新的域转换子模型，处理设备140(例如，模型训练模块530)可以生成训练的重建图像。如图8所述，处理设备140可以通过执行至少两个迭代以迭代地更新初始序列域模型和初始域转换子模型的一个或以上参数来生成图像重建模型。其中，在至少两个迭代的一次迭代中，可以使用至少两个训练的K空间数据集(例如，相应的训练向量、矩阵或张量，或相应的连结的训练向量、矩阵或张量)的至少一个中的一个来生成该更新的序列子模型。在至少两个迭代的一次迭代中，可以使用至少两个训练K空间数据集(例如，相应的训练向量、矩阵或张量，或相应的连结的训练向量、矩阵或张量)至少一个中的一个来生成该更新的域转换子模型。
在一些实施例中，处理设备140可以生成至少两个训练K空间数据集(例如，相应的训练向量、矩阵或张量，或相应的连结的训练向量、矩阵或张量)的至少两个训练的重建图像。在一些实施例中，处理设备140可以生成至少两个训练K空间数据集中的至少一个(例如，至少一个对应的训练向量、矩阵或张量，或至少一个对应的连结的训练向量、矩阵或张量)的至少一个训练的重建图像。生成训练的重建图像的流程类似于如图6-7所示的生成重建图像的流程。处理设备140可以将训练K空间数据集的至少一部分(例如，相应的训练向量、矩阵或张量或相应的连结的训练向量、矩阵或张量)输入与初始序列子模型相关的中间序列子模型。例如，处理设备140可以通过连结至少两个训练数据点(或剩余训练数据点)和至少两个训练数据点(或剩余训练数据点)的附加训练信息来获取训练张量，并将训练张量的至少一部分输入到中间序列子模型中。其中，训练张量可以指描述从一组代数主体(例如，向量、标量)到另一组代数主体的线性映射的代数主体。例如，训练张量可以包括数值的多维阵列。其中，在训练过程中，可以利用训练k空间数据集迭代更新初始序列子模型来得到该中间序列子模型。例如，在训练过程中，可以迭代地更新初始序列子模型的参数以得到迭代地更新的中间序列子模型。中间序列子模型可以输出训练K空间数据集(例如，对应的训练向量矩阵或张量，或对应的连结训练向量、矩阵或张量)的训练特征表示。此外，处理设备140可以将训练特征表示输入到与初始域转换子模型有关的中间域转换子模型中。其中，在训练过程中，可以利用训练k空间数据集迭代更新初始域转换子模型来得到中间序列子模型。例如，在训练过程中，可以迭代更新初始域转换子模型的参数来得到迭代更新的中间域转换子模型。中间域转换子模型可以输出训练的重建图像。更多关于生成训练的重建图像的描述可以在图6-7中找到，这里不再重复。
在一些实施例中，初始的或更新的序列子模型和初始的或更新的域转换子模型可以包括一个或以上跳跃连接结构。跳跃连接结构可以允许训练K空间数据集的附加训练特征表示和/或附加训练信息或其一部分从初始的或更新的序列子模型传输到初始的或更新的域转换子模型。初始的或更新的域转换子模型可以基于训练特征表示、附加训练特征表示和/或附加训练信息或其一部分来确定训练的重建图像。例如，初始的或更新的序列子模型的第一层(或单元)可以通过跳跃连接结构连接到初始的或更新的域转换子模型的第二层(或单元)。又例如，两个或以上初始的或更新的序列子模型的层(或单元)可以分别通过两个或以上跳跃连接结构连接到初始的或更新的域转换子模型的两个或以上层(单元)。由于第一层的输出数据的第一长度(例如，输出向量)可能与第二层的输入数据的第二长度(例如，输入向量)不同，跳跃连接结构还可以包括卷积层。卷积层可以将包括附加训练特征表示和/或附加训练信息或其一部分的输出数据转换为第二长度，从而与第二层的输入数据匹配。
在930中，处理设备140(例如，模型训练模块530)可以通过比较基于训练K空间数据集生成的训练的重建图像与参考重建图像来获取比较结果。在一些实施例中，可以基于与训练K空间数据集相对应的参考K空间数据集来获取参考重建图像。其中，训练K空间数据集可以是对应于参考K空间数据集的降采样K空间数据集。在一些实施例中，对参考K空间数据集进行全采样。参考重建图像可以是初始的或更新的域转换子模型的期望输出。处理设备140可以基于参考K空间数据集使用MR图像重建技术来生成参考重建图像。例如，MR图像重建技术可以包括二维傅立叶变换技术、反投影技术(例如卷积反投影技术、滤波反投影技术)、迭代重建技术等。示例性迭代重建技术可以包括代数重建技术(ART)、同时迭代重建技术(SIRT)、联合代数重建技术(SART)、自适应统计迭代重建(ASIR)技术、基于模型的迭代重建(MBIR)技术、正弦图确认迭代重建(SAFIR)技术等或其任意组合。
在一些实施例中，如图8所示，至少两个训练K空间数据集可以对应于两个或以上参考K空间数据集。其中，与参考K空间数据集相对应的训练K空间数据集指训练K空间数据集是参考K空间数据集的降采样K空间数据集。
比较结果可以评估训练的重建图像和相应的参考重建图像之间的差。在一些实施例中，处理设备140可以基于该差来确定目标函数并将其作为比较结果。例如，目标函数可以包括差的损失函数、均方根误差(RMSE)函数、平均绝对误差(MAE)函数等。
在940中，处理设备140(例如，模型训练模块530)可以通过确定预定条件是否得到满足来确定是否终止训练过程。在一些实施例中，预定条件可以涉及基于训练K空间数据集生成的训练重建图像与参考重建图像之间的比较结果。响应于确定预定条件得到满足，在950中，处理设备140(例如，模型训练模块530)可以分别将初始的或更新的序列子模型和初始的或更新的域转换子模型指定为序列子模型和域转换子模型。另一方面，响应于确定预定条件得不到满足，处理设备140可以返回操作910以进一步更新初始序列子模型(或在上一轮训练中基于训练K空间数据集生成的更新的序列子模型)和初始域转换子模型(或在上一轮训练中生成的更新的域转换子模型)。在一些实施例中，处理设备140可以使用至少两个训练K空间数据集(例如，相应的训练向量、矩阵或张量，或对应的连结的训练向量、矩阵或张量)中的至少一部分来更新初始的或更新的序列子模型和初始的或更新的域转换子模型。在一些实施例中，处理设备140可以基于至少两个训练K空间数据集(例如，相应的训练向量、矩阵或张量，或相应的连结的训练向量、矩阵或张量)的至少一部分来更新至少一部分训练参数。
在一些实施例中，如果目标函数的值(局部或全局)最小或小于阈值(例如，常数)，则预定条件得到满足。在一些实施例中，如果目标函数的值收敛，则预定条件得到满足。如果目标函数在两个或两个以上连续迭代中的值的变化量小于阈值(例如，常数)，则认为收敛。
在一些实施例中，附加地或可替代地，该预定条件可以包括是否已经执行了指定次数的迭代(或训练次数)、中间序列子模型或中间域转换子模型的参数是否在训练的特定次数(例如，三次、五次)内收敛等。例如，当基于比较结果的目标函数(局部或全局)最小或小于阈值(例如，常数)且已执行了至少一定数量的迭代次数(或训练次数)时，可以认为预定条件得到满足。又例如，当基于比较结果的目标函数收敛时或者当中间序列子模型的参数和中间域转换子模型的参数在训练的特定次数(例如，三次、五次)内收敛时，可以认为预定条件得到满足。在一些实施例中，处理设备140可以将序列子模型、域转换子模型和图像重建模型传输到存储设备(例如，存储设备150、存储器320和存储器490)进行存储。
图10是根据本申请的一些实施例所示的基于K空间数据集生成包含一系列数据点的变形数据的示例性过程的示意图。
如图5-7所示，通过将K空间数据集中的至少两个数据点变形成行向量，处理设备140可以生成包含一系列数据点的向量。该一系列数据点中的每个数据点可以对应于K空间数据集中的一个数据点。另外，处理设备140还可以生成与该一系列数据点相关的附加信息的向量。示例性附加信息可以包括该一系列数据点或其一部分的降采样信息、该一系列数据点或其一部分的位置信息、该一系列数据点或其一部分的时间信息等或其任意组合。如图10所示，K空间数据集中的至少两个数据点可以排列成矩阵。至少两个数据点或其一部分可以按行获取得到行向量和/或变形成行向量。另外，附加信息或其一部分可以分别排列成矩阵，并可以按行获取得到行向量和/或变形成行向量。具体地，包含降采样信息或其一部分的矩阵可以按行获取得到行向量和/或变形成行向量。包含位置信息(即，与x坐标相关的信息、与y坐标相关的信息)或其一部分的矩阵可以分别按行获取得到行向量和/或变形成行向量。包含其他信息(例如，与z坐标相关的信息、时序信息)或其一部分的矩阵可以按行获取得到行向量和/或变形成行向量。通过连结列向量，处理设备140可以获取包含一系列数据点的变形数据。通过将经变形的数据输入图像重建模型(例如，如图4-9所示的图像重建模型)，处理设备140可以获取重建图像。例如，变形的数据可以采用向量、矩阵、张量等形式。
上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对其任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式，该产品包括计算机可读程序编码。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等或任何上述介质的组合。
本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序语言编写。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
在一些实施例中，用于描述和要求保护本申请的某些实施例的表示数量/性质等的数字在某些情况下应理解为由术语“大约”、“近似”或“基本上”修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
本申请中提及的所有专利、专利申请、专利申请公布和其他材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本申请以达到所有目的，与上述文件相关的任何起诉文档记录、与本申请件不一致或冲突的任何上述文件或对迟早与本申请件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说，如果在描述、定义和/或与任何所结合的材料相关联的术语的使用和与本申请件相关联的术语之间存在任何不一致或冲突，则描述、定义和/或在本申请件中使用的术语以本申请件为准。
最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (11)

1.一种图像重建的方法，其特征在于，包括：
根据磁共振成像MRI扫描仪获取的磁共振MR信号获取K空间数据集；
基于所述K空间数据集，使用包含序列子模型和域转换子模型的图像重建模型，通过以下操作生成重建图像：
将所述K空间数据集的至少一部分输入到所述序列子模型中；
从所述序列子模型输出所述K空间数据集的特征表示；
将所述K空间数据集的所述特征表示输入到所述域转换子模型中；以及
从所述域转换子模型输出所述重建图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述K空间数据集的至少一部分输入到所述序列子模型中包括：
基于所述K空间数据集，将所述K空间数据集变形成包含一系列数据点的向量。
将所述向量的至少一部分有序地输入到所述序列子模型中。
3.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：
连结向量、第二向量、第三向量、第四向量和第五向量，其中：
所述第二向量包括所述向量的至少一部分的数据点的降采样信息；
所述第三向量包括所述向量的至少一部分的数据点的第一坐标；
所述第四向量包括所述向量的至少一部分的数据点的第二坐标；
所述第五向量包括所述向量的至少一部分的数据点的第三坐标；以及
将所述连结的向量的至少一部分有序地输入到所述序列子模型中。
4.根据权利要求3所述的方法，其特征在于，所述将所述向量的至少一部分有序地输入到所述序列子模型中包括：
基于所述降采样信息，通过从所述一系列数据点中剔除与所述K空间数据集中的未采样数据点相对应的所述向量的数据点，来确定所述向量的至少一部分。
5.根据权利要求1所述的方法，其特征在于，所述将所述K空间数据集的至少一部分输入到所述序列子模型中包括：
以向量、矩阵或张量的形式将所述K空间数据集的至少一部分输入到所述序列子模型中。
6.根据权利要求1所述的方法，其特征在于，所述序列子模型和所述域转换子模型包括跳跃连接结构。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述图像重建模型是通过训练过程生成的，所述训练过程包括：
获取至少两个训练K空间数据集；以及
基于所述至少两个训练K空间数据集，通过训练初始图像重建模型生成所述图像重建模型。
8.根据权利要求7所述的方法，其特征在于，
所述图像重建模型进一步被配置为减少重建图像中的噪音；以及
基于所述至少两个训练K空间数据集，通过训练初始图像重建模型生成所述图像重建模型包括：
减少所述参考重建图像的噪音；以及
基于噪音降低的所述参考重建图像生成所述图像重建模型。
9.一种图像重建的系统，其特征在于，包括K空间数据集获取模块和图像重建模块；
所述K空间数据集获取模块被配置为根据磁共振成像MRI扫描仪获取的磁共振MR信号获取K空间数据集；
所述图像重建模块被配置为基于所述K空间数据集，使用包含序列子模型和域转换子模型的图像重建模型，通过以下方式重建图像：
将所述K空间数据集的至少一部分输入到所述序列子模型中；
从所述序列子模型输出所述K空间数据集的特征表示；
将所述K空间数据集的所述特征表示输入到所述域转换子模型中；以及
从所述域转换子模型输出所述重建图像。
10.一种图像重建的装置，包括处理器，其特征在于，所述处理器用于执行权利要求1-8项所述的图像重建方法。
11.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1-8项所述的图像重建方法。
CN201911359397.2A 2019-11-28 2019-12-25 图像重建的系统和方法 Active CN111080738B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/699,092 US11120585B2 (en) 2019-11-28 2019-11-28 Systems and methods for image reconstruction
US16/699,092 2019-11-28

Publications (2)

Publication Number Publication Date
CN111080738A true CN111080738A (zh) 2020-04-28
CN111080738B CN111080738B (zh) 2024-02-27

Family

ID=70317835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911359397.2A Active CN111080738B (zh) 2019-11-28 2019-12-25 图像重建的系统和方法

Country Status (2)

Country Link
US (1) US11120585B2 (zh)
CN (1) CN111080738B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150568A (zh) * 2020-09-16 2020-12-29 浙江大学 基于Transformer模型的磁共振指纹成像重建方法
CN112213673A (zh) * 2020-09-07 2021-01-12 上海东软医疗科技有限公司 动态磁共振成像方法、装置、重建计算机及磁共振系统
CN114708349A (zh) * 2022-04-11 2022-07-05 朱心歌 一种基于非凸低秩的动态mri构建系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113577B1 (en) * 2020-02-27 2021-09-07 GE Precision Healthcare LLC Systems and methods for detecting laterality of a medical image
CN113378973B (zh) * 2021-06-29 2023-08-08 沈阳雅译网络技术有限公司 一种基于自注意力机制的图像分类方法
CN113689545B (zh) * 2021-08-02 2023-06-27 华东师范大学 一种2d到3d端对端的超声或ct医学影像跨模态重建方法
CN113901831B (zh) * 2021-09-15 2024-04-26 昆明理工大学 基于预训练语言模型及双向交互注意力的平行句对抽取方法
CN113920213B (zh) * 2021-09-27 2022-07-05 深圳技术大学 基于长距离注意力模型重建的多层磁共振成像方法及装置
CN113971407B (zh) * 2021-12-23 2022-03-18 深圳佑驾创新科技有限公司 语义特征提取方法及计算机可读存储介质
US20230253095A1 (en) * 2022-02-10 2023-08-10 Siemens Healthcare Gmbh Artifical intelligence for end-to-end analytics in magnetic resonance scanning
EP4280222A1 (en) * 2022-05-20 2023-11-22 Siemens Healthcare GmbH Medical imaging with distributed cluster-based processing
CN115115523B (zh) * 2022-08-26 2022-11-25 中加健康工程研究院(合肥)有限公司 一种融合CNN和Transformer的医学图像深度信息提取方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103300859A (zh) * 2013-05-31 2013-09-18 王勇 一种混合范数的高质量快速cs-mri成像方法
US20150168526A1 (en) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Magnetic resonance imaging method and apparatus
US20150355301A1 (en) * 2014-06-10 2015-12-10 Siemens Aktiengesellschaft Magnetic resonance imaging method and apparatus
CN105259525A (zh) * 2015-10-28 2016-01-20 北京大学 基于邻域共享压缩感知的动态对比增强磁共振快速成像方法
US20160109546A1 (en) * 2013-06-14 2016-04-21 Toshiba Medical Systems Corporation Magnetic resonance imaging apparatus and magnetic resonance imaging method
CN106023124A (zh) * 2016-05-09 2016-10-12 上海交通大学 一种基于先验图像约束的磁共振稀疏重建图像方法
US20170016972A1 (en) * 2015-07-13 2017-01-19 Siemens Medical Solutions Usa, Inc. Fast Prospective Motion Correction For MR Imaging
CN107274462A (zh) * 2017-06-27 2017-10-20 哈尔滨理工大学 基于熵和几何方向的分类多字典学习磁共振图像重建方法
CN108305221A (zh) * 2018-01-03 2018-07-20 上海东软医疗科技有限公司 一种磁共振并行成像方法和装置
CN108717717A (zh) * 2018-04-23 2018-10-30 东南大学 基于卷积神经网络和迭代方法相结合的稀疏mri重建的方法
US20190213761A1 (en) * 2016-09-01 2019-07-11 The General Hospital Corporation System and method for automated transform by manifold approximation
CN110097611A (zh) * 2019-04-28 2019-08-06 上海联影智能医疗科技有限公司 图像重建方法、装置、设备及存储介质
CN110197229A (zh) * 2019-05-31 2019-09-03 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN110264538A (zh) * 2018-06-14 2019-09-20 上海联影医疗科技有限公司 用于核磁共振图像重建的方法、系统和装置
CN110298897A (zh) * 2019-04-03 2019-10-01 上海联影医疗科技有限公司 用于正电子发射断层成像图像重建的系统和方法
CN110338795A (zh) * 2019-07-11 2019-10-18 中国科学院深圳先进技术研究院 一种径向黄金角磁共振心脏电影成像方法、装置和设备
US20190355125A1 (en) * 2018-05-21 2019-11-21 Shanghai United Imaging Healthcare Co., Ltd. System and method for multi-contrast magnetic resonance imaging

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11300645B2 (en) * 2018-07-30 2022-04-12 Hyperfine Operations, Inc. Deep learning techniques for magnetic resonance image reconstruction
KR102565279B1 (ko) * 2018-08-23 2023-08-09 삼성전자주식회사 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들
KR102131505B1 (ko) * 2018-08-29 2020-07-07 한국과학기술원 뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치
US11062490B2 (en) * 2018-10-25 2021-07-13 The Board Of Trustees Of The Leland Stanford Junior University Reinforcement learning for online sampling trajectory optimization for magnetic resonance imaging
KR20210141550A (ko) * 2019-03-14 2021-11-23 하이퍼파인, 인크. 공간 주파수 데이터로부터 자기 공명 이미지를 생성하기 위한 딥 러닝 기법
US11710261B2 (en) * 2019-07-29 2023-07-25 University Of Southern California Scan-specific recurrent neural network for image reconstruction

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103300859A (zh) * 2013-05-31 2013-09-18 王勇 一种混合范数的高质量快速cs-mri成像方法
US20160109546A1 (en) * 2013-06-14 2016-04-21 Toshiba Medical Systems Corporation Magnetic resonance imaging apparatus and magnetic resonance imaging method
US20150168526A1 (en) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Magnetic resonance imaging method and apparatus
US20150355301A1 (en) * 2014-06-10 2015-12-10 Siemens Aktiengesellschaft Magnetic resonance imaging method and apparatus
US20170016972A1 (en) * 2015-07-13 2017-01-19 Siemens Medical Solutions Usa, Inc. Fast Prospective Motion Correction For MR Imaging
CN105259525A (zh) * 2015-10-28 2016-01-20 北京大学 基于邻域共享压缩感知的动态对比增强磁共振快速成像方法
CN106023124A (zh) * 2016-05-09 2016-10-12 上海交通大学 一种基于先验图像约束的磁共振稀疏重建图像方法
US20190213761A1 (en) * 2016-09-01 2019-07-11 The General Hospital Corporation System and method for automated transform by manifold approximation
CN107274462A (zh) * 2017-06-27 2017-10-20 哈尔滨理工大学 基于熵和几何方向的分类多字典学习磁共振图像重建方法
CN108305221A (zh) * 2018-01-03 2018-07-20 上海东软医疗科技有限公司 一种磁共振并行成像方法和装置
CN108717717A (zh) * 2018-04-23 2018-10-30 东南大学 基于卷积神经网络和迭代方法相结合的稀疏mri重建的方法
US20190355125A1 (en) * 2018-05-21 2019-11-21 Shanghai United Imaging Healthcare Co., Ltd. System and method for multi-contrast magnetic resonance imaging
CN110264538A (zh) * 2018-06-14 2019-09-20 上海联影医疗科技有限公司 用于核磁共振图像重建的方法、系统和装置
CN110298897A (zh) * 2019-04-03 2019-10-01 上海联影医疗科技有限公司 用于正电子发射断层成像图像重建的系统和方法
CN110097611A (zh) * 2019-04-28 2019-08-06 上海联影智能医疗科技有限公司 图像重建方法、装置、设备及存储介质
CN110197229A (zh) * 2019-05-31 2019-09-03 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN110338795A (zh) * 2019-07-11 2019-10-18 中国科学院深圳先进技术研究院 一种径向黄金角磁共振心脏电影成像方法、装置和设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BO ZHU 等: "Image reconstruction by domain-transform manifold learning", pages 487 - 501 *
庄孝星 等: "一种基于时空变换和压缩感知的磁共振螺旋采样的图像重建算法", no. 04 *
汪红志 等: "核磁共振成像技术虚拟软件开发", no. 10 *
肖韬辉 等: "深度学习的快速磁共振成像及欠采样轨迹设计", no. 02 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112213673A (zh) * 2020-09-07 2021-01-12 上海东软医疗科技有限公司 动态磁共振成像方法、装置、重建计算机及磁共振系统
CN112213673B (zh) * 2020-09-07 2022-11-22 上海东软医疗科技有限公司 动态磁共振成像方法、装置、重建计算机及磁共振系统
CN112150568A (zh) * 2020-09-16 2020-12-29 浙江大学 基于Transformer模型的磁共振指纹成像重建方法
CN114708349A (zh) * 2022-04-11 2022-07-05 朱心歌 一种基于非凸低秩的动态mri构建系统

Also Published As

Publication number Publication date
CN111080738B (zh) 2024-02-27
US11120585B2 (en) 2021-09-14
US20210166446A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
CN111080738B (zh) 图像重建的系统和方法
US10852379B2 (en) Artifact reduction by image-to-image network in magnetic resonance imaging
US20200202586A1 (en) Systems and methods for magnetic resonance imaging
US20200033431A1 (en) Deep learning techniques for magnetic resonance image reconstruction
Loktyushin et al. MRzero‐Automated discovery of MRI sequences using supervised learning
US20190378311A1 (en) Machine-Learned Network for Fourier Transform in Reconstruction for Medical Imaging
CN103384836B (zh) 用于磁共振成像的方法和设备
US9709650B2 (en) Method for calibration-free locally low-rank encouraging reconstruction of magnetic resonance images
JP7520964B2 (ja) マクスウェルパラレル撮像
JP7303677B2 (ja) 医用データ処理装置、医用データ処理方法、医用データ処理プログラム及び磁気共鳴イメージング装置
US11346911B2 (en) Magnetic resonance fingerprinting image reconstruction and tissue parameter estimation
US11408954B2 (en) Systems and methods of reducing noise and artifacts in magnetic resonance imaging
US11391802B2 (en) Systems and methods for magnetic resonance imaging reconstruction
US11933870B2 (en) Contrast and/or system independent motion detection for magnetic resonance imaging
US11880915B2 (en) Systems and methods for magnetic resonance imaging
US20200249301A1 (en) Reconstruction of magnetic-resonance datasets using machine learning
CN111685766A (zh) 成像系统和方法
US20210223343A1 (en) Methods and systems for fingerprinting magnetic resonance imaging and machine learning
US11022667B2 (en) System and method for image reconstruction
US20220326329A1 (en) Magnetic resonance imaging method and magnetic resonance imaging system
CN113296038B (zh) 基于k空间径向采样的磁共振成像系统与方法
JP6618786B2 (ja) 磁気共鳴イメージング装置及び画像処理装置
CN115524649A (zh) 磁共振成像的系统和方法
US11935211B2 (en) Systems and methods for image processing
EP4227702A1 (en) Artificial intelligence for end-to-end analytics in magnetic resonance scanning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment
TG01 Patent term adjustment