CN112368745A - 用于磁共振成像的图像重建的方法和系统 - Google Patents

用于磁共振成像的图像重建的方法和系统 Download PDF

Info

Publication number
CN112368745A
CN112368745A CN201980043586.0A CN201980043586A CN112368745A CN 112368745 A CN112368745 A CN 112368745A CN 201980043586 A CN201980043586 A CN 201980043586A CN 112368745 A CN112368745 A CN 112368745A
Authority
CN
China
Prior art keywords
image
undersampled
intensity
pixel
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980043586.0A
Other languages
English (en)
Inventor
卡姆莱什·帕瓦尔
陈兆林
纳迪姆·乔尼·沙阿
加里·弗朗西斯·伊根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Monash University
Original Assignee
Monash University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2018901690A external-priority patent/AU2018901690A0/en
Application filed by Monash University filed Critical Monash University
Publication of CN112368745A publication Critical patent/CN112368745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4818—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G01R33/5619—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences by temporal sharing of data, e.g. keyhole, block regional interpolation scheme for k-Space [BRISK]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5602—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by filtering or weighting based on different relaxation times within the sample, e.g. T1 weighting using an inversion pulse
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G01R33/5611—Parallel magnetic resonance imaging, e.g. sensitivity encoding [SENSE], simultaneous acquisition of spatial harmonics [SMASH], unaliasing by Fourier encoding of the overlaps using the temporal dimension [UNFOLD], k-t-broad-use linear acquisition speed-up technique [k-t-BLAST], k-t-SENSE
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种用于重建磁共振(MR)图像的方法和系统，该方法包括以下步骤：接收欠采样的MR图像，该欠采样的MR图像变换自欠采样的k空间数据；通过使用神经网络将欠采样的MR图像中的每个像素的强度分类为多个预定的强度的量化值之一；以及基于针对欠采样的MR图像中的每个像素所分类的强度的量化值来生成重建的MR图像。

Description

用于磁共振成像的图像重建的方法和系统
技术领域
本发明总体上涉及一种用于医学成像，特别是磁共振成像(MRI)的图像重建的方法和系统。
背景技术
磁共振成像(MRI)由于其优异的软组织对比度，是用于软组织成像的优选成像模态。然而，与其他医学成像模态(诸如，CT或超声)相比，MRI的扫描时间常常更长。
实现更快的MRI扫描的一种方式是通过k空间欠采样来减少k空间数据。欠采样的k空间MR数据需要被重建为MR图像。
根据欠采样的MR数据重建MR图像的一种方法是并行成像，其使用位于患者周围的不同空间位置处的多个信号接收器线圈。每个接收器线圈接收同一信号，但具有不同的灵敏度调制。接收器线圈的空间灵敏度信息提供同一信号的略微不同的测量。给定接收器线圈的先验已知灵敏度信息，可以根据从一组接收器线圈收集的欠采样数据重建MR图像。
根据欠采样的MR数据重建MR图像的另一方法涉及压缩感知。该技术利用MR图像可以在(诸如，小波或总信号变化的)一些领域中稀疏表示的事实。压缩感知使用非线性迭代重建从欠采样的数据恢复图像的稀疏表示。然而，在压缩感知中使用的迭代算法可能是耗时的，并且可能需要显著的计算能力。进一步地，由压缩感知技术实现的加速取决于图像的固有稀疏性。
期望解决以上内容或至少提供有用的替代方案。
发明内容
根据一方面，本发明提供了一种用于重建磁共振(MR)图像的方法，该方法包括以下步骤：
接收欠采样的MR图像，该欠采样的MR图像变换自欠采样的k空间数据；
通过使用神经网络将欠采样的MR图像中的每个像素的强度分类为多个预定的强度的量化值之一；以及
基于针对该欠采样的MR图像中的每个像素所分类的强度的量化值来生成重建的MR图像。
根据第二方面，本发明提供了一种用于重建磁共振(MR)图像的系统，该系统包括至少一个处理器，该至少一个处理器被配置为：
接收欠采样的MR图像，该欠采样的MR图像变换自欠采样的k空间数据；
通过使用神经网络将该欠采样的MR图像中的每个像素的强度分类为多个预定的强度的量化值之一；以及
基于针对该欠采样的MR图像中的每个像素所分类的强度的量化值来生成重建的MR图像。
根据第三方面，本发明提供了一种用于重建医学图像的方法，该方法包括以下步骤：
接收欠采样的医学图像；
通过使用神经网络将欠采样的医学图像中的每个像素的强度分类为多个预定的强度的量化值之一；以及
基于针对该欠采样的医学图像中的每个像素所分类的强度的量化值来生成重建的医学图像。
根据第四方面，本发明提供了一种用于重建医学图像的系统，该系统包括至少一个处理器，该至少一个处理器被配置为：
接收欠采样的医学图像；
通过使用神经网络将欠采样的医学图像中的每个像素的强度分类为多个预定的强度的量化值之一；以及
基于针对该欠采样的医学图像中的每个像素所分类的强度的量化值来生成重建的医学图像。
附图说明
在下文中仅通过示例的方式，参考附图来描述本发明的实施例，其中：
图1示出了用于MR图像重建的系统的示例；
图2示出了用于MR图像重建的卷积神经网络的一个示例性架构；
图3是示出了用于MR图像重建的深度学习模型的训练的示意图；
图4示出了在MR图像重建过程中由处理器执行的步骤；
图5示出了将图像重建应用于欠采样的MR数据的结果；
图6示出了由于分类网络中的量化的固有误差的量化；以及
图7示出了用于MR图像重建的卷积神经网络的另一示例性架构。
具体实施方式
实施例提供了一种用于根据欠采样的MR数据重建MR图像的方法和系统。该方法和系统使用基于机器学习的方法来根据欠采样的MR数据重建MR图像，并且使用模拟欠采样的MR数据来训练用于图像重建的卷积神经网络。
对卷积神经网络进行训练以将欠采样的MR图像(即，从欠采样的k空间数据变换的MR图像)中的每个像素分类为强度的量化值，该量化值是多个预定的量化值之一。
这样，将图像重建的任务转换成像素分类任务。这种转换有利于精确的图像的重建。
与欠采样的MR图像中的每个像素的强度相比，重建图像中的量化值具有更小的位深度(bit depth)。这减少了存储器空间的使用和计算复杂度。
例如，欠采样的图像中的每个像素的强度可以由浮点数(例如，典型地占用32位的单精度浮点数，或典型地占用64位的双精度浮点数)表示，而量化值可以是8位的数，因此每个像素的强度被分类为256个不同类别之一。可替代地，可以以存储器使用和计算复杂度为代价，针对每个像素使用更多位来表示重建图像。
该方法和系统可以在不损害图像质量的情况下显著地减少MR扫描时间。该方法和系统不使用迭代重建算法，因此节省了计算成本。进一步地，使用所描述的方法和系统实现的图像质量与压缩感知相比具有显著的SNR改善。
所描述的方法和系统可以用于补充并行成像图像重建技术，并且由此改进MR并行成像应用的性能。
通用结构
图1中示出了用于重建欠采样的MR图像的系统100的示例。
在该示例中，系统100还包括用于执行MRI扫描仪的功能(例如，执行MR扫描并获取MRI图像)的MRI机器的部件。
如图1所示，系统100包括超导或电阻主磁体线圈102，用于沿着z轴穿过检查体积产生基本上均匀的、在时间上恒定的主磁场B0。
系统100还包括一组匀场线圈120。流过各个匀场线圈120的电流是可控制的，以最小化检查体积内的B0偏差。
梯度脉冲放大器103沿着检查体积的x轴、y轴和z轴将电流脉冲施加到全身梯度线圈104、105和106中的所选择的一个。数字RF频率发射机107经由发送/接收开关108将RF脉冲或脉冲包发射到主体RF线圈109，以将RF脉冲发射到检查体积中。RF脉冲用于饱和、激发共振、反磁化、重聚焦共振或操纵共振，并且选择定位于检查体积中的患者身体200中的部分。
为了借助于并行成像生成患者身体200的MR图像，用于接收MR信号的一组局部阵列RF线圈111、112、113被放置成邻近所选择的用于成像的区域。
由主体线圈RF发射所感应的MR信号由阵列RF线圈111、112、113和/或由主体RF线圈109拾取，且随后经由发送/接收开关108由接收器114解调，优选地，该接收器114包含前置放大器。
(例如，以主机的形式的)控制器115控制匀场线圈120、梯度脉冲放大器103和发射机107以生成MR成像序列，例如，快速场回波(FFE)序列。
对于所选择的序列，接收器114接收跟随每个RF激励脉冲的单个或多个MR数据线。
然后，由数据采集模块116将每条MR数据线的所接收的模拟信号转换为数字格式。在一些替代实施例中，数据采集模块116可以被形成为分离的设备而不是MRI机器100的部分。
然后，将数字原始图像数据发送至处理器117，该处理器117通过应用合适的变换算法(例如，傅里叶变换)将k空间中的数字原始图像数据变换为MR图像表示。例如，该经变换的MR图像可以表示穿过患者的平面切片、平行平面切片阵列、三维体积等。
为了减少MRI扫描时间，执行k空间欠采样。收集减少的k空间点的数量并与奈奎斯特准则所要求的k空间点的全部数量进行比较。这导致处理器117输出的经变换的MR图像(也被称为“欠采样的MR图像”)中的欠采样的伪影。
为了去除或减少欠采样的伪影，处理器117生成的欠采样的MR图像随后被图像重建模块130处理，图像重建模块130基于欠采样的MR图像生成重建的MR图像。
然后，由图像重建模块130输出的重建的MR图像被存储在模块130的数据存储区中，在该数据存储区中的重建的MR图像可以被访问以用于将图像表示的切片、投影或其他部分转换成适当的格式以用于例如经由视频监视器118(该视频监视器118提供重建的MR图像的可读显示)可视化。
图像重建模块130包括用于图像重建的经训练的深度学习模型。优选地，图像重建模块130由嵌入在处理器117中并且由处理器117执行的机器可执行计算机程序指令实现。图像重建模块130除了由嵌入式固件实现之外，还可以由专用硬件(诸如ASIC或FPGA)实现。优选地，处理器117和模块130由GPU集群实现。
深度学习模型
在该实施例中，图像重建模块130的深度学习模型是卷积神经网络(CNN)。图2示出了CNN的示例性架构。
该CNN架构被设计并被训练用于图像重建。到网络的输入是256×256的欠采样的MR图像，该256×256的欠采样的MR图像中每个像素的强度是浮点数值(例如，典型地占用32位的单精度浮点数，或典型地占用64位的双精度浮点数)，并且输出是8位的量化重建图像(每个像素由8位的数来表示)。这样，CNN将图像重建任务变换为像素分类任务。
优选的，该像素强度为该像素的灰阶强度。然而，在一些替代实施例中，像素强度可以是一个或更多个合适的颜色通道中的像素的强度。
如图2所示，该实施例中的CNN是编码器-解码器CNN，其具有编码器网络(左侧)和解码器网络(右侧)，之后是像素强度分类层。
编码器网络包括具有一系列卷积层和池化层的收缩路径。更具体地说，收缩路径包括重复施加三个3×3卷积(步幅2、填充1)。在每个级别中，3×3卷积之后是批标准化(BN)运算和修正线性单元(ReLU)，以及用于下采样的3×3最大池化运算。该下采样使每个连续级别处的高度和宽度尺寸减半。在图2中的每个块的顶部的数字示出了数据的分辨率，并且每个块的底部的数字示出了经过滤的输出的数量(经过滤的输出还可以被称为“特征图”)。
解码器网络包括扩展路径，该扩展路径具有特征图的一系列2×2上采样运算(步幅2)，每个上采样运算之后是步幅1的3×3卷积、批标准化运算和修正线性单元(ReLU)。每个上采样运算增加了对应特征图的分辨率。
除了扩展路径之外，解码器网络还包括将上采样的特征图与直接从编码器网络传递的对应特征图进行连接的多个连接路径。
CNN的最后一层是使用具有步幅1的1×1卷积的分类层。该分类层将输出视为经量化的8位图像，且预测每个像素在256个不同类别中的一者中的概率。以这种方式，分类层预测重建图像的量化图像强度级别。在训练阶段，使用多项逻辑(multinomial logistic)损失函数(也称为“交叉熵损失”)来评估CNN的分类性能。或者，任何其他合适的分类损失函数可以用作训练CNN中的损失函数，例如Kullback-Leibler(KL)散度损失。
损失函数的选择是分类与其他类型的机器学习任务(诸如回归)之间的主要差异。为分类任务所选择的损失函数反映分类结果的正确性的测量，而回归损失函数通常测量结果的残差。这是因为分类任务的目标是使错误分类的风险最小化，而回归任务的目标通常是使回归模型的残差最小化。
总之，图2中所示的编码器-解码器CNN包括5个级别(每个级别由图2中的不同行的块示出)。可替代地，在一些其他实施例中，根据输入图像大小，编码器-解码器CNN可以包括任何合适数目的级别。在最后一级，特征图的大小应当大于卷积核的大小。例如，对于上述示例中的256×256的输入图像，CNN可以包括高达7个级别以允许使用3×3的卷积核。在CNN具有7个级别的示例中，在级别7处，特征图的空间大小为4×4。
进一步地，在一些其他实施例中，编码器-解码器CNN可以具有与图2中所示的架构不同的任何合适的替代架构。例如，可以对CNN架构的一个或更多个特性(诸如CNN层的数量、卷积核大小和/或步幅)做出变型。另外，CNN可以具有一个或更多个(诸如，降层(dropout layers)的)正则化层。
进一步地，在一些其他实施例中，图像重建模块130中所使用的CNN可以不是编码器-解码器CNN，而是任何其他合适类型的图像到图像映射CNN。
深度学习模型的训练
图3是示出在图像重建模块130中使用的深度学习模型的训练的示意图。
为了训练深度学习模型(304)，产生欠采样的MR图像(即，由框(302)示出的具有欠采样的伪影的图像)并将其馈送到深度学习模型(304)。
使用具有欠采样伪影的图像(302)，深度学习模型生成相应的重建的MR图像(306)。对于每个重建的图像，使用基于不包含欠采样伪影的相应参考MR图像(310)的损失函数(308)来计算误差。如上所述，对于图2的CNN，使用多项逻辑损失函数或任何其他合适的分类损失函数来计算误差。误差用于调整深度学习模型的参数。重复图像重建和调整过程，直到实现期望的重建性能。可以通过执行现有的(诸如随机梯度下降(SGD)、AdaGrad、AdaDelta、RMSProp或其他合适的梯度下降优化器的)CNN训练算法来进行参数的调整。
如图3中的虚线所示，可以通过对参考k空间数据(314)进行欠采样以生成欠采样的k空间数据(312)，然后将该欠采样的k空间数据(312)变换为MR图像来产生具有欠采样的伪影的图像(302)。相同的，参考k空间数据(314)还用于生成没有欠采样伪影的参考图像(310)。
如图3中所示的深度学习模型的训练可以在与系统100分离的外部硬件(例如，分离的图形处理单元(GPU))上执行。在训练之后，深度学习模型被嵌入为系统100中的图像重建模块130。
图4示出了由系统100的图像重建模块130实现的图像重建过程400。
在步骤410，图像重建模块130接收欠采样的MR图像，该欠采样的MR图像变换自欠采样的k空间数据。
在步骤420，图像重建模块130通过使用神经网络(即，经训练的CNN)将欠采样的MR图像中的每个像素的强度分类为多个预定的强度的量化值之一。
在步骤430，图像重建模块130基于针对欠采样的MR图像中的每个像素所分类的强度的量化值来生成重建的MR图像。
示例
将来自43个受试者的MPRAGE图像用于训练，并且将来自10个受试者的MPRAGE图像用于测试。用于分类网络的参考图像(也称为“标签图像”)以8位无符号整数表示。
k空间数据在相位编码方向上伪随机欠采样3.2倍，并且从欠采样数据变换的MR图像用作网络的输入。
使用CAFFE深度学习库中的随机梯度下降算法在2D切片上训练CNN。
图5示出了针对两种测试情况，将图像重建应用于欠采样数据的结果。
图5的列(b)示出了使用上述分类CNN的结果，其中使用的损失函数是多项逻辑损失。网络预测每个像素在256个不同类别中的一者中的概率。输出是由8位无符号整数所表示的图像，其通过简单地在0和1之间缩放而被转换成由浮点所表示的图像。如图所示，与输入图像相比，输出图像中的欠采样伪影被有效地减少。
相比之下，图5的列(c)示出了通过使用回归网络的将图像重建应用于相同测试案例的数据的结果，其中所使用的损失函数是均方损失。该网络预测重建的图像的浮点表示。
如所示出的，与通过使用回归网络生成的列(c)中的重建的图像相比，通过使用分类网络生成的列(b)中的重建的图像包含更少的欠采样伪影。
出于比较的目的，计算了根据分类网络所重建的图像的均方差，并且结果比根据回归网络所重建的图像低六倍，这示出了所描述的分类CNN模型在用于MRI的图像重建中的有效性。
对于回归网络，误差的来源是由输入-输出映射的不准确学习引起的预测误差。相比之下，分类网络中的误差起因于两个来源，包括：(i)起因于网络的预测误差，以及(ii)起因于定点表示的作为量化误差的第二误差。图6示出了归因于分类网络中的量化的固有误差的量化。
图6(a)示出了在[0，1]之间缩放的双精度图像。图6(b)示出了从(a)生成的无符号8位的图像表示。此步骤由于定点转换而引入量化误差。图6(c)示出了(b)中的相同图像通过缩放转换成双精度。图6(d)示出了通过减去(a)的原始图像和(c)的量化版本而生成的量化误差图像(为了观看缩放300×)。如从图6(d)明显的，量化误差(均方差：1.28e-6)显著低于总体误差(均方差：6.7e-5)，示出了量化对总体误差具有最小影响。在一些实施例中，可以通过以存储器使用和计算复杂度为代价使用更多位来表示目标图像来进一步减少量化误差。
更高位精度的像素分类
在图2所示的示例中，分类层将输出视为量化的8位图像(换句话说，每个像素的强度的量化值是8位的数)，并预测每个像素处于256个不同类别之一的概率。
可替代地，重建的图像可以使用每个像素的更多位来表示。然而，神经网络的存储器需求随量化值的位深度呈指数增加。n位的无符号数Nn_bit的动态范围是[0，2n-1]。为了预测每个可能的像素强度的概率，使用如上所述的像素分类方法在网络的输出处需要2n个通道。通道的数目可能不合期望地过大，例如65536个通道用于16位深度的图像。由于计算机系统的物理存储器限制，可能难以实现大量的通道，并且由于从增加数量的参数的过度拟合，可能难以概括模型。
为了减少用于更高位精度的分类网络所需的计算复杂度和存储器使用，使用分而治之(divide-and-conquer)的方法。具体地，对于更高的位深度预测，表示像素强度的n位的整数Nn_bit被分为两个n/2位的数a0和a1的线性组合：
Figure BDA0002864034590000091
例如，16位的整数可以表示为：
Figure BDA0002864034590000092
如在(1)中所描述的，a0和a1两者都属于n/2位的数，因此，图2中的卷积神经网络可以被修改以预测a0和a1两者，然后(1)可以用于计算n位的值Nn_bit。这种方法允许卷积神经网络用于重建更高位的图像，而不会显著增加参数数目或计算复杂度。例如，使用该方法，输出层中预测16位图像所需的通道的数目从65536减少到仅256。
图7示出了用于使用像素分类方法来重建16位精度像素强度值的图像的示例性网络架构。如图7所示，卷积神经网络具有两个输出a0和a1。a0和a1两者均是预测两个8位的数的概率分布的256个通道输出。两者的概率分布均用于使用(2)来计算像素强度值。图7中的卷积神经网络可以具有与图2中示出的示例相同的架构，而没有最后的分类层。换句话说，图2中的最后一个分类层(其使用具有步幅1的1×1卷积)被图7中的两个分类路径代替，用于分别输出a0和a1。
类似地，这种分而治之的方法可以用于通过将每个像素的预测强度值划分成多组整数a0，a1，...an，来重建具有进一步更高位精度(例如，32位、64位或更多)的图像。
因而，图4中所示的图像重建过程400中，分类步骤420可以包括：
将多个预定的强度的量化值转换成具有比该预定的强度的量化值更小的位深度的多组值；
对于每个组，通过使用神经网络将欠采样的MR图像中的每个像素的强度分类为该组中的值之一；以及
基于每个组中的所分类值生成每个像素的所分类的强度的量化值。
该预定的量化值中的每个可以包括第一组位和第二组位。相应地，该多组值可以至少包括：
第一组值，表示该预定的量化值的该第一组位的值；以及
第二组值，表示该预定的量化值的该第二组位的值。
如在上述示例中所示，第一组位(例如，a0)可以是比第二组位(例如，a1)更高阶的预定的量化值的位。
通过开发并利用深度学习模型来进行图像重建，所描述的方法和系统在不损害图像质量的情况下显著地减少了MR扫描时间。
由于方法和系统不使用迭代重建算法，因此与压缩感知技术相比，可以降低计算成本并且可以实现更高的SNR。
该方法和系统可以用于补充现有MR图像重建技术，诸如并行成像，该方法和系统可以改进MR并行成像应用的性能。
进一步地，该方法的使用不限于MR图像，而是还可以包括用于其他医学成像模态的图像重建。
例如，该方法可以用于根据在欠采样的电子计算机断层摄影(CT)扫描中收集的数据来重建图像。虽然扫描时间减少不是CT中的主要问题，但是最小化对患者的辐射暴露是非常重要的。使用该方法，将需要较少数量的角投影(angular projection)来重建CT图像。这将显著减少对患者的辐射剂量，例如，减少三倍。
进一步地，如上文所描述的，深度学习模型不限于所描述的实施例中的编码器-解码器CNN或特定架构，而是可以包括具有任何合适的架构的任何其他合适类型的CNN。
本说明书中对任何先前出版物(或从其衍生的信息)或者任何已知事物的参考不是并且不应被视为承认或准许或以任何形式建议该先前出版物(或从其衍生的信息)或已知事物形成本说明书所涉及的尝试领域中的公知常识的一部分。
在不脱离如上文参考附图所描述的本发明的范围的情况下，许多修改对于本领域技术人员将是显而易见的。

Claims (18)

1.一种用于重建磁共振(MR)图像的方法，所述方法包括以下步骤：
接收欠采样的MR图像，所述欠采样的MR图像变换自欠采样的k空间数据；
通过使用神经网络将所述欠采样的MR图像中的每个像素的强度分类为多个预定的强度的量化值之一；以及
基于针对所述欠采样的MR图像中的每个像素所分类的强度的量化值来生成重建的MR图像。
2.根据权利要求1所述的方法，其中，所述神经网络为卷积神经网络(CNN)。
3.根据权利要求2所述的方法，其中，所述CNN为编码器-解码器CNN，所述编码器-解码器CNN包括编码器网络和解码器网络。
4.根据权利要求3所述的方法，其中，所述编码器网络包括一系列卷积层和池化层，每个池化层在相应的卷积层之后。
5.根据权利要求3或4所述的方法，其中，所述解码器网络包括一系列上采样层和卷积层，每个卷积层在相应的上采样层之后。
6.根据权利要求5所述的方法，其中，所述解码器网络将每个上采样层的输出与由所述编码器网络生成的相应特征图连接。
7.根据权利要求3至6中任一项所述的方法，其中，所述CNN还包括像素强度分类层，所述像素强度分类层在所述解码器网络之后。
8.根据前述权利要求中任一项所述的方法，其中，通过使用多项逻辑损失函数来训练所述神经网络。
9.根据前述权利要求中任一项的方法，其中，所述预定的强度的量化值中的每个具有比所述欠采样的MR图像中的每个像素的强度更小的位深度。
10.根据前述权利要求中任一项所述的方法，还包括：
将欠采样的k空间数据变换为所述欠采样的MR图像。
11.根据权利要求10所述的方法，还包括：
接收在磁共振成像(MRI)扫描期间生成的原始MR信号；以及
基于所述原始MR信号生成所述欠采样的k空间数据。
12.根据前述权利要求中任一项所述的方法，其中，将所述欠采样的MR图像中的每个像素的强度分类为多个预定的强度的量化值之一包括：
将所述多个预定的强度的量化值转换成具有比所述预定的强度的量化值更小的位深度的多组值；
对于每个组，通过使用所述神经网络将所述欠采样的MR图像中的每个像素的强度分类为所述组中的值之一；以及
基于每个组中的所分类值生成每个像素的所分类的强度的量化值。
13.根据权利要求12所述的方法，其中：
所述预定的量化值中的每个均包括第一组位和第二组位；以及
其中所述多组值至少包括：
第一组值，所述第一组值表示所述预定的量化值的所述第一组位的值；以及
第二组值，所述第二组值表示所述预定的量化值的所述第二组位的值。
14.根据权利要求13所述的方法，其中，所述第一组位是比所述第二组位更高阶的所述预定的量化值的位。
15.一种用于重建磁共振(MR)图像的系统，所述系统包括至少一个处理器，所述至少一个处理器被配置为：
接收欠采样的MR图像，所述欠采样的MR图像变换自欠采样的k空间数据；
通过使用神经网络将所述欠采样的MR图像中的每个像素的强度分类为多个预定的强度的量化值之一；以及
基于针对所述欠采样的MR图像中的每个像素所分类的强度的量化值来生成重建的MR图像。
16.根据权利要求15所述的系统，其中，所述系统为MR扫描仪。
17.一种用于重建医学图像的方法，所述方法包括以下步骤：
接收欠采样的医学图像；
通过使用神经网络将所述欠采样的医学图像中的每个像素的强度分类为多个预定的强度的量化值之一；以及
基于针对所述欠采样的医学图像中的每个像素所分类的强度的量化值来生成重建的医学图像。
18.一种用于重建医学图像的系统，所述系统包括至少一个处理器，所述至少一个处理器被配置为：
接收欠采样的医学图像；
通过使用神经网络将所述欠采样的医学图像中的每个像素的强度分类为多个预定的强度的量化值之一；以及
基于针对所述欠采样的医学图像中的每个像素所分类的强度的量化值来生成重建的医学图像。
CN201980043586.0A 2018-05-15 2019-05-14 用于磁共振成像的图像重建的方法和系统 Pending CN112368745A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2018901690 2018-05-15
AU2018901690A AU2018901690A0 (en) 2018-05-15 Method and system of image reconstruction for magnetic resonance imaging
PCT/AU2019/050448 WO2019218001A1 (en) 2018-05-15 2019-05-14 Method and system of image reconstruction for magnetic resonance imaging

Publications (1)

Publication Number Publication Date
CN112368745A true CN112368745A (zh) 2021-02-12

Family

ID=68539117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043586.0A Pending CN112368745A (zh) 2018-05-15 2019-05-14 用于磁共振成像的图像重建的方法和系统

Country Status (4)

Country Link
US (1) US11954823B2 (zh)
CN (1) CN112368745A (zh)
AU (1) AU2019271411A1 (zh)
WO (1) WO2019218001A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023102782A1 (zh) * 2021-12-08 2023-06-15 深圳先进技术研究院 用于磁共振参数定量成像的重建方法、系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220075017A1 (en) * 2018-12-21 2022-03-10 Cornell University Machine learning for simultaneously optimizing an under-sampling pattern and a corresponding reconstruction model in compressive sensing
US11568584B2 (en) * 2019-08-26 2023-01-31 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for magnetic resonance imaging
CN113359076B (zh) * 2020-03-06 2022-09-27 上海联影医疗科技股份有限公司 磁共振成像方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100142789A1 (en) * 2008-12-05 2010-06-10 Siemens Corporation Method for correcting motion artifacts in magnetic resonance images
US20150160319A1 (en) * 2013-12-10 2015-06-11 Samsung Electronics Co., Ltd. Magnetic resonance imaging apparatus and control method thereof
US20160187446A1 (en) * 2014-12-29 2016-06-30 Kabushiki Kaisha Toshiba Magnetic Resonance Image Reconstruction for Undersampled Data Acquisitions
US20160292589A1 (en) * 2015-04-03 2016-10-06 The Mitre Corporation Ultra-high compression of images based on deep learning
WO2017113205A1 (zh) * 2015-12-30 2017-07-06 中国科学院深圳先进技术研究院 一种基于深度卷积神经网络的快速磁共振成像方法及装置
US20170309019A1 (en) * 2016-04-22 2017-10-26 New York University System, method and computer-accessible medium for learning an optimized variational network for medical image reconstruction
WO2018028615A1 (en) * 2016-08-12 2018-02-15 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256347B1 (en) * 1996-12-17 2001-07-03 Thomson Licensing S.A. Pixel block compression apparatus in an image processing system
US6269186B1 (en) * 1996-12-20 2001-07-31 Canon Kabushiki Kaisha Image processing apparatus and method
US8498480B2 (en) * 2009-02-25 2013-07-30 The United States Of America, As Represented By The Secretary Of The Navy Computationally efficient method for image segmentation with intensity and texture discrimination
US10607329B2 (en) * 2017-03-13 2020-03-31 Adobe Inc. Illumination estimation from a single image
EP3506160B1 (en) * 2017-12-28 2022-06-01 Dassault Systèmes Semantic segmentation of 2d floor plans with a pixel-wise classifier

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100142789A1 (en) * 2008-12-05 2010-06-10 Siemens Corporation Method for correcting motion artifacts in magnetic resonance images
US20150160319A1 (en) * 2013-12-10 2015-06-11 Samsung Electronics Co., Ltd. Magnetic resonance imaging apparatus and control method thereof
US20160187446A1 (en) * 2014-12-29 2016-06-30 Kabushiki Kaisha Toshiba Magnetic Resonance Image Reconstruction for Undersampled Data Acquisitions
US20160292589A1 (en) * 2015-04-03 2016-10-06 The Mitre Corporation Ultra-high compression of images based on deep learning
WO2017113205A1 (zh) * 2015-12-30 2017-07-06 中国科学院深圳先进技术研究院 一种基于深度卷积神经网络的快速磁共振成像方法及装置
US20170309019A1 (en) * 2016-04-22 2017-10-26 New York University System, method and computer-accessible medium for learning an optimized variational network for medical image reconstruction
WO2018028615A1 (en) * 2016-08-12 2018-02-15 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023102782A1 (zh) * 2021-12-08 2023-06-15 深圳先进技术研究院 用于磁共振参数定量成像的重建方法、系统

Also Published As

Publication number Publication date
US20210224952A1 (en) 2021-07-22
AU2019271411A1 (en) 2020-12-03
US11954823B2 (en) 2024-04-09
WO2019218001A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
US11842427B2 (en) Method and system of motion correction for magnetic resonance imaging
US10624558B2 (en) Protocol independent image processing with adversarial networks
US11954823B2 (en) Method and system of image reconstruction for magnetic resonance imaging
US11422217B2 (en) Progressive generative adversarial network in medical image reconstruction
US10489943B2 (en) System and method for sparse image reconstruction
US11341616B2 (en) Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
US9709650B2 (en) Method for calibration-free locally low-rank encouraging reconstruction of magnetic resonance images
US11346911B2 (en) Magnetic resonance fingerprinting image reconstruction and tissue parameter estimation
JP7383403B2 (ja) 磁気共鳴イメージング装置、方法及びプログラム
US11255943B2 (en) Motion determination for volumetric magnetic resonance imaging using a deep machine-learning model
Pawar et al. A deep learning framework for transforming image reconstruction into pixel classification
Tian et al. Improving in vivo human cerebral cortical surface reconstruction using data-driven super-resolution
US20200202999A1 (en) Data processing apparatus, magnetic resonance imaging apparatus and machine learning apparatus
Tavaf et al. GRAPPA-GANs for parallel MRI reconstruction
US11734817B2 (en) Medical information processing apparatus, magnetic resonance imaging apparatus, and medical information processing method
WO2023038910A1 (en) Dual-domain self-supervised learning for accelerated non-cartesian magnetic resonance imaging reconstruction
EP3916417A1 (en) Correction of magnetic resonance images using multiple magnetic resonance imaging system configurations
JP2021099794A (ja) ディープニューラルネットワークおよび測定データの再帰的間引きを使用して医用画像を再構築するためのシステムおよび方法
WO2018037868A1 (ja) 磁気共鳴イメージング装置および画像再構成方法
US20240036138A1 (en) Multichannel deep learning reconstruction of multiple repetitions
US20230221388A1 (en) Magnetic resonance imaging apparatus, image reconstruction apparatus, and image reconstruction method
US20240037817A1 (en) Iterative hierarchal network for regulating medical image reconstruction
US20240077561A1 (en) Noise adaptive data consistency in deep learning image reconstruction via norm ball projection
US20220165002A1 (en) Iterative hierarchal network for regulating medical image reconstruction
CN118071849A (zh) 磁共振图像重建装置及磁共振图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination