CN113269849A - 重建磁共振的方法和设备 - Google Patents

重建磁共振的方法和设备 Download PDF

Info

Publication number
CN113269849A
CN113269849A CN202110587341.3A CN202110587341A CN113269849A CN 113269849 A CN113269849 A CN 113269849A CN 202110587341 A CN202110587341 A CN 202110587341A CN 113269849 A CN113269849 A CN 113269849A
Authority
CN
China
Prior art keywords
mri data
data
mri
reconstructed
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110587341.3A
Other languages
English (en)
Inventor
陈章
孙善辉
陈潇
陈德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN113269849A publication Critical patent/CN113269849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供了一种重建磁共振的方法和设备。设备访问MRI数据的训练集以进行训练。训练集可以包括成对的全采样数据或不成对的全采样数据。在MRI数据优化模块中优化欠采样MRI数据以生成重建的MRI数据。设备使用训练集和重建的MRI数据来构建鉴别模型。在推断期间,固定鉴别模型的参数,并且使用鉴别模型来将MRI数据优化模型的输出分类为重建的MRI图像。

Description

重建磁共振的方法和设备
技术领域
本公开的方面总体涉及图像重建,更具体地涉及基于机器学习网络的磁共振成像(MRI)数据重建。
背景技术
磁共振成像(MRI)是具有非侵入性和非电离辐射性质的主要诊断成像模式之一。然而,相对低的成像速度可能限制MRI的临床应用。MRI装置的物理限制和长的数据采集过程可能导致慢的图像采集过程,这增加了成本,恶化了患者体验,并且可能阻碍MRI在时间敏感检查中的应用。
图像重建是MRI临床应用中的关键步骤。典型地,为了加速图像采集时间,在数据采集期间通过随机采样仅部分地获得k空间数据。不是采集全部数据,而是减少要填充到k空间中的行的数量。这种部分采集的数据通常被称为“欠采样”的k空间数据或“欠采样”。然而,欠采样的k空间数据可能导致问题,例如混叠伪影,这劣化图像质量并且禁止在临床诊断中使用。因此,以快速方式从欠采样数据恢复全采样图像对于MRI图像重建是重要的。
基于压缩感知(CS)的方法已经应用于临床实践中的MRI重建,以从高度欠采样的测量结果重建数据。在深度学习中,压缩感知方法的正则化函数可以由神经网络代替并且从数据学习。然而,该优化在神经网络的参数空间而不是图像空间中执行,并且在给定我们观察到的部分图像数据的情况下,无法唯一地恢复全采样的图像。
因此,将期望能够提供一种解决至少一些上述问题的MRI图像重建过程。
发明内容
所公开的实施例的方面涉及一种被配置为通过直接优化图像来重建MRI图像的设备。该目的通过独立权利要求的主题来解决。在从属权利要求中可以发现进一步的有利修改。
根据第一方面,通过一种设备获得上述和另外的目的和优点。在一个实施例中,设备被配置为重建磁共振成像(MRI)图像。设备包括处理器和存储器,该存储器存储可执行指令。可执行指令响应于由处理器执行而使设备访问MRI数据的训练集和重建的MRI数据,并且使用MRI数据的训练集和重建的MRI数据来构建鉴别模型。鉴别模型被训练以在全采样MRI数据与优化或重建的MRI数据之间进行区分。该优化可以在图像域中或k空间中。在推断期间,鉴别模型将优化的MRI数据分类为重建的MRI图像或全采样的MRI数据。所公开的实施例的方面被配置为直接更新优化或重建的MRI数据,并且训练鉴别器,使得重建的MRI数据不能与全采样的MRI数据区分开。
在设备的可能实施形态中,MRI数据优化模型被配置为优化欠采样MRI数据以生成重建的MRI图像或全采样的MRI数据。
在设备的可能实施形态中,MRI数据的训练集包括成对的全采样MRI数据或不成对的MRI数据。
在可能的实施形态中,MRI数据可以是两种形态:图像和k空间。该优化可以在图像域中或k空间域中。可以优化k空间和/或鉴别器可以对k空间是降采还是全采样k空间进行分类。
在设备的可能实施形态中,设备还被配置为从MRI设备接收欠采样MRI数据,在MRI数据优化模型中优化欠采样MRI数据的参数,并且生成重建的MRI数据。
在设备的可能实施形态中,在训练期间,全采样的MRI数据和重建的MRI数据将被送入或输入到鉴别器中。鉴别器将把输入的MRI数据分类为重建的MRI数据或全采样的MRI数据。所公开的实施例的方面被配置为更新重建的MRI数据,并且训练鉴别器,使得重建的MRI数据不能与全采样的MRI数据区分开。在该分类任务中有两个类:重建图像类与全采样图像类。如果鉴别器将重建的MRI数据正确地分类为重建的MRI数据,则这指示更新的或重建的MRI数据不够好,需要改进。如果鉴别器将重建的MRI数据错误地分类为全采样的MRI数据,这是期望的结果,则这指示更新的MRI数据足够好。最终目标是使系统生成鉴别器将分类为全采样MRI数据的重建MRI数据。
在设备的可能实施形态中,在训练期间,全采样的MRI数据和重建的MRI数据将被送入鉴别器中。鉴别器将被优化以准确地分类全采样的MRI数据和重建的MRI数据。全采样的MRI数据被定义为具有大概率的类,并且重建的MRI数据是具有小概率的类。例如,如果全采样的MRI数据被定义为正类,并且重建的MRI数据被定义为负类,则来自鉴别器的大概率指示MRI数据很可能是全采样的MRI数据。小的概率指示MRI数据不大可能是全采样的MRI数据,而是很可能是重建的MRI数据。
在设备的可能实施形态中,在训练期间,将直接优化欠采样的MRI数据,以便“欺骗”鉴别器,使得鉴别器不能将重建的MRI数据分类或与全采样的MRI数据区分开。
在设备的可能实施形态中,通过改变图像或k空间中的值来直接优化欠采样的MRI数据。
在设备的可能实施形态中,在训练期间,鉴别器将学习全采样的MRI数据的先验分布,并为MRI数据域优化提供指导。在训练之后,鉴别器不能将重建的MRI数据与全采样的MRI数据区分开。这样,重建的MRI数据在全采样的MRI数据的分布中。
在设备的可能实施形态中,在训练期间,可以通过最小化具有某一测量操作的重建MRI数据与所观察的k空间之间的距离来实施数据保真度或一致性。该距离可以被定义为L2、L1或一些其它距离度量。
在设备的可能实施形态中,在训练期间,全采样的MRI数据与欠采样的MRI数据配对。
在设备的可能实施形态中,在训练期间,全采样的MRI数据不与欠采样的MRI数据配对。模型可以以半监督的方式来训练。
在设备的可能实施形态中,使用DICOM图像来训练鉴别器。
在设备的可能实施形态中,在训练期间,初始重建MRI数据可以是欠采样MRI数据、具有随机值的图像或具有零值的空白图像。
在设备的可能实施形态中,在训练期间,以交替方式执行MRI数据优化和鉴别器优化。
在设备的可能实施形态中,在推断期间,固定训练过的鉴别器。没有参数更新。
在设备的可能实施形态中,在推断期间,优化初始重建MRI数据,使得用于数据保真度(数据一致性)的距离最小化,并且来自鉴别器的概率最大化。全采样的MRI数据是具有大概率的类。
在设备的可能实施形态中,在推断期间,初始重建MRI数据可以是欠采样MRI数据、具有随机值的图像或具有零值的空白图像。这里的“初始”意味着它是MRI数据优化算法的起始点。在一个实施例中,初始重建MRI数据可以是来自某一其它重建算法的输出。例如,一些重建算法非常快,但是重建的MRI数据的质量不是非常好。来自这种算法的输出可以用作初始起始点,并且被送入所公开的实施例的算法中。这样,所公开实施例的算法可以从相当好的MRI数据开始执行MRI数据优化,这可以节省或减少重建时间。
根据第二方面,通过一种方法获得上述和另外的目的和优点。在一个实施例中,方法包括:访问MRI数据的训练集和重建的MRI数据;使用MRI数据的训练集来构建鉴别模型;训练鉴别模型以在全采样的MRI数据与重建的MRI数据之间进行区分;以及部署鉴别模型,以将来自通过MRI数据优化模型优化的欠采样MRI数据的重建MRI数据分类为重建的MRI图像。
在方法的可能实施形态中,MRI数据优化模型被配置为优化欠采样MRI数据以生成重建的MRI图像或全采样的MRI数据。
在方法的可能实施形态中,MRI数据的训练集包括成对的全采样MRI数据或不成对的MRI数据。
在方法的可能实施形态中,从MRI设备接收欠采样MRI数据。优化欠采样MRI数据的参数,并且生成重建的MRI数据。然后将重建的MRI数据送到鉴别器以便分类。
在方法的可能实施形态中,在训练期间,全采样的MRI数据和重建的MRI数据将被送入鉴别器中。鉴别器将把输入的MRI数据分类为重建的MRI数据或全采样的MRI数据。
在方法的可能实施形态中,在训练期间,全采样的MRI数据和重建的MRI数据将被送入鉴别器中。鉴别器将被优化以准确地分类全采样的MRI数据和重建的MRI数据。全采样的MRI数据被定义为具有大概率的类,并且重建的MRI数据被定义为具有小概率的类。
在方法的可能实施形态中,在训练期间,将直接优化欠采样的MRI数据,以便欺骗鉴别器,使得鉴别器不能将重建的MRI数据分类或与全采样的MRI数据区分开。
在方法的可能实施形态中,通过改变欠采样图像或k空间中的值来直接优化欠采样的MRI数据。
在方法的可能实施形态中,在训练期间,鉴别器将学习全采样的MRI数据的先验分布,并为MRI数据域优化提供指导。在训练之后,鉴别器不能将重建的MRI数据与全采样的MRI数据区分开。这样,重建的MRI数据在全采样的MRI数据的分布中。
在方法的可能实施形态中,在训练期间,可以通过最小化具有某一测量操作的重建MRI数据与所观察的k空间之间的距离来实施数据保真度或一致性。该距离可以被定义为L2、L1或一些其它距离度量。
在方法的可能实施形态中,在训练期间,全采样的MRI数据与欠采样的MRI数据配对。
在方法的可能实施形态中,在训练期间,全采样的MRI数据不与欠采样的MRI数据配对。模型可以以半监督的方式来训练。
在方法的可能实施形态中,使用DICOM图像来训练鉴别器。
在方法的可能实施形态中,在训练期间,初始重建MRI数据可以是欠采样MRI数据、具有随机值的MRI数据或具有零值的空白图像。
在方法的可能实施形态中,在训练期间,以交替方式执行MRI数据优化和鉴别器优化。
在方法的可能实施形态中,在推断期间,固定训练过的鉴别器。没有参数更新。
在方法的可能实施形态中,在推断期间,优化初始重建MRI数据,使得用于数据保真度(数据一致性)的距离最小化,并且来自鉴别器的概率最大化。全采样的MRI数据是具有大概率的类。
在方法的可能实施形态中,在推断期间,初始重建MRI数据可以是欠采样MRI数据、具有随机值的MRI数据或具有零值的空白图像。
根据第三方面,通过一种设备获得上述和另外的目的和优点。该设备被配置为提供来自欠采样MRI数据的重建的MRI数据。设备访问MRI数据的训练集。MRI数据的训练集包括成对的全采样MRI数据或不成对的DICOM图像。设备被配置为使用训练集来构建鉴别模型,并且训练鉴别模型,使得鉴别模型可以将从欠采样MRI数据重建的MRI数据分类为真或假。欠采样MRI数据在由训练过的鉴别器进行分析之前在MRI数据优化模型中进行优化。在机器学习系统中,鉴别模型可以是一个神经网络,而MRI数据优化模型可以是另一个神经网络。
根据第四方面,所公开的实施例涉及一种用于提供来自欠采样MRI数据的重建MRI数据的设备。该设备包括处理器和存储可执行指令的存储器,这些可执行指令响应于由处理器执行而使得该设备至少执行任何前述示例性实施方式或任何前述示例性实施方式的任何组合的方法。
根据第五方面,通过一种计算机程序产品获得上述和另外的目的和优点。在一个实施例中,计算机程序产品包括上面存储有程序指令或计算机可读程序代码的非瞬时性计算机可读介质,当由处理器执行时,程序指令或计算机可读程序代码使得设备至少执行根据本文所述的任何一种可能的实施形态或其任何组合的方法。
从结合附图考虑的本文所述的实施例,示例性实施例的这些和其它方面、实施形态以及优点将变得显而易见。然而,应当理解,说明书和附图仅被设计用于例示的目的,而不是作为对所公开发明的限制的定义,对所公开发明的限制应当参考所附权利要求。本发明的另外方面和优点将在以下描述中阐述,并且部分地将从描述显而易见,或者可以通过本发明的实践来了解。而且,本发明的方面和优点可以通过在所附权利要求中特别指出的装置和组合来实现和获得。
附图说明
在本公开的以下详细部分中,将参见附图所示的示例实施例更详细地说明本发明,附图中:
图1例示了并入有所公开实施例的方面及其组合的用于MRI图像重建的示例性设备;
图2例示了并入有所公开实施例的方面及其组合的示例性鉴别模型训练网络;
图3例示了并入有所公开实施例的方面及其组合的示例性训练过的鉴别器;
图4是例示了并入有所公开实施例的方面及其组合的MRI数据重建过程流程的示例性流程图;以及
图5例示了并入有所公开实施例的方面及其组合的示例性设备。
具体实施方式
参见图1,例示了并入有所公开实施例的方面的示例性系统或设备100的示意框图。图1的设备100,也可以称为装置,通常被配置为从欠采样的MRI输入数据104生成重建的磁共振图像(MRI)数据110。本文使用的术语“欠采样”通常指代MRI图像的部分采集的k空间数据。所公开的实施例的设备100被配置为优化重建的MRI数据110以表示全采样的数据。设备100通常包括深度学习框架,其被配置为直接优化欠采样输入MRI数据104的参数,同时还维持数据一致性。
在一个实施例中,也参见图5,设备100可以包括至少一个处理器502和存储器504。处理器502被配置为执行机器可读指令,这些机器可读指令将使处理器502访问MRI数据的训练集。在一个实施例中,MRI数据的训练集是全采样的MRI数据。设备100将使用图像数据的训练集来构建鉴别模型108。鉴别模型108将被配置为在全采样的MRI数据与优化的MRI数据之间进行区分。在推断期间,鉴别模型108将用于对来自MRI数据优化模型106的输出的重建或优化的MRI数据107进行分类,该MRI数据优化模型在本文中也被称为图像优化模型。虽然本文通常提及“图像优化”和“MRI数据优化”,但是所公开实施例的方面不限于此。本文所述的优化可以在图像域中或在k空间域中。
所公开的实施例的方面被配置为更新重建的MRI数据107,并且训练鉴别模型108,使得重建的MRI数据107不能与全采样的MRI数据区分开。在该分类任务中有两个类:重建MRI数据类和全采样MRI数据类。如果鉴别模型108将重建的MRI数据107正确地分类为“重建的MRI数据”,则这指示更新的或重建的MRI数据107不够好,需要改进。如果鉴别模型108将重建的MRI数据107错误地分类为“全采样的MRI数据”,这是期望的结果,则这指示重建的MRI数据107已经被充分优化以表示全采样的MRI数据。所公开实施例的方面被配置为使设备100生成鉴别模型108将其分类为“全采样MRI数据”或“全采样图像”的重建MRI数据107。
如图1例示,在一个实施例中,设备100被配置为从诸如放射成像装置102的域接收输入MRI数据或图像数据104。为了本文示例的目的,放射成像装置102将被称为MRI设备或装置,如一般理解的。
在图1的示例中,来自MRI设备102的MRI数据104是欠采样MRI数据或欠采样图像数据。欠采样MRI数据通常表示在MRI数据采集过程期间通过随机采样获得的k空间数据。
MRI数据可以是两种形态:图像和k空间。所公开实施例的方面可以扩展到k空间,并且优化可以在图像域中和k空间域中。例如,可以优化k空间和/或鉴别器可以对k空间是降采还是全采样k空间进行分类。
在替代实施例中,输入MRI数据104可以是来自另一图像重建算法的输出。例如,一些重建算法非常快,但是重建的MRI数据和图像的质量不是非常好。来自这种算法的输出可以用作初始起始点或初始输入MRI数据104,并且被送入所公开实施例的机器学习设备100中。这样,所公开实施例的设备100和算法可以从相当好的输入MRI数据104开始执行MRI数据优化,这可以节省或减少重建时间。
目前,有两种类型的用于MRI数据重建的算法,一种类型用于优化模型参数,一种类型用于优化图像本身。从优化的角度来看,如果优化空间非常大,则由于搜索空间太大而经常难以找到最优值。优化空间指代例如模型中需要优化的参数的数量或图像中需要优化的像素值的数量。所公开实施例的方面被配置为改变图像或k空间中的值。模型中的参数的数量可以小于图像中的像素值的数量,这将意味着优化模型参数相对于优化图像可以更容易。然而,由于深度学习模型经常具有数亿个参数,因此优化深度学习模型在时间和资源方面可能是更困难的任务。
模型参数优化方法的一个缺点是模型可能对输出施加约束,因为由模型生成的输出取决于模型结构和参数。由于这种约束,模型不能生成某些图像。换言之,在模型可以生成多少幅不同图像方面的模型灵活性与搜索空间之间存在折衷。如果模型太灵活,则可能更难以优化。
在一个实施例中,使用鉴别模型108作为指导来直接优化输入MRI数据104。这与更新优化模型的参数的其它优化模型不同。通过直接优化输入MRI数据104,具有更大的灵活性。例如,输入图像104的每个像素值都可以改变,并且可以生成任何图像。通过使用鉴别模型108作为指导来对优化的MRI数据107进行分类,输入MRI数据优化在时间和资源方面应当变得相对更容易。
在一个实施例中,可以使用优化算法或模型106来直接改变输入图像104的值。例如,输入MRI数据104的值包括可以被优化的值或参数。优化模型被配置为更新输入MRI数据104中的值。在一个实施例中,优化模型或算法可以包括梯度下降优化算法,其将用于更新输入MRI数据104的参数。在替代实施例中,除了包括梯度下降之外,可以使用任何适当的优化算法来更新或优化输入MRI数据104的参数。在优化的某些迭代之后,输入MRI数据104变成优化的MRI数据或图像107,也称为重建的MRI数据或图像107。
图2例示了根据各种示例实施方式的用于训练鉴别模型208的神经网络200的示例。神经网络200可以由图1的机器学习模块101构建和训练,在训练过程开始时,网络200可以基于来自诸如均匀分布或高斯分布的已知概率分布的一个或多个随机输入206a来生成重建的MRI数据204。在一个实施例中,鉴别模型208可以替代地通过切换部件(未示出)从MRI数据优化模块206b接收成对或不成对的全采样MRI数据202的样本和重建或优化的MRI数据204的样本。
在一个实施例中,全采样的MRI数据的训练集202可以从感兴趣的数据分布中生成。例如,如果我们知道要检索的MRI数据或图像X是心脏图像,则全采样的MRI数据202可以仅包括心脏MRI数据或图像。在接收样本之后,鉴别模型208可以确定该样本是全采样MRI数据202还是重建MRI数据204的样本。
在推断期间,参见图3,固定鉴别模型308的值或参数,该鉴别模型关于图1的示例也可以被称为“训练过的鉴别器”。不存在对鉴别模型308的参数的进一步更新。另外,在该示例中,输入MRI数据304被优化为使得维持数据保真度的距离,并且最大化来自鉴别模型308的概率。
例如,在一个实施例中,在训练期间,参见图2,可以通过最小化具有相同测量操作的重建MRI数据204与所观察的k空间之间的距离来实施数据保真度或数据一致性。该距离可以被定义为L2、L1或其它距离度量。如前所述,全采样的MRI数据被定义为具有最大概率的类。在该示例中,鉴别模型208将被优化以准确地分类全采样的MRI数据和重建的MRI数据。全采样的MRI数据202被定义为具有大概率的类,并且重建的MRI数据204被定义为具有小概率的类。
例如,如果全采样的MRI数据被定义为正类,并且重建的MRI数据被定义为负类,则来自鉴别器的大概率指示MRI数据很可能是全采样的MRI数据。小的概率指示MRI数据不大可能是全采样的MRI数据,而是很可能是重建的MRI数据。
再次参见图2,优化模型的正则化部件可以由神经网络200的鉴别模型208来满足。在该示例中,鉴别模型208被配置为对重建的MRI数据204是全采样的MRI数据还是欠采样的MRI数据进行分类。
例如,在鉴别模型208的训练期间,训练集202的训练数据将被送到鉴别模型208。在一个实施例中,训练集202可以包括成对的全采样MRI数据。鉴别模型208还将接收重建的MRI数据204。在该示例中,重建的MRI数据204是初始MRI数据206a。初始MRI数据206a利用MRI数据优化算法或模型206b进行优化。
在一个实施例中,初始MRI数据206a可以包括欠采样MRI数据、具有随机值的MRI数据或具有零值的空白图像。由于图像大小是已知的,因此可以创建具有相同大小的数据矩阵。数据矩阵可以用零或随机值填充。
在图2的示例中,鉴别模型208将被训练或优化以准确地分类全采样的MRI数据204和重建的MRI数据206。在训练期间,欠采样输入MRI数据206a将如关于图1所例示和描述的那样被直接优化,使得图2的鉴别模型208不能区分或分类重建的MRI数据204与全采样的MRI数据202。
在一个实施例中,在训练期间,鉴别模型208将学习全采样的MRI数据202的先验分布,并且将通过MRI数据优化模型206b为输入MRI数据206a的MRI数据域优化提供指导。这样,在训练之后,鉴别模型108不能将图1的重建或优化的MRI数据107与全采样的MRI数据区分开。期望两个图像或k空间形态的MRI数据具有相同或至少类似的分布。整个分布,而不是分布的一部分,应该是类似的。
如图2例示,在训练期间,全采样的MRI数据202不需要与欠采样的MRI数据204配对。在该示例中,鉴别模型208可以使用成对数据或不成对的数据来训练。如通常理解的,成对数据包括来自相同受试者的欠采样数据和全采样数据。如通常理解的,不成对的数据可以包括欠采样数据和全采样数据,但是来自不同的受试者。
例如,在一个实施例中,参见图2,训练数据集202中的不成对的数据可包括医学数字成像和通信(DICOM)图像或DICOM图像数据。在医学领域中,可能难以获得也被称为金标准数据的成对的全采样MRI数据。然而,存在大量DICOM图像的可用性,这些图像可以是全采样图像或重建图像。训练集202中的DICOM图像不需要与图2的示例中的欠采样数据206a配对。该不成对的数据可以用于训练图2所示的鉴别模型208,该鉴别模型将分别被用作图1和图3的训练过的鉴别模型108、308。
虽然本文提及DICOM图像数据,但是所公开实施例的方面不限于此。在替代实施例中,用于训练的MRI和图像数据的源可以是任何适当的源,并且可以包括任何适当形态的MRI数据。由此,至少不成对的数据和全采样的MRI数据可以是来自源并且为除了包括DICOM之外的形态的MRI数据。
通过使用不成对的数据,可以以半监督的方式训练图2所例示的鉴别模型208。图2所示的鉴别模型208的训练类似于在规则生成对抗网络(GAN)训练期间训练鉴别器。然而,根据所公开实施例的鉴别模型208的训练期间的损失函数将是不同的。
例如,当使用不成对的数据来训练图2的鉴别模型208时,图2中的训练数据集202的全采样MRI数据不是重建MRI数据204的对。然而,优化的MRI数据204的分布可以被实施为接近全采样MRI数据202的分布。期望优化输入MRI数据104,并且在优化期间,输入MRI数据104的分布将变化。重建的MRI数据204的最终分布应当接近来自训练数据集202的全采样MRI数据的分布。
在一个实施例中,这可以通过例如“最优传输理论”来实现,该理论通常称为沃瑟斯坦(Wasserstein)距离或度量,在沃瑟斯坦GAN(WGAN)中首次提出。该距离将测量两个分布的相似性,其中,“分布”指代一组图像。沃瑟斯坦距离测量两组图像之间的相似性,并且是在给定度量空间上的概率分布之间定义的数学距离函数,以测量训练集中的图像数据的分布与优化的图像数据的对应分布之间的差异,直到达到纳什(Nash)均衡。使用沃瑟斯坦距离来训练图2的鉴别模型208可以提高收敛到纳什均衡的速度和图1所例示的机器学习网络101的鲁棒性。
在一个实施例中,也参见图2,在训练期间,可以以替代方式执行由MRI数据优化模型206b对输入MRI数据104的优化和对鉴别模型208的优化。例如,在一个实施例中,可以对鉴别模型208进行几次迭代训练。然后,可以对输入MRI数据优化模型206b进行几次迭代优化。可以重复鉴别模型208的训练和由图2的输入MRI数据优化模型206b对输入MRI数据104的优化,直到损失值最小化为止,这意味着重建的MRI数据204是好的,或者不可与全采样的MRI数据202区分。由此可见,鉴别模型208将把重建的MRI数据204分类210为真而不是假。一旦被训练,鉴别模型208就将参考训练过的鉴别模型108和308在推断中实施,如图1和图3例示。
所公开实施例的方面被配置为提供重建数据与观察数据之间的数据一致性。为了本文描述的目的,观察数据是部分采样的k空间数据。重建的k空间数据需要在那些采样位置处尽可能接近所观察的k空间。
数据一致性可以以几种方式实施。在一个实施例中,可以在训练期间添加损失函数,以确保重建的k空间数据与观察数据一致。数据一致性也可作为网络结构的一部分来实施。在该实施例中,参见图1,“数据一致性层”或模块109被添加到设备10的机器学习模块或网络100中。数据一致性层109用观察数据替换来自前一层的重建结果。在替换之后,重建的结果与观察数据一致。
参见图3,在推断期间,固定训练过的鉴别模型308的参数。不存在对训练过的鉴别器308的参数更新。图3的初始重建MRI数据304被优化为使得数据保真度的距离被最小化,并且来自鉴别模型308的概率被最大化,因为全采样的MRI数据被定义为具有大概率的类。
图4是例示了在从欠采样MRI数据生成重建MRI数据的方法400中的各种操作的流程图。如方框402所示,方法包括访问训练数据。在该示例中,训练数据可以包括MRI数据的训练集的全采样MRI数据,该训练集诸如为参见图2的训练集202。在一个实施例中,训练集包括一个或多个成对的全采样MRI数据或DICOM图像。该示例中的训练数据还将包括重建的MRI数据,诸如图2的重建的MRI数据204。重建的MRI数据通常包括使用诸如关于图2所例示和描述的MRI数据优化算法来优化或更新的欠采样MRI数据。
在方框404处,根据训练数据集构建鉴别模型。该示例中的鉴别模型,诸如图2的鉴别模型208,被训练并被配置为将重建的MRI数据分类为全采样MRI数据或欠采样MRI数据。
在方框406处,部署训练过的鉴别模型以在推断期间使用。关于图1和图3例示了示例。
在方框408处,在推断期间,从MRI设备接收欠采样图像或在采样期间部分获得的k空间数据。使用MRI数据优化模型来优化欠采样MRI数据,如图1和图3中的示例所示。优化重建MRI数据,使得用于数据保真度(数据一致性)的距离最小化,并且来自鉴别器的概率最大化。
在方框410处,鉴别器对优化的MRI数据是重建的MRI数据还是全采样的MRI数据进行分类。
根据本公开的示例实施方式,设备100及其包括机器学习模块101、MRI数据优化模块106和训练过的鉴别模型108的子系统可以通过各种装置来实施。用于实施设备100及其子系统的装置可以包括单独的硬件或在来自计算机可读存储介质的一个或多个计算机程序的指导下的硬件。在一些示例中,一个或多个设备可以被配置为用作或以其他方式实施本文示出和描述的系统及其子系统。在涉及多于一个设备的示例中,相应设备可以以多种不同方式彼此连接或以其他方式通信,诸如直接或间接地经由有线或无线网络等。
图5例示了可以用于实施所公开实施例的方面或其组合的设备500。通常,示例性实施方式的设备500可以包括、包含或被具体实施在一个或多个固定或便携式电子装置中。合适的电子装置的示例包括智能电话、平板计算机、膝上型计算机、台式计算机、工作站计算机、服务器计算机等。设备500可以包括多个部件中的每一个的一个或多个,部件例如是连接到存储器或储存装置504的处理器或处理电路502。在一些示例中,设备500实施图1的设备100或其部件。
处理器502可以由一个或多个处理器单独或者与一个或多个存储器504组合组成。处理器502通常是被配置为处理例如数据、计算机程序和/或其它合适的电子信息的信息的任何计算机硬件。处理器502可以包括电子电路的集合,其中一些可以被封装为集成电路或多个互连的集成电路,也称为芯片。处理器502可以被配置为执行计算机程序或其他机器可读指令,其可以存储在处理器上或以其他方式存储在存储器504中。
处理器502可以是多个处理器、多核处理器或某一其它类型的处理器,这取决于特定的实施方式。进一步地,处理器502可以使用多个处理器系统来实施,其中,主处理器与一个或多个辅助处理器一起存在于单个芯片上。作为另一个例示性示例,处理器502可以是包含相同类型的多个处理器的对称多处理器系统。在又一示例中,处理器502可以被具体实施为或以其他方式包括一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。由此,虽然处理器502能够执行计算机程序以执行一个或多个功能,但是处理器502能够在没有计算机程序的辅助的情况下执行一个或多个功能。在任一情况下,处理器502可以被适当地编程以执行根据所公开实施例的方面的功能或操作。
存储器504通常是能够临时和/或永久地存储例如数据、计算机程序、计算机可读程序代码506和/或其它适当信息的任何计算机硬件。存储器504可以包括易失性和/或非易失性存储器,并且可以是固定的或可移动的。合适的存储器的示例包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、闪存、拇指驱动器、可移动计算机磁盘、光盘、磁带或以上的某种组合。光盘可以包括光盘只读存储器(CD-ROM)、光盘读/写器(CD-R/W)、DVD等。
在各种情况下,存储器504可以被称为计算机可读存储介质。计算机可读存储介质是能够存储信息的非瞬时性装置,并且可与诸如能够将信息从一个位置携带到另一个位置的电子瞬时性信号的计算机可读传输介质区分开。如本文所述的计算机可读介质通常可以指代计算机可读存储介质或计算机可读传输介质。
除了存储器504之外,处理器502还可以连接到用于显示、发送和/或接收信息的一个或多个接口。接口可以包括但不限于通信接口508、用户接口510和显示器512。虽然用户接口510和显示器512被示出为单独的部件,但是所公开实施例的方面不限于此。在一个实施例中,用户接口510和显示器512可以包括单个装置。
通信接口508可以被配置为向和/或从其他设备、网络等发送和/或接收信息。通信接口508可以被配置为通过物理(有线)和/或无线通信链路来发送和/或接收信息。合适的通信接口508的示例包括网络接口控制器(NIC)、无线NIC(WNIC)等。
用户接口510可以包括一个或多个用户输入装置。显示器512可以被配置为向用户呈现或以其他方式显示信息,其合适的示例包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子体显示面板(PDP)等。用户输入接口510和显示器512可以是有线的或无线的,并且可以被配置为从用户接收信息到设备中,诸如用于处理、存储和/或显示。用户输入接口510的合适示例包括麦克风、图像或视频捕获装置、键盘或小键盘、操纵杆、触敏表面(与触摸屏分离或集成到触摸屏中)、生物传感器等。用户接口还可以包括一个或多个接口,其用于与诸如打印机、扫描仪等外围设备通信。
如上所述,程序代码指令506可以存储在存储器504中,并且由从而编程的处理器502执行,以实施本文所述的系统、子系统、工具及其相应元件的功能。如将理解的,任何合适的程序代码指令可以从计算机可读存储介质加载到计算机或其它可编程设备上以产生特定机器,使得该特定机器成为用于实施本文指定的功能的装置。这些程序代码指令还可以存储在计算机可读存储介质中,可以引导计算机、处理器或其他可编程设备以特定方式运行,从而生成特定机器或特定制品。存储在计算机可读存储介质中的指令可以产生制品,其中,该制品成为用于实施本文所述的功能的装置。程序代码指令可以从计算机可读存储介质中检索,并且加载到计算机、处理器或其他可编程设备中,以配置计算机、处理器或其他可编程设备来执行要在计算机、处理器或其他可编程设备上执行或由其执行的操作。
由此,虽然已经示出、描述并指出了应用于本发明的示例性实施例的本发明的基本新颖特征,但是应当理解,本领域技术人员可以在所例示装置和方法的形式和细节以及它们的操作方面进行各种省略、替换和改变,而不脱离当前公开的发明的精神和范围。进一步地,明确预期的是以基本上相同的方式执行基本上相同的功能以实现相同结果的那些元件的所有组合都在本发明的范围内。而且,应当认识到,结合本发明的任何公开形式或实施例示出和/或描述的结构和/或元件可以作为设计选择的一般问题而并入任何其他公开或描述或建议的形式或实施例中。因此,本发明旨在仅由所附权利要求的范围指示的来限制。

Claims (10)

1.一种用于重建磁共振(MRI)图像的设备,所述设备包括处理器和存储可执行指令的存储器,这些可执行指令响应于由所述处理器执行而使所述设备:
访问MRI数据的训练集;
使用所述MRI数据的训练集来构建鉴别模型,所述鉴别模型被训练以在全采样MRI数据与优化的MRI数据之间进行区分;并且
在推断期间,使用所述鉴别模型来将来自MRI数据优化模型的输出的重建MRI数据分类为所述重建的MRI图像。
2.一种用于重建磁共振(MRI)图像的方法,所述方法包括:
访问MRI数据的训练集;
使用所述MRI数据的训练集来构建鉴别模型,所述鉴别模型被训练以在全采样MRI数据与优化的MRI数据之间进行区分;以及
在推断期间,使用所述鉴别模型来将来自MRI数据优化模型的输出的重建MRI数据分类为所述重建的MRI图像。
3.根据权利要求2所述的方法,还包括使用所述MRI数据优化模型来优化欠采样MRI数据并生成所述重建的MRI数据。
4.根据权利要求2所述的方法,其中,所述MRI数据的训练集包括成对的MRI数据或不成对的MRI数据。
5.根据权利要求2所述的方法,所述方法还包括:
从MRI设备接收欠采样MRI数据;
使用所述MRI数据优化模型来优化所述欠采样MRI数据的参数;以及
从所述欠采样MRI数据生成所述重建的MRI数据。
6.根据权利要求5所述的方法,其中,直接优化所述欠采样MRI数据,或,所述欠采样MRI数据通过使用神经网络改变图像数据或k空间中的值来直接优化。
7.根据权利要求2所述的方法,其中,在训练期间,交替地训练所述鉴别模型和所述MRI数据优化模型。
8.根据权利要求2所述的方法,其中,所述MRI数据包括MRI图像或MRI k空间数据。
9.根据权利要求2所述的方法,所述方法还包括在推断期间固定所述鉴别模型的参数。
10.根据权利要求2所述的方法,所述方法还包括使用欠采样MRI数据、具有随机值的MRI数据或具有零值的空白图像作为用于所述MRI数据优化模型的初始MRI数据。
CN202110587341.3A 2020-07-23 2021-05-27 重建磁共振的方法和设备 Pending CN113269849A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/936,571 US11460528B2 (en) 2020-07-23 2020-07-23 MRI reconstruction with image domain optimization
US16/936,571 2020-07-23

Publications (1)

Publication Number Publication Date
CN113269849A true CN113269849A (zh) 2021-08-17

Family

ID=77233367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110587341.3A Pending CN113269849A (zh) 2020-07-23 2021-05-27 重建磁共振的方法和设备

Country Status (2)

Country Link
US (1) US11460528B2 (zh)
CN (1) CN113269849A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333571A (zh) * 2023-10-25 2024-01-02 烟台大学 磁共振图像的重建方法、系统、设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220381861A1 (en) * 2021-05-19 2022-12-01 Siemens Healthcare Gmbh Method and system for accelerated acquisition and artifact reduction of undersampled mri using a deep learning based 3d generative adversarial network

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020134826A1 (zh) * 2018-12-24 2020-07-02 深圳先进技术研究院 磁共振并行成像方法及相关设备
CN111358430A (zh) * 2020-02-24 2020-07-03 深圳先进技术研究院 一种磁共振成像模型的训练方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734432B2 (en) * 2009-03-20 2017-08-15 Case Western Reserve University Reducing acquisition time
US11199602B2 (en) * 2019-08-29 2021-12-14 Shanghai United Imaging Intelligence Co., Ltd. Methods and devices for generating sampling masks related to imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020134826A1 (zh) * 2018-12-24 2020-07-02 深圳先进技术研究院 磁共振并行成像方法及相关设备
CN111358430A (zh) * 2020-02-24 2020-07-03 深圳先进技术研究院 一种磁共振成像模型的训练方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
葛永新;林梦然;洪明坚;: "联合局部和全局稀疏表示的磁共振图像重建方法", 重庆大学学报, vol. 40, no. 01, 31 January 2017 (2017-01-31), pages 93 - 102 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333571A (zh) * 2023-10-25 2024-01-02 烟台大学 磁共振图像的重建方法、系统、设备及介质
CN117333571B (zh) * 2023-10-25 2024-03-26 烟台大学 磁共振图像的重建方法、系统、设备及介质

Also Published As

Publication number Publication date
US11460528B2 (en) 2022-10-04
US20220026514A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
CN109102490B (zh) 自动图像注册质量评估
US11900594B2 (en) Methods and systems for displaying a region of interest of a medical image
KR102460257B1 (ko) 진단 결과를 제공하기 위한 방법 및 장치
US11087877B1 (en) Identifying anomalous brain data
KR102219890B1 (ko) 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
US20220343496A1 (en) Systems and methods for accurate and rapid positron emission tomography using deep learning
CN113269849A (zh) 重建磁共振的方法和设备
US11893659B2 (en) Domain adaption
US20210145389A1 (en) Standardizing breast density assessments
US20210319539A1 (en) Systems and methods for background aware reconstruction using deep learning
WO2021041125A1 (en) Systems and methods for accurate and rapid positron emission tomography using deep learning
US11666266B2 (en) Source localization of EEG signals
US20220122257A1 (en) Medical image processing apparatus and medical image processing system
DeGrave et al. Auditing the inference processes of medical-image classifiers by leveraging generative AI and the expertise of physicians
US20200400767A1 (en) Image enhancement with variable number of excitation (nex) acquisitions accelerated using compressed sensing
US20230122658A1 (en) Self-supervised joint image reconstruction and coil sensitivity calibration in parallel mri without ground truth
US20220172370A1 (en) Method for detecting white matter lesions based on medical image
US20230386032A1 (en) Lesion Detection and Segmentation
US11308615B1 (en) Systems and processes for improving medical diagnoses
WO2023108120A1 (en) Estimation of b-value in prostate magnetic resonance diffusion weighted images
US20220130065A1 (en) Method for analyzing thickness of cortical region
CN113052930A (zh) 一种胸部dr双能量数字减影图像生成方法
JP7350595B2 (ja) 画像処理装置、医用画像診断装置及び画像処理プログラム
US20230368393A1 (en) System and method for improving annotation accuracy in mri data using mr fingerprinting and deep learning
US20220237780A1 (en) Method for detecting serial section of medical image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination