JP2021532875A - 磁気共鳴画像再構成のための深層学習技術 - Google Patents

磁気共鳴画像再構成のための深層学習技術 Download PDF

Info

Publication number
JP2021532875A
JP2021532875A JP2021505224A JP2021505224A JP2021532875A JP 2021532875 A JP2021532875 A JP 2021532875A JP 2021505224 A JP2021505224 A JP 2021505224A JP 2021505224 A JP2021505224 A JP 2021505224A JP 2021532875 A JP2021532875 A JP 2021532875A
Authority
JP
Japan
Prior art keywords
neural network
data
spatial frequency
image
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021505224A
Other languages
English (en)
Inventor
ワン，ズイ
クンドゥ，プランティック
サコリック，ラウラ
ソフカ，マイケル
ロスバーグ，ジョナサン，エム．
シュレンパー，ジョウ
ラザルス，キャロル
ディヴォルネ，ハドリエン，エー．
オハローラン，ラファエル
モシェン，サレヒ，セイエド，サーデク
Original Assignee
ハイパーファイン，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハイパーファイン，インコーポレイテッド filed Critical ハイパーファイン，インコーポレイテッド
Publication of JP2021532875A publication Critical patent/JP2021532875A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4818—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
    • G01R33/4824—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space using a non-Cartesian trajectory
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G01R33/5611—Parallel magnetic resonance imaging, e.g. sensitivity encoding [SENSE], simultaneous acquisition of spatial harmonics [SMASH], unaliasing by Fourier encoding of the overlaps using the temporal dimension [UNFOLD], k-t-broad-use linear acquisition speed-up technique [k-t-BLAST], k-t-SENSE
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Algebra (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Discrete Mathematics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pathology (AREA)

Abstract

磁気共鳴イメージング（ＭＲＩ）システムであって、ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、コントローラであって、非デカルトサンプリングを用いてＭＲ空間周波数データを取得するように磁気システムを制御することと、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、前記取得されたＭＲ空間周波数データからＭＲ画像を生成することと、を行うように構成されているコントローラと、を含み、第１のニューラルネットワークブロックは、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、ＭＲＩシステム。

Description

本出願は、２０１８年７月３０日に出願された、米国仮出願第６２／７１１，８９５号、代理人整理番号Ｏ０３５４．７００２８ＵＳ００であって、「ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＭＡＧＮＥＴＩＣ ＲＥＳＯＮＡＮＣＥ ＩＭＡＧＥ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題するもの、２０１８年９月２７日に出願された、米国仮出願第６２／７３７，５２４号、代理人整理番号Ｏ０３５４．７００２８ＵＳ０１であって、「ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＭＡＧＮＥＴＩＣ ＲＥＳＯＮＡＮＣＥ ＩＭＡＧＥ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題するもの、２０１８年１０月１１日に出願された、米国仮出願第６２／７４４，５２９号、代理人整理番号Ｏ０３５４．７００２８ＵＳ０２であって、「ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＭＡＧＮＥＴＩＣ ＲＥＳＯＮＡＮＣＥ ＩＭＡＧＥ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題するもの、および２０１９年３月１８日に出願された、米国仮出願第６２／８２０，１１９号、代理人整理番号Ｏ０３５４．７００３９ＵＳ００であって、「ＥＮＤ−ＴＯ−ＥＮＤ ＬＥＡＲＮＡＢＬＥ ＭＲ ＩＭＡＧＥ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題するものに対して、３５ Ｕ．Ｓ．Ｃ． § １１９（ｅ）に基づく優先権を主張する。
磁気共鳴イメージング（ＭＲＩ）は、多くの用途に重要なイメージング診断法を提供し、人体の内部の画像を生成するために臨床および研究の現場で広く利用されている。ＭＲＩは、加えられた電磁界から生じる状態変化に応答して原子が放出する電磁波である磁気共鳴（ＭＲ）信号の検出に基づいている。例えば、核磁気共鳴（ＮＭＲ）技術は、画像化される対象物中の原子（例えば、人体の組織中の原子）の核スピンの再整列または緩和の際に、励起された原子の核から放出されるＭＲ信号を検出することを含む。検出されたＭＲ信号は、画像を生成するように処理されてもよく、これは、医学的用途の文脈において、診断、治療および／または研究目的のために、体内の内部構造および／または生物学的プロセスの調査を可能にする。
ＭＲＩは、他の診断法の安全上の懸念なしに（例えば、被験体をＸ線のような電離放射線に被曝させるか、または放射性物質を体内に導入する必要なしに）、比較的高い解像度とコントラストを有する非侵襲的な画像を生成することができるため、生物学的画像化のための魅力的な画像化診断法を提供する。追加的に、ＭＲＩは、軟部組織のコントラストを提供するのに特に適しており、他の画像診断法が十分に画像化できない主題を画像化するために利用することができる。さらに、ＭＲ技術は、他の診断法が獲得できない構造および／または生物学的プロセスに関する情報を捕捉することができる。しかし、従来のＭＲＩ技術には、所与の画像化用途について、機器の比較的高いコスト、利用可能性の制限（例えば、臨床ＭＲＩスキャナへのアクセスを獲得することの困難さおよび費用）、および画像取得プロセスの長さを含み得る多くの欠点がある。
画質を向上させるために、臨床および研究のＭＲＩにおける傾向は、走査時間、画像解像度、および画像コントラストの１つ以上の仕様を改善するためにＭＲＩスキャナの磁界強度を増加させているが、ＭＲＩイメージングのコストを押し上げてしまう。設置されたＭＲＩスキャナの大多数は、少なくとも１．５または３テスラ（Ｔ）で動作し、これは、スキャナの主磁界Ｂ０の磁界強度を表す。臨床のＭＲＩスキャナの概算コストは、１テスラあたり１００万ドルのオーダであり、これは、このようなＭＲＩスキャナを動作させる際に伴う実質的な動作、サービス、および保守のコストにおけるファクタさえも考慮していない。追加的に、従来の高磁界ＭＲＩシステムは、典型的には、被験体（例えば、患者）が画像化される強力で均一な静磁界（Ｂ０）を生成するために、大きな超伝導磁石および関連する電子機器を必要とする。超伝導磁石はさらに、導体を超伝導状態に保つために極低温機器を必要とする。このようなシステムのサイズは、ＭＲＩシステムの磁気構成要素を隔離するために特別にシールドされた部屋を含む、磁気構成要素、電子機器、温度管理システム、および制御コンソールエリアのための複数の部屋を含む、典型的なＭＲＩ装置デバイスではかなり大きい。ＭＲＩシステムのサイズとコストにより、一般に、それらを購入し維持するのに十分なスペースおよびリソースを有する病院や学術研究センターのような施設に使用が制限される。高磁界ＭＲＩシステムはコストが高く、十分なスペースを必要とするため、ＭＲＩスキャナの利用可能性が制限される。このように、ＭＲＩ走査は有益であるが、上述の制限や、以下にさらに説明されるように非実用的であるか、または不可能であるという臨床状況がたびたび存在する。
いくつかの実施形態は、ニューラルネットワークモデルを用いて入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することであって、ニューラルネットワークモデルは、空間周波数ドメインデータを処理するように構成されている第１のニューラルネットワークサブモデルと、画像ドメインデータを処理するように構成されている第２のニューラルネットワークサブモデルと、を含む、生成することを含む、方法に関する。
いくつかの実施形態は、少なくとも１つのコンピュータハードウェアプロセッサとプロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、プロセッサ実行可能命令は、少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、少なくとも１つのコンピュータハードウェアプロセッサに、ニューラルネットワークモデルを用いて磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、システムに関する。ニューラルネットワークモデルは、空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む。
いくつかの実施形態は、プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体であって、プロセッサ実行可能命令は、少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、少なくとも１つのコンピュータハードウェアプロセッサに、ニューラルネットワークモデルを用いて磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、非一時的コンピュータ可読記憶媒体に関する。ニューラルネットワークモデルは、空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む。
いくつかの実施形態は、空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを含む、方法に関する。
いくつかの実施形態は、少なくとも１つのプロセッサと、プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、プロセッサ実行可能命令は、実行されるときに、少なくとも１つのプロセッサに、空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、システムに関する。
プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体であって、プロセッサ実行可能命令は、実行されるときに、少なくとも１つのプロセッサに、空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、非一時的コンピュータ可読媒体。
いくつかの実施形態は、プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、プロセッサ実行可能命令は、少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、少なくとも１つのコンピュータハードウェアプロセッサに方法を実行させ、方法は、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データから磁気共鳴（ＭＲ）画像を生成することを含み、第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、非一時的コンピュータ可読記憶媒体を提供する。
いくつかの実施形態は、磁気共鳴イメージング（ＭＲＩ）システムであって、磁気システムであって、ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、コントローラであって、ＭＲ空間周波数データを取得するように磁気システムを制御することと、ニューラルネットワークモデルを用いてＭＲ空間周波数データからＭＲ画像を生成することであって、ニューラルネットワークモデルは、空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む、生成することと、を行うように構成されているコントローラと、を含む、ＭＲＩシステムを提供する。
いくつかの実施態様は、磁気共鳴イメージング（ＭＲＩ）システムであって、磁気システムであって、ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、コントローラであって、ＭＲ空間周波数データを取得するように磁気システムを制御することと、空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成することと、を行うように構成されているコントローラと、を含む、ＭＲＩシステムを提供する。
いくつかの実施形態は、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを含み、第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、方法を提供する。
いくつかの実施形態は、少なくとも１つのコンピュータハードウェアプロセッサと、プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、プロセッサ実行可能命令は、少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、少なくとも１つのコンピュータハードウェアプロセッサに方法を実行させ、方法は、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データから磁気共鳴（ＭＲ）画像を生成することを含み、第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、システムを提供する。
いくつかの実施形態は、磁気共鳴イメージング（ＭＲＩ）システムであって、磁気システムであって、ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、コントローラであって、非デカルトサンプリング軌道を用いてＭＲ空間周波数データを取得するように磁気システムを制御することと、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、取得されたＭＲ空間周波数データからＭＲ画像を生成することと、を行うように構成されているコントローラと、を含み、第１のニューラルネットワークブロックは、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、ＭＲＩシステムを提供する。
前述は、添付の特許請求の範囲によって定義される本発明の非限定的な概要である。
開示される技術の様々な態様および実施形態を、以下の図を参照して説明する。
図は必ずしも縮尺通りに描画されているわけではないと理解されたい。
本明細書で説明される技術のいくつかの実施形態に従って、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための例示のニューラルネットワークモデルのアーキテクチャを示す。 本明細書で説明される技術のいくつかの実施形態に従って、入力ＭＲ空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデルのアーキテクチャを示す。 本明細書で説明される技術のいくつかの実施形態に従って、入力ＭＲ空間周波数データからＭＲ画像を生成するためのさらに別の例示のニューラルネットワークモデルのアーキテクチャを示す。 本明細書で説明される技術のいくつかの実施形態に従って、ニューラルネットワークモデルを用いて入力ＭＲ空間周波数データからＭＲ画像を生成するための例示的なプロセス２００のフローチャートである。 本明細書で説明される技術のいくつかの実施形態に従って、例示的なプロセス２００の一部であり得る、空間周波数ドメインにおいてＭＲ空間周波数データを処理して、出力空間周波数データを得るための例示的なプロセスのフローチャートである。 本明細書で説明される技術のいくつかの実施形態に従って、例示的なプロセス２００の一部であり得る、空間周波数ドメインデータを処理して、ＭＲ画像を生成するための例示的なプロセスのフローチャートである。 本明細書で説明される技術のいくつかの実施形態に従って、例示的なプロセス２００の一部であり得る、画像ドメインデータを処理して、ＭＲ画像を生成するための別の例示的なプロセスのフローチャートである。 本明細書で説明される技術のいくつかの実施形態に従って、空間周波数ドメインにおいてデータを操作するための局所結合層を有するニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成するための本明細書で説明される技術の性能を示す。 本明細書で説明されるニューラルネットワークモデルの異なる実施形態を用いて、入力ＭＲ空間周波数データからＭＲ画像を生成するための本明細書で説明される技術の性能を示す。 本明細書で説明される技術のいくつかの実施形態に従って、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデルのアーキテクチャを示す。 本明細書で説明される技術のいくつかの実施形態に従って、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデルのアーキテクチャを示す。 本明細書で説明される技術のいくつかの実施形態に従って、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデルのアーキテクチャを示す。 本明細書で説明される技術のいくつかの実施形態に従って、空間周波数ドメインデータを処理するように構成されているニューラルネットワークサブモデルにおける全結合ネットワーク層の重みの分布を示す。 本明細書で説明される技術のいくつかの実施形態に従って、空間周波数ドメインデータを処理するように構成されているニューラルネットワークサブモデルにおける全結合ネットワーク層の重みの分布を示す。 本明細書で説明される技術のいくつかの実施形態に従って、空間周波数ドメインデータを処理するように構成されているニューラルネットワークサブモデルにおける全結合ネットワーク層の重みの分布を示す。 本明細書で説明される技術のいくつかの実施形態に従って、本明細書で説明される技術と、ゼロパッド逆フーリエ変換を用いて、非デカルトサンプリング軌道を用いてサンプリングされたアンダーサンプリング空間周波数ドメインデータからＭＲＩ画像を生成する結果を示す。 本明細書で説明される技術のいくつかの実施形態に従って、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルを訓練する態様を示す。 本明細書で説明される技術のいくつかの実施形態に従って、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルを訓練するための合成複素値画像を生成する態様を示す。 本明細書で説明される技術のいくつかの実施形態に従って、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルを訓練するために使用され得る、空間周波数および画像ドメイン構成要素を有する損失関数を示す。 本明細書で説明される技術のいくつかの実施形態に従って、ゼロパッド逆離散フーリエ変換（ＤＦＴ）を用い、かつ転送学習の訓練ありおよびなしで訓練されたニューラルネットワークモデルを用いる再構成されたＭＲ画像を示す。 本明細書で説明される技術のいくつかの実施形態に従って、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルのいくつかの性能を示す。 本明細書で説明される技術のいくつかの実施形態に従って、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルのいくつかの性能をさらに示す。 本明細書で説明される技術のいくつかの実施形態に従って、入力ＭＲ空間周波数データからＭＲ画像を生成するための例示のニューラルネットワークモデルの例示的なアーキテクチャの図である。 本明細書で説明される技術のいくつかの実施形態に従って、図１３Ａのニューラルネットワークモデルのブロックの１つのタイプのアーキテクチャの図である。 本明細書で説明される技術のいくつかの実施形態に従って、図１３Ｂに示されるブロックの一部であり得る、データ一貫性ブロックの例示的なアーキテクチャの図である。 本明細書で説明される技術のいくつかの実施形態に従って、図１３Ｂに示されるブロックの一部であり得る、畳み込みニューラルネットワークブロックの例示的なアーキテクチャの図である。 本明細書で説明される技術のいくつかの実施形態に従って、図１３Ａのニューラルネットワークモデルのブロックの別のタイプのアーキテクチャの図である。 本明細書で説明される技術のいくつかの実施形態に従って、非デカルトサンプリングを用いて得られた入力ＭＲ空間周波数データからＭＲ画像を生成するためにニューラルネットワークモデルを使用するための例示的なプロセス１４００のフローチャートである。 本明細書で説明される技術のいくつかの実施形態に従って、従来のニューラルネットワークモデルおよびニューラルネットワークモデルを用いることによって再構成されたＴ１重み付けＭＲＩを示す。 本明細書で説明される技術のいくつかの実施形態に従って、従来のニューラルネットワークモデルおよびニューラルネットワークモデルを用いることによって再構成されたＴ２重み付けＭＲＩを示す。 本明細書で説明される技術のいくつかの実施形態に従って、ニューラルネットワークモデルによる処理の異なる段階における再構成されたＭＲ画像を示す。 本明細書で説明される技術のいくつかの実施形態に従って、低磁界ＭＲＩシステムの概略図である。 本明細書で説明される技術のいくつかの実施形態に従って、Ｂ０磁石のための双平面永久磁石構成を示す。 本明細書で説明される技術のいくつかの実施形態に従って、Ｂ０磁石のための双平面永久磁石構成を示す。 本明細書で説明される技術のいくつかの実施形態に従って、ポータブルＭＲＩシステムの図を示す。 本明細書で説明される技術のいくつかの実施形態に従って、ポータブルＭＲＩシステムの図を示す。 本明細書で説明される技術のいくつかの実施形態に従って、頭部の走査を実行するポータブルＭＲＩシステムを示す。 本明細書で説明される技術のいくつかの実施形態に従って、膝の走査を実行するポータブルＭＲＩシステムを示す。 本明細書で説明される実施形態が実施され得る例示的なコンピュータシステムの図である。
従来の磁気共鳴イメージング技術は、患者の解剖学的構造の高解像度断面画像を得るために、狭いチャンバー内で患者に対して時間のかかるＭＲＩ走査を必要とする。長い走査持続時間は、ＭＲスキャナで走査できる患者数を制限し、患者に不快感を与え、走査のコストを増加させる。本発明者らは、より短い持続時間のＭＲＩ走査から医学的に関連のある臨床的に受け入れられるＭＲＩ画像を生成するための技術を開発し、それによって従来のＭＲＩ技術を改善した。
ＭＲＩスキャンの持続時間は空間周波数ドメイン（「ｋ空間（ｋ−ｓｐａｃｅ）」と呼ばれることもある）において取得されたデータ点の数に比例する。したがって、スキャンの持続時間を低減する１つの方法は、より少ないデータ点を取得することである。例えば、より少ないサンプルが、周波数符号化方向、位相符号化方向、または周波数と位相符号化方向の両方で取得されてもよい。しかし、空間ナイキスト基準によって要求されるものよりも少ないデータ点が得られる（これは「アンダーサンプリング」ｋ空間と呼ばれることが多い）ときに、逆フーリエ変換によって収集されたデータ点から生成されたＭＲ画像にはエイリアシングによるアーチファクトを含有する。その結果、スキャン時間が空間周波数ドメインにおいてアンダーサンプリングによって低減されても、得られるＭＲＩ画像は、画質が悪く、使用できないことがある。これは、導入されたアーチファクトが、画質、忠実度、および解釈可能性を著しく劣化させることがあるためである。
アンダーサンプリングｋ空間データからＭＲ画像を再構成するための従来の技術にも欠点がある。例えば、非コヒーレントエイリアシングを生成するランダム化ｋ空間アンダーサンプリング軌道を用いて、アンダーサンプリング空間周波数データからＭＲ画像を生成する問題に圧縮検知技術が適用されており、エイリアシングは、反復画像再構成プロセスを用いて除去される。しかし、反復再構成技術は、大量の計算資源を必要とし、広範な経験的パラメータ調整なしではうまく動作せず、詳細を失ったより低い解像度のＭＲ画像をもたらすことが多い。
深層学習技術が、アンダーサンプリングｋ空間データからＭＲ画像を再構成するためにも使用されている。このような技術の基礎をなすニューラルネットワークパラメータは、フルサンプリングされたデータ（ナイキスト基準に違反しないように空間周波数空間をサンプリングすることによって収集されたデータ）を用いて推定されてもよく、そのようなモデルを訓練することは時間がかかることがあるが、画像再構成に対するニューラルネットワークベースのアプローチは、圧縮検知コンテキストにおいて利用される反復再構成技術よりも著しく計算的に効率的であるため、訓練されたモデルは、取得中にリアルタイムで適用されてもよい。
本発明者らは、従来の深層学習ＭＲ画像再構成技術を改良することができることを認識した。例えば、従来の深層学習ＭＲ画像再構成技術は、画像ドメインまたは空間周波数ドメインのいずれかにおいて純粋に動作し、そのため、空間周波数ドメインおよび画像ドメインの両方における相関構造を考慮に入れていない。別の例として、従来の深層学習ＭＲＩ画像再構成技術（または上述の圧縮検知技術）はいずれも、ＭＲＩ取得を加速するために一般的に使用され、また被験者による運動に対してロバストである、非デカルト（例えば、ラジアル、スパイラル、ロゼッタ、可変密度、リサジュなど）サンプリング軌道を用いて動作しない。対照的に、本発明者らは、（１）空間周波数ドメインおよび画像ドメインの両方で動作し、および（２）非デカルトサンプリング軌道からＭＲ画像の再構成を可能にする、アンダーサンプリング空間周波数データから高品質のＭＲ画像を生成するための新規な深層学習技術を開発した。本明細書で説明されるように、本発明者らによって開発された深層学習技術は、従来のＭＲ画像再構成技術（圧縮検知技術および深層学習技術の両方を含む）を改良し、高品質のＭＲ画像を生成しながらスキャンの持続時間を短縮することによってＭＲスキャン技術を改良する。
本明細書で説明されるいくつかの実施形態は、本発明者らが、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するために従来の技術で認識した上述の問題のすべてに対処する。しかし、以下で説明されるすべての実施形態がこれらの問題のすべてに対処しているわけではなく、いくつかの実施形態は、いずれも扱っていないことがある。したがって、本明細書で説明される技術の実施形態は、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するために上述の技術の問題のすべてまたはいずれかに対処することに限定されないと理解されたい。
したがって、いくつかの実施形態は、アンダーサンプリング空間周波数ドメインデータから磁気共鳴（ＭＲ）画像を生成する方法を提供し、この方法は、（１）空間周波数領域ドメインデータを処理するように構成されている第１のニューラルネットワークサブモデルと、（２）画像ドメインデータを処理するように構成されている第２のニューラルネットワークサブモデルと、を含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成することを含む。このようにして、本明細書で説明される技術は、空間周波数および画像ドメインの両方において動作する。
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、第２のニューラルネットワークサブモデルの前に適用される。このようにして、空間周波数ドメインデータを画像ドメインに変換する前に、空間周波数ドメインデータの相関構造を利用するために、ニューラルネットワークが空間周波数ドメインデータに適用される。したがって、いくつかの実施形態では、ＭＲ画像を生成することは、（１）第１のニューラルネットワークサブモデルを用いて入力ＭＲ空間周波数データを処理して、出力ＭＲ空間周波数データを得ること、（２）出力ＭＲ空間周波数データを画像ドメインに変換して、入力画像ドメインデータを得ることと、（３）入力画像ドメインデータを第２のニューラルネットワークサブモデルを用いて処理して、ＭＲ画像を得ること、とを含んでもよい。
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、１つ以上の畳み込み層を含んでもよい。いくつかの実施形態では、畳み込み層の１つ以上（例えば、すべて）は、空間周波数データのダウンサンプリングを提供し得る１より大きいストライドを有してもよい。いくつかの実施形態において、第１のニューラルネットワークサブモデルは、空間周波数データのアップサンプリングを提供し得る１つ以上の転置畳み込み層を含んでもよい。追加的または代替的に、第１のニューラルネットワークサブモデルは、少なくとも１つの局所結合層、少なくとも１つのデータ一貫性層、および／または少なくとも１つの複素共役対称性層を含んでもよい。いくつかの実施形態において、局所結合層は、ＭＲ空間周波数データ内の各データ点に対するパラメータ値のそれぞれのセットを含んでもよい。
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、少なくとも１つの畳み込み層、局所結合層、および少なくとも１つの転置畳み込み層を含み、第１のニューラルネットワークサブモデルを用いて入力ＭＲ空間周波数データを処理することは、（１）少なくとも１つの畳み込み層を入力ＭＲ空間周波数データに適用することと、（２）少なくとも１つの畳み込み層の出力を用いて得られたデータに局所結合層を適用することと、（３）局所結合層の出力を用いて得られたデータに少なくとも１つの転置畳み込み層を適用すること、とを含んでもよい。このような実施形態では、第１のニューラルネットワークサブモデルは、ダウンサンプリング経路（「Ｕ」の左アーム、１つ以上が１よりも大きなストライドを有する一連の畳み込み層を用いて実装される）、局所結合層（「Ｕ」の底部）、およびアップサンプリング経路（「Ｕ」の右アーム、一連の転置畳み込み層を用いて実装される）からなる「Ｕ」構造を有すると考えられてもよい。
いくつかの実施形態では、転置畳み込み層（分数スライディング畳み込み層またはデコンボリューション層と呼ばれることもある）を使用すると、アップサンプリング出力においてチェッカーボードのアーチファクトをもたらすことがある。この問題に対処するために、いくつかの実施形態では、アップサンプリングは、カーネルサイズが「サブピクセル」畳み込み層と考えられ得るストライド長で割ることができる畳み込み層によって実行されてもよい。代替的には、他の実施形態では、より高い解像度へのアップサンプリングは、そうするために純粋に畳み込み層に依存することなく実行されてもよい。例えば、アップサンプリングは、（例えば、双線形補間または近接補間のような補間を用いて）入力画像のサイズ変更と、それに続く畳み込み層によるこの動作によって実行されてもよい。このようなアプローチは、転置畳み込み層の代わりに、および／または、転置畳み込み層と共に、本明細書で説明される実施形態のいずれにおいても使用され得ると理解されたい。
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、さらに、複素共役対称性層を含むことによって、空間周波数データの複素共役対称性を考慮に入れる。いくつかのそのような実施形態では、複素共役対称性層は、第１のニューラルネットワークサブモデルを用いて入力ＭＲ空間周波数データを処理することが、少なくとも１つの転置畳み込み層の出力を用いて得られたデータに複素共役対称性層を適用することを含むように、転置畳み込み層の出力に適用されてもよい。
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、空間周波数データへの第１のニューラルネットワークサブモデルの適用が、ＭＲスキャナによって得られた空間周波数データの値を変更しないことを保証するために、データ一貫性層をさらに含む。このようにして、データ一貫性層は、第１のニューラルネットワークサブモデルに、アンダーサンプリング空間周波数データ自体を摂動させることなく、アンダーサンプリング空間周波数データからの欠落データを補間することを強制する。いくつかの実施形態において、データ一貫性層は、複素共役対称性層の出力に適用されてもよい。
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、残差結合を含む。いくつかの実施形態において、第１のニューラルネットワークサブモデルは、１つ以上の非線形活性化層を含む。いくつかの実施形態では、第１のニューラルネットワークサブモデルは、整流線形ユニット活性化層を含む。いくつかの実施形態では、第１のニューラルネットワークサブモデルは、Ｌｅａｋｙ 整流線形ユニット活性化層を含む。
本発明者らはまた、改良されたＭＲ画像再構成は、従来のＭＲ画像再構成技術でしばしば行われるように、空間周波数データをグリッドすることなく、空間周波数データサンプルから直接ＭＲ画像を生成することによって達成され得ることを認識した。グリッドでは、得られた空間周波数データ点を二次元（２Ｄ）デカルトグリッド（例えば、各グリッド点における値は閾値距離内のデータ点から補間される）にマッピングし、２Ｄ離散フーリエ変換（ＤＦＴ）を使用してグリッド値から画像を再構成する。しかし、このような局所補間は再構成誤差を導入する。
本発明者らは、非デカルトサンプリング軌道を用いて得られたデータからＭＲ画像を再構成するために複数の深層学習技術を開発した。いくつかの技術は、ＭＲＩシステムによって得られた（非グリッド）空間周波数データとのデータ整合性を促進するために、ニューラルネットワークモデルの複数ブロック部分の各々において不均一フーリエ変換（例えば、不均一高速フーリエ変換−ＮｕＦＦＴ）を使用することを伴う。そのようなデータ一貫性処理は、多数の異なる方法で実行されてもよいが、各々は、不均一フーリエ変換（例えば、本明細書で説明される順方向演算子Ａによって表される）および入力ＭＲ空間周波数データｙを利用してもよい。例えば、いくつかの実施形態では、不均一フーリエ変換をニューラルネットワークモデルブロックにおいて使用して、ブロックにおけるＭＲ再構成を表す画像ドメインデータを空間周波数データに変換して、ブロックにおけるＭＲ再構成をＭＲＩシステムによって得られた空間周波数データと比較され得るようにする。このアプローチを実装するニューラルネットワークモデルは、不均一変分ネットワーク（ＮＶＮ：ｎｏｎ−ｕｎｉｆｏｒｍ ｖａｒｉａｔｉｏｎａｌ ｎｅｔｗｏｒｋ）と称されてもよく、図１３Ａ〜１３Ｄを参照することを含めて、本明細書で説明される。
別の例として、いくつかの実施形態では、不均一フーリエ変換を空間周波数データに適用することができ、その結果は、空間周波数データからＭＲ画像を再構成するためのニューラルネットワークモデルの１つ以上のニューラルネットワークブロックの各々への入力として提供されてもよい。これらの革新は、非デカルトサンプリング軌道を用いて得られた空間周波数データからＭＲ画像を再構成するための最先端の深層学習技術を提供する。このアプローチを実装するニューラルネットワークモデルは、一般化された不均一変分ネットワーク（ＧＮＶＮ：ｇｅｎｅｒａｉｌｉｚｅｄ ｎｏｎ−ｕｎｉｆｏｒｍ ｖａｒｉａｔｉｏｎａｌ ｎｅｔｗｏｒｋ）と称されてもよく、図１３Ａ、１３Ｄ、および１３Ｅを参照することを含めて、本明細書で説明される。
したがって、いくつかの実施形態は、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成する方法を提供し、第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換（例えば、不均一高速フーリエ変換−ＮｕＦＦＴ）を用いて、データ一貫性処理を実行するように構成されている。ＭＲ空間周波数データは、非デカルトサンプリング軌道を用いて得られてもよく、非デカルトサンプリング軌道の例は、本明細書で提供する。いくつかの実施形態では、ニューラルネットワークモデルは、各々が不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている複数のブロックを含んでもよい。
いくつかの実施形態では、入力ＭＲ空間周波数データからＭＲ画像を生成する方法は、入力ＭＲ空間周波数データを取得することと、不均一フーリエ変換を用いて入力ＭＲ空間周波数データから初期画像を生成することと、第１のニューラルネットワークブロックを用いて、不均一フーリエ変換を用いてデータ一貫性処理を実行することによって、ニューラルネットワークモデルを初期画像に少なくとも部分的に適用することとを含む。
いくつかの実施形態では、データ一貫性処理は、データにデータ一貫性ブロックを適用することを含んでもよく、これは、データに不均一フーリエ変換を適用して、それを画像ドメインから空間周波数ドメインに変換し、それを入力ＭＲ空間周波数データと比較してもよい。他の実施形態では、データ一貫性処理は、随伴不均一フーリエ変換を入力ＭＲ空間周波数データに適用することと、結果を１つ以上のニューラルネットワークブロックの各々に入力として（例えば、ニューラルネットワークブロック全体のうちの１つ以上の畳み込みニューラルネットワークブロック部の各々への入力として）提供することとを伴ってもよい。
いくつかの実施形態では、第１のニューラルネットワークブロックは、グリッディング補間変換、高速フーリエ変換、およびデアポディゼーション変換をデータに適用することによって、データに対して不均一フーリエ変換を実行することによって、不均一フーリエ変換を用いて少なくとも部分的に用いてデータ一貫性処理を実行するように構成されている。このように、不均一フーリエ変換Ａは、グリッディング補間変換Ｇ、高速フーリエ変換Ｆｓ、およびデアポディゼーション変換Ｄの３つの変換の組み合わせとして表され、Ａ＝Ｇ Ｆｓ Ｄとなるようにし、Ａをデータに適用することは、変換Ｄ、Ｆｓ、およびＧをその順序でデータに適用することによって、実行されてもよい（例えば、図１３Ｃに示されるように）。グリッディング補間変換は、初期ＭＲ入力データを得るために使用される非デカルトサンプリング軌道に基づいて決定されてもよい。いくつかの実施形態において、グリッディング補間変換をデータに適用することは、スパースグラフィカル処理ユニット（ＧＰＵ）行列乗算を用いて実行されてもよい。これらの構成する変換の例示の実現が本明細書において説明される。
いくつかの実施形態では、空間周波数データからＭＲ画像を再構成するためのニューラルネットワークモデルは、複数のニューラルネットワークブロックを含んでもよく、その各ブロックは、（１）データ一貫性処理を実行するように構成されているデータ一貫性ブロック、および（２）１つ以上の畳み込み層（例えば、１つ以上の畳み込み層および／または転置畳み込み層を有する、Ｕ−ｎｅｔ構造を有するなど）を含む畳み込みニューラルネットワークブロックを含んでもよい。このようなニューラルネットワークモデルは、本明細書では、不均一変分ネットワーク（ＮＶＮ）と称されることがある。
いくつかの実施形態では、データ一貫性ブロックは、データ一貫性ブロックへの入力として提供される第１の画像に不均一フーリエ変換を適用して、第１のＭＲ空間周波数データを得て、第１のＭＲ空間周波数データと入力ＭＲ空間周波数データとの間の差に随伴不均一フーリエ変換を適用するように構成されている。いくつかの実施形態では、不均一フーリエ変換を第１の画像ドメインデータに適用することは、第１の画像ドメインデータに、デアポディゼーション変換を適用し、それに続いてフーリエ変換を適用し、それに続いてグリッディング補間変換を適用することを含む。
いくつかの実施形態では、第１のニューラルネットワークブロックを画像ドメインデータに適用することは、データ一貫性ブロックを画像ドメインデータに適用して、第１の出力を得ることと、複数の畳み込み層を画像ドメインデータに適用して第２の出力を得ることと、第１および第２の出力の線形結合を決定することと、を含む。
いくつかの実施形態では、空間周波数データからＭＲ画像を再構成するためのニューラルネットワークモデルは、複数のニューラルネットワークブロックを含んでもよく、その各ブロックは、（１）画像ドメインデータ（例えば、ＭＲデータのネットワークの現在の再構成を表す）、および（２）入力ＭＲ空間周波数データに随伴不均一フーリエ変換を適用することによって得られた出力を、入力として受信するように構成された複数の畳み込み層を含む。このようなニューラルネットワークモデルは、本明細書では不均一変分ネットワーク（ＧＮＶＮ）と称されてもよい。いくつかの実施形態では、複数の畳み込み層は、不均一フーリエ変換および随伴不均一フーリエ変換を画像ドメインデータに適用することによって得られる出力を入力として受信するようにさらに構成されている。
入力ＭＲ空間周波数データからＭＲ画像を再構成するために本発明者らによって開発された別のアプローチは、グリッディングを使用せずに、空間周波数ドメインにおいて少なくとも１つの全結合層を使用することである。したがって、いくつかの実施形態では、第１のニューラルネットワークサブモデルは、スキャナによって得られた空間周波数データポイントに直接適用される少なくとも１つの全結合層を含んでもよい。データ点は、少なくとも１つの全結合層の適用前に（グリッディングおよび／または他の任意のタイプの局所補間を通して）グリッドにマッピングされない。いくつかの実施形態において、データ点は、少なくとも１つの全結合層の適用前に不規則に間隔を空けてもよい。
第１のニューラルネットワークサブモデルが全結合層を含む実施形態のいくつかでは、全結合層が空間周波数ドメインデータの実部に適用され、同じ全結合層が空間周波数ドメインデータの虚部に適用される。言い換えると、データはチャネル化され、同じ全結合層が実データチャネルと虚データチャネルの両方に適用される。
代替的には、第１のニューラルネットワークサブモデルが全結合層を含むいくつかの実施形態では、第１のニューラルネットワークサブモデルは、空間周波数ドメインデータの実部に適用するための第１の全結合層と、空間周波数ドメインデータの虚部に適用するための第２の全結合層を含む。いくつかの実施形態では、第１および第２の全結合層は、少なくともいくつかのパラメータ値（例えば、重み）を共有する。いくつかの実施形態では、第１および第２の全結合層の出力は、フーリエ変換（例えば、二次元逆離散フーリエ変換）を用いて変換されて、画像ドメインデータを得る。次に、画像ドメインデータは、第２のニューラルネットワークサブモデルへの入力として提供されてもよい。
前述のパラグラフにおける２Ｄフーリエ変換の言及は、本明細書で説明される技術が２次元データ（例えば、空間周波数ドメインおよび／または脳「スライス」の２Ｄ ＭＲ画像に対応する画像ドメインデータ）上で動作することに限定されることを示唆するものと解釈されるべきではない。いくつかの実施形態において、本明細書で説明される技術は、３Ｄデータ（例えば、異なるそれぞれの脳スライスの２Ｄ ＭＲ画像のスタックに対応する空間周波数ドメインおよび／または画像ドメインデータ）に適用されてもよい。
いくつかの実施形態において、バッチ正規化は、フーリエ変換を使用する前に、全結合層の出力に適用されて、画像ドメインデータを得てもよい。
いくつかの実施形態では、第２のニューラルネットワークサブモデルは、少なくとも１つの畳み込み層および少なくとも１つの転置畳み込み層を含む。いくつかの実施形態では、第２のニューラルネットワークサブモデルは、ニューラルネットワーク層のそれぞれのセットを含む一連のブロックを含み、複数のブロックの各々は、少なくとも１つの畳み込み層および少なくとも１つの転置畳み込み層を含む。いくつかの実施形態では、複数のブロックの各々は、フーリエ変換層、データ一貫性層、および逆フーリエ変換層をさらに含む。
いくつかの実施形態では、アンダーサンプリング空間周波数データからＭＲ画像を生成するために使用されるニューラルネットワークモデルは、空間周波数ドメイン損失関数および画像ドメイン損失関数を含む損失関数を使用して用いて訓練されてもよい。いくつかの実施形態では、損失関数は、空間周波数ドメイン損失関数および画像ドメイン損失関数の加重和である。いくつかの実施形態では、空間周波数ドメイン損失関数は、平均二乗誤差を含む。
いくつかの実施形態では、本明細書で説明される技術は、アンダーサンプリング空間周波数データからＭＲＩ画像を生成するために使用されてもよく、本明細書で説明されるもの、およびその全体が参照により本明細書に組み込まれる米国特許出願公開第２０１８／０１６４３９０号であって、「ＥＬＥＣＴＲＯＭＡＧＮＥＴＩＣ ＳＨＩＥＬＤＩＮＧ ＦＯＲ ＭＡＧＮＥＴＩＣ ＲＥＳＯＮＡＮＣＥ ＩＭＡＧＩＮＧ ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ」と題する低磁界ＭＲシステムのいずれか、これらに限定されない例を含め、低磁界ＭＲＩシステムを用いて収集される空間周波数データへの適用に適合されてもよい。
本明細書で使用される「高磁界」とは、一般に、現在、臨床現場で使用されているＭＲＩシステム、より具体的には、主磁界（すなわち、Ｂ０磁界）が１．５Ｔ以上で動作するＭＲＩシステムを指すが、０．５Ｔ〜１．５Ｔで動作する臨床システムも、「高磁界」として特徴付けられることも多い。代替０．２Ｔ〜０．５Ｔの磁界強度は、「中間磁界」として特徴付けられ、高磁界レジームの磁界強度が増加し続けているため、０．５Ｔ〜１Ｔの範囲の磁界強度も中間磁界として特徴付けられる。対照的に、「低磁界」とは、一般に、Ｂ０磁界が約０．２Ｔ以下で動作するＭＲＩシステムを指すが、高磁界レジームの増加した磁界強度の結果として、Ｂ０磁界が０．２Ｔ〜約０．３Ｔであるシステムが、低磁界として特徴付けられることもある。低磁界レジーム内では、Ｂ０磁界が０．１Ｔ未満で動作する低磁界ＭＲＩシステムは、本明細書では「非常低磁界」と称され、Ｂ０磁界が１０ｍＴ未満で動作する低磁界ＭＲＩシステムは、本明細書では「超低磁界」と称される。
低磁界ＭＲＩシステムによって得られた（例えば、アンダーサンプリング）空間周波数データからＭＲ画像を生成するように、本明細書で説明されるニューラルネットワークモデルを訓練するためには、低磁界ＭＲＩシステムを用いて得られた訓練データが必要である。しかし、市販の低磁界ＭＲＩスキャナはほとんどなく、このようなニューラルネットワークモデルの訓練に利用できる低磁界ＭＲＩデータはほとんどない。この制限に対処するために、本発明者らは、低磁界ＭＲＩシステムによって得られた空間周波数データからＭＲＩ画像を生成するためのニューラルネットワークモデルを訓練するために新しい二段階訓練技術を開発した。第１の段階では、ニューラルネットワークモデル（例えば、第１および第２のニューラルネットワークサブモデルを有する本明細書で説明されるニューラルネットワークモデルのいずれか）は、「高磁界」または「中磁界」ＭＲシステムを用いて得られた画像のセットを用いて訓練され、その後、低磁界ＭＲＩシステムを用いて得られた画像のセットを用いて適合される。
以下は、空間周波数ドメインデータからＭＲ画像を生成する方法および装置に関連する様々な概念およびその実施形態のより詳細な説明である。本明細書で説明される様々な態様は、種々の方法のいずれかで実装され得ると理解されたい。具体的な実装の例が、例示的な目的のためだけに本明細書で提供される。追加的に、以下の実施形態で説明される様々な態様は、単独でまたは任意の組み合わせで使用されてもよく、本明細書に明示的に説明される組み合わせに限定されない。
図１Ａは、本明細書で説明される技術のいくつかの実施形態に従って、入力ＭＲ空間周波数データから磁気共鳴（ＭＲ）画像を生成するための例示のニューラルネットワークモデルのアーキテクチャを示す。図１Ａに示すように、ニューラルネットワークモデル１００は、空間周波数ドメインデータを処理するように構成されている第１のニューラルネットワークサブモデル１０２、空間周波数ドメインデータを画像ドメインデータに変換するように構成されている逆高速フーリエ変換（ＩＦＦＴ）層１１２、および画像ドメインデータを処理するように構成されている第２のニューラルネットワークサブモデル１２０を含む。初期空間周波数ＭＲデータがＭＲスキャナを用いて（例えば、本明細書で説明される任意の低磁界ＭＲスキャナまたは他の任意の適切なタイプのＭＲスキャナを用いて）取得された後、初期空間周波数ＭＲデータは、第１のニューラルネットワークサブモデル１０２を用いて処理されて、出力ＭＲ空間周波数データ１１１を得てもよい。次いで、ＭＲ空間周波数データ１１１は、ＩＦＦＴ層１１２によって変換されて、入力画像ドメインデータ１１３を得て、これは、第２のニューラルネットワークサブモデル１２０によって処理されて、ＭＲ画像１２７を得る。
図１Ａに示すように、第１のニューラルネットワークサブモデル１０２は、１つ以上の畳み込み層１０４と、局所結合層１０６と、１つ以上の転置畳み込み層１０８と、残差結合１０９と、複素共役対称性層１０５と、データ一貫性層１１０とを含む。
第１のニューラルネットワークサブモデル１０２が初期ＭＲ空間周波数データに適用されるときに、初期ＭＲ空間周波数データは、最初に１つ以上の畳み込み層１０４によって処理されて、次に、局所結合層１０６によって処理され、次に、転置畳み込み層１０８によって処理される。いくつかの実施形態では、畳み込み層１０４を用いて、データをダウンサンプリングし、転置畳み込み層を用いて、データをアップサンプリングしてもよい。このような実施形態では、これらの３つの処理ステップは、畳み込み層１０４がダウンサンプリング経路を提供し（「Ｕ」の左アーム）、局所結合層１０６が「Ｕ」の底部にあり、転置畳み込み層１０８がアップサンプリング経路を提供する（「Ｕ」の右アーム）Ｕ字形ニューラルネットワークアーキテクチャを提供すると考えられてもよい。
図１Ａの図示された実施形態では、畳み込み層１０４は、ｍ０畳み込み層を含む。いくつかの実施形態では、ｍ０は、１、２、３、４、５、または１〜２０の任意の数の層であり得る。いくつかの実施形態では、１つ以上のｍ０畳み込み層は、１以上のストライドを有してもよい。いくつかの実施形態では、ｍ０畳み込み層のうちの１つ以上は、１よりも大きなストライドを有し、これは、そのような層による処理を通してデータをダウンサンプリングまたはプーリングすることを提供する。
図１Ａの図示された実施形態では、転置畳み込み層１０８は、ｍ０転置畳み込み層を含む。図１Ａの図示された実施形態では、畳み込み層１０４の数および転置畳み込み層１０８の数は同じであるが、畳み込み層および転置畳み込み層の数は、他の実施形態では異なってもよい。
いくつかの実施態様では、局所結合層１０６は、Ｋ空間との局所的な相関を活用するために提供される。いくつかの実施形態では、局所結合層１０６は、畳み込み層ではなく（データの異なる部分にわたって同じ重みのセットが適用される）、代わりに、空間周波数ドメインデータにおいて各データ点についてのそれぞれの重みのセットを有する。図１Ａの図示された実施形態では、局所結合層は、「Ｕ」構造の底部においてダウンサンプリング経路とアップサンプリング経路との間に位置付けられ、より少ないパラメータを有するようにされ（データの解像度がこの時点で最も低いため）、これにより、訓練中に学習すべきパラメータの数を低減する。
いくつかの実施形態において、局所結合層は、空間周波数ドメインにおけるエネルギー密度の変化を説明してもよい（例えば、空間周波数ドメインにおける中央領域は、周辺領域よりも高いエネルギー密度を有する）。図１Ａの例示的な実施形態では、局所結合層１０６は、空間周波数ドメインにおいて動作し、空間周波数ドメインでの欠落データ（アンダーサンプリングによる）を直接補間するように動作する。実際には、局所結合層は、全結合層よりはるかに少ないパラメータしか有さないが、畳み込み層よりはるかに多いパラメータを有し、空間周波数ドメインデータの局所的文脈相関を用いて、欠落データ点を補間するための訓練時間と能力との間の良好なバランスを提供する。
空間周波数ドメインにおけるエネルギー密度の変化を説明するために局所結合層を使用することは、本発明者らによって開発された新規なアプローチであると理解されたい。以前のアプローチでは、空間周波数ドメインを３つの正方領域に分割し、３つの領域の各々におけるデータは、畳み込み層のスタック（したがって、３つの異なる正方領域に対する３つの別個のモデル）からなる別個のモデルに入力されていた。対照的に、局所結合層を使用することは、ｋ空間を３つの正方領域に分割することを伴わず、代わりに、各符号画素に独立した重みを割り当てることを伴い、これは、従来のアプローチよりも一般的かつ柔軟な方法で、様々なエネルギー密度を説明し、性能の改善をもたらす。
図３は、局所結合層を有するニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成することによって得られる性能改善を示す。図３の真ん中の列に見られるように、局所結合層を有する畳み込み層モデルから生成されたＭＲ画像は、画質を劣化させるアーチファクト（人工ストリーク）を生成する。対照的に、図３の右側の列に示すように、局所結合層（例えば、局所結合層１０６）を有するサブモデルを有するニューラルネットワークモデルを使用すると、そのようなアーチファクトが除去され、平均二乗誤差の観点からオリジナル画像（図３の左側の列）により近い画像が生成される。
図１Ａに戻ると、データが層１０４、１０６、および１０８によって処理された後、データは、ｋ空間対称性層とも称される複素共役対称性層１０５に提供され、その出力は、データ一貫性層１１０への入力として提供される。データ一貫性層１１０の出力は、第１のニューラルネットワークサブモデルの出力でもあり、次いで、ＩＦＦＴ層１１２への入力として提供される。
いくつかの実施形態では、複素共役対称性層１０５は、空間周波数ドメインにおける複素共役対称性に基づいて補間を行う（これにより、Ｓ（ｘ， ｙ）＝Ｓ’（−ｘ， −ｙ）となり、ここで、（ｘ，ｙ）は、データ点の座標であり、Ｓ’は、Ｓの複素共役を表す）。いくつかの実施形態では、複素共役対称性層１０５を空間周波数ドメインデータに適用することは、既存のサンプルからの欠落点を対称的にマッピングすることを伴う。例えば、点（ｘ，ｙ）については値が得られたが、点（−ｘ，−ｙ）については対応する値が得られなかった場合、複素共役対称性層を使用して、点（ｘ，ｙ）について得られた値の複素共役として点（−ｘ，−ｙ）についての値を提供してもよい。複素共役対称性層１０５を使用することにより、ニューラルネットワークモデルの訓練の収束が加速され、図４の右側のパネルに示されているように、ニューラルネットワークモデルによって生成される画像の品質が改善される。実際、図４の右側のパネルに示すように、複素共役対称性層を使用することによって、ニューラルネットワークモデルを訓練するときに、より少ない訓練エポックを使用することを可能にしつつ、モデル性能を向上させている。モデル性能は、この例示的な例では、モデル再構成画像とフルサンプリング画像との間の画像の中央領域における相対的なピクセル強度の変化によって測定される。
いくつかの実施形態において、データ一貫性層１１０は、空間周波数データへの第１のニューラルネットワークサブモデルの適用が、ＭＲスキャナによって得られた空間周波数データの値を変更しないことを保証するために使用されてもよい。そのような値が、第１のニューラルネットワークサブモデル内の他の層（例えば、畳み込み層１０４、局所結合層１０６、および転置畳み込み層１０８）によって修正された範囲において、修正された値は、オリジナル値によって置き換えられる。このようにして、データ一貫性層は、第１のニューラルネットワークサブモデルに、アンダーサンプリング空間周波数データ自体を摂動させることなく、アンダーサンプリング空間周波数データからの欠落データを補間するように強制する。
いくつかの実施形態において、ニューラルネットワーク層のいずれかは、非線形であり得る活性化関数を含んでもよい。いくつかの実施形態において、活性化機能は、整流線形ユニット（ＲｅＬＵ）活性化機能、Ｌｅａｋｙ ＲｅＬＵ活性化機能、双曲線正接、シグモイド、または他の任意の適切な活性化機能であってもよく、明細書で説明された技術の態様はこの点において限定されない。例えば、畳み込み層１０４のうちの１つ以上は、活性化関数を含んでもよい。
空間周波数データがデータ一貫性層１１０によって処理された後、データはＩＦＦＴ層１１２に入力として提供され、ＩＦＦＴ層１１２は空間周波数データを画像ドメインに変換する。この出力は初期画像ドメインデータ１１３である。変換は、いくつかの実施形態において、高速フーリエ変換を用いて実装され得る離散フーリエ変換を用いて実行されてもよい。ＩＦＦＴ層１１２によって出力された初期画像ドメインデータ１１３は、第２のニューラルサブモデル１２０への入力として提供される。
図１Ａに示すように、第２のニューラルネットワークサブモデル１２０は、複数の畳み込みブロック１２２、１２４、および１２６を含む。畳み込みブロック１２２は、１つ以上の畳み込み層１２８、ＦＦＴ層１３０、複素共役対称性層１０５、データ一貫性層、ＩＦＦＴ層１３４、および残差結合を含んでもよい。ブロック１２２、１２４、および１２６の各々は、同じニューラルネットワークアーキテクチャを有してもよい（例えば、これらのブロックは、同じシーケンスで配置された同じタイプの層を有してもよい）。ただし、層に対する様々なパラメータ値は、変化することがある（例えば、ブロック１２２における畳み込み層の重みは、ブロック１２４の重みとは異なることがある）。図１Ａの例示的な実施形態では、第２のニューラルネットワークサブモデル１２０は、３つの畳み込みブロックを含むが、これは例であり、他の実施形態のように、第２のニューラルネットワークサブモデル１２０は、任意の適切な数の畳み込みブロック（例えば、１、２、４、５、６、７、８、９、１０、１１、１２、１３、１４、または１５）を含んでもよく、本明細書で説明される技術の態様がこの点において限定されない。
第２のニューラルネットワークサブモデル１２０が、ＩＦＦＴブロック１１２の出力において得られた初期画像ドメインデータ１１３に適用されるときに、畳み込みブロック１２２、１２４、１２６は、その順序で初期画像ドメインデータ１１３に適用される。次に、畳み込みブロック１２２の適用について説明し、畳み込みブロック１２４および１２６は、それらに入力として提供される画像ドメインデータと同様の方法で適用され得ると理解されたい。
図１Ａに示すように、畳み込みブロック１２２は、少なくとも１つの畳み込み層１２８と、それに続くＦＦＴ層１３０と、複素共役対称性層１０５と、データ一貫性層１３２と、ＩＦＦＴ層１３４とを含む。
いくつかの実施形態では、畳み込みブロック１２８は、画像をダウンサンプリングするために、１を超えるストライド（例えば、２以上）を有する１つ以上の畳み込み層と、それに続いて、画像をオリジナルサイズにアップサンプリングするために、１を超えるストライド（例えば、２以上）を有する１つ以上の転置畳み込み層と、を有する。ダウンサンプリングとそれに続くアップサンプリングのこの構造は、異なる解像度で動作が実行されることを可能にし、ニューラルネットワークモデルが局所およびグローバルの両方の特徴を捕捉するのに役立つ。次に、これは、空間周波数領域ドメインにおけるアンダーサンプリングから生じ得る画像アーチファクトを除去するのに役立つ。この例示的な実施形態では、畳み込み層は、かなりの量のメモリを消費することがあるスキップ結合を含まない。例えば、いくつかの実施形態では、畳み込みブロック１２８は、フィルタの数がそれぞれ１６、３２、６４、３２および２である５つの層を有する。いくつかの実施形態において、フィルタの各々は、Ｌｅａｋｙ ＲｅＬＵ活性化を有する３×３フィルタであってもよいが、他の実施形態においては、異なるサイズのフィルタおよび／または異なる活性化関数を使用してもよい。
可変解像度層の影響は、図４の左パネルに示されている。実際に、図４の左パネルに示すように、可変解像度層を使用することによって、ニューラルネットワークモデルを訓練するときに、より少ない訓練エポックを使用することを可能にしつつ、モデル性能を向上させている。モデル性能は、この例示的な例では、モデル再構成画像とフルサンプリング画像との間の画像の中央領域における相対的な画素強度の変化によって測定される。
図１Ａの例示的な実施形態に示すように、畳み込みブロック１２２の畳み込み層が適用された後、データは空間周波数ドメインに変換されてもよく、複素共役対称性およびデータ一貫性ブロックが適用され、その後、データが変換されて画像ドメインに戻され、１つ以上の他の畳み込みブロックが適用され得るようにする。
図１Ａに示されている実施形態では、畳み込みブロック１２２、１２４、および１２６の各々は、複素共役対称性およびデータ一貫性ブロックを含む。しかし、他の実施形態では、第２のニューラルネットワークサブモデル１２０の畳み込みブロック部の１つ以上（またはすべて）は、これらのブロックのいずれか１つまたは両方を有さなくてもよく、本明細書で説明される技術の態様がこの点において限定されない。
図１Ｂは、本明細書で説明される技術のいくつかの実施形態に従った、入力ＭＲ空間周波数データからＭＲ画像を生成するための別の例示的なニューラルネットワークモデル１４０のアーキテクチャを示す。ニューラルネットワークモデル１４０は、局所結合層の代わりに畳み込み層１４６を有する第１のニューラルネットワークサブモデル１４２を有する（例えば、局所結合層１０６を有するモデル１００の第１のニューラルネットワークサブモデル１０２とは対照的である）。このような実施形態は、畳み込み層１４２が、局所結合層１０６よりも訓練中に学習するパラメータが少ないため、有利であり得る。他の点では、ニューラルネットワークモデル１４０および１００は同じである。
図１Ｃは、本明細書で説明される技術のいくつかの実施形態に従った、入力ＭＲ空間周波数データからＭＲ画像を生成するための、さらに別の例のニューラルネットワークモデル１５０のアーキテクチャを示す。ニューラルネットワークモデル１５０は、第１のニューラルネットワークサブモデル１５２を有し、畳み込みブロック１５４および転置畳み込みブロック１５８を有する。しかし、ニューラルネットワークモデル１００の対応する畳み込みブロック１０４および転置畳み込みブロック１０８とは異なり、畳み込みブロック１５４および１５８は、１のストライドを用いた畳み込み（および転置畳み込み）層を含有する。その結果、第１のニューラルネットワークサブモデル１５２は、アップサンプリングまたはダウンサンプリングを実施しない。このようなアーキテクチャは、大量の訓練データが利用可能な場合に有利となることがある。
図２Ａは、本明細書で説明される技術のいくつかの実施形態に従った、ニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成するための例示的なプロセス２００のフローチャートである。プロセス２００は、図１Ａ〜１Ｃおよび５Ａ〜５Ｃに関連して説明されたニューラルネットワークアーキテクチャのうちのいずれかを含め、本明細書で説明される任意の適切なニューラルネットワークアーキテクチャを用いて実装されてもよい。
プロセス２００は、任意の適切な計算デバイスを用いて実行されてもよく、本明細書で説明される技術の態様がこの点に関して限定されない。例えば、いくつかの実施形態において、プロセス２００は、ＭＲ撮像システムに通信可能に結合された、またはその一部の計算デバイスによって実行されてもよい。
プロセス２００は、アクト２０２で開始し、ここで、空間周波数ドメインデータが得られる。いくつかの実施形態において、空間周波数ドメインデータは、本明細書で説明される任意のＭＲスキャナを含むＭＲスキャナを使用することによって得ることができる。他の実施形態では、空間周波数ドメインデータは、プロセス２００の実行より前にＭＲスキャナによって取得され、記憶され、記憶されたデータは、アクト２０２の間にアクセスされてもよい。
いくつかの実施形態において、空間周波数ドメインデータは、ナイキストサンプリング基準に対してアンダーサンプリングであり得る。例えば、いくつかの実施形態では、空間周波数ドメインデータは、ナイキスト基準によって必要とされるデータサンプル数の９０％未満（、８０％未満、７５％未満、７０％未満、６５％未満、６０％未満、５５％未満、５０％未満、４０％未満、３５％未満、または２５％〜１００％までの任意のパーセンテージ）を含んでもよい。
アクト２０２において得られた空間周波数ドメインデータは、任意の適切なパルスシーケンスおよびサンプリングスキームを用いてＭＲスキャナによって得られてもよい（または得られていてもよい）。例えば、いくつかの実施形態において、空間周波数ドメインデータは、デカルトサンプリングスキームを用いて集められてもよい。他の実施形態では、空間周波数ドメインデータは、非デカルトサンプリングスキーム（例えば、ラジアル、スパイラル、ロゼッタ、リサジュなど）を用いて集められてもよい。
次に、プロセス２００は、アクト２０４に進み、ここでは、アクト２０２において得られたＭＲ空間周波数データは、第１のニューラルネットワークサブモデル（例えば、図１Ａを参照して説明したサブモデル１０２、図１Ｂを参照して説明したサブモデル１４２、図１Ｃを参照して説明したサブモデル１５２、図５Ａを参照して説明したサブモデル５０２、図５Ｂを参照して説明したサブモデル５２２、図５Ｃを参照して説明したサブモデル５３２）を用いて処理される。どのようにしてアクト２０４が実装され得るかの例示的な例は、図２Ｂおよび２Ｃを参照して説明される。
次に、プロセス２００は、アクト２０６に進み、ここでは、動作２０４の完了において得られた空間周波数ドメインデータが、（例えば、フーリエ変換を用いて）変換されて初期画像ドメインデータを得る。
次に、プロセス２００は、アクト２０８に進み、ここでは、アクト２０６の完了において得られた画像ドメインデータが、第２のニューラルネットワークサブモデル（例えば、図１Ａを参照して説明したサブモデル１２０、図５Ａを参照して説明したサブモデル５１０）を用いて処理される。どのようにしてアクト２０８が実装され得るかの例示的な例が、図２Ｄを参照して説明される。
図２Ｂは、本明細書で説明される技術のいくつかの実施形態に従った、例示的なプロセス２００の一部であり得る、空間周波数ドメインにおけるＭＲ空間周波数データを処理して、出力空間周波数データを得るための例示的なプロセスのフローチャートである。特に、図２Ｂは、プロセス２００のアクト２０４を実装するための例示的な実施形態を示す。
図２Ｂに示すように、アクト２０４は、アクト２１２〜２１８を用いて実装されてもよい。アクト２１２では、アクト２０２において得られた空間周波数ドメインデータに１つ以上の畳み込み層が適用されてもよい。いくつかの実施形態では、アクト２１２において適用される畳み込み層は、図１Ａを参照して説明したブロック１０４または図１Ｃを参照して説明したブロック１５４の一部であってもよい。いくつかの実施形態では、畳み込み層は、１〜２０層の範囲の任意の数の層を含む任意の適切な数の層を含んでもよい。いくつかの実施形態では、畳み込み層は、１より大きいストライド（例えば、２）を用いて実装されて、データをダウンサンプリングする。他の実施形態では、畳み込み層は、１のストライドを用いて実装されてもよい。
次に、動作２１４において、局所結合層が、アクト２１２の完了において得られた空間周波数ドメインデータに適用される。いくつかの実施形態では、局所畳み込み層は、図１Ａを参照して説明された局所畳み込み層１０６であってもよい。いくつかの実施形態では、局所結合層は、空間周波数ドメインデータにおいて各データ点に対してそれぞれの重みのセットを有する。
次に、アクト２１６において、１つ以上の転置畳み込み層が、アクト２１４の完了において得られた空間周波数ドメインデータに適用される。いくつかの実施形態では、転置畳み込み層は、図１Ａを参照して説明されたブロック１０８または図１Ｃを参照して説明されたブロック１５８の転置畳み込み層部分であってもよい。いくつかの実施形態では、転置畳み込み層は、データをアップサンプリングしてもよい。
次に、アクト２１８において、複素共役対称性層が、アクト２１６の完了において出力された空間周波数ドメインデータに適用される。いくつかの実施形態において、複素共役対称性層は、図１Ａを参照して説明された複素共役対称性層１０５であってもよい。本明細書で説明されるように、複素共役対称性層１０５を空間周波数領域ドメインデータに適用することは、既存のサンプルからの任意の欠落点を対称的にマッピングすることを伴うことがある。例えば、点（ｘ，ｙ）については値が得られたが、点（−ｘ，−ｙ）については対応する値が得られなかった場合、複素共役対称性層を使用して、点（ｘ，ｙ）について得られた値の複素共役として点（−ｘ，−ｙ）についての値を提供してもよい。
次に、アクト２２０において、データ一貫性層が、アクト２１８の完了において出力された空間周波数ドメインデータに適用される。いくつかの実施形態では、データ一貫性層は、図１Ａを参照して説明されたデータ一貫性層１１０であってもよい。本明細書で説明されるように、データ一貫性層は、空間周波数データへの第１のニューラルネットワークサブモデルの適用が、ＭＲスキャナによって得られた空間周波数データの値を変更しないことを保証するために使用されてもよい。
図２Ｃは、本明細書で説明される技術のいくつかの実施形態に従った、例示的なプロセス２００の一部であり得る、空間周波数データを処理してＭＲを生成するための例示的なプロセスのフローチャートである。特に、図２Ｃは、プロセス２００のアクト２０４を実装するための別の例示的な実施形態を示す。
図２Ｃに示すように、アクト２０４は、アクト２２２および２２４を用いて実装されてもよい。アクト２２２において、１つ以上の全結合層が、アクト２０２において得られた空間周波数データに適用される。いくつかの実施形態では、アクト２２２において適用される全結合層は、図５Ａを参照して説明される全結合層５０２であってもよい。本明細書で説明されるように、全結合層は、非デカルト座標からデータからのデカルト座標への学習されたマッピングを表し、データに依存しない従来のグリッディングまたは他の補間スキームに依存することなく、ＭＲ画像を非デカルトサンプルから再構成することを可能にする。
いくつかの実施形態では、アクト２２２において、アクト２０２において得られた空間周波数データは、実部と虚部に分割され、同じ全結合層が、２つの部分の各々に適用される。同様に、これらのデータが、実チャネルおよび虚チャネルに対する共有された重みを有する全結合層に提供されると考えてもよい。そのような重み共有スキームは、同一の補間動作が実および虚チャネルの両方に適用されることを保証し、これは、プロセス全体を通して、基礎をなす空間周波数ドメインの対称性を保存する。追加的に、実部と虚部との間で重みを共有することは、モデルにおける訓練可能なパラメータの数を２の倍数だけ減少させる。しかし、他の実施形態では、空間周波数データは、実チャネルと虚チャネルとの間で部分的または全く重みの共有なしで全結合層に供給されてもよい。
次に、アクト２２４において、バッチ正規化が適用されて、後続の層は、実質的に０平均および実質的に単位（または任意の他の適切な定数）の分散を有する入力を受信する。
図２Ｃのプロセスは例示的なものであり、バリエーションがあると理解されたい。例えば、いくつかの実施形態において、バッチ正規化は省略されてもよい。
図２Ｄは、本明細書で説明される技術のいくつかの実施形態に従った、例示的なプロセス２００の一部であり得る、画像ドメインデータを処理して、ＭＲ画像を生成するための別の例示的なプロセスのフローチャートである。特に、図２Ｄは、プロセス２００のアクト２０８を実装するための例示的な実施形態を示す。
図２Ｄに示すように、アクト２０８は、アクト２３０〜２３６および決定ブロック２３８を用いて実施されてもよい。特に、アクト２３０において、空間周波数ドメインデータを画像ドメインに変換することによって、アクト２０６で取得された画像ドメインデータに１つ以上の畳み込み層が適用される。いくつかの実施形態では、アクト２３０において適用される畳み込み層は、図１Ａに示すブロック１２８または図５Ａに示すブロック５１２の一部であってもよい。いくつかの実施形態において、畳み込み層は、１〜２０層の範囲の任意の数の層を含む任意の適切な数を含んでもよい。いくつかの実施形態では、畳み込み層は、１より大きいストライド（例えば、２）を使用して用いて実装されて、データをダウンサンプリングしてもよい。他の実施形態では、畳み込み層は、ストライド１を使用して用いて実装されてもよい。
次に、アクト２３２において、１つ以上の転置畳み込み層が、アクト２３０の完了において出力された画像ドメインデータに適用されてもよい。いくつかの実施形態では、アクト２３２において適用される転置畳み込み層は、図１Ａに示す転置ブロック１２８または図５Ａに示すブロック５１２の一部であってもよい。いくつかの実施形態において、畳み込み層は、１〜２０層の範囲の任意の数の層を含む任意の適切な数の層を含んでもよい。いくつかの実施形態において、転置畳み込み層は、（例えば、分数ストライドを使用して用いて）実装されて、データをアップサンプリングしてもよい。
次に、アクト２３４において、複素共役対称性層が、データに適用されてもよい。複素共役対称性層が空間周波数ドメインにおいて適用されるので、アクト２３２の完了において出力された画像ドメインデータは、複素共役対称性層の適用前に空間周波数ドメインに変換される。いくつかの実施形態において、複素共役対称性層は、図１Ａを参照して説明した複素共役対称性層１０５であってもよい。
次に、アクト２３６において、データ一貫性層がデータに適用されてもよい。いくつかの実施形態において、データ一貫性層は、アクト２３４の完了において出力された空間周波数ドメインデータに適用されてもよい。他の実施形態では、アクト２３４が省略された場合、アクト２３２の完了において出力された画像ドメインデータは、空間周波数ドメインに変換されてもよく、データ一貫性層がそれに適用されてもよい。いくつかの実施形態では、データ一貫性層は、図１Ａを参照して説明されたデータ一貫性層１１０であってもよい。
次に、決定ブロック２３８において、１つ以上の追加の画像ドメイン処理ブロックが適用されるかどうかの決定がなされる。さらなるブロックが適用されないと決定されたときに、処理が完了する。さもなければ、プロセスは、「ＹＥＳ」分岐を介してアクト２３０に戻り、アクト２３０〜２３６および決定ブロック２３８が反復される。例えば、図１Ａに示すように、ブロック１２２が画像ドメインデータに適用された後、ブロック１２４がデータに適用されると決定されてもよい。
図２Ｄのプロセスは例示的なものであり、バリエーションがあると理解されたい。例えば、いくつかの実施形態では、画像ドメインデータは、複素共役対称性層およびデータ一貫性層を適用することなく、画像ドメインにおいて純粋に処理されてもよい。
図５Ａは、本明細書で説明される技術のいくつかの実施形態に従った、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示的なニューラルネットワークモデル５００のアーキテクチャを示す。
図５Ａに示すように、ニューラルネットワークモデル５００は、空間周波数ドメインデータを処理するように構成されている第１のニューラルネットワークサブモデル５０２、空間周波数ドメインデータを画像ドメインデータに変換するように構成されている逆高速フーリエ変換（ＩＦＦＴ）層５０８、および画像ドメインデータを処理するように構成された第２のニューラルネットワークサブモデル５１０を含む。初期空間周波数ＭＲデータが、ＭＲスキャナ（例えば、本明細書で説明される任意の低磁界ＭＲスキャナのいずれか、または他の任意の適切なタイプのＭＲスキャナ）を用いて得られた後、初期空間周波数ＭＲデータは、第１のニューラルネットワークサブモデル５０２を用いて処理されて、出力ＭＲ空間周波数データ５１１を得てもよい。次いで、ＭＲ空間周波数データ５１１は、ＩＦＦＴ層５０８によって変換されて、初期画像ドメインデータ５１３を得て、初期画像ドメインデータ５１３は、第２のニューラルネットワークサブモデル５１０によって処理されて、ＭＲ画像５１８を得る。
図５Ａに示すように、初期空間周波数領域ドメインＭＲデータは、実部５０４（例えば、複素数値データの振幅）および虚部５０６（例えば、複素数値データの位相）に分割される。第１のニューラルネットワークサブモデル５０２は、実部５０４および虚部５０６に対して動作する全結合層を含む。図５Ａに示す実施形態では、全結合層は、実チャネルと虚チャネルとの間の重みを共有する。したがって、全結合層は、実チャネルと虚チャネルの両方に同じ動作を適用し、これは、プロセス全体を通して、基礎をなす空間周波数ドメイン対称性を保持する。追加的に、実部と虚部の間で重みを共有することは、モデルにおける訓練可能なパラメータの数を２の倍数だけ減少させる。しかし、他の実施形態（例えば、図５Ｃの実施形態）では、空間周波数データは、実チャネルと虚チャネルとの間で部分的に重みを共有するか、または重みを共有せずに全結合層に供給されてもよい。
いくつかの実施形態では、全結合層を含むニューラルネットワークモデルが、同じサンプル軌道を用いて生成された入力ＭＲ画像を用いて訓練されるときに、全結合層は、非デカルト座標からデカルト座標へのデータ依存マッピングを学習し、これは、非デカルト座標系列に従って動作するＭＲスキャナによって生成され得る非デカルト座標データのデータ依存グリッディングを実行するために使用され得る。これは、図にさらに図６Ａ〜６Ｃに示されている。
図６Ａは、空間周波数ドメインにおける各データ点が、１２８×１２８出力ｋ空間における各位置に対して重みを有する対応する１２８×１２８重み行列を有し、非局所補間を生成する例示的な実施形態を示す。３つの空間周波数ドメインデータ点（＃３００、＃２８００、＃５０００）に対する重みの分布を図６Ｂに示す。これらの同じ３つのデータ点の２Ｄ分布を図６Ｃに示し、ズームインされたビューにより重み分布の詳細を示す。
図６Ｂ〜６Ｃの１Ｄおよび２Ｄ重み分布に示すように、特定の空間周波数ドメインデータポイントの二次元重みマップをプロットするときに、無視できない値を有するデータポイントの局所近傍における重みが顕著であり、他の重みはゼロに近い値を有する。重み分布は、全結合層によって実行されるマッピングが局所補間を実行することを示す。第１のニューラルネットワークサブモデル５０２は、第１のニューラルネットワークサブモデル５０２が非デカルトサンプルを処理することを可能にするデータ一貫性層を含まないと留意されたい。
図５Ａに戻ると、空間周波数データが第１のニューラルネットワークモデル５０２によって処理された後、データは、空間周波数データを画像ドメインに変換するＩＦＦＴ層５０８への入力として提供され、出力は初期画像ドメインデータ５１３である。変換は、いくつかの実施形態において、高速フーリエ変換を用いて実装され得る離散フーリエ変換を用いて実行されてもよい。ＩＦＦＴ層５０８によって出力された初期画像ドメインデータ５１３は、第２のニューラルサブモデル５１０への入力として提供される。
図５Ａに示すように、第２のニューラルネットワークサブモデル５１０は、複数の畳み込みブロック５１２、５１４、および５１６を含む。畳み込みブロック５１２は、１つ以上の畳み込み層および残差結合を含んでもよい。畳み込みブロック５１２、５１４、および５１６の各々は、同じニューラルネットワークアーキテクチャを有してもよい（例えば、これらのブロックは、同じシーケンスで配置された同じタイプの層を有してもよい）。ただし、層に対する様々なパラメータ値は、変化することがある（例えば、ブロック５１２における畳み込み層の重みは、ブロック５１４の重みとは異なることがある）。図５Ａの例示的な実施形態では、第２のニューラルネットワークサブモデル５１０は、３つの畳み込みブロックを含むが、これは例であり、他の実施形態のように、第２のニューラルネットワークサブモデル５１０は、任意の適切な数の畳み込みブロック（例えば、１、２、４、５、６、７、８、９、１０、１１、１２、１３、１４、または１５）を含んでもよく、本明細書で説明される技術の態様がこの点において限定されない。
第２のニューラルネットワークサブモデル５１０が、ＩＦＦＴブロック５０８の出力において得られた初期画像ドメインデータ５１３に適用されるときに、畳み込みブロック５１２、５１４、および５１６は、その順序で初期画像ドメインデータ５１３に適用される。次に、畳み込みブロック５１２の適用について説明し、畳み込みブロック５１４および５１６は、（前のブロックから出力された後）それらに入力として提供される画像ドメインデータと同様の方法で適用され得ると理解されたい。
いくつかの実施形態では、畳み込みブロック５１２は、画像をダウンサンプリングするために、１を超えるストライド（例えば、２以上）を有する１つ以上の畳み込み層と、それに続いて、画像をオリジナルサイズにアップサンプリングするために、１を超えるストライド（例えば、２以上）を有する１つ以上の転置畳み込み層と、を有する。ダウンサンプリングとそれに続くアップサンプリングのこの構造は、異なる解像度で動作が実行されることを可能にし、ニューラルネットワークモデルが局所およびグローバルの両方の特徴を捕捉するのに役立つ。次に、これは、空間周波数ドメインにおけるアンダーサンプリングから生じ得る画像アーチファクトを除去するのに役立つ。
例えば、いくつかの実施形態では、畳み込みブロック５１２は、２つの逐次畳み込み層（２つのそれぞれの層に３２個の３×３および６４個の３×３のフィルタを有し、ストライド２を有する）、続いて２つの転置畳み込み層（２つのそれぞれの層に１２８個の３×３および６４個の３×３のフィルタを有し、ストライド２を有する）、続いて最終畳み込み層（ストライド１を有する２個の３×３のフィルタ）を含んでもよい。非線形活性化（例えば、ＲｅＬＵまたはＬｅａｋｙ ＲｅＬＵ活性化）は、最終畳み込み層を除いて、最初の４つの層の各々に適用され得る。他の実施形態では、異なるサイズフィルタおよび／または異なる活性化機能が、使用されてもよく、本明細書で説明される技術の態様がこの点において限定されないと理解されたい。
図５Ｂは、本明細書で説明される技術のいくつかの実施形態に従った、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデル５２０のアーキテクチャを示す。ニューラルネットワーク５２０は、全結合層の適用に続き、第１のニューラルネットワークサブモデル５２２からＩＦＦＴ層５０８へのデータの出力の前に、バッチ正規化層５０７を有する第１のニューラルネットワークサブモデル５２２を有する。ここでバッチ正規化層を導入すると、ニューラルネットワークの性能が向上し、訓練に必要な時間が短縮されることがある。他の点では、ニューラルネットワークモデル５２０および５００は同じである。
図５Ｃは、本明細書で説明される技術のいくつかの実施形態に従った、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデル５３０のアーキテクチャを示す。ニューラルネットワーク５３０は、得られたＭＲデータの実部と虚部との間で重み共有を使用しない全結合層を含む第１のニューラルネットワークサブモデル５３２を有する。他の点では、ニューラルネットワークモデル５３０および５００は同じである。
本発明者らは、可能な限り多くの情報を保持しつつ、空間ドメインデータの取得を加速するために、新規な非デカルトサンプリング経路を開発した。サンプリング軌道は、低い信号対雑音比（ＳＮＲ）を有する画像の再構成にはｋ空間中心の完全被覆が重要であるため、空間周波数領域ドメイン全体に均等にアンダーサンプリングする非構造化三角形および四面体メッシュと、ガウスカーネルによって生成されたｋ空間中心におけるフルサンプリンググリッドからなる。この空間周波数ドメインサンプルの３３％のサンプリング軌道サンプルは、ナイキスト基準を満たす必要がある（ただし、上述のように、サンプリング軌道は、例えば、３５％、４０％、４５％、５０％、５５％、６０％、６５％、７０％、７５％、８０％などの２５〜１００の範囲の任意のパーセンテージを含む、本明細書で説明される任意の他のパーセンテージと共に使用されてもよい）。
Ｋ空間。図７は、新規な非デカルトサンプリング軌道（パネル７０２）と、パネル７０２の軌道およびゼロパッド逆高速フーリエ変換を用いて得られたサンプルから再構成された画像（パネル７０４）と、パネル７０２の軌道および図５Ｂを参照して説明されたニューラルネットワークモデルを用いて得られたサンプルから再構成された画像（パネル７０６）と、元のＭＲ画像とを示す。パネル７０４および７０６から分かるように、ゼロパッドＩＦＦＴを用いて得られたＭＲ画像はぼやけており、アーチファクトを有しているが、図５Ｂのニューラルネットワークモデルを用いて得られたＭＲ画像は、これらの欠点を有していない。
本発明者らは、本明細書で説明されるニューラルネットワークモデルを訓練するための特殊化された技術を開発した。訓練手順は、複素画像データを生成することと、複素画像データをアンダーサンプリングすることと、アンダーサンプリングおよびフルサンプリングされた複素画像データを使用し、任意の適切な訓練技術（例えば、確率勾配降下および逆伝搬）を用いてニューラルネットワークモデルを訓練することと、を伴う。複素画像データを生成するために、後述するように、位相情報を合成するために、振幅画像が使用された。
図８は、本明細書で説明される技術のいくつかの実施形態に従った、アンダーサンプリング空間周波数領域ドメインデータからＭＲ画像を生成するためにニューラルネットワークモデルを訓練する態様を示す。図８に示すように、訓練プロセスは、入力振幅画像を使用して、位相情報を合成することを伴う。デカルトまたは非デカルト（例えば、ラジアルなど）サンプリング軌道を用いて空間周波数ドメインにおいて遡及的にアンダーサンプリングされ得る複素画像データを振幅および位相情報が構成する。アンダーサンプリングデータは、訓練されるニューラルネットワークモデルへの入力として使用される一方、フルサンプリング画像は、モデルの出力となる。
多くの公的に利用可能なＭＲ画像データセットが利用可能であるが、それらは典型的には振幅画像のみを含む。ＭＲスキャナによって取得されたような複雑なデータをシミュレートするために、本発明者らは、振幅画像に付加する位相情報を生成する技術を開発した。したがって、いくつかの実施形態では、位相情報は、球面調和基底関数の加重和を用いて生成される。これらの関数の組み合わせは、Ｂ０の不均一性、温度による磁界ドリフト、勾配渦電流、空間的に変化するＲＦコイル検知場、シーケンスにおける勾配場の不正確さ、および／または位相変動に寄与し得る他の効果から導かれる磁界の変化を特徴付けることができる。球面調和を用いて位相情報を生成するプロセスが図９Ａに示されている。
いくつかの実施形態では、非デカルトアンダーサンプリングをシミュレートするために、非デカルトアンダーサンプリングマスクが適用された空間周波数ドメインにＭＲ画像を変換するために、不均一ＦＦＴ（ＮｕＦＦＴ）が使用された。次に、アンダーサンプリング空間周波数データは、逆（逆方向とも呼ばれる）ＮｕＦＦＴを用いて画像ドメインに変換することができ、これは、画像ドメインサブモデルへの入力として提供することができる。このように、ＮｕＦＦＴの使用は、不均一Ｋ空間サンプリングを実行することを可能にし、これは、実際には非デカルトサンプリングに非常に似ている。
いくつかの実施形態では、利用可能な訓練データは、個々のスライスにアフィン変換を適用して、異なる配向およびサイズを有する画像を作成すること、ノイズを加えて、異なるＳＮＲを有する画像を作成すること、運動アーチファクトを導入すること、エコー・トレインのようなより複雑なシーケンスに対する位相および／または信号変調を組み込むこと、および／または信号の位相のずれをモデル化して、モデルをシーケンス状拡散加重和に適合させることによって、補された。
本明細書で説明されるニューラルネットワークモデルは、空間周波数領域ドメインおよび画像ドメインの両方で動作するため、本発明者らは、混合ドメインニューラルネットワークモデルのような訓練を容易にするための新しい損失関数を開発した。新しい損失関数は、本明細書で説明されたニューラルネットワークモデルを訓練するプロセスを加速した（例えば、所与のレベルの性能を達成するために必要とされる訓練エポックの数を低減することによって）。
いくつかの実施形態では、損失関数は、空間周波数ドメインにおける誤差を捕捉するための第１の損失関数と、画像ドメインにおける誤差を捕捉するための第２の損失関数とを含む。例えば、図９Ｂに示すように、第１のニューラルネットワークサブモデルの出力（「サブネット１ｋ空間」とラベル付け）は、空間周波数ドメインにおける真値と比較されて、空間周波数ドメインにおける第１の測定誤差（例えば、「ＭＳＥ Ｌｏｓｓ１」とラベル付けされた平均二乗誤差）を得てもよく、第２のニューラルネットワークサブモデルの出力（「サブネット２画像ドメイン」とラベル付け）は、画像ドメインにおける真値と比較されて、画像ドメインにおける第２の測定誤差（例えば、「ＭＳＥ Ｌｏｓｓ２」とラベル付けされた平均二乗誤差）を得てもよい。第１および第２の測定誤差は、（例えば、加重組み合わせによって）組み合わされて、全体的な測定誤差を生成してもよく、これは、訓練プロセスの間に最小化されるべきである。例えば、図９の例示的な例では、全体損失関数がＬｏｓｓ１＋λ＊Ｌｏｓｓ２によって与えられるように、２つの損失関数をλ＜１の重みを用いて組み合わせた。
本明細書で説明されるように、低磁界ＭＲＩシステムによって得られたアンダーサンプリング空間周波数データからＭＲ画像を生成するために本発明者らによって開発されたニューラルネットワークモデルを訓練するためには、低磁界ＭＲＩシステムを用いて得られた訓練データが必要である。しかし、本明細書で説明されるモデルのすべてのパラメータを学習するのに十分な量のそのようなデータが存在しないことがある。
したがって、いくつかの実施形態では、ニューラルネットワークモデルは、最初に１つ以上の「高磁界」および／または「中磁界」ＭＲシステムを用いて得られた画像を用いて訓練され、次いで、伝達学習が、低磁界ＭＲＩシステムを用いて得られた１つ以上のＭＲ画像を用いて、訓練されたニューラルネットワークモデルを「低磁界」コンテキストに適合させるために使用される。
図１０のＡ〜１０Ｈは、本明細書で説明された技術のいくつかの実施形態に従った、ゼロパッド逆ＤＦＴを用いて、かつ伝達学習あり／なしで訓練されたニューラルネットワークモデルを用いて生成されたＭＲ画像を示す。結果は、伝達学習（この例示的な例では１００エポック）を用いると、低磁界ＭＲ画像についてのモデルの性能を向上することを示した。特に、図１０のＡ〜Ｄは、ゼロパッド逆ＦＦＴ、伝達学習なしで訓練された図５Ｂのニューラルネットワークモデル、伝達学習ありで訓練された図５Ｂのニューラルネットワーク、およびフルサンプリングデータを用いてそれぞれ得られた再構成されたＭＲ画像を示す。図１０のＥ〜１０Ｇは、再構成ＭＲ画像とフルサンプリングＭＲ画像との間の絶対差を示すが、図１０のＨは、アンダーサンプリングマスクを示す。
図１１は、本明細書で説明される技術のいくつかの実施形態に従った、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルのいくつかの性能を示す。特に、図１１の第２の行は、図１Ａを参照して説明されたニューラルネットワークモデル１００の性能を示し、図１１の第３の行は、図５Ｂを参照して説明されたニューラルネットワークモデル５２０の性能を示す。両方のモデルについて、図１１は、第１および第２のサブモデル（サブモデル１０２および１２０、とサブモデル５２２および５１０）のそれぞれの性能を示す。図１１の第１の行は、アンダーサンプリング画像およびフルサンプリング画像（大きさおよび位相の両方）を示す。図１１から分かるように、ニューラルネットワークモデル１００の第１のサブモデル（真ん中の列の最初の２つの列）の出力は、より少ないアーチファクトで品質が向上しており、これは、ピークＳＮＲ（ＰＳＮＲ）の増加によっても示されている。ニューラルネットワークモデル１００の第２のサブモデルの出力（真ん中の列の最後の２つの列）は、第２のサブモデルが、振幅画像のコントラストを増加させ、より滑らかな位相マップを生成することによって、再構成がさらに向上することを示し、これは、フルサンプリング画像の再構成に近い。ニューラルネットワークモデル５２０に対して、第２のサブモデルは、第１のサブモデルよりもＰＳＮＲによって反映されるように、改善に寄与しない。この状況は、第１のニューラルネットワークサブモデルに対しては逆である。
図１２は、さらに、本明細書で説明される技術のいくつかの実施形態に従った、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルのいくつかの性能を示す。特に、図１２は、ナイキストサンプリングレートによって必要とされるサンプル数の３３％までアンダーサンプリングされた画像について、他の技術に対する本明細書で開発されたニューラルネットワークのいくつかの性能を示す。ニューラルネットワークモデル１００および５２０（図１２の第４および第５の列に示される）の性能を、圧縮検知（正規化パラメータ＝５ｅ−３でＡＤＭＭ正規化器を用いて実装、図１２の第２の列に示される）および第１のサブモデル（図１２の第３の列に示される）なしのニューラルネットワークモデル１００の性能と比較した。正規化平均二乗誤差とピークＳＮＲを測定し、出力画像の差を定量化した。図１２に示すように、アンダーサンプリングは、ぼやけおよび不均一なアーチファクトをもたらす。圧縮検知アプローチは、アーチファクトを除去するが、画像を過度に平滑化し、位相画像を変更してしまう。第１のサブモデルなしのモデル１００は、画像を回復できなかった。対照的に、ニューラルネットワークモデル１００および５２０は、競合方法よりも高いＰＳＮＲおよび低い正規化ＭＳＥによって反映されるように、フルサンプリング画像に対して振幅および位相の両方において非常に近いＭＲ画像を出力する。
本明細書で議論されたように、本発明者らは、非デカルトサンプリング軌道を用いて得られた空間周波数データからＭＲ画像を再構成するためのニューラルネットワークモデルを開発した。
図１３Ａは、本明細書で説明される技術のいくつかの実施形態に従った、入力ＭＲ空間周波数データからＭＲ画像を生成するための例示のニューラルネットワークモデル１３１０の例示的なアーキテクチャの図である。図１３Ａに示すように、ニューラルネットワークモデル１３１０は、入力ＭＲ空間周波数データを段階的に処理することによって、入力ＭＲ空間周波数データ１３０５から出力ＭＲ画像１３１５を再構成する。最初に、入力ＭＲ空間周波数データ１３０５は、初期処理ブロック１３１２を用いて処理され、初期画像１３１４を生成し、次いで、初期画像１３１４は、一連のニューラルネットワークブロック１３１６−１、１３１６−２、．．．、１３１６−ｎによって処理される。
いくつかの実施形態では、ブロック１３１６−１、１３１６−２、．．．、１３１６−ｎのうちの１つ以上は、画像ドメインにおいてオペレータであってもよい。いくつかの実施形態では、ブロック１３１６−１、１３１６−２、．．．、１３１６−ｎのうちの１つ以上は、入力データを、空間周波数ドメインを含むがこれに限定されない、異なるドメインに変換し、異なるドメインで処理（例えば、再構成処理）を実行し、その後、画像ドメインに戻るように変換してもよい。
いくつかの実施形態では、イニシャライザブロックは、入力ＭＲ空間周波数データを画像ドメインに変換して、ニューラルネットワークモデル１３１０によるその後の処理のための初期画像を生成する。イニシャライザブロックは、任意の適切な方法で実装されてもよい。例えば、いくつかの実施形態において、イニシャライザブロックは、随伴不均一フーリエ変換を入力ＭＲ空間周波数データに適用して、初期画像を得てもよい。別の例として、いくつかの実施形態では、イニシャライザブロックは、グリッディング再構成を入力ＭＲ空間周波数データに適用して、初期画像を得てもよい。
ニューラルネットワークブロック１３１６の例示的なアーキテクチャは、図１３Ｂ（不均一変分ネットワークに対応）および図１３Ｅ（一般化不均一変分ネットワークに対応）に示される。したがって、いくつかの実施形態では、ブロック１３１６−１、１３１６−２、．．．、１３１６−ｎの少なくとも１つ、少なくとも一部、またはすべては、図１３Ｂの例示的なブロック１３１６−ｉに示されるようなアーキテクチャを有してもよい。図１３−Ｂに示すように、ニューラルネットワークブロック１３１６−ｉは、データ一貫性ブロック１３２０と、畳み込みニューラルネットワークブロック１３５０とを含み、これらの両方が入力ｘｉに適用され、１３２１としてラベル付けされている。入力ｘｉは、（ｉ−１）番目のニューラルネットワークブロックの完了においてニューラルネットワーク１３１０によって生成されるＭＲ画像再構成を表してもよい。この例では、ブロック１３１６−ｉの出力１３３５は、データ一貫性ブロック１３２０を入力ｘｉに適用して、第１の結果を得て、畳み込みニューラルネットワークブロック１３５０をｘｉに適用し、第２の結果を得て、ｘｉから第１の結果と第２の結果の線形結合を減算することによって得られ、ここで、線形結合は、ブロック固有の重みλｉを用いて計算される。
データ一貫性ブロック１３２０は、多数の方法のいずれかで実装されてもよい。いくつかの実施形態では、データ一貫性ブロック１３２０は、不均一フーリエ変換を用いて、ｘｉによって表される入力画像を空間周波数ドメインに変換し、結果を初期ＭＲ空間周波数データ１３０５と比較し、不均一フーリエ変換の随伴を用いて、２つの間の差を画像ドメインに変換することによって、データ一貫性処理を実行してもよい。
データ一貫性ブロック１３２０の例示的な実装を、図１３Ｃに示す。図１３Ｃの例示的な実装において、画像ドメイン入力１３２２（中間再構成ｘｉ １３２１であってもよい）は、一連の３つの変換１３２４、１３２６、および１３２８を通して、空間周波数ドメインに変換され、ここで、その結合は、画像ドメインから空間周波数ドメインへの不均一高速フーリエ変換を実装するために使用される。特に、変換１３２４は、デアポディゼーションおよびゼロパッド変換Ｄであり、変換１３２６は、オーバーサンプリングＦＦＴ変換Ｆｓであり、変換１３２８は、グリッディング補間変換Ｇである。本明細書で説明されるように、不均一高速フーリエ変換Ａは、Ａ＝Ｄ Ｆｓ Ｇによるこれらの変換の結合によって表される。これらの構成する変換の例示の実現が本明細書において説明される。
画像ドメイン入力１３２２が空間周波数ドメインに変換された後、それは、初期ＭＲ空間周波数データ１３０５と比較され、２つの間の差は、変換１３３０、１３３２、および１３３４を用いて、その順序で画像ドメインに戻されるように変換される。変換１３３０は、グリッディング補間変換１３２８の随伴である。変換１３３２は、オーバーサンプリングＦＦＴ変換１３２６の随伴である。変換１３３４は、デアポダイゼーション変換１３２４の随伴である。このようにして、ＧＨＦＨ ｓＤＨ＝ＡＨとして書いてもよい変換１３３０、１３３２、１３３４の組成は、不均一フーリエ変換Ａの随伴ＡＨを表す。
畳み込みニューラルネットワークブロック１３５０は、多数の方法のいずれかで実装されてもよい。いくつかの実施形態では、ブロック１３５０は、１つ以上の畳み込み層および１つ以上の転置畳み込み層を含む、複数の畳み込み層を有してもよい。いくつかの実施形態では、ブロック１３５０は、Ｕ−ネット構造を有してもよく、それによって、複数の畳み込み層がデータをダウンサンプリングし、その後の転置畳み込み層が、例えば、ブロック１３５０のための図１３Ｄの例示的なＵ−ｎｅｔアーキテクチャに示すように、データをアップサンプリングする。
図１３Ｄに示すように、畳み込みネットワークブロック１３５０への入力は、アップサンプリング経路によって処理され、それに続いてダウンサンプリング経路によって処理される。ダウンサンプリング経路では、入力は、３×３カーネルを有する２つの畳み込みの反復適用によって処理され、それに続いて各々は、非線形性（例えば、整流線形ユニットまたはＲｅＬＵ）、ダウンサンプリングのためのストライド２を有する平均２×２プーリング演算が適用される。各ダウンサンプリングステップにおいて、フィーチャチャネルの数は、６４から１２８へ、２５６へ倍増される。アップサンプリング経路では、データは、フィーチャチャネルの数を半分にする平均アンプーリングステップ、ダウンサンプリング経路からの対応するフィーチャマップとの連結、および２つの３×３畳み込みを用いて、フィーチャマップのアップサンプリングが繰り返し処理され、それに続いて各々は、非線形性（例えば、ＲｅＬＵ）が適用される。
図１３Ｅは、本明細書で説明される技術のいくつかの実施形態に従った、図１３Ａのニューラルネットワークモデルのブロックの別のタイプのアーキテクチャの図である。図１３Ｅに示すようなアーキテクチャを有するブロックを有するニューラルネットワークモデルは、「一般化不均一変分ネットワーク」または「ＧＮＶＮ」と称されてもよい。データ一貫性ブロックは直接使用されないが、そのようなブロックによって生成される画像特徴に類似した特徴は、ニューラルネットワークモデルに組み込むために有用であり得るという意味で「一般化」されている。
図１３Ｅに示すように、ｉ番目のＧＮＶＮブロック１３６０−ｉは、（１）１３６２としてラベル付けされた画像ドメインデータｘｉ、および（２）初期ＭＲ空間周波数データ１３６４を入力として取る。入力ｘｉは、（ｉ−１）番目のＧＮＶＮブロック（１３６０−（ｉ−１））の完了においてニューラルネットワーク１３１０によって生成されたＭＲ画像再構成を表してもよい。ブロック１３６０−ｉへのこれらの入力は、次に、ブロック１３６０−ｉの畳み込みニューラルネットワークブロック１３７２部への入力を生成するために使用される。次に、これらの入力から、ＣＮＮブロック１３７２は、ｘｉ＋１で示される次のＭＲ画像再構成を生成する。
図１３Ｅの実施形態では、入力１３６２および１３６４は、ＣＮＮブロック１３７２への３つの入力を生成するために使用される。すなわち、（１）再構成ｘｉ自体は、ＣＮＮブロックへの入力として提供され、（２）再構成ｘｉに、不均一フーリエ変換１３６６を適用し、それに続いて空間周波数ドメイン畳み込みニューラルネットワーク１３６８を適用し、それに続いて随伴不均一フーリエ変換１３７０を適用した結果、（３）初期ＭＲ空間周波数データ１３６４に、空間周波数ドメイン畳み込みニューラルネットワーク１３６８を適用し、それに続いて随伴不均一フーリエ変換１３７０を適用した結果である。
いくつかの実施形態において、不均一フーリエ変換１３６６は、３つの変換の合成として表現される変換Ａであってもよい。すなわち、Ａ＝Ｄ Ｆｓ Ｇとなるようなデアポディゼーション変換Ｄ、オーバーサンプリングフーリエ変換Ｆｓ、局所グリッディング補間変換Ｇである。これらの構成する変換の例示の実現が本明細書において説明される。
空間周波数ドメインＣＮＮ１３６８は、任意の好適なタイプの畳み込みニューラルネットワークであってもよい。例えば、ＣＮＮ１３６８は、残差結合を有する５層畳み込みニューラルネットワークであってもよい。しかし、他の実施形態では、空間周波数ドメインネットワーク１３６８は、任意の他のタイプのニューラルネットワーク（例えば、完全畳み込み型ニューラルネットワーク、再帰ニューラルネットワーク、および／または任意の他の適切なタイプのニューラルネットワーク）であってもよく、本明細書で説明される技術の態様がこの点において限定されない。
図１３Ａ〜１３Ｅに示されているニューラルネットワークモデルのような、非デカルトデータからのＭＲ画像再構成のためのニューラルネットワークモデルのさらなる態様および詳細が次に続く。最初に、いくつかの表記法を導入する。
Figure 2021532875
 は、再構成される複素値ＭＲ画像を示し、Ｎ＝ＮｘＮｙのベクトルとして表され、ここで、ＮｘおよびＮｙは、画像の幅と高さであるとする。
Figure 2021532875
 は、複素値ＭＲ画像ｘが再構成される、アンダーサンプリングｋ空間測定を表すとする。ｙからｘを再構成することは、
Figure 2021532875
 に従って、非制約最適化問題として定式化され得る。ここで、演算子Ａは、不均一フーリエサンプリング演算子Ｒであり、Ｒは、ｘについての規則化項を示し、λは、ノイズレベルに関連するハイパーパラメータである。ｋ空間測定ｙがデカルトサンプリング軌道を用いて得られる場合に、演算子Ａは、Ａ＝ＭＦに従って表現されてもよく、ここで、Ｍは、サンプリングマスクであり、Ｆは、離散フーリエ変換である。非デカルトサンプリング軌道の場合に、測定値はもはや均一ｋ空間グリッドに収まらず、サンプリング演算子Ａは今やタイプの不均一離散フーリエ変換のタイプＩによって与えられる。
Figure 2021532875
 ここで、

Figure 2021532875
 である（

Figure 2021532875
 ではない）。上述の順モデルの効率的な実装は、いわゆる不均一高速フーリエ変換（ＮＵＦＦＴ）を用いて実装されてもよい。このアイデアは、分解Ａ＝ＧＦｓＤによって、式２（Ｅｑ．２）を近似することであり、ここでは、Ｇは、グリッディング補間カーネルであり、Ｆｓは、ｓのオーバーサンプリングファクタを有する高速フーリエ変換（ＦＦＴ）であり、Ｄは、デアポディゼーション重みである。この分解については、以下でさらに詳細に説明される。
対照的に、Ａの反転のほうがかなり大きな影響を受ける。（大体）フルサンプリングされた場合については、直接反転
Figure 2021532875
 またはより計算効率の良いグリッディング再構成を考慮することができ、これは、ｘｇｒｉｄｄｉｎｇ＝ＡＨＷｙの形態を有し、ここで、Ｗは、不均一に間隔を置いた測定の密度補償に使用される対角行列である。アンダーサンプリングの場合に対しては、反転は不適切であり、式１（Ｅｑ．１）は反復アルゴリズムによって解かれるべきである。
本発明者らは、式１の最適化問題の解を近似するための新しい深層学習アルゴリズムを開発した。このアプローチは、初期化とその後の反復のために次の方程式で指定される式１に対する局所最適解を提供する勾配降下アルゴリズムを検討することによって開始する。
Figure 2021532875
Figure 2021532875
 ここで、ｆｉｎｉｔは、イニシャライザであり、αは、ステップサイズであり、▽ｆは、目的関数の勾配であり、以下によって与えられる。
Figure 2021532875
いくつかの実施形態において、イニシャライザは随伴
Figure 2021532875
 再構成またはグリッディング再構成
Figure 2021532875
 として選択されてもよい。式１を解くための深層学習アプローチは、式４（Ｅｑ．４）の逐次更新をフィードフォワードモデルに展開し、一連の訓練可能な畳み込み（または他のタイプのニューラルネットワーク）層および非線形性によって勾配項▽Ｒを近似することを伴う。このアプローチは、
Figure 2021532875
Figure 2021532875
 によって与えられるＮｉｔのブロックを有するエンドツーエンドの訓練可能なネットワークをもたらす。ここで、学習可能なパラメータは、
Figure 2021532875
 である。ステップサイズαｉは、学習可能なパラメータに吸収されることに留意する。このようにして、一般的な非凸規則化関数が（例えば、専門分野モデルの代わりに）使用され、規則化関数は、畳み込みニューラルネットワークによって近似され得る。実際、図１３Ａ〜１３Ｄに示されるニューラルネットワークモデルは、式６（Ｅｑ．６）および式７（Ｅｑ．７）に従って実装される。例えば、データ一貫性の項ＤＣ−ｉの実装を図１３Ｃに示し、ＣＮＮ−ｉの項の実装を図１３Ｄに示す。
本発明者らは、このようなアプローチの計算の複雑さが、順方向演算子
Figure 2021532875
 がどのように実装されるかの関数であることを認識している。これは、Ａは、記憶する多くのメモリを占有する可能性がある大きな複素値行列であるからである。本明細書で説明されるように、デカルトの場合とは対照的に、Ａは、ＧＦｓＤとして表現される。２Ｄの場合、これは大きな行列であり、ＧＰＵメモリの大部分を消費する（例えば、Ｎ＝１９２２でＭ＝１０，０００（すなわち、大体３×加速）の場合、複素値行列を記憶することは３ＧＢのメモリのタスクとなる）。この課題を克服するために、本発明者らは、スパースＧＰＵ行列乗算としてグリッディング補間変換Ｇｉを実装した。Ｆｓは、ＦＦＴであり、ここで、効率的なＧＰＵ実装が利用可能である。最後に、Ｄは、対角行列であり、これは、行列のＨａｄａｍａｒｄ積として実装することができる。随伴は、同様に、
Figure 2021532875
 として同様に実装することができ、ここで、Ｈは、複素共役転置である。
次に、順方向演算子Ａ＝ＧＦｓＤの分解のさらなる詳細について説明される。最初に、いくつかの前置きがある。空間周波数ドメイン（ｋ空間と呼ばれることがある）は、二次元または三次元座標（例えば、（ｋｘ，ｋｙ）または（Ｋｘ，ｋｙ，ｋｚ）を用いてインデックス付けされてもよい。このようにして、入力ＭＲ空間周波数データを表すベクトルｙの各エントリは、ｋ空間における特定の座標に関連付けられた値を表す。ｋ空間における規則的なグリッドとは、インデックス付けされ得る各ｋ空間座標間に固定距離Δが存在するように、ｋ空間点の規則的に間隔を置いたグリッドを指す。一般に、入力ＭＲ空間周波数データｙは、規則的グリッド上に間隔を置いた、または不規則に間隔を置いたｋ空間サンプルを含んでもよい。規則的に間隔を置いた点は、デカルトデータ点と呼ばれる。不規則に間隔を置いた点は、非デカルト（データ）点と呼ばれる。
補間変換Ｇは、非デカルトセンサデータｙを規則的なｋ空間グリッドに補間するように動作する。変換が行列Ｇとして表現されるときに、行列の各行はｋ空間における特定の規則的なグリッド点に対応し、行ｉのエントリｊ（すなわち、エントリＧｉｊ）はｉ番目の規則的なグリッドとｊ番目のｋ空間サンプルとの間にどの程度の重みが関連付けられているかを表す。
いくつかの実施形態において、補間行列エントリは、以下の４つの関数のうちのいずれか１つで計算され得る。
・二項余弦
Figure 2021532875
 ・三項余弦
Figure 2021532875
 ・ガウス
Figure 2021532875
 ・カイザー・ベッセル
Figure 2021532875
 ここで、ｕはｉ番目の規則的なグリッド点とｊ番目の非デカルト座標との間の距離である。パラメータα、β、Ｗ、σは、ユーザによって指定される自由設計パラメータであり、Ｉ０は、第１種のゼロオーダ修正ベッセル関数である。しかし、上記の例示の４つの関数の代わりに、または、これらに加えて、補間行列エントリを計算するために、他の任意の関数が使用され得ると理解されたい。
いくつかの実施形態において、補間重み行列のエントリは、最適化アプローチを用いて計算されてもよい。例えば、エントリは、Ｆｅｓｓｌｅｒ， Ｊ．Ａ．， Ｓｕｔｔｏｎ Ｂ．Ｐ．， Ｎｏｎ−ｕｎｉｆｏｒｍ ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍｓ ｕｓｉｎｇ ｍｉｎ−ｍａｘ ｉｎｔｅｒｐｏｌａｔｉｏｎ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ５１（２）， ５６０−５７４ （２００３）の式１６および２１に示されるように、最小−最大最適化問題を解くことによって計算されてもよく、これは、参照によりその全体が本明細書に組み込まれる。いくつかの実施形態において、フーリエ変換Ｆは、オーバーサンプリングされたフーリエ行列Ｆｓによって表されてもよく、この行列は、各エントリが指数に依存するγに対するｅｉγ形の複素指数である密行列である。この行列の役割は、フーリエ変換を実行することである。いくつかの実施形態では、Ｆｓは、オーバーサンプリングファクタｓで高速フーリエ変換を用いて実装されてもよい。例えば、再構成される画像ｘがＮ×Ｎ画素である場合、画像サイズｓＮ×ｓＮに対してオーバーサンプリングＦＦＴが実行される。
いくつかの実施形態において、デアポディゼーション変換は、与えられた分解でＡを近似することの補間誤差を減少させるために、画像内の各画素を対応する重みによって加重する行列Ｄによって表されてもよい。いくつかの実施形態において、これは、画像ドメインにおける中間再構成の画素ごとの加重を介して実装されてもよい。例えば、ピクセル別重み付けは、空間的に変化する低次滑らかな多項式を使用して用いて実施されてもよい。いくつかの実施形態において、行列Ｄは、Ｆｅｓｓｌｅｒ， Ｊ．Ａ．， Ｓｕｔｔｏｎ Ｂ．Ｐ．： Ｎｏｎ−ｕｎｉｆｏｒｍ ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍｓ ｕｓｉｎｇ ｍｉｎ−ｍａｘ ｉｎｔｅｒｐｏｌａｔｉｏｎ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ５１（２）， ５６０−５７４ （２００３）のセクションＩＶ−Ｃにおいて議論されるように設定されてもよい。
本発明者らはまた、図１３Ａ〜１３Ｄのネットワークが各反復の終了におけるボトルネックを強制することを理解している。しかし、別の見方は、ネットワークが単にデータ一貫性（ＤＣ−ｉ）ブロックによって与えられる画像特徴から単に利益を得ているということである。この観察は、データ一貫性ブロックを使用する代わりに、図１３Ａ〜１３Ｄのモデルにおける各ＣＮＮ−ｉブロックに、以下の入力の連結が提供される。すなわち、中間再構成ｘｉ、自己随伴ＡＨＡｘｉ、および入力随伴ＡＨｙである。さらに、
Figure 2021532875
 を用いて生のセンサドメインにおける１Ｄ畳み込みを適用することも考慮して、サンプリング軌道に沿った情報を活用し、不必要な情報（例えば、隔離可能なアーチファクトまたはノイズ）を除去する。図１３Ａ、１３Ｄおよび１３Ｅに示す結果のネットワークは、
Figure 2021532875
Figure 2021532875
 によって与えられ、ここで、学習可能なパラメータは
Figure 2021532875
 である。本明細書で説明されているように、このタイプのニューラルネットワークモデルは、一般化不均一変分ネットワークと呼ばれる。
本発明者らは、本明細書で説明されるニューラルネットワークアーキテクチャのいくつかの実施形態が、以下に従って表され得るニューラルネットワークモデルの実施形態として考えられ得ることを認識している。
Figure 2021532875
この一般的なタイプのニューラルネットワークモデルは、順方向演算子Ａと生の空間周波数ドメインデータｙ、および任意の次元とすることができる追加の学習可能なパラメータθとの組み合わせである任意の入力を入力として受け入れてもよい。パラメータθは、訓練プロセス中に調整されてもよい。
式（８）のニューラルネットワークへの入力は、ＭＲＩシステムの１つ以上のＲＦコイルによって得られるデータであってもよく、本明細書で説明される技術の態様は、単一のＲＦコイルによって収集されるデータから画像を再構成することに限定されない。追加的に、入力データｙは、複数のコントラストおよび／または取得パラメータの異なるセット（例えば、反復時間（ＴＲ）、エコー時間（ＴＥ）、フリップ角θなどを変化させることによって）を用いて得られてもよい。いくつかの実施形態において、ネットワークへの入力は、生のデータｙであってもよいが、これに限定されない。追加的または代替的に、ネットワークへの入力は、随伴再構成ＡＨｙであり、ここでは、Ｈは行列の共役転置である。
いくつかの実施形態では、データｙが複数のＲＦコイルによって収集されたデータを含む場合、これらのデータｙは、Ｎｃｏｉｌの別々のデータセットに分離され、ｉ＝１，…，Ｎｃｏｉｌに対するｙ（ｉ）を示し、Ｎｃｏｉｌは、任意の数（例えば、８、９または１０などの２〜２０の範囲の任意の数）とすることができる。このようないくつかの実施形態では、ニューラルネットワーク入力は、各コイル画像
Figure 2021532875
 の随伴再構成であってもよく、ｉ＝１，…，Ｎｃｏｉｌに対する
Figure 2021532875
 は、まとめて積み重ねられて、ネットワーク（例えば、ネットワークの畳み込み層部）への入力を形成することができる。
いくつかの実施形態において、生のデータｙは、１つ以上のＲＦコイルの各々によって得られた複数の測定値を含んでもよい。例えば、データが複数回、いうなればＮａｖｇ回測定される場合、これらのデータ、これらのデータの随伴再構成、またはこれらのデータ測定の他の任意の機能および順方向オペレータＡは、ニューラルネットワークへの入力を形成してもよい。例えば、信号平均化および／または異なるコントラストで画像を取得する一部として、複数の測定値が得られてもよい。
いくつかの実施形態において、上述のように、式８（Ｅｑ．８）のニューラルネットワークへの入力はまた、Ａおよび／またはｙに基づく任意の関数であってもよい。例えば、いくつかの実施形態において、グリッディング再構成は、ネットワークへの入力であってもよい。グリッディング再構成は、ｘ０＝ＡＨＷｙの形式を有してもよく、ここで、Ｗは、サンプル密度補償重みと呼ばれ、これは、ベクトルｙにおける各要素をスケーリングする行列である。
サンプル密度補償重みＷを計算するために、多数の技術のいずれかが使用されてもよい。例えば、いくつかの実施形態では、重みＷは、Ｗ＝ＡＨＡ１に従って計算されてもよく、ここでは、１は、複数の１のベクトルである。別の例として、重みＷは、任意の適切なユーザ定義関数であってもよい。さらに別の例として、重みＷは、ニューラルネットワーク訓練中に学習および調整されてもよく、その場合、重みは、学習されたサンプル密度補償重みと称される。いくつかの実施形態において、ネットワークへの入力は、順方向演算子Ａを使用せずに、学習されたものであれ、固定された学習可能なものであれ、重みＷとｙの組み合わせであってもよい。
また、ニューラルネットワークは、生のデータｙに対して動作する必要がなく、いくつかの実施形態では、これらのデータは、前処理されてもよいと理解されたい。例えば、いくつかの実施形態において、これらのデータは、干渉除去、ノイズ除去、フィルタリング、平滑化、画像プリホワイトニングなどの動作を実行するために前処理されてもよい。より一般的には、ネットワークは形式ｆ（ｙ，Ａ，θ）を有する。
ニューラルネットワークの重みθに関して、これらの重みは、訓練手順の一部として、任意の適切な方法で初期化され得る。例えば、重みは、（例えば、Ｈｅ， Ｋ．， ｅｔ ａｌ．： Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）． ｐｐ． １０２６−１０３４ （２０１５）におけるＨｅ初期化とそれに続く式１２を用いて）ランダムに初期化されてもよい。別の例として、ネットワーク重みは、ユーザによって提供される設定に従って初期化されてもよい。別の例として、ネットワーク重みは、学習されたサンプリング密度重み（例えば、学習されたサンプリング密度重みは、ネットワーク重みのサブセットであってもよく、ネットワーク重みは、学習されたサンプリング密度重みを用いて初期化されてもよく、その後、すべての重みが訓練中に調整されてもよい）を含んでもよい。
式（８）におけるニューラルネットワークの出力ｘｒｅｃに関して、出力は、それぞれのＲＦコイル当たり１つ以上の画像を含んでもよい。例えば、入力データがＮｃｏｉｌのＲＦコイルの各々からのデータを含む場合、出力は、そのような各ＲＦコイルについての１つのＭＲ画像、またはそのような各コイルについての複数のＭＲ画像を含んでもよい（例えば、各コイルが、例えば、異なるコントラストを用いて複数の取得を実行するとき）。
いくつかの実施形態において、式（８）において特定されるタイプの複数のニューラルネットワークが使用されてもよく、これらのネットワークの出力は、複数のニューラルネットワークがアンサンブルとして利用されるように組み合わせられてもよい。この組み合わせは、限定されるわけではないが、平均、加重平均、外れ値の棄却を伴う平均化、およびユーザ定義基準（例えば、手動検査、シグナル対ノイズ比、知覚メトリック、および／または任意の他の適切なメトリックなどの定量的メトリックに基づく自動選択）による「最良」再構築の選択を含む、任意の適切なタイプの集約ルールを用いて実行され得る。代替的には、いくつかの実施形態では、個々のニューラルネットワークからのｘｒｅｃの複数のインスタンスがまとめて積み重ねられて、ネットワークの出力とみなされてもよい。
上述したように、式（８）のニューラルネットワーク形成の多くの可能な実施形態が存在し、限定されるわけではないが、（１）図１３Ａ〜Ｄを参照したものを含め、本明細書で説明されたような不均一変分ネットワーク（ＮＶＮ）、（２）図１３Ａ、１３Ｄおよび１３Ｅを参照して本明細書で説明されたような一般化不均一変分ネットワーク（ＧＮＶＮ）、（３）図１Ａ〜Ｃを参照したもの含め、本明細書で説明されたような深層Ｋ空間補間再構成（ＤＫＩＲ）ネットワーク、および（４）図５Ａ〜５Ｃを参照したものを含め、本明細書で説明されたような深層非局所再構成（ＤＮＲ）ネットワークなど、本明細書で記載された実施形態を含む。
上述のネットワークアーキテクチャのいくつかは、畳み込みニューラルネットワークブロックを含むが、例えば、残差ネットワーク、ｄｅｎｓｅｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ、またはｓｑｕｅｅｚｅ ａｎｄ ｅｘｃｉｔａｔｉｏｎ ｎｅｔｗｏｒｋを含む畳み込みニューラルネットワークブロックに加えて、またはその代わりに、他のタイプのブロックを用いてもよいことに留意されたい。
いくつかの実施形態において、上述のネットワークのいずれか１つは、平均二乗誤差を用いて訓練されてもよい。例えば、いくつかの実施形態では、ＮＶＮアーキテクチャ（例えば、ブロック１３１６−ｉ）またはＧＮＶＮアーキテクチャ（例えば、ブロック１３６０−ｉ）における再構成ブロックの各々は、
Figure 2021532875
 に従って、平均二乗誤差基準を用いて訓練されてもよい。
いくつかの実施形態では、再構成ブロックは、各コイル加重画像ｘｃを別々にまたはまとめて再構成することができる。また、各信号ｎａｖｇ＝１，…，Ｎａｖｇをまとめてまたは別々に再構成することを試みることができる。
図１４は、本明細書で説明される技術のいくつかの実施形態に従った、非デカルトサンプリングを用いて得られた入力ＭＲ空間周波数データからＭＲ画像を生成するためにニューラルネットワークモデルを使用するための例示的なプロセス１４００のフローチャートである。いくつかの実施形態において、プロセス１４００は、不均一変分ネットワーク（例えば、図１３Ａ〜図１３Ｄを参照して説明されるニューラルネットワーク）、一般化不均一変分ネットワーク（例えば、図１３Ａ、図１３Ｄ、および図１３Ｅを参照して説明されるニューラルネットワーク）、または任意の他の適切なタイプのニューラルネットワークモデルを用いて実行されてもよい。
いくつかの実施形態では、例示的なプロセス１４００は、任意の適切な計算デバイスを用いて実行されてもよい。例えば、いくつかの実施形態では、プロセス１４００は、被験体を撮像することによって入力ＭＲ空間周波数データを取得したＭＲＩシステムと共位置（例えば、同じ部屋）に位置する計算デバイスによって実行されてもよい。別の例として、いくつかの実施形態では、プロセス１４００は、被写体を撮像することによって入力空間周波数データを取得したＭＲＩシステムから遠隔（例えば、クラウドコンピューティング環境の一部として）に位置する１つ以上のプロセッサによって実行されてもよい。
プロセス１４００は、アクト１４０２において開始し、ここでは、入力ＭＲ空間周波数データが得られる。いくつかの実施形態では、入力ＭＲ空間周波数データは、アクト１４０２でアクセスされるように、ＭＲＩシステムによって予め取得され、その後の分析のために記憶されている。他の実施形態では、入力ＭＲ空間周波数データは、プロセス１４００の一部として、ＭＲＩシステム（本明細書で説明されるＭＲＩシステムのいずれかを含む）によって得られてもよい。いつＭＲＩシステムが、撮像を実行して、入力ＭＲ空間周波数データを得たかにかかわらず、データは、非デカルトサンプリング軌道を用いて得られてもよく、その例を本明細書において提供する。
次に、プロセス１４００は、アクト１４０４に進み、ここでは、入力ＭＲ空間周波数データは、前処理されて、初期画像再構成を得る。例えば、いくつかの実施形態では、入力ＭＲ空間周波数データは、不均一フーリエ変換を用いて画像ドメインに変換されてもよい。例えば、入力ＭＲ空間周波数データｙは、本明細書で説明される随伴演算子ＡＨを用いて（例えば、計算ＡＨｙによって）画像ドメインに変換されてもよい。別の例として、入力ＭＲ空間周波数データは、行列Ｗがサンプリング密度補償行列であり、これは、行列ＡＨＡ１であり、ここで、１は複数の１のベクトル、ユーザ指定行列、訓練中に学習された行列、および／またはそれらの任意の適切な組み合わせであり得る、グリッディング再構成を用いて画像ドメインに変換されてもよい。図１３Ａの例示的な実施例では、前処理は、初期処理ブロック１３１２によって実行されてもよい。
いくつかの実施形態では、イニシャライザブロックは、入力ＭＲ空間周波数データを画像ドメインに変換して、ニューラルネットワークモデル１３１０によるその後の処理のための初期画像を生成する。イニシャライザブロックは、任意の適切な方法で実装されてもよい。例えば、いくつかの実施形態では、イニシャライザブロックは、随伴不均一フーリエ変換を入力ＭＲ空間周波数データに適用して、初期画像を得てもよい。別の例として、いくつかの実施形態では、イニシャライザブロックは、グリッディング再構成を入力ＭＲ空間周波数データに適用して、初期画像を得てもよい。
次に、プロセス１４００は、アクト１４０６に進み、ここでは、アクト１４０４で得られた初期画像（またはアクト１４０６が、１つ以上のニューラルネットワークブロックが初期画像に既に適用された後に決定ブロック１４０８からの戻り経路上で実行されているときの現在の画像データ）に、ニューラルネットワークモデルのブロックが適用される。いくつかの実施形態において、ニューラルネットワークモデルのブロックは、動作１４０２において得られた初期ＭＲ空間周波数データを考慮に入れるために、不均一フーリエ変換を用いて、データ一貫性処理を実行するように構成されてもよい。これは、任意の適切な方法でなされてもよい。例えば、いくつかの実施形態では、データ一貫性処理は、図１３Ｂを参照して説明したブロック１３１６−ｉのようなデータ一貫性ブロックによって実行されてもよい。このようなブロックでは、データ一貫性処理は、不均一フーリエ変換を用いて空間周波数ドメインに変換された中間再構成を変換することと、その結果を入力ＭＲ空間周波数データと比較することとを伴う。別の例として、いくつかの実施形態では、データ一貫性処理は、不均一フーリエ変換を用いて入力ＭＲ空間周波数データを画像ドメインに変換し、例えば、図１３Ｅを参照して説明されたニューラルネットワークブロック１３６０−ｉにおいて行われるように、１つ以上の畳み込みブロックに入力として結果を提供することによって実行してもよい。
次に、プロセス１４００は、決定ブロック１４０８に進み、ここでは、別のニューラルネットワークブロックが適用されるかどうかが決定される。別のブロックが適用されることが決定される場合、プロセス１４００は、アクト１４０６に戻り、ここでは、別のニューラルネットワークブロックが、ブロック１４０６の最後の反復の完了において生成された画像データに適用される。そうでなければ、この画像データは、アクト１４１０において最終再構成ＭＲ画像として出力される。
本発明者らは、実世界のＭＲ画像について、図１３Ａ〜１３Ｅおよび１４を参照することを含めて、本明細書で説明されるニューラルネットワークアーキテクチャの性能を評価した。これらの実験の詳細については、次に説明される。
実験の一部として、Ｈｕｍａｎ Ｃｏｎｎｅｃｔｏｍｅ Ｐｒｏｊｅｃｔ（ｈｔｔｐｓ：／／ｗｗｗ．ｈｕｍａｎｃｏｎｎｅｃｔｏｍｅ．ｏｒｇ／ｓｔｕｄｙ／ｈｃｐ−ｙｏｕｔｈ−ａｄｕｌｔｓ／ｄｏｃｕｍｅｎｔ／１２００−ｓｕｂｊｅｃｔｓ−ｄａｔａ−ｒｅｌｅａｓｅ）からランダムに選択された６４０のＴ１加重脳画像とＴ２加重脳画像が得られた。６００の画像がニューラルネットワークを訓練するために使用されるが、４０の画像が訓練されたニューラルネットワークの性能を評価するために使用された。現実的なシミュレーションを実行するために、多くの前処理ステップが実行された。最初に、Ｈｕｍａｎ Ｃｏｎｎｅｃｔｏｍｅ Ｐｒｏｊｅｃｔからは振幅画像のみが提供されたので、ランダムにサンプリングされた低次元係数を有する二次元フーリエ基底を用いて、位相情報を振幅データに加えることによって、複素数値画像が作成された。第２に、ＭＲＩ ＲＦコイルの解析モデルから導出された空間的に局所化された複素コイル感度プロファイルを画像に乗じた。最後に、並列画像取得のために観測可能な現実的なノイズ量を画像に加えた。実験のために、画像を３．４×３．４×３．４ｍｍ３、１．７×１．７×１．７ｍｍ３、および１．１５×１．１５×１．１５ｍｍ３の等方解像度で１８０×１８０×１８０ｍｍ３の視野（ＦＯＶ）に再サンプル化され、結果として、６４３、１２８３、１９２３の行列サイズとなった。
これらの実験では、不均一ＭＲデータ再構成の挙動を研究するために単一コイル再構成を評価する。ＭＲデータは、２Ｄ不均一可変密度を用いてアンダーサンプリングされ、ここで、サンプリング密度は、二次速度でｋ空間中心から減衰する。各行列サイズに対して、目標加速ファクタＲ∈｛２，４｝を有するサンプリング軌道を生成した。評価のために、平均二乗誤差（ＭＳＥ）、構造類似度指数測定（ＳＳＩＭ）、およびピーク信号対雑音比（ＰＳＮＲ）を測定した。
本明細書で開発された技術は、（１）ＡＵＴＯＭＡＰ （Ｚｈｕ Ｂ．， ｅｔ ａｌ．： Ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｂｙ ｄｏｍａｉｎ−ｔｒａｎｓｆｏｒｍ ｍａｎｉｆｏｌｄ ｌｅａｒｎｉｎｇ． Ｎａｔｕｒｅ ５５５（７６９７）， ４８７ （２０１８））、（２）画像ドメインＵ−ｎｅｔ（Ｈａｎ， Ｙ．， ｅｔ ａｌ．： Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ ｆｏｒ ａｃｃｅｌｅｒａｔｉｏｎ ｐｒｏｊｅｃｔｉｏｎ−ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ＭＲ． Ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｎ ｍｅｄｉｃｉｎｅ ８０（３）， １１８−１２０５ （２０１８））、および（３）ｋ−空間ドメインＵ−ｎｅｔを含む、不均一ＭＲデータに適用された多くの従来技術を用いて開発された。すべての深層学習方法は、ＭＳＥを用いて訓練された。ＡＵＴＯＭＡＰは、ＧＰＵメモリの要求が高いため、６４×６４の行列サイズのみについてのみ訓練された。図１３Ａ〜Ｄに示すアーキテクチャを有するＮＶＮアプローチに対して、各畳み込みサブブロックに対して３レベルのダウンサンプリング（例えば、図１３Ｄを参照）を有するＵ−ｎｅｔである。Ｎｉｔ＝５ブロックがブロックの数に対して使用され、随伴ＡＨｙをｆｉｎｉｔに対して使用した。ＧＮＶＮアプローチの場合、５層畳み込みニューラルネットワークをｆｓｅｎｓｏｒ−ｃｎｎに対して使用した。各ネットワークは、α＝１０ー４、β１＝０．９、β２＝０．９９９でＡｄａｍオプティマイザを用いて、８，０００エポックに対して訓練された。いずれの方法もＴｅｎｓｏｒＦｌｏｗで実装した。
評価結果を以下の表１にまとめる。本発明者らによって開発されたＮＶＮおよびＧＮＶＮアプローチは、両方の加速ファクタについて、ベースラインアプローチに対して一貫して優れた。ＡＵＴＯＭＡＰおよびｋ空間Ｕ−ｎｅｔは、いずれも他の方法に及ばなかった。
Figure 2021532875
 表１：加速ファクタ（Ｒ）２および４に対する定量結果
各メトリックについて、平均および標準偏差を計算。
平均二乗誤差（ＭＳＥ）については、値は、１０３によりスケーリングされる。
ＮＶＮアプローチとＧＮＶＮアプローチの間では、ＮＶＮアプローチはより高いデータ忠実度（より低い平均二乗誤差）を示したが、ＧＮＶＮアプローチはＰＳＮＲとＳＳＩＭに対してより良い値を提供した。Ｒ＝２に対してＴ１加重画像、Ｒ＝４に対してＴ２加重画像のサンプル再構成をそれぞれ図１５Ａおよび図１５Ｂに示す。Ｕーｎｅｔ、ＮＶＮおよびＧＮＶＮの間の全体的な差異は小さかったが、ＮＶＮおよびＧＮＶＮからの再構成は、データ一貫性処理により、より低い誤差をもたらした。結果として、ＧＮＶＮは、全体的な誤差を最小にし、微細な細部をより多く保持した。それにもかかわらず、付加雑音により、特定のレベルのぼやけがすべての画像で観察され得る。再度、単一コイルに対するＵーｎｅｔ（ｋ空間）は定性的に準最適再構成をもたらした。図１５Ｃでは、各ブロックにおけるＮＶＮとＧＮＶＮの出力を可視化している。興味深いことに、圧縮検知法とは異なり、中間画像は最終画像から発散することができる。これは、そのような挙動を強制する制約がなかったため、驚くに値しない。ＮＶＮに対して、おそらくＤＣ−ｉブロックとＣＮＮ−ｉブロックの出力が明示的に結合されているため、各ブロックの出力のほとんどがより真値に近いように見える。比較すると、ＧＮＶＮはすべての中間段階に対してより興味深い特徴を示し、主に高周波情報を強調している。
これらの実験において、パラメータの数は、ＡＵＴＯＭＡＰ（６４×６４）、Ｕ‐ｎｅｔ、ＮＶＮおよびＧＮＶＮに対して、それぞれ１２８．１Ｍ、２２．０Ｍ、６．６Ｍおよび７．３Ｍであった。再構成速度は、（画像サイズ６４３に対する）ＡＵＴＯＭＡＰ、Ｕ−ｎｅｔ、Ｕ−ｎｅｔ（ｋ空間）、それぞれ画像サイズ１９２３に対するＮＶＮおよびＧＮＶＮに対して、それぞれ、５．９２８±０．０２０ｍｓ、１９．１４５±０．０７２ｍｓ、１９．４５９±０．０７７ｍｓ、４４．９３４±０．０８８ｍｓ、および６５．５２０±０．１００ｍｓであった。
図１６は、ＭＲＩシステム１６００の例示的な構成要素のブロック図である。図１６の例示的な実施例では、ＭＲＩシステム１６００は、ワークステーション１６０４、コントローラ１６０６、パルスシーケンスストア１６０８、電力管理システム１６１０、および磁気構成要素１６２０を含む。システム１６００は、例示的なものであり、ＭＲＩシステムは、図１６に示される構成要素に加えて、またはその代わりに、任意の好適なタイプの１つ以上の他の構成要素を有し得ると理解されたい。
図１６に示されているように、磁性構成要素１６２０は、Ｂ０磁石１６２２、シムコイル１６２４、ＲＦ送信および受信コイル１６２６、および勾配コイル１６２８を含む。Ｂ０磁石１６２２は、少なくとも部分的に、主磁界Ｂ０を生成するために使用されてもよい。Ｂ０磁石１６２２は、主磁界（例えば、大体０．２Ｔ以下の低磁界強度）を生成し得る任意の適切なタイプの磁石であってもよく、１つ以上のＢ０コイル、補正コイルなどを含んでもよい。シムコイル１６２４は、磁石１６２２によって生成されるＢ０磁界の均一性を改善するために、磁界に寄与するために使用されてもよい。勾配コイル１６２８は、勾配場を提供するように配置されてもよく、例えば、ＭＲ信号が誘導される場所を局所化するために、３つの実質的に直交する方向（Ｘ、Ｙ、Ｚ）に磁界中の勾配を生成するように配置されてもよい。
ＲＦ送信コイルおよび受信コイル１６２６は、ＲＦパルスを生成して、磁界Ｂ１を誘導するために使用され得る１つ以上の送信コイルを含んでもよい。送信／受信コイルは、被験者のＭＲ応答を励起し、放出された結果のＭＲ信号を検出するように構成された任意の適切なタイプのＲＦパルスを生成するように構成されてもよい。ＲＦ送信コイルおよび受信コイル１６２６は、１つ以上の送信コイルおよび１つ以上の受信コイルを含んでもよい。送信／受信コイルの構成は、実装で変化し、送信および受信の両方のための単一コイル、送信および受信のための別個のコイル、送信および／または受信のための複数コイル、または単一チャネルまたは並列ＭＲＩシステムを達成するための任意の組み合わせを含んでもよい。したがって、送信／受信磁気構成要素は、ＭＲＩシステムの送信および受信構成要素のための様々な構成を一般的にＴｘ／ＲｘまたはＴｘ／Ｒｘコイルと称されることが多い。
磁性構成要素１６２０の各々は、任意の適切なタイプであってもよく、任意の適切な方法で構成されてもよい。例えば、いくつかの実施形態では、Ｂ０磁石１６２２は、（例えば、図１７Ａ〜図１７Ｂおよび図１８Ａ〜図１８Ｂを参照して後述されるように）電磁石または永久磁石 であってもよい。別の例として、いくつかの実施形態では、１つ以上の磁性構成要素１６２０（例えば、シムコイル１６２４および／または勾配コイル１６２８）は、積層技術を用いて加工されてもよい。
電力管理システム１６１０は、低磁界ＭＲＩシステム１６００の１つ以上の構成要素に動作電力を提供するための電子機器を含む。例えば、電力管理システム１６１０は、１つ以上の電源、勾配電力増幅器、送信コイル増幅器、および／または低磁界ＭＲＩシステム１６００の構成要素に通電および動作させるために適切な動作電力を提供するために必要な任意の他の適切な電力電子機器を含んでもよい。
図１６に示されているように、電力管理システム１６１０は、電源１６１２、増幅器１６１４、送信／受信スイッチ１６１６、および熱管理構成要素１６１８を含む。電源１６１２は、低磁界ＭＲＩシステム１６００の磁気構成要素１６２０に動作電力を提供するための電子機器を含む。例えば、いくつかの実施形態では、電源１６１２は、１つ以上のＢ０コイル（例えば、Ｂ０磁石１６２２）に動作電力を提供して、低磁界ＭＲＩシステム、１つ以上のシムコイル１６２４、および／または１つ以上の勾配コイル１６２８のための主磁界を生成するための電子機器を含んでもよい。一部の実施形態では、電源１６１２は、単極連続波（ＣＷ）電源であってもよいが、任意の適切な電源が使用されてもよい。送信／受信スイッチ１６１６は、ＲＦ送信コイルまたはＲＦ受信コイルのいずれが動作しているかを選択するために使用されてもよい。
いくつかの実施形態では、増幅器１６１４は、１つ以上のＲＦ受信コイル（例えば、コイル１６２４）によって検出されたＭＲ信号を増幅する１つ以上のＲＦ受信（Ｒｘ）プリアンプ、１つ以上のＲＦ送信コイル（例えば、コイル１６２６）に電力を提供するように構成されている１つ以上のＲＦ送信（Ｔｘ）増幅器、１つ以上の勾配コイル（例えば、勾配コイル１６２８）に電力を提供するように構成されている１つ以上の勾配電力増幅器、および／または１つ以上のシムコイル（例えば、シムコイル１６２４）に電力を提供するように構成されている１つ以上のシム増幅器を含んでもよい。
いくつかの実施形態では、熱管理構成要素１６１８は、低磁界ＭＲＩシステム１６００の構成要素の冷却を提供し、低磁界ＭＲＩシステム１６００の１つ以上の構成要素によって生成される熱エネルギーのこれらの構成要素からの移動を容易にすることによって、それを行うように構成されてもよい。熱管理構成要素１６１８は、限定されるわけではないが、Ｂ０コイル、勾配コイル、シムコイル、および／または送信／受信コイルを含む、熱を生成するＭＲＩ構成要素と一体化されるか、またはＭＲＩ構成要素に非常に近接して配置されてもよい、水ベースまたは空気ベースの冷却を実行する構成要素を含んでもよい。熱管理構成要素１６１８は、低磁界ＭＲＩシステム１６００の構成要素から熱を移動させるために、空気および水を含むが、これらに限定されない任意の適切な熱伝達媒体を含んでもよい。
図１６に示されているように、低磁界ＭＲＩシステム１６００は、電力管理システム１６１０に命令を送信し、電力管理システム１６１０から情報を受信するための制御電子機器を有するコントローラ１６０６（コンソールとも呼ばれる）を含む。コントローラ１６０６は、所望のシーケンスで磁気構成要素１６２０を動作させるために電力管理システム１６１０に送信された命令を決定するために使用される、１つ以上のパルスシーケンスを実装するように構成されてもよい。例えば、コントローラ１６０６は、ｂＳＳＦＰ（ｂａｌａｎｃｅｄ ｓｔｅａｄｙ−ｓｔａｔｅ ｆｒｅｅ ｐｒｅｃｅｓｓｉｏｎ）パルスシーケンス、低磁界勾配エコーパルスシーケンス、低磁界スピンエコーパルスシーケンス、低磁界反転リカバリパルスシーケンス、動脈スピンラベリング、拡散加重撮像（ＤＷＩ）、および／または任意の他の適切なパルスシーケンスに従って、磁気構成要素１６２０を動作させるように電力管理システム１６１０を制御するように構成されてもよい。コントローラ１６０６は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの任意の適切な組み合わせとして実装されてもよく、本明細書で提供される開示の態様がこの点において限定されない。
いくつかの実施形態において、コントローラ１６０６は、１つ以上のパルスシーケンスの各々についての情報を記憶するパルスシーケンスリポジトリ１６０８からパルスシーケンスに関する情報を得ることによって、パルスシーケンスを実装するように構成されてもよい。特定のパルスシーケンスについてパルスシーケンスリポジトリ１６０８によって記憶される情報は、コントローラ１６０６が特定のパルスシーケンスを実装することを可能にする任意の適切な情報であり得る。例えば、パルスシーケンスについてパルスシーケンスリポジトリ１６０８に記憶される情報は、パルスシーケンスに従って磁気構成要素１６２０を動作させるための１つ以上のパラメータ（例えば、ＲＦ送信および受信コイル１６２６を動作させるためのパラメータ、勾配コイル１６２８を動作させるためのパラメータなど）、パルスシーケンスに従って電力管理システム１６１０を動作させるための１つ以上のパラメータ、コントローラ１６０６によって実行されるときに、コントローラ１６０６に、システム１６００がパルスシーケンス従って動作するように制御させる命令を含む１つ以上のプログラム、および／または任意の他の適切な情報を含んでもよい。パルスシーケンスリポジトリ１６０８に記憶された情報は、１つ以上の非一時記憶媒体に記憶されてもよい。
図１６に示されているように、いくつかの実施形態では、コントローラ１６０６は、受信されたＭＲデータ（いくつかの実施形態では、空間周波数ドメインＭＲデータであり得る）を処理するようにプログラムされた計算デバイス１６０４と対話してもよい。例えば、計算デバイス１６０４は、受信されたＭＲデータを処理して、空間周波数ＭＲデータからＭＲ画像を生成するためにニューラルネットワークモデルを使用する本明細書で説明される任意の技術を使用することを含む、任意の適切な画像再構成プロセスを用いて、１つ以上のＭＲ画像を生成してもよい。例えば、計算デバイス１６０４は、図２Ａ、２Ｂ、２Ｃ、２Ｄおよび１４を参照して、本明細書で説明される任意のプロセスを実行してもよい。コントローラ１６０６は、計算デバイスによるデータの処理のために、１つ以上のパルスシーケンスに関する情報を計算デバイス１６０４に提供してもよい。例えば、コントローラ１６０６は、１つ以上のパルスシーケンスに関する情報を計算デバイス１６０４に提供してもよく、計算デバイスは、少なくとも部分的に、提供された情報に基づいて画像再構成プロセスを実行してもよい。
いくつかの実施形態では、計算デバイス１６０４は、取得されたＭＲデータを処理し、画像化される被験者の１つ以上の画像を生成するように構成されている任意の電子デバイス（複数可）であってもよい。いくつかの実施形態では、計算デバイス１６０４は、デスクトップコンピュータ、サーバ、ラックマウントされたコンピュータ、またはＭＲデータを処理し、撮像される被験者の１つ以上の画像を生成するように構成され得る任意の他の適切な固定電子デバイスなどの固定電子デバイスを含んでもよい。代替的に、計算デバイス１６０４は、スマートフォン、パーソナルデジタルアシスタント、ラップトップコンピュータ、タブレットコンピュータ、またはＭＲデータを処理し、画像化されるの１つ以上の画像を生成するように構成され得る任意の他のポータブルデバイスなどのポータブルデバイスであってもよい。いくつかの実施形態において、計算デバイス１３０４は、任意の適切なタイプの複数の計算デバイスを含んでもよく、本明細書で説明される技術の態様がこの点において限定されない。
いくつかの実施形態では、ユーザ１６０２は、低磁界ＭＲシステム１６００の態様を制御する（例えば、システム１６００が特定のパルスシーケンスに従って動作するようにプログラムする、システム１６００の１つ以上のパラメータを調整する、など）ため、および／または低磁界ＭＲシステム１６００によって得られた画像を見るために、計算デバイス１６０４と対話してもよい。いくつかの実施形態によれば、計算デバイス１６０４およびコントローラ１６０６は、単一のコントローラを形成するが、他の実施形態では、計算デバイス１６０４およびコントローラ１６０６は、各々、１つ以上のコントローラを含む。本明細書で説明される技術の態様は、特定の実装またはアーキテクチャで使用するために限定されないため、計算デバイス１６０４およびコントローラ１６０６によって実行される機能性は、１つ以上のコントローラの任意の組み合わせ上で任意の方法で分散されてもよいと理解されたい。
図１７Ａおよび１７Ｂは、本明細書で説明される技術のいくつかの実施形態に従った、Ｂ０磁石のための双平面永久磁石構成を示す。図１７Ａは、いくつかの実施形態に従って、永久Ｂ０磁石２１００を示す。図示の実施形態では、Ｂ０磁石２１００は、双平面形状に配置された永久磁石２１１０ａおよび２１１０ｂと、永久磁石によって生成された電磁束を捕捉し、永久磁石２１１０ａと２１１０ｂとの間の磁束密度を増加させるために、磁束を対向する永久磁石に移動させるヨーク２１２０とによって形成される。永久磁石２１１０ａおよび２１１０ｂの各々は、複数の同心の永久磁石リングから形成される。特に、図１７Ａに見えるように、永久磁石２１１０ｂは、永久磁石２１１４ａの外側リング、永久磁石２１１４ｂの中間リング、永久磁石２１１４ｃの内側リング、および中心に永久磁石ディスク２１１４ｄを含む。４つの同心の永久磁石リングで示されるが、永久磁石２１１０ｂ（および永久磁石２１１０ａ）は、任意の適切な数の永久磁石リングを有してもよく、本明細書で説明される技術の態様がこの点において限定されない。永久磁石２１１０ａは、永久磁石２１１０ｂと実質的に同一に形成されてもよく、例えば、永久磁石２１１０ｂと同じセットの永久磁石リングを含んでもよい。
使用される永久磁石材料は、システムの設計要件に応じて選択されてもよい。例えば、いくつかの実施形態によれば、永久磁石（またはその一部分）は、ＮｄＦｅＢで作製されてもよく、これは、いったん磁化された材料の単位体積当たりに比較的高い磁界を生成する。いくつかの実施形態では、ＳｍＣｏ材料が、永久磁石またはその一部分を形成するために使用される。ＮｄＦｅＢはより高い磁界強度を生成する（一般に、ＳｍＣｏより安価である）が、ＳｍＣｏはより少ない熱ドリフトを呈し、温度変動に直面してもより安定な磁界を提供する。他のタイプの永久磁石材料も同様に用いられてもよく、本明細書で説明される技術の態様がこの点において限定されない。一般に、使用される永久磁石材料のタイプ（複数可）は、所与のＢ０磁石実装の磁界強度、温度安定性、重量、コスト、および／または使用要件の容易性に少なくとも部分的に依存する。
いくつかの実施形態では、永久磁石リングは、永久磁石２１１０ａと２１１０ｂとの間のイメージング領域（視野）に所望の強度の均一な磁界を生成するようにサイズ決定され、配置される。図１７Ａに示されている例示的な実施形態では、各永久磁石リングは複数のセグメントを含み、各セグメントは、半径方向に積層され、周囲に関して互いに隣接して位置決めされた複数の永久磁石ブロックを用いて形成されて、それぞれのリングを形成する。本発明者らは、各永久磁石の幅（リングに接する方向）を変化させることによって、より少ない材料を使用しながら、有用な空間の無駄をより少なくすることができると理解した。例えば、有用な磁界を生成しないスタック間の空間は、ブロックの幅を変化させることによって、例えば、ブロックの半径方向位置の関数として減少させることができ、これにより、無駄な空間を減少させ、所与の空間において生成し得る磁界の量を最大化するためにより密着を可能にする。ブロックの寸法はまた、所望の強度および均一性の磁界の生成を容易にするために、任意の所望の方法で変化させてもよい。例えば、いくつかの実施形態において、異なるリングのブロックの高さは、互いに異なっていてもよいし、および／または特定のリング内の１つ以上のブロックの高さは、所望の強度および均一性の磁界を達成するために互いに異なっていてもよい。
図１７Ａに示されるように、Ｂ０磁石２１００は、永久磁石２１１０ａおよび２１１０ｂによって生成する磁束を捕捉し、Ｂ０磁石の反対側にそれを指向して、永久磁石２１１０ａおよび２１１０ｂの間の磁束密度を増加させ、Ｂ０磁石の視野内の磁界強度を増加させるように構成および配置されているヨーク２１２０をさらに含む。磁束を捕捉し、それを永久磁石２１１０ａと２１１０ｂとの間の領域に指向することによって、より少ない永久磁石材料を用いて、所望の磁界強度を達成することができ、Ｂ０磁石２１００のサイズ、重量、およびコストを低減する。代替的には、所与の永久磁石に対して、磁界強度を増加させることができ、永久磁石材料の量を増加させる必要なく、システムのＳＮＲを改善する。例示的なＢ０磁石２１００について、ヨーク２１２０は、フレーム２１２２と、プレート２１２４ａおよび２１２４ｂとを含む。プレート２１２４ａおよび２１２４ｂは、永久磁石２１１０ａおよび２１１０ｂによって生成された磁束を捕捉し、それをヨークの磁気戻り経路を介して循環させるようにフレーム２１２２に指向して、Ｂ０磁石の視野内の磁束密度を増加させてもよい。ヨーク２１２０は、ヨークに所望の磁気特性を提供するために、所望の強磁性材料、例えば、低炭素鋼、ＣｏＦｅおよび／またはシリコン鋼などで構築されてもよい。いくつかの実施形態では、プレート２１２４ａおよび２１２４ｂ（および／またはフレーム２１２２またはその一部）は、勾配コイルが最も一般的に渦電流を誘発し得る領域において、シリコン鋼などで構築されてもよい。
例示的なフレーム２１２２は、それぞれプレート２１２４ａおよび２１２４ｂに取り付けられるアーム２１２３ａおよび２１２３ｂと、永久磁石によって生成する磁束の磁気戻り経路を提供する支持体２１２５ａおよび２１２５ｂとを含む。アームは、一般に、永久磁石によって生成する磁束の戻り経路のための十分な断面を提供しながら、永久磁石を支持するのに必要な材料の量を低減するように設計される。フレーム２１２２は、Ｂ０磁石によって生成されるＢ０磁界に対する磁気戻り経路内に２つの支持体を有する。支持体２１２５ａおよび２１２５ｂは、間に形成されたギャップ２１２７を用いて生成され、永久磁石によって生成する磁束のための十分な断面を提供しながら、フレームに対する安定性および／または構造に対する軽量性の尺度を提供する。例えば、磁束の戻り経路に必要な断面は、２つの支持構造の間で分割することができ、フレームの構造的完全性を増加させながら、十分な戻り経路を提供する。
図１７Ｂは、いくつかの実施形態に従う、Ｂ０磁石２２００を示す。Ｂ０磁石２２００は、図１７Ａに示されているＢ０磁石２１００と設計構成要素を共有してもよい。特に、Ｂ０磁石２２００は、永久磁石２２１０ａと２２１０ｂとの間の磁束密度を増加させるために、永久磁石によって生成される電磁束を捕捉し、対向する永久磁石に磁束を移動させるために、ヨーク２２２０が結合された双平面形状に配置された永久磁石２２１０ａと２２１０ｂとによって形成される。永久磁石２２１０ａおよび２２１０ｂの各々は、永久磁石２２１４ａの外側リングと、永久磁石２２１４ｂの中間リングと、永久磁石２２１４ｃの内側リングと、中心に永久磁石ディスク２２１４ｄとを含む永久磁石２２１０ｂによって示されるように、複数の同心の永久磁石から形成される。永久磁石２２１０ａは、永久磁石２２１０ｂと同じセットの永久磁石要素を含んでもよい。使用される永久磁石材料は、システムの設計要件に応じて選択され得る（例えば、所望の特性に応じて、ＮｄＦｅＢ、ＳｍＣｏなど）。
永久磁石リングは、永久磁石２２１０ａと２２１０ｂとの間の中央領域（視野）に所望の強度の均一な磁界を生成するようにサイズが決定され、配置される。図１７Ｂの例示的な実施形態では、各永久磁石リングは、所望のＢ０磁界を生成するようにサイズが決定され、位置決めされた複数の円弧セグメントを含む。図１７Ａに示されているヨーク２１２０と同様に、ヨーク２２２０は、永久磁石２２１０ａおよび２２１０ｂによって生成した磁束を捕捉し、それをＢ０磁石の反対側に指向して、永久磁石２２１０ａおよび２２１０ｂの間の磁束密度を増加させるように構成および配置される。それにより、ヨーク２２２０は、より小さい永久磁石材料を有するＢ０磁石の視野内の磁界強度を増加させ、Ｂ０磁石のサイズ、重量、およびコストを低減する。ヨーク２２２０はまた、フレーム２２２２と、プレート２２２４ａおよび２２２４ｂとを含み、これらは、ヨーク２２２０に関連して上述したものと同様に、永久磁石２２１０ａによって生成し、ヨークの磁気戻り経路を介して磁束を捕捉し、循環させ、Ｂ０磁石の視野内の磁束密度を増加させる。ヨーク２２２０の構造は、例えば、Ｂ０磁石のコストおよび重量を低減するために使用される材料の量を最小化しつつ、永久磁石によって生成する磁束を収容し、十分な安定性を提供するのに十分な材料を提供するために、上述の構造と同様であってもよい。
永久Ｂ０磁石は、いったん磁化されると、それ自身の永久磁界を生成するので、その磁界を生成するために永久Ｂ０磁石を動作させるために電力は必要とされない。その結果、ＭＲＩシステムの全体的な電力消費に対する顕著な（しばしば支配的な）寄与因子は、（例えば、電力を必要とする電磁石とは対照的に）永久磁石の使用によって排除され、主電源（例えば、標準的な壁コンセントまたは一般的な大型家電製品コンセントを介して）を用いて電力を供給することができるＭＲＩシステムの開発を容易にする。上述のように、本発明者らは、実質的に任意の環境に展開することができ、イメージング処置を受ける患者に持ち込むことができる低電力のポータブル低磁界ＭＲＩシステムを開発した。このようにして、救急室、集中治療室、手術室、および他の多くの場所の患者が、ＭＲＩが従来利用できない状況においてＭＲＩから利益を得ることができる。
図１８Ａおよび１８Ｂは、本明細書で説明される技術のいくつかの実施形態に従って、ポータブルＭＲＩシステム３８００の図を示す。ポータブルＭＲＩシステム３８００は、撮像領域内の磁束密度を増加させるために、ヨーク３８２０が結合した上部磁石３８１０ａおよび下部磁石３８１０ｂによって部分的に形成されたＢ０磁石３８１０を含む。Ｂ０磁石３８１０は、勾配コイル３８１５（例えば、その全体が参照により本明細書に組み込まれる、２０１５年９月４日に出願された、米国特許出願第１４／８４５，６５２号であって、「Ｌｏｗ Ｆｉｅｌｄ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓ」と題するものに記載された任意の勾配コイル）と共に磁石ハウジング３８１２内に収容されてもよい。いくつかの実施形態では、Ｂ０磁石３８１０は、電磁石を含む。いくつかの実施形態では、Ｂ０磁石３８１０は、永久磁石（例えば、その全体が参照により本明細書に組み込まれる、２０１７年６月３０日に出願された、米国特許出願第１５／６４０，３６９号であって、「ＬＯＷ−ＦＩＥＬＤ ＭＡＧＮＥＴＩＣ ＲＥＳＯＮＡＮＣＥ ＩＭＡＧＩＮＧ ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ」と題するものに記載された任意の永久磁石）を含む。例えば、いくつかの実施形態では、Ｂ０磁石３８１０は、図１７Ａを参照して説明された永久磁石２１００または図１７Ｂを参照して説明された永久磁石２２００であってもよい。
例示的なポータブルＭＲＩシステム３８００は、ＭＲＩシステムを動作させる電子機器を収容するベース３８５０をさらに含む。例えば、ベース３８５０は、限定されるわけではないが、１つ以上の勾配電力増幅器、オンシステムコンピュータ、電力分配ユニット、１つ以上の電源、および／または主電源（例えば、標準壁コンセントおよび／または大型家電コンセントへの接続を介して）ＭＲＩシステムを動作させるように構成された任意の他の電力構成要素を含む、電子機器を収容してもよい。例えば、ベース３８７０は、本明細書で説明されるような低電力構成要素を収容してもよく、少なくとも部分的に、ポータブルＭＲＩシステムが容易に入手可能な壁コンセントから電力供給されることを可能にする。したがって、ポータブルＭＲＩシステム３８００を患者の近くに持っていって、患者の近くにある壁コンセントに差し込むことができる。
ポータブルＭＲＩシステム３８００は、多様な構成で開閉し、位置決めすることができる可動スライド３８６０をさらに含む。スライド３８６０は、任意の適切な導電性材料または磁気材料から作製され得る電磁シールド３８６５を含み、これは、ポータブルＭＲＩシステムの動作環境において電磁ノイズを減衰させるために可動式シールドを形成し、撮像領域を少なくともいくつかの電磁ノイズからシールドする。本明細書で使用される場合、「電磁シールド」という用語は、対象のスペクトルの電磁界を減衰させ、対象の空間、物体および／または構成要素をシールドするように位置決めされるか、または配置された導電性材料または磁性材料を指す。ＭＲＩシステムの文脈において、電磁シールドは、ＭＲＩシステムの電子構成要素（例えば、電力構成要素、ケーブルなど）をシールドするため、またはＭＲＩシステムの撮像領域（例えば、視野）をシールドするため、またはその両方のために使用されてもよい。
電磁シールドから達成される減衰の程度は、使用されるタイプの材料、材料の厚さ、電磁シールドが望まれるまたは必要とされる周波数スペクトル、電磁シールドにおける開口のサイズおよび形状（例えば、導電メッシュにおける空間のサイズ、シールドされていない部分またはシールドにおける間隙のサイズなど）、および／または入射電磁界に対する開口の配向を含む多くのファクタに依存する。したがって、電磁シールドとは、一般に、少なくとも一部の電磁放射線を減衰させるように作用し、少なくとも一部の電磁放射線を減衰させることによって、所与の空間、物体または構成要素を少なくとも部分的にシールドするように位置付けられた、任意の導電性バリアまたは磁気バリアを指す。
シールド（電磁界の減衰）が望まれる周波数スペクトルは、シールドされるものに応じて異なってもよいと理解されたい。例えば、特定の電子構成要素のための電磁シールドは、ＭＲＩシステムの撮像領域のための電磁シールドとは異なる周波数を減衰させるように構成されてもよい。撮像領域に関して、対象のスペクトルは、ＭＲＩシステムがＭＲ応答を励起および検出する能力に干渉する、影響する、および／または劣化させる周波数を含む。一般に、ＭＲＩシステムの撮像領域に対する対象のスペクトルは、受信システムが検出するように構成されているか、または検出可能である所与のＢ０磁界強度における公称動作周波数（すなわち、ラーモア周波数）に関する周波数に対応する。本明細書では、このスペクトルをＭＲＩシステムのための動作スペクトルと呼ぶ。したがって、動作スペクトルに対してシールドを提供する電磁シールドは、ＭＲＩシステムの撮像領域の少なくとも一部に対して、少なくとも動作スペクトル内の周波数を減衰させるように配置または位置決めされた導電性または磁性材料を指す。
図１８Ａおよび１８Ｂに示されているポータブルＭＲＩシステム３８００では、したがって、可動シールドは、異なる配置でシールドを提供するように構成可能であり、これは、患者を収容し、患者にアクセスを提供し、および／または所定の画像化プロトコルに従って、必要に応じて調整することができる。例えば、脳スキャンのような撮像手順の場合、一旦患者が位置決めされると、スライド３９６０を例えば、ハンドル３８６２を用いて閉じて、患者の上部胴体を収容する開口部を除いて、撮像領域の周囲に電磁シールド３９６５を提供することができる。別の例として、膝スキャンのような撮像手順の場合、スライド３９６０は、患者の脚（複数可）を収容するために両側に開口部を有するように配置されてもよい。したがって、可動シールドは、シールドを、撮像手順に適した配置に構成することを可能にし、撮像領域内で患者を適切に位置決めすることを容易にする。
いくつかの実施形態では、１つ以上のノイズ低減および／または補償技術を含むノイズ低減システムを実行して、シールド３８６５によってブロックされない、または十分に減衰されない電磁ノイズの少なくとも一部を抑制してもよい。特に、本発明者らは、ＭＲＩシステムが位置する動作環境において、電磁ノイズを抑制、回避および／または拒絶するように構成されているノイズ低減システムを開発した。いくつかの実施形態によれば、これらのノイズ抑制技術は、スライドが配置され得る種々のシールド構成における動作を容易にするために、可動シールドと共に動作する。例えば、スライド３９６０が開放されると、電磁ノイズのレベルの増加が、開口部を介して撮像領域に入る可能性が高い。その結果、ノイズ抑制構成要素は、増加した電磁ノイズレベルを検出し、それに応じてノイズ抑制および／または回避応答を適応させる。本明細書で説明されるノイズ抑制および／または回避技術の動的性質のために、ノイズ低減システムは、可動シールドの異なる配置から生じるものを含む、変化するノイズ条件に応答するように構成されている。したがって、いくつかの実施形態に従ったノイズ低減システムは、実質的にシールドのない構成（例えば、可動シールドのない構成）を含む、利用され得るシールド構成のいずれかにおいて、ＭＲＩシステムの動作環境における電磁ノイズを抑制するために、可動シールドと協調して動作するように構成されてもよい。
スライドが位置付けられる構成にかかわらず、可動シールドがシールドを提供することを確実にするために、電気ガスケットが、可動シールドの周囲に沿って連続的なシールドを提供するように配置されてもよい。例えば、図１８Ｂに示すように、電気ガスケット３８６７ａおよび３８６７ｂは、スライド３８６０と磁石ハウジングとの間のインターフェースに提供されて、このインターフェースに沿って連続的なシールドを提供するように維持されてもよい。いくつかの実施形態によれば、電気ガスケットは、ベリリウムフィンガーまたはベリリウム−銅フィンガーなど（例えば、アルミニウムガスケット）であり、スライド３８６０が撮像領域の周囲の所望の位置に移動される間、および移動した後に、シールド３８６５とグラウンドとの間の電気的接続を維持する。
輸送を容易にするために、モータ駆動構成要素３８８０は、例えば、ジョイスティックまたはＭＲＩシステム上に設けられるか、もしくはＭＲＩシステムから離れて設けられる他の制御メカニズムなどの制御を用いて、ポータブルＭＲＩシステムを位置から位置へ駆動することを可能とするように提供される。このようにして、ポータブルＭＲＩシステム３８００は、患者に搬送され、ベッドサイドに操縦されて、撮像を実行することができる。
本明細書で説明されるポータブルＭＲＩシステムは、ノートパッド、タブレット、スマートフォン等のようなポータブル電子デバイスから動作されてもよい。例えば、タブレットコンピュータ３８７５を使用して、ポータブルＭＲＩシステムを動作させ、所望の撮像プロトコルを動作させ、得られた画像を見てもよい。タブレットコンピュータ３８７５は、データ共有、遠隔医療、および／またはデータセットに対する深層学習のための画像を転送するために、安全なクラウドに接続されてもよい。参照によりその全体が本明細書に組み込まれている、２０１５年９月４日に出願された米国特許出願第１４／８４６１５８号であって、「Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ ｏｆ ａ Ｌｏｗ Ｆｉｅｌｄ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ」と題するものに記載されたネットワーク接続性を利用する技術のいずれも、本明細書で説明されるポータブルＭＲＩシステムに関連して利用されてもよい。
上述のように、図１８Ｃは、脳スキャンを実行するために患者のベッドサイドに搬送されたポータブルＭＲＩシステム３９００を示す。図１８Ｄは、患者の膝のスキャンを実行するために患者のベッドサイドに搬送されたポータブルＭＲＩシステム３９００を示す。図１８Ｄに示されるように、シールド３９６０は、電気ガスケット３８６７ｃを有する。
図１８Ａ〜１８Ｄに示される電磁シールドは、例示的なものであり、ＭＲＩシステムにシールドを提供することは、本明細書で説明される例示の電磁シールドに限定されないと理解されたい。電磁シールドは、任意の適切な材料を用いて任意の適切な方法で実装することができる。例えば、電磁シールドは、可動性「カーテン」を提供して、撮像領域をシールドすることができる導電メッシュ、布などを用いて形成されてもよい。電磁シールドは、電磁気的干渉から撮像領域をシールドする固定、可動または構成可能な構成要素として、ＭＲＩシステムに結合された１つ以上の導電性ストラップ（例えば、導電性材料の１つ以上ストリップ）を用いて形成されてもよく、そのいくつかの例は、以下でさらに詳細に説明する。電磁シールドは、ドア、スライド、またはハウジングの任意の可動部分もしくは固定部分に材料を埋め込むことによって提供されてもよい。電磁シールドは、固定構成要素または可動構成要素として配備されてもよく、態様がこの点において限定されない。
図１９は、本明細書で説明される実施形態が実装され得る例示的なコンピュータシステムの図である。本明細書で提供される開示の実施形態のいずれかに関連して使用され得るコンピュータシステム１９００の例示的な実施形態が、図１９に示される。例えば、図２Ａ〜２Ｄおよび１４を参照して説明されるプロセスは、コンピュータシステム１９００上および／またはこれを用いて実装されてもよい。別の例として、コンピュータシステム１９００は、本明細書で説明される任意のニューラルネットワーク統計モデルを訓練および／または使用するために使用されてもよい。コンピュータシステム１９００は、１つ以上のプロセッサ１９１０と、非一時的コンピュータ可読記憶媒体（例えば、メモリ１９２０および１つ以上の不揮発性記憶媒体１９３０）を含む１つ以上の製造物品とを含んでもよい。プロセッサ１９１０は、メモリ１９２０および不揮発性記憶装置デバイス１９３０へのデータの書き込みおよびそれらからのデータの読み出しを、任意の適切な方法で制御してもよく、本明細書において提供される開示の態様がこの点において限定されないため。本明細書で説明される機能のいずれかを実行するために、プロセッサ１９１０は、プロセッサ１９１０による実行のためのプロセッサ実行可能命令を記憶する非一時的コンピュータ可読記憶媒体と機能し得る１つ以上の非一時的コンピュータ可読記憶媒体（例えば、メモリ１９２０）に記憶された１つ以上のプロセッサ実行可能命令を実行してもよい。
このように、本開示に明示された技術のいくつかの態様および実施形態を説明したが、種々の変更、修正、および改良が当業者に容易に生じると理解されよう。このような変更、修正、および改良が、本明細書で説明された技術の精神および範囲内にあることを意図している。例えば、当業者であれば、本明細書で説明された機能を実行し、および／または結果および／または１つ以上の利点を得るための様々な他の手段および／または構造を容易に想定することができ、そのようなバリエーションおよび／または修正の各々は、本明細書で説明された実施形態の範囲内であるとみなされる。当業者は、本明細書で説明された特定の実施形態に対する多くの均等を、ルーチンの実験のみを用いて認識するか、または確認することができるであろう。したがって、前述の実施形態は、例示としてのみ提示されており、添付の特許請求の範囲およびその均等の範囲内で、発明的実施形態は、具体的に説明されている以外の方法で実施され得ると理解されよう。追加的に、本明細書で説明される２つ以上の特徴、システム、物品、材料、キット、および／または方法の任意の組み合わせは、そのような特徴、システム、物品、材料、キット、および／または方法が相互に矛盾しない場合、本開示の範囲内に含まれる。
上述の実施形態は、多数の方法のいずれかで実装することができる。プロセスまたは方法の実行を伴う本開示の１つ以上の態様および実施形態は、デバイス（例えば、コンピュータ、プロセッサ、または他のデバイス）によって実行可能なプログラム命令を利用して、プロセスもしくは方法を実行するか、またはその実行を制御してもよい。この点に関し、種々な発明的概念は、１つ以上のプログラムで符号化されたコンピュータ可読記憶媒体（または複数のコンピュータ可読記憶媒体）（例えば、コンピュータメモリ、１つ以上のフロッピーディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイもしくは他の半導体デバイスにおける回路構成、または他の有形コンピュータ記憶媒体）として具現化されてもよく、１つ以上のプログラムは、１つ以上のコンピュータまたは他のプロセッサで実行されるときに、上述した様々な実施形態の１つ以上を実装する方法を実行する。コンピュータ可読媒体は、プログラム（複数可）が、１つ以上の異なるコンピュータまたは他のプロセッサにロードされて、上述の態様のうちの様々な態様を実装することができるように、可搬性とすることができる。いくつかの実施形態において、コンピュータ可読媒体は、非一時的媒体であってもよい。
「プログラム」または「ソフトウェア」という用語は、本明細書では、上述のように種々の態様を実装するためにコンピュータまたは他のプロセッサをプログラムするために採用され得る、任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すように一般的な意味で使用される。追加的に、一態様によれば、１つ以上のコンピュータプログラムは、本開示の方法実行するように実行されるときに、単一のコンピュータまたはプロセッサ上に存在する必要はなく、本開示の様々な態様を実装するために、複数の異なるコンピュータまたはプロセッサの間にモジュール化された形で分散してもよいと理解されたい。
コンピュータ実行可能命令は、１つ以上のコンピュータまたは他のデバイスによって実行されるプログラムモジュールのような多くの形態であってもよい。一般に、プログラムモジュールは、特定のタスクを実行するか、または特定の抽象的なデータタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。典型的には、プログラムモジュールの機能は、様々な実施形態において所望されるように、組み合わされてもよく、または分散されてもよい。
また、データ構造は、任意の好適な形態で、コンピュータ可読媒体に記憶されてもよい。説明を簡単にするために、データ構造は、データ構造内の場所を通して関連するフィールドを有するように示されてもよい。このような関係は、同様に、フィールド間の関係を搬送するコンピュータ可読媒体内の位置を有するフィールドにストレージを割り当てることによって達成されてもよい。しかし、任意の適切なメカニズムを使用して用いて、データ構造のフィールド内の情報間の関係を確立してもよく、これには、データ要素間の関係を確立するポインタ、タグ、または他のメカニズムの使用したものが含まれる。
ソフトウェアで実行される場合、ソフトウェアコードは、単一のコンピュータで提供されるか、または複数のコンピュータ間で分散されるかにかかわらず、任意の適切なプロセッサまたはプロセッサのコレクションで実行することができる。
さらに、コンピュータは、ラックマウントコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータのような異なる形式のいずれかで、非限定な例として具現化されてもよいと理解されたい。追加的に、コンピュータは、一般にコンピュータとはみなされないが、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、または他の任意の適切なポータブルまたは固定電子デバイスを含む適切な処理能力を有するデバイスに埋め込まれてもよい。
また、コンピュータは、１つ以上の入出力デバイスを有してもよい。これらのデバイスは、とりわけ、ユーザインターフェースを提示するために使用することができる。ユーザインターフェースを提供するために使用することができる出力デバイスの例としては、出力を視覚的に提示するためのプリンタまたは表示スクリーン、および出力を聴覚的に提示するためのスピーカまたは他の音発生デバイスが挙げられる。ユーザインターフェースに使用できる入力デバイスの例としては、キーボード、マウス、タッチパッド、およびデジタルタブレットのようなポインティングデバイスが挙げられる。別の例として、コンピュータは、音声認識または他の可聴フォーマットを通して入力情報を受信してもよい。
このようなコンピュータは、ローカル・エリア・ネットワークまたは企業ネットワークなどのワイド・エリア・ネットワーク、およびインテリジェント・ネットワーク（ＩＮ）またはインターネットを含む、任意の適切な形態の１つ以上のネットワークによって相互接続されてもよい。このようなネットワークは、任意の適切な技術に基づいてもよく、任意の適切なプロトコルに従って動作してもよく、無線ネットワーク、有線ネットワークまたは光ファイバネットワークを含んでもよい。
また、上述のように、いくつかの態様は、１つ以上の方法として具現化されてもよい。方法の一部として実行されるアクトは、任意の適切な方法で命令されてもよい。したがって、実施形態は、例示的な実施形態において逐次的なアクトとして示されているにもかかわらず、いくつかのアクトを同時に実行することを含んでもよく、図示されたものとは異なる順序でアクトが実行されるように構成されてもよい。
すべての定義は、本明細書中で定義および使用されるように、辞書的定義、参照により組み込まれた文書中の定義、および／または定義された用語の通常の意味を支配すると理解されたい。
不定冠詞「ａ」および「ａｎ」は、明細書および特許請求の範囲において使用されるように、明確に反対のことが示されない限り、「少なくとも１つ」を意味すると理解されたい。
本明細書および特許請求の範囲において本明細書中で使用される「および／または」という語句は、そのように連結された要素の「いずれかまたは両方」を意味すると理解されるべきである。すなわち、要素は、いくつかの場合では、同時に存在し、他の場合では、別々に存在する。「および／または」で列挙された複数の要素は、同じの態様、すなわち、連結された要素の「１つ以上」と解釈されるべきである。「および／または」句によって特に識別された要素以外の他の要素は、特に識別されたそれらの要素に関連するかどうかにかかわらず、任意選択で存在してもよい。したがって、非限定的な例として、「備える（ｃｏｍｐｒｉｓｉｎｇ）」のようなオープンエンドの文言と共に使用されるときに、「Ａおよび／またはＢ」に言及すると、一実施形態においては、Ａのみ（任意選択でＢ以外の要素を含む）、別の実施形態においては、Ｂのみ（任意選択でＡ以外の要素を含む）、更に別の実施形態においては、ＡおよびＢの両方（任意選択で別の要素を含む）を指すことができる。
本明細書および特許請求の範囲で使用される場合、１つ以上の要素に関連する「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」という語句は、要素のリストにおける要素のうちの任意の１つ以上から選択される少なくとも１つの要素を意味すると理解されるべきであるが、要素のリスト中に列挙されている特定の各要素の少なくとも１つを必ずしも含むわけではなく、要素のリストにおける要素の任意の組み合わせを排除しない。この定義はまた、要素のリスト中で特に識別された要素に関連しているかどうかにかかわらず、「少なくとも１つ」という語句が指す要素以外に要素が任意に提示されてもよいことを可能にする。したがって、非限定的な実施例として、「ＡおよびＢの少なくとも１つ」（等価的に「ＡまたはＢのうちの少なくとも１つ」、または等価的に「Ａおよび／またはＢのうちの少なくとも１つ」）は、１つの実施形態では、任意選択で複数を含む少なくとも１つの要素ＢなしのＡ（任意選択で、Ｂ以外の要素を含む）、別の実施形態では、任意選択で複数を含む少なくとも１つの要素ＡなしのＢ（任意選択で、Ａ以外の要素を含む）、さらに別の実施形態では、任意選択で複数を含む少なくとも１つの要素Ａおよび任意選択で複数を含む少なくとも１つの要素Ｂ（任意選択で、他の要素を含む）などを指すことができる。
特許請求の範囲、および上記の明細書において、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「搬送する（ｃａｒｒｙｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｉｎｇ）」、「伴う（ｉｎｖｏｌｖｉｎｇ）」、「保持する（ｈｏｌｄｉｎｇ）」、「から構成される（ｃｏｍｐｏｓｅｄ ｏｆ）」などのすべての移行句は、オープンエンドである、すなわち、限定されていないものを含むと意味すると理解されよう。「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」および「本質的にからなる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」という移行句のみが、それぞれ、クローズドまたは半クローズドの移行句であるものとする。
「概ね（ａｐｐｒｏｘｉｍａｔｅｌｙ）」および「約（ａｂｏｕｔ）」は、いくつかの実施形態においては目標値の±２０％以内、いくつかの実施形態においては目標値の±１０％以内、いくつかの実施形態においては目標値の±５％以内、いくつかの実施形態においては目標値の±２％以内を意味するために使用されてもよい。用語「概ね」および「約」は、目標値を含んでもよい。

Claims (60)

  1. ニューラルネットワークモデルを用いて入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することであって、前記ニューラルネットワークモデルは、
    空間周波数ドメインデータを処理するように構成されている第１のニューラルネットワークサブモデルと、
    画像ドメインデータを処理するように構成されている第２のニューラルネットワークサブモデルと、を含む、生成することを含む、方法。
  2. 前記生成することは、
    前記第１のニューラルネットワークサブモデルを用いて前記入力ＭＲ空間周波数データを処理して、出力ＭＲ空間周波数データを得ることと、
    前記出力ＭＲ空間周波数データを画像ドメインに変換して、入力画像ドメインデータを得ることと、
    前記第２のニューラルネットワークサブモデルを用いて前記入力画像ドメインデータを処理して、前記ＭＲ画像を得ることと、を含む、請求項１に記載の方法。
  3. 前記第１のニューラルネットワークサブモデルは、１よりも大きなストライドを有する少なくとも１つの畳み込み層を含む、請求項１または２に記載の方法。
  4. 前記第１のニューラルネットワークサブモデルは、少なくとも１つの転置畳み込み層を含む、請求項１〜３のいずれか一項に記載の方法。
  5. 前記第１のニューラルネットワークサブモデルは、少なくとも１つの局所結合層を含む、請求項１〜４のいずれか一項に記載の方法。
  6. 前記第１のニューラルネットワークサブモデルは、少なくとも１つのデータ一貫性層を含む、請求項１〜５のいずれか一項に記載の方法。
  7. 前記第１のニューラルネットワークサブモデルは、少なくとも１つの複素共役対称性層を含む、請求項１〜６のいずれか一項に記載の方法。
  8. 前記第１のニューラルネットワークサブモデルは、残留接続を含む、請求項１〜７のいずれか一項に記載の方法。
  9. 前記第１のニューラルネットワークサブモデルは、整流線形ユニット活性化層を含む、請求項１〜８のいずれか一項に記載の方法。
  10. 前記第１のニューラルネットワークサブモデルは、Ｌｅａｋｙ整流線形ユニット活性化層を含む、請求項１〜９のいずれか一項に記載の方法。
  11. 前記第１のニューラルネットワークサブモデルは、少なくとも１つの畳み込み層、局所結合層、および少なくとも１つの転置畳み込み層を含み、
    前記第１のニューラルネットワークサブモデルを用いて前記入力ＭＲ空間周波数データを処理することは、
    前記少なくとも１つの畳み込み層を前記入力ＭＲ空間周波数データに適用することと、
    前記少なくとも１つの畳み込み層の出力を用いて得られたデータに前記局所結合層を、適用することと、
    前記局所結合層の出力を用いて得られたデータに前記少なくとも１つの転置畳み込み層を適用することと、を含む、請求項２〜１０のいずれか一項に記載の方法。
  12. 前記第１のニューラルネットワークサブモデルは、複素共役対称性層を含み、前記第１のニューラルネットワークサブモデルを用いて前記入力ＭＲ空間周波数データを処理することは、
    前記少なくとも１つの転置畳み込み層の出力を用いて得られたデータに前記複素共役対称性層を適用することを含む、請求項１１に記載の方法。
  13. 前記第１のニューラルネットワークサブモデルは、データ一貫性層を含み、前記第１のニューラルネットワークサブモデルを用いて前記入力ＭＲ空間周波数データを処理することは、
    前記複素共役対称性層の出力を用いて得られたデータに前記データ一貫性層を適用することを含む、請求項１１または１２に記載の方法。
  14. 前記少なくとも１つの畳み込み層の各畳み込み層は、１よりも大きいストライドを有する、請求項１１〜１３のいずれか一項に記載の方法。
  15. 前記局所結合層は、前記ＭＲ空間周波数データにおける各データ点に対するそれぞれのパラメータ値のセットを含む、請求項１１〜１４のいずれか一項に記載の方法。
  16. 前記第１のニューラルネットワークサブモデルは、少なくとも１つの全結合層を含む、請求項１〜１５のいずれか一項に記載の方法。
  17. 前記第１のニューラルネットワークサブモデルは、全結合層を含み、前記方法は、
    前記空間周波数ドメインデータの実部に前記全結合層を適用することと、
    前記空間周波数ドメインデータの虚部に前記全結合層を適用することと、をさらに含む、請求項１〜１６のいずれか一項に記載の方法。
  18. 前記第１のニューラルネットワークサブモデルは、第１の全結合層および第２の全結合層を含み、前記方法は、
    前記空間周波数ドメインデータの実部に前記第１の全結合層を適用することと、
    前記空間周波数ドメインデータの虚部に前記第２の全結合層を適用することと、をさらに含む、請求項１〜１７のいずれか一項に記載の方法。
  19. 前記第１の全結合層および前記第２の全結合層は、少なくともいくつかの重みを共有する、請求項１８に記載の方法。
  20. 前記方法は、
    フーリエ変換を用いて前記第１の全結合層および第２の全結合層の出力を変換して、画像ドメインデータを得ることと、
    前記第２のニューラルネットワークサブモデルへの入力として前記画像ドメインデータを提供することと、をさらに含む、請求項１８または１９に記載の方法。
  21. 前記方法は、
    前記フーリエ変換を用いる前に、前記第１の全結合層および前記第２の全結合層の前記出力にバッチ正規化を適用して、画像ドメインデータを得ることをさらに含む、請求項２０に記載の方法。
  22. 前記空間周波数ドメインデータ内の点は不規則に離間した、請求項１〜２１のいずれか一項に記載の方法。
  23. 前記空間周波数ドメインデータ内の点は、デカルトグリッド上にない、請求項１〜２２のいずれか一項に記載の方法。
  24. 前記ＭＲ画像を生成することは、前記空間周波数ドメインデータをグリッドすることなく実行される、請求項１〜２３のいずれか一項に記載の方法。
  25. 前記第２のニューラルネットワークサブモデルは、少なくとも１つの畳み込み層および少なくとも１つの転置畳み込み層を含む、請求項１〜２４のいずれか一項に記載の方法。
  26. 前記第２のニューラルネットワークサブモデルは、ニューラルネットワーク層のそれぞれのセットを含む一連のブロックを含み、前記複数のブロックの各々は、少なくとも１つの畳み込み層および少なくとも１つの転置畳み込み層を含む、請求項１〜２５のいずれか一項に記載の方法。
  27. 前記複数のブロックの各々は、フーリエ変換層、データ一貫性層、および逆フーリエ変換層をさらに含む、請求項２６に記載の方法。
  28. 空間周波数ドメイン損失関数および画像ドメイン損失関数を含む損失関数を用いて前記ニューラルネットワークモデルを訓練することをさらに含む、請求項１〜２７のいずれか一項に記載の方法。
  29. 前記損失関数は、前記空間周波数ドメイン損失関数と前記画像ドメイン損失関数との加重和である、請求項２８に記載の方法。
  30. 前記空間周波数ドメイン損失関数は、平均二乗誤差を含む、請求項２９に記載の方法。
  31. 高磁界画像のセットを用いて前記ニューラルネットワークモデルを訓練して、訓練された第１のニューラルネットワークモデルを得ることと、
    低磁界画像のセットを用いて前記第１のニューラルネットワークモデルを適合させることと、をさらに含む、請求項１〜３０のいずれか一項に記載の方法。
  32. 前記空間周波数ドメインデータは、Ｎｙｑｕｉｓｔ基準に対してアンダーサンプリングされる、請求項１〜３１のいずれか一項に記載の方法。
  33. 少なくとも１つのコンピュータハードウェアプロセッサと、
    プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、前記プロセッサ実行可能命令は、前記少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、前記少なくとも１つのコンピュータハードウェアプロセッサに、
    ニューラルネットワークモデルを用いて磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することであって、前記ニューラルネットワークモデルは、
    空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、
    画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む、生成することを行わせる、システム。
  34. プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、前記少なくとも１つのコンピュータハードウェアプロセッサに、
    ニューラルネットワークモデルを用いて磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することであって、前記ニューラルネットワークモデルは、
    空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、
    画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む、生成することを行わせる、非一時的コンピュータ可読記憶媒体。
  35. 磁気共鳴イメージング（ＭＲＩ）システムであって、
    磁気システムであって、
    前記ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、
    前記ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、
    磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、
    コントローラであって、
    ＭＲ空間周波数データを取得するように前記磁気システムを制御することと、
    ニューラルネットワークモデルを用いてＭＲ空間周波数データからＭＲ画像を生成することであって、前記ニューラルネットワークモデルは、
    空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、
    画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む、生成することと、を行うように構成されているコントローラと、を含む、ＭＲＩシステム。
  36. 空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを含む、方法。
  37. 少なくとも１つのプロセッサと、
    プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、前記プロセッサ実行可能命令は、実行されるときに、前記少なくとも１つのプロセッサに、
    空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、システム。
  38. プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、実行されるときに、前記少なくとも１つのプロセッサに、
    空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、非一時的コンピュータ可読媒体。
  39. 磁気共鳴イメージング（ＭＲＩ）システムであって、
    磁気システムであって、
    前記ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、
    前記ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、
    磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、
    コントローラであって、
    ＭＲ空間周波数データを取得するように前記磁気システムを制御することと、
    空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成することと、を行うように構成されているコントローラと、を含む、ＭＲＩシステム。
  40. 前記Ｂ０磁石は永久磁石である、請求項３５または３９に記載のＭＲＩシステム。
  41. 第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを含み、
    前記第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、方法。
  42. 前記ニューラルネットワークモデルは、複数のニューラルネットワークブロックを含み、前記複数のニューラルネットワークブロックの各々は、前記不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、請求項４１に記載の方法。
  43. 前記入力ＭＲ空間周波数データを得ることと、
    前記不均一フーリエ変換を用いて前記入力ＭＲ空間周波数データから初期画像を生成することと、
    前記第１のニューラルネットワークブロックが、前記不均一フーリエ変換を用いてデータ一貫性処理を実行することを少なくとも部分的に用いることによって、前記ニューラルネットワークモデルを初期画像に適用することと、をさらに含む、請求項４１または４２に記載の方法。
  44. 前記第１のニューラルネットワークブロックは、グリッディング補間変換、高速フーリエ変換、およびデアポディゼーション変換をデータに適用することによって、前記データに対して前記不均一フーリエ変換を実行することによって、前記不均一フーリエ変換を少なくとも部分的に用いることによって、データ一貫性処理を実行するように構成されている、請求項４１〜４３のいずれか一項に記載の方法。
  45. 前記グリッディング補間変換を前記データに適用することは、スパースグラフィカル処理ユニット（ＧＰＵ）行列乗算を用いて実行される、請求項４４に記載の方法。
  46. 前記第１のニューラルネットワークブロックは、
    前記データ一貫性処理を実行するように構成されているデータ一貫性ブロックと、
    複数の畳み込み層と、を含む請求項４１〜４５のいずれか一項に記載の方法。
  47. 前記データ一貫性ブロックは、
    前記不均一フーリエ変換を、前記データ一貫性ブロックへの入力として提供される第１の画像に適用して、第１のＭＲ空間周波数データを得ることと、
    前記第１のＭＲ空間周波数データと前記入力ＭＲ空間周波数データとの差に随伴不均一フーリエ変換を適用することと、行うように構成されている、請求項４６に記載の方法。
  48. 前記不均一フーリエ変換を前記第１の画像のドメインデータに適用することは、
    前記第１の画像のドメインデータに、デアポディゼーション変換と、それに続くフーリエ変換と、それに続くグリッディング補間変換とを適用することを含む、請求項４７に記載の方法。
  49. 前記複数の畳み込み層は、１つ以上の畳み込み層および１つ以上の転置畳み込み層を含む、請求項４６〜４８のいずれか一項に記載の方法。
  50. 前記複数の畳み込み層が「Ｕ」構造を有する、請求項４６〜４９のいずれか一項に記載の方法。
  51. 前記第１のニューラルネットワークブロックを画像ドメインデータに適用することをさらに含み、前記適用することは、
    前記データ一貫性ブロックを画像ドメインデータに適用して、第１の出力を得ることと、
    前記複数の畳み込み層を画像ドメインデータに適用して、第２の出力を得ることと、
    前記第１の出力および前記第２の出力の線形結合を決定することと、を含む、請求項４６〜５０のいずれか一項に記載の方法。
  52. 前記第１のニューラルネットワークブロックは、複数の畳み込み層を含み、
    前記複数の畳み込み層は、入力として、
    画像ドメインデータと、
    随伴不均一フーリエ変換を前記入力ＭＲ空間周波数データに適用することによって得られる出力と、受信するように構成されている、請求項４１〜５１のいずれか一項に記載の方法。
  53. 前記複数の畳み込み層は、入力として、
    前記不均一フーリエ変換および前記随伴不均一フーリエ変換を前記画像ドメインデータに適用することによって得られる出力を受信するようにさらに構成されている、請求項５２に記載の方法。
  54. 前記第１のニューラルネットワークブロックを画像ドメインデータに適用することをさらに含み、前記適用することは、
    前記画像ドメインデータに、前記不均一フーリエ変換を適用し、それに続いて随伴不均一フーリエ変換を適用して、第１の出力を得ることと、
    前記随伴不均一フーリエ変換を前記入力ＭＲ空間周波数データに適用して、第２の出力を得ることと、
    前記複数の畳み込み層への入力として、前記画像ドメインデータ、前記第１の出力、および前記第２の出力を提供することと、を含む、請求項４１〜５３のいずれか一項に方法。
  55. 前記不均一フーリエ変換を前記画像ドメインデータに適用した結果に畳み込みニューラルネットワークを適用して、中間出力を得ることと、
    前記随伴不均一フーリエ変換を前記中間出力に適用して、前記第１の出力を得ることと、をさらに含む、請求項５４に記載の方法。
  56. 前記入力ＭＲ空間周波数データ内の点は、非デカルトサンプリング軌道を用いて得られた、請求項４１〜５５のいずれか一項に記載の方法。
  57. 前記不均一フーリエ変換は、前記非デカルトサンプリング軌道を少なくとも部分的に用いることによって決定される、請求項５６に記載の方法。
  58. プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、前記少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、前記少なくとも１つのコンピュータハードウェアプロセッサに方法を実行させ、前記方法は、
    第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データから磁気共鳴（ＭＲ）画像を生成することを含み、
    前記第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、非一時的コンピュータ可読記憶媒体。
  59. 少なくとも１つのコンピュータハードウェアプロセッサと、
    プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、前記プロセッサ実行可能命令は、前記少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、前記少なくとも１つのコンピュータハードウェアプロセッサに方法を実行させ、前記方法は、
    第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データから磁気共鳴（ＭＲ）画像を生成することを含み、
    前記第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、システム。
  60. 磁気共鳴イメージング（ＭＲＩ）システムであって、
    磁気システムであって、
    前記ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、
    前記ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、
    磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、
    コントローラであって、
    非デカルトサンプリング軌道を用いてＭＲ空間周波数データを取得するように前記磁気システムを制御することと、
    第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、前記取得されたＭＲ空間周波数データからＭＲ画像を生成することと、を行うように構成されているコントローラと、を含み、
    前記第１のニューラルネットワークブロックは、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、ＭＲＩシステム。
JP2021505224A 2018-07-30 2019-07-29 磁気共鳴画像再構成のための深層学習技術 Pending JP2021532875A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862711895P 2018-07-30 2018-07-30
US62/711,895 2018-07-30
US201862737524P 2018-09-27 2018-09-27
US62/737,524 2018-09-27
US201862744529P 2018-10-11 2018-10-11
US62/744,529 2018-10-11
US201962820119P 2019-03-18 2019-03-18
US62/820,119 2019-03-18
PCT/US2019/043927 WO2020028257A2 (en) 2018-07-30 2019-07-29 Deep learning techniques for magnetic resonance image reconstruction

Publications (1)

Publication Number Publication Date
JP2021532875A true JP2021532875A (ja) 2021-12-02

Family

ID=67659966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021505224A Pending JP2021532875A (ja) 2018-07-30 2019-07-29 磁気共鳴画像再構成のための深層学習技術

Country Status (9)

Country Link
US (3) US11300645B2 (ja)
EP (1) EP3830596A2 (ja)
JP (1) JP2021532875A (ja)
KR (1) KR20210038903A (ja)
CN (1) CN113795764A (ja)
AU (1) AU2019313334A1 (ja)
CA (1) CA3107326A1 (ja)
TW (1) TW202011893A (ja)
WO (1) WO2020028257A2 (ja)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX366786B (es) 2014-09-05 2019-07-23 Hyperfine Res Inc Metodos y aparato de supresion de ruido.
WO2016077438A2 (en) 2014-11-11 2016-05-19 Hyperfine Research, Inc. Pulse sequences for low field magnetic resonance
US10813564B2 (en) 2014-11-11 2020-10-27 Hyperfine Research, Inc. Low field magnetic resonance methods and apparatus
KR20180019518A (ko) 2015-04-13 2018-02-26 하이퍼파인 리서치, 인크. 자기 코일 전력 공급 방법 및 장치
AU2016261914B2 (en) 2015-05-12 2020-12-10 Hyperfine Operations, Inc. Radio frequency coil methods and apparatus
CN109073681B (zh) 2016-03-22 2020-10-23 海珀菲纳研究股份有限公司 用于磁场匀场的方法和设备
TWI667487B (zh) 2016-09-29 2019-08-01 美商超精細研究股份有限公司 射頻線圈調諧方法及裝置
CA3043038A1 (en) 2016-11-22 2018-05-31 Hyperfine Research, Inc. Systems and methods for automated detection in magnetic resonance images
US10539637B2 (en) 2016-11-22 2020-01-21 Hyperfine Research, Inc. Portable magnetic resonance imaging methods and apparatus
US10627464B2 (en) 2016-11-22 2020-04-21 Hyperfine Research, Inc. Low-field magnetic resonance imaging methods and apparatus
KR20210005626A (ko) 2018-04-20 2021-01-14 하이퍼파인 리서치, 인크. 휴대용 자기 공명 영상 장치용의 전개 가능한 가드
BR112020021872A2 (pt) 2018-05-21 2021-01-26 Hyperfine Research, Inc. métodos e aparelhos de magneto b0 para um sistema de ressonância magnética
JP2021526043A (ja) 2018-05-21 2021-09-30 ハイパーファイン，インコーポレイテッド 低磁場ｍｒｉシステムのための無線周波数コイル信号チェーン
TW202015621A (zh) 2018-07-19 2020-05-01 美商超精細研究股份有限公司 在磁共振成像中患者定位之方法及設備
TW202011893A (zh) 2018-07-30 2020-04-01 美商超精細研究股份有限公司 用於核磁共振影像重建之深度學習技術
TW202012951A (zh) 2018-07-31 2020-04-01 美商超精細研究股份有限公司 低場漫射加權成像
EP3837636B1 (en) 2018-08-15 2024-03-27 Hyperfine, Inc. Deep learning techniques for suppressing artefacts in magnetic resonance images
US11037030B1 (en) * 2018-10-29 2021-06-15 Hrl Laboratories, Llc System and method for direct learning from raw tomographic data
US11640519B2 (en) * 2018-10-31 2023-05-02 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks using cross-domain batch normalization
US11494612B2 (en) 2018-10-31 2022-11-08 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks using domain classifier
CA3122087A1 (en) 2018-12-19 2020-06-25 Hyperfine Research, Inc. System and methods for grounding patients during magnetic resonance imaging
WO2020132463A1 (en) * 2018-12-21 2020-06-25 Cornell University Machine learning for simultaneously optimizing an under-sampling pattern and a corresponding reconstruction model in compressive sensing
US11605455B2 (en) * 2018-12-22 2023-03-14 GE Precision Healthcare LLC Systems and methods for predicting outcomes using raw data
CA3125092A1 (en) 2018-12-28 2020-07-02 Hyperfine, Inc. Correcting for hysteresis in magnetic resonance imaging
BR112021016697A2 (pt) 2019-03-12 2021-10-13 Hyperfine, Inc. Sistemas e métodos de imagem por ressonância magnética de crianças
KR20210141550A (ko) 2019-03-14 2021-11-23 하이퍼파인, 인크. 공간 주파수 데이터로부터 자기 공명 이미지를 생성하기 위한 딥 러닝 기법
US11313933B2 (en) * 2019-03-20 2022-04-26 The Board Of Trustees Of The Leland Stanford Junior University Diffusion-weighted MRI with magnitude-based locally low-rank regularization
US11599774B2 (en) * 2019-03-29 2023-03-07 International Business Machines Corporation Training machine learning model
US20200320449A1 (en) * 2019-04-04 2020-10-08 Rylti, LLC Methods and Systems for Certification, Analysis, and Valuation of Music Catalogs
US11181598B2 (en) * 2019-04-25 2021-11-23 Siemens Healthcare Gmbh Multi-contrast MRI image reconstruction using machine learning
AU2020261267A1 (en) 2019-04-26 2021-11-11 Hyperfine Operations, Inc. Techniques for dynamic control of a Magnetic Resonance Imaging system
JP2022531485A (ja) 2019-05-07 2022-07-06 ハイパーファイン，インコーポレイテッド 乳児の磁気共鳴画像のためのシステム、装置、及び方法
US11416653B2 (en) * 2019-05-15 2022-08-16 The Mitre Corporation Numerical model of the human head
CN110246137B (zh) * 2019-06-19 2021-12-03 东软医疗系统股份有限公司 一种成像方法、装置及存储介质
CN114556128A (zh) 2019-08-15 2022-05-27 海珀菲纳运营有限公司 涡流缓解系统和方法
US20210081790A1 (en) * 2019-09-12 2021-03-18 Zasti Inc. Local interpretability using autoencoder
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
US20210100474A1 (en) 2019-10-08 2021-04-08 Hyperfine Research, Inc. System and methods for detecting electromagnetic interference in patients during magnetic resonance imaging
US11714151B2 (en) 2019-10-25 2023-08-01 Hyperfine Operations, Inc. Artefact reduction in magnetic resonance imaging
CA3158624A1 (en) 2019-10-25 2021-04-29 Hyperfine Operations, Inc. Systems and methods for detecting patient motion during magnetic resonance imaging
CN110807492B (zh) * 2019-11-06 2022-05-13 厦门大学 一种磁共振多参数同时定量成像方法及系统
WO2021108216A1 (en) 2019-11-27 2021-06-03 Hyperfine Research, Inc. Techniques for noise suppression in an environment of a magnetic resonance imaging system
US11120585B2 (en) * 2019-11-28 2021-09-14 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
EP3828581B8 (de) * 2019-11-28 2024-02-21 Siemens Healthineers AG Verfahren zur erzeugung wenigstens eines bilddatensatzes und eines referenzbilddatensatzes, computerprogrammprodukt sowie magnetresonanzanlage
MX2022005289A (es) * 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
USD912822S1 (en) 2019-12-10 2021-03-09 Hyperfine Research, Inc. Frame for magnets in magnetic resonance imaging
CN115552269A (zh) 2019-12-10 2022-12-30 海珀菲纳运营有限公司 用于磁共振成像的具有非铁磁框架的永磁体装配件
USD932014S1 (en) 2019-12-10 2021-09-28 Hyperfine, Inc. Frame for magnets in magnetic resonance imaging
US11422213B2 (en) 2019-12-10 2022-08-23 Hyperfine Operations, Inc. Ferromagnetic frame for magnetic resonance imaging
US11415651B2 (en) 2019-12-10 2022-08-16 Hyperfine Operations, Inc. Low noise gradient amplification components for MR systems
US11537901B2 (en) * 2019-12-31 2022-12-27 Robert Bosch Gmbh System and method for unsupervised domain adaptation with mixup training
EP3855200A1 (en) * 2020-01-22 2021-07-28 Siemens Healthcare GmbH Artifact and/or noise reduction for magnetic resonance fingerprinting data based on a neural network
US11763134B2 (en) * 2020-01-22 2023-09-19 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
KR102144320B1 (ko) * 2020-02-13 2020-08-13 주식회사 에어스 메디컬 자기 공명 영상 처리 장치 및 그 방법
CN111324861B (zh) * 2020-02-28 2022-05-03 厦门大学 一种基于矩阵分解的深度学习磁共振波谱重建方法
CN113359076B (zh) * 2020-03-06 2022-09-27 上海联影医疗科技股份有限公司 磁共振成像方法、装置、计算机设备和存储介质
CN111445547B (zh) * 2020-03-20 2023-05-09 中国科学院深圳先进技术研究院 一种基于神经网络的网格化磁共振图像重建方法和装置
TWI791979B (zh) * 2020-04-28 2023-02-11 長庚醫療財團法人林口長庚紀念醫院 三維醫學影像的建立方法
CN112184845B (zh) * 2020-09-02 2023-05-05 东软医疗系统股份有限公司 弥散加权图像重建模型的生成方法及装置
CN112633658A (zh) * 2020-12-16 2021-04-09 广东电网有限责任公司广州供电局 一种基于cnn-lstm的低压台区拓扑关系识别方法
CN112561888B (zh) * 2020-12-18 2024-04-16 中国科学院深圳先进技术研究院 基于流形优化的用于磁共振动态成像的深度学习方法
CN112786273B (zh) * 2020-12-31 2022-09-02 中国科学院合肥物质科学研究院 一种基于立方体永磁体块的仿星器磁体及其优化布置方法
CN112884851B (zh) * 2021-01-27 2022-06-14 武汉大学 基于展开迭代优化算法的深度压缩感知网络的构建方法
CN117099009A (zh) 2021-02-02 2023-11-21 海珀菲纳运营有限公司 用于动态地扩展被检体的磁共振成像的系统和方法
US11147454B1 (en) 2021-02-19 2021-10-19 Omniscient Neurotechnology Pty Limited Medical imaging with functional architecture tracking
US11756197B2 (en) * 2021-03-10 2023-09-12 GE Precision Healthcare LLC Systems and methods of processing magnetic resonance images using phase-sensitive structural similarity index measure
US11846692B2 (en) * 2021-04-29 2023-12-19 University Of Virginia Patent Foundation Motion compensation for MRI imaging
CN113344993B (zh) * 2021-06-04 2022-06-03 成都玻尔兹曼智贝科技有限公司 侧貌模拟方法
CN113506258B (zh) * 2021-07-02 2022-06-07 中国科学院精密测量科学与技术创新研究院 多任务复值深度学习的欠采样肺部气体mri重建方法
CN113376172B (zh) * 2021-07-05 2022-06-14 四川大学 一种基于视觉与涡流的焊缝缺陷检测系统及其检测方法
CN113569795A (zh) * 2021-08-06 2021-10-29 中国矿业大学 一种基于机器视觉的煤矸石识别方法及系统
CN118215851A (zh) * 2021-09-07 2024-06-18 海珀菲纳股份有限公司 用于加速非笛卡尔磁共振成像重建的双域自监督学习
US20230084413A1 (en) * 2021-09-13 2023-03-16 Siemens Healthcare Gmbh Deep learning-based realtime reconstruction
CN113940638B (zh) * 2021-10-22 2023-09-19 上海理工大学 基于频域双特征融合的脉搏波信号识别分类方法
CN114010180B (zh) * 2021-11-05 2024-04-26 清华大学 一种基于卷积神经网络的磁共振快速成像方法及装置
US11334976B1 (en) 2021-11-16 2022-05-17 Omniscient Neurotechnology Pty Limited Medical imaging with functional architecture tracking
CN114581550B (zh) * 2021-12-31 2023-04-07 浙江大学 基于跨域网络的磁共振成像降采样和重建方法
CN114444337B (zh) * 2022-04-11 2022-06-07 西南交通大学 防止仿星器三维模块化线圈因受电磁力而变形的设计方法
WO2023244980A1 (en) * 2022-06-13 2023-12-21 Hyperfine Operations, Inc. Electromagnetic interference suppression techniques for magnetic resonance imaging
EP4345479A1 (de) * 2022-09-29 2024-04-03 Siemens Healthineers AG Verfahren zur iterativen rekonstruktion von bilddaten aus mittels einer magnetresonanzanlage aufgenommenen messdaten
CN116071268B (zh) * 2023-03-01 2023-06-23 中国民用航空飞行学院 基于对比学习的图像去光照模型及其训练方法
CN116596061B (zh) * 2023-05-16 2023-12-12 北京航空航天大学 一种基于迁移学习的功率放大器谐波预测方法
CN117078785B (zh) * 2023-08-18 2024-04-23 厦门大学 一种快速非笛卡尔磁共振智能成像方法
CN117333571B (zh) * 2023-10-25 2024-03-26 烟台大学 磁共振图像的重建方法、系统、设备及介质

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517122A (en) * 1993-11-04 1996-05-14 The Regents Of University Of California T2 restoration and noise suppression of hybrid MR images using Wiener and linear prediction techniques
CN1111746C (zh) 1998-04-17 2003-06-18 皇家菲利浦电子有限公司 磁共振成象方法和装置
US7019524B2 (en) 2002-05-17 2006-03-28 Ge Medical Systems Global Technology Company, Llc Method, system and computer product for k-space correction of gradient non-linearities
US7202663B2 (en) 2003-11-12 2007-04-10 Iovivo Corporation Method for generating fast magnetic resonance images
US8874477B2 (en) 2005-10-04 2014-10-28 Steven Mark Hoffberg Multifactorial optimization system and method
US20070249928A1 (en) 2006-04-19 2007-10-25 General Electric Company Method and system for precise repositioning of regions of interest in longitudinal magnetic resonance imaging and spectroscopy exams
US7881511B2 (en) 2007-01-19 2011-02-01 Korea Advanced Institute Of Science And Technology Method for super-resolution reconstruction using focal underdetermined system solver algorithm
US7602183B2 (en) 2007-02-13 2009-10-13 The Board Of Trustees Of The Leland Stanford Junior University K-T sparse: high frame-rate dynamic magnetic resonance imaging exploiting spatio-temporal sparsity
ATE542196T1 (de) 2007-02-19 2012-02-15 Wisconsin Alumni Res Found Verfahren zur lokalisierten und stark eingeschränkten bildrekonstruktion
US8473028B2 (en) 2007-11-21 2013-06-25 The Brigham And Women's Hospital K-space sample density compensation for magnetic resonance image reconstruction
CN105182263A (zh) 2008-04-28 2015-12-23 康奈尔大学 分子mri中的磁敏度精确量化
US7688068B2 (en) 2008-05-06 2010-03-30 General Electric Company System and method for using parallel imaging with compressed sensing
US8692549B2 (en) 2009-05-27 2014-04-08 Siemens Aktiengesellschaft Method for reconstructing images of an imaged subject from a parallel MRI acquisition
US8354844B2 (en) 2009-12-23 2013-01-15 Universitaetsklinikum Freiburg Method for data acquisition acceleration in magnetic resonance imaging (MRI) with N-dimensional spatial encoding using two or more receiver coil arrays and non-linear phase distributions
US8384383B2 (en) 2010-03-23 2013-02-26 Max-Planck-Gesellschaft zur Foerferung der Wissenschaften E.V. Method and device for reconstructing a sequence of magnetic resonance images
US9008462B2 (en) 2011-02-17 2015-04-14 The Johns Hopkins University Methods and systems for registration of radiological images
WO2012154260A2 (en) 2011-02-17 2012-11-15 The Johns Hopkins University Multiparametric non-linear dimension reduction methods and systems related thereto
CN103502831B (zh) 2011-04-21 2016-08-31 皇家飞利浦有限公司 对运动中目标的磁共振成像
US9285449B2 (en) 2011-06-15 2016-03-15 Chunlei Liu Systems and methods for imaging and quantifying tissue magnetism with magnetic resonance imaging
EP2839433B1 (en) 2012-04-19 2024-03-13 New York University System, method and computer-accessible medium for highly-accelerated dynamic magnetic resonance imaging using golden-angle radial sampling
US9396562B2 (en) 2012-09-26 2016-07-19 Siemens Aktiengesellschaft MRI reconstruction with incoherent sampling and redundant haar wavelets
US9269127B2 (en) 2013-01-31 2016-02-23 Ohio State Innovation Foundation De-noising of real-time dynamic magnetic resonance images by the combined application of karhunen-loeve transform (KLT) and wavelet filtering
US9224210B2 (en) 2013-02-06 2015-12-29 University Of Virginia Patent Foundation Systems and methods for accelerated dynamic magnetic resonance imaging
CN105074491B (zh) 2013-03-21 2018-07-17 皇家飞利浦有限公司 具有使用压缩感知的图像重建的动态mri
JP2016539703A (ja) 2013-12-03 2016-12-22 ビューレイ・テクノロジーズ・インコーポレイテッドＶｉｅｗＲａｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｉｎｃ． 位相相関を用いた非剛体変形の存在下での医用画像のシングル及びマルチのモダリティ位置合わせ
JP6513336B2 (ja) 2014-03-25 2019-05-15 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置及び画像処理装置
US10149987B2 (en) 2014-05-04 2018-12-11 Spectronic Ab Method and system for generating synthetic electron density information for dose calculations based on MRI
CN106659423B (zh) * 2014-06-27 2020-09-29 皇家飞利浦有限公司 均匀场区域内的磁共振成像天线的定位
JP6452994B2 (ja) 2014-08-26 2019-01-16 キヤノンメディカルシステムズ株式会社 画像処理装置及び磁気共鳴イメージング装置
MX366786B (es) 2014-09-05 2019-07-23 Hyperfine Res Inc Metodos y aparato de supresion de ruido.
US9770223B2 (en) 2014-09-09 2017-09-26 Wisconsin Alumni Research Foundation System and method for accelerated, time-resolved imaging
US9922272B2 (en) 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
US10748309B2 (en) 2014-10-01 2020-08-18 Mriguidance B.V. Magnetic resonance imaging with enhanced bone visualization
WO2016077438A2 (en) 2014-11-11 2016-05-19 Hyperfine Research, Inc. Pulse sequences for low field magnetic resonance
US10813564B2 (en) 2014-11-11 2020-10-27 Hyperfine Research, Inc. Low field magnetic resonance methods and apparatus
US10663551B2 (en) 2015-02-10 2020-05-26 Voxelgrids Innovations Private Limited Method for constructing image from MRI data
US10593035B2 (en) 2015-03-18 2020-03-17 University Of South Florida Image-based automated measurement model to predict pelvic organ prolapse
WO2016161120A1 (en) * 2015-04-02 2016-10-06 The General Hospital Corporation Systems and methods for low field magnetic resonance elastography
KR20180019518A (ko) 2015-04-13 2018-02-26 하이퍼파인 리서치, 인크. 자기 코일 전력 공급 방법 및 장치
AU2016261914B2 (en) 2015-05-12 2020-12-10 Hyperfine Operations, Inc. Radio frequency coil methods and apparatus
US10534059B2 (en) 2015-05-20 2020-01-14 Ohio State Innovation Foundation Bayesian model for highly accelerated phase-contrast MRI
US10274563B2 (en) 2015-05-28 2019-04-30 Samsung Electronics Co., Ltd. Magnetic resonance imaging apparatus and method
KR102599871B1 (ko) 2015-08-31 2023-11-09 더 보드 오브 트러스티스 오브 더 리랜드 스탠포드 쥬니어 유니버시티 압축 센싱 고해상도 기능 자기 공명 영상법
US11278250B2 (en) * 2015-11-13 2022-03-22 Rensselaer Polytechnic Institute Simultaneous interior MRI X-ray imaging system (MRX)
CN109073681B (zh) 2016-03-22 2020-10-23 海珀菲纳研究股份有限公司 用于磁场匀场的方法和设备
US11386550B2 (en) 2016-07-08 2022-07-12 Biogen Ma Inc. Methods for improved measurements of brain volume and changes in brain volume
US9965863B2 (en) 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN109863512B (zh) 2016-09-01 2023-10-20 通用医疗公司 用于通过流形近似进行自动变换的系统和方法
EP3509696A1 (en) 2016-09-06 2019-07-17 Elekta, Inc. Neural network for generating synthetic medical images
TWI667487B (zh) 2016-09-29 2019-08-01 美商超精細研究股份有限公司 射頻線圈調諧方法及裝置
US10539637B2 (en) 2016-11-22 2020-01-21 Hyperfine Research, Inc. Portable magnetic resonance imaging methods and apparatus
US10627464B2 (en) 2016-11-22 2020-04-21 Hyperfine Research, Inc. Low-field magnetic resonance imaging methods and apparatus
CA3043038A1 (en) 2016-11-22 2018-05-31 Hyperfine Research, Inc. Systems and methods for automated detection in magnetic resonance images
US10585153B2 (en) 2016-11-22 2020-03-10 Hyperfine Research, Inc. Rotatable magnet methods and apparatus for a magnetic resonance imaging system
US10089722B2 (en) * 2016-12-30 2018-10-02 Toshiba Medical Systems Corporation Apparatus and method for reducing artifacts in MRI images
US20180197317A1 (en) 2017-01-06 2018-07-12 General Electric Company Deep learning based acceleration for iterative tomographic reconstruction
US10133964B2 (en) 2017-03-28 2018-11-20 Siemens Healthcare Gmbh Magnetic resonance image reconstruction system and method
WO2018187005A1 (en) 2017-04-07 2018-10-11 Regents Of The University Of Minnesota Methods for scan-specific k-space interpolation reconstruction in magnetic resonance imaging using machine learning
US10803984B2 (en) 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US10698063B2 (en) 2017-11-01 2020-06-30 Siemens Healthcare Gmbh Motion artifact reduction of magnetic resonance images with an adversarial trained network
US10573031B2 (en) 2017-12-06 2020-02-25 Siemens Healthcare Gmbh Magnetic resonance image reconstruction with deep reinforcement learning
US11449759B2 (en) 2018-01-03 2022-09-20 Siemens Heathcare Gmbh Medical imaging diffeomorphic registration based on machine learning
CN111656392B (zh) 2018-02-15 2024-01-05 通用电气公司 用于合成磁共振图像的系统和方法
US10489943B2 (en) 2018-02-28 2019-11-26 General Electric Company System and method for sparse image reconstruction
US11024025B2 (en) 2018-03-07 2021-06-01 University Of Virginia Patent Foundation Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy
EP3543722A1 (en) 2018-03-20 2019-09-25 Koninklijke Philips N.V. Magnetic resonance imaging using corrected k-space trajectories calculated from current sensor data
EP3550515A1 (en) 2018-04-05 2019-10-09 Siemens Healthcare GmbH Cross-modality image synthesis
US11403529B2 (en) 2018-04-05 2022-08-02 Western Digital Technologies, Inc. Noise injection training for memory-based learning
KR20210005626A (ko) 2018-04-20 2021-01-14 하이퍼파인 리서치, 인크. 휴대용 자기 공명 영상 장치용의 전개 가능한 가드
JP2021526043A (ja) 2018-05-21 2021-09-30 ハイパーファイン，インコーポレイテッド 低磁場ｍｒｉシステムのための無線周波数コイル信号チェーン
BR112020021872A2 (pt) 2018-05-21 2021-01-26 Hyperfine Research, Inc. métodos e aparelhos de magneto b0 para um sistema de ressonância magnética
TW202015621A (zh) 2018-07-19 2020-05-01 美商超精細研究股份有限公司 在磁共振成像中患者定位之方法及設備
TW202011893A (zh) 2018-07-30 2020-04-01 美商超精細研究股份有限公司 用於核磁共振影像重建之深度學習技術
TW202012951A (zh) 2018-07-31 2020-04-01 美商超精細研究股份有限公司 低場漫射加權成像
KR20210037683A (ko) 2018-07-31 2021-04-06 하이퍼파인 리서치, 인크. 의료 이미징 디바이스 메시징 서비스
US10635943B1 (en) 2018-08-07 2020-04-28 General Electric Company Systems and methods for noise reduction in medical images with deep neural networks
US10831997B2 (en) 2018-08-09 2020-11-10 CloudMinds Technology, Inc. Intent classification method and system
EP3837636B1 (en) 2018-08-15 2024-03-27 Hyperfine, Inc. Deep learning techniques for suppressing artefacts in magnetic resonance images
CN109325985B (zh) 2018-09-18 2020-07-21 上海联影智能医疗科技有限公司 磁共振图像重建方法、装置和计算机可读存储介质
US11175365B2 (en) 2018-10-02 2021-11-16 General Electric Company System and method for sparse image reconstruction utilizing null data consistency
US10842445B2 (en) 2018-11-08 2020-11-24 General Electric Company System and method for unsupervised deep learning for deformable image registration
CA3122087A1 (en) 2018-12-19 2020-06-25 Hyperfine Research, Inc. System and methods for grounding patients during magnetic resonance imaging
CN109658471B (zh) 2018-12-20 2023-07-25 上海联影医疗科技股份有限公司 一种医学图像重建方法和系统
CA3125092A1 (en) 2018-12-28 2020-07-02 Hyperfine, Inc. Correcting for hysteresis in magnetic resonance imaging
US10712416B1 (en) 2019-02-05 2020-07-14 GE Precision Healthcare, LLC Methods and systems for magnetic resonance image reconstruction using an extended sensitivity model and a deep neural network
US10705170B1 (en) 2019-02-15 2020-07-07 GE Precision Healthcare LLC Methods and systems for removing spike noise in magnetic resonance imaging
US10950014B2 (en) 2019-03-01 2021-03-16 Canon Medical Systems Corporation Method and apparatus for adaptive compressed sensing (CS) to correct motion artifacts in magnetic resonance imaging (MRI)
BR112021016697A2 (pt) 2019-03-12 2021-10-13 Hyperfine, Inc. Sistemas e métodos de imagem por ressonância magnética de crianças
KR20210141550A (ko) 2019-03-14 2021-11-23 하이퍼파인, 인크. 공간 주파수 데이터로부터 자기 공명 이미지를 생성하기 위한 딥 러닝 기법
AU2020261267A1 (en) 2019-04-26 2021-11-11 Hyperfine Operations, Inc. Techniques for dynamic control of a Magnetic Resonance Imaging system
JP2022531485A (ja) 2019-05-07 2022-07-06 ハイパーファイン，インコーポレイテッド 乳児の磁気共鳴画像のためのシステム、装置、及び方法

Also Published As

Publication number Publication date
TW202011893A (zh) 2020-04-01
EP3830596A2 (en) 2021-06-09
AU2019313334A1 (en) 2021-02-04
CN113795764A (zh) 2021-12-14
WO2020028257A3 (en) 2020-03-05
US11467239B2 (en) 2022-10-11
WO2020028257A2 (en) 2020-02-06
US20200033431A1 (en) 2020-01-30
US20220214417A1 (en) 2022-07-07
CA3107326A1 (en) 2020-02-06
US11300645B2 (en) 2022-04-12
KR20210038903A (ko) 2021-04-08
US20200034998A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
JP2021532875A (ja) 磁気共鳴画像再構成のための深層学習技術
US11681000B2 (en) Self ensembling techniques for generating magnetic resonance images from spatial frequency data
EP3837636B1 (en) Deep learning techniques for suppressing artefacts in magnetic resonance images
US9482732B2 (en) MRI reconstruction with motion-dependent regularization
US20220107378A1 (en) Deep learning methods for noise suppression in medical imaging
CN116745803A (zh) 用于医学成像中的噪声抑制的深度学习方法