JP2019111322A - 医用信号処理装置 - Google Patents

医用信号処理装置 Download PDF

Info

Publication number
JP2019111322A
JP2019111322A JP2018227295A JP2018227295A JP2019111322A JP 2019111322 A JP2019111322 A JP 2019111322A JP 2018227295 A JP2018227295 A JP 2018227295A JP 2018227295 A JP2018227295 A JP 2018227295A JP 2019111322 A JP2019111322 A JP 2019111322A
Authority
JP
Japan
Prior art keywords
magnetic resonance
artifact
image
signal
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018227295A
Other languages
English (en)
Other versions
JP7246903B2 (ja
Inventor
修平 新田
Shuhei Nitta
修平 新田
竹島 秀則
Hidenori Takeshima
秀則 竹島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to PCT/JP2018/044729 priority Critical patent/WO2019124076A1/ja
Priority to US16/429,771 priority patent/US20190287674A1/en
Publication of JP2019111322A publication Critical patent/JP2019111322A/ja
Application granted granted Critical
Publication of JP7246903B2 publication Critical patent/JP7246903B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/4818MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】学習済みモデルによる出力誤差を低減させることのできる医用信号処理装置を提供する。【解決手段】医用信号処理装置200は、処理部を有する。処理部は、既知の方向に沿って既知のシフト量でずれた位置に現れるパターンを有する医用信号に対してパターンを低減するように補正された補正信号と、パターンに関するパターン関連情報と、医用信号に関する疾患情報とのうちいずれか一つを出力するように機能付られた学習済みモデル231に対して医用信号を入力し、方向とシフト量とを用いて、補正信号とパターン関連情報と疾患情報とのうちいずれか一つを出力する。【選択図】図10

Description

本発明の実施形態は、医用信号処理装置に関する。
従来、磁気共鳴イメージングにおいては、フーリエ変換又は逆フーリエ変換後の画像に、様々な要因によるアーチファクトが生じ得る。例えば、k空間のラインを間引いて収集するアンダーサンプリングを行った場合、画像に折り返りが発生することがある。また、例えば、EPI(Echo Planar Imaging)法による収集を行った場合、画像にN/2アーチファクトと呼ばれる虚像が発生することがある。
これらのアーチファクトを低減させるように学習されたコンボリューションニューラルネットワーク(Convolutional Neural Network:以下、CNNと呼ぶ)などを当該画像に用いる場合、従来のCNNの枠組みでは、アーチファクトの低減の精度が上がらないような入力対象がある。すなわち、CNNへの入力対象として、例えば、N/2アーチファクトなどのエイリアシングを有する磁気共鳴画像が用いられる場合、エイリアシングを低減させる精度が上がらないことがある。
"A Deep Cascade of Convolutional Neural Networks for MR Image Reconstruction", Jo Schlemper, Jose Caballero, Joseph V. Hajnal, Anthony Price, Daniel Rueckert, https://arxiv.org/abs/1703.00555
本発明が解決しようとする課題は、学習済みモデルによる出力誤差を低減させることである。
実施形態に係る医用信号処理装置は、処理部を有する。前記処理部は、既知の方向に沿って既知のシフト量でずれた位置に現れるパターンを有する医用信号に対して前記パターンを低減するように補正された補正信号と、前記パターンに関するパターン関連情報と、前記医用信号に関する疾患情報とのうちいずれか一つを出力するように機能付られた学習済みモデルに対して前記医用信号を入力し、前記方向と前記シフト量とを用いて、前記補正信号と前記パターン関連情報と前記疾患情報とのうちいずれか一つを出力する。
図1は、実施形態に係る画像処理装置及び磁気共鳴イメージング装置の構成例を示す図。 図2は、本実施形態に係る処理回路による順伝播機能を説明する図である。 図3は、本実施形態の応用例に係る処理回路による順伝播機能を説明する図である。 図4は、本実施形態における磁気共鳴イメージング装置に関する詳細な構成の一例を示す図である。 図5は、本実施形態において、画像生成処理における処理手順の一例を示すフローチャートである。 図6は、本実施形態において、仮画像と、仮画像に対する第1の畳み込み結果のチャネル数と、第1の畳み込み結果に対する第2の畳み込み結果のチャネル数との一例を示す図である。 図7は、本実施形態において、第Nの畳み込み層による第Nの畳み込み結果を用いた磁気共鳴画像の生成の一例を示す図である。 図8は、本実施形態の応用例において、仮画像を2分割した2チャネル画像と、2チャネル画像に対する2チャネルの第1の畳み込み結果のチャネル数と、2チャネルの第1の畳み込み結果に対する2チャネルの第2の畳み込み結果のチャネル数との一例を示す図である。 図9は、本実施形態の応用例において、第Nの畳み込み層による2チャネルの第Nの畳み込み結果を用いた2チャネルの磁気共鳴画像の生成と、2チャネルの磁気共鳴画像を合成した磁気共鳴画像との一例を示す図である。 図10は、本実施形態の適用例における医用信号処理装置の構成の一例を示す図である。 図11は、本実施形態の第1適用例におけるアーチファクト低減処理の手順の一例を示すフローチャートである。 図12は、本実施形態の第1適用例において、Reduction factorが2に対応し、位相エンコード方向に沿った折り返しアーチファクトを有する磁気共鳴画像に対する循環シフト処理の一例を示す図である。 図13は、本実施形態の第1適用例において、Reduction factorが3に対応し、位相エンコード方向に沿った折り返しアーチファクトを有する磁気共鳴画像に対する循環シフト処理の一例を示す図である。 図14は、本実施形態の第2適用例における情報生成処理の手順の一例を示すフローチャートである。 図15は、本実施形態の第3適用例において、生体信号としての心電波形の一例を示す図である。 図16は、本実施形態の第4適用例における医用信号処理装置の一例を示す図である。 図17は、本実施形態の第4適用例における情報生成処理の手順の一例を示すフローチャートである。 図18は、本実施形態の第4適用例におけるエイリアシング前処理の一例を示す図である。 図19は、本実施形態の第5適用例における医用信号処理装置の一例を示す図である。 図20は、本実施形態の第5適用例における結合画像生成処理の手順の一例を示すフローチャートである。 図21は、本実施形態の第5適用例におけるエイリアシング後処理の一例を示す図である。
以下、図面を参照しながら、画像処理装置及び磁気共鳴イメージング装置の実施形態について詳細に説明する。
図1は、実施形態に係る画像処理装置及び磁気共鳴イメージング装置の構成例を示す図である。例えば、図1に示すように、本実施形態に係る磁気共鳴イメージング装置100は、図示を省略する、静磁場磁石、傾斜磁場コイル、高周波コイル等の構成要素の他に、画像処理装置150を備える。本実施形態においては、画像処理装置150が、磁気共鳴画像を生成する。なお、画像処理装置150は、例えば、磁気共鳴画像を生成するための専用の装置であり、又は、他の機能と兼用される装置である。また、本実施形態においては、画像処理装置150は磁気共鳴イメージング装置100の構成要素として説明するが、実施形態はこれに限られるものではなく、画像処理装置150において実行される機能が、例えば、磁気共鳴イメージング装置100と通信可能に接続された他の装置であってもよい。この場合、画像処理装置150としての他の装置は、病院外の他の拠点に設置されてもよい。
また、画像処理装置150は、処理回路151と、メモリ152と、入出力インタフェース153とを備える。処理回路151は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等である。
処理回路151は、メモリ152に保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリ152にプログラムを保存する代わりに、処理回路151内にプログラムを直接組み込むよう構成してもよい。この場合、処理回路151は、自回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを読み出して実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現してもよい。なお、本実施形態の処理回路151は、処理回路151ごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つの処理回路151として構成し、その機能を実現するようにしてもよい。
本実施形態に係る処理回路151は、機械学習のひとつである深層学習を用いて磁気共鳴画像を生成する。一般的な深層学習とは、生物の脳の神経細胞をモデルとしたアルゴリズムである「ニューラルネットワーク」の階層を深めたものである。また、本実施形態に係る処理回路は、深層学習のなかでもCNN(Convolution Neural Network)と呼ばれる手法を用いて磁気共鳴画像を生成する。一般的なCNNの手法では、中間層において、前段の層で注目画素の近傍領域に位置付けられるノードを対象に画像のフィルタ処理を施すことにより、画像の局所的な特徴を抽出する。
これに対し、本実施形態に係る処理回路151は、磁気共鳴画像においては折り返りや虚像と呼ばれるアーチファクトが発生することに着目し、注目画素の近傍領域に位置付けられるノードを対象に画像のフィルタ処理を施すだけでなく、近傍領域とは異なる、注目画素から離れた離隔領域に位置付けられるノードをもフィルタ処理の対象とする。
図2は、本実施形態に係る処理回路151による順伝播機能を説明する図である。図2において、処理回路151は、折り返りや虚像が発生した磁気共鳴画像に対して学習済みモデルを適用する際に、複数の領域(例えば、上述した近傍領域及び離隔領域)に位置付けられるノードを対象にフィルタ処理を施す。複数の領域の位置は、撮像条件に応じて定まる。撮像条件とは、例えば、PI(Parallel Imaging)においてk空間のラインの間引きの程度を示すreduction factor(間引きステップ数)や、FOV(Field Of View)、EPI法のパルスシーケンスの撮像パラメータ等を有する。処理回路151は、かかる撮像条件に応じて、磁気共鳴画像における折り返りや虚像、ケミカルシフトによるシフト等を算出し、磁気共鳴画像内で同一の画素が存在し得る複数の領域を導出する。なお、領域には、ひとつ以上の画素が含まれる。そして、処理回路151は、導出された複数の領域に位置付けられるノードを対象にフィルタ処理を施す。すなわち、処理回路151は、学習済みモデルに相当するコンボリューションニューラルネットワーク複数の中間層各々に対して、複数の中間層各々への入力側に接続される前段の中間層におけるいずれかの第1ノードからの出力と、前段の中間層のうち撮像条件により定まる第2ノードからの出力とを合わせて入力するように処理する。学習済みモデルから出力された磁気共鳴画像は、アーチファクトが低減されたアーチファクト低減画像に相当する。
なお、処理回路151は、注目画素の近傍領域の画素と離隔領域の画素との両方を含むようにフィルタ処理の対象を導出する際に、図2に示すように空間方向に設計してもよいし、図3に示すようにチャネル方向で設計してもよい。図3は、本実施形態の応用例に係る処理回路による順伝播機能を説明する図である。
本実施形態に係る磁気共鳴イメージング装置100による処理の流れの一例を説明する。まず、磁気共鳴イメージング装置100は、所定の撮像条件に従いパルスを実行することにより、磁気共鳴信号を収集し、k空間データを得る。また、画像処理装置150は、得られたk空間データに対してフーリエ変換又は逆フーリエ変換を施し、磁気共鳴画像を生成する。次に、画像処理装置150は、メモリ152に格納された学習済みモデルを読み出し、生成した磁気共鳴画像に対して順伝播処理を施し、入力画像に比較して画質が向上した磁気共鳴画像を表示装置等の出力インタフェースに出力する。この順伝播処理に際して画像処理装置150が用いる学習済みモデルは、入力画像を収集した際の撮像条件に応じてフィルタ処理の対象とする領域の位置を特定されたものである。例えば、画像処理装置150は、撮像条件に応じた複数の学習済みモデルをメモリ152に格納しておき、順伝播処理に際して、複数の学習済みモデルのなかから、撮像条件に合致する学習済みモデルを選択する。
以下、図面を参照しながら、磁気共鳴イメージング装置および画像処理装置の実施形態について詳細に説明する。以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
(実施形態)
図1および図4を参考にして、本実施形態における磁気共鳴イメージング装置100の全体構成について説明する。図4は、本実施形態における磁気共鳴イメージング装置100に関する詳細な構成の一例を示す図である。図4に示すように、磁気共鳴イメージング装置100は、静磁場磁石101と、傾斜磁場コイル103と、傾斜磁場電源105と、寝台107と、寝台制御回路(システム制御部)109と、送信回路(送信部)113と、送信コイル115と、受信コイル117と、受信回路(受信部)119と、撮像制御回路(収集部)121と、システム制御回路(システム制御部)123と、記憶装置125と、画像処理装置150とを備える。なお、被検体Pは、磁気共鳴イメージング装置100に含まれない。
静磁場磁石101は、中空の略円筒状に形成された磁石である。静磁場磁石101は、内部の空間に略一様な静磁場を発生する。静磁場磁石101としては、例えば、超伝導磁石等が使用される。
傾斜磁場コイル103は、中空の略円筒状に形成されたコイルである。傾斜磁場コイル103は、静磁場磁石101の内側に配置される。傾斜磁場コイル103は、互いに直交するX、Y、Zの各軸に対応する3つのコイルが組み合わされて形成される。Z軸方向は、静磁場の方向と同方向であるとする。また、Y軸方向は、鉛直方向とし、X軸方向は、Z軸及びY軸に垂直な方向とする。傾斜磁場コイル103における3つのコイルは、傾斜磁場電源105から個別に電流供給を受けて、X、Y、Zの各軸に沿って磁場強度が変化する傾斜磁場を発生させる。
傾斜磁場コイル103によって発生されるX、Y、Z各軸の傾斜磁場は、例えば、スライス選択用傾斜磁場、位相エンコード用傾斜磁場および周波数エンコード用傾斜磁場(リードアウト傾斜磁場ともいう)を形成する。スライス選択用傾斜磁場は、任意に撮像断面を決めるために利用される。位相エンコード用傾斜磁場は、空間的位置に応じて磁気共鳴信号の位相を変化させるために利用される。周波数エンコード用傾斜磁場は、空間的位置に応じて磁気共鳴信号の周波数を変化させるために利用される。また、傾斜磁場コイル103によって発生されるX、Y、Z各軸の傾斜磁場は、グラジエントエコー法において、X−Y平面上のスピンの位相を再収束させるために、傾斜磁場の方向を2回反転させた再収束パルスとして用いられる。加えて、傾斜磁場コイル103によって発生されるX、Y、Z各軸の傾斜磁場は、静磁場の1次シミングのオフセットとして用いられる。
傾斜磁場電源105は、撮像制御回路121の制御により、傾斜磁場コイル103に電流を供給する電源装置である。
寝台107は、被検体Pが載置される天板1071を備えた装置である。寝台107は、寝台制御回路109による制御のもと、被検体Pが載置された天板1071を、ボア111内へ挿入する。寝台107は、例えば、長手方向が静磁場磁石101の中心軸と平行になるように、検査室内に設置される。
寝台制御回路109は、寝台107を制御する回路である。寝台制御回路109は、入出力インタフェース153を介した操作者の指示により寝台107を駆動することで、天板1071を長手方向および上下方向、場合によっては左右方向へ移動させる。
送信回路113は、撮像制御回路121の制御により、ラーモア周波数で変調された高周波パルスを送信コイル115に供給する。
送信コイル115は、傾斜磁場コイル103の内側に配置されたRFコイルである。送信コイル115は、送信回路113からの出力に応じて、高周波磁場に相当するRF(Radio Frequency)パルスを発生する。送信コイル115は、例えば、複数のコイルエレメントを有する全身用コイル(以下、WB(Whole Body)コイルと呼ぶ)である。WBコイルは、送受信コイルとして使用されてもよい。また、送信コイル115は、1つのコイルにより形成されるWBコイルであってもよい。
受信コイル117は、傾斜磁場コイル103の内側に配置されたRFコイルである。受信コイル117は、高周波磁場によって被検体Pから放射される磁気共鳴信号を受信する。受信コイル117は、受信された磁気共鳴信号を受信回路119へ出力する。受信コイル117は、例えば、1以上、典型的には複数のコイルエレメントを有するコイルアレイである。なお、図1において送信コイル115と受信コイル117とは別個のRFコイルとして記載されているが、送信コイル115と受信コイル117とは、一体化された送受信コイルとして実施されてもよい。送受信コイルは、被検体Pの撮像部位に対応し、例えば、頭部コイルのような局所的な送受信RFコイルである。
受信回路119は、撮像制御回路121の制御により、受信コイル117から出力された磁気共鳴信号に基づいて、デジタルの磁気共鳴信号(以下、磁気共鳴データと呼ぶ)を生成する。具体的には、受信回路119は、受信コイル117から出力された磁気共鳴信号に対して各種信号処理を施した後、各種信号処理が施されたデータに対してアナログ/デジタル(A/D(Analog to Digital))変換を実行する。受信回路119は、A/D変換されたデータを標本化(サンプリング)する。これにより、受信回路119は、磁気共鳴データを生成する。受信回路119は、生成された磁気共鳴データを、撮像制御回路121に出力する。
撮像制御回路121は、処理回路151から出力された撮像プロトコルに従って、傾斜磁場電源105、送信回路113及び受信回路119等を制御し、被検体Pに対する撮像を行う。撮像プロトコルは、検査に応じた各種パルスシーケンスを有する。撮像プロトコルには、傾斜磁場電源105により傾斜磁場コイル103に供給される電流の大きさ、傾斜磁場電源105により電流が傾斜磁場コイル103に供給されるタイミング、送信回路113により送信コイル115に供給される高周波パルスの大きさや時間幅、送信回路113により送信コイル115に高周波パルスが供給されるタイミング、受信コイル117により磁気共鳴信号が受信されるタイミング等が定義されている。
システム制御回路123は、ハードウェア資源として図示していないプロセッサ、ROM(Read−Only Memory)やRAM(Random Access Memory)等のメモリ等を有し、システム制御機能により磁気共鳴イメージング装置100を制御する。具体的には、システム制御回路123は、記憶装置125に記憶されたシステム制御プログラムを読み出してメモリ上に展開し、展開されたシステム制御プログラムに従って本磁気共鳴イメージング装置100の各回路を制御する。例えば、システム制御回路123は、入出力インタフェース153を介して操作者から入力された撮像条件に基づいて、撮像プロトコルを記憶装置125から読み出す。なお、システム制御回路123は、撮像条件に基づいて、撮像プロトコルを生成してもよい。システム制御回路123は、撮像プロトコルを撮像制御回路121に送信し、被検体Pに対する撮像を制御する。なお、画像処理装置150が磁気共鳴イメージング装置100に搭載された場合、システム制御回路123は、処理回路151に組み込まれてもよい。このとき、システム制御機能は処理回路151により実行され、処理回路151は、システム制御回路123の代替として機能する。
記憶装置125は、システム制御回路123において実行される各種プログラム、各種撮像プロトコル、撮像プロトコルを規定する複数の撮像パラメータを含む撮像条件等を記憶する。記憶装置125は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスクドライブ(Hard Disk Drive)、ソリッドステートドライブ(Solid State Drive)、光ディスク等である。また、記憶装置125は、CD−ROMドライブやDVDドライブ、フラッシュメモリ等の可搬型記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。なお、画像処理装置150が磁気共鳴イメージング装置100に搭載された場合、記憶装置125に記憶されるデータは、メモリ152に記憶されてもよい。このとき、メモリ152は、記憶装置125の代替として機能する。
画像処理装置150は、処理回路151とメモリ152と入出力インタフェース153とを有する。処理回路151は、再構成機能1511、選択機能1513、画像生成機能1515を有する。再構成機能1511、選択機能1513、画像生成機能1515にて行われる各種機能は、コンピュータによって実行可能なプログラムの形態でメモリ152に記憶されている。処理回路151は、これら各種機能に対応するプログラムをメモリ152から読み出し、読み出したプログラムを実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読みだした状態の処理回路151は、図4の処理回路151内に示された複数の機能等を有する。再構成機能1511、選択機能1513、画像生成機能1515については、後程詳述する。
なお、図1においては単一の処理回路151にてこれら各種機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路151を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。なお、処理回路151が有する再構成機能1511、選択機能1513、画像生成機能1515は、それぞれ再構成部、選択部、画像生成部の一例である。上記説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU或いは、ASIC、プログラマブル論理デバイス(SPLD、CPLD、及びFPGA)等の回路を意味する。なお、寝台制御回路109、送信回路113、受信回路119、撮像制御回路121、システム制御回路123等も同様に、上記プロセッサなどの電子回路により構成される。
処理回路151は、再構成機能1511により、リードアウト傾斜磁場の強度に従って、k空間のリードアウト方向に沿って磁気共鳴データを充填する。処理回路151は、k空間に充填された磁気共鳴データに対してフーリエ変換又は逆フーリエ変換を行うことにより、磁気共鳴画像を生成する。処理回路151は、磁気共鳴画像を、メモリ152や入出力インタフェース153に出力する。
メモリ152は、再構成機能1511を介してk空間に充填された磁気共鳴データ、画像生成機能1515により生成された画像データ等を記憶する。メモリ152は、処理回路151で実行される各種機能に対応するプログラムを記憶する。メモリ152は、例えば、半導体メモリ素子である。
入出力インタフェース153は、入力インタフェースと出力インタフェースとを有する。入力インタフェースは、例えば、マウス等のポインティングデバイス、あるいはキーボード等の入力デバイスに関する回路、ネットワークからの入力端子等を有する。なお、入力インタフェースが有する回路は、マウス、キーボードなどの物理的な操作部品に関する回路に限定されない。例えば、入力インタフェースは、本磁気共鳴イメージング装置100とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、受け取った電気信号を種々の回路へ出力するような電気信号の処理回路を有していてもよい。出力インタフェースは、例えば、ディスプレイ、ネットワークへの出力端子等である。ディスプレイは、システム制御機能による制御のもとで、再構成機能1511により再構成された各種磁気共鳴画像、画像生成機能1515により生成された各種磁気共鳴画像、撮像および画像処理に関する各種情報などを表示する。ディスプレイは、例えば、CRTディスプレイや液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイ、モニタ等の表示デバイスである。
以上が本実施形態に係る磁気共鳴イメージング装置100の全体構成についての説明である。以下、本実施形態における再構成機能1511、選択機能1513、画像生成機能1515により実現される画像生成処理について説明する。本実施形態における画像生成処理は、画像処理装置150に入力された磁気共鳴画像が磁気共鳴イメージングにより収集される際の撮像条件に対応する学習済みモデルを、入力された磁気共鳴画像に適用して、画質を向上させるための順伝播処理を行い、画質を向上させた磁気共鳴画像を出力することにある。
メモリ152は、不図示のモデル学習装置により学習された複数の学習済みモデルを、複数の撮像条件にそれぞれ対応付けてプログラムとして記憶する。複数の撮像条件とは、上述したように、k空間における等間隔での間引き収集における間引き率を示すReduction factor、FOV、EPI法のパルスシーケンスの撮像パラメータ等を有する。以下、画像生成処理の説明に先立って、学習済みモデルについて説明する。
学習済みモデルは、不図示のモデル学習装置により生成される。具体的には、モデル学習装置は、不図示の学習データ保管装置に記憶された学習データに基づいて、モデル学習プログラムに従い機械学習前のモデルに機械学習を行わせることにより、学習済みモデルを生成する。モデル学習装置は、CPU及びGPU等のプロセッサを有するワークステーション等のコンピュータである。モデル学習装置と学習データ保管装置とはケーブル又は通信ネットワークを介して通信可能に接続されても良いし、学習データ保管装置がモデル学習装置に搭載されてもよい。この場合、ケーブル又は通信ネットワーク等を介して、学習データ保管装置からモデル学習装置に学習データが供給される。また、モデル学習装置と学習データ保管装置とは通信可能に接続されてなくてもよい。この場合、学習データが記憶された可搬型記憶媒体を介して、学習データ保管装置からモデル学習装置に、学習データが供給される。
本実施形態に係る学習済みモデルは、撮像条件によりアーチファクトの発生位置が既知である磁気共鳴画像を入力として、当該磁気共鳴画像におけるアーチファクトが除去された磁気共鳴画像を出力するCNNである。このとき、CNNにおけるフィルタの総数は、予め設定される。また、学習データは、撮像条件によりアーチファクトの発生位置が既知である磁気共鳴画像のデータ、CNNにおけるフィルタ処理すなわち畳み込み処理の対象となる近傍領域および離隔領域を示すデータ、および当該磁気共鳴画像におけるアーチファクトが除去された磁気共鳴画像のデータである。
近傍領域と離隔領域とは、当該撮像条件に応じたアーチファクトの発生位置に基づいて、予め設定される。例えば、アーチファクトがReduction factorに応じた折り返しである場合、近傍領域と離隔領域とは、折り返しにより画素が重複する位置を中心とする領域に相当する。また、アーチファクトがEPI法におけるNハーフアーチファクトである場合、近傍領域と離隔領域とは、Nハーフアーチファクトにおいて折り返された画素が重複する位置を中心とする領域に相当する。また、アーチファクトがケミカルシフトである場合、近傍領域と離隔領域とは、ケミカルシフトによりシフトされた画素が重複する位置を中心とする領域に相当する。
近傍領域と離隔領域とは、CNNにおいて、同一の物理位置によるアーチファクトの発生位置に応じた複数の畳み込み位置に相当する。このため、モデル学習装置は、注目画素の近傍領域と、注目画素に重畳される遠方画素を含む離隔領域との両者を含むように、CNNにおける畳み込み層を決定することができる。
モデル学習装置により生成された学習済みモデルは、例えば、カーテシアンでの間引き収集における等間隔での間引き率に応じて畳み込み位置を変化させた畳み込み層を有するニューラルネットワーク、EPIにおけるNハーフアーチファクトの発生位置に応じて畳み込み位置を変化させた畳み込み層を有するニューラルネットワーク、ケミカルシフトに応じて畳み込み位置を変化させた畳み込み層を有するニューラルネットワーク、間引き収集における間引き率とEPIにおけるNハーフアーチファクトの発生位置とケミカルシフトとに応じて畳み込み位置を変化させた畳み込み層を有するニューラルネットワークなどを処理回路151に実行させるプログラムである。これらのニューラルネットワークは、撮像条件と対応付けられて、メモリ152にプログラムとして記憶される。
以下、学習済みモデルを用いた画像生成処理の処理手順について説明する。図5は、画像生成処理における処理手順の一例を示すフローチャートである。本フローチャートにおける説明に関するアーチファクトは、Reduction factorに応じた折り返しアーチファクトであるものとして説明する。なお、本実施形態として適用可能なアーチファクトは、折り返しアーチファクトに限定されず、例えば、EPI法におけるNハーフアーチファクト、ケミカルシフトによるアーチファクトなどであってもよい。
(画像生成処理)
(ステップSa1)
入出力インタフェース153を介した操作者の指示により、撮像条件が入力される。以下、説明を具体的にするために、撮像条件は、Reduction factorが2であるものとする。処理回路151は、選択機能1513により、入力された撮像条件を用いて、当該撮像条件に対応する学習済みモデルを選択する。なお、学習済みモデルの選択は、後述のステップSa3の後に実行されてもよい。
(ステップSa2)
撮像制御回路121は、入力された撮像条件に従ってパルスシーケンスを実行することにより、磁気共鳴データを収集する。撮像制御回路121は、収集された磁気共鳴データを、処理回路151に出力する。処理回路151は、磁気共鳴データを、メモリ152上において、k空間を示すデータ空間に配列する。
(ステップSa3)
処理回路151は、再構成機能1511により、データ空間に配列された磁気共鳴データ、すなわちk空間データに対してフーリエ変換または逆フーリエ変換を施すことにより、仮画像を再構成する。仮画像には、撮像条件に応じたアーチファクトが現れる。例えば、Reduction factorが2である撮像条件でパルスシーケンスが実行された場合、仮画像は、Reduction factorが1である場合のFOVに対して、位相エンコード方向のFOVの半分の位置で折り返しが発生した画像となる。
(ステップSa4)
処理回路151は、画像生成機能1515により、選択された学習済みモデルに対応するプログラムをメモリ152から読み出す。処理回路151は、読み出された学習済みモデルに対応するプログラムを実行する。具体的には、処理回路151は、読み出された学習済みモデルを仮画像に適用して、順伝播処理を実行する。処理回路151は、順伝播処理の結果として、アーチファクトが除去された磁気共鳴画像を生成する。ステップSa1において撮像条件としてReduction factorが入力された場合、本ステップで生成される磁気共鳴画像は、折り返しが除去された画像となる。以下、本ステップにおける順伝播処理を実行する順伝播機能について、図6および図7を用いて説明する。
図6および図7は、図2を詳細に示した図である。図6は、仮画像TempIと、仮画像TempIに対する第1の畳み込み結果のチャネル数1ConvRと、第1の畳み込み結果に対する第2の畳み込み結果のチャネル数2ConvRとの一例を示す図である。説明を簡単にするために、図6における仮画像TempIにおける注目画素NPに着目する。注目画素NPの画素値は、折り返しによる画素値と、折り返しによらない本来の画素値との和となる。このため、学習済みモデルにおける複数の畳み込み層各々において、注目画素NPに関する畳み込み位置は、注目画素NPを包含する近傍領域ARと、注目画素NPに折り返る画素の位置を中心とした離隔領域SRとなる。
処理回路151は、画像生成機能1515により、学習済みモデルにおける第1の畳み込み層において、仮画像TempIにおいて近傍領域ARおよび離隔領域SRに含まれる複数の画素値に対して、畳み込み演算に相当するフィルタ処理を実行する。具体的には、処理回路151は、選択された学習済みモデルにおける第1の畳み込み層に用いられる複数のフィルタ各々における複数のフィルタ係数を重み付け係数として用いて、近傍領域ARおよび離隔領域SRに含まれる複数の画素値に対して積和演算、すなわち畳み込み演算を実行する。処理回路151は、第1の畳み込み結果において、上記畳み込み演算の結果である積和値を、注目画素NPに対応する位置NP1に関連付ける。処理回路151は、第1の畳み込み層におけるフィルタ処理を、学習済みモデルにおけるフィルタの総数に亘って並列的に実行する。これらの処理により、処理回路151は、第1の畳み込み結果を算出する。例えば、フィルタの総数が64である場合、第1の畳み込み結果のチャネル数1ConvRは、64枚のマップに相当する。
処理回路151は、画像生成機能1515により、第1の畳み込み結果を、選択された学習済みモデルにおける第2の畳み込み層へ入力する。具体的には、処理回路151は、第2の畳み込み層に用いられる複数のフィルタ各々における複数のフィルタ係数を重み付け係数として用いて、第1の畳み込み結果のチャネル数1ConvR、すなわちフィルタの総数に対応する複数のマップにおける近傍領域ARおよび離隔領域SRに含まれる複数の積和値に対して畳み込み演算を実行する。近傍領域ARと離隔領域SRの畳み込み係数は別の係数を用いた学習を行っても良いし、同一の係数を用いても良い。また、畳み込みの範囲(カーネルサイズ)は正方形である必要はなく、例えば、画像のアスペクト比にあわせた形状としても良いし、例えば、畳み込みの範囲としてリードアウト方向が長い形状を用いても良い。処理回路151は、第2の畳み込み結果において、第2の畳み込み層による上記畳み込み演算の結果である積和値を、注目画素NPに対応する位置NP2に関連付ける。処理回路151は、第2の畳み込み層におけるフィルタ処理を、学習済みモデルにおけるフィルタの総数に亘って並列的に実行する。これらの処理により、処理回路151は、第2の畳み込み結果を算出する。以下、同様に、処理回路151は、学習済みモデルにおける畳み込み層の総数Nに亘って、フィルタ処理による演算を、順伝播処理FFPにおいて繰り返す。なお、隣接する2つの畳み込み層の間には、適宜、プーリング層、活性化層、コントラスト正規化層、ショートカット(ResNet)、前データとの結合(DenseNet)等が設けられてもよい。
図7は、第Nの畳み込み層による第Nの畳み込み結果を用いた磁気共鳴画像ReIの生成の一例を示す図である。図7に示すように、処理回路151は、画像生成機能1515により、複数の第Nの畳み込み結果のチャネル数NconvRに対して全結合層を適用することにより、磁気共鳴画像ReIを生成する。処理回路151は、生成された磁気共鳴画像ReIを入出力インタフェース153に出力する。入出力インタフェース153におけるディスプレイは、生成された磁気共鳴画像ReIを表示する。
以上に述べた構成によれば、以下に示す効果を得ることができる。
本実施形態における磁気共鳴イメージング装置100によれば、入力された磁気共鳴画像が磁気共鳴イメージングにより収集される際の撮像条件に対応する学習済みモデルを、入力された磁気共鳴画像に対して適用して、画質を向上させるための順伝播処理を行い、磁気共鳴画像を出力することができる。具体的には、本磁気共鳴イメージング装置100によれば、k空間における等間隔での間引き収集により磁気共鳴データを収集し、磁気共鳴データに対するフーリエ変換により仮画像を再構成し、同一の物理位置によるアーチファクトの発生位置に応じて設定された複数の畳み込み位置を用いて学習された畳み込み層を有し複数の撮像条件にそれぞれ対応する複数の学習済みモデルから、仮画像に関する撮像条件を用いて、仮画像に適用される学習済みモデルを選択し、選択された学習済みモデルを仮画像に適用することにより、磁気共鳴画像を生成することができる。
また、本磁気共鳴イメージング装置100によれば、複数の学習済みモデルのうち少なくとも一つとして、間引き収集における間引き率に応じて畳み込み位置を変化させた畳み込み層を有するニューラルネットワーク、エコープラナーイメージングにおけるNハーフアーチファクトの発生位置に応じて畳み込み位置を変化させた畳み込み層を有するニューラルネットワーク、ケミカルシフトに応じて畳み込み位置を変化させた畳み込み層を有するニューラルネットワークを用いて、撮像条件に応じて既知の位置に発生するアーチファクトを除去した磁気共鳴画像を生成することができる。
以上のことから、本磁気共鳴イメージング装置100によれば、撮像条件に応じた既知の折り返し位置に応じた畳み込み位置、すなわち近傍領域ARおよび離隔領域SRを、効果的および効率的に必要な情報として用いた非線形写像の学習により畳み込み層を設計し、当該設計された畳み込み層を有する学習済みモデルを用いて、アーチファクトを除去した磁気共鳴画像を生成することができる。これにより、本磁気共鳴イメージング装置100によれば、再構成される磁気共鳴画像の画質を向上させることができる。
(応用例)
本応用例と実施形態との相違は、折り返しの位置などのアーチファクトの発生位置に応じて分割された2つの仮画像(以下、2チャネル画像と呼ぶ)をCNNへの2つのチャネルの入力として用いて、アーチファクトが除去された磁気共鳴画像を生成することにある。なお、CNNへの入力は上記2チャネル画像に限定されず、アーチファクトの発生位置に応じて多分割された多チャネル画像であってもよい。まず、本応用例における学習済みモデルについて説明し、次いで、本応用例における学習済みモデルを用いた磁気共鳴画像の生成について説明する。
本応用例に係る学習済みモデルは、アーチファクトの発生位置が撮像条件により既知である仮画像を2分割した2チャネル画像を入力として、当該仮画像におけるアーチファクトが除去された磁気共鳴画像を出力するCNNである。学習データは、撮像条件によりアーチファクトの発生位置が既知である磁気共鳴画像を2分割したデータ、近傍領域および離隔領域を示すデータ、および当該磁気共鳴画像におけるアーチファクトが除去された磁気共鳴画像のデータである。CNNに入力される画像は、本実施形態に比べて1チャネルから2チャネルに倍増する。モデル学習装置は、学習データを用いてCNNを学習することにより、本応用例に関する学習済みモデルを生成する。生成された学習済みモデルは、対応する撮像条件とともにメモリ152にプログラムとして記憶される。
処理回路151は、画像生成機能1515により、ステップSa3において、仮画像を2つに分割する。処理回路151は、例えば、仮画像において折り返しが発生していない軸に沿って仮画像を2つに分割することにより、2チャネル画像を生成する。なお、仮画像を2分割する軸は、上記軸に限定されず任意に設定可能である。処理回路151は、ステップSa4において、選択された学習済みモデルを、2チャネル画像に適用して順伝播処理を実行することにより、アーチファクトが除去された磁気共鳴画像を生成する。以下、説明を具体的にするために、本応用例における説明に関するアーチファクトは、Reduction factorに応じた折り返しアーチファクトであるものとして説明する。なお、本応用例として適用可能なアーチファクトは、折り返しアーチファクトに限定されず、例えば、EPI法におけるNハーフアーチファクト、ケミカルシフトによるアーチファクトなどであってもよい。
図8および図9は、図3を詳細に示した図である。図8は、仮画像TempIを2分割した2チャネル画像2cTempIと、2チャネル画像2cTempIに対する2チャネルの第1の畳み込み結果のチャネル数1ConvR2chと、2チャネルの第1の畳み込み結果に対する2チャネルの第2の畳み込み結果のチャネル数2ConvRch2との一例を示す図である。説明を簡単にするために、図8における2チャネル画像2cTempIにおける注目画素NP2cに着目する。注目画素NP2cの画素値は、折り返しによる画素値と、折り返しによらない本来の画素値との和となる。このため、2チャネル画像2cTempIのうち第1の画像2cI1において注目画素NP2cに関する畳み込み位置は、第1の画像2cI1において注目画素NP2を包含する近傍領域ARと、2チャネル画像2cTempIのうち第2の画像2cI2において注目画素NP2に折り返る画素の位置を中心とした離隔領域SRとなる。
処理回路151は、画像生成機能1515により、学習済みモデルにおける第1の畳み込み層において、第1の画像2cI1における近傍領域ARに含まれる複数の画素値と、第2の画像2cI2における離隔領域SRに含まれる複数の画素値とに対して、畳み込み演算に相当するフィルタ処理を実行する。具体的には、処理回路151は、選択された学習済みモデルにおける第1の畳み込み層に用いられる複数のフィルタ各々における複数のフィルタ係数を重み付け係数として用いて、近傍領域ARおよび離隔領域SRに含まれる複数の画素値に対して積和演算、すなわち畳み込み演算を実行する。処理回路151は、2チャネルの第1の畳み込み結果において、上記畳み込み演算の結果である積和値を、注目画素NP2cに対応する位置NP2c1に関連付ける。処理回路151は、フィルタ処理を、学習済みモデルにおけるフィルタの総数に亘って並列的に実行する。これらの処理により、処理回路151は、2チャネルの第1の畳み込み結果を算出する。例えば、フィルタの総数が128である場合、2チャネルの第1の畳み込み結果のチャネル数1ConvR2chは、128枚のマップに相当する。
処理回路151は、画像生成機能1515により第1の畳み込み結果を、選択された学習済みモデルにおける第2の畳み込み層へ入力する。具体的には、処理回路151は、第2の畳み込み層に用いられる複数のフィルタ各々における複数のフィルタ係数を重み付け係数として用いて、第1の畳み込み結果のチャネル数1ConvR2ch、すなわちフィルタの総数に対応する複数のマップにおける位置NP2c1を中心とした領域ConvRに含まれる複数の積和値に対して畳み込み演算を実行する。処理回路151は、2チャネルの第2の畳み込み結果において、第2の畳み込み層による上記畳み込み演算の結果である積和値を、注目画素NPに対応する位置NP2c2に関連付ける。処理回路151は、第2の畳み込み層におけるフィルタ処理を、学習済みモデルにおけるフィルタの総数に亘って並列的に実行する。これらの処理により、処理回路151は、2チャネルの第2の畳み込み結果を算出する。以下、同様に、処理回路151は、学習済みモデルにおける畳み込み層の総数Nに亘って、フィルタ処理による演算を、順伝播処理FFPにおいて繰り返す。なお、隣接する2つの畳み込み層の間には、適宜、プーリング層、局所コントラスト正規化層等が設けられてもよい。
図9は、第Nの畳み込み層による2チャネルの第Nの畳み込み結果を用いた2チャネルの磁気共鳴画像2cReIの生成と、2チャネルの磁気共鳴画像2cReIを合成した磁気共鳴画像ReIとの一例を示す図である。図9に示すように、処理回路151は、画像生成機能1515により、複数の第Nの畳み込み結果のチャネル数NconvRchに対して全結合層を適用することにより、2チャネルの磁気共鳴画像2cReIを生成する。処理回路151は、生成された2チャネルの磁気共鳴画像2cReIを合成することにより、アーチファクトが除去された磁気共鳴画像ReIを生成する。
(第1変形例)
本実施形態と本変形例との相違は、仮画像として複素数画像を用いることと、畳み込み層における畳み込み演算として複素演算を用いることとにある。すなわち、本変形例においてCNNの計算は、複素空間での複素演算として実行される。本変形例に係る学習済みモデルは、アーチファクトの発生位置が撮像条件により既知である複素数画像を入力として複素演算を実行し、当該複素数画像におけるアーチファクトが除去された複素数画像を出力するCNNである。学習データは、撮像条件によりアーチファクトの発生位置が既知である複素数画像のデータ、近傍領域および離隔領域を示すデータ、および当該複素数画像におけるアーチファクトが除去された複素数画像のデータである。モデル学習装置は、学習データを用いてCNNを学習することにより、本応用例に関する学習済みモデルを生成する。生成された学習済みモデルは、対応する撮像条件とともに、メモリ152にプログラムとして記憶される。
処理回路151は、再構成機能1511により、収集された磁気共鳴信号に対して直交位相検波を実行することにより、複素磁気共鳴データを生成する。処理回路151は、複素磁気共鳴データに対してフーリエ変換又は逆フーリエ変換を行うことにより、複素数画像を生成する。処理回路151は、画像生成機能1515により、選択された学習済みモデルを複素数画像に適用して順伝播処理を実行することにより、アーチファクトが除去された複素数画像を生成する。処理回路151は、順伝播処理により生成された複素数画像を用いて、磁気共鳴画像を生成する。
(第2の変形例)
応用例と本変形例との相違は、応用例に記載の2チャネル画像として、複素数画像における実部画像と虚部画像とを用いることにある。本変形例に係る学習済みモデルは、アーチファクトの発生位置が撮像条件により既知である実部画像と虚部画像とを入力として、当該実部画像および当該虚部画像におけるアーチファクトがそれぞれ除去された実部画像と虚部画像とを出力するCNNである。学習データは、撮像条件によりアーチファクトの発生位置が既知である実部画像および虚部画像のデータ、近傍領域および離隔領域を示すデータ、および当該実部画像および当該虚部画像におけるアーチファクトがそれぞれ除去された実部画像と虚部画像とのデータである。モデル学習装置は、学習データを用いてCNNを学習することにより、本応用例に関する学習済みモデルを生成する。生成された学習済みモデルは、対応する撮像条件とともに、メモリ152にプログラムとして記憶される。
処理回路151は、再構成機能1511により、収集された磁気共鳴信号に対して直交位相検波を実行することにより、複素磁気共鳴データを生成する。処理回路151は、複素磁気共鳴データにおける実部データに対してフーリエ変換又は逆フーリエ変換を行うことにより、実部画像を生成する。処理回路151は、複素磁気共鳴データにおける虚部データに対してフーリエ変換又は逆フーリエ変換を行うことにより、虚部画像を生成する。処理回路151は、画像生成機能1515により、選択された学習済みモデルを実部画像および虚部画像に適用して順伝播処理を実行することにより、アーチファクトが除去された実部画像および虚部画像を生成する。処理回路151は、順伝播処理により生成された実部画像と虚部画像とを用いて、磁気共鳴画像を生成する。
本実施形態等の変形例として、本画像処理装置150の技術的思想をクラウド等で実現する場合には、インタネット上のサーバーは、例えば図1および図4における処理回路151およびメモリ152を有するものとなる。このとき、再構成機能1511、選択機能1513、画像生成機能1515等は、当該機能を実行する画像処理プログラムをサーバーの処理回路151にインストールし、これらをメモリ上で展開することによって実現される。例えば、サーバーは、画像生成処理等を実行することができる。
以上説明した少なくとも1つの実施形態によれば、磁気共鳴画像の画質を向上することができる。
(第1適用例)
以下、本実施形態の適用例について説明する。図10は、本適用例における医用信号処理装置200の構成の一例を示す図である。図10に示すように、医用信号処理装置200は、入力インタフェース201と、メモリ203と、処理回路205と、ディスプレイ207とを有する。医用信号処理装置200は、磁気共鳴イメージング装置100に搭載されてもよい。入力インタフェース201とディスプレイ207とは実施形態における入出力インタフェース153に対応するため、説明は省略する。なお、入力インタフェース201は、例えば磁気共鳴イメージング装置などの医用画像診断装置から、撮像条件および医用画像を取得する通信インターフェースとして機能してもよい。メモリ203および処理回路205に関するハードウェア構成は、実施形態と同様なため、説明は省略する。なお、処理回路205は、撮像条件および医用画像を不図示のモダリティから取得する取得機能を有していてもよい。取得機能を実現する処理回路205は、取得部として機能する。
メモリ203は、学習済みモデル231と撮像条件2031と医用信号2033とを記憶する。学習済みモデル231は、既知の方向に沿って既知のシフト量でずれた位置に現れるパターンを有する医用信号2033に対してパターンを低減するように補正された補正信号と、パターンに関するパターン関連情報と、医用信号2033に関する疾患情報とのうちいずれか一つを出力するように機能付られている。医用信号2033は、例えば、被検体Pに対する磁気共鳴撮像により生成された磁気共鳴画像であって、上述の仮画像に相当する。以下、説明を具体的にするために、医用信号2033は、磁気共鳴画像として説明する。パターンは、例えば、磁気共鳴撮像の撮像条件2031に応じて、磁気共鳴画像に発生したアーチファクトである。アーチファクトは、例えば、折り返しアーチファクトとNハーフアーチファクトとケミカルシフトアーチファクトとモーションアーチファクトとのうち少なくとも一つのアーチファクトである。
以下、本適用例における学習済みモデル231は、補正信号を出力するものとして説明する。学習済みモデル231がパターン関連情報または疾患情報を出力する場合については、後述の第2適用例において説明する。また、パターンが非アーチファクトであって、医用信号2033が非2次元的な医用信号(例えば非画像)である場合については、第3適用例において説明する。本適用例に関する処理は、医用信号に対するデノイズ等に向いているが、デノイズに限定されず第2適用例および第3適用例に示すように、デノイズ以外の用途として用いられてもよい。
既知の方向は、アーチファクトの発生に関する方向であって、撮像条件2031におけるパルスシーケンスにより規定される。例えば、アーチファクトがパラレルイメージングにより発生する折り返し(aliasing)アーチファクトである場合、既知の方向は、磁気共鳴画像において折り返される方向に対応する。折り返される方向は、位相エンコード方向に限定されず、例えば、マルチスライスカイピリーニャや2次元カイピリーニャなどのように位相エンコード方向と周波数エンコード方向との両者により規定される方向であってもよい。また、アーチファクトがEPI法のパルスシーケンスの実行により発生するNハーフアーチファクトである場合、既知の方向は、例えば、磁気共鳴画像における位相エンコード方向に対応する。アーチファクトがケミカルアーチファクトである場合、既知の方向は、例えば、磁気共鳴画像における周波数エンコード方向に対応する。また、アーチファクトがモーションアーチファクトである場合、既知の方向は、例えば、磁気共鳴画像における被検体Pの体動の方向や拍動流の方向に対応する。
既知のシフト量は、アーチファクトの発生位置に基づく磁気共鳴画像の循環的な並進量であって、撮像条件2031におけるパルスシーケンスにより規定される。例えば、アーチファクトが折り返しアーチファクトである場合、既知のシフト量は、パルスシーケンスにおけるReduction factorに対応する。また、アーチファクトがNハーフアーチファクトである場合、既知のシフト量は、例えば、磁気共鳴画像において位相エンコード方向に表れたゴーストの位置に対応する。アーチファクトがケミカルアーチファクトである場合、既知のシフト量は、例えば、水と脂肪との共鳴周波数の差と静磁場の強度とに依存する。また、アーチファクトがモーションアーチファクトである場合、既知のシフト量は、例えば、磁気共鳴画像において位相エンコード方向に表れたゴーストの位置に対応する。既知の方向および既知のシフト量に関する折り返し位置は、撮像条件2031により、アーチファクトの発生場所として定義もしくは推定される。
補正信号は、磁気共鳴画像におけるアーチファクトが低減された磁気共鳴画像(以下、アーチファクト低減画像と呼ぶ)に対応する。例えば、パターンとしてのアーチファクトが折り返しアーチファクトである場合、補正信号は、折り返しアーチファクトが低減されたアーチファクト低減画像に対応する。アーチファクト低減画像は、図7および図9における磁気共鳴画像ReIに相当する画像である。
学習済みモデル231は、既知の方向と既知のシフト量とを用いて、入力された磁気共鳴画像に対して、補正信号を出力する。具体的には、学習済みモデル231は、図10に示すように、循環シフト層(Circulation shift layer)2311と、ディープニューラルネットワーク(Deep Neural Network:以下、DNNと呼ぶ)の一例としてのCNN2313とを有する。学習済みモデル231は、撮像条件2031に対応付けられて、メモリ203に記憶される。すなわち、メモリ203には、既知の方向と既知のシフト量とに応じた複数の学習済みモデルが記憶される。循環シフト層2311は、撮像条件2031に応じて、アーチファクトの発生場所に関連した既知の方向と既知のシフト量とに従って、予め設定される。すなわち、循環シフト層2311は、機械学習されないモデルである。一方、CNN2313は、機械学習により生成されるモデルである。機械学習されない循環シフト層2311と機械学習により生成されるCNN2313とを組み合わせた学習済みモデル231は、機械学習により生成される。
循環シフト層2311は、既知の方向に沿って循環的に既知のシフト量だけ磁気共鳴画像をシフトさせることにより、シフト信号を生成する。シフト信号は、既知の方向に沿って循環的に既知のシフト量だけ磁気共鳴画像をシフトさせた画像(以下、シフト画像と呼ぶ)に相当する。循環的にシフトすることは、既知の方向に関して医用信号の両端部がそれぞれつながっているとみなして、医用信号を循環させることに対応する。なお、循環シフト層2311により実行される処理内容は、深層学習(Deep Learning)により実現されてもよい。すなわち、循環シフト層2311は、略周期性を有する磁気共鳴画像を入力として、シフト画像を出力するDNNとして実現されてもよい。循環シフト層2311により実行される処理内容については、後程説明する。
CNN2313は、磁気共鳴画像とシフト画像とを用いて、補正信号を出力するように機能付けられているニューラルネットワークである。なお、CNN2313の代わりに、局所的な接続性(Locally connect)を有するニューラルネットワークが用いられてもよい。例えば、学習済みモデル231から出力されるデータがアーチファクト低減画像である場合、学習済みモデル231は、循環シフト層2311とCNN2313とを有する。また、CNN2313の代わりに、フルコネクトとしてのDNNが、学習済みモデル231から出力される出力データの用途に応じて適宜用いられてもよい。本実施形態および本適用例にかかるCNN2313またはDNNとして、ResNet(Residual Network)やDenseNet(Dense Convolutional Network)、U−Net等が利用可能である。また、ResNet、DenseNetまたはU−Net等において、循環シフト層2311とCNN2313との組み合わせが、適宜繰り返し実行されてもよい。
処理回路205は、決定機能2511と出力機能2513とを有する。処理回路205は、決定機能2511により、被検体Pに対する撮像条件2031に基づいて、既知の方向と既知のシフト量とを決定する。処理回路205は、決定された方向と決定されたシフト量とに基づいて、学習済みモデルを決定する。処理回路205は、出力機能2513により、決定された学習済みモデルに対して磁気共鳴画像を入力し、既知の方向と既知のシフト量とを用いて、補正信号を出力する。処理回路205は、処理部に相当し、上述のプロセッサなどの電子回路により構成される。
以下、本適用例における学習済みモデル231を用いて、補正信号としてのアーチファクト低減画像を生成する処理(以下、アーチファクト低減処理と呼ぶ)を実行する手順について、図11乃至図13を用いて説明する。図11は、アーチファクト低減処理の手順の一例を示すフローチャートである。
(アーチファクト低減処理)
(ステップSb1)
処理回路205は、決定機能2511により、撮像条件2031を用いて、磁気共鳴画像が入力される学習済みモデルを決定する。具体的には、処理回路205は、磁気共鳴画像の取得に用いられた撮像条件2031に基づいて、アーチファクトなどのパターンが現れる方向(既知の方向に対応し、以下、アーチファクト発生方向と呼ぶ)とパターンが既知の方向にずれるシフト量(以下、ずれシフト量と呼ぶ)とを決定する。より詳細には、処理回路205は、磁気共鳴画像に対応付けられた撮像パラメータを、パルスシーケンスの撮像パラメータに対する方向とシフト量との対応表(以下、方向シフト量対応表と呼ぶ)と照合する。処理回路205は、方向シフト量対応表を用いた照合により、アーチファクト発生方向とずれシフト量とを決定する。方向シフト量対応表は、メモリ203に予め記憶され、決定機能2511によりメモリ203から処理回路205に読み出される。
処理回路205は、決定機能2511により、アーチファクト発生方向とずれシフト量とを、方向とシフト量とに対する学習済みモデルの対応表(以下、モデル対応表と呼ぶ)と照合する。処理回路205は、モデル対応表を用いた照合により、学習済みモデルを決定する。モデル対応表は、予めメモリ203に記憶される。処理回路205は、決定された学習済みモデルを、メモリ203から処理回路205に読み出す。決定機能2511を実現する処理回路205は、決定部に相当する。
(ステップSb2)
処理回路205は、出力機能2513により、学習済みモデル231における循環シフト層2311を介して、シフト画像を生成する。具体的には、処理回路205は、磁気共鳴画像を循環シフト層2311に入力する。循環シフト層2311は、入力された磁気共鳴画像に対して、アーチファクト発生方向に沿って循環的にずれシフト量だけシフトさせたシフト画像を生成する。
図12および図13を用いて、循環シフト層2311により磁気共鳴画像に対して実行される処理(以下、循環シフト処理と呼ぶ)について説明する。図12は、Reduction factorが2に対応し、位相エンコード方向に沿った折り返しアーチファクトを有する磁気共鳴画像MA1に対する循環シフト処理の一例を示す図である。図12に示す磁気共鳴画像MA1において、アーチファクト発生方向は位相エンコード方向(y方向)であって、シフト量は縦方向のFOVyの半分(FOVy/2)となる。このとき、循環シフト処理2315は、磁気共鳴画像MA1をy方向に沿ってFOVy/2だけ循環的に並進させることで、シフト画像SI1を生成する。
図13は、Reduction factorが3に対応し、位相エンコード方向に沿った折り返しアーチファクトを有する磁気共鳴画像MA2に対する循環シフト処理の一例を示す図である。図13に示す磁気共鳴画像MA2において、アーチファクト発生方向は位相エンコード方向(y方向)であって、シフト量は、縦方向のFOVyの半分(FOVy/3)となる。このとき、第1循環シフト処理2317は、磁気共鳴画像MA2をy方向に沿ってFOVy/3だけ循環的に並進させることで、第1シフト画像SI2を生成する。また、第2循環シフト処理2319は、磁気共鳴画像MA2をy方向に沿って2×FOVy/3だけ循環的に並進させることで、第2シフト画像SI3を生成する。なお、循環的にシフトさせる既知のシフト量は、図12および図13のようなものに限定されず、アーチファクトの種類、アーチファクトの状況などに応じて刻み幅を増やしてもよい。
(ステップSb3)
処理回路205は、出力機能2513により、磁気共鳴画像を、シフト画像とともに、CNN2313に入力する。例えば、磁気共鳴画像MA1が図12に示すような場合、処理回路205は、生成されたシフト画像SI1を、磁気共鳴画像MA1とともに、CNN2313に入力する。また、磁気共鳴画像MA2が図13に示すような場合、処理回路205は、第1シフト画像SI2と第2シフト画像SI3とを、磁気共鳴画像MA1とともに、CNN2313に入力する。
(ステップSb4)
処理回路205は、出力機能2513により、循環シフト層2311から出力されたシフト画像と磁気共鳴画像とが入力されたCNN2313から、アーチファクト低減画像ReIを、補正信号として出力する。処理回路205は、アーチファクト低減画像ReIを、メモリ203およびディスプレイ207に出力する。
(ステップSb5)
ディスプレイ207は、アーチファクト低減画像ReIを表示する。アーチファクト低減画像ReIは、図12および図13に示すように、折り返しアーチファクトが低減された磁気共鳴画像である。なお、処理回路205は、不図示のネットワークを介して、アーチファクト低減画像ReIを、医用画像保管装置等の外部装置に出力してもよい。
以上に述べた構成によれば、以下に示す効果を得ることができる。
本適用例における医用信号処理装置200によれば、既知の方向に沿って既知のシフト量でずれた位置に現れるパターンを有する医用信号2033に対してパターンを低減するように補正された補正信号を出力するように機能付られた学習済みモデルに対して医用信号2033を入力し、既知の方向と既知のシフト量とを用いて、補正信号を出力することができる。また、本医用信号処理装置200における学習済みモデルは、既知の方向に沿って循環的に既知のシフト量だけ医用信号2033をシフトさせたシフト信号を生成する循環シフト層2311と、医用信号2033とシフト信号とを用いて補正信号を出力するように機能付けられているニューラルネットワーク2313とを有する。
本適用例および本実施形態に関する医用信号処理装置200によれば、医用信号2033は被検体Pに対する磁気共鳴撮像により生成された磁気共鳴画像であって、パターンは磁気共鳴撮像の撮像条件2031に応じて磁気共鳴画像に発生したアーチファクトであって、補正信号はアーチファクトが低減されたアーチファクト低減画像であって、学習済みモデル231は、複数の中間層を有するコンボリューションニューラルネットワークであって、複数の中間層各々に対して、複数の中間層各々への入力側に接続される前段の中間層におけるいずれかの第1ノードからの出力と、前段の中間層のうち撮像条件2031により定まる第2ノードからの出力とを合わせて入力するように処理することができる。
また、本医用信号処理装置200によれば、医用信号2033は被検体Pに対する磁気共鳴撮像により生成された磁気共鳴画像であって、パターンは磁気共鳴撮像の撮像条件2031に応じて磁気共鳴画像に発生したアーチファクトであって、補正信号はアーチファクトが低減されたアーチファクト低減画像ReIであって、ニューラルネットワークは、複数の中間層各々において局所的な線形結合を有するニューラルネットワークであって、既知の方向はアーチファクトの発生に関する方向であって、既知のシフト量はアーチファクトの発生位置に基づく並進量である。また、本医用信号処理装置200によれば、アーチファクトは折り返しアーチファクトとNハーフアーチファクトとケミカルシフトアーチファクトとモーションアーチファクトとのうち少なくとも一つのアーチファクトである。
これらのことから、本医用信号処理装置200によれば、撮像条件2031に基づいて、既知の方向に沿って既知のシフト量でずれた位置に現れるアーチファクトを低減させた磁気共鳴画像を生成することができるため、磁気共鳴画像の画質を向上させることができ、被検体Pに対する診断効率などを向上させることができる。
(第2適用例)
本適用例と第1適用例との相違は、学習済みモデル231がパターン関連情報または疾患情報を出力することにある。本適用例における学習済みモデル231において、CNN2313の代わりにDNNが用いられてもよい。また、本適用例における学習済みモデル231において、ResNet、DenseNetまたはU−Net等において、CNN2313(またはDNN)の後段に適宜1/2max pool層が組み込まれてもよい。このとき、学習済みモデル231における最後段にフルコネクトとしてのDNNを設けることで、学習済みモデル231は、パターン関連情報または疾患情報を出力する。
パターン関連情報は、パターンがアーチファクトである場合、例えば、磁気共鳴画像の補正に用いられる少なくとも一つの物理パラメータ、またはアーチファクトの有無(検出結果)を示すデータなどである。例えば、被検体Pに対してEPI法のパルスシーケンスを用いて磁気共鳴撮像を実行した場合、物理パラメータは、傾斜磁場の発生の遅延量を示す物理量の推定値に対応する。また、アーチファクトの有無を示すデータは、例えば、磁気共鳴画像において、複数のアーチファクト各々の有無を示す2値(0もしくは1)である。
疾患情報は、磁気共鳴画像における複数の疾患各々の認識結果を示すデータである。例えば、磁気共鳴画像が既知の方向に沿って既知のシフト量でずれた位置に現れるアーチファクトを有する場合、疾患情報は、磁気共鳴画像における複数の疾患各々の程度を示す指標値に対応する。すなわち、疾患情報は、複数の疾患各々の疾患らしさを示す指標値を有する。なお、指標値は、医用信号における疾患の有無を示す値(0もしくは1)であってもよい。なお、指標値およびアーチファクトの有無を示すデータは、学習済みモデル231にシグモイド関数などを組みこむことで、百分率として出力されてもよい。
以下、本適用例における学習済みモデル231を用いて、パターン関連情報または疾患情報を生成する処理(以下、情報生成処理と呼ぶ)を実行する手順について、図14を用いて説明する。図14は、本適用例における情報生成処理の手順の一例を示すフローチャートである。図14における処理手順のうちステップSc1乃至ステップSc3の処理は、ステップSb1乃至ステップSb3の処理と同様なため、説明は省略する。
(情報生成処理)
(ステップSc4)
処理回路205は、出力機能2513により、循環シフト層2311から出力されたシフト画像と磁気共鳴画像とが入力されたCNN2313から、パターン関連情報または疾患情報を出力する。処理回路205は、パターン関連情報または疾患情報を、メモリ203およびディスプレイ207に出力する。
(ステップSc5)
ディスプレイ207は、ステップSc4における処理で出力されたパターン関連情報または疾患情報を表示する。なお、処理回路205は、不図示のネットワークを介して、パターン関連情報または疾患情報を、医用画像保管装置等の外部装置に出力してもよい。なお、疾患情報は、学習済みモデル231に入力された磁気共鳴画像と関連づけられて、メモリ203や外部の記憶装置などに記憶されてもよい。また、パターン関連情報が物理パラメータである場合、本ステップに続く後段の処理において、処理回路205は、不図示の画像補正機能により、物理パラメータを用いて磁気共鳴画像を補正してもよい。
また、パターン関連情報がアーチファクトの有無を示すデータであって、学習済みモデル231に入力された磁気共鳴画像においてアーチファクトが存在すると処理回路205により判定された場合(以下、アーチファクト有判定と呼ぶ)、処理回路205は、被検体Pに対して磁気共鳴撮像を再度実行する指示(以下、再撮像指示と呼ぶ)を磁気共鳴イメージング装置100に出力する。具体的には、処理回路205は、アーチファクト有判定を契機として、再撮像指示を撮像制御回路121に出力する。再撮像指示の入力に応答して、撮像制御回路121は、被検体Pに対して、磁気共鳴撮像を再度実行する。
以上に述べた構成によれば、以下に示す効果を得ることができる。
本適用例における医用信号処理装置200によれば、医用信号2033は被検体Pに対する磁気共鳴撮像により生成された磁気共鳴画像であって、パターンは磁気共鳴撮像の撮像条件2031に応じて磁気共鳴画像に発生したアーチファクトであって、パターン関連情報は磁気共鳴画像に対する補正に用いられる物理パラメータであって、既知の方向はアーチファクトの発生に関する方向であって、既知のシフト量はアーチファクトの発生位置に基づく並進量である。また、本医用信号処理装置200によれば、医用信号2033は被検体Pに対する磁気共鳴撮像により生成された磁気共鳴画像であって、パターンは磁気共鳴撮像の撮像条件2031に応じて磁気共鳴画像に発生したアーチファクトであって、パターン関連情報はアーチファクトの発生の有無を示すデータであって、既知の方向はアーチファクトの発生に関する方向であって、既知のシフト量はアーチファクトの発生位置に基づく並進量である。また、本医用信号処理装置200によれば、医用信号2033は被検体Pに対する磁気共鳴撮像により生成された磁気共鳴画像であって、パターンは磁気共鳴撮像の撮像条件2031に応じて磁気共鳴画像に発生したアーチファクトであって、疾患情報は磁気共鳴画像における複数の疾患各々の認識結果を示す情報であって、既知の方向は記アーチファクトの発生に関する方向であって、既知のシフト量はアーチファクトの発生位置に基づく並進量である。
これらのことから、本医用信号処理装置200によれば、既知の方向に沿って既知のシフト量でずれた位置に現れるアーチファクトを有する磁気共鳴画像に対して、当該磁気共鳴画像の補正に用いられる少なくとも一つの物理パラメータまたはアーチファクトの有無を示すデータなどのパターン関連情報、または当該磁気共鳴画像における複数の疾患各々の認識結果を示すデータなどの疾患情報を得ることができる。これにより、本医用信号処理装置200によれば、被検体Pに対する診断効率などを向上させることができる。
(第3適用例)
第1適用例および第2適用例と本適用例との相違は、医用信号2033として、被検体Pの生体信号を用いることにある。生体信号は、例えば、心電波形、脈波形、呼吸波形などの1次元的な信号である。本適用例において、既知の方向に沿って既知のシフト量でずれた位置に現れるパターンは、生体信号の波形に相当する。また、既知の方向は、生体信号の取得に関する時間方向である。また、既知のシフト量は、生体信号における所定時相の間の期間であり、例えば、生体信号の周期などである。
本医用信号処理装置200は、生体信号を計測する生体信号計測装置に搭載されてもよい。以下、説明を具体的にするために、生体信号は心電波形として説明する。このとき、本医用信号処理装置200は、例えば、心電計に搭載されてもよい。加えて、医用信号処理装置200は、不図示のスピーカを有していてもよい。また、本適用例における学習済みモデル231は、疾患情報を出力するものとして説明する。
図15は、本適用例における生体信号としての心電波形ECGWの一例を示す図である。
図15に示すように、R11に含まれる心電波形ECGWの一部分(以下、第1波形と呼ぶ)とR22に含まれる心電波形ECGWの一部分(以下、第2波形と呼ぶ)とが、学習済みモデルに入力される。
処理回路205は、決定機能2511により、ずれシフト量を決定する。具体的には、処理回路205は、心電波形において隣接する2つのR波の間隔などに基づいて、ずれシフト量を決定する。本適用例においては、既知の方向は、時間方向であるため、既知の方向を決定することは不要となる。
循環シフト層2311は、時間方向に沿ったずれシフト量に従って、例えば第1波形と第2波形とを、循環的にシフトさせる。このとき、シフト信号は、時間方向に沿って、第2波形、第1波形の順に示された波形となる。処理回路205は、出力機能2513により、シフト信号および生体信号が入力されたCNN2313から疾患情報を出力する。CNN2313における複数の中間層各々におけるk番目(kは自然数)の出力yは、前段の中間層または入力層におけるi番目(iは自然数)の値をx、Nを既知のシフト量、wを重みとして、例えば以下の式で表される。
例えば、心電波形が図15に示すような場合、処理回路205は、疾患情報として、心室期外収縮の疾患らしさを示す指標値を出力する。処理回路205は、指標値が所定の値以上である場合、警告をディスプレイ207に表示させる。このとき、処理回路205は、警告音をスピーカから出力させてもよい。
以上に述べた構成によれば、以下に示す効果を得ることができる。
本適用例における医用信号処理装置200によれば、医用信号2033は被検体Pの生体信号であって、パターンは生体信号の波形であって、疾患情報は生体信号における複数の疾患各々の認識結果を示すデータであって、既知の方向は生体信号の取得に関する時間方向であって、既知のシフト量は生体信号における所定時相の間の期間である。これにより、本医用信号処理装置200によれば、既知の方向に沿って既知のシフト量でずれた位置に現れるパターンを有する生体信号に対して、当該生体信号における複数の疾患各々の認識結果を示すデータなどの疾患情報を得ることができる。これにより、本医用信号処理装置200によれば、被検体Pからの生体信号の異常の検知することで、当該異常を報知することができる。
(第4適用例)
本適用例と第1乃至第3適用例との相違は、既知の方向に沿って既知のシフト量でずれた位置に現れるパターンを有する医用信号を、既知の方向と既知のシフト量とに基づいて分割することで複数の部分信号を生成し、循環シフト層を有さずにDNNを有する学習済みモデルに複数の部分信号を入力することで、補正信号とパターン関連情報と疾患情報とのうちいずれか一つを出力することにある。
図16は、本適用例における医用信号処理装置300の一例を示す図である。図16において、図10に示す医用信号処理装置200における構成要素と同一の機能等を有する構成要素については、同一の符号を割り当て、説明を省略する。医用信号処理装置300は、入力インタフェース201と、メモリ303と、部分信号生成回路(部分信号生成部)304と、処理回路305と、ディスプレイ207とを有する。部分信号生成回路304は、折り返し前処理器(Aliasing Preprocessor)APとも称され、エイリアシングに関する前処理(以下、エイリアシング前処理と呼ぶ)を実行する。
部分信号生成回路304は、エイリアシング前処理として、決定機能3051により決定された既知の方向と既知のシフト量とに基づいて、エイリアシング前処理として、医用信号を分割する。具体的には、部分信号生成回路304は、既知の方向に沿って、既知のシフト量に応じた分割幅(以下、ウィンドウ(window)と呼ぶ)で、医用信号を分割することで、分割された医用信号に対応する複数の部分信号を生成する。部分信号生成回路304は、複数の部分信号を、処理回路305に出力する。具体的なエイリアシング前処理については、後ほど説明する。なお、部分信号生成回路304により実行されるエイリアシング前処理は、エイリアシング前処理機能として、処理回路305において実行されてもよい。部分信号生成回路304は、上述のプロセッサなどの電子回路により構成される。
なお、ウィンドウは、医用信号に対して重複していてもよい。このとき、複数の部分信号各々は、他の部分信号と重複する領域(以下、重複領域と呼ぶ)を有する。重複領域を有する複数の部分信号を学習済みモデル(DNN3331)に入力することは、補正信号とパターン関連情報と疾患情報とのうちいずれか一つを出力することの安定化に寄与する。また、部分信号生成回路304は、第1適用例で説明したように、既知の方向に関して医用信号の両端部がそれぞれ循環的につながっているとみなして、複数の部分信号を生成してもよい。
メモリ303は、学習済みモデル331と撮像条件2031と医用信号2033とを記憶する。より詳細には、メモリ303は、撮像条件に応じたウィンドウの総数に対応付けられた複数の学習済みモデルを記憶する。学習済みモデル331は、DNN331を有する。DNN331は、ResNet、DenseNetまたはU−Net等で実現されてもよい。本適用例に関する処理は、医用信号に対する検出、認識、物理パラメータの推定等に向いているが、これらに限定されず第1適用例に示すように、デノイズを目的として用いられてもよい。このとき、学習済みモデル331は、DNN331の後段に各種レイヤーが組み込まれる。これにより、学習済みモデル331は、補正信号を出力することができる。
処理回路305は、決定機能3051により、撮像条件2031に基づいて、部分信号が入力されるDNN3331を決定する。具体的には、処理回路305は、撮像条件に基づく既知のシフト量に応じたウィンドウの総数に従って、当該ウィンドウの総数に対応するDNN3331を決定する。
処理回路305は、出力機能3053により、決定機能3051により決定されたDNN3331における異なる複数のチャネルに、複数の部分信号をそれぞれ入力する。処理回路305は、決定された学習済みモデルに対して複数の部分信号を入力し、補正信号とパターン関連情報と疾患情報とのうちいずれか一つを出力する。
以下、説明を具体的にするために、医用信号は磁気共鳴画像であって、パターンはアーチファクトであって、部分信号は磁気共鳴画像の一部の画像(以下、部分画像と呼ぶ)であって、学習済みモデル331による出力はパターン関連情報または疾患情報であるものとする。また、本適用例における学習済みモデル331を用いて、パターン関連情報または疾患情報を生成する情報生成処理を実行する手順について、図17および図18を用いて説明する。図17は、本適用例における情報生成処理の手順の一例を示すフローチャートである。なお、ステップSd5の処理は、図14に示すステップSc5の処理と同様なため、説明は省略する。
(情報生成処理)
(ステップSd1)
処理回路305は、決定機能3051により、撮像条件2031に基づいて、方向シフト量対応表を用いて、アーチファクト発生方向とずれシフト量とを決定する。処理回路305は、ずれシフト量に応じたウィンドウの総数に従って、当該ウィンドウの総数に対応するDNN3331を決定する。
(ステップSd2)
部分信号生成回路304は、既知の方向と既知のシフト量とに基づいて、磁気共鳴画像を分割することにより、複数の部分画像を生成する。具体的には、部分信号生成回路304は、アーチファクト発生方向に沿って、ずれシフト量に応じたウィンドウで、磁気共鳴画像を分割する。図18を用いて磁気共鳴画像を分割するエイリアシング前処理について説明する。
図18は、本適用例におけるエイリアシング前処理の一例を示す図である。図18に示すように、部分信号生成回路304に入力される磁気共鳴画像MAAは、Reduction factorが2に対応し、位相エンコード方向に沿った折り返しアーチファクトを有する。このとき、磁気共鳴画像MAAの分割に用いられるウィンドウの総数は、第1ウィンドウW1と第2ウィンドウW2との2つである。部分信号生成回路304は、磁気共鳴画像MAAにおける位相エンコード方向のFOVyの半分(FOVy/2)の位置(以下、分割位置と呼ぶ)DPで、磁気共鳴画像MAAを分割する。部分信号生成回路304は、分割位置DPで磁気共鳴画像MAAを分割することにより、第1ウィンドウW1と第2ウィンドウW2とにそれぞれ対応する第1部分画像PI1と第2部分画像PI2とを生成する。部分信号生成回路304は、第1部分画像PI1と第2部分画像PI2とを処理回路305に出力する。
なお、第1ウィンドウW1と第2ウィンドウW2とは、磁気共鳴画像MAAに対して、分割位置DPをそれぞれ跨いで設定されてもよい。例えば、磁気共鳴画像MAAにおけるFOVyを10等分したとき、位相エンコード方向yに沿って1/10乃至8/10の領域が第1ウィンドウW1として設定され、6/10乃至10/10の領域が第2ウィンドウW2として設定されてもよい。
(ステップSd3)
処理回路305は、出力機能3053により、決定されたDNN3331に、複数の部分画像を入力する。例えば、処理回路305は、複数の部分画像を、DNN3331における異なる複数のチャネルにそれぞれ入力する。
(ステップSd4)
処理回路305は、出力機能3053により、複数の部分画像が入力されたDNN3331から、パターン関連情報または疾患情報を出力する。処理回路305は、パターン関連情報または疾患情報を、メモリ203およびディスプレイ207に出力する。
以上に述べた構成によれば、以下に示す効果を得ることができる。
本適用例における医用信号処理装置200によれば、既知の方向に沿って既知のシフト量でずれた位置に現れるパターンを有する医用信号を、既知の方向と既知のシフト量とに基づいて分割した複数の部分信号を生成し、医用信号に対してパターンを低減するように補正された補正信号と、パターンに関するパターン関連情報と、医用信号に関する疾患情報とのうちいずれか一つを出力するように機能付られた学習済みモデルに対して、複数の部分信号を入力することで、補正信号とパターン関連情報と疾患情報とのうちいずれか一つを出力することができる。
(第5適用例)
本適用例と第1乃至第4適用例との相違は、エイリアシング前処理により生成された複数の部分信号が学習済みモデルとしてのDNNに入力され、DNNから出力された複数の部分補正信号を既知の方向と既知のシフト量とに基づいて結合することで結合信号を生成して、出力することにある。
図19は、本適用例における医用信号処理装置400の一例を示す図である。図19において、図16に示す医用信号処理装置300における構成要素と同一の機能等を有する構成要素については、同一の符号を割り当て、説明を省略する。医用信号処理装置400は、入力インタフェース201と、メモリ303と、部分信号生成回路304と、結合信号生成回路306と、処理回路305と、ディスプレイ207とを有する。結合信号生成回路306は、折り返し後処理器(Aliasing Postprocessor)APostとも称され、エイリアシングに関する後処理(以下、エイリアシング後処理と呼ぶ)を実行する。
本適用例によれば、エイリアシング前処理を行った画像をDNN3333に適用する場合、エイリアシング後処理を行って元の空間分解能の画像を出力することが可能である。第4適用例における折り返し前処理器APでは、既知の方向と既知のシフト量とに基づいて、磁気共鳴画像を分割することにより、複数の部分画像を生成した。これに対し、本適用例における折り返し後処理器APostは、DNN3333から出力された分割済みの磁気共鳴画像を、既知の方向と既知のシフト量とに基づいて結合するものである。たとえば、折り返し前処理器APがx軸方向に均等に3分割するものであれば、折り返し後処理器APostは3つの出力画像を結合するものとなる。折り返し後処理器APostを用いる際には、学習データとして結合前の画像、つまり分割した画像をDNN3333の学習に用いる。
なお、例えば、小さいFOVに対して再構成を行った場合には、エイリアシングが発生した画像のみが得られることがある。このような画像に対して後処理でエイリアシングを除去する用途では、例えば、エイリアシング方向について2倍サイズの画像であるとみなして、エイリアシング前処理なしに、エイリアシング後処理のみを用いた構成としても良い。
メモリ303は、学習済みモデル331と撮像条件2031と医用信号2033とを記憶する。より詳細には、メモリ303は、撮像条件に応じたウィンドウの総数に対応付けられた複数の学習済みモデルを記憶する。学習済みモデル331は、DNN3333を有する。DNN3333は、ResNet、DenseNetまたはU−Net等で実現されてもよい。DNN3333は、自身に入力される複数の部分信号にそれぞれ対応する複数の部分補正信号を出力する。複数の部分補正信号は、例えば、部分信号に対してデノイズが施された上述の補正信号に相当する。DNN3333への入力される医用信号の解像度とDNN3333から出力される信号の解像度とは、医用信号の2033の解像度をウィンドウの総数で除算した解像度に対応する。本適用例におけるDNN3333は、医用信号処理装置400への実装に先立って、ウィンドウの総数に応じた複数の部分信号と正解データとしての部分補正信号とを学習用データとして用いて学習される。
処理回路305は、出力機能3055により、学習済みモデル331に複数の部分信号を入力することで、複数の部分信号にそれぞれ対応する複数の部分補正信号を、補正信号として出力する。具体的には、処理回路305は、決定機能3051により決定されたDNN3331における異なる複数のチャネルに、複数の部分信号をそれぞれ入力する。処理回路305は、決定された学習済みモデルに対して複数の部分信号を入力し、複数の部分補正信号を、結合信号生成回路306に出力する。
結合信号生成回路306は、エイリアシング後処理として、決定機能3051により決定された既知の方向と既知のシフト量とに基づいて、DNN3333から出力された複数の部分補正信号を結合することにより、結合信号を生成する。部分信号生成回路306は、結合信号を、メモリ303やディスプレイ207に出力する。結合信号生成回路306は、上述のプロセッサなどの電子回路により構成される。具体的なエイリアシング後処理については、後ほど説明する。なお、結合信号生成回路306により実行されるエイリアシング後処理は、エイリアシング後処理機能として、処理回路305において実行されてもよい。このとき、エイリアシング後処理機能を実行するプログラムは、メモリ303、処理回路305におけるASICなどに記憶される。
以下、説明を具体的にするために、医用信号は磁気共鳴画像であって、パターンはアーチファクトであって、部分信号は部分画像であって、学習済みモデル331から出力された部分補正信号は複数の部分画像にそれぞれ対応する複数の補正画像(以下、部分補正画像とよぶ)であって、結合信号は複数の部分補正画像を結合した画像(以下、結合画像と呼ぶ)であるものとする。結合画像は、上述のアーチファクト低減画像に相当する。
また、本適用例において補正信号に対応する結合画像を生成する結合画像生成処理を実行する手順について、図20および図21を用いて説明する。図20は、本適用例における結合画像生成処理の手順の一例を示すフローチャートである。なお、ステップSe1乃至ステップSe3の処理は、図17に示すステップSd1乃至ステップSd3の処理とそれぞれ同様なため、説明は省略する。加えて、ステップSe6の処理は、図11におけるステップSb5の処理と同様なため、説明は省略する。また、図21に示すように、折り返し前処理器APがy軸方向に均等に2分割するものとして説明する。
(結合画像生成処理)
(ステップSe4)
処理回路305は、出力機能3055により、複数の部分画像が入力されたDNN3333から複数の部分補正画像を出力する。複数の部分補正画像は、アーチファクトが低減された部分画像(以下、アーチファクト低減部分画像と呼ぶ)に相当する。すなわち、処理回路305は、複数の部分画像にそれぞれ対応する複数のアーチファクト低減部分画像を、DNN3333から出力する。処理回路305は、複数の部分画像をDNN3333に入力し、DNN3333から出力された複数のアーチファクト低減部分画像を結合信号生成回路306に出力する。
(ステップSe5)
結合信号生成回路306は、決定機能3051により決定された既知の方向(アーチファクト発生方向)と既知のシフト量とに基づいて、複数の部分補正画像を結合する。当該処理により、結合信号生成回路306は、結合画像を生成する。すなわち、結合信号生成回路306は、アーチファクト発生方向とシフト量とに基づいて複数のアーチファクト低減部分画像を結合することにより、アーチファクト低減画像を生成する。結合信号生成回路306は、アーチファクト低減画像をメモリ303とディスプレイ207とに出力する。
図21は、本適用例におけるエイリアシング後処理の一例を示す図である。図21において、エイリアシング前処理などについての説明は、図18と同様なため、説明は省略する。処理回路305は、出力機能3055により、学習済みモデル305におけるDNN3333に第1部分画像PI1と第2部分画像PI2とを入力することで、第1部分画像PI1に対応する第1アーチファクト低減部分画像RePI1と、第2部分画像PI2に対応する第2アーチファクト低減部分画像RePI2とを出力する。結合信号生成回路306は、アーチファクト発生方向とシフト量とを用いて、第1アーチファクト低減部分画像RePI1と、第2アーチファクト低減部分画像RePI2との結合位置を特定する。結合位置は、例えば、分割位置DPに対応する。次いで、結合信号生成回路306は、結合位置で、第1アーチファクト低減部分画像RePI1と、第2アーチファクト低減部分画像RePI2とを結合することにより、アーチファクト低減画像を生成する。図21におけるASで示した範囲は、エイリアシング前処理が実行される前の磁気共鳴画像の解像度(以下、フル解像度と呼ぶ)の半分で実行される処理を示している。一般的には、エイリアジング前処理により磁気共鳴画像がN分割される場合、図21におけるASで示した範囲における処理は、フル解像度のN分の1の解像度で実行される。
以上に述べた構成によれば、以下に示す効果を得ることができる。
本適用例における医用信号処理装置400によれば、既知の方向に沿って既知のシフト量でずれた位置に現れるパターンを有する医用信号を、既知の方向と既知のシフト量とに基づいて分割した複数の部分信号を生成し、複数の部分信号にそれぞれ対応し、かつ医用信号に対してパターンを低減するように補正された複数の部分補正信号を出力するように機能付られた学習済みモデルに対して、複数の部分信号を入力することで、複数の部分補正信号を、補正信号として出力し、既知の方向と既知のシフト量とに基づいて、複数の部分補正信号を結合することにより、結合信号を生成することができる。
第1乃至第3適用例等の変形例として、本医用信号処理装置200の技術的思想をクラウド等で実現する場合には、インタネット上のサーバーは、例えば図10における処理回路205およびメモリ203を有するものとなる。また、第4適用例等の変形例として、本医用信号処理装置300の技術的思想をクラウド等で実現する場合には、インタネット上のサーバーは、例えば図16における部分信号生成回路304、処理回路305およびメモリ303を有するものとなる。また、第5適用例等の変形例として、本医用信号処理装置400の技術的思想をクラウド等で実現する場合には、インタネット上のサーバーは、例えば図19における部分信号生成回路304、処理回路305、結合信号生成回路306およびメモリ303を有するものとなる。これらの場合、決定機能2511、決定機能3051、出力機能2513、出力機能3053、出力機能3055等は、当該機能を実行するプログラムをサーバーの処理回路にインストールし、これらをメモリ上で展開することによって実現される。
以上説明した少なくとも1つの実施形態によれば、学習済みモデルによる出力誤差を低減させることができる。例えば、本医用信号処理装置200によれば、既知の方向に沿って既知のシフト量でずれた位置に現れるパターン(アーチファクト)を有する医用信号であっても、当該医用信号を本学習済みモデル231に入力することで、アーチファクトによるノイズの低減を向上させた補正信号と、認識率を向上させたパターン関連情報および疾患情報とのうちいずれかを出力させることができ、診断効率を向上させることができる。また、本医用信号処理装置300によれば、既知の方向に沿って既知のシフト量でずれた位置に現れるパターン(アーチファクト)を有する医用信号に対してエイリアシング前処理を施したうえで、名処理が当該医用信号を本学習済みモデル331に入力することで、アーチファクトによるノイズの低減を向上させた補正信号と、認識率を向上させたパターン関連情報および疾患情報とのうちいずれかを出力させることができ、診断効率を向上させることができる。また、本医用信号処理装置400によれば、既知の方向に沿って既知のシフト量でずれた位置に現れるパターン(アーチファクト)を有する医用信号に対してエイリアシング前処理を施したうえで、名処理が当該医用信号を本学習済みモデル331に入力することで、アーチファクトによるノイズの低減を向上させた複数の補正信号を出力させる、複数の補正信号を結合した結合信号を生成することができ、診断効率を向上させることができる。
なお、前処理、後処理、DNN内部のいずれかあるいはその組み合わせにおいて、例えばアップサンプリング、ダウンサンプリング、プーリングといった解像度変換処理を用いて画像解像度を変換することで、入力とは異なる解像度の画像を出力しても良い。
なお、本発明を実施する装置においては、撮像手法を選択させる際に、学習済みモデルが存在するかをユーザに提示しても良い。具体的には、例えば、学習済みモデルが存在する場合には本発明の機能を選択可能、存在しない場合には本発明の機能を選択不可能としても良い。あるいは、例えば、本発明の機能が選択された場合には、学習済みモデルが存在する条件のみを選択可能としても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
100…磁気共鳴イメージング装置
101…静磁場磁石
103…傾斜磁場コイル
105…傾斜磁場電源
107…寝台
109…寝台制御回路
111…ボア
113…送信回路
115…送信コイル
117…受信コイル
119…受信回路
121…撮像制御回路
123…システム制御回路
125…記憶装置
150…画像処理装置
151…処理回路
152…メモリ
153…入出力インタフェース
200…医用信号処理装置
201…入力インタフェース
203…メモリ
205…処理回路
207…ディスプレイ
231…学習済みモデル
300…医用信号処理装置
303…メモリ
304…部分信号生成回路
305…処理回路
306…結合信号生成回路
331…学習済みモデル
400…医用信号処理装置
1071…天板
1511…再構成機能
1513…選択機能
1515…画像生成機能
2031…撮像条件
2033…医用信号
2311…循環シフト層
2313…ニューラルネットワーク
2315…循環シフト処理
2317…第1循環シフト処理
2319…第2循環シフト処理
2511…決定機能
2513…出力機能
3051…決定機能
3053、3055…出力機能
3331、3333…DNN

Claims (11)

  1. 既知の方向に沿って既知のシフト量でずれた位置に現れるパターンを有する医用信号に対して前記パターンを低減するように補正された補正信号と、前記パターンに関するパターン関連情報と、前記医用信号に関する疾患情報とのうちいずれか一つを出力するように機能付られた学習済みモデルに対して前記医用信号を入力し、前記方向と前記シフト量とを用いて、前記補正信号と前記パターン関連情報と前記疾患情報とのうちいずれか一つを出力する、処理部を具備する、医用信号処理装置。
  2. 前記学習済みモデルは、
    前記方向に沿って循環的に前記シフト量だけ前記医用信号をシフトさせたシフト信号を生成する循環シフト層と、
    前記医用信号と前記シフト信号とを用いて、前記補正信号と前記パターン関連情報と前記疾患情報とのうちいずれか一つを出力するように機能付けられているニューラルネットワークとを有する、
    請求項1に記載の医用信号処理装置。
  3. 前記医用信号は、被検体に対する磁気共鳴撮像により生成された磁気共鳴画像であって、
    前記パターンは、前記磁気共鳴撮像の撮像条件に応じて前記磁気共鳴画像に発生したアーチファクトであって、
    前記補正信号は、前記アーチファクトが低減されたアーチファクト低減画像であって、
    前記学習済みモデルは、複数の中間層を有するコンボリューションニューラルネットワークであって、
    前記処理部は、前記複数の中間層各々に対して、前記複数の中間層各々への入力側に接続される前段の中間層におけるいずれかの第1ノードからの出力と、前記前段の中間層のうち前記撮像条件により定まる第2ノードからの出力とを合わせて入力するように処理する、
    請求項1に記載の医用信号処理装置。
  4. 前記医用信号は、被検体に対する磁気共鳴撮像により生成された磁気共鳴画像であって、
    前記パターンは、前記磁気共鳴撮像の撮像条件に応じて前記磁気共鳴画像に発生したアーチファクトであって、
    前記補正信号は、前記アーチファクトが低減されたアーチファクト低減画像であって、
    前記ニューラルネットワークは、複数の中間層各々において局所的な線形結合を有するニューラルネットワークであって、
    前記方向は、前記アーチファクトの発生に関する方向であって、
    前記シフト量は、前記アーチファクトの発生位置に基づく並進量である、
    請求項2に記載の医用信号処理装置。
  5. 前記医用信号は、被検体に対する磁気共鳴撮像により生成された磁気共鳴画像であって、
    前記パターンは、前記磁気共鳴撮像の撮像条件に応じて前記磁気共鳴画像に発生したアーチファクトであって、
    前記パターン関連情報は、前記磁気共鳴画像に対する補正に用いられる物理パラメータであって、
    前記方向は、前記アーチファクトの発生に関する方向であって、
    前記シフト量は、前記アーチファクトの発生位置に基づく並進量である、
    請求項2に記載の医用信号処理装置。
  6. 前記医用信号は、被検体に対する磁気共鳴撮像により生成された磁気共鳴画像であって、
    前記パターンは、前記磁気共鳴撮像の撮像条件に応じて前記磁気共鳴画像に発生したアーチファクトであって、
    前記パターン関連情報は、前記アーチファクトの発生の有無を示すデータであって、
    前記方向は、前記アーチファクトの発生に関する方向であって、
    前記シフト量は、前記アーチファクトの発生位置に基づく並進量である、
    請求項2に記載の医用信号処理装置。
  7. 前記医用信号は、被検体に対する磁気共鳴撮像により生成された磁気共鳴画像であって、
    前記パターンは、前記磁気共鳴撮像の撮像条件に応じて前記磁気共鳴画像に発生したアーチファクトであって、
    前記疾患情報は、前記磁気共鳴画像における複数の疾患各々の認識結果を示すデータであって、
    前記方向は、前記アーチファクトの発生に関する方向であって、
    前記シフト量は、前記アーチファクトの発生位置に基づく並進量である、
    請求項2に記載の医用信号処理装置。
  8. 前記アーチファクトは、折り返しアーチファクトとNハーフアーチファクトとケミカルシフトアーチファクトとモーションアーチファクトとのうち少なくとも一つのアーチファクトである、
    請求項3乃至7のうちいずれか一項に記載の医用信号処理装置。
  9. 前記医用信号は、被検体の生体信号であって、
    前記パターンは、前記生体信号の波形であって、
    前記疾患情報は、前記生体信号における複数の疾患各々の認識結果を示すデータであって、
    前記方向は、前記生体信号の取得に関する時間方向であって、
    前記シフト量は、前記生体信号における所定時相の間の期間である、
    請求項2に記載の医用信号処理装置。
  10. 既知の方向に沿って既知のシフト量でずれた位置に現れるパターンを有する医用信号を、前記方向と前記シフト量とに基づいて分割した複数の部分信号を生成する部分信号生成部と、
    前記医用信号に対して前記パターンを低減するように補正された補正信号と、前記パターンに関するパターン関連情報と、前記医用信号に関する疾患情報とのうちいずれか一つを出力するように機能付られた学習済みモデルに対して、前記複数の部分信号を入力することで、前記補正信号と前記パターン関連情報と前記疾患情報とのうちいずれか一つを出力する処理部と、
    を具備する医用信号処理装置。
  11. 前記処理部は、前記学習済みモデルに前記複数の部分信号を入力することで、前記複数の部分信号にそれぞれ対応する複数の部分補正信号を、前記補正信号として出力し、
    前記方向と前記シフト量とに基づいて、前記複数の部分補正信号を結合することにより、結合信号を生成する結合信号生成部をさらに具備する、
    請求項10に記載の医用信号処理装置。
JP2018227295A 2017-12-20 2018-12-04 医用信号処理装置 Active JP7246903B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/044729 WO2019124076A1 (ja) 2017-12-20 2018-12-05 医用信号処理装置
US16/429,771 US20190287674A1 (en) 2017-12-20 2019-06-03 Medical signal processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017243941 2017-12-20
JP2017243941 2017-12-20

Publications (2)

Publication Number Publication Date
JP2019111322A true JP2019111322A (ja) 2019-07-11
JP7246903B2 JP7246903B2 (ja) 2023-03-28

Family

ID=67223409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018227295A Active JP7246903B2 (ja) 2017-12-20 2018-12-04 医用信号処理装置

Country Status (2)

Country Link
US (1) US20190287674A1 (ja)
JP (1) JP7246903B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021019714A (ja) * 2019-07-25 2021-02-18 株式会社日立製作所 画像処理装置、画像処理方法及びx線ct装置
JPWO2021059321A1 (ja) * 2019-09-24 2021-04-01
JP2021053256A (ja) * 2019-10-01 2021-04-08 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置及び画像処理プログラム
WO2021210617A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、放射線画像処理システム、及び機械学習方法
WO2021210612A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法
WO2021210618A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム
JP2021183017A (ja) * 2020-05-21 2021-12-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US20220065963A1 (en) * 2020-09-01 2022-03-03 Canon Medical Systems Corporation Magnetic resonance imaging apparatus and medical data processing apparatus
US11278213B2 (en) 2017-11-24 2022-03-22 Canon Medical Systems Corporation Medical data processing apparatus, magnetic resonance imaging apparatus, and learned model generating method
JP2023513801A (ja) * 2020-02-13 2023-04-03 エアス メディカル カンパニー リミテッド 磁気共鳴映像処理装置及びその方法
US11815579B2 (en) 2021-06-10 2023-11-14 Canon Medical Systems Corporation Magnetic resonance imaging apparatus and method
US11972540B2 (en) 2020-06-25 2024-04-30 Fujifilm Healthcare Corporation Image processing apparatus, medical imaging apparatus, and image processing program
JP7516532B2 (ja) 2020-02-13 2024-07-16 エアーズ・メディカル・インコーポレイテッド 磁気共鳴映像処理装置及びその方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112368715A (zh) * 2018-05-15 2021-02-12 蒙纳士大学 用于磁共振成像的运动校正的方法和系统
JP7199850B2 (ja) * 2018-06-29 2023-01-06 キヤノンメディカルシステムズ株式会社 医用情報処理装置
DE102018214325A1 (de) * 2018-08-24 2020-02-27 Siemens Healthcare Gmbh Verfahren und Bereitstellungseinheit zum Bereitstellen eines virtuellen tomographischen Schlaganfall-Nachfolgeuntersuchungsbildes
CN110060313B (zh) * 2019-04-19 2023-12-19 上海联影医疗科技股份有限公司 一种图像伪影校正方法和系统
US11408954B2 (en) * 2020-03-24 2022-08-09 GE Precision Healthcare LLC Systems and methods of reducing noise and artifacts in magnetic resonance imaging
CN113449756B (zh) * 2020-03-26 2022-08-16 太原理工大学 一种基于改进的DenseNet的多尺度图像识别方法和装置
AU2022378640A1 (en) * 2021-10-29 2024-05-09 Aclarion, Inc. System for machine learning-based model training and prediction for evaluation of pain
US11519990B1 (en) * 2022-01-31 2022-12-06 GE Precision Healthcare LLC Magnetic resonance imaging system and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453983B2 (en) * 2005-01-20 2008-11-18 Carestream Health, Inc. Radiation therapy method with target detection
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
CN108603922A (zh) * 2015-11-29 2018-09-28 阿特瑞斯公司 自动心脏体积分割
US20180018757A1 (en) * 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
WO2018098141A1 (en) * 2016-11-22 2018-05-31 Hyperfine Research, Inc. Systems and methods for automated detection in magnetic resonance images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONGWOOK LEE, ET AL.: "Deep artifact learning for compressed sensing and parallel MRI", ARXIV, vol. 1703.01120v1, JPN6022040447, March 2017 (2017-03-01), ISSN: 0004881084 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11278213B2 (en) 2017-11-24 2022-03-22 Canon Medical Systems Corporation Medical data processing apparatus, magnetic resonance imaging apparatus, and learned model generating method
JP2021019714A (ja) * 2019-07-25 2021-02-18 株式会社日立製作所 画像処理装置、画像処理方法及びx線ct装置
JP7245740B2 (ja) 2019-07-25 2023-03-24 富士フイルムヘルスケア株式会社 画像処理装置、画像処理方法及びx線ct装置
JP7174170B2 (ja) 2019-09-24 2022-11-17 株式会社日立ハイテク 試料観察装置
JPWO2021059321A1 (ja) * 2019-09-24 2021-04-01
WO2021059321A1 (ja) * 2019-09-24 2021-04-01 株式会社日立ハイテク 試料観察装置
JP2021053256A (ja) * 2019-10-01 2021-04-08 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置及び画像処理プログラム
JP7350595B2 (ja) 2019-10-01 2023-09-26 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置及び画像処理プログラム
JP7516532B2 (ja) 2020-02-13 2024-07-16 エアーズ・メディカル・インコーポレイテッド 磁気共鳴映像処理装置及びその方法
JP2023513801A (ja) * 2020-02-13 2023-04-03 エアス メディカル カンパニー リミテッド 磁気共鳴映像処理装置及びその方法
WO2021210617A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、放射線画像処理システム、及び機械学習方法
WO2021210618A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム
WO2021210612A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法
JP2021183017A (ja) * 2020-05-21 2021-12-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US11972540B2 (en) 2020-06-25 2024-04-30 Fujifilm Healthcare Corporation Image processing apparatus, medical imaging apparatus, and image processing program
JP7479959B2 (ja) 2020-06-25 2024-05-09 富士フイルムヘルスケア株式会社 画像処理装置、医用撮像装置および画像処理プログラム
US20220065963A1 (en) * 2020-09-01 2022-03-03 Canon Medical Systems Corporation Magnetic resonance imaging apparatus and medical data processing apparatus
US11619694B2 (en) * 2020-09-01 2023-04-04 Canon Medical Systems Corporation Magnetic resonance imaging apparatus and medical data processing apparatus
US11815579B2 (en) 2021-06-10 2023-11-14 Canon Medical Systems Corporation Magnetic resonance imaging apparatus and method

Also Published As

Publication number Publication date
US20190287674A1 (en) 2019-09-19
JP7246903B2 (ja) 2023-03-28

Similar Documents

Publication Publication Date Title
JP7246903B2 (ja) 医用信号処理装置
JP6073627B2 (ja) 磁気共鳴イメージング装置及び画像処理装置
US9482732B2 (en) MRI reconstruction with motion-dependent regularization
JP5248010B2 (ja) データ補正装置、データ補正方法、磁気共鳴イメージング装置およびx線ct装置
JP5349673B2 (ja) データ補正装置
JP6513336B2 (ja) 磁気共鳴イメージング装置及び画像処理装置
US20170212198A1 (en) Magnetic resonance signal processing method, magnetic resonance signal processing apparatus and magnetic resonance apparatus, and program
US20230021786A1 (en) Medical information processing apparatus and medical information processing method
JP6452994B2 (ja) 画像処理装置及び磁気共鳴イメージング装置
JP2020146449A (ja) 磁気共鳴画像高速再構成法及び磁気共鳴イメージング装置
WO2019124076A1 (ja) 医用信号処理装置
JP7300811B2 (ja) 医用情報処理装置、医用情報処理方法、およびプログラム
JP7258540B2 (ja) データ処理装置、磁気共鳴イメージング装置、学習装置および学習方法
US20240138700A1 (en) Medical image processing apparatus, method of medical image processing, and nonvolatile computer readable storage medium storing therein medical image processing program
US20080212863A1 (en) Image processing apparatus, image processing method, and magnetic resonance imaging apparatus
JP2017047027A (ja) 磁気共鳴イメージング装置及び画像処理装置
WO2014157237A1 (ja) 磁気共鳴イメージング装置
JP6647816B2 (ja) 磁気共鳴イメージング装置、画像再構成方法及び画像再構成プログラム
US20220076460A1 (en) System, method and computer-accessible medium for image reconstruction of non-cartesian magnetic resonance imaging information using deep learning
US10024933B2 (en) Method and control device for generating magnetic resonance images
JP7140551B2 (ja) 磁気共鳴イメージング装置、処理装置、および医用画像処理方法
JP5566587B2 (ja) 磁気共鳴イメージング装置およびリンギング低減方法
JP6362950B2 (ja) 磁気共鳴装置
JP7355532B2 (ja) 医用情報処理装置、方法及びプログラム
JP2024037537A (ja) 磁気共鳴イメージング装置、mr画像再構成装置及びmr画像再構成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221118

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230315

R150 Certificate of patent or registration of utility model

Ref document number: 7246903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150