JP2020021488A - ニューラルネットワークを使用したスパース位置測定による左心房形状再構成 - Google Patents

ニューラルネットワークを使用したスパース位置測定による左心房形状再構成 Download PDF

Info

Publication number
JP2020021488A
JP2020021488A JP2019138568A JP2019138568A JP2020021488A JP 2020021488 A JP2020021488 A JP 2020021488A JP 2019138568 A JP2019138568 A JP 2019138568A JP 2019138568 A JP2019138568 A JP 2019138568A JP 2020021488 A JP2020021488 A JP 2020021488A
Authority
JP
Japan
Prior art keywords
neural network
network model
organ
image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019138568A
Other languages
English (en)
Other versions
JP7366623B2 (ja
Inventor
アロン・バラム
Baram Alon
メイル・バル−タル
Meir Bar-Tal
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2020021488A publication Critical patent/JP2020021488A/ja
Application granted granted Critical
Publication of JP7366623B2 publication Critical patent/JP7366623B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • A61B5/283Invasive
    • A61B5/287Holders for multiple electrodes, e.g. electrode catheters for electrophysiological study [EPS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/367Electrophysiological study [EPS], e.g. electrical activation mapping or electro-anatomical mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/023Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0538Measuring electrical impedance or conductance of a portion of the body invasively, e.g. using a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852Catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Psychiatry (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】解剖学的心臓マップを計算すること。【解決手段】方法は、プロセッサにおいて、所与の種類の器官の幾何学的形状の画像例を受信することを含む。訓練段階では、ニューラルネットワークモデルは、画像例を使用して訓練される。モデリング段階では、所与の種類の器官内で取得されたある位置測定セットに訓練されたニューラルネットワークモデルを適用し、器官の3次元モデルを生成する。【選択図】図1

Description

(関連出願の相互参照)
本出願は、参照によりその開示が本明細書に援用される2018年7月30日出願の米国仮特許出願第62/711,814号の利益を主張するものである。
(発明の分野)
本発明は、広義には心臓マッピングに関し、具体的には解剖学的心臓マップの計算方法に関する。
いくつかの臨床手技は、心腔などの器官の解剖学的画像を生成するために、精巧な計算方法を採用する。例えば、米国特許出願公開第2014/0152653号は、心臓内超音波撮像カテーテルによる2次元超音波画像を処理し、改善された画質を提供し、心臓の3次元合成画像を生成することを可能にする方法が記載されている。2次元超音波画像は、時間又は心電図などの関連情報と共に取得され、記憶される。心臓の特定の条件又は構造に関連する画像を組み合わせて処理して、画像ノイズを低減し、解像度を高めることができる。画像は、構造縁部と、構造体を漫画風にレンダリングした画像を生成するために使用される構造縁部の位置を認識するように処理される場合もある。構造位置は、移動によるノイズ、ひずみ、及びぼけを除去するために、いくつかの画像を平均化する場合もある。
別の例として、米国特許出願公開第2017/0046616号は、3D放射線容積が計算コストの高い操作を受ける前に3D放射線容積に対して次元縮小操作を実行する、いわゆるサブネットワークモジュールを装備した3Dディープ畳み込みニューラルネットワークアーキテクチャ(DCNNA)の使用について記載している。また、サブネットワークは、3Dデータを異なる3D畳み込み層経路による並列処理に供することによって、複数のスケールで3Dデータを畳み込む。このようなマルチスケール操作は、連続的畳み込みを行う従来のCNNよりも計算コストが低い。加えて、サブネットワークの性能は、サブネットワークに供給される3D入力を正規化する3Dバッチ正規化(BN)によって更に改善され、これは、3D DCNNAの学習速度を増加させる。一連のサブネットワークモジュールにわたる3Dによる3D畳み込み及び3Dサブサンプリングの後、垂直次元が縮小された特徴マップが3D放射線容積から生成され、1つ又は2つ以上の完全に連結された層に供給される。
本発明の実施形態は、プロセッサにおいて、所与の種類の器官の幾何学的形状の画像例を受信することを含む方法を提供する。訓練段階では、ニューラルネットワークモデルは、画像例を使用して訓練される。モデリング段階では、所与の種類の器官内で取得されたある位置測定値セットに訓練されたニューラルネットワークモデルを適用し、器官の3次元モデルを生成する。
いくつかの実施形態では、位置測定値セットには、器官内の1つ又は2つ以上のカテーテル経路全体の位置測定値が含まれる。
いくつかの実施形態では、本方法は、ニューラルネットワークモデルを訓練して、平滑な再構成像を生成することを含む。
他の実施形態では、本方法は、ニューラルネットワークモデルの第1の層のみの重みの導関数を含む、正則化関数を最小化することを含む。
ある実施形態では、本方法は、処理された電気解剖学的マップ及び処理された医療画像からなる画像様式の群から選択される少なくとも1つの画像例様式を受信することを含む。
別の実施形態では、本方法は、電気解剖学的マッピングシステム及び医療撮像様式からなる測定システム群から選択される少なくとも1つの測定システムによって測定された位置に、訓練されたニューラルネットワークモデルを適用することを含む。
いくつかの実施形態では、器官は心臓の左心房である。
また、本発明の実施形態によれば、メモリ及びプロセッサを有するシステムが更に提供される。メモリは、所与の種類の器官の幾何学的形状の画像例を記憶するように構成されている。プロセッサは、(a)メモリから画像例をアップロードし、(b)訓練段階において、画像例を使用してニューラルネットワークモデルを訓練し、訓練されたニューラルネットワークモデルをメモリ内に記憶し、(c)モデリング段階において、所与の種類の器官内で取得されたある位置測定値セットに訓練されたニューラルネットワークモデルを適用するように構成されている。
本発明は、以下の「発明を実施するための形態」を図面と併せて考慮することで、より完全に理解されよう。
本発明の実施形態による、電気解剖学的マッピング用システムの模式的な描写図である。 本発明の実施形態による、位置セットが測定された左心房上の領域の模式的な描写図である。 本発明の実施形態による、位置セットが測定された左心房上の領域の模式的な描写図である。 本発明の実施形態による、訓練されたニューラルネットワークモデルを使用して左心房の形状を再構成するためのシステムを模式的に示すブロック図である。 本発明の実施形態による、ニューラルネットワークを用いて左心房の形状を再構成する方法を模式的に示すフローチャートである。 本発明の実施形態による、実験室ファントムの左心房形状の再構成像の模式的な描写図である。
概論
左心房などの心腔は、カテーテル系解剖学的マッピングの使用などのマッピング手技中に部分的に電気解剖学的マッピングされ得る、幾何学的に複雑な形状を有する。電気解剖学的データから左心房を描示するための方法は、例えば、統計モデルと共に物理的モデルを使用する米国特許第9,576,107号に提供されており、その開示は、参照により本明細書に組み込まれる。しかしながら、既存の方法によって提供される画像はノイズが多い傾向があり、上述のように部分的に過ぎない。本文脈において、用語「部分的」は、左心房の全領域がマッピングされていないことを意味する。そのような場合、既存の位置測定値のナイーブな補間又は外挿は、実際には使用されない。
以下に記載される本発明の実施形態は、複数の異なる被験者の心臓の左心房の形状などの所与の種類の器官の幾何学的形状の画像例から作製されたデータベースを利用して、(i)画像例を使用してニューラルネットワークモデルを訓練し、(ii)特定の心臓のモデリング段階において、特定の心臓の左心房内で取得されたある位置測定値セットに訓練されたニューラルネットワークモデルを適用して、その左心房の3次元モデルを生成する。
いくつかの実施形態では、左心房形状の画像例のデータベース(すなわち、血液プールと心臓組織との間の各境界を表す表面の画像がそこから再構成される)は、電気解剖学的マッピングシステム及び/又は医療撮像様式などの測定システムによって実行される位置測定に基づく。
いくつかの実施形態では、左心房形状の画像例のデータベースは、適切なソフトウェアを使用して、コンピュータ断層撮影(CT)、磁気共鳴映像法(MRI)及び/又は超音波(US)様式などの一連の画像を含む医療画像研究を処理することによって構築される。ある実施形態では、画像は、以下に記載されるように、球体交差モデルを使用して左心房の部分の医療画像から抽出される。
いくつかの実施形態では、モデリング段階において、左心房の領域などの器官の内部表面の領域上のある位置セットを、電気解剖学的に測定する。医師が、例えば、心房の当初の解剖学的向きについて、経中隔挿入点からカテーテルを操作して、左主肺静脈及び右主肺静脈(PV)に触れるときに、取得が起こる。医師によって実行されるカテーテルの通過には、医師が通常、PVに到達するためにカテーテルを経路の境界にわたって滑らせるにつれて、より多くの情報が含まれる場合がある。
取得された位置に基づいて、開示される訓練されたニューラルネットワーク技術は、調査中の特定の心臓の左心房の3次元モデルを生成し、すなわち、後述するように、測定された位置データを左心房のより完全な画像に完成させる。
開示される技術は、測定された位置のスパースなセットから、心腔(例えば、左心房)の現実的かつ臨床的に有用な形状を再構成する。それによって、開示される技術及びシステムは、医師による心臓アブレーションなどの適切な治療の計画を支援できる。開示される技術は、スパースなセットの測定値のみを利用するため、マッピング手順を短縮し、簡略化することができる。
システムの説明
図1は、本発明の実施形態による、電子解剖学的マッピングのためのシステム20の模式的な描写図描写図である。図1は、台29上に横たわっている被験者28の心臓26の、左心房45などの心腔の電気解剖学的マッピングを実施するために電気解剖学的カテーテル40を使用している医師30を示す。例として、差し込み図25は、それぞれが1つ又は2つ以上のマッピング電極と連結されている、機械的に可撓性であり得る1つ又は2つのアームを備える、PENTARY(登録商標)マッピングカテーテル(Biosent−Webster(Irvine,California)製)としてカテーテル40を示す。示されるように、カテーテル40は、シャフト22の遠位端に取り付けられる。
マッピング手技中に、マッピング電極は、左心房45の組織から/組織に信号を取得及び/又は注入する。コンソール24中のプロセッサ38は、電気的インタフェース35を介してこれらの信号を受信し、これらの信号に含められた情報を用いて電気解剖学的マップ31を構築する。手技中及び/又は手技の後に、プロセッサ38は、ディスプレイ26上に電気解剖学的マップ31を表示してもよい。典型的には、プロセッサ38は、メモリ41内に電気解剖学的マップ31を記憶する。
医師30は、カテーテルの近位端付近にあるマニピュレータ32を用いて、かつ/又はシース23からの偏向を用いて、シャフト22を操作することによって、心臓26の左心房45の内部の標的位置へシャフト22の遠位端をナビゲートする。シャフト22の挿入中に、マッピングカテーテル40は、シース23によって畳み込まれた構成で維持されている。マッピングカテーテル40を畳み込まれた構成で収容することにより、シース23はまた、標的位置までの経路に沿った血管外傷を最小限に抑える働きも行う。
手技中に、各信号は信号が取得された位置と関連付けられることができるように、追跡システムが、マッピング電極のそれぞれの位置を追跡するために使用される。例えば、米国特許第8,456,182号で説明され、その開示が参照により本明細書に組み込まれるBiosense−Webster(Irvine,California)製のActive Current Location(ACL)システムが使用されてもよい。ACLシステムでは、プロセッサは、マッピング電極のそれぞれと患者28の皮膚に連結されている複数の表面電極(図示せず)との間で測定されたインピーダンスに基づいて電極のそれぞれの位置を推定する。プロセッサ38は、左心房45内のカテーテル40の1つ又は2つ以上の経路に沿った推定位置のデータセットを計算する。
図1に示される例示的な図は、単に概念を分かりやすくする目的で選択されたものである。Carto(登録商標)4システム(Biosense Webster社製)と同様に、電圧信号測定に基づくものなどの他の追跡方法を使用することができる。Lasso(登録商標)カテーテル(Biosense Webster製)など、他のタイプのセンシング用カテーテルも同等に採用され得る。ある任意の実施形態では、プロセッサ38は、測定中のマッピング電極のそれぞれと左心房45の内部表面との間の物理的接触の質を表示するように更に構成されている。
プロセッサ38は、通常、本明細書に述べられる機能を実行するようにプログラムされたソフトウェアを有する汎用コンピュータを含む。ソフトウェアは、例えばネットワーク上で、コンピュータに電子形態でダウンロードすることができるか、又は代替として、又は更には、磁気メモリ、光学メモリ又は電子メモリなどの、非一時的実体的媒体上で提供及び/又は記憶されてもよい。
ニューラルネットワークを使用したスパースカテーテル測定による左心房形状再構成
図2A及び図2Bは、本発明の実施形態による、位置セットが測定された左心房上の領域の模式的な描写図である。図2Aは、マッピングカテーテル40が、例えば左心房45の内部表面上の測定位置に沿って測定した経路44を示す。経路44は、カテーテル40の左心房45内への典型的な挿入点である中隔46で始まる。経路は、左上PV47a、左下PV47b、右下PV47cに進み、最終的に右上PV47dに進む。
更なる又は代替的な実施形態では、モデリング段階中、例えば、医師は、スパースなカテーテル経路にわたる電気解剖学的測定値から得られる左心房の改善された画像を望む。追加の測定位置を提供するために、左心房45の部分表面55(すなわち、領域)は、図2Bに例示されるように、CT、US、又はMRI画像様式によって取得されたものなどの左心房45の画像化された部分容積から抽出される。いくつかの実施形態では、部分表面55は、カテーテルによる測定値、例えば、PENTRAY(登録商標)及び/若しくはLASSO(登録商標)マッピングカテーテル(Biosent−Webster製)などの多電極カテーテル、並びに/又は、バルーン若しくはバスケットカテーテルからの測定値から抽出される。
表面55を抽出するために、プロセッサは、典型的には、画像処理ソフトウェア、例えば、球体交差モデルを使用して左心房45の部分表面を医療画像から抽出するソフトウェアを実行する。ある実施形態では、無作為の球体を、画像化された心房容積の中心に十分に近い中心を伴い、妥当な交点を有するように形成する。プロセッサは、画像化された左心房容積と交差する選択された球体を配置するようにソフトウェアを適用する一方で、(例えば、損失関数を最小化することによって)ネットワークモデルが、完全な入力、すなわち左心房の完全な画像の再構成を要求する。
図2A及び図2Bに示される例示的な図は、概念を明確化する目的のために単に選択されているに過ぎない。図2A及び図2Bは、本発明の実施形態に関連する部分のみを示す。実際の測定位置などの他の詳細は、表示を簡略にするために省略されている。
上述の技術又は他の既知の技術のいずれかで測定された、取得された位置に基づいて、プロセッサ38は、開示されるニューラルネットワーク計算技術を使用して、以下に記載されるように左心房45の3次元モデルを生成する。
スパースに測定された位置から左心房45の現実的な容積を再構成するために、開示されるニューラルネットワーク計算技術は、損失関数(すなわち、ニューラルネットワークモデル)G(正則化関数Fを含み、これは空間的重みの平滑化を含む)を、クロスエントロピー損失項Lに加えて使用する。いくつかの実施形態では、L(x,z)は対数ノルム関数であり、訓練に基づいて、z値の測定位置xに対する「最良フィット」を達成する。
Figure 2020021488
式中、xは、測定された位置の容積内の各座標に対する2次元占有値(すなわち、心房内にある確率)を表し、zは、再構成された容積の2次元占有値を表す。合計(明示的に示されていない)は、xの全ての座標にわたって実行され、これは、例えば、参照により本明細書に組み込まれる「Extracting and Composing Robust Features with Denoising Autoencoders」,Proceedings of the 25th ACM International Conference on Machine Learning,2008,pages 1096−1103に記載されている。
その結果、完全なニューラルネットワークモデル関数Gは、次式によって与えられる。
Figure 2020021488
上記で開示された最小化であるF(x,z)は、平滑な再構成像を提供し、平滑化のレベルは、負ではないパラメータλによって設定される。関数W(x,z)は、空間的重みを含む項を示し、その例は、P.Vincentらによる先に引用した会議論文に記載されている。開示される技術では、W(x,z)は、空間寸法νについて微分され、非平滑な再構成像に罰則項を与える収縮オートエンコーダを形成する。
本発明のいくつかの実施形態では、微分は、入力層の重みに対して(すなわち、ニューラルネットワークモデルの第1の層の重みに対して)実行される。第1の層に適用される先に開示された微分手法は、以下、重み平滑正則化(WSR)と名付ける。ある実施形態では、WSRの結果は、十分に平滑な心腔の3D画像であるため、正則化関数F内の追加の層からの重みの導関数を含める必要性が省かれる。
ある実施形態では、上記の関数は、例えば、νに対する導関数がマトリックス要素上に適用される有限差分法を使用して計算されるように、ソフトウェアにおいて離散的に実行される。
左心房実験室ファントム内部のカテーテル経路を介して測定された位置を使用する、開示される技術の実験的適用、及び左心房実験室ファントムの再構成のためのG(x,z)の適用は、以下の図5に提供される。
ニューラルネットワークモデルは、例として先に提供されている。当業者には想到されるように、他のニューラルネットワークモデル、例えば、異なるノルムLなどの他のメトリックを適用するものが可能である。
図3は、本発明の実施形態による、訓練されたニューラルネットワークモデルを使用して左心房45の形状を再構成するためのシステムを模式的に示すブロック図である。
オブジェクト60は、実際の左心房、例えば図5の左心房の実験室ファントム75である。開示される方法は、スパースな位置測定値(例えば、それぞれ図2A及び図2Bの経路44及び/又は部分表面55)を含む、入力層61からオブジェクト60を再構成するように構成されている。入力層61及び訓練されたニューラルネットワークモデルのパラメータは、メモリ41に記憶される。
オブジェクト60をスパースなデータから再構成するために、プロセッサ38は、ニューラルネットワークモジュール62及び正則化モジュール63を含む、入力層61、オートエンコーダモジュール65を適用する。プロセッサ38は、ニューラルネットワークモデルの所与の数の隠れ層、及び入力層61を表す所与の数のボクセルを使用して、オートエンコーダ65を適用する。プロセッサ38は、入力層61に割り当てられたものと同じ所与のボクセル数を有する、再構成された左心房66(例えば、図5の再構成された左心房80)である3D出力層64を生成するが、スパースなデータが最もフィットする学習した左心房形状を含む。
図4は、本発明の実施形態による、ニューラルネットワークを用いて左心房45の形状を再構成する方法を模式的に示すフローチャートである。プロセスは、訓練段階71で開始し、その後、開示される取得及びモデリングシステムが、モデリング段階72で動作される。これら2つの段階は、カテーテル法のセッションを行いながら、少なくとも部分的に並行して行うことができる。
訓練段階71は、プロセッサ38が、データベースアップロード工程74において、左心房の幾何学的形状の画像例を受信することから始まる。次に、プロセッサ38は、ニューラルネットワーク訓練工程76において、画像例のデータベースに対し開示されるニューラルネットワークモデルを実行し、ネットワークモデルを訓練する。最後に、プロセッサ38は、記憶工程78において、メモリ41、つまりディスク内に訓練されたニューラルネットワークモデルのパラメータを記憶するか、又はモデルを、手順中にモデルが後に直接ロードされ得るように保存する。
モデリング段階72において、電気解剖学的システム20は、位置取得工程84で、上記の左心房45内の位置のセットを測定する。次に、プロセッサ38は、ニューラルネットワークモデル実行工程86で、工程76の開示される訓練されたニューラルネットワークモデルを、測定された位置セットにわたって実行する。最後に、プロセッサ38は、ニューラルネットワークモデリング工程88で、左心房45の3次元モデルを生成する。
このプロセスは、3次元再構成が完了するまで、例えば心臓26の別の領域から更に測定された位置を受信するためにステップ84にループバックしてもよい。
図4に示す例示的なフローチャートは、単に概念を明確化する目的のために選ばれたものである。代替的な実施形態では、上記のように、メモリ44から左心房45の医療画像をアップロードし、画像から位置を抽出するなどの追加の工程を実行して、モデリング工程86のための追加の位置を提供できる。
図5は、本発明の実施形態による、実験室ファントム75の左心房形状の再構成像80の模式的な描写図である。再構成モデルは、ニューラルネットワークをスパースなカテーテル経路44から得られた位置のデータベースに適用する。左心房実験室ファントム75の実際の形状である、真の正解82と比較する。経路44に沿った位置のセットは、実験室ファントム75に適用された電気解剖学的追跡システム20を使用して取得された。
示されるように、ニューラルネットワーク形状再構成像80と組み合わされた経路44上の取得された位置は、実質的に完全であり、左心房実験室ファントム75の実際の形状と十分に一致する、左心房ファントムの3次元モデルをもたらす。したがって、経路44上の取得された位置と共に、再構成された形状80は、医師が、例えば、不整脈を抑制するために、実際の(例えば、説明される例の真の正解82)心房組織をアブレーションする場所を示す形状80の上に輪郭を描くことができる。
図5に示される図は、単に概念を分かりやすくする目的で例として提供されるものである。任意の実際の形状は、例えば、左心房45の医療画像などの電気解剖学的カテーテル40の経路に基づいて、その上に追加情報を使用して、開示される技術によって再構成されてもよい。
本明細書に記載される実施形態は主として心臓での用途に関するものであるが、本明細書に記載される方法及びシステムは、スパースデータに基づく他の器官の3次元モデルを生成するためなど、他の医療用途にも使用することができる。
したがって、上記に述べた実施形態は、例として引用したものであり、また本発明は、上記に具体的に示し説明したものに限定されないことが理解されよう。むしろ、本発明の範囲は、上述の様々な特徴の組み合わせ及びその一部の組み合わせの両方、並びに上述の説明を読むことで当業者により想到されるであろう、また従来技術において開示されていない、それらの変形及び修正を含むものである。参照により本特許出願に援用される文献は、これらの援用文献において、いずれかの用語が本明細書において明示的又は暗示的になされた定義と矛盾して定義されている場合には、本明細書における定義のみを考慮するものとする点を除き、本出願の一部とみなすものとする。
〔実施の態様〕
(1) 方法であって、
プロセッサにおいて、所与の種類の器官の幾何学的形状の画像例を受信することと、
訓練段階において、前記画像例を使用してニューラルネットワークモデルを訓練することと、
モデリング段階において、前記所与の種類の器官内で取得されたある位置測定値セットに、前記訓練されたニューラルネットワークモデルを適用し、前記器官の3次元モデルを生成することと、を含む、方法。
(2) 前記位置測定値セットが、前記器官内の1つ又は2つ以上のカテーテル経路全体の位置測定値を含む、実施態様1に記載の方法。
(3) 前記ニューラルネットワークモデルを訓練することが、平滑な再構成像を生成するために前記ニューラルネットワークモデルを訓練することを含む、実施態様1に記載の方法。
(4) 前記平滑な再構成像を生成することが、前記ニューラルネットワークモデルの第1の層のみの重みの導関数を含む、正則化関数を最小化することを含む、実施態様3に記載の方法。
(5) 前記画像例を受信することが、処理された電気解剖学的マップ及び処理された医療画像からなる画像様式の群から選択される少なくとも1つの画像例様式を受信することを含む、実施態様1に記載の方法。
(6) 前記訓練されたニューラルネットワークモデルを適用することが、電気解剖学的マッピングシステム及び医療撮像様式からなる測定システム群から選択される少なくとも1つの測定システムによって測定された位置に、前記訓練されたニューラルネットワークモデルを適用することを含む、実施態様1に記載の方法。
(7) 前記器官が心臓の左心房である、実施態様1に記載の方法。
(8) システムであって、
所与の種類の器官の幾何学的形状の画像例を記憶するように構成されている、メモリと、
プロセッサであって、
前記画像例を前記メモリからアップロードし、
訓練段階において、前記画像例を使用してニューラルネットワークモデルを訓練して、前記訓練されたニューラルネットワークモデルを前記メモリに記憶し、かつ、
モデリング段階において、前記所与の種類の器官内で取得されたある位置測定値セットに、前記訓練されたニューラルネットワークモデルを適用するように構成されている、プロセッサと、を含む、システム。
(9) 前記位置測定値セットが、前記器官内の1つ又は2つ以上のカテーテル経路全体の位置測定値を含む、実施態様8に記載のシステム。
(10) 前記プロセッサが、前記ニューラルネットワークモデルを訓練して、平滑な再構成像を生成するように構成されている、実施態様8に記載のシステム。
(11) 前記プロセッサが、前記ニューラルネットワークモデルの第1の層のみの重みの導関数を含む、正則化関数を最小化することによって、前記平滑な再構成像を生成するように構成されている、実施態様9に記載の方法。
(12) 前記プロセッサが、処理された電気解剖学的マップ及び処理された医療画像からなる画像様式の群から選択される少なくとも1つの画像例様式を受信するように構成されている、実施態様8に記載のシステム。
(13) 前記プロセッサが、電気解剖学的マッピングシステム及び医療撮像様式からなる測定システム群から選択される少なくとも1つの測定システムによって得られる位置測定値に、前記ニューラルネットワークモデルを適用するように構成されている、実施態様8に記載のシステム。
(14) 前記器官が心臓の左心房である、実施態様8に記載のシステム。

Claims (14)

  1. 方法であって、
    プロセッサにおいて、所与の種類の器官の幾何学的形状の画像例を受信することと、
    訓練段階において、前記画像例を使用してニューラルネットワークモデルを訓練することと、
    モデリング段階において、前記所与の種類の器官内で取得されたある位置測定値セットに、前記訓練されたニューラルネットワークモデルを適用し、前記器官の3次元モデルを生成することと、を含む、方法。
  2. 前記位置測定値セットが、前記器官内の1つ又は2つ以上のカテーテル経路全体の位置測定値を含む、請求項1に記載の方法。
  3. 前記ニューラルネットワークモデルを訓練することが、平滑な再構成像を生成するために前記ニューラルネットワークモデルを訓練することを含む、請求項1に記載の方法。
  4. 前記平滑な再構成像を生成することが、前記ニューラルネットワークモデルの第1の層のみの重みの導関数を含む、正則化関数を最小化することを含む、請求項3に記載の方法。
  5. 前記画像例を受信することが、処理された電気解剖学的マップ及び処理された医療画像からなる画像様式の群から選択される少なくとも1つの画像例様式を受信することを含む、請求項1に記載の方法。
  6. 前記訓練されたニューラルネットワークモデルを適用することが、電気解剖学的マッピングシステム及び医療撮像様式からなる測定システム群から選択される少なくとも1つの測定システムによって測定された位置に、前記訓練されたニューラルネットワークモデルを適用することを含む、請求項1に記載の方法。
  7. 前記器官が心臓の左心房である、請求項1に記載の方法。
  8. システムであって、
    所与の種類の器官の幾何学的形状の画像例を記憶するように構成されている、メモリと、
    プロセッサであって、
    前記画像例を前記メモリからアップロードし、
    訓練段階において、前記画像例を使用してニューラルネットワークモデルを訓練して、前記訓練されたニューラルネットワークモデルを前記メモリに記憶し、かつ、
    モデリング段階において、前記所与の種類の器官内で取得されたある位置測定値セットに、前記訓練されたニューラルネットワークモデルを適用するように構成されている、プロセッサと、を含む、システム。
  9. 前記位置測定値セットが、前記器官内の1つ又は2つ以上のカテーテル経路全体の位置測定値を含む、請求項8に記載のシステム。
  10. 前記プロセッサが、前記ニューラルネットワークモデルを訓練して、平滑な再構成像を生成するように構成されている、請求項8に記載のシステム。
  11. 前記プロセッサが、前記ニューラルネットワークモデルの第1の層のみの重みの導関数を含む、正則化関数を最小化することによって、前記平滑な再構成像を生成するように構成されている、請求項9に記載の方法。
  12. 前記プロセッサが、処理された電気解剖学的マップ及び処理された医療画像からなる画像様式の群から選択される少なくとも1つの画像例様式を受信するように構成されている、請求項8に記載のシステム。
  13. 前記プロセッサが、電気解剖学的マッピングシステム及び医療撮像様式からなる測定システム群から選択される少なくとも1つの測定システムによって得られる位置測定値に、前記ニューラルネットワークモデルを適用するように構成されている、請求項8に記載のシステム。
  14. 前記器官が心臓の左心房である、請求項8に記載のシステム。
JP2019138568A 2018-07-30 2019-07-29 ニューラルネットワークを使用したスパース位置測定による左心房形状再構成 Active JP7366623B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862711814P 2018-07-30 2018-07-30
US62/711,814 2018-07-30
US16/459,760 2019-07-02
US16/459,760 US11690551B2 (en) 2018-07-30 2019-07-02 Left atrium shape reconstruction from sparse location measurements using neural networks

Publications (2)

Publication Number Publication Date
JP2020021488A true JP2020021488A (ja) 2020-02-06
JP7366623B2 JP7366623B2 (ja) 2023-10-23

Family

ID=67658251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019138568A Active JP7366623B2 (ja) 2018-07-30 2019-07-29 ニューラルネットワークを使用したスパース位置測定による左心房形状再構成

Country Status (7)

Country Link
US (1) US11690551B2 (ja)
EP (1) EP3605391A1 (ja)
JP (1) JP7366623B2 (ja)
CN (1) CN110782520A (ja)
AU (1) AU2019205023A1 (ja)
CA (1) CA3050653A1 (ja)
IL (1) IL268081B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3933852A1 (en) * 2020-07-01 2022-01-05 Biosense Webster (Israel) Ltd Improved mapping efficiency by suggesting map points location

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190314083A1 (en) 2018-04-11 2019-10-17 Biosense Webster (Israel) Ltd. Flexible Multi-Arm Catheter with Diametrically Opposed Sensing Electrodes
US11559362B2 (en) * 2018-11-20 2023-01-24 Boston Scientific Scimed, Inc. Systems and methods for autonomous cardiac mapping
US11045628B2 (en) 2018-12-11 2021-06-29 Biosense Webster (Israel) Ltd. Balloon catheter with high articulation
US11850051B2 (en) 2019-04-30 2023-12-26 Biosense Webster (Israel) Ltd. Mapping grid with high density electrode array
US11950930B2 (en) 2019-12-12 2024-04-09 Biosense Webster (Israel) Ltd. Multi-dimensional acquisition of bipolar signals from a catheter
US11517218B2 (en) 2019-12-20 2022-12-06 Biosense Webster (Israel) Ltd. Selective graphical presentation of electrophysiological parameters
CN113297879A (zh) * 2020-02-23 2021-08-24 深圳中科飞测科技股份有限公司 测量模型组的获取方法、测量方法及相关设备
US11987017B2 (en) 2020-06-08 2024-05-21 Biosense Webster (Israel) Ltd. Features to assist in assembly and testing of devices
US11950840B2 (en) 2020-09-22 2024-04-09 Biosense Webster (Israel) Ltd. Basket catheter having insulated ablation electrodes
US11950841B2 (en) 2020-09-22 2024-04-09 Biosense Webster (Israel) Ltd. Basket catheter having insulated ablation electrodes and diagnostic electrodes
US11974803B2 (en) 2020-10-12 2024-05-07 Biosense Webster (Israel) Ltd. Basket catheter with balloon
US11918383B2 (en) 2020-12-21 2024-03-05 Biosense Webster (Israel) Ltd. Visualizing performance of catheter electrodes
CN112641515B (zh) * 2021-01-19 2022-06-03 河南省儿童医院郑州儿童医院 用于诊断或治疗的机器人微创手术导管系统
CN113197582B (zh) * 2021-04-27 2022-03-25 浙江大学 一种高通用性的心电数据压缩感知系统、终端和存储介质
CN115601356B (zh) * 2022-11-16 2023-03-31 山东大学 基于稀疏卷积自编码的多发性硬化病灶识别方法及系统
CN116129060B (zh) * 2023-04-18 2023-06-23 心航路医学科技(广州)有限公司 心脏三维解剖模型构建方法和心脏三维标测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010520784A (ja) * 2007-03-09 2010-06-17 セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド カテーテル案内システムをイメージデータ又はモデルに局所的変形可能に統合するためのシステムと方法
JP2011138350A (ja) * 2009-12-28 2011-07-14 National Institute Of Information & Communication Technology 対象体の解剖構造解析方法及び対象体解剖構造の表示方法並びに対象体解剖構造表示装置
JP2018073393A (ja) * 2016-09-12 2018-05-10 ダッソー システムズDassault Systemes 深度マップからの現実の物体の3d再構築

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW514513B (en) 1996-02-06 2002-12-21 Deus Technologies Inc Method for the detection of lung nodule in radiological images using digital image processing and artificial neural network
US6106466A (en) * 1997-04-24 2000-08-22 University Of Washington Automated delineation of heart contours from images using reconstruction-based modeling
WO2001078005A2 (en) 2000-04-11 2001-10-18 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
US8057394B2 (en) 2007-06-30 2011-11-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Ultrasound image processing to render three-dimensional images from two-dimensional images
US8456182B2 (en) 2008-09-30 2013-06-04 Biosense Webster, Inc. Current localization tracker
US8634896B2 (en) * 2010-09-20 2014-01-21 Apn Health, Llc 3D model creation of anatomic structures using single-plane fluoroscopy
CN105103163A (zh) 2013-03-07 2015-11-25 火山公司 血管内图像中的多模态分割
US9576107B2 (en) 2013-07-09 2017-02-21 Biosense Webster (Israel) Ltd. Model based reconstruction of the heart from sparse samples
US9406142B2 (en) 2013-10-08 2016-08-02 The Trustees Of The University Of Pennsylvania Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling
US9633306B2 (en) * 2015-05-07 2017-04-25 Siemens Healthcare Gmbh Method and system for approximating deep neural networks for anatomical object detection
CA2994713C (en) 2015-08-15 2019-02-12 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization
US10842379B2 (en) * 2016-01-29 2020-11-24 Siemens Healthcare Gmbh Multi-modality image fusion for 3D printing of organ morphology and physiology
CN106296653B (zh) * 2016-07-25 2019-02-01 浙江大学 基于半监督学习的脑部ct图像出血区域分割方法及系统
US20190053728A1 (en) * 2017-08-16 2019-02-21 Regents Of The University Of Minnesota System and method for activation recovery interval imaging of cardiac disorders
US11534136B2 (en) 2018-02-26 2022-12-27 Siemens Medical Solutions Usa, Inc. Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010520784A (ja) * 2007-03-09 2010-06-17 セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド カテーテル案内システムをイメージデータ又はモデルに局所的変形可能に統合するためのシステムと方法
JP2011138350A (ja) * 2009-12-28 2011-07-14 National Institute Of Information & Communication Technology 対象体の解剖構造解析方法及び対象体解剖構造の表示方法並びに対象体解剖構造表示装置
JP2018073393A (ja) * 2016-09-12 2018-05-10 ダッソー システムズDassault Systemes 深度マップからの現実の物体の3d再構築

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONG YANG ET AL.: "Multi-component deformable models coupledwith 2D-3D U-Net for automated probabilistic segmentation o", [ONLINE], JPN6023011800, 4 April 2018 (2018-04-04), ISSN: 0005021516 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3933852A1 (en) * 2020-07-01 2022-01-05 Biosense Webster (Israel) Ltd Improved mapping efficiency by suggesting map points location

Also Published As

Publication number Publication date
AU2019205023A1 (en) 2020-02-13
US20200029845A1 (en) 2020-01-30
IL268081A (en) 2020-01-30
US11690551B2 (en) 2023-07-04
IL268081B1 (en) 2024-04-01
CN110782520A (zh) 2020-02-11
EP3605391A1 (en) 2020-02-05
JP7366623B2 (ja) 2023-10-23
CA3050653A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
JP7366623B2 (ja) ニューラルネットワークを使用したスパース位置測定による左心房形状再構成
JP6557767B2 (ja) 多数の画像取得または再構築を使用する画像ベースのオブジェクトモデリングのためのシステム及び方法
JP5632539B2 (ja) 興奮伝播図を計算するためのシステムおよび方法
US9730602B2 (en) Cardiac mapping
US9526434B2 (en) Cardiac mapping with catheter shape information
RU2409313C2 (ru) Способ неинвазивного электрофизиологического исследования сердца
US7953475B2 (en) Preprocessing for cardiac mapping
US6301496B1 (en) Vector mapping of three-dimensionally reconstructed intrabody organs and method of display
JP2021049342A (ja) Ecgベースの心臓壁厚推定
CN111493819A (zh) 用于根据医学图像和体表电位来表征心脏的电性质的系统和方法
CN110811596A (zh) 基于低秩与稀疏约束和非局部全变分的无创心脏电位重建方法
Bokeriya et al. Hardware-software system for noninvasive electrocardiographic heart examination based on inverse problem of electrocardiography
US10957057B2 (en) Post-mapping automatic identification of pulmonary veins
US11922621B2 (en) Automatic frame selection for 3D model construction
WO2017035522A1 (en) Determining geometric changes, rotations, and/or translations of the heart based on electrocardiogram measurements
CN117315133A (zh) 术中心腔内超声图像自动分割和四维建模的方法及系统
JP2023024394A (ja) 電気生理学的処置のセットアップ時間を短縮するためのグラフィカルユーザインターフェーステンプレート
CN115553819A (zh) 超声切片增强
Xu Registration of Real-Time and Prior Images for MRI-Guided Cardiac Interventions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231011

R150 Certificate of patent or registration of utility model

Ref document number: 7366623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150