JP2015147048A - 異なる心拍数にて獲得された心臓の画像シーケンス間を同期すること - Google Patents

異なる心拍数にて獲得された心臓の画像シーケンス間を同期すること Download PDF

Info

Publication number
JP2015147048A
JP2015147048A JP2015022082A JP2015022082A JP2015147048A JP 2015147048 A JP2015147048 A JP 2015147048A JP 2015022082 A JP2015022082 A JP 2015022082A JP 2015022082 A JP2015022082 A JP 2015022082A JP 2015147048 A JP2015147048 A JP 2015147048A
Authority
JP
Japan
Prior art keywords
image
heart
heart rate
image sequence
clip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015022082A
Other languages
English (en)
Other versions
JP6587808B2 (ja
Inventor
タミル・デムリ
Demri Tamir
ズィヤード・ゼイダン
Zeidan Ziyad
ギル・ジゲルマン
Zigelman Gil
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2015147048A publication Critical patent/JP2015147048A/ja
Application granted granted Critical
Publication of JP6587808B2 publication Critical patent/JP6587808B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7285Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • A61B5/283Invasive
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • A61B6/487Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5288Devices using data or image processing specially adapted for radiation diagnosis involving retrospective matching to a physiological signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/468Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】 異なる心拍数にて獲得した心臓のシーケンス画像間を同期する。【解決手段】 医療処置を実施するための方法には、心周期内の所定の期の持続時間と、対応する心拍数間の非線形依存性を持続することが含まれる。患者の心臓のそれぞれの異なる第一及び第二心拍数にて獲得した、前記心臓の動的活性の第一及び第二画像シーケンスを受信する。第一及び第二画像シーケンス間の同期を、非線形依存性、第一及び第二心拍数、及び所定の共通の心拍数に基づいて実施する。第一及び第二画像シーケンスを、共通の心拍数と同期して、再生する。【選択図】 図1

Description

本発明は、一般に心臓撮像、とりわけ異なる心拍数にて獲得した心臓のシーケンス画像間を同期するための方法及びシステムに関する。
幾つかの心撮像手順が、心臓の動的活性を示す画像フレームのシーケンスを含むクリップを産出する。心臓撮像手順としては、例えば、蛍光透視及び超音波撮像手順が挙げられる。幾つかの場合で、異なる撮像クリップ間を同期させることが望ましい。心臓の別個の測定間を同期するための様々な技術が、本技術分野で公知である。
例えば、その開示内容が参考により本明細書に組み込まれている、米国特許第7,477,928号明細書は、データ同期化スキームを用いて、ECG波形データを、計算されたトモグラフィ画像データと関連づけるための方法を記述している。本方法には、心電図装置を用いてECG波形データを生成することと、計算されたトモグラフィ画像データを作成するために、計算されたトモグラフィ撮像システムを再生することと、曝露マーカーシグナルが、EKG波形データと関連づけられるように、心電図装置に対して、曝露マーカーシグナルを通信することと、が含まれる。本方法には更に、ECG波形データを、計算されたトモグラフィ画像データと相互に関連づけるように、計算されたトモグラフィ画像データ、ECG波形データ及び曝露マーカーシグナルを処理することが含まれる。
その開示内容が参考により本明細書に組み込まれている、米国特許第8,583,101号明細書は、心拍数挙動を同期するための方法及び装置を記述している。本方法には、周期リスト及び時間リストを獲得することと、該期間リストにしたがって心拍数挙動の周期の長さを獲得することと、該時間リストにしたがった時間、心拍数周期及び事前設定乗算器を同期することと、が含まれる。本方法はさらに、同期時間からの周期として、心拍数挙動の周期の長さを用いることによって、心拍数挙動の少なくとも1つの型を同期することが含まれる。
その開示内容が参考により本明細書に組み込まれている、米国特許第6,389,310号明細書は、同期した心電図断層シンチグラフィーから得るデータの処理を記述しており、前記データは、心房、心室、心弁及び隔膜を含む、心臓の活性を与える画像に相互関連される。画像には、少なくとも第一及び第二部分が含まれる。第一部分は、心周期の間、心房及び心室を示しているピクセルからなり、そこで各周期には、収縮期末時間及び拡張期末時間を有する、連続時間ビンが含まれる。第二部分は、心臓活性に実質的に関与しないピクセルからなる。
本明細書で記述される本発明の実施形態は、医療処置を実施するための方法を提供する。本方法には、心臓周期内の所定の期の持続時間と、対応する心拍数との間の非線形依存性を持続することが含まれる。患者の心臓のそれぞれの異なる第一及び第二心拍数にて獲得した、前記心臓の動的活性の第一及び第二画像シーケンスを受信する。第一及び第二画像シーケンス間の同期化を、非線形依存性、第一及び第二心拍数、及び所定の共通心拍数に基づいて実施する。第一及び第二画像シーケンスを、共通の心拍数と同期して再生する。
幾つかの実施形態において、共通の心拍数は、第二心拍数と等しく、第一及び第二画像シーケンス間を同期することに、第二画像シーケンスを、第一画像シーケンスと同期することが含まれ、第一及び第二画像シーケンスを再生することに、第一心拍数と同期して、第二画像シーケンスを再生することが含まれる。他の実施形態において、所定の期に、活動期が含まれ、そこで心腔の容量が急速に変化し、非線形依存性を持続することに、活動期の持続時間を、対応する心拍数と関連づける非線形関数を持続することが含まれる。また他の実施形態において、心臓周期にはさらに、心腔の容量がゆっくりと変化する受動期が含まれ、第一及び第二画像シーケンス間を同期することに、非線形関数に基づいて、活動及び受動期それぞれにおける、第二画像シーケンスの画像の提示時間を決定することが含まれる。
実施形態において、非線形関数を持続することに、2つ又は3つ以上の線形区画を含む、区分的線形関数を持続することが含まれる。他の実施形態において、区分的線形関数には、閾値心拍数の上及び下の、それぞれの心拍数に相当する第一及び第二線形区画が含まれる。また他の実施形態において、第二画像シーケンスを再生することに、その決定された提示時間が、第一シーケンスの画像のうち、レンダリングされた画像のレンダリング時間に適合する、第二画像シーケンスの画像を選択することが含まれる。
幾つかの実施形態において、第二画像シーケンスを再生することに、第一画像シーケンスのレンダリングされた画像上に重ね合わせられた第二画像シーケンスの選択された画像を表示することが含まれる。他の実施形態において、第一画像シーケンスを受信することに、心臓の動的リアルタイム撮像を受信することが含まれる。また他の実施形態において、第二画像シーケンスを受信することに、先に記録された蛍光透視クリップを受信することが含まれる。
一実施形態において、心周期には、多数の亜期が含まれ、該亜期が、それぞれの亜期の持続時間と、対応する心拍数との間をそれぞれが関連づける、それぞれの多数の非線形依存性に対応し、第一及び第二画像シーケンス間を同期化することに、多数の非線形依存性、第一及び第二心拍数、及び共通の心拍数に基づいて、第一及び第二画像シーケンスの画像の提示時間を測定することが含まれる。
出力器具とプロセッサを含む医療処置を実施するために装置が、本発明の実施形態にしたがって、さらに提供される。プロセッサが、心周期内の所定の期の持続時間と、対応する心拍数間の非線形依存性を持続するため、患者の心臓のそれぞれの異なる第一及び第二心拍数にて獲得された、心臓の動的活性の第一及び第二シーケンスを受信するため、非線形依存性、第一及び第二心拍数、及び所定の共通心拍数に基づいた、第一及び第二画像シーケンス間を同期させるため、及び出力器具上で、共通の心拍数に同期された第一及び第二画像シーケンスを再生するため、に構成される。
本発明は、以下の詳細な実施形態の説明を、図面と併せ読むことによって、より十分に理解されるであろう。
本発明の一実施形態にしたがった、心内電気生理学(EP)マッピングのためのシステムの略図的絵図。 本発明の一実施形態にしたがった、心室容量の特徴的動特性を示しているグラフ。 心周期内の活動期の持続時間と、心拍数との間を関連づける、非線形関数を描写しているグラフ。 本心拍数に対する、蛍光透視クリップの同期を含む、心臓マッピングシステムを略図的に説明しているブロックダイアグラム。 単一心周期内の蛍光透視クリップフレームの時間整経の4つの例を示しているダイアグラム。 単一心周期内の蛍光透視クリップフレームの時間整経の4つの例を示しているダイアグラム。 単一心周期内の蛍光透視クリップフレームの時間整経の4つの例を示しているダイアグラム。 単一心周期内の蛍光透視クリップフレームの時間整経の4つの例を示しているダイアグラム。 本発明の一実施形態にしたがった、蛍光透視クリップをEPマップと同期するための方法を略図的に説明するフローチャート。 本発明の一実施形態にしたがった、3つの異なる心拍数での、心室容量の特徴的動特性を描写しているグラフ。
概要
心臓の撮像又はマッピングを含む幾つかの医療処置において、撮像はカテーテルに基づき、医師が血管系を通して心臓に挿入する。Bioscence Webster,Inc.(Diamond Bar,California)によって売り出されたCARTO(商標)システムのような、心臓マッピングのための多数のシステムが市販されている。CARTOはカテーテルの遠位端の位置及び動作パラメータを追跡し、その情報を電子的に心臓の3次元(3D)生体構造マップに表示する。
心臓撮像の間、ここで産出された心臓の3Dマップと同時に、心臓のすでに記録された蛍光透視クリップを再生することが、しばしば有用である。以下の記述において、任意の他の好適な心臓撮像方法がまた使用可能であるけれども、蛍光透視クリップが、動的心撮像に対する一例として役立つ。他の動的心撮像モダリティとしては、例えば2D心エコー法、3D心エコー法、磁気共鳴映像法(MRI)及びコンピューター断層撮影(CT)が挙げられる。
原則として、現心周期の間に発生する各心拍数周期を、蛍光透視クリップ中の対応するクリップ周期にまず適合することと、ついで対応する周期持続時間に基づく、線形時間適合によって、クリップ画像の提示時間を決定することによって、3Dマップに蛍光透視クリップを同期することが可能である。しかしながら、蛍光透視クリップと本心臓マッピング手順が、おそらく異なる心拍数に対応するので、そして心周期内の周器内期の持続時間が、内在する心拍数に異なって依存してよいので、そのようなナイーブな同期スキームが典型的に、時間ゆがみ同期となり、したがって、再生した蛍光透視クリップが、本心臓マッピングの間の実際の心臓挙動を反映できない。
本明細書で記述された本発明の実施形態は、異なる心拍数にて獲得された患者の心臓の画像シーケンスを同期するための改善された方法及びシステムを提供する。開示された技術は、全心周期にそって、他のシーケンス上へ正確にマップするために、画像シーケンスの1つに対して、非線形時間整経を適用する。
本明細書で記述した例において、開示された技術が、心臓のEPマッピングの間、心拍数に対して、蛍光透視クリップのプレイバックを同期するために使用される。あるいは、しかしながら、開示された技術が、例えば心房中隔欠損症(ASD)閉合、弁置換及び心筋の生検のような、心カテーテル法、経カテーテル手順を含む、任意の他の好適な撮像モディリティを用いて獲得した画像シーケンスを同期するために使用可能である。
幾つかの実施形態において、1つの画像シーケンスを、もう一つの画像シーケンスに相当する心拍数に同期する代わりに、両方のシーケンスを所定の共有の心拍数との同期にて再生し、これらは2つの画像シーケンスに相当している両方の内在している心拍数からは異なってよい。
心周期は、心室容量が急速に変化する活動期と、心室容量が、静的であるか、ゆっくりと増加する受動期に分けることが出来る。臨床試験に基づいて、活動及び受動期の持続時間は、内剤心拍数に依存する。幾つかの閾値心拍数(HR)の下、活動期の持続期間は、HR値に無反応である。さらに、閾値HRの上で、受動期は消えてなくなり、心周期は、HRが増加するときに短くなる、活動期のみを含む。閾値HR値は典型的に、95〜105ビート/分(BPM)の範囲内である。以下の記述において、任意の他の好適な値も使用可能であるが、本申請者らは、100BPMの閾値HRを推定する。
実施形態において、HRへの活動期持続時間の逆位乗法又は回帰の依存性を、例えば2つの線形区画からなる区分的線形関数のような、非線形関数によって概算可能である。100BPMより下が水平に近く、100BMPより上の区画の傾きが単一である。
幾つかの実施形態において、蛍光透視クリップの、本HRへの同期が、2つのステージにて実施される。第一ステージにおいて、(心周期(cardiac cycles)としてもまた本明細書で呼ばれる)本心臓マッピング心周期の間に発生している心周期が、(クリップサイクルとも呼ばれる)蛍光透視クリップの対応するサイクルに適合される。第二同期ステージにて、各クリップ周期内のクリップフレームの持続時間は、適合している心周期の完全持続時間と整列されるように調節された時間である。
幾つかの実施形態において、クリップ及び心周期は、対応するクリップ及び心注釈でマークされ、心注釈は、心周期の開始時間を示唆する。心注釈は、本心臓マッピング手順の間に、又は任意の他の好適な方法を用いて測定される、心電図(ECG)シグナルを解析することによって生成されてよい。クリップ注釈は、(クリップ記録の時間にて)ECGシグナルから、又は例えば、蛍光透視クリップの画像フレームを解析することによって、同時生成されてよい。
一実施形態において、第二同期ステージは、心性相関器によって実施され、この心性相関器は、現、及び先の心及びクリップ適合周期を作り出している注釈を受信する。心性相関器は、先の周期の対応する持続時間から、クリップ及び心HRsを推定し、非線形関数を用いて心及びクリップ活動期を推定する。心性相関器はついで、活動及び受動期に帰属するクリップフレームの提示時間を別々に適合する。
幾つかの実施形態において、レンダリング事象が、心臓の3Dマップを更新し、表示するための時間を示す。レンダリング事象を受信するに際して、その適合した提示時間が、受信したレンダリング時間と適合するクリップフレームが選択され、表示される(おそらく、3Dマップ上に記録され、重ね合わせされる)。
クリップフレームに対して非線形時間整経を適合し、心拍数への周期内の異なる依存性を考慮することによって、開示された技術によって、そしてほとんど又は全く時間ゆがみなしに、本心拍数との同期において、蛍光透視クリップを再生可能である。
システムの説明
図1は、本発明の一実施形態にしたがった、心内電気生理(EP)マッピングに対するシステム20の略図的絵図である。システム20は、例えば上述のCARTOシステムに基づく、システムソフトウェアに適切な追加をしたものであってよい。システム20は、カテーテル24などのプローブ及び制御コンソール34を備える。本明細書以下で記述される実施形態において、カテーテル24が、患者30の心臓26をマッピングすることにおいて使用される。あるいは、カテーテル24又は他の好適なプローブを、心臓における他の治療目的のために、変更すべきところは変更して、使用してよい。例えば、幾つかの実施形態において、カテーテルを、例えば心臓焼灼のような、さらなる医療処置を実施して、またはしないで、心臓の3Dマッピングを作製するために使用してよい。
図1の例システムにおいて、心臓専門医のような再生者22が、カテーテルの遠位末端が心臓26のチャンバー(例えば心室又は心房)に入るように、患者30の血管系を通してカテーテル24を挿入する。カテーテル24は、典型的には、その近位端で、好適なコネクタによってコンソール34に接続される。代替システムにおいて、カテーテル以外の手段もまた、動的心臓マッピングのために使用されてもよい。
この図示されている実施形態では、システム20は、磁気位置検出を用いて心臓26内部のカテーテル24の遠位端の位置座標を決定する。この目的のために、コンソール34内の駆動回路38が、磁場発生器32を駆動して、患者30の身体内に磁場を生成する。典型的には、磁場発生器32は、患者の胴体の下の、既知の定位置に配置されるコイルを含む。これらのコイルは、心臓26を含む既定の作業体積で磁場を発生させる。カテーテル24の遠位端内の磁場センサ(図示せず)は、これらの磁場に反応して電気信号を生成する。信号プロセッサ40は、通常は場所及び配向の座標の双方を含む、カテーテル24の遠位端の位置座標を決定するためにこれらの信号を処理する。この位置検出法は、上述のCARTOシステムに導入されており、当該技術分野では公知である。代わりに又は加えて、システム20は、超音波又は電気インピーダンスに基づく方法など当該技術分野で公知の他の位置検出法を使用してもよい。
コンソール34内のプロセッサ40は、典型的には、カテーテル24からの信号を受け取るため、並びにコンソール34の他の構成要素からの入力を制御及び受け取るための汎用コンピュータプロセッサを含む。プロセッサ40は、本明細書に記載する機能を実行するようソフトウェアでプログラムすることが可能である。このソフトウェアは、例えば、ネットワークを通じて電子的形態でプロセッサ40にダウンロードされてもよく、あるいは、代わりに又は加えて、このソフトウェアは、光学的、磁気的、又は電子的記録媒体などの、実体のある、非一過性の媒体上に提供されてもよい。更に、代わりに又は加えて、プロセッサ40の機能の一部又は全てが、専用の又はプログラム可能なデジタルハードウェア構成要素によって実行されてもよい。
カテーテル24及びシステム20の他の構成要素から受信した信号に基づいて、プロセッサ40はディスプレイ42を駆動して、心臓26の3次元(3D)マップ44を操縦者22に提示する。マップは、患者の身体内のカテーテルの位置に関する可視フィードバック、並びに進行中の手技に関する状態情報及び案内を提供すると共に、カテーテル24が測定した心臓の電気生理学的活動を示すことができる。
プロセッサ40がさらに、好適なインターフェースを介して、先に記録された蛍光透視又はシネクリップを受け入れ、プロセッサ40のメモリ中に局所でクリップを保存可能である(インターフェース及びメモリは示していない)。再生者22は、おそらくマップ44上に重ね合わせられた、クリップを再生して、ディスプレイ42上で提示するために、(例えば、コントロール48及びオンスクリーンメニューを用いて)コンソール34を構成してよい。本明細書で開示される技術によって、時間ねじれなしに、心臓マッピング手順の間に、心拍数との同期において、蛍光透視クリップのプレイバックが可能になる。
図1は、特定のシステム構成及び適用環境を示しているが、本発明の原理を、カテーテルだけでなく、他の型のプローブを用いて、他の治療適用において、同様に適用してよい。
心拍数における、心室容量動態の依存性
図2は、本発明の一実施形態にしたがった、心臓の左心室(LV)の容量の特徴的動特性を示しているグラフである。図2におけるグラフは、3D心エコー法を用いて、約60BPMにて、心臓の実際の動特性をサンプリングすることに基づいている。心拍周期は、心室が収縮する心収縮期と、心室が緩む心拡張期を含む。心収縮期の間、心室の容量はすぐに減少する。心拡張期はさらに急速充填、静止及び後期充填期として呼ばれる、3つの亜期に分けることが出来る。以下の記述において、急速充填期はまた、早期充填期として呼ばれる。
早期充填期の間、心拡張期の開始にて、心室が緩み始め、血液で充たされ、したがってその容量はすぐに増加する。心拡張期の間、心室の容量は典型的に一定であり、又は低速で、例えば受動的に充填されながら、変化する。心拡張の後期充填期の間、心房が収縮して、さらに心室を充たし、したがって心室容量が比較的早く増加する。
本発明の文脈において、本発明者らは、本明細書にて活動及び受動期として呼ばれる、2つの他の期に心周期をわけることが便利であることを発見した。活動期は、後期充填、心収縮期及び早期充填期を含み、受動期は静止を含む。図3を参照して以下で説明するように、活動及び受動期の対応する持続時間は、心拍数に異なって依存する。
幾つかの実施形態において、心周期の境界は、心室がその最大容量まで充たされる時に、心収縮期の開始にて決定される。心収縮期開始時間のマークは、心室注釈100として呼ばれる。他の実施形態において、周期境界は、活動期の開始にて決定され、心房注釈104によってマークが付けられる。
図2にて描写するように心周期の間、左心室の容量の動態が、純粋にコンセプトの明確化のために選択され、開示された技術がまた、他の心容量動態に適用可能でもある。例として、各異なる心臓期の持続時間は、内在する心拍数に異なって依存してよい。さらに、図2で描写するように、心周期を4つの期に分けることは必須ではない構成、及び他の期への分割が可能である。例えば、代替実施形態において、心周期は、4以外の多数の期、及び/又は異なって心周期にそって位置する期に分けられてよい。
臨床試験は、活動及び受動期の持続時間の、心拍数における依存性が異なりうることを示した。さらに、依存性は、低及び高心拍数間で異なる。例えば、Chung et al.は、参考によって本明細書に組み込まれている、「Duration of diastole and its phases as a function of heart rate during supine bicycle exercise」 American Journal of Physiology−Heart and Circulatory Physiology,2004年11月1日、287巻、番号H2003−H2008にて、心拍数における、拡張期亜期の依存性を議論している。他の例として、Bombardini et al.は、参考によって本明細書に組み込まれている、「Diastolic time−frequency relation in the stress echo lab:filling timing and flow at different heart rates」Cardiovascular Ultrasound、2008年4月21日にて、ストレスの間の心収縮及び拡張時間を調査している。
以上に引用した(及び他の)参考に基づいて、本発明者らは、およそ100拍/分(BPM)と等しい、閾値心拍数を定義した。したがって、閾値速度以下の心拍数にて、活動期の持続時間は、内在心拍数に無反応であり、心拍数が増加するにつれて、ほとんど受動期持続時間の対応する減少のために、心周期期間が減少する。心拍数が閾値速度より上に増加したときに、静止拡張期が消え、心周期期間が実質的に、活動期のみの持続時間と等しい。以下図7で、60、100及び120BPMでの、左心室の容量の例示動態を描写している。
図3は、心周期内の活動期の持続時間と、心拍数との間を関連づける、非線形関数108を描写しているグラフである。本図において、水平軸は、40〜180BPMの範囲内の心拍数を表す。垂直軸は、(T_ACTIVEを表す)活動期持続時間の回帰性値を表し、したがって値はBPMのユニットで与えられる。図3における例示関数は、区分的線形であり、(THR_HRを表す)閾値速度112より上、及び下の心拍数に相当する2つの線形区画を含む。THR_HRより下の心拍数に相当する関数の区画108は、平坦に近い傾きを有し、これは、この領域において、心拍数における、活動期持続時間の弱い依存性を示唆している。他方、受動期が消えるときに予測されるように、THR_HRより上の心拍数に相当する区画の傾きは、1と等しい。
どのようにして、図3の関数が使用可能であるかの例として、170BPMの所定の心拍数を考慮する。この場合において、関数は、170BPMまでの所定の心拍数をマップし、活動期の相当する持続時間は、1/170分、又は等しく60/170秒であるであろう。
図3における関数108の構成は、例示的な構成であり、他の好適な関数もまた使用可能である。例えば、閾値速度は、100BMP以外の心拍数に相当してよく、2つの線形区画が、他の好適な傾きを有してよい。さらに、関数は、2つ以上の線形区画を有する区分的線形関数を含んでよい。関数108はまた、非線形曲線、又は多数の線形及び非線形曲線の組み合わせを含んでもよい。
蛍光透視クリップ同期化による、心臓マッピングシステム
以上で記述するように、心臓マッピングを含む医療処置を実施するときに、心臓マップに加えて、同一の患者のすでに記録された蛍光透視クリップを表示することが有利でありうる。医師に対して価値があるために、蛍光透視クリップのプレイバックは、周期内時間ゆがみ無しに、本心拍数に同期すべきである。
図4は、蛍光透視クリップ200の、本心拍数への同期を含む、心臓マッピングシステム40を略図的に説明しているブロックダイアグラムである。図4のシステムは、典型的には、コンソール34のプロセッサ40によって実施される。
プロセッサ40は、好適なインターフェース(示していない)を介して、動的心臓活性を示している、蛍光透視クリップ200を受信する。幾つかの実施形態において、蛍光透視クリップ200が、本心臓マッピングを実施する前に、同一の患者30に対して記録される。クリップ200は、対応するフレームタイムスタンプとそれぞれ関連した画像のシーケンスを含む。蛍光透視クリップ200は典型的に、25フレーム/秒のフレーム速度(すなわち各フレームは、約40ミリ秒間提示される)を有する数十フレーム(例えば50〜200フレーム)を含む。蛍光透視クリップに対する他の典型的なフレーム速度には、30、15、7.5及び3.75フレーム/秒が含まれる。EPマッピングにて使用されるフレーム速度は典型的に、15フレーム/秒より下である。一般に、しかしながら、任意の好適なフレーム速度が使用可能である。システム40の例示実施形態において、プロセッサが、以下で記述するような、2つの主要ステージにて、クリップフレームの提示を、本心拍数に同期させる。
以下の記述において、用語「クリップ周期」及び「クリップ注釈」は、蛍光透視クリップにおける、周期開始及び終了時間をマークする、心拍数周期と対応する注釈を意味する。同様に、用語「心周期」及び「心注釈」は、本心臓マッピング再生の間、心拍数周期及び開始/終了マーキングを意味する。
第一同期ステージにおいて、プロセッサ40は、現心周期を、クリップ周期の1つと整合することによって、心及びクリップ周期間を同期する。第二の同期ステージにおいて、プロセッサ40が、現心周期と整列すべき整合したクリップ周期の間に発生する、クリップフレームの時間整経を実施する。
プロセッサ40は、心及びクリップ周期間を同期するために、任意の好適な方法を使用可能である。本実施形態において、プロセッサ40は、心臓マッピング手順の間、及びに加えて、好適な器具(示していない)を用いて、測定される、心電図シグナル(ECG_SIGNALと表す)に基づいた周期同期を実施する。注釈生成ユニット208は、ECG_SIGNAL 204を解析して、心室注釈100、心房注釈104、又は両方を決定する。以上で説明するように、心室及び心房注釈は、それぞれ心収縮期及び活動期が開始する時間事例を含む。
プロセッサ40は、心室/心房注釈を局在化するための任意の好適な方法を使用してよい。例示的実施形態において、プロセッサ40は、ECG_SIGNAL 204中の局所ピークを局在化することによって、心室及び/又は心房注釈の時間事例を推定する。代替実施形態において、プロセッサ40は、注釈を生成するために、おそらくECG以外の測定に基づいた、任意の他の好適な手段を使用可能である。
プロセッサ40は、注釈歴データベース(DB)212中のDB注釈として、注釈生成ユニット208によって生成された心臓注釈を保存する。プロセッサ40は、例えば、クリップが記録される時間に基づいて、蛍光透視クリップ200とDB注釈を結びつける。幾つかの実施形態において、システム20のプロセッサ40又は幾つかの他のプロセッサ又はサブシステムが、蛍光透視クリップ200の記録を実施し、クリップに対応している心室及び/又は心房注釈を決定する。そのような実施形態において、プロセッサ40は、対応する蛍光透視クリップと関連して、DB 212中のクリップの注釈を保存する。
クリップトリマー216は、DB 212中に保存したDB注釈と、蛍光透視クリップ200のフレームタイムスタンプを受け入れる。クリップトリマー216は、クリップフレームのサブセットを選択し、DB注釈の事例を、対応する選択されたフレームのタイムスタンプと結びつける。さらに、クリップトリマー216が、そのタイムスタンプが、クリップ内で最も早い注釈に先行するか、又はクリップ内で最も遅い注釈の後に発生するクリップフレームを破棄することによって、クリップを調整する。クリップトリマー216の出力はしたがって、蛍光透視クリップの多数の非分割クリップ周期に相当している注釈時間事例のシーケンスを含む。
代替実施形態において、フレームを破棄するかわりに、トリマー216は、クリップの開始及び/又は終了にて、黒色又は透明フレームを加え、それぞれ最初及び最後の周期の欠けている部分を満たす。加えられたフレームは、クリップが周期的に再生される時に表示される。
また他の代替実施形態において、(必ずしも任意の注釈との整列とではなく)クリップの開始及び終了部分において選択されたフレームが、最初及び最後の分割周期のフレームが、クリップが周期的に再生される時に、完全周期として現れるように、調整される。
注釈調節ユニット224は、注釈生成ユニット208から(またはDB 212から)の心室、心房又は両方の注釈を受信し、調節された心臓注釈、すなわち心室又は心房いずれかの心調節注釈228を出力する。幾つかの実施形態において、プロセッサ40は、心室注釈の時間事例から、好適な時間持続時間を差し引くことによって、(例えば、心房注釈が利用可能でないときに)心室注釈を心房注釈に翻訳する。同様に、プロセッサ40は、好適な時間持続時間を加えることによって、心房注釈を、心室注釈に翻訳する。差し引かれた、又は加えられた時間持続時間は、例えば、ECG_SIGNAL 204の即時、又は平均PR間隔に対応してよく、又は活動期の持続時間の固定画分として計算されてよい。
周期マッチングユニット220は、トリマー216から調整されたクリップのクリップ注釈を、そしてユニット224から、心室又は心房調節注釈228を受信する。各クリップ又は心周期は、対応する2つの連続クリップ又は心臓注釈によってマークされる。周期マッチングユニット220はさらに、3Dマップ提示ユニット42から、レンダリングタイムスタンプ232を受信する。レンダリングタイムスタンプ232は、プロセッサ40が、心臓26の3Dマップ44の更新されたバージョンをレンダリングする、時間事例である。
周期マッチングユニット220は、心臓注釈228によってマークされる心周期を、クリップトリマー216によって出力された、クリップ注釈によってマークされた対応するクリップ周期に適合させる。一実施形態において、レンダリング事象タイムスタンプ232を受信することに際して、周期マッチングユニット220が、先のレンダリング事象から、ユニット220によって受信された心臓注釈228の数を数える。典型的には、ユニット220は、多数の0又は1の注釈を数え、それに応じて蛍光透視クリップ200中の次のクリップ周期に進む(すなわち、注釈の数が正である場合のみ)。
あるいは、周期マッチングユニット220が、例えば、プロセッサの計算リソースが、一時的不十分である時に、先のレンダリング時間から発生した多数の注釈を計数し、ユニット220が、結果的に、蛍光透視クリップ中の多数のクリップ周期を前進させる。
プロセッサ40は、調節されたクリップ周期にわたり、周期的に前進する。言い換えれば、次のクリップ周期まで遷移する時に、プロセッサ40が最後のクリップ周期にわたって通過する場合、プロセッサが、第一クリップ周期まで戻る。
代替実施形態において、プロセッサ40は、例えば心臓及び調整されたクリップ周期持続時間の間の相関値を計算することによって、又は任意の他の好適な方法によって、心臓及びクリップ周期間を整合する。
周期マッチングユニット220が、現及び先の心周期に対応するマッチングしている現及び先のクリップ周期に相当するクリップ注釈240を出力する。
心性相関器244が蛍光透視クリップ200(すなわちクリップのフレームと相当するタイムスタンプ)を受信し、相当する提示時間事例を有する選択されたフレーム248を出力する。心性相関器244は、周期レベルにて作動する。心周期と、マッチングしているクリップ周期を考慮すると、相関器は、フレーム間の時間のねじれを導入することなしに、現心周期と整列すべき、現クリップ周期内でのクリップフレームの不均一時間整経を実施する。プロセッサ40が、各クリップ及び心周期を、活動及び受動期に分け、各活動及び受動期中のクリップフレームに対して、別の時間調節を実施する。
プロセッサ40が、例えば、対応する先の周期期間の回帰性を計算することによって、現クリップ及び心周期の対応する心拍数を推定する。プロセッサ40は、現心及びクリップ周期に対する活動期持続時間を誘導するために、(図3の)推定された心拍数と関数108を使用する。プロセッサはついで、推定された活動期持続時間を、推定された周期期間から差し引くことによって、受動期持続時間を計算する。
プロセッサ40はついで、活動及び受動期にわたった、別個の時間調節を実施することによって、クリップの提示時間を決定する。典型的に、プロセッサ40が、活動及び受動期それぞれに対して、線形時間調節を実施する。あるいは、しかしながら、プロセッサが、例えば非線形時間整経のような、任意の他の好適な時間整経を実施してよい。例えば、プロセッサ40が、フレームの提示時間が、予想されたレンダリング事例232と整合するように、時間整経を実施可能である。推定された心拍数が、THR_HR 112を超過する時に、周期の受動期が消えることに留意のこと。図5A〜5Dにおいて、本発明者らは、THR_HR 112に対する心拍数値を考慮する、数回の整経を記述する。
幾つかの実施形態において、プロセッサ40が、その決定された提示時間が、現レンダリング232に最も近い、重ね合わせられたクリップフレームで、更新された3Dマップ44をレンダリングする。代替実施形態において、プロセッサ40が、3Dマップ44から別に、表示42(又はシステム20の幾つかの他の表示)上にクリップフレームを提示する。
蛍光透視クリップフレームの時間整経
以上で記述したように、第二同期ステージは、現心周期と整列すべき現在整合したクリップ周期内で発生する、クリップフレームを時間整経することを含む。全心周期にわたる線形時間調節を使用する従来の時間整経法とは対照的に、開示された技術は、以上図3にて記述したような心拍数への、活性期の持続時間の非線形依存性に基づいた、非線形時間整経を使用する。
図5A〜5Dは、単一の心周期内の、蛍光透視クリップフレームの時間整経の4つの例を示しているダイアグラムである。本図において、CLIP_HRは、蛍光透視クリップが記録された時間での、心拍数を示している。MAP_HR1とMAP_HR2は、(例えば心臓マッピング手順の間の)、現心拍数の2つの値を示している。本例において、MAP_HR2は、MAP_HR1よりも低い。
図において、CLIP_ACT及びCLIP_PSVは、クリップ周期の対応する活動及び受動期を示している。同様に、MAP_ACT1、MAP_PSV1、MAC_ACT2及びMAC_PSV2は、(それぞれ、MAP_HR1及びMAP_HR2を参照している)現心臓マッピングの間の、活動及び受動期を示している。
図にて見られるように、関数108にしたがって、100BPMの心拍数より下で、活動期の持続時間が心拍数に依存しない(又は弱く依存する)ので、図5Aにおける活動期CLIP_ACT、MAP_ACT1及びMAP_ACT2、及び図5CにおけるMAP_ACT1がすべて、100BPMでの活動期の持続時間と同様の持続時間を有する。さらに、図5B及び5Dにおいて、心拍数は100BPMを越え、これは、受動期を消し、活動期を短くする。
プロセッサ40が、MA_ACT1又はMAP_ACT2期の持続時間を整合するために、CLIP_ACT期の間に発生する、クリップフレームの提示時間を決定する。同様に、プロセッサ40は、MAP_PSV1又はMAP_PSV2期の持続時間をカバーするために、CLIP_PSV期の間に発生するクリップフレームの提示時間を別個に決定する。
図5Cにおいて、CLIP_HR<100BPM<MAP_HR1と、期MAP_PSV1が欠けていることを留意のこと。同様に、図5Dにおいて、MAP_HR1<100BPM<CLIP_HRと、期MAP_PSVが欠けていることを留意のこと。これらの2つの場合において、プロセッサ40は、対応する活動期のクリップフレームのみを整経する。
図6は、本発明の一実施形態にしたがった、蛍光透視クリップをEPマップに同期するための方法を略図的に説明しているフローチャートである。本方法は、注釈受信段階300にて、心臓及びクリップ注釈(例えば、周期マッチングユニット220によって産出される注釈236及び240)を受信しているプロセッサ40によって開始される。受信された注釈は、現及び先の同期された心及びクリップ周期の境界を定義する。推定段階304にて、プロセッサ40が、先の心及びクリップ周期の持続時間の回帰性を計算することによって、心及びクリップ心拍数を推定する。現周期の持続時間は、典型的にはリアルタイムで入手不可能であるので、本推定が必要である。
例えば、同期がオフラインで実施される代替実施形態において、プロセッサ40は段階304をスキップし、現周期持続時間を使用する。
期持続時間推定段階308にて、プロセッサ40が、現心及びクリップ周期の活動期持続時間を計算する。プロセッサ40が、例えば、段階304からの推定された心拍数を、非線形関数108内に入力することによって、活動期持続時間を計算する。さらに、段階308にて、プロセッサ40が、推定された活動期持続時間を対応する周期期間から差し引くことによって、受動心及びクリップ期それぞれの持続時間を計算する。段階304にて先の周期持続時間を用いて推定される、活動期の持続時間は、(次の注釈によってマークされる)現周期の実際の持続時間よりも下に制限されるべきである。
時間整経段階312にて、プロセッサ40が、現心周期の持続時間にそって、現クリップ周期の間のクリップフレームの提示時間を調節する。プロセッサが、例えば、以上図5A〜5Dにて記述される方法を用いて、非線形時間整経を実施する。
整経段階316にて、プロセッサ40が、その際プロセッサが3Dマップ44を更新するレンダリング事象の発生を待つ。表示段階320にて、プロセッサ40が、更新された3Dマップ44と、その提示時間が現レンダリング時間に最も近い、クリップフレームを表示する。幾つかの実施形態において、プロセッサ40は、3Dマップ上に重ね合わせられたクリップフレームを表示する。
周期終了段階324にて、プロセッサ40が、心周期が終わったかどうかを確認する。プロセッサ40は、例えば、その時間が最後のレンダリング事象の時より遅い心臓注釈を検出することによって、心周期が終了することを検出可能である。段階324にて、心周期がまだ終わっていない場合、プロセッサが、続くレンダリング事象を待つために、段階316に戻る。さもなければ、プロセッサ40が、周期遷移段階328にて、次のクリップ及び心周期に遷移する。ついで、プロセッサ40が、続く心及びクリップ注釈を受信するために、段階300に戻る。幾つかの実施形態において、レンダリング事象が、図3にて記述した処理再生の開始を誘因する。
図7は、本発明の一実施形態にしたがった、3つの異なる心拍数にて、心臓の左心室の容量の、特徴的な動特性を描写しているグラフである。図の上部分は、以上の図2と同様に、60BPMにて、心室容量の動態を描写している。上部分にて、心周期は、活動期と受動期両方を含む。
以上図2で記述するように、約100BPMの閾値速度に向かって、心拍数が増加するにつれて、受動期の持続時間が徐々に短くなる。図7の中間部は、約100BPMでの心室容量を描写している。図にて見られるように、100BPMにて、受動期が消え、心周期は活動期のみを含む。
図7の下部分にて、心拍数は120BPMまでさらに増加する。この場合、心周期はまた、その持続時間が、心拍数と比較してより短く、100BPMまでである活動期のみを含む。
図7にて示した心室容量の動態は例示的であり、他の動態もまた可能である。例えば、他の対象の心臓において、受動期が消える閾値心拍数が、100BPM以外の心拍数にて発生してよい。
以上で記述する開示された技術は例示的であり、他の好適な技術もまた使用可能である。例えば、以上図6の方法において、先の心周期の持続時間に基づいて心拍数を推定することの代わりに、推定は、多数の先の周期にわたる平均持続時間に基づいてよい。
開示された技術において、先に記録されたクリップの画像シーケンスを、他の画像シーケンスを生成するリアルタイム心臓撮像手順の間の、心拍数との同期にて再生する。代替実施形態において、これらの2つの画像シーケンスのそれぞれが先に記録可能である。幾つかの実施形態において、他の画像シーケンスに相当している心拍数との同期において、1つの画像シーケンスを再生する代わりに、両方の画像シーケンスを、共通の参照速度として機能する、所定の第三心拍数との同期にて再生する。
さらに加えて、又はあるいは、開示された技術を、多数の先に記録されたクリップのプレイバックを、現心拍数に対して、又は所定の共通の心拍数に対して同時に同期するために、拡げることが可能である。
開示された実施形態において、心周期を、2つ又は3つ以上の期(例えば活動及び受動期)に分けることが、周期の間の心室容量の動特性に相当する。あるいは、又は加えて、心周期を、心房容量の動特性に基づいて、2つ又は3つ以上の期に分けることが出来る。言い換えれば、開示された技術を、任意の心腔の動的容量に対して同期するために使用可能である。
開示された技術において、同期された蛍光透視クリップを、表示器具上に提示する一方で、代替実施形態において、同期されたクリップと、おそらく3Dマップも、例えばメモリ器具又はデータベースのような、出力器具に送信する。
本明細書で記述された実施形態は、主に、EP手順におけるX線透視法の適用に取り組んでいるが、本明細書で記述した方法及びシステムはまた、他の心臓診断又は介入手順において、又は種々の2D又は3D心エコー法、磁気共鳴(MR)、又はストレス心エコー法(例えば超音波ベース)のような、異なる撮像モダリティの他の臨床設定にてのような、他の適用にて使用可能である。
上述した実施形態は一例として記載されたものであり、本発明は、本明細書において上に具体的に図示及び説明した内容に限定されないことが明らかとなろう。むしろ本発明の範囲には、上記に述べた様々な特徴の組み合わせ及び下位の組み合わせ、並びに上記の説明を読むことによって当業者には想到されるであろう、先行技術において開示されていない変形例及び改変例も含まれるものである。参照により本特許出願に組み込まれた文書は、これらの組み込まれた文書内のどんな用語でも、本明細書で明示的又は暗黙的に行われる定義と相反するように定義される場合を除き、本出願の一体部分と見なされるべきであり、本明細書における定義のみが検討されるべきである。
〔実施の態様〕
(1) 方法であって、
心周期内の所定の期の期間と、対応する心拍数との間の非線形依存性を持続することと、
患者の心臓のそれぞれの異なる第一及び第二心拍数にて獲得した、前記心臓の動的活性の第一及び第二画像シーケンスを受信することと、
前記第一及び第二心拍数、及び所定の共通の心拍数への前記非線形依存性に基づいて、前記第一及び第二画像シーケンス間を同期化することと、
前記共通の心拍数と同期して、前記第一及び第二画像シーケンスを再生することと、を含む方法。
(2) 前記共通の心拍数が前記第二心拍数と等しく、前記第一及び第二画像シーケンス間を同期化することに、前記第二画像シーケンスを前記第一画像シーケンスに対して同期化することが含まれ、前記第一及び第二画像シーケンスを再生することに、前記第一心拍数と同期して、前記第二画像シーケンスを再生することが含まれる、実施態様1に記載の方法。
(3) 前記所定の期に、活動期が含まれ、前記活動期では、心腔の容量が急速に変化し、前記非線形依存性を持続することに、前記活動期の期間を、前記対応する心拍数に関連づける、非線形関数を持続することが含まれる、実施態様1に記載の方法。
(4) 前記心周期がさらに、前記心腔の容量がゆっくりと変化する、受動期(passive phase)を含み、前記第一及び第二画像シーケンス間を同期化することに、前記非線形関数に基づいて、前記活動期及び受動期それぞれにおける、前記第二画像シーケンスの画像の提示時間を測定することが含まれる、実施態様3に記載の方法。
(5) 前記非線形関数を持続することに、2つ又は3つ以上の線形部分を含む、区分的線形関数を持続することが含まれる、実施態様1に記載の方法。
(6) 前記区分的線形関数に、閾値心拍数の上及び下の、それぞれの心拍数に相当する第一及び第二線形部分が含まれる、実施態様5に記載の方法。
(7) 前記第二画像シーケンスを再生することに、測定された提示時間が、前記第一シーケンスの画像のうちレンダリングされた画像のレンダリング時間に適合する、前記第二画像シーケンスの画像を選択することが含まれる、実施態様4に記載の方法。
(8) 前記第二画像シーケンスを再生することに、前記第一画像シーケンスの前記レンダリングされた画像上に重ね合わせられた前記第二画像シーケンスの選択された画像を表示することが含まれる、実施態様7に記載の方法。
(9) 前記第一画像シーケンスを受信することに、前記心臓の動的リアルタイムイメージングを受信することが含まれる、実施態様1に記載の方法。
(10) 前記第二画像シーケンスを受信することに、先に記録された蛍光透視クリップを受信することが含まれる、実施態様1に記載の方法。
(11) 前記心周期に、多数の亜期(sub-phases)が含まれ、前記亜期が、それぞれの亜期の期間と、対応する心拍数との間をそれぞれが関連づける、それぞれの多数の非線形依存性に対応し、前記第一及び第二画像シーケンス間を同期化することに、前記多数の非線形依存性、前記第一及び第二心拍数、及び前記共通の心拍数に基づいて、前記第一及び第二画像シーケンスの画像の提示時間を測定することが含まれる、実施態様1に記載の方法。
(12) 医療処置を行うための装置であって、
出力器具と、
心周期内の所定の期の期間と、対応する心拍数との間の非線形依存性を持続するため、患者の心臓のそれぞれの異なる第一及び第二心拍数にて獲得された、前記心臓の動的活性の第一及び第二画像シーケンスを受信するため、前記非線形依存性、前記第一及び第二心拍数、及び所定の共通の心拍数に基づいて、前記第一及び第二画像シーケンス間を同期化するため、及び前記出力器具上で、前記共通の心拍数に対して同期化された前記第一及び第二画像シーケンスを再生するために設定される、プロセッサと、を含む装置。
(13) 前記共通の心拍数が、前記第二心拍数と等しく、前記プロセッサが、前記第二画像シーケンスを前記第一画像シーケンスに対して同期化することによって前記第一及び第二画像シーケンス間を同期化することと、前記第一心拍数と同期して、前記第二画像シーケンスを再生することと、のために設定される、実施態様12に記載の装置。
(14) 前記所定の期が活動期を含み、前記活動期では、心腔の容量が急速に変化し、前記プロセッサが、前記活動期の期間を前記対応する心拍数に関連させる非線形関数を持続するために設定される、実施態様12に記載の装置。
(15) 前記心周期がさらに、前記心腔の容量がゆっくり変化する受動期を含み、前記プロセッサが、前記非線形関数に基づいて、前記活動期及び受動期のそれぞれにおける、前記第二画像シーケンスの画像の提示時間を測定することによって、前記第一及び第二画像シーケンス間を同期化するために設定される、実施態様14に記載の装置。
(16) 前記プロセッサが、2つ又は3つ以上の線形部分を含む区分的線形関数を持続するために設定される、実施態様12に記載の装置。
(17) 前記区分的線形関数が、閾値心拍数の上及び下の、それぞれの心拍数に相当している第一及び第二線形部分を含む、実施態様16に記載の装置。
(18) 前記プロセッサが、測定された提示時間が、前記第一画像シーケンスの画像のうちレンダリングされた画像のレンダリング時間に適合する、前記第二画像シーケンスの画像を選択することによって、前記第二画像シーケンスを再生するために設定される、実施態様15に記載の装置。
(19) 前記プロセッサが、前記第一画像シーケンスの前記レンダリングされた画像上に重ね合わせられた前記第二画像シーケンスの選択された画像を表示することによって、前記第二画像シーケンスを再生するために設定される、実施態様18に記載の装置。
(20) 前記プロセッサが、前記心臓の動的リアルタイムイメージングを受信することによって、前記第一画像シーケンスを受信するために設定される、実施態様12に記載の装置。
(21) 前記プロセッサが、先に記録された蛍光透視クリップを受信することによって、前記第二画像シーケンスを受信するために設定される、実施態様12に記載の装置。
(22) 前記心周期が、多数の亜期を含み、前記亜期が、それぞれの亜期の期間と、対応する心拍数との間をそれぞれが関連づける、それぞれの多数の非線形依存性に対応し、前記プロセッサが、前記多数の非線形依存性、前記第一及び第二心拍数、及び前記共通の心拍数に基づいて、前記第一及び第二画像シーケンスの画像の提示時間を測定することによって、前記第一及び第二画像シーケンス間を同期化するために設定される、実施態様12に記載の装置。

Claims (22)

  1. 方法であって、
    心周期内の所定の期の期間と、対応する心拍数との間の非線形依存性を持続することと、
    患者の心臓のそれぞれの異なる第一及び第二心拍数にて獲得した、前記心臓の動的活性の第一及び第二画像シーケンスを受信することと、
    前記第一及び第二心拍数、及び所定の共通の心拍数への前記非線形依存性に基づいて、前記第一及び第二画像シーケンス間を同期化することと、
    前記共通の心拍数と同期して、前記第一及び第二画像シーケンスを再生することと、を含む方法。
  2. 前記共通の心拍数が前記第二心拍数と等しく、前記第一及び第二画像シーケンス間を同期化することに、前記第二画像シーケンスを前記第一画像シーケンスに対して同期化することが含まれ、前記第一及び第二画像シーケンスを再生することに、前記第一心拍数と同期して、前記第二画像シーケンスを再生することが含まれる、請求項1に記載の方法。
  3. 前記所定の期に、活動期が含まれ、前記活動期では、心腔の容量が急速に変化し、前記非線形依存性を持続することに、前記活動期の期間を、前記対応する心拍数に関連づける、非線形関数を持続することが含まれる、請求項1に記載の方法。
  4. 前記心周期がさらに、前記心腔の容量がゆっくりと変化する、受動期を含み、前記第一及び第二画像シーケンス間を同期化することに、前記非線形関数に基づいて、前記活動期及び受動期それぞれにおける、前記第二画像シーケンスの画像の提示時間を測定することが含まれる、請求項3に記載の方法。
  5. 前記非線形関数を持続することに、2つ又は3つ以上の線形部分を含む、区分的線形関数を持続することが含まれる、請求項1に記載の方法。
  6. 前記区分的線形関数に、閾値心拍数の上及び下の、それぞれの心拍数に相当する第一及び第二線形部分が含まれる、請求項5に記載の方法。
  7. 前記第二画像シーケンスを再生することに、測定された提示時間が、前記第一シーケンスの画像のうちレンダリングされた画像のレンダリング時間に適合する、前記第二画像シーケンスの画像を選択することが含まれる、請求項4に記載の方法。
  8. 前記第二画像シーケンスを再生することに、前記第一画像シーケンスの前記レンダリングされた画像上に重ね合わせられた前記第二画像シーケンスの選択された画像を表示することが含まれる、請求項7に記載の方法。
  9. 前記第一画像シーケンスを受信することに、前記心臓の動的リアルタイムイメージングを受信することが含まれる、請求項1に記載の方法。
  10. 前記第二画像シーケンスを受信することに、先に記録された蛍光透視クリップを受信することが含まれる、請求項1に記載の方法。
  11. 前記心周期に、多数の亜期が含まれ、前記亜期が、それぞれの亜期の期間と、対応する心拍数との間をそれぞれが関連づける、それぞれの多数の非線形依存性に対応し、前記第一及び第二画像シーケンス間を同期化することに、前記多数の非線形依存性、前記第一及び第二心拍数、及び前記共通の心拍数に基づいて、前記第一及び第二画像シーケンスの画像の提示時間を測定することが含まれる、請求項1に記載の方法。
  12. 医療処置を行うための装置であって、
    出力器具と、
    心周期内の所定の期の期間と、対応する心拍数との間の非線形依存性を持続するため、患者の心臓のそれぞれの異なる第一及び第二心拍数にて獲得された、前記心臓の動的活性の第一及び第二画像シーケンスを受信するため、前記非線形依存性、前記第一及び第二心拍数、及び所定の共通の心拍数に基づいて、前記第一及び第二画像シーケンス間を同期化するため、及び前記出力器具上で、前記共通の心拍数に対して同期化された前記第一及び第二画像シーケンスを再生するために設定される、プロセッサと、を含む装置。
  13. 前記共通の心拍数が、前記第二心拍数と等しく、前記プロセッサが、前記第二画像シーケンスを前記第一画像シーケンスに対して同期化することによって前記第一及び第二画像シーケンス間を同期化することと、前記第一心拍数と同期して、前記第二画像シーケンスを再生することと、のために設定される、請求項12に記載の装置。
  14. 前記所定の期が活動期を含み、前記活動期では、心腔の容量が急速に変化し、前記プロセッサが、前記活動期の期間を前記対応する心拍数に関連させる非線形関数を持続するために設定される、請求項12に記載の装置。
  15. 前記心周期がさらに、前記心腔の容量がゆっくり変化する受動期を含み、前記プロセッサが、前記非線形関数に基づいて、前記活動期及び受動期のそれぞれにおける、前記第二画像シーケンスの画像の提示時間を測定することによって、前記第一及び第二画像シーケンス間を同期化するために設定される、請求項14に記載の装置。
  16. 前記プロセッサが、2つ又は3つ以上の線形部分を含む区分的線形関数を持続するために設定される、請求項12に記載の装置。
  17. 前記区分的線形関数が、閾値心拍数の上及び下の、それぞれの心拍数に相当している第一及び第二線形部分を含む、請求項16に記載の装置。
  18. 前記プロセッサが、測定された提示時間が、前記第一画像シーケンスの画像のうちレンダリングされた画像のレンダリング時間に適合する、前記第二画像シーケンスの画像を選択することによって、前記第二画像シーケンスを再生するために設定される、請求項15に記載の装置。
  19. 前記プロセッサが、前記第一画像シーケンスの前記レンダリングされた画像上に重ね合わせられた前記第二画像シーケンスの選択された画像を表示することによって、前記第二画像シーケンスを再生するために設定される、請求項18に記載の装置。
  20. 前記プロセッサが、前記心臓の動的リアルタイムイメージングを受信することによって、前記第一画像シーケンスを受信するために設定される、請求項12に記載の装置。
  21. 前記プロセッサが、先に記録された蛍光透視クリップを受信することによって、前記第二画像シーケンスを受信するために設定される、請求項12に記載の装置。
  22. 前記心周期が、多数の亜期を含み、前記亜期が、それぞれの亜期の期間と、対応する心拍数との間をそれぞれが関連づける、それぞれの多数の非線形依存性に対応し、前記プロセッサが、前記多数の非線形依存性、前記第一及び第二心拍数、及び前記共通の心拍数に基づいて、前記第一及び第二画像シーケンスの画像の提示時間を測定することによって、前記第一及び第二画像シーケンス間を同期化するために設定される、請求項12に記載の装置。
JP2015022082A 2014-02-07 2015-02-06 異なる心拍数にて獲得された心臓の画像シーケンス間を同期すること Active JP6587808B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/174,933 2014-02-07
US14/174,933 US9320474B2 (en) 2014-02-07 2014-02-07 Synchronizing between image sequences of the heart acquired at different heartbeat rates

Publications (2)

Publication Number Publication Date
JP2015147048A true JP2015147048A (ja) 2015-08-20
JP6587808B2 JP6587808B2 (ja) 2019-10-09

Family

ID=52484328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015022082A Active JP6587808B2 (ja) 2014-02-07 2015-02-06 異なる心拍数にて獲得された心臓の画像シーケンス間を同期すること

Country Status (8)

Country Link
US (1) US9320474B2 (ja)
EP (1) EP2905951B1 (ja)
JP (1) JP6587808B2 (ja)
CN (1) CN104825130B (ja)
AU (1) AU2015200575B2 (ja)
CA (1) CA2881230C (ja)
ES (1) ES2808056T3 (ja)
IL (1) IL236889B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018015263A (ja) * 2016-07-28 2018-02-01 株式会社日立製作所 X線画像診断装置、画像処理装置、及び録画再生方法
JPWO2021024314A1 (ja) * 2019-08-02 2021-02-11

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US9672607B2 (en) * 2015-10-08 2017-06-06 Biosense Webster (Israel) Ltd. Identification and registration of multi-marker jig
US20190053856A1 (en) * 2016-01-07 2019-02-21 Universitat Bern Method and system for pose controlled ablation
US20180353159A1 (en) * 2017-06-12 2018-12-13 Xuan Zhong Ni Calibration of two synchronized motion pictures from magnetocardiography and echocardiography
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11694401B2 (en) * 2020-11-25 2023-07-04 Biosense Webster (Israel) Ltd. Reconstruction of registered geometry based on constant fluoroscopic snapshot
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030045796A1 (en) * 2001-08-31 2003-03-06 Friedman Zvi M. Ultrasonic monitoring system and method
JP2004073850A (ja) * 2002-06-18 2004-03-11 Toshiba Medical System Co Ltd 超音波診断装置、医用画像装置、データ処理装置、データ処理方法、及びソフトウェア記録媒体
JP2005177105A (ja) * 2003-12-19 2005-07-07 Hitachi Medical Corp 超音波診断装置
JP2012000135A (ja) * 2010-06-14 2012-01-05 Hitachi Medical Corp マルチモダリティ動画像診断装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389310B1 (en) 1999-03-02 2002-05-14 Georges Demonceau Method and apparatus for analyzing heart function using 4D ECG synchronized heart cavity tomoscintigraphy
US6447450B1 (en) * 1999-11-02 2002-09-10 Ge Medical Systems Global Technology Company, Llc ECG gated ultrasonic image compounding
US6558325B1 (en) * 2000-07-13 2003-05-06 Acuson Corporation Medical diagnostic ultrasonic imaging method and system for displaying multi-phase, multi-frame images
US6438196B1 (en) 2001-06-28 2002-08-20 General Electric Company EKG driven CT image reconstruction for cardiac imaging
US7477928B2 (en) 2002-05-17 2009-01-13 Ge Medical Systems Global Technology Company, Llc Method and system for associating an EKG waveform with a CT image
DE102004021965B4 (de) 2004-05-04 2009-05-07 Siemens Ag Verfahren zur Erstellung von tomographischen Aufnahmen eines schlagenden Herzens
US8255238B2 (en) * 2005-01-03 2012-08-28 Airstrip Ip Holdings, Llc System and method for real time viewing of critical patient data on mobile devices
WO2006077534A1 (en) * 2005-01-19 2006-07-27 Philips Intellectual Property & Standard Gmbh Image processing system and method for alignment of images
US8909321B2 (en) 2007-12-07 2014-12-09 Kabushiki Kaisha Toshiba Diagnostic imaging apparatus, magnetic resonance imaging apparatus, and X-ray CT apparatus
EP2411964A1 (en) * 2009-03-27 2012-02-01 Koninklijke Philips Electronics N.V. Synchronization of two image sequences of a periodically moving object
US20130165781A1 (en) * 2010-04-01 2013-06-27 Koninklijke Philips Electronics N.V. Integrated display of ultrasound images and ecg data
WO2011121493A1 (en) * 2010-04-01 2011-10-06 Koninklijke Philips Electronics N.V. Bullseye display for ecg data
BR112012027270A2 (pt) * 2010-04-28 2017-07-18 Koninl Philips Electronics Nv sistema de ecg diagnóstico
US8971493B2 (en) * 2010-09-08 2015-03-03 Siemens Medical Solutions Usa, Inc. System for image scanning and acquisition with low-dose radiation
JP5685313B2 (ja) 2012-06-08 2015-03-18 ▲華▼▲為▼終端有限公司Huawei Device Co., Ltd. ハートビート動作を同期させる方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030045796A1 (en) * 2001-08-31 2003-03-06 Friedman Zvi M. Ultrasonic monitoring system and method
JP2004073850A (ja) * 2002-06-18 2004-03-11 Toshiba Medical System Co Ltd 超音波診断装置、医用画像装置、データ処理装置、データ処理方法、及びソフトウェア記録媒体
JP2005177105A (ja) * 2003-12-19 2005-07-07 Hitachi Medical Corp 超音波診断装置
JP2012000135A (ja) * 2010-06-14 2012-01-05 Hitachi Medical Corp マルチモダリティ動画像診断装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018015263A (ja) * 2016-07-28 2018-02-01 株式会社日立製作所 X線画像診断装置、画像処理装置、及び録画再生方法
JPWO2021024314A1 (ja) * 2019-08-02 2021-02-11
WO2021024314A1 (ja) * 2019-08-02 2021-02-11 株式会社島津製作所 治療支援装置および治療支援方法
JP7306461B2 (ja) 2019-08-02 2023-07-11 株式会社島津製作所 治療支援装置および治療支援方法

Also Published As

Publication number Publication date
CN104825130A (zh) 2015-08-12
JP6587808B2 (ja) 2019-10-09
CA2881230C (en) 2022-07-26
US9320474B2 (en) 2016-04-26
AU2015200575A1 (en) 2015-08-27
IL236889B (en) 2018-11-29
CN104825130B (zh) 2019-07-23
EP2905951A2 (en) 2015-08-12
US20150223762A1 (en) 2015-08-13
ES2808056T3 (es) 2021-02-25
EP2905951B1 (en) 2020-05-27
EP2905951A3 (en) 2016-04-27
AU2015200575B2 (en) 2019-07-18
CA2881230A1 (en) 2015-08-07

Similar Documents

Publication Publication Date Title
JP6587808B2 (ja) 異なる心拍数にて獲得された心臓の画像シーケンス間を同期すること
CN108471974B (zh) 主动脉瓣状态的发信号示意
RU2616987C2 (ru) Система и способ медицинской визуализации для предоставления представления изображения, поддерживающего точное направление хирургического инструмента при хирургической операции на сосудах
US20070055141A1 (en) Apparatus and method for navigating a catheter
US20050197559A1 (en) Method for endoluminal imaging with movement correction
EP1554697A2 (en) Image processing unit and method of associating stored images with current images
JP2001170027A (ja) 医療器具の位置を決定する方法及び装置
CN101107628A (zh) 用于图像对准的图像处理系统和方法
US11308668B2 (en) Interpolation of dynamic three-dimensional maps
KR102082270B1 (ko) 혈관 조영 영상 및 x선 투시 영상의 정합 장치
US10799203B2 (en) Method for acquiring x-ray data, x-ray device, computer program and electronically readable storage medium
JP2005278919A (ja) 磁気共鳴イメージング装置
JP2016007540A (ja) Mriスライスのリアルタイム生成
JP2016147058A (ja) 登録されたカテーテル画像を用いるインピーダンスに基づく位置検出システムの訓練
CN115517700A (zh) 使用4d超声导管估计组织上的应变
JP5886019B2 (ja) 第一のデータセットを第二のデータセットと同期させる方法、処理ユニット及び、システム
Kühl Left ventricular function

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190911

R150 Certificate of patent or registration of utility model

Ref document number: 6587808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250