JP2005529701A - 撮像装置の撮像パターンのコンピュータで生成した表示 - Google Patents

撮像装置の撮像パターンのコンピュータで生成した表示 Download PDF

Info

Publication number
JP2005529701A
JP2005529701A JP2004513994A JP2004513994A JP2005529701A JP 2005529701 A JP2005529701 A JP 2005529701A JP 2004513994 A JP2004513994 A JP 2004513994A JP 2004513994 A JP2004513994 A JP 2004513994A JP 2005529701 A JP2005529701 A JP 2005529701A
Authority
JP
Japan
Prior art keywords
imaging
pattern
display
image
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004513994A
Other languages
English (en)
Inventor
ウィリス,エヌ.,パーカー
マギー,デビット,エル.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boston Scientific Ltd Barbados
Original Assignee
Boston Scientific Ltd Barbados
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boston Scientific Ltd Barbados filed Critical Boston Scientific Ltd Barbados
Publication of JP2005529701A publication Critical patent/JP2005529701A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/063Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using impedance measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • A61B5/283Invasive
    • A61B5/287Holders for multiple electrodes, e.g. electrode catheters for electrophysiological study [EPS]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/92Computer assisted medical diagnostics
    • Y10S128/922Computer assisted medical diagnostics including image analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本発明は、身体の内側あるいは外側の撮像装置の位置を探知し、身体の全体表示内に、前記撮像装置に関連する撮像パターンのグラフィカル表示を表示するシステムを提供する。撮像パターンは、撮像装置の「視野」を特徴づけ、身体の全体表示内のグラフィカル撮像パターンが、撮像装置によって撮像されている身体の部位を身体の全体表示に関連させて視覚的に表示する。

Description

発明の属する技術分野
本発明は、一般的に撮像装置に関するものであり、特に、体組織の撮像システムに関する。
発明の背景
診断および治療計画を立てる目的で、撮像技術は患者の身体内部を見るための医療処置に一般的に使用されている。ある撮像技術では、先端に搭載された一又はそれ以上の超音波トランスデューサを具える超音波装置が、患者の体内に、例えば血管を介して挿入される。身体の内部画像を得るために、超音波トランスデューサは超音波エネルギーのパルスを体の中に向けて発振する。超音波エネルギーの一部が、身体の内部で反射して、トランスデューサに戻ってくる。トランスデューサに衝突するこの反射された超音波エネルギー(エコー)が、電気信号を生成し、この信号が身体の内部画像を作るのに使用される。周囲の組織の平面ビューあるいは扇形面ビューを提供するために、超音波装置は典型的に一あるいはそれ以上の回転トランスデューサか、あるいは、超音波装置の周辺あるいは軸に沿って機械的に配置されたフェーズドアレイトランスデューサのいずれかを有する。
医師が、身体の関心のある部位に医療装置(例えば、撮像装置)を操作して持っていくのを助力するために、いくつかの案内システムが開発されてきた。ある案内システムでは、装置の蛍光透視画像(あるいは、少なくともその装置の放射線不透過性帯域)と、体内の周辺の解剖学的なランドマーク(造影剤を使用する場合もあるし、しない場合もある)が撮像されて、医師に表示される。蛍光透視画像は、医師に、体内の装置の位置を確認させ、関心のある部位に装置を操作して持っていけるようにする。解剖学的マッピングを使用した他の案内システムでは、例えば心室など、体組織のコンピュータで生成した3D表示内に、装置あるいは装置の一部のグラフィック表示が表示される。体組織の3D表示は、体組織上の複数ポイントにマッピング装置を移動させて3次元座標システムに体組織の内側表面のジオメトリ及び/又は電気的活性をマッピングすることによって生成される。体組織内で案内されるべきこの装置の位置は、装置に一又はそれ以上の位置センサを配置して、3次元座標システム内でこれらのセンサの位置を追跡することによって決定される。このタイプの案内システムの一例は、現在はボストンサイエンティフィックコーポレーション(Boston Scientific Corporation)の一部である、カーディアックパスウエイコーポレーション(Cardiac Pathway Corporation)によって商業的に開発されたリアルタイムポジションマネージメント(RPM: Realtime Position Management:商標)追跡システムである。RPMシステムは、現在、心臓不整脈の治療において心臓の解剖学的構造を規定し、心臓の電気的活性をマッピングし、焼灼カテーテル(ablation catheter)を患者の心臓の治療部位に誘導するのに使用されている。
体内の関心のある部位に装置を誘導する現在の案内技術の有用性は証明されてはいるが、所定の瞬間に撮像装置で画像化される特定の体組織の場所をつきとめる能力には限界がある。この結果、医師たちにとって、現在の部位特定技術を用い、自分が身体のどの部分を撮像装置で撮像しているのかを判断すること、及び、患者の解剖学的構造上における撮像装置の位置を確定することは困難である。
発明の概要
本発明は、身体又はその一部の広範囲表示の中に、局部撮像装置に関連する撮像パターンのグラフィック表示を表示するシステムを提供する。
本発明の一の特徴によれば、体組織の局部画像が、それに関連した撮像パターンを有する局部撮像装置を用いて生成される。この局部画像は、様々な方法で生成することができる。例えば、局部画像は、超音波あるいは光学カテーテルを用いて体内で生成することもできるし、外付け超音波撮像装置を用いて体外で生成することもできる。局部画像の生成において、撮像装置は、たとえば、光学レンズ、単一の回転超音波トランスデューサ、あるいは超音波トランスデューサアレイなどの、一またはそれ以上の撮像装置を有していても良い。このシステムは、更に、局部画像を処理し生成する局部画像制御/処理回路と、医師に局部画像を表示するディスプレイを具えていてもよい。いずれにせよ、本発明は、局部画像を生成するための特定の方法や、手段に制限されるものではない。重要なことは、この局部画像で医師が体組織内の関心のある領域を厳密に診査できるということである。
更なる特徴によれば、本発明の一実施例は、体組織の全体的な表示を生成するシステムである。局部画像と同様に、身体の全体表示は、様々な方法で生成することができる。例えば、全体的あるいは部分表示は、体組織をグラフィカルに再構築することによって、あるいは、例えば超音波、MRI、蛍光透視法などの標準的な撮像様式を用いて、生成することができる。本発明は、全体表示を生成する特定の方法あるいは手段に限定されるものではない。重要なことは、全体表示が局部画像に対する空間的な背景を提供するものであることである。
本発明の実施例は、さらに、撮像パターンのグラフィカルな画像を生成するためのシステムを具える。撮像エレメントの取り合わせに応じて、撮像パターンは、例えば円錐形状あるいはセクタ形状など、さまざまな形を取る。特定の撮像装置の撮像パターンは、システム内に予め格納するようにするか、あるいは、医師が登録するようにしても良い。
本発明の実施例は、更に、グラフィカルな撮像パターンと、全体表示とを具える複合画像を生成するシステムを具える。複合画像内のグラフィカルな撮像パターンは、撮像装置の撮像パターンと、撮像装置で撮像されている身体の部分とを身体の全体表示に関連させて視覚的に表示するものである。グラフィカル撮像パターンは、様々な方法で複合画像内に配置することができる。
例えば、撮像パターンの元となる撮像エレメントの位置は、例えば、一又はそれ以上の位置エレメントを撮像装置上に配置し、座標システム内の位置エレメントの決められた配置に基づいて撮像エレメントの配置を決定することによって、二次元あるいは三次元座標システム内において決定することができる。全体表示が標準的な撮像様式を用いて生成されているのであれば、全体表示は座標システム内に登録することが可能であり、これによって撮像エレメントの位置、すなわち、撮像パターンの元が、座標システム中の全体表示と整列する。全体表示がグラフィカルな再構築によって生成されている場合は、全体表示は、典型的には、撮像エレメントの位置が決定されたのと同じ座標システム内にすでに登録されるであろう。代替的に、撮像エレメントを座標システム内に配置するよりは、全体表示自体の中に位置エレメントを配置するようにしてもよい。例えば、撮像装置は、全体的な蛍光透視画像上で見られる放射線不透過性マーカを有することができる。
撮像パターンはまた、撮像エレメントの方向を決定することによって、複合画像内において方向付けをすることができる。これは、例えば、位置エレメントが方向付けに関するデータを提供しているのであれば、隣接する位置エレメントの方向を決定することによって、また、複数の位置エレメントの位置と、撮像装置の公知のジオメトリに基づいて撮像装置の方向を決定することによって、行われる。
局部画像及び複合画像は、医師による視覚化のために、別々のディスプレイに、あるいは同じディスプレイに表示することができる。
本発明の他の目的と特徴は、添付の図面に基づいて以下の説明を考慮することで明らかになる。
図面は、本発明の好ましい実施例のデザインおよび有用性を示すものであり、同じ構成要素には共通の符号が付されている。
図1は、体組織撮像システムの好ましい実施例の機能ブロック図である。 図2は、図1に示す体組織撮像システムで使用することができる、超音波ベースの局部撮像サブシステムの機能ブロック図である。 図3Aは、図2に示す超音波ベースの局部撮像サブシステムに使用することができる超音波撮像装置の断面図であり、ここでは、超音波カテーテルは単一の回転超音波トランスデューサを用いている。 図3Bは、図2に示す超音波ベースの局部撮像サブシステムに使用することができる超音波撮像装置の斜視図であり、ここでは、超音波カテーテルはフェーズドアレイ超音波トランスデューサを用いている。 図3Cは、図2に示す超音波ベースの局部撮像サブシステムに使用することができる外付け超音波撮像装置の平面図である。 図4は、図1に示す体組織撮像システムに使用することができる、光学ベースの局部撮像サブシステムの機能ブロック図である。 図5は、図1に示す体組織撮像システムに使用することができる、超音波ベースの位置追跡サブシステムの機能ブロック図である。 図6は、図1に示す体組織撮像システムに使用することができる、磁気ベースの位置追跡サブシステムの機能ブロック図である。 図7は、図1に示す体組織撮像システムに使用することができる、電圧ベースの位置追跡サブシステムの機能ブロック図である。 図8Aは、図3Aに示す超音波撮像装置の典型的な撮像パターンのグラフィカル表示を示す平面図である。 図8Bは、図3Bに示す超音波撮像装置の典型的な撮像パターンのグラフィカル表示を示す平面図である。 図8Cは、図3Cに示す超音波撮像装置の典型的な撮像パターンのグラフィカル表示を示す平面図である。 図8Dは、図4に示す光学撮像装置の典型的な撮像パターンのグラフィカル表示を示す平面図である。 図9は、図1の体組織撮像システムと共に使用することができるグラフィックベースの全体表示の機能ブロック図である。 図10は、患者の心臓をマッピングするに際して、図9に示すグラフィックベースの全体表示の使用を示す平面図である。 図11は、図1に示す体組織撮像システムに使用することができる電気活性マッピング装置の平面図である。 図12は、図1に示す体組織撮像システムにおいて用いられた複合画像生成器によって実行されるステップを示すフローチャートである。 図13Aは、図3Aに示す超音波撮像装置の心臓内での使用に基づいて、図12に示す複合画像生成器によって生成することができる一の複合画像を示す平面図である。 図13Bは、図3Bに示す超音波撮像装置の心臓内での使用に基づいて、図12に示す複合画像生成器によって生成することができる他の複合画像を示す平面図である。 図13Cは、図3Cに示す超音波撮像装置(心臓の外側に配置されているが、心臓の断面の撮像パターンを撮像する)の使用に基づいて図12に示す複合画像生成器によって生成することができる他の複合画像を示す平面図である。 図13Dは、図4に示す光学撮像装置の心臓内での使用に基づいて図12に示す複合画像生成器によって生成することができる他の複合画像を示す平面図である。 図14は、本発明によって構築された体組織撮像システムの他の好ましい実施例の機能ブロック図である。 図15Aは、図3Aに示す撮像装置で撮像された例証的な局部内部画像の平面図である。 図15Bは、図3Aに示す撮像装置に関連する円錐形の撮像パターンの平面図である。 図15Cは、図15Bに示す撮像パターンの表面にマッピングされた図15Aの局部内部画像の平面図である。 図16は、体組織撮像システムの他の好ましい実施例の機能ブロック図である。
実施例の詳細な説明
図1は、本発明の一実施例にかかる例証的な体組織撮像システム10の構成要素を示す。システム10は、体組織の局部領域を撮像し表示する局部撮像サブシステム15を具える。局部撮像サブシステム15は、周辺撮像装置20と、撮像装置20に連結された局部画像制御/処理回路35と、画像制御/処理回路35に連結された局部画像ディスプレイ40を具える。撮像装置20は、例えば、食道や血管を介して導入されうるカテーテルなど、体内に挿入して身体内部を撮像するように構成することができる。撮像装置20はまた、体外位置から身体内部を撮像する外付け撮像装置であっても良い。撮像装置20は、例えば、回転式超音波撮像器、フェーズドアレイ超音波撮像器、例えば光コヒーレンストモグラフィ(OCT:Optical Coherence Tomography)撮像器などの光学撮像器、他などの、撮像エレメント25を具える。撮像エレメント25は、身体内部を表示する、例えば電気的あるいは光学的信号などの信号を生成及び/又は検出して、これらの信号を画像制御/処理回路35に出力する。画像制御/処理回路35は、これらの信号を身体の局部内部画像に処理して、当該内部画像を画像ディスプレイ40に表示する。
システム10は、更に、撮像装置20を誘導して、撮像装置20のグラフィカル表示と、その撮像パターンを、身体の全体表示内に表示する誘導サブシステム45を具える。誘導サブシステム45は、3次元座標システム中で撮像装置20の位置及び/又は方向を追跡する位置追跡サブシステム55を具える。位置追跡サブシステム55は、更に、撮像装置20によって運ばれる一又はそれ以上の基準エレメント50と一又はそれ以上の位置エレメント30と、基準エレメント50と位置エレメント30に接続された位置追跡制御/処理回路52とを具える。以下に更に説明するように、基準エレメント50は3次元座標システムを構築し、その中で追跡制御/処理回路52が、撮像装置20上に配置されている位置エレメント30の位置を追跡する。
誘導サブシステム45は、また、追跡制御/処理回路52に接続された撮像エレメント位置探知器60を具える。撮像エレメント位置探知器60は、位置エレメント30の追跡位置と、位置エレメント30に対する撮像エレメント25の相対位置に基づいて、3次元座標システム中の撮像エレメント25の位置と、選択的に、方向に及び/又はジオメトリを決定する。
誘導サブシステム45は、更に、全体表示装置65を具える。全体表示装置65は体組織の全体表示を生成し、その中で撮像装置20が誘導され、及び/又は、装置20の撮像パターンが表示される。本明細書では、「表示」という用語は、体組織あるいは関連する構造の表示を医師に視覚化させるいかなる表示をも意味する。したがって、体組織の全体表示は、例えば、MRIや、超音波画像、蛍光透視画像、あるいは体組織のグラフィカル表示の形態を取りうる。好ましくは、体組織の全体表示は、基準エレメント50によって構築された3D座標システムと共に登録される。
誘導サブシステム34は、更に画像パターン生成器70を具える。この生成器は、撮像装置20に関連する撮像パターンのグラフィカル表示を生成する。誘導サブシステム34は、更に、複合画像生成器75を具える。この生成器は、追跡制御/処理回路52、位置エレメント位置探知器60、全体表示装置65、及び画像パターン生成器70に接続されている。複合画像生成器75は、体組織の全体表示内での画像装置20とそれに関連する画像パターンのグラフィカル表示を具える複合画像を生成する。複合画像生成器75は、撮像エレメント位置探知器60によって与えられる撮像装置20のジオメトリに基づいて、複合画像内に撮像装置20のグラフィカル表示を配置する。更に、複合画像生成器75は、撮像エレメント位置探知器60によって与えられる撮像エレメント25の決定された位置と方向に基づいて、複合画像内に関連する撮像パターンのグラフィカル表示を配置する。代替として、撮像装置20ではなく撮像パターンが、グラフィカルに表示される。複合画像内の撮像パターンのグラフィカル表示は、撮像装置20で撮像されている身体の部位を体組織の全体表示に関連させて視覚的に表示する。複合画像は、例えばビデオモニタなどの、複合画像ディスプレイ80上に表示される。
図1に示すエレメントは、実際に機能するものであり、これらの機能を実行する構成をどのようにも限定するものではない。例えば、単一の装置内にいくつかの機能ブロックが組み入れられたり、または、この機能ブロックの一つを複数の装置に組み入れたりすることができる。また、これらの機能は、ハードウエア、ソフトウエア、あるいはファームウエア中で実行することができる。
1.局部撮像サブシステム
図2は、本発明の一実施例にかかる超音波ベースの局部撮像サブシステム15(1)を示す図であり、撮像エレメント25が超音波撮像装置20(1)の形態を取り、撮像エレメント25が、一またはそれ以上の超音波トランスデューサ25(1)の形態を取っている。超音波トランスデューサ25(1)は、身体の断面画像(すなわち「スライス」)を得るために、駆動モータ(図示せず)に連結された駆動シャフトによって撮像装置20(1)内で回転してもよい。代替として、超音波トランスデューサ25(1)は、身体の面及び/又はセクタを撮像するために、撮像装置20(1)上に一次元あるいは二次元のフェーズドアレイに配置されたものであっても良い。局部画像制御/処理回路35(1)は、双方共に超音波トランスデューサ25(1)に接続されている、電子パルス発生器215と電子信号受信器220を更に具える。超音波画像制御/処理回路35は、更に、電気信号受信器220に接続された超音波画像処理装置230を具える。
身体内部の超音波画像を得るためには、撮像装置20(1)を身体内に挿入するか、超音波トランスデューサ25(1)を身体の皮膚面に身体内部に向けて配置する。パルス発生器215が電気パルスを送信して、超音波トランスデューサ25(1)を励磁する。トランスデューサ25(1)は、この電気パルスを、身体内に発射される超音波エネルギーのパルスに変換する。この超音波エネルギーの一部が、身体の内部構造で反射して、トランスデューサ25(1)に戻ってくる。トランスデューサ25(1)は、反射して戻ってきた超音波エネルギーを身体内部を表わす電気信号に変換する。この電気信号は、電気信号受信器220で検出され、超音波画像処理装置230に出力される。超音波画像処理装置は、受信した電気信号を、公知の超音波画像処理技術を用いて身体の超音波画像にする処理を行う。電気信号受信器220は、超音波画像処理装置230に出力する前に、電気信号を増幅、及び/又は、濾波するようにしても良い。超音波画像処理装置230は、局部画像ディスプレイ40上に超音波画像を表示する。
図3Aは、超音波撮像装置20(1a)の実施例の軸方向における断面図であり、超音波トランスデューサ25(1)が回転式超音波撮像トランスデューサ25(1a)の形態を取っている。撮像装置20(1a)は、内部を延在する内腔325を有する細長いカテーテル本体あるいはシース315を具える。カテーテル本体315は、可撓性部材でできているので、体腔の通り道に沿って曲げることが可能である。撮像装置20(1a)は、更に内腔325内に延在する駆動シャフト330を具える。回転式超音波撮像トランスデューサ25(1a)は、駆動シャフト330の遠位端に装着されている。カテーテル本体315は、超音波パルスをカテーテル本体315を通過させるための音響窓(図示せず)を具える。内腔325は、超音波トランスデューサ25(1a)から周囲の身体への超音波エネルギーの伝達をよりよいものとするために、例えば水などの、液体を満たすようにしても良い。
身体の内部断面画像を得るために、撮像トランスデューサ25(1a)は、その軸340の周りを機械的に1回転(360度)すると同時に、身体内に様々な角度の方向に超音波パルスを出射する。超音波画像処理装置230は、超音波トランスデューサ25(1a)が1回転する間に受信した電気信号を処理して、身体の断面画像を構築する。局部撮像サブシステム35(1)が、連続的に、超音波画像を更新して、身体のリアルタイム画像を提供するようにしてもよい。
身体の三次元ボリュームを撮像するために、駆動モータ(図示せず)で駆動シャフト330を引き戻して、カテーテル本体315内で超音波トランスデューサ25(1a)を軸方向に摺動させてもいい。代替として、カテーテル本体315全体を超音波トランスデューサ25(1a)と共に引き戻すこともできる。トランスデューサ25(1a)が軸方向に摺動するときに、超音波トランスデューサ25(1a)を回転させて、身体内の異なる位置で身体の複数断面画像(いわゆる、スライス)を得る。超音波画像処理装置230は、次いで、複数断面画像を統合して(すなわち、つなぎ合わせる)、公知のボリューム再構築技術を用いて身体のボリュームを再構築する。
三次元ボリュームを撮像する代替の方法は、超音波トランスデューサをカテーテル自身の中で摺動させるより、むしろカテーテル全体を移動させることであろう。
図3Bは、超音波撮像装置20(1b)の他の実施例を示すものであり、ここでは、超音波トランスデューサ25(1)は、1次元または2次元の撮像トランスデューサアレイ25(1b)の形態を取っている。撮像装置20(1b)は、トランスデューサアレイ25(1b)のトランスデューサが軸に沿って配置されるか(図3Bに示すように)、あるいはカテーテル本体315の外側周囲に配置されるかした、細長いカテーテル本体あるいはシース315を具える。トランスデューサアレイ25(1b)は、身体の平面及び/又はセクタを撮像する。トランスデューサアレイ25(1b)の利点は、その超音波ビームが電気的に走査しうる(すなわち、偏向されること)、及び/又は、アレイ25(1b)の各トランスデューサの位相または遅延を別々に制御することによって焦点を合わせることができる点である。この結果、トランスデューサアレイ25(1b)は、身体を電気的にスキャンすることが可能となり、機械的なスキャナ、すなわち、回転式のトランスデューサ25(1a)より早いスキャン率を得ることができる。
図3Cは、外付超音波撮像装置20(1c)の更なる実施例を示す図であり、ここでは、超音波トランスデューサ25(1)は、1次元または2次元のトランスデューサアレイ25(1c)の形態を取っている。身体内部の平面画像またはセクタ画像を得るために、外付撮像装置20(1c)は、トランスデューサアレイ25(1c)が身体内部に向けられるように、身体の皮膚表面370上に配置されている。このタイプの超音波撮像装置20(1c)は良く知られており、出生前ケアの一部として子宮内の胎児を撮像するのに一般に使用されている。
図4は、本発明の一実施例による光学ベースの局部撮像サブシステム15(2)を示す図である。局部撮像サブシステム15(2)は、局部画像制御/処理回路35(2)と、光学撮像レンズ25(2)を有する付随光学撮像カテーテル20(2)と、このカテーテル内に延在する光ファイバ420を具える。画像制御/処理回路35(2)は、例えばレーザなどの、光源410と、光学画像処理装置430を具える。光ファイバ420は、その遠位側端部においてレンズ25(2)に、そして近位側端部において光源410と光学画像処理装置430とに、光学的に連結されている。
身体内部の光学画像を得るために、光学的撮像カテーテル20(2)は、身体内の関心のある部位にまで身体内に挿入される。光ファイバ420は、光源410から身体に光を当てる撮像レンズ25(2)へ光(あるいは他の形態の放射物)を伝送する。この光の一部が身体の内部構造で反射してレンズ25(2)へ戻り、この反射して戻ってきた光を光ファイバ420へ送る。光ファイバ420は、この反射して戻ってきた光を光学画像処理装置430へ伝送し、そこで、公知の技術を用いてこの反射して戻ってきた光を処理して身体の内部画像とし、局部画像ディスプレイ40に身体の内部画像を表示する。
2.位置追跡サブシステム
位置追跡サブシステム55は、三次元座標システム内での撮像装置20の位置エレメント30の位置を追跡する。
図5は、超音波追跡技術を用いた位置追跡サブシステム55(1)の実施例を示す図である。位置追跡サブシステム55(1)は、超音波追跡制御/処理回路52(1)と、4またはそれ以上の基準超音波トランスデューサ50(1)と、撮像装置20上に配置した2またはそれ以上の超音波位置トランスデューサ30(1)とを具える。好ましくは、位置トランスデューサ30(1)は、撮像装置20上の異なる位置に配置されている。追跡制御/処理回路52(1)は、基準トランスデューサ50(1)と位置トランスデューサ30(1)に、互いに超音波パルス(例えば、500KHzのパルス)を送信及び受信させる。基準トランスデューサ50(1)は、図5に示すように、例えば、身体内部に配置するために一又はそれ以上の基準カテーテル520などに位置させるようにしても良い。代替として、基準トランスデューサ50(1)を、身体外部、あるいは患者の皮膚の上に配置するようにしても良い。各位置トランスデューサ30(1)は、基準トランスデューサ50(1)から出射された超音波パルスを検出することができる。
3D座標システムを構築するために、基準トランスデューサ50(1)は、身体内あるいは外に配置され、基準トランスデューサ50(1)は、互いに超音波パルスを伝送する。追跡制御/処理回路52(1)は、基準トランスデューサ50(1)間の相対距離を、「飛行時間」と基準トランスデューサ50(1)間の超音波パルスの速度を用いて計算する。追跡制御/処理回路52(1)は、次いで、3D座標システムを構築するために、距離計算に基づいて基準トランスデューサ50(1)の相対位置を三角法で測定する。3D座標システムにおける撮像装置20の位置トランスデューサ30(1)の位置を追跡するために、追跡制御/処理回路52(1)は、各々の基準トランスデューサ50(1)に超音波パルスを出射させ、このパルスは撮像装置20の位置トランスデューサ30(1)で検出される。追跡制御/処理回路52(1)は、次いで、「飛行時間」と検出した超音波パルスの速度を用いて、各々の基準トランスデューサ50(1)からの各位置トランスデューサ30(1)の距離を計算する。この距離の計算を簡潔にするために、超音波パルスの速度は一定であると仮定してもよい。超音波パルスの速度は体組織や血液内ではほとんど変化しないので、この仮定は、通常、撮像装置20が身体内部に位置している場合にわずかなエラーを生じさせるだけである。各基準トランスデューサ50(1)からの位置トランスデューサ30(1)の距離が一旦計算されると、追跡制御/処理回路52(1)は、3D座標システム内の位置トランスデューサ30(1)の位置を三角法で測定する。追跡制御/処理回路52(1)は、位置トランスデューサ30(1)の位置を連続的におよびリアルタイムで測定するのが好ましい。このタイプの追跡技術の更なる詳細は、米国特許6,490,474号及び米国特許出願第09/128,304号に見ることができる。
撮像エレメント25(1a)などの超音波撮像エレメントからの超音波エネルギーの伝送で生じる超音波の干渉を防ぐ、あるいは最小限にするために、追跡制御/処理回路52(1)は、好ましくは、フィルタ回路を具えている。例えば、撮像エレメント25(1a)からの超音波エネルギーの出射が、基準トランスデューサ50(1)と位置トランスデューサ30(1)間の測定された距離を実際の距離より短くすることがある。このような悪影響を最小にするために、各測定サイクルについて、トランスデューサの各組み合わせ間で複数の距離測定が行われる。最も大きな距離の測定が、複数の距離測定から選択されて、トランスデューサ間の正しい測定値を得ることができる。このようなフィルタリング技術は、米国特許出願第10/213,441号に開示されている。
図6は、磁気追跡技術を用いた位置追跡サブシステム55(2)の実施例を示す図である。位置追跡サブシステム55(2)は、磁気追跡制御/処理回路52(2)と、3本のアンテナ50(2)と、撮像装置20に配置された一またはそれ以上の磁気位置アレイ30(2)とを具える。各磁気位置アレイ30(2)は、三またはそれ以上の狭い間隔で並んだ磁界強度センサ(例えば、磁気センサコイルなど)を具える。
3D座標システムを構築するために、アンテナ50(2)は、身体内部あるいは外部に配置されている。追跡制御/処理回路52(2)は、アンテナ50(2)に3D座標システムを規定する3つの直交する磁界を伝送させる。3D座標システム内の磁気位置アレイ30(2)の位置を追跡するために、アレイ30(2)内の磁界センサの各々が、各々の位置から各直交磁界の強度を測定する。追跡制御/処理回路52(2)は、磁気位置アレイ30(2)とアンテナ50(2)の中心間の距離ベクトルを計算するのに、それらの磁界強度測定値を使用する。追跡制御/処理回路52(2)は、次いで、距離ベクトルをx、y、z成分に分解して、3D座標システムにおける各磁気位置アレイの位置と方向を計算する。選択的に、磁気位置アレイ30(2)の少なくとも一つが6つあるいはそれ以上の磁界センサ30(2)を具え、追跡制御/処理回路52(2)が各磁気位置アレイ30(2)に関する距離ベクトルを、3D座標システムの磁気位置アレイ30(2)についてのピッチ、ロールおよびヨーのデータに更に分解するようにしても良い。このタイプの追跡技術の更なる詳細は、米国特許第5,391,199号に見ることができる。
図7は、電圧ベースの追跡技術を用いた位置追跡サブシステム55(3)の実施例を示す図である。位置追跡サブシステム55(3)は、電圧追跡制御/処理回路52(3)と、3つの電極対50(3)と、基準電位電極710と、撮像装置20に配置した一又はそれ以上の位置電極30(3)とを具える。
3D座標システムを構築するために、3つの電極対50(3)を患者の皮膚に、3D座標システムのx、y、z方向を規定する相互に直交する方向に配置する。例えば、一の電極対50(3)は、胸から背中にかけての方向に、第2の電極対50(3)は、頭から足にかけての方向に、第3の電極対50(3)は、左から右にかけての方向に配置することができる。更に、基準電位を設定するために基準電位電極710を患者の皮膚上に配置する。追跡制御/処理回路52(3)は、電流を3つの電極対50(3)に流し、3つの直交する交流電流を患者の身体内に伝送する。3つの直交する電流をそれぞれ区別するために、この3つの電流には若干異なる周波数、及び/又は、位相を与えるかあるいは、時間的な順序を与えてもよい。
3D座標システムにおける撮像装置20の位置を追跡するために、位置電極30(3)は、身体を流れる3つの直交する電流の各々に関連する身体内の電圧(すなわち電位)を測定して、追跡制御/処理回路52(3)に電圧測定値を出力する。各電流に関連する電圧値は、位置電極30(3)と対応する電極対50(3)との間の相対距離を示す。追跡制御/処理回路52(3)は、電圧測定値を基準電極710によって設定された基準電位を参照する。追跡制御/処理回路52(1)は、次いで、参照にした電圧測定値と、既知の電極間の距離によって離隔されている2本の電極を使用したキャリブレーション法を用いて3D座標システム内の位置電極30(3)のx、y、およびz座標を計算する。このタイプの追跡技術の更なる詳細は、米国特許第5,983,126号に見ることができる。
3.撮像エレメント位置探知器
撮像エレメント位置探知器60は、撮像装置20の電流ジオメトリと、3D座標システム内における撮像エレメント25の位置及び/又は方向を決定する。複数の位置エレメントが撮像装置20に沿って配設されている場合、撮像エレメント位置探知器60は、撮像装置20のジオメトリから撮像エレメント25の位置及び/又は方向を取り出すことができる。このジオメトリは、撮像装置20の既知の構造と、位置エレメント30間の位置関係に基づいて、3D座標システム内の位置エレメント30の決定された位置を推定することによって決定することができる。3D座標システム内の撮像エレメント25の位置と方向は、次いで、撮像装置20の電流ジオメトリと撮像装置20の撮像エレメント25の相対位置を与えられることによって決定され得る。撮像装置20の構成、位置エレメント30の配置、撮像装置20に対する撮像エレメント25の位置及び方向は、撮像装置25が一又はそれ以上の位置エレメント30に対して固定された位置にある場合に、撮像エレメント位置探知器60内に事前にプログラムすることができる。この情報も、例えば医師などのユーザによって、例えばキーボードなどのユーザインターフェースを用いて撮像エレメント位置探知器60に登録するようにしてもよい。
撮像エレメント位置探知器60が撮像装置20のジオメトリと、撮像エレメント25の方向を計算しない場合は、撮像エレメント25の近位側近傍に単一の位置エレメント30を配置して、位置エレメント30の位置が撮像エレメント25の位置に隣接するようにすることができる。しかしながら、位置エレメント30(2)の位置を決定する(方向情報を得る)のに磁気ベースの位置追跡システム55(2)が使用されている場合は、撮像エレメント25の方向を、位置エレメント30(2)で得た方向情報に基づいて決定することができる。
代替として、位置追跡サブシステム55が超音波ベースである場合は、撮像エレメント25の位置は、撮像エレメント25自体を超音波位置エレメントとして用いることによって決定することができる。特に、位置エレメント25は、例えば9MHzと1MHzなど、異なる周波数での二つの異なる共鳴モードで動作できる。すなわち、撮像エレメント25は、9MHzでの共鳴モードで動作して超音波撮像パルスを生成し、また、1MHzでの第2の共鳴モードで動作して超音波位置パルスを生成することができる。撮像エレメント25は、これらの共鳴モードに対応する高調波を示す単一の電気パルスでそれを刺激することによって、都合よく、これらの二つの共鳴モードで動作する。撮像機能中に撮像エレメント25を刺激するのに使用される電気パルスの比較的短いパルス幅は、必然的に、撮像エレメント25の両共鳴モードを刺激することができる高調波を含む。この技術は、カテーテル本体に対する撮像エレメント25の軸方向のシフト(クリープ)を補償するので都合が良い。すなわち、撮像エレメント25は、それ自体を追跡するのに使用されているので、軸方向にシフトしていても、撮像エレメント25の位置座標は正確に決定することができる。この技術の更なる詳細は、米国同時継続特許出願第10/214,441号に開示されている。
多くの場合、位置エレメント30は、撮像エレメント25に対して動くことがなく、したがって、これらの間の相対位置は時間がたっても変化しない。しかしながら、図3Aに示す撮像装置20(1a)の引き戻しの実施例では、撮像エレメント25(1a)(すなわち、超音波撮像トランスデューサ)の相対位置は変化する。この場合、撮像エレメント25の相対位置は、撮像エレメント25(1a)をカテーテル本体315内でカテーテル本体315の遠位側端部へ向けて軸方向にずらせることによって決定される。カテーテル本体315の遠位側端部の相対位置は、通常公知であり、撮像装置20(1)上の一又はそれ以上の位置エレメント30(図3Aには示されていない)に対して固定されている。撮像エレメント25(1a)がカテーテル本体315の遠位側端部にきたとき、撮像エレメント25(1a)は、この遠位側端部から所定の距離だけ引き戻されることができる。次いで、撮像エレメント25(1a)の相対位置が、一またはそれ以上の位置エレメント30と遠位側端部の相対位置から、撮像エレメント25(1a)がカテーテル本体315の遠位側端部から引き戻された距離を差し引くことによって、決定される。
図3Aに示す実施例では、代替的に、位置エレメント30の一つを撮像エレメント25(1a)に、あるいは、撮像エレメント25(1a)を有する駆動シャフト330に、取り付けて(図示せず)、位置エレメント30が撮像エレメント25(1a)に対して固定位置にあるようにしてもよい。撮像エレメント25(1a)の位置は、次いで、追跡された位置エレメント30の位置と、位置エレメント30に対する撮像エレメント25(1a)の固定相対位置を用いて決定できる。
4.撮像パターンサブシステム
画像パターン生成器70は、撮像装置20の撮像パターンのグラフィカル表示を生成する。撮像パターンのグラフィカル表示を生成するためのパラメータは、撮像装置20からの撮像エレメント25の走査パターンを含む。図3Aに示す例では、撮像エレメント25(1a)は、撮像装置20(1a)の軸340を中心に回転することによって身体を走査する。回転軸340に対して撮像エレメント25(1a)は、角度φだけ横向きになっている。これが、撮像装置20(1a)の軸340に整列した中央線を有する円錐状表面を掃引する走査パターンを作る。他のパラメータは撮像エレメント25の身体内への侵入範囲あるいは深さである。超音波画像装置用には、この範囲は、従来技術においてよく知られているとおり、反射して戻ってきた超音波パルス(エコー)の最大時間遅れ(すなわち、往復時間)と、エネルギーの組織への吸収率によって決まる。超音波画像装置の範囲は、典型的には数ミリメータから数インチである。光学画像装置では、光の浸透範囲は、従来技術に良く知られているとおり、反射して戻ってきた光の波長と位相によって決まる。図3Aに示す例では、撮像エレメント25(1a)の範囲は、撮像エレメント25(1a)から範囲rまで伸びるライン345として、グラフィカルに表示されている。範囲rの値は、撮像装置20で撮像された内部画像の画像深さから容易に決定することができる。
撮像パターンサブシステム70は、範囲rにおける撮像エレメント25の走査パターンに基づいて撮像パターンのグラフィカル表示を生成する。図8Aは、図3Aの撮像装置20(1a)に関連する撮像パターン810を示す。撮像パターン810は、撮像エレメント25(1a)の位置から角度φ、範囲rで前方へ外側に向けて放射状をなす平らなマティーニグラスに似た円錐形状を有する。更に、撮像パターン810のセンターライン815は、撮像装置20(1a)の軸340に整列している。これは、この特別な例では撮像エレメント25(1a)が、撮像装置20(1a)の軸340を中心に回転することによって身体内部を走査するためである。
この場合、あるいは他のいかなる場合でも、撮像パターンは、静止した固体の対象として表示される必要はない。機械的な動き、あるいは撮像エレメント25の電子走査を用いた撮像システムの場合、撮像パターン810は、撮像エレメント25の実際の走査のリアルタイムで(あるいは時間を調整した)の表示として示すことができる。
図8Bは、図3Bのフェーズドトランスデューサアレイ25(1b)に関連する撮像パターン810を示す図である。フェーズドアレイ25(1b)は、セクタ形状の撮像パターン810を生成しながら身体のセクタを走査する。撮像パターン810の角度φの広さと、焦点深度dは、例えば遅延エレメントを用いて、アレイ25(1b)の各トランスデューサの位相あるいは遅延を個別にコントロールすることによって制御することができる。図8Cは、図3Cの外付トランスデューサアレイ25(1c)に関連する撮像パターンを示す図である。
図8Dは、図4に示す光学撮像カテーテル20に関連する撮像パターンを示す図である。光学撮像カテーテル20(2)の撮像レンズ25(2)は、円錐形状の撮像パターン810を生成しながら光ファイバ420からの光を円錐形パターンに投影する。レンズ25(2)の角度幅もしくは視野角φ、つまり、撮像パターン810のそれらは、レンズ25(2)の構成によって決まる。例えば、広い視野角φを要するアプリケーションでは広角レンズ25(2)を使うことができ、狭い視野角φを要するアプリケーションには、望遠レンズ25(2)を使用することができる。
5.全体表示装置
図9は、例えば、心室などの、体組織のコンピュータで生成した表示(再構築)の形で身体の全体表示を生成する全体表示装置65の実施例を示すものであり、この中で、撮像装置20が誘導され、及び/又は、撮像装置20の撮像パターンが表示される。全体表示装置65は、マッピング装置910と、マッピング装置910に接続されたマッピング制御/処理回路920と、マッピング制御/処理回路920に接続されたコンピュータ再構築サブシステム930を具える。マッピング装置910は、更に、基準エレメント50(図9には示さず)によって構築される3D座標システム内のマッピング装置910の位置を追跡するための一又はそれ以上の位置エレメント940を含む。位置エレメント940は、撮像装置20の位置を追跡するための上述した追跡技術のいずれをも使用することができる。
本実施例にかかる全体表示装置65の動作を、心室1010の例を用いて、図10を参照して述べる。当然のことながら、食道、子宮、その他同様な箇所のような他の体組織もグラフィカルに表現することができる。マッピング装置910は、3D座標システムにおいて心室1010の内壁を構造的にマッピングするために、心室1010に挿入される。マッピング装置910は、心室1010の内壁上で様々な位置に動かされる。心室1010の各位置において、マッピング制御/処理回路920が、3D座標システムにおける心室1010の位置の地図を作成する。3D座標システムに対する心室1010の各位置をマッピングすることによって、マッピングした位置を3D座標システムに登録させ得る。マッピングプロセスにおける心臓の動きの影響を少なくするために、各場所の位置は、心臓周期の同じ位相で取得することができる。このことは、マッピング制御/処理回路920の位置取得回数を、心臓周期をモニタしている心電図(EKG)モニタでゲート制御することによって行える。心室1010がマッピングされた後、マッピング制御/処理回路920は、心室1010の3Dコンピュータ表示を再構築するために、心室1010のマッピングした位置を、コンピュータ再構築サブシステム930に出力する。再構築サブシステム930は、3D座標システムにおいて心室1010の位置をマッピングし、公知のグラフィカル技術を用いてマッピングした位置上に解剖学的なシェルを適合させることによってこれを行う。結果として得られた心室1010の3Dコンピュータ生成表示は、心臓の壁のジオメトリのコンピュータによる再構築を提供する。更に、心室1010の3Dコンピュータ生成画像は、心室1010を再構築するのに使用されたマッピング位置が3D座標システムに関連して撮像されているので、3D座標システムと共に登録される。心室1010の3D表示は、後のためにメモリ(図示せず)に保存できる。撮像装置20は、位置エレメント30を具えているので、マッピング機能を実行するのに撮像装置20が適用され得るのは当業者には明らかである。これによって、別に、マッピング装置930を準備する必要がなくなる。また、マッピング制御/処理回路920の機能を実行するのに、追跡制御/処理回路52を応用することもできる。このグラフィカル再構築技術の詳細は、米国特許第6,490,474号および米国特許出願第09/128,304号に見ることができる。
マッピング装置930は、心室1010の構造をマッピングするのと同様に、心室1010の電気的活性をマッピングするための電極を有してもよい。このようなマッピング装置の例を図11に示す。図11に示すマッピング装置は、その遠位側端部に「バスケット」構造1150を有する。バスケット構造1150は、複数のアーム1152を具え、各アームが、その上に交互に配置された電極1156と超音波トランスデューサ1158を有する。アーム1152は、好ましくは、心室1010の壁の輪郭に沿って曲げることのできる弾性部材でできている。超音波トランスデューサ1158は、超音波ベースの追跡を行って、3D座標システムにおける心室1010上の位置を追跡する。電極1156は、超音波トランスデューサ1158によって決定した位置における心室1125の電気活性を測定する。マッピングサブシステム930は、この電気測定値を用いて心室1010の電気活性をマッピングするようにしてもよく、これを、心室1010のコンピュータで生成した表示の上において、心室1010の電気的パターンを表示することができる。心室1010の電気活性に関する知識は、心臓不整脈の治療において心室1010内の切除部位を同定するのに特に有用である。図11に示すマッピング装置の構成と操作についての更なる詳細は、米国特許6,216,027号に見られる。
体組織のグラフィカルな再構築に代えて、あるいは、これに加えて、全体表示装置65は、数ある撮像技術のいずれか一つを用いて、体組織の3D画像を生成することができる。例えば、全体表示装置65は、体組織の3D画像を生成するために、磁気共鳴映像法(MRI)装置、コンピュータ断層撮影(CT)装置、光学的画像装置、及び/又は、超音波画像装置(全て図示せず)を具えていても良い。これを達成するために、画像装置は、横方向に、及び/又は、回転方向に移動して、体組織内の異なる位置において体組織の複数の断面画像あるいはセクタ画像を得るようにしても良い。ついで、全体表示装置65は、複数の断面画像を集めて(断片を集める)体組織の3D画像を再構築することができる。体組織の3D画像は、画像装置の位置、および、画像装置で撮像された断面画像あるいはセクタ画像を、上述の追跡技術のいずれかを用いて3D座標システム中で追跡することによって、3D座標システムに登録することができる。例えば、超音波位置トランスデューサあるいは磁気位置アレイは、画像装置及び/又は3D座標システム内の画像装置の位置を追跡するための画像を有する装置に取り付けるようにしても良い。代替として、対組織内の解剖学的標認点の位置を、例えばマッピング装置910を用いて3D座標システム中で決定するようにしても良い。体組織の3D画像は、ついで、体組織の3D画像中の解剖学的な標認点の位置を3D座標システム中の解剖学的な標認点の決定された位置と関係付けることによって、3D座標システムに登録することができる。
6.複合画像生成器
複合画像生成器75は、撮像装置20のグラフィカル表示及びその撮像パターンを身体の全体表示内に具える複合画像を生成する。
一の実施例にかかる複合画像生成器75の処理ステップを、図12を参照して述べる。図12に述べるステップの特定の順序と組み合わせは、単なる例であり、本発明は、これと異なるステップの組み合わせ、あるいは順序を用いて実行することもできる。
ステップ1210では、複合画像生成器75が、全体表示装置65から体組織の全体表示を取り出す。ステップ1220では、複合画像生成器75が撮像エレメント位置探知器70から撮像装置20のジオメトリック位置を受け取る。ステップ1230では、複合画像生成器75は、ジオメトリック位置に基づいて体組織の全体表示内に撮像装置20のグラフィカル表示を配置する。これを行うためには、複合画像生成器75は、ジオメトリック位置の座標上に撮像装置20の予めプログラムされた3Dグラフィカル表示を合致させる。体組織の全体表示は、3D座標システムに登録されるので、撮像装置20のグラフィカル表示は、体組織の全体表示中で正しい位置と方向に配置される。
ステップ1240では、複合画像生成器75は、撮像エレメント位置探知器60から3D座標システム内の撮像エレメント25の位置および方向を受け取る。ステップ1250では、複合画像生成器75は、画像パターン生成器70から撮像パターンのグラフィカル表示を取り出す。ステップ1260では、複合画像生成器75は、撮像パターンのグラフィカル表示を体組織の全体表示内で、3D座標システム内における撮像エレメント25の座標、すなわち、位置、に配置する。更に、複合画像生成器75は、体組織の全体表示内の撮像パターン810のグラフィカル表示と撮像装置20を正しく方向付ける。例えば、図8Aに示すように、撮像パターン810のセンターライン815は、撮像装置20の軸340に整列する。
ステップ1270では、複合画像生成器75が、複合画像ディスプレイ80上に複合画像を表示する。複合画像中の撮像装置20のグラフィカル表示は、体組織の全体表示に関連した撮像装置20の位置と方向を表示する。これによって、医師は、撮像装置20を操作して体組織内の関心のある部位に誘導することが可能になる。更に、撮像パターン810のグラフィカル表示は、体組織の全体表示に関連した、撮像装置20によって撮像されている身体の部分の視覚的表示を提供する。このことで、医師は、撮像装置20が体組織内の興味のある部位を撮像していることを確認し、自分が撮像装置20で撮像している体組織の部位をよりよく理解することができる。
図13Aは、心室1010の全体表示内における、図3Aに示す撮像装置20(1a)のグラフィカル表示とその関連の撮像パターンを示す例証的な複合画像の図である。撮像装置20(1a)のグラフィカル表示は、心室1010内における撮像装置20(1a)の位置と方向を表示する。本例では、撮像装置20(1a)のグラフィカル表示は、撮像エレメント25(1a)と位置エレメント30のグラフィカル表示を含む。複合画像ディスプレイ80は、更に、撮像装置の撮像パターン810のグラフィカル表示を示す。この例では、撮像パターン810のグラフィカル表示は円錐形状を有し、撮像エレメント25(1a)の位置から前方外側に向けて放射状に広がっている。更に、撮像パターン810のグラフィカル表示のセンターライン815は、撮像装置20(1a)のグラフィカル表示の軸340に整列している。
図13Bは、心室1010の全体表示内における、図3Bに示す撮像装置20(1b)のグラフィカル表示と、それに関連する撮像パターン810を示す例証的な複合画像である。図13Cは、心室1010の全体表示内における、図3Bに示す撮像装置20(1c)のグラフィカル表示と、それに関連する撮像パターン810を示す例証的な複合画像である。上記二つの例の各々において、撮像パターン810は、セクター化形状をなしている。図13Dは、心室1010の全体表示内における、図4に示す光学撮像装置20(2)のグラフィカル表示と、それに関連する撮像パターンを示す例証的な複合画像である。この例では、撮像パターン810は、撮像レンズ25(2)から前方外側に向けて放射状に広がる円錐形状を有する。
撮像パターン810のグラフィカル表示は、撮像装置20で撮像されている心室1010の部位の視覚表示を、心室1010の全体表示に関連させて提供する。更に、撮像パターンの全体表示によって、医師は、局部画像ディスプレイ40上に示す心室1010の内部画像を、心室1010の全体表示の対応する部分に参照させることができる。
図14に示すシステム1410の他の実施例において、複合画像生成器75は、撮像装置20によって撮像される局部内部画像を受け取る画像制御/処理回路35に連結されている。システム1410は、画像制御/処理回路35と複合画像生成器75が、異なる画像フォーマットを使用する場合には、選択的に、画像フォーマットコンバータ1415を具えていても良い。この場合、画像フォ−マットコンバータ1415は、画像制御/処理回路35からの局部内部画像を複合画像生成器75で処理するのに好適な画像フォーマットに変換する。
本実施例による複合画像生成器75は、受け取った局部内部画像と、複合画像の両方を、複合画像ディスプレイ80に表示することができる。誘導サブシステム45は、例えば、医師などのユーザに、局部内部画像と複合画像を複合画像ディスプレイ80上に同時に表示するオプションを提供するようにしても良い。このオプションによって、ユーザは、より容易に、局部内部画像を、身体の全体表示の対応する位置に参照することが可能となる。
更に、複合画像生成器75は、局部内部画像をグラフィカル撮像パターンの表面にマッピングすることができる。二次元(2D)局部内部画像の場合、複合画像生成器75はこのマッピング処理を、例えば、Xi Graphics社によって開発された、2Dの局部画像を画像パターンの3D表面上にマッピングすることのできる、商業的に入手可能なOpen GLベースのグラフィカルソフトウェアを使用して行うこともできる。このマッピング処理は、一般に、「テクスチュアルマッピング」と呼ばれている。
好ましくは、撮像エレメントのロールが、グラフィカル撮像パターン上の局部画像を正しく方向付けるために決定される。例えば、非回転式の撮像エレメント(例えば、トランスデューサアレイ25(1b)あるいは(1c)、または光学撮像レンズ25(2)など)の場合、撮像エレメントのロールに関連する情報を捕捉することができるセンサ(例えば、位置追跡サブシステム55(2)の磁気位置アレイ30(2)など)を撮像エレメントの近傍に装着することができ、これによってこの撮像エレメントのロールが追跡されうる。
代替的に、回転式の超音波撮像エレメント25(1a)の場合は、患者の身体の上か、あるいは撮像エレメント25(1a)に近接して配置された他のカテーテルの上などの3次元座標システム内の公知の位置に装着された超音波トランスデューサを、撮像エレメント25(1a)に超音波信号を伝送するのに使用することができる。受信された超音波信号は、既知の基準トランスデューサの位置に対する局部画像の回転方向の表示を提供する、局部画像内の第2の識別画像、あるいは人工産物となる。この情報は、次いで、局部画像を再び方向付けるのに使用することができる。この技術の更なる詳細は、米国特許第6,248,075号に見ることができる。
代替的に、超音波トランスデューサを、他のカテーテルに配置して、撮像ビームがトランスデューサを横切るときに撮像エレメント25(1a)から超音波エネルギィを受け取るようにすることもできる。また、超音波トランスデューサは、他のカテーテルに配置したものでも、あるいはその他の場所に配置したものであっても、撮像エレメント25(1a)近傍の駆動シャフト330の遠位側端部に配置された別の超音波トランスデューサからの超音波エネルギィを受け取ることができる。この別の超音波トランスデューサによって伝達される超音波エネルギィは、広い、面の異なるビーム幅を示しており、受信超音波トランスデューサが伝送された超音波エネルギィを受け取るであろう見込みが高い。いずれの場合も、撮像エレメント25(1a)の増加する相対回転方向は撮像エレメント25(1a)から、さもなければ、広いビーム幅を伝送する超音波トランスデューサから、超音波トランスデューサが超音波エネルギィを受け取る時間セグメントに相関させることができる。撮像されている体の器官に対して受信超音波トランスデューサの位置を与えると、撮像エレメント25(1a)の計算された回転方向に基づいて、局部画像を再度方向付けることができる。受信超音波トランスデューサは、位置エレメント30として動作するか、あるいは、位置エレメント30を、カテーテル上の受信超音波トランスデューサから既知の距離におくことができるので、超音波トランスデューサの相対位置を決定することができる。この技術の更なる詳細は、米国特許出願第10/319,285号に見られる。
例証的なマッピング処理を、図3Aの局部撮像装置20(1a)の例と、それに対応する図8Aの円錐形状の撮像パターン810を用いた、図15Aないし15Cを参照して説明する。
図15Aは、図3Aに示す局部撮像装置20(1a)で撮像した例証的な局部内部画像1510を示す図である。局部画像1510は、撮像装置20(1a)の超音波撮像エレメント25(1a)を360度回転させることによって生成された円形の二次元画像である。局部画像1510の中央1515は、撮像エレメント25(al)の位置に対応し、局部画像1515の半径rは、この画像のレンジに対応する。この例では、局部内部画像1510は、例えば、心室壁などの体組織1520を表示する。
図15Bは、局部画像1510がマップされるべき円錐形状の撮像パターン810を示す。円錐撮像パターン810は、画像1510のレンジrに対応する長さを持つ側面1530を有する。円錐撮像パターン810の頂部1540は、撮像エレメント25(1a)の位置に対応し、角度φは、撮像エレメント25(1a)の回転軸340に対する撮像エレメント25(1a)のスキャンニング角である。
図15Cは、撮像パターン810上にマッピングされた局部内部画像1510を示す図である。この場合、局部内部画像1510は、円錐形の撮像パター810の側面1530上にマッピングされる。
更なる実施例では、複合画像生成器75が、撮像パターンと交差する身体の全体表示の部分を示す画像を生成し、表示する。この結果できた交差画像によって、ユーザは、局部内部画像と身体の全体表示の対応する部分を直接比較することができる。
上記の記述では、撮像パターンのグラフィカル表示は、3D画像の形式の全体表示内に、あるいは身体のコンピュータ表示内に表示されている。撮像装置20の正確な誘導を必要としないような要求が少ない適用の場合は、画像パターンのグラフィカル表示は、蛍光透視法を用いて得た画像などのような、身体の2D画像あるいはコンピュータ表示に表示するようにしても良い。
図16は、撮像装置20が誘導されるべき身体部分を撮像するのに蛍光透視法を用いた本発明のシステム1610の実施例を示す図である。この実施例では、位置エレメント30が、撮像装置20及び/又は基準装置上に配置された一又はそれ以上の放射線不透過性マーカ30(4)の形を取り、全体表示装置65は、蛍光透視(すなわち、X線)撮像器65(1)の形を取っている。撮像エレメント25は、好ましくは、放射線不透過性マーカ30(4)に対して既知の位置にあり、蛍光透視撮像器65(1)は、撮像エレメント位置探知器60に接続されている。本実施例は、追跡制御/処理回路52と基準エレメント50を具えていない。
撮像装置20を身体中に誘導するために、蛍光透視撮像器65(1)が用いられ、周辺体組織と共に撮像装置20を直接的に撮像する。蛍光透視撮像器65(1)は、複合画像生成器75と、撮像エレメント位置探知器60に、蛍光透視画像を出力する。蛍光透視画像は、すでに、撮像装置20の画像を含んでいるので、撮像装置20のグラフィカル表示は必要でない。撮像エレメント位置探知器60は、蛍光透視画像中の放射線不透過マーカ30(4)の位置と、放射線不透過マーカ30(4)に対する撮像エレメント25の既知の相対位置とに基づいて蛍光透視画像内の撮像エレメント25の位置と方向を決定する。例えば、撮像エレメント位置探知器60は、次いで、蛍光透視画像内の放射線不透過マーカ30(4)間のラインセグメントをつなぐことによって、撮像装置20の位置と方向を決定することができる。この結合ラインセグメントは、蛍光透視画像中の撮像装置20の2次元推定方向を提供する。
撮像エレメント位置探知器60は、撮像エレメント25の決定した位置と方向を複合画像生成器75に出力する。複合画像生成器75は、撮像装置20と周辺の体組織の蛍光透視画像と、撮像装置20に関連する撮像パターンの2Dグラフィカル表示との複合画像を生成する。複合画像生成器75は、撮像エレメント位置探知器60によって与えられる撮像エレメント25の決定された位置に、複合画像内の撮像パターンのグラフィカル表示を位置づける。複合画像生成器75は、また、蛍光透視画像内の撮像装置20の決定された方向に対する撮像パターンのグラフィカル表示を正しく方向付ける。

Claims (24)

  1. 撮像パターンを用いて体組織の局部画像を生成するように構成された局部撮像装置と;
    前記体組織の全体表示を生成するように構成された全体表示装置と;
    前記撮像パターンのグラフィカル表示を生成するように構成されたグラフィカル画像パターン生成器と;
    前記全体表示装置と前記画像パターン生成器とに接続された複合画像生成器であって、前記全体表示と前記撮像パターンのグラフィカル表示を具える複合画像を生成するように構成された複合画像生成器と;
    を具えること特徴とする体組織撮像システム。
  2. 請求項1に記載の撮像システムにおいて、前記撮像装置が、前記撮像パターンが生じる一又はそれ以上の撮像エレメントを備え、前記撮像システムがさらに、前記全体表示に対して一またはそれ以上の撮像エレメントの位置を見つけるように構成された撮像エレメント位置探知器を具え、前記複合画像生成器が、前記一またはそれ以上の撮像エレメントの決定された位置に基づいて複合画像内にグラフィカル撮像パターンを配置するように構成されていることを特徴とする撮像システム。
  3. 請求項2に記載の撮像システムにおいて、前記撮像エレメント位置探知器が、前記全体表示に対する前記一又はそれ以上の撮像エレメントの方向を決定し、前記複合画像生成器が更に、前記一又はそれ以上の撮像エレメントの決定された位置に基づいて、前記複合画像内で前記グラフィカル撮像パターンを方向付けるように構成されていることを特徴とする撮像システム。
  4. 請求項1ないし3のいずれかに記載の撮像システムが、更に、前記複合画像生成器に接続した全体ディスプレイを具え、当該ディスプレイが、前記複合画像を表示するように構成されていることを特徴とする撮像システム。
  5. 請求項1ないし4のいずれかに記載の撮像システムにおいて、前記局部撮像装置が内付け撮像装置であることを特徴とする撮像システム。
  6. 請求項1ないし4のいずれかに記載の撮像システムにおいて、前記局部撮像装置が外付け撮像装置であることを特徴とする撮像システム。
  7. 請求項1ないし4のいずれかに記載の撮像システムにおいて、前記局部撮像装置が、カテーテル、超音波撮像装置、及び光学撮像装置からなる群から選択されたものであることを特徴とする撮像システム。
  8. 請求項1ないし7のいずれかに記載の撮像システムにおいて、前記撮像パターンが円錐形状であることを特徴とする撮像システム。
  9. 請求項1ないし7のいずれかに記載の撮像システムにおいて、前記撮像パターンがセクタ形状であることを特徴とする撮像システム。
  10. 請求項1ないし9のいずれかに記載の撮像システムにおいて、前記全体表示装置が標準撮像装置を具えることを特徴とする撮像システム。
  11. 請求項1ないし9のいずれかに記載の撮像システムにおいて、前記全体表示装置がグラフィカル画像生成器を具えることを特徴とする撮像システム。
  12. 請求項1ないし9のいずれかに記載の撮像システムにおいて、前記全体表示装置が、全体表示というコンテキスト内で前記撮像装置の画像を生成するように構成されていることを特徴とする撮像システム。
  13. 請求項2に記載の撮像システムが、更に、前記局部撮像装置の上に配置した一又はそれ以上の位置エレメントを具え、前記撮像エレメント位置探知器が、前記一又はそれ以上の位置エレメントの位置に基づいて前記一又はそれ以上の撮像エレメントの位置を見つけるように構成されていることを特徴とする撮像システム。
  14. 請求項13に記載の撮像システムが、更に、三次元座標システムにおける前記一又はそれ以上の位置エレメントの位置を決定するように構成された位置追跡制御/処理回路を具えることを特徴とする撮像システム。
  15. 請求項20に記載の撮像システムにおいて、前記一又はそれ以上の位置エレメントが、一又はそれ以上の超音波トランスデューサ、磁気センサおよび電極を具えることを特徴とする撮像システム。
  16. 請求項13に記載の撮像システムにおいて、前記撮像エレメント位置探知器が、前記全体表示のコンテキスト内で前記一又はそれ以上の位置エレメントの位置を決定するように構成されていることを特徴とする撮像システム。
  17. 請求項16に記載の撮像システムにおいて、前記一又はそれ以上の位置エレメントが放射線不透過性のマーカであることを特徴とする撮像システム。
  18. 請求項1ないし17のいずれかに記載の撮像システムが、更に、前記局部画像を生成するために局部撮像装置に接続された局部撮像制御/処理回路を具えることを特徴とする撮像システム。
  19. 請求項18に記載の撮像システムが、更に、前記局部撮像制御/処理回路に接続された局部ディスプレイを具え、前記局部ディスプレイが前記局部画像を表示するように構成されていること特徴とする撮像システム。
  20. 請求項18に記載の撮像システムにおいて、前記複合画像生成器が、前記局部撮像制御/処理回路に接続されており、前記全体ディスプレイが、前記局部画像を表示するよう構成されていることを特徴とする撮像システム。
  21. 撮像パターンを伴う体組織の局部画像を生成する手段と;
    前記体組織の全体表示を生成する手段と;
    前記撮像パターンのグラフィカル表示を生成する手段と;
    前記全体表示と前記グラフィカル撮像パターンを具える複合画像を生成する手段と;
    を具える体組織撮像システム。
  22. 請求項21に記載のシステムが、更に、
    前記撮像パターンの原点を見つける手段と;
    前記撮像パターンの原点の決定された位置にもとづいて前記複合画像内に前記グラフィカル撮像パターンを配置する手段と;
    を具えることを特徴とするシステム。
  23. 請求項22に記載のシステムが、更に、
    前記撮像パターンの方向を決定する手段と;
    前記撮像パターンの決定された方向に基づいて前記複合画像内で前記グラフィカル撮像パターンを方向付ける手段と;
    を具えることを特徴とするシステム。
  24. 請求項21ないし23のいずれかに記載のシステムが、更に、前記局部撮像装置の画像を生成する手段を備え、前記全体複合画像が、前記局部撮像装置の画像を具えることを特徴とするシステム。
JP2004513994A 2002-06-18 2003-05-27 撮像装置の撮像パターンのコンピュータで生成した表示 Pending JP2005529701A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US38990102P 2002-06-18 2002-06-18
US10/318,474 US7477763B2 (en) 2002-06-18 2002-12-13 Computer generated representation of the imaging pattern of an imaging device
PCT/US2003/016881 WO2003107251A2 (en) 2002-06-18 2003-05-27 Computer generated representation of the imaging pattern of an imaging device

Publications (1)

Publication Number Publication Date
JP2005529701A true JP2005529701A (ja) 2005-10-06

Family

ID=29739314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004513994A Pending JP2005529701A (ja) 2002-06-18 2003-05-27 撮像装置の撮像パターンのコンピュータで生成した表示

Country Status (6)

Country Link
US (1) US7477763B2 (ja)
EP (1) EP1514214A2 (ja)
JP (1) JP2005529701A (ja)
AU (1) AU2003234685A1 (ja)
CA (1) CA2486718A1 (ja)
WO (1) WO2003107251A2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006305361A (ja) * 2005-04-26 2006-11-09 Biosense Webster Inc 超音波システム用のビーム方向を用いたカテーテル先端部の表示
JP2006305357A (ja) * 2005-04-26 2006-11-09 Biosense Webster Inc 超音波データと事前取得イメージの重ね合わせ
JP2007029335A (ja) * 2005-07-26 2007-02-08 Aloka Co Ltd 超音波画像形成システム
JP2008183398A (ja) * 2006-12-08 2008-08-14 Biosense Webster Inc 超音波データ収集を示すための電気解剖学的マップの着色
JP2009131632A (ja) * 2007-11-29 2009-06-18 Biosense Webster Inc 解剖学的構造の閃光撮影写真図
JP2012130702A (ja) * 2010-12-22 2012-07-12 Biosense Webster (Israel) Ltd 超音波変換器を備える輪縄式カテーテル
US9192356B2 (en) 2011-02-03 2015-11-24 Kabushiki Kaisha Toshiba Ultrasound diagnosis apparatus
JP2019536523A (ja) * 2016-11-08 2019-12-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 心臓における心臓電気生理学信号のリアルタイム作成のためのシステム及び方法

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2678625A1 (en) * 1992-09-23 1994-03-31 St. Jude Medical, Atrial Fibrillation Division, Inc. Endocardial mapping system
US7189208B1 (en) * 1992-09-23 2007-03-13 Endocardial Solutions, Inc. Method for measuring heart electrophysiology
US7930012B2 (en) 1992-09-23 2011-04-19 St. Jude Medical, Atrial Fibrillation Division, Inc. Chamber location method
US7806829B2 (en) * 1998-06-30 2010-10-05 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for navigating an ultrasound catheter to image a beating heart
US7248914B2 (en) * 2002-06-28 2007-07-24 Stereotaxis, Inc. Method of navigating medical devices in the presence of radiopaque material
US8388540B2 (en) * 2002-12-13 2013-03-05 Boston Scientific Scimed, Inc. Method and apparatus for orienting a medical image
US20050163462A1 (en) * 2004-01-28 2005-07-28 Pratt Buell A. Motion picture asset archive having reduced physical volume and method
JP4537756B2 (ja) * 2004-04-30 2010-09-08 オリンパス株式会社 超音波診断装置
JP4681857B2 (ja) * 2004-11-25 2011-05-11 オリンパス株式会社 超音波診断装置
EP2712553A3 (en) 2005-01-11 2014-09-17 Volcano Corporation Vascular image co-registration
AU2012258444B2 (en) * 2005-04-26 2014-01-09 Biosense Webster, Inc. Display of two-dimensional ultrasound fan
US20060253024A1 (en) * 2005-04-26 2006-11-09 Altmann Andres C Software product for three-dimensional cardiac imaging using ultrasound contour reconstruction
US7517318B2 (en) 2005-04-26 2009-04-14 Biosense Webster, Inc. Registration of electro-anatomical map with pre-acquired image using ultrasound
US8870779B2 (en) * 2005-04-26 2014-10-28 Biosense Webster, Inc. Display of two-dimensional ultrasound fan
JP2008543511A (ja) 2005-06-24 2008-12-04 ヴォルケイノウ・コーポレーション 脈管の画像作製方法
US9314222B2 (en) * 2005-07-07 2016-04-19 Stereotaxis, Inc. Operation of a remote medical navigation system using ultrasound image
US8303505B2 (en) 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
DE102006020864A1 (de) * 2006-05-04 2007-11-08 Siemens Ag Verfahren zur Ermittlung und Anzeige von wenigstens einer Information über ein Zielvolumen
WO2008017051A2 (en) 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
EP3603500B1 (en) 2006-08-03 2021-03-31 Christoph Scharf Device for determining and presenting surface charge and dipole densities on cardiac walls
EP2081486B1 (en) * 2006-11-08 2014-04-09 Lightlab Imaging, Inc. Opto-acoustic imaging device
US20120046553A9 (en) * 2007-01-18 2012-02-23 General Electric Company Ultrasound catheter housing with electromagnetic shielding properties and methods of manufacture
EP2136706A1 (en) 2007-04-18 2009-12-30 Medtronic, Inc. Chronically-implantable active fixation medical electrical leads and related methods for non-fluoroscopic implantation
GB0708781D0 (en) * 2007-05-04 2007-06-13 Imp Innovations Ltd A Method of and apparatus for generating a model of a cardiac surface having a plurality of images representing electrogram voltages
US9055883B2 (en) * 2007-05-16 2015-06-16 General Electric Company Surgical navigation system with a trackable ultrasound catheter
US8989842B2 (en) * 2007-05-16 2015-03-24 General Electric Company System and method to register a tracking system with intracardiac echocardiography (ICE) imaging system
US8057397B2 (en) * 2007-05-16 2011-11-15 General Electric Company Navigation and imaging system sychronized with respiratory and/or cardiac activity
US7909767B2 (en) * 2007-05-16 2011-03-22 General Electric Company Method for minimizing tracking system interference
JP5191167B2 (ja) * 2007-06-06 2013-04-24 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
NL2002010C2 (en) * 2007-09-28 2009-10-06 Gen Electric Imaging and navigation system.
EP2212716B1 (en) * 2007-11-16 2014-02-26 Koninklijke Philips N.V. Interventional navigation using 3d contrast-enhanced ultrasound
US8512255B2 (en) 2008-01-17 2013-08-20 Christoph Scharf Device and method for the geometric determination of electrical dipole densities on the cardiac wall
WO2009094646A2 (en) 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
US8340379B2 (en) 2008-03-07 2012-12-25 Inneroptic Technology, Inc. Systems and methods for displaying guidance data based on updated deformable imaging data
DE102008013858A1 (de) * 2008-03-12 2009-09-24 Siemens Aktiengesellschaft Kathetervorrichtung und zugehörige medizinische Untersuchungs- und Behandlungseinrichtung
US8494608B2 (en) 2008-04-18 2013-07-23 Medtronic, Inc. Method and apparatus for mapping a structure
US8260395B2 (en) 2008-04-18 2012-09-04 Medtronic, Inc. Method and apparatus for mapping a structure
US8663120B2 (en) * 2008-04-18 2014-03-04 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8340751B2 (en) 2008-04-18 2012-12-25 Medtronic, Inc. Method and apparatus for determining tracking a virtual point defined relative to a tracked member
US8839798B2 (en) 2008-04-18 2014-09-23 Medtronic, Inc. System and method for determining sheath location
US8532734B2 (en) 2008-04-18 2013-09-10 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8428326B2 (en) * 2008-10-23 2013-04-23 Immersion Corporation Systems and methods for ultrasound simulation using depth peeling
US8175681B2 (en) 2008-12-16 2012-05-08 Medtronic Navigation Inc. Combination of electromagnetic and electropotential localization
US8641621B2 (en) 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8554307B2 (en) 2010-04-12 2013-10-08 Inneroptic Technology, Inc. Image annotation in image-guided medical procedures
US8690776B2 (en) 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US11464578B2 (en) 2009-02-17 2022-10-11 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8494613B2 (en) 2009-08-31 2013-07-23 Medtronic, Inc. Combination localization system
US8494614B2 (en) 2009-08-31 2013-07-23 Regents Of The University Of Minnesota Combination localization system
US20110082351A1 (en) * 2009-10-07 2011-04-07 Inneroptic Technology, Inc. Representing measurement information during a medical procedure
US8355774B2 (en) 2009-10-30 2013-01-15 Medtronic, Inc. System and method to evaluate electrode position and spacing
US9282947B2 (en) 2009-12-01 2016-03-15 Inneroptic Technology, Inc. Imager focusing based on intraoperative data
CA2829626C (en) * 2011-03-10 2020-06-16 Acutus Medical, Inc. Device and method for the geometric determination of electrical dipole densities on the cardiac wall
US9418423B2 (en) * 2011-08-09 2016-08-16 Optovue, Inc. Motion correction and normalization of features in optical coherence tomography
WO2013116240A1 (en) 2012-01-30 2013-08-08 Inneroptic Technology, Inc. Multiple medical device guidance
RU2676435C2 (ru) * 2012-06-22 2018-12-28 Конинклейке Филипс Н.В. Устройство определения полости
US9332959B2 (en) * 2012-06-26 2016-05-10 Covidien Lp Methods and systems for enhancing ultrasonic visibility of energy-delivery devices within tissue
US20140005526A1 (en) * 2012-07-02 2014-01-02 Assaf Govari Catheter with synthetic aperture mri sensor
EP3868283A1 (en) 2012-08-31 2021-08-25 Acutus Medical Inc. Catheter system for the heart
EP2919659B1 (en) 2012-11-19 2021-03-17 Lightlab Imaging, Inc. Multimodal imaging systems
CA2899311C (en) 2013-02-08 2021-05-11 Acutus Medical, Inc. Expandable catheter assembly with flexible printed circuit board (pcb) electrical pathways
US10314559B2 (en) 2013-03-14 2019-06-11 Inneroptic Technology, Inc. Medical device guidance
US9833221B2 (en) 2013-03-15 2017-12-05 Lightlab Imaging, Inc. Apparatus and method of image registration
WO2015003895A1 (en) * 2013-07-08 2015-01-15 Koninklijke Philips N.V. Imaging apparatus for biopsy or brachytherapy
CA2922941C (en) 2013-09-13 2021-11-16 Acutus Medical, Inc. Devices and methods for determination of electrical dipole densities on a cardiac surface
JP2017501798A (ja) 2013-12-19 2017-01-19 カーディアック ペースメイカーズ, インコーポレイテッド 神経組織の位置を特定するシステムおよび方法
JP6739346B2 (ja) 2014-03-25 2020-08-12 アクタス メディカル インクAcutus Medical,Inc. 心臓解析ユーザインタフェースのシステムの作動方法
US9754372B2 (en) 2014-08-15 2017-09-05 Biosense Webster (Israel) Ltd. Marking of fluoroscope field-of-view
US9901406B2 (en) 2014-10-02 2018-02-27 Inneroptic Technology, Inc. Affected region display associated with a medical device
EP4011298A1 (en) 2014-11-18 2022-06-15 C. R. Bard, Inc. Ultrasound imaging system having automatic image presentation
EP3220828B1 (en) 2014-11-18 2021-12-22 C.R. Bard, Inc. Ultrasound imaging system having automatic image presentation
US10188467B2 (en) 2014-12-12 2019-01-29 Inneroptic Technology, Inc. Surgical guidance intersection display
US10593234B2 (en) 2015-05-12 2020-03-17 Acutus Medical, Inc. Cardiac virtualization test tank and testing system and method
CN107847173B (zh) 2015-05-12 2022-08-30 阿库图森医疗有限公司 超声测序系统和方法
CA2984929A1 (en) 2015-05-13 2016-11-17 Acutus Medical, Inc. Localization system and method useful in the acquisition and analysis of cardiac information
US9949700B2 (en) 2015-07-22 2018-04-24 Inneroptic Technology, Inc. Medical device approaches
US9675319B1 (en) 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
CN109715055B (zh) 2016-05-03 2022-01-04 阿库图森医疗有限公司 具有效率算法的心脏标测系统
US10278778B2 (en) 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
CN109937435B (zh) * 2016-11-07 2023-12-08 皇家飞利浦有限公司 用于在绘制的图像中进行模拟光源定位的系统和方法
US11259879B2 (en) 2017-08-01 2022-03-01 Inneroptic Technology, Inc. Selective transparency to assist medical device navigation
EP3510932A1 (en) * 2018-01-11 2019-07-17 Koninklijke Philips N.V. Ultrasound device for in-situ ultrasound imaging
US11484365B2 (en) 2018-01-23 2022-11-01 Inneroptic Technology, Inc. Medical image guidance
US10322671B1 (en) * 2018-05-02 2019-06-18 GM Global Technology Operations LLC System and application for auditory guidance and signaling
US10881353B2 (en) * 2019-06-03 2021-01-05 General Electric Company Machine-guided imaging techniques

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0428354A (ja) * 1990-05-25 1992-01-30 Toshiba Corp 超音波診断装置
JPH0924035A (ja) * 1995-07-13 1997-01-28 Toshiba Corp 超音波及び核磁気共鳴複合診断装置
JPH11313831A (ja) * 1992-02-28 1999-11-16 Toshiba Corp 超音波治療装置
JP2002510230A (ja) * 1997-06-27 2002-04-02 ザ・ボード・オブ・トラスティーズ・オブ・ザ・リーランド・スタンフォード・ジュニア・ユニバーシティ 立体的画像ナビゲーション方法及び装置
JP2002113004A (ja) * 2000-08-18 2002-04-16 Biosense Inc 超音波を使用した3次元的復元

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4821731A (en) 1986-04-25 1989-04-18 Intra-Sonix, Inc. Acoustic image system and method
US4757821A (en) 1986-11-12 1988-07-19 Corazonix Corporation Omnidirectional ultrasonic probe
US4841977A (en) 1987-05-26 1989-06-27 Inter Therapy, Inc. Ultra-thin acoustic transducer and balloon catheter using same in imaging array subassembly
US4945478A (en) * 1987-11-06 1990-07-31 Center For Innovative Technology Noninvasive medical imaging system and method for the identification and 3-D display of atherosclerosis and the like
US5372138A (en) 1988-03-21 1994-12-13 Boston Scientific Corporation Acousting imaging catheters and the like
JPH0323847A (ja) * 1989-06-21 1991-01-31 Toshiba Corp X線ctスキャナ装置
US6347240B1 (en) 1990-10-19 2002-02-12 St. Louis University System and method for use in displaying images of a body part
US5704361A (en) 1991-11-08 1998-01-06 Mayo Foundation For Medical Education And Research Volumetric image ultrasound transducer underfluid catheter system
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
US5687737A (en) 1992-10-09 1997-11-18 Washington University Computerized three-dimensional cardiac mapping with interactive visual displays
US5391199A (en) 1993-07-20 1995-02-21 Biosense, Inc. Apparatus and method for treating cardiac arrhythmias
US5406951A (en) 1993-10-15 1995-04-18 Ten Hoff; Harm Intra-luminal ultrasonic instrument
US5842473A (en) 1993-11-29 1998-12-01 Life Imaging Systems Three-dimensional imaging system
DE29521895U1 (de) 1994-10-07 1998-09-10 St. Louis University, St. Louis, Mo. Chirurgisches Navigationssystem umfassend Referenz- und Lokalisationsrahmen
JP3782107B2 (ja) 1994-11-30 2006-06-07 ボストン サイエンティフィック リミテッド 音響像形成、ドプラーカテーテルおよびガイドワイヤ
US5697377A (en) 1995-11-22 1997-12-16 Medtronic, Inc. Catheter mapping system and method
US5825908A (en) * 1995-12-29 1998-10-20 Medical Media Systems Anatomical visualization and measurement system
EP0812568B1 (en) 1996-06-11 2003-10-22 Roke Manor Research Limited Catheter tracking system
US5724978A (en) 1996-09-20 1998-03-10 Cardiovascular Imaging Systems, Inc. Enhanced accuracy of three-dimensional intraluminal ultrasound (ILUS) image reconstruction
US5908445A (en) 1996-10-28 1999-06-01 Ep Technologies, Inc. Systems for visualizing interior tissue regions including an actuator to move imaging element
US6490474B1 (en) 1997-08-01 2002-12-03 Cardiac Pathways Corporation System and method for electrode localization using ultrasound
US6027451A (en) 1997-09-26 2000-02-22 Ep Technologies, Inc. Method and apparatus for fixing the anatomical orientation of a displayed ultrasound generated image
US6358245B1 (en) 1998-02-19 2002-03-19 Curon Medical, Inc. Graphical user interface for association with an electrode structure deployed in contact with a tissue region
US6159152A (en) 1998-10-26 2000-12-12 Acuson Corporation Medical diagnostic ultrasound system and method for multiple image registration
US6224556B1 (en) 1998-11-25 2001-05-01 Acuson Corporation Diagnostic medical ultrasound system and method for using a sparse array
US6429861B1 (en) 1999-08-03 2002-08-06 Acuson Corporation Method and apparatus for editing 3-D medical diagnostic ultrasound images
DE19946948A1 (de) 1999-09-30 2001-04-05 Philips Corp Intellectual Pty Verfahren und Anordnung zur Bestimmung der Position eines medizinischen Instruments
DE19961093A1 (de) * 1999-12-17 2001-06-21 Siemens Ag Verfahren zur Erzeugung eines resultierenden Schnittbildes aus mehreren mittels eines Computertomographie(CT)-Geräts aufgenommenen Schnittbildern
US6610007B2 (en) * 2000-04-03 2003-08-26 Neoguide Systems, Inc. Steerable segmented endoscope and method of insertion
US6450964B1 (en) 2000-09-05 2002-09-17 Advanced Cardiovascular Systems, Inc. Imaging apparatus and method
AU2002359444A1 (en) * 2001-11-21 2003-06-10 Viatronix Incorporated Imaging system and method for cardiac analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0428354A (ja) * 1990-05-25 1992-01-30 Toshiba Corp 超音波診断装置
JPH11313831A (ja) * 1992-02-28 1999-11-16 Toshiba Corp 超音波治療装置
JPH0924035A (ja) * 1995-07-13 1997-01-28 Toshiba Corp 超音波及び核磁気共鳴複合診断装置
JP2002510230A (ja) * 1997-06-27 2002-04-02 ザ・ボード・オブ・トラスティーズ・オブ・ザ・リーランド・スタンフォード・ジュニア・ユニバーシティ 立体的画像ナビゲーション方法及び装置
JP2002113004A (ja) * 2000-08-18 2002-04-16 Biosense Inc 超音波を使用した3次元的復元

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006305361A (ja) * 2005-04-26 2006-11-09 Biosense Webster Inc 超音波システム用のビーム方向を用いたカテーテル先端部の表示
JP2006305357A (ja) * 2005-04-26 2006-11-09 Biosense Webster Inc 超音波データと事前取得イメージの重ね合わせ
US10143398B2 (en) 2005-04-26 2018-12-04 Biosense Webster, Inc. Registration of ultrasound data with pre-acquired image
JP2007029335A (ja) * 2005-07-26 2007-02-08 Aloka Co Ltd 超音波画像形成システム
JP2008183398A (ja) * 2006-12-08 2008-08-14 Biosense Webster Inc 超音波データ収集を示すための電気解剖学的マップの着色
JP2009131632A (ja) * 2007-11-29 2009-06-18 Biosense Webster Inc 解剖学的構造の閃光撮影写真図
US10299753B2 (en) 2007-11-29 2019-05-28 Biosense Webster, Inc. Flashlight view of an anatomical structure
JP2012130702A (ja) * 2010-12-22 2012-07-12 Biosense Webster (Israel) Ltd 超音波変換器を備える輪縄式カテーテル
US9308041B2 (en) 2010-12-22 2016-04-12 Biosense Webster (Israel) Ltd. Lasso catheter with rotating ultrasound transducer
US9192356B2 (en) 2011-02-03 2015-11-24 Kabushiki Kaisha Toshiba Ultrasound diagnosis apparatus
JP2019536523A (ja) * 2016-11-08 2019-12-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 心臓における心臓電気生理学信号のリアルタイム作成のためのシステム及び方法
JP7171558B2 (ja) 2016-11-08 2022-11-15 コーニンクレッカ フィリップス エヌ ヴェ 心臓における心臓電気生理学信号のリアルタイム作成のためのシステム及び方法

Also Published As

Publication number Publication date
WO2003107251A2 (en) 2003-12-24
EP1514214A2 (en) 2005-03-16
US20030231789A1 (en) 2003-12-18
CA2486718A1 (en) 2003-12-24
AU2003234685A1 (en) 2003-12-31
AU2003234685A8 (en) 2003-12-31
US7477763B2 (en) 2009-01-13
WO2003107251A3 (en) 2004-07-08

Similar Documents

Publication Publication Date Title
US7477763B2 (en) Computer generated representation of the imaging pattern of an imaging device
US8527032B2 (en) Imaging system and method of delivery of an instrument to an imaged subject
US8364242B2 (en) System and method of combining ultrasound image acquisition with fluoroscopic image acquisition
EP1779802B1 (en) Controlling direction of ultrasound imaging catheter
US8428690B2 (en) Intracardiac echocardiography image reconstruction in combination with position tracking system
KR101553212B1 (ko) 도플러 초음파를 사용하는 3차원 이미지 복원
CN1853574B (zh) 超声数据以预获取图像的配准
EP2064991B1 (en) Flashlight view of an anatomical structure
AU2006201646B2 (en) Display of catheter tip with beam direction for ultrasound system
US20080287805A1 (en) System and method to guide an instrument through an imaged subject
US20080287783A1 (en) System and method of tracking delivery of an imaging probe
US7940972B2 (en) System and method of extended field of view image acquisition of an imaged subject
KR20060112243A (ko) 2―차원적 초음파 팬의 디스플레이
KR20060112241A (ko) 초음파 윤곽부 재구성을 이용한 3―차원적 심장 이미징
KR20060112240A (ko) 초음파를 사용하여 미리―획득한 이미지를 갖는전기해부학적 맵의 기록
US20170095226A1 (en) Ultrasonic diagnostic apparatus and medical image diagnostic apparatus
KR20060112242A (ko) 초음파 윤곽부의 재구성을 이용한 3―차원적 심장 이미징용소프트웨어 제품
JP2008535560A (ja) 身体ボリュームにおける誘導介入的医療デバイスのための3次元イメージング
JP2006521146A (ja) 広いビューの三次元超音波イメージングにより侵襲的医療装置を案内する方法及び装置
JP2006523115A (ja) 結合された三次元超音波イメージングシステムを用いて侵襲的医療装置を案内する方法
KR20070026135A (ko) 생리학적 데이터를 사용한 복합양식 이미지의 세그먼트화및 등록
US20130184590A1 (en) Method and apparatus for orienting a medical image
KR20110078274A (ko) 이미지 정합을 이용한 혈관 치료용 마이크로 로봇의 위치 추적 방법
EP4108182A1 (en) Reconstructing a 4d shell of a volume of an organ using a 4d ultrasound catheter
KR20110078271A (ko) 전자기 센서를 통합한 혈관 내 초음파 프로브

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081024

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090108

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090420

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090427

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090519

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090526

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090817