JP2006521147A - 三次元超音波イメージングにより侵襲的医療装置を案内する方法及び装置 - Google Patents

三次元超音波イメージングにより侵襲的医療装置を案内する方法及び装置 Download PDF

Info

Publication number
JP2006521147A
JP2006521147A JP2006506334A JP2006506334A JP2006521147A JP 2006521147 A JP2006521147 A JP 2006521147A JP 2006506334 A JP2006506334 A JP 2006506334A JP 2006506334 A JP2006506334 A JP 2006506334A JP 2006521147 A JP2006521147 A JP 2006521147A
Authority
JP
Japan
Prior art keywords
medical device
ultrasound
invasive medical
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006506334A
Other languages
English (en)
Inventor
サルゴ,イヴァン
サヴォード,バーナード
スカンピニ,スティーヴン
ペズィンスキ,マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2006521147A publication Critical patent/JP2006521147A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00694Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A61B2017/00703Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body correcting for movement of heart, e.g. ECG-triggered
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

三次元超音波診断イメージングシステムは、三次元で侵襲的医療装置(30)の操作を案内又は観察するように操作される。インターベンショナルシステム(20)が侵襲的医療装置(30)を操作するために使用され、侵襲的医療装置(30)のアクティビティに関する空間ベースの情報を生成する。インターベンショナルシステム(20)からの空間ベースの情報は、侵襲的医療装置(30)又はそのアクティビティのライブ三次元画像を生成するために三次元超音波画像データに結合される。一実施形態においては、侵襲的医療装置(30)のアクティビティが実行される位置は三次元超音波画像の状態で記録され、表示される。三次元超音波画像は解剖学的なボリュームレンダリングされた画像として又は解剖学的構造のワイヤフレームモデル(130)として示されることが可能である。他の実施形態においては、統合された三次元超音波イメージング及び侵襲的装置システムについて開示している。

Description

本発明は、超音波診断イメージングに関し、更に詳細には、身体における侵襲的(インターベンショナル)医療装置の配置及び操作を案内する三次元診断イメージングの使用に関する。
超音波イメージングは、身体内に医療装置及び機器の挿入、使用又は操作をイメージングするために一般に用いられる。そのような超音波イメージングは、一般的に、生検処置において使用される。超音波プローブは、疑わしい腫瘍又は嚢胞のようなその方法の対象の病態をイメージングするために用いられる。プローブは、病態が画像平面において視認されるまで操作される。プローブのための生検針アタッチメントは、画像平面内における及び病態の方に生検針の挿入を案内する。臨床医は、超音波画像におけるその針の移動を追跡し、その針の先端が病態に達するまで、画像平面内にその針を及びプローブを静止したまま保つように注意する。検体は針により抽出され、針は身体から引き出される。超音波イメージングは、それ故、身体中における針の移動を案内し、生検処置の処理を観察するために用いられる。
生検針は、イメージングプローブを相互作用するそれ自体の超音波送信器又は受信器と共に設計されてきた。そのような超音波応答針は、針およびイメージングプローブが互いに信号を送ることを可能にし、針及びその先端が超音波画像平面においてよりはっきりと識別されることを可能にする。超音波応答可能生検針については、例えば、米国特許第5,158,088号明細書に記載されている。
プレーナイメージング技術は、その方法についての内側の限定された単一のビューを提供する点で限定されている。臨床医又は外科医が、より良好に案内し且つ操作することができる方法についてのサイトのビューのより大きいフィールドを提供することが望ましい。改善されたイメージングは生検処置を支援し、又、ステント及びカニューレの配置のような侵襲的処置の広い領域に亘る処置と、管の拡張又は切除と、内部組織の加熱又は冷凍を含む処理と、バルブ及びリングのような人工装置又は放射性シードの配置と、ペースメーカー、植込み型除細動器、電極及びのガイドワイヤのような装置の配置のための管を通るカテーテル又はワイヤの案内と、縫合糸、ステープル及び化学的/遺伝子センシング電極の配置と、ロボット型外科装置の操作の案内と、内視鏡的且つ低侵襲的処置案内とを容易にする。超音波誘導は、このように、心臓、肺、中枢及び抹消神経系処置、胃腸の、筋骨格の、婦人科の、泌尿器科の、眼科の及び耳鼻咽喉科の処置を含む侵襲的又はインターベンショナル臨床の広い適用範囲において広範に使用することができる。
本発明の原理に従って、三次元超音波イメージングは、上記の列挙した医療装置のような侵襲的(インターベンショナル)医療装置を配置し及び/又は使用する際の案内又はモニタリングのために用いられる。一実施形態においては、インターベンショナル装置又はそのアクティビティの位置は、三次元超音波画像システム及びインターベンショナルシステムの両方からの情報をまとめる三次元超音波画像に記録される。まとめられた画像は、超音波システム、インターベンショナルシステム、超音波イメージング装置及びインターベンショナル装置が組み合わされたシステムにおいて見ることが可能である。本発明の他の特徴に従って、インターベンショナル装置の軌跡は、インターベンショナル装置の案内又は使用についてのディスプレイの大きいフレームレート及び高精度の視認性のために周囲のボリュームより、より詳細にスキャンされる。本発明の他の特徴に従って、侵襲的処置の結果は三次元超音波画像データから導き出された三次元基準システムに記録される。
先ず、図1を参照するに、侵襲的装置及び処置を案内又はモニタリングするための三次元超音波イメージングの使用について、部分ブロック図で示している。図1の左側には、二次元アレイトランスジューサを有するプローブ10を有する三次元(3D)超音波イメージングシステムがある。トランスジューサアレイは、超音波取得サブシステム12の制御下でボリューム視野に亘って超音波ビームを送信し、超音波取得サブシステム12に結合され、それにより処理される送信ビームに応じるエコーを受信する。トランスジューサアレイの要素により受信されるエコーは超音波取得サブシステムによりコヒーレントなエコー信号に結合され、それらが受信される座標(径方向送信パターンに対して、r、θ、φ)と共にエコー信号が3D画像処理器14に結合される。3D画像処理器は、ディスプレイ18上に表示される三次元超音波画像にエコー信号を処理する。超音波システムは、実行されるべき意イメージングの特性をユーザが規定する制御パネル16により制御される。
又、図1に、インターベンショナル装置システムを示している。インターベンショナル装置システムは、身体内で機能を実行する侵襲的(インターベンショナル)装置30を有する。図1においては、インターベンショナル装置はカテーテルとして示されているが、それは又、例えば、針、解剖機器、ステープラー又はステント供給、電気生理学、バルーンカテーテル、高強度超音波プローブ、ペースメーカー又は細動除去器リードのような治療装置、IVUS、光学カテーテル又はセンサのような診断又は測定装置、若しくは身体内で操作される又は動作する何れの他の装置等の他の装置又は機器であることが可能である。インターベンショナル装置30は、身体内のインターベンショナル装置の配置及び操作を機械的に支援することが可能であるガイダンスサブシステム22により操作される。インターベンショナル装置30は、例えば、インターベンショナルサブシステム20の制御下で所定の位置にアイテムを置く、測定する、照明する、加熱する、冷凍する、又は組織を切るような所定の機能を実行するように操作される。インターベンショナルサブシステム20は又、例えば、光学又は音響画像情報、温度の、電気生理学の又は他の測定情報、若しくは侵襲的操作の完全性について信号を送る情報のような、実行される処置におけるインターベンショナル装置からの情報を受信する。ディスプレイのために処理することができる情報は表示処理器26に結合される。インターベンショナル装置は又、身体内の機能チップの位置として情報を提供するために用いられる位置センサ32を有することが可能である。能動位置センサ32は、音響、光、高周波又は電磁スペクトルにおいて信号を送信又は受信することにより動作することが可能であり、その出力は装置位置測定サブシステム24に結合される。代替として、能動位置センサ32は、例えば、プローブ10により送信される超音波エネルギーを非常に反射する回折格子のような受動装置であることが可能である。インターベンショナル装置の位置情報は、身体内のインターベンショナル装置の位置に関する情報を処理又は表示のために適切であるとき、表示処理器26に結合される。インターベンショナル装置の機能又は操作に適切な情報がディスプレイ28に表示される。インターベンショナル装置システムは、制御パネル27を介してユーザにより操作される。
図1の実施形態においては、侵襲的装置30は、心臓100の左心室102の壁における機能を実行しているカテーテルとして示されている。左心室の心内膜壁の十分な範囲が、3D超音波イメージングシステムのボリューム視野120の三次元超音波イメージングにより視認可能である。インターベンショナル装置30の機能チップは、例えば、心内膜のイメージング又は分類のためのX線、高周波又は超音波装置、心内膜の診断測定を行う生理的又は温度センサ、心内膜の損傷を処理する切除装置、若しくは電極のための配置装置を有することが可能である。インターベンショナル装置のチップが、そのような機能がガイダンスサブシステム22の操作により実行される心臓壁のポイントの方に操作される。インターベンショナル装置は、次いで、例えば、処置の時点でセンサ32から信号を送信又は受信する装置位置測定サブシステム24により処置が実行される位置選定と、インターベンショナルサブシステム20により意図された処置を実行するように命令される。
侵襲的処置は、三次元超音波システムを使用することにより、その処置の場所であって、上記の例においては左心室の壁を視覚化することによりその処置を簡単にモニタリングすることにより支援されることが可能である。侵襲的装置30が身体中で操作されるにつれ、装置が操作される三次元環境は、オペレータが身体中におけるオリフィス及び管のターン及びベンドを予測し、所望の処置の場所にインターベンショナル装置の機能チップを適切に置くことを可能にする。侵襲的装置の近傍においてインターベンションを案内するに十分である細部の解像度を伴って、全体のナビゲーションを提供するために大きい視野を見ることが必要である。オペレータは、プローブのボリューム視野内にインターベンショナル装置30を常に保つようにプローブ10を操作し、再位置決めすることができる。好適な実施形態においては、機械的に掃引されるトランスジューサではなく、プローブ10は電子的に方向付けられたビームを即座に送信し、受信する二次元アレイを有するために、リアルタイムの三次元超音波イメージングが実行され、インターベンショナル装置及びその処置は三次元において連続的且つ適切に観測される。
本発明のこの第1実施形態の更なる特徴に従って、信号経路42は、インターベンショナル装置及びイメージングシステムの同期化を可能にするためにインターベンショナル装置システムの装置位置測定サブシステム24及び超音波システムの超音波取得サブシステム12を接続する。この同期化は、一の装置が他の装置と干渉する場合、画像取得及びインターベンショナル装置操作が異なる時間インターリーブされたインタバルにおいてなされるようにする。例えば、インターベンショナル装置30が心臓壁又は管壁の音響イメージングを実行する場合、それらの音響インタバルは、それらが3Dイメージングプローブ10からの音響送信により乱されないときに生じることが好ましい。プローブ10からのイメージング信号と干渉する切除又はある他の処置に対してインターベンショナル装置が高エネルギー信号を送信しているときに、イメージングを中断することが好ましい。同期化は又、超音波システムが、3D超音波画像において示されるインターベンショナル装置の位置の強調表示を有する3D超音波画像を生成するときにインターベンショナル装置に位置情報を要求し、インターベンショナル装置からその情報を受信することを可能にする。超音波システムは又、下で更に詳細に説明するように、将来の基準に対してインターベンショナル装置により実行される処置の位置を超音波システムが記録するときにインターベンショナル装置から位置情報を要求し、インターベンショナル装置からその情報を受信することが可能である。
本発明の第1実施形態の他の特徴に従って、画像データは、両方のシステムからの情報を有する3D画像の生成に対するインターベンショナル装置システムの表示処理器26と超音波システムの3D画像処理器14との間の信号経路44において交わされることが可能である。これは、超音波システムにより生成される3D超音波画像の一部として、インターベンショナル装置システムにより生成されるインターベンショナル装置30の画像の表示を可能にする。そのような両方のシステムのイメージング能力の融合は、医師が、インターベンショナル装置システムにより生成される装置画像データと超音波システムにより与えられるビューの広い三次元フィールドにより支援されるインターベンショナル装置を案内し且つ利用することを非常に可能にする。
図2は、三次元超音波プローブが経胸腔プローブとして用いられるときの本発明の実施について示している。この実施例においては、胸郭110、112の背後の部分アウトラインで示している心臓100は、胸郭の左側の後に位置している。心臓及びクロスハッチングの模様が付けられた部分におけるアウトラインは心臓100の左心室102である。左心室は、一部の小児科の患者に対しては最も下の肋骨112の下方から上方にスキャンすることにより、及び大人の患者に対しては肋骨110、112の間から心臓をスキャンすることにより、超音波イメージングのためにアクセスすることができる。プローブ10は、プローブ10によりスキャンされるビューのボリュームフィールドのアウトライン120により示しているように、心尖104から心臓をスキャンする。図2に示すように、左心室102は、肋骨110、112間から方向付けられたボリュームフィールドにより十分に取り囲まれ、スキャンされることができる。
この実施形態は、ビューの円錐状フィールドにおけるボリューム領域120のフェーズアレイスキャンを示している一方、当業者は又、ビューの四角又は六角錐状フィールドをスキャンするフォーマットのような他のスキャンフォーマットを用いることが可能であることを認識するであろう。経胸腔プローブ以外のプローブが、経食道プローブ、膣プローブ又は直腸プローブのような体腔内プローブ及び方―テル搭載トランスジューサプローブのような脈管間プローブ等の三次元スキャンに対して用いられることが可能であることが又、理解されるであろう。電気的にスキャンされる二次元アレイトランスジューサが好適である一方、機械的スキャンアレイは、腹部処理のような一部の適用に対して好適である。
図3は、図1の3D超音波システムの構成要素の一部を更に詳細に示している。二次元アレイトランスジューサ50の要素は複数のマイクロビームフォーマ62に結合されている。マイクロビームフォーマはアレイトランスジューサ50の要素により超音波の透過を制御し、それらの要素の群に戻るエコーを部分的にビーム整形する。マイクロビームフォーマ62は、好適には、集積回路の形に製造され、アレイトランスジューサ近くのプローブ10のハウジング内に位置している。マイクロビームフォーマ、又はそれらがしばしば呼ばれる、サブアレイビームフォーマについては、米国特許第6,375,617号明細書及び米国特許第5,997,479号明細書に更に詳細に記載されている。プローブ10は又、トランスジューサ位置検出器54にプローブ10の位置を表す信号を供給する位置センサ52を有することが可能である。位置センサ52は、磁気、電磁気、高周波、赤外センサ、又は電圧インピーダンス回路により検出される信号を送信するセンサのような他のタイプのセンサであることが可能である。検出器54により生成されるトランスジューサ位置信号56は、両方のシステムからの情報を有する、空間的に調整された画像の形成のために有用であるとき、インターベンショナル装置システムに結合され、又は、超音波システムにより用いられることが可能である。
マイクロビームフォーマ62により生成された、部分的にビーム整形された信号は、ビーム整形処理が完了したビームフォーマ64に結合される。ビームに従った、結果として得られたコヒーレントなエコー信号は、フィルタリング、振幅検出、ドップラ信号検出及び信号処理器66による他の処理により処理される。エコー信号は、次いで、画像処理器68によりプローブの座標系(例えば、r、θ、φ)における画像信号に処理される。画像信号は、スキャン変換器70により好ましい画像フォーマット(例えば、x、y、zの直交座標)に変換される。三次元画像データは、選択された視線方向から見るボリューム領域120の三次元ビューをレンダリングするボリュームレンダラ72に結合される。ボリュームレンダリングについては当該技術分野で周知であり、米国特許第5,474,073号明細書に記載されている。ボリュームレンダリングは又、米国(Alistair Dow及びPaul Detmerにより2001年12月19日に出願された米国特許出願公開第10/026,966号明細書)で記載された、スキャン変換されなかった画像データにおいて実行されることが可能である。二次元イメージング中に、画像平面データはボリュームレンダラにバイパスをつけ、ディスプレイ18の要求に適合する映像ドライブ信号を生成する映像処理器76に、直接、結合される。ボリュームレンダリングされた3D画像は又、表示のために映像処理器76に結合される。システムは、リアルタイムにイメージングされた解剖学的構造の動的流れ又は動きを示す一連のボリュームレンダリングされた画像又は個別のボリュームレンダリングされた画像を表示する。更に、二次元レンダリングは僅かにオフセットされた視線方向から設定されたボリュームデータについてなされ、その2つのボリュームレンダリングは米国特許出願公開第60/43,096号明細書(“Method and Apparatus to Display 3D Rendered Ultrasound Data on an Ultrasound Cart in Stereovision”と題され、Jonathan Sielにより2002年12月3日に出願された)に記載されている立体ディスプレイに同時に表示されることができる。グラフィック処理器74は、画像フィールド内の組織の境界の検出又はインターベンショナル装置のチップの視覚的強調のような、グラフィックスの生成及び分析のための画像処理器68からスキャンされず且つ変換されない画像データか又はスキャン変換器70からスキャンされ且つ変換された画像データのどちらかを受信する。視覚的強調は、例えば、装置のチップをイメージングするために、強調された又は特異な輝度、色又はボリュームレンダリング処理により与えられることが可能である。結果として得られるグラフィックスは、表示のために画像を調整し且つその画像と重ね合わされる映像処理器に結合される。
図4は、本発明の他の実施形態について示している。この実施形態は、プローブ10からインターベンショナル装置システムの装置位置測定サブシステム24への接続46がある点で、図1の実施形態とは異なる。この実施形態においては、プローブ10は位置センサ52を有する。超音波システムにおけるトランスジューサ位置検出器54によるプローブ位置信号の処理ではなく、その信号は、インターベンショナル装置30からの一信号を処理する同じサブシステムにより処理される。それらの2つの位置信号は、インターベンショナル装置及びプローブの位置の直接的相互関係が、インターベンショナル装置システムにより実行され、2つのシステムの座標化されたイメージングのために用いられることが可能である。
図5は、インターベンショナル装置30の位置がプローブ10により検出される位置技術について示している。図5においては、インターベンショナル装置30において位置付けられたトランスジューサ32は、トランスジューサアレイ50の3つの要素51、51´、51"により受信される音響パルスを送信する。要素51及び51´は既知の距離a及びbだけ要素51"から間隔を置いて離れている。3つの要素におけるインターベンショナル装置からパルスが到達する時間を測定することにより、アレイトランスジューサ50に対するトランスジューサ32の位置は三角測量により算出されることができる。これはコンピュータにより、次式のように実行され、
x_position=(a+ν(t −t ))/2a
y_position=(b+ν(t −t ))/2b
z_position=√(ν −x_position−y_position
ここで、tは要素51"へのパルスのフライト(flight)の時間であり、tは要素51へのフライト(flight)の時間であり、tは要素51´へのフライト(flight)の時間であり、νは身体における音速(約1550m/sec)である.
図6は、イメージングプローブ10からの超音波パルスがインターベンショナル装置30におけるトランスジューサ32により受信されるインターベンショナル装置の位置を位置付けるための技術について示す図である。トランスジューサ32はプローブ10からのパルスを聞く。トランスジューサ32へのフライトの最短時間又は最も大きい信号を有する送信ビームは、トランスジューサアレイ50に対するトランスジューサ32の方向に一致している。プローブ10とトランスジューサ32との間の距離Rは送信されたパルスのフライトの時間により決定される。この実施形態においては、接続46又は同期化ライン42は、超音波システムとインターベンショナル装置システムとの間の送信及び/又は受信情報の時間を交わすために用いられる。
超音波トランスジューサを有するインターベンショナル装置を、他の位置情報を与えるために用いることができる。例えば、インターベンショナル装置が装置の遠心端に送信する又はそれから受信することができる超音波トランスジューサを有する場合、トランスジューサは、対象の組織又は組織境界面からのエコーを受信し、パルスを分類且つ送信するためであって、それにより、送受信インタバルのフライト時間から近い解剖学的構造と装置の遠心端との間の距離をモニタリング、測定又は表示するために用いられることができる。そのような装置の一実施形態においては、オペレータは三次元画像における対象組織に接近する装置を視覚的に観察することができ、又、装置と組織との間の距離の測定について観察することができる。そのような距離測定は、例えば、センチメートル単位で又はMモード表示のような量子化表示の状態で数値的に表示されることができる。そのMモード表示においては、その組織と装置との順次の接近していく様子が時間のインタバルに亘って観測される。
インターベンショナル装置の位置は又、超音波システムにおける信号及び/又は画像処理技術により所望される場合に検出されることが可能である。例えば、米国特許第4,401,124号明細書に記載されている回折格子のようなインターベンショナル装置30における高反射要素を、インターベンショナル装置からの戻る、明確に特定可能なエコーを生成するために用いることが可能である。代替として、インターベンショナル装置が過度の鏡面反射特性を有する場合、粗い又は吸収性表面を有する装置のような、超音波エネルギーのより良好な散乱及び/又は吸収を与える装置を使用することが好ましい。これは、システムの粒度が3D画像における組織構造のより良好な規定のために増大されることを可能にする一方、同時に、インターベンショナル装置は、明るく、強く反射されるエコーを有する画像を圧倒することはない。他の代替においては、インターベンショナル装置のチップは、米国特許第5,095,910号明細書に記載されているドップラ折り返しを生成するように、振動するようにされる。インターベンショナル装置においてトランスジューサを用いる他の実施形態については、米国特許第5,158,088号明細書及び米国特許第5,259,837号明細書において記載されている。米国特許第6,332,089号明細書に記載されているような、磁界コイルのような侵襲的装置のための他の種類のセンサを用いることが可能である。
インターベンショナル装置の3D超音波イメージングを実行するときの困難性の1つは、ビューの広い又は深いボリュームフィールドが、移動経路の環境における装置及び処置を適切にイメージングするために、通常、必要とされることである。このことは、著しく多くの数のビームが、空間エイリアジングを有せず、所望の分解能を有するビューのボリュームフィールドを適切にスキャンするために送信及び受信される必要がある。更に、ビューのフィールドの深さは、送信されるパルスと受信されるエコーの著しい移動時間を必要とする。それらの特性は、身体における音の速度を支配する物理法則により指定されるとき、回避されることが可能である。従って、三次元のフル画像を取得するために非常に多くの時間が必要とされ、表示のフレームレートは、しばしば、所望されたものより小さい。図7は、このようなジレンマの一解決方法を示しており、その解決方法は、ビューの広いフィールドのアウターリーチにおいて用いられる場合よりインターベンショナル装置30の近傍において異なるスキャン方法を用いるようになっている。図示されている実施例においては、インターベンショナル装置の位置は上記の技術の1つにより決定される。この情報は、超音波取得サブシステム12に通信され、そのとき、次いで、インターベンショナル装置30周囲のボリューム領域122においてより大きいビーム密度を送信する。ビュー120のボリュームフィールドの残りにおいては、更に広く間隔を置いた送信ビームが用いられる。広く間隔を置いた送信ビーム間の間隔は、必要に応じて、合成エコー信号を補間することにより満たされることが可能である。この技術により、インターベンショナルプローブを取り囲んでいるボリューム領域122は、高分解能及び高解像度を伴って示され、医師が処置の位置に装置を適切に案内し且つその位置において装置を使用することを可能にする。残りのボリューム空間は、より低い分解能であるが、周囲の組織におけるインターベンショナル領域及び処置を位置合わせするには十分であるように示される。インターベンショナル装置のボリューム領域内のビーム密度は、不均一に低いビーム密度を伴ってスキャンされる周囲の空間を共に均一で高い密度である。代替として、最も高いビーム密度は、インターベンショナル装置からの距離が大きくなるにつれて減少するビーム密度を伴って、装置センサ32の近傍において使用される。インターベンショナル装置30の位置を連続して追跡することにより、ボリューム領域122は、インターベンショナル装置30の位置に空間的に対応する必要に応じて、定期的に再規定される。
使用されることが可能であるビーム密度における他の変形は、インターベンショナル装置の近傍における及び周囲のボリュームにおける異なるオーダーの受信マルチラインを使用することである。マルチラインのオーダー及び送信ビーム密度における変化を、一緒に又は分離して用いることができる。例えば、同じ空間送信ビーム密度をスキャンボリューム全体に亘って使用することができるが、より高いオーダーのマルチライン(各々の送信ビームに対して異なるように操作される非常に多くの受信ライン)は、インターベンショナル装置の領域におけるより詳細な画像を生成するように周囲のボリュームにおけるよりインターベンショナル装置の近傍において使用される。第2実施例として、インターベンショナル装置の近傍において使用される場合より、より低い空間送信ビーム密度が周囲のボリュームにおいて使用される。より高いオーダーのマルチラインが、次いで、各々の送信ビームに対する比較的少ない数の受信マルチラインを有する送信ビーム軸間のより小さい間隔を満たすようにインターベンショナル装置の近傍において使用される。このような後者の方法は、更に精細なビューが所望されるインターベンショナル装置の近傍における送信ビーム軸からの各々の受信マルチラインの距離の関数としてエコー強度変化のマルチラインアーティファクトを低減する。
図8乃至13は、この3Dフレームレートの低下の問題を処理するための他の技術の表示99について示している。図8においては、インターベンショナル装置30の3D軌跡は高ビーム密度及び/又はフレームレートでスキャンされる。ボリューム領域82が、ビュー80のより広いプレーナフィールドを有する同じ表示99において示されている。その平面80は、装置30のボリューム領域82のビーム密度より低いビーム密度又は低い周波数でスキャンされることが可能である。異なるオーダーのマルチライン受信を又、採用することが可能である。より低いビーム密度を用いて領域80をスキャンすることは、より大きいボリューム又は面積が、より高いビーム密度のボリューム82をスキャンするのに必要とされるのと同じ数の送受信周期でスキャンされることができることを意味している。このようにして、より広いビューのフィールドを、より低いビーム密度を用いてスキャンすることができ、図8に示しているフル画像のフレームレートを増加させることができる。アウトライン82´は、画像平面80に関するインターベンショナル装置ボリューム82の位置を示している。図9においては、より広いビューのフィールドは、個別のインターベンショナル装置ボリューム82のビーム密度及び/又はフレームレートより小さいビーム密度及び/又はフレームレートを有する3D画像84により与えられる。より大きいボリュームの画像84に関連するインターベンショナル装置ボリューム82の位置はアウトライン82´により示されている。図10においては、インターベンショナル装置ボリューム82は画像平面80に関連する正確な空間位置に示されている。図11においては、インターベンショナル装置ボリューム82は、図7に示す方法による、より容易にサンプリングされるボリューム84における真の空間位置に示されている。
図12は、脈管構造404、406の系の三次元超音波画像の表示を示している。ステントの配置のようなインターベンショナル処置は画像の状態で記録される位置410において実行された。位置410は、ステントの設定の時間においてインターベンショナル装置の位置を検出することによりマーキングされ、その後、身体中の記録される空間位置において連続的に示される。三次元画像400はステントの軌跡の広範囲のビューを与え、ボリューム領域400の平面402のビーム密度及び/又はフレームレートより小さいビーム密度及び/又はフレームレートを用いて生成される。平面402の画像は、ビューのボリュームフィールドに隣接して示され、位置マーカー410を有する。より高いビーム密度及び/又はより高いフレームレートを用いてこの画像平面402をスキャンすることにより、医師は、インターベンショナル処置の結果をより良好に観察することができる。更に、処置場所の位置410に特定の画像408がディスプレイに示されている。このディスプレイは、典型的には、例えば、EKGトレース、スペクトルドップラディスプレイ、Mモードディスプレイ又はカラーMモードディスプレイのような時間に基づくディスプレイであり、それらの全ては時間の関数として生理学的情報を与える。
図13は、図9及び図11に示している技術を用いた表示99を示している。この表示の広いビューのフィールドにおいては、より低いビーム密度及び/又はフレームレートでスキャンされる三次元の六角錐画像300は脈管構造系12の拡張を示している。脈管構造におけるポイントにおいて処置を実行するインターベンショナル装置12が、より高解像度のボリューム領域306の状態で示されている。インターベンショナル装置ボリューム306は又、処置のポイントがより詳細に示されている拡大されたビュー308における同じ表示の状態で分離されて示されている。この実施形態は上記の実施形態の特徴の幾つかと結合される。当業者は、他の変形が容易に生じることを理解できるであろう。
図14は、侵襲的処置領域の結果が三次元超音波画像の状態で記録される、本発明の実施形態について示している。この図は、心臓壁における損傷を切除する機能チップを有するカテーテル30を示している。各々の損傷が処置されるとき、その処置の位置は上記のインターベンショナル装置検出技術の1つ又は位置センサ32を使用することによりマーキングされる。カテーテルの位置を検出するための他の技術は、身体において空間電圧勾配を生成するように身体の他方側に異なる電圧の電極を適用するようにする。センサ32は、勾配電界中のその位置におけるインピーダンスを検出する。その位置はカテーテルの機能チップの空間位置に対応する。異なる時間及び身体の位置において複数の電極を使用することにより、その機能チップの位置が三次元的にセンシングされることができる。それらの処置における位置はメモリに記憶され、心臓壁のような処置がなされる一般領域をマッピングするために用いられることができる。本発明の更なる特徴に従って、処置された位置の情報は、図14における円形マーカー92、94により示されている心内膜壁における処置の位置を視覚的にマーキングするように三次元超音波画像データと結合される。一連のライブの三次元超音波画像を記録することは、インターベンショナル装置のアクティビティばかりでなく、処置の履歴及び進行状況を記録することができる。
図15は、処置の進行状況及び履歴が、処置されている解剖学的構造のモデルであって、この場合、ワイヤフレームモデルについて記録される。このワイヤフレームモデル130は左心室の心臓壁であり、米国特許第6,491,636号明細書(Chenal等による)、米国特許第5,601,084号明細書(Sheehan等による)又は欧州特許第0961135号明細書(Mumm等による)に記載されている三次元データ集合の境界検出により形成されることが可能である。処置の手順が心臓壁の特定のポイントにおいて実行されるにつれて、その位置は、上記のインターベンショナル装置検出技術の1つ又はセンサ32を使用することにより検出される。それらの位置132、134、136は、次いで、3Dワイヤフレームモデル130に関して適切な空間位置の状態で記録され、このとき、それらは一意の色又は強度として表すことが可能である。ワイヤフレームモデルは、動いている心臓と対応するように動くライブのリアルタイムモデルであり、それは、心臓収縮の終了時及び心臓拡張の終了時に心臓の形の中間の心臓を表すことが可能であり、又は、それは、心臓拡張の終了時の最大拡張の瞬間における心臓のワイヤフレームモデルであることが可能である。
図16は、3つの方法であって、インターベンショナル装置30と心臓のライブの三次元画像100と、心臓の行っている処置のチャンバのワイヤフレームモデル130と、及インターベンショナル装置30により指定された心臓のポイントにおいて取られる複数のECGトレース140とにおける心臓情報を示す表示スクリーン99を示している。個別のECGトレースはラベリングされ、色付けされ、又はそれらが取得された位置との対応を示すある他の方法において視覚的に指定されることが可能であり、それらの位置は又、三次元超音波画像100、ワイヤフレームモデル130又はそれら両方におけるマーカーにより示されることが可能である。そのようなディスプレイは、ライブ処置と、実行される処置の視覚的記録と、処置の場所において取得される測定データとを視覚的にモニタリングすることが可能である。
図17乃至21は、超音波システムにより取得された三次元超音波画像データを、例えば、位置及び画像データのようなインターベンショナル装置の空間に基づくデータと結合することができる幾つかの方法を示すフロー図である。図17の処理においては、取得された3D超音波データは、段階202において3D超音波画像を生成するために超音波システムによりレンダリングされたボリュームである。段階204においては、ボリュームをレンダリングされた超音波画像及びアレイトランスジューサ50又はプローブ10の位置を特定するデータがインターベンショナルシステムに送信される。段階206においては、3D超音波画像は、インターベンショナルシステムのデータの基準のフレームに変換される。これは、インターベンショナルシステムデータの座標のスケーリングを適合させるために3D超音波画像の座標データを再スケーリングする手順を有することが可能である。一旦、超音波画像データが変換されると、超音波画像及びインターベンショナル装置データは、プローブ及びインターベンショナル装置座標情報と位置合わせされ(段階208)、インターベンショナル装置及び/又はその処置に関する空間的に正確な情報を有する表示28のための統合された三次元画像を生成するために結合される(段階210)。
図18の処理においては、3D超音波画像データの初期のボリュームレンダリングはない。それに代えて、その処理は、直交座標の3D基準データの集合を構成するように3D超音波画像データのスキャン変換を有する段階212から開始する。段階214においては、スキャン変換された3Dデータの集合及びプローブ又はアレイトランスジューサ位置の情報はインターベンショナルシステムに送信される。段階216においては、3D超音波画像データは、インターベンショナルシステムのデータの基準のフレームに変換される。又、これは、インターベンショナルシステムデータの座標のスケーリングを適合させるように3D超音波画像の座標データを再スケーリングすることによりなされることが可能である。段階218においては、3D画像データの集合及びインターベンショナル装置のデータがそれらの共通の基準フレームに基づいて結合される。それらの結合されたデータの集合は、次いで、インターベンショナル装置及び/又はその処置に関する空間的に正確な情報を有する、合成された三次元超音波画像を生成するための段階220においてインターベンショナルシステムによりボリュームレンダリングされる。
図19の処理においては、位置又は画像データのようなインターベンショナル装置により取得されるデータは、段階230において超音波システムに送信される。段階232においては、インターベンショナル装置データは、そのデータを再スケールングすることにより超音波プローブ又はトランスジューサの基準のフレームに変換される。段階234においては、インターベンショナル装置データは3Dスキャン変換された超音波画像データと結合される。段階236においては、その結合されたデータは、インターベンショナルシステムからの空間的関連情報を有する三次元超音波画像を形成するためにボリュームレンダリングされる。その画像は、そのようにして、超音波システムディスプレイ18において生成され、表示される。
図20の処理においては、インターベンショナルシステムによりボリュームレンダリングされた映像データは、段階240において超音波システムに送信される。段階242においては、三次元超音波画像データは再スケーリングされ、インターベンショナルシステムデータの基準のフレームを適合させるように位置合わせされる。三次元超音波画像データは、次いで、インターベンショナルシステムデータのレンダリングにおいて用いられた透視又は基準のフレームから段階44においてレンダリングされる。ここで、同じ基準のフレームに対してレンダリングされたインターベンショナルシステムの映像データ及び3D超音波画像データは、段階246において、統合された三次元画像を形成するように結合されることが可能である。
図21の処理においては、ボリュームレンダリングされた3D超音波映像データは、段階250においてインターベンショナルシステムに送信される。段階252においては、インターベンショナルシステム画像データは再スケーリングされm3D超音波レンダリングの基準のフレームに対して位置合わせされる。段階254においては、インターベンショナルシステム画像データは、3D超音波画像の基準のフレームと同じ基準のフレームに対してレンダリングされる。段階256においては、共通にレンダリングされたインターベンショナルシステムの映像データ及び3D超音波映像データは統合画像に結合される。
三次元超音波データとインターベンショナル装置の位置データとの間の3つの座標変換の種類が可能であることを当業者は理解することができるであろう。インターベンショナル装置データは、3D超音波画像の座標系に変換されることができ、3D超音波画像データはインターベンショナル装置データの座標系に変換されることができ、又は、データの両方の集合はユーザが選択したスケール又は基準のフレームに変換されることができる。
上記のデータ結合処理の原理は、3D超音波イメージング及びインターベンショナル装置システムである、図22の実施形態において適用されることが可能である。この実施形態においては、インターベンショナル装置30はガイダンスシステム22により操作され、インターベンショナルサブシステム20の制御下でその処置を実行するために操作される。インターベンショナルサブシステム又は超音波取得サブシステムにより信号を送られる時間に、装置位置測定サブシステム24はイメージングプローブ10、インターベンショナル装置30又はそれら両方の位置情報を取得する。プローブ10及び超音波取得サブシステム12により取得される3D超音波画像データと、インターベンショナルサブシステムにより取得されるインターベンショナルデータと、プローブ10、インターベンショナル装置30又はそれら両方の位置データとは、次いで、3D画像処理器14により統合された3D超音波画像を生成するために処理される。インターベンショナル装置及び/又は処置情報を有する3D画像は、次いで、ディスプレイ18上に表示される。全体的なイメージング及びインターベンショナルシステムはユーザ制御パネル29により制御される。
上記で用いたような、“外科領域”、“外科案内”及び“外科処置”は、医療機器又は装置が医療目的で身体中に導入される何れの医療処置を包含するものである。
侵襲的装置及び方法を案内又はモニタリングするために三次元超音波イメージングを使用するブロック図である。 経胸腔トランスジューサプローブにより心臓内のカテーテルの三次元超音波イメージングを示す図である。 本発明の実施形態における使用のために適切である三次元超音波イメージングシステムの機能サブシステムのブロック図である。 侵襲的装置及び方法を案内又はモニタリングするために三次元超音波イメージングを使用する他の実施形態のブロック図である。 二次元アレイトランスジューサにより身体内の侵襲的医療装置の位置を位置付けるための方法を示す図である。 身体内の侵襲的医療装置の位置を位置付けるための第2方法を示す図である。 周囲の画像ボリュームより高いビーム密度を有する侵襲的装置の回りのボリュームのスキャンを示す図である。 対象のボリュームを有するより大きいビューのボリュームフィールドと共に対象のボリュームの超音波表示を示す図である。 対象のボリュームを有するより大きいビューのボリュームフィールドと共に対象のボリュームの超音波表示を示す図である。 対象のボリュームを有するより大きいビューのボリュームフィールドと共に対象のボリュームの超音波表示を示す図である。 対象のボリュームを有するより大きいビューのボリュームフィールドと共に対象のボリュームの超音波表示を示す図である。 インターベンショナル位置の三次元、二次元及び量子化超音波測定の表示を示す図である。 インターベンショナル装置の位置のより大きいボリュームビューと共にインターベンショナル装置の詳細な三次元超音波画像の表示を示す図である。 三次元超音波画像におけるインターベンショナル処置の軌跡の記録を示す図である。 三次元超音波画像からもたらされるワイヤフレームモデルにおけるインターベンショナル処置の軌跡の記録を示す図である。 インターベンショナル装置のライブ三次元超音波画像、インターベンショナル処置の軌跡を記録するワイヤフレームモデル及びそれらの軌跡に関連するECG波形の同時ビューを示す図である。 三次元超音波イメージングシステム及びインターベンショナルシステムからの画像及び/又は位置データを結合するための方法を示すフロー図である。 三次元超音波イメージングシステム及びインターベンショナルシステムからの画像及び/又は位置データを結合するための方法を示すフロー図である。 三次元超音波イメージングシステム及びインターベンショナルシステムからの画像及び/又は位置データを結合するための方法を示すフロー図である。 三次元超音波イメージングシステム及びインターベンショナルシステムからの画像及び/又は位置データを結合するための方法を示すフロー図である。 三次元超音波イメージングシステム及びインターベンショナルシステムからの画像及び/又は位置データを結合するための方法を示すフロー図である。 三次元超音波イメージングにより支援される侵襲的処置の実行のための統合システムのブロック図である。

Claims (19)

  1. 侵襲的医療装置の配置を案内する又はその侵襲的医療装置の操作を観察する方法であって:
    身体内のアクティビティを実行するために侵襲的医療装置システムから侵襲的医療装置を操作する段階;
    三次元超音波画像により前記侵襲的医療装置を観察又は案内するために超音波診断イメージングシステムを操作する段階;
    前記アクティビティに関する座標情報を有する前記侵襲的医療装置システムを用いて情報を生成する段階;並びに
    前記座標情報から決定される前記超音波画像データにおける位置において前記三次元超音波画像に前記侵襲的医療装置システムからの情報を結合させる段階;
    を有することを特徴とする方法。
  2. 請求項1に記載の方法であって:
    前記侵襲的医療装置は位置センサを有し;及び
    前記侵襲的医療装置システムを用いて情報を生成する段階は前記位置センサから受信される信号に応じて座標情報を生成する手順を有する;
    ことを特徴とする方法。
  3. 請求項2に記載の方法であって、前記位置センサは、音響、光高周波又は電磁スペクトルの状態で信号を受信する、ことを特徴とする方法。
  4. 請求項2に記載の方法であって、前記位置センサは、音響、光高周波又は電磁スペクトルの状態で信号を送信する、ことを特徴とする方法。
  5. 請求項1に記載の方法であって、情報を結合する段階は、前記侵襲的医療装置のアクティビティが実行された位置において前記三次元超音波画像に位置情報を結合させる手順を更に有する、ことを特徴とする方法。
  6. 請求項1に記載の方法であって、超音波診断イメージングシステムを操作する段階は、前記身体のボリューム領域の三次元ワイヤフレームモデルを生成するために超音波エコー情報を処理する手順を更に有する、ことを特徴とする方法。
  7. 請求項6に記載の方法であって、情報を結合する段階は、前記侵襲的医療装置のアクティビティが実行された位置において前記三次元ワイヤフレームモデルに位置情報を結合させる手順を更に有する、ことを特徴とする方法。
  8. 請求項6に記載の方法であって、超音波診断イメージングシステムを操作する段階は:
    ボリュームレンダリング超音波画像を生成するために超音波エコー情報を処理する手順;並びに
    前記ボリュームレンダリング超音波画像及び前記三次元ワイヤフレームモデルの両方を表示する手順;
    を更に有する、ことを特徴とする方法。
  9. 請求項8に記載の方法であって、情報を結合する段階は、前記侵襲的医療装置のアクティビティが実行された位置において前記ボリュームレンダリング超音波画像及び前記三次元ワイヤフレームモデルの少なくとも1つに位置情報を結合させる手順を更に有する、ことを特徴とする方法。
  10. 請求項1に記載の方法であって:
    ECGデータを取得する段階;並びに
    前記侵襲的医療装置からの結合された情報を有する前記三次元超音波画像及びECGとレースの両方を表示する段階;
    を更に有する、ことを特徴とする方法。
  11. 請求項10に記載の方法であって:
    情報を結合する段階は、前記侵襲的医療装置のアクティビティが実行された位置において前記三次元超音波画像に位置情報を結合する手順を更に有し;
    表示する段階は、前記侵襲的医療装置のアクティビティが実行された前記位置に関連した複数のECGとレースを表示する手順を更に有する;
    ことを特徴とする方法。
  12. 請求項11に記載の方法であって、超音波診断イメージングシステムを操作する段階は、ボリュームレンダリングされた三次元解剖学的超音波画像を生成する手順を更に有する、ことを特徴とする方法。
  13. 請求項11に記載の方法であって、超音波診断イメージングシステムを操作する段階は、前記身体の解剖学的領域の三次元ワイヤフレームモデルを生成する手順を更に有する、ことを特徴とする方法。
  14. 三次元超音波イメージング及び信州的医療装置操作システムと用いて侵襲的医療装置のする又はその侵襲的医療装置の操作を観察する方法であって:
    身体内のアクティビティを実行するためにインターベンショナル装置システムにより侵襲的医療装置を操作する段階;
    前記侵襲的医療装置を有するボリューム領域から超音波イメージングサブシステムにより超音波エコー情報を取得する段階;
    前記アクティビティに関する座標情報を有する前記侵襲的医療装置から情報を生成する段階;
    前記侵襲的医療装置からの前記情報と前記超音波エコー情報からの空間的に座標化された侵襲的医療装置のアクティビティ情報とを有するリアルタイムのさん次元超音波画像を生成する段階;
    画像ディスプレイに空間的に座標化された侵襲的医療装置のアクティビティ情報を有する前記のリアルタイムのさん次元超音波画像を表示する段階;
    を有することを特徴とする方法。
  15. 侵襲的医療装置の操作を観察するために又はその侵襲的医療装置の配置を案内するために役立つ超音波外科ガイダンスイメージングシステムであって:
    侵襲的医療装置の操作又は配置の画像案内のためのボリューム領域に対して超音波ビームを操作するアレイトランスジューサを有する超音波プローブ;
    前記超音波プローブに結合された超音波取得サブシステム;
    侵襲的医療装置;
    該侵襲的医療装置に結合されたインターベンショナル装置サブシステム;
    前記超音波取得サブシステム及び前記インターベンショナル装置サブシステムに結合された3D画像処理器;並びに
    前記3D画像処理器に結合された画像ディスプレイ;
    を有することを特徴とする超音波外科ガイダンスイメージングシステム。
  16. 請求項15に記載の超音波外科ガイダンスイメージングシステムであって:
    前記侵襲的医療装置は位置センサを更に有し;
    前記インターベンショナル装置サブシステムは前記位置センサに結合された装置位置測定サブシステムを更に有する;
    ことを特徴とする超音波外科ガイダンスイメージングシステム。
  17. 請求項16に記載の超音波外科ガイダンスイメージングシステムであって、前記3D画像処理器は前記装置位置測定サブシステムにより生成された位置信号に更に責任を負う、ことを特徴とする超音波外科ガイダンスイメージングシステム。
  18. 請求項1に記載の方法であって:
    パラメータデータを取得する段階;
    前記侵襲的医療装置システムからの結合情報を有する前記三次元超音波画像及びパラメータ画像の両方を表示する段階;
    を更に有する、ことを特徴とする方法。
  19. 請求項18に記載の方法であって、前記パラメータ画像は、ECG/電気信号、組織ドップラ信号、歪み速度信号、肥大測定又は領域動きの少なくとも1つを有する、ことを特徴とする方法。
JP2006506334A 2003-03-27 2004-03-04 三次元超音波イメージングにより侵襲的医療装置を案内する方法及び装置 Pending JP2006521147A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US45878503P 2003-03-27 2003-03-27
PCT/IB2004/000710 WO2004084737A1 (en) 2003-03-27 2004-03-04 Guidance of invasive medical devices by three dimensional ultrasonic imaging

Publications (1)

Publication Number Publication Date
JP2006521147A true JP2006521147A (ja) 2006-09-21

Family

ID=33098281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006506334A Pending JP2006521147A (ja) 2003-03-27 2004-03-04 三次元超音波イメージングにより侵襲的医療装置を案内する方法及び装置

Country Status (4)

Country Link
US (1) US7796789B2 (ja)
EP (1) EP1610689A1 (ja)
JP (1) JP2006521147A (ja)
WO (1) WO2004084737A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006305357A (ja) * 2005-04-26 2006-11-09 Biosense Webster Inc 超音波データと事前取得イメージの重ね合わせ
JP2007117746A (ja) * 2005-10-28 2007-05-17 Biosense Webster Inc 超音波イメージングデータの電気マッピングとの同期化
JP2008515517A (ja) * 2004-10-08 2008-05-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像の左右反転および上下倒立のある三次元診断超音波撮像システム
JP2010115372A (ja) * 2008-11-13 2010-05-27 Toshiba Corp 3次元超音波診断装置
WO2018212248A1 (ja) * 2017-05-16 2018-11-22 テルモ株式会社 画像処理装置及び画像処理方法
JP2018537215A (ja) * 2015-12-15 2018-12-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波ビーム内での回転の決定
JP2020501865A (ja) * 2016-12-20 2020-01-23 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医療機器、特に心臓カテーテルのためのナビゲーション・プラットフォーム

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0661948B1 (en) * 1992-09-23 1997-11-19 Endocardial Solutions, Inc. Endocardial mapping system
US7806829B2 (en) * 1998-06-30 2010-10-05 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for navigating an ultrasound catheter to image a beating heart
JP4860636B2 (ja) * 2005-02-17 2012-01-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動立体表示
US8560047B2 (en) 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
US20110057930A1 (en) * 2006-07-26 2011-03-10 Inneroptic Technology Inc. System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy
WO2008017051A2 (en) 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
WO2009094646A2 (en) 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
US8340379B2 (en) 2008-03-07 2012-12-25 Inneroptic Technology, Inc. Systems and methods for displaying guidance data based on updated deformable imaging data
WO2010093603A1 (en) 2009-02-11 2010-08-19 Boston Scientific Scimed, Inc. Insulated ablation catheter devices and methods of use
US11464578B2 (en) 2009-02-17 2022-10-11 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8690776B2 (en) * 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US8641621B2 (en) 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8554307B2 (en) 2010-04-12 2013-10-08 Inneroptic Technology, Inc. Image annotation in image-guided medical procedures
WO2011008444A1 (en) 2009-06-30 2011-01-20 Boston Scientific Scimed, Inc. Map and ablate open irrigated hybrid catheter
WO2011014687A2 (en) * 2009-07-31 2011-02-03 Inneroptic Technology, Inc. Dual-tube stereoscope
GB2475722B (en) * 2009-11-30 2011-11-02 Mirada Medical Measurement system for medical images
US9282947B2 (en) 2009-12-01 2016-03-15 Inneroptic Technology, Inc. Imager focusing based on intraoperative data
WO2011137336A1 (en) * 2010-04-30 2011-11-03 President And Fellows Of Harvard College Motion compensating catheter device
WO2012003369A2 (en) * 2010-06-30 2012-01-05 Muffin Incorporated Percutaneous, ultrasound-guided introduction of medical devices
US9089340B2 (en) 2010-12-30 2015-07-28 Boston Scientific Scimed, Inc. Ultrasound guided tissue ablation
US20140011173A1 (en) * 2011-03-17 2014-01-09 Mor Research Applications Ltd. Training, skill assessment and monitoring users in ultrasound guided procedures
US10376179B2 (en) 2011-04-21 2019-08-13 Koninklijke Philips N.V. MPR slice selection for visualization of catheter in three-dimensional ultrasound
US9241687B2 (en) 2011-06-01 2016-01-26 Boston Scientific Scimed Inc. Ablation probe with ultrasonic imaging capabilities
US11911117B2 (en) 2011-06-27 2024-02-27 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
CN103764061B (zh) 2011-06-27 2017-03-08 内布拉斯加大学评议会 工具承载的追踪系统和计算机辅助外科方法
US9498231B2 (en) 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
AU2012308464B2 (en) 2011-09-14 2016-10-20 Boston Scientific Scimed, Inc. Ablation device with ionically conductive balloon
JP6117209B2 (ja) 2011-09-14 2017-04-19 ボストン サイエンティフィック サイムド,インコーポレイテッドBoston Scientific Scimed,Inc. 複数のアブレーションモードを備えたアブレーション装置及び同アブレーション装置を含むシステム
US9241761B2 (en) 2011-12-28 2016-01-26 Koninklijke Philips N.V. Ablation probe with ultrasonic imaging capability
WO2013106557A1 (en) 2012-01-10 2013-07-18 Boston Scientific Scimed, Inc. Electrophysiology system
US8670816B2 (en) 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
JP5830614B2 (ja) 2012-01-31 2015-12-09 ボストン サイエンティフィック サイムド,インコーポレイテッドBoston Scientific Scimed,Inc. 超音波組織撮像のための流体に基づいた音響結合を有するアブレーションプローブ、および、アブレーションおよび超音波撮像システム
CA2984069C (en) * 2012-02-07 2021-04-20 Jointvue, Llc Three-dimensional guided injection device and methods
WO2014071014A1 (en) 2012-11-01 2014-05-08 Muffin Incorporated Implements for identifying sheath migration
CN104936546B (zh) * 2013-01-17 2016-09-14 皇家飞利浦有限公司 在超声引导的医学流程中调节聚焦区的方法及采用所述方法的系统
US10314559B2 (en) 2013-03-14 2019-06-11 Inneroptic Technology, Inc. Medical device guidance
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
WO2015101913A1 (en) * 2014-01-02 2015-07-09 Koninklijke Philips N.V. Ultrasound navigation/tissue characterization combination
US9901406B2 (en) 2014-10-02 2018-02-27 Inneroptic Technology, Inc. Affected region display associated with a medical device
CN106793968A (zh) 2014-10-13 2017-05-31 波士顿科学医学有限公司 使用微电极的组织诊断和治疗
WO2016065337A1 (en) 2014-10-24 2016-04-28 Boston Scientific Scimed Inc. Medical devices with a flexible electrode assembly coupled to an ablation tip
US10188467B2 (en) 2014-12-12 2019-01-29 Inneroptic Technology, Inc. Surgical guidance intersection display
US9743854B2 (en) 2014-12-18 2017-08-29 Boston Scientific Scimed, Inc. Real-time morphology analysis for lesion assessment
US9949700B2 (en) 2015-07-22 2018-04-24 Inneroptic Technology, Inc. Medical device approaches
US9675319B1 (en) 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
US10278778B2 (en) 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
CN110312476A (zh) 2017-01-19 2019-10-08 皇家飞利浦有限公司 用于对介入设备进行成像和跟踪的系统和方法
US11259879B2 (en) 2017-08-01 2022-03-01 Inneroptic Technology, Inc. Selective transparency to assist medical device navigation
US11484365B2 (en) 2018-01-23 2022-11-01 Inneroptic Technology, Inc. Medical image guidance
US11497563B2 (en) * 2018-06-15 2022-11-15 Koninklijke Philips N.V. Synchronized tracking of multiple interventional medical devices
US20210251697A1 (en) * 2018-08-22 2021-08-19 Koninklijke Philips N.V. 3d tracking of interventional medical devices
WO2020118193A1 (en) * 2018-12-07 2020-06-11 Veran Medical Technologies, Inc. Percutaneous catheter system and method for rapid diagnosis of lung disease
CN113905671A (zh) * 2019-05-30 2022-01-07 皇家飞利浦有限公司 编码的同步的医学介入图像信号和传感器信号
CN110353805B (zh) * 2019-07-03 2021-06-15 复旦大学附属中山医院 基于融合影像3d打印的生理性起搏导线递送系统及方法
US11896317B2 (en) 2020-08-04 2024-02-13 Mazor Robotics Ltd. Triangulation of item in patient body
CN114159100A (zh) * 2020-09-11 2022-03-11 深圳市理邦精密仪器股份有限公司 超声监护方法、超声设备及超声监护系统
CN116458925B (zh) * 2023-06-15 2023-09-01 山东百多安医疗器械股份有限公司 一种便携式无盲区多模态超声心电系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5817022A (en) * 1995-03-28 1998-10-06 Sonometrics Corporation System for displaying a 2-D ultrasound image within a 3-D viewing environment
US6019724A (en) * 1995-02-22 2000-02-01 Gronningsaeter; Aage Method for ultrasound guidance during clinical procedures
JP2001299756A (ja) * 2000-04-25 2001-10-30 Toshiba Corp カテーテルまたは細径プローブの位置を検出可能な超音波診断装置
JP2001340336A (ja) * 2000-06-01 2001-12-11 Toshiba Medical System Co Ltd 超音波診断装置及び超音波診断方法
JP2002119507A (ja) * 2000-10-17 2002-04-23 Toshiba Corp 医用装置および医用画像収集表示方法
US20020049375A1 (en) * 1999-05-18 2002-04-25 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
EP1245191A2 (de) * 2001-03-28 2002-10-02 Philips Corporate Intellectual Property GmbH Verfahren und bildgebendes Ultraschallsystem zur Bestimmung der Position eines Katheters

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256529B1 (en) 1995-07-26 2001-07-03 Burdette Medical Systems, Inc. Virtual reality 3D visualization for surgical procedures
US6245017B1 (en) * 1998-10-30 2001-06-12 Kabushiki Kaisha Toshiba 3D ultrasonic diagnostic apparatus
US6556695B1 (en) 1999-02-05 2003-04-29 Mayo Foundation For Medical Education And Research Method for producing high resolution real-time images, of structure and function during medical procedures
US6398736B1 (en) 1999-03-31 2002-06-04 Mayo Foundation For Medical Education And Research Parametric imaging ultrasound catheter
US6606089B1 (en) * 1999-06-08 2003-08-12 Sulzer Market And Technology Ag Method for visualizing a spatially resolved data set
US6996430B1 (en) * 1999-08-16 2006-02-07 Super Dimension Ltd Method and system for displaying cross-sectional images of a body
US6379302B1 (en) * 1999-10-28 2002-04-30 Surgical Navigation Technologies Inc. Navigation information overlay onto ultrasound imagery
US6515657B1 (en) 2000-02-11 2003-02-04 Claudio I. Zanelli Ultrasonic imager
AU2001239977A1 (en) 2000-03-02 2001-09-12 Mayo Foundation For Medical Education And Research Apparatus and method of holding and manipulating small ultrasound transducers
US6537221B2 (en) * 2000-12-07 2003-03-25 Koninklijke Philips Electronics, N.V. Strain rate analysis in ultrasonic diagnostic images
US6821256B2 (en) 2001-02-01 2004-11-23 Mayo Foundation For Medical Education And Research Non-alternating beat-to-beat fluctuations in T wave morphology
US8175680B2 (en) * 2001-11-09 2012-05-08 Boston Scientific Scimed, Inc. Systems and methods for guiding catheters using registered images
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6019724A (en) * 1995-02-22 2000-02-01 Gronningsaeter; Aage Method for ultrasound guidance during clinical procedures
US5817022A (en) * 1995-03-28 1998-10-06 Sonometrics Corporation System for displaying a 2-D ultrasound image within a 3-D viewing environment
US20020049375A1 (en) * 1999-05-18 2002-04-25 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
JP2001299756A (ja) * 2000-04-25 2001-10-30 Toshiba Corp カテーテルまたは細径プローブの位置を検出可能な超音波診断装置
JP2001340336A (ja) * 2000-06-01 2001-12-11 Toshiba Medical System Co Ltd 超音波診断装置及び超音波診断方法
JP2002119507A (ja) * 2000-10-17 2002-04-23 Toshiba Corp 医用装置および医用画像収集表示方法
EP1245191A2 (de) * 2001-03-28 2002-10-02 Philips Corporate Intellectual Property GmbH Verfahren und bildgebendes Ultraschallsystem zur Bestimmung der Position eines Katheters

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008515517A (ja) * 2004-10-08 2008-05-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像の左右反転および上下倒立のある三次元診断超音波撮像システム
JP2006305357A (ja) * 2005-04-26 2006-11-09 Biosense Webster Inc 超音波データと事前取得イメージの重ね合わせ
US10143398B2 (en) 2005-04-26 2018-12-04 Biosense Webster, Inc. Registration of ultrasound data with pre-acquired image
JP2007117746A (ja) * 2005-10-28 2007-05-17 Biosense Webster Inc 超音波イメージングデータの電気マッピングとの同期化
JP2010115372A (ja) * 2008-11-13 2010-05-27 Toshiba Corp 3次元超音波診断装置
JP2018537215A (ja) * 2015-12-15 2018-12-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波ビーム内での回転の決定
JP2020501865A (ja) * 2016-12-20 2020-01-23 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医療機器、特に心臓カテーテルのためのナビゲーション・プラットフォーム
JP7157074B2 (ja) 2016-12-20 2022-10-19 コーニンクレッカ フィリップス エヌ ヴェ 医療機器、特に心臓カテーテルのためのナビゲーション・プラットフォーム
WO2018212248A1 (ja) * 2017-05-16 2018-11-22 テルモ株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
EP1610689A1 (en) 2006-01-04
US7796789B2 (en) 2010-09-14
WO2004084737A1 (en) 2004-10-07
US20060193504A1 (en) 2006-08-31

Similar Documents

Publication Publication Date Title
US7270634B2 (en) Guidance of invasive medical devices by high resolution three dimensional ultrasonic imaging
US7529393B2 (en) Guidance of invasive medical devices by wide view three dimensional ultrasonic imaging
US7796789B2 (en) Guidance of invasive medical devices by three dimensional ultrasonic imaging
JP2006523115A (ja) 結合された三次元超音波イメージングシステムを用いて侵襲的医療装置を案内する方法
US20080188749A1 (en) Three Dimensional Imaging for Guiding Interventional Medical Devices in a Body Volume
JP4699372B2 (ja) 超音波画像を三次元座標システムに登録するシステム
AU2006201644B2 (en) Registration of electro-anatomical map with pre-acquired imaging using ultrasound
JP4965042B2 (ja) 医療画像をリアルタイムに描画する方法
JP4689146B2 (ja) マッピング装置およびマッピング方法
US11382599B2 (en) Ultrasound imaging system reconstructing an intravascular image using angular positions of a transducer array
JP2005529701A (ja) 撮像装置の撮像パターンのコンピュータで生成した表示
KR20060112243A (ko) 2―차원적 초음파 팬의 디스플레이
KR20060112241A (ko) 초음파 윤곽부 재구성을 이용한 3―차원적 심장 이미징
KR20060112242A (ko) 초음파 윤곽부의 재구성을 이용한 3―차원적 심장 이미징용소프트웨어 제품
KR20060112239A (ko) 미리―획득한 이미지를 갖는 초음파 데이터의 기록
KR20060112244A (ko) 초음파 시스템을 위한 빔 방향을 갖는 카테터 팁의디스플레이
US20090287089A1 (en) Methods, devices and apparatus for imaging for reconstructing a 3-D image of an area of interest
CN110290752A (zh) 超声系统中用于设备跟踪的焦点跟踪
KR20110078274A (ko) 이미지 정합을 이용한 혈관 치료용 마이크로 로봇의 위치 추적 방법
WO2004084736A1 (en) Guidance of invasive medical devices by three dimensional ultrasonic imaging
EP4108182A1 (en) Reconstructing a 4d shell of a volume of an organ using a 4d ultrasound catheter
KR20110078271A (ko) 전자기 센서를 통합한 혈관 내 초음파 프로브
KR20110078270A (ko) 관상 동맥의 움직임 경향성을 이용한 혈관치료용 마이크로 로봇의 위치 추적 방법
KR20110078275A (ko) 관상 동맥의 움직임 경향성을 이용한 혈관 치료용 마이크로 로봇의 항법 제어 시스템
KR20110078279A (ko) 다중 의료용 영상 시스템에 적용 가능한 기준 표식 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110607

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110610

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110708

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111021

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111026