JP2005537583A - 物体の単一カメラ追跡方法及び装置 - Google Patents

Abstract

【解決手段】物体150の位置及び方向を決定するための方法及び装置が開示される。互いの距離及び幾何の既知な基準点が探され、基準点に関してその位置及び方向が知られている任意の点の位置または任意の線の方向が決定される。基準点を探すのにひとつカメラが使用される。物体に付随または取り付けられたマーカー104のセットが光学的に追跡され、関連する物体150の位置及び方向を決定するためにマーカー104のセットの座標を使用するべく幾何学変換が実行される。

Description

本発明は、３次元空間で物体の位置及び方向を決定するための方法及び装置に関する。

物体の位置及び方向の決定及び追跡が所望される多くの応用が存在する。これを達成するためのひとつのアプローチは、三角測量により空間内の特定点の位置を決定するために複数のカメラを使用する。物体の方向は、物体上の既知の幾何学的複数点の位置を探すことにより三角測量を使って決定される。複数カメラ手法の欠点はコストが高いことである。他に装置の物理的な大きさが問題である。

空間内の点の位置を探すための他の手法は、磁場及び検出器の位置を感知するための磁場検出器を使用する。他の方法は、物体上に配置された音波ソース及び３D空間内でソースを検索するための複数の検出器を使用する。他のアプローチは、伸長可能な一端が固定された複数セグメントアームを使用する。回転センサーは、隣りのセグメントに対する各セグメントの回転を測定し、それによってアームの端部の位置及び方向の計算が可能になる。このアプローチにおいて、追跡されるべき物体は伸長可能アームの端部に固定される。音波手法は、温度及び湿度のような大気状態によって乱れる不安定なキャリブレーションの影響を受ける。磁場アプローチは、磁場を歪ませる大きな金属物体の変化する幾何学形状のためにキャリブレーションが正確ではない。機械的アームを含むこれらすべてのアプローチは、センサーから処理装置までを電気的及び／または機械的に接続する必要がある。これは、非接触で離れた位置から物体の位置及び方向を測定する本発明のような光学追跡とは対照的である。
米国特許第6,279,579号明細書

物体の位置及び方向が求められる特定の応用は、バイオプシー針のような手術器具を患者の体内に挿入するかまたは超音波画像プローブを患者の上で位置決めする場合である。これら多くの手法では、医者は、内蔵器官に関する位置を感知することができる既知の基準でプローブにより生成される手術器具の位置またはイメージを視覚化することはできない。

ひとつの実施例に従い、本発明は３次元空間で物体を検出しかつ追跡するための改良された方法及び装置を与える。互いに関する距離及び幾何の既知な基準点が探され、基準点に関してその位置及び方向が知られている任意の点の位置または任意の線の方向が決定される。実施例において、基準点を探すのにひとつまたはそれ以上のカメラを使用する光学ベース装置が使用される。この実施例の態様は、基準点にマーカーを配置し、コンピュータ装置を使って、マーカーの位置及びマーカーが固定された装置の方向を計算するものである。実施例に従い、マーカーの位置を決定するための方法は、少なくとも一つのカメラでマーカーを写す工程と、マーカーのイメージを生成する工程と、マーカーの画素座標を探す工程と、画素座標からマーカーの位置を計算するべく基準データを使用する工程と、から成る。

本発明の実施例はまたポインタデバイスによりトレースされた３次元曲線をデジタル化するための方法及び装置を与える。特定の応用において、ポインタデバイスは患者のプロファイリングに使用される。

本発明の他の実施例は手術器具の位置及び方向をデジタル化するための方法及び装置を与える。実施例に従い、手術器具の位置及び方向は、CT、MRIまたはPETなどの３次元画像化方法により生成された患者の内蔵器官のイメージと同じ座標システムで決定される。

発明のこれら及び他の態様、目的及び利点は以下の詳細な説明及び図面に記載される。

図１は、物体または器具102の位置及び方向を検出するための装置の実施例のコンポーネントを示す。物体102は３つまたはそれ以上のマーカー104を有するマーカーブロック150へ取り付けられるか、またはマーカーブロック150を含む。マーカーブロック150の少なくとも一部がカメラの視野に入るように、ビデオカメラ108のような光学またはビデオイメージ装置が向けられる。マーカーブロック150の表面は、カメラ108に写るようにされた３つまたはそれ以上のマーカーの組合せを含む。カメラ108からの出力データはイメージ処理装置110へ送られ、それは例えばデジタル画素データを生成するアナログ／デジタル変換器並びに、イメージデータを扱い、処理しかつ保存するためのプロセッサ及び記憶コンポーネントから成る。

実施例に従い、カメラ108は目標物の体積をカバーするよう調節された視角で、天井、壁または他の支持構造体に設置される。例示の目的で、単一のカメラ108が図１に示されている。しかし、本発明で使用されるカメラ108の数は視野を拡大するために増加させることができる。

上記したように、物体102はマーカーブロック150に固定されるか、またはその一部として形成される。したがって、物体102の任意の点の位置はマーカーブロック150に関して絶対的に知られるかまたは測定できる。マーカーブロック150の位置及び方向を識別することにより、物体102の任意の点の位置及び方向もまた計算可能である。

本発明の実施例のハイレベルな説明が以下に為される。カメラ108はマーカー150のビデオイメージを捕捉するために使用される。単一カメラのアプローチが採用される場合、少なくとも３つのマーカー104のサブセットがカメラ108に見えなければならない。しかし、いつでも見えるマーカー104の特定の組合せはカメラ108によって得られるイメージの間で変化してもよい。この原理が図２a及び図２bに示されている。図２aは、マーカーブロック150の頂上面のみが見えるように、マーカーブロック150がカメラ108に関して方向付けられた瞬間に、マーカーブロック150のイメージを捕捉したイメージフレームを示す。したがって、マーカーブロック150の頂上面のマーカーのみがイメージフレーム内ではっきりと識別できる。図２bは、マーカーブロック150の２つの側面のみが見えるように、マーカーブロック150がカメラ108に関して方向付けられた瞬間に、マーカーブロック150のイメージを捕捉したイメージフレームを示す。したがって、マーカーブロック150の２つの側面のマーカーのみがイメージフレーム内ではっきりと識別できる。

マーカーブロック150上でのマーカー104の位置の組合せは、マーカーブロック150上でのマーカー104の相対位置に関する情報を与えるよう測量される。カメラ108の位置及び方向もまたキャリブレーションされる。所与のイメージフレーム内で見ることができるマーカー104の特定の組合せ及び位置を同定することにより、本発明はマーカーブロック150の位置及び方向を決定するのに使用される。マーカーブロックの位置及び方向は６つの自由度（ｘ座標、ｙ座標、ｚ座標、ピッチ、ヨー、ロール）を使って同定される。この情報により、マーカー150に固定された物体102上の任意の点の位置及び方向もまた同定される。上記したように、このアプローチでは、ひとつのカメラ108のみが物体102の位置及び方向を追跡するのに使用され、異なる位置から複数のカメラを使って三角測量する必要はない。

図３a及び図３bは、本発明のひとつの実施例に従う物体の６自由度推定処理のフローチャートを示す。工程202において、マーカー104の座標がマーカーブロック150に特定の基準座標システム(x₀,y₀,z₀)において正確に測量される。この測量データは基準データとして保存され、マーカーブロック150上でのマーカー104間の既知の相対位置及び距離を与える。物体102の関連部分と一つまたはそれ以上のマーカー104またはマーカーブロック150との間の既知の相対位置及び距離もまたこのステージにおいて同定される。

工程203において、カメラ108の位置及び方向がカメラ108の６自由度に関する座標データを使ってキャリブレーションされる。したがって、カメラ108の座標(x_c,y_c,z_c)はシステム全体の座標(x,y,z)に関して並進及び回転される。システム座標は、適当な医学処置／画像装置または部屋座標の同一中心に関する任意の基準フレームに基づいて引き出される。このキャリブレーションを実行するためのひとつのアプローチは、例えば既知の高さ及び相対位置のロッドを有するブロック構造のような、既知の相対寸法／距離のひとつまたはそれ以上の構造を有する構造体を既知の位置で画像化するためにカメラを使用するものである。カメラにより捕捉されたイメージフレーム内の既知の構造体のサイズ、方向及び位置はカメラの６自由度を推定しかつキャリブレーションするのに使用される。

工程204において、全体の画像化チェーンの幾何学的キャリブレーションモデルが得られ、保存される。このモデルのパラメータは、カメラ108により得られるイメージの２次元画素座標に対する３次元測定座標システムにおける点の位置に関連する。ひとつの実施例において、工程202、203及び204に対するこの基準データ及び幾何学的キャリブレーションモデルは、例えばカメラ108が部屋に設置された後にオフラインで引き出され、正確な検証に対して繰り返される。

工程205において、イメージデータの初期セットが得られる。データの初期セットはマーカーブロック150の位置及び方向の最初の推定値を与える。よって、データの初期セットが先行イメージフレームから得られる。変形例として、データの初期セットはマーカーブロック150に対する予想イメージフレームデータの初期推定値に基づいて製作されてもよい。

工程206において、データの初期セットに対するマーカー情報が画素ドメインに変換される。図３aに示される処理から得られる情報を使って、イメージデータの初期セット内のマーカー104間の画素座標の位置及び距離がキャリブレーションモデルと比較され、測定座標システムでのマーカー104の絶対位置が高い精度で推定される。推定されたイメージフレーム、幾何学的キャリブレーションモデル及びマーカー基準データは、各マーカー104の中心を数学的に射影しかつイメージフレーム内での各マーカー104の推定画素座標を得るために使用される。これは、データの初期セット内でのマーカーブロック150に対する推定された６自由度値の画素座標を与える。

工程207において、カメラ108のビデオストリームから新しいイメージフレームがデジタル化される。デジタル化されたイメージフレームは画素座標内でマーカー104を検出しかつ探すよう解析される。先の追跡が成功であれば、射影された中心は、計算効率を増加させるために各マーカー104の検索領域を制限するのに使用される。最初のイメージフレームを処理するか、追跡を回復する場合には、マーカー104を検索するためにフレーム全体が解析される。

工程208において、少なくとも３つのマーカー104が捕捉イメージフレーム内で識別できるかどうかの決定がなされる。もしできなければ、他のイメージフレームを得るために工程207が繰り返される。

射影マーカー座標と捕捉イメージフレーム内で発見されたマーカー座標との間で差分ベクトルが形成される。工程210において、例えば画素ドメインの二乗距離の平均で測定された差分ベクトルの絶対値が許容範囲の閾値内に入るか否かを決定するために解析される。実際上、初期推定値の６自由度が捕捉イメージフレーム内のマーカーデータの実際の６自由度に十分に近いかどうかの決定がなされる。もし近ければ、初期推定値の６自由度データはマーカーブロック212の座標として受け入れられる。その後、物体102の位置及び方向がマーカー104に対する計算位置に基づいて推測される。上記したように、物体102の位置及び方向は、座標測定システム内のｘ座標、ｙ座標、ｚ座標、ピッチ、ヨー及びロールの６自由度で定量化される。その後、処理はビデオストリーム内の次のイメージフレームのために工程205に戻る。

数学的に射影された画素座標と実際のマーカー104画素座標との間の差が定義された閾値を超えれば、処理はマーカー104の推定座標を改める。新しい推定座標は、数学的に射影された点と実際のデジタルイメージ内のマーカー104の座標との間でより近いマッチングを生じさせる、仮定されたマーカーブロック150の６自由度に対する変化増分に基づいて推定される。この推定に対するひとつのアプローチは、マーカーブロック150の６自由度の関数として画素位置のヤコビアン逆行列を計算することに基づくガウス法を使用する。Δ６自由度が決定され、マーカーに対する推定された６自由度値を改めるのに適用される。改正された推定６自由度値は再び工程216で画素ドメインへ射影される。処理は、他の差分ベクトルを生成し、該差分ベクトルが許容閾値内にあるかどうかを決定するために工程209／210へループバックされる。もしなければ、差分ベクトルが定義された閾値を満足するまでループが繰り返される。収斂が起きていないことが検出されると、６自由度推定値が誤りであることを宣言し、処理は新しいイメージフレームのために工程207へ進む。

図４は、マーカーブロック450が超音波プローブ402に固定されるところの、本発明の特定の応用例を示す。図３a及び図３bに関して説明した処理を使って、患者または物体を画像化するのにフレキシブルに使用される間でも、超音波プローブ402の位置及び方向は正確に同定される。ある実施例において、超音波プローブにより映像化されている特定の構造もまたシステムの測定座標システムに変換される。これは、イメージデータ内の測定ボクセル470の位置を超音波プローブにより使用されている座標システムへ変換するために超音波プローブをプレキャリブレーションすることにより達成される。これを達成するひとつの方法は、超音波プローブに関する既知の位置の基準ブロックのセットを画像化するよう超音波プローブを適用することである。生成されたマッピング情報は、ボクセル位置情報を超音波プローブにより使用される座標システムへ後で変換するための基準データとして使用される。図３a及び図３bの処理が超音波プローブ402の位置及び方向を決定すると、本発明は超音波プローブ402の視野460内部の特定のボクセル及び構造の位置及び方向をさらに推測することができる。

図９は、物体102が手術器具から成るところの本発明の他の応用例を示す。この実施例において、まず患者904の相対位置が、コンピュータ断層撮影（CT）、磁気共鳴映像装置（MRI）、陽電子射出断層撮影（PET）等の３次元画像化方法を利用する装置906により画像化される。３次元画像化方法は画像座標システム内での患者904の人体の少なくとも一部の３次元イメージを生成する。工程204で得られた測定座標システム（すなわち、室座標）を画成する幾何学キャリブレーションモデルは、それが画像座標システムと一致するように画成される。患者の人体のイメージにより、手術の精密な計画を立てることができる。手術器具102は、患者人体の関連位置の絶対及び／または相対位置の知識に基づき、所定の治療計画の下にまたはリアルタイムで、手術の間ガイドされる。患者人体904の位置が３次元画像化方法中に使用される位置と適正に近似している限り、測定座標システム内で決定される手術器具の位置及び方向は、装置によって画像化された患者人体904の一部に関する位置及び方向を正確に反映する。

本発明は単一カメラのみを使って患者人体904の位置及び方向を決定するのに適用される点に注意すべきである。例えば、３次元画像化方法の実行中に、患者904の位置及び方向は患者人体に取り付けられたひとつまたはそれ以上のマーカーブロック908を使うことによって正確に決定される。各マーカーブロック908はカメラ108によって画像化される複数のマーカーを含む。図３a及び図３bに関連して説明された手法を使って、マーカーブロック908の位置及び方向がカメラ108により撮られるイメージから決定される。患者904の位置及び方向はマーカーブロック908の決定された位置及び方向を使って推測される。

本発明はさらに、患者904が以前の位置または方向から移動したかどうかを決定するのに使用される。例えば、３次元画像処理の日付は、患者がその映像情報に頼って手術を受ける日付と異なることも可能である。しかし、患者が同じ位置または方向にいるという仮定で手術計画が作られた場合には、もし患者が後日の手術中に異なる位置または方向に実際にいれば治療効果は弱められる。もし患者904が３次元画像化方法の後で、手術器具により実行されるべき手術前に移動したら、患者904及び／または患者テーブル910は位置変えされて、患者人体904は同じ位置に戻される。位置変えは、ひとつまたはそれ以上のマーカーブロック908を同一の人体ランドマーク上に配置し、カメラ108により撮られたイメージから決定されるマーカーブロック908の位置及び方向が３次元方法の実行中に記録された位置及び方向と一致するまで患者904及び／または患者テーブル910を移動することにより達成される。患者の位置及び方向を正しく調整する方法はここに参考文献として組み込む米国特許第6,279,579号に記載されている。

図８は、患者906の体内画像が手術中に捕捉されるところのシステムの実施例を示す。イメージはリアルタイムまたは周期的に捕捉される。図８に示されたシステムはX線ソース装置1502及びX線画像装置1504を含む。手術器具802の位置が上記した光学的アプローチを使って決定され、リアルタイムの体内画像が同時に座標形式で得られ、手術器具802の使用をガイドするところの、イメージガイド手術が実行される。

患者人体904が３次元画像方法の実行中に仮定されたものと同じ位置を維持しても、患者904の体内は呼吸のような患者自身のさまざまな生理的活動により移動する。このような移動は、３次元画像化方法により得られたイメージ内に記録された位置からの患者904体内位置の逸脱を生じさせる。マーカーブロック908の位置及び方向を追跡して、胸の動きまたは内臓の動きを追跡することにより生理的活動をモニターすることができる。図８に示されるシステムにおいて、第１スイッチ1504またはアラームが手術器具802へ動作接続される。第２スイッチ1506は放射ソース1502へ動作接続される。患者906の過剰な動きが検出されると、いずれかのスイッチが対応する手術／医学処理を中止するよう作動する。ある実施例において、スイッチ1506は放射ビームソース1502の機械的及び電気的構造の一部であり、スイッチ1504は手術器具802用の制御アームの機械的及び電気的構造の一部である。変形例として、スイッチ1504及び1506は関連する装置の制御エレクトロニクス／メカニクスに結合される外部装置から成る。スイッチ1504及び1506はソフトウエアベースの制御メカニズムから構成されてもよい。

図３a及び図３bの処理は単一カメラ108のみによって使用可能であるが、監視体積を拡大するためにまたは一台のカメラ108が遮られたときにシステムの継続動作を可能とするべく複数のカメラを使用してよい。複数のカメラが使用されるとき、各カメラ108に対して上記処理が独立に使用され、またはマーカー104の座標を与えるべくイメージデータの三角測量が使用される。

マーカー104を探す際に、マーカー104はビデオフレーム上のどこにも現れ、ビデオフレームのすべてのイメージ要素がマーカー104の位置を決定するために検査されなければならない点が非効率的である。したがって、ある実施例において、マーカー104の位置の初期決定はビデオフレーム内のすべてのイメージ要素の検査に関連する。ビデオフレームが６４０×４８０画像エレメントから成るとすると、３０７２００個（６４０×４８０）のすべての画像エレメントがマーカー104の位置を探すべく最初に検査される。

マーカー104のリアルタイム追跡のために、リアルタイムでマーカー104の位置を決定するためにビデオフレーム毎に各画像エレメントを検査することは膨大な量のシステムリソースを消費することになる。よって、ある実施例において、マーカー104のリアルタイム追跡は、先行ビデオフレーム内ですでに識別されたマーカー104の位置の推定値に基づいて、配置された追跡ゲートと呼ばれるビデオフレームの小領域を処理することによって単純化される。先行ビデオフレーム内で定義されたマーカー104の所定位置は、同じマーカー104に対してリアルタイムで初期検索範囲（すなわち、追跡ゲート）を形成するのに使用される。ひとつの実施例において、追跡ゲートはマーカー104の先行位置を中心とするビデオフレームの比較的小さい部分である。追跡ゲートは、追跡アルゴリズムがゲート内でマーカー104を探すことができない場合にのみ拡大される。例として、特定のマーカー104の所定位置がビデオフレーム内の画像エレメント(50,50)である場合を考える。追跡ゲートがビデオフレームの５０×５０領域に制限されれば、この例に対する追跡ゲートは座標(25,25)、(25,75)、(75,25)及び(75,75)によって定義される領域境界内の画像エレメントから成る。ビデオフレームの他の部分は、マーカー104がこの追跡ゲート内で発見されない場合のみ検索される。

ひとつの実施例に従い、ビデオフレーム内での各マーカーの画素座標が追跡される。その後各ビデオフレームに対する２つのマーカー間の画素ドメイン距離が測定される。２つのマーカーの既知の物理的距離は測定距離で割り算され、２つのマーカーを結合する線の方向でブロックの移動増分を変換するためのスケール因子が与えられる。このスケール因子は新しいビデオフレームの各々に対して更新され、各マーカーの移動増分を画素ドメインから物理的ドメインへ変換するのに使用される。変換は移動追跡中のカメラ視角、マーカーブロック方向、及びカメラまでの距離の変化を勘案する。図３a及び図３bの処理の出力は物体102の位置及び方向データから成る。他の実施例において、バイオプシー針の先端のような物体102の特定部分の位置及び方向が得られる。物体102の特定部分の位置及び方向は、基準座標システム内でのマーカー104に対する物体102の特定部分の位置を与える以前調査した基準データを使って決定される。測定座標システム内での物体102の特定部分の位置及び方向を決定するのに受信したマーカー104の位置と組み合わせて、物体102の特定部分の基準データを使用する、幾何学的変換が実行される。

本発明の実施例において、デバイス102はポインタ先端308を有するポインタデバイスから成る。測定座標システム内でのポインタ先端308の位置は上記したように決定される。その後、ポインタ先端308によってトレースされた３次元経路は、カメラ108によって撮られた連続イメージ内のポインタ先端308の位置をモニターすることにより決定される。本発明の実施例において、この方法及び装置は患者の３次元プロファイリングの際に使用され、それは患者の体表面の３次元輪郭線を測定することに関する。ポインタ先端は所望の経路で患者の皮膚にわたってトレースされ、その経路に沿った患者の輪郭線が決定される。例えば、患者のプロファイリングは放射治療計画に有用である。本発明は３次元の点、輪郭線または面の位置及び幾何の決定を要求するあらゆる応用に対して使用されることは当業者の知るところである。

本発明の他の実施例において、デバイス102はバイオプシー針のような手術器具から成る。器具の先端308の位置及び方向は測定座標システム内でモニターされる。このモニターにより、医者は患者の体内にあって見えない先端308の位置を知ることができる。先端308方向のモニターにより、医者は先端308が患者の体内に挿入されるに従い進む方向を知ることができる。

ある実施例において、物体102に光を投影する照明ソース（実施例では赤外線ソース）がカメラ108とともに使用される。生成された光はマーカーブロック150に取り付けられたひとつまたはそれ以上のマーカー104から反射される。カメラ108はひとつまたはそれ以上のマーカー104からの反射光を捕捉しかつ検出する。マーカー104の位置、数及び方向は、特定のデバイス102または使用されているシステム構成に基づいて選択される。

ひとつの実施例において、各マーカー104は可視または不可視波長の光を反射する反射または再帰反射材料から成る。照明ソースがカメラ108とともに配置される場合、マーカー104は照明ソースの方向でほとんどの光を反射する再帰反射材料から成る。変形として、各マーカー104はそれ自身の光源から成ってもよい。マーカー104は、位置及び動きを検出するべくカメラ108により画像化されたデバイス102上の物理的ランドマークとともにまたはその代わりに使用される。マーカー104はカメラ108によって生成されるビデオイメージを通じてより正確に検出されかつ追跡されるため、好適にはランドマークの代わりに使用される。マーカー104の反射または再帰反射の性質のため、特にカメラ108及び照明ソースが並置される場合、マーカー104はカメラ108のような光検出装置のビデオイメージに大きなコントラストを与える。

ある実施例に従い、手術中の患者のデジタルビデオがカメラ108を通じて記録される。患者の動きを追跡するために使用される同じカメラ108は後の参考のために患者のビデオイメージを記録するために使用される。患者の通常の周囲光イメージシーケンスがマーカー104の測定移動信号と同期して得られる。

ひとつの実施例において、ひとつまたはそれ以上の表面上に複数の基準位置またはマーカー104を有するマーカーブロックが使用される。マーカーブロック上の各基準位置は、カメラ108のような光学画像装置により検出可能な再帰反射または反射材料から成る。マーカーブロック1471のひとつの実施例は、図５cに示されるような、固くて中空の軽いプラスチックブロック1477上の複数のマーカー1475を使用する。

カメラまたは他の光学画像装置がマーカーブロックの配置を正確に示すイメージを見てかつ生成することができるように、基準位置のサイズ、間隔及び位置が構成される限り、マーカーブロックは任意の形状またはサイズで形成される。

図５a及び図５bは、本発明で使用可能なマーカーブロック1402及び1406の他の実施例を示す。マーカーブロック1402はその表面上に配置された複数の反射または再帰反射マーカー要素1404を有する矩形形状を含む。マーカーブロック1402は固定設置されたマーカーのセットを支持する。マーカーは、ビデオカメラのような画像装置においてコントラストの高い特徴としてリアルタイムに現れなければならず、そのイメージはコンピュータシステムによりデジタル化されかつ処理される。マーカーブロックの実現には、硬いプラスチックボックスまたはプラットフォームへ糊付けまたは取り付けられた球体セットを覆う再帰反射材料を使用する。マーカーブロック1406はその上に配置された複数の反射または再帰反射マーカー要素1408を有する非矩形構造を含む。

図７は、表面に配置された再帰反射エレメント1102から成る複数の基準位置を有する円柱形状のマーカーブロック1100の実施例を示す。マーカーブロック1100は例えばプラスチックなどの硬いブロックとして形成される。この方式で作られたブロックは、病院で通常の耐感染処理が施されれば、複数の患者に対して複数回再利用され得る。図６は表面に取り付けられた複数の再帰反射エレメント1002から成る半球形状を有する他のマーカーブロック1000を示す。

マーカーブロックは特定のデバイス及び器具にフィットする形状で形成される。例えば、マーカーブロックはデバイス／器具の特定位置に一致する鋳込みまたは鋳型を使って形成されてもよい。他に、マーカーブロックはデバイスまたは器具へ取り付けられる取付具にフィットするよう形成されてもよい。さらに他の実施例において、デバイス及び器具は、反射または再帰反射マーカーを有する一体形マーカーブロックにより形成される。

上記において、発明は特定の実施例を参照して説明されてきた。しかし、発明の思想及び態様から離れることなくさまざまな修正及び変更が可能である。例えば、イメージ処理装置110により実行される動作は本発明の態様内でハードウエア及びソフトウエアの任意の組合せにより実行され、イメージ処理装置の特定の定義から生じる特定の態様に制限されない。したがって、明細書及び図面の記載は制限的意味ではなく例示に過ぎない。

図１は、本発明の実施例に従って物体の位置及び方向を追跡する単一カメラ用システムのコンポーネントを示す。 図２a及び図２bは本発明の実施例に従い、異なる方向のマーカーブロックを示すイメージフレームの例を示す。 図３aは、本発明の実施例で実行される処理を示すフローチャートの一部である。 図３bは、本発明の実施例で実行される処理を示すフローチャートの一部である。 図４は、超音波画像プローブの位置及び方向を検出するための本発明のアプリケーションを示す。 図５a、図５b及び図５cは、本発明の実施例に従うマーカーブロックを示す。 図６は、本発明の実施例に従うマーカーブロックを示す。 図７は、本発明の実施例に従うマーカーブロックを示す。 図８は、本発明の実施例に従うイメージガイド手術の様子を示す。 図９は、本発明を手術装置に応用した実施例を示す。

Claims (46)

1. ３次元空間での物体の位置及び方向を追跡する方法であって、
   (a)物体上の複数のマーカーを調べる工程と、
   (b)物体を画像化するのに使用されるイメージ装置をキャリブレーションする工程と、
   (c)物体の位置及び方向データの第１セットを得る工程と、
   (d)射影マーカー座標を得るべく、マーカーをイメージドメインに射影する工程と、
   (e)イメージ装置を使ってイメージフレームデータセットを得る工程であって、前記イメージフレームデータセットは複数のマーカーのうちの少なくとも３つのマーカーに対するイメージデータから成るところの工程と、
   (f)射影マーカー座標に対するイメージフレームデータセットを解析する工程と、
   (g)上記工程(f)の結果が許容閾値範囲内になければ、物体の位置及び方向データの第１セットを調節する工程と、
   (h) 上記工程(f)の結果が許容閾値範囲内にあれば、物体の位置及び方向データの第１セットを受け入れる工程と、
   から成る方法。
2. 請求項１に記載の方法であって、複数のマーカーを調べる工程は物体に特定の基準座標空間で実行される、ところの方法。
3. 請求項２に記載の方法であって、調べたデータは物体上の複数のマーカー間の既知の相対位置を与える、ところの方法。
4. 請求項１に記載の方法であって、イメージ装置をキャリブレーションする工程は、測定座標システムに関して、イメージ装置の座標システムを並進及び回転することにより実行される、ところの方法。
5. 請求項４に記載の方法であって、測定座標システムは医療機器のシステムと同一中心で引き出される、ところの方法。
6. 請求項４に記載の方法であって、キャリブレーションは構造の既知の位置及び寸法を画像化することにより実行される、ところの方法。
7. 請求項１に記載の方法であって、物体の位置及び方向データの第１セットは予想された物体の位置及び方向の初期推定値から成る、ところの方法。
8. 請求項１に記載の方法であって、マーカーを射影する工程は、先行イメージフレームからの位置及び方向の推定値を使用する、ところの方法。
9. 請求項１に記載の方法であって、物体の位置及び方向データの第１セットは物体に関する６自由度（６DOF）データ値から成る、ところの方法。
10. 請求項１に記載の方法であって、イメージフレームデータセットを得る工程は、イメージフレームデータセット内で少なくとも３個のマーカーが同定されるまで繰り返される、ところの方法。
11. 請求項１に記載の方法であって、マーカー座標はイメージフレームデータセットのイメージ解析により引き出される、ところの方法。
12. 請求項１１に記載の方法であって、工程(f)は、工程(d)の射影マーカー座標と工程(e)から引き出されたマーカー座標の第２セットとの間の差分ベクトルを形成することから成る、ところの方法。
13. 請求項１２に記載の方法であって、差分ベクトルは許容可能な閾値と比較される、ところの方法。
14. 請求項１１に記載の方法であって、工程(g)は、差分ベクトルの長さを減少させるような方法で、差分ベクトルを使う物体の６自由度推定値を調節することから成る、ところの方法。
15. 請求項１に記載の方法であって、物体の位置及び方向データの第１セットは物体の位置及び方向データの先行セットから成る、ところの方法。
16. 請求項１に記載の方法であって、さらに、物体と物体に固定されたデバイスとの間の相対位置を調べる工程を含む方法。
17. 請求項２に記載の方法であって、物体に超音波プローブが取り付けられ、超音波プローブにより画像化された構造に対して位置が決定される、ところの方法。
18. 請求項１７に記載の方法であって、超音波プローブにより画像化された構造は測定座標空間で並進及び回転される、ところの方法。
19. 請求項１８に記載の方法であって、並進を実行するために、マッピング情報が使用される、ところの方法。
20. 請求項１９に記載の方法であって、マッピング情報はシステム座標空間で超音波プローブをキャリブレーションすることにより得られる、ところの方法。
21. 請求項１９に記載の方法であって、マッピング情報は超音波プローブを使って既知の構造を画像化することにより得られる、ところの方法。
22. 請求項１７に記載の方法であって、超音波プローブにより生成されたボクセルは物体の基準座標へマッピングされる、ところの方法。
23. 請求項２に記載の方法であって、たったひとつのイメージ装置が物体の位置及び方向を追跡するのに使用される、ところの方法。
24. 請求項２に記載の方法であって、工程(d)の座標は画素座標から成る、ところの方法。
25. 請求項２に記載の方法であって、物体はマーカーブロックから成る、ところの方法。
26. 請求項２に記載の方法であって、物体の位置及び方向データの第１セットを受け取るよう工程(h)が実行されるまで、工程(g)が繰り返される、ところの方法。
27. 請求項２に記載の方法であって、先端を有する手術器具が物体に取り付けられ、先端位置が物体の位置及び方向に基づいて計算される、ところの方法。
28. 請求項２７に記載の方法であって、先端は構造全体にわたってトレースされ、構造はトレース中に先端位置に基づいてプロファイルされる、ところの方法。
29. 請求項２８に記載の方法であって、構造は患者の体から成る、ところの方法。
30. ３次元空間でのデバイス上の点の位置をデジタル化するための方法であって、
    デバイス上に複数の基準点を定義する工程と、
    デバイスに関して固定された局所基準座標システムにおける、点及び複数の基準点の座標を光学的に決定する工程と、
    複数の基準点の第１サブセットを検出する工程と、
    複数の基準点の第１サブセットの測定座標システムにおける座標を決定する工程と、
    測定座標システムにおける、点の第１座標を決定するべく幾何学変換を実行する工程と、
    から成る方法。
31. 請求項３０に記載の方法であって、さらに、複数の基準点に複数のマーカーを配置する工程を含む方法。
32. 請求項３０に記載の方法であって、デバイスはその上に点が存在する手術器具の先端から成る、ところの方法。
33. 請求項３２に記載の方法であって、手術器具の先端はバイオプシー針の先端から成る、ところの方法。
34. 請求項３０に記載の方法であって、複数の基準点は物体上のマーカーから成る、ところの方法。
35. 請求項３０に記載の方法であって、第１サブセットは少なくとも３つのマーカーから成る、ところの方法。
36. 請求項２８に記載の方法であって、点の位置をデジタル化するのにひとつのイメージ装置が使用される、ところの方法。
37. 患者を３次元プロファイルするための方法であって、
    患者の体表面の経路に沿ってポインタデバイスの先端をトレースする工程と、
    ポインタデバイスの先端に関してマーカー位置のセットの測定座標を光学的に検出する工程と、
    測定座標システムにおけるポインタデバイス先端の座標を決定する工程と、
    患者の体表面の経路に沿ってトレースされるに従い、ポインタデバイスの先端の座標を繰り返して更新しかつ保存する工程と、
    から成る方法。
38. 請求項３７に記載の方法であって、マーカー位置のセットが単一のカメラにより光学的に検出される、ところの方法。
39. 請求項３７に記載の方法であって、マーカー位置のセットがマーカーブロック上に配置される、ところの方法。
40. 患者の体における位置に関する手術器具の位置及び方向を決定する方法であって、
    患者の体内領域のイメージデータを捕捉するための画像化手法を実行する工程と、
    イメージ座標システムにおける患者の体内の位置を決定する工程と、
    測定座標システムにおける手術器具の位置及び方向を光学的に決定する工程と、
    イメージ座標システムにおける手術器具の位置及び方向を決定する工程と、
    から成る方法。
41. 請求項４０に記載の方法であって、画像化手法は、CT法、MRI法、PET法から成る集合から選択される、ところの方法。
42. 複数のマーカー及び手術器具が固体デバイス上に固定されるところの請求項４０に記載の方法であって、測定座標システムにおける手術器具の位置及び方向を決定する工程は、
    少なくともひとつのカメラでマーカーの少なくともサブセットを見る工程と、
    マーカーの少なくともサブセットのイメージデータを生成する工程と、
    マーカーの少なくともサブセットのイメージデータから、手術器具の測定座標システムにおける位置及び方向を決定する工程と、
    から成るところの方法。
43. 請求項４０に記載の方法であって、さらに、
    患者に画像化手法を実行する工程と測定座標システムにおける手術器具の位置及び方向を決定する工程との間に、患者を移動する工程と、
    手術器具の位置及び方向を決定する前に、画像化手法を実行する工程の完了時に決定された患者の位置と一致させるように、患者を再配置する工程と、
    から成る方法。
44. 請求項４０に記載の方法であって、さらに、
    患者体内の生理的活動をモニターする工程と、
    生理的活動のモニターのフィードバックを患者に与える工程と、
    から成る方法。
45. 請求項４０に記載の方法であって、画像化手法はリアルタイムでイメージを捕捉するために実行される、ところの方法。
46. 物体の位置及び方向の単一カメラ追跡方法であって、
    物体上のマーカーのセットを調べる工程と、
    物体の位置及び方向の推定値を得る工程と、
    実際の座標情報を生成するイメージフレームを得るべく物体を画像化するのにひとつのカメラを使用する工程であって、イメージフレーム内の少なくとも３つのマーカーは同定可能である、ところの工程と、
    実際の座標情報を解析する工程と、
    実際の座標情報の解析結果が許容閾値範囲内にあれば、物体の位置及び方向の推定値を受け入れる工程と、
    から成る方法。

Images