JP2007512854A - 手術用ナビゲーションシステム（カメラプローブ） - Google Patents

Abstract

【課題】手術部位内のナビゲーションのシステム及び方法を提供する。
【解決手段】本発明に係わる実施形態では、トラッキング装置でトラックされる、携帯のナビゲーションのプローブに、マイクロカメラを設けている。これにより、プローブ内に設けたマイクロカメラの視点からのリアルタイム画像を見ながら、手術場面内でナビゲーションが可能となる。手術場面には、術前の走査から生成された対象構造のコンピュータ３次元画像が、重ね合わされている。カメラ画像および重ね合わせ３次元画像の透明性の調整で、深さの認識を強めることができる。プローブ先端と重ね合わせの３次元構造との距離、すなわちプローブから延びた仮想の放射線に沿った距離が、組合せた画像に動的に表示される。本発明の実施形態では、仮想インターフェイスが、組合された画像に隣接してシステムの表示装置に表示される。これによりナビゲーションに関わる機能が促進される。

Description

本発明は、コンピュータ支援の外科手術に関し、特にコンピュータで機能強化した手術用ナビゲーションシステムに関する。発明は、さらに、そのシステムの操作およびコントロールの方法および装置に関する。

画像ガイダンスシステムが、脳外科手術に、より一般的かつ広く適用されてきている。そのようなシステムは、正確性を増して広範囲の手術の処理を少なくしつつある。現在、画像ガイダンスシステム「ナビゲーションシステム」は、術前の画像データ取得に基づいている。これらのデータは、光学トラッキング装置、例えばＭＲＩ、ＣＴなどで患者から得る。そのような光学トラッキングは、患者の皮膚に設けたマーカ（基準点）を検知して、術前の画像データの対応箇所と関連付ける。

多くの従来の画像ガイダンス手術では、術前の走査データの画像が、３次元座標の２次元画像で表示され、外科医がトラッキング作用をするプローブを持つ。プローブが、手術部位に導入されると、その先端位置は、画像上でアイコンとして表示される。術前の画像データを実際の手術領域とリンクさせることにより、ナビゲーションシステムは、外科医（あるいは施術者）に価値ある情報を提供する。つまり、患者体内でのツール（プローブ）の正確な位置である。これは、術前プランで使用する画像を、手術中の実際の組織に関連できる。

しかしながら、従来システムは、表示画像が２次元であるため、外科医が、頭の中で３次元画像に調整する必要がある。これらは、２次元断層データを提供する従来のナビゲーションシステムに共通する問題である。従って外科医は、著しい精神的努力で、術前の画像の位置関係（軸平面、前頭面、矢状面）と、患者の対象領域の物理的位置関係、例えば、脳神経外科手術での患者の頭（通常、手術中は、布で覆われている）を関連付ける。

他の従来システムは、３次元データセットを第４の表示ウィンドウで表示する。しかし、そのようなシステムで表示された３次元画像は、単なる術前の走査データで、外科医が実際に見る手術部位とは全く関連しないか又は合致しない。従って、そのようなシステムを使用している間、外科医は、作業中に、実際の外科の手術部位と表示された３次元視界とを頭の中で一致させることを強いられる。これは、関心有る物体の３次元画像（黒の背景に対する抽象的な物体）と手術部位の実際の視界を連続的に切り替える事を外科医に要求する。つまり技術に必要なものは、外科医の手術中に術前データを面倒でなく提供し、施術者のリアルタイムの外科手術のナビゲーション能力を高めることである。

本発明は、コンピュータ機能を強化した手術用ナビゲーションシステムとその方法を提供する。

本発明による典型的な形態では、トラッキング装置で位置決めする携帯型ナビゲーションプローブにマイクロカメラを設けている。これは、マイクロカメラで得られるリアルタイム画像を見ながら、手術部位でのナビゲーションが可能となる。リアルタイム画像は、対象とする構造の３次元グラフィックスに重ねられる。リアルタイム画像および重ね合わせた３次元グラフィックスの様々な透明な配置は、距離感覚を増強する。プローブと重ね合わせた３次元グラフィックスの「物体」間の距離が、重ね合わせた画像でダイナミックに表示される。発明の典型的な実施例では、仮想インターフェースも、システム画面上の重ね合わせた画像に隣接して表示することができる。これで、様々なナビゲーション関連と画面機能を相互作用させる事ができる。本発明の典型的な実施例では、外科手術のアプローチに仮想現実システム使用することができる。この場合、術前に獲得した多様なＣＴやＭＲＩデータを利用する。本発明は、理想的な手術手順のマークに加えて、３次元構造の形成を可能とする。本発明の装置および方法は、手術の計画シナリオを、実際の手術部位のリアルタイム画像に変換することが出来る。

手術用ナビゲーション（手術部位操作案内）の斬新な装置および方法を提供する。本発明の典型的な実施例では、術前の３次元画像データの画像を、手術時のビデオカメラのリアルタイム画像に重ね合わせる。同時に、外科医またはユーザに、手術部位でのナビゲーションを提供する。ビデオカメラのリアルタイム画像に加えて、現下の対象点での走査データの軸平面、前頭面、矢状面を表示する。本発明による典型的な実施例では、この機能は、トラッキングされるマイクロビデオカメラとコンピュータ画像装置とを組合わせて達成される。実施例では、コンピューター画像装置は、ビデオカメラのリアルタイム画像に、術前に得た３次元画像データからのコンピュータ生成画像を重ね合わせて表示できる。

図１に、本発明の典型的な実施例によるプローブ110を示す。プローブ110は、ビデオカメラ120および先端に取付けたポインタ130を備えている。ビデオカメラ120は、プローブ先端がカメラの視界150内に入るように取付ける。したがって、外科医は、手術を通してシステムの画面モニターを見ることができる。任意に選択されたコンピュータ生成物体に加えて実際のビデオ画像も見ることが出来る。外科医は、手術部位から常にディスプレイモニターへ視野を移す必要が無くなる。カメラの重量は、非常に軽く容易に携帯できる。ポインタ130は、対象となる領域または物体、例えば立方体180、を指示できる。物体が不透明な場合、その内部に他の関与する物体、例えば円柱体190、があるとする。リアルタイムのビデオ画像は、立方体180が不透明のため、円柱体190を表示することができない。コンピューター画像システムは、ユーザに関心領域の増大・増強した視界を提供することが出来る。

下記に詳述するが、本発明の実施例では、コンピュータで生成した３次元の術前画像データを、ビデオのリアルタイム画像と重ね合わせて、半透明モードでの表示が出来る。術前の画像データとは、手術の計画データ、選択した物体、および対象とする構造である。同時に、関心領域の術前走査データを含む軸平面、前頭面および矢状面を３つの分離したウィンドウに表示できる。下記に記述するが、そのような画像面は、プローブ110のポインタ先端130の現下の位置に基づいてダイナミックに変えることができる。

図２は、ビデオカメラ120の視点から見た図1の典型的な場面を描く。本発明の実施例による拡張画像システムでは、立方体180(ビデオカメラのリアルタイム画像から)および立方体に隠れているコンピュータ生成の円柱体190(術前の走査データで生成)が見える。実際の外科手術処置では、例えば、手術部位内で見えるものに対して、既知であるが目に見えない又は塞がっている物体の正確な位置を知ることは重大である。例えば、頭蓋下の目に見える腫瘍を除去する時に、腫瘍裏に隠れている触れてはならない重要な構造、例えば視神経の正確な位置を知ることは極めて重大である。図２において、円柱体190は、隠れている物体の典型的な表示である。プローブ130を目に見える物体(立方体180で表示)に近付けた時、プローブ130と円柱体180の正確な距離は、ユーザには重大である。

本願発明の方法および装置は、ユーザに術前・術中に「通常の視界の向こう先」を見ることを可能にする。つまり、ポインタ130(図１、２参照)の先端の向こう先を見ることにより、腫瘍または近くの血管の位置を視覚化できる。さらに、図１９〜２４に関して下記に記載されるように、システムは、例えば、「視界を越えた」(ビデオカメラまたは肉眼には見えない)構造への距離を、ポインタ先端の方向に沿って表示することができる。これらの距離は、数値または他の読出し形式で表示される。従って、ユーザがプローブを移動させると、関与する物体とプローブとの距離変化を見ることが出来る。これらは、システムに内蔵している術前のデータに基づいている。これは、非常に鋭敏または重要な隠れた構造が近くに存在することをユーザに注意を促す。

本発明の方法および装置は、外科手術または他の体内ナビゲーションの新規な方法となる。本発明の実施形態では、患者の術前データによるコンピュータ生成３次元表示で強化された手術部位のリアルタイム画像と、動的に変化する軸平面、前頭面、矢状面像(術前走査データから生成)と、ポインタ先端のリアルタイムの位置とを同時表示することでナビゲーションを行なう。全ての画像ウインドウが一つのモニターで表示されるので、２つのモードでの表示は相互に強化される。この結果、ユーザは空間位置を一層理解し、ナビゲーションを更に容易かつ総括的に使用できる。

本発明の実施形態でのナビゲーションシステムの３次元データは、３次元ボリュームレンダリングで生成できる。例えば、Volume Interactions Pte Ltd社(シンガポール)のVizDexter(登録商標)またはRadioDexter(登録商標)の３次元画像可視化システムを用いる。VizDexterおよびRadioDexterシステムの各々は、３次元のデータ表示システムの仮想現実環境での多様なイメージ(例えば、ＣＴとＭＲＩ)イメージで利用できる。本発明の典型的な形態では、そのような３次元のデータ表示システムは、例えば、Volume Interactions Pte Ltdによって提供されるDextroscope(登録商標)である。

≪装置の詳細≫
図３〜６は、本発明の典型的な形態の装置を示す。図７は、図３〜６の装置の概略図である。図３に示すように、本発明の実施形態のプローブは、４つの主要な部分からなる。それらの内の３つは、図３〜６で見える。プローブは、筐体320と、筐体320から取り外せるポインタ先端330と、筐体320に取付けた３個の球体325とを備えている。球体320の１つは、筐体320の前方部上方、そして２つの球体は、筐体の後方部に取り付けている。これら球体は、患者の身体(及び体内の関与する既知の構造)に対するプローブの位置をトラッキングするために使用される。

筐体320にビデオカメラのケースが収容される。筐体後端部322で見えるが、図１０〜１５で詳細を示す。カメラケースの後端部にケーブル340を接続してビデオカメラのビデオ信号を画像システムに送る。図３の典型的な装置では、カメラは(図３では見えないが、図１２〜１４でカメラ4が見える)、ガラスレンズ352の後ろ、筐体350の前方に、搭載できる。カメラは、取外し可能のポインタ330の先端が、視界に入るように取り付ける。ケーブル340の先端にカメラの絞り調整デバイス、例えば銀色のリング345を取付けても良い。図３では、ケーブル340の末端、絞り調整デバイス345およびカメラ全体の長さは、筐体320より短い。筐体の長さは、人間工学的および設計要素による。拡張部360は、カメラケース内のカメラ組立部品を保持できる。カメラ組立部品は、拡張部360の後ろで、固定デバイス370により筐体320に対して固定位置に(前後方向に)保持できる。さらにカメラケース内のカメラを筐体320に対して向き(回転)を代えて固定できる。これはカメラケースの後端部322の斜面を用いる。この斜面は、筐体320の後部の突起とかみ合い、カメラケース322がプローブ筐体320に固定される。これは図３の固定デバイス、ねじ380で実現できる。

図４〜６は、図３のプローブをユーザが保持しているのを種々の角度で表示している。図４〜６を参照すると、ユーザは、プローブをペンまたは鉛筆を持つように保持できる。図４に、プローブ筐体410の保持を示す。筐体の後部を人差し指と親指の間に置き、前方部を親指と人差し指でつかみ、中指に置く。図４〜６は、プローブが容易に操作できる手持ちサイズで有ることが分かる。

図４のプローブ筐体後部の突起485は、カメラケース422をケース内の斜面(図４では見えない)にかみ合わせて所望の回転方向で固定する。所望の回転位置で、固定ねじ480で固定する。突起485、固定ねじ480および斜面は、図１３を参照して詳述する。

本発明の実施形態を図８〜１５を参照して述べる。本発明の実施形態の典型的なプローブは、(1)取外し可能なポインタ先端330と、(2)カメラ組立部品を収容する筐体320(ユーザが保持する部分)と、(3)ケースに入れ込み固定するカメラと、(4) １つ以上のナビゲーションマーカー、例えば、図３に示す３個のトラッキングボール(球体)325の４つの部分からなる。

図８と９は、本発明の実施形態のプローブのサイズの例である。図９は、図８のプローブにサイズを入れている。

図９は、取り外し可能のポインタ先端930、プローブ筐体920および２つのトラッキング球体925のサイズを表している。取り外し可能のポインタ先端の長さは130mm、筐体の前後端の長さは135mm、そして前後のトラッキング球体925中心間の距離は110mmである。図示したサイズは例示で、人間工学を考慮に加えて設計により大幅に変えても良い。筐体920の中心軸970は、ポインタ先端930の中心軸971から19mmオフセットしている。19mmのオフセットとポインタ先端の長さの組合せがカメラの視界サイズを決定する。

オフセットの長さは、ポインタ先端およびユーザの都合で15〜20mmの範囲にすることが可能である。プローブ筐体920の長さは、前方トラッキング球体925の垂直の中心軸と後方の２つの球体の垂直中心軸の中点との距離110mm、または、筐体920の前後端距離135mmで決められるが、人間工学的または設計の関係から変更しても良い。

本発明の実施形態のプローブ筐体の長さは、使用するトラッキング装置で下限が決まる。これは、ポラリスシステム(Polaris system)のようなトラッキング装置では、正確なトラッキングを得るために、前方のトラッキング球体と後方の一対の球体に50mmの横の距離が必要である。上限は300mmで、これ以上では正確なトラッキングは得られない。これらの制限、または他のトラッキング装置による制限内で、プローブ筐体の長さは、状況により変更しても良い。

実施例の図９で明らかであるが、前方のトラッキング球体中心と後方のトラッキング球体中心間で垂直方向にオフセットがある。これはトラッキング機能を付けるためである。一般的にトラッキング装置において、トラッキング球体の面をトラッキング装置の視野方向に対して垂直にするのが好ましい。トラッキング装置の視線は、図９の左上から右下４５度の線となる。外科医は、プローブを水平にせず、また、水平から45度上向にもしない。これにより、プローブは、視野に正確に垂直となる。本発明の実施例では、前方と後方ペアのトラッキング球体の高さにオフセットを用いている。このオフセットは、３つのトラッキング球体が形成する面を、水平からプラスの角度に向ける。ここでは、プローブ先端を、後部に対して傾けて保持する状態をプラスの角度とする。これによりトラッキング装置の視線(左上からプラス４５度)に対してトラッキング球体が形成する面を垂直に保つことが出来る。トラッキング装置に対してプローブの見易さを高めている。

プローブの筺体920は、加圧滅菌処理され、図９に示すように、殺菌ホース950が筐体後端に取り付けられている。筐体およびポインタ先端は、手術で使用されるため、好ましくは無毒、変異かつ腐食性の無いことが好ましい。本発明では、Tiを用いた。通常のカメラは、加圧滅菌器に入れることが出来ないため、手術室では殺菌しないカメラを殺菌ホース950に通し、プローブ筐体920に通して固定する。

筐体920は、先端がガラスまたは同様の材質からなり、カメラが無菌環境と接触するのを避ける。このガラスには、高い透明性のガラス、例えば石英を用いてカメラレンズを通過する入射光のゆがみを最小限にする。ガラスまたは同様の材料は、ぴったりと筐体に合って手術部位からカメラを密封している。

図１０は、カメラ3をプローブ筐体2に一方向から挿入する状態を示す。カメラ3を筐体2の固定した位置に取り付けるための係止機構を設けても良い。この係止機構を、図１３に示す。斜面部1301がカメラケース3の後部に刻まれている。カメラケース3がプローブ筐体2に入ると、斜面部1301は、突起プラグ1305に嵌合して、一方向でカメラを保持する。ねじ1310を締めてプローブ筐体2に対してカメラケース3を固定する。カメラケースにカメラが固定されているため較正が正確に行なえる。カメラの前面(これは、カメラの参照フレームの原点となる)から、取り外し可能のポインタ先端まで、およびナビゲーションマーカ(前述のトラッキング球体)の中心の距離が分かる(較正で予め測定されている)。

手術部位のビデオカメラのリアルタイム画像を提供する他、プローブは、デジタルズーム機能を備えた拡大デバイス、またはナビゲーションデバイスとして使用できる。ポインタ先端部を取り外して、カメラに邪魔の無い映像を提供またはプローブの前で操作する手または機器のスペースを取ることができる。デジタルまたは光学ズームで、拡大３次元コンピュータグラフィックスを、カメラ画像で拡大したサイズ・形に合わせられる。

カメラの解像度が充分高い場合、手術の時に光学拡大装置、例えば顕微鏡やヘッドアップレンズに置換える事も出来る。高分解能カメラと関連ズーム機能で、本発明の方法と装置は、顕微手術を根本的に変える。これにより、通常の画像処理技術を用いて、従来の光学システムを越える倍率及びより少ない光学歪の入射光を提供する。

本願発明の他の実施形態として、仮想画像並びにリアルタイム画像も立体的にできる。この場合、２台のカメラを配置し、オンライン立体画像を実施する。偏光、シャッターまたは色分けした３次元眼鏡で見ることになる。または既存の技術を使用した３次元表示で見てもよい。既存技術を用いて、立体画像を、術前の走査データからの立体的仮想画像と結びつけることが出来る。この実施形態は、最大の深さ感覚を与えてくれ、手術部位にアクセスするプローブの操作を促進する。そして外科医の直接の視線を必要としない。従って、外科医は、患者を見ながらナビゲーションする表示装置のみを用いる。

≪プロセスの流れ≫
図１６は、手術用ナビゲーションの術前プランのプロセスフローを示す。ステップ1601で、目印または基準点を患者に付ける。形は、リング、正方形または容易に認識できる形で良く、走査の際に見える形が良い。基準点になるものは、既知の種々の材料からなる。ステップ1610で、患者に走査を行ない術前に画像データを生成する。図１６には、コンピュータ断層撮影(ＣＴ)、磁気共鳴映像法(ＭＲＩ)および３次元超音波走査(３ＤＵＳ)からなるマルチモード走査を例示している。この走査から、ステップ1602で、患者の画像データセットを取得し、患者の解剖領域の３次元データセットを得る。ステップ1620で手術のプランを検討する。ステップ1601〜1620で取得する患者の画像データセットは、(i)手術を予定している領域または構造の画像データと、(ii)マルチモード走査空間の目印/基準点の３次元位置と、から成る。

次に図１６および１７でレジストレーションプロセスを説明する。レジストレーションプロセスは、図１６のステップ1603での患者の画像データセットをビデオカメラの３次元空間の患者本体とを合わせこむプロセスである。患者の画像データセットを、ビデオカメラのリアルタイム画像に最小の誤差で重ね合わせる。リアルタイム画像と術前の走査データによる画像とを合わせて手術中のナビゲーションに使用する。明らかであるが、手術用ナビゲーションにおいて、術前の３次元画像データによるリアルタイム画像の増強は、重ね合わせ位置を正確にして始めて稼動する。つまり術前の３次元空間を、術中の患者およびビデオカメラが位置する３次元空間に、最小の誤差で合わせることで効果のある結果が得られる。図１７で、左上のステップ1701および1702は、術前の画像データのプロセスを示し、ステップ1711および1712は、リアルタイム、すなわち実際の物理データを示している。この２つの平行したデータの流れをステップ1703でマッチさせる。

ステップ1701の患者の画像データセット(図16の1603)をロードする。ステップ1702で、患者の画像データセットから目印/基準点の３次元位置を抽出する。ステップ1711で、トラッキング装置、例えばNDI(Northern Digital Inc.)社のPolaris(登録商標)を従事させる。ステップ1712で、患者に取り付けた目印/基準点の実際の３次元位置をトラッキング装置の参照フレーム内で決める。ステップ1703で、ステップ1712とステップ1702の目印/基準点の３次元位置を関連付ける。ステップ1704で変換マトリクスＭを生成する。この変換マトリクスＭを、患者の術前画像データセットに作動させる。トラッキング装置の参照フレーム内の物体に座標変換を行なう。トラッキング装置の参照フレームと、カメラの参照フレームは同じである。

術中のプロセスフローを図１８に示す。プローブ1802内のカメラは、患者1801のリアルタイム画像コンピュータ1861に送出し、例えばメモリバッファに蓄積する。プローブの３次元位置と方向は、トラッキング装置1803、例えばプローブ1802上のトラッキングマーカで検出される。仮想カメラ1804〜1806が、システムプログラムによりコンピュータ1861で生成される。その固有パラメータ1805は、プローブ1802内の実際のカメラのパラメータと同一である。この様なパラメータは、既存手段を用いて、予め正確な較正プロセスで決定できる。付帯的なパラメータ(位置および方向)1806は、トラッキング装置1803でアップデートする。トラッキング装置は、プローブ1811の３次元位置と方向、および、患者1812の３次元位置と方向を与える。結合データ1810も示している。トラッキング装置1803からの出力で、プローブデータ1811と患者データ1812に分けられる。

手術プランを含む患者の画像データセット1808を、Volume Interactions社のVixDexterおよびRadioDexterからロードする。また画像データセット1808を、図１７で記述したレジストレーションプロセスで出力される変換マトリクスを用いて、患者にレジストレーションする。このレジストレーションは、患者1801に強く取り付けた基準マーカシステムに変換される。これによりレジストレーションは、トラッキング装置1803で基準マーカ1801をトラッキングすることで、手術中に維持される。仮想カメラ1804は、患者の画像データセットと手術プラン1808の仮想イメージ1821を生成する。これは要素1811および1812で示されるようにプローブ1802と患者1801からのアップデートしたトラッキングデータによる。仮想画像1821は、メモリバッファ1822に送られ、ミキサー1820でメモリバッファ1820に蓄積されているビデオ画像とミックスされ、モニタ1850に出力表示される。仮想および実像の透明性、色、サイズ、および他の性質をプログラムの種々のパラメータの調整でコントロールできる。

≪表示機能≫
図１９〜２４は、本願発明の実施形態での画面表示を示す。図１９は、仮想物体への動的距離を表示している。図１９は、カメラからの視界を図示している。着脱可能なポインタ先端1930そして仮想物体1960が見える。仮想の物体である球体1960は、カメラが見る手術部位では見えない。見えるのは、直方体1910のみである。しかし、術前の走査データにより、直方体1910の中に球体1960が横たわっている様に見える。本発明の機能は、カメラと着脱可能のポインタ先端1930の或る位置で、ユーザにポインタ先端1930と目に見えない(しかし存在している)仮想物体1960、例えば図１９の球体1960との距離を連続した読出しで見ることが出来る。

このようにユーザは、プローブカメラの視界を越えて、不透明な面を通して物体を見ることが出来る。この物体は走査データから存在することは知られており、表示画面に仮想物体で表示される。この機能は、X線画像に似ており、DEX-Ray(登録商標)システムとして市場に出されている。この機能の説明のために、図２０〜２４に人の頭がい骨のモデルおよび頭がい骨内に挿入された種々の形の物体を示す。

図２０は、本発明の実施例の画面を示す。メイン画面2010は、術前走査データから生成した仮想物体像と、カメラのリアルタイム画像と組合せたものを表している。走査データから生成される２次元画像は、表示装置の右に３つの小さい画面で示されている。これらは、軸平面2020、前頭面2030、矢状面2040からなる。これらの小さい画面には、円形アイコンを備えた十字線がある。これは、２次元像の各々で示される像に対するプローブ先端のリアルタイムの位置を示している。

図２０を参照して説明する。座標系は、x軸、y軸、z軸からなる。x軸は、画像表示装置を横切る水平線、y軸は、x軸に垂直で画像の深さ方向に伸びている。z軸は他の軸に対して垂直である。軸平面2020がxy平面となり、プローブ先端が指示するz軸の頭がい骨の水平断層およびその内容を示す。軸平面2020は、頭がい骨の上からの眺めを表している。この場合、長方形の物体が見えている。同様に、前頭面2030は、xz面を表している。xz面は、y方向のプローブ先端に対して垂直の頭がい骨スライスを含んでいる。ここで記載する「プローブ先端」は、「ポインタ先端」として理解され同様の用語を交互に用いる。表示2040は、矢状面またはyz面を表し、x方向のプローブ先端に対する垂直の頭がい骨スライスとなる。つまり、頭がい骨の前額部に接する面である。

図２０で注目する点は、ポインタ先端と球体間の距離2015(56.7mm)である。球体は、術前データで知られている閉じた頭がい骨の中にあり、メイン表示2010に仮想物体として表示されている。この距離は、ポインタ先端と仮想物体表面との距離である。ユーザは、仮想物体の色を選択できる。これにより近くの物体との区別が出来る。仮想球体2070は、赤そして仮想円柱体2080は、緑で表示されている。メイン表示の下部に、プローブ先端と仮想球体2070の間の距離56.7mmが表示される。

図２１は、図２０といくらかの点で異なる。メイン表示ウィンドウ2110のリアルタイム画像の下に、３つの色彩の表示がある。各々は、仮想物体の名前を示し、プローブ先端から仮想物体またはその近くのユーザ指定目印の点までの距離を示す。目印の点は、３次元データセットの何れにもセットできる。物体への距離を知るために、目印の点を、物体の先端または最上部中心に設ける。３つの球体が目印の点となり、プローブ先端と放射線で結んでいる。３つの内の２つは、円柱と円錐の先端にある。第３の球体は、円錐の右上を浮遊しているように見える。実際は、立方体の上にある。透明にセットしているので見えない。図２２および２３では立方体は見える。図２２では、頭がい骨頭部の実像は除去している。図２３では立方体の仮想像を見やすくしている。

メイン表示ウィンドウ2110の左下に、一対の赤色の長方形のウィンドウ2190がある。これは、目印の名前(上のウィンドウ)と目印への距離(下のウィンドウ、ここでは92.5mm)である。つまりプローブの右にある仮想円柱体である。真中の一対のウィンドウ2191は、円錐で、距離は129.5mmである。左端の一対のウィンドウは、立方体で、プローブ先端からの距離は82.4mmである。注目すべき点は、何れの目印の点も、メイン表示の仮想物体2180の球体上に無いことである。ポインタ先端から仮想球体までの距離2115は55.8mmである。本発明の実施形態では、仮想物体への最短距離が表示される。メイン表示ウィンドウの下に、目印の名前および距離が表示される。

ユーザは、術前の走査データから既知の一つ以上の物体を指定して表示できる。ポインタ先端から目印の点までの距離が同時に表示される。各々のウィンドウの数字は、ユーザがプローブを動かすと変化する。図２１では、立方体は消されて(透明)いて表示されていない。しかし立方体先端の目印の点は、トラックされており、プローブ先端からの距離は、表示される。メイン表示に仮想の赤い球体が示されているのは、ポインタ先端の軸方向の放射線で最も近い物体である。仮想の放射線が最も近くの物体と交差する距離が、メイン表示に常に表示される。

図２１には、図２０と同様に、術前走査データの断面で、軸平面2120、前頭面2130、矢状面2140が表示されている。

図２２〜２４に、追加された機能を示している。軸平面は、下からの眺めを表している。図２２〜２４は、種々の物体を備えたモデル頭がい骨の説明である。

図２２のモデルは、頭がい骨の上部を取り除いており、内部の物体は、仮想でなくカメラからのリアルタイム画像の一部である。従って自然色(灰色)が見える。仮想物体の赤い球体を表示させた。他の３つの物体である円柱、正方形、円錐は、ビデオ画像で見える。赤い球体の実際のビデオ画像の一部が見える。これは、仮想物体と実体とのレジストレーションミスによる。レジストレーションが正しければ、赤い仮想球体は、ビデオカメラのリアルタイム画像を完全にふさぐ。ただし、仮想球体が半透明モードに設定されている場合、隠れている実のビデオ画像が、半透明の赤い仮想球体を通して見ることが出来る。モデル頭がい骨に挿入された平面2250に、全ての物体が位置している。

図２３〜２４で、モデル頭がい骨の頂部を戻しているので、平面上に位置する４つの物体が再び仮想物体となる。これらは、プローブ内のカメラには見えない。図２３ではポインタ先端から延びた仮想放射線に最も近い物体は、球体でなく円柱体となる。その距離は72.5mmで、メイン表示の下部に表示されている。メイン表示下の長方形のウィンドウには、円柱体の上端目印の点までの距離81.8mmが表示されている。円錐体および立方体上端の目印点までの距離も、各々表示されている。これらの距離は、明らかに円柱体までの距離と異なる。円柱体への距離は、目印点までの距離ではなく、プローブ先端からの最短距離となる。

最後に、図２４は、図２３と類似したものを表示している。ここではプローブ先端の位置を下げている。指定目印までの距離が全て少し大きくなっている。プローブの移動量は、図２３と２４の矢状面の表示から分かる。図２４では、円柱体が再び最も近い物体で、距離は82.7mmである。円柱体、円錐体、立方体の３つの物体および各々に設定された目印点までの距離が、メイン表示下部に表示される。

≪実施形態≫
本発明は、図２５〜３１に図示する典型的なシステムと環境で実施される。図示するシステムは、本発明の実施形態に基づいた手術用ナビゲーション装置DEX-Ray (シンガポールVolume Interactions Pte Ltd社製)である。図示する装置は、３次元データセット視覚化装置、例えばVizDexterまたはRadioDexterと一緒に又は一体化が可能である。これにより完全な手術プランおよびナビゲーション装置または道具を提供できる。また図示する装置単体の提供もできる。この場合、ユーザが、ソフトウェア(RadioDexter)で動作する３次元データセット視覚化装置(Dextroscope)を既に備えている必要がある。本発明の実施形態として、DEX-Ray装置に関して記載する。

DEX-Rayは、内部構造の３次元再構成と手術室の患者のライブビデオ像との自動重合せを執刀医に提供する。装置には次の様なハードウェアが必要である。キーボードとマウスのインターフェイスを備えたコンピュータ、NDI社製のPolarisのようなトラッキング装置、画像を表示するモニター、ミニカメラを内蔵したプローブ、プローブおよび患者に貼り付ける基準マーカである。

DEX-Rayの使用前に、患者の仮想データを準備する必要がある。仮想データは、VizDexter、RadioDexter、または他の３次元相互視覚化システムを用いる。他には、対象とする解剖物体の分割、仮想基準点の設置、手術プランデータ(経路、目印、注釈)の蓄積が必要である。

患者の仮想データをDEX-Rayに取込み、基準点をベースにしたレジストレーションで、用意した仮想データを手術での実際の患者とを関連付ける。レジストレーションが完了すると、DEX-Rayナビゲーションページがユーザに示される。このページを参照しながら、ユーザは、ビデオカメラのリアルタイム画像とコンピュータで生成された仮想画像とが結合した状態でナビゲートできる。また、ユーザは、DEX-Ray装置で、表示および他のコントロール設定を調整できる。

図２５は、典型的なデータ取込みページを示している。このインターフェイスで、患者の仮想データをDEX-Ray装置に取込む。図示例では、ディレクトリ(D:/Demo/Cases)は、仮想データの全てが蓄積しており、フィールド"Location"で示されている。図示するページは、ロケーションフィールドのディレクトリのデータファイルの全てが、ケースリストボックスにリストされている。各データセットはケースに対応する。各データファイルは、拡張子.dexを備え、ファイル名の前にユニークなアイコンが付く。ファイル名がクリックされると、ファイルを閲覧しているのが強調表示される。ファイル名がダブルクリックされると、ケース内の全てのオブジェクトが、ケースビューアにリスト表示(表示画面の右側)される。患者の情報(氏名、性別、出生日など)が、患者詳細ボックス(ケースリストボックス下)に各々表示される。ユーザは、ケースリストボックスの上部のヘッダ、氏名または日付をクリックしてデータファイルをソートする。

ケースを選択すると、オブジェクトの全てがケースビューアボックスにリスト(図２５の右側)される。図示したRadioDexter装置では、オブジェクトは、、ボリューム、アノテーション、測定、メッシュ、アライメントの５つのカテゴリに分類されている。他の実施例では、便利なオブジェクトカテゴリが使用できる。

ケースが全てロードされると、ユーザはデータローディングページ右下の「次の」ボタンをクリックしてレジストレーションページに行くことが出来る。ユーザがケースをロードせずにレジストレーションページに進もうとすると、エラーメッセージボックスがポップアップして警告が出て、ケースに入ることを忠告する。

要約すると、データローディングページでの例示操作として、(i)ケースリストボックスのケースをダブルクリックする、(ii)エディットボックスで患者情報を確認する、(iii)ケース閲覧ボックス内のオブジェクトをロード/アンロードまたは表示する/隠す、(iv)nextボタンをクリックしてレジストレーションページへ移る。

図２６および２７は、各々、レジストレーション前および後のレジストレーションページを図示する。このページは、仮想データ(術前の走査で生成されたデータ)を手術室の患者にレジストレーションするためである。３次元のインタラクティブ表示装置、例えばRadioDexterで生成される仮想データは、仮想世界での自身の位置および方向を有する。仮想データは、患者の走査データから再現されるが、患者の各位置および方向が、手術室で横たわる患者と異なっている。実際の位置および方向は、トラッキング装置の座標系で定義される。術前の仮想データを実際の患者に正確に重ね合せるために、仮想データと患者とをレジストレーションする。

図２６および２７のレジストレーションページは、４つに分割されている。上の２つは、重ね合せの視界(左側)とトラッキングボリューム視界(右側)で、見て目視で確認するために使用される。下の２つは、基準点ボタンおよびレジストレーションボタンで(左側)、そしてメッセージフィールドおよび「次」のボタン(右側)で、ユーザとDEX-Ray装置とインタラクティブとなる。

レジストレーションが終了すると、重ね合せ画像(左上の図)で、仮想画像とライブのビデオ画像とが合致しているかを確認する。レジストレーションが実行される前に、調整される物体の画像が表示(ここでは、頭がい骨)される。RadioDexterのような３次元データ表示装置で定められたオリジナルの位置および方向が表示される。調整物体は、図２６の重ね合せ画像に示すラベルで印をつけた一連の点である。レジストレーションが行なわれると、視点がシフトして図２７の重ね合せ像に示すミニカメラに変わる。

図２７では、レジストレーション中にユーザが選択した基準点は、物体のビデオ画像に表示されるが、元の仮想の調整物体は隠れる。最大のレジストレーションエラーの基準点(基準点番号２)は、一対の大きな黄色の矢印でマークされ、図２７で容易に見えるようにしている。

トラッキングボリュームビュー(４分割の右上)で、トラッキング装置でトラックされる全ての項目が、最適なトラッキングボリューム内に有ることを確認する。３次元ボリュームは、画面では２次元画像で表示されるので、２つの画像、平面画像と正面画像が表示に現われる。平面像は、ユーザが、トラッキング装置の前に立ち、トラッキング装置の上からトラッキングボリュームを見た視点を表示している。正面像は、ユーザが、トラッキング装置の前に立ち、トラッキングボリュームを見た視点となる。各視点において、トラッキング装置は、長い長方形で示される。例として、トラッキングボリュームの形は、半球(半径0.5m)と円柱(半径0.5m、高さ0.5m)からなる。平面像は、水平面で切った断面で、正面像は、垂直面で切った断面である。正面像のトラッキングボリュームのラベルＢ、Ｒ、Ｆ、Ｌは、後、右、前、左を意味する。同様に正面像で、中央の長方形は、トラッキング装置を表し、円はトラッキングボリュームの垂直断面を示しており、ラベルＴ、Ｒ、Ｂ、Ｌは、上端、右、下端、左を意味する。トラッキングされた項目は、アイコンで示されている。この場合、小円形とその中の十字形である。図２６では、１つのアイコンは、基準マーカを示し、他のアイコンは、プローブ先端の位置を示す。レジストレーション中に、ユーザが選択する基準点をピンクの十字形で示して認識しやすくしても良い。これは図２７の平面像および正面像に示している。

レジストレーションが完了すると、各基準点のレジストレーションエラーが、図２７に示すように、ボタンに示される。この場合、レジストレーションエラーは、仮想の基準点とユーザが選択する実の基準点間の相違として定義される。赤で記されるエラーは、基準点が最大のレジストレーションエラー(基準点番号２)を示している。灰色のスケールでは見にくい。

基準点ボタンの右側にレジストレーションに関するボタンが３つある。「基準点を取る」「レジストレーションする」「レジストレーションをリセットする」の３つである。ユーザが何れかのボタンの上にカーソルを置くと、指示メッセージが表示される。図２６の右下に「基準点を取る」と表示されている。

ユーザは、プローブ先端を患者の各基準点に置く毎に、「基準点を取る」ボタンをクリックする。「レジストレーションをする」ボタンは、基準点のマッチングの数が異なる時に使用される。これは、ユーザが取り上げた実際の基準点が、仮想データでの仮想基準点よりも少ない時に起きる。この機能は、便利である。実の基準点の幾つかが無くなっていたり、又はずれている時があるためである。また少ない基準点を好むユーザもいる。

レジストレーションをやり直す時は、「レジストレーションをリセット」ボタンをクリックする。これは、基準点を取りまたはレジストレーション後、ユーザがレジストレーションの結果に満足できない場合(例えば、エラーが大きく重ね合わせが出来ない)である。

レジストレーション終了後、レジストレーションページ下部の「次」のボタンをクリックしてベクトル記録ページ(図２９、３０)を開く。レジストレーションを完了せずに次のページに入ると、エラーメッセージが表示される。

図２８は、レジストレーションプロセスを説明するプロセスのフローチャートの例である。ステップ2801で、ユーザはプローブ先端を患者に取付けた基準点に向ける。ステップ2802で、図２６、２７の４分割の左下にある３つのボタンの上部にある「基準点を取る」ボタンをクリックする。ステップ2804で全ての基準点が選択されると、ステップ2809に移る。ここでレジストレーションエラー再度見る。エラーが無ければ、ステップ2810に移り、レジストレーションページから出る。ステップ2809で、レジストレーションエラーが許容できない場合、フローはステップ2808に移り、許容できないエラーが１つ以上かどうかを判断する。エラーが１つの場合、ステップ2807で基準点が再レジストレーションされ、ループがステップ2802で再度入る。２つ以上のレジストレーションエラーが要求に満たない場合、ステップ2805でレジストレーションがリセットされ２つ以上の基準点が再度選択される。

ステップ2804で、全ての基準点が選択されていない場合、フローはステップ2803に移り、仮想基準点の数より少ないかどうか、即ち、異なった点のマッチングが要求されているかを判断する。Ｙ(yes)の場合、ステップ2806に進む。ここで「レジストレーションする」ボタンをクリックすると、フローは、ステップ2809を経てレジストレーションを終了する。許容できる精度には、６つ以上の基準点が必要である。この数は、レジストレーション技術による。ステップ2803で、異なる点のマッチングが所望されない場合、フローは2802に移り、更に基準点が選択され、仮想および実際の基準点が同一になる。これが完了すると、プロセスのフローは、ステップ2804に戻りステップ2809に移る。ここでユーザは、再びレジストレーションエラーを評価して、ステップ2808に戻るか又はステップ2810の「次」のボタンを経てベクトル記録ページに入る。

図２９、３０は、ベクトル記録ページを示している。このインターフェイスが、相対的に垂直のベクトルを記録するのに使用される。下記に記載するナビゲーションページ(図３１)のカーソルの動きをコントロールするのに使用される。ナビゲーションページのカーソル動作がプローブでコントロールされる。プローブが仮想面で動作しているようなものである。ユーザは、この仮想面で指示方向を記録する必要がある。外科医は、プローブ動作をDEX-Ray装置のインターフェイスに使用するため、物理的インターフェイスに触れずにシステムをコントロールできる。プローブがトラッキング装置でトラックされているので、プローブが指定領域に入るとインターフェイスとして使用される。従って外科医または他のユーザは、患者の近くで立ちながら装置をコントロールできる。DEX-Ray装置を配置している所へ歩く必要が無い。プローブを他の手動でないインターフェイス、例えば、フットスイッチと一緒に使用できる。図２９は、プロセス開始のベクトル記録ページを図示している。ここでは、ユーザは、ベクトルに対して上方の点を選択するように指示される。図３０は、垂直ベクトルがユーザで選択された後のベクトル記録ページの例である。ステータスボックスで表示されている。

ベクトル記録ページは、いくつかのコンポーネントを備えている。インストラクションボックス(図２９、３０の左上)およびドローイングボックス(図２９、３０の右上)で、これらのボックスは、ユーザがベクトルを記録している時に指示を視覚的に表示する。ドローイングボックス下部の灰色のグリッドは、水平面を表し、両端に赤い球を備えた赤い線は、空間の垂直ベクトルを表している。ユーザが、ベクトルの上の点を記録する時、上の球が、記録するまで点滅する。次に下の球が点滅して、ユーザに、ベクトルの下の点を記録するように指示する。記録プロセスが終了すると球は点滅しなくなる。

ステータスボックス(左下)には、現在の稼動状態(正しく又は誤って稼動している)が、ボックスに逐次表示される。正常に動作している場合、文字は緑色で表示される。そうでない場合、文字は赤で表示される。

記録点ボタン(左下)で、ユーザは、空間のベクトルの各端の点を取る度に、このボタンをクリックする。テストベクトルボタン(左下３つのボタンの中央)は、ベクトル記録プロセスが終了すると、ユーザはこのボタンをクリックして、選択したベクトルをテストできる。そしてインターフェイスがシフトする。プローブを動かしてカーソルの動作が満足できるかどうかを見る。テストが終了するとリターンボタンをクリックしてベクトル記録ページに戻る。カーソルの動作が満足できる場合は、ベクトルテストを省略しても良い。この時点で、選択した画面のカーソルの動作が満足できるまで、他のベクトルを再記録できる。

ベクトル記録のプロセスが終了すると、ユーザは、「次」のボタン(右下)をクリックしてナビゲーションページに入る。ベクトルを記録せずにナビゲーションページを開こうとすると、警告メッセージが現われて、デフォルトのベクトルが、仮想面で使用される。

図３１は、コンソールモードでのナビゲーションページを表している。ナビゲーションページは、ナビゲーション/ガイダンスモードとコンソールモードの２つのモードで動作する。ナビゲーション/ガイダンスモードは、図２０〜２４に示されている。患者の空間をナビゲーションするナビゲーション/ガイダンスモードに対して、コンソールモードは、ユーザの操作に使用される。ナビゲーション/ガイダンスモードでは、ボタン、メニュー、スライダーまたは他のユーザが操作する物(スナップショットのボタンを除く)が無く、ビデオ画像と仮想画像の組合せが画面一杯に表示される。一方コンソールモードの場合、ボタン、メニュー、スライダー及びタブが、ユーザの操作で使用できる。

コンソールモードは３つの部分に分けられる。左上のナビゲーションプレビュー、右上のタブパネルそして下にある調整と機能パネルからなる。これらの表示と関連する機能を次に述べる。ナビゲーションプレビューには、ユーザがアクセスできる画像が、このウィンドウに表示される。タブパネルは、２つのタブで、物体タブと選択タブを有している。物体タブは、ナビゲーションウインドウに表示するグラフィツック物体の選択または表示/隠すの選択に使用される。他方、ユーザは、選択タブでナビゲーションウィンドウの表示を変更できる。

調整および機能パネルは、３つのサブ領域を備えている。これらは、透過調整、ズームおよび詳細調整、機能ボタンの列である。ユーザは、グラフィックの物体とリアルタイムの画像の両方のパラメータを調整でき、このパネルでナビゲーション機能を組合せることが出来る。

DEX-Rayでは、インターフェイスに触れずにシステムとやり取りができる。これは、無菌状況では特に有益である。医療従事者が、患者のいる所から、コンピュータに接続されたキーを押したり又はマウスを操作するのは不便である。従って、DEX-Rayは、プローブでカーソルを動かし、ナビゲーションページのコンソールモードで見て、フットスイッチで選択を指示する。マウスのカーソルコントロール及びクリック機能は、各々、プローブとフットスイッチとなるので、DEX-Rayシステムのコントロールが、フリーハンド操作となる。プローブは、仮想平面、例えば水平面で移動される。ベクトル記録ページで選択されたベクトルは、その水平面に垂直となる。トラッキング領域の任意の面を使用しても良い。ナビゲーションページのコンソールモードとやり取りするために、ユーザは、その面が位置する空間の確定した領域内でプローブを動かし、カーソルを画面で動かすことが出来る。注記したが、画面の特定領域を選択してクリックしたりフットスイッチを押すことが出来る。他の手動でない応答、例えば音声コントロールが可能である。ユーザの手を自由にするのが最も重要である。

ナビゲーション/ガイダンスモード間をやり取りするために、ユーザは、ナビゲーションページでフットスイッチをショートクリックできる。一方、カーソルはナビゲーションプレビューに位置している。画面のスナップショットには、ユーザはフットスイッチをロングクリックする。一方、DEX-Rayは、ナビゲーション/ガイダンスモードにある。スナップショットのファイルは、例えば、フォルダProfile/<CaseName>に蓄積できる。そのディレクトリは、DEX-Rayの実行プログラムが位置しているのと同様である。

DEX-Rayの例は、説明が目的であり本発明の他の可能な形態に制限を加えるものではない。本発明は、ナビゲーションシステムとガイダンスシステムを意図している。上記の記載手順は、本発明の実施例に過ぎず、術前プランが要求されないこともある。リアルタイム画像の方法、例えば、超音波をレジストレーション及びナビゲーションの目的に画像データの情報源として使用できる。さらに手術プランをナビゲーションシステム自身を用いて作成しても良い。

本発明は、典型的な形態および実施例で記載した。本発明は、その精神または主要な特徴から逸脱することなく、他の色々な形で実施することができる。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。変形例として、リアルタイム走査を用いてコンピュータ生成物体および構造をリアルタイムのビデオカメラ像に重ね合わせても良い。ビデオカメラの代わりにリアルタイム走査、例えば超音波走査を選択された術前走査データ、例えばＣＴ、ＭＲＩと組合せても良い。

本発明の実施形態に係わるプローブの図である。プローブ先端は、実の物体近くに位置し、コンピュータで生成した仮想物体が、実の物体の内部にある。 図１でのカメラ視点による場面表示を示す図である。 本発明の実施形態に係わるプローブを示す図である。 ユーザが、図３に示すプローブを右手で保持している状態を示す図である。 本発明の実施形態に係わるプローブを示す図である。 ユーザが、図３のプローブを右手で保持している状態を、異なった角度で見た状態を示す図でる。 図５に示すプローブを別の視点から見た図である。 本発明の実施形態に係わるプローブの寸法を示す図である。 殺菌環境で使用される図８のプローブを示す図である。 図３に示すプローブを、拡張した状態を示す図である。 図３に示すプローブを、半分程度に拡張した状態を示す図である。 図３のプローブの種々の部品の正面図である。 図３のプローブの種々の部品の背面図である。 分解したプローブ(図１２)の別の正面図である。 分解したプローブ(図１４)のクローズアップを示す図である。 本発明の実施形態に係わる術前プランのプロセスのフローダイアグラムを示す図である。 本発明の実施形態に係わるレジストレーションプロセスのフローダイアグラムを示す図である。 本発明の実施形態に係わるインタラクティブなナビゲーションのプロセスのフローダイアグラムを示す図である。 プローブ先端とコンピュータ生成物体の間の距離を動的に示す概略図である。 図１９の機能を示す本発明に係わる画面のスナップショットを示す図である。 図１９の機能、および、前以て選択された種々の３次元マーカ点への動的な距離と、を示す本発明に係わる画面のスナップショットを示す図である。 図２０および２１に示す場面に対して別の眺めを示す図である。モデルの頭がい骨の頭頂部は除去して、内部の物体を見せている。 図２１の場面の別の眺めを示す図である。 図２３の場面の別の眺めを示す図である。 本発明の実施形態における、患者のデータがロードされた後のデータローディングページのスナップショットを示す図である。 図２５に示す本発明の実施形態に係わるレジストレーションのインターフェイス画面のスナップショットを示す図である。 図２６でのレジストレーション終了後のインターフェイス画面のスナップショットを示す図である。 図２６〜２７でのレジストレーション操作に対するプロセスのフローチャートを示す図である。 図２５に示す本発明の実施形態に係わるベクトルを決める操作の画面を示す図である。 図２５に示す本発明の実施形態に係わるベクトルを決める操作の画面を示す図である。 図２５に示す本発明の実施形態に係わるコンソールモードでのDEX-Rayシステムのナビゲーションページでの操作画面のスナップショットを示す図である。

Claims (24)

1. 手術用ナビゲーションシステムにおいて、
   プローブと、
   該プローブに取付けたビデオカメラと、
   患者および前記プローブに取付けたトラッキング可能な物体と、
   前記プローブと該物体の位置を確定するトラッキング装置と、
   患者の３次元画像データを予め蓄積したデータプロセッサと、
   表示装置と、
   を備えて、
   該データプロセッサが、ビデオカメラのリアルタイム画像を、患者の３次元画像データから生成した仮想物体で増強し、前記トラッキング装置からの入力に応じて、表示装置に複合画像を表示する、
   ことを特徴とする手術用ナビゲーションシステム。
2. ビデオカメラをプローブに内蔵することを特徴とする請求項１記載のシステム。
3. 予め蓄積された患者の画像データが、多様な走査データからなることを特徴とする請求項１記載のシステム。
4. 予め蓄積された患者の画像データが、１つ以上の３次元データセットからなることを特徴とする請求項１記載のシステム。
5. 手術用ナビゲーションの方法において、
   患者の３次元画像データを取得すること、
   該患者の３次元画像データをデータプロセッサに蓄積すること、
   患者からビデオカメラのリアルタイム画像を取得すること、
   ビデオカメラの３次元位置と患者の種々の基準点をトラッキングすること、
   トラッキングデータを用いてリアルタイムのビデオ画像を３次元画像データに重ね合せること、
   重ね合せた画像を１つ以上の表示装置に表示すること、
   を特徴とする手術用ナビゲーションの方法。
6. 前記ビデオカメラのリアルタイムの画像または前記蓄積された患者の３次元画像データの特性を変更することを特徴とする請求項５記載の方法。
7. 上記特性が、１つ以上の、色、サイズおよひ透明性であることを特徴とする請求項６記載の方法。
8. 上記患者の３次元画像データから生成された２次元画像を１つ以上表示することを特徴とする請求項５記載の方法。
9. 上記２次元画像と重ね合せた画像が、１つの表示装置に全て表示されることを特徴とする請求項８記載の方法。
10. 表示された２次元画像は、手術部位のビデオカメラの位置またはビデオカメラに接続したポインタの位置の関数であることを特徴とする請求項８記載の方法。
11. 上記蓄積された患者の３次元画像データが、多様な様式からなることを特徴とする請求項５記載の方法。
12. ビデオカメラが、ポインタを取付けたハウジング内に設けられていることを特徴とする請求項５記載の方法。
13. ハウジングおよびポインタが、殺菌されていることを特徴とする請求項１２記載の方法。
14. ビデオカメラの視界がポインタを含むことを特徴とする請求項１２記載の方法。
15. 手術用ナビゲーションの方法において、重ね合せた画像に、患者内部のポインタ先端からポインタ軸方向の最短距離の物体までの距離を、動的に表示することを特徴とする請求項１２記載の方法。
16. 手術用ナビゲーションの方法において、ユーザが、患者内部で、１つ以上の確定した物体を指定でき、該物体が、システムの表示装置で、仮想物体として連続して表示されることを特徴とする請求項１２または１５記載の方法。
17. 上記仮想物体が、不透明から完全な透明に及ぶ１つ以上の半透明モードで表示されることを特徴とする請求項１６記載の方法。
18. 上記仮想物体が、ユーザが指定する様々な色で表示できることを特徴とする請求項１７記載の方法。
19. 手術用ナビゲーションの方法において、ユーザが、患者に関わるxyz空間で、１つ以上の目印点を指定でき、目印点とポインタ先端間の距離が、システムの表示装置に連続して表示されることを特徴とする請求項１２記載の方法。
20. 手術用ナビゲーションの方法において、ユーザが、患者に関わるxyz空間で、１つ以上の目印点を指定でき、目印点とポインタ先端間の距離が、システムの表示装置に連続して表示されることを特徴とする請求項１５記載の方法。
21. ユーザが、データプロセッサのインターフェイスに手を触れないで、表示パラメータおよび他のシステムコントロールを入力出来ることを特徴とする請求項１記載のシステム。
22. ユーザが、足踏みスイッチでシステムとのインターフェイスができ、空間内の確定した領域で、プローブを操作出来ることを特徴とする請求項２１記載のシステム。
23. ユーザが、データプロセッサのインターフェイスに手を触れないで、表示パラメータおよび他のシステムコントロールを入力出来ることを特徴とする請求項５記載の方法。
24. ユーザが、足踏みスイッチでシステムとのインターフェイスができ、空間内の確定した領域でプローブを操作出来ることを特徴とする請求項２３記載の方法。

Images