JP2009531128A - 立体画像誘導の手術ナビゲーションのための方法及び装置 - Google Patents

Abstract

画像誘導手術ナビゲーションのための立体画面を生成する方法及び装置である。１実施形態は情景の２つの観察画面間のマッピングにしたがって、情景の第１の画像を情景の第２の画像へ変換する処理を含んでいる。別の実施形態は手術手順中に情景の第１の画像と第２の画像を使用して情景の立体的表示を生成する処理を含んでおり、撮像装置の位置及び方位は異なる視点821、823から第１及び第２の画像を捕捉するように少なくとも部分的に変更される。さらに別の実施形態は手術手順中に患者に関するプローブの実時間位置を決定し、プローブ803の実時間位置にしたがって１対の仮想視点を決定し、決定された仮想視点対にしたがって患者に関してプローブが示す仮想立体画像を生成するステップを含んでいる。
【選択図】図１８

Description

本発明は、一般的に画像誘導の手順に関し、特に手術ナビゲーション処理中における立体画像の提供に関する。

手術手順期間中、外科医は任意の可視化装置からの補助なしに露出された表面を越えて観察することができない。限定された手術の切開の制約内で、露出された可視領域は周囲の生体の組織的構造を理解するための空間的な手がかりがない可能性がある。可視化設備は空間的な手がかりを提供し、そうでなければこれは外科医に使用可能ではなく、したがって低侵襲手術（ＭＩＳ）が行われることを可能にし、患者に対する外傷を減少する。

磁気共鳴撮像（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）、３次元超音波検査（３ＤＵＳ）のような多くの撮像技術は一度も切開せずに患者の容量内部画像を集めるのに現在有効である。これらの走査された画像を使用して、患者の複雑な組織構造は可視化され検査されることができ、臨界的な構造は識別され、セグメント化され、位置決定され、手術方法が計画されることができる。

走査された画像と手術計画は手術台上の実際の患者にマップされることができ、手術ナビゲーションシステムは手術中に外科医を誘導するために使用されることができる。

米国特許第5383454号明細書はオブジェクトの断面の走査された画像上にオブジェクト内のプローブの先端位置を示すシステムを開示している。プローブの先端位置は検出され、断面画像の座標系に変換されることができる。プローブの先端の測定された位置に最も近い断面画像が選択されることができ、プローブの先端位置を表すカーソルが選択された画像上で表示されることができる。

米国特許第6167296号明細書は位置追跡システムにより実時間でポインタの位置を追跡するシステムを開示している。患者の走査された画像データはポインタの視点から患者の解剖の３次元透視画像を実時間でダイナミックに表示するために使用される。

国際特許出願第WO02/100284 A1号明細書は虚像と実像が共にオーバーレイされ、増加された現実性の可視化を与える誘導システムを開示している。虚像はＣＴおよび／またはＭＲＩ画像に基づいてコンピュータにより生成され、ＣＴおよび／またはＭＲＩ画像は共同して位置合わせされた形状の立体的オブジェクトとして表示され、３Ｄオブジェクトとして表示するための関連する手術構造を識別するために仮想現実環境で操作される。透明の拡張された現実性の１例では、立体画像の右眼と左眼の投影は頭部に取付けられたディスプレイの右および左のＬＣＤスクリーン上に表示される。右及び左のＬＣＤスクリーンは頭部に取付けられたディスプレイの右及び左のＬＣＤスクリーンを通して見られる実世界がコンピュータが生成した立体画像とオーバーレイされるように部分的に透明である。顕微鏡支援の拡張された現実性の１例では、顕微鏡の立体的ビデオ出力は、頭部に取付けられたディスプレイで表示するためにビデオミキサの使用によりコンピュータの立体的でセグメント化された３Ｄ撮像データと組み合わされる。虚像を生成するためにコンピュータにより使用されるクロップ平面は顕微鏡の焦点平面に結合されることができる。したがって顕微鏡の焦点値の変更は異なる平面で詳細を観察するために仮想の３Ｄモデルを通してスライスするために使用されることができる。

国際特許出願第WO2005/000139 A1号明細書は手術ナビゲーション撮像システムを開示しており、ここでは顕微鏡写真用カメラがハンドヘルドナビゲーションプローブ中に設けられることができる。顕微鏡写真用カメラの視点からの手術情景の実時間画像はコンピュータが生成する３Ｄグラフィックとオーバーレイされることができ、それは顕微鏡写真用カメラの視点から関係する構造を示している。コンピュータが生成する３Ｄグラフィックは手術前の走査に基づいている。深さの知覚はカメラ画像および重畳された３Ｄグラフィックの透明度設定を変化することにより強化されることができる。仮想インターフェースはユーザの相互動作を容易にするために組合された画像に隣接して表示されることができる。

国際特許出願第WO2005/000139 A1号明細書は二重のカメラ配置を使用して実時間画像と虚像が立体的であることができることも示唆している。

立体映像は３次元の視覚を与えるための技術である。立体画像は典型的に１対の画像が２つの異なる視点を有し、それぞれが観察者の片方の眼のものであり、それによって観察者は画像対を観察するとき深さの感覚をもつことができることに基づいている。

多くの技術は観察者のそれぞれの眼が画像対の一方を観察でき、したがって深さの感覚を得るように立体的の視覚の画像対を提示するために開発されている。画像は頭部に取付けられたディスプレイを使用して別々に眼に提示されることができる。画像は同じ位置（例えば同じスクリーン上）で提示されることができるが、異なる特性を有する観察眼鏡が観察者の各眼について対応する画像を選択するために使用されることができる。

例えば画像対は異なる偏向光で与えられることができ、対応する偏向フィルタを有する偏向眼鏡は対応する眼について画像を選択するために使用されることができる。例えば画像対は色フィルタで予め濾波され、１つのアナグリフ画像として組み合わされることができ、対応する色フィルタを有するアナグリフ眼鏡は対応する眼について画像を選択するために使用されることができる。例えば画像対は異なるタイミングで提示されることができ、液晶シャッター眼鏡は対応する眼について画像を選択するために使用されることができる。

代わりに、画像対は任意の付加的な光学装置を使用してまたは使用せずに、観察のために横に並べたフォーマットで表示または印刷されることができる。例えば観察者は深さの感覚を得るために何等付加的な光学装置を使用せずに、それぞれの眼が画像対の別々のものを観察するように眼を横切らせるか逸らすことができる。

それ故、画像の誘導された手術ナビゲーションのために立体観察画面を発生する改良された方法および装置が必要とされている。

発明の要約

画像誘導手術ナビゲーションのために立体画面を生成する方法及び装置についてここで説明する。幾つかの実施形態をこのセクションで要約する。

１実施形態は情景の２つの観察画面の間のマッピングにしたがって情景の第１の画像を情景の第２の画像中に変換する処理を含んでいる。

別の実施形態は手術手順中に情景の第１の画像と第２の画像を使用して情景の立体的表示を生成する処理を含んでおり、画像装置の位置及び方位は異なる視点から第１及び第２の画像を捕捉するために少なくとも部分的に変更される。

さらに別の実施形態は、手術手順中に患者に関するプローブの実時間位置を決定し、プローブの実時間位置にしたがって１対の仮想視点を決定し、決定された１対の仮想視点にしたがってプローブを示す仮想立体画像と患者に関する３Ｄモデルとを生成する処理を含んでいる。

別の実施形態は、撮像装置と、パスにしたがって撮像装置の視点を変更するように移動を強制的に行うために撮像装置に結合された誘導構造とを含んでいる。

本発明は方法と、データ処理システムを含んでいるこれらの方法を実行する装置と、データ処理システムで実行されるときシステムにこれらの方法を行わせるコンピュータが読取可能な媒体とを含んでいる。

本発明のその他の特徴は添付図面と以下の詳細な説明から明白になるであろう。

本発明を例示によって、添付図面の図で限定されずに示し、同一の参照符合は類似の素子を示している。
以下の説明及び図面は本発明の例示であり、本発明の限定として解釈されない。多数の特別な詳細が本発明を徹底的に理解するように与えられている。しかしながら、ある例では、よく知られたまたは通常の詳細は説明を曖昧にすることを避けるために記載されていない。本発明の説明の実施形態を参照するが、必ずしも同じ実施形態を参照するわけではなく、このような参照は少なくとも１つを意味している。

本発明の１実施形態では、手術ナビゲーションプロセス中に本発明の立体画像が外科手術中に装置を患者の近くまたは内部に位置させるのに有用な深さの感覚を与えることが望ましい。

本発明の少なくとも１つの実施形態は装置の位置追跡データにしたがって、２つのポーズ（pose）（位置及び方位）における１対の画像の生成に基づいて、画像誘導手術手順のナビゲーション情報の立体的表示のためのシステム及び方法を与える。１実施形態によれば、２つのポーズまたは視点は装置に関して予め限定された関係を有する。装置は手術ナビゲーションシステムで使用されるようなナビゲーションプローブ、またはビデオカメラ、内視鏡、顕微鏡のような撮像装置または撮像装置および／またはナビゲーションプローブの組合せであってもよい。

１実施形態では、ビデオカメラのような撮像装置は一度に１ポーズで画像のシーケンスを捕捉するために使用される。撮像装置は異なるポーズで捕捉された画像を得るために周囲で動かされることができる。データ処理システムは撮像装置により捕捉される画像に基づいて立体画面を生成するために使用される。

本発明の１実施形態によれば、立体画面を生成するために１つの視点を有する画像は立体画面のための１対の画像の生成のために別の視点を有する画像を生成するようにワープおよびマッピングによって変換されることができる。もとの画像は手術ナビゲーションプロセス中に撮像装置を使用して捕捉された実像であってもよく、またはナビゲーション機器の追跡された位置に基づいてレンダリングされる虚像であってもよい。

１実施形態では、その後同じ撮像装置の２つの異なるポーズで撮られた２つの画像は（例えば視点を補正／シフトするために）画像のワーピングを行ってまたはそれを行わずに立体画面を生成するために対にされることができる。

１実施形態では、仮想立体観察画面は手術手順の主体（患者）の３Ｄモデルと、患者に関する装置の追跡された位置に基づいて生成される。仮想立体画面はビデオカメラのような撮像装置からの実時間画像なしに表示されてもよく、または撮像装置からの立体的ではない実時間画像でオーバーレイされてもよく、または立体的ではない実時間画像の画像ワーピングにより生成された擬似立体画像でオーバーレイされることができる。

代わりに、同一であってもよい２つのカメラは実時間立体画像を捕捉するためにナビゲーション機器において使用されることができる。例えば２つの同じカメラはプローブ内に取付けられることができ、それによって各プローブ位置で、立体画像が生成されることができる。

通常、ビデオカメラ、内視鏡、顕微鏡のような０以上の撮像装置は立体画像誘導ナビゲーションプロセスのナビゲーション機器内に取り付けられることができる。

１実施形態では、マイクロビデオカメラはプローブの内部に取り付けられ、位置追跡システムはプローブの位置及び方位を追跡するために使用され、マイクロビデオカメラの位置及び方位を決定するために使用されることができる。計画された手術路または診断／治療情報のような仮想オブジェクトの立体画像は位置追跡システムから得られたプローブの位置データに基づいて正確にオーバーレイして手術情景の立体画像と混合されることができる。その結果として、ビデオベースの拡張された現実画像はプローブのナビゲーションプロセス中に立体画面として表示されることができる。

立体的の拡大図は生きた状態で、実時間で、対話的フォーマットで、または一連の静止画像または立体的スナップショットとして表示されることができる。

本発明の１実施形態はプローブの現在位置で捕捉された１つの実像を使用して実時間の拡大された立体画面を生成する。ユーザが追跡されるプローブをターゲット方向に指向させてプローブをゆっくりと着実に動かしながら、システムは実像を捕捉し、ワープ及びテクスチャマッピングによってプローブに関する１対の予め限定された左位置及び右位置に対応する１対の画像を生成する。システムはさらに同じ左及び右位置にしたがって仮想オブジェクトのレンダリングによって１対の虚像を生成し、１対の拡大画像を生成するために虚像及び実像を混合することができる。１実施形態では、左と右の両画像はビデオカメラの実像の画像ワーピングによって実時間で生成される。代わりに、左と右の画像の一方はビデオカメラからの実像と同じであってもよい。

１実施形態では、システムは前述した方法で虚像立体画像を生成する。虚像立体画像は実像なしで表示されてもよく、または（例えば撮像ワーピングにより生成された）擬似立体画像または（例えば２つの異なる視点で得られる）立体的実像と混合されることができる。例えばシステムは左（または右）の視点にしたがって３Ｄモデルから１つの虚像をレンダリングし、左と右の視点間の画像ワーピングを決定し、このワーピングに基づいてレンダリングされた虚像のテクスチャマッピングにより右（または左）の視点に対する別の虚像を生成することができる。代わりに、システムは左と右の両画像を生成するために立体的視点の中心視点を有するレンダリングされた虚像をワープすることができる。

虚像立体画像が実像なしに表示されるとき、虚像立体画像はターゲットとプローブの位置関係を示すためにターゲットに関するプローブの位置追跡に基づいて、プローブのモデルの画像と、プローブにより指向されるターゲットのモデルの画像を示す。

本発明のさらに別の実施形態は装置の２つのポーズから撮られる２つの実像を使用して静止した拡大された立体画面を生成する。例えばユーザは追跡されるプローブをターゲット方向へ指向し、（例えばプローブの追跡された位置に基づいて）第１の視点を識別するために信号を与える。システムは追跡されるプローブのポーズ情報を捕捉し、それは実際のカメラの実際の視点と、実際のカメラに対応する仮想カメラの仮想視点の両者を決定する。プローブがこのポーズにある間にシステムは実像を捕捉する。プローブのポーズ情報から、システムは立体的観察パラメータにより特定されるように予め限定された規則にしたがって第２の視点を計算する。例えば第１の視点は左眼の視点に対応することができ、第２の視点は右眼の視点に対応することができる。プローブはその後第２の視点近辺に動かされ、それによってシステムは第２の視点からさらに別の実像を捕捉できる。１対の実像は立体的拡大画面を生成するために１対の虚像により拡大されることができる。第２の視点の視線を示すためにシステムにより表示または生成される視覚的または音響情報は追跡されるプローブを第２の視点方向へ導くために使用されることができる。結果的な立体的出力はスナップショットとして表示されることができる。

本発明のさらに別の実施形態は予め限定された関係を有する２つの視点から捕捉された２つの実像を使用して実時間の拡大された立体画面を生成する。システムはプローブの現在位置における拡大された観察画面を生成し、一瞬前に記録されプローブの現在位置に関する位置を有する実像に基づいて予め限定された規則にしたがって別の拡大画像を生成する。ユーザはプローブを動かしながら次の所望のポーズを示すためにシステムにより表示または生成される視覚または音響情報を使用して、前述の方法と類似の方法で導かれることができる。

幾つかのケースでは、プローブの運動が制約されないならば、プローブの現在位置に関する位置関係において予め規定されたルールを満たす先に記録された画像は発見されることができない。むしろ、画像のワーピングによる補正によりまたは補正なしに所望の視点に対する最も近い一致が使用されることができる。ユーザは立体画面の品質を改良するためにあるパターンでプローブを動かすように訓練または導かれることができる。

本発明の１実施形態はプローブが誘導構造に関して予め設計されたパスに沿って移動されることができるようにプローブがドックされることができる機械的な誘導構造を提供する。機械的な誘導構造は次のポストがパスを介して予め設計されると、自由にプローブを動かす場合よりも正確にユーザがプローブをパスに沿って次のポーズに動かすことを可能にする。パスはパス上の少なくとも１対の位置が立体画面のための１対の実像を撮影するための予め規定された空間的関係を満たす２つの視点に対応するように設計されることができる。機械的誘導構造のパスに沿って動かすのでプローブの位置及び方位の両者を変化することができ、機械的誘導構造は１対の視点の焦点を変更するように調節可能であり、および／または異なる焦点で位置の多数の対で予め設計されることができる。

１実施形態では、機械的誘導構造はさらに患者の手術ベッドに取り付けられることができる機械的支持フレームに配置されることができる。プローブは、場合によっては機械的な誘導構造と共に、ユーザがプローブの立体的ターゲット点を変更することを可能にするように調節されることができる。機械的誘導構造はその機械的誘導構造に関するプローブよりも遅くターゲットに関して動かされることができ、それによって機械的誘導構造は立体画面の画像を捕捉するため予め定められた空間的関係を有するように予め設計された１以上のポーズの対の近辺にプローブを強制的に位置させる。

代わりに、機械的誘導構造は異なるポーズで捕捉された画像を得るためにプローブに関して撮像装置（例えばマイクロビデオカメラ）の位置及び方位を調節するようにプローブ内で使用されることができる。

プローブまたは撮像装置は自動的に動かされることができる（例えば電動式の顕微鏡）。

本発明の１実施形態では、画像のワーピングはターゲットの３Ｄモデルに基づいて決定される。例えばファントムの３Ｄモデルは走査画像から構成され、実際のファントムに位置合わせされることができる。正確に位置合わせされるとき、ファントムの３Ｄモデルの投影は実像中のその対応する実際のファントムと一致する。バーチャルカメラの予め限定された立体構造はプローブに関連されることができる（例えばプローブ中のバーチャルカメラの左及び右１．５度の位置を有し、プローブの先端を見つめる）。実像のワーピングを決定するために、実像中の１点において、モデルの対応する３Ｄ点が識別されることができる。３Ｄ点は立体視点に基づいてこれを立体画像平面に投影することにより、実像中の点の位置を１対の実像中のその新しい位置へ計算するために使用されることができる。したがって本発明の１実施形態は、１つの視点から捕捉された実像を所望の視点へ変換／修正するために、画像の実体の３Ｄモデルから決定されたワーピング特性と、実際のカメラのモデルに対応するバーチャルカメラを使用する。

ワーピングは虚像から決定されることができるが、ワーピング特性を決定するために１対の虚像をレンダリングする必要はない。１実施形態ではワーピング特性はオリジナル画像中で見られた３Ｄモデルの投影点を新しい所望の視点から見られる新しい位置にするための計算から決定される。

ファントムの１対の虚像はしたがってファントムの３Ｄモデル、プローブの位置及び方位にしたがって生成されることができる。実際のファントムの実像はファントムの３Ｄモデルの虚像と一致するので、虚像間のワーピングは実像の対応する対間のワーピングと同じであると考えられることができる。

２つの虚像間のワーピングは虚像中の対応する画素の位置のシフトから計算されることができる。本発明の１実施形態では、画像は方形のグリッドを有する小さい領域に分割され、画素のワーピング特性は方形のグリッド点の位置シフトに基づいて計算される。テクスチャマッピングはグリッド領域内の画素を対応する位置へマップするために使用される。グリッドの幅及び高さは立体品質とコンピュータ処理価格を平衡するために選択されることができる。グリッド点のワーピング特性を計算するために、システムは虚像をレンダリングする必要なく、グリッド点に対応する３Ｄファントムモデルの点の対応する虚像の位置シフトを計算することができる。

１実施形態では、問題とする領域から離れて見えるようにファントムの後の背景には一定のシフト値（例えば視点から１ｍの距離に対応する値）が割当てられる。

さらに例を以下述べる。
図１乃至３は本発明の１実施形態による拡張された現実性の可視化システムを示している。図１ではコンピュータ123はビデオカメラ103により捕捉された現実ベースの画像の表示を強化するためにビデオカメラ103の視点にしたがって、１つの視界の虚像を生成するために使用される。現実の画像と虚像は表示装置125（例えばモニタまたは他の表示装置）上で表示するために実時間で混合される。コンピュータ123は典型的に画像誘導の手順（例えば神経外科の手順）の前に患者の走査画像から生成され、規定されたオブジェクトモデル121に基づいて虚像を生成する。

図１では、ビデオカメラ103は先端115を含むプローブの一部がカメラの視界105中にあるようにプローブ101に取付けられる。ビデオカメラ103はその位置及び方位がプローブ101の位置及び方位から決定されることができるように既知の位置を有してプローブ101に関して配置されることができる。

１実施形態では、ビデオカメラからの画像は立体画面を与えるために異なる視点を有する少なくとも１つのさらに別の画像を発生するためにテクスチャマッピングによりワープされる。例えばビデオカメラからの画像は、立体画面がそのビデオカメラの画像の視点と一致する全体的な視点を有するように、立体画面の左及び右の画像にワープされることができる。代わりに、ビデオカメラからの画像は左（または右）画像として使用されることができ、ビデオ画像のワープされたバージョンは右（または左）画像として使用される。その代わりに、ビデオカメラからの画像は、ワープされた画像が立体的表示のためにビデオカメラからの別の画像と対にされることができるように、視点を所望の位置に修正するようにワープされることができる。

１実施形態では、異なるポーズで撮られたビデオカメラの画像は立体的表示を行うために対にされる。システムは所望される視点を有する対にされた画像を得るために１つのポーズから別のポーズにビデオカメラを導くことができ、或いは代わりにシステムは立体画面の視点の要求にしたがって立体的表示のために現在の画像と対にするように捕捉された画像のシーケンスから先の画像を自動的に選択することができる。選択された画像および／または現在の画像は画像のワーピングを通してさらに視点を補正されることができる。

代わりに、プローブ101はビデオカメラを含まなくてもよい。通常、ナビゲーションに使用され、超音波検査法、ＭＲＩ、Ｘ線等のような撮像装置から手術前または手術中に得られる画像は内部組織の画像であることができる。患者の身体の一部内のナビゲーション機器を示すために、追跡されているときのその位置は身体の部分の画像で示されることができる。例えばシステムは、１）ナビゲーション機器の位置を決定して画像座標系に変換し、２）画像を身体の部分により登録することができる。システムはプローブ位置を画像座標系に変換するために（例えば追跡システムの使用により）撮像装置のポーズ（位置及び方位）を決定する。

図１では、関係するオブジェクト111に関するプローブ101の位置及び方位は画像誘導の手順期間中に変更されることができる。プローブ101は所望の観察画面を得るために手に持って位置されることができる。幾つかの実施形態では、プローブ101の運動は機械的誘導構造により強制的に行われることができ、機械的誘導構造は所望の観察画面を得るために手で調節され位置付けられることができる。プローブ101は予め設計されたパスにしたがって誘導構造に関して動かすように誘導構造へ設置されることができる。

図１では、プローブ101の位置及び方位、したがってビデオカメラ103の位置及び方位は位置追跡システム127を使用して追跡される。

例えば、位置追跡システム127はプローブ101が存在する情景を捕捉するために２つの追跡カメラ131と133を使用することができる。プローブ101は特徴部分107、108、109（例えばトラックボール）を有する。追跡カメラ131と133により捕捉された画像中の特徴部分107、108、109の画像は位置追跡システム127を使用して自動的に識別されることができる。追跡カメラ131と133のビデオ画像中のプローブ101の特徴部分107、108、109の位置に基づいて、位置追跡システム127はその位置追跡システム127の座標系135中のプローブ101の位置及び方位を計算することができる。

画像データと同じ座標系にある手術プランに関連する種々のオブジェクトを含む患者の画像データは通常知られている位置合わせ技術の１つを使用して手術台上の患者にマップされることができる。例えば１つのこのような位置合わせ技術は、識別され走査画像に位置されている位置と、追跡プローブを使用して決定された患者上の対応する位置とを一致することによって、患者の身体表面上の複数の組織的特徴部分（少なくとも３つ）を使用して患者の画像データを患者にマップする。位置合わせの正確性は撮像データから生成される患者の身体部分の表面を手術台で生成される対応する身体部分の表面データへマップすることによりさらに改良されることができる。位置合わせにおける例の詳細は2004年７月21日出願の米国特許出願第10/480,715号明細書（発明の名称“Guide System and a Probe Therefor”）に記載されており、これはここで参考文献とされている。

マーカーまたはトラックボールでマークされる複数の基準点を有する基準フレームは患者の関係する身体部分に対して剛性的に取り付けられることができ、それによって位置追跡システム127は患者が手術中に動かされても患者の位置及び方位を決定することができる。

オブジェクト（例えば患者）111の位置及び方位と、同じ基準システムのビデオカメラ103の位置及び方位はオブジェクト111とビデオカメラ103との間の相対的な位置及び方位を決定するために使用されることができる。したがって、位置追跡システム127を使用して、オブジェクト111に関するカメラの視点が追跡されることができる。

図１は位置追跡システム中の追跡カメラを使用する１例を示しているが、他のタイプの位置追跡システムが使用されることもできる。例えば位置追跡システムは無線信号、超音波信号またはレーザビームのような信号の伝播の遅延に基づいて位置を決定することができる。多数の送信機および／または受信機は送信機（または受信機）の位置を追跡するために点のセットへの伝播遅延を決定するために使用されることができる。代わりにまたは組み合わせて、例えば位置追跡システムはプローブを支持するために使用されることができる支持構造のコンポーネントの位置に基づいて位置を決定できる。

さらに、ビデオカメラ103の位置及び方位はプローブ101に関して調節可能である。プローブに関するビデオカメラの位置はビデオカメラ103の位置及び方位を決定するために実時間で（例えば自動的に）測定されることができる。幾つかの実施形態では、プローブ内のビデオカメラの移動は機械的誘導構造にしたがって強制的に行われることができる。さらにビデオカメラの運動は１以上の予め設計されたパターンにしたがって自動化されることができる。

さらに、ビデオカメラはプローブに取り付けられなくてもよい。例えばビデオカメラは別々に追跡されることができる別の装置であってもよい。例えばビデオカメラは顕微鏡の一部であってもよい。例えばビデオカメラは頭部に取付けられた表示装置を通して眼で見られる画像を捕捉するため頭部に取付けられた表示装置上に取付けられることができる。例えばビデオカメラは内視鏡装置と一体化されることができる。

画像誘導の手順期間中、関係するオブジェクト111に関するビデオカメラ103の位置および／または方位は変更されることができる。位置追跡システムはビデオカメラ103とオブジェクト111との間の相対的な位置および／または方位を決定するために使用される。

オブジェクト111はビデオカメラ103を使用して捕捉されたビデオ画像では可視ではない可能性がある内部特徴（例えば113）を有する可能性がある。ビデオカメラ103により捕捉される実際ベースの画像を拡張するために、コンピュータ123はオブジェクトモデル121に基づいてオブジェクトの虚像を生成し、実際ベースの画像を虚像と組み合わせることができる。

１実施形態では、オブジェクト111の位置及び方位は位置合わせ後の対応するオブジェクトモデルの位置及び方位に対応する。したがって、カメラの追跡された視点はオブジェクトモデル121の虚像をレンダリングするために対応するバーチャルカメラの視点を決定するために使用されることができる。虚像とビデオ画像は表示装置125上に拡張された現実の画像を表示するために組み合わされることができる。

本発明の１実施形態では、表示装置125上に表示を生成するためにコンピュータ123により使用されるデータは記憶され、それによって表示装置125上で表示される表示を再生し、表示装置125上で表示されている表示の変更されたバージョンを生成し、画像誘導の手順の実時間処理に対する影響を防止しながら、表示装置125上に表示されている表示を再構成するようにネットワーク129によってデータを送信（例えばの手順期間中の時間シフトにより送信、リソースが許容するとき実時間で送信、または手順後に送信）することが可能である。手術ナビゲーションプロセスを記録することについての詳細例は2006年３月13日出願の同時係属出願の米国特許出願第11/374,684号明細書（発明の名称“Methods and Apparatuses for Recording and Reviewing surgical navigation processes”）で見られることができ、ここで参考文献とされている。ネットワーク接続によって表示するためのシステムの例示的な詳細は2005年12月31日出願の暫定米国特許出願第60/755,658号明細書（発明の名称“Systems and Method for Collaborative Interactive Visualization Over a Network”）に記載されており、ここで参考文献とされている。

３Ｄモデルはオブジェクト（例えば患者の身体または身体の一部）の３次元（３Ｄ）画像から生成されることができる。例えば患者の頭部のＭＲＩ走査またはＣＡＴ（コンピュータ断層撮影）走査は頭部の３Ｄ仮想モデルを生成するためコンピュータで使用されることができる。

仮想モデルの異なる観察画面はコンピュータを使用して生成されることができる。例えば頭部の３Ｄ仮想モデルはコンピュータ中で適切に回転されることができ、それによって頭部のモデルの別の視点が観察されることができ、モデルの部分は他の部分が可視できるように除去されることができ、頭部のモデルのある部分は可視度を改良するために強調されることができ、ターゲットとする組織構造のような関連領域はセグメント化され強調されることができ、点、線、外形、テキスト、ラベルのような注およびマーカーが仮想モデルに付加されることができる。

手術計画のシナリオでは、視点は恐らくユーザの眼の位置に対応して固定され、仮想モデルはユーザ入力に応答して可動である。ナビゲーションプロセスでは、仮想モデルは患者に位置合わせされ、通常静止している。カメラは患者の周りで動かされることができ、実際のカメラと同じ視点、焦点距離、視界等、および位置及び方位を有することができるバーチャルカメラは実際のカメラの動きにしたがって動かされる。したがってオブジェクトの異なる観察画面はカメラの異なる視点から提供される。

走査されるデータから生成される仮想モデルの観察と相互動作は外科手術を計画するために使用されることができる。例えば外科医は患者の医学的問題の特性と程度を診断し、周囲の構造に対する損傷を最小にするように腫瘍を除去するために患者の頭部に挿入する地点と方向を計画し、手術路を計画するために仮想モデルを使用することができる。したがって頭部のモデルはさらに診察情報（例えば腫瘍オブジェクト、血管オブジェクト）、手術計画（例えば手術路）、識別された標識、注およびマーカーを含むことができる。モデルは観察の体験を強調し、関連する特徴を強調するために生成されることができる。

手術中、頭部の３Ｄ仮想モデルは手術ナビゲーション及び誘導のために実時間撮像装置から捕捉される実際ベースの画像を強調するために使用されることができる。例えばＭＲＩとＣＡＴ（コンピュータ断層撮影）走査から生成された手術前に得られた３Ｄ画像に基づいて生成される３Ｄモデルは仮想カメラにより見られるような虚像を生成するために使用されることができる。虚像は現実性を強化する（例えば部分的に透明な頭部に取付けられた表示を通して観察する）ために実際の手術フィールドと重畳され、或いは拡張された現実的表示を生成するためにビデオカメラからのビデオ画像と混合されることができる。ビデオ画像は見られるとき現実のものを表すように捕捉されることができる。ビデオ画像は虚像を生成するために使用されるパラメータと共に記録されることができ、それによって現実のものはコンピュータが生成した内容なしに、または異なるコンピュータが生成した内容と共にまたは同じコンピュータが生成した内容と共に後に再検討されることができる。

１実施形態では、プローブ101はその内部に取付けられたビデオカメラをもたなくてもよい。オブジェクト111に関するプローブ101の実時間位置及び方位は位置追跡システム127を使用して追跡されることができる。プローブ101に関連される１対の視点は１対のバーチャルカメラがプローブ101に関連される視点にあるかのように、オブジェクトモデル121の仮想的な立体画面を構成するために決定されることができる。コンピュータ123はプローブ101のナビゲーションを誘導するように表示装置上で表示するためにオブジェクトモデル121の仮想画面の立体画像の実時間シーケンスを生成することができる。

さらに、画像ベースの誘導はオブジェクト111とプローブ101とオブジェクトモデル121との間の実時間の位置及び方位関係に基づいて行われることができる。例えば視点とプローブ101との間の既知の幾何学的関係に基づいて、コンピュータはオブジェクトに関するプローブの相対位置を示すために（例えばプローブの３Ｄモデルを使用して）プローブの表示を生成することができる。

例えば、コンピュータ123はオブジェクト111と、プローブ101と、オブジェクト111の３Ｄモデルと、およびプローブ101のモデルとの間の実時間の決定された位置及び方位関係を使用して、プローブ101とオブジェクト111を有する実時間の情景の３Ｄモデルを生成することができる。情景の３Ｄモデルにより、コンピュータ123はユーザにより特定される任意の１対の視点についての実時間情景の３Ｄモデルの立体画面を生成できる。したがって仮想の観察者の眼に関連する視点対による仮想観察者のポーズは、プローブ101と予め定められた幾何学的関係を有するか、または画像誘導手術中に実時間でユーザにより特定されることができる。

１実施形態では、オブジェクト111とプローブ101との間の実時間の位置関係と、プローブのナビゲーションを誘導するために画像の実時間表示を生成するための実時間視点を示す情報が記録され、それによっての手順後、プローブのナビゲーションはオブジェクト111の３Ｄモデルとプローブ101のモデルに対して変更してまたは変更せずに視点の同じシーケンスからまたは異なる視点から再検討されることができる。

１実施形態では、少なくとも最も最近の時間期間についての位置の経歴および／または視点の経歴がメモリに記憶され、それによってシステムは立体画面を提供するように現在の画像と対にされることができる先に捕捉され提供された画像を発見するために経歴情報を検索できる。

内視鏡のような種々の医療装置はナビゲーションプロセスにおけるナビゲーション機器（例えばプローブ）として使用されることができることに注意すべきである。

図２では、ビデオカメラ103は追跡される視点からオブジェクト111の表面特徴で現れるビデオ画像201のフレームを捕捉する。画像201はプローブ203の画像とオブジェクト205の画像を含んでいる。

図３では、コンピュータ123はモデルデータ303を使用し、これは（例えばＭＲＩまたはＣＴスキャンのような容積撮像データに基づいて生成される）オブジェクトの３Ｄモデルであることができ、バーチャルカメラにより見られるような虚像301を生成するためのバーチャルカメラ305を使用する。虚像301はオブジェクト307内の内部特徴部分309を含んでいる。画像201と301の寸法は同じであってもよい。

虚像はまた３Ｄモデルにしたがって実際のオブジェクトに関連される仮想オブジェクトを含むことができる。仮想オブジェクトは実時間の情景で実際のオブジェクトのどの部分にも対応しない可能性がある。例えば仮想オブジェクトは手術手順中に存在しない可能性がある計画された手術路であってもよい。

１実施形態では、バーチャルカメラはビデオカメラと同じ視点を有するように規定され、それによってバーチャルカメラはビデオカメラが実際のオブジェクトに対するのと同じ観察角度および／または観察距離をオブジェクトの３Ｄモデルに対して有している。バーチャルカメラは実際のビデオカメラと同じ撮像特性とポーズ（位置及び方位）を有する。撮像特性は焦点距離、視界、歪パラメータを含むことができる。バーチャルカメラは実際のビデオカメラの較正データから作成されることができる。較正データはコンピュータに記憶されることができる。コンピュータ123は選択的に内部特性113（例えばユーザリクエストにしたがって）を提供する。例えば３Ｄモデルは複数のユーザの選択可能なオブジェクトを含むことができ、１以上のオブジェクトはユーザ入力または予め規定された選択規準に基づいて（例えばビデオカメラの焦点面の位置に基づいて）可視であるように選択されることができる。

バーチャルカメラはバーチャルカメラの焦点平面がオブジェクトに関してビデオカメラの同じ焦点平面に対応するように、ビデオカメラにしたがって規定された焦点平面を有することができる。代わりにバーチャルカメラはオブジェクトに関してビデオカメラの焦点平面から離れた予め定められた距離にある焦点平面を有することができる。

バーチャルカメラのモデルは視界、焦点距離、歪パラメータ等の複数のカメラパラメータを含むことができる。虚像の生成はさらに照明条件、色、透明度のような多数のレンダリングパラメータを含むことができる。あるレンダリングパラメータは（例えば実時間測定にしたがって）現実の設定に対応することができ、あるレンダリングパラメータは予め定められる（例えばユーザにより予め選択される）ことができ、あるレンダリングパラメータは実時間のユーザ入力にしたがって実時間で調節されることができる。

図２のビデオ画像201と図３のコンピュータが生成する画像301はバーチャルカメラにより捕捉されるとき、図４に示されているように実時間で拡張された現実の画像401を示すように組み合わされることができる。本発明による例示的な実施形態では、拡張された現実画像は種々の方法で表示されることができる。実像は虚像上にオーバーレイされる（実像が虚像上にある）ことができ、或いは虚像によりオーバーレイされる（虚像が実像上にある）ことができる。オーバーレイ画像の透明度は拡張現実画像が、虚像のみ、実像のみまたは組み合わせた画面のように種々の方法で表示されることができるように変更されることができる。同時に例えば、焦点の位置変更にしたがった３Ｄモデルの軸平面、前頭面、矢状面は３つの別々のウィンドウで表示されることができる。

ビデオカメラ103の位置および／または方位が変更されるとき。バーチャルカメラにより捕捉される画像もまた変更され、拡張された現実性の組合された画像501もまた図５に示されているように変更される。

本発明の１実施形態では、画像の視点が立体画像に対する予め規定された要求を（正確にまたは近似的に）満たしているとき、画像401と501は立体画面を与えるために対にされる。

１実施形態では、幾何学的に同じであるかほぼ同じである仮想オブジェクトは実際のオブジェクトが実際のカメラにより観察されるとき実像に画像ワーピングを適用するために使用される。例えば頭部の実像をワープするため、頭部表面のモデル（例えば容積データから再構成される３Ｄモデル）は頭部に合わされる。頭部表面のモデルに基づいて、２つの視点の一方で得られる実像は２つの視点の他方にしたがった画像中にワープされることができる。本発明の実施形態では、画像のワーピング技術は所望の視点で１以上の画像を生成するために実像の視点をシフトまたは修正するために使用されることができる。

図６乃至８は、本発明の１実施形態によるビューマッピングを構成する方法を示している。図６では、虚像601は所定の視点で撮られた実像201に対応する。必要とされる立体的の視点関係にしたがって、立体的表示のための他方の視点で撮られた虚像605は３Ｄモデルから計算されることができる。虚像601と605は関係するオブジェクトの僅かに異なる画像603と607を示しているので、虚像605は虚像601のワープされたバージョンとして考えられることができる。

１実施形態では、図７に示されているようにグリッドはワーピング特性を計算するために使用される。１つの視点での画像601のグリッド点、例えば611、613、615、617は他方の視点での画像605の対応する点、例えば621、623、625、627の位置に動くことができる。位置のシフトは虚像601と605を提供する必要なく、３Ｄモデルと視点から計算されることができる。

例えば位置シフトは、１）３Ｄモデル上の対応する点（モデル点、３Ｄ）を識別するためにグリッド点（２Ｄ）を使用し、２）現在の画像と所望の視点の画像のモデル点の画像位置を決定し、３）２つの異なる視点における画像位置間の差を計算することにより計算されることができる。例えば光線のキャスティングは３Ｄモデル上の対応する点を決定するためにグリッド点を通って３Ｄオブジェクト上の点に視点から光線を発射するために使用されることができる。光線が衝突する正確な点はモデル点として使用されることができる。代わりに、仮想オブジェクトが曇り点オブジェクトであるならば、光線に対して可視できる最も近い点がモデル点として選択されることができ、仮想オブジェクトがメッシュオブジェクトであるならば、光線に最も近い頂点がモデル点として選択されることができる。モデル点が光線が衝突する正確な点ではないとき、画像点は正確にグリッド点上に存在しない可能性がある。

１実施形態では、画像ワーピングが虚像全体を提供するよりも高速度で行われることができるとき（例えばグリッド点から発射される３Ｄモデルの光線の交差を計算しテクスチャマッピングをすることをさらに非常に速くするように、情景が複雑な照射計算と大きな３Ｄモデルデータを含むとき）ワーピングは１つの虚像を別の虚像から生成するために決定される。

したがって、グリッド点の位置シフトに基づいて、図８に示されているグリッド631と633により示されているように２つの視点間の画像ワーピングが計算される。

図９は本発明の１実施形態によるビューマッピングを使用して１つの視点で得られた画像を別の視点の画像へ変換する方法を示している。

グリッド点に基づいて、１つの視点の画像は図９に示されているように、テクスチャマッピングを通して別の１つの視点の画像へワープされることができる。例えば４つのグリッド点により規定されるように各グリッドセルは下部画像645を生成するために図９の上部画像641から下部画像645へマップされることができる。テクスチャマッピングはグラフィックプロセッサを使用して非常に効率的に行われることができる。

図９では、ビデオカメラから撮られた実像641は立体画面の対応する視点で撮られる実像に近い画像645を生成するようにワープされる。

前述の例では、規則的な方形グリッド（例えばサンプル手段として）は変換またはワープされる画像に対して使用される。代わりに、変換またはワープされる画像上のグリッドが規則的ではないように、規則的ではない方形グリッドが生成される画像に対して使用されることができる。例えば画像601に近似したバージョンを生成するために画像605をワープすることができる。

規則的な方形グリッドが説明の幾つかの例に示されているが、他のタイプの規則的または規則的ではないグリッドが使用されることもできる。例えばシステムはエッジ検出動作を行い、検出されたエッジに基づいて規則的ではないメッシュを生成することができる。代わりにまたは組み合わせて、規則的ではないグリッドまたはメッシュはまた３Ｄモデル情報に基づいて生成されることができる（例えば表面多角形の形状）。

前述の例では、虚像はターゲットオブジェクトを含むがプローブは含まない。画像ワーピングの改良されたマッピングを得るため、虚像はこれらのオブジェクトの３Ｄモデルに基づいて、プローブおよび／または情景のその他のオブジェクトを情景中にさらに含むことができる。グリッドが益々精巧にされるとき、計算コストも増加されるが、グリッドが微細である程、ワープされた画像の品質は良好である。代わりに、適合メッシュもまた方形グリッドに類似の複数の点グリッドによってより良好な品質のワープされた画像を与えることができる。例えば３Ｄモデル（例えば平滑な表面）に存在する特徴が少ないか全く特徴をもたないグリッドのグループはより大きく粗いグリッドに組み合わされることができ、より多くの特徴（例えばエッジ）を有するグリッドはワーピングのためにこれらの特徴を収容するためにより小さい微細なグリッドに細分割されることができる。

図１０乃至１３は本発明の実施形態により生成された種々の立体画像を示している。立体画像はここでは横に並べられたフォーマットで示されている。しかしながら技術で知られている種々の異なる表示及び観察技術も手術ナビゲーションプロセスで観察するために立体像を提示するために使用されることができる。例えば１対の画像はアナグリフ眼鏡を介して観察するためのアナグリフ画像を生成するために使用されるか、頭部に取付けられたディスプレイを介して異なる眼に与えられることができる。

図１０は右画像703が左画像701をワープすることにより得られる実際の情景の立体画像を示している。代わりに左及び右の両画像は、立体画像の全体的な視点がオリジナル画像の視点と一貫するように、立体画像の視点間の視点で捕捉されたオリジナル画像をワープすることにより生成されることができる。

図１１は右の実像が左の実像をワープすることにより得られている立体的の拡張された実際の画像を示している。左及び右の画像711と713は３Ｄモデルから生成された立体画像で拡張されている。１実施形態では両者の虚像は直接的に３Ｄモデルから提供される。代わりに、虚像の一方は他の虚像をワープすることにより生成される。代わりに両者の虚像は立体画面の２つの視点の中心で提供された虚像をワープすることにより生成されることができる。

図１２はプローブの３Ｄモデルに基づいてプローブの立体画像722と725も示している立体的虚像721と723を示している。立体的虚像は実像から得られる一部分を含むことができる。立体的虚像の部分は画像のワーピングにより生成されることができる。例えばプローブの立体画像727と725が提供され、異なる立体画像で再使用され、プローブの先端近くのターゲットの一部は３Ｄ画像データセットから直接提供されることができ、一方または両者の画像のターゲットの残りの部分は画像のワーピングから生成されることができる。

１実施形態では、立体的虚像は拡張された現実性表示のためにワーピングからの立体的実像と混合される。代わりに、同じ立体的実像は立体的虚像によりオーバーレイされることができる。

図１３は２つの異なるポーズでプローブにより捕捉される２つの実像に基づいている立体的な拡張された画像731と733を示している。カメラはプローブに関して固定した相対位置を有するので、プローブは画像731と733で同じ位置737と735を有する。プローブの位置は実像が１対のカメラにより同時に捕捉されるならば異なるであろう。したがって実際の情景のプローブ位置は立体的な拡張された画像721と723では異なるので、立体的拡張された画像731と733は図１３に示されているように近似したバージョンである。代わりに実像はプローブの先端を含まない可能性があり、プローブの３Ｄモデルに基づいて提供されたプローブの立体画像はプローブとターゲット間の相対位置を示すために実像によりオーバーレイされることができる。

図１４乃至１９は本発明の実施形態により生成された立体画像を構成するように実時間画像を得るための種々の方法を示している。

図１４では、マイクロビデオカメラ805はプローブ803内に収容されている。ビデオカメラ805は１つの視点で実時間の画像を撮り、画像ワーピングを通して、コンピュータシステムはプローブ803と予め規定された空間的関係を有する別の視点807で対応する実時間画像を生成し、それによってオブジェクト801の立体画面は単一のビデオカメラ805を使用して実時間で生成されることができる。

図１４の例では、立体画面はプローブに沿っていない。プローブに沿って立体画面を示すために、ビデオカメラはプローブに関してある角度で取り付けられることができ、それによってプローブはカメラの視点と他の視点との間の対称線にある。

図１５では、立体画像の各視点807と809はビデオカメラ805の視点と一致しない。視点807と809はビデオカメラ805の視点を中心に対称であり、それによって立体画像全体はビデオカメラ805の視点と一致する観察点を有する。システムはビデオカメラ805から得られたビデオ画像のワーピングから左及び右の両画像を生成する。

図１６では、ビデオカメラはプローブが位置811に存在する間に１つの画像を撮り、プローブが位置803にある間に別の画像を撮る。これらの２つの画像は一方は位置811において、他方は位置803において２つのビデオカメラから撮られたかのように、近似された立体画像を得るために対にされることができる。しかしながら、プローブは２つの画像を撮るとき異なる位置にあるので、２つの画像で捕捉された情景のプローブは同じである。画像の対は画像のプローブ部分ではなく画像のオブジェクト部分に対して正しい立体的関係を有する。

図１７では、ビデオカメラ805を収納するプローブ803は機械的誘導構造813の制約内で可動である。ユーザは全体的な視点を変更するために機械的誘導構造813をゆっくり動かすことができ、プローブ803は立体表示のための画像対を得るために機械的誘導構造813の制約内でより迅速に動かされることができる。機械的誘導構造はさらにプローブが所望のポーズにあるとき信号をコンピュータシステムに与えるスイッチまたはセンサを含むことができる。

図１８はプローブの先端を含めた２つのビデオカメラ821と823が情景の画像の立体的な１対の画像をプローブ803の１位置で捕捉するために使用されることができる構成を示している。立体的表示は１対のビデオカメラの視点に基づくことができる。代わりに、画像の立体的な対はさらにカメラの視点から立体的表示の所望の仮想視点へマップされることができる。例えば前述のテクスチャマッピング技術はステレオのベース（立体的表示の視点間の距離）を調節するために使用されることができる。

図１９は単一のビデオカメラ831が立体表示のために異なる視点の画像を得るためにプローブ803内で動かされることができる構成を示している。機械的誘導構造835はビデオカメラの移動を行わせるために使用され、それによって画像の立体的な対はビデオカメラから得られるビデオ画像流から容易に選択されることができる。カメラはプローブ内のビデオカメラの移動を制御する負担をユーザから取り除くため電動化構造を使用して動かされることができる。プローブ803に関するカメラの位置及び方位はモータの動作に基づいて決定または追跡されることができる。

代わりに、ビデオカメラはプローブ外に、プローブに関して可動に取り付けられることができる。誘導構造はプローブに関してビデオカメラを支持するために使用されることができる。

誘導構造は１以上の予め設計されたパターンにしたがってビデオカメラをプローブに関して自動的に動かすためのモータを含むことができる。プローブがターゲットに関して静止しているとき（またはゆっくりと着実に動かされているとき）ビデオカメラは異なる視点から現実の画像を撮るように誘導構造により動かされることができる。プローブに関するプローブの位置はモータおよび／または誘導構造に結合されている１以上のセンサの状態に基づいて追跡されることができる。例えば顕微鏡の移動はモータ駆動されることができ、立体画像は顕微鏡を所望の第２の位置に動かすことにより得られることができる。

図２０は本発明の１実施形態によるビューマッピングのためのグリッドを有するスクリーン画像を示している。図２０では、ディスプレイスクリーンは複数の仮想オブジェクト（例えば901）を有するファントム903とプローブ905の３Ｄ画面を示している。３つの断面図がディスプレイスクリーンの別々の部分907、909、911で表示されている。プローブとファントムとの間の距離は計算され表示される（例えば０．０ｍｍ）。

図２０はワーピング特性と、拡張された現実のものの非立体的表示を計算するために使用される方形グリッドを示している。１実施形態では、非立体的表示は本発明の１実施形態にしたがって生成される立体画面のアナグリフ画像と置換されることができる。

図２１は本発明の１実施形態によるテクスチャマッピングを通して生成されたワープされたグリッドを有する１対の画像を示している。図２１では、左及び右の両画像は画像ワーピングから生成される。グリッドのワーピングは図２０に示されているようにカメラ画像中のグリッド点として示されている３Ｄモデルの点を識別し、図２１に示されているように左及び右の画像中のこれらの点の位置を決定することにより決定される。テクスチャマッピングがその後図２０に示されているようなカメラ画像を図２１に示されている左及び右の画像にワープするために使用される。

図２２はグリッドのない図２１の１対の画像を示しており、これらは本発明の１実施形態にしたがって立体画面に対するテクスチャマッピングを通して生成される。図２２では、拡張された立体画面が横に並べられたフォーマットで示されている。１実施形態では、立体画面はアナグリフ画像として表示され、これは異なるカラーフィルタ（例えば赤色および緑青色）で濾波される左及び右画像の組合せである。濾波は画像の画素のＲＧＢ（赤緑青）値の操作により実現されることができる。アナグリフ画像はモニタ上で表示され、１対のアナグリフ眼鏡を通して観察されることができる。

図２３は、本発明の１実施形態による立体的表示を生成する方法のフロー図を示している。図２３では、第１の視点で得られた情景の第１の画像が受信された（1001）後、情景の第１と第２の視点を有する画像間のマッピングにしたがって第２の視点の情景の第２の画像が計算される（1003）。立体的表示は第２の画像を使用して生成される（1005）。第１の画像は実像、虚像または拡張された画像であってもよい。

例えば立体的表示は情景の第１及び第２の視点からのものでよく、第１及び第２の画像は立体的表示を生成するために対にされることができる。

例えば立体的表示は情景の第２の視点と第３の視点からのものであってもよく、第１の視点は第２の視点の付近に存在する。第２の画像が立体観察画面を与えるために第３の視点を有する画像と対にされることができるように、第１の画像は第１の視点から第２の視点へ修正される。

例えば第１の画像はさらに情景の第３の視点で第３の画像を生成するように変換されることができ、第２及び第３の画像は情景の立体観察画面を提供するために対にされることができる。さらにこの例では、第２及び第３の画像の視点はその第２及び第３の視点の中心が第１の視点と一致するように第１の視点を中心に対称であることができる。

第１の画像はビデオカメラ、内視鏡または顕微鏡のような撮像装置から得られる画像であることができる。この撮像装置は現実の情景の画像を捕捉する。代わりに第１の画像は情景の３Ｄモデルから与えられることができる。３ＤモデルはＭＲＩ、Ｘ線、ＣＴ、３ＤＵＳ等のような物理療法から得られる走査された画像から生成されることができる。第１の画像は現実の情景には存在しない可能性がある１以上の仮想オブジェクトを含むことができる。代わりに、第１の画像は撮像装置から得られる実像と３Ｄモデルから与えられる虚像との組合せであることができる。

図２４は本発明の１実施形態による画像をワープする方法のフロー図を示している。図２４では、３Ｄモデルの第１の観察画面の１セットのグリッド点に対応する３Ｄモデルの１セットの点は第１の視点にしたがって決定される（1011）。３Ｄモデルの第２の観察画面の３Ｄモデルの点のセットの位置は第２の視点にしたがって決定される（1013）。第１の視点を有する第１の画像の領域は第１と第２の観察画面間の３Ｄモデルの点のセットの位置マッピングにしたがって、第２の視点を有する第２の画像の対応する領域へマップされることができる（1015）。

代わりに、第２の視点を有する第２の画像の領域は第１と第２の観察画面の間の３Ｄモデルの点のセットの位置マッピングにしたがって、第１の視点を有する第１の画像の対応する領域へマップされることができる（1015）。

グリッド点は第１の観察画面の規則的な方形グリッドまたは不規則的なグリッド上であってもよい。マッピングはグラフィックプロセッサのテクスチャマッピング機能を使用して行われることができる。

図２５は本発明のさらに別の１実施形態による立体的表示を生成する方法のフロー図を示している。第１の視点で得られた情景の第１の画像が受信される（1021）。その後、第２の視点で得られた情景の第２の画像が受信される（1023）。情景の立体的表示がその後第１と第２の画像を使用して生成される（1025）。

例えば、第１の画像は撮像装置（例えばプローブ上に取り付けられたビデオカメラ）が第１の視点にあるとき撮られることができる。画像装置はその後、第２の画像を撮るために第２の視点に動かされる。撮像装置の移動は装置の位置追跡に基づいて、聴覚的または視覚的フィードバックにより導かれることができる。撮像装置の移動は第２の画像の方向へ機械的誘導構造により行われることができる。

情景の立体的表示は撮像装置が第２の画像を得るために動かされるとき実時間で表示されることができ、第１の画像は立体的表示と第２の視点に対する位置的要求に基づいて画像の先に記録されたシーケンスから選択される。

１実施形態では、撮像装置の視点は現在の画像と対にされることができる画像の選択のために追跡され記録される。撮像装置の動きは立体的表示のために所望の視点の付近に存在する画像の選択を可能にするために機械的誘導構造により行われることができる。１実施形態では、機械的誘導構造に関する撮像装置の運動は自動化される。

図２６は本発明の１実施形態による画像誘導の手順において立体画面を生成するためのデータ処理システムの例のブロック図を示している。

図２６はコンピュータシステムの種々のコンポーネントを示しているが、任意の特定のアーキテクチャまたはコンポーネントの相互接続方法を表すことが意図されている。より少数またはより多数のコンポーネントを有する他のシステムもまた本発明で使用されることができる。

図２６では、コンピュータシステム1100はデータ処理システムの形態である。このシステム1100は相互接続1101（例えばバス及びシステムコア論理装置）を含んでおり、それはマイクロプロセッサ1103とメモリ1107を相互接続する。マイクロプロセッサ1103はマイクロプロセッサ1103と同じチップ上に構成されることができるキャッシュメモリ1105に結合されている。

相互接続1101はマイクロプロセッサ1103とメモリ1107を共に相互接続し、さらにこれらをディスプレイ制御装置および表示装置1113と相互接続し、さらに入力／出力制御装置1111を介して入力／出力（Ｉ／Ｏ）装置のような周辺装置1109と相互接続する。典型的なＩ／Ｏ装置はマウス、キーボード、モデム、ネットワークインターフェース、プリンタ、スキャナ、ビデオカメラ及び他の装置を含んでいる。

相互接続1101は種々のブリッジ、制御装置および／またはアダプタを介して相互に接続される１以上のバスを含むことができる。１実施形態ではＩ／Ｏ制御装置1111はＵＳＢ（ユニバーサルシリアルバス）周辺装置を制御するためのＵＳＢアダプタおよび／またはＩＥＥＥ−１３９４周辺装置を制御するためのＩＥＥＥ−１３９４バスを含んでいる。相互接続1101はネットワーク接続を含むことができる。

メモリ1107はＲＯＭ（読取専用メモリ）、揮発性ＲＡＭ（ランダムアクセスメモリ）、ハードドライブとフラッシュメモリのような不揮発性メモリ等を含むことができる。

揮発性ＲＡＭは典型液にデータをリフレッシュするかそれをメモリ中に維持するために連続液に電力を必要とするダイナミックＲＡＭ（ＤＲＡＭ）として構成される。不揮発性メモリは典型的に磁気ハードドライブ、フラッシュメモリ、磁気光学ドライブまたは光学ドライブ（例えばＤＶＤ ＲＡＭ）、または電力がシステムから除かれた後でさえもデータを維持するその他のタイプのメモリシステムである。不揮発性メモリはまたランダムアクセスメモリであってもよい。

不揮発性メモリはデータ処理システム中の残りのコンポーネントへ直接結合されるローカル装置であることができる。モデムまたはイーサネット（登録商標）インターフェースのようなネットワークインターフェースを介してデータ処理システムに結合されているネットワーク記憶装置のようなシステムから遠隔の不揮発性メモリが使用されることもできる。

メモリ1107はオペレーティングシステム1115、画像選択装置1121および／または画像誘導手順中に立体的表示を生成するための画像ワーパー1123を記憶することができる。選択装置および／またはワーパーの一部は改良された性能のハードウェア回路を使用して構成されることができる。メモリ1107は虚像の生成のための３Ｄモデル1130を含むことができる。３Ｄモデル1130はさらに３Ｄモデルの１組の点の位置マッピングに基づいて、１つの視点を有する既に得られた画像と別の視点を有する所望の画像との間のワーピング特性を決定するために画像ワーパー1123により使用されることができる。３Ｄモデルは走査される容量画像データから生成されることができる。

メモリ1107はさらに画像誘導手順中に実時間で捕捉される現実の画像の画像シーケンス1127と視点シーケンス1129を記憶することができ、これらは立体的表示の生成のために１対の画像を選択するための画像選択装置1121により使用されることができる。選択された画像はさらに画像ワーパー1123により所望の視点に対して修正されることができる。１実施形態では、メモリ1107は画像選択装置1121による選択のために最近の期間のビデオ画像をキャッシュに記憶する。代わりに、システムは実時間の表示のために先に記憶された画像を使用せずに最も最近の画像を使用することができる。

プロセッサ1103は（例えば３Ｄモデル1130に基づいて）仮想オブジェクトを有する現実の画像を拡張することができる。

本発明の実施形態はハードウェア、命令のプログラムまたはハードウェアと命令のプログラムの組合せを使用して実行されることができる。

通常、本発明の実施形態を実行するために行われるルーチンは、オペレーティングシステムまたは特別なアプリケーションの一部、コンポーネント、プログラム、オブジェクト、モジュールまたは「コンピュータプログラム」と呼ばれる命令のシーケンスを実行することができる。コンピュータプログラムは典型的にコンピュータ中の種々のメモリ及び記憶装置中に種々の時間における１以上の命令セットを含んでおり、コンピュータの１以上のプロセッサにより読取られ実行されるとき、コンピュータに本発明の種々の特徴を含んでいる素子を実行するのに必要な動作を行わせる。

本発明の幾つかの実施形態を、コンピュータおよびコンピュータシステムを十分に機能させる文脈で説明したが、当業者は本発明の種々の実施形態が種々の形態のプログラムプロダクトとして分配されることができ、実際に分配を行うために使用されるマシンまたはコンピュータが読取可能な媒体の特別なタイプにかかわりなく適用されることができることを認識するであろう。

コンピュータが読取可能な媒体の例は、特に揮発性及び不揮発性メモリ装置、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ装置、フロッピー（登録商標）、その他の取出し可能なディスク、磁気ディスク記憶媒体、光学記憶媒体（例えばコンパクトディスク読取専用メモリ（ＣＤ ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）等）のような記録可能または記録可能ではないタイプの媒体を含んでいるがそれらに限定されない。命令は電気的、光学的、音響的、または搬送波、赤外線信号、デジタル信号等のその他の形態の伝播される信号のデジタルおよびアナログ通信リンクで実施されることができる。

マシンが読取可能な媒体はデータ処理システムにより実行されるときシステムに本発明の種々の方法を実行させるソフトウェア及びデータを記憶するために使用されることができる。実行可能なソフトウェア及びデータは例えばＲＯＭ、揮発性ＲＡＭ、不揮発性メモリおよび／またはキャッシュを含めた種々の位置に記憶されることができる。このソフトウェアおよび／またはデータの一部はこれらの記憶装置の任意の１つに記憶されることができる。

一般的に、マシン読取可能な媒体は、マシン（例えばコンピュータ、ネットワーク装置、パーソナルデジタルアシスタント、製造ツール、１セットの１以上のプロセッサを有する任意の装置等）によりアクセス可能な形態で情報を提供（即ち記憶および／または送信）する任意の機構を含んでいる。

本発明の特徴は少なくとも部分的にソフトウェアで実施されることができる。即ち技術はＲＯＭ、揮発性ＲＡＭ、不揮発性メモリ、キャッシュまたは遠隔記憶装置のようなメモリに含まれている命令のシーケンスを実行するマイクロプロセッサのようなそのプロセッサに応答して、コンピュータシステムまたは他のデータ処理システムで実行されることができる。

種々の実施形態では、ハードワイヤの回路は本発明を実行するためにソフトウェア命令と組み合わせて使用されることができる。したがって本発明の技術はハードウェア回路及びソフトウェアの任意の特別な組合せに限定されず、データ処理システムにより実行される命令の任意の特定のソースにも限定されない。

この説明では、種々の機能及び動作は説明を簡単にするためにソフトウェアコードによって実行または生成されるものとして説明した。しかしながら当業者はこのような表現が意味することは、その機能がマイクロプロセッサのようなプロセッサによるコードの実行から得られることを認識するであろう。

幾つかの図面は特別な順序で複数の動作を示しているが、順序に依存しない動作は順序を変更されることができ、他の動作が組み合わされるか除去されてもよい。幾つかの順序の変更または他のグループ化について特に説明されているが、その他は当業者に明白であり、それ故、全ての変更の完全なリストを提示するものではない。さらに各段階がハードウェア、ファームウェア、ソフトウェアまたは任意のその組合せで実行されることができることを認識すべきである。

前述の説明では、本発明をその特別な例示的な実施形態を参照して説明した。種々の変形が特許請求の範囲に記載されている本発明の技術的範囲を逸脱せずに行われることができることが明白である。明細書及び図面はしたがって限定の意味ではなく例示として記載されている。

本発明の１実施形態による拡張された現実的可視化システムを示す図。 本発明の１実施形態による拡張された現実的可視化システムを示す図。 本発明の１実施形態による拡張された現実的可視化システムを示す図。 本発明の実施形態により立体的表示を構成するために使用されることができる２つの異なる観察点から得られる拡張現実画像を示す図。 本発明の実施形態により立体的表示を構成するために使用されることができる２つの異なる観察点から得られる拡張現実画像を示す図。 本発明の１実施形態によるビューマッピングを構成する方法を示す図。 本発明の１実施形態によるビューマッピングを構成する方法を示す図。 本発明の１実施形態によるビューマッピングを構成する方法を示す図。 本発明の１実施形態によるビューマッピングを使用して１つの観察点で得られた画像を別の観察点の画像へ変換する方法を示す図。 本発明の実施形態により生成された種々の立体画像を示す図。 本発明の実施形態により生成された種々の立体画像を示す図。 本発明の実施形態により生成された種々の立体画像を示す図。 本発明の実施形態により生成された種々の立体画像を示す図。 本発明の実施形態により生成された立体画像を構成するように実時間画像を得るための方法を示す図。 本発明の実施形態により生成された立体画像を構成するように実時間画像を得るための方法を示す図。 本発明の実施形態により生成された立体画像を構成するように実時間画像を得るための方法を示す図。 本発明の実施形態により生成された立体画像を構成するように実時間画像を得るための方法を示す図。 本発明の実施形態により生成された立体画像を構成するように実時間画像を得るための方法を示す図。 本発明の実施形態により生成された立体画像を構成するように実時間画像を得るための方法を示す図。 本発明の１実施形態によるビューマッピングのためのグリッドを有するスクリーン画像を示す図。 本発明の１実施形態によるテクスチャマッピングによって生成されたワープされたグリッドを有する画像対を示す図。 本発明の１実施形態による立体画面のテクスチャマッピングを通して生成されたグリッドのない図２１の画像対を示す図。 本発明の１実施形態による立体的表示を生成する方法のフロー図。 本発明の１実施形態による画像をワープする方法のフロー図。 本発明のさらに別の１実施形態による立体的表示を生成する方法のフロー図。 本発明の１実施形態による画像誘導の手順において立体画面を生成するためのデータ処理システムの例のブロック図。

Claims (45)

1. 情景の２つの観察画面の間のワープしたマップを決定し、
   前記２つの画面のうちの一方の情景の第１の画像を獲得し、
   前記情景の２つの画面の間のワープしたマップにしたがって、情景の第１の画像を情景の第２の画像へ変換するステップを含んでいる立体画面を生成する方法。
2. ワープしたマップを決定する前記ステップは２つの画面に対応する２つの画像中の抽出された点の位置差を決定するステップを含んでいる請求項１記載の方法。
3. 抽出された点は、情景の３次元モデルの一部分である請求項２記載の方法。
4. 抽出された点は、情景の画像の予め規定された点にしたがって選択される請求項３記載の方法。
5. 予め規定された点は、情景の第１の画像中の規則的なグリッドに対応している請求項４記載の方法。
6. 前記変換は、グラフィックプロセッサのテクスチャマッピング機能を使用して第１の画像を第２の画像へ変換するステップを含んでいる請求項１記載の方法。
7. さらに、情景の立体的表示のために第１及び第２の画像を組み合わせるステップを含んでいる請求項１記載の方法。
8. さらに、情景の２つの観察画面の間のさらにワープしたマップにしたがって、情景の第１の画像を情景の第３の画像へ変換し、
   情景の第２及び第３の画像を使用して情景の立体的表示を生成するステップを含んでいる請求項１記載の方法。
9. 情景の立体的表示を生成する前記ステップは、
   情景のアナグリフ画像を生成するために情景の第２及び第３の画像を組み合わせるステップを含んでいる請求項８記載の方法。
10. さらに、第１の画像を撮像装置から受信し、
    第１の画像の視点にしたがって第２及び第３の画像の視点を決定するステップを含んでおり、
    第２及び第３の画像の視点は第１の画像の視点に関して対称的である請求項８記載の方法。
11. 情景の立体的表示を生成する前記ステップは、
    第２及び第３の画像を仮想モデルによって拡大するステップを含んでいる請求項１０記載の方法。
12. 第１の画像は神経外科手術手順中に受信される請求項１０記載の方法。
13. 撮像装置はプローブ上に設置されている請求項１０記載の方法。
14. 撮像装置の視点はプローブに沿っており、第２及び第３の画像の視点はプローブの前面の点に収斂する請求項１３記載の方法。
15. 撮像装置は、カメラ、内視鏡、顕微鏡のうちの１つを具備している請求項１０記載の方法。
16. さらに、撮像装置の位置及び方位を決定し、
    撮像装置の位置及び方位に基づいて第１の画像の視点を決定するステップを含んでいる請求項１０記載の方法。
17. 情景は患者を含んでおり、マッピングは少なくとも部分的に患者のモデルに基づいている請求項１０記載の方法。
18. さらに、手術手順中にビデオカメラから第１の画像を受信し、
    第１及び第２の画像を仮想モデルによって拡大し、
    拡大された第１および第２の画像を使用して情景のアナグリフ画像を生成するステップを含んでいる請求項１記載の方法。
19. 手術手順中に情景の第１の画像及び第２の画像を受信し、撮像装置の位置及び方位は異なる視点から第１及び第２の画像を捕捉するように少なくとも部分的に変化され、
    第１及び第２の画像を使用して情景の立体的表示を生成するステップを含んでいる方法。
20. 撮像装置はプローブを含み、情景はプローブの一部と患者の一部を含んでいる請求項１９記載の方法。
21. さらに、第１の画像が捕捉された後、撮像装置を第２の画像を撮るための位置の方向へ導くための指示を与えるステップを含んでいる請求項２０記載の方法。
22. 前記指示は視覚的なキューと聴覚的なキューの少なくとも一方を含んでいる請求項２１記載の方法。
23. さらに、第１の画像が捕捉されるとき入力を受信し、
    その入力に応答して、第１の画像が位置追跡データから捕捉される撮像装置の位置を識別し、
    立体的視点の要求と撮像装置の識別された位置に基づいて、撮像装置のターゲット位置を決定し、
    撮像装置をターゲット位置へ導くための指示を与えるステップを含んでいる請求項２０記載の方法。
24. さらに、手術手順中に撮像装置から第１及び第２の画像を含んだ画像のシーケンスを受信し、
    画像のシーケンスの視点を決定し、
    立体的視点の要求と、立体的表示を生成するための視点にしたがって第１及び第２の画像の少なくとも一方を識別するステップを含んでいる請求項２０記載の方法。
25. 撮像装置はプローブ上に設置され、プローブは機械的な誘導構造により運動される請求項２４記載の方法。
26. 手術手順中の患者に関するプローブの実時間位置を決定し、
    プローブの実時間位置にしたがって１対の仮想視点を決定し、
    決定された１対の仮想視点にしたがって、患者に関してプローブが示す仮想立体画像を生成するステップを含んでいる方法。
27. 仮想立体画像を生成する前記ステップは、
    仮想視点の決定された対の１つの視点にしたがって、患者に関してプローブが示す第１の画像を提供し、
    仮想視点の決定された対間でワープする画像を決定し、
    決定されたマッピングにしたがって、第２の画像の対応する領域へ第１の画像の領域をテクスチャマッピングするステップを含んでいる請求項２６記載の方法。
28. プローブは撮像装置を含んでいない請求項２６記載の方法。
29. カメラからの実時間ビデオ画像には仮想立体画像と組み合わされるものは存在しない請求項２６記載の方法。
30. 撮像装置と、
    パスにしたがって、撮像装置の視点を変化するように運動を行わせるために撮像装置と結合される誘導構造とを具備している装置。
31. 撮像装置はプローブとマイクロビデオカメラとを具備している請求項３０記載の装置。
32. さらに、誘導構造及び撮像装置と結合されているプローブを具備し、プローブは誘導構造に関してパスに沿って可動である請求項３０記載の装置。
33. さらに、誘導構造に関してパスに沿って撮像装置を動かすためのモータを具備している請求項３０記載の装置。
34. 情景の２つの観察画面間のマッピングにしたがって、情景の第１の画像を情景の第２の画像へ変換するステップを含んでいる方法をマシンに行わせる命令を実行するマシン読取可能な媒体。
35. 手術手順中に情景の第１の画像及び第２の画像を受信し、撮像装置の位置及び方位は異なる視点から第１及び第２の画像を捕捉するために少なくとも部分的に変化し、
    第１及び第２の画像を使用して情景の立体的表示を生成する処理を含んでいる方法をマシンに行わせる命令を実行するマシン読取可能な媒体。
36. 情景の２つの観察画面間のマッピングにしたがって、情景の第１の画像を情景の第２の画像へ変換するステップを含んでいる方法をマシンに行わせる実行命令から発生されデータを含むマシン読取可能な媒体。
37. 手術手順中に情景の第１の画像及び第２の画像を使用して、情景の立体的表示を生成し、
    ここで撮像装置の位置及び方位は異なる視点から第１及び第２の画像を捕捉するために少なくとも部分的に変化するステップを含んでいる方法をマシンに行わせる命令の実行により発生されるデータを含むマシン読取可能な媒体。
38. 第１の画像及び第２の画像のそれぞれは撮像装置の一部を捕捉する請求項３７記載の媒体。
39. 撮像装置の一部はプローブの先端を含んでいる請求項３８記載の媒体。
40. 情景の第１の画像を得るための手段と、
    情景の２つの観察画面間のマッピングにしたがって、情景の第１の画像を情景の第２の画像へ変換する手段とを具備しているシステム。
41. 手術手順中に情景の第１の画像及び第２の画像を得る手段と
    第１及び第２の画像を使用して情景の立体的表示を生成する手段とを具備し、
    撮像装置の位置は異なる視点から第１及び第２の画像を捕捉するように少なくとも部分的に変更されるシステム。
42. メモリと、
    メモリに結合され、情景の２つの観察画面間のマッピングにしたがって、情景の第１の画像を情景の第２の画像へ変換するための１以上のプロセッサとを具備しているデータ処理システム。
43. メモリに結合され、手術手順中に情景の第１の画像及び第２の画像を使用して情景の立体的表示を生成するための１以上のプロセッサを具備し、
    撮像装置の位置及び方位は異なる視点から第１及び第２の画像を捕捉するように少なくとも部分的に変更されるデータ処理システム。
44. 撮像装置と、
    撮像装置の位置を追跡するための位置追跡システムと、
    位置追跡システム及び撮像装置に結合されているコンピュータとを具備し、コンピュータは情景の２つの観察画面間のマッピングにしたがって、撮像装置から得られた情景の第１の画像を情景の第２の画像へ変換するシステム。
45. 撮像装置と、
    撮像装置の位置を追跡するための位置追跡システムと、
    位置追跡システム及び撮像装置に結合されているコンピュータとを具備し、コンピュータは手術手順中に情景の第１の画像と第２の画像を使用して情景の立体的表示を生成し、
    撮像装置の位置及び方位は異なる視点から第１及び第２の画像を捕捉するように少なくとも部分的に変更されるシステム。

Images