JP2021505226A - 処置中の視覚化を支援するためのシステム及び方法 - Google Patents

Abstract

物理的対象の観察を可能にし、対象から分離された少なくともアイテムに関する情報がその上にオーバーレイされるように動作可能なシステム。システムは、観察スクリーンを含む。システムは、対象に関連するアイテムの位置を更に決定できる。

Description

[0001]対象の開示は、処置をプリフォームすることに関し、詳細には、画像空間を現実の又は対象の空間に位置合わせすることに関する。

[0002]選択された処置の間、使用者は、対象に応じた画像データに基づく対象の画像を取得することがある。一般に、画像データは、様々な画像化技法又はシステムを使用して取得されることがあり、画像データは、手術領域から離れて位置決めされるフラットパネルやフラットスクリーン、陰極線管、又は同種のものなどの表示デバイス上に、使用者による観察のために、再構築されることがある。手術領域は、選択された処置を実行するために、人間の患者などの対象に関連することがある。例えば、副鼻腔処置は、実行されることがあり、対象の副鼻腔の画像は、対象をオーバーレイしない表示デバイス上に表示されることがある。

[0003]処置は、内視鏡を用いてなど、目的領域の又は手術領域の少なくとも一部を直接観察することを更に含むことがある。内視鏡は、鼻、即ち、アクセス可能な洞キャビティの内部などの、カメラを選択した場所に位置決めすることがある。内視鏡は、選択された解剖学的エリアの内部の様々な場所における動き及び／又は視野について制限された範囲を有することがある。

本願発明の一実施例は、例えば、処置中の視覚化を支援するためのシステム及び方法に関する。

[0004]この項は、本開示の一般的な概要を提供し、それの完全な範囲やそれの特徴の全てについての包括的な開示ではない。
[0005]様々な実施形態では、器具は、処置を実行するために対象の一部に関連して位置決めされることがある。対象は、生きている対象又は生きていない対象を含むことがある。様々な実施形態では、生きている対象は、人間を含むことがあり、実行される処置は、鼻腔及び／又は洞キャビティに対して実行されることがある。例えば、バルーン副鼻腔拡張処置は、ミネソタ州に事業所を有するＭｅｄｔｒｏｎｉｃ，Ｉｎｃ．によって販売されるＮｕＶｅｎｔ（登録商標）ＥＭバルーン副鼻腔拡張システムを用いて実行されるものなど、起こることがある。理解されることは、副鼻腔の拡張が、電磁（ＥＭ）ナビゲート器具を用いて実行される必要はないが、膨張可能な器具を用いた副鼻腔の拡張が、ＮｕＶｅｎｔ（登録商標）副鼻腔拡張手術などの様々な膨張及び拡大機能を含む器具を含むことがあるということである。

[0006]様々な実施形態では、処置は、対象の手術領域で起こることがある。手術領域は、特定の又は限定されたエリア又は体積であることがあり、それに対して処置が実行され、又はそれに関連して処置が実行される。手術領域は、目的領域と呼ばれることもあり、或いは、その中に目的領域を含むこともある。様々な実施形態では、例えば、人間の対象の副鼻腔は、デブリードマン、拡張、又は他の適切な処置を実行するためなど、手術されることがある。処置は、手術領域の内部で起こることがあり、その間、目的領域は、患者の頭全体又は頭蓋を含むことがある。

[0007]副鼻腔に対して実行される手術は、一般に低侵襲性又は非開放性の処置であることがある。低侵襲性の処置では、鼻腔などの様々な自然の体腔は、副鼻腔にアクセスするために使用される。副鼻腔へのアクセスのとき、従って、器具の動作端部は、使用者にとって見えないことがある。

[0008]処置を実行するために使用されている器具は、追跡システムによって追跡されるように構成され又は動作できる追跡デバイスを含むことがある。様々な実施形態では、追跡システムは、観察又は記録することなどによって、器具上の追跡デバイスを追跡する視覚的又は光学的追跡システムを含むことがある。ナビゲーション又は追跡システムは、プロセッサシステムを含んでおり、次いで追跡デバイスに関連する動作端部の位置を決定することがあり、それは動作端部と追跡デバイスとの間の知られている及び／又は所定の幾何学的関係に基づく。

[0009]追跡システムは、表示デバイスに関連して位置決めされた１つ又は複数のカメラ又は光学追跡デバイスを含むことがある。表示デバイスは、透明又は半透明の観察スクリーンを含むことがある。観察スクリーンは、使用者が観察スクリーンを通して対象を観察するのを可能にするなど、使用者に関連して位置決めされることがある。観察スクリーンは、観察スクリーンが使用者の視野の全部又は相当な部分を充足するように、使用者の目の比較的近くで、使用者が観察スクリーンを着用するのを可能にする構造に実装されることがある。表示される画像は、その後に観察スクリーン上に表示されることがあり、使用者が画像を観察するのを可能にし、同時に同じく対象を観察する。器具の追跡された場所、又は、動作端部などの、それの少なくとも一部は、観察スクリーンを使用する表示器上に表示されることもある。従って、カメラは、使用者によって着用されるデバイスに関連付けられることがあり、手術領域及び／又は手術領域内の目的領域に対する器具の場所の決定を可能にし、また、器具の追跡された場所を表示することによる、画像に重ね合わせること、又は、対象についての使用者の観察を増強すること、を可能にする。

[0010]システムは、観察部分若しくはシステム及び追跡部分を含むことがある。観察部分は、現実のオブジェクト（例えば、対象）及び表示された画像を観察することがある。観察システムは、従って、拡張現実観察システムであることがある。それに加えて又はそれに代えて、観察システムは、対象から分離され又は離隔された観察スクリーン又はモニタを含むことがある。加えて、画像は、内視鏡などの選択された画像化システムでリアルタイムにキャプチャされることがある。内視鏡は、鼻腔及び／又は副鼻腔内などの対象に関連して位置決めされることがあり、内視鏡で取得された画像は、手術処置前に取得される対象の観察と同時に表示されることがある。従って、観察システムは、リアルタイム画像及び事前取得画像を表示及び観察するために使用されることがある。両タイプの画像は、本明細書で更に説明されるものなどの様々な技法を用いて、対象に位置合わせされることがある。

[0011]適用性の更なるエリアは、本明細書で提供される説明から明らかになるであろう。この概要での説明及び特定の例は、単なる例証目的を意図しており、本開示の範囲を限定することを意図していない。

[0012]本明細書で説明される図面は、全ての可能な実装ではなくて選択された実施形態についての単なる例証目的のためであり、本開示の範囲を限定することを意図していない。

[0013]使用者及び観察システムの環境図である。 [0014]様々な実施形態に係る器具を含む目的領域の現実の／物理的な世界の図である。 [0015]様々な実施形態に係る器具を含む目的領域の現実の／物理的な世界の図である。 [0016]様々な実施形態に係る現実の／物理的な世界及び少なくとも１つの表示されたアイコンを観察する使用者の視点の図である。 [0017]様々な実施形態に係る現実の／物理的な世界及び少なくとも１つの表示されたアイコンを観察する使用者の視点の図である。 [0018]様々な実施形態に係る表示デバイスによる少なくとも１つの表示されたアイコン及びリアルタイム画像を観察する使用者の視点の表示図である。 [0019]表示システムの作動を例証するフローチャート図である。

[0020]対応する参照番号は、図面の幾つかの図を通して対応する部分を示す。
[0021]例示の実施形態は、ここで添付の図面を参照してより完全に説明されるであろう。

[0022]図１を参照すると、オペレーティングシアタ即ち手術室１０では、外科医などの使用者１２は、寝ているか又は患者用ベッドやサポート１５によって支持され得る患者１４などの対象に対して処置を実行することができる。患者１４は、患者縦軸１４ｌを画定することがある。処置の実行を支援するために、使用者１２は、画像化システム１６を使用して、患者１４の画像データを取得し、選択されたシステムが処置の実行を支援するための画像を生成又は作成するのを可能にすることができる。画像化システム１６は、コンピュータ断層撮影（ＣＴ）画像化装置、Ｍｅｄｔｒｏｎｉｃ，Ｉｎｃ．によって販売されるＯ−Ａｒｍ（登録商標）画像化システム、及び／又は、イタリア国ヴェローナに事業所を有するＮｅｗＴｏｍによって販売されるＮｅｗＴｏｍ（登録商標）ＶＧｉ ｅｖｏコーンビーム画像化装置などの任意の適切な画像化システムを含むことがある。

[0023]モデル（３次元（３Ｄ）画像など）は、画像データを使用して生成される場合がある。生成されたモデルは、画像１８として表示デバイス２０上に表示されることがある。表示デバイス１８に加えて又はその代わりに、投影画像（例えば、２Ｄ Ｘ線投影）は、画像化システム１６でキャプチャされたとき、表示されることがある。その上、拡張観察スクリーン（ＡＶ）又は表示デバイス２１は、使用者１２に提供され又は使用者によって使用されることがある。本明細書で更に議論されるように、ＡＶ２１は、使用者１２によって着用されることがある。更に、本明細書で議論されるように、ＡＶ２１は、統合システムである観察システム、又は、様々なアイテムを観察するためのシステムの一部、と呼ばれることもある。

[0024]表示デバイス２０又は拡張観察スクリーン２１のいずれか又は双方は、入力デバイス２４（入力デバイスは、キーボード、マウス、口頭入力及びカメラからの入力のためのマイクロフォンを含むことがある）と、選択されたタイプの非一時的及び／又は一時的メモリ２７と共に処理システム２２に組み込まれた１つ又は複数のプロセッサ又はマイクロプロセッサを含む場合があるプロセッサ２６と、を含むプロセッサシステム２２の一部である及び／又はそれに連結される場合がある。連結部２８は、表示デバイス２０の駆動が画像１８を表示又は例証するのを可能にするために、データ通信用に、プロセッサ２６と表示デバイス２０又は拡張観察スクリーン２１との間に設けられる場合がある。

[0025]画像化システム１６は、上で議論されたように、米国コロラド州ルイビルに事業所を有するＭｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ，Ｉｎｃ．によって販売されるＯ−Ａｒｍ（登録商標）画像化システムを含む場合がある。画像化システム１６は、米国特許第８，２３８，６３１号、米国特許第９，４１１，０５７号、及び、米国特許第９，８０７，８６０号（参照によって本明細書に全て組み込まれる）で説明された画像化システムなどの、Ｏ−Ａｒｍ（登録商標）画像化システムや他の適切な画像化システムを含んでおり、選択された処置の間に使用されることがある。画像化システム１６は、ＡＶ２１の使用前又は使用中に患者１４の画像データを取得するために使用されることがある。

[0026]画像化システム１６は、例えば、Ｏ−Ａｒｍ（登録商標）画像化システムを含むとき、制御器及び／又は制御システム３２を含む移動式カート３０を含むことがある。制御システムは、プロセッサ３３ａ及びメモリ３３ｂ（例えば、非一時的メモリ）を含むことがある。メモリ３３ｂは、画像化システム１６の様々な部分を含む、画像化システムを制御するために、プロセッサ３３ａによって実行される様々な命令を含むことがある。

[0027]画像化ガントリ３４は、ソースユニット３６及び検出器３８が位置決めされており、移動式カート３０に連結されることがある。ガントリ３４は、Ｏ形状又はトロイド形状であることがあり、ガントリ３４は、実質上環状であり、体積を形成する壁を含み、ソースユニット３６及び検出器３８が移動することがある。本明細書で更に議論されるように、移動式カート３０は、１つのオペレーティングシアタから別のオペレーティングシアタに移動する場合があり、ガントリ３４は、カート３０に関連して移動する場合がある。これは、画像化システム１６が移動式であって対象１４に関連して移動可能であるのを可能にし、従って、固定式の画像化システム専用の設備投資や空間を必要とせずに、複数の場所で複数の処置で使用されるのを可能にする。制御システムは、汎用プロセッサ又は特定用途プロセッサであり得るプロセッサ３３ａと、メモリシステム３３ｂ（例えば、回転ディスク又はソリッドステート不揮発性メモリなどの非一時的メモリ）と、を含むことがある。本明細書で議論されるように、例えば、メモリシステムは、プロセッサによって実行されるべき命令を含むことがあり、機能を実行して、結果を決定する。

[0028]ソースユニット３６は、Ｘ線エミッタであることがあり、Ｘ線エミッタは検出器３８によって検出されるように、患者１４を介してＸ線を放出できる。当業者によって理解されるように、ソース３６によって放出されたＸ線は、円錐状に放出されて検出器３８によって検出することができる。ソース／検出器ユニット３６／３８は、ガントリ３４の内部で概ね正反対に対向する。検出器３８は、ガントリ３４の内部で患者１４のまわりを３６０度の動きで移動でき、ソース３６は、検出器３８に対して概ね１８０度対向したままである（固定式の内側ガントリ又は移動システムなどと共に）。また、ガントリ３４は、患者用サポート又はテーブル１５に配置することのできる対象１４に関連して、図１に例証されたように、全体的に矢印４０の方向に、アイソメトリックに移動できる。また、ガントリ３４は、矢印４２によって例証されたように患者１４に関連して傾斜でき、患者１４の縦軸１４Ｌ及びカート３０に関連して線４４に沿って縦方向に移動でき、カート３０に関連して全体的に線４６に沿って上及び下に並びに患者１４に対して横断的に移動でき、患者１４に関連するソース／検出器３６／３８の位置決めを可能にする。画像化デバイス１６は、正確に制御することができ、患者１４に関連してソース／検出器３６／３８を移動させて、患者１４の正確な画像データを生成する。画像化デバイス１６は、有線又は無線の連結部、或いは、画像化システム１６からプロセッサ２６への物理的な媒体転送を含むことのできる連結部５０を介してプロセッサ２６と連結することができる。こうして、画像化システム１６で収集された画像データは、ナビゲーション、表示、再構成等々のために処理システム２２に転送することができる。

[0029]ソース３６は、多出力のＸ線ソースなどの任意の適切なＸ線ソースであることがある。しかしながら、理解されることは、画像化システム１６が、磁気共鳴画像化（ＭＲＩ）システム、ＣアームＸ線画像化システム、コンピュータ断層撮影（ＣＴ）画像化システム等々などの任意の適切な画像化システムであり得るということである。しかしながら、選択された画像化システムで取得された画像データ及び／又は画像は、表示デバイス２０、２１のうちの１つ又は複数に表示されることがある。

[0030]更に理解されることは、画像化システム１６が、患者１４に対して処置を実行する前に、画像データ及び／又は画像を取得するために動作され得るということである。例えば、画像は、患者１４のための処置を診断及び／又は計画するために、取得されて研究されることがある。こうして、使用者１２は、患者１４への処置を実行し、処置が実行されるのと同じ部屋で、画像化システム１６を使用する必要がない。

[0031]様々な実施形態によれば、画像化システム１６は、画像化デバイス１６及び／又は他の部分の場所を追跡するために動作できる、本明細書で議論されるような様々な部分を含む、追跡システム及びナビゲーションシステムと共に使用される場合がある。追跡システムは、光学ローカライザ６０及び電磁ローカライザ６２のいずれか又は双方を含むローカライザ及び／又はデジタイザを含むことがあり、患者１４に関連するナビゲーションドメイン内で、フィールドを生成するために、並びに／或いは、信号を受信及び／又は送信するために、使用される場合がある。患者１４に関連するナビゲートされた空間又はナビゲーションドメインは、画像１８に位置合わせされる場合がある。相関関係は、当技術分野で理解されるように、ナビゲーションドメイン内で規定されるナビゲーション空間と、画像１８によって規定される画像空間と、の位置合わせを可能にすることである。

[0032]様々な実施形態では、患者追跡機又は動的基準フレーム６４は、患者１４に連結される場合があり、画像１８への患者１４の位置合わせの動的追跡及び保全を可能にする。患者追跡デバイス又は動的位置合わせデバイス６４は、画像が位置合わせされること、次いで、選択された処置のために使用されることを可能にする。様々な実施形態では、ローカライザ６０、６２は、患者追跡機を追跡することがある。更なる通信ライン７４は、ローカライザ６０、６２、画像化システム１６、インターフェースシステム７６、及び、ナビゲーションプロセッサシステムであり得るプロセッサシステム２２などの様々な機能間に提供されることがある。様々な実施形態では、通信システム７４は、有線、無線であり、又は、物理的媒体転送システム（例えば、メモリチップへの読み取り／書き込み）を使用することがある。

[0033]更に、ガントリ３４は、光学ローカライザ６０又は電磁ローカライザ６２のうちの１つ又は複数などで追跡される光学追跡デバイス８２又は電磁追跡デバイス８４などの追跡デバイスを含む場合がある。従って、器具６６が画像１８に関連する患者１４の初期位置合わせ、自動位置合わせ、又は、継続位置合わせを可能にすることができるように、画像化デバイス１６は、患者１４に関連して追跡することができる。位置合わせやナビゲートされた処置は、上で組み込まれた米国特許第８，２３８，６３１号で議論されており、参照によって本明細書に組み込まれる。

[0034]当業者が理解するであろうことは、器具６６が、心室又は血管ステント、脊椎インプラント、神経学的ステント又は刺激器、アブレーションデバイス、拡張器、又は同種のものなどの任意の適切な器具であり得る、ということである。器具６６は、介入器具である場合があり、或いは、埋込可能デバイスを含む場合があり、又は、埋込可能デバイスである場合がある。器具６６を追跡することは、患者１４の内部の器具６６を直接観察することなく、位置合わせ画像１８を使用して、患者１４に関連する器具６６の場所（ｘ、ｙ、ｚ位置及び配向を含む）を観察することを可能にする。

[0035]図１を継続的に参照し、図２Ａを補助的に参照すると、患者１４は、患者追跡機６４に加えて及び／又はそれに代えて、１つ又は複数の患者マーカ又は追跡機１００（本明細書では１００及び小文字で引用される）を含むことがある。患者追跡機１００は、Ｘ線又はＭＲＩなどの様々な画像化システムで不透明又は画像化可能であるなどの様々な特徴を含むことがある。様々な実施形態に係る追跡機１００は、様々な実施形態に係る画像化システム１６で取得される画像データ内で概して可視的であるか又はキャプチャされることがある。こうして、患者マーカ１００は、対象１４の画像又は画像データにおいて識別可能であることがある。

[0036]様々な実施形態では、患者マーカ１００は、プロセッサシステム２６及び／又は３３ａ、或いは、任意の他の適切な画像化プロセッサ又はプロセッサシステムによって実質上自動的に識別されることがある。マーカ１００は、画像又は画像データにおいて識別され得る選択された及び／又は一意の幾何形状を含むことがある。様々な技法は、選択された画像又は画像データ内のマーカ１００をセグメント化して識別するために使用されることがある。しかしながら、同じく理解されることは、使用者１２が、画像内の部分を選択すること、及び、その部分を、使用者入力２４の１つ又は複数を用いて、マーカ１００として識別すること、などによって、画像データ内のマーカを識別し得るということである。

[0037]マーカ１００は、患者１４に対して任意の適切なやり方で位置決めされることがある。例えば、マーカ１００は、自己接着バッキング、マーカ１００及び／又は患者１４に加えられた適切な接着剤又は接着材料、或いは、他の適切な機構などによって患者１４に接着されることがある。更に又はそれに加えて、マーカ１００（例えば、マーカ１００ｄ及び１００ｅ）は、患者１４の骨構造に固定されることがある。マーカ１００は、ねじとして形成又は提供されることがあり、或いは、それらがねじ部分を有することがあり、ねじ部分はそれらが患者１４の頭蓋などの骨構造に捩じ込まれて固定式に位置決めされることを可能にする。

[0038]連結技法にもかかわらず、マーカ１００は、選択された時間に患者１４に位置決めされる。一般に、マーカ１００は、画像化システム１６で患者１４の画像データ又は画像を取得するなど、画像化の前に患者１４に位置決めされる。従って、画像システム１６が患者１４の画像を取得するために動作すると、マーカ１００は、患者１４に位置決めされ、任意の取得された画像データ又は画像に現れるであろう。

[0039]マーカ１００は、従って基準点として使用されることがある。理解されることは、患者１４が鼻先、目尻、耳たぶ又は同種のものなどの様々な物理的及び解剖学的な基準点を含むこともあるということである。それにもかかわらず、基準点は、マーカ１００及び／又は解剖学的な基準点によって患者１４に提供されようと、画像化システム１６で取得された画像の位置合わせのために使用されることがある。当業者によって理解されることは、患者１４に対して取得される画像が画像空間を規定し得るということである。画像空間は、手術若しくは処置の領域（ＲＯ）、及び／又は、目的領域（ＲＯＩ）と呼ばれるなどのＲＯよりも大きいが少なくともＲＯを含むエリア、であることがある。理解されることは、処置が目的領域の特定エリアで発生し得るということである。それにもかかわらず、画像データ又は空間の座標は、物理的又は現実の空間で患者１４に相関付け又は位置合わせされることがある。マーカ１００は、患者１４及び／又は患者１４内の若しくは患者１４に関連する手術領域によって規定されるように、患者及び／又はナビゲーション空間に画像空間を位置合わせするために使用されることがある。

[0040]器具６６は、上で述べられたように、任意の適切な器具であることがある。器具６６は、鼻腔１１２などを通して患者１４の一部の内部に、また、前頭洞などの患者１４の１つ又は複数の副鼻腔の中に、位置決めされ得る遠位端部１１０を含む拡張器器具を含むことがある。器具６６は、近位端部１１４を更に含むことがあり、近位端部１１４には、膨張システム（図示せず）が連結され得るコネクタ又はニップルなどのコネクタ１１６が備えられる。コネクタ１１６は、材料が、ハンドル１２０などの器具６６を通過して、器具６６の遠位端部１１０で又はその近くで、バルーン又は他の拡大可能部分１２２の中に入るのを可能にすることがある。バルーン１２２のインフレーションは、当業者によって一般に理解されるように、副鼻腔の一部を拡張又は拡大させるために、拡大することがある。

[0041]様々な実施形態では、使用者１２は、手１３０などで器具６６を把持することがある。使用者１２は、次いで、器具の遠位端部１１０を上顎洞１３４などの副鼻腔の中に移動させるように、器具６６を患者１４の内部などの患者１４に関連して移動させることがある。しかしながら、理解されることは、様々な構成に係る器具６６を含む様々な器具が、前頭洞１３６及び／又は蝶形骨洞１３８などの患者１４の他の副鼻腔の１つ又は複数の部分にアクセスするために使用されることもあるということである。

[0042]器具６６は、追跡デバイス１４６を更に含むことがある。追跡デバイス１４６は、細長いハンドル部分１２０などの器具６６に取り付けられることがある。一般に、追跡デバイス１４６は、使用者１２によるハンドル１２０の動きが、使用者の手１３０などを用いて、ハンドル１２０及び追跡デバイス１４６を動かすように、ハンドル１２０に関連して実質上固定される。様々な実施形態によれば、追跡デバイス１４６は、同じく器具６６の遠位端部１１０に関連して空間にしっかりと固定される。従って、追跡デバイス１４６の位置（例えば、場所及び／又は配向）を知ることは、遠位端部１１０の位置を知るのを可能にするであろう。更に、遠位端部１１０は、ハンドル１２０の軸１２０ａに関連して角度１５０である軸１１０ａに沿って延びることがある。従って、追跡デバイス１４６は、ハンドル１２０に取り付けられた追跡デバイス１４６に関連する遠位先端１１０の位置を決定するために、追跡されるべき遠位端部１１０に関連して、位置決めされて、知られている又は所定の位置及び幾何形状を有することがある。

[0043]使用者１２によって使用され得る器具６６に加えて、追加の器具が、対象１４に関連して使用されることもある。例えば、図２Ｂに例証されたように、使用者１２は、画像化システム１３７を含むか又は動作させることがある。画像化システム１３７は、カメラレンズ又はカメラなどの遠位画像キャプチャ部分１３９を含むことがある。画像化器具１３７は、一般に、Ｏｌｙｍｐｕｓ Ａｍｅｒｉｃａによって販売されるＥＶＩＳ ＥＸＥＲＡ ＩＩＩ内視鏡などの内視鏡であると理解されることがある。内視鏡１３７は、様々な一般に知られている技法及び実施形態に従って、使用者１２によって対象１４に関連して位置決めされることがある。画像収集部分１３９は、洞キャビティ１３４を含む対象１４の内部部分又は鼻腔１１２を含む他の適切な部分など、対象１４の様々な部分を画像化することがある。本明細書で更に議論されるように、内視鏡１３７は、対象１４の内部の器具６６の位置決め中など、実質上リアルタイムであり得る画像をキャプチャすることがある。内視鏡１３７でキャプチャされたリアルタイム画像は、表示デバイス２０及び／又はＡＶ２１などの様々な表示デバイス又は観察システム上に表示されることがある。従って、内視鏡１３７は、一般に知られている技法に従って、画像化部分又は端部１３９で画像をキャプチャして画像を表示するために、使用されることがある。画像は、表示デバイス２０及び／又はＡＶ２１を含む、選択された表示器又は観察システムに表示するために、無線で又は有線伝送システムなどの様々なシステムを介して、処理システム２２に送信されることがある。内視鏡１３７からの信号は、デジタル信号及び／又はアナログ信号であることがあり、また、内視鏡から直接及び／又はインターフェースシステム７６を介して送信されることがある。とにかく、内視鏡１３７の画像化部分１３９で取得された画像は、使用者１２及び／又は任意の他の適切な個人によって観察されることがある。更に、画像は、様々な目的のために、キャプチャされて記録されることがある。

[0044]内視鏡１３７は、上で議論されたように、対象１４の画像を取得するために使用されることがある。画像の取得又は処置の実行を支援するために、内視鏡の位置、特に、取得される画像の位置は、１つ又は複数の追跡デバイスによって決定されることがある。例えば、内視鏡追跡デバイス１４７は、上で議論されたように、器具６６に連結された追跡デバイス１４６と同様に、内視鏡１３７に組み込まれることがある。追跡デバイス１４７は、追跡デバイス１４６のマーカ１４６ａと同様に、１つ又は複数の観察可能マーカ又は部分１４７ａを含むことがある。本明細書で議論されるように、従って、追跡デバイス１４７は、本明細書で更に議論されるような選択された追跡システムによって追跡されるべきＡＶ２１で観察又は画像化されることがある。追跡デバイス１４７は、患者１４の内部の画像の場所を決定するのを支援するために、画像をキャプチャする端部１３９の位置を決定するために使用されることがある。内視鏡１３７は、使用者１２によって直接観察可能ではない洞キャビティ１３４内などの対象１４の内部に位置決めされることがある。追加及び／又は代替の追跡デバイスは、画像キャプチャ端部１３９で又はその近くで、内視鏡１３７の中に位置決め又は組込みされ得る端部追跡デバイス１４３を含むことがある。追跡デバイス１４３は、上で議論された追跡デバイス６４と同様であることがある。追跡デバイス１４３は、光学追跡デバイス、ＥＭ追跡デバイス、超音波追跡デバイス、又は、他の適切な追跡デバイスであることがある。本明細書で更に議論されるように、追跡デバイス１４３や患者又は対象追跡機６４などでの器具１３７の位置合わせは、対象１４に関連する内視鏡１３７の位置合わせ及び位置合わせを維持するのを支援するために、使用されることがある。

[0045]使用者１２は、処置中の使用のために、代替のもの又は拡張観察スクリーン若しくは観察システム２１を有する及び／又は使用することもある。ＡＶ２１は、少なくとも１つの観察スクリーン、一般には、第１の観察スクリーン１６０及び第２の観察スクリーン１６２を含む２つの観察スクリーン、を含む適切なデバイスであることがある。観察スクリーンは、ＡＶ２１が使用者１２によって眼鏡と同様のやり方で着用されるのを可能にするために、１つ又は複数のテンプル部材１６８を有し得るフレーム部材１６６に固定することができる。従って、観察スクリーン１６０、１６２は、使用者１２の両目１７２及び１７４のそれぞれの概ね正面に位置決めされることがある。このようにして、画像は、使用者１２が画像を観察するのを可能にするために、観察スクリーン１６０、１６２の一方又は双方に表示されることがある。ＡＶ２１は、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎによって販売されるＨｏｌｏｌｅｎｓ（登録商標）着用型コンピュータ周辺機器、カリフォルニア州サンフランシスコに事業所を有するＯｓｔｅｒｈｏｕｔ Ｄｅｓｉｇｎ Ｇｒｏｕｐによって販売されるＲ−９Ｓｍａｒｔｇｌａｓｓｅｓ着用型コンピュータ周辺機器、及び／又は、カリフォルニア州ロサンゼルスに事業所を有するＤＡＱＲＩによって販売されるＤＡＱＲＩ Ｓｍａｒｔ Ｇｌａｓｓｅｓ（登録商標）着用型コンピュータ周辺機器、などの１つ又は複数の様々なデバイス及びシステムを含むことがある。

[0046]様々な実施形態では、観察スクリーン１６０、１６２は、画像（例えば、アイコンやレンダリング）を表示する部分を除いて、実質上透明であることもある。従って、使用者１２は、患者１４と、観察スクリーン１６０、１６２によって表示される任意の画像と、を観察することがある。その上、選択された画像を表示する２つの観察スクリーン１６０、１６２に起因して、表示器は患者１４に関連する使用者１２によって実質上立体的及び／又は３次元であると知覚されることがある。本明細書で更に議論されるように、従って、使用者１２は、処置を実行するときに、患者１４及び画像を観察することがある。

[0047]ＡＶ２１は、第１のカメラ１８０及び第２のカメラ１８２などの１つ又は複数のカメラを含むこともある。２つのカメラ１８０、１８２は、患者１４の頭などの目的領域を観察するために使用されることがある。図２Ａに例証されたように、使用者１２は、患者１４の副鼻腔などの手術領域で処置を実行するときに、患者の頭部分及び首部分を実質上観察することがある。従って、本明細書で更に議論されるように、カメラ１８０、１８２は、様々な目的のために患者１４を観察することもある。その上、カメラは、器具６６の追跡デバイス１４６及び／又はマーカ１００などの目的領域で他のオブジェクトを観察することがある。追跡デバイス１４６は、ＡＶ２１による追跡デバイス１４６の斜視又は図を決定するために使用されるべきカメラ１８０、１８２によって観察可能である１つ又は複数の観察可能マーカ又は部分１４６ａを含むことがある。

[0048]本明細書で議論されるように、２つのカメラ１８０、１８２の使用は、追跡デバイス１４６及び／又はマーカ１００の場所を観察して決定するために本明細書で開示されて議論されているが、当業者によって理解されることは、カメラ１８０、１８２のうちの１つだけなどの１つのカメラだけが追跡に必要とされ得るということである。追跡デバイス１４６、追跡デバイス１４７、及び／又は、マーカ１００についての様々な特徴（例えば、形状、画像等々）に基づいて、カメラ１８０などの単一のカメラは、カメラ１８０に関連して及び／又は他の追跡可能なアイテムに関連して場所（即ち、ｘ座標、ｙ座標、ｚ座標及び配向）を決定するために使用されることがある。例えば、カメラ１８０は、マーカ１００に関連する追跡デバイス１４６（及び、従って、器具６６）の相対的な場所を決定するために使用されることがある。更に、カメラ１８０は、ＡＶ２１から分離された使用者１２の頭の上など、使用者１２に関連して任意の場所に配置されることがある。カメラ１８０は、しかしながら、観察スクリーン１６０、１６２の１つ又は複数への様々な画像の表示のために、依然としてプロセッサシステム２２と通信したままであることがある。

[0049]カメラ１８０、１８２を含むＡＶ２１は、従って、器具６６の追跡デバイス１４６と組み合わせて、患者１４のマーカ１００を観察することがある。患者１４のマーカ１００は、カメラ１８０、１８２によって観察されることがあり、また、使用者１２によって、及び／又は、プロセッサ２６で命令を実行することによるなどプロセッサシステムへの命令を実行することによって実質上自動的に、識別されることがある。

[0050]上で議論されたように、プロセッサシステム２２は、画像内のマーカ１００を識別するのを支援するために、メモリ２７にセーブされたものなどの命令にアクセスすることがある。カメラ１８０、１８２は、患者１４の頭を含む目的領域を含んでマーカ１００をも観察する視野を有することがある。命令は、選択されたソフトウェアに含まれることがあり、画像のセグメント化やマーカ１００の選択された形状、密度、色、又は同種のものを識別することなどによって、観察画像内のマーカ１００を識別することがある。

[0051]いったんマーカ１００が識別されると、画像化システム１４で取得される画像は、ＡＶ２１のカメラ１８０、１８２の視野に、マーカ１００をそれの中に含む画像を位置合わせするために、プロセッサシステム２２などで位置合わせされることがある。位置合わせは、画像デバイス１６によって取得された画像データ内の識別されたマーカ１００と、ＡＶ２１のカメラ１８０、１８２で取得された視野画像内のマーカ１００と、をマッチングさせることによって起こることがある。マーカ１００は、一般に、画像化システム１６による画像データの取得中、及び、処置中のカメラ１８０、１８２の視野内にあるときに、患者について同じ位置に維持される。位置合わせは、内視鏡１３７上の追跡デバイス１４３と、患者追跡機又は動的基準フレーム６４と、に起因して起こることもある。上で議論されたように、位置合わせは、参照によって本明細書に組み込まれる米国特許第８，２３８，６３１号に開示されたものなどの様々な位置合わせ技法に起因して起こることもある。位置合わせは、追跡デバイス１４３（内視鏡１３７に関連付けされる）及び／又は患者追跡機６４を追跡することによって行われることがある。更に、ＡＶ２１は、ＡＶ２１が同一又は類似の追跡システム及び／又は対象若しくは動的基準フレーム６４に関連する基準フレームで追跡されるのを可能にし得る追跡デバイス１４９、及び／又は、内視鏡１３７上の追跡機１４３、を含むことがある。こうして、ＡＶ２１は、内視鏡１３７及び／又は対象１４に関連して位置合わせされることがある。本明細書で更に議論されるように、内視鏡１３７で取得されたこの画像は、関連して表示されるために、又は、使用者１２の観察に関連して使用者１２による観察のために、使用されることがある。

[0052]上で議論されたように、図２Ａ及び図２Ｂを参照すると、マーカ１００が患者１４に連結される画像化システム１６で取得される画像データ及び／又は画像は、マーカ１００のデータを含むであろう。マーカ１００は、上で議論されたような画像化システム１６で取得される画像データ又は画像において識別されることがある。マーカ１００は、ＡＶ２１に関連付けされたカメラ１８０、１８２によって観察されることもある。カメラ１８０、１８２は、解剖学的な基準マーカを識別する又は識別するのを支援するために患者１４を観察することもある。それにもかかわらず、画像化システム１８で取得された画像データで識別されたマーカ１００は、カメラ１８０、１８２で取得される画像でも識別されることもある。当業者によって理解されることは、カメラ１８０、１８２で取得される画像がカラー画像、赤外光画像、又は同種のものなどの任意の適切なタイプの画像であり得るということである。それにもかかわらず、画像化システム１６で取得された画像データで識別されるマーカ１００のマッチングは、カメラ１８０、１８２で観察されたマーカの識別された場所にマッチングされ、ＡＶ２１によって観察された空間又は視野を、画像化システム１６で取得された画像の画像空間に、位置合わせすることがある。本明細書で更に議論されるように、従って、画像化システム１６で取得された画像又は画像の一部は、患者１４に重ね合わせられているように見えるように、観察スクリーン１６０、１６２で表示されることがある。

[0053]対象１４は、内視鏡１３７の対象追跡機６４及び追跡機１４３のために、内視鏡１３７で取得された現在取得された画像又はリアルタイム画像に関連して位置合わせされることもある。位置合わせは、基準マーカ１００ｄ及び／又は他の基準特徴などを用いて、対象１４に対して行われることがある。こうして、内視鏡１３７で取得されたリアルタイム画像は、事前取得画像に位置合わせされることもある。こうして、事前取得画像は、カメラ１８０、１８２などを用いて器具６６に、及び／又は、ＡＶ２１追跡機１４９を介してＡＶ２１に、位置合わせされることがある。こうして、内視鏡１３７で取得された画像は、対象１４の事前取得画像に位置合わせされ、ＡＶ２１などでの使用者１２による観察のためになることがある。

[0054]使用者１２は、図３Ａ及び図３Ｂに例証されたように、ＡＶ２１を介して対象１４を観察することがある。使用者１２は、図３Ａ及び図３Ｂに破線で例証されたように、視野２１ｆを観察又は有することがある。視野２１ｆは、対象１４を観察したときのＡＶ２１を介した使用者１２による眺め、又は、ＡＶ２１を介した任意のエリア、を表すことがある。こうして、使用者１２は、現実の又は物理的な対象１４を観察することがあり、眺めは、ＡＶ２１によって表示される図式表現（本明細書ではアイコンとも呼ばれる）によって増強されることもある。アイコン又は図式表現は、ＡＶ２１を介して視野を観察するときに、使用者１２による観察のために、視野２１ｆに表示されることがある。

[0055]アイコンに加えて、本明細書で更に議論されるように、追加の画像又は画像エリア１５３は、使用者１２によって観察されるべきＡＶ視野２１ｆ内に表示されることがある。補足の観察エリア１５３は、使用者１２による使用又は観察のための様々な画像又は情報を表示するために使用されることがある。例えば、内視鏡１３７によって取得されたリアルタイム画像は、補助又は拡張の観察エリア１５３に表示されることがある。こうして、使用者１２は、対象１４と、本明細書で更に議論されるような様々な図式表現と、補助若しくは追加の観察エリア１５３内の追加画像（例えば、内視鏡画像）と、を観察するために、視野２１ｆで対象１４を観察することがある。使用者１２は、事前取得画像、内視鏡によるリアルタイム画像、又は、他の適切な情報などの補助表示エリア１５３に表示されるべき情報を選択式に選択又は選ぶこともある。

[0056]図３Ａ及び図３Ｂを追加的に参照すると、例えば、上顎洞１３４などの副鼻腔は、上顎洞アイコン１３４’として表示されることがある。図３Ａは、ＡＶ２１を介して、患者１４と、観察スクリーン１６０、１６２で表示される様々な部分と、を見ている使用者１２の視点の例証である。上で議論されたように、従って、上顎洞アイコン１３４’は、使用者１２が患者１４を覗き込んで上顎洞１３４を観察できるかのように、使用者１２による観察のために表示されることがある。上顎アイコン１３４’は、画像データのグラフィックレンダリング、又は、上顎洞を表すための人工的に作成されたアイコン、であることがある。

[0057]前頭洞１３６や蝶形骨洞１３８のうちの１つ又は複数など、患者１４の解剖学的構造の他の部分を例証するために選択されることもある。使用者１２は、患者１４及び／又は患者１４に取り付けられたマーカ１００などの任意の現実世界のオブジェクトを観察することもある。使用者は、患者用サポート１５などの他の現実世界の部分を観察することもある。従って、使用者１２は、観察スクリーン１６０、１６２の透明部分を通して観察することによって、観察スクリーン１６０、１６２及び現実世界のアイテムのために、患者１４に重ね合わされた両特徴を観察することがある。

[0058]更に、カメラ１８０、１８２は、追跡デバイス１４６を観察することがある。追跡デバイス１４６を観察することによって、カメラ１８０、１８２は、マーカ１００に関連する追跡デバイス１４６の位置を決定することがある。マーカ１００の位置は、患者１４の場所を識別するために患者１４に配置される。マーカ１００の１つ又は複数に関連する器具追跡デバイス１４６の知られている位置は、追跡デバイス１４６及び患者１４に関連する器具６６の一部の決定を可能にする。上で議論されたように、器具の遠位端部１１０は、追跡デバイス１４６に関連して知られている固定の位置にあることがある。追跡デバイス１４６に関連する遠位端部１１０の知られている固定の相対位置（例えば、幾何形状）は、従って、メモリ２７又は他の適切なメモリに記憶されることがある。

[0059]追跡デバイス１４６の追跡された場所は、カメラ１８０、１８２の１つ又は複数による追跡デバイスの「観察」に基づいて追跡デバイス１４６の場所を三角測量することによって決定されることがある。プロセッサシステム２２は、当技術分野で一般に理解されているように、命令を実行し、次いで、遠位端部１１０及び／又は１２２の膨張可能部材などの作業部分の位置を決定することがあり、器具アイコンは、例証され、患者１４に関連する様々な部分を、それを観察スクリーン１６０、１６２上に表示することによって、含む又は例証することがある。プロセッサシステム２２によって実行される命令は、メモリ２７から記憶されて呼び出される命令を含むことがある。命令は、２つのカメラ１８０、１８２からの別個の観察に基づいて、追跡デバイス１４６などの、観察された部分の場所を三角測量するためのアルゴリズムに基づくものを含むことがある。別個の観察は、２つのカメラ１８０、１８２（例えば、画像データを含む）から信号を生成するために使用されることがあり、信号は、プロセッサシステム２２に送信されることがある。追跡デバイス１４６の場所の三角測量は、２つのカメラ１８０、１８２間の知られている距離と、２つのカメラ１８０、１８２の個々によってキャプチャされた各別個の観察と、に基づくことがある。

[0060]従って、観察スクリーン１６０、１６２は、遠位端部のアイコン１１０’、及び／又は、器具６６の膨張可能な部分のアイコン１２２’とも呼ばれる図式表現を含むことがある。遠位アイコン１１０’などのアイコンは、患者１４に関連して重ね合わされている又は表示されているように見えるなど、観察スクリーン１６０、１６２の１つ又は複数のアイコンとして例示されることがある。理解されることは、器具６６の一部以上のアイコンが使用されることがあり、従って、器具アイコン６６’が器具６６の全ての部分を含む器具全体として例証されることがあるということである。

[0061]ＡＶ２１は、プロセッサシステム２２と通信することがある、並びに／或いは、他のプロセッサシステムと通信するための、オンボード処理及び／又は他の通信機能を含むことがある。従って、ＡＶ２１のカメラ１８０、１８２による患者１４の頭などの目的領域の観察は、プロセッサシステム２２に送信されることがある。カメラ１８０、１８２の間隔に少なくとも起因して、三角測量は、カメラ１８０、１８２に関連して、マーカ１００及び／又は追跡デバイス１４６などの空間内の各観察点のために決定されることがある。マーカ１００の１つ又は複数に対する追跡デバイス１４６の相対的な場所は、プロセッサシステム２２で命令を実行することなどによって、決定されることがある。

[0062]プロセッサシステム２２は、２つのカメラ１８０、１８２の一方又は双方から画像を受信しており、マーカ１００や追跡デバイス１４６などの、様々な追跡される又は任意の観察される部分間の距離を処理して決定することがある。プロセッサシステム２２は、従って、メモリ２７でアクセスされた命令を実行しており、そのとき、器具アイコン６６’又はそれの一部分などの選択された及び／又は適切な画像部分、並びに／或いは、画像データからの前頭洞１３６’又は他の適切な部分を含む副鼻腔を表すアイコンなどの他の画像化された特徴、を観察スクリーン１６０、１６２に提供することがある。追跡デバイス１４６及び／又はマーカ１００の追跡された場所に基づく、画像化システム１６で取得されたものなどの事前取得画像の位置合わせは、参照によって本明細書に組み込まれる米国特許第８，２３８，６３１号に開示されるものなどの、知られている位置合わせ技法に基づくことがある。位置合わせは、実質上自動であることがある、並びに／或いは、画像１８のマーカ１００及び／又は患者１４のマーカ１００などの基準マーカの識別に基づくことがある。

[0063]使用者１２は、従って、患者１４と、観察スクリーン１６０、１６２に基づく、患者１４に関連する、器具アイコン６６’などの他の特徴と、の双方を観察することがある。カメラ１８０、１８２は、使用者１２及び患者１４に関連して追跡情報の全てを提供してもよく、それによって観察スクリーン１６０、１６２でそれらを表示するために遠位先端１１０などの、器具６６の様々な部分の場所を決定する。使用者１２の知覚は、たとえそれが患者１４内にあるとしても、器具６６が患者１４に関連して観察可能であるということであり得る。更に、画像化システム１６で取得される画像データは、患者１４に関連して、観察スクリーン１６０、１６２で、アイコンなどの特徴として、表示されることがある。再度、患者１４についての使用者１２による知覚は、副鼻腔１３４、１３６、１３８などの様々な部分がＡＶ２１のおかげで使用者１２によって観察可能であるということであり得る。従って、図３Ａに例証されたように、患者１４の観察は、使用者１２の通常の視力を備えた使用者１２によって別のやり方で観察することのできない特徴を例証するために増強されることがある。換言すると、使用者１２は、物理的空間における図３Ａに例証されたような患者１４と、上で議論されたアイコン又はレンダリングなどによる患者１４内のエリアの表現と、を観察することがある。この観察は、３Ｄであることもあり、また、使用者が患者１４及び／又は器具６６に関連して動くので斜視的に変化することもある。

[0064]患者１４は、図３Ａに具体的に例証されたように、観察スクリーン１６０、１６２を通して観察されることがある。上顎アイコン１３４’及び蝶形骨アイコン１３８’などの様々なアイコンは、器具６６のアイコン６６’に関連して表示されることがある。アイコンは、蝶形骨アイコン１３８’などの解剖学的構造アイコンに関連して、器具アイコン６６’の観察のために、様々な選択された不透明度及び／又は切り取りを有することがある。従って、使用者１２は、蝶形骨アイコン１３８’及び器具アイコン６６’などのアイコンを含む視野を観察しており、両方のアイコンを同時に見ることがある。その上、使用者１２は、器具アイコン６６’と、蝶形骨洞アイコン１３８’などの副鼻腔アイコンと、を実質上同時に観察することによって、蝶形骨洞１３８などの選択された副鼻腔内の器具６６の位置を知覚することがある。換言すると、副鼻腔アイコンなどの様々なアイコンの不透明度は、選択された解剖学的部分の内部に或いはあたかもその内部に、器具アイコンを観察することができるように、透明な観察を有するために選択されることがある。これは、図３Ａに例証されたように、使用者１２が、患者１４と、器具及び解剖学的構造のアイコンと、を実質上同時に、あたかも患者１４に存在するかのように、観察するのを可能にする。

[0065]それに加えて又はそれに代えて、様々なアイコンは、患者１４から離れた位置に表示されることがある。例えば、図３Ｂに例証されたように、器具アイコン６６’は、蝶形骨アイコン１３８’などの解剖学的部分アイコンに関連して追跡されて決定された場所とはいえ、患者１４から離れて表示されることがある。それは選択されることがあり、相互作用しているか又は器具６６によって通過されたそれらの解剖学的部分だけを例証し、従って、全てのアイコンは、必ずしも示されるべきではないことがある。器具６６が鼻腔１１２内にあって使用者１２の増強されていない観察から隠されているときでさえ、鼻腔１１２を通るなどの解剖学的構造の様々な部分間のアイコン経路１３９’（図３Ａ及び図３Ｂ参照）などの様々な経路を理解されたい。従って、図３Ｂに例証されたように、理解されることは、患者１４の取得された画像データで表されるか又はそれに基づく解剖学的構造の表示部分が、患者１４のそれぞれの関連する物理的な場所から離れた場所に表示されることがある、ということである。従って、副鼻腔アイコンなどのアイコンは、患者１４から離れた距離に表示されることがある。これは、使用者１２が患者１４のより多くの及び／又は実質上妨げのない観察を有することを可能にし、同時に、選択された解剖学的部分に関連する器具６６の相対的な場所の観察を可能にすることもできる。

[0066]その上、観察スクリーン１６０、１６２は、選択された場合に、実質上同時に、また、リアルタイムで、取得され得る内視鏡画像などの他の画像を表示するために使用されることがある。即ち、使用者１２は、内視鏡を鼻腔１１２にも配置することがあり、観察スクリーン１６０、１６２のうちの１つ又は複数は、内視鏡観察を表示することがある。従って、理解されることは、使用者１２が、副鼻腔アイコン及び／又は器具アイコン６６’などの選択されたアイコンに関連して、観察スクリーン１６０、１６２上に表示もされ得るリアルタイムの内視鏡的視点を提供するために、器具６６を用いて鼻腔１１２を通して内視鏡を位置決めし得ることである。

[0067]その上、理解されることは、様々な画像が、観察スクリーン１６０及び１６２の双方に、又は、観察スクリーン１６０、１６２の一方だけに、表示され得るということである。理解されるであろうことは、２つの観察スクリーン１６０、１６２上に表示される画像が実質上同様であり得るが、画像データ及び／又はアイコンに基づくか、使用者１２によるかのいずれかで、副鼻腔及び／又は器具６６などの選択された部分の深度及び／又は３次元性の知覚を可能にするために、変更され得るということである。従って、表示器１６０、１６２は、同一の表示器、実質上異なる表示器、又は、観察スクリーン毎に１つの表示器だけ、を有することがある、或いは、使用者１２による観察のための深度の知覚を提供するために同様であることがある。

[0068]上で議論されたように、補助画像１５３は、補助画像１５３に例証される遠位端部画像１１０”などの器具６６の位置を示すか又は例証する図とすることができる。補助画像１５３は、内視鏡１３７で取得されたリアルタイム画像であることがあり、上で議論されたとおりである。遠位端部画像１１０”は、従って、器具６６のリアルタイム画像であることもある。補助画像１５３は、選択された処置中の使用者１２による観察のために、副鼻腔の内部などの解剖学的構造の表面を表示することもある。従って、視野２１ｆは、使用者１２が、対象１４、対象１４に関連して表示及び／又はそれに重ね合わされた器具の図式表現、それに関連して表示及び／又は対象１４に重ね合わされた対象の事前取得画像、並びに／或いは、器具６６のリアルタイム画像などの補助画像、を観察するのを可能にすることがある。こうして、使用者１２は、視野２１ｆでどの画像を観察するかを選択することがある。理解されることは、画像又は図式表現のどれもが、表示デバイス２０などの他の様々な表示デバイス上に表示され得るということである。表示デバイス２０は、器具６６の場所の図式表現、事前取得画像、及びリアルタイム画像の双方を、単独で又は組合せで、観察又は表示することもある。

[0069]図３Ｃを参照すると、視野は、表示デバイス２０で表示されることもある。様々な実施形態では、内視鏡の観察は、補助観察１５３’として表示器２０上に表示されることがある。アイコン１１０’と、副鼻腔１３４’などの解剖学的構造の部分とは、表示デバイス２０で表示されることもある。図式表現は、表示デバイス２０に表示されるとき、実質上３次元（３Ｄ）であることがある。こうして、視野表示２１ｆは、表示デバイス２０上に実質上再現され得るが、患者１４が表示されず、副鼻腔１３４’などの取得された画像、及び、内視鏡１３７などでリアルタイムで取得される画像だけが表示され得る。表示デバイス２０は、理解されることは、移動式であって、使用者１２の最良の観察のために位置決めされることがある。

[0070]表示器２０上に及び／又はＡＶ２１での視野２１ｆ内に表示されるかにかかわらず、図式表現の表示（例えば、副鼻腔１３４’及び器具１１０’）は、使用者１２の視点からであることがある。こうして、使用者１２が対象１２に関連して動くと、視野２１ｆ内の及び／又は表示デバイス２０上の表示は、使用者１２に表示を提供するために変化することがあり、あたかも使用者１２が選択された位置で対象１２内を見ているかのようである。換言すると、使用者１２が上というよりも下を見て対象１２の頭の位置まで移動した場合、図式表現の表示は、対象１４に関連して使用者１２の位置をマッチングさせるために変更されるであろう。使用者１２の決定される位置は、様々な実施形態において、追跡機１４９及び／又はＡＶ２１に関連付けされた画像化デバイス１８０、１８２の観察によって決定されることがある。

[0071]図１〜図３Ｂを継続的に参照し、図４を補助的に参照すると、前頭洞１３６を含む副鼻腔の１つ又は複数に関連する処置などの処置を実行するのを支援するための使用者１２によるＡＶ２１を使用する方法は、フローチャート２１０で説明される。一般にプロセスは、開始ブロック２１４で開始することがある。開始ブロック２１４でプロセスを開始後、対象１４の画像データ又は画像の取得は、実行されることがある。画像データ又は画像の取得は、任意の適切なやり方で実行されることがある。例えば、対象１４の画像は、器具６６を患者１４に導入するために患者１４が準備されたときなどの処置を実行する前の選択された時間に、メモリシステム２７及び／又はメモリシステム３３ｂなどのメモリシステムに、取得されて記憶されることがある。画像は、ＣＴスキャナ及び／又はＭＲＩなどの選択された画像化システムで取得されることがあり、また、生データ及び／又は再構築された画像などの適切なフォーマットでセーブされることがある。再構築された画像は、表示デバイス２０及び／又はＡＶ２１などの様々な表示デバイスでの使用者１２による観察のために、３次元の様式でレンダリングされた画像を含むことがある。更に、画像又は画像データの様々な部分は、他の画像データから前頭洞１３６を含む副鼻腔をセグメント化することなど、セグメント化されることがある。その上、画像又は画像データ内のマーカ１００の識別は、プロセッサ２６及び／又は３３ａを含むプロセッサなどによって実行されることがある。前頭洞１３６などの解剖学的構造の様々な部分をセグメント化すること、及び／又は、マーカ１００を識別することは、様々なセグメント化技法を用いて、実行されることがある。セグメント化技法は、Ｍｅｄｔｒｏｎｉｃ，Ｉｎｃ．によって販売されるＦＵＳＩＯＮ（商標）ナビゲーションシステムなどの、様々な画像化及びナビゲーションシステムに組み込まれるものを含むことがある。

[0072]画像データは、実質上処置中（例えば、患者が処置のために準備できているとき）に使用され得る画像化デバイス１４などで、実質上処置の間又は処置の直前に、取得されることもある。画像又は画像データの様々な部分は、上で議論されたように、セグメント化されることがあるが、選択された期間にわたって処置の前にメモリに記憶されるというより寧ろ、データは、処置中の使用のために、プロセッサシステム２２に、実質上リアルタイムで、転送されることがある。それにもかかわらず、理解され得ることは、画像データが、処置中の使用のために画像データ又は画像を分析及び／又は処理するなどのために、選択された期間にわたって記憶され得るということである。

[0073]画像データの取得は、任意選択であり得るが、その理由は、ＡＶ２１による表示のための画像の準備、及び／又は、処置中の使用が必要とされないからである。例えば、本明細書で議論されるように、ＡＶ２１及びプロセッサシステム２２を含むシステムは、患者１４の画像データなしで器具の位置を表すために、マーカ１００及び追跡デバイス１４６を追跡することがある。様々な実施形態では、画像は、ＡＶ２１での表示のために、プロセッサシステム２２によってアクセスされることがあり、上で議論されたとおりである。

[0074]本明細書で更に議論されるように、ＡＶ２１は、ブロック２２４の処置のために配置されることがある。処置のためのＡＶ２１の配置は、ＡＶ２１を使用者１２に配置することを含むことがある。その上、ＡＶ２１は、マーカ１００及び／又は追跡デバイス１４６などの器具６６などで、患者１４を追跡するための処理能力を提供するなどのために、プロセッサシステム２２と通信するように配置されることがある。ＡＶ２１は、従って、ブロック２２６で目的領域を観察することがあり、使用者は、ブロック２２８で目的領域を観察できることを確認することがある。目的領域を観察するときに、カメラ１８０、１８２は、一般に頭部領域などの、処置が行われる患者１４の少なくとも一部を観察できることがある。上で議論されたように、手術領域は、患者１４の様々な外部組織を通して使用者１２が実質上観察可能でないことがある。従って、手術領域は、前頭洞１３６などの副鼻腔を含むことがあり、目的領域は、患者１４の頭全体を含むことがある。従って、カメラ１８０、１８２は、目的領域を観察するために位置決めされることがあり、使用者１２は、観察スクリーン１６０、１６２を通して目的領域を観察することを確認することがある。観察スクリーン１６０、１６２は、アイコンが観察スクリーン１６０、１６２の一部に表示されていないときに、実質上透明である。

[0075]いったんＡＶ２１が目的領域の観察を有すると、ＡＶ２１カメラでの目的領域の記録は、ブロック２３２で実行されることがある。ブロック２３２での目的領域の記録は、カメラ１８０、１８２による画像の収集を可能にすることがある（もっとも、理解されることは、２つよりも多い又は２つよりも少ないカメラが使用され得ることである）。目的領域の記録は、処置全体の間などの進行中のやり方で患者１４の少なくとも一部を画像化することを含むことがある。患者１４の目的領域を画像化することは、患者１４のマーカ１００及び／又は他の基準点若しくは基準部分を画像化することを含むことがある。従って、記録された目的領域は、ブロック２３６で患者マーカを識別することを含むことがある。

[0076]患者マーカの識別は、画像内の患者マーカ１００を識別するために、ブロック２３２において目的領域に記録された画像データをセグメント化することを含むことがある。識別された患者マーカ１００は、使用者１２が観察したときに患者１４のマーカ１００ａ上に位置決めされた３次元立方体を含み得るアイコン１００ａ’などによって観察スクリーン１６０、１６２でアイコンとして表示されることがあり、図３に例証されたとおりである。それにもかかわらず、本明細書で更に議論されるように、ブロック２３６で患者マーカを識別することは、アイコン１００ａ’の表示を要求又は可能にし得ないが、マーカを識別するために単に実行され、器具６６又は遠位端部１１０などのそれの一部の場所の識別などのために、プロセッサシステム２２によって患者１４の領域を識別することがある。

[0077]患者１４のマーカ１００を識別することは、マーカ１００がＡＶ２１のカメラの視野内にあるときに、ナビゲーションシステムの一部などのプロセッサシステムが、患者１４を追跡することを可能にする。マーカ１００は、色、パターン、形状等々などの、カメラ１８０、１８２で取得された画像において識別可能である部分を含むことがある。更に、マーカ１００は、ＡＶ２１に関連するマーカのポーズ、場所及び配向を含む位置を決定するために識別可能である特徴を含むことがある。従って、患者１４は、使用者１２によって着用されるＡＶ２１に関連して追跡されることがある。

[0078]ブロック２４０では、器具追跡機１４６は、識別されることがある。器具追跡機１４６は、色、パターン、形状等々などの、カメラ１８０、１８２で取得された画像内で識別可能である部分を含むことがある。更に、器具追跡機１４６は、ＡＶ２１に関連するマーカのポーズ、場所及び配向を含む、位置を決定するために識別可能である特徴を含むことがある。例えば、追跡デバイス１４６は、カメラ１８０、１８２によって観察可能であるパターンを含むことがある。追跡デバイス１４６上のパターンは、追跡デバイスに関連して異なる観点から実質上又は完全に一意であることがある。こうして、追跡デバイス１４６上の観察されたパターンは、器具追跡機１４６の、及び、従って、器具６６の、位置を決定するために、使用されることがある。

[0079]器具追跡機１４６は、器具６６に固定されることがあり、上で議論されたとおりである。遠位先端１１０及び／又は作動部分１２２などの器具６６の様々な部分間の幾何学的関係は、プロセッサシステム２２による処理のために予め決定されて入力されることがある。様々な実施形態では、幾何形状は、器具６６の自動識別（例えば、カメラ１８０、１８２で器具を観察することによる）及び／又は使用者１２による器具の識別の入力のおかげで、メモリ２７にセーブされて呼び出されることがある。それにもかかわらず、ＡＶ２１は、場所（例えば、３次元座標）及び様々な自由度（例えば、３自由度）での配向を含む位置を決定するために、追跡デバイス１４６を観察するために使用されることがある。器具６６の追跡された位置は、様々な目的のために処理システム２２によって使用されることがある。

[0080]例えば、図３に例証されたように、ブロック２４４で実行され、器具アイコン６６’は、観察スクリーン１６０、１６２の１つ又は複数に表示されるなど、ＡＶ２１で表示されることがある。観察スクリーン１６０、１６２は、アイコンを例証する部分を除いて、実質上透明であることがある。アイコン６６’並びに／或いは遠位先端アイコン１１０’及び／又は作動部分１２２’などの器具の部分は、患者１４に関連して観察スクリーン１６０、１６２上に例証されることがある。使用者１２は、次いで観察スクリーン１６０、１６２を通して患者１４及びアイコンを観察することがある。従って、使用者１２は、患者１４の一部を含む、患者１４に関連する器具６６の少なくとも一部の位置を観察することがある。

[0081]対象部分アイコンの表示は、ブロック２４８で選択的又は代替的に表示されることがある。例えば、図３Ａ及び／又は図３Ｂに例証されたように、前頭洞１３６’アイコンは、表示されることがある。前頭洞アイコン１３６’は、器具アイコン６６’及び患者１４に関連して表示されることがある。従って、使用者１２は、患者１４、器具アイコン６６’、及び前頭洞アイコン１３６’を観察することがある。患者１４のマーカ１００の追跡によって、器具６６の相対位置は、器具アイコン６６’で観察スクリーン１６０、１６２上に表示されることがある。更に、前頭洞１３６などの対象部分の相対位置は、マーカ１００を使用して患者に事前取得画像を位置合わせすることによって、表示されることがあり、上で議論されたとおりである。

[0082]再度、ＡＶ２１は、マーカ１００のおかげで患者１４を追跡できるので、器具６６と、前頭洞１３６などの対象部分と、の相対位置は、実質上リアルタイムで更新されて、対象１４と共に使用者１２による観察のために観察スクリーン１６０、１６２上に表示されることがある。理解されることは、器具アイコン６６’や対象部分アイコン１３６’などのアイコンが、生成されて観察スクリーン１６０、１６２上に表示されることがあり、同時に使用者が、観察スクリーン１６０、１６２を通してリアルタイムに物理的空間で患者１４を観察できるということである。更に理解されることは、アイコンが、観察スクリーン１６０、１６２の一方のみ又は双方に表示されることがあり、使用者１２によって選択されたとおりである、ということである。

[0083]上で議論されたように、使用者１２は、任意選択で、ブロック２５２で、表示されたリアルタイム画像を有するために選択することもある。リアルタイム画像は、内視鏡１３７で取得された画像であることがあり、上で議論され当業者によって一般に理解されるとおりである。リアルタイム画像は、対象１４の、内部表面などの、表面を含むことがある。更に又はそれに加えて、画像は、器具６６の遠位端部１１０”表示などの器具６６の表示又は画像を含むことがある。使用者１２は、補助画像１５３を、視野２１ｆに、又は、表示デバイス２０などの任意の適切な表示器上に、表示させることを選択することがある。使用者１２は、また、補助表示器１５３をスイッチオフにするか又は非表示にすることを選択することもあり、従って、使用者１２は、対象１４と、図式表現やアイコンなどの選択された拡張現実部分と、だけを使用し、上で議論されたとおりである。更に理解されることは、使用者１２が、図式表現を補助表示エリア１５３に表示させること、及び、リアルタイム画像を重ね合わせて表示させるか又は視野２１ｆ内の対象１４に関連して表示させること、を選択することがあるということである。上で議論されたように、内視鏡１３７で取得された画像は、選択された基準部分並びに／或いは対象上のマーカ及び患者又は対象追跡機６４のおかげで、対象１４に関連して位置合わせされることがある。こうして、使用者１２は、器具６６に関連するアイコン、選択された副鼻腔に若しくは部分的に内部部分に又は事前取得画像（例えば、ＭＲＩ及び／又はＣＴ画像）の理由から関連するアイコン、及び、内視鏡１３７で若しくは他の適切な画像化システムで取得されたリアルタイム画像を観察することがある。

[0084]ブロック２６２では、処置は、対象１４と、ＡＶ２１に起因する器具アイコン６６’及び／又は前頭洞アイコン１３６’などの選択されたアイコンと、を観察することによって実行されることがある。更に理解されることは、上顎洞アイコン１３４’及び／又は蝶形骨洞アイコン１３８’など、他の適切なアイコンが、表示され得るということである。その上、追加器具アイコンは、器具に関連付けられた様々な追跡デバイスによって表示されることもある。更に異なった器具は、ＡＶ２１を含む表示デバイス上にアイコンを表示する前に入力及び／又は呼び出しされることもある異なった幾何形状を有することがある。方法２１０は、次いで、様々な止血及び／又は閉鎖の処置などの様々な他の処置を含んで、ブロック２７２で終了することがある。

[0085]例示の実施形態は、本開示が徹底的であり、当業者にその範囲を完全に伝えるであろうように提供される。多数の特定の詳細は、本開示の実施形態の完全な理解を提供するために、特定の構成要素、デバイス、及び方法の例などが記載される。当業者に明らかであろうことは、特定の詳細が採用される必要のないこと、例示の実施形態が多くの異なる形態で具現化され得ること、しかも、どちらも本開示の範囲を限定するように解釈されるべきでないこと、である。幾つかの例示の実施形態では、よく知られているプロセス、よく知られているデバイス構造、及び、よく知られている技術は、詳細には説明されない。

[0086]実施形態の先の説明は、例証及び説明の目的のために提供されてきた。意図されていないのは、網羅的であること又は開示を限定することである。特定の実施形態の個々の要素又は特徴は、一般にその特定の実施形態に限定されないが、適用可能な場合、交換可能であり、選択された実施形態で使用でき、たとえ具体的に図示又は説明がなくてもそうである。同じことは、多くの仕方で変更されることもある。そういった変形例は、本開示からの逸脱とみなされるべきではなく、全てのそういった修正例は、本開示の範囲内に含まれることが意図される。

Claims (40)

1. 手術を対象に実行するときに前記対象を観察するためのシステムであって、
   観察スクリーン及びカメラシステムであって、
   使用者の第１の目の近くに位置決めされるように構成された第１の観察スクリーンと、
   前記使用者の第２の目の近くに位置決めされるように構成された第２の観察スクリーンと、
   第１の視野を有するように構成された少なくとも第１のカメラと、を有する観察スクリーン及びカメラシステムと、
   前記第１のカメラによって観察可能な器具に固定可能な器具追跡デバイスと、
   前記第１のカメラによって観察可能な対象マーカと、
   命令を実行するように構成されたプロセッサシステムと、を含み、（ｉ）前記第１のカメラからの第１の信号に基づいて前記対象マーカに関連する前記器具追跡デバイスの相対位置を決定するため、及び、（ｉｉ）前記第１の目又は前記第２の目の少なくとも一方によって観察されるべき前記第１の観察スクリーン又は前記第２の観察スクリーンの少なくとも一方に表示されるべき器具表現(instrument representation)を生成するためである、システム。
2. 前記観察スクリーン及びカメラシステムは、
   第２の視野を有するように構成された第２のカメラを更に含み、前記第２のカメラは、
   前記プロセッサシステムは、命令を実行するために更に動作でき、（ｉ）前記対象マーカに関連する前記器具追跡デバイスの観察に関して、前記第１のカメラからの前記第１の信号と、前記第２のカメラからの第２の信号と、に基づいて、前記対象マーカに関連する前記器具追跡デバイスの相対位置を決定するためであり、
   前記観察スクリーン及びカメラシステムは、使用者着用型である、請求項１に記載のシステム。
3. 前記器具表現は、前記第１の観察スクリーン及び前記第２の観察スクリーンの双方に表示されたときに、前記使用者によって単一の(single)表現として観察される、請求項１又は２に記載のシステム。
4. 前記器具表現は、前記対象を含む前記使用者の視界内の前記器具の一部として前記使用者には見える、請求項１から３のいずれか一項に記載のシステム。
5. 前記対象の手術領域の少なくとも一部の画像をそれに記憶したメモリを更に含み、
   前記画像は、前記対象マーカを表す画像部分を含み、
   前記プロセッサシステムは、更なる命令を実行して、（ｉ）前記手術領域の少なくとも前記一部の前記画像を位置合わせするため、及び、（ｉｉ）前記第１の観察スクリーン又は前記第２の観察スクリーンの少なくとも一方で解剖学的構造表現を表示するためであり、
   前記解剖学的構造表現は、前記対象に関連する前記使用者の視界に見えるように構成される、請求項１から４のいずれか一項に記載のシステム。
6. 前記器具表現及び前記解剖学的構造表現は、前記対象に関連する前記使用者の視界に見えるように両方構成される、請求項１から５のいずれか一項に記載のシステム。
7. 前記第１の視野及び前記第２の視野は、オーバーラップする、請求項１から６のいずれか一項に記載のシステム。
8. 前記対象に関連して移動可能であり、前記器具追跡デバイスに連結可能である器具を更に含む、請求項１から７のいずれか一項に記載のシステム。
9. 前記第１の観察スクリーン又は前記第２の観察スクリーンは、実質上透明であり、前記使用者が前記対象を観察するのを可能にするように構成される、請求項１から８のいずれか一項に記載のシステム。
10. 手術を対象に実行するときに前記対象を観察するためのシステムであって、
    使用者の第１の目に関連して保持されるように構成された着用型観察スクリーン及びカメラシステムであって、
    実装(mounting)構造と、
    前記使用者の前記第１の目の近くに位置決めされて、前記実装構造に固定されるように構成された第１の観察スクリーンと、
    第１の視野を有するように構成された第１のカメラと、を有する着用型観察スクリーン及びカメラシステムと、
    前記第１のカメラによって観察可能な器具に固定された器具追跡デバイスと、
    前記第１のカメラによって観察可能な対象マーカと、
    命令を実行するように構成されたプロセッサシステムと、を含み、（ｉ）前記対象マーカに関連する前記器具追跡デバイスの観察に関して、前記第１のカメラからの第１の信号に基づいて前記対象マーカに関連する前記器具追跡デバイスの相対位置を決定するため、及び、（ｉｉ）前記第１の目によって観察されるべき前記第１の観察スクリーンに表示されるべき器具アイコンを生成するためである、システム。
11. 前記着用型観察スクリーン及びカメラは、
    第２の視野を有して、前記実装構造に固定されるように構成された第２のカメラであって、
    前記第１の視野が前記第２の視野と異なり、
    前記第１のカメラが前記実装構造に固定される、第２のカメラと、
    前記使用者の第２の目の近くに位置決めされるように構成された第２の観察スクリーンと、を更に含む、請求項１０に記載のシステム。
12. 前記着用型観察スクリーン及びカメラは、前記使用者が前記第１の観察スクリーン及び前記第２の観察スクリーンの双方を通して前記対象を同時に観察できるように構成される、請求項１１に記載のシステム。
13. 前記着用型観察スクリーン及びカメラは、前記使用者が前記対象及び前記器具アイコンの双方を同時に観察できるように構成される、請求項１１に記載のシステム。
14. 前記プロセッサシステムは、（ｉ）前記対象の事前取得画像を、（ｉｉ）前記第１のカメラ及び前記第２のカメラでの前記対象の観察と、位置合わせするために、更なる命令を実行するように構成され、
    前記事前取得画像の少なくとも一部は、前記対象に位置合わせされた前記第１の観察スクリーン又は前記第２の観察スクリーンの少なくとも一方で表示され、
    前記器具アイコンは、前記第１の観察スクリーン又は前記第２の観察スクリーンの少なくとも一方での前記事前取得画像の少なくとも前記一部に関連する前記器具の決定された位置に例証される、請求項１３に記載のシステム。
15. 対象を観察するための方法であって、
    使用者の第１の目の近くに位置決めされるように構成された第１の観察スクリーンを位置決めするステップと、
    前記使用者の第２の目の近くに位置決めされるように構成された第２の観察スクリーンを位置決めするステップと、
    少なくとも、第１の視野を有するように構成された第１のカメラ、又は、第２の視野を有するように構成された第２のカメラを、前記第１の観察スクリーン及び前記第２の観察スクリーンに対して、固定するステップと、
    器具に固定された器具追跡デバイスを、少なくとも前記第１のカメラ又は第２のカメラの視野内に、配置するステップと、
    少なくとも前記第１のカメラ又は前記第２のカメラによって観察可能であるように対象マーカを配置するステップと、
    命令を実行するためにプロセッサシステムを動作させるステップと、を含み、（ｉ）前記対象マーカに関連する前記器具追跡デバイスの観察に関して、前記第１のカメラからの第１の信号、又は前記第２のカメラからの第２の信号、に基づいて、前記対象マーカに関連する前記器具追跡デバイスの相対位置を決定するため、及び（ｉｉ）前記第１の目又は前記第２の目の少なくとも一方によって観察されるべき前記第１の観察スクリーン又は前記第２の観察スクリーンの少なくとも一方に表示されるべき器具アイコンを生成するためである、方法。
16. 前記対象に関連して位置決めされるように構成された端部を有するために前記器具を提供するステップを更に含む、請求項１５に記載の方法。
17. 命令を実行するために前記プロセッサシステムを動作させ、前記器具追跡デバイスに関連する動作端部の位置をメモリシステムから呼び出すステップを更に含む、請求項１６に記載の方法。
18. 前記使用者が前記対象及び前記器具アイコンを同時に観察するために、前記第１の観察スクリーン又は前記第２の観察スクリーンの少なくとも一方を構成するステップを更に含む、請求項１７に記載の方法。
19. 前記器具を構成して、前記対象に関連して動かし、その間、前記使用者が前記対象及び前記器具アイコンを同時に観察できる、ステップを更に含む、請求項１８に記載の方法。
20. 処置を実行し、その間、前記対象及び前記器具アイコンを同時に観察するステップを更に含む、請求項１９に記載の方法。
21. 手術を対象に実行するときに前記対象を観察するためのシステムであって、
    使用者着用型観察スクリーン及びカメラシステムであって、
    使用者のための視野画像を生成するように構成された観察スクリーンと、
    前記対象の少なくとも一部を含むように動かされるように動作できる第１の視野を有する第１のカメラと、を有する使用者着用型観察スクリーン及びカメラシステムと、
    前記対象の画像を生成するために動作できる前記使用者着用型観察スクリーン及びカメラシステムから分離された画像化システムと、
    （ｉ）前記画像化システム及び前記生成画像の位置を決定する、及び、（ｉｉ）前記生成画像を前記観察スクリーンで表示するように命令を実行するように構成されたプロセッサシステムと、を含む、システム。
22. 前記使用者着用型観察スクリーン及びカメラシステムの前記観察スクリーンは、
    使用者の第１の目の近くに位置決めされるように構成された第１の観察スクリーンと、
    前記使用者の第２の目の近くに位置決めされるように構成された第２の観察スクリーンと、を更に含む、請求項２１に記載のシステム。
23. 前記使用者着用型観察スクリーン及びカメラシステムは、
    第２の視野を有するように構成された第２のカメラを更に含む、請求項２１又は２２に記載のシステム。
24. 手術を前記対象に実行するために手術領域に位置決めされるように構成された動作端部を有する器具と、
    前記第１のカメラ及び前記第２のカメラによって観察可能な前記器具に固定された器具追跡デバイスと、を更に含む、請求項２１から２３のいずれか一項に記載のシステム。
25. 前記プロセッサシステムは、命令を実行するために更に動作でき、（ｉ）対象マーカに関連する前記器具追跡デバイスの観察に関して、前記第１のカメラからの第１の信号と、前記第２のカメラからの第２の信号と、に基づいて、前記対象マーカに関連する前記器具追跡デバイスの相対位置を決定するため、及び、（ｉｉ）前記第１の目又は前記第２の目の少なくとも一方によって観察されるべき前記第１の観察スクリーン又は前記第２の観察スクリーンの少なくとも一方に表示されるべき器具アイコンを生成するためである、請求項２４に記載のシステム。
26. 対象マーカと、
    前記器具追跡デバイス、前記画像化システム、及び、前記対象マーカを追跡するように構成された追跡システムと、を更に含む、請求項２４に記載のシステム。
27. 前記観察スクリーンは、前記器具及び前記生成画像の追跡された位置で実質上同時に器具表現を表示するために動作できる、請求項２６に記載のシステム。
28. 前記対象の手術領域の少なくとも一部の画像をそれに記憶したメモリを更に含み、
    前記画像は、前記対象マーカを表す画像部分を含み、
    前記プロセッサシステムは、更なる命令を実行して、（ｉ）前記手術領域の少なくとも前記一部の前記画像を位置合わせするため、及び、（ｉｉ）前記第１の観察スクリーン又は前記第２の観察スクリーンの少なくとも一方で解剖学的構造アイコンを表示するためであり、
    前記解剖学的構造アイコンは、前記対象に関連する前記使用者の視界に見えるように構成される、請求項２７に記載のシステム。
29. 前記器具アイコン及び前記解剖学的構造アイコンは、前記対象に関連する前記使用者の視界に見えるように両方構成される、請求項２８に記載のシステム。
30. 手術を対象に実行するときに前記対象を観察するためのシステムであって、
    前記対象の画像を得るために動作できる第１のリアルタイム画像キャプチャシステムと、
    観察スクリーン及びカメラシステムであって、
    使用者の第１の目の近くに位置決めされるように構成された第１の観察スクリーンと、
    第１の視野を有するように構成された第２のリアルタイム画像キャプチャシステムと、を有する観察スクリーン及びカメラシステムと、
    前記第２のリアルタイム画像キャプチャシステムによって観察可能な器具に固定可能な器具追跡デバイスと、
    前記第２のリアルタイム画像キャプチャシステムによって観察可能な対象マーカと、
    少なくとも前記第１のリアルタイム画像キャプチャシステム及び対象追跡デバイスを追跡するように構成された追跡システムと、
    前記観察スクリーン及びカメラシステムから分離された補助表示デバイスであって、前記補助表示デバイスが前記第１の観察スクリーンから分離されて単独で観察可能である、補助表示デバイスと、
    命令を実行するように構成されたプロセッサシステムと、を含み、（ｉ）前記第２のリアルタイム画像キャプチャシステムからの第１の信号に基づいて、前記対象マーカに関連する前記器具追跡デバイスの相対位置を決定するため、及び、（ｉｉ）少なくとも前記補助表示デバイスで表示されるべき器具表現を生成するためである、システム。
31. 前記対象マーカ及び前記対象追跡デバイスは、単一のデバイスに統合される、請求項３０に記載のシステム。
32. 前記プロセッサシステムは、命令を実行するように更に構成され、
    前記第１のリアルタイム画像キャプチャシステムの追跡された位置と、前記対象の追跡された位置と、を位置合わせするため、及び、
    少なくとも前記補助表示デバイスで表示されるべき前記第１のリアルタイム画像キャプチャシステムの表現を生成するためである、請求項３０又は３１に記載のシステム。
33. 前記第１のリアルタイム画像キャプチャシステムは、前記対象の内部で動かされるように構成され、
    少なくとも１つの前記補助表示デバイスは、前記得られた画像を表示するために動作できる、請求項３０から３２のいずれか一項に記載のシステム。
34. 前記第１のリアルタイム画像キャプチャシステムは、前記対象の内部で動かされるように構成され、
    前記第１の観察スクリーン又は第２の観察スクリーンの少なくとも一方は、前記得られた画像を表示するために動作できる、請求項３０から３３のいずれか一項に記載のシステム。
35. 前記表示された得られた画像は、前記生成された器具表現から分離表示されて離隔される、請求項３３に記載のシステム。
36. 前記得られた画像の前記表示をトグルオン及びトグルオフするための使用者入力を更に含む、請求項３４に記載のシステム。
37. 観察スクリーン及びカメラシステム追跡デバイスを更に含み、
    前記プロセッサシステムは、前記観察スクリーン及びカメラシステム追跡デバイスの基準フレームと、前記対象の前記追跡された位置の基準フレームと、を位置合わせするために、命令を実行するように更に構成され、
    前記補助表示デバイスでの前記表示は、前記観察スクリーン及びカメラシステム追跡デバイスの前記追跡された位置に少なくとも部分的に基づく、請求項３０から３６のいずれか一項に記載のシステム。
38. 対象を観察するための方法であって、
    前記対象のリアルタイム画像をキャプチャするために、前記対象に関連して第１の画像キャプチャシステムを位置決めするステップと、
    使用者の第１の目の近くに第１の観察スクリーンを位置決めするステップと、
    前記使用者の第２の目の近くに第２の観察スクリーンを位置決めするステップと、
    少なくとも、第１の視野を有するように構成された第１のカメラ、又は、第２の視野を有するように構成された第２のカメラを、前記第１の観察スクリーン及び前記第２の観察スクリーンに対して、固定するステップと、
    （ｉ）前記第１の目又は前記第２の目の少なくとも一方によって観察されるべき前記第１の観察スクリーン又は前記第２の観察スクリーンの少なくとも一方に表示されるべき器具アイコンを生成する、及び、（ｉｉ）前記第１の目又は前記第２の目の少なくとも一方によって観察されるべき前記第１の観察スクリーン又は前記第２の観察スクリーンの少なくとも一方に、少なくとも１つのキャプチャされたリアルタイム画像を表示するように命令を実行するためにプロセッサシステムを動作させるステップと、を含む、方法。
39. 器具に固定された器具追跡デバイスを、少なくとも前記第１のカメラ又は第２のカメラの視野内に、配置するステップと、
    少なくとも前記第１のカメラ又は前記第２のカメラによって観察可能であるように対象マーカを配置するステップと、
    命令を更に実行するために前記プロセッサシステムを動作させるステップと、を更に含み、（ｉ）前記対象マーカに関連する前記器具追跡デバイスの観察に関して、前記第１のカメラからの第１の信号、又は前記第２のカメラからの第２の信号、に基づいて、前記対象マーカに関連する前記器具追跡デバイスの相対位置を決定するためであり、前記生成された器具アイコンは、前記決定された相対位置に基づいて表示される、請求項３８に記載の方法。
40. 処置を実行し、その間、前記対象、前記器具アイコン、又は、前記キャプチャされたリアルタイム画像のうちの少なくとも２つを同時に観察するステップを更に含む、請求項３９に記載の方法。

Images