JP2022553385A - Ｅｎｔ処置の可視化システム及び方法 - Google Patents

Abstract

可視化システムは、ＥＮＴ処置中に使用するための画像誘導手術ナビゲーションシステムと共に実装され得る。手術経路及び術前画像スライスなどの相関データセットは、処置中に参照するためにナビゲーションシステムの座標系と相関させることができる。外科医は、患者の解剖学的構造が見える透明な画面を有するヘッドマウントディスプレイ（「ＨＭＤ」）を装着し得る。患者の解剖学的構造に対するヘッドマウントディスプレイの配向及び距離は、磁気位置追跡、ＨＭＤのカメラによってキャプチャされた画像の画像分析、又はその両方を使用して決定され得る。次いで、相関データセットは、相対距離及び配向に基づいて変換され得、直視された患者の解剖学的構造にオーバーレイするように、透明スクリーンを介して表示され得る。いくつかの実装態様は、患者を追跡し、ＨＭＤの視点を決定するのを助けるために、患者追跡アセンブリと統合された光学基準を含み得る。

Description

（優先権）
本出願は、２０１９年１０月２４日に出願された「Visualization System and Method for ENT Procedures」と題される米国特許仮出願第６２／９２５，４４１号に対する優先権を主張するものである。

画像誘導手術ナビゲーションシステムは、手術部位又は他の患者の解剖学的構造の追加情報及び視覚的視点を提供するために、外科処置中に使用される。これは、手術部位の術前画像（例えば、ＣＴ画像）を様々な視点から表示することを含み得、また、処置中に外科用器具が通る計画された経路などの静的情報、並びに外科用器具の遠位先端の現在の場所などの動的情報を示すために、そのような表示された画像上にマーカをオーバーレイすることを含み得る。そのような情報は、外科用器具が患者の体内の特定の場所にナビゲートされる精度及び安全性を改善するために使用され得る。

画像誘導手術中に利用可能な追加情報の幅広さを考えると、外科医又は他の施術者は、手術部位のビューの間を切り替えるうちに、又は患者の解剖学的構造の直視と患者の解剖学的構造のシミュレートされた画像の観察との間を切り替えるうちに、ときどき空間的に混乱する場合がある。例えば、いくつかのケースでは、外科医は、画像誘導手術ナビゲーションシステムのディスプレイで患者の頭部の軸方向ビューのＣＴスライスを見ながら、時折、患者の頭部を直視することもあり得る。そのような場合、外科医は、それらの直接知覚と軸方向ビューとの間で方向感覚を失い、空間的かつ方向的な対応を決定することが不可能になり得、患者の頭部内での外科用器具の誤った動きをもたらし得る。

ＥＮＴ処置のために、いくつかのシステム及び方法が作られ、使用されてきたが、本発明の発明者ら以前に、添付の特許請求の範囲に述べた発明を作り、又は使用した者はいないと考えられる。

本明細書に組み込まれ、かつその一部をなす添付の図面は、本発明の実施形態を例示するものであり、上記の本発明の一般的な説明、及び以下の実施形態の詳細な説明とともに、本発明の原理を説明する役割を果たすものである。
例示的な医療処置チェアに着座した患者に使用される例示的な手術ナビゲーションシステムの概略図を示す。 図１の患者に配置された例示的な患者追跡装置の概略図を示す。 図２Ａに示されるような例示的な患者追跡装置の斜視図を示す。 図１の手術ナビゲーションシステムと共に使用可能な例示的な観察装置の概略図を示す。 図３に示される１つの例示的な観察装置の斜視図を示す。 ＥＮＴ処置の可視化を提供するために、図１の手術ナビゲーションシステムを用いて実行され得る例示的な１組の工程のフローチャートを示す。 ＥＮＴ処置の可視化中に提供され得る、患者の顔の正面図を示す例示的なインターフェースを示す。 ＥＮＴ処置の可視化中に提供され得る、患者の顔の側面図を示す例示的なインターフェースを示す。 ＥＮＴ処置の可視化中に提供され得る患者の顔の斜視図を示す例示的なインターフェースを示す。 図１の手術ナビゲーションシステムと共に使用可能な例示的なコンピュータ断層撮影（ＣＴ）画像を示す。 ＥＮＴ処置の可視化中に提供され得る、ＣＴ画像がオーバーレイされた患者の顔の正面図を示す例示的なインターフェースを示す。 ＥＮＴ処置の視覚化中に提供され得る、ＣＴ画像がオーバーレイされた患者の顔の側面図を示す例示的なインターフェースを示す。 ＥＮＴ処置の可視化中に提供され得る、ＣＴ画像がオーバーレイされた患者の顔の斜視図を示す例示的なインターフェースを示す。 三次元座標系内のカメラ及び患者の頭部の相対的な位置及び配向を示す概略図を示す。

図面は、いかなる方式でも限定することを意図しておらず、本発明の様々な実施形態は、図面に必ずしも描写されていないものを含め、他の様々な方式で実施し得ることが企図される。本明細書に組み込まれ、かつその一部をなす添付図面は、本発明のいくつかの態様を例示するものであり、説明共に本発明の原理を説明する役割を果たすものである。しかしながら、本発明が、示される正確な配置に限定されない点は理解される。

本発明の特定の実施例の以下の説明は、本発明の範囲を限定するために使用されるべきではない。本発明の他の実施例、特徴、態様、実施形態、及び利点は、本発明を実施するために想到される最良の形態の１つを実例として示す以下の説明文より、当業者には明らかとなろう。理解されるように、本発明は、いずれも本発明から逸脱することなく、他の異なるかつ明白な態様が可能である。したがって、図面及び説明は、限定的なものではなく、本質的に例示的なものと見なされるべきである。

本開示を明確にするために、本明細書において、「近位」及び「遠位」という用語は、遠位外科用エンドエフェクタを有する外科用器具を握持する外科医又は他の操作者に対して定義される。「近位」という用語は、外科医のより近くに配置された要素の位置を指し、「遠位」という用語は、外科用器具の外科用エンドエフェクタのより近くにかつ外科医からより遠くに配置された要素の位置を指す。また、図面を参照して「上部」、「下部」、「垂直」、「水平」などの空間的用語が本明細書で使用される限り、このような用語は例示的な記述目的にのみ使用されて、限定も絶対も意図していないことが理解されるであろう。その点において、本明細書に開示されるものなどの外科用器具を、本明細書で図示及び記載するものに限定されない様々な向き及び位置で使用してもよいことが理解されよう。

本明細書で使用される場合、任意の数値又は範囲の「約」又は「およそ」という用語は、構成要素の部分又は集合が、本明細書で記載されているその本来の目的のために機能することを可能とするような好適な寸法の許容範囲を示すものである。

Ｉ．例示的な画像誘導手術ナビゲーションシステム
患者（Ｐ）の頭部（Ｈ）内で医療処置を実施するとき、特に器具が患者（Ｐ）の頭部（Ｈ）内の器具の作業要素の内視鏡視野を得ることが困難又は不可能である場所にある場合に、患者（Ｐ）の頭部（Ｈ）内の器具の位置に関する情報を有することが望ましい場合がある。図１は、画像誘導を用いてＥＮＴ処置を実行することを可能にする例示的なＩＧＳナビゲーションシステム（１０）を示す。本明細書に記載されている構成要素及び動作性を有することに加えて、あるいはそれに代えて、ＩＧＳナビゲーションシステム（１０）は、以下の文献の教示の少なくとも一部に従って構成され、動作可能であり得る。すなわち、米国特許第７，７２０，５２１号、発明の名称「Ｍｅｔｈｏｄｓ ａｎｄ Ｄｅｖｉｃｅｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｐｒｏｃｅｄｕｒｅｓ ｗｉｔｈｉｎ ｔｈｅ Ｅａｒ，Ｎｏｓｅ，Ｔｈｒｏａｔ ａｎｄ Ｐａｒａｎａｓａｌ Ｓｉｎｕｓｅｓ」（２０１０年５月１８日発行）（開示内容は参照により本明細書に組み込まれている）、米国特許出願公開第２０１４／０３６４７２５号、発明の名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｉｍａｇｅ Ｇｕｉｄｅｄ Ｐｒｏｃｅｄｕｒｅｓ ｗｉｔｈｉｎ ｔｈｅ Ｅａｒ，Ｎｏｓｅ，Ｔｈｒｏａｔ ａｎｄ Ｐａｒａｎａｓａｌ Ｓｉｎｕｓｅｓ」（２０１４年１２月１１日公開）（開示内容は参照により本明細書に組み込まれている）。

本実施例のＩＧＳナビゲーションシステム（１０）は、磁界発生器アセンブリ（２０）を含み、磁界発生器アセンブリ（２０）は、馬蹄形フレーム（２２）に組み込まれた磁界発生器（２４）のセットを含む。磁界発生器（２４）は、患者（patient、Ｐ）の頭部（head、Ｈ）の周りに異なる周波数の交流磁場を発生して、ＩＧＳナビゲーションシステム（１０）が座標系を関連付ける被追跡エリアを生成するように動作可能である。この実施例では、ナビゲーションガイドワイヤ（４０）が患者（Ｐ）の頭部（Ｈ）に挿入される。ナビゲーションガイドワイヤ（４０）は、独立型装置であってもよく、又は外科用切断器具若しくは拡張器具などの医療器具のエンドエフェクタ又は他の箇所に位置付けられてもよい。本実施例では、フレーム（２２）が椅子（３０）に装着され、フレーム（２２）が患者（Ｐ）の頭部（Ｈ）に隣接して位置するように患者（Ｐ）は椅子（３０）に着座する。単に一例として、椅子（３０）及び／又は磁界発生器アセンブリ（２０）は、米国特許第１０，５６１，３７０号、発明の名称「Ａｐｐａｒａｔｕｓ ｔｏ Ｓｅｃｕｒｅ Ｆｉｅｌｄ Ｇｅｎｅｒａｔｉｎｇ Ｄｅｖｉｃｅ ｔｏ Ｃｈａｉｒ」（２０２０年２月１８日発行）（開示内容は参照により本明細書に組み込まれている）の教示の少なくとも一部に従って構成され、動作可能であり得る。

本実施例のＩＧＳナビゲーションシステム（１０）は、更に、プロセッサ（１２）を含み、プロセッサ（１２）は、ＩＧＳナビゲーションシステム（１０）の磁界発生器（２４）及び他の要素を制御する。例えば、プロセッサ（１２）は、磁界発生器（２４）を駆動して交流電磁界を生成し、ナビゲーションガイドワイヤ（４０）からの信号を処理して患者（Ｐ）の頭部（Ｈ）内におけるナビゲーションガイドワイヤ（４０）内のセンサの場所を判定するように動作可能である。プロセッサ（１２）は、１つ又は２つ以上のメモリと通信する処理ユニット（例えば、組み合わせ論理回路又は他の類似の回路を使用してソフトウェア命令を評価及び実行するように構成された１組の電子回路）を備える。本実施例のプロセッサ（１２）は、キーパッド及び／又はマウス若しくはトラックボールなどのポインティングデバイスを含む動作制御部（１４）を含むコンソール（１８）内に装着されている。医師は、外科処置を実行しながら、プロセッサ（１２）と相互作用する動作制御部（１４）を使用する。

ナビゲーションガイドワイヤ（４０）は、磁界発生器（２４）によって生成された交流電磁界内の測位に反応するセンサ（図示せず）を含む。連結ユニット（４２）はナビゲーションガイドワイヤ（４０）の近位端に固定され、コンソール（１８）とナビゲーションガイドワイヤ（４０）との間のデータ及び他の信号の通信を提供するように構成されている。連結ユニット（４２）は、データ及び他の信号の有線又は無線通信を提供することができる。

本例では、ナビゲーションガイドワイヤ（４０）のセンサは、ナビゲーションガイドワイヤ（４０）の遠位端に少なくとも１つのコイルを含む。かかるコイルが磁界発生器（２４）によって生成された交流電磁界の中に置かれると、交流磁界がコイルの中に電流を生成し得、この電流は、ナビゲーションガイドワイヤ（４０）内の導電路（単数又は複数）に沿って、連結ユニット（４２）を介してプロセッサ（１２）に更に伝送され得る。この現象により、ＩＧＳナビゲーションシステム（１０）は、三次元空間内（すなわち、患者（Ｐ）の頭部（Ｈ）内など）におけるナビゲーションガイドワイヤ（４０）又は他の医療器具（拡張器具、外科用切断器具など）の遠位端の場所を判定することができる。これを実現するため、プロセッサ（１２）は、ナビゲーションガイドワイヤ（４０）の遠位端の位置座標を、ナビゲーションガイドワイヤ（４０）内のコイル（複数可）の位置関連信号から計算するアルゴリズムを実行する。この例では、位置センサが、ガイドワイヤ（４０）内に位置しているが、そのような位置センサは、以下でより詳細に説明するものを含む、拡張カテーテル、ガイドカテーテル、ガイドレール、吸入器具、ポインタ器具、位置合わせプローブ、キューレット、患者追跡装置、及び他の器具などの、様々な他の種類の器具に統合することができる。

プロセッサ（１２）は、プロセッサ（１２）のメモリに記憶されたソフトウェアを用いて、ＩＧＳナビゲーションシステム（１０）を較正し及び動作させる。このような動作は、磁界発生器（２４）を駆動することと、ナビゲーションガイドワイヤ（４０）からのデータを処理することと、動作制御部（１４）からのデータを処理することと、ディスプレイスクリーン（１６）を駆動することと、を含む。いくつかの実装形態では、動作はまた、ＩＧＳナビゲーションシステム（１０）の１つ以上の安全機構又は機能の監視及び施行も含み得る。プロセッサ（１２）は、患者の頭部（Ｈ）のビデオカメラ画像、患者の頭部（Ｈ）のＣＴスキャン画像、及び／又は患者の鼻腔内及び患者の鼻腔に隣接する解剖学的構造のコンピュータ生成三次元モデル、に関してナビゲーションガイドワイヤ（４０）の遠位端の位置を示すディスプレイスクリーン（１６）を介して、リアルタイムで動画を提供するように更に動作可能である。ディスプレイスクリーン（１６）は、外科処置中にこのような画像を同時に及び／又は互いに重ね合わせて表示し得る。そのようなディスプレイ画像は、また、操作者がリアルタイムでその実際の場所にある器具の仮想レンダリングを見ることができるように、ナビゲーションガイドワイヤ（４０）などの、患者の頭部（Ｈ）に挿入された器具のグラフィカル表現を含み得る。単に一例として、ディスプレイスクリーン（１６）は、米国特許第１０，４６３，２４２号、発明の名称「Ｇｕｉｄｅｗｉｒｅ Ｎａｖｉｇａｔｉｏｎ ｆｏｒ Ｓｉｎｕｐｌａｓｔｙ」（２０１９年１１月５日発行）（開示内容は参照により本明細書に組み込まれている）の教示の少なくとも一部に従って画像を提供してもよい。操作者が内視鏡も使用している場合には、内視鏡画像もディスプレイスクリーン（１６）に表示することができる。

ディスプレイスクリーン（１６）によって提供される画像は、器具がナビゲーションワイヤ（４０）を組み込んでいる場合、患者の頭部（Ｈ）内の器具を操縦する、及びその他の方法で操作を行う際に操作者を誘導するのに役立ち得る。また、以下に記載するように、手術用器具の他の構成要素及び他の種類の手術用器具は、ナビゲーションガイドワイヤ（４０）のセンサのようなセンサを組み込んでもよいことを理解されたい。

いくつかの実装態様では、ＩＧＳナビゲーションシステム（１０）は、図２Ａに示されるように患者の頭部（Ｈ）又は患者（Ｐ）の別の適切な部分に配置され得る、患者追跡アセンブリ（５０）を含み得る。頭部（Ｈ）をガイドワイヤ（４０）とは別に、ただし同じ座標系内で追跡することによって、ガイドワイヤ（４０）及び頭部（Ｈ）の互いに対する位置及び配向が処置中に決定され得る。これは、頭部（Ｈ）が、座標系内のその初期位置を決定するために位置合わせされるが、その後、処置中に移動する場合に有利であり得る。頭部（Ｈ）を独立して追跡することにより、回転又は他の動きが検出され得、初期位置合わせは、頭部（Ｈ）の新しい位置を考慮して更新され得る。このようにして、オーバーレイされたマーカで頭部（Ｈ）内のガイドワイヤ（４０）の位置を示すＣＴ画像スライスのディスプレイなど、処置中に使用される任意の画像誘導ナビゲーションの特徴は、そのような動きに応答して自動的に更新され得る。患者追跡アセンブリ（５０）の実装態様は、開示内容が参照により本明細書に組み込まれる、２０１７年１２月１４日に出願された米国特許出願公開第２０１９／０１８３５８２号、発明の名称「Ｍｏｕｎｔｅｄ Ｐａｔｉｅｎｔ Ｔｒａｃｋｉｎｇ Ｃｏｍｐｏｎｅｎｔ ｆｏｒ Ｓｕｒｇｉｃａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ」の教示のいずれかに従って、ＩＧＳナビゲーションシステム（１０）と共に構成され、動作可能であり得る。

患者追跡アセンブリ（５０）の一例として、図２Ｂは、ＩＧＳナビゲーションシステム（１０）に容易に組み込まれ得る患者追跡アセンブリ（２００）を示す。患者追跡アセンブリ（２００）は、使い捨て部分（２１０）及び再利用可能部分（２５０）を含む。使い捨て部分（２１０）は、患者の頭部（Ｈ）又は患者の別の好適な部分に（例えば、可撓性接着パッドを使用して）装着するように構成され、例示的な使用中に再利用可能部分（２５０）が患者（Ｐ）の頭部又は別の部分に対して固定されるように、再利用可能部分（２５０）の連結ブロック（２２０）と選択的に連結するように構成され、再利用可能部分（２５０）は、患者（Ｐ）の頭部（Ｈ）の部分を追跡するために、プロセッサ（１２）と通信するように構成されている。

再利用可能部分（２５０）は、連結アセンブリ（２５４）から近位に延在するケーブル（２５２）とセンサ（２５５）とを含む。連結アセンブリ（２５４）は、使用中に再利用可能部分（２５０）を使い捨て部分（２１０）と連結するように適合されている。使い捨て部分（２１０）と適切に連結されると、センサ（２５５）は、追跡される解剖学的構造の場所を決定するために、プロセッサ（１２）と共に利用され得、それにより、プロセッサ（１２）は、例示的な使用中に患者（Ｐ）の解剖学的構造に対するナビゲーションガイドワイヤ（４０）（又は任意の他の好適な器具）の場所を正確に表示し得る。ケーブル（２５２）は、例示的な使用中にセンサ（２５５）とプロセッサ（１２）との間の通信用の導管を提供するように構成されている。したがって、ケーブル（２５２）は、センサ（２５５）が、ケーブル（２５２）を介してプロセッサ（１１０）と有線通信するように直接接続し得る。あるいは、ケーブル（２５２）は、連結ユニット（４２）が、ナビゲーションガイドワイヤ（４０）とプロセッサ（１２）との間の無線通信を確立する方法と同様に、センサ（２５５）を、プロセッサ（１２）と無線通信する無線通信装置に接続し得る。

ＩＩ．ＥＮＴ処置のための例示的な可視化システム
図３は、外科処置中に追加情報及び画像ナビゲーションビューを提供するため、ＩＧＳナビゲーションシステム（１０）と共に実装され得る可視化システム（６０）を示す。特に、可視化システム（６０）は、ほぼリアルタイムで処置中にキャプチャされた患者の画像上にオーバーレイされる、拡張現実ビューに情報を表示するナビゲーションビューを提供し得る。これは、有利には、外科医が処置中に患者を見る代わりにディスプレイスクリーン（１６）又は別のディスプレイを見る頻度及び必要性を低減し得、また、外科医が、物理的世界と、ＩＧＳナビゲーションシステム（１０）によって提供される画像ナビゲーションビューとの間で自分自身を空間的に配向するのに役立ち得る。

可視化システム（６０）は、以下により詳細に説明されるように、ヘッドマウントディスプレイ（「ＨＭＤ」）（１００）、ハンドヘルドディスプレイ（「ＨＨＤ」）（１０１）、又は別の同様の装置のうちの１つ以上を、画像誘導外科処置中にＩＧＳナビゲーションシステム（１０）と通信するように構成することによって、ＩＧＳナビゲーションシステム（１０）と共に実装され得る。図４は、外科医、又は画像誘導外科処置にかかわる他のユーザの顔に装着され得るフレーム（１０２）を含む、ＨＭＤ（１００）の斜視図を示す。フレーム（１０２）に取り付けられたケース（１０８）が示されているが、ケース（１０８）は、他の場所に装着されるか又は取り付けられ、フレーム（１０２）に取り付けられた装置との有線又は無線接続を介して、それらの装置と連結されてもよい。ケース（１０８）は、ＨＭＤ（１００）の視点、場所、又はその両方を示す空間的情報を提供するように動作可能な視点センサ（１１０）を含む。視点センサ（１１０）は、例えば、ジャイロスコープ、加速度計、又は位置センサ（例えば、ガイドワイヤ（４０）のセンサなど）のうちの１つ以上を含み得る。視点センサ（１０８）からの情報は、フレーム（１０２）に取り付けられたカメラ（１０６）の視覚的視点の１つ以上の態様を決定するために使用可能であり得、これは、以下により詳細に説明されるように、カメラ（１０６）の光軸の配向（例えば、１つ以上の軸に対する回転座標）、ＩＧＳナビゲーションシステム（１０）の座標系に対するカメラ（１０６）の場所（例えば、１つ以上の軸の位置座標）、又はその両方を決定することを含み得る。

ケース（１０８）は、また、プロセッサ（１２）又は他の装置と通信することができる有線又は無線トランシーバであり得る通信装置（１１２）と、ＨＭＤ（１００）の機能に関連するデータを処理及び記憶し、機能を実行するように構成されたプロセッサ及びメモリ（１１４）と、を含む。電源（１１６）も含まれ、電源（１１６）は、電池又は外部電源への接続であってもよく、プロセッサ及びメモリ（１１４）、通信装置（１１２）、カメラ（１０６）、ディスプレイ（１０４）、並びにＨＭＤ（１００）の他の構成要素に電力を提供するように構成されている。

装着時に、フレーム（１０２）は、フレーム（１０２）及び／又はケース（１０８）に取り付けられたカメラ（１０６）を、装着者が真っ直ぐ前を見たときにカメラの光軸が装着者の目の光軸と実質的に平行になるように位置付ける。本明細書で使用される場合、「中立光軸」という用語は、ＨＭＤ（１００）の装着者が実質的に真っ直ぐ前を見たときに（例えば、目の瞳孔が、眼窩内で垂直及び水平の両方で実質的に中心にある場合）、装着者の目の光軸を指し得る。このようにして、カメラ（１０６）は、ＨＭＤ（１００）の装着者の視界と同様の視界を有する画像をキャプチャする。一例として、カメラ（１０６）は、装着者の右目の視界の一部又は全てを含む画像をキャプチャし得、カメラ（１０６）は、装着者が真っ直ぐ前を見ているときに最も近接して位置付けられる。カメラ（１０６）は、本開示に照らして当業者には明らかであるように、画像、ビデオ、及びオーディオをキャプチャすることが可能であり得、それらの画像、ビデオ、及びオーディオは、プロセッサ及びメモリ（１１４）によって記憶され、通信装置（１１２）を介してプロセッサ（１２）に送信されるか、又は別の装置に送信されて、表示又は提示され得る。カメラ（１０６）によってキャプチャされた画像データは、例えば、キャプチャされた画像の物体又は他の視覚的特性を識別することを含み得るコンピュータビジョン及び他の分析にも使用され得る。そのような分析は、プロセッサ（１１４）、プロセッサ（１２）、若しくはその両方によって実行されてもよく、又は本開示に照らして当業者には明らかであるように、様々なクラウドコンピューティング若しくはエッジ処理技術を使用して実行されてもよい。

ディスプレイ（１０４）はまた、フレーム（１０２）及び／又はケース（１０８）に取り付けられ、ＨＭＤ（１００）の装着者の視界内にあるように位置付けられる。いくつかの実装態様では、ディスプレイ（１０４）は、透明でない場合は少なくとも部分的に半透明であり、装着者の視界上にオーバーレイされたように見える画像をレンダリングするために、プロセッサ（１１４）によって動作可能である。一例として、ディスプレイ（１０４）は、カメラ（１０６）によってキャプチャされた画像を表示し得、これは、近接した目からの装着者の視界の一部又は全てを遮る場合があるが、それ以外では、その目に対する装着者の通常の視界と同様に見える。別の例として、画像分析は、その画像内の目的の物体（例えば、外科的ナビゲーションの文脈で、人間の顔、又は人間の解剖学的構造の別の部分）を識別するために、キャプチャされた画像に対して実行されてもよく、ディスプレイ（１０４）は、装着者にとって、識別された物体の直接ビュー上にオーバーレイされている（例えば、ディスプレイ（１０４）の透明部分を通して見える）ように見える視覚的マーカをレンダリングするように動作され得る。上記のいくつかの実装形態では、光学マーカ又は他の基準マーカは、人間の顔自体ではなく、人間の顔に配置された光学マーカが識別され得るように、それらの反射性、形状、又は他の視覚的特性により、容易に識別可能な物体を有する画像データを提供するために、目的の物体上に配置され得る。

更に別の例として、ディスプレイ（１０４）は、画像分析若しくはマシンビジョンの代わりに、又はそれに加えて、他の入力に基づいて、装着者の視界の直接ビューにオーバーレイする視覚的マーキングをレンダリングするように動作され得る。これは、例えば、視点センサ（１１０）、プロセッサ（１２）、患者追跡装置（５０）（例えば、プロセッサ（１２）との通信を介する）、及び他の装置からの情報に基づいて、視覚的マーキングをレンダリングすることを含み得る。これは、ＨＭＤ（１００）の回転視点に関連付けられた情報（例えば、視点センサ（１００）のジャイロスコープ特徴に基づく）を提供する視覚的マーキングをレンダリングすることを含み得る。別の例として、これは、外科用器具及びＨＭＤ（１００）に関連付けられた追跡情報に基づいて、外科用器具（例えば、ガイドワイヤ（４０））をオーバーレイする視覚的マーキングをレンダリングすることを含み得る。言い換えれば、プロセッサ（１２）が、外科用器具及びＨＭＤ（１００）の相対位置を追跡及び決定することができ、ＨＭＤ（１００）の配向が（例えば、視点センサ（１１０）を使用して）決定され得る場合、追跡された物体の互いに対する位置及びスケールが決定され、ディスプレイ（１０４）を介してレンダリングされたマーキングとして生成され得る。

本開示に照らして当業者には明らかであるように、上記の特徴の一部又は全ては、ディスプレイ（１０４）以外の他のディスプレイを用いて実行されてもよい。例えば、いくつかの実装態様では、別個のディスプレイ（例えば、ディスプレイスクリーン（１６）又は部屋全体から見える壁取り付けディスプレイ）は、カメラ（１０６）からキャプチャされた画像、及び追加され得る任意のマーキング、レンダリング、又は他のオーバーレイデータを受信し、表示するように構成され得る。そのような実装態様では、ディスプレイ（１０４）は、オーバーレイ画像のみをレンダリングし得るが、別個のディスプレイは、カメラ（１０６）によってキャプチャされた画像及び任意の対応するオーバーレイ画像の組み合わせをレンダリングし得る。これにより、ＨＭＤ（１００）の装着者に加えて、処置の他の参加者が、追加のナビゲーションビューを見ることが可能になり得る。いくつかのそのような実装態様では、ＨＭＤ（１００）は、ディスプレイ（１０４）を含まなくてもよく、キャプチャされた画像とレンダリングされたオーバーレイとの組み合わせは、ディスプレイスクリーン（１６）又は患者の近くに位置付けられた別のディスプレイで見ることが可能であり得る。

ＨＨＤ（１０１）は、ＨＭＤ（１００）の能力の一部又は全てを共有し得、例えば、スマートフォン、タブレット、独自の装置、又はデータを処理及び記憶する、機能を実行する、データを送受信する、画像をキャプチャする、空間情報（例えば、配向、場所、又はその両方）を提供するなどの能力を有する他のハンドヘルドコンピューティング装置であり得る。ＨＨＤ（１０１）のディスプレイは、一般に、ＬＥＤ又はＬＣＤディスプレイであり得、したがって、ディスプレイ（１０４）で可能であるように、物体が直接見える透明な表面上にレンダリングされたマーキングをオーバーレイすることはできない場合がある。いくつかの実装態様では、ＨＭＤ（１００）又はＨＨＤ（１０１）は、追加の能力を含むように修正されてもよい。例えば、ＨＭＤ（１００）のいくつかの実装態様は、ＩＧＳナビゲーションシステム（１０）の座標系に対して自己位置を決定する能力を含まない場合がある。そのような場合、センサがＨＭＤ（１００）上に（例えば、外部又は内部に）取り付けられてもよく、ＨＭＤ（１００）が、ガイドワイヤ（４０）及び患者追跡アセンブリ（５０）と同様に、ＩＧＳナビゲーションシステム（１０）と相互作用し、ＩＧＳナビゲーションシステム（１０）によって追跡されることを可能にする。したがって、視点センサ（１１０）の能力は、デフォルトでＨＭＤ（１００）に存在する能力、並びに後で追加され得る能力の両方を、それらがケース（１０８）内にあるか又はＨＭＤ（１００）の外側に取り付けられているかにかかわらず含み得る。

いくつかの実装態様では、ＨＭＤ（１００）の配向及び場所を示す情報は、複数のソースから入手可能であり得る。一例として、視点センサ（１１０）は、回転配向を決定することができるジャイロスコープ特徴を含んでもよく、回転配向を決定するためにＩＧＳナビゲーションシステム（１０）による追跡が可能な三軸センサを含むか又は組み込んでもよく、カメラ（１０６）によってキャプチャされた画像内に存在する光学基準を識別するように構成されてもよい。そのような例では、処理構成要素（例えば、プロセッサ（１１４）、プロセッサ（１２）、又は他のプロセッサ）は、本開示に照らして当業者には明らかであるように、性能及び精度を均衡させることによって、様々な方法で配向又は場所を決定するように構成され得る。例えば、いくつかの実装態様は、性能を重視するために、ＨＭＤ（１００）自体からのジャイロスコープ情報又はＩＧＳナビゲーションシステム（１０）からの追跡情報のみに基づいて配向又は場所を決定してもよく、他の実装態様は、いくつかの性能の潜在コスト（例えば、あるとすれば、ＨＭＤ（１００）の配向又は場所が変わることと、新しい配向又は場所の決定が完了することとの間の遅延）でより高い精度を達成する目的で、ジャイロスコープ、磁気追跡、及び画像分析情報の組み合わせを使用してもよい。

可視化システム（６０）は、ＨＭＤ（１００）又はＨＨＤ（１０１）のユーザ、又はカメラ（１０６）からの画像及び任意の対応するオーバーレイレンダリングを表示するように構成されている他のディスプレイの観察者に、追加のナビゲーションビュー及び他のフィードバックを提供するために、外科的ナビゲーション中に追加の入力及び情報が収集され、使用されることを可能にする。可視化システム（６０）がない場合、ＩＧＳナビゲーションシステム（１０）で利用可能な有用な情報は幅広く存在するが、その大部分は、術前画像（例えば、術前撮像、ＣＴ、ＭＲＩ、又は超音波画像セットから生成された３Ｄ患者モデル）に関連して使用又は表示されることに限定される。

一例として、ＩＧＳナビゲーションシステム（１０）は、外科医が、処置の前に患者のＣＴ画像のセットを見て、外科医が処置中に１つ以上の外科用器具をナビゲートする手術計画又は手術経路の構想を練ることを可能にし得る。その後、処置中に、手術経路は、ＣＴ画像セット上にオーバーレイされ、ディスプレイスクリーン（１６）を介して表示され、外科医が、必要に応じて、限られた数のビュー（例えば、軸方向、冠状、矢状）とスライスとの間を切り替えることを可能にする。別の例として、処置中に、外科用器具（例えば、ガイドワイヤ（４０））も追跡され、同様にＣＴ画像セット上に表示され得る。一緒に表示されると、外科医は、外科用器具の追跡された位置と、互いに対する計画された手術経路とを相互に関連付けて示すＣＴ画像を見ることが有益であると感じる可能性ある。

有用であるが、外科医は、近くのディスプレイ装置を見るために患者から目を離す必要がある場合があるため、上記の特徴は、外科医の注意を患者からそらし得る。また、患者に対する外科医の実際の場所が変わっていないため、軸方向ビュー、冠状ビュー、矢状ビューの間で切り替えたときに方向感覚を失い得る。例えば、外科医は、患者の頭部の軸方向平面ＣＴ画像を見ている可能性があり、視線を患者に戻したときは、患者の頭部の矢状面を見ている可能性がある。外科用器具、手術経路、並びに近くの解剖学的空洞及び構造の場所及び配向など、ＣＴ画像に表示される情報を使用するために、外科医は、外科用器具をナビゲートする方向を知るために、最初に頭の中で軸方向面から矢状面に変換するか、又は軸方向面の空間的理解を矢状面に関係付ける必要がある。このプロセスは、精神的に負担がかかる可能性があり、処置中に貴重な時間を消費する場合があり、また、外科用器具の誤ったナビゲーションをもたらし得る。

これに対処するために、可視化システム（６０）は、座標系及び関連付けられた情報を、ＨＭＤ（１００）の装着者によって知覚される物理的世界に関係付けるためのフレームワークを提供する。そのような関連情報としては、例えば、ＣＴ画像、構成された手術経路、リアルタイムの外科用器具追跡、リアルタイムの患者追跡、調査若しくは回避されるべき領域を示す構成された目的点、及び本明細書では相関データセットと総称され得る、ＩＧＳナビゲーションの座標系に相関され得る他の同様の情報が挙げられ得る。

関係付けられると、これらの相関データセットは次いで、ディスプレイスクリーン（１６）又は別の近くのディスプレイのみに表示される代わりに、患者を直接見ているときに利用可能であるように、ディスプレイ（１０４）を介して表示され得る。外部ディスプレイを参照する必要性を低減することに加えて、そのような実装態様は、ＨＭＤ（１００）の装着者が、マウス又はキーボードを使用して画像スライスを順に進めていくか、観察可能な平面間を切り替えるか、又は３Ｄモデルを回転させる代わりに、患者に対する視点を変えることにより、相関データセットをブラウズ又はナビゲートすることを可能にする。例えば、追跡された外科器具の場所及び手術経路の場合、外科医は、マウス又はキーボードインターフェースを使用して、ＣＴ画像スライスを順に進めていき、ＣＴ画像平面間を移動することに制限されるのではなく、異なる角度からの移動及び観察によって異なる視点から患者の頭部内の器具の場所及び手術経路のレンダリングされたオーバーレイを見ることができ得る。

上記の例示的な実装態様として、図５は、ＨＭＤ（１００）又は別の観察装置を介して相関データセットをレンダリングし表示するために、可視化システム（６０）を用いて実行され得る１組の工程（３００）を示し、図６Ａ～図６Ｃ及び図７Ａ～図７Ｃは、可視化システム（６０）を用いて表示又は観察され得る例示的なインターフェースを示す。患者を処置のために位置付けた後、患者は位置合わせされ（ブロック３０２）、患者追跡アセンブリ（５０）を含む実装態様では、ＩＧＳナビゲーション座標系内で追跡され得る。患者の位置合わせは、位置合わせプローブ又は他の装置を使用して、患者の解剖学的構造に対応する複数の場所を有する座標系を提供することを含み得るか、患者追跡アセンブリ（５０）を配置、較正、及び使用することを含み得るか、若しくはその両方を含み得るか、又は他の位置合わせ技術を含み得る。位置合わせ（ブロック３０２）はまた、ガイドワイヤ（４０）及び他の追跡可能な外科用器具などの他の装置及び器具を位置合わせ及び追跡することも含み得る。位置合わせ（ブロック３０２）は、ＨＭＤ（１００）を位置合わせ及び追跡することも含み得、ＨＭＤ（１００）は、ＩＧＳナビゲーションシステム（１０）によって位置的に追跡されることができる。

ＩＧＳナビゲーションシステム（１０）はまた、患者及び処置に関連付けられた１つ以上の相関データセットを受信し得（ブロック３０４）、相関データセットは、患者の解剖学的構造の術前画像（例えば、ＣＴ、ＭＲＩ、及び超音波画像セット）、事前構成された手術計画及び手術経路、並びにＩＧＳナビゲーション座標系に関連付けられ得る他の事前構成された又は術前にキャプチャ若しくは生成されたデータセットを含み得る。受信された（ブロック３０４）相関データセットはまた、ガイドワイヤ（４０）及び他の追跡される外科用器具の場所を示す位置追跡データ、並びにＨＭＤ（１００）の場所を示す位置追跡データなど、処置中にリアルタイムでキャプチャされ、次いで、座標系に関連付けられるデータを含み得る。

ＨＭＤ（１００）又は別の装置（例えば、ＨＨＤ（１０２））が可視化システム（６０）と共に使用される場合、記載されているように、画像は、カメラ（１０６）によってキャプチャされ得る（ブロック３０６）。いくつかの実装態様では、画像は、常にカメラ（１０６）の構成されたフレームレートに基づいてキャプチャされ（ブロック３０６）、そのため、それぞれの後続の画像は、ＨＭＤ（１００）の装着者の動きに基づいて、前の画像からわずかに変化し得る。キャプチャされた（ブロック３０６）画像は、プロセッサ及びメモリ（１１４）によって格納され得、プロセッサ（１２）又は別の装置に送信され得る。

画像がキャプチャされると（ブロック３０６）、可視化システム（６０）は、解剖学的構造に対するＨＭＤ（１００）の配向を繰り返し決定し（ブロック３０８）、解剖学的構造に対するＨＭＤ（１００）の距離を繰り返し決定し得る（ブロック３１０）。これらの決定（ブロック３０８、ブロック３１０）は、本開示に照らして当業者には明らかであるように、連続的に、かつ独立して行われてもよく、又はキャプチャされた（ブロック３０６）画像ごとに１対１の基準で（例えば、カメラ（１０６）は、１秒ごとに３０枚の画像又はフレームをキャプチャする場合、可視化システム（６０）は、それぞれの画像に対して１回ずつ、１秒ごとに３０回配向（ブロック３０８）及び距離（ブロック３１０）を決定することになる）若しくは何らかの他の対応で（例えば、可視化システムは、キャプチャされた（ブロック３０６）画像３枚ごとに１回、配向（ブロック３０８）及び距離（ブロック３１０）を決定するように構成され得る）行われてもよい。

配向（３０８）及び距離（３１０）は、すでに説明されているように、様々な方法で決定され得る。例えば、いくつかの実装態様では、ＨＭＤ（１００）及び患者の頭部（Ｈ）のそれぞれは、ＩＧＳナビゲーションシステム（１０）によって位置的及び配向的に追跡され得、距離及び配向は、ＩＧＳナビゲーション座標系を使用して決定され得る。いくつかの実装態様では、配向及び／又は距離は、ＨＭＤ（１００）の視点センサ（１１０）を使用して決定され得る。

いくつかの実装態様では、配向及び／又は距離は、特定の物体（例えば、光学基準）又は患者の解剖学的構造（例えば、目）を識別するために、キャプチャされた（ブロック３０６）画像の画像分析を使用して決定され得る。例えば、特に予測可能なサイズ、形状、及び他の特性を有する光学基準の場合、光学基準を含む画像の画像分析は、光学基準が見られる距離及び視点を示し得る。図６Ａを参照すると、患者の頭部（Ｈ）に配置されている患者追跡アセンブリ（２００）が見て取れる。１つ以上の光学基準（２３０、２３２）は、所望に応じて、患者追跡アセンブリ（２００）上か、又は他の場所に配置されてもよい。

画像内の光学基準（２３０）の外観は、画像がキャプチャされた視点（例えば、光学基準（２３０）は、図６Ａに示されるように見たときに円として現れるが、観察者が左又は右に移動すると、楕円形として現れ得る）、並びに距離（例えば、光学基準は２ｃｍの直径を有し得る）の指標を提供する。光学基準（２３０）が、十分な複雑さの非対称形状を有する場合、又は光学基準（２３０）の表面が、十分な複雑さのパターン又は他の可視特性を有する場合、単一の基準は、配向及び距離を完全に決定するのに十分な情報を提供し得る。

加えて、図６Ａに示されるように、いくつかの光学基準（２３０、２３２）が使用される場合、他の基準に対するそれぞれの基準の見かけの位置が、配向の指標として使用され得る。したがって、追跡アセンブリ（２００）又は頭部（Ｈ）上に２つ以上の光学基準を配置することが有利であり得る。いくつかの実装態様では、製造時に１つ以上の基準が追跡アセンブリ（２００）の表面に統合され得、これは有利には、その後の基準ベースの配向及び距離の決定を支援するために使用され得る、互いからの静的な既知の位置付け及び距離を示し得る。

説明されているように、実装態様は、配向（ブロック３０８）及び距離（ブロック３１０）を決定するために取られ特定のアプローチで異なる場合があり、いくつかの実装態様は、ＩＧＳナビゲーション座標系内でそれぞれの目的の物体を追跡することに完全に依存してもよいが、他の実装態様は、その結果の精度、性能、又は他の特性を改善するために、そのような追跡と、光学基準の画像分析又は他の技術とを組み合わせてもよい。したがって、開示された方法及び他の方法の様々な組み合わせが存在し、配向（ブロック３０８）及び距離（ブロック３１０）を決定するための様々な利点を提供することになり、そのような組み合わせは、本開示に基づいて当業者には明らかであることを理解されたい。

観察された解剖学的構造に対する距離及び配向が決定された後は、その距離及び配向を使用して、相関データセットが、観察された解剖学的構造のレンダリングされたオーバーレイとしてディスプレイ（１０４）を介して表示され得るように、又はキャプチャされた画像のレンダリングされたオーバーレイとして別の装置を介して表示され得るように変換され得る。相関データセット変換としては、例えば、キャプチャされた（ブロック３０６）画像のスケール及び視点に一致するように手術経路を変換すること（ブロック３１２）、キャプチャされた（ブロック３０６）画像のスケール及び視点に一致するようにＣＴ画像又は他の画像タイプを変換すること（ブロック３１４）、キャプチャされた（ブロック３０６）画像のスケール及び視点に一致するように外科用器具の遠位先端の追跡位置を変換すること（ブロック３１５）、及び他の変換が挙げられ得る。図５の文脈内で論じられているが、手術経路、ＣＴ画像、及び追跡される外科用ツールは、受信された（ブロック３０４）相関データセット内に存在する必要がないことを理解されたい。

相関データセットの変換は、相関データセットに表される特定のデータに応じて様々になる。例えば、図８を参照すると、システムが、患者の頭部（Ｈ）上のＣＴ画像スライスの一部又は全てをオーバーレイするように構成されている場合、視点（５０２）（例えば、カメラ（１０６）のレンズ）と観察点（５０４）（例えば、カメラ（１０６）の光軸と交差する座標系内の最初の点、ボクセル、又は他の物体）との間の距離（５０６）を使用して、ＣＴ画像スライスがディスプレイ（１０４）を介して表示されるスケールを変換し、制御するためのスケーリング係数が決定され、適用され得る。ＨＭＤ（１００）の装着者が頭部（Ｈ）に向かって移動すると、距離（５０６）は減少し、表示されるＣＴ画像スライスのスケールは増大する。同様に、頭部（Ｈ）から離れる動きによって、距離（５０６）が増加し、表示されるＣＴ画像スライスのスケールは縮小される。このようにして、スケーリング係数は、距離（５０６）に基づいて、その距離での頭部（Ｈ）の知覚されるサイズに対応するＣＴ画像の適切なサイズのレンダリングを提供するように構成され得る。

上記の例を続けると、観察点（５０４）に対する視点（５０２）の位置は、三次元座標系（５０１）内で、レンダリングするのに適切なＣＴ画像スライスを決定するために使用されてもよく、適切なＣＴ画像スライスを、頭部（Ｈ）上にオーバーレイされ得るように変換するのに使用されてもよい。一例として、いくつかの実装態様では、頭部（Ｈ）のＣＴ画像スライスは、頭部（Ｈ）の上方の視点が軸方向ビューを示し得、頭部の正面からの視点が冠状ビューを示し得、頭部の側部からの視点が矢状ビューを示し得るように、頭部（Ｈ）が見られる視点に応じてオーバーレイとして選択され、レンダリングされてもよく、ビューは、ＨＭＤ（１００）の装着者が視点間を移動すると、自動的に切り替えられ得る。

別の例として、いくつかの実装態様では、ＣＴ画像スライスは、それが定位置に固定され、異なる視点から見られているかのような、ＣＴ画像スライスの二次元入力画像の外観を有する新しい画像を作成するために変換され得る（例えば、二次元画像視点変換）。このようにして、頭部（Ｈ）に表示される二次元ＣＴ画像スライスは、ＨＭＤ（１００）の装着者が視点間を移動するにつれて視点変換され得る。

更に別の変換例として、手術経路を含む相関データセットの場合、手術経路の座標は、１組の点、線、又は点線としてレンダリングされ、頭部（Ｈ）にオーバーレイされ得る。距離（５０６）は、頭部（Ｈ）にオーバーレイされたときに、手術経路のそれぞれの座標が頭部（Ｈ）に対して適切に位置付けられるように、手術経路のスケールを変換するために使用され得る。座標系（５０１）内の観察点（５０４）に対する視点（５０２）の位置は、（ＨＭＤ）の装着者が視点間を移動するときに、手術経路を変換するために使用され得る。そのような変換は、上述のように、視点変換として実行されてもよく、又は本明細書の開示に基づいて当業者には明らかであるように、他の三次元回転及び深さ変換を使用して実行されてもよい。

それぞれの相関データセットが（例えば、スケーリング、視点変換、ないしは別の方法で）変換された後、それらは１つ以上の観察装置上でレンダリング又は表示（ブロック３１６）されてもよく、これは、ディスプレイ（１０４）を介してレンダリングされたマーカをオーバーレイとして表示すること、ＨＨＤ（１０１）又は別のディスプレイを介してレンダリングされたマーカをキャプチャされた画像上にオーバーレイとして表示すること、又はその両方を含み得る。ＨＭＤ（１００）を装着するユーザにとって、レンダリングされたマーカは、透明ディスプレイ（１０４）を通して見られる、その視界内の物体（例えば、患者の頭部又は他の解剖学的構造）をオーバーレイするように見え得る。ＨＨＤ（１０１）のユーザ又は壁取り付けディスプレイ若しくは他の装置の観察者にとって、キャプチャされた画像は、レンダリングされたマーキングがオーバーレイされた状態で表示され得る。説明されているように、画像をキャプチャする工程、視点を決定する工程、及び相関データセットを変換する工程は、ユーザが、オーバーレイされた情報の連続的な更新を受信しながら、通常どおりに処置領域を動き回り、見回すことができるように、画像がキャプチャされると連続的に繰り返され得る。

例えば、観察される解剖学的構造の動き（ブロック３１８）又はＨＭＤ（１００）、ＨＨＤ（１０１）、若しくは他の観察装置の動きのいずれかが生じた（ブロック３２０）場合、次にキャプチャされた（ブロック３０６）画像が受信され、配向（ブロック３０８）及び距離（ブロック３１０）が再決定される。次いで、新たに決定された配向及び距離は、１つ以上の変換に使用され、新たに生成されるオーバーレイには、以前の画像以降に発生したあらゆる動き又は変化が考慮されることになる。

図６Ａ～図６Ｃは、ディスプレイ（１０４）を介して表示され、直視される患者の頭部（Ｈ）上にオーバーレイされ得るような、又は頭部（Ｈ）のキャプチャされた画像上にオーバーレイされ、表示され得るような、レンダリング及び変換された手術経路を含むインターフェース（４００）の例を示す。図６Ａでは、頭部（Ｈ）は、正面から見られており（例えば、冠状面のビュー）、レンダリングされたマーカは、ディスプレイ（１０４）を介して又は直接、キャプチャされた画像上にオーバーレイされている。レンダリングされたマーカは、外科用ツールが追うべき経路を示す手術経路（４０２）、処置に関与する解剖学的構造の目的地又は部分を示す標的マーカ（４０４）、及び追跡される外科用器具の現在の場所を示すツールマーカ（４０６）を含む。マーカのスケールは、手術経路（４０２）が、患者の頭部（Ｈ）を正確にオーバーレイし、ディスプレイ（１０４）又は別の装置を介してレンダリングされたオーバーレイとしてではなく、冠状面のＣＴ画像スライス上で直視するのと同じように見えるように、決定された距離（３１０）に基づいて決定されている。マーカの位置及び配向も、決定された配向（３０８）に基づいて決定されている。

図６Ｂは、側面から見た頭部（Ｈ）（例えば、矢状面のビュー）を示す。それぞれのマーカは、視点の変化に基づいて、新しい位置及び配向でレンダリングされている。例えば、図６Ａでは、手術経路（４０２）は、頭部（Ｈ）の冠状面に沿って横断しているように見える。冠状面は、図６Ｂでは見られず、代わりに、矢状面に沿って横断する手術経路（４０２）が見て取れる。同様に、標的マーカ（４０４）及びツールマーカ（４０６）の位置及び配向はそれぞれ、図６Ａから変更され、頭部（Ｈ）内の、それらのマーカが位置付けられている深さが決定され得る。図６Ｃは、観察者が図６Ａのビューと図６Ｂのビューとの間を移動するときに見られるような、第３の視点から見た頭部（Ｈ）を示す。観察者が図６Ａのビューと図６Ｂのビューとの間で移動するか、又は頭部（Ｈ）が見られ得る他の視点に移動すると、マーカのそれぞれは、追加情報及びコンテキストを提供するために更新され、新たにレンダリングされ得、ＣＴ画像セットによって提供される視点のみに限定されることもなく、また、説明されているように、頭部（Ｈ）からディスプレイスクリーン（１６）又は別のディスプレイへと目を離すことで、気が散って方向感覚を失うこともない。

可視化システム（６０）によって提供され得るインターフェースの別の例として、図７Ａは、ＣＴ画像セットから選択された画像（４３０）を示し、図７Ｂ～図７Ｄは、ディスプレイ（１０４）を介して表示され、直視される患者の頭部（Ｈ）上にオーバーレイされ得るような、又は頭部（Ｈ）のキャプチャされた画像上にオーバーレイされ、表示され得るような、画像（４３０）及び手術経路（４０２）のレンダリングされたオーバーレイを含むインターフェース（４４０）の例を示す。画像（４３０）、手術経路（４０２）、及び標的マーカ（４０４）は、処置の前に相関データセットとして受信（３０４）され得る。

図７Ｂでは、頭部（Ｈ）は、図６Ａの視点と同じ視点から見られている。画像（４３０）はまた、画像（４３０）のスケールが頭部（Ｈ）の知覚されるサイズに対応するように変換された後（例えば、画像（４３０）が大きすぎて、頭部（Ｈ）を越えて延在してしまうのとは対照的に）、頭部（Ｈ）上にオーバーレイされている。ツールマーカ（４０６）、手術経路（４０２）、及び標的マーカ（４０４）も、ＣＴ画像（４３０）と共にオーバーレイされ、可視であり得、それぞれ、レンダリングを介して頭部（Ｈ）の直接的な見え方を完全に不明瞭にするか、又はいくらかの透明度を可能にするかのいずれかにするように、様々な透明度でレンダリングされ得る。可視化システム（６０）の様々な実装態様は、図６Ａ～図６Ｃ又は図７Ｂ～図７Ｄに示されるようなインターフェースを提供し得るが、いくつかの実装態様は、その両方を提供し得、例えば、ある特定の層を、所望に応じて有効又は無効にすることを可能にし得る。例えば、これは、所望され得るように、頭部（Ｈ）への画像（４３０）のオーバーレイを有効又は無効にすることを含み得る。

図７Ｃ及び図７Ｄはそれぞれ、図６Ｂ及び図６Ｃに示されるものと一致する、異なる視点からの頭部（Ｈ）を示す。画像（４３０）は、影付き領域としてシミュレートされ、他のレンダリングされたマーキングはそれぞれ、変更された視点を考慮して変換される。記載されているように、図７Ｂは、冠状面の実質的に変更されていないＣＴ画像を画像（４３０）として示し得るが、図７Ｃは、矢状面の実質的に変更されていないＣＴ画像を画像（４３０）として示し得る。いくつかの実装態様では、図７Ｄは、観察者の視点が冠状面に近いか、又は矢状面に近いかどうかに応じて、冠状面又は矢状面から変換されたＣＴ画像を示し得る。

図６Ａ～図７Ｃのインターフェースは、相関データセットがレンダリングされ、ディスプレイ（１０４）の透明部分を通して見える物体上にオーバーレイされたときに表示され得るインターフェースを表すことを理解されたい。例えば、図６Ａを参照すると、頭部（Ｈ）は、ディスプレイ（１０４）を介してレンダリングされていないが、ディスプレイ（１０４）の透明部分を通して見られているため、拡張現実インターフェースの可視部分となる。図６Ａ～図７Ｃのインターフェースはまた、相関データセットが、ディスプレイスクリーン（１６）を介して表示され得るか、又はＨＨＤ（１０１）を介して表示され得るような、レンダリングされ、カメラ（１０６）を介してキャプチャされた画像上にオーバーレイされたときに表示され得るインターフェースを表す。そのようなインターフェースでは、キャプチャされた画像に基づいて、頭部（Ｈ）もディスプレイ上にレンダリングされる。

ＩＩＩ．例示的な組み合わせ
以下の実施例は、本明細書の教示を組み合わせるか又は適用することができる、種々の非網羅的な方法に関する。以下の実施例は、本出願における又は本出願の後の書類提出における任意の時点で提示され得るいずれの特許請求の適用範囲をも限定することを意図したものではないことを理解されたい。一切の権利放棄を意図するものではない。以下の実施例は、あくまでも例示的な目的で与えられるものに過ぎない。本明細書の種々の教示は、その他の多くの方式で構成及び適用が可能であると考えられる。また、いくつかの変形形態では、以下の実施例において言及される特定の特徴を省略してよいことも考えられる。したがって、本発明者らによって又は本発明者らの利益の承継者によって、後日そうである旨が明示的に示されない限り、以下に言及される態様又は特徴のいずれも重要なものとしてみなされるべきではない。いずれの特許請求が、本出願において、又は以下に言及される特徴以外の更なる特徴を含む本出願に関連する後の書類提出において示される場合、それらの更なる特徴は、特許性に関連するいかなる理由によっても追加されたものとして仮定されるべきではない。

ＥＮＴ可視化のためのシステムであって、（ａ）画像誘導手術（「ＩＧＳ」）ナビゲーションシステムであって、（ｉ）追跡された領域に対応する座標系を維持し、（ｉｉ）座標系を用いて１つ以上の位置センサを追跡し、（ｉｉｉ）患者の解剖学的構造の場所を座標系と位置合わせするように動作可能な、画像誘導手術（「ＩＧＳ」）ナビゲーションシステムと、（ｂ）ウェアラブルフレーム及びディスプレイを含むヘッドマウントディスプレイ（「ＨＭＤ」）であって、ディスプレイは、装着者の中立光軸と交差するように、ウェアラブルフレーム上に位置付けられている、ヘッドマウントディスプレイ（「ＨＭＤ」）と、（ｃ）患者の解剖学的構造に対するＨＭＤの視点を示す視点データのセットを生成するように動作可能なセンサと、（ｄ）プロセッサと、を備え、プロセッサは、（ｉ）１つ以上の相関データセットを受信することであって、１つ以上の相関データセットのそれぞれは、座標系に関連付けられたデータを含む、ことと、（ｉｉ）患者の解剖学的構造が、現在の視点から見られている間に、視点データのセットに基づいて、患者の解剖学的構造上の観察点に対する中立光軸の配向を決定することと、（ｉｉｉ）視点データのセットに基づいて、中立光軸の原点と観察点との間の距離を決定することと、（ｉｖ）配向及び距離に基づいて、１つ以上の相関データセットを変換して、現在の視点で患者の解剖学的構造に対応するオーバーレイ画像を生成することと、（ｖ）ディスプレイを介してオーバーレイ画像をレンダリングすることと、を行うように構成されている、システム。

１つ以上の相関データセットは、（ｉ）患者の解剖学的構造内の外科用器具の計画された経路を示す手術経路、及び（ｉｉ）１つ以上の位置センサのうちの１つの位置センサに関連付けられた遠位先端の現在の場所を示す遠位先端場所を含む、実施例１に記載のシステム。

１つ以上の相関データセットは、患者の解剖学的構造の術前画像のセットから選択された画像スライスを更に含む、実施例２に記載のシステム。

患者の解剖学的構造上に位置付けられた患者追跡アセンブリを更に備え、（ｉ）患者追跡アセンブリは、１つ以上の位置センサのうちの１つの位置センサを含み、（ｉｉ）ＩＧＳナビゲーションシステムは、位置センサの動きに基づいて、座標系で患者の解剖学的構造の場所を更新するように構成されている、実施例１～２のいずれか１つ以上に記載のシステム。

センサは、ＨＭＤに取り付けられており、１つ以上の位置センサのうちの１つであり、プロセッサは、観察点に対する中立光軸の配向を決定するときに、（ｉ）座標系に基づいて、中立光軸の配向を決定し、（ｉｉ）座標系に基づいて、患者の解剖学的構造の配向を決定し、（ｉｉｉ）座標系に基づいて、中立光軸の配向と患者の解剖学的構造の配向とを相関させるように更に構成されている、実施例４に記載のシステム。

センサは、ＨＭＤに取り付けられており、１つ以上の位置センサのうちの１つであり、プロセッサは、原点と観察点との間の距離を決定するときに、（ｉ）座標系に基づいて、原点の場所を決定し、（ｉｉ）座標系に基づいて、患者の解剖学的構造の場所を決定し、（ｉｉｉ）座標系に基づいて、原点の場所と患者の解剖学的構造の場所との間の距離を決定するように更に構成されている、実施例４～５のいずれか１つ以上に記載のシステム。

プロセッサは、１つ以上の相関データセットを変換するときに、（ｉ）原点と観察点との間の距離に基づいて、スケーリング係数を決定し、（ｉｉ）観察点に対する中立光軸の配向に基づいて、視点変換を決定し、（ｉｉｉ）スケーリング係数によって決定されたスケール及び視点変換によって決定された視点を含むオーバーレイ画像を生成するように更に構成されている、実施例１～６のいずれか１つ以上に記載のシステム。

ディスプレイは透明スクリーンを含み、プロセッサは、オーバーレイ画像が患者の解剖学的構造の直視される部分上に現れるように、オーバーレイ画像を透明スクリーン上にレンダリングするように更に構成されている、実施例７に記載のシステム。

プロセッサは、（ｉ）距離及び配向を繰り返し再決定し、（ｉｉ）距離及び配向が変化するにつれて、ディスプレイを介してオーバーレイ画像を更新及びレンダリングするように更に構成されている、実施例１～８のいずれか１つ以上に記載のシステム。

センサは、ウェアラブルフレーム上に位置付けられ、中立光軸に平行な、かつ中立光軸から静的にオフセットされた光軸を有するカメラを含み、プロセッサは、配向及び距離を決定するときに、（ｉ）物体の１つ以上の可視特性を示し、座標系内の物体と観察点との間の関係を示す、物体データセットを記憶し、（ｉｉ）カメラから物体を含む画像を受信し、（ｉｉｉ）物体データセット及び画像に基づいて、配向及び距離を決定するように更に構成されている、実施例１～９のいずれか１つ以上に記載のシステム。

患者の解剖学的構造に近接して位置付けられた１つ以上の光学基準を更に備え、物体データセットによって説明される物体が、その１つ以上の光学基準である、実施例１０に記載のシステム。

患者の解剖学的構造上に位置付けられた患者追跡アセンブリを更に備え、（ｉ）患者追跡アセンブリは、１つ以上の位置センサのうちの１つの位置センサを含み、（ｉｉ）ＩＧＳナビゲーションシステムは、位置センサの動きに基づいて、座標系で患者の解剖学的構造の場所を更新するように構成されており、（ｉｉｉ）１つ以上の光学基準は、患者追跡アセンブリの表面上に位置付けられている、実施例１１に記載のシステム。

センサは、ウェアラブルフレーム上に位置付けられ、中立光軸に平行な、かつ中立光軸から静的にオフセットされた光軸を有するカメラを含み、プロセッサは、ディスプレイを介してオーバーレイ画像をレンダリングすることに加えて、（ｉ）カメラから画像を受信し、画像を、既知の静的オフセット値に基づいてオーバーレイ画像に相関させ、（ｉｉ）画像にオーバーレイ画像を追加して、拡張画像を生成し、（ｉｉｉ）該ディスプレイ以外の１つ以上のディスプレイ上に拡張画像を表示するように更に構成されている、実施例１～１２のいずれか１つ以上に記載のシステム。

（ｉ）プロセッサは、ＩＧＳナビゲーションシステムの第１のプロセッサ及びＨＭＤの第２のプロセッサのうちの１つ以上を含み、（ｉｉ）センサは、ＨＭＤに連結されたジャイロスコープセンサのうちの１つ以上と、ＨＭＤに取り付けられたカメラと、ＨＭＤに取り付けられた１つ以上の位置センサのうちの１つの位置センサと、を含み、（ｉｉｉ）視点データのセットは、ジャイロスコープ配向データのセット、座標系に関連付けられた位置座標のセット、座標系に関連付けられた配向座標のセット、及びカメラによってキャプチャされた画像のうちの１つ以上を含む、実施例１～１３のいずれか１つ以上に記載のシステム。

方法であって、（ａ）画像誘導手術（「ＩＧＳ」）ナビゲーションシステムを構成することであって、（ｉ）追跡された領域に対応する座標系を維持し、（ｉｉ）座標系を用いて１つ以上の位置センサを追跡するように、構成することと、（ｂ）患者の解剖学的構造の場所を座標系と位置合わせすることと、（ｃ）１つ以上の相関データセットを受信することであって、１つ以上の相関データセットのそれぞれは、座標系に関連付けられたデータを含む、ことと、（ｄ）ウェアラブルフレーム及びディスプレイを含むヘッドマウントディスプレイ（「ＨＭＤ」）を装着しながら、現在の視点から患者の解剖学的構造を見ることであって、ディスプレイは、装着者の中立光軸と交差するように、ウェアラブルフレーム上に位置付けられる、ことと、（ｅ）ＨＭＤのセンサから受信した視点データのセットに基づいて、患者の解剖学的構造上の観察点に対する中立光軸の配向を決定することと、（ｆ）視点データのセットに基づいて、中立光軸の原点と観察点との間の距離を決定することと、（ｇ）配向及び距離に基づいて、１つ以上の相関データセットを変換して、現在の視点で患者の解剖学的構造に対応するオーバーレイ画像を生成することと、（ｈ）ディスプレイを介してオーバーレイ画像をレンダリングすることと、を含む、方法。

１つ以上の相関データセットを受信することは、（ｉ）患者の解剖学的構造内の外科用器具の計画された経路を示す手術経路を受信することと、（ｉｉ）１つ以上の位置センサのうちの１つの位置センサに関連付けられた遠位先端の現在の場所を示す遠位先端場所を受信することと、（ｉｉｉ）患者の解剖学的構造の術前画像のセットから選択された画像スライスを受信することと、を含む、実施例１５に記載の方法。

センサは、ウェアラブルフレーム上に位置付けられ、中立光軸に平行な、かつ中立光軸から静的にオフセットされた光軸を有するカメラを含み、方法は、（ａ）患者追跡アセンブリを患者の解剖学的構造上に配置することであって、患者追跡アセンブリは、（ｉ）１つ以上の位置センサのうちの１つの位置センサと、（ｉｉ）１つ以上の光学基準と、を含む、ことと、（ｂ）１つ以上の光学基準の１つ以上の可視特性を示し、座標系内の１つ以上の光学基準と観察点との間の関係を示す、物体データセットを記憶することと、（ｃ）１つ以上の光学基準を含む画像をカメラから受信することと、（ｄ）物体データセット及び画像に基づいて配向及び距離を決定することと、を更に含む、実施例１５～１６のいずれか１つ以上に記載の方法。

センサは、１つ以上の位置センサのうちの第２の位置センサを含み、物体データセット、画像、及び座標系に基づいて配向及び距離を決定することを更に含む、実施例１７に記載の方法。

ＥＮＴ可視化のためのシステムであって、（ａ）画像誘導手術（「ＩＧＳ」）ナビゲーションシステムであって、（ｉ）追跡された領域に対応する座標系を維持し、（ｉｉ）座標系を用いて１つ以上の位置センサを追跡し、（ｉｉｉ）患者の解剖学的構造の場所を座標系と位置合わせするように動作可能な、画像誘導手術（「ＩＧＳ」）ナビゲーションシステムと、（ｂ）カメラ及びディスプレイを含むハンドヘルドディスプレイ（「ＨＨＤ」）と、（ｃ）患者の解剖学的構造に対するＨＨＤの視点を示す視点データのセットを生成するように動作可能なセンサと、（ｄ）プロセッサと、を備え、プロセッサは、（ｉ）１つ以上の相関データセットを受信することであって、１つ以上の相関データセットのそれぞれは、座標系に関連付けられたデータを含む、ことと、（ｉｉ）ＨＨＤが現在の視点から患者の解剖学的構造に向けられている間に、カメラから画像を受信することと、（ｉｉｉ）視点データのセットに基づいて、患者の解剖学的構造上の観察点に対するカメラの光軸の配向を決定することと、（ｉｖ）視点データのセットに基づいて、光軸の原点と観察点との間の距離を決定することと、（ｖ）配向及び距離に基づいて、１つ以上の相関データセットを変換して、画像内の患者の解剖学的構造に対応するオーバーレイ画像を生成することと、（ｖｉ）オーバーレイ画像及び画像に基づいて、ディスプレイを介して拡張画像を表示することと、を行うように構成されている、システム。

（ｉ）センサは、１つ以上の位置センサのうちの１つの位置センサであり、（ｉｉ）１つ以上の位置センサのうちの第２の位置センサは、患者の解剖学的構造上に位置付けられ、（ｉｉｉ）１つ以上の相関データセットは、（Ａ）患者の解剖学的構造内の外科用器具の計画された経路を示す手術経路と、（Ｂ）１つ以上の位置センサのうちの第３の位置センサに関連付けられた遠位先端の現在の場所を示す遠位先端場所と、を含む、実施例１９に記載のシステム。

ＩＶ．その他
本明細書に記載の教示、表現、実施形態、実施例などのうちのいずれか１つ以上を、本明細書に記載の他の教示、表現、実施形態、実施例などのうちのいずれか１つ以上と組み合わせることができる点が理解されるべきである。したがって、上記の教示、表現、実施形態、実施例などは、互いに対して独立して考慮されるべきではない。本明細書の教示を組み合わせることができる様々な好適な方法は、本明細書の教示に鑑みて当業者には容易に明らかであろう。このような修正例及び変形例は、特許請求の範囲に含まれることが意図される。

本明細書に参照により組み込まれると言及されるあらゆる特許、公報、又はその他の開示内容は、全体的に又は部分的に、組み込まれる内容が現行の定義、見解、又は本開示に記載されるその他の開示内容とあくまで矛盾しない範囲でのみ本明細書に組み込まれることを理解されたい。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示内容は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾する任意の内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。

上述の装置の変形例は、１回の使用後に処分するように設計することができ、又はそれらは、複数回使用するように設計することができる。変形形態は、いずれか又は両方の場合においても、少なくとも１回の使用後に再利用のために再調整することができる。再調整は、装置の分解工程、それに続く特定の部品の洗浄又は交換工程、及びその後の再組立工程の任意の組み合わせを含み得る。特に、装置のいくつかの変形形態は分解することができ、また、装置の任意の数の特定の部分又は部品を、任意の組み合わせで選択的に交換又は除去することができる。特定の部品の洗浄及び／又は交換の際、装置のいくつかの変形形態を、再調整施設において、又は処置の直前にユーザによって、その後の使用のために再組み立てすることができる。当業者であれば、装置の再調整において、分解、洗浄／交換、及び再組立のための様々な技術を利用することができることを理解するであろう。かかる技術の使用、及び結果として得られる再調整された装置は、全て本出願の範囲内にある。

単に例として、本明細書に記載される変形形態は、処置の前及び／又は後に滅菌されてもよい。１つの滅菌技術では、装置をプラスチック製又はＴＹＶＥＫ製のバックなど、閉鎖及び封止された容器に入れる。次に、容器及び装置を、γ線、Ｘ線、又は高エネルギー電子線などの、容器を透過し得る放射線場に置いてもよい。放射線は、装置上及び容器内の細菌を死滅させ得る。次に、滅菌された装置を、後の使用のために、滅菌容器内に保管してもよい。装置はまた、ベータ線若しくはガンマ線、エチレンオキシド、又は蒸気を含むがこれらに限定されない、当該技術分野で周知の任意の他の技術を用いて滅菌することができる。

本発明の様々な実施形態を示し記載したが、当業者による適切な修正により、本発明の範囲から逸脱することなく、本明細書に記載の方法及びシステムの更なる適合化を実現することができる。このような可能な修正のうちのいくつかについて述べたが、その他の修正が当業者には明らかとなるであろう。例えば、上記の実施例、実施形態、幾何学的形状、材料、寸法、比率、工程などは例示的なものであり、必須のものではない。したがって、本発明の範囲は、以下の特許請求の範囲の観点から考慮されるべきものであり、本明細書及び図面に示され記載された構造及び動作の細部に限定されないものとして理解される。

〔実施の態様〕
（１） ＥＮＴ可視化のためのシステムであって、
（ａ）画像誘導手術（「ＩＧＳ」）ナビゲーションシステムであって、
（ｉ）追跡された領域に対応する座標系を維持し、
（ｉｉ）前記座標系を用いて１つ以上の位置センサを追跡し、
（ｉｉｉ）患者の解剖学的構造の場所を前記座標系と位置合わせするように動作可能である、画像誘導手術（「ＩＧＳ」）ナビゲーションシステムと、
（ｂ）ウェアラブルフレーム及びディスプレイを含むヘッドマウントディスプレイ（「ＨＭＤ」）であって、前記ディスプレイは、装着者の中立光軸と交差するように、前記ウェアラブルフレーム上に位置付けられている、ヘッドマウントディスプレイ（「ＨＭＤ」）と、
（ｃ）前記患者の解剖学的構造に対する前記ＨＭＤの視点を示す視点データのセットを生成するように動作可能なセンサと、
（ｄ）プロセッサと、を備え、
前記プロセッサが、
（ｉ）１つ以上の相関データセットを受信することであって、前記１つ以上の相関データセットのそれぞれは、前記座標系に関連付けられたデータを含む、ことと、
（ｉｉ）前記患者の解剖学的構造が、現在の視点から見られている間に、前記視点データのセットに基づいて、前記患者の解剖学的構造上の観察点に対する前記中立光軸の配向を決定することと、
（ｉｉｉ）前記視点データのセットに基づいて、前記中立光軸の原点と前記観察点との間の距離を決定することと、
（ｉｖ）前記配向及び前記距離に基づいて、前記１つ以上の相関データセットを変換して、前記現在の視点で前記患者の解剖学的構造に対応するオーバーレイ画像を生成することと、
（ｖ）前記ディスプレイを介して前記オーバーレイ画像をレンダリングすることと、を行うように構成されている、システム。
（２） 前記１つ以上の相関データセットは、
（ｉ）前記患者の解剖学的構造内の外科用器具の計画された経路を示す手術経路と、
（ｉｉ）前記１つ以上の位置センサのうちの１つの位置センサに関連付けられた遠位先端の現在の場所を示す遠位先端場所と、を含む、実施態様１に記載のシステム。
（３） 前記１つ以上の相関データセットは、前記患者の解剖学的構造の術前画像のセットから選択された画像スライスを更に含む、実施態様２に記載のシステム。
（４） 前記患者の解剖学的構造上に位置付けられた患者追跡アセンブリを更に備え、
（ｉ）前記患者追跡アセンブリは、前記１つ以上の位置センサのうちの１つの位置センサを含み、
（ｉｉ）前記ＩＧＳナビゲーションシステムは、前記位置センサの動きに基づいて、前記座標系で前記患者の解剖学的構造の前記場所を更新するように構成されている、実施態様１に記載のシステム。
（５） 前記センサは、前記ＨＭＤに取り付けられており、前記１つ以上の位置センサのうちの１つであり、前記プロセッサは、前記観察点に対する前記中立光軸の前記配向を決定するときに、
（ｉ）前記座標系に基づいて、前記中立光軸の配向を決定し、
（ｉｉ）前記座標系に基づいて、前記患者の解剖学的構造の配向を決定し、
（ｉｉｉ）前記座標系に基づいて、前記中立光軸の前記配向と前記患者の解剖学的構造の前記配向とを相関させるように更に構成されている、実施態様４に記載のシステム。

（６） 前記センサは、前記ＨＭＤに取り付けられており、前記１つ以上の位置センサのうちの１つであり、前記プロセッサは、前記原点と前記観察点との間の前記距離を決定するときに、
（ｉ）前記座標系に基づいて、前記原点の場所を決定し、
（ｉｉ）前記座標系に基づいて、前記患者の解剖学的構造の場所を決定し、
（ｉｉｉ）前記座標系に基づいて、前記原点の前記場所と前記患者の解剖学的構造の前記場所との間の前記距離を決定するように更に構成されている、実施態様４に記載のシステム。
（７） 前記プロセッサは、前記１つ以上の相関データセットを変換するときに、
（ｉ）前記原点と前記観察点との間の前記距離に基づいて、スケーリング係数を決定し、
（ｉｉ）前記観察点に対する前記中立光軸の前記配向に基づいて、視点変換を決定し、
（ｉｉｉ）前記スケーリング係数によって決定されたスケール及び前記視点変換によって決定された視点を含む前記オーバーレイ画像を生成するように更に構成されている、実施態様１に記載のシステム。
（８） 前記ディスプレイは透明スクリーンを含み、前記プロセッサは、前記オーバーレイ画像が前記患者の解剖学的構造の直視される部分上に現れるように、前記オーバーレイ画像を前記透明スクリーン上にレンダリングするように更に構成されている、実施態様７に記載のシステム。
（９） 前記プロセッサは、
（ｉ）前記距離及び前記配向を繰り返し再決定し、
（ｉｉ）前記距離及び前記配向の変化に応じて、前記ディスプレイを介して前記オーバーレイ画像を更新及びレンダリングするように更に構成されている、実施態様１に記載のシステム。
（１０） 前記センサは、前記ウェアラブルフレーム上に位置付けられ、前記中立光軸に平行な、かつ前記中立光軸から静的にオフセットされた光軸を有するカメラを含み、前記プロセッサは、前記配向及び前記距離を決定するときに、
（ｉ）物体の１つ以上の可視特性を示し、前記座標系内の前記物体と前記観察点との間の関係を示す、物体データセットを記憶し、
（ｉｉ）前記物体を含む画像を前記カメラから受信し、
（ｉｉｉ）前記物体データセット及び前記画像に基づいて、前記配向及び前記距離を決定するように更に構成されている、実施態様１に記載のシステム。

（１１） 前記患者の解剖学的構造に近接して位置付けられた１つ以上の光学基準を更に備え、前記物体データセットによって説明される前記物体が、前記１つ以上の光学基準である、実施態様１０に記載のシステム。
（１２） 前記患者の解剖学的構造上に位置付けられた患者追跡アセンブリを更に備え、
（ｉ）前記患者追跡アセンブリは、前記１つ以上の位置センサのうちの１つの位置センサを含み、
（ｉｉ）前記ＩＧＳナビゲーションシステムは、前記位置センサの動きに基づいて、前記座標系で前記患者の解剖学的構造の前記場所を更新するように構成されており、
（ｉｉｉ）前記１つ以上の光学基準は、前記患者追跡アセンブリの表面上に位置付けられている、実施態様１１に記載のシステム。
（１３） 前記センサは、前記ウェアラブルフレーム上に位置付けられ、前記中立光軸に平行な、かつ前記中立光軸から静的にオフセットされた光軸を有するカメラを含み、前記プロセッサは、前記ディスプレイを介して前記オーバーレイ画像をレンダリングすることに加えて、
（ｉ）前記カメラから画像を受信し、既知の静的オフセット値に基づいて前記画像を前記オーバーレイ画像に相関させ、
（ｉｉ）前記オーバーレイ画像を前記画像に追加して、拡張画像を生成し、
（ｉｉｉ）前記拡張画像を、前記ディスプレイ以外の１つ以上のディスプレイ上に表示するように更に構成されている、実施態様１に記載のシステム。
（１４） （ｉ）前記プロセッサは、前記ＩＧＳナビゲーションシステムの第１のプロセッサ及び前記ＨＭＤの第２のプロセッサのうちの１つ以上を含み、
（ｉｉ）前記センサは、前記ＨＭＤと連結されたジャイロスコープセンサ、前記ＨＭＤに取り付けられたカメラ、及び前記ＨＭＤに取り付けられた前記１つ以上の位置センサのうちの１つの位置センサのうちの１つ以上を含み、
（ｉｉｉ）前記視点データのセットは、ジャイロスコープ配向データのセット、前記座標系に関連付けられた位置座標のセット、前記座標系に関連付けられた配向座標のセット、及び前記カメラによってキャプチャされた画像のうちの１つ以上を含む、実施態様１に記載のシステム。
（１５） 方法であって、
（ａ）画像誘導手術（「ＩＧＳ」）ナビゲーションシステムを構成することであって、
（ｉ）追跡された領域に対応する座標系を維持し、
（ｉｉ）前記座標系を用いて１つ以上の位置センサを追跡するように、構成することと、
（ｂ）患者の解剖学的構造の場所を前記座標系と位置合わせすることと、
（ｃ）１つ以上の相関データセットを受信することであって、前記１つ以上の相関データセットのそれぞれは、前記座標系に関連付けられたデータを含む、ことと、
（ｄ）ウェアラブルフレーム及びディスプレイを含むヘッドマウントディスプレイ（「ＨＭＤ」）を装着しながら、現在の視点から前記患者の解剖学的構造を見ることであって、前記ディスプレイは、装着者の中立光軸と交差するように、前記ウェアラブルフレーム上に位置付けられる、ことと、
（ｅ）前記ＨＭＤのセンサから受信した視点データのセットに基づいて、前記患者の解剖学的構造上の観察点に対する前記中立光軸の配向を決定することと、
（ｆ）前記視点データのセットに基づいて、前記中立光軸の原点と前記観察点との間の距離を決定することと、
（ｇ）前記配向及び前記距離に基づいて、前記１つ以上の相関データセットを変換して、前記現在の視点で前記患者の解剖学的構造に対応するオーバーレイ画像を生成することと、
（ｈ）前記ディスプレイを介して前記オーバーレイ画像をレンダリングすることと、を含む、方法。

（１６） 前記１つ以上の相関データセットを受信することは、
（ｉ）前記患者の解剖学的構造内の外科用器具の計画された経路を示す手術経路を受信することと、
（ｉｉ）前記１つ以上の位置センサのうちの１つの位置センサに関連付けられた遠位先端の現在の場所を示す遠位先端場所を受信することと、
（ｉｉｉ）前記患者の解剖学的構造の術前画像のセットから選択された画像スライスを受信することと、を含む、実施態様１５に記載の方法。
（１７） 前記センサは、前記ウェアラブルフレーム上に位置付けられ、前記中立光軸に平行な、かつ前記中立光軸から静的にオフセットされた光軸を有するカメラを含み、前記方法は、
（ａ）患者追跡アセンブリを前記患者の解剖学的構造上に配置することであって、前記患者追跡アセンブリは、
（ｉ）前記１つ以上の位置センサのうちの１つの位置センサと、
（ｉｉ）１つ以上の光学基準と、を含む、ことと、
（ｂ）前記１つ以上の光学基準の１つ以上の可視特性を示し、前記座標系内の前記１つ以上の光学基準と前記観察点との間の関係を示す、物体データセットを記憶することと、
（ｃ）前記１つ以上の光学基準を含む画像を前記カメラから受信することと、
（ｄ）前記物体データセット及び前記画像に基づいて、前記配向及び前記距離を決定することと、を更に含む、実施態様１５に記載の方法。
（１８） 前記センサは、前記１つ以上の位置センサのうちの第２の位置センサを含み、前記物体データセット、前記画像、及び前記座標系に基づいて前記配向及び前記距離を決定することを更に含む、実施態様１７に記載の方法。
（１９） ＥＮＴ可視化のためのシステムであって、
（ａ）画像誘導手術（「ＩＧＳ」）ナビゲーションシステムであって、
（ｉ）追跡された領域に対応する座標系を維持し、
（ｉｉ）前記座標系を用いて１つ以上の位置センサを追跡し、
（ｉｉｉ）患者の解剖学的構造の場所を前記座標系と位置合わせするように動作可能である、画像誘導手術（「ＩＧＳ」）ナビゲーションシステムと、
（ｂ）カメラ及びディスプレイを含むハンドヘルドディスプレイ（「ＨＨＤ」）と、
（ｃ）前記患者の解剖学的構造に対する前記ＨＨＤの視点を示す視点データのセットを生成するように動作可能なセンサと、
（ｄ）プロセッサと、を備え、
前記プロセッサが、
（ｉ）１つ以上の相関データセットを受信することであって、前記１つ以上の相関データセットのそれぞれは、前記座標系に関連付けられたデータを含む、ことと、
（ｉｉ）前記ＨＨＤが、現在の視点から前記患者の解剖学的構造に向けられている間に、前記カメラから画像を受信することと、
（ｉｉｉ）前記視点データのセットに基づいて、前記患者の解剖学的構造上の観察点に対する前記カメラの光軸の配向を決定することと、
（ｉｖ）前記視点データのセットに基づいて、前記光軸の原点と前記観察点との間の距離を決定することと、
（ｖ）前記配向及び前記距離に基づいて、前記１つ以上の相関データセットを変換して、前記画像内の前記患者の解剖学的構造に対応するオーバーレイ画像を生成することと、
（ｖｉ）前記オーバーレイ画像及び前記画像に基づいて、前記ディスプレイを介して拡張画像を表示することと、を行うように構成されている、システム。
（２０） （ｉ）前記センサは、前記１つ以上の位置センサのうちの１つの位置センサであり、
（ｉｉ）前記１つ以上の位置センサのうちの第２の位置センサは、前記患者の解剖学的構造上に位置付けられており、
（ｉｉｉ）前記１つ以上の相関データセットは、
（Ａ）前記患者の解剖学的構造内の外科用器具の計画された経路を示す手術経路と、
（Ｂ）前記１つ以上の位置センサのうちの第３の位置センサに関連付けられた遠位先端の現在の場所を示す遠位先端場所と、を含む、実施態様１９に記載のシステム。

Claims (20)

1. ＥＮＴ可視化のためのシステムであって、
   （ａ）画像誘導手術（「ＩＧＳ」）ナビゲーションシステムであって、
   （ｉ）追跡された領域に対応する座標系を維持し、
   （ｉｉ）前記座標系を用いて１つ以上の位置センサを追跡し、
   （ｉｉｉ）患者の解剖学的構造の場所を前記座標系と位置合わせするように動作可能である、画像誘導手術（「ＩＧＳ」）ナビゲーションシステムと、
   （ｂ）ウェアラブルフレーム及びディスプレイを含むヘッドマウントディスプレイ（「ＨＭＤ」）であって、前記ディスプレイは、装着者の中立光軸と交差するように、前記ウェアラブルフレーム上に位置付けられている、ヘッドマウントディスプレイ（「ＨＭＤ」）と、
   （ｃ）前記患者の解剖学的構造に対する前記ＨＭＤの視点を示す視点データのセットを生成するように動作可能なセンサと、
   （ｄ）プロセッサと、を備え、
   前記プロセッサが、
   （ｉ）１つ以上の相関データセットを受信することであって、前記１つ以上の相関データセットのそれぞれは、前記座標系に関連付けられたデータを含む、ことと、
   （ｉｉ）前記患者の解剖学的構造が、現在の視点から見られている間に、前記視点データのセットに基づいて、前記患者の解剖学的構造上の観察点に対する前記中立光軸の配向を決定することと、
   （ｉｉｉ）前記視点データのセットに基づいて、前記中立光軸の原点と前記観察点との間の距離を決定することと、
   （ｉｖ）前記配向及び前記距離に基づいて、前記１つ以上の相関データセットを変換して、前記現在の視点で前記患者の解剖学的構造に対応するオーバーレイ画像を生成することと、
   （ｖ）前記ディスプレイを介して前記オーバーレイ画像をレンダリングすることと、を行うように構成されている、システム。
2. 前記１つ以上の相関データセットは、
   （ｉ）前記患者の解剖学的構造内の外科用器具の計画された経路を示す手術経路と、
   （ｉｉ）前記１つ以上の位置センサのうちの１つの位置センサに関連付けられた遠位先端の現在の場所を示す遠位先端場所と、を含む、請求項１に記載のシステム。
3. 前記１つ以上の相関データセットは、前記患者の解剖学的構造の術前画像のセットから選択された画像スライスを更に含む、請求項２に記載のシステム。
4. 前記患者の解剖学的構造上に位置付けられた患者追跡アセンブリを更に備え、
   （ｉ）前記患者追跡アセンブリは、前記１つ以上の位置センサのうちの１つの位置センサを含み、
   （ｉｉ）前記ＩＧＳナビゲーションシステムは、前記位置センサの動きに基づいて、前記座標系で前記患者の解剖学的構造の前記場所を更新するように構成されている、請求項１に記載のシステム。
5. 前記センサは、前記ＨＭＤに取り付けられており、前記１つ以上の位置センサのうちの１つであり、前記プロセッサは、前記観察点に対する前記中立光軸の前記配向を決定するときに、
   （ｉ）前記座標系に基づいて、前記中立光軸の配向を決定し、
   （ｉｉ）前記座標系に基づいて、前記患者の解剖学的構造の配向を決定し、
   （ｉｉｉ）前記座標系に基づいて、前記中立光軸の前記配向と前記患者の解剖学的構造の前記配向とを相関させるように更に構成されている、請求項４に記載のシステム。
6. 前記センサは、前記ＨＭＤに取り付けられており、前記１つ以上の位置センサのうちの１つであり、前記プロセッサは、前記原点と前記観察点との間の前記距離を決定するときに、
   （ｉ）前記座標系に基づいて、前記原点の場所を決定し、
   （ｉｉ）前記座標系に基づいて、前記患者の解剖学的構造の場所を決定し、
   （ｉｉｉ）前記座標系に基づいて、前記原点の前記場所と前記患者の解剖学的構造の前記場所との間の前記距離を決定するように更に構成されている、請求項４に記載のシステム。
7. 前記プロセッサは、前記１つ以上の相関データセットを変換するときに、
   （ｉ）前記原点と前記観察点との間の前記距離に基づいて、スケーリング係数を決定し、
   （ｉｉ）前記観察点に対する前記中立光軸の前記配向に基づいて、視点変換を決定し、
   （ｉｉｉ）前記スケーリング係数によって決定されたスケール及び前記視点変換によって決定された視点を含む前記オーバーレイ画像を生成するように更に構成されている、請求項１に記載のシステム。
8. 前記ディスプレイは透明スクリーンを含み、前記プロセッサは、前記オーバーレイ画像が前記患者の解剖学的構造の直視される部分上に現れるように、前記オーバーレイ画像を前記透明スクリーン上にレンダリングするように更に構成されている、請求項７に記載のシステム。
9. 前記プロセッサは、
   （ｉ）前記距離及び前記配向を繰り返し再決定し、
   （ｉｉ）前記距離及び前記配向の変化に応じて、前記ディスプレイを介して前記オーバーレイ画像を更新及びレンダリングするように更に構成されている、請求項１に記載のシステム。
10. 前記センサは、前記ウェアラブルフレーム上に位置付けられ、前記中立光軸に平行な、かつ前記中立光軸から静的にオフセットされた光軸を有するカメラを含み、前記プロセッサは、前記配向及び前記距離を決定するときに、
    （ｉ）物体の１つ以上の可視特性を示し、前記座標系内の前記物体と前記観察点との間の関係を示す、物体データセットを記憶し、
    （ｉｉ）前記物体を含む画像を前記カメラから受信し、
    （ｉｉｉ）前記物体データセット及び前記画像に基づいて、前記配向及び前記距離を決定するように更に構成されている、請求項１に記載のシステム。
11. 前記患者の解剖学的構造に近接して位置付けられた１つ以上の光学基準を更に備え、前記物体データセットによって説明される前記物体が、前記１つ以上の光学基準である、請求項１０に記載のシステム。
12. 前記患者の解剖学的構造上に位置付けられた患者追跡アセンブリを更に備え、
    （ｉ）前記患者追跡アセンブリは、前記１つ以上の位置センサのうちの１つの位置センサを含み、
    （ｉｉ）前記ＩＧＳナビゲーションシステムは、前記位置センサの動きに基づいて、前記座標系で前記患者の解剖学的構造の前記場所を更新するように構成されており、
    （ｉｉｉ）前記１つ以上の光学基準は、前記患者追跡アセンブリの表面上に位置付けられている、請求項１１に記載のシステム。
13. 前記センサは、前記ウェアラブルフレーム上に位置付けられ、前記中立光軸に平行な、かつ前記中立光軸から静的にオフセットされた光軸を有するカメラを含み、前記プロセッサは、前記ディスプレイを介して前記オーバーレイ画像をレンダリングすることに加えて、
    （ｉ）前記カメラから画像を受信し、既知の静的オフセット値に基づいて前記画像を前記オーバーレイ画像に相関させ、
    （ｉｉ）前記オーバーレイ画像を前記画像に追加して、拡張画像を生成し、
    （ｉｉｉ）前記拡張画像を、前記ディスプレイ以外の１つ以上のディスプレイ上に表示するように更に構成されている、請求項１に記載のシステム。
14. （ｉ）前記プロセッサは、前記ＩＧＳナビゲーションシステムの第１のプロセッサ及び前記ＨＭＤの第２のプロセッサのうちの１つ以上を含み、
    （ｉｉ）前記センサは、前記ＨＭＤと連結されたジャイロスコープセンサ、前記ＨＭＤに取り付けられたカメラ、及び前記ＨＭＤに取り付けられた前記１つ以上の位置センサのうちの１つの位置センサのうちの１つ以上を含み、
    （ｉｉｉ）前記視点データのセットは、ジャイロスコープ配向データのセット、前記座標系に関連付けられた位置座標のセット、前記座標系に関連付けられた配向座標のセット、及び前記カメラによってキャプチャされた画像のうちの１つ以上を含む、請求項１に記載のシステム。
15. 方法であって、
    （ａ）画像誘導手術（「ＩＧＳ」）ナビゲーションシステムを構成することであって、
    （ｉ）追跡された領域に対応する座標系を維持し、
    （ｉｉ）前記座標系を用いて１つ以上の位置センサを追跡するように、構成することと、
    （ｂ）患者の解剖学的構造の場所を前記座標系と位置合わせすることと、
    （ｃ）１つ以上の相関データセットを受信することであって、前記１つ以上の相関データセットのそれぞれは、前記座標系に関連付けられたデータを含む、ことと、
    （ｄ）ウェアラブルフレーム及びディスプレイを含むヘッドマウントディスプレイ（「ＨＭＤ」）を装着しながら、現在の視点から前記患者の解剖学的構造を見ることであって、前記ディスプレイは、装着者の中立光軸と交差するように、前記ウェアラブルフレーム上に位置付けられる、ことと、
    （ｅ）前記ＨＭＤのセンサから受信した視点データのセットに基づいて、前記患者の解剖学的構造上の観察点に対する前記中立光軸の配向を決定することと、
    （ｆ）前記視点データのセットに基づいて、前記中立光軸の原点と前記観察点との間の距離を決定することと、
    （ｇ）前記配向及び前記距離に基づいて、前記１つ以上の相関データセットを変換して、前記現在の視点で前記患者の解剖学的構造に対応するオーバーレイ画像を生成することと、
    （ｈ）前記ディスプレイを介して前記オーバーレイ画像をレンダリングすることと、を含む、方法。
16. 前記１つ以上の相関データセットを受信することは、
    （ｉ）前記患者の解剖学的構造内の外科用器具の計画された経路を示す手術経路を受信することと、
    （ｉｉ）前記１つ以上の位置センサのうちの１つの位置センサに関連付けられた遠位先端の現在の場所を示す遠位先端場所を受信することと、
    （ｉｉｉ）前記患者の解剖学的構造の術前画像のセットから選択された画像スライスを受信することと、を含む、請求項１５に記載の方法。
17. 前記センサは、前記ウェアラブルフレーム上に位置付けられ、前記中立光軸に平行な、かつ前記中立光軸から静的にオフセットされた光軸を有するカメラを含み、前記方法は、
    （ａ）患者追跡アセンブリを前記患者の解剖学的構造上に配置することであって、前記患者追跡アセンブリは、
    （ｉ）前記１つ以上の位置センサのうちの１つの位置センサと、
    （ｉｉ）１つ以上の光学基準と、を含む、ことと、
    （ｂ）前記１つ以上の光学基準の１つ以上の可視特性を示し、前記座標系内の前記１つ以上の光学基準と前記観察点との間の関係を示す、物体データセットを記憶することと、
    （ｃ）前記１つ以上の光学基準を含む画像を前記カメラから受信することと、
    （ｄ）前記物体データセット及び前記画像に基づいて、前記配向及び前記距離を決定することと、を更に含む、請求項１５に記載の方法。
18. 前記センサは、前記１つ以上の位置センサのうちの第２の位置センサを含み、前記物体データセット、前記画像、及び前記座標系に基づいて前記配向及び前記距離を決定することを更に含む、請求項１７に記載の方法。
19. ＥＮＴ可視化のためのシステムであって、
    （ａ）画像誘導手術（「ＩＧＳ」）ナビゲーションシステムであって、
    （ｉ）追跡された領域に対応する座標系を維持し、
    （ｉｉ）前記座標系を用いて１つ以上の位置センサを追跡し、
    （ｉｉｉ）患者の解剖学的構造の場所を前記座標系と位置合わせするように動作可能である、画像誘導手術（「ＩＧＳ」）ナビゲーションシステムと、
    （ｂ）カメラ及びディスプレイを含むハンドヘルドディスプレイ（「ＨＨＤ」）と、
    （ｃ）前記患者の解剖学的構造に対する前記ＨＨＤの視点を示す視点データのセットを生成するように動作可能なセンサと、
    （ｄ）プロセッサと、を備え、
    前記プロセッサが、
    （ｉ）１つ以上の相関データセットを受信することであって、前記１つ以上の相関データセットのそれぞれは、前記座標系に関連付けられたデータを含む、ことと、
    （ｉｉ）前記ＨＨＤが、現在の視点から前記患者の解剖学的構造に向けられている間に、前記カメラから画像を受信することと、
    （ｉｉｉ）前記視点データのセットに基づいて、前記患者の解剖学的構造上の観察点に対する前記カメラの光軸の配向を決定することと、
    （ｉｖ）前記視点データのセットに基づいて、前記光軸の原点と前記観察点との間の距離を決定することと、
    （ｖ）前記配向及び前記距離に基づいて、前記１つ以上の相関データセットを変換して、前記画像内の前記患者の解剖学的構造に対応するオーバーレイ画像を生成することと、
    （ｖｉ）前記オーバーレイ画像及び前記画像に基づいて、前記ディスプレイを介して拡張画像を表示することと、を行うように構成されている、システム。
20. （ｉ）前記センサは、前記１つ以上の位置センサのうちの１つの位置センサであり、
    （ｉｉ）前記１つ以上の位置センサのうちの第２の位置センサは、前記患者の解剖学的構造上に位置付けられており、
    （ｉｉｉ）前記１つ以上の相関データセットは、
    （Ａ）前記患者の解剖学的構造内の外科用器具の計画された経路を示す手術経路と、
    （Ｂ）前記１つ以上の位置センサのうちの第３の位置センサに関連付けられた遠位先端の現在の場所を示す遠位先端場所と、を含む、請求項１９に記載のシステム。

Images