JP2022017422A - 拡張現実感手術ナビゲーション - Google Patents

Abstract

【課題】ユーザ（外科医）が手術に集中し続ける一方で、患者から目を離すことなく手術中に必要とされる情報を処理可能とする。【解決手段】拡張現実感手術ナビゲーション方法は、患者１０４に関連する多次元仮想モデルを準備するステップを含む。方法はさらに、患者に対する外科医１０２の位置、および患者に対する外科医のビューの角度を含む、患者に対する外科医の現在のビューを示すトラッキング情報を受信するステップを含む。方法はさらに、受信されたトラッキング情報に基づき仮想モデル内の仮想ビューを識別し、識別された仮想ビューは患者に対する外科医のビューに対応するステップを含む。方法はさらに、識別された仮想ビューに基づき仮想モデルから仮想画像を表現するステップを含む。【選択図】図１

Description

本出願は、２０１５年１０月１４日出願の米国仮出願シリアル番号６２／２４１，４４７の受益を主張し、これは参照により本明細書に組み込まれる。

脳動脈瘤の修復術のような高リスクの手術の間、例えば外科医が動脈瘤領域にアプローチするよう組織を押すおよび切断するため、脳組織の絶対方向が著しく変更される。従って、予め登録された３Ｄ像に基づいた画像誘導ナビゲーションシステムのような先進の手術準備および支援システムの現在の利用は、外科医の補助に限定される。また、動脈瘤修復のような手術は、動脈瘤領域への一時的血管クランプを含む種々の処置のため、非常に時間的制約がある。従って、処置の効率が極めて重要で、患者特有の局部の幾何学構造および動脈瘤の物理的特性に基づいた詳細な計画が基本的である。新しいレベルの手術前準備を達成するのに、３ＤのＣＴおよびＭＲＩ画像がますます利用されている。しかし、それらの画像は、単体では手術リハーサルに大したことのない利点しか提供しない。

米国特許第８，３１１，７９１号（参照により本明細書に組み込まれる）に以前に記載された手術リハーサルおよび準備ツールは、静止した医療画像を動的および相互作用する多次元の全球形仮想現実の６つの自由度モデル（「ＭＤ６ＤＭ」）に変換するため開発され、ＭＤ６ＤＭをリアルタイムの医療処置のシミュレーションに医師が使用可能である。

ＭＤ６ＤＭは、医師が全球形仮想現実環境で介入を経験、計画、実行、およびナビゲートするのを可能にするグラフィカルシミュレーション環境を提供する。特にＭＤ６ＤＭは、外科医に従来の２次元患者医療スキャンから作られ、容積球形仮想現実モデル全体で６つの自由度（すなわち並進：ｘ、ｙ、ｚ、および角度：ヨー、ピッチ、ロール）の球形仮想現実をもたらす、独特の多次元モデルを用いてナビゲートする機能を提供する。

ＭＤ６ＤＭは、ＣＴ、ＭＲＩ、ＤＴＩなどを含む患者自身の医療画像のデータセットから作られ、患者特有である。アトラスデータのような代表的な脳モデルは、外科医が望む場合、部分的に患者特有のモデルを生成するよう統合可能である。モデルは、ＭＤ６ＤＭ上のあらゆるポイントから３６０°の球形ビューをもたらす。ＭＤ６ＤＭを用いて、観察者は解剖学的構造の仮想的に内部に位置し、観察者が患者の身体内部に立っているかのように解剖学的構造および病理学的構造の両方を見て観察可能である。観察者は、患者内で見られる本来の構造を互いに対して正確に、上を見る、下を見る、肩越しに見るなどが可能である。ＭＤ６ＤＭを用いて、内部の構造間の空間的関係が保存され、評価可能である。

ＭＤ６ＤＭのアルゴリズムは医療画像情報を取り込み、それを球形モデルの、あらゆる角度から見ることが可能である一方で解剖学的構造内部に「飛ぶ」、完全な連続したリアルタイムモデルを作る。特に、ＣＴ、ＭＲＩ、などが実際の生体を取り込み、それを数千のポイントから作られた何百もの薄いスライスに分解した後、ＭＤ６ＤＭはそれを、内側および外側の両方からそれらのポイントのそれぞれの３６０°のビューを示すことによって３Ｄモデルに戻す。

１つの例では、医師は、手術室（ＯＲ）内の実際の手術処置の間、ＭＤ６ＤＭ内で利用可能な情報を活用し、それを使用したいかもしれない。しかし、外科医はすでに、処置の間、手術室内で顕微鏡または内視鏡を使用しているかもしれない。よって、外科医がＭＤ６ＤＭまたは他のタイプの患者のスキャンまたはデータを見るために顕微鏡または内視鏡から眼を逸らすことは、非効率的で気が散り、時間がかかりうる。また、すでに混みあった手術室内にＭＤ６ＤＭのような患者のスキャンおよびモデルを見るさらなる機器およびシステムを含めることは、実用的または可能でないかもしれない。

拡張現実感手術ナビゲーションシステムは、１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読な有形の記憶装置と、１つまたは複数のプロセッサのうち少なくとも１つによる実行のため、１つまたは複数の記憶装置のうち少なくとも１つに格納されたプログラム命令を有する。プログラム命令は、患者に関連する多次元仮想モデルを準備する第１のプログラム命令を含む。プログラム命令はさらに、患者のライブのビデオフィードを受信する第２のプログラム命令を含む。プログラム命令はさらに、患者に対する位置を示すトラッキング情報を受信する第３のプログラム命令を含む。プログラム命令はさらに、トラッキング情報に基づき仮想モデルをライブのビデオフィードと組み合わせることにより、患者の拡張現実感ビューを生成する第４のプログラム命令を含む。プログラム命令はさらに、患者の拡張現実感ビューをディスプレイへ通信する第５のプログラム命令を含む。

コンピュータプログラム製品は、１つまたは複数のコンピュータ可読な有形の記憶装置、および１つまたは複数の記憶装置のうち少なくとも１つに格納されたプログラム命令を含む。プログラム命令は、患者に関連する多次元仮想モデルを準備する第１のプログラム命令を含む。プログラム命令はさらに、患者のライブのビデオフィードを受信する第２のプログラム命令を含む。プログラム命令はさらに、患者に対する位置を示すトラッキング情報を受信する第３のプログラム命令を含む。プログラム命令はさらに、トラッキング情報に基づき仮想モデルをライブのビデオフィードと組み合わせることにより、患者の拡張現実感ビューを生成する第４のプログラム命令を含む。プログラム命令はさらに、患者の拡張現実感ビューをディスプレイへ通信する第５のプログラム命令を含む。

提供されるのは、患者に関連する多次元仮想モデルを準備するステップを含む拡張現実感手術ナビゲーション方法である。方法はさらに、患者のライブのビデオフィードを受信するステップを含む。方法はさらに、患者に対する位置を示すトラッキング情報を受信するステップを含む。方法はさらに、トラッキング情報に基づき仮想モデルをライブのビデオフィードと組み合わせることにより、患者の拡張現実感ビューを生成するステップを含む。方法はさらに、患者の拡張現実感ビューをディスプレイへ通信するステップを含む。

また提供されるのは、１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読な有形の記憶装置と、患者に対するユーザの位置についての情報を検出する少なくとも１つのセンサと、１つまたは複数のプロセッサのうち少なくとも１つによる実行のため、１つまたは複数の記憶装置のうち少なくとも１つに格納されたプログラム命令とを備える拡張現実感手術ナビゲーションシステムである。そのようなシステムのプログラム命令は、患者に関連する多次元仮想モデルを準備する第１のプログラム命令と、センサにより検出された患者に対するユーザの位置、および患者に対するユーザのビューの角度を含む、患者に対するユーザの現在のビューを示すトラッキング情報を受信する第２のプログラム命令と、受信されたトラッキング情報に基づき仮想モデル内の仮想ビューを識別し、識別された仮想ビューは患者に対するユーザのビューに対応する第３のプログラム命令と、識別された仮想ビューに基づき仮想モデルから仮想画像を表現する第４のプログラム命令と、表現された仮想画像をディスプレイに通信し、表現された仮想画像は患者の拡張現実感ビューを形成するようユーザのビューと組み合わされる第５のプログラム命令を有する。

さらに提供されるのは、第２のプログラム命令がさらに、患者に対するユーザの位置および患者に対するユーザのビューの角度が変化するとき、更新されたトラッキング情報をリアルタイムに連続的に受信するよう構成され、第３のプログラム命令がさらに、仮想ビューが患者に対するユーザのビューと連続的に同期されるように、注意して更新されたトラッキング情報に対応する仮想ビューをリアルタイムで連続的に識別するよう構成された前述のシステムである。

また提供されるのは、患者に対するユーザのビューに対応するライブのビデオフィードを受信する第６のプログラム命令と、仮想画像をリアルタイムで連続的に表現しライブのビデオフィードと組み合わせることにより、患者に対する拡張現実感ビューを生成し、仮想画像はトラッキング情報に基づきライブのビデオフィードと同期される、第７のプログラム命令をさらに含む前述のシステムのいずれかである。

またさらに提供されるのは、第２のプログラム命令がさらに、患者に対する第２のユーザの位置、および患者に対する第２のユーザのビューの角度を含む患者に対する第２のユーザの現在のビューを示す第２のトラッキング情報を受信するよう構成され、第２のユーザの現在のビューが患者に対するユーザの現在のビューと異なり、第３のプログラム命令がさらに、受信された第２のトラッキング情報に基づき、仮想モデル内の第２の仮想ビューを識別するよう構成され、識別された第２の仮想ビューは患者に対する第２のユーザのビューに対応し、第４のプログラム命令がさらに、識別された第２の仮想ビューに基づき仮想モデルから第２の仮想画像を表現するよう構成され、第５のプログラム命令がさらに、表現された第２の仮想画像を第２のディスプレイに通信するよう構成され、表現された第２の仮想画像は、患者に対する第２の拡張現実感ビューを形成するよう第２のユーザのビューと組み合わされ、同時に第１の表現された仮想画像を第１のディスプレイに通信する前述のシステムのいずれかである。

また提供されるのは、患者に関連する多次元仮想モデルを準備するステップと、患者に対するユーザの位置、および患者に対するユーザのビューの角度を含む、患者に対するユーザの現在のビューを示すトラッキング情報を受信するステップと、受信されたトラッキング情報に基づき仮想モデル内の仮想ビューを識別し、識別された仮想ビューは患者に対するユーザのビューに対応するステップと、識別された仮想ビューに基づき仮想モデルから仮想画像を表現するステップと、表現された仮想画像をディスプレイに通信し、表現された仮想画像はディスプレイにより表示された患者に対する拡張現実感ビューを形成するようユーザのビューと組み合わされるステップを含む、拡張現実感手術ナビゲーション方法である。

またさらに提供されるのは、患者に対するユーザの位置および患者に対するユーザのビューの角度が変化するとき、更新されたトラッキング情報を受信するステップと、仮想ビューが患者に対するユーザのビューと連続的に同期されるように、注意して更新されたトラッキング情報に対応する仮想ビューを識別するステップと、患者に対するユーザのビューに対応するライブのビデオフィードを受信するステップと、仮想画像をリアルタイムで連続的に表現しライブのビデオフィードと組み合わせることにより、患者に対する拡張現実感ビューを生成し、仮想画像はトラッキング情報に基づきライブのビデオフィードと同期されるステップと、患者に対する第２のユーザの位置、および患者に対する第２のユーザのビューの角度を含む、患者に対する第２のユーザの現在のビューを示す第２のトラッキング情報を受信し、第２のユーザの現在のビューが患者に対するユーザの現在のビューと異なるステップと、受信された第２のトラッキング情報に基づき仮想モデル内の第２の仮想ビューを識別し、識別された第２の仮想ビューは患者に対する第２のユーザのビューに対応するステップと、識別された第２の仮想ビューに基づき仮想モデルから第２の仮想画像を表現するステップと、および／または、表現された第２の仮想画像を第２のディスプレイに通信し、表現された第２の仮想画像は患者に対する第２の拡張現実感ビューを形成するよう第２のユーザのビューと組み合わされ、同時に第１の表現された仮想画像を第１のディスプレイに通信するステップのいずれかをさらに含む、前述の方法である。

さらに提供されるのは、１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読な有形の記憶装置と、患者に対するユーザの位置についての情報を検出する第１のセンサと、ユーザの現在の動作に基づき画像を捕捉する第２のセンサと、１つまたは複数のプロセッサのうち少なくとも１つによる実行のため、１つまたは複数の記憶装置のうち少なくとも１つに格納されたプログラム命令とを備える拡張現実感手術ナビゲーションシステムである。プログラム命令は、患者に関連する多次元仮想モデルを準備する第１のプログラム命令と、第１のセンサにより検出された患者に対するユーザの現在の位置を示すトラッキング情報を受信する第２のプログラム命令と、ユーザの現在の動作に基づき画像を受信および処理する第３のプログラム命令と、受信されたトラッキング情報に基づき仮想モデル内の仮想ビューを識別し、識別された仮想ビューはユーザの現在の動作に対応する第４のプログラム命令と、識別された仮想ビューに基づき仮想モデルから仮想画像を表現する第５のプログラム命令と、表現された仮想画像をディスプレイに通信し、表現された仮想画像は患者に対する拡張現実感ビューを形成するようユーザの現在の動作に基づく画像と組み合わされる第６のプログラム命令を含む。

さらなる実施形態例も提供され、そのいくつか（しかし全てではない）を本明細書に詳細をさらに後述する。

特許または出願書類は、白黒で実行された少なくとも１枚の写真を含む。白黒写真の図を含む本特許または特許出願公開のコピーは、要請および必要な費用の支払があれば本事務所から提供される。添付の図で、構造が示され、後述の詳細な記載と共に、主張される発明の例示的な実施形態を説明する。同一の構成要素は、同一の参照番号で識別される。単一の構成要素として示された構成要素を複数の構成要素で置き換えてもよく、複数の構成要素として示された構成要素を単一の構成要素で置き換えてもよいことを理解するべきである。図は縮尺通りではなく、例示の目的のため特定の構成要素の大きさを強調するかもしれない。

拡張現実感手術ナビゲーションシステムの例を示す。 拡張現実感手術ナビゲーションシステムの例のブロック図を示す。 同一のスクリーン上の光学ビューおよびスキャンされたビューの統合されたビューの例を示す。 外側通路からの腫瘍ケースのビューの例を示す。 外側通路からの腫瘍ケースのビューの例を示す。 内側通路からの腫瘍ケースのビューの例を示す。 内側通路から左下の腫瘍ケースのビューの例を示す。 内側通路から左の腫瘍ケースのビューの例を示す。 内側通路から左上の腫瘍ケースのビューの例を示す。 内側通路から上の腫瘍ケースのビューの例を示す。 内側通路から右上の腫瘍ケースのビューの例を示す。 内側通路から右の腫瘍ケースのビューの例を示す。 内側通路から右下の腫瘍ケースのビューの例を示す。 外側通路からの動脈瘤ケースのビューの例を示す。 内側通路からの動脈瘤ケースのビューの例を示す。 内側通路から下の動脈瘤ケースのビューの例を示す。 内側通路から左下の動脈瘤ケースのビューの例を示す。 内側通路から左の動脈瘤ケースのビューの例を示す。 内側通路から左上の動脈瘤ケースのビューの例を示す。 内側通路から上の動脈瘤ケースのビューの例を示す。 内側通路から右上の動脈瘤ケースのビューの例を示す。 内側通路から右の動脈瘤ケースのビューの例を示す。 内側通路から右下の動脈瘤ケースのビューの例を示す。 手術室内の上面図の例を示す。 ヘッドマウントディスプレイ（ＨＭＤ）の例の正面図を示す。 ヘッドマウントディスプレイ（ＨＭＤ）の例の背面図を示す。 ヘッドマウントディスプレイ（ＨＭＤ）の他の例を示す。 拡張現実感手術ナビゲーション方法の例を示す。 ４つの光学ビューディスプレイフォーマットの例を示す。 シーンの例内でアバターで表わされる複数のユーザの例を示す。 入力コントローラの例を示す。 図１のＡＲＳ計算装置の例を実装するコンピュータの例の概略図である。 本明細書中に開示される改良とともに使用可能なＳＮＡＰシステムの例を使用するシステム構造の例およびインタフェースのブロック図である。 ＳＮＡＰシステムの例に関するＳＮＡＰツール構成要素の例を示すブロック図である。 ＳＮＡＰシステムの例に関するソフトウェアインタフェースの例を示すブロック図である。 ヘッドマウントディスプレイの例のいずれかで使用可能な種々のセンサ構成要素を示すブロック図である。

以下の頭字語および定義は、詳細な記載の理解を助ける。

ＡＲ－拡張現実感－要素が音、ビデオ、またはグラフィックスのようなコンピュータ生成知覚要素により強化された物理的な現実世界の環境のライブのビュー

ＶＲ－仮想現実－種類を変えて人が調査および相互作用可能な３次元のコンピュータ生成環境。

ＨＭＤ－ヘッドマウントディスプレイ（図２６）は、ＡＲまたはＶＲ環境で使用可能なヘッドセットを指し、有線または無線であってもよく、また、ヘッドホン、マイクロホン、ＨＤカメラ、赤外線カメラ、ハンド追跡器、位置追跡器などのような１つまたは複数の付加装置を有してもよい。

コントローラ－ボタンおよび方向コントローラを有する装置であり、有線または無線であってもよい。この装置の例は、Ｘｂｏｘゲームパッド、プレイステーションゲームパッド、オキュラスタッチなどである。

ＨＭＤスイッチ－ユーザがＨＭＤおよび／またはコントローラを用いてソフトウェアと相互作用することを可能にするスイッチ。このスイッチは、ソフトウェアまたはコントローラのボタンを押す、例えば「ＨＭＤスタート」、「ＨＭＤストップ」といった語句または単語を言う、フットスイッチを押す、長波のようなハンドジェスチャを含むいくつかの方法で始動／停止可能である。

セグメンテーション－デジタル画像を複数のセグメント（ピクセルのセット）に分割するプロセス。セグメンテーションの目的は、画像表示の単純化および／または画像表示をより重要でより分析が容易なものに変更することである。

クリッピング－内部の構造を「スライスずつ」見せるよう、ビューの角度に垂直なモデル化された解剖学的構造の層を（一度に１つの予め設定された厚さで）取り除くプロセス。層は、側面／遠位で中間／近位方向へ取り除かれる。

ＳＮＡＰケース－ＳＮＡＰケースは、ＤＩＣＯＭファイルフォーマットの患者の１つまたは複数のスキャン（ＣＴ、ＭＲ、ｆＭＲ、ＤＴＩ、など）を用いて生成された３Ｄテクスチャまたは３Ｄオブジェクトを指し、また、特定の範囲のフィルタリングおよび他を３Ｄテクスチャで着色するためのセグメンテーションの種々のプリセットを含む。また、対象となる特定のポイントまたは解剖学的構造にマーク付けする３Ｄ形状、３Ｄラベル、３Ｄ計測マーカー、誘導のための３Ｄ矢印、および３Ｄ手術ツールを含むシーン内に置かれる３Ｄオブジェクトを含んでもよい。手術ツールおよび装置は、教育および患者特有のリハーサル、特に動脈瘤クリップの適切な寸法についてモデル化されてきた。

シーン－その中に３Ｄテクスチャおよび３Ｄオブジェクトを含む３Ｄ仮想空間を指す。

アドオンセンサ－仮想経験の強化のため、現実環境からより多くの情報を受信するのを可能にする装置。例えば、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ、Ｌｅａｐ Ｍｏｔｉｏｎ。

アバター－ユーザのビューのポイントは「頭の影」（図１－１０１）で指定され、「アバター」と呼ばれる。ユーザのアバターは、例えば外科医の頭が右に動けばアバターは右に動くなど、全ての方向において、外科医の頭の動きに従う。外科医が他のビューのポイントを望めば、コントローラを用いてアバターをＭＤ６ＤＭ内部の新しいポイントに再配置可能である。

ＭＤ６ＤＭ－多次元全球形仮想現実、６つの自由度モデルであり、医師が全球形仮想現実で介入を経験、計画、実行、およびナビゲートするのを可能にするグラフィカルシミュレーション環境を提供する。

開示されたシステムは、手術室の技術と統合して、進化した３Ｄ機能および拡張現実感を提供し、外科医が手術実績を強化し前もって準備するのを可能にする、手術グラフィカルツール（ＳＮＡＰ）の例のようなモデリングシステム上で実装される。ＳＮＡＰツールは、他の使用の中でも、例えば脳腫瘍を取り除き血管形成異常を治療するのに最も安全で最も効率的な経路を判断するよう、神経外科医に比類のない仮想現実誘導を提供する。

ＳＮＡＰツールは、例えば鍵穴および他の最小侵襲技術のための開頭、頭部の位置、病態への経路アプローチの３Ｄ計画をインポートする。ＳＮＡＰは、外科医が前もって予測される外科医の眼のビューで見ることを可能にする。

ＳＮＡＰツールを使用することで、外科医は、手術室にいる間に、特定の患者の実際のＣＴ／ＭＲＩ（および他の）スキャンを使用して、正確性および効率の強化が可能になる手術計画を実行可能である。ＳＮＡＰはまた、外科医により有益な画像を作成するよう変更可能な回転可能の３Ｄフォーマットで、背後の動脈および他の重要な構造を外科医が見ることを可能にする革新的な機能を提供する。例えばＳＮＡＰは、画像を回転するまたは半透明にする性能を提供し、操作の視覚化において外科医を支援する。ＳＮＡＰは、「患者特有の」手術で外科医が実際に「フライスルー」のを可能にする進化した画像化技術を使用する。ツールは手術室外の準備支援を提供し、処置中に外科医（および彼のスタッフ）が使用するため、手術室内に予め計画された経路を取り込むのにも使用可能である。

ＳＮＡＰは、手術ツール、ナビゲーションプローブ、顕微鏡の焦点などのどれかがＯＲ内部で作動可能な追跡ナビゲーションシステムに接続することにより、それらの追跡座標を取得する。ＳＮＡＰは、強化された状況認識を遅らせる３Ｄナビゲーションモデルを提供する。ＳＮＡＰは、画像またはトラッキング／ナビゲーション情報を収集するよう構成されたあらゆるこれらの手術ツールからそのような情報を受信可能であり、ＳＮＡＰシステムは、受信された情報に対応する外科医にそのような情報を高解像度画像で表示させることができる。例えば、ＳＮＡＰ画像は表示された画像内のツールの位置を追跡してもよいし、または例えばツールにより提供された視覚情報に基づき画像を更新してもよい。

ＳＮＡＰ接近警報システムは、地面および他の障害物への接近を引き起こしうる接近および／操縦を乗務員に示し警告する、航空機の対地接近警報システム（ＧＰＷＳ）および航空機衝突防止システム（ＡＣＡＳ）、地勢衝突防止システム（ＴＣＡＳ）および他の同様のシステムと同様の方法で作動する。ＳＮＡＰ接近警報システムは、以下の主な段階を含んで作動する。

ＳＮＡＰ接近警報システムは、外科医が避ける必要がある解剖学的構造に、自動的にマーク付けすることが可能である。そのような解剖学的構造は、ファイバートラッキング、神経、血管、動脈などを含んでもよい。ＳＮＡＰ接近警報システムは、３Ｄまたは２Ｄナビゲーションシーン内のマーケットの手動配置を可能にする。それらのマーケットは、避ける障害物および解剖学的構造のどちらかをマーク付け、または外科医がナビゲートされる目標をマーク付け可能である。取り付けられる全てのマーカーはラベル付け可能であり、特定の色、特定の形状などを有することが可能である。ＳＮＡＰ接近警報システムの警報の表示は、視覚（例えば色の変化）、声（音）および他であることが可能である。

ＳＮＡＰは、軌道の生成を可能にする。挿入ポイントを売買し、それからこの挿入ポイントを上記マーカー／目標と関連付けることにより、ＳＮＡＰは挿入ポイントから目標へナビゲートするのを可能にする軌道を生成する。ＳＮＡＰパスプランナーは、外科医がいくつかのマーカー、目標、および挿入ポイントをつなげてパスを生成することを可能にする。複数のパスを生成可能である。パスは所望の従うルート、または避けるパスであることが可能である。

ＳＮＡＰは、外科医に視覚のグラフィック誘導を提供する。外科医が誘導されたマーカー内に自らの動きを維持する限り、正確にポイントＡからポイントＢ（挿入ポイントから目標）に達する。ツールは、施設（例えば、病院）およびそれらのそれぞれの外科医に、手術エラーの減少、手術での廃棄物量および関連する費用の減少、手術室での時間の減少、および処置での高リスクの性質の最小化の機会を提供する。ツールは、神経外科手術のトレーニングの高い質を維持する機会、および手術室外で受ける教育、多数の広範囲にわたる例、病院でのおよそ終わりがない常駐時間における手術スキルのハルステッドトレーニングを提供する。最近の進歩は、ハルステッドシステムの再考を強いてきた。最近のハルステッドシステムへの圧力の高まりは、制限された作業時間、世間の高まる厳しい目、および作業経験の減少を含む。

ツールを使用したリハーサルは、後に続く処置および調整の必要を減少することが可能である。例えば、ツールが動脈瘤手術に使用されるとき、ツールの使用は動脈瘤クリップを調整または交換する必要を減少することが可能である。クリップの調整および交換は、通常は、一時的閉塞を延ばし全体の処置時間を延ばす結果となりうる。これは、処置全体のリスクを増す可能性がある。

当業者が理解するように、本明細書中に開示される実施形態例は、方法、システム、コンピュータプログラム製品、または前述の組み合わせとして実現されてもよく、または通常使用してもよい。従って、あらゆる実施形態は、完全にハードウェアの実施形態、ハードウェアを実行する（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態、またはソフトウェアおよびハードウェアの態様の組み合わせ（本明細書では通常「システム」と呼ぶかもしれない）の実施形態を取ってもよい。さらに、あらゆる実施形態は、媒体内に具体化されたコンピュータで使用可能なプログラムコードを有するコンピュータが使用可能な記憶媒体上のコンピュータプログラム製品の形態を取ってもよい。

例えば、本明細書中に開示される機能は、図３１Ａに示されたように、（手術室内のような）病院環境内に設けられたネットワーク化されたコンピュータシステム１を用いて実装可能である。このシステムを手術環境内に設けることが可能であり、そこで外科医２０がさまざまな手術スタッフ２２に支援されて患者５を手術する。そのようなシステム１は、コンピュータネットワーク１２を用いて共にネットワーク化された、１つまたは複数のデータベース１５Ａ～１５ｎからデータをアクセスする１つまたは複数のサーバ（例えば、ＰＣ）１０Ａ～１０ｎを統合する。システムは、本明細書に記載された機能および他の機能を実装するよう提供された専有のソフトウェアを実行する。１つまたは複数のコンピュータ２０を、コンピュータ１８とツール間のインタフェースとして１つまたは複数のコンピュータバスまたはネットワーク３０を用いて、手術プローブ／カメラ３２、他の手術ツール３４、および／またはコンピュータ（１台または複数）２０に接続された他の機器３６のような種々の手術ツールとインタフェース接続するのに使用可能である。いくつかの状態で、コンピュータ１８、サーバ１０、およびデータベース１５の全てを単一のサーバプラットフォーム内に収容してもよいことに留意されたい。

システムは高解像度３Ｄディスプレイ４０に接続され、ディスプレイ４０上で外科医は種々のツール３２、３４、および３６の操作および活動を監視可能である。一部のケースで、ディスプレイは３Ｄ機能を有さなくてもよい。さらに、後述する例のヘッドマウントディスプレイ（ＨＭＤ）は、外科医および／または助手に本物そっくりの画像を提供するのに使用可能である。１つまたは複数のそのようなディスプレイを、インターネットのような通信ネットワークを介した接続を通してのように、手術場所から遠隔に設けてもよい。

システムは患者特有のパラメータ７と共に構成され、パラメータ７は、予め取得された患者の利用可能なＣＴおよびＭＲＩ画像、および患者の年齢、性別などのようなシミュレーションされたモデルに関する他の情報から準備された画像を含む、患者の画像化された詳細を含む（それのいくつかまたは全てを、例えば医療データベース、研究所または他のソースのような外部実体から取得してもよい）。システムは、組織および器官の特徴を記載するシステムデータベース（１台または複数）から取得された組織情報パラメータを使用する。所望の場合、システムを、インターネットのような通信ネットワーク５０を介して１つまたは複数の外部実体６０と情報を交換するよう構成してもよい。

任意の適切なコンピュータで使用可能な（コンピュータ可読な）媒体を、開示されたプロセスの実現、および開示されたデータおよび情報の格納のため、１つまたは複数のコンピュータ上で実行されるソフトウェアの格納に使用してもよい。コンピュータで使用可能またはコンピュータ可読な媒体は、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、機器、装置、または伝搬媒体であってもよいが、それらに限定されない。コンピュータ可読な媒体のより具体的な例（完全網羅でないリスト）は、１つまたは複数の電線を有する電気接続、持ち運び可能なコンピュータフロッピーディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、コンパクトディスク読み出し専用メモリ（ＣＤＲＯＭ）、または他の有形の光学または磁気記憶装置のような有形の媒体、またはインターネットまたはイントラネットを支援するもののような送信媒体を含むであろう。コンピュータで使用可能またはコンピュータ可読な媒体は、そこから例えば光学または磁気スキャンによりプログラムを電子的に取り込むことができ、例えば必要がある場合、適切な方法でコンパイル、解釈、または別の方法で処理され、それからあらゆるアクセス可能なタイプのコンピュータメモリ内に格納されうる他の媒体さえも含むことに留意されたい。

この文書の文脈で、コンピュータで使用可能またはコンピュータ可読な媒体は、命令実行システム、プラットフォーム、機器、または装置により、またはそれらと接続して、使用するプログラムを包含、格納、通信、伝搬または移送可能なあらゆる媒体であってもよく、それらは１つまたは複数のプログラム可能なまたは専用プロセッサ／コントローラ（１台または複数）を含む任意の適切なコンピュータ（またはコンピュータシステム）を含むことが可能である。コンピュータで使用可能な媒体は、ベースバンド内または搬送波の一部として、伝搬されたデータ信号とそれと共に具体化されるコンピュータで使用可能プログラムコードを有してもよい。コンピュータで使用可能なプログラムコードを、インターネット、有線、光ファイバケーブル、高周波（ＲＦ）または他の手段を含むが、それらに限定されないあらゆる適切な媒体を使用して送信してもよい。

実施形態例の動作を実行するコンピュータプログラムコードを、ＢＡＳＩＣ、Ｌｉｓｐ、ＶＢＡ、またはＶＢＳｃｒｉｐｔのような解釈またはイベントドリブン言語、またはｖｉｓｕａｌ ｂａｓｉｃのようなＧＵＩ実施形態、ＦＯＲＴＲＡＮ、ＣＯＢＯＬ、またはＰａｓｃａｌのようなコンパイルされるプログラミング言語、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、Ｏｂｊｅｃｔ Ｐａｓｃａｌなどのようなオブジェクト指向、記述または非記述プログラミング言語、Ｐｒｏｌｏｇのような人工知能言語、Ａｄａのようなリアルタイム組み込み言語、またはラダー・ロジック、を用いてさらにより直接または単純化したプログラミング、アセンブラ言語、または適切な機械言語を用いた直接プログラミングを含むが、それらに限定されないいずれかのコンピュータ言語を用いて従来の手段により記述してもよい。

コンピュータ可読なメモリ内に格納された命令が、本明細書で明示された機能／動作を実装する命令手段を含む製造の物品を作り出すように、コンピュータプログラム命令を、（図３１Ａのシステム１の例により記載されたような）計算装置またはシステムを管理可能なコンピュータ可読なメモリ、または特定の方法で機能する他のプログラム可能なデータ処理機器内に格納さもなければロードしてもよい。

ソフトウェアは、実行装置または構成要素に提供されることにより実行される特殊化したコンピュータプログラム命令を有し、特殊化したコンピュータプログラムが実行されるとき、本明細書に明示された機能／動作を実装する手段を生成するように、実行装置または構成要素は、汎用コンピュータのプロセッサ、特殊用途コンピュータまたはコントローラ、または本明細書に記載されたようにカスタマイズされた他のプログラム可能なデータ処理機器または構成要素を含むことが可能である。よって、カスタマイズされたソフトウェアのコンピュータプログラム命令により、一連の動作が実行装置または構成要素、または他のプログラム可能な機器上で実行される状態を生じさせ、それにより、命令は、この開示で明示された機能／動作を実装するステップをコンピュータまたは他のプログラム可能な機器上で実行するように、コンピュータ実装プロセスを作り出す。本発明の実施形態の幾つもの例を実行するため、これらのステップまたは動作を、操作者または人間が実装するステップまたは動作、および他の構成要素または機器により提供されるステップまたは動作と組み合わせてもよい。カスタマイズされたソフトウェアはまた、所望に応じて、コンピュータオペレーティングシステム、データベースプラットフォーム（例えばＭｙＳＱＬ）、または他のＣＯＴＳソフトウェアのような種々の市販ソフトウェアを使用してもよい。

「手術ナビゲーション先進プラットフォーム」（ＳＮＡＰ）と呼ばれるシステムの例について、実際の患者の医療画像は、動的な相互作用３Ｄシーンに変換される。この動的および相互作用画像／モデルは、医療画像に関する新しい今までにない初めての標準を作り、多くの適用を有する。

ＳＮＡＰは、例えば腫瘍（脳など）を取り除き血管形成異常のような異常を治療するのに最も安全で最も効率的な経路を判断するよう、外科医（神経外科医など）、医師、および補助者に比類のない仮想現実誘導を提供する。「手術ナビゲーション先進プラットフォーム」（ＳＮＡＰ）を、スタンドアロンシステムまたは手術ナビゲーションシステムのアプリケーションとして使用することが可能であり、または、サードパーティのナビゲーションシステムが使用される処置のタイプに関して、サードパーティのナビゲーションシステムと共に使用することが可能である。これらの処置は、脳、脊椎、および耳、鼻、咽喉（ＥＮＴ）を含むが、それらに限定されない。

ＳＮＡＰは、外科医が手術前に特定の患者のケースを分析および計画し、それから手術中にその計画を手術室（ＯＲ）内で考慮し、その計画をナビゲーションシステムと併せて使用することを可能にする。それからＳＮＡＰは、ナビゲーションデータを先進の相互作用、高品質の３Ｄ画像に複数ポイントのビューで示す。

ＳＮＡＰは、手術処置のリアルタイムおよび動的な複数ラインの（さまざまな／複数の見方からの）視界ビューを示す医療画像化装置を含む実画像誘導手術システムである。画像は、（ＣＴ、ＭＲＩ、超音波、Ｘ線などのようなスキャンに基づいた）スキャンされた医療画像、および手術器具を含む。それは、顕微鏡または他のソースからのビデオに基づいたリアルタイムビデオおよびモデルを含んでもよい。ＳＮＡＰは、外科医のためのリアルタイム３Ｄ相互作用誘導画像を提供する。解剖学的構造（すなわち頭、脳、ひざ、肩など）の方向はマーケットであり、物理的／患者のおよびスキャンされた医療画像（ＣＴ、ＭＲＩ、超音波、Ｘ線など）の両方で予め登録され、従って、スキャンされた医療画像の方向および手術を受ける患者の実際の解剖学的構造の方向は、同期され整列される。

さらに、前述の予め登録されたマーカーは、手術器具およびＯＲ顕微鏡（および／または外科医の頭）を追跡する、従ってスキャンされた医療画像に関する空間に手術器具画像／モデルを示すことを可能にする球形の参照を提供する。

２Ｄまたは３Ｄの患者の解剖学的構造と手術器具の位置および方向は、リアルタイムで同期され、解剖学的構造に関する空間内の器具およびマーカーのリアルタイムの位置および方向と共に外科医に示される。

ＳＮＡＰシステムは、複数のスキャンされたデータセットを持つケースを準備可能である。組込み「結合」モードは、ユーザが１次データセットとして機能する１つのデータセットを選択し、１次スキャンデータセットに整列される（「結合される」）２次データセットを追加することを可能にする。

ＳＮＡＰシステムは、比類のないクリップ機能を有する。全面ＩＧ立方体クリッピングは、ユーザがあらゆる所望の角度から３Ｄモデルを「クリップ」し、本質的にモデルに切り取り、モデル内部を露出するよう区画を取り除く機能である。クリッピング面は、それによって３Ｄモデルが２つの変数－面法線（ベクトル）および平面位置（面が通る空間内のポイント）によって定義される面に「クリップされる」面である。

さらにＳＮＡＰシステムは、シーンで全面ＩＧ立方体クリッピングを３Ｄ移動構成要素に従属させるのを承知している。立方体クリッピング面が標準および位置により定義されるので、ユーザのためにこれを定義するのにシーン内で移動構成要素を使用可能である。構成要素は、ナビゲーションプローブ、３Ｄコントローラ（Ｏｍｎｉ）、通路、ＩＧビューポイント（アイカメラ）などである。

他の特徴は、変換機能である。ＳＮＡＰシステムは、「組織特有の強度」を表示する特別な能力を持つ。原型のデータセットスライスが収集され、積層されてピクセルの立方体、または我々がボクセル立方体と呼ぶものを再構成する。３Ｄモデルは、ボクセルの立方体容積である。変換機能は、それぞれのボクセル強度値を色および不透明度にマッピングするのに使用される。その方法で、我々は組織強度を制御し、外科医が通常見ることができないものを見ることを可能にする。この革新的な機能は、外科医が動脈の後側、および他の重要な構造、今日まで不可能だったものを見ることを可能にする。

ＳＮＡＰは、同一のスクリーンまたは多数のスクリーン上の１つまたは多数のウィンドウにモデルを表示可能である。ＳＮＡＰの機能および適用の例では、複数の機能をスクリーン上で並列して始動可能である。

一般的なＳＮＡＰシステム構成は、（１）可動性のためのシステムに据え付けられたカート、（２）医療グレード絶縁変圧器、（３）Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ７オペレーティングシステムを実行するパーソナルコンピュータ（またはサーバ）、（４）高品質グラフィックスのためのハイエンドｎＶＩＤＩＡグラフィックスアダプタ、（５）２７”または３２”フルＨＤタッチスクリーンディスプレイ、（６）医療グレードキーボードおよびマウス、および（７）本明細書に記載された機能を実装するＳＮＡＰソフトウェアアプリケーションの主な構成要素を備える。そのようなシステムが図３１Ｂのブロック図に示され、そこではタッチスクリーンモニタ７１を有する可動カート据付ＳＮＡＰシステム例７０は、ＰＣ７２および電源システム７３と共に構成され、それらの全てを手術室内に設けることが可能である。システム例７０は、手術室内に設けられた画像誘導手術（ＩＧＳ）システム例のようなナビゲーションシステム７５に接続され、そこから、ＳＮＡＰシステム７０がナビゲーションシステムの動作に従って、高解像度の本物そっくりの３Ｄ画像を表示可能なように、ＳＮＡＰシステム７０がデータを受信可能で、手術される特定の患者の画像に基づき、ＳＮＡＰの高解像度画像化機能で、ナビゲーションシステムの動作および表示機能を効果的に強化する。

手術ナビゲーション先進プラットフォーム（ＳＮＡＰ）は、ＣＴまたはＭＲ医療スキャナからの画像化情報を出力ファイルに変換するソフトウェアインタフェースおよび画像セグメンテーションシステムとしての使用が意図される。組織セグメンテーションウィンドウは、ケースを準備するよう組織セグメンテーションを編集および更新するために提供される。組織セグメンテーション内の変更は３Ｄ画像内に反映され、結果をケースファイルとして保存可能である。手術前および手術中の両方で手術治療の選択肢をシミュレーション／評価するソフトウェアとしてもまた意図される。手術ナビゲーション先進プラットフォーム（ＳＮＡＰ）は、手術前および手術中の両方に手術治療の選択肢をシミュレーション／評価するツールである。

システムは通常、手術室に適合可能であるＥＭＣ免疫を提供し、ナビゲーション、タイピング、および画像操作にタッチスクリーン操作を使用する。システムはケースファイルを用いて個々の患者ケースを格納可能であり、患者ケースは所望に応じてシステム内にロード可能である。外科医は、特定の患者のスキャンされた情報（例えばＭＲ、またはＣＴ ＤＩＡＣＯＭ画像データファイル）および患者データを用いて、スクラッチからケースを生成可能である。これらのケースを、所望に応じて編集および更新可能である。画像およびファイルの編集および操作に、編集ウィンドウを使用可能である。

種々の器官および組織の一般的なモデルを提供可能であり、それらを患者画像または他の診断ツールまたは検査室の入力に基づいた患者特有のモデルと重ねることが可能である。よって、特定の対象でない器官または他の機能について、システムは、意図される治療について患者特有の情報が必要とされない箇所に、一般的なモデル（例えば眼球または他の器官）を使用可能である。

手術ナビゲーション先進プラットフォーム（ＳＮＡＰ）は、リアルタイムナビゲーションデータと共に患者特有の動的および相互作用３Ｄモデルを表示する。ナビゲーションセッションを実行するとき、患者の視認可能な構造（すなわち鼻先、耳たぶ）を指しおよび触れ、ＳＮＡＰスクリーンポイントのポインタが３Ｄモデル内の同一の位置にあることを確認することによって、ツールを（ＳＮＡＰ高解像度ディスプレイ上に提供される）ＳＮＡＰナビゲーションポインタ位置の正確性を確認するのに使用可能である。

図３１Ｃは、ＳＮＡＰツールにより提供された画像を生成するソフトウェアモジュールにより駆動された１次処理ルーチンの例を示す。画像生成器１１０は、一般的な組織画像、患者特有の画像などのようなデータベース１１５上に格納された情報を用いて、ディスプレイ１６０に表示する本物そっくりの表示用組織画像を生成する。画像生成器１１０は、それぞれのセグメントの視覚表示（影の質感など）を割り当て、機械的特性および他のモデリング機能は、本物そっくりの画像を提供する。

同様に、ユーザツール生成器は、動的に表示され、画像生成器により生成された組織画像と相互作用する手術ツールの本物そっくりの画像を生成する。手術環境で、ディスプレイ１６０上に表示されたツール画像は、実際の手術ツールインタフェース１４０を示してもよく、その表示は、例えば画像生成器１１０またはユーザツール生成器１２０により生成されることも可能である。手術ツールインタフェースは、画像生成器１１０により生成された組織画像と動的に相互作用してもよい。また、ツール画像についての仕様および詳細を、データベース１１５内に格納してもよい。ディスプレイ１６０はタッチスクリーンディスプレイであってもよいので、ディスプレイ１６０はキーボード、マウス、または他の入力装置のような他の装置とともにユーザインタフェース１３０として機能してもよいことに留意されたい。またディスプレイ１６０は、外科医および／または他の参加者に本物そっくりの視覚画像を提供するよう、ディスプレイ１６０の一部としてヘッドマウントディスプレイを有してもよい。

ＳＮＡＰツールが外部システムの出力に一致した画像を生成、例えば外部システム（１つまたは複数）の動作に基づきナビゲーションを反映または画像を更新するように、ＳＮＡＰツールはまた、システムがナビゲーションまたは他の機能を外科医に提供する他の外部システムにインタフェース接続するのを可能にする外部システムインタフェース１５０を提供する。それからＳＮＡＰツールは、外科医にグラフィカルツールと相互作用する高解像度３Ｄ画像の統合されたビューを提供するため、その表示画像を適切に更新可能である。

手術ツールおよび他のオブジェクトが外科医により選択されると、それらはディスプレイ１６０により表示される仮想手術シーンに統合され、本物そっくりの視覚機能および機械的特性および動作特性を含むシミュレートされたシナリオの統合された要素に変わり、それらの選択されたアイテムのそれぞれに加えられる。例えば表示された鋏は実際の機械的特性を持ち、実際の鋏がするように切り取り、動脈瘤クリップを血管に取り付けると血流を遮断する。この方法で、表示されたツールは本物そっくりの方法で、しかし種々の機能である透明化、画像の回転、処置の逆向など、外科医が現実世界で不可能な視点を提供する操作を可能な方法で、組織モデルと相互作用する。

外科医に表示される相互作用の画像／シーンは、容積的に表現される要素および表面的に表現される要素の両方の要素から構成される。さらに、それぞれの容積的または表面的要素は、容積的な１つまたは複数の要素と相互作用する。要素間の相互作用は、圧力、要素の材質（弾性、粘性など）のような物理的状況による要素の実際の物理的移動、および衝突角および要素の方向のような衝突状況を再現する、要素の移動および／または再形成によりもたらされる要素間の相互作用を示すよう実装される衝突モデルのような物理的相互作用を含むが、それらに限定されない。

表現プロセスの均等化は、全ての光っている影およびシャドーイング現象の主な原因となり、全ての視覚要素を内包した最終出力ストリームを作り出す。

組織ペイントまたはマジック組織ワンド（Ｍａｇｉｃ Ｔｉｓｓｕｅ Ｗａｎｄ）アルゴリズムを用いて生成され、スキャンされた画像と統合された解剖学的構造は、画像の統合された部分である。例えば、元は部分的で完全だった解剖学的構造の血管は、マジック組織ペイント（Ｍａｇｉｃ Ｔｉｓｓｕｅ Ｐａｉｎｔ）および組織ワンドアルゴリズムを適用した後、元のスキャンされた画像と新しい生成された構造から組み合わされた構造を持つ完全な解剖学的構造になる。さらに、制御（チェックボックス）は、新しい生成された構造を選択、およびオン（新しい生成された構造を表示する）またはオフ（新しい生成された構造を隠す）の間を切り替えることを可能にする。また、新しい生成された構造を容積的に、およびまたは押しつぶす／多角形での表現／再構成で表現するための選択に関する選択肢が提供される。

開発されたアルゴリズムおよびソフトウェアツールは、ユーザに２次元または３次元のあらゆる幾何学的な形またはフリーハンド描画の形（例えば線、円、診療所、ボールなど）を描くインタフェースを提供する。前述の幾何学的な形内に含まれ／包み込まれ／捕捉された領域（２次元または３次元）は、「マーク付けされた領域」として定義される。ユーザはそれから、その「マーク付けされた領域」へ、例えば画像の一部を着色し、それらを透明にし、またはそれらに影を付ける能力を含む、あらゆる視覚特性およびあらゆる機械的特性を定義および割り当てる能力を有する。仮想光源に、空間内での球形箇所、光の色、光の強度、アスペクト比、仮想源の幾何学的な形などを含む特性を提供可能である。

組織ペイント、マジック組織ワンドアルゴリズムまたはマーク付けされた領域で生成された構造に、所望の機械的特性を与えることが可能である。あらゆる解剖学的構造の機械的特性の係数（剛性、弾性など）を、調整された機械的動作を生じるよう、ユーザにより調節可能である。

システムは、手術中に実際の手術器具を追跡する（ｔｒａｃｋ）リアルタイムトラッキングおよびフィードバックを提供する。トラッキングシステムは、実際の解剖学的構造の方向および位置（例えば患者の頭部上の特定のスポット）に対する手術器具の位置および空間内の座標を変換する。器具の位置および方向は、それから手術シミュレーションシステムに送信される。患者特有のシミュレーションおよび器具の位置および方向に基づき、フィードバックが外科医に提供される。そのようなフィードバックの１つの例は、外科医が切除している組織のタイプについてフィードバックを生成し、万一、外科医が腫瘍ではなく健全な脳組織を切除してしまいそうなケースにおいて、外科医に警告することでありうる。付加的な例は、外科医が実際の解剖学的構造に器具を付けた（例えば実際の患者の動脈瘤に付けられた動脈瘤クリップ）後、システムは、外科医がトラッキングに基づいた実際の解剖学的構造としてたいへん方向付けられたシミュレーションされた画像／モデルを回転し、取り付けられた移植材の位置および効き目を観察および評価することを可能にする。

この実際の器具のトラッキングおよびフィードバックを、器具の位置および移動、および患者の特徴を追跡するビデオシステムの使用のような、多数の方法で達成可能である。代わりに（またはビデオトラッキングに加え）、手術器具を、ＧＰＳ、加速度計、磁気検出、または他の位置および運動検出装置および方法を用いることのように、トラッキングを可能にするよう改良してもよい。そのような改良された器具は、例えばＷｉＦｉ、ブルートゥース、ＭＩＣＳ、有線ＵＳＢ、ＲＦ通信または他の通信方法を用いて、（例えば図３１Ｃの手術ツールインタフェース１４０を介して）ＳＮＡＰツールと通信してもよい。

ＳＮＡＰシステムは、本明細書に後述する拡張現実感システムを内包するＭＤ６ＤＭ機能を用いて強化および改良される。ＭＤ６ＤＭは、前述のＳＮＡＰシステムの機能および有用性を大きく拡張する拡張現実感機能を追加して、医師が外科的介入を全球形仮想現実環境で経験、計画、実行、およびナビゲートするグラフィカルシミュレーション環境を提供する。

この改良により、本明細書に記載され、および図１で示された拡張現実感手術ナビゲーションシステム（「ＡＲＳ」）１００が得られ、外科医１０２または（助手、看護師、または他の医師のような）他のユーザに、（図３に示されるように）同一のスクリーン上に光学およびスキャンされたビューの統合されたビューを提供する。図１のシステム１００に戻ると、外科医１０２は、特定の患者１０４の解剖学的構造を、予め作られたモデルならびに患者１０４のライブの構造の両方で同時に調べることが可能である。システム１００は、ＭＤ６ＤＭモデル内に入り、物理的にユーザの身体を動かし、特定の構造を見回す能力を与える。ユーザは、対象の解剖学的構造または病態を３６０°見回し、病態の後方を探ってそれが患者の解剖学的構造を変化させている様子を見ることが可能である。よって、仮想画像および実際の光学画像が並列して写し出され、または共に融合されてディスプレイモニタ１０８またはヘッドマウントディスプレイ（ＨＭＤ）１６０’上のどちらかに表示されるので、外科医１０２はもはや、患者のスキャン、ソフトウェアまたはＭＤ６ＤＭモデルの計画を見るために眼を顕微鏡または内視鏡１０６から逸らす必要がない。

手術シアター「内部ＳＮＡＰ」システム（例えば前述および図３１Ａ～図３１Ｃに示された、ＭＤ６ＤＭの機能を含むよう改良されたＳＮＡＰシステム１の全てまたは一部）のような計算装置１１２は、患者のＤＩＣＯＭ ２Ｄ画像を取得しリアルタイムで仮想モデルを作る、または予め作られたモデルを取得することにより、ＡＲＳシステム１００を作動させる。データは、例えばデータベース１１４から取得される。ＡＲＳ計算装置１１２はさらに、トラッキング機能で患者１０４に対する拡張現実感ビューを形成するよう、予め作られた画像と内視鏡１０６のトラッキング先端部から受信されたナビゲーションデータに基づき内視鏡１０６から受信されたライブのビデオフィードを統合するよう構成される。複数ビュー（すなわちライブのフィードおよび読み出された画像）をまた、ディスプレイモニタ上またはＨＭＤ１６０’を通して、分離してまたは並列で見ることも可能であることを理解すべきである。

図２は、ＡＲＳシステム１００の例のブロック図を示す。手術シアター内部ＳＮＡＰシステムのようなＡＲＳ計算装置１１２は、第１の入力として患者のＤＩＣＯＭ ２Ｄ画像２０２を受信するよう構成される。ＡＲＳ計算装置１１２はさらに、第２の入力として、内視鏡からのビデオフィードのようなライブのビデオフィード２０４を受信するよう構成される。ＡＲＳ計算装置１１２はさらに、第３の入力として、ナビゲーションシステムトラッキングデータ２０６を受信するよう構成される。１つの例では、トラッキングデータ２０６は、患者１０４に対する外科医１０２の位置および方向を示す。そのようなナビゲーションシステムトラッキングデータ２０６に基づき、ＡＲＳ計算装置１１２は、外科医１０２がいる部屋内でだけではなく外科医１０２が見ている位置でも判断可能であることを理解すべきである。例えば、外科医１０２は、患者１０４の身体の右側に位置してもよい。しかし外科医１０２は、その位置から例えば患者１０４の頭頂部、または患者１０４の頭側部を見てもよい。

しかし、適切なナビゲーションシステムトラッキングデータ２０６で、ＡＲＳ計算装置１１２は位置に加えビューの角度を計算および正確に示すことが可能であり、従って手術室内で外科医により比類のない異なる経験を提供する。特にＡＲＳ計算装置１１２は、３つの入力２０２、２０４、および２０６を処理し、それらをトラッキングおよびナビゲーション機能で統合して患者１０４に対する拡張現実感ビューを形成する。ＡＲＳ計算装置１１２はさらに、患者に対する拡張現実感ビューを視覚のための装置２０８へ出力するよう構成される。装置２０８は例えば、ディスプレイモニタ１０８またはＨＭＤ１６０’（または両方）であってもよい。３つの入力のみが示されるが、特定の手術の実行に有用でありうるより完全な情報を外科医１０２に提供するため、ＡＲＳ計算装置１１２を、さまざまな適切な入力ソースから任意の適切な数の入力を受信するよう構成してもよいことを理解すべきである。例えばＡＲＳ計算装置１１２を、手術室内の外科医の位置を示すさらなるライブのビデオフィードまたはさらなるトラッキングおよびセンサ情報を受信するよう構成してもよい。

１つの例では、ＨＭＤ１６０’は、ビデオフィードに頼ることなく患者１０４の直接の実際の通過ビューを外科医１０２に提供してもよい。よって１つの例では、ＡＲＳ計算装置１１２は、ライブのビデオフィードなしに拡張現実感ビューを生成するよう構成される。代わりに、外科医に患者１０４に対する拡張現実感ビューを提供するため、仮想モデルが患者１０４に対する外科医１０２の実際のビューを重ねるように、ＡＲＳ計算装置１１２は、ＨＤＭ１６０’を介して外科医１０２に仮想モデルを表示するよう構成される。ＡＲＳ計算装置１１２は、ナビゲーションシステムトラッキングデータ２０６に依存して、表示される仮想モデルと患者１０４に対する外科医１０２の実際のビューを同期する。

外科医１０２の位置、方向またはビューの角度が変化するにつれ、拡張現実感のビューは連続的に更新されることを理解すべきである。よって、外科医１０２が患者の周辺を移動する、または焦点を患者１０４上の異なる位置に調整するとき、拡張現実感のビューがそのような動作と同期され外科医１０２の視点を等しい状態を保つように、仮想モデルが調整される。

さらにシステムは、さらなる外科医、看護師、助手、または、その場所にいるか遠隔に位置しインターネットのような通信ネットワークを介してシステムに接続されうる他者のような多数の付加的なユーザに対応可能である。システムは、医療処置を補助する第２の外科医の動作のようなそのような付加的なユーザの情報を用いてビューをさらに拡張するよう、これらの付加的なユーザののうち何人かまたは全員からの情報を利用可能である。また、ＨＭＤディスプレイまたはいくつかの他のタイプのディスプレイを使用するかにかかわらず、システムは外科医が見る拡張された画像をこれらの付加的なユーザの誰かに提供可能である。よっていくつかの実施形態は、処置を補助する看護師のような助手の動作もまた、拡張されたビューの一部、または付加的な拡張されたビューとして表示可能である。

ＨＭＤ１６０’での作業プロセスの例は、１）ＳＮＡＰ計算装置１１２により提供されるケースウィザードを用いてユーザがＳＮＡＰケースを作る、またはデータベース１１４から予め作られたＳＮＡＰケースを選択すること、２）ＨＭＤ１６０’のスイッチを始動すること、および３）ＨＭＤ１６０’のタイプおよびそのアドオンセンサの構成によって、ユーザがシーンと相互作用し、仮想協同シーンで他者と協同することが可能であることを含む。

ＨＭＤ１６０’の機能は、ハードウェアの機能、特にＡＲまたはＶＲ、または両方かどうかによって分かれる。両方のハードウェア構成が利用可能であれば、両方のモードがソフトウェアで利用可能である。ユーザは、コントローラ、音声命令、ハンドジェスチャ、仮想ボタン、および他のアドオンセンサを用いて、システム機能全てを制御する。これは、ユーザが、ＳＮＡＰケースと相互作用する、または協同モード中に遠隔ユーザと通信するのに、最も状況的に適切または直観的な方法を選択するのを可能にする。ユーザが見ているものを外部の観察者が見て理解するよう、仮想世界内の全てのユーザの相互作用もまた、ＳＮＡＰディスプレイ１０８モニタ上に視覚化される。ＨＭＤモードのうちの１つにある間、ユーザはＳＮＡＰシステム１１２上で利用可能な全ての機能を始動することが可能である。ＨＭＤモードで利用可能な機能は、セグメンテーションのプリセットを変更すること、融合層を選択すること、マーカー／パス／軌道を示す／隠すこと、ＳＮＡＰケースからスライスを取り入れる／取り出すこと（クリッピング）、仮想手術ツールを追加することなどの能力を含むが、それらに限定されない。それらの機能の始動または停止は、例えばコントローラ、音声命令、アドオンセンサまたはシーン内の仮想ボタンを用いてなされる。

図３２は、開示されたＨＭＤ装置のいずれかに設けることが可能な種々のセンサを有するブロック図を示す。そのようなセンサは、１つまたは複数の位置検出センサ３０２０（例えば、ＧＰＳ）、１つまたは複数のビデオおよび／または画像センサ３０４０、１つまたは複数のオーディオセンサ３０３０、１つまたは複数の運動センサ３０５０、および（高解像度ディスプレイ、ボタン、スクロール装置などのような）１つまたは複数の入力／出力装置３０６０を含む。これらのセンサは、ＨＭＤプロセッサ３０１０と通信可能であり、ＨＭＤプロセッサ３０１０はインタフェース３０７０を介してＳＮＡＰシステムとインタフェース接続する。他のタイプのセンサおよび制御もまた、設けることが可能である。

機能および制御の例は、コントローラ上のボタンを押下しＳＮＡＰケースからスライスを除去すること、「左にスワイプ」のハンドジェスチャをしてＳＮＡＰケースを左に回転すること、「方向表示」のキーワード語句を言うことで、ユーザをＳＮＡＰケースのビューから外し、全体の視点におけるユーザ自身の位置を出すこと、またはシーン内で仮想ボタンを押下し、数ある中で仮想での使用のため手術ツールを選択することを含む。図２９は、システムのこれらの操作を制御する入力装置として使用可能なコントローラの例を示す。

ＶＲモードで、ユーザは完全な仮想環境でＳＮＡＰケースと相互作用する。ユーザは例えば、以下のいくつかを含む方法でシーンと相互作用する。

頭の動き－ＨＭＤ１６０’の回転センサを用いて、システムはユーザの頭の動きおよび角度を追跡し、それらをシーン内に写し出す。これは、ユーザが頭の動きおよび角度調整に基づき、３６０度のシーン内で頭の動きおよび角度のビューを変更することを可能にする。

コントローラ－方向コントローラを使用して、ユーザはユーザ自身が見ている箇所に基づき所望の方向に移動可能である。他のボタンを使用して、ユーザは特定のＳＮＡＰコア機能または特定のモード機能を始動することが可能である。例えば、コントローラ上の特定のボタンを押下し続けると、ユーザにシーン全体のビューが出される。これは、ユーザがシーン内のユーザ自身の位置および方向を理解することを可能にする。

音声－キーワードまたは語句を話し、それがマイクロホンのようなセンサに受信されると、特定の機能を始動する。例えば、「マーカー１へジャンプ」は、ユーザを予め定義済のマーカー１の位置に移動する。協同が可能なとき、「プレイヤー２のビューに移動」は、メインユーザを第２の「プレイヤーの」位置に移動し、メインユーザのビューをそのときの第２の「プレイヤーの」方向に方向付ける。

位置センサ－メインユーザの移動を追跡する位置トラッキングセンサを用いて、ユーザの移動はシーン内の仮想移動に変換される。シーン中の間のユーザの移動のトラッキングは、ユーザが特定の機能を始動する仮想ボタンを選択するのを可能にする。

ハンドセンサ－これは、ユーザがユーザ自身の手および手の位置の仮想表示を見ることを可能にし、シーン内でユーザがＳＮＡＰケースとさらに相互作用することを可能にする。例えばユーザは、手術ツールと相互作用し、仮想ボタンを押下し、またはハンドジェスチャを用いてビューを回転して写すことが可能である。

外部の観察者は、ディスプレイモニタ１０８上で外科医１０２の仮想経験を見ることが可能であり、ディスプレイモニタ１０８は外科医１０２が見ているものを反映し、外科医１０２の動きはリアルタイムで連続的に調整される。図４Ａに示されるように、ディスプレイモニタ１０８はユーザのビューを単一のビュー３００上に反映し、または図４Ｂに示されるように、３Ｄで見るのを補助するモニタについて３Ｄの立体視的な並列したビュー３０１として反映する。

１つの例では、外部の観察者は、ディスプレイ画面１０８上のシーン内に位置するアバターとして示されるユーザの身体および頭の位置、回転、および動きを見る。１つの例では、観察者はまた、ソフトウェアインタフェースを用いてシーンと相互作用可能であり、それはＨＭＤ１６０’上でユーザが見るシーン上に反映する。よって、ＨＭＤは、拡張された方法でユーザ（例えば外科医）をシーン内に含める。

ＡＲモードで、外科医１０２は、現実世界に加えＳＮＡＰケースと相互作用する。ＳＮＡＰケースは、拡張世界を生成するようさまざまな特定の箇所に位置決められる。ＳＮＡＰケースは、現実世界環境内の外科医が指定する場所に仮想的に位置決められる。可能性がある位置は、患者のベッド、部屋内のテーブル、患者の３Ｄプリントした部分、特殊なマーカーを有するツール、および部屋内の適切な場所を含む。

このプロセスの一部として、患者の位置が、患者上または近辺のセンサ、ビデオ、または他のメカニズムを用いることのような多数のいろいろな手段のいずれかの使用により判断される。場所および時間に関して正確な表示画像を保つため、患者の部分、および所望に応じて観察されたそれらの位置をシステム内に登録してもよい。

登録プロセスを用いる場合、それは登録された解剖学的部分上に示される。例えば、脳の３Ｄ仮想画像を、脳のライブのビデオフィードの頂部上に直接重ねて表示してもよい。また、トラッキング情報を使用して、外科医１０２が内視鏡を動かすにつれ、３Ｄ仮想画像が調整される。１つの例では、外科医１０２の位置もまた追跡され、従って患者１０４の位置に対する外科医１０２の位置に基づき、３ＤのＶＲ画像が調整され、ライブのビデオフィードと同期されてもよい。言い換えれば、外科医１０２が現実世界内で彼の頭を動かすまたは位置を変えるとき、現実世界の固定した物体としてそれをシミュレーションするよう、ＳＮＡＰケースは仮想的に再配置および再配向される。音声命令またはコントローラが、位置間の切り替えを可能にしてもよい。

システム１００は、ＯＲ内の追跡された手術ツールの視覚化を可能にすることを理解すべきである。これは、手術ナビゲーションシステムまたは分離して設けてもＨＭＤ内に統合してもよい他のアドオンセンサのような、部屋内の他のシステムからシステムが受信する情報の使用を通じてなされる。１つの例では、ＨＭＤ１６０’は１つまたは複数のそのようなセンサを有してもよく、それらは、運動センサ、マイクロホン、ビデオセンサ、カメラ、加速度計、位置センサなどのうちいずれかまたは全てを含んでもよい。１つの例では、１つまたは複数のセンサを、外科医１０２上の適切な位置、または外科医１０２が使用する入力装置または他のツール上に位置決めてもよい。

外部の観察者は、ディスプレイモニタ１０８上でメインユーザまたは外科医１０２の仮想経験を見ることが可能であり、ディスプレイモニタ１０８はユーザが見ているものを反映し、メインユーザの動きはリアルタイムで連続的に調整される。このウィンドウはユーザのビューを単一のビュー上に反映し、またはＶＲモードにあるように正確に３Ｄ画像化を補助するモニタ上で３Ｄの立体視的な並列したビューとして反映する。

登録プロセスは、データベース１１４から受信されたＳＮＡＰケースを、患者のスキャンされた解剖学的部分、または内視鏡を介してリアルタイムのビデオフィードで見られる部分に整列する必要があることを理解すべきである。整列は、患者自身の予め作動可能なスキャンから読み出された情報（これに基づきＳＮＡＰケースが作られた）、および整列／登録プロセス情報に基づく。１つの例では、手術室内のナビゲーションシステムから登録情報を受信し、受信された情報に基づきケースを整列することにより、整列が達成される。他の例では、ユーザがそれを手動で解剖学的構造に整列するのを可能にすることにより、整列が達成される。これは、コントローラを用いてなされる。他の例では、ナビゲーションシステムを用いて登録プロセスを実装し、結果をＳＮＡＰケースに整列することにより、整列が達成される。他の例では、ＩＲセンサを用いて患者１０４の頭をマッピングし、それを自動的にＳＮＡＰケースに整列することにより、整列が達成される。

システム１００の一般的な臨床的使用のケースは、神経外科的介入、例えば腫瘍切除であろう。腫瘍のケースで、図４Ｂに示されるような頭蓋骨内部へ予め計画された手術用通路をフライスルーし、図５～図１２にそれぞれ示されるように、下、左下、左、左上、上、右上、右および右下を含むＣＷ方向を見回すことが可能であろう。ユーザはまた、腫瘍の後方に飛び、腫瘍を包む血管を観察可能である。このケースの例では、臨床的な価値は、腫瘍による後部循環血管の移動をそれらの正常な解剖学位置から見られる能力である。ユーザは、前部循環血管および腫瘍によるそれらの移動を完全に理解するため、腫瘍表面に沿って回り前面へ飛ぶことが可能である。

記載を通した言及は、特に脳腫瘍の手術処置と関連したシステム１００の使用についてなされているかもしれないが、システム１００を患者１０４の種々の解剖学的部分のさまざまな手術の適用に同様に使用してもよいことを理解すべきである。

例えば、システム１００をまた、神経血管のケース、ならびに腫瘍のケースで適用可能である。動脈瘤のケース例で、図１３に示されるように、飛ぶことは通路の外側から始まり、それから図１４に示されるように開頭部へ移動し、ちょうど望む開頭部の縁で止まる。それから図１５～図２２にそれぞれ示されるように、下、左下、左、左上、上、右上、右および右下を含む異なるビューでナビゲートすることにより、患者特有の解剖学的構造の調査を達成可能である。これらのビューは、外科医が動脈瘤を取り囲む全ての詳細について見ることを可能にする。手術シアターの手術プランナー（「ＳＲＰ」）、およびＳＮＡＰ先進ＶＲ機能と３Ｄモデル化された動脈瘤クリップのライブラリのような手術計画ツールの使用によって、外科医は、動脈瘤部位内部へ仮想的に飛び、一方で患者の実際の解剖学的構造内の３Ｄクリップ配置を評価および計画することが可能である。外科医は、解剖学的構造（すなわち頸部、頭など）、およびクリップに対する病態を、外科医が患者の身体内部に立っているかのように観察することが可能である。外科医が頭を上下および肩の後ろへ回して動かすことにより、外科医は患者の病態部位内部を「見て回っている」ように、比類のない以前は可能でなかった処置の没入型評価および計画を得ている。

ＳＮＡＰをトラッキング装置に接続することにより、記載された「仮想ナビゲーション操作」を手術処置中に行うことが可能である。１つの例では、図２３に示されるように、センサ２３０２は外科医の位置または観察ポイント２３０６に対する、およびツール（顕微鏡、内視鏡、プローブなど）に対する患者の頭２３０４の方向を追跡する。

１つの例では、図２４に示されるように、ＨＭＤ１６０’は外科医の観察ポイントのトラッキングを容易にする１つまたは複数のセンサ２４０２を有する。図２５Ａに示されるように、ＨＭＤ１６０’は、手術中、外科医が必要な全ての情報を表示（２５０２）する。特に、外科医は、（内視鏡、顕微鏡などを介して）外科医のビューポイントからライブのビデオにアクセス、ならびにスキャンおよびＭＤ６ＤＭモデルを見ることが可能である。図２で示されたように、外科医は、ライブの手術部位に対する外科医のビューポイントからのライブのビューを、患者特有のＭＤ６ＤＭモデルと組み合わせている拡張現実感ビューを得ることが可能である。

再び図２４を参照すると、解剖学的構造（すなわち頭、脳、ひざ、肩など）の方向がマーク付けされ、物理的患者およびスキャンされた医療画像（ＣＴ、ＭＲＩ、超音波、Ｘ線などの）の両方で予め登録されていることを理解すべきである。従って、スキャンされた医療画像および手術で評価される患者の実際の解剖学的構造の方向は、同期および整列される。さらに、レンズおよび光学構成要素が向上しているので、１つの例ではＨＭＤ１６０’は、全てのスキャンされた画像およびＭＤ６ＤＭと同期および整列される組込みＨＤ光学システム２４０４（顕微鏡、カメラなど）を有してもよい。これは、従来の手術顕微鏡、およびそれらのシステムでの現在の制限をなくすのを可能にする。眼鏡およびループを変えることなく、多数の外科医は、実際の患者上で個々のＨＭＤおよびヘッドドッキングステーションを用いて「顕微鏡下」状態で協同可能である。ヘッドドッキングステーションは、直接の操作者が重篤な顕微手術環境で安定した非常に複雑なシーンを保ち、一方で外部の観察者が正確な同一のＡＲで強化された「視野の」シーンを認識するよう機能する。

再び図１を参照すると、システム１００はさらに、ＰｌａｙＳｔａｔｉｏｎ、Ｘｂｏｘ、ＰＣゲームなどのコントローラと同様のコントローラ１１６を有してもよいが、コントローラ１１６は任意の適切なコントローラであってもよいことを理解すべきである。他の利用可能なコントローラのタイプは、ＨＭＤ１６０’上に映されるＡＲコントローラ、ジェスチャ認識インタフェース、または音声認識などを含む。外科医１０２は、これらのさまざまなコントローラ１１６を使用して、システムの選択肢とスクリーンの間を移動する。

システム１００はさらに、図２６で示される使用方法２６００を参照して理解される。ステップ２６０２で、ケース情報が準備される。特に、患者特有のＤＩＣＯＭ（ＣＴ、ＭＲＩなど）データが、ＭＤ６ＤＭを生成するためＳＮＡＰ計算装置１１２内にアップロードされ、処理される。ＳＮＡＰ計算装置１１２により生成されたＭＤ６ＤＭもまた、臨床補助技術者または外科医１０２自身により編集可能である。技術者は、特定の外科医の好みまたは意図を反映するようモデルを調整可能である。技術者は組織セグメンテーションの調整、患者データに加える組織特有の強度範囲の変更、または組織の透明度の変更が可能である。外科医１０２はまた、準備中または手術中のいつでもモデルを編集可能である。外科医は、ＣＴおよびＤＴＩまたはＣＴ、ＭＲＩおよびＤＴＩのようなＭＤ６ＤＭの一部である複数のＤＩＣＯＭデータセット、または手術中の画像を含むＳＮＡＰ計算装置１１２内にアップロードされたあらゆる他のデータセットを融合可能である。外科医１０２は、いくつかの異なる方法で対象のかたまりをマーク付けまたは強調可能である。さらに、対象のかたまりは頭蓋に限定されず、身体の他の部分にも使用可能である。ＤＩＣＯＭデータセットが十分な情報（１ｍｍのスライス厚さまたはそれ以下）を有し、容積的な取得でも収集されたならば、画像化された解剖学的構造のあらゆる部分がモデル化可能である。準備は、ケース情報の用意ができ、外科医１０２が準備されたビューに満足するまで続く。

ステップ２６０４で、位置決めおよび登録の間、ＳＮＡＰ計算装置１１２は、実際の生体、例えば神経外科手術の頭部、システム１００のセンサ、ＤＩＣＯＭスキャンとＭＤ６ＤＭの間で適合または共同登録する。登録または「マッチング」プロセスは、手術中のナビゲート機能をもたらす。全ての機器が運びこまれ、患者が手術の位置におかれるとき、手術の開始時にこのマッピングプロセスを行うことが重要である。マッピングは、いくつかの方法で行うことが可能である。方法はナビゲーションシステムの製造業者によって決まり、表面基礎登録、患者の顔のスキャン、またはシステム誘導による患者の頭の接触ポイントを含むポイントベースの登録を含む。さまざまな製造業者が登録を行うさまざまなタイプのセンサを使用し、ＳＮＡＰとＭＤ６ＤＭは、あらゆる方法およびセンサとともに作動可能である。

登録されると、ステップ２６０６でリアルタイムのナビゲーションが可能である。特に、外科医１０２はＨＭＤ１６０’を装着する。外科医は、自身の視点（組込みカメラ）からのライブのビデオ映像を得る。コントローラ１１６を使用することにより、外科医は、拡大縮小、ビュー間の移動および拡大縮小を含む従来のスキャンされたビューの追加、モデルの周辺を歩くこと、軌道をシミュレーションおよび決定すること、および病態の後方を見ることを含むＭＤ６ＤＭモデルビューの追加、および、拡張現実感ビューでナビゲートすることを含む、多数のナビゲーション機能を実行することが可能である。リアルタイムナビゲーション機能は、ＡＲＳ計算装置１１２によって可能にされ、ＡＲＳ計算装置１１２はトラッキング情報を活用して、ライブのビデオフィードと予め定義済のスキャンおよびモデルを組み合わせ、外科医の動きおよび動作に基づき外科医に送達される画像を表現する。

ナビゲーションを用いて、外科医１０２は主要な血管を避ける最適のアプローチを判断することが可能である。外科医は、ＨＭＤ１６０’下で同一の方向から並列した現実世界のビューとＭＤ６ＤＭモデルを見ることが可能である。髄膜腫を治療する適用で、外科医１０２は、髄膜腫の後方を見て病態が患者の解剖学的構造に有する影響を見ることが可能である。ＭＤ６ＤＭ上で、外科医１０２が髄膜腫を切除する間、腫瘍の境界を視覚化可能であり、外科医が血管または他の不可欠構造からどの程度の距離にいるかを見ることが可能である。

他の適用例では、外科医１０２は、内視鏡アプローチを用いて動脈瘤クリッピングを実行することが可能である。皮膚切開および開頭がなされる前、外科医１０２はＭＤ６ＤＭを参考にして、主要な血管および他の重要な構造を避ける軌道を判断する。開頭（鍵穴）にマーク付けした後、外科医は切開を開始する。外科医１０２はすぐに、手術に内視鏡１０６を使用する。ＨＭＤ１６０’上で、内視鏡カメラからのビューが、予め作られたモデルのシミュレートされた内視鏡ビューと共に拡張される。代わりに、外科医１０２は、内視鏡カメラビューと内視鏡１０６の方向のモデルとの並列を得ることが可能である。モデルとリアルタイムビューが整列され続けるよう、システム内のセンサは外科医１０２の動きによるモデルのビューポイントを移動する。最小の侵襲的アプローチを得る一方で他の重要な構造の損傷を避けるため、外科医１０２は、ビューの間を移動可能である。

他の例では、外科医１０２は、動脈瘤または動静脈奇形（ＡＶＭ）のような神経血管病理にＡＲＳ１００を使用可能である。登録ステップ２６０４の前または後に、軌道は開頭切開前に判断または確認可能である。外科医１０２は、内視鏡または切開のどのアプローチが最も適切か判断するのに、患者特有のケースモデルを使用可能である。登録後、外科医１０２はＨＭＤ１６０’または他のＶＲディスプレイを使用して、動脈瘤を切除し、一方でモデルに並列した内視鏡／カメラビューを交互に見る。前述のように、ＡＲＳシステム１００はセンサ入力を通してモデルの回転および調整を感知するので、モデルは外科医１０２のビューと整列され続ける。動脈瘤に到達したとき、外科医１０２は動脈瘤の頸部を評価し、ならびにＡＲモデルでの動脈瘤周辺の３６０度のビューを得ることが可能である。さらなる正確な計画のため、外科医１０２は、適切なクリップ寸法を確実にするのを補助するよう、動脈瘤にさまざまなクリップを仮想的に付けることが可能である。

本明細書に記載されたシステム１００は、外科医１０２がより多く状況を認識して内視鏡手術を実行するのを可能にすることを理解すべきである。図２７に示されるように、操作者は４つのビューのディスプレイ２７００を有し、ディスプレイ２７００はディスプレイモニタ１０８上またはＨＭＤ１６０’を介して外科医に、内視鏡カメラビューからのライブのビデオフィード２７０２、ＳＮＡＰの３Ｄの患者特有のモデル化されたシーンの内視鏡の仮想現実カメラからのライブの仮想ビデオフィード２７０４、ＳＮＡＰの仮想患者特有の３Ｄモデル化されたシーン（解剖学的構造と病態）の調整可能な「神の眼ビュー」２７０６と患者の解剖学的構造に対して正確な位置および方向で表示された仮想内視鏡ツール、および２ＤのＤＩＣＯＭ画像（軸／冠状／矢状）のライブの３つのパネルビュー２７０８と現在の内視鏡先端部位置への全てのビュー内の調整されたスライスの情報を提示可能である。

仮想内視鏡のビュー２７０４は、位置および方向の両方、ならびにカメラパラメータ（ズーム、視野など）で実際の内視鏡カメラ２７０２に整列される。外科医１０２は、右／左／上／下を見る頭のベクトルの調整で仮想内視鏡カメラ２７０４を制御する能力を有することを理解すべきである。これは、よりよく状況を認識するため、外科医が実際のカメラ２７０２から仮想カメラ２７０４を切り離し、見まわすことを可能にする。また、外科医１０２は、神の眼ビュー（シーン全体の方向付けられたハイレベルのビュー）を調整し、外科医の好ましい角度でのシーンのビューと調整可能なシーンのクリッピングおよび組織セグメンテーションを形成する能力を有する。

１つの例では、仮想カメラビュー２７０４が実際のカメラ２７０２に整列されないとき、ユーザは実際のカメラ２７０２からどれぐらい偏っているかを示すマーカーを仮想カメラビュー２７０４上で見る。

１つの例で、ＨＭＤ１６０’上に表示される４スクリーン出力２７００は、ユーザが調整可能である。特に、外科医１０２は、一度に全ての４スクリーン間を切り替え、４つのいずれかを全画面で見るようディスプレイ上で最大化することが可能である。

手術中にユーザの状態を追跡する、手術室内の多くのシステムがあることを理解すべきである。従って、１つの例では、ＡＲのＨＭＤ１６０’はユーザがそれらのシステムから情報を視覚化し、無音の場合を除いて手術室外からの通知を受けることも可能にする。これはユーザが手術に集中し続ける一方で、患者から目を離すことなく手術中に必要とされる情報を処理可能であることを可能にする。

１つの例では、システム１００は手術室内のビデオシステムと統合し、ユーザがＨＭＤ１６０’内で見ているものをＯＲ内の他者が見ることを可能にする。

１つの例では、本明細書に記載されたシステム１００および方法２６００を、協同モードで使用してもよい。このモードで、外科医１０２は所望のとき他の遠隔ユーザがシーンに加わることを可能にするよう選択可能である。ユーザは、以下のように遠隔ユーザと通信してもよい。１）全ての他の遠隔ユーザを聞くようにヘッドホン／スピーカが使用される、２）全ての遠隔ユーザに話しかけるようにマイクロホンが使用される、および３）ビデオストリームは２つの形態のうちの１つを含む：ＡＲモードで、ＨＭＤ１６０’上でユーザが見る拡張されたビューが他の遠隔ユーザにビデオストリーミングされ、一方ではＶＲモードでユーザは、コントローラ１１６を用いて、他の遠隔ユーザが見るものを見るか、または遠隔ユーザのビューをユーザ自身のビューに変更するかを選択可能である。

図２８に示されるように、協同モード中、シーン内の他のユーザは、他のユーザの位置、頭および身体の動きを示すアバター２８１０として見える。

協同モード中、ユーザおよびシーンと通信するため、１）全ての他の遠隔ユーザを聞くためのヘッドホン／スピーカ、２）全ての遠隔ユーザに話しかけるためのマイクロホン、３）手の動きのトラッキングおよびシーン上で手の動きを表示する（それぞれのユーザを異なる色で表わしてもよい）ハンド追跡器、４）シーン内で領域を選択しマーク付けする３Ｄマーカー、および５）シーン内の他のユーザが、他のユーザの位置、頭および身体の動きを示すアバターとして見えるアバターを含むいくつかの機能が利用可能である。

協同モードの適用例で、ＳＮＡＰケース（登録後）に基づき開頭を計画しているＯＲ内のユーザは、助言を求めるためユーザのＡＲのＨＭＤ１６０’から遠隔の外科医にビデオ送信を開始、またはユーザが計画したアプローチにフィードバックを得ることが可能である。協同者の外科医は、遠隔システム上でＯＲ内の外科医１０２が見ているものを視覚化することが可能である。遠隔の外科医はまた、手の動きおよび仮想ツールを通じ手の動きおよび仮想ツールを通じて、シーンと相互作用、および仮想的に領域をマーク付け可能である。

１つの例では、「探検者」モードが可能である。このモードで、ポイントが予め定義され、シーン内で続き番号と共に配置される。探検者機能が始動されるとき、予め計画されたポイントが自動車の後部座席にあるかのように、ユーザはそれらのポイントの間を自動的に仮想的に動かされる。ユーザは、頭を回転させて、ポイントを通ってゆっくり連れていかれているようにユーザの周りの構造を評価する能力を有する。

そのような探検者モードは、協同モードでの訓練、および内視鏡手術中でも利用可能である。特に、予め定義された、テスト理解のための教育での設定に特に有用な機能である探検者パスを通るとき、ユーザは自身の位置を止めて、議論することが可能である。内視鏡手術中に、解剖学的構造の予め計画されたポイントに到達する能力は、身体内外の内視鏡および手術ナビゲーションプローブを交換して切除中に位置および軌道を継続的にチェックする必要をなくし、潜在的に手術を短縮する。

１つの例では、トラッキングシステムは、ＯＲ内の全てのツールおよび動きを追跡および記録する。これは、ＯＲ外のユーザが、外科医１０２が仮想的に行っているものを、細かな器具移動および全般的な頭／身体の動きの両方で見ることを可能にする。それはまた、直接操作するチームが手術中に外科医１０２が行ったことの報告を受けることを可能にし、外科医１０２にケース中の外科医自身の動きを評価および批評する方法を与える。

あらゆる適切なタイプのヘッドマウントディスプレイ（ＨＭＤ）１６０’を、システム１００と共に使用してもよいことを理解すべきである。図２５Ｂは、ＨＤＭ２９００の代替的な例を示す。ＨＤＭ２９００は、例えば無線アンテナ（図示せず）を有する。従って、ＨＤＭ２９００はワイヤレスで作動してもよく、従って手術室内で余分なコードの必要をなくす。

ＨＤＭ２９００はさらに、プロセッサおよびメモリ（図示せず）を有する。よって１つの例では、ＨＤＭ２９００を、ＡＲＳ計算装置１１２に依存することなくＭＤ６ＤＭモデルを受信、格納、および処理するよう構成してもよい。例えば、手術室に入る前に、ＨＤＭ２９００に適切なＭＤ６ＤＭモデルまたは特定の患者および処置に関連するモデルをあらかじめロードしてもよい。これは、すでに混みあった部屋内に余計な機器を持ち込む必要がないはるかに大きな柔軟性および可動性を手術室内に提供する。

１つの例では、ＨＤＭ２９００はＭＤ６ＤＭモデル全体の格納および処理に十分なメモリまたは処理機能を有していないかもしれない。よって、１つの例では、ＡＲＳ計算装置１１２を、外科医がＨＤＭ２９００をＯＲ内に持ち込む前に軽いまたは最低限のバージョンの拡張現実感モデルを生成し、軽いバージョンをＨＤＭ２９００に転送するよう構成してもよい。例えば、ある処置を実行するのに脳のある層の詳細が必要ない場合、その層の情報をモデルから取り除き、それによってＨＤＭ２９００上に格納および処理がより容易になりうるより軽いバージョンを生成してもよい。

本明細書に記載されたシステムおよび方法例は、いくつかの方法で拡大・縮小してもよいことを理解すべきである。例えば、システムおよび方法例は単一のＨＤＭに関して記載されているが、システムは手術中、手術室内に複数の外科医またはユーザと複数のＨＤＭを有し、全員が部屋内の位置および方向に基づき、自身専用の拡張現実感経験を相対的に同時に受信してもよいことを理解すべきである。また、手術の時間にＯＲにいない遠隔ユーザ、またはＯＲにいるユーザさえも、ＯＲ内の他のユーザのうちの１人の視点からの拡張現実感経験を経験してもよい。

１つの例では、手術室は、ユーザがどの位置にいてもユーザを追跡するため部屋の周囲に取り付けられた複数のカメラまたはセンサを有してもよい。よって、患者の特定の側または区画に限定されるのではなく、ユーザは手術中、患者の周辺を３６０度歩き、患者のあらゆる側または角度から部屋内の任意の位置の拡張現実感画像を経験してもよい。

１つの例では、さらなる入力ソースを、手術中の参照に有用でありうる適切な情報を外科医に提供するのに適切でありうる拡張現実感経験に統合してもよい。例えば、外科医はヘッドセットに据え付けられた付加的なカメラを有してもよく、それは内視鏡検査から受信されたビデオフィードに加え、拡張可能な他の視点のライブのビデオフィードを提供してもよい。他の例では、付加的なカメラは、手術室内のある固定位置に据え付けられた、または部屋の周囲を移動可能な固定していないカメラであってもよい。

図３０は、図１のＡＲ計算装置１１２の例を実装するコンピュータの例の概略図である。コンピュータ３０００の例は、ラップトップ、デスクトップ、ハンドヘルドコンピュータ、タブレットコンピュータ、スマートフォン、サーバ、および他の同様のタイプの計算装置を含む種々の形態のデジタルコンピュータを表すことが意図される。コンピュータ３０００は、プロセッサ３００２、メモリ３００４、記憶装置３００６、およびバス３０１２を介してインタフェース３０１０により動作可能に接続された通信ポート３００８を有する。

プロセッサ３００２は、コンピュータ３０００内の実行のため、メモリ３００４を介して命令を処理する。実施形態例で、複数のプロセッサとともに複数のメモリを使用してもよい。

メモリ３００４は、揮発性メモリまたは不揮発性メモリであってもよい。メモリ３００４は、磁気ディスクまたは光ディスクのようなコンピュータ可読な媒体であってもよい。記憶装置３００６は、フロッピーディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリ、相変化メモリ、または他の同様のソリッドステートメモリ装置、または他の構成のストレージエリアネットワークの装置を含む装置の配列のようなコンピュータ可読な媒体であってもよい。コンピュータプログラム製品は、メモリ３００４または記憶装置３００６のようなコンピュータ可読な媒体内で明白に実現可能である。

コンピュータ３０００を、ディスプレイ３０１４、プリンタ３０１６、スキャナ３０１８、およびマウス３０２０のような１つまたは複数の入力装置および出力装置に接続可能である。

例を記載することでシステム、方法などの例を示したが、また例をかなり詳細に記載したが、添付の請求項の範囲をそのような詳細に制限またはどんな方法であれ限定することを意図しない。もちろん、本明細書に記載されたシステム、方法などを記載する目的で、全ての考えられる構成要素または方法論の組み合わせを記載することは可能ではない。さらなる利点および改良は、当業者に容易に明らかだろう。従って本発明は、特定の詳細、および示されまたは記載された例に限定されない。よって本出願は、添付の請求項の範囲内に入る修正、改良、および変形を内包することが意図される。さらに、前述の記載は、本発明の範囲の限定を意味しない。そうではなく、本発明の範囲は、添付の請求項およびそれらの均等物によって決定されるべきである。

明細書または請求項内で使用される「含む」または「含んで」の語の範囲について、請求項内で移行部の語として採用されるとき「備える」の語が解釈されるのと同様の、包含する方法であることが意図される。さらに、「または」の語が採用される（例えば、ＡまたはＢ）範囲について、「ＡまたはＢまたは両方」を意味することが意図される。出願人が「ＡまたはＢのみで両方ではない」を示すよう意図するときは、「ＡまたはＢのみで両方ではない」の語を採用する。よって、本明細書の「または」の語の使用は、包含的であり排他的な使用ではない。Ｂｒｙａｎ Ａ．Ｇａｒｎｅｒ、Ａ Ｄｉｃｔｉｏｎａｒｙ ｏｆ Ｍｏｄｅｒｎ Ｌｅｇａｌ Ｕｓａｇｅ ６２４（２ｄ．Ｅｄ．１９９５）を見られたい。また、明細書または請求項内で使用される「内」または「内へ」の語の範囲について、さらに「上」または「上へ」を意味することが意図される。さらに、明細書または請求項内で使用される「接続する」の語の範囲について、「に直接接続される」のみではなく、他の構成要素（１つまたは複数）を通して接続されるような、「に間接的に接続される」も意味することが意図される。

本発明の実施形態の多くの例は、前述の機能の種々の組み合わせを通じて提供可能である。本発明を特定の例および実施形態を用いて本明細書に前述したが、当業者は、種々の代替物を使用してもよく、本発明の意図される範囲から必ずしも逸脱することなく、均等物を本明細書に記載された構成要素および／またはステップと置き換えうることを理解するだろう。本発明の意図される範囲から逸脱することなく、本発明を特定の状況または特定の必要に適合するよう、改良の必要があるかもしれない。本発明は本明細書に記載された特定の実装および実施形態に限定されず、請求項に、それらが及ぶ全ての新規の明らかでない実施形態、文字通りのものまたは均等物、開示されたものまたは開示されていないものに及ぶ、最も広範囲の合理的な解釈が与えられることが意図される。

Claims (49)

1. 仮想現実手術ナビゲーション方法であって、
   患者の内部の解剖学的構造に関連する多次元仮想モデルを準備するステップと、
   前記患者の解剖学的特徴のライブのビデオデータを取り込むステップと、
   位置センサからユーザの現在の頭の位置を示す位置データを受信するステップであって、前記位置センサは、前記ユーザの場所あるいは運動または前記患者の物理的特徴を直接検出するように構成され、前記位置データは、ビューの方向およびビューの角度を含むステップと、
   コンピュータシステム上でソフトウェア命令を実行することにより、前記仮想モデルから最初の仮想３次元画像を表現するステップであって、前記仮想３次元画像は、前記患者の内部の特定の場所での最初の視点からの解剖学的ビューを表し、前記視点は、前記ユーザの現在の頭の位置および前記特定の場所を示すデータにより判断され、第１の場所での最初の視点の解剖学的ビューは、前記ユーザの頭の様々なビューの方向への動きにより変更することができるステップと、
   最初の表現された仮想画像を仮想ヘッドセットディスプレイへ通信するステップと、
   更新された位置へ動く前記ユーザの頭を示すデータ入力を受信するステップと、
   前記ユーザから、前記特定の場所を前記患者内の任意の新しい場所へ動かす入力を受信するステップと、
   前記コンピュータシステム上でソフトウェア命令を実行することにより、前記仮想モデルから更新された仮想３次元画像を表現するステップであって、前記更新された仮想３次元画像は、前記患者の内部の新しい場所での更新された視点からの解剖学的ビューを表し、前記更新された視点は、前記ユーザの現在の頭の位置および前記新しい場所の周囲のユーザからの入力を示すデータにより判断され、第２の仮想３次元画像が、前記画像を生成するために前記患者の解剖学的特徴のライブのビデオデータを利用し、前記第１の場所での最初の視点および前記新しい場所での更新された視点の両方の解剖学的ビューは、前記ユーザの頭の様々なビューの方向への動きにより変更することができるステップと、
   を備える、方法。
2. 第２の場所から前記患者の内部を見る前記ユーザの要望を示すデータ入力を受信するステップと、
   前記コンピュータシステム上でソフトウェア命令を実行することにより、前記仮想モデルから第３の仮想３次元画像を表現するステップであって、前記第３の仮想３次元画像は、受信されたデータにより示されるような前記患者の内部の第２の場所での解剖学的ビューを表すステップと、
   をさらに備える、請求項１に記載の方法。
3. 前記ユーザの頭の位置が変化し、前記患者の内部の所望の場所が変化する際に、非ビデオセンサから更新された位置データを連続的にリアルタイムで受信するステップと、
   更新された頭の位置および更新された場所に対応する視点および場所からの解剖学的ビューを表す仮想３次元画像を連続的にリアルタイムで受信するステップと、
   をさらに備える、請求項１に記載の方法。
4. 前記患者の解剖学的特徴のライブのビデオデータは、前記第２の仮想３次元画像内にリアルタイムの患者の器官のデータを提供するために、前記患者に使用される内視鏡カメラにより取り込まれる、請求項１に記載の方法。
5. 前記内視鏡カメラの画像は、前記第２の仮想３次元画像内に含まれる、請求項４に記載の方法。
6. 前記位置センサは、前記ユーザにより着用されるヘッドマウントディスプレイ上に据え付けられ、前記ヘッドマウントディスプレイは、前記患者のパススルービューを前記ユーザに提供する、請求項１に記載の方法。
7. 前記ユーザの視点の現在の場所が変化する際に前記場所を示す、前記仮想３次元画像内での表示のための仮想アバターを生成するステップをさらに備える、請求項１に記載の方法。
8. 前記アバターが仮想モデルマーカーの予め定義済の近接度内にあるときに前記マーカーが動作を行うように構成されるように、前記マーカーが表現された仮想３次元画像内に提供される、請求項７に記載の方法。
9. 前記患者の内部の前記ユーザの視点は、コントローラの操作により変更することができる、請求項１に記載の方法。
10. 前記患者の内部の前記ユーザの視点は、前記ユーザの位置の場所の変化により変更することができる、請求項１に記載の方法。
11. 拡張現実感手術ナビゲーション方法であって、
    患者に関連する多次元仮想モデルを準備するステップと、
    位置センサからトラッキング情報を受信するステップであって、前記位置センサは、ユーザの場所あるいは運動または前記患者の中あるいは周囲の特定の場所での前記患者の前記ユーザの現在のビューを示す前記患者の物理的特徴を直接検出するように構成され、前記トラッキング情報は、前記患者に対する前記ユーザの位置および前記患者の前記ユーザのビューの角度を含むステップと、
    前記患者の解剖学的特徴のライブのビデオデータを取り込むステップと、
    前記仮想モデル内で、受信されたトラッキング情報および前記患者内の特定の場所に基づき仮想ビューを識別するステップであって、識別された仮想ビューは、前記患者の前記ユーザのビューに対応するステップと、
    コンピュータシステム上でソフトウェア命令を実行することにより、前記患者内の特定の場所での識別された仮想ビューに基づき前記仮想モデルから仮想画像を表現するステップと、
    表現された仮想画像を、前記表現された仮想画像が前記患者の解剖学的特徴のライブのビデオおよび前記ユーザのビューと組み合わされるディスプレイへ通信し、前記ディスプレイにより表現される前記患者の拡張現実感ビューを形成するステップと、
    前記ユーザから、前記特定の場所を前記患者内の任意の新しい場所へ動かす入力を受信するステップと、
    前記仮想モデル内で、前記受信されたトラッキング情報および前記患者内の新しい場所に基づき更新された仮想ビューを識別するステップであって、前記更新された仮想ビューは、前記患者の前記ユーザの現在のビューに対応するステップと、
    前記コンピュータシステム上でソフトウェア命令を実行することにより、前記患者内の新しい場所での現在の仮想ビューに基づき前記仮想モデルから更新された仮想画像を表現するステップと、
    前記更新された仮想画像を、前記更新された仮想画像が前記患者の解剖学的特徴のライブのビデオおよび前記ユーザの現在のビューと組み合わされるディスプレイへ通信し、前記ディスプレイにより表現される前記患者の拡張現実感ビューを形成するステップと、
    を備える、方法。
12. 前記患者に対する前記ユーザの位置および前記患者の前記ユーザのビューの角度が変化する際に、前記位置センサから更新されたトラッキング情報を連続的にリアルタイムで受信するステップと、
    前記仮想ビューが前記患者の前記ユーザのビューと連続的に同期されるように、前記更新されたトラッキング情報に対応する仮想ビューをリアルタイムで識別するステップと、
    をさらに備える、請求項１１に記載の方法。
13. 前記患者の前記ユーザのビューに対応する内視鏡カメラからライブのビデオフィードを受信するステップと、
    前記コンピュータシステム上でソフトウェア命令を実行することにより、前記仮想画像を連続的にリアルタイムで表現して前記ライブのビデオフィードと組み合わせることによって、前記患者の拡張現実感ビューを生成するステップであって、前記仮想画像は、前記トラッキング情報に基づき前記ライブのビデオフィードと同期されるステップと、
    をさらに備える、請求項１１に記載の方法。
14. 前記患者に対する第２のユーザの位置および前記患者の前記第２のユーザのビューの角度を含む、前記第２のユーザの場所あるいは運動または前記患者の前記第２のユーザの現在のビューを示す前記患者の物理的特徴を直接検出するように構成された位置センサから第２のトラッキング情報を受信するステップであって、前記第２のユーザの現在のビューは、前記患者の前記ユーザの現在のビューとは異なるステップと、
    前記仮想モデル内で、受信された第２のトラッキング情報に基づき第２の仮想ビューを識別するステップであって、識別された第２の仮想ビューは、前記患者の前記第２のユーザのビューに対応するステップと、
    前記コンピュータシステム上でソフトウェア命令を実行することにより、前記識別された第２の仮想ビューに基づき前記仮想モデルから第２の仮想画像を表現するステップと、
    第１の表現された仮想画像を第１のディスプレイに通信するのと同時に、表現された第２の仮想画像を、前記表現された第２の仮想画像が前記第２のユーザのビューと組み合わされる第２のディスプレイへ通信し、前記患者の第２の拡張現実感ビューを形成するステップと、
    を備える、請求項１１に記載の方法。
15. 前記方法は、前記患者または前記患者の一部の場所についてのトラッキング情報を受信するステップをさらに備え、前記拡張現実感ビューは、前記患者の場所についての情報を用いて表現される、請求項１１に記載の方法。
16. 前記患者の解剖学的特徴のライブのビデオデータは、前記拡張現実感ビュー内の画像を支援するためにリアルタイムの患者の器官のデータを提供するために、前記患者に使用される内視鏡カメラにより取り込まれる、請求項１１に記載の方法。
17. 前記内視鏡カメラの画像は、前記拡張現実感ビュー内に含まれる、請求項１６に記載の方法。
18. 前記位置センサは、前記ユーザにより着用されるヘッドマウントディスプレイ上に据え付けられ、前記ヘッドマウントディスプレイは、前記患者のパススルービューを前記ユーザに提供する、請求項１１に記載の方法。
19. 前記ユーザの視点の現在の場所が変化する際に前記場所を示す、仮想３次元画像内での表示のための仮想アバターを生成するステップをさらに備える、請求項１１に記載の方法。
20. 前記アバターが仮想モデルマーカーの予め定義済の近接度内にあるときに前記マーカーが動作を行うように構成されるように、前記マーカーが表現された仮想３次元画像内に提供される、請求項１９に記載の方法。
21. 前記患者の内部の前記ユーザの視点は、コントローラの操作により変更することができる、請求項１１に記載の方法。
22. 前記患者の内部の前記ユーザの視点は、前記ユーザの位置の場所の変化により変更することができる、請求項１１に記載の方法。
23. 仮想現実手術ナビゲーション方法であって、
    特定の患者の内部の解剖学的構造に関連する医療画像を取得するステップと、
    前記患者の内部の解剖学的構造に関連する医療画像から多次元仮想モデルを準備するステップと、
    前記患者内の特定の場所に関する位置データを受信するステップと、
    位置センサからユーザの現在のビューの方向を示す位置データを受信するステップであって、前記位置センサは、前記ユーザの場所あるいは運動または前記患者の物理的特徴を直接検出するように構成され、前記位置データはビューの方向を含むステップと、
    コンピュータシステム上でソフトウェア命令を実行することにより、前記仮想モデルから最初の仮想３次元画像を表現するステップであって、前記仮想３次元画像は、前記患者の内部の特定の場所での最初の視点からの前記患者の解剖学的ビューを表し、前記視点は、前記ユーザの現在のビューの方向および前記特定の場所を示すデータにより判断され、前記特定の場所での最初の視点の解剖学的ビューは、前記ユーザの様々なビューの方向に対する変更により変更することができるステップと、
    前記特定の場所を前記患者内の任意の新しい場所へ動かす入力を受信するステップと、
    前記コンピュータシステム上でソフトウェア命令を実行することにより、前記仮想モデルから更新された仮想３次元画像を表現するステップであって、前記更新された仮想３次元画像は、前記患者の内部の新しい場所での更新された視点からの解剖学的ビューを表し、前記更新された視点は、前記新しい場所での前記ユーザの現在のビューの方向を示すデータにより判断されるステップと、
    前記仮想３次元画像を表現する際の使用のための方法の実行の最中に前記患者の解剖学的特徴のビデオデータを取り込むステップであって、前記新しい場所での更新された視点の解剖学的ビューは、前記ユーザの様々なビューの方向に対する変更により変更することができ、表現された仮想画像が、前記ユーザへの表示のための仮想ヘッドセットディスプレイに連続的に提供されるステップと、
    を備える、方法。
24. 前記ユーザの視点の現在の場所が変化する際に前記場所を示す、前記仮想３次元画像内での表示のための仮想アバターを生成するステップをさらに備える、請求項２３に記載の方法。
25. 前記アバターが仮想モデルマーカーの予め定義済の近接度内にあるときに前記マーカーが動作を行うように構成されるように、前記マーカーが表現された仮想３次元画像内に提供される、請求項２４に記載の方法。
26. 前記患者の内部の前記ユーザの視点は、コントローラの操作により変更することができる、請求項２３に記載の方法。
27. 前記患者の内部の前記ユーザの視点は、前記ユーザの位置の場所の変化により変更することができる、請求項２３に記載の方法。
28. 前記ユーザの現在の頭の位置を示す位置データは、前記ユーザの頭の上に据え付けられる仮想ヘッドセットディスプレイ内に含まれる位置センサにより判断される、請求項２３に記載の方法。
29. 前記新しい場所から前記患者の内部を見る前記ユーザの要望を示す入力は、前記ユーザの位置を追跡するセンサにより生成される、請求項２３に記載の方法。
30. 前記新しい場所から前記患者の内部を見る前記ユーザの要望を示す入力は、コントローラを介してデータを入力するユーザにより生成される、請求項２３に記載の方法。
31. 前記新しい場所は、３次元座標系のＸ、Ｙ、およびＺ座標のうち少なくとも１つにおける変更を備える、請求項２３に記載の方法。
32. 前記ユーザの頭の位置が変化し、前記患者の内部の所望の場所が変化する際に、前記位置センサから更新された位置データを連続的にリアルタイムで受信するステップと、
    更新された頭の位置および更新された場所に対応する視点および場所からの解剖学的ビューを表す仮想３次元画像を連続的にリアルタイムで受信するステップと、
    をさらに備える、請求項２３に記載の方法。
33. 前記仮想モデルは、受信された患者特有のＤＩＣＯＭデータに基づく、請求項２３に記載の方法。
34. 前記仮想モデルは、ライブのビデオフィードを受信し、前記仮想モデルと同期させてその中に統合するように構成される、請求項２３に記載の方法。
35. 前記ライブのビデオフィードは、顕微鏡の視覚、内視鏡の視覚、およびロボットアームの視覚のうち１つを備える、請求項３４に記載の方法。
36. 前記仮想モデルは、リアルタイムで、複数のユーザの現在の相対位置および前記仮想モデルとの同時の相互作用を表す複数のアバターを受信し、前記仮想モデルと同期させてその中に統合するように構成される、請求項２３に記載の方法。
37. 前記アバターのうち１つがマーカーの予め定義済の近接度内にある事象に応答する動作を行うように前記マーカーが構成される、請求項３６に記載の方法。
38. 前記動作は、色を変更すること、可聴警報を作動させること、および追加の情報を表示することのうち少なくとも１つを備える、請求項３７に記載の方法。
39. 前記仮想モデルは、リアルタイムで、前記ユーザにより生成された手動で作成された要素を受信し、前記仮想モデルと同期させてその中に統合するように構成される、請求項２３に記載の方法。
40. 前記仮想モデルは、リアルタイムで、前記解剖学的ビューを強化するために一般的な解剖学的モデルを受信し、前記仮想モデルと同期させてその中に統合するように構成される、請求項２３に記載の方法。
41. 前記仮想モデルは、リアルタイムで、前記ユーザが前記解剖学的ビュー内の病態を理解するのを支援するための情報を受信し、前記仮想モデルと同期させてその中に統合するように構成される、請求項２３に記載の方法。
42. 前記ユーザに提供される３次元画像の一部として拡張現実感ビュー内の画像を支援するリアルタイムの患者の器官のデータを提供するために、内視鏡カメラが前記患者に使用される、請求項２３に記載の方法。
43. 前記内視鏡カメラの画像は、前記拡張現実感ビュー内に含まれる、請求項４２に記載の方法。
44. 前記位置センサは、前記ユーザにより着用されるヘッドマウントディスプレイ上に据え付けられ、前記ヘッドマウントディスプレイは、前記患者のパススルービューを前記ユーザに提供する、請求項２３に記載の方法。
45. 仮想現実手術ナビゲーション方法であって、
    患者の内部の解剖学的構造に関連する多次元仮想モデルを準備するステップと、
    前記患者内の場所に関する位置データを受信するステップと、
    位置センサからユーザの現在のビューの方向を示す位置データを受信するステップであって、前記位置センサは、前記ユーザの場所あるいは運動または前記患者の物理的特徴を直接検出するように構成され、前記位置データはビューの方向を含むステップと、
    コンピュータシステム上でソフトウェア命令を実行することにより、前記仮想モデルから仮想３次元画像を表現するステップであって、前記仮想３次元画像は、前記患者の内部の場所での視点からの前記患者の解剖学的ビューを表し、前記視点は、前記ユーザの現在のビューの方向を示すデータにより判断され、特定の場所での最初の視点の解剖学的ビューは、前記ユーザの様々なビューの方向に対する変更により変更することができるステップと、
    前記ユーザのビューの方向における変更を示す位置データを受信するステップと、
    前記コンピュータシステム上でソフトウェア命令を実行することにより、前記仮想モデルから更新された仮想３次元画像を表現するステップであって、前記更新された仮想３次元画像は、前記ビューの方向における変更を示すデータにより判断されるステップと、
    前記仮想モデル内に、前記仮想モデル内での前記ユーザの現在の相対位置を表す少なくとも１つのアバターをリアルタイムで統合するステップと、
    前記仮想モデル内にマーカーを統合するステップであって、前記マーカーは、前記少なくとも１つのアバターのうち少なくとも１つが前記マーカーの予め定義済の近接度内にあると判断することに応答する動作を行うように構成され、表現された仮想画像が、前記ユーザへの表示のための仮想ヘッドセットディスプレイに連続的に提供されるステップと、
    を備える、方法。
46. 前記動作が、前記仮想モデル内の色を変更することを含む、請求項４５に記載の方法。
47. 前記動作が、可聴警報を作動させることを含む、請求項４５に記載の方法。
48. 前記動作が、前記ディスプレイ内に追加の情報を表示することを含む、請求項４５に記載の方法。
49. 仮想現実手術ナビゲーション方法であって、
    特定の患者の内部の解剖学的構造に関連する医療画像を取得するステップと、
    前記患者の内部の解剖学的構造に関連する医療画像から多次元仮想モデルを準備するステップと、
    前記患者内の特定の場所に関する位置データを受信するステップと、
    位置センサからユーザの現在のビューの方向を示す位置データを受信するステップであって、前記位置センサは、前記ユーザの場所あるいは運動または前記患者の物理的特徴を直接検出するように構成され、前記位置データはビューの方向を含むステップと、
    コンピュータシステム上でソフトウェア命令を実行することにより、前記仮想モデルから最初の仮想３次元画像を表現するステップであって、前記仮想３次元画像は、前記患者の内部の特定の場所での最初の視点からの前記患者の解剖学的ビューを表し、前記視点は、前記ユーザの現在のビューの方向および前記特定の場所を示すデータにより判断され、前記特定の場所での最初の視点の解剖学的ビューは、前記ユーザの様々なビューの方向に対する変更により変更することができるステップと、
    前記特定の場所を前記患者内の任意の新しい場所へ動かす入力を受信するステップと、
    前記コンピュータシステム上でソフトウェア命令を実行することにより、前記仮想モデルから更新された仮想３次元画像を表現するステップであって、前記更新された仮想３次元画像は、前記患者の内部の新しい場所での更新された視点からの解剖学的ビューを表し、前記更新された視点は、前記新しい場所での前記ユーザの現在のビューの方向を示すデータにより判断されるステップと、
    前記ユーザの視点の現在の場所が変化する際に前記場所を示す、前記仮想３次元画像内での表示のための仮想アバターを生成するステップであって、前記新しい場所での更新された視点の解剖学的ビューは、前記ユーザの様々なビューの方向に対する変更により変更することができ、表現された仮想画像が、前記ユーザへの表示のための仮想ヘッドセットディスプレイに連続的に提供され、前記アバターが仮想モデルマーカーの予め定義済の近接度内にあるときに前記マーカーが動作を行うように構成されるように、前記マーカーが表現された仮想３次元画像内に提供されるステップと、
    を備える、方法。

Images