JP2015504320A - 医療処置のためのホログラフィユーザインターフェース - Google Patents

Abstract

対話型ホログラフィディスプレイシステムが、ホログラフィ式にレンダリングされた解剖学的画像を表示するように構成されたホログラフィ生成モジュール１１５を含む。位置特定システム１２０が、ホログラフィ式にレンダリングされた解剖学的画像の上又は周囲に、監視される空間１２６を画定するように構成される。１つ又は複数の監視される物体１２８が、位置特定システムによって位置及び向きを監視され、これにより、監視される空間と１つ又は複数の監視される物体との間の空間点の合致が、ホログラフィ式にレンダリングされた解剖学的画像での応答をトリガする。

Description

関連出願の相互参照
本出願は、２０１１年１０月２０日出願の米国仮特許出願第６１／５４９，２７３号に対する優先権を主張するものであり、その開示全体を参照により本明細書に援用する。

本開示は、システム、デバイス、及び方法に関し、より詳細には、医療用途での精度及び効果を改良するために、ホログラフィ画像データを他の情報と統合することに関するシステム、デバイス、及び方法に関する。

ユーザゴーグル／眼鏡を必要としない２次元（２Ｄ）パネル上での３次元（３Ｄ）視覚化のためのオートステレオスコピックディスプレイ（ＡＳＤ: Auto-stereoscopic displays）が研究されている。しかし、解像度及び処理時間が、この技術を使用して高品質の画像をレンダリングできる能力を制限する。さらに、これらのディスプレイは、一般に、（例えば、内科医が、異なる観点からデータを見るためにディスプレイの周りで動く又はディスプレイを回転させることができない）２Ｄ平面に限定されている。様々な観点が、限定された視野で可能にされることがあるが、このタイプのディスプレイに関する視野は、依然として、運動視差の制限を受ける。

同様に、データオブジェクトの操作のためのユーザ入力は、大抵は、例えばマウス、タブレット、キーパッド、タッチパネル、カメラベースの追跡など、主流の２Ｄメカニズムに限定されている。従って、上で特定される欠点を克服するために使用され得る、本明細書で開示及び記載されるシステム、デバイス、及び方法が必要である。

本発明の原理によれば、対話型ホログラフィディスプレイシステムが、ホログラフィ式にレンダリングされた解剖学的画像を表示するように構成されたホログラフィ生成モジュールを含む。位置特定システムが、ホログラフィ式にレンダリングされた解剖学的画像の上又は周囲に、監視される空間を画定するように構成される。１つ又は複数の監視される物体が、位置特定システムによって位置及び向きを監視され、それにより、監視される空間と１つ又は複数の監視される物体との間の空間点の合致が、ホログラフィ式にレンダリングされた解剖学的画像での応答をトリガする。

別の対話型ホログラフィディスプレイシステムは、処理装置と、処理装置に結合されたメモリとを含む。ホログラフィ生成モジュールが、メモリ内に含まれ、ホログラフィ式にレンダリングされた解剖学的画像を、空気中ホログラムとして表示する、又はホログラフィディスプレイ上に表示するように構成される。位置特定システムが、ホログラフィ式にレンダリングされた解剖学的画像の上又は周囲に、監視される空間を画定するように構成される。１つ又は複数の監視される物体が、位置特定システムによって位置及び向きを監視され、それにより、監視される空間と１つ又は複数の監視される物体との間の空間点の合致が、ホログラフィ式にレンダリングされた解剖学的画像での応答をトリガする。ホログラフィ式にレンダリングされた解剖学的画像での応答が、ホログラフィ式にレンダリングされた解剖学的画像の並進又は回転、ホログラフィ式にレンダリングされた解剖学的画像の倍率調節、ホログラフィ式にレンダリングされた解剖学的画像のマーク付け、及びフィードバック生成の１つ又は複数を含む。

ホログラフィディスプレイと対話するための方法が、ホログラフィ式にレンダリングされた解剖学的画像を表示するステップと、対話のための領域を画定するために、監視される空間を、前記ホログラフィ式にレンダリングされた解剖学的画像の上又は周囲で位置特定するステップと、位置特定システムによって１つ又は複数の監視される物体の位置及び向きを監視するステップと、監視される空間と１つ又は複数の監視される物体との間で空間点の合致を決定するステップと、合致が決定された場合、前記ホログラフィ式にレンダリングされた解剖学的画像での応答をトリガするステップとを含む。

本開示のこれら及び他の目的、特徴、及び利点は、その例示的実施形態の以下の詳細な説明から明らかになり、説明は、添付図面に関連付けて読まれるべきである。

本開示は、以下の図面を参照して、以下の好ましい実施形態の説明を詳細に提示する。

例示的実施形態によるホログラムとインターフェースするためのシステムを示すブロック図／流れ図である。 例示的実施形態によるデータマップ又はオーバーレイと共にレンダリングされたホログラムの斜視図である。 例示的実施形態によるホログラフィ画像内にデータマップ又はオーバーレイを表示するための例示的なプロセスフローを示すブロック図である。 例示的実施形態によるホログラフィ画像内に静止画像の物体又はアニメーション化された物体を表示するための例示的なシステム及びプロセスフローを示すブロック図である。 例示的実施形態による、処置中にホログラフィ画像内に表示するバーチャル物体を選択するための物体メニューを表示するための例示的な画像を示す図である。 例示的実施形態による、ホログラフィ画像を使用してロボットを制御するための例示的システムを示すブロック図である。 例示的実施形態による、ホログラフィ画像と共に触覚フィードバックを採用する例示的システムを示すブロック図である。 一実施形態によるホログラフィ画像などを表示するための例示的システムにおける様々な観点に提供される複数のビューを示す図である。 例示的実施形態による、ホログラフィ画像を使用してネットワークを介して遠隔でロボットを制御するための例示的システムを示すブロック図である。 例示的実施形態によるホログラムとインターフェースするための方法を示す流れ図である。

本発明の原理に従って、医療処置のためにホログラフィディスプレイ技術を利用するシステム、デバイス、及び方法が述べられる。これは、処置中に、より高い度合いの人間−データ対話を提供するために、３Ｄホログラフィ技術（例えば空気中ホログラム）と、光学形状感知などのリアルタイム３Ｄ入力感知法とを使用して行われ得る。ホログラフィ技術を他の技術と共に採用することは、場合によっては、処置ワークフロー、器具選択、及び対象の解剖学的構造の内部での操作を簡易化する。本明細書で述べるそのような例示的な実施形態は、臨床処置中の自由空間内での動きを感知するための例示的な位置特定法と共に、体積データセットのリアルタイム視覚化のための３Ｄホログラフィディスプレイを利用することができ、それにより、インターベンションスイートでの人間−データ対話の新規の方法を提供する。

１つの例示的実施形態では、３Ｄホログラフィは、解剖学的データを機能的撮像及び「感知」情報と融合するために使用されることがある。第４の次元（例えば、時間、色、質感など）が、対象の物体（例えば臓器）のステータスの動的３Ｄマルチモダリティ表現を表すために使用され得る。ディスプレイは、（準）リアルタイムのものでよく、例えば、カラーコード化された視覚情報、及び／又は触覚フィードバック／触知情報を使用することができ、ホログラフィによって表示される対象の物体の状態の様々な効果を伝達する。そのような情報は、ターゲットに関する形態学的情報、対象の物体に関する機能的情報（例えば、流量、収縮性、組織の生物力学的又は化学的組成、電圧、温度、ｐＨ、ｐＯ_２、ｐＣＯ_２など）、又はターゲットと送達される療法との相互作用による測定されたターゲット特性変化を含むことができる。例示的な３Ｄホログラフィディスプレイは、（実質的に）任意の角度／方向から見られ得て、それにより、例えば、複数のユーザが、同じ理解及び情報で同時に対話することができる。代替として、例えば立方体又は多面体の各面に異なる情報を表示することによって、部屋内にいる異なるユーザに異なる情報を同時に表示することが可能である。

一実施形態では、（例えば、同じ対話空間内部で追跡される１本又は複数本の指、バーチャルツール、又は物理的器具を使用して）３Ｄホログラフディスプレイ内の特定の対象領域に「タッチ」する又は他の方法で対話することができ、組織特性が入手可能になり、３Ｄホログラムで表示される。そのような「タッチ」はまた、例えば、バーチャル臓器を回転させるため、ズーム調整するため、３Ｄ内の点にタグ付けするため、（例えば治療やターゲット設定などのために）経路及び軌跡プランを描くため、回避すべき危険区域を選択するため、アラームを作成するため、並びに、表示された３Ｄ解剖学的構造内に３Ｄでバーチャル物体（例えばインプラント）をドロップするために使用されることもできる。

本開示による例示的な実施形態はまた、遠隔処置を容易にするため（例えば、施術者がバーチャル臓器に対して「施術(acts)」し、それと同時に又はそれに続いて、ロボットが実際の臓器に対して処置を行う場合）、実際の処置を行う前に訓練又はシミュレーション環境内で処置を実践するため、及び／又は処置が行われた後に処置を検討／研究／教授するために（例えば、３Ｄホログラフィディスプレイのデータ記録、記憶、及び再生、並びに臨床処置に関する任意の関連のマルチモダリティ信号によって）使用されることもできる。

本開示による例示的な実施形態は、添付図面を参照して以下に本明細書でさらに述べられる。そのような例示的な実施形態は、（例えば提示及び理解を容易にするために）大抵は互いに別々に述べられるが、本明細書での教示に鑑みて、そのような例示的な実施形態が、個々に及び／又は互いに組み合わせて使用され得ることを当業者は理解されよう。実際、本明細書で述べられる例示的実施形態（それらの組合せ及び変形形態を含む。それらは全て、本開示の一部とみなされる）の実施及び使用は、例えば、特定の実験室又は臨床での使用／適用、他の関連技術との統合、利用可能な資源、環境条件などに依存することがある。従って、本開示中の記載事項はどれも、本明細書で開示される主題を限定するものと解釈されるべきではない。

本発明の原理によるリアルタイム３Ｄホログラフィディスプレイは、データ対話デバイス（例えば感覚フィードバック用の触覚デバイス）に埋め込まれた位置特定技術によるリアルタイム６自由度（ＤＯＦ）入力を含むことがある。多次元データ獲得のための撮像／監視システムが採用されることもある。ホログラフィディスプレイ、位置特定システム／対話システム、及び撮像／監視システムの間のデータリンクが、これらのシステム間の通信のために提供されることがある。一実施形態では、ディスプレイ、フィードバックデバイス、位置特定デバイス、及び測定デバイスは、決定支援のため及び症例情報のデータライブラリのための計算ワークステーションと共に採用される、又はそのようなワークステーションと一体化されることがあり、それらの情報は、（例えば、処置、及び治療中の患者に対する同様の記録済みの臨床症例に関する）訓練／教授／処置指導の目的で、生の症例中に動的に更新される／呼び出され得る。

本発明は医療器具に関して述べられるが、本発明の教示は、はるか広範であり、ホログラフィ視覚化の利益を得ることができる任意のシステムに適用可能であることが理解されるべきである。幾つかの実施形態では、本発明の原理は、複雑な生物学的又は機械的システムを追跡又は分析する際に採用される。特に、本発明の原理は、生物学的システムの内部追跡処置、すなわち、肺、胃腸管、排泄器官、血管など身体の全ての領域での処置に適用可能である。図面に示される要素は、ハードウェア及びソフトウェアの様々な組合せで実施され、単一の要素又は複数の要素で組み合わされることがある機能を提供することがある。

図面に示される様々な要素の機能は、専用ハードウェア、及び適切なソフトウェアに関連付けてソフトウェアを実行することが可能なハードウェアによって提供され得る。処理装置によって提供されるとき、機能は、単一の専用の処理装置によって、単一の共有処理装置によって、又は複数の個別の処理装置（そのうちの幾つかが共有され得る）によって提供され得る。さらに、用語「処理装置」又は「制御装置」の明示的な使用は、ソフトウェアを実行することが可能なハードウェアを排他的に表すものと解釈されるべきではなく、限定はしないが、デジタル信号処理装置（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）不揮発性記憶装置などを暗示的に含むことができる。

さらに、本発明の原理、態様、及び実施形態、並びにそれらの具体的な例を記載する本明細書における全ての陳述は、それらの構造的均等形態と機能的均等形態をどちらも網羅することを意図される。さらに、そのような均等形態は、現在知られている均等形態も、将来開発される均等形態（すなわち、構造に関係なく、同じ機能を実施する開発される任意の要素）も含むことが意図される。従って、例えば、本明細書で提示されるブロック図が、例示的なシステム構成要素及び／又は本発明の原理を実施する回路の概念図を表すことが当業者によって理解されよう。同様に、任意のフローチャートや流れ図などが様々なプロセスを表し、それらのプロセスは、実質的にコンピュータ可読記憶媒体において表現されることがあり、従って、コンピュータ又は処理装置が明示的に図示されているか否かに関わらず、コンピュータ又は処理装置によって実行されることがあることを理解されたい。

さらに、本発明の実施形態は、コンピュータ若しくは任意の命令実行システムによって使用するため又はそれと組み合わせて使用するためのプログラムコードを提供するコンピュータ使用可能媒体又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態を取ることができる。本明細書における説明において、コンピュータ使用可能媒体又はコンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって又はそれと組み合わせて使用するためのプログラムを含む、記憶する、通信する、伝播する、又は輸送することがある任意の装置でよい。媒体は、電子、磁気、光、電磁、赤外線、又は半導体システム（若しくは装置若しくはデバイス）、或いは伝搬媒体でよい。コンピュータ可読媒体の例は、半導体又はソリッドステートメモリ、磁気テープ、着脱可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、リジッド磁気ディスク、及び光ディスクを含む。光ディスクの現在の例は、コンパクトディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−読み出し／書き込み（ＣＤ−Ｒ／Ｗ）、Ｂｌｕ−Ｒａｙ（商標）、及びＤＶＤを含む。

次に図面を参照する。図面中、同様の番号は、同一又は同様の要素を表す。まず図１を参照すると、ホログラフィ画像を生成し、ホログラフィ画像と対話するためのシステム１００が、一実施形態に従って例示的に示される。システム１００は、ワークステーション又はコンソール１１２を含むことがあり、そこから処置が監督及び／又は管理される。ワークステーション１１２は、好ましくは、１つ又は複数の処理装置１１４と、プログラム及びアプリケーションを記憶するためのメモリ１１６とを含む。メモリ１１６は、用途に応じて、ディスプレイ１５８上で又は空気中でホログラフィ画像をレンダリングするように構成されたホログラフィ生成モジュール１１５を記憶することがある。ホログラフィ生成モジュール１１５は、画像データをコード化して、３次元ホログラムを生成する。コード化は、２Ｄディスプレイ上に、又は３Ｄ媒体若しくは３Ｄディスプレイにホログラムを提供することがある。一例では、ホログラムをレンダリングするために、３Ｄ撮像、例えばコンピュータ断層撮影、超音波、磁気共鳴からのデータが、空間分布及び光強度を使用してホログラムに変換されることがある。

位置特定システム１２０は、座標系１２２を含み、そこにホログラフィ画像又はホログラム１２４が位置合わせされる。また、位置特定システム１２０が、監視される物体１２８を位置合わせするために採用されることもあり、監視される物体１２８は、別途作成及び制御されるバーチャル器具、実際の器具、内科医の手、指、又は他の解剖学的部位などを含むことがある。位置特定システム１２０は、電磁追跡システム、光ファイバベースの形状感知システムなどの形状感知システム、光センサ及びアレイを含む光学感知システム、又は他の感知モダリティなどを含むことがある。位置特定システム１２０は、ホログラム又はホログラフィ画像１２４の内部及び周囲の空間領域を画定するために採用されて、ホログラム１２４の領域内での動きによる様々な機能又はアクションのトリガを可能にする。例えば、内科医の手の動的位置が、光ファイバ形状感知デバイスを使用して追跡されることがある。内科医の手が同じ空間、例えば投影されたホログラム１２４の周囲の監視される空間１２６に入るとき、ホログラムの強度が増加されることがある。別の例では、内科医の手の動きが、ホログラム１２４の位置若しくは向きを空間的に変えるため、又は他の様式でホログラム１２４と対話するために採用されることがある。

監視される物体又は感知システム１２８は、ホログラム１２４又はホログラム１２４の周囲の空間１２６に対して空間的に監視されることがある。監視される物体１２８は、内科医の手、実際のツール又はバーチャルツール、別のホログラムなどを含むことがある。監視される物体１２８は、監視される物体１２８の位置を監視するように適合されたセンサ１３２を含むことがあり、それにより、物体又は物体の一部分の位置がホログラム１２４又はホログラム１２４の周囲の空間１２６内であるとき、監視される物体１２８のタイプ、及び監視される物体１２８によって行われる又は行われるべきアクションと整合性のある反応が生じる。センサ１３２は、ＥＭセンサや光ファイバ形状センサなどを含むことがある。

一実施形態では、センサ１３２は、光ファイバ形状センサを含む。センサ解釈モジュール１３４が、形状感知デバイス又はシステム（１３２）からのフィードバック信号を解釈するために採用されることがある。解釈モジュール１３４は、監視される物体１２８に関連付けられる運動、偏向、及び他の変化を再構成するために、信号フィードバック（及び任意の他のフィードバック、例えば光学、電磁（ＥＭ）追跡など）を使用するように構成され、監視される物体１２８は、医療デバイス又は器具、バーチャルツール、人間の解剖学的部位などを含むことがある。医療デバイスは、カテーテル、ガイドワイヤ、プローブ、内視鏡、ロボット、電極、フィルタデバイス、バルーンデバイス、又は他の医療用構成要素などを含むことがある。

形状感知システム（１３２）は、設定されたパターンで、監視される物体１２８に結合される１つ又は複数の光ファイバを含むことがある。光ファイバは、ケーブル配線１２７を介してワークステーション１１２に接続する。ケーブル配線１２７は、必要に応じて、光ファイバ、電気接続線、他の機器などを含むことがある。

形状感知システム（１３２）は、光ファイバブラッグ回折格子センサに基づくことがある。光ファイバブラッグ回折格子（ＦＢＧ）は、光の特定の波長を反射し、他の全ての波長を透過する光ファイバの短いセグメントである。これは、屈折率の周期的な変化をファイバコアに追加することによって実現され、これは波長固有誘電体ミラーを生成する。従って、ファイバブラッグ回折格子は、特定の波長を遮るためのインライン光ファイバとして、又は波長特定反射器として使用され得る。

ファイバブラッグ回折格子の動作の背景にある基本的な原理は、屈折率が変化している各界面でのフレネル反射である。幾つかの波長に関して、様々な期間の反射光が同相であり、したがって、反射に関して強め合う干渉が存在し、その結果、透過に関しては弱め合う干渉が存在する。ブラッグ波長は、歪及び温度の影響を受けやすい。これは、ブラッグ回折格子が光ファイバセンサ内の感知要素として使用され得ることを意味する。ＦＢＧセンサでは、測定量（例えば、歪）がブラッグ波長のシフトを引き起こす。

この技法の１つの利点は、様々なセンサ要素がファイバの長さにわたって分布され得ることである。構造内に埋め込まれたファイバの長さに沿って様々なセンサ（計器）を有する３つ以上のコアを組み込むことにより、そのような構造の３次元形状が、典型的には１ｍｍよりも良い精度で精密に決定されることが可能になる。ファイバの長さに沿って、様々な位置に、複数のＦＢＧセンサが位置され得る（例えば、３つ以上のファイバ感知コア）。各ＦＢＧの歪測定から、その位置で、構造の曲率が推定され得る。複数の測定された位置から、全体の３次元形状が決定される。

光ファイバブラッグ回折格子に対する代替として、従来の光ファイバでの固有後方散乱が利用され得る。１つのそのような手法は、標準のシングルモード通信ファイバにおけるレイリー散乱を使用するものである。レイリー散乱は、ファイバコア内の屈折率のランダムな変動の結果として現れる。これらのランダムな変動は、回折格子長さに沿った振幅及び位相のランダムな変化を有するブラッグ回折格子としてモデル化され得る。複数コアファイバの単一長さの内部で延びる３つ以上のコアでこの効果を使用することによって、対象の表面の３Ｄ形状及び動的挙動が追従され得る。

一実施形態では、ワークステーション１１２は、ホログラム１２４との対話を感知するために形状感知システム１３２又は他のセンサからのフィードバックを受信するように構成された画像生成モジュール１４８を含む。ホログラム１２４及びその周囲の空間１２６の位置及びステータスは、位置特定システム１２０に知られている。監視される物体１２８が、空間１２６に入るとき、又は比較モジュール１４２によって決定されるようにホログラム１２４の位置と合致するとき、運動のタイプ、監視される物体１２８のタイプ、処置又は活動のタイプ、及び／又は任意の他の基準に従ってアクションがトリガされる。比較モジュール１４２は、変更が必要とされることをホログラフィ生成モジュール１１５に知らせる。ホログラフィ生成モジュール１１５は、画像データを記録し、画像データが処理されて、画像生成モジュール１４８に出力され、画像生成モジュール１４８は、設定された基準に従ってホログラム１２４を更新する。

例示的実施形態では、ホログラム１２４は、患者又は被験者１５０の３Ｄ画像１５２に基づいてレンダリングされた内臓を含むことがある。画像１５２は、患者１５０から、撮像システム１１０を使用して術前に収集されることがある。システム１００は、訓練、分析、又は他の目的で任意の時点で採用されることがあるので、本発明の原理を採用するために画像システム１１０及び患者１５０が必ずしも存在する必要はないことに留意されたい。この例では、内科医が、センサ１３２が設けられた１対のグローブを採用する。グローブ／センサ１３２が空間１２６に入り、ホログラム１２４と合致するとき、内科医は、ホログラム１２４を回転又は並進させることが可能である。別の実施形態では、グローブは、触覚デバイス１５６を含み、触覚デバイス１５６は、ホログラム１２４又は空間１２６に対するグローブ／センサの位置に応じて触知フィードバックを提供する。他の実施形態では、触覚フィードバックは、ホログラム１２４及びその表現に対応する組織タイプを示す。触覚デバイス又はシステム１５６は、超音波源、スピーカ、又は他の振動源を含むことがあり、振動又は音を使用してホログラム１２４の状態の相違を伝達する。

また、ディスプレイ１１８及び／又はディスプレイ１５８は、ユーザが、ワークステーション１１２、ホログラム１２４、並びにその構成要素及び機能、又はシステム１００内部の任意の他の要素と対話することを可能にすることもある。これは、インターフェース１３０によってさらに容易にされ、インターフェース１３０は、ワークステーション１１２からのユーザフィードバック及びワークステーション１１２との対話を可能にするために、キーボード、マウス、ジョイスティック、触覚デバイス、又は任意の他の周辺機器若しくは制御機器を含むことがある。

一実施形態では、ユーザ（施術者、外科医、医療従事者など）は、３Ｄホログラフィディスプレイ１５８内部の特定の対象領域（ＲＯＩ）１５４、又は３Ｄホログラフィディスプレイ（又は他の場所）内部のホログラム１２４に触って（又は他の様式で対話して）、選択された特定の対象領域に関係付けられる追加の情報、例えば、温度、化学的含有物、遺伝子シグネチャ、圧力、石灰化率などの組織特性を表示することができる。情報のオーバーレイが、別個の例示的な２Ｄディスプレイ（１１８）上に表示又は提示され得て、ここで、２Ｄディスプレイの一部は、表示される情報をより良く閲覧できるように透明であることがある。また、例示的な２Ｄディスプレイ１１８は、（例えば、３Ｄディスプレイが比較的低い又は制限された解像度であることがある例示的実施形態において）他のグラフィックス及びテキストを高解像度で提示又は表示することも可能である。

他の実施形態は、そのような追加の情報の表示／提示に対処するために、施術者（例えば医師）に、「ヘッドアップ」ディスプレイ（ディスプレイ１５８として）又は複合ディスプレイ（１１８と１５８）を提供することができる。追加として、他の対象区域又は対象領域１５４が、３Ｄホログラフィディスプレイ１５８又はホログラム１２４内部で自動的にハイライト表示及び／又は縁取りされ得る。そのような他の対象区域は、例えば、選択された対象区域と同様の特性を有する区域、及び／又は何らかの形で関係付けられた区域でよい。

さらに別の例示的実施形態によれば、３Ｄホログラフィディスプレイ１５８又はホログラム１２４は、例えば形状イネーブル化器具１３２及び／又はカメラベースのセンサ１３７によって６自由度（６ＤＯＦ）のユーザ追跡を有して採用されることがあり、３Ｄ及びリアルタイムの６ＤＯＦユーザ対話でのユーザインターフェースとしての使用を可能にする。例えば、ユーザ（例えば施術者）は、３Ｄホログラフィ画像１２４として表示されているバーチャル臓器にタッチする機能を提供される。ユーザは、例えば、回転させる、ズームイン／アウトする（例えばビューの倍率を変える）、３Ｄ内の点にタグ付けする、経路及び／又は軌跡プランを描く、回避すべき（危険）区域を選択する、アラームを作成する、解剖学的構造内で３Ｄでのバーチャルインプラントの向きを操作することができる。これらの機能は、ホログラム１２４に関して表示されるホログラフィデータと共に動作する位置特定システム１２０及び画像生成システム又はモジュール１４８を使用して実施される。

ディスプレイ１５８又はホログラム１２４の一部にタッチする（及び／又はタップ、保持するなど）ことによって、３Ｄホログラフィディスプレイ１５８又はホログラム１２４内にシードポイント１６２が作成及びドロップされることがある。シードポイント１６２は、例えば、バーチャルカメラの活動化のために採用されることがあり、バーチャルカメラは、個別にカスタマイズされた視覚観点（例えば、向き、ズーム、解像度など）を提供することができ、これらは、別個の高解像度２Ｄディスプレイ１１８にストリーム（又は他の様式で送信）され得る。

タッチ機能は、例えばセグメント化の初期化、モデリング、位置合わせ又は他の計算、視覚化、計画ステップなど複数のタスクのために、３Ｄディスプレイ１５８内にバーチャルシードポイント１６２を作成又はドロップするために採用され得る。３Ｄホログラフィディスプレイ１５８又はホログラム１２４が解剖学的構造のデータを表示するために使用されるのに加えて、ディスプレイはまた、ボタン、ドロップダウンメニュー、ポインタ／トラッカ、又は任意選択の機能などを表示するために使用されることもでき、これらは、ユーザが、システム、及び／又はシステムに含まれる任意のコンピュータ、若しくはシステムに（例えば直接接続されて、又はインターネット若しくは他のネットワークを介して）接続される任意のコンピュータと対話し、それらにコマンドを与えることができるようにする。

別の実施形態では、マイクロホン１６４が、音声制御コマンドによる例示的な３Ｄホログラフィディスプレイ１５８又はホログラム１２４との接続、制御、対話などに関する言語情報を受信するために採用されることがある。音声認識エンジン１６６が、音声コマンドをプログラムコマンドに変換するために提供されることがあり、ユーザ（例えば外科医）が、手を使う必要なく、３Ｄホログラフィディスプレイ１５８又はホログラム１２４と対話できるようにする。例えば、ユーザは、「左前斜位４０度を表示せよ(SHOW LAO FORTY)」と言うことができ、ホログラフィ画像内に表示された体積が、適切な角度に回転して、ユーザに所望のビューを提供する。他のコマンドは、特定の（追加）情報を表示するために、比較的単純なコマンド、例えば「ズーム」と、それに続く「３倍」などの特定の量とのコマンドから、より複雑なコマンド、例えば特定のタスク又は処置に関係付けられ得るコマンドまでの範囲に及ぶ。

別の実施形態によれば、記録モードがメモリ１１６に提供され得て、例えば、フル３Ｄ再生のための同じデバイス上で、及び／又は記録された３Ｄシーンを複数の２Ｄ視覚観点に自動変換する（又は、例えばバーチャルリアリティモデリング言語（ＶＲＭＬ）で３Ｄモデルを回転させる）機能を備える従来の（２Ｄ又は３Ｄ）閲覧デバイス上で症例を再生するために利用可能にされ得る。ホログラフィディスプレイ１５８と、画像保存通信システム（ＰＡＣＳ）、放射線情報システム（ＲＩＳ）、又は他の電子医療記録システムなどのライブラリ／データベース１６８に保存された記録との間のデータ接続が、例えば、視覚化及び診断解釈／データマイニングを容易にするために使用され得る。記録は、例えば教授及び訓練の目的で、例えば、個人環境（例えば、ユーザが、実施された記録済みの処置を検討することを望むとき）、小さなグループ環境（例えば、ピア及び／又はマネジメント）、比較的大きなクラス、講義などで他者に教授又は訓練するために再生及び使用され得る。そのような例示的な記録は、マーケティングプレゼンテーションや研究環境などで使用されることもあり、また、病院管理者、第三者保険業者、投資者、米国食品医薬品局(Food and Drug Administration (ＦＤＡ))、及び／又は他の規制機関による品質及び規制査定、例えばプロセス評価又は処置査定のために採用されることもある。バーチャルカメラは、例えば、異なる２Ｄテレビジョン画面又はモニタ（又はそれらの幾つかの区域）上での画像のビデオキャプチャ又は同時表示のために、複数の視点／角度を捕捉又は記録し、複数の２Ｄ出力を生成するために採用されることがある。

図２を参照すると、別の実施形態では、３次元（３Ｄ）ホログラフィは、例えば、（例えば３Ｄ ＣＴスキャンからの）解剖学的構造の体積データを表示するために使用されることがあり、解剖学的データを、機能的撮像及び「感知」情報、並びに時間（時間関連）情報と融合する。情報は、ディスプレイ２１０からの色、コントラストレベル、及びパターンなどの視覚インジケータ２０４、２０６を使用して、物体（例えば臓器）及びそのステータスの動的３Ｄマルチモダリティ表現２０２（例えばホログラム）を作成（発生、生成、表示など）するために採用されることがある。物体２０２（例えばホログラム１２４）は、物体２０２上に有用なデータを示すために様々な領域２０４、２０６を示すことがある。例えば、心外膜及び／又は心内膜マッピングデータは、例えば、（例えばＣＴ、ＸｐｅｒＣＴ、又はＭＲからの）心臓の解剖学的撮像データと重畳されて、電気活動データを電気生理学的処置中の心臓画像上に表示するために使用され得る。別の例は、温度マップの表示であり、これは、アブレーション中のＭＲ、又は（例えば、ＭＲデジタルデータ転送システム及び処置を使用する）インターベンション中の磁気共鳴−高強度焦点式超音波（ＭＲ−ＨＩＦＵ）４Ｄ（４次元）情報によって提供され得る。また、例えば、放射腫瘍学治療（Ｌｉｎａｃや小線源照射療法など）中の解剖学的ターゲットの上に重畳させて、リアルタイム放射線量分布マップに関連付けられる情報を使用することも可能である。他の実施形態も企図される。

図３を参照すると、例示的実施形態によるインターベンション処置中に採用されることがある機能的及び解剖学的情報の例示的なホログラフィ視覚化が例示的に示されている。この例では、心臓の体積画像３０２が獲得され、画像の他の部分とは異なり、計算空間を減少させるため及び心臓の解剖学的部位を決定するためにセグメント化されることがある。これは、セグメント化された画像３０４を生じる。ブロック３０６で、心臓又は他の解剖学的部位に対して測定又は試験を実施することによって、機能的データ又はデバイスデータが獲得される。例示的実施形態では、心臓又は臓器と対応する電気解剖学的マップ又は他のマップが生成される。マップは、セグメント化された画像３０４に位置合わせされて、ホログラムとして生成及び表示されることがある位置合わせされた画像３１０を提供する。リアルタイムカテーテル３０８のデータは、位置特定技法（形状感知など）を使用して心臓の内部又は周囲から収集されることがある。カテーテル位置又は他の関連のデータ（治療位置など）のデータトレースが、ホログラフィ画像３１２内にレンダリングされることがあり、ホログラフィ画像３１２は、解剖学的データ（例えば、セグメント化されたホログラム）と、デバイスデータ（例えば、カテーテルデータ）との両方を含む。

本開示による別の例示的実施形態は、不完全なデータ（例えば、完全な３Ｄ画像でない投影）の獲得を含む。これは、例えば、フーリエ（周波数）空間内のデータを含むことがあり、断続的又は不完全な画像が獲得される。例えば、周波数領域内でアンダーサンプルされた画像データが収集される。この例示的実施形態によれば、比較的少ない又は減少された量の入力データで、従って、それに伴う比較的少ない又は減少された量の計算処理能力及び／又は時間で、３Ｄホログラフィ画像表示を構成（発生、生成、表示など）することが可能である。獲得されたデータの不完全性、及びどの情報が利用可能でないことがあるかに応じて、得られる３Ｄホログラフィ画像が、（幾分）制限されて構成／表示されてもよくすることが可能である。しかし、そのような例示的実施形態は、リアルタイム又は準リアルタイム動的表示を、かなり少ない放射線被爆（例えば生のＸ線撮像の場合）及び計算オーバーヘッドで実現する助けをすることができ、この利益は、この例示的実施形態に関連付けられる生じ得る制限に鑑みて考慮（例えば、バランス調整、重み付け）される。

図４を参照すると、別の例示的実施形態は、バーチャル器具又は物体をホログラフィディスプレイに入力することを含む。一実施形態では、物体４０２は、バーチャル環境４０４内にデジタル化又は他の様式でレンダリングされて、表示されることがある。物体４０２は、物体データ４０５としてワークステーション１１２内に描写又はロードされることがあり、ディスプレイ１５８内にコード化されることがあり、同時に、ホログラム１２４と共にレンダリングする。物体４０２の静止画像が、ホログラム１２４内に現れることがあり、ホログラム１２４とは別個に（及び／又はディスプレイ１５８上で）操作されることがある。静止画像は、物体４０２とホログラム１２４との間のサイズ比較又は測定のために採用されることがある。

一実施形態では、変換器ボックス４０６が、３Ｄホログラフィディスプレイ１５８への「ビデオレディ(video-ready)」インターフェースを提供するための標準化プロトコルを採用するために含まれることがある。例えば、形状感知技術に関して、変換器ボックス４０６は、各位置特定された器具又は物体４０２（カテーテルやインプラントなど）からのｘ，ｙ，ｚ座標を、ホログラフィディスプレイ１５８によって可読な空間（例えば、ラスタ化／スキャン変換されたボクセル空間、ベクトル空間など）にフォーマットすることができる。これは、図１でのワークステーション１１２を使用して行われ得る。３Ｄフォーマットは、少なくともボクセル（体積に関する）、及びグラフィカル要素／基本形状、例えばメッシュ（バーチャルカテーテルは管として表示され得る）、及び３Ｄ内のライン（測定及びテキストレンダリングを符号化するため）をサポートすべきである。３Ｄフォーマットは、例えば、特定の実験室又は臨床での使用又は用途、他の関連技術との統合、利用可能な資源、環境条件などに基づいて、本開示に従って変更され得る。このビデオ機能を使用して、物体４０２（例えば、器具、医療デバイス、インプラントなどに関するコンピュータ支援設計レンダリング、モデル、スキャンなど）は、ディスプレイ１５８上で又は空気中で、ホログラム１２４に対して独立して操作されることがある。このようにすると、物体４０２は、物体がホログラム１２４の一部の内部に適応しているかどうかなどを判断するために、ホログラム１２４の内部又は周囲に配置され得る。例えば、適応性を視覚的に試験するために、インプラントが血管を通して配置されることがある。また、他のフィードバックが採用されることがあることも企図される。例えば、物体４０２が占有する空間及びその向きを理解することによって、比較モジュールは、ホログラム１２４と物体４０２との干渉を決定することが可能であることがあり、例えば、触覚フィードバックが、インプラントのための空隙形成が可能でないことを示すことができるようにする。他の用途も企図される。

別の例示的実施形態では、図１及び／又は図４のシステム１００が、教育及び／又は訓練ツールとして採用されることがある。例えば、施術者（例えば、外科医、内科医、医療従事者、医師など）は、３Ｄ解剖学的構造を理解し、及び／又は実際の若しくはバーチャルのツール若しくは器具（それぞれ、監視される物体１２８及び／又は物体４０２）の使用を組み込むことによって、実際に処置を行う前に、バーチャルで処置（手術や症例など）を実践することができる。医療従事者／施術者は、例えば、特定の患者の解剖学的構造に適応するかどうか計画するためにインプラントをサイズ調整することによって、外科的症例／処置を実践（バーチャルで実施）することができる。

図１を引き続き参照しながら図５を参照すると、画像生成モジュール１４８によって生成されるホログラム１２４内のバーチャルヘルプモードトリガポイント５０４（又は他の機能）にアクセスするために、追跡される入力デバイス（監視される物体１２８）、例えば、形状感知、電磁追跡、音響追跡、又はマシンビジョンベースの光追跡機能（ＴＯＦカメラ(time-of-flight cameras)又は構造光カメラ(structured light cameras)）を用いて追跡される器具が、ディスプレイ１５８と共に採用されることがある。バーチャルヘルプトリガポイント５０４は、ディスプレイ又はホログラム内部のピクセル領域を含むことがある。例えば、バーチャル器具又は物体４０２を操作するとき、領域又はトリガポイント５０４が選択される（例えば、追跡されるバーチャルツール（４０２）の先端を使用すること（又は監視される物体１２８を使用すること）によってバーチャルで選択及び表示される）ことがあり、それが、画像内のホログラム１２４と自動的に位置合わせされる。

一実施形態では、トリガポイント５０４がホログラム１２４内で選択され、さらなる選択を可能にするためにメニュー５０２又は他の対話空間が開くことがある。例えば、医療従事者／施術者は、患者の（被験者の）臀部の３Ｄ ＣＴ画像を表示するために、トリガポイント５０４をアクティブ化することによって、まず「ＨＩＰ（臀部）」と呼ばれるプログラムを選択し、次いで異なる製造業者からの異なる「ＨＩＰ ＩＭＰＬＡＮＴＳ（臀部インプラント）」を選択して、特定の患者に最も良く適応するインプラントを確認及び「実感」することができる。また、空気中で実際のインプラントを使用（例えば物理的に保持及び操作）して、それを３Ｄホログラフィディスプレイ内に位置決めして、（例えば、そのようなインプラントが特定の患者に適応するかどうか、及びどのくらい良く適応するか）適応性を確認、実感、及び査定することも可能である。

図５は、バーチャルメニュー５０２を示し、バーチャルメニュー５０２は、ステント５０８の選択を可能にするために、ホログラフィディスプレイ１５８又は他のディスプレイ１１８内に提供されることがある。バーチャルメニュー５０２は、ディスプレイ１５８若しくはホログラム１２４を使用して、又はインターフェース１３０を採用することによって呼び出され得る。ステント５０８が選択されると、操作や測定などを可能にするために、バーチャルモデルが、ディスプレイ１５８又はホログラム１２４内にレンダリングされる（図４参照）。

バーチャルメニュー５０２は、位置特定と連係する臨床決定支援、及び、例示的実施形態による例示的なホログラフィユーザインターフェースを提供する。処置中の使用において、形状追跡される器具（１２８）、例えばカテーテルが、対象の解剖学的構造（５０４）にナビゲートされ得て、各領域に関してバーチャルメニュー５０２が自動的にポップアップすることができ、或いは、物体先端をトリガポイント５０４の領域内に配置する又は他の様式でトリガポイント５０４をアクティブ化する（例えばトリガポイント５０４にタッチする）ことによって、トリガポイント５０４がアクティブ化されることがある。インプラント又は他のデバイスが選択されることがあり、これは、次いで、バーチャルホログラフィ空間内で（例えば、ホログラフィディスプレイの内部又は近傍で）デバイスサイズ決定／選択が行われることを可能にするように導入される。

図６を参照すると、別の例示的実施形態によれば、３Ｄホログラフィディスプレイ１５８又はホログラム１２４は、患者内のデバイス６０２と対話するために手術中に採用されることがある。マスタ／スレーブ構成によるロボット工学機構が使用され得て、ディスプレイ１５８内部で移動するデバイス６０２の形状感知される対応物６０４が、ターゲット領域６０６内部での実際のデバイス６０２の運動をアクティブ化させるために採用される。例えば、３Ｄホログラフィディスプレイ内で形状感知デバイス６０８及び形状感知システム６１４を使用して内科医の手を追跡することによって、センサベース及び／又は声ベースの技法によって、施術者（外科医や内科医など）の手６１０又は声が追跡され得る。従って、ホログラフィディスプレイ１５８内で行われる施術者の動き（例えば、施術者の手の位置（の変更）や向きなどを含む）は、デバイス６０２、例えば患者内のロボット６１２（例えば、ロボット工学的に制御された器具）に送信され、そのような動きを患者の体内で複製し、それにより、実際の手術、処置、又はタスクを患者の体内で行うことができる。従って、外科医は、臓器の３Ｄホログラフィディスプレイを見て、触れて、感じて、それに対して処置を行い（すなわち３Ｄホログラフィディスプレイ内で）、器具、例えばロボット工学的に制御された器具によってそのような処置が実際の臓器に対して患者内で行われるようにし、又は単にそのような器具を動かすことができる。

内科医の動きは、センサ６０８（及び／又はデバイス６０４内のセンサ）を使用して感知信号を生成し、これらの感知信号は、ロボット又は他のデバイス６０２を制御するためのシステム１００によって信号を制御するように適合される。信号は、必要又は望みであれば、実行を遅延させるために、メモリ（１１６）内に記憶されることもある。実際の処置は、リアルタイム（又は準リアルタイム）で行われることがあり、例えば、ロボット６１２は、３Ｄホログラフィディスプレイ１５８内部での外科医の実技と同時に、患者の体内で特定の運動を行う。実際の処置は、外科医が特定のタスク／動き（又は一連のタスク又は動き）を完了した後、及び／又はロボットが処置に取り掛かるべきであることを外科医が確認した後（例えば、特定の所定の基準及び／又は処置の節目に達した後）（でのみ）、例えばロボットによって行われることがある。（例えば、３Ｄホログラフィディスプレイ内部でのタスク又は動きのバーチャル実技と、患者の体内での実際の実技との間の）そのような遅延は、ロボット６１２によって患者の体内１５０で実際に行われる前に、３Ｄホログラフィディスプレイ１５８内でバーチャルで行われた後に動き／タスクを確認する機会を外科医に与えることによって、任意の動き／タスクが患者内部で不正確に行われるのを防止するのを助けることができ、各そのような動き／タスクが正確にかつ精密に行われることを保証する。

さらに、施術者は、３Ｄホログラフィディスプレイ１５８内でバーチャルで行われた特定の動き／タスクを、（何らかの理由で）そのような動き又はタスクに満足しなかった場合にはやり直すことを選択することがある。従って、例えば、外科医は、３Ｄホログラフィディスプレイ内での動き又はタスクをバーチャルで行ったときに、故意にではなく任意の特定の方向に動きすぎた場合に、そのようなバーチャルの動き又はタスクを、それが正確に実施されるまで（望まれる又は必要な回数だけ）やり直すことを選択することがある。その後、実際の動き又はタスクが、患者の内部でロボットによって実施され得て、ターゲット又は療法器具の変更に関してオンザフライで（例えば、動的に、連続的に、リアルタイムで）調節するためにタスクの動的適合機能を伴うことも、伴わないこともある。

図７を参照すると、別の例示的実施形態が、触覚フィードバックを含み、触覚フィードバックは、空気中で振動を発生させるために例えば超音波を使用することによって組み込まれ得る。触覚デバイス７１０は、多くの形態を取ることがある。一実施形態では、１組の超音波プローブ７０２が、３Ｄホログラフィディスプレイ７０４に向けてカスタマイズされた波を送信するために使用され得て、３Ｄホログラフィディスプレイ７０４によって表示及び表現される構造の感触をユーザ（例えば施術者）に与える。例えば、そのような波は、骨構造の固い又は堅い材料を表現するように調整又はカスタマイズされ得て、一方、肝臓及び／又は血管などの他の組織は、それに従って調整又は構成された波によって、比較的柔らかい「感触」で表現され得る。そのような符号化は、例えば、触覚デバイス７１０によって観察者に与えられる励振の周波数、振幅、位相の変調、又は他の時空間変調によって実現され得る。

別の実施形態では、触覚フィードバックデバイス７１０は、例えば、施術者によって行われる動き又はタスクに応答して、特定の構造又は組織の物理的抵抗を表現するために採用されることがある。従って、例えば、外科医７１４が、触覚フィードバックを使用して３Ｄホログラフィディスプレイ７０４内部でタスクをバーチャルで行うとき、そのようなタスクは、外科医が患者の体内でタスクを実際に実施しているかのように外科医によって感じられることが可能である。これは、触覚デバイス７１２、例えば、アクチュエータ又は他の振動要素を有するグローブ、ブレスレット、又は他の装飾品若しくはアクセサリを使用して実現され得る。

１つの例示的実施形態によれば、例示的な３Ｄホログラフィディスプレイ１５８は、（実質的に）任意の角度から見られ得て、例えば、それにより、全てのユーザが同じ理解及び情報で対話することができる。これは、空気中ホログラムに関する場合である。しかし、他のディスプレイ技法が、同一のビューを複数の個人に提供するために採用されることがある。

図８を参照すると、同じ又は異なる情報を幾何学的構造８０２、例えば多面ホログラフィディスプレイ上に（ホログラフィにより）表示することによって、部屋又は領域内にいる異なるユーザに表示情報が提供されることがあり、ここで、ディスプレイ（例えば、立方体又は多面体）の各面が情報を表示する。これは、複数の２Ｄビデオストリーム８０４を、ホログラフィ出力８０６内部にレンダリングされた幾何学的構造８０２に（例えば、並べて又は部分的に重畳して）投影することによって実現され得る。例えば、３Ｄでのホログラフィ「立方体」ディスプレイは、立方体の一面で、１つの特定の方向（例えば第１の施術者８０８の方向）に情報（例えば２Ｄの生のＸ線画像）を示す／表示することができ、同じ「立方体」ディスプレイの別の立方体面は、部屋内の別の場所（例えば、第１の施術者からディスプレイを挟んで直径方向）にいる第２の施術者８１０に別のタイプの情報（例えば超音波画像）を示す／表示することができる。

本明細書で提供される教示に鑑みて、そのような例示的なディスプレイが、例えば部屋内のユーザの数に応じて任意に構成され得ることを当業者は理解されよう。また、各ユーザ／施術者の（部屋内での）位置が、（部屋内で）追跡され得て、各個人の表示情報が、（例えば処置中に）ユーザが移動するときに各ユーザの視覚観点を追い駆けることも可能である。例えば、１人の特定のユーザ（医師や看護婦など）が、処置中に部屋内でそのような特定のユーザが移動するかどうかに関係なく、そのユーザが必要とする特定の情報を提供され得る。さらに、各ユーザが、一意のディスプレイを提供され、このディスプレイは、上述したように２Ｄ立方体面でよく、又はそのようなユーザのためにカスタマイズ又は調整された３Ｄホログラフィディスプレイでよく、そのような一意のディスプレイが、ユーザが部屋内を移動するときにユーザを「追い駆ける」ことができることも可能である。

本明細書で述べられるこの例示的実施形態及び他の例示的実施形態によるディスプレイの複数の組合せが可能であり、例えば、各ユーザが、自分の一意のディスプレイを有し、部屋内又は他の場所（例えば、部屋の外やオフサイトなど）でのユーザの移動及び位置に関係なく、他のユーザと同じ情報を提示される。さらに、ユーザは、例えば、所定のテンプレートから選択する、特定の情報フィールドを選択する、又は特定の別のユーザのディスプレイを選択することによって、どの情報がユーザに表示されるかを始めに選択し、処置中の任意の時点で変更することがある。

テキストは、本来的に２Ｄ通信モードであることに留意されたい。システムは、複数の視点から識別可能な形状／シンボルを表示することがあり、又は閲覧者に向けられたテキストを表現することもある。複数の閲覧者の場合、向けられるテキストは、複数の方向に同時に示されることがあり、又はそれぞれに個別に異なるフレームで示されることもある。

図９を参照すると、別の例示的実施形態では、遠隔システム９００が、システム１００（図１）の機能の少なくとも幾つかを含むことがあるが、患者９０２及びデータ収集機器に対して遠隔に配設される。ユーザ（施術者、外科医、医療従事者など）は、遠隔で処置を行う（例えば、ユーザが、被験者／患者９０２が位置される位置から物理的にオフサイトに位置される）、又は遠隔で処置を支援する、若しくは処置に対する指導を提供することがある。例えば、ユーザは、自分のいる場所に位置された例示的なホログラフィディスプレイ９０４上で処置／タスクを行うことができる。一実施形態では、ディスプレイ９０４は、患者９０２と同じ場所に位置されたシステム１００に（例えばインターネット又は他の（有線若しくは無線）ネットワーク９１０を介して）接続される。システム１００は、遠隔システム９００（例えば、ユーザが位置される場所）と連続的に通信することができ、それにより、ホログラフィディスプレイ９０４は、（準）リアルタイムで連続的に更新される。さらに、システム１００は、（例えば患者の内部の）ロボット工学的に制御された器具９０６を含むことがあり、器具９０６は、上述したように、遠隔システム９００によって（例えばインターネットを介して）提供されるコマンドによって制御される。これらのコマンドは、ホログラフィディスプレイ９０４とのユーザの対話に基づいて生成される。ホログラフィディスプレイ１５８及び９０４は、１つ又は複数の位置で同じ対象物を含むことがあり、それにより、同じ情報が各位置に伝達される。例えば、この実施形態は、例えば、世界中の別の医師への指導又は支援の提供、ピアツーピアでの検討、専門的支援、又はバーチャル教室（多くの生徒が、世界中の異なる場所から生の症例に参加することができる）を含むことがある。

本明細書で述べられる例示的実施形態及び特徴の幾つか又は全ては、（少なくとも一部）本明細書で述べられる任意の他の実施形態と共に、又は組み合わせて使用されることもできる。

図１０を参照すると、ホログラフィディスプレイと対話するための方法が、例示的実施形態に従って示される。ブロック１００２で、ホログラフィ式にレンダリングされた解剖学的画像が生成されて表示される。画像は、１つ又は複数の臓器又は解剖学的領域を含むことがある。ホログラフィ式にレンダリングされた解剖学的画像は、空気中で生成されることがある。

ブロック１００４で、対話のための領域を画定するために、監視される空間が、ホログラフィ式にレンダリングされた解剖学的画像の上又は周囲で位置特定される。位置特定システムは、光ファイバ形状感知システム、電磁追跡システム、光センサアレイ、及び／又は他の感知モダリティの１つ又は複数を含むことがある。監視される空間と、１つ又は複数の監視される物体との位置及び向きは、好ましくは、同じ座標系内で決定される。１つ又は複数の監視される物体は、医療器具、ユーザの解剖学的部位、バーチャル物体などを含むことがある。

ブロック１００６で、１つ又は複数の監視される物体の位置及び向きが、位置特定システムによって監視される。ブロック１００８で、監視される空間と１つ又は複数の監視される物体との間で、空間点の合致が決定される。ブロック１０１０で、合致が決定された場合、ホログラフィ式にレンダリングされた解剖学的画像内で応答がトリガされる。ブロック１０１２で、応答は、ホログラフィ式にレンダリングされた解剖学的画像を動かすこと（例えば６ＤＯＦ）、又はその外観を変更することを含むことがある。ブロック１０１４で、応答は、ホログラフィ式にレンダリングされた解剖学的画像のズーム（倍率）又は他の光学的特性を調節することを含むことがある。ブロック１０１６で、ホログラフィ式にレンダリングされた解剖学的画像が、例えば、マーク付け、タグ付け、ターゲット指定されることがある。ブロック１０１８で、（他の閲覧者又はディスプレイのために）カメラ視点が割り当てられ得る。ブロック１０２０で、ユーザにフィードバックが生成されることがある。フィードバックは、触覚フィードバック（振動デバイス又は空気）、光フィードバック（視覚又は色の相違）、音響フィードバック（言語、アラーム）などを含むことがある。

ブロック１０２２で、応答領域が提供され、位置特定システムによって監視されることがあり、それにより、応答領域のアクティブ化後、表示イベントが生じる。表示イベントは、ブロック１０２４で、ヘルプメニューを生成すること、ブロック１０２６で、選択後に、ホログラフィ式にレンダリングされた解剖学的画像内に含まれるべきバーチャル物体のメニューを生成すること、及びブロック１０２８で、表示されるべき情報を生成することを含むことがある。

ブロック１０３０で、ホログラフィ式にレンダリングされた解剖学的画像は、ホログラフィ式にレンダリングされた解剖学的画像上の位置にマッピングされた重畳された医療データと共に生成されることがある。ブロック１０３２で、トリガされる応答は、ロボット工学的に制御される器具を操作するための制御信号を生成することを含むことがある。制御信号は、遠隔操作が行われることを可能にすることがある。

添付の特許請求の範囲を解釈する際、以下のことが理解されるべきである。
ａ）用語「備える」は、所与の請求項に列挙されたもの以外の要素又は作用の存在を除外しない。
ｂ）要素に先行する用語「１つの」は、複数のそのような要素の存在を除外しない。
ｃ）特許請求の範囲内の任意の参照符号は、特許請求の範囲の範囲を制限しない。
ｄ）複数の「手段」が、同じアイテム又はハードウェア若しくはソフトウェア実装構造若しくは機能によって表されることがある。
ｅ）作用の特定の順序は、特に明記しない限り、必ずそうでなければならないとは意図されない。

医療処置のためのホログラフィユーザインターフェースに関する好ましい実施形態（これらは、例示的であり、限定的ではないと意図される）を述べてきたが、上記の教示に鑑みて当業者によって修正及び変形が施され得ることに留意されたい。従って、添付の特許請求の範囲によって記載されるように、開示される本開示の特定の実施形態に、本明細書で開示される実施形態の範囲内にある変更が施されることがあることが理解されるべきである。以上、特許法によって要求される詳細及び細目を述べてきたが、特許請求され、特許証によって保護されることが望まれる範囲は、添付の特許請求の範囲に記載される。

Claims (36)

1. ホログラフィ式にレンダリングされた解剖学的画像を表示するホログラフィ生成モジュールと、
   前記ホログラフィ式にレンダリングされた解剖学的画像の上又は周囲に、監視される空間を画定する位置特定システムと、
   前記位置特定システムによって位置及び向きを監視される１つ又は複数の監視される物体とを備え、これにより、前記監視される空間と前記１つ又は複数の監視される物体との間の空間点の合致が、前記ホログラフィ式にレンダリングされた解剖学的画像での応答をトリガする、
   対話型ホログラフィディスプレイシステム。
2. 前記ホログラフィ式にレンダリングされた解剖学的画像が、空気中で生成される、請求項１に記載のシステム。
3. 前記位置特定システムが、前記監視される空間と前記１つ又は複数の監視される物体との前記位置及び向きを同じ座標系内で決定するために、光ファイバ形状感知システム、電磁追跡システム、光センサアレイ、及び感知デバイスの１つ又は複数を含む、請求項１に記載のシステム。
4. 前記１つ又は複数の監視される物体が、医療器具、ユーザの解剖学的部位、及びバーチャル物体を含む、請求項１に記載のシステム。
5. 前記ホログラフィ式にレンダリングされた解剖学的画像での前記応答が、前記ホログラフィ式にレンダリングされた解剖学的画像の並進又は回転、前記ホログラフィ式にレンダリングされた解剖学的画像の倍率調節、前記ホログラフィ式にレンダリングされた解剖学的画像のマーク付け、及びフィードバック生成の１つ又は複数を含む、請求項１に記載のシステム。
6. 前記応答が、ユーザへの触覚フィードバックを含む、請求項５に記載のシステム。
7. 前記ホログラフィ式にレンダリングされた解剖学的画像が、前記位置特定システムによって監視される応答領域を含み、それにより、前記応答領域のアクティブ化後、表示イベントが生じる、請求項１に記載のシステム。
8. 前記表示イベントが、ヘルプメニューの生成、選択時に前記ホログラフィ式にレンダリングされた解剖学的画像内に含まれるべきバーチャル物体のメニューの生成、及び情報表示の生成を含む、請求項７に記載のシステム。
9. 前記ホログラフィ式にレンダリングされた解剖学的画像が、前記ホログラフィ式にレンダリングされた解剖学的画像上の位置にマッピングされた重畳された医療データを表示する、請求項１に記載のシステム。
10. 前記ホログラフィ式にレンダリングされた解剖学的画像での前記応答が、ロボット工学的に制御された器具を操作するための制御信号を生成する、請求項１に記載のシステム。
11. 前記ホログラフィ式にレンダリングされた解剖学的画像での前記応答が、追加の表示のためにバーチャルカメラ角度を方向付けるように配置されたシードポイントを含む、請求項１に記載のシステム。
12. 前記対話型ホログラフィディスプレイシステムが、前記患者位置から遠隔に配設され、通信ネットワークを介して前記患者位置に接続される、請求項１に記載のシステム。
13. 前記対話型ホログラフィディスプレイシステムが、前記患者位置から遠隔に配設され、通信ネットワークを介して前記患者位置に接続され、それにより、前記ホログラフィ式にレンダリングされた解剖学的画像が、前記患者の位置にある器具を遠隔で制御するように採用される、請求項１に記載のシステム。
14. さらに、前記ホログラフィ式にレンダリングされた解剖学的画像の外観を変えるためのコマンドに音声コマンドを変換する音声認識エンジンを備える、請求項１に記載のシステム。
15. 処理装置と、
    前記処理装置に結合されたメモリと、
    前記メモリ内に含まれ、ホログラフィ式にレンダリングされた解剖学的画像を、空気中ホログラムとして表示する、又はホログラフィディスプレイ上に表示するホログラフィ生成モジュールと、
    前記ホログラフィ式にレンダリングされた解剖学的画像の上又は周囲に、監視される空間を画定する位置特定システムと、
    前記位置特定システムによって位置及び向きを監視される１つ又は複数の監視される物体とを備え、これにより、監視される空間と前記１つ又は複数の監視される物体との間の空間点の合致が、前記ホログラフィ式にレンダリングされた解剖学的画像での応答をトリガし、前記ホログラフィ式にレンダリングされた解剖学的画像での前記応答が、前記ホログラフィ式にレンダリングされた解剖学的画像の並進又は回転、前記ホログラフィ式にレンダリングされた解剖学的画像の倍率調節、前記ホログラフィ式にレンダリングされた解剖学的画像のマーク付け、及びフィードバック生成の１つ又は複数を含む、
    対話型ホログラフィディスプレイシステム。
16. 前記位置特定システムが、前記監視される空間と前記１つ又は複数の監視される物体との前記位置及び向きを同じ座標系内で決定するために、光ファイバ形状感知システム、電磁追跡システム、光センサアレイ、及び感知デバイスの１つ又は複数を含む、請求項１５に記載のシステム。
17. 前記１つ又は複数の監視される物体が、医療器具、ユーザの解剖学的部位、及びバーチャル物体を含む、請求項１５に記載のシステム。
18. 前記応答が、ユーザへの触覚フィードバックを含む、請求項１５に記載のシステム。
19. 前記ホログラフィ式にレンダリングされた解剖学的画像が、前記位置特定システムによって監視される応答領域を含み、これにより、前記応答領域のアクティブ化後、表示イベントが生じる請求項１５に記載のシステム。
20. 前記表示イベントが、ヘルプメニューの生成、選択時に前記ホログラフィ式にレンダリングされた解剖学的画像内に含まれるべきバーチャル物体のメニューの生成、及び情報表示の生成を含む、請求項１９に記載のシステム。
21. 前記ホログラフィ式にレンダリングされた解剖学的画像が、前記ホログラフィ式にレンダリングされた解剖学的画像上の位置にマッピングされた重畳された医療データを表示する、請求項１５に記載のシステム。
22. 前記ホログラフィ式にレンダリングされた解剖学的画像での前記応答が、ロボット工学的に制御された器具を操作するための制御信号を生成する、請求項１５に記載のシステム。
23. 前記ホログラフィ式にレンダリングされた解剖学的画像での前記応答が、追加の表示のためにバーチャルカメラ角度を方向付けるように配置されたシードポイントを含む、請求項１５に記載のシステム。
24. 前記対話型ホログラフィディスプレイシステムが、前記患者位置から遠隔に配設され、通信ネットワークを介して前記患者位置に接続される、請求項１５に記載のシステム。
25. 前記対話型ホログラフィディスプレイシステムが、患者位置から遠隔に配設され、通信ネットワークを介して前記患者位置に接続され、これにより、前記ホログラフィ式にレンダリングされた解剖学的画像が、前記患者の位置にある器具を遠隔で制御するように採用される、請求項１５に記載のシステム。
26. さらに、前記ホログラフィ式にレンダリングされた解剖学的画像の外観を変えるためのコマンドに音声コマンドを変換する音声認識エンジンを備える、請求項１５に記載のシステム。
27. ホログラフィディスプレイと対話するための方法であって、
    ホログラフィ式にレンダリングされた解剖学的画像を表示するステップと、
    対話のための領域を画定するために、監視される空間を、前記ホログラフィ式にレンダリングされた解剖学的画像の上又は周囲で位置特定するステップと、
    前記位置特定システムによって１つ又は複数の監視される物体の位置及び向きを監視するステップと、
    監視される空間と１つ又は複数の監視される物体との間で空間点の合致を決定するステップと、
    合致が決定された場合、前記ホログラフィ式にレンダリングされた解剖学的画像での応答をトリガするステップと
    を含む、方法。
28. 表示するステップが、前記ホログラフィ式にレンダリングされた解剖学的画像を空気中で生成するステップを含む、請求項２７に記載の方法。
29. 前記位置特定システムが、光ファイバ形状感知システム、電磁追跡システム、光センサアレイ、及びセンサデバイスの１つ又は複数を含み、前記方法が、さらに、前記監視される空間と前記１つ又は複数の監視される物体との前記位置及び向きを同じ座標系内で決定するステップを含む、請求項２７に記載の方法。
30. 前記１つ又は複数の監視される物体が、医療器具、ユーザの解剖学的部位、及びバーチャル物体を含む、請求項２７に記載の方法。
31. 応答をトリガするステップが、前記ホログラフィ式にレンダリングされた解剖学的画像を動かすステップ、前記ホログラフィ式にレンダリングされた解剖学的画像のズームを調節するステップ、前記ホログラフィ式にレンダリングされた解剖学的画像にマークを付けるステップ、及びユーザにフィードバックを生成するステップの１つ又は複数を含む、請求項２７に記載の方法。
32. フィードバックを生成するステップが、ユーザに対する触覚フィードバックを生成するステップを含む、請求項３１に記載の方法。
33. 前記ホログラフィ式にレンダリングされた解剖学的画像が、前記位置特定システムによって監視される応答領域を含み、それにより、前記応答領域のアクティブ化後、表示イベントが生じる、請求項２７に記載の方法。
34. 前記表示イベントが、ヘルプメニューを生成すること、選択時に前記ホログラフィ式にレンダリングされた解剖学的画像内に含まれるべきバーチャル物体のメニューを生成すること、及び表示すべき情報を生成することを含む、請求項３３に記載の方法。
35. さらに、前記ホログラフィ式にレンダリングされた解剖学的画像を、前記ホログラフィ式にレンダリングされた解剖学的画像上の位置にマッピングされた重畳された医療データと共にレンダリングするステップを含む、請求項２７に記載の方法。
36. さらに、ロボット工学的に制御された器具を操作するための制御信号を生成するステップを含む、請求項２７に記載の方法。