JP2017524281A - 媒介現実の外科用視覚化のためのシステム及び方法 - Google Patents

Abstract

本技術は、全般的に、媒介現実の外科用視覚化のためのシステム及び方法に関する。媒介現実の外科用視覚化システムは、ユーザの頭部に載置するように構成されるフレームを備える不透明なヘッドマウントディスプレイアセンブリと、フレームに連結される画像取り込みデバイスと、フレームに連結される表示デバイスと、ユーザに向かって画像を表示するように構成される、表示デバイスとを含む。表示デバイス及び画像取り込みデバイスと通信しているコンピューティングデバイスは、画像取り込みデバイスから画像データを受信し、表示デバイスを介して画像データから画像を提示するように構成される。

Description

関連出願の相互参照
本出願は、２０１４年５月２０日に出願された米国仮特許出願第６２／０００，９００号の利益を主張するものであり、参照によりその全体が本明細書に組み込まれる。

本技術は、全般的に、媒介現実の外科用視覚化及び関連するシステム及び方法に関する。具体的には、いくつかの実施形態は、外科用応用において使用するための、着用者に出力される媒介現実を提供するように構成されるヘッドマウントディスプレイを対象とする。

外科用ルーペの歴史は、１８７６年までさかのぼる。外科用ルーペは、神経外科、形成外科、心臓外科、整形外科、及び微小血管外科において共通して使用される。外科医と患者との間の相互作用の実質的にあらゆる点での革命的な変化にもかかわらず、外科用の視覚的支援は、その始まりから殆ど変わらないままである。例えば、従来の外科用ルーペは、眼鏡のレンズの中に載置され、また、外科医の矯正視力、瞳孔間の距離、及び所望の焦点距離を考慮して、個々の外科医に対してカスタムメイドされる。従来の外科用ルーペの最も重要な機能は、手術野を拡大する能力、及び別の場合に起こり得るよりも高いレベルの精度での操作を外科医が行えるようにする能力である。

従来の外科用ルーペは、数多くの欠点を有する。この外科用ルーペは、外科医の矯正視力要件及び瞳孔間距離に基づいて、個々の外科医に対してカスタマイズされるので、外科医の間で共有することができない。従来の外科用ルーペはまた、単一の拡大レベルに制限され、外科医が、自分の行動の全てをその拡大レベルに適応することを、またはしばしばルーペの「外側」に目を向けることを強制し、その場合は、拡大が役に立たないか、または有害になることさえある。従来のルーペは、非常に浅い被写界深度の範囲内でだけしか鮮明な画像を提供せず、更には、提供する視野も比較的狭い。別の問題は、従来の外科用ルーペのかさばった構造による死角である。

統合された撮像デバイスを有するヘッドマウントディスプレイアセンブリの正面斜視図である。 図１Ａのヘッドマウントディスプレイの背面斜視図である。 本技術の一実施形態に従って構成される媒介現実の外科用視覚化システムの概略図である。 手術中の媒介現実の外科用視覚化システムを例示する図である。 本技術の一実施形態に従って媒介現実の外科用視覚化システムにおいて使用するように構成される、プレノプティックカメラの概略図である。 本技術の一実施形態に従って媒介現実の外科用視覚化システムにおいて使用するように構成される、プレノプティックカメラの概略図である。 本技術の一実施形態に従って媒介現実の外科用視覚化システムにおいて使用するように構成される、プレノプティックカメラの概略図である。 本技術の一実施形態に従って媒介現実の外科用視覚化システムにおいて使用するように構成される、プレノプティックカメラの概略図である。 本技術の一実施形態に従って媒介現実の外科用視覚化システムにおいて使用するように構成される、プレノプティックカメラの概略図である。 本技術の一実施形態に従って媒介現実の外科用視覚化システムにおいて使用するように構成される、プレノプティックカメラの概略図である。 本技術の一実施形態に従って媒介現実の外科用視覚化システムにおいて使用するように構成される、プレノプティックカメラの概略図である。 本技術の一実施形態に従って媒介現実の外科用視覚化システムにおいて使用するように構成される、プレノプティックカメラの概略図である。 本技術の一実施形態に従って媒介現実の外科用視覚化システムにおいて使用するように構成される、プレノプティックカメラの概略図である。 本技術の一実施形態による、外科用視覚化のための媒介現実ディスプレイを提供するための方法のブロック図である。

本技術は、媒介現実の外科用視覚化を提供するためのシステム及び方法を対象とする。一実施形態において、例えば、ヘッドマウントディスプレイアセンブリは、該アセンブリを着用しているユーザに３次元画像を表示するように構成される、立体表示デバイスを含むことができる。撮像デバイスを、ヘッドマウントディスプレイアセンブリに連結し、ユーザに表示するべき画像を取り込むように構成することができる。他の撮像装置からの追加的な画像データを、ディスプレイに組み込むか、または合成することができる。本明細書で使用するとき、「媒介現実」という用語は、着用可能なディスプレイの使用を通して現実の知覚を加える、減じる、または別様には操作する能力を指す。「媒介現実」の表示は、少なくとも「仮想現実」、並びに「拡張現実」タイプの表示を含む。

本技術のいくつかの実施形態の特定の詳細は、図１Ａ〜図５を参照して下で説明される。実施形態の多くは、複数の媒介現実の外科用視覚化を管理するためのデバイス、システム、及び方法に関して下で説明されるが、他の実施形態は、本技術の範囲内である。加えて、本技術の他の実施形態は、本明細書で説明される実施形態とは異なる構成、構成要素、及び／または手順を有することができる。例えば、他の実施形態は、本明細書で説明される要素及び特徴を超えて追加的な要素及び特徴を含むことができ、または他の実施形態は、本明細書で示され、説明される要素及び特徴のうちのいくつかを含まない場合がある。一実施例として、下で説明されるいくつかの実施形態は、プレノプティックカメラを使用して画像を取り込む。例えば、多数の従来のＣＣＤまたは他のデジタルカメラを使用する、他の手法が考えられる。

参照し易くするために、この開示の全体を通して、同様のまたは類似する構成要素または特徴を識別するために同じ参照番号が使用されるが、同じ参照番号の使用は、その部品が同一であると解釈しなければならないことを意味するものではない。実際に、本明細書で説明される多くの実施例において、同じ番号が付された部品は、構造及び／または機能が異なる。

媒介現実の外科的視覚化システムの選択された実施形態
図１Ａ及び１Ｂは、それぞれ、統合された撮像デバイス１０１を有するヘッドマウントディスプレイアセンブリ１００の、正面斜視図及び背面斜視図である。アセンブリ１００は、前方表面１０５及び前方表面１０５に対向する後方表面１０７を有する、フレーム１０３を備える。撮像デバイス１０１は、前方表面１０５の上に配置され、前方に面している。表示デバイス１０９は、後方表面１０７の上に配置され、後方表面１０７から離れて外方に（及び撮像デバイス１０１に対向する方向に）配置される。アセンブリ１００は、全般的に、ユーザの頭部（図示せず）の上に、特にユーザの眼の上に着用するように構成され、よって、表示デバイス１０９は、ユーザの眼に向かって画像を表示する。

例示される実施形態において、フレーム１０３は、全般的に、標準的な眼鏡に類似するように形成され、ブリッジ部及び着用者の耳まで後方に延在するつる部によって接合される。他の実施形態において、フレーム１０３は、他の形態とすることができ、例えば、つるをストラップと置き換えることができ、または、いくつかの実施形態では、アセンブリ１００を着用者の頭部に載置するために部分的なヘルメットを使用することができる。フレーム１０３は、右眼部分１０４ａ及び左眼部分１０４ｂを含む。ユーザが着用したときに、右眼部分１０４ａは、全般的に、ユーザの右眼の上に位置付けられるように構成され、一方で、左眼部分１０４ｂは、全般的に、ユーザの左眼の上に位置付けられるように構成される。アセンブリ１００は、全般的に、不透明とすることができ、よって、アセンブリ１００を着用しているユーザは、フレーム１０３を通して見ることができない。しかしながら、他の実施形態において、アセンブリ１００は、透明または半透明とすることができ、よって、ユーザは、アセンブリ１００を着用している間、フレーム１０３を通して見ることができる。アセンブリ１００は、ユーザの標準的な眼鏡の上に着用するように構成することができる。アセンブリ１００は、外科手術室において眼を保護するためのＯＳＨＡ規制を満たすように、強化ガラスまたは他の十分頑丈な材料を含むことができる。

撮像デバイス１０１は、第１の撮像装置１１３ａ及び第２の撮像装置１１３ｂを含む。第１の撮像装置１１３ａ及び第２の撮像装置１１３ｂは、例えば、ＣＣＤまたはＣＭＯＳ画像センサ及び関連する光学系などの、デジタルビデオカメラとすることができる。いくつかの実施形態において、各撮像装置１１３ａ〜ｂは、異なる光学系（例えば、異なる拡大率）を有するカメラのアレイを含むことができる。ユーザの所望の視聴パラメータに基づくアクティブな視聴のために、特定のカメラのアレイを選択することができる。いくつかの実施形態において、別個のカメラ自体によって提供されるズームレベルの間の中間的なズームレベルを計算することができる。例えば、４．０のズームレベルが所望される場合は、このレベルの倍率を有する新しくより小さい画像を提供するために、倍率４．６のカメラから取り込まれる画像をダウンサンプリングすることができる。しかしながら、この時点で、この画像は、カメラの視野全体を埋めない場合がある。より低い倍率のカメラからの画像（例えば、倍率３．３の画像）は、より幅の広い視野を有し、また、所望の倍率４．０の画像の外側部分を埋めるために、アップサンプリングすることができる。別の実施形態において、第１のカメラ（倍率３．３のカメラなど）からの特徴は、第２のカメラ（例えば、倍率４．６のカメラ）からの特徴とマッチングさせることができる。マッチングを行うために、ＳＩＦＴまたはＳＵＲＦなどの特徴を使用することができる。マッチングさせた異なる画像からの特徴によって、異なるレベルの倍率で取り込まれる異なる画像を、より効果的に、かつ歪み及び誤差の導入がより少ない様式で組み合わせることができる。別の実施形態において、各カメラは、画像センサと主レンズとの間にレンズレットアレイを装備することができる。このレンズレットアレイは、異なる焦点平面及び異なる視点（視差）を有する画像を計算することができる、「光照射野」を取り込むことを可能にする。光照射野の視差調整技法を使用することで、様々なカメラの間の画像の視点を補償することができ、よって、ズームレベルが変化したときに、視点は変化しない。別の実施形態では、低い重量及び容積で高い倍率を提供するために、いわゆる「折り紙レンズ」または環状折り畳み光学系を使用することができる。

いくつかの実施形態において、第１の撮像装置１１３ａ及び第２の撮像装置１１３ｂは、１つ以上のプレノプティックカメラ（光照射野カメラとも称される）を含むことができる。例えば、倍率の大きさが異なる複数のレンズの代わりに、プレノプティックカメラを単独で各撮像装置に対して使用することができる。第１の撮像装置１１３ａ及び第２の撮像装置１１３ｂは、それぞれ、単一のプレノプティックカメラ、レンズ、レンズレットアレイ、及び画像センサを含むことができる。光照射野を適切にサンプリングすることによって、様々な倍率の大きさを有する画像を抽出することができる。いくつかの実施形態では、プレノプティックカメラ内から２つの別個の撮像装置をシミュレーションするために、単一のプレノプティックカメラを利用することができる。プレノプティックカメラの使用は、図４Ａ〜Ｉに関して下で更に詳細に説明される。

第１の撮像装置１１３ａは、フレーム１０３の右眼部分１０４ａの上に配置され、一方で、第２の撮像装置１１３ｂは、フレーム１０３の左眼部分１０４ｂの上に配置される。第１の撮像装置１１３ａ及び第２の撮像装置１１３ｂは、前方へ配向され、よって、アセンブリ１００をユーザが着用したときに、第１の撮像装置１１３ａ及び第２の撮像装置１１３ｂは、ユーザの自然な視野で映像を取り込むことができる。例えば、アセンブリ１００を着用したときのユーザの頭部の位置を想定すると、該ユーザは、自分の眼がまっすぐ前方を見ているときに、自然とある特定の視野を有することになる。第１の撮像装置１１３ａ及び第２の撮像装置１１３ｂは、ユーザがアセンブリ１００を装着したときに、この視野または類似する視野を取り込むように配向することができる。他の実施形態において、第１の撮像装置１１３ａ及び第２の撮像装置１１３ｂは、修正した視野を取り込むように配向することができる。例えば、アセンブリ１００を着用しているユーザが中立位置で静止しているときに、撮像装置１１３ａ〜ｂは、下方に配向された視野を取り込むように構成することができる。

第１の撮像装置１１３ａ及び第２の撮像装置１１３ｂは、それぞれ、第１の制御電子部品１１５ａ及び第２の制御電子回路１１５ｂに電気的に連結することができる。制御電子部品１１５ａ〜ｂは、例えば、第１の撮像装置１１３ａ及び第２の撮像装置１１３ｂからデータ出力を受信し、該撮像装置に制御入力を提供するためのマイクロプロセッサチップまたは他の適切な電子部品を含むことができる。制御電子部品１１５ａ〜ｂはまた、図２に関して下でより詳細に説明されるように、他の構成要素とのネットワークを通じた有線または無線通信を提供するようにも構成することができる。例示される実施形態において、制御電子部品１１５ａ〜ｂは、フレーム１０３に連結される。しかしながら、他の実施形態において、制御電子部品１１５ａ〜ｂは、単一の構成要素またはチップに統合することができ、いくつかの実施形態において、制御電子部品１１５ａ〜ｂは、フレーム１０３に物理的に取り付けられない。制御電子部品１１５ａ〜ｂは、それぞれの撮像装置１１３ａ〜ｂからデータ出力を受信するように構成することができ、また、（例えば、撮像を開始するために、物理的ズームを制御するために、自動焦点のために、及び／または統合した光源を動作させるために）撮像装置１１３ａ〜ｂの動作を制御するようにも構成することができる。いくつかの実施形態において、制御電子部品１１５ａ〜ｂは、例えば、デジタルズームを提供するために、自動焦点のために、及び飽和度、ブライトネスなどの画像パラメータを調整するために、撮像装置１１３ａ〜ｂからのデータ出力を処理するように構成することができる。他の実施形態において、画像処理は、外部デバイス上で行い、有線または無線通信リンクを介して制御電子部品１１５ａ〜に通信することができる。下でより詳細に説明されるように、撮像装置１１３ａ〜ｂからの出力は、既存の画像（例えば、Ｘ線画像、蛍光透視、ＭＲＩまたはＣＴスキャン、解剖学図データなど）、同時に取り込まれる他の画像（例えば、外科部位の周りに配置される内視鏡によって、または他の画像）、患者のバイタルデータなどの、追加的なデータを統合するために処理することができる。加えて、撮像装置１１３ａ〜ｂがプレノプティック撮像装置である実施形態では、図４Ａ〜Ｉに関して下でより詳細に説明されるように、更なる操作によって、視野内の領域の選択的な拡大を可能にすることができる。

基準マーカー１１７は、フレーム１０３の前方表面１０５の上に配置することができる。基準マーカー１１７は、アセンブリ１００の運動を追跡するために使用することができる。いくつかの実施形態において、例えば、基準マーカー１１７は、赤外光カメラシステムによって検出される、１つ以上の赤外光源とすることができる。他の実施形態において、基準マーカー１１７は、磁気若しくは電磁プローブ、反射要素、または空間の中のアセンブリ１００の位置を追跡するために使用することができる任意の他の構成要素とすることができる。基準マーカー１１７は、アセンブリ１００の移動及び配向を追跡するための内部コンパス及び／または加速度計を含むこと、またはそれに連結することができる。

フレーム１０３の後方表面１０７には、表示デバイス１０９が配置され、後方に面する。図１Ｂで最も良く分かるように、表示デバイス１０９は、第１のディスプレイ１１９ａ及び第２のディスプレイ１１９ｂを含む。ディスプレイ１１９ａ〜ｂとしては、例えば、ＬＣＤ画面、ホログラフィックディスプレイ、プラズマ画面、投影式ディスプレイ、またはヘッドアップディスプレイ環境で使用することができる比較的薄い形状因子を有する任意の他の種類のディスプレイを挙げることができる。第１のディスプレイ１１９ａは、フレーム１０３の右眼部分１０４ａ内に配置され、一方で、第２のディスプレイ１１９ｂは、フレーム１０３の左眼部分１０４ｂ内に配置される。第１のディスプレイ１１９ａ及び第２のディスプレイ１１９ｂは、後方に配向され、よって、アセンブリ１００をユーザが着用したときに、第１のディスプレイ１１９ａ及び第２のディスプレイ１１９ｂは、それぞれ、ユーザの右眼及び左眼によってユーザが視認することができる。各眼について別個のディスプレイを使用することで、立体表示を可能にする。立体表示は、左眼及び右眼に対して僅かに異なる２次元画像を別々に提示することを含む。２つの画像の間のオフセットのため、ユーザは、３次元の深度を知覚する。

第１のディスプレイ１１９ａ及び第２のディスプレイ１１９ｂは、それぞれ、第１の制御電子部品１１５ａ及び第２の制御電子部品ｂに電気的に連結することができる。制御電子部品１１５ａ〜ｂは、ディスプレイ１１９ａ〜ｂに入力を提供し、該ディスプレイの動作を制御するように構成することができる。制御電子部品１１５ａ〜ｂは、表示入力、例えば撮像装置１１３ａ〜ｂから取得した処理された画像データを、ディスプレイ１１９ａ〜ｂに提供するように構成することができる。例えば、一実施形態において、第１の撮像装置１１３ａからの画像データは、第１の制御電子部品１１５ａを介して、第１のディスプレイ１１９ａに通信され、同様に、第２の撮像装置１１３ｂからの画像データは、第２の制御電子部品１１５ｂを介して、第２のディスプレイ１１９ｂに通信される。撮像装置１１３ａ〜ｂ及びディスプレイ１１９ａ〜ｂの位置及び構成に応じて、ユーザには、ユーザがアセンブリ１００を着用せずに見えるものを模倣する立体画像を提示することができる。いくつかの実施形態において、撮像装置１１３ａ〜ｂから取得される画像データは、処理すること、例えば、デジタル的にズームすることができ、よって、ユーザには、ディスプレイ１１９ａ〜ｂを介して、ズームされたビューが提示される。

第１の眼追跡装置１２１ａ及び第２の眼追跡装置ｂは、フレーム１０３の後方表面１０７の上に、第１のディスプレイ１１９ａ及び第２のディスプレイｂに隣接して配置される。第１の眼追跡装置１２１ａは、フレーム１０３の右眼部分１０４ａ内に位置付けることができ、また、ユーザがアセンブリ１００を着用している間、ユーザの右眼の移動を追跡するように配向し、構成することができる。同様に、第２の眼追跡装置１２１ｂは、フレーム１０３の左眼部分１０４ｂ内に位置付けることができ、また、ユーザがアセンブリ１００を着用している間、ユーザの左眼の移動を追跡するように配向し、構成することができる。第１の眼追跡装置１２１ａ及び第２の眼追跡装置１２１ｂは、ユーザの眼の移動を決定するように構成することができ、また、制御電子部品１１５ａ〜ｂと電子的に通信することができる。いくつかの実施形態において、ユーザの眼の移動は、制御電子部品１１５ａ〜ｂに入力制御を提供するために使用することができる。例えば、ディスプレイ１１９ａ〜ｂを介してユーザに表示される画像の一部分の上に視覚メニューをオーバーレイすることができる。ユーザは、自分の眼の焦点をその項目に合わせることによって、メニューからの項目の選択を示すことができる。眼追跡装置１２１ａ〜ｂは、ユーザが焦点を合わせている項目を決定することができ、制御電子部品１１５ａ〜ｂにこの項目選択の指示を提供することができる。例えば、この特徴は、ユーザが、特定の画像に適用するズームのレベルを制御することを可能にする。いくつかの実施形態において、マイクロホンまたは物理的ボタン（複数可）をアセンブリ１００に提供することができ、音声指示またはボタンとの物理的接触を介して、ユーザ入力を受信することができる。他の実施形態において、撮像装置１１３ａ〜ｂを介したジェスチャー認識、アシスタント制御などの、他の入力の形態を使用することができる。

本明細書で説明される技術は、内視鏡システムに適用することができる。例えば、複数のカメラ（異なる視野／倍率の組み合わせを有する）をユーザの額の上に載置するのではなく、複数のカメラを内視鏡器具の先端部に載置することができる。代替的に、単一の主レンズにレンズレットアレイを加えたものを、内視鏡器具の先端部に載置することができる。その場合、再合焦、２つの異なる遠近感からの立体画像のレンダリング、またはズーミングなどの、光照射野のレンダリング技法を適用することができる。そのような事例において、収集した画像は、着用可能なヘッドマウントディスプレイアセンブリ１００を通して表示することができる。

図２は、本技術の一実施形態に従って構成される媒介現実の外科用視覚化システムの概略図である。本システムは、例えばパブリックインターネット、イントラネットなどのプライベートネットワーク、または他のネットワークとすることができる通信リンク２０１を介して互いに通信している、多数の構成要素を含む。各構成要素と通信リンク２０１との間の接続は、無線（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ、ＧＳＭ（登録商標）、ＣＤＭＡ、３Ｇ、または４Ｇなどのセルラー通信）、または有線（例えば、Ｅｔｈｅｒｎｅｔ、ＦｉｒｅＷｉｒｅケーブル、ＵＳＢケーブルなど）とすることができる。ヘッドマウントディスプレイアセンブリ１００は、通信リンク２０１に連結される。いくつかの実施形態において、アセンブリ１００は、撮像デバイス１０１を介して画像を取り込み、統合された表示デバイス１０９を介して、アセンブリを着用しているユーザに画像を表示するように構成することができる。アセンブリ１００は、追加的に、追跡装置２０３によって追跡することができる、基準マーカー１１７を含む。追跡装置２０３は、光追跡、音波若しくは電磁検出、または位置を追跡するための任意の他の適切な手法を介して、基準マーカー１１７の位置及び移動を決定することができる。いくつかの実施形態において、追跡装置２０３は、外科中に、患者及びある特定の解剖学的特徴の位置を追跡するために使用するように構成することができる。例えば、追跡装置２０３は、Ｍｅｄｔｒｏｎｉｃ製のＳｔｅａｌｔｈＳｔａｔｉｏｎ（登録商標）外科用ナビゲーションシステムなどの、外科用ナビゲーションシステムの一部とすることができる。このようなシステムは、外科部位の周りのプローブの位置を識別することができ、更には、ＭＲＩ、ＣＴ、蛍光透視などの他の術中撮像システムとインターフェースすることもできる。追跡装置２０３はまた、追加的な撮像装置２０５、例えば、外科部位の周りの関節アーム上の他のカメラ、内視鏡、開創器に載置されるカメラなども追跡することができる。例えば、追加的な撮像装置２０５は、同様に、追跡装置２０３が位置及び配向を検出することを可能にするために、プローブまたは基準マーカーを装備することができる。追跡装置２０３によって取得される位置情報は、アセンブリ１００に対する、及び外科部位に対する、追加的な撮像装置２０５の位置及び配向を決定するために使用することができる。いくつかの実施形態において、追加的な撮像装置２０５は、ヘッドマウントディスプレイアセンブリ１００の位置及び／または動作に応じて選択的に起動させることができる。例えば、アセンブリ１００を着用しているユーザが追加的な撮像装置２０５の視野内にある特定の領域に注目しているときに、その追加的な撮像装置２０５を起動させて、アセンブリ１００からの画像データと合成するためにデータを記録することができる。いくつかの実施形態において、追加的な撮像装置２０５は、アセンブリ１００の視野と重複する視野を取り込むために、例えば追加的な撮像装置２０５を回転させることによって、ヘッドマウントディスプレイアセンブリ１００の位置及び／または動作に応じて、該追加的な撮像装置の位置及び／または配向を変化させるように制御することができる。

コンピュータ構成要素２０７は、通信リンク２０１を介して他の構成要素と相互作用するための複数のモジュールを含む。コンピュータ構成要素２０７は、例えば、ディスプレイのモジュール２０９と、運動追跡モジュール２１１と、登録モジュール２１３と、画像取り込みモジュール２１５とを含む。いくつかの実施形態において、コンピュータ構成要素２０７は、コンピュータ読み出し可能な媒体に記憶されるコンピュータ実行可能命令に従って動作を行うことができる、ＣＰＵなどのプロセッサを含むことができる。いくつかの実施形態において、ディスプレイモジュール、運動追跡モジュール、登録モジュール、及び画像取り込みモジュールは、それぞれ、動作を行うように構成されるプロセッサをそれぞれが有する別個のコンピューティングデバイスに実現することができる。いくつかの実施形態では、これらのモジュールのうちの２つ以上を単一のコンピューティングデバイスに含むことができる。コンピュータ構成要素２０７はまた、データベース２１７とも通信している。

ディスプレイのモジュール２０９は、表示デバイス１０９を介してユーザに提示するためのディスプレイ出力情報をアセンブリ１００に提供するように構成することができる。上で述べられるように、これは立体表示を含むことができ、該立体表示では、第１の表示デバイス１１９ａ及び第２の表示デバイス１１９ｂ（図１Ｂ）を介して、異なる画像が各眼に提供される。アセンブリ１００に提供されるディスプレイ出力は、アセンブリ１００の撮像デバイス１０１によって取り込まれる映像のリアルタイムの、またはほぼリアルタイムのフィードを含むことができる。いくつかの実施形態において、ディスプレイ出力は、他のデータ、例えば、術前画像データ（例えば、ＣＴ、ＭＲＩ、Ｘ線、蛍光透視）、標準的な解剖学的画像（例えば、教科書の解剖学図または死体由来の画像）、または現在の患者のバイタルサイン（例えば、ＥＫＧ、ＥＥＧ、ＳＳＥＰ、ＭＥＰ）を統合したものを含むことができる。この追加的なデータは、例えば、コンピューティング構成要素２０７がアクセスするために、データベース２１７に記憶されることができる。いくつかの実施形態では、追加的なリアルタイム画像データ（例えば、外科部位の周りの関節アーム上の他のカメラ、内視鏡、開創器に載置されたカメラなどからのリアルタイム画像データ）を、追加的な撮像装置２０５から取得し、アセンブリ１００の表示デバイス１０９を介して、ユーザに提示することができる。このような追加的なデータは、表示するために統合することができ、例えば、該追加的なデータは、撮像デバイス１０１からのリアルタイム画像の表示の上にピクチャインピクチャまたは他のオーバーレイとして提供することができる。いくつかの実施形態において、追加的なデータは、撮像デバイス１０１からのリアルタイム画像の表示の中へ統合することができ、例えば、Ｘ線データを表示の中へ統合することができ、よって、ユーザは、一体化された画像として撮像デバイス１０１ａからのリアルタイム画像及びＸ線データの双方をともに視認する。追加的な画像データ（例えば、Ｘ線、ＭＲＩなど）を撮像デバイス１０１からリアルタイムフィードでコヒーレントに提示するために、追加的な画像データを、アセンブリ１００の位置及び配向に基づいて処理し、操作することができる。同様に、いくつかの実施形態では、教科書の解剖学図または他の参照画像（例えば、死体に由来するラベル付けした画像）を、取り込まれた画像の上へ正しく配向されるように操作し、歪ませることができる。これは、外科医が、手術中に、リアルタイム画像データの上に重畳される既存の画像から解剖学的ラベルを視覚化することを可能にする。いくつかの実施形態において、ユーザは、音声コマンド、メニュー項目を選択するための眼の移動、アシスタント制御、または他の入力を介して、異なるビューの間でトグルすることができる。例えば、ユーザは、撮像デバイス１０１からの画像のリアルタイムフィードと１つ以上の追加的な撮像装置２０５から取り込まれる画像のリアルタイムフィードとの間でトグルすることができる。

運動追跡モジュール２１１は、外科部位に対するアセンブリ１００並びに任意の追加的な撮像装置２０５の位置及び配向を決定するように構成することができる。上で述べられるように、追跡装置２０３は、光学的に、または他の技法を介して、アセンブリ１００及び追加的な撮像装置２０５の位置を追跡することができる。この位置及び配向データは、ディスプレイモジュール２０９を介して適切なディスプレイ出力を提供するために使用することができる。

登録モジュール２１３は、外科用フレームに全ての画像データを登録するように構成することができる。例えば、アセンブリ１００及び追加的な撮像装置２０５のための位置及び配向データは、運動追跡モジュール２１１から受信することができる。追加的な画像データ、例えば術前画像は、データベース２１７から、または別のソースから受信することができる。追加的な画像データ（例えば、Ｘ線、ＭＲＩ、ＣＴ、蛍光透視、解剖学図など）は、典型的に、アセンブリ１００の、または追加的な撮像装置２０５のいずれの観点からも記録されていなかった。その結果、補足的な画像データを処理し、操作して、適切な遠近感でアセンブリ１００の表示デバイス１０９を介してユーザに提示しなければならない。登録モジュール２１３は、術前画像において検出されるような解剖学的または人工基準マーカーと、外科用ナビゲーションシステム、アセンブリ１００、または他の追加的な撮像装置２０５によって検出されるものと同じ解剖学的または人工基準マーカーとを比較することによって、参照の外科用フレームに補足的な画像データを登録することができる。

画像取り込みモジュール２１５は、アセンブリ１００の撮像デバイス１０１から、更には任意の追加的な撮像装置２０５から画像データを取り込むように構成することができる。取り込まれる画像は、連続ストリーミング映像及び／または静止画像を含むことができる。いくつかの実施形態において、撮像デバイス１０１及び／または追加的な撮像装置２０５のうちの１つ以上は、プレノプティックカメラとすることができ、その事例において、画像取り込みモジュール２１５は、光照射野データを受信し、該データを処理して特定の画像をレンダリングするように構成することができる。プレノプティックカメラのためのこのような画像処理は、図４Ａ〜Ｉに関して下で更に詳細に説明される。

図３は、手術中の媒介現実の外科用視覚化システムを例示する。外科医３０１は、患者の外科部位３０３に対する手術中に、ヘッドマウントディスプレイアセンブリ１００を着用する。追跡装置２０３は、アセンブリ１００の移動及び位置に追従する。上で述べられるように、追跡装置２０３は、光追跡、音波若しくは電磁検出、または位置を追跡するための任意の他の適切な手法を介して、アセンブリ１００に対する基準マーカーの位置及び移動を決定することができる。いくつかの実施形態において、追跡装置２０３は、Ｍｅｄｔｒｏｎｉｃ製のＳｔｅａｌｔｈＳｔａｔｉｏｎ（登録商標）外科用ナビゲーションシステムなどの、外科用ナビゲーションシステムの一部とすることができる。追跡装置２０３はまた、追加的な撮像装置、例えば、外科部位の周りの関節アーム上の他のカメラ、内視鏡、開創器に載置されるカメラなども追跡することができる。

外科医３０１が手術している間、アセンブリ１００の撮像デバイス１０１を介して取り込まれる画像は、処理されて、アセンブリ１００内の統合された表示デバイス１０９（図１Ｂ）を介して、外科医に立体視的に表示される。結果として、外科医の視野の媒介現実の表現がもたらされる。上で述べられるように、追加的な画像データまたは他のデータは、同様に、統合して、外科医に表示することができる。外科医３０１に提示されている表示データは、リアルタイムで同時にまたは時間遅延で遠隔ユーザ３０５にストリーミングすることができる。遠隔ユーザ３０５は、同様に、統合された立体表示を伴って構成されるヘッドマウントディスプレイアセンブリ３０７を装着することができ、または外部ディスプレイを介して遠隔ユーザ３０５に提示することができる。いくつかの実施形態において、遠隔ユーザ３０５は、外科用ロボットをリモートに制御することができ、遠隔手術を行い、一方で、外科用視覚化を向上させるために遠隔ユーザ３０５に臨場感及び遠近感を提供することを可能にする。いくつかの実施形態において、複数の遠隔ユーザは、複数の異なるプレノプティックカメラ及び外科部位の周りに配置される他の撮像デバイスからレンダリングされたときに、異なる視点から、外科部位を同時に視認することができる。

アセンブリ１００は、音声コマンドに応答するか、更には外科医の眼を追跡することができ、したがって、外科医３０１が、用いられている倍率のレベルをフィードの間に切り替えて、微調整することを可能にする。ヘッドアップディスプレイは、患者のバイタルサイン（ＥＫＧ、ＥＥＧ、ＳＳＥＰ、ＭＥＰ）、撮像（ＣＴ、ＭＲＩなど）、及び外科医が所望する任意の他の情報とともに、外科医の要求に応じてスクロールさせることができ、外部モニタを評価する、または麻酔チームへの問い合わせを行うために手術の流れを中断する必要性を排除する。無線ネットワークは、アセンブリ１００がプロセッサ（例えば、コンピューティング構成要素２０７）と通信する能力を与えることができ、これは、自動焦点のような簡単なツールから、血管造影法及び腫瘍の「塗装」まであらゆるものを伴う外科医の視覚的作業環境を増強することができる。アセンブリ１００は、高価な外科用顕微鏡、更には近い将来のリモートロボットワークステーションに対する必要性を置き換えることができ、顕微鏡及び内視鏡と連動して使用される「特注の」眼鏡ルーペの経済的な代替例を提示する。

ヘッドマウントディスプレイアセンブリ１００は、視覚情報の複数のストリームを集めて、それを、単に視覚化のために外科医に送信するだけでなく、リアルタイムの分析及び修正のためにリモート処理能力（例えば、コンピューティング構成要素２０７（図２））にも送信することができる。いくつかの実施形態において、本システムは、注意を必要とする解剖学的構造及び出血源の識別を支援するために、パターン認識を利用することができ、したがって、デジタル外科用アシスタントとして作用する。教科書のまたは順応性解剖学のリアルタイムオーバレイは、構造の識別を支援することができ、及び／または常駐の医師及び他の学習者に対する補助教材として作用することができる。いくつかの実施形態において、本システムは、術野と相互作用するための追加的な技術を装備することができ、例えば、アセンブリ１００は、組織特性の分析または術野のマッピングをリアルタイムで支援することができるＬｉＤＡＲを含み、したがって、切除の範囲などを決定する際に外科医を支援する。いくつかの実施形態において、アセンブリ１００は、高輝度ＬＥＤヘッドランプと統合することができ、該ヘッドランプは、（例えば、機械学習技法を介して）ある特定の手術状況をどのように最良に照明するかを「教示する」こと、またはバイオ蛍光剤と相互作用させるために異なる波長の光を提供することができる。

いくつかの実施形態において、撮像デバイス１０１及び他の撮像装置から記録されるデータは、後で、外科部位の異なる視点及び視覚化を生成するために使用することができる。例えば、記録したデータを後で再生するために、異なる倍率、追加的な画像データの異なる統合、及び／または異なる視点を有する画像を生成することができる。これは、手順をレビューする際に、または訓練の目的に特に有用であり得る。

図４Ａ〜４Ｉは、本技術の実施形態に従って媒介現実の外科用視覚化システムで使用するように構成される、プレノプティックカメラの概略図である。上で説明されるように、様々な実施形態において、ヘッドマウントディスプレイアセンブリ１００に連結される第１の撮像装置１１３ａ及び第２の撮像装置１１３ｂとして、１つ以上のプレノプティックカメラを使用することができる。プレノプティックカメラ（複数可）で取り込まれる光照射野を処理することによって、異なる焦点平面及び異なる視点を有する画像を計算することができる。

最初に図４Ａを参照すると、プレノプティックカメラ４０１は、主レンズ４０３と、画像センサ４０５と、それらの間に配置されるマイクロレンズまたはレンズレット４０７のアレイとを含む。主レンズ４０３によって合焦させた光は、画像平面を横切り、レンズレット４０７に渡り、そこで、センサ４０５のある点に合焦される。その結果、レンズレット４０７のアレイは、僅かに異なる位置から、したがって、異なる遠近感で多数の異なる画像を取り込む。これらの複数の画像を処理することによって、ある特定の被写界深度に到達するように、様々な視点及び焦点距離による合成画像を抽出することができる。いくつかの実施形態において、レンズレット４０７のアレイ及び関連するセンサ４０５は、個々の別個のカメラのアレイと置き換えることができる。

図４Ｂは、プレノプティックカメラを使用して仮想カメラをレンダリングする概略図である。センサ要素４０５のアレイ（センサ要素４０５ａ〜ｄとして４つが示される）が、異なるレンズレット４０７（図４Ａ）から光を受けるセンサ４０５の異なる部分に対応する。仮想カメラ４０９は、プレノプティックカメラを介して取り込まれる画像データを処理することによってレンダリングされる視点を示す。ここで、仮想カメラ４０９は、センサ要素４０５ａ〜ｄの前方に「位置付けられる」。仮想カメラ４０９をレンダリングするには、結果として生じる画像を生成するために、その位置を通過したであろう光だけを使用する。例示されるように、仮想カメラ４０９は、センサ要素４０５ａの「視野」の外側にあり、故に、センサ要素４０５ａからのデータは、仮想カメラ４０９から画像をレンダリングするために使用されない。仮想カメラ４０９は、他のセンサ要素４０５ｂ〜ｄの「視野」内に入り、故に、これらのセンサ要素４０５ｂ〜ｄからのデータは、組み合わせられて、レンダリングされた仮想カメラから画像を生成する。４つのセンサ要素４０５ａ〜ｄだけが示されているが、アレイは、異なる数のセンサ要素４０５を含み得ることが認識されるであろう。

図４Ｃは、類似する仮想カメラのレンダリングを例示するが、仮想カメラの「位置」がセンサ要素４０５ａ〜ｄの後方にある。ここで、センサ要素４０５ａ、ｃ、及びｄは、仮想カメラ４０９の「視野」の外側にあり、よって、これらのセンサ要素からのデータは、仮想カメラ４０９から画像をレンダリングするために使用されない。図４Ｄに関しては、２つの別個の仮想カメラ４０９ａ及び４０９ｂが、センサ要素４０５ａ〜ｄからのデータを使用してレンダリングされる。この構成は、ヘッドマウントディスプレイアセンブリ１００を着用したときに、ユーザの眼の位置に対応する２つの「仮想カメラ」を生成するために使用することができる。例えば、アセンブリ１００を着用しているユーザは、自分の眼の前方に配置される撮像デバイス１０１を有する。また、センサ要素４０５ａ〜ｄ（撮像デバイス１０１の一部として）も、ユーザの眼の前方に配置されている。センサ要素４０５ａ〜ｄの後方のある位置で仮想カメラ４０９ａ〜ｂをレンダリングすることによって、仮想カメラ４０９ａ〜ｂをユーザの左眼及び右眼に対応する位置にレンダリングすることができる。眼追跡装置１２１ａ〜ｂ（図１Ｂ）の使用は、ユーザの眼の横方向の位置及び瞳孔間距離を決定するために使用することができる。これは、様々な異なるユーザの様々な異なる瞳孔間距離に対して、ソフトウェアを介して、単一のハードウェアの構成をカスタマイズすることを可能にする。いくつかの実施形態において、瞳孔間距離は、眼追跡装置１２１ａ〜ｂによって検出するのではなく、ユーザによって入力することができる。

プレノプティックカメラの使用はまた、アセンブリが移動し、新しい視野を取り込むときに、システムが、知覚される待ち時間を低減させることも可能にする。プレノプティックカメラは、情報を取り込み、伝送して、各仮想カメラの周りに空間バッファを形成することができる。移動中に、ローカル仮想カメラは、コマンドを受信するためにリモート感知を待つことなく空間バッファ領域の中へ移動し、所望の場所まで移動し、そして、新しい画像データを送信することができる。その結果、移動した仮想カメラによって取り込まれる物理的なシーンオブジェクトは、いくらかの待ち時間を有することになるが、視点の待ち時間は、大幅に低減させることができる。

図４Ｅは、プレノプティックカメラを使用した拡大の概略図である。領域４１１ａは、画像空間内の拡大領域４１１ｂによって示されるように拡大される、対象領域を示す。対象領域４１１ａを通過する光線は、拡大領域４１１ｂに反射するように再方向付けされるが、一方で、実際の拡大領域４１１ｂを通過するが対象領域４１１ａを通過しない光線、例えば光線４１３は、再方向付けされない。光線４１３からなどの光は、透過的にレンダリングすることができるか、あるいは全くレンダリングされない。

この同じ拡大技法は、図４Ｆ及び４Ｇにおいて、領域４１１ａにより近い仮想カメラ４０９のレンダリングとして例示される。近い仮想カメラ４０９をレンダリングすることによって、領域４１１ａは、領域４１１ｂの範囲を包含するように拡大される。図４Ｇは、この拡大（光線４１５によって示される）及び従来のズーム（光線４１７によって示される）の双方を例示する。図４Ｇに示されるように、拡大及びズームは、焦点面４１９で同じであるが、ズームされたオブジェクトは、不正確な短縮を有する。

拡大容積は、ビューの特定の角度領域ではなく、空間の中の位置に固定することができる。例えば、外科部位の腫瘍または他の部分を拡大することができ、ユーザがヘッドマウントディスプレイアセンブリ１００を着用している間に自分の頭部を移動させたときに、画像を操作することができ、よって、拡大の領域は、腫瘍の物理的場所に対応して固定された状態を維持する。いくつかの実施形態において、拡大領域「の後方の」領域は、透過的にレンダリングすることができ、よって、ユーザは、依然として、対象領域の拡大によって不明瞭である領域を知覚することができる。

いくつかの実施形態において、拡大容積は、その物理的な場所でレンダリングする必要はなく、むしろ、取り込まれた容積から独立して位置付けることができる。例えば、拡大ビューは、外科医に対してより近くに、かつ異なる角度でレンダリングすることができる。いくつかの実施形態において、外部ツールの位置は、入力のために追跡することができる。例えば、外科用メスまたは他の外科用ツールの先端部を（例えば、追跡装置２０３を使用して）追跡することができ、拡大容積を外科用メスまたは他の外科用ツールの先端部に位置付けることができる。いくつかの実施形態において、外科用ツールは、システムまたは他の外科用システムのための触覚フィードバックまたは物理的制御を含むことができる。外科用ツールが電子的または電気機械的に制御される状況において（例えば、ツールが外科用ロボットによって制御される遠隔手術中に）、そのようなツールに対する制御は、視覚化モードに応じて修正することができる。例えば、ツールが視覚的に変換される（例えば、拡大される）物理容積の内側に配置されたときに、視覚的スケーリング、回転などを補償するために、ツールに対する制御を修正することができる。これは、制御が視覚的に変換されたビュー及び周囲のビューの内側を同じ状態に維持することを可能にする。このツール制御の修正は、遠隔手術中に、ツールの視覚化及び外科部位が修正されているときに、外科医が、ツールをより良好に制御することを可能にする。

対象点の近くに位置する環境の中の追加的なカメラからの情報は、ヘッドマウントディスプレイに連結される撮像装置からの画像と融合させることができ、それによって、対象領域を拡大する能力が向上する。深度情報は、深度センサから生成する、または得ることができ、また、焦点面とシーンの物理的幾何学的形状とを並置することによって、シーンの全体を合焦させるために使用することができる。他の媒介現実と同様に、データは、環境においてレンダリングし、視覚化することができる。光照射野の使用は、オクルージョンの周りを視認することを可能にし、また、鏡面反射を除去することができる。いくつかの実施形態において、光照射野の処理はまた、組織型の間の対比を増加させるためにも使用することができる。

レンダリングされている仮想カメラ４０９に応じて、図４Ｈは、センサ要素４０５ｎの選択的な起動を例示する。例示されるように、仮想カメラ４０９をレンダリングするためには、センサ要素のアレイのセンサ要素４０５ａ〜ｃだけが必要である。故に、他のセンサ要素を起動させないことができる。これは、未使用の情報を取り込み、伝送しないことによって、必要とされる電力及びデータを低減させる。

図４Ｉは、プレノプティックカメラのためのレンズレットアレイ４２１の代替の構成を例示する。例示されるように、第１の複数のレンズレット４２３は、第１の湾曲を有し、画像センサから第１の距離で離間配置され、第２の複数のレンズレット４２５は、第２の湾曲を有し、画像センサから第２の距離で離間配置される。この実施形態では、第１の複数のレンズレット４２３及び第２の複数のレンズレット４２５を散在させている。他の実施形態では、第１の複数のレンズレット４２３をともに配置することができ、第２の複数のレンズレット４２５も、ともに配置することができるが、第１の複数のレンズレットから分離される。アレイにおけるレンズレットの配設及びタイプを変化させることによって、角度及び空間分解能を変化させることができる。

図５は、本技術の一実施形態による、外科用視覚化のための媒介現実の表示を提供するための方法のブロック図である。ルーチン６００は、ブロック６０１から開始する。ブロック６０３で、第１の画像データを第１の撮像装置１１３ａから受信し、ブロック６０５で、第２の画像データを第２の撮像装置１１３ｂから受信する。例えば、第１の撮像装置１１３ａは、ヘッドマウントディスプレイアセンブリを着用したときに、ユーザの右眼の上に位置付けることができ、第２の撮像装置１１３ｂは、ヘッドマウントディスプレイアセンブリ１００を着用したときに、ユーザの左眼の上に位置付けることができる。ルーチン６００は、ブロック６０７に進み、第１の画像データ及び第２の画像データを処理する。この処理は、ヘッドマウントディスプレイアセンブリ１００と有線または無線で通信しているリモート電子部品（例えば、コンピューティング構成要素２０７）によって行うことができる。または、いくつかの実施形態において、この処理は、アセンブリ１００によって担持される制御電子部品１１５ａ〜ｂを介して行うことができる。ブロック６０９で、第１の処理された画像を第１のディスプレイ１１９ａに表示し、ブロック６１１で、第２の処理された画像を第２のディスプレイ１１９ｂに表示する。第１のディスプレイ１１９ａは、アセンブリ１００を着用したときに、第１の処理された画像をユーザの右眼に表示するように構成することができ、第２のディスプレイ１１９ｂは、アセンブリ１００を着用したときに、第２の処理された画像をユーザの右眼に表示するように構成することができる。第１及び第２の処理された画像は、立体感のために提示することができ、よって、ユーザは、双方の処理された画像を同時に視認したときに、３次元の深度を知覚する。

本明細書で説明されるいくつかの実施形態は、外科的な応用のための媒介現実の仮想化システムを対象としているが、このようなシステムの他の用途も考えられる。例えば、統合された表示デバイス及び統合された画像取り込みデバイスを有するヘッドマウントディスプレイアセンブリを含む、媒介現実の視覚化システムは、建築、製造、サービス産業、ゲーミング、娯楽、及び様々な他の状況において使用することができる。

実施例
１．媒介現実の外科用視覚化システムであって、
不透明なヘッドマウントディスプレイアセンブリであって、
第１の方向に面する正面側と、
正面側に対向し、第１と反対の第２の方向に面する背面側であって、ユーザが着用したときにユーザの顔面に面するように構成される、背面側と、
第２の方向に面する立体表示デバイスであって、第１のディスプレイ及び第２のディスプレイを備え、ヘッドマウントディスプレイをユーザが着用したときに、第１のディスプレイが、右眼に画像を表示するように構成され、第２のディスプレイが、左眼に画像を表示するように構成される、立体表示デバイスと、
第１の方向に面する画像取り込みデバイスであって、第１の撮像装置及び第１の撮像装置から離間された第２の撮像装置を備える、画像取り込みデバイスと、を備える、不透明なヘッドマウントディスプレイアセンブリと、
立体表示デバイス及び画像取り込みデバイスと通信しているコンピューティングデバイスであって、
第１の撮像装置から第１の画像データを受信し、
第２の撮像装置から第２の画像データを受信し、
第１の画像データ及び第２の画像データを処理し、そして、
第１の画像データから第１の処理された画像を第１のディスプレイに表示し、第２の画像データから第２の処理された画像を第２のディスプレイに表示することによって、立体表示デバイスを介して、リアルタイムの立体画像を提示するように構成される、コンピューティングデバイスと、を備える、媒介現実の外科用視覚化システム。
２．ヘッドマウントディスプレイアセンブリが、右眼部分及び左眼部分を有するフレームを備え、第１のディスプレイが、右眼部分内に配置され、第２のディスプレイが、左眼部分内に配置される、実施例１に記載の媒介現実の外科用視覚化システム。
３．ヘッドマウントディスプレイアセンブリが、右眼部分及び左眼部分を有するフレームを備え、第１の撮像装置が、右眼部分の上に配置され、及び第２の撮像装置が、左眼部分の上に配置される、実施例１〜２のうちのいずれか１例に記載の媒介現実の外科用視覚化システム。
４．第１及び第２の撮像装置が、プレノプティックカメラを備える、実施例１〜３のうちのいずれか１例の実施例に記載の媒介現実の外科用視覚化システム。
５．第１及び第２の撮像装置が、単一のプレノプティックカメラの別個の領域を備える、実施例１〜４のうちのいずれか１例に記載の媒介現実の外科用視覚化システム。
６．第３の撮像装置を更に備える、実施例１〜５のうちのいずれか１例に記載の媒介現実の外科用視覚化システム。
７．第３の撮像装置が、ヘッドマウントディスプレイとは別個の、術野の周りに配置されるように構成される、カメラを備える、実施例６に記載の媒介現実の外科用視覚化システム。
８．運動追跡構成要素を更に備える、実施例１〜７のうちのいずれか１例に記載の媒介現実の外科用視覚化システム。
９．運動追跡構成要素が、ヘッドマウントディスプレイに連結される基準マーカー、及び基準マーカーの移動を監視し、記録するように構成される運動追跡装置を備える、実施例８に記載の媒介現実の外科用視覚化システム。
１０．コンピューティングデバイスが、
第３の画像データを受信し、
第３の画像データを処理し、そして、
第３の画像データから処理された第３の画像を第１のディスプレイ及び／または第２のディスプレイに提示するように更に構成される、実施例１〜９のうちのいずれか１例に記載の媒介現実の外科用視覚化システム。
１１．第３の画像データが、蛍光画像データ、磁気共鳴撮像データ、コンピュータ断層撮影画像データ、Ｘ線画像データ、解剖学図データ、及びバイタルサインデータのうちの少なくとも１つを含む、実施例１０に記載の媒介現実の外科用視覚化システム。
１２．処理された第３の画像が、立体画像と統合される、実施例１０〜１１のうちのいずれか１例に記載の媒介現実の外科用視覚化システム。
１３．処理された第３の画像が、立体画像の一部分の上にピクチャインピクチャとして提示される、実施例１０〜１２のうちのいずれか１例に記載の媒介現実の外科用視覚化システム。
１４．コンピューティングデバイスが、
第２のヘッドマウントディスプレイアセンブリに立体画像を提示するように更に構成される、実施例１〜１３のうちのいずれか１例に記載の媒介現実の外科用視覚化システム。
１５．媒介現実の視覚化システムであって、
ヘッドマウントディスプレイアセンブリであって、
ユーザの頭部に着用するように構成されるフレームと、
フレームに連結される画像取り込みデバイスと、
フレームに連結される表示デバイスであって、ユーザの眼に向かって画像を表示するように構成される、表示デバイスと、を備える、ヘッドマウントディスプレイと、
表示デバイス及び画像取り込みデバイスと通信しているコンピューティングデバイスであって、
画像取り込みデバイスから画像データを受信し、そして、
表示デバイスを介して画像データから画像を提示するように構成される、コンピューティングデバイスと、を備える、媒介現実の視覚化システム。
１６．画像取り込みデバイスが、第１の撮像装置及び第２の撮像装置を有する画像取り込みデバイスを備える、実施例１５に記載の媒介現実の視覚化システム。
１７．表示デバイスが、第１のディスプレイ及び第２のディスプレイを有する立体表示デバイスを備える、実施例１５〜１６のうちのいずれか１例に記載の媒介現実の視覚化システム。
１８．コンピューティングデバイスが、リアルタイムで画像を提示するように構成される、実施例１５〜１７のうちのいずれか１例に記載の媒介現実の視覚化システム。
１９．フレームが、ユーザの頭部に着用され、画像取り込みデバイスが、ユーザから離れて面している、実施例１５〜１８のうちのいずれか１例に記載の媒介現実の視覚化システム。
２０．画像取り込みデバイスが、少なくとも１つのプレノプティックカメラを備える、実施例１５〜１９のうちのいずれか１例に記載の媒介現実の視覚化システム。
２１．コンピューティングデバイスが、
プレノプティックカメラから受信する画像データを処理し、
画像データから少なくとも１つの仮想カメラをレンダリングし、そして、
表示デバイスを介して仮想カメラに対応する画像を提示するように更に構成される、実施例２０に記載の媒介現実の視覚化システム。
２２．コンピューティングデバイスが、フレームをユーザが着用したときに、ユーザの眼の位置に対応する場所に少なくとも１つの仮想カメラをレンダリングするように構成される、実施例２１に記載の媒介現実の視覚化システム。
２３．少なくとも１つの仮想カメラをレンダリングすることが、取り込まれた光照射野の拡大ビューをレンダリングすることを含む、実施例２１〜２２のうちのいずれか１例に記載の媒介現実の視覚化システム。
２４．表示デバイスが、第１及び第２のディスプレイを備える、実施例２１〜２３のうちのいずれか１例に記載の媒介現実の視覚化システム。
２５．表示デバイスが、第１のディスプレイ及び第２のディスプレイを有する立体表示デバイスを備え、
画像取り込みデバイスが、少なくとも１つのプレノプティックカメラを備え、
コンピューティングデバイスが、
少なくとも１つのプレノプティックカメラから受信される画像データを処理し、
画像データから第１の仮想カメラをレンダリングし、
画像データから第２の仮想カメラをレンダリングし、
第１のディスプレイを介して、第１の仮想カメラに対応する画像を提示し、そして、
第２のディスプレイを介して、第２の仮想カメラに対応する画像を提示するように更に構成される、実施例１５〜２５のうちのいずれか１例に記載の媒介現実の視覚化システム。
２６．ヘッドマウントディスプレイアセンブリが、不透明である、実施例１５〜２５のうちのいずれか１例に記載の媒介現実の視覚化システム。
２７．ヘッドマウントディスプレイアセンブリが、透明または半透明である、実施例１５〜２５のうちのいずれか１例に記載の媒介現実の視覚化システム。
２８．媒介現実の外科用視覚化を提供するための方法であって、
ユーザの頭部に載置するように構成されるフレームと、フレームに連結される第１及び第２の撮像装置と、フレームに連結される第１及び第２のディスプレイとを備えるヘッドマウントディスプレイを提供することと、
第１の撮像装置から第１の画像データを受信することと、
第２の撮像装置から第２の画像データを受信することと、
第１の画像データ及び第２の画像データを処理することと、
第１の処理された画像データを第１のディスプレイに示すことと、
第２の処理された画像データを第２のディスプレイに示すことと、を含む、媒介現実の外科用視覚化を提供するための方法。
２９．第１及び第２の処理された画像データが、第１及び第２の２ディスプレイにリアルタイムで示される、実施例２８に記載の方法。
３０．
第３の画像データを受信することと、
第３の画像データを処理することと、
処理された第３の画像データを第１のディスプレイ及び／または第２のディスプレイに表示することと、を更に含む、実施例２８〜２９のうちのいずれか１例に記載の方法。
３１．第３の画像データが、蛍光画像データ、磁気共鳴撮像データ、コンピュータ断層撮影画像データ、Ｘ線画像データ、解剖学図データ、及びバイタルサインデータのうちの少なくとも１つを含む、実施例３０に記載の方法。
３２．第３の画像データが、ヘッドマウントディスプレイから離間される第３の撮像装置から受信される、実施例２８〜３１のうちのいずれか１例に記載の方法。
３３．ヘッドマウントディスプレイの移動を追跡することを更に含む、実施例２８〜３２のうちのいずれか１例に記載の方法。
３４．ヘッドマウントディスプレイの移動を追跡することが、ヘッドマウントディスプレイに連結される基準マーカーの移動を追跡することを含む、実施例３３に記載の方法。
３５．
ヘッドマウントディスプレイから離れた第２の表示デバイスを提供することであって、第２の表示デバイスが、第３の及び更なるディスプレイを備える、提供することと、
第１の処理された画像データを第３のディスプレイに表示することと、
第２の処理された画像データを第４のディスプレイに表示することと、を更に含む、実施例２８〜３４のうちのいずれか１例に記載の方法。
３６．第１及び第２の撮像装置が、少なくとも１つのプレノプティックカメラを備える、実施例２８〜３５のうちのいずれか１例に記載の方法。
３７．
プレノプティックカメラから受信される画像データを処理することと、
画像データから少なくとも１つの仮想カメラをレンダリングすることと、
第１のディスプレイを介して、仮想カメラに対応する画像を提示することと、を更に含む、実施例２８〜３６のうちのいずれか１例に記載の方法。
３８．少なくとも１つの仮想カメラをレンダリングすることが、ディスプレイがユーザの頭部に載置されたときに、ユーザの位置に対応する場所に少なくとも１つの仮想カメラをレンダリングすることを含む、実施例３７に記載の方法。
３９．少なくとも１つの仮想カメラをレンダリングすることが、取り込まれた光照射野の一部分の拡大ビューをレンダリングすることを含む、実施例３７〜３８のうちのいずれか１例に記載の方法。

結論
本技術の実施形態の上の詳細な説明は、上で開示された正確な形態に本技術を網羅すること、またはこれを限定することを意図したものではない。本技術の具体的な実施形態及び本技術のための実施例は、例示を目的として上で説明されるが、当業者が認識するように、本技術の範囲内で様々な同等の修正が可能である。例えば、工程は、所与の順序で提示されているが、代替の実施形態は、異なる順序で工程を行うことができる。また、本明細書で説明される様々な実施形態は、更なる実施形態を提供するために組み合わせることもできる。

上述のことから、本発明の具体的な実施形態は、例示の目的で本明細書において説明されているが、よく知られている構造及び機能は、本技術の実施形態の説明を不必要に不明瞭にすることを避けるために、詳細に示されていない、または説明されていないことを認識するであろう。文脈が許可する場合、単数形または複数形の用語はまた、それぞれ、複数形または単数形の用語も含み得る。

そのうえ、「または」という単語が、２つ以上の項目のリストを参照して他の項目から排他的に単一の項目だけを意味するように明示的に限定されない限り、そのようなリストにおける「または」の使用は、（ａ）リストの中の任意の単一の項目、（ｂ）リストの中の全ての項目、または（ｃ）リストの中の項目の任意の組み合わせを含むものとして解釈されたい。加えて、「備える」という用語は、任意のより多くの同じ特徴及び／または追加的なタイプの他の特徴が排除されないように、少なくとも列挙された特徴（複数可）を含むことを意味するように全体を通して使用される。また、具体的な実施形態が例示の目的で本明細書において説明されているが、本技術の範囲から逸脱することなく、様々な修正を行うことができることも認識するであろう。更に、本技術の特定の実施形態と関連付けられる利点は、それらの実施形態の文脈で説明されているが、他の実施形態もまたこのような利点を呈することができ、全ての実施形態が、本技術の範囲内にあるこのような利点を必ずしも示す必要があるとは限らない。故に、本開示及び関連する技術は、本明細書において明示的に示されない、またはこれに記載されない他の実施形態を包含することができる。

Claims (39)

1. 媒介現実の外科用視覚化システムであって、
   不透明なヘッドマウントディスプレイアセンブリであって、
   第１の方向に面する正面側と、
   前記正面側に対向し、前記第１と反対の第２の方向に面する背面側であって、ユーザが着用したときに前記ユーザの顔面に面するように構成される、背面側と、
   前記第２の方向に面する立体表示デバイスであって、第１のディスプレイ及び第２のディスプレイを備え、前記ヘッドマウントディスプレイを前記ユーザが着用したときに、前記第１のディスプレイが、右眼に画像を表示するように構成され、前記第２のディスプレイが、左眼に画像を表示するように構成される、立体表示デバイスと、
   前記第１の方向に面する画像取り込みデバイスであって、第１の撮像装置及び前記第１の撮像装置から離間された第２の撮像装置を備える、画像取り込みデバイスと、を備える、不透明なヘッドマウントディスプレイアセンブリと、
   前記立体表示デバイス及び前記画像取り込みデバイスと通信しているコンピューティングデバイスであって、
   前記第１の撮像装置から第１の画像データを受信し、
   前記第２の撮像装置から第２の画像データを受信し、
   前記第１の画像データ及び前記第２の画像データを処理し、そして、
   前記第１の画像データから第１の処理された画像を前記第１のディスプレイに表示し、前記第２の画像データから第２の処理された画像を前記第２のディスプレイに表示することによって、前記立体表示デバイスを介して、リアルタイムの立体画像を提示するように構成される、コンピューティングデバイスと、を備える、媒介現実の外科用視覚化システム。
2. 前記ヘッドマウントディスプレイアセンブリが、右眼部分及び左眼部分を有するフレームを備え、前記第１のディスプレイが、前記右眼部分内に配置され、前記第２のディスプレイが、左眼部分内に配置される、請求項１に記載の媒介現実の外科用視覚化システム。
3. 前記ヘッドマウントディスプレイアセンブリが、右眼部分及び左眼部分を有するフレームを備え、前記第１の撮像装置が、前記右眼部分の上に配置され、及び前記第２の撮像装置が、前記左眼部分の上に配置される、請求項１に記載の媒介現実の外科用視覚化システム。
4. 前記第１及び第２の撮像装置が、プレノプティックカメラを備える、請求項１に記載の媒介現実の外科用視覚化システム。
5. 前記第１及び第２の撮像装置が、単一のプレノプティックカメラの別個の視野を備える、請求項１に記載の媒介現実の外科用視覚化システム。
6. 第３の撮像装置を更に備える、請求項１に記載の媒介現実の外科用視覚化システム。
7. 前記第３の撮像装置が、前記ヘッドマウントディスプレイとは別個の、術野の周りに配置されるように構成される、カメラを備える、請求項６に記載の媒介現実の外科用視覚化システム。
8. 運動追跡構成要素を更に備える、請求項１に記載の媒介現実の外科用視覚化システム。
9. 前記運動追跡構成要素が、前記ヘッドマウントディスプレイに連結される基準マーカー、及び前記基準マーカーの移動を監視し、記録するように構成される運動追跡装置を備える、請求項８に記載の媒介現実の外科用視覚化システム。
10. 前記コンピューティングデバイスが、
    第３の画像データを受信し、
    前記第３の画像データを処理し、そして、
    前記第３の画像データから処理された第３の画像を前記第１のディスプレイ及び／または前記第２のディスプレイに提示するように更に構成される、請求項１に記載の媒介現実の外科用視覚化システム。
11. 前記第３の画像データが、蛍光画像データ、磁気共鳴撮像データ、コンピュータ断層撮影画像データ、Ｘ線画像データ、解剖学図データ、及びバイタルサインデータのうちの少なくとも１つを含む、請求項１０に記載の媒介現実の外科用視覚化システム。
12. 前記処理された第３の画像が、前記立体画像と統合される、請求項１０に記載の媒介現実の外科用視覚化システム。
13. 前記処理された第３の画像が、前記立体画像の一部分の上にピクチャインピクチャとして提示される、請求項１０に記載の媒介現実の外科用視覚化システム。
14. 前記コンピューティングデバイスが、
    第２のヘッドマウントディスプレイアセンブリに前記立体画像を提示するように更に構成される、請求項１に記載の媒介現実の外科用視覚化システム。
15. 媒介現実の視覚化システムであって、
    ヘッドマウントディスプレイアセンブリであって、
    ユーザの頭部に着用されるように構成されるフレームと、
    前記フレームに連結される画像取り込みデバイスと、
    前記フレームに連結される表示デバイスであって、前記ユーザの眼に向かって画像を表示するように構成される、表示デバイスと、を備える、ヘッドマウントディスプレイと、
    前記表示デバイス及び前記画像取り込みデバイスと通信しているコンピューティングデバイスであって、
    前記画像取り込みデバイスから画像データを受信し、そして、
    前記表示デバイスを介して前記画像データから画像を提示するように構成される、コンピューティングデバイスと、を備える、媒介現実の視覚化システム。
16. 前記画像取り込みデバイスが、第１の撮像装置及び第２の撮像装置を有する画像取り込みデバイスを備える、請求項１５に記載の媒介現実の視覚化システム。
17. 前記表示デバイスが、第１のディスプレイ及び第２のディスプレイを有する立体表示デバイスを備える、請求項１５に記載の媒介現実の視覚化システム。
18. 前記コンピューティングデバイスが、リアルタイムで前記画像を提示するように構成される、請求項１５に記載の媒介現実の視覚化システム。
19. 前記フレームが、前記ユーザの頭部に着用され、前記画像取り込みデバイスが、前記ユーザから離れて面している、請求項１５に記載の媒介現実の視覚化システム。
20. 前記画像取り込みデバイスが、少なくとも１つのプレノプティックカメラを備える、請求項１５に記載の媒介現実の視覚化システム。
21. 前記コンピューティングデバイスが、
    前記プレノプティックカメラから受信する画像データを処理し、
    前記画像データから少なくとも１つの仮想カメラをレンダリングし、そして、
    前記表示デバイスを介して前記仮想カメラに対応する画像を提示するように更に構成される、請求項２０に記載の媒介現実の視覚化システム。
22. 前記コンピューティングデバイスが、前記フレームをユーザが着用したときに、前記ユーザの眼の位置に対応する場所に前記少なくとも１つの仮想カメラをレンダリングするように構成される、請求項２１に記載の媒介現実の視覚化システム。
23. 前記少なくとも１つの仮想カメラをレンダリングすることが、取り込まれた光照射野の拡大ビューをレンダリングすることを含む、請求項２１に記載の媒介現実の視覚化システム。
24. 前記表示デバイスが、第１及び第２のディスプレイを備える、請求項２１に記載の媒介現実の視覚化システム。
25. 前記表示デバイスが、第１のディスプレイ及び第２のディスプレイを有する立体表示デバイスを備え、
    前記画像取り込みデバイスが、少なくとも１つのプレノプティックカメラを備え、
    前記コンピューティングデバイスが、
    前記少なくとも１つのプレノプティックカメラから受信される画像データを処理し、
    前記画像データから第１の仮想カメラをレンダリングし、
    前記画像データから第２の仮想カメラをレンダリングし、
    前記第１のディスプレイを介して、前記第１の仮想カメラに対応する画像を提示し、そして、
    前記第２のディスプレイを介して、前記第２の仮想カメラに対応する画像を提示するように更に構成される、請求項１５に記載の媒介現実の視覚化システム。
26. 前記ヘッドマウントディスプレイアセンブリが、不透明である、請求項１５に記載の媒介現実の視覚化システム。
27. 前記ヘッドマウントディスプレイアセンブリが、透明または半透明である、請求項１５に記載の媒介現実の視覚化システム。
28. 媒介現実の外科用視覚化を提供するための方法であって、
    ユーザの頭部に載置するように構成されるフレームと、前記フレームに連結される第１及び第２の撮像装置と、前記フレームに連結される第１及び第２のディスプレイとを備えるヘッドマウントディスプレイを提供することと、
    前記第１の撮像装置から第１の画像データを受信することと、
    前記第２の撮像装置から第２の画像データを受信することと、
    前記第１の画像データ及び前記第２の画像データを処理することと、
    前記第１の処理された画像データを前記第１のディスプレイに表示することと、
    前記第２の処理された画像データを前記第２のディスプレイに表示することと、を含む、媒介現実の外科用視覚化を提供するための方法。
29. 前記第１及び第２の処理された画像データが、前記第１及び第２のディスプレイにリアルタイムで示される、請求項２８に記載の方法。
30. 第３の画像データを受信することと、
    前記第３の画像データを処理することと、
    前記処理された第３の画像データを前記第１のディスプレイ及び／または第２のディスプレイに表示することと、を更に含む、請求項２８に記載の方法。
31. 前記第３の画像データが、蛍光画像データ、磁気共鳴撮像データ、コンピュータ断層撮影画像データ、Ｘ線画像データ、解剖学図データ、及びバイタルサインデータのうちの少なくとも１つを含む、請求項３０に記載の方法。
32. 前記第３の画像データが、前記ヘッドマウントディスプレイから離間される第３の撮像装置から受信される、請求項３０に記載の方法。
33. 前記ヘッドマウントディスプレイの移動を追跡することを更に含む、請求項２８に記載の方法。
34. 前記ヘッドマウントディスプレイの移動を追跡することが、前記ヘッドマウントディスプレイに連結される基準マーカーの移動を追跡することを含む、請求項３３に記載の方法。
35. 前記ヘッドマウントディスプレイから離れた第２の表示デバイスを提供することであって、前記第２の表示デバイスが、第３の及び更なるディスプレイを備える、提供することと、
    前記第１の処理された画像データを前記第３のディスプレイに表示することと、
    前記第２の処理された画像データを前記第４のディスプレイに表示することと、を更に含む、請求項２８に記載の方法。
36. 第１及び第２の撮像装置が、少なくとも１つのプレノプティックカメラを備える、請求項２８に記載の方法。
37. 前記プレノプティックカメラから受信される画像データを処理することと、
    前記画像データから少なくとも１つの仮想カメラをレンダリングすることと、
    前記第１のディスプレイを介して、前記仮想カメラに対応する画像を提示することと、を更に含む、請求項２８に記載の方法。
38. 前記少なくとも１つの仮想カメラをレンダリングすることが、前記ディスプレイがユーザの頭部に載置されたときに、前記ユーザの眼の位置に対応する場所に前記少なくとも１つの仮想カメラをレンダリングすることを含む、請求項３７に記載の方法。
39. 前記少なくとも１つの仮想カメラをレンダリングすることが、取り込まれた光照射野の一部分の拡大ビューをレンダリングすることを含む、請求項３７に記載の方法。

Images