JP2020516090A - ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング - Google Patents

Abstract

ヘッドマウントディスプレイのために光照射野をキャプチャしレンダリングするためのシステムおよび方法が開示される。媒介現実視覚化システムは、ユーザの頭部に取り付けられるように構成されたフレームと、フレームに結合されたディスプレイデバイスとを備えるヘッドマウントディスプレイアセンブリを含む。ヘッドマウントディスプレイアセンブリとは別個でそれから離間されたイメージングアセンブリは、光照射野データをキャプチャするように構成される。イメージングアセンブリおよびディスプレイデバイスと通信しているコンピューティングデバイスは、イメージングアセンブリから光照射野データを受信し、１つまたは複数の仮想カメラをレンダリングするように構成される。１つまたは複数の仮想カメラからの画像は、ディスプレイデバイスを介してユーザに提示される。

Description

本技術は、一般に、ヘッドマウントディスプレイのために光照射野をキャプチャしレンダリングすることに関する。詳細には、いくつかの実施形態は、拡張された媒介現実視覚化を提供するためのカメラのアレイおよび関連するヘッドマウントディスプレイなどの光照射野キャプチャシステムを対象とする。

従来のルーペ（たとえば、外科ルーペ）はいくつかの欠点がある。たとえば、従来のルーペは、ユーザの矯正視力要件および瞳孔間距離に基づいて、個人ごとにカスタマイズされ、したがって、ユーザ間で共有されることが不可能である。従来のルーペはまた、単一のレベル倍率に制限され、ユーザは、自身の行為のすべてをその倍率レベルに適応させることを強制されるか、または行為を実施するためにルーペの「外側」を変則的な角度で頻繁に見ることを強制され、ここでは、拡大は役に立たないかまたは不利益でさえある。従来のルーペは、極めて浅い被写界深度内でのみシャープな画像を供給し、その一方で、比較的狭い視野をも提供する。ブラインドスポットは、従来の外科ルーペのかさばる構成に起因する別の問題である。

国際公開第２０１５／１７９４４６号パンフレット

１つの解決策は、２つのカメラから取得された生ビデオをヘッドマウントディスプレイ（ＨＭＤ）にストリーミングすることを伴う。しかしながら、画像キャプチャと画像表示が密接に結合されるので、ＨＭＤを介して表示されることが可能な画像データにはいくつかの制約がある。したがって、ヘッドマウントディスプレイを介して立体視画像データをキャプチャしユーザにレンダリングするための改善されたシステムおよび方法が必要である。

本技術は、拡張された媒介現実視覚化のために光照射野をキャプチャしレンダリングするためのシステムおよび方法を対象とする。一実施形態では、たとえば、ユーザから離間された光照射野キャプチャデバイスが、画像データを取得し、次いで、その画像データは処理され、ヘッドマウントディスプレイを介してユーザに立体的に提示される。本明細書で使用されるとき、「媒介現実」という用語は、ウェアラブルディスプレイの使用によって現実の知覚を増すか、減じるか、またはさもなければ操作する能力を指す。「媒介現実」ディスプレイは、少なくとも「仮想現実」タイプディスプレイならびに「拡張現実」タイプディスプレイを含む。

上部、下部、前、後、上方、下方、上、下、直立、上向き、下向きなどのような相対方向性文言の使用は、相対的であり、地球の表面に関して定義された絶対方向または配向に制限されない。

本技術の一実施形態に従って構成されたイメージングアセンブリの斜視図である。 本技術の一実施形態に従って構成されたヘッドマウントディスプレイアセンブリの前面斜視図である。 本技術の一実施形態に従って構成されたヘッドマウントディスプレイアセンブリの後面斜視図である。 本技術の一実施形態に従って構成された媒介現実視覚化システムの概略図である。 外科的手技の間の使用中の媒介現実視覚化システムの図である。 本技術の一実施形態による媒介現実視覚化を提供するために光照射野をキャプチャしレンダリングするための方法のブロック図である。 ２つの実カメラからのデータを使用して仮想カメラをレンダリングする概略図である。

本技術のいくつかの実施形態の特定の詳細について、図１〜図６を参照しながら以下で説明される。本実施形態の多くについて、以下では、拡張された媒介現実視覚化を提供するために光照射野をキャプチャしレンダリングするためのデバイス、システム、および方法に関して説明されるが、他の実施形態は本技術の範囲内である。加えて、本技術の他の実施形態は、本明細書で説明されるものとは異なる構成、構成要素、および／または手順を有することができる。たとえば、他の実施形態は、本明細書で説明されるもの以外の追加の要素および特徴を含むことができるか、または他の実施形態は、本明細書で図示および説明される要素および特徴のいくつかを含まないことがある。本技術のいくつかの実施形態は、その全体が参照により本明細書に組み込まれる、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｅｄｉａｔｅｄ−Ｒｅａｌｉｔｙ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ」と題する、特許文献１において開示された技術の態様と組み合わされることが可能であるかまたはそれを組み込むことができる。

参照しやすいように、本開示全体にわたって、同様または類似の構成要素または特徴を識別するために同一の参照番号が使用されるが、同じ参照番号の使用は、それらの部分が同一であるべきことを暗示しない。実際、本明細書で説明される多くの例では、同一の番号を付された部分は、構造および／または機能が別個である。

媒介現実視覚化システムの選ばれた実施形態
図１は、イメージングアセンブリ１００の斜視図である。イメージングアセンブリ１００は、フレーム１０３に取り付けられた複数のイメージングデバイス１０１ａ〜ｊ（まとめて「イメージングデバイス１０１」）を含む。使用中に、イメージングアセンブリ１００は、注目する対象（たとえば、拡大またはさもなければ拡張視覚化を必要とする手術部位、加工物、または他のエリア）の近くに位置決めされ得る。イメージングアセンブリ１００は、フレーム１０３の一部として取付けアーマチュアを含むことができ、これらの取付けアーマチュアは、いくつかの実施形態では、個々のイメージングデバイス１０１の間隔および配向を変更するための機構を含み得る。イメージングアセンブリ１００はまた、測光キャプチャおよび処理を可能にするために選択的にアクティブにされることが可能である複数の光源１０４ａ〜ｆ（まとめて「光源１０４」）を含む。イメージングアセンブリ１００はまた、マルチビューステレオおよび関係する技法を使用して、シーンのジオメトリを推定するのを支援するためにテクスチャパターンを投影することができる少なくとも１つのプロジェクタ１０７を含む。イメージングアセンブリ１００は、正確な位置決めおよび制御のために複数のジョイント、モーター、およびエンコーダとともに関節アーム（図示せず）上に取り付けられ得る。シーンのジオメトリを検出することによって、イメージングアセンブリ１００は、イメージングアセンブリ１００と表面に沿った様々な点との間の距離が表面位相により変動する場合でも、イメージングされている表面全体の焦点が合っているように非平面焦点面をレンダリングするために使用されることが可能である。

以下でより詳細に説明されるように、イメージングアセンブリ１００によって収集された情報は、ヘッドマウントディスプレイアセンブリ２００（図２Ａおよび図２Ｂ）において表示されることが可能であり、イメージングアセンブリ１００のいくつかの特徴および方法は、このヘッドマウントディスプレイ適用例のためにカスタマイズされ得る。たとえば、いくつかの実施形態では、いくつかの技法は、個々のイメージングデバイス１０１を選択的に読み取ること、またはイメージングデバイス１０１の各々内のピクセルを選択的に読み取ることを含めて、システムのデータ通信要件を低減するために使用されることが可能である。

個々のイメージングデバイス１０１は、たとえば、ＣＣＤまたはＣＭＯＳイメージセンサーおよび関連する光学素子などのデジタルビデオカメラであることが可能である。イメージングデバイス１０１は、フレーム１０３に取り付けられ、イメージングデバイス１０１が共通点のほうへ向けられそれに焦点を合わされた半球状アレイに配置される。しかしながら、他の実施形態では、イメージングデバイス１０１は、異なる構成で配置されること、たとえば、デバイスが焦点のほうへ収束しないか、または互いに発散さえする、平面アレイに配置されることが可能である。

複数の光源１０５は、フレーム１０３の周りに配設され、イメージングアセンブリ１００の視野を照明するように構成される。光源１０５は、たとえば、ＬＥＤ、蛍光ランプ、または任意の他の好適な照明源であることが可能である。以下でより詳細に説明されるように、光源１０５は、測光幾何学推定および鏡面度分析のために使用されることが可能である。

プロジェクタ１０７はまた、フレーム１０３に取り付けられ、イメージングアセンブリ１００の視野に画像を投影するように構成されることが可能である。一実施形態では、プロジェクタ１０７は、１２８０×８００の解像度をもつ標準の市販されているプロジェクタである。他の実施形態では、プロジェクタ１０７は、所望の解像度でイメージングアセンブリ１００の視野に画像を投影することが可能な任意の好適なデバイスであることが可能である。以下でより詳細に説明されるように、プロジェクタ１０７は、シーンジオメトリ情報を捕捉するために使用されることが可能である。いくつかの実施形態では、プロジェクタ１０７は、固定テクスチャパターンを投影するように構成された１つまたは複数の光源およびマスク光学素子と交換されることが可能であり、固定テクスチャパターンは、プロジェクタ１０７によって提供される完全に動的なパターンよりも少ないコストがかかることがある。

１０個のイメージングデバイス１０１が示されているが、使用されるデバイスの数は広範囲に変化することができる。いくつかの実施形態では、イメージングデバイス１０１のアレイの代わりに単一のプレノプティックカメラが使用されることが可能である。たとえば、イメージングアセンブリ１００は、画像センサーと主レンズとの間にレンズレットアレイをもつ単一の画像センサーを含むことができる。このレンズレットアレイは光照射野のキャプチャを可能にし、それから、異なる焦点面および異なる視点（パララックス）をもつ画像が計算されることが可能である。光照射野パララックス調整技法を使用して、様々なカメラ間の画像視点の差が補償されることが可能であり、それにより、ズームレベルが変化するとき、視点は変化しない。イメージングデバイス１０１は、それらが生成する高い帯域幅のデータをサポートするためにＵＳＢ３または他のそのようなコネクタフォーマットを介して接続されることが可能である。１つの特定の実施形態では、各イメージングデバイス１０１は、最高３０フレーム毎秒で、９６４×９６４ピクセルで画像をキャプチャするように構成される。

以下でより詳細に説明されるように、イメージングアセンブリ１００からキャプチャされた光照射野データは、たとえばヘッドマウントディスプレイを介して、ユーザに立体的にレンダリングされることが可能である。いくつかの実施形態では、イメージングアセンブリ１００からキャプチャされたデータは、２つの「仮想カメラ」をレンダリングするために使用され、１つの仮想カメラがユーザの各眼に位置決めされる。これらの仮想カメラは、ユーザの観点から、ユーザがまったくディスプレイデバイスを着用していないように、ヘッドマウントディスプレイアセンブリの追跡に基づいてユーザのポーズに従って位置決めされることが可能である。

イメージングデバイス１０１のアレイは、イメージングアセンブリ１００がプレノプティックカメラとして機能することができるように、光照射野データのキャプチャを可能にする。イメージングアセンブリ１００を介して光照射野データをキャプチャし、キャプチャされた光照射野を処理することは、従来のカメラを介した直接ビデオまたは画像キャプチャのストリーミングに勝るいくつかの利益を提供することが予想される。たとえば、光照射野レンダリングは、複数の焦点面（非平面焦点表面さえも）、合成開口、および部分的遮蔽（obscuration）を「通して見ること」など、物理的カメラを用いて不可能な視覚的効果を可能にする。および、物理的カメラについて不可能ではないが、光照射野レンダリングは、射影幾何学におけるスケール曖昧性を利用する、仮想瞳孔間距離とシーンからの仮想カメラの距離を同時に変化させることによってユーザを見かけ上縮小または増大することなど、他の有用な効果を容易に可能にする。ズーム機能が実装されることが可能であるのは、動的スケール変更を通してである。しかしながら、ただ画像を拡大する代わりに、この効果は、同じシーンを見てまわるが、より近いバンテージポイントで見てまわる能力を用いて、ユーザが実際に縮小している（または世界がより大きく増大している）かのようになることが可能である。

図２Ａおよび図２Ｂは、それぞれ、ヘッドマウントディスプレイアセンブリ２００の前面斜視図および後面斜視図である。ディスプレイアセンブリ２００は、前方表面２０５と、前方表面２０５の反対の後方表面２０７とを有するフレーム２０３を備える。ディスプレイデバイス２０９は、後方表面２０７にわたって、後方表面２０７から離れて外側に配設される。ディスプレイアセンブリ２００は、概して、ユーザの頭部（図示せず）にわたって着用され、特にディスプレイデバイス２０９がユーザの眼のほうへ画像を表示するようにユーザの眼にわたって着用されるように構成される。

図示の実施形態では、フレーム２０３は、標準のアイウェアと概して同様に形成され、眼窩はブリッジによって接合され、テンプルアームは、着用者の耳に係合するために後方に延びる。しかしながら、他の実施形態では、フレーム２０３は他の形態をとることができ、たとえば、着用者の頭部にディスプレイアセンブリ２００を取り付けるために、ストラップがテンプルアームと交換されることが可能であるか、または、いくつかの実施形態では、部分的ヘルメットが使用されることが可能である。

フレーム２０３は、右眼部分２０４ａおよび左眼部分２０４ｂを含む。ユーザによって着用されたとき、右眼部分２０４ａは、概してユーザの右眼にわたって位置決めされるように構成されるが、左眼部分２０４ｂは、概してユーザの左眼にわたって位置決めされるように構成される。ディスプレイアセンブリ２００は、ディスプレイアセンブリ２００を着用しているユーザがフレーム２０３を通して見ることができないように、概して不透明であることが可能である。しかしながら、他の実施形態では、ディスプレイアセンブリ２００は、ユーザがディスプレイアセンブリ２００を着用しながらフレーム２０３を通して見ることができるように、透明または半透明であることが可能である。ディスプレイアセンブリ２００は、ユーザの標準のめがねにわたって着用されるように構成されることが可能である。ディスプレイアセンブリ２００は、たとえば、外科手術室において眼の保護のためのＯＳＨＡ規定を満たすために強化ガラスまたは他の十分に丈夫な材料を含むことができる。

ディスプレイアセンブリ２００は、それぞれ、第１および第２の制御電子回路２１５ａ〜ｂを含むことができる。制御電子回路２１５ａ〜ｂは、図３に関して以下でより詳細に説明されるように、イメージングアセンブリ１００などの他の構成要素とのネットワークを介した有線または無線通信を提供するように構成されることが可能である。図示の実施形態では、制御電子回路２１５ａ〜ｂはフレーム２０３に結合される。しかしながら、いくつかの実施形態では、制御電子回路２１５ａ〜ｂはイメージングアセンブリ１００に結合され、ディスプレイアセンブリ２００とワイヤレス通信する。他の実施形態では、制御電子回路２１５ａ〜ｂは、単一の構成要素またはチップに組み込まれることが可能であり、いくつかの実施形態では、制御電子回路２１５ａ〜ｂは、フレーム２０３に物理的に取り付けられていない。制御電子回路２１５ａ〜ｂは、イメージングアセンブリ１００から出力されたデータを受信するように構成されることが可能であり、また、イメージングアセンブリ１００の動作を制御する（たとえば、イメージングを開始する、物理的ズームを制御する、オートフォーカスする、および／または組み込まれた照明源を動作させる）ように構成されることが可能である。いくつかの実施形態では、制御電子回路２１５ａ〜ｂは、イメージングアセンブリ１００から出力されたデータを処理する、たとえば、デジタルズームを提供する、オートフォーカスする、および飽和度、輝度などの画像パラメータを調整するように構成されることが可能である。他の実施形態では、画像処理は外部デバイス上で実施され、有線または無線通信リンクを介して制御電子回路２１５ａ〜ｂに通信されることが可能である。以下でより詳細に説明されるように、イメージングアセンブリ１００からの出力は、既存の画像（たとえば、Ｘ線画像、透視法、ＭＲＩまたはＣＴスキャン、解剖図データなど）、同時にキャプチャされている他の画像（たとえば、内視鏡によってキャプチャされているか、または手術部位の周りで処置された他の画像）、患者のバイタルデータなど、追加のデータを組み込むように処理されることが可能である。加えて、さらなる操作が、視野内の領域の選択的拡大を可能にすることができる。

フレーム２０３の前方表面２０５にわたって基準マーカー２１７が配設されることが可能である。基準マーカー２１７は、ディスプレイアセンブリ２００の動き追跡のために使用されることが可能である。いくつかの実施形態では、たとえば、基準マーカー２１７は、赤外光カメラシステムによって検出される１つまたは複数の赤外光源であることが可能である。他の実施形態では、基準マーカー２１７は、磁気もしくは電磁プローブ、反射要素、または空間中でディスプレイアセンブリ２００の位置を追跡するために使用されることが可能である任意の他の構成要素であることが可能である。基準マーカー２１７は、ディスプレイアセンブリ２００の移動および配向を追跡するために内蔵コンパスおよび／または加速度計を含むかまたはそれらに結合されることが可能である。

フレーム２０３の後方表面２０７上に、ディスプレイデバイス２０９が配設され、後方に面する。図２Ｂにおいて最も良くわかるように、ディスプレイデバイス２０９は、第１および第２のディスプレイ２１９ａ〜ｂを含む。ディスプレイ２１９ａ〜ｂは、たとえば、ＬＣＤスクリーン、ホログラフィックディスプレイ、プラズマスクリーン、プロジェクションディスプレイ、またはヘッドアップディスプレイ環境において使用されることが可能である比較的薄いフォームファクタを有する任意の他の種類のディスプレイを含むことができる。第１のディスプレイ２１９ａはフレーム２０３の右眼部分２０４ａ内に配設されるが、第２のディスプレイ２１９ｂはフレーム２０３の左眼部分２０４ｂ内に配設される。ディスプレイアセンブリ２００がユーザによって着用されたとき、第１および第２のディスプレイ２１９ａ〜ｂがそれぞれユーザによってユーザの右眼および左眼で閲覧可能であるように、第１および第２のディスプレイ２１９ａ〜ｂは後方に配向される。各眼について別個のディスプレイを使用することは、立体視ディスプレイを可能にする。立体視ディスプレイは、わずかに異なる２次元画像を左眼および右眼に別々に提示することを伴う。２つの画像間のオフセットのために、ユーザは３次元深度を知覚する。

第１および第２のディスプレイ２１９ａ〜ｂは、それぞれ、第１および第２の制御電子回路２１５ａ〜ｂに電気的に結合されることが可能である。制御電子回路２１５ａ〜ｂは、ディスプレイ２１９ａ〜ｂへの入力を提供し、それらの動作を制御するように構成されることが可能である。制御電子回路２１５ａ〜ｂは、ディスプレイ２１９ａ〜ｂへのディスプレイ入力、たとえば、イメージングアセンブリ１００から取得された処理済み画像データを提供するように構成されることが可能である。たとえば、一実施形態では、イメージングアセンブリ１００からの画像データは、第１の制御電子回路２１５ａを介して第１のディスプレイ２１９ａに通信され、同様に、イメージングアセンブリ１００からの画像データは、第２の制御電子回路２１５ｂを介して第２のディスプレイ２１９ｂに通信される。イメージングアセンブリ１００およびディスプレイ２１９ａ〜ｂの位置および構成に応じて、ユーザは、ディスプレイアセンブリ２００を着用することなしに、ユーザが見るはずの観点を模倣する立体視画像を提示されることが可能である。いくつかの実施形態では、イメージングアセンブリ１００から取得された画像データは、処理され、たとえば、ユーザがディスプレイ２１９ａ〜ｂを介してズームされたビューを提示されるように、デジタル的にズームされることが可能である。

第１および第２のアイトラッカー２２１ａ〜ｂは、第１および第２のディスプレイ２１９ａ〜ｂに隣接する、フレーム２０３の後方表面にわたって配設される。第１のアイトラッカー２２１ａは、フレーム２０３の右眼部分２０４ａ内に位置決めされることが可能であり、ユーザがディスプレイアセンブリ２００を着用している間、ユーザの右眼の移動を追跡するように配向および構成されることが可能である。同様に、第２のアイトラッカー２２１ｂは、フレーム２０３の左眼部分２０４ｂ内に位置決めされることが可能であり、ユーザがディスプレイアセンブリ２００を着用している間、ユーザの左眼の移動を追跡するように配向および構成されることが可能である。第１および第２のアイトラッカー２２１ａ〜ｂは、ユーザの眼の移動を判定するように構成されることが可能であり、制御電子回路２１５ａ〜ｂと電子的に通信することができる。いくつかの実施形態では、ユーザの眼の移動は、制御電子回路２１５ａ〜ｂへの入力制御を提供するために使用されることが可能である。たとえば、ディスプレイ２１９ａ〜ｂを介してユーザに表示される画像の一部分にわたって視覚的メニューがオーバーレイされることが可能である。ユーザは、自身の眼の焦点をメニューからの項目の上に合わせることによって、その項目の選択を示すことができる。アイトラッカー２２１ａ〜ｂは、ユーザが焦点を合わせている項目を判定することができ、項目選択のこの指示を制御電子回路２１５ａ〜ｂに提供することができる。たとえば、この特徴は、ユーザが、特定の画像に適用されるズームのレベルを制御することを可能にする。いくつかの実施形態では、マイクロフォンまたは物理的ボタンがディスプレイアセンブリ２００上に存在することができ、話されたコマンドまたはボタンとの物理的接触のいずれかを介してユーザ入力を受信することができる。他の実施形態では、イメージングアセンブリ１００を介したジェスチャー認識、アシスタントコントロールなど、他の形態の入力が使用されることが可能である。

本明細書で説明される技術は内視鏡システムに適用され得る。たとえば、（異なる視野またはビュー／倍率の組合せをもつ）複数のカメラをイメージングアセンブリ１００上に取り付けるのではなく、複数のカメラは内視鏡の先端に取り付けられ得る。代替として、単一の主レンズにレンズレットアレイを加えたものが内視鏡の先端に取り付けられ得る。次いで、再焦点合わせ、２つの異なる観点からのステレオ画像をレンダリングすること、またはズーミングなどの光照射野レンダリング技法が適用され得る。そのような場合、収集された画像は、ウェアラブルヘッドマウントディスプレイアセンブリ２００を通して表示され得る。

図３は、本技術の一実施形態に従って構成された媒介現実視覚化システムの概略図である。本システムは、たとえば、公衆インターネット、イントラネットなどのプライベートネットワーク、または他のネットワークであることが可能である、通信リンク３０１を介して互いに通信しているいくつかの構成要素を含む。各構成要素と通信リンク３０１との間の接続は、無線（たとえば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＧＳＭ、ＣＤＭＡ、３Ｇ、もしくは４Ｇなどのセルラー通信など）または有線（たとえば、イーサネット、ＦｉｒｅＷｉｒｅケーブル、ＵＳＢケーブルなど）であることが可能である。ヘッドマウントディスプレイアセンブリ２００およびイメージングアセンブリ１００は、それぞれ通信リンク３０１に結合される。いくつかの実施形態では、イメージングアセンブリ１００は、画像データをキャプチャするように構成されることが可能であり、ヘッドマウントディスプレイアセンブリ２００は、一体型ディスプレイデバイス２０９を介して、ディスプレイアセンブリ２００を着用しているユーザに画像を表示するように構成されることが可能である。ディスプレイアセンブリ２００は、トラッカー３０３によって追跡されることが可能である基準マーカー２１７をさらに含む。トラッカー３０３は、光学追跡、音響もしくは電磁検出、または位置追跡に対する任意の他の好適な手法を介して基準マーカー２１７の位置および移動を判定することができる。イメージングアセンブリ１００は、トラッカー３０３によって追跡される１つまたは複数の基準マーカーを同様に含むことができる。いくつかの実施形態では、トラッカー３０３は、患者の位置およびいくつかの解剖学的特徴を追跡するために手術中に使用するように構成されることが可能である。たとえば、トラッカー３０３は、ＭｅｄｔｒｏｎｉｃのＳｔｅａｌｔｈＳｔａｔｉｏｎ（登録商標）手術ナビゲーションシステムなどの手術ナビゲーションシステムの一部であることが可能である。そのようなシステムは、手術部位の周りのプローブの位置を識別することができ、また、ＭＲＩ、ＣＴ、透視法などの他の術中イメージングシステムとインターフェースすることができる。トラッカー３０３はまた、たとえば、手術部位の周りの関節アーム上の他のカメラ、内視鏡、リトラクタ上に取り付けられたカメラなど、追加のイメージャ３０５の位置を追跡することができる。たとえば、追加のイメージャ３０５は、トラッカー３０３が位置および配向を検出することを可能にするために、プローブまたは基準マーカーを同様に装備されることが可能である。トラッカー３０３によって取得された位置情報は、ディスプレイアセンブリ２００に対しておよび手術部位に対して追加のイメージャ３０５の位置および配向を判定するために使用されることが可能である。いくつかの実施形態では、追加のイメージャ３０５は、ヘッドマウントディスプレイアセンブリ２００の位置および／または動作に応じて選択的にアクティブにされることが可能である。たとえば、ディスプレイアセンブリ２００を着用しているユーザが、追加のイメージャ３０５の視野内にある特定のエリアを見ているとき、その追加のイメージャ３０５はアクティブにされることが可能であり、データが記録されて、ディスプレイアセンブリ２００からの画像データと合成されることが可能である。いくつかの実施形態では、追加のイメージャ３０５は、たとえば追加のイメージャ３０５を回転してディスプレイアセンブリ２００の視野と重複する視野をキャプチャすることによって、ヘッドマウントディスプレイアセンブリ２００の位置および／または動作に応じてそれらの位置および／または配向を変更するように制御されることが可能である。

計算構成要素３０７は、通信リンク３０１を介して他の構成要素と対話するための複数のモジュールを含む。計算構成要素３０７は、たとえば、ディスプレイモジュール３０９、動き追跡モジュール３１１、登録モジュール３１３、および画像キャプチャモジュール３１５を含む。いくつかの実施形態では、計算構成要素３０７は、コンピュータ可読媒体に記憶されたコンピュータ実行可能命令に従って演算を実施することができるＣＰＵなどのプロセッサを含むことができる。いくつかの実施形態では、ディスプレイモジュール、動き追跡モジュール、登録モジュール、および画像キャプチャモジュールは、演算を実施するように構成されたプロセッサをそれぞれ有する別個のコンピューティングデバイスにおいてそれぞれ実装され得る。いくつかの実施形態では、これらのモジュールの２つ以上が単一のコンピューティングデバイス中に含まれていることが可能である。計算構成要素３０７はまた、データベース３１７と通信している。

ディスプレイモジュール３０９は、ディスプレイデバイス２０９を介したユーザへの提示のためにディスプレイアセンブリ２００にディスプレイ出力情報を提供するように構成されることが可能である。上述されたように、これは、異なる画像が第１および第２のディスプレイデバイス２１９ａ〜ｂ（図２Ｂ）を介して各眼に提供される、立体視ディスプレイを含むことができる。ディスプレイアセンブリ２００に提供されるディスプレイ出力は、イメージングアセンブリ１００によってキャプチャされたリアルタイムまたはほぼリアルタイムのビデオフィードを含むことができる。いくつかの実施形態では、ディスプレイ出力は、他のデータ、たとえば、術前画像データ（たとえば、ＣＴ、ＭＲＩ、Ｘ線、透視法）、標準の解剖学的画像（たとえば、教科書の解剖図もしくは死体から導出された画像）、または現在の患者バイタルサイン（たとえば、ＥＫＧ、ＥＥＧ、ＳＳＥＰ、ＭＥＰ）の統合を含むことができる。この追加のデータは、たとえば、計算構成要素３０７によるアクセスのためにデータベース３１７に記憶されることが可能である。いくつかの実施形態では、追加のリアルタイム画像データが、追加のイメージャ３０５から取得され、ディスプレイアセンブリ２００のディスプレイデバイス２０９を介してユーザに提示されることが可能である（たとえば、手術部位の周りの関節アーム上の他のカメラからのリアルタイム画像データ、内視鏡、リトラクタ上に取り付けられたカメラなど）。そのような追加のデータは、表示のために統合されることが可能であり、たとえば、それは、ピクチャインピクチャ、またはイメージングアセンブリ１００からのリアルタイム画像の表示にわたる他のオーバーレイとして提供されることが可能である。いくつかの実施形態では、追加のデータは、イメージングアセンブリ１００からのリアルタイム画像の表示に統合されることが可能であり、たとえば、Ｘ線データは、ユーザがイメージングアセンブリ１００からのリアルタイム画像とＸ線データの両方を、統合された画像として一緒に閲覧するように、表示に統合されることが可能である。追加の画像データ（たとえば、Ｘ線、ＭＲＩなど）が、イメージングアセンブリ１００からのリアルタイムフィードとコヒーレントに提示されるために、追加の画像データは、ディスプレイアセンブリ２００の位置および配向に基づいて処理および操作されることが可能である。同様に、いくつかの実施形態では、教科書の解剖図または他の参照画像（たとえば、死体から導出されたラベル付き画像）が、キャプチャされた画像へと正しく配向されるように操作およびワーピングされることが可能である。これは、外科医が、手術中に、リアルタイム画像データの上に重ね合わされた既存の画像からの解剖学的ラベルを視覚化することを可能にすることができる。いくつかの実施形態では、ユーザは、音声コマンド、メニュー項目を選択するための眼の移動、アシスタントコントロール、または他の入力を介して、異なるビュー間でトグルすることができる。たとえば、ユーザは、イメージングアセンブリ１００からの画像のリアルタイムフィードと、１つまたは複数の追加のイメージャ３０５からキャプチャされた画像のリアルタイムフィードとの間でトグルすることができる。

動き追跡モジュール３１１は、手術部位に対して、ディスプレイアセンブリ２００およびイメージングアセンブリ１００ならびに何らかの追加のイメージャ３０５の位置および配向を判定するように構成されることが可能である。上述されたように、トラッカー３０３は、光学的にまたは他の技法を介して、ディスプレイアセンブリ２００、イメージングアセンブリ１００、および何らかの追加のイメージャ３０５の位置を追跡することができる。この位置および配向データは、ディスプレイモジュール３０９を介した適切なディスプレイ出力を提供するために使用されることが可能である。

登録モジュール３１３は、外科的フレーム中のすべての画像データを登録するように構成されることが可能である。たとえば、ディスプレイアセンブリ２００、プレノプティックイメージングアセンブリ１００、および何らかの追加のイメージャ３０５の位置および配向データが、動き追跡モジュール３１１から受信されることが可能である。追加の画像データ、たとえば、術前画像が、データベース３１７からまたは別のソースから受信されることが可能である。この追加の画像データ（たとえば、Ｘ線、ＭＲＩ、ＣＴ、透視法、解剖図など）は、典型的には、ディスプレイアセンブリ２００、イメージングアセンブリ１００、または追加のイメージャ３０５のいずれかのいずれの観点からも記録されることがない。その結果、補足の画像データが処理および操作されて、適切な観点でディスプレイアセンブリ２００のディスプレイデバイス２０９を介してユーザに提示されなければならない。登録モジュール３１３は、術前画像中に検出された解剖学的または人工基準マーカーと、手術ナビゲーションシステム、ディスプレイアセンブリ２００、イメージングアセンブリ１００、または他の追加のイメージャ３０５によって検出されたそれらの同じ解剖学的または人工基準マーカーとを比較することによって、外科的基準系において補足の画像データを登録することができる。

画像キャプチャモジュール３１５は、イメージングアセンブリ１００からの、また何らかの追加のイメージャ３０５からの画像データをキャプチャするように構成されることが可能である。キャプチャされた画像は、連続ストリーミングビデオおよび／または静止画像を含むことができる。いくつかの実施形態では、追加のイメージャ３０５の１つまたは複数はプレノプティックカメラであることが可能であり、その場合、画像キャプチャモジュール３１５は、光照射野データを受信し、そのデータを処理して特定の画像をレンダリングするように構成されることが可能である。

図４は、外科的手技の間の操作中の媒介現実視覚化システムを示す。外科医４０１は、患者の手術部位４０３への手術中にヘッドマウントディスプレイアセンブリ２００を着用する。イメージングアセンブリ１００は、手術部位４０３にわたって位置決めされるべき関節アームに取り付けられる。トラッカー３０３は、ディスプレイアセンブリ２００およびイメージングアセンブリ１００の移動および位置に追従する。上述されたように、トラッカー３０３は、光学追跡、音響もしくは電磁検出、または位置追跡に対する任意の他の好適な手法を介して、ディスプレイアセンブリ２００およびイメージングアセンブリ１００上の基準マーカーの位置および移動を判定することができる。いくつかの実施形態では、トラッカー３０３は、ＭｅｄｔｒｏｎｉｃのＳｔｅａｌｔｈＳｔａｔｉｏｎ（登録商標）手術ナビゲーションシステムなどの手術ナビゲーションシステムの一部であることが可能である。トラッカー３０３はまた、たとえば、手術部位の周りの関節アーム上の他のカメラ、内視鏡、リトラクタ上に取り付けられたカメラなど、追加のイメージャの位置を追跡することができる。

外科医４０１が手術している間、イメージングアセンブリ１００を介してキャプチャされた画像は、処理され、ディスプレイアセンブリ２００内の組み込まれたディスプレイデバイス２０９（図２Ｂ）を介して外科医に立体的に表示される。その結果は、イメージングアセンブリ１００によってキャプチャされたデータから生成された外科医の視野または任意の他の所望のビューの媒介現実表現である。上述されたように、追加の画像データまたは他のデータが統合され、外科医に表示されることも可能である。外科医４０１に提示されているディスプレイデータは、リアルタイムで同時にまたはある時間遅延で、遠隔ユーザ４０５にストリームされることが可能である。遠隔ユーザ４０５は、一体型立体視ディスプレイとともに構成されたヘッドマウントディスプレイアセンブリ４０７を同様に装着することができるか、またはディスプレイデータは、外部ディスプレイを介して遠隔ユーザ４０５に提示されることが可能である。いくつかの実施形態では、遠隔ユーザ４０５は外科ロボットを遠隔的に制御することができ、それにより、外科的視覚化を改善するための臨場感および遠近感を遠隔ユーザ４０５に提供しながら遠隔手術が実施されることが可能になる。いくつかの実施形態では、複数の遠隔ユーザが、手術部位の周りに配設された複数の異なるプレノプティックカメラおよび他のイメージングデバイスからレンダリングされた異なる視点から手術部位を同時に見ることができる。

イメージングアセンブリ１００および／またはディスプレイアセンブリ２００は、音声コマンドに応答するかまたは外科医の眼を追跡することさえしてよく、このようにして、外科医４０１がフィードを切り替え、採用されている倍率のレベルを微調整することが可能になる。患者のバイタルサイン（ＥＫＧ、ＥＥＧ、ＳＳＥＰ、ＭＥＰ）、イメージング（ＣＴ、ＭＲＩなど）、および外科医が所望する任意の他の情報を用いたヘッドアップディスプレイは、外科医の要求でスクロールしてよく、それにより、外部モニタを評価するかまたは麻酔チームに問い合わせるために操作のフローを中断する必要がなくなる。無線ネットワーキングは、プロセッサ（たとえば、計算構成要素３０７）と通信する能力をイメージングアセンブリ１００および／またはディスプレイアセンブリ２００に吹き込むことがあり、この能力は、オートフォーカスのような単純なツールから蛍光ビデオ血管造影法および腫瘍「ペイント」まであらゆるもので外科医の視覚的作業環境を増強することができる。イメージングアセンブリ１００およびディスプレイアセンブリ２００は、高価な外科用顕微鏡、および近い将来の遠隔ロボットワークステーションさえの必要に取ってかわることができ、顕微鏡および内視鏡と併せて使用される「注文仕立て」のガラスルーペの現行のシステムへの経済的代替を提示する。

ヘッドマウントディスプレイアセンブリ２００は、視覚情報の複数のストリームを統合し、それを視覚化のために外科医に送るだけでなく、リアルタイム分析および修正のために遠隔処理パワー（たとえば、計算構成要素３０７（図３））にも送ることができる。いくつかの実施形態では、本システムは、パターン認識を利用して、注意を要する出血の解剖学的構造およびソースの識別を支援し、このようにして、デジタル外科アシスタントとして働くことができる。教科書または適応解剖学のリアルタイムオーバーレイは、構造を識別するのを支援し、ならびに／または常駐医師および他の学習者への教示援助として働き得る。いくつかの実施形態では、本システムは、外科フィールドと相互作用するための追加の技術を装備されることが可能であり、たとえば、イメージングアセンブリ１００は、リアルタイムに組織特性を分析するかまたは外科フィールドをマッピングするのを支援し、したがって、外科医が切除の程度に関する決定を行うことなどを支援し得る、ＬｉＤＡＲを含むことができる。いくつかの実施形態では、イメージングアセンブリ１００に組み込まれた光源１０５は、最も良くいくつかの手術状況を照明するかまたは光の異なる波長を提供してバイオ蛍光薬剤と相互作用するためにどのようにすべきかを（たとえば、機械学習技法を介して）「教示」されることが可能である。

いくつかの実施形態では、イメージングアセンブリ１００および他のイメージャから記録されたデータは、手術部位の異なる視点および視覚化を後で生成するために使用されることが可能である。たとえば、記録されたデータの後の再生のために、異なる倍率、追加の画像データの異なる統合、および／または異なる視点を有する画像が生成されることが可能である。これは、手技のレビューのためにまたはトレーニング目的のために特に有用であり得る。

いくつかの実施形態では、外部ツールの位置は、入力について追跡されることが可能である。たとえば、メスまたは他の外科ツールの先端が（たとえばトラッカー３０３を使用して）追跡されることが可能であり、拡大されたボリュームが、メスまたは他の外科ツールの先端において位置特定されることが可能である。いくつかの実施形態では、外科ツールは、本システムまたは他の外科システムのためのハプティックフィードバックまたは物理的制御を含むことができる。外科ツールが電子的または電気機械的に制御される状況では（たとえば、ツールが外科ロボットで制御される遠隔手術中に）、それらのツールの制御は、視覚化モードに応じて修正されることが可能である。たとえば、ツールが、視覚的に変換（たとえば、拡大）されるべき物理的ボリューム内に配設されたとき、ツールの制御は、視覚的スケーリング、回転などを補償するように修正されることが可能である。これは、制御が、視覚的に変換されたビューと、周囲のビューとの内部で同じままであることを可能にする。ツール制御のこの修正は、遠隔手術中の外科医が、ツールおよび手術部位の視覚化が修正されるときでさえ、ツールをより良く制御するのを助けることができる。

注目するポイントの近くに位置特定された環境中の追加のカメラからの情報は、ヘッドマウントディスプレイに結合されたイメージャからの画像と融合されて、それにより、注目する領域を拡大する能力が改善されることが可能である。深度情報は、深度センサーから生成または獲得され、焦点面をシーンの物理的ジオメトリとコロケートすることによってシーン全体を合焦状態にもたらすために使用されることが可能である。他の媒介現実の場合と同様に、データは、環境中でレンダリングおよび視覚化されることが可能である。光照射野キャプチャおよびレンダリングの使用は、オクルージョンの周りの閲覧を可能にすることができ、鏡面反射を除去することができる。いくつかの実施形態では、光照射野の処理はまた、組織タイプ間のコントラストを増加させるために使用されることが可能である。

図４に示されている例は手術に関与するが、本技術の実施形態は、様々な分野において有用に適用されることが可能である。たとえば、プレノプティックイメージングアセンブリおよびヘッドマウントディスプレイアセンブリを含む媒介現実視覚化システムは、建設、製造、サービス産業、ゲーミング、エンターテインメント、および拡張された視覚化が有益である様々な他のコンテキストにおいて使用されることが可能である。

図５は、本技術の一実施形態による拡張された視覚化のために光照射野をキャプチャしレンダリングするための方法のブロック図である。ルーチン５００はブロック５０１において開始する。ブロック５０３において、イメージングアセンブリ１００が較正される。較正は、イメージングアセンブリ１００および／またはヘッドマウントディスプレイアセンブリ２００と有線または無線通信している遠隔電子回路（たとえば、計算構成要素３０７）によって実施されることが可能である。またはいくつかの実施形態では、処理は、ヘッドマウントディスプレイアセンブリ２００によって担持される制御電子回路２１５ａ〜ｂを介して実施されることが可能である。いくつかの実施形態では、較正および画像処理ステップは、イメージングアセンブリ１００によって担持される制御電子回路によって実施されることが可能である。イメージングアセンブリ１００を較正することは、各イメージングデバイス１０１の内因性パラメータ（すなわち、レンズモデル）を推定すること、ならびに各イメージングデバイス１０１の外因性パラメータ（すなわち、本明細書ではデバイスの「ポーズ」と呼ばれる、グローバル基準系におけるロケーションおよび回転）を推定することを含むことができる。推定された内因性パラメータは、イメージングデバイス１０１からの生の入力画像を、完全なピンホール投射モデルから同等に生成されたデータに変換するために使用され、以下で説明される技法において使用可能であり得る。

イメージングアセンブリ１００のアレイ中のイメージングデバイス１０１ごとに、以下の内因性パラメータが推定され得る。

（ｆ）、ピクセルで表された、レンズの焦点距離、

（ｃｘ）、画像中心からのレンズ焦点中心のｘオフセット、および

（ｃｙ）、画像中心からのレンズ焦点中心のｙオフセット

レンズひずみ効果を補正するためのパラメータのセットが推定されることも可能である。レンズひずみは、その透視投影が画像中では直線として投影される、世界の中の直線が、湾曲して見えること、たとえば、フィッシュアイ効果を引き起こす。

カメラポーズと組み合わされたときに、上記のパラメータは、レンズひずみをもつピンホールカメラモデルについて十分な情報を提供する。ピンホールモデルは、世界の中の点をカメラの画像センサー上のピクセル上に投影し、同様に画像ピクセルを世界の中の光線として投影するために使用されることが可能である。入力画像中のノイズおよび非線形最適化基準は、許容できる較正精度を達成するために複数の画像が必要とされることを意味することがある。デジタルカメラでは、画像ノイズは、以下のいくつかのソースから来る可能性がある。

センサーノイズ：カメラセンサー自体が、熱効果および量子効果（スミアリング、ブルーミング、拡散、伝達効率、ダイナミックレンジ）に起因して「真」の値からのランダムオフセットを追加する。

量子化：連続信号が空間と値の両方において量子化されているということが、画像特徴の正確な位置特定を妨げる。

光学：不完全な焦点、ならびに色収差などの光学効果が、ピクセル単位レベルで画像中の特徴を正確に識別するのを混乱させる。

イメージングアセンブリ１００中のイメージングデバイス１０１ごとに較正パラメータを取得した後に、ポーズが互いに対して推定されることが可能であり、ポーズは、基準座標フレームに対するロケーション情報と回転情報の両方を含む。正確なポーズ情報は、次いで、以下でより詳細に説明されるように、ジオメトリ捕捉および光照射野レンダリングのために使用されることが可能である。ポーズ情報およびイメージングデバイス較正は、光照射野レンダリングでは、レンダラが、アレイ中のイメージングデバイス１０１によってキャプチャされた光線ごとに正確な空間座標および方向を有することを仮定するので、特に有用である可能性がある。デバイスの較正およびポーズ推定がピクセルによってさえもオフである場合、最終画像は、隣接する空間領域からの画像を取り入れることがあり、ぼけ効果につながる。したがって、正確な較正およびポスト情報は、シャープな画像を達成するのに有益である可能性がある。

いくつかの実施形態では、既知の基準マーカーが、イメージングアセンブリ１００によってイメージングされ、各イメージングデバイスのポーズを推定するために使用されることが可能である。たとえば、ＡｒＵｃｏライブラリは、ＯｐｅｎＣＶにおいて実装されているように、正方形基準マーカーの検出のために使用されることが可能である。既知の物理的サイズのマーカー、および所与の正確なデバイス較正パラメータを検出したとき、ＡｒＵｃｏは、基準マーカーに対するデバイスのポーズを提供する。ここでも、イメージングデバイス中のセンサーノイズにより、計算されたポーズにはある程度の不確実性があり得る。いくつかの実施形態では、基準マーカーの既知のアレイは、ポーズ推定の精度を高めるために使用されることが可能である。計算されたポーズ中のノイズは、たとえば非線形ポーズ推定を使用して、いくつかの別個のポーズ推定にわたって平均化することによってさらに低減されることが可能である。

ポーズおよびデバイス較正パラメータが推定されると、ルーチン５００は、ブロック５０５において、シーンジオメトリ情報を捕捉することに続く。上述されたように、スパースなイメージングデバイスアレイを使用した光照射野レンダリングは、シーンジオメトリの適度に良好な推定から恩恵を受ける。いくつかの実施形態では、シーンジオメトリは、構造光技法、たとえばＯｐｅｎＣＶにおいて実装されている３ＤＵＮＤＥＲＷＯＲＬＤ−ＳＬＳ方法のバージョンに基づくものを使用して推定されることが可能である。ステレオイメージングデバイスペアを使用したジオメトリ再構成の基本原理は、三角測量である。イメージングデバイスが較正され、それらのポーズが何らかの座標システムに対して既知である場合、画像中のピクセルごとに、光線は世界の中に投影され、イメージングデバイスの中心において開始し、そのピクセルを通過することが可能である。両方のイメージングデバイスによって同じ世界点が見られ、その点がそれによってイメージングされる対応するピクセルが既知である場合、光線の交差を発見して世界の中の点を位置特定することは、単純な事である。

そのような三角測量を実装する厄介な問題は、現実の世界において起こる。第１の問題は、イメージングデバイスＢ中のどのピクセルが、イメージングデバイスＡ中の特定のピクセルと同じ世界点を表すのかを判定することに関する。第２の問題は、センサーノイズおよび量子化効果からの不確実性に起因する。サブピクセル精度の場合でも、センサーノイズは、異なるイメージングデバイスのピクセル間の完全なマッピングを妨げることがある。したがって、点対応からの投影された光線は、実際には交差しないことがある。

構造光は、シーン中に既知のパターンを投影することによって対応問題を解決する。たとえば、イメージングアセンブリ１００に組み込まれたプロジェクタ１０７は、イメージングデバイス１０１の視野に既知のパターンを投影するために使用されることが可能である。一実施形態では、投影された光は、最初に水平方向に、次いで垂直方向に、１次元バイナリグレイコードを形成する。このようにして、各イメージングデバイス画像ピクセルは、プロジェクタ１０７のソースピクセルに一意に関連付けられることが可能である。いくつかの実施形態では、このルーチンは、ジオメトリキャプチャのために２ ｌｏｇ２（プロジェクタ解像度）に対応するいくつかの画像＋２つの画像を収集すること、たとえば１２８０×８００解像度をもつプロジェクタの場合は４４個の画像を収集することを含む。

構成光対応は、完全なジオメトリキャプチャを依然として達成しないことがある。各イメージングデバイス１０１の解像度は、プロジェクタ１０７の実効イメージング解像度よりも高くなることが可能なので、各プロジェクタピクセルは、各イメージングデバイス１０１の複数のピクセルを満たす。以下で説明される（再）投影ステップでは、イメージングデバイス１０１によってキャプチャされた画像中の平均サブピクセル座標が使用されることが可能である。しかしながら、シーンジオメトリが十分に傾斜しているかまたは反射性であって、復号のための十分な光がイメージングデバイス１０１に到達しない場合、すべてのイメージングデバイス１０１およびプロジェクタ１０７のフルビュー中にある、消失した情報の領域があり得る。

近接しているが交差しない問題は、２乗された距離の和に関してすべての投影された光線に最も近い点を発見することによって解決されることが可能である。いくつかの実施形態では、光照射野レンダリングは、構成光システムの出力が、消失した情報をもつ点クラウドである間、ホールなしの連続的メッシュを必要とする。そのような実施形態では、消失した情報は、以下のように満たされることが可能である。三角測量は、２つ以上のイメージングデバイス１０１によって見られ、プロジェクタ１０７によって照明された世界点についてのみ実施されることが可能であるので、各イメージングデバイス１０１は、それから覆い隠された非凸ジオメトリの領域から「シャドー（shadow）」をキャプチャする。ブランクの中を満たすための１つの方法は、シーンに対してイメージングデバイス１０１およびプロジェクタ１０７を回転させることであるが、これはキャプチャ時間を延ばし、余分の点クラウド登録ステップを必要とする。代替として、仮想シャドーを仮想的に「照明する」ような方法で（さもなければ冗長情報を提供する）別のイメージングデバイス１０１が配置されることが可能であり、真のシャドーのみが残される。同様に、第２のプロジェクタが、真のシャドーエリア中の情報を提供することができる。アレイ中の複数のイメージングデバイス１０１を使用すること（たとえば、１０個のイメージングデバイス１０１を使用すること）によって、イメージングアセンブリ１００は、いくつかの閲覧角にわたって冗長情報をキャプチャし、プロジェクタ１０７によってキャストされた何らかの本当のシャドーのみが残される。

点クラウドから高密度メッシュを作成するために、ルーチンは以下のステップを実施することができる。

１．プロジェクタを較正する：復号されたグレイコードは、各世界点をプロジェクタピクセルに直接関連付ける。その相関は、イメージングデバイスを較正するのと同じ方法で、プロジェクタの内因性の粗い較正を推定するために使用される。

２．スパースな深度マップを作成する：あたかもプロジェクタが、点クラウドを閲覧しているカメラであったかのように、ステップ１からの較正パラメータを使用して点クラウドを平面上に投影する。

３．高密度の深度マップを作成する：較正推定とグランドトゥルースとの間の、ならびに適切に復号されなかった領域上のわずかな不整合により、投影中にホールが存在することになる。これらのホールは、良好なデータを有する近くの領域から単に補間することによって満たされることが可能である。不完全であるが、この技法は、光照射野レンダリング適用例では十分な可能性がある。消失したデータをもつ領域が依然としてあり得るが、高密度の深度情報の連結成分が存在することになる。

４．メッシュを作成する：高密度の深度マップからの各有効ピクセルは、メッシュ中の頂点である。ピクセルを外に投影して頂点座標を取得するためにステップ１からの較正パラメータが使用されることが可能である。面は、隣接するピクセルの頂点からの三角形として定義されることが可能である。

シーンジオメトリ情報がメッシュとしてキャプチャされると、ルーチン５００はブロック５０７において続き、ヘッドマウントディスプレイアセンブリ２００が、位置および仮想カメラパラメータについて照会される。上述されたように、ヘッドマウントディスプレイアセンブリ２００のロケーションは、トラッカー３０３を介して追跡されることが可能である。第１および第２のアイトラッカー２２１ａ〜ｂは、ユーザの瞳孔間距離（ＩＰＤ）を判定するために使用されることが可能であり、それに応じて仮想カメラが位置決めされることが可能である。ブロック５０９において、ヘッドマウントディスプレイアセンブリ２００を介して、仮想カメラからの立体視ビューがレンダリングされる。仮想カメラからのビューは、以下でより詳細に説明されるように、イメージングアセンブリ１００のイメージングデバイス１０１の重み付きブレンドを使用することができる。

図６は、２つの異なる物理的イメージングデバイス（Ｃ₁およびＣ₂）から収集された光照射野データに基づいて仮想カメラ（Ｃ_V）をレンダリングする概略図である。光照射野レンダリングは、たとえばイメージングアセンブリ１００を介してキャプチャされた、サンプリングされた光照射野から新規の観点ビューを合成することを含む。各カメラＣ₁およびＣ₂に関連付けられるのは、回転、並進、および内因性パラメータ（焦点距離、ひずみなど）の値である。一方が連続的光照射野へのアクセスを有した場合、仮想カメラＣ_Vから新しいビューをレンダリングすることは、仮想ピクセルごとに、Ｃ_Vのカメラモデルを使用してそのピクセルを通して投影されるであろう光線をサンプリングすることを含むはずである。その結果は、どこでも完全に焦点が合っている画像、完全なピンホールレンダリングである。しかしながら、イメージングデバイスのスパースなアレイでは、この手法は可能でない。

Ｃ_Vのイメージング平面上の単一のピクセルｐ_Vを考察する。レンズひずみを無視すると、光線ｒ_Vは、ピクセルｐ_Vを通過する仮想カメラＣ_Vのピンホールから世界に投影されることが可能である。ｒ_Vに沿った第１の対象物は、仮想カメラＣ_Vが実物であったならば、ピクセルｐ_Vによってイメージングされるはずものである。イメージングされるべき何か（たとえば、表面上の点）が、光線ｒ_Vに沿った点ωに存在すると仮定すると、何らかの実カメラ（たとえば、カメラＣ１またはＣ２）は、それらがピクセル値ｐ_iについて、それらの視野中に点ωを有した場合、照会されることが可能である。たとえば、実カメラＣ１のピクセルｐ１は、光線ｒ₁に沿った点ωをイメージングし、実カメラＣ２のピクセルｐ２も、光線ｒ₂に沿った点ωをイメージングする。各仮想ピクセルについてのすべての点ωのセットは、Ｃ_Vの観点からの高さマップである、焦点表面を形成する。

Ｎ個の実カメラが点ｗをイメージングした場合、Ｎ個の実カメラから収集されたデータに基づいて点ωをイメージングする仮想ピクセルｐ_Vの値を割り当てるための方式が必要とされる。いくつかの実施形態では、ルーチンは、ピクセル値ｐ_iの重み付きブレンドを使用することができ、所与のピクセルｐ_iの重みは、仮想光線ｒ_Vと対応する実カメラの光線ｒ_iとの間の角距離、および点ωにおける表面法線と仮想光線ｒ_Vとの間の角距離の関数である。仮想カメラＣ_Vの焦点表面は、ブロック５０５において以前に捕捉されたシーンジオメトリと密接に一致すると仮定されることが可能である。次いで、感度解析に基づいて重みが割り当てられることが可能である。一実施形態では、感度解析は以下のステップを含むことができる。

１．仮想ピクセルｐ_Vについて、局所的に近似された平面Ｐ上にある、それの光線ｒ_Vと、点ωにおける焦点表面との交差を発見する（各ピクセルは、それ自体の焦点面を用いて別々に扱われる）。

２．実カメラＣ_iごとに、対応する光線ｒ_iに沿った点ωを実ピクセルｐ_iに逆投影する。

３．本当のジオメトリが位置特定される場所の推定の不確実性を表す量μだけ、焦点表面をそれの法線に沿って摂動させる。

４．ｒ_iとＰ＋δμとの交差ω’_iを発見する。

５．サブピクセルロケーションｐ’ｖ_iにおけるＣ_Vにω’_iを投影する。

６．ｄｉ＝｜｜ｐ_V−ｐ’ｖ_i｜｜₂がＣ_iの感度ディスパリティであるとする。

７．重みが合計１になるように、何らかの関数ｆ₁（ｄ）および正規化ファクタνのためのｐ_iの重みとしてＩ_i＝ｖｆ₁（ｄ_i）を選定する。

仮想ピクセルｐ_Vごとにステップ１〜７を繰り返す。図６に示されている例では、光線ｒ₂は、光線ｒ₁よりも表面法線に近いので、実ピクセルｐ₂は、実ピクセルｐ₁よりも大きい重みを受け取るはずである（ｄ２＜ｄ１）。

関数ｆ₁（ｄ）は、放射基底関数と同様であることが可能であり、正規化された重みが急速に低下して、最も低いディスパリティをもつ光線を圧倒的に選好するように選定されることが可能である。たとえば、長い一定のテールをもつ放射エルミートスプラインが使用されることが可能であり、表面の背後の光線のためのクランプ重みは０になる。長いテールは、最も良い実光線が仮想光線に対して極めて大きい角距離を有するときでも、少なくとも何らかのレンダリングされたデータがあることを保証する。スプラインが終了し、テールが開始する場合、信頼性しきい値は、様々なカメラジオメトリに適応するように設定されることが可能である調整可能パラメータであり、より高密度なアレイはより低い信頼性しきい値をもたらす。いくつかの実施形態では、レンダリングされた画像の選択領域が人工的に暗くされることが可能であり、すべての重みの和は、しきい値を下回って高レベルの不確実性を視覚的に示すが、仮想カメラが何を見るはずであるかの最も良い推測をなお提供する。

重みを計算するためのこの方法は、シーン中の光路の確率的取扱いへの近似である。これは、予想される不確実性があるとすれば、ｐ_Vに実際に投影されるという良好な見込みを有するピクセルｐ_iに高い重みを割り当てることができる。ピクセルは、単一の点ではなく、代わりに有限エリアにわたる入射光を統合する。より完全なモデルは、各ピクセルの立体角を、それが光を統合する領域にわたる何らかの分布でシーンに投影することを考慮することができる。重みは、これらの投影された確率分布を反映するはずである。いくつかの実施形態では、近似は計算上の便宜のために使用されることが可能である。

ルーチンはブロック５１１において終了する。ブロック５０３〜５０９において概説された処理は繰り返されることが可能である。ブロック５０３およびブロック５０５は、光照射野キャプチャと画像ディスプレイとの間の分離により、ブロック５０７およびブロック５０９と比較して異なるフレームレートで独立しておよび並列に実施されることが可能である。

いくつかの実施形態では、鏡面度は、光照射野レンダリング技法を使用して評価および減算されることが可能である。鏡面度は、光沢のある物体上に現れる直接反射された光の輝点である。鏡面度について適応が行われない場合、仮想カメラが動き回るとき、実カメラによってキャプチャされる鏡面度は、予想されるように表面にわたって追跡するのではなく、ピクセル重みに従ってフェードインおよびフェードアウトするように見えることになる。信頼できる鏡面応答をシミュレートするためには、１）表面の拡散（つや消し）色特性、２）表面ジオメトリ、および３）シーン中の光のロケーションを判定することが有益である。上述されたように、表面ジオメトリは、ブロック５０５に関して説明されたように計算されることが可能である。また、イメージングアセンブリ１００は、イメージングデバイス１０１に対して既知のロケーションに位置決めされた光源１０５を装備されることが可能である。したがって、判定されるべき残りの特性は、表面の拡散（つや消し）色特性である。いくつかの実施形態では、これらの特性は、符号分割多元接続方式において取られる手法と同様に、一連のエクスポージャにわたって相互直交バイナリコードで光源１０５のオンオフ値を変調することによって判定されることが可能である。コードの直交性は、後処理ステップが、各光源１０５ならびに周辺光の寄与を分離することを可能にし、スタック（たとえば、８つの光源をもつアセンブリの場合は９つの画像のスタック）を生成し、各々はただ１つの光源がアクティブにされる（周辺状態に加えて８つの光源）。

ピクセル単位のベースで強度の分布を検査することによって、中央値が拡散値として割り当てられることが可能であり、最も明るい値は、鏡面ハイライトの可能性がある存在を表し、最も暗い値は、そのピクセルがシャドー中にあるときの状態を表す。中央強度値にわたって平均化することによって、得られた画像は、ほぼすべての鏡面ハイライトを除去することができる。ピクセルの強度の分散は、そのピクセルによって見られる表面がどのくらい光沢があるかの良好な指示を与える。推定されたジオメトリおよび表面法線と組み合わされると、この情報は、イメージングされる表面に対して仮想カメラ位置が移動されるとき、鏡面ハイライトを移動させるシミュレーションを可能にする。
例
１．媒介現実視覚化システムであって、
ヘッドマウントディスプレイアセンブリであって、
第１の方向に面している前面と、
前面の反対にあり、第１の方向の反対の第２の方向に面している後面であって、後面は、ユーザによって着用されたときにユーザの顔に面するように構成された、後面と、
第２の方向に面している立体視ディスプレイデバイスであって、立体視ディスプレイデバイスは、第１のディスプレイおよび第２のディスプレイを備え、ヘッドマウントディスプレイアセンブリがユーザによって着用されたとき、第１のディスプレイは、ユーザの右眼に画像を表示するように構成され、第２のディスプレイは、ユーザの左眼に画像を表示するように構成された、立体視ディスプレイデバイスと
を備える、ヘッドマウントディスプレイアセンブリと、
ヘッドマウントディスプレイアセンブリとは別個でそれから離間されたイメージングアセンブリであって、イメージングアセンブリは、光照射野データをキャプチャするように構成された、イメージングアセンブリと、
立体視ディスプレイデバイスおよびイメージングアセンブリと通信しているコンピューティングデバイスであって、
イメージングアセンブリから光照射野データを受信し、
光照射野データを処理して第１の仮想カメラおよび第２の仮想カメラをレンダリングし、
第１のディスプレイにおいて第１の仮想カメラから画像を表示することおよび第２のディスプレイにおいて第２の仮想カメラから画像を表示することによって立体視ディスプレイデバイスを介してリアルタイム立体視画像を提示する
ように構成された、コンピューティングデバイスと
を備える媒介現実視覚化システム。
２．イメージングアセンブリは、少なくとも８つのイメージングデバイスを備える例１に記載の媒介現実視覚化システム。
３．イメージングアセンブリはプレノプティックカメラを備える例１または２に記載の媒介現実視覚化システム。
４．イメージングアセンブリは、作業部位にわたって位置決め可能な関節アームに結合された例１〜３のいずれか一つに記載の媒介現実視覚化システム。
５．第１の仮想カメラおよび第２の仮想カメラは、ヘッドマウントディスプレイアセンブリのユーザの眼の位置に対応する位置にレンダリングされる例１〜４のいずれか一つに記載の媒介現実視覚化システム。
６．仮想カメラは、ヘッドマウントディスプレイアセンブリのユーザの眼の位置とは異なる位置にレンダリングされる例１〜４のいずれか一つに記載の媒介現実視覚化システム。
７．第１の仮想カメラからの画像および第２の仮想カメラからの画像は、非平面焦点表面をそれぞれ備える例１〜６のいずれか一つに記載の媒介現実視覚化システム。
８．焦点表面は、イメージングされたシーンの推定された表面ジオメトリに対応する例７に記載の媒介現実視覚化システム。
９．コンピューティングデバイスは、
補助画像データを受信し、
補助画像データを処理し、
第１のディスプレイおよび／または第２のディスプレイにおいて補助画像データからの処理された補助画像を提示する
ようにさらに構成された例１〜８のいずれか一つに記載の媒介現実視覚化システム。
１０．補助画像データは、蛍光画像データ、磁気共鳴イメージングデータ、コンピュータ断層撮影画像データ、Ｘ線画像データ、解剖図データ、およびバイタルサインデータのうちの少なくとも１つを備える例９に記載の媒介現実視覚化システム。
１１．コンピューティングデバイスは、第２のヘッドマウントディスプレイアセンブリにリアルタイム立体視画像を提示するようにさらに構成された例１〜１０のいずれか一つに記載の媒介現実視覚化システム。
１２．イメージングアセンブリは、
イメージングされるべきシーンを照明するように構成された複数の別々に制御可能な光源と、
イメージングされるべきシーンに画像を投影するように構成されたプロジェクタと
をさらに備える例１〜１１の例示的いずれか一つに記載の媒介現実視覚化システム。
１３．媒介現実視覚化システムであって、
光照射野データをキャプチャするように構成されたイメージングアセンブリと、
イメージングアセンブリとは別個でそれから離間されたヘッドマウントディスプレイアセンブリであって、
ユーザの頭部上に着用されるように構成されたフレームと、
フレームに結合されたディスプレイデバイスであって、ユーザの眼のほうへ画像を表示するように構成された、ディスプレイデバイスと
を備える、ヘッドマウントディスプレイアセンブリと、
ディスプレイデバイスおよび１つまたは複数のイメージングデバイスと通信しているコンピューティングデバイスであって、
イメージングアセンブリから光照射野データを受信し、
光照射野データから少なくとも１つの仮想カメラをレンダリングし、
ディスプレイデバイスを介して少なくとも１つの仮想カメラから画像を提示する
ように構成された、コンピューティングデバイスと
を備える媒介現実視覚化システム。
１４．イメージングアセンブリは、プレノプティックカメラまたは少なくとも８つのカメラを備える例１３に記載の媒介現実視覚化システム。
１５．コンピューティングデバイスは、フレームがユーザによって着用されたとき、ユーザの眼の位置に対応するロケーションにおいて少なくとも１つの仮想カメラをレンダリングするように構成された例１３または１４に記載の媒介現実視覚化システム。
１６．コンピューティングデバイスは、リアルタイムで画像を提示するように構成された例１３〜１５のいずれか一つに記載の媒介現実視覚化システム。
１７．コンピューティングデバイスは、キャプチャされた光照射野の一部分の拡大ビューをレンダリングすることによって少なくとも１つの仮想カメラをレンダリングするように構成された例１３〜１６のいずれか一つに記載の媒介現実視覚化システム。
１８．媒介現実視覚化を提供するための方法であって、
イメージングアセンブリを介して光照射野データをキャプチャするステップと、
光照射野データを処理して少なくとも１つの仮想カメラをレンダリングするステップと、
ヘッドマウントディスプレイを介して仮想カメラから画像を表示するステップであって、ヘッドマウントディスプレイは、イメージングアセンブリとは別個でそれから離間された、ステップと
を備える、方法。
１９．光照射野データを処理して２つの仮想カメラをレンダリングするステップと、
ヘッドマウントディスプレイを介して２つの仮想カメラから画像を立体的に表示するステップと
をさらに備える例１８に記載の方法。
２０．少なくとも１つの仮想カメラをレンダリングするステップは、ディスプレイがユーザの頭部に取り付けられたとき、ユーザの眼の位置に対応するロケーションにおいて少なくとも１つの仮想カメラをレンダリングするステップを備える例１８または１９に記載の方法。
２１．補助画像データを受信するステップと、
補助画像データを処理するステップと、
ヘッドマウントディスプレイを介して補助画像データを表示するステップと
をさらに備える例１８〜２０のいずれか一つに記載の方法。
２２．少なくとも１つの仮想カメラをレンダリングするステップは、キャプチャされた光照射野の一部分の拡大ビューをレンダリングするステップを備える例１８〜２１のいずれか一つに記載の方法。

結論
本技術の実施形態についての上記の詳細な説明は、網羅的であることを、または本技術を上記で開示された正確な形態に限定することを意図されたものではない。上記では説明の目的で、本技術の特定の実施形態およびその例について説明されたが、様々な等価な変更は、当業者が認識するように、本技術の範囲内において可能である。たとえば、ステップは所与の順序で提示されたが、代替的実施形態はステップを異なる順序で実施してよい。本明細書で説明される様々な実施形態はまた、さらなる実施形態を提供するために組み合わされてよい。

上記からは、説明の目的で本発明の特定の実施形態について本明細書で説明されたが、本技術の実施形態についての説明を不必要に不明瞭にするのを避けるために、よく知られている構造および機能については詳細に図示または説明されていないことが諒解されよう。文脈が許す場合、単数形または複数形の用語は、それぞれ、複数形または単数形の用語をも含み得る。

その上、「または」という単語は、２つ以上の項目のリストへの参照において他の項目とは排他的な単一の項目のみを意味するように明確に限定されるのでない限り、そのようなリストにおける「または」の使用は、（ａ）リスト中のいずれかの単一の項目、（ｂ）リスト中の項目のすべて、または（ｃ）リスト中の項目の任意の組合せを含むものとして解釈されたい。加えて、「備える」という用語は、少なくとも具陳された特徴を含むことを意味するように全体を通して使用され、したがって、任意のより大きい数の同じ特徴および／または追加のタイプの他の特徴は排除されない。また、説明の目的で本明細書では特定の実施形態について説明されたが、本技術から逸脱することなくその様々な変更が行われ得ることが諒解されよう。さらに、本技術のいくつかの実施形態に関連する利点について、それらの実施形態の文脈で説明されたが、他の実施形態もそのような利点を発揮することがあり、本技術の範囲内に入るために、必ずしもすべての実施形態がそのような利点を発揮する必要はない。したがって、本開示および関連する技術は、本明細書で明確に図示または説明されていない他の実施形態を包含することができる。

Claims (22)

1. 媒介現実視覚化システムであって、
   ヘッドマウントディスプレイアセンブリであって、
   第１の方向に面している前面と、
   前記前面の反対にあり、前記第１の方向の反対の第２の方向に面している後面であって、前記後面は、ユーザによって着用されたときに前記ユーザの顔に面するように構成された、後面と、
   前記第２の方向に面している立体視ディスプレイデバイスであって、第１のディスプレイおよび第２のディスプレイを備え、前記ヘッドマウントディスプレイアセンブリが前記ユーザによって着用されたとき、前記第１のディスプレイは、前記ユーザの右眼に画像を表示するように構成され、前記第２のディスプレイは、前記ユーザの左眼に画像を表示するように構成された、立体視ディスプレイデバイスと
   を備える、ヘッドマウントディスプレイアセンブリと、
   前記ヘッドマウントディスプレイアセンブリとは別個でそれから離間されたイメージングアセンブリであって、光照射野データをキャプチャするように構成された、イメージングアセンブリと、
   前記立体視ディスプレイデバイスおよび前記イメージングアセンブリと通信しているコンピューティングデバイスであって、
   前記イメージングアセンブリから前記光照射野データを受信し、
   前記光照射野データを処理して第１の仮想カメラおよび第２の仮想カメラをレンダリングし、
   前記第１のディスプレイにおいて前記第１の仮想カメラから画像を表示することおよび前記第２のディスプレイにおいて前記第２の仮想カメラから画像を表示することによって前記立体視ディスプレイデバイスを介してリアルタイム立体視画像を提示する
   ように構成された、コンピューティングデバイスと
   を備える媒介現実視覚化システム。
2. 前記イメージングアセンブリは、少なくとも８つのイメージングデバイスを備える請求項１に記載の媒介現実視覚化システム。
3. 前記イメージングアセンブリはプレノプティックカメラを備える請求項１に記載の媒介現実視覚化システム。
4. 前記イメージングアセンブリは、作業部位にわたって位置決め可能な関節アームに結合された請求項１に記載の媒介現実視覚化システム。
5. 前記第１の仮想カメラおよび前記第２の仮想カメラは、前記ヘッドマウントディスプレイアセンブリのユーザの眼の位置に対応する位置にレンダリングされる請求項１に記載の媒介現実視覚化システム。
6. 前記仮想カメラは、前記ヘッドマウントディスプレイアセンブリのユーザの前記眼の位置とは異なる位置にレンダリングされる請求項１に記載の媒介現実視覚化システム。
7. 前記第１の仮想カメラからの前記画像および前記第２の仮想カメラからの前記画像は、非平面焦点表面をそれぞれ備える請求項１に記載の媒介現実視覚化システム。
8. 焦点表面は、イメージングされたシーンの推定された表面ジオメトリに対応する請求項７に記載の媒介現実視覚化システム。
9. 前記コンピューティングデバイスは、
   補助画像データを受信し、
   前記補助画像データを処理し、
   前記第１のディスプレイおよび／または前記第２のディスプレイにおいて前記補助画像データからの処理された補助画像を提示する
   ようにさらに構成された請求項１に記載の媒介現実視覚化システム。
10. 前記補助画像データは、蛍光画像データ、磁気共鳴イメージングデータ、コンピュータ断層撮影画像データ、Ｘ線画像データ、解剖図データ、およびバイタルサインデータのうちの少なくとも１つを備える請求項９に記載の媒介現実視覚化システム。
11. 前記コンピューティングデバイスは、第２のヘッドマウントディスプレイアセンブリに前記リアルタイム立体視画像を提示するようにさらに構成された請求項１に記載の媒介現実視覚化システム。
12. 前記イメージングアセンブリは、
    イメージングされるべきシーンを照明するように構成された複数の別々に制御可能な光源と、
    イメージングされるべき前記シーンに画像を投影するように構成されたプロジェクタと
    をさらに備える請求項１に記載の媒介現実視覚化システム。
13. 媒介現実視覚化システムであって、
    光照射野データをキャプチャするように構成されたイメージングアセンブリと、
    前記イメージングアセンブリとは別個でそれから離間されたヘッドマウントディスプレイアセンブリであって、
    ユーザの頭部上に着用されるように構成されたフレームと、
    前記フレームに結合されたディスプレイデバイスであって、前記ユーザの眼のほうへ画像を表示するように構成された、ディスプレイデバイスと
    を備える、ヘッドマウントディスプレイアセンブリと、
    前記ディスプレイデバイスおよび前記１つまたは複数のイメージングデバイスと通信しているコンピューティングデバイスであって、
    前記イメージングアセンブリから前記光照射野データを受信し、
    前記光照射野データから少なくとも１つの仮想カメラをレンダリングし、
    前記ディスプレイデバイスを介して前記少なくとも１つの仮想カメラから画像を提示する
    ように構成された、コンピューティングデバイスと
    を備える媒介現実視覚化システム。
14. 前記イメージングアセンブリは、プレノプティックカメラまたは少なくとも８つのカメラを備える請求項１３に記載の媒介現実視覚化システム。
15. 前記コンピューティングデバイスは、前記フレームが前記ユーザによって着用されたとき、ユーザの眼の位置に対応するロケーションにおいて前記少なくとも１つの仮想カメラをレンダリングするように構成された請求項１３に記載の媒介現実視覚化システム。
16. 前記コンピューティングデバイスは、リアルタイムで前記画像を提示するように構成された請求項１３に記載の媒介現実視覚化システム。
17. 前記コンピューティングデバイスは、キャプチャされた光照射野の一部分の拡大ビューをレンダリングすることによって前記少なくとも１つの仮想カメラをレンダリングするように構成された請求項１３に記載の媒介現実視覚化システム。
18. 媒介現実視覚化を提供するための方法であって、
    イメージングアセンブリを介して光照射野データをキャプチャするステップと、
    前記光照射野データを処理して少なくとも１つの仮想カメラをレンダリングするステップと、
    ヘッドマウントディスプレイを介して前記仮想カメラから画像を表示するステップであって、前記ヘッドマウントディスプレイは、前記イメージングアセンブリとは別個でそれから離間された、ステップと
    を備える方法。
19. 前記光照射野データを処理して２つの仮想カメラをレンダリングするステップと、
    前記ヘッドマウントディスプレイを介して前記２つの仮想カメラから画像を立体的に表示するステップと
    をさらに備える請求項１８に記載の方法。
20. 前記少なくとも１つの仮想カメラをレンダリングするステップは、前記ディスプレイがユーザの頭部に取り付けられたとき、前記ユーザの眼の位置に対応するロケーションにおいて前記少なくとも１つの仮想カメラをレンダリングするステップを備える請求項１８に記載の方法。
21. 補助画像データを受信するステップと、
    前記補助画像データを処理するステップと、
    前記ヘッドマウントディスプレイを介して前記補助画像データを表示するステップと
    をさらに備える請求項１８に記載の方法。
22. 前記少なくとも１つの仮想カメラをレンダリングするステップは、キャプチャされた光照射野の一部分の拡大ビューをレンダリングするステップを備える請求項１８に記載の方法。

Images