JP2020514842A - ディスプレイにおける虚像を制御する方法 - Google Patents

Abstract

ディスプレイにおいて、表示を制御可能な表示物体の虚像を制御する方法が記載される。本方法は、虚像を生成するよう表示物体に対向して曲面状鏡面を設けるステップを含む。曲面状鏡面に対する観察者の場所が決定される。続いて、視差及び立体奥行き手がかりの少なくとも一方を提供する、上記場所における観察者用の虚像の位置を決定することができる。表示物体は、決定されたような虚像を生成するよう制御される。

Description

［関連出願の相互参照］
本願は、２０１７年３月７日に出願された米国仮特許出願第６２／４６７，８４６号及び２０１７年６月２日に出願された米国仮特許出願第６２／５１４，１９４号の優先権又は利益を主張し、上記出願の明細書の全体を参照により本明細書に援用する。

開示の主題は概してミラー光学系に関する。より詳細には、開示の主題はディスプレイ用途の鏡面の使用に関する。

鏡面からの光線の反射から形成された物体の像は、物体の虚像として知られている。非平面ミラー又は非平面レンズに関する虚像の場所を決定する現在の標準法は、二通りに限られる。
１）ガウス光学に基づく方法であり、したがって観察者及び物体の両方がレンズ又はミラーの光軸に近い場合にのみ有効であるもの、及び／又は
２）観察者が奥行きを推測するのに用いる種々の矛盾する奥行き手がかり（depth cues）を解決しない方法。

虚像の生成を制御する方法は、観察者によるディスプレイの使用中の、特に従来技術のディスプレイの基礎となる標準モデルが基づく想定外でディスプレイが用いられる場合の最終結果に影響を及ぼす。したがって、ミラーの中心軸から離れた（例えば、その対称軸から５°、又は１０°、１５°以上離れた）視角に関して球面ミラー又は放物面ミラー等の非平面ミラーにおける虚像の表示を制御する方法を、観察者のために開発する必要がある。

さまざまなディスプレイ用途、特に没入型ディスプレイには、ユーザに没入型環境を提供するためのミラーが必要であり得る。これらの没入型ディスプレイはさまざまなタイプで存在する。

装着者を仮想現実に没入させるために、ヘッドマウントディスプレイ（ＨＭＤ）の使用が広がっている。ディスプレイを目の前に装着すること、及びディスプレイにさまざまな光学系を含むことにより、例えばユーザの頭部の動きに適合することができるビジュアルコンテンツがユーザに提示される。しかしながら、ユーザは、没入型コンテンツを楽しむには常にＨＭＤを装着する必要があり、この状況は、特にユーザが例えばフライトシミュレータでの訓練又は没入型ワークステーションでの作業のために長期間没入しようとする場合には必ずしも望ましいとは限らない。

仮想現実及び拡張現実システムも、装着に十分なほど小さくなければならない。したがって、高解像度及び高品質のディスプレイを組み込むことは困難である。仮想現実ディスプレイには、輻輳調節矛盾等の奥行き手がかりの矛盾も伴い、すなわち目視者が像をはっきりと見るために眼の焦点を合わせる距離が、立体手がかり（stereoscopic cues）を介して像を知覚する距離と一致しない。仮想現実ディスプレイには、動揺病の問題もある。

フロントプロジェクション又はリアプロジェクションベースのディスプレイシステムは、没入体験を生み出す単純な設定をユーザに提供する。比較的単純に設置でき、映画鑑賞等の多くの目的に適うものの、これらのディスプレイは、目視者までの距離が固定された画面に画像が投影されるので奥行き感覚が非現実的なものとなり、したがって画像内の物体間で奥行きの区別がされないので目視者が完全に体験に没入できない。さらに、投影領域外及び投影領域上に位置する物体間の奥行き手がかりが類似しており、これにより、観察者が見ているフラットディスプレイがこのディスプレイの周囲の物体と同様の奥行きに位置していると脳は感じる。これらの問題は、画像を立体的にして目視者に奥行き感覚を与える３Ｄメガネを装着することによりある程度は補正することができる。しかしながら、通常であればメガネが装着されないような現実を再現するためにメガネを装着する必要があるので、これは（特に長期使用の場合又はメガネを既に装着しているユーザにとって）不快であり、現実感の欠如をもたらす。これらのディスプレイも、輻輳調節矛盾を伴う。

別のタイプの没入型ディスプレイは、コリメートディスプレイ（collimated display）である。特に、フライトシミュレータは、コリメートディスプレイを用いて没入型環境を提供する。この業界は、凹面ミラーを利用してコクピット内の両操縦士が全く同一の角度で見ることができる虚像を生成する。コリメートディスプレイは、ユーザに面したディスプレイが従来の画面ではなく、像が中間表示画面での反射により投影される反射画面（すなわち、凸面ミラー）である。これらの反射を用いてユーザが見る画像が提供され、これは物体（すなわち、表示画面）の無限遠に生成された虚像である。表示画面は、表面から反射する光がミラーからの反射後に略コリメートされるように概ね位置決めされる。

鏡面からの光線の反射から形成された物体の像は、物体の虚像として知られている。非平面ミラー又は非平面レンズに関する虚像の場所を求める現在の標準法は、二通りに限られ、ガウス光学に基づき、したがって観察者及び物体の両方がレンズ又はミラーの光軸に近い場合にのみ有効であり、且つ／又は観察者が奥行きを推測するのに用いる種々の矛盾する奥行き手がかりを解決しない。

シミュレーション業界におけるコリメートディスプレイは、「無限遠」での結像により約６０フィート（約１８．１ｍ）を超えるよう設定された虚像の奥行きを与え、無限遠は、通常は６０フィート以上の範囲にある。これは、見ているコンテンツ内の物体がこの距離よりも近い距離に位置するとされる場合には正しい奥行き感を与えない。以下に記載するのは、ユーザが没入している環境における近くの物体の奥行きを感じるためにユーザが見るべき奥行き手がかりを考慮して、没入感がより高い環境を提供するディスプレイである。

本発明の第１態様によれば、ディスプレイにおいて、表示を制御可能な表示物体の虚像を制御する方法であって、
虚像を生成するよう表示物体に対向して曲面状鏡面を設けるステップと、
曲面状鏡面に対する観察者の場所を決定するステップと、
視差及び立体奥行き手がかりの少なくとも一方を提供する、上記場所における観察者用の虚像の位置を決定するステップと、
決定されたような虚像を生成するよう表示物体を制御するステップと
を含む方法が提供される。

一実施形態によれば、表示物体は、表示画面及び表示装置の一方である。

一実施形態によれば、表示物体は、リアプロジェクション画面及びフロントプロジェクション画面の一方である表示画面である。

一実施形態によれば、表示物体を制御するステップは、表示物体上に又は表示物体により表示された画像を補正するコンピューティングシステムを用いて、上記場所における観察者用の虚像に関する視差及び立体奥行き手がかりの一方を提供するよう表示物体上のマッピングを変更するステップを含む。

一実施形態によれば、表示物体を制御するステップは、
を用いて虚像を生成するための曲面状鏡面の形状及び表示物体の形状、それにより上記場所における観察者に関する視差及び立体奥行き手がかりの少なくとも一方を得るステップを含む。

一実施形態によれば、位置を決定するステップは、虚像における複数の位置を決定し、それにより虚像の形状を形成するステップを含む。

一実施形態によれば、虚像の位置を決定するステップは、曲面状鏡面の対称軸から５°を超える角度で曲面状鏡面を介して表示物体を見る観察者の場所に関する視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む。

本発明の第２態様によれば、ディスプレイにおいて、表示物体の虚像を制御する方法であって、
表示を制御可能な表示物体として働く表示画面の形状を決定するステップと、
表示物体の虚像を生成するよう曲面状鏡面に対向して決定されたような形状を有する表示画面を設けるステップと、
曲面状鏡面に対する観察者の場所を決定するステップと、
表示を表示画面上にマッピングすることにより表示物体を制御するステップであり、表示画面の形状は、上記場所における観察者に関する視差及び立体奥行き手がかりの少なくとも一方を提供する決定されたような虚像を生成するステップと
を含む方法が提供される。

一実施形態によれば、表示物体は、リアプロジェクション画面及びフロントプロジェクション画面の一方である表示画面である。

一実施形態では、表示物体を制御するステップは、表示物体上に又は表示物体により表示された画像を補正するコンピューティングシステムを用いて、表示画面の形状を用いて、上記場所における観察者用の虚像に関する視差及び立体奥行き手がかりの一方を提供するよう表示物体へのマッピングを変更するステップを含む。

一実施形態によれば、表示物体を制御するステップは、
を用いて虚像を生成するための曲面状鏡面の形状及び表示物体への元画像のマッピング、それにより上記場所における観察者に関する視差及び立体奥行き手がかりの少なくとも一方を得るステップを含む。

一実施形態によれば、虚像を生成するステップは、曲面状鏡面の対称軸から５°を超える角度で曲面状鏡面を介して表示物体を見る観察者の場所に関する視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む。

本発明の第３態様によれば、ディスプレイにおいて、表示物体の虚像を制御する方法であって、
曲面状鏡面の形状を決定するステップと、
虚像を生成するよう表示を制御可能な表示物体に対向して曲面状鏡面を設けるステップと、
曲面状鏡面に対する観察者の場所を決定するステップと、
上記形状を有する曲面状鏡面により決定されたような、上記場所における観察者に関する視差及び立体奥行き手がかりの少なくとも一方を提供する虚像を生成するように、表示を表示画面にマッピングすることにより表示物体を制御するステップと
を含む方法が提供される。

一実施形態によれば、表示物体は、表示画面及び表示装置の一方である。

一実施形態によれば、表示物体は、リアプロジェクション画面及びフロントプロジェクション画面の一方である表示画面である。

一実施形態では、表示物体を制御するステップは、表示物体上に又は表示物体により表示された画像を補正するコンピューティングシステムを用いて、曲面状鏡面の形状を用いて、上記場所における観察者用の虚像に関する視差及び立体奥行き手がかりの一方を提供するよう表示物体上のマッピングを変更するステップを含む。

一実施形態によれば、表示物体を制御するステップは、
を用いて虚像を生成するための表示物体の形状及び表示物体への元画像のマッピング、それにより上記場所における観察者に関する視差及び立体奥行き手がかりの少なくとも一方を得るステップを含む。

一実施形態によれば、表示物体を制御するステップは、曲面状鏡面の対称軸から５°を超える角度で曲面状鏡面を介して表示物体を見る観察者の場所に関する視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む。

本発明の第４態様によれば、ディスプレイにおいて、表示物体の虚像を制御する方法であって、
曲面状屈折面の形状を決定するステップと、
虚像を生成するよう表示を制御可能な表示物体に対向して曲面状屈折面を設けるステップと、
曲面状屈折面に対する観察者の場所を決定するステップと、
上記形状を有する曲面状屈折面により決定されたような、両眼視の場合に上記場所における観察者に関する視差及び立体奥行き手がかりの少なくとも一方を提供する虚像を生成するように、表示を表示画面にマッピングすることにより表示物体を制御するステップと
を含む方法が提供される。

一実施形態によれば、曲面状屈折面はレンズである。

一実施形態によれば、表示物体は、表示画面及び表示装置の一方である。

一実施形態によれば、表示物体は、リアプロジェクション画面及びフロントプロジェクション画面の一方である表示画面である。

一実施形態では、表示物体を制御するステップは、表示物体上に又は表示物体により表示された画像を補正するコンピューティングシステムを用いて、曲面状屈折面の形状を用いて、上記場所における観察者用の虚像に関する視差及び立体奥行き手がかりの一方を提供するよう表示物体上のマッピングを変更するステップを含む。

一実施形態によれば、表示物体を制御するステップは、
を用いて虚像を生成するための表示物体の形状及び表示物体への元画像のマッピング、それにより上記場所における観察者に関する視差及び立体奥行き手がかりの少なくとも一方を得るステップを含む。

一実施形態によれば、表示物体を制御するステップは、曲面状鏡面の対称軸から５°を超える角度で曲面状鏡面を介して表示物体を見る観察者の場所に関する視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む。

本発明の第５態様によれば、没入型ディスプレイを操作する方法であって、
曲面状鏡面からの反射時に平行光を生成する距離よりも小さな距離に曲面状鏡面及び表示画面を設けるステップと、
視差及び立体奥行き手がかりの少なくとも一方により没入的な画像レンダリングを提供するよう物体を表示画面に表示するステップと
を含む方法が提供される。

一実施形態によれば、本方法はさらに、物体の虚像を決定するステップであり、虚像は表示画面を映す曲面状鏡面から反射して見えるステップを含み、本方法は、視差及び立体奥行き手がかりの少なくとも一方を提供する虚像の位置を決定するステップを含む。

一実施形態によれば、上記距離に曲面状鏡面及び表示画面を設けるステップは、仮想表面が６０フィートすなわち１８．２８８ｍ未満の距離にある場合、観察者が虚像を見るときの観察者の両眼間の輻輳角を０．２°を超えるものとする。

一実施形態によれば、曲面状鏡面は、少なくとも一方向で３０°を超える視野を提供する。

一実施形態によれば、本方法はさらに、没入型ディスプレイ付近の複数の場所で音を発生させて、音の発生源の場所を没入的画像レンダリングと一致させるステップを含む。

一実施形態によれば、本方法はさらに、虚像の内容と対話するためのユーザコントロールを提供するステップを含む。

一実施形態によれば、本方法はさらに、表示画面上に物体を表示する前に、物体に画像補正を施して透視投影画像レンダリングを提供するステップを含む。

一実施形態によれば、物体を表示画面に表示するステップは、曲面状鏡面の対称軸から５°を超える角度で曲面状鏡面を介して表示物体を見る観察者の場所に関する視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む。

本発明の第６態様によれば、没入型ディスプレイを操作する方法であって、
表示画面を映す曲面状鏡面から反射して物体が見えるときに物体の虚像が生成されるように、視差及び立体奥行き手がかりの少なくとも一方を提供する曲面状鏡面及び表示画面の少なくとも一方の形状を決定するステップと、
曲面状鏡面からの反射時に平行光を生成する距離よりも小さな距離に曲面状鏡面及び表示画面を設けるステップと、
視差及び立体奥行き手がかりの少なくとも一方により没入的な画像レンダリングを提供するように物体を表示画面に表示するステップと
を含む方法が提供される。

一実施形態によれば、上記距離に曲面状鏡面及び表示画面を設けるステップは、仮想表面が６０フィートすなわち１８．２８８ｍ未満の距離にある場合、観察者が虚像を見るときの観察者の両眼間の輻輳角を０．２°を超えるものとする。

一実施形態によれば、曲面状鏡面は、少なくとも一方向で３０°を超える視野を提供する。

一実施形態によれば、本方法はさらに、没入型ディスプレイ付近の複数の場所で音を発生させて、音の発生源の場所を没入的画像レンダリングと一致させるステップを含む。

一実施形態によれば、本方法はさらに、虚像の内容と対話するためのユーザコントロールを提供するステップを含む。

一実施形態によれば、本方法はさらに、表示画面上に物体を表示する前に、物体に画像補正を施して透視投影画像レンダリングを提供するステップを含む。

一実施形態によれば、物体を表示画面に表示するステップは、曲面状鏡面の対称軸から５°を超える角度で曲面状鏡面を介して表示物体を見る観察者の場所に関する視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む。

本発明の別の態様によれば、上記光学素子の少なくとも１つ及び上記表示素子の少なくとも１つを備えた、ワークステーション、シミュレータ、又は他の環境が提供され、表示素子は、そのディスプレイを制御し且つ本発明による方法の実施形態のいずれかを実施するコンピュータに関連する。

本開示のさらに他の特徴及び利点は、添付図面と組み合わせれば、以下の詳細な説明から明らかとなるであろう。

一実施形態による没入型ワークステーションの斜視図である。 一実施形態による没入型ワークステーションの正面図である。 一実施形態による没入型ワークステーションの上面図である。 一実施形態による没入型ワークステーションの側面図である。 一実施形態による没入型ワークステーションの背面図である。 別の実施形態による没入型ワークステーションの斜視図である。 別の実施形態による没入型ワークステーションの上面図である。 別の実施形態による没入型ワークステーションの正面図である。 別の実施形態による没入型ワークステーションの側面図である。 一実施形態による、没入型ワークステーションのユーザが見る画像を示す図である。 一実施形態による、没入型ワークステーションのユーザが見る画像を示す図である。 一実施形態による、没入型ワークステーションのユーザが見る画像を示す図である。 一実施形態による、球面状鏡面から反射する２つの光線を示す図である。 一実施形態による、像点及びミラーの表面上の２つの反射点がなす三角形を示す図である。 一実施形態による、物点及びミラーの表面上の２つの反射点がなす三角形を示す図である。 図１６Ａは、一実施形態による、焦点距離１ｍの放物面ミラーの光軸から離れた目視者用の虚像の歪みを示す光線追跡を示すグラフ上の図である。図１６Ｂは、一実施形態による、焦点距離１ｍの放物面ミラーの光軸から離れた目視者用の虚像の歪みを示す光線追跡を示すグラフ上の図である。 図１７Ａは、一実施形態による、半球面ミラーから反射するフラット表示画面の仮想表面を示すグラフである。図１７Ｂは、一実施形態による、半球面ミラーから反射するフラット表示画面の仮想表面を示すグラフである。 一実施形態による、Ｚｅｍａｘで行った光線追跡に基づいて計算された、青色の虚像点を含む半球面ミラーから反射する平面状表示画面の仮想表面を示すグラフである。 一実施形態による、ピンホールカメラでの立体測定を示す概略図である。 一実施形態による、暗室内で球面ミラーから反射して、点灯した白色画素の配列を含む黒画像を表示する表示画面を示す写真である。 一実施形態による、立体測定を紫色で、対応するシミュレート測定を赤色で示すグラフである。 従来技術による、直接投影画面を用いたシミュレータでの画像表示を示す上面図である。 従来技術による、２人の操縦士が見るであろうシミュレータでの画像表示を示す上面図である。 従来技術による、コリメートミラーを用いたシミュレータでの画像表示を示す上面図である。 フライトシミュレータを示す側面図である。 フライトシミュレータを示す斜視図である。 従来技術による、シミュレータでの画像表示を示す写真である。 一実施形態による、２人の操縦士が見るシミュレータでの画像表示を示す上面図である。 一実施形態による、シミュレータでの画像表示を示す写真である。 一実施形態による、フライトシミュレータを示す側面図である。 一実施形態による、ディスプレイにおいて表示を制御可能な表示物体の虚像を制御する方法を示すフローチャートである。 一実施形態による、没入型ディスプレイを操作する方法を示すフローチャートである。

添付図面を通して同様の特徴は同様の参照符号で示されることに留意されたい。

ミラーは、画面が再生できない方法で画像を見せることができるので、さまざまな状況でディスプレイとして用いることができる。

特に、フライトシミュレーション業界は、凹面ミラーを利用してコクピット内の両操縦士が全く同一の角度で見ることができる虚像を生成する。これは、ミラーを伴うコリメートディスプレイの例示的な幅広い実施態様である。

他のタイプのディスプレイに比べて凹面ミラーでの虚像表示を用いる利点は、図２２〜図２７で見ることができる。これらの図は、フライトシミュレータの技術の現状によるコリメートディスプレイを使用可能な技術的状況を示す。

しかしながら、フライトシミュレータにとっての利点は、コリメートディスプレイがこの用途に既に用いられていることからすぐに分かるが、以下にさらに記載するディスプレイを制御する方法は、他の技術的設定及び他の用途で有利に用いることができることに留意すべきである。

図２２は、フライトシミュレータ環境として用いられる直接投影画面表示（すなわち、コリメートディスプレイではない）を示し、この場合、２人の観察者、すなわち両操縦士がコクピット内に座り、大半の人々が日常生活で慣れているような直接投影画面上に表示されたクロスコクピットビュー（cross-cockpit view）を見る。このタイプのディスプレイは、２人の観察者がいるこの用途に適しておらず、その理由は、画面が両観察者から有限距離に位置付けられ、したがって各観察者が画面に表示された所与の物体を異なる角度で見ることになるからであり、その一方で現実には、図２３の説明図に示すように現実の物体は両操縦士から離れているので両操縦士には実質的に同じ角度で見えるはずである。したがって、直接投影ディスプレイは、２人の観察者の少なくとも一方には、シミュレーションの品質に悪影響を及ぼす角度誤差をもたらす。フライトシミュレーションの例では、両方の訓練操縦士が高品質の訓練をできるように、両操縦士が遠隔の物体を同じ角度で見ることが不可欠である。さらに、投影画面上の物体と投影画面外の物体との奥行き手がかりが、奥行きに関して同様の手がかりを与える結果として、画像が投影画面を超えて広がる感覚なく観察者が画像を平坦な画像として知覚する。

図２４及び図２５は、ソース画像（「物体」）に対して露出しており（少なくともほぼ）無限遠に虚像を結像するコリメートミラーを用いた、技術の現状のフライトシミュレータを示す。「無限遠」は、光学で通常定義されるように、すなわち焦点距離よりも実質的に大きな距離にある遠方と解釈すべきである。

無限遠の結像は、両観察者、例えば操縦士がミラーに対して異なる位置にいる場合でも、図２４に示すように所与の遠方物体の画角（angle of view：視野）を両観察者にとって同じくするので有利である。この場合、技術の現状のコリメートディスプレイは、両方の座席から同じクロスコクピットビューを提供する。図２７に示すように、操縦士がコクピット内にいて、コクピットダッシュボードのコマンド機器を見てからクロスコクピットビューを見る場合、操縦士の眼は再度焦点を合わせて向きを変えなければならず、直接投影ディスプレイよりも高い現実感を与える。この現実感は、ディスプレイがコリメートディスプレイであり、視野内の他の要素（ダッシュボード等）が観察者から有限距離に位置するのに対して無限遠に位置する像を生成することにより引き起こされる、生理的反応（すなわち、再度焦点を合わせて向きを変える眼）から得られる。

このようなフライトシミュレータの全体的な物理設定を図２１及び図２２に示す。

しかしながら、通常のシミュレータ、又はより一般的にはコリメートディスプレイは、無限遠に像を生成するものの、シミュレーション（又は表示中の他のコンテンツ）が普通は目視者に近い物体を含み得るので、これは必ずしも望ましいものではない。したがって、像が現実的なものに見えないか、又は現実感の欠如を回避するために特定の要素が表示中のコンテンツから自発的に排除される。以下に開示される虚像の生成のされ方を制御する本発明による方法は、通常のコリメートディスプレイのこの欠点に対処する。

さらに、無限遠に虚像がある通常のコリメートディスプレイでは、物体が無限遠で観察者の両眼に関して固定の角度で結像されるので、観察者の両眼は全く同じ方向に向けられる。しかしながら、現実の設定では、同じ要素を見ている目視者の両眼間には僅かな角度差ができる。この場合、目視者の両眼間の虚像の僅かな角度差は、見られている物の距離を決定するために目視者により解釈される手がかりとして働く。無限遠に虚像がある通常のコリメートディスプレイにはこれが欠けている。この手がかりの欠如は、混乱を招き得るものであり、十分な現実感を与えない。以下に開示される虚像の生成のされ方を制御する方法は、通常のコリメートディスプレイのこの欠点も対処する。

通常のコリメートディスプレイの性能レベルよりも現実感に関してはるかに確実な、非平面ミラーディスプレイで生成された虚像の場所を決定及び制御する方法が、以下に記載される。この制御法の過程で行われる計算結果の例は、以下及び添付図面に示されており、放物線の光軸に対して大きな角度で見える２Ｄ放物面ミラー及び半球面ミラーの結果を示す。これらの結果は、光線追跡シミュレーション及び実験的測定と一致する。この技法を拡張して、他のタイプのミラーに、また軸外レンズの像形成に用いることができる。シミュレータのディスプレイ等の虚像の表示をこれにより改善することができる。

鏡面は、アナモルフィック技術、パノラマ撮像具、ペッパーズゴーストに基づくディスプレイ、及びコリメートフライトシミュレータディスプレイを含む、多種多様な用途で用いられる。これらの用途の全てで、物体が鏡面を介して観察された虚像として見える。ミラーで見えミラーにより生成されたこの物体の像は、この物体の虚像として知られている。この像の場所を正確に決定することが有利であり、場合によっては必要である。鏡面を伴う典型的用途は、線形近似することができるという仮説に基づく標準モデルを用いて像の投影及び表示を制御する。したがって、これらの条件が満たされない場合には場所の精度が低下する。しかしながら、この目的に適した制御技法が不足している。

技法の不足には主に２つの理由がある。理由の１つは、ガウス光学の、したがって薄レンズ方程式又は近軸ミラー方程式（paraxial mirror equation）等の一般的な物理学方程式の破綻に起因する。これらの方程式は、レンズ又はミラーの光軸に近い虚像を決定するのに極めて有用だが、線形近似に基づき、この軸に対して大きな角度にある物体又は目視者に有効でない。例えば、線形近似に基づく方程式は、目視者がミラー又はレンズの対称軸から離れている、例えば５°よりも大きく、又は１０°よりも大きく、又は１５°よりも大きく離れている場合には、通常は適用不可能である。

第２の理由は、虚像自体に関する誤解により生じる。レンズを通して見えるか又はミラーから反射する物体の虚像は、一般的には目視者の位置とは無関係であるかのように見えるが、実際には、これは物体がレンズ又はミラーの光軸の近くで見える場合にのみ言える。したがって、通常のディスプレイでの結像を制御する方法は、ディスプレイの性能を許容可能なレベルの現実感で維持しつつ観察者がとることができる可能な位置を制約する。さらにややこしいことに、観察者に見える虚像の場所は心理現象であり、矛盾する場合があるいくつかの奥行き手がかりに応じて変わる。像がこれらの仮定の下で制御される通常のディスプレイでは、これは、目視者が頭を傾けると虚像の場所が変わることを含む意外な結果につながり得る。

レンズ又は非平面ミラーの光軸外に見える場合を含め、虚像の場所を正確に決定するために、ガウス光学から離れて、物体の奥行きの決定に用いられる異なる奥行き手がかり及びそれらの相対的重要性を適切に理解し、これらの矛盾する手がかりを解決する実用的な方法を見出さなければならない。本明細書に記載の虚像を伴うディスプレイでの結像を制御する方法は、これらの検討事項を利用する。

ヒトの脳は、多種多様な奥行き手がかりを用いて物体の奥行きを決定する。これらの手がかりは、生理的手がかり及び心理的手がかりの両方からなる。ミラー及び物体の形状に影響される奥行き手がかりは、調節、輻輳、及び両眼及び単眼視差を含む眼球反応（ocular reactions）を伴う生理的手がかりである。

奥行きに関する調節手がかりは、焦点の合った像を見るために眼のレンズを曲げる又は緩める必要性から生じる。像に焦点を合わせるのに必要なレンズの収縮量は、脳により知覚可能であり、眼からの像の大まかな距離の手がかりを与える。この奥行きに関する手がかりは調節として知られているが、ヒトの脳が奥行きを推測するのに最も依拠しない手がかりである。この手がかりは、目視者から約２ｍ未満にある物体（又はこの場合は虚像）に関する奥行き感にのみ寄与する傾向がある。

輻輳手がかりは、眼が像をはっきりと見るために僅かに異なる角度に向けられる必要性から生じる。両眼間の角度は奥行きに関する手がかりとして用いられるが、この手がかりは、最大約１０ｍの物体距離（又は虚像距離）にしか効果的でない。

最後の２つの手がかりは、少なくとも２つの異なる視点から物体を見ることから生じる。両眼視差は、像を両目から一度に見る際に脳から生じる（すなわち、各眼が単独で異なる角度から見える像を同時に受け取る）。単眼視差は、像を異なる場所から異なる時点で見る（例えば、異なる相対場所に移動した後の同じ物体を観察する）際に脳から得られる。いずれの場合も、脳は、２つ以上の異なる場所から見た物体の相対移動に基づいて奥行きを推測することができる。両眼視差は、最大約２０ｍの距離に効果的な奥行き手がかりである。単眼視差手がかりの強さは、頭部の移動量に応じて変わる。単眼視差で奥行き感に寄与するには、僅か数ミリメートルの移動で十分である。

直接見える現実世界の物体では、これらの手がかりは、全て一致する奥行き手がかりを与える。しかしながら、虚像をレンズ又はミラーで見ると、これらの手がかりは矛盾する結果を与え得る。例えば、レンズを通して又はミラーから反射する物体を見る場合、目視者が像を見るために焦点を合わせる必要がある場所は、目視者が立体手がかりを介して像を見る場所とは異なる場合が多く、これは輻輳調節矛盾と呼ばれることがある問題である。この矛盾は、曲面状鏡面から反射した物体を見る場合にも起こるので、ディスプレイ用途で虚像の場所を制御する場合に対処しなければならない。奥行き手がかりを適切に考慮することにより、また目視者からミラーまで及び物体までの光線追跡により特定の設定をモデリングすることにより、虚像の場所を決定して、最終的により高い現実感及び高い目視者快適性のためにディスプレイを制御することができる。

以下で概説する虚像を決定する方法には２つの基礎がある。第１に、標準的なガウス技法が有効でない場合に有効な技法を用いること、第２に、観察者が用いる多くの異なる矛盾する奥行き手がかりの問題をより単純な解決可能な問題に単純化することである。

観察者に関して特定の場所を固定することにより物体の虚像を決定し、続いて視差又は両眼視差手がかりに基づいてこの観察者に対する虚像の知覚上の場所を決定することにより、問題は単純化される。

観察者用の虚像の場所を決定するそのような方法の１つは、鏡面から概ね反射する場合に観察者の両眼に当たる物点からの光線を追跡することに依存する。これは、Ｚｅｍａｘ等のソフトウェアプログラムで容易に数値的に行うことができる。観察者の眼に向けられた２つの光線間の角度に基づいて、次式を用いて立体視差に基づく物体の奥行き感を求めることができ、
式中、Ｄは左眼からの物点の距離であり、Ｂは両眼間の距離であり、φは各眼から生じる２つの光線間でなされる輻輳角である。

この方法を、球面ミラーから反射する平面ディスプレイに関して以下で説明する。Ｚｅｍａｘで目視者の２つの視点、半球面ミラー、及び物体画面を規定することにより、光線追跡プロセスを実行した。この光線モデルにおいて、１，６８０個の一次光線を左眼に対して、０．４°刻みの０−１２°〜１２°の水平角範囲及び０．５°刻みの１０°〜−４°の垂直角範囲で規定した。対応する一次光線と平行に初期設定した右眼からの二次光線を用いて、奥行き測定を得た。続いて、二次光線及び一次光線が物体画面上の点に収束するまでこれらの光線方向を繰り返した。これらの光線間の角度を続いて用いて、式１を用いて観察者に対する奥行きを三角測量した。

半球面ミラーから反射する平面状表示画面のこれらの虚像点は、以下でさらに説明する方法を用いて決定された虚像点と共に図１８に青色で示され、強い一致を示す。

僅かな水平視差手がかりに依存する特定の場所における観察者用の虚像の場所を決定する方法の別の例を、以下でより詳細に説明する。この方法は、床又は地面により規定される平面と平行な方向に沿った観察者の頭部の移動に関する水平視差手がかりに基づいて、虚像の場所を決定する。観察者は、鉛直方向に上下移動するよりも自身が立っている平面と水平な方向に移動するか又は頭部を前後に動かす可能性がはるかに高いので、この結果は大半の用途で最も重要である。さらに、この手がかりは、立体視差及び輻輳手がかりと同等である。調節等の手がかりは、２ｍを超える距離の奥行き感に大きく寄与しないので無視され、異なる方向の移動に関する視差手がかりは、観察者がこれらの方向に移動する可能性がはるかに低いので無視される。これにより、相互に一致する奥行き手がかりが得られ、したがってディスプレイを制御するために単一の虚像をこのとき決定することができる。

非平面状鏡面から物体を見ている観察者に関する視差奥行き手がかりを決定するこのような方法の１つを、以下に記載する。この方法は、ミラーを全体として扱うのではなく、表面上のあらゆる点を独自の向き及び曲率を有する独立したミラーとして扱うことにより、ガウス光学から離れる。

例えば、次式により定められる２次元放物面ミラーから反射して見える物体を考える。
薄レンズ方程式は、観察者及び物体が光軸に近い場合にこの物体の虚像を決定するのに十分である。しかしながら、観察者がこの軸に対して大きな角度で放物面ミラーから反射する物体を見る場合、この式は破綻する。一連の光学収差を解決することによりこの破綻の対処を試みることができるが、代替手法は、目視者の場所を考慮し、続いて放物線において観察者が物体を見る部分を独立した別個のミラーとして扱うことで、虚像点を決定する。

明確化のために、放物線の全箇所を、独自の曲率を有するそれ自体独立した小さなミラーとして考えることができる。数学では、ある点において曲線にベストフィットする円は接触円として知られている。２次元パラメータ化曲線に関しては、この曲率は次式である。

上述の２次元放物線に関しては、任意の点における曲率半径は次式により与えられる。

この方程式を用いて、放物線の全無限小部分が円形ミラーとして近似される。残るのは、円形ミラーを介して観察者が見る物体に関してミラーディスプレイ上で制御すべき像点の決定である。

これには、円形ミラーから反射する物体から２つの光線を追跡し、これら２つの光線が発生すると思われる点、物体の虚像点として知られる点について解くことが必要である。球面状鏡面から反射する２つのこのような光線の図を図１に示す。

図１３において、ｄ_０は一次光線に沿ったミラーまでの物体の距離であり、θは一次光線とミラー表面に対する法線との間の角度であり、ｄ_ｉはミラー表面から虚像点までの距離であり、Ｒはミラー表面における接触円の曲率半径であり、ｄβは物体からの２つの光線間の角度であり、ｄγは鏡面からの光線の反射点と鏡面における接触円の中心とがなす角度である。

観察者からの虚像点の総距離は、これら２つの反射光線により求めることができる。これは、観察者における光線間の距離Ｅ（立体奥行きに関するヒトの両眼間の距離に等しい）と２つの光線間の角度αとに応じて変わる。

角度αが小さい場合、ｔａｎの小角近似を用いることができる。αが約０．３５ラジアン（２０°）未満である場合にこれは誤差１％以内の精度である。観察者の両眼視に基づく観察者知覚距離に関しては、この角度は０．１９ｍの距離に対応する。片眼（虹彩径約４ｍｍ）で２つの光線を見る観察者に関しては、これは０．０１２ｍの距離に対応する。以下の導出において、これらの距離よりも大きく観察者から離れた虚像点を扱うものとするので、図２における２つの光線間の角度２ｄγ＋ｄβは小さいものとすることができる。

像点及び２つの光線の反射点がなす図１４に示す三角形を見て、正弦法則を利用すると、以下の関係式が得られる。

２ｄγｍ＋ｄβが（したがって、ｄγ及びｄβが個々に）小さいことを利用すると、正弦項は一次の項になり得る。

角度加算（angular addition）の余弦法則を利用すると、以下の関係式が得られる。

θが大きくない限り、式の一次（the first order of the expression）のみを保持することができる。

物点及び２つの光線とミラーとの２つの交点がなす三角形は、図１５に示す特性を有する。

この場合も、正弦法則を利用して次式が得られる。

正弦の角度加算特性を利用して次式が得られる。

この場合も、小さな角度とすると、

式の一次のみを保持すると、

式９及び式１３を組み合わせると、

所望の仮想表面及びミラー形状を与えられた物体又は表示画面の設計に用いることができる有用且つ同等の形式は、

この式は、光軸に近い物体が光軸に近い観察者から見られる場合、ガウス光学で一般的に用いられる薄レンズ方程式を与える。

しかしながら、放物線の焦点距離に対して大きな物体に関しては、又は目視者が放物線の光軸から遠いミラーから反射する物体を観察する場合、これらの式は薄レンズ方程式の結果とは異なる。図１６Ａ及び図１６Ｂに、２つの異なる場所から焦点距離１ｍの放物面ミラーで反射して見える垂直線のシミュレーションの結果を示す。目視者が光軸の近く及び光軸から離れた角度で反射線を見たときの結果の差を強調するために、通常の従来技術の光線追跡線を示す。

３次元の虚像点
２次元では、ミラーから反射する２つの光線間の角度を用いて虚像点まで辿ることができる。２つの光線が平行である限り、これらは全て同じ点から出ているように発散する。３次元では、状況はより複雑である。２つのほぼ平行な光線は、これらがミラーと交わる平面に応じて異なる角度で発散する。例えば、ミラーの光軸の平面（タンジェンシャル面として知られている）でミラーに当たる２つの光線は、この平面に接する平面（サジタル面として知られている）でミラーに当たる２つの光とは異なる角度で発散する。この問題に対する解決手段は、奥行きの決定に用いる平面を決定し、この平面でミラーに当たる２つの光線の発散角を導くことである。これは、最初に任意の平面でミラーに当たる２つの光線の発散角を導出してから、単眼視差手がかりに用いる平面を決定することにより行われ、その際、観察者が観察者の眼につながる線に沿って水平に移動すると仮定する（すでに述べたように両眼視差及び輻輳手がかりと同等である）。

タンジェンシャル平面におけるミラーの表面から虚像点までの距離を求める式は、２次元の光線で求められるものと同等である。

３次元では、図１３における二次光線は、ミラーの法線ベクトル及び一次光線と同じ平面に必ずしもない。物体からの２つの光線の平面において、一次光線は、ミラーの法線ベクトルと角度αをなす（平面がタンジェンシャル平面となる場合にはθに等しい、又はサジタル平面ではゼロ）。以下の代入がされる限り、式１７を用いてこの平面内の虚像奥行きを決定することができる。

これらの代入を組み込むことで、以下の結果が得られる。
又は同等に、

αをθに等しく設定し、αをゼロに等しく設定すると、タンジェンシャル平面及びサジタル平面それぞれでの虚像奥行きの結果が得られる。曲率半径がミラーの表面にわたって一定である球面に関しては、これらの結果は球面非点収差方程式（spherical astigmatic equations）に簡単化される。

虚像点位置を決定する最終ステップは、視差により奥行きを解釈するために眼が用いる平面を決定することである。これは、眼間ベクトル（interocular vector）（観察者の一方の眼から観察者の他方の眼へ向いたベクトル）Eをミラーの表面に投影することにより行うことができる。得られた投影単位ベクトルeは、

角度αは、
式中、u_１及びu_２はミラーの表面に接する平面を規定する単位ベクトルであり、eはミラー平面に投影された眼間ベクトルの単位ベクトルであり、一方の眼から他方の眼へ向いて立体測定平面を示す。

観察者の位置及びミラーの幾何学的形状が分かっているので、
（及びその加群ｄ_０）を除いて全ての直接の値（first-hand values）が既知である。したがって、方程式（２２）、（２３）、及び（２４）を数値的に解いて、必要な場所に（すなわち、目視者が見るべき虚像距離ｄ_ｉに）虚像を生成する所与の点物体のベクトル
を求めることができる。完全な物体を形成する全ての点について
の計算が行われる。以下にさらに記載するように、この計算を用いてフロント又はリアプロジェクション画面を設計することができ、このプロジェクション画面にマッピングされた像の各点は適当な
を有する。

代替として、物体又は表示画面と観察者の場所とを考えると、物体上のあらゆる点からミラーまでの距離から所望の像距離が得られるようにミラー形状を設計することができる。

続いて、ミラーを区画に分けてそれらの区画の向き及び曲率半径を求めることにより、これらの方程式を用いて虚像点を求めることができる。例示的な計算とその実験的検証とを、半球に関して次に記載するが、この技法は、任意の曲面のミラーにも拡張され得る。これには、ミラーの表面の異なる平面に沿った有効曲率半径を求めてから、方程式２１のＲを該当平面に応じた曲率半径Ｒ（α）に置き換える必要がある。

半球の仮想表面
半球から反射して観察者が見る平面ディスプレイに関する仮想表面を、この技法を用いて決定した。仮想表面を決定するプロセスとして、ディスプレイ上の一点からの一次光線を追跡し、続いて反射の法則に背かずに光線がミラーから反射するミラー上の場所について繰り返し解いた。ミラー上の反射場所を、その法線ベクトルと平行な光軸を有する小さなミラーとしてモデリングした。この軸と一次光線との間の角度をθとした。球面座標系を利用して、極角及び方位角をu_１及びu_２それぞれについて用いた。方程式２１を用いて、ｄ_ｉの値を決定し、一次光線を観察者からミラーの表面を越えて距離ｄ_ｉまで追跡して虚像点位置を決定した。

モデルにおいて、平面（フラット）表示画面（例えば、投影を受けるが平坦な形状を有する図３０の画面１３０等の透過型直接投影画面、又は後述するように、ＴＶ画面又はモニタ等の平坦な照明画面）に投影される全画素についてこのプロセスを行った。物体を形成するこの画面は、半球面ミラーから反射するこの画面の虚像を作り上げる。この虚像を図１７Ａ及び図１７Ｂに示す。

実験的検証
２台のカメラを用いて鏡面から反射する像点の奥行きを実験的に測定することにより、これらの結果を検証した。

直径１８インチのアクリル製の銀めっき半球を半球面ミラーとして用いた。５５インチＬＧ ＯＬＥＤ ＨＤテレビジョンをこの半球体の１５ｍｍ上方に配置し、２台のＰｏｉｎｔ Ｇｒｅｙ ＢｌａｃｋＦｌｙカメラを半球体の中心から６８６ｍｍの光学テーブル上に配置し取り付けた。特注部品を用いて、カメラ同士の間隔を５４ｍｍに保ち、カメラが相互に平行な向きとなることを確実にした。

図１９は、ピンホールカメラでの立体測定を示す。２台のカメラに対する物体の距離を、コンピュータビジョンで用いられることが多い技法に基づく三角測量により決定した。２台のカメラ間の距離Ｂと、カメラの焦点距離ｆ_Ｌ及びｆ_Ｒと、２つの画像における物体の測定場所ｘ_Ｌ及びｘ_Ｒとに基づき、次式を用いて奥行きを決定した。

画像内の画素位置をカメラの光軸からの角度に変換できるように、カメラの焦点距離及びそれらの方向を較正した。２台のカメラ間の中心から４３２ｍｍ離れた等間隔の格子線が描かれた１枚の方眼紙の写真を撮影することにより、カメラの焦点距離を較正した。格子線は１０ｍｍ間隔とした。撮影画像中のこれらの格子線間の間隔を測定すると、各カメラで７３＋／−１画素であった。これらのカメラのそれぞれのＣＣＤ画素間隔は２．８μｍであった。式２５を用いて、両方のカメラの焦点距離は、８．８＋／−０．１ｍｍであることが判明した。続いてこの方眼紙上で、カメラの高さ８４．５ｍｍで２台のカメラ間に位置付けられると測定された場所にペンで印をつけた。両方のカメラでこの紙の写真を撮影し、この点の像を測定すると、写真における像の中心よりも数画素上及び下であり、これはカメラの向きのわずかな垂直誤差を示し、左カメラでは水平線の１．６°下に等しく、右カメラでは水平線の１．２°下に等しい。

較正を完了するために、１枚の白紙に印刷された等間隔の点の配列を撮像した。画像内のこれらの点の画素位置を、Ｍｉｃｒｏｓｏｆｔ Ｐａｉｎｔを用いてこれらの点の写真に基づいて決定した。続いて、これらの点の奥行き及び場所を方程式２７に基づく三角測量を用いて求めた。点の奥行き測定には、画像の中心から径方向に離れるにつれて増加する僅かな誤差があることが分かった。これらの点の物理的な場所を測定し、点毎の測定場所からの計算上の場所の差を２乗し合計した。放射歪み係数を２乗差の和の最小化により求めた。Ｂｒｏｗｎの歪みモデルに基づく放射歪みがこの誤差を最小化することが分かった。このレンズ歪みパラメータを全ての後続の測定に適用した。
式中、ｒは画素単位の画像の中心からの画素の距離である。ＥｘｃｅｌのＧｓｏｌｖｅｒアドインでの単純最小化ルーチンを用いて、パラメータａ、ｂ、ｃ、及びｄをフィッティングティングして２乗差の和を低減した。これらの値を左カメラ及び右カメラについて別々にフィッティングし、以下に等しいことが分かった。

次に、黒背景及び個別の白色画素の格子からなる写真をＯＬＥＤ画面に表示した。これらの点は、球面から反射して見えた場合にほぼ等間隔であるよう設定した。半球面ミラーから反射するこの画面の写真を各カメラで撮影した。図２０に示すのは、これらのカメラの一方から撮影した写真であり、これは暗室内で球面ミラーから反射する表示画面の画像である。表示画面は、点灯した白色画素の配列を有する黒色画像を表示している。

これらの点のそれぞれの画素位置をＭｉｃｒｏｓｏｆｔ Ｐａｉｎｔを用いて測定した。各画素の位置を求める際の誤差は、写真及び測定手順を複数回繰り返すことに基づいて＋／−１画素であることが判明した。前述のレンズ歪みを適用し、これらの画素位置に基づいて、方程式２７を用いて各画素の奥行きを求めた。ｘ位置及びｙ位置を三角測量により求めた。最後に、座標変換を行ってカメラの僅かな垂直ミスアライメントを補正した。

これらの点について得られた計算上の場所を図２１に示す。ＯＬＥＤ画面上の画素の既知の場所に基づいた上述の方法を用いて、これらの点灯画素の位置を決定した。これらの立体測定は紫色である。これらと共に、赤色の計算上の立体データも図２１に示す。

実験的測定の不確定性には３つの主要因がある。第１の要因は、画像内の全ての測定点の画素位置の不確定性に起因した。反復測定に基づいて、これは＋／−１画素の精度で行われた。１画素のずれに関連して得られる奥行き誤差は２ｍｍであった。測定における誤差の第２の主因は、半球の中心に対するカメラの開口の場所の測定に起因した。この誤差から、＋／−１ｍｍの追加誤差が生じた。最後に、ＯＬＥＤ画面上の点灯画素の物理的な場所に関連する誤差があった。物理画素の正確な場所を求める際の誤差から、＋／−２ｍｍの測定のさらなる不確定性が生じた。データにおける全推定誤差を、これら３つの誤差の二乗和平方根により求めると、＋／−３ｍｍと等しくなった。

実験的に測定された虚像点位置と、この推定誤差に基づく数値的に計算された像点位置との間のカイ二乗統計量は、２３８個のデータ点で２２７であり、対応するｐ値は０．８３であった。これは、上述の表示制御法の結果が実際の結像に対する実験的測定と一致することを示す。

鏡面から見える物体の仮想表面の決定に用いることができる方法を上述した。この方法は、目視者が用いる最も重要な一貫した奥行き手がかりを認識し、続いて上述の半解析的な光線追跡技法等の数値的光線追跡又は代替技法に基づいてこれらの奥行きに関する結果を計算することに依存する。

虚像表面を決定するこの方法は、既知の場所の観察者に望ましい仮想表面を生成するよう物体画面又は鏡面を設計するのに実用的且つ好都合であるよう設計された。この方法を用いて、曲面ミラーで反射して見えるときに視差及び／又は立体手がかりを与える虚像を生成する、表示画面上に表示された物体の場所を決定することができる。この方法を用いて、物体が曲面ミラーで反射して見えるときに視差及び／又は立体手がかりを与える物体の虚像が生成されることを確実にする、曲面ミラーの形状及び／又は表示画面の形状を決定することもできる。

この方法は、半球以外のミラー形状並びに従来の技法を用いて正確にモデリングできないレンズ（又は曲面状屈折面）の取り扱いに拡張することができる。したがって、上記で展開した技法及び方程式は反射で用いられるものとしたが、像がレンズを通して見られる場合の視差又は立体手がかりを解決するために同様の一連の方程式及び技法を屈折に関して展開することができる。ユーザが見る像（例えば、発散レンズでの虚像）が視差又は立体手がかりを与えるよう生成されることを確実にするように、レンズ、物体の場所、又は物体が表示される表示画面の形状のいずれかを決定することができる。

上述の方法を用いて、表示画面がミラーから反射して見えるときに特定の虚像を生成する表示画面に投影するプロジェクタによる投影像部分の場所が制御される。

表示画面は、ＬＣＤ画面（又は照明により像を表示する任意の他のタイプのＴＶ画面又はモニタ）等の表示装置、又は（他の場所から投影された像を受け取ってこの像を表示させる）リアプロジェクション画面、フロントプロジェクション画面等の表示画面、又は曲面ミラーから反射して見えるのに適した任意の他の表示画面であり得る。表示画面は、ミラー又は別の光学素子により結像されて観察者が見る虚像を形成するので、表示物体を形成する。表示物体は、そこに生成されるか又はそこに投影される像をコンピューティングシステムにより制御して、最終的により高い現実感のための視差又は立体手がかりを考慮するよう表示物体上の像のマッピングを補正することができるので制御可能である。

例えば、図２６及び図２７に示すように、技術の現状のフライトシミュレータを示す。コクピットは操縦士訓練生と物理的に近い。クロスコクピットは、プロジェクタにより（by projects）投影画面に生成された画像の、コリメートミラーにより反射された虚像である。虚像は無限遠に位置付けられる。

この方法を実施するフライトシミュレータ１００を図３０に示す。操縦士訓練生は、コクピット１１０に座り、投影画面１３０である物体からミラー１４０により反射された虚像を見る。物体は、投影画面１３０を照明するプロジェクタ１２０を有することにより作り出される。上述の方法を用いて、コンピュータシステムに特に奥行き知覚の現実感を高めるための以下のタスクを実施させることにより、以下のステップを行うことができる。
１）虚像を見ることになる観察者の場所及び観察者が向いている方向を決定するステップ（眼間ベクトルEを求めるため）、
２）空間内のミラーの形状及び場所を決定するステップ（この空間は既知である）、
３）水平視差又は両眼奥行き手がかりに基づいて、所望の虚像／仮想表面、したがって観察者から所望の表面までの知覚像距離を規定するステップ、
４）この所望の虚像を達成するミラーから投影画面又はディスプレイまでの物体距離を決定するステップ、
５）投影画面をミラーから投影画面までのこれらの物体距離を達成する形状にするステップ、
６）投影画面１３０上で目標投影画像を得るようプロジェクタ１２０により投影された画像を制御するステップ、
７）任意に、ミラーから画面までの所望の物体距離を達成する鏡面を生成しつつ上記手順を繰り返すステップ。

操縦士にとっての結果としては、図２９に示すように、実質的に無限遠に結像された像よりも現実的な有限距離にクロスコクピット像がこのとき結像される。

この技法は、アナモルフィック技術、パノラマ撮像具、ペッパーズゴーストに基づくディスプレイ等の他の技術的状況に適用することができる。したがって、画像は静的であり得る（すなわち、動的ではない）。さらに、プロジェクタ／投影画面タンデムをモニタ／部分ミラータンデムに置き換えて同じ効果を得ることができる。

制御方法は、全ての必要なパラメータが入力されたコンピューティングシステムにより行われなければならない。コンピューティングシステムは、ミラーにより虚像に変換される物体を形成するよう画像が投影又は表示される方法を自動的に、必要であればリアルタイムで制御することができる。この制御は、例えば、方程式１５を用いて表示される画像の画素の画素位置を変換することを含み得る。これにより、ミラーにより生成された最終的な虚像が、虚像を観察者が見るときにより高い現実感を得るための上述の手がかりを妨害しないものとなる。例えば、虚像よりもはるかに近いか又は虚像からはるかに遠い物体をレンダリングしないことで、現実感が最大になる。これにより、従来技術の方法で現実的な没入を提供できないようなミラー又はレンズの対称軸から離れた状態にある、例えばこの軸から５°よりも大きく、又は１０°よりも大きく、又は１５°よりも大きく離れている場合でも、目視者がより高い現実感を得ることもできる。

方法を図３１に示し、ステップ１９１０は、相互に対向するミラー及び表示画面を設けることに関する。ステップ１９２０は、（観察者が見ているミラー又はレンズが対称軸を有すると考えて）ミラーに近く且つその対称軸から離れた状態であり得る観察者の場所を決定することに関する。ステップ１９３０は、そのような場所で観察者に見えるべき虚像を決定することに関する。ミラー（又はレンズ）又は表示物体（投影画面等）の形状は、視差又は立体手がかりにより奥行き知覚においてより高い現実感を達成するのを助けるよう決定することができる。ステップ１９４０において、（投影又は照明による）表示物体への元画像のマッピングも制御して、例えば方程式１５を用いて視差又は立体手がかりにより奥行き知覚においてより高い現実感を提供することができる。

上述の方法は、コリメートディスプレイにはるかに大きな輻輳及び／又は開散許容範囲を提供することができる。輻輳及び開散に関して、観察者は、物体を見る場合にそれに両眼を向ける。観察者の両眼の方向ベクトル間の角度は、輻輳角として知られている。観察者の両眼が相互から離れた向きにある場合、両眼間の角度は開散角である。角度が広がっている場合、状況は脳にとって苦痛であり、観察者が曲面ミラーを見ない限りはこの状況に遭うことはめったにない。観察者の近くにあるものを見る場合、眼間の輻輳角は大きく、非常に遠い物体を見る場合、輻輳角はほぼゼロである。

次に図１〜図９を参照すると、特に、設計された仮想表面２４０を用いて没入型ディスプレイを生成する没入型ワークステーション２００が示されている。ワークステーションは、ユーザがコンテンツを見て、場合によってはそれと対話することができる環境である。ディスプレイは、曲面状鏡面２４０及び表示画面２３０を含み、これらは共に、最終虚像で提供されなければならない奥行き手がかりを考慮して投影される平行又は略平行光を用いて没入型ディスプレイシステムを作り出す。したがって、プロジェクタ２２０は、没入型ディスプレイを備えた没入型ステーションでユーザが見るときにより現実的な奥行きを有する虚像を生成するように、以下でさらに記載する方法に従って制御される。鏡面２４０を所定位置に保持する構造又はフレームを用いることができ、これは場合によっては、音響システムのスピーカを保持する支持体として働くことができ、音響システムは、ワークステーションのユーザの周りに物理的に位置付けられてディスプレイの没入的画像レンダリングと一致した没入的オーディオコンテンツを提供する。

現在のコリメートディスプレイは、物体が通常は観察者から遠くに見えるシナリオ（フライトシミュレータディスプレイ等）で非常に現実的な現実表現を生み出すことができる。これらの従来のディスプレイシステムは、表示画面から反射又は放出された光が球面ミラーから１回反射して平行光を生成する点に表示画面を配置する。これは、観察画像の奥行きを最大化するために、すなわち普通は６０フィートを超える長距離（「無限遠」）に虚像を生成するために行われる。これらのディスプレイは、投影画面から反射した光がミラーの表面からの反射後に略コリメートされるので、コリメートディスプレイと称する。

本明細書に記載の没入型ディスプレイは、表示画面をこれらのシステムよりもミラーの近くに、画像を目視者に近距離で見せるのに十分なほどミラーに近い場所に配置し（すなわち、虚像がミラーの近くで有限の現実的な距離に生成される）、これは通常の日常的な見え方をよりよく表す。この構成は、物体を従来のフライトシミュレータディスプレイよりも観察者の近くで見せる必要がある用途で没入型ディスプレイを達成し、且つこの状況で現実感を高めることを可能にする。

実際には、従来のコリメートディスプレイは、表示された画像が観察者から遠くにあることが意図される（フライトシミュレータディスプレイで用いられる）場合に没入を実現するのに極めて効果的である。これらの従来のコリメートディスプレイは、観察者の近くで物体を見せるのには適さないが、平行又は略平行光を用いることによりこれらの場合に没入を実現することはできる。

ミラーからの反射時に平行光を生成する距離よりもミラーに対して近くに表示画面が位置付けられる、コリメートディスプレイのこの構成の別の主な利点は、観察者が許容可能な品質で画像を見ることができる範囲の増加である。この範囲は、ディスプレイのアイボックスと称することが多い。これらのコリメートディスプレイには、従来のコリメートディスプレイのアイボックスサイズの２倍以上を有するという付加的な利益がある。

通常は、従来のコリメートディスプレイの状況では、表示画面がミラーの焦点から移動した場合には得られる像が歪んで見え、視認画像に奇妙な奥行きプロファイル（odd depth profile）ができる。従来のコリメートディスプレイを変更することにより起きたであろうこの問題を解消するために、画面ミラーを球形から非球形に再設計する必要がある。これには、以下にさらに記載する方法に基づくべきこの形状を設計するツールが必要である。

ディスプレイシステムは、所与の用途でのユーザによる最適な没入感をもたらすのに必要なコンポーネントを備え、これらは、ミラーの近くに位置付けられた表示物体が提供する少なくとも１方向（水平及び／又は垂直）で３０°を超える大視野ディスプレイと、以下でさらに記載する虚像生成アルゴリズムを用いて奥行き感覚を最適化するよう設計されたコリメートディスプレイシステムとによるものである。

ミラーに近すぎる表示物体は、奥行き感覚が乏しい虚像をもたらし、光学系を複雑にし、且つ画像品質を低下させる。ミラーから遠すぎる表示物体は、不適切に見える虚像を生成し、近接した虚像を有するべき近接物体をレンダリングする場合に画像が非常に大きく且つ目視者から離れて見える。

画像は没入を最大化するようレンダリングされるべきである。表示画面を従来のコリメートディスプレイよりも画面ミラーに対して近い距離に設けること、及び表示画面上の投影を制御すること、及び以下でさらに示す方程式により求められるように所与の形状を画面又はミラーに与えることにより、目視者に対して表示された画像は正しい透視投影で提示される。換言すれば、レンダリング画像の透視投影は、ミラーと同じサイズで同じ場所の窓の外を見ている際に見る透視投影と合致する。図１０に示すように、これにより表示画像の現実感が最大化される。これは、近くの物体が有限距離虚像で正しく結像されるからである。

錐台補正（frustum correction）を適用して、コンピュータグラフィックレンダリングにおいて一般的に用いられる截頭角錐（clipped pyramid）（視錐台）を画面ミラーの形状に適合した曲線分（すなわち、仮想表面）に変換すべきである。これを図１１に示す。代替として、正しい透視投影を有する画像をレンダリングするための球面レンダリング又は他のソフトウェア技法を実行することができる。

錐台補正は、没入型環境で表示された画像の正しい透視投影をレンダリングするのに有用である。これは、表示画面上の画像を接合するのにも有用である。表示画面への投影に多くのプロジェクタが用いられるので、錐台補正は、多くのプロジェクタにより生成された画像間の連続性を確保する。最終画像の補正の利点を図１２に示す。

一実施形態では、ディスプレイシステムに加えて、スピーカ、ヘッドホン、又はユーザの周囲の３次元（３Ｄ）世界の特定の場所に固定された音響を生成する他の音響システムを備えた、３Ｄ音響システムが設けられる。

音響は、デジタル世界の各場所につながれて、一定の音量、音質、及び場合によっては没入型ディスプレイで見られている画像と一致して現実の音響手がかり（sound cues）を模倣することによりレンダリング画像を補完する方向性で再生される。

一実施形態によれば、ユーザが没入するデジタル環境とのユーザ対話用のシステムが設けられる。ユーザ対話システムは、デジタルコンテンツの操作及び画面に提示されたコンテンツのナビゲーションを可能にすべきである。例えば、音声コマンド（マイクロホンを用いた）を実行することができる。ユーザの前の制御盤を、ボタン及び／又はタッチコマンドと共に設けることができる。カメラ又は赤外線検出器を備えた移動追従システムを用いて、ワークステーション内の所定の規則に従った意味を有することが意図されるユーザの身体部位に追従することができる。デジタルコンテンツの閲覧及び操作の実行は直感的なものとすべきである。カメラ又は赤外線検出器による検出に従い、表示されたデジタルコンテンツ内の特定の要素を指差してユーザに対して提示されたコンテンツ内の所与の要素を選択することは、コンテンツで実行される直感的操作の一例である。代替として、車両、機械、又はツールを模倣するシミュレータを用いて、ディスプレイを制御することができる。全方向トレッドミル等のツール及び他の周辺機器を用いて、直感的なユーザ移動を容易にすることもできる。銃又はツール等のアクセサリ付属品も追従して環境の制御に用いることができる。

上述のように、コリメートディスプレイで実行されるような無限遠での物体の結像は必ずしも望ましいとは限らず、それはシミュレーションが普通は目視者に近い物体を含み得るからである。したがって、画像は現実的に見えない。さらに、目視者の両眼間の虚像の僅かな角度差は、見ている物の距離を決定するために目視者により解釈される手がかり、したがって存在すべきだが従来技術の方法にはない立体奥行き手がかりとして働く。この手がかりの欠如は、混乱を招き得るものであり、十分な現実感を与えない。

上述の方法は、コリメートディスプレイにはるかに大きな輻輳及び／又は開散許容範囲を提供することができる。輻輳及び開散に関して、観察者は、物体を見る場合にそれに両眼を向ける。観察者の両眼の方向ベクトル間の角度は、輻輳角として知られている。観察者の両眼が相互から離れた向きにある場合、両眼間の角度は開散角である。角度が広がっている場合、状況は脳にとって苦痛であり、観察者が曲面ミラーを見ない限りはこの状況に遭うことはめったにない。観察者の近くにあるものを見る場合、眼間の輻輳角は大きく、秘奥に遠い物体を見る場合、輻輳角はほぼゼロである。

フライトシミュレータで用いられるコリメートディスプレイの場合、仮想表面が観察者の前方に遠く離れているので、輻輳角はゼロに近い。しかしながら、観察者が所望の視点から移動する場合、画像が歪み得るので、ユーザは画像をはっきりと見るために眼を輻輳させなければならないか、又はより一般的には、画像を見るために眼を開散させる必要があり、これによりディスプレイの目視が非常に苦痛になる。これが起こり得るのは、観察者が視点からわずか２０ｃｍ移動した場合である。しかしながら、コリメートディスプレイの仮想表面が近付けられた場合、輻輳角は視点においてはるかに大きい。この場合に観察者が視点から２０ｃｍ移動した場合、輻輳角は小さくなるが開散にはならない。

これにより、観察者がディスプレイを快適に見ることができる範囲がはるかに大きくなる。これは、観察者の快適性にとって有利なだけでなく、複数人が同時にディスプレイを見ることも可能にするのにも有利である。上述の方法は、虚像が視差及び／又は立体奥行き手がかりを提供することを確実にし、曲面ミラーをユーザの近くに位置付けることを可能にし得るので、両眼視の観察者が水平方向に移動することにより体験する輻輳／開散に対する許容範囲を改善する。

これを図３２に示し、図３２は、最終的な制御に必要な計算を上述のように実行するステップ２０１０を含む。ステップ２０２０において、ミラーからの反射時に平行光を生成する距離よりも小さな距離で表示物体画面に対向してミラーを配置する。ステップ２０３０において、視差及び／又は立体奥行き手がかりを提供しつつ、表示物体を表示に用いている。

ワークステーション２００の実施形態を図１〜図９に示す。表示画面２３０及び／又はミラー（単数又は複数）２４０は、上記方程式により定義される形状を有する。プロジェクタは、中間像を表示画面２３０に投影するようコンピュータシステムにより実行されるプログラムにより制御され、表示画面２３０はさらに、ミラー（単数又は複数）２４０により反射されると虚像を形成する物体である。表示画面２３０とミラー（単数又は複数）２４０との間の距離は、完全な平行光を生成する距離よりも実質的に小さい。これは、ワークステーション２００のユーザが見たときに有限の場所に生成される虚像を可能にする。図示のように、表示画面２３０をミラー（単数又は複数）２４０の近くに配置することにより、システム全体がかなり小型になることが有利である。曲面状鏡面及び表示画面を上記小さな距離に設けることで、虚像が６０フィートすなわち１８．２８８ｍ未満の距離にある場合、観察者が虚像を見るときの観察者の両眼間の輻輳角が０．２°を超える。

テーブル又は制御盤２７０をユーザの前に設けることができる。上述のような音響システム又は制御コマンド等の他の要素を設けることができる。全体的な結果として得られる環境では、この環境においてユーザの近くにあるべき物体が効果的に近く見え、奥行き手がかりを考慮して、ミラー（単数又は複数）２４０の形状及び場所、表示画面（単数又は複数）２３０の形状及び場所、又は表示画面にプロジェクタ２２０により投影された像の形状により提供される奥行き手がかりにより、正しい奥行き感が得られる。

好ましい実施形態を上述し添付図面に示したが、本開示から逸脱せずに変更を行うことができることが当業者には明らかであろう。このような変更は、開示の範囲内に含まれる可能な変形形態とみなされる。

Claims (40)

1. ディスプレイにおいて、表示を制御可能な表示物体の虚像を制御する方法であって、
   前記虚像を生成するよう前記表示物体に対向して曲面状鏡面を設けるステップと、
   前記曲面状鏡面に対する観察者の場所を決定するステップと、
   視差及び立体奥行き手がかりの少なくとも一方を提供する、前記場所における前記観察者用の前記虚像の位置を決定するステップと、
   決定されたような前記虚像を生成するよう前記表示物体を制御するステップと
   を含む方法。
2. 請求項１に記載の方法において、前記表示物体は、表示画面及び表示装置の一方である方法。
3. 請求項１に記載の方法において、前記表示物体は、リアプロジェクション画面及びフロントプロジェクション画面の一方である表示画面である方法。
4. 請求項１に記載の方法において、前記表示物体を制御するステップは、前記表示物体上に又は該表示物体により表示された画像を補正するコンピューティングシステムを用いて、前記場所における前記観察者用の前記虚像に関する視差及び立体奥行き手がかりの一方を提供するよう前記表示物体上のマッピングを変更するステップを含む方法。
5. 請求項４に記載の方法において、前記表示物体を制御するステップは、
   を用いて虚像を生成するための前記曲面状鏡面の形状及び前記表示物体の形状、それにより前記場所における前記観察者に関する視差及び立体奥行き手がかりの少なくとも一方を得るステップを含む方法。
6. 請求項１に記載の方法において、前記位置を決定するステップは、虚像における複数の位置を決定し、それにより前記虚像の形状を形成するステップを含む方法。
7. 請求項１に記載の方法において、前記虚像の位置を決定するステップは、前記曲面状鏡面の対称軸から５°を超える角度で前記曲面状鏡面を介して前記表示物体を見る前記観察者の前記場所に関する前記視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む方法。
8. ディスプレイにおいて、表示物体の虚像を制御する方法であって、
   表示を制御可能な前記表示物体として働く表示画面の形状を決定するステップと、
   前記表示物体の虚像を生成するよう曲面状鏡面に対向して前記決定されたような形状を有する前記表示画面を設けるステップと、
   前記曲面状鏡面に対する前記観察者の場所を決定するステップと、
   前記表示を前記表示画面上にマッピングすることにより前記表示物体を制御するステップであり、前記表示画面の形状は、前記場所における前記観察者に関する視差及び立体奥行き手がかりの少なくとも一方を提供する決定されたような前記虚像を生成するステップと
   を含む方法。
9. 請求項８に記載の方法において、前記表示物体は、リアプロジェクション画面及びフロントプロジェクション画面の一方である表示画面である方法。
10. 請求項８に記載の方法において、前記表示物体を制御するステップは、前記表示物体上に又は該表示物体により表示された画像を補正するコンピューティングシステムを用いて、前記表示画面の前記形状を用いて、前記場所における前記観察者用の前記虚像に関する視差及び立体奥行き手がかりの一方を提供するよう前記表示物体へのマッピングを変更するステップを含む方法。
11. 請求項８に記載の方法において、前記表示物体を制御するステップは、
    を用いて虚像を生成するための前記曲面状鏡面の形状及び前記表示物体への元画像のマッピング、それにより前記場所における前記観察者に関する視差及び立体奥行き手がかりの少なくとも一方を得るステップを含む。
12. 請求項８に記載の方法において、前記虚像を生成するステップは、前記曲面状鏡面の対称軸から５°を超える角度で前記曲面状鏡面を介して前記表示物体を見る前記観察者の前記場所に関する前記視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む方法。
13. ディスプレイにおいて、表示物体の虚像を制御する方法であって、
    曲面状鏡面の形状を決定するステップと、
    前記虚像を生成するよう表示を制御可能な表示物体に対向して前記曲面状鏡面を設けるステップと、
    前記曲面状鏡面に対する観察者の場所を決定するステップと、
    前記形状を有する前記曲面状鏡面により決定されたような、前記場所における前記観察者に関する視差及び立体奥行き手がかりの少なくとも一方を提供する前記虚像を生成するように、前記表示を前記表示画面にマッピングすることにより前記表示物体を制御するステップと
    を含む方法。
14. 請求項１３に記載の方法において、前記表示物体は、表示画面及び表示装置の一方である方法。
15. 請求項１３に記載の方法において、前記表示物体は、リアプロジェクション画面及びフロントプロジェクション画面の一方である表示画面である方法。
16. 請求項１３に記載の方法において、前記表示物体を制御するステップは、前記表示物体上に又は該表示物体により表示された画像を補正するコンピューティングシステムを用いて、前記曲面状鏡面の前記形状を用いて、前記場所における前記観察者用の前記虚像に関する視差及び立体奥行き手がかりの一方を提供するよう前記表示物体上のマッピングを変更するステップを含む方法。
17. 請求項１３に記載の方法において、前記表示物体を制御するステップは、
    を用いて虚像を生成するための前記表示物体の形状及び前記表示物体への元画像のマッピング、それにより前記場所における前記観察者に関する視差及び立体奥行き手がかりの少なくとも一方を得るステップを含む方法。
18. 請求項１３に記載の方法において、前記表示物体を制御するステップは、前記曲面状鏡面の対称軸から５°を超える角度で前記曲面状鏡面を介して前記表示物体を見る前記観察者の前記場所に関する前記視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む方法。
19. ディスプレイにおいて、表示物体の虚像を制御する方法であって、
    曲面状屈折面の形状を決定するステップと、
    前記虚像を生成するよう表示を制御可能な表示物体に対向して前記曲面状屈折面を設けるステップと、
    前記曲面状屈折面に対する観察者の場所を決定するステップと、
    前記形状を有する前記曲面状屈折面により決定されたような、両眼視の場合に前記場所における前記観察者に関する視差及び立体奥行き手がかりの少なくとも一方を提供する前記虚像を生成するように、前記表示を前記表示画面にマッピングすることにより前記表示物体を制御するステップと
    を含む方法。
20. 請求項１９に記載の方法において、前記曲面状屈折面はレンズである方法。
21. 請求項１９に記載の方法において、前記表示物体は、表示画面及び表示装置の一方である方法。
22. 請求項１９に記載の方法において、前記表示物体は、リアプロジェクション画面及びフロントプロジェクション画面の一方である表示画面である方法。
23. 請求項１９に記載の方法において、前記表示物体を制御するステップは、前記表示物体上に又は該表示物体により表示された画像を補正するコンピューティングシステムを用いて、前記曲面状屈折面の前記形状を用いて、前記場所における前記観察者用の前記虚像に関する視差及び立体奥行き手がかりの一方を提供するよう前記表示物体上のマッピングを変更するステップを含む方法。
24. 請求項１９に記載の方法において、前記表示物体を制御するステップは、
    を用いて虚像を生成するための前記表示物体の形状及び前記表示物体への元画像のマッピング、それにより前記場所における前記観察者に関する視差及び立体奥行き手がかりの少なくとも一方を得るステップを含む方法。
25. 請求項１９に記載の方法において、前記表示物体を制御するステップは、前記曲面状鏡面の対称軸から５°を超える角度で前記曲面状鏡面を介して前記表示物体を見る前記観察者の前記場所に関する前記視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む方法。
26. 没入型ディスプレイを操作する方法であって、
    曲面状鏡面からの反射時に平行光を生成する距離よりも小さな距離に前記曲面状鏡面及び表示画面を設けるステップと、
    視差及び立体奥行き手がかりの少なくとも一方により没入的な画像レンダリングを提供するよう物体を前記表示画面に表示するステップと
    を含む方法。
27. 請求項２６に記載の方法において、物体の虚像を決定するステップであり、前記虚像は表示画面を映す曲面状鏡面から反射して見えるステップをさらに含み、該方法は、視差及び立体奥行き手がかりの少なくとも一方を提供する前記虚像の位置を決定するステップを含む方法。
28. 請求項２６に記載の方法において、前記距離に前記曲面状鏡面及び前記表示画面を設けるステップは、仮想表面が６０フィートすなわち１８．２８８ｍ未満の距離にある場合、前記観察者が前記虚像を見るときの前記観察者の両眼間の輻輳角を０．２°を超えるものとする方法。
29. 請求項２６に記載の方法において、前記曲方法面状鏡面は、少なくとも一方向で３０°を超える視野を提供する。
30. 請求項２６に記載の方法において、前記没入型ディスプレイ付近の複数の場所で音を発生させて、前記音の発生源の場所を前記没入的画像レンダリングと一致させるステップをさらに含む方法。
31. 請求項２６に記載の方法において、前記虚像の内容と対話するためのユーザコントロールを提供するステップをさらに含む方法。
32. 請求項２６に記載の方法において、前記表示画面上に前記物体を表示する前に、該物体に画像補正を施して透視投影画像レンダリングを提供するステップをさらに含む方法。
33. 請求項２６に記載の方法において、前記物体を前記表示画面に表示するステップは、前記曲面状鏡面の対称軸から５°を超える角度で前記曲面状鏡面を介して前記表示物体を見る前記観察者の前記場所に関する前記視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む方法。
34. 没入型ディスプレイを操作する方法であって、
    表示画面を映す曲面状鏡面から反射して物体が見えるときに該物体の虚像が生成されるように、視差及び立体奥行き手がかりの少なくとも一方を提供する前記曲面状鏡面及び表示画面の少なくとも一方の形状を決定するステップと、
    前記曲面状鏡面からの反射時に平行光を生成する距離よりも小さな距離に前記曲面状鏡面及び前記表示画面を設けるステップと、
    前記視差及び立体奥行き手がかりの少なくとも一方により没入的な画像レンダリングを提供するように前記物体を前記表示画面に表示するステップと
    を含む方法。
35. 請求項３４に記載の方法において、前記距離に前記曲面状鏡面及び前記表示画面を設けるステップは、仮想表面が６０フィートすなわち１８．２８８ｍ未満の距離にある場合、前記観察者が前記虚像を見るときの前記観察者の両眼間の輻輳角を０．２°を超えるものとする方法。
36. 請求項３４に記載の方法において、前記曲面状鏡面は、少なくとも一方向で３０°を超える視野を提供する方法。
37. 請求項３４に記載の方法において、前記没入型ディスプレイ付近の複数の場所で音を発生させて、前記音の発生源の場所を前記没入的画像レンダリングと一致させるステップをさらに含む方法。
38. 請求項３４に記載の方法において、前記虚像の内容と対話するためのユーザコントロールを提供するステップをさらに含む方法。
39. 請求項３４に記載の方法において、前記表示画面上に前記物体を表示する前に、該物体に画像補正を施して透視投影画像レンダリングを提供するステップをさらに含む方法。
40. 請求項３４に記載の方法において、前記物体を前記表示画面に表示するステップは、前記曲面状鏡面の対称軸から５°を超える角度で前記曲面状鏡面を介して前記表示物体を見る前記観察者の前記場所に関する前記視差及び立体奥行き手がかりの少なくとも一方を決定するステップを含む方法。