概要
ライトフィールド(LF)ディスプレイシステムが車両に実装されている。LFディスプレイシステムは、車両の1つ以上の表面(内部および/または外部)の一部またはすべてにわたって、多面シームレス表面環境を形成することができる。LFディスプレイシステムは、ホログラフィックコンテンツを車両のユーザ、およびいくつかの実施形態では、車両の外部のユーザに提示することができる。ユーザは、一般に、ホログラフィックコンテンツの視聴者であり、また、運転者、乗員(車内の人であり、運転者ではない)、乗員(車内の人)、または車両の外部の人であってもよい。LFディスプレイシステムは、LFディスプレイシステムのビューイングボリューム内の1人以上のユーザに見えるであろう1つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するように構成されたLFディスプレイアセンブリを備える。ホログラフィックオブジェクトはまた、他の感覚刺激(例えば、触覚および/または音声)で拡張され得る。例えば、LFディスプレイシステム内の超音波エミッタは、ホログラフィックオブジェクトの一部またはすべてに対して触覚表面を提供する超音波圧力波を放出することができる。ホログラフィックコンテンツは、追加のビジュアルコンテンツ(すなわち、2Dまたは3Dビジュアルコンテンツ)を含み得る。まとまりのある体験が可能であることを確実にするエミッタの協調が、マルチエミッタ実装形態のシステムの一部(すなわち、任意の所与の時点で正しい触感および感覚刺激を提供するホログラフィックオブジェクト)である。LFディスプレイアセンブリは、ホログラフィックコンテンツを生成するための1つ以上のLFディスプレイモジュールを含み得る。
いくつかの実施形態では、LFディスプレイシステムは、車両の外面の一部である複数のLFディスプレイモジュールを含む。外面に沿ったLFディスプレイモジュールは、ホログラフィックコンテンツを投影して車両の外観を変更するように構成することができる。このようにして、LFディスプレイシステムのユーザは、車両が車両の外側の視聴者にどのように見えるかを修正することができる。例えば、LFディスプレイシステムは、車両の一部もしくは全部の色、車両の一部もしくは全部の形状、またはそれらの何らかの組み合わせを変更することができる。LFディスプレイシステムは、車両の外面に沿ってLFディスプレイモジュールの一部またはすべてによって提示されるホログラフィックオブジェクト(例えば、スポイラ、フードスクープなど)を使用して車両の形状を変更することができる。
いくつかの実施形態では、LFディスプレイシステムは、車両の内面の一部である複数のLFディスプレイモジュールを含む。内面に沿ったLFディスプレイモジュールは、ホログラフィックコンテンツを投影して、車両の内部の外観を変更し、車両制御のカスタマイズを提供するように構成することができる。例えば、運転者は、計器クラスタに表示したい計器、ステアリングホイールが位置する場所および物、車両がオートマチックトランスミッションかマニュアルトランスミッションか、窓制御インターフェースの場所、ドア制御インターフェースの場所などをカスタマイズし得る。さらに、車両は、1つ以上の拡張された窓(例えば、フロントガラス、サンルーフなど)を含み得る。拡張された窓は、少なくともいくつかのLFディスプレイモジュールを含む窓である。
いくつかの実施形態では、LFディスプレイシステムは、システムが、少なくとも1つのタイプのエネルギーを同時に放出し、それと同時に、ユーザに応答して車両に命令を提供するために少なくとも1つのタイプのエネルギーを吸収することを可能にする要素を含み得る。例えば、LFディスプレイシステムは、見るためのホログラフィックオブジェクトおよび触覚知覚のための超音波の両方を放出し、それと同時に、視聴者の追跡および他のシーン分析のための画像情報を吸収する一方、ユーザによるタッチ応答を検出するために超音波を吸収する。一例として、そのようなシステムは、ユーザによって仮想的に「タッチ」されると、タッチ刺激に従って回転するホログラフィックステアリングホイールを投影することができる。環境のエネルギー感知を実行するディスプレイシステムの構成要素は、エネルギーの放出および吸収の両方を行う双方向エネルギー要素を介して表示面に統合され得るか、または超音波スピーカおよびカメラなどの撮像キャプチャデバイスなど、表示面とは別の専用のセンサであり得る。
いくつかの実施形態では、車両の内面および外面の両方が、LFディスプレイモジュールを含む。この配置の1つの利点は、車両の運転者の死角を実質的に軽減する能力である。例えば、車両は、車両を取り巻く局所エリアの画像をキャプチャするカメラ(例えば、LFディスプレイモジュールの一部として)を含み得る。LFディスプレイシステムは、キャプチャされた画像を使用して、ホログラフィックコンテンツを生成し、ホログラフィックコンテンツは、車両の内部のLFディスプレイモジュールを使用して運転者に提示される。車両の内部のLFディスプレイモジュールは、キャプチャされた画像に対応するホログラフィックコンテンツを表示し、これにより、運転者が、運転者の死角のオブジェクトを見るために、通常は不透明なオブジェクト(つまり、自動車の一部)であろうものを「通して」見ることを効果的に可能にする。
ライトフィールドディスプレイシステムの概要
図1は、1つ以上の実施形態による、ホログラフィックオブジェクト120を提示するライトフィールド(LF)ディスプレイモジュール110の図100である。LFディスプレイモジュール110は、ライトフィールド(LF)ディスプレイシステムの一部である。LFディスプレイシステムは、1つ以上のLFディスプレイモジュールを使用して、少なくとも1つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。LFディスプレイシステムは、1人以上の視聴者にホログラフィックコンテンツを提示することができる。いくつかの実施形態では、LFディスプレイシステムはまた、他の感覚コンテンツ(例えば、タッチ、音声、匂い、温度など)でホログラフィックコンテンツを拡張することができる。例えば、以下で論じられるように、集束超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートし得る中空触覚を生成することができる。LFディスプレイシステムは、1つ以上のLFディスプレイモジュール110を含んでおり、図2~図5に関して以下で詳細に説明される。
LFディスプレイモジュール110は、ホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト120)を1人以上の視聴者(例えば、視聴者140)に提示するホログラフィックディスプレイである。LFディスプレイモジュール110は、エネルギーデバイス層(例えば、発光電子ディスプレイまたは音響投影デバイス)と、エネルギー導波路層(例えば、光学レンズアレイ)と、を含む。追加的に、LFディスプレイモジュール110は、複数のエネルギー源または検出器を一緒に組み合わせて単一の表面を形成するために、エネルギーリレー層を含み得る。高レベルでは、エネルギーデバイス層は、エネルギー(例えば、ホログラフィックコンテンツ)を生成し、このエネルギーは次に、エネルギー導波路層を使用して、1つ以上の四次元(4D)ライトフィールド関数に従って空間内の領域に指向される。LFディスプレイモジュール110はまた、1つ以上のタイプのエネルギーの投影および/または感知を同時に行うことができる。例えば、LFディスプレイモジュール110は、ホログラフィック画像ならびに超音波触覚表面をビューイングボリューム内に投影することができ得る一方、同時に、ビューイングボリュームからの画像データを検出する。LFディスプレイモジュール110の操作は、図2A~図3Bに関して以下でより詳細に説明される。
LFディスプレイモジュール110は、(例えば、プレノプティック関数から導出される)1つ以上の4Dライトフィールド関数を使用して、ホログラフィックオブジェクトボリューム160内にホログラフィックオブジェクトを生成する。ホログラフィックオブジェクトは、三次元(3D)、二次元(2D)、またはそれらの何らかの組み合わせであり得る。さらに、ホログラフィックオブジェクトは、多色(例えば、フルカラー)であり得る。ホログラフィックオブジェクトは、スクリーン平面の前、スクリーン平面の後ろに投影されるか、またはスクリーン平面によって分割されてもよい。ホログラフィックオブジェクト120は、ホログラフィックオブジェクトボリューム160内のどこでも知覚されるように提示され得る。ホログラフィックオブジェクトボリューム160内のホログラフィックオブジェクトは、視聴者140には、空間に浮かんでいるように見えることがある。
ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトが視聴者140によって知覚され得るボリュームを表す。ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトが表示エリア150の平面の前に提示され得るように、表示エリア150の表面の前に(すなわち、視聴者140に向かって)延在し得る。追加的に、ホログラフィックオブジェクトボリューム160は、表示エリア150の表面の後ろに(すなわち、視聴者140から離れる方向に)延在し得、ホログラフィックオブジェクトが、表示エリア150の平面の後ろにあるかのように提示されることを可能にする。言い換えれば、ホログラフィックオブジェクトボリューム160は、表示エリア150から発生し(例えば、投影され)、収束してホログラフィックオブジェクトを作成し得るすべての光線を含むことができる。ここで、光線は、表示面の前、表示面、または表示面の後ろにある点に収束し得る。より簡単に言えば、ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトが視聴者によって知覚され得るすべてのボリュームを包含する。
ビューイングボリューム130は、LFディスプレイシステムによってホログラフィックオブジェクトボリューム160内に提示されたホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト120)が完全に見える空間のボリュームである。ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム160内に提示され、実際のオブジェクトと区別できないように、ビューイングボリューム130内で見られ得る。ホログラフィックオブジェクトは、オブジェクトが物理的に存在した場合に、オブジェクトの表面から生成されるであろう光線と同じ光線を投影することによって形成される。
場合によっては、ホログラフィックオブジェクトボリューム160および対応するビューイングボリューム130は、単一の視聴者用に設計されるように、比較的小さくあり得る。他の実施形態では、例えば、図4A、4B、および図6A~図13Bに関して以下で詳細に説明するように、LFディスプレイモジュールは、より大きなホログラフィックオブジェクトボリューム、および広範囲の視聴者(例えば、1人~数千人)を収容できる対応するビューイングボリュームを作成するために拡大および/またはタイル張りされ得る。本開示で提示されるLFディスプレイモジュールは、LFディスプレイの全表面が、非アクティブまたはデッドスペースがなく、ベゼルを必要としないホログラフィック撮像光学系を含むように構築され得る。これらの実施形態では、LFディスプレイモジュールは、撮像エリアがLFディスプレイモジュール間の継ぎ目をまたいで連続するようにタイル張りされ得、タイル張りされたモジュール間の接合ラインは、目の視力を使用して実質的に検出されない。特に、いくつかの構成では、表示面の一部は、本明細書では詳細に説明されていないが、ホログラフィック撮像光学系を含まないことがある。
ビューイングボリューム130の柔軟なサイズおよび/または形状は、視聴者がビューイングボリューム130内で制約を受けないことを可能にする。例えば、視聴者140は、ビューイングボリューム130内の異なる位置に移動し、対応する視点からホログラフィックオブジェクト120の異なるビューを見ることができる。例示のための、図1を参照すると、視聴者140は、ホログラフィックオブジェクト120がイルカの真正面からのビューで見えるように、ホログラフィックオブジェクト120に対して第1の位置にある。視聴者140は、イルカの異なるビューを見るために、ホログラフィックオブジェクト120に対して他の場所に動くことができる。例えば、視聴者140は、視聴者140があたかも実際のイルカを見ていて、イルカの異なるビューを見るために、実際のイルカに対する視聴者の相対位置を変更するかのように、移動して、イルカの左側、イルカの右側などを見ることができる。いくつかの実施形態では、ホログラフィックオブジェクト120は、ホログラフィックオブジェクト120への遮るもののない(すなわち、オブジェクト/人によって遮られていない)視線を有する、ビューイングボリューム130内のすべての視聴者に見える。これらの視聴者は、異なる視点のホログラフィックオブジェクト120を見るために、ビューイングボリューム内を動き回ることができるように、制約されないでよい。したがって、LFディスプレイシステムは、複数の制約されない視聴者が、あたかもホログラフィックオブジェクトが物理的に存在するかのごとく、実世界空間のホログラフィックオブジェクトを異なる視点で同時に見ることができるように、ホログラフィックオブジェクトを提示することができる。
対照的に、従来のディスプレイ(例えば、立体視、仮想現実、拡張現実、または複合現実)では、一般に、各視聴者は、コンテンツを見るために、何らかの外部デバイス(例えば、3Dメガネ、ニアアイディスプレイ、またはヘッドマウントディスプレイ)を着用する必要がある。追加的および/または代替的に、従来のディスプレイでは、視聴者が特定の視聴位置に(例えば、ディスプレイに対して固定された場所を有する椅子に)拘束される必要があり得る。例えば、立体視ディスプレイによって表示されるオブジェクトを見る場合、視聴者は常に、オブジェクトではなく表示面に焦点を合わせ、ディスプレイは常に、知覚されたオブジェクトの周りを動き回ろうとする視聴者に追随するオブジェクトの2つのビューのみを提示し、そのオブジェクトの知覚に歪みを引き起こす。しかしながら、ライトフィールドディスプレイでは、LFディスプレイシステムによって提示されるホログラフィックオブジェクトの視聴者は、ホログラフィックオブジェクトを見るために、外部デバイスを着用する必要も、特定の位置に監禁される必要もない。LFディスプレイシステムは、特別なアイウェア、メガネ、またはヘッドマウントアクセサリを要することなく、物理的なオブジェクトが視聴者に見えるのとほぼ同じように視聴者に見える方法で、ホログラフィックオブジェクトを提示する。さらに、視聴者は、ビューイングボリューム内の任意の場所からホログラフィックコンテンツを見ることができる。
特に、ホログラフィックオブジェクトボリューム160内のホログラフィックオブジェクトの潜在的な場所は、ボリュームのサイズによって制限される。ホログラフィックオブジェクトボリューム160のサイズを大きくするために、LFディスプレイモジュール110の表示エリア150のサイズを大きくしてもよく、および/または複数のLFディスプレイモジュールを、シームレスな表示面を形成するように一緒にタイル張りしてもよい。シームレスな表示面は、個々のLFディスプレイモジュールの表示エリアよりも大きい有効表示エリアを有する。LFディスプレイモジュールのタイル張りに関連するいくつかの実施形態が、図4A、4B、および図6A~図13Bに関して以下で説明される。図1に例示されるように、表示エリア150は矩形であり、ピラミッド形であるホログラフィックオブジェクトボリューム160をもたらす。他の実施形態では、表示エリアは、対応するビューイングボリュームの形状にも影響を与える何らかの他の形状(例えば、六角形)を有し得る。
追加的に、上記の考察は、LFディスプレイモジュール110と視聴者140との間にあるホログラフィックオブジェクトボリューム160の一部内にホログラフィックオブジェクト120を提示することに焦点を当てているが、LFディスプレイモジュール110は追加的に、表示エリア150の平面の後ろのホログラフィックオブジェクトボリューム160にコンテンツを提示することができる。例えば、LFディスプレイモジュール110は、表示エリア150を、ホログラフィックオブジェクト120が飛び出している海の表面であるように見せることができる。そして、表示されるコンテンツは、視聴者140が、表示された表面を通して、水中にいる海洋生物を見ることができるようなものであってもよい。さらに、LFディスプレイシステムは、表示エリア150の平面の後ろおよび前を含む、ホログラフィックオブジェクトボリューム160の周りをシームレスに移動するコンテンツを生成することができる。
図2Aは、1つ以上の実施形態による、LFディスプレイモジュール210の一部の断面200である。LFディスプレイモジュール210は、LFディスプレイモジュール110であってもよい。他の実施形態では、LFディスプレイモジュール210は、表示エリア150とは異なる表示エリア形状を有する別のLFディスプレイモジュールであってもよい。例示的な実施形態では、LFディスプレイモジュール210は、エネルギーデバイス層220、エネルギーリレー層230、およびエネルギー導波路層240を含む。LFディスプレイモジュール210のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。例えば、いくつかの実施形態では、LFディスプレイモジュール210は、エネルギーリレー層230を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
本明細書に記載のディスプレイシステムは、実世界のオブジェクトを通常取り巻くエネルギーを複製するエネルギーの放出を提示する。ここで、放出されたエネルギーは、表示面上のすべての座標から特定の方向に指向される。言い換えれば、表示面上の様々な座標が、放出されたエネルギーの投影場所として機能する。表示面からの指向されたエネルギーは、多くのエネルギー線の収束を可能にし、それによって、ホログラフィックオブジェクトを作成することができる。例えば、可視光では、LFディスプレイは、ホログラフィックオブジェクトボリューム内の任意の点で収束し得る、投影場所からの極めて大きい数の光線を投影するため、それらの光線は、投影されているオブジェクトよりも遠くに位置する視聴者の視点からは、空間のこの領域に位置する実世界のオブジェクトの表面から来ているように見えるであろう。このように、LFディスプレイは、視聴者の視点からは、そのようなオブジェクトの表面から出たような反射光線を生成している。視聴者の視点は、任意の特定のホログラフィックオブジェクト上で変わり得、視聴者は、そのホログラフィックオブジェクトの異なるビューを見るであろう。
エネルギーデバイス層220は、1つ以上の電子ディスプレイ(例えば、OLEDなどの発光ディスプレイ)と、本明細書に記載の1つ以上の他のエネルギー投影および/またはエネルギー受信デバイスと、を含む。1つ以上の電子ディスプレイは、(例えば、LFディスプレイシステムのコントローラからの)表示命令に従ってコンテンツを表示するように構成される。1つ以上の電子ディスプレイは、各々が個別に制御される強度を有する複数のピクセルを含む。発光LEDおよびOLEDディスプレイなど、多くのタイプの商用ディスプレイがLFディスプレイ内で使用され得る。
エネルギーデバイス層220はまた、1つ以上の音響投影デバイスおよび/または1つ以上の音響受信デバイスを含むことができる。音響投影デバイスは、ホログラフィックオブジェクト250を補完する1つ以上の圧力波を生成する。生成される圧力波は、例えば、可聴、超音波、またはそれらの何らかの組み合わせであってもよい。超音波圧力波のアレイは、体積触覚のために(例えば、ホログラフィックオブジェクト250の表面において)使用され得る。可聴圧力波は、ホログラフィックオブジェクト250を補完し得る音声コンテンツ(例えば、没入型オーディオ)を提供するために使用される。例えば、ホログラフィックオブジェクト250がイルカであると仮定すると、1つ以上の音響投影デバイスを使用して、(1)視聴者がホログラフィックオブジェクト250にタッチすることができるように、イルカの表面と一致する触覚表面を生成し、(2)パチンと鳴る音、甲高い音、けたたましい鳴き声など、イルカが発生する音に対応する音声コンテンツを提供することができる。音響受信デバイス(例えば、マイクロフォンまたはマイクロフォンアレイ)は、LFディスプレイモジュール210の局所エリア内の超音波および/または可聴圧力波を監視するように構成され得る。
エネルギーデバイス層220はまた、1つ以上の画像センサを含むことができる。画像センサは、可視光帯の光に敏感であってもよく、場合によっては、他の帯域(例えば、赤外線)の光に敏感であってもよい。画像センサは、例えば、相補型金属酸化膜半導体(CMOS)アレイ、電荷結合デバイス(CCD)、光検出器のアレイ、光をキャプチャする何らかの他のセンサ、またはそれらの何らかの組み合わせであってもよい。LFディスプレイシステムは、視聴者の場所標定追跡のために、1つ以上の画像センサによってキャプチャされたデータを使用することができる。
いくつかの構成では、エネルギーリレー層230は、エネルギーデバイス層220とエネルギー導波路層240との間でエネルギー(例えば、電磁エネルギー、機械的圧力波など)を中継する。エネルギーリレー層230は、1つ以上のエネルギーリレー素子260を含む。各エネルギーリレー素子は、第1の表面265と第2の表面270とを含み、2つの表面間でエネルギーを中継する。各エネルギーリレー素子の第1の表面265は、1つ以上のエネルギーデバイス(例えば、電子ディスプレイまたは音響投影デバイス)に結合され得る。エネルギーリレー素子は、例えば、ガラス、炭素、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらの何らかの組み合わせで構成され得る。追加的に、いくつかの実施形態では、エネルギーリレー素子は、第1の表面265と第2の表面270との間を通過するエネルギーの倍率(増加または減少)を調整することができる。リレーが倍率を提供する場合、リレーは、テーパーと呼ばれる、接着されたテーパーリレーのアレイの形態をとり得、テーパーの一端の面積は、反対側の端よりも実質的に大きくなり得る。テーパーの大きい方の端は、一緒に張り合わされて、シームレスなエネルギー面275を形成することができる。1つの利点は、複数のディスプレイのベゼルなど、複数のエネルギー源の機械的エンベロープを収容するために、各テーパーの複数の小さな端にスペースが作成されることである。この余分のスペースにより、各エネルギー源が、小さいテーパー表面内にエネルギーを指向するアクティブエリアを有し、大きいシームレスなエネルギー面にリレーされる状態で、エネルギー源を小さなテーパー側に並べて配置することが可能になる。テーパーリレーを使用する別の利点は、テーパーの大きい端によって形成される、組み合わされたシームレスなエネルギー面には、非結像デッドスペースがないことである。境界またはベゼルが存在しないため、シームレスなエネルギー面を一緒にタイル張りして、目の視力によると実質的に継ぎ目のない、より大きな表面を形成することができる。
隣接するエネルギーリレー素子の第2の表面は、一緒になってエネルギー面275を形成する。いくつかの実施形態では、隣接するエネルギーリレー素子の縁間の分離は、例えば、20/40の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面275は、ビューイングボリューム285内の視聴者280の視点からは事実上シームレスである。他の実施形態では、隣接するエネルギーリレー素子の第2の表面は、それらの間に継ぎ目が存在しないように、圧力、熱、および化学反応のうちの1つ以上を含み得る処理工程を用いて一緒に融合される。さらに、他の実施形態では、エネルギーリレー素子のアレイは、リレー材料の連続したブロックの片側を、各々がエネルギーを、小さなテーパー端部に取り付けられたエネルギーデバイスから、細分化されない大きなエリアを有する単一の結合された表面内に輸送するように構成される、小さなテーパー端部のアレイに成形することによって形成される。
いくつかの実施形態では、1つ以上のエネルギーリレー素子は、エネルギー局在化を示し、表面265および270に実質的に垂直な長手方向のエネルギー輸送効率は、垂直横断面内の輸送効率よりもはるかに高く、エネルギー波が表面265と表面270との間を伝播するとき、エネルギー密度はこの横断面内で高度に局在化される。このエネルギーの局在化により、画像などのエネルギー分布が、解像度の大きな損失なしに、これらの表面間で効率的に中継されることが可能になる。
エネルギー導波路層240は、エネルギー導波路層240内の導波路素子を使用して、エネルギーを、エネルギー面275上の場所(例えば、座標)から、表示面から外側のホログラフィックビューイングボリューム285内への特定のエネルギー伝搬経路内に指向する。エネルギー伝搬経路は、少なくとも導波路に対するエネルギー面の座標場所によって決定される2つの角度寸法によって画定される。導波路は、空間2D座標に関連付けられる。これらの4つの座標が一緒になって、四次元(4D)エネルギーフィールドを形成する。一例として、電磁エネルギーの場合、エネルギー導波路層240内の導波路素子は、光をシームレスなエネルギー面275上の位置から、ビューイングボリューム285を通る異なる伝搬方向に沿って指向する。様々な例において、光は、4Dライトフィールド関数に従って指向されて、ホログラフィックオブジェクトボリューム255内にホログラフィックオブジェクト250を形成する。
エネルギー導波路層240内の各導波路素子は、例えば、1つ以上の要素で構成されるレンズレットであり得る。いくつかの構成では、レンズレットは、正レンズであり得る。正レンズは、球面、非球面、または自由形状の表面プロファイルを有し得る。追加的に、いくつかの実施形態では、導波路素子の一部またはすべては、1つ以上の追加の光学構成要素を含み得る。追加の光学構成要素は、例えば、バッフル、正レンズ、負レンズ、球面レンズ、非球面レンズ、自由形状レンズ、液晶レンズ、液体レンズ、屈折要素、回折要素、またはそれらの何らかの組み合わせなどのエネルギー抑制構造であり得る。いくつかの実施形態では、レンズレットおよび/または追加の光学構成要素のうちの少なくとも1つはまた、屈折力を動的に調整することができる。例えば、レンズレットは、液晶レンズまたは液体レンズであってもよい。表面プロファイルの動的調整、レンズレットおよび/または少なくとも1つの追加の光学構成要素は、導波路素子から投影される光の追加の方向制御を提供し得る。
例示的な例では、LFディスプレイのホログラフィックオブジェクトボリューム255は、光線256および光線257によって形成される境界を有するが、他の光線によって形成され得る。ホログラフィックオブジェクトボリューム255は、エネルギー導波路層240の前(すなわち、視聴者280に向かって)およびその後ろ(すなわち、視聴者280から離れて)の両方に延在する連続したボリュームである。例示的な例では、光線256および光線257は、LFディスプレイモジュール210の反対の縁から、ユーザによって知覚され得る表示面277の法線に対して最大の角度で投影されるが、これらは他の投影光線であり得る。これらの光線は、ディスプレイの視野を画定し、したがって、ホログラフィックビューイングボリューム285の境界を画定する。場合によっては、これらの光線は、ディスプレイ全体がケラレなしで観察され得るホログラフィックビューイングボリューム(例えば、理想的なビューイングボリューム)を画定する。ディスプレイの視野が広がると、光線256と光線257の収束点がディスプレイにより近くなる。したがって、より広い視野を有するディスプレイは、視聴者280がより近い視距離でディスプレイ全体を見ることを可能にする。追加的に、光線256および257は、理想的なホログラフィックオブジェクトボリュームを形成し得る。理想的なホログラフィックオブジェクトボリューム内に提示されるホログラフィックオブジェクトは、ビューイングボリューム285内のどこでも見られ得る。
いくつかの例では、ホログラフィックオブジェクトは、ビューイングボリューム285の一部にのみ提示され得る。言い換えれば、ホログラフィックオブジェクトボリュームは、任意の数のビューイングサブボリューム(例えば、ビューイングサブボリューム290)に分割され得る。追加的に、ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム255の外側に投影され得る。例えば、ホログラフィックオブジェクト251は、ホログラフィックオブジェクトボリューム255の外側に提示される。ホログラフィックオブジェクト251は、ホログラフィックオブジェクトボリューム255の外側に提示されるので、ビューイングボリューム285内のすべての場所から見ることができるわけではない。例えば、ホログラフィックオブジェクト251は、ビューイングサブボリューム290内の場所からは見えるが、視聴者280の場所からは見えない可能性がある。
例えば、異なるビューイングサブボリュームからホログラフィックコンテンツを見ることを例示するために、図2Bに目を向ける。図2Bは、1つ以上の実施形態による、LFディスプレイモジュールの一部の断面200を例示する。図2Bの断面は、図2Aの断面と同じである。しかしながら、図2Bは、LFディスプレイモジュール210から投影された異なる光線のセットを示している。光線256および光線257は、依然としてホログラフィックオブジェクトボリューム255およびビューイングボリューム285を形成する。しかしながら、示されるように、LFディスプレイモジュール210の頂部およびLFディスプレイモジュール210の底部から投影された光線は重なり合って、ビューイングボリューム285内に様々なビューイングサブボリューム(例えば、ビューサブボリューム290A、290B、290C、および290D)を形成する。第1のビューイングサブボリューム(例えば、290A)内の視聴者は、他のビューイングサブボリューム(例えば、290B、290C、および290D)内の視聴者が知覚できない、ホログラフィックオブジェクトボリューム255内に提示されたホログラフィックコンテンツを知覚することができ得る。
より簡単に言えば、図2Aに例示されるように、ホログラフィックオブジェクトボリューム255は、ホログラフィックオブジェクトがビューイングボリューム285内の視聴者(例えば、視聴者280)によって知覚され得るように、ホログラフィックオブジェクトが、LFディスプレイシステムによって提示され得るボリュームである。このように、ビューイングボリューム285は、理想的なビューイングボリュームの一例であり、ホログラフィックオブジェクトボリューム255は、理想的なオブジェクトボリュームの一例である。しかしながら、様々な構成において、視聴者は、他の視聴者がボリュームを見るように、他の例示的なホログラフィックオブジェクトボリューム内にLFディスプレイシステム200によって提示されたホログラフィックオブジェクトを知覚することができる。より一般的には、LFディスプレイモジュールから投影されたホログラフィックコンテンツを見るときには「アイラインガイドライン」が適用される。アイラインガイドラインは、視聴者の目の位置と見られているホログラフィックオブジェクトとによって形成されるラインはLF表示面と交差しなければならないと主張する。
LFディスプレイモジュール210によって提示されたホログラフィックコンテンツを見るとき、ホログラフィックコンテンツは4Dライトフィールド関数に従って提示されるので、視聴者280の各目は、異なる視点のホログラフィックオブジェクト250を見る。さらに、視聴者280がビューイングボリューム285内を移動するとき、視聴者は、ビューイングボリューム285内の他の視聴者が見るであろうような、異なる視点のホログラフィックオブジェクト250を見るであろう。当業者には理解されるように、4Dライトフィールド関数は当技術分野で周知であり、本明細書ではこれ以上詳しく説明しない。
本明細書でより詳細に説明するように、いくつかの実施形態では、LFディスプレイは、2つ以上のタイプのエネルギーを投影することができる。例えば、LFディスプレイは、例えば、機械的エネルギーおよび電磁エネルギーなどの2つのタイプのエネルギーを投影することができる。この構成では、エネルギーリレー層230は、エネルギー面275で一緒にインターリーブされるが、エネルギーが2つの異なるエネルギーデバイス層220に中継されるように分離される2つの別個のエネルギーリレーを含み得る。ここで、一方のリレーは、電磁エネルギーを輸送するように構成され得、もう一方のリレーは、機械的エネルギーを輸送するように構成され得る。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層240上の電磁導波路素子間の場所から投影され得、光が一方の電磁導波路素子からもう一方の電磁導波路素子に輸送されるのを抑制する構造を形成するのに役立つ。いくつかの実施形態では、エネルギー導波路層240はまた、コントローラからの表示命令に従って、集束超音波を特定の伝搬経路に沿って輸送する導波路素子を含み得る。
代替の実施形態(図示せず)では、LFディスプレイモジュール210はエネルギーリレー層230を含まないことに留意されたい。この場合、エネルギー面275は、エネルギーデバイス層220内の1つ以上の隣接する電子ディスプレイを使用して形成された出射面である。そして、エネルギーリレー層を有さないいくつかの実施形態では、隣接する電子ディスプレイの縁間の分離は、20/40の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面は、ビューイングボリューム285内の視聴者280の視点からは事実上シームレスである。
LFディスプレイモジュール
図3Aは、1つ以上の実施形態による、LFディスプレイモジュール300Aの斜視図である。LFディスプレイモジュール300Aは、LFディスプレイモジュール110および/またはLFディスプレイモジュール210であり得る。他の実施形態では、LFディスプレイモジュール300Aは、何らかの他のLFディスプレイモジュールであってもよい。例示的な実施形態では、LFディスプレイモジュール300Aは、エネルギーデバイス層310、エネルギーリレー層320、およびエネルギー導波路層330を含む。LFディスプレイモジュール300Aは、本明細書で説明されるように、表示面365からホログラフィックコンテンツを提示するように構成されている。便宜上、表示面365は、LFディスプレイモジュール300Aのフレーム390上に破線の輪郭として例示されているが、より正確には、フレーム390の内側リムによって境界される導波路素子の真正面の表面である。LFディスプレイモジュール300Aのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、LFディスプレイモジュール300Aは、エネルギーリレー層320を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
エネルギーデバイス層310は、エネルギーデバイス層220の一実施形態である。エネルギーデバイス層310は、4つのエネルギーデバイス340を含む(図では3つが見える)。エネルギーデバイス340は、すべてが同じタイプ(例えば、すべてが電子ディスプレイ)であってもよいか、または1つ以上の異なるタイプを含んでもよい(例えば、電子ディスプレイと、少なくとも1つの音響エネルギーデバイスと、を含む)。
エネルギーリレー層320は、エネルギーリレー層230の一実施形態である。エネルギーリレー層320は、4つのエネルギーリレーデバイス350を含む(図では3つが見える)。エネルギーリレーデバイス350は、すべてが同じタイプのエネルギー(例えば、光)を中継し得るか、または1つ以上の異なるタイプ(例えば、光と音とを)を中継し得る。リレーデバイス350の各々は、第1の表面と第2の表面とを含み、エネルギーリレーデバイス350の第2の表面は、単一のシームレスなエネルギー面360を形成するように配置される。例示的な実施形態では、エネルギーリレーデバイス350の各々は、第1の表面が第2の表面よりも小さい表面積を有するようにテーパー状になっており、これにより、テーパーの小さい方の端にエネルギーデバイス340の機械的エンベロープを収容することが可能になる。これにより、エリア全体がエネルギーを投影し得るため、シームレスなエネルギー面が無境界であることが可能になる。これは、LFディスプレイモジュール300Aの複数の実例を、デッドスペースまたはベゼルなしに一緒に配置することによって、組み合わされた表面全体がシームレスであるように、このシームレスなエネルギー面がタイル張りされ得ることを意味する。他の実施形態では、第1の表面および第2の表面は同じ表面積を有する。
エネルギー導波路層330は、エネルギー導波路層240の一実施形態である。エネルギー導波路層330は、複数の導波路素子370を含む。図2に関して上記考察したように、エネルギー導波路層330は、ホログラフィックオブジェクトを形成するために、4Dライトフィールド関数に従って、エネルギーをシームレスなエネルギー面360から特定の伝搬経路に沿って指向するように構成されている。例示的な実施形態では、エネルギー導波路層330はフレーム390によって境界されることに留意されたい。他の実施形態では、フレーム390は存在しない、および/またはフレーム390の厚さが低減されている。フレーム390の厚さの除去または低減は、LFディスプレイモジュール300Aと追加のLFディスプレイモジュールとのタイル張りを容易にし得る。
例示的な実施形態では、シームレスなエネルギー面360およびエネルギー導波路層330は平面であることに留意されたい。図示されてない代替の実施形態では、シームレスなエネルギー面360およびエネルギー導波路層330は、1つ以上の次元で湾曲していてよい。
LFディスプレイモジュール300Aは、シームレスなエネルギー面の表面上に存在する追加のエネルギー源を有して構成され得、ライトフィールドに加えてエネルギーフィールドの投影を可能にする。一実施形態では、音響エネルギーフィールドが、シームレスなエネルギー面360上の任意の数の場所に装着された静電スピーカ(例示せず)から投影され得る。さらに、LFディスプレイモジュール300Aの静電スピーカは、デュアルエネルギー面がサウンドフィールドおよびホログラフィックコンテンツ(例えば、光)を同時に投影するように、ライトフィールドディスプレイモジュール300A内に位置付けられる。例えば、静電スピーカは、電磁エネルギーのいくつかの波長に対して透過性であり、1つ以上の導電性要素(例えば、1つ以上のダイアフラム要素を挟む平面)を用いて駆動される1つ以上のダイアフラム要素で形成され得る。静電スピーカは、ダイアフラム要素が導波路素子のうちのいくつかを覆うように、シームレスなエネルギー面360に装着されてもよい。スピーカの導電性電極は、電磁導波路間の光透過を抑制するように設計された構造体と併置されてよく、および/または電磁導波路素子間の位置(例えば、フレーム390)に位置してよい。様々な構成において、スピーカは、可聴音、および/または触覚表面を生み出す集束超音波エネルギーの多くのソースを投影することができる。
いくつかの構成では、エネルギーデバイス340は、エネルギーを感知し得る。例えば、エネルギーデバイスは、マイクロフォン、光センサ、音響トランスデューサなどであり得る。したがって、エネルギーリレーデバイスは、シームレスなエネルギー面360からエネルギーデバイス層310にエネルギーを中継することもできる。すなわち、LFディスプレイモジュールのシームレスなエネルギー面360は、エネルギーデバイスおよびエネルギーリレーデバイス340が、エネルギーを放出すると同時に感知する(例えば、ライトフィールドを放出し、音を感知する)ように構成されるとき、双方向エネルギー面を形成する。
より広義には、LFディスプレイモジュール340のエネルギーデバイス340は、エネルギー源またはエネルギーセンサのいずれかであり得る。LFディスプレイモジュール300Aは、高品質のホログラフィックコンテンツのユーザへの投影を容易にするために、エネルギー源および/またはエネルギーセンサとして機能する様々なタイプのエネルギーデバイスを含み得る。他のソースおよび/またはセンサとしては、サーマルセンサまたはソース、赤外線センサまたはソース、画像センサまたはソース、音響エネルギーを生成する機械的エネルギートランスデューサ、フィードバックソースなどが挙げられる。多くの他のセンサまたはソースが可能である。さらに、LFディスプレイモジュールが、大きな集合体のシームレスなエネルギー面から複数のタイプのエネルギーを投影および感知するアセンブリを形成し得るように、LFディスプレイモジュールはタイル張りされ得る。
LFディスプレイモジュール300Aの様々な実施形態では、シームレスなエネルギー面360は、各表面部分が特定のタイプのエネルギーを投影および/または放出するように構成されている様々な表面部分を有し得る。例えば、シームレスなエネルギー面がデュアルエネルギー面である場合、シームレスエネルギー面360は、電磁エネルギーを投影する1つ以上の表面部分と、超音波エネルギーを投影する1つ以上の他の表面部分と、を含む。超音波エネルギーを投影する表面部分は、電磁導波路素子間のシームレスなエネルギー面360上に位置し得、および/または電磁導波路素子間の光透過を抑制するように設計された構造体と併置され得る。シームレスなエネルギー面が双方向エネルギー面である例では、エネルギーリレー層320は、シームレスなエネルギー面360でインターリーブされた2つのタイプのエネルギーリレーデバイスを含み得る。様々な実施形態では、シームレスなエネルギー面360は、任意の特定の導波路素子370の下の表面の部分が、すべてエネルギー源、すべてエネルギーセンサ、またはエネルギー源とエネルギーセンサの混在であるように構成され得る。
図3Bは、1つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むLFディスプレイモジュール300Bの断面図である。エネルギーリレーデバイス350Aは、エネルギーデバイス340Aに接続されたエネルギーリレーの第1の表面345Aとシームレスなエネルギー面360との間でエネルギーを輸送する。エネルギーリレー350Bは、エネルギーデバイス340Bに接続されたエネルギーリレーの第1の表面345Bとシームレスなエネルギー面360との間でエネルギーを輸送する。両方のリレーデバイスは、シームレスなエネルギー面360に接続されたインターリーブされたエネルギーリレーデバイス352においてインターリーブされている。この構成では、表面360は、エネルギー源またはエネルギーセンサであり得るエネルギーデバイス340Aおよび340Bの両方のインターリーブされたエネルギー場所を含む。したがって、LFディスプレイモジュール300Bは、複数のタイプのエネルギーを投影するためのデュアルエネルギー投影デバイスとして、またはあるタイプのエネルギーを投影することと、別のタイプのエネルギーを感知することとを同時に行うための双方向エネルギーデバイスとしてのいずれかに構成され得る。LFディスプレイモジュール300Bは、LFディスプレイモジュール110および/またはLFディスプレイモジュール210であり得る。他の実施形態では、LFディスプレイモジュール300Bは、何らかの他のLFディスプレイモジュールであり得る。
LFディスプレイモジュール300Bは、図3AのLFディスプレイモジュール300Aのものと同様に構成されている多くの構成要素を含む。例えば、例示的な実施形態では、LFディスプレイモジュール300Bは、図3Aに関して説明したものと少なくとも同じ機能を含むエネルギーデバイス層310、シームレスなエネルギー面360、およびエネルギー導波路層330を含む。追加的に、LFディスプレイモジュール300Bは、表示面365からエネルギーを提示および/または受信することができる。特に、LFディスプレイモジュール300Bの構成要素は、図3AのLFディスプレイモジュール300Aの構成要素とは異なって接続および/または配向されている。LFディスプレイモジュール300Bのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。図3Bは、より大きな面積を有するデュアルエネルギー投影表面または双方向エネルギー面を生み出すためにタイル張りされ得る単一のLFディスプレイモジュール300Bの設計を例示する。
一実施形態では、LFディスプレイモジュール300Bは、双方向LFディスプレイシステムのLFディスプレイモジュールである。双方向LFディスプレイシステムは、エネルギーを投影し、それと同時に表示面365からエネルギーを感知することができる。シームレスなエネルギー面360は、シームレスなエネルギー面360上で密接にインターリーブされたエネルギー投影場所とエネルギー感知場所との両方を含む。したがって、図3Bの例では、エネルギーリレー層320は、図3Aのエネルギーリレー層とは異なる様式で構成されている。便宜上、LFディスプレイモジュール300Bのエネルギーリレー層は、本明細書では「インターリーブエネルギーリレー層」と呼ばれる。
インターリーブされたエネルギーリレー層320は、第1のエネルギーリレーデバイス350Aと第2のエネルギーリレーデバイス350Bとの2つの脚部を含む。脚部の各々は、図3Bで薄い陰影のエリアとして例示されている。脚部の各々は、可撓性のリレー材料で作製され、様々なサイズおよび形状のエネルギーデバイスで使用するのに十分な長さで形成され得る。インターリーブされたエネルギーリレー層のいくつかの領域では、2つの脚部は、シームレスなエネルギー面360に近づくにつれて、一緒に緊密にインターリーブされる。例示的な例では、インターリーブされたエネルギーリレーデバイス352は、暗い陰影のエリアとして例示されている。
シームレスなエネルギー面360でインターリーブされる一方、エネルギーリレーデバイスは、異なるエネルギーデバイスとの間でエネルギーを中継するように構成される。エネルギーデバイスは、エネルギーデバイス層310にある。例示のように、エネルギーデバイス340Aは、エネルギーリレーデバイス350Aに接続され、エネルギーデバイス340Bは、エネルギーリレーデバイス350Bに接続されている。様々な実施形態では、各エネルギーデバイスは、エネルギー源またはエネルギーセンサであり得る。
エネルギー導波路層330は、エネルギー波をシームレスなエネルギー面360から、投影された経路に沿って、一連の収束点に向かって導くための導波路素子370を含む。この例では、ホログラフィックオブジェクト380が、一連の収束点に形成される。特に、例示のように、ホログラフィックオブジェクト380でのエネルギーの収束は、表示面365の視聴者側(すなわち、前側)で発生する。しかしながら、他の例では、エネルギーの収束は、表示面365の前および表示面365の後ろの両方に延在するホログラフィックオブジェクトボリューム内のどこであってもよい。導波路素子370は、以下に説明するように、入ってくるエネルギーをエネルギーデバイス(例えば、エネルギーセンサ)に同時に導くことができる。
LFディスプレイモジュール300Bの例示的な一実施形態では、発光ディスプレイがエネルギー源(例えば、エネルギーデバイス340A)として使用され、画像センサがエネルギーセンサ(例えば、エネルギーデバイス340B)として使用される。このように、LFディスプレイモジュール300Bは、ホログラフィックコンテンツを投影すると同時に、表示面365の前のボリュームからの光を検出することができる。LFディスプレイモジュール300Bのこの実施形態は、LFディスプレイおよびLFセンサの両方として機能する。
一実施形態では、LFディスプレイモジュール300Bは、ライトフィールドを表示面の投影位置から表示面365の前に投影すると同時に、表示面365の前からのライトフィールドをキャプチャするように構成されている。この実施形態では、エネルギーリレーデバイス350Aは、導波路素子370の下に位置付けられたシームレスなエネルギー面360における場所の第1のセットをエネルギーデバイス340Aに接続する。一例では、エネルギーデバイス340Aは、ソースピクセルのアレイを有する発光ディスプレイである。エネルギーリレーデバイス340Bは、導波路素子370の下に位置付けられたシームレスなエネルギー面360における場所の第2のセットをエネルギーデバイス340Bに接続する。一例では、エネルギーデバイス340Bは、センサピクセルのアレイを有する画像センサである。LFディスプレイモジュール300Bは、特定の導波路素子370の下にあるシームレスなエネルギー面365における場所が、すべて発光ディスプレイ場所、すべて画像センサ場所、またはこれらの場所の何らかの組み合わせであるように構成され得る。他の実施形態では、双方向のエネルギー面は、様々な他の形態のエネルギーを投影および受信することができる。
LFディスプレイモジュール300Bの別の例示的な実施形態では、LFディスプレイモジュールは、2つの異なるタイプのエネルギーを投影するように構成される。例えば、エネルギーデバイス340Aは、電磁エネルギーを放出するように構成された発光ディスプレイであり、エネルギーデバイス340Bは、機械的エネルギーを放出するように構成された超音波トランスデューサである。そのため、光および音の両方が、シームレスなエネルギー面360における様々な場所から投影され得る。この構成では、エネルギーリレーデバイス350Aは、エネルギーデバイス340Aをシームレスなエネルギー面360に接続し、電磁エネルギーを中継する。エネルギーリレーデバイスは、電磁エネルギーの輸送を効率的にする(例えば、屈折率を変化させる)特性を有するように構成される。エネルギーリレーデバイス350Bは、エネルギーデバイス340Bをシームレスなエネルギー面360に接続し、機械的エネルギーを中継する。エネルギーリレーデバイス350Bは、超音波エネルギーの効率的な輸送のための特性を有するように構成される(例えば、異なる音響インピーダンスを有する材料の配分)。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層330上の導波路素子370間の場所から投影され得る。機械的エネルギーを投影する場所は、光が一方の電磁導波路素子から他方に輸送されるのを抑制する役割を果たす構造体を形成し得る。一例では、超音波の機械的エネルギーを投影する場所の空間的に分離されたアレイは、三次元触覚形状および表面を空中に作成するように構成することができる。表面は、投影されたホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト380)と一致し得る。いくつかの例では、アレイにわたる位相の遅延および振幅の変化は、触覚形状の作成を支援し得る。
様々な実施形態では、インターリーブされたエネルギーリレーデバイスを有するLFディスプレイモジュール300Bは、各エネルギーデバイス層が特定のタイプのエネルギーデバイスを含んだ、複数のエネルギーデバイス層を含み得る。これらの例では、エネルギーリレー層は、シームレスなエネルギー面360とエネルギーデバイス層310との間で適切なタイプのエネルギーを中継するように構成される。
タイル張りされたLFディスプレイモジュール
図4Aは、1つ以上の実施形態による、単一面シームレス表面環境を形成するために、二次元にタイル張りされたLFディスプレイシステム400の一部の斜視図である。LFディスプレイシステム400は、アレイ410を形成するようにタイル張りされた複数のLFディスプレイモジュールを含む。より明確には、アレイ410内の小さな正方形の各々が、タイル張りされたLFディスプレイモジュール412を表す。LFディスプレイモジュール412は、LFディスプレイモジュール300Aまたは300Bと同じであり得る。アレイ410は、例えば、部屋の表面(例えば、壁)の一部またはすべてを覆うことができる。LFアレイは、例えば、図6A~13Bに関して以下で説明するように、自動車の内部および/または外部の部分などの他の表面を覆うことができる。
アレイ410は、1つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、アレイ410は、ホログラフィックオブジェクト420およびホログラフィックオブジェクト422を投影する。LFディスプレイモジュール412のタイル張りは、はるかに大きなビューイングボリュームを可能にするだけでなく、オブジェクトがアレイ410からより遠くに投影されることを可能にする。例えば、例示的な実施形態では、ビューイングボリュームは、LFディスプレイモジュール412の前(および後ろ)の局所的なボリュームではなく、アレイ410の前および後ろのほぼ全エリアである。
いくつかの実施形態では、LFディスプレイシステム400は、ホログラフィックオブジェクト420を視聴者430および視聴者434に提示する。視聴者430および視聴者434は、異なる視点のホログラフィックオブジェクト420を受信する。例えば、視聴者430は、ホログラフィックオブジェクト420の真っ直ぐなビューを提示される一方、視聴者434は、ホログラフィックオブジェクト420のより斜めのビューを提示される。視聴者430および/または視聴者434が移動すると、これらの視聴者は、異なる視点のホログラフィックオブジェクト420を提示される。これにより、視聴者は、ホログラフィックオブジェクトに対して移動することにより、ホログラフィックオブジェクトと視覚的にインタラクションすることが可能になる。例えば、視聴者430がホログラフィックオブジェクト420の周りを歩くとき、ホログラフィックオブジェクト420がアレイ410のホログラフィックオブジェクトボリューム内に留まっている限り、視聴者430は、ホログラフィックオブジェクト420の異なる側面を見る。したがって、視聴者430および視聴者434は、あたかもホログラフィックオブジェクト420が実際にそこにあるかのように、実世界空間にホログラフィックオブジェクト420を同時に見ることができる。追加的に、ホログラフィックオブジェクト420は、物理的オブジェクトが見えるのとほぼ同じように視聴者に見えるので、視聴者430および視聴者434は、ホログラフィックオブジェクト420を見るために外部デバイスを着用する必要はない。追加的に、ここでは、アレイのビューイングボリュームがアレイの表面の後ろに延在するため、ホログラフィックオブジェクト422が、アレイの後ろに例示されている。このように、ホログラフィックオブジェクト422は、視聴者430および/または視聴者434に提示され得る。
いくつかの実施形態では、LFディスプレイシステム400は、視聴者430および視聴者434の位置を追跡する追跡システムを含み得る。いくつかの実施形態では、追跡される位置は、視聴者の位置である。他の実施形態では、追跡される位置は、視聴者の目の位置である。目の位置追跡は、目がどこを見ているかを追跡する(例えば、配向を使用して視線場所を決定する)視線追跡とは異なる。視聴者430の目および視聴者434の目は、異なる場所にある。
様々な構成では、LFディスプレイシステム400は、1つ以上の追跡システムを含み得る。例えば、図4Aの例示的な実施形態では、LFディスプレイシステムは、アレイ410の外部にある追跡システム440を含む。ここで、追跡システムは、アレイ410に結合されたカメラシステムであり得る。外部追跡システムは、図5に関してより詳細に説明される。他の例示的な実施形態では、追跡システムは、本明細書に記載されるように、アレイ410に組み込まれ得る。例えば、アレイ410に含まれる双方向エネルギー面を含む1つ以上のLFディスプレイモジュール412のエネルギーデバイス(例えば、エネルギーデバイス340)は、アレイ410の前の視聴者の画像をキャプチャするように構成され得る。いずれの場合でも、LFディスプレイシステム400の追跡システムは、アレイ410によって提示されたホログラフィックコンテンツを見ている視聴者(例えば、視聴者430および/または視聴者434)に関する追跡情報を決定する。
追跡情報は、視聴者の位置、または視聴者の一部の位置(例えば、視聴者の片方または両方の目、もしくは視聴者の四肢)の空間内の(例えば、追跡システムに対する)位置を表す。追跡システムは、追跡情報を決定するために、任意の数の深度決定技術を使用することができる。深度決定技術は、例えば、構造化光、飛行時間、ステレオ撮像、何らかの他の深度決定技術、またはそれらの何らかの組み合わせを含み得る。追跡システムは、追跡情報を決定するように構成されている様々なシステムを含み得る。例えば、追跡システムは、1つ以上の赤外線源(例えば、構造化光源)、赤外線で画像をキャプチャすることができる1つ以上の画像センサ(例えば、赤-青-緑-赤外線カメラ)、および追跡アルゴリズムを実行するプロセッサを含み得る。追跡システムは、深度推定技術を使用して、視聴者の位置を決定し、かつ/または視聴者の動きを追跡することができる。いくつかの実施形態では、LFディスプレイシステム400は、本明細書で説明するように、視聴者430および/または視聴者434の追跡された位置、動作、またはジェスチャに基づいて、ホログラフィックオブジェクトを生成する。例えば、LFディスプレイシステム400は、アレイ410の閾値距離および/または特定の位置内に来る視聴者に応答して、ホログラフィックオブジェクトを生成することができる。
LFディスプレイシステム400は、追跡情報に部分的に基づいて、各視聴者に合わせてカスタマイズされた1つ以上のホログラフィックオブジェクトを提示することができる。例えば、視聴者430は、ホログラフィックオブジェクト420を提示され得るが、ホログラフィックオブジェクト422は提示され得ない。同様に、視聴者434は、ホログラフィックオブジェクト422を提示され得るが、ホログラフィックオブジェクト420は提示され得ない。例えば、LFディスプレイシステム400は、視聴者430および視聴者434の各々の位置を追跡する。LFディスプレイシステム400は、ホログラフィックオブジェクトが提示されるべき場所に対する視聴者の位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を決定する。LFディスプレイシステム400は、決定された視点に対応する特定のピクセルから光を選択的に投影する。したがって、視聴者434および視聴者430は、潜在的に完全に異なる体験を同時に有することができる。言い換えれば、LFディスプレイシステム400は、ホログラフィックコンテンツを、ビューイングボリュームのビューイングサブボリューム(すなわち、図2Bに示されるビューイングサブボリューム290A、290B、290C、および290Dと同様の)に提示することができる。例えば、図に示すように、ビューイングボリュームは、アレイの前後のすべてのスペースで表される。この例では、LFディスプレイシステム400は、視聴者430の位置を追跡できるので、LFディスプレイシステム400は、スペースコンテンツ(例えば、ホログラフィックオブジェクト420)を、視聴者430を取り囲むビューイングサブボリュームに、およびサファリコンテンツ(例えば、ホログラフィックオブジェクト422)を、視聴者434を取り囲むビューイングサブボリュームに提示することができる。対照的に、従来のシステムは、同様の体験を提供するために、個々のヘッドセットを使用しなければならないであろう。
いくつかの実施形態では、LFディスプレイシステム400は、1つ以上の感覚フィードバックシステムを含み得る。感覚フィードバックシステムは、ホログラフィックオブジェクト420および422を拡張する他の感覚刺激(例えば、触覚、音声、または匂い)を提供する。例えば、図4Aの例示的な実施形態では、LFディスプレイシステム400は、アレイ410の外部の感覚フィードバックシステム442を含む。一例では、感覚フィードバックシステム442は、アレイ410に結合された静電スピーカであり得る。外部感覚フィードバックシステムは、図5に関してより詳細に説明される。他の例示的な実施形態では、感覚フィードバックシステムは、本明細書に記載されるように、アレイ410に組み込まれ得る。例えば、アレイ410に含まれるLFディスプレイモジュール412のエネルギーデバイス(例えば、図3Bのエネルギーデバイス340A)は、超音波エネルギーをアレイの前の視聴者に投影し、および/またはアレイの前の視聴者から画像情報を受信するように構成され得る。いずれの場合でも、感覚フィードバックシステムは、感覚コンテンツを、アレイ410によって提示されるホログラフィックコンテンツ(例えば、ホログラフィックオブジェクト420および/またはホログラフィックオブジェクト422)を見ている視聴者(例えば、視聴者430および/または視聴者434)に提示し、および/または視聴者から受信する。
LFディスプレイシステム400は、アレイの外部の1つ以上の音響投影デバイスを含む感覚フィードバックシステム442を含み得る。代替的または追加的に、LFディスプレイシステム400は、本明細書で説明されるように、アレイ410に統合された1つ以上の音響投影デバイスを含み得る。音響投影デバイスは、体積触覚表面を投影するように構成された超音波源のアレイを含み得る。いくつかの実施形態では、触覚表面は、視聴者の一部が1つ以上の表面の閾値距離内に入る場合、ホログラフィックオブジェクトの1つ以上の表面の(例えば、ホログラフィックオブジェクト420の表面における)ホログラフィックオブジェクトと一致し得る。他の実施形態では、触覚表面は、ホログラフィックオブジェクトから分離および/または独立していてもよい。体積触覚は、ユーザがホログラフィックオブジェクトの表面をタッチして感じることを可能にし得る。複数の音響投影デバイスは、視聴者に音声コンテンツ(例えば、没入型オーディオ)を提供する可聴圧力波を投影することができる。したがって、超音波圧力波および/または可聴圧力波は、ホログラフィックオブジェクトを補完する役割を果たすことができる。
様々な実施形態では、LFディスプレイシステム400は、視聴者の追跡された位置に部分的に基づいて、他の感覚刺激を提供することができる。例えば、図4Aに例示されるホログラフィックオブジェクト422はライオンであり、LFディスプレイシステム400は、ホログラフィックオブジェクト422を視覚的(すなわち、ホログラフィックオブジェクト422が咆哮するように見える)および聴覚的(すなわち、1つ以上の音響投影デバイスが、ライオンの咆哮がホログラフィックオブジェクト422から発せられているように視聴者430が知覚する圧力波を投影する)の両方で咆哮させることができる。
例示的な構成では、ホログラフィックビューイングボリュームは、図2のLFディスプレイシステム200のビューイングボリューム285と同様の方法で制限され得ることに留意されたい。これは、視聴者が単一のウォールディスプレイユニットで体験するであろう知覚される没入感の量を制限する可能性がある。これに対処する1つの方法が、図4B~図4Fに関して以下に説明するように、複数の側面に沿ってタイル張りされた複数のLFディスプレイモジュールを使用することである。
図4Bは、1つ以上の実施形態による、多面シームレス表面環境におけるLFディスプレイシステム402の一部分の斜視図である。LFディスプレイシステム402は、複数のLFディスプレイモジュールがタイル張りされて多面シームレス表面環境を作成することを除いて、LFディスプレイシステム400と実質的に同様である。より具体的には、LFディスプレイモジュールは、6面集合シームレス表面環境であるアレイを形成するようにタイル張りされている。図4Bでは、複数のLFディスプレイモジュールが、部屋のすべての壁、天井、および床を覆っている。場合によっては、部屋は自動車の内部として定義されることがある。他の実施形態では、複数のLFディスプレイモジュールは、壁、床、天井、またはそれらの何らかの組み合わせのすべてではないが、一部を覆い得る。他の実施形態では、複数のLFディスプレイモジュールがタイル張りされて、何らかの他の集合シームレス表面を形成する。例えば、壁は、円筒形の集合エネルギー環境が形成されるように湾曲され得る。さらに、図6A~13Bに関して以下に説明するように、いくつかの実施形態では、LFディスプレイモジュールは、自動車の内部および/または外部に表面を形成するようにタイル張りされ得る。
LFディスプレイシステム402は、1つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、LFディスプレイシステム402は、ホログラフィックオブジェクト420を、6面集合シームレス表面環境によって囲まれたエリアに投影する。この例では、LFディスプレイシステムのビューイングボリュームも、6面集合シームレス表面環境内に含まれる。例示的な構成では、視聴者434は、ホログラフィックオブジェクト420と、ホログラフィックオブジェクト420を形成するために使用されるエネルギー(例えば、光および/または圧力波)を投影しているLFディスプレイモジュール414との間に位置付けられ得ることに留意されたい。したがって、視聴者434の位置付けは、視聴者430が、LFディスプレイモジュール414からのエネルギーから形成されるホログラフィックオブジェクト420を知覚することを妨げる可能性がある。しかしながら、例示的な構成では、(例えば、視聴者434によって)遮られず、エネルギーを投影してホログラフィックオブジェクト420を形成し、視聴者430によって観察され得る、例えば、LFディスプレイモジュール416などの少なくとも1つの他のLFディスプレイモジュールが存在する。このように、空間内の視聴者による閉塞により、ホログラフィック投影の一部が見えなくなる可能性があるが、この影響は、ボリュームの一面にのみホログラフィックディスプレイパネルが存在する場合よりもはるかに小さい。ホログラフィックオブジェクト422は、ホログラフィックオブジェクトボリュームが集合表面の後ろに延在するため、囲まれた6面集合シームレス表面環境の壁の「外側」に例示されている。したがって、視聴者430および/または視聴者434は、ホログラフィックオブジェクト422を、視聴者が全体にわたって移動することができる6面環境の「外側」として知覚することができる。
図4Aを参照して前述したように、いくつかの実施形態では、LFディスプレイシステム402は、視聴者の位置を能動的に追跡し、追跡された位置に基づいてホログラフィックコンテンツを提示するように、異なるLFディスプレイモジュールに動的に命令し得る。したがって、多面構成は、制約のない視聴者が、多面シームレス表面環境によって囲まれたエリア全体を自由に移動することができる、ホログラフィックオブジェクトを提供するための(例えば、図4Aと比べて)より堅牢な環境を提供することができる。
特に、様々なLFディスプレイシステムが、異なる構成を有し得る。さらに、各構成は、全体でシームレスな表示面(「集合表面」)を形成する表面の特定の配向を有し得る。すなわち、LFディスプレイシステムのLFディスプレイモジュールは、タイル張りされて様々な集合表面を形成することができる。例えば、図4Bでは、LFディスプレイシステム402は、部屋の壁に近似する6面集合表面を形成するようにタイル張りされたLFディスプレイモジュールを含む。いくつかの他の例では、集合表面は、全表面(例えば、壁全体)ではなく、表面の一部(例えば、壁の半分)でのみ発生し得る。いくつかの例が本明細書に記載されている。
いくつかの構成では、LFディスプレイシステムの集合表面は、局部的なビューイングボリュームに向けてエネルギーを投影するように構成された集合表面を含み得る。局部的なビューイングボリュームにエネルギーを投影することは、例えば、特定のビューイングボリューム内の投影エネルギーの密度を上げ、そのボリューム内の視聴者のFOVを広げ、ビューイングボリュームを表示面に近づけることにより、より高品質の視聴体験を可能にする。
LFディスプレイシステムの制御
図5は、1つ以上の実施形態による、LFディスプレイシステム500のブロック図である。LFディスプレイシステム500は、LFディスプレイアセンブリ510およびコントローラ520を備える。LFディスプレイアセンブリ510は、ライトフィールドを投影する1つ以上のLFディスプレイモジュール512を含む。LFディスプレイモジュール512は、他のタイプのエネルギーを投影および/または感知する統合されたエネルギー源および/またはエネルギーセンサを含むソース/センサシステム514を含み得る。コントローラ520は、データストア522、ネットワークインターフェース524、およびLF処理エンジン530および車両インターフェース532を含む。コントローラ520はまた、追跡モジュール526、および視聴者プロファイリングモジュール528を含み得る。いくつかの実施形態では、LFディスプレイシステム500はまた、感覚フィードバックシステム570および追跡システム580を含む。図1~図4Bの文脈の中で説明されるLFディスプレイシステムは、LFディスプレイシステム500の実施形態である。他の実施形態では、LFディスプレイシステム500は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および/または異なるエンティティ間で分散され得る。LFディスプレイシステム500の用途についても、図6A~図13Bに関して以下で詳細に説明する。
LFディスプレイアセンブリ510は、ビューイングボリューム内に位置する視聴者に見え得るホログラフィックオブジェクトボリューム内にホログラフィックコンテンツを提供する。LFディスプレイアセンブリ510は、コントローラ520から受信された表示命令を実行することによって、ホログラフィックコンテンツを提供することができる。ホログラフィックコンテンツは、集合表面の前、LFディスプレイアセンブリ510、LFディスプレイアセンブリ510の集合表面の後ろ、またはそれらの何らかの組み合わせに投影される1つ以上のホログラフィックオブジェクトを含み得る。コントローラ520を用いた表示命令の生成について、以下でより詳細に説明する。
LFディスプレイアセンブリ510は、LFディスプレイアセンブリ510に含まれる1つ以上のLFディスプレイモジュール(例えば、LFディスプレイモジュール110、LFディスプレイシステム200、およびLFディスプレイモジュール300のいずれか)を使用してホログラフィックコンテンツを提供する。便宜上、1つ以上のLFディスプレイモジュールは、本明細書ではLFディスプレイモジュール512として説明されることがある。LFディスプレイモジュール512は、タイル張りされて、LFディスプレイアセンブリ510を形成することができる。LFディスプレイモジュール512は、様々なシームレスな表面環境(例えば、単一面、多面、車両の壁など)として構造化され得る。つまり、タイル張りされたLFディスプレイモジュールが集合表面を形成する。前述のように、LFディスプレイモジュール512は、ホログラフィックコンテンツを提示する、エネルギーデバイス層(例えば、エネルギーデバイス層220)およびエネルギー導波路層(例えば、エネルギー導波路層240)を含む。LFディスプレイモジュール512はまた、ホログラフィックコンテンツを提示するときに、エネルギーデバイス層とエネルギー導波路層との間でエネルギーを転送するエネルギーリレー層(例えば、エネルギーリレー層230)を含み得る。
LFディスプレイモジュール512はまた、前述のように、エネルギー投影および/またはエネルギー感知のために構成されている他の統合システムを含み得る。例えば、ライトフィールドディスプレイモジュール512は、エネルギーを投影および/または感知するように構成されている任意の数のエネルギーデバイス(例えば、エネルギーデバイス340)を含み得る。便宜上、LFディスプレイモジュール512の統合エネルギー投影システムおよび統合エネルギー感知システムは、本明細書では、総称してソース/センサシステム514として説明されることがある。ソース/センサシステム514は、ソース/センサシステム514が、LFディスプレイモジュール512と同じシームレスなエネルギー面を共有するように、LFディスプレイモジュール512内に統合されている。言い換えれば、LFディスプレイアセンブリ510の集合表面は、LFディスプレイモジュール512とソース/センサモジュール514との両方の機能を含む。すなわち、ソース/センサシステム514を有するLFディスプレイモジュール512を含むLFアセンブリ510は、ライトフィールドを投影しながら、同時にエネルギーを投影し、および/またはエネルギーを感知することができる。例えば、LFディスプレイアセンブリ510は、LFディスプレイモジュール512と、前述のようにデュアルエネルギー面または双方向エネルギー面として構成されたソース/センサシステム514とを含み得る。
いくつかの実施形態では、LFディスプレイシステム500は、感覚フィードバックシステム570を使用して、生成されたホログラフィックコンテンツを他の感覚コンテンツ(例えば、協調的な触覚、音声または匂いなど)で拡張する。感覚フィードバックシステム570は、コントローラ520から受信された表示命令を実行することによって、ホログラフィックコンテンツの投影を拡張することができる。一般に、感覚フィードバックシステム570は、LFディスプレイアセンブリ510の外部の任意の数の感覚フィードバックデバイス(例えば、感覚フィードバックシステム442)を含む。いくつかの例示的な感覚フィードバックデバイスは、協調音響投影デバイスおよび受信デバイス、芳香投影デバイス、温度調整デバイス、力作動デバイス、圧力センサ、トランスデューサなどを含み得る。場合によっては、感覚フィードバックシステム570は、ライトフィールドディスプレイアセンブリ510と同様の機能を有し得、逆もまた然りである。例えば、感覚フィードバックシステム570およびライトフィールドディスプレイアセンブリ510の両方は、サウンドフィールドを生成するように構成され得る。別の例として、感覚フィードバックシステム570は、触覚表面を生成するように構成され得る一方、ライトフィールドディスプレイ510アセンブリはそうではない。
例示のために、ライトフィールドディスプレイシステム500の例示的な一実施形態では、感覚フィードバックシステム570は、音響投影デバイス(例えば、超音波スピーカ)を含み得る。音響投影デバイスは、コントローラ520から受信された表示命令を実行するときに、ホログラフィックコンテンツを補完する1つ以上の圧力波を生成するように構成される。生成される圧力波は、例えば、可聴(音の場合)、超音波(タッチの場合)、またはそれらの何らかの組み合わせであってもよい。同様に、感覚フィードバックシステム570は、芳香投影デバイスを含み得る。投影デバイスは、コントローラから受信した表示命令を実行する際に、対象エリアの一部またはすべてに香りを与えるように構成することができる。芳香デバイスは、標的エリア内の気流を調整するように、自動車の空気循環システム内に結びつけられ得る。さらに、感覚フィードバックシステム570は、温度調整デバイスを含み得る。温度調整デバイスは、コントローラ520から受信された表示命令を実行するときに、標的エリアの一部またはすべての温度を上げるか、または下げるように構成されている。
いくつかの実施形態では、感覚フィードバックシステム570は、LFディスプレイシステム500の視聴者からの入力を受信するように構成される。この場合、感覚フィードバックシステム570は、視聴者からの入力を受信するための様々な感覚フィードバックデバイスを含む。センサフィードバックデバイスとしては、音響受信デバイス(例えば、マイクロフォン)、圧力センサ、ジョイスティック、動作検出器、トランスデューサなどのデバイスを挙げることができる。感覚フィードバックシステムは、ホログラフィックコンテンツおよび/または感覚フィードバックの生成を調整するために、検出された入力をコントローラ520に送信することができる。
例示のために、ライトフィールドディスプレイアセンブリの例示的な一実施形態では、感覚フィードバックシステム570は、マイクロフォンを含む。マイクロフォンは、1人以上の視聴者によって生み出された音声(例えば、あえぎ、悲鳴、笑い声など)を録音するように構成される。感覚フィードバックシステム570は、記録された音声を、視聴者入力としてコントローラ520に提供する。コントローラ520は、視聴者入力を使用して、ホログラフィックコンテンツを生成することができる。同様に、感覚フィードバックシステム570は、圧力センサを含み得る。圧力センサは、視聴者によって圧力センサに加えられた力を測定するように構成される。感覚フィードバックシステム570は、測定された力を、視聴者入力としてコントローラ520に提供することができる。
いくつかの実施形態では、LFディスプレイシステム500は、追跡システム580を含む。追跡システム580は、標的エリア内の視聴者の位置、動き、および/または特性を決定するように構成された任意の数の追跡デバイスを含む。一般に、追跡デバイスは、LFディスプレイアセンブリ510の外部にある。いくつかの例示的な追跡デバイスとしては、カメラアセンブリ(「カメラ」)、深度センサ、構造化光、LIDARシステム、カードスキャンシステム、または標的エリア内の(例えば、車両の内部の)視聴者を追跡できるその他の追跡デバイスが挙げられる。監視される行動には、例えば、ユーザが通常は運転者または搭乗者であることが含まれ得る。特性には、例えば、視聴者の名前、視聴者の年齢、車両制御者の好み、車両内部の好み、車両外部の好み、居住地、その他の人口統計情報、またはそれらの何らかの組み合わせが含まれ得る。
追跡システム580は、標的エリアの一部またはすべてを光で照らす1つ以上のエネルギー源を含み得る。しかしながら、場合によっては、ホログラフィックコンテンツを提示するときに、標的エリアは、自然光および/またはLFディスプレイアセンブリ510からの周囲光で照らされる。エネルギー源は、コントローラ520から受信された命令を実行するときに、光を投影する。光は、例えば、構造化光パターン、光のパルス(例えば、IRフラッシュ)、またはそれらの何らかの組み合わせであり得る。追跡システムは、可視帯域(約380nm~750nm)内、赤外線(IR)帯域(約750nm~1700nm)内、紫外線帯域(10nm~380nm)内、電磁スペクトルの何らかの他の部分、またはそれらの何らかの組み合わせの光を投影することができる。ソースとしては、例えば、発光ダイオード(LED)、マイクロLED、レーザーダイオード、TOF深度センサ、波長可変レーザーなどを挙げることができる。
追跡システム580は、コントローラ520から受信された命令を実行するときに、1つ以上の放出パラメータを調整することができる。放出パラメータは、追跡システム580のソースから光が投影される方法に影響を与えるパラメータである。放出パラメータとしては、例えば、明るさ、パルスレート(連続照明を含む)、波長、パルス長、ソースアセンブリから光が投影される方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。一実施形態では、ソースは、飛行時間動作で光のパルスを投影する。
追跡システム580のカメラは、標的エリアから反射された光(例えば、構造化光パターン)の画像をキャプチャする。カメラは、コントローラ520から受信された追跡命令を実行するときに、画像をキャプチャする。前述のように、光は、追跡システム580のソースによって投影され得る。カメラは、1つ以上のカメラを含み得る。すなわち、カメラは、例えば、フォトダイオードのアレイ(1Dまたは2D)、CCDセンサ、CMOSセンサ、追跡システム580によって投影される光の一部またはすべてを検出する何らかの他のデバイス、またはそれらの何らかの組み合わせであってもよい。一実施形態では、追跡システム580は、LFディスプレイアセンブリ510の外部のライトフィールドカメラを含み得る。他の実施形態では、カメラは、LFディスプレイアセンブリ510に含まれるLFディスプレイモジュールの一部として含まれる。例えば、前述のように、ライトフィールドモジュール512のエネルギーリレー素子が、エネルギーデバイス層220で発光ディスプレイと画像センサとの両方をインターリーブする双方向エネルギー層である場合、LFディスプレイアセンブリ510は、ライトフィールドを投影すると同時に、ディスプレイの前の視聴エリアからの画像情報を記録するように構成され得る。一実施形態では、双方向エネルギー面からキャプチャされた画像は、ライトフィールドカメラを形成する。カメラは、キャプチャされた画像をコントローラ520に提供する。
追跡システム580のカメラは、コントローラ520から受信された追跡命令を実行するときに、1つ以上の撮像パラメータを調整することができる。撮像パラメータは、カメラが画像をキャプチャする方法に影響を与えるパラメータである。撮像パラメータとしては、例えば、フレームレート、アパーチャ、ゲイン、露光長さ、フレームタイミング、ローリングシャッターまたはグローバルシャッターのキャプチャモード、カメラが画像をキャプチャする方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。
コントローラ520は、LFディスプレイアセンブリ510と、LFディスプレイシステム500の任意の他の構成要素と、を制御する。コントローラ520は、データストア522、ネットワークインターフェース524、追跡モジュール526、視聴者プロファイリングモジュール528、およびライトフィールド処理エンジン530を備える。他の実施形態では、コントローラ520は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および/または異なるエンティティ間で分散され得る。例えば、追跡モジュール526は、LFディスプレイアセンブリ510または追跡システム580の一部であり得る。
データストア522は、LFディスプレイシステム500の情報を記憶するメモリである。記憶される情報としては、表示命令、追跡命令、放出パラメータ、撮像パラメータ、標的エリアの仮想モデル、追跡情報、カメラによってキャプチャされた画像、1つ以上の視聴者プロファイル、ライトフィールドディスプレイアセンブリ510の較正データ、LFモジュール512の解像度および配向を含むLFディスプレイシステム510の構成データ、所望のビューイングボリューム形状、3Dモデル、シーンならびに環境、材料、およびテクスチャを含むグラフィックス作成のためのコンテンツ、LFディスプレイシステム500によって使用され得る他の情報、またはそれらの何らかの組み合わせを挙げることができる。データストア522は、読み取り専用メモリ(ROM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、またはそれらの何らかの組み合わせなどのメモリである。
ネットワークインターフェース524は、ライトフィールドディスプレイシステムがネットワークを介して他のシステムまたは環境と通信することを可能にする。一例では、LFディスプレイシステム500は、ネットワークインターフェース524を介して、リモートのライトフィールドディスプレイシステムからホログラフィックコンテンツを受信する。別の例では、LFディスプレイシステム500は、ネットワークインターフェース524を使用して、ホログラフィックコンテンツをリモートのデータストアに送信する。
追跡モジュール526は、LFディスプレイシステム500によって提示されたコンテンツを視聴している視聴者を追跡する。そうするために、追跡モジュール526は、追跡システム580のソースおよび/またはカメラの動作を制御する追跡命令を生成し、追跡命令を追跡システム580に提供する。追跡システム580は、追跡命令を実行し、追跡モジュール526に追跡入力を提供する。
追跡モジュール526は、標的エリア内の(例えば、自動車の座席に座っている、自動車の外側に立っている)1人以上の視聴者の位置を決定することができる。決定された位置は、例えば、何らかの基準点(例えば、表示面)に対するものであり得る。他の実施形態では、決定された位置は、標的エリアの仮想モデル内にあり得る。追跡された位置は、例えば、視聴者の追跡された位置および/または視聴者の一部の追跡された位置(例えば、目の場所、手の場所など)であり得る。追跡モジュール526は、追跡システム580のカメラからキャプチャされた1つ以上の画像を使用して、位置を決定する。追跡システム580のカメラは、LFディスプレイシステム500の周りに分配され得、画像を立体でキャプチャすることができ、追跡モジュール526が視聴者を受動的に追跡することを可能にする。他の実施形態では、追跡モジュール526は、視聴者を能動的に追跡する。すなわち、追跡システム580は、標的エリアのある部分を照らし、標的エリアを撮像し、追跡モジュール526は、飛行時間および/または構造化光深度決定技術を使用して、位置を決定する。追跡モジュール526は、決定された位置を使用して、追跡情報を生成する。
追跡モジュール526はまた、LFディスプレイシステム500の視聴者からの入力として、追跡情報を受信することができる。追跡情報は、視聴者がLFディスプレイシステム500によって提供される様々な入力オプションに対応する体の動き(つまり、ジェスチャ)を含み得る。ジェスチャは、特定の入力にマッピングできる体の動き(例えば、ホログラフィックオブジェクトに変更を加える要求)である。ジェスチャには、例えば、拳を作る、伸ばされた指を特定の方向にスワイプする、つまむ動作、放棄する動作、逆につまむ動作、体の一部分の他の動作、またはそれらの何らかの組み合わせが含まれ得る。例えば、追跡モジュール526は、視聴者の体の動きを追跡し、任意の様々な動きを、入力として、LF処理エンジン530に割り当てることができる。追跡モジュール526は、追跡情報を、データストア522、LF処理エンジン530、視聴者プロファイリングモジュール528、LFディスプレイシステム500の任意の他の構成要素、またはそれらの何らかの組み合わせに提供することができる。
LFディスプレイシステム500は、視聴者を識別し、かつプロファイリングするように構成された視聴者プロファイリングモジュール528を含む。視聴者プロファイリングモジュール528は、LFディスプレイシステム500によって表示されたホログラフィックコンテンツを見る1人以上の視聴者のプロファイルを生成する。視聴者プロファイリングモジュール528は、視聴者の入力および監視された視聴者の行動、動作、ならびに反応に部分的に基づいて、視聴者プロファイルを生成する。視聴者プロファイリングモジュール528は、追跡システム580から取得された情報(例えば、記録された画像、ビデオ、音声など)にアクセスし、その情報を処理して、様々な情報を決定することができる。様々な例において、視聴者プロファイリングモジュール528は、任意の数のマシンビジョンまたは機械聴覚アルゴリズムを使用して、視聴者の行動、動作、および反応を決定することができる。監視される視聴者の行動には、例えば、笑顔、歓声、拍手、笑い、恐怖、悲鳴、興奮レベル、反動、その他のジェスチャの変化、または視聴者による動きなどが含まれ得る。
より一般的には、視聴者プロファイルは、LFディスプレイシステムからのホログラフィックコンテンツを見ている視聴者に関して受信および/または決定された任意の情報を含み得る。例えば、各視聴者プロファイルは、LFディスプレイシステム500によって表示されたコンテンツに対するその視聴者の動作または応答を記録することができる。視聴者プロファイルに含まれ得るいくつかの例示的な情報が、以下に提供される。
視聴プロファイリングモジュール528は、車両のユーザのための視聴者プロファイルを生成する。視聴プロファイリングモジュール528は、部分的にユーザ入力および監視された行動に基づいて、視聴者プロファイルを構築する。視聴プロファイルは、LFディスプレイシステム500に関する視聴者の行動および視聴者の1つ以上の特性を説明する。いくつかの実施形態では、視聴プロファイリングモジュール528は、ユーザから特性を受信し、かつ/または監視された動作に基づいて特性を推測することができる。監視される行動には、例えば、ユーザが通常は運転者または搭乗者であることが含まれ得る。特性には、例えば、視聴者の名前、視聴者の年齢、車両制御者の好み、車両内部の好み、車両外部の好み、居住地、その他の人口統計情報、またはそれらの何らかの組み合わせが含まれ得る。
車両コントローラの好みは、車両に命令を提供するために使用できるホログラフィックコンテンツに対するユーザの好ましい構成を説明する。車両に何らかの命令を提供するために使用され得るホログラフィックコンテンツは、例えば、二次元オブジェクト、三次元オブジェクト、制御スイッチ、制御ダイヤル、ステアリング制御インターフェース(例えば、ステアリングホイール)、計器クラスタ、音楽制御インターフェース(例えば、ラジオ、音楽プレーヤ)、温度制御インターフェース(ヒータおよび/または空調制御)、窓制御インターフェース、ドア制御インターフェース(例えば、ドアのロック/ロック解除および/または開放を可能にする)ドアの)、マッピング制御インターフェース、コンピュータインターフェース、シフタ、制御ボタン、エンターテインメントビデオ制御インターフェース(例えば、車両の乗員がビデオコンテンツを制御および/または提示することを可能にする)、車両のための何らかの他の制御インターフェース、またはそれらの何らかの組み合わせを含んでもよい。
車両の内部の好みは、車両の内部に提示されるホログラフィックコンテンツに対するユーザの好みの構成を説明する。例えば、計器クラスタ(スピードメータ、タコメータなど)、ダッシュボードの色、ドアパネルの色、窓ティントの量、(車両に命令を提供するために使用できるホログラフィックコンテンツを含む)内部のホログラフィックコンテンツの場所。
車両の外部の好みは、車両の外部に沿ってLFディスプレイモジュールを使用して提示されるホログラフィックコンテンツに対するユーザの好みの構成を説明する。例えば、外部の好みは、車両の色(複数可)、車両の外観を拡張するために使用されるホログラフィックオブジェクト(例えば、サイドミラー、スポイラ、フードスクープなど)がどのようなものか、外部に沿ったホログラフィックコンテンツの場所またはそれらの何らかの組み合わせを説明し得る。
いくつかの実施形態では、視聴プロファイリングモジュール528は、LFディスプレイシステム500によって表示されるホログラフィックコンテンツに対するユーザの動作および/または応答に基づいて、視聴者プロファイルを直接更新することができる。いくつかの実施形態では、視聴プロファイリングモジュール528は、視聴者プロファイルを構築し、かつ記憶するための視聴者の識別をコントローラ520に提供する。
いくつかの実施形態では、データストア522は、視聴者プロファイリングモジュール528によって生成、更新、および/または維持された視聴者プロファイルを記憶する視聴者プロファイルストアを含む。視聴者プロファイルは、視聴者プロファイリングモジュール528によって、いつでもデータストア内で更新され得る。例えば、一実施形態では、視聴者プロファイルストアは、特定の視聴者が、LFディスプレイシステム500によって提供されたホログラフィックコンテンツを見るときに、その特定の視聴者に関する情報を受信し、その視聴者の視聴者プロファイルに記憶する。この例では、視聴者プロファイリングモジュール528は、視聴者を認識し、視聴者が提示されたホログラフィックコンテンツを見るときに視聴者を確実に識別することができる顔認識アルゴリズムを含む。例示のために、視聴者がLFディスプレイシステム500の標的エリアに入ると、追跡システム580が、視聴者の画像を取得する。視聴者プロファイリングモジュール528は、キャプチャされた画像を入力し、顔認識アルゴリズムを使用して視聴者の顔を識別する。識別された顔は、プロファイルストア内の視聴者プロファイルに関連付けられ、そのため、その視聴者に関して取得されたすべての入力情報が、その視聴者のプロファイルに記憶され得る。視聴者プロファイリングモジュールはまた、カード識別スキャナ、音声識別子、無線周波数識別(RFID)チップスキャナ、バーコードスキャナなどを利用して、視聴者を確実に識別することができる。
視聴者プロファイリングモジュール528が視聴者を確実に識別できるため、視聴者プロファイリングモジュール528は、LFディスプレイシステム500への各視聴者の各訪問を決定することができる。次に、視聴者プロファイリングモジュール528は、各訪問の日時を各視聴者の視聴者プロファイルに記憶することができる。同様に、視聴者プロファイリングモジュール528は、感覚フィードバックシステム570、追跡システム580、および/またはLFディスプレイアセンブリ510の任意の組み合わせから受信された、視聴者からの入力を、入力が発生するたびに記憶することができる。視聴者プロファイルシステム528は、コントローラ520の他のモジュールまたは構成要素から視聴者に関するさらなる情報を追加的に受信することができ、この情報は、視聴者プロファイルとともに記憶され得る。次に、コントローラ520の他の構成要素も、その視聴者に提供される後のコンテンツを決定するために、記憶された視聴者プロファイルにアクセスすることができる。
LF処理エンジン530は、LFディスプレイアセンブリ510によって実行されると、LFディスプレイアセンブリ510にホログラフィックコンテンツを提示させる、ラスタライズ化されたフォーマットの4D座標(「ラスタライズ化されたデータ」)を生成する。LF処理エンジン530は、データストア522からラスタライズ化されたデータにアクセスすることができる。さらに、LF処理エンジン530は、ベクトル化されたデータセットからラスタライズされたデータを構築することができる。ベクトル化されたデータを以下に説明する。LF処理エンジン530はまた、ホログラフィックオブジェクトを拡張する感覚コンテンツを提供するために必要な感覚命令を生成することができる。上記のように、感覚命令は、LFディスプレイシステム500によって実行されると、触覚表面、サウンドフィールド、およびLFディスプレイシステム500によってサポートされる他の形態の感覚エネルギーを生成することができる。LFデータ処理エンジン530は、データストア522から感覚命令にアクセスする、または、感覚命令を構築して、ベクトル化されたデータセットを形成することができる。全体として、4D座標および感覚データは、ホログラフィックおよび感覚コンテンツを生成するためにLFディスプレイシステムによって実行可能な表示命令を表す。
LFディスプレイシステム500内の様々なエネルギー源を通るエネルギーの流れを説明するラスタライズされたデータの量は、信じられないほど大量である。データストア522からアクセスされる場合、ラスタライズされたデータをLFディスプレイシステム500に表示することは可能であるが、(例えば、ネットワークインターフェース524を介して)効率的に送信し、受信し、その後、ラスタライズされたデータをLFディスプレイシステム500に表示することは不可能である。例えば、LFディスプレイシステム500によるホログラフィック投影用の短いフィルムを表すラスタライズされたデータを取り上げる。この例では、LFディスプレイシステム500は、数ギガピクセルを含むディスプレイを含み、ラスタライズされたデータは、ディスプレイ上の各ピクセル場所の情報を含む。ラスタライズされたデータの対応するサイズは膨大であり(例えば、フィルム表示時間の毎秒多ギガバイト)、ネットワークインターフェース524を介した商用ネットワーク上での効率的な転送には管理できない。効率的な転送の問題は、ホログラフィックコンテンツのライブストリーミングを含むアプリケーションで増幅される可能性がある。感覚フィードバックシステム570または追跡モジュール526からの入力を使用してインタラクティブな体験が望まれる場合、単にラスタライズされたデータをデータストア522に記憶することに関する追加の問題が生じる。インタラクティブな体験を可能にするために、LF処理エンジン530によって生成されたライトフィールドコンテンツは、感覚または追跡入力に応答してリアルタイムで修正され得る。言い換えれば、場合によっては、LFコンテンツは、データストア522から単純に読み取ることができない。
したがって、いくつかの構成では、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを表すデータは、ベクトル化されたデータフォーマット(「ベクトル化されたデータ」)でLF処理エンジン530に転送され得る。ベクトル化されたデータは、ラスタライズされたデータよりも桁違いに小さい場合がある。さらに、ベクトル化されたデータは、データの効率的な共有を可能にするデータセットサイズを有しながら、高い画質を提供する。例えば、ベクトル化されたデータは、より密度の高いデータセットから派生した疎なデータセットである可能性がある。したがって、ベクトル化されたデータは、密度の高いラスタライズされたデータから疎なベクトル化されたデータがどのようにサンプリングされるかに基づいて、画質とデータ送信サイズとの間の調整可能なバランスを有する可能性がある。ベクトル化されたデータを生成するための調整可能なサンプリングにより、特定のネットワーク速度での画質の最適化が可能になる。結果として、ベクトル化されたデータは、ネットワークインターフェース524を介したホログラフィックコンテンツの効率的な送信を可能にする。ベクトル化されたデータにより、ホログラフィックコンテンツを商用ネットワーク経由でライブストリーミングすることもできる。
要約すると、LF処理エンジン530は、データストア522からアクセスされるラスタライズされたデータ、データストア522からアクセスされるベクトル化されたデータ、またはネットワークインターフェース524を介して受信されるベクトル化されたデータから導出されたホログラフィックコンテンツを生成することができる。様々な構成において、ベクトル化されたデータは、データ送信の前に符号化され、LFコントローラ520による受信の後に復号化され得る。いくつかの例では、ベクトル化されたデータは、データ圧縮に関連する追加のデータセキュリティおよびパフォーマンスの向上のために符号化される。例えば、ネットワークインターフェースによって受信されたベクトル化されたデータは、ホログラフィックストリーミングアプリケーションから受信された符号化され、ベクトル化されたデータであり得る。いくつかの例では、ベクトル化されたデータは、デコーダ、LF処理エンジン530、またはこれらの両方が、ベクトル化されたデータ内の符号化された情報コンテンツにアクセスすることを必要とし得る。エンコーダおよび/またはデコーダシステムは、顧客が利用できる場合や、サードパーティベンダーにライセンス供与されている場合がある。
ベクトル化されたデータは、インタラクティブな体験をサポートする方法で、LFディスプレイシステム500によってサポートされる各感覚領域の各々の情報を含む。例えば、インタラクティブなホログラフィック体験のためのベクトル化されたデータは、LFディスプレイシステム500によってサポートされる感覚領域の各々に正確な物理学を提供することができる任意のベクトル化された特性を含む。ベクトル化された特性は、合成的にプログラムされ、キャプチャされ、計算により評価され得るなどの任意の特性を含み得る。LF処理エンジン530は、ベクトル化されたデータのベクトル化された特性をラスタライズされたデータに変換するように構成され得る。次に、LF処理エンジン530は、LFディスプレイアセンブリ510からのベクトル化されたデータから変換されたホログラフィックコンテンツを投影することができる。様々な構成で、ベクトル化された特性には、1つ以上の赤/緑/青/アルファチャネル(RGBA)+深度画像、1つの高解像度中央画像および低解像度の他のビューを含み得る様々な解像度での深度情報の有無にかかわらないマルチビュー画像、アルベドおよび反射率、表面法線、その他の光学効果、表面識別、幾何学的オブジェクト座標、仮想カメラ座標、表示面の場所、照明座標、表面の接触剛性、接触延性、接触強度、サウンドフィールドの振幅および座標、環境条件、テクスチャまたは温度の機械受容器に関連する体性感覚エネルギーベクトル、音声、ならびにその他の感覚領域特性の座標が含まれ得る。他の多くのベクトル化された特性も可能である。
LFディスプレイシステム500はまた、コントローラ520からの命令に応答して、1つ以上のホログラフィックオブジェクトを動的に更新することができる。例えば、発生するイベントに応答して、コントローラ520は、LFディスプレイアセンブリ510に、1つ以上のホログラフィックオブジェクトを提示し、かつ/または更新するように命令することができる。イベントには、例えば、ユーザ入力(例えば、ジェスチャ、口頭のコマンド、ボタンを押すなどであってもよい)、ナビゲーションリマインダ、携帯電話通話、車両ステータスの変更、事前にプログラムされ得るその他のイベントおよびそれらの何らかの組み合わせが含まれる場合がある。いくつかの実施形態では、ユーザ入力(例えば、ジェスチャ)に応答して、コントローラ520は、車両の動作状態(例えば、エンジンのオン/オフ、アクティブギア、駆動構成など)、車両の制御インターフェース、車両のデータインジケータ、車両の内部構成(例えば、運転者に対するホログラフィックオブジェクトの配置、内部照明、内部表示情報、無線音量など)、少なくとも1つ以上のホログラフィックオブジェクト、1つ以上のホログラフィックオブジェクトの配置、ネットワーク上でのデータを転送すること、(例えば、救難連絡でもあり得る)携帯電話通話を実行すること、ナビゲーションの更新を行うこと、またはそれらの何らかの組み合わせのうちの1つ以上を調整することができる。車両の動作状態は、車両の動作の何らかの態様を説明する。例えば、動作状態は、車両の速度の変化、トランスミッションギア(例えば、ドライブ、パーク、リバースなど)、エンジン動作(オン/オフ)、駆動構成(例えば、二輪駆動、四輪駆動など)、ヘッドライト構成(ランニングライトのオン/オフ、ハイビームのオン/オフ、ロービームのオン/オフ)、ミラー構成、車両操作の他の態様、またはそれらの組み合わせの変化を説明し得る。データインジケータは、車両の何らかの態様を乗員に通知する。データインジケータには、例えば、速度計、方向指示器、タコメータ、ガスゲージ、タイヤ空気圧低下警告、オイル警告、ヘッドアップディスプレイ情報、ナビゲーションリマインダなどが含まれ得る。
LFディスプレイシステム500はまた、インタラクティブな視聴体験を生成することもできる。すなわち、ホログラフィックコンテンツは、視聴者の場所、ジェスチャ、インタラクション、ホログラフィックコンテンツとのインタラクションに関する情報、または視聴者プロファイリングモジュール528および/または追跡モジュール526から導出された他の情報を含む入力刺激に応答することができる。例えば、一実施形態では、LF処理システム500は、ネットワークインターフェース524を介して受信されたリアルタイムパフォーマンスのベクトル化されたデータを使用して、インタラクティブな視聴体験を作成する。別の例では、ホログラフィックオブジェクトが、視聴者のインタラクションに応じて直ちに特定の方向に移動する必要がある場合、LF処理エンジン530は、ホログラフィックオブジェクトがその要求された方向に移動するように、シーンのレンダリングを更新することができる。これには、LF処理エンジン530が、ベクトル化されたデータセットを使用して、適切なオブジェクトの配置および動き、衝突検出、オクルージョン、色、陰影、照明などを有する3Dグラフィカルシーンに基づいて、リアルタイムでライトフィールドをレンダリングし、視聴者のインタラクションに正しく応答することが必要であり得る。LF処理エンジン530は、ベクトル化されたデータを、LFディスプレイアセンブリ510による提示のためにラスタライズされたデータに変換する。
ラスタライズされたデータには、リアルタイムのパフォーマンスを表すホログラフィックコンテンツ命令および感覚命令(表示命令)が含まれる。LFディスプレイアセンブリ510は、表示命令を実行することによって、リアルタイムのパフォーマンスのホログラフィックおよび感覚コンテンツを同時に投影する。LFディスプレイシステム500は、追跡モジュール526および視聴者プロファイリングモジュール528を用いて、提示されたリアルタイムのパフォーマンスのコンテンツとの視聴者のインタラクション(例えば、音声応答、タッチなど)を監視する。視聴者のインタラクションに応答して、LF処理エンジンは、視聴者に表示するための追加のホログラフィックおよび/または感覚コンテンツを生成することによって、インタラクティブな体験を作成する。
例示のために、複数のホログラフィックオブジェクトを生成するLF処理エンジン530を含むLFディスプレイシステム500の例示的な一実施形態を考慮する。例えば、複数のホログラフィックオブジェクトを使用して、様々なトランスミッション状態(例えば、ドライブ、リバース、ニュートラルなど)に対応する一連のボタンを表示するシフタを表すことができる。ユーザは、駆動ボタンを表すホログラフィックオブジェクトにタッチするように移動し得る。それに応じて、追跡システム580は、ホログラフィックオブジェクトに対する視聴者の指の動きを追跡する。ユーザの動きは追跡システム580によって記録され、コントローラ520およびLF処理エンジン530に送信される。いくつかの実施形態では、LF処理エンジン530は、ホログラフィックオブジェクトの外面の少なくとも一部分に対応し、ホログラフィックオブジェクトの一部またはすべてと実質的に同じ空間を占める触覚表面を生成するように(例えば、超音波スピーカを使用して)LFディスプレイアセンブリ510に命令する。LF処理エンジン530は追跡情報を使用して、LFディスプレイアセンブリ510に、物理ボタンを押す視覚および接触知覚の両方をユーザが与えられるように、触覚表面の位置を、レンダリングされたホログラフィックオブジェクトの位置とともに移動するよう動的に命令する。
ホログラフィックコンテンツトラックには、空間レンダリング情報も含まれる場合がある。すなわち、ホログラフィックコンテンツトラックは、自動車の内部に、かつ/または自動車の外部に沿ってホログラフィックコンテンツを提示するための空間的場所を示し得る。例えば、ホログラフィックコンテンツトラクトは、特定のホログラフィックコンテンツがいくつかのホログラフィックビューイングボリュームで提示され、他のボリュームでは提示されないことを示し得る。説明のために、LF処理エンジン530は、自動車のダッシュボードに沿って計器制御を提示することができる。同様に、ホログラフィックコンテンツトラックは、ホログラフィックコンテンツを示して、いくつかのビューイングボリュームに提示し、他のボリュームには提示しないことを示し得る。例えば、LF処理エンジンは、ダッシュボードに沿って計器制御を運転者に提示するが、搭乗者には提示しない場合がある。
LF処理エンジン530はまた、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを作成することができる。重要なことには、ここで、表示のためのホログラフィックコンテンツを作成することは、表示のためのホログラフィックコンテンツをアクセスすること、または受信することとは異なる。すなわち、コンテンツを作成するとき、LF処理エンジン530は、以前に生成および/または受信されたコンテンツをアクセスするのではなく、表示のための全く新しいコンテンツを生成する。LF処理エンジン530は、追跡システム580、感覚フィードバックシステム570、視聴者プロファイリングモジュール528、追跡モジュール528、またはそれらの何らかの組み合わせからの情報を使用して、表示のためのホログラフィックコンテンツを作成することができる。いくつかの例では、LF処理エンジン530は、LFディスプレイシステム500の要素からの情報(例えば、追跡情報および/または視聴者プロファイル)にアクセスし、それに応じて、その情報に基づいてホログラフィックコンテンツを作成し、作成されたホログラフィックコンテンツを、LFディスプレイシステム500を使用して表示することができる。作成されたホログラフィックコンテンツは、LFディスプレイシステム500によって表示されるときに、他の感覚コンテンツ(例えば、タッチ、音声、または匂い)で拡張され得る。さらに、LFディスプレイシステム500は、作成されたホログラフィックコンテンツが将来表示され得るように、作成されたホログラフィックコンテンツを記憶することができる。
いくつかの実施形態では、LF処理エンジン530は、人工知能(AI)モデルを組み込んで、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを作成する。AIモデルは、回帰モデル、ニューラルネットワーク、分類器、またはその他のAIアルゴリズムを含むがこれらに限定されない、教師付きもしくは教師なし学習アルゴリズムを含み得る。AIモデルは、視聴者の行動に関する情報を含み得る、LFディスプレイシステム500によって(例えば、追跡システム580によって)記録された視聴者情報に基づいて、視聴者の好みを決定するために使用することができる。
AIモデルは、ホログラフィックコンテンツを作成するために、データストア522からの情報にアクセスすることができる。例えば、AIモデルは、データストア522内の1つ以上の視聴者プロファイルからの視聴者情報にアクセスすることができるか、またはLFディスプレイシステム500の様々な構成要素から視聴者情報を受信することができる。説明のために、AIモデルは、車両の乗員が特定の自動車のトリム(外部および/または内部)を見るのを楽しんでいると決定する場合がある。AIモデルは、以前見た、自動車のトリムに対する視聴者の群の肯定的な反応または応答に基づいて、好みを決定することができる。つまり、AIモデルは、学習された視聴者の好みに従って、視聴者のセットに合わせて個人化されたホログラフィックコンテンツを作成することができる。AIモデルはまた、学習された各視聴者の好みを、データストア522の視聴者プロファイルストアに記憶することができる。いくつかの例では、AIモデルは、視聴者の群ではなく、個々の視聴者のためにホログラフィックを作成することができる。
視聴者の特徴を識別し、反応を識別し、および/または識別された情報に基づいてホログラフィックコンテンツを生成するために使用され得るAIモデルの一例が、現在の層のノードの値が前の層のノードでの値の変換である、ノードのレイヤを有する畳み込みニューラルネットワークモデルである。特性には、例えば、視聴者の名前、視聴者の年齢、車両制御者の好み、車両内部の好み、車両外部の好み、居住地、その他の人口統計情報、またはそれらの何らかの組み合わせが含まれ得る。モデルにおける変換は、現在の層と前の層とを接続する、重みとパラメータとのセットによって決定される。例えば、AIモデルは、ノードの5つの層、すなわち層A、B、C、D、およびEを含み得る。層Aから層Bへの変換は関数W1により与えられ、層Bから層Cへの変換はW2により与えられ、層Cから層Dへの変換はW3により与えられ、層Dから層Eへの変換はW4により与えられる。いくつかの例では、変換はまた、モデル内の前の層間を変換するために使用される重みとパラメータとのセットを介して決定され得る。例えば、層Dから層Eへの変換W4は、層Aから層Bへの変換W1を遂行するために使用されるパラメータに基づき得る。
モデルへの入力は、畳み込み層A上に符号化された、追跡システム580によって撮影された画像であり得、モデルの出力は、出力層Eから復号されたホログラフィックコンテンツである。代替的または追加的に、出力は、画像内で決定された視聴者の特徴であり得る。この例では、AIモデルは、識別層Cの視聴者の特徴を表す、画像内の潜在情報を識別する。AIモデルは、畳み込み層Aの次元を識別層Cの次元まで低減して、画像内の任意の特徴、動作、応答などを識別する。いくつかの例では、AIモデルは、次に、識別層Cの次元を増加してホログラフィックコンテンツを生成する。
追跡システム580からの画像は、畳み込み層Aに符号化される。畳み込み層Aに入力された画像は、識別層Cの様々な特徴および/または反応情報などに関連付けられ得る。これらの要素間の関連情報は、対応する層間に変換のセットを適用することによって検索され得る。すなわち、AIモデルの畳み込み層Aは、符号化された画像を表し、モデルの識別層Cは、笑顔の視聴者を表す。所与の画像内の笑顔の視聴者は、畳み込み層Aの空間内の画像の画素値に変換W1およびW2を適用することによって識別され得る。変換の重みおよびパラメータは、画像に含まれる情報と笑顔の視聴者の識別との間の関係を示し得る。例えば、重みおよびパラメータは、画像内の笑顔の視聴者を表す情報に含まれる形状、色、サイズなどの量子化であり得る。重みおよびパラメータは、履歴データ(例えば、以前に追跡された視聴者)に基づき得る。
画像内の笑顔の視聴者は、識別層Cで識別される。識別層Cは、画像内の笑顔の視聴者に関する潜在情報に基づいて識別された笑顔の視聴者を表す。
画像内の識別された笑顔の視聴者を使用して、ホログラフィックコンテンツを生成することができる。ホログラフィックコンテンツを生成するために、AIモデルは、識別層から開始して、変換W2およびW3を識別層Cの所与の識別された笑顔の視聴者の値に適用する。変換は、出力層Eのノードのセットをもたらす。変換の重みおよびパラメータは、識別された笑顔の視聴者と特定のホログラフィックコンテンツおよび/または好みとの間の関係を示し得る。ホログラフィックコンテンツが、出力層Eのノードから直接出力される場合もあれば、コンテンツ生成システムが、出力層Eのノードをホログラフィックコンテンツに復号化する場合もある。例えば、出力が、識別された特徴のセットである場合、LF処理エンジン530は、その特徴を使用してホログラフィックコンテンツを生成することができる。
追加的に、AIモデルは、中間層として知られている層を含み得る。中間層は、画像に対応しない層であって、特徴/反応などを識別するか、またはホログラフィックコンテンツを生成する。例えば、所与の例では、層Bは、畳み込み層Aと識別層Cとの間の中間層である。層Dは、識別層Cと出力層Eとの間の中間層である。隠れ層は、データ中では観測されないが、特徴を識別してホログラフィックコンテンツを生成するときに、画像の要素間の関係を支配し得る識別の様々な態様の潜在表現である。例えば、隠れ層のあるノードが、「笑っている人の笑顔」の共通点を共有する入力値および識別値と強いつながり(例えば、大きな重み値)を持っている場合がある。別の例として、隠れ層の別のノードが、「怖がっている人の悲鳴」の共通点を共有する入力値および識別値と強いつながりを持っている場合がある。もちろん、ニューラルネットワークには任意の数のリンケージが存在する。追加的に、各中間層は、例えば、残差ブロック、畳み込み層、プーリング操作、スキップ接続、連結などの機能の組み合わせである。任意の数の中間層Bが、畳み込み層を識別層まで減らすように機能し得、任意の数の中間層Dが、識別層を出力層まで増やすように機能し得る。
一実施形態では、AIモデルは、強化学習でトレーニングされた決定論的方法を含む(それにより、強化学習モデルを作成する)。モデルは、追跡システム580からの測定値を入力として、および作成されたホログラフィックコンテンツへの変更を出力として使用して、パフォーマンスの品質を高めるようにトレーニングされる。
強化学習は、数値的な報酬信号を最大化するために、機械が「何をすべきか」(状況を動作にマッピングする方法)を学習する機械学習システムである。学習器(例えば、LF処理エンジン530)は、取るべき動作(例えば、所定のホログラフィックコンテンツの生成)を告げられていないが、代わりに、動作を試行することによって、どの動作が最大の報酬をもたらすか(例えば、より多くの人に歓声を上げさせることによってホログラフィックコンテンツの品質を高めること)を発見する。場合によっては、動作は、即時報酬だけでなく、次の状況、そしてそれを通じて、その後のすべての報酬にも影響を及ぼし得る。これらの2つの特徴(試行錯誤による探索および遅延報酬)が、強化学習の2つの際立った特徴である。
強化学習は、学習方法を特徴づけることによってではなく、学習問題を特徴づけることによって定義される。基本的に、強化学習システムは、目標を達成するために環境とインタラクションする学習エージェントが直面している問題の重要な態様をキャプチャする。つまり、パフォーマの歌を生成する例では、強化学習システムは、現場の視聴者に関する情報(例えば、年齢、気質など)をキャプチャする。このようなエージェントは、環境の状態を感知し、状態に影響を与える動作を実行して、1つ以上の目標を達成する(例えば、視聴者が歓声を上げるであろうポップソングを作成する)。最も基本的な形態では、強化学習の定式化は、学習器のための3つの態様、すなわち、感覚、動作、目標を含む。歌の例に続いて、LF処理エンジン530は、追跡システム580のセンサで環境の状態を感知し、環境内の視聴者にホログラフィックコンテンツを表示し、視聴者のその歌の受容の尺度である目標を達成する。
強化学習で発生する課題の1つが、探索と活用との間のトレードオフである。システム内の報酬を増やすために、強化学習エージェントは、過去に試行し、報酬を生み出すのに効果的であることがわかった動作を好む。しかしながら、報酬を生み出す動作を発見するために、学習エージェントは、以前に選択したことのない動作を選択する。エージェントは、報酬を取得するために、すでに知っている情報を「活用」するが、将来、より良い動作を選択するために、情報を「探索」する。学習エージェントは、様々な動作を試み、依然として新しい動作を試行しながら、最良と思われる動作を次第に好むようになる。確率論的タスクでは、一般的に、各動作が、期待される報酬に対する信頼できる見積もりを得るために、何度も試行される。例えば、長い時間が経過した後に視聴者がパフォーマンスで笑うことになるとLF処理エンジンが知っているホログラフィックコンテンツをLF処理エンジンが作成する場合、LF処理エンジンは、視聴者が笑うまでの時間が減少するように、ホログラフィックコンテンツを変更することができる。
さらに、強化学習は、不確実環境とインタラクションする目標指向エージェントの問題全体を考慮する。強化学習エージェントは、明確な目標を有し、環境の態様を感知し得、高い報酬(すなわち、どよめく観衆)を受信するための動作を選択し得る。さらに、エージェントは、一般的に、直面する環境に関する重要な不確実性にかかわらず動作する。強化学習が計画を含む場合、システムは、計画とリアルタイムの動作選択とのインタラクション、ならびに環境要素をどのように取得して改善するかという問題に対処する。強化学習が進展するためには、重要なサブ問題を分離して研究する必要があり、サブ問題は、完全でインタラクティブなゴールシークエージェントで明確な役割を果たす。
強化学習問題は、目標を達成するためにインタラクションが処理され、動作が実行される機械学習問題のフレーミングである。学習器および意思決定器はエージェントと呼ばれる(例えば、LF処理エンジン530)。エージェントの外部のすべてのものを含む、エージェントがインタラクションするものは環境と呼ばれる(例えば、現場の視聴者など)。これら2つは継続的にインタラクションし、エージェントは動作を選択し(例えば、ホログラフィックコンテンツを作成し)、環境は、それらの動作に応答して、エージェントに新しい状況を提示する。環境はまた、エージェントが時間の経過とともに最大化しようとする特別の数値的な価値である報酬を生じさせる。ある文脈では、報酬は、ホログラフィックコンテンツに対する視聴者の肯定的な反応を最大化するように機能する。環境の完全な仕様は、強化学習問題の1つの実例であるタスクを定義する。
より多くの文脈を提供するために、エージェント(例えば、コンテンツ生成システム350)および環境は、離散時間ステップのシーケンスの各々、すなわち、t=0、1、2、3などにおいてインタラクションする。各時間ステップtにおいて、エージェントは、環境の状態stの何らかの表現(例えば、追跡システム580からの測定値)を受信する。状態stはS内にあり、Sは、可能性がある状態のセットである。状態stおよび時間ステップtに基づいて、エージェントは、で動作を選択する(例えば、パフォーマに股割りをさせる)。での動作はA(st)内にあり、A(st)は、可能性がある動作のセットである。1つの時間状態の後、部分的にはエージェントの動作の結果として、エージェントは、数値的な報酬rt+1を受信する。状態rt+1はR内にあり、Rは、可能性がある報酬のセットである。エージェントが報酬を受信すると、エージェントは、新しい状態st+1を選択する。
各タイムステップにおいて、エージェントは、状態から、各可能性がある動作を選択する確率へのマッピングを実装する。このマッピングはエージェントのポリシーと呼ばれ、πtで表され、ここで、πt(s,a)は、st=sであればat=aとなる確率である。強化学習方法は、エージェントの動作から生じる状態および報酬の結果として、エージェントがポリシーをどのように変更するかを指示することができる。エージェントの目標は、時間の経過とともに、エージェントが受信する報酬の合計額を最大化することである。
この強化学習フレームワークは柔軟性があり、多くの異なる方法で多くの異なる問題(例えば、ホログラフィックコンテンツの生成)に適用され得る。このフレームワークは、感覚、記憶、および制御装置の詳細が何であれ、目標指向の行動を学習するすべての問題(または目的)が、エージェントとその環境との間を行き来する3つの信号、すなわち、エージェントによって行われた選択(動作)を表す1つの信号、選択が行われた根拠(状態)を表す1つの信号、およびエージェントの目標(報酬)を定義する1つの信号にまとめられ得ることを提案する。
もちろん、AIモデルは、任意の数の機械学習アルゴリズムを含み得る。使用され得るいくつかの他のAIモデルは、線形および/またはロジスティック回帰、分類および回帰ツリー、k平均法クラスタリング、ベクトル量子化などである。いずれの場合も、一般に、LF処理エンジン530が、追跡モジュール526および/または視聴者プロファイリングモジュール528から入力を取得し、機械学習モデルが、それに応じてホログラフィックコンテンツを作成する。同様に、AIモデルは、ホログラフィックコンテンツのレンダリングを指向し得る。
コンテンツを作成する前述の例は、限定的なものではない。最も広義には、LF処理エンジン530は、LFディスプレイシステム500の視聴者に表示するためのホログラフィックコンテンツを作成する。ホログラフィックコンテンツは、LFディスプレイシステム500に含まれる情報のいずれかに基づいて作成され得る。
車両インターフェース532は、ホログラフィックコンテンツとのユーザのインタラクションに基づいて、車両に命令を提供する。車両インターフェース532は、ホログラフィックコンテンツとのインタラクションを監視し、監視されたインタラクションに基づいて車両に提供する命令を識別する。車両インターフェース532は、例えば、ルックアップテーブル(LUT)、機械学習、ニューラルネットワーク、またはそれらの何らかの組み合わせを追跡情報および生成されたホログラフィックコンテンツに適用して、ユーザがホログラフィックコンテンツとインタラクションしているかどうかを決定する。例えば、車両インターフェース532は、シフタのホログラフィック駆動ボタンに対応するホログラフィックオブジェクトとインタラクションするユーザを監視する。ユーザが(上記のように)ホログラフィック駆動ボタンを押すと、車両インターフェース532は、ユーザが車両を駆動することを意図していることを(例えば、機械学習を介して)決定し、そのトランスミッションを駆動するように車両に命令する。別の例では、車両インターフェース532は、ステアリングホイールに対応するホログラフィックオブジェクトとインタラクションするユーザを監視することができる。ユーザがホログラフィックオブジェクトを特定の方向に回転させると、車両インターフェース532は、ユーザが車両を特定の方向に回転させようとしていることを(例えば、機械学習を介して)決定し、車両に特定の方向に回転するように命令する。
いくつかの実施形態では、車両インターフェース532は、車両の自動運転機能とインターフェースする。自動運転機能は、人間の介入をほとんどまたはまったく必要とせずに車両が自走するプロセスである。例えば、車両の乗員は、LFディスプレイシステム500を介して目的地の住所を提供することができ、そこから、車両は次いで、車両を目的地の住所まで自動的に運転するであろう。自動運転車の当業者は、そのような自動運転機能を車両に実装することができる。いくつかの実施形態では、LFディスプレイシステムは、自動運転車両の1人以上の乗員にホログラフィック運転者を提示することができる。ホログラフィック運転者は、例えば、1人以上の車両の乗員がインタラクションする可能性がある人物の画像であり得る。LFディスプレイシステム500は、乗員がホログラフィック運転者とインタラクションするときに、乗員から入力(例えば、宛先アドレス)を受信することができる。LFディスプレイシステム500は、ホログラフィック運転者(例えば、ホログラフィック運転者に、それに話している乗員を見せる)および/または乗員に提示されている他のホログラフィックコンテンツを動的に更新することができる。LFディスプレイシステム500は、乗員から車両の自動運転機能への1つ以上の入力を提供することができる。
図6Aは、1つ以上の実施形態による、LFディスプレイシステムで拡張された車両600の斜視図である。図示の実施形態では、車両600は自動車である。他の実施形態では、車両600は、人、商品、センサ機器、および/または武器を輸送するために使用される何らかの他のタイプの機械である。車両600は、例えば、自動車(例えば、自動車、トラックなど)、飛行機、ドローン、無人航空機、戦車、ボート、潜水艦、輸送に使用される何らかの他の機械またはそれらの何らかの組み合わせであり得る。LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。
図示の実施形態では、LFディスプレイシステムは、車両600の外面の一部分の一部である複数のLFディスプレイモジュールを含む。各LFディスプレイモジュールは、破線のポリゴンとして示される。実際には、LFディスプレイモジュールのサイズ、LFディスプレイモジュールの数、LFディスプレイモジュールの場所、またはそれらの何らかの組み合わせは、示されているものとは異なる場合があることに留意されたい。LFディスプレイモジュールは、車両の外面の一部またはすべてにわたってシームレスな表示面を形成するようにタイル張りされ得る。車両の外面は、車両の外側にいる視聴者に見える車両の表面である。外面は、例えば、窓、車体、車両ホイールカバー、外面の何らかの他の部分、またはそれらの何らかの組み合わせを含み得る。例えば、車両600は、車体上の複数のLFディスプレイモジュール(例えば、LFディスプレイモジュール610)、車両ホイールカバー上の複数のLFディスプレイモジュール(例えば、LFディスプレイモジュール620)、および窓上の複数のLFディスプレイモジュール(例えば、LFディスプレイモジュール630)を含む。いくつかの実施形態では、窓上のLFディスプレイモジュールは、可視光に対して透明であり得ることに留意されたい。
外面に沿ったLFディスプレイモジュールは、ホログラフィックコンテンツを投影して車両600の外観を変更するように構成されている。このようにして、LFディスプレイシステムのユーザ(例えば、車両オペレータ、車両製造業者)は、車両の外側の視聴者に車両がどのように見えるかを修正することができる。例えば、LFディスプレイシステムは、車両の一部またはすべてのテクスチャ、色、および機能を変更し、かつ/または装飾オブジェクトを投影し得る。バスの場合、LFディスプレイシステムは、歩道上の歩行者の注意を引くために、表示面の後ろにホログラフィックオブジェクトを投影するだけでなく、表示面の前に浮かぶ看板として機能する場合がある。戦車の場合、LFディスプレイシステムは、低木や葉(実像の場合もある)を投影して、車両を周囲に溶け込ませてカモフラージュするように機能する場合がある。別の実施形態では、630とは反対の車両の右側のライトフィールドカメラは、ディスプレイ610、620、および630に車両の左側に投影される画像をキャプチャして、車両を外部の傍観者に対して透明に見えるようにし、車両を見ている車両の左側に位置させることができる。
図6Bは、1つ以上の実施形態による、ホログラフィックコンテンツを提示する図6Aの車両600の斜視図である。LFディスプレイモジュールは、LFディスプレイモジュールの表示面に対して複数の構成可能な物理的場所にホログラフィックオブジェクトを投影する。図示の実施形態では、車両600のLFディスプレイシステムは、車両600の外観が変更されるようにホログラフィックコンテンツを提示している。例えば、LFディスプレイシステムは、それぞれの構成可能な物理的場所にホログラフィックオブジェクト640、650、660、および670を提示している。ホログラフィックオブジェクト640および650は、LFディスプレイモジュール610から突出する装飾的な後部ターン信号機として現れる。ホログラフィックオブジェクト640、650は、特定の見晴らしの良い点で、LFディスプレイシステムのホログラフィックオブジェクトボリューム内のLFディスプレイモジュールの外側に現れる。いくつかの実施形態では、LFディスプレイモジュール内の超音波スピーカは、ホログラフィックコンテンツの少なくとも一部分と一致する触覚表面を生成するように構成され得る。例えば、超音波スピーカは、ホログラフィックオブジェクト650の外面と一致する触覚表面を生成することができる。
ホログラフィックオブジェクト660は、車両600の外面に沿ってピンストライプとして現れる画像である。ホログラフィックオブジェクト670は、車両600の外面の一部の色を変える。図示のホログラフィックオブジェクト640、ホログラフィックオブジェクト650、ホログラフィックオブジェクト660、およびホログラフィックオブジェクト670は単なる例であり、他の実施形態では、他のホログラフィックオブジェクト(例えば、装飾フィン、車両600から突出するブレーキライトなど)は、LFディスプレイシステムによって提示される場合があり、他の物理的な場所に提示される場合があることに留意されたい。
図7Aは、1つ以上の実施形態による、LFディスプレイシステムで拡張された車両700の斜視図である。図示の実施形態では、車両は自動車である。他の実施形態では、車両は、人、商品、センサ機器、および/または武器を輸送するために使用される何らかの他のタイプの機械である。車両は、例えば、自動車、飛行機、ドローン、無人航空機、戦車、ボート、潜水艦、輸送に使用される何らかの他の機械、またはそれらの何らかの組み合わせであり得る。いくつかの実施形態では、車両は車両600である。LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。
LFディスプレイシステムは、LFディスプレイアセンブリを含む。LFディスプレイアセンブリは、車両の内部700の内面に装着された少なくとも1つのLFディスプレイモジュールを含む。少なくとも1つのLFディスプレイモジュールは、少なくとも1つのLFディスプレイモジュールの表示面に対して複数の場所に1つ以上のホログラフィックオブジェクトを提示するように構成されている。場所は、表示面と少なくとも1つの表示面のビューイングボリュームとの間の場所を含む。
図示の実施形態では、LFディスプレイシステムは、車両の内面の一部である複数のLFディスプレイモジュールを含む。各LFディスプレイモジュールは、破線のポリゴンとして表示される。実際には、LFディスプレイモジュールのサイズ、LFディスプレイモジュールの数、LFディスプレイモジュールの場所、またはそれらの何らかの組み合わせは、示されているものとは異なる場合があることに留意されたい。LFディスプレイモジュールは、内部700の一部またはすべてにわたってシームレスな表示面を形成するようにタイル張りされ得る。いくつかの実施形態では、LFディスプレイモジュールは、内部の異なる場所に固有のパネルに形成される。車両の内面は、車両の内部700内にある車両の表面である。内面は、例えば、窓、座席、ドアパネル、屋根、ダッシュボード、床、内部700の何らかの他の部分、またはそれらの何らかの組み合わせを含み得る。
例えば、車両は、ダッシュ720上の複数のLFディスプレイモジュール(例えば、LFディスプレイモジュール710)、およびドアパネル上の複数のLFディスプレイモジュール(例えば、LFディスプレイモジュール730)を含む。内面に沿ったLFディスプレイモジュールは、ホログラフィックコンテンツを投影して、内部700の一部分の外観を変更するように構成されている。このようにして、LFディスプレイシステムのユーザは、車両がユーザにどのように見えるかを修正できる。例えば、ホログラフィックコンテンツは、例えば、ステアリング制御インターフェース(例えば、ステアリングホイール)、計器クラスタ(例えば、速度計、タコメータなど)、音楽制御インターフェース(例えば、ラジオ、音楽プレーヤ)、温度制御インターフェース(ヒータおよび/または空調制御)、(例えば、窓の開閉を制御するための)窓制御インターフェース、(例えば、ドアのロック/ロック解除および/またはドアの開閉を可能にする)ドア制御インターフェース、マッピング制御インターフェース(ナビゲーション制御インターフェースとも呼ばれる)、(例えば、電話をかける、または電話をかける電話とインターフェースする)コンピュータインターフェース、(例えば、マニュアルまたはオートマチックトランスミッションに対応する)シフタインターフェース、その他のいくつかの制御車両のインターフェース、またはそれらの何らかの組み合わせを含み得る。ホログラフィックコンテンツの一部またはすべてには、ユーザがホログラフィックコンテンツとインタラクトできる触覚ボタン、ノブ、レバー、またはその他のタイプのインターフェースが含まれる場合があることに注意されたい。さらに、LFディスプレイシステムは、車両の1人以上のユーザに合わせてカスタマイズされたホログラフィックコンテンツを表示することができる。例えば、LFディスプレイモジュール710によって提示されるホログラフィックコンテンツ(例えば、計器クラスタなど)は、運転者に合わせてカスタマイズすることができ、一方、LFディスプレイモジュール730によって提示される窓制御インターフェースは、座席740のユーザに合わせてカスタマイズされる。
図7Bは、1つ以上の実施形態による、ホログラフィックコンテンツを提示する図7Aの内部700の斜視図750である。図示の実施形態では、車両のLFディスプレイシステムは、内部700の外観が変更されるようにホログラフィックコンテンツを提示している。例えば、LFディスプレイシステムは、ホログラフィックオブジェクト760、ホログラフィックオブジェクト765、ホログラフィックオブジェクト770、ホログラフィックオブジェクト775、ホログラフィックオブジェクト780、およびホログラフィックオブジェクト785を提示している。図示のホログラフィックオブジェクト760、ホログラフィックオブジェクト765、ホログラフィックオブジェクト770、ホログラフィックオブジェクト775、ホログラフィックオブジェクト780、およびホログラフィックオブジェクト785は単なる例であり、他の実施形態では、他のホログラフィックコンテンツおよび/またはホログラフィックオブジェクトは、LFディスプレイシステムによって提示されることに留意されたい。例えば、内部700内に提示されるホログラフィックコンテンツの構成は、車両の乗員の視聴者プロファイルに部分的に基づいている。例えば、運転者の視聴者プロファイルは、運転者がオートマチックトランスミッションとマニュアルトランスミッションのどちらを運転するかを好むことを示している場合があり、LFディスプレイシステムはシフタをホログラフィックオートマチックシフタとしてレンダリングするであろう。同様の方法で、車両の搭乗者の視聴者プロファイルを使用して、搭乗者に対するホログラフィックコンテンツのレイアウト、色などをカスタマイズすることができる。
図7Bでは、ホログラフィックオブジェクト760は、ステアリングホイール(例えば、ステアリングインターフェースコントローラのタイプ)として現れる。ホログラフィックオブジェクト765は、計器クラスタの実像である。ホログラフィックオブジェクト770は、例えば、音楽制御インターフェース、マッピング制御インターフェース、(例えば、無線通話を行うための)通信インターフェース、コンピュータ制御インターフェース、またはそれらの何らかの組み合わせであり得る。ホログラフィックオブジェクト780は、シフタの実像である。ホログラフィックオブジェクト785は、窓制御インターフェースおよび/またはドア制御インターフェースの実像である。
いくつかの実施形態では、ライトフィールドディスプレイモジュール710および730は、触覚表面を生成するために使用することができる超音波圧力波を使用して体積触覚表面を投影するデュアルエネルギー投影デバイスであり得る。例として、これらの触覚表面は、投影されたホログラフィック制御の少なくとも一部分と一致するテクスチャを備えた制御のように感じる場合がある。例えば、超音波スピーカは、ホログラフィックオブジェクト760の外面と一致する触覚表面を生成することができる。
LFディスプレイシステムはまた、車両のユーザの動きを説明する追跡情報を生成するための追跡システムの一部である1つ以上のカメラを含み得る。これらのカメラは、ライトフィールドディスプレイアセンブリ(510)の内部にある場合もあれば、別個のカメラとして510の外部に存在する場合もある。LFディスプレイシステムは、追跡情報を使用して、内部700内のホログラフィックコンテンツ(ホログラフィックオブジェクトを含む)に対する手のポーズおよび/または場所を監視することができる。例えば、ホログラフィックオブジェクト770は、ボタンの実像を含み得る。LFディスプレイシステムは、超音波エネルギーを投影して、ホログラフィックオブジェクト770に対応し、そのオブジェクトの外面(すなわち、ボタン)の一部またはすべてと実質的に同じ空間を占める触覚表面を生成することができる。LFディスプレイシステムは、追跡情報を使用して、ボタンがユーザによって「押される」ときに、ボタンを動的に移動するとともに、触覚表面の位置を動的に移動することができる。LFディスプレイシステムは、追跡された情報に基づいて車両に命令を提供する。例えば、ユーザがボタンを「押した」ことを示す追跡情報に応答して、LFディスプレイシステムは、ナビゲーションをオンにするか、またはドアをロックするように車両に命令することができる。同様に、LFディスプレイシステムは、追跡情報を使用して、ユーザが他のホログラフィックコンテンツ(例えば、計器クラスタ、音楽制御インターフェース、窓制御インターフェース、ドア制御インターフェースなど)とインタラクションするときに、車両に命令を提供することができる。さらに、いくつかの実施形態では、一部のユーザはホログラフィックコンテンツとインタラクションでき、他のユーザはインタラクションできない。例えば、法執行機関の車両では、後部座席の搭乗者がドア制御(例えば、ホログラフィックオブジェクト785)にアクセスできないようにすることが有益な場合がある。
いくつかの実施形態では、ユーザ入力に応答して、LFディスプレイシステムは、車両の動作状態(例えば、エンジンのオン/オフ、アクティブギア、駆動構成など)、車両の内部構成、1つ以上のホログラフィックオブジェクトのうちの少なくとも1つ、1つ以上のホログラフィックオブジェクトの配置、またはそれらの何らかの組み合わせのうちの1つ以上を調整することができる。
ホログラフィックコンテンツで内部700を拡張することの1つの潜在的な利点は、それが車両の内部700の動的なカスタマイズを可能にすることである。車両の内部構成は、車両の内部700を説明するホログラフィックコンテンツを指す。例えば、運転者は、計器クラスタ(ホログラフィックオブジェクト765)に表示したい計器、ステアリングホイールが位置する場所(ホログラフィックオブジェクト760)、車両が(例えば、ホログラフィックオブジェクト780を介した)オートマティックかまたはマニュアルトランスミッションか、窓制御インターフェースの場所、ドア制御インターフェースの場所などを調整することによって、内部構成をカスタマイズし得る。さらに、いくつかの実施形態では、運転者の実際の場所は、いずれかの座席790または795にあり得る。車両制御はホログラフィックコンテンツであることに注意されたい。したがって、図7Bに示される実施形態に加えて、代替実施形態におけるLFディスプレイシステム(例えば、LFディスプレイモジュール710を介して)、ホログラフィックオブジェクト760およびホログラフィックオブジェクト765は、座席790の前でレンダリングされ、座席795ではレンダリングされない。同様に、他のホログラフィックコンテンツ(例えば、ホログラフィックオブジェクト780)は、座席790に位置決めされている運転者のために調整され得る。
いくつかの実施形態では、LFディスプレイシステムは、追跡情報に部分的に基づいて、各ユーザに合わせてカスタマイズされた1つ以上のホログラフィックオブジェクトを提示することができる。このように、互いに少なくとも閾値距離(例えば、数フィート)にある視聴者は、完全に異なるホログラフィックコンテンツを見ることができる。例えば、LFディスプレイシステムは、運転者の位置(例えば、目の場所)および車両内の搭乗者の位置(例えば、目の場所)を追跡し、ホログラフィックオブジェクトが提示されるであろう場所に対する追跡位置に基づいて、車両の乗員に見えるべきホログラフィックコンテンツ(例えば、ホログラフィックオブジェクト)の視点を決定する。LFディスプレイシステムは、LFディスプレイモジュールの特定のピクセルから光を追跡された目の位置に向かって選択的に放出し、特定のピクセルは、決定された視点に対応する。したがって、異なる視聴者が、完全に異なるホログラフィックコンテンツを同時に提示され得る。例えば、LFディスプレイモジュールは、ドアパネルを赤い革として提示すると同時に、ドアパネルが白い帆布であることを示すホログラフィックコンテンツを異なる搭乗者に提示する場合がある。そして、いずれの搭乗者も、他方の搭乗者が提示されていたコンテンツを知覚できないであろう。
いくつかの実施形態では、LFディスプレイシステムは、ナビゲーションおよび/またはマッピングに関連する1つ以上のホログラフィックオブジェクトを提示することができる。例えば、ホログラフィックオブジェクトは、車両の場所に関する情報を示すナビゲーション画面、ナビゲーションエイド、ナビゲーション方向インジケータ、ナビゲーション情報、推奨される車両ルート、車両の周辺に関連する画像、運転者が道路への集中を維持できるように運転者の前に投影されるナビゲーションコンテンツ、車両の近くの実際のオブジェクトにオーバーレイされるナビゲーションもしくは情報コンテンツ、またはそれらの何らかの組み合わせを含んでもよい。いくつかの実施形態では、これらのホログラフィックオブジェクトは、ホログラフィックヘッドアップディスプレイの一部として提示され得る。
図8は、1つ以上の実施形態による、拡張された窓を含むLFディスプレイシステムで拡張された車両の内部の斜視図800である。図示の実施形態では、車両は自動車である。他の実施形態では、車両は、人、商品、センサ機器、および/または武器を輸送するために使用される何らかの他のタイプの機械である。車両は、例えば、自動車、飛行機、ドローン、無人航空機、戦車、ボート、潜水艦、輸送に使用される何らかの他の機械、またはそれらの何らかの組み合わせであり得る。いくつかの実施形態では、車両は車両600である。LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。
図示の実施形態では、LFディスプレイシステムは、拡張された窓810、拡張された窓820、および拡張された側窓830を含む。他の実施形態では、LFディスプレイシステムは、より多くの、またはより少ない拡張された窓を含み得る。拡張された窓は、少なくともいくつかのLFディスプレイモジュールを含み、車両の内側から車両の外側のビューを表示し、それらのビューを修正する、または他のコンテンツをそれらのビューに重ね合わせることができる窓である。一例として、これは、ナビゲーション、娯楽、または環境制御の目的で行うことができる。拡張された窓は、1つ以上の2Dまたはライトフィールドカメラによってキャプチャされた外側のビューを、運転者のはるか前に投影された2Dまたは3Dナビゲーションエイドでオーバーレイされてもよく、その結果、運転者はナビゲーションエイドに誘導されている間、コンソールに繰り返し焦点を合わせる必要がない。別の実施形態では、拡張された窓は、搭乗者にホログラフィックオブジェクトを示して、それらに観光客の特徴を示すことができる。そして、拡張された窓は、環境制御のために、快適なレベルの光を達成するために窓に色を付けることができる。図示の実施形態では、LFディスプレイモジュール(図示せず)は、拡張された窓810、拡張された窓820、および拡張された窓830の各々にまたがる。他の実施形態では、拡張された窓の少なくとも1つのLFディスプレイモジュールは、拡張された窓の一部分を形成し、残りの部分の少なくとも一部は、可視光に対して透明な材料(例えば、強化ガラス)を含む。
車両の拡張された窓(例えば、810、820、および830)の一部またはすべてを形成するLFディスプレイモジュールは、何らかのプログラミングに従って、またはユーザ(例えば、運転者および/または搭乗者)からの命令に従って、可視光を動的に減衰させることによって、ティントを調整することができる場合がある。LFディスプレイモジュールは、車両の乗員の視聴者プロファイルに従って、拡張された窓の一部またはすべてに色を付けることができる。いくつかの実施形態では、減衰のレベルは、1つ以上の窓に対して異なる場合がある。例えば、図8に示されるように、拡張された窓820は、拡張された窓810および拡張された窓830よりも多くのティントを有する。
拡張された窓のLFディスプレイモジュールは、ホログラフィックコンテンツを提示する場合がある。例えば、図8では、拡張された窓810はホログラフィックコンテンツ840を提示し、拡張された窓820はホログラフィックコンテンツ850を提示する。ホログラフィックコンテンツ840および/またはホログラフィックコンテンツ850は、車両の外側からキャプチャされた画像または拡張されたキャプチャされた画像である1つ以上のホログラフィックオブジェクトを含むことができる。一実施形態では、ホログラフィックコンテンツ840は、ホログラフィックバックミラーとして機能する。この実施形態では、車両の後ろの局所エリアの画像をキャプチャするように位置決めされた1つ以上の2Dカメラがあり得、ホログラフィックコンテンツ840は、このビューを、運転者が車両を後進させているときに運転者の前に快適に投影される視聴面内の2D画像として示し得る。LFディスプレイシステムは、(車両の後ろの局所エリアの画像をキャプチャするように位置決めされた(例えば、1つ以上のLFディスプレイモジュール内の)1つ以上のカメラを含み得る。別の実施形態では、車両の後ろに位置決めされた1つ以上のライトフィールドカメラがあり得、ホログラフィックコンテンツ840は、このビューを運転者の前のホログラフィック画像として示し得る。画像は、拡張された窓810のホログラフィックオブジェクトボリューム内にレンダリングされる。したがって、画像は、実空間(例えば、拡張された窓810と車両の搭乗者との間)のホログラフィックオブジェクトの一部として、LFディスプレイモジュールの平面内のホログラフィックオブジェクトの一部として、拡張された窓810の平面の後ろの、かつ/またはそれを超えたホログラフィックオブジェクトの一部またはそれらの何らかの組み合わせとして、レンダリングされ得る。同様の方法で、ホログラフィックコンテンツ850をレンダリングすることができる。例えば、局所エリアの一部分のキャプチャされた画像は、820の前(例えば、拡張された窓820と車両の搭乗者との間)のホログラフィックオブジェクトの一部として、拡張された窓820を構成するLFディスプレイモジュールの平面内のホログラフィックオブジェクトの一部として、拡張された窓820の平面を超えたホログラフィックオブジェクトの一部またはそれらの何らかの組み合わせとして、レンダリングされ得る。
拡張された窓(およびより一般的には、一緒にタイル張りされたLFディスプレイモジュールおよび/または複数のLFディスプレイモジュール)が窓として機能することができることに留意されたい。これは、単にカメラからの画像を電子ディスプレイ上に表示することとは異なることに注意することが重要である。電子ディスプレイケースでは、提示される画像は静的であり、視聴者の場所に基づいて変化することはない。対照的に、拡張された窓の表示面の後ろに提示されるホログラフィックオブジェクトは、完全な視差をサポートし(例えば、物理光線と同一のホログラフィックオブジェクトの表面で光線束を再作成するなど)、その結果、ホログラフィックオブジェクトはホログラフィックオブジェクトに対する視聴者の位置に基づいて変化する。
図9は、1つ以上の実施形態による、拡張されたサンルーフ910を含むLFディスプレイシステムで拡張された車両の内部の斜視図900である。図示の実施形態では、車両は自動車である。他の実施形態では、車両は、人、商品、センサ機器、および/または武器を輸送するために使用される何らかの他のタイプの機械である。車両は、例えば、自動車、飛行機、ドローン、無人航空機、戦車、ボート、潜水艦、輸送に使用される何らかの他の機械、またはそれらの何らかの組み合わせであり得る。いくつかの実施形態では、車両は車両600である。LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。
図示の実施形態では、LFディスプレイシステムは、拡張されたサンルーフ910を含む。拡張されたサンルーフは、車両の内部の屋根に沿って位置する、図8を参照して上で説明されたような拡張された窓である。拡張サンルーフ910は、少なくともいくつかのLFディスプレイモジュール(例えば、LFディスプレイモジュール920)を含む窓である。図示の実施形態では、LFディスプレイモジュールは、(シームレスな表示面を形成するためにタイル状に)拡張されたサンルーフ910にまたがる。他の実施形態では、LFディスプレイモジュールは、拡張されたサンルーフ910の一部分を形成し、残りの部分の少なくとも一部は、可視光に対して透明な材料(例えば、強化ガラス)を含む。
拡張されたサンルーフ910は、車両のユーザ(例えば、搭乗者)にホログラフィックコンテンツを提示する。LFディスプレイシステムは、車両の上方の局所エリアの画像をキャプチャするように構成された(例えば、LFディスプレイモジュールの一部として、またはLFディスプレイモジュールの外部に)1つ以上のカメラを含み得る。LFディスプレイシステムを使用して、キャプチャされた画像に部分的に基づいて、拡張されたサンルーフ910によって提示されるホログラフィックコンテンツを生成し、かつ更新することができる。いくつかの実施形態では、拡張されたサンルーフ910は、車両の乗員のうちの少なくとも1人の視聴者プロファイルに従って、ホログラフィックコンテンツを提示する。
拡張サンルーフ910は、拡張サンルーフ910のホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを提示する。図9に示されるように、拡張されたサンルーフ910は、ホログラフィックオブジェクト930を提示しており、ホログラフィックオブジェクト930は、サメである。ホログラフィックオブジェクト930は、拡張されたサンルーフ910の表示面のホログラフィックオブジェクトボリューム内のどこにでも提示することができる。そして、例えば、図2Aに関して上で論じたように、ホログラフィックオブジェクトボリュームは、表示面とユーザとの間の領域、ならびに表示面の後ろの領域を含む。拡張されたサンルーフ910のビューイングボリューム内のユーザは、サメの異なるビューを見るために、ホログラフィックオブジェクト930に対して他の場所に移動することができる。さらに、異なる場所からサメを見ている異なるユーザは、サメの異なる視点を見るであろう。例えば、サメの左側のユーザにはサメの片側が見え、サメの右側のユーザにはサメの反対側が見えるであろう。いくつかの実施形態では、ホログラフィックオブジェクト930は、ホログラフィックオブジェクト930への遮るもののない(すなわち、オブジェクト/人によって遮られていない)視線を有する、拡張されたサンルーフ910のビューイングボリューム内のすべてのユーザに見える。これらのユーザは、異なる視点のホログラフィックオブジェクト930を見るために、ビューイングボリューム内を動き回ることができるように、制約されないでよい。したがって、LFディスプレイシステムは、複数の制約されないユーザが、あたかもホログラフィックオブジェクトが物理的に存在するかのごとく、実世界空間のホログラフィックオブジェクトを異なる視点で同時に見ることができるように、ホログラフィックオブジェクトを提示することができる。
いくつかの実施形態では、1つ以上のLFディスプレイシステムを使用して、ユーザがホログラフィックオブジェクト930にタッチすることができるように、ホログラフィックオブジェクト930の表面と一致する触覚表面を生成し、(2)提示されたホログラフィックオブジェクトに対応する音声コンテンツを提供することができる。ライトフィールドディスプレイアセンブリは、音響エミッタ、および体積触覚投影システムを含むデュアルエネルギー面を含み得、その結果、触覚表面が投影される。別の実施形態では、外部触覚投影システムを使用して、触覚表面を投影することができる。さらに、図7A、図7B、および図8と同様に、拡張されたサンルーフ910のLFディスプレイモジュールおよび/または他のLFディスプレイモジュールは、車両のユーザの動きを説明する追跡情報を生成するために、追跡システムの一部である1つ以上のカメラを含んでもよい。LFディスプレイシステムは、追跡情報を使用して、内部700内のホログラフィックコンテンツ(ホログラフィックオブジェクトを含む)に対する手のポーズおよび/または場所を監視することができる。例えば、ユーザは、それが物理的なサメであるかのようにホログラフィックオブジェクト930にタッチしようと試みる可能性がある。LFディスプレイシステムは、追跡情報を使用して、サメが視聴者によって「タッチされる」ときに、サメを動的に移動させるとともに、触覚表面の場所を動的に移動することができる。
LFディスプレイシステムは、追跡情報に部分的に基づいて、各ユーザに合わせてカスタマイズされた1つ以上のホログラフィックオブジェクトを提示することができる。このように、互いに少なくとも閾値距離(例えば、数フィート)にある視聴者は、完全に異なるホログラフィックコンテンツを見ることができる。例えば、LFディスプレイシステムは、視聴者の各々の位置(例えば、目の場所)および車両内の搭乗者の位置(例えば、目の場所)を追跡し、ホログラフィックオブジェクトが提示されるであろう場所に対する視聴者の追跡された位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を決定する。LFディスプレイシステムは、(例えば、拡張されたサンルーフ910の)LFディスプレイモジュールの特定のピクセルから光を追跡された目の位置に選択的に放出し、特定のピクセルは、決定された視点に対応する。したがって、異なる視聴者が、完全に異なるホログラフィックコンテンツを同時に提示され得る。例えば、拡張されたサンルーフ910および/または他のLFディスプレイモジュールは、搭乗者に宇宙関連のホログラフィックコンテンツを提示し、同時に異なる搭乗者に海関連のホログラフィックコンテンツを提示することができる。そして、いずれの搭乗者も、他方の搭乗者が提示されていたコンテンツを知覚できないであろう。別の例では、拡張されたサンルーフ910および/または他のLFディスプレイモジュールは、ホログラフィックコンテンツを搭乗者に提示することができるが、ホログラフィックコンテンツを運転者に提示しない(例えば、ホログラフィックオブジェクト930は、ある期間にわたって搭乗者に見えるが、同じ期間に運転者には表示されない)。LFディスプレイシステムはまた、乗員の追跡を必要とせずに、車両内の各座席位置に固有のコンテンツを単に提示することができる。別の実施形態では、各窓の外側に見える観光客の特徴を示すホログラフィックオブジェクトを、窓に最も近い座席の搭乗者に投影することができる。
拡張されたサンルーフ910は拡張された窓であり、窓として機能することができることに留意されたい。そして、図8に関して上で論じたように、これは、単にカメラからの画像を電子ディスプレイ上に提示することとは異なる。電子ディスプレイケースでは、提示される画像は静的であり、視聴者の場所に基づいて変化することはない。対照的に、拡張されたサンルーフ910の表示面の後ろに提示されるホログラフィックオブジェクトは、完全な視差をサポートし(例えば、物理光線と同一のホログラフィックオブジェクトの表面で光線束を再作成するなど)、その結果、ホログラフィックオブジェクトはホログラフィックオブジェクトに対する視聴者の位置に基づいて変化する。
図10は、1つ以上の実施形態による、死角を軽減するためにLFディスプレイシステムで拡張された車両1010の斜視図1000である。図示の実施形態では、車両1010は自動車である。他の実施形態では、車両1010は、人、商品、センサ機器、および/または武器を輸送するために使用される何らかの他のタイプの機械である。車両1010は、例えば、自動車、飛行機、無人機、無人航空機、戦車、ボート、潜水艦、輸送に使用される他の何らかの機械、またはそれらの何らかの組み合わせであり得る。LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。
図示の実施形態では、LFディスプレイシステムは、(例えば、図6A~図6Bに関して上記で説明したように)車両1010の外面の一部分の一部である複数のカメラ、および(例えば、図7A~図7Bに関して上記で説明したように)車両1010の内面の一部であるLFディスプレイモジュールを含む。図10では、すべてではないがいくつかのカメラが見える(例えば、カメラ105A~G)。さらに、いくつかの実施形態では、より多くの、またはより少ないカメラを使用することができる(例えば、場合によっては、単一のカメラが存在する)。好ましくは、カメラは一緒に、車両のすべての側を取り囲む視野を有し、また、車両1010の上方および/または下方の局所エリアの部分を含み得る。図示のように、車両1010の外面に沿ったLFディスプレイモジュールはない。いくつかの実施形態(図示せず)では、カメラは、車両1010の外部に沿ったLFディスプレイモジュールの一部である。そして、LFディスプレイモジュールは、車両1010の外面の一部またはすべてにわたってシームレスな表示面を形成するようにタイル張りされ得る。さらに、車両1010の内部は、車両1010の内面の一部またはすべてにわたってシームレスな表示面を形成するようにタイル張りされ得る複数のLFディスプレイモジュールを含む。
車両1010は、車両1010を取り巻く局所エリアの画像をキャプチャするカメラを含む。LFディスプレイシステムは、キャプチャされた画像を使用して、ホログラフィックコンテンツを生成し、ホログラフィックコンテンツは次いで、車両1010の内部に沿ったLFディスプレイモジュールを使用して、車両1010の運転者1020に提示される。車両の内部に沿ったLFディスプレイモジュールは、キャプチャされた画像に対応するホログラフィックコンテンツを提示する。LFディスプレイシステムは、運転者1020と死角との間の車両の少なくとも一部分が透明に見えるように、生成されたホログラフィックコンテンツを運転者1020に提示する。例えば、キャプチャされた画像が、図示のように犬であるオブジェクト1030を含む場合、ホログラフィックコンテンツは、オブジェクト1030が位置する場所に位置し、オブジェクト1030とともに移動するホログラフィックオブジェクトを含む。さらに、ホログラフィックオブジェクトは、犬または何らかの他のオブジェクトとして現れるようにレンダリングされ得る(例えば、犬が赤く点滅してオーバーレイされ、死角にあるオブジェクト1030を運転者1020に警告する)。ホログラフィックコンテンツは、車両の外側のキャプチャされたカメラがライトフィールドカメラである場合はホログラフィックシーン、または、車両の外側のキャプチャされたカメラがライトフィールドカメラでない場合は運転者から離れた場所に投影されたシーンの2Dビューになり得る。外側のビューは、点滅する赤いアラート、点滅するライト、または任意の他のインジケータで拡張され得る。
このようにして、LFシステムは、運転者1020、および潜在的に他の搭乗者の視野も大幅に広げるLFディスプレイシステムは、運転者1020(および/または搭乗者)の視点から車両1010の一部またはすべてを実質的に透明に回転させることによって視野を広げる。これにより、LFディスプレイシステムは、運転者1020および/または他の搭乗者に対して、可視光に対して透明ではない車両の部分を通して「見る」体験を提供する。これは、単に画面上に表示することとは異なることに注意されたい。ホログラフィックコンテンツは、対応する物理オブジェクトと同じ深度で現れるように表示される(例えば、ユーザが窓をのぞき、窓の反対側にあるオブジェクトを見るのと同じように)。例えば、オブジェクト1030は、運転者1020の死角に位置する。死角は、運転者1020がフロントガラス1040および/または車両1010の他の窓を通して見たときに、運転者1020の視野の外側にある場所である。上記のように、LFディスプレイシステムは、視野がオブジェクト1030への拡張された視線を含むように、運転者1020の視野を拡大する。同様の方法で、運転者1020は、周りを見回して、他の死角に対応するホログラフィックコンテンツを見ることができる。これにより、LFディスプレイシステムがホログラフィックコンテンツを運転者1020に提示し、局所エリア内のオブジェクトを見るために車両1010を「通して」見ることをシミュレートするため、バックアップカメラなどの必要性が軽減される。
いくつかの実施形態では、LFディスプレイシステムは、車両1010が車両1010を取り巻く局所エリア内のオブジェクトに対してどこにあるかを運転者1020が知るのを支援するために、車両1010の本体の一部またはすべてのワイヤフレームをオーバーレイすることができる。
キャプチャされた画像は、車両1010を取り巻く局所エリアの一部またはすべての画像を含み得る。いくつかの実施形態では、LFディスプレイシステムは、局所エリアのキャプチャされた画像を使用して、ホログラフィックコンテンツを生成し、ホログラフィックコンテンツは次いで、車両1010の外部に沿ったLFディスプレイモジュールを使用して、車両1010の外部の視聴者(例えば、視聴者1050)に提示される。例えば、LFディスプレイシステムは、視聴者1050が自動車を通してオブジェクト1030を見ることができるように、自動車を透明に見せることができる。例えば、LFディスプレイシステムは、オブジェクト1030を含む局所エリアの一部分のキャプチャされた画像に基づいて、車両1010の第1の側に沿ったLFディスプレイモジュールのビューイングボリューム内の視聴者1050のレンダリング視点を決定することができる。LFディスプレイシステムは、決定されたレンダリング視点に部分的に基づいて、ホログラフィックコンテンツを生成する。LFディスプレイシステムは、車両の少なくとも一部分が透明に見えるように、生成されたホログラフィックコンテンツを視聴者1040に提示する。
図11は、1つ以上の実施形態による、透過型反射器1110を使用して、ライトフィールドディスプレイ1105によって投影されたホログラフィックオブジェクトボリュームを中継する例示的なシステム1100を示す。
いくつかの実施形態では、透過型反射器1110は、二面コーナー反射器アレイ(DCRA)である。DCRAは、複数の二面コーナー反射器から構成される光学撮像要素である。いくつかの実施形態では、DCRAは、面が互いに直交するように配向された、間隔の狭い平行なミラー面の2つの薄い層を使用して形成される。他の実施形態では、透過型反射器1110は、コーナー反射器マイクロミラーのアレイである。
透過型反射器の機能は、ビームスプリッタおよび再帰反射器を使用して達成できる。ビームスプリッタは、図11の透過型反射器1110と同様の配向で設置され、再帰反射器は、再帰反射器の面がスクリーン平面1125に垂直になるように、図11の透過型反射器1110の左側に配置される。この構成では、ビームスプリッタは、ライトフィールドディスプレイ1105からの発散光線の一部を再帰反射器に向けて反射し、再帰反射器は、各光線を反対方向に反射し、それらを収束させて、ビームスプリッタの視聴者側にホログラフィックオブジェクトを形成する。再帰反射器の例は、微細構造で作ることができるコーナーキューブ再帰反射器アレイである。
ライトフィールドディスプレイ1105は、スクリーン平面1125の視聴者側1120にスクリーン外ホログラフィックオブジェクト1115を投影し、スクリーン平面1125のディスプレイ側1135にスクリーン内ホログラフィックオブジェクト1130を投影する。ホログラフィックオブジェクト1115の表面に収束する投影された光線1140、および画面内ホログラフィックオブジェクト1130に収束する投影された光線1145(仮想光線1150を参照)はすべて、透過型反射器1110に近づくにつれて発散する。入射光線1140は、透過型反射器1110を通過し、反射を受け、光線1155として出て、収束して、中継されたホログラフィックオブジェクト1160を形成する。同様に、入射光線1145は、透過型反射器1110内で反射され、収束光線1165として出現し、中継されたホログラフィックオブジェクト1170を形成する。
その効果は、スクリーン平面1125を中心とするホログラフィックオブジェクトボリュームが、仮想表示面1175を中心とするように中継されたということである。
ホログラフィックオブジェクトボリュームが中継された後、ホログラフィックオブジェクト1115よりも視聴者1180から離れていたホログラフィックオブジェクト1130が、今や視聴者により近いことに留意されたい。ホログラフィックオブジェクト1115と透過型反射器1110との間の垂直距離(D1)は、中継されたホログラフィックオブジェクト1160と透過型反射器1110との間の水平距離D1と同じである。同様に、ホログラフィックオブジェクト1130と透過型反射器1110との間の垂直距離D2は、中継されたホログラフィックオブジェクト1170と透過型反射器1110との間の水平距離と同じである。視聴者1180は、ホログラフィックオブジェクト1170がホログラフィックオブジェクト1160のわずかに前の空間に浮かんでいるのを見る。しかしながら、角度ライトフィールド座標UVは、透過型反射器1110を透過し、視聴者1180によって観察されるホログラフィックオブジェクトについては反転される。その結果、いくつかの画像やシーンでは深度が反転されるように見える。これを補正するために、一実施形態では、ライトフィールドディスプレイ1105によって投影されるライトフィールド光線は、補正光学系によってそれらのUV極性が反転される。別の実施形態では、ライトフィールドレンダリングは、ライトフィールドディスプレイ1105によって表示される前に、UV座標の極性を反転させるステップを含む。ホログラフィックオブジェクトボリュームを中継するこの技術は、ホログラフィックオブジェクトボリュームをその乗員に近づけるために車両で使用することができる。ホログラフィックオブジェクトボリュームリレーは、1つ以上のミラーを使用して、リレーに必要な光路長が限られた物理的スペースで達成される折り畳まれた光学システムを作成するなど、他の技術と組み合わせることができる。
図12は、1つ以上の実施形態による、車両1205内の乗員の視野の重なりを示す。LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。いくつかの実施形態では、図12のLFディスプレイシステムは、図11の構成システム1100を使用して、ホログラフィックオブジェクトを中継して、その結果、それらは車両の1人以上の乗員のより近くに現れる。他の実施形態では、ホログラフィックオブジェクトボリュームリレーは使用されない。
車両1205は、乗員位置1210、1215、1220、1225、および1230を含む。乗員位置1210、1215、1220、1225、および1230は、乗員が一般的に占有する車両1205内の位置である。例えば、乗員位置1210は、車両1205の運転席に座っている乗員の位置に対応し、乗員位置1215は、車両1205の助手席に座っている乗員の位置に対応し、乗員位置1220、1225、1230は、車両1205の後部座席に座っている乗員の異なる位置に対応する。いくつかの実施形態では、乗員位置1210、1215、1220、1225、および1230は固定されている。他の実施形態では、LFディスプレイシステムは、1人以上の乗員の実際の物理的位置を追跡することができる。LFディスプレイシステムは、乗員の追跡された物理的位置に一致するように、複数の乗員のそれぞれの乗員位置を動的に更新することができる。
図示の実施形態では、乗員位置1210および1215は、LFディスプレイシステムの表示面1235により近い。各乗員位置1210、1215、1220、1225、および1230は、表示画面1235に対して独自の視野を有する。図12では、各視野は破線で示され、それぞれのホログラフィックオブジェクトボリュームおよびそれぞれのビューイングボリュームを含む。視野は、車両1205内で重なり合って、領域1240、領域1245、領域1250、および領域1255を形成する。領域1240は、領域1240内に提示されたホログラフィックオブジェクトが各乗員位置1210、1215、1220、1225、および1230から見えるように、乗員位置1210、1215、1220、1225、および1230の各々の視野が重なるボリュームである。領域1245は、領域1245内に提示されたホログラフィックオブジェクト1246が乗員位置1220、1225、および1230から見えるが、乗員位置1210および1215からは見えないように、乗員位置1220、1225、および1230の視野が重なるボリュームである。領域1250は、領域1250内に提示されたホログラフィックオブジェクト1251が乗員位置1210からは見えるが、乗員位置1215、1220、1225、および1230からは見えないボリュームである。領域1255は、領域1255内に提示されたホログラフィックオブジェクト1256が乗員位置1215からは見えるが、乗員位置1210、1220、1225、および1230からは見えないボリュームである。
車両1205はまた、2Dディスプレイ1236を含み得る。2Dディスプレイ1236は任意である。2Dディスプレイ1236は、可視光に対して少なくとも部分的に透明である。2Dディスプレイ1236は、例えば、OLED、LCD、少なくとも部分的に透明である何らかの他のディスプレイ、またはそれらの何らかの組み合わせであり得る。2Dディスプレイ1236は、ライトフィールド表示面1235の前に、表示面1235から投影された光線の光路に直接配置され得る。ライトフィールドディスプレイが動作中であり、ホログラフィックオブジェクトをその透明な表面を通して直接投影している間、2Dディスプレイ1236はオフのままであり得、ほとんど見えないままである。ライトフィールドディスプレイシステム500がオフにされるとき、この2Dディスプレイ1236は、車両構成および制御、セキュリティアクセス、緊急使用などを含む様々な目的のために使用され得る。
LFディスプレイシステムは、それぞれのビューイングボリュームが、乗員位置1210、1215、1220、1225、および1230のうちの1つ以上の少なくとも一部分に関連付けられるように構成され得る。このようにして、LFディスプレイシステムは、ホログラフィックオブジェクトを車両1205の1人以上の乗員に選択的に提示することができる。例えば、LFディスプレイは、1つ以上のホログラフィックオブジェクトが、乗員位置1210、1215、1220、1225、および1230のすべてから見えるように、領域1240内に1つ以上のホログラフィックオブジェクトを提示することができる。同様に、LFディスプレイシステムは、1つ以上のホログラフィックオブジェクトが乗員位置1220、1225、および1230から見えるが、乗員位置1210および1220からは見えないように、領域1245内に1つ以上のホログラフィックオブジェクト1246を提示することができる。そして、別の例では、LFディスプレイシステムは、1つ以上のホログラフィックオブジェクトが乗員位置1210から見えるが、車両1205の他の乗員位置からは見えないように、領域1250内に1つ以上のホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト1251)を提示することができる。同様に、LFディスプレイシステムは、1つ以上のホログラフィックオブジェクトが乗員位置1215から見えるが、車両1205の他の乗員位置からは見えないように、領域1255内に1つ以上のホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト1256)を提示することができる。
いくつかの実施形態では、LFディスプレイシステムはまた、図11に示される透過型反射器1110を使用して仮想表示面1260を生成することができる。透過型反射器は図11には示されていないが、表示面1235の上方に配置され、ホログラフィックオブジェクトボリュームを中継して表示面からオフセットされ、仮想表示面1260の中心に配置されるように機能することができる。仮想表示面1260は、図11に関して上記で説明した仮想表示面1175と同様である。この構成では、ディスプレイと車両乗員との間に仮想表示面1260があり、ホログラフィックオブジェクトは、車両1205の1人以上の乗員位置のより近くに現れる。図示の実施形態では、仮想表示面1260は、領域1224、1250、および1255のうちの1つ以上に提示され得るが、仮想表示面1260は、領域1240には提示されない(同様に、表示面1235の後ろにあるホログラフィックビューイングボリュームの一部ではない)。
車両乗員のより高い視野を達成するために、表示面から投影される光線を調整することが有利な場合がある。図13Aは、1つ以上の実施形態による、実質的に均一な投影方向を有するライトフィールドディスプレイの例示的な図を示す。表示面1305は、複数の表面場所を含み、表面場所の各々は、表示面場所の光軸と称する中心の光投影経路の周りに実質的に立体角でグループ化された多くの別個の光投影経路(または光線)を放出する。各光線群は、そのような光軸を中心とし、この光軸は、表示面の所与の場所で表示面を離れる光線の束の伝播方向を定義する。光軸は、水平方向と垂直方向の両方で表示面から投影される光線の角度範囲のおおよその中点と一致し、したがって中心光線の伝播方向を定義し得るため、対称線である。したがって、表示面上の位置の光軸は、多くの場合、その位置で表示面を離れるすべての光線の平均エネルギーベクトルと実質的に整列している。表示面1305から投影される光線のすべての群の光軸が平行である場合、実質的に均一な投影方向が生じる。
図示の実施形態では、各光軸は、表示面1305の法線に平行である。他の実施形態では、各光軸は、(例えば、それらがすべて特定の方向に傾斜するように)法線に対してそれぞれの角度であり得る。そして、図13Bに関して以下で論じられるように、いくつかの実施形態では、異なる光群の光軸は、表示面1305の法線に対して異なる角度にあり得る。表示面1305は、乗員座席1315の乗員位置1310と乗員席1325の乗員位置1320との間に位置する。表示面1305は、図12の1260と同様の仮想表示面であり得る。表示面1305は、複数の光線群、例えば、光線群1330、光線群1335、および光線群1340を放出する。光線群1330、1335、および1340は、表示面1305によって、表示面上の3つの異なる場所に投影され、光線群1330、1335、および1340の各々は、光軸を有し、これらはまとめて、光軸1345と呼ばれる。
図示の実施形態では、すべての光軸1345は、その表示面1305上のすべての位置について、表示面1305に実質的に垂直である。光線1330の群からの光線は乗員位置1310に到達しないが、光線1340の群からの光線は乗員位置1320に到達しないことに留意されたい。これは、どちらの乗員位置も、表示面1305のビューイングボリューム内にないことを意味する(すなわち、乗員は、ディスプレイの垂直端を彼らから最も遠くに見ることができない)。これは、表示面1305上の各場所から投影される光線の群に偏向を導入することによって修正することができる。光軸におけるこの偏向は、ディスプレイの視聴者、またはこの場合は車両の乗員の所与の座席配置のためにビューイングボリュームを最適化するために、表示面上の異なる点で異なる大きさおよび方向で適用され得る。
図13Bは、1つ以上の実施形態による、可変投影方向を有するライトフィールドディスプレイの例示的な図を示す。図13Bでは、表示面上の各場所に投影された光線の各群は、光軸が常に表示面1305に垂直であるとは限らないように偏向される。表示面1305は、複数の光線群、例えば、光線群1345、光線群1350、および光線群1355を放出する。光線群1345、1350、および1355は、表示面1305によって、表示面上の3つの異なる場所に投影され、光線群1345、1350、および1355は、それぞれ、光軸1360、1365、および1370を有する。
ディスプレイの垂直縁から来て、それぞれ光軸1360および1370で中心光線によって定義される光線1345および1355の群は、光軸が1360および1365は、表示面の法線に対して実質的な偏向角を有するように、水平方向にディスプレイの中心に向かって投影される。したがって、複数の表面場所は、表示面の法線に対して第1の角度で傾斜している光軸を有する表面場所の第1のサブセットを含む。例えば、光軸1360は、表示面1305の法線1380に対して非ゼロ角度1375をなす(すなわち、光線群1345に関連付けられた表面場所は、光軸1360が法線1380に対して角度1375で傾斜するようなものである)。対照的に、光線1350の群の光軸1365は、法線1380に実質的に平行である。図13Bのこの構成では、光線群1345からの一部の光線は乗員位置1310に到達し、光線群1355からの光線の一部は乗員位置1320に到達することに留意されたい。その結果、乗員位置1310および1320の乗員は、表示面1305のビューイングボリューム内にあり、表示面1305の法線からの光軸の偏向角がない図13Aの場合とは対照的に、表示面1305全体を見ることができる。図13Bに示される偏向角は、ディスプレイの中心でのゼロの値から、ディスプレイを横切ってディスプレイの縁のうちの1つまで水平に移動するときに実質的に非ゼロ値まで徐々に変化し得る水平偏向角である。他の実施形態では、1つまたはいくつかの個別の偏向角のみが、表示面を横切って使用され得る。偏向角の異なる構成を使用して、所望のビューイングボリューム形状に対してライトフィールドディスプレイを最適化することができる。さらに、図示の実施形態は、水平軸に沿った(すなわち、x軸に平行な)放出場所の関数としての偏向の変化を示している。いくつかの実施形態では、偏向角はまた、垂直軸に沿った(すなわち、y軸に平行な)放出場所の関数として変化し得る。例えば、光線群の放出場所が垂直に移動すると、それに対応する偏向角が変化して、光を放出場所から乗員位置1310に向けるのを助けることができる。
一実施形態では、偏向角は、電磁エネルギー面から伝搬経路にエネルギーを投影する導波路の詳細な構造によって達成することができる。他の実施形態では、ライトフィールド表示面上に配置された光学層は、ライトフィールド表示面を離れると、投影された光線を偏向させる。様々な実施形態において、光学層は、様々な特性を有するプリズム、様々な屈折率または鏡面層を有するガラスの層、薄膜、回折格子などを含む屈折光学の層を含み得る。光学層は、特定の予想される視聴者の形状に合わせて最適化できるため、比較的低コストでビューイングボリュームをカスタマイズできる。
追加の構成情報
本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。
本明細書のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号表現の観点から、本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の当業者によって、自らの作業の本質を他の当業者に効果的に伝えるために一般的に使用される。これらの操作は、機能的、計算的、または論理的に説明される一方、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、これらの操作の配置を、一般性を損なうことなく、モジュールと呼ぶことが場合によっては好都合であることも判明している。説明された操作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせにおいて具現化され得る。
本明細書に記載の工程、操作、またはプロセスのうちのいずれかが、1つ以上のハードウェアまたはソフトウェアモジュールを使用して、単独で、または他のデバイスと組み合わせて、実行または実装され得る。一実施形態では、ソフトウェアモジュールは、説明された工程、操作、またはプロセスのうちのいずれかまたはすべてを実行するために、コンピュータプロセッサによって実行され得るコンピュータ・プログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。
本開示の実施形態はまた、本明細書の操作を実行するための装置に関し得る。この装置は、要求された目的のために特別に構築され得、および/または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するために好適な任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。
本開示の実施形態はまた、本明細書に記載のコンピューティングプロセスによって生み出される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報であって、その情報が非一時的な有形のコンピュータ可読記憶媒体に記憶される、情報を含み得、また本明細書に記載のコンピュータプログラム製品または他のデータの組み合わせの任意の実施形態を含み得る。
最後に、本明細書で使用される言語は、主に読み易さおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。したがって、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。