JP2022553613A - モバイルデバイスのライトフィールドディスプレイ - Google Patents

モバイルデバイスのライトフィールドディスプレイ Download PDF

Info

Publication number
JP2022553613A
JP2022553613A JP2022513658A JP2022513658A JP2022553613A JP 2022553613 A JP2022553613 A JP 2022553613A JP 2022513658 A JP2022513658 A JP 2022513658A JP 2022513658 A JP2022513658 A JP 2022513658A JP 2022553613 A JP2022553613 A JP 2022553613A
Authority
JP
Japan
Prior art keywords
holographic
user
mobile device
display
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022513658A
Other languages
English (en)
Inventor
カラフィン、ジョナサン、シーン
エルウッド ベヴェンシー、ブレンダン
Original Assignee
ライト フィールド ラボ、インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライト フィールド ラボ、インコーポレイテッド filed Critical ライト フィールド ラボ、インコーポレイテッド
Publication of JP2022553613A publication Critical patent/JP2022553613A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H3/00—Holographic processes or apparatus using ultrasonic, sonic or infrasonic waves for obtaining holograms; Processes or apparatus for obtaining an optical image from them
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/33—User authentication using certificates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Holo Graphy (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ライトフィールド[A1]ディスプレイシステムは、ユーザに、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するために、モバイルデバイスに実装され、ユーザに没入型の操作体験を提供する。このシステムは、ホログラフィックコンテンツを生成し、ユーザに提示する。一実施形態では、このシステムは、ユーザからコマンドを受け取る。いくつかの実施形態では、提示されたホログラフィックコンテンツは、モバイルデバイスのユーザからコマンドを受信するためにシステムによって使用されるホログラフィックユーザインターフェースを含み得る。続いて、システムは、受信したコマンドを認識し、システムによって実行するための１つ以上の計算コマンドを決定し、決定された計算コマンドを実行する。【選択図】図１

Description

関連出願の相互参照
この出願は、国際出願番号ＰＣＴ／ＵＳ２０１７／０４２２７５に関連しており、ＰＣＴ／ＵＳ２０１７／０４２２７６、ＰＣＴ／ＵＳ２０１７／０４２４１８、ＰＣＴ／ＵＳ２０１７／０４２４５２、ＰＣＴ／ＵＳ２０１７／０４２４６２、ＰＣＴ／ＵＳ２０１７／０４２４６６、ＰＣＴ／ＵＳ２０１７／０４２４６７、ＰＣＴ／ＵＳ２０１７／０４２４６８、ＰＣＴ／ＵＳ２０１７／０４２４６９、ＰＣＴ／ＵＳ２０１７／０４２４１４、およびＰＣＴ／ＵＳ２０１７／０４２６７９、これらはすべて参照により、その全体が本明細書に組み込まれる。
本開示は、スマートフォンおよびタブレットなどのモバイルデバイス、特にモバイルデバイスのライトフィールドディスプレイに関する。
モバイルデバイスは一般的にコンテンツの表示とユーザインターフェースを二次元（２Ｄ）ビジュアルディスプレイに依存している。テキスト、画像、ビデオなどの二次元コンテンツを表示することに加えて、モバイルデバイスの２Ｄビジュアルディスプレイは、モバイルデバイスがユーザに提示する様々な機能を表示するためのインタラクティブなインターフェースを提供し、ユーザが所望の機能を選択して構成できるように設計されている。モバイルデバイスの双方向性は、ボタン、キーボード、２Ｄビジュアルディスプレイのタッチインターフェースなどの物理要素を使用して提供される。ただし、２Ｄビジュアルディスプレイのサイズは、ディスプレイがモバイルデバイスの表面に占めるフットプリントに制限される。その結果、ディスプレイコンテンツも２Ｄビジュアルディスプレイのサイズに制限され、モバイルデバイスユーザに提供される双方向性と視聴体験が制限される。特に、２Ｄビジュアルディスプレイは、ユーザに没入型の操作体験を提供する機会が限られる。
記載の実施形態は、モバイルデバイスを使用中のユーザに没入型の操作体験を提供する、モバイルデバイスのライトフィールドディスプレイシステムを含む技術に関する。
モバイルデバイスのライトフィールド（ＬＦ）ディスプレイシステムは、モバイルデバイスのユーザが見るホログラフィックコンテンツを生成する。生成されたホログラフィックコンテンツは、モバイルデバイスのユーザに対して表示されるホログラフィックユーザインターフェースであり得る。ライトフィールドディスプレイシステムは、ユーザからコマンドを受け取る場合がある。ＬＦディスプレイシステムは、受信したユーザコマンドに基づいて計算コマンドを決定し、決定した計算コマンドを適切に実行する。いくつかの実施形態では、ホログラフィックコンテンツは、生成されたホログラフィックコンテンツ上の触覚表面で拡張される。触覚表面は、ユーザに触覚を提供し得る。
いくつかの実施形態では、モバイルデバイスは、ホログラフィックコンテンツを生成するように構成されたコントローラ、ＬＦディスプレイアセンブリ、およびコマンドインターフェースを含むＬＦディスプレイシステムを備える。ＬＦディスプレイアセンブリは、１つ以上のＬＦディスプレイモジュールのビューイングボリューム内に位置するモバイルデバイスの１人または複数のユーザに対してホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを提示するように構成された１つ以上のＬＦディスプレイモジュールを備える。
いくつかの実施形態では、ＬＦディスプレイシステムは、追跡システムおよび／または視聴者プロファイリングモジュールを含む。追跡システムおよび視聴者プロファイリングモジュールは、モバイルデバイスのユーザの特徴、ユーザを説明するユーザプロファイル、および／またはモバイルデバイスの操作中に提示されるホログラフィックコンテンツに対するユーザの応答を監視および格納することができる。監視または格納された情報のいずれかに基づいて表示用のホログラフィックコンテンツを作成することができる。
いくつかの実施形態では、モバイルデバイスのユーザはホログラフィックコンテンツとインタラクションすることができ、インタラクションは、ホログラフィックコンテンツ作成システムの入力の機能を果たすことができる。いくつかの実施形態では、モバイルデバイスのＬＦディスプレイシステムは、ホログラフィックコンテンツに加えて感覚刺激を生成し得る。例えば、いくつかの実施形態では、ＬＦディスプレイシステムのいくつかまたはすべては、１つ以上の超音波スピーカを含む。複数の超音波スピーカは、ホログラフィックコンテンツの少なくとも一部と一致する触覚表面を生成するように構成され得る。追跡システムは、（例えば、ＬＦディスプレイモジュールの画像センサおよび／またはいくつかの他のカメラによってキャプチャされた画像を介して）ユーザのホログラフィックオブジェクトとのインタラクションを追跡するように構成されている。そして、ＬＦディスプレイシステムは、インタラクションに基づいて、ホログラフィックコンテンツを提供するように構成されている。
１つ以上の実施形態による、ホログラフィックオブジェクトを提示するライトフィールドディスプレイモジュールの図である。
１つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
１つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
１つ以上の実施形態による、ライトフィールドディスプレイモジュールの斜視図である。
１つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むライトフィールドディスプレイモジュールの断面図である。
１つ以上の実施形態による、単一面シームレス表面環境を形成するために二次元にタイル張りされたライトフィールドディスプレイシステムの一部分の斜視図である。
１つ以上の実施形態による、多面シームレス表面環境におけるライトフィールドディスプレイシステムの一部分の斜視図である。
１つ以上の実施形態による、ウィング型構成の集合表面を有するライトフィールドディスプレイシステムの上面図である。
１つ以上の実施形態による、傾斜構成の集合表面を有するライトフィールドディスプレイシステムの側面図である。
１つ以上の実施形態による、デバイスのフロントパネルに集合表面を有するライトフィールドディスプレイシステムの上面図である。
１つ以上の実施形態による、ライトフィールドディスプレイシステムのブロック図である。
１つ以上の実施形態による、モバイルデバイスのライトフィールドディスプレイシステム用ネットワーク環境のブロック図である。
モバイルデバイスでライトフィールドディスプレイを使用する一実施形態の例のディスプレイである。
１つ以上の実施形態による、ライトフィールドディスプレイシステムを使用してモバイルデバイスとのインタラクションを可能にするための方法を示すフローチャートである。
ライトフィールド（ＬＦ）ディスプレイシステムは、モバイルデバイスユーザに、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するために、モバイルデバイスに実装される。「ユーザ」、「モバイルデバイスユーザ」、「デバイスユーザ」、および「視聴者」という用語は、本明細書では交換可能に使用される。「モバイルデバイス」および「デバイス」という用語も、本明細書では交換可能に使用され、それらは、携帯性およびコンパクト性のために設計されたハンドヘルド電子コンピューティングデバイスを指す。モバイルデバイスの例には、携帯電話、スマートフォン、ＰＤＡ、タブレット、電子書籍リーダー、ポータブルミュージックレイヤー、ポータブルコンピュータなどが含まれるが、これらに限定されない。
モバイルデバイスを使用中のユーザに没入型の操作体験を提供するために、モバイルデバイスのＬＦディスプレイシステムは、デバイスの機能と統合されている。モバイルデバイスの機能は、Ｗｅｂブラウザやソフトウェアクライアントアプリケーションプログラムなどのコンピュータプログラムモジュールを実行することで実現される。これにより、デバイスユーザはインターネットを閲覧し、メディアコンテンツを消費し、多様なソフトウェアアプリケーションを実行することができる。ＬＦディスプレイシステムは、ＬＦディスプレイシステムのビューイングボリューム内の視聴者に見えるであろう１つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するように構成されたＬＦディスプレイアセンブリを備える。ＬＦディスプレイシステムによって提示されるホログラフィックコンテンツは、デバイスの機能と統合されている。これにより、デバイスでソフトウェアアプリケーションを実行している間、デバイスユーザの没入型エクスペリエンスが向上する。ＬＦディスプレイシステムによって提示されるホログラフィックコンテンツはまた、他の感覚刺激（例えば、触覚、音響、温度、圧力、力、または嗅覚）によって拡張され得る。例えば、ＬＦディスプレイシステムの超音波エミッタは、体積触覚投影を作成する超音波圧力波を投影する場合がある。体積触覚投影は、投影されるホログラフィックオブジェクトの一部またはすべてに対応する触覚表面を提供する。ホログラフィックコンテンツは、追加のビジュアルコンテンツ（すなわち、２Ｄまたは３Ｄビジュアルコンテンツ）を含み得る。一体感のある体験を可能にするエネルギー源の調整は、複数のエネルギー源（すなわち、任意の時点で正しい触覚および感覚刺激を提供するホログラフィックオブジェクト）を使用した実装のＬＦシステムの一部である。例えば、ＬＦシステムは、ホログラフィックコンテンツおよび触覚表面の提示を調整するためのコントローラを含み得る。
いくつかの実施形態では、ＬＦディスプレイシステムは、少なくとも１つのタイプのエネルギーを投影し、同時に、ユーザに応答してインタラクティブな体験を作成するために少なくとも１つのタイプのエネルギーを感知することを可能にする要素を含み得る。感知されたエネルギーは、視聴者がホログラフィックコンテンツにどのように応答するかを記録するために使用される場合がある。例えば、ＬＦディスプレイシステムは、見るためのホログラフィックオブジェクトおよび触覚知覚のための超音波の両方を投影し、それと同時に、ユーザの追跡および他のシーン分析のための画像情報を記録する一方、ユーザによるタッチ応答を検出するために超音波を感知する。一例として、そのようなシステムは、視聴者によって仮想的に「タッチ」されると、タッチ刺激に従ってその「行動」を修正するホログラフィックオブジェクトを投影することができる。環境のエネルギー感知を実行するディスプレイシステムの構成要素は、表示面に統合され得るか、または超音波スピーカおよびカメラなどの撮像キャプチャデバイスなど、表示面とは別の専用のセンサであり得る。
ＬＦディスプレイシステムは、生成されたホログラフィックオブジェクトに基づいてモバイルデバイスで様々な体験を提供するように構築され得る。例えば一実施形態では、モバイルデバイス上のＬＦディスプレイシステムを実装して、地図表示アプリケーションを介して地形のホログラフィックビューをユーザに提示することができる。ＬＦディスプレイアセンブリは、単一面または多面シームレス表面環境を形成することができる。ホログラフィックコンテンツは、モバイルデバイスの画面自体などの物理的なオブジェクトを拡張または強化することができる例えば一実施形態では、デバイス上のＬＦディスプレイシステムを実装して、アプリケーションがデバイスにロードされていることを示すために、包み込む球などの３Ｄホログラフィック進行状況インジケータｇｉｆを提示することができる。さらに、ユーザは３Ｄメガネやその他のヘッドギアなどのアイウェアデバイスを必要とせずに、ホログラフィックコンテンツを自由に見ることができる。
いくつかの実施形態では、ＬＦディスプレイシステムは、追跡システムおよび／または感覚フィードバックシステムを介して入力を受信することができる。入力に基づいて、ＬＦディスプレイシステムは、ホログラフィックコンテンツを調整し、ならびに関連する構成要素にフィードバックを提供することができる。
ＬＦディスプレイシステムはまた、ＬＦディスプレイシステムのビューイングボリューム内のユーザの動きを追跡するためのシステムを組み込むことができる。ユーザの追跡された動きを使用して、モバイルデバイスを使用するユーザのエクスペリエンスを強化することができる。例えば、ＬＦディスプレイシステムは、追跡情報を使用して、ホログラフィックコンテンツとのユーザのインタラクション（例えば、ホログラフィックボタンを押すこと）を容易にすることができる。ＬＦディスプレイシステムは、追跡情報を使用して、ホログラフィックオブジェクトに対する指の位置を監視することができる。例えば、ホログラフィックオブジェクトは、視聴者が「押す」ことのできるボタンであり得る。ＬＦディスプレイシステムは、超音波エネルギーを投影して、ボタンに対応し、ボタンと実質的に同じ空間を占有する触覚表面を生成することができる。ＬＦディスプレイシステムは、追跡情報を使用して、ボタンが視聴者によって「押される」ときに、ボタンを動的に移動するとともに、触覚表面の位置を動的に移動することができる。ＬＦディスプレイシステムは、追跡情報を使用して、ユーザを見る、および／またはユーザとアイコンタクトする、もしくはユーザと他の方法で対話するホログラフィックキャラクタレンダリングすることができる。ＬＦディスプレイシステムは、追跡情報を使用して、ユーザに近接して投影されることによってユーザに「触れる」ホログラフィックオブジェクトをレンダリングすることができ、超音波スピーカは、ホログラフィックオブジェクトがユーザに触覚を生成する触覚表面を作成する。
さらに、ＬＦディスプレイシステムは、各デバイスユーザにパーソナライズされたコンテンツを提供するために、各ユーザを識別するためのユーザプロファイリングシステムを組み込み得る。ユーザプロファイリングシステムは、ホログラフィックコンテンツをパーソナライズするために、その後の使用時に取得可能なデバイスの使用に関する情報（例えば、見られたコンテンツのタイプ、移動された場所）をさらに記録することができる。
ライトフィールドディスプレイシステムの概要
図１は、１つ以上の実施形態による、ホログラフィックオブジェクト１２０を提示するライトフィールド（ＬＦ）ディスプレイモジュール１１０の図１００である。ＬＦディスプレイモジュール１１０は、ライトフィールド（ＬＦ）ディスプレイシステムの一部である。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュールを使用して、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。ＬＦディスプレイシステムは、１人以上の視聴者にホログラフィックコンテンツを提示することができる。いくつかの実施形態では、ＬＦディスプレイシステムはまた、他の感覚コンテンツ（例えば、タッチ、音声、匂い／嗅覚、圧力、力、または温度など）でホログラフィックコンテンツを拡張することができる。例えば、以下で考察されるように、集束超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートし得る中空触覚を生成することができる。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュール１１０を含んでおり、図２～図８に関して以下で詳細に考察される。
ＬＦディスプレイモジュール１１０は、ホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）を１人以上の視聴者（例えば、視聴者１４０）に提示するホログラフィックディスプレイである。ＬＦディスプレイモジュール１１０は、エネルギーデバイス層（例えば、発光電子ディスプレイまたは音響投影デバイス）と、エネルギー導波路層（例えば、光学レンズアレイ）と、を含む。追加的に、ＬＦディスプレイモジュール１１０は、複数のエネルギー源または検出器を一緒に組み合わせて単一の表面を形成するために、エネルギーリレー層を含み得る。高レベルでは、エネルギーデバイスは、エネルギー（例えば、ホログラフィックコンテンツ）を生成し、このエネルギーは次に、エネルギー導波路を使用して、１つ以上の四次元（４Ｄ）ライトフィールド関数に従って空間内の領域に指向される。ＬＦディスプレイモジュール１１０はまた、１つ以上のタイプのエネルギーの投影および／または感知を同時に行うことができる。例えば、ＬＦディスプレイモジュール１１０は、ホログラフィック画像ならびに超音波触覚表面をビューイングボリューム内に投影することができ得る一方、同時に、ビューイングボリュームからの画像データを検出する。ＬＦディスプレイモジュール１１０の操作は、図２～図３に関して以下で詳細に考察される。
ＬＦディスプレイモジュール１１０は、（例えば、プレノプティック関数から導出される）１つ以上の４Ｄライトフィールド関数を使用して、ホログラフィックオブジェクトボリューム１６０内にホログラフィックオブジェクトを生成する。ホログラフィックオブジェクトは、三次元（３Ｄ）、二次元（２Ｄ）、またはそれらの何らかの組み合わせであり得る。さらに、ホログラフィックオブジェクトは、多色（例えば、フルカラー）であり得る。ホログラフィックオブジェクトは、スクリーン平面の前、スクリーン平面の後ろに投影されるか、またはスクリーン平面によって分割されてもよい。ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクトボリューム１６０内のどこでも知覚されるように提示され得る。ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトは、視聴者１４０には、空間に浮かんでいるように見えることがある。
ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者１４０によって知覚され得るボリュームを表す。ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトがディスプレイエリア１５０の平面の前に提示され得るように、表示面１５０の表面の前に（すなわち、視聴者１４０に向かって）延在し得る。追加的に、ホログラフィックオブジェクトボリューム１６０は、ディスプレイエリア１５０の平面の後ろに（すなわち、視聴者１４０から離れる方向に）延在し得、ホログラフィックオブジェクトが、ディスプレイエリア１５０の平面の後ろにあるかのように提示されることを可能にする。言い換えれば、ホログラフィックオブジェクトボリューム１６０は、ディスプレイエリア１５０から発生し（例えば、投影され）、収束してホログラフィックオブジェクトを作成し得るすべての光線を含むことができる。ここで、光線は、表示面の前、表示面、または表示面の後ろにある点に収束し得る。より簡単に言えば、ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者によって知覚され得るすべてのボリュームを包含する。
ビューイングボリューム１３０は、ＬＦディスプレイシステムによってホログラフィックオブジェクトボリューム１６０内に提示されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）が完全に見える空間のボリュームである。ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム１６０内に提示され、実際のオブジェクトと区別できないように、ビューイングボリューム１３０内で見られ得る。ホログラフィックオブジェクトは、オブジェクトが物理的に存在した場合に、オブジェクトの表面から生成されるであろう光線と同じ光線を投影することによって形成される。
場合によっては、ホログラフィックオブジェクトボリューム１６０および対応するビューイングボリューム１３０は、単一の視聴者用に設計されるように、比較的小さくあり得る。他の実施形態では、例えば、図４Ａおよび図４Ｂに関して以下で詳細に説明するように、ＬＦディスプレイモジュールは、より大きなホログラフィックオブジェクトボリューム、および広範囲の視聴者（例えば、１人～数千人）を収容できる対応するビューイングボリュームを作成するために拡大および／またはタイル張りされ得る。本開示で提示されるＬＦディスプレイモジュールは、モジュールの全表面が、非アクティブまたはデッドスペースがなく、ベゼルを必要としないホログラフィック撮像光学系を含むように構築される。これらの実施形態では、ＬＦディスプレイモジュールは、撮像エリアがＬＦディスプレイモジュール間の継ぎ目をまたいで連続するようにタイル張りされ得、タイル張りされたモジュール間の接合ラインは、目の視力を使用して実質的に検出されない。特に、いくつかの構成では、表示面の一部は、本明細書では詳細に説明されていないが、ホログラフィック撮像光学系を含まないことがある。
ビューイングボリューム１３０の柔軟なサイズおよび／または形状は、視聴者がビューイングボリューム１３０内で拘束されないことを可能にする。例えば、視聴者１４０は、ビューイングボリューム１３０内の異なる位置に移動し、対応する視点からホログラフィックオブジェクト１２０の異なるビューを見ることができる。例示のための、図１を参照すると、視聴者１４０は、ホログラフィックオブジェクト１２０がイルカの真正面からのビューで見えるように、ホログラフィックオブジェクト１２０に対して第１の位置にある。視聴者１４０は、イルカの異なるビューを見るために、ホログラフィックオブジェクト１２０に対して他の場所に移動することができる。例えば、視聴者１４０は、視聴者１４０があたかも実際のイルカを見ていて、イルカの異なる側面を見るために、実際のイルカに対する視聴者の相対位置を変更するかのように、移動して、イルカの左側、イルカの右側などを見ることができる。いくつかの実施形態では、ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクト１２０への遮るもののない（すなわち、オブジェクト／人によって遮られていない）視線を有する、ビューイングボリューム１３０内のすべての視聴者に見える。これらの視聴者は、異なる視点のホログラフィックオブジェクト１２０を見るために、ビューイングボリューム内を動き回ることができるように、拘束されていなくてもよい。したがって、ＬＦディスプレイシステムは、ホログラフィックオブジェクトが物理的に存在するかのように、複数の拘束されていない視聴者が実世界空間における異なる視点のホログラフィックオブジェクトを同時に見ることができるようにホログラフィックオブジェクトを提示することができる。
対照的に、従来のディスプレイ（例えば、立体視、仮想現実、拡張現実、または複合現実）では、一般に、各視聴者は、コンテンツを見るために、何らかの外部デバイス（例えば、３Ｄメガネ、ニアアイディスプレイ、またはヘッドマウントディスプレイ）を着用する必要がある。追加的および／または代替的に、従来のディスプレイでは、視聴者が特定の視聴位置に（例えば、ディスプレイに対して固定された場所を有する椅子に）拘束される必要があり得る。例えば、立体視ディスプレイによって表示されるオブジェクトを見る場合、視聴者は常に、オブジェクトではなく表示面に焦点を合わせ、ディスプレイは常に、知覚されたオブジェクトの周りを動き回ろうとする視聴者に追随するオブジェクトの２つのビューのみを提示し、そのオブジェクトの知覚に歪みを引き起こす。しかしながら、ライトフィールドディスプレイでは、ＬＦディスプレイシステムによって提示されるホログラフィックオブジェクトの視聴者は、ホログラフィックオブジェクトを見るために、外部デバイスを着用する必要がない。ＬＦディスプレイシステムは、特別なアイウェア、眼鏡、またはヘッドマウントアクセサリを必要とせずに、物理的なオブジェクトが視聴者に見えるのとほぼ同じ方法でホログラフィックオブジェクトが視聴者に見えるように、ホログラフィックオブジェクトを表示する。さらに、視聴者は、ビューイングボリューム内の任意の場所からホログラフィックコンテンツを見ることができる。
特に、ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトの潜在的な場所は、ボリュームのサイズによって制限される。ホログラフィックオブジェクトボリューム１６０のサイズを大きくするために、ＬＦディスプレイモジュール１１０のディスプレイエリア１５０のサイズを大きくしてもよく、および／または複数のＬＦディスプレイモジュールを、個々のＬＦディスプレイモジュールのディスプレイエリアよりも大きい有効表示領域を持ったシームレスな表示面を形成するように一緒にタイル張りしてもよい。ＬＦディスプレイモジュールのタイル張りに関連するいくつかの実施形態が、図４Ａおよび図４Ｂに関して以下で考察される。図１に例示されるように、ディスプレイエリア１５０は矩形であり、ピラミッド形であるホログラフィックオブジェクトボリューム１６０をもたらす。他の実施形態では、ディスプレイエリアは、対応するビューイングボリュームの形状にも影響を与える何らかの他の形状（例えば、六角形）を有し得る。
さらに、上記の議論は、ＬＦディスプレイモジュール１１０と視聴者１４０との間にあるホログラフィックオブジェクトボリューム１６０の部分の内にホログラフィックオブジェクト１２０を提示することに焦点を合わせているが、ＬＦディスプレイモジュール１１０はさらに、ディスプレイエリア１５０の面の背後に現れるコンテンツを提示することができる。例えば、ＬＦディスプレイモジュール１１０は、表示されたホログラフィックオブジェクトの一部を出現させて、ディスプレイエリア１５０を、ホログラフィックオブジェクト１２０が飛び出している海の表面であるように見せることができる。表示されるコンテンツは、視聴者１４０が、表示された表面を通して水中にある海洋生物を見ることができるようなものであり得る。さらに、ＬＦディスプレイシステムは、表示面１５０の平面の後ろおよび前を含む、ホログラフィックオブジェクトボリューム１６０の周りをシームレスに移動するコンテンツを生成することができる。
図２Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール２１０の一部の断面２００である。ＬＦディスプレイモジュール２１０は、ＬＦディスプレイモジュール１１０であってもよい。他の実施形態では、ＬＦディスプレイモジュール２１０は、ディスプレイエリア１５０とは異なるディスプレイエリア形状を有する別のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーデバイス層２２０、エネルギーリレー層２３０、およびエネルギー導波路層２４０を含む。ＬＦディスプレイモジュール２１０のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーリレー層２３０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
本明細書に記載のディスプレイシステムは、実世界のオブジェクトを通常取り巻くエネルギーを複製するエネルギーの放出を提示する。ここで、放出されたエネルギーは、表示面上のすべての座標から特定の方向に指向される。言い換えれば、表示面上の様々な座標が、放出されたエネルギーの投影位置として機能する。表示面からの指向されたエネルギーは、多くのエネルギー線の収束を可能にし、それによって、ホログラフィックオブジェクトを作成することができる。例えば、可視光では、ＬＦディスプレイは、極めて多数の光線を投影してホログラフィックオブジェクトボリューム内の任意の点で収束させるため、それらの光線は、投影されているオブジェクトよりも遠くに位置する視聴者の視点からは、空間のこの領域に位置する実世界のオブジェクトの表面から来ているように見えるであろう。このように、ＬＦディスプレイは、視聴者の視点からは、そのようなオブジェクトの表面から出たような反射光線を生成している。視聴者の視点を、任意のホログラフィックオブジェクトに対して変更してもよいので、視聴者にはそのホログラフィックオブジェクトの別のビューが見える。
エネルギーデバイス層２２０は、１つ以上の電子ディスプレイ（例えば、ＯＬＥＤなどの発光ディスプレイ）と、本明細書に記載の１つ以上の他のエネルギー投影および／またはエネルギー受信デバイスと、を含む。１つ以上の電子ディスプレイは、（例えば、ＬＦディスプレイシステムのコントローラからの）表示命令に従ってコンテンツを表示するように構成される。１つ以上の電子ディスプレイは、各々が個別に制御される強度を有する複数のピクセルを含む。発光ＬＥＤおよびＯＬＥＤディスプレイなど、多くのタイプの商用ディスプレイがＬＦディスプレイ内で使用され得る。
エネルギーデバイス層２２０はまた、１つ以上の音響投影デバイスおよび／または１つ以上の音響受信デバイスを含むことができる。音響投影デバイスは、ホログラフィックオブジェクト２５０を補完する１つ以上の圧力波を生成する。生成される圧力波は、例えば、可聴、超音波、またはそれらの何らかの組み合わせであってもよい。超音波圧力波のアレイは、体積触覚のために（例えば、ホログラフィックオブジェクト２５０の表面において）使用され得る。可聴圧力波は、ホログラフィックオブジェクト２５０を補完し得る音声コンテンツ（例えば、没入型オーディオ）を提供するために使用される。例えば、ホログラフィックオブジェクト２５０がイルカであると仮定すると、１つ以上の音響投影デバイスを使用して、（１）視聴者がホログラフィックオブジェクト２５０にタッチすることができるように、イルカの表面と併置される触覚表面を生成し、（２）クリック音、さえずり、けたたましい鳴き声など、イルカが発生する音に対応する音声コンテンツを提供することができる。音響受信装置（例えば、マイクロフォンまたはマイクロフォンアレイ）は、ＬＦディスプレイモジュール２１０の局所領域内の超音波および／または可聴圧力波を監視するように構成され得る。
エネルギーデバイス層２２０はまた、１つ以上の画像センサを含むことができる。画像センサは、少なくとも可視光帯の光に敏感であり、場合によっては、他の帯域（例えば、赤外線）の光に敏感であってもよい。画像センサは、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）アレイ、電荷結合デバイス（ＣＣＤ）、光検出器のアレイ、光をキャプチャする何らかの他のセンサ、またはそれらの何らかの組み合わせであってもよい。ＬＦディスプレイシステムは、視聴者の場所標定追跡のために、１つ以上の画像センサによってキャプチャされたデータを使用することができる。
エネルギーリレー層２３０は、エネルギーデバイス層２２０とエネルギー導波路層２４０との間でエネルギー（例えば、電磁エネルギー、機械的圧力波など）を中継する。エネルギーリレー層２３０は、１つ以上のエネルギーリレー素子２６０を含む。各エネルギーリレー素子は、第１の表面２６５および第２の表面２７０を含み、２つの表面間でエネルギーを中継する。各エネルギーリレー素子の第１の表面２６５は、１つ以上のエネルギーデバイス（例えば、電子ディスプレイまたは音響投影デバイス）に結合され得る。エネルギーリレー素子は、例えば、ガラス、カーボン、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらのいくつかの組み合わせから構成され得る。追加的に、いくつかの実施形態では、エネルギーリレー素子は、第１の表面２６５と第２の表面２７０との間を通過するエネルギーの倍率（増加または減少）を調整することができる。リレーが倍率を提供する場合、リレーは、テーパーと呼ばれる、接着されたテーパーリレーのアレイの形態を採り得、テーパーの一端の面積は、反対側の端よりも実質的に大きくなり得る。テーパーの大きい方の端は、一緒に張り合わされて、シームレスなエネルギー面２７５を形成することができる。１つの利点は、複数のディスプレイのベゼルなど、複数のエネルギー源の機械的エンベロープを収容するために、各テーパーの複数の小さな端にスペースが作成されることである。この余分のスペースにより、各エネルギー源が、小さいテーパー表面内にエネルギーを指向するアクティブエリアを有し、大きいシームレスなエネルギー面に中継される状態で、エネルギー源を小さなテーパー側に並べて配置することが可能になる。テーパーリレーを使用する別の利点は、テーパーの大きい端によって形成される、組み合わされたシームレスなエネルギー面には、非結像デッドスペースがないことである。境界やベゼルが存在しないため、シームレスなエネルギー面を一緒にタイル張りして、目の視力によると実質的に継ぎ目のない、より大きな表面を形成することができる。
隣接するエネルギーリレー素子の第２の表面は、一緒になってエネルギー面２７５を形成する。いくつかの実施形態では、隣接するエネルギーリレー素子の縁間の分離は、例えば、２０／４０よりも優れた視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面２７５は、ビューイングボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。
いくつかの実施形態では、隣接するエネルギーリレー素子の第２の表面は、それらの間に継ぎ目が存在しないように、圧力、熱、および化学反応のうちの１つ以上を含み得る処理工程を用いて一緒に融合される。さらに、他の実施形態では、エネルギーリレー素子のアレイは、リレー材料の連続したブロックの片側を、各々がエネルギーを、小さなテーパー端部に取り付けられたエネルギーデバイスから、細分化されない大きなエリアを有する単一の結合された表面内に輸送するように構成される、小さなテーパー端部のアレイに成形することによって形成される。
いくつかの実施形態では、１つ以上のエネルギーリレー素子は、エネルギー局在化を示し、表面２６５および２７０に実質的に垂直な長手方向のエネルギー輸送効率は、垂直横断面内の輸送効率よりもはるかに高く、エネルギー波が表面２６５と表面２７０との間を伝播するとき、エネルギー密度はこの横断面内で高度に局在化される。このエネルギーの局在化により、画像などのエネルギー分布が、解像度の大きな損失なしに、これらの表面間で効率的に中継されることが可能になる。
エネルギー導波路層２４０は、エネルギー導波路層２４０内の導波路素子を使用して、エネルギーを、エネルギー面２７５上の位置（例えば、座標）から、表示面から外側のホログラフィックビューイングボリューム２８５内への特定の伝搬経路内に指向する。エネルギー伝搬経路は、少なくとも導波路に対するエネルギー面の座標位置によって決定される２つの角度寸法によって画定される。導波路は、空間２Ｄ座標に関連付けられる。これらの４つの座標が一緒になって、四次元（４Ｄ）エネルギーフィールドを形成する。一例として、電磁エネルギーの場合、エネルギー導波路層２４０内の導波路素子は、光をシームレスなエネルギー面２７５上の位置から、ビューイングボリューム２８５を通る異なる伝搬方向に沿って指向する。様々な例において、光は、４Ｄライトフィールド関数に従って指向されて、ホログラフィックオブジェクトボリューム２５５内にホログラフィックオブジェクト２５０を形成する。
エネルギー導波路層２４０内の各導波路素子は、例えば、１つ以上の要素で構成されるレンズレットであり得る。いくつかの構成では、レンズレットは、正レンズであり得る。正レンズは、球面、非球面、または自由形状の表面プロファイルを有し得る。追加的に、いくつかの実施形態では、導波路素子の一部またはすべては、１つ以上の追加の光学構成要素を含み得る。追加の光学構成要素は、例えば、バッフル、正レンズ、負レンズ、球面レンズ、非球面レンズ、自由形状レンズ、液晶レンズ、液体レンズ、屈折要素、回折要素、またはそれらの何らかの組み合わせなどのエネルギー抑制構造であり得る。いくつかの実施形態では、レンズレットおよび／または追加の光学構成要素のうちの少なくとも１つはまた、屈折力を動的に調整することができる。例えば、レンズレットは、液晶レンズまたは液体レンズであってもよい。表面プロファイルの動的調整、レンズレットおよび／または少なくとも１つの追加の光学構成要素は、導波路素子から投影される光の追加の方向制御を提供し得る。
例示的な例では、ＬＦディスプレイのホログラフィックオブジェクトボリューム２５５は、光線２５６および光線２５７によって形成される境界を有するが、他の光線によって形成され得る。ホログラフィックオブジェクトボリューム２５５は、エネルギー導波路層２４０の前（すなわち、視聴者２８０に向かって）およびその後ろ（すなわち、視聴者２８０から離れて）の両方に延在する連続したボリュームである。例示的な例では、光線２５６および光線２５７は、ＬＦディスプレイモジュール２１０の反対の縁から、ユーザによって知覚され得る表示面２７７の法線に対して最大の角度で投影されるが、これらは他の投影光線であり得る。これらの光線は、ディスプレイの視野を画定し、したがって、ホログラフィックビューイングボリューム２８５の境界を画定する。場合によっては、これらの光線は、ディスプレイ全体がケラレなしで観察され得るホログラフィックビューイングボリューム（例えば、理想的なビューイングボリューム）を画定する。ディスプレイの視野が広がると、光線２５６および光線２５７の収束点がディスプレイにより近くなる。したがって、より広い視野を有するディスプレイは、視聴者２８０がより近い視距離でディスプレイ全体を見ることを可能にする。追加的に、光線２５６および２５７は、理想的なホログラフィックオブジェクトボリュームを形成し得る。理想的なホログラフィックオブジェクトボリューム内に提示されるホログラフィックオブジェクトは、ビューイングボリューム２８５内のどこでも見られ得る。
いくつかの例では、ホログラフィックオブジェクトは、ビューイングボリューム２８５の一部にのみ提示され得る。言い換えれば、ホログラフィックオブジェクトボリュームは、任意の数のビューイングサブボリューム（例えば、ビューイングサブボリューム２９０）に分割され得る。追加的に、ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム２５５の外側に投影され得る。例えば、ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示される。ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示されるので、ビューイングボリューム２８５内のすべての場所から見ることができるわけではない。例えば、ホログラフィックオブジェクト２５１は、ビューイングサブボリューム２９０内の場所からは見えるが、視聴者２８０の場所からは見えない可能性がある。
例えば、異なるビューイングサブボリュームからホログラフィックコンテンツを見ることを例示するために、図２Ｂに目を向ける。図２Ｂは、１つ以上の実施形態による、ＬＦディスプレイモジュールの一部の断面２００を例示する。図２Ｂの断面は、図２Ａの断面と同じである。しかしながら、図２Ｂは、ＬＦディスプレイモジュール２１０から投影された異なる光線のセットを示している。光線２５６および光線２５７は、依然としてホログラフィックオブジェクトボリューム２５５およびビューイングボリューム２８５を形成する。しかしながら、示されるように、ＬＦディスプレイモジュール２１０の頂部およびＬＦディスプレイモジュール２１０の底部から投影された光線は重なり合って、ビューイングボリューム２８５内に様々なビューイングサブボリューム（例えば、ビューサブボリューム２９０Ａ、２９０Ｂ、２９０Ｃ、および２９０Ｄ）を形成する。第１のビューイングサブボリューム（例えば、２９０Ａ）の視聴者は、他のビューイングサブボリューム（例えば、２９０Ｂ、２９０Ｃ、および２９０Ｄ）の視聴者が知覚できないホログラフィックオブジェクトボリューム２５５に提示されたホログラフィックコンテンツを知覚可能であってもよい。
より簡単に言えば、図２Ａに例示されるように、ホログラフィックオブジェクトボリューム２５５は、ホログラフィックオブジェクトがビューイングボリューム２８５内の視聴者（例えば、視聴者２８０）によって知覚され得るように、ホログラフィックオブジェクトが、ＬＦディスプレイシステムによって提示され得るボリュームである。このように、ビューイングボリューム２８５は、理想的なビューイングボリュームの一例であり、ホログラフィックオブジェクトボリューム２５５は、理想的なオブジェクトボリュームの一例である。しかしながら、様々な構成において、他の例示的ビューイングボリューム内の視聴者がホログラフィックコンテンツを知覚するように、視聴者は他の例示的なホログラフィックオブジェクトボリューム内にＬＦディスプレイシステム２００によって提示されたホログラフィックオブジェクトを知覚することができる。より一般的には、ＬＦディスプレイモジュールから投影されたホログラフィックコンテンツを見るときには「アイラインガイドライン」が適用される。アイラインガイドラインは、視聴者の目の位置と見られているホログラフィックオブジェクトとによって形成されるラインは必ずＬＦ表示面と交差すると断言する。
ＬＦディスプレイモジュール２１０によって提示されたホログラフィックコンテンツを見るとき、ホログラフィックコンテンツは４Ｄライトフィールド関数に従って提示されるので、視聴者２８０のそれぞれの目は、異なる視点のホログラフィックオブジェクト２５０を見る。さらに、視聴者２８０がビューイングボリューム２８５内を移動するとき、視聴者は、ビューイングボリューム２８５内の他の視聴者が見るであろうような、異なる視点のホログラフィックオブジェクト２５０を見るであろう。当業者には理解されるように、４Ｄライトフィールド関数は当技術分野で周知であり、本明細書ではこれ以上詳しく説明しない。
本明細書でより詳細に説明するように、いくつかの実施形態では、ＬＦディスプレイは、２つ以上のタイプのエネルギーを投影することができる。例えば、ＬＦディスプレイは、音響エネルギーおよび電磁エネルギーなどの、２つのタイプのエネルギーを投影することができる。この構成では、エネルギーリレー層２３０は、エネルギー面２７５で一緒にインターリーブされるが、エネルギーが２つの異なるエネルギーデバイス層２２０に中継されるように分離される２つの別個のエネルギーリレーを含む。ここで、一方のリレーは、電磁エネルギーを輸送するように構成され得る。もう一方のリレーは、機械的エネルギーを輸送するように構成され得る。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層２４０上の電磁導波路素子間の位置から投影され得、光が一方の電磁導波路素子からもう一方の電磁導波路素子に輸送されるのを抑制する構造を形成するのに役立つ。いくつかの実施形態では、エネルギー導波路層２４０はまた、コントローラからの表示命令に従って、集束超音波を特定の伝搬経路に沿って輸送する導波路素子を含み得る。
代替の実施形態（図示せず）では、ＬＦディスプレイモジュール２１０はエネルギーリレー層２３０を含まないことに留意されたい。この場合、エネルギー面２７５は、エネルギーデバイス層２２０内の１つ以上の隣接する電子ディスプレイを使用して形成された出射面である。また、いくつかの実施形態では、隣接する電子ディスプレイの縁間の分離は、２０／４０の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面は、ビューイングボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。
ＬＦディスプレイモジュール
図３Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール３００Ａの斜視図である。ＬＦディスプレイモジュール３００Ａは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３００Ａは、何らかの他のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーデバイス層３１０、エネルギーリレー層３２０、およびエネルギー導波路層３３０を含む。ＬＦディスプレイモジュール３００Ａは、本明細書で説明されるように、表示面３６５からホログラフィックコンテンツを提示するように構成されている。便宜上、表示面３６５は、ＬＦディスプレイモジュール３００Ａのフレーム３９０上に破線の輪郭として例示されているが、より正確には、フレーム３９０の内側リムによって境界される導波路素子の真正面の表面である。表示面３６５は、エネルギーが投影され得る複数の投影位置を含む。ＬＦディスプレイモジュール３００Ａのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーリレー層３２０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
エネルギーデバイス層３１０は、エネルギーデバイス層２２０の一実施形態である。エネルギーデバイス層３１０は、４つのエネルギーデバイス３４０を含む（図では３つが見える）。エネルギーデバイス３４０は、すべてが同じタイプ（例えば、すべてが電子ディスプレイ）であってもよいし、１つ以上の異なるタイプを含んでいてもよい（例えば、電子ディスプレイと、少なくとも１つの音響エネルギーデバイスと、を含む）。
エネルギーリレー層３２０は、エネルギーリレー層２３０の一実施形態である。エネルギーリレー層３２０は、４つのエネルギーリレー素子３５０を含む（図では３つが見える）。エネルギーリレーデバイス３５０は、すべてが同じタイプのエネルギー（例えば、光）を中継、または１つ以上の異なるタイプ（例えば、光および音）を中継し得る。リレー素子３５０の各々は、第１の表面および第２の表面を含み、エネルギーリレー素子３５０の第２の表面は、単一のシームレスなエネルギー面３６０を形成するように配置される。例示的な実施形態では、エネルギーリレー素子３５０の各々は、第１の表面が第２の表面よりも小さい表面積を有するようにテーパー状になっており、これにより、テーパーの小さい方の端にエネルギーデバイス３４０の機械的エンベロープを収容することが可能になる。これにより、エリア全体がエネルギーを投影し得るため、シームレスなエネルギー面が無境界であることが可能になる。これは、複数の３００の実例を、組み合わされた表面全体がシームレスになるようにデッドスペースまたはベゼルなしに一緒に配置することによって、このシームレスなエネルギー面がタイル張りされ得ることを意味する。他の実施形態では、第１の表面および第２の表面は同じ表面積を有する。
エネルギー導波路層３３０は、エネルギー導波路層２４０の一実施形態である。エネルギー導波路層３３０は、複数の導波路素子３７０を含む。図２に関して上で考察されるように、エネルギー導波路層３３０は、ホログラフィックオブジェクトを形成するために、４Ｄライトフィールド関数に従って、エネルギーをシームレスなエネルギー面３６０から特定の伝搬経路に沿って指向するように構成されている。例示的な実施形態では、エネルギー導波路層３３０はフレーム３９０によって境界されることに留意されたい。他の実施形態では、フレーム３９０は存在しない、および／またはフレーム３９０の太さが低減されている。フレーム３９０の除去または太さの低減は、ＬＦディスプレイモジュール３００Ａと追加のＬＦディスプレイモジュール３００とのタイル張りを容易にし得る。
例示的な実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は平面であることに留意されたい。図示されてない代替の実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は、１つ以上の次元で湾曲していてよい。
ＬＦディスプレイモジュール３００Ａは、シームレスなエネルギー面の表面上に存在する追加のエネルギー源を有して構成され得、ライトフィールドに加えてエネルギーフィールドの投影を可能にする。一実施形態では、音響エネルギーフィールドが、シームレスなエネルギー面３６０上の任意の数の位置に取り付けられた静電スピーカ（例示せず）から投影され得る。さらに、ＬＦディスプレイモジュール３００Ａの静電スピーカは、デュアルエネルギー面がサウンドフィールドおよびホログラフィックコンテンツを同時に投影するように、ライトフィールドディスプレイモジュール３００Ａ内に位置付けられる。例えば、静電スピーカは、電磁エネルギーのいくつかの波長に対して透過性であり、導電性要素を用いて駆動される１つ以上のダイアフラム要素で形成され得る。静電スピーカは、ダイアフラム要素が導波路素子のいくつかを覆うように、シームレスなエネルギー面３６０に取り付けられてよい。スピーカの導電性電極は、電磁導波路間の光透過を抑制するように設計された構造体と併置されてよく、および／または電磁導波路素子間の位置（例えば、フレーム３９０）に位置してよい。様々な構成において、スピーカは、可聴音、および／または触覚表面を生み出す集束超音波エネルギーの多くのソースを投影することができる。
いくつかの構成では、エネルギーデバイス３４０は、エネルギーを感知し得る。例えば、エネルギーデバイスは、マイクロフォン、光センサ、音響トランスデューサなどであり得る。したがって、エネルギーリレーデバイスは、シームレスなエネルギー面３６０からエネルギーデバイス層３１０にエネルギーを中継することもできる。すなわち、ＬＦディスプレイモジュールのシームレスなエネルギー面３６０は、エネルギーデバイスおよびエネルギーリレーデバイス３４０が、エネルギーを放出すると同時に感知する（例えば、ライトフィールドを放出し、音を感知する）ように構成されるとき、双方向エネルギー面を形成する。
より広義には、ＬＦディスプレイモジュール３４０のエネルギーデバイス３４０は、エネルギー源またはエネルギーセンサのいずれかであり得る。ＬＦディスプレイモジュール３００Ａは、高品質のホログラフィックコンテンツのユーザへの投影を容易にするために、エネルギー源および／またはエネルギーセンサとして機能する様々なタイプのエネルギーデバイスを含み得る。他のソースおよび／またはセンサとしては、サーマルセンサまたはソース、赤外線センサまたはソース、画像センサまたはソース、音響エネルギーを生成する機械的エネルギートランスデューサ、フィードバックソースなどが挙げられる。多くの他のセンサまたはソースが可能である。さらに、ＬＦディスプレイモジュールが、大きな集合体のシームレスなエネルギー面から複数のタイプのエネルギーを投影および感知するアセンブリを形成し得るように、ＬＦディスプレイモジュールはタイル張りされ得る。
ＬＦディスプレイモジュール３００Ａの様々な実施形態では、シームレスなエネルギー面３６０は、各表面部分が特定のタイプのエネルギーを投影および／または放出するように構成されている様々な表面部分を有し得る。例えば、シームレスなエネルギー面がデュアルエネルギー面である場合、シームレスなエネルギー面３６０は、電磁エネルギーを投影する１つ以上の表面部分と、超音波エネルギーを投影する１つ以上の他の表面部分と、を含む。超音波エネルギーを投影する表面部分は、導波路素子間のシームレスなエネルギー面３６０上に位置し得、および／または導波路素子間の光透過を抑制するように設計された構造体と併置され得る。シームレスなエネルギー面が双方向エネルギー面である例では、エネルギーリレー層３２０は、シームレスなエネルギー面３６０でインターリーブされた２つのタイプのエネルギーリレーデバイスを含み得る。様々な実施形態では、シームレスなエネルギー面３６０は、特定の導波路素子３７０の下の表面の部分が、すべてエネルギー源、すべてエネルギーセンサ、またはエネルギー源とエネルギーセンサの混在であるように構成され得る。
図３Ｂは、１つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むＬＦディスプレイモジュール３００Ｂの断面図である。エネルギーリレーデバイス３５０Ａは、エネルギーデバイス３４０Ａに接続されたエネルギーリレーの第１の表面３４５Ａとシームレスなエネルギー面３６０との間でエネルギーを輸送する。エネルギーリレー３５０Ｂは、エネルギーデバイス３４０Ｂに接続されたエネルギーリレーの第１の表面３４５Ｂとシームレスなエネルギー面３６０との間でエネルギーを輸送する。両方のリレーデバイスは、シームレスなエネルギー面３６０に接続されたインターリーブされたエネルギーリレーデバイス３５２においてインターリーブされている。この構成では、表面３６０は、エネルギー源またはエネルギーセンサであり得るエネルギーデバイス３４０Ａおよび３４０Ｂの両方のインターリーブされたエネルギー位置を含む。したがって、ＬＦディスプレイモジュール３００Ｂは、２つ以上のタイプのエネルギーを投影するためのデュアルエネルギー投影デバイスとして、またはあるタイプのエネルギーを投影することと、別のタイプのエネルギーを感知することとを同時に行うための双方向エネルギーデバイスとしてのいずれかに構成され得る。ＬＦディスプレイモジュール３００Ｂは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３０２は、何らかの他のＬＦディスプレイモジュールであり得る。
ＬＦディスプレイモジュール３００Ｂは、図３ＡのＬＦディスプレイモジュール３００Ａのものと同様に構成されている多くの構成要素を含む。例えば、例示的な実施形態では、ＬＦディスプレイモジュール３００Ｂは、図３Ａに関して説明したものと少なくとも同じ機能を含むエネルギーデバイス層３１０、エネルギーリレー層３２０、シームレスなエネルギー面３６０、およびエネルギー導波路層３３０を含む。追加的に、ＬＦディスプレイモジュール３００Ｂは、表示面３６５からエネルギーを提示および／または受け取ることができる。特に、ＬＦディスプレイモジュール３００Ｂの構成要素は、代替的に、図３ＡのＬＦディスプレイモジュール３００Ａの構成要素とは異なって接続および／または配向されている。ＬＦディスプレイモジュール３００Ｂのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。図３Ｂは、より大きな面積を有するデュアルエネルギー投影表面または双方向エネルギー面を生み出すためにタイル張りされ得る単一のＬＦディスプレイモジュール３０２の設計を例示する。
一実施形態では、ＬＦディスプレイモジュール３００Ｂは、双方向ＬＦディスプレイシステムのＬＦディスプレイモジュールである。双方向ＬＦディスプレイシステムは、エネルギーを投影し、それと同時に表示面３６５からエネルギーを感知することができる。シームレスなエネルギー面３６０は、シームレスなエネルギー面３６０上で密接にインターリーブされたエネルギー投影位置とエネルギー感知位置との両方を含む。したがって、図３Ｂの例では、エネルギーリレー層３２０は、図３Ａのエネルギーリレー層とは異なる様式で構成されている。便宜上、ＬＦディスプレイモジュール３００Ｂのエネルギーリレー層は、本明細書では「インターリーブエネルギーリレー層」と呼ばれる。
インターリーブされたエネルギーリレー層３２０は、第１のエネルギーリレーデバイス３５０Ａおよび第２のエネルギーリレーデバイス３５０Ｂの２つの脚部を含む。脚部の各々は、薄い陰影のエリアとして例示されている。脚部の各々は、可撓性のリレー材料で作製され、様々なサイズおよび形状のエネルギーデバイスで使用するのに十分な長さで形成され得る。インターリーブされたエネルギーリレー層のいくつかの領域では、２つの脚部は、シームレスなエネルギー面３６０に近づくにつれて、一緒に緊密にインターリーブされる。例示的な例では、インターリーブされたエネルギーリレーデバイス３５２は、暗い陰影のエリアとして例示されている。
シームレスなエネルギー面３６０でインターリーブされる一方、エネルギーリレーデバイスは、異なるエネルギーデバイスとの間でエネルギーを中継するように構成される。エネルギーデバイスは、エネルギーデバイス層３１０にある。例示のように、エネルギーデバイス３４０Ａは、エネルギーリレーデバイス３５０Ａに接続され、エネルギーデバイス３４０Ｂは、エネルギーリレーデバイス３５０Ｂに接続されている。様々な実施形態では、各エネルギーデバイスは、エネルギー源またはエネルギーセンサであり得る。
エネルギー導波路層３３０は、エネルギー波をシームレスなエネルギー面３６０から、投影された経路に沿って、一連の収束点に向かって導くための導波路素子３７０を含む。この例では、ホログラフィックオブジェクト３８０が、一連の収束点に形成される。特に、例示のように、ホログラフィックオブジェクト３８０でのエネルギーの収束は、表示面３６５の視聴者側で発生する。しかしながら、他の例では、エネルギーの収束は、表示面３６５の前および表示面３６５の後ろの両方に延在するホログラフィックオブジェクトボリューム内のどこであってもよい。導波路素子３７０は、以下に説明するように、入ってくるエネルギーをエネルギーデバイス（例えば、エネルギーセンサ）に同時に導くことができる。
ＬＦディスプレイモジュール３００Ｂの例示的な一実施形態では、発光ディスプレイがエネルギー源として使用され、画像センサがエネルギーセンサとして使用される。このように、ＬＦディスプレイモジュール３００Ｂは、ホログラフィックコンテンツを投影すると同時に、表示面３６５の前のボリュームからの光を検出することができる。このように、ＬＦディスプレイモジュール３００Ｂのこの実施形態は、ＬＦディスプレイおよびＬＦセンサの両方として機能する。
一実施形態では、ＬＦディスプレイモジュール３００Ｂは、ライトフィールドを表示面の投影位置から表示面３６５の前に投影すると同時に、表示面３６５の前からのライトフィールドをキャプチャするように構成されている。この実施形態では、エネルギーリレーデバイス３５０Ａは、導波路素子３７０の下に位置付けられたシームレスなエネルギー面３６０における位置の第１のセットをエネルギーデバイス３４０Ａに接続する。一例では、エネルギーデバイス３４０Ａは、ソースピクセルのアレイを有する発光ディスプレイである。エネルギーリレーデバイス３４０Ｂは、導波路素子３７０の下に位置付けられたシームレスなエネルギー面３６０における位置の第２のセットをエネルギーデバイス３４０Ｂに接続する。一例では、エネルギーデバイス３４０Ｂは、センサピクセルのアレイを有する画像センサである。ＬＦディスプレイモジュール３０２は、特定の導波路素子３７０の下にあるシームレスなエネルギー面３６５における位置が、すべて発光ディスプレイ位置、すべて画像センサ位置、または位置の何らかの組み合わせであるように構成され得る。他の実施形態では、双方向のエネルギー面は、様々な他の形態のエネルギーを投影および受信することができる。
ＬＦディスプレイモジュール３００Ｂの別の例示的な実施形態では、ＬＦディスプレイモジュールは、２つの異なるタイプのエネルギーを投影するように構成される。例えば、エネルギーデバイス３４０Ａは、電磁エネルギーを放出するように構成された発光ディスプレイであり、エネルギーデバイス３４０Ｂは、機械的エネルギーを放出するように構成された超音波トランスデューサである。そのため、光および音の両方が、シームレスなエネルギー面３６０における様々な位置から投影され得る。この構成では、エネルギーリレーデバイス３５０Ａは、エネルギーデバイス３４０Ａをシームレスなエネルギー面３６０に接続し、電磁エネルギーを中継する。エネルギーリレーデバイスは、電磁エネルギーの輸送を効率的にする特性を有するように構成される（例えば、屈折率を変化させる）。エネルギーリレーデバイス３５０Ｂは、エネルギーデバイス３４０Ｂをシームレスなエネルギー面３６０に接続し、機械的エネルギーを中継する。エネルギーリレーデバイス３５０Ｂは、超音波エネルギーの効率的な輸送のための特性を有するように構成される（例えば、異なる音響インピーダンスを有する材料の配分）。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層３３０上の導波路素子３７０間の位置から投影され得る。機械的エネルギーを投影する位置は、光が一方の電磁導波路素子から他方に輸送されるのを抑制する役割を果たす構造体を形成し得る。一例では、超音波の機械的エネルギーを投影する位置の空間的に分離されたアレイは、三次元触覚形状および表面を空中に作成するように構成することができる。表面は、投影されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト３８０）と一致し得る。いくつかの例では、アレイにわたる位相の遅延および振幅の変化は、触覚形状の作成を支援し得る。
様々な実施形態では、双方向ＬＦディスプレイモジュール３０２は、各エネルギーデバイス層が特定のタイプのエネルギーデバイスを含んだ、複数のエネルギーデバイス層を含み得る。これらの例では、エネルギーリレー層は、シームレスなエネルギー面３６０とエネルギーデバイス層３３０との間で適切なタイプのエネルギーを中継するように構成される。
タイル張りされたＬＦディスプレイモジュール
図４Ａは、１つ以上の実施形態による、単一面シームレス表面環境を形成するために、二次元にタイル張りされたＬＦディスプレイシステム４００の一部の斜視図である。ＬＦディスプレイシステム４００は、アレイ４１０を形成するようにタイル張りされた複数のＬＦディスプレイモジュールを含む。より明確には、アレイ４１０内の小さな正方形の各々が、タイル張りされたＬＦディスプレイモジュール４１２を表す。アレイ４１０は、例えば、表面の一部またはすべてを覆うことができる。
アレイ４１０は、１つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、アレイ４１０は、ホログラフィックオブジェクト４２０およびホログラフィックオブジェクト４３０を投影する。ＬＦディスプレイモジュールのタイル張りは、はるかに大きなビューイングボリュームを可能にするだけでなく、オブジェクトがアレイ４１０からより遠くに投影されることを可能にする。例えば、例示的な実施形態では、ビューイングボリュームは、ＬＦディスプレイモジュール４１２の前（および後ろ）の局所的なボリュームではなく、アレイ４１０の前および後ろのほぼ全エリアである。
いくつかの実施形態では、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２０を視聴者４３０および視聴者４３４に提示する。視聴者４３０および視聴者４３４は、異なる視点のホログラフィックオブジェクト４２０を受信する。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０の真っ直ぐなビューを提示される一方、視聴者４３４は、ホログラフィックオブジェクト４３０のより斜めのビューを提示される。視聴者４３０および／または視聴者４３４が移動すると、視聴者は、異なる視点のホログラフィックオブジェクト４２０を提示される。これにより、視聴者は、ホログラフィックオブジェクトに対して移動することにより、ホログラフィックオブジェクトと視覚的にインタラクションすることが可能になる。例えば、視聴者４３０がホログラフィックオブジェクト４２０の周りを歩くとき、ホログラフィックオブジェクト４２０がアレイ４１０のホログラフィックオブジェクトボリューム内に留まっている限り、視聴者４３０は、ホログラフィックオブジェクト４２０の異なる側面を見る。視聴者４３０および視聴者４３４は、あたかもそれが実際にそこにあるかのように、実世界空間のホログラフィックオブジェクト４２０を同時に見ることができる。追加的に、ホログラフィックオブジェクト４２０は、物理的オブジェクトが見えるのとほぼ同じように視聴者に見えるので、ホログラフィックオブジェクト４２０の視聴者４４０および視聴者４５０は、ホログラフィックオブジェクト４２０を見るために外部デバイスを着用する必要はない。追加的に、ここでは、アレイのビューイングボリュームがアレイの表面の後ろに延在するため、ホログラフィックオブジェクト４２２が、アレイの後ろに例示されている。このように、ホログラフィックオブジェクト４２２は、視聴者４３０および／または視聴者４３４に提示され得る。
いくつかの実施形態では、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３４の位置を追跡する追跡システムを含み得る。いくつかの実施形態では、追跡される位置は、視聴者の位置である。他の実施形態では、追跡される位置は、視聴者の目の位置である。目の位置追跡は、目がどこを見ているかを追跡する（例えば、配向を使用して視線場所を決定する）視線追跡とは異なる。視聴者４３０の目および視聴者４３４の目は、異なる位置にある。
様々な構成では、ＬＦディスプレイシステム４００は、１つ以上の追跡システムを含み得る。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステムは、アレイ４１０の外部にある追跡システム４４０を含む。ここで、追跡システムは、アレイ４１０に結合されたカメラシステムであり得る。外部追跡システムは、図５Ａに関してより詳細に説明される。他の例示的な実施形態では、追跡システムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれるＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、エネルギーデバイス３４０）は、アレイ４４０の前の視聴者の画像をキャプチャするように構成され得る。いずれの場合でも、ＬＦディスプレイシステム４００の追跡システム（複数可）は、アレイ４１０によって提示されたホログラフィックコンテンツを見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に関する追跡情報を決定する。
追跡情報は、視聴者の位置、または視聴者の一部の位置（例えば、視聴者の片方または両方の目、もしくは視聴者の四肢）の空間内の（例えば、追跡システムに対する）位置を表す。追跡システムは、追跡情報を決定するために、任意の数の深度決定技術を使用することができる。深度決定技術は、例えば、構造化光、飛行時間、ステレオ撮像、何らかの他の深度決定技術、またはそれらの何らかの組み合わせを含み得る。追跡システムは、追跡情報を決定するように構成されている様々なシステムを含み得る。例えば、追跡システムは、１つ以上の赤外線源（例えば、構造化光源）、赤外線で画像をキャプチャすることができる１つ以上の画像センサ（例えば、赤－青－緑－赤外線カメラ）、および追跡アルゴリズムを実行するプロセッサを含み得る。追跡システムは、深度推定技術を使用して、視聴者の位置を決定することができる。いくつかの実施形態では、ＬＦディスプレイシステム４００は、視聴者４３０および／または視聴者４３４の追跡された位置に基づいて、ホログラフィックオブジェクトを生成する。例えば、ＬＦディスプレイシステム４００は、アレイ４１０の閾値距離および／または特定の位置内に来る視聴者に応答して、ホログラフィックオブジェクトを生成することができる。
ＬＦディスプレイシステム４００は、追跡情報に部分的に基づいて、各視聴者に合わせてカスタマイズされた１つ以上のホログラフィックオブジェクトを提示することができる。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０を提示され得るが、ホログラフィックオブジェクト４２２は提示され得ない。そして、視聴者４３４は、ホログラフィックオブジェクト４２２を提示され得るが、ホログラフィックオブジェクト４２０は提示され得ない。例えば、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３４の各々の位置を追跡する。ＬＦディスプレイシステム４００は、ホログラフィックオブジェクトが提示されるべき場所に対する視聴者の相対的な位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を決定する。ＬＦディスプレイシステム４００は、決定された視点に対応する特定のピクセルから光を選択的に投影する。したがって、視聴者４３４および視聴者４３０は、潜在的に完全に異なる体験を同時に有することができる。言い換えれば、ＬＦディスプレイシステム４００は、ホログラフィックコンテンツを、ビューイングボリュームのビューイングサブボリューム（すなわち、図２Ｂに示されるビューイングサブボリューム２９０Ａ、２９０Ｂ、２９０Ｃ、および２９０Ｄと同様の）に提示することができる。例えば、図示のように、ＬＦディスプレイシステム４００は、視聴者４３０の位置を追跡できるので、ＬＦディスプレイシステム４００は、スペースコンテンツ（例えば、ホログラフィックオブジェクト４２０）を、視聴者４３０を取り囲むビューイングサブボリュームに、およびサファリコンテンツ（例えば、ホログラフィックオブジェクト４２２）を、視聴者４３４を取り囲むビューイングサブボリュームに提示することができる。対照的に、従来のシステムは、同様の体験を提供するために、個々のヘッドセットを使用しなければならないであろう。
いくつかの実施形態では、ＬＦディスプレイシステム４００は、１つ以上の感覚フィードバックシステムを含み得る。感覚フィードバックシステムは、ホログラフィックオブジェクト４２０および４２２を拡張する他の感覚刺激（例えば、触覚、音声、圧力、力、または匂い／嗅覚）を提供する。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステム４００は、アレイ４１０の外部の感覚フィードバックシステム４４２を含む。一例では、感覚フィードバックシステム４４２は、アレイ４１０に結合された静電スピーカであり得る。外部感覚フィードバックシステムは、図５Ａに関してより詳細に説明される。他の例示的な実施形態では、感覚フィードバックシステムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれるＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、図３Ｂのエネルギーデバイス３４０Ａ）は、超音波エネルギーをアレイの前の視聴者に投影し、および／またはアレイの前の視聴者から画像情報を受信するように構成され得る。いずれの場合でも、感覚フィードバックシステムは、感覚コンテンツを、アレイ４１０によって提示されるホログラフィックコンテンツ（例えば、ホログラフィックオブジェクト４２０および／またはホログラフィックオブジェクト４２２）を見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に提示し、および／または視聴者から受信する。
ＬＦディスプレイシステム４００は、アレイの外部の１つ以上の音響投影デバイスを含む感覚フィードバックシステムを含み得る。代替的または追加的に、ＬＦディスプレイシステム４００は、本明細書で説明されるように、アレイ４１０に統合された１つ以上の音響投影デバイスを含み得る。音響投影デバイスは、体積触覚表面を投影するように構成された超音波源のアレイからなり得る。いくつかの実施形態では、体積表面は、ホログラフィックオブジェクトと一致するように投影され得る。いくつかの実施形態では、体積触覚表面は、ホログラフィックオブジェクトの閾値距離内に投影され得る。いくつかの実施形態では、触覚表面は、視聴者の一部が１つ以上の表面の閾値距離内に入る場合、ホログラフィックオブジェクトの１つ以上の表面の（例えば、ホログラフィックオブジェクト４２０の表面における）ホログラフィックオブジェクトと一致し得る。体積触覚は、ユーザがホログラフィックオブジェクトの表面をタッチして感じることを可能にする。複数の音響投影デバイスは、視聴者に音声コンテンツ（例えば、没入型オーディオ）を提供する可聴圧力波を投影することができる。したがって、超音波圧力波および／または可聴圧力波は、ホログラフィックオブジェクトを補完する役割を果たすことができる。
様々な実施形態では、ＬＦディスプレイシステム４００は、視聴者の追跡された位置に部分的に基づいて、他の感覚刺激を提供することができる。例えば、図４Ａに例示されるホログラフィックオブジェクト４２２はライオンであり、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２２を視覚的（すなわち、ホログラフィックオブジェクト４３０が咆哮するように見える）および聴覚的（すなわち、１つ以上の音響投影デバイスが、ライオンの咆哮がホログラフィックオブジェクト４２２から発せられているように視聴者４３０が知覚する圧力波を投影する）の両方で咆哮させることができる。
例示的な構成では、ホログラフィックビューイングボリュームは、図２のＬＦディスプレイシステム２００のビューイングボリューム２８５と同様の方法で制限され得ることに留意されたい。これは、視聴者が単一のデバイスで体験するであろう没入感の知覚量を制限する可能性がある。これに対処する１つの方法が、図４Ｂに関して以下に説明するように、複数の側面に沿ってタイル張りされた複数のＬＦディスプレイモジュールを使用することである。
図４Ｂは、１つ以上の実施形態による、多面シームレス表面環境におけるＬＦディスプレイシステム４０２の一部分の斜視図である。ＬＦディスプレイシステム４０２は、複数のＬＦディスプレイモジュールがタイル張りされて多面シームレス表面環境を作成することを除いて、ＬＦディスプレイシステム４００と実質的に同様である。より具体的には、ＬＦディスプレイモジュールは、６面集合シームレス表面環境であるアレイを形成するようにタイル張りされている。他の実施形態では、複数のＬＦディスプレイモジュールは、表面、またはそれらの何らかの組み合わせのすべてではないが、一部を覆い得る。他の実施形態では、複数のＬＦディスプレイモジュールがタイル張りされて、何らかの他の集合シームレス表面を形成する。例えば、表面は、円筒形の集合エネルギー環境が形成されるように湾曲され得る。
ＬＦディスプレイシステム４０２は、１つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、ＬＦディスプレイシステム４０２は、ホログラフィックオブジェクト４２０を、６面集合シームレス表面環境によって囲まれたエリアに投影する。この例では、ＬＦディスプレイシステムのビューイングボリュームも、６面集合シームレス表面環境内に含まれる。例示的な構成では、視聴者４３２は、ホログラフィックオブジェクト４２０と、ホログラフィックオブジェクト４２０を形成するために使用されるエネルギー（例えば、光および／または圧力波）を投影しているＬＦディスプレイモジュール４１４との間に位置付けられ得ることに留意されたい。したがって、視聴者４３４の位置付けは、視聴者４３０が、ＬＦディスプレイモジュール４１４からのエネルギーから形成されるホログラフィックオブジェクト４２０を知覚することを妨げる可能性がある。しかしながら、例示的な構成では、例えば、ＬＦディスプレイモジュール４１６などの少なくとも１つの他のＬＦディスプレイモジュールが存在しており、これは（例えば、視聴者４３４によって）遮られず、エネルギーを投影してホログラフィックオブジェクト４２０を形成することができる。このように、空間内の視聴者に妨げられてホログラフィック投影の一部が見えなくなる可能性があるが、この影響は、ボリュームの一面にのみホログラフィックディスプレイパネルが存在する場合よりもはるかに小さい。ホログラフィックオブジェクト４２２は、ホログラフィックオブジェクトボリュームが集合表面の後ろに延在するため、６面集合シームレス表面環境の囲いの「外側」に例示されている。したがって、視聴者４３０および／または視聴者４３４は、ホログラフィックオブジェクト４２２を、６面環境の「外側」として知覚することができる。
図４Ａを参照して前述したように、いくつかの実施形態では、ＬＦディスプレイシステム４０２は、視聴者の位置を能動的に追跡し、追跡された位置に基づいてホログラフィックコンテンツを提示するように、異なるＬＦディスプレイモジュールに動的に命令し得る。したがって、多面構成は、拘束されていない視聴者が、多面シームレス表面環境によって囲まれたエリア全体を自由に移動することができる、ホログラフィックオブジェクトを提供するための（例えば、図４Ａと比べて）より堅牢な環境を提供することができる。
特に、様々なＬＦディスプレイシステムが、異なる構成を有し得る。さらに、各構成は、全体でシームレスな表示面（「集合表面」）を形成する表面の特定の配向を有し得る。すなわち、ＬＦディスプレイシステムのＬＦディスプレイモジュールは、タイル張りされて様々な集合表面を形成することができる。例えば、図４Ｂでは、ＬＦディスプレイシステム４０２は、６面集合表面を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。いくつかの他の例では、集合表面は、全表面ではなく、表面の一部でのみ発生し得る。いくつかの例が本明細書に記載されている。
いくつかの構成では、ＬＦディスプレイシステムの集合表面は、局部的なビューイングボリュームに向けてエネルギーを投影するように構成された集合表面を含み得る。局部的なビューイングボリュームにエネルギーを投影することは、例えば、特定のビューイングボリューム内の投影エネルギーの密度を上げ、そのボリューム内の視聴者のＦＯＶを広げ、ビューイングボリュームを表示面に近づけることにより、より高品質の視聴体験を可能にする。
例えば、図４Ｃは、「ウィング型」構成の集合表面を有するＬＦディスプレイシステム４５０Ａの上面図を示す。ＬＦディスプレイシステム４５０Ａは集合表面４６０を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。ＬＦディスプレイシステム４５０Ａは、集合表面４６０を有しており、集合表面４６０は３つの部分、すなわち、（ｉ）第１の中央部分４６２と、（ｉｉ）第１の部分４６２に接続され、中央部分の前方に向けてエネルギーを投影するために中央部分からある角度で配置された第２の部分４６４（すなわち、第１の側表面）と、（ｉｉｉ）第１の部分４６２に接続され、中央部分の前方に向けてエネルギーを投影するために中央部分からある角度で配置された第３の部分４６６（すなわち、第２の側表面）を含む。モバイルデバイスは、第１の中央部分４６２は視聴者に相対するように設計された主表示画面であり、第２の部分４６４および第３の部分４６６は視聴者を部分的に取り囲むように視聴者に向かって角度が付けられるように、図４Ｃに示したものと同様の構成で設計され得る。第１の中央部分が水平軸および垂直軸を有する垂直面内にあるようにモバイルデバイスが保持される場合、第２および第３の部分は、水平軸に沿って中央部分の前方に向かって角度が付けられる。
この例では、ＬＦディスプレイシステム４５０Ａのビューイングボリューム４６８Ａは、装置の前方に横たわり、集合表面４６０の３つの部分によって部分的に囲まれている。視聴者を少なくとも部分的に囲む集合表面（「周囲表面」）は、視聴者の没入型体験を増大する。
例示のために、例えば、中央表面のみを有する集合表面を考慮する。図２Ａを参照すると、表示面のいずれかの端から投影される光線は、上記のように理想的なホログラフィックボリュームおよび理想的なビューイングボリュームを作成する。ここで、例えば、中央表面が、視聴者に向かって角度の付いた２つの側表面を含んだ場合を考慮する。この場合、光線２５６および光線２５７は、中央表面の法線からより大きな角度で投影されるであろう。したがって、ビューイングボリュームの視野が拡大するであろう。同様に、ホログラフィックビューイングボリュームは、表示面により近くなるであろう。追加的に、第２および第３の２つの部分がビューイングボリュームのより近くで傾斜しているため、表示面から一定の距離で投影されるホログラフィックオブジェクトは、そのビューイングボリュームにより近い。
簡単に言えば、中央表面のみを有する表示面は、平面視野、（中央の）表示面とビューイングボリュームとの間の平面閾値分離、およびホログラフィックオブジェクトとビューイングボリュームとの間の平面近接度を有する。視聴者に向かって角度の付いた１つ以上の側表面を追加すると、平面視野に対して視野が拡大し、表示面とビューイングボリュームとの間の分離が平面分離に対して減少し、表示面とホログラフィックオブジェクトとの間の近接度が、平面近接度に対して増大する。側表面を視聴者に向けてさらに角度を付けると、さらに視野が拡大し、分離が減少し、近接度が増大する。言い換えれば、側表面の角度の付いた配置は、視聴者の没入型体験を増大する。
追加的に、図６に関して以下に説明するように、偏向光学系を使用して、ＬＦ表示パラメータ（例えば、寸法およびＦＯＶ）のビューイングボリュームのサイズおよび位置を最適化することができる。
図４Ｄに戻ると、同様の例では、図４Ｄは、「スロープ」構成の集合表面を有するＬＦディスプレイシステム４５０Ｂの上面図を示す。ＬＦディスプレイシステム４５０Ｂは集合表面４６０を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。集合表面４６０は３つの部分、すなわち、（ｉ）第１の中央部分４６２と、（ｉｉ）第１の部分４６２に接続され、中央部分の前方に向けてエネルギーを投影するために中央部分からある角度で配置された第２の部分４６４（すなわち、第１の側表面）と、（ｉｉｉ）第１の部分４６２に接続され、中央部分の前方に向けてエネルギーを投影するために中央部分からある角度で配置された第３の部分４６４（すなわち、第２の側表面）を含む。モバイルデバイスは、第１の中央部分４６２は視聴者に相対するように設計された主表示画面であり、第２の部分４６４および第３の部分４６６は視聴者を部分的に取り囲むように視聴者に向かって角度が付けられるように、図４Ｄに示したものと同様の構成で設計され得る。第１の部分が水平軸および垂直軸を有する垂直面内であるようにモバイルデバイスが保持される場合、第２および第３の部分は、垂直軸に沿って中央部分の前方に向かって角度が付けられる。
この例では、ＬＦディスプレイシステム４５０Ｂのビューイングボリューム４６８Ｂは、中央部分の前方にあり、集合表面４６０の３つの部分によって部分的に囲まれている。図４Ｃに示される構成と同様に、２つの側面部分（例えば、第２の部分４６４および第３の部分４６６）は、視聴者を囲んで、周囲表面を形成するように角度が付いている。周囲表面は、ホログラフィックビューイングボリューム４６８Ｂ内の任意の視聴者の視点からのビューイングＦＯＶを拡大する。追加的に、周囲表面は、投影されたオブジェクトがより近くに見えるように、ビューイングボリューム４６８Ｂがディスプレイの表面により近くなることを可能にする。言い換えれば、側表面の角度の付いた配置は、視野を拡大し、分離を減少させ、集合表面の近接度を増大させ、それによって、視聴者の没入型体験を増大する。さらに、以下で考察するように、偏向光学系を使用して、ビューイングボリューム４６８Ｂのサイズおよび位置を最適化することができる。
集合表面４６０の側面部分の傾斜構成は、第３の部分４６６が傾斜していない場合よりも、ホログラフィックコンテンツがビューイングボリューム４６８Ｂにより近く提示されることを可能にする。例えば、傾斜構成のＬＦディスプレイシステムにおける提示形態のキャラクタの下肢（脚など）は、平坦なフロントディスプレイを有するＬＦディスプレイシステムが使用された場合よりも近く、かつより現実的に思われる可能性がある。
追加的に、ＬＦディスプレイシステムの構成およびそれが位置している環境により、ビューイングボリュームおよびビューイングサブボリュームの形状および位置を知ることができる。
図４Ｅは、例えば、集合表面４６０を有するＬＦディスプレイシステム４５０Ｃの上面図を例示する。ＬＦディスプレイシステム４５０Ｃは、集合表面４６０から様々な光線を投影する。集合表面４６０の左側から投影される光線は水平角度範囲４８１を有し、集合表面の右側から投影される光線は水平角度範囲４８２を有し、集合表面４６０の中心から投影される光線は水平角度範囲４８３を有する。これらの点の間で、投影光線は、角度範囲の中間値を取ることができる。このように、表示面の全体で投影光線に傾斜した偏向角（ｇｒａｄｉｅｎｔ ｄｅｆｌｅｃｔｉｏｎ ａｎｇｌｅ）を有することにより、ビューイングボリューム４６８Ｃが作成される。
ＬＦディスプレイシステムの制御
図５は、１つ以上の実施形態による、ＬＦディスプレイシステム５００のブロック図である。ＬＦディスプレイシステム５００は、ＬＦディスプレイアセンブリ５１０およびコントローラ５２０を備える。ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影する１つ以上のＬＦディスプレイモジュール５１２を含む。ＬＦディスプレイモジュール５１２は、他のタイプのエネルギーを投影および／または感知する統合されたエネルギー源（複数可）および／またはエネルギーセンサ（複数可）を含むソース／センサシステム５１４を含み得る。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、ＬＦ処理エンジン５３０、コマンドライブラリ５３２、およびセキュリティモジュール５３４を含む。コントローラ５２０はまた、追跡モジュール５２６、および視聴者プロファイリングモジュール５２８を含み得る。いくつかの実施形態では、ＬＦディスプレイシステム５００はまた、感覚フィードバックシステム５７０および追跡システム５８０を含む。図１、２、３、および４の文脈の中で説明されるＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の実施形態である。他の実施形態では、ＬＦディスプレイシステム５００は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。ＬＦディスプレイシステム５００の用途についても、図６および図７に関して以下で詳細に考察する。
ＬＦディスプレイアセンブリ５１０は、ビューイングボリューム内に位置する視聴者に見え得るホログラフィックコンテンツをホログラフィックオブジェクトボリューム内に提供する。ＬＦディスプレイアセンブリ５１０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツを提供することができる。ホログラフィックコンテンツは、集合表面の前、ＬＦディスプレイアセンブリ５１０、ＬＦディスプレイアセンブリ５１０の集合表面の後ろ、またはそれらの何らかの組み合わせに投影される１つ以上のホログラフィックオブジェクトを含み得る。コントローラ５２０を用いた表示命令の生成について、以下でより詳細に説明する。
ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイアセンブリ５１０に含まれる１つ以上のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール１１０、ＬＦディスプレイシステム２００、およびＬＦディスプレイモジュール３００のいずれか）を使用してホログラフィックコンテンツを提供する。便宜上、１つ以上のＬＦディスプレイモジュールは、本明細書ではＬＦディスプレイモジュール５１２として説明されることがある。ＬＦディスプレイモジュール５１２は、タイル張りされて、ＬＦディスプレイアセンブリ５１０を形成することができる。ＬＦディスプレイモジュール５１２は、様々なシームレスな表面環境（例えば、単一面、多面、曲面など）として構造化され得る。つまり、タイル張りされたＬＦディスプレイモジュールが集合表面を形成する。前述のように、ＬＦディスプレイモジュール５１２は、ホログラフィックコンテンツを提示する、エネルギーデバイス層（例えば、エネルギーデバイス層２２０）およびエネルギー導波路層（例えば、エネルギー導波路層２４０）を含む。ＬＦディスプレイモジュール５１２はまた、ホログラフィックコンテンツを提示するときに、エネルギーデバイス層とエネルギー導波路層との間でエネルギーを転送するエネルギーリレー層（例えば、エネルギーリレー層２３０）を含み得る。
ＬＦディスプレイモジュール５１２はまた、前述のように、エネルギー投影および／またはエネルギー感知のために構成されている他の統合システムを含み得る。例えば、ライトフィールドディスプレイモジュール５１２は、エネルギーを投影および／または感知するように構成されている任意の数のエネルギーデバイス（例えば、エネルギーデバイス３４０）を含み得る。便宜上、ＬＦディスプレイモジュール５１２の統合エネルギー投影システムおよび統合エネルギー感知システムは、本明細書では、総称してソース／センサシステム５１４として説明されることがある。ソース／センサシステム５１４は、ソース／センサシステム５１４が、ＬＦディスプレイモジュール５１２と同じシームレスなエネルギー面を共有するように、ＬＦディスプレイモジュール５１２内に統合されている。言い換えれば、ＬＦディスプレイアセンブリ５１０の集合表面は、ＬＦディスプレイモジュール５１２およびソース／センサモジュール５１４の両方の機能を含む。すなわち、ソース／センサシステム５１４を有するＬＦディスプレイモジュール５１２を含むＬＦアセンブリ５１０は、同時にライトフィールドを投影しながら、エネルギーを投影し、および／またはエネルギーを感知することができる。例えば、ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイモジュール５１２と、前述のようにデュアルエネルギー面または双方向エネルギー面として構成されたソース／センサシステム５１４とを含み得る。
いくつかの実施形態では、ＬＦディスプレイシステム５００は、感覚フィードバックシステム５７０を使用して、生成されたホログラフィックコンテンツを他の感覚コンテンツ（例えば、協調的な触覚、音声、圧力、力、または嗅覚）で拡張する。感覚フィードバックシステム５７０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツの投影を拡張することができる。一般に、感覚フィードバックシステム５７０は、ＬＦディスプレイアセンブリ５１０の外部の任意の数の感覚フィードバックデバイス（例えば、感覚フィードバックシステム４４２）を含む。いくつかの例示的な感覚フィードバックデバイスは、協調音響投影デバイスおよび受信デバイス、芳香投影デバイス、温度調整デバイス、力作動デバイス、圧力センサ、加速度計、ジャイロスコープ、トランスデューサなどを含み得る。場合によっては、感覚フィードバックシステム５７０は、ライトフィールドディスプレイアセンブリ５１０と同様の機能を有し得、逆もまた然りである。例えば、感覚フィードバックシステム５７０およびライトフィールドディスプレイアセンブリ５１０の両方は、サウンドフィールドを生成するように構成され得る。別の例として、感覚フィードバックシステム５７０は、触覚表面を生成するように構成され得る一方、ライトフィールドディスプレイ５１０アセンブリはそうではない。
例示のために、ライトフィールドディスプレイシステム５００の例示的な一実施形態では、感覚フィードバックシステム５７０は、音響投影デバイスを含み得る。音響投影デバイスは、コントローラ５２０から受信された表示命令を実行するときに、ホログラフィックコンテンツを補完する１つ以上の圧力波を生成するように構成される。生成される圧力波は、例えば、可聴（音の場合）、超音波（タッチの場合）、またはそれらの何らかの組み合わせであってもよい。同様に、感覚フィードバックシステム５７０は、芳香投影デバイスを含み得る。芳香投影デバイスは、コントローラから受信した表示命令を実行する際に、標的エリアの一部またはすべてに香りを与えるように構成することができる。さらに、感覚フィードバックシステム５７０は、温度調整デバイスを含み得る。温度調整デバイスは、コントローラ５２０から受信された表示命令を実行するときに、標的エリアの一部またはすべての温度を上げるか、または下げるように構成されている。
いくつかの実施形態では、感覚フィードバックシステム５７０は、力作動装置を含み得る。力作動装置を使用して、標的エリア内のいくつかの物理的物体を動かすことができる。一例では、ＬＦディスプレイシステム５００は、多感覚ゲームアプリケーションと統合することができ、力作動装置は、ゲームに関連する部品を動かすことができる。
いくつかの実施形態では、感覚フィードバックシステム５７０は、ＬＦディスプレイシステム５００の視聴者からの入力を受信するように構成される。この場合、感覚フィードバックシステム５７０は、視聴者からの入力を受信するための様々な感覚フィードバックデバイスを含む。感覚フィードバックデバイスとしては、音響受信デバイス（例えば、マイクロフォン）、圧力センサ、動作検出器、超音波トランスデューサ、他のトランスデューサ、力センサ、温度センサ、タッチセンサ、近接センサなどのデバイスを挙げることができる。センサフィードバックシステムはまた、ボタン、ダイヤル、ノブ、キーパッド、指紋センサ、ジョイスティック、その他の入力ハードウェア、またはそれらの任意の組み合わせで構成できる。感覚フィードバックシステム５７０は、ホログラフィックキャラクタが提示されるときに感覚フィードバックを提供するように構成されている感覚フィードバックデバイスを含み得る。感覚フィードバックシステムは、ホログラフィックコンテンツおよび／または感覚フィードバックの生成を調整するために、検出された入力をコントローラ５２０に送信することができる。いくつかの実施形態では、感覚フィードバックシステム５７０は、視聴者から受信した入力を、視聴者からモバイルデバイスへの受信コマンドとして識別する。
例示のために、ライトフィールドディスプレイアセンブリの例示的な一実施形態では、感覚フィードバックシステム５７０は、マイクロフォンを含む。マイクロフォンは、モバイルデバイスのユーザによって生成された音声を録音するように構成されている。感覚フィードバックシステム５７０は、記録された音声を、ユーザ入力としてコントローラ５２０に提供する。コントローラ５２０は、ユーザ入力を使用して、ホログラフィックコンテンツを生成することができる。同様に、感覚フィードバックシステム５７０は、圧力センサを含み得る。圧力センサは、ユーザによって圧力センサに加えられた力を測定するように構成されている。感覚フィードバックシステム５７０は、測定された力を、ユーザ入力としてコントローラ５２０に提供し得る。
いくつかの実施形態では、感覚フィードバックアセンブリ５７０はまた、ユーザの動きをリダイレクトするように構成される。一実施形態では、感覚フィードバックアセンブリ５７０は、例えば、カメラセンサが能動的に画像データを記録している最中に追跡システム５８０がモバイルデバイスのカメラをブロックしているユーザの手の存在を探知した場合に、動作を思いとどまらせるために触覚圧力波を生成することができる音響投影デバイスを含む。別の実施形態では、感覚フィードバックアセンブリ５７０は、音響放出デバイスを使用して、さらなる動作を起こさないようユーザに聴覚的に合図することができる（例えば、「カメラは録画中です－カメラを遮らないでください」）。
いくつかの実施形態では、ＬＦディスプレイシステム５００は、追跡システム５８０を含む。追跡システム５８０は、標的エリア内のユーザの位置、動き、ジェスチャ、表情、視線、および／または性別および年齢などの特徴を含む、デバイスのユーザに関する情報を取得するように構成された任意の数の追跡デバイスを含む。一般に、追跡デバイスは、ＬＦディスプレイアセンブリ５１０の外部にある。いくつかの例示的な追跡デバイスとしては、カメラアセンブリ（「カメラ」）、深度センサ、構造化光、ＬＩＤＡＲシステム、カードスキャンシステム、または標的エリア内のユーザを追跡することができる他の追跡デバイスが挙げられる。
追跡システム５８０は、標的エリアの一部またはすべてを光で照らす１つ以上のエネルギー源を含み得る。しかしながら、場合によっては、ホログラフィックコンテンツを提示するときに、標的エリアは、自然光および／またはＬＦディスプレイアセンブリ５１０からの周囲光で照らされる。エネルギー源は、コントローラ５２０から受信された命令を実行するときに、光を投影する。光は、例えば、構造化光パターン、光のパルス（例えば、ＩＲフラッシュ）、またはそれらの何らかの組み合わせであり得る。追跡システムは、可視帯域（約３８０ｎｍ～７５０ｎｍ）内、赤外線（ＩＲ）帯域（約７５０ｎｍ～１７００ｎｍ）内、紫外線帯域（１０ｎｍ～３８０ｎｍ）内、電磁スペクトルの何らかの他の部分、またはそれらの何らかの組み合わせの光を投影することができる。ソースとしては、例えば、発光ダイオード（ＬＥＤ）、マイクロＬＥＤ、レーザーダイオード、ＴＯＦ深度センサ、波長可変レーザーなどを挙げることができる。
追跡システム５８０は、コントローラ５２０から受信された命令を実行するときに、１つ以上の放出パラメータを調整することができる。放出パラメータは、追跡システム５８０のソースから光が投影される方法に影響を与えるパラメータである。放出パラメータとしては、例えば、明るさ、パルスレート（連続照明を含む）、波長、パルス長、ソースアセンブリから光が投影される方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。一実施形態では、ソースは、飛行時間動作中に光のパルスを投影する。
追跡システム５８０のカメラは、標的エリアから反射された光（例えば、構造化光パターン）の画像をキャプチャする。カメラは、コントローラ５２０から受信された追跡命令を実行するときに、画像をキャプチャする。前述のように、光は、追跡システム５８０のソースによって投影され得る。カメラは、１つ以上のカメラを含み得る。すなわち、カメラは、例えば、フォトダイオードのアレイ（１Ｄまたは２Ｄ）、ＣＣＤセンサ、ＣＭＯＳセンサ、追跡システム５８０によって投影される光の一部またはすべてを検出する何らかの他のデバイス、またはそれらの何らかの組み合わせであってもよい。一実施形態では、追跡システム５８０は、ＬＦディスプレイアセンブリ５１０の外部のライトフィールドカメラを含み得る。他の実施形態では、カメラは、ＬＦディスプレイアセンブリ５１０に含まれるＬＦディスプレイモジュールの一部として含まれる。例えば、前述のように、ライトフィールドモジュール５１２のエネルギーリレー素子が、エネルギーデバイス層２２０で発光ディスプレイと画像センサとの両方をインターリーブする双方向エネルギー層である場合、ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影すると同時に、ディスプレイの前の視聴エリアからの画像情報を記録するように構成され得る。一実施形態では、双方向エネルギー面からキャプチャされた画像は、ライトフィールドカメラを形成する。カメラは、キャプチャされた画像をコントローラ５２０に提供する。
追跡システム５８０のカメラは、コントローラ５２０から受信された追跡命令を実行するときに、１つ以上の撮像パラメータを調整することができる。撮像パラメータは、カメラアセンブリが画像をキャプチャする方法に影響を与えるパラメータである。撮像パラメータとしては、例えば、フレームレート、アパーチャ、ゲイン、露光長さ、フレームタイミング、カメラアセンブリが画像をキャプチャする方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。
いくつかの実施形態では、追跡システム５８０は、ＬＦディスプレイシステム５００の視聴者からの入力を受信するように構成される。追跡システム５８０は、視聴者の体の動きを追跡し、特定の追跡された動きに関する情報をコントローラ５２０に送信することができる。いくつかの実施形態では、追跡システム５８０は、ユーザに提示されるホログラフィックユーザインターフェースと協調して使用される。
コントローラ５２０は、ＬＦディスプレイアセンブリ５１０と、ＬＦディスプレイシステム５００の任意の他の構成要素と、を制御する。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、追跡モジュール５２６、視聴者プロファイリングモジュール５２８、ライトフィールド処理エンジン５３０、およびコマンドライブラリ５３２を備える。他の実施形態では、コントローラ５２０は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。例えば、追跡モジュール５２６は、ＬＦディスプレイアセンブリ５１０または追跡システム５８０の一部であり得る。
データストア５２２は、ＬＦディスプレイシステム５００の情報を記憶するメモリである。格納される情報としては、表示命令、追跡命令、放出パラメータ、撮像パラメータ、標的エリアの仮想モデル、追跡情報、カメラによってキャプチャされた画像、１つ以上のユーザプロファイル、ライトフィールドディスプレイアセンブリ５１０の較正データ、ＬＦモジュール５１２の解像度および配向を含むＬＦディスプレイシステム５１０の構成データ、所望のビューイングボリュームジオメトリ、３Ｄモデル、シーンおよび環境、材料およびテクスチャを含むグラフィックス作成のためのコンテンツ、パスワード、スマートカード、バイオメトリックデータなど、セキュリティモジュール５３４によって使用され得る認証要素を含みセキュリティ関連情報、ＬＦディスプレイシステム５００によって使用され得る他の情報、またはそれらの何らかの組み合わせを挙げることができる。データストア５２２は、読み取り専用メモリ（ＲＯＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、またはそれらの何らかの組み合わせなどのメモリである。
ネットワークインターフェース５２４は、ライトフィールドディスプレイシステムがネットワークを介して他のシステムまたは環境と通信することを可能にする。一例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を介して、オンラインのホログラフィックコンテンツストアのようなリモートサーバからホログラフィックコンテンツを受信する。別の例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を使用して、ホログラフィックコンテンツをリモートのデータストアに送信する。
追跡モジュール５２６は、ＬＦディスプレイシステム５００によって提示されたコンテンツを視聴している視聴者を追跡する。そうするために、追跡モジュール５２６は、追跡システム５８０のソース（複数可）および／またはカメラ（複数可）の動作を制御する追跡命令を生成し、追跡命令を追跡システム５８０に提供する。追跡システム５８０は、追跡命令を実行し、追跡モジュール５２６に追跡入力を提供する。
追跡モジュール５２６は、モバイルデバイスの標的エリア内の１人以上の視聴者の位置を決定することができる。決定された位置は、何らかの基準点（例えば、表示面）に対するものであり得る。他の実施形態では、決定された位置は、標的エリアの仮想モデル内にあり得る。追跡された位置は、例えば、視聴者の追跡された位置および／または視聴者の一部の追跡された位置（例えば、目の場所、手の場所など）であり得る。追跡モジュール５２６は、追跡システム５８０のカメラからキャプチャされた１つ以上の画像を使用して、位置を決定する。追跡システム５８０のカメラは、ＬＦディスプレイシステム５００の周りに分配され得、画像を立体でキャプチャすることができ、追跡モジュール５２６がユーザを受動的に追跡することを可能にする。他の実施形態では、追跡モジュール５２６は、ユーザを能動的に追跡する。すなわち、追跡システム５８０は、標的エリアのある部分を照らし、標的エリアを撮像し、追跡モジュール５２６は、飛行時間および／または構造化光深度決定技術を使用して、位置を決定する。追跡モジュール５２６は、決定された位置を使用して、追跡情報を生成する。
追跡モジュール５２６はまた、例えば、モバイルデバイス上でホログラフィックユーザインターフェースを使用している間に（以下でさらに説明する）、ＬＦディスプレイシステム５００の視聴者からの入力として、追跡情報を受信することができる。追跡情報は、ユーザがＬＦディスプレイシステム５００によって提供される様々な入力オプションに対応する体の動きを含み得る。例えば、追跡モジュール５２６は、ユーザの体の動きを追跡し、様々な動きのどれでも、入力として、ＬＦ処理エンジン５３０に割り当てることができる。追跡モジュール５２６は、追跡情報を、データストア５２２、ＬＦ処理エンジン５３０、視聴者プロファイリングモジュール５２８、コマンドストア５３２、ＬＦディスプレイシステム５００の任意の他の構成要素、またはそれらの何らかの組み合わせに提供することができる。ＬＦ処理エンジン５３０は、提供された追跡情報に部分的に基づいて、ホログラフィックコンテンツを作成し得る。
追跡モジュール５２６のための状況を提供するために、モバイルデバイス内のゲームアプリケーションで使用されるＬＦディスプレイシステム５００の例示的な一実施形態を考慮する。ユーザが自分の拳を空中で上げ下げして自身の興奮を表すことで勝利に応えるとき、追跡システム５８０は、ユーザの手の動きを記録し、その記録を追跡モジュール５２６に送信することができる。追跡モジュール５２６は、記録におけるユーザの手の動作を追跡し、後述するＬＦ処理エンジン５３０に入力を送信する。以下に説明するように、視聴者プロファイリングモジュール５２８は、ユーザの手の動きが肯定的な反応に関連付けられていることを画像内の情報が示していることを判定する。したがって、ＬＦ処理エンジン５３０は、勝利を祝福するために適切なホログラフィックコンテンツを生成する。例えば、ＬＦ処理エンジン５３０は、ゲームアプリケーションに関連付けられたホログラフィックオブジェクトのボリュームに紙吹雪を投影し得る。
ＬＦディスプレイシステム５００は、デバイスユーザを識別し、かつプロファイリングするように構成された視聴者プロファイリングモジュール５２８を含む。視聴者プロファイリングモジュール５２８は、ＬＦディスプレイシステム５００によって表示されたホログラフィックコンテンツを見る１人のユーザ（または複数のユーザ）のプロファイルを生成する。視聴者プロファイリングモジュール５２８は、ユーザの入力および監視されたユーザの行動、動作、ならびに反応に部分的に基づいて、ユーザプロファイルを生成する。視聴者プロファイリングモジュール５２８は、追跡システム５８０から取得された情報（例えば、記録された画像、ビデオ、音声など）にアクセスし、その情報を処理して、様々な情報を決定することができる。様々な例において、視聴者プロファイリングモジュール５２８は、マシンビジョンまたは機械聴覚アルゴリズムを使用して、ユーザの行動、動作、および反応を決定することができる。監視されるユーザの行動には、例えば、笑顔、歓声、拍手、笑い、恐怖、悲鳴、興奮レベル、反発、他のジェスチャの変化、またはユーザによる動きなどが含まれ得る。
より一般的には、ユーザプロファイルは、ＬＦディスプレイシステムからのホログラフィックコンテンツを見ているユーザに関して受信および／または決定された任意の情報を含み得る。例えば、各ユーザプロファイルは、ＬＦディスプレイシステム５００によって表示されたコンテンツに対するそのユーザの動作または反応を記録することができる。ユーザプロファイルに含まれ得るいくつかの例示的な情報が、以下に提供される。
ユーザプロファイルは、ＬＦディスプレイシステム５００によって表示されるコンテンツに関するユーザの行動に基づき得る。いくつかの実施形態では、デバイスに常駐するソフトウェアアプリケーションは、ＬＦディスプレイシステム５００と機能的に統合され得る。そして、ユーザプロファイルはユーザの行動に基づいており、ユーザの行動はデバイスでこれらのソフトウェアアプリケーションを実行している間に監視されている。
したがって、例えば、監視対象の行動には、ユーザが１日または１週間などの期間にアプリケーションを使用する回数、ユーザがアプリケーションの特定の設定を使用する頻度（例えば、デバイスの特定のパズルゲームアプリケーションで使用される「レベル８」設定）、ユーザが特定のタイプのホログラフィックコンテンツにどのように応答するか（例えば、時計アラームアプリケーション－ユーザにとって好ましい設定－高周波のホイッスルを伴う点滅ボタンのホログラフィック画像または点滅ボタンだけのホログラフィック画像）、特定のデバイスの使用に関連する他の行動、またはそれらの組み合わせが含まれる。
別の例では、ユーザは、ホログラフィックコンテンツと併せて提示される触覚インターフェースの好み、例えば、ＬＦディスプレイシステム１００によって生成され、オプションとしてモバイルデバイスユーザに提供され得るホログラフィックキーボードのタッチインターフェースにおける好ましいキークリック感度を示すことができる。
ユーザプロファイル情報の一部として格納されるその他のユーザの特徴には、例えば、ユーザの名前、ユーザの年齢、民族、性別、視聴場所、職業情報、教育、収入、購入に費やした金額、趣味、場所、視聴履歴、視聴したオンラインアイテムのカテゴリ、購入履歴、デバイスとアプリケーションの設定の好み、居住地、その他の人口統計情報、またはそれらの組み合わせが含まれる。
視聴者プロファイリングモジュール５２８は、特定の１人（または複数）のユーザに関連付けられたプロファイルに、サードパーティシステムまたはオンラインシステムからアクセスして、ユーザプロファイルを構築および／または更新することもできる。視聴者プロファイリングモジュール５２８は、１人（または複数）のユーザのソーシャルメディアアカウントからの情報を使用して、ユーザプロファイルを更新するように構成され得る。例えば、そのユーザのソーシャルメディアまたは他のオンラインアカウントにリンクされているサードパーティベンダーとのユーザのインタラクションは、視聴者プロファイリングモジュール５２８によってアクセスされ得るさらなるユーザプロファイル情報を提供し得る。したがって、ユーザプロファイル情報は、好きなミュージシャン、好きな映画のキャラクタ、嫌いな音楽ジャンルなどの情報を格納し、オンラインのホログラフィックコンテンツストアからコンテンツにアクセスする際にこの情報を活用することができる。
いくつかの実施形態では、データストア５２２は、視聴者プロファイリングモジュール５２８によって生成、更新、および／または維持されたユーザプロファイルを記憶するユーザプロファイルストアを含む。ユーザプロファイルは、視聴者プロファイリングモジュール５２８によって、いつでもデータストア内で更新され得る。例えば、一実施形態では、ユーザプロファイルストアは、特定のユーザが、ＬＦディスプレイシステム５００によって提供されたホログラフィックコンテンツを見るときに、その特定のユーザに関する情報を受信し、そのユーザのユーザプロファイルに記憶する。この例では、視聴者プロファイリングモジュール５２８は、ユーザを認識し、彼らが提示されたホログラフィックコンテンツを見るときに確実に識別することができる顔認識アルゴリズムを含む。例示のために、ユーザがＬＦディスプレイシステム５００の標的エリアに入ると、追跡システム５８０が、ユーザの画像を取得する。視聴者プロファイリングモジュール５２８は、キャプチャされた画像を入力し、顔認識アルゴリズムを使用してユーザの顔を識別する。識別された顔は、プロファイルストア内のユーザプロファイルに関連付けられ、そのため、そのユーザに関して取得されたすべての入力情報が、そのユーザのプロファイルに格納され得る。ユーザプロファイリングモジュールはまた、カード識別スキャナ、音声識別子、無線周波数識別（ＲＦＩＤ）チップスキャナ、バーコードスキャナなどを利用して、ユーザを確実に識別することができる。
視聴者プロファイリングモジュール５２８がユーザを確実に識別できるため、視聴者プロファイリングモジュール５２８は、ＬＦディスプレイシステム５００の各ユーザと各ユーザに関する情報を決定することができる。これは、例えばモバイルタブレットデバイスが教室の設定で複数の学生に共有される、または家族間で共有されるなど、モバイルデバイスが複数のユーザによって共有される可能性がある場合に特に妥当である。次に、視聴者プロファイリングモジュール５２８は、各訪問の日時を各ユーザのユーザプロファイルに記憶することができる。同様に、視聴者プロファイリングモジュール５２８は、感覚フィードバックシステム５７０、追跡システム５８０、および／またはＬＦディスプレイアセンブリ５１０の任意の組み合わせから受信された、ユーザからの入力を、入力が発生するたびに記憶することができる。ユーザプロファイルシステム５２８は、コントローラ５２０の他のモジュールまたは構成要素からユーザに関するさらなる情報を追加的に受信することができ、この情報は、ユーザプロファイルとともに格納され得る。次に、コントローラ５２０の他の構成要素も、そのユーザに提供される後のコンテンツを決定するために、格納されたユーザプロファイルにアクセスすることができる。コントローラ５２０は、格納されたユーザプロファイルからの、アクセスされたデータに少なくとも部分的に基づいてホログラフィックコンテンツを受信または生成するように構成され得る。例えば、家族の１０代の女子向けに生成されたユーザインターフェースは、彼女のお気に入りのホログラフィックコミックのスーパーヒロインのアバターを使用して口頭でのコマンドを受信してもよい。一方、祖父向けに生成されたユーザインターフェースは、「押す」ことを容易にするための触覚刺激と調和した見やすく大きなボタンのレンダリングを有する拡大された点滅するホログラフィックインターフェースであってもよい。
ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０によって実行されると、ＬＦディスプレイアセンブリ５１０にホログラフィックコンテンツを提示させる、ラスタライズ化されたフォーマットの４Ｄ座標（「ラスタライズ化されたデータ」）を生成する。ＬＦ処理エンジン５３０は、データストア５２２からラスタライズ化されたデータにアクセスすることができる。さらに、ＬＦ処理エンジン５３０は、ベクトル化されたデータセットからラスタライズされたデータを構築することができる。ベクトル化されたデータを以下に説明する。ＬＦ処理エンジン５３０はまた、ホログラフィックオブジェクトを拡張する感覚コンテンツを提供するために必要な感覚命令を生成することができる。上記のように、感覚命令は、ＬＦディスプレイシステム５００によって実行されると、触覚表面、サウンドフィールド、およびＬＦディスプレイシステム５００によってサポートされる他の形態の感覚エネルギーを生成することができる。ＬＦ処理エンジン５３０は、データストア５２２から感覚命令にアクセスする、または、感覚命令を構築して、ベクトル化されたデータセットを形成することができる。全体として、４Ｄ座標および感覚データは、ホログラフィックおよび感覚コンテンツを生成するためにＬＦディスプレイシステムによって実行可能な表示命令を表す。
ＬＦディスプレイシステム５００内の様々なエネルギー源を通るエネルギーの流れを説明するラスタライズされたデータの量は、信じられないほど大量である。データストア５２２からアクセスされる場合、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは可能であるが、（例えば、ネットワークインターフェース５２４を介して）効率的に送信し、受信し、その後、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは不可能である。例えば、ＬＦディスプレイシステム５００によるホログラフィック投影用の短いビデオを表すラスタライズされたデータを取り上げる。この例では、ＬＦディスプレイシステム５００は、数ギガピクセルを含むディスプレイを含み、ラスタライズされたデータは、ディスプレイ上の各ピクセル場所の情報を含む。ラスタライズされたデータの対応するサイズは膨大であり（例えば、ビデオ表示時間の毎秒多ギガバイト）、ネットワークインターフェース５２４を介した商用ネットワーク上での効率的な転送には管理できない。効率的な転送の問題は、ホログラフィックコンテンツのライブストリーミングを含むアプリケーションで増幅される可能性がある。感覚フィードバックシステム５７０または追跡モジュール５２６からの入力を使用してインタラクティブな体験が望まれる場合、単にラスタライズされたデータをデータストア５２２に記憶することに関する追加の問題が生じる。インタラクティブな体験を可能にするために、ＬＦ処理エンジン５３０によって生成されたライトフィールドコンテンツは、感覚または追跡入力に応答してリアルタイムで修正され得る。言い換えれば、場合によっては、ＬＦコンテンツは、データストア５２２から単純に読み取ることができない。
したがって、いくつかの構成では、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを表すデータは、ベクトル化されたデータフォーマット（「ベクトル化されたデータ」）でＬＦ処理エンジン５３０に転送され得る。ベクトル化されたデータは、ラスタライズされたデータよりも桁違いに小さい場合がある。さらに、ベクトル化されたデータは、データの効率的な共有を可能にするデータセットサイズを有しながら、高い画質を提供する。例えば、ベクトル化されたデータは、より密度の高いデータセットから派生した疎なデータセットである可能性がある。したがって、ベクトル化されたデータは、密度の高いラスタライズされたデータから疎なベクトル化されたデータがどのようにサンプリングされるかに基づいて、画質とデータ送信サイズとの間の調整可能なバランスを有する可能性がある。ベクトル化されたデータを生成するための調整可能なサンプリングにより、特定のネットワーク速度での画質の最適化が可能になる。結果として、ベクトル化されたデータは、ネットワークインターフェース５２４を介したホログラフィックコンテンツの効率的な送信を可能にする。ベクトル化されたデータにより、ホログラフィックコンテンツを商用ネットワーク経由でライブストリーミングすることもできる。
要約すると、ＬＦ処理エンジン５３０は、データストア５２２からアクセスされるラスタライズされたデータ、データストア５２２からアクセスされるベクトル化されたデータ、またはネットワークインターフェース５２４を介して受信されるベクトル化されたデータから導出されたホログラフィックコンテンツを生成することができる。様々な構成において、ベクトル化されたデータは、データ送信の前に符号化され、ＬＦコントローラ５２０による受信の後に復号化され得る。いくつかの例では、ベクトル化されたデータは、データ圧縮に関連する追加のデータセキュリティおよびパフォーマンスの向上のために符号化される。例えば、ネットワークインターフェースによって受信されたベクトル化されたデータは、ホログラフィックストリーミングアプリケーションから受信された符号化され、ベクトル化されたデータであり得る。いくつかの例では、ベクトル化されたデータは、デコーダ、ＬＦ処理エンジン５３０、またはこれらの両方が、ベクトル化されたデータ内の符号化された情報コンテンツにアクセスすることを必要とし得る。エンコーダおよび／またはデコーダシステムは、顧客が利用できる場合や、サードパーティベンダーにライセンス供与されている場合がある。
ベクトル化されたデータは、インタラクティブな体験をサポートする方法で、ＬＦディスプレイシステム５００によってサポートされる各感覚領域の各々の情報を含む。例えば、インタラクティブなホログラフィック体験のためのベクトル化されたデータは、ＬＦディスプレイシステム５００によってサポートされる感覚領域の各々に正確な物理学を提供することができる任意のベクトル化された特性を含む。ベクトル化された特性は、合成的にプログラムされ、キャプチャされ、計算により評価され得るなどの任意の特性を含み得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータのベクトル化された特性をラスタライズされたデータに変換するように構成され得る。次に、ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０からのベクトル化されたデータから変換されたホログラフィックコンテンツを投影することができる。様々な構成で、ベクトル化された特性には、１つ以上の赤／緑／青／アルファチャネル（ＲＧＢＡ）＋深度画像、１つの高解像度中央画像および低解像度の他のビューを含み得る様々な解像度での深度情報の有無にかかわらないマルチビュー画像、アルベドおよび反射率、表面法線、その他の光学効果、表面識別、幾何学的オブジェクト座標、仮想カメラ座標、表示面の場所、照明座標、表面の接触剛性、接触延性、接触強度、サウンドフィールドの振幅および座標、環境条件、テクスチャまたは温度の機械受容器に関連する体性感覚エネルギーベクトル、音声、ならびにその他の感覚領域特性の座標が含まれ得る。他の多くのベクトル化された特性も可能である。
ＬＦディスプレイシステム５００はまた、インタラクティブな視聴体験を生成することもできる。すなわち、ホログラフィックコンテンツは、ユーザの一、ジェスチャ、インタラクション、ホログラフィックコンテンツとのインタラクションに関する情報、または視聴者プロファイリングモジュール５２８および／または追跡モジュール５２６から導出された他の情報を含む入力刺激に応答することができる。例えば、一実施形態では、ＬＦ処理システム５００は、ネットワークインターフェース５２４を介してデバイス上のライブストリーミングアプリケーションの一部として受信されたリアルタイムパフォーマンスのベクトル化されたデータを使用して、インタラクティブな視聴体験を作成する。別の例では、ホログラフィックオブジェクトが、ユーザのインタラクションに応じて直ちに特定の方向に移動する必要がある場合、ＬＦ処理エンジン５３０は、ホログラフィックオブジェクトがその要求された方向に移動するように、シーンのレンダリングを更新することができる。これには、ＬＦ処理エンジン５３０が、ベクトル化されたデータセットを使用して、適切なオブジェクトの配置および動き、衝突検出、オクルージョン、色、陰影、照明などを有する３Ｄグラフィカルシーンに基づいて、リアルタイムでライトフィールドをレンダリングし、ユーザのインタラクションに正しく応答することが必要であり得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータを、ＬＦディスプレイアセンブリ５１０による提示のためにラスタライズされたデータに変換する。
ラスタライズされたデータには、リアルタイムのパフォーマンスを表すホログラフィックコンテンツ命令および感覚命令（表示命令）が含まれる。ＬＦディスプレイアセンブリ５１０は、表示命令を実行することによって、リアルタイムのパフォーマンスのホログラフィックおよび感覚コンテンツを同時に投影する。ＬＦディスプレイシステム５００は、追跡モジュール５２６および視聴者プロファイリングモジュール５２８を用いて、提示されたリアルタイムのパフォーマンスのコンテンツとのユーザのインタラクション（例えば、音声応答、タッチなど）を監視する。ユーザのインタラクションに応答して、ＬＦ処理エンジンは、ユーザに表示するための追加のホログラフィックおよび／または感覚コンテンツを生成することによって、インタラクティブな体験を作成する。
例示のために、モバイルデバイスでのアプリケーションの実行中に、モバイルデバイスのユーザのビューイングボリュームに浮かぶバルーンを表す複数のホログラフィックオブジェクトを生成するＬＦ処理エンジン５３０を含む、ＬＦディスプレイシステム５００の例示的な一実施形態を考慮する。ユーザは、バルーンを表すホログラフィックオブジェクトにタッチするように移動し得る。それに応じて、追跡システム５８０は、ホログラフィックオブジェクトに対するユーザの手の動きを追跡する。ユーザの動きは追跡システム５８０によって記録され、コントローラ５２０に送信される。追跡モジュール５２６は、ユーザの手の動きを連続的に決定し、決定された動きをＬＦ処理エンジン５３０に送信する。ＬＦ処理エンジン５３０は、シーン内のユーザの手の配置を決定し、ホログラフィックオブジェクトに必要な任意の変更（位置、色、またはオクルージョンなど）を含むために、グラフィックスのリアルタイムレンダリングを調整する。ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０（および／または感覚フィードバックシステム５７０）に、体積触覚投影システムを使用して（例えば、超音波スピーカを使用して）触覚表面を生成するように指示する。生成された触覚表面は、ホログラフィックオブジェクトの少なくとも一部に対応し、ホログラフィックオブジェクトの外面の一部またはすべてと実質的に同じ空間を占有する。ＬＦ処理エンジン５３０は追跡情報を使用して、ＬＦディスプレイアセンブリ５１０に、バルーンにタッチする視覚的および触覚的知覚の両方をユーザが与えられるように、触覚表面の位置を、レンダリングされたホログラフィックオブジェクトの位置とともに移動するよう動的に指示する。より簡単に言えば、ユーザがホログラフィックバルーンにタッチしている自分の手を見ると、ユーザは同時に、手がホログラフィックバルーンにタッチし、タッチに応答してバルーンが位置または動作を変更することを示す触覚フィードバックを感じる。いくつかの例では、データストア５２２からアクセスされるコンテンツとアプリケーションを実行することとに関連してインタラクティブバルーンを提示するのではなく、インタラクティブバルーンは、ネットワークインターフェース５２４を介してライブストリーミングアプリケーションから受信されるホログラフィックコンテンツの一部として受信され得る。
ＬＦ処理エンジン５３０は、携帯型モバイルデバイス上のメディアコンテンツの視聴者に同時表示するためのホログラフィックコンテンツを提供することができる。例えば、ＬＦディスプレイシステム５００で拡張され、モバイルデバイス上で見られているビデオは、ビデオの上映中にユーザに提示されるホログラフィックコンテンツ（「ホログラフィックコンテンツトラック」）を含む。ホログラフィックコンテンツトラックは、デバイスによって受信され、データストア５２２に格納され得る。ホログラフィックコンテンツトラックは、デバイス上でビデオを視聴するユーザの視聴体験を強化させるホログラフィックコンテンツを含む。
ＬＦ処理エンジン５３０は、ユーザプロファイルに基づいてホログラフィックコンテンツを作成、修正、および／または更新することができる。ユーザプロファイルの更新は、表示されているホログラフィックコンテンツの更新を招き得る。いくつかの実施形態では、ＬＦ処理エンジン５３０は、人工知能モデルと併せてユーザプロファイルに基づいてホログラフィックコンテンツを作成、修正、および／または更新することができる。
ホログラフィックコンテンツトラック内のホログラフィックコンテンツは、ホログラフィックコンテンツを表示するために、任意の数の時間的合図、聴覚的合図、視覚的合図、その他の合図に関連付けられ得る。例えば、ホログラフィックコンテンツトラックは、ビデオの上映中の特定の時間に表示されるホログラフィックコンテンツを含むことができる。一例として、ホログラフィックコンテンツトラックは、ビデオ「Ｂｏｔｔｌｅｎｏｓｅｄ」の開始から３５分４２秒後に、ビデオの上映中に表示されるホログラフィックドルフィンのポッドを含み得る。別の例では、ホログラフィックコンテンツトラックは、感覚フィードバックシステム５７０が特定の音声の合図を記録するときに提示されるホログラフィックコンテンツを含む。一例として、ホログラフィックコンテンツトラックは、感覚フィードバックアセンブリ５７０によって記録された音声が、ユーザ／プレーヤーが笑っていることを示すときに、ゲームアプリケーションの実行中に提示するための笑っているホログラフィックアバターを含む。別の例では、ホログラフィックコンテンツトラックは、追跡システム５８０が特定の視覚的合図を記録するときに提示されるホログラフィックコンテンツを含む。例として、ホログラフィックコンテンツトラックには、「停止しますか？」という言葉が付いたホログラフィック点滅サインが含まれており、これはユーザがデバイスから離れようとしていることを示す情報を追跡システム５８０が記録するときに表示される。聴覚的および視覚的合図の決定については、以下で詳しく説明する。
ホログラフィックコンテンツトラックには、空間レンダリング情報も含まれる場合がある。すなわち、ホログラフィックコンテンツトラックは、表示されたビデオトラックのホログラフィックコンテンツを提示するための空間的場所を示し得る。例えば、ホログラフィックコンテンツトラックは、特定のホログラフィックコンテンツがいくつかのホログラフィックビューイングボリュームで提示され、他のボリュームでは提示されないことを示し得る。例示のために、ＬＦ処理エンジン５３０は、ユーザの顔の真正面にあるホログラフィックビューイングボリュームに電子メールアプリケーションを表示するホログラフィックスクリーンを提示し得る。同様に、ホログラフィックコンテンツトラックは、ホログラフィックコンテンツがいくつかのビューイングボリュームで提示され、他のボリュームでは提示されないことを示し得る。例えば、ＬＦ処理エンジンは、ホログラフィックスクリーンをユーザの顔の真正面にあるビューイングボリュームに表示するが、他のビューイングボリュームには表示しないため、当該スクリーンはユーザだけのプライベートなものとなる。
ＬＦ処理エンジン５３０は、デバイス上で実行されているアプリケーションと併せてユーザに表示するためのホログラフィックコンテンツを提供し得る。取引手数料と引き換えにモバイルデバイスにダウンロードするためのホログラフィックコンテンツを利用可能にするオンラインのホログラフィックコンテンツストアから、ホログラフィックコンテンツをネットワークを介してＬＦディスプレイシステム５００のデバイスで受信することができる。例えば、ユーザはオンラインのホログラフィックコンテンツストアにアクセスし、デバイスで実行されるアプリケーションと併せてホログラフィックアバターとして使用するための取引手数料と引き換えに特定のスーパーヒーローキャラクタを取得できる。取引手数料と引き換えにモバイルデバイスにダウンロードして実行するためのホログラフィックアプリケーションを利用可能にするオンラインのホログラフィックアプリケーションストアから、ホログラフィックコンテンツをネットワークを介してＬＦディスプレイシステム５００で受信することができる。例えば、ユーザは、ホログラフィックアバターを生成およびカスタマイズするためのアプリケーションを購入するためにホログラフィックアプリケーションストアにアクセスすることができ、実行可能なアプリケーションは、ホログラフィックアバターを生成およびカスタマイズするための専用のホログラフィックユーザインターフェースをダウンロードすることができる。ホログラフィックコンテンツは、デバイス上で実行される特定のアプリケーションに関連付けられた広告コンテンツの一部として提供され得る。例えば、ユーザがモバイルデバイス上のゲームアプリケーションをクリックすると、ＬＦディスプレイシステム５００は、広告主によって提供される広告として製品のホログラフィックコンテンツにアクセスし、ゲームアプリケーションの過程でこれらを表示することができる。ホログラフィックコンテンツは、データストア５２２に格納されるか、またはネットワークインターフェース５２４を介してベクトル化されたフォーマットでＬＦディスプレイシステム５００にストリーミングされ得る。
ＬＦ処理エンジン５００はまた、場所の環境特性に適合するようにホログラフィックコンテンツを修正することができる例えば、ユーザが暗室空間、明るい部屋、日当たりの良い屋外の場所、その他の場所にいるかに基づいて、ＬＦ処理エンジンはモバイルデバイスのホログラフィックコンテンツを修正して、その場所の明暗に適した明るさで表示することができる。ＬＦ処理エンジンは、データストア５２２に格納されたデータを、追跡モジュール５８０のカメラシステムからの情報とともに使用して、ホログラフィックコンテンツの表示をカスタマイズすることができる。さらに、ホログラフィックコンテンツの変更はまた、視聴者プロファイリングモジュール５２８によって決定されたユーザ表示設定の好みを利用することができる。
ＬＦ処理エンジン５３０はまた、感覚フィードバックシステム５７０から受信した情報に応答してホログラフィックコンテンツを修正することができる。例えば、感覚フィードバックシステム５７０の加速度計は、モバイルデバイスの線形加速度を測定することができる。ＬＦ処理エンジン５３０は、表示されたホログラフィックコンテンツを修正して、加速によって引き起こされるホログラフィック表示の視覚的な微小振動を除去することができる。同様に、感覚フィードバックシステム５７０内のジャイロスコープは、モバイルデバイスの向きの変化を検出して、検出された変化に基づいて、表示されたホログラフィックコンテンツの向きを変えることができる。いくつかの実施形態では、追跡モジュール５２６は、ユーザの頭の回転を追跡して、これに応答して、表示されたホログラフィックＵＩの向きを変えることができる。
ＬＦ処理エンジン５３０はまた、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成することができる。重要なことには、ここで、表示のためのホログラフィックコンテンツを作成することは、表示のためのホログラフィックコンテンツをアクセスすること、または受信することとは異なる。すなわち、コンテンツを作成するとき、ＬＦ処理エンジン５３０は、以前に生成および／または受信されたコンテンツをアクセスするのではなく、表示のための全く新しいコンテンツを生成する。ＬＦ処理エンジン５３０は、データストア５２２、追跡モジュール５２６、視聴者プロファイリングモジュール５２８、感覚フィードバックシステム５７０、追跡システム５８０、またはそれらの何らかの組み合わせから情報を取得または受信して、表示のためのホログラフィックコンテンツを作成することができる。いくつかの例では、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００の要素からの情報（例えば、追跡情報および／またはユーザプロファイル）にアクセスし、その情報に基づいてホログラフィックコンテンツを作成し、作成されたホログラフィックコンテンツを、ＬＦディスプレイシステム５００を使用して表示することができる。作成されたホログラフィックコンテンツは、ＬＦディスプレイシステム５００によって表示されるときに、他の感覚コンテンツ（例えば、タッチ、音声、圧力、力、または匂い／嗅覚）で拡張され得る。さらに、ＬＦディスプレイシステム５００は、将来の使用のために、作成されたホログラフィックコンテンツをデータストア５２２に格納することができる。
いくつかの実施形態では、ＬＦ処理エンジン５３０は、モバイルデバイスの動作状態の変化に応答して、生成されたホログラフィックコンテンツに対して更新、修正、削除、一時停止、またはそれらの組み合わせをすることができる。いくつかの実施形態では、ＬＦ処理エンジン５３０は、追跡システム５８０によって受信されて追跡モジュール５２６によって解釈された情報に応答して、生成されたホログラフィック表示に対して更新、修正、削除、一時停止、またはそれらの組み合わせをすることができる。例えば、追跡モジュール５８０は、ホログラフィックキャラクタがデバイスと対話しているユーザとアイコンタクトするようホログラフィックキャラクタを再レンダリングするために、追跡システム５８０からキャプチャしたユーザ視線情報をＬＦディスプレイモジュールに提供することができる。いくつかの実施形態では、ユーザによって行われた操作上の選択は、ホログラフィックコンテンツの表示に影響を及ぼし得る。例えば、ユーザがアラームアプリケーションにアラートを午前６時に生成させる操作上の選択を行ったとＬＦディスプレイシステムが判断した場合、ＬＦディスプレイシステムは、点滅する赤いボタンのホログラフィック描写とアラート音を午前６時にのみ、またはユーザが設定したように提示することができる。
いくつかの実施形態では、ＬＦディスプレイシステム５００は、コマンドライブラリ５３２を含む。コマンドライブラリ５３２は、ユーザコマンドを認識して解釈するコマンドインターフェースとして機能することができる。認識されたコマンドは、モバイルデバイスの動作状態を変化させ得る。ユーザコマンドは、感覚フィードバックシステム５７０から受信した追跡情報（例えば、音声）、追跡モジュール５２６から受信した追跡情報（例えば、追跡されたジェスチャまたは表情）、視聴者プロファイリングモジュール５２８から受信した追跡情報（例えば、格納された個々の好み）、またはそれらのいくつかの組み合わせに基づいて解釈され得る。コマンドライブラリ５３２は、ヒューリスティックを適用してユーザコマンドを解釈し、ＬＦ処理エンジン５３０に、適切なホログラフィックコンテンツ、触覚、および他の任意の多感覚情報を生成するように指示することができる。コマンドライブラリ５３２は、受信したユーザコマンドの、ＬＦディスプレイシステム５００によって実行することができる計算コマンドに対するマッピングを格納する。コマンドライブラリ５３２はまた、格納されたマッピングに関連するヒューリスティックを格納する。コマンドライブラリ５３２は、ＬＦディスプレイシステム５００によって表示されるホログラフィックユーザインターフェースを介してユーザコマンドを受信することができる。ＬＦディスプレイシステム５００によってモバイルデバイスを介して受信される可能性のあるユーザコマンドの例は、ユーザによるホログラフィックオブジェクトの様々なタッチによる接触（例えば、特定の表示されたホログラフィックの「ボタン」を指でタッチすること）およびホログラフィックオブジェクトの表面に対する様々なタッチによる動き（例えば、表示されたホログラフィックの「ノブ」を回すこと）を含み得る。いくつかの実施形態では、ユーザがホログラフィックユーザインターフェースの一部として投影される表示されたホログラフィックオブジェクトの閾値距離内にあると追跡モジュール５２６によって判定されたときに、タッチによる接触またはタッチによる動きが発生したと判定され得る。いくつかの実施形態では、ユーザコマンドは、標的エリア内にいる間にユーザによって話される口頭コマンドなどの、ユーザによって提供される感覚フィードバック（例えば、「私に次のガソリンスタンドの場所を教えて」という形式の音声コマンドは、モバイルデバイス上の音響受信機を使用してキャプチャされる）、追跡システム５８０によってキャプチャされるジェスチャおよび体の動き（例えば、タイマーを一時停止する必要があることを示すために標的エリア内でユーザが挙手すること）、感覚フィードバックシステム５７０などの一部としてディスプレイに接続された物理的なスイッチ、ノブ、ボタン、またはダイヤルの感知、またはそれらの組み合わせを含み得る。
受信したユーザコマンドに対応するＬＦ処理エンジンによって実行される計算コマンドは、特定のホログラフィックオブジェクトの表示、ホログラフィックコンテンツの表示の更新、特定のホログラフィックオブジェクトの表示の修正、ホログラフィックオブジェクトのシーケンスの表示、ＬＦディスプレイシステム５００によって提示されているコンテンツの一時停止または再生、表示されたオブジェクトの削除、またはそれらの組み合わせを含み得る。他の計算コマンドは、例えば、他のセンサやコントロール、例えばジョイスティックのゲームコントロールを作動させることを含み得る。したがって、いくつかの実施形態では、検出されたユーザアクション、例えば、表示されたホログラフィックの「ダイヤル」を回すことが、追跡システム５８０によってコマンドライブラリ５３２に報告される。応答として、コマンドライブラリ５３２は、格納されたヒューリスティックの中からヒューリスティックを適用し、例えば、表示されたホログラフィックの時計にタイマーアプリケーションを適切に設定するために、システムに命令を送信することを含む計算コマンドを実行する必要があると判断し得る。
いくつかの実施形態では、コマンドライブラリ５４０は、データストア５２２および追跡モジュール５８０から情報を受信して、より低い信頼度で検出され得るユーザコマンドに基づいて曖昧なマッピングを解決する。しかしながら、追跡システム５８０からの情報およびデータストア５２２からのユーザプロファイル情報は、マッピングを明確にし、実行される特定の計算コマンドを決定するのに十分なヒューリスティック情報を提供し得る。この決定された計算コマンドは、実行のためにＬＦ処理エンジン５３０に提供される。
いくつかの実施形態では、ＬＦディスプレイシステム５００は、セキュリティモジュール５３４を含む。セキュリティモジュール５３４は、ＬＦディスプレイシステムによって提供される機能の少なくともいくつかに対して安全なアクセスを強制する。そうするために、セキュリティモジュール５３４は、モバイルデバイスのユーザからパスワードまたは生体認証データなどの認証資格情報を受信するためのユーザインターフェース要素をＬＦディスプレイシステム５００によって生成することができる。セキュリティモジュールは、データストア５２２に格納されたデータに基づいて資格情報を認証することができる。ユーザを認証した後、セキュリティモジュール５３４は、ＬＦディスプレイシステム５００の機能の一部またはすべてに対するユーザによる安全なアクセスを可能にすることができる。いくつかの実施形態では、セキュリティモジュール５３４は、データストアまたはオンラインソースからアクセスされる特定のホログラフィックコンテンツの表示、またはモバイルデバイス上での特定のアプリケーションの実行を可能にすることができる。例えば、ＬＦディスプレイシステムは、ユーザ資格情報を認証した場合にのみ特定のホログラフィックコンテンツを視聴者に提示し、認証されたユーザ資格情報がない場合は提示しなくてもよい。セキュリティモジュール５３４は、モバイルデバイスユーザの認証に関する情報を、データストア５２２、視聴者プロファイリングモジュール５２８、ＬＦ処理エンジン５３０、コマンドライブラリ５３２、ＬＦディスプレイシステム５００の任意の他の構成要素、またはそれらの何らかの組み合わせに提供することができる。
ＬＦディスプレイシステムのための動的コンテンツ生成
いくつかの実施形態では、ＬＦ処理エンジン５３０は、人工知能（ＡＩ）モデルを組み込んで、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成する。ＡＩモデルは、回帰モデル、ニューラルネットワーク、分類器、または他のＡＩアルゴリズムを含むがこれらに限定されない、教師付きもしくは教師なし学習アルゴリズムを含み得る。ＡＩモデルは、ユーザの行動に関する情報を含み得る、ＬＦディスプレイシステム５００によって（例えば、追跡システム５８０によって）記録されたユーザ情報に基づいて、ユーザの好みを決定するために使用することができる。ＡＩモデルはまた、学習された各ユーザの好みを、データストア５２２のユーザプロファイルストアに格納することができる。いくつかの例では、複数のユーザがモバイルデバイスを操作する場合、ＡＩモデルは、特定の個々のユーザのためのホログラフィックコンテンツを、そのユーザの学習された好みに基づいて作成することができる。ＡＩモデルは、ホログラフィックコンテンツを作成および／または修正するために、データストア５２２からの情報にアクセスすることができる。いくつかの実施形態では、ＡＩモデルは、学習アルゴリズムの結果を使用して、コマンドライブラリ５３２に格納されたコマンドマッピングのためのユーザ固有のヒューリスティックを確立することができる。
ユーザの特徴を識別し、反応を識別し、および／または識別された情報に基づいてホログラフィックコンテンツを生成するために使用され得るＡＩモデルの一例が、現在の層のノードの値が前の層のノードでの値の変換である、ノードの層を有する畳み込みニューラルネットワークモデルである。モデルにおける変換は、現在の層と前の層とを接続する、重みとパラメータとのセットによって決定される。いくつかの例では、変換はまた、モデル内の前の層間を変換するために使用される重みとパラメータとのセットを介して決定され得る。
モデルへの入力は、第１の畳み込み層上に符号化された、追跡システム５８０によって撮影された画像であり得、モデルの出力は、ニューラルネットワークの出力層から復号されたホログラフィックコンテンツである。代替的または追加的に、出力は、画像内のユーザの決定された特徴であり得る。この例では、ＡＩモデルは、ユーザの特徴を表す画像内の潜在情報を、ニューラルネットワークの中間層の１つで識別できる。各層で識別された要素間の関連性情報は、対応する中間層の間に変換のセットを適用することで取得できる。変換の重みとパラメータは、開始層に含まれる情報と最終出力層から取得される情報との関係を示し得る例えば、重みおよびパラメータは、画像内の笑顔のユーザを表す情報に含まれる形状、色、サイズなどの量子化であり得る。重みおよびパラメータは、履歴データ（例えば、以前に追跡されたユーザ）に基づき得る。いくつかの実施形態では、追跡システムからの情報をＡＩモデルと併せて使用して、提示されたホログラフィックコンテンツと一致するか、または閾値距離内にある体積触覚表面を生成することができる。
一実施形態では、ＡＩモデルは、強化学習でトレーニングされた決定論的方法を含む（それにより、強化学習モデルを作成する）。モデルは、追跡システム５８０からの測定値を入力として使用するとともに、作成されたホログラフィックコンテンツへの変更を出力として使用して、パフォーマンスの品質を高めるようにトレーニングされる。
強化学習は、数値的な報酬信号を最大化するために、機械が「何をすべきか」（状況を動作にマッピングする方法）を学習する機械学習システムである。学習器（例えば、ＬＦ処理エンジン５３０）は、取るべき動作（例えば、所定のホログラフィックコンテンツの生成）を告げられていないが、代わりに、動作を試行することによって、どの動作が最大の報酬をもたらすか（例えば、ユーザをより笑顔にすることによってホログラフィックコンテンツの品質を高めること）を発見する。場合によっては、動作は、即時報酬だけでなく、次の状況、そしてそれを通じて、その後のすべての報酬にも影響を及ぼし得る。これらの２つの特徴（試行錯誤による探索および遅延報酬）が、強化学習の２つの際立った特徴である。
ＡＩモデルは、任意の数の機械学習アルゴリズムを含むことができる。使用され得るいくつかの他のＡＩモデルは、線形および／またはロジスティック回帰、分類および回帰ツリー、ｋ平均法クラスタリング、ベクトル量子化などである。一般に、ＬＦ処理エンジン５３０が、追跡モジュール５２６および／または視聴者プロファイリングモジュール５２８から入力を取得し、機械学習モデルが、それに応じてホログラフィックコンテンツを作成する。同様に、ＡＩモデルは、ホログラフィックコンテンツのレンダリングを指示し得る。
ネットワーク環境
図６は、１つ以上の実施形態による、ネットワーク環境６００のブロック図を描写する。ネットワーク環境６００は、１つ以上モバイルデバイス６１０と、ネットワーク６３０と、１つ以上のリモートサーバ６４０とを含む。
一実施形態では、モバイルデバイス６１０は、コンピュータプログラムモジュール、例えば、ウェブブラウザまたはクライアントアプリケーションを実行する携帯型コンピューティングデバイスであり、これにより、ユーザはインターネットを閲覧し、メディアコンテンツを消費し、多様なソフトウェアアプリケーションを実行することができる。モバイルデバイス６１０は、例えば、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、専用の電子リーダー、または任意の他のタイプのポータブルなネットワーク対応デバイスであり得る。モバイルデバイス６１０は、ライトフィールドディスプレイシステム６１２およびユーザインターフェース６１４を備える。他の実施形態では、モバイルデバイス６１０は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。
モバイルデバイス６１０は、他の構成要素の中でもとりわけ、ＬＦディスプレイシステム６１２、ユーザインターフェース６１４、モバイルオペレーティングシステム（ＯＳ）６１６、電力システム６１８、および全地球測位システム（ＧＰＳ）モジュール６２０を備える。ＬＦディスプレイシステム６１２は、図５に描写されたＬＦディスプレイシステム５００の一実施形態である。ユーザ６５０は、ユーザインターフェース６１４を介してモバイルデバイス６１０と対話することができる。
ＬＦディスプレイシステム６１２は、モバイルデバイス６１０のハードウェアコンポーネントにアクセスすることができる。例えば、ＬＦディスプレイシステム６１２は、モバイルデバイス内の電源回路にアクセスして、バッテリなどの電源またはモバイルデバイス上の充電ユニットから電力を引き出すことによって、ＬＦディスプレイシステム６１２自体に電力を供給することができる。追跡システム５８０は、１つ以上カメラ、またはモバイルデバイス６１０の深度センサ、またはＧＰＳモジュール６２０にアクセス可能であり得る。感覚フィードバックシステム５７０は、ユーザインターフェース６１４のボタン、スイッチ、マイクロフォン、またはキーボードにアクセスすることができる。コントローラ５２０は、時間ベースの機能のために必要に応じてモバイルデバイス内のリアルタイムクロック（ＲＴＣ）回路にアクセスすることができる。視聴者プロファイリングモジュール５２８は、指紋センサまたはキーボードに直接アクセスすることでユーザ識別を決定することができる。ユーザプロファイリングモジュールは、ネットワーク６３０に接続されたネットワークインターフェース６１４を介してユーザプロファイル情報をダウンロードまたはアップロードすることができる。ＬＦディスプレイアセンブリは、ユーザ設定に応じて、ホログラフィックコンテンツまたは２Ｄコンテンツを投影することができる。一般に、ＬＦディスプレイシステム６１２は、モバイルデバイス６１０の他のハードウェアコンポーネントに統合されている。
モバイルデバイス６１０は、モバイルデバイス６１０のユーザ６５０にモバイル操作体験を提供するモバイルＯＳ６１６を含む。モバイルＯＳ６１６は、携帯電話機能、ＬＦディスプレイシステムの操作機能、ディスプレイやＩ／Ｏデバイスを含むモバイル環境に適したユーザインターフェース機能などの提供を管理する。ＬＦディスプレイシステム６１２は、ＬＦディスプレイシステム５００によって提供されるようなホログラフィックディスプレイであり得る。モバイルＯＳ６１６は、モバイルＯＳ６１６のユーザインターフェースを介してユーザによって制御され得る、モバイルデバイス６１０上で実行されるアプリケーションプログラムを管理する。ユーザインターフェースは、ＬＦディスプレイシステム６１２から投影されたグラフィカルユーザインターフェース（ＧＵＩ）であり得る。モバイルＯＳ６１６には様々な抽象化層があり、各層は下位層とインターフェースしている。また、モバイルＯＳ６１６はＣＰＵ、メモリ、Ｉ／Ｏなどのモバイルデバイスリソースを管理するためのカーネルを含んでいる。カーネルは、プロセスの低レベルのスケジューリング、プロセス間通信、プロセスの作成と削除、割り込み処理などの機能を提供する。モバイルＯＳの他の抽象化層は、システムコールまたはアプリケーションプログラミングインターフェース（ＡＰＩ）層を介してカーネルと対話する。モバイルデバイス６１０のユーザ６５０は、ユーザインターフェース６１４を介してモバイルＯＳ６１６と対話することができる。
モバイルＯＳの機能的観点は、モバイルＯＳ６１６をイベント駆動型システムと見なし、モバイルデバイス６１０のハードウェアによって配信されるイベントの待機ループに常駐し、イベントキュー内にある配信されたイベントへの適切な応答を可能にすることである。そのようなイベントの例は、例えば、２Ｄタッチスクリーンの特定の場所へのタッチ、セルラーネットワークを介した着信コール、ネットワークインターフェースを介したメッセージなどであり得る。さらに、イベント駆動型モバイルＯＳ６１６は、投影されたホログラフィックインターフェースに対する手、指、または他の身体部分のタッチ、追跡システム５８０から受信した追跡データに基づいて追跡モジュール５２６によって報告されたジェスチャ、投影されたホログラフィックボタンなどと同じ場所に配置された、一致する触覚表面での圧力関連のタッチイベントなど、ＬＦディスプレイシステム６１２によって報告されたイベントに応答し得る。モバイルデバイスのハードウェアコンポーネントによって配信されるこれらのイベントおよびその他のイベントに対するモバイルＯＳによる応答には、モバイルＯＳ機能のすべての抽象化層でモバイルＯＳによって実行されるアクションが含まれる。
モバイルＯＳ６１６またはモバイルＯＳ６１６上で実行中のアプリケーションは、ＬＦディスプレイシステム６１２を管理して、ＬＦディスプレイシステム６１２が必要に応じてモバイルデバイスのハードウェアコンポーネントにアクセスできるようにする。モバイルＯＳ６１６上で実行中のアプリケーションは、ユーザによる要求に応じてホログラフィックコンテンツの提示を管理することができる。同様に、モバイルＯＳ６１６は、ホログラフィックユーザインターフェースを示し、追跡モジュール５２６によって提供される追跡情報に基づいてユーザからの操作上の選択を受け入れることができ、追跡モジュール５２６は、追跡システム５８０からのデータを分析することができる。モバイルＯＳ６１６は、ソーシャルメディアアカウントにアクセスするアプリケーションを実行し、パーソナライズされたホログラフィックコンテンツを提示するために視聴者プロファイリングモジュール５２８とインターフェースすることができる。一般に、モバイルＯＳ６１６は、ＬＦディスプレイシステム６１２のコントローラ５２０とインターフェースして、コントローラを管理し、ホログラフィックコンテンツを表示し、モバイルデバイス６１０のハードウェアコンポーネントへのアクセスを提供することができる。いくつかの実施形態では、モバイルＯＳ６１６は、ＬＦディスプレイシステムのコントローラ５２０を管理するためのドライバとして機能するプラガブルモジュールを受け取ることができる。モバイルＯＳは、モバイルＯＳ６１６上で実行されるこれらのモジュールまたはアプリケーションとインターフェースし、ホログラフィックコンテンツを表示し、ユーザプロファイリング情報を提供または検索し、追跡情報を交換するなどのために、ＬＦディスプレイシステムのコントローラ５２０へのＡＰＩコールにアクセスすることができる。
モバイルデバイス６１０は、モバイルデバイス６１０の様々な構成要素に電力を供給するための電力システム６１８を含む。電力システム６１８は、電力管理システム、１つ以上の電源（例えば、電池、交流（ＡＣ）、再充電システム、電力障害検出回路、電力変換器またはインバータ、電力状態インジケータ、およびモバイルデバイスの電力の生成、管理、および分配に関連するその他のコンポーネントを含み得る。前述のように、ＬＦディスプレイシステム６１２は、モバイルデバイス上の電力システム６１８にアクセスすることによってＬＦディスプレイシステム６１２自体に電力を供給することができる。
モバイルデバイス５１０は、ＧＰＳモジュール６２０を含む。ＧＰＳモジュール６２０は、モバイルデバイスの位置を決定し、様々なアプリケーションで使用するためにこの情報を提供する。この位置情報は、ＬＦディスプレイシステム５００に提供することができ、地図ベースのアプリケーションなどの位置情報を活用することができるアプリケーションなどで使用される。いくつかの実施形態では、ＬＦディスプレイシステム５００は、ＧＰＳモジュール６２０からのデータに応答して、およびＧＰＳモジュール６２０から受信した位置データに基づいて、ホログラフィックコンテンツを表示することができる。例えば、ＬＦディスプレイシステム５００は、実行中のナビゲーションアプリケーションに関連付けられて、モバイルデバイス上で実行されるナビゲーションアプリケーションによって目的地にマッピングされる位置座標をＧＰＳモジュールが提供すると、その場所への到着を示すホログラフィックコンテンツを表示することができる。
ネットワーク６３０は、ローカルエリアおよび／またはワイドエリアネットワークの任意の組み合わせを含み、有線および／または無線通信システムの両方を使用し得る。例えば、ローカルエリアネットワークには、ＷｉＦｉおよびＢｌｕｅｔｏｏｔｈネットワークが含まれ得る。一実施形態では、ネットワーク６３０は、標準的な通信技術および／またはプロトコルを使用する。例えば、ネットワーク６３０は、イーサネット、８０２．１１、マイクロ波アクセスの世界的な相互運用性（ＷｉＭＡＸ）、３Ｇ、４Ｇ、符号分割多元接続（ＣＤＭＡ）、デジタル加入者ライン（ＤＳＬ）などの技術を使用した通信リンクを含む。ネットワーク６３０を介した通信に使用されるネットワーキングプロトコルの例には、マルチプロトコルラベルスイッチング（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）、シンプルメール転送プロトコル（ＳＭＴＰ）、およびファイル転送プロトコル（ＦＴＰ）が含まれる。ネットワーク６３０を介して交換されるデータは、ハイパーテキストマークアップ言語（ＨＴＭＬ）または拡張可能マークアップ言語（ＸＭＬ）などの任意の好適なフォーマットを使用して表し得る。いくつかの実施形態では、ネットワーク６３０の通信リンクのすべてまたはいくつかは、任意の好適な技術または複数の技術を使用して暗号化され得る。
１つ以上のリモートサーバ６４０は、モバイルデバイス６１０と、ネットワーク６３０を介して通信することができる。一実施形態では、リモートサーバ６４０は、実行するためのアプリケーションならびにデバイス６１０上に表示するためのコンテンツを提供するアプリケーションプロバイダであり得る。リモートサーバは、取引手数料と引き換えにモバイルデバイス上でダウンロードおよび実行するためのホログラフィックアプリケーションを利用できるようにするオンラインのホログラフィックアプリケーションストアであり得る。リモートサーバ６４０は、取引手数料と引き換えにモバイルデバイスにダウンロードするためのホログラフィックコンテンツを利用できるようにするオンラインのホログラフィックコンテンツストアであり得る。リモートサーバ６４０は、サードパーティのアプリケーションおよび／またはコンテンツプロバイダであり得る。新しいアプリケーション、新しいコンテンツ、ならびに既存のアプリケーションおよびコンテンツへの更新は、ネットワーク６３０を介したプッシュ対応またはプル対応の更新のいずれかを介して、リモートサーバ６４０からデバイス６１０で実行および／または表示するために利用可能であり得る。これらのアプリケーションおよびコンテンツは、ライトフィールドディスプレイシステム６１２による投影および表示のためにデータストア５２２に格納されるホログラフィックコンテンツトラックを含み得る。モバイルディスプレイデバイス６１０が利用可能なコンテンツは、モバイルデバイス６１０でのソフトウェアアプリケーションの実行に関連付けられてライトフィールドディスプレイシステム６１２によって表示される広告、製品オファー、および製品クーポンを含み得る。例えば、人気のあるアニメーションキャラクタを描写するホログラフィックコンテンツは、ネットワーク６３０を介してサードパーティコンテンツプロバイダからダウンロードされ、１つ以上のアプリケーションでユーザ６５０を表す「ホログラフィックアバター」としてユーザ６５０が使用するためにライトフィールドディスプレイシステム６１２に格納され得る。
１つ以上の複数の実施形態では、デバイス６１０への無許可のネットワークアクセスが防止されることを保証するために、システムは、セキュリティ設定を使用して、デバイス６１０への安全な接続、および／またはデバイス６１０にコンテンツをダウンロードするための安全な接続を確立するために、エンティティによるデバイス６１０へのネットワークアクセスを認証することができる。いくつかの実施形態では、デバイス６１０は、パスワードおよびスマートカードなどの認証要素を取り込む、またはネットワーク６３０またはユーザインターフェース６１４のいずれかを介してモバイルデバイス６１０にアクセスするときにアクセス制御を実施するために生体認証方法を使用することができる。
ＬＦディスプレイシステムにおけるホログラフィックユーザインターフェースと「タッチ」解釈
以下は、ユーザがモバイルデバイスと対話するためのホログラフィックユーザインターフェース（ＵＩ）を生成するためのＬＦディスプレイシステムのいくつかの実施形態の説明である。この説明は、図５のＬＦディスプレイシステム５００に示されている要素を参照する。
いくつかの実施形態では、生成されたホログラフィックＵＩは、ユーザに提示される１つ以上のホログラフィックＵＩオブジェクトを含むユーザインターフェースである。いくつかの実施形態では、提示されたホログラフィックＵＩオブジェクトはまた、例えば、ホログラフィックオブジェクトが存在するように見えるモバイルデバイスの表面上に浮かぶ仮想スクリーンを描写する仮想画像ディスプレイの一部であり得る。いくつかの実施形態では、提示されたホログラフィックオブジェクトおよび／または仮想画像は、デバイス上の物理的ＵＩを拡張し得る。生成されたホログラフィックＵＩオブジェクトには、「ボタン」、「ノブ」、「ダイヤル」、「キーパッド」などの３Ｄホログラフィックオブジェクトが含まれ得るが、これらに限定されない。生成されたホログラフィックオブジェクトには、多数のオプションのリストを含むホログラフィックメニューを表示するホログラフィックの「スクリーン」などの２Ｄホログラフィックオブジェクトも含まれ得る。ユーザは、ホログラフィックメニューの特定のオプションを（例えば、指で）指したりまたはタッチしたりすることによって、１つ以上のオプションを選択するように（例えば、音声の合図または視覚的に表示されるプロンプトを通じて）促され得る。
いくつかの実施形態では、提示されたホログラフィックＵＩオブジェクトは、触覚刺激で拡張されて、提示されたホログラフィックオブジェクトの表面と同じ場所に配置される触覚表面を生成し得る。したがって、例えば、感覚フィードバックシステム５７０は、超音波エネルギー、例えば、圧力波を投影して、ホログラフィックの「ボタン」上に、正面に表示された表面と併置される触覚表面を生成することができる。追跡システム５８０は、ホログラフィックの「ボタン」に向かうユーザの動き（例えば、ユーザの指の動き）を追跡することができる。移動情報は、追跡システム５８０によってコントローラ５２０に送信され得る。コントローラ５２０の追跡モジュール５２６は、追跡された指が提示された触覚表面のある閾値距離内にあるとき、指がホログラフィックの「ボタン」に「触れている」または「押している」と判断することができる。さらに、追跡モジュール５２６によるこの決定に応答して、コマンドライブラリ５３２は、ＬＦ処理エンジン５３０に、ホログラフィックの「ボタン」と、別の場所に併設され提示された触覚表面をレンダリングさせて、まるでユーザに「押された」かのようなホログラフィックの「ボタン」の動きに対応させる。
いくつかの実施形態では、ホログラフィックＵＩは、感覚フィードバックシステム５７０から受け取った情報に応答して修正または更新され得る。。例えば、感覚フィードバックシステム５７０の加速度計は、モバイルデバイスの線形加速度を測定することができ、測定された加速度と同期して、表示されたホログラフィックＵＩを漸進的に更新することができる。同様に、感覚フィードバックシステム５７０内のジャイロスコープは、モバイルデバイスの向きの変化を検出して、検出された変化に基づいて、ＵＩの向きを変えることができる。いくつかの実施形態では、追跡モジュール５２６は、ユーザの頭の回転を追跡し、呼応して、表示されたホログラフィックＵＩの向きを変えることができる。
別の実施形態では、ホログラフィックＵＩは、ユーザに挨拶するホログラフィックキャラクタを提示することを含み得る。いくつかの実施形態では、ホログラフィックキャラクタは、ホログラフィックＵＩオブジェクトの提示とともに提示され得る。他の実施形態では、ホログラフィックキャラクタが最初にユーザに提示され、その後、ホログラフィックＵＩオブジェクトを備えたホログラフィックの「メニュー」が提示され得る。いくつかの実施形態では、ホログラフィックキャラクタは、ユーザから受け取ったコマンドに応答して修正され得る。さらに他の実施形態では、すべてのインタラクションは、ユーザが口頭で発し、感覚フィードバックシステム５７０の音響受信機によって受信されたコマンドを含み得る。いくつかの実施形態では、提示されたホログラフィックキャラクタは、モバイルデバイスのスピーカを介してユーザに音声応答を発するために音響刺激で拡張され得る。
いくつかの実施形態では、ホログラフィックキャラクタは、ＡＩモデルによって生成およびパーソナライズされ得る。ホログラフィックキャラクタは、容姿（有名人の容姿など）、衣服（またはなし）、人格、声（アクセントや有名人の声など）、気性、言語（例えば、使用される悪態語の量）、またはその他の特徴など、好みに合わせて変更できる様々な特徴を備えている場合がある。ホログラフィックキャラクタは、ＣＧキャラクタ（スーパーヒーローなど）の容姿、俳優やスポーツ選手などの有名人、利用可能な多くのアバターの１つをランダムに選択したもの、または別の容姿を有し得る。ホログラフィックキャラクタの容姿は、認識可能な音響音声（例えば、容姿に一致する有名人の音声）を伴うことができ、ユーザが容易に変更することができる。ホログラフィックキャラクタは、ユーザにとってより魅力的なものにするために、ユーザプロファイルまたはソーシャルメディアアカウントにアクセスすることもできる。例えば、ホログラフィックキャラクタは、ユーザのソーシャルメディアアカウントに表示される写真やディスカッションで観察された特徴に基づいて遊び心のあるフィードバックを提供したり、スケジュールされたイベントの日のカレンダーのリマインダーに基づいて冗談を提供したりできる。ユーザの娯楽のために、ホログラフィックキャラクタは、ユーザの選択に応じて、機嫌を悪くしたり機嫌を良くしたりできる。モバイルデバイス上で見られたり体験されたりするホログラフィックキャラクタの特徴の選択は、場合によっては取引手数料と引き換えに、オンラインストアなどのサードパーティコンテンツプロバイダのリモートサーバ６４０を介してネットワーク６３０を介してダウンロード可能であり得る。
いくつかの実施形態では、追跡モジュール５２６は、追跡システム５８０から受信した情報に基づいて、ＬＦディスプレイシステムの標的ビュー内のユーザの存在を判定し、受信した情報を分析し、分析結果をコマンドライブラリ５３２に送信する。コマンドライブラリ５３２は、受信した分析に基づいてコマンドライブラリ５３２に格納されたヒューリスティックを使用し、ユーザインターフェースをユーザに対して表示する必要があると判断することができる。さらに、ユーザプロファイリングシステム５２８によって格納されたユーザプロファイル情報を使用して、コマンドライブラリ５３２は、コマンドライブラリ５３２内の他のヒューリスティックを適用し、格納されたマッピングから、デバイスのユーザに挨拶する特定のホログラフィックキャラクタの表示を含むカスタマイズされたユーザインターフェースを生成する必要があると判断することができる。コマンドライブラリ５３２は、ＬＦ処理エンジン５３０に計算コマンドを発行して、ホログラフィックオブジェクトボリュームに表示するための、ユーザに挨拶する決定されたホログラフィックキャラクタを表示することができる。この計算コマンドを実行することは、ＬＦ処理エンジン５３０がホログラフィックキャラクタのレンダリングおよび表示に関連する画像データをデータストア５２２から取得することを含み得る。コマンドライブラリ５３２はまた、感覚フィードバックシステム５７０内の音響変換器をトリガーして、表示されたホログラフィックキャラクタと同期して聞こえる挨拶を送信することができる。ＬＦ処理エンジン５３０は、追跡システム５８０から得られた追跡情報を使用して、ホログラフィックキャラクタをレンダリングして、ユーザを見ること、および／またはユーザとアイコンタクトをすること、または他の方法でユーザと対話することができる。ユーザからの口頭の応答は、感覚フィードバックシステム５７０内に配置された音響受信デバイス（例えば、マイクロフォンまたはマイクロフォンアレイ）によって受信され得、この受信された応答データは、さらなる処理のためにコントローラ５２０に提示される。コマンドライブラリ５３２は、感覚フィードバックシステム５７０から受信したデータを使用し、ヒューリスティックを適用し、例えば、ユーザによる口頭の発話に応答して、ナビゲーション支援アプリケーションインターフェースをユーザに対して表示する必要があると判断することができる。
別の実施形態では、ユーザは、電子メールアプリケーションおよび／またはソーシャルメディアアプリケーションなどの特定の所望のアプリケーションの表示で拡張される特定のカスタマイズされた３Ｄホログラフィックユーザインターフェースの提示で常に開始するようにＬＦディスプレイシステムを構成することができる。いくつかの実施形態では、モバイルデバイスユーザは、特定のアプリケーションを実行している間にユーザが使用するために提示される所望の特定のホログラフィックユーザインターフェースを有するように、ＬＦディスプレイシステムに関連付けられた様々なアプリケーションのアプリケーション設定を構成することができる。
他の実施形態では、ホログラフィックユーザインターフェースは、本明細書に記載されているものよりも追加のまたは少ない機能を含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、ＬＦディスプレイシステム５００のモジュール間および／または異なるエンティティ間で分散され得る。
追跡システム５８０は、ユーザの動きを追跡することができる（例えば、カメラ、カメラのセット、深度センサ、または追跡システム５８０内の他のいくつかのセンサを使用することによって）。ユーザの動きは、タッチ解読のために追跡システム５８０によってコントローラ５２０に送信することができる。いくつかの実施形態では、タッチ解釈は以下のように実行される。追跡システム５８０は、最初に、提示されたホログラフィックオブジェクトに（例えば、１本または複数の指で）ユーザが近づくとき、ユーザの動きを追跡する。追跡システム５８０は、追跡された動き情報をコントローラ５２０に送信する。追跡モジュール５２６は、追跡された指が提示されたホログラフィックオブジェクトから閾値距離内にあると判断し、それに応答して、ユーザがホログラフィックオブジェクトに「触れている」と判断する。他の実施形態では、タッチ解釈は、提示されたホログラフィックオブジェクトに関して他の種類の動きを追跡システム５８０によって追跡することを含み得る。ユーザによる追跡された動きには、ユーザが１つ以上の提示されたホログラフィックオブジェクトに対して、位置を変更すること、移動すること、押すこと、押えること、ダイヤルすること、回転すること、タイピングすること、突くことなどの、１つ以上を実行していると判断することが含まれるが、これらに限定されない。
いくつかの実施形態では、感覚フィードバックシステム５７０は、表示されたホログラフィックオブジェクトを拡張する触覚表面の「タッチ」を感知することができる。この判定は、触覚表面を生成している超音波エネルギーに接触することで引き起こされる変化を検出する感覚フィードバックシステム５７０の圧力センサからの入力を受信することに基づき得るこの情報は、さらなる分析のためにコントローラ５２０に送信され得る。
図７は、１つ以上の実施形態によるモバイルデバイスの一部として実装される、一実施形態によるＬＦディスプレイシステム７００の例示である。ＬＦディスプレイシステム７００は、図５に描写されたＬＦディスプレイシステム５００の一実施形態である。モバイルデバイス７１０は、ＬＦディスプレイシステム７００のＬＦディスプレイアセンブリ７２０を含む。ＬＦディスプレイアセンブリ７２０は、１つ以上のＬＦディスプレイモジュール（例えば、図２ＢのＬＦディスプレイモジュール２１０または図４ＡのＬＦディスプレイモジュール４１２）から構成され得る。１つ以上の実施形態では、モバイルデバイス７１０は、特定のユーザによってデバイスにアクセスするための物理的特徴（ボタンなど）および／または２Ｄデジタルディスプレイ（２Ｄタッチスクリーンを含む）を含み得る１つ以上の制御パネル７３０を伴う。さらに、モバイルデバイス７１０はまた、デバイスのユーザ（例えば、視聴者Ａ７７２または視聴者Ｂ７７４）のためにホログラフィックコンテンツを生成するためのＬＦディスプレイアセンブリ７２０（例えば、図５のＬＦディスプレイアセンブリ５１０）を含む。ＬＦディスプレイシステム７００はまた、感覚フィードバックシステム５７０、追跡システム５８０、ユーザプロファイリングシステム５９０，およびコントローラ５２０などの、図５に示したＬＦディスプレイシステム５００の他の構成要素の任意の組み合わせを含み得る。
ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュールから構成されるＬＦディスプレイアセンブリ７２０を使用して、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツをユーザに提示することができる。ホログラフィックオブジェクトは、三次元（３Ｄ）、二次元（２Ｄ）、またはそれらの組み合わせであり得る。さらに、ホログラフィックオブジェクトは、多色（例えば、フルカラー）であり得る。図７に示されるように、ホログラフィックオブジェクトボリューム７４０は、ＬＦディスプレイアセンブリ７２０のＬＦ表示面の前とその後ろの両方に延びる（例えば、図１に示されるホログラフィックオブジェクトボリューム１６０と同様）。ホログラフィックビューイングボリューム７５０は、ユーザがＬＦディスプレイアセンブリ７２０によって提示されるホログラフィックオブジェクトを見ることができるビューイングスペースを表す。ホログラフィックオブジェクト７６２および７６４は、ホログラフィックオブジェクトボリューム７４０内のどこにでも配置することができる。視聴者Ａ７７２および視聴者Ｂ７７４は、表示されたホログラフィックオブジェクト７６２および７６４を見ることができる。ホログラフィックオブジェクト７６２および７６４はまた、ホログラフィックオブジェクトの１つ以上の表面と一致するようにＬＦディスプレイシステム７００から投影された触覚表面を有することができる。ＬＦディスプレイシステム７００の追跡システムは、表示されたホログラフィックオブジェクト７６２または７６４の表面に触れているユーザを追跡することができ、これにより、感覚フィードバックシステムが応答をトリガーすることができる。したがって、例えば、ホログラフィックオブジェクト７６２に向かう指７７０の動き、ならびにホログラフィックオブジェクト７６２の触覚表面上の指７７０の「接触」は、ＬＦディスプレイシステム７００の追跡システムによって確立され得る。ホログラフィックオブジェクト７６２および７６４と一致する投影された触覚表面は、指７７０の動きに応答して感覚フィードバックシステムによって適切に調整され得る（例えば、ボタンが押されたことを示すホログラムコンテンツの変化と同時に、触覚ボタンの位置を変化させる。）
モバイルデバイスでカスタマイズされたホログラフィックディスプレイ
いくつかの実施形態では、ＬＦディスプレイシステムは、カスタマイズされたインタラクティブ体験を生成するために、図５のユーザプロファイリングシステム５２８によって取得されたユーザ情報と組み合わせて追跡システムを使用することができる。例えば、ホログラフィックＵＩを備えたアプリケーションでは、生成されたホログラフィックの「ボタン」はユーザによってサイズが異なり得る。例えば、それらは子供用には小さく、高齢のユーザには見えやすいように明るい色でサイズが大きくなり得る。
さらに、いくつかの実施形態では、ＬＦディスプレイシステムは、特定のユーザのために特定のコンテンツを表示するようにカスタマイズされ得る。したがって、例えば、ＬＦディスプレイシステムは、あるユーザにはホログラフィックの「ボタン」を表示し、別のユーザにはホログラフィックの「ダイヤル」を表示するようにカスタマイズすることができる。したがって、図７に関して、追跡システム５８０が視聴者Ａ７７２の存在を追跡するとき、構成された設定は、視聴者Ａ７７２のためのホログラフィックオブジェクト７６２（のみ）（すなわち、ホログラフィックの「ボタン」）のカスタマイズされた表示を生じ得る。視聴者Ｂ７７４が存在しない場合、ホログラフィックオブジェクト７６４は提示されない。同様に、視聴者Ｂ７７４の存在を感知すると、構成された設定は、視聴者７７４のためのホログラフィックオブジェクト７６４（すなわち、ホログラフィックの「ダイヤル」）のカスタマイズされた表示を生じ得る。
他の実施形態では、ＬＦディスプレイモジュールは、デバイスユーザと対話するためにカスタマイズされたホログラフィックキャラクタを表示することができる（例えば、見る、話す、聞く、触れる、またはそれらの何らかの組み合わせ）。ホログラフィックキャラクタの１つ以上の特徴は、ユーザがカスタマイズできる。カスタマイズ可能な特徴は、ホログラフィックキャラクタの視覚的、音声的、および人格的な特徴のいずれかであり得る。いくつかの実施形態では、ホログラフィックキャラクタに関連する特徴の一部またはすべては、取引手数料と引き換えに、ネットワークを介して１つ以上のオンラインシステムから取得することができる（例えば、ホログラフィックキャラクタに「バート・シンプソン」の顔を追加する）。さらに、追跡システムは、ユーザの視線を追跡することができる。追跡システムは、ホログラフィックキャラクタを再レンダリングするために視線情報をＬＦディスプレイシステム５００に提供して、デバイスと対話しているユーザとアイコンタクトをとることができる。
いくつかの追加の実施形態では、複数のユーザがモバイルデバイスを使用する場合、ユーザプロファイリングシステムは、ユーザ設定または他のユーザ特徴を格納するために、デバイスユーザのそれぞれについてユーザプロファイルを構築することができる。ユーザプロファイルは、ユーザごとに視聴者プロファイリングモジュール５２８によって構築され、これらの使用プロファイルをデータストア５２２に格納することができる。
ＬＦディスプレイシステムは、ユーザプロファイリングシステム５９０を利用して、以降のデバイスの毎回の使用中にホログラフィックコンテンツをユーザにパーソナライズすることができる。例えば、ＬＦディスプレイシステム５００は、名前で（例えば、視覚的または音声で）ユーザに話しかける。これは、追跡情報を使用してユーザＩＤを判別するか、顔や音声認識などのユーザ認証、パスワードの入力、またはその他の方法を含み得る。いくつかの実施形態では、ＬＦディスプレイシステム５００は、以前に生成されたホログラフィックコンテンツに対するユーザの応答に対応するホログラフィックコンテンツを生成する。例えば、いくつかの実施形態では、ＬＦ処理エンジン５３０のＡＩ機械学習モジュールは、ユーザが彼らの電子メールをチェックし、続いて数独パズルを解くことによって毎日が始まることを学習することができる。ＬＦディスプレイシステム５００は、データストア５２２に格納されたデータに基づいて取得およびレンダリングされる数独パズルのディスプレイとともに、電子メールアプリケーションが開かれたホログラフィック３Ｄの「ホーム」スクリーンディスプレイを生成することができる。
いくつかの実施形態では、ユーザのライトフィールドディスプレイをカスタマイズすることは、追跡システム５８０がユーザの位置を追跡し、ユーザにのみ見えるようにカスタマイズされたホログラフィックコンテンツを生成するプライバシーモードを含み得る。図２Ｂは、ＬＦディスプレイシステム２００によって形成され得る複数のビューイングサブボリューム２９０を示している。該当するセクションで説明したように、ビューイングサブボリューム２９０Ａ内のユーザは、ビューイングサブボリューム２９０Ｂ、２９０Ｃ、および２９０Ｄ内のユーザが知覚できないホログラフィックオブジェクトボリューム２５５に提示されるホログラフィックオブジェクトを知覚することができ、したがって、視聴のプライバシーが保証される。したがって、これらの状況下では、ホログラフィックスクリーンディスプレイで電子メールを読んでいるユーザは、ディスプレイがユーザにのみ表示され、近隣の人には表示されないことが保証され得る。他の実施形態では、ＬＦディスプレイアセンブリのビューイングボリューム内のすべてのユーザは、ホログラフィックビューイングボリューム内にあるすべてのホログラフィックオブジェクトを見ることができる（しかし、すべてのユーザは、ユーザの場所に応じて異なる視点を見ることができる）。モバイルデバイスは、ＬＦディスプレイシステムにプライバシー設定を提供して、１人以上の追跡されたユーザのためにホログラフィックコンテンツをプライバシーモードでレンダリングすることができる。
モバイルデバイスでＬＦディスプレイシステムを使用する例示的なユーザアプリケーション
モバイルデバイスは、様々なソフトウェアアプリケーションと組み合わせて使用される。これらのアプリケーションのいくつかは、デバイスのＬＦディスプレイシステムを使用してさらに拡張できる。これらの例のいくつかを以下に簡単に示す。
一実施形態では、ＬＦディスプレイシステム５００は、ブロックを含むパズルアプリケーションとともに使用することができる。ＬＦディスプレイシステム５００は、ホログラフィックの「空の構造」を「満たす」必要があるブロックを示すマーキングを備えた「空の構造」のホログラフィックディスプレイを生成することができる。同時に、システムは、様々な形状の「ブロック」のホログラフィックセットを視聴プレーヤーに表示することができる。構造および「ブロック」のセットを生成するための画像レンダリングデータは、ネットワーク６３０を介してパズルアプリケーションを以前にダウンロードしたときに、データストア５３０に格納され得る。プレーヤーがブロックに触れ、ブロックを収容する構造内の正しい３Ｄ位置にプレーヤーの指を動かすと、追跡システム５８０はこの動きを追跡し、ＬＦ処理エンジン５３０は、プレーヤーの指の位置に合わせてブロックを移動させる「構造」のホログラフィックレンダリングを生成し、対応する３Ｄの場所は、その位置にブロックを「移動」させながら「埋められ」ていく。
他のホログラフィックユーザアプリケーションは、「触れられた」ときに「動く」ホログラフィックレンダリングを生成するために、追跡システム５８０と協調して感覚フィードバックシステム５７０を使用することを含み得る。例としては、家具の組み立てを容易にするホログラフィックレンダリングの提示、日曜大工のアプリケーションの指導、および教育アプリケーションなどがあり、例えば、医学生は、ユーザの特定された動きに応じて変化するホログラフィック人体レンダリングを使用して人体の解剖を学習する。
一実施形態では、ＬＦディスプレイシステム５００で表示用の広告を生成することを含み、感覚フィードバックシステム５７０の超音波エミッタを使用して、製品に関する触覚情報をユーザに提供する触覚表面サンプルを生成することができる（例えば、カーペット製造業者は、ユーザが体験し得る様々なテクスチャのラグサンプルを表示する広告を表示することができる）。
他のアプリケーション例には、タッチや音声コマンドなどの感覚刺激に応答し、「サイバーペット」の所有者に「サイバーペット」の没入型体験を提供する「サイバーペット」のホログラフィックレンダリングの生成が含まれる。追跡システム５８０および感覚フィードバックシステム５７０は一緒になって、ホログラフィックの「サイバーペット」を用いた応答性のある体験をユーザに提供することができる。
図８は、１つ以上の実施形態による、ライトフィールドディスプレイシステムを使用してモバイルデバイスとのユーザインタラクションを可能にするためのプロセスを示すフローチャートである。一実施形態では、図８のプロセスは、（図５に示されるように）ライトフィールドディスプレイシステム５００によって実行される。他のエンティティは、他の実施形態において、このプロセスのステップの一部またはすべてを実行することができる。同様に、実施形態は、異なるおよび／または追加のステップを含み得るか、または異なる順序でステップを実行し得る。
ライトフィールドディスプレイシステム５００は、ユーザからコマンドを受信する（８１０）。ユーザコマンドは、物理的制御、例えば、押され得る物理的ボタンおよび物理的タッチ対応の画面を介して受信することができ、これらはすべてモバイルデバイス上に配置され、感覚フィードバックシステム５７０の一部となり得る。別の例では、ユーザコマンドは、感覚フィードバックシステム５７０の一部である音響マイクロフォンなどの音響受信機で音声コマンドとして受信され得る。ユーザコマンドは、表示されたホログラフィックＵＩなど、ユーザによるホログラフィックオブジェクトとのインタラクションを通じて受信することもできる。ユーザコマンドはまた、追跡モジュール５２６からの命令を介してユーザを追跡している追跡システム５８０を通じて受信され得る。一実施形態では、ユーザコマンドは、ユーザによるジェスチャ、体の動き、または表情としてキャプチャされ、追跡システム５８０によって記録され、追跡モジュール５２６によって分析され得る。別の実施形態では、追跡システム５８０が、表示されたホログラフィックＵＩ上のホログラフィックの「ボタン」などの触覚ホログラフィック表面にユーザが触れたことを検出したときに、ユーザコマンドを受信することができる。ユーザコマンドは、モバイルデバイスの通信ネットワークを介して受信することもできる。受信したユーザコマンドは、解読および分析のために、コントローラを介してコマンドライブラリ５３２にリレーされる。
ライトフィールドディスプレイシステム５００は、計算コマンドを決定するためにユーザコマンドを処理する（８２０）。ライトフィールドディスプレイシステム５００内のコマンドライブラリ５３２は、受信したユーザコマンドを、場合によってはユーザプロファイリングシステム５２８によって記憶されたユーザプロファイル情報と関連付けて、必要に応じてトラッキングモジュールと連携して、ユーザのジェスチャ、体の動き、または表情を解釈し、記憶されたヒューリスティクスを適用してもよく、受信したユーザコマンドに基づいて計算コマンドを決定する。決定された計算コマンドの一例は、モバイルデバイスのユーザが表示するためのより多くのホログラフィックコンテンツを生成するコマンドである。別の例は、生成されたホログラフィックコンテンツを修正することであり得る。決定された計算コマンドは、例えば、ユーザの視線を追跡するためのイメージングセンサなどの、ＬＦディスプレイシステム内のセンサをアクティブにすることができる。決定された計算コマンドは、モバイルデバイス内のコントロールをアクティブにすることもできる。決定された計算コマンドの一例は、モバイルデバイスのユーザが表示するためのより多くのホログラフィックコンテンツを生成することであり得る。別の例は、生成されたホログラフィックコンテンツを修正することであり得る。生成されたホログラフィックコンテンツは、ＬＦディスプレイシステムで受信されたパラメータの値に応じて修正され得る。したがって、例えば、ホログラフィックの「球」は、アプリケーションがネットワークを介してモバイルデバイスにダウンロードされているときのダウンロードの進行状況を示すために投影され得る。ダウンロードが進行する時点でのダウンロードされたコンテンツのパーセンテージを示すパラメータの値は、アプリケーションのダウンロードの進行を示す色で塗りつぶされていくホログラフィック球を描写するために、ＬＦディスプレイシステムによって使用され得る。決定された計算コマンドは、例えば、ユーザの視線を追跡するためのトリガーセンサなどの、ＬＦディスプレイシステム内のセンサをアクティブにすることができる。決定された計算コマンドは、モバイルデバイス内のコントロールをアクティブにすることもできる。例えば、計算コマンドを使用すると、モバイルデバイスのスピーカの音量を上げたり、特定のオーディオトーンをアラームアラートとして設定したりできる。
ライトフィールドディスプレイシステムは、計算コマンドに基づいて表示用のホログラフィックコンテンツを生成する（８３０）。ライトフィールドディスプレイシステム５００のＬＦ処理エンジン５３０は、コマンドライブラリ５３２から、決定された計算コマンドを受け取り、計算コマンドに基づいて表示するホログラフィックコンテンツを生成する（８３０）。
ライトフィールドディスプレイシステム５００は、生成されたホログラフィックコンテンツをに表示する（８４０）。コントローラ５２０は、ホログラフィックコンテンツを投影するための表示命令をＬＦ処理エンジン５３０からＬＦディスプレイアセンブリ５１０に送信する。ＬＦディスプレイアセンブリ５１０は、ホログラフィックコンテンツをユーザに表示する。
追加の構成情報
本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。
本明細書のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号表現の観点から、本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の当業者によって、自らの作業の本質を他の当業者に効果的に伝えるために一般的に使用される。これらの操作は、機能的、計算的、または論理的に説明される一方、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、これらの操作の配置を、一般性を損なうことなく、モジュールと呼ぶことが場合によっては好都合であることも判明している。説明された操作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせにおいて具現化され得る。
本明細書に記載の工程、操作、またはプロセスのうちのいずれかが、１つ以上のハードウェアまたはソフトウェアモジュールを使用して、単独で、または他のデバイスと組み合わせて、実行または実装され得る。一実施形態では、ソフトウェアモジュールは、説明された工程、操作、またはプロセスのうちのいずれかまたはすべてを実行するために、コンピュータプロセッサによって実行され得るコンピュータ・プログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。
本開示の実施形態はまた、本明細書の操作を実行するための装置に関し得る。この装置は、要求された目的のために特別に構築され得、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するために好適な任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。
本開示の実施形態はまた、本明細書に記載のコンピューティングプロセスによって生み出される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報であって、その情報が非一時的な有形のコンピュータ可読記憶媒体に記憶される、情報を含み得、また本明細書に記載のコンピュータプログラム製品もしくは他のデータの組み合わせの任意の実施形態を含み得る。
最後に、本明細書で使用される言語は、主に読みやすさおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。したがって、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。
最後に、本明細書で使用される言語は、主に読みやすさおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。したがって、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。
（項目１）
モバイルデバイスであって、
ホログラフィックコンテンツを生成するように構成されたコントローラと、
前記生成されたホログラフィックコンテンツを前記モバイルデバイスのユーザに提示するように構成された１つ以上のＬＦディスプレイモジュールを含むＬＦディスプレイアセンブリと、
前記ユーザからの１つ以上のコマンドを認識するように構成されたコマンドインターフェースと、を有するライトフィールド（ＬＦ）ディスプレイシステムを備えたモバイルデバイス。
（項目２）
前記コントローラは、前記モバイルデバイスの動作状態の変化に応答して、前記生成されたホログラフィックコンテンツを更新するように構成される、項目１に記載のモバイルデバイス。
（項目３）
前記コントローラは、前記ユーザからの１つ以上の認識されたコマンドに基づいてホログラフィックコンテンツを修正するようにさらに構成される、項目１に記載のモバイルデバイス。
（項目４）
前記１つ以上の認識されたコマンドは、前記モバイルデバイスの動作状態の変化を引き起こす、項目１に記載のモバイルデバイス。
（項目５）
前記ＬＦディスプレイシステムは、
前記モバイルデバイスの前記ユーザに関する情報を取得するように構成された１つ以上の追跡デバイスを含む追跡システムをさらに備え、
前記コントローラは、前記追跡システムによって取得された情報に部分的に基づいて、前記ユーザのための前記ホログラフィックコンテンツを生成するように構成される、項目１に記載のモバイルデバイス。
（項目６）
前記生成されたホログラフィックコンテンツが、前記モバイルデバイスの動作を制御するための１つ以上のホログラフィックの特徴を備えたホログラフィックユーザインターフェース（ＵＩ）を含み、前記コマンドインターフェースは、前記生成されたホログラフィックＵＩを介して前記ユーザから受信した前記１つ以上のコマンドを認識するようにさらに構成される、項目５に記載のモバイルデバイス。
（項目７）
前記コマンドインターフェースは、提示されたホログラフィックＵＩにおける１つ以上のホログラフィックの特徴の閾値距離内に前記ユーザがいることの決定に基づいて、前記ホログラフィックＵＩを介して前記ユーザからコマンドを受信するようにさらに構成される、項目５に記載のモバイルデバイス。
（項目８）
前記追跡システムによって取得される前記情報は、前記ユーザの位置、前記ユーザの動き、前記ユーザのジェスチャ、前記ユーザの表情、前記ユーザの視線、前記ユーザの性別、およびユーザの年齢の、任意の組み合わせを含む、項目５に記載のモバイルデバイス。
（項目９）
前記コントローラは、前記追跡システムおよび人工知能モデルによって取得された前記情報を使用して前記ホログラフィックコンテンツを生成するように構成される、項目５に記載のモバイルデバイス。
（項目１０）
前記追跡システムは、ライトフィールドカメラ、１つ以上の２Ｄイメージングセンサ、および深度センサを含むセンサの任意の組み合わせを含む、項目５に記載のモバイルデバイス。
（項目１１）
前記コントローラは、前記追跡システム内の前記１つ以上のセンサからデータをキャプチャし、前記キャプチャされたデータに基づいて前記ホログラフィックコンテンツを生成することにより、前記ホログラフィックコンテンツを生成するようにさらに構成される、項目１０に記載のモバイルデバイス。
（項目１２）
前記コントローラは、前記追跡システム内の前記１つ以上のセンサからキャプチャされたデータに基づいて、前記生成されたホログラフィックコンテンツを修正するようにさらに構成される、項目１１に記載のモバイルデバイス。
（項目１３）
前記ＬＦディスプレイシステムは、
前記ホログラフィックコンテンツが提示されるときに感覚フィードバックを受信するように構成された少なくとも１つの感覚フィードバックデバイスを含む感覚フィードバックシステムをさらに備える、項目１に記載のモバイルデバイス。
（項目１４）
前記コマンドインターフェースは、前記受信された感覚フィードバックを前記ユーザから受信した１つ以上のコマンドとして認識するようにさらに構成される、項目１３に記載のモバイルデバイス。
（項目１５）
前記感覚フィードバックシステムは、超音波トランスデューサ、圧力センサ、力センサ、温度センサ、タッチセンサ、近接センサ、またはそれらの任意の組み合わせを含む、項目１３に記載のモバイルデバイス。
（項目１６）
前記感覚フィードバックシステムは、ボタン、ダイヤル、ノブ、キーパッド、指紋センサ、ジョイスティック、他の入力ハードウェア、またはそれらの任意の組み合わせのうちの１つ以上をさらに備える、項目１３に記載のモバイルデバイス。
（項目１７）
前記感覚フィードバックシステムは、マイクロフォンおよび音声認識ソフトウェアをさらに備える、項目１３に記載のモバイルデバイス。
（項目１８）
前記ＬＦディスプレイシステムは、
前記ホログラフィックコンテンツが提示されるときに感覚フィードバックを提供するように構成された少なくとも１つの感覚フィードバックデバイスを含む感覚フィードバックシステムをさらに備える、項目１に記載のモバイルデバイス。
（項目１９）
前記コントローラは、触覚刺激、音響刺激、温度刺激、嗅覚刺激、圧力刺激、力刺激、またはそれらの任意の組み合わせを含む感覚コンテンツで前記生成されたホログラフィックコンテンツを拡張するようにさらに構成される、項目１８に記載のモバイルデバイス。
（項目２０）
前記感覚フィードバックシステムは、前記提示されたホログラフィックオブジェクトの表面の閾値距離内に、または提示されたホログラフィックオブジェクトの表面と一致する体積触覚表面を生成するように構成された超音波エネルギー投影デバイスをさらに備える、項目１８に記載のモバイルデバイス。
（項目２１）
前記超音波エネルギー投影デバイスは、前記生成された体積触覚表面のユーザタッチに対する抵抗、前記生成された体積触覚表面のテクスチャ、または前記コントローラで受信したパラメータの値に基づく触覚強度のうちの１つ以上を調整するようにさらに構成される、項目２０に記載のモバイルデバイス。
（項目２２）
前記追跡システムによって取得された前記情報に部分的に基づいて生成される体積触覚表面を生成するように構成された超音波エネルギー投影デバイスをさらに備える、項目５に記載のモバイルデバイス。
（項目２３）
前記超音波エネルギー投影デバイスは、前記追跡システムによって取得された情報に応答して、前記生成された体積触覚表面を更新するようにさらに構成される、項目２２に記載のモバイルデバイス。
（項目２４）
前記超音波エネルギー投影デバイスは、前記追跡システムおよび人工知能モデルによって取得された前記情報を使用して前記体積触覚表面を生成するようにさらに構成される、項目２２に記載のモバイルデバイス。
（項目２５）
前記コントローラは、
前記ホログラフィックコンテンツの少なくとも一部を、ネットワークインターフェースを介してオンラインシステムから第１の形式で取得し、
前記ホログラフィックコンテンツのベクトル化された形式を、ＬＦディスプレイアセンブリで表示するための第２の形式に変換するようにさらに構成される、項目１に記載のモバイルデバイス。
（項目２６）
前記第１の形式は、ベクトル化された形式を含み、前記第２の形式は、ラスタライズされた形式を含む、項目２５に記載のモバイルデバイス。
（項目２７）
前記ＬＦディスプレイシステムは、前記ホログラフィックコンテンツが前記ユーザに提示される場所での環境特性に基づいて前記ホログラフィックコンテンツの提示を修正するように構成される、項目１に記載のモバイルデバイス。
（項目２８）
前記ＬＦディスプレイシステムは、前記ＬＦディスプレイシステムで受信されたパラメータの値に基づいて前記ホログラフィックコンテンツの提示を修正するように構成される、項目１に記載のモバイルデバイス。
（項目２９）
前記コントローラは、前記ＬＦディスプレイシステムにおいて前記ユーザのために維持されるユーザプロファイルに部分的に基づいて前記ホログラフィックコンテンツを生成するようにさらに構成される、項目１に記載のＬＦディスプレイシステム。
（項目３０）
前記ＬＦディスプレイシステムは、
前記モバイルデバイスの前記ユーザに関する情報を取得するように構成された１つ以上の追跡デバイスを含む追跡システムと、
前記追跡システムによって取得された前記情報にアクセスし、
前記情報を処理して前記ユーザを識別するように構成され、
前記追跡デバイスによって取得された前記情報に基づいて、
前記ユーザのユーザプロファイルを生成することと、
前記ユーザの前記ユーザプロファイルを修正することと、の１つ以上を行うようにさらに構成される、ユーザプロファイルモジュールと、をさらに備え、
ここで、前記コントローラは、前記ユーザプロファイルに部分的に基づいて前記ユーザのためのホログラフィックコンテンツを生成するようにさらに構成される、項目１に記載のＬＦディスプレイシステム。
（項目３１）
前記コントローラは、前記ユーザプロファイルおよび人工知能モデルを使用して、
前記ホログラフィックコンテンツを生成することと、
前記ホログラフィックコンテンツを修正することと、の１つ以上を行うようにさらに構成される、項目３０に記載のＬＦディスプレイシステム。
（項目３２）
前記ユーザプロファイリングモジュールは、
前記ユーザのソーシャルメディアアカウントからの情報を使用して前記ユーザプロファイルを更新するようにさらに構成され、
前記コントローラは、前記更新されたユーザプロファイルに部分的に基づいて前記ホログラフィックコンテンツを生成するように構成される、項目３０に記載のＬＦディスプレイシステム。
（項目３３）
ホログラフィックコンテンツは、前記モバイルデバイス上で実行されるアプリケーションと併せて提示される、項目１に記載のモバイルデバイス。
（項目３４）
前記提示されたホログラフィックコンテンツは、全地球測位システム（ＧＰＳ）から取得された位置座標に基づく、項目３３に記載のモバイルデバイス。
（項目３５）
前記提示されたホログラフィックコンテンツは、オンラインソースから受信したコンテンツに基づく、項目３３に記載のモバイルデバイス。
（項目３６）
前記提示されたホログラフィックコンテンツは、前記ユーザによって行われた動作上の選択に応答してオンラインソースから受信されたコンテンツに基づく、項目３３に記載のモバイルデバイス。
（項目３７）
前記提示されたホログラフィックコンテンツは、ホログラフィックキャラクタを含む、項目１に記載のモバイルデバイス。
（項目３８）
前記提示されたホログラフィックキャラクタに関連する特徴は、少なくとも部分的に、前記ユーザによって構成される、項目３７に記載のモバイルデバイス。
（項目３９）
前記提示されたホログラフィックキャラクタに関連する特徴は、前記提示されたホログラフィックキャラクタの視覚的、音声的、および人格的特徴を含む、項目３７に記載のモバイルデバイス。
（項目４０）
前記提示されたホログラフィックキャラクタに関連する特徴は、ネットワークを介してオンラインシステムから検索される、項目３７に記載のモバイルデバイス。
（項目４１）
前記特徴は、取引手数料と引き換えに、前記ネットワークを介して前記オンラインシステムから検索される、項目３９に記載のモバイルデバイス。
（項目４２）
前記コントローラは、前記追跡システムによって取得された前記情報に基づいて、前記ユーザのためのホログラフィックキャラクタを生成するように構成される、項目８に記載のモバイルデバイス。
（項目４３）
前記ＬＦディスプレイアセンブリは、前記生成されたホログラフィックキャラクタの目を更新して、前記ユーザの視線とのアイコンタクトを維持するように構成される、項目４２に記載のモバイルデバイス。
（項目４４）
前記ＬＦディスプレイシステムは、
ユーザからセキュリティ資格を受信し、
前記受信したセキュリティ資格を認証し、
前記モバイルデバイスの１つ以上の機能への安全なアクセスを可能にし、
前記認証に応じて特定のホログラフィックコンテンツの生成を可能にするように構成された認証モジュールを有するセキュリティモジュールをさらに備える、項目１に記載のモバイルデバイス。
（項目４５）
前記コントローラ、前記ＬＦディスプレイアセンブリ、および前記コマンドインターフェースの操作機能は、モバイルオペレーティングシステム（モバイルＯＳ）によって、前記モバイルデバイスの他の操作機能と関連付けられて管理される、項目１に記載のモバイルデバイス。
（項目４６）
前記モバイルＯＳは、前記コントローラ、前記ＬＦディスプレイアセンブリ、および前記コマンドインターフェースのうちの１つ以上から受信された入力に関連する情報を受信する、項目４５に記載のモバイルデバイス。
（項目４７）
前記モバイルＯＳは、前記受信された情報に応答して、機能的抽象化の１つ以上の層でアクションを実行する、項目４６に記載のモバイルデバイス。
（項目４８）
前記モバイルＯＳは、前記モバイルＯＳで実行されるプラガブルなモジュールまたはアプリケーションのうちの１つ以上を介して、前記コントローラ、前記ＬＦディスプレイアセンブリ、および前記コマンドインターフェースの前記操作機能を管理する、項目４５に記載のモバイルデバイス。
（項目４９）
前記モバイルＯＳは、ホログラフィックコンテンツを表示するために前記コントローラとインターフェースする、項目４８に記載のモバイルデバイス。
（項目５０）
前記モバイルＯＳは、前記ＬＦディスプレイシステムが前記モバイルデバイスのハードウェアコンポーネントにアクセスすることを容易にする、項目４５に記載のモバイルデバイス。

Claims (50)

  1. モバイルデバイスであって、
    ホログラフィックコンテンツを生成するように構成されたコントローラと、
    前記生成されたホログラフィックコンテンツを前記モバイルデバイスのユーザに提示するように構成された１つ以上のＬＦディスプレイモジュールを含むＬＦディスプレイアセンブリと、
    前記ユーザからの１つ以上のコマンドを認識するように構成されたコマンドインターフェースと、を有するライトフィールド（ＬＦ）ディスプレイシステムを備えたモバイルデバイス。
  2. 前記コントローラは、前記モバイルデバイスの動作状態の変化に応答して、前記生成されたホログラフィックコンテンツを更新するように構成される、請求項１に記載のモバイルデバイス。
  3. 前記コントローラは、前記ユーザからの１つ以上の認識されたコマンドに基づいてホログラフィックコンテンツを修正するようにさらに構成される、請求項１に記載のモバイルデバイス。
  4. 前記１つ以上の認識されたコマンドは、前記モバイルデバイスの動作状態の変化を引き起こす、請求項１に記載のモバイルデバイス。
  5. 前記ＬＦディスプレイシステムは、
    前記モバイルデバイスの前記ユーザに関する情報を取得するように構成された１つ以上の追跡デバイスを含む追跡システムをさらに備え、
    前記コントローラは、前記追跡システムによって取得された情報に部分的に基づいて、前記ユーザのための前記ホログラフィックコンテンツを生成するように構成される、請求項１に記載のモバイルデバイス。
  6. 前記生成されたホログラフィックコンテンツが、前記モバイルデバイスの動作を制御するための１つ以上のホログラフィックの特徴を備えたホログラフィックユーザインターフェース（ＵＩ）を含み、前記コマンドインターフェースは、前記生成されたホログラフィックＵＩを介して前記ユーザから受信した前記１つ以上のコマンドを認識するようにさらに構成される、請求項５に記載のモバイルデバイス。
  7. 前記コマンドインターフェースは、提示されたホログラフィックＵＩにおける１つ以上のホログラフィックの特徴の閾値距離内に前記ユーザがいることの決定に基づいて、前記ホログラフィックＵＩを介して前記ユーザからコマンドを受信するようにさらに構成される、請求項５に記載のモバイルデバイス。
  8. 前記追跡システムによって取得される前記情報は、前記ユーザの位置、前記ユーザの動き、前記ユーザのジェスチャ、前記ユーザの表情、前記ユーザの視線、前記ユーザの性別、およびユーザの年齢の、任意の組み合わせを含む、請求項５に記載のモバイルデバイス。
  9. 前記コントローラは、前記追跡システムおよび人工知能モデルによって取得された前記情報を使用して前記ホログラフィックコンテンツを生成するように構成される、請求項５に記載のモバイルデバイス。
  10. 前記追跡システムは、ライトフィールドカメラ、１つ以上の２Ｄイメージングセンサ、および深度センサを含むセンサの任意の組み合わせを含む、請求項５に記載のモバイルデバイス。
  11. 前記コントローラは、前記追跡システム内の前記１つ以上のセンサからデータをキャプチャし、前記キャプチャされたデータに基づいて前記ホログラフィックコンテンツを生成することにより、前記ホログラフィックコンテンツを生成するようにさらに構成される、請求項１０に記載のモバイルデバイス。。
  12. 前記コントローラは、前記追跡システム内の前記１つ以上のセンサからキャプチャされたデータに基づいて、前記生成されたホログラフィックコンテンツを修正するようにさらに構成される、請求項１１に記載のモバイルデバイス。
  13. 前記ＬＦディスプレイシステムは、
    前記ホログラフィックコンテンツが提示されるときに感覚フィードバックを受信するように構成された少なくとも１つの感覚フィードバックデバイスを含む感覚フィードバックシステムをさらに備える、請求項１に記載のモバイルデバイス。
  14. 前記コマンドインターフェースは、前記受信された感覚フィードバックを前記ユーザから受信した１つ以上のコマンドとして認識するようにさらに構成される、請求項１３に記載のモバイルデバイス。
  15. 前記感覚フィードバックシステムは、超音波トランスデューサ、圧力センサ、力センサ、温度センサ、タッチセンサ、近接センサ、またはそれらの任意の組み合わせを含む、請求項１３に記載のモバイルデバイス。
  16. 前記感覚フィードバックシステムは、ボタン、ダイヤル、ノブ、キーパッド、指紋センサ、ジョイスティック、他の入力ハードウェア、またはそれらの任意の組み合わせのうちの１つ以上をさらに備える、請求項１３に記載のモバイルデバイス。
  17. 前記感覚フィードバックシステムは、マイクロフォンおよび音声認識ソフトウェアをさらに備える、請求項１３に記載のモバイルデバイス。
  18. 前記ＬＦディスプレイシステムは、
    前記ホログラフィックコンテンツが提示されるときに感覚フィードバックを提供するように構成された少なくとも１つの感覚フィードバックデバイスを含む感覚フィードバックシステムをさらに備える、請求項１に記載のモバイルデバイス。
  19. 前記コントローラは、触覚刺激、音響刺激、温度刺激、嗅覚刺激、圧力刺激、力刺激、またはそれらの任意の組み合わせを含む感覚コンテンツで前記生成されたホログラフィックコンテンツを拡張するようにさらに構成される、請求項１８に記載のモバイルデバイス。
  20. 前記感覚フィードバックシステムは、前記提示されたホログラフィックオブジェクトの表面の閾値距離内に、または提示されたホログラフィックオブジェクトの表面と一致する体積触覚表面を生成するように構成された超音波エネルギー投影デバイスをさらに備える、請求項１８に記載のモバイルデバイス。
  21. 前記超音波エネルギー投影デバイスは、前記生成された体積触覚表面のユーザタッチに対する抵抗、前記生成された体積触覚表面のテクスチャ、または前記コントローラで受信したパラメータの値に基づく触覚強度のうちの１つ以上を調整するようにさらに構成される、請求項２０に記載のモバイルデバイス。
  22. 前記追跡システムによって取得された前記情報に部分的に基づいて生成される体積触覚表面を生成するように構成された超音波エネルギー投影デバイスをさらに備える、請求項５に記載のモバイルデバイス。
  23. 前記超音波エネルギー投影デバイスは、前記追跡システムによって取得された情報に応答して、前記生成された体積触覚表面を更新するようにさらに構成される、請求項２２に記載のモバイルデバイス。
  24. 前記超音波エネルギー投影デバイスは、前記追跡システムおよび人工知能モデルによって取得された前記情報を使用して前記体積触覚表面を生成するようにさらに構成される、請求項２２に記載のモバイルデバイス。
  25. 前記コントローラは、
    前記ホログラフィックコンテンツの少なくとも一部を、ネットワークインターフェースを介してオンラインシステムから第１の形式で取得し、
    前記ホログラフィックコンテンツのベクトル化された形式を、ＬＦディスプレイアセンブリで表示するための第２の形式に変換するようにさらに構成される、請求項１に記載のモバイルデバイス。
  26. 前記第１の形式は、ベクトル化された形式を含み、前記第２の形式は、ラスタライズされた形式を含む、請求項２５に記載のモバイルデバイス。
  27. 前記ＬＦディスプレイシステムは、前記ホログラフィックコンテンツが前記ユーザに提示される場所での環境特性に基づいて前記ホログラフィックコンテンツの提示を修正するように構成される、請求項１に記載のモバイルデバイス。
  28. 前記ＬＦディスプレイシステムは、前記ＬＦディスプレイシステムで受信されたパラメータの値に基づいて前記ホログラフィックコンテンツの提示を修正するように構成される、請求項１に記載のモバイルデバイス。
  29. 前記コントローラは、前記ＬＦディスプレイシステムにおいて前記ユーザのために維持されるユーザプロファイルに部分的に基づいて前記ホログラフィックコンテンツを生成するようにさらに構成される、請求項１に記載のＬＦディスプレイシステム。
  30. 前記ＬＦディスプレイシステムは、
    前記モバイルデバイスの前記ユーザに関する情報を取得するように構成された１つ以上の追跡デバイスを含む追跡システムと、
    前記追跡システムによって取得された前記情報にアクセスし、
    前記情報を処理して前記ユーザを識別するように構成され、
    前記追跡デバイスによって取得された前記情報に基づいて、
    前記ユーザのユーザプロファイルを生成することと、
    前記ユーザの前記ユーザプロファイルを修正することと、の１つ以上を行うようにさらに構成される、ユーザプロファイルモジュールと、をさらに備え、
    ここで、前記コントローラは、前記ユーザプロファイルに部分的に基づいて前記ユーザのためのホログラフィックコンテンツを生成するようにさらに構成される、請求項１に記載のＬＦディスプレイシステム。
  31. 前記コントローラは、前記ユーザプロファイルおよび人工知能モデルを使用して、
    前記ホログラフィックコンテンツを生成することと、
    前記ホログラフィックコンテンツを修正することと、の１つ以上を行うようにさらに構成される、請求項３０に記載のＬＦディスプレイシステム。
  32. 前記ユーザプロファイリングモジュールは、
    前記ユーザのソーシャルメディアアカウントからの情報を使用して前記ユーザプロファイルを更新するようにさらに構成され、
    前記コントローラは、前記更新されたユーザプロファイルに部分的に基づいて前記ホログラフィックコンテンツを生成するように構成される、請求項３０に記載のＬＦディスプレイシステム。、
  33. ホログラフィックコンテンツは、前記モバイルデバイス上で実行されるアプリケーションと併せて提示される、請求項１に記載のモバイルデバイス。
  34. 前記提示されたホログラフィックコンテンツは、全地球測位システム（ＧＰＳ）から取得された位置座標に基づく、請求項３３に記載のモバイルデバイス。
  35. 前記提示されたホログラフィックコンテンツは、オンラインソースから受信したコンテンツに基づく、請求項３３に記載のモバイルデバイス。
  36. 前記提示されたホログラフィックコンテンツは、前記ユーザによって行われた動作上の選択に応答してオンラインソースから受信されたコンテンツに基づく、請求項３３に記載のモバイルデバイス。
  37. 前記提示されたホログラフィックコンテンツは、ホログラフィックキャラクタを含む、請求項１に記載のモバイルデバイス。
  38. 前記提示されたホログラフィックキャラクタに関連する特徴は、少なくとも部分的に、前記ユーザによって構成される、請求項３７に記載のモバイルデバイス。
  39. 前記提示されたホログラフィックキャラクタに関連する特徴は、前記提示されたホログラフィックキャラクタの視覚的、音声的、および人格的特徴を含む、請求項３７に記載のモバイルデバイス。
  40. 前記提示されたホログラフィックキャラクタに関連する特徴は、ネットワークを介してオンラインシステムから検索される、請求項３７に記載のモバイルデバイス。
  41. 前記特徴は、取引手数料と引き換えに、前記ネットワークを介して前記オンラインシステムから検索される、請求項３９に記載のモバイルデバイス。
  42. 前記コントローラは、前記追跡システムによって取得された前記情報に基づいて、前記ユーザのためのホログラフィックキャラクタを生成するように構成される、請求項８に記載のモバイルデバイス。
  43. 前記ＬＦディスプレイアセンブリは、前記生成されたホログラフィックキャラクタの目を更新して、前記ユーザの視線とのアイコンタクトを維持するように構成される、請求項４２に記載のモバイルデバイス。
  44. 前記ＬＦディスプレイシステムは、
    ユーザからセキュリティ資格を受信し、
    前記受信したセキュリティ資格を認証し、
    前記モバイルデバイスの１つ以上の機能への安全なアクセスを可能にし、
    前記認証に応じて特定のホログラフィックコンテンツの生成を可能にするように構成された認証モジュールを有するセキュリティモジュールをさらに備える、請求項１に記載のモバイルデバイス。
  45. 前記コントローラ、前記ＬＦディスプレイアセンブリ、および前記コマンドインターフェースの操作機能は、モバイルオペレーティングシステム（モバイルＯＳ）によって、前記モバイルデバイスの他の操作機能と関連付けられて管理される、請求項１に記載のモバイルデバイス。
  46. 前記モバイルＯＳは、前記コントローラ、前記ＬＦディスプレイアセンブリ、および前記コマンドインターフェースのうちの１つ以上から受信された入力に関連する情報を受信する、請求項４５に記載のモバイルデバイス。
  47. 前記モバイルＯＳは、前記受信された情報に応答して、機能的抽象化の１つ以上の層でアクションを実行する、請求項４６に記載のモバイルデバイス。
  48. 前記モバイルＯＳは、前記モバイルＯＳで実行されるプラガブルなモジュールまたはアプリケーションのうちの１つ以上を介して、前記コントローラ、前記ＬＦディスプレイアセンブリ、および前記コマンドインターフェースの前記操作機能を管理する、請求項４５に記載のモバイルデバイス。
  49. 前記モバイルＯＳは、ホログラフィックコンテンツを表示するために前記コントローラとインターフェースする、請求項４８に記載のモバイルデバイス。
  50. 前記モバイルＯＳは、前記ＬＦディスプレイシステムが前記モバイルデバイスのハードウェアコンポーネントにアクセスすることを容易にする、請求項４５に記載のモバイルデバイス。
JP2022513658A 2019-09-03 2019-09-03 モバイルデバイスのライトフィールドディスプレイ Pending JP2022553613A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/049379 WO2021045730A1 (en) 2019-09-03 2019-09-03 Light field display for mobile devices

Publications (1)

Publication Number Publication Date
JP2022553613A true JP2022553613A (ja) 2022-12-26

Family

ID=74852881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022513658A Pending JP2022553613A (ja) 2019-09-03 2019-09-03 モバイルデバイスのライトフィールドディスプレイ

Country Status (6)

Country Link
US (1) US20220326760A1 (ja)
EP (1) EP4025963A4 (ja)
JP (1) JP2022553613A (ja)
KR (1) KR20220054619A (ja)
CN (1) CN114341747A (ja)
WO (1) WO2021045730A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328314B2 (en) * 2020-05-14 2022-05-10 Zmbizi App Llc Context-aware systems and methods for selecting smartphone applications/services and awarding reward points
FR3122000B1 (fr) * 2021-04-16 2023-12-08 Faurecia Interieur Ind Interface homme-machine holographique et véhicule associé
CN115185150A (zh) * 2022-06-02 2022-10-14 广州大学 一种基于声悬浮的裸眼3d和裸眼vr系统以及实现方法
CN116027934B (zh) * 2022-08-11 2023-10-20 荣耀终端有限公司 展示卡片的方法及装置
US12002154B1 (en) 2024-01-22 2024-06-04 Illuscio, Inc. Systems and methods for automatic and dynamic generation of shape-conforming and computationally efficient colliders for point clouds

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015501468A (ja) * 2011-10-06 2015-01-15 アマゾン・テクノロジーズ、インコーポレイテッド 多次元インターフェース
US20170358144A1 (en) * 2016-06-13 2017-12-14 Julia Schwarz Altering properties of rendered objects via control points
JP2018528452A (ja) * 2015-07-03 2018-09-27 エシロール アンテルナショナルＥｓｓｉｌｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ 拡張現実のための方法とシステム
US20180307303A1 (en) * 2017-04-19 2018-10-25 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US20190095775A1 (en) * 2017-09-25 2019-03-28 Ventana 3D, Llc Artificial intelligence (ai) character system capable of natural verbal and visual interactions with a human
US20190200004A1 (en) * 2017-12-21 2019-06-27 X Development Llc Directional light emitters and electronic displays featuring the same
WO2019140413A1 (en) * 2018-01-14 2019-07-18 Light Field Lab, Inc. Systems and methods for directing multiple 4d energy fields

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728964B2 (en) * 2004-12-23 2010-06-01 Matthew Feinsod Motion compensated light-emitting apparatus
US8514238B2 (en) * 2008-11-21 2013-08-20 Adobe Systems Incorporated System and method for adding vector textures to vector graphics images
US8581838B2 (en) * 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
US9160966B2 (en) * 2011-05-11 2015-10-13 Microsoft Technology Licensing, Llc Imaging through a display screen
WO2013147863A1 (en) * 2012-03-30 2013-10-03 Intel Corporation Techniques for enhanced holographic cooking
US9501942B2 (en) * 2012-10-09 2016-11-22 Kc Holdings I Personalized avatar responsive to user physical state and context
AU2014204252B2 (en) * 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
WO2014150518A1 (en) * 2013-03-15 2014-09-25 Legacy Media, Llc Provision of predefined communications
US9310769B2 (en) * 2013-03-28 2016-04-12 Disney Enterprises, Inc. Coarse integral holographic display
US20150244747A1 (en) * 2014-02-26 2015-08-27 United Video Properties, Inc. Methods and systems for sharing holographic content
US9465361B2 (en) * 2014-03-31 2016-10-11 Disney Enterprises, Inc. Image based multiview multilayer holographic rendering algorithm
US9508195B2 (en) * 2014-09-03 2016-11-29 Microsoft Technology Licensing, Llc Management of content in a 3D holographic environment
US20160203221A1 (en) * 2014-09-12 2016-07-14 Lithium Technologies, Inc. System and apparatus for an application agnostic user search engine
US9661272B1 (en) * 2015-01-28 2017-05-23 Isaac S. Daniel Apparatus, system and method for holographic video conferencing
US9959658B2 (en) * 2015-02-26 2018-05-01 Rovi Guides, Inc. Methods and systems for generating holographic animations
CN107912061B (zh) * 2015-03-06 2021-06-01 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
US9712810B2 (en) * 2015-06-03 2017-07-18 Disney Enterprises, Inc. Tracked automultiscopic 3D tabletop display
US10120454B2 (en) * 2015-09-04 2018-11-06 Eyesight Mobile Technologies Ltd. Gesture recognition control device
KR102549216B1 (ko) * 2015-11-02 2023-06-30 삼성전자 주식회사 사용자 프로파일을 생성하기 위한 전자 장치 및 방법
US9813673B2 (en) * 2016-01-20 2017-11-07 Gerard Dirk Smits Holographic video capture and telepresence system
US10228653B2 (en) * 2016-04-07 2019-03-12 Pixie Dust Technologies, Inc. System and method for rendering interactive aerial volumetric graphics and generating spatial audio using femtosecond lasers
US10453431B2 (en) * 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging
US11024014B2 (en) * 2016-06-28 2021-06-01 Microsoft Technology Licensing, Llc Sharp text rendering with reprojection
KR102629584B1 (ko) * 2016-07-19 2024-01-25 삼성전자주식회사 빔 조향 백라이트 유닛 및 이를 포함하는 홀로그래픽 디스플레이 장치
CN109923512A (zh) * 2016-09-09 2019-06-21 上海海知智能科技有限公司 人机交互的系统及方法
US20180329209A1 (en) * 2016-11-24 2018-11-15 Rohildev Nattukallingal Methods and systems of smart eyeglasses
US20180232937A1 (en) * 2017-02-14 2018-08-16 Philip Moyer System and Method for Implementing Virtual Reality
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US20190005724A1 (en) * 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Presenting augmented reality display data in physical presentation environments
US10803832B2 (en) * 2017-08-01 2020-10-13 Samsung Electronics Co., Ltd. Synchronizing holographic displays and 3D objects with physical video panels
US10796359B2 (en) * 2017-10-18 2020-10-06 Mastercard International Incorporated Consumer sampling webpage linked with digital wallet
US10560689B2 (en) * 2017-11-28 2020-02-11 Paul Lapstun Viewpoint-optimized light field display
US11380039B2 (en) * 2017-12-14 2022-07-05 Magic Leap, Inc. Contextual-based rendering of virtual avatars
US11256460B2 (en) * 2018-02-05 2022-02-22 Disney Enterprises, Inc. Digital companion device with display
US10838574B2 (en) * 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
US10831274B2 (en) * 2018-05-07 2020-11-10 International Business Machines Corporation Changing tactile sensitivity of interactions with midair interfaces
US10832589B1 (en) * 2018-10-10 2020-11-10 Wells Fargo Bank, N.A. Systems and methods for past and future avatars
US20200290513A1 (en) * 2019-03-13 2020-09-17 Light Field Lab, Inc. Light field display system for vehicle augmentation
US20210049666A1 (en) * 2019-08-16 2021-02-18 Subfiber OÜ System and method for dynamically displaying images on electronic displays according to machine-learned patterns

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015501468A (ja) * 2011-10-06 2015-01-15 アマゾン・テクノロジーズ、インコーポレイテッド 多次元インターフェース
JP2018528452A (ja) * 2015-07-03 2018-09-27 エシロール アンテルナショナルＥｓｓｉｌｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ 拡張現実のための方法とシステム
US20170358144A1 (en) * 2016-06-13 2017-12-14 Julia Schwarz Altering properties of rendered objects via control points
US20180307303A1 (en) * 2017-04-19 2018-10-25 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US20190095775A1 (en) * 2017-09-25 2019-03-28 Ventana 3D, Llc Artificial intelligence (ai) character system capable of natural verbal and visual interactions with a human
US20190200004A1 (en) * 2017-12-21 2019-06-27 X Development Llc Directional light emitters and electronic displays featuring the same
WO2019140413A1 (en) * 2018-01-14 2019-07-18 Light Field Lab, Inc. Systems and methods for directing multiple 4d energy fields

Also Published As

Publication number Publication date
US20220326760A1 (en) 2022-10-13
EP4025963A1 (en) 2022-07-13
EP4025963A4 (en) 2023-08-30
WO2021045730A1 (en) 2021-03-11
CN114341747A (zh) 2022-04-12
KR20220054619A (ko) 2022-05-03

Similar Documents

Publication Publication Date Title
US11428933B2 (en) Light field display system for performance events
JP2022553613A (ja) モバイルデバイスのライトフィールドディスプレイ
US11212514B2 (en) Light field display system for cinemas
US20200371472A1 (en) Light Field Display System Based Commercial System
JP2022552770A (ja) ライトフィールドディスプレイシステムに基づいたデジタルサイネージシステム発明者：ジョナサン・シャン・カラフィン、ブレンダン・エルウッド・ベベンシー、ジョン・ドーム
US20220300143A1 (en) Light Field Display System for Consumer Devices
JP7492577B2 (ja) 成人向けライトフィールドディスプレイシステム発明者：ジョナサン・シャン・カラフィンブレンダン・エルウッド・ベベンシージョン・ドーム
US12022053B2 (en) Light field display system for cinemas
CN114730081A (zh) 用于游戏环境的光场显示系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220901

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20221216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240403

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240604