JP2022552064A - 消費者向けデバイスのライトフィールドディスプレイ - Google Patents

消費者向けデバイスのライトフィールドディスプレイ Download PDF

Info

Publication number
JP2022552064A
JP2022552064A JP2022510867A JP2022510867A JP2022552064A JP 2022552064 A JP2022552064 A JP 2022552064A JP 2022510867 A JP2022510867 A JP 2022510867A JP 2022510867 A JP2022510867 A JP 2022510867A JP 2022552064 A JP2022552064 A JP 2022552064A
Authority
JP
Japan
Prior art keywords
user
holographic
consumer device
display
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022510867A
Other languages
English (en)
Other versions
JPWO2021034315A5 (ja
Inventor
カラフィン、ジョナサン、ショーン
ベヴェンシー、ブレンダン、エルウッド
Original Assignee
ライト フィールド ラボ、インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライト フィールド ラボ、インコーポレイテッド filed Critical ライト フィールド ラボ、インコーポレイテッド
Publication of JP2022552064A publication Critical patent/JP2022552064A/ja
Publication of JPWO2021034315A5 publication Critical patent/JPWO2021034315A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H3/00—Holographic processes or apparatus using ultrasonic, sonic or infrasonic waves for obtaining holograms; Processes or apparatus for obtaining an optical image from them
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2149—Restricted operating environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • Holo Graphy (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ライトフィールドディスプレイシステムは、消費者向けデバイスのユーザーにホログラフィックコンテンツを提示するために消費者デバイスに実装され、ユーザーに没入型の操作体験を提供する。本システムは、ユーザーのホログラフィックコンテンツを生成し、提示する。本システムはユーザーからコマンドを受信する。いくつかの実施形態では、提示されたホログラフィックコンテンツは、ユーザーからコマンドを受信するためにシステムによって使用されるホログラフィックユーザーインターフェースを含み得る。次に、システムは、受信したコマンドを認識し、システムによって実行するための１つ以上の計算コマンドを決定し、決定された計算コマンドを実行する。【選択図】図１

Description

関連出願の相互参照
本出願は、国際出願第ＰＣＴ／ＵＳ２０１７／０４２２７５号、同第ＰＣＴ／ＵＳ２０１７／０４２２７６号、同第ＰＣＴ／ＵＳ２０１７／０４２４１８号、同第ＰＣＴ／ＵＳ２０１７／０４２４５２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６６号、同第ＰＣＴ／ＵＳ２０１７／０４２４６７号、同第ＰＣＴ／ＵＳ２０１７／０４２４６８号、同第ＰＣＴ／ＵＳ２０１７／０４２４６９号、同第ＰＣＴ／ＵＳ２０１７／０４２４７０号、および同第ＰＣＴ／ＵＳ２０１７／０４２６７９号に関連し、これらはすべて、参照によりその全体が本明細書に組み込まれる。
本開示は、オーブン、冷蔵庫、ストーブ、洗濯機、乾燥機、ホームアシスタント（例えば、アマゾンのＡｌｅｘａ（商標））および食器洗い機などの消費者向けデバイス、特に消費者向けデバイスのライトフィールドディスプレイに関する。
従来の消費者向けデバイス（本明細書では電化製品とも呼ばれる）は、一般に、ユーザーインターフェースを二次元（２Ｄ）ビジュアルディスプレイに依存している。電化製品の２Ｄディスプレイスクリーンは、電化製品がユーザーに提供する様々な機能を表示し、ユーザーが目的の機能を選択して構成できるようにするためのインタラクティブなディスプレイを提供するように設計されている。ただし、このような２Ｄビジュアルディスプレイは、電化製品の表面に占める実装面積ため制限される。その結果、表示コンテンツも２Ｄビジュアルディスプレイに制限され、電化製品のユーザーに提供され得る視聴体験が制限される。特に、２Ｄビジュアルディスプレイは、ユーザーに没入型の操作体験を提供する機会が限られている。
説明された実施形態は、デバイスを使用している間、没入型の操作体験をユーザーに提供する、消費者向けデバイスにおけるライトフィールドディスプレイシステムを含む技術に関する。
摘要
消費者向けデバイスのライトフィールド（ＬＦ）ディスプレイシステムは、消費者向けデバイスのユーザーが視聴するためのホログラフィックコンテンツを生成する。生成されたホログラフィックコンテンツは、消費者向けデバイスのユーザーに表示されるホログラフィックユーザーインターフェースであり得る。ライトフィールドディスプレイシステムは、ユーザーからコマンドを受信し得る。ＬＦディスプレイシステムは、受信したユーザーコマンドに基づいて計算コマンドを決定し、決定した計算コマンドを適切に実行する。いくつかの実施形態では、ホログラフィックコンテンツは、生成されたホログラフィックコンテンツ上の触覚表面で増強される。触覚表面は、ユーザーに触覚を与え得る。消費者向けデバイスのライトフィールドシステムは、消費者向けデバイス内に存在するオブジェクトのホログラフィック画像を表示し、オブジェクトに関する情報を受信し、受信した情報に基づいて表示されたホログラフィックコンテンツを変更し得る。
いくつかの実施形態では、消費者向けデバイスは、ホログラフィックコンテンツを生成するように構成されたコントローラ、ＬＦディスプレイアセンブリ、およびコマンドインターフェースを含むＬＦディスプレイシステムを備える。ＬＦディスプレイアセンブリは、１つ以上のＬＦディスプレイモジュールのビューイングボリューム内に位置する消費者向けデバイスの１人以上のユーザーに、ホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを提示するように構成される１つ以上のＬＦディスプレイモジュールを備える。
いくつかの実施形態では、ＬＦディスプレイシステムは、追跡システムおよび／または視聴者プロファイリングモジュールを含む。追跡システムおよび視聴者プロファイリングモジュールは、消費者向けデバイスのユーザーの特徴、ユーザーを説明するユーザープロファイル、および／または消費者向けデバイスの操作中に提示されるホログラフィックコンテンツに対するユーザーの応答を監視および記憶することができる。ホログラフィックコンテンツは、監視または記憶された情報のいずれかに基づいて表示するために作成され得る。
いくつかの実施形態では、消費者向けデバイスのユーザーはホログラフィックコンテンツとインタラクトし得、インタラクションは、ホログラフィックコンテンツ作成システムの入力の機能を果たすことができる。例えば、いくつかの実施形態では、ＬＦディスプレイシステムの一部またはすべては、１つ以上の超音波スピーカを含む。複数の超音波スピーカは、ホログラフィックコンテンツの少なくとも一部と一致する触覚表面を生成するように構成され得る。追跡システムは、（例えば、ＬＦディスプレイモジュールの画像センサおよび／またはいくつかの他のカメラによってキャプチャされた画像を介して）ユーザーのホログラフィックオブジェクトとのインタラクションを追跡するように構成される。そして、ＬＦディスプレイシステムは、インタラクションに基づいて、ホログラフィックコンテンツを作成するために提供するように構成される。
１つ以上の実施形態による、ホログラフィックオブジェクトを提示するライトフィールドディスプレイモジュールの図である。
１つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
１つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
１つ以上の実施形態による、ライトフィールドディスプレイモジュールの斜視図である。
１つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むライトフィールドディスプレイモジュールの断面図である。
１つ以上の実施形態による、単一面シームレス表面環境を形成するために二次元にタイル張りされたライトフィールドディスプレイシステムの一部分の斜視図である。
１つ以上の実施形態による、多面シームレス表面環境におけるライトフィールドディスプレイシステムの一部分の斜視図である。
１つ以上の実施形態による、ウィング型構成の集合表面を有するライトフィールドディスプレイシステムの上面図である。
１つ以上の実施形態による、傾斜構成の集合表面を有するライトフィールドディスプレイシステムの側面図である。
１つ以上の実施形態による、デバイスのフロントパネルに集合表面を有するライトフィールドディスプレイシステムの上面図である。
１つ以上の実施形態による、ライトフィールドディスプレイシステムのブロック図である。
１つ以上の実施形態による、ネットワーク化された消費者向けデバイスシステムにおけるライトフィールドディスプレイシステムのネットワーク環境のブロック図である。
消費者向けデバイスでライトフィールドディスプレイを使用する一実施形態の例のディスプレイである。
１つ以上の実施形態による、ライトフィールドディスプレイシステムを使用して消費者向けデバイスとのインタラクションを可能にする方法を示すフローチャートである。
ライトフィールド（ＬＦ）ディスプレイシステムは、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツを電化製品のユーザーに提示するために、消費者向けデバイスに実装される。「ユーザー」、「電化製品のユーザー」、および「視聴者」という用語は、本明細書では同じ意味で使用される。「電化製品」、「消費者向け電化製品」、「消費者向け電化製品デバイス」、「消費者向けデバイス」、および「デバイス」という用語も、本明細書では同じ意味で使用され、これらの用語は、清掃、調理、食品保存などの家事を行う電気／工作機械、およびホームアシスタント（例：Ａｍａｚｏｎ Ａｌｅｘａ（商標）またはＧｏｏｇｌｅ Ｈｏｍｅ（商標））を指す。例としては、冷蔵庫、ストーブ、洗濯機、乾燥機、食器洗い機、ロティメーカー、圧力鍋などの消費者向けデバイスがある。
電化製品のＬＦディスプレイシステムは、電化製品のユーザーに電化製品の使用中に没入型の操作体験を提供するために、電化製品の機能と統合されている。電化製品の機能は、機械的および電子的な制御システムを使用して有効になり、電子制御システムは、電化製品のユーザーが電化製品を操作できる様々なソフトウェアクライアントアプリケーションを含むコンピュータプログラムモジュールを実行することで有効になり得る。ＬＦディスプレイシステムは、電化製品のビューイングボリューム内で視聴者に見えるであろう１つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するように構成されたＬＦディスプレイモジュールを備える。ＬＦディスプレイシステムによって提示されるホログラフィックコンテンツは、電化製品の機能と統合されている。これにより、電化製品の操作中に電化製品のユーザーの没入型体験が向上する。ホログラフィックオブジェクトはまた、他の感覚刺激（例えば、触覚、音声、温度、または嗅覚）で拡張され得る。例えば、ＬＦディスプレイシステムの超音波エミッタは、体積触覚投影を作成する超音波圧力波を投影し得る。体積触覚投影は、投影されたホログラフィックオブジェクトの一部またはすべてに対応する触覚表面を提供する。ホログラフィックコンテンツは、追加のビジュアルコンテンツ（すなわち、２Ｄまたは３Ｄビジュアルコンテンツ）を含み得る。一体感のある体験を可能にするエネルギー源の調整は、複数のエネルギー源（すなわち、任意の時点で正しい触覚および感覚刺激を提供するホログラフィックオブジェクト）を使用した実装のＬＦシステムの一部である。例えば、ＬＦシステムは、ホログラフィックコンテンツおよび１つ以上の触覚表面の提示を調整するためのコントローラを含み得る。
いくつかの実施形態では、ＬＦディスプレイシステムは、システムが、少なくとも１つのタイプのエネルギーを投影し、同時に、ユーザーに応答してインタラクティブな体験を作成するために少なくとも１つのタイプのエネルギーを感知することを可能にする要素を含み得る。感知されたエネルギーは、ユーザーがホログラフィックコンテンツにどのように応答するかを記録するために使用され得る。例えば、ＬＦディスプレイシステムは、見るためのホログラフィックオブジェクトおよび触覚知覚のための超音波の両方を投影し、それと同時に、ユーザーの追跡および他のシーン分析のための画像情報を記録する一方、ユーザーによる接触応答を検出するために超音波を感知する。一例として、そのようなシステムは、ユーザーによって仮想的に「タッチ」されると、接触刺激に従ってその「行動」を修正するホログラフィックオブジェクトを投影し得る。環境のエネルギー感知を実行するディスプレイシステムの構成要素は、表示面に統合され得るか、または超音波スピーカおよびカメラなどの撮像キャプチャデバイスなど、表示面とは別の専用のセンサであり得る。
ＬＦディスプレイシステムは、生成されたホログラフィックオブジェクトに基づいて消費者向けデバイスで様々な体験を提供するように構築され得る。例えば、一実施形態では、冷蔵庫のＬＦディスプレイシステムを実装して、視聴アプリケーションを介して内部冷蔵庫棚の中身のホログラフィックビューをユーザーに提示し得る。ＬＦディスプレイアセンブリは、単一面または多面シームレス表面環境を形成することができる。ホログラフィックコンテンツは、電化製品のディスプレイスクリーン自体などの物理的なオブジェクトを拡張または強化し得る。例えば、一実施形態では、デバイス上のＬＦディスプレイシステムは、オーブンの外面にホログラフィクサイン、例えば、「ケーキベーキング：終了までの時間：１２分」を提示するように実装され得る。さらに、ユーザーは３Ｄメガネやその他のヘッドギアなどのアイウェアデバイスを必要とせずに、ホログラフィックコンテンツを自由に視聴できる。
いくつかの実施形態では、ＬＦディスプレイシステムは、追跡システムおよび／または感覚フィードバックアセンブリを介して入力を受信し得る。入力に基づいて、ＬＦディスプレイシステムは、ホログラフィックコンテンツを調整し、ならびに関連する構成要素にフィードバックを提供することができる。
ＬＦディスプレイシステムはまた、少なくともＬＦディスプレイシステムのビューイングボリューム内のユーザーの動きを追跡するためのシステムを組み込み得る。ユーザーの追跡された動きは、電化製品を使用する際のユーザーの経験を強化させるために使用できる。例えば、ＬＦディスプレイシステムは、追跡情報を使用して、ホログラフィックコンテンツとのユーザーのインタラクション（例えば、ホログラフィックボタンを押すこと）を容易にすることができる。ＬＦディスプレイシステムは、追跡情報を使用して、ホログラフィックオブジェクトに対する指の位置を監視することができる。例えば、ホログラフィックオブジェクトは、ユーザーによって「押され」得るボタンであり得る。ＬＦディスプレイシステムは、超音波エネルギーを投影して、ボタンに対応し、ボタンと実質的に同じ空間を占有する触覚表面を生成することができる。ＬＦディスプレイシステムは、追跡情報を使用して、ボタンがユーザーによって「押される」ときに、ボタンを動的に移動するとともに、触覚表面の位置を動的に移動することができる。ＬＦディスプレイシステムは、追跡情報を使用して、ユーザーを見る、および／またはユーザーとアイコンタクトする、もしくはユーザーと他の方法でインタラクションするホログラフィックオブジェクトをレンダリングし得る。ＬＦディスプレイシステムは、追跡情報を使用して、ユーザーに「タッチする」ホログラフィックオブジェクトをレンダリングし得、超音波スピーカは、ホログラフィックオブジェクトが、接触を介して、ユーザーとインタラクションできる触覚表面を作成する。
追加的に、ＬＦディスプレイシステムは、各電化製品のユーザーにパーソナライズされたコンテンツを提供するために、各ユーザーを識別するためのユーザープロファイリングシステムを組み込み得る。ユーザープロファイリングシステムは、ホログラフィックコンテンツをパーソナライズするためのその後の使用に使用できる電化製品のユーザーの特定の使用に関する他の情報をさらに記録し得る。
ライトフィールドディスプレイシステムの概要
図１は、１つ以上の実施形態による、ホログラフィックオブジェクト１２０を提示するライトフィールド（ＬＦ）ディスプレイモジュール１１０の図１００である。ＬＦディスプレイモジュール１１０は、ライトフィールド（ＬＦ）ディスプレイシステムの一部である。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュールを使用して、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。ＬＦディスプレイシステムは、１人以上のユーザーにホログラフィックコンテンツを提示することができる。いくつかの実施形態では、ＬＦディスプレイシステムはまた、他の感覚コンテンツ（例えば、接触、音声、匂い、温度など）でホログラフィックコンテンツを拡張し得る。例えば、以下で考察されるように、超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートできる中空触覚を生成し得る。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュール１１０を含んでおり、図２～図８に関して以下で詳細に考察される。
ＬＦディスプレイモジュール１１０は、ホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）を１人以上のユーザー（例えば、視聴者１４０）に提示するホログラフィックディスプレイである。ＬＦディスプレイモジュール１１０は、エネルギーデバイス層（例えば、発光電子ディスプレイまたは音響投影デバイス）と、エネルギー導波路層（例えば、光学レンズアレイ）と、を含む。追加的に、ＬＦディスプレイモジュール１１０は、複数のエネルギー源または検出器を一緒に組み合わせて単一の表面を形成するために、エネルギーリレー層を含み得る。高レベルでは、エネルギーデバイス層は、エネルギー（例えば、ホログラフィックコンテンツ）を生成し、このエネルギーは次に、エネルギー導波路を使用して、１つ以上の四次元（４Ｄ）ライトフィールド関数に従って空間内の領域に指向される。ＬＦディスプレイモジュール１１０はまた、１つ以上のタイプのエネルギーの投影および／または感知を同時に行い得る。例えば、ＬＦディスプレイモジュール１１０は、ホログラフィック画像ならびに超音波触覚表面をビューイングボリューム内に投影することができ得る一方、同時に、ビューイングボリュームからの画像データを検出する。ＬＦディスプレイモジュール１１０の操作は、図２～図３に関して以下でより詳細に考察される。
ＬＦディスプレイモジュール１１０は、（例えば、プレノプティック関数から導出される）１つ以上の４Ｄライトフィールド関数を使用して、ホログラフィックオブジェクトボリューム１６０内にホログラフィックオブジェクトを生成する。ホログラフィックオブジェクトは、三次元（３Ｄ）、二次元（２Ｄ）、またはそれらの何らかの組み合わせであり得る。さらに、ホログラフィックオブジェクトは、多色（例えば、フルカラー）であり得る。ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクトボリューム１６０内のどこにでも配置することができる。ホログラフィックオブジェクトは、スクリーン平面の前、スクリーン平面の後ろに投影されるか、またはスクリーン平面によって分割されてもよい。ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクトボリューム１６０内のどこでも知覚されるように提示され得る。ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトは、視聴者１４０には、空間に浮かんでいるように見えることがある。
ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者１４０によって知覚され得るボリュームを表す。ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトがディスプレイエリア１５０の平面の前に提示できるように、表示面１５０の前に（すなわち、視聴者１４０に向かって）延在できる。追加的に、ホログラフィックオブジェクトボリューム１６０は、ディスプレイエリア１５０の平面の後ろに（すなわち、視聴者１４０から離れる方向に）延在し得、ホログラフィックオブジェクトが、ディスプレイエリア１５０の平面の後ろにあるかのように提示されることを可能にする。言い換えれば、ホログラフィックオブジェクトボリューム１６０は、ディスプレイエリア１５０から発生し（例えば、投影され）、収束してホログラフィックオブジェクトを作成し得るすべての光線を含むことができる。ここで、光線は、表示面の前、表示面、または表示面の後ろにある点に収束し得る。より簡単に言えば、ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者によって知覚され得るすべてのボリュームを包含する。
ビューイングボリューム１３０は、ＬＦディスプレイシステムによってホログラフィックオブジェクトボリューム１６０内に提示されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）が完全に見える空間のボリュームである。ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム１６０内に提示され、実際のオブジェクトと区別できないように、ビューイングボリューム１３０内で見られ得る。ホログラフィックオブジェクトは、オブジェクトが物理的に存在した場合に、オブジェクトの表面から生成されるであろう光線と同じ光線を投影することによって形成される。立体視ディスプレイとは異なり、ホログラフィックオブジェクトボリューム１６０内の収束エネルギー伝播経路の観察位置は、視聴者１４０がビューイングボリューム１３０の周りを移動するときに変化しない（例えば、図２に関して以下で考察されるように）。代わりに、ホログラフィックビューイングボリューム１３０に位置する２人は、実際にそこにいるかのように、オブジェクトの適切なビューを見るであろう。従って、視聴者１４０は、ビューイングボリューム内で制約を受けなくてもよい。対照的に、従来のシステムでは、視聴者を特定の視野（例えば、ディスプレイに対して固定された位置にある椅子など）に拘束される必要がある。
場合によっては、ホログラフィックオブジェクトボリューム１６０および対応するビューイングボリューム１３０は、単一の視聴者用に設計されるように、比較的小さくあり得る。他の実施形態では、例えば、図４Ａおよび図４Ｂに関して以下で詳細に説明するように、ＬＦディスプレイモジュールは、より大きなホログラフィックオブジェクトボリューム、および広範囲の視聴者（例えば、１人～数千人）を収容できる対応するビューイングボリュームを作成するために拡大および／またはタイル張りされ得る。本開示で提示されるＬＦディスプレイモジュールは、モジュールの全表面が、非アクティブまたはデッドスペースがなく、ベゼルを必要としないホログラフィック撮像光学系を含むように構築される。これらの実施形態では、ＬＦディスプレイモジュールは、撮像エリアがＬＦディスプレイモジュール間のタイルの継ぎ目をまたいで連続するようにタイル張りされ得、タイル張りされたモジュール間の接合ラインは、目の視力を使用して実質的に検出されない。
ビューイングボリューム１３０の柔軟なサイズおよび／または形状は、視聴者がビューイングボリューム１３０内で制約を受けないことを可能にする。例えば、視聴者１４０は、ビューイングボリューム１３０内の異なる位置に移動し、対応する視点からホログラフィックオブジェクト１２０の異なるビューを見ることができる。例示のために、図１を参照すると、視聴者１４０は、ホログラフィックオブジェクト１２０がユーザーとインタラクトするシミュレートされたアバターであり得るホログラフィックキャラクターの真正面からのビューで見えるように、ホログラフィックオブジェクト１２０に対して第１の位置にある。視聴者１４０は、キャラクターの異なるビューを見るために、ホログラフィックオブジェクト１２０に対して他の場所に動き得る。例えば、視聴者１４０は、視聴者１４０があたかも実際のキャラクターを見ていて、その人の異なる側面を見るために、実際の人に対する視聴者の相対位置を変更するかのように、移動し得、キャラクターの左側、キャラクターの右側などを見ることができる。いくつかの実施形態では、ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクト１２０への遮るもののない（すなわち、オブジェクト／ヒトによって遮られていない）視線を有する、ビューイングボリューム１３０内のすべての視聴者に見える。これらの視聴者は、異なる視点のホログラフィックオブジェクト１２０を見るために、ビューイングボリューム内を動き回ることができるように、制約されないでよい。従って、ＬＦディスプレイシステムは、複数の制約されない視聴者が、あたかもホログラフィックオブジェクトが物理的に存在するかのごとく、実世界空間のホログラフィックオブジェクトを異なる視点で同時に見ることができるように、ホログラフィックオブジェクトを提示することができる。
対照的に、従来のディスプレイ（例えば、立体視、仮想現実、拡張現実、または複合現実）では、一般に、各視聴者は、コンテンツを見るために、何らかの外部デバイス（例えば、３Ｄメガネ、ニアアイディスプレイ、またはヘッドマウントディスプレイ）を着用する必要がある。追加的および／または代替的に、従来のディスプレイでは、視聴者が特定の視聴位置に（例えば、ディスプレイに対して固定された場所を有する椅子に）拘束される必要があり得る。例えば、立体視ディスプレイによって表示されるオブジェクトを見る場合、視聴者は常に、オブジェクトではなく表示面に焦点を合わせ、ディスプレイは常に、知覚されたオブジェクトの周りを動き回ろうとする視聴者に追随するオブジェクトの２つのビューのみを提示し、そのオブジェクトの知覚に歪みを引き起こす。しかしながら、ライトフィールドディスプレイでは、ＬＦディスプレイシステムによって提示されるホログラフィックオブジェクトの視聴者は、ホログラフィックオブジェクトを見るために、外部デバイスを着用する必要がない。ＬＦディスプレイシステムは、特別なアイウェア、メガネ、またはヘッドマウントアクセサリーを要することなく、物理的なオブジェクトが視聴者に見えるのとほぼ同じように視聴者に見える方法で、ホログラフィックオブジェクトを提示する。さらに、視聴者は、ビューイングボリューム内の任意の場所からホログラフィックコンテンツを見ることができる。
特に、ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトの潜在的な場所は、ボリュームのサイズによって制限される。ホログラフィックオブジェクトボリューム１６０のサイズを大きくするために、ＬＦディスプレイモジュール１１０のディスプレイエリア１５０のサイズを大きくしてもよく、および／または複数のＬＦディスプレイモジュールを、個々のＬＦディスプレイモジュールのディスプレイエリアよりも大きい有効なディスプレイエリアを有するシームレスな表示面を形成するように一緒にタイル張りしてもよい。ＬＦディスプレイモジュールのタイル張りに関連するいくつかの実施形態が、図４Ａおよび図４Ｂに関して以下で説明される。図１に例示されるように、ディスプレイエリア１５０は矩形であり、ピラミッド形であるホログラフィックオブジェクトボリューム１６０をもたらす。他の実施形態では、ディスプレイエリアは、対応するビューイングボリュームの形状にも影響を与える何らかの他の形状（例えば、六角形）を有し得る。
追加的に、上記の考察は、ＬＦディスプレイモジュール１１０と視聴者１４０との間にあるホログラフィックオブジェクトボリューム１６０の一部内にホログラフィックオブジェクト１２０を提示することに焦点を当てているが、ＬＦディスプレイモジュール１１０は追加的に、ディスプレイエリア１５０の平面の後ろに見えるコンテンツを提示することができる。例えば、ＬＦディスプレイモジュール１１０は、ディスプレイエリア１５０を、ホログラフィックオブジェクト１２０が中にある部屋のように見せ得る。また、表示されるコンテンツは、視聴者１４０が、表示された表面を通して、部屋の他のオブジェクトを見ることができるようなものであってもよい。さらに、ＬＦディスプレイシステムは、表示面１５０の平面の後ろおよび前を含む、ホログラフィックオブジェクトボリューム１６０の周りをシームレスに移動するコンテンツを生成することができる。
図２Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール２１０の一部の断面２００である。ＬＦディスプレイモジュール２１０は、ＬＦディスプレイモジュール１１０であってもよい。他の実施形態では、ＬＦディスプレイモジュール２１０は、ディスプレイエリア１５０とは異なるディスプレイエリア形状を有する別のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーデバイス層２２０、エネルギーリレー層２３０、およびエネルギー導波路層２４０を含む。ＬＦディスプレイモジュール２１０のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーリレー層２３０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
本明細書に記載のディスプレイシステムは、実世界のオブジェクトを通常取り巻くエネルギーを複製するエネルギーの放出を提示する。ここで、放出されたエネルギーは、表示面上のすべての座標から特定の方向に指向される。表示面からの指向されたエネルギーは、多くのエネルギー線の収束を可能にし、それによって、仮想オブジェクトを作成することができる。例えば、可視光では、ＬＦディスプレイは、極めて大きい数の光線を投影し、ホログラフィックオブジェクトボリューム内の任意の点で収束するため、それらの光線は、投影されているオブジェクトよりも遠くに位置する視聴者の視点からは、空間のこの領域に位置する実世界のオブジェクトの表面から来ているように見えるであろう。このように、ＬＦディスプレイは、視聴者の視点からは、そのようなオブジェクトの表面から出たような反射光線を生成している。視聴者の視点は、任意の特定の仮想オブジェクト上で変わり得、視聴者は、その仮想オブジェクトの異なるビューを見るであろう。
エネルギーデバイス層２２０は、１つ以上の電子ディスプレイ（例えば、ＯＬＥＤなどの発光ディスプレイ）と、本明細書に記載の１つ以上の他のエネルギー投影および／またはエネルギー受信デバイスと、を含む。１つ以上の電子ディスプレイは、（例えば、ＬＦディスプレイシステムのコントローラからの）表示命令に従ってコンテンツを表示するように構成される。１つ以上の電子ディスプレイは、各々が個別に制御される強度を有する複数のピクセルを含む。発光ＬＥＤおよびＯＬＥＤディスプレイなど、多くのタイプの商用ディスプレイがＬＦディスプレイ内で使用され得る。
エネルギーデバイス層２２０はまた、１つ以上の音響投影デバイスおよび／または１つ以上の音響受信デバイスを含み得る。音響放出デバイスは、ホログラフィックオブジェクト２５０を補完する１つ以上の圧力波を生成する。生成される圧力波は、例えば、可聴、超音波、またはそれらの何らかの組み合わせであってもよい。超音波圧力波は、体積触覚のために（例えば、ホログラフィックオブジェクト２５０の表面において）使用される。可聴圧力波は、ホログラフィックオブジェクト２５０を補完し得る音声コンテンツ（例えば、没入型オーディオ）を提供するために使用される。例えば、ホログラフィックオブジェクト２５０がキャラクターであると仮定すると、１つ以上の音響投影デバイスを使用して、（１）視聴者がホログラフィックオブジェクト２５０に接触し得るように、提示されたキャラクターの表面と併置される触覚表面を生成し、および／または（２）おそらくキャラクターからの音声挨拶に対応するオーディオコンテンツを提供する。音響受信デバイス（例えば、マイクロフォンもしくはマイクロフォンアレイ）は、ＬＦディスプレイモジュール２１０の局所エリア内の超音波および／または可聴圧力波を監視するように構成され得る。
エネルギーデバイス層２２０はまた、１つ以上の画像センサを含み得る。画像センサは、少なくとも可視光帯の光に敏感であり、場合によっては、他の帯域（例えば、赤外線）の光に敏感であってもよい。画像センサは、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）アレイ、電荷結合デバイス（ＣＣＤ）、光検出器のアレイ、光をキャプチャする何らかの他のセンサ、またはそれらの何らかの組み合わせであってもよい。ＬＦディスプレイシステムは、視聴者の場所標定追跡のために、１つ以上の画像センサによってキャプチャされたデータを使用することができる。
エネルギーリレー層２３０は、エネルギーデバイス層２２０とエネルギー導波路層２４０との間でエネルギー（例えば、電磁、機械的圧力波）を中継する。エネルギーリレー層２３０は、１つ以上のエネルギーリレー要素２６０を含む。各エネルギーリレー要素は、第１の表面２６５および第２の表面２７０を含み、２つの表面間でエネルギーを中継する。各エネルギーリレー要素の第１の表面２６５は、１つ以上のエネルギーデバイス（例えば、電子ディスプレイまたは音響投影デバイス）に結合され得る。エネルギーリレー要素は、例えば、ガラス、炭素、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらの何らかの組み合わせで構成され得る。追加的に、いくつかの実施形態では、エネルギーリレー要素は、第１の表面２６５と第２の表面２７０との間を通過するエネルギーの倍率（増加または減少）を調整することができる。リレーが倍率を提供する場合、リレーは、テーパーと呼ばれる、接着されたテーパーリレーのアレイの形態を採り得、テーパーの一端の面積は、反対側の端よりも実質的に大きくなり得る。テーパーの大きい方の端は、一緒に張り合わされて、シームレスなエネルギー面２７５を形成することができる。１つの利点は、複数のディスプレイのベゼルなど、複数のエネルギー源の機械的エンベロープを収容するために、各テーパーの複数の小さな端にスペースが作成されることである。この余分のスペースにより、各エネルギー源が、小さいテーパー表面内にエネルギーを指向するアクティブエリアを有し、大きいシームレスなエネルギー面にリレーされる状態で、エネルギー源を小さなテーパー側に並べて配置することが可能になる。テーパーリレーを使用する別の利点は、テーパーの大きい端によって形成される、組み合わされたシームレスなエネルギー面には、非結像デッドスペースがないことである。境界またはベゼルが存在しないため、シームレスなエネルギー面を一緒にタイル張りして、目の視力によると実質的に継ぎ目のない、より大きな表面を形成することができる。
隣接するエネルギーリレー要素の第２の表面は、一緒になってエネルギー面２７５を形成する。いくつかの実施形態では、隣接するエネルギーリレー要素の縁間の分離は、２０／４０よりも優れた視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面２７５は、ビューイングボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。
いくつかの実施形態では、１つ以上のエネルギーリレー要素は、エネルギー局在化を示し、表面２６５および２７０に実質的に垂直な長手方向のエネルギー輸送効率は、垂直横断平面内の輸送効率よりもはるかに高く、エネルギー波が表面２６５と表面２７０との間を伝播するとき、エネルギー密度はこの横断平面内で高度に局在化される。このエネルギーの局在化により、画像などのエネルギー分布が、解像度の大きな損失なしに、これらの表面間で効率的に中継されることが可能になる。
エネルギー導波路層２４０は、エネルギー導波路層２４０内の導波路要素を使用して、エネルギーを、エネルギー面２７５上の場所（例えば、座標）から、表示面から外側のホログラフィックビューイングボリューム２８５内への特定の伝搬経路内に指向する。一例として、電磁エネルギーの場合、エネルギー導波路層２４０内の導波路要素は、光をシームレスなエネルギー面２７５上の位置から、ビューイングボリューム２８５を通る異なる伝搬方向に沿って指向する。様々な例において、光は、４Ｄライトフィールド関数に従って指向されて、ホログラフィックオブジェクトボリューム２５５内にホログラフィックオブジェクト２５０を形成する。
エネルギー導波路層２４０は、エネルギー導波路層２４０内の導波路要素を使用して、エネルギーを、エネルギー面２７５上の場所（例えば、座標）から、表示面から外側のホログラフィックビューイングボリューム２８５内への特定の伝搬経路内に指向する。一例として、電磁エネルギーの場合、エネルギー導波路層２４０内の導波路要素は、光をシームレスなエネルギー面２７５上の位置から、ビューイングボリューム２８５を通る異なる伝搬方向に沿って指向する。様々な例において、光は、４Ｄライトフィールド関数に従って指向されて、ホログラフィックオブジェクトボリューム２５５内にホログラフィックオブジェクト２５０を形成する。
エネルギー導波路層２４０内の各導波路要素は、例えば、１つ以上の要素で構成されるレンズレットであり得る。いくつかの構成では、レンズレットは、正レンズであり得る。正レンズは、球面、非球面、または自由形状の表面プロファイルを有し得る。追加的に、いくつかの実施形態では、導波路要素の一部またはすべては、１つ以上の追加の光学構成要素を含み得る。追加の光学構成要素は、例えば、バッフル、正レンズ、負レンズ、球面レンズ、非球面レンズ、自由形状レンズ、液晶レンズ、液体レンズ、屈折要素、回折要素、またはそれらの何らかの組み合わせなどのエネルギー抑制構造であり得る。いくつかの実施形態では、レンズレットおよび／または追加の光学構成要素のうちの少なくとも１つはまた、屈折力を動的に調整することができる。例えば、レンズレットは、液晶レンズまたは液体レンズであってもよい。表面プロファイルの動的調整、レンズレットおよび／または少なくとも１つの追加の光学構成要素は、導波路要素から投影される光の追加の方向制御を提供し得る。
例示的な例では、ＬＦディスプレイのホログラフィックオブジェクトボリューム２５５は、光線２５６および光線２５７によって形成される境界を有するが、他の光線によって形成され得る。ホログラフィックオブジェクトボリューム２５５は、エネルギー導波路層２４０の前（すなわち、視聴者２８０に向かって）およびその後ろ（すなわち、視聴者２８０から離れて）の両方に延在する連続したボリュームである。例示的な例では、光線２５６および光線２５７は、ＬＦディスプレイモジュール２１０の反対の縁から、ユーザーによって知覚され得る表示面２７７の法線に対して最大の角度で投影されるが、これらは他の投影光線であり得る。これらの光線は、ディスプレイの視野を画定し、従って、ホログラフィックビューイングボリューム２８５の境界を画定する。場合によっては、これらの光線は、ディスプレイ全体がケラレなしで観察され得るホログラフィックビューイングボリューム（例えば、理想的なビューイングボリューム）を画定する。ディスプレイの視野が広がると、光線２５６および光線２５７の収束点がディスプレイにより近くなる。従って、より広い視野を有するディスプレイは、視聴者２８０がより近い視距離でディスプレイ全体を見ることを可能にする。追加的に、光線２５６および２５７は、理想的なホログラフィックオブジェクトボリュームを形成し得る。理想的なホログラフィックオブジェクトボリューム内に提示されるホログラフィックオブジェクトは、ビューイングボリューム２８５内のどこでも見られ得る。
いくつかの例では、ホログラフィックオブジェクトは、ビューイングボリューム２８５の一部にのみ提示され得る。言い換えれば、ホログラフィックオブジェクトボリュームは、任意の数のビューイングサブボリューム（例えば、ビューイングサブボリューム２９０）に分割され得る。追加的に、ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム２５５の外側に投影され得る。例えば、ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示される。ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示されるので、ビューイングボリューム２８５内のすべての場所から見ることができるわけではない。例えば、ホログラフィックオブジェクト２５１は、ビューイングサブボリューム２９０内の場所からは見えるが、視聴者２８０の場所からは見えない可能性がある。
例えば、異なるビューイングサブボリュームからホログラフィックコンテンツを見ることを例示するために、図２Ｂに目を向ける。図２Ｂは、１つ以上の実施形態による、ＬＦディスプレイモジュールの一部の断面２００を例示する。図２Ｂの断面は、図２Ａの断面と同じである。しかしながら、図２Ｂは、ＬＦディスプレイモジュール２１０から投影された異なる光線のセットを示している。光線２５６および光線２５７は、依然としてホログラフィックオブジェクトボリューム２５５およびビューイングボリューム２８５を形成する。しかしながら、示されるように、ＬＦディスプレイモジュール２１０の頂部およびＬＦディスプレイモジュール２１０の底部から投影された光線は重なり合って、ビューイングボリューム２８５内に様々なビューイングサブボリューム（例えば、ビューサブボリューム２９０Ａ、２９０Ｂ、２９０Ｃ、および２９０Ｄ）を形成する。第１のビューイングサブボリューム（例えば、２９０Ａ）内の視聴者は、他のビューイングサブボリューム（例えば、２９０Ｂ、２９０Ｃ、および２９０Ｄ）内の視聴者が知覚できない、ホログラフィックオブジェクトボリューム２５５内に提示されたホログラフィックコンテンツを知覚することができ得る。
より簡単に言えば、図２Ａに例示されるように、ホログラフィックオブジェクトボリューム２５５は、ホログラフィックオブジェクトがビューイングボリューム２８５内の視聴者（例えば、視聴者２８０）によって知覚され得るように、ホログラフィックオブジェクトが、ＬＦディスプレイシステムによって提示され得るボリュームである。このように、ビューイングボリューム２８５は、理想的なビューイングボリュームの一例であり、ホログラフィックオブジェクトボリューム２５５は、理想的なオブジェクトボリュームの一例である。しかしながら、様々な構成において、他の例示的なビューイングボリュームにおける視聴者は、ホログラフィックコンテンツを知覚し得るように、視聴者は、他の例示的なホログラフィックオブジェクトボリューム内にＬＦディスプレイシステム２００によって提示されたホログラフィックオブジェクトを知覚し得る。より一般的には、ＬＦディスプレイモジュールから投影されたホログラフィックコンテンツを見るときには「アイラインガイドライン」が適用される。アイラインガイドラインは、視聴者の目の位置と見られているホログラフィックオブジェクトとによって形成されるラインはＬＦ表示面と交差しなければならないと主張する。
ＬＦディスプレイモジュール２１０によって提示されたホログラフィックコンテンツを見るとき、ホログラフィックコンテンツは４Ｄライトフィールド関数に従って提示されるので、視聴者２８０の各目は、異なる視点のホログラフィックオブジェクト２５０を見る。さらに、視聴者２８０がビューイングボリューム２８５内を移動するとき、視聴者は、ビューイングボリューム２８５内の他の視聴者が見るであろうような、異なる視点のホログラフィックオブジェクト２５０を見るであろう。当業者には理解されるように、４Ｄライトフィールド関数は当技術分野で周知であり、本明細書ではこれ以上詳しく説明しない。
本明細書でより詳細に説明するように、いくつかの実施形態では、ＬＦディスプレイは、２つ以上のタイプのエネルギーを投影することができる。例えば、ＬＦディスプレイは、例えば、機械的エネルギーおよび電磁エネルギーなどの２つのタイプのエネルギーを投影することができる。この構成では、エネルギーリレー層２３０は、エネルギー面２７５で一緒にインターリーブされるが、エネルギーが２つの異なるエネルギーデバイス層２２０に中継されるように分離される２つの別個のエネルギーリレーを含む。ここで、一方のリレーは、電磁エネルギーを輸送するように構成され得、別方のリレーは、機械的エネルギーを輸送するように構成され得る。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層２４０上の電磁導波路要素間の場所から投影され得、光が一方の電磁導波路要素から別方の電磁導波路要素に輸送されるのを抑制する構造を形成するのに役立つ。いくつかの実施形態では、エネルギー導波路層２４０はまた、コントローラからの表示命令に従って、集束超音波を特定の伝搬経路に沿って輸送する導波路要素を含み得る。
代替の実施形態（図示せず）では、ＬＦディスプレイモジュール２１０はエネルギーリレー層２３０を含まないことに留意されたい。この場合、エネルギー面２７５は、エネルギーデバイス層２２０内の１つ以上の隣接する電子ディスプレイを使用して形成された出射面である。また、いくつかの実施形態では、隣接する電子ディスプレイの縁間の分離は、２０／４０の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面は、ビューイングボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。
ＬＦディスプレイモジュール
図３Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール３００Ａの斜視図である。ＬＦディスプレイモジュール３００Ａは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３００Ａは、何らかの他のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーデバイス層３１０、エネルギーリレー層３２０、およびエネルギー導波路層３３０を含む。ＬＦディスプレイモジュール３００Ａは、本明細書で説明されるように、表示面３６５からホログラフィックコンテンツを提示するように構成される。便宜上、表示面３６５は、ＬＦディスプレイモジュール３００Ａのフレーム３９０上に破線の輪郭として例示されているが、より正確には、フレーム３９０の内側リムによって境界される導波路素子の真正面の表面である。ＬＦディスプレイモジュール３００Ａのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーリレー層３２０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
エネルギーデバイス層３１０は、エネルギーデバイス層２２０の一実施形態である。エネルギーデバイス層３１０は、４つのエネルギーデバイス３４０を含む（図では３つが見える）。エネルギーデバイス３４０は、すべてが同じタイプ（例えば、すべてが電子ディスプレイ）であってもよいか、または１つ以上の異なるタイプを含んでもよい（例えば、電子ディスプレイおよび少なくとも１つの音響エネルギーデバイスを含む）。
エネルギーリレー層３２０は、エネルギーリレー層２３０の一実施形態である。エネルギーリレー層３２０は、４つのエネルギーリレー要素３５０を含む（図では３つが見える）。エネルギーリレーデバイス３５０は、すべてが同じタイプのエネルギー（例えば、光）を中継し得るか、または１つ以上の異なるタイプ（例えば、光および音）を中継し得る。リレー要素３５０の各々は、第１の表面および第２の表面を含み、エネルギーリレー要素３５０の第２の表面は、単一のシームレスなエネルギー面３６０を形成するように配置される。例示的な実施形態では、エネルギーリレー要素３５０の各々は、第１の表面が第２の表面よりも小さい表面積を有するようにテーパー状になっており、これにより、テーパーの小さい方の端にエネルギーデバイス３４０の機械的エンベロープを収容することが可能になる。これにより、エリア全体がエネルギーを投影し得るため、シームレスなエネルギー面が無境界であることが可能になる。これは、３００の複数の実例を、デッドスペースまたはベゼルなしに一緒に配置することによって、組み合わされた表面全体がシームレスであるように、このシームレスなエネルギー面がタイル張りされ得ることを意味する。他の実施形態では、第１の表面および第２の表面は同じ表面積を有する。
エネルギー導波路層３３０は、エネルギー導波路層２４０の一実施形態である。エネルギー導波路層３３０は、複数の導波路要素３７０を含む。図２に関して上で考察されるように、エネルギー導波路層３３０は、ホログラフィックオブジェクトを形成するために、４Ｄプレノプティック関数に従って、エネルギーをシームレスなエネルギー面３６０から特定の伝搬経路に沿って指向するように構成される。例示的な実施形態では、エネルギー導波路層３３０はフレーム３９０によって境界されることに留意されたい。他の実施形態では、フレーム３９０は存在しない、および／またはフレーム３９０の厚さが低減されている。フレーム３９０の厚さの除去または低減は、ＬＦディスプレイモジュール３００Ａと追加のＬＦディスプレイモジュール３００とのタイル張りを容易にし得る。
例示的な実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は平面であることに留意されたい。図示されてない代替の実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は、１つ以上の次元で湾曲していてよい。
ＬＦディスプレイモジュール３００Ａは、シームレスなエネルギー面の表面上に存在する追加のエネルギー源を有して構成され得、ライトフィールドに加えてエネルギーフィールドの投影を可能にする。一実施形態では、音響エネルギーフィールドが、シームレスなエネルギー面３６０上の任意の数の位置に取り付けられた静電スピーカ（例示せず）から投影され得る。さらに、ＬＦディスプレイモジュール３００Ａの静電スピーカは、デュアルエネルギー面がサウンドフィールドおよびホログラフィックコンテンツを同時に投影するように、ライトフィールドディスプレイモジュール３００Ａ内に位置付けられる。例えば、静電スピーカは、電磁エネルギーのいくつかの波長に対して透過性であり、導電性要素を用いて駆動される１つ以上のダイアフラム要素で形成され得る。静電スピーカは、ダイアフラム要素が導波路要素のうちのいくつかを覆うように、シームレスなエネルギー面３６０に装着されてもよい。スピーカの導電性電極は、電磁導波路間の光透過を抑制するように設計された構造体と併置されてよく、および／または電磁導波路要素間の位置（例えば、フレーム３９０）に位置してよい。様々な構成において、スピーカは、可聴音、および／または触覚表面を生み出す集束超音波エネルギーの多くのソースを投影することができる。
いくつかの構成では、エネルギーデバイス３４０は、エネルギーを感知し得る。例えば、エネルギーデバイスは、マイクロフォン、光センサ、音響トランスデューサなどであり得る。従って、エネルギーリレーデバイスは、シームレスなエネルギー面３６０からエネルギーデバイス層３１０にエネルギーを中継することもできる。すなわち、ＬＦディスプレイモジュールのシームレスなエネルギー面３６０は、エネルギーデバイスおよびエネルギーリレーデバイス３４０が、エネルギーを放出すると同時に感知する（例えば、ライトフィールドを放出し、音を感知する）ように構成されるとき、双方向エネルギー面を形成する。
より広義には、ＬＦディスプレイモジュール３４０のエネルギーデバイス３４０は、エネルギー源またはエネルギーセンサのいずれかであり得る。ＬＦディスプレイモジュール３００Ａは、高品質のホログラフィックコンテンツのユーザーへの投影を容易にするために、エネルギー源および／またはエネルギーセンサとして機能する様々なタイプのエネルギーデバイスを含み得る。他のソースおよび／またはセンサとしては、サーマルセンサまたはソース、赤外線センサまたはソース、画像センサまたはソース、音響エネルギーを生成する機械的エネルギートランスデューサ、フィードバックソースなどが挙げられる。多くの他のセンサまたはソースが可能である。さらに、ＬＦディスプレイモジュールが、大きな集合体のシームレスなエネルギー面から複数のタイプのエネルギーを投影および感知するアセンブリを形成し得るように、ＬＦディスプレイモジュールはタイル張りされ得る。
ＬＦディスプレイモジュール３００Ａの様々な実施形態では、シームレスなエネルギー面３６０は、各表面部分が特定のタイプのエネルギーを投影および／または放出するように構成される様々な表面部分を有し得る。例えば、シームレスなエネルギー面がデュアルエネルギー面である場合、シームレスなエネルギー面３６０は、電磁エネルギーを投影する１つ以上の表面部分と、超音波エネルギーを投影する１つ以上の他の表面部分と、を含む。超音波エネルギーを投影する表面部分は、電磁導波路要素間のシームレスなエネルギー面３６０上に位置し得、および／または電磁導波路要素間の光透過を抑制するように設計された構造体と併置され得る。シームレスなエネルギー面が双方向エネルギー面である例では、エネルギーリレー層３２０は、シームレスなエネルギー面３６０でインターリーブされた２つのタイプのエネルギーリレーデバイスを含み得る。様々な実施形態では、シームレスなエネルギー面３６０は、特定の導波路要素３７０の下の表面の部分が、すべてエネルギー源、すべてエネルギーセンサ、またはエネルギー源およびエネルギーセンサの混在であるように構成され得る。
図３Ｂは、１つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むＬＦディスプレイモジュール３００Ｂの断面図である。ＬＦディスプレイモジュール３００Ｂは、１つ以上のタイプのエネルギーを投影するためのデュアルエネルギー投影デバイスとして、またはあるタイプのエネルギーを投影することと、別のタイプのエネルギーを感知することとを同時に行うための双方向エネルギーデバイスとしてのいずれかに構成され得る。ＬＦディスプレイモジュール３００Ｂは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３０２は、何らかの他のＬＦディスプレイモジュールであり得る。
ＬＦディスプレイモジュール３００Ｂは、図３ＡのＬＦディスプレイモジュール３００Ａのものと同様に構成される多くの構成要素を含む。例えば、例示的な実施形態では、ＬＦディスプレイモジュール３００Ｂは、図３Ａに関して説明したものと少なくとも同じ機能を含むエネルギーデバイス層３１０、エネルギーリレー層３２０、シームレスなエネルギー面３６０、およびエネルギー導波路層３３０を含む。追加的に、ＬＦディスプレイモジュール３００Ｂは、表示面３６５からエネルギーを提示および／または受信する。特に、ＬＦディスプレイモジュール３００Ｂの構成要素は、代替的に、図３ＡのＬＦディスプレイモジュール３００Ａの構成要素とは異なって接続および／または配向されている。ＬＦディスプレイモジュール３００Ｂのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。図３Ｂは、より大きな面積を有するデュアルエネルギー投影表面または双方向エネルギー面を生み出すためにタイル張りされ得る単一のＬＦディスプレイモジュール３０２の設計を例示する。
一実施形態では、ＬＦディスプレイモジュール３００Ｂは、双方向ＬＦディスプレイシステムのＬＦディスプレイモジュールである。双方向ＬＦディスプレイシステムは、エネルギーを投影し、それと同時に表示面３６５からエネルギーを感知することができる。シームレスなエネルギー面３６０は、シームレスなエネルギー面３６０上で密接にインターリーブされたエネルギー投影場所およびエネルギー感知場所の両方を含む。従って、図３Ｂの例では、エネルギーリレー層３２０は、図３Ａのエネルギーリレー層とは異なる様式で構成される。便宜上、ＬＦディスプレイモジュール３００Ｂのエネルギーリレー層は、本明細書では「インターリーブエネルギーリレー層」と呼ばれる。
インターリーブエネルギーリレー層３２０は、第１のエネルギーリレーデバイス３５０Ａと第２のエネルギーリレーデバイス３５０Ｂとの２つの脚部を含む。脚部の各々は、薄い陰影のエリアとして例示されている。脚部の各々は、可撓性のリレー材料で作製され、様々なサイズおよび形状のエネルギーデバイスで使用するのに十分な長さで形成され得る。インターリーブエネルギーリレー層のいくつかの領域では、２つの脚部は、シームレスなエネルギー面３６０に近づくにつれて、一緒に緊密にインターリーブされる。例示的な例では、インターリーブされたエネルギーリレーデバイス３５２は、暗い陰影のエリアとして例示されている。
シームレスなエネルギー面３６０でインターリーブされる一方、エネルギーリレーデバイスは、異なるエネルギーデバイスとの間でエネルギーを中継するように構成される。エネルギーデバイスは、エネルギーデバイス層３１０にある。例示のように、エネルギーデバイス３４０Ａは、エネルギーリレーデバイス３５０Ａに接続され、エネルギーデバイス３４０Ｂは、エネルギーリレーデバイス３５０Ｂに接続されている。様々な実施形態では、各エネルギーデバイスは、エネルギー源またはエネルギーセンサであり得る。
エネルギー導波路層３３０は、エネルギー波をシームレスなエネルギー面３６０から、投影された経路に沿って、一連の収束点に向かって導くための導波路要素３７０を含む。この例では、ホログラフィックオブジェクト３８０が、一連の収束点に形成される。特に、例示のように、ホログラフィックオブジェクト３８０でのエネルギーの収束は、表示面３６５の視聴者側で発生する。しかしながら、他の例では、エネルギーの収束は、表示面３６５の前および表示面３６５の後ろの両方に延在するホログラフィックオブジェクトボリューム内のどこであってもよい。導波路要素３７０は、以下に説明するように、入ってくるエネルギーをエネルギーデバイス（例えば、エネルギーセンサ）に同時に導くことができる。
ＬＦディスプレイモジュール３００Ｂの例示的な一実施形態では、発光ディスプレイがエネルギー源として使用され、画像センサがエネルギーセンサとして使用される。このように、ＬＦディスプレイモジュール３００Ｂは、同時に、ホログラフィックコンテンツを投影し、表示面３６５の前のボリュームからの光を検出することができる。
一実施形態では、ＬＦディスプレイモジュール３００Ｂは、ライトフィールドを表示面の投影位置から表示面３６５の前に投影すると同時に、表示面３６５の前からのライトフィールドをキャプチャするように構成される。この実施形態では、エネルギーリレーデバイス３５０Ａは、導波路要素３７０の下に位置付けられたシームレスなエネルギー面３６０における位置の第１のセットをエネルギーデバイス３４０Ａに接続する。一例では、エネルギーデバイス３４０Ａは、ソースピクセルのアレイを有する発光ディスプレイである。エネルギーリレーデバイス３４０Ｂは、導波路要素３７０の下に位置付けられたシームレスなエネルギー面３６０における場所の第２のセットをエネルギーデバイス３４０Ｂに接続する。一例では、エネルギーデバイス３４０Ｂは、センサピクセルのアレイを有する画像センサである。ＬＦディスプレイモジュール３０２は、特定の導波路要素３７０の下にあるシームレスなエネルギー面３６５における場所が、すべて発光ディスプレイ場所、すべて画像センサ場所、または場所の何らかの組み合わせであるように構成され得る。他の実施形態では、双方向エネルギー面は、様々な他の形態のエネルギーを投影および受信することができる。
ＬＦディスプレイモジュール３００Ｂの別の例示的な実施形態では、ＬＦディスプレイモジュールは、２つの異なるタイプのエネルギーを投影するように構成される。例えば、エネルギーデバイス３４０Ａは、電磁エネルギーを放出するように構成された発光ディスプレイであり、エネルギーデバイス３４０Ｂは、機械的エネルギーを放出するように構成された超音波振動子である。そのため、光および音の両方が、シームレスなエネルギー面３６０における様々な場所から投影され得る。この構成では、エネルギーリレーデバイス３５０Ａは、エネルギーデバイス３４０Ａをシームレスなエネルギー面３６０に接続し、電磁エネルギーを中継する。エネルギーリレーデバイスは、電磁エネルギーの輸送を効率的にする（例えば、屈折率を変化させる）特性を有するように構成される。エネルギーリレーデバイス３５０Ｂは、エネルギーデバイス３４０Ｂをシームレスなエネルギー面３６０に接続し、機械的エネルギーを中継する。エネルギーリレーデバイス３５０Ｂは、超音波エネルギーの効率的な輸送のための特性を有するように構成される（例えば、異なる音響インピーダンスを有する材料の配分）。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層３３０上の導波路要素３７０間の場所から投影され得る。機械的エネルギーを投影する場所は、光が一方の電磁導波路要素から他方に輸送されるのを抑制する役割を果たす構造体を形成し得る。一例では、超音波の機械的エネルギーを投影する場所の空間的に分離されたアレイは、三次元触覚形状および表面を空中に作成するように構成することができる。表面は、投影されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト３８０）と一致し得る。いくつかの例では、アレイにわたる位相の遅延および振幅の変化は、触覚形状の作成を支援し得る。
様々な実施形態では、双方向ＬＦディスプレイモジュール３０２は、各エネルギーデバイス層が特定のタイプのエネルギーデバイスを含んだ、複数のエネルギーデバイス層を含み得る。これらの例では、エネルギーリレー層は、シームレスなエネルギー面３６０とエネルギーデバイス層３３０との間で適切なタイプのエネルギーを中継するように構成される。
タイル張りされたＬＦディスプレイモジュール
図４Ａは、１つ以上の実施形態による、単一面シームレス表面環境を形成するために、二次元にタイル張りされたＬＦディスプレイシステム４００の一部の斜視図である。ＬＦディスプレイシステム４００は、アレイ４１０を形成するようにタイル張りされた複数のＬＦディスプレイモジュールを含む。より明確には、アレイ４１０内の小さな正方形の各々が、タイル張りされたＬＦディスプレイモジュール４１２を表す。アレイ４１０は、例えば、表面の一部またはすべてを覆い得る。
アレイ４１０は、１つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、アレイ４１０は、ホログラフィックオブジェクト４２０およびホログラフィックオブジェクト４３０を投影する。ＬＦディスプレイモジュールのタイル張りは、はるかに大きなビューイングボリュームを可能にするだけでなく、オブジェクトがアレイ４１０からより遠くに投影されることを可能にする。例えば、例示的な実施形態では、ビューイングボリュームは、ＬＦディスプレイモジュール４１２の前（および後ろ）の局所的なボリュームではなく、アレイ４１０の前および後ろのほぼ全エリアである。
いくつかの実施形態では、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２０を視聴者４３０および視聴者４３４に提示する。視聴者４３０および視聴者４３４は、異なる視点のホログラフィックオブジェクト４２０を受信する。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０の真っ直ぐなビューを提示される一方、視聴者４３４は、ホログラフィックオブジェクト４３０のより斜めのビューを提示される。視聴者４３０および／または視聴者４３４が移動すると、これらの視聴者は、異なる視点のホログラフィックオブジェクト４２０を提示される。これにより、視聴者は、ホログラフィックオブジェクトに対して移動することにより、ホログラフィックオブジェクトと視覚的にインタラクションすることが可能になる。例えば、視聴者４３０がホログラフィックオブジェクト４２０の周りを歩くとき、ホログラフィックオブジェクト４２０がアレイ４１０のホログラフィックオブジェクトボリューム内に留まっている限り、視聴者４３０は、ホログラフィックオブジェクト４２０の異なる側面を見る。従って、視聴者４３０および視聴者４３４は、あたかもホログラフィックオブジェクト４２０が実際にそこにあるかのように、実世界空間にホログラフィックオブジェクト４２０を同時に見ることができる。追加的に、ホログラフィックオブジェクト４２０は、物理的オブジェクトが見えるのとほぼ同じように視聴者に見えるので、ホログラフィックオブジェクト４２０の視聴者４４０および視聴者４５０は、ホログラフィックオブジェクト４２０を見るために外部デバイスを着用する必要はない。追加的に、ここでは、アレイのビューイングボリュームがアレイの表面の後ろに延在するため、ホログラフィックオブジェクト４２２が、アレイの後ろに例示されている。このように、ホログラフィックオブジェクト４２２は、アレイ４１０の表面よりも視聴者から遠く離れているかのように、視聴者４３０および／または視聴者４３４に提示され得る。
いくつかの実施形態では、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３５の位置を追跡する追跡システムを含み得る。いくつかの実施形態では、追跡される位置は、一般に、視聴者の位置である。他の実施形態では、追跡される位置は、視聴者の目の位置である。目の位置追跡は、目がどこを見ているかを追跡する（例えば、配向を使用して視線場所を決定する）視線追跡とは異なる。視聴者４４０の目および視聴者４５０の目は、異なる場所にある。
様々な構成では、ＬＦディスプレイシステム４００は、１つ以上の追跡システムを含み得る。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステムは、アレイ４１０の外部にある追跡システム４４０を含む。ここで、追跡システムは、アレイ４１０に結合されたカメラシステムであり得る。外部追跡システムは、図５Ａとの関連付けより詳細に説明される。他の例示的な実施形態では、追跡システムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれるＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、エネルギーデバイス３４０）は、アレイ４４０の前の視聴者の画像をキャプチャするように構成され得る。いずれの場合でも、ＬＦディスプレイシステム４００の追跡システムは、アレイ４１０によって提示されたホログラフィックコンテンツを見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に関する追跡情報を決定する。
追跡情報は、視聴者の位置、または視聴者の一部の位置（例えば、視聴者の片方または両方の目、もしくは視聴者の四肢）の空間内の（例えば、追跡システムに対する）位置を表す。追跡システムは、追跡情報を決定するために、任意の数の深度決定技術を使用することができる。深度決定技術は、例えば、構造化光、飛行時間、ステレオ撮像、何らかの他の深度決定技術、またはそれらの何らかの組み合わせを含み得る。追跡システムは、１つ以上の赤外線源（例えば、構造化光源）、赤外線で画像をキャプチャすることができる１つ以上の画像センサ（例えば、赤－青－緑－赤外線カメラ）、および追跡モジュールを含み得る。追跡システムは、深度推定技術を使用して、視聴者の位置を決定することができる。いくつかの実施形態では、ＬＦディスプレイシステム４００は、本明細書で説明するように、視聴者４４０および／または視聴者４５０の追跡された位置に基づいて、ホログラフィックオブジェクトを生成する。例えば、ＬＦディスプレイシステム４００は、アレイ４１０の閾値距離および／または特定の位置内に来る視聴者に応答して、ホログラフィックオブジェクトを生成することができる。
ＬＦディスプレイシステム４００は、追跡情報に部分的に基づいて、各視聴者に合わせてカスタマイズされた１つ以上のホログラフィックオブジェクトを提示することができる。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０を提示され得るが、ホログラフィックオブジェクト４２２は提示され得ない。視聴者４３４は、ホログラフィックオブジェクト４２２を提示され得るが、ホログラフィックオブジェクト４２０は提示され得ない。ＬＦディスプレイシステム４００は、視聴者４４０および視聴者４５０の各々の位置を追跡する。ＬＦディスプレイシステム４００は、ホログラフィックオブジェクトが提示される場所に対する相対的な位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を決定する。ＬＦディスプレイシステム４００は、決定された視点に対応する特定のピクセルから光を選択的に投影する。従って、視聴者４３４および視聴者４３０は、潜在的に完全に異なる体験を同時に有することができる。言い換えれば、ＬＦディスプレイシステム４００は、ホログラフィックコンテンツを、ビューイングボリュームのビューイングサブボリュームに提示し得る。例えば、図に示すように、ビューイングボリュームは、アレイの前後のすべてのスペースで表される。この例では、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３４の位置を追跡することができるので、ＬＦディスプレイシステム４００は、電化製品を操作するために、２つの異なるホログラフィックインターフェースを２人の視聴者に提示し得る。従って、ＬＦディスプレイシステム４００は、「回転可能なダイヤル」（例えば、ホログラフィックオブジェクト４２０）を、視聴者４３０を囲むビューイングサブボリュームに投影し、「一組の押下可能ボタン」コンテンツ（例えば、ホログラフィックオブジェクト４２２）を、視聴者４３４を囲むビューイングサブボリュームに投影し得る。対照的に、従来のシステムは、このようなカスタマイズされた体験を提供するために、個々のヘッドセットを使用しなければならないであろう。
いくつかの実施形態では、ＬＦディスプレイシステム４００は、１つ以上の感覚フィードバックシステムを含み得る。感覚フィードバックシステムは、ホログラフィックオブジェクト４２０および４２２を拡張する他の感覚刺激（例えば、触覚、音声、温度、および／または嗅覚）を提供する。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステム４００は、アレイ４１０の外部の感覚フィードバックシステム４４２を含む。一例では、感覚フィードバックシステム４４２は、アレイ４１０に結合された静電スピーカであり得る。外部感覚フィードバックシステムは、図５Ａとの関連付けより詳細に説明される。他の例示的な実施形態では、感覚フィードバックシステムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれるＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、図３Ｂのエネルギーデバイス３４０Ａ）は、超音波エネルギーをアレイの前の視聴者に投影し、および／またはアレイの前の視聴者から画像情報を受信するように構成され得る。いずれの場合でも、感覚フィードバックシステムは、感覚コンテンツを、アレイ４１０によって提示されるホログラフィックコンテンツ（例えば、ホログラフィックオブジェクト４２０および／またはホログラフィックオブジェクト４２２）を見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に提示し、および／または視聴者から受信する。
ＬＦディスプレイシステム４００は、アレイの外部の１つ以上の音響投影デバイスを含む感覚フィードバックシステムを含み得る。代替的または追加的に、ＬＦディスプレイシステム４００は、本明細書で説明されるように、アレイ４１０に統合された１つ以上の音響投影デバイスを含み得る。音響投影デバイスは、視聴者の一部が１つ以上の表面の閾値距離内に入る場合、ホログラフィックオブジェクトの１つ以上の表面（例えば、ホログラフィックオブジェクト４２０の表面における）に対して体積触覚を生成する超音波圧力波を投影し得る。体積触覚は、ユーザーがホログラフィックオブジェクトの表面をタッチして感じることを可能にする。複数の音響投影デバイスは、視聴者に音声コンテンツ（例えば、没入型オーディオ）を提供する可聴圧力波を投影することができる。従って、超音波圧力波および／または可聴圧力波は、体積触覚表面をホログラフィックオブジェクトの表面の閾値距離内にする、または提示されたホログラフィックオブジェクトの表面と一致させることによって、提示されたホログラフィックオブジェクトを補完する役割を果たすことができるいくつかの実施形態では、生成された体積触覚表面のユーザーによる接触に対する抵抗は、ＬＦディスプレイシステム４００で決定されたパラメータの値に基づき得る。いくつかの実施形態では、体積触覚表面は、少なくとも部分的に、ＬＦディスプレイシステム４００の追跡システム４４０から得られた情報に基づいて、生成、修正、更新、または削除され得る。いくつかの実施形態では、ＬＦディスプレイシステムは、追跡システム４４０から得られた情報を人工知能モデルと組み合わせて使用して、体積触覚表面を生成した。
様々な実施形態では、ＬＦディスプレイシステム４００は、視聴者の追跡された位置に部分的に基づいて、他の感覚刺激を提供することができる。例えば、図４Ａに例示されるホログラフィックオブジェクト４２２は回転可能なダイヤルであり、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２２を視覚的（すなわち、ホログラフィックオブジェクト４２２が回転するように見える）および聴覚的（すなわち、１つ以上の音響投影デバイスが、ホログラフィックオブジェクト４３０から生じる視聴者４４０がクリック回転音として知覚する音を発する）の両方で回転させ得る。
例示的な構成では、ホログラフィックビューイングボリュームは、構成２００のビューイングボリューム２８５と同様の方法で制限され得ることに留意されたい。これは、視聴者が単一のディスプレイユニットで体験するであろう知覚される没入感の量を制限する可能性がある。これに対処する１つの方法が、図４Ｂに関して以下に説明するように、電化製品の複数の側面に沿ってタイル張りされた複数のＬＦディスプレイモジュールを使用することである。
図４Ｂは、１つ以上の実施形態による、多面シームレス表面環境におけるＬＦディスプレイシステム４０２の一部分の斜視図である。ＬＦディスプレイシステム４０２は、複数のＬＦディスプレイモジュールがタイル張りされて多面シームレス表面環境を作成することを除いて、ＬＦディスプレイシステム４００と実質的に同様である。より具体的には、ＬＦディスプレイモジュールは、６面集合シームレス表面環境であるアレイを形成するようにタイル張りされている。他の実施形態では、複数のＬＦディスプレイモジュールは、表面またはそれらの何らかの組み合わせのすべてではないが、一部を覆い得る。他の実施形態では、複数のＬＦディスプレイモジュールがタイル張りされて、何らかの他の集合シームレス表面を形成する。例えば、表面は、円筒形の集合エネルギー環境が形成されるように湾曲され得る。
ＬＦディスプレイシステム４０２は、１つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、ＬＦディスプレイシステム４０２は、ホログラフィックオブジェクト４２０を、６面集合シームレス表面環境によって囲まれたエリアに投影する。従って、ＬＦディスプレイシステムのビューイングボリュームも、６面集合シームレス表面環境内に含まれる。例示的な構成では、視聴者４３２は、ホログラフィックオブジェクト４２０と、ホログラフィックオブジェクト４２０を形成するために使用されるエネルギー（例えば、光および／または圧力波）を投影しているＬＦディスプレイモジュール４１４との間に位置付けられ得ることに留意されたい。従って、視聴者４３４の位置付けは、視聴者４３０が、ＬＦディスプレイモジュール４１４からのエネルギーから形成されるホログラフィックオブジェクト４２０を知覚することを妨げる可能性がある。しかしながら、例示的な構成では、（例えば、視聴者４３４によって）遮られず、エネルギーを投影してホログラフィックオブジェクト４２０を形成できる、例えば、ＬＦディスプレイモジュール４１６などの少なくとも１つの他のＬＦディスプレイモジュールが存在する。このように、空間内の視聴者による閉塞により、ホログラフィック投影の一部が見えなくなる可能性があるが、この影響は、ボリュームの一面にのみホログラフィックディスプレイパネルが存在する場合よりもはるかに小さい。ホログラフィックオブジェクト４２２は、ホログラフィックオブジェクトボリュームが集合表面の後ろに延在するため、６面集合シームレス表面環境の囲いの「外側」に例示されている。従って、視聴者４３０および／または視聴者４３４は、ホログラフィックオブジェクト４２２を、視聴者が全体にわたって移動することができる６面環境の「外側」として知覚することができる。
図４Ａを参照して前述したように、いくつかの実施形態では、ＬＦディスプレイシステム４０２は、視聴者の位置を能動的に追跡し、追跡された位置に基づいてホログラフィックコンテンツを提示するように、異なるＬＦディスプレイモジュールに動的に命令し得る。従って、多面構成は、制約のない視聴者が、多面シームレス表面環境によって囲まれたエリア全体を自由に移動することができる、ホログラフィックオブジェクトを提供するための（例えば、図４Ａと比べて）より堅牢な環境を提供することができる。
特に、様々なＬＦディスプレイシステムが、異なる構成を有し得る。さらに、各構成は、全体でシームレスな表示面（「集合表面」）を形成する表面の特定の配向を有し得る。すなわち、ＬＦディスプレイシステムのＬＦディスプレイモジュールは、タイル張りされて様々な集合表面を形成することができる。例えば、図４Ｂでは、ＬＦディスプレイシステム４０２は、６面集合表面を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。いくつかの他の例では、集合表面は、全表面ではなく、表面の一部でのみ発生し得る。いくつかの例が本明細書に記載されている。
いくつかの構成では、ＬＦディスプレイシステムの集合表面は、局部的なビューイングボリュームに向けてエネルギーを投影するように構成された集合表面を含み得る。局部的なビューイングボリュームにエネルギーを投影することは、例えば、特定のビューイングボリューム内の投影エネルギーの密度を上げ、そのボリューム内の視聴者のＦＯＶを広げ、ビューイングボリュームを表示面に近づけることにより、より高品質の視聴体験を可能にする。
例えば、図４Ｃは、「ウィング型」構成の集合表面を有するＬＦディスプレイシステム４５０Ａの上面図を示す。ＬＦディスプレイシステム４５０Ａは集合表面４６０を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。ＬＦディスプレイシステム４５０Ａは、３つの部分、すなわち、（ｉ）第１の中央部分４６２、（ｉｉ）第１の部分４６２に接続され、エネルギーを中央部分の前面（すなわち、第１の側面）向けて投影するために中央部分からある角度で配置された第２の部分４６４、および（ｉｉｉ）第１の部分４６２に接続され、エネルギーを中央部分の前面（すなわち、第２の側面）向けて投影するために中央部分からある角度で配置された第３の部分４６６、を含む集合表面４６０を有する。第１の中央部分が水平面および垂直軸を有する垂直面内にあるようにモバイルデバイスが保持される場合、第２および第３の部分は、水平軸に沿って中央部分の前方に向かって角度が付けられる。
この例では、ＬＦディスプレイシステム４５０Ａのビューイングボリューム４６８Ａは、デバイスの前方にあり、集合表面４６０の３つの部分によって部分的に囲まれている。視聴者を少なくとも部分的に囲む集合表面（「周囲表面」）は、視聴者の没入型体験を増大する。
例示のために、例えば、中央表面のみを有する集合表面を考慮する。図２Ａを参照すると、表示面のいずれかの端から投影される光線は、上記のように理想的なホログラフィックボリュームおよび理想的なビューイングボリュームを作成する。ここで、例えば、中央表面が、視聴者に向かって角度の付いた２つの側表面を含んだ場合を考慮する。この場合、光線２５６および光線２５７は、中央表面の法線からより大きな角度で投影されるであろう。従って、ビューイングボリュームの視野が拡大するであろう。同様に、ホログラフィックビューイングボリュームは、表示面により近くなるであろう。追加的に、第２および第３の２つの部分がビューイングボリュームのより近くで傾斜しているため、表示面から一定の距離で投影されるホログラフィックオブジェクトは、そのビューイングボリュームにより近い。
簡単に言えば、中央表面のみを有する表示面は、平面視野、（中央の）表示面とビューイングボリュームとの間の平面閾値分離、およびホログラフィックオブジェクトとビューイングボリュームとの間の平面近接度を有する。視聴者に向かって角度の付いた１つ以上の側表面を追加すると、平面視野に対して視野が拡大し、表示面とビューイングボリュームとの間の分離が平面分離に対して減少し、表示面とホログラフィックオブジェクトとの間の近接度が、平面近接度に対して増大する。側表面を視聴者に向けてさらに角度を付けると、さらに視野が拡大し、分離が減少し、近接度が増大する。言い換えれば、側表面の角度の付いた配置は、視聴者の没入型体験を増大する。
追加的に、図６に関して以下に説明するように、偏向光学系を使用して、ＬＦ表示パラメータ（例えば、寸法およびＦＯＶ）のビューイングボリュームのサイズおよび位置を最適化することができる。
図４Ｄに戻ると、同様の例では、図４Ｄは、「スロープ」構成の集合表面を有するＬＦディスプレイシステム４５０Ｂの上面図を示す。ＬＦディスプレイシステム４５０Ｂは集合表面４６０を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。集合表面４６０は、３つの部分、すなわち、（ｉ）第１の部分４６２（すなわち、中央表面）、（ｉｉ）第１の部分４６２に接続され、エネルギーを中央部分の前面（すなわち、第１の側面）向けて投影するために中央部分からある角度で配置された第２の部分４６４、および（ｉｉｉ）第１の部分４６２に接続され、エネルギーを中央部分の前面（すなわち、第２の側面）向けて投影するために中央部分からある角度で配置された第３の部分４６４、を含む。第１の部分が水平面および垂直軸を有する垂直面となるようにモバイルデバイスが保持される場合、第２および第３の部分は、垂直軸に沿って中央部分の前方に向かって角度が付けられる。
この例では、ＬＦディスプレイシステム４５０Ｂのビューイングボリューム４６８Ｂは、中央部分の前方にあり、集合表面４６０の３つの部分によって部分的に囲まれている。図４Ｃに示される構成と同様に、２つの側面部分（例えば、第２の部分４６４および第３の部分４６６）は、視聴者を囲んで、周囲表面を形成するように角度が付いている。周囲表面は、ホログラフィックビューイングボリューム４６８Ｂ内の任意の視聴者の視点からのビューイングＦＯＶを拡大する。追加的に、周囲表面は、投影されたオブジェクトがより近くに見えるように、ビューイングボリューム４６８Ｂがディスプレイの表面により近くなることを可能にする。言い換えれば、側表面の角度の付いた配置は、視野を拡大し、分離を減少させ、集合表面の近接度を増大させ、それによって、視聴者の没入型体験を増大する。さらに、以下で考察するように、偏向光学系を使用して、ビューイングボリューム４６８Ｂのサイズおよび位置を最適化することができる。
集合表面４６０の側面部分の傾斜構成は、第３の部分４６６が傾斜していない場合よりも、ホログラフィックコンテンツがビューイングボリューム４６８Ｂにより近く提示されることを可能にする。例えば、傾斜した構成のＬＦディスプレイシステムから提示されるキャラクターの下肢（脚など）は、平坦なフロントディスプレを有するＬＦディスプレイシステムが使用された場合よりも近く、かつより現実的に思われ得る。追加的に、ＬＦディスプレイシステムの構成およびそれが位置している環境により、ビューイングボリュームおよびビューイングサブボリュームの形状および位置を知ることができる。
図４Ｅは、例えば、集合表面４６０を有するＬＦディスプレイシステム４５０Ｃの上面図を例示する。ＬＦディスプレイシステム４５０Ｃは、集合表面４６０から様々な光線を投影する。集合表面４６０の左側から投影される光線は水平角度範囲４８１を有し、集合表面の右側から投影される光線は水平角度範囲４８２を有し、集合表面４６０の中心から投影される光線は水平角度範囲４８３を有する。これらの点の間で、投影光線は、角度範囲の中間値を取ることができる。このように、表示面の全体で投影光線に傾斜した偏向角（ｇｒａｄｉｅｎｔ ｄｅｆｌｅｃｔｉｏｎ ａｎｇｌｅ）を有することにより、ビューイングボリューム４６８Ｃが作成される。
ＬＦディスプレイシステムの制御
図５は、１つ以上の実施形態による、ＬＦディスプレイシステム５００のブロック図である。ＬＦディスプレイシステム５００は、ＬＦディスプレイアセンブリ５１０およびコントローラ５２０を備える。ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影する１つ以上のＬＦディスプレイモジュール５１２を含む。ＬＦディスプレイモジュール５１２は、他のタイプのエネルギーを投影および／または感知する統合されたエネルギー源および／またはエネルギーセンサを含むソース／センサシステム５１４を含み得る。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、ＬＦ処理エンジン５３０、コマンドライブラリ５３２、およびセキュリティモジュール５３４を含む。コントローラ５２０はまた、追跡モジュール５２６、およびユーザープロファイリングモジュール５２８を含み得る。いくつかの実施形態では、ＬＦディスプレイシステム５００はまた、感覚フィードバックシステム５７０および追跡システム５８０を含む。図１、２、３、および４の文脈の中で説明されるＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の実施形態である。他の実施形態では、ＬＦディスプレイシステム５００は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。ＬＦディスプレイシステム５００の用途についても、図６～図８に関して以下で詳細に考察する。
ＬＦディスプレイアセンブリ５１０は、ビューイングボリューム内に位置する視聴者に見え得るホログラフィックオブジェクトボリューム内にホログラフィックコンテンツを提供する。ＬＦディスプレイアセンブリ５１０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツを提供することができる。ホログラフィックコンテンツは、集合表面の前、ＬＦディスプレイアセンブリ５１０、ＬＦディスプレイアセンブリ５１０の集合表面の後ろ、またはそれらの何らかの組み合わせに投影される１つ以上のホログラフィックオブジェクトを含み得る。コントローラ５２０を用いた表示命令の生成について、以下でより詳細に説明する。
ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイアセンブリ５１０に含まれる１つ以上のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール１１０、ＬＦディスプレイシステム２００、およびＬＦディスプレイモジュール３００のいずれか）を使用してホログラフィックコンテンツを提供する。便宜上、１つ以上のＬＦディスプレイモジュールは、本明細書ではＬＦディスプレイモジュール５１２として説明されることがある。ＬＦディスプレイモジュール５１２は、タイル張りされて、ＬＦディスプレイアセンブリ５１０を形成することができる。ＬＦディスプレイモジュール５１２は、様々なシームレス表面環境（例えば、単一面、多面、曲面など）として構造化され得る。つまり、タイル張りされたＬＦディスプレイモジュールが集合表面を形成する。前述のように、ＬＦディスプレイモジュール５１２は、ホログラフィックコンテンツを提示する、エネルギーデバイス層（例えば、エネルギーデバイス層２２０）およびエネルギー導波路層（例えば、エネルギー導波路層２４０）を含み得る。ＬＦディスプレイモジュール５１２はまた、ホログラフィックコンテンツを提示するときに、エネルギーデバイス層とエネルギー導波路層との間でエネルギーを転送するエネルギーリレー層（例えば、エネルギーリレー層２３０）を含み得る。
ＬＦディスプレイモジュール５１２はまた、前述のように、エネルギー投影および／またはエネルギー感知のために構成される他の統合システムを含み得る。例えば、ライトフィールドディスプレイモジュール５１２は、エネルギーを投影および／または感知するように構成される任意の数のエネルギーデバイス（例えば、エネルギーデバイス３４０）を含み得る。便宜上、ＬＦディスプレイモジュール５１２の統合エネルギー投影システムおよび統合エネルギー感知システムは、本明細書では、総称してソース／センサシステム５１４として説明されることがある。ソース／センサシステム５１４は、ソース／センサシステム５１４が、ＬＦディスプレイモジュール５１２と同じシームレスなエネルギー面を共有するように、ＬＦディスプレイモジュール５１２内に統合されている。言い換えれば、ＬＦディスプレイアセンブリ５１０の集合表面は、ＬＦディスプレイモジュール５１２およびソース／センサモジュール５１４の両方の機能を含む。すなわち、ソース／センサシステム５１４を有するＬＦディスプレイモジュール５１２を含むＬＦアセンブリ５１０は、ライトフィールドを投影しながら、同時にエネルギーを投影し、および／またはエネルギーを感知することができる。例えば、ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイモジュール５１２と、前述のようにデュアルエネルギー面または双方向エネルギー面として構成されたソース／センサシステム５１４とを含み得る。
いくつかの実施形態では、ＬＦディスプレイシステム５００は、感覚フィードバックアセンブリ５７０を使用して、生成されたホログラフィックコンテンツを他の感覚コンテンツ（例えば、協調的な触覚、音声または嗅覚など）で拡張する。感覚フィードバックシステム５７０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツの投影を拡張することができる。一般に、感覚フィードバックシステム５７０は、ＬＦディスプレイアセンブリ５１０の外部の任意の数の感覚フィードバックデバイス（例えば、感覚フィードバックシステム４４２）を含む。いくつかの例示的な感覚フィードバックデバイスは、調整された音響投影デバイスおよび受信デバイス、芳香投影デバイス、温度調整デバイス、力作動デバイス、圧力センサ、トランスデューサなどを含み得る。場合によっては、感覚フィードバックシステム５７０は、ライトフィールドディスプレイアセンブリ５１０と同様の機能を有し得、逆もまた然りである。例えば、感覚フィードバックシステム５７０およびライトフィールドディスプレイアセンブリ５１０の両方は、サウンドフィールドを生成するように構成され得る。別の例として、感覚フィードバックシステム５７０は、触覚表面を生成するように構成され得る一方、ライトフィールドディスプレイ５１０アセンブリはそうではない。
例示のために、ライトフィールドディスプレイシステム５００の例示的な一実施形態では、感覚フィードバックシステム５７０は、音響投影デバイスを含み得る。音響投影デバイスは、コントローラ５２０から受信された表示命令を実行するときに、ホログラフィックコンテンツを補完する１つ以上の圧力波を生成するように構成される。生成される圧力波は、例えば、可聴（音の場合）、超音波（接触の場合）、またはそれらの何らかの組み合わせであってもよい。同様に、感覚フィードバックシステム５７０は、芳香投影デバイスを含み得る。投影デバイスは、コントローラから受信した表示命令を実行する際に、標的エリアの一部またはすべてに香りを与えるように構成することができる。さらに、感覚フィードバックシステム５７０は、温度調整デバイスを含み得る。温度調整デバイスは、コントローラ５２０から受信された表示命令を実行するときに、標的エリアの一部もしくはすべての温度を上げるか、または下げるように構成される。いくつかの実施形態では、感覚フィードバックシステム５７０は、作動力デバイスを含み得る。作動力デバイスを使用して、標的エリアのいくつかの物理的オブジェクトを動かし得る。
いくつかの実施形態では、感覚フィードバックアセンブリ５７０は、ＬＦディスプレイシステム５００のユーザーからの入力を受信するように構成される。この場合、感覚フィードバックシステム５７０は、ユーザーからの入力を受信するための様々な感覚フィードバックデバイスを含む。センサフィードバックデバイスは、音響受信デバイス（例えば、マイクロフォン）、圧力センサ、動き検出器などのデバイスを含み得る。感覚フィードバックアセンブリ５７０は、ホログラフィックコンテンツが提示されるときに感覚フィードバックを提供するように構成された感覚フィードバックデバイスを含み得る。感覚フィードバックシステムは、ホログラフィックコンテンツおよび／または感覚フィードバックの生成を調整するために、検出された入力をコントローラ５２０に送信し得る。
例示のために、ライトフィールドディスプレイアセンブリの例示的な一実施形態では、感覚フィードバックシステム５７０は、マイクロフォンを含む。マイクロフォンは、１人以上の電化製品のユーザーによって生み出された音声を記録するように構成される。感覚フィードバックシステム５７０は、記録された音声を、ユーザー入力としてコントローラ５２０に提供する。コントローラ５２０は、ユーザー入力を使用して、ホログラフィックコンテンツを生成することができる。同様に、感覚フィードバックシステム５７０は、圧力センサを含み得る。圧力センサは、ユーザーによって圧力センサに加えられた力を測定するように構成される。感覚フィードバックシステム５７０は、測定された力を、ユーザー入力としてコントローラ５２０に提供し得る。
いくつかの実施形態では、感覚フィードバックアセンブリ５７０はまた、ユーザーの動きをリダイレクトするように構成される。一実施形態では、感覚フィードバックアセンブリ５７０は、例えば、タイマーが切れる前にオーブンのドアを開くなど、触覚圧力波を生成して、動きを阻止することができる音響投影デバイスを含む。別の実施形態では、感覚フィードバックアセンブリ５７０は、音響放出デバイスを使用して、さらなる動作（例えば、「オーブンドアを開けない」）からユーザーに聴覚的に信号を送り得る。
いくつかの実施形態では、ＬＦディスプレイシステム５００は、追跡システム５８０を含む。追跡システム５８０は、デバイスのユーザーに関する情報、位置、動き、ジェスチャ、表情、視線、および／または年齢および性別などの標的エリアの人々の他の特徴を含む情報を取得するように構成された任意の数の追跡デバイスを含む。一般に、追跡デバイスは、ＬＦディスプレイアセンブリ５１０の外部にある。いくつかの例示的な追跡デバイスとしては、カメラアセンブリ（「カメラ」）、深度センサ、構造化光、ＬＩＤＡＲシステム、カードスキャンシステム、または標的エリアの視聴者を追跡することができる他の追跡デバイスが挙げられる。
追跡システム５８０は、標的エリアの一部またはすべてを光で照らす１つ以上のエネルギー源を含み得る。しかしながら、場合によっては、ホログラフィックコンテンツを提示するときに、標的エリアは、自然光および／またはＬＦディスプレイアセンブリ５１０からの周囲光で照らされる。エネルギー源は、コントローラ５２０から受信された命令を実行するときに、光を投影する。光は、例えば、構造化光パターン、光のパルス（例えば、ＩＲフラッシュ）、またはそれらの何らかの組み合わせであり得る。追跡システムは、可視帯域（約３８０ｎｍ～７５０ｎｍ）内、赤外線（ＩＲ）帯域（約７５０ｎｍ～１７００ｎｍ）内、紫外線帯域（１０ｎｍ～３８０ｎｍ）内、電磁スペクトルの何らかの他の部分、またはそれらの何らかの組み合わせの光を投影することができる。ソースとしては、例えば、発光ダイオード（ＬＥＤ）、マイクロＬＥＤ、レーザーダイオード、ＴＯＦ深度センサ、波長可変レーザーなどを挙げることができる。
追跡システム５８０は、コントローラ５２０から受信された命令を実行するときに、１つ以上の放出パラメータを調整し得る。放出パラメータは、追跡システム５８０のソースから光が投影される方法に影響を与えるパラメータである。放出パラメータとしては、例えば、明るさ、パルスレート（連続照明を含む）、波長、パルス長、ソースアセンブリから光が投影される方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。一実施形態では、ソースは、飛行時間動作で光のパルスを投影する。
追跡システム５８０のカメラは、標的エリアから反射された光（例えば、構造化光パターン）の画像をキャプチャする。カメラは、コントローラ５２０から受信された追跡命令を実行するときに、画像をキャプチャする。前述のように、光は、追跡システム５８０のソースによって投影され得る。カメラは、１つ以上のカメラを含み得る。すなわち、カメラは、例えば、フォトダイオードのアレイ（１Ｄまたは２Ｄ）、ＣＣＤセンサ、ＣＭＯＳセンサ、追跡システム５８０によって投影される光の一部またはすべてを検出する何らかの他のデバイス、またはそれらの何らかの組み合わせであってもよい。一実施形態では、追跡システム５８０は、ＬＦディスプレイアセンブリ５１０の外部のライトフィールドカメラを含み得る。他の実施形態では、カメラは、ＬＦディスプレイアセンブリ５１０に含まれるＬＦディスプレイモジュールの一部として含まれる。例えば、前述のように、ライトフィールドモジュール５１２のエネルギーリレー素子が、エネルギーデバイス層２２０で発光ディスプレイと画像センサとの両方をインターリーブする双方向エネルギー層である場合、ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影すると同時に、ディスプレイの前の視聴エリアからの画像情報を記録するように構成され得る。一実施形態では、双方向エネルギー面からキャプチャされた画像は、ライトフィールドカメラを形成する。カメラは、キャプチャされた画像をコントローラ５２０に提供する。いくつかの実施形態では、カメラアセンブリは、電化製品の特定の部分を照らして、視聴者に表示するための視覚情報を生成し得る。例えば、カメラなどの内部センサは、冷蔵庫の中身を画像化するために冷蔵庫内に存在し、冷蔵庫の中身のホログラフィックディスプレイを生成することに関する情報のためにコントローラ５２０に情報を提供し得る。
追跡システム５８０のカメラは、コントローラ５２０から受信された追跡命令を実行するときに、１つ以上の撮像パラメータを調整することができる。撮像パラメータは、カメラアセンブリが画像をキャプチャする方法に影響を与えるパラメータである。撮像パラメータとしては、例えば、フレームレート、絞り値、ゲイン、露光長さ、フレームタイミング、カメラアセンブリが画像をキャプチャする方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。
いくつかの実施形態では、追跡システム５８０はまた、ＬＦディスプレイシステム５００の視聴者からの入力を受信するように構成される。追跡システム５８０は、視聴者の身体の動きを追跡し、特定の追跡された動きに関する情報をコントローラ５２０に送信することができる。いくつかの実施形態では、追跡システム５８０は、ユーザーに提示されるホログラフィックユーザーインターフェースと協調して使用される。
コントローラ５２０は、ＬＦディスプレイアセンブリ５１０と、ＬＦディスプレイシステム５００の任意の他の構成要素と、を制御する。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、追跡モジュール５２６、ユーザープロファイリングモジュール５２８、ライトフィールド処理エンジン５３０、およびコマンドライブラリ５３２を備える。他の実施形態では、コントローラ５２０は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。例えば、追跡モジュール５２６は、ＬＦディスプレイアセンブリ５１０または追跡システム５８０の一部であり得る。
データストア５２２は、ＬＦディスプレイシステム５００の情報を記憶するメモリである。記憶される情報としては、表示命令、追跡命令、放出パラメータ、撮像パラメータ、標的エリアの仮想モデル、追跡情報、カメラによってキャプチャされた画像、１つ以上のユーザープロファイル、ライトフィールドディスプレイアセンブリ５１０の較正データ、ＬＦモジュール５１２の解像度および配向を含むＬＦディスプレイシステム５１０の構成データ、所望のビューイングボリューム形状、３Ｄモデル、シーンおよび環境、材料およびテクスチャを含むグラフィックス作成のためのコンテンツ、セキュリティモジュール５３４で使用され得るパスワード、スマートカード、生体認証データなどの認証要素を含むセキュリティ関連情報、ＬＦディスプレイシステム５００によって使用され得る他の情報、またはそれらの何らかの組み合わせを挙げることができる。データストア５２２は、読み取り専用メモリ（ＲＯＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、またはそれらの何らかの組み合わせなどのメモリである。
ネットワークインターフェース５２４は、ライトフィールドディスプレイシステムがネットワークを介して他のシステムまたは環境と通信することを可能にする。一例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を介して、サードパーティプロバイダなどのリモートサーバーからホログラフィックコンテンツを受信する。別の例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を使用して、ホログラフィックコンテンツをリモートのデータストアに送信する。
追跡モジュール５２６は、ＬＦディスプレイシステム５００によって提示されたコンテンツを視聴している視聴者を追跡する。そうするために、追跡モジュール５２６は、追跡システム５８０のソースおよび／またはカメラの動作を制御する追跡命令を生成し、追跡命令を追跡システム５８０に提供する。追跡システム５８０は、追跡命令を実行し、コントローラ５２０を介して追跡モジュール５２６に追跡入力を提供する。
追跡モジュール５２６は、モバイルデバイスの標的エリアの１人以上の視聴者の位置を決定し得る。決定された位置は、何らかの基準点（例えば、表示面）に対するものであり得る。他の実施形態では、決定された位置は、標的エリアの仮想モデル内にあり得る。追跡された位置は、例えば、視聴者の追跡された位置および／または視聴者の一部の追跡された位置（例えば、目の場所、手の場所など）であり得る。追跡モジュール５２６は、追跡システム５８０のカメラからキャプチャされた１つ以上の画像を使用して、位置を決定する。追跡システム５８０のカメラは、ＬＦディスプレイシステム５００の周りに分配され得、画像を立体でキャプチャすることができ、追跡モジュール５２６が視聴者を受動的に追跡することを可能にする。他の実施形態では、追跡モジュール５２６は、視聴者を能動的に追跡する。すなわち、追跡システム５８０は、標的エリアのある部分を照らし、標的エリアを撮像し、追跡モジュール５２６は、飛行時間および／または構造化光深度決定技術を使用して、位置を決定する。追跡モジュール５２６は、決定された位置を使用して、追跡情報を生成する。
追跡モジュール５２６はまた、例えば、ホログラフィックユーザーインターフェース（以下でさらに説明される）を使用して電化製品を操作している間など、ＬＦディスプレイシステム５００の視聴者からの入力として追跡情報を受信し得る。追跡情報は、視聴者がＬＦディスプレイシステム５００によって提供される様々な入力オプションに対応する身体の動きを含み得る。例えば、追跡モジュール５２６は、視聴者の身体の動きを追跡し、任意の様々な動きを、入力として、ＬＦ処理エンジン５３０に割り当てることができる。追跡モジュール５２６は、追跡情報を、データストア５２２、ＬＦ処理エンジン５３０、ユーザープロファイリングモジュール５２８、コマンドストア５３２、ＬＦディスプレイシステム５００の任意の他の構成要素、またはそれらの何らかの組み合わせに提供し得る。
追跡モジュール５２６のための状況を提供するために、電子レンジで使用されるＬＦディスプレイシステム５００の例示的な一実施形態を考慮する。ユーザーが電子レンジ内で爆発するゆで卵に反応して、電化製品のところへ駆け寄って叫ぶとき、追跡システム５８０は、ユーザーの動きを記録し、記録を追跡モジュール５２６に送信し得る。追跡モジュール５２６は、記録におけるユーザーの手の動作を追跡し、以下に説明するＬＦ処理エンジン５３０に入力を送信する。以下に説明するように、ユーザープロファイリングモジュール５２８は、画像内の情報が、ユーザーの動きがネガティブな応答に関連していることを示すと決定する。従って、ＬＦ処理エンジン５３０は、ユーザーと交信するための適切なホログラフィックコンテンツを生成する。例えば、ＬＦ処理エンジン５３０は、ホログラフィックオブジェクトボリューム内で、「次はきっとうまくいくよ！」と述べる悲しそうなホログラフィックアバターを投影し得る。
ＬＦディスプレイシステム５００は、ユーザーを識別し、かつプロファイリングするように構成されたユーザープロファイリングモジュール５２８を含む。ユーザープロファイリングモジュール５２８は、ＬＦディスプレイシステム５００によって表示されたホログラフィックコンテンツを見る１人以上のユーザーのプロファイルを生成する。ユーザープロファイリングモジュール５２８は、ユーザー入力および監視されたユーザーの行動、動作、および反応に部分的に基づいて、ユーザープロファイルを生成する。ユーザープロファイリングモジュール５２８は、追跡システム５８０から取得された情報（例えば、記録された画像、ビデオ、音声など）にアクセスし、その情報を処理して、様々な情報を決定することができる。様々な例において、ユーザープロファイリングモジュール５２８は、マシンビジョンおよび／または機械学習アルゴリズムを使用して、ユーザーの行動、動作、および反応を決定することができる。監視されるユーザーの行動には、例えば、笑顔、歓声、拍手、笑い、恐怖、悲鳴、興奮レベル、反動、他のジェスチャの変化、またはユーザーによる動きなどが含まれ得る。
より一般的には、ユーザープロファイルは、ＬＦディスプレイシステムからのホログラフィックコンテンツを見ているユーザーに関して受信および／または決定された任意の情報を含み得る。例えば、各ユーザープロファイルは、ＬＦディスプレイシステム５００によって表示されたコンテンツに対するそのユーザーの動作または応答を記録し得る。ユーザープロファイルに含まれ得るいくつかの例示的な情報が、以下に提供される。
ユーザープロファイルは、ＬＦディスプレイシステム５００によって表示されるコンテンツに関するユーザーの行動に基づき得る。いくつかの実施形態では、デバイス内に存在するソフトウェアアプリケーションは、ＬＦディスプレイシステム５００と機能的に統合し得、ユーザープロファイルは、デバイスでこれらのソフトウェアアプリケーションを実行している間に監視されるユーザーの行動に基づく。
従って、例えば、監視される動作には、ユーザーが１日または１週間などの期間に電化製品を使用する回数、ユーザーが電化製品の特定の設定を使用する頻度（例えば、重い寝具類向けの洗濯設定で洗濯機が使用される頻度）、ユーザーが特定の種類のホログラフィックコンテンツにどのように反応するか（例えば、オーブン内で、ユーザーから最も迅速な応答を引き出すものである、焼き時間設定が２０分超過したことを示す標識が付いたローストターキーのホログラフィック画像、または焦げたターキーの点滅するホログラフィック画像）、特定の電化製品の使用に関連するその他の行動、またはそれらの組み合わせが含まれ得る。いくつかの実施形態では、電化製品はまた、ユーザーの層（例えば、コインランドリーの洗濯機の、デイリーユーザー、ウィークリーユーザー、不定期ユーザーなど）を有し得る。これらの実施形態では、追跡システムは、ユーザーを確実に識別することができ得る。追跡システムがユーザープロファイリングモジュールにアクセスすると、ＬＦディスプレイシステム５００は、そのユーザーのステータス（例えば、デイリーユーザー、ウィークリーユーザー、不定期ユーザーとして）を決定し得、そのユーザーのステータスに固有のホログラフィックコンテンツを提供することができる。ユーザープロファイリングモジュールは、コントローラ５２０の他のモジュールまたは構成要素からユーザーのさらなる情報を追加的に受信し得、この情報は、ユーザープロファイルとともに記憶されることができる。次に、コントローラ５２０の他の構成要素も、そのユーザーに提供される後のコンテンツを決定するために、記憶されたユーザープロファイルにアクセスし得る。
別の例では、ユーザーは、ホログラフィックコンテンツと併せて提示される触覚インターフェースの好みを示し得、例えば、ＬＦディスプレイシステム１００によって生成され、電化製品ユーザーにオプションとして提供され得るホログラフィックキーボードタッチインターフェースにおける好ましいキークリック感度がある。
ユーザープロファイル情報の一部として保存される他のユーザー特徴には、例えば、ユーザーの名前、ユーザーの年齢、民族性、視聴場所、デバイスとアプリケーションの設定の好み、居住地、その他の人口統計情報、またはそれらの組み合わせが含まれ得る。
ユーザープロファイリングモジュール５２８は、特定の１人以上のユーザーに関連付けられたプロファイルに、１つ以上のサードパーティシステムからアクセスして、ユーザープロファイルを構築および／または更新し得る。視聴者プロファイリングモジュール５２８は、１人以上のユーザーのソーシャルメディアアカウントからの情報を使用して、ユーザープロファイルを更新するように構成され得る。例えば、そのユーザーのソーシャルメディアまたは他のオンラインアカウントにリンクされているサードパーティベンダーとのユーザーのインタラクションは、ユーザープロファイリングモジュール５２８によってアクセスされ得るさらなるユーザープロファイル情報を提供し得る。従って、ユーザープロファイル情報は、洗濯機に関連付けられたＬＦディスプレイシステムに、お気に入りの洗濯洗剤製品や、ホームオーディオシステムで再生するためにお気に入りの音楽ジャンルなどの情報を記憶できる。
いくつかの実施形態では、データストア５２２は、ユーザープロファイリングモジュール５２８によって生成、更新、および／または維持されたユーザープロファイルを記憶するユーザープロファイルストアを含む。ユーザープロファイルは、ユーザープロファイリングモジュール５２８によって、いつでもデータストア内で更新できる。例えば、一実施形態では、ユーザープロファイルストアは、特定のユーザーが、ＬＦディスプレイシステム５００によって提供されたホログラフィックコンテンツを見るときに、その特定のユーザーに関する情報を受信し、そのユーザーのユーザープロファイルに記憶する。この例では、ユーザープロファイリングモジュール５２８は、ユーザーを認識し、ユーザーが提示されたホログラフィックコンテンツを見るときにユーザーを確実に識別することができる顔認識アルゴリズムを含む。例示のために、ユーザーがＬＦディスプレイシステム５００の標的エリアに入ると、追跡システム５８０が、ユーザーの画像を取得する。ユーザープロファイリングモジュール５２８は、キャプチャされた画像を入力し、顔認識アルゴリズムを使用してユーザーの顔を識別する。識別された顔は、プロファイルストア内のユーザープロファイルに関連付けられ、そのため、そのユーザーに関して取得されたすべての入力情報が、そのユーザーのプロファイルに記憶され得る。ユーザープロファイリングモジュールはまた、カード識別スキャナ、音声識別子、無線周波数識別（ＲＦＩＤ）チップスキャナ、バーコードスキャナなどを利用して、ユーザーを確実に識別し得る。
ユーザープロファイリングモジュール５２８がユーザーを確実に識別できるため、ユーザープロファイリングモジュール５２８は、ＬＦディスプレイシステム５００への各ユーザーの各訪問を決定することができる。次に、ユーザープロファイリングモジュール５２８は、各訪問の日時を各ユーザーのユーザープロファイルに記憶し得る。同様に、ユーザープロファイリングモジュール５２８は、感覚フィードバックシステム５７０、追跡システム５８０、および／またはＬＦディスプレイアセンブリ５１０の任意の組み合わせから受信された、ユーザーからの入力を、入力が発生するたびに記憶し得る。ユーザープロファイルシステム５２８は、コントローラ５２０の他のモジュールまたは構成要素からユーザーに関するさらなる情報を追加的に受信することができ、この情報は、ユーザープロファイルとともに記憶され得る。次に、コントローラ５２０の他の構成要素も、そのユーザーに提供される後のコンテンツを決定するために、記憶されたユーザープロファイルにアクセスし得る。コントローラ５２０は、記憶されたユーザープロファイルから少なくとも部分的にアクセスされたデータに基づいてホログラフィックコンテンツを生成するように構成され得る。
ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０によって実行されると、ＬＦディスプレイアセンブリ５１０にホログラフィックコンテンツを提示させる、ラスタライズ化されたフォーマットの４Ｄ座標（「ラスタライズ化されたデータ」）を生成する。ＬＦ処理エンジン５３０は、データストア５２２からラスタライズ化されたデータにアクセスすることができる。追加的に、ＬＦ処理エンジン５３０は、ベクトル化されたデータセットからラスタライズされたデータを構築することができる。ベクトル化されたデータを以下に説明する。ＬＦ処理エンジン５３０はまた、ホログラフィックオブジェクトを拡張する感覚コンテンツを提供するために必要な感覚命令を生成することができる。上記のように、感覚命令は、ＬＦディスプレイシステム５００によって実行されると、触覚表面、サウンドフィールド、およびＬＦディスプレイシステム５００によってサポートされる他の形態の感覚エネルギーを生成することができる。ＬＦ処理エンジン５３０は、データストア５２２から感覚命令にアクセスする、または、感覚命令を構築して、ベクトル化されたデータセットを形成することができる。全体として、４Ｄ座標および感覚データは、ホログラフィックおよび感覚コンテンツを生成するためにＬＦディスプレイシステムによって実行可能な表示命令を表す。
ＬＦディスプレイシステム５００内の様々なエネルギー源を通るエネルギーの流れを説明するラスタライズされたデータの量は、信じられないほど大量である。データストア５２２からアクセスされる場合、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは可能であるが、（例えば、ネットワークインターフェース５２４を介して）効率的に送信し、受信し、その後、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは不可能である。例えば、ＬＦディスプレイシステム５００によるホログラフィック投影のための短いビデオを表すラスタライズされたデータ（例えば、新しいユーザーに電化製品の使用を示すチュートリアル）を取り上げる。この例では、ＬＦディスプレイシステム５００は、数ギガピクセルを含むディスプレイを含み、ラスタライズされたデータは、ディスプレイ上の各ピクセル場所の情報を含む。ラスタライズされたデータの対応するサイズは膨大であり（例えば、ビデオ表示時間の毎秒多ギガバイト）、ネットワークインターフェース５２４を介した商用ネットワーク上での効率的な転送には管理できない。感覚フィードバックシステム５７０または追跡モジュール５２６からの入力を使用してインタラクティブな体験が望まれる場合、単にラスタライズされたデータをデータストア５２２に記憶することに関する追加の問題が生じる。インタラクティブな体験を可能にするために、ＬＦ処理エンジン５３０によって生成されたライトフィールドコンテンツは、感覚または追跡入力に応答してリアルタイムで修正され得る。言い換えれば、場合によっては、ＬＦコンテンツは、データストア５２２から単純に読み取ることができない。
従って、いくつかの構成では、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを表すデータは、ベクトル化されたデータフォーマット（「ベクトル化されたデータ」）でＬＦ処理エンジン５３０に転送され得る。ベクトル化されたデータは、ラスタライズされたデータよりも桁違いに小さい場合がある。さらに、ベクトル化されたデータは、データの効率的な共有を可能にするデータセットサイズを有しながら、高い画質を提供する。例えば、ベクトル化されたデータは、より密度の高いデータセットから派生した疎なデータセットである可能性がある。従って、ベクトル化されたデータは、密度の高いラスタライズされたデータから疎なベクトル化されたデータがどのようにサンプリングされるかに基づいて、画質とデータ送信サイズとの間の調整可能なバランスを有する可能性がある。ベクトル化されたデータを生成するための調整可能なサンプリングにより、特定のネットワーク速度での画質の最適化が可能になる。結果として、ベクトル化されたデータは、ネットワークインターフェース５２４を介したホログラフィックコンテンツの効率的な送信を可能にする。ベクトル化されたデータにより、ホログラフィックコンテンツを商用ネットワーク経由でライブストリーミングすることもできる。
要約すると、ＬＦ処理エンジン５３０は、データストア５２２からアクセスされるラスタライズされたデータ、データストア５２２からアクセスされるベクトル化されたデータ、またはネットワークインターフェース５２４を介して受信されるベクトル化されたデータから導出されたホログラフィックコンテンツを生成し得る。いくつかの構成では、ＬＦ処理エンジン５３０は、データストアからアクセスされるラスター化データ、データストア５２２からアクセスされるベクトル化データ、およびネットワークインターフェースを介して受信されるベクトル化データの組み合わせを使用してホログラフィックコンテンツを生成することができる。様々な構成において、ベクトル化されたデータは、データ送信の前に符号化され、ＬＦコントローラ５２０による受信の後に復号化され得る。いくつかの例では、ベクトル化されたデータは、データ圧縮に関連する追加のデータセキュリティおよびパフォーマンスの向上のために符号化される。例えば、ネットワークインターフェースによって受信されたベクトル化されたデータは、ホログラフィックストリーミングアプリケーションから受信された符号化され、ベクトル化されたデータであり得る。いくつかの例では、ベクトル化されたデータは、デコーダ、ＬＦ処理エンジン５３０、またはこれらの両方が、ベクトル化されたデータ内の符号化された情報コンテンツにアクセスすることを必要とし得る。エンコーダおよび／またはデコーダシステムは、顧客に対して利用可能である場合があるか、またはサードパーティベンダーにライセンス供与されている場合がある。
ベクトル化されたデータは、インタラクティブな体験をサポートする方法で、ＬＦディスプレイシステム５００によってサポートされる各感覚領域の各々の情報を含む。例えば、インタラクティブなホログラフィック体験のためのベクトル化されたデータは、ＬＦディスプレイシステム５００によってサポートされる感覚領域の各々に正確な物理学を提供することができる任意のベクトル化された特性を含む。ベクトル化された特性は、合成的にプログラムされ、キャプチャされ、計算により評価され得るなどの任意の特性を含み得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータのベクトル化された特性をラスタライズされたデータに変換するように構成され得る。次に、ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０からのベクトル化されたデータから変換されたホログラフィックコンテンツを投影することができる。様々な構成で、ベクトル化された特性には、１つ以上の赤／緑／青／アルファチャネル（ＲＧＢＡ）＋深度画像、１つの高解像度中央画像および低解像度の他のビューを含み得る様々な解像度での深度情報の有無にかかわらないマルチビュー画像、アルベドおよび反射率、表面法線、その他の光学効果、表面識別、幾何学的オブジェクト座標、仮想カメラ座標、表示面の場所、照明座標、表面の接触剛性、接触延性、接触強度、サウンドフィールドの振幅および座標、環境条件、テクスチャまたは温度の機械受容器に関連する体性感覚エネルギーベクトル、音声、ならびにその他の感覚領域特性の座標が含まれ得る。他の多くのベクトル化された特性も可能である。
ＬＦディスプレイシステム５００はまた、インタラクティブな視聴体験を生成することもできる。すなわち、ホログラフィックコンテンツは、ユーザーの場所、ジェスチャ、インタラクション、ホログラフィックコンテンツとのインタラクションに関する情報、またはユーザープロファイリングモジュール５２８および／または追跡モジュール５２６から導出された他の情報を含む入力刺激に応答し得る。例えば、表示されたホログラフィックオブジェクトが、ユーザーのインタラクションに応じて直ちに特定の方向に移動する必要がある場合、ＬＦ処理エンジン５３０は、ホログラフィックオブジェクトがその要求された方向に移動するように、シーンのレンダリングを更新し得る。これには、ＬＦ処理エンジン５３０が、ベクトル化されたデータセットを使用して、適切なオブジェクトの配置および動き、衝突検出、オクルージョン、色、陰影、照明などを有する３Ｄグラフィカルシーンに基づいて、リアルタイムでライトフィールドをレンダリングし、ユーザーのインタラクションに正しく応答することが必要であり得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータを、ＬＦディスプレイアセンブリ５１０による提示のためにラスタライズされたデータに変換する。
ラスタライズされたデータには、リアルタイムのパフォーマンスを表すホログラフィックコンテンツ命令および感覚命令（表示命令）が含まれる。ＬＦディスプレイアセンブリ５１０は、表示命令を実行することによって、リアルタイムのパフォーマンスのホログラフィックおよび感覚コンテンツを同時に投影する。ＬＦディスプレイシステム５００は、追跡モジュール５２６およびユーザープロファイリングモジュール５２８を用いて、提示されたリアルタイムのパフォーマンスのコンテンツとのユーザーのインタラクション（例えば、音声応答、接触など）を監視する。ユーザーのインタラクションに応答して、ＬＦ処理エンジンは、ユーザーに表示するための追加のホログラフィックおよび／または感覚コンテンツを生成することによって、インタラクティブな体験を作成する。
例示のために、デバイス内のアプリケーションの実行中に、ユーザーのビューイングボリューム内の一斤のパンを表すホログラフィックオブジェクトを生成するＬＦ処理エンジン５３０を含むＬＦディスプレイシステム５００の例示的な一実施形態を考慮する。ユーザーは、その一斤のパンを表すホログラフィックオブジェクトに接触するように移動し得る。それに応じて、追跡システム５８０は、ホログラフィックオブジェクトに対するユーザーの手の動きを追跡する。ユーザーの動きは追跡システム５８０によって記録され、コントローラ５２０に送信される。追跡モジュール５２６は、ユーザーの手の動きを連続的に決定し、決定された動きをＬＦ処理エンジン５３０に送信する。ＬＦ処理エンジン５３０は、シーン内のユーザーの手の配置を決定し、ホログラフィックオブジェクトに必要な任意の変更（位置、色、またはオクルージョンなど）を含むために、グラフィックスのリアルタイムレンダリングを調整する。ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０（および／または感覚フィードバックシステム５７０）に、体積触覚投影システムを使用して（例えば、超音波スピーカを使用して）触覚表面を生成するように指示する。生成された触覚表面は、ホログラフィックオブジェクトの少なくとも一部に対応し、ホログラフィックオブジェクトの外面の一部またはすべてと実質的に同じ空間を占有する。ＬＦ処理エンジン５３０は、追跡情報を使用して、ＬＦディスプレイアセンブリ５１０に、一斤のパンに接触する視覚的および触覚的知覚の両方をユーザーが与えられるように、触覚表面の場所を、レンダリングされたホログラフィックオブジェクトの場所とともに移動するよう動的に指示する。より簡単に言えば、ユーザーがホログラフィックな一斤のパンにタッチしている自分の手を見ると、視聴者は同時に、手がホログラフィックな一斤のパンにタッチし、その接触に応答して、その塊が位置または動きを変更することを示す触覚フィードバックを感じる。
ＬＦ処理エンジン５３０は、電化製品を使用するメディアコンテンツのユーザーに同時表示するためのホログラフィックコンテンツを提供し得る。例えば、ＬＦディスプレイシステム５００で拡張されたオーブンで見られている調理ビデオは、ビデオ中にユーザーに提示されるホログラフィックコンテンツ（「ホログラフィックコンテンツトラック」）を含み得る。ホログラフィックコンテンツトラックは、電化製品によって受信され、データストア５２２に記憶され得る。ホログラフィックコンテンツトラックは、電化製品でビデオを視聴するユーザーの視聴体験を向上させるホログラフィックコンテンツを含む。
ホログラフィックコンテンツトラック内のホログラフィックコンテンツは、ホログラフィックコンテンツを表示するために、任意の数の時間的、聴覚的、視覚的などのキューに関連付けられ得る。例えば、ホログラフィックコンテンツトラックは、ビデオ中の特定の時間に表示されるホログラフィックコンテンツを含むことができる。一例として、ホログラフィックコンテンツトラックには、「アップルパイを最初から焼く方法」というビデオの開始から１２分４２秒後に、ビデオ中に表示する調理済みアップルパイが含まれ得る。別の例では、ホログラフィックコンテンツトラックは、感覚フィードバックシステム５７０が特定の音声キューを記録するときに提示されるホログラフィックコンテンツを含む。一例として、ホログラフィックコンテンツトラックは、感覚フィードバックアセンブリ５７０によって録音された音声がユーザー／プレーヤーがさらなるヘルプを求めたことを示したときに、パン焼きビデオ中に提示する生地の練り込み命令を示すホログラフィックアバターを含む。別の例では、ホログラフィックコンテンツトラックは、追跡システム５８０が特定の視覚的キューを記録するときに表示するホログラフィックコンテンツを含む。一例として、ホログラフィックコンテンツトラックには、追跡システム５８０が、ビデオチュートリアルが表示されている間にユーザーが電化製品から離れようとしていることを示す情報を記録するときに、「停止しますか？」という言葉が付いたホログラフィック点滅サインが含まれる。聴覚的および視覚的キューの決定については、以下で詳しく説明する。
ホログラフィックコンテンツトラックには、空間レンダリング情報も含まれる場合がある。すなわち、ホログラフィックコンテンツトラックは、表示されたビデオトラックでホログラフィックコンテンツを提示するための空間的場所を示し得る。例えば、ホログラフィックコンテンツトラクトは、特定のホログラフィックコンテンツがいくつかのホログラフィックビューイングボリュームで提示され、他のボリュームでは提示されないことを示し得る。例示のために、ＬＦ処理エンジン５３０は、ユーザーの顔の真正面にホログラフィックビューイングボリュームで冷蔵庫の棚の中身を表示するホログラフィックスクリーンを提示し得る。同様に、ホログラフィックコンテンツトラックは、ホログラフィックコンテンツを示して、いくつかのビューイングボリュームに提示し、他のボリュームには提示しないことを示し得る。例えば、ＬＦ処理エンジンは、ホログラフィックスクリーンをユーザーの顔の真正面のビューイングボリュームに提示するが、他のビューイングボリュームには提示しないので、表示されるコンテンツはユーザー専用である。
ＬＦ処理エンジン５３０は、電化製品上で実行されている特定のアプリケーションと併せてユーザーに表示するためのホログラフィックコンテンツを提供し得る。ホログラフィックコンテンツは、ネットワークを介して電化製品で受信されても、デバイス上で実行される特定のアプリケーションに関連する広告コンテンツの一部として提供されても（例えば、洗濯機でデリケートな洗濯サイクルが開始された場合のシルクとウール専用の洗濯洗剤）、ＬＦ処理エンジン５３０などによって生成されてもよい。ホログラフィックコンテンツは、データストア５２２に記憶されるか、またはネットワークインターフェース５２４を介してベクトル化されたフォーマットでＬＦディスプレイシステム５００にストリーミングされ得る。例えば、洗濯機のユーザーが特に「デリケート」なサイクルで洗濯機の洗濯サイクルを開始すると、ＬＦディスプレイシステム５００は、シルクおよびウール用に特別に設計された洗濯洗剤の広告のホログラフィックコンテンツにアクセスし、これを洗濯サイクルの過程中に表示し得る。
ＬＦ処理エンジン５００はまた、ある場所の環境特徴に適合するようにホログラフィックコンテンツを変更し得る。例えば、消費者向けデバイスが暗い部屋の空間、明るい部屋、日当たりの良い場所などに位置するかどうかに基づいて、ＬＦ処理エンジンはホログラフィックコンテンツを変更して、場所の照明に適した明るさで表示され得る。ＬＦ処理エンジンは、データストア５２２に記憶されたデータを、追跡モジュール５８０内のカメラシステムからの情報とともに使用して、ホログラフィックコンテンツの表示をカスタマイズし得る。さらに、ホログラフィックコンテンツの変更はまた、ユーザープロファイリングモジュール５２８によって決定されるように、ユーザー表示の好みをとり得る。
ＬＦ処理エンジン５３０はまた、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成し得る。重要なことには、ここで、表示のためのホログラフィックコンテンツを作成することは、表示のためのホログラフィックコンテンツをアクセスすること、または受信することとは異なる。すなわち、コンテンツを作成するとき、ＬＦ処理エンジン５３０は、以前に生成および／または受信されたコンテンツをアクセスするのではなく、表示のための全く新しいコンテンツを生成する。ＬＦ処理エンジン５３０は、データストア５２２、追跡モジュール５２６、ユーザープロファイリングモジュール５２８、感覚フィードバックシステム５７０、追跡システム５８０、またはそれらの何らかの組み合わせから情報を取得または受信して、表示のためのホログラフィックコンテンツを作成し得る。いくつかの例では、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００の要素からの情報（例えば、追跡情報および／またはユーザープロファイル）にアクセスし、それに応じて、その情報に基づいてコンテンツを作成し、作成されたコンテンツを、ＬＦディスプレイシステム５００を使用して表示し得る。作成されたコンテンツはホログラフィックコンテンツであり得る。作成されたホログラフィックコンテンツは、ＬＦディスプレイシステム５００によって表示されるときに、他の感覚コンテンツ（例えば、接触、音声、または匂い）で拡張され得る。さらに、ＬＦディスプレイシステム５００は、将来の使用のために、作成されたホログラフィックコンテンツをデータストア５２２に記憶し得る。
いくつかの実施形態では、ＬＦ処理エンジン５３０は、消費者向けデバイスの動作状態の変化に応答して、生成されたホログラフィックディスプレイを更新、修正、削除、一時停止、またはそれらの組み合わせにさせ得る。いくつかの実施形態では、ＬＦ処理エンジン５３０は、追跡システム５８０によって受信され、追跡モジュール５２６によって解釈される情報に応答して、生成されたホログラフィックディスプレイを更新、修正、削除、一時停止、またはそれらの何らかの組み合わせにさせ得る。例えば、追跡モジュール５８０は、ホログラフィックコンテンツを再レンダリングしてデバイスと交信しているユーザーとアイコンタクトをとるために、追跡システム５８０からＬＦディスプレイモジュールにキャプチャされた視線報を提供し得る。
いくつかの実施形態では、ＬＦディスプレイシステム５００は、コマンドライブラリ５３２を含む。コマンドライブラリ５３２は、ユーザーコマンドを認識して解釈するコマンドインターフェースとして機能し得る。ユーザーコマンドは、感覚フィードバックシステム５７０（例えば、音声）、追跡モジュール５２６（例えば、追跡されたジェスチャまたは表情）、ユーザープロファイリングモジュール５２８（例えば、記憶された個人の好み）、またはそれらのいくつかの組み合わせから受信した追跡情報に基づいて解釈され得る。コマンドライブラリ５３２は、ヒューリスティックを適用してユーザーコマンドを解釈し、ＬＦ処理エンジン５３０に、適切な表示、触覚、および他の任意の多感覚情報を生成するように指示し得る。コマンドライブラリ５３２は、受信したユーザーコマンドの、ＬＦディスプレイシステム５００によって実行することができる計算コマンドへのマッピングを記憶する。コマンドライブラリ５３２はまた、記憶されたマッピングに関連するヒューリスティックを記憶する。コマンドライブラリ５３２は、ＬＦディスプレイシステム５００によって表示されるホログラフィックユーザーインターフェースを介してユーザーコマンドを受信し得る。表示されたホログラフィックユーザーインターフェースを介して受信される可能なユーザーコマンドの例には、ユーザーによるホログラフィックオブジェクトの様々な特定のタッチ接触（例えば、特定の表示されたホログラフィック「ボタン」の指タッチ）およびホログラフィックオブジェクトの表面に対する様々な接触運動が含まれ得る（例えば、表示されたホログラフィック「ノブ」を回す）。いくつかの実施形態では、タッチ接触または接触運動は、ユーザーが、表示されたホログラフィックユーザーインターフェースにおいて表示されたホログラフィックオブジェクトの閾値距離内にあると追跡モジュール５２６によって決定されたときに発生したと決定され得る。いくつかの実施形態では、ユーザーコマンドは、標的エリアにいる間にユーザーによって話される口頭コマンド（例えば、音響受信機を使用してキャプチャされた「おばあちゃんのアップルパイビデオを見せて」という形式の音声コマンド）、追跡システム５８０によってキャプチャされたジェスチャおよび身体の動き（例えば、タイマーを一時停止する必要があることを示すために、標的エリアでユーザーによって保持された手）、感覚フィードバックシステム５７０などの一部としてディスプレイに接続された物理的なスイッチ、ノブ、ボタン、またはダイヤル、あるいはそれらの組み合わせの感知、などのユーザーによって提供される感覚フィードバックを含み得る。
受信したユーザーコマンドに対応するＬＦ処理エンジンによって実行される計算コマンドは、特定のホログラフィックオブジェクトの表示、ホログラフィックコンテンツの表示の更新、特定のホログラフィックオブジェクトの表示の変更、ホログラフィックオブジェクトのシーケンスの表示、ＬＦディスプレイシステム５００によって提示されているコンテンツの一時停止か再生、表示されたオブジェクトの削除、またはそれらの組み合わせのコマンドを含み得る。他の計算コマンドは、例えば、ベーキング温度設定ボタンなどの消費者向けデバイス制御などの他のセンサおよび制御を作動させ、消費者向けデバイスの動作状態を変更することを含み得る。従って、いくつかの実施形態では、検出されたユーザーアクション、例えば、表示されたホログラフィック「ダイヤル」を回すと、追跡システム５８０によってコマンドライブラリ５３２に報告される。応答として、コマンドライブラリ５３２は、記憶されたヒューリスティックからヒューリスティックを適用し得、例えば、電化製品のタイマーアプリケーションを適切に設定するために、システムに命令を送信することを含む計算コマンドを実行する必要があると決定し得る。
いくつかの実施形態では、コマンドライブラリ５３２は、データストア５２２および追跡モジュール５８０から情報を受信して、より低い信頼度で検出され得るユーザーコマンドに基づいて曖昧なマッピングを解決する。しかしながら、追跡システム５８０からの情報およびデータストア５２２からのユーザープロファイル情報は、マッピングの曖昧さをなくし、実行される特定の計算コマンドを決定するのに十分なヒューリスティック情報を提供し得る。次に、この決定された計算コマンドは、実行のためにＬＦ処理エンジン５３０に提供される。
いくつかの実施形態では、ＬＦディスプレイシステム５００は、セキュリティモジュール５３４を含む。セキュリティモジュール５３４は、ＬＦディスプレイシステムによって提供される機能の少なくともいくつかへの安全なアクセスを実行する。そのために、セキュリティモジュール５３４は、消費者向けデバイスのユーザーからパスワードまたは生体データなどの認証資格情報を受信するために、ＬＦディスプレイシステム５００によってユーザーインターフェース要素を生成し得る。セキュリティモジュールは、データストア５２２に記憶されたデータに基づいて資格情報を認証する。ユーザーを認証した後、セキュリティモジュール５３４は、ＬＦディスプレイシステム５００の機能のいくつかまたはすべてへのユーザーによる安全なアクセスを可能にし得る。いくつかの実施形態では、セキュリティモジュール５３４は、内部機械要素および内部回路などの要素の画像を記録するように配置された内部カメラなどの消費者向けデバイス内の内部センサをアクティブにし得る。いくつかの実施形態では、セキュリティモジュール５３４は、内部カメラからの画像を、閲覧のために認証されたユーザーに直接提供し得る。いくつかの実施形態では、セキュリティモジュール５３４は、内部センサから情報を受信し、受信した情報に基づいてホログラフィックコンテンツを生成するためにＬＦ処理エンジン５３０に情報を提供し得る。いくつかの実施形態では、ＬＦ処理エンジン５３０は、内部センサからの情報を処理し、処理されたデータを使用して、データストア５２２に記憶されたデータにマッピングし、ホログラフィックコンテンツを生成／検索し、それらをユーザーに表示し得る。いくつかの実施形態では、ＬＦ処理エンジン５３０は、ＡＩモデルを使用して、内部センサからの情報をデータストア５２２に記憶された情報にマッピングし、その後、ホログラフィックコンテンツを生成／検索し得る。例えば、資格のあるオーブンの修理技術者は、オーブンのブロイラー要素に関連付けられた内部回路への安全なアクセスを取得するための認証資格情報を提供し得る。認証時に、セキュリティモジュール５３４は、内部カメラをアクティブにして、内部回路に関連する画像を受信し、画像をＬＦ処理エンジン５３０に提供し得る。ＬＦ処理エンジン５３０は、受信した画像データを処理し、処理された画像データを、壊れた発熱体の描写に関連するデータストア５２２に記憶されたデータにマッピングし得る。ＬＦ処理エンジンは、その後、マッピングされたデータに基づいて、壊れた発熱体を描写するホログラフィックコンテンツを生成または検索し、それを資格のあるオーブンの修理技術者に表示し得る。セキュリティモジュール５３４は、データストア５２２、ユーザープロファイリングモジュール５２８、ＬＦ処理エンジン５３０、コマンドライブラリ５３２、ＬＦディスプレイシステム５００の他の任意のコンポーネント、またはそれらのいくつかの組み合わせ、に対する消費者向けデバイスのユーザーの認証することに関連する情報を提供し得る。
ＬＦディスプレイシステムのための動的コンテンツ生成
いくつかの実施形態では、ＬＦ処理エンジン５３０は、人工知能（ＡＩ）モデルを組み込んで、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成する。ＡＩモデルは、回帰モデル、ニューラルネットワーク、分類器、または他のＡＩアルゴリズムを含むがこれらに限定されない、教師付きもしくは教師なし学習アルゴリズムを含み得る。ＡＩモデルは、ユーザーの行動に関する情報を含み得る、ＬＦディスプレイシステム５００によって（例えば、追跡システム５８０によって）記録されたユーザー情報に基づいて、ユーザーの好みを決定するために使用し得る。ＡＩモデルはまた、学習された各ユーザーの好みを、データストア５２２のユーザープロファイルストアに記憶することができる。いくつかの例では、複数のユーザーが電化製品を操作する場合、ＡＩモデルは、特定のユーザーの学習した好みに基づいて、特定の個々のユーザーのホログラフィックコンテンツを作成し得る。ＡＩモデルは、ホログラフィックコンテンツを作成するために、データストア５２２からの情報にアクセスし得る。いくつかの実施形態では、ＡＩモデルは、学習アルゴリズムの結果を使用して、コマンドライブラリ５３２に記憶されたコマンドマッピングのためのユーザー固有のヒューリスティックを確立し得る。
ユーザーの特徴を識別し、反応を識別し、および／または識別された情報に基づいてホログラフィックコンテンツを生成するために使用され得るＡＩモデルの一例が、現在の層のノードの値が前の層のノードでの値の変換である、ノードの層を有する畳み込みニューラルネットワークモデルである。モデルにおける変換は、現在の層および前の層を接続する、重みおよびパラメータのセットを介して決定される。いくつかの例では、変換はまた、モデル内の前の層間を変換するために使用される重みおよびパラメータのセットを介して決定され得る。
モデルへの入力は、第１の畳み込み層に符号された追跡システム５８０によって撮影された画像であり得、モデルの出力は、ニューラルネットワークの出力層から復号されたホログラフィックコンテンツである。代替的または追加的に、出力は、画像内のユーザーの決定された特徴であり得る。この例では、ＡＩモデルは、ニューラルネットワークの中間層の１つでユーザーの特徴を表す画像内の潜在情報を識別し得る。層で識別された要素間の関連性情報は、対応する中間層の間に一連の変換を適用することで検索できる。変換の重みとパラメータは、開始層に含まれる情報と最終出力層から取得される情報との関係を示し得る。例えば、重みおよびパラメータは、画像内の笑顔のユーザーを表す情報に含まれる形状、色、サイズなどの量子化であり得る。重みおよびパラメータは、履歴データ（例えば、以前に追跡されたユーザー）に基づき得る。
一実施形態では、ＡＩモデルは、強化学習でトレーニングされた決定論的方法を含む（それにより、強化学習モデルを作成する）。モデルは、追跡システム５８０からの測定値を入力として、および作成されたホログラフィックコンテンツへの変更を出力として使用して、公演の品質を高めるようにトレーニングされる。
強化学習は、数値的な報酬信号を最大化するために、機械が「何をすべきか」（状況を動作にマッピングする方法）を学習する機械学習システムである。学習器（例えば、ＬＦ処理エンジン５３０）は、取るべき動作（例えば、所定のホログラフィックコンテンツの生成）を告げられていないが、代わりに、動作を試行することによって、どの動作が最大の報酬をもたらすか（例えば、ユーザーをより笑顔にすることでホログラフィックコンテンツの品質を高めること）を発見する。場合によっては、動作は、即時報酬だけでなく、次の状況、かつそれを通じて、その後のすべての報酬にも影響を及ぼし得る。これらの２つの特徴（試行錯誤による探索および遅延報酬）が、強化学習の２つの際立った特徴である。
ＡＩモデルは、任意の数の機械学習アルゴリズムを含み得る。使用され得るいくつかの他のＡＩモデルは、線形および／またはロジスティック回帰、分類および回帰ツリー、ｋ平均法クラスタリング、ベクトル量子化などである。一般に、ＬＦ処理エンジン５３０が、追跡モジュール５２６および／またはユーザープロファイリングモジュール５２８から入力を取得し、機械学習モデルが、それに応じてホログラフィックコンテンツを作成する。同様に、ＡＩモデルは、ホログラフィックコンテンツのレンダリングを指向し得る。
ネットワーク環境
図６は、１つ以上の実施形態による、システム環境６００のブロック図を示している。システム環境６００は、１つ以上のネットワーク化された消費者向けデバイス６１０、ネットワーク６２０、および１つ以上のサードパーティコンテンツプロバイダ６３０を備える。
一実施形態では、消費者向けデバイス６１０は、電子制御システムまたは機械的制御システムまたはそれらの組み合わせによって可能になる１つ以上の消費者指向の機能を提供する携帯型デバイスである。ネットワーク化された消費者向けデバイスは、コンピュータプログラムモジュール、例えば、ウェブブラウザまたはクライアントアプリケーションも実行し得、これにより、ユーザーは、電化製品を使用する過程で、インターネットを閲覧し、メディアコンテンツを消費し、様々なソフトウェアアプリケーションを実行することができる。消費者向けデバイス６１０は、例えば、洗濯機、オーブン、冷蔵庫、または任意の他のネットワーク対応の消費者向けデバイスであり得る。消費者向けデバイス６１０は、電化製品に固有の消費者関連機能に加えて、ライトフィールドディスプレイシステム６１２、およびユーザーインターフェース６１４を備える。他の実施形態では、消費者向けデバイス６１０は、本明細書に記載されているものよりも追加のまたは少ないモジュールを備える。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。
図６に示すＬＦディスプレイシステム６１６は、図５に示すＬＦディスプレイシステム５００の実施形態である。ユーザー６４０は、ユーザーインターフェース６１４を介して消費者向けデバイス６１０と交信できる。
ネットワーク６２０は、有線および／または無線通信システムの両方を使用して、ローカルエリアおよび／またはワイドエリアネットワークの任意の組み合わせを含み得る。例えば、ローカルエリアネットワークには、ＷｉＦｉおよびＢｌｕｅｔｏｏｔｈネットワークが含まれ得る。一実施形態では、ネットワーク６２０は、標準的な通信技術および／またはプロトコルを使用する。例えば、ネットワーク６２０は、イーサネット、８０２．１１、マイクロ波アクセスの世界的な相互運用性（ＷｉＭＡＸ）、３Ｇ、４Ｇ、符号分割多元接続（ＣＤＭＡ）、デジタル加入者ライン（ＤＳＬ）などの技術を使用した通信リンクを含む。ネットワーク６２０を介した通信に使用されるネットワーキングプロトコルの例には、マルチプロトコルラベルスイッチング（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）、シンプルメール転送プロトコル（ＳＭＴＰ）、およびファイル転送プロトコル（ＦＴＰ）が含まれる。ネットワーク６２０を介して交換されるデータは、ハイパーテキストマークアップ言語（ＨＴＭＬ）または拡張可能マークアップ言語（ＸＭＬ）などの任意の好適なフォーマットを使用して表し得る。いくつかの実施形態では、ネットワーク６２０の通信リンクのすべてまたはいくつかは、任意の好適な技術または複数の技術を使用して暗号化され得る。
１つ以上のサードパーティコンテンツプロバイダ６３０は、ネットワーク６２０を介して消費者向けデバイス６１０と通信し得る。一実施形態では、サードパーティコンテンツプロバイダ６３０は、実行用のアプリケーションならびに消費者向けデバイス６１０に表示するためのコンテンツを提供するアプリケーションプロバイダであり得る。新しいアプリケーション、新しいコンテンツ、ならびに既存のアプリケーションおよびコンテンツへの更新は、ネットワーク６２０を介したプッシュ対応またはプル対応の更新のいずれかを介して、サードパーティコンテンツプロバイダ６３０から消費者向けデバイス６１０で実行および／または表示するために利用可能であり得る。これらのアプリケーションおよびコンテンツは、ライトフィールドディスプレイシステム６１２による投影および表示のためにデータストア５２２に記憶されたホログラフィックコンテンツトラックを含み得る。消費者向けデバイス６１０に利用可能にされるコンテンツは、消費者向けデバイス６１０の機能の使用に関連してライトフィールドディスプレイシステム６１２によって表示される広告、製品オファー、および製品クーポンを含み得る。例えば、人気のあるアニメーションキャラクターを描写するホログラフィックコンテンツは、サードパーティのコンテンツプロバイダからダウンロードされ、ライトフィールドディスプレイシステム６１２に記憶されて、ユーザー６４０が１つ以上のアプリケーションでユーザーを表す「ホログラフィックアバター」として使用し得る。
１つ以上の実施形態では、消費者向けデバイス６１０への不正なネットワークアクセスが防止されることを保証するために、システムは、セキュリティ設定を使用して、エンティティによる消費者向けデバイス６１０へのネットワークアクセスを認証し、消費者向けデバイス６１０への安全な接続を確立し、および／またはコンテンツを消費者、向けデバイス６１０にダウンロードし得る。いくつかの実施形態では、消費者向けデバイス６１０は、パスワードおよびスマートカードなどの認証要素を組み込むか、またはネットワーク６２０またはユーザーインターフェース６１４のいずれかを介して消費者向けデバイス６１０にアクセスするときにアクセス制御を実行するために生体認証方法を使用し得る。ユーザーインターフェース６１４への安全なアクセスは、ユーザーインターフェース６１４の可能な構成のいずれかに対して実現され得、ユーザーインターフェース６１４は、ホログラフィックユーザーインターフェース、感覚フィードバックシステム５７０の一部であり得る従来の物理的ユーザーインターフェースまたはオーディオインターフェース、追跡システム５８０によってキャプチャされ、追跡モジュール５２６によって処理されるジェスチャに依存するインターフェース、またはネットワークインターフェース５２４を介して受信されるコマンド、のいずれかを含む。
ＬＦディスプレイシステムにおけるホログラフィックユーザーインターフェースと「接触」解釈
以下は、ユーザーが消費者向けデバイスと交信するためのホログラフィックユーザーインターフェース（ＵＩ）を生成するためのＬＦディスプレイシステムのいくつかの実施形態の説明である。この説明は、図５のＬＦディスプレイシステム５００に示されている要素を参照する。
いくつかの実施形態では、生成されたホログラフィックＵＩは、ユーザーに提示される１つ以上のホログラフィックＵＩオブジェクトを含むユーザーインターフェースである。いくつかの実施形態では、提示されたホログラフィックＵＩオブジェクトはまた、例えば、ホログラフィックオブジェクトが存在するように見える仮想ディスプレイスクリーン画像を描写する仮想画像ディスプレイの一部であり得る。いくつかの実施形態では、提示されたホログラフィックオブジェクトおよび／または仮想画像は、デバイス上の物理的ＵＩを拡張し得る。生成されたホログラフィックＵＩオブジェクトには、「ボタン」、「ノブ」、「ダイヤル」、「キーパッド」などの３Ｄホログラフィックオブジェクトが含まれるが、これらに限定されない。生成されたホログラフィックオブジェクトには、多数のオプションのリストを含むホログラフィックメニューを表示するホログラフィック「スクリーン」などの２Ｄホログラフィックオブジェクトも含まれ得る。ユーザーは、ホログラフィックメニューの特定のオプションを指し示すまたはタッチすることによって（例えば、指で）、１つ以上のオプションを選択するように（例えば、口頭で、または視覚的に表示されるプロンプトを介して）促され得る。
いくつかの実施形態では、提示されたホログラフィックＵＩオブジェクトは、触覚刺激で拡張され、提示されたホログラフィックオブジェクトの表面と同じ場所に配置された触覚表面を生成し得る。従って、例えば、感覚フィードバックシステム５７０は、超音波エネルギー、例えば、圧力波を投影して、ホログラフィック「ボタン」上に正面に表示された表面と同じ場所に配置された触覚表面を生成し得る。追跡システム５８０は、ホログラフィックボタンに向かうユーザーの動き（例えば、ユーザーの指の動き）を追跡し得る。移動情報は、追跡システム５８０によって追跡モジュール５２０に送信され得る。コントローラ５２０の追跡モジュール５２６は、追跡された指が提示された触覚表面のある閾値距離内にあるとき、指がホログラフィック「ボタン」に「触れている」または「押している」と決定し得る。さらに、この決定に応答して、ＬＦディスプレイアセンブリ５１０は、ホログラフィック「ボタン」ならびに提示された触覚表面を異なる位置にさらにレンダリングし得、例えば、触覚表面の位置を、ユーザーが「押す」ときにホログラフィック「ボタン」を動かすことによって新しい位置に移動させる。
別の実施形態では、ホログラフィックＵＩは、ユーザーに挨拶するホログラフィックキャラクターを提示することを含み得る。いくつかの実施形態では、視覚、音声、および人格特性などの提示されたホログラフィックキャラクターの様々な特徴は、少なくとも部分的にユーザーによって構成され得る。いくつかの実施形態では、提示されたホログラフィックキャラクターの様々な特徴は、おそらく取引手数料と引き換えに、ネットワークを介してオンラインシステムから受信した情報に基づき得る。いくつかの実施形態では、ホログラフィックキャラクターは、ホログラフィックＵＩオブジェクトの提示とともに提示され得る。他の実施形態では、ホログラフィックキャラクターが最初にユーザーに提示され得、その後、ホログラフィックＵＩオブジェクトを備えたホログラフィック「メニュー」表示が提示され得る。さらに他の実施形態では、すべてのインタラクションは、ＬＦディスプレイシステムの音響受信機によって受信される、ユーザーからの口頭の音声コマンドを含み得る。いくつかの実施形態では、提示されたホログラフィックキャラクターは、音響刺激で拡張され、ユーザーに口頭で応答し得る。いくつかの実施形態では、ホログラフィックキャラクターは、人工知能モデルを使用して生成または変更され得る。いくつかの実施形態では、ホログラフィックキャラクターは、アクセスされたユーザープロファイルデータに基づいて生成され得る。さらに、ユーザープロファイル情報が更新されると、生成されたホログラフィックキャラクターもまた、ユーザープロファイル情報への変更に基づいて変更され得る。いくつかの実施形態では、生成されたホログラフィックキャラクターは、ユーザーからの認識されたコマンドに基づいて修正され得る。
いくつかの実施形態では、追跡モジュール５２６は、追跡システム５８０から受信した情報に基づいて、ホログラフィックオブジェクトボリュームおよび／またはＬＦディスプレイシステムの前のビューイングボリューム内の情報を追跡し、追跡された情報をコマンドライブラリ５３２に送信し得る。コマンドライブラリ５３２は、受信した情報を分析し、分析に基づいて記憶されたヒューリスティックを使用し、ユーザーインターフェースをユーザーに表示する必要があると決定し得る。さらに、ユーザープロファイリングモジュール５２８によって記憶されたユーザープロファイル情報を使用して、コマンドライブラリ５３２は、他の記憶されたヒューリスティックを適用し、記憶されたマッピングから、電化製品のユーザーに挨拶する特定のホログラフィックキャラクターの表示を含むカスタマイズされたユーザーインターフェースを生成する必要がある決定し得る。コマンドライブラリ５３２は、ＬＦ処理エンジン５３０に計算コマンドを発令して、ホログラフィックオブジェクトボリュームに表示するようにユーザーに挨拶する決定されたホログラフィックキャラクターを表示し得る。この計算コマンドを実行することは、ホログラフィックキャラクターのレンダリングおよび表示に関連するデータストア５２２から画像データを取得するＬＦ処理エンジン５３０を含み得る。コマンドライブラリ５３２はまた、感覚フィードバックアセンブリ５７０内の音響変換器をトリガーして、表示されたホログラフィックキャラクターと同期している可聴の挨拶を送信し得る。ＬＦ処理エンジン５３０は、追跡システム５８０から得られた追跡情報を使用してユーザーを見る、および／またはユーザーとアイコンタクトする、もしくはユーザーと他の方法でインタラクションするホログラフィックキャラクターをレンダリングし得る。ユーザーからの口頭の応答は、感覚フィードバックアセンブリ５７０内に配置された音響受信デバイス（例えば、マイクロフォンまたはマイクロフォンアレイ）によって受信され得、この受信された応答データは、さらなる処理のためにコントローラ５２０に提示される。コマンドライブラリ５３２は、感覚フィードバックアセンブリ５７０から受信したデータを使用し、ヒューリスティックおよび音声認識ソフトウェアなどの認識ソフトウェアを適用し、例えば、ユーザーによる口頭での発話に応じて、タイマー設定インターフェースをユーザーに表示する必要があると決定し得る。
別の実施形態では、ユーザーは、電子レンジを備えた給湯設定オプションなど、特定の所望の電化製品の機能の表示で拡張される、特定のカスタマイズされた３Ｄホログラフィックユーザーインターフェースの提示を常に開始するようにＬＦディスプレイシステムを構成し得る。いくつかの実施形態では、デバイスユーザーは、ＬＦディスプレイシステムに関連して様々な電化製品の機能の設定を構成して、様々な機能を有するユーザーが使用するために提示される所望の特定のホログラフィックユーザーインターフェースを有し得る。例えば、乾燥機のＬＦディスプレイシステムは、「重い」負荷で乾燥機を使用することを選択したときに、特定のホログラフィックＵＩが提示されるようにユーザーが構成し得、「通常」の設定で乾燥機を使用することを選択したときよりも選択可能なオプションを提供できる。
他の実施形態では、ホログラフィックユーザーインターフェースは、本明細書に記載されているものよりも追加のまたはより少ない機能を備える。同様に、機能は、本明細書で説明されるのとは異なる方法で、ＬＦディスプレイシステム５００内のモジュール間および／または異なるエンティティ間で分散され得る。
追跡システム５８０は、追跡システム５８０内でカメラを使用してユーザーの動きを追跡し得る。ユーザーの動きは、接触解釈のために追跡システム５８０によってコントローラ５２０に送信することができる。いくつかの実施形態では、接触解釈は以下のように実行される：追跡システム５８０は、最初に、ユーザーが提示されたホログラフィックオブジェクトに近づく（例えば、１本または複数の指で）ときにユーザーの動きを追跡する。追跡システム５８０は、追跡された動き情報をコントローラ５２０に送信する。追跡モジュール５２６は、追跡された指が提示されたホログラフィックオブジェクトから閾値距離内にあると決定し、それに応答して、ユーザーがホログラフィックオブジェクトに「触れている」と決定する。他の実施形態では、接触解釈は、追跡システム５８０によって提示されたホログラフィックオブジェクトに関して他の種類の動きを追跡することを含み得る。ユーザーによる追跡された動きには、１つ以上の提示されたホログラフィックオブジェクトに対して、位置を変更する、移動する、押す、押下する、ダイヤルする、回転する、入力する、突く、スイッチを移動する、などの１つ以上をユーザーが実行していると決定することが含まれるが、これらに限定されない。
いくつかの実施形態では、感覚フィードバックシステム５７０は、表示されたホログラフィックオブジェクトを拡張する体積触覚表面の「タッチ」を感知し得る。この決定は、体積触覚表面を生成するために必要とされる超音波エネルギーにおける指または他の身体部分の存在によって引き起こされる閾値変更を検出する感覚フィードバックシステム５７０の圧力センサからの入力を受信することに基づき得る。この情報は、さらなる分析のためにコントローラ５２０に送信され得る。近接感は、体積触覚表面の投影に必要な超音波振動子に適用される駆動力を監視し、この駆動力の閾値の変化を検出することによって物理的なオブジェクトの存在を推測することによっても達成し得る。
消費者向けデバイスのカスタマイズされたホログラフィックディスプレイ
いくつかの実施形態では、ＬＦディスプレイシステムは、そのような追跡システムを、図５のユーザープロファイリングシステム５２８によって得られるようなユーザープロファイル情報と組み合わせて使用して、カスタマイズされたインタラクティブ体験を生成し得る。従って、ホログラフィックＵＩ生成アプリケーションでは、ユーザーに基づいて、生成されたホログラフィック「ボタン」のサイズが異なる場合がある。例えば、ボタンを、子供向けには小さくし、明るい色でサイズを大きくすることで、年配のユーザーには見易くなり得る。さらに、いくつかの実施形態では、ＬＦディスプレイシステムは、特定のユーザーのために特定のコンテンツを表示するようにカスタマイズされ得る。従って、例えば、ＬＦディスプレイシステムは、あるユーザーにはホログラフィック「ボタン」を表示し、別のユーザーにはホログラフィック「ダイヤル」を表示するようにカスタマイズし得る。他の実施形態では、ＬＦディスプレイモジュールは、デバイスユーザーと交信（例えば、見る、話す、聞く、触れる、またはそれらの何らかの組み合わせ）するためにカスタマイズされたホログラフィックキャラクターを表示し得る。追加的に、追跡システムは、ユーザーの視線を追跡し得る。追跡システムは、ホログラフィックコンテンツを再レンダリングしてデバイスと交信しているユーザーとアイコンタクトをとるために、視線情報をＬＦディスプレイモジュールに提供し得る。
いくつかの追加の実施形態では、ユーザープロファイリングシステムは、ユーザーの好みまたは他のユーザーの特徴を記憶するために、電化製品のユーザー各々のユーザープロファイルを構築し得る。ユーザープロファイルは、追跡システム、またはコントローラ（すなわち、コントローラ５２０）などのＬＦディスプレイシステムの別の構成要素を用いて構築され、データストア（すなわち、データストア５３０）に記憶され得る。ユーザープロファイルは、ユーザープロファイリングシステムによって収集されたすべてのデータを使用して、ユーザーごとに作成できる。追加的に、追跡システムまたは感覚フィードバックアセンブリなどの他の構成要素は、データストアに記憶されるように、データをユーザープロファイルに提供し得る。
ＬＦディスプレイシステムは、ユーザープロファイリングシステムを利用して、電化製品のその後の各使用中に、ホログラフィックコンテンツをユーザーに合わせてパーソナライズし得る。例えば、ＬＦディスプレイシステムは、名前で（例えば、視覚的または音声的に）ユーザーに話しかけ得る。他の例では、ＬＦディスプレイシステムは、以前に生成されたホログラフィックコンテンツに対応するユーザーの応答に対応するホログラフィックコンテンツを生成する。例えば、火曜日の夜が定期的なローストチキンの夜であり、データストアにこの情報が記憶されている場合、オーブン内のＬＦディスプレイシステムは、火曜日の夕方に「オーブンを３５０度にする必要がありますか？」という質問を提示するホログラフィックキャラクターを生成し得る。
図７は、１つ以上の実施形態による、消費者向けデバイス７１０の一部として実装されたＬＦディスプレイシステム７００の実施形態の図である。ＬＦディスプレイシステム７００は、図５に記載されたＬＦディスプレイシステム５００の一実施形態である。ＬＦディスプレイシステム７００は、ＬＦディスプレイモジュール７２０を備えた消費者向けデバイス７１０（例えば、電化製品）から構成される。１つ以上の実施形態では、デバイス７１０は、ユーザーが電化製品にアクセスするための物理的特徴（ボタンなど）および／または２Ｄデジタルディスプレイ（２Ｄタッチスクリーンを含む）を含み得る１つ以上の制御パネル７３０を伴う。さらに、デバイス７１０はまた、デバイスのユーザーにホログラフィックコンテンツを生成するためのＬＦディスプレイアセンブリ（例えば、図５のＬＦディスプレイアセンブリ５１０）を含む。ＬＦディスプレイシステム７００はまた、コントローラ５２０、ユーザープロファイリングモジュール５２８、感覚フィードバックアセンブリ５７０、および追跡システム５８０などの、図５に示すＬＦディスプレイシステム５００の他の構成要素の任意の組み合わせを含み得る。
ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュールを使用して、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツをユーザーに提示し得る。ホログラフィックオブジェクトは、三次元（３Ｄ）、二次元（２Ｄ）、またはそれらの何らかの組み合わせであり得る。さらに、ホログラフィックオブジェクトは、多色（例えば、フルカラー）であり得る。図７において、ホログラフィックオブジェクトボリューム７４０は、ディスプレイモジュール７２０の前および後ろの両方に延在する（例えば、図１に示されるものと同様）。しかしながら、例示を容易にするために、消費者向けデバイス７１０の後ろにあるホログラフィックオブジェクトボリューム７４０の部分は、図７から省略されている。ビューイングボリューム７５０は、ユーザーがＬＦディスプレイモジュール７２０によって提示されたホログラフィックオブジェクトを見ることができ得る表示空間を表す。ホログラフィックオブジェクト７６２および７６４は、ホログラフィックオブジェクトボリューム７４０内の任意の場所に配置することができ、これは、ＬＦディスプレイモジュール７２０から発生し、収束してホログラフィックオブジェクトを作成するすべての光線を包含し、収束点のセットは、デバイスのディスプレイエリアの前に配置されている。視聴者Ａ７７２および視聴者Ｂ７７４は、表示されたホログラフィックオブジェクト７６２および７６４を表示し得る。表示されたホログラフィックオブジェクト７６２および７６４は、ユーザーの動きに応答し得る。例えば、ホログラフィックダイヤルまたはボタンは、追跡システムで感知され得るユーザーの手の動きに応じて移動し、追跡システムで感知したユーザージェスチャで回転し、感覚フィードバックシステム（例えば、５７０）で受信した音声コマンドに従って回転し、その他のユーザー入力で移動し得る。
ホログラフィックオブジェクト７６２および７６４はまた、それらの表面の近くまたはそれらの表面と一致するように投影された触覚表面を有し得る。これらの触覚表面は、ユーザーの動きに応答し得る。例えば、表面への接触が追跡システムによって感知され、感覚フィードバックシステムに適切な触覚応答を引き起こし得る（例えば、ユーザーの指または手の位置に対応する適切な対応する触覚応答）。従って、例えば、ホログラフィックオブジェクト７６２に向かう指７７０の動き、ならびにホログラフィックオブジェクト７６２の触覚表面上の指７７０の「タッチ」は、ＬＦディスプレイシステムの追跡システムによって確立され得る。
消費者向けデバイスにおけるカスタマイズされたホログラフィックディスプレイに関して上で説明したように、追跡システム５８０が視聴者Ａ７７２の存在を追跡するとき、構成された設定は、視聴者７７２に対して、ホログラフィックオブジェクト７６２（すなわち、ホログラフィック「ボタン」）（のみ）のカスタマイズされた表示をし得る。従って、視聴者Ｂ７７４が存在しない場合、ホログラフィックオブジェクト７６４の表示は提示されなくてもよい。同様に、視聴者７７４の存在を感知すると、構成された設定は、視聴者７７４に対して、ホログラフィックオブジェクト７６４（すなわち、ホログラフィック「ダイヤル」）（のみ）のカスタマイズされた表示をし得る。
ＬＦディスプレイシステムの他の例示的な実施形態を以下に説明する。実施形態の説明は、例示の目的で追加されている。この説明は、考えられるすべての電化製品内のＬＦディスプレイシステムを網羅的に説明することを意図したものではない。
例示的な実施形態：ホームアシスタントにおけるＬＦディスプレイシステム
以下は、ホームアシスタントデバイス（ＡＭＡＺＯＮのＡＬＥＸＡやＧＯＯＧＬＥのＨＯＭＥなど）の一部としてのＬＦディスプレイシステムのいくつかの実施形態の説明である。この説明は、図５のＬＦディスプレイシステム５００に示されている要素を参照する。このようなホームアシスタントシステムは、家庭用照明、室内気候、家庭用エンターテインメントシステム、電化製品、カメラ、ドアロック、またはその他のデバイスを制御できるホームオートメーションシステムの機能も兼ね得る。
いくつかの実施形態では、感覚フィードバックシステム５７０は、デバイスの近くで検出された感覚データ（例えば、感覚フィードバックシステム５７０内の音響マイクロフォンによってキャプチャされたユーザーからの音声コマンドなどの音声データ）を受信し得、または追跡システム５８０は、カメラによってキャプチャされたユーザーの動きに関する視覚情報を受信し得る。この受信した情報は、ホームアシスタントのライトフィールドディスプレイシステム５００内のコントローラ５２０に送信される。コントローラ５２０は、さらなる処理および解釈のために、この情報をコマンドライブラリ５３２に転送し得る。コマンドライブラリ５３２は、追跡モジュールと併せて、ユーザープロファイリングシステム５２８によって記憶されたユーザープロファイル情報とともに、受信した情報を解釈し得、必要に応じて、ユーザーのジェスチャを解釈するために、保存されたヒューリスティックを適用し、計算コマンドをＬＦ処理エンジンに送信して、上記のホログラフィックユーザーインターフェースをユーザーに提示し得る。
表示されるホログラフィックユーザーインターフェースは、ホームアシスタントとのインタラクションを容易にするために、ユーザーが望むように構成し得る。ユーザーに提示されるホログラフィックユーザーインターフェースは、ホームアシスタントと統合されており、ホームアシスタントが提供するすべての機能の表示と実行を可能にする。ホームアシスタントと統合されたＬＦディスプレイシステム５００によって提供される機能の例には、ユーザーからのタッチコマンドに応答するユーザーに表示されるメニュー選択のホログラフィックおよび触覚画面を含むホログラフィックユーザーインターフェース、および表示されたホログラフィックインターフェースを介してユーザーがこれらの設定を再構成するのを容易にする、家のセキュリティ、照明、または電化製品の設定のホログラフィックディスプレイ、が含まれるが、これらに限定されない。
消費者向けデバイス（例えば、ホームアシスタント）へのホログラフィックユーザーインターフェースは、前述のように、ホログラフィックキャラクターを特徴とし得る。ホログラフィックキャラクターは、外見（例えば、有名人の外見）、衣服（またはなし）、性格、声（例えば、アクセントや有名人の声）、気性、言語（例えば、使用された不快な言葉の量）、またはその他の特性など、好みに合わせて変更し得る様々な特徴を備え得る。ホログラフィックキャラクターは、ＣＧキャラクター（例えば、スーパーヒーロー）、俳優やスポーツ選手などの有名人、利用可能な多くのアバターの１つを任意選択した外見、または別の外見を有し得る。ホログラフィックキャラクターの外見は、認識可能なホームアシスタントの声（例えば、外見に一致する有名人の声）を伴う得、ユーザーが容易に変更し得る。ホログラフィックキャラクターは、ＡＩモデルによって生成およびパーソナライズし得る。ホログラフィックキャラクターは、ユーザーにとってより魅力的なものにするために、ユーザープロファイルまたはソーシャルメディアアカウントにアクセスし得る。例えば、ホログラフィックキャラクターは、ユーザーのソーシャルメディアアカウントに表示される写真やディスカッションで観察された特徴に基づいて遊び心のあるフィードバックを提供したり、スケジュールされたイベントの日のカレンダーのリマインダーに基づいて雑談を提供したりし得る。ユーザーの楽しみのために、ホログラフィックキャラクターは、ユーザーの選択に応じて、機嫌が悪くまたは機嫌が良くなり得る。ホームアシスタントやホームオートメーションデバイスなどの消費者向けデバイスで表示および体験するホログラフィックキャラクターの特性に関する多くの選択肢は、場合によっては取引手数料と引き換えに、オンラインストアなどのサードパーティコンテンツプロバイダ６３０を介しネットワーク６２０を介してダウンロード可能であり得る。
他の実施形態では、ホームアシスタントのホログラフィックキャラクターは、認識されたユーザーに優しい仮想ペットとして提供されたり、認識されていない人が家の一部で観察されたときに保護的に動作する監視動物（番犬または騒々しいオウム）として動作したりし得る。
例示的な実施形態：オーブン内のＬＦディスプレイシステム
以下は、家庭用オーブンなどの消費者向け電化製品の一部としてのＬＦディスプレイシステムのいくつかの実施形態の説明である。この説明は、図５のＬＦディスプレイシステム５００に示されている要素を参照する。
いくつかの実施形態では、電化製品内のライトフィールドディスプレイシステム５００内で、追跡モジュール５２６は、追跡システム５８０から、ＬＦディスプレイシステムの前で（例えば、ホログラフィックオブジェクトボリューム内および／またはビューイングボリューム内などで）キャプチャされた画像を受信し得る。追跡モジュール５２６は、ユーザーの存在を決定し得る。コントローラ５２０内のコマンドライブラリ５３２は、ユーザープロファイリングシステム５２８によって記憶されたユーザープロファイル情報とともに、追跡モジュール５２６から受信した追跡情報を使用し得、ヒューリスティックを適用して、計算コマンドをＬＦディスプレイアセンブリ５１０に送信して、上記のホログラフィックユーザーインターフェースをユーザーに提示し得る。
前述のように、いくつかの実施形態では、ＬＦディスプレイシステム５００はまた、他の感覚コンテンツ（例えば、接触、温度）で提示されたホログラフィックコンテンツを拡張し得る。従って、例えば、オーブンに関連するＬＦディスプレイシステム５００は、オーブンで焼く一斤のパンのホログラフィック画像を提示し得る。ホログラフィックな「一斤のパン」は、触覚刺激で拡張されて、提示されたホログラフィックな「一斤のパン」の上面と同じ位置にある触覚表面を生成し得る。従って、感覚フィードバックシステム５７０は、音響エネルギー、例えば、圧力波を投影して、同じ場所に配置された触覚で感知できる「一斤のパン」の表面を生成し得る。さらに、同じ場所に配置された触覚で感知できる「一斤のパン」の表面の品質は、ユーザーに提示される触覚がオーブン内の実際の焼きたての一斤のパンの「仕上がり具合」の状態を反映するように定期的に変更され得る。
従って、いくつかの実施形態では、ＬＦディスプレイシステムは、電化製品制御システムから時間、温度などのパラメータ値を取得し、一斤のパンの焼き時間に関するデータストア５２２内のデータとともにパラメータ値を使用して提示された触覚表面の強度を調整し得、これにより、提示された表面の強度は、電化製品内のパンの「仕上がり具合」を表し得る。例えば、ＬＦディスプレイシステムは、得られた情報を使用して、感覚フィードバックアセンブリ５７０内の超音波エミッタを制御して、適切に変化する圧力波を生成するし、これにより、所与の時点でのレンダリングされた触覚表面の強度が、ユーザーからの「タッチ」に応答して、所与の時点でのオーブン内の実際の一斤のパンの「仕上がり具合」を反映する。
いくつかの実施形態では、追跡システム５８０は、提示されたホログラフィックな一斤のパンに向かうユーザーの動き（例えば、ユーザーの指の動き）を追跡し得る。移動情報は、追跡システム５８０によってコントローラ５２０に送信され得る。コントローラ５２０は、追跡された指が提示された触覚で感知できる一斤のパンの表面のある閾値距離内にあるとき、指がホログラフィックな「一斤のパン」に「触れている」または「押している」と決定し得る。さらに、この決定に応答して、ＬＦディスプレイアセンブリ５１０は、ホログラフィックな「一斤のパン」ならびに提示された触覚表面を異なる位置にさらにレンダリングし得、例えば、触覚表面の位置を、ユーザーが「押す」ときに、ホログラフィックな「一斤のパン」を動かすことによって新しい位置に移動させ得る。この場合も、新しい位置への「表面」の移動量は、一斤のパンの「仕上がり具合」を反映し得る。
いくつかの実施形態は、ホログラフィックオブジェクトを表示する方法を決定するために、感覚フィードバックアセンブリ５７０からの入力を使用し得る。ホログラフィックオブジェクトの表示は、ＬＦディスプレイシステム５００でパラメータの値を受信することに応答して修正し得る。パラメータの例には、時間、温度、圧力、力、オーディオデシベルレベルなど、またはそれらの組み合わせが含まれ得る。例えば、ローストターキーは、タイマーまたは温度センサの入力に基づいて、オーブン内で焼き時間が進むにつれてゆっくりと色が変化するホログラフィックオブジェクトとして描写され得る。別の実施形態では、ＬＦディスプレイシステム５００が感覚フィードバックアセンブリ５７０の一部として加熱ユニットを備えている場合、ローストターキーのホログラフィック表現の周囲の温度は、時間または温度が上昇するにつれて上昇し得る。データは、ホログラフィックオブジェクトを生成するために、オーブン内に配置された追加のセンサ（温度センサなど）から取得され得、データストア内に記憶されたデータ（レシピ情報など）からも取得され得る。
いくつかの実施形態では、ユーザーによって行われた操作上の選択は、ホログラフィックコンテンツの表示に影響を及ぼし得る。例えば、ＬＦディスプレイシステムが、ユーザーが低温１０時間サイクルでオーブンを使用することの操作上の選択をしたと決定した場合、１０時間サイクルの最後にのみＬＦディスプレイシステムは、オーブンの中身のホログラフィック描写を提示し得る。
例示的な実施形態：冷蔵庫内のＬＦディスプレイシステム
ＬＦディスプレイシステムのいくつかの実施形態は、家庭用冷蔵庫などの電化製品に見られる。いくつかの実施形態では、追跡モジュール５２６は、（図５に示されるように）追跡システム５８０から受信した情報に基づいて、ホログラフィックオブジェクトボリュームおよび／またはＬＦディスプレイシステムの前のビューイングボリューム内の情報を追跡し、この追跡された情報をコマンドライブラリへの情報５３２に送信し得る。コマンドライブラリ５３２は、ユーザープロファイリングシステム５２８によって記憶されたユーザープロファイル情報とともに、追跡モジュール５２６から受信した追跡情報を、使用し、コマンドライブラリ５３２にヒューリスティックを適用し、計算コマンドをＬＦ処理エンジン５３０に送信する。ＬＦ処理エンジン５３０は、計算コマンドを実行し、ＬＦディスプレイアセンブリに、冷蔵庫の中身のホログラフィックディスプレイを投影させる。いくつかの実施形態では、冷蔵庫の中身を表示することは、冷蔵庫の中身の画像データをＬＦディスプレイシステム５００に提供するために、冷蔵庫内に配置された内部カメラセンサを含む。他の実施形態では、ＬＦディスプレイシステム５００は、ホログラフィックディスプレイを生成するために、ユーザーによって物理的制御パネルに手動で入力されるか、または追跡システム５８０によるユーザージェスチャの認識に基づいて、ユーザーコマンドを受信する。例えば、追跡モジュール５２６は、コマンドライブラリ５３２によってヒューリスティックに基づいてマッピングされたユーザージェスチャを検出して、計算コマンドをＬＦディスプレイシステムに送信して、冷蔵庫の中身の一部だけを描写するホログラフィックディスプレイを生成する（例えば、冷凍庫に組み込まれている製氷機で現在利用できる氷の量、または別の例として、冷蔵庫のドアの棚の中身など）。例に続いて、所望の特定のホログラフィックディスプレイを生成することは、感覚フィードバックシステム５７０内のカメラセンサを使用して所望の画像データを取得し、取得された画像に基づいて表示面から投影されたホログラフィックオブジェクトをレンダリングすることを含み得る。
いくつかの実施形態で前述したように、ＬＦディスプレイシステムは、システムが少なくとも１つのタイプのエネルギーを同時に放出し、同時に、ユーザーに応答してユーザーにインタラクティブな体験を作成するために、画像追跡情報ならびに電化製品内からの画像情報を使用することを可能にする要素を含み得る。従って、例えば、一実施形態では、ＬＦディスプレイシステム５００は、冷蔵庫の中身を表示し得る。ユーザーが、例えば、１ガロンのミルクなど、特定の描写されたホログラフィックオブジェクトを「移動」したことを感知すると、システムは、別のホログラフィックオブジェクト、例えば、冷蔵庫内の１ガロンのミルクの後ろにあるサラダ野菜の袋描写するように提示を変更し得る。
電化製品のサービスとメンテナンスのサポート
ＬＦディスプレイシステムを使用する追加の実施形態は、消費者向けデバイス（例えば、電化製品）内のサービスおよびメンテナンス機能を容易にすることを含む。ＬＦディスプレイシステムは、消費者向けデバイスの通常操作の下で、特定のタイプのホログラフィックオブジェクトのみを消費者向けデバイスのユーザーに表示することを許可するためのアクセス制御方針を有し得る。しかしながら、資格のある消費者向けデバイスサービス技術者は、消費者向けデバイスシステム内の安全なアクセスを取得して、消費者向けデバイス（例えば、食器洗い機などの電化製品）のサービスメンテナンスおよび／または修理中に、消費者向けデバイス内の内部機械要素を描写するホログラフィックオブジェクトの表示をアクティブにし得る。この表示は、消費者向けデバイス内に配置されたセンサから得られた様々なセンサデータを使用して生成し得る。従って、例えば、資格のある冷蔵庫の技術者は、冷蔵庫の製氷機能に向けのサービスまたはメンテナンス作業を実行している間に、コンデンサーファンとモーターのアセンブリ、水管、製氷グリッドアセンブリなど、および冷蔵庫の製氷機に関連する回路などの冷蔵庫のユーザーには簡単には見えない内部の機械部品を含め、冷蔵庫の製氷機のホログラフィックディスプレイを安全に有効にでき得る。
図８は、１つ以上の実施形態による、ライトフィールドディスプレイシステムを使用して消費者向けデバイスとのユーザーのインタラクションを可能にするためのプロセスを示すフローチャートである。一実施形態では、図８のプロセスは、ライトフィールドディスプレイシステム５００によって実行される（図５に示されるように）。他のエンティティは、他の実施形態におけるプロセスのステップのいくつかまたはすべてを実行し得る。同様に、実施形態は、異なるおよび／または追加のステップを含み得るか、または異なる順序でステップを実行し得る。
ライトフィールドディスプレイシステム５００は、ユーザーからコマンドを受信する８１０。ユーザーコマンドは、物理的なコントロール、例えば、押し得る物理的なボタン、回転し得る物理的なダイヤル、および物理的にタッチ可能なスクリーンを介して受信し得、これらはすべて、消費者向けデバイスに配置され、感覚フィードバックシステム５７０の一部である。別の例では、ユーザーコマンドは、感覚フィードバックシステム５７０の一部である音響マイクロフォンなどの音響受信機で音声コマンドとして受信され得る。受信したユーザーコマンドは、さらなる解釈および分析のために、コントローラを介してコマンドライブラリ５３２に中継される。ユーザーコマンドは、表示されたホログラフィックＵＩなど、ユーザーによるホログラフィックオブジェクトのインタラクションを通じて受信され得る。ユーザーコマンドはまた、追跡モジュール５２６からの命令を介してユーザーを追跡している追跡システム５８０を介して受信され得る。ユーザーコマンドは、追跡システム５８０が、表示されたホログラフィックＵＩ上のホログラフィック「ボタン」などの触覚ホログラフィック表面にユーザーが触れたことを検出したときに受信され得る。受信したユーザーコマンドは、さらなる解釈および分析のために、コントローラを介してコマンドライブラリ５３２に中継される。同様に、ユーザーコマンドは、ユーザーが行うジェスチャまたは動きの形式であり得る。ユーザーの動きまたはジェスチャは、追跡システム５８０によって識別され得、分析および解釈のためにコマンドライブラリ５３２に中継され得る。ユーザーコマンドはまた、消費者向けデバイスで通信ネットワークを介して受信され得、分析および解釈のためにコマンドライブラリ５３２に送信され得る。
ライトフィールドディスプレイシステム５００は、計算コマンドを決定するためにユーザーコマンドを処理する８２０。ライトフィールドディスプレイシステム５００のコマンドライブラリ５３２は、受信したユーザーコマンドを解釈し、追跡モジュールと併せて、おそらくユーザープロファイリングシステム５２８によって記憶されたユーザープロファイル情報に関連して、必要に応じて、ユーザージェスチャを解釈するために、保存されたヒューリスティックを適用し得、受信したユーザーコマンドに基づいて計算コマンドを決定する。決定された計算コマンドの一例は、消費者向けデバイスのユーザーが表示するために、より多くのホログラフィックコンテンツを生成するコマンドである。別の例は、生成されたホログラフィックコンテンツを変更し得る。決定された計算コマンドは、例えば、ユーザーの視線を追跡するための画像センサなどの、ＬＦディスプレイシステム内のセンサをアクティブにし得る。決定された計算コマンドはまた、消費者向けデバイス内の制御をアクティブにし得る。例えば、計算コマンドは冷蔵庫の温度設定を下げ得る。
ライトフィールドディスプレイシステムは、計算コマンドに基づいて表示するためにホログラフィックコンテンツを生成する８３０。ライトフィールドディスプレイシステム５００のＬＦ処理エンジン５３０は、コマンドライブラリ５３２から決定された計算コマンドを受信し、計算コマンドに基づいて表示するためのホログラフィックコンテンツを生成する８３０。従って、例えば、計算コマンドは、ＬＦ処理エンジン５３０に、オーブンで焼く一斤のパンのホログラフィックディスプレイを生成するように指示し得る。それに応じて、ＬＦ処理エンジン５３０は、最初に、描写された一斤のパンの色および触覚の特徴などのホログラフィックディスプレイの特徴を決定し、焼いた一斤のパンの「仕上がり具合」を描写し、必要なホログラフィックコンテンツを生成する前に、データストア５２２から記憶されたユーザープロファイル特徴を取得し得る。
ライトフィールドディスプレイシステム５００は、生成されたホログラフィックコンテンツを表示する８４０。コントローラ５２０は、ホログラフィックコンテンツをＬＦ処理エンジン５３０からＬＦディスプレイモジュール５１２に投影するための表示命令を送信する。ＬＦディスプレイモジュール５１２は、ホログラフィックコンテンツをユーザーに表示する。
追加の構成情報
本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。
本明細書のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号表現の観点から、本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の当業者によって、自らの作業の本質を他の当業者に効果的に伝えるために一般的に使用される。これらの操作は、機能的、計算的、または論理的に説明される一方、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、これらの操作の配置を、一般性を損なうことなく、モジュールと呼ぶことが場合によっては好都合であることも判明している。説明された操作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせにおいて具現化され得る。
本明細書に記載の工程、操作、またはプロセスのうちのいずれかが、１つ以上のハードウェアまたはソフトウェアモジュールを使用して、単独で、または他のデバイスと組み合わせて、実行または実装され得る。一実施形態では、ソフトウェアモジュールは、説明された工程、操作、またはプロセスのうちのいずれかまたはすべてを実行するために、コンピュータプロセッサによって実行され得るコンピュータ・プログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。
本開示の実施形態はまた、本明細書の操作を実行するための装置に関し得る。この装置は、要求された目的のために特別に構築され得、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するために好適な任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。
本開示の実施形態はまた、本明細書の説明されているコンピューティングプロセスによって生成された製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報であって、その情報が非一時的な有形のコンピュータ可読記憶媒体に記憶される、情報を含み得、また本明細書に記載のコンピュータプログラム製品もしくは他のデータの組み合わせの任意の実施形態を含み得る。最後に、本明細書で使用される言語は、主に読み易さおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。従って、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。従って、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。
本開示の実施形態はまた、本明細書の説明されているコンピューティングプロセスによって生成された製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報であって、その情報が非一時的な有形のコンピュータ可読記憶媒体に記憶される、情報を含み得、また本明細書に記載のコンピュータプログラム製品もしくは他のデータの組み合わせの任意の実施形態を含み得る。最後に、本明細書で使用される言語は、主に読み易さおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。従って、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。従って、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。
（項目１）
消費者向けデバイスであって、
ホログラフィックコンテンツを生成するように構成されたコントローラと、
ＬＦディスプレイアセンブリであって、前記生成されたホログラフィックコンテンツを前記消費者向けデバイスのユーザーに提示するように構成された１つ以上のＬＦディスプレイモジュールを含む、ＬＦディスプレイアセンブリと、
前記ユーザーからの１つ以上のコマンドを認識するように構成されたコマンドインターフェースと、
を備えたライトフィールド（ＬＦ）ディスプレイシステムを備えていることを特徴とする消費者向けデバイス。
（項目２）
前記コントローラは、前記消費者向けデバイスの動作状態の変化に応答して、前記生成されたホログラフィックコンテンツを更新するように構成される、項目１に記載の消費者向けデバイス。
（項目３）
前記生成されたホログラフィックコンテンツは、前記消費者向けデバイスの動作を制御するための１つ以上のホログラフィック特徴を備えたホログラフィックユーザーインターフェース（ＵＩ）を備え、前記コマンドインターフェースは、前記生成されたホログラフィックＵＩを介して前記ユーザーから受信した前記１つ以上のコマンドを認識するようにさらに構成される、項目１に記載の消費者向けデバイス。
（項目４）
前記コマンドインターフェースは、前記ユーザーが前記提示されたホログラフィックＵＩ内の前記１つ以上のホログラフィック特徴の閾値距離内にあるとの決定に基づいて、前記ホログラフィックＵＩを介して前記ユーザーからコマンドを受信するようにさらに構成される、項目３に記載の消費者向けデバイス。
（項目５）
前記１つ以上の認識されたコマンドは、前記消費者向けデバイスの動作状態の変化を引き起こす、項目１に記載の消費者向けデバイス。
（項目６）
前記ＬＦディスプレイシステムは、
前記ホログラフィックコンテンツが提示されるときに、感覚フィードバックを提供するように構成された少なくとも１つの感覚フィードバックデバイスを備える感覚フィードバックシステムをさらに備える、項目１に記載の消費者向けデバイス。
（項目７）
前記コマンドインターフェースは、前記提供された感覚フィードバックを前記ユーザーからの１つ以上のコマンドとして認識するようにさらに構成される、項目６に記載の消費者向けデバイス。
（項目８）
前記感覚フィードバックシステムは、触覚フィードバック、音声フィードバック、芳香フィードバック、温度フィードバック、圧力フィードバック、力フィードバック、またはそれらの任意の組み合わせを含む、項目６に記載の消費者向けデバイス。
（項目９）
前記感覚フィードバックシステムは、ボタン、ダイヤル、ノブ、キーパッド、他の入力ハードウェア、またはそれらの任意の組み合わせの１つ以上をさらに備える、項目６に記載の消費者向けデバイス。
（項目１０）
前記感覚フィードバックシステムは、マイクロフォンおよび音声認識ソフトウェアをさらに備える、項目６に記載の消費者向けデバイス。
（項目１１）
前記ＬＦディスプレイシステムは、
追跡システムであって、前記消費者向けデバイスの前記ユーザーに関する情報を取得するように構成された１つ以上の追跡デバイスを含む、追跡システムをさらに備え、
前記コントローラは、前記追跡システムによって取得された前記情報に部分的に基づいて、前記ユーザーの前記ホログラフィックコンテンツを生成するように構成される、項目１に記載の消費者向けデバイス。
（項目１２）
前記追跡システムによって取得される前記情報は、前記ユーザーの位置、前記ユーザーの動き、前記ユーザーのジェスチャ、前記ユーザーの表情、前記ユーザーの視線、前記ユーザーの性別、および前記ユーザーの年齢の任意の組み合わせを含む、項目１１に記載の消費者向けデバイス。
（項目１３）
前記コントローラは、前記追跡システムによって取得された前記情報に基づいて前記生成されたホログラフィックコンテンツを更新するようにさらに構成される、項目１１に記載の消費者向けデバイス。
（項目１４）
前記コントローラは、前記追跡システムによって取得された前記情報と、人工知能モデルと、を使用して、前記ホログラフィックコンテンツを生成するように構成される、項目１１に記載の消費者向けデバイス。
（項目１５）
前記追跡システムは、ライトフィールドカメラ、１つ以上の２Ｄ画像センサ、および深度センサを含むセンサの任意の組み合わせを含む、項目１１に記載の消費者向けデバイス。
（項目１６）
前記ホログラフィックコンテンツを生成することは、前記追跡システム内の前記１つ以上のセンサからデータをキャプチャすることと、前記キャプチャされたデータに基づいて前記ホログラフィックコンテンツを生成することとを含む、項目１５に記載の消費者向けデバイス。
（項目１７）
前記コントローラは、前記ユーザーからの１つ以上の認識されたコマンドに基づいてホログラフィックコンテンツを変更するようにさらに構成される、項目１に記載の消費者向けデバイス。
（項目１８）
前記コントローラは、
前記ホログラフィックコンテンツの少なくとも一部を、ベクトル化されたフォーマットでネットワークインターフェースを介してオンラインシステムから検索し、
前記ホログラフィックコンテンツの前記ベクトル化されたフォーマットを、前記ＬＦディスプレイアセンブリで提示するためにラスタライズ化されたフォーマットに変換するようにさらに構成される、項目１に記載の消費者向けデバイス。
（項目１９）
前記ＬＦディスプレイシステムは、前記ホログラフィックコンテンツが前記ユーザーに提示される場所での環境特徴に基づいて、前記ホログラフィックコンテンツの前記提示を変更するように構成される、項目１に記載の消費者向けデバイス。
（項目２０）
前記ＬＦディスプレイシステムは、前記ＬＦディスプレイシステムで受信されたパラメータの値に基づいて、前記ホログラフィックコンテンツの前記提示を変更するように構成される、項目１に記載の消費者向けデバイス。
（項目２１）
前記追跡システムによって取得された前記情報にアクセスすることと、
前記ユーザーを識別するために前記情報を処理することと、
前記ユーザーのユーザープロファイルを生成することと、
を行うように構成されたユーザープロファイリングモジュールと、をさらに備え、
前記コントローラは、前記ユーザープロファイルに部分的に基づいて、前記ユーザーの前記ホログラフィックコンテンツを生成するようにさらに構成される、項目１１に記載のＬＦディスプレイシステム。
（項目２２）
前記コントローラは、前記ユーザープロファイルと、人工知能モデルと、を使用して、前記ホログラフィックコンテンツを生成するようにさらに構成される、項目２１に記載のＬＦディスプレイシステム。
（項目２３）
前記ユーザープロファイリングモジュールは、
前記ユーザーのソーシャルメディアアカウントからの情報を使用して、前記ユーザープロファイルを更新するようにさらに構成されており、
前記コントローラは、前記更新されたユーザープロファイルに部分的に基づいて、前記ホログラフィックコンテンツを生成するように構成される、項目２１に記載のＬＦディスプレイシステム。
（項目２４）
前記提示されたホログラフィックオブジェクトの表面の閾値距離内に、または前記提示されたホログラフィックオブジェクトの表面と一致する体積触覚表面を生成するように構成された超音波エネルギー投影デバイスをさらに備える、項目１に記載の消費者向けデバイス。
（項目２５）
前記コントローラで受信されたパラメータの値に基づいて、前記生成された体積触覚表面のユーザータッチに対する抵抗を調整することをさらに含む、項目２４に記載の消費者向けデバイス。
（項目２６）
前記追跡システムによって取得された前記情報に部分的に基づいて生成される体積触覚表面を生成するように構成された超音波エネルギー投影デバイスをさらに備える、項目１１に記載の消費者向けデバイス。
（項目２７）
前記超音波エネルギー投影デバイスは、前記追跡システムによって取得された情報に応答して、前記生成された体積触覚表面を更新するようにさらに構成される、項目２６に記載の消費者向けデバイス。
（項目２８）
前記超音波エネルギー投影デバイスは、前記追跡システムおよび人工知能モデルによって取得された前記情報を使用して、前記体積触覚表面を生成するようにさらに構成される、項目２６に記載の消費者向けデバイス。
（項目２９）
前記コントローラは、触覚刺激、音響刺激、温度刺激、嗅覚刺激、またはそれらの任意の組み合わせを含む感覚コンテンツで生成された前記ホログラフィックコンテンツを拡張するようにさらに構成される、項目１に記載の消費者向けデバイス。
（項目３０）
前記ホログラフィックコンテンツは、前記消費者向けデバイス上で実行されるアプリケーションと併せて提示される、項目１に記載の消費者向けデバイス。
（項目３１）
前記提示されたホログラフィックコンテンツは、オンラインソースから受信したコンテンツに基づく、項目３０に記載の消費者向けデバイス。
（項目３２）
前記提示されたホログラフィックコンテンツは、前記ユーザーによって行われた操作上の選択に応答して、オンラインソースから受信されたコンテンツに基づく、項目３１に記載の消費者向けデバイス。
（項目３３）
前記提示されたホログラフィックコンテンツは、ホログラフィックキャラクターを含む、項目１に記載の消費者向けデバイス。
（項目３４）
前記提示されたホログラフィックキャラクターに関連する特徴は、少なくとも部分的に、前記ユーザーによって構成される、項目３３に記載の消費者向けデバイス。
（項目３５）
前記特徴は、前記提示されたホログラフィックキャラクターの視覚的、音声的、および人格的特徴を含む、項目３４に記載の消費者向けデバイス。
（項目３６）
前記提示されたホログラフィックキャラクターに関連する前記特徴は、ネットワークを介してオンラインシステムから検索される、項目３４に記載の消費者向けデバイス。
（項目３７）
前記特徴は、取引手数料と引き換えに、前記ネットワークを介して前記オンラインシステムから検索される、項目３６に記載の消費者向けデバイス。
（項目３８）
前記ホログラフィックキャラクターは、ホームアシスタントデバイスに関連して提示される、項目３４に記載の消費者向けデバイス。
（項目３９）
前記ホログラフィックキャラクターが提示されるときに、感覚フィードバックを提供するように構成される少なくとも１つの感覚フィードバックデバイスを備える感覚フィードバックシステムをさらに備える、項目３３に記載の消費者向けデバイス。
（項目４０）
前記感覚フィードバックは、触覚フィードバック、音声フィードバック、芳香フィードバック、温度フィードバック、またはそれらの任意の組み合わせを含む、項目３９に記載の消費者向けデバイス。
（項目４１）
前記感覚フィードバックは、前記１人以上のユーザーが接触を介して交信し得る前記ホログラフィックキャラクターの表面と一致する触覚表面を提供するように構成された体積触覚投影システムを含む、項目３９に記載の消費者向けデバイス。
（項目４２）
前記ユーザーに関する情報を取得するように構成される１つ以上の追跡デバイスを備える追跡システムをさらに備え、
前記コントローラは、前記追跡システムによって取得された前記情報に基づいて、前記ユーザーの前記ホログラフィックキャラクターを生成するように構成される、項目３３に記載の消費者向けデバイス。
（項目４３）
前記追跡システムによって取得される情報は、前記ユーザーの位置、前記ユーザーの動き、前記ユーザーのジェスチャ、前記ユーザーの表情、前記ユーザーの視線、前記ユーザーの年齢、および前記ユーザーの性別のいずれかを含む、項目４２に記載の消費者向けデバイス。
（項目４４）
前記ユーザーの前記追跡情報は、前記ユーザーの前記視線を含み、前記ＬＦディスプレイアセンブリは、前記ホログラフィックキャラクターの目を更新して、前記ユーザーの前記視線とのアイコンタクトを維持するように構成される、項目４２に記載の消費者向けデバイス。
（項目４５）
前記コントローラは、前記追跡システムによって取得された前記情報と、人工知能モデルと、を使用して、前記ホログラフィックキャラクターを生成するように構成される、項目４２に記載の消費者向けデバイス。
（項目４６）
前記追跡システムによって取得された前記情報にアクセスすることと、
前記ユーザーを識別するために前記情報を処理することと、
前記ユーザーのユーザープロファイルを生成することと、
を行うように構成されたユーザープロファイリングモジュールと、をさらに備え、
前記コントローラは、前記ユーザープロファイルに部分的に基づいて、前記ユーザーの前記ホログラフィックキャラクターを生成するように構成される、項目４２に記載の消費者向けデバイス。
（項目４７）
前記コントローラは、前記ユーザープロファイルと、人工知能モデルと、を使用して、前記ホログラフィックキャラクターを生成するように構成される、項目４６に記載の消費者向けデバイス。
（項目４８）
前記ユーザープロファイリングモジュールは、
前記ユーザーのソーシャルメディアアカウントからの情報を使用して、前記ユーザープロファイルを更新するようにさらに構成されており、
前記コントローラは、前記更新されたユーザープロファイルに部分的に基づいて、前記ホログラフィックキャラクターを生成するように構成される、項目４６に記載の消費者向けデバイス。
（項目４９）
前記コントローラは、前記更新されたユーザープロファイルと、人工知能モデルと、を使用して、前記ホログラフィックキャラクターを生成するように構成される、項目４８に記載の消費者向けデバイス。
（項目５０）
前記コントローラは、前記ユーザーからの１つ以上の認識されたコマンドに基づいて、前記ホログラフィックキャラクターを変更するようにさらに構成される、項目３３に記載の消費者向けデバイス。
（項目５１）
前記ＬＦディスプレイシステムは、
ユーザーからセキュリティ資格情報を受信することと、
前記受信したセキュリティ資格情報を認証することと、
前記消費者向けデバイスの１つ以上の機能への安全なアクセスを可能にすることと、
前記認証に応答して、特定のホログラフィックコンテンツの生成を有効にすることと、
を行うように構成された認証モジュールを備えたセキュリティモジュールをさらに備える、項目１に記載の消費者向けデバイス。
（項目５２）
前記セキュリティモジュールは、
前記消費者向けデバイス内の内部センサによってキャプチャされたデータを受信することと、
前記受信したデータを前記コントローラに提供することと、
を行うようにさらに構成された項目５１に記載の消費者向けデバイス。
（項目５３）
前記コントローラは、前記内部センサからの前記受信したデータに基づいて、前記ホログラフィックコンテンツを生成するように構成される、項目５２に記載の消費者向けデバイス。
（項目５４）
前記コントローラは、人工知能モデルを部分的に使用して前記ホログラフィックコンテンツを生成するように構成される、項目５３に記載の消費者向けデバイス。

Claims (54)

  1. 消費者向けデバイスであって、
    ホログラフィックコンテンツを生成するように構成されたコントローラと、
    ＬＦディスプレイアセンブリであって、前記生成されたホログラフィックコンテンツを前記消費者向けデバイスのユーザーに提示するように構成された１つ以上のＬＦディスプレイモジュールを含む、ＬＦディスプレイアセンブリと、
    前記ユーザーからの１つ以上のコマンドを認識するように構成されたコマンドインターフェースと、
    を備えたライトフィールド（ＬＦ）ディスプレイシステムを備えていることを特徴とする消費者向けデバイス。
  2. 前記コントローラは、前記消費者向けデバイスの動作状態の変化に応答して、前記生成されたホログラフィックコンテンツを更新するように構成される、請求項１に記載の消費者向けデバイス。
  3. 前記生成されたホログラフィックコンテンツは、前記消費者向けデバイスの動作を制御するための１つ以上のホログラフィック特徴を備えたホログラフィックユーザーインターフェース（ＵＩ）を備え、前記コマンドインターフェースは、前記生成されたホログラフィックＵＩを介して前記ユーザーから受信した前記１つ以上のコマンドを認識するようにさらに構成される、請求項１に記載の消費者向けデバイス。
  4. 前記コマンドインターフェースは、前記ユーザーが前記提示されたホログラフィックＵＩ内の前記１つ以上のホログラフィック特徴の閾値距離内にあるとの決定に基づいて、前記ホログラフィックＵＩを介して前記ユーザーからコマンドを受信するようにさらに構成される、請求項３に記載の消費者向けデバイス。
  5. 前記１つ以上の認識されたコマンドは、前記消費者向けデバイスの動作状態の変化を引き起こす、請求項１に記載の消費者向けデバイス。
  6. 前記ＬＦディスプレイシステムは、
    前記ホログラフィックコンテンツが提示されるときに、感覚フィードバックを提供するように構成された少なくとも１つの感覚フィードバックデバイスを備える感覚フィードバックシステムをさらに備える、請求項１に記載の消費者向けデバイス。
  7. 前記コマンドインターフェースは、前記提供された感覚フィードバックを前記ユーザーからの１つ以上のコマンドとして認識するようにさらに構成される、請求項６に記載の消費者向けデバイス。
  8. 前記感覚フィードバックシステムは、触覚フィードバック、音声フィードバック、芳香フィードバック、温度フィードバック、圧力フィードバック、力フィードバック、またはそれらの任意の組み合わせを含む、請求項６に記載の消費者向けデバイス。
  9. 前記感覚フィードバックシステムは、ボタン、ダイヤル、ノブ、キーパッド、他の入力ハードウェア、またはそれらの任意の組み合わせの１つ以上をさらに備える、請求項６に記載の消費者向けデバイス。
  10. 前記感覚フィードバックシステムは、マイクロフォンおよび音声認識ソフトウェアをさらに備える、請求項６に記載の消費者向けデバイス。
  11. 前記ＬＦディスプレイシステムは、
    追跡システムであって、前記消費者向けデバイスの前記ユーザーに関する情報を取得するように構成された１つ以上の追跡デバイスを含む、追跡システムをさらに備え、
    前記コントローラは、前記追跡システムによって取得された前記情報に部分的に基づいて、前記ユーザーの前記ホログラフィックコンテンツを生成するように構成される、請求項１に記載の消費者向けデバイス。
  12. 前記追跡システムによって取得される前記情報は、前記ユーザーの位置、前記ユーザーの動き、前記ユーザーのジェスチャ、前記ユーザーの表情、前記ユーザーの視線、前記ユーザーの性別、および前記ユーザーの年齢の任意の組み合わせを含む、請求項１１に記載の消費者向けデバイス。
  13. 前記コントローラは、前記追跡システムによって取得された前記情報に基づいて前記生成されたホログラフィックコンテンツを更新するようにさらに構成される、請求項１１に記載の消費者向けデバイス。
  14. 前記コントローラは、前記追跡システムによって取得された前記情報と、人工知能モデルと、を使用して、前記ホログラフィックコンテンツを生成するように構成される、請求項１１に記載の消費者向けデバイス。
  15. 前記追跡システムは、ライトフィールドカメラ、１つ以上の２Ｄ画像センサ、および深度センサを含むセンサの任意の組み合わせを含む、請求項１１に記載の消費者向けデバイス。
  16. 前記ホログラフィックコンテンツを生成することは、前記追跡システム内の前記１つ以上のセンサからデータをキャプチャすることと、前記キャプチャされたデータに基づいて前記ホログラフィックコンテンツを生成することとを含む、請求項１５に記載の消費者向けデバイス。
  17. 前記コントローラは、前記ユーザーからの１つ以上の認識されたコマンドに基づいてホログラフィックコンテンツを変更するようにさらに構成される、請求項１に記載の消費者向けデバイス。
  18. 前記コントローラは、
    前記ホログラフィックコンテンツの少なくとも一部を、ベクトル化されたフォーマットでネットワークインターフェースを介してオンラインシステムから検索し、
    前記ホログラフィックコンテンツの前記ベクトル化されたフォーマットを、前記ＬＦディスプレイアセンブリで提示するためにラスタライズ化されたフォーマットに変換するようにさらに構成される、請求項１に記載の消費者向けデバイス。
  19. 前記ＬＦディスプレイシステムは、前記ホログラフィックコンテンツが前記ユーザーに提示される場所での環境特徴に基づいて、前記ホログラフィックコンテンツの前記提示を変更するように構成される、請求項１に記載の消費者向けデバイス。
  20. 前記ＬＦディスプレイシステムは、前記ＬＦディスプレイシステムで受信されたパラメータの値に基づいて、前記ホログラフィックコンテンツの前記提示を変更するように構成される、請求項１に記載の消費者向けデバイス。
  21. 前記追跡システムによって取得された前記情報にアクセスすることと、
    前記ユーザーを識別するために前記情報を処理することと、
    前記ユーザーのユーザープロファイルを生成することと、
    を行うように構成されたユーザープロファイリングモジュールと、をさらに備え、
    前記コントローラは、前記ユーザープロファイルに部分的に基づいて、前記ユーザーの前記ホログラフィックコンテンツを生成するようにさらに構成される、請求項１１に記載のＬＦディスプレイシステム。
  22. 前記コントローラは、前記ユーザープロファイルと、人工知能モデルと、を使用して、前記ホログラフィックコンテンツを生成するようにさらに構成される、請求項２１に記載のＬＦディスプレイシステム。
  23. 前記ユーザープロファイリングモジュールは、
    前記ユーザーのソーシャルメディアアカウントからの情報を使用して、前記ユーザープロファイルを更新するようにさらに構成されており、
    前記コントローラは、前記更新されたユーザープロファイルに部分的に基づいて、前記ホログラフィックコンテンツを生成するように構成される、請求項２１に記載のＬＦディスプレイシステム。
  24. 前記提示されたホログラフィックオブジェクトの表面の閾値距離内に、または前記提示されたホログラフィックオブジェクトの表面と一致する体積触覚表面を生成するように構成された超音波エネルギー投影デバイスをさらに備える、請求項１に記載の消費者向けデバイス。
  25. 前記コントローラで受信されたパラメータの値に基づいて、前記生成された体積触覚表面のユーザータッチに対する抵抗を調整することをさらに含む、請求項２４に記載の消費者向けデバイス。
  26. 前記追跡システムによって取得された前記情報に部分的に基づいて生成される体積触覚表面を生成するように構成された超音波エネルギー投影デバイスをさらに備える、請求項１１に記載の消費者向けデバイス。
  27. 前記超音波エネルギー投影デバイスは、前記追跡システムによって取得された情報に応答して、前記生成された体積触覚表面を更新するようにさらに構成される、請求項２６に記載の消費者向けデバイス。
  28. 前記超音波エネルギー投影デバイスは、前記追跡システムおよび人工知能モデルによって取得された前記情報を使用して、前記体積触覚表面を生成するようにさらに構成される、請求項２６に記載の消費者向けデバイス。
  29. 前記コントローラは、触覚刺激、音響刺激、温度刺激、嗅覚刺激、またはそれらの任意の組み合わせを含む感覚コンテンツで生成された前記ホログラフィックコンテンツを拡張するようにさらに構成される、請求項１に記載の消費者向けデバイス。
  30. 前記ホログラフィックコンテンツは、前記消費者向けデバイス上で実行されるアプリケーションと併せて提示される、請求項１に記載の消費者向けデバイス。
  31. 前記提示されたホログラフィックコンテンツは、オンラインソースから受信したコンテンツに基づく、請求項３０に記載の消費者向けデバイス。
  32. 前記提示されたホログラフィックコンテンツは、前記ユーザーによって行われた操作上の選択に応答して、オンラインソースから受信されたコンテンツに基づく、請求項３１に記載の消費者向けデバイス。
  33. 前記提示されたホログラフィックコンテンツは、ホログラフィックキャラクターを含む、請求項１に記載の消費者向けデバイス。
  34. 前記提示されたホログラフィックキャラクターに関連する特徴は、少なくとも部分的に、前記ユーザーによって構成される、請求項３３に記載の消費者向けデバイス。
  35. 前記特徴は、前記提示されたホログラフィックキャラクターの視覚的、音声的、および人格的特徴を含む、請求項３４に記載の消費者向けデバイス。
  36. 前記提示されたホログラフィックキャラクターに関連する前記特徴は、ネットワークを介してオンラインシステムから検索される、請求項３４に記載の消費者向けデバイス。
  37. 前記特徴は、取引手数料と引き換えに、前記ネットワークを介して前記オンラインシステムから検索される、請求項３６に記載の消費者向けデバイス。
  38. 前記ホログラフィックキャラクターは、ホームアシスタントデバイスに関連して提示される、請求項３４に記載の消費者向けデバイス。
  39. 前記ホログラフィックキャラクターが提示されるときに、感覚フィードバックを提供するように構成される少なくとも１つの感覚フィードバックデバイスを備える感覚フィードバックシステムをさらに備える、請求項３３に記載の消費者向けデバイス。
  40. 前記感覚フィードバックは、触覚フィードバック、音声フィードバック、芳香フィードバック、温度フィードバック、またはそれらの任意の組み合わせを含む、請求項３９に記載の消費者向けデバイス。
  41. 前記感覚フィードバックは、前記１人以上のユーザーが接触を介して交信し得る前記ホログラフィックキャラクターの表面と一致する触覚表面を提供するように構成された体積触覚投影システムを含む、請求項３９に記載の消費者向けデバイス。
  42. 前記ユーザーに関する情報を取得するように構成される１つ以上の追跡デバイスを備える追跡システムをさらに備え、
    前記コントローラは、前記追跡システムによって取得された前記情報に基づいて、前記ユーザーの前記ホログラフィックキャラクターを生成するように構成される、請求項３３に記載の消費者向けデバイス。
  43. 前記追跡システムによって取得される情報は、前記ユーザーの位置、前記ユーザーの動き、前記ユーザーのジェスチャ、前記ユーザーの表情、前記ユーザーの視線、前記ユーザーの年齢、および前記ユーザーの性別のいずれかを含む、請求項４２に記載の消費者向けデバイス。
  44. 前記ユーザーの前記追跡情報は、前記ユーザーの前記視線を含み、前記ＬＦディスプレイアセンブリは、前記ホログラフィックキャラクターの目を更新して、前記ユーザーの前記視線とのアイコンタクトを維持するように構成される、請求項４２に記載の消費者向けデバイス。
  45. 前記コントローラは、前記追跡システムによって取得された前記情報と、人工知能モデルと、を使用して、前記ホログラフィックキャラクターを生成するように構成される、請求項４２に記載の消費者向けデバイス。
  46. 前記追跡システムによって取得された前記情報にアクセスすることと、
    前記ユーザーを識別するために前記情報を処理することと、
    前記ユーザーのユーザープロファイルを生成することと、
    を行うように構成されたユーザープロファイリングモジュールと、をさらに備え、
    前記コントローラは、前記ユーザープロファイルに部分的に基づいて、前記ユーザーの前記ホログラフィックキャラクターを生成するように構成される、請求項４２に記載の消費者向けデバイス。
  47. 前記コントローラは、前記ユーザープロファイルと、人工知能モデルと、を使用して、前記ホログラフィックキャラクターを生成するように構成される、請求項４６に記載の消費者向けデバイス。
  48. 前記ユーザープロファイリングモジュールは、
    前記ユーザーのソーシャルメディアアカウントからの情報を使用して、前記ユーザープロファイルを更新するようにさらに構成されており、
    前記コントローラは、前記更新されたユーザープロファイルに部分的に基づいて、前記ホログラフィックキャラクターを生成するように構成される、請求項４６に記載の消費者向けデバイス。
  49. 前記コントローラは、前記更新されたユーザープロファイルと、人工知能モデルと、を使用して、前記ホログラフィックキャラクターを生成するように構成される、請求項４８に記載の消費者向けデバイス。
  50. 前記コントローラは、前記ユーザーからの１つ以上の認識されたコマンドに基づいて、前記ホログラフィックキャラクターを変更するようにさらに構成される、請求項３３に記載の消費者向けデバイス。
  51. 前記ＬＦディスプレイシステムは、
    ユーザーからセキュリティ資格情報を受信することと、
    前記受信したセキュリティ資格情報を認証することと、
    前記消費者向けデバイスの１つ以上の機能への安全なアクセスを可能にすることと、
    前記認証に応答して、特定のホログラフィックコンテンツの生成を有効にすることと、
    を行うように構成された認証モジュールを備えたセキュリティモジュールをさらに備える、請求項１に記載の消費者向けデバイス。
  52. 前記セキュリティモジュールは、
    前記消費者向けデバイス内の内部センサによってキャプチャされたデータを受信することと、
    前記受信したデータを前記コントローラに提供することと、
    を行うようにさらに構成された請求項５１に記載の消費者向けデバイス。
  53. 前記コントローラは、前記内部センサからの前記受信したデータに基づいて、前記ホログラフィックコンテンツを生成するように構成される、請求項５２に記載の消費者向けデバイス。
  54. 前記コントローラは、人工知能モデルを部分的に使用して前記ホログラフィックコンテンツを生成するように構成される、請求項５３に記載の消費者向けデバイス。
JP2022510867A 2019-08-19 2019-08-19 消費者向けデバイスのライトフィールドディスプレイ Pending JP2022552064A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/047107 WO2021034315A1 (en) 2019-08-19 2019-08-19 Light field display for consumer devices

Publications (2)

Publication Number Publication Date
JP2022552064A true JP2022552064A (ja) 2022-12-15
JPWO2021034315A5 JPWO2021034315A5 (ja) 2022-12-22

Family

ID=74660024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022510867A Pending JP2022552064A (ja) 2019-08-19 2019-08-19 消費者向けデバイスのライトフィールドディスプレイ

Country Status (7)

Country Link
US (1) US20220300143A1 (ja)
EP (1) EP4018232A4 (ja)
JP (1) JP2022552064A (ja)
KR (1) KR20220045987A (ja)
CN (1) CN114450624A (ja)
CA (1) CA3147628A1 (ja)
WO (1) WO2021034315A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886625B1 (en) * 2020-12-21 2024-01-30 Apple Inc. Method and device for spatially designating private content
EP4115779A1 (de) * 2021-07-06 2023-01-11 Vorwerk & Co. Interholding GmbH Haushaltsgerät mit multifunktionaler anzeige
DE102021213588A1 (de) 2021-12-01 2023-06-01 BSH Hausgeräte GmbH Fluidführendes Haushaltsgerät

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030222977A1 (en) * 2002-06-03 2003-12-04 Kazutora Yoshino Intelligent system and 3D virtual object generator
US20150121287A1 (en) * 2006-07-03 2015-04-30 Yoram Ben-Meir System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
CN109271029B (zh) * 2011-08-04 2022-08-26 视力移动技术有限公司 无触摸手势识别系统、无触摸手势识别方法和介质
BR112014009129A2 (pt) * 2011-10-20 2017-04-18 Koninklijke Philips Nv sistema e método para exibição holográfica interativa
US9594500B2 (en) * 2012-06-27 2017-03-14 sigmund lindsay clements Touch Free hygienic display control panel for a smart toilet
US9092600B2 (en) * 2012-11-05 2015-07-28 Microsoft Technology Licensing, Llc User authentication on augmented reality display device
US9959658B2 (en) * 2015-02-26 2018-05-01 Rovi Guides, Inc. Methods and systems for generating holographic animations
CN108369630A (zh) * 2015-05-28 2018-08-03 视觉移动科技有限公司 用于智能家居的手势控制系统和方法
US20160364003A1 (en) * 2015-06-10 2016-12-15 Wayne Patrick O'Brien Holographic interface for manipulation
US10318225B2 (en) * 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
JP7112399B2 (ja) * 2016-12-05 2022-08-03 マジック リープ， インコーポレイテッド 複合現実環境における仮想ユーザ入力制御
JP7311097B2 (ja) * 2018-01-14 2023-07-19 ライト フィールド ラボ、インコーポレイテッド ４次元エネルギーフィールドパッケージアセンブリ

Also Published As

Publication number Publication date
CA3147628A1 (en) 2021-02-25
US20220300143A1 (en) 2022-09-22
KR20220045987A (ko) 2022-04-13
EP4018232A1 (en) 2022-06-29
CN114450624A (zh) 2022-05-06
WO2021034315A1 (en) 2021-02-25
EP4018232A4 (en) 2023-05-03

Similar Documents

Publication Publication Date Title
US11381775B2 (en) Light field display system for video communication including holographic content
JP2024050567A (ja) ライトフィールドディスプレイシステム
WO2020231640A1 (en) Light field display system for performance events
JP2022552064A (ja) 消費者向けデバイスのライトフィールドディスプレイ
US20220210395A1 (en) Light field display system for cinemas
JP2022553613A (ja) モバイルデバイスのライトフィールドディスプレイ
US20200371472A1 (en) Light Field Display System Based Commercial System
US20220329917A1 (en) Light Field Display System for Adult Applications
JP7492577B2 (ja) 成人向けライトフィールドディスプレイシステム発明者：ジョナサン・シャン・カラフィンブレンダン・エルウッド・ベベンシージョン・ドーム
CN114730081A (zh) 用于游戏环境的光场显示系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220818

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20221213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240402