CN113677411A - 用于电影院的光场显示系统 - Google Patents
用于电影院的光场显示系统 Download PDFInfo
- Publication number
- CN113677411A CN113677411A CN202080023779.2A CN202080023779A CN113677411A CN 113677411 A CN113677411 A CN 113677411A CN 202080023779 A CN202080023779 A CN 202080023779A CN 113677411 A CN113677411 A CN 113677411A
- Authority
- CN
- China
- Prior art keywords
- display
- energy
- display system
- viewer
- holographic content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims description 96
- 230000004044 response Effects 0.000 claims description 39
- 230000003287 optical effect Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 24
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000002787 reinforcement Effects 0.000 claims description 19
- 238000009877 rendering Methods 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims 2
- 230000014509 gene expression Effects 0.000 claims 1
- 238000002329 infrared spectrum Methods 0.000 claims 1
- 238000002211 ultraviolet spectrum Methods 0.000 claims 1
- 238000001429 visible spectrum Methods 0.000 claims 1
- 230000001953 sensory effect Effects 0.000 description 71
- 230000009471 action Effects 0.000 description 31
- 238000013473 artificial intelligence Methods 0.000 description 31
- 239000003795 chemical substances by application Substances 0.000 description 29
- 238000003384 imaging method Methods 0.000 description 24
- 230000002452 interceptive effect Effects 0.000 description 14
- 230000003993 interaction Effects 0.000 description 13
- 238000013500 data storage Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 12
- 241001481833 Coryphaena hippurus Species 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 10
- 238000002604 ultrasonography Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 5
- 239000003205 fragrance Substances 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000006116 polymerization reaction Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000004304 visual acuity Effects 0.000 description 4
- 206010039740 Screaming Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 241000282320 Panthera leo Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000035943 smell Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241001125840 Coryphaenidae Species 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 240000002836 Ipomoea tricolor Species 0.000 description 1
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 206010047924 Wheezing Diseases 0.000 description 1
- 239000012814 acoustic material Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H3/00—Holographic processes or apparatus using ultrasonic, sonic or infrasonic waves for obtaining holograms; Processes or apparatus for obtaining an optical image from them
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2202—Reconstruction geometries or arrangements
- G03H1/2205—Reconstruction geometries or arrangements using downstream optical component
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/33—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
- G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2249—Holobject properties
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0055—Adaptation of holography to specific applications in advertising or decorative art
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
- G03H2001/0208—Individual components other than the hologram
- G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2202—Reconstruction geometries or arrangements
- G03H2001/2236—Details of the viewing window
- G03H2001/2239—Enlarging the viewing window
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2202—Reconstruction geometries or arrangements
- G03H2001/2236—Details of the viewing window
- G03H2001/2242—Multiple viewing windows
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2249—Holobject properties
- G03H2001/2284—Superimposing the holobject with other visual information
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/30—3D object
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2223/00—Optical components
- G03H2223/16—Optical waveguide, e.g. optical fibre, rod
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2225/00—Active addressable light modulator
- G03H2225/60—Multiple SLMs
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/05—Means for tracking the observer
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2240/00—Hologram nature or properties
- G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
- G03H2240/61—SLM related parameters, e.g. pixel size
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Holo Graphy (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种用于向电影院中的观看者显示全息内容(例如,全息电影或增强电影的全息内容)的光场(LF)显示系统。所述电影院中的所述LF显示系统包含平铺在一起以形成LF模块阵列的LF显示模块。所述LF模块阵列创建了用于在所述电影院中显示所述全息内容的全息对象体。所述LF模块阵列向观看体中的观看者显示所述全息内容。所述LF显示系统可包含在LF电影网络中。所述LF电影网络允许在一个位置创建全息内容且在另一位置呈现全息内容。所述LF电影网络包含管理全息演出内容的数字权限的网络系统。
Description
相关申请的交叉引用
本申请涉及国际申请第PCT/US2017/042275号、第PCT/US2017/042276号、第PCT/US2017/042418号、第PCT/US2017/042452号、第PCT/US2017/042462号、第PCT/US2017/042466号、第PCT/US2017/042467号、第PCT/US2017/042468号、第PCT/US2017/042469号、第PCT/US2017/042414号和第PCT/US2017/042679号,所有所述国际申请的全文通过引用的方式并入本文中。
背景技术
本公开涉及在电影院中呈现电影,且具体地说,涉及用于在电影院中显示电影的光场显示系统。
传统上,电影院配置成允许去电影院的观看者在二维影院屏幕上观看电影。遗憾的是,将电影的内容限制在二维影院屏幕上是不太沉浸式的观看体验。即使已用先进显示技术(例如,3D、增强现实等)增强的影院也会降低观看体验且留下许多不足之处。例如,在具有这些系统的影院中,可能需要观看者佩戴额外眼镜,观看者可能会因电影的呈现方式而感到不适,或在使用先进技术时电影质量可能会降级。因此,配置成增强观看者在观看电影时的观看体验而不降低整体体验的电影院将是有益的。
发明内容
本公开描述了一种用于在电影院中显示电影的全息内容或增强传统电影的全息内容的光场(LF)显示系统。LF显示系统包含在电影院中形成表面(例如,壁)的LF显示模块,LF显示模块各自具有显示区域,且LF显示模块平铺在一起以形成具有大于个别LF显示模块的显示区域的有效显示区域的无缝显示表面。LF显示模块在全息对象体中显示全息内容,使得电影院中的观看者都可感知到全息内容。
全息内容可由LF电影生成系统、由LF处理引擎或能够创建全息内容以用于在电影院中显示的任何其它系统创建。全息内容可由负责管理全息内容的数字权限的网络系统管理。
LF显示引擎在全息对象体中呈现全息内容。全息对象体可在电影院中的任何位置处。例如,全息观看体可在电影院中的观看者头上、在电影院的壁上或在电影院的壁“后面”。LF显示系统可以在一个观看体中将某些全息内容显示给观看者,同时在另一观看体中将不同或额外全息内容显示给观看者。全息内容可在影院中显示电影之前、期间和/或之后显示。
在一些实施例中,LF显示系统包含跟踪系统和/或观看者概况分析系统。跟踪系统和观看者概况分析系统可监测且存储场所中的观看者的特性、描述观看者的观看者简档和/或观看者对场所中的全息内容的响应。创建为在场所中显示的全息内容可是基于所监测或所存储的信息中的任一个。
在一些实施例中,用户可与全息内容交互,且交互可充当LF处理引擎的输入。例如,在一些实施例中,LF显示系统中的一些或全部LF显示系统包含多个超声扬声器。多个超声扬声器被配置成生成与全息内容的至少一部分一致的触觉表面。跟踪系统被配置成跟踪用户与全息对象的交互(例如,通过由LF显示模块和/或一些其它相机的成像传感器捕获的图像)。并且LF显示系统被配置成基于交互提供全息内容的创建。
附图说明
图1是根据一个或多个实施例的呈现全息对象的光场显示模块的图。
图2A是根据一个或多个实施例的光场显示模块的一部分的横截面。
图2B是根据一个或多个实施例的光场显示模块的一部分的横截面。
图3A是根据一个或多个实施例的光场显示模块的透视图。
图3B是根据一个或多个实施例的包含交织的能量中继装置的光场显示模块的横截面视图。
图4A是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的光场显示系统的一部分的透视图。
图4B是根据一个或多个实施例的在多面无缝表面环境中的光场显示系统的一部分的透视图。
图4C是根据一个或多个实施例的具有处于翼状配置的聚合表面的光场显示系统的俯视图。
图4D是根据一个或多个实施例的具有处于倾斜配置的聚合表面的光场显示系统的侧视图。
图4E是根据一个或多个实施例的在房间的前壁上具有聚合表面的光场显示系统的俯视图。
图4F是根据一个或多个实施例的在房间的前壁上具有聚合表面的LF显示系统的侧视图的侧视图。
图5A是根据一个或多个实施例的光场显示系统的框图。
图5B展示根据一个或多个实施例的实例LF电影网络550。
图6A是根据一个或多个实施例的包含光场显示系统的电影院的侧视图。
图6B是根据一个或多个实施例的包含光场显示系统的电影院的侧视图。
图7A是根据一个或多个实施例的包含光场显示系统的电影院的透视图。
图7B是根据一个或多个实施例的包含显示全息内容的光场显示系统的电影院的透视图。
图8是根据一个或多个实施例的包含呈现全息内容的光场显示系统的电影院的透视图。
图9A是根据一个或多个实施例的包含光场显示系统的电影院的透视图,所述光场显示系统展示呈现给电影院前面的一组观看位置的全息内容。
图9B是根据一个或多个实施例的包含LF显示系统的电影院的透视图,所述LF显示系统展示呈现给电影院后面的一组观看位置的全息内容。
图10是展示根据一个或多个实施例的用于在LF电影发布网络内显示电影的全息内容的方法的流程图。
附图仅出于展示的目的描绘了本发明的各个实施例。本领域技术人员将从下面的讨论中容易地认识到,在不脱离本文所描述的本发明原理的情况下,可以采用本文所展示的结构和方法的替代性实施例。
具体实施方式
概述
在电影院中实施光场(LF)显示系统。LF显示系统被配置成用于向观看者显示电影。LF显示系统包括LF显示组合件,所述LF显示组合件被配置成呈现包含一个或多个全息对象的全息内容,所述全息对象在LF显示系统的观看体中将对一个或多个观看者可见。LF显示组合件可在电影院中的一个或多个表面(例如,壁)中的一些或全部上形成多面无缝表面。通常,观看者为在电影院中观看电影放映的人,但可为电影院内可观看全息内容的任何人。
由LF显示系统呈现的全息内容也可用其它感觉刺激(例如,触觉和/或音频)来增强。例如,LF显示系统中的超声源可投影创建了体触觉投影的超声压力波。体触觉投影提供对应于所投影全息对象中的一些或全部的触觉表面。全息内容还可以包含额外视觉内容(即,2D或3D视觉内容)。在具有多个能量源(即,在任何给定时间点提供正确的触觉感觉和感觉刺激的全息对象)的实施方案中,实现有凝聚力的体验的能量源协调是LF系统的部分。例如,LF系统可包含协调全息内容和触觉表面的呈现的控制器。
在一些实施例中,LF显示系统可包含使得系统能够投影至少一种类型的能量,且同时感测至少一种类型的能量的元件。感测到的能量可用于记录观看者如何响应全息内容。例如,LF显示系统可投影用于观看的全息对象以及用于触觉感知的超声波两者,且同时记录用于跟踪观看者的成像信息和其它场景分析。作为实例,此系统可在电影中的展示期间投影全息纸带,使得当纸带虚拟地“落在”观看者头上时,纸带带给观看者纸带正落在其头上的错觉。执行环境的能量感测的LF显示系统组件可集成到显示表面中,或其可为与显示表面分离的专用传感器。
在一些实施例中,LF显示系统包含在电影院中形成表面的多个LF显示模块。所述表面可覆盖例如电影院的壁和/或天花板。形成表面的LF显示模块可被配置成投影电影的全息内容。例如,并非投影仪在影院屏幕上投影电影,使得电影院中的观看者可观看电影,LF显示模块可呈现电影,使得电影院中的观看者可观看电影。
显示电影的全息内容的LF显示模块可提供具有难以与现实区分的真实性的体验。例如,当使用LF显示模块观看电影的全息内容时,观看者并不需要佩戴3D眼镜或任何其它头戴装置来观看全息内容。此外,由LF显示模块呈现的全息内容可对观看者动作(例如,手势、眼球运动等)作出响应,且观看者可能够触摸由LF显示模块呈现的全息内容。
替代地或另外,在一些实施例中,LF显示模块可被配置成呈现增强电影的全息内容。例如,LF显示模块可在呈现电影的同时在电影院中呈现全息内容,使得电影院中的观看者可同时感知电影和增强的全息内容两者。此处,所述一组LF显示模块同时显示全息内容和电影增强了电影院的氛围,且为电影提供了额外内容。更一般地,相对于不具有LF显示系统的电影院,电影院中的LF显示系统增强了电影院中的观看者的观看体验。
LF显示系统可为LF电影发布网络的部分。LF电影发布网络允许在一个位置中记录和/或创建全息内容,编码全息内容并将其传输到不同位置。一旦接收到,全息内容就可以被解码并作为全息内容显示给电影院中的观看者。全息内容可以是电影自身或增强电影的全息内容。LF电影发布网络允许将全息内容发布到多个电影院。在一些实施例中,LF显示系统包含管理电影和/或全息内容的数字权限的网络系统。
光场显示系统
图1是根据一个或多个实施例的呈现全息对象120的光场(LF)显示模块110的图100。LF显示模块110是光场(LF)显示系统的一部分。LF显示系统使用一个或多个LF显示模块来呈现包含至少一个全息对象的全息内容。LF显示系统可以向一个或多个观看者呈现全息内容。在一些实施例中,LF显示系统还可以用其它感觉内容(例如,触摸、音频、气味、温度等)来增强全息内容。例如,如下文所讨论,聚焦超声波的投影可以生成可以模拟全息对象中的一些或全部的表面的空中触觉。LF显示系统包含一个或多个LF显示模块110,并且下文关于图2到5详细地讨论。
LF显示模块110是将全息对象(例如,全息对象120)呈现给一个或多个观看者(例如,观看者140)的全息显示器。LF显示模块110包含能量装置层(例如,发射电子显示器或声学投影装置)和能量波导层(例如,光学透镜阵列)。另外,LF显示模块110可以包含能量中继层,以出于将多个能量源或检测器组合在一起以形成单个表面的目的。在高水平处,能量装置层生成能量(例如,全息内容),然后根据一个或多个四维(4D)光场函数使用能量波导层将所述能量引导到空间中的区域。LF显示模块110还可以同时投影和/或感测一种或多种类型的能量。例如,LF显示模块110可能够在观看体中投影全息图像以及超声触觉表面,同时从观看体检测成像数据。LF显示模块110的操作在下文关于图2到3详细地讨论。
LF显示模块110使用一个或多个4D光场函数(例如,从全光函数派生)来在全息对象体160内生成全息对象。全息对象可以是三维(3D)、二维(2D)或其某种组合。此外,全息对象可以是多色的(例如,全色)。全息对象可以投影在屏幕平面前面、屏幕平面后面,或者被屏幕平面分开。可以呈现全息对象120,使得在全息对象体160内的任何地方都可以感知到所述全息对象。全息对象体160内的全息对象对观看者140来说可以看起来是漂浮在空间中的。
全息对象体160表示观看者140可以在其中感知全息对象的体。全息对象体160可以在显示区域150的表面前面延伸(即,朝向观看者140),使得全息对象可以呈现在显示区域150的平面前面。另外,全息对象体160可以在显示区域150的表面后面延伸(即,远离观看者140),从而允许将全息对象呈现为好像其在显示区域150的平面后面。换句话说,全息对象体160可以包含源自显示区域150的所有光线(例如,被投影),并且可以会聚以创建全息对象。本文中,光线可以会聚在显示表面前面、显示表面处或显示表面后面的点处。更简单地,全息对象体160涵盖观看者可以从中感知全息对象的所有体。
观看体130是空间的体,从所述空间可完全看到通过LF显示系统呈现在全息对象体160内的全息对象(例如,全息对象120)。可以将全息对象呈现在全息对象体160内,并在观看体130内对其进行观看,使得所述全息对象与实际对象没有区别。全息对象是通过投影与物理上存在时从对象表面生成的相同光线而形成的。
在一些情况下,全息对象体160和对应观看体130可以相对较小,使得其被设计用于单个观看者。在其它实施例中,如下文关于例如图4、6、7、8和9详细地讨论,可以放大和/或平铺LF显示模块以创建较大的全息对象体以及可以容纳大范围观看者(例如,1到数千)的对应观看体。可以构建本公开中所呈现的LF显示模块,使得LF显示器的整个表面含有全息成像光学装置,没有无效或死角空间,并且不需要边框。在这些实施例中,LF显示模块可以被平铺,使得成像区域在LF显示模块之间的接缝上是连续的,并且使用眼睛的视敏度几乎无法检测到平铺的模块之间的结合线。值得注意的是,在一些配置中,尽管在本文中不详细地描述,但是显示表面的一些部分可以不包含全息成像光学装置。
观看体130的柔性尺寸和/或形状允许观看者不受约束在观看体130内。例如,观看者140可以移动到观看体130内的不同定位,并且从对应的视角看到全息对象120的不同视图。为了说明,参考图1,观看者140相对于全息对象120位于第一定位,使得全息对象120看起来是海豚的正面视图。观看者140可以相对于全息对象120移动到其它位置以看到海豚的不同视图。例如,观看者140可以移动使得他/她看到海豚的左侧、海豚的右侧等,就非常像观看者140正在观看实际的海豚一样并且改变他/她与实际的海豚的相对定位以看到海豚的不同视图。在一些实施例中,全息对象120对于观看体130内的所有观看者可见,所有观看者到全息对象120的视线不受阻碍(即,未被对象/人阻挡)。这些观看者可以不受约束,使得其可以在观看体内四处移动以看到全息对象120的不同视角。因此,LF显示系统可以呈现全息对象,使得多个不受约束的观看者可以在现实世界空间中同时看到全息对象的不同视角,就好像全息对象是物理上存在的一样。
相比之下,常规显示器(例如,立体、虚拟现实、增强现实或混合现实)通常要求每个观看者穿戴某种外部装置(例如,3-D眼镜、近眼显示器或头戴式显示器)以看到内容。另外地和/或可替代地,常规的显示器可以要求观看者被约束到特定的观看定位(例如,在相对于显示器具有固定位置的椅子上)。例如,当观看由立体显示器示出的对象时,观看者总是聚焦在显示表面上,而不是聚焦在对象上,并且显示器将始终呈现对象的仅两个视图,所述视图将跟随试图在所述感知的对象周围移动的观看者,从而导致所述对象的感知失真。然而,利用光场显示器,通过LF显示系统呈现的全息对象的观看者不需要穿戴外部装置,也不必被限制在特定定位以看到全息对象。LF显示系统以观看者可见的方式呈现全息对象,与观看者可看见物理对象的方式几乎相同,而无需特殊的护目镜、眼镜或头戴式附件。此外,观看者可以从观看体内的任何位置观看全息内容。
值得注意的是,全息对象体160内的全息对象的潜在位置受体的大小的限制。为了增加全息对象体160的大小,可以增加LF显示模块110的显示区域150的大小和/或可以以形成无缝显示表面的方式将多个LF显示模块平铺在一起。无缝显示表面的有效显示区域大于各个LF显示模块的显示区域。下文关于图4和6到9讨论与平铺LF显示模块相关的一些实施例。如图1所展示的,显示区域150是矩形的,从而导致全息对象体160是角锥形。在其它实施例中,显示区域可以具有某个其它形状(例如,六边形),这也影响对应的观看体的形状。
另外,尽管上文讨论聚焦于将全息对象120呈现在全息对象体160的位于LF显示模块110与观看者140之间的一部分内,但是LF显示模块110可以另外将内容呈现在显示区域150的平面后面的全息对象体160中。例如,LF显示模块110可以使显示区域150看起来是全息对象120正跳出的海洋表面。并且所显示的内容可以使得观看者140能够通过所显示的表面进行观看以看到水下的海洋生物。此外,LF显示系统可以生成在全息对象体160周围无缝地移动的内容,包含在显示区域150的平面后面和前面。
图2A展示了根据一个或多个实施例的LF显示模块210的一部分的横截面200。LF显示模块210可以是LF显示模块110。在其它实施例中,LF显示模块210可以是显示区域形状与显示区域150不同的另一LF显示模块。在所展示的实施例中,LF显示模块210包含能量装置层220、能量中继层230和能量波导层240。LF显示模块210的一些实施例具有与此处所描述的组件不同的组件。例如,在一些实施例中,LF显示模块210不包含能量中继层230。类似地,可以以与此处所描述的方式不同的方式在组件之间分配功能。
此处所描述的显示系统呈现了复制了现实世界中通常包围对象的能量的能量发射。此处,将发射的能量从显示表面上的每个坐标引导朝向特定的方向。换句话说,显示表面上的各个坐标充当发射的能量的投影位置。来自显示表面的定向能量使许多能量射线汇聚,这由此可以创建全息对象。例如,对于可见光,LF显示器将从投影位置投影出非常多的可以会聚在全息对象体的任何点处的光线,因此从定位得比被投影的对象更远的观看者的视角看,所述光线似乎来自定位在此空间的区域中的真实对象的表面。以此方式,LF显示器生成了从观看者的视角离开此对象表面的反射光线。观看者视角可以在任何给定的全息对象上发生变化,并且观看者将看到所述全息对象的不同视图。
如本文所描述的,能量装置层220包含一个或多个电子显示器(例如,发射显示器,如OLED)和一个或多个其它能量投影和/或能量接收装置。一个或多个电子显示器被配置成根据显示指令(例如,来自LF显示系统的控制器)显示内容。一个或多个电子显示器包含多个像素,每个像素具有独立控制的强度。可以在LF显示器中使用许多类型的商用显示器,如发射LED和OLED显示器。
能量装置层220还可以包含一个或多个声学投影装置和/或一个或多个声学接收装置。声学声投影装置生成与全息对象250互补的一个或多个压力波。所生成的压力波可以是例如可听的、超声的或其某种组合。超声压力波阵列可以用于体触觉感觉(例如,在全息对象250的表面处)。可听压力波用于提供可以补充全息对象250的音频内容(例如,沉浸式音频)。例如,假设全息对象250是海豚,则可以使用一个或多个声学投影装置来(1)生成与海豚的表面并置的触觉表面,使得观看者可以触摸全息对象250;并且(2)提供与海豚发出的响声(如咔哒声、唧喳声或吱吱)相对应的音频内容。声学接收装置(例如,麦克风或麦克风阵列)可以被配置成监测LF显示模块210的局部区域内的超声和/或可听压力波。
能量装置层220还可以包含一个或多个成像传感器。成像传感器可能对可见光波段中的光敏感,并且在一些情况下,可能对其它波段中的光(例如,红外线)敏感。成像传感器可以是例如互补金属氧化物半导体(CMOS)阵列、电荷耦合装置(CCD)、光电检测器阵列、捕获光的某个其它传感器或其某种组合。LF显示系统可以使用由一个或多个成像传感器捕获的数据来用于定位跟踪观看者的位置。
在一些配置中,能量中继层230在能量装置层220与能量波导层240之间中继能量(例如,电磁能量、机械压力波等)。能量中继层230包含一个或多个能量中继元件260。每个能量中继元件包含第一表面265和第二表面270,并且其在两个表面之间中继能量。每个能量中继元件的第一表面265可以联接到一个或多个能量设备(例如,电子显示器或声学投影装置)。能量中继元件可以由例如玻璃、碳、光纤、光学膜、塑料、聚合物或其某种组合构成。另外,在一些实施例中,能量中继元件可以调整在第一表面265与第二表面270之间通过的能量的放大率(增加或减少)。如果中继器提供放大率,则中继器可以采取被称为锥体的粘合锥形中继器的阵列的形式,其中锥体的一端的面积可以基本上大于相对端的面积。锥体的大端可以粘合在一起以形成无缝能量表面275。一个优点在于每个锥体的多个小端上都创建了空间,以容纳多个能量的机械包膜,如多个显示器的边框。此另外的房间允许将能量源并排放置在小锥体侧上,其中每个能量源的有效区域将能量引导到小锥体表面中并中继到大无缝能量表面。使用锥形中继器的另一个优点是,在由锥体的大端形成的组合的无缝能量表面上没有非成像死空间。不存在边界或边框,并且因此然后可以根据眼睛的视敏度将无缝能量表面平铺在一起以形成几乎没有接缝的更大的表面。
相邻的能量中继元件的第二表面汇聚在一起以形成能量表面275。在一些实施例中,相邻的能量中继元件的边缘之间的间隔小于由具有例如20/40视力的人眼的视敏度所定义的最小可感知轮廓,使得能量表面275从观看体285内的观看者280的视角来看是有效地无缝的。
在一些实施例中,相邻的能量中继元件的第二表面与可以包含压力、热和化学反应中的一个或多个的处理步骤融合在一起,以这种方式在其之间不存在接缝。并且仍在其它实施例中,通过将连续的中继材料块的一侧模制成小锥体端的阵列来形成能量中继元件的阵列,每个能量中继元件被配置成将能量从附接到小锥形端的能量装置传输到面积较大的从未细分的单个组合表面。
在一些实施例中,能量中继元件中的一个或多个能量中继元件表现出能量局部化,其中在基本上垂直于表面265和270的纵向方向上的能量传输效率远高于在垂直横向平面中的传输效率,并且其中在能量波在表面265与表面270之间传播时,能量密度在此横向平面中是高度局部的。能量的这种局部化使得能量分布(如图像)在这些表面之间高效地中继,而分辨率没有任何显著的损失。
能量波导层240使用能量波导层240中的波导元件将能量从能量表面275上的位置(例如,坐标)引导到从显示表面向外进入全息观看体285的特定能量传播路径。能量传播路径由至少由相对于波导的能量表面坐标位置确定的两个角度尺寸限定。波导与空间2D坐标相关联。这四个坐标一起形成一个四维(4D)能量场。作为实例,对于电磁能量,能量波导层240中的波导元件将来自无缝能量表面275上的位置的光沿着不同的传播方向引导通过观看体285。在各个实例中,根据4D光场函数将光进行引导以在全息对象体255内形成全息对象250。
能量波导层240中的每个波导元件可以是例如由一个或多个元件构成的小透镜。在一些配置中,小透镜可以是正透镜。正透镜可以具有球形、非球形或自由形式的表面轮廓。另外,在一些实施例中,波导元件中的一些或全部波导元件可以包含一个或多个另外的光学组件。另外的光学组件可以是例如能量抑制结构,如挡板、正透镜、负透镜、球形透镜、非球形透镜、自由形式的透镜、液晶透镜、液体透镜、折射元件、衍射元件或其某种组合。在一些实施例中,小透镜和/或另外的光学组件中的至少一个能够动态地调整其光功率。例如,小透镜可以是液晶透镜或液体透镜。小透镜和/或至少一个另外的光学组件的表面轮廓的动态调整可以提供对从波导元件投影的光的另外的方向控制。
在所展示的实例中,LF显示器的全息对象体255具有由光线256和光线257形成的边界,但是可以由其它射线形成。全息对象体255是连续的在能量波导层240前面(即,朝向观看者280)和在其后面(即,远离观看者280)两者延伸的体。在所展示的实例中,用户可以感知的射线256和射线257以相对于显示表面277的法线的最大角度从LF显示模块210的相对边缘投影,但是射线可以是其它投影的射线。射线限定了显示器的视场,并因此限定了全息观看体285的边界。在一些情况下,射线限定了全息观看体,在所述全息观看体中可以在没有渐晕的情况下(例如,理想的观看体)观察整个显示器。随着显示器的视场增加,射线256和射线257的会聚点将更靠近显示器。因此,具有较大视场的显示器允许观看者280在更近的观看距离处看到整个显示器。另外,射线256和257可以形成理想的全息对象体。可以在观看体285中的任何地方看到以理想全息对象体呈现的全息对象。
在一些实例中,可以将全息对象呈现给观看体285的仅一部分。换句话说,全息对象体可以被划分成任何数量的观看子体(例如,观看子体290)。另外,可以将全息对象投影到全息对象体255的外部。例如,全息对象251呈现在全息对象体255之外。因为全息对象251呈现在全息对象体255之外,所以不能从观看体285中的每个位置对其进行观看。例如,全息对象251可以从观看子体290中的位置可见,但是从观看者280的位置不可见。
例如,转到图2B以展示从不同观看子体观看全息内容。图2B说明根据一个或多个实施例的LF显示模块的一部分的横截面200。图2B的横截面与图2A的横截面相同。然而,图2B说明从LF显示模块210投影的一组不同光线。射线256和射线257仍形成全息对象体255和观看体285。然而,如所示的,从LF显示模块210的顶部投影的射线和从LF显示模块210的底部投影的射线重叠以在观看体285内形成各个观看子体(例如,观看子体290A、290B、290C和290D)。第一观看子体(例如,290A)中的观看者可以能够感知在全息对象体255中呈现的全息内容,其它观看子体(例如,290B、290C和290D)中的观看者则无法进行感知。
更简单地,如图2A所展示的,全息对象体255是其中全息对象可以通过LF显示系统呈现的体,使得所述全息对象可以被观看体285中的观看者(例如,观看者280)感知。以此方式,观看体285是理想观看体的实例,而全息对象体255是理想对象体的实例。然而,在各种配置中,观看者可以在其它示例全息对象体中感知通过LF显示系统200呈现的全息对象。更一般而言,当观看从LF显示模块投影的全息内容时,将应用“视线指南”。视线指南断言,由观看者的眼睛定位和正在被观看的全息对象形成的线必须与LF显示表面相交。
因为根据4D光场函数呈现了全息内容,因此当观看通过LF显示模块210呈现的全息内容时,观看者280的每只眼睛看到全息对象250的不同视角。此外,在观看者280在观看体285内移动时,他/她还将看到全息对象250的不同视角,如同在观看体285内的其它观看者一样。如本领域普通技术人员将意识到的,4D光场函数在本领域中是众所周知的,并且在本文中将不进一步详细说明。
如本文中更详细描述的,在一些实施例中,LF显示器可以投影多于一种类型的能量。例如,LF显示器可以投影两种类型的能量,例如,机械能量和电磁能量。在此配置中,能量中继层230可以包含两个单独的能量中继器,所述能量中继器在能量表面275处交织在一起,但是被分离使得能量被中继到两个不同的能量装置层220。此处,一个中继器可以被配置成传输电磁能量,而另一个中继器可以被配置成传输机械能量。在一些实施例中,机械能量可以从能量波导层240上的电磁波导元件之间的位置投影,从而有助于形成抑制光从一个电磁波导元件传输到另一个的结构。在一些实施例中,能量波导层240还可以包含根据来自控制器的显示指令沿特定传播路径传输聚焦的超声的波导元件。
注意,在替代性实施例(未示出)中,LF显示模块210不包含能量中继层230。在这种情况下,能量表面275是使用能量装置层220内的一个或多个相邻电子显示器形成的发射表面。并且在一些实施例中,在没有能量中继层的情况下,相邻电子显示器的边缘之间的间隔小于由具有20/40视力的人眼的视敏度所定义的最小可感知轮廓,使得能量表面从观看体285内的观看者280的视角来看是有效地无缝的。
LF显示模块
图3A是根据一个或多个实施例的LF显示模块300A的透视图。LF显示模块300A可以是LF显示模块110和/或LF显示模块210。在其它实施例中,LF显示模块300A可以是某个其它LF显示模块。在所展示的实施例中,LF显示模块300A包含能量装置层310和能量中继层320以及能量波导层330。LF显示模块300A被配置成从显示表面365呈现全息内容,如本文所描述的。为方便起见,显示表面365在LF显示模块300A的框架390上以虚线轮廓展示,但更准确地说是直接在由框架390的内边缘界定的波导元件前面的表面。显示表面365包含可以从其投影能量的多个投影位置。LF显示模块300A的一些实施例具有与此处所描述的组件不同的组件。例如,在一些实施例中,LF显示模块300A不包含能量中继层320。类似地,可以以与此处所描述的方式不同的方式在组件之间分配功能。
能量装置层310是能量装置层220的实施例。能量装置层310包含四个能量装置340(在图中三个是可见的)。能量装置340可以全部是相同类型(例如,所有电子显示器)或者可以包含一种或多种不同类型(例如,包含电子显示器和至少一个声能装置)。
能量中继层320是能量中继层230的实施例。能量中继层320包含四个能量中继装置350(在图中三个是可见的)。能量中继装置350可以全部中继相同类型的能量(例如,光)或者可以中继一种或多种不同类型(例如,光和声音)。中继装置350中的每个中继装置包含第一表面和第二表面,能量中继装置350的第二表面被布置成形成单个无缝能量表面360。在所展示的实施例中,能量中继装置350中的每个中继装置是锥形的,使得第一表面具有比第二表面小的表面积,这允许在锥体的小端上容纳能量装置340的机械包膜。由于整个区域都可以投影能量,因此这也可以使无缝能量表面无边界。这意味着可以通过将LF显示模块300A的多个实例放置在一起而没有死空间或边框的方式来平铺此无缝能量表面,使得整个组合的表面是无缝的。在其它实施例中,第一表面和第二表面的表面积相同。
能量波导层330是能量波导层240的实施例。能量波导层330包含多个波导元件370。如上文关于图2所讨论的,能量波导层330被配置成根据4D光场函数沿着特定的传播路径从无缝能量表面360引导能量,以形成全息对象。注意,在所展示的实施例中,能量波导层330由框架390界定。在其它实施例中,不存在框架390和/或减小框架390的厚度。框架390的厚度的去除或减小可以有助于将LF显示模块300A与另外的LF显示模块平铺。
注意,在所展示的实施例中,无缝能量表面360和能量波导层330是平坦的。在未示出的替代性实施例中,无缝能量表面360和能量波导层330可以在一个或多个维度上弯曲。
LF显示模块300A可以配置有驻留在无缝能量表面的表面上的另外的能量源,并允许除了光场之外的能量场的投影。在一个实施例中,声能场可以从安装在无缝能量表面360上的任何数量的位置处的静电扬声器(未展示)投影出来。此外,LF显示模块300A的静电扬声器定位在光场显示模块300A内,使得双能量表面同时投影声场和全息内容。例如,静电扬声器可以形成有一个或多个传输一些波长的电磁能量的隔膜元件,并由一个或多个导电元件(例如,将一个或多个隔膜元件夹在中间的平面)驱动。静电扬声器可以被安装在无缝能量表面360上,使得隔膜元件覆盖波导元件中的一些波导元件。扬声器的导电电极可以与被设计成抑制电磁波导之间的光传输的结构定位在同一位置,和/或定位在电磁波导元件(例如,框架390)之间的位置处。在各种配置中,扬声器可以投影可听的声音和/或产生触觉表面的聚焦超声能量的许多来源。
在一些配置中,能量装置340可以感测能量。例如,能量装置可以是麦克风、光传感器、声换能器等。因此,能量中继装置还可以将能量从无缝能量表面360中继到能量装置层310。也就是说,当能量装置和能量中继装置340被配置成同时发射和感测能量(例如,发射光场并感测声音)时,LF显示模块的无缝能量表面360形成双向能量表面。
更广泛地,LF显示模块340的能量装置340可以是能量源或能量传感器。LF显示模块300A可以包含充当能量源和/或能量传感器的各种类型的能量装置,以促进向用户投影高质量全息内容。其它源和/或传感器可以包含热传感器或源,红外传感器或源、图像传感器或源、生成声能的机械能换能器、反馈源等。多个其它传感器或源是可能的。此外,LF显示模块可以平铺使得LF显示模块可以形成组合件,所述组合件从大聚合无缝能量表面投影和感测多种类型的能量。
在LF显示模块300A的各个实施例中,无缝能量表面360可以具有各个表面部分,其中每个表面部分被配置成投影和/或发射特定类型的能量。例如,当无缝能量表面是双能量表面时,无缝能量表面360包含一个或多个投影电磁能量的表面部分以及一个或多个投影超声能量的其它表面部分。投影超声能量的表面部分可以定位于电磁波导元件之间的无缝能量表面360上,和/或与被设计成抑制电磁波导元件之间的光传输的结构处于同一位置。在无缝能量表面是双向能量表面的实例中,能量中继层320可以包含在无缝能量表面360处交织的两种类型的能量中继装置。在各个实施例中,无缝能量表面360可以被配置成使得表面的在任何特定波导元件370下方的部分是所有能量源、所有能量传感器或能量源和能量传感器的混合。
图3B是根据一个或多个实施例的包含交织的能量中继装置的LF显示模块300B的横截面视图。能量中继装置350A在连接到能量装置340A的能量中继第一表面345A与无缝能量表面360之间传输能量。能量中继器350B在连接到能量装置340B的能量中继第一表面345B与无缝能量表面360之间传输能量。两个中继装置在连接到无缝能量表面360的交织的能量中继装置352处交织。在此配置中,表面360含有能量装置340A和340B两者的交织的能量位置,所述两者可以是能量源或能量传感器。因此,LF显示模块300B可以被配置为用于投影多于一种类型的能量的双能量投影装置,或者被配置为用于同时投影一种类型的能量并且感测另一种类型的能量的双向能量装置。LF显示模块300B可以是LF显示模块110和/或LF显示模块210。在其它实施例中,LF显示模块300B可以是某个其它LF显示模块。
LF显示模块300B包含与图3A中的LF显示模块300A的组件类似地配置的许多组件。例如,在所展示的实施例中,LF显示模块300B包含能量装置层310、能量中继层320、无缝能量表面360和能量波导层330,包含至少与关于图3A所描述的功能相同的功能。另外,LF显示模块300B可以呈现和/或接收来自显示表面365的能量。值得注意的是,与图3A中的LF显示模块300A的组件相比,LF显示模块300B的组件可替代地连接和/或定向。LF显示模块300B的一些实施例具有与此处所描述的组件不同的组件。类似地,可以以与此处所描述的方式不同的方式在组件之间分配功能。图3B展示了可以被平铺以产生具有更大面积的双能量投影表面或双向能量表面的单个LF显示模块300B的设计。
在一个实施例中,LF显示模块300B是双向LF显示系统的LF显示模块。双向LF显示系统可以同时从显示表面365投影能量并感测能量。无缝能量表面360含有在无缝能量表面360上紧密交织的能量投影位置和能量感测位置两者。因此,在图3B的实例中,能量中继层320以与图3A的能量中继层不同的方式进行配置。为方便起见,LF显示模块300B的能量中继层在本文中将被称为“交织的能量中继层”。
交织的能量中继层320包含两个支脚:第一能量中继装置350A和第二能量中继装置350B。在图3B中,支脚中的每个支脚被展示为浅色阴影区域。支脚中的每个支脚可以由柔性中继材料制成,并形成有足够的长度以用于各种尺寸和形状的能量装置。在交织的能量中继层的一些区域中,两个支脚在接近无缝能量表面360时紧紧地交织在一起。在所展示的实例中,交织的能量中继装置352被展示为深色阴影区域。
当在无缝能量表面360处交织时,能量中继装置被配置成向/从不同能量装置中继能量。能量装置位于能量装置层310处。如所展示的,能量装置340A连接到能量中继装置350A,并且能量装置340B连接到能量中继装置350B。在各个实施例中,每个能量装置可以是能量源或能量传感器。
能量波导层330包含波导元件370,以将来自无缝能量表面360的能量波沿着投影的路径引导朝向一系列会聚点。在此实例中,在一系列会聚点处形成了全息对象380。值得注意的是,如所展示的,全息对象380处的能量的会聚发生在显示表面365的观看者侧(即,前侧)。然而,在其它实例中,能量的会聚可以在全息对象体中的任何地方,在显示表面365前面和显示表面365后面两者延伸。波导元件370可以同时将进入的能量引导到能量装置(例如,能量传感器),如下文所描述的。
在LF显示模块300B的一个示例实施例中,发射显示器用作能量源(例如,能量装置340A),并且成像传感器用作能量传感器(例如,能量装置340B)。以此方式,LF显示模块300B可以同时投影全息内容并且检测来自显示表面365前面的体的光。以此方式,LF显示模块300B的此实施例同时用作LF显示器和LF传感器。
在一个实施例中,LF显示模块300B被配置成同时将光场从显示表面上的投影位置投影到显示表面前面,并在投影位置处捕获来自显示表面前面的光场。在此实施例中,能量中继装置350A将无缝能量表面360处的定位在波导元件370下方的第一组位置连接到能量装置340A。在一个实例中,能量装置340A是具有源像素阵列的发射显示器。能量中继装置340B将无缝能量表面360处的定位在波导元件370下方的第二组位置连接到能量装置340B。在一个实例中,能量装置340B是具有传感器像素阵列的成像传感器。LF显示模块300B可以被配置成使得无缝能量表面365处的在特定波导元件370下方的位置是所有发射显示位置、所有成像传感器位置或这些位置的某种组合。在其它实施例中,双向能量表面可以投影和接收各种其它形式的能量。
在LF显示模块300B的另一个示例实施例中,LF显示模块被配置成投影两种不同类型的能量。例如,在一个实施例中,能量装置340A是被配置成发射电磁能量的发射显示器,并且能量装置340B是被配置成发射机械能量的超声换能器。因此,可以从无缝能量表面360处的各个位置投影光和声音两者。在此配置中,能量中继装置350A将能量装置340A连接到无缝能量表面360并中继电磁能量。能量中继装置被配置成具有使得所述能量中继装置高效传输电磁能量的特征(例如,变化的折射率)。能量中继装置350B将能量装置340B连接到无缝能量表面360并中继机械能量。能量中继装置350B被配置成具有用于超声能量的高效传输的特征(例如,具有不同声学阻抗的材料的分布)。在一些实施例中,机械能量可以从能量波导层330上的波导元件370之间的位置投影。投影机械能量的位置可以形成用于抑制光从一个电磁波导元件传输到另一个电磁波导元件的结构。在一个实例中,投影超声机械能量的在空间上分离的位置阵列可以被配置成在空中创建三维触觉形状和表面。表面可以与投影的全息对象(例如,全息对象380)重合。在一些实例中,阵列上的相位延迟和幅度变化可以帮助创建触觉形状。
在各个实施例中,具有交织的能量中继装置的LF显示模块300B可以包含多个能量装置层,其中每个能量装置层包含特定类型的能量装置。在这些实例中,能量中继层被配置成在无缝能量表面360与能量装置层310之间中继适当类型的能量。
平铺的LF显示模块
图4A是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的LF显示系统400的一部分的透视图。LF显示系统400包含被平铺以形成阵列410的多个LF显示模块。更明确地,阵列410中的小方块中的每个小方块表示平铺的LF显示模块412。LF显示模块412可以与LF显示模块300A或300B相同。阵列410可以覆盖例如房间的表面(例如,壁)的一些或全部。LF阵列可以覆盖其它表面,例如桌面、广告牌、圆形建筑等。
阵列410可以投影一个或多个全息对象。例如,在所展示的实施例中,阵列410投影全息对象420和全息对象422。LF显示模块412的平铺允许更大的观看体,并且允许对象被投影到距阵列410更远的距离。例如,在所展示的实施例中,观看体大致是阵列410前面和后面的整个区域,而不是LF显示模块412前面(和后面)的局部体。
在一些实施例中,LF显示系统400将全息对象420呈现给观看者430和观看者434。观看者430和观看者434接收全息对象420的不同视角。例如,向观看者430呈现全息对象420的直接视图,而向观看者434呈现全息对象420的更倾斜的视图。随着观看者430和/或观看者434的移动,向其呈现全息对象420的不同视角。这允许观看者通过相对于全息对象移动而在视觉上与全息对象进行交互。例如,在观看者430在全息对象420周围行走时,只要全息对象420保留在阵列410的全息对象体中,观看者430就看到全息对象420的不同侧面。因此,观看者430和观看者434可以同时在真实世界空间中看到全息对象420,就好像所述全息对象真实存在一样。另外,观看者430和观看者434不需要为了观看全息对象420而穿戴外部装置,因为全息对象420以与物理对象将是可见的几乎相同的方式对观看者可见。另外,此处,全息对象422被展示在阵列后面,因为阵列的观看体在阵列的表面后面延伸。以此方式,可以将全息对象422呈现给观看者430和/或观看者434。
在一些实施例中,LF显示系统400可以包含跟踪系统,所述跟踪系统跟踪观看者430和观看者434的定位。在一些实施例中,所跟踪的定位是观看者的定位。在其它实施例中,所跟踪的定位是观看者的眼睛的定位。眼睛的定位跟踪与注视跟踪不同,后者跟踪眼睛正在看的地方(例如,使用定向来确定注视位置)。观看者430的眼睛和观看者434的眼睛位于不同的位置。
在各种配置中,LF显示系统400可以包含一个或多个跟踪系统。例如,在所展示的图4A的实施例中,LF显示系统包含在阵列410外部的跟踪系统440。此处,跟踪系统可以是联接到阵列410的相机系统。关于图5A更详细地描述了外部跟踪系统。在其它示例实施例中,跟踪系统可以如本文所描述的并入到阵列410中。例如,包含在阵列410中的含有双向能量表面的一个或多个LF显示模块412的能量装置(例如,能量装置340)可以被配置成捕获阵列410前面的观看者的图像。在任何情况下,LF显示系统400的一个或多个跟踪系统确定关于观看通过阵列410呈现的全息内容的观看者(例如,观看者430和/或观看者434)的跟踪信息。
跟踪信息描述了观看者的定位或观看者的一部分(例如,观看者的一只或两只眼睛,或观看者的肢体)的定位在空间(例如,相对于跟踪系统)中的定位。跟踪系统可以使用任何数量的深度确定技术来确定跟踪信息。深度确定技术可以包含例如结构光、飞行时间、立体成像、某个其它深度确定技术或其某种组合。跟踪系统可以包含被配置成确定跟踪信息的各种系统。例如,跟踪系统可以包含一个或多个红外源(例如,结构化光源)、可以捕获红外图像的一个或多个成像传感器(例如,红-蓝-绿-红外相机)以及执行跟踪算法的处理器。跟踪系统可以使用深度估计技术来确定观看者的定位。在一些实施例中,LF显示系统400基于如本文所描述的观看者430和/或观看者434的跟踪定位、运动或手势而生成全息对象。例如,LF显示系统400可以响应于观看者进入阵列410的阈值距离和/或特定定位内而生成全息对象。
LF显示系统400可以部分地基于跟踪信息来呈现针对每个观看者定制的一个或多个全息对象。例如,可以向观看者430呈现全息对象420,而不是全息对象422。类似地,可以向观看者434呈现全息对象422,而不是全息对象420。例如,LF显示系统400跟踪观看者430和观看者434中的每个观看者的定位。LF显示系统400基于观看者相对于全息对象要被呈现的地方的定位来确定对所述观看者应当可见的全息对象的视角。LF显示系统400选择性地投影来自与所确定的视角相对应的特定像素的光。因此,观看者434和观看者430可以同时具有可能完全不同的体验。换句话说,LF显示系统400可以将全息内容呈现给观看体的观看子体(即,类似于图2B中所示的观看子体290A、290B、290C和290D)。例如,如所展示的,因为LF显示系统400可以跟踪观看者430的定位,所以LF显示系统400可以向包围观看者430的观看子体呈现空间内容(例如,全息对象420),并且向包围观看者434的观看子体呈现野生动物园内容(例如,全息对象422)。相比之下,常规系统将必须使用单独的耳机来提供类似的体验。
在一些实施例中,LF显示系统400可以包含一个或多个感觉反馈系统。感觉反馈系统提供增强全息对象420和422的其它感觉刺激(例如,触觉、音频或气味)。例如,在图4A的所说明实施例中,LF显示系统400包含在阵列410外部的感觉反馈系统442。在一个实例中,感觉反馈系统442可以是联接到阵列410的静电扬声器。关于图5A更详细地描述了外部感觉反馈系统。在其它示例实施例中,如本文所描述的,可以将感觉反馈系统并入到阵列410中。例如,包含在阵列410中的LF显示模块412的能量装置(例如,图3B中的能量装置340A)可以被配置成将超声能量投影到阵列前面的观看者和/或从阵列前面的观看者接收成像信息。在任何情况下,感觉反馈系统向观看通过阵列410呈现的全息内容(例如,全息对象420和/或全息对象422)的观看者(例如,观看者430和/或观看者434)呈现感觉内容和/或从所述观看者接收感觉内容。
LF显示系统400可以包含感觉反馈系统442,所述感觉反馈系统包含在阵列外部的一个或多个声学投影装置。可替代地或另外地,LF显示系统400可以包含一个或多个集成到阵列410中的声学投影装置,如本文所描述的。声学投影装置可以由被配置成投影体触觉表面的超声源阵列组成。在一些实施例中,对于全息对象的一个或多个表面,如果观看者的一部分在一个或多个表面的阈值距离内,则触觉表面可以与全息对象重合(例如,在全息对象420的表面处)。体触觉感觉可以允许用户触摸和感觉全息对象的表面。多个声学投影装置还可以投影可听压力波,所述可听压力波向观看者提供音频内容(例如,沉浸式音频)。因此,超声压力波和/或可听压力波可以起到补充全息对象的作用。
在各个实施例中,LF显示系统400可以部分地基于观看者的所跟踪的定位来提供其它感觉刺激。例如,图4A中所说明的全息对象422是狮子,并且LF显示系统400可以使全息对象422在视觉上(即,全息对象422似乎在咆哮)和听觉上(即,一个或多个声学投影装置投影压力波)均咆哮,使观看者430将其感知为全息对象422发出的狮子的咆哮。
应注意,在所说明的配置中,可以以类似于图2中的LF显示系统200的观看体285的方式限制全息观看体。这可以限制观看者将用单个壁显示单元经历的感知的沉浸感。解决此问题的一个方式是使用沿着多个侧面平铺的多个LF显示模块,如下文相对于图4B到4F所描述。
图4B是根据一个或多个实施例的在多面无缝表面环境中的LF显示系统402的一部分的透视图。LF显示系统402与LF显示系统400基本上类似,除了将多个LF显示模块平铺以创建多面无缝表面环境之外。更具体地,将LF显示模块平铺以形成作为六面聚合无缝表面环境的阵列。在图4B中,多个LF显示模块覆盖房间的所有壁、天花板和地板。在其它实施例中,多个LF显示模块可以覆盖壁、地板、天花板或其某种组合中的一些但不是全部。在其它实施例中,多个LF显示模块被平铺以形成某个其它聚合无缝表面。例如,壁可以是弯曲的,使得形成圆柱形的聚合能量环境。此外,如下文关于图6到9所描述,在一些实施例中,LF显示模块可平铺成在电影院(例如,壁等)中形成表面。
LF显示系统402可以投影一个或多个全息对象。例如,在所展示的实施例中,LF显示系统402将全息对象420投影到由六面聚合无缝表面环境包围的区域中。在此实例中,LF显示系统的观看体也含在六面聚合无缝表面环境内。注意,在所展示的配置中,观看者434可以定位在全息对象420与LF显示模块414之间,所述LF显示模块投影用于形成全息对象420的能量(例如,光和/或压力波)。因此,观看者434的定位可以防止观看者430感知由来自LF显示模块414的能量形成的全息对象420。然而,在所展示的配置中,存在至少一个其它LF显示模块,例如,LF显示模块416,所述LF显示模块不受阻碍(例如,被观看者434)并且可以投影能量以形成全息对象420并且被观看者430观察到。以此方式,在空间中被观看者遮挡可能导致全息投影的一些部分消失,但是这种影响比如果体的仅一侧填充有全息显示面板的影响小得多。全息对象422被展示为六面聚合无缝表面环境的壁的“外部”,因为全息对象体在聚合表面后面延伸。因此,观看者430和/或观看者434可以将全息对象422感知为其可以在整个中移动的经包围的六面环境的“外部”。
如上文参考图4A所描述的,在一些实施例中,LF显示系统402主动跟踪观看者的定位并且可以基于所跟踪的定位动态地指示不同的LF显示模块呈现全息内容。因此,多面配置可以提供更稳健的环境(例如,相对于图4A),以提供全息对象,其中不受约束的观看者可以自由地在由多面无缝表面环境包围的整个区域中移动。
值得注意的是,各种LF显示系统可以具有不同的配置。此外,每种配置可以具有表面的特定定向,所述表面聚合形成无缝显示表面(“聚合表面”)。换言之,可以将LF显示系统的LF显示模块平铺以形成各种聚合表面。例如,在图4B中,LF显示系统402包含平铺以形成近似于房间的壁的六面聚合表面的LF显示模块。在一些其它实例中,聚合表面可以仅出现在表面的一部分(例如,壁的一半)上,而不是整个表面(例如,整个壁)上。本文描述了一些实例。
在一些配置中,LF显示系统的聚合表面可以包含聚合表面,所述聚合表面被配置成朝向局部观看体投影能量。将能量投影到局部观看体允许通过例如以下方式的更高质量的观看体验:增加特定观看体中的投影的能量的密度,增加观看者在所述观看体中的FOV,并使观看体更接近显示表面。
例如,图4C展示了具有呈“翼状”配置的聚合表面的LF显示系统450A的俯视图。在此实例中,LF显示系统450A定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。第一侧壁456、第二侧壁458、后壁454、地板和天花板都正交。LF显示系统450A包含平铺以形成覆盖前壁的聚合表面460的LF显示模块。前壁452以及因此聚合表面460包含三个部分:(i)第一部分462,所述第一部分与后壁454(即,中心表面)大致上平行,(ii)第二部分464,所述第二部分将第一部分462连接到第一侧壁456并成一定角度放置以朝向房间的中心(即,第一侧表面)投影能量,以及(iii)第三部分466,所述第三部分将第一部分462连接到第二侧壁458并成一定角度放置以朝向房间的中心(即,第二侧表面)投影能量。第一部分是房间中的竖直平面,并具有水平轴和竖直轴。第二部分和第三部分沿水平轴朝向房间的中心成角度。
在此实例中,LF显示系统450A的观看体468A位于房间的中心,并且被聚合表面460的三个部分部分地包围。至少部分包围观看者的聚合表面(“包围表面”)增加了观看者的沉浸式体验。
为了说明,考虑例如仅具有中心表面的聚合表面。参考图2A,如上文所描述的,从显示表面的任一端投影的射线创建理想的全息体和理想的观看体。现在考虑,例如,中心表面是否包含两个朝向观看者成角度的侧表面。在这种情况下,射线256和射线257将从中心表面的法线以更大的角度投影。因此,观看体的视场将增加。类似地,全息观看体将更靠近显示表面。另外,由于两个第二部分和第三部分倾斜得更靠近观看体,所以从显示表面以固定距离投影的全息对象更靠近所述观看体。
为简化起见,仅具有中心表面的显示表面具有平面视场、(中心)显示表面与观看体之间的平面阈值间隔以及全息对象与观看体之间的平面接近度。添加一个或多个朝向观看者成角度的侧表面,增加了相对于平面视场的视场,相对于平面间隔,减小了显示表面与观看体之间的间隔,并相对于平面接近度,增加了显示表面与全息对象之间的接近度。使侧表面朝向观看者进一步成角度进一步增加了视场,减小了间隔并增加了接近度。换句话说,侧表面的成角度的放置增加了观看者的沉浸式体验。
另外,如下文关于图6所描述,偏转光学件可用于针对LF显示参数(例如,尺寸和FOV)优化观看体的大小和定位。
返回到图4D,在类似实例中,图4D展示了具有呈“倾斜”配置的聚合表面的LF显示系统450B的侧视图。在此实例中,LF显示系统450B定位在具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。第一侧壁、第二侧壁、后壁454、地板474和天花板472都正交。LF显示系统450B包含平铺以形成覆盖前壁的聚合表面460的LF显示模块。前壁452以及因此聚合表面460包含三个部分:(i)第一部分462,所述第一部分与后壁454(即,中心表面)大致上平行,(ii)第二部分464,所述第二部分将第一部分462连接到天花板472并成一定角度以朝向房间的中心(即,第一侧表面)投影能量,以及(iii)第三部分464,所述第三部分将第一部分462连接到地板474并成角度以朝向房间的中心(即,第二侧表面)投影能量。第一部分是房间中的竖直平面,并具有水平轴和竖直轴。第二部分和第三部分沿竖直轴朝向房间的中心成角度。
在此实例中,LF显示系统450B的观看体468B位于房间的中心,并且被聚合表面460的三个部分部分地包围。与图4C所示的配置类似,两个侧面部分(例如,第二部分464和第三部分466)成一定角度以包围观看者并形成包围表面。从全息观看体468B中的任何观看者的视角来看,包围表面增加了观看FOV。另外,包围表面允许观看体468B更靠近显示器的表面,使得投影的对象显得更靠近。换句话说,侧表面的成角度放置增加了视场,减小了间隔,并增加了聚合表面的接近度,由此增加了观看者的沉浸式体验。此外,如下文将讨论,偏转光学件可以用于优化观看体468B的大小和定位。
与如果第三部分466没有倾斜相比,聚合表面460的侧面部分的倾斜配置使得全息内容能够被呈现为更靠近观看体468B。例如,与如果使用具有平坦的前壁的LF显示系统相比,从呈倾斜配置的LF显示系统呈现的角色的下肢(例如,腿)可能看起来更靠近并且更真实。
另外,LF显示系统的配置及其所处的环境可以通知观看体和观看子体的形状和位置。
图4E例如展示了具有在房间的前壁452上的聚合表面460的LF显示系统450C的俯视图。在此实例中,LF显示系统450D定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。
LF显示系统450C从聚合表面460投影各种射线。光线从显示表面上的每个定位投影到以观看体为中心的角度范围中。从聚合表面460的左侧投影的射线具有水平角度范围481,从聚合表面的右侧投影的射线具有水平角度范围482,并且从聚合表面460的中心投影的射线具有水平角度范围483。在这些点之间,所投影射线可采取如下文关于图6所描述的角度范围的中间值。以此方式在跨越显示表面的投影射线中具有梯度偏转角创建了观看体468C。此外,此配置避免了在将射线投影到侧壁456和458中时浪费显示器的分辨率。
图4F展示了具有在房间的前壁452上的聚合表面460的LF显示系统450D的侧视图。在此实例中,LF显示系统450E定位在具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。在此实例中,地板是分层的使得每一层都从前壁向后壁逐步移动上升。此处,地板的每一层包含观看子体(例如,观看子体470A和470B)。分层地板允许不重叠的观看子体。换句话说,每个观看子体具有从观看子体到不通过另一观看子体的聚合表面460的视线。换句话说,这种定向产生了“体育场就座”效果,其中各层之间的竖直偏移使每一层都可以“查看”其它层的观看子体。包含不重叠的观看子体的LF显示系统可以提供比具有确实重叠的观看体的LF显示系统更高的观看体验。例如,在图4F所示的配置中,可以向观看子体470A和470B中的观众投影不同的全息内容。
LF显示系统的控制
图5A是根据一个或多个实施例的LF显示系统500的框图。LF显示系统500包括LF显示组合件510和控制器520。LF显示组合件510包含投影光场的一个或多个LF显示模块512。LF显示模块512可以包含源/传感器系统514,所述源/传感器系统包含投影和/或感测其它类型的能量的一个或多个集成能量源和/或一个或多个能量传感器。控制器520包含数据存储器522、网络接口524和LF处理引擎530。控制器520还可以包含跟踪模块526和观看者概况分析模块528。在一些实施例中,LF显示系统500还包含感觉反馈系统570和跟踪系统580。在图1、2、3和4的背景中描述的LF显示系统是LF显示系统500的实施例。在其它实施例中,LF显示系统500包括比本文所描述的模块另外的或更少的模块。类似地,可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。LF显示系统500的应用也将在下文关于图6到10详细地讨论。
LF显示组合件510在全息对象体中提供全息内容,所述全息对象体对于定位在观看体内的观看者可以是可见的。LF显示组合件510可以通过执行从控制器520接收的显示指令来提供全息内容。全息内容可以包含投影在LF显示组合件510的聚合表面前面、LF显示组合件510的聚集表面后面或其某种组合的一个或多个全息对象。下文更详细地描述用控制器520生成显示指令。
LF显示组合件510使用包含在LF显示组合件510中的一个或多个LF显示模块(例如,LF显示模块110、LF显示系统200和LF显示模块300中的任一个)来提供全息内容。为了方便起见,一个或多个LF显示模块在本文中可以被描述为LF显示模块512。LF显示模块512可以被平铺以形成LF显示组合件510。LF显示模块512可以被结构化为各种无缝表面环境(例如,单面、多面、电影院的壁、弯曲的表面等)。换句话说,平铺的LF显示模块形成聚合表面。如先前所描述的,LF显示模块512包含呈现全息内容的能量装置层(例如,能量装置层220)和能量波导层(例如,能量波导层240)。LF显示模块512还可以包含能量中继层(例如,能量中继层230),当呈现全息内容时,所述能量中继层在能量装置层与能量波导层之间传递能量。
LF显示模块512还可以包含其它集成系统,所述其它集成系统被配置成用于如先前所描述的能量投影和/或能量感测。例如,光场显示模块512可以包含被配置成投影和/或感测能量的任何数量的能量装置(例如,能量装置340)。为了方便起见,本文可以将LF显示模块512的集成能量投影系统和集成能量感测系统聚合描述为源/传感器系统514。源/传感器系统514被集成在LF显示模块512内,使得源/传感器系统514与LF显示模块512共享相同的无缝能量表面。换句话说,LF显示组合件510的聚合表面包含LF显示模块512和源/传感器模块514两者的功能。换句话说,包含具有源/传感器系统514的LF显示模块512的LF组合件510可以在当投影光场的同时投影能量和/或感测能量。例如,LF显示组合件510可以包含LF显示模块512和源/传感器系统514,所述源/传感器系统被配置为如先前所描述的双能量表面或双向能量表面。
在一些实施例中,LF显示系统500使用感觉反馈系统570用其它感觉内容(例如,协调的触摸、音频或气味)增强所生成的全息内容。感觉反馈系统570可以通过执行从控制器520接收的显示指令来增强全息内容的投影。通常,感觉反馈系统570包含在LF显示组合件510外部的任何数量的感觉反馈装置(例如,感觉反馈系统442)。一些实例感觉反馈装置可以包含协调的声学投影和接收装置、香气投影装置、温度调整装置、力致动装置、压力传感器、换能器等。在一些情况下,感觉反馈系统570可以具有与光场显示组合件510类似的功能性,且反之亦然。例如,感觉反馈系统570和光场显示组合件510两者都可以被配置成生成声场。作为另一个实例,感觉反馈系统570可以被配置成在没有光场显示器510组合件的情况下生成触觉表面。
为了说明,在光场显示系统500的示例实施例中,感觉反馈系统570可以包含一个或多个声学投影装置。一个或多个声学投影装置被配置成在执行从控制器520接收的显示指令时生成与全息内容互补的一个或多个压力波。所生成的压力波可以是例如可听的(用于声音)、超声的(用于触摸)或其某种组合。类似地,感觉反馈系统570可以包含香气投影装置。香气投影装置可以被配置成当执行从控制器接收的显示指令时向目标区域中的一些或全部提供香味。香气装置可以连接到空气循环系统(例如,管道、风扇或通风口)中,以协调目标区域内的空气流动。此外,感觉反馈系统570可以包含温度调整装置。温度调整装置被配置成当执行从控制器520接收的显示指令时增加或减小目标区域中的一些或全部中的温度。
在一些实施例中,感觉反馈系统570被配置成从LF显示系统500的观看者接收输入。在这种情况下,感觉反馈系统570包含用于从观看者接收输入的各种感觉反馈装置。传感器反馈装置可以包含例如声学接收装置(例如,麦克风)、压力传感器、操纵杆、运动检测器、换能器等的装置。感觉反馈系统可以将检测到的输入传输到控制器520以协调生成全息内容和/或感觉反馈。
为了说明,在光场显示组合件的实例实施例中,感觉反馈系统570包含麦克风。麦克风被配置成记录由一个或多个观看者产生的音频(例如,喘气、尖叫、笑声等)。感觉反馈系统570将所记录的音频作为观看者输入提供给控制器520。控制器520可以使用观看者输入来生成全息内容。类似地,感觉反馈系统570可以包含压力传感器。压力传感器被配置成测量由观看者施加到压力传感器的力。感觉反馈系统570可以将所测量的力作为观看者输入提供给控制器520。
在一些实施例中,LF显示系统500包含跟踪系统580。跟踪系统580包含配置成确定目标区域中的观看者的定位、移动和/或特性的任何数目的跟踪装置。通常,跟踪装置在LF显示组合件510的外部。一些示例跟踪装置包含相机组合件(“相机”)、深度传感器、结构化灯、LIDAR系统、卡片扫描系统或可以跟踪目标区域内的观看者的任何其它跟踪装置。
跟踪系统580可以包含用光照亮目标区域中的一些或全部目标区域的一个或多个能量源。然而,在一些情况下,当呈现全息内容时,目标区域被来自LF显示组合件510的自然光和/或环境光照亮。当执行从控制器520接收的指令时,能量源投影光。光可以是例如结构化光图案、光脉冲(例如,IR闪光灯)或其某种组合。跟踪系统可以投影以下中的光:可见波段(约380nm到750nm)、红外(IR)波段(约750nm到1700nm)、紫外波段(10nm到380nm)、电磁光谱的某个其它部分或其某种组合。源可以包含例如发光二极管(LED)、微型LED、激光二极管、TOF深度传感器、可调激光器等。
当执行从控制器520接收的指令时,跟踪系统580可以调整一个或多个发射参数。发射参数是影响光如何从跟踪系统580的源投影的参数。发射参数可以包含例如亮度、脉冲率(包含连续照明)、波长、脉冲长度、影响光如何从源组合件投影的某个其它参数或其某种组合。在一个实施例中,源在飞行时间操作中投影光脉冲。
跟踪系统580的相机捕获从目标区域反射的光(例如,结构化光图案)的图像。当执行从控制器520接收的跟踪指令时,相机捕获图像。如先前所描述的,光可以由跟踪系统580的源投影。相机可以包含一个或多个相机。换句话说,相机可以是例如光二极管的阵列(1D或2D)、CCD传感器、CMOS传感器、检测由跟踪系统580投影的光中的一些或全部光的某个其它装置或其某种组合。在一个实施例中,跟踪系统580可以含有在LF显示组合件510外部的光场相机。在其它实施例中,相机被包含作为包含在LF显示组合件510中的LF显示源/传感器模块514的一部分。例如,如先前所描述的,如果光场模块512的能量中继元件是在能量装置层220处交织发射显示器和成像传感器两者的双向能量层,则LF显示组合件510可以被配置成同时投影光场并记录来自显示器前面观看区域的成像信息。在一个实施例中,从双向能量表面捕获的图像形成光场相机。相机将捕获的图像提供给控制器520。
当执行从控制器520接收的跟踪指令时,跟踪系统580的相机可以调整一个或多个成像参数。成像参数是影响相机如何捕获图像的参数。成像参数可以包含例如帧速率、光圈、增益、曝光长度、帧定时、滚动快门或全局快门捕获模式、影响相机如何捕获图像的某个其它参数或其某种组合。
控制器520控制LF显示组合件510和LF显示系统500的任何其它组件。控制器520包括数据存储522、网络接口524、跟踪模块526、观看者概况分析模块528和光场处理引擎530。在其它实施例中,控制器520包括比本文所描述的模块另外的或更少的模块。类似地,可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。例如,跟踪模块526可以是LF显示组合件510或跟踪系统580的一部分。
数据存储522是存储用于LF显示系统500的信息的存储器。所存储的信息可以包含显示指令、跟踪指令、发射参数、成像参数、目标区域的虚拟模型、跟踪信息、由相机捕获的图像、一个或多个观看者简档、用于光场显示组合件510的校准数据、LF显示系统510的配置数据(包含LF模块512的分辨率和定向)、所期望的观看体几何形状、用于包含3D模型的图形创建的内容、场景和环境、材质和纹理以及LF显示系统500可以使用的其它信息或其某种组合。数据存储装置522是存储器,例如只读存储器(ROM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM),或其某一组合。
网络接口524允许光场显示系统通过网络与其它系统或环境进行通信。在一个实例中,LF显示系统500通过网络接口524从远程光场显示系统接收全息内容。在另一个实例中,LF显示系统500使用网络接口524将全息内容传输到远程数据存储。
跟踪模块526跟踪观看者观看由LF显示系统500呈现的内容。为此,跟踪模块526生成控制跟踪系统580的一个或多个源和/或一个或多个相机的操作的跟踪指令,并将跟踪指令提供给跟踪系统580。跟踪系统580执行跟踪指令,并将跟踪输入提供给跟踪模块526。
跟踪模块526可以确定目标区域内的一个或多个观看者的定位(例如,坐在电影院的座椅中)。所确定的定位可以相对于例如某个参考点(例如,显示表面)。在其它实施例中,所确定的定位可以在目标区域的虚拟模型内。所跟踪定位可以是例如观看者的所跟踪定位和/或观看者的一部分的所跟踪定位(例如,眼睛位置、手位置等)。跟踪模块526使用来自跟踪系统580的相机的一个或多个捕获的图像来确定定位。跟踪系统580的相机可以分布在LF显示系统500周围,并且可以捕获立体图像,从而允许跟踪模块526被动地跟踪观看者。在其它实施例中,跟踪模块526主动跟踪观看者。换句话说,跟踪系统580照亮目标区域的某个部分,对目标区域进行成像,并且跟踪模块526使用飞行时间和/或结构化光深度确定技术来确定定位。跟踪模块526使用所确定的定位来生成跟踪信息。
跟踪模块526还可以从LF显示系统500的观看者接收跟踪信息作为输入。跟踪信息可以包含与由LF显示系统500向观看者提供的各种输入选项相对应的身体移动。例如,跟踪模块526可以跟踪观看者的身体移动并且将任何各种移动作为输入分配到LF处理引擎530。跟踪模块526可以将跟踪信息提供给数据存储522、LF处理引擎530、观看者概况分析模块528、LF显示系统500的任何其它组件或其某种组合。
为了向跟踪模块526提供背景,考虑显示电影的LF显示系统500的实例实施例,在所述电影中影片中的角色成功击败敌方人物。响应于场景,观看者在空中挥舞拳头以显示其兴奋。跟踪系统580可以记录观看者的手的移动,并将记录传输到跟踪模块526。跟踪模块526在记录中跟踪观看者的手的运动,并将输入发送到LF处理引擎530。如下文所描述,观看者概况分析模块528确定图像中的信息指示观看者的手的运动与肯定响应相关联。因此,如果识别出足够的观看者具有肯定响应,则LF处理引擎530生成适当的全息内容以庆祝英雄人物击败敌方人物。例如,LF处理引擎530可以在场景中投影纸屑。
LF显示系统500包含配置成标识观看者并对观看者进行概况分析的观看者概况分析模块528。观看者概况分析模块528生成观看由LF显示系统500显示的全息内容的一个观看者(或多个观看者)的简档。观看者概况分析模块528部分地基于观看者输入和所监测的观看者行为、动作和反应来生成观看者简档。观看者概况分析模块528可以访问从跟踪系统580获得的信息(例如,所记录的图像、视频、声音等)并处理所述信息以确定各种信息。在各个实例中,观看者概况分析模块528可以使用任何数量的机器视力或机器听力算法来确定观看者行为、动作和反应。监测的观看者行为可以包含例如微笑、欢呼、鼓掌、大笑、惊吓、尖叫、兴奋程度、后退、姿势的其它变化,或观看者的移动等。
更一般地,观看者简档可以包含所接收和/或所确定的关于观看来自LF显示系统的全息内容的观看者的任何信息。例如,每个观看者简档可以记录所述观看者对由LF显示系统500显示的内容的动作或响应。下文提供了可以包含在观看者简档中的一些实例信息。
在一些实施例中,观看者简档可描述观看者关于所显示角色、演员、场景等的响应。例如,观看者简档可指示观看者通常对显示25与35岁之间的英俊男性演员的电影具有肯定响应。
在一些实施例中,观看者简档可以指示观看者在观看电影时的特性。例如,电影院中的观看者穿着显示大学标志的运动衫。在这种情况下,观看者简档可以指示观看者正穿着运动衫,并且可能更喜欢与运动衫上的大学标志相关联的全息内容。更广泛地,可以在观看者简档中指示的观看者特征可以包含例如年龄、性别、种族、服装、场所中的观看位置等。
在一些实施例中,观看者简档可以指示观看者关于所要电影和/或电影院特性的偏好。例如,观看者简档可以指示观看者仅喜欢观看适合其家人中的每个人的年龄的全息内容。在另一个实例中,观看者简档可以指示全息对象体以显示全息内容(例如,在壁上),并且指示全息对象体不显示全息内容(例如,在其头部上方)。观看者简档还可以指示观看者更喜欢在其附近呈现触觉界面,或者更喜欢避开所述触觉界面。
在另一实例中,观看者简档指示特定观看者观看的电影的历史。例如,观看者概况分析模块528确定观看者或观看者群组先前已观看过电影。因此,LF显示系统500可以显示与观看者先前一次观看电影时不同的全息内容。作为一个实例,包含全息内容的电影可以具有三个不同的结尾,并且LF显示系统500可以基于出席的观看者来显示不同的结尾。在另一个实例中,可以在同一电影院中将三个结尾中的每个结尾呈现给不同的观看体。
在一些实施例中,观看者简档也可以描述一组观看者而不是特定观看者的特性和偏好。例如,观看者概况分析模块528可为在电影院中观看电影的观众生成观看者简档。在一个实例中,观看者概况分析模块528为观看少年爱上吸血鬼的电影的观看者创建观看者简档。简档指示86.3%的观看者是介于20与35岁之间的女性,并且对电影具有肯定响应。简档还指示剩余23.7%的观看者为介于20与35岁之间的男性,且对电影具有否定的响应。先前所描述的信息和特性中的任一项都可以应用于一组观看者。
观看者概况分析模块528还可以从一个或多个第三方系统访问与特定观看者(或多个观看者)相关联的简档,以建立观看者简档。例如,观看者使用链接到所述观看者的社交媒体账户的第三方供应商购买了电影的票券。因此,观看者的票券链接到他的社交媒体账户。当观看者使用其票券进入演出场所时,观看者概况分析模块528可以访问来自其社交媒体账户的信息以建立(或增强)观看者简档。
在一些实施例中,数据存储522包含存储由观看者概况分析模块528生成、更新和/或维护的观看者简档的观看者简档存储。可以由观看者概况分析模块528随时在数据存储中更新观看者观看者简档。例如,在一个实施例中,当特定观看者观看由LF显示系统500提供的全息内容时,观看者简档存储在其观看者简档中接收并存储关于特定观看者的信息。在此实例中,观看者概况分析模块528包含面部识别算法,所述面部识别算法可以识别观看者并在其观看呈现的全息内容时肯定地标识所述观看者。为了说明,在观看者进入LF显示系统500的目标区域时,跟踪系统580获得观看者的图像。观看者概况分析模块528输入所捕获的图像,并使用面部识别算法来标识观看者的面部。所标识的面部与简档存储中的观看者简档相关联,并且如此,所获得的关于所述观看者的所有输入信息可以存储在其简档中。观看者概况分析模块还可以利用卡标识扫描仪、语音标识符、射频标识(RFID)芯片扫描仪、条形码扫描仪等来肯定地标识观看者。
在观看者概况分析模块528可以肯定地标识观看者的实施例中,观看者概况分析模块528可以确定每个观看者对LF显示系统500的每次访问。观看者概况分析模块528然后可以将每次访问的时间和日期存储在每个观看者的观看者简档中。类似地,观看者概况分析模块528可以在每次其出现时存储从观看者接收的来自感觉反馈系统570、跟踪系统580和/或LF显示组合件510的任何组合的输入。观看者简档系统528可以另外从控制器520的其它模块或组件接收关于观看者的其它信息,所述信息随后可以与观看者简档一起存储。控制器520的其它组件然后也可以访问所存储的观看者简档,以确定提供给所述观看者的后续内容。
LF处理引擎530生成包括光场数据以及由LF显示系统500支持的所有感觉域的数据的全息内容。例如,LF处理引擎530可以以光栅化格式(“光栅化数据”)生成4D坐标,所述4D坐标当由LF显示组合件510执行时使LF显示组合件510呈现全息内容。LF处理引擎530可以从数据存储522访问光栅化数据。另外,LF处理引擎530可以从向量化数据集构建光栅化数据。下文描述向量化数据。LF处理引擎530还可以生成提供增强全息对象的感觉内容所需的感觉指令。如上文所描述,当由LF显示系统500执行时,感觉指令可以生成由LF显示系统500支持的触觉表面、声场和其它形式的感觉能量。LF处理引擎530可以从数据存储装置522访问感觉指令,从向量化数据集构建感觉指令。4D坐标和感觉数据聚合地将全息内容表示为可由LF显示系统执行以生成全息和感觉内容的显示指令。更一般地,全息内容可以采取具有以下的CG内容的形式:理想的光场坐标、实景动作内容、光栅化数据、矢量化数据、由一组中继器传输的电磁能量、发送给一组能量装置的指令、一个或多个能量表面上的能量位置、从显示表面投影的一组能量传播路径、对观看者或观众可见的全息对象以及许多其它类似形式。
描述通过LF显示系统500中的各种能量源的能量流的光栅化数据量非常大。尽管当从数据存储装置522访问时可以将光栅化数据显示在LF显示系统500上,但是不能有效地传输、接收(例如,通过网络接口524)并随后在LF显示系统500上显示光栅化数据。例如,以表示由LF显示系统500进行的全息投影的短片的光栅化数据为例。在此实例中,LF显示系统500包含含有若干十亿像素的显示器,并且光栅化数据含有用于显示器桑的每个像素位置的信息。光栅化数据的对应大小是巨大的(例如,每秒数千兆字节的电影显示时间),并且对于通过网络接口524在商业网络上的有效传递来说是不可管理的。对于包含全息内容的实时流式传输的应用,可以放大有效传递问题。当使用来自感觉反馈系统570或跟踪模块526的输入需要交互式体验时,产生仅在数据存储装置522上存储光栅化数据的额外问题。为了实现交互式体验,可以响应于感觉或跟踪输入实时修改由LF处理引擎530生成的光场内容。换句话说,在一些情况下,无法简单地从数据存储装置522读取LF内容。
因此,在一些配置中,可以用向量化数据格式(“向量化数据”)将表示由LF显示系统500显示的全息内容的数据传递到LF处理引擎530。向量化数据可能比光栅化数据小几个数量级。此外,向量化数据提供高图像质量,同时具有实现数据的有效共享的数据集大小。例如,向量化数据可以是源自更密集数据集的稀疏数据集。因此,基于如何从密集光栅化数据采样稀疏向量化数据,向量化数据可以在图像质量与数据传输大小之间具有可调整平衡。用于生成向量化数据的可调采样实现在给定网络速度下优化图像质量。因此,向量化数据实现全息内容通过网络接口524的有效传输。向量化数据还使全息内容能够通过商业网络实时流式传输。
总而言之,LF处理引擎530可以生成源自从数据存储装置522访问的光栅化数据、从数据存储装置522访问的向量化数据,或通过网络接口524接收的向量化数据的全息内容。在各种配置中,向量化数据可以在数据传输之前进行编码并且在由LF控制器520接收之后进行解码。在一些实例中,对向量化数据进行编码以用于与数据压缩相关的附加数据安全和性能改进。例如,通过网络接口接收的向量化数据可以是从全息流媒体应用接收的编码向量化数据。在一些实例中,向量化数据可能需要解码器、LF处理引擎530,或者两者来访问在向量化数据中编码的信息内容。编码器和/或解码器系统可供消费者使用或授权给第三方供应商。
向量化数据含有LF显示系统500以可支持交互式体验的方式支持的每个感觉域的所有信息。例如,用于交互式全息体验的向量化数据可包含可以为LF显示系统500所支持的每个感觉域提供准确物理效果的任何向量化特征。向量化特征可以包含可以进行合成地编程、捕获、计算评估等的任何特征。LF处理引擎530可以被配置成将向量化数据中的向量化特征转换成光栅化数据。LF处理引擎530然后可以使用LF显示组合件510投影从向量化数据转换的全息内容。在各种配置中,向量化特征可以包含:一个或多个红/绿/蓝/α通道(RGBA)+深度图像;具有或不具有不同分辨率的深度信息的多个视图图像,所述视图图像可以包含一个高分辨率中心图像以及较低分辨率的其它视图;例如反照率和反射率的材料特征;表面法线;其它光学效应;表面标识;几何对象坐标;虚拟相机坐标;显示平面位置;照明坐标;表面的触觉刚度;触觉延展性;触觉强度;声场的振幅和坐标;环境条件;与用于纹理或温度、音频的机械感受器相关的体感能量向量;以及任何其它感觉域特征。许多其它向量化特征也是可能的。
LF显示系统500还可以生成交互式观看体验。也就是说,全息内容可以响应于输入刺激,所述输入刺激含有关于观看者位置、手势、交互、与全息内容的交互的信息,或源自观看者概况分析模块528和/或跟踪模块526的其它信息。例如,在实施例中,LF处理系统500使用通过网络接口524接收到的实时性能管理的向量化数据创建交互式观看体验。在另一实例中,如果全息对象需要响应于观看者交互而立即在特定方向上移动,则LF处理引擎530可以更新场景的渲染,因此全息对象在所述所需方向上移动。这可能需要LF处理引擎530使用向量化数据集来基于3D图形场景实时渲染光场,所述3D图形场景具有适当对象放置和移动、碰撞检测、遮挡、颜色、阴影、照明等,从而正确地对观看者交互作出响应。LF处理引擎530将向量化数据转换成光栅化数据以由LF显示组合件510呈现。
光栅化数据包含表示实时性能的全息内容指令和感觉指令(显示指令)。LF显示组合件510通过执行显示指令同时投影实时性能的全息和感觉内容。LF显示系统500通过跟踪模块526和观看者概况分析模块528监测与所呈现的实时性能的观看者交互(例如,声音响应、触摸等)。响应于观看者交互,LF处理引擎可以通过生成另外的全息和/或感觉内容以显示给观看者来创建交互式体验。
为了说明,考虑包含LF处理引擎530的LF显示系统500的实例实施例,所述LF处理引擎生成表示在电影期间从电影院的天花板掉落的气球的多个全息对象。观看者可以移动以触摸表示气球的全息对象。相应地,跟踪系统580跟踪观看者的手相对于全息对象的移动。观看者的移动由跟踪系统580记录并发送到控制器520。跟踪模块526连续确定观看者的手的运动并将已确定的运动发送到LF处理引擎530。LF处理引擎530确定观看者的手在场景中的放置,调整图形的实时渲染以在全息对象中包含任何所需的改变(如定位、颜色或遮挡)。LF处理引擎530指示LF显示组合件510(和/或感觉反馈系统570)使用体触觉投影系统(例如,使用超声扬声器)生成触觉表面。所生成的触觉表面对应于全息对象的至少一部分,并且占据与全息对象的外部表面中的一些或全部外部表面基本上相同的空间。LF处理引擎530使用跟踪信息来动态地指示LF显示组合件510将触觉表面的位置与经渲染的全息对象的位置一起移动,使得给予观看者触摸气球的视觉和触觉感知两者。更简单地,当观看者观看他的手触摸全息气球时,观看者同时感觉到指示其手触摸了全息气球的触觉反馈,并且气球响应于触摸而改变定位或运动。在一些实例中,并非在从数据存储装置522访问的电影中呈现交互式气球,交互式气球可被接收为通过网络接口524从实时流式传输的应用接收的全息内容的部分。
LF处理引擎530可向电影院中观看电影的观看者提供用于同时显示的全息内容。例如,用LF显示系统500增强的电影院中放映的电影包含待在电影期间呈现给观看者的全息内容(“全息内容轨迹”)。全息内容轨迹可由电影的发布者接收且存储于数据存储装置522中。全息内容轨迹包含增强电影院中观看电影的观看者的观看体验的全息内容。
全息内容轨迹中的全息内容可与任何数目个时间、听觉、视觉等提示相关联以显示全息内容。例如,全息内容轨迹可包含待在电影期间在特定时间显示的全息内容。作为说明,全息内容轨迹包含在电影“Bottlenosed”期间在电影开始之后的35分42秒显示的一群全息海豚。在另一实例中,全息内容轨迹包含当感觉反馈系统570记录特定音频提示时将呈现的全息内容。作为说明,全息内容轨迹包含在电影“Poultrygeist”期间在由感觉反馈组合件570记录的音频指示人们在电影期间大笑时将呈现的全息重影火鸡。在另一实例中,全息内容轨迹包含在跟踪系统580记录特定视觉提示时将显示的全息内容。作为说明,全息内容轨迹包含在电影“Don’t Leave Me,Bro!”期间当跟踪系统580记录指示观看者正离开电影院的信息时将显示的写着“离开者!”的全息标志。下文更详细地描述了确定听觉和视觉提示。
全息内容轨迹还可以包含空间渲染信息。也就是说,全息内容轨迹可指示用于在电影院中呈现全息内容的空间位置。例如,全息内容轨迹可以指示将在一些全息观看体中,而不是其它全息观看体中呈现某些全息内容。为了说明,LF处理引擎530可在观看者头上而非电影院壁上的全息观看体中呈现乌鸦的死亡。类似地,全息内容轨迹可以指示全息内容呈现给一些观看体,而不是其它观看体。例如,LF处理引擎可将乌鸦的死亡呈现给靠近电影院后面的观看体,而将蝴蝶的万花筒呈现给靠近电影院前面的观看体。
LF处理引擎530可在电影之前、期间和/或之后提供显示给电影院中的观看者的全息内容以增强电影院体验。全息内容可由电影的发行者提供、由电影院提供、由广告商提供、由LF处理引擎530生成等。全息内容可以是与电影、电影的类型、电影的位置、广告等相关联的内容。在任何情况下,全息内容可以存储在数据存储装置522中,或通过网络接口524以向量化格式流式传输到LF显示系统500。例如,电影可在用LF显示模块增强的电影院中放映于壁上。电影的发布者可以在电影开始之前提供在壁显示器上呈现的全息内容。LF处理引擎530访问全息内容且在电影开始之前将来自显示器的所访问内容呈现到电影院的壁上。在另一实例中,具有LF显示系统500的电影院位于旧金山。如果未提供电影特定内容,则电影院存储在电影之前在电影院中呈现的金门大桥的全息表示。此处,因为未提供电影特定全息内容,所以LF处理引擎530访问金门大桥且在电影院中呈现金门大桥。在另一实例中,广告商已将其产品的全息内容作为广告提供给电影院以在电影之后显示。在电影结束之后,LF处理引擎530在观看者离开电影院时向其呈现广告。在其它实例中,如下文所描述,LF处理引擎可动态地生成在影院的壁上显示的全息内容。
LF处理引擎500还可以修改全息内容以适于正呈现全息内容的电影院。例如,并非每个电影院都具有相同的大小、相同的座椅数量或相同的技术配置。因此,LF处理引擎530可以修改全息内容,使得其将被适当地显示在电影院中。在一个实施例中,LF处理引擎530可以访问电影院的配置文件,包含电影院的布局、分辨率、视场、其它技术规范等。LF处理引擎530可以基于配置文件中包含的信息来渲染和呈现全息内容。
LF处理引擎530还可以创建全息内容以由LF显示系统500显示。重要的是,此处,创建用于显示的全息内容不同于访问或接收用于显示的全息内容。换句话说,当创建内容时,LF处理引擎530生成用于显示的全新内容,而不是访问先前生成和/或接收的内容。LF处理引擎530可以使用来自跟踪系统580、感觉反馈系统570、观看者概况分析模块528、跟踪模块526或其某种组合的信息来创建用于显示的全息内容。在一些实例中,LF处理引擎530可以访问来自LF显示系统500的元件的信息(例如,跟踪信息和/或观看者简档),基于所述信息创建全息内容,并且作为响应,使用LF显示系统500显示创建的全息内容。当由LF显示系统500显示时,创建的全息内容可以用其它感觉内容(例如,触摸、音频或气味)增强。此外,LF显示系统500可以存储创建的全息内容,使得其可以在将来显示。
LF显示系统的动态内容生成
在一些实施例中,LF处理引擎530并入有人工智能(AI)模型,以创建全息内容以供LF显示系统500显示。AI模型可以包含监督或无监督的学习算法,包含但不限于回归模型、神经网络、分类器或任何其它AI算法。AI模型可以用于基于由LF显示系统500(例如,通过跟踪系统580)记录的观看者信息来确定观看者偏好,所述观看者信息可以包含关于观看者的行为的信息。
AI模型可以从数据存储522访问信息以创建全息内容。例如,AI模型可以从数据存储522中的一个观看者简档或多个观看者简档访问观看者信息,或者可以从LF显示系统500的各个组件接收观看者信息。为了说明,AI模型可以确定观看者喜欢观看演员佩戴蝴蝶结的全息内容。AI模型可以基于一组观看者对包含佩戴蝴蝶结的演员的先前观看的全息内容的肯定反应或响应来确定偏好。换句话说,AI模型可以根据学习到的那些观看者的偏好来创建个性化针对一组观看者的全息内容。因此,例如,AI模型可以使用LF显示系统500将蝴蝶结并入由一组观看者观看的全息内容中所显示的演员。AI模型还可以将学习到的每个观看者的偏好存储在数据存储522的观看者简档存储中。在一些实例中,AI模型可以为单个观看者而不是一组观看者创建全息内容。
可以用于标识观看者的特性、标识反应和/或基于所标识的信息生成全息内容的AI模型的一个实例是具有节点层的卷积神经网络模型,其中当前层的节点处的值是先前层的节点处的值的变换。通过连接当前层和先前层的一组权重和参数确定模型中的变换。例如,并且AI模型可以包含五个节点层:层A、B、C、D和E。从层A到层B的变换由函数W1给出,从层B到层C的变换由W2给出,从层C到层D的变换由W3给出,并且从层D到层E的变换由W4给出。在一些实例中,还可以通过用于在模型中的先前层之间进行变换的一组权重和参数来确定变换。例如,从层D到层E的变换W4可以基于用于完成从层A到B的变换W1的参数。
模型的输入可以是由跟踪系统580获取的编码到卷积层A上的图像,并且模型的输出是从输出层E解码的全息内容。替代地或另外,输出可以是图像中的观看者的所确定特性。在此实例中,AI模型标识表示标识层C中的观看者特性的图像中的潜在信息。AI模型将卷积层A的维度减小到标识层C的维度,以标识图像中的任何特征、动作、响应等。在一些实例中,AI模型然后增加标识层C的维度以生成全息内容。
将来自跟踪系统580的图像编码到卷积层A。卷积层A中的图像输入可以与标识层C中的各种特性和/或反应信息等相关。可以通过在对应层之间应用一组变换来检索这些元件之间的相关信息。也就是说,AI模型的卷积层A表示编码图像,并且模型的标识层C表示微笑观看者。可以通过将变换W1和W2应用于卷积层A的空间中的图像的像素值来标识给定图像中的微笑观看者。用于变换的权重和参数可以指示包含在图像中的信息与微笑观看者的标识之间的关系。例如,权重和参数可以是包含在表示图像中的微笑观看者的信息中的形状、颜色、大小等的量化。权重和参数可以基于历史数据(例如,先前跟踪的观看者)。
在标识层C中标识图像中的微笑观看者。标识层C表示基于关于图像中的微笑观看者的潜在信息标识的微笑观看者
图像中的所标识的微笑观看者可以用于生成全息内容。为了生成全息内容,AI模型在标识层C处开始且将变换W2和W3应用于标识层C中的给定所标识的微笑观看者的值。变换产生输出层E中的一组节点。用于变换的权重和参数可以指示所标识的微笑观看者与特定全息内容和/或偏好之间的关系。在一些情况下,全息内容直接从输出层E的节点输出,而在其它情况下,内容生成系统将输出层E的节点解码到全息内容。例如,如果输出是一组标识的特性,则LF处理引擎可以使用特性来生成全息内容。
另外,AI模型可以包含被称为中间层的层。中间层是不对应于图像、不标识特性/反应等或不生成全息内容的层。例如,在给定实例中,层B是卷积层A与标识层C之间的中间层。层D是标识层C与输出层E之间的中间层。隐藏层是在数据中观察不到的标识的不同方面的潜在表示,但是当标识特性并且生成全息内容时可以控制图像元素之间的关系。例如,隐藏层中的节点可以与共享“高兴的人微笑”的共同性的输入值和标识值具有强连接(例如,大的权重值)。作为另一实例,隐藏层中的另一节点可以与共享“害怕的人尖叫”的共同性的输入值和标识值具有强连接。当然,神经网络中存在任何数目的连接。另外,每个中间层是功能的组合,例如残差块、卷积层、池化操作、跳过连接、串联等。任何数目的中间层B可以用于将卷积层减少到标识层,并且任何数目的中间层D可以用于将标识层增加到输出层。
在一个实施例中,AI模型包含已经用强化学习训练的确定性方法(由此创建强化学习模型)。所述模型进行训练以使用来自跟踪系统580的测量作为输入并且使用所创建全息内容的改变作为输出来提高性能的质量。
强化学习是机器学习系统,其中机器学习“做什么”-如何将情况映射到动作-从而最大化数字奖励信号。不告知学习者(例如,LF处理引擎530)要采取哪些动作(例如,生成规定的全息内容),而是通过尝试所述动作发现哪些动作产生最高的奖励(例如,通过使更多人欢呼来提高全息内容的质量)。在一些情况下,动作不仅可以影响即时奖励,而且影响下一种情况,并因此影响所有后续奖励。这两个特征--尝试错误搜寻和延迟奖励--是强化学习的两个显著特征。
强化学习不是通过表征学习方法,而是通过表征学习问题来定义。基本上,强化学习系统捕获学习代理与其环境进行交互以实现目标所面临的问题的那些重要方面。也就是说,在为表演者生成歌曲的实例中,强化学习系统捕获关于场馆中观看者的信息(例如,年龄、性格等)。此代理感测环境的状态且采取影响状态的动作以实现一个或多个目标(例如,创作一首会让观看者为之欢呼的流行歌曲)。在其最基本形式中,强化学习的制定包含学习者的三个方面:感觉、动作和目标。继续歌曲实例,LF处理引擎530通过跟踪系统580的传感器感测环境的状态,向环境中的观看者显示全息内容,并且实现作为观看者对所述歌曲的接收的量度的目标。
强化学习中出现的挑战之一是探索与利用之间的权衡。为了增加系统中的奖励,强化学习代理更喜欢过去尝试过的并且发现要有效产生奖励的动作。然而,为了发现产生奖励的动作,学习代理会选择之前未选择的动作。代理“利用”它已经知道的信息以获得奖励,但它也“探索”信息以在未来做出更好的行动选择。学习代理尝试各种动作,并且在继续尝试新动作的同时逐渐偏爱那些看起来最佳的动作。在随机任务上,每个动作通常都会尝试多次,以获得对其预期奖励的可靠估计。例如,如果LF处理引擎创建了LF处理引擎知道的将导致观看者在长时间段后笑的全息内容,则LF处理引擎可以改变全息内容,使得直到观看者笑的时间减少。
此外,强化学习考虑目标导向代理与不确定环境交互的整个问题。强化学习代理有明确的目标,可以感测其环境的各方面,并可以选择接收高奖励的动作(即,咆哮的人群)。此外,尽管代理面临的环境存在显著的不确定性,但其通常仍在进行操作。当强化学习涉及计划时,系统将解决计划与实时动作选择之间的相互作用,以及如何获取和改善环境要素的问题。为了使强化学习取得进步,必须分离和研究重要的子问题,子问题在完整的交互式寻求目标的代理中起明确作用。
强化学习问题是机器学习问题的框架,在所述框架中,处理交互并执行动作以实现目标。学习者和决策者称为代理(例如,LF处理引擎530)。代理与其交互的事物(包括代理之外的所有事物)称为环境(例如,场馆中的观看者等)。这两个持续地进行交互,代理选择动作(例如,创建全息内容),并且环境响应于这些动作并将新情况呈现给代理。环境还带来了奖励,即,代理试图随时间最大化的特殊数值。在一种背景下,奖励起到使观看者对全息内容的肯定反应最大化的作用。环境的完整规范定义一项任务,所述任务是强化学习问题的一个实例。
为了提供更多的背景,代理(例如,LF处理引擎530)与环境在一系列离散时间步长(即,t=0、1、2、3等)中的每个离散时间步长中进行交互。在每个时间步长t处,代理接收一些环境状态st的表示(例如,来自跟踪系统580的测量)。状态st在S内,其中S是可能状态的集合。基于状态st和时间步长t,代理选择动作at(例如,使执行者进行拆分)。动作at在A(st)内,其中A(st)是可能动作的集合。之后的一个时间状态(部分作为其动作的结果),代理接收数字奖励rt+1。状态rt+1在R内,其中R是可能的奖励的集合。一旦代理接收到奖励,代理就会选择新状态st+1。
在每个时间步长处,代理都会实施从状态到选择每个可能动作的概率的映射。此映射称为代理的策略并且表示为πt,其中πt(s,a)是如果st=s,则at=a的概率。强化学习方法可以决定代理如何由于代理动作产生的状态和奖励来更改其策略。代理的目标是使随着时间的推移接收的奖励总数最大化。
这种强化学习框架非常灵活,并且可以以许多不同的方式(例如,生成全息内容)应用于许多不同的问题。框架提出,无论感觉、记忆和控制设备的细节如何,学习目标导向行为的任何问题(或目的)都可以减少到代理与其环境之间来回传递的三个信号:一个信号表示由代理做出的选择(动作)、一个信号表示做出选择的依据(状态)以及一个信号定义代理目标(奖励)。
当然,AI模型可以包含任何数量的机器学习算法。可以采用的一些其它AI模型是线性和/或逻辑回归、分类和回归树、k均值聚类、向量量化等。无论情况如何,LF处理引擎530通常从跟踪模块526和/或观看者概况分析模块528获取输入并且作为响应,机器学习模型创建全息内容。类似地,AI模型可以引导全息内容的呈现。
LF处理引擎530可基于电影院中放映的电影而创建全息内容。例如,电影院中放映的电影可与描述电影特性的一组元数据相关联。元数据可以包含例如环境、类型、演员、主题、标题、运行时间、评级等。LF处理引擎530可以访问描述电影的元数据中的任何元数据,并作为响应,生成全息内容以呈现在电影院中。例如,标题为“The Last Merman”的电影将在用LF显示系统500增强的电影院中播放。LF处理引擎530访问电影的元数据以在电影开始之前创建用于电影院的壁的全息内容。此处,元数据包含环境是水下并且类型是浪漫。LF处理引擎530将元数据输入AI模型中,并作为响应,接收显示在电影院的壁上的全息内容。在此实例中,LF处理引擎530在电影开始播放之前创建显示在电影院的壁上的海边日落。
在一实例中,LF处理引擎530可将传统二维(2D)电影转换为全息内容以供由LF显示系统显示。例如,LF处理引擎530可将传统电影输入AI模型,且AI模型将传统电影的任何部分转换成全息内容。在一实例中,AI模型可通过使用通过将二维数据转换成全息数据训练的机器学习算法将传统电影转换成全息内容。在各种情形中,训练数据可以是先前生成的、创建的或这两者的某一组合。LF显示系统500可接着显示电影的全息版本而非电影的传统二维版本。
在一实例中,LF处理引擎530基于存在于包含LF显示系统500的电影院处的观看者来创建全息内容。例如,一组观看者进入电影院以观看由LF显示系统500显示的全息内容增强的电影。观看者概况分析模块528为电影院中的观看者生成观看者简档,以及表示电影院中所有观看者的聚合观看者简档。LF处理引擎530访问聚合观看者简档并创建全息内容以显示给电影院中的观看者。例如,电影院中的观看者为观看浪漫电影的一组情侣,且因此,聚合观看者简档包含指示其可能喜欢与约会中的情侣相称的全息内容的信息(例如,通过参数化和输入到AI模型)。因此,LF处理引擎530生成全息内容,使得电影院具有更浪漫的氛围(例如,蜡烛、昏暗的灯光、Marvin Gaye的音乐等)。
在一实例中,LF处理引擎530基于观看电影的观看者的响应来创建全息内容。例如,电影院中的观看者正在由LF显示系统500增强的电影院中观看电影。跟踪模块526和观看者概况分析模块528监测观看电影的观看者的反应。例如,跟踪系统580可获得观看者在观看电影时的图像。跟踪模块526标识观看者,并且观看者概况分析模块528使用机器视觉算法基于图像中包含的信息来确定观看者的反应。例如,AI模型可以用于标识观看电影的观看者是否在微笑,并且因此,观看者概况分析模块528可以基于微笑在观看者简档中指示观看者是否对电影有肯定或否定响应。也可以确定其它反应。借助于说明,电影院中正放映喜剧电影。当在显示表面上放映电影时,跟踪模块526和观看者概况分析模块528监测观看者的反应。在此情况下,观看者正在嘲笑电影中一只猫学习弹钢琴的蒙太奇。观看者概况分析模块528识别笑声,且作为响应,LF处理引擎530在影院的壁上显示小猫做傻事的全息内容。
在类似的实例中,LF处理引擎530可以基于先前存在或提供的广告内容来创建全息内容。换句话说,例如,LF处理引擎530可以通过网络接口524从网络系统请求广告,作为响应,网络系统提供全息内容,并且LF处理引擎530创建用于显示包含广告的全息内容。广告的一些实例可以包含产品、文本、视频等。可以基于所述观看体中的观看者将广告呈现给特定的观看体。类似地,全息内容可以用广告(例如,产品放置)来增强电影。最一般地,如先前所描述,LF处理引擎530可以基于场景中的观看者的特性和/或反应中的任何特性和/或反应来创建广告内容。
创建内容的前述实例不是限制性的。最广泛地,LF处理引擎530创建全息内容以用于显示给LF显示系统500的观看者。可以基于LF显示系统500中包含的信息中的任何信息来创建全息内容。
全息内容发布网络
图5B展示根据一个或多个实施例的实例LF电影网络550。一个或多个LF显示系统可包含于LF电影网络550中。LF电影网络550包含通过网络552彼此联接的任何数目的LF显示系统(例如500A、500B和500C)、LF电影生成系统554和联网系统556。在其它实施例中,相比本文所描述的那些实体,LF电影网络550包括额外或更少的实体。类似地,可以与此处描述的方式不同的方式在不同实体之间分配功能。
在所示实施例中,LF电影网络550包含LF显示系统500A、500B和500C,其可通过网络552接收全息内容且将全息内容显示给观看者。LF显示系统500A、500B和500C统称为LF显示系统500。
LF电影生成系统554为生成用于在包含LF显示系统的电影院中显示的全息内容的系统。全息内容可以是电影或可以是增强传统电影的全息内容。LF电影生成系统554可包含任何数目个传感器和/或处理器以记录信息并生成全息内容。例如,传感器可包含用于记录图像的相机、用于记录音频的麦克风、用于记录与对象的交互的压力传感器等。LF电影生成系统554还可为使用处理器生成合成光场数据以生成渲染为光场的计算机生成的成像(CGI)动画的计算机系统。合成光场数据可以是来自例如虚拟世界或动画电影。LF电影生成系统554组合所记录的信息且将所述信息编码为全息和感觉内容。LF电影生成系统554可将编码的全息内容传输到LF显示系统500中的一个或多个以供显示给观看者。如先前所讨论,为实现有效传递速度,可在网络552上将LF显示系统500A、500B、500C等的数据作为向量化数据进行传递。
更广泛地,LF电影生成系统554通过使用可由LF显示系统在放映电影时使用的任何所记录感觉数据或合成数据生成用于在电影院中显示的全息内容。例如,感觉数据可包含所记录音频、所记录图像、与对象的所记录交互等。可使用许多其它类型的感觉数据。为了说明,所记录视觉内容可包含:3D图形场景、3D模型、对象放置、纹理、颜色、着色和照明;可使用AI模型和类似电影转换的较大数据集转换成全息形式的2D电影数据;来自具有许多相机的相机装备的多视图相机数据,所述许多相机具有或不具有深度通道;全光相机数据;CG内容;或许多其它类型的内容。
在一些配置中,LF电影生成系统554可使用专有编码器来执行将针对电影所记录的感觉数据减小为如上文所描述的向量化数据格式的编码操作。也就是说,将数据编码为向量化数据可包含图像处理、音频处理或可产生更容易在网络552上传输的减小的数据集的任何其它计算。编码器可支持由电影制作行业专业人员使用的格式。
每一LF显示系统(例如,500A、500B、500C)可通过网络接口524从网络552接收编码的数据。在此实例中,每一LF显示系统包含解码器以对编码的LF显示数据进行解码。更明确地,LF处理引擎530通过将由解码器提供的解码算法应用于所接收的编码数据而生成用于LF显示组合件510的光栅化数据。在一些实例中,LF处理引擎可另外使用来自如本文中所描述的跟踪模块526、观看者概况分析模块528和感觉反馈系统570的输入生成用于LF显示组合件的光栅化数据。针对LF显示组合件510生成的光栅化数据再现由LF电影生成系统554记录的全息内容。重要的是,每一LF显示系统500A、500B和500C生成适于LF显示组合件在几何形状、分辨率等方面的特定配置的光栅化数据。在一些配置中,编码和解码过程是可提供给显示器消费者或由第三方授权的专有编码/解码系统对的部分。在一些情况下,编码/解码系统对可实施为可向内容创建者提供公共编程接口的专有API。
在一些配置中,LF电影网络550中的各种系统(例如,LF显示系统500、LF电影生成系统554等)可具有不同硬件配置。硬件配置可包含物理系统的布置、能量源、能量传感器、触觉接口、感觉能力、分辨率、LF显示模块配置或LF电影网络550中的系统的任何其它硬件描述。每一硬件配置可生成或利用呈不同数据格式的感觉数据。因此,解码器系统可被配置成对将呈现于LF显示系统上的用于LF显示系统的编码数据进行解码。例如,具有第一硬件配置的LF显示系统(例如,LF显示系统500A)从具有第二硬件配置的LF电影生成系统(例如,LF电影生成系统554)接收编码数据。解码系统访问描述LF显示系统500A的第一硬件配置的信息。解码系统使用所访问的硬件配置对编码数据进行解码,使得解码数据可由接收LF显示系统500A的LF处理引擎530处理。尽管记录于第二硬件配置中,但LF处理引擎530生成且呈现用于第一硬件配置的光栅化内容。以类似方式,无论硬件配置如何,由LF电影生成系统554记录的全息内容可由任何LF显示系统(例如,LF显示系统500B、LF显示系统500C)呈现。
网络系统556为配置成管理LF电影网络550中的系统之间的全息内容传输的任何系统。例如,网络系统556可从LF显示系统500A接收对全息内容的请求,且促进全息内容从LF电影生成系统554到LF显示系统500A的传输。网络系统556还可存储用于传输到LF电影网络550中的其它LF显示系统500和/或由其它LF显示系统存储的全息内容、观看者简档、全息内容等。网络系统556还可包含可创建如先前所描述的全息内容的LF处理引擎530。
网络系统556可包含数字权限管理(DRM)模块以管理全息内容的数字权限。例如,LF电影生成系统554可将全息内容传输到网络系统556,且DRM模块可使用数字加密格式来加密全息内容。在其它实例中,LF电影生成系统554将所记录光场数据编码为可由DRM模块管理的全息内容格式。网络系统556可将数字加密的密钥提供到LF显示系统,使得每一LF显示系统500可解密且随后将全息内容显示给观看者。最一般地,网络系统556和/或LF电影生成系统554编码全息内容,且LF显示系统可对全息内容进行解码。
网络系统556可充当先前所记录和/或所创建的全息内容的存储库。每条全息内容可与交易费用相关联,所述交易费用在接收时使得网络系统556将全息内容传输到提供交易费用的LF显示系统500。例如,LF显示系统500A可通过网络552请求访问全息内容。所述请求包含全息内容的交易费用。作为响应,网络系统556将全息内容传输到LF显示系统以供显示给观看者。在其它实例中,网络系统556还可充当存储在网络系统中的全息内容的订阅服务。在另一实例中,LF记录系统554实时地记录演出的光场数据且生成表示所述演出的全息内容。LF显示系统500将对全息内容的请求传输到LF记录系统554。所述请求包含全息内容的交易费用。作为响应,LF记录系统554传输全息内容以用于在LF显示系统500上同时进行显示。网络系统556可在交换交易费用和/或管理跨越网络552的全息内容数据流时充当介体。
网络552表示LF电影网络550中的系统之间的通信路径。在一个实施例中,网络为因特网,但也可为任何网络,包含但不限于局域网(LAN)、城域网(MAN)、广域网(WAN)、移动、有线或无线网络、云端计算网络、私用网络或虚拟私用网络,和其任何组合。另外,可使用常规加密技术加密所有或一些链路,例如安全套接层(SSL)、加密的HTTP和/或虚拟私用网络(VPN)。在另一实施例中,代替或除了上文所描述的技术之外,实体可使用定制和/或专用数据通信技术。
包含LF显示系统的电影院
图6到8展示可使用LF显示系统(例如,LF显示系统500)显示全息内容的若干实例电影院。如先前所描述,全息内容可包含电影和/或可增强在电影院中观看电影的体验的任何其它全息内容。在电影院内,任何数目个观看者位于任何数目个观看体内的观看位置处。LF显示系统被配置成在电影院内的全息对象体中显示全息内容,使得观看体中的观看者可感知到全息内容。通常,电影院中的LF显示系统包含一个或多个LF显示组合件(例如,LF显示组合件510),每一LF显示组合件含有形成无缝聚合表面的LF显示模块(例如,LF显示模块512)的阵列。此聚合表面可位于具有各种相对定向的多个表面上,例如,在两个正交壁上。因此,电影院中的全息对象体可为LF显示模块的阵列的聚合全息对象显示体。
图6A展示根据一个或多个实施例的包含LF显示系统的电影院600A。电影院600A的壁中的一些或全部内衬有LF显示模块的阵列。LF显示模块的阵列形成LF显示器620的聚合表面。例如,如所展示的,电影院的前壁626包含LF显示器620。虽然未展示,但在一些实例中,电影院的侧壁也可包含LF显示器的部分。电影院600A包含成行布置且定位成观看由LF显示器620呈现的全息内容的数个观看位置642。观看位置642为观看体650的部分,从所述观看体可充分观看到由LF显示系统呈现的(未被遮挡)全息对象。例如,在特定观看位置,例如观看位置642A处的用户将能够观看在LF显示器620的全息对象体中呈现的全息对象。在所示实施例中,观看位置642中的至少一些包含供观看者坐的椅子(例如,观看位置642A)。还有一些位置没有椅子。电影院600A中的观看位置642也定位成使得观看位置642中的观看者可感知到从LF显示器620呈现的全息内容。虽然未展示,但天花板、地板或这两者中的一些或全部也可内衬有LF显示器620。在图6A中,LF显示系统为LF显示系统500的实施例。此外,LF显示器620中的LF显示模块为LF显示模块512的实施例,且可与LF显示模块300A、210或110相同。
电影院600A中的LF显示系统针对特定观看体(例如,观看体650)进行了优化。在所示实例中,观看体650包含所有观看位置642,使得观看位置处的观看者可观看由LF显示器620呈现的全息内容。如所示,LF显示器620安装在电影院600A的前壁626上。在图6中,观看位置642在观看体650内位于LF显示器620的中点高度下方,但在其它配置中观看位置642可高于中点。取决于LF显示系统和/或电影院的配置,除了所示观看体之外的观看体也是可能的。
图6A展示从LF显示器620的显示表面呈现的全息内容的投影角度。展示了电影院600A的前壁626、天花板628、地板629和后壁627,但电影院还包含两个侧壁。在所示实例中,射线针对电影院600A的几何形状进行了优化。此处,光线(或射线、光等)表示从LF显示器620的显示表面投影的全息内容的投影路径中的一个或多个。光线可从显示表面上的能量表面位置中的一个或多个投影。例如,表示全息内容的第一部分的光线沿着多个投影路径从显示表面上的能量表面位置的第一子集(例如,LF显示器的“顶部”)投影。类似地,表示全息内容的第二部分的光线沿着多个投影路径从显示表面上的能量位置的第二子集(例如,LF显示器的“底部”)投影。
在图6A的配置中,LF显示器620产生分别来自LF显示器620的顶部和底部的顶部光线群组602和底部光线群组608。以偏转射线610为中心的顶部光线群组602是以偏转角604从LF显示器620的顶部投影。偏转(deflected或deflection)角是一些全息内容可以从显示表面投影的角度。偏转角可以不同于全息内容的原始投影角度。例如,如上文所描述,LF显示系统可生成用于以原始投影角度(例如,垂直于显示表面620)投影的全息内容,且LF显示系统(即,如在电影院600a中)修改全息内容的光线(例如,通过光学件、膜、波导等)来以偏转角624投影全息内容。
可以多种方式定义偏转角604。例如,偏转角可以是(i)偏转射线610相对于LF阵列表面法线606之间的角度,(ii)从一个或多个能量位置投影的全息内容的一部分的多个投影路径的平均角度,(iii)从一个或多个能量位置投影的全息内容的一部分的多个投影路径的中间角度,或(iv)偏转角604的另一适当定义。此外,如上文所描述,可相对于全息内容的原始投影角度测量偏转角604。可以多种方式定义原始偏转角。例如,原始投影角度可以是(i)未以投影角度投影的全息内容的一部分的多个投影路径的量度(例如,平均值、中值等),(ii)显示表面的法线,(iii)从生成全息内容的能量装置投影的路径的量度,或(iv)原始投影角度的另一适当定义。
在另一实例中,可相对于LF显示系统的光轴(或轴线)定义原始投影角度和偏转角604。可以多种方式定义光轴。例如,光轴可以是(i)从显示表面上的能量表面位置投影的光线的传播路径的方向,(ii)从能量表面位置投影的所有光线的平均能量向量,(iii)投影的全息内容关于其对称(例如,旋转地、水平地、竖直地等)的光线(例如,最中心光线),或(iv)光轴的另一适当定义。
光轴可为原始光轴或偏转的光轴。原始光轴为以原始投影角度投影的全息内容的光轴。偏转的光轴为以偏转的投影路径投影的全息内容的光轴。以此方式,偏转角604为原始光轴与偏转的光轴之间的角度。
偏转角604向下定向到电影院600A中的观看位置642。以正交射线612为中心的底部光线群组608是从LF显示器620的底部朝向电影院600A的后面笔直向前投影(即,不具有偏转角)。换句话说,底部光线群组608是以垂直于LF显示器620表面投影的光线(展示为正交射线612)为中心。在不同方向上展示来自LF显示器620的底部的正交射线612和来自LF显示器620的顶部的偏转射线610,但在一些实例中,所述两射线可在基本上类似方向上。
顶部光线群组602绕偏转射线610的角展度是上部竖直视场614。底部光线群组608绕正交射线612的角展度是下部竖直视场616。如所展示的,上部竖直视场614与下部竖直视场616的角展度大致相同,但可为不同的。上部竖直视场614和下部竖直视场616重叠以形成电影院600A中的观看体650。水平视场由从LF显示器620的左侧和右侧投影的光线群组形成。图4E中展示水平视场的实例。
在一些实施例中,从LF显示器620的顶部与底部之间的位置投影的光线可由如下射线定义,所述射线相对于表面法线606的角度在显示器顶部处的偏转角604与显示器底部处对应于由正交射线612形成的法线的零之间变化。换句话说,从LF显示器620上的不同点投影的射线可以在偏转角604与LF显示器620的法线606之间的不同角度偏转。在一些配置中,偏转角的变化可为跨越LF显示器620的表面的梯度。例如,从LF显示器620的中间投影的光线(例如,射线618)可是以中间偏转角622投影。中间偏转角622具有在零角度(因为正交射线612不具有偏转角)与偏转角604之间的值。梯度偏转角的优点在于对于固定显示器FOV,可最大化从LF显示器620投影的全息对象的观看体。
另外,可从不同视场观看以不同偏转角从显示表面620投影的全息内容。例如,全息内容的第一部分是以第一偏转角从靠近例如显示表面620的顶部的能量表面位置投影。类似地,全息内容的第二部分是以第二偏转角从靠近例如显示表面的中间的能量表面位置投影。在此情况下,取决于第一和第二偏转角,可从第一视场感知全息内容的第一部分,且可从第二视场感知全息内容的第二部分。取决于LF显示器的配置和所要偏转角,第一视场和第二视场可类似或不同。
在一些配置中,光学层使投影光线以偏转角偏转。在一些实例中,光学层可位于显示表面上的波导层的前面。在此情况下,偏转角可为LF显示器620上的光学件的位置的函数。在各种实施例中,光学层可以包含:折射光学层,所述折射光学层包含具有不同特性的棱镜;玻璃层,所述玻璃层具有不同折射率或具有镜面层、薄膜、衍射光栅等。光学层可以针对特定观看几何形状进行优化且联接到LF显示表面,从而允许以相对较低的费用定制观看体。在另一配置中,能量波导层使离开波导的投影光线以偏转角偏转。波导可倾斜、含有倾斜区段或刻面,或含有具有倾斜光轴的多个折射元件。
图6B展示根据一个或多个实施例的包含LF显示系统的电影院600B。LF显示模块的阵列在电影院的前壁上形成LF显示器620的聚合表面。虽然未展示,但天花板中的一些或全部、地板中的一些或全部或这两者也可内衬有LF显示器620。电影院600B包含成行布置且定位成观看由LF显示器620呈现的全息内容的数个观看位置642。在图6B中,LF显示系统为LF显示系统500的实施例。此外,LF显示器620中的LF显示模块为LF显示组合件510的LF显示模块的实施例。
电影院600B的LF显示系统并不类似于如图6A中所描述的电影院600A一般包含变化的射线偏转角。也就是说,在图6B中,不存在呈偏转角(例如,偏转角604)的偏转射线(例如,偏转射线610)。顶部光线群组602是以表面法线606为中心且底部光线群组608是以正交射线612为中心。换句话说,来自显示表面的每一位置的光线群组都关于显示表面的法线对称地投影。结果是全息观看体与显示器的中心对称地定位,且LF显示系统未优化成将全息内容呈现给电影院中的所有观看位置642。例如,在所示配置中,LF显示器620将全息内容呈现给不包含观看位置642中的任一个的观看体655。
因此,能够以偏转角投影光线的电影院增大了LF显示系统的总视场(相对于不能够偏转光线的电影院)。类似地,当以偏转角投影射线时,观看体与LF显示器之间的间隔降低,且全息对象体与观看体之间的接近度增大。这些改进的原因类似于关于图4C和4D以及包围表面的描述。换句话说,以偏转角投影光线实际上创建了来自完全平面表面的包围表面。
在各种实例中,LF显示器可被配置成使红外线、可见光或紫外线电磁光谱中的光线偏转。在一些情况下,LF显示系统可配置成采用用于使来自那些范围中的一个或多个的光线偏转的偏转光学件。LF显示系统也可偏转其它类型的能量。例如,如果聚合表面为投影电磁能以及超声能量两者的双能量表面,则声学材料层可用于以不同角度偏转声音。偏转的声波可实现与偏转的光线所描述的那些益处类似的益处。可用于偏转声波的一些材料可包含表现出负声学阻抗的声学超材料,或具有适当声学特征的其它材料。
图7A展示根据一个或多个实施例的包含LF显示系统的电影院700的透视图。展示了电影院700的前壁710、侧壁712和地板714,但电影院700还包含另一侧壁、天花板和后壁。此处,电影院700的前壁和侧壁(例如,侧壁712)内衬有LF显示模块的阵列。LF显示模块的阵列形成LF显示器720的聚合表面。虽然未展示,但天花板中的一些或全部、地板中的一些或全部或这两者也可内衬有LF显示器720。电影院中的观看位置642定位成使得观看位置642中的观看者可感知到从LF显示器720呈现的电影和/或全息内容。在图7A中,LF显示系统为LF显示系统500的实施例。此外,阵列720中的LF显示模块为LF显示组合件510内的LF显示模块512的实施例。LF显示系统可包含如图6中所描述的偏转光学件。
图7B展示具有从LF显示器720呈现的全息内容722的图7A的电影院700的透视图。在此实例中,电影院700正使用LF显示器720放映电影“Jungle Book II:Shere Khan’sRevenge”。因此,全息内容722包含由LF显示器720在电影院700中的观看位置642处的观看者前面和侧面投影的丛林场景。相比于从观看者前面的单个表面显示视频,从包围观看者的多个显示表面放映全息视频会产生更沉浸式体验。在此情况下,在电影院700放映电影时,电影的发布者已提供从LF显示器720呈现的全息内容722。也就是说,丛林场景由电影的发布者提供,存储于数据存储装置(例如,数据存储装置522)中,由LF显示系统访问,且随后由LF显示器720呈现于电影院700的壁上。在另一实例中,电影发布者通过商业网络(例如,网络552)将全息内容作为与接收电影院位置的几何形状无关的向量化数据进行发送。电影院700的LF显示系统500对向量化数据进行解码,且针对电影院的LF显示器720的特定几何形状和分辨率生成全息内容。
图8展示根据一个或多个实施例的包含呈现全息内容的LF显示系统的电影院800的透视图。展示了电影院800的前壁810、侧壁812和地板814,但电影院还包含另一侧壁、天花板和后壁。电影院800的前壁810和侧壁(例如,侧壁812)内衬有LF显示模块的阵列。LF显示模块的阵列形成LF显示器820的聚合表面。另外,天花板(未示出)中的一些或全部、地板814中的一些或全部或这两者也可内衬有LF显示器820。电影院800包含成行布置且定位成使得观看位置642中的观看者可感知从LF显示器820呈现的全息内容的数个观看位置642。在图8中,LF显示系统为LF显示系统500的实施例。此外,阵列820中的LF显示模块为LF显示组合件510的LF显示模块512的实施例。
图8展示具有从LF显示器820呈现的全息内容822的电影院800。在此实例中,经典电影“Invasion of the AA Aliens!”正从LF显示器820投影于前壁上,使得观看位置642中的观看者可观看电影。LF显示器820还在观看位置642上方的全息对象体中呈现全息内容822。此处,阵列820呈现全息内容822,所述全息内容包含穿过全息对象体可怕地漂浮的数个飞碟,所述全息对象体未示出,但在每一LF显示表面的前后延伸。LF显示系统820显示不祥的飞碟,这是因为如从发布者接收的电影包含用于电影的全息内容轨迹。全息内容轨迹包含用于在用LF显示系统放映电影的电影院800中同时呈现的全息内容。因此,在从阵列820投影电影时,LF显示系统从数据存储装置(例如,数据存储装置522)访问对应全息内容822,且在全息对象体中呈现全息内容822,所述全息对象体在LF显示器820的每一表面的前后延伸。电影院800中由LF显示系统呈现的全息内容822——飞碟可通过增大“紧张”和“末日即将来临”的感觉来增强观看者体验。
图9A和9B展示根据一个或多个实施例的具有向不同观看位置群组呈现全息内容的LF显示系统的电影院900。图9A展示呈现给在电影院前面的第一组观看位置的全息内容,且图9B展示呈现给在电影院后面的第二组观看位置的全息内容。展示了电影院900的前壁910、侧壁912和地板914,但电影院900还包含另一侧壁、天花板和后壁。电影院900的前壁910和侧壁(例如,侧壁912)内衬有LF显示模块的阵列。LF显示模块的阵列形成LF显示器820的聚合表面。另外,天花板(未示出)中的一些或全部、地板中的一些或全部或这两者也可内衬有LF显示器920。电影院900包含成行布置且定位成使得观看位置642中的观看者可感知从LF显示器920呈现的全息内容的数个观看位置642。在此实例中,为方便描述起见,将观看位置划分成第一群组942A、第二群组942B和第三群组942C。在图9A和9B中,LF显示系统为LF显示系统500的实施例。此外,阵列920中的LF显示模块为LF显示组合件510的LF显示模块512的实施例。
电影院900还包含若干不同的观看子体。由于其形状的复杂性,未展示观看子体。观看子体为LF显示器920的观看体的子体。如所展示的,LF显示器920的观看体大致为电影院900的大小。因此,观看子体为电影院900的体积的某一部分。例如,观看子体可对应于包围观看位置的第一群组942A、观看位置的第二群组942B、观看位置的第三群组942C或其某一组合的体积。
在此实例中,LF显示器920正投影电影“Basic Witches”,使得观看位置642中的观看者可观看电影。此外,电影院900中的所有观看者以类似方式从电影院900的前壁910观看从LF显示器920投影的电影。也就是说,从电影院900的前壁910呈现的全息内容可被电影院900中的所有观看者看到。然而,电影院中的LF显示系统被配置成使得从侧壁912上的LF显示器投影的全息内容对于包围群组942A、942B和942C的观看子体是不同的。也就是说,LF显示系统可将不同全息内容呈现给不同的观看子体。为了说明,例如,在电影院900后面的第三群组942C中的观看位置处的观看者可感知到在电影院900前面的第一群组942A中的观看位置处的观看者可能无法感知到的全息内容。对于电影院900中的观看子体中的任一个,此原理都适用。
图9A和9B展示将不同全息内容呈现给不同观看子体中的观看者的电影院900的LF显示系统。
例如,在图9A中,侧壁912上的LF显示器920将全息内容922呈现给在电影院900前面的第一群组942A(例如,第一特定观看子体)中的观看者。在电影院900中的其它群组(例如,942B和942C)中的观看位置处的观看者可能看不到相同的全息内容922。在此实例中,LF显示器920向最接近电影院900的前壁910的观看位置的第一群组942A中的观看者呈现包含苏格兰荒野中的一片悲伤田野的全息内容。
在图9B中,LF显示器920将全息内容923呈现给在电影院900后面的观看位置的第三群组942C(例如,第二特定观看子体),使得所述群组中的观看位置中的观看者可感知到针对第三群组942C中的观看者生成的全息内容923。在电影院900中的其它群组(例如,942A和942B)中的观看位置处的观看者看不到相同的全息内容(例如,其可替代地观看全息内容922)。在此实例中,LF显示器920向电影院900后面的第三群组942C呈现全息内容923,所述全息内容包含从位于苏格兰荒野中的悲伤田野的鬼屋离开的一群僵尸。
将不同全息内容(例如,全息内容922或923)呈现给不同观看子体中的观看者允许LF显示系统以不同方式增强不同观看子体中的观看者的观看体验。例如,每个观看子体中的影院“氛围”可不同。为了说明,参考图9A到9B,相比呈现给电影院900前面的第一群组942A中的观看者的全息内容922,呈现给电影院900后面的第三群组942C中的用户的全息内容923更加强烈。在此情况下,电影院对于不同观看子体中的观看位置可具有不同的电影评级。例如,Basic Witches对于第一群组942A中的观看者可被评级为PG,且对于第三群组942C中的观看者可被评级为R。在另一实例中,全息内容的音频内容可以是针对不同观看子体的(例如,使用音频波束成形)。因此,例如,第一群组942A中的观看者可听到没有脏话的音频全息内容,而第三群组942C中的观看者听到具有脏话的音频全息内容。
值得注意的是,图6到9展示类似地结构化的电影院。也就是说,每一电影院具有类似配置,包含壁和地板的特定定向和电影院内的观看位置的特定定位。所述配置包含大致正交的前壁、两个侧壁、后壁和天花板。所述配置还包含从前壁到后壁梯度上升的倾斜地板。电影院的LF显示器被配置成使得观看者主要观看从前壁和/或侧壁呈现的全息内容。所述配置包含布置成三个区段的观看位置,其中每一区段包含三行二十个座椅。每行座椅大致平行于前壁定位。每一区段的观看位置对应于观看体。图6到9中的电影院的配置是作为实例给出,但许多其它配置是可能的。例如,图4C到4F中的配置中的任一个可适用于电影院中的LF显示系统。
在电影院中向观看者显示内容
图10为用于在LF电影网络(例如,LF电影网络550)的背景下将全息内容显示给电影院(例如,电影院700、电影院800或电影院900)中的观看者的方法1000的流程图。方法1000可包含额外或更少步骤,且所述步骤可以不同次序进行。此外,可在所述方法的执行期间将各种步骤或步骤组合重复任何次数。
LF显示系统500通过网络552将对(例如,电影的和/或增强电影的)全息内容的请求传输(1010)到网络系统556。
在一实施例中,LF电影生成系统554创建全息内容且将对应全息内容传输到网络系统556。在其它实施例中,网络系统556可从数据存储装置访问先前生成的全息内容。网络系统556将全息内容传输到LF显示系统500,使得可将所述全息内容呈现给电影院中的观看者。
LF显示系统500通过网络552从网络系统556接收1020全息内容。
LF显示系统500确定1030电影院和/或LF显示系统的配置。例如,LF显示系统500可访问配置文件,所述配置文件包含描述电影院的布局和/或配置的数个参数,以及包含于电影院中的LF显示系统500的硬件配置。所述参数可包含例如LF显示器FOV、面板配置、面板分辨率、就座观看子体、全息对象体几何形状、体触觉投影参数、用以增强电影的2D面板的布局、其它可用感觉装置、电影院硬件的任何其它细节等。为了说明,配置文件可包含电影院中的观看位置的位置、间隔和大小。因此,LF显示系统500可确定前三行中的观看位置在第一观看子体中,中间三行中的观看位置在第二观看子体中,且后三行中的观看位置在第三观看子体中。在各种其它实施例中,LF显示系统500可确定在电影院内的任何位置处的观看子体的任何数目和配置。在一些情况下,观看子体的数目和配置可是基于电影院的大小。例如,相比于大型电影院,小型电影院在每一观看子体中可具有较少观看位置。在一些实例中,观看子体可为整个电影院或电影院的某一其它部分。在其它实例中,取决于来自内容提供商的指令,可针对不同观众观看体调整内容。
LF显示系统500基于电影院内的LF显示系统的硬件配置以及电影院的特定布局和配置生成1040用于在LF显示系统上呈现的全息内容(和其它感觉内容)。在各种实例中,可在影院屏幕上或从电影院中的LF显示系统显示电影。确定用于显示的全息内容可包含针对电影院或观看子体适当地渲染全息内容。例如,LF显示系统500可通过将交互式全息内容(例如,观看者可触摸的内容)显示给特定观看子体来针对所述观看子体增强电影。其它观看子体可能不具有交互式全息内容。
LF显示系统500在电影院中的全息对象体中呈现1050全息内容,使得在每一观看体中的观看位置处的观看者感知到适当的演出内容。作为一实例,特定观看子体中的观看者感知到交互式全息内容,而另一观看子体中的观看者不能感知到交互式全息内容。另外,LF显示系统可呈现不同音频内容,使得不同观看子体中的观看者感知到不同的音频内容。
LF显示系统500可在观看子体中的观看者观看电影或全息内容时在任何时间确定关于观看者的信息。例如,跟踪系统可监测观看子体中的观看者的面部响应,且观看者概况分析模块可访问关于那些观看子体中的观看者的特性的信息。
LF显示系统可基于所确定信息创建(或修改)用于呈现给观看者的全息内容。例如,LF处理引擎可基于所确定的关于观看者的信息而创建用于在电影的演职员表期间显示的烟花表演。
另外的配置信息
对本公开的实施例的前述描述出于说明的目的而呈现;这并不旨在穷举或将本公开限制于所公开的精确形式。相关领域的技术人员可以理解,根据以上公开,许多修改和变化是可能的。值得注意的是,前述描述描述了使用光场显示组合件将全息内容呈现给电影院中的观看者。然而,本文中所描述的原理、方法和系统可更广泛地应用于将全息内容呈现给各种其它位置中的观众。例如,可在室外影院、广告牌或广告上、建筑物的壁等中显示内容。
此描述的一些部分根据信息上的操作的算法和符号表示来描述本公开的实施例。这些算法描述和表示通常由数据处理领域的技术人员用来将其工作的实质有效地传递给本领域的其它技术人员。这些操作虽然在功能上、计算上或逻辑上进行了描述,但应理解为通过计算机程序或等效电路、微代码等来实施。此外,在不失一般性的情况下,将这些操作的布置称为模块有时也被证明很方便。所描述的操作及其相关模块可以以软件、固件、硬件或其任何组合具体化。
可以单独地或与其它装置组合地利用一个或多个硬件或软件模块来执行或实施本文所描述的步骤、操作或过程中的任何步骤、操作或过程。在一个实施例中,用计算机程序产品来实施软件模块,所述计算机程序产品包括含有计算机程序代码的计算机可读介质,所述计算机可读介质可以由计算机处理器执行以执行所描述的步骤、操作或过程中的任何或所有步骤、操作或过程。
本公开的实施例还可以涉及用于执行本文中的操作的设备。此设备可以被特殊构造用于所需目的,和/或其可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算装置。此计算机程序可以存储于非暂时性有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中,所述介质可以联接到计算机系统总线。此外,在说明书中提及的任何计算系统可以包含单个处理器,或可以是采用多处理器设计以得到增加的计算能力的架构。
本公开的实施例还可以涉及通过本文所描述的计算过程生产的产品。此产品可以包括产生于计算过程的信息,其中所述信息存储在非暂时性有形计算机可读存储介质上且可以包含本文所描述的计算机程序产品或其它数据组合的任何实施例。
最后,说明书中使用的语言主要是出于可读性和指导目的而选择的,并且可能未选择其来描绘或限制本发明的主题。因此,意图是本公开的范围不受此具体实施方式的限制,而是受基于其所附的申请的任何权利要求的限制。因此,实施例的公开旨在说明而非限制在以下权利要求中所阐述的本公开的范围。
Claims (92)
1.一种光场(LF)显示系统,其包括:
处理引擎,其被配置成生成用于由光场显示组合件显示的全息内容,所述全息内容显示为电磁能;
光场显示组合件,其包括:
显示表面中的一个或多个,其被配置成投影全息内容;以及
能量装置中的一个或多个,其被配置成从所述处理引擎接收全息内容且生成电磁能,以通过所述显示表面将电磁能作为全息内容投影给观众。
2.根据权利要求1所述的LF显示系统,其中在电影院中将所述全息内容呈现给所述观众。
3.根据权利要求1所述的LF显示系统,其中所述全息内容被呈现给所述观众中的一个或多个观看体,且呈现给所述一个或多个观看体的第一观看体的所述全息内容不同于呈现给所述一个或多个观看体的第二观看体的所述全息内容。
4.根据权利要求1所述的LF显示系统,其中所述电磁能是在可见光谱中。
5.根据权利要求1所述的LF显示系统,其中所述电磁能是在红外光谱或紫外光谱中。
6.根据权利要求1所述的LF显示系统,其中
所述处理引擎被配置成生成用于由光场显示组合件呈现为第二类型的能量的额外内容,
所述显示表面中的一个或多个被配置成将所述额外内容投影为所述第二类型的能量,且
所述能量装置中的一个或多个被配置成从所述处理引擎接收所述额外内容且生成所述第二类型的能量,以通过所述显示表面将所述额外内容投影给所述观众。
7.根据权利要求6所述的LF显示系统,其中所述第二类型的能量是声能,所述声能作为所述全息内容的音频内容投影给所述观众。
8.根据权利要求6所述的LF显示系统,其中所述第二类型的能量是超声能量,所述超声能量作为一个或多个触觉表面呈现给所述观众。
9.根据权利要求6所述的LF显示系统,其中所述LF显示组合件被配置成将所述第二类型的能量投影为一个或多个触觉表面且将所述电磁能投影为全息内容,所述触觉表面和全息内容被投影到同一会聚点处的所述观众。
10.根据权利要求1所述的LF显示系统,其中
所述显示表面中的一个或多个被配置成接收第二类型的能量,且
所述能量装置中的一个或多个被配置成感测所述第二类型的能量。
11.根据权利要求10所述的LF显示系统,其中所述第二类型的能量是电磁能。
12.根据权利要求10所述的LF显示系统,其中所述第二类型的能量是表示音频内容的声能。
13.根据权利要求10所述的LF显示系统,其中所述第二类型的能量是超声能量。
14.根据权利要求10所述的LF显示系统,其中所述处理引擎被配置成记录由所述能量装置中的一个或多个感测的所述第二类型的能量的测量。
15.根据权利要求1所述的LF显示系统,其中所述LF显示组合件进一步包括:
能量表面中的一个或多个,其包括多个能量位置,所述能量位置的第一子集被配置成发射由所述能量装置生成的表示全息内容的电磁能。
16.根据权利要求15所述的LF显示系统,其中所述能量表面包括:
能量位置的第二子集,其被配置成发射表示用于呈现给所述观众的额外内容的第二类型的能量。
17.根据权利要求15所述的LF显示系统,其中所述能量表面包括:
能量位置的第二子集,其被配置成接收第二类型的能量。
18.根据权利要求17所述的LF显示系统,其中所述第二类型的能量为表示从所述显示表面前面的体接收的可见光内容的电磁能,且能量位置的所述第二子集被配置成接收可见光内容。
19.根据权利要求15所述的LF显示系统,其中所述能量表面包括:
能量位置的第二子集,其被配置成用于第二类型的能量,能量位置的所述第二子集在所述能量表面上与能量位置的所述第一子集交织。
20.根据权利要求1所述的LF显示系统,其中所述LF显示组合件进一步包括:
多个波导,其被配置成接收由所述能量装置生成的表示全息内容的电磁能,且沿着多个传播路径从所述显示表面朝向所述观众投影所述电磁能。
21.根据权利要求20所述的LF显示系统,其中所述LF显示组合件进一步包括:
多个能量位置,其被配置成发射表示全息内容的所述电磁能,且所述多个波导被配置成朝向所述显示表面引导来自所述多个能量位置的所述电磁能以用于投影到所述观众,且
其中每一传播路径对应于所述多个能量位置中的能量位置,且每一传播路径的方向是基于其所发射自的所述能量位置的定位。
22.根据权利要求20所述的LF显示系统,其进一步包括:
第二多个波导,其被配置成从所述能量装置接收表示额外内容的第二类型的能量,且沿着第二多个传播路径从所述显示表面朝向所述观众投影所述第二类型的能量。
23.根据权利要求22所述的LF显示系统,其中所述第一多个波导和所述第二多个波导是交织的。
24.根据权利要求20所述的LF显示系统,其进一步包括:
第二多个波导,其被配置成从所述显示表面接收第二类型的能量,且朝向所述能量位置转换所述第二类型的能量。
25.根据权利要求24所述的LF显示系统,其进一步包括被配置成接收所述第二类型的能量的多个能量位置,且其中:
在所述显示表面处从多条入射路径接收所述第二类型的能量;
所述第二多个波导将所述第二类型的能量从所述显示表面引导到被配置成接收所述第二类型的能量的所述多个能量位置,且
被配置成接收所述第二类型的能量的所述多个能量位置中的每一能量位置对应于所述多条入射路径中的入射路径。
26.根据权利要求1所述的LF显示系统,其进一步包括:
能量中继器中的一个或多个,其被配置成将由所述能量装置生成的表示全息内容的电磁能中继到一个或多个能量表面。
27.根据权利要求26所述的LF显示系统,其中所述一个或多个能量表面基本上是无缝的。
28.根据权利要求26所述的LF显示系统,其中
所述能量中继器中的一个或多个被配置成将表示额外内容的第二类型的能量从所述能量装置中继到所述一个或多个能量表面。
29.根据权利要求28所述的LF显示系统,其中被配置成中继电磁能的所述能量中继器和被配置成中继所述第二类型的能量的所述能量中继器是交织的。
30.根据权利要求26所述的LF显示系统,其中
所述能量中继器中的能量中继器被配置成将第二类型的能量从所述能量表面中继到所述能量装置。
31.60*10根据权利要求1所述的LF显示系统,其中所述多个能量装置包括:
一个或多个电磁能装置,其生成用于作为全息内容投影给所述观众的电磁能。
32.根据权利要求1所述的LF显示系统,其中所述多个能量装置包括:
一个或多个超声能量源,其被配置成生成用于作为一个或多个体触觉表面呈现给所述观众的超声能量。
33.根据权利要求1所述的LF显示系统,所述多个能量装置包括:
静电扬声器阵列,其联接到多个波导元件,所述静电扬声器阵列包括:
至少一个透明膜,其被配置成在被驱动时生成声能,以及
多个电极,其被配置成声学地驱动所述透明膜,所述多个电极中的每一电极位于所述多个波导元件中的一个或多个波导元件之间。
34.根据权利要求1所述的LF显示系统,所述多个能量装置包括:
一个或多个能量传感器,其被配置成感测入射在所述一个或多个显示表面上的能量。
35.根据权利要求34所述的LF显示系统,其中所述一个或多个能量传感器被配置成从入射在所述显示表面上的电磁能捕获光场。
36.根据权利要求35所述的LF显示系统,其中所述LF显示组合件被配置成同时投影全息内容且捕获光场。
37.根据权利要求1所述的LF显示系统,其进一步包括:
跟踪系统,其被配置成获得关于观看所述全息内容的观看者的信息。
38.根据权利要求27所述的LF显示系统,其中由所述跟踪系统获得的所述信息包含:
观看者对全息内容的响应,以及
观看所述全息内容的观看者的特性。
39.根据权利要求37所述的LF显示系统,其中关于所述观看者的所述信息包含所述观看者的定位、所述观看者的移动、所述观看者的手势、所述观看者的表情、观看者的年龄、所述观看者的性别和所述观看者穿戴的衣服中的任一个。
40.根据权利要求37所述的LF显示系统,其中响应于由所述跟踪系统标识的一个或多个观看者的年龄、性别、偏好、定位、移动、手势或面部表情而更改由所述处理引擎生成的所述全息内容。
41.根据权利要求1所述的LF显示系统,其进一步包括:
观看者概况分析系统,其被配置成
标识观看由LF显示模块呈现的所述全息内容的观看者,以及
为所标识观看者中的每一个生成观看者简档。
42.根据权利要求41所述的LF显示系统,其中所述观看者概况分析系统被配置成标识观看者对所述全息内容的响应或观看所述全息内容的观看者的特性,且将所标识响应或特性包含在观看者简档中。
43.根据权利要求41所述的LF显示系统,其中所述观看者概况分析系统访问所述一个或多个所标识观看者的社交媒体账号以生成观看者简档。
44.根据权利要求41所述的LF显示系统,其中响应于观看由所述LF显示组合件显示的所述全息内容的观看者的一个或多个观看者简档而更改由所述处理引擎生成的所述全息内容。
45.根据权利要求1所述的LF显示系统,其中所述LF处理引擎被配置成部分地基于所述观众中标识的一个或多个观看者来创建所述全息内容,每一所标识观看者观看由所述LF显示系统显示的所述全息内容且与包含一个或多个特性的观看者简档相关联。
46.根据权利要求45所述的方法,其中所述特性包含所述观看者的定位、所述观看者的运动、所述观看者的手势、用户的面部表情、所述用户的性别、所述用户的年龄和所述用户的衣服中的任一个。
47.根据权利要求45所述的LF显示系统,其中所述处理引擎进一步包括:
处理器,其被配置成应用模型以:
使用由跟踪系统获得的信息标识观看所显示全息内容的所述一个或多个观看者中的特定观看者,
基于所标识特定用户的所述观看者简档标识所述特定观看者的一个或多个特性,
基于所标识特性确定所述特定观看者的偏好,以及
根据所确定偏好创建用于由所述LF显示系统呈现给所述特定观看者的全息内容。
48.根据权利要求46所述的LF显示系统,其中所述模型是用强化学习训练的神经网络。
49.根据权利要求46所述的LF显示系统,其中由所述LF显示模块呈现的所述全息内容为电影,且所创建全息内容增强了所述电影。
50.根据权利要求1所述的LF显示系统,其中所述LF显示组合件进一步包括:
多个LF显示模块,每一模块包含所述能量装置中的一个或多个和所述显示表面中的一个或多个,且其中所述多个LF显示模块形成无缝显示表面。
51.根据权利要求50所述的LF显示系统,其中所述无缝显示表面的表面区域大于单个LF显示模块的所述显示表面的表面区域。
52.一种光场(LF)显示系统,其包括:
处理引擎,其被配置成生成用于由光场显示组合件显示的全息内容;以及
光场显示组合件,其包括:
一个或多个能量装置,其被配置成生成从所述处理引擎接收的所述全息内容,
多个显示表面位置,每一表面位置被配置成投影所述全息内容的一部分,所述多个显示表面位置包括:
所述显示表面位置的第一子集,其被配置成相对于原始投影角度以偏转角投影所述全息内容的第一部分。
53.根据权利要求52所述的LF显示系统,其中所述偏转角是从显示表面位置的所述第一子集投影的全息内容的所述部分的多个投影路径的量度。
54.根据权利要求52所述的LF显示系统,其中所述偏转角是从显示表面位置的所述第一子集投影的全息内容的所述部分的多个投影路径的平均偏转。
55.根据权利要求52所述的LF显示系统,其中所述偏转角是从显示表面位置的所述第一子集投影的全息内容的所述部分的所述投影路径的中间偏转。
56.根据权利要求52所述的LF显示系统,其中对于以所述偏转角偏转的所述全息内容的所述部分,所述偏转角基本上不为零。
57.根据权利要求52所述的LF显示系统,其中所述偏转角为全息内容的所述部分的所述多个投影路径的光轴相对于投影全息内容的所述部分的剩余显示表面位置的光轴的角度。
58.根据权利要求57所述的LF显示系统,其中每一显示表面位置的所述光轴为从所述显示表面位置投影的所述全息内容的多个投影路径的对称轴。
59.根据权利要求52所述的LF显示系统,其中所述原始投影角度为所述光场显示组合件的表面的法线。
60.根据权利要求52所述的LF显示系统,其中所述原始投影角度为从除了显示表面位置的所述第一子集之外的所述多个显示表面位置投影的所述全息内容的多个投影路径的量度。
61.根据权利要求52所述的LF显示系统,其中所述原始投影角度为所述LF显示组合件的显示表面的法线。
62.根据权利要求52所述的LF显示系统,其中所述原始投影角度为除了所述显示表面位置的所述第一子集之外的所述显示表面位置的所述光轴的角度。
63.根据权利要求52所述的LF显示系统,其中所述偏转角是基于显示表面位置的所述第一子集在所述光场显示组合件上的定位。
64.根据权利要求52所述的LF显示系统,其中所述偏转角跨越所述LF显示组合件的显示表面基本上连续地变化。
65.根据权利要求52所述的LF显示系统,其中由显示表面位置的所述第一子集投影的全息内容的所述第一部分是以某一偏转角朝向观众投影。
66.根据权利要求52所述的LF显示系统,其中
全息内容的所述第一部分是相对于所述原始投影角度以所述偏转角投影,使得能从第一视场观看全息内容的所述第一部分,且
能从第二视场观看以所述原始投影角度投影的全息内容。
67.根据权利要求66所述的LF显示系统,其中所述第一视场和所述第二视场基本上不同。
68.根据权利要求1所述的LF显示系统,其中以所述偏转投影全息内容的所述第一部分实现以下各项中的至少一个:
视场大于平面视场;
所述观众中的至少一观看体相比平面阈值间隔更接近无缝显示表面;以及
至少一个全息对象相比平面阈值接近度更接近所述观看体。
69.根据权利要求52所述的LF显示系统,其中所述多个显示表面位置进一步包括:
所述显示表面位置的第二子集,其被配置成相对于所述原始投影角度以额外偏转角投影所述全息内容的第二部分。
70.根据权利要求69所述的LF显示系统,其中
显示表面位置的所述第二子集投影全息内容的所述第二部分,使得能从第二视场观看所述第二部分且能从第一视场观看全息内容的所述第一部分。
71.根据权利要求70所述的LF显示系统,其中所述第一视场和所述第二视场不同。
72.根据权利要求70所述的LF显示系统,其中所述第一视场和所述第二视场基本上类似。
73.根据权利要求69所述的LF显示系统,其中所述偏转角不同于所述额外偏转角。
74.根据权利要求52所述的LF显示系统,其进一步包括:
显示表面,其包括所述多个显示表面位置,所述显示表面进一步包括:
中心表面,其基本上面向所述观众定位,所述中心表面是竖直平面;
一个或多个侧表面,其相对于所述竖直平面以一定角度邻近于所述中心表面定位;且
其中所述中心表面和所述一个或多个侧表面包含所述显示表面的至少一部分。
75.根据权利要求74所述的LF显示系统,其中所述竖直平面具有水平轴线和竖直轴线,且侧面板沿着所述水平轴线邻近于中心面板。
76.根据权利要求74所述的LF显示系统,其中所述竖直平面具有水平轴线和竖直轴线,且所述侧面板沿着所述竖直轴线邻近于所述中心面板。
77.根据权利要求74所述的LF显示系统,其中所述偏转角被应用于从所述中心表面和所述一个或多个侧表面中的至少一个投影的所述全息内容的所述部分。
78.根据权利要求74,其中以一定角度放置所述一个或多个侧表面实现以下各项中的至少一个:
所述观众的视场大于平面视场;
所述观众中的至少一个观看体相比平面阈值间隔更接近所述无缝显示表面;以及
至少一个全息对象相比平面阈值接近度更接近所述观看体。
79.根据权利要求52所述的LF显示系统,其进一步包括:
光学系统,其包含多个光学元件,所述多个光学元件被配置成对于以所述偏转角偏转的所述全息内容的所述第一部分,将以所述原始投影角度投影的全息内容的所述第一部分重引导到所述偏转角。
80.根据权利要求79所述的LF显示系统,其中所述光学系统联接到所述LF显示系统。
81.根据权利要求1所述的LF显示系统,其进一步包括:
多个波导,其被配置成将由所述能量装置生成的所述全息内容从所述多个能量表面位置中继到显示表面。
82.一种LF显示系统,其包括:
网络接口,其被配置成通过网络连接接收全息内容,所述全息内容用于作为电磁能显示给观众;以及
光场显示组合件,其包括:
一个或多个显示表面,其被配置成投影全息内容;以及
一个或多个能量装置,其被配置成从所述网络接口接收全息内容,且生成所述电磁能以通过所述显示表面将所述电磁能作为全息内容投影给观众。
83.根据权利要求82所述的LF显示系统,其进一步包括:
解码器,其被配置成将所述全息内容解码成能由所述LF显示组合件呈现的格式。
84.根据权利要求82所述的LF显示系统,其进一步包括:
处理器,其存储计算机指令,所述计算机指令在被执行时使得所述处理器:
通过所述网络接口从所述网络连接接收呈第一格式的全息内容;以及
将呈所述第一格式的全息数据解码为呈第二格式的全息内容。
85.根据权利要求84所述的LF显示系统,其中所述第一格式是向量化数据格式且所述第二格式是光栅化数据格式。
86.根据权利要求84所述的LF显示系统,其中所述计算机指令在被执行时进一步使得所述处理器:
确定所述LF显示系统的硬件配置;以及
基于所述硬件配置将所述全息内容解码为所述第二格式。
87.根据权利要求84所述的LF显示系统,其中所述计算机指令在被执行时进一步使得所述处理器:
确定电影院的布局;
基于所述电影院的所述布局将所述全息内容解码为所述第二格式。
88.根据权利要求84所述的LF显示系统,其中所述计算机指令在被执行时进一步使得所述处理器:
确定所述LF显示组合件的配置,所述配置包含以下各项中的任一个:
分辨率,
角度范围,
视场,以及
显示区域。
89.根据权利要求82所述的LF显示系统,其进一步包括:
权限管理模块,其被配置成管理通过所述网络接收的全息内容的数字权限,所述数字权限管理模块允许所述LF显示组合件投影所述权限管理模块具有数字密钥的全息内容。
90.根据权利要求82所述的LF显示系统,其中通过所述网络从连接到所述LF显示系统的全息内容存储库接收所述全息内容。
91.根据权利要求90所述的LF显示系统,其中响应于所述LF显示系统通过所述网络将所述全息内容的支付传输到所述全息内容存储库,从所述全息内容存储库接收所述全息内容。
92.根据权利要求82所述的LF显示系统,其中从全息内容生成系统接收所述全息内容,所述全息内容生成系统被配置成
记录现场演出,
将所述现场演出的所述记录转换成全息内容,以及通过所述网络将转换后的全息内容传输到LF显示系统。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/362,993 US11212514B2 (en) | 2019-03-25 | 2019-03-25 | Light field display system for cinemas |
US16/362,993 | 2019-03-25 | ||
PCT/US2020/021998 WO2020197765A1 (en) | 2019-03-25 | 2020-03-11 | Light field display system for cinemas |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113677411A true CN113677411A (zh) | 2021-11-19 |
Family
ID=72604445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080023779.2A Pending CN113677411A (zh) | 2019-03-25 | 2020-03-11 | 用于电影院的光场显示系统 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11212514B2 (zh) |
EP (1) | EP3946665A4 (zh) |
JP (1) | JP2022528035A (zh) |
KR (1) | KR20210143208A (zh) |
CN (1) | CN113677411A (zh) |
WO (1) | WO2020197765A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298921B1 (en) | 2018-02-27 | 2019-05-21 | Looking Glass Factory, Inc. | Superstereoscopic display with enhanced off-angle separation |
US11428933B2 (en) * | 2019-05-13 | 2022-08-30 | Light Field Lab, Inc. | Light field display system for performance events |
KR20220045166A (ko) * | 2019-08-09 | 2022-04-12 | 라이트 필드 랩 인코포레이티드 | 라이트필드 디스플레이 시스템 기반 디지털 사이니지 시스템 |
WO2021077078A1 (en) * | 2019-10-18 | 2021-04-22 | Looking Glass Factory, Inc. | System and method for lightfield capture |
WO2021237065A1 (en) * | 2020-05-21 | 2021-11-25 | Looking Glass Factory, Inc. | System and method for holographic image display |
WO2021262860A1 (en) | 2020-06-23 | 2021-12-30 | Looking Glass Factory, Inc. | System and method for holographic communication |
WO2022119940A1 (en) | 2020-12-01 | 2022-06-09 | Looking Glass Factory, Inc. | System and method for processing three dimensional images |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018014036A (ja) * | 2016-07-22 | 2018-01-25 | 沖電気工業株式会社 | データベースシステム、データ処理プログラム、及びデータ処理方法 |
JP2018014009A (ja) * | 2016-07-22 | 2018-01-25 | 日東工業株式会社 | 計測システム |
US20190041797A1 (en) * | 2017-08-02 | 2019-02-07 | Dualitas Ltd. | Holographic projector |
Family Cites Families (112)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2251700B (en) | 1990-11-30 | 1994-08-24 | Combined Optical Ind Ltd | Multiple array lens |
NL192610C (nl) | 1990-12-13 | 1997-11-04 | Enschede & Zonen Grafisch | Beelddrager en werkwijze voor het op een beelddrager drukken van een beeld. |
US5481385A (en) | 1993-07-01 | 1996-01-02 | Alliedsignal Inc. | Direct view display device with array of tapered waveguide on viewer side |
US5822125A (en) | 1996-12-20 | 1998-10-13 | Eastman Kodak Company | Lenslet array system |
US6680761B1 (en) | 2000-01-24 | 2004-01-20 | Rainbow Displays, Inc. | Tiled flat-panel display having visually imperceptible seams, optimized for HDTV applications |
US6556280B1 (en) | 2000-09-19 | 2003-04-29 | Optical Switch Corporation | Period reconfiguration and closed loop calibration of an interference lithography patterning system and method of operation |
US6563648B2 (en) | 2000-10-20 | 2003-05-13 | Three-Five Systems, Inc. | Compact wide field of view imaging system |
JP3429282B2 (ja) | 2001-02-02 | 2003-07-22 | リサーチ・インターナショナル・インコーポレーテッド | 自動化されたシステム、及びサンプルの分析方法 |
TW200402012A (en) | 2002-07-23 | 2004-02-01 | Eastman Kodak Co | OLED displays with fiber-optic faceplates |
AU2003279127A1 (en) | 2002-10-03 | 2004-04-23 | Massachusetts Institute Of Technology | Method for fabrication of diffractive optical elements for maskless lithography |
FR2861183B1 (fr) | 2003-10-15 | 2006-01-21 | Thales Sa | Elements d'optique diffractive de type binaire pour une utilisation sur une large bande spectrale |
US20050243275A1 (en) | 2004-04-30 | 2005-11-03 | Curatu Eugene O | Wavefront sensor and relay for optical measurement and associated methods |
US20060028459A1 (en) | 2004-08-03 | 2006-02-09 | Silverbrook Research Pty Ltd | Pre-loaded force sensor |
US7490941B2 (en) * | 2004-08-30 | 2009-02-17 | California Institute Of Technology | Three-dimensional hologram display system |
US7329982B2 (en) | 2004-10-29 | 2008-02-12 | 3M Innovative Properties Company | LED package with non-bonded optical element |
US20060191566A1 (en) | 2005-02-28 | 2006-08-31 | Applied Optical Materials | Solar concentrator system using photonic engineered materials |
US7843449B2 (en) * | 2006-09-20 | 2010-11-30 | Apple Inc. | Three-dimensional display system |
EP1994768A2 (en) | 2006-03-15 | 2008-11-26 | Zebra Imaging, Inc. | Dynamic autostereoscopic displays |
US20080144174A1 (en) | 2006-03-15 | 2008-06-19 | Zebra Imaging, Inc. | Dynamic autostereoscopic displays |
JP2008113288A (ja) * | 2006-10-31 | 2008-05-15 | Seiko Epson Corp | 静電型超音波トランスデューサ、静電型超音波トランスデューサの製造方法、超音波スピーカ、表示装置、および指向性音響システム |
US7710845B2 (en) | 2007-02-09 | 2010-05-04 | Sanyo Electric Co., Ltd. | Holographic memory and holographic recording apparatus |
US8218211B2 (en) | 2007-05-16 | 2012-07-10 | Seereal Technologies S.A. | Holographic display with a variable beam deflection |
US10108146B2 (en) | 2007-08-11 | 2018-10-23 | Massachusetts Institute Of Technology | Anisotropic leaky-mode modulator for holographic video displays |
US20140300695A1 (en) | 2007-08-11 | 2014-10-09 | Massachusetts Institute Of Technology | Full-Parallax Acousto-Optic/Electro-Optic Holographic Video Display |
US8149265B2 (en) | 2007-08-11 | 2012-04-03 | Massachusetts Institute Of Technology | Holographic video display system |
DE102007042984A1 (de) | 2007-09-10 | 2009-03-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur optischen Navigation |
EP2063648A1 (en) * | 2007-11-24 | 2009-05-27 | Barco NV | Sensory unit for a 3-dimensional display |
US20100156895A1 (en) * | 2008-10-26 | 2010-06-24 | Zebra Imaging, Inc. | Processing Pre-recorded Hogel Data |
WO2010124028A2 (en) | 2009-04-21 | 2010-10-28 | Vasylyev Sergiy V | Light collection and illumination systems employing planar waveguide |
US9083958B2 (en) | 2009-08-06 | 2015-07-14 | Qualcomm Incorporated | Transforming video data in accordance with three dimensional input formats |
KR101600010B1 (ko) | 2009-09-22 | 2016-03-04 | 삼성전자주식회사 | 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법 |
EP2488912B1 (en) | 2009-10-12 | 2019-07-24 | The Trustees Of Columbia University In The City Of New York | Waveguide comprising photonic crystal for outcoupling light of specific wavelengths |
US8587498B2 (en) * | 2010-03-01 | 2013-11-19 | Holovisions LLC | 3D image display with binocular disparity and motion parallax |
US8334889B2 (en) * | 2010-03-18 | 2012-12-18 | Tipd, Llc | Auto stereoscopic 3D telepresence using integral holography |
KR101756910B1 (ko) | 2010-05-11 | 2017-07-26 | 삼성전자주식회사 | 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 |
WO2011158752A1 (ja) | 2010-06-15 | 2011-12-22 | シャープ株式会社 | 表示装置およびその製造方法 |
US8667519B2 (en) * | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
US9179134B2 (en) | 2011-01-18 | 2015-11-03 | Disney Enterprises, Inc. | Multi-layer plenoptic displays that combine multiple emissive and light modulating planes |
US20120268950A1 (en) | 2011-04-22 | 2012-10-25 | Parkyn William A | Wide-Angle Non-Imaging Illumination Lens Arrayable for Close Planar Targets |
US9640170B2 (en) | 2011-05-04 | 2017-05-02 | Thornton Tomasetti, Inc. | Acoustically transparent and acoustic wave steering materials for acoustic cloaking and methods of fabrication thereof |
JP2014522591A (ja) | 2011-05-25 | 2014-09-04 | サード ディメンション アイピー リミテッド ライアビリティー カンパニー | 角スライス実像3dディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法 |
EP2721553B1 (en) | 2011-06-15 | 2017-02-22 | Hewlett-Packard Development Company, L.P. | Security image printing |
CN102231044A (zh) | 2011-06-29 | 2011-11-02 | 浙江大学 | 基于多屏拼接的体视三维显示装置 |
US8468752B2 (en) | 2011-07-20 | 2013-06-25 | Calvin Lin | Prefabricated structural parts for creating a small structure |
EP2551827A3 (en) | 2011-07-28 | 2017-08-02 | Sony Mobile Communications AB | Presenting three dimensional depth |
US8525829B2 (en) | 2011-09-19 | 2013-09-03 | Disney Enterprises, Inc. | Transparent multi-view mask for 3D display systems |
US8593564B2 (en) | 2011-09-22 | 2013-11-26 | Apple Inc. | Digital camera including refocusable imaging mode adaptor |
US8917453B2 (en) | 2011-12-23 | 2014-12-23 | Microsoft Corporation | Reflective array waveguide |
US20130176407A1 (en) * | 2012-01-05 | 2013-07-11 | Reald Inc. | Beam scanned display apparatus and method thereof |
US9612395B2 (en) | 2012-01-26 | 2017-04-04 | Corning Incorporated | Optical fiber with a variable refractive index profile |
US8953012B2 (en) | 2012-02-13 | 2015-02-10 | Raytheon Company | Multi-plenoptic system with image stacking and method for wide field-of-regard high-resolution imaging |
US8761534B2 (en) | 2012-02-16 | 2014-06-24 | Ricoh Co., Ltd. | Optimization of plenoptic imaging systems |
CN102591124A (zh) | 2012-02-21 | 2012-07-18 | 浙江大学 | 基于拼接光场的横向大视场三维显示方法及系统 |
KR20130112541A (ko) | 2012-04-04 | 2013-10-14 | 삼성전자주식회사 | 플레놉틱 카메라 장치 |
GB201208088D0 (en) * | 2012-05-09 | 2012-06-20 | Ncam Sollutions Ltd | Ncam |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9841563B2 (en) | 2012-08-04 | 2017-12-12 | Paul Lapstun | Shuttered waveguide light field display |
US9860522B2 (en) | 2012-08-04 | 2018-01-02 | Paul Lapstun | Head-mounted light field display |
US8754829B2 (en) | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
US9703019B2 (en) | 2012-08-28 | 2017-07-11 | President And Fellows Of Harvard College | Adaptive optic and acoustic devices |
US9070050B2 (en) * | 2012-12-20 | 2015-06-30 | Rovi Guides, Inc. | Methods and systems for customizing a plenoptic media asset |
AU2014204252B2 (en) | 2013-01-03 | 2017-12-14 | Meta View, Inc. | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
US9417762B2 (en) | 2013-01-09 | 2016-08-16 | Northrop Grumman Systems Corporation | System and method for providing a virtual immersive environment |
WO2014144989A1 (en) * | 2013-03-15 | 2014-09-18 | Ostendo Technologies, Inc. | 3d light field displays and methods with improved viewing angle depth and resolution |
US9310769B2 (en) * | 2013-03-28 | 2016-04-12 | Disney Enterprises, Inc. | Coarse integral holographic display |
US10062210B2 (en) | 2013-04-24 | 2018-08-28 | Qualcomm Incorporated | Apparatus and method for radiance transfer sampling for augmented reality |
US20160070059A1 (en) | 2013-05-01 | 2016-03-10 | Corning Incorporated | Random air line rod |
WO2014188149A1 (en) | 2013-05-20 | 2014-11-27 | Milan Momcilo Popovich | Holographic waveguide eye tracker |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9464001B2 (en) | 2013-06-18 | 2016-10-11 | California Institute Of Technology | Engineered aggregates for metamaterials |
US9304492B2 (en) | 2013-10-31 | 2016-04-05 | Disney Enterprises, Inc. | Scalable and tileable holographic displays |
CN103616770B (zh) | 2013-12-12 | 2016-02-17 | 北京理工大学 | 基于多投影机和透射式散射屏幕的周视三维显示装置 |
US9615068B2 (en) | 2014-01-15 | 2017-04-04 | Disney Enterprises, Inc. | Optical vortex 3D displays |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
KR102205419B1 (ko) | 2014-02-04 | 2021-01-21 | 삼성디스플레이 주식회사 | 커브드 백라이트 어셈블리 및 이를 갖는 커브드 표시장치 |
US9482796B2 (en) | 2014-02-04 | 2016-11-01 | California Institute Of Technology | Controllable planar optical focusing system |
CN103777455B (zh) | 2014-02-25 | 2016-08-17 | 浙江大学 | 基于光场拼接的球形沉浸式三维显示方法及系统 |
US9465361B2 (en) | 2014-03-31 | 2016-10-11 | Disney Enterprises, Inc. | Image based multiview multilayer holographic rendering algorithm |
US20160014395A1 (en) | 2014-07-10 | 2016-01-14 | Arete Associates | Data fusion processing to identify obscured objects |
EP3663849A1 (en) | 2014-07-31 | 2020-06-10 | Vuzix Corporation | Image and wave field projection through diffusive media |
CN105334690B (zh) | 2014-08-14 | 2018-07-27 | 台达电子工业股份有限公司 | 环绕光场显示器及其操作方法 |
US20160070356A1 (en) * | 2014-09-07 | 2016-03-10 | Microsoft Corporation | Physically interactive manifestation of a volumetric space |
GB2530036A (en) * | 2014-09-09 | 2016-03-16 | Ultrahaptics Ltd | Method and apparatus for modulating haptic feedback |
WO2016046514A1 (en) | 2014-09-26 | 2016-03-31 | LOKOVIC, Kimberly, Sun | Holographic waveguide opticaltracker |
JP6602867B2 (ja) | 2014-12-22 | 2019-11-06 | サイバーオプティクス コーポレーション | 三次元計測システムの校正を更新する方法 |
US9544583B2 (en) | 2015-01-09 | 2017-01-10 | Ricoh Company, Ltd. | Object space calibration of plenoptic imaging systems |
US9740169B2 (en) | 2015-03-19 | 2017-08-22 | Disney Enterprises, Inc. | Holographic high power illumination distribution system |
US10591869B2 (en) * | 2015-03-24 | 2020-03-17 | Light Field Lab, Inc. | Tileable, coplanar, flat-panel 3-D display with tactile and audio interfaces |
US9602047B2 (en) | 2015-03-24 | 2017-03-21 | Ecole Polytechnique Federale De Lausanne (Eplf) | Self-tracking solar concentrator device |
US9712810B2 (en) | 2015-06-03 | 2017-07-18 | Disney Enterprises, Inc. | Tracked automultiscopic 3D tabletop display |
US10070106B2 (en) * | 2015-06-17 | 2018-09-04 | Texas Instruments Incorporated | Optical system designs for generation of light fields using spatial light modulators |
US11231544B2 (en) | 2015-11-06 | 2022-01-25 | Magic Leap, Inc. | Metasurfaces for redirecting light and methods for fabricating |
WO2017127897A1 (en) | 2016-01-27 | 2017-08-03 | Paul Lapstun | Shuttered waveguide light field display |
CN108885352B (zh) * | 2016-01-29 | 2021-11-23 | 奇跃公司 | 三维图像的显示 |
GB2550137A (en) * | 2016-05-09 | 2017-11-15 | Euro Electronics (Uk) Ltd | Method and apparatus for tiles light field display |
NZ743841A (en) | 2016-07-15 | 2018-12-21 | Light Field Lab Inc | Energy propagation and transverse anderson localization with two-dimensional, light field and holographic relays |
WO2018014045A2 (en) | 2016-07-15 | 2018-01-18 | Light Field Lab, Inc. | Method of calibration for holographic energy directing systems |
WO2018014046A1 (en) | 2016-07-15 | 2018-01-18 | Light Field Lab, Inc. | Encoded energy waveguides for holographic super resolution |
US10154253B2 (en) | 2016-08-29 | 2018-12-11 | Disney Enterprises, Inc. | Multi-view displays using images encoded with orbital angular momentum (OAM) on a pixel or image basis |
US10373452B2 (en) * | 2016-11-29 | 2019-08-06 | Immersion Corporation | Targeted haptic projection |
US10488651B2 (en) | 2017-04-10 | 2019-11-26 | California Institute Of Technology | Tunable elastic dielectric metasurface lenses |
CN106873341B (zh) * | 2017-04-19 | 2022-11-04 | 京东方科技集团股份有限公司 | 一种全息显示装置及其驱动方法、展示柜 |
WO2018200417A1 (en) | 2017-04-24 | 2018-11-01 | Pcms Holdings, Inc. | Systems and methods for 3d displays with flexible optical layers |
US10803832B2 (en) | 2017-08-01 | 2020-10-13 | Samsung Electronics Co., Ltd. | Synchronizing holographic displays and 3D objects with physical video panels |
US10310610B2 (en) * | 2017-10-19 | 2019-06-04 | Facebook Technologies, Llc | Haptic device for artificial reality systems |
US10560689B2 (en) | 2017-11-28 | 2020-02-11 | Paul Lapstun | Viewpoint-optimized light field display |
JP2021508383A (ja) * | 2017-12-18 | 2021-03-04 | レイア、インコーポレイテッドLeia Inc. | マルチビーム素子ベースのヘッドアップディスプレイ、システム、および方法 |
US20190197789A1 (en) * | 2017-12-23 | 2019-06-27 | Lifeprint Llc | Systems & Methods for Variant Payloads in Augmented Reality Displays |
US11650354B2 (en) | 2018-01-14 | 2023-05-16 | Light Field Lab, Inc. | Systems and methods for rendering data from a 3D environment |
US11451875B2 (en) * | 2018-06-04 | 2022-09-20 | Samsung Electronics Co., Ltd. | Machine learning-based approach to demographic attribute inference using time-sensitive features |
CN112823299B (zh) * | 2018-10-01 | 2024-03-29 | 镭亚股份有限公司 | 全息现实系统、多视图显示器和方法 |
US11330251B2 (en) * | 2019-01-16 | 2022-05-10 | International Business Machines Corporation | Defining a holographic object allowance area and movement path |
-
2019
- 2019-03-25 US US16/362,993 patent/US11212514B2/en active Active
-
2020
- 2020-03-11 CN CN202080023779.2A patent/CN113677411A/zh active Pending
- 2020-03-11 KR KR1020217031897A patent/KR20210143208A/ko unknown
- 2020-03-11 WO PCT/US2020/021998 patent/WO2020197765A1/en unknown
- 2020-03-11 EP EP20780014.5A patent/EP3946665A4/en active Pending
- 2020-03-11 JP JP2021556750A patent/JP2022528035A/ja active Pending
-
2021
- 2021-12-13 US US17/548,906 patent/US12022053B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018014036A (ja) * | 2016-07-22 | 2018-01-25 | 沖電気工業株式会社 | データベースシステム、データ処理プログラム、及びデータ処理方法 |
JP2018014009A (ja) * | 2016-07-22 | 2018-01-25 | 日東工業株式会社 | 計測システム |
US20190041797A1 (en) * | 2017-08-02 | 2019-02-07 | Dualitas Ltd. | Holographic projector |
Also Published As
Publication number | Publication date |
---|---|
US20200314415A1 (en) | 2020-10-01 |
US12022053B2 (en) | 2024-06-25 |
JP2022528035A (ja) | 2022-06-08 |
KR20210143208A (ko) | 2021-11-26 |
WO2020197765A1 (en) | 2020-10-01 |
US11212514B2 (en) | 2021-12-28 |
EP3946665A4 (en) | 2022-12-28 |
EP3946665A1 (en) | 2022-02-09 |
US20220210395A1 (en) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7536317B2 (ja) | 公演イベントのためのライトフィールドディスプレイシステム | |
US12022053B2 (en) | Light field display system for cinemas | |
CN113632457A (zh) | 包含全息内容的视频通信 | |
US11691066B2 (en) | Light field display system for sporting events | |
JP2022552770A (ja) | ライトフィールドディスプレイシステムに基づいたデジタルサイネージシステム発明者:ジョナサン・シャン・カラフィン、ブレンダン・エルウッド・ベベンシー、ジョン・ドーム | |
CN113811810A (zh) | 基于光场显示系统的商业系统 | |
JP2024147532A (ja) | 成人向けライトフィールドディスプレイシステム | |
CN114730081A (zh) | 用于游戏环境的光场显示系统 | |
JP2024156802A (ja) | 公演イベントのためのライトフィールドディスプレイシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |