CN114303105A - 基于光场显示系统的数字标牌系统 - Google Patents
基于光场显示系统的数字标牌系统 Download PDFInfo
- Publication number
- CN114303105A CN114303105A CN201980099775.XA CN201980099775A CN114303105A CN 114303105 A CN114303105 A CN 114303105A CN 201980099775 A CN201980099775 A CN 201980099775A CN 114303105 A CN114303105 A CN 114303105A
- Authority
- CN
- China
- Prior art keywords
- viewer
- display
- holographic
- display system
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001953 sensory effect Effects 0.000 claims abstract description 98
- 230000004044 response Effects 0.000 claims description 71
- 230000033001 locomotion Effects 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 28
- 238000009826 distribution Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 1
- 239000010410 layer Substances 0.000 description 138
- 238000012545 processing Methods 0.000 description 56
- 230000009471 action Effects 0.000 description 31
- 239000003795 chemical substances by application Substances 0.000 description 28
- 238000013473 artificial intelligence Methods 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 21
- 230000002787 reinforcement Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000012546 transfer Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 11
- 241001481833 Coryphaena hippurus Species 0.000 description 10
- 230000006399 behavior Effects 0.000 description 10
- 230000002452 interceptive effect Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000009877 rendering Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 239000000047 product Substances 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000002604 ultrasonography Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000008520 organization Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 238000006116 polymerization reaction Methods 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000004304 visual acuity Effects 0.000 description 4
- 241000287828 Gallus gallus Species 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 241000282320 Panthera leo Species 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000003205 fragrance Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000035943 smell Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2249—Holobject properties
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H3/00—Holographic processes or apparatus using ultrasonic, sonic or infrasonic waves for obtaining holograms; Processes or apparatus for obtaining an optical image from them
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/368—Image reproducers using viewer tracking for two or more viewers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0055—Adaptation of holography to specific applications in advertising or decorative art
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/05—Means for tracking the observer
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R19/00—Electrostatic transducers
- H04R19/02—Loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2217/00—Details of magnetostrictive, piezoelectric, or electrostrictive transducers covered by H04R15/00 or H04R17/00 but not provided for in any of their subgroups
- H04R2217/03—Parametric transducers where sound is generated or captured by the acoustic demodulation of amplitude modulated ultrasonic waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computer Hardware Design (AREA)
- Holo Graphy (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Controls And Circuits For Display Device (AREA)
- Electrostatic, Electromagnetic, Magneto- Strictive, And Variable-Resistance Transducers (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种光场(LF)显示系统在数字标牌应用的公共环境中向一个或多个观看者呈现全息内容。在一些实施例中,所述LF显示系统包含感觉反馈组合件、跟踪系统和/或观看者简档形成模块。所述感觉反馈组合件可包括感觉反馈装置,所述感觉反馈装置将感觉反馈以及所呈现的全息内容一起提供给所述LF显示系统的观看者。所述跟踪系统可包括相机,所述相机用于跟踪所述LF显示系统的所述观看者。基于观看者的跟踪位置和/或跟踪注视,所述LF显示系统可生成某些观看者可感知但其他观看者不可观看的全息内容。所述观看者简档形成模块可标识每个观看者以提供个性化的全息内容,且可进一步监测并记录观看者的行为以通知所述LF显示系统对全息内容的后续呈现。
Description
发明人:
乔纳森·肖恩·卡拉芬,
布伦丹·埃尔伍德·贝文西,
约翰·多姆
相关申请的交叉引用
本申请涉及国际申请第PCT/US2017/042275号、第PCT/US2017/042276、第PCT/US2017/042418号、第PCT/US2017/042452号、第PCT/US2017/042462号、第PCT/US2017/042466号、第PCT/US2017/042467号、第PCT/US2017/042468号、第PCT/US2017/042469号、第PCT/US2017/042470号和第PCT/US2017/042679号,所有所述国际申请通过全文引用的方式并入本文中。
背景技术
本公开涉及标牌系统,且确切地说,涉及基于光场显示(LF)的标牌系统。
常规的标牌系统向标牌系统的一个或多个观看者呈现视觉内容。常规的标牌系统通常可分为数字标牌系统和物理标牌系统。常规的物理标牌系统通常由可为二维(2-D)或三维(3-D)的物理对象构成,例如纸质标牌、广告牌、数字电子显示器、3-D印刷体字母、3-D雕塑等等。然而,许多常规的物理标牌系统难以呈现实时变化的动态内容。举例来说,物理标牌系统不能仅凭呈现电影的海报来呈现电影的预告片。常规的数字标牌系统通常由只能向一个或多个观看者呈现2-D视觉内容的数字显示屏构成。一般来说,常规的标牌系统只能呈现在常规的标牌系统的直接视线下从所有有利位置都可以看到的公共视觉内容。换句话说,常规的标牌系统的所有观看者在某个时间点看到相同的视觉内容,可能是从不同的角度。
发明内容
一种用于数字标牌应用的光场(LF)显示系统。所述用于数字标牌应用的LF显示系统配置成在公共环境中向一个或多个观看者呈现全息内容。公共环境可以是一个或多个观看者居住的任何公共区域。数字标牌应用中提供的全息内容可包含全息信息面板、实物商品的全息表示、全息广告、全息电影或视频等等。
LF显示系统包括控制器和LF显示组合件。控制器配置成生成全息内容。LF显示组合件包括一个或多个LF显示模块,所述LF显示模块配置成将全息对象体中的全息内容呈现给位于公共环境中的观看体的观看者。
LF显示系统具有跟踪系统,所述跟踪系统包含用于跟踪观看者在LF显示系统的观看体内的移动的一个或多个相机。LF显示系统部分地基于所跟踪的移动来确定观看者在观看体内。响应于确定观看者在观看体内,LF显示系统的LF显示组合件经由一个或多个LF显示模块在全息对象体中呈现可由观看体中的观看者观看的全息内容。
在一些实施例中,LF显示系统部分地基于一组参数而生成用于全息对象的显示指令。一个或多个光LF显示模块根据显示指令在观看体内呈现全息对象,其中所述全息对象是真实图像。LF显示系统可以进一步记录每个观看者的行为,所述行为可以通知全息对象的后续选择,以提供给每个观看者。在其它实施例中,LF显示系统可进一步标识观看体内的个别观看者。LF显示系统可以进一步基于所标识的观看者而生成显示指令。LF显示系统还可以从观看者接收一个或多个输入。LF显示系统可基于跟踪信息和/或所接收的输入而更新显示指令,以修改全息对象的呈现。LF显示组合件接着根据更新的显示指令用LF显示模块呈现修改后的全息对象。
附图说明
图1是根据一个或多个实施例的呈现全息对象的光场显示模块的图。
图2A是根据一个或多个实施例的光场显示模块的一部分的横截面。
图2B是根据一个或多个实施例的光场显示模块的一部分的横截面。
图3A是根据一个或多个实施例的光场显示模块的透视图。
图3B是根据一个或多个实施例的光场显示模块的横截面图。
图4A是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的光场显示系统的一部分的透视图。
图4B是根据一个或多个实施例的在多面无缝表面环境中的光场显示系统的一部分的透视图。
图4C是根据一个或多个实施例的具有处于翼状配置的聚合表面的光场显示系统的俯视图。
图4D是根据一个或多个实施例的具有处于倾斜配置的聚合表面的光场显示系统的侧视图。
图4E是根据一个或多个实施例的在房间的前壁上具有聚合表面的光场显示系统的俯视图。
图4F是根据一个或多个实施例的在房间的前壁上具有聚合表面的光场显示系统的侧视图。
图5A是根据一个或多个实施例的光场显示系统的框图。
图5B是根据一个或多个实施例的结合用于标牌的光场显示系统的光场标牌应用环境的框图。
图6是根据一个或多个实施例的在大型标牌系统中使用的基于光场显示系统的图示。
图7是根据一个或多个实施例的在小型标牌系统中使用的基于光场显示系统的图示。
附图仅出于展示的目的描绘了本发明的各个实施例。所属领域的技术人员将自以下论述容易认识到可在不偏离本文中所描述的本发明原则的情况下采用本文中所说明的结构及方法的替代实施例。
具体实施方式
概述
光场(LF)显示系统被实施为或作为标牌系统的组件,以向标牌系统的一个或多个观看者呈现全息内容。全息内容可包含一个或多个全息对象并且还可包含其它视觉内容(例如,二维或三维视觉内容)或感觉反馈内容的任何组合。全息对象包括利用一个或多个四维(4-D)光场函数生成的二维(2-D)对象、三维(3-D)对象或这两者。在标牌应用中提供的全息内容可包含全息信息面板、实物商品的全息表示、全息广告、全息电影或视频、全息故事等等。LF显示系统包括LF显示组合件。LF显示系统具有一个或多个LF显示模块,所述LF显示模块配置成在LF显示系统的观看体中将全息内容呈现给一个或多个观看者。LF显示系统提供的全息内容还可用于向标牌系统的一个或多个观看者传达信息。
在一些实施例中,LF显示系统具有感觉反馈组合件、跟踪系统、观看者简档形成模块或其任何组合。感觉反馈组合件含有一个或多个感觉反馈装置,所述感觉反馈装置将感觉反馈内容以及LF显示组合件呈现的全息内容一起提供给LF显示系统的一个或多个观看者。感觉反馈可能涵盖触觉反馈、音频反馈、风反馈和温度反馈,以增强呈现给LF显示系统的观看者的全息内容。跟踪系统含有一个或多个相机,所述相机用于跟踪LF显示系统的观看者。跟踪可涉及监测一个或多个观看者在LF显示系统的观看体内的位置或跟踪观看者的注视(即,监测观看者的响应)。在一个实施例中,LF显示系统可基于所监测的观看者的响应而确定印象的发生。举例来说,观看者注视可用于确定观看者的印象作为例如对全息对象的响应。基于观看者的位置和注视,LF显示系统可生成全息内容,所述全息内容可由观看体的一部分中的一个或多个观看者感知,但不可由所述部分外的其他人观看。观看者简档形成模块标识每个观看者以向每个观看者提供个性化的全息内容。观看者简档形成模块可进一步监测和记录观看者对全息内容的行为,以用于通知LF显示系统对全息内容的后续呈现。
在一些实施例中,LF显示系统在大型标牌系统中实施。LF显示系统可经设定大小以大于平均观看者。举例来说,LF显示系统可以实施为广告牌,以向经过LF显示系统的一个或多个观看者呈现全息内容。LF显示系统可紧邻车道、人行道或其组合而放置。LF显示系统可以放置在建筑物的一个或多个侧面上、运输车辆的一个或多个侧面上、组织或企业的内壁上、组织或企业的前台上、组织或企业的目录查询一体机上、公共场所的一个或多个标牌(例如,广告牌,海报等等)上,或放置在位于公共环境中的可用于数字标牌的任何其它表面上。观看者可包含车辆中的驾驶员或乘客和/或行人。LF显示系统可使用跟踪系统和观看者简档形成模块来记录观看者对全息内容的印象。在一些实施例中,LF显示系统在小型标牌系统中实施。LF显示系统的大小可经设定为与任何平均观看者的大小类似。LF显示系统可向一个或多个观看者呈现全息内容。类似地,LF显示系统可使用跟踪系统和观看者简档形成模块来记录观看者对全息内容的印象。另外,观看者简档形成模块可记录观看者对所呈现的全息内容的行为,以更新每个观看者的全息内容偏好。
光场显示系统概述
图1是根据一个或多个实施例的呈现全息对象120的LF显示模块110的图100。LF显示模块110是LF显示系统的一部分。LF显示系统使用一个或多个LF显示模块来呈现包含至少一个全息对象的全息内容。LF显示系统可向一个或多个观看者呈现全息内容。在一些实施例中,LF显示系统还可以用其它感觉内容(例如,触摸、音频、气味、温度等等)来增强全息内容。举例来说,如下文所论述,聚焦超声波的投影可以生成可以模拟全息对象中的一些或全部的表面的空中触觉。LF显示系统包含一个或多个LF显示模块110,并且下文关于图4A-4F、6和7详细地论述。
LF显示模块110是将全息对象(例如,全息对象120)呈现给一个或多个观看者(例如,观看者140)的全息显示器。LF显示模块110包含能量装置层(例如,发射电子显示器或声学投影装置)和能量波导层(例如,光学透镜阵列)。另外,LF显示模块110可以包含能量中继层,以用于将多个能量源或检测器组合在一起以形成单个表面。在高水平处,能量装置层生成能量(例如,全息内容),接着根据一个或多个四维(4-D)光场函数使用能量波导层将所述能量引导到空间中的区域。LF显示模块110还可以同时投影和/或感测一种或多种类型的能量。举例来说,LF显示模块110可能够在观看体中投影全息图像以及超声触觉表面,同时从观看体检测成像数据。LF显示模块110的操作在下文关于图2A-3B更详细地论述。
LF显示模块110使用一个或多个4-D光场函数(例如,从5-D全光函数导出)来在全息对象体160内生成全息对象。全息对象可以是三维(3-D)、二维(2-D)或其某一组合。此外,全息对象可以是多色的(例如,全色)。全息对象可以投影在屏幕平面前方、屏幕平面后方,或者被屏幕平面分开。可以呈现全息对象120,使得在全息对象体160内的任何地方都可以感知到所述全息对象。全息对象体160内的全息对象对观看者140来说可以看起来是漂浮在空间中的。
全息对象体160表示观看者140可以在其中感知全息对象的体。全息对象体160可以在显示区域150的表面前方延伸(即,朝向观看者140),使得全息对象可以呈现在显示区域150的平面前方。另外,全息对象体160可以在显示区域150的表面后方延伸(即,远离观看者140),从而允许将全息对象呈现为好像其在显示区域150的平面后方。换句话说,全息对象体160可以包含源自显示区域150的所有光线(例如,被投影),并且可以会聚以创建全息对象。本文中,光线可以在显示表面前方、显示表面处或显示表面后方的点处会聚。更简单地,全息对象体160涵盖观看者可以从中感知全息对象的所有体。
观看体130是空间的体,从所述空间可完全看到通过LF显示系统呈现在全息对象体160内的全息对象(例如,全息对象120)。可以将全息对象呈现在全息对象体160内,并在观看体130内对其进行观看,使得所述全息对象与实际对象没有区别。全息对象是通过投影与物理上存在时从对象表面生成的相同光线而形成的。
在一些情况下,全息对象体160和对应观看体130可以相对较小,使得其被设计用于单个观看者。在其它实施例中,如下文关于例如图4A-4F、6和7详细地论述,可以放大和/或平铺LF显示模块以创建较大的全息对象体以及可以容纳大范围观看者(例如,一到数千)的对应观看体。可以构建本公开中所呈现的LF显示模块,使得LF显示器的整个表面含有全息成像光学装置,没有无效或死角空间,并且不需要边框。在这些实施例中,LF显示模块可以被平铺,使得成像区域在LF显示模块之间的接缝上是连续的,并且使用眼睛的视敏度几乎无法检测到平铺的模块之间的结合线。值得注意的是,在一些配置中,尽管在本文中不详细地描述,但是显示表面的一些部分可以不包含全息成像光学装置。
观看体130的柔性大小和/或形状允许观看者在观看体130内不受约束。举例来说,观看者140可以移动到观看体130内的不同定位,并且从对应的视角看到全息对象120的不同视图。为了说明,参考图1,观看者140相对于全息对象120位于第一定位,使得全息对象120看起来是海豚的正面视图。观看者140可以相对于全息对象120移动到其它位置以看到海豚的不同视图。举例来说,观看者140可以移动使得他/她看到海豚的左侧、海豚的右侧等等,就非常像观看者140正在观看实际的海豚一样并且改变他/她与实际的海豚的相对定位以看到海豚的不同视图。在一些实施例中,全息对象120对于观看体130内的所有观看者可见,所有观看者到全息对象120的视线不受阻碍(即,未被对象/人阻挡)。这些观看者可以不受约束,使得其可以在观看体内四处移动以看到全息对象120的不同视角。因此,LF显示系统可以呈现全息对象,使得多个不受约束的观看者可以在现实世界空间中同时看到全息对象的不同视角,就好像全息对象是物理上存在的一样。
相比之下,常规显示器(例如,立体、虚拟现实、增强现实或混合现实)通常要求每个观看者穿戴某种外部装置(例如,3-D眼镜、近眼显示器或头戴式显示器)以看到内容。另外地和/或可替代地,常规的显示器可以要求观看者被约束到特定的观看定位(例如,在相对于显示器具有固定位置的椅子上)。举例来说,当观看由立体显示器展示的对象时,观看者总是聚焦在显示表面上,而不是聚焦在对象上,并且显示器将始终呈现对象的仅两个视图,所述视图将跟随试图在所述感知的对象周围移动的观看者,从而导致所述对象的感知失真。然而,利用光场显示器,通过LF显示系统呈现的全息对象的观看者不需要穿戴外部装置,也不必被限制在特定定位以看到全息对象。LF显示系统以观看者可见的方式呈现全息对象,与观看者可看见物理对象的方式几乎相同,而无需特殊的护目镜、眼镜或头戴式附件。此外,观看者可以从观看体内的任何位置观看全息内容。
值得注意的是,全息对象体160内的全息对象的潜在位置受体的大小的限制。为了增加全息对象体160的大小,可以增加LF显示模块110的显示区域150的大小和/或可以以形成无缝显示表面的方式将多个LF显示模块平铺在一起。无缝显示表面的有效显示区域大于各个LF显示模块的显示区域。下文关于图4A-4F、6和7论述与平铺LF显示模块相关的一些实施例。如图1所示,显示区域150是矩形的,从而导致全息对象体160是角锥形。在其它实施例中,显示区域可以具有某一其它形状(例如,六边形),这也影响对应的观看体的形状。
另外,尽管上文讨论聚焦于将全息对象120呈现在全息对象体160的位于LF显示模块110与观看者140之间的一部分内,但是LF显示模块110可以另外将内容呈现在显示区域150的平面后方的全息对象体160中。举例来说,LF显示模块110可以使显示区域150看起来是全息对象120正跳出的海洋表面。并且所显示的内容可以使得观看者140能够通过所显示的表面进行观看以看到水下的海洋生物。此外,LF显示系统可以生成在全息对象体160周围无缝地移动的内容,包含在显示区域150的平面后方和前方。
图2A示出根据一个或多个实施例的LF显示模块210的一部分的横截面200。LF显示模块210可以是LF显示模块110。在其它实施例中,LF显示模块210可以是显示区域形状与显示区域150不同的另一LF显示模块。在所示出的实施例中,LF显示模块210包含能量装置层220、能量中继层230和能量波导层240。LF显示模块210的一些实施例具有与此处所描述的组件不同的组件。举例来说,在一些实施例中,LF显示模块210不包含能量中继层230。类似地,可以以与此处所描述的方式不同的方式在组件之间分配功能。
此处所描述的显示系统呈现了复制现实世界中通常包围对象的能量的能量发射。此处,发射的能量从显示表面上的每个坐标指向特定的方向。换句话说,显示表面上的各个坐标充当发射的能量的投影位置。来自显示表面的定向能量使许多能量射线会聚,这由此可以创建全息对象。举例来说,对于可见光,LF显示器将从投影位置投影出可以会聚在全息对象体中的任何点处的非常多的光线,因此从定位成比被投影的对象更远的观看者的视角看,所述光线似乎来自定位在此空间的区域中的真实对象的表面。以此方式,LF显示器生成了从观看者的视角离开此对象表面的反射光线。观看视角可以在任何给定的全息对象上发生变化,并且观看者将看到所述全息对象的不同视图。
如本文所描述的,能量装置层220包含一个或多个电子显示器(例如,发射显示器,如OLED)和一个或多个其它能量投影和/或能量接收装置。能量装置层220可配置成提供多个能量源位置。所述一个或多个电子显示器配置成根据显示指令(例如,来自LF显示系统的控制器)显示内容。所述一个或多个电子显示器包含多个像素,每个像素具有独立受控的强度。可以在LF显示器中使用许多类型的商用显示器,如发射LED和OLED显示器。
能量装置层220还可以包含一个或多个声学投影装置和/或一个或多个声学接收装置。声学投影装置生成与全息对象250互补的一个或多个压力波。所生成的压力波可以是例如可听的、超声的或其某一组合。超声压力波阵列可以用于体触觉感觉(例如,在全息对象250的表面处)。可听压力波用于提供可以补充全息对象250的音频内容(例如,沉浸式音频)。举例来说,假设全息对象250是海豚,则可以使用一个或多个声学投影装置来(1)生成与海豚的表面并置的触觉表面,使得观看者可以触摸全息对象250;并且(2)提供与海豚发出的响声(如咔哒声、唧喳声或吱吱)相对应的音频内容。声学接收装置(例如,麦克风或麦克风阵列)可配置成监测LF显示模块210的局部区域内的超声和/或可听压力波。
能量装置层220还可包含一个或多个成像传感器。成像传感器可能对可见光波段中的光敏感,并且在一些情况下,可能对其它波段中的光(例如,红外线)敏感。成像传感器可以是例如互补金属氧化物半导体(CMOS)阵列、电荷耦合装置(CCD)、光电检测器阵列、捕获光的某一其它传感器或其某一组合。LF显示系统可以使用由一个或多个成像传感器捕获的数据来用于定位跟踪观看者的位置。
在一些配置中,能量中继层230在能量装置层220与能量波导层240之间中继能量(例如,电磁能量、机械压力波等等)。能量中继层230包含一个或多个能量中继元件260。每个能量中继元件包含第一表面265和第二表面270,并且其在两个表面之间中继能量。每个能量中继元件的第一表面265可以耦合到一个或多个能量装置(例如,电子显示器或声学投影装置)。能量中继元件可以由例如玻璃、碳、光纤、光学膜、塑料、聚合物或其某种组合构成。另外,在一些实施例中,能量中继元件可以调整在第一表面265与第二表面270之间通过的能量的放大率(增加或减少)。如果中继器提供放大率,则中继器可以采取被称为锥体的粘合锥形中继器的阵列的形式,其中锥体的一端的面积可以基本上大于相对端的面积。锥体的大端可以粘合在一起以形成无缝能量表面275。一个优点在于每个锥体的多个小端上都创建了空间,以容纳多个能量源的机械包膜,如多个显示器的边框。此另外的房间允许将能量源并排放置在小锥体侧上,其中每个能量源的有效区域将能量引导到小锥体表面中并中继到大无缝能量表面。使用锥形中继器的另一个优点是,在由锥体的大端形成的组合的无缝能量表面上没有非成像死空间。不存在边界或边框,并且因此然后可以根据眼睛的视敏度将无缝能量表面平铺在一起以形成几乎没有接缝的更大的表面。
相邻的能量中继元件的第二表面汇聚在一起以形成能量表面275。在一些实施例中,相邻的能量中继元件的边缘之间的间隔小于由具有例如20/40视力的人眼的视敏度所限定的最小可感知轮廓,使得能量表面275从观看体285内的观看者280的视角来看是有效地无缝的。
在一些实施例中,相邻的能量中继元件的第二表面与可以包含压力、热和化学反应中的一个或多个的处理步骤融合在一起,以这种方式在其之间不存在接缝。并且仍在其它实施例中,通过将连续的中继材料块的一侧模制成小锥体端的阵列来形成能量中继元件的阵列,每个能量中继元件配置成将能量从附接到小锥形端的能量装置传输到面积较大的从未细分的单个组合表面。
在一些实施例中,能量中继元件中的一个或多个能量中继元件展现出能量局部化,其中在基本上垂直于表面265和270的纵向方向上的能量传输效率远高于在垂直横向平面中的传输效率,并且其中在能量波在表面265与表面270之间传播时,能量密度在此横向平面中是高度局部的。能量的这种局部化使得能量分布(如图像)在这些表面之间高效地中继,而分辨率没有任何显著的损失。
能量波导层240包括多个能量波导,其中每个波导可配置成根据能量4-D光场函数将来自至少一个能量源位置的能量从显示表面投影到取决于能量源位置的至少一个特定方向中,以形成全息对象。能量传播方向(或路径)由至少由相对于波导的能量表面坐标位置确定的两个角度尺寸限定。波导与空间2-D坐标相关联。这些四个坐标一起形成一个4-D能量场。作为实例,对于电磁能量,能量波导层240中的波导元件将来自无缝能量表面275上的位置的光沿着不同的传播方向引导通过观看体285。在各种实例中,根据4-D光场函数将光进行引导以在全息对象体255内形成全息对象250。在一些实施例中,全息对象250的观看视角可部分地基于相对于全息对象体255内的全息对象250在观看体285中的观看者的位置而改变。
能量波导层240中的每个波导元件可以是例如由一个或多个元件构成的小透镜。在一些配置中,小透镜可以是正透镜。正透镜可以具有球形、非球形或自由形式的表面轮廓。另外,在一些实施例中,波导元件中的一些或全部波导元件可以包含一个或多个额外的光学组件。额外的光学组件可以是例如能量抑制结构,如挡板、正透镜、负透镜、球形透镜、非球形透镜、自由形式的透镜、液晶透镜、液体透镜、折射元件、衍射元件或其某一组合。在一些实施例中,小透镜和/或额外的光学组件中的至少一个能够动态地调整其光功率。举例来说,小透镜可以是液晶透镜或液体透镜。小透镜和/或至少一个额外的光学组件的表面轮廓的动态调整可以提供对从波导元件投影的光的额外的方向控制。
在所示出的实例中,LF显示器的全息对象体255具有由光线256和光线257形成的边界,但是可以由其它光线形成。全息对象体255是在能量波导层240前方(即,朝向观看者280)和在其后方(即,远离观看者280)两者延伸的连续的体。在所示出的实例中,用户可以感知的光线256和光线257以相对于显示表面的法线的最大角度从LF显示模块210的相对边缘投影,但是光线可以是其它投影的光线。光线限定了显示器的视场,且因此限定了全息观看体285的边界。在一些情况下,光线限定了全息观看体,在所述全息观看体中可以在没有渐晕的情况下(例如,理想的观看体)观看整个显示器。随着显示器的视场增加,光线256和光线257的会聚点将更靠近显示器。因此,具有较大视场的显示器允许观看者280在更近的观看距离处看到整个显示器。另外,光线256和257可以形成理想的全息对象体。可以在观看体285中的任何地方看到以理想全息对象体呈现的全息对象。
在一些实例中,可以将全息对象呈现给观看体285的仅一部分。换句话说,全息对象体可以被划分成任何数目的观看子体(例如,观看子体290)。另外,可以将全息对象投影到全息对象体255的外部。举例来说,全息对象251呈现在全息对象体255的外部。由于全息对象251呈现在全息对象体255之外,因此不能从观看体285中的每个位置对其进行观看。举例来说,全息对象251可以从观看子体290中的位置可见,但是从观看者280的位置不可见。
举例来说,转到图2B以示出从不同观看子体观看全息内容。图2B示出根据一个或多个实施例的LF显示模块的一部分的横截面200。图2B的横截面与图2A的横截面相同。然而,图2B示出从LF显示模块210投影的一组不同光线。光线256和光线257仍形成全息对象体255和观看体285。然而,如所展示,从LF显示模块210的顶部投影的光线和从LF显示模块210的底部投影的光线重叠以在观看体285内形成各个观看子体(例如,观看子体290A、290B、290C和290D)。第一观看子体(例如,290A)中的观看者可以能够感知在全息对象体255中呈现的全息内容,其它观看子体(例如,290B、290C和290D)中的观看者则无法进行感知。
更简单地,如图2A所示,全息对象体255是其中全息对象可以通过LF显示系统呈现的体,使得所述全息对象可以被观看体285中的观看者(例如,观看者280)感知。以此方式,观看体285是理想观看体的实例,而全息对象体255是理想对象体的实例。然而,在各种配置中,观看者可以在其它实例全息对象体中感知通过LF显示系统呈现的全息对象。更一般来说,当观看从LF显示模块投影的全息内容时,将应用“视线指南”。视线指南断言,由观看者的眼睛定位和正在被观看的全息对象形成的线必须与LF显示表面相交。
由于根据4-D光场函数呈现了全息内容,因此当观看通过LF显示模块210呈现的全息内容时,观看者280的每只眼睛看到全息对象250的不同视角。此外,在观看者280在观看体285内移动时,他/她还将看到全息对象250的不同视角,如同在观看体285内的其它观看者一样。如本领域普通技术人员将了解,4-D光场函数在本领域中是众所周知的,并且将不在本文中进一步详细描述。
如本文中更详细描述,在一些实施例中,LF显示器可以投影多于一种类型的能量。举例来说,LF显示器可以投影两种类型的能量,例如,机械能量和电磁能量。在此配置中,能量中继层230可以包含两个单独的能量中继器,所述能量中继器在能量表面275处交织在一起,但是被分离使得能量被中继到两个不同的能量装置层220。此处,一个中继器可以被配置成传输电磁能量,而另一个中继器可以被配置成传输机械能量。在一些实施例中,机械能量可以从能量波导层240上的电磁波导元件之间的位置投影,从而有助于形成抑制光从一个电磁波导元件传输到另一个的结构。在一些实施例中,能量波导层240还可以包含根据来自控制器的显示指令沿特定传播路径传输聚焦的超声的波导元件。
应注意,在替代实施例(未示出)中,LF显示模块210不包含能量中继层230。在此情况下,能量表面275是使用能量装置层220内的一个或多个相邻电子显示器形成的发射表面。并且在一些实施例中,在没有能量中继层的情况下,相邻电子显示器的边缘之间的间隔小于由具有20/40视力的人眼的视敏度所限定的最小可感知轮廓,使得能量表面从观看体285内的观看者280的视角来看是有效地无缝的。
LF显示模块
图3A是根据一个或多个实施例的LF显示模块300A的透视图。LF显示模块300A可以是LF显示模块110和/或LF显示模块210。在其它实施例中,LF显示模块300A可以是某一其它LF显示模块。在所示出的实施例中,LF显示模块300A包含能量装置层310和能量中继层320以及能量波导层330。LF显示模块300A配置成从显示表面365呈现全息内容,如本文所描述。为方便起见,显示表面365在LF显示模块300A的框架390上以虚线轮廓展示,但更准确地说是直接在由框架390的内边缘界定的波导元件前方的表面。显示表面365包含可以从其投影能量的多个投影位置。LF显示模块300A的一些实施例具有与此处所描述的组件不同的组件。举例来说,在一些实施例中,LF显示模块300A不包含能量中继层320。类似地,可以以与此处所描述的方式不同的方式在组件之间分配功能。
能量装置层310是能量装置层220的实施例。能量装置层310包含四个能量装置340(在图中三个是可见的)。能量装置340可以全部是相同类型(例如,所有电子显示器)或者可以包含一种或多种不同类型(例如,包含电子显示器和至少一个声学能量装置)。
能量中继层320是能量中继层230的实施例。能量中继层320包含四个能量中继装置350(在图中三个是可见的)。能量中继装置350可以全部中继相同类型的能量(例如,光)或者可以中继一种或多种不同类型(例如,光和声音)。中继装置350中的每个中继装置包含第一表面和第二表面,能量中继装置350的第二表面被布置成形成单个无缝能量表面360。在所示出的实施例中,能量中继装置350中的每个中继装置是锥形的,使得第一表面具有比第二表面小的表面积,这允许在锥体的小端上容纳能量装置340的机械包膜。由于整个区域都可以投影能量,因此这也可以使无缝能量表面无边界。这意味着可以通过将LF显示模块300A的多个实例放置在一起而没有死空间或边框的方式来平铺此无缝能量表面,使得整个组合的表面是无缝的。在其它实施例中,第一表面和第二表面的表面积相同。
能量波导层330是能量波导层240的实施例。能量波导层330包含多个波导元件370。如上文关于图2所论述,能量波导层330配置成根据4-D光场函数沿着特定的传播路径从无缝能量表面360引导能量,以形成全息对象。注意,在所示出的实施例中,能量波导层330由框架390界定。在其它实施例中,不存在框架390和/或减小框架390的厚度。框架390的厚度的去除或减小可以有助于将LF显示模块300A与另外的LF显示模块平铺。
应注意,在所示出的实施例中,无缝能量表面360和能量波导层330是平坦的。在未示出的替代性实施例中,无缝能量表面360和能量波导层330可以在一个或多个维度上弯曲。
LF显示模块300A可以配置有存在于无缝能量表面360的表面上或能量波导层330中的额外能量源,且除了光场之外还允许能量场的投影。在一个实施例中,声能场可以从安装在无缝能量表面360上的任何数目的位置(例如,作为阵列)处的静电扬声器(未示出)投影出来。在一个实施例中,静电扬声器阵列耦合到多个能量波导。静电扬声器阵列包括:至少一个透明膜,所述透明膜配置成在被驱动时生成声能;以及多个电极,所述多个电极配置成在声学上驱动透明膜。每个电极可以位于一个或多个能量波导之间。此外,LF显示模块300A的静电扬声器定位在LF显示模块300A内,使得双能量表面同时投影声场和全息内容。举例来说,静电扬声器可以形成有一个或多个传输一些波长的电磁能量的隔膜元件,并由一个或多个导电元件(例如,将一个或多个隔膜元件夹在中间的平面)驱动。静电扬声器可以安装在无缝能量表面360上,使得隔膜元件覆盖波导元件中的一些波导元件。扬声器的导电电极可以与设计成抑制电磁波导之间的光传输的结构并置,和/或位于电磁波导元件(例如,框架390)之间的位置处。在各种配置中,扬声器可以投影可听的声音和/或产生触觉表面的聚焦超声能量的许多来源。
在一些配置中,能量装置340可以感测能量。举例来说,能量装置可以是麦克风、光传感器、声换能器等。因此,能量中继装置还可以将能量从无缝能量表面360中继到能量装置层310。也就是说,当能量装置和能量中继装置340被配置成同时发射和感测能量(例如,发射光场并感测声音)时,LF显示模块的无缝能量表面360形成双向能量表面。
更广泛地,LF显示模块的能量装置340可以是能量源或能量传感器。LF显示模块300A可包含充当能量源和/或能量传感器的各种类型的能量装置,以促进向用户投影高质量全息内容。其它源和/或传感器可以包含热传感器或源,红外传感器或源、图像传感器或源、生成声学能量的机械能量换能器、反馈源等等。多个其它传感器或源是可能的。此外,LF显示模块可以平铺使得LF显示模块可以形成组合件,所述组合件从大聚合无缝能量表面投影和感测多种类型的能量。
在LF显示模块300A的各个实施例中,无缝能量表面360可以具有各个表面部分,其中每个表面部分配置成投影和/或发射特定类型的能量。举例来说,当无缝能量表面是双能量表面时,无缝能量表面360包含一个或多个投影电磁能量的表面部分以及一个或多个投影超声能量的其它表面部分。投影超声能量的表面部分可位于电磁波导元件之间的无缝能量表面360上,和/或与被设计成抑制电磁波导元件之间的光传输的结构并置。在无缝能量表面是双向能量表面的实例中,能量中继层320可以包含在无缝能量表面360处交织的两种类型的能量中继装置。在各种实施例中,无缝能量表面360可配置成使得表面的在任何特定波导元件370下方的部分是所有能量源、所有能量传感器或能量源和能量传感器的混合。
图3B是根据一个或多个实施例的包含交织的能量中继装置的LF显示模块300B的横截面图。能量中继装置350A在连接到能量装置340A的能量中继第一表面345A与无缝能量表面360之间传输能量。能量中继装置350B在连接到能量装置340B的能量中继第一表面345B与无缝能量表面360之间传输能量。两个中继装置在连接到无缝能量表面360的交织的能量中继装置352处交织。在此配置中,无缝能量表面360含有能量装置340A和340B两者的交织的能量位置,所述两者可以是能量源或能量传感器。因此,LF显示模块300B可以被配置为用于投影多于一种类型的能量的双能量投影装置,或者被配置为用于同时投影一种类型的能量并且感测另一种类型的能量的双向能量装置。LF显示模块300B可以是LF显示模块110和/或LF显示模块210。在其它实施例中,LF显示模块300B可以是某一其它LF显示模块。
LF显示模块300B包含与图3A中的LF显示模块300A的组件类似地配置的许多组件。举例来说,在所示出的实施例中,LF显示模块300B包含能量装置层310、能量中继层320、无缝能量表面360和能量波导层330,包含至少与关于图3A所描述的功能相同的功能。另外,LF显示模块300B可以呈现和/或接收来自显示表面365的能量。值得注意的是,与图3A中的LF显示模块300A的组件相比,LF显示模块300B的组件可替代地连接和/或定向。LF显示模块300B的一些实施例具有与此处所描述的组件不同的组件。类似地,可以以与此处所描述的方式不同的方式在组件之间分配功能。图3B示出可以被平铺以产生具有更大面积的双能量投影表面或双向能量表面的单个LF显示模块300B的设计。
在一个实施例中,LF显示模块300B是双向LF显示系统的LF显示模块。双向LF显示系统可以同时从显示表面365投影能量并感测能量。无缝能量表面360含有在无缝能量表面360上紧密交织的能量投影位置和能量感测位置两者。因此,在图3B的实例中,能量中继层320以与图3A的能量中继层不同的方式进行配置。为方便起见,LF显示模块300B的能量中继层在本文中将被称为“交织的能量中继层”。
交织的能量中继层320包含两个支脚:第一能量中继装置350A和第二能量中继装置350B。在图3B中,支脚中的每个支脚被示出为浅色阴影区域。支脚中的每个支脚可以由柔性中继材料制成,并形成有足够的长度以用于各种大小和形状的能量装置。在交织的能量中继层的一些区域中,两个支脚在接近无缝能量表面360时紧紧地交织在一起。在所示出的实例中,交织的能量中继装置352被展示为深色阴影区域。
当在无缝能量表面360处交织时,能量中继装置被配置成向/从不同能量装置中继能量。能量装置位于能量装置层310处。如所示出,能量装置340A连接到能量中继装置350A,并且能量装置340B连接到能量中继装置350B。在各种实施例中,每个能量装置可以是能量源或能量传感器。
能量波导层330包含波导元件370,以将来自无缝能量表面360的能量波沿着投影的路径引导朝向一系列会聚点。在此实例中,在一系列会聚点处形成了全息对象380。值得注意的是,如所展示的,全息对象380处的能量的会聚发生在显示表面365的观看者侧(即,前侧)。然而,在其它实例中,能量的会聚可以在全息对象体中的任何地方,在显示表面365的前方和显示表面365的后方两者延伸。波导元件370可以同时将进入的能量引导到能量装置(例如,能量传感器),如下文所描述。
在LF显示模块300B的一个实例实施例中,发射显示器用作能量源(例如,能量装置340A),并且成像传感器用作能量传感器(例如,能量装置340B)。以此方式,LF显示模块300B可以同时投影全息内容并且检测来自显示表面365前方的体的光。以此方式,LF显示模块300B的此实施例充当LF显示器和LF传感器两者。
在一个实施例中,LF显示模块300B配置成同时将光场从显示表面上的投影位置投影到显示表面的前方,并在投影位置处捕获来自显示表面前方的光场。在此实施例中,能量中继装置350A将无缝能量表面360处的定位在波导元件370下方的第一组位置连接到能量装置340A。在一个实例中,能量装置340A是具有源像素阵列的发射显示器。能量中继装置340B将无缝能量表面360处的定位在波导元件370下方的第二组位置连接到能量装置340B。在一个实例中,能量装置340B是具有传感器像素阵列的成像传感器。LF显示模块300B可以被配置成使得无缝能量表面365处的在特定波导元件370下方的位置是所有发射显示器位置、所有成像传感器位置或这些位置的某种组合。在其它实施例中,双向能量表面可以投影和接收各种其它形式的能量。
在LF显示模块300B的另一个示例实施例中,LF显示模块配置成投影两种不同类型的能量。举例来说,在一个实施例中,能量装置340A是配置成发射电磁能量的发射显示器,并且能量装置340B是配置成发射机械能量的超声换能器。因此,可以从无缝能量表面360处的各种位置投影光和声音两者。在此配置中,能量中继装置350A将能量装置340A连接到无缝能量表面360并中继电磁能量。能量中继器装置配置成具有能够有效传输电磁能的特性(例如,变化的折射率)。能量中继装置350B将能量装置340B连接到无缝能量表面360并中继机械能量。能量中继装置350B配置成具有用于超声能量的高效传输的性质(例如,具有不同声学阻抗的材料的分布)。在一些实施例中,机械能量可以从能量波导层330上的波导元件370之间的位置投影。投影机械能量的位置可以形成用于抑制光从一个电磁波导元件传输到另一个电磁波导元件的结构。在一个实例中,投影超声机械能量的在空间上分离的位置阵列可配置成在空中创建三维触觉形状和表面。表面可以与投影的全息对象(例如,全息对象380)重合。在一些实例中,阵列上的相位延迟和幅度变化可帮助形成触觉形状。
在各种实施例中,具有交织的能量中继装置的LF显示模块300B可以包含多个能量装置层,其中每个能量装置层包含特定类型的能量装置。在这些实例中,能量中继层被配置成在无缝能量表面360与能量装置层310之间中继适当类型的能量。
平铺LF显示模块
图4A是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的LF显示系统400的一部分的透视图。LF显示系统400包含被平铺以形成阵列410的多个LF显示模块。更明确地说,阵列410中的小方块中的每个小方块表示平铺的LF显示模块412。LF显示模块412可与LF显示模块300A或300B相同。阵列410可以覆盖例如房间的表面(例如,壁)的一些或全部。LF阵列可以覆盖其它表面,例如桌面、广告牌、圆形建筑、面板等等。
阵列410可以投影一个或多个全息对象。举例来说,在所示出的实施例中,阵列410投影全息对象420和全息对象422。LF显示模块412的平铺允许更大的观看体,并且允许对象被投影到距阵列410更远的距离。举例来说,在所示出的实施例中,观看体是大约阵列410前面和后面的整个区域,而不是LF显示模块412前方(和后方)的局部体。
在一些实施例中,LF显示系统400将全息对象420呈现给观看者430和观看者434。观看者430和观看者434接收全息对象420的不同视角。举例来说,向观看者430呈现全息对象420的直接视图,而向观看者434呈现全息对象420的更倾斜的视图。随着观看者430和/或观看者434的移动,向其呈现全息对象420的不同视角。这允许观看者通过相对于全息对象移动而在视觉上与全息对象进行交互。举例来说,在观看者430在全息对象420周围行走时,只要全息对象420保留在阵列410的全息对象体中,观看者430就看到全息对象420的不同侧面。因此,观看者430和观看者434可以同时在真实世界空间中看到全息对象420,就好像所述全息对象真实存在一样。另外,观看者430和观看者434不需要为了观看全息对象420而穿戴外部装置,因为全息对象420以与物理对象将是可见的几乎相同的方式对观看者可见。另外,此处,全息对象422被展示在阵列后方,因为阵列的观看体在阵列的表面后方延伸。以此方式,可以将全息对象422呈现给观看者430和/或观看者434。
在一些实施例中,LF显示系统400将全息内容呈现给观看者430(即,第一观看者)和观看者434(即,第二观看者)。第一观看者和第二观看者可以位于不同的观看体中。举例来说,第一观看者可以位于观看体中,且第二观看者可以位于第二观看体中。LF显示系统400将阵列410的全息对象体中的额外全息内容呈现给位于不同于观看体的第二观看体中的第二观看者。在一些实施例中,LF显示系统400呈现可从观看体观看但不可从第二观看体观看的全息内容。
在一些实施例中,LF显示系统400可以包含跟踪系统,所述跟踪系统跟踪观看者430和观看者434的定位。在一些实施例中,所跟踪的定位是观看者的定位。在其它实施例中,所跟踪的定位是观看者的眼睛的定位。眼睛的定位跟踪与注视跟踪不同,后者跟踪眼睛正在看的地方(例如,使用定向来确定注视位置)。观看者430的眼睛和观看者434的眼睛位于不同的位置。
在各种配置中,LF显示系统400可包含一个或多个跟踪系统,其用于收集关于LF显示系统的一个或多个观看者的信息,所述信息包含观看者对LF显示系统400投影的全息内容的响应,以及LF显示系统400的观看者的特性。举例来说,在所示出的图4A的实施例中,LF显示系统包含在阵列410外部的跟踪系统440。此处,跟踪系统可以是耦合到阵列410的相机系统。关于图5A更详细地描述了外部跟踪系统。在其它实例实施例中,跟踪系统可以如本文所描述的并入到阵列410中。举例来说,包含在阵列410中的含有双向能量表面的一个或多个LF显示模块412的能量装置(例如,能量装置340)可配置成捕获阵列410前方的观看者的图像。在任何情况下,LF显示系统400的一个或多个跟踪系统确定关于观看通过阵列410呈现的全息内容的观看者(例如,观看者430和/或观看者434)的跟踪信息。在一个实施例中,LF显示系统400的跟踪系统跟踪观看者的移动,并且一个或多个观看体可以由所跟踪的移动来定义。
在一些实施例中,LF显示系统400可以基于观看者430在观看体内的确定而标识向LF显示系统400的观看者呈现全息内容的机会点。跟踪系统440可以跟踪观看者430在LF显示系统400的观看体内的移动,并且可以基于所跟踪的移动而确定观看者430在观看体内。在其它实施例中,LF显示系统400可以从内容存储区(即,全息内容存储在第三方系统或在线存储区上的位置)选择全息内容,并且全息内容可包括一组参数,所述参数限定何时以及如何呈现全息内容。所述一组参数可以部分地从由跟踪系统确定的一个或多个观看者的响应或特性中导出。举例来说,如果确定了一个或多个观看者的年龄,则可以展示适合于特定年龄范围的内容。在另一实例中,取决于所跟踪的观看者的位置或运动,可以调整呈现全息内容的频率。一般来说,跟踪系统可以提供描述何时或如何呈现全息内容或其某一组合的参数。LF显示系统400可以基于一组参数而生成用于全息内容的显示指令,并且可以基于所述一组参数将全息内容呈现给一个或多个观看者。显示指令指示LF显示系统400何时以及如何显示全息内容。
跟踪信息描述了观看者的定位或观看者的一部分(例如,观看者的一只或两只眼睛,或观看者的肢体)的定位在空间(例如,相对于跟踪系统)中的定位。跟踪系统可以使用任何数目的深度确定技术来确定跟踪信息。深度确定技术可以包含例如结构化光、飞行时间、立体成像、某个其它深度确定技术或其某一组合。跟踪系统可包含配置成确定跟踪信息的各种系统。举例来说,跟踪系统可包含一个或多个红外源(例如,结构化光源)、可以捕获红外图像的一个或多个成像传感器(例如,红-蓝-绿-红外相机)以及执行跟踪算法的处理器。跟踪系统可以使用深度估计技术来确定观看者的定位。在一些实施例中,LF显示系统400基于如本文所描述的观看者430和/或观看者434的跟踪定位、运动或手势而生成全息对象。举例来说,LF显示系统400可以响应于观看者进入阵列410的阈值距离和/或特定定位内而生成全息对象。
LF显示系统400可以部分地基于跟踪信息来呈现针对每个观看者定制的一个或多个全息对象。举例来说,可以向观看者430呈现全息对象420,而不是全息对象422。类似地,可以向观看者434呈现全息对象422,而不是全息对象420。举例来说,LF显示系统400跟踪观看者430和观看者434中的每个观看者的位置。LF显示系统400基于观看者相对于全息对象要被呈现的地方的定位来确定对所述观看者应当可见的全息对象的视角。LF显示系统400选择性地投影来自与所确定的视角相对应的特定像素的光。因此,观看者434和观看者430可以同时具有可能完全不同的体验。换句话说,LF显示系统400可以将全息内容呈现给观看体的观看子体(即,类似于图2B中所示的观看子体290A、290B、290C和290D)。举例来说,如所示出,由于LF显示系统400可以跟踪观看者430的定位,因此LF显示系统400可以向包围观看者430的观看子体呈现空间内容(例如,全息对象420),并且向包围观看者434的观看子体呈现野生动物园内容(例如,全息对象422)。相比之下,常规系统将必须使用单独的耳机来提供类似的体验。
在一些实施例中,LF显示系统400可以包含一个或多个感觉反馈系统。感觉反馈系统提供增强全息对象420和422的其它感觉刺激(例如,触觉、音频或气味)。举例来说,在图4A的所示出的实施例中,LF显示系统400包含在阵列410外部的感觉反馈系统442。在一个实例中,感觉反馈系统442可以是耦合到阵列410的静电扬声器。关于图5A更详细地描述了外部感觉反馈系统。在其它实例实施例中,如本文所描述,可以将感觉反馈系统并入到阵列410中。举例来说,包含在阵列410中的LF显示模块412的能量装置(例如,图3B中的能量装置340A)可配置成将超声能量投影到阵列前方的观看者和/或从阵列前方的观看者接收成像信息。在任何情况下,感觉反馈系统向观看通过阵列410呈现的全息内容(例如,全息对象420和/或全息对象422)的观看者(例如,观看者430和/或观看者434)呈现感觉内容和/或从所述观看者接收感觉内容。
LF显示系统400可以包含感觉反馈系统442,所述感觉反馈系统包含在阵列外部的一个或多个声学投影装置。可替代地或另外地,LF显示系统400可以包含集成到阵列410中的一个或多个声学投影装置,如本文所描述。声学投影装置可以由配置成投影体触觉表面的超声源阵列(例如,超声能量投影装置或体触觉投影装置)组成。在一个实施例中,超声能量投影装置可以为全息对象提供触觉反馈。超声能量投影装置可生成接近全息对象的表面或与全息对象的表面重合的体触觉表面。在一些实施例中,对于全息对象的一个或多个表面,如果观看者的一部分在一个或多个表面的阈值距离内,则触觉表面可以与全息对象重合(例如,在全息对象420的表面处)。全息内容可以是具有纹理的物理项目的表示,并且体触觉投影装置可以模拟物理项目的纹理(即,提供体触觉表面)。体触觉感觉可以允许用户触摸和感觉全息对象的表面。多个声学投影装置还可以投影可听压力波,所述可听压力波向观看者提供音频内容(例如,沉浸式音频)。因此,超声压力波和/或可听压力波可以起到补充全息对象的作用。
在各种实施例中,LF显示系统400可以部分地基于观看者的所跟踪的定位而提供其它感觉刺激。举例来说,图4A中所示出的全息对象422是狮子,并且LF显示系统400可以使全息对象422在视觉上(即,全息对象422似乎在咆哮)和听觉上(即,一个或多个声学投影装置投影压力波)均咆哮,使观看者430将其感知为全息对象422发出的狮子的咆哮。
应注意,在所示出的配置中,全息观看体可以类似于图2A-2B中的LF显示系统200的观看体285的方式受到限制。这可以限制观看者将用单个壁显示单元经历的感知的沉浸感。解决此问题的一个方式是使用沿着多个侧面平铺的多个LF显示模块,如下文相对于图4B到4F所描述。
图4B是根据一个或多个实施例的在多面无缝表面环境中的LF显示系统402的一部分的透视图。一个或多个LF显示模块中的每一个具有从其投影全息对象的显示表面。LF显示系统402基本上类似于LF显示系统400,不同之处在于无缝显示表面是通过将一个或多个LF显示模块的显示表面平铺在多个壁、地板和天花板上以创建多面无缝表面环境而形成。更具体地,将LF显示模块平铺以形成作为六面聚合无缝表面环境的阵列。在一些实施例中,无缝显示表面可以大于单个LF显示模块的显示表面的表面区域。在图4B中,多个LF显示模块覆盖房间的所有壁、天花板和地板。在其它实施例中,多个LF显示模块可以覆盖壁、地板、天花板或其某种组合中的一些但不是全部。在其它实施例中,多个LF显示模块被平铺以形成某一其它聚合无缝表面。举例来说,壁可以是弯曲的,使得形成圆柱形的聚合能量环境。
LF显示系统402可以投影一个或多个全息对象。举例来说,在所示出的实施例中,LF显示系统402将全息对象420投影到由六面聚合无缝表面环境包围的区域中。在此实例中,LF显示系统的观看体也含在六面聚合无缝表面环境内。应注意,在所示出的配置中,观看者434可以定位在全息对象420与LF显示模块414之间,所述LF显示模块投影用于形成全息对象420的能量(例如,光和/或压力波)。因此,观看者434的定位可以防止观看者430感知由来自LF显示模块414的能量形成的全息对象420。然而,在所示出的配置中,存在至少一个其它LF显示模块,例如,LF显示模块416,所述LF显示模块不受阻碍(例如,被观看者434)并且可以投影能量以形成全息对象420并且被观看者430观察到。以此方式,在空间中被观看者遮挡可能导致全息投影的一些部分消失,但是这种影响比如果体的仅一侧填充有全息显示面板的影响小得多。全息对象422被展示为六面聚合无缝表面环境的壁的“外部”,因为全息对象体在聚合表面后方延伸。因此,观看者430和/或观看者434可以将全息对象422感知为其可以在整个中移动的经包围的六面环境的“外部”。
如上文参考图4A所描述,在一些实施例中,LF显示系统402主动跟踪观看者的定位并且可以基于所跟踪的定位动态地指示不同的LF显示模块呈现全息内容。因此,多面配置可以提供更稳健的环境(例如,相对于图4A),以提供全息对象,其中不受约束的观看者可以自由地在由多面无缝表面环境包围的整个区域中移动。
值得注意的是,各种LF显示系统可以具有不同的配置。此外,每一配置可具有表面的特定定向,所述表面聚合形成无缝显示表面(“聚合表面”)。也就是说,可以将LF显示系统的LF显示模块平铺以形成各种聚合表面。举例来说,在图4B中,LF显示系统402包含平铺以形成近似于房间的壁的六面聚合表面的LF显示模块。在一些其它实例中,聚合表面可以仅出现在表面的一部分(例如,壁的一半)上,而不是整个表面(例如,整个壁)上。本文描述了一些实例。
在一些配置中,LF显示系统的聚合表面可以包含聚合表面,所述聚合表面被配置成朝向局部观看体投影能量。将能量投影到局部观看体允许通过例如以下方式的更高质量的观看体验:增加特定观看体中的投影的能量的密度,增加观看者在所述观看体中的FOV,并使观看体更接近显示表面。
举例来说,图4C示出具有呈“翼状”配置的聚合表面的LF显示系统450A的俯视图。在此实例中,LF显示系统450A定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。第一侧壁456、第二侧壁458、后壁454、地板和天花板都正交。LF显示系统450A包含平铺以形成覆盖前壁的聚合表面460的LF显示模块。前壁452以及因此聚合表面460包含三个部分:(i)第一部分462,所述第一部分与后壁454(即,中心表面)大致上平行,(ii)第二部分464,所述第二部分将第一部分462连接到第一侧壁456并成一定角度放置以朝向房间的中心(即,第一侧表面)投影能量,以及(iii)第三部分466,所述第三部分将第一部分462连接到第二侧壁458并成一定角度放置以朝向房间的中心(即,第二侧表面)投影能量。第一部分是房间中的竖直平面,并具有水平轴和竖直轴。第二部分和第三部分沿水平轴朝向房间的中心成角度。
在此实例中,LF显示系统450A的观看体468A位于房间的中心,并且被聚合表面460的三个部分部分地包围。至少部分包围观看者的聚合表面(“包围表面”)增加了观看者的沉浸式体验。
为了说明,考虑例如仅具有中心表面的聚合表面。参考图2A,如上文所描述,从显示表面的任一端投影的光线创建理想的全息体和理想的观看体。现在考虑,例如,中心表面是否包含两个朝向观看者成角度的侧表面。在此情况下,光线256和光线257将从中心表面的法线以更大的角度投影。因此,观看体的视场将增加。类似地,全息观看体将更靠近显示表面。另外,由于两个第二部分和第三部分倾斜得更靠近观看体,因此从显示表面以固定距离投影的全息对象更靠近所述观看体。
为简化起见,仅具有中心表面的显示表面具有平面视场、(中心)显示表面与观看体之间的平面阈值间隔以及全息对象与观看体之间的平面接近度。添加一个或多个朝向观看者成角度的侧表面,增加了相对于平面视场的视场,相对于平面间隔,减小了显示表面与观看体之间的间隔,并相对于平面接近度,增加了显示表面与全息对象之间的接近度。使侧表面朝向观看者进一步成角度进一步增加了视场,减小了间隔并增加了接近度。换句话说,侧表面的成角度的放置增加了观看者的沉浸式体验。
返回到图4D,在类似实例中,图4D示出了具有呈“倾斜”配置的聚合表面的LF显示系统450B的侧视图。在此实例中,LF显示系统450B定位在具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。第一侧壁、第二侧壁、后壁454、地板474和天花板472都正交。LF显示系统450B包含平铺以形成覆盖前壁的聚合表面460的LF显示模块。前壁452以及因此聚合表面460包含三个部分:(i)第一部分462,所述第一部分与后壁454(即,中心表面)大致上平行,(ii)第二部分464,所述第二部分将第一部分462连接到天花板472并成一定角度以朝向房间的中心(即,第一侧表面)投影能量,以及(iii)第三部分464,所述第三部分将第一部分462连接到地板474并成角度以朝向房间的中心(即,第二侧表面)投影能量。第一部分是房间中的竖直平面,并具有水平轴和竖直轴。第二部分和第三部分沿竖直轴朝向房间的中心成角度。
在此实例中,LF显示系统450B的观看体468B位于房间的中心,并且被聚合表面460的三个部分部分地包围。与图4C所示的配置类似,两个侧面部分(例如,第二部分464和第三部分466)成一定角度以包围观看者并形成包围表面。从全息观看体468B中的任何观看者的视角来看,包围表面增加了观看FOV。另外,包围表面允许观看体468B更靠近显示器的表面,使得投影的对象显得更靠近。换句话说,侧表面的成角度放置增加了视场,减小了间隔,并增加了聚合表面的接近度,由此增加了观看者的沉浸式体验。此外,如下文将论述,偏转光学件可以用于优化观看体468B的大小和定位。
与如果第三部分466没有倾斜相比,聚合表面460的侧面部分的倾斜配置使得全息内容能够被呈现为更靠近观看体468B。举例来说,与如果使用具有平坦的前壁的LF显示系统相比,从呈倾斜配置的LF显示系统呈现的角色的下肢(例如,腿)可能看起来更靠近并且更真实。
另外,LF显示系统的配置及其所处的环境可以通知观看体和观看子体的形状和位置。
图4E例如示出具有在房间的前壁452上的聚合表面460的LF显示系统450C的俯视图。在此实例中,LF显示系统450C位于具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。
LF显示系统450C从聚合表面460投影各种光线。光线从显示表面上的每个定位投影到以观看体为中心的角度范围中。从聚合表面460的左侧投影的光线具有水平角度范围481,从聚合表面的右侧投影的光线具有水平角度范围482,并且从聚合表面460的中心投影的光线具有水平角度范围483。以此方式在跨越显示表面的所投影光线中具有梯度偏转角创建了观看体468C。此外,此配置避免了在将光线投影到侧壁456和458中时浪费显示器的分辨率。
图4F示出具有在房间的前壁452上的聚合表面460的LF显示系统450D的侧视图。在此实例中,LF显示系统450D位于具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。在此实例中,地板是分层的使得每一层都从前壁向后壁逐步移动上升。此处,地板的每一层包含观看子体(例如,观看子体470A和470B)。分层地板允许不重叠的观看子体。换句话说,每个观看子体具有从观看子体到不通过另一观看子体的聚合表面460的视线。换句话说,这种定向产生了“体育场就座”效果,其中各层之间的竖直偏移使每一层都可以“查看”其它层的观看子体。包含不重叠的观看子体的LF显示系统可以提供比具有确实重叠的观看体的LF显示系统更高的观看体验。举例来说,在图4F所示的配置中,可以向观看子体470A和470B中的观众投影不同的全息内容。
LF显示系统的控制
图5A是根据一个或多个实施例的LF显示系统500的框图。LF显示系统500包括LF显示组合件510和控制器520。LF显示组合件510包含投影光场的一个或多个LF显示模块512。LF显示模块512可包含源/传感器系统514,所述源/传感器系统包含投影和/或感测其它类型的能量的一个或多个集成能量源和/或一个或多个能量传感器。控制器520包含数据存储区522、网络接口524和LF处理引擎530。控制器520还可包含跟踪模块526和观看者简档形成模块528。在一些实施例中,LF显示系统500还包含感觉反馈系统540和跟踪系统550。在图1、2A-2B、3A-3B和4A-4F的上下文中描述的LF显示系统是LF显示系统500的实施例。在其它实施例中,LF显示系统500包括比本文所描述的模块更多或更少的模块。类似地,可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。LF显示系统500的应用也将在下文关于图6-7详细地论述。
LF显示组合件510在全息对象体中提供全息内容,所述全息对象体对于定位在观看体内的观看者可以是可见的。LF显示组合件510可以通过执行从控制器520接收的显示指令来提供全息内容。全息内容可以包含投影在LF显示组合件510的聚合表面前面、LF显示组合件510的聚合表面后面或其某种组合的一个或多个全息对象。下文更详细地描述用控制器520生成显示指令。
LF显示组合件510使用包含在LF显示组合件510中的一个或多个LF显示模块(例如,LF显示模块110、LF显示模块210、LF显示模块300A和LF显示模块300B中的任一个)来提供全息内容。为了方便起见,一个或多个LF显示模块在本文中可以被描述为LF显示模块512。LF显示模块512可以被平铺以形成LF显示组合件510。LF显示模块512可以被构造为各种无缝表面环境(例如,单面、多面、广告牌、弯曲表面等等)。换句话说,平铺的LF显示模块形成聚合表面。如先前所描述,LF显示模块512包含呈现全息内容的能量装置层(例如,能量装置层220)和能量波导层(例如,能量波导层240)。LF显示模块512还可包含能量中继层(例如,能量中继层230),当呈现全息内容时,所述能量中继层在能量装置层与能量波导层之间传送能量。
在一些实施例中,LF显示系统500基于硬件配置而提供全息内容。硬件配置是影响全息内容呈现的LF显示系统500的物理组件的配置。物理组件可包含LF显示模块512、感觉反馈装置(例如,声学投影装置、力致动装置、压力传感器等等)和跟踪系统装置(例如,能量传感器、相机、深度传感器等等)。在一个实施例中,硬件配置可包含用于LF显示系统500的LF显示模块、感觉反馈装置和跟踪系统装置的布置。在其它实施例中,硬件配置可包含LF显示模块的设计。LF显示模块的设计考虑因素可包含分辨率(即,呈现的全息内容的细节水平)、每度的投影光线的数目(即,确定角分辨率和投影距离的光线密度)、视场(即,观看体的开放可观察区域)、显示表面上的偏转角(即,投影光线与显示表面法线的夹角)、显示表面的维度(即,显示面板的高度和宽度)、影响全息内容呈现的任何其它LF显示模块设计考虑因素,或其某一组合。
LF显示模块512还可包含其它集成系统,所述其它集成系统配置成用于如先前所描述的能量投影和/或能量感测。举例来说,光场显示模块512可包含配置成投影和/或感测能量的任何数目的能量装置(例如,能量装置340)。为了方便起见,本文可以将LF显示模块512的集成能量投影系统和集成能量感测系统聚合描述为源/传感器系统514。源/传感器系统514被集成在LF显示模块512内,使得源/传感器系统514与LF显示模块512共享相同的无缝能量表面。换句话说,LF显示组合件510的聚合表面包含LF显示模块512和源/传感器模块514两者的功能。换句话说,包含具有源/传感器系统514的LF显示模块512的LF显示组合件510可以在同时投影光场时投影能量和/或感测能量。举例来说,LF显示组合件510可包含LF显示模块512和源/传感器系统514,所述源/传感器系统配置为如先前所描述的双能量表面或双向能量表面。
在一些实施例中,LF显示系统500使用感觉反馈系统540用其它感觉内容(例如,协调的触摸、音频或气味)增强所生成的全息内容。感觉反馈系统540可通过执行从控制器520接收的显示指令来增强全息内容的投影。感觉反馈系统540可包括一个或多个感觉反馈装置且可配置成与全息对象同时提供感觉反馈。通常,感觉反馈系统540包含在LF显示组合件510外部的任何数目的感觉反馈装置(例如,感觉反馈系统442)。一些实例感觉反馈装置可包含协调的声学投影和接收装置、触觉反馈、香味反馈、温度反馈、力致动装置、压力传感器、换能器等等。在一些情况下,感觉反馈系统540可具有与LF显示组合件510类似的功能性,且反之亦然。举例来说,感觉反馈系统540和LF显示组合件510两者均可配置成生成声场。作为另一实例,感觉反馈系统540可配置成生成触觉表面,而LF显示组合件510不配置成生成触觉表面。
为了说明,在LF显示系统500的实例实施例中,感觉反馈系统540可包含一个或多个声学投影装置。一个或多个声学投影装置配置成在执行从控制器520接收的显示指令时生成与全息内容互补的一个或多个压力波。所生成的压力波可以是例如可听的(用于声音)、超声的(用于触摸)或其某一组合。类似地,感觉反馈系统540可包含香味投影装置。香味投影装置可配置成当执行从控制器接收的显示指令时向目标区域中的一些或全部提供香味。香味装置可连接到空气循环系统(例如,管道、风扇或通风口)中,以协调目标区域内的空气流动。此外,感觉反馈系统540可包含温度调整装置。温度调整装置配置成当执行从控制器520接收的显示指令时增加或减小目标区域中的一些或全部中的温度。
在一些实施例中,感觉反馈系统540配置成从LF显示系统500的观看者接收输入。在此情况下,感觉反馈系统540包含用于从观看者接收输入的各种感觉反馈装置。传感器反馈装置可包含例如声学接收装置(例如,麦克风)、压力传感器、操纵杆、运动检测器、换能器等的装置。感觉反馈系统可以将检测到的输入传输到控制器520以协调生成全息内容和/或感觉反馈。
为了说明,在LF显示组合件的实例实施例中,感觉反馈系统540包含麦克风。麦克风配置成记录由一个或多个观看者产生的音频(例如,语音命令、对全息内容的呈现的音频响应等等)。感觉反馈系统540将所记录的音频作为观看者输入提供给控制器520。控制器520可以使用观看者输入来生成全息内容。类似地,感觉反馈系统540可以包含压力传感器。压力传感器配置成测量由观看者施加到压力传感器的力。感觉反馈系统540可以将所测量的力作为观看者输入提供给控制器520。
在一些实施例中,LF显示系统500包含跟踪系统550。跟踪系统550包含任何数目的跟踪装置,所述跟踪装置配置成跟踪观看者在LF显示系统500的观看体内的移动,监测观看者对全息内容的响应,并确定观看者在LF显示系统500的观看体内的特性。通常,跟踪装置在LF显示组合件510的外部。一些实例跟踪装置包含相机组合件(“相机”)、深度传感器、结构化灯、LIDAR系统、卡片扫描系统或可以跟踪目标区域内的观看者的任何其它跟踪装置。
跟踪系统550可以包含用光照亮目标区域中的一些或全部目标区域的一个或多个能量源。然而,在一些情况下,当呈现全息内容时,目标区域被来自LF显示组合件510的自然光和/或环境光照亮。当执行从控制器520接收的指令时,能量源投影光。光可以是例如结构化光图案、光脉冲(例如,IR闪光灯)或其某一组合。跟踪系统可以投影以下中的光:可见波段(约380nm到750nm)、红外(IR)波段(约750nm到1700nm)、紫外波段(10nm到380nm)、电磁光谱的某个其它部分或其某一组合。源可以包含例如发光二极管(LED)、微型LED、激光二极管、TOF深度传感器、可调激光器等等。
跟踪系统550可在执行从控制器520接收的指令时调整一个或多个发射参数。发射参数是影响光如何从跟踪系统550的源投影的参数。发射参数可以包含例如亮度、脉冲率(包含连续照明)、波长、脉冲长度、影响光如何从源组合件投影的某一其它参数或其某一组合。在一个实施例中,源在飞行时间操作中投影光脉冲。
跟踪系统550可以包括一个或多个相机,所述相机配置成捕获一个或多个LF显示模块512前方的区域的图像。跟踪系统550的相机捕获从目标区域反射的光(例如,结构化光图案)的图像。当执行从控制器520接收的跟踪指令时,相机捕获图像。如先前所描述,光可以由跟踪系统550的源投影。相机可以包含一个或多个相机。也就是说,相机可以是例如光电二极管的阵列(1-D或2-D)、CCD传感器、CMOS传感器、检测由跟踪系统550投影的光中的一些或全部光的某个其它装置或其某一组合。在一个实施例中,跟踪系统550可含有位于LF显示组合件510外部的一个或多个相机。在其它实施例中,相机被包含作为包含在LF显示组合件510中的LF显示源/传感器模块514的一部分。举例来说,如先前所描述,如果光场模块512的能量中继元件是在能量装置层220处交织发射显示器和成像传感器两者的双向能量层,则LF显示组合件510可配置成同时投影光场并记录来自显示器前方观看区域的成像信息。在一个实施例中,从双向能量表面捕获的图像形成光场相机。相机将捕获的图像提供给控制器520。
当执行从控制器520接收的跟踪指令时,跟踪系统550的相机可以调整一个或多个成像参数。成像参数是影响相机如何捕获图像的参数。成像参数可以包含例如帧率、光圈、增益、曝光长度、帧定时、滚动快门或全局快门捕获模式、影响相机如何捕获图像的某个其它参数或其某一组合。
跟踪系统550可以包括一个或多个深度传感器,所述深度传感器配置成检测一个或多个LF显示模块512前方的对象的深度。深度传感器可以跟踪观看者在观看体内的位置。
控制器520控制LF显示组合件510和LF显示系统500的任何其它组件。控制器520包括数据存储区522、网络接口524、跟踪模块526、观看者简档形成模块528和LF处理引擎530。在其它实施例中,控制器520包括比本文所描述的模块更多或更少的模块。类似地,可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。举例来说,跟踪模块526可以是LF显示组合件510或跟踪系统550的一部分。
数据存储区522是存储用于LF显示系统500的信息的存储器。所存储的信息可以包含显示指令、跟踪指令、发射参数、成像参数、目标区域的虚拟模型、跟踪信息、由相机捕获的图像、一个或多个观看者简档、用于LF显示组合件510的校准数据、LF显示系统510的配置数据(包含LF模块512的分辨率和定向)、所期望的观看体几何形状、用于包含3-D模型的图形创建的内容、场景和环境、材质和纹理以及LF显示系统500可以使用的其它信息或其某一组合。数据存储区522是存储器,例如只读存储器(ROM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM),或其某一组合。
网络接口524允许LF显示系统经由网络与其它系统或环境通信。在一个实例中,LF显示系统500经由网络接口524从远程LF显示系统接收全息内容。在另一实例中,LF显示系统500使用网络接口524将全息内容传输到远程数据存储区。
跟踪模块526跟踪观看者观看由LF显示系统500呈现的内容。为此,跟踪模块526生成控制跟踪系统550的源和/或相机的操作的跟踪指令,并且将跟踪指令提供给跟踪系统550。跟踪系统550执行跟踪指令,并且将跟踪输入提供给跟踪模块526。
跟踪模块526可以确定一个或多个观看者在目标区域内的位置。所确定的位置可以相对于例如某个参考点(例如,显示表面)。在其它实施例中,所确定的位置可以在目标区域的虚拟模型内。所跟踪的位置可以是例如观看者的所跟踪的位置和/或观看者的一部分的所跟踪的位置(例如,眼睛位置、手位置等等)。跟踪模块526使用来自跟踪系统550的相机的一个或多个捕获的图像来确定位置。跟踪系统550的相机可以分布在LF显示系统500周围,并且可以捕获立体图像,从而允许跟踪模块526被动地跟踪观看者。在其它实施例中,跟踪模块526主动跟踪观看者。也就是说,跟踪系统550照亮目标区域的某一部分,对目标区域进行成像(即,从一个或多个LF显示模块512前方的区域捕获光场),且跟踪模块526使用飞行时间和/或结构化光深度确定技术来确定位置。跟踪模块526使用所确定的位置来生成跟踪信息。
跟踪模块526还可以从LF显示系统500的观看者接收跟踪信息作为输入。在一个实施例中,LF显示组合件510可以基于从一个或多个LF显示模块512前方的区域捕获的光场而接收输入。跟踪信息可以包含与由LF显示系统500向观看者提供的各种输入选项相对应的身体移动。举例来说,跟踪模块526可以跟踪观看者的身体移动并且将任何各种移动作为输入分配到LF处理引擎530。跟踪模块526可以将跟踪信息提供给数据存储区522、网络接口524、LF处理引擎530、观看者简档形成模块528、LF显示系统500的任何其它组件,或其某一组合。
为了提供跟踪模块526的上下文,考虑将全息商品显示给观看者的LF显示系统500的实例实施例。响应于显示某些全息商品,观看者可以用可以分配给各种输入的手和/或手臂移动作出响应。跟踪系统550可以记录观看者的手和/或手臂的移动,并且将记录传输到跟踪模块526。跟踪模块526在记录中跟踪观看者的手和/或臂的运动,并且将输入发送到LF处理引擎530。如下文所描述,观看者简档形成模块528确定图像中的信息指示观看者的手的运动与例如购买商品的输入相关联。因此,LF处理引擎530生成适当的全息内容以确认商品的购买。
LF显示系统500包含配置成标识观看者并对观看者建立简档的观看者简档形成模块528。观看者简档形成模块528生成观看由LF显示系统500显示的全息内容的一个观看者(或多个观看者)的简档。观看者简档形成模块528部分地基于观看者输入、观看者的特性以及所监测的观看者行为、动作和反应来生成观看者简档。观看者简档形成模块528可以存取从跟踪系统550获得的信息(例如,所记录的图像、视频、声音等等)并处理所述信息以确定各种信息。在各种实例中,观看者简档形成模块528可以使用任何数目的机器视力或机器听力算法来确定观看者行为、动作和反应。所监测的观看者行为可以包含例如微笑、皱眉、欢呼、鼓掌、大笑、兴奋程度、面部表达的其它变化、手势,或观看者的移动等等。
更一般地,观看者简档可以包含所接收和/或所确定的关于观看来自LF显示系统的全息内容的观看者的任何信息。举例来说,每个观看者简档可以记录所述观看者对由LF显示系统500显示的内容的动作或响应。下文提供了可以包含在观看者简档中的一些实例信息。
在一些实施例中,观看者简档可以描述观看者关于所显示的全息商品、所显示的全息内容对象等的响应。例如,观看者简档可以指示观看者通常对带有印花的衣物(以全息方式显示)具有积极响应。
在一些实施例中,观看者简档可以指示观看者观看新闻信息的特性,例如,在医生的候诊室中使用LF显示系统500的新闻广播。LF显示系统500进一步配置成响应于对应于观看者的观看者简档的特性来更新全息内容的呈现。在此相同实例中,候诊室中的观看者穿着印有大学标识的运动衫。在此情况下,观看者简档可以指示观看者穿着运动衫,并且可能更喜欢与运动衫上标识的大学相关联的全息内容,例如与所述大学校园即将发生的事件相关的全息内容、针对所述大学的地理位置的天气预报、所述大学运动队的近期体育比分等等。更广泛地说,可以在观看者简档中指示的观看者特性可以包含例如年龄、性别、种族、服装、观看位置等等。
在一些实施例中,观看者简档可以指示观看者关于期望全息内容的偏好。举例来说,观看者简档可以指示观看者仅喜欢观看适合于其家人中的每个人的年龄的全息内容。在另一实例中,观看者简档可以指示全息对象体以显示全息内容(例如,在壁上),并且指示全息对象体不显示全息内容(例如,在其头部上方)。观看者简档还可以指示观看者更喜欢在其附近呈现触觉界面,或者更喜欢避开所述触觉界面。
在另一实例中,观看者简档指示特定观看者观看的全息商品的历史。举例来说,观看者简档形成模块528确定观看者之前已经观看过以全息方式显示的桌子。因此,LF显示系统500可以显示观看者也可能欣赏的另一类似的桌子或可能适合先前观看的桌子的办公椅。
在一些实施例中,观看者简档也可以描述一组观看者而不是特定观看者的特性和偏好。举例来说,观看者简档形成模块528可以使用在家中实施的LF显示系统500为家庭生成观看者简档。在一个实例中,观看者简档形成模块528为具有描述家人共同兴趣的特性的家庭创建观看者简档。简档可以进一步细分可能有不同兴趣的家庭成员的百分比。
观看者简档形成模块528还可以从一个或多个第三方系统存取与特定观看者(或多个观看者)相关联的简档,以建立观看者简档。举例来说,观看者从链接到所述观看者的社交媒体账户的第三方供应商购买了商品。因此,观看者的购买记录链接到他的社交媒体账户。当观看者进入实施LF显示系统500的零售商店时,观看者简档形成模块528可以存取来自他的社交媒体账号的信息以建立(或增强)观看者简档。
在一些实施例中,数据存储区522包含存储由观看者简档形成模块528生成、更新和/或维护的观看者简档的观看者简档存储区。可以由观看者简档形成模块528随时在数据存储区中更新观看者简档。举例来说,在一个实施例中,当特定观看者观看由LF显示系统500提供的全息内容时,观看者简档存储区在其观看者简档中接收并存储关于特定观看者的信息。在此实例中,观看者简档形成模块528包含面部识别算法,所述面部识别算法可以识别观看者并在其观看呈现的全息内容时肯定地标识所述观看者。为了说明,在观看者进入LF显示系统500的目标区域时,跟踪系统550获得观看者的图像。观看者简档形成模块528输入所捕获的图像,并使用面部识别算法来标识观看者的面部。所标识的面部与简档存储区中的观看者简档相关联,且因此,所获得的关于所述观看者的所有输入信息可以存储在其简档中。观看者简档形成模块还可以利用卡标识扫描器、语音标识符、射频标识(RFID)芯片扫描器、条形码扫描器等等来肯定地标识观看者。
在观看者简档形成模块528可以肯定地标识观看者的实施例中,观看者简档形成模块528可以确定每个观看者对LF显示系统500的每次访问。观看者简档形成模块528接着可以将每次访问的时间和日期存储在每个观看者的观看者简档中。类似地,观看者简档形成模块528可以在每次其出现时存储从观看者接收的来自感觉反馈系统540、跟踪系统550和/或LF显示组合件510的任何组合的输入。观看者简档形成模块528可以另外从控制器520的其它模块或组件接收关于观看者的其它信息,所述信息接着可以与观看者简档一起存储。控制器520的其它组件接着还可存取所存储的观看者简档,以确定提供给所述观看者的后续内容。
LF处理引擎530生成包括光场数据以及由LF显示系统500支持的所有感觉域的数据的全息内容。举例来说,LF处理引擎530可以以光栅化格式(“光栅化数据”)生成4-D坐标,所述4-D坐标当由LF显示组合件510执行时使LF显示组合件510呈现全息内容。LF处理引擎530可以从数据存储区522存取光栅化数据。另外,LF处理引擎530可以从向量化数据集构建光栅化数据。下文描述向量化数据。LF处理引擎530还可以生成提供增强全息对象的感觉内容所需的感觉指令。如上文所描述,当由LF显示系统500执行时,感觉指令可以生成由LF显示系统500支持的触觉表面、声场和其它形式的感觉能量。LF处理引擎530可以从数据存储区522存取感觉指令,或从向量化数据集构建感觉指令。总的来说,4-D坐标和感觉数据将全息内容表示为可由LF显示系统执行以生成全息和感觉内容的显示指令。更一般地,全息内容可以采取具有以下的CG内容的形式:理想的光场坐标、实景动作内容、光栅化数据、向量化数据、由一组中继器传输的电磁能量、发送给一组能量装置的指令、一个或多个能量表面上的能量位置、从显示表面投影的一组能量传播路径、对观看者或观众可见的全息对象以及许多其它类似形式。
描述通过LF显示系统500中的各种能量源的能量流的光栅化数据量非常大。尽管当从数据存储区522进行存取时有可能将光栅化数据显示在LF显示系统500上,但是不能有效地传输、接收(例如,经由网络接口524)并随后在LF显示系统500上显示光栅化数据。举例来说,以表示由LF显示系统500进行的全息投影的短片的光栅化数据为例。在此实例中,LF显示系统500包含含有若干十亿像素的显示器,并且光栅化数据含有用于显示器桑的每个像素位置的信息。光栅化数据的对应大小是巨大的(例如,每秒数千兆字节的电影显示时间),并且对于经由网络接口524在商业网络上的有效传送来说是不可管理的。对于包含全息内容的实时流式传输的应用,可以放大有效传送问题。当使用来自感觉反馈系统540或跟踪模块526的输入需要交互式体验时,产生仅在数据存储区522上存储光栅化数据的额外问题。为了实现交互式体验,可以响应于感觉或跟踪输入实时修改由LF处理引擎530生成的光场内容。换句话说,在一些情况下,无法简单地从数据存储区522读取LF内容。
因此,在一些配置中,可以用向量化数据格式(“向量化数据”)将表示由LF显示系统500显示的全息内容的数据传送到LF处理引擎530。向量化数据可能比光栅化数据小几个数目级。此外,向量化数据提供高图像质量,同时具有实现数据的有效共享的数据集大小。举例来说,向量化数据可以是从更密集数据集导出的稀疏数据集。因此,基于如何从密集光栅化数据采样稀疏向量化数据,向量化数据可以在图像质量与数据传输大小之间具有可调整平衡。用于生成向量化数据的可调采样实现在给定网络速度下优化图像质量。因此,向量化数据能够经由网络接口524实现全息内容的有效传输。向量化数据还使全息内容能够通过商业网络实时流式传输。
在一些实施例中,LF显示系统500可配置成经由网络以编码格式接收全息内容,且可进一步配置成将全息内容解码成用于呈现给观看者的格式。在一些实施例中,编码格式可以是向量化格式,且解码格式可以是光栅化格式。总而言之,LF处理引擎530可以生成源自从数据存储区522存取的光栅化数据、从数据存储区522存取的向量化数据,或经由网络接口524接收的向量化数据的全息内容。在各种配置中,向量化数据可以在数据传输之前进行编码并且在由LF控制器520接收之后进行解码。在一些实例中,对向量化数据进行编码以用于与数据压缩相关的附加数据安全和性能改进。举例来说,通过网络接口接收的向量化数据可以是从全息流媒体应用接收的编码向量化数据。在一些实例中,向量化数据可能需要解码器、LF处理引擎530或这两者来存取在向量化数据中编码的信息内容。编码器和/或解码器系统可供消费者使用或授权给第三方供应商。
向量化数据含有LF显示系统500以可支持交互式体验的方式支持的每个感觉域的所有信息。举例来说,用于交互式全息体验的向量化数据可包含可以为LF显示系统500所支持的每个感觉域提供准确物理效果的任何向量化特性。向量化特性可包含可以进行合成地编程、捕获、计算评估等等的任何特性。LF处理引擎530可配置成将向量化数据中的向量化特性转换成光栅化数据。LF处理引擎530接着可以使用LF显示组合件510投影从向量化数据转换的全息内容。在各种配置中,向量化特征可以包含:一个或多个红/绿/蓝/α通道(RGBA)+深度图像;具有或不具有不同分辨率的深度信息的多个视图图像,所述视图图像可以包含一个高分辨率中心图像以及较低分辨率的其它视图;例如反照率和反射率的材料特征;表面法线;其它光学效应;表面标识;几何对象坐标;虚拟相机坐标;显示平面位置;照明坐标;表面的触觉刚度;触觉延展性;触觉强度;声场的振幅和坐标;环境条件;与用于纹理或温度、音频的机械感受器相关的体感能量向量;以及任何其它感觉域特征。许多其它向量化特征也是可能的。
LF显示系统500还可生成交互式观看体验。也就是说,全息内容可以响应于输入刺激,所述输入刺激含有关于观看者位置、手势、交互、与全息内容的交互的信息,或源自观看者简档形成模块528和/或跟踪模块526的其它信息。举例来说,在实施例中,LF处理引擎530使用经由网络接口524接收的实时性能的向量化数据来创建交互式观看体验。在另一实例中,如果全息对象需要响应于观看者交互而立即在某一方向上移动,则LF处理引擎530可以更新场景的渲染,因此全息对象在所述所需方向上移动。这可能需要LF处理引擎530使用向量化数据集来基于3-D图形场景实时渲染光场,所述3-D图形场景具有适当对象放置和移动、碰撞检测、遮挡、颜色、阴影、照明等等,从而正确地对观看者交互作出响应。LF处理引擎530将向量化数据转换成光栅化数据以由LF显示组合件510呈现。
光栅化数据包含表示实时性能的全息内容指令和感觉指令(显示指令)。LF显示组合件510通过执行显示指令同时投影实时性能的全息和感觉内容。LF显示系统500通过跟踪模块526和观看者简档形成模块528监测与所呈现的实时性能的观看者交互(例如,声音响应、触摸等等)。响应于观看者交互,LF处理引擎可以通过生成额外全息和/或感觉内容以显示给观看者来创建交互式体验。
为了说明,考虑LF显示系统500的实例实施例,所述LF显示系统包含生成表示观看者的自行车的全息对象的LF处理引擎530。观看者可以移动以触摸表示自行车的全息对象。对应地,跟踪系统550跟踪观看者的手相对于全息对象的移动。观看者的移动由跟踪系统550记录并且发送到控制器520。跟踪模块526连续确定观看者的手的运动并将已确定的运动发送到LF处理引擎530。LF处理引擎530确定观看者的手的放置,调整图形的实时渲染以在全息对象中包含任何所需的改变(例如定位、颜色或遮挡)。LF处理引擎530指示LF显示组合件510(和/或感觉反馈系统540)使用体触觉投影系统(例如,使用超声扬声器)生成触觉表面。所生成的触觉表面对应于全息对象的至少一部分,并且占据与全息对象的外部表面中的一些或全部外部表面基本上相同的空间。LF处理引擎530使用跟踪信息来动态地指示LF显示组合件510移动触觉表面的位置以及渲染的全息对象的位置,使得向观看者提供触摸自行车的视觉感知和触觉感知两者。更简单地,当观看者观看他的手触摸全息自行车时,观看者同时感觉到指示其手触摸了全息自行车的触觉反馈,并且自行车响应于触摸而改变位置或运动。在一些实例中,并非呈现从数据存储区522存取的交互式自行车,所述交互式自行车可被接收为经由网络接口524从实时流式传输的应用接收的全息内容的部分。
LF处理引擎530还可以创建全息内容以由LF显示系统500显示。重要的是,此处,创建用于显示的全息内容不同于存取或接收用于显示的全息内容。也就是说,当创建内容时,LF处理引擎530生成用于显示的全新内容,而不是存取先前生成和/或接收的内容。LF处理引擎530可以使用来自跟踪系统550、感觉反馈系统540、观看者简档形成模块528、跟踪模块526或其某一组合的信息以创建全息内容以供显示。在一些实例中,LF处理引擎530可以存取来自LF显示系统500的元件的信息(例如,跟踪信息和/或观看者简档),基于所述信息创建全息内容,并且作为响应,使用LF显示系统500显示创建的全息内容。当由LF显示系统500显示时,创建的全息内容可以用其它感觉内容(例如,触摸、音频或气味)增强。此外,LF显示系统500可以存储创建的全息内容,使得其可以在将来显示。
LF显示系统的动态内容生成
在一些实施例中,LF处理引擎530并入有人工智能(AI)模型,以创建全息内容以供LF显示系统500显示。AI模型可包含监督或无监督的学习算法,包含但不限于回归模型、神经网络、分类器或任何其它AI算法。AI模型可以用于基于由LF显示系统500(例如,由跟踪系统550)记录的观看者信息来确定观看者偏好,所述观看者信息可以包含关于观看者的行为的信息。
AI模型可以从数据存储区522存取信息以创建全息内容。举例来说,AI模型可以从数据存储区522中的一个或多个观看者简档存取观看者信息,或者可以从LF显示系统500的各种组件接收观看者信息。为了说明,当考虑各种其它全息商品的观看历史时,AI模型可以确定观看者可能喜欢观看另一全息商品。AI模型还可以将学习到的每个观看者的偏好存储在数据存储区522的观看者简档存储中。在一些实例中,AI模型可以为单个观看者而不是一组观看者创建全息内容。
可用于标识观看者的特性、标识反应和/或基于所标识的信息生成全息内容的AI模型的一个实例是具有节点层的卷积神经网络模型,其中当前层的节点处的值是先前层的节点处的值的变换。通过连接当前层和先前层的一组权重和参数确定模型中的变换。举例来说,并且AI模型可以包含五个节点层:层A、B、C、D和E。从层A到层B的变换由函数W1给出,从层B到层C的变换由W2给出,从层C到层D的变换由W3给出,并且从层D到层E的变换由W4给出。在一些实例中,还可以通过用于在模型中的先前层之间进行变换的一组权重和参数来确定变换。举例来说,从层D到层E的变换W4可以基于用于完成从层A到B的变换W1的参数。
模型的输入可以是由跟踪系统550获取的编码到卷积层A上的图像,并且模型的输出是从输出层E解码的全息内容。替代地或另外,输出可以是图像中的观看者的所确定特性。在此实例中,AI模型标识表示标识层C中的观看者特性的图像中的潜在信息。AI模型将卷积层A的维度减小到标识层C的维度,以标识图像中的任何特性、动作、响应等等。在一些实例中,AI模型接着增加标识层C的维度以生成全息内容。
将来自跟踪系统550的图像编码到卷积层A。卷积层A中的图像输入可以与标识层C中的各种特性和/或反应信息等相关。可以通过在对应层之间应用一组变换来检索这些元件之间的相关信息。也就是说,AI模型的卷积层A表示编码图像,并且模型的标识层C表示微笑观看者。可以通过将变换W1和W2应用于卷积层A的空间中的图像的像素值来标识给定图像中的微笑观看者。用于变换的权重和参数可以指示包含在图像中的信息与微笑观看者的标识之间的关系。举例来说,权重和参数可以是包含在表示图像中的微笑观看者的信息中的形状、颜色、大小等等的量化。权重和参数可以基于历史数据(例如,先前跟踪的观看者)。
在标识层C中标识图像中的微笑观看者。标识层C表示基于关于图像中的微笑观看者的潜在信息的所标识的微笑观看者。
图像中的所标识的微笑观看者可用于生成全息内容。为了生成全息内容,AI模型在标识层C处开始且将变换W2和W3应用于标识层C中的给定所标识的微笑观看者的值。变换产生输出层E中的一组节点。用于变换的权重和参数可以指示所标识的微笑观看者与特定全息内容和/或偏好之间的关系。在一些情况下,全息内容直接从输出层E的节点输出,而在其它情况下,内容生成系统将输出层E的节点解码到全息内容。举例来说,如果输出是一组所标识的特性,则LF处理引擎530可以使用所述特性来生成全息内容。
另外,AI模型可包含被称为中间层的层。中间层是不对应于图像、不标识特性/反应等等或不生成全息内容的层。举例来说,在给定实例中,层B是卷积层A与标识层C之间的中间层。层D是标识层C与输出层E之间的中间层。隐藏层是在数据中观察不到的标识的不同方面的潜在表示,但是当标识特性并且生成全息内容时可以控制图像元素之间的关系。举例来说,隐藏层中的节点可以与共享“高兴的人微笑”的共同性的输入值和标识值具有强连接(例如,大的权重值)。作为另一实例,隐藏层中的另一节点可以与共享“害怕的人尖叫”的共同性的输入值和标识值具有强连接。当然,神经网络中存在任何数目的连接。另外,每个中间层是功能的组合,例如残差块、卷积层、池化操作、跳过连接、串联等。任何数目的中间层B可以用于将卷积层减少到标识层,并且任何数目的中间层D可以用于将标识层增加到输出层。
在一个实施例中,AI模型包含已经用强化学习训练的确定性方法(由此创建强化学习模型)。所述模型进行训练以使用来自跟踪系统550的测量作为输入并且使用所创建全息内容的改变作为输出来提高性能的质量。
强化学习是机器学习系统,其中机器学习“做什么”-如何将情况映射到动作-从而最大化数字奖励信号。不告知学习者(例如,LF处理引擎530)要采取哪些动作(例如,生成规定的全息内容),而是通过尝试所述动作发现哪些动作产生最高的奖励(例如,通过使更多人欢呼来提高全息内容的质量)。在一些情况下,动作不仅可以影响即时奖励,而且影响下一种情况,并因此影响所有后续奖励。这两个特征--尝试错误搜寻和延迟奖励--是强化学习的两个显著特征。
强化学习不是通过表征学习方法,而是通过表征学习问题来定义。基本上,强化学习系统捕获学习代理与其环境进行交互以实现目标所面临的问题的那些重要方面。也就是说,在为牛仔裤品牌生成广告的实例中,强化学习系统捕获关于场所中的观看者的信息(例如,年龄、性格等等)。此类代理感测环境状态并采取影响状态的动作以实现一个或多个目标(例如,创建产生最多印象的内容,从而创建产生最多转换的内容)。在其最基本形式中,强化学习的制定包含学习者的三个方面:感觉、动作和目标。
强化学习中所产生的挑战中的一个是探索与利用之间的权衡。为了增加系统中的奖励,强化学习代理更喜欢过去尝试过的并且发现要有效产生奖励的动作。然而,为了发现产生奖励的动作,学习代理会选择之前未选择的动作。代理“利用”其已经知道的信息以获得奖励,但其也“探索”信息以在未来做出更好的动作选择。学习代理尝试各种动作,并且在继续尝试新动作的同时逐渐偏爱那些看起来最佳的动作。在随机任务上,每个动作通常都会尝试多次,以获得对其预期奖励的可靠估计。举例来说,如果LF处理引擎创建了LF处理引擎知道的将导致观看者在长时间段后大笑的全息内容,则LF处理引擎可以改变全息内容,使得直到观看者大笑的时间减少。
此外,强化学习考虑目标导向代理与不确定环境交互的整个问题。强化学习代理有明确的目标,可以感测其环境的各方面,并可以选择接收高奖励的动作(即,高转换率)。此外,尽管代理面临的环境存在显著的不确定性,但其通常仍在进行操作。当强化学习涉及计划时,系统将解决计划与实时动作选择之间的相互作用,以及如何获取和改善环境要素的问题。为了使强化学习取得进步,必须分离和研究重要的子问题,子问题在完整的交互式寻求目标的代理中起明确作用。
强化学习问题是机器学习问题的框架,在所述框架中,处理交互并执行动作以实现目标。学习者和决策者称为代理(例如,LF处理引擎530)。与其交互的事物,包括代理之外的所有事物,被称为环境(例如,场所中的观看者、购物中心的观看者、地铁上的观看者等等)。这两个持续地进行交互,代理选择动作(例如,创建全息内容),并且环境响应于这些动作并将新情况呈现给代理。环境还带来了奖励,即,代理试图随时间最大化的特殊数值。在一个上下文中,奖励起到使观看者对全息内容的肯定反应最大化的作用。环境的完整规范限定一项任务,所述任务是强化学习问题的一个实例。
为了提供更多上下文,代理(例如,LF处理引擎530)和环境在一系列离散时间步长,即t=0、1、2、3等中的每个离散时间步长处进行交互。在每个时间步长t处,代理接收环境状态st的一些表示(例如,来自跟踪系统550的测量)。状态st在S内,其中S是可能状态的集合。基于状态st和时间步长t,代理选择动作at(例如,对牛仔裤品牌提供折扣)。动作at在A(st)内,其中A(st)是可能动作的集合。稍后的一个时间状态(部分作为其动作的结果),代理接收数字奖励rt+1。状态rt+1在R内,其中R是可能的奖励的集合。一旦代理接收到奖励,代理就会选择新状态st+1。
在每个时间步长处,代理都会实施从状态到选择每个可能动作的概率的映射。此映射称为代理的策略并且表示为πt,其中πt(s,a)是如果at=a,则st=s的概率。强化学习方法可以决定代理如何由于代理动作产生的状态和奖励来更改其策略。代理的目标是使随着时间的推移接收的奖励总数最大化。
这种强化学习框架非常灵活,并且可以以许多不同的方式(例如,生成全息内容)应用于许多不同的问题。框架提出,无论感觉、记忆和控制设备的细节如何,学习目标导向行为的任何问题(或目的)都可以减少到代理与其环境之间来回传递的三个信号:一个信号表示由代理做出的选择(动作)、一个信号表示做出选择的依据(状态)以及一个信号定义代理目标(奖励)。
当然,AI模型可包含任何数目的机器学习算法。可以采用的一些其它AI模型是线性和/或逻辑回归、分类和回归树、k均值聚类、向量量化等。无论情况如何,LF处理引擎530通常从跟踪模块526和/或观看者简档形成模块528获取输入并且作为响应,机器学习模型创建全息内容。类似地,AI模型可以引导全息内容的渲染。
LF处理引擎530可基于所显示的全息商品创建全息内容。举例来说,所展示的全息商品可与描述商品特性的一组元数据相关联。元数据可包含例如颜色、材料、其它购买者的评级、成本、销量等。LF处理引擎530可存取描述全息商品的任何元数据并且生成全息内容以供呈现。举例来说,表示沙发的全息商品正由在观看者家中实施的LF显示系统500呈现。LF处理引擎530存取沙发的元数据以创建家里墙壁的全息内容以补充沙发。此处,元数据可包含颜色和材料。LF处理引擎530将元数据输入到AI模型中,并且作为响应接收显示在家中墙壁上的全息内容。
在实例中,LF处理引擎530可将传统二维(2-D)电影转换为全息内容以供由LF显示系统显示。举例来说,LF处理引擎530可将传统电影输入到AI模型中,且AI模型将传统电影的任何部分转换成全息内容。在实例中,AI模型可通过使用通过将二维数据转换成全息数据训练的机器学习算法将传统电影转换成全息内容。在各种情形中,训练数据可以是先前生成的、创建的或这两者的某一组合。LF显示系统500可接着显示电影的全息版本而非电影的传统二维版本。
数字标牌内容分布系统
图5B是根据一个或多个实施例的结合用于数字标牌的LF显示系统的LF数字标牌内容分布系统560的框图。图5B所展示的LF数字标牌内容分布系统560包括一个或多个客户端LF显示系统500A和500B、网络570、一个或多个第三方系统580和在线系统590。在替代配置中,不同的和/或额外的组件可以包含在LF数字标牌内容分布系统560中。举例来说,在线系统590可包括社交网络系统、内容共享网络,或向观看者提供内容的另一系统。
客户端LF显示系统500A和500B能够经由网络570显示全息内容、接收输入并且传输和/或接收数据。客户端LF显示系统500A和500B是LF显示系统500的实施例。因而,每个客户端LF显示系统包括配置成经由网络570和LF显示组合件(例如,LF显示组合件510)接收全息内容的控制器。LF显示组合件可包括一个或多个LF显示模块(例如,LF显示模块512),其将全息内容作为全息对象体中的数字标牌显示给位于观看体中的观看者。客户端LF显示系统500A和500B配置成经由网络570进行通信。在一些实施例中,客户端LF显示系统500A和500B执行允许客户端LF显示系统的观看者与在线系统590交互的应用。举例来说,客户端LF显示系统500A执行浏览器应用以实现客户端LF显示系统500A与在线系统590之间经由网络570的交互。在其它实施例中,客户端LF显示系统500A通过在客户端LF显示系统500A的本地操作系统,例如或ANDROIDTM上运行的应用编程接口(API)与在线系统590交互。如先前所论述,为了有效的传送速度,客户端LF显示系统500A和500B的数据可以作为向量化数据经由网络570进行传送。每个客户端LF显示系统处的LF处理引擎(例如,LF处理引擎530)可以对向量化数据进行解码并将其转换为光栅化格式以用于在对应的LF显示组合件(例如,LF显示组合件510)上显示。
客户端LF显示系统500A和500B配置成使用有线和/或无线通信系统两者经由网络570进行通信,所述网络可包括局域网和/或广域网的任何组合。在一些实施例中,网络570使用标准通信技术和/或协议。举例来说,网络570包含使用例如以太网、802.11、全球微波接入互操作性(WiMAX)、3G、4G、码分多址(CDMA)、数字订户线(DSL)等技术的通信链路。用于通过网络570通信的联网协议的实例包含多协议标记交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、超文本传输协议(HTTP)、简单邮件传送协议(SMTP)和文件传送协议(FTP)。在网络570上交换的数据可以使用任何合适的格式来表示,例如超文本标记语言(HTML)或可扩展标记语言(XML)。在一些实施例中,网络570的通信链路的全部或一部分可以使用任何合适的一种或多种技术进行加密。
一个或多个第三方系统580可以耦合到网络570以与在线系统590进行通信。在一些实施例中,第三方系统580是标牌控制系统,例如内容提供商,经由网络570传送要分布到客户端LF显示系统500A和500B的全息内容。在一些实施例中,第三方系统580还可以将全息内容传送到在线系统590,所述在线系统接着可以将全息内容分布到客户端LF显示系统500A和500B。每个第三方系统580具有可以存储全息内容项目的内容存储区582,所述全息内容项目可以被分布以呈现给客户端LF显示系统500A和500B。第三方系统580可以向一个或多个客户端LF显示系统500A和500B提供全息内容以换取支付。在一个实施例中,全息内容项目可以与在线系统590在被分布到客户端LF显示系统500A和500B以供呈现时可以收集的成本相关联。
在线系统590通过向客户端LF显示系统500A和500B提供全息内容以换取支付来调节全息内容的分布。全息内容经由网络570提供。在线系统590包含观看者简档存储区592、内容存储区594、交易模块596以及内容分布模块598。在其它实施例中,在线系统590可包含用于各种应用的额外、更少或不同的组件。未展示常规组件,例如网络接口、安全功能、负载平衡器、故障接管服务器、管理和网络操作控制台等,以免混淆系统架构的细节。
在线系统590的每个观看者可以与观看者简档相关联,所述观看者简档存储在观看者简档存储区592中。观看者简档包含由观看者明确共享的关于观看者的陈述性信息,并且还可包含由在线系统590推断的简档信息。在一些实施例中,观看者简档包含多个数据字段,每个数据字段描述对应在线系统观看者的一个或多个属性。存储在观看者简档中的信息的实例包含传记、人口统计和其它类型的描述性信息,例如工作经验、教育历史、性别、爱好或偏好、位置等。观看者简档还可以存储观看者提供的其它信息,例如图像或视频。在某些实施例中,观看者的图像可以用标识显示在图像中的在线系统观看者的信息,以及标识存储在观看者的观看者简档中的标记观看者的图像的信息来标记。观看者简档存储区592中的观看者简档还可维持对对应观看者对内容存储区594中的内容项目执行的动作的参考,包含所监测的观看者的响应或用跟踪系统(例如,跟踪系统550)捕获并由跟踪模块(例如,跟踪模块526)确定的观看者的特性。所监测的观看者的响应可包含观看者在观看体中的位置、观看者的移动、观看者的手势、观看者的面部表情和观看者的注视。LF显示组合件可以响应于所监测的观看者的响应来更新全息内容的呈现。观看者的特性可包含观看者的人口统计信息、工作经历、教育历史、性别、收入、购买上花费的金额、爱好、位置、年龄、观看历史、对项目花费的时间、先前观看的项目的类别以及购买历史。LF显示组合件可以响应于观看者的特性来更新全息内容的呈现。在一些实施例中,观看者简档存储区592可以存储观看者的特性和由在线系统推断的观看者信息。在一些实施例中,观看者简档可以存储由一个或多个客户端LF显示系统提供的信息,所述信息可以包含提供的信息和/或从观看者简档形成模块(例如,观看者简档形成模块528)记录或推断的信息。
虽然观看者简档存储区592中的观看者简档常常与个人相关联,允许个人经由在线系统590彼此交互,但观看者简档还可以存储用于例如企业或组织等实体。这允许实体在在线系统590上建立存在以与其他在线系统观看者连接和交换内容。实体可以使用与实体的观看者简档相关联的品牌页面发布关于其自身、关于其产品的信息或向在线系统590的观看者提供其它信息。与品牌页面相关联的观看者简档可包含关于实体自身的信息,从而为观看者提供关于实体的背景或信息数据。在一个实施例中,在线系统590的其他观看者可以与品牌页面交互(例如,连接到品牌页面以接收发布到品牌页面的信息或从品牌页面接收信息)。观看者简档存储区592中的观看者简档可以维持对由对应观看者执行的交互的参考。如上文所描述,存储在观看者简档中(例如,在观看者简档形成模块528中)的任何信息都可以用作机器学习模型的输入,以创建显示给观看者的全息内容。
内容存储区594存储例如要分布到一个或多个客户端LF显示系统500A和500B的观看者的全息内容的全息内容。全息内容的实例的范围可包括:广告(例如,推广即将到来的销售、推广品牌等等)、通告(例如,政治演讲、励志演讲等等)、公共服务警报(例如,龙卷风警告、安珀警报等等)、新闻信息(例如,新闻头条、体育比分等等)、天气信息(例如,本地天气预报、空气质量指数等等)、场馆信息(例如,票房时间、即将举行的演出时间表等等)、关于交通或旅行状况的信息(例如,交通报告、道路封闭等等)、关于企业实体的信息(例如,办公室目录、营业时间等等)、表演(例如,音乐会、戏剧等等)、艺术内容(例如,雕塑、陶瓷等等)、任何其它全息内容,或其任何组合。在一些实施例中,在线系统观看者可以创建由内容存储区594存储的全息内容。在其它实施例中,全息内容从独立于在线系统590的第三方系统580接收。内容存储区594中的对象可表示单条内容或内容“项目”。
交易模块596向一个或多个客户端LF显示系统500A和500B提供全息内容以换取支付。在一个实施例中,交易模块596管理存储在内容存储区594中的全息内容经由网络570被分布到客户端LF显示系统500A和500B的事务。在一个实施例中,客户端LF显示系统500A和/或500B或客户端LF显示系统500A和500B的联网实体所有者可以为特定的全息内容项目提供支付,并且交易可以由交易模块596管理。替代地,第三方系统580可以将来自内容存储区582的内容提供给LF显示系统500A和/或500B,以换取提供给交易模块596的交易费用。在其它实施例中,在线系统590可以直接将内容分布到客户端LF显示系统500A和500B,而无论是否存在交易模块596对特定实体的账户收费。在一些实施例中,客户端LF显示系统500A和500B与一个或多个观看者简档相关联,所述观看者简档由交易模块596收取呈现全息内容项目的成本。在一些实施例中,全息内容项目可以无限地购买和使用或租用一段时间。接着可将由交易模块596收集的全部或部分报酬提供给全息内容项目的提供商。举例来说,为产品提供全息广告的第三方系统可以接收从客户端LF显示系统500A和500B收集的与全息广告相关的产品购买的报酬的一部分。
内容分布模块598为客户端LF显示系统500A和500B提供全息内容项目。内容分布模块598可以接收来自交易模块596的请求,所述请求具有要呈现给客户端LF显示系统500A和/或500B的全息内容项目。内容分布模块598从内容存储区594检索全息内容项目并且将全息内容项目提供到客户端LF显示系统500A和/或500B以显示给观看者。
在一些实施例中,客户端LF显示系统500A和500B可以部分地取决于是否接收到输入而记录全息内容的呈现实例。在一个实施例中,客户端LF显示系统500A和500B可配置成响应于全息内容的呈现而接收输入。全息内容可以是用于实物商品(例如,一双鞋子)、数字资产(例如,可下载的专辑)、要渲染的服务(例如,房屋油漆工)、其它全息广告或其某一组合的全息广告。对于全息广告,所接收的输入可用于确认全息广告的印象或范围。在一些实施例中,如果观看者对在全息内容的呈现期间提供的提示提供响应,则客户端LF显示系统500A和500B可以确认全息内容的呈现实例。举例来说,客户端LF显示系统500A接收来自观看者的声音输入(例如,在被提示之后),客户端LF显示系统500A使用所述声音输入来确认全息内容的呈现。客户端LF显示系统500A和500B可以使用接收的输入与其它度量(例如,由跟踪系统550获得的信息)的组合来确认全息内容的呈现实例。在其它实施例中,客户端LF显示系统500A和500B可配置成响应于所接收的输入来更新全息内容的呈现。举例来说,客户端LF显示系统500A接收来自观看者的声音输入(例如,在被提示之后),其中观看者表示对全息广告中呈现的产品感兴趣,客户端LF显示系统500A使用所述呈现的产品来更新被呈现的全息内容(例如,提供关于所述产品的更多定价信息)。
在具有全息广告的其它实施例中,客户端LF显示系统500A和500B向观看者提供转换机会点。在一些实施例中,所接收的输入可以对应于与全息内容相关联的转换。转换机会点是观看者对全息广告作出响应的机会点。对全息广告作出响应通常可以对应于根据全息广告内呈现的内容为观看者提供进行购买的选项。举例来说,客户端LF显示系统500A呈现购买皮夹克的购买选项。在其它情况下,对全息广告的响应可以为观看者提供选项,以根据全息广告内呈现的内容询问进一步的信息。客户端LF显示系统500A和500B可以提供具有全息广告呈现的提示。在呈现全息广告之后接收到要转换的输入时,客户端LF显示系统500A和500B可以基于所接收的输入而呈现后续全息内容以完成转换。在这些情况下,LF处理引擎530提供后续全息内容。在其它情况下,客户端LF显示系统500A可以将观看者引导到广告商以继续进行转换,例如,通过将观看者引导到网络浏览器(例如,在移动装置上或由客户端LF显示系统500A呈现)或通过将观看者引导到应用程序(例如,在移动装置上)。可以通过购买进行转换。按照上述实例,观看者提供与购买选项对应的输入,客户端LF显示系统500A可以响应呈现全息购买页面以允许观看者完成皮夹克的购买。在一些实施例中,全息广告的呈现实例的转换可由客户端LF显示系统500A记录,其可用于处理报酬成本。
在一些配置中,数字标牌内容分布系统560中的客户端LF显示系统500A和500B可具有不同的硬件配置。可以基于客户端LF显示系统500A和500B的硬件配置来呈现全息内容。硬件配置可包含分辨率、每度的所投影光线的数目、视场、显示表面上的偏转角以及显示表面的维度。每个硬件配置可生成或利用呈不同数据格式的感觉数据。如先前所论述,包含所有感觉数据(例如,全息、音频和触觉数据)的全息内容可以作为编码向量化格式传送到客户端LF显示系统500A和500B。因而,考虑到客户端LF显示系统500A或500B的对应硬件配置,每个客户端LF显示系统的LF处理引擎(例如,LF处理引擎530)可以对将在LF显示系统上呈现的编码数据进行解码。举例来说,第一客户端LF显示系统500A可具有第一硬件配置,且第二客户端LF显示系统500B可具有第二硬件配置。第一客户端LF显示系统500A可以接收与第二客户端LF显示系统相同的全息内容。尽管第一硬件配置和第二硬件配置存在差异,但每个LF显示系统500A和500B的LF处理引擎必须呈现全息内容,可能以不同的分辨率、不同的视场等等来呈现所述全息内容。
数字标牌应用
图6是根据一个或多个实施例的在数字标牌内容分布系统中使用的大型LF显示系统600的图示。LF显示系统600是LF显示系统500和客户端LF显示系统500A和500B的实施例。LF显示系统600含有向LF显示系统600的一个或多个观看者提供全息内容的LF显示组合件(LF显示组合件510的实施例)的LF显示模块620。图6中所示的LF显示系统600形成单面无缝表面环境;然而在其它实施例中,LF显示系统600可以形成多面无缝表面环境。在图6的图示中,LF显示系统的大小为由多个支撑结构吊在地面上方的广告牌。LF显示系统600可以实施为数字标牌内容分布系统(例如,数字标牌内容分布系统560)的一部分,所述系统控制来自在线系统(例如,在线系统590)的内容提供商的全息内容的分布或者来自第三方系统(例如,第三方系统580)的全息内容的分布。在一个实施例中,内容提供商可以是第三方系统(例如,生成其自身的广告的广告系统,也被称为广告商或代表一个或多个广告商生成广告的广告分布系统)。第三方系统可以通过网络连接到LF显示系统600,且配置成将全息内容提供到LF显示系统600以呈现给观看者。
LF显示系统600向LF显示系统600的一个或多个观看者呈现全息内容。LF显示系统600可以从数据存储区(例如,数据存储区522)或从内容提供商检索全息内容。全息内容的实例的范围可包括:广告(例如,即将到来的销售的促销)、通告(例如,政治演讲)、公共服务警报(例如,龙卷风警告)、新闻信息(例如,新闻头条)、天气信息(例如,本地天气预报)、场所信息(例如,售票处开放时间)、关于交通或旅行状况的信息(例如,交通报告)、关于企业实体的信息(例如,办公室目录)、表演(例如,演唱会)、艺术内容(例如,雕塑)、任何其它全息内容,或其任何组合。LF显示系统600(例如,经由LF处理引擎530)生成用于全息内容的显示指令,且更确切地说,所述全息内容为将由LF显示模块620呈现的全息内容。LF显示系统600可以呈现全息内容以供LF显示系统600的观看体内的所有观看者观看,所述观看者能够无障碍地看到全息内容。在其它情况下,LF显示系统600跟踪观看体内的至少一些观看者,并且在一些情况下跟踪所有观看者。在一些实施例中,LF显示系统600可以向每个所跟踪的观看者提供可由所述观看者观看的特定全息内容,并且所述特定全息内容对于其他观看者将不可见。在其它情况下,LF显示系统600可以将观看体细分为不同的区段,并为每个区段提供不同的全息内容。以此方式,不同区段中的观看者被呈现不同的全息内容,并体验特定针对他们所在区段的全息内容。LF显示系统600还可包含用于与由LF显示模块620提供的全息内容一起呈现感觉反馈的感觉反馈系统(例如,感觉反馈系统540)。当全息内容被提供给观看者时,LF显示系统600可以记录观看者响应于所呈现的全息内容的行为(例如,经由LF显示组合件510、感觉反馈系统540或跟踪系统550)。举例来说,LF显示系统600可以利用跟踪系统(例如,跟踪系统550)来监测观看者响应于全息内容的呈现的身体移动。
在一些实施例中,LF显示系统600向LF显示系统600的不同类型的观看者呈现特定的全息内容。跟踪系统(例如,跟踪系统550)可以跟踪观看者在LF显示系统600的观看体内的移动(例如,观看者从LF显示系统的左侧移动到LF显示系统的右侧),可以监测观看者对全息内容的响应(例如,观看者在大笑),并且可以确定观看者在LF显示系统的观看体内的测定(例如,观看者是女性)。
通过跟踪系统跟踪观看者的移动可以进一步基于每个观看者的移动来确定速度。举例来说,所跟踪的移动可包含观看者在观看体内移动的速度。LF显示系统可以基于观看者的速度来更新全息内容的呈现。在图6的实例中,跟踪系统可以确定行人630是正在缓慢移动(例如,慢于每小时五英里)的观看者。接着跟踪系统可以将行人630分类为行人。根据被确定为行人的观看者类型,LF显示系统600可以呈现被分配用于呈现给行人类型的全息对象635。LF显示系统600可以指定数据存储区(例如,数据存储区522)中的每个全息对象以供呈现给每种类型的观看者。LF显示系统600基于观看者的速度在观看者前方的全息对象体中的位置处呈现全息内容。举例来说,基于跟踪系统所跟踪的行人630的位置和移动,LF显示系统600可以更新全息对象635的呈现以始终呈现在行人630的前方,同时可能在观看体周围行走或移动。
跟踪系统可以将车辆乘客分类为车辆乘客640。跟踪系统可以将车辆乘客640确定为不同于行人630的另一种类型的观看者。跟踪系统可以确定车辆乘客640在车辆内。另外,跟踪系统可以确定车辆乘客640正在以比行人630更快的速度行进(例如,大于每小时五英里)。LF显示系统600确定全息对象645以提供给被分配用于呈现给车辆乘客类型的车辆乘客640。举例来说,LF显示系统600可以指定较少混乱的全息内容(例如,附近餐厅的名称和位置、即将上映或已经上映的电影的电影海报)以提供给车辆乘客,以避免过度分散车辆驾驶员的注意力。LF显示系统600还可以更新全息对象645的呈现,以使车辆乘客640在观看体内的整个移动过程中都可以看到。在其它实施例中,在确定车辆乘客640是车辆乘客类型的观看者之后,LF显示系统600以类似方式在观看体中的固定位置处呈现全息对象645,以避免过度分散车辆驾驶员的注意力。在一些实施例中,跟踪系统可以通过确定观看者在车辆内的位置以(至少部分地)确定观看者是驾驶员还是乘客,来进一步区分车辆的驾驶员和车辆的乘客。一旦被区分,LF显示系统600可呈现指定用于车辆驾驶员类型的全息内容,所述全息内容可包含较少分散注意力的全息内容(例如,在观看体中的固定位置处更静态、更少混乱),同时为车辆乘客类型的其他乘客提供可用于呈现给车辆乘客的全息内容。
跟踪系统可监测观看者对全息内容的响应。所监测的响应可包含观看者在观看体中的位置、观看者的移动、观看者的手势、观看者的面部表情、观看者的注视、某一其它所监测响应,或其某一组合。LF显示系统600可响应于所监测的观看者的响应而更新呈现给观看者的全息内容。举例来说,在图6中,观看者(即,行人630)将他们的视线从朝向LF显示模块620的右侧转向朝向LF显示模块620的左侧。跟踪系统监测观看者的注视并相应地更新全息内容(即,在全息对象体中与观看者的注视相交的位置处呈现全息对象635)。所监测的观看者的响应可以与网络上的装置共享。举例来说,所监测的响应可以与网络(例如,网络570)上的装置(例如,计算机、服务器等等)共享。
跟踪系统可确定观看者在LF显示系统600的观看体内的特性。所确定的观看者特征描述了观看者的特征或品质。所确定的特性可包含观看者的人口统计信息、工作经验、教育历史、性别、收入、购买上花费的金额、爱好、位置、年龄、观看历史、对项目花费的时间、先前观看的项目的类别、购买历史、观看者的某一其它特征或品质,或其某一组合。LF显示系统600可响应于所确定的观看者特性而更新呈现给观看者的全息内容。举例来说,在图6中,观看者(即,行人630)被确定为中学男生。相应地更新全息内容(即,全息对象635从当前显示的钻石戒指改变为可动人偶)。所确定的观看者特性可以与网络上的装置共享。举例来说,所监测的响应可以与网络(例如,网络570)上的装置(例如,计算机、服务器等等)共享。
在一些实施例中,全息对象635和/或645可以是提供给观看者(即,行人630和车辆乘客640)的全息广告。因此,LF显示系统600记录将全息广告呈现给观看者的实例。全息广告可用于数字资产或实物商品和服务,例如全息电影、全息节目、全息商品等等。在图6的图示中,作为全息广告实例的全息对象635是作为珠宝店的全息广告的钻石戒指。在其它实施例中,全息对象635和/或645可以是将信息提供给其相应观看者的信息面板。信息可包含但不限于欢迎标志、机构名称、带有方向的地图、各种事物(例如,对象、商店、餐馆和浴室)的位置等等。在图6的图示中,全息对象645作为拉斯维加斯市欢迎标志的广告牌LF显示表面的实例。
在一些实施例中,LF显示系统600确定观看体的各个区段的分类。在图6的图示中,LF显示系统600放置在人行道650上方,从而允许观看者在LF显示模块620下方通过。LF显示系统600还紧靠着车道660放置,其中机动车辆可以紧靠着LF显示系统600通过。在一个或多个实施例中,LF显示系统600实施AI模型以对观看体的各个区段进行分类。跟踪系统可提供观看体内的各种对象和观看者的跟踪信息。基于跟踪信息,LF显示系统600可确定观看体的一个区段是人行道650,其中观看者可能是行人或骑自行车的人,并且很可能不在许多机动车辆中。LF显示系统600可接着确定观看体的另一区段是车道660,其中观看者可能是机动车辆的乘客。根据观看体的分类区段,LF显示系统600可以根据所述区段提供全息内容。举例来说,LF显示系统600可提供固定在车道660中的观看者(即,车辆中的驾驶员或乘客)可以看到的位置处的全息标志,同时向在人行道650内移动的每个观看者提供特定的全息广告。
图7是根据一个或多个实施例的在小型标牌系统(例如,面板LF显示表面)中使用的LF显示系统700的图示。LF显示系统700是LF显示系统500的实施例。LF显示系统700含有向LF显示系统700的一个或多个观看者提供全息内容的LF显示组合件(LF显示组合件510的实施例)的LF显示模块720。图7中所示的LF显示系统700形成单面无缝表面环境;然而在其它实施例中,LF显示系统700可以形成多面无缝表面环境。在图7的图示中,LF显示系统的大小与平均观看者类似。LF显示系统700可以被实施为LF数字标牌环境的一部分,所述一部分控制来自内容提供商的全息内容的分布。
LF显示系统700标识LF显示系统700的观看者730。LF显示系统700使用观看者简档形成模块(例如,观看者简档形成系统528)来标识观看者730。在一些实施例中,观看者简档形成模块将图像识别技术与观看者730的所捕获图像数据一起使用。在其它实施例中,观看者简档形成模块进一步采用可以扫描观看者730的物理标识令牌的标识扫描器。举例来说,观看者730可位于具有RFID腕带的游乐园,所述腕带可以被观看者简档形成模块的一个或多个RFID扫描器扫描。LF显示系统700可接着存取数据存储区(例如,数据存储区522)中的观看者的观看者简档。观看者简档可包括关于观看者的各种特性或信息。特性可包含从所监测的行为中提供或推断的偏好。信息可进一步包括历史日志,例如先前已经呈现给观看者730的全息内容。LF显示系统700可接着选择全息对象725以呈现给观看者730。
跟踪系统(例如,跟踪系统550)跟踪观看者730,同时向观看者730提供全息内容。跟踪系统可以不断地监测观看者730的位置、观看者730的注视或其组合。LF显示系统700可以根据跟踪信息更新全息内容的呈现。举例来说,LF显示系统700可确定观看者730正在从LF显示系统700的一侧移动到另一侧。响应于所确定的观看者730的移动,LF显示系统700可以更新全息对象735的呈现以随着观看者730从一侧移动到另一侧。在另一实例中,观看者730可以大致垂直于LF显示模块720而站立。当观看者730转移其视线时,跟踪系统可监测观看者响应并记录注视。基于所记录的注视,LF显示系统700可以更新全息对象735的呈现以跟随观看者730的注视,例如,在全息对象体中与观看者730的注视相交的位置处呈现修改后的全息内容。
在一个或多个实施例中,LF显示系统700包含感觉反馈系统(例如,感觉反馈系统540)以提供具有全息内容的感觉反馈。感觉反馈系统可以根据存储在数据存储区(例如,数据存储区522)中的参数生成感觉反馈。在一些情况下,每个全息对象可具有指示感觉反馈的呈现以及由LF显示模块720呈现的全息对象的参数。举例来说,当呈现全息鸡时,感觉反馈系统可以接收包含感觉反馈参数的指令,以在观看体中的全息鸡的位置附近呈现羽毛的触觉纹理。另外,感觉反馈系统可以提供对应于鸡叫声(例如,叭叭叭)的音频反馈。观看者730可接着感知提供与全息对象735的更沉浸式的体验和交互的感觉反馈。
在一些实施例中,LF显示系统700配置成接收来自观看者730的输入。可以经由LF显示模块720、感觉反馈系统(例如,感觉反馈系统540)、跟踪系统(例如,跟踪系统550)、观看者简档形成模块(例如,观看者简档形成系统528)和任何额外输入设备的任何组合来接收输入。所接收的输入可包含但不限于音频输入(例如,来自观看者的语音输入)、跟踪输入(例如,从跟踪系统跟踪的观看者的手势)、按钮输入(例如,按压遥控器或触摸屏显示器的按钮等等),或其任何组合。响应于所接收的输入,LF显示系统700可以更新全息内容的呈现。在一些情况下,LF显示系统700可以关联一些输入以修改由LF显示系统700呈现的全息内容的显示,所述全息内容包含由LF显示模块720呈现的全息内容或由感觉反馈组合件提供的感觉反馈内容。
在LF显示系统700呈现的全息广告的实施例中,LF显示系统700可以接收输入以转换全息广告的呈现。当呈现全息广告时,LF显示系统700还可以向观看者730呈现选项作为转换机会点。观看者730可以向LF显示系统700提供输入。举例来说,如果观看者730希望购买全息对象735,则LF显示系统700提示观看者730举手。跟踪系统可以跟踪观看者730并且确定观看者730已经举手。举起的手被跟踪系统730接收作为输入。作为响应,LF显示系统700呈现额外全息内容以处理全息广告的转换。举例来说,LF显示系统700可以呈现全息网页以允许观看者730完成其对全息对象735的购买。
在一个或多个实施例中,全息对象735是呈现给观看者730的全息广告。因此,LF显示系统700记录将全息广告呈现给观看者730的实例。全息广告可用于数字资产或实物商品和服务、全息电影、全息节目、其它全息内容等等。在其它实施例中,全息对象735可以是向其相应观看者提供信息的信息面板。信息可包含但不限于欢迎标志、机构名称、带有方向的地图、各种事物(例如,对象、商店、餐馆和浴室)的位置等等。
额外的配置信息
对本公开的实施例的前述描述出于说明的目的而呈现;这并不旨在穷举或将本公开限制于所公开的精确形式。相关领域的技术人员可了解到,根据以上公开内容,许多修改和变化是可能的。
此描述的一些部分根据信息上的操作的算法和符号表示来描述本公开的实施例。这些算法描述和表示通常由数据处理领域的技术人员用来将其工作的实质有效地传达给本领域的其它技术人员。当在功能上、计算上或逻辑上描述时,这些操作应理解为通过计算机程序或等效电路、微码等等来实施。此外,不失一般性的情况下,还证明了将这些操作布置称为模块有时是方便的。所描述的操作和其相关联模块可以软件、固件、硬件或其任何组合来体现。
可以单独地用一个或多个硬件或软件模块或与其它装置组合地执行或实施本文所描述的步骤、操作或过程中的任一个。在一些实施例中,以包括含有计算机程序代码的计算机可读介质的计算机程序产品实施软件模块,所述计算机程序代码可由计算机处理器执行以执行所描述的步骤、操作或过程中的任一个或全部。
本公开的实施例还可以涉及用于执行本文中的操作的设备。此设备可以出于所需目的而专门构造,和/或其可以包括通过存储在计算机中的计算机程序选择性激活或重新配置的通用计算装置。此计算机程序可以存储于非暂时性有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中,所述介质可以耦合到计算机系统总线。此外,在说明书中提及的任何计算系统可以包含单个处理器,或可以是采用多处理器设计以得到增加的计算能力的架构。
本公开的实施例还可以涉及通过本文所描述的计算过程生产的产品。此产品可以包括产生于计算过程的信息,其中所述信息存储在非暂时性有形计算机可读存储介质上且可以包含本文所描述的计算机程序产品或其它数据组合的任何实施例。
最后,说明书中使用的语言主要是出于可读性和指导目的而选择的,并且可能未选择其来描绘或限制本发明的主题。因此,意图是本公开的范围不受此具体实施方式的限制,而是受基于其所附的申请的任何权利要求的限制。因此,实施例的公开旨在说明而非限制在以下权利要求中所阐述的本公开的范围。
Claims (64)
1.一种光场(LF)显示系统,其包括:
控制器,其配置成生成全息内容;以及
LF显示组合件,其包括一个或多个LF显示模块,所述LF显示模块配置成将全息对象体中的所述全息内容呈现给位于公共环境中的观看体中的观看者。
2.根据权利要求1所述的LF显示系统,其中所述全息内容包括以下各项中的一项或多项:
广告;
通告;
公共服务警报;
新闻信息;
天气信息;
场所信息;
关于交通或旅行状况的信息;
关于企业实体的信息;
事件的广播;
表演;以及
艺术内容。
3.根据权利要求1所述的LF显示系统,其中所述一个或多个LF显示模块进一步配置成将所述全息对象体中的额外全息内容呈现给位于不同于所述观看体的第二观看体中的第二观看者。
4.根据权利要求3所述的LF显示系统,其中所述全息内容能够从所述观看体观看,但不能够从所述第二观看体观看。
5.根据权利要求4所述的LF显示系统,其进一步包括配置成跟踪观看者的移动的跟踪系统,其中,所述观看体和所述第二观看体是基于所跟踪的观看者的移动来定义的。
6.根据权利要求1所述的LF显示系统,其进一步包括配置成执行以下各项中的一项或多项的跟踪系统:
跟踪所述观看者在所述LF显示系统的所述观看体内的移动;
监测所述观看者对所述全息内容的响应;以及
确定所述观看者在所述LF显示系统的所述观看体内的特性。
7.根据权利要求6所述的LF显示系统,其中所述跟踪系统包括配置成捕获所述一个或多个LF显示模块前方的区域的图像的一个或多个相机。
8.根据权利要求7所述的LF显示系统,其中所述一个或多个相机在所述LF显示组合件外部。
9.根据权利要求6所述的LF显示系统,其中所述一个或多个LF显示模块进一步配置成从所述一个或多个LF显示模块前方的区域捕获光场。
10.根据权利要求9所述的LF显示系统,其中所述LF显示组合件进一步配置成基于来自由所述一个或多个LF显示模块捕获的所述一个或多个LF显示模块前方的所述区域的所述光场而接收输入。
11.根据权利要求6所述的LF显示系统,其中所述跟踪系统包括配置成检测所述一个或多个LF显示模块前方的对象的深度的一个或多个深度传感器。
12.根据权利要求6所述的LF显示系统,其中所跟踪的移动包含所述观看者在所述观看体内移动的速度,且其中所述LF显示组合件配置成基于所述观看者的所述速度来更新所述全息内容的呈现。
13.根据权利要求12所述的LF显示系统,其中所述全息内容基于所述观看者的所述速度而呈现在所述观看者前方的所述全息对象体中的位置处。
14.根据权利要求6所述的LF显示系统,其中所监测的所述观看者的响应包括以下各项中的一项或多项:
所述观看者在所述观看体中的位置;
所述观看者的移动;
所述观看者的手势;
所述观看者的面部表情;以及
所述观看者的注视。
15.根据权利要求14所述的LF显示系统,其中所述LF显示组合件进一步配置成响应于所述所监测的所述观看者的响应而更新所述全息内容的呈现。
16.根据权利要求14所述的LF显示系统,其中所述所监测的所述观看者的响应与网络上的装置共享。
17.根据权利要求6所述的LF显示系统,其中所述所监测的所述观看者的响应包含所述观看者的所述注视,且其中所述LF显示组合件配置成基于所述观看者的所述注视而呈现所述全息内容。
18.根据权利要求17所述的LF显示系统,其中所述全息内容呈现在所述全息对象体中与所述观看者的所述注视相交的位置处。
19.根据权利要求17所述的LF显示系统,其中所述控制器进一步配置成部分地基于所述观看者的所述注视而确定印象发生。
20.根据权利要求6所述的LF显示系统,其中所确定的所述观看者的特性包括以下各项中的一项或多项:所述观看者的人口统计信息、工作经历、教育历史、性别、收入、购买上花费的金额、爱好、位置、年龄、观看历史、对项目花费的时间、先前观看的项目的类别以及购买历史。
21.根据权利要求20所述的LF显示系统,其中所述LF显示组合件进一步配置成响应于所述所确定的所述观看者的特性而更新所述全息内容的呈现。
22.根据权利要求20所述的LF显示系统,其中所述所确定的所述观看者的特性与所述网络上的装置共享。
23.根据权利要求1所述的LF显示系统,其进一步包括:
观看者简档形成模块,其配置成生成包含所述观看者的特性的观看者简档。
24.根据权利要求23所述的LF显示系统,其中所述LF显示组合件进一步配置成响应于对应于所述观看者的观看者简档的所述特性而更新所述全息内容的呈现。
25.根据权利要求1所述的LF显示系统,其中所述LF显示系统进一步配置成响应于所述全息内容的呈现而接收输入。
26.根据权利要求25所述的LF显示系统,其中所述LF显示组合件进一步配置成响应于所接收的输入而更新所述全息内容的呈现。
27.根据权利要求25所述的LF显示系统,其中所述输入对应于与所述全息内容相关联的转换。
28.根据权利要求27所述的LF显示系统,其中所述LF显示组合件基于所接收的输入而呈现后续全息内容以完成所述转换。
29.根据权利要求28所述的LF显示系统,其中所述转换是购买。
30.根据权利要求27所述的LF显示系统,其中所述全息内容是针对以下各项中的一项或多项的全息广告:
实物商品;
数字资产;以及
要提供的服务。
31.根据权利要求1所述的LF显示系统,其中所述一个或多个LF显示模块中的每一个包括:
能量装置层,其配置成提供多个能量源位置;
具有多个能量波导的能量波导层,其中每个波导配置成根据四维光场函数将来自至少一个能量源位置的能量从显示表面投影到取决于所述能量源位置的至少一个特定方向中,以形成所述全息对象;并且
其中所述全息对象的观看视角部分地基于相对于所述全息对象体内的所述全息对象在所述观看体中的观看者的位置而改变。
32.根据权利要求31所述的LF显示系统,所述能量波导层进一步包括:
静电扬声器阵列,其耦合到所述多个能量波导,所述静电扬声器阵列包括:
至少一个透明膜,其配置成在被驱动时生成声能;以及
多个电极,其配置成声学地驱动所述透明膜,所述多个电极中的每个电极位于所述多个能量波导中的一个或多个能量波导之间。
33.根据权利要求1所述的LF显示系统,其中所述一个或多个LF显示模块中的每一个具有从中投影全息对象的显示表面,其中通过平铺所述一个或多个LF显示模块的所述显示表面来形成无缝显示表面。
34.根据权利要求33所述的LF显示系统,其中所述无缝显示表面的表面区域大于单个LF显示模块的所述显示表面的表面区域。
35.根据权利要求1所述的LF显示系统,其进一步包括:
感觉反馈系统,其包括一个或多个感觉反馈装置且配置成与所述全息对象同时提供感觉反馈。
36.根据权利要求35所述的LF显示系统,其中所述感觉反馈包含触觉反馈、音频反馈、香味反馈、温度反馈或其任何组合。
37.根据权利要求35所述的LF显示系统,其中所述感觉反馈系统包括用于通过所述全息对象提供触觉反馈的超声能量投影装置,其中所述超声能量投影装置配置成生成接近所述全息对象的表面或与所述全息对象的表面重合的立体触觉表面。
38.根据权利要求37所述的LF显示系统,其中所述全息内容是具有纹理的物理项目的表示,其中所述立体触觉表面模拟所述物理项目的所述纹理。
39.根据权利要求37所述的LF显示系统,其中所述立体触觉投影装置是所述LF显示组合件的部分。
40.根据权利要求1所述的LF显示系统,其中所述LF显示系统是LF数字标牌环境的组件,所述LF数字标牌环境包括:
标牌控制系统,其通过网络连接到所述LF显示系统,且配置成将所述全息内容提供到所述LF显示系统以呈现给所述观看者。
41.根据权利要求40所述的LF显示系统,其中所述全息内容包括以下各项中的一项或多项:
广告;
通告;
公共服务警报;
新闻信息;
天气信息;
场所信息;
关于交通或旅行状况的信息;
关于企业实体的信息;
事件的广播;
表演;以及
艺术内容。
42.根据权利要求40所述的LF显示系统,其中所述LF显示系统配置成经由所述网络接收呈编码格式的所述全息内容,且进一步配置成将所述全息内容解码成用于呈现给所述观看者的格式。
43.根据权利要求42所述的LF显示系统,其中所述编码格式是向量化格式并且解码格式是光栅化格式。
44.根据权利要求1所述的LF显示系统,其中基于所述LF显示系统的硬件配置呈现所述全息内容。
45.根据权利要求44所述的LF显示系统,其中所述硬件配置包括以下各项中的一项或多项:
分辨率;
每度的所投影光线的数目;
视场;
所述显示表面上的偏转角;以及
所述显示表面的维度。
46.一种方法,其包括:
跟踪观看者在光场(LF)显示系统的观看体内的移动;
部分地基于所跟踪的移动而确定所述观看者在所述观看体内;以及
部分地基于所述观看者在所述观看体内的确定,经由所述LF显示系统的一个或多个LF显示模块向所述观看者呈现全息对象体中的全息内容。
47.根据权利要求46所述的方法,其进一步包括:
基于所述观看者在所述观看体内的所述确定,标识向所述LF显示系统的所述观看者呈现全息内容的机会点;
从内容存储区中选择所述全息内容,所述全息内容包括一组参数;
基于所述一组参数而生成用于所述全息内容的显示指令;并且
其中向所述观看者呈现所述全息内容进一步基于所述一组参数。
48.根据权利要求46所述的方法,其进一步包括以下各项中的一项或多项:
跟踪所述观看者在所述观看体内的移动;
监测所述观看者对所述全息内容的响应;以及
确定所述观看者在所述观看内的特性。
49.根据权利要求48所述的方法,其进一步包括:
基于所监测的所述观看者的响应而确定印象的发生。
50.根据权利要求48所述的方法,其进一步包括:
响应于所跟踪的所述观看者的移动、所述所监测的所述观看者的响应以及所确定的所述观看者的特性中的一个或多个来更新所述全息内容的呈现。
51.根据权利要求46所述的方法,其进一步包括:
响应于所述全息内容的呈现而接收来自所述观看者的输入。
52.根据权利要求48所述的方法,其中监测所述观看者的所述响应包括记录所述观看者的注视,所述方法进一步包括:
在所述全息对象体中与所述观看者的所述注视相交的位置处呈现修改后的全息内容。
53.根据权利要求52所述的方法,其进一步包括:
部分地基于所述观看者的所述注视而确定印象是否发生。
54.根据权利要求46所述的方法,其进一步包括:
接收对应于与所述全息内容相关联的转换的输入;以及
基于所接收的输入呈现后续全息内容以完成所述转换。
55.一种光场(LF)数字标牌系统,其包括:
一个或多个客户端LF显示系统,每个客户端LF显示系统包括:
控制器,其配置成经由网络从在线系统接收全息内容,所述在线系统配置成调节全息内容的分布;以及
LF显示组合件,其包括一个或多个LF显示模块,所述一个或多个LF显示模块配置成将所述全息内容作为全息对象体中的数字标牌显示给位于观看体中的观看者。
56.根据权利要求55所述的LF数字标牌系统,其中所述一个或多个客户端LF显示系统进一步包括配置成执行以下各项中的一项或多项的跟踪系统:
监测所述观看者对所述全息内容的响应;以及
确定所述观看者在所述观看体内的特性。
57.根据权利要求56所述的LF数字标牌系统,其中,所监测的所述观看者的响应包括以下各项中的一项或多项:
所述观看者在所述观看体中的位置;
所述观看者的移动;
所述观看者的手势;
所述观看者的面部表情;以及
所述观看者的注视。
58.根据权利要求56所述的LF数字标牌系统,其中,所述LF显示组合件进一步配置成响应于所监测的所述观看者的响应而更新所述全息内容的呈现。
59.根据权利要求56所述的LF数字标牌系统,其中,所确定的所述观看者的特性包括以下各项中的一项或多项:所述观看者的人口统计信息、工作经历、教育历史、性别、收入、购买上花费的金额、爱好、位置、年龄、观看历史、对项目花费的时间、先前观看的项目的类别以及购买历史。
60.根据权利要求56所述的LF数字标牌系统,其中所述LF显示组合件进一步配置成响应于所确定的所述观看者的特性而更新所述全息内容的呈现。
61.根据权利要求56所述的LF数字标牌系统,其进一步包括:
观看者简档形成模块,其配置成生成包含所述观看者的特性的观看者简档。
62.根据权利要求55所述的LF数字标牌系统,其中所述一个或多个客户端LF显示系统接收全息内容以换取支付。
63.根据权利要求55所述的LF数字标牌系统,其中基于所述客户端LF显示系统的硬件配置呈现所述全息内容。
64.根据权利要求63所述的LF数字标牌系统,其中所述硬件配置包括以下各项中的一项或多项:
分辨率;
每度的所投影光线的数目;
视场;
所述显示表面上的偏转角;以及
所述显示表面的维度。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2019/046030 WO2021029859A1 (en) | 2019-08-09 | 2019-08-09 | Light field display system based digital signage system |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114303105A true CN114303105A (zh) | 2022-04-08 |
Family
ID=74498136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980099775.XA Pending CN114303105A (zh) | 2019-08-09 | 2019-08-09 | 基于光场显示系统的数字标牌系统 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11902500B2 (zh) |
EP (1) | EP4010756A4 (zh) |
JP (1) | JP2022552770A (zh) |
KR (1) | KR20220045166A (zh) |
CN (1) | CN114303105A (zh) |
CA (1) | CA3150016A1 (zh) |
WO (1) | WO2021029859A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298921B1 (en) | 2018-02-27 | 2019-05-21 | Looking Glass Factory, Inc. | Superstereoscopic display with enhanced off-angle separation |
US20220335698A1 (en) * | 2019-12-17 | 2022-10-20 | Ashley SinHee Kim | System and method for transforming mapping information to an illustrated map |
US11449004B2 (en) * | 2020-05-21 | 2022-09-20 | Looking Glass Factory, Inc. | System and method for holographic image display |
US11415935B2 (en) | 2020-06-23 | 2022-08-16 | Looking Glass Factory, Inc. | System and method for holographic communication |
US20240037864A1 (en) * | 2020-07-28 | 2024-02-01 | Knowck Co,. Ltd. | Method, system, and non-transitory computer-readable recording medium for managing augmented reality interface for content being provided by digital signage |
US11388388B2 (en) | 2020-12-01 | 2022-07-12 | Looking Glass Factory, Inc. | System and method for processing three dimensional images |
KR20230015083A (ko) * | 2021-07-22 | 2023-01-31 | 삼성전자주식회사 | 디스플레이를 포함하는 전자 장치 및 방법 |
WO2023086398A1 (en) * | 2021-11-09 | 2023-05-19 | Innopeak Technology, Inc. | 3d rendering networks based on refractive neural radiance fields |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004294861A (ja) * | 2003-03-27 | 2004-10-21 | Sanyo Electric Co Ltd | 立体映像表示装置 |
JP2013011669A (ja) * | 2011-06-28 | 2013-01-17 | Kyocera Corp | 電子表示装置 |
JP2016071008A (ja) * | 2014-09-29 | 2016-05-09 | 株式会社ジャパンディスプレイ | 表示装置 |
US20180024628A1 (en) * | 2016-07-19 | 2018-01-25 | Samsung Electronics Co., Ltd. | Beam steering backlight unit and holographic display apparatus including the same |
US20180253884A1 (en) * | 2017-03-06 | 2018-09-06 | Fovi 3D, Inc. | Multi-view processing unit systems and methods |
JP2019087185A (ja) * | 2017-11-10 | 2019-06-06 | 飛島建設株式会社 | 商品販売システム |
WO2019140413A1 (en) * | 2018-01-14 | 2019-07-18 | Light Field Lab, Inc. | Systems and methods for directing multiple 4d energy fields |
Family Cites Families (150)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2251700B (en) | 1990-11-30 | 1994-08-24 | Combined Optical Ind Ltd | Multiple array lens |
NL192610C (nl) | 1990-12-13 | 1997-11-04 | Enschede & Zonen Grafisch | Beelddrager en werkwijze voor het op een beelddrager drukken van een beeld. |
US5481385A (en) | 1993-07-01 | 1996-01-02 | Alliedsignal Inc. | Direct view display device with array of tapered waveguide on viewer side |
US5822125A (en) | 1996-12-20 | 1998-10-13 | Eastman Kodak Company | Lenslet array system |
JP3503925B2 (ja) * | 1998-05-11 | 2004-03-08 | 株式会社リコー | マルチ画像表示装置 |
US7151849B1 (en) * | 2000-01-11 | 2006-12-19 | Zebra Imaging, Inc. | Efficient block transform including pre-processing and post processing for autostereoscopic displays |
US6680761B1 (en) | 2000-01-24 | 2004-01-20 | Rainbow Displays, Inc. | Tiled flat-panel display having visually imperceptible seams, optimized for HDTV applications |
US6556280B1 (en) | 2000-09-19 | 2003-04-29 | Optical Switch Corporation | Period reconfiguration and closed loop calibration of an interference lithography patterning system and method of operation |
US6563648B2 (en) | 2000-10-20 | 2003-05-13 | Three-Five Systems, Inc. | Compact wide field of view imaging system |
JP3429282B2 (ja) | 2001-02-02 | 2003-07-22 | リサーチ・インターナショナル・インコーポレーテッド | 自動化されたシステム、及びサンプルの分析方法 |
JP4256597B2 (ja) * | 2001-05-01 | 2009-04-22 | 日本放送協会 | 立体画像表示装置 |
TW200402012A (en) | 2002-07-23 | 2004-02-01 | Eastman Kodak Co | OLED displays with fiber-optic faceplates |
AU2003279122A1 (en) | 2002-10-03 | 2004-04-23 | Massachusetts Insitute Of Technology | System and method for holographic fabrication and replication of diffractive optical elements for maskless lithography |
US20050280894A1 (en) * | 2004-04-02 | 2005-12-22 | David Hartkop | Apparatus for creating a scanning-column backlight in a scanning aperture display device |
US20050243275A1 (en) | 2004-04-30 | 2005-11-03 | Curatu Eugene O | Wavefront sensor and relay for optical measurement and associated methods |
AU2005269256B2 (en) | 2004-08-03 | 2008-08-07 | Silverbrook Research Pty Ltd | Head mounted display with wave front modulator |
DE102004044111B4 (de) * | 2004-09-08 | 2015-05-07 | Seereal Technologies Gmbh | Verfahren und Vorrichtung zum Kodieren und Rekonstruieren von computergenerierten Videohologrammen |
US7329982B2 (en) | 2004-10-29 | 2008-02-12 | 3M Innovative Properties Company | LED package with non-bonded optical element |
DE102004063838A1 (de) * | 2004-12-23 | 2006-07-06 | Seereal Technologies Gmbh | Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme |
US20060191566A1 (en) | 2005-02-28 | 2006-08-31 | Applied Optical Materials | Solar concentrator system using photonic engineered materials |
JP2007017822A (ja) * | 2005-07-11 | 2007-01-25 | Sanyo Epson Imaging Devices Corp | 表示装置 |
US20070285554A1 (en) * | 2005-10-31 | 2007-12-13 | Dor Givon | Apparatus method and system for imaging |
US9101279B2 (en) * | 2006-02-15 | 2015-08-11 | Virtual Video Reality By Ritchey, Llc | Mobile user borne brain activity data and surrounding environment data correlation system |
US20080144174A1 (en) | 2006-03-15 | 2008-06-19 | Zebra Imaging, Inc. | Dynamic autostereoscopic displays |
JP2009530661A (ja) | 2006-03-15 | 2009-08-27 | ゼブラ・イメージング・インコーポレイテッド | 動的裸眼立体視ディスプレイ |
DE102007024237B4 (de) * | 2007-05-21 | 2009-01-29 | Seereal Technologies S.A. | Holographisches Rekonstruktionssystem mit einer optischen Wellennachführung |
JP2008112401A (ja) * | 2006-10-31 | 2008-05-15 | Mitsubishi Electric Corp | 広告効果測定装置 |
US7710845B2 (en) | 2007-02-09 | 2010-05-04 | Sanyo Electric Co., Ltd. | Holographic memory and holographic recording apparatus |
US20080231926A1 (en) * | 2007-03-19 | 2008-09-25 | Klug Michael A | Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input |
US8432436B2 (en) * | 2007-04-17 | 2013-04-30 | University Of Southern California | Rendering for an interactive 360 degree light field display |
DE102007023737B4 (de) * | 2007-05-16 | 2009-01-02 | Seereal Technologies S.A. | Verfahren zum Generieren von Videohologrammen in Echtzeit zur Erweiterung einer 3D-Rendering-Graphikpipeline |
DE102007025069B4 (de) * | 2007-05-21 | 2018-05-24 | Seereal Technologies S.A. | Holographisches Rekonstruktionssystem |
US10108146B2 (en) | 2007-08-11 | 2018-10-23 | Massachusetts Institute Of Technology | Anisotropic leaky-mode modulator for holographic video displays |
US20140300695A1 (en) | 2007-08-11 | 2014-10-09 | Massachusetts Institute Of Technology | Full-Parallax Acousto-Optic/Electro-Optic Holographic Video Display |
US8149265B2 (en) | 2007-08-11 | 2012-04-03 | Massachusetts Institute Of Technology | Holographic video display system |
DE102007042984A1 (de) | 2007-09-10 | 2009-03-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur optischen Navigation |
JP4404146B2 (ja) * | 2008-01-17 | 2010-01-27 | パナソニック株式会社 | 投影型三次元画像再生装置 |
EP2304491A1 (en) | 2008-07-10 | 2011-04-06 | Real View Imaging Ltd. | Broad viewing angle displays and user interfaces |
US20100156895A1 (en) | 2008-10-26 | 2010-06-24 | Zebra Imaging, Inc. | Processing Pre-recorded Hogel Data |
WO2010065768A1 (en) * | 2008-12-03 | 2010-06-10 | Sapient Corporation | Systems and methods for advertisement serving networks |
US9256007B2 (en) | 2009-04-21 | 2016-02-09 | Svv Technology Innovations, Inc. | Light collection and illumination systems employing planar waveguide |
US9083958B2 (en) | 2009-08-06 | 2015-07-14 | Qualcomm Incorporated | Transforming video data in accordance with three dimensional input formats |
KR101600010B1 (ko) | 2009-09-22 | 2016-03-04 | 삼성전자주식회사 | 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법 |
EP3567416A1 (en) | 2009-10-12 | 2019-11-13 | The Trustees of Columbia University in the City of New York | Photonic crystal spectrometer |
US20110150283A1 (en) * | 2009-12-18 | 2011-06-23 | Electronics And Telecommunications Research Institute | Apparatus and method for providing advertising content |
TWI561941B (en) * | 2010-04-01 | 2016-12-11 | Seereal Technologies Sa | Method and device for encoding three-dimensional scenes which include transparent objects in a holographic system |
KR101756910B1 (ko) | 2010-05-11 | 2017-07-26 | 삼성전자주식회사 | 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 |
US8743466B2 (en) | 2010-06-15 | 2014-06-03 | Sharp Kabushiki Kaisha | Display device and method for forming the same |
US8704879B1 (en) * | 2010-08-31 | 2014-04-22 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing on conventional 2D display |
US9179134B2 (en) | 2011-01-18 | 2015-11-03 | Disney Enterprises, Inc. | Multi-layer plenoptic displays that combine multiple emissive and light modulating planes |
US20120268950A1 (en) | 2011-04-22 | 2012-10-25 | Parkyn William A | Wide-Angle Non-Imaging Illumination Lens Arrayable for Close Planar Targets |
US9640170B2 (en) | 2011-05-04 | 2017-05-02 | Thornton Tomasetti, Inc. | Acoustically transparent and acoustic wave steering materials for acoustic cloaking and methods of fabrication thereof |
EP2715669A4 (en) | 2011-05-25 | 2015-03-18 | Third Dimension Ip Llc | ALIGNMENT, CALIBRATION AND RESTITUTION SYSTEMS AND METHODS FOR TOTAL 3D ANGLED DISPLAY |
EP2721553B1 (en) | 2011-06-15 | 2017-02-22 | Hewlett-Packard Development Company, L.P. | Security image printing |
CN102231044A (zh) | 2011-06-29 | 2011-11-02 | 浙江大学 | 基于多屏拼接的体视三维显示装置 |
US8587635B2 (en) * | 2011-07-15 | 2013-11-19 | At&T Intellectual Property I, L.P. | Apparatus and method for providing media services with telepresence |
EP2551827A3 (en) | 2011-07-28 | 2017-08-02 | Sony Mobile Communications AB | Presenting three dimensional depth |
US8525829B2 (en) | 2011-09-19 | 2013-09-03 | Disney Enterprises, Inc. | Transparent multi-view mask for 3D display systems |
US8593564B2 (en) | 2011-09-22 | 2013-11-26 | Apple Inc. | Digital camera including refocusable imaging mode adaptor |
US9229231B2 (en) * | 2011-12-07 | 2016-01-05 | Microsoft Technology Licensing, Llc | Updating printed content with personalized virtual data |
US8917453B2 (en) | 2011-12-23 | 2014-12-23 | Microsoft Corporation | Reflective array waveguide |
US9612395B2 (en) | 2012-01-26 | 2017-04-04 | Corning Incorporated | Optical fiber with a variable refractive index profile |
US8953012B2 (en) | 2012-02-13 | 2015-02-10 | Raytheon Company | Multi-plenoptic system with image stacking and method for wide field-of-regard high-resolution imaging |
KR101946031B1 (ko) * | 2012-02-15 | 2019-02-11 | 한국전자통신연구원 | 시야창의 위치를 조정할 수 있는 홀로그래픽 디스플레이 장치 |
US8761534B2 (en) | 2012-02-16 | 2014-06-24 | Ricoh Co., Ltd. | Optimization of plenoptic imaging systems |
CN102591124A (zh) | 2012-02-21 | 2012-07-18 | 浙江大学 | 基于拼接光场的横向大视场三维显示方法及系统 |
KR20130112541A (ko) | 2012-04-04 | 2013-10-14 | 삼성전자주식회사 | 플레놉틱 카메라 장치 |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9841563B2 (en) | 2012-08-04 | 2017-12-12 | Paul Lapstun | Shuttered waveguide light field display |
US9860522B2 (en) | 2012-08-04 | 2018-01-02 | Paul Lapstun | Head-mounted light field display |
US8754829B2 (en) | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
US9703019B2 (en) | 2012-08-28 | 2017-07-11 | President And Fellows Of Harvard College | Adaptive optic and acoustic devices |
EP2951811A4 (en) | 2013-01-03 | 2016-08-17 | Meta Co | DIGITAL EYES FOR EXTRAMISSIVE SPATIAL IMAGING, PROCESSES AND SYSTEMS FOR VIRTUAL OR ENLARGED VISIBILITY, MANIPULATION, PRODUCTION OR INTERACTION WITH OBJECTS, MATERIALS, OR OTHER UNITS |
US9417762B2 (en) | 2013-01-09 | 2016-08-16 | Northrop Grumman Systems Corporation | System and method for providing a virtual immersive environment |
KR20140090838A (ko) * | 2013-01-10 | 2014-07-18 | 한국전자통신연구원 | 홀로그램 영상 표시 장치 및 방법 |
US20140267598A1 (en) * | 2013-03-14 | 2014-09-18 | 360Brandvision, Inc. | Apparatus and method for holographic poster display |
US9310769B2 (en) | 2013-03-28 | 2016-04-12 | Disney Enterprises, Inc. | Coarse integral holographic display |
KR102040653B1 (ko) * | 2013-04-08 | 2019-11-06 | 엘지디스플레이 주식회사 | 홀로그래피 입체 영상 표시장치 |
US10062210B2 (en) | 2013-04-24 | 2018-08-28 | Qualcomm Incorporated | Apparatus and method for radiance transfer sampling for augmented reality |
WO2014179414A1 (en) | 2013-05-01 | 2014-11-06 | Corning Incorporated | Random air line rod |
US10209517B2 (en) | 2013-05-20 | 2019-02-19 | Digilens, Inc. | Holographic waveguide eye tracker |
JP2014232288A (ja) * | 2013-05-30 | 2014-12-11 | 株式会社ニコン | 画像表示装置および画像表示方法 |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9464001B2 (en) | 2013-06-18 | 2016-10-11 | California Institute Of Technology | Engineered aggregates for metamaterials |
KR102517425B1 (ko) * | 2013-06-27 | 2023-03-31 | 아이사이트 모빌 테크놀로지 엘티디 | 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법 |
US9304492B2 (en) | 2013-10-31 | 2016-04-05 | Disney Enterprises, Inc. | Scalable and tileable holographic displays |
CN103616770B (zh) | 2013-12-12 | 2016-02-17 | 北京理工大学 | 基于多投影机和透射式散射屏幕的周视三维显示装置 |
FR3015743A1 (fr) * | 2013-12-23 | 2015-06-26 | Orange | Procede de traitement d'une sequence d'images holographiques, dispositifs, signaux, dispositifs et programme d'ordinateur associes |
WO2015104239A2 (en) * | 2014-01-07 | 2015-07-16 | Seereal Technologies S.A. | Display device for holographic reconstruction |
US9615068B2 (en) * | 2014-01-15 | 2017-04-04 | Disney Enterprises, Inc. | Optical vortex 3D displays |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
KR102205419B1 (ko) | 2014-02-04 | 2021-01-21 | 삼성디스플레이 주식회사 | 커브드 백라이트 어셈블리 및 이를 갖는 커브드 표시장치 |
CN103777455B (zh) | 2014-02-25 | 2016-08-17 | 浙江大学 | 基于光场拼接的球形沉浸式三维显示方法及系统 |
US20150244747A1 (en) * | 2014-02-26 | 2015-08-27 | United Video Properties, Inc. | Methods and systems for sharing holographic content |
US9465361B2 (en) | 2014-03-31 | 2016-10-11 | Disney Enterprises, Inc. | Image based multiview multilayer holographic rendering algorithm |
WO2015194773A1 (ko) * | 2014-06-20 | 2015-12-23 | 엘지전자(주) | 디스플레이 장치 및 그 구동 방법 |
GB2517069B (en) * | 2014-06-23 | 2015-09-02 | Liang Kong | Autostereoscopic virtual reality platform |
US20160014395A1 (en) | 2014-07-10 | 2016-01-14 | Arete Associates | Data fusion processing to identify obscured objects |
EP3663849A1 (en) | 2014-07-31 | 2020-06-10 | Vuzix Corporation | Image and wave field projection through diffusive media |
KR20160016468A (ko) * | 2014-08-05 | 2016-02-15 | 삼성전자주식회사 | 리얼 3d 영상 생성 방법 및 그 장치 |
CN105334690B (zh) | 2014-08-14 | 2018-07-27 | 台达电子工业股份有限公司 | 环绕光场显示器及其操作方法 |
US10423222B2 (en) | 2014-09-26 | 2019-09-24 | Digilens Inc. | Holographic waveguide optical tracker |
US10054793B2 (en) * | 2014-10-10 | 2018-08-21 | Samsung Electronics Co., Ltd. | Holographic display apparatus and holographic display method |
WO2016106196A1 (en) | 2014-12-22 | 2016-06-30 | Cyberoptics Corporation | Updating calibration of a three-dimensional measurement system |
US9544583B2 (en) | 2015-01-09 | 2017-01-10 | Ricoh Company, Ltd. | Object space calibration of plenoptic imaging systems |
KR101800929B1 (ko) * | 2015-01-29 | 2017-11-23 | 한국전자통신연구원 | 홀로그래픽 디스플레이 왜곡 보정 방법 및 장치 |
JP6359990B2 (ja) * | 2015-02-24 | 2018-07-18 | 株式会社ジャパンディスプレイ | 表示装置および表示方法 |
US9740169B2 (en) | 2015-03-19 | 2017-08-22 | Disney Enterprises, Inc. | Holographic high power illumination distribution system |
KR101648017B1 (ko) * | 2015-03-23 | 2016-08-12 | 현대자동차주식회사 | 디스플레이 장치, 차량 및 디스플레이 방법 |
US9602047B2 (en) | 2015-03-24 | 2017-03-21 | Ecole Polytechnique Federale De Lausanne (Eplf) | Self-tracking solar concentrator device |
US10591869B2 (en) | 2015-03-24 | 2020-03-17 | Light Field Lab, Inc. | Tileable, coplanar, flat-panel 3-D display with tactile and audio interfaces |
US20160299565A1 (en) * | 2015-04-07 | 2016-10-13 | Siemens Aktiengesellschaft | Eye tracking for registration of a haptic device with a holograph |
KR102421736B1 (ko) * | 2015-05-01 | 2022-07-15 | 삼성전자주식회사 | 향상된 화질을 제공하는 홀로그래픽 디스플레이 장치 및 홀로그래픽 디스플레이 방법 |
US9712810B2 (en) | 2015-06-03 | 2017-07-18 | Disney Enterprises, Inc. | Tracked automultiscopic 3D tabletop display |
KR20170029320A (ko) * | 2015-09-07 | 2017-03-15 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
WO2017059379A1 (en) * | 2015-09-30 | 2017-04-06 | Daqri, Llc | Bidirectional holographic lens |
WO2017079329A1 (en) * | 2015-11-04 | 2017-05-11 | Magic Leap, Inc. | Dynamic display calibration based on eye-tracking |
CN105487239B (zh) * | 2015-11-13 | 2018-03-02 | 苏州苏大维格光电科技股份有限公司 | 指向性彩色滤光片和裸眼3d显示装置 |
US9799161B2 (en) * | 2015-12-11 | 2017-10-24 | Igt Canada Solutions Ulc | Enhanced electronic gaming machine with gaze-aware 3D avatar |
CN108780297B (zh) * | 2015-12-28 | 2021-09-21 | 视瑞尔技术公司 | 用于优化图像质量的显示装置和方法 |
US9813673B2 (en) * | 2016-01-20 | 2017-11-07 | Gerard Dirk Smits | Holographic video capture and telepresence system |
WO2017127897A1 (en) | 2016-01-27 | 2017-08-03 | Paul Lapstun | Shuttered waveguide light field display |
JP2017142582A (ja) * | 2016-02-08 | 2017-08-17 | 富士電機株式会社 | 自動販売機及び自動販売機システム |
US10228653B2 (en) * | 2016-04-07 | 2019-03-12 | Pixie Dust Technologies, Inc. | System and method for rendering interactive aerial volumetric graphics and generating spatial audio using femtosecond lasers |
GB2550134A (en) | 2016-05-09 | 2017-11-15 | Euro Electronics (Uk) Ltd | Method and apparatus for eye-tracking light field display |
JP7501823B2 (ja) | 2016-07-15 | 2024-06-18 | ライト フィールド ラボ、インコーポレイテッド | ライトフィールドおよびホログラフィック導波路アレイにおけるエネルギーの選択的伝搬 |
WO2018014045A2 (en) | 2016-07-15 | 2018-01-18 | Light Field Lab, Inc. | Method of calibration for holographic energy directing systems |
WO2018014040A1 (en) | 2016-07-15 | 2018-01-18 | Light Field Lab, Inc. | Holographic superimposition of real world plenoptic opacity modulation through transparent waveguide arrays |
US10154253B2 (en) * | 2016-08-29 | 2018-12-11 | Disney Enterprises, Inc. | Multi-view displays using images encoded with orbital angular momentum (OAM) on a pixel or image basis |
CN108227914B (zh) * | 2016-12-12 | 2021-03-05 | 财团法人工业技术研究院 | 透明显示装置、使用其的控制方法及其控制器 |
US10698221B2 (en) * | 2017-01-05 | 2020-06-30 | Lusospace, Projectos Engenharia Lda | Display device with a collimated light beam |
US10691066B2 (en) | 2017-04-03 | 2020-06-23 | International Business Machines Corporation | User-directed holographic object design |
US10880086B2 (en) * | 2017-05-02 | 2020-12-29 | PracticalVR Inc. | Systems and methods for authenticating a user on an augmented, mixed and/or virtual reality platform to deploy experiences |
US10219095B2 (en) * | 2017-05-24 | 2019-02-26 | Glen A. Norris | User experience localizing binaural sound during a telephone call |
US10764552B2 (en) * | 2017-05-26 | 2020-09-01 | Google Llc | Near-eye display with sparse sampling super-resolution |
KR102037489B1 (ko) * | 2017-06-08 | 2019-10-28 | 오드컨셉 주식회사 | 이미지 기반 광고 제공 방법, 장치 및 컴퓨터 프로그램 |
US20190011700A1 (en) * | 2017-07-05 | 2019-01-10 | Bruce Reiner | Customizable three-dimensional interactive visualization and multi-sensory system and method |
EP3531244A1 (en) * | 2018-02-26 | 2019-08-28 | Thomson Licensing | Method, apparatus and system providing alternative reality environment |
US10565616B2 (en) * | 2017-07-13 | 2020-02-18 | Misapplied Sciences, Inc. | Multi-view advertising system and method |
US10803832B2 (en) * | 2017-08-01 | 2020-10-13 | Samsung Electronics Co., Ltd. | Synchronizing holographic displays and 3D objects with physical video panels |
US10560689B2 (en) | 2017-11-28 | 2020-02-11 | Paul Lapstun | Viewpoint-optimized light field display |
US20200264560A1 (en) * | 2017-12-08 | 2020-08-20 | Duan-Jun Chen | Rectilinear-transforming digital holography in compression domain (rtdh-cd) for real-and-virtual orthoscopic three-dimensional display (rv-otdd) |
DE112018006500A5 (de) * | 2017-12-21 | 2021-04-08 | Seereal Technologies S.A. | Anzeigevorrichtung und verfahren zur nachführung eines virtuellen sichtbarkeitsbereichs |
KR102629587B1 (ko) * | 2018-01-05 | 2024-01-25 | 삼성전자주식회사 | 색수차 저감 홀로그래픽 디스플레이 장치 |
JP6945466B2 (ja) * | 2018-01-31 | 2021-10-06 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 注文管理装置、注文管理方法、注文管理プログラムおよび注文管理システム |
US11330251B2 (en) * | 2019-01-16 | 2022-05-10 | International Business Machines Corporation | Defining a holographic object allowance area and movement path |
US10904479B2 (en) * | 2019-03-12 | 2021-01-26 | Light Field Lab, Inc. | Video communication including holographic content |
US20200290513A1 (en) * | 2019-03-13 | 2020-09-17 | Light Field Lab, Inc. | Light field display system for vehicle augmentation |
US11212514B2 (en) * | 2019-03-25 | 2021-12-28 | Light Field Lab, Inc. | Light field display system for cinemas |
US11435695B2 (en) * | 2019-06-25 | 2022-09-06 | Intel Corporation | Deep computational holography |
-
2019
- 2019-08-09 CA CA3150016A patent/CA3150016A1/en active Pending
- 2019-08-09 EP EP19941170.3A patent/EP4010756A4/en active Pending
- 2019-08-09 JP JP2022506195A patent/JP2022552770A/ja active Pending
- 2019-08-09 US US16/638,093 patent/US11902500B2/en active Active
- 2019-08-09 CN CN201980099775.XA patent/CN114303105A/zh active Pending
- 2019-08-09 KR KR1020227006583A patent/KR20220045166A/ko not_active Application Discontinuation
- 2019-08-09 WO PCT/US2019/046030 patent/WO2021029859A1/en unknown
-
2023
- 2023-12-22 US US18/394,753 patent/US20240155101A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004294861A (ja) * | 2003-03-27 | 2004-10-21 | Sanyo Electric Co Ltd | 立体映像表示装置 |
JP2013011669A (ja) * | 2011-06-28 | 2013-01-17 | Kyocera Corp | 電子表示装置 |
JP2016071008A (ja) * | 2014-09-29 | 2016-05-09 | 株式会社ジャパンディスプレイ | 表示装置 |
US20180024628A1 (en) * | 2016-07-19 | 2018-01-25 | Samsung Electronics Co., Ltd. | Beam steering backlight unit and holographic display apparatus including the same |
US20180253884A1 (en) * | 2017-03-06 | 2018-09-06 | Fovi 3D, Inc. | Multi-view processing unit systems and methods |
JP2019087185A (ja) * | 2017-11-10 | 2019-06-06 | 飛島建設株式会社 | 商品販売システム |
WO2019140413A1 (en) * | 2018-01-14 | 2019-07-18 | Light Field Lab, Inc. | Systems and methods for directing multiple 4d energy fields |
Also Published As
Publication number | Publication date |
---|---|
KR20220045166A (ko) | 2022-04-12 |
EP4010756A1 (en) | 2022-06-15 |
US20240155101A1 (en) | 2024-05-09 |
US20210044795A1 (en) | 2021-02-11 |
WO2021029859A1 (en) | 2021-02-18 |
CA3150016A1 (en) | 2021-02-18 |
JP2022552770A (ja) | 2022-12-20 |
US11902500B2 (en) | 2024-02-13 |
EP4010756A4 (en) | 2023-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11902500B2 (en) | Light field display system based digital signage system | |
CN112512653B (zh) | 基于光场显示系统的游乐园景点 | |
US20230070130A1 (en) | Light field display system for performance events | |
US9942420B2 (en) | Image and augmented reality based networks using mobile devices and intelligent electronic glasses | |
US12022053B2 (en) | Light field display system for cinemas | |
CN113811810A (zh) | 基于光场显示系统的商业系统 | |
JP7492577B2 (ja) | 成人向けライトフィールドディスプレイシステム発明者:ジョナサン・シャン・カラフィンブレンダン・エルウッド・ベベンシージョン・ドーム | |
JP2024147532A (ja) | 成人向けライトフィールドディスプレイシステム | |
CN114730081A (zh) | 用于游戏环境的光场显示系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |