CN112823299A - 全息现实系统、多视图显示器和方法 - Google Patents
全息现实系统、多视图显示器和方法 Download PDFInfo
- Publication number
- CN112823299A CN112823299A CN201880098302.3A CN201880098302A CN112823299A CN 112823299 A CN112823299 A CN 112823299A CN 201880098302 A CN201880098302 A CN 201880098302A CN 112823299 A CN112823299 A CN 112823299A
- Authority
- CN
- China
- Prior art keywords
- view
- light
- holographic reality
- reality system
- haptic feedback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000035807 sensation Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 description 19
- 230000008878 coupling Effects 0.000 description 10
- 238000010168 coupling process Methods 0.000 description 10
- 238000005859 coupling reaction Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 230000006855 networking Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 239000003989 dielectric material Substances 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000010399 physical interaction Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000011247 coating layer Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 239000004926 polymethyl methacrylate Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000005358 alkali aluminosilicate glass Substances 0.000 description 1
- 239000005388 borosilicate glass Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000003121 nonmonotonic effect Effects 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/32—Holograms used as optical elements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
- G02B30/31—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers involving active parallax barriers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/18—Diffraction gratings
- G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
- G02B5/1819—Plural gratings positioned on the same surface, e.g. array of gratings
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/18—Diffraction gratings
- G02B5/1842—Gratings for image generation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H3/00—Holographic processes or apparatus using ultrasonic, sonic or infrasonic waves for obtaining holograms; Processes or apparatus for obtaining an optical image from them
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/05—Means for tracking the observer
Abstract
一种全息现实系统和多视图显示器,监测用户位置并向用户提供虚拟触觉反馈。该全息现实系统包括:被配置为显示多视图图像的多视图显示器、被配置为监测用户位置的位置传感器、以及被配置为提供虚拟触觉反馈的虚拟触觉反馈单元。虚拟触觉反馈的范围对应于多视图图像内的虚拟控件的范围。全息现实多视图显示器包括多视图像素阵列和多波束元件阵列,该多视图像素阵列被配置为通过调制具有与不同视图相对应的方向的定向光束来提供多视图图像的不同视图,该多波束元件阵列被配置为将定向光束提供给对应的多视图像素。
Description
相关申请的交叉引用
N/A
关于联邦赞助研究或开发的声明
N/A
背景技术
电子显示器是用于向各种设备和产品的用户传递信息的几乎无处不在的介质。最常采用的电子显示器包含阴极射线管(CRT)、等离子体显示板(PDP)、液晶显示器(LCD)、电致发光显示器(EL)、有机发光二极管(OLED)和有源矩阵OLED(AMOLED)显示器、电泳显示器(EP)以及采用机电或电流体光调制的各种显示器(例如,数字微镜设备、电润湿显示器等)。通常来说,电子显示器可以被分类为有源显示器(即发光的显示器)或无源显示器(即,调制由另一个源所提供的光的显示器)。有源显示器的最明显的示例是CRT、PDP和OLED/AMOLED。当考虑发射的光时,典型地被分类为无源的显示器的是LCD和EP显示器。无源显示器虽然常常展现出包含但不限于固有的低能耗的有吸引力的性能特性,但由于缺乏发光能力而在许多实际应用中使用可能受到某些限制。
附图说明
参照结合附图的以下详细描述,可以更容易理解根据这里描述的原理的示例和实施例的各种特征,其中相同的参考数字表示相同的结构元件,并且其中:
图1A示出了根据与这里描述的原理一致的实施例的示例中的多视图显示器的透视图。
图1B示出了根据与这里描述的原理一致的实施例的示例中的具有与多视图显示器的视图方向对应的特定主角方向的光束的角分量的图形表示。
图2示出了根据与本文描述的原理一致的实施例的示例中的衍射光栅的横截面图。
图3A示出了根据与本文描述的原理一致的实施例的示例中的全息现实系统的框图。
图3B示出了根据与本文描述的原理一致的实施例的示例中的全息现实系统的透视图。
图3C示出了根据与本文描述的原理一致的实施例的另一示例中的图3B的全息现实系统的透视图。
图4A示出了根据与本文描述的原理一致的实施例的示例中的多视图显示器的横截面图。
图4B示出了根据与本文描述的原理一致的实施例的示例中的多视图显示器的平面图。
图4C示出了根据与本文描述的原理一致的实施例的示例中的多视图显示器的透视图。
图5A示出了根据与本文描述的原理一致的实施例的示例中的包括多光束元件的多视图显示器的一部分的横截面图。
图5B示出了根据与本文描述的原理一致的另一实施例的示例中的包括多光束元件的多视图显示器的一部分的横截面图。
图6A示出了根据与本文描述的原理一致的另一实施例的示例中的包括多光束元件的多视图显示器的一部分的横截面图。
图6B示出了根据与本文描述的原理一致的另一实施例的示例中的包括多光束元件的多视图显示器的一部分的横截面图。
图7示出了根据与本文描述的原理一致的另一实施例的示例中的包括多光束元件的多视图显示器的一部分的横截面图。
图8示出了根据与本文描述的原理一致的实施例的示例中的全息现实多视图显示器的框图。
图9示出了根据与本文描述的原理一致的实施例的示例中的全息现实系统操作的方法的流程图。
某些示例和实施例具有作为上面引用的图中所示特征的补充和替代之一的其他特征。下面参照上面引用的图详细说明这些和其他特征。
具体实施方式
根据本文描述的原理的示例和实施例提供了被配置为针对用户创建全息现实的系统和显示器。具体地,全息现实系统可以包括多视图显示器,该多视图显示器被配置为显示包括多视图或三维(3D)内容的多视图图像。此外,全息现实系统可以包括位置传感器(诸如电容传感器、两个或多个图像传感器或者飞行时间传感器),其被配置为在用户与多视图显示器或位置传感器之间没有接触的情况下监测用户的手的位置。此外,全息现实系统可以包括反馈单元,该反馈单元被配置为:在用户与全息现实系统之间没有接触的情况下,至少部分地基于所监测的位置向用户提供虚拟触觉反馈。例如,位置传感器单元可以检测与命令相对应的手势,并且虚拟触觉反馈单元可以响应于监测到的手位置提供关于多视图图像中的虚拟控件的激活的信息。此外,全息现实系统可以被配置为至少部分地基于所监测的位置来修改多视图图像的多视图内容。
在本文中,“二维显示器”或“2D显示器”被定义为被配置为无论从哪个方向观看图像(即,在2D显示器的预定义的观看角度或范围内)都提供基本相同的图像的视图的显示器。在许多智能电话和计算机监视器中发现的液晶显示器(LCD)是2D显示器的示例。相反,这里,“多视图显示器”被定义为被配置为在不同视图方向上或从不同视图方向提供多视图图像的不同视图的电子显示器或显示系统。具体地,不同视图可以表示多视图图像的场景或对象的不同透视图。在一些情况下,多视图显示器也可以被称为三维(3D)显示器,例如,当同时观看多视图图像的两个不同视图提供观看三维图像的感知时。
图1A示出了根据与本文描述的原理一致的实施例的示例中的多视图显示器10的透视图。如图1A所示,多视图显示器10包括用于显示要观看的多视图图像的屏幕12。多视图显示器10在相对于屏幕12的不同视图方向16上提供多视图图像的不同视图14。视图方向16被图示为从屏幕12以各种不同的主角方向延伸的箭头;不同的视图14被图示为在箭头(即,描绘视图方向16的箭头)的末端处的多边形框;并且仅图示了四个视图14和四个视图方向16,均作为示例而非限制。注意,虽然在图1A中将不同视图14图示为在屏幕上方,但是当在多视图显示器10上显示多视图图像时,视图14实际上出现在屏幕12上或其附近。将视图14描绘在屏幕12上方仅为了简化说明,并且旨在表示从与特定视图14对应的视图方向16中的相应一个来观看多视图显示器10。
根据本文中的定义,视图方向或等效地具有与多视图显示器的视图方向对应的方向的光束通常具有由角分量{θ,φ}给出的主角方向。角分量θ在本文中被称为光束的“仰角分量”或“仰角”。角分量φ被称为光束的“方位分量”或“方位角”。根据定义,仰角θ是垂直平面(例如,垂直于多视图显示屏幕的平面)中的角度,而方位角φ是水平平面(例如,平行于多视图显示屏幕的平面)中的角度。图1B示出了根据与本文描述的原理一致的实施例的示例中的具有与多视图显示器的视图方向(例如,图1A中的视图方向16)相对应的特定主角方向的光束20的角分量{θ,φ}的图形表示。此外,根据本文的定义,从特定点发射或发出光束20。也就是说,根据定义,光束20具有与多视图显示器内的特定原点相关联的中心光线。图1B还示出了光束(或视图方向)原点O。
此外,在本文中,在术语“多视图图像”和“多视图显示器”中使用的术语“多视图”被定义为表示不同透视或包括多个视图的视图之间的角度差的多个视图。另外,根据本文的定义,本文中的术语“多视图”明确地包括两个以上的不同视图(即,最少三个视图并且通常多于三个视图)。像这样,在本文中采用的“多视图显示器”明确区别于仅包括两个不同视图以表示场景或图像的立体显示器。然而应当注意的是,虽然多视图图像和多视图显示器可以包含多于两个的视图,但是通过一次仅选择观看多视图中的两个(例如,每只眼睛一个视图),可以将多视图图像作为立体图像对而被观看(例如,在多视图显示器上)。
“多视图像素”在本文中被定义为表示多视图显示器的多个不同视图中的每一个中的“视图”像素的子像素(诸如光阀)的集合或子像素组。具体地,多视图像素可以具有与多视图图像的每个不同视图中的视图像素相对应或表示该多视图图像的每个不同视图中的视图像素的各个子像素。此外,根据本文的定义,多视图像素的子像素是所谓的“定向像素”,其中每个子像素与不同视图中的对应的一个的预定视图方向相关联。此外,根据各种示例和实施例,由多视图像素的子像素表示的不同视图像素可以在每个不同视图中具有等效的或至少基本上相似的位置或坐标。例如,第一多视图像素可具有与位于多视图图像的不同视图的每一个中的{x1,y1}处的视图像素对应的各个像素,而第二多视图像素可具有与位于不同视图的每一个中的{x2,y2}处的视图像素对应的各个子像素,等等。
在一些实施例中,多视图像素中的子像素的数量可以等于多视图显示器的不同视图的数量。例如,多视图像素可以提供与具有64个不同视图的多视图显示器相关联的六十四(64)个子像素。在另一示例中,多视图显示器可以提供8×4的视图阵列(即32个视图),并且多视图像素可以包括三十二(32)个子像素(即,每个视图一个)。此外,例如,每个不同的子像素可以具有对应于不同的视图方向之一的关联方向(例如,光束主角方向),其中,视图方向对应于64个不同视图。此外,根据一些实施例,多视图显示器的多视图像素的数量可以基本上等于多视图显示器视图中的“视图”像素(即,构成所选视图的像素)的数量。例如,如果视图包括六百四十乘四百八十个视图像素(即640×480的视图分辨率),则多视图显示器可以具有三十万七千二百(307200)个多视图像素。在另一示例中,当视图包括一百乘一百个像素时,多视图显示器可包括总计一万(即100×100=10000)个多视图像素。
在本文中,“光导”被定义为使用全内反射来在结构内引导光的结构。具体地,光导可以包括在光导的工作波长处基本上透明的芯。在各种示例中,术语“光导”通常指采用全内反射来在光导的电介质材料与围绕该光导的材料或介质之间的界面处引导光的电介质光波导。根据定义,全内反射的条件是光导的折射率大于与光导材料表面相邻的周围介质的折射率。在一些实施例中,除了或代替上述折射率差,光导可以包括涂层,以进一步促进全内反射。例如,涂层可以是反射涂层。光导可以是几种光导中的任一种,包括但不限于板(plate)或片(slab)光导以及条带(strip)光导中的一个或两个。
此外,在本文中,术语“板”在应用于如在“板光导”中的光导时被定义为分段或不同平面的层或薄片,其有时被称为“片”导。具体地,板光导被定义为被配置为在由光导的顶表面和底表面(即,相对表面)界定的两个基本正交的方向上引导光的光导。此外,根据在本文中的定义,顶表面和底表面二者彼此分离并且可以在至少差异意义上基本上相互平行。也就是说,在板光导的任何不同的小部分内,顶表面和底表面基本上平行或共面。
在一些实施例中,板光导可以是基本上平坦的(即局限于平面),并且因此,板光导是平面光导。在其他实施例中,板光导可以在以一个或两个正交的维度上弯曲。例如,板光导可以在单个维度上弯曲以形成圆柱形的板光导。然而,任何曲率都具有足够大的曲率半径以确保在板光导内保持全内反射以引导光。
在本文中,“衍射光栅”被广义地定义为被布置以提供入射到衍射光栅上的光的衍射的多个特征(即,衍射特征)。在一些示例中,多个特征可以以周期性或准周期性的方式布置。在其他示例中,衍射光栅可以是包括多个衍射光栅的混合周期衍射光栅,多个衍射光栅中的每个衍射光栅具有不同的周期性特征布置。此外,衍射光栅可以包括以一维(1D)阵列布置的多个特征(例如,材料表面中的多个凹槽或脊)。替代地,衍射光栅可以包括二维(2D)特征阵列或以二维限定的特征阵列。例如,衍射光栅可以是材料表面上的凸起或材料表面中的孔的2D阵列。在一些示例中,衍射光栅可以在第一方向或维度上基本上是周期性的,并且在跨越或沿着衍射光栅的另一方向上基本上是非周期性的(例如,恒定的、随机的等)。
像这样,并且根据本文中的定义,“衍射光栅”是提供入射在衍射光栅上的光的衍射的结构。如果光从光导入射到衍射光栅上,则所提供的衍射或衍射性散射可引起,并因此被称为“衍射耦合”,其中衍射光栅可通过衍射将光耦合出光导。衍射光栅也通过衍射重新定向或改变光的角度(即,在衍射角上)。具体地,由于衍射,离开衍射光栅的光通常具有与入射到光栅上的光(即,入射光)的传播方向不同的传播方向。通过衍射在光传播方向上的改变在本文中被称为“衍射重定向”。因此,可以将衍射光栅理解为包括衍射地重定向入射在衍射光栅上的光的衍射特征的结构,并且如果光是从光导入射的,则衍射光栅也可将光从光导衍射地耦合出来。
此外,根据在本文中的定义,衍射光栅的特征被称为“衍射特征”,并且可以是在材料表面处、材料表面内或材料表面上(即,两种材料之间的边界)的一个或多个。例如,该表面可以是光导的表面。衍射特征可包括衍射光的各种结构中的任何一个,包括但不限于在表面处、表面中或表面上的凹槽、脊、孔和凸起的一个或多个。例如,衍射光栅可包括多个在材料表面中基本平行的凹槽。在另一示例中,衍射光栅可包括在材料表面升起的多个平行的脊。衍射特征(例如,凹槽、脊、孔、凸起等)可具有提供衍射的各种横截面形状或轮廓中的任何一个,包括但不限于正弦曲线轮廓、矩形轮廓(例如,二元衍射光栅)、三角形轮廓以及锯齿形轮廓(例如,闪耀光栅)中的一个或多个。
根据在本文中描述的各种示例,衍射光栅(例如,如下所述的衍射多光束元件的衍射光栅)可被用于将光衍射地散射或耦合出光导(例如,板光导)作为光束。具体地,局部周期性衍射光栅的衍射角θm或由其提供的衍射角θm可以由等式(1)给出:
其中,λ是光的波长,m是衍射级次,n是光导的折射率,d是衍射光栅的特征之间的距离或间隔,θi是光在衍射光栅上的入射角。简单起见,等式(1)假定衍射光栅与光导的表面相邻,并且光导外的材料的折射率等于1(即,nout=1)。通常,衍射级次m被给出为整数(即,m=±1,±2,…)。由衍射光栅产生的光束的衍射角θm可以由等式(1)给出。当衍射级次m等于一(即,m=1)时,提供第一级衍射或更具体地第一级衍射角θm。
图2示出了根据与本文描述的原理一致的实施例的示例中的衍射光栅30的横截面图。例如,衍射光栅30可以位于光导40的表面上。此外,图2示出了以入射角θi入射在衍射光栅30上的光束50。入射光束50是光导40内的被引导光束。图2中还示出了作为入射光束50的衍射结果的、由衍射光栅30衍射地产生并耦合或散射出光导40的定向光束60。定向光束50具有由等式(1)给出的衍射角θm(或本文中的“主角方向”)。例如,定向光束60可以对应于衍射光栅30的衍射级次“m”。
此外,根据一些实施例,衍射特征可以是弯曲的,并且还可以具有相对于光的传播方向的预定方位(例如,倾斜或旋转)。例如,衍射特征的曲线和衍射特征的方位中的一个或两个可以被配置为控制由衍射光栅散射出的光的方向。例如,定向光的主角方向可以是衍射特征在光入射在衍射光栅上的点处相对于入射光的传播方向的角度的函数。
根据本文的定义,“多光束元件”是产生包括多个光束的光的背光体或显示器的结构或元件。根据定义,“衍射”多光束元件是通过或使用衍射耦合产生多个光束的多光束元件。具体地,在一些实施例中,衍射多光束元件可以光学耦合到背光体的光导,以通过衍射耦合出在光导中引导的光的一部分来提供多个光束。此外,根据本文的定义,衍射多光束元件包括在多光束元件的边界或范围内的多个衍射光栅。根据本文的定义,由多光束元件产生的多个光束(或“多个光束(light beam plurality)”)中的光束具有彼此不同的主角方向。具体地,根据定义,多个光束中的光束具有与多个光束中的另一光束不同的预定主角方向。根据各种实施例,衍射多光束元件的衍射光栅中的衍射特征的间隔或光栅间距可以是亚波长(即,小于被引导光的波长)。
虽然在下面的讨论中使用具有多个衍射光栅的多光束元件作为说明性示例,但是在一些实施例中,可以在多光束元件中使用其他组件,诸如微反射元件和微折射元件中的至少一个。例如,微反射元件可以包括三角形反射镜、梯形反射镜、金字塔形反射镜、矩形反射镜、半球形反射镜、凹面镜和/或凸面镜。在一些实施例中,微折射元件可包括三角形折射元件、梯形折射元件、金字塔形折射元件、矩形折射元件、半球形折射元件、凹折射元件及/或凸折射元件。
根据各种实施例,多个光束可以表示光场。例如,多个光束可以被限制在空间的基本圆锥形区域内,或者具有包括多个光束中的光束的不同主角方向的预定角扩展。像这样,光束的预定角扩展组合起来(即,多个光束)可以表示光场。
根据各种实施例,多个光束中的各种光束的不同主角方向由特性确定,该特性包括但不限于衍射多光束元件的尺寸(例如,长度、宽度、面积等中的一个或多个)以及衍射多光束元件内的衍射光栅的“光栅间距”或衍射特征间隔和方位。在一些实施例中,根据本文的定义,衍射多光束元件可以被认为是“扩展点光源”,即,跨衍射多光束元件的范围分布的多个点光源。此外,根据本文的定义,并且如上面关于图1B所述,由衍射多光束元件产生的光束具有由角分量{θ,φ}给出的主角方向。
在本文中,“准直器”被定义为配置为准直光的基本任何光学设备或装置。例如,准直器可包括但不限于准直镜或反射器、准直透镜及其各种组合。在一些实施例中,包括准直反射器的准直器可以具有以抛物线或形状为特征的反射面。在另一示例中,准直反射器可以包括成形的抛物面形状的反射器。“抛物面形状”是指抛物面形状反射器的弯曲反射面以确定要获得预定反射特性(例如,准直的度数)的方式偏离“真实”抛物线。类似地,准直透镜可以包括球形表面(例如,双凸球面透镜)。
在一些实施例中,准直器可以是连续反射器或连续透镜(即,具有基本光滑、连续表面的反射器或透镜)。在其它实施例中,准直反射器或准直透镜可包括基本上不连续的表面,诸如但不限于提供光准直的菲涅耳反射器或菲涅耳透镜。根据各种实施例,由准直器提供的准直量可在不同实施例之间以预定的程度或量变化。此外,准直器可被配置为在两个正交方向(例如,垂直方向和水平方向)中的一个或两个上提供准直。也就是说,根据一些实施例,准直器可以在提供光准直的两个正交方向中的一个或两个上包括形状。
在本文中,“准直因子”表示为σ,被定义为光被准直的程度。具体地,根据本文中的定义,准直因子定义了光线在准直的光束内的角扩展。例如,准直因子σ可以指定准直光的光束中的大部分光线在特定的角扩展内(例如,关于准直光束的中心或主角方向的+/-σ度)。根据一些示例,准直光束的光线可以在角度方面具有高斯分布,并且角扩展可以是在准直光束的峰值强度的二分之一处确定的角度。
在本文中,“光源”被定义为光的来源(例如,被配置为产生和发射光的光发射器)。例如,光源可以包括诸如当激活或打开时发射光的发光二极管(LED)的光发射器。具体地,在本文中,光源可以基本上是光的任何来源或基本上包括任何光发射器,光发射器包括但不限于发光二极管(LED)、激光器、有机发光二极管(OLED)、聚合物发光二极管、基于等离子体的光发射器、荧光灯、白炽灯以及几乎任何其他光源中的一个或多个。由光源产生的光可以具有颜色(即,可以包括特定波长的光),或者可以是一定波长范围(例如,白光)。在一些实施例中,光源可以包括多个光发射器。例如,光源可以包括一套或一组光学发射器,其中至少一个光发射器产生具有与由该套或该组中的至少一个其他光发射器产生的光的颜色或波长不同的颜色或等效波长的光。例如,不同的颜色可以包括原色(例如,红、绿、蓝)。
此外,如本文中所用的,冠词“一”旨在具有其在专利文献中的通常含义,即“一个或多个”。例如,“元件”意为一个或多个元件,并且因此,“所述元件”这里意为“所述(一个或多个)元件”。此外,这里对“顶”、“底”、“上面”、“下面”、“上”、“下”、“前”、“后”、“第一”、“第二”、“左”或“右”的任何提及无意成为这里的限制。这里,除非另有明确规定,术语“约”在被应用于值时,通常意为在用于产生该值的设备的容差范围之内,或者可以意为正负10%、或正负5%、或正负1%。此外,当在这里使用时,术语“基本上”意为大部分、或几乎全部、或全部、或在约51%至约100%的范围内的量。而且,这里的示例意图仅是说明性的,并且出于讨论的目的呈现,而非作为限制。
根据本文描述的原理的实施例,提供了一种全息现实系统。图3A示出了根据与本文描述的原理一致的实施例的示例中的全息现实系统100的框图。图3B示出了根据与本文描述的原理一致的实施例的示例中的全息现实系统100的透视图。图3C示出了根据与本文描述的原理一致的实施例的另一示例中的图3B的全息现实系统100的透视图。
根据各种实施例,全息现实系统100被配置为将多视图内容显示为多视图图像。此外,全息现实系统100使用对全息现实系统100的用户(即,下文中的“用户”)的非接触或“虚拟”用户输入和非接触或“虚拟”触觉反馈的组合来促进与多视图内容的交互。具体地,用户可以使用虚拟用户输入和虚拟触觉反馈通过多视图图像内的虚拟控件来修改多视图内容或以其他方式与多视图内容交互。另外,全息现实系统100被配置为提供具有与多视图图像内的虚拟控件的范围(即,位置、尺寸和形状)相对应的范围的虚拟触觉反馈。像这样,根据各种实施例,虚拟触觉反馈可以向用户提供与虚拟控件的物理交互的感觉,而无需用户与全息现实系统100之间的实际或物理接触。
如图3A所示,全息现实系统100包括多视图显示器110。多视图显示器110被配置为将多视图内容显示为多视图图像。具体地,所显示的多视图图像被配置为由全息现实系统100的用户101观看。根据各种实施例,多视图显示器110可以是能够将多视图内容显示为多视图图像的基本上任何电子显示器。例如,多视图显示器110可以是或包括但不限于蜂窝电话或智能电话、平板计算机、膝上型计算机、笔记本计算机、个人或台式计算机、上网本计算机、媒体播放器设备、电子书设备、智能手表、可穿戴计算设备、便携式计算设备、消费电子设备和显示器耳机(诸如但不限于虚拟现实耳机)的各种电子显示器或在其中使用的各种电子显示器。在一些实施例中(例如,下面关于4A-4C描述的),多视图显示器110可以是全息现实多视图显示器,其采用被配置为提供多个定向光束的多光束元件以及被配置为将定向光束调制为多视图图像的不同视图的视图像素的光阀阵列。
图3A所示的全息现实系统100还包括位置传感器120。位置传感器120或更一般地包括位置传感器120的测量子系统被配置为监测用户101的位置。例如,位置传感器120可以被配置为监测全息现实系统100的用户101的手或手的一个或多个手指的位置。在其他实施例中,位置传感器120可以监测但不限于监测用户101的头部的位置、用户101的眼睛的位置以及由用户101握持的对象的位置。为了简化本文中的讨论,在理解手可以表示可以被监测的用户101的任何物理部分或条件的情况下描述用户101的术语“手”。具体地,根据本文的定义,术语“手”将被理解为至少包括整个手以及手的一个或多个手指。此外,根据本文的定义,监测“位置”包括但不限于监测位置和监测相对运动。作为示例而非限制,图3B-3C示出了可以由位置传感器120监测的用户101的手102。
根据各种实施例,位置传感器120可以包括一个或多个设备或传感器(其有时被称为“感测模块”或“感测单元”),其被配置为执行位置测量,诸如用于检测全息现实系统100的用户101的手102的位置和运动中的一个或两个的测量。根据各种实施例,可以在有或没有用户101与全息现实系统100之间的直接接触的情况下执行用户101的手的位置和运动测量中的一个或两个。由位置传感器120在没有物理接触的情况下执行的测量有时被称为例如“虚拟交互”或“间接交互”或“非接触交互”。使用虚线箭头示出了在图3A中描绘的在没有直接或物理接触的情况下监测用户位置。
根据一些实施例(例如,特别是为了促进虚拟或间接交互),位置传感器120可以包括被配置为测量用户101的手的位置和运动中的一个或两个的多个不同传感器中的任何一个,包括但不限于电容传感器、多个图像传感器(诸如相机或CMOS或CCD图像传感器)以及飞行时间传感器。根据各种实施例,电容传感器被配置为使用电容的变化来测量或确定手的位置和运动中的一个或两个。例如,电容传感器可以基于由用户101的手或手指的接近引起的电容传感器的电容的变化来检测手的位置或运动。根据各种实施例,多个图像传感器可以通过采用对由多个图像传感器捕获的图像的图像处理来确定或测量手的位置和运动中的一个或两个。例如,具有手的不同场或视图或视角的两个或多个图像传感器可以捕获手的图像。捕获的图像的分析(例如,使用图像处理)可以用于确定用户101的手的位置或运动(例如,使用从不同视角捕获的图像的比较)。根据各种实施例,飞行时间传感器可采用无线信号来监测手的位置或运动,该无线信号包括但不限于声信号、射频(RF)、微波信号、声信号、红外信号和另一光学信号(例如,在可见波长或紫外波长中的一个或两个中)中的一个或多个。例如,飞行时间传感器可以发送无线信号,该无线信号在从手反射时可以用于基于无线信号在手和飞行时间传感器之间进行往返所花费的时间长度来确定位置或运动。
在一些实施例中,位置传感器120(或包括位置传感器120的测量子系统)可以进一步包括用于确定全息现实系统100的运动和方位中的一个或两个的传感器。例如,位置传感器120可以包括被配置为测量全息现实系统100的运动和方位中的一个或两个的陀螺仪、加速度计中的一个或多个。在一些实施例中,例如,可以从测量的运动和测量的方位中的一个或两个推断手的位置。在其他实施例中,位置传感器120可以包括或进一步包括“触摸”传感器,诸如但不限于物理按钮、物理开关和触敏显示屏(例如,多视图显示器110的电容式触摸屏)。
根据各种实施例,图3A所示的全息现实系统100还包括虚拟触觉反馈单元130。虚拟触觉反馈单元130被配置为向用户101提供虚拟触觉反馈。具体地,在用户101与全息现实系统100之间没有物理接触的情况下,向用户101提供虚拟触觉反馈。此外,根据各种实施例,虚拟触觉反馈的范围对应于多视图图像内的虚拟控件的范围。在图3A中使用聚焦在用户101中的多个虚线箭头描绘了在没有物理接触的情况下向用户101提供虚拟触觉反馈。
图3B和3C示出了作为在全息现实系统100的多视图显示器110上显示的三维按钮(例如,作为多视图图像的一部分)的虚拟控件104。如使用虚线轮廓所示,虚拟控件104具有位置、尺寸(例如,L x W x H)和形状。虚拟触觉反馈的范围可以对应于虚拟控件104的位置、尺寸和形状。根据各种实施例,如果用户101的手102位于虚拟控件104的范围内,那么用户101可由于虚拟触觉反馈而感到、感觉或以其它方式感知与虚拟控件104的接触。例如,虚拟触觉反馈单元130可以使用超声或使用超声压力、气压或静电荷等中的一个或多个来提供虚拟触觉反馈,以提供非接触或虚拟触觉反馈。例如,超声压力、气压或静电荷的范围可以被配置为对应于虚拟控件104的范围(例如,视觉范围)。
根据各种实施例,由位置传感器120提供的位置或运动测量可以用于修改在多视图显示器110上显示的多视图图像的多视图内容。例如,如图3B-3C所示,多视图显示器110可以被配置为使用虚拟控件104来提供命令的视觉指示。由位置传感器120提供的手的位置或运动可以对应于手势或控制输入。可以通过改变虚拟控件104的位置、尺寸和形状中的一个或多个来提供手势的效果作为多视图内容的修改。例如,在图3B中,虚拟控件104被示出在手势(例如,手按压虚拟控件104)之前。在图3C中,虚拟控件104被描绘为遵循手势。如图所示,已经按下虚拟控件104以在视觉上向用户101指示已经发生命令输入的界面。像这样,多视图显示器110可以通过修改所显示的多视图内容来提供与手势相对应的命令的输入的视觉指示。此外,由虚拟触觉反馈单元130提供的虚拟触觉反馈可以模拟提供多视图内容的修改的命令的输入的物理指示。多视图内容的修改可以包括但不限于夹捏(pinching)多视图内容、旋转多视图内容、移位多视图内容以及变形或压缩多视图内容,例如,按下虚拟控件104,如图3C所示。
如上所述,虚拟触觉反馈单元130可以向用户101提供关于对命令的响应的信息,诸如响应于所监测的位置或运动而激活多视图内容中的虚拟图标(例如,虚拟控件104)。例如,如上所述,虚拟触觉反馈单元130可以使用超声或超声压力、气压或静电荷来提供虚拟触觉反馈。具体地,例如,超声压力、气压或静电荷可以向用户101的手提供力,使得其“感觉”好像用户101已经物理地和直接地按下虚拟控件104。根据各种实施例,即使用户101实际上不与全息现实系统100(即,多视图显示器110或显示在其上的虚拟控件104)直接接触,通过针对手的力提供的虚拟触觉反馈也可以向用户101提供触摸虚拟控件104并与虚拟控件104交互的感知。注意,虚拟触觉反馈可以由虚拟触觉反馈单元130与所显示的多视图内容的修改同时提供,使得全息现实系统100向用户101提供关于对手势或命令输入的响应的集成且直观的反馈。
在一些实施例中,所显示的多视图内容的修改还可以基于用户101相对于全息现实系统100的位置、用户101的注视方向和头部跟踪中的一个或多个。例如,全息现实系统100可以跟踪或监测用户101相对于全息现实系统100的位置。此外,在一些实施例中,多视图内容的修改可以进一步至少部分地基于全息现实系统100的条件,包括但不限于全息现实系统100的监测方位。例如,可以使用陀螺仪、加速度计和另一类型的方位测量(诸如使用相机或图像传感器获取的图像的分析)中的一个或多个来监测方位。因此,根据一些实施例,所显示的多视图内容的修改可以基于使用位置传感器120执行的测量和全息现实系统100的监测的方位两者。
在一些实施例中,多视图内容的修改还可以至少部分地基于要在全息现实系统100的多视图显示器110上呈现的内容。例如,如果内容包括具有宽的宽度或轴的全景场景,则由全息现实系统100显示的多视图内容可被修改以提供沿宽度或轴的更大数量的视图。更一般地,可以分析内容以确定沿着一个或多个不同轴(诸如长度和宽度)的信息空间密度,并且可以修改所显示的多视图内容以沿着具有最高信息空间密度的轴提供更大数量的视图。
在一些实施例中(图3A中未明确示出),全息现实系统100还可以包括处理子系统、存储器子系统、功率子系统和联网子系统。处理子系统可包括被配置以执行计算操作的一个或多个设备,例如但不限于微处理器、图形处理单元(GPU)或数字信号处理器(DSP)。存储器子系统可包括用于存储可由处理子系统使用以提供和控制全息现实系统100的操作的数据和指令中的一个或两个的一个或多个设备。例如,所存储的数据和指令可以包括但不限于被配置为以下各项中的一项或多项的数据和指令:在多视图显示器110上显示多视图内容作为多视图图像,处理要显示的多视图内容或多视图图像,响应于包括表示控制手势的用户101的手的位置的输入来控制多视图内容,以及经由虚拟触觉反馈单元130提供虚拟触觉反馈。例如,存储器子系统可以包括一种或多种类型的存储器,包括但不限于随机存取存储器(RAM)、只读存储器(ROM)和各种形式的闪存。
在一些实施例中,存储在存储器子系统中并由处理子系统使用的指令包括但不限于例如程序指令或指令集以及操作系统。例如,程序指令和操作系统可以在全息现实系统100的操作期间由处理子系统执行。注意,一个或多个计算机程序可以构成计算机程序机制、计算机可读存储介质或软件。此外,存储器子系统中的各种模块中的指令可以用高级过程语言、面向对象的编程语言以及汇编或机器语言中的一种或多种来实现。此外,根据各种实施例,编程语言可以被编译或解释(例如,可配置或配置(其可以在本讨论中互换使用)),以由处理子系统执行。
在各种实施例中,功率子系统可包括被配置为向全息现实系统100中的其他组件提供功率的一个或多个能量存储组件(诸如电池)。联网子系统可以包括被配置为耦合到有线网络和无线网络中的一个或两个并在有线网络和无线网络中的一个或两个上通信(即,执行网络操作)的一个或多个设备和子系统或模块。例如,联网子系统可以包括BluetoothTM联网系统、蜂窝联网系统(例如,3G/4G/5G网络,诸如UMTS、LTE等)、通用串行总线(USB)联网系统、基于IEEE 802.12中描述的标准的联网系统(例如,WiFi联网系统)、以太网联网系统中的任何一个或全部。
注意,虽然前述实施例中的一些操作可以以硬件或软件来实现,但是通常前述实施例中的操作可以以各种各样的配置和架构来实现。因此,前述实施例中的一些操作或全部操作可以以硬件、软件或硬件和软件两者执行。例如,显示技术中的至少一些操作可以使用程序指令、操作系统(诸如用于显示子系统的驱动器)或以硬件来实现。
图4A示出了根据与本文描述的原理一致的实施例的示例中的多视图显示器200的横截面图。图4B示出了根据与本文描述的原理一致的实施例的示例中的多视图显示器200的平面图。图4C示出了根据与本文描述的原理一致的实施例的示例中的多视图显示器200的透视图。图4C中的透视图以局部切除示出,以仅便于在本文中讨论。根据一些实施例,图4A-4C中所示的多视图显示器200可以用作全息现实系统100的多视图显示器110。
如图4A-4C所示,多视图显示器200被配置为提供具有彼此不同的主角方向的多个定向光束202(例如,作为光场)。具体地,根据各种实施例,所提供的多个定向光束202可以在与多视图显示器的相应视图方向相对应的不同主角方向上被散射出并被引导远离多视图显示器200。在一些实施例中,可以调制定向光束202(例如,使用光阀,如下所述),以促进显示具有多视图内容的信息,例如,多视图图像。图4A-4C还示出了包括子像素和光阀阵列230的多视图像素206,这将在下面进一步详细描述。
如图4A-4C所示,多视图显示器200包括光导210。光导210被配置为沿着光导210的长度引导光作为被引导光204(即,被引导光束)。例如,光导210可以包括被配置为光波导的电介质材料。电介质材料可以具有第一折射率,该第一折射率大于围绕电介质光波导的介质的第二折射率。例如,折射率的差异被配置为根据光导210的一个或多个引导模式促进被引导光204的全内反射。
在一些实施例中,光导210可以是包括延伸的、基本上平面的光学透明电介质材料片的板或片光波导(即,板光导)。基本上平面的电介质材料片被配置为使用全内反射来引导被引导光204。根据各种示例,光导210的光学透明材料可以包括各种电介质材料中的任何一种或由各种电介质材料中的任何一种组成,包括但不限于各种类型的玻璃(例如,石英玻璃、碱铝硅酸盐玻璃、硼硅酸盐玻璃等)和基本上光学透明的塑料或聚合物(例如,聚(甲基丙烯酸甲酯)或“丙烯酸玻璃”、聚碳酸酯等)中的一种或多种。在一些示例中,光导210还可以包括在光导210的表面(例如,顶表面和底表面中的一个或两个)的至少一部分上的涂覆层(未示出)。根据一些示例,涂覆层可以用于进一步促进全内反射。
此外,根据一些实施例,光导210被配置为根据全内反射在光导210的第一表面210'(例如,“前”表面或前侧)和第二表面210"(例如,“后”表面或后侧)之间以非零传播角引导被引导光204(例如,作为被引导光束)。具体地,被引导光204通过以非零传播角在光导210的第一表面210'和第二表面210"之间反射或“反弹”来传播。在一些实施例中,作为包括不同颜色的光的多个被引导光束的被引导光204可以由光导210引导,每个被引导光束以多个不同的颜色特定的、非零传播角中的相应一个被引导。为了简化说明,图4A-4C中未示出非零传播角。然而,粗箭头描绘了被引导光204沿着图4A中的光导长度的传播方向203。
如本文中所定义的,“非零传播角”是相对于光导210的表面(例如,第一表面210'或第二表面210")的角度。此外,根据各种实施例,非零传播角大于零且小于光导210内的全内反射的临界角。例如,被引导光204的非零传播角可以在大约十(10)度到大约五十(50)度之间,或者在一些示例中,在大约二十(20)度到大约四十(40)度之间,或者在大约二十五(25)度到大约三十五(35)度之间。例如,非零传播角可以是大约三十(30)度。在其他示例中,非零传播角可以是大约20度、或大约25度、或大约35度。此外,只要选择特定的非零传播角小于光导210内的全内反射的临界角,则可以为特定的实现选择(例如,任意地)特定的非零传播角。
光导210中的被引导光204可以以非零传播角(例如,大约30-35度)被引入或耦合到光导210中。在一些示例中,诸如但不限于透镜、反射镜或类似反射器(例如,倾斜准直反射器)、衍射光栅和棱镜以及其各种组合的耦合结构可以促进以非零传播角将光耦合到光导210的输入端作为被引导光204。在其他示例中,可以在不使用或基本上不使用耦合结构(即,可以采用直接或“对接”耦合)的情况下将光直接引入光导210的输入端。一旦被耦合到光导210中,被引导光204被配置为在传播方向203上沿着光导210传播,该传播方向203通常可以远离输入端(例如,在图4A中由沿着x轴指向的粗箭头示出)。
此外,根据各种实施例,通过将光耦合到光导210中产生的被引导光204或等效地被引导光204可以是准直光束。在本文中,“准直光”或“准直光束”通常被定义为其中光束的光线在光束(例如,被引导光204)内基本上彼此平行的光束。同样根据本文的定义,从准直光束发散或散射的光线不被认为是准直光束的一部分。在一些实施例(未示出)中,多视图显示器200可以包括准直器,诸如如上所述的透镜、反射器或反射镜(例如,倾斜的准直反射器),以准直例如来自光源的光。在一些实施例中,光源本身包括准直器。提供给光导210的准直光是准直的被引导光束。在一些实施例中,被引导光204可以根据准直因子σ或具有准直因子σ而被准直。可替代地,在其他实施例中,被引导光204可以是未准直的。
在一些实施例中,光导210可以被配置为“再循环”被引导光204。具体地,已经沿着光导长度被引导的被引导光204可以在与传播方向203不同的另一传播方向203'上沿着该长度被重定向返回。例如,光导210可以包括在光导210的、与邻近光源的输入端相对的端部处的反射器(未示出)。反射器可以被配置为将被引导光204朝向输入端反射回作为再循环的被引导光。在一些实施例中,代替光再循环或除了光再循环(例如,使用反射器)之外,另一光源可以在另一传播方向203'上提供被引导光204。再循环被引导光204和使用另一光源来提供具有另一传播方向203'的被引导光204中的一个或两个可以通过使被引导光例如可用于多光束元件来不止一次增加多视图显示器200的亮度(例如,增加定向光束202的强度),如下所述。在图4A中,指示再循环的被引导光的传播方向203'(例如,在负x方向上定向)的粗箭头示出了光导210内的再循环被引导光的一般传播方向。
如图4A-4C所示,多视图显示器200还包括沿着光导长度彼此间隔开的多个多光束元件220。具体地,多个多光束元件220通过有限空间彼此分离,并且表示沿着光导长度的单独的不同元件。也就是说,根据本文的定义,多个多光束元件220根据有限(即,非零)元件间距离(例如,有限的中心到中心距离)彼此间隔开。此外,根据一些实施例,多个多光束元件220通常不相交、重叠或以其他方式彼此接触。也就是说,多个多光束元件220中的每个多光束元件220通常是不同的并且与多光束元件220中的其他多光束元件分离。
根据一些实施例,多个多光束元件220可以以一维(1D)阵列或二维(2D)阵列布置。例如,多光束元件220可以被布置为线性1D阵列。在另一示例中,多光束元件220可以被布置为矩形2D阵列或圆形2D阵列。此外,在一些示例中,阵列(即,1D或2D阵列)可以是规则或均匀阵列。具体地,多光束元件220之间的元件间距离(例如,中心到中心距离或间隔)可以在阵列上基本均匀或恒定。在其他示例中,多光束元件220之间的元件间距离可以在阵列上和沿着光导210的长度中的一个或两个上变化。
根据各种实施例,多个多光束元件中的多光束元件220被配置为提供、耦合出或散射出被引导光204的一部分作为多个定向光束202。例如,根据各种实施例,可以使用衍射散射、反射散射和折射散射或耦合中的一个或多个来耦合出或散射出被引导光部分。图4A和4C将定向光束202示出为被描绘为从光导210的第一(或前)表面210'定向的多个发散箭头。此外,根据各种实施例,如上面定义的并且在下面进一步描述并在图4A-4C中示出的,多光束元件220的尺寸与多视图像素206的子像素(或等效地,光阀230)的尺寸相当。在本文中,“尺寸”可以以各种方式中的任何一种来定义,以包括但不限于长度、宽度或面积。例如,子像素或光阀230的尺寸可以是其长度,并且多光束元件220的相当尺寸也可以是多光束元件220的长度。在另一示例中,尺寸可以指这样的面积,使得多光束元件220的面积可以与子像素(或光阀230)的面积相当。
在一些实施例中,多光束元件220的尺寸与子像素尺寸相当,使得多光束元件尺寸在子像素尺寸的约百分之五十(50%)和约百分之二百(200%)之间。例如,如果多光束元件尺寸表示为‘s’并且子像素尺寸表示为‘S’(例如,如图4A所示),则多光束元件尺寸s可以由下式给出:
在其他示例中,多光束元件尺寸在以下范围内:大于子像素尺寸的约百分之六十(60%),或大于子像素尺寸的约百分之七十(70%),或大于子像素尺寸的约百分之八十(80%),或大于子像素尺寸的约百分之九十(90%),并且小于子像素尺寸的约百分之一百八十(180%),或小于子像素尺寸的约百分之一百六十(160%),或小于子像素尺寸的约一百四十(140%),或小于子像素尺寸的约一百二十(120%)。例如,通过“相当的尺寸”,多光束元件尺寸可以在子像素尺寸的约百分之七十五(75%)和约一百五十(150%)之间。在另一示例中,多光束元件220可以在尺寸上与子像素相当,其中多光束元件尺寸在子像素尺寸的约百分之一百二十五(125%)和约百分之八十五(85%)之间。根据一些实施例,可以选择多光束元件220和子像素的相当的尺寸以减少或在一些示例中最小化多视图显示器的视图之间的暗区。此外,可以选择多光束元件220和子像素的相当的尺寸以减少并且在一些示例中最小化多视图显示器200的视图(或视图像素)之间的重叠。
图4A-4C中所示的多视图显示器200还包括光阀阵列230,其被配置为调制多个定向光束中的定向光束202。如图4A-4C所示,具有不同主角方向的定向光束202中的不同定向光束穿过光阀阵列中的光阀230中的不同光阀,并且可以由光阀阵列中的光阀230中的不同光阀230调制。此外,如图所示,阵列的光阀230对应于多视图像素206的子像素,并且一组光阀230对应于多视图显示器的多视图像素206。具体地,光阀阵列的不同组的光阀230被配置为接收和调制来自多光束元件220中的对应的一个多光束元件的定向光束202,即,如图所示,对于每个多光束元件220存在一组唯一的光阀230。在各种实施例中,可以采用不同类型的光阀作为光阀阵列的光阀230,包括但不限于液晶光阀、电泳光阀和基于电润湿的光阀中的一个或多个。
如图4A所示,第一光阀组230a被配置为接收和调制来自第一多光束元件220a的定向光束202。此外,第二光阀组230b被配置为接收和调制来自第二多光束元件220b的定向光束202。因此,光阀阵列中的每个光阀组(例如,第一光阀组230a和第二光阀组230b)分别对应于不同的多光束元件220(例如,元件220a、220b)和不同的多视图像素206,其中光阀组的各个光阀230对应于相应多视图像素206的子像素,如图4A所示。
在一些实施例中,多光束元件220与对应的多视图像素206(即,子像素组和对应的光阀组230)之间的关系可以是一对一的关系。也就是说,可以存在相等数量的多视图像素206和多光束元件220。图4B通过示例明确地示出了一对一关系,其中包括不同组的光阀230(和对应的子像素)的每个多视图像素206被示出为由虚线包围。在其他实施例(未示出)中,多视图像素206的数量和多光束元件220的数量可以彼此不同。
在一些实施例中,多个多光束元件中的一对多光束元件220之间的元件间距离(例如,中心到中心距离)可以等于对应的一对多视图像素206(例如,由光阀组表示)之间的像素间距离(例如,中心到中心距离)。例如,如图4A所示,第一多光束元件220a和第二多光束元件220b之间的中心到中心距离d基本上等于第一光阀组230a和第二光阀组230b之间的中心到中心距离D。在其他实施例(未示出)中,多光束元件220和对应的光阀组的对的相对中心到中心距离可以不同,例如,多光束元件220可以具有大于或小于表示多视图像素206的光阀组之间的间隔(即,中心到中心距离d)之一的元件间间隔(即,中心到中心距离D)。
在一些实施例中,多光束元件220的形状类似于多视图像素206的形状,或者等效地,类似于与多视图像素206相对应的光阀230的集合(或“子阵列”)的形状。例如,多光束元件220可以具有正方形形状,并且多视图像素206(或对应的光阀230的集合的布置)可以是基本上正方形的。在另一示例中,多光束元件220可以具有矩形形状,即,可以具有大于宽度或横向维度的长度或纵向维度。在该示例中,对应于多光束元件220的多视图像素206(或等效地,该光阀230的集合的布置)可以具有类似的矩形形状。图4B示出了正方形多光束元件220和包括正方形的光阀230的集合的对应的正方形多视图像素206的俯视图或平面图。在其他示例(未示出)中,多光束元件220和对应的多视图像素206具有各种形状,包括或至少近似于但不限于三角形形状、六边形形状和圆形形状。因此,在这些实施例中,通常在多光束元件220的形状与多视图像素206的形状之间可能不存在关系。
此外(例如,如图4A所示),根据一些实施例,每个多光束元件220被配置为基于当前分配给特定多视图像素206的一组子像素,在给定时间向一个且仅一个多视图像素206提供定向光束202。具体地,对于多光束元件220中的给定一个和子像素组到特定多视图像素206的当前分配,具有与多视图显示器的不同视图相对应的不同主角方向的定向光束202基本上被限制到单个对应的多视图像素206及其子像素,即,与多光束元件220相对应的光阀230的单个集合,如图4A所示。像这样,多视图显示器200的每个多光束元件220提供对应的定向光束202的集合,该集合具有与多视图显示器的当前不同视图相对应的不同主角方向的集合(即,定向光束202的集合包含具有与当前不同视图方向中的每一个相对应的方向的光束)。
再次参考图4A,多视图显示器200还包括光源240。根据各种实施例,光源240被配置为提供要在光导210内被引导的光。具体地,光源240可以位于光导210的入射表面或端部(输入端)附近。在各种实施例中,光源240可以包括基本上任何光源(例如,光发射器),包括但不限于LED、激光器(例如,激光二极管)或其组合。在一些实施例中,光源240可以包括光学发射器,该光学发射器被配置为产生具有由特定颜色表示的窄带光谱的基本上单色光。具体地,单色光的颜色可以是特定颜色空间或颜色模型(例如,红-绿-蓝(RGB)颜色模型)的原色。在其它示例中,光源240可以是被配置以提供基本上宽带或多色光的基本上宽带光源。例如,光源240可以提供白光。在一些实施例中,光源240可以包括被配置为提供不同颜色的光的多个不同的光学发射器。不同的光学发射器可以被配置为提供具有与不同颜色的光中的每一种对应的被引导光的不同的、颜色特定的、非零传播角的光。
在一些实施例中,光源240还可以包括准直器。准直器可以被配置为从光源240的一个或多个光学发射器接收基本上未准直的光。准直器还被配置为将基本上未准直的光转换为准直光。具体地,根据一些实施例,准直器可以提供具有非零传播角并且根据预定准直因子被准直的准直光。此外,当采用不同颜色的光学发射器时,准直器可以被配置为提供具有不同的、颜色特定的、非零传播角中的一个或两个并且具有不同的颜色特定的准直因子的准直光。如上所述,准直器还被配置为将准直光束传达到光导210以作为被引导光204传播。
在一些实施例中,多视图显示器200被配置为对通过光导210的与被引导光204的传播方向203、203'正交(或基本上正交)的方向上的光基本上透明。具体地,在一些实施例中,光导210和间隔开的多光束元件220允许光通过第一表面210'和第二表面210"两者穿过光导210。由于多光束元件220的相对小的尺寸和多光束元件220的相对大的元件间间隔(例如,与多视图像素206的一一对应),可以至少部分地促进透明度。此外,根据一些实施例,多光束元件220对于正交于光导表面210'、210"传播的光也可以是基本上透明的。
图5A示出了根据与本文描述的原理一致的实施例的示例中的包括多光束元件220的多视图显示器200的一部分的横截面图。图5B示出了根据与本文描述的原理一致的另一实施例的示例中的包括多光束元件220的多视图显示器200的一部分的横截面图。具体地,图5A-5B示出了包括衍射光栅222的多光束元件220。衍射光栅222被配置为衍射地散射出被引导光204的一部分作为多个定向光束202。衍射光栅222包括通过衍射特征间距或衍射特征或光栅间距彼此间隔开的多个衍射特征,该衍射特征间距或衍射特征或光栅间距被配置为提供从被引导光部分出的衍射耦合。根据各种实施例,衍射光栅222中的衍射特征的间隔或光栅间距可以是亚波长(即,小于被引导光的波长)。
在一些实施例中,多光束元件220的衍射光栅222可以位于多视图显示器200的光导210的表面处或附近。例如,如图5A所示,衍射光栅222可以在光导210的第一表面210'处或附近。光导第一表面210'处的衍射光栅222可以是透射模式衍射光栅,该透射模式衍射光栅被配置为通过第一表面210'衍射地散射出被引导光部分作为定向光束202。在另一示例中,如图5B所示,衍射光栅222可以位于光导210的第二表面210"处或附近。当位于第二表面210"处时,衍射光栅222可以是反射模式衍射光栅。作为反射模式衍射光栅,衍射光栅222被配置为既衍射被引导光部分又将衍射的被引导光部分朝向第一表面210'反射,以作为衍射定向光束202通过第一表面210'离开。在其他实施例(未示出)中,衍射光栅可以位于光导210的表面之间,例如,作为透射模式衍射光栅和反射模式衍射光栅中的一个或两个。
根据一些实施例,衍射光栅222的衍射特征可以包括彼此间隔开的凹槽和脊中的一个或两个。凹槽或脊可以包括光导210的材料,例如,可以形成在光导210的表面中。在另一示例中,凹槽或脊可以由除了光导材料之外的材料形成,例如,光导210的表面上的另一材料的膜或层。
在一些实施例中,多光束元件220的衍射光栅222是均匀衍射光栅,其中衍射特征间隔在整个衍射光栅222中基本上恒定或不变。在其他实施例中,衍射光栅222是啁啾衍射光栅(chirped diffraction grating)。根据定义,“啁啾”衍射光栅是表现出或具有在啁啾衍射光栅的范围或长度上变化的衍射特征的衍射间隔(即,光栅间距)的衍射光栅。在一些实施例中,啁啾衍射光栅可以具有或表现出随距离线性变化的衍射特征间隔的啁啾。像这样,根据定义,啁啾衍射光栅是“线性啁啾”衍射光栅。在其他实施例中,多光束元件220的啁啾衍射光栅可以表现出衍射特征间隔的非线性啁啾。可以使用各种非线性啁啾,包括但不限于指数啁啾、对数啁啾或以另一种基本上不均匀或随机但仍然单调的方式变化的啁啾。也可以采用非单调啁啾,诸如但不限于正弦啁啾或三角形或锯齿啁啾。也可以采用这些类型的啁啾中的任何一种的组合。
图6A示出了根据与本文描述的原理一致的另一实施例的示例中的包括多光束元件220的多视图显示器200的一部分的横截面图。图6B示出了根据与本文描述的原理一致的另一实施例的示例中的包括多光束元件220的多视图显示器200的一部分的横截面图。具体地,图6A和6B示出了包括微反射元件的多光束元件220的各种实施例。用作多光束元件220或在多光束元件220中使用的微反射元件可以包括但不限于采用反射材料或其层(例如,反射金属)的反射器或基于全内反射(TIR)的反射器。根据一些实施例(例如,如图6A-6B所示),包括微反射元件的多光束元件220可以位于光导210的表面(例如,第二表面210")处或附近。在其他实施例(未示出)中,微反射元件可以位于第一表面210'和第二表面210"之间的光导210内。
例如,图6A示出了包括微反射元件224的多光束元件220,微反射元件224具有位于光导210的第二表面210"附近的反射小平面(例如,“棱镜”微反射元件)。所示的棱镜微反射元件224的小平面被配置为将被引导光204的部分反射(即,反射耦合)出光导210。例如,小平面可以相对于被引导光204的传播方向倾斜(即,具有倾斜角),以将被引导光部分反射出光导210。根据各种实施例,小平面可以使用光导210内的反射材料形成(例如,如图6A所示),或者可以是第二表面210"中的棱镜腔的表面。在一些实施例中,当采用棱镜腔时,在腔表面处的折射率变化可以提供反射(例如,TIR反射),或者形成小平面的腔表面可以由反射材料涂覆以提供反射。
在另一示例中,图6B示出了多光束元件220,其包括具有基本上平滑的、弯曲表面的微反射元件224,诸如但不限于半球形微反射元件224。例如,微反射元件224的特定表面曲线可以被配置为根据被引导光204与之接触的弯曲表面上的入射点在不同方向上反射被引导光部分。如图6A和6B所示,作为示例而非限制,从光导210反射散射出的被引导光部分从第一表面210'离开或发射。与图6A中的棱镜微反射元件224一样,图6B中的微反射元件224可以是光导210内的反射材料或形成在第二表面210"中的腔(例如,半圆形腔),如图6B中通过示例而非限制的方式所示。作为示例而非限制,图6A和6B还示出了具有两个传播方向203、203'(即,示出为粗箭头)的被引导光204。例如,使用两个传播方向203、203'可以促进提供具有对称主角方向的多个定向光束202。
图7示出了根据与本文描述的原理一致的另一实施例的示例中的包括多光束元件220的多视图显示器200的一部分的横截面图。具体地,图7示出了包括微折射元件226的多光束元件220。根据各种实施例,微折射元件226被配置为从光导210折射地耦合出被引导光204的一部分。也就是说,如图7所示,微折射元件226被配置为采用折射(例如,与衍射或反射相反)来从光导210耦合或散射出被引导光部分作为定向光束202。微折射元件226可以具有各种形状,包括但不限于半球形形状、矩形形状或棱柱形状(即,具有倾斜小平面的形状)。根据各种实施例,微折射元件226可以从光导210的表面(例如,第一表面210')延伸或突出,如图所示,或者可以是表面中的腔(未示出)。此外,在一些实施例中,微折射元件226可以包括光导210的材料。在其他实施例中,微折射元件226可以包括与光导表面相邻并且在一些示例中与光导表面接触的另一种材料。
根据本文描述的原理的一些实施例,提供了一种全息现实多视图显示器。全息现实多视图显示器被配置为发射作为或形成多视图图像的像素的调制的定向光束。发射的调制的定向光束具有与多视图图像的视图的不同视图方向相对应的彼此不同的主角方向。在各种非限制性示例中,由全息现实多视图显示器提供的多视图图像可以包括四乘四(4×4)视图、四乘八(4×8)视图和八乘八(8×8)视图中的一个或多个,每个视图具有对应数量的视图方向。在一些示例中,多视图图像被配置以提供信息(例如,场景或对象)的三维(3D)表示作为多视图图像的多视图内容。像这样,根据各种实施例,发射的、调制的定向光束中的不同定向光束可以对应于与多视图图像相关联的不同视图的各个像素。此外,不同的视图可以提供由全息现实多视图显示器显示的多视图图像中的信息或多视图内容的“免戴眼镜”(例如,自动立体)表示。
图8示出了根据与本文描述的原理一致的实施例的示例中的全息现实多视图显示器300的框图。根据各种实施例,全息现实多视图显示器300被配置为根据不同视图方向上的不同视图来显示包括多视图内容的多视图图像。具体地,由全息现实多视图显示器300发射的调制的定向光束302用于显示多视图图像,并且可以对应于多视图图像的不同视图的像素(即,视图像素)。调制的定向光束302被示出为从图8中的全息现实多视图显示器300散发出的箭头。虚线是用于发射的调制的定向光束302的箭头,以通过示例而非限制的方式强调其调制。
根据各种实施例,图8所示的全息现实多视图显示器300包括多视图像素330的阵列。多视图像素330的阵列被配置为提供多视图图像的多个不同视图。根据各种实施例,多视图像素阵列的多视图像素330包括多个子像素,该多个子像素被配置为调制多个定向光束304并产生发射的调制的定向光束302。在一些实施例中,多视图像素330可以基本上类似于与多视图像素206相对应的光阀230的阵列中的光阀230的集合,如上面关于上述多视图显示器200所描述的。具体地,多视图像素330的子像素可以基本上类似于上述光阀230。也就是说,全息现实多视图显示器300的多视图像素330可以包括光阀的集合(例如,光阀230的集合),并且多视图像素330的子像素可以包括该组的光阀(例如,单个光阀230)。
根据各种实施例,图8所示的全息现实多视图显示器300还包括多光束元件320的阵列。多光束元件阵列的每个多光束元件320被配置为将多个定向光束304提供给对应的多视图像素330。多个定向光束304中的定向光束304具有彼此不同的主角方向。具体地,根据各种实施例,定向光束304的不同主角方向对应于全息现实多视图显示器300的不同视图的不同视图方向。
在一些实施例中,多光束元件阵列的多光束元件320可以基本上类似于上述多视图显示器200的多光束元件220。例如,多光束元件320可以包括基本上类似于上面描述并在图5A-5B中示出的衍射光栅222的衍射光栅。在另一示例中,多光束元件320可以包括微反射元件,该微反射元件基本上类似于上面描述并在图6A-6B中示出的微反射元件224。在又一示例中,多光束元件320可以包括微折射元件。微折射元件可基本上类似于上面描述且在图7中说明的微折射元件226。
在一些实施例中(例如,如图8所示),全息现实多视图显示器300还可以包括光导310。光导310被配置为引导光作为被引导光。在各种实施例中,可以根据全内反射将光引导为例如被引导光束。例如,光导310可以是被配置为引导来自其光输入边缘的光作为被引导光束的板光导。在一些实施例中,全息现实多视图显示器300的光导310可以基本上类似于上面关于多视图显示器200描述的光导210。因此,多光束元件阵列的多光束元件320可以被配置为将被引导光的一部分散射出光导310,作为定向光束304。
此外,根据各种实施例,多光束元件阵列的多光束元件320的尺寸可以与多视图像素330中的多个子像素中的子像素的尺寸相当。例如,在一些实施例中,多光束元件320的尺寸可以大于子像素尺寸的一半并且小于子像素尺寸的两倍。另外,根据一些实施例,多光束元件阵列的多光束元件320之间的元件间距离可以对应于多视图像素阵列的多视图像素330之间的像素间距离。例如,多光束元件320之间的元件间距离可以基本上等于多视图像素330之间的像素间距离。在一些示例中,多光束元件320之间的元件间距离和多视图像素330之间的对应像素间距离可以被定义为中心到中心距离或间隔或距离的等效度量。
此外,在多视图像素阵列的多视图像素330与多光束元件阵列的多光束元件320之间可以存在一对一的对应关系。具体地,在一些实施例中,多光束元件320之间的元件间距离(例如,中心到中心)可以基本上等于多视图像素330之间的像素间距离(例如,中心到中心)。像这样,多视图像素330中的每个子像素可以被配置为调制由对应的多光束元件320提供的多个定向光中的定向光束304中的不同定向光束。此外,根据各种实施例,每个多视图像素330可以被配置为从一个且仅一个多光束元件320接收和调制定向光束304。
在包括光导310的一些实施例(未示出)中,全息现实多视图显示器300还可以包括光源。例如,光源可以被配置为向光导310提供具有非零传播角的光,并且在一些实施例中,根据准直因子进行准直,以在光导310内提供被引导光的预定角扩展。根据一些实施例,光源可以基本上类似于上述多视图显示器200的光源240。在一些实施例中,可以采用多个光源。例如,可以在光导310的两个不同边缘或端部(例如,相对端部)处使用一对光源以向光导310提供光。
如图8所示,全息现实多视图显示器300还包括位置传感器340。位置传感器340被配置为监测用户的手的位置。此外,位置传感器340被配置为在用户与全息现实多视图显示器300之间没有物理接触(即,物理接触)的情况下监测手的位置。例如,位置传感器340可以被配置为检测对应于命令或等效用户输入的用户的手势,以提供对全息现实多视图显示器300的控制。
具体地,根据各种实施例,可以在全息现实多视图显示器300上方或附近执行手势。此外,手势可以被执行为与由全息现实多视图显示器300显示的虚拟控件(即,对象、虚拟图标或另一控件等)的虚拟交互。根据各种实施例,全息现实多视图显示器300被配置为在所执行的手势期间或作为所执行的手势的结果,基于所监测的手的位置来修改多视图图像的多视图内容。此外,手势可以修改多视图内容,好像用户的手与虚拟控件之间的物理交互已经发生,即使不存在这样的物理接触。也就是说,全息现实多视图显示器300被配置为根据不包括用户与全息现实多视图显示器300之间的接触的虚拟交互,使用所执行的手势来提供对多视图内容的控制。
在一些实施例中,位置传感器340可以基本上类似于上述全息现实系统100的位置传感器120(或测量子系统)。例如,位置传感器340可以包括电容传感器、多个图像传感器(例如,诸如但不限于包括CMOS或CCD图像传感器的数字相机)和飞行时间传感器中的一个或多个。在一些实施例中,飞行时间传感器可以采用无线信号,该无线信号包括但不限于RF/微波信号、声学信号、红外信号和包括可见或紫外波长的光学信号。
根据各种实施例,图8所示的全息现实多视图显示器300还包括虚拟触觉反馈单元350。虚拟触觉反馈单元350被配置为向用户提供虚拟触觉反馈,虚拟触觉反馈基于所监测的位置。此外,虚拟触觉反馈的范围对应于虚拟控件的范围。也就是说,虚拟触觉反馈的范围对应于多视图图像内的虚拟控件的尺寸、形状和位置中的一个或多个。因此,根据各种实施例,作为虚拟触觉反馈的结果,用户可感知与虚拟控件进行物理交互。此外,物理交互的感知可以向用户提供模拟对用户的手势的响应的感测信息。例如,多视图图像内的虚拟控件可以对应于虚拟图标,并且虚拟触觉反馈单元350可以被配置为响应于监测位置向用户提供与虚拟图标的激活相对应的感测信息。
根据本文描述的原理的其他实施例,提供了一种显示系统操作的方法。图9示出了根据与本文描述的原理一致的实施例的示例中的全息现实系统操作的方法400的流程图。如图9所示,全息现实系统操作的方法400包括使用全息现实系统的多视图显示器将多视图内容显示410为多视图图像。在一些实施例中,显示410多视图内容可以包括提供具有与多视图图像的不同视图方向相对应的不同主角方向的定向光束,并且使用多个光阀(或等效地使用光阀阵列)调制定向光束。在一些实施例中,可以使用彼此间隔开的多个多光束元件来提供定向光束,其中多个多光束元件中的多光束元件被配置为从光导散射出被引导光的一部分作为定向光束。
在一些实施例中,多个多光束元件中的多光束元件可以基本上类似于上述多视图显示器200的多光束元件220。例如,多光束元件可以包括基本上类似于多视图显示器200的上述衍射光栅222、微反射元件224和微折射元件226的衍射光栅、微反射元件或微折射元件中的一个或多个。此外,多光束元件可以具有与多视图像素的子像素的尺寸相当的尺寸。
根据一些实施例,多个光阀可以基本上类似于上面关于多视图显示器200描述的光阀230的阵列。具体地,不同组的光阀可以以类似于如上所述的第一光阀组230a和第二光阀组230b与不同的多视图像素206的对应的方式对应于不同的多视图像素。此外,像上述光阀230对应于多视图显示器200的上述参考讨论中的子像素一样,光阀阵列的各个光阀可以对应于多视图像素的子像素。
在一些实施例(未示出)中,全息显示系统操作的方法400还包括使用光源向光导提供光。光可以被提供为在光导内具有非零传播角和根据预定准直因子被准直中的一种或两种。根据一些实施例,光导可以基本上类似于上面关于多视图显示器200描述的光导210。具体地,根据各种实施例,可以根据光导内的全内反射来引导光。此外,光源可以基本上类似于也在上面描述的光源240。
在一些实施例(未示出)中,显示系统操作的方法还包括沿着光导引导光作为被引导光。在一些实施例中,可以以非零传播角引导光。此外,被引导光可以被准直,例如,根据预定准直因子被准直。根据一些实施例,光导可以基本上类似于上面关于多视图显示器200描述的光导210。具体地,根据各种实施例,可以根据光导内的全内反射来引导光。
如图9所示,全息现实系统操作的方法400还包括监测420用户的手的位置(或运动)。根据各种实施例,监测420手的位置可以采用或使用全息现实系统的位置传感器。此外,可以在用户与全息现实系统(即,包括位置传感器和多视图显示器)之间没有物理接触的情况下执行监测420手的位置。例如,位置传感器可以包括电容传感器、多个图像传感器(诸如相机或CMOS或CCD图像传感器)和飞行时间传感器中的一个或多个。具体地,使用位置传感器监测手的位置可以包括以下项中的一个或多个:使用电容传感器监测与手的位置相对应的电容变化,使用对由多个图像传感器中的不同图像传感器捕获的图像的图像处理来监测手的位置,以及使用飞行时间传感器来使用手对无线信号的反射来监测手的位置。此外,飞行时间传感器可以使用一个或多个无线信号,包括但不限于RF/微波信号、声学信号、红外信号和在可见或紫外波长中的另一光学信号。在一些实施例中,位置传感器可以基本上类似于如上关于全息现实系统100所述的位置传感器120。
图9所示的全息现实系统操作的方法400还包括使用虚拟触觉反馈单元向用户提供430虚拟触觉反馈。根据各种实施例,所提供430的虚拟触觉反馈基于所监测的手的位置。此外,在用户与全息现实系统(即,包括虚拟触觉反馈单元和多视图显示器)之间没有物理接触的情况下提供430虚拟触觉反馈。根据各种实施例,虚拟触觉反馈的范围对应于多视图图像内的虚拟控件的范围。
在一些实施例中,用于提供430虚拟触觉反馈的虚拟触觉反馈单元可以基本上类似于上述全息现实系统100的虚拟触觉反馈单元130。具体地,使用虚拟触觉反馈单元提供430虚拟触觉反馈可以包括使用超声压力、气压和静电荷中的一个或多个在手部产生物理感觉,该物理感觉在与虚拟触觉反馈的范围相对应的空间区域中产生。在一些实施例(未示出)中,全息现实系统操作的方法400还包括至少部分地基于所监测的位置或运动来修改多视图图像的多视图内容。
因此,已经描述了全息现实系统、全息现实多视图显示器以及全息现实系统操作的方法的示例和实施例,其采用非接触监测和非接触虚拟触觉反馈来提供用户交互并控制所显示的多视图图像内的多视图内容。应当理解,上述示例仅仅是表示本文所述原理的许多具体示例中的一些示例的说明。显然,在不脱离由所附权利要求限定的范围的情况下,本领域技术人员可以容易地设计出许多其他布置。
Claims (20)
1.一种全息现实系统,包括:
多视图显示器,其被配置为将多视图内容显示为多视图图像;
位置传感器,其被配置为监测用户的手的位置并提供所述手的监测位置,所述监测位置是由所述位置传感器在所述用户与所述全息现实系统之间没有接触的情况下提供的;以及
虚拟触觉反馈单元,其被配置为基于所述监测位置向所述用户提供虚拟触觉反馈,所述虚拟触觉反馈是在所述用户与全息现实系统之间没有接触的情况下提供的,
其中,所述虚拟触觉反馈的范围对应于所述多视图图像内的虚拟控件的范围。
2.如权利要求1所述的全息现实系统,其中,所述全息现实系统被配置为根据所述监测位置来修改显示的所述多视图内容。
3.如权利要求1所述的全息现实系统,其中,所述位置传感器包括电容传感器、多个图像传感器、以及飞行时间传感器中的一个或多个。
4.如权利要求3所述的全息现实系统,其中,所述飞行时间传感器被配置为使用射频、微波信号、声学信号、红外信号、以及另一光学信号中的一个或多个。
5.如权利要求1所述的全息现实系统,其中,所述位置传感器被配置为检测所述手的一个或多个手指的运动。
6.如权利要求1所述的全息现实系统,其中,所述位置传感器被配置为检测所述用户对应于命令的手势。
7.如权利要求1所述的全息现实系统,其中,所述虚拟触觉反馈单元被配置为使用超声压力、气压和静电荷中的一个或多个来提供所述触觉反馈。
8.如权利要求1所述的全息现实系统,其中,所述虚拟触觉反馈单元被配置为:响应于所述监测位置,提供关于所述多视图内容中的虚拟控件的激活的信息。
9.如权利要求1所述的全息现实系统,其中,所述多视图显示器被配置为提供与所述多视图显示器的多个不同视图相对应的多个定向光束,所述多个定向光束具有与所述不同视图的不同视图方向相对应的彼此不同的主角方向。
10.如权利要求9所述的全息现实系统,其中,所述多视图显示器包括:
光导,其被配置为在沿着所述光导的长度的传播方向上将光引导为被引导光;以及
多个多光束元件,其沿着所述光导的长度分布,所述多个多光束元件中的多光束元件被配置为从所述光导散射出所述被引导光的一部分作为具有所述不同视图的所述不同主角方向的所述多个定向光束。
11.如权利要求10所述的全息现实系统,其中,所述多视图显示器还包括多视图像素阵列,每个多视图像素包括多个子像素,所述多个子像素被配置为通过调制所述多个定向光束中的定向光束来提供所述不同视图。
12.如权利要求10所述的全息现实系统,其中,所述多视图显示器还包括光学地耦合到所述光导的输入端的光源,所述光源被配置为提供所述光以被引导为所述被引导光。
13.一种全息现实多视图显示器,包括:
多视图像素阵列,其被配置为提供多视图图像的多个不同视图,多视图像素包括多个子像素,所述多个子像素被配置为调制多个定向光束,所述多个定向光束具有与所述不同视图的视图方向相对应的方向;
多光束元件阵列,每个多光束元件被配置为将所述多个定向光束提供给对应的多视图像素;
位置传感器,其被配置为在用户与所述全息现实多视图显示器之间没有接触的情况下监测所述用户的手相对于所述多视图图像内的虚拟控件的位置;以及
虚拟触觉反馈单元,其被配置为基于所述手的监测位置向所述用户提供虚拟触觉反馈,所述虚拟触觉反馈的范围对应于所述虚拟控件的范围。
14.如权利要求13所述的全息现实多视图显示器,其中,所述全息现实显示器被配置为基于所述监测位置来修改所述多视图图像的多视图内容。
15.如权利要求13所述的全息现实多视图显示器,其中,所述位置传感器包括电容传感器、多个图像传感器和飞行时间传感器中的一个或多个。
16.如权利要求13所述的全息现实多视图显示器,其中,所述虚拟触觉反馈单元被配置为使用超声压力、气压和静电荷中的一个或多个来提供所述虚拟触觉反馈。
17.如权利要求13所述的全息现实多视图显示器,其中,所述多视图图像内的所述虚拟控件包括虚拟图标,并且所述虚拟触觉反馈单元被配置为响应于所述监测位置而向所述用户提供与所述虚拟图标的激活相对应的感测信息。
18.一种全息现实系统操作的方法,包括:
使用所述全息现实系统的多视图显示器将多视图内容显示为多视图图像;
在所述用户与所述全息现实系统之间没有物理接触的情况下,使用所述全息现实系统的位置传感器来监测用户的手的位置;以及
使用虚拟触觉反馈单元向所述用户提供虚拟触觉反馈,所述虚拟触觉反馈基于所述手的监测位置并且在所述用户与所述全息现实系统之间没有物理接触的情况下被提供,
其中,所述虚拟触觉反馈的范围对应于所述多视图图像内的虚拟控件的范围。
19.如权利要求18所述的全息现实系统操作的方法,其中,使用位置传感器来监测手的位置包括以下操作中的一个或多个:使用电容传感器来监测与所述手的位置相对应的电容变化,使用对由多个图像传感器中的不同图像传感器捕获的图像的图像处理来监测所述手的位置,以及使用飞行时间传感器来使用所述手对无线信号的反射来监测所述手的位置。
20.如权利要求18所述的全息现实系统操作的方法,其中,使用虚拟触觉反馈单元提供虚拟触觉反馈包括使用超声压力、气压和静电荷中的一个或多个在所述手处产生物理感觉,所述物理感觉是在与所述虚拟触觉反馈的范围相对应的空间区域中产生的。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2018/053816 WO2020072034A1 (en) | 2018-10-01 | 2018-10-01 | Holographic reality system, multiview display, and method |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112823299A true CN112823299A (zh) | 2021-05-18 |
CN112823299B CN112823299B (zh) | 2024-03-29 |
Family
ID=70054674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880098302.3A Active CN112823299B (zh) | 2018-10-01 | 2018-10-01 | 全息现实系统、多视图显示器和方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US11698605B2 (zh) |
EP (1) | EP3861384A4 (zh) |
JP (1) | JP2022503796A (zh) |
KR (1) | KR20210052574A (zh) |
CN (1) | CN112823299B (zh) |
CA (1) | CA3109757A1 (zh) |
TW (1) | TWI714250B (zh) |
WO (1) | WO2020072034A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114894354A (zh) * | 2022-04-11 | 2022-08-12 | 汕头大学 | 基于表面结构色的压力感知反馈装置及深度学习识别方法 |
TWI832654B (zh) * | 2023-01-04 | 2024-02-11 | 財團法人工業技術研究院 | 觸覺回饋裝置及產生觸覺回饋的方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11422292B1 (en) | 2018-06-10 | 2022-08-23 | Apple Inc. | Super-blazed diffractive optical elements with sub-wavelength structures |
US11212514B2 (en) * | 2019-03-25 | 2021-12-28 | Light Field Lab, Inc. | Light field display system for cinemas |
US11754767B1 (en) | 2020-03-05 | 2023-09-12 | Apple Inc. | Display with overlaid waveguide |
TWI757941B (zh) * | 2020-10-30 | 2022-03-11 | 幻景啟動股份有限公司 | 影像處理系統以及影像處理裝置 |
CN114833826B (zh) * | 2022-04-20 | 2023-07-04 | 上海傅利叶智能科技有限公司 | 实现机器人碰撞触觉的控制方法、装置以及康复机器人 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103080933A (zh) * | 2010-06-30 | 2013-05-01 | 诺基亚公司 | 用于提供增强现实中恒定水平的信息的方法、装置和计算机程序产品 |
CN103257783A (zh) * | 2012-02-15 | 2013-08-21 | 伊默逊股份有限公司 | 用于在移动设备上共享反馈的交互模型 |
US20140160082A1 (en) * | 2011-12-15 | 2014-06-12 | Industry-University Cooperation Foundation Hanyang University | Apparatus and method for providing tactile sensation for virtual image |
CN105264460A (zh) * | 2013-04-12 | 2016-01-20 | 微软技术许可有限责任公司 | 全息图对象反馈 |
US20160027215A1 (en) * | 2014-07-25 | 2016-01-28 | Aaron Burns | Virtual reality environment with real world objects |
US20160175701A1 (en) * | 2014-12-17 | 2016-06-23 | Gtech Canada Ulc | Contactless tactile feedback on gaming terminal with 3d display |
US20170068213A1 (en) * | 2015-09-07 | 2017-03-09 | Lg Electronics Inc. | Mobile Terminal And Method For Controlling The Same |
WO2017141228A1 (en) * | 2016-02-20 | 2017-08-24 | Vats Nitin | Realistic gui based interactions with virtual gui of virtual 3d objects |
CN107221223A (zh) * | 2017-06-01 | 2017-09-29 | 北京航空航天大学 | 一种带有力/触觉反馈的虚拟现实飞机座舱系统 |
CN107340871A (zh) * | 2017-07-25 | 2017-11-10 | 深识全球创新科技(北京)有限公司 | 集成手势识别与超声波触觉反馈的装置及其方法和用途 |
US20180095635A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
CN107908000A (zh) * | 2017-11-27 | 2018-04-13 | 西安交通大学 | 一种带有超声虚拟触觉的混合现实系统 |
CN107924236A (zh) * | 2015-09-08 | 2018-04-17 | 索尼公司 | 信息处理装置、方法和计算机程序 |
CN107950024A (zh) * | 2015-09-05 | 2018-04-20 | 镭亚股份有限公司 | 具有头部追踪的多视图显示器 |
US20180278923A1 (en) * | 2015-09-05 | 2018-09-27 | Leia Inc. | Multiview display with head tracking |
CN108603986A (zh) * | 2016-01-30 | 2018-09-28 | 镭亚股份有限公司 | 具有转换视图的基于多波束元件的背光 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11113028A (ja) | 1997-09-30 | 1999-04-23 | Toshiba Corp | 3次元映像表示装置 |
US6191796B1 (en) * | 1998-01-21 | 2001-02-20 | Sensable Technologies, Inc. | Method and apparatus for generating and interfacing with rigid and deformable surfaces in a haptic virtual reality environment |
AU2004258513B2 (en) * | 2003-07-03 | 2009-12-24 | Holotouch, Inc. | Holographic human-machine interfaces |
DE10339076B4 (de) * | 2003-08-26 | 2007-10-31 | Seereal Technologies Gmbh | Autostereoskopisches Multi-User-Display |
US7834850B2 (en) * | 2005-11-29 | 2010-11-16 | Navisense | Method and system for object control |
US20150121287A1 (en) * | 2006-07-03 | 2015-04-30 | Yoram Ben-Meir | System for generating and controlling a variably displayable mobile device keypad/virtual keyboard |
GB2461294B (en) * | 2008-06-26 | 2011-04-06 | Light Blue Optics Ltd | Holographic image display systems |
WO2012038856A1 (en) | 2010-09-21 | 2012-03-29 | Koninklijke Philips Electronics N.V. | Multi-view display device |
US8847919B2 (en) * | 2011-02-02 | 2014-09-30 | Apple Inc. | Interactive holographic display device |
EP2518590A1 (en) | 2011-04-28 | 2012-10-31 | Research In Motion Limited | Portable electronic device and method of controlling same |
CN103959179B (zh) * | 2011-10-20 | 2017-09-15 | 皇家飞利浦有限公司 | 用于医疗程序的全息用户界面 |
TW201326972A (zh) | 2011-12-30 | 2013-07-01 | Ind Tech Res Inst | 顯示裝置 |
US9389415B2 (en) | 2012-04-27 | 2016-07-12 | Leia Inc. | Directional pixel for use in a display screen |
US9459461B2 (en) | 2012-05-31 | 2016-10-04 | Leia Inc. | Directional backlight |
US9201270B2 (en) | 2012-06-01 | 2015-12-01 | Leia Inc. | Directional backlight with a modulation layer |
US9298168B2 (en) | 2013-01-31 | 2016-03-29 | Leia Inc. | Multiview 3D wrist watch |
ES2704675T3 (es) | 2013-07-30 | 2019-03-19 | Leia Inc | Luz de fondo multi-direccional a base de cuadrícula |
KR102329593B1 (ko) | 2014-02-19 | 2021-11-19 | 피에이. 코테 패밀리 홀딩 게엠베하 | 디스플레이 장치 |
WO2015152776A1 (en) * | 2014-04-02 | 2015-10-08 | Telefonaktiebolaget L M Ericsson (Publ) | Multi-view display control |
US9557466B2 (en) | 2014-07-30 | 2017-01-31 | Leia, Inc | Multibeam diffraction grating-based color backlighting |
CN104460115B (zh) | 2014-12-31 | 2017-09-01 | 苏州大学 | 一种多视角像素指向型背光模组及裸眼3d显示装置 |
WO2016122679A1 (en) * | 2015-01-28 | 2016-08-04 | Leia Inc. | Three-dimensional (3d) electronic display |
JP2017027401A (ja) * | 2015-07-23 | 2017-02-02 | 株式会社デンソー | 表示操作装置 |
US11347354B1 (en) * | 2015-09-03 | 2022-05-31 | sigmund lindsay clements | Laser mid-air hologram touch input buttons for a toilet bidet |
CA2996925C (en) | 2015-09-05 | 2022-06-28 | Leia Inc. | Light concentrating backlight and near-eye display system using same |
EP3350649B1 (en) * | 2015-09-17 | 2024-05-08 | Fathom Optics Inc. | Multi-view displays and associated systems and methods |
KR102348588B1 (ko) | 2015-10-16 | 2022-01-07 | 레이아 인코포레이티드 | 멀티빔 회절 격자-기반 니어-아이 디스플레이 |
KR102322334B1 (ko) | 2016-01-30 | 2021-11-05 | 레이아 인코포레이티드 | 멀티빔 소자-기반 백라이트 및 이를 사용하는 디스플레이 |
KR20170096420A (ko) * | 2016-02-16 | 2017-08-24 | 삼성전자주식회사 | 대화형 3차원 디스플레이 장치 및 방법 |
JP6593229B2 (ja) * | 2016-03-09 | 2019-10-23 | 株式会社Soken | 触覚提示装置 |
US10055867B2 (en) * | 2016-04-25 | 2018-08-21 | Qualcomm Incorporated | Accelerated light field display |
CA3021958C (en) | 2016-05-23 | 2021-11-16 | Leia Inc. | Diffractive multibeam element-based backlighting |
KR102609330B1 (ko) * | 2016-07-15 | 2023-12-05 | 라이트 필드 랩 인코포레이티드 | 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파 |
US20190147665A1 (en) * | 2016-07-16 | 2019-05-16 | Hewlett-Packard Development Company, L.P. | Gesture based 3-dimensional object transformation |
DE102016216577A1 (de) | 2016-09-01 | 2018-03-01 | Volkswagen Aktiengesellschaft | Verfahren zur Interaktion mit Bildinhalten, die auf einer Anzeigevorrichtung in einem Fahrzeug dargestellt werden |
US10216145B2 (en) * | 2016-10-27 | 2019-02-26 | International Business Machines Corporation | Interaction between multiple holograms |
US10996814B2 (en) | 2016-11-29 | 2021-05-04 | Real View Imaging Ltd. | Tactile feedback in a display system |
US10261470B2 (en) * | 2017-06-01 | 2019-04-16 | International Business Machines Corporation | Extended projection boundary of holographic display device |
GB201709199D0 (en) * | 2017-06-09 | 2017-07-26 | Delamont Dean Lindsay | IR mixed reality and augmented reality gaming system |
US11048329B1 (en) * | 2017-07-27 | 2021-06-29 | Emerge Now Inc. | Mid-air ultrasonic haptic interface for immersive computing environments |
US20200371378A1 (en) * | 2017-08-23 | 2020-11-26 | Pcms Holdings, Inc. | Light field image engine method and apparatus for generating projected 3d light fields |
US10512839B2 (en) * | 2017-09-28 | 2019-12-24 | Igt | Interacting with three-dimensional game elements using gaze detection |
EP3737997A4 (en) * | 2018-01-14 | 2021-09-29 | Light Field Lab, Inc. | SYSTEMS AND METHODS FOR RENDERING DATA OF A 3D ENVIRONMENT |
WO2019221993A1 (en) * | 2018-05-17 | 2019-11-21 | Pcms Holdings, Inc. | 3d display directional backlight based on diffractive elements |
-
2018
- 2018-10-01 WO PCT/US2018/053816 patent/WO2020072034A1/en unknown
- 2018-10-01 KR KR1020217012578A patent/KR20210052574A/ko not_active Application Discontinuation
- 2018-10-01 EP EP18936106.6A patent/EP3861384A4/en active Pending
- 2018-10-01 CA CA3109757A patent/CA3109757A1/en active Pending
- 2018-10-01 CN CN201880098302.3A patent/CN112823299B/zh active Active
- 2018-10-01 JP JP2021516618A patent/JP2022503796A/ja active Pending
-
2019
- 2019-09-09 TW TW108132420A patent/TWI714250B/zh active
-
2021
- 2021-03-12 US US17/200,681 patent/US11698605B2/en active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103080933A (zh) * | 2010-06-30 | 2013-05-01 | 诺基亚公司 | 用于提供增强现实中恒定水平的信息的方法、装置和计算机程序产品 |
US20140160082A1 (en) * | 2011-12-15 | 2014-06-12 | Industry-University Cooperation Foundation Hanyang University | Apparatus and method for providing tactile sensation for virtual image |
CN103257783A (zh) * | 2012-02-15 | 2013-08-21 | 伊默逊股份有限公司 | 用于在移动设备上共享反馈的交互模型 |
CN105264460A (zh) * | 2013-04-12 | 2016-01-20 | 微软技术许可有限责任公司 | 全息图对象反馈 |
US20160027215A1 (en) * | 2014-07-25 | 2016-01-28 | Aaron Burns | Virtual reality environment with real world objects |
US20160175701A1 (en) * | 2014-12-17 | 2016-06-23 | Gtech Canada Ulc | Contactless tactile feedback on gaming terminal with 3d display |
US20180278923A1 (en) * | 2015-09-05 | 2018-09-27 | Leia Inc. | Multiview display with head tracking |
CN107950024A (zh) * | 2015-09-05 | 2018-04-20 | 镭亚股份有限公司 | 具有头部追踪的多视图显示器 |
US20170068213A1 (en) * | 2015-09-07 | 2017-03-09 | Lg Electronics Inc. | Mobile Terminal And Method For Controlling The Same |
CN107924236A (zh) * | 2015-09-08 | 2018-04-17 | 索尼公司 | 信息处理装置、方法和计算机程序 |
CN108603986A (zh) * | 2016-01-30 | 2018-09-28 | 镭亚股份有限公司 | 具有转换视图的基于多波束元件的背光 |
WO2017141228A1 (en) * | 2016-02-20 | 2017-08-24 | Vats Nitin | Realistic gui based interactions with virtual gui of virtual 3d objects |
US20180095635A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
CN107221223A (zh) * | 2017-06-01 | 2017-09-29 | 北京航空航天大学 | 一种带有力/触觉反馈的虚拟现实飞机座舱系统 |
CN107340871A (zh) * | 2017-07-25 | 2017-11-10 | 深识全球创新科技(北京)有限公司 | 集成手势识别与超声波触觉反馈的装置及其方法和用途 |
CN107908000A (zh) * | 2017-11-27 | 2018-04-13 | 西安交通大学 | 一种带有超声虚拟触觉的混合现实系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114894354A (zh) * | 2022-04-11 | 2022-08-12 | 汕头大学 | 基于表面结构色的压力感知反馈装置及深度学习识别方法 |
CN114894354B (zh) * | 2022-04-11 | 2023-06-13 | 汕头大学 | 基于表面结构色的压力感知反馈装置及深度学习识别方法 |
TWI832654B (zh) * | 2023-01-04 | 2024-02-11 | 財團法人工業技術研究院 | 觸覺回饋裝置及產生觸覺回饋的方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20210052574A (ko) | 2021-05-10 |
EP3861384A1 (en) | 2021-08-11 |
EP3861384A4 (en) | 2022-05-11 |
TWI714250B (zh) | 2020-12-21 |
JP2022503796A (ja) | 2022-01-12 |
WO2020072034A1 (en) | 2020-04-09 |
CN112823299B (zh) | 2024-03-29 |
TW202017367A (zh) | 2020-05-01 |
CA3109757A1 (en) | 2020-04-09 |
US11698605B2 (en) | 2023-07-11 |
US20210200150A1 (en) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112823299B (zh) | 全息现实系统、多视图显示器和方法 | |
US20210072452A1 (en) | Multibeam element-based backlighting having converging views | |
CN107950024B (zh) | 具有头部追踪的多视图显示器 | |
US11310478B2 (en) | Multiview camera array, multiview system, and method having camera sub-arrays with a shared camera | |
EP3602152A1 (en) | Backlight, multiview display and method employing tapered collimator | |
CA3085185C (en) | Cross-render multiview camera, system, and method | |
CA3107775A1 (en) | Multiview display, system, and method with user tracking | |
KR20210101332A (ko) | 다방향 백라이트, 다중 사용자 멀티뷰 디스플레이 및 방법 | |
US20210250572A1 (en) | Contextual lightfield display system, multiview display, and method | |
US20210149213A1 (en) | Multiview display and method with dynamically reconfigurable multiview pixels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40051053 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |