CN114730077A - 包括基于液晶的透镜的立体显示器 - Google Patents

包括基于液晶的透镜的立体显示器 Download PDF

Info

Publication number
CN114730077A
CN114730077A CN202080066922.6A CN202080066922A CN114730077A CN 114730077 A CN114730077 A CN 114730077A CN 202080066922 A CN202080066922 A CN 202080066922A CN 114730077 A CN114730077 A CN 114730077A
Authority
CN
China
Prior art keywords
sub
optical
optical element
display
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080066922.6A
Other languages
English (en)
Inventor
A·贾米利
赵炀
林伟诗
吕璐
D·R·兰曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN114730077A publication Critical patent/CN114730077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0136—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  for the control of polarisation, e.g. state of polarisation [SOP] control, polarisation scrambling, TE-TM mode conversion or separation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

立体显示器可以包括二维显示器；可变焦光学系统，被配置为接收来自二维显示器的图像光并聚焦该图像光；以及至少一个处理器，被配置为控制二维显示器，以使显示器显示与图像帧相关联的多个子帧，其中多个子帧中的每个子帧包括与图像帧相关联的图像数据的对应部分；并且针对各个子帧将可变焦光学系统控制为相应的聚焦状态。

Description

包括基于液晶的透镜的立体显示器
技术领域
本公开总体上涉及人工现实系统，例如混合现实和/或虚拟现实系统。
背景技术
人工现实(Artificial Reality)系统在许多领域，诸如计算机游戏、健康和安全、工业和教育等有着广泛应用。作为几个示例，现在正将人工现实系统整合到移动设备、游戏机、个人电脑、电影院和主题公园中。一般而言，人工现实是在呈现给用户之前已经以某种方式调整的现实形式，其可以包括例如虚拟现实、增强现实、混合现实或其某种组合和/或衍生物。
典型的人工现实系统包括一个或多个用于渲染并向用户显示内容的设备。作为一个示例，人工现实系统可以结合用户佩戴的头戴式显示器(HMD)，并被配置为向用户输出人工现实内容。人工现实内容可以完全由系统生成的内容组成，或者可以包括与现实世界内容相结合的生成内容(例如，通过视图或捕获的用户物理环境的现实世界视频和/或图像)。在操作期间，用户通常与人工现实系统交互以选择内容、启动应用程序、配置系统，并且通常体验人工现实环境。
发明内容
总的来说，本公开描述了人工现实系统，并且更具体地，描述了包括立体显示器的人工现实系统。如本文所使用，立体显示器是以明显的三维而不是二维平面图像形成对象或场景的视觉表示的显示器。本文描述的立体显示器可以包括二维平面显示器和可变焦光学系统。一个或多个处理器可以被配置为处理图像帧以生成多个子帧。每个子帧仅包括来自图像帧的图像数据的一部分。每个子帧的图像数据部分对应于图像帧内的深度或深度范围。综合起来，多个子帧共同表示该帧中的所有图像数据，但是每个子帧仅包括部分图像数据。
为了产生用于显示的体积图像，一个或多个处理器被配置为协调显示器的子帧输出和可变焦光学系统的焦距，使得可变焦光学系统的焦距与和显示的子帧相关联的深度相关。为了显示整个图像帧，一个或多个处理器控制显示器按顺序输出子帧，并在显示每个子帧时控制可变焦光学系统的焦距。该技术利用了视觉的暂留性，这允许用户的视觉系统有效地组合子帧中包括的部分图像数据，以重建图像帧。
在一个或多个示例方面，本公开描述了一种立体显示器，包括：二维显示器；可变焦光学系统，被配置为接收来自二维显示器的图像光并聚焦该图像光；以及至少一个处理器，被配置为：控制二维显示器，以使得显示器显示与图像帧相关联的多个子帧，其中多个子帧中的每个子帧包括与图像帧相关联的图像数据的对应部分；并且针对每个相应子帧将可变焦光学系统控制为相应的聚焦状态。
在一些实施例中，可变焦光学系统包括多个光学级，并且其中多个光学级中的每个光学级包括聚焦光学元件。
在一些实施例中，聚焦光学元件包括偏振敏感聚焦光学元件，并且其中多个光学级中的至少一个光学级还包括可切换波延迟器。
在一些实施例中，可切换波延迟器包括可切换半波片。
在一些实施例中，可切换波延迟器包括至少一个铁电液晶单元。
在一些实施例中，偏振敏感聚焦光学元件包括以下中的至少一项：潘查拉特南贝里相位(Pancharatnam-Berry Phase，简称PBP)透镜、偏振敏感全息(PSH)透镜、超材料或液晶光学相位阵列。
在一些实施例中，至少一个处理器还被配置为通过基于与像素相关联的深度值将图像帧的像素分箱为多个箱来生成多个子帧。
在一些实施例中，多个子帧共同重建图像帧。
在一些示例中，本公开描述了一种系统，包括头戴式显示器以及至少一个处理器。该头戴式显示器包括：外壳；二维显示器，机械耦接到外壳；可可变焦光学系统，机械耦接到外壳，并且被配置为接收来自二维显示器的图像光并且聚焦该图像光。该至少一个处理器被配置为：使得显示器显示与图像帧相关联的多个子帧，其中多个子帧中的每个子帧包括与图像帧相关联的图像数据的对应部分，并且其中多个子帧合计包括与图像帧相关联的所有图像数据；并且针对每个相应子帧将可变焦光学系统控制为相应的聚焦状态。
在一些实施例中，可变焦光学系统包括多个光学级，并且其中多个光学级中的每个光学级包括聚焦光学元件。
在一些实施例中，聚焦光学元件包括偏振敏感聚焦光学元件，并且其中多个光学级中的至少一个光学级还包括可切换波延迟器。
在一些实施例中，可切换波延迟器包括可切换半波片。
在一些实施例中，可切换波延迟器包括至少一个铁电液晶单元。
在一些实施例中，偏振敏感聚焦光学元件包括Pancharatnam-Berry相位(PBP)透镜、偏振敏感全息(PSH)透镜、超材料或液晶光学相位阵列中的至少一种。
在一些实施例中，该至少一个处理器还被配置为通过基于与像素相关联的深度值将图像帧的像素分箱为多个箱来生成多个子帧。
在一些实施例中，该系统还包括可通信地耦接到头戴式显示器的控制台，其中该控制台被配置为通过基于与像素相关联的深度值将图像帧的像素分箱为多个箱来生成多个子帧。
在一些实施例中，多个子帧共同重建图像帧。
在一些示例中，本公开描述了一种方法，该方法包括：一个或多个处理器使得与图像帧相关联的多个子帧由二维显示器显示，其中多个子帧中的每个子帧包括与图像帧相关联的图像数据的对应部分，并且其中多个子帧合计地包括与图像帧相关联的所有图像数据；以及该一个或多个处理器针对每个相应子帧将可变焦光学系统控制为相应的聚焦状态，其中可变焦光学系统被配置为接收来自二维显示器的图像光并聚焦该图像光。
在一些实施例中，可变焦光学系统包括多个光学级，并且其中多个光学级中的每个光学级包括聚焦光学元件。
在一些实施例中，聚焦光学元件包括偏振敏感聚焦光学元件，其中多个光学级中的至少一个光学级还包括可切换波延迟器，并且其中控制可变焦光学系统包括控制可切换波延迟器的状态。
在一些实施例中，偏振敏感聚焦光学元件包括以下中的至少一项：Pancharatnam-Berry相位(PBP)透镜、偏振敏感全息(PSH)透镜、超材料或液晶光学相位阵列。
在一些实施例中，偏振敏感聚焦光学元件包括有源偏振敏感聚焦光学元件，包括控制有源偏振敏感聚焦光学元件的状态。
在一些实施例中，该方法还包括一个或多个处理器通过基于与像素相关联的深度值将图像帧的像素分箱为多个箱来生成多个子帧。
在一些实施例中，该方法还包括控制台基于与像素相关联的深度值，将图像帧的像素分箱为多个箱来生成多个子帧。
应当理解，本文中描述的适于结合到本发明的一个或多个方面或实施例中的任何特征旨在在本公开的任何和所有方面和实施例中通用。
附图和以下描述中阐述中一个或多个示例的细节。根据说明书和附图以及权利要求，其他特征、目的和优点将变得显而易见。
附图说明
图1是描绘根据本公开中描述的技术的包括立体显示器的示例性人工现实系统的图示。
图2A是描绘根据本公开中描述的技术的包括立体显示器的示例HMD的图示。
图2B是描绘根据本公开中描述的技术的包括立体显示器的另一示例HMD的图示。
图3是示出根据本公开中描述的技术的图1的多设备人工现实系统的控制台和HMD的示例实施方式的框图。
图4是描绘根据本公开中描述的技术的由图1的人工现实系统的HMD执行姿势检测、用户界面生成和虚拟表面功能的示例的框图。
图5是根据本公开的一些示例的示例立体显示器的等轴视图。
图6是示出根据本公开的一些示例的示例可变焦光学系统的概念图。
图7是根据本公开的一些示例的可变焦光学系统的示例光学级的概念图，该光学级包括第一光学元件和与第一光学元件光学串联的第二光学元件。
图8A-8D是示出根据本公开的一些示例的示例性Pancharatnam-Berry相位(PBP)透镜的示意图。
图9A-9D是示出根据本公开的一些示例的示例偏振敏感全息(PSH)透镜的示意图。
图10A-10D是根据本公开的一些示例的示例图像帧以及由图像帧生成的多个子帧的图像。
图11是示出根据本公开的一些示例的使用显示器和可变焦光学系统生成体积显示的示例技术的流程图。
具体实施方式
图1是描绘根据本公开中描述的技术的包括立体显示器的示例性人工现实系统的图示。在图1的示例中，人工(artificial)现实系统100包括HMD 112、一个或多个控制器114A和114B(统称为“控制器114”)，并且在一些示例中可以包括一个或多个外部传感器90和/或控制台106。
HMD 112通常由用户110佩戴，并且包括用于向用户110呈现人工现实内容122的电子显示器和光学传输系统。此外，HMD 112包括用于跟踪HMD 112的运动的一个或多个传感器(例如，加速度计)，并且可以包括用于捕获周围物理环境的图像数据的一个或多个图像捕获设备138(例如，相机、线扫描仪)。尽管图示为头戴式显示器，但是AR系统100可以备选地或附加地包括眼镜或其他显示设备来向用户110呈现人工现实内容122。
每个控制器114是用户110可以用来向控制台106、HMD 112或人工现实系统100的另一个组件提供输入的输入设备。控制器114可以包括一个或多个存在敏感表面，用于通过检测是否存在触摸存在敏感表面或悬停在存在敏感表面位置上方的一个或多个对象(例如，手指、触笔)来检测用户输入。在一些示例中，控制器114可以包括输出显示器，输出显示器可以是存在敏感(presence-sensitive)显示器。在一些示例中，控制器114可以是智能手机、平板电脑、个人数据助理(PDA)或其他手持设备。在一些示例中，控制器114可以是智能手表、智能环或其他可穿戴设备。控制器114也可以是自助服务终端(Kiosk)或其他固定或移动系统的一部分。备选地或附加地，控制器114可以包括其他用户输入机制，例如一个或多个按钮、触发器、操纵杆、数字键盘等，以使用户能够与由人工现实系统100呈现给用户110的人工现实内容122交互和/或控制其每个相应方面。
在该示例中，控制台106示为单个计算设备，例如游戏控制台、工作站、台式计算机或膝上型计算机。在其他示例中，控制台106可以分布在多个计算设备上，例如分布式计算网络、数据中心或云计算系统。如该示例所示，控制台106、HMD 112和传感器90可以经由网络104通信耦接，网络104可以是有线或无线网络，例如Wi-Fi、网状网络或短程无线通信介质，或其组合。尽管HMD 112在该示例中示为与控制台106通信，例如连接到控制台106或与控制台106无线通信，但是在一些实施方式中，HMD 112作为独立的移动人工现实系统来操作，并且人工现实系统100可以省略控制台106。
通常，人工现实系统100对人工现实内容122进行渲染，以在HMD 112向用户110显示。在图1的示例中，用户110观看由在HMD 112和/或控制台106上执行的人工现实应用程序构建和渲染的人工现实内容122。在一些示例中，人工现实内容122可以是完全人工的，即与用户110所处的环境无关的图像。在一些示例中，人工现实内容122可以包括真实世界图像(例如，用户110的手、控制器114、用户110附近的其他环境对象)和虚拟对象的混合，以产生混合现实和/或增强现实。在一些示例中，虚拟内容项可以例如相对于现实世界图像映射(例如，钉扎、锁定、放置)到人工现实内容122内的特定位置。虚拟内容项的位置可以例如相对于墙壁或地面之一固定。例如，相对于控制器114或用户，虚拟内容项的位置可以是可变的。在一些示例中，虚拟内容项在人工现实内容122中的特定位置与在现实世界物理环境中的位置(例如，在物理对象的表面上)相关联。
在操作期间，人工现实应用程序通过跟踪和计算参考系(通常是HMD 112的观看视角)的姿态信息来构建用于向用户110显示的人工现实内容122。使用HMD 112作为参考系，并且基于由HMD 112的当前估计姿态确定的当前视场，人工现实应用程序渲染3D人工现实内容，在一些示例中，该内容可以至少部分地覆盖在用户110的真实世界3D物理环境上。在该过程期间，人工现实应用程序使用从HMD 112接收的感测数据(例如运动信息和用户命令)，以及在一些示例中，来自任何外部传感器90(例如外部相机)的数据，来捕获真实世界物理环境内的3D信息，例如用户110的运动和/或关于用户110的特征跟踪信息。基于所感测的数据，人工现实应用程序确定HMD 112的参考系的当前姿态，并且根据当前姿态，渲染人工现实内容122。
人工现实系统100可以基于用户110的当前视场130触发虚拟内容项的生成和渲染，这可以通过用户的实时凝视跟踪或其他条件来确定。更具体地，HMD 112的图像捕获设备138捕获表示现实世界物理环境中的在图像捕获设备138的视场130内的对象的图像数据。视场130通常对应于HMD 112的观看视角。在一些示例中，人工现实应用程序呈现包括混合现实和/或增强现实的人工现实内容122。人工现实应用程序可以沿着虚拟对象在诸如人工现实内容122内渲染视场130内的真实世界对象(诸如用户110的外围设备136、手132和/或手臂134的部分)的图像。在其他示例中，人工现实应用程序可以在人工现实内容122内渲染用户110在视场130内的外围设备136、手132和/或手臂134的部分的虚拟表示(例如，将现实世界对象呈现为虚拟对象)。在任一示例中，用户110能够在人工现实内容122内查看其在视场130内的手132、手臂134、外围设备136的部分和/或任何其他真实世界对象。在其他示例中，人工现实应用程序可以不对用户的手132或手臂134的表示进行渲染。
根据本公开的技术，HMD 112包括立体显示器，该立体显示器包括显示器和可变焦光学系统。显示器可以是二维平面显示器，例如液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵OLED(AMOLED)显示器、微型发光二极管(微型LED)显示器等。可变焦光学系统可以包括多个光学元件，至少一些光学元件包括可控焦度。例如，可变焦光学系统可以包括多个偏振敏感光学元件，例如由液晶形成的透镜，例如Pancharatnam-Berry相位(PBP；也称为几何相位)透镜、偏振敏感全息(PSH)透镜、超材料和/或液晶光学相位阵列。通过控制入射到每个相应偏振敏感光学元件上的光的偏振和/或偏振敏感光学元件的状态，光学系统可以被控制以具有选定的总光焦度。这样，光学系统可以是可变焦光学系统。
一个或多个处理器(例如，HMD 112、控制台116等)可以被配置为处理人工现实内容122的图像帧以生成多个子帧。每个子帧包括来自图像帧的图像数据的一部分。每个子帧的图像数据部分对应于图像帧内的深度或深度范围。例如，每个渲染像素可以具有与其相关联的多个值(例如，颜色、亮度、位置坐标等)，其中一个值可以表示图像内的深度。一个或多个处理器可以将深度值在选定范围内的像素分组为帧。可以选择深度范围，使得多个子帧共同表示该帧中基本上所有的图像数据，但是每个子帧仅包括一些图像数据。
为了产生用于显示的体积图像，该一个或多个处理器被配置为协调显示器的子帧输出和可变焦光学系统的焦距(例如，通过控制偏振敏感光学元件和/或其他光学元件的状态来控制入射到每个偏振敏感光学元件上的光的偏振)，使得可变焦光学系统的焦距与和显示的子帧相关联的深度相关(例如，该一个或多个处理器控制可变焦光学系统的焦距与正在显示的子帧的深度相关，使得当可变焦光学系统处于使得子帧看起来离观看者更远的状态时，显示具有更高深度值的子帧)。为了显示整个图像帧，一个或多个处理器控制显示器按顺序输出子帧，并在显示每个子帧时控制可变焦光学系统的聚焦状态。该技术利用了视觉的暂留性，这允许用户的视觉系统有效地组合子帧中包括的图像数据的部分，以重建图像帧。
图2A是描绘根据本公开中描述的技术的包括立体显示器的示例HMD 112的图示，该立体显示器包括显示器和可变焦光学系统。图2A的HMD 112可以是图1的HMD 112的示例。HMD 112可以是诸人工现实系统(如图1的人工现实系统100)的一部分，或者可以作为被配置为实现本文描述的技术的独立移动人工现实系统来操作。
在该示例中，HMD 112包括前刚性主体和将HMD 112固定到用户的带子。此外，HMD112包括面向内部的电子显示器203，该电子显示器被配置为经由可变焦光学系统205向用户呈现人工现实内容。如上所述，电子显示器203可以是任何合适的显示技术。在一些示例中，电子显示器是立体显示器，用于向用户的每只眼睛提供单独的图像。在一些示例中，当跟踪HMD 112的位置和定向以根据HMD 112和用户的当前观看视角渲染人工现实内容时，将显示器203相对于HMD 112的前刚性主体的已知定向和位置用作参考系，也称为本地原点。在其他示例中，HMD 112可以采取其他可佩戴的头戴式显示器的形式，例如眼镜或护目镜。
可变焦光学系统205包括被配置为管理电子显示器203输出的光以供HMD 112的用户(例如，图1的用户110)观看的光学元件。该光学元件可以包括例如操纵(例如聚焦、散焦、反射、折射、衍射等)由电子显示器203输出的光的一个或多个透镜、一个或多个衍射光学元件、一个或多个反射光学元件、一个或多个波导等。例如，可变焦光学系统205可以是本文参考图1、6、7和8描述的任何可变焦光学系统。
如图2A进一步所示，在该示例中，HMD 112还包括一个或多个运动传感器206，例如输出指示HMD 112的当前加速度的数据的一个或多个加速度计(也称为惯性测量单元或“IMU”)、输出指示HMD 112的位置的数据的GPS传感器、输出指示HMD 112与各种对象的距离的数据的雷达或声纳、或提供HMD 112或物理环境中的其他对象的位置或定向的指示的其他传感器。此外，HMD 112可以包括集成图像捕获设备138A和138B(统称为“图像捕获设备138”)，例如相机、激光扫描仪、多普勒雷达扫描仪、深度扫描仪等，其被配置为输出表示物理环境的图像数据。更具体地，图像捕获设备138捕获表示物理环境中在图像捕获设备138的视场130A、130B内的对象(包括外围设备136和/或手132)的图像数据，视场130A、130B通常对应于HMD 112的观看视角。HMD 112包括内部控制单元210，该内部控制单元可以包括内部电源；和一个或多个印刷电路板，印刷电路板具有一个或多个处理器、存储器和硬件，以提供用于执行可编程操作的操作环境，从而处理感测的数据并在显示器203上呈现人工现实内容。
图2B是描绘根据本公开中描述的技术的另一示例HMD 112的图示。如图2B所示，HMD 112可以采取眼镜的形式。图2A的HMD 112可以是图1的HMD 112的示例。HMD 112可以是人工现实系统(诸如图1的人工现实系统100)的一部分，或者可以作为被配置为实现本文描述的技术的独立移动人工现实系统来操作。
在该示例中，HMD 112为眼镜，其包括前框架，该前框架包括允许将HMD 112搁置在用户鼻子上的桥和在用户耳朵上延伸以将HMD 112固定到用户的镜腿(或“臂”)。此外，图2B的HMD 112包括被配置为向用户呈现人工现实内容的一个或多个面向内部的电子显示器203A和203B(统称为“电子显示器203”)，以及被配置为管理面向内部的电子显示器203输出的光的一个或多个可变焦光学系统205A和205B(统称为“可变焦光学系统205”)。在一些示例中，当跟踪HMD 112的位置和定向以根据HMD 112和用户的当前观看视角渲染人工现实内容时，将显示器203相对于HMD 112的前框架的已知定向和位置用作参考系，也称为本地原点。
如图2B中进一步所示，在该示例中，HMD 112还包括一个或多个运动传感器206、一个或多个集成图像捕获设备138A和138B(统称为“图像捕获设备138”)、可包括内部电源的内部控制单元210，以及一个或多个印刷电路板，印刷电路板具有一个或多个处理器、存储器和硬件，以提供用于执行可编程操作的操作环境，从而处理感测的数据并在显示器203上呈现人工现实内容。
图3是示出根据本公开中描述的技术的包括控制台106和HMD 112的人工现实系统的示例实施方式的框图。在图3的示例中，控制台106基于感测的数据(例如从HMD 112和/或外部传感器接收的运动数据和图像数据)执行HMD 112的姿态跟踪、姿势检测以及用户界面生成和渲染。
在该示例中，HMD 112包括一个或多个处理器302和存储器304，在一些示例中，处理器302和存储器304提供用于执行操作系统305的计算机平台，操作系统305可以是例如嵌入式实时多任务操作系统或其他类型的操作系统。反过来，操作系统305提供用于执行一个或多个软件组件307的多任务操作环境，包括应用引擎340。如关于图2A和2B的示例所讨论，处理器302耦接到电子显示器203、运动传感器206、图像捕获设备138，以及在一些示例中，耦接到光学系统205。在一些示例中，处理器302和存储器304可以是分离的分立组件。在其他示例中，存储器304可以是与单个集成电路内的处理器302并置的片上存储器。
通常，控制台106为计算设备，用于处理从图像捕获设备138接收的图像和跟踪信息以执行HMD 112的姿势检测和用户界面和/或虚拟内容生成。在一些示例中，控制台106是单个计算设备，例如工作站、台式计算机、膝上型计算机或游戏系统。在一些示例中，控制台106的至少一部分(例如处理器312和/或存储器314)可以分布在云计算系统、数据中心或网络上，例如互联网、另一公共或私有通信网络，例如宽带、蜂窝、Wi-Fi和/或用于在计算系统、服务器和计算设备之间传输数据的其他类型的通信网络。
在图3的示例中，控制台106包括一个或多个处理器312和存储器314，在一些示例中，处理器312和存储器314提供用于执行操作系统316的计算机平台，操作系统316可以是例如嵌入式实时多任务操作系统或其他类型的操作系统。反过来，操作系统316提供用于执行一个或多个软件组件317的多任务操作环境。处理器312耦接到一个或多个I/O接口315，I/O接口315提供用于与外部设备(例如键盘、游戏控制器、显示设备、图像捕获设备、HMD、外围设备等)通信的一个或多个I/O接口。此外，一个或多个I/O接口315可以包括一个或多个有线或无线网络接口控制器(NIC)，用于与诸如网络104等网络通信。
控制台106的软件应用程序317操作以提供整体的人工现实应用。在该示例中，软件应用程序317包括应用引擎320、渲染引擎322、姿势检测器324、姿态跟踪器326和用户界面引擎328。
通常，应用引擎320包括提供和呈现人工现实应用的功能，例如电话会议应用、游戏应用、导航应用、教育应用、培训或模拟应用等。应用引擎320可以包括例如用于在控制台106上实现人工现实应用的一个或多个软件包、软件库、硬件驱动程序和/或应用程序接口(API)。响应于应用引擎320的控制，渲染引擎322生成3D人工现实内容，以由HMD 112的应用引擎340显示给用户。
应用引擎320和渲染引擎322根据由姿态跟踪器326确定的参考系(通常是HMD 112的观看视角)的当前姿态信息来构建用于向用户110显示的人工内容。基于当前观看视角，渲染引擎322构建3D、人工现实内容，该内容在一些情况下可以至少部分地覆盖在用户110的真实世界3D环境上。在该过程中，姿态跟踪器326对从HMD 112接收的感测数据(例如运动信息和用户命令)以及在一些示例中来自任何外部传感器90(图1)(例如外部相机)的数据进行操作，以捕获真实世界环境中的3D信息，例如用户110的运动和/或关于用户110的特征跟踪信息。基于感测的数据，姿态跟踪器326确定HMD 112的参考系的当前姿态，并且根据当前姿态，构建用于经由一个或多个I/O接口315传送到HMD 112以显示给用户110的人工现实内容。
姿态跟踪器326可以确定HMD 112的当前姿态，并且根据当前姿态，触发与任何渲染的虚拟内容相关联的某些功能(例如，将虚拟内容项放置到虚拟表面上、操纵虚拟内容项、生成并渲染一个或多个虚拟标记、生成并渲染激光指示器)。在一些示例中，姿态跟踪器326检测HMD 112是否接近对应于虚拟表面(例如，虚拟钉板)的物理位置，以触发虚拟内容的渲染。
用户界面引擎328被配置为生成用于在人工现实环境中渲染的虚拟用户界面。用户界面引擎328生成虚拟用户界面，以包括一个或多个虚拟用户界面元素329，例如虚拟绘图界面、可选菜单(例如，下拉菜单)、虚拟按钮、方向键、键盘或其他用户可选用户界面元素、字形、显示元素、内容、用户界面控件等。
控制台106可以经由通信信道向HMD 112输出该虚拟用户界面和其他人工现实内容，以在HMD 112显示。
基于来自任何图像捕获设备138或其他传感器设备的感测数据，姿势检测器324分析控制器114和/或用户110的对象(例如，手、手臂、手腕、手指、手掌、拇指)的被跟踪运动、配置、位置和/或定向，以识别用户110执行的一个或多个姿势。更具体地，姿势检测器324分析由HMD 112的图像捕获设备138和/或传感器90以及外部相机102捕获的图像数据中识别的对象，以识别控制器114和/或用户110的手和/或手臂，并跟踪控制器114、手和/或手臂相对于HMD 112的移动，以识别用户110做出的姿势。在一些示例中，姿势检测器324可以基于捕获的图像数据来跟踪控制器114、手、手指和/或手臂的移动，包括位置和定向的改变，并将对象的运动矢量与姿势库330中的一个或多个条目进行比较，以检测用户110做出的姿势或姿势组合。在一些示例中，姿势检测器324可以接收由控制器114的存在敏感表面检测到的用户输入，并且处理用户输入以检测用户110相对于控制器114做出的一个或多个姿势。
根据本文描述的技术，电子显示器203和可变焦光学系统205为HMD 112提供体积显示。电子显示器203可以是本文描述的任何显示器，可变焦光学系统205可以是本文描述的任何可变焦光学系统。
图4是描绘根据本公开中描述的技术的示例的框图，其中HMD 112是独立人工现实系统。在该示例中，类似于图3，HMD 112包括一个或多个处理器302和存储器304，在一些示例中，处理器302和存储器304提供用于执行操作系统305的计算机平台，操作系统305可以是例如嵌入式实时多任务操作系统或其他类型的操作系统。反过来，操作系统305提供用于执行一个或多个软件组件417的多任务操作环境。此外，处理器302耦接到电子显示器203、可变焦光学系统205、运动传感器206和图像捕获设备138。
在图4的示例中，软件组件417操作以提供整体的人工现实应用。在该示例中，软件组件417包括应用引擎440、渲染引擎422、姿势检测器424、姿态跟踪器426和用户界面引擎428。在各种示例中，软件组件417的操作类似于图3的控制台106的对应组件(例如，应用引擎320、渲染引擎322、姿势检测器324、姿态跟踪器326和用户界面引擎328)，以构建覆盖在人工内容上或作为其一部分的虚拟用户界面，以显示给用户110。
类似于关于图3描述的示例，基于来自图像捕获设备138或102、控制器114或其他传感器设备中的任何一个的感测数据，姿势检测器424分析控制器114和/或用户的对象(例如，手、臂、手腕、手指、手掌、拇指)的被跟踪运动、配置、位置和/或定向，以识别用户110做出的一个或多个姿势。
图5是根据本公开的一些示例的示例立体显示器500的等距视图。在一些示例中，立体显示器500包括发光器件阵列510和可变焦光学系统530。发光器件阵列510向观看用户发射图像光。发光器件阵列510可以是例如LED阵列、微LED阵列、OLED阵列或其某种组合。发光器件阵列510包括发射可见光范围内的光的发光器件520。
在一些示例中，立体显示器500包括发射强度阵列，该发射强度阵列被配置为选择性地衰减从发光阵列510发射的光。在一些示例中，发射强度阵列由多个液晶单元或像素、发光器件组或其某种组合组成。每个液晶单元或者在一些示例中，液晶单元组是可寻址的，以具有特定的衰减水平。例如，在给定时间，可以将一些液晶单元设置为无衰减，而将其他液晶单元设置为最大衰减。以此方式，发射强度阵列可以控制从发光器件阵列510发射的图像光的哪一部分被传递到可变焦光学系统530。在一些示例中，立体显示器500使用发射强度阵列来促进向用户眼睛540的瞳孔550的位置提供图像光，并且最小化向眼睛中的其他区域提供的图像光的量。
可变焦光学系统530从发射强度阵列(或直接从发射装置阵列510)接收图像光(例如，衰减光)，并且以使得感知的图像处于适当距离的方式将图像光引导至瞳孔550的位置。
在一些示例中，除了发光器件阵列510之外或代替发光器件阵列510，立体显示器500还包括与多个滤色器耦接的一个或多个宽带源(例如，一个或多个白色LED)。
可变焦光学系统530包括多个偏振敏感透镜，例如PBP透镜(也称为几何相位透镜)、PSH透镜、超材料和/或液晶光学相位阵列。通过控制入射到每个相应透镜上的光的偏振和/或透镜的状态，可以控制光学系统具有选定的总光焦度。这样，光学系统可以是可变焦光学系统。
立体显示器500耦接到一个或多个处理器560。处理器560被配置为控制发光器件阵列510显示图像，并被配置为控制可变焦光学系统530以设置可变焦光学系统530的焦距。处理器560可以代表本文描述的任何处理器，包括图3和4所示的处理器302和312。处理器560可以包括专用或其他控制电路、用于执行指令的处理核心、离散逻辑或其他硬件元件。
处理器560可以被配置为处理人工现实内容的图像帧，以生成在发光器件阵列510处显示的多个子帧。处理器560可以处理图像帧，使得每个子帧仅包括来自图像帧的图像数据的一部分。例如，处理器560可以基于与图像帧相关联的深度信息对来自图像帧的像素进行分箱(binning)。用于显示的每个像素输出可以包括相关联的深度值，该深度值可以对应于各个像素离虚拟相机位置的距离。虚拟相机位置可以与HMD 112(图1)的观看视角相关联。
处理器560可以将深度值在选定范围内的像素分组，以生成子帧。例如，处理器560可以被配置为生成预定数量的子帧，并且可以将像素分箱为相应数量的深度范围。作为特定示例，处理器560可以被配置为为每个图像帧生成八个子帧。处理器560可以基于与像素相关联的深度信息将像素分箱为八个范围。第一箱(bin)可以包括与低深度值相关联的像素(例如，最接近虚拟相机坐标的像素，与例如0和D1之间的深度值相关联)，第二箱可以包括与第二范围内(例如，深度值D1和深度值D2之间)的深度值相关联的像素，第三箱可以包括与第三范围内(例如，深度值D2和深度值D3之间)的深度值相关联的像素等。这些范围可以是预定的，基于图像帧内的总深度范围来确定等。可以选择深度范围，使得多个子帧(例如，八个子帧)共同表示图像帧中的所有图像数据，但是每个子帧仅包括一些图像数据(例如，深度值在与子帧相关联的范围内的像素)。
为了产生体积图像以便显示，处理器560被配置为协调用于在发光器件阵列510处显示的子帧的输出和可变焦光学系统530的焦距。例如，处理器560可以被配置为控制可变焦光学系统530内的透镜和/或其他光学元件的状态，使得可变焦光学系统的焦距与和显示的子帧相关联的深度相关。为了显示整个图像帧，处理器560被配置为控制发光器件阵列510按顺序输出子帧，并以相应的顺序控制可变焦光学系统530的聚焦状态，使得可变焦光学系统的焦距与和显示的子帧相关联的深度相关。该技术利用了视觉的暂留性，这允许用户的视觉系统有效地组合子帧中包括的图像数据部分，以重建图像帧。
图6是图示根据本公开的一些示例的可变焦光学系统600的概念图。可变焦光学系统600是可变焦光学系统205或530的示例。光学系统通常可用于为显示设备(例如显示设备203)提供聚焦能力。所公开的示例利用变焦光学总成600来使显示设备能够具有支持体积显示的可调光焦度。
如图6所示，可变焦光学系统700包括多个连续的光学级602A、602B，......602N(本文也称为“光学级602”)，这些光学级被配置为以各种光焦度透射光(例如，光604A-604Q)。除了第一光学级602A，连续光学级的每个光学级接收从前一光学级输出的入射光。例如，如图所示，第二光学级602B接收从第一光学级602A输出的光604C。在一些示例中，连续光学级602的每个级可被配置为处于包括至少第一状态和第二状态的多个状态中的任何一个。在第一状态下，每个相应光学级对于第一偏振的光具有第一对应光焦度，对于与第一偏振正交的第二偏振的光具有不同于第一对应光焦度的第二对应光焦度。在第二状态下，每个相应光学级对于第一偏振的光具有第三光焦度，对于第二偏振的光具有第四光焦度。结果，通过配置一个或多个连续光学级602，可变焦光学系统600的总光焦度是可变的。
变焦光学总成600被配置为具有对于一个或多个两个光学级可以是至少两个不同光焦度水平中的任何一个的总光焦度。通过增加更多级，或者通过包括一个或多个级(其中每个级具有响应时间快的电子透镜，例如在一定范围内具有连续可调光焦度的有源液晶光学相控阵可调透镜)，总光焦度可以具有更多不同水平的光焦度。在一些示例中，可变焦光学系统600还可以在第一光学级之前包括一个或多个光学元件606和/或在最后一个光学级602N之后包括一个或多个光学元件608。
每个光学级602可以包括至少一个光学元件。例如，光学级可以包括一对光学元件。图7是示例光学级602的概念图，示例光学级602包括第一光学元件712和与第一光学元件712光学串联的第二光学元件714。
第一光学元件712可通过控制器716被配置为处于第一光学元件状态或第二光学元件状态。控制器716是图5所示的处理器560的示例。第一光学元件712可以是可切换光学延迟器，例如可切换半波片。在第一光学元件状态(例如，“关”状态)下，第一光学元件712可以被配置为分别将第一偏振或第二偏振的光转换成第二偏振或第一偏振的光。第一偏振可以与第二偏振基本正交(例如，正交或接近正交)。在第二光学元件状态下，第一光学元件712透射入射光而不改变光的偏振。例如，当控制器716将第一光学元件712设置为第一状态时(例如，通过不在第一光学元件712两端施加电压)，入射到第一光学元件712上的左圆偏振(LCP)光将输出为右圆偏振(RCP)光，反之亦然。相反，当控制器716将第一光学元件712设置为第二状态时(例如，通过在第一光学元件712两端施加电压)，入射到第一光学元件712上的光将被透射而其偏振没有变化(例如，LCP光保持LCP，RCP光保持RCP)。
第一光学元件712可以包括液晶(LC)单元，例如向列LC单元、具有手性掺杂剂的向列LC单元、手性LC单元、均匀螺旋(ULH)LC单元、π型LC单元、铁电LC单元等。在其他示例中，LC单元包括可电驱动的双折射材料。在一些示例中，LC单元可以以相对较高的速度(例如，小于5毫秒、小于2毫秒、小于1毫秒等)切换。在一些示例中，第一光学元件712包括至少一个铁电LC单元。铁电LC单元是基于表现出双稳态配置的近晶C*LC(手性近晶LC)。可以利用施加的电压在这两种稳定配置之间切换。铁电LC单元可以表现出快速的开关时间，例如小于1微秒或小于100微秒。快速切换时间可以支持体积显示的相对较高的帧速率，特别是在图像帧被分成许多子帧的示例中。例如，为了支持100赫兹帧速率和每帧10个子帧的体积显示，可能需要小于1微秒的切换速率来减少或基本上消除由可变焦光学系统600的切换不协调和发光器件阵列510的子帧显示引起的光学伪像。
第二光学元件714被配置为接收透射过第一光学元件712的光。第二光学元件714可以是聚焦光学元件(例如，透镜)。在一些示例中，第二光学元件714是偏振敏感光学元件。例如，第二光学元件714可以包括PBP透镜(也称为几何相位透镜)、PSH透镜、超材料或超表面以及液晶光学相位阵列中的一个或多个。下面分别参照图9A-9D和图10A-10D提供关于PBP透镜和PSH透镜的细节。
第二光学元件714可以是无源的(例如，不连接到被配置为选择性地向第二光学元件714施加电压以改变第二光学元件714的属性的控制器718)，或者是有源的(例如，连接到被配置为选择性地向第二光学元件714施加电压以改变第二光学元件714的属性的控制器718)。在第二光学元件714无源的示例中，第二光学元件714对于第一偏振的光具有第一光焦度，对于第二偏振的光具有不同于第一光焦度的第二光焦度。在一些示例中，第二相应光焦度小于第一相应光焦度。例如，第二相应光焦度可以为零。例如，第二光学元件714对于RCP光可以表现出非零的第一光焦度，并且被配置为将RCP光转换成LCP光，同时会聚或发散(取决于第一光焦度)RCP光。第二光学元件714可以被配置为透射LCP光，而不聚焦或改变LCP光的偏振。
在其他示例中，第二相应光焦度在幅度上大约等于第一相应光焦度，但是在符号(效果)上与第一相应光焦度相反。例如，第二光学元件714可以用作对于入射光RCP具有+0.5屈光度的光焦度的正透镜，并且可以用作对于入射光LCP具有-0.5屈光度的光焦度的负透镜。因此，第二光学元件714的光焦度(且因此光学级602的光焦度)可以基于第一光学元件712的状态和入射到光学级602的光的偏振。
在一些示例中，第二光学元件714为有源光学元件，其可经由控制器718被配置为处于第三光学元件状态(例如，“关”状态)或第四光学元件状态(例如“开”状态)。控制器718可以是图5所示的处理器560的示例。在第三光学元件状态下，有源第二光学元件714被配置为对于具有第一偏振的入射光具有第一相应光焦度，对于具有第二偏振的入射光具有第二相应光焦度，如以上关于第二光学元件714无源的示例所述。在第四光学元件状态下，有源第二光学元件714被配置为具有零光焦度，并且被配置为透射入射光而不施加光焦度，而不管入射光的偏振如何。结果，根据第一光学元件712和有源第二光学元件714的状态，包括第一光学元件712和有源第二光学元件714的光学级602可以呈现两种以上的不同状态。
在一些示例中，第二光学元件714是第一光学元件712表面上的薄膜。
第二光学元件714具有相关联的光焦度(或多个相关联的光焦度)，该光焦度可以与其他光学级602中的第二光学元件的光焦度相同或不同。在一些示例中，第二光学元件714的光焦度的大小不大于2.0屈光度(例如，光焦度不大于-2屈光度或+2屈光度)。
在一些示例中，连续光学级602(图6)的光学级仅包括第一光学元件712和有源第二光学元件714中的一个。例如，连续光学级702的光学级可以包括有源第二光学元件714，而不包括第一光学元件712。
因此，控制器716和718(其为图5的处理器560的示例)可以控制变焦光学总成500(图5)的总光焦度，通过控制光学级602的每个相应状态，可以调节总光焦度，如参考图7所述。
图8A-8D是图示根据一些示例的Pancharatnam-Berry相位(PBP)透镜800的示意图。在一些实施例中，上文参照图6和7描述的变焦光学总成600中的光学级602的第二光学元件714包括PBP透镜800。在一些示例中，PBP透镜800是包括液晶层的液晶光学元件。在一些示例中，PBP透镜800包括其他类型子结构层，例如由高折射率材料组成的纳米柱。
PBP透镜800部分地基于入射光的偏振增加或减小光焦度。例如，如果RCP光入射到PBP透镜800上，则PBP透镜800用作正透镜(即，其使光会聚)。如果LCP光入射到PBP透镜800上，则PBP透镜800用作负透镜(即，其使光发散)。PBP透镜800还将光的旋向性改变为正交旋向性(例如，将LCP改变为RCP，反之亦然)。PBP透镜也具有波长选择性。如果入射光为设计的波长，则将LCP光转换为RCP光，反之亦然。相反，如果入射光的波长在设计的波长范围之外，则至少一部分光被透射而其偏振无变化，也没有聚焦或会聚。PBP透镜可以具有大的孔径尺寸，并且可以由非常薄的液晶层制成。PBP透镜的光学特性(例如聚焦能力或衍射能力)基于液晶分子方位角(θ)的变化。例如，对于PBP透镜，基于等式(1)确定液晶分子的方位角θ：
Figure BDA0003561150800000211
其中r表示液晶分子和PBP透镜的光学中心之间的径向距离，f表示焦距，λ表示设计PBP透镜所针对的光的波长。在一些示例中，液晶分子在x-y平面中的方位角从PBP透镜的光学中心到边缘增加。在一些示例中，如等式(1)所示，相邻液晶分子之间方位角的增加速率也随着距PBP透镜800的光学中心的距离而增加。PBP透镜800基于液晶分子在图8A的x-y平面中的定向(即方位角θ)形成各个透镜轮廓。相反，(非PBP)液晶透镜通过双折射特性(液晶分子定向在x-y平面之外，例如与x-y平面成非零倾斜角)和液晶层的厚度形成透镜轮廓。
图8A图示了PBP透镜800的三维视图，入射光804沿着z轴进入透镜。
图8B图示了具有多个不同定向的液晶(例如，液晶802A和802B)的PBP透镜800的x-y平面图。液晶的定向(即方位角θ)从PBP透镜800的中心向PBP透镜800的外围沿着A和A’之间的参考线变化。
图8C图示了PBP透镜800的x-z截面图。如图8C所示，液晶(例如，液晶802A和802B)的定向沿着z方向保持不变。图8C示出了PBP结构的示例，该结构沿着z轴的定向恒定，并且双折射厚度(Δn×t)理想地是设计波长的一半，其中Δn是液晶材料的双折射率，t是板的物理厚度。
在一些示例中，PBP光学元件(例如，透镜)可以具有不同于图8C所示的液晶结构。例如，PBP光学元件可以包括沿z方向的双扭曲液晶结构。在另一个示例中，PBP光学元件可以包括沿z方向的三层交替结构，以便在宽光谱范围内提供消色差响应。
图8D图示了沿着图8B所示的A和A’之间的参考线的液晶的详细平面图。间距806定义为液晶的方位角θ沿着x轴旋转180度的距离。在一些示例中，间距806作为距PBP透镜800中心的距离的函数而变化。在透镜的情况下，液晶的方位角θ根据上面所示的等式(1)变化。在这种情况下，透镜中心的间距最长，透镜边缘的间距最短。
图9A-9D是图示根据一些示例的偏振敏感全息(PSH)透镜的示意图。在一些示例中，上文参照图6和7描述的可变焦光学系统600中的光学级602的第二光学元件714包括PSH透镜900。PSH透镜900是液晶PSH透镜，包括以螺旋结构排列的液晶层(例如，由胆甾醇型液晶形成的液晶)。与PBP透镜(上面参照图8A-8D所描述)类似，PSH透镜900部分地基于入射光的偏振增加或减小光焦度。然而，PSH透镜900对于光的圆偏振具有选择性。当圆偏振光的状态(旋向性)沿着液晶的螺旋轴时，PSH透镜900与圆偏振光相互作用，从而改变光的方向(例如折射或衍射光)。同时，在透射光的同时，PSH透镜900也改变光的偏振。相反，PSH透镜900透射具有相反圆偏振的光，而不改变其方向或偏振。例如，PSH透镜900可以将RCP光的偏振改变为LCP光，并且在透射LCP光的同时聚焦或散焦该光，而不改变其偏振或方向。PSH透镜900的光学特性(例如，聚焦能力或衍射能力)基于液晶分子方位角的变化。此外，PSH的光学特性基于液晶的螺旋轴和/或螺旋间距。
图9A图示了PSH透镜800的三维视图，入射光904沿着z轴进入透镜。图9B图示了具有多个不同定向的液晶(例如，液晶902A和902B)的PSH透镜900的x-y平面图。液晶的定向(即方位角θ)从PSH透镜900的中心到PSH透镜900的外围沿着B和B’之间的参考线变化。
图9C图示了PSH透镜900的x-z截面图。如图9C所示，与关于图8C描述的PBP透镜800相反，PSH透镜900的液晶(例如，图9B中的液晶902A和902B)布置成螺旋结构918。螺旋结构918具有平行于z轴排列的螺旋轴。当各个液晶在x-y平面上的方位角变化时，螺旋结构形成具有形成摆线图案的多个衍射平面(例如，平面920A和920B)的体积光栅。在PSH透镜900的体积中定义的衍射平面(例如，布拉格衍射平面)是折射率周期性变化的结果。螺旋结构918限定了PSH透镜900的偏振选择性，因为圆偏振旋向性对应于螺旋轴的光被衍射，而圆偏振旋向性相反的光不被衍射。螺旋结构918还限定了PSH透镜900的波长选择性，因为螺旋间距922决定了哪些波长被PSH透镜900衍射(具有其他波长的光不被衍射)。例如，对于PSH透镜，基于等式(2)确定PSH透镜将衍射光的设计波长：
λ＝2neffPz (2)
其中λ表示设计PSH透镜900所针对的光的波长，Pz是螺旋间距922的距离，neff是作为双折射介质的液晶介质的有效折射率。螺旋间距是指螺旋沿着螺旋轴(例如，图9C中的z轴)旋转了180度时的距离。基于等式(3)确定双折射液晶介质的有效折射率：
Figure BDA0003561150800000231
其中n0是双折射介质的寻常折射率，ne是双折射介质的非常折射率。
图9D图示了沿着图9B中B和B’之间的参考线的液晶的详细平面图。间距906定义为液晶的方位角沿着x轴从初始定向旋转了180度的距离。在一些实施例中，间距906作为距PSH透镜900中心的距离的函数而变化。在透镜的情况下，液晶的方位角根据上面所示的等式(1)而变化。在这种情况下，透镜中心的间距最长，透镜边缘的间距最短。
图10A-10D是示例图像帧1002和由图像帧生成的多个子帧的图像。图像帧1002包括多个对象，包括第一角色1004、箱子1006、第二角色1008、第三角色1010、井1012和太阳1014。图10A-10D中所示的对象仅仅是示例，并且参考图10A-10D描述的概念可以应用于任何图像帧中的任何对象。图10A-10D中所示的每个对象是多个像素的组合。
如上所述，处理器560可以被配置为基于与像素相关联的深度信息来对像素进行分箱。在图10A-10D的示例中，处理器560被配置为将像素分箱为三箱。在其他示例中，处理器560可以被配置为将像素分箱为任意数量的箱(例如，至少两个箱)。箱可以预定义且为静态的(例如，每个箱与深度值的预定义静态范围相关联)，或者可以为动态的(例如，每个箱的范围是逐帧或在其他基础上确定的，例如，取决于作为深度的函数的场景复杂性)。
如图10B所示，处理器560可以被配置为将相关联深度值指示相对接近虚拟相机位置的像素分组为第一箱。如上所述，虚拟相机位置可以与HMD 112(图1)的观看视角相关联。这些像素可以表示相对接近虚拟相机位置和HMD 112的用户的视点的对象1004和1006。第一子帧1022A可以仅包括与第一箱相关联的像素，并且可以不显示与落在第一箱之外的深度值相关联的像素。例如，第一箱可以包括与0和第一深度值D1之间的深度值相关联的像素。
如图10C所示，处理器560可以被配置为将相关联深度值指示距离虚拟相机位置的距离相对适中的像素分组为第二箱。这些像素可以代表对象1008和1010。第二子帧1022B可以仅包括与第二箱相关联的像素，并且可以不显示与落在第二箱之外的深度值相关联的像素。例如，第二箱可以包括与第一深度值D1和第二深度值D2之间的深度值相关联的像素。
如图10D所示，处理器560可以被配置为将与指示距离虚拟相机位置的距离相对适中的深度值相关联的像素分组为第二箱。这些像素可以代表对象1012和1014。第三子帧1022C可以仅包括与第三箱相关联的像素，并且可以不显示与落在第三箱之外的深度值相关联的像素。例如，第三箱可以包括与大于第二深度值D2的深度值相关联的像素。
在图10A-10D所示的示例中，将表示每个对象的像素分组在单个箱内。例如，将表示第一角色1004的所有像素分组在第一箱内，并用于生成第一子帧1022A。然而，在所有情况下可能并非均如此，例如，这取决于箱(和子帧)的数量和/或图像帧内对象的大小和位置。例如，如果对象包括从虚拟相机位置附近延伸到背景深处的大型建筑物，则可将表示该大型建筑物的像素分组在多个箱中。
这样，处理器560可以从图像帧生成多个子帧。处理器560可以执行类似的分箱技术来为构成虚拟现实观看体验的图像序列中的每个图像帧生成子帧。在其他示例中，子帧可以是预先生成的(例如，由另一设备生成)，并且处理器560可以简单地输出预先生成的子帧以在发光器件阵列510处显示。
图11是图示使用显示器和可变焦光学系统生成体积显示的示例技术的流程图。将同时参考图5-7的立体显示器500、可变焦光学系统600和光学级602来描述图11的技术，然而显然可以使用其他系统来执行图11的技术。
在一些示例中，处理器560可以从图像帧生成多个子帧(1102)，如上文参考图10A-10D所述。在其他示例中，子帧可以是预先生成的(例如，由另一个设备，例如控制台106生成)。
处理器560使在发光器件阵列510处显示子帧(1104)。处理器560还将可变焦光学系统600控制为相应的聚焦状态(1106)。例如，处理器560可以向每个光学级602(例如，每个第一光学元件712和每个第二光学元件714)输出控制信号，以将每个光学级602设置为使得可变焦光学系统600产生与发光器件阵列510显示的子帧相对应的选定光焦度的状态。
在一些示例中，可变焦光学系统600可以具有限定数量的焦度，并且每个焦度可以与图像帧内的相应子帧相关联。例如，每个第一子帧可以包括表示图像帧内最接近虚拟相机位置的对象的像素，每个第二子帧可以包括表示图像帧内距虚拟相机位置的距离适中的对象的像素，并且每个第三子帧可以包括表示图像帧内距离虚拟相机位置较远的对象的像素。对于每个图像帧，子帧可以以该定义的顺序输出。这样，处理器560可以输出控制信号，该控制信号使得可变焦光学系统600以与三个子帧的显示协调的方式在三个焦度之间循环。
在一些示例中，处理器560通过控制可变焦光学系统600在与子帧相关联的图像光传播通过可变焦光学系统600之前实现与子帧相关联的选定光学状态(焦度)，来协调可变焦光学系统600的聚焦状态和基板的显示。这可以减少或基本上消除当图像光传播通过可变焦光学系统600时可能由焦距变化引起的光学伪像。例如，在发光器件阵列510结束输出与第一子帧相关联的图像光至发光器件阵列510开始输出与第二子帧相关联的图像光这段时间期间，处理器560可以控制可变焦光学系统600从与第一子帧相关联的聚焦状态改变为与第二子帧相关联的聚焦状态。
对于图像帧的每个子帧，处理器560可以使子帧在发光器件阵列510(1104)处显示，并且将可变焦光学系统600控制为相应的聚焦状态(1106)。一旦显示了所有子帧(判定框1108的“否”分支)，处理器560可以继续处理后续图像帧(1110)。以此方式，通过将图像帧分成子帧(每个子帧仅包括图像帧的一些像素)，并且协调变焦光学总成的聚焦状态，可以生成体积显示。这种显示可以利用二维显示器向用户产生三维深度的外观。
如本文通过各种示例所描述，本公开的技术可以包括或结合人工现实系统来实现。如上所述，人工现实是在呈现给用户之前已经以某种方式调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如，真实世界的照片或视频)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且可以在单个信道或多个信道中呈现这些内容中的任何一个(例如向观众产生三维效果的立体视频)。此外，在一些实施例中，人工现实可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或在人工现实中使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主计算机系统的头戴式设备(HMD)、独立HMD、移动设备或计算系统、或者能够向一个或多个观众提供人工现实内容的任何其他硬件平台。
本公开中描述的技术可以至少部分地以硬件、软件、固件或其任意组合来实现。例如，所描述的技术的各个方面可以在一个或多个处理器中实现，包括一个或多个微处理器、DSP、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其他等效的集成或分立逻辑电路，以及这些组件的任何组合。术语“处理器”或“处理电路”通常可以指任何前述逻辑电路，单独或与其他逻辑电路组合，或任何其他等效电路。包括硬件的控制单元也可以执行本公开的一种或多种技术。
这种硬件、软件和固件可以在同一设备内或在单独的设备内实现，以支持本公开中描述的各种操作和功能。此外，所描述的单元、模块或组件中的任何一个都可以作为分立但可互操作的逻辑设备一起或单独实现。将不同特征描述为模块或单元旨在突出不同的功能方面，并不一定意味着这些模块或单元必须由单独的硬件或软件组件来实现。相反，与一个或多个模块或单元相关联的功能可以由单独的硬件或软件组件来执行，或者集成在公共或单独的硬件或软件组件中。
本公开中描述的技术也可以在包含指令的计算机可读介质(例如计算机可读存储介质)中实施或编码。嵌入或编码在计算机可读存储介质中的指令在由可编程处理器或其他处理器执行时，使得可编程处理器或其他处理器执行该方法。计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电子可擦除可编程只读存储器(EEPROM)、闪存、硬盘、CD-ROM、软盘、盒、磁介质、光学介质或其它计算机可读介质。
如本文通过各种示例所描述，本公开的技术可以包括或结合人工现实系统来实现。如上所述，人工现实是在呈现给用户之前已经以某种方式调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的内容(例如，真实世界的照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且可以在单个信道或多个信道中呈现这些内容中的任何一个(例如向观众产生三维效果的立体视频)。此外，在一些实施例中，人工现实可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或在人工现实中使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主计算机系统的头戴式设备(HMD)、独立HMD、移动设备或计算系统、或者能够向一个或多个观众提供人工现实内容的任何其他硬件平台。

Claims (15)

1.一种立体显示器，包括：
二维显示器；
可变焦光学系统，被配置为接收来自所述二维显示器的图像光并聚焦所述图像光；以及
至少一个处理器，被配置为：
控制所述二维显示器以使与图像帧相关联的多个子帧被所述显示器显示，其中所述多个子帧中的每个子帧包括与所述图像帧相关联的图像数据的对应部分；以及
针对每个相应子帧将所述可变焦光学系统控制为相应的聚焦状态。
2.根据权利要求1所述的立体显示器，其中所述可变焦光学系统包括多个光学级，并且其中所述多个光学级中的每个光学级包括聚焦光学元件。
3.根据权利要求2所述的立体显示器，其中所述聚焦光学元件包括偏振敏感聚焦光学元件，并且其中所述多个光学级中的至少一个光学级还包括可切换波长延迟器。
4.根据权利要求3所述的立体显示器，其中所述可切换波延迟器包括可切换半波片；和/或优选地，其中所述可切换波延迟器包括至少一个铁电液晶单元；和/或优选地，其中所述偏振敏感聚焦光学元件包括以下中的至少一项：潘查拉特南贝里相位(PBP)透镜、偏振敏感全息(PSH)透镜、超材料或液晶光学相位阵列。
5.根据权利要求1至4中任一项所述的立体显示器，其中所述至少一个处理器还被配置为基于与所述像素相关联的深度值，通过将所述图像帧的像素分箱为多个箱来生成所述多个子帧。
6.根据权利要求1至5中任一项所述的立体显示器，其中所述多个子帧共同重建所述图像帧。
7.一种系统，包括：
头戴式显示器，包括：
外壳；
二维显示器，机械耦接到所述外壳；
可变焦光学系统，机械耦接到所述外壳，并且被配置为接收来自所述二维显示器的图像光并且聚焦所述图像光；和
至少一个处理器，被配置为：
使与图像帧相关联的多个子帧被所述显示器显示，其中所述多个子帧中的每个子帧包括与所述图像帧相关联的图像数据的相应部分，并且其中所述多个子帧合计地包括与所述图像帧相关联的所有图像数据；以及
针对每个相应子帧将所述可变焦光学系统控制为相应的聚焦状态。
8.根据权利要求7所述的系统，其中所述可变焦光学系统包括多个光学级，并且其中所述多个光学级中的每个光学级包括聚焦光学元件。
9.根据权利要求8所述的系统，其中所述聚焦光学元件包括偏振敏感聚焦光学元件，并且其中所述多个光学级中的至少一个光学级还包括可切换波长延迟器。
10.根据权利要求9所述的系统，其中，所述可切换波延迟器包括可切换半波片；和/或优选地，其中所述可切换波延迟器包括至少一个铁电液晶单元；和/或优选地，其中所述偏振敏感聚焦光学元件包括以下中的至少一项：潘查拉特南贝里相位(PBP)透镜、偏振敏感全息(PSH)透镜、超材料或液晶光学相位阵列。
11.根据权利要求7至10中任一项所述的系统，其中所述至少一个处理器还被配置为基于与所述像素相关联的深度值，通过将所述图像帧的像素分箱成多个箱来生成所述多个子帧；和/或优选地还包括通信耦接至所述头戴式显示器的控制台，其中所述控制台被配置为基于与所述像素相关联的深度值，通过将所述图像帧的像素分箱分成多个箱来生成多个子帧；和/或优选地，其中所述多个子帧共同重建图像帧。
12.一种方法，包括：
由一个或多个处理器使与图像帧相关联的多个子帧由二维显示器显示，其中所述多个子帧中的每个子帧包括与所述图像帧相关联的图像数据的相应部分，并且其中所述多个子帧合计地包括与所述图像帧相关联的所有图像数据；以及
由所述一个或多个处理器将可变焦光学系统控制到每个相应子帧的对应聚焦状态，其中所述可变焦光学系统被配置为接收来自所述二维显示器的图像光并聚焦所述图像光。
13.根据权利要求12所述的方法，其中所述可变焦光学系统包括多个光学级，并且其中所述多个光学级中的每个光学级包括聚焦光学元件。
14.根据权利要求13所述的方法，其中所述聚焦光学元件包括偏振敏感聚焦光学元件，其中所述多个光学级中的至少一个光学级还包括可切换波延迟器，并且其中控制所述可变焦光学系统包括控制所述可切换波延迟器的状态；并且优选地，其中所述偏振敏感聚焦光学元件包括以下中的至少一项：潘查拉特南贝里相位(PBP)透镜、偏振敏感全息(PSH)透镜、超材料或液晶光学相位阵列；并且优选地，其中所述偏振敏感聚焦光学元件包括有源偏振敏感聚焦光学元件，包括控制有源偏振敏感聚焦光学元件的状态。
15.根据权利要求12至14中任一项所述的方法，还包括：由所述一个或多个处理器基于与所述像素相关联的深度值将所述图像帧的像素分箱成多个箱而生成所述多个子帧；和/或优选地还包括由控制台基于与所述像素相关联的深度值通过将所述图像帧的像素分箱成多个箱而生成所述多个子帧。
CN202080066922.6A 2019-09-24 2020-09-06 包括基于液晶的透镜的立体显示器 Pending CN114730077A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962905113P 2019-09-24 2019-09-24
US62/905,113 2019-09-24
US16/723,152 2019-12-20
US16/723,152 US11240488B2 (en) 2019-09-24 2019-12-20 Volumetric display including liquid crystal-based lenses
PCT/US2020/049604 WO2021061383A1 (en) 2019-09-24 2020-09-06 Volumetric display including liquid crystal-based lenses

Publications (1)

Publication Number Publication Date
CN114730077A true CN114730077A (zh) 2022-07-08

Family

ID=74882284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080066922.6A Pending CN114730077A (zh) 2019-09-24 2020-09-06 包括基于液晶的透镜的立体显示器

Country Status (5)

Country Link
US (2) US11240488B2 (zh)
EP (1) EP4034935A1 (zh)
JP (1) JP2022548815A (zh)
CN (1) CN114730077A (zh)
WO (1) WO2021061383A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240488B2 (en) 2019-09-24 2022-02-01 Facebook Technologies, Llc Volumetric display including liquid crystal-based lenses

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013192A (zh) * 2006-02-03 2007-08-08 松下电器产业株式会社 变焦透镜系统、透镜镜筒、成像装置以及拍摄设备
US9106902B2 (en) * 2011-03-25 2015-08-11 Lg Electronics Inc. Depth information detection apparatus and apparatus for obtaining 3-dimensional content using the same
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20180020350A1 (en) * 2016-07-13 2018-01-18 Motorola Mobility Llc Electronic Device with Gesture Actuation of Companion Devices, and Corresponding Systems and Methods
US10120193B2 (en) * 2017-01-27 2018-11-06 Oculus Vr, Llc Geometric phase lens alignment in an augmented reality head mounted display
US10681328B1 (en) * 2016-01-13 2020-06-09 Apple Inc. Dynamic focus 3D display

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140029689A (ko) * 2012-08-29 2014-03-11 삼성전자주식회사 영상 처리 시스템에서 움직임 추정 장치 및 방법
US9330718B2 (en) * 2013-02-20 2016-05-03 Intel Corporation Techniques for adding interactive features to videos
US10459305B2 (en) * 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US10025060B2 (en) * 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
US10203566B2 (en) * 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
US20170255012A1 (en) * 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display using spatial light modulator to move the viewing zone
US10056057B2 (en) 2016-04-13 2018-08-21 Google Llc Resonant modulation of varifocal liquid membrane lens to provide multiple concurrent focal planes in VR display for realistic focus cues
US10215983B2 (en) * 2016-07-19 2019-02-26 The Board Of Trustees Of The University Of Illinois Method and system for near-eye three dimensional display
US20180157320A1 (en) * 2016-12-01 2018-06-07 Oculus Vr, Llc Air spaced optical assembly with integrated eye tracking
US10310598B2 (en) * 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
CN114935863A (zh) * 2017-02-23 2022-08-23 奇跃公司 具有可变屈光力反射器的显示系统
US11644669B2 (en) * 2017-03-22 2023-05-09 Magic Leap, Inc. Depth based foveated rendering for display systems
US10884263B2 (en) * 2018-08-01 2021-01-05 Htc Corporation Head-mounted display and imaging apparatus for displaying image thereof
US11240488B2 (en) 2019-09-24 2022-02-01 Facebook Technologies, Llc Volumetric display including liquid crystal-based lenses

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013192A (zh) * 2006-02-03 2007-08-08 松下电器产业株式会社 变焦透镜系统、透镜镜筒、成像装置以及拍摄设备
US9106902B2 (en) * 2011-03-25 2015-08-11 Lg Electronics Inc. Depth information detection apparatus and apparatus for obtaining 3-dimensional content using the same
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10681328B1 (en) * 2016-01-13 2020-06-09 Apple Inc. Dynamic focus 3D display
US20180020350A1 (en) * 2016-07-13 2018-01-18 Motorola Mobility Llc Electronic Device with Gesture Actuation of Companion Devices, and Corresponding Systems and Methods
US10120193B2 (en) * 2017-01-27 2018-11-06 Oculus Vr, Llc Geometric phase lens alignment in an augmented reality head mounted display

Also Published As

Publication number Publication date
JP2022548815A (ja) 2022-11-22
US20220159236A1 (en) 2022-05-19
US11240488B2 (en) 2022-02-01
US20210092351A1 (en) 2021-03-25
WO2021061383A1 (en) 2021-04-01
US12022054B2 (en) 2024-06-25
EP4034935A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
US11598919B2 (en) Artificial reality system having Bragg grating
JP6433914B2 (ja) 裸眼立体拡張現実ディスプレイ
CN106255904B (zh) 复合可变光衰减器
US10108014B2 (en) Waveguide display with multiple focal depths
US11175508B2 (en) Display device with varifocal optical assembly
KR20160018792A (ko) 헤드 마운티드 디바이스를 사용한 사용자 초점 제어 그래픽 사용자 인터페이스
US11574389B2 (en) Reprojection and wobulation at head-mounted display device
WO2020251758A1 (en) Optical assemblies having polarization volume gratings for projecting augmented reality content
WO2021061381A1 (en) Varifocal optical assembly providing astigmatism compensation
US20210231952A1 (en) Freeform varifocal optical assembly
US20210191133A1 (en) External recording indicators
US10935794B1 (en) Low-obliquity beam scanner with polarization-selective grating
CN117043658A (zh) 通过波导的眼睛跟踪器照明
US12022054B2 (en) Volumetric display including liquid crystal-based lenses
US11846779B2 (en) Display device with varifocal optical assembly
WO2021146065A1 (en) Accommodation adjustable and magnification corrective optical system
WO2021112839A1 (en) Snapping range for augmented reality objects
US11697068B2 (en) Mobile platform as a physical interface for interaction
Lee et al. Display Techniques for Augmented Reality and Virtual Reality
Wetzstein Augmented and virtual reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC