CN117957479A - 使用空间定位的自由形式光学部件进行失真补偿和图像清晰度增强的紧凑型成像光学器件 - Google Patents
使用空间定位的自由形式光学部件进行失真补偿和图像清晰度增强的紧凑型成像光学器件 Download PDFInfo
- Publication number
- CN117957479A CN117957479A CN202280063103.5A CN202280063103A CN117957479A CN 117957479 A CN117957479 A CN 117957479A CN 202280063103 A CN202280063103 A CN 202280063103A CN 117957479 A CN117957479 A CN 117957479A
- Authority
- CN
- China
- Prior art keywords
- optical
- spatially positioned
- hmd
- head mounted
- optical component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title description 29
- 230000003287 optical effect Effects 0.000 claims abstract description 333
- 238000013461 design Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims description 35
- 230000003190 augmentative effect Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 abstract description 15
- 238000005259 measurement Methods 0.000 description 49
- 210000001508 eye Anatomy 0.000 description 29
- 210000003128 head Anatomy 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 17
- 230000009471 action Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 210000005252 bulbus oculi Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000004075 alteration Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000004424 eye movement Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 235000012771 pancakes Nutrition 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
- G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/02—Simple or compound lenses with non-spherical faces
- G02B3/04—Simple or compound lenses with non-spherical faces with continuous faces that are rotationally symmetrical but deviate from a true sphere, e.g. so called "aspheric" lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Lenses (AREA)
- Optical Elements Other Than Lenses (AREA)
Abstract
提供了一种光学组件,以实现失真补偿和增强的图像清晰度。该光学组件可以包括光学叠置体,例如薄饼光学器件。该光学组件也可以包括至少两个光学元件。该光学组件还可以包括位于该至少两个光学元件之间的至少一个空间定位的自由形式光学部件,其中,该空间定位的自由形式光学部件提供失真补偿和增强的图像清晰度。在一些示例中,该空间定位的自由形式光学部件可以具有多个区域,该多个区域具有不同的衍射设计。在一些示例中,该空间定位的自由形式光学部件还可以利用曲率(即,可以具有曲面)来实施可以提供失真补偿的相变轮廓。
Description
技术领域
本专利申请总体上涉及诸如头戴式显示器(Head-Mounted Display,HMD)等光学系统中的光学透镜设计和配置,更具体地说,涉及使用紧凑型成像光学器件来进行失真补偿和图像清晰度增强的系统和方法,该紧凑型成像光学器件具有位于头戴式显示器(HMD)或其他光学设备中的空间定位的自由形式(free form)光学部件。
背景技术
光学透镜设计和配置是许多现代设备的一部分,例如用于移动电话和各种光学设备中的摄像头。一种依赖于光学透镜设计的这种光学设备是头戴式显示器(HMD)。在一些示例中,头戴式显示器(HMD)可以是用于视频播放、玩游戏、或运动的头戴式设备(headset)或眼镜,并且可以用于各种情境和应用,例如,用于虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)或混合现实(Mixed Reality,MR)。
理想情况下,头戴式显示器(HMD)采用体积更轻且更小的透镜设计或配置。例如,在某些头戴式显示器(HMD)中,薄饼(pancake)光学器件通常用于提供更薄的轮廓。然而,在不需要附加的专用光学部件的情况下,传统的薄饼光学器件可能无法提供有效的失真补偿和图像清晰度增强特征,而附加的专用光学部件可能往往会增加重量、尺寸、成本和低效。
发明内容
根据本公开的第一方面,提供了一种光学组件,该光学组件包括:光学叠置体,该光学叠置体包括至少两个光学元件;以及至少一个空间定位的自由形式光学部件,该至少一个空间定位的自由形式光学部件位于该至少两个光学元件之间,其中,该空间定位的自由形式光学部件提供失真补偿和增强的图像清晰度。
在一实施例中,该光学叠置体进一步包括薄饼光学器件。
在一实施例中,该空间定位的自由形式光学部件的表面被分成多个区域。
在一实施例中,该多个区域中的每个区域实施唯一的衍射设计。
在一实施例中,该多个区域中的每个区域反射相关联的光线簇。
在一实施例中,该多个区域中的每个区域以唯一的反射角反射相关联的光线簇。
在一实施例中,该多个区域中的第一区域反射红色光线簇,该多个区域中的第二区域反射黄色光线簇,该多个区域中的第三区域反射绿色光线簇,该多个区域中的第四区域反射蓝色光线簇。
在一实施例中,该空间定位的自由形式光学部件位于透射位置,以用作透射元件。
在一实施例中,该空间定位的自由形式光学部件位于反射位置,以用作反射元件。
在一实施例中,该光学组件是用于虚拟现实(VR)环境、增强现实(AR)环境或混合现实(MR)环境中的至少一者中的头戴式显示器(HMD)的一部分。
根据本公开的第二方面,提供了一种头戴式显示器(HMD),该头戴式显示器(HMD)包括:显示元件,该显示元件用于提供显示光;以及光学组件,该光学组件用于向头戴式显示器(HMD)的用户提供显示光,该光学组件包括光学叠置体和至少一个空间定位的自由形式光学部件,该光学叠置体包括至少两个光学元件,该至少一个空间定位的自由形式光学部件位于该至少两个光学元件之间,其中,该空间定位的自由形式光学部件提供失真补偿和增强的图像清晰度。
在一实施例中,该空间定位的自由形式光学部件的表面被分成多个区域,其中,该多个区域中的每个区域实施唯一的衍射设计。
在一实施例中,该多个区域中的每个区域以唯一的反射角反射相关联的光线簇。
在一实施例中,该光学组件是用于虚拟现实(VR)环境、增强现实(AR)环境或混合现实(MR)环境中的至少一者的头戴式显示器(HMD)的一部分。
在一实施例中,该空间定位的自由形式光学部件包括具有曲率的至少一个曲面。
在一实施例中,该至少一个曲面的曲率与特定的相位轮廓相关联。
在一实施例中,该空间定位的自由形式光学部件位于透射位置,以用作透射元件。
在一实施例中,该空间定位的自由形式光学部件位于反射位置,以用作反射元件。
根据本公开的第三方面,提供了一种用于在光学组件中提供失真补偿和增强的图像清晰度的方法,该方法包括:将至少一个空间定位的自由形式光学部件的表面分成多个区域,每个区域具有唯一的衍射设计;提供关于该至少空间定位的自由形式光学部件的曲率,其中,该曲率与特定的相位轮廓相关联;以及在空间上将该至少空间定位的自由形式光学部件定位在该光学组件的两个光学部件之间并且定位在用于透射光线和反射光线中的一者的位置。
在一实施例中,该光学组件是用于虚拟现实(VR)环境、增强现实(AR)环境或混合现实(MR)环境中的至少一者的头戴式显示器(HMD)的一部分。
附图说明
本公开的特征以示例的方式示出,且不限于以下附图,在附图中,相同的附图标记指代相同的元件。本领域技术人员将容易地从下文认识到,在不脱离本文所描述的原理的情况下,可以采用附图中示出的结构和方法的替代示例。
图1示出了根据示例的与头戴式显示器(HMD)相关联的系统的框图。
图2A至图2B示出了根据示例的各种头戴式显示器(HMD)。
图3示出了根据示例的包括空间定位的自由形式光学部件的光学系统的元件的示意图。
图4示出了根据示例的包括空间定位的自由形式光学部件的光学系统的元件的示意图。
图5A至图5C示出了根据示例的包括空间定位的自由形式光学部件的光学设备的各种布置和方面。
图6示出了根据示例的包括空间定位的自由形式光学部件的光学设备的示意图。
图7A至图7C示出了根据示例的简单的全息光学元件(Holographic OpticalElement,HOE)的相变轮廓(phase change profile)的方面。
图8A至图8C示出了根据示例的弯曲的全息光学元件(HOE)的相变轮廓的各方面。
图9示出了根据示例的在光学设备中实施空间定位的自由形式光学部件以用于光学设备中的失真补偿和清晰度增强的方法的流程图。
具体实施方式
出于简化和说明的目的,本申请通过主要参考本申请的示例来描述。在以下描述中,阐述了许多具体细节,以提供对本申请的透彻理解。然而,将易于显而易见的是,本申请可以在不限于这些具体细节的情况下实施。在其他情况下,没有详细描述本领域普通技术人员容易理解的一些方法和结构,以免不必要地模糊本申请。如本文所使用的,术语“一个(一者)”旨在表示特定要素中的至少一个,术语“包括”意味着包括但不限于,术语“包含”意味着包括但不限于,并且术语“基于”意味着至少部分地基于。
存在利用光学设计配置的许多类型的光学设备。头戴式显示器(HMD)是一种可以向正佩戴着头戴式设备的用户传输信息或传输来自正佩戴着该头戴式设备的用户的信息的光学设备。例如,当用户佩戴虚拟现实(VR)头戴式设备时,该虚拟现实头戴式设备可以用于呈现视觉信息,以模拟任何数量的虚拟环境。虚拟现实(VR)头戴式设备还可以接收来自用户的眼动、头部/身体移动、声音或用户提供的其他信号的信息。
在许多情况下,光学透镜设计配置寻求降低头戴式设备的尺寸、重量、成本和整体体积。然而,提供具有小形状要素的具有成本效益的设备的这些尝试往往限制了头戴式显示器(HMD)的功能。例如,虽然尝试减小传统头戴式设备中的各种光学配置的尺寸和体积是可以实现的,但是这通常可能会减少头戴式设备的其他内置特征所需的空间量,从而制约或限制头戴式设备满负荷运行的能力。
在一些方面,薄饼光学器件通常可以用于为头戴式显示器(HMD)和其他光学系统提供薄型轮廓或轻量化设计。然而,在试图提供更小的形状要素和更薄的轮廓时,传统的薄饼光学器件可能往往无法提供其他重要的特征。例如,传统的薄饼光学器件设计通常只能通过使用附加的光学部件、更高的功率消耗和/或增加的机械运动来提供失真补偿和图像清晰度增强,这可能不利地影响成本、尺寸、温度和/或其他性能问题。
在一些示例中,头戴式显示器(HMD)或其他光学系统可以包括眼动追踪单元,以追踪用户的眼球。在一些示例中,眼动追踪光学元件可以包括全息光学元件(HOE),该全息光学元件可以用于“看到”用户的眼球。
在某些情况下,在使用过程中,眼动追踪单元可能会偏离,并且呈现为“离轴”。在这些情况下,由离轴的眼动追踪光学元件产生的图像可能变得失真。
由离轴的眼动追踪光学元件生成的图像可能表现出的第一个这样的失真可以是“梯形失真(Keystone distortion)”。因此,在一些示例中,在图像可能被投射到用户眼球前方的二维正方形(或矩形)“框(box)”上的情况下,离轴的眼动追踪光学元件可能生成可能看起来不是正方形的图像。相反,正方形(或矩形)框的水平和竖直纵横比可能变得错位(即,失衡),并且渲染在水平面上的图像可能变得(相对)较小,而渲染在竖直平面上的图像可能保持不变。因此,投射到正方形(或矩形)框上的图像可能看起来是梯形的。
由离轴的眼动追踪光学元件生成的图像可能表现出的另一种这样的失真可能是“波前误差”。波前误差可以指示与如下项的偏差程度:当光线可以透射或反射通过光学部件时所看到的清晰成像的“理想”波前。在一些示例中,平面波前误差可以被计算为,当射束可能从完全平坦的平面上反射时、在理想的准直波前中看到的偏差程度。
本文描述的系统和方法可以提供空间定位的自由形式光学部件,该空间定位的自由形式光学部件可以使用紧凑型成像光学器件来提供失真补偿和图像清晰度增强。在一些示例中,空间定位的自由形式光学部件可以包括自由形式相位板、衍射元件和/或全息光学元件(HOE)中的一者或多者。
在一些示例中,可以在头戴式显示器(HMD)或其他光学系统的光学组件中提供如所描述的空间定位的自由形式光学部件。此外,如本文所述,例如,可以相对于薄饼光学器件中的各光学部件来提供空间定位的自由形式光学部件,从而可以不需要显著或大幅地增加空间。
在一些示例中,如所描述的空间定位的自由形式光学部件可以是“自由形式”,因为它可以采取多种物理形状和/或形式。因此,在一些实例中,如下面进一步论述的,空间定位的自由形式光学部件可以在形状上是弯曲的,而在其他示例中,空间定位的自由形式光学部件的多个部件中的一个或多个部件在形状上可以是线性的。
因此,如所描述的空间定位的自由形式光学部件可以被用来调整失衡的竖直和水平纵横比(例如,由离轴的眼动追踪单元引起的),并且可以能够抵制失真(例如,梯形失真)。在一些示例中,空间定位的自由形式光学部件可以利用曲率来实现相位轮廓中的相变。结果,如所描述的空间定位的自由形式光学部件的元件(例如,全息光学元件(HOE))可以使得能够生成更清晰、更锐利的图像,这在某些情况下可以使得光学摄像头能够更有效地追踪眼球。
在一些示例中,空间定位的自由形式光学部件可以是“空间定位的”,因为它可以特别地位于光学系统(例如,头戴式显示器)内。如下文进一步论述的,空间定位的自由形式光学部件可以位于光学系统内的多个位置中的一个或多个位置中,以实现特定的成像特性或满足特定的成像要求。在一些示例中,空间定位的自由形式光学部件可以能够实现反射性能和透射性能两者。也就是说,在一些示例中,空间定位的自由形式光学部件(例如,全息光学元件(HOE))可以设置在第一位置处,该第一位置可以使得空间定位的自由形式光学部件能够反射光线(例如,朝向适眼框(eye box))。在其他示例中,空间定位的自由形式光学部件可以实施在第二位置处,该第二位置可以使得空间定位的自由形式光学部件能够透射光线。
在一些示例中,如所描述的空间定位的自由形式光学部件可以能够实现多个视图(即,“多视图”),多个视图可以使得摄像头能够从多个不同的方向追踪对象(例如,观看用户的眼球)。更具体地,在一些示例中,空间定位的自由形式光学部件可以被分成具有专用和特定的衍射设计的多个部分(即,区域)。在一些示例中,具有专用和特定的衍射设计的这些多个区域中的每个区域可以将入射的光线朝向光学摄像头的特定区域衍射,这可以通过从多个不同方向追踪观看用户的眼球来使光学摄像头能够像多个摄像头一样运行。
与所描述的空间定位的自由形式光学部件相关联的另一个优点可以是像差补偿。具体地,所描述的空间定位的自由形式光学部件可以抵制光学系统中固有的各种像差,这些像差可能会降低光学系统所产生的图像的质量。这种像差的一个示例可以是球面像差,其中,可能照在偏离中心的球面表面上的光线可能比照在中心附近的光线被更多或更少地折射或反射。
如下文更详细论述的,在一些示例中,可以通过优化如所描述的空间定位的自由形式光学部件的物理方面(例如,曲率)和相位轮廓来实现空间定位的自由形式光学部件的最佳性能。事实上,在一些示例中,空间定位的自由形式光学部件可以用于使相关联的光学系统能够实现比典型的光学系统的分辨率(例如,<4.5μm至5.0μm像素大小)更高的分辨率(例如,<2.0μm像素大小)。
因此,通过提供在尺寸、厚度等方面可定制的空间定位的自由形式光学部件,这里描述的系统和方法可以提供灵活且低成本的方式来提高视觉敏锐度,而不增加光学组件的大小、厚度、成本或整体体积。本文将更详细地描述这些示例和其他示例。
应当理解的是,在一些实例中,空间定位的自由形式光学部件也可以充当或用作光学叠置体内的任何数量的光学部件。例如,对于弯曲的光学部件或薄饼光学器件中的窗口,如所述的空间定位的自由形式光学部件可以呈现为“弯曲”的形状,并且还可以放置在这些非平坦的组件内和/或这些非平坦的组件之间。以这种方式,使用一个或多个空间定位的自由形式光学部件可以最小化对附加光学器件或薄饼光学器件中当前存在的光学部件的需求。
还应当理解的是,本文描述的系统和方法可以特别适合于虚拟现实(VR)环境、增强现实(AR)环境和/或混合现实(MR)环境,但是也可以适用于包括使用薄饼光学器件或其他类似的光学配置的光学透镜组件的许多其他系统或环境。例如,这些可以包括摄像头或传感器、网络、通讯、全息术或其他光学系统。因此,可以在这些示例或其他示例中的任何一个示例中使用本文描述的光学配置。在本文提供的描述中,这些和其他益处将是显而易见的。
系统概述
参考图1和图2A至图2B。图1示出了根据示例的与头戴式显示器(HMD)相关联的系统100的框图。系统100可以用作虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统或它们的某种组合,或者一些其他相关的系统。应当理解的是,系统100和头戴式显示器(HMD)105可以是示例性说明。因此,系统100和/或头戴式显示器(HMD)105可以包括或不包括附加特征,并且在不脱离本文概述的系统100和/或头戴式显示器(HMD)105的范围的情况下,可以移除和/或修改本文描述的多个特征中的一些特征。
在一些示例中,系统100可以包括头戴式显示器(HMD)105、成像设备110和输入/输出(Input/Output,I/O)接口115,它们中的每者都可以通信地耦合到控制台120或其他类似设备。
虽然图1示出了单个头戴式显示器(HMD)105、单个成像设备110和I/O接口115,但是应当理解的是,系统100中可以包括任何数量的这些部件。例如,可以有多个头戴式显示器(HMD)105,每个头戴式显示器具有相关联的输入接口115并且由一个或多个成像设备110监测,其中,每个头戴式显示器(HMD)105、I/O接口115和成像设备110与控制台120通信。在替代配置中,系统100中还可以包括不同的部件和/或附加的部件。如本文所述,头戴式显示器(HMD)105可以作为虚拟现实(VR)头戴式显示器(HMD)、增强现实(AR)头戴式显示器(HMD)和/或混合现实(MR)头戴式显示器(HMD)。例如,混合现实(MR)头戴式显示器(HMD)和/或增强现实(AR)头戴式显示器(HMD)可以用计算机生成的要素(例如,图像、视频、声音等)来增强物理的、真实世界环境的视图。
头戴式显示器(HMD)105可以向正佩戴着头戴式设备的用户传输信息,或传输来自正佩戴着该头戴式设备的用户的信息。在一些示例中,头戴式显示器(HMD)105可以向用户提供内容,该内容可以包括但不限于图像、视频、音频或它们的某种组合。在一些示例中,音频内容可以经由头戴式显示器(HMD)105外部的单独的设备(例如,扬声器和/或头戴式耳机)来呈现,该单独的设备接收来自头戴式显示器(HMD)105、控制台120、或头戴式显示器和控制台这二者的音频信息。在一些示例中,头戴式显示器(HMD)105还可以接收来自用户的信息。这个信息可以包括眼动(eye moment)、头部/身体运动、语音(例如,使用集成式的或单独的传声器设备)或用户提供的其他内容。
头戴式显示器(HMD)105可以包括任何数量的部件,所述部件例如为电子显示器155、眼动追踪单元160、光学模块(optics block)165、一个或多个定位器170、惯性测量单元(Inertial Measurement Unit,IMU)175、一个或多个头部/身体追踪传感器180、场景渲染单元185以及辐辏(vergence)处理单元190。
虽然图1中描述的头戴式显示器(HMD)105通常在VR情境中作为VR系统环境的一部分,但是头戴式显示器(HMD)105也可以是其他HMD系统(例如,AR系统环境)的一部分。在描述AR系统或MR系统环境的示例中,头戴式显示器(HMD)105可以用计算机生成的要素(例如,图像、视频、声音等)来增强物理的、真实世界环境的视图。
下面结合图2来进一步描述头戴式显示器(HMD)105的示例。头戴式显示器(HMD)105可以包括一个或多个刚性本体,该一个或多个刚性本体可以彼此刚性地或非刚性地耦接在一起。多个刚性本体之间的刚性耦接使得耦接后的刚性本体作为单个刚性实体。相比之下,多个刚性本体之间的非刚性耦接允许多个刚性本体相对于彼此移动。
电子显示器155可以包括向用户呈现视觉数据的显示设备。例如,这个视觉数据可以从控制台120发送。在一些示例中,电子显示器155还可以呈现用于追踪用户的眼动的追踪光。应当理解的是,电子显示器155可以包括任何数量的电子显示元件(例如,每个用户使用一个显示器)。可以在电子显示器155中使用的显示设备的示例可以包括但不限于,液晶显示器(Liquid Crystal Display,LCD)、发光二极管(Light Emitting Diode,LED)、有机发光二极管(Organic Light Emitting Diode,OLED)显示器、有源矩阵有机发光二极管(Active-Matrix Organic Light-Emitting Diode,AMOLED)显示器、微型发光二极管(Micro-LED)显示器、某种其他显示器或它们的某种组合。
光学模块165可以基于或响应于接收到的来自控制台120或其他部件的指令来调节其焦距。在一些示例中,光学模块165可以包括一个或多个多焦点模块,以调节光学模块165的焦距(调节光焦度)。
眼动追踪单元160可以追踪头戴式显示器(HMD)105的用户的眼睛位置和眼动。头戴式显示器(HMD)105内部的摄像头或其他光学传感器可以采集用户眼睛的图像信息,眼动追踪单元160可以使用采集的信息来确定瞳距、眼距(interocular distance)、每只眼睛相对于头戴式显示器(HMD)105的三维(three-dimensional,3D)位置(例如,出于失真调节目的),包括每只眼睛的扭转和转动(即,翻滚、俯仰和偏转)的大小和凝视方向。用户眼睛的位置和取向的信息可以用于确定由头戴式显示器(HMD)105呈现的虚拟场景中用户正在观看的凝视点。
辐辏处理单元190可以确定用户凝视的辐辏深度。在一些示例中,这可以是基于由眼动追踪单元160确定的凝视点或凝视线的估计交点。辐辏是指双眼同时沿相反方向移动或转动,以保持单个双眼视觉,这是由人眼自然地和/或自动执行的。因此,用户眼睛趋近的位置可以指用户正在观看的位置,并且通常也可以是用户眼睛聚焦的位置。例如,辐辏处理单元190可以对凝视线进行三角测量,以估计距用户的、与凝视线的交叉点相关联的距离或深度。然后,与凝视线的交叉点相关联的深度可以用作调节距离的近似值,该调节距离识别距用户的、用户双眼指向的距离。因此,辐辏距离允许确定用户双眼将会聚焦的位置。
一个或多个定位器170可以是相对于彼此且相对于头戴式显示器(HMD)105上的特定参考点位于头戴式显示器(HMD)105上的特定位置的一个或多个对象。在一些示例中,定位器170可以是发光二极管(LED)、角立方反射器、反射型标记和/或与头戴式显示器(HMD)105运行的环境形成对比的一类光源或它们的某种组合。有源定位器170(例如,LED或其他类型的发光设备)可以发射可见波段(在380nm至850nm)的光、红外(infrared,IR)波段(在850nm至1mm)的光、紫外波段(10nm至380nm)的光、电磁光谱的一些其他部分的光或它们的某种组合。
一个或多个定位器170可以位于头戴式显示器(HMD)105的外表面的下方,该外表面对于由定位器170发射或反射的波长的光可以是透明的,或者该外表面可以足够薄以基本上不会使由定位器170发射或反射的光的波长衰减。此外,头戴式显示器(HMD)105的外表面或其他部分在可见波段的波长的光下可能是不透明的。因此,当一个或多个定位器170位于头戴式显示器(HMD)105的外表面的下方时,该一个或多个定位器可以发射IR波段的光,该头戴式显示器在IR波段可以是透明的,但是在可见波段是不透明的。
惯性测量单元(IMU)175可以是这样一种电子设备:该电子设备基于或响应于接收到的来自多个头部/身体追踪传感器180中的一个或多个头部/身体追踪传感器的测量信号生成快速校准数据等,该一个或多个头部/身体追踪传感器可以响应于头戴式显示器(HMD)105的运动生成一个或多个测量信号。头部/身体追踪传感器180的示例可以包括但不限于,加速度计、陀螺仪、磁力计、摄像头、适合于检测运动、校正与惯性测量单元(IMU)175相关联的误差的其他传感器或它们的某种组合。头部/身体追踪传感器180可以位于惯性测量单元(IMU)175的外部、惯性测量单元(IMU)175的内部或它们的某种组合。
基于或响应于来自头部/身体追踪传感器180的测量信号,惯性测量单元(IMU)175可以生成快速校准数据,该快速校准数据指示头戴式显示器(HMD)105相对于头戴式显示器(HMD)105的初始位置的估计位置。例如,头部/身体追踪传感器180可以包括测量平移运动(前/后、上/下、左/右)的多个加速度计和测量旋转运动(例如,俯仰、偏转和翻滚)的多个陀螺仪。例如,惯性测量单元(IMU)175然后可以快速采样测量信号,和/或从采样的数据计算头戴式显示器(HMD)105的估计位置。例如,惯性测量单元(IMU)175可以随时间对接收到的来自加速度计的测量信号进行积分来估计速度向量,并且随时间对速度向量进行积分来确定头戴式显示器(HMD)105上的参考点的估计位置。应当理解的是,参考点可以是可以用于描述头戴式显示器(HMD)105的位置的点。虽然通常可以将参考点限定为空间中的点,但是在各种示例或场景中,如本文使用的参考点可以被限定为头戴式显示器(HMD)105内的点(例如,惯性测量单元(IMU)175的中心)。替代地或附加地,惯性测量单元(IMU)175可以将采样的测量信号提供给控制台120,该控制台可以确定快速校准数据或其他类似的或相关的数据。
惯性测量单元(IMU)175可以附加地接收来自控制台120的一个或多个校准参数。如本文所述,该一个或多个校准参数可以用于保持对头戴式显示器(HMD)105的追踪。基于所接收的校准参数,惯性测量单元(IMU)175可以调节多个IMU参数中的一个或多个IMU参数(例如,采样率(sample rate))。在一些示例中,某些校准参数可以使得惯性测量单元(IMU)175更新参考点的初始位置,以对应于参考点的下一个校准位置。将参考点的初始位置更新为参考点的下一个校准位置可以有助于减少与确定估计位置相关联的累积误差。累积误差(也称为漂移误差)可以使得参考点的估计位置随时间而“漂移”远离参考点的实际位置。
场景渲染单元185可以接收来自VR引擎145的用于虚拟场景的内容,并且可以提供用于在电子显示器155上显示的内容。附加地或替代地,场景渲染单元185可以基于来自惯性测量单元(IMU)175、辐辏处理单元830和/或头部/身体追踪传感器180的信息来对该内容进行调节。场景渲染单元185可以至少部分地基于追踪单元140、头部/身体追踪传感器180和/或惯性测量单元(IMU)175中的一者或多者来确定待在电子显示器155上显示的内容的一部分。
成像设备110可以根据接收到的来自控制台120的校准参数来生成慢速校准数据。慢速校准数据可以包括示出了定位器125的观察位置的一幅或多幅图像,该观察位置能够由成像设备110检测。成像设备110可以包括一个或多个摄像头、一个或多个摄影机、能够采集包括一个或多个定位器170的图像的其他设备或它们的某种组合。此外,成像设备110可以包括一个或多个过滤器(例如,用于提高信噪比)。成像设备110可以被配置为检测从成像设备110的视场中的一个或多个定位器170发射或反射的光。在定位器170包括一个或多个无源元件(例如,回射器)的示例中,成像设备110可以包括照射多个定位器170中的一些定位器或全部定位器的光源,这些定位器可以将光朝向成像设备110中的光源回射。慢速校准数据可以从成像设备110被传输到控制台120,并且成像设备110可以接收来自控制台120的一个或多个校准参数,以调整一个或多个成像参数(例如,焦距、焦点、帧率、ISO、传感器温度、快门速度、光圈等)。
I/O接口115可以是允许用户向控制台120发送动作请求的设备。动作请求可以是执行特定动作的请求。例如,动作请求可以是启动应用或结束应用或在应用内执行特定动作。I/O接口115可以包括一个或多个输入设备。示例输入设备可以包括键盘、鼠标、手持式控制器、手套控制器(glove controller)和/或用于接收动作请求并且将接收到的动作请求传输到控制台120的任何其他合适的设备。由I/O接口115接收的动作请求可以被传输到控制台120,该控制台可以执行与动作请求相对应的动作。在一些示例中,I/O接口115可以根据接收到的来自控制台120的指令,向用户提供触觉反馈。例如,当动作请求被接收时,可以由I/O接口115提供触觉反馈;或者控制台120可以将指令传输到I/O接口115,使得I/O接口115在控制台120执行动作时生成触觉反馈。
控制台120可以根据接收到的来自成像设备110、头戴式显示器(HMD)105或I/O接口115的信息,将内容提供给头戴式显示器(HMD)105,以供呈现给用户。控制台120包括应用存储库150、追踪单元140和VR引擎145。控制台120的一些示例具有与结合图1描述的单元不同的单元或附加的单元。类似的,下文进一步描述的功能可以以与本文描述的方式不同的方式分布在控制台120的各部件之中。
应用存储库150可以存储用于供控制台120执行的一个或多个应用以及其他各种应用相关的数据。如本文使用的应用可以指一组指令,这组指令在被处理器执行时,生成用于呈现给用户的内容。由应用生成的内容可以响应于经由头戴式显示器(HMD)105或I/O接口115的移动而接收到的来自用户的输入。应用的示例可以包括游戏应用、会议应用、视频播放应用或其他应用。
追踪单元140可以对系统100进行校准。这个校准可以通过使用一个或多个校准参数来实现,并且可以调节一个或多个校准参数,以减小在确定头戴式显示器(HMD)105的位置时的误差。例如,追踪单元140可以调节成像设备110的焦点,以获得观察到的定位器170在头戴式显示器(HMD)105上的更准确的位置。此外,由追踪单元140执行的校准也可以考虑接收到的来自惯性测量单元(IMU)175的信息。此外,如果失去了对头戴式显示器(HMD)105的追踪(例如,成像设备110失去了至少阈值数量的定位器170的视线),则追踪单元140可以对系统100的一些部件或全部部件进行重新校准。
此外,追踪单元140可以使用来自成像设备110的慢速校准信息来追踪头戴式显示器(HMD)105的移动,并且可以使用来自慢速校准信息的所观察的定位器和头戴式显示器(HMD)105的模型,来确定头戴式显示器(HMD)105上的参考点的位置。追踪单元140还可以使用来自头戴式显示器(HMD)105上的惯性测量单元(IMU)175的快速校准信息的位置信息,来确定头戴式显示器(HMD)105上的参考点的位置。此外,眼动追踪单元160可以使用快速校准信息的一部分、慢速校准信息的一部分或它们的某种组合,来预测可以提供给VR引擎145的头戴式显示器(HMD)105的未来位置。
VR引擎145可以在系统100内执行应用,并且可以接收来自追踪单元140或其他部件的、对于头戴式显示器(HMD)105的位置信息、加速度信息、速度信息、预测的未来位置、其他信息或它们的某种组合。VR引擎145基于接收到的信息或响应于接收到的信息,可以确定待提供给头戴式显示器(HMD)105以供呈现给用户的内容。这个内容可以包括但不限于虚拟场景、待覆盖到真实世界场景上的一个或多个虚拟对象等。
在一些示例中,VR引擎145可以保持光学模块165的聚焦能力信息。如本文使用的聚焦能力信息可以指描述什么焦距可用于光学模块165的信息。聚焦能力信息可以包括例如光学模块165能够适应的焦点范围(例如,0至4屈光度)、聚焦分辨率(例如,0.25屈光度)、多个焦平面、对于映射到特定焦平面的可切换半波片(Switchable Half Wave Plate,SHWP)(例如,有源的或无源的)的设置的组合、对于映射到特定焦平面的SHWP和有源液晶透镜的设置的组合或它们的某种组合。
VR引擎145可以为光学模块165生成指令。这些指令可以使光学模块165将其焦距调节到特定位置。VR引擎145可以基于聚焦能力信息(focal capability information)以及例如来自辐辏处理单元190、惯性测量单元(IMU)175和/或头部/身体追踪传感器180的信息来生成指令。VR引擎145可以使用来自辐辏处理单元190、惯性测量单元(IMU)175以及头部/身体追踪传感器180、其他源或它们的某种组合的信息,来选择向用户呈现内容的理想焦平面。VR引擎145然后可以使用聚焦能力信息,来选择最接近理想焦平面的焦平面。VR引擎145可以使用聚焦信息,来确定对于与所选择的焦平面相关联的光学模块176内的一个或多个SHWP、一个或多个有源液晶透镜或它们的某种组合的设置。VR引擎145可以基于所确定的设置来生成指令,并且可以将指令提供给光学模块165。
VR引擎145可以响应于接收到的来自I/O接口115的动作请求,在控制台120上执行的应用内执行任意数量的动作,并且可以向用户提供动作已被执行的反馈。所提供的反馈可以是经由头戴式显示器(HMD)105的视觉反馈或听觉反馈、或经由I/O接口115的触觉反馈。
图2A至图2B示出了根据示例的各种头戴式显示器(HMD)。图2A示出了根据示例的头戴式显示器(HMD)105。头戴式显示器(HMD)105可以包括前部刚性本体205和带210。如本文所述,前部刚性本体205可以包括电子显示器(未示出)、惯性测量单元(IMU)175、一个或多个位置传感器(例如,头部/身体追踪传感器180)以及一个或多个定位器170。在一些示例中,可以通过使用惯性测量单元(IMU)175、位置传感器(例如,头部/身体追踪传感器180)和/或一个或多个定位器170来检测用户移动,并且可以基于检测到的用户移动或响应于检测到的用户移动,通过电子显示器向用户呈现图像。在一些示例中,头戴式显示器(HMD)105可以用于呈现虚拟现实环境、增强现实环境或混合现实环境。
至少一个位置传感器(例如,关于图1描述的头部/身体追踪传感器180)可以响应于头戴式显示器(HMD)105的运动,生成一个或多个测量信号。位置传感器的示例可以包括:一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的其他合适类型的传感器、用于惯性测量单元(IMU)175的误差校正的一类传感器或它们的某种组合。位置传感器可以位于惯性测量单元(IMU)175的外部、惯性测量单元(IMU)175的内部或它们的某种组合。在图2A中,位置传感器可以位于惯性测量单元(IMU)175内,并且惯性测量单元(IMU)175和位置传感器(例如,头部/身体追踪传感器180)对用户来说可以是可见的或者可能不一定是可见的。
基于来自一个或多个位置传感器的一个或多个测量信号,惯性测量单元(IMU)175可以生成校准数据,该校准数据指示头戴式显示器(HMD)相对于头戴式显示器(HMD)105的初始位置的估计位置。在一些示例中,惯性测量单元(IMU)175可以快速地对测量信号进行采样,并且根据采样的数据来计算HMD 105的估计位置。例如,惯性测量单元(IMU)175可以随时间对接收到的来自一个或多个加速度计(或其他位置传感器)的测量信号进行积分来估计速度向量,并且随时间对速度向量进行积分,以确定头戴式显示器(HMD)105上的参考点的估计位置。替代地或附加地,惯性测量单元(IMU)175可以将采样的测量信号提供给控制台(例如,计算机),该控制台可以确定校准数据。参考点可以是可以用于描述头戴式显示器(HMD)105的位置的点。虽然通常可以将参考点限定为空间中的点,但是在实践中,参考点可以被限定为头戴式显示器(HMD)105内的点(例如,惯性测量单元(IMU)175的中心)。
在图2的示例中,一个或多个定位器170或定位器170的一部分可以位于前部刚性本体205的前侧220A、顶侧220B、底侧220C、右侧220D和左侧220E上。一个或多个定位器170可以相对于彼此且相对于参考点215位于固定位置。在图2中,例如,参考点215可以位于惯性测量单元(IMU)175的中心处。一个或多个定位器170中的每个定位器可以发射可以由成像设备(例如,摄像头或图像传感器)检测到的光。
图2B示出了根据另一示例的头戴式显示器(HMD)。如图2B所示,头戴式显示器(HMD)105可以采用可穿戴的形式,例如眼镜。图2B的头戴式显示器(HMD)105可以是图1的头戴式显示器(HMD)105的另一示例。头戴式显示器(HMD)105可以是人工现实(AR)系统的一部分,或者可以作为被配置为实施本文描述的技术的独立的、移动的人工现实系统来操作。
在一些示例中,头戴式显示器(HMD)105可以是包括前框架的眼镜,该前框架包括桥接件和镜腿(或“臂”),该桥接件允许头戴式显示器(HMD)105倚靠在用户的鼻子上,该镜腿(或“臂”)延伸超过用户的耳朵以将头戴式显示器(HMD)105固定到用户。此外,图2B的头戴式显示器(HMD)105可以包括被配置为向用户呈现人工现实内容的一个或多个面向内部的电子显示器203A和203B(统称为“电子显示器203”),以及被配置为管理由面向内部的电子显示器203输出的光的一个或多个变焦光学系统205A和205B(统称为“变焦光学系统205”)。在一些示例中,当例如根据头戴式显示器(HMD)105和用户的当前视角追踪用于呈现人工现实(AR)内容的头戴式显示器(HMD)105的位置和取向时,显示器203相对于头戴式显示器(HMD)105的前框架的已知取向和位置可以用作参照系,该参照系也被称为局部原点。
如图2B进一步所示,头戴式显示器(HMD)105还可以包括一个或多个运动传感器206、一个或多个集成式图像采集设备138A和138B(统称为“图像采集设备138”)、内部控制单元210,该内部控制单元该可以包括内部电源和具有一个或多个处理器、存储器和硬件的一个或多个印刷电路板,以提供用于执行可编程操作来处理感测数据并在显示器203上呈现人工现实内容的操作环境。这些部件可以是本地的或远程的或它们的组合。
尽管在图1中被描绘为单独的部件,但是应当理解的是,头戴式显示器(HMD)105、成像设备110、I/O接口115和控制台120可以集成到单个设备或可穿戴头戴式设备中。例如,这个单个设备或可穿戴头戴式设备(例如,图2A至图2B的头戴式显示器(HMD)105)可以在单个独立头戴式设备内包括图1的系统100的所有性能能力。此外,在一些示例中,追踪可以使用“由内而外”的方法而不是“由外而内”的方法来实现。在“由内而外”的方法中,可能不需要或不向系统100提供外部的成像设备110或定位器170。此外,尽管头戴式显示器(HMD)105被描绘为并且被描述为“头戴式设备”,但是应当理解的是,头戴式显示器(HMD)105也可以被设置作为眼镜或其他可穿戴设备(在头部或其他身体部位上),如图2A所示。根据用途或应用,还可以提供其他各种示例。
图3示出了包括空间定位的自由形式光学部件的光学系统的元件的示意图。在一些示例中,光学系统300可以是头戴式显示器(HMD)。此外,在一些示例中,光学系统300可以包括光学摄像头301和空间定位的自由形式光学部件302。在一些示例中,空间定位的自由形式光学部件302可以是全息光学元件(HOE)。在一些示例中,空间定位的自由形式光学部件302可以包括任意数量的自由形式光学部件。在一些示例中,自由形式光学部件302可以被包括在光学摄像头301中。
在一些示例中,光学摄像头301可以投射光线(如所示出的),以从空间定位的自由形式光学部件302反射出来。此外,在一些示例中,光学摄像头301可以利用反射的光线来追踪(即,“看见”)运动,包括观看用户的眼球(未示出)和眉毛305的移动。如所示的,在一些示例中,光学摄像头301可以追踪特定长度303(例如,29.4毫米(mm))上和特定宽度304(例如,41.5毫米(mm))上的移动。
图4示出了包括空间定位的自由形式光学部件的光学系统的元件的示意图。类似于图3中所示的示例,光学系统400可以包括光学摄像头401和空间定位的自由形式光学部件402。在一些示例中,空间定位的自由形式光学部件402可以是全息光学元件(HOE)。因此,在一些示例中,光学摄像头402可以朝向空间定位的自由形式光学部件401发射光线(optical ray),以朝向观看眼球平面(或“适眼区”)403反射,从而生成反射图像404。在一些示例中,反射图像404可以用于追踪观看用户的眼球403等。此外,在一些示例中,空间定位的自由形式光学部件401可以独立于光学摄像头402,而在其他示例中,空间定位的自由形式光学部件401可以被包括为光学摄像头402的一部分。在一些示例中,除了特定的宽度和高度之外,空间定位的自由形式光学部件401还可以具有最小厚度,该最小厚度可以使空间定位的自由形式光学部件401位于光学组件中。
空间定位的自由形式光学部件的多个视图(多视图)配置
通常,光学摄像头可以将光线传输到光学元件(例如,全息光学元件(HOE))上,其中,与所传输的光线相关联的各种颜色(例如,红色、绿色、黄色和蓝色)可以一起被传输(即,合并)。因此,在这些情况下,利用合并的光线的光学摄像头可以仅从一个(合并的)方向追踪观看用户的眼球,并且可能仅能够提供观看用户的眼球的一个“视图”。
然而,在一些示例中,如所描述的空间定位的自由形式光学部件可以提供多个视图(即,“多视图”),该多个视图可以使摄像头能够从多个不同的方向追踪人类用户的眼球。图5A至图5C示出了包括空间定位的自由形式光学部件的光学设备(例如,头戴式显示器)的各种布置和方面。
在一些示例中,如图5A所示,光学系统位可以包括光学摄像头502。在一些情况下,光学摄像头502可以朝向空间定位的自由形式光学部件501发射光线。在这些情况下,光线可以被从空间定位的自由形式光学部件501朝向像光瞳平面503那样的观看平面反射,其中,可以(例如,通过计算机软件)分析反射的射线以追踪用户的眼球。在一些示例中,空间定位的自由形式光学部件501可以是全息光学元件(HOE)。
在一些示例中,为了提供可以使摄像头能够从多个不同的方向追踪对象(例如,观看用户的眼球)的多个视图(即,“多视图”),空间定位的自由形式光学部件501可以被分成多个部分(即,区域)。具体地,空间定位的自由形式光学部件501的表面可以被分成具有专用和特定的衍射设计的多个区域。在一个示例中,多个区域中的专用和特定的衍射设计中的每者可以是唯一的。
在一些实例中,与专用和特定的衍射设计相关联的这些多个区域中的每个区域可以以特定的“观看”角度来衍射入射的光线。如本文所使用的,“视角(viewing angle)”或“反射角度”可以包括入射的光线可能从空间定位的自由形式光学部件的表面反射的任何角度,如所描述的。因此,在一些示例中,具有专用和/或唯一的衍射设计的多个区域中的每个区域可以使得多个“聚集的”光线中的一个光线能够以特定的视角从眼球平面反射(回)并朝向光学摄像头502,以例如在相关联的传感器的特定区段处进行采集。此外,在一些示例中,多个光线簇中的每个光线簇可以由光学摄像头502使用相关联的传感器的对应区段来采集,并且可以被分析(例如,经由计算机软件)。以这种方式,光学摄像头502可以通过从多个不同的方向追踪观看用户的眼球来像多个摄像头一样运行。此外,在一些情况下,这还可以(例如,经由计算机软件)更准确地确定观看用户的眼球的凝视角度。
图5B中示出了包括具有特定和/或唯一的衍射设计的多个区域的空间定位的自由形式光学部件504的表面的示例。在一些示例中,空间定位的自由形式光学部件504可以是全息光学元件(HOE)。因此,在一些示例中,空间定位的自由形式光学部件504可以包括具有专用和特定的衍射设计的多个区域504a至504d。在一些示例中,第一区域504a可以被设计为衍射红色光线(即,红色簇),第二区504b可以被设计为衍射黄色光线(即,黄色簇),第三区域504c可以被设计为衍射绿色光线(即,绿色簇),第四区域504d可以被设计为衍射蓝色光线(即,蓝色簇)。
在一些示例中,如图5C中示出的示例所示,光学系统510可以包括光学摄像头511和空间定位的自由形式光学部件512,其中,空间定位的自由形式光学部件512可以包括具有专用和特定的衍射设计的多个区域(例如,类似于多个区域504a至504d),这些区域可以以不同的(即,唯一的)特定视角衍射红色簇、黄色簇、绿色簇和蓝色簇。在一些示例中,光学摄像头511可以接收来自空间定位的自由形式光学部件512上的多个区域中的每个区域的红色簇、黄色簇、绿色簇和蓝色簇中的每者。在这些示例中,可以(例如,经由计算机软件)分析接收到的光线,以从多个方向(即,“多视图”)追踪对象(例如,眼球)。在一些示例中,还可以利用如所描述的空间定位的自由形式光学部件的这些多视图特征来减轻睫毛遮挡。
用于空间定位的自由形式光学部件的镜后测光(Through-the-lens,TTL)配置
在一些示例中,如上所述,空间定位的自由形式光学部件可以被实施为反射元件。例如,如上所述,在图4和图5A至图5C所示的示例中,空间定位的自由形式光学部件(例如,全息光学元件(HOE))可以反射来自光学摄像头的光线,以追踪观看用户的眼球。然而,如下面进一步描述的,在各种示例中,“空间定位的”自由形式光学部件可以在光学设备中相对于其他组件位于多个位置和/或各种位置中的任何一个位置,以实现特定的光学特性。
图6示出了包括空间定位的自由形式光学部件的光学设备的示意图。在一些示例中,光学系统600可以包括光学摄像头601、空间定位的自由形式光学部件602、第一观看光学元件604和第二观看光学元件605。在一些示例中,光学摄像头601可以朝向空间定位的自由形式光学部件602发射光线。此外,在一些示例中,空间定位的自由形式光学部件602可以是全息光学元件(HOE)。
因此,在一些示例中,空间定位的自由形式光学部件601可以位于第一位置602a(即,透射位置),其中,空间定位的自由形式光学部件602可以用作透射元件。具体地,当空间定位的自由形式光学部件602位于第一位置602a时,可以使得所传输的光线能够穿过并朝向观看平面603行进。因此,在一些示例中,空间定位的自由形式光学部件602可以在增强现实(AR)情境中用于例如修改或增强观看的图像。
此外,在一些示例中,空间定位的自由形式光学部件602可以位于第二位置602b(即,反射位置),其中,空间定位的自由形式光学部件602可以用作反射元件。在一些示例中,当空间定位的自由形式光学部件602位于第二位置602b时,可以使得所传输的光线能够经由观看平面603追踪眼球。因此,在一些示例中,空间定位的自由形式光学部件602可以在虚拟现实(VR)情境中用于例如追踪观看用户的眼球。在实施多视图配置的示例中,当光学部件602位于第一位置602a和第二位置602b时,可以被分成多个区段,这些区段可以收集处于多视角的光线簇,使得处于某个视角的每个光线簇可以到达光学摄像头601的传感器上的相应部分。此外,在一些示例中,可以利用计算机程序来分别处理与处于多视角的每个光线簇相关联的数据。
应当理解的是,尽管这里所描述的示例将第一位置602a和第二位置602b用于自由形式光学部件602,但是也可以使用用于自由形式光学部件的其他位置。此外,应当理解的是,如可以(例如,经由计算机软件)确定的那样,也可以将这些位置从第一位置(例如,第一位置602a)调整到第二位置(例如,第二位置602b)。
应当理解的是,空间定位的自由形式光学部件602可以在光学设备中的与其他部件相关的各种位置中的任何位置实现上面论述的多视图能力,这些位置包括第一位置602a和第二位置602b。也就是说,在一些示例中,空间定位的自由形式光学部件602可以被分成具有专用和特定的衍射设计的多个区域,并且可以实现从多个方向追踪对象(例如,眼球)。
空间定位的自由形式光学部件的自由形式方面
在一些示例中,如上所述,空间定位的自由形式光学部件可以是“自由形式”,因为其可以采取各种物理形式(即,形状)。例如,如上所述,在一些示例中,空间定位的自由形式光学部件可以是可以具有线性(即,笔直)表面的全息光学元件(HOE)。在其他示例中,空间定位的自由形式光学部件可以是可以具有曲面的全息光学元件(HOE)。
在一些示例中,空间定位的自由形式光学部件的形式(例如,曲率)与特定的相位轮廓相关联。也就是说,在一些示例中,空间定位的自由形式光学部件(例如,全息光学元件(HOE))可以根据特定的相位轮廓来反射光线。
在一些示例中,空间定位的自由形式光学部件(例如,全息光学元件(HOE))可以实现可以提供逐渐相变的相位轮廓。在某些情况下,逐渐的相变可以是线性相变。图7A至图7C示出了简单的全息光学元件(HOE)的相变轮廓的方面。如图7A和图7B所示,线性相变可以通过相变轮廓上的线性梯度来体现。
然而,应当理解的是,在一些示例中,线性相变轮廓可以使得光学元件(例如,全息光学元件(HOE))传递失真的图像。具体地,如图7C所示,当可以投射具有矩形的图像701时,图像的失真版本702可能看起来具有梯形形状。因此,逐渐相变或线性相变的实施可以引起梯形失真(如上所述)。
另一方面,在一些示例中,如本文描述的空间定位的自由形式光学部件可以实现球面、柱面、非球面或无曲率。也就是说,空间定位的自由形式光学部件可以实施为具有非线性(即,弯曲)表面。图8A至图8C示出了弯曲的全息光学元件(HOE)的相变轮廓的方面。在一些示例中,如图8A和图8B所示,空间定位的自由形式光学部件可以实现非线性相变,并且可以由相变轮廓上的非线性梯度来体现。
在一些示例中,具有弯曲的相位轮廓的空间定位的自由形式光学部件可以通过使所投射的图像更符合实际图像来克服上述问题。具体地,在一些示例中,如图8C所示,在空间定位的自由形式光学部件可以具有和/或实现曲率的情况下,具有矩形形状的图像801可以投射到也可以具有(类似)矩形形状的投射图像802。
应当理解的是,可以选择和/或实现与如所描述的空间定位的自由形式光学部件相关联的曲率程度,以优化光学设备的图像生成。因此,在一些示例中,在光学设备中实现的空间定位的自由形式光学部件可以提供更高的图像分辨率,并且可以通过平衡所生成图像的竖直平面和水平平面的纵横比来校正失真。事实上,在一些示例中,经由利用具有曲率的空间定位的自由形式光学部件来实现优化的相位轮廓可以显著改善总体失真性能(例如,图像失真可以从约16.7%降低到约4.4%)。此外,在一些示例中,如本文描述的自由形式光学部件(例如,弯曲的相位板)可以用于校正诸如球面像差、彗差、散光和场曲的像差。
图9示出了用于在光学设备中实施空间定位的自由形式光学部件以用于光学设备中的失真补偿和清晰度增强的方法的流程图。方法900是以示例的方式提供的,因为可以有各种方式来执行本文描述的方法。尽管方法900主要被描述为由图1的系统100和/或图4的光学设备400、图5A至图5C的光学设备500以及图6的光学设备600来执行,但是方法900可以由另一系统的一个或多个处理部件或系统的组合来执行或以其他方式执行。图9中示出的每个框可以进一步表示一个或多个进程、方法或子程序,多个框中的一个或多个框可以包括存储在非暂态计算机可读介质上的机器可读指令,并且由处理器或其他类型的处理电路来执行,以执行本文所描述的一个或多个操作。
在框910处,可以提供空间定位的自由形式光学部件,其中,该提供可以包括将空间定位的自由形式光学部件的表面分成具有专用和特定的衍射设计的多个区域。在一些示例中,具有专用和特定的衍射设计的这些多个区域中的每个区域可以以多个反射(或透射)角反射(或透射)多个“聚集的”光线。在一些示例中,多个区域可以包括四个区域,其中,第一区域可以以第一反射角衍射红色光线(即,红色簇),第二区域可以以第二反射角衍射黄色光线(即,黄色簇),第三区域504c可以以第三反射角衍射绿色光线(即,绿色簇),第四区域504d可以以第四反射角衍射蓝色光线(即,蓝色簇)。如上所述,以特定(即,唯一)出射的每个射线簇可以使光学摄像头起到多个光学摄像头的作用,并且可以实现增强追踪(例如,对用户眼球的追踪)。
在框920处,可以提供空间定位的自由形式光学部件,其中,该提供可以包括实施(表面)曲率的空间定位的自由形式光学部件的表面。具体地,在一些示例中,空间定位的自由形式光学部件可以实施为具有非线性(即,弯曲)表面。在这些情况下,空间定位的自由形式光学部件可以实现非线性相变。如上所述,在一些示例中,可以实施曲率,该曲率可以使得失真(例如,梯形失真)能够得到补偿。在其他示例中,空间定位的自由形式光学部件也可以实现线性(即,笔直)表面。
在框930处,可以在空间上使空间定位的自由形式光学部件位于光学设备内的一位置处。在一些示例中,空间定位的自由形式光学部件可以位于第一位置,其中,空间定位的自由形式光学部件可以用作透射元件。此外,在一些示例中,空间定位的自由形式光学部件可以位于第二位置,其中,空间定位的自由形式光学部件可以用作反射元件。
应当理解的是,空间定位的自由形式光学部件的类型可以至少部分地基于用户偏好、环境条件或其他参数如上所述地进行配置。在一些示例中,这可以通过头戴式显示器(HMD)手动或自动地实现。例如,头戴式显示器(HMD)可以包括能够自动检测用户偏好、检测环境条件(例如,使用一个或多个传感器)并且能够如所描述的按照全部或部分(例如,区域)自动地调整空间定位的自由形式光学组件的光电部件。以这种方式,头戴式显示器(HMD)可以自动地提供凝视精度、失真减少和/或图像清晰度增强,而无需大幅增加整个光学组件的厚度、增加附加的光学部件或其他。
附加信息
这里描述的系统和方法可以提供一种使用紧凑型成像光学器件来进行失真补偿和图像清晰度增强的技术,例如,该紧凑型成像光学器件可以用于头戴式显示器(HMD)或其他光学应用。
这里描述的光学透镜配置的益处和优点可以包括最小化总体透镜组件厚度、降低功耗、增加产品灵活性和效率以及提高分辨率等。这可以在任何数量的环境中(例如在虚拟现实(VR)环境、增强现实(AR)环境和/或混合现实(MR)环境或其他光学场景中)实现。
如上所述,可以有多种方式来配置、提供、制造或定位上述示例的各种光学部件或元件、电子部件或元件和/或机械部件或元件。虽然本文描述的示例涉及如示出的某些构造,但是应当理解的是,本文描述或提及的任何部件都可以根据应用或使用情况在尺寸、形状和数量或材料方面进行更改、改变、替换或修改,并且针对期望的分辨率或最佳结果进行调节。以这样的方式,还可以获得其他电子、热学、机械和/或设计方面的优点。
应当理解的是,本文描述的装置、系统和方法可以促进更期望的头戴式设备或视觉结果。还应当理解的是,如本文描述的装置、系统和方法还可以包括未示出的其他部件或与未示出的其他部件通信。例如,这些其他部件可以包括外部处理器、计数器、分析器、计算设备以及其他测量设备或系统。在一些示例中,这也可以包括中间件(未示出)。中间件可以包括由一个或多个服务器或设备主控的软件。此外,应当理解的是,可能需要或可能不需要一些中间件或服务器来实现功能。还可以在后端(back-end)提供未示出的其他类型的服务器、中间件、系统、平台和应用,以促进头戴式设备的特征和功能。
此外,本文描述的单个部件可以以多个部件来提供,反之亦然,以执行上述功能和特征。应当理解的是,本文描述的装置或系统的部件可以在部分负荷或满负荷下运行,或者可以完全被移除。还应当认识到的是,本文描述的关于液晶(LC)或光学配置的分析和处理技术,例如,也可以由整个系统或装置的这些或其他各种部件来部分地或全部地执行。
应当理解的是,也可以为本文描述的装置、系统和方法提供数据存储器(store),数据存储器可以包括可以存储数据和包括机器可读指令的软件或固件的易失性和/或非易失性数据存储设备(storage)。软件或固件可以包括执行测量系统的功能和/或运行利用来自测量或其他通信耦合的系统的数据的一个或多个应用的子例程或应用。
各种部件、电路、元件、组件和/或接口可以是任意数量的光学部件、机械部件、电子部件、硬件部件、网络部件或软件部件、电路、元件以及接口,这些部件用于促进任意数量或任意组合的设备、协议层或应用之间的通信、交换和分析数据。例如,本文描述的多个部件中的一些部件可以各自包括网络或通信接口,以经由网络或其他通信协议与其他服务器、设备、部件或网络元件通信。
尽管示例总体上涉及头戴式显示器(HMD),但是应当理解的是,本文描述的装置、系统和方法也可以用于其他各种系统和其他实施方式。例如,这些系统在任何数量的虚拟现实(VR)环境、扩增实境(AR)环境和/或混合现实(MR)环境或除前述之前的环境中可能包括其他各种头戴式系统、眼镜、可穿戴设备、光学系统等。事实上,在各种光学或数据通信场景中可能存在许多应用,例如光学联网、图像处理等。
应当理解的是,本文描述的装置、系统和方法还可以用于帮助直接或间接地提供对距离、角度、旋转、速度、位置、波长、透射率和/或其他相关光学测量的测量。例如,本文描述的系统和方法可以允许使用高效且具有成本效益的设计构思来使光学分辨率更高且使系统功能性得到提高。在具有附加优点(包括更高的分辨率、更少数量的光学元件、更高效的处理技术、具有成本效益的构造以及更小或更紧凑的形状要素)的情况下,本文描述的装置、系统和方法在许多原始设备制造商(Original Equipment Manufacturer,OEM)应用中可能是有益处的,其中,本文描述的装置、系统和方法可以容易地集成到各种现有的设备、系统、仪器或其他系统和方法中。本文描述的装置、系统和方法可以提供机械简易性和对小型或大型头戴式设备的适应性。最后,本文描述的装置、系统和方法可以提高分辨率,使传统系统的不利影响最小化,并且提高视觉效率。
本文已经描述和示出的是本公开的示例以及一些变型。本文中使用的术语、描述和附图仅以说明的方式进行阐述,并不意味着进行限制。在本公开的范围内可能有许多变型,本公开的范围旨在由以下权利要求来限定,除非另有说明,否则权利要求中的所有术语都是指它们的最宽泛的合理意义。
Claims (15)
1.一种光学组件,包括:
光学叠置体,所述光学叠置体包括至少两个光学元件;以及
至少一个空间定位的自由形式光学部件,所述至少一个空间定位的自由形式光学部件位于所述至少两个光学元件之间,其中,所述空间定位的自由形式光学部件提供失真补偿和增强的图像清晰度。
2.根据权利要求1所述的光学组件,其中,所述光学叠置体进一步包括薄饼光学器件。
3.根据权利要求1所述的光学组件,其中,所述空间定位的自由形式光学部件的表面被分成多个区域。
4.根据权利要求3所述的光学组件,其中,所述多个区域中的每个区域实施唯一的衍射设计。
5.根据权利要求3所述的光学组件,其中,所述多个区域中的每个区域反射相关联的光线簇;并且
可选地,其中,所述多个区域中的每个区域以唯一的反射角反射所述相关联的光线簇。
6.根据权利要求3所述的光学组件,其中,所述多个区域中的第一区域反射红色光线簇,所述多个区域中的第二区域反射黄色光线簇,所述多个区域中的第三区域反射绿色光线簇,所述多个区域中的第四区域反射蓝色光线簇。
7.根据权利要求1所述的光学组件,其中,所述空间定位的自由形式光学部件位于透射位置,以用作透射元件。
8.根据权利要求1所述的光学组件,其中,所述空间定位的自由形式光学部件位于反射位置,以用作反射元件。
9.根据权利要求1所述的光学组件,其中,所述光学组件是用于虚拟现实(VR)环境、增强现实(AR)环境或混合现实(MR)环境中的至少一者的头戴式显示器(HMD)的一部分。
10.一种头戴式显示器(HMD),包括:
显示元件,所述显示元件用于提供显示光;以及
光学组件,所述光学组件用于向所述头戴式显示器(HMD)的用户提供显示光,所述光学组件包括:
光学叠置体,所述光学叠置体包括至少两个光学元件;以及
至少一个空间定位的自由形式光学部件,所述至少一个空间定位的自由形式光学部件位于所述至少两个光学元件之间,其中,所述空间定位的自由形式光学部件提供失真补偿和增强的图像清晰度。
11.根据权利要求10所述的头戴式显示器(HMD),其中,所述空间定位的自由形式光学部件的表面被分成多个区域,其中,所述多个区域中的每个区域实施唯一的衍射设计;并且
可选地,其中,所述多个区域中的每个区域以唯一的反射角反射相关联的光线簇。
12.根据权利要求10所述的头戴式显示器(HMD),其中,所述空间定位的自由形式光学部件包括如下至少一个曲面:所述至少一个曲面具有曲率;并且
可选地,其中,所述至少一个曲面的曲率与特定相位轮廓相关联。
13.根据权利要求10所述的头戴式显示器(HMD),其中,所述空间定位的自由形式光学部件位于透射位置,以用作透射元件。
14.根据权利要求10所述的头戴式显示器(HMD),其中,所述空间定位的自由形式光学部件位于反射位置,以用作反射元件。
15.一种用于在光学组件中提供失真补偿和增强的图像清晰度的方法,包括:
将至少一个空间定位的自由形式光学部件的表面分成多个区域,所述多个区域中的每个区域具有唯一的衍射设计;
提供关于所述至少空间定位的自由形式光学部件的曲率,其中,所述曲率与特定的相位轮廓相关联;以及
在空间上将所述至少空间定位的自由形式光学部件定位在光学组件的两个光学部件之间,并且定位在用于透射光线和反射光线中的一者的位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/477,363 US20230084541A1 (en) | 2021-09-16 | 2021-09-16 | Compact imaging optics using spatially located, free form optical components for distortion compensation and image clarity enhancement |
US17/477,363 | 2021-09-16 | ||
PCT/US2022/043478 WO2023043805A1 (en) | 2021-09-16 | 2022-09-14 | Compact imaging optics using spatially located, free form optical components for distortion compensation and image clarity enhancement |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117957479A true CN117957479A (zh) | 2024-04-30 |
Family
ID=83598485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280063103.5A Pending CN117957479A (zh) | 2021-09-16 | 2022-09-14 | 使用空间定位的自由形式光学部件进行失真补偿和图像清晰度增强的紧凑型成像光学器件 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230084541A1 (zh) |
CN (1) | CN117957479A (zh) |
TW (1) | TW202317771A (zh) |
WO (1) | WO2023043805A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109167904B (zh) * | 2018-10-31 | 2020-04-28 | Oppo广东移动通信有限公司 | 图像获取方法、图像获取装置、结构光组件及电子装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040108971A1 (en) * | 1998-04-09 | 2004-06-10 | Digilens, Inc. | Method of and apparatus for viewing an image |
US11360308B2 (en) * | 2020-01-22 | 2022-06-14 | Facebook Technologies, Llc | Optical assembly with holographic optics for folded optical path |
-
2021
- 2021-09-16 US US17/477,363 patent/US20230084541A1/en active Pending
-
2022
- 2022-08-29 TW TW111132511A patent/TW202317771A/zh unknown
- 2022-09-14 CN CN202280063103.5A patent/CN117957479A/zh active Pending
- 2022-09-14 WO PCT/US2022/043478 patent/WO2023043805A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20230084541A1 (en) | 2023-03-16 |
WO2023043805A1 (en) | 2023-03-23 |
TW202317771A (zh) | 2023-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10937129B1 (en) | Autofocus virtual reality headset | |
US10983354B2 (en) | Focus adjusting multiplanar head mounted display | |
US10317680B1 (en) | Optical aberration correction based on user eye position in head mounted displays | |
JP6502586B2 (ja) | 焦点調整するバーチャルリアリティヘッドセット | |
KR102062658B1 (ko) | 안구 모델을 생성하기 위한 각막의 구체 추적 | |
US10948740B2 (en) | Head-mounted displays having curved lens arrays and generating elemental images for displaying | |
US10819898B1 (en) | Imaging device with field-of-view shift control | |
JP2021535588A (ja) | ウエハーツーウエハーボンディングのためのメサ形成 | |
US10698218B1 (en) | Display system with oscillating element | |
CN117957479A (zh) | 使用空间定位的自由形式光学部件进行失真补偿和图像清晰度增强的紧凑型成像光学器件 | |
JP2023512868A (ja) | ディスプレイシステム用の補正偏光補償光学系 | |
US20230213772A1 (en) | Display systems with collection optics for disparity sensing detectors | |
US20240061246A1 (en) | Light field directional backlighting based three-dimensional (3d) pupil steering | |
US20220350149A1 (en) | Waveguide configurations in a head-mounted display (hmd) for improved field of view (fov) | |
US20230209032A1 (en) | Detection, analysis and correction of disparities in a display system utilizing disparity sensing port | |
US10416445B1 (en) | Lenses with consistent distortion profile | |
US10859832B1 (en) | Mitigating light exposure to elements of a focus adjusting head mounted display | |
CN114175628A (zh) | 近眼显示器中的图像帧同步 | |
US20230064097A1 (en) | Diffractive optical element (doe) on an imaging sensor to reduce and minimize flare | |
US20230258938A1 (en) | Display systems with waveguide configuration to mitigate rainbow effect | |
US11927758B1 (en) | Multi-laser illuminated mixed waveguide display with volume Bragg grating (VBG) and mirror | |
EP4345531A1 (en) | Eye tracking system with in-plane illumination | |
US20230341812A1 (en) | Multi-layered polarization volume hologram | |
US20240069347A1 (en) | System and method using eye tracking illumination | |
US20230017964A1 (en) | Balanced switchable configuration for a pancharatnam-berry phase (pbp) lens |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |