CN114175628A - 近眼显示器中的图像帧同步 - Google Patents

近眼显示器中的图像帧同步 Download PDF

Info

Publication number
CN114175628A
CN114175628A CN202080052713.6A CN202080052713A CN114175628A CN 114175628 A CN114175628 A CN 114175628A CN 202080052713 A CN202080052713 A CN 202080052713A CN 114175628 A CN114175628 A CN 114175628A
Authority
CN
China
Prior art keywords
hmd
frame
focus state
data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080052713.6A
Other languages
English (en)
Inventor
D·R·兰曼
赵炀
B·A·克利里
O·梅西埃
R·伯奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN114175628A publication Critical patent/CN114175628A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0116—Head-up displays characterised by optical features comprising device for genereting colour display comprising devices for correcting chromatic aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/115—Electrowetting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/117—Adjustment of the optical path length

Abstract

一种方法包括提供由头戴式显示器(HMD)显示的视频数据帧。像素数据被编码在视频数据帧中的至少一些的像素中，所编码的像素数据定义用于向用户显示视频数据的相应帧的HMD的光学块的焦点状态。预定焦点状态从光学块的多个可用焦点状态中确定，每个焦点状态对应于基于视频数据而生成的虚拟图像的不同焦平面。用于编码的像素可以设置在能够由HMD显示的帧的区域之外。

Description

近眼显示器中的图像帧同步
技术领域
本发明总体上涉及近眼显示设备。更具体地，本发明涉及将场景中的物体的显示与所显示的物体的深度位置或视觉调节同步。
背景技术
头戴式显示器(HMD)可以用于模拟虚拟环境以在人工现实系统中向用户显示。例如，立体图像可以显示在HMD内的显示模块上以模拟深度错觉，并且头部跟踪传感器可以用于估计用户正在查看虚拟环境的哪个部分。然而，由于现有HMD无法正确渲染或以其他方式补偿聚散和调节冲突，这样的模拟会导致视觉疲劳和恶心。
通常，眼睛会聚(朝向彼此旋转)以聚焦在较近物体上并且发散(远离彼此旋转)以聚焦在较远物体上。因此，聚散表示双眼在相反方向上同时移动以获取或维持单眼视觉。调节与聚散相结合，并且是其中眼睛的晶状体聚焦在近处或远处物体上的过程。在眼睛的调节期间，眼睛的晶状体会随着物体与观察者的距离变化而改变光焦度以维持物体的清晰的对焦图像。
一些HMD可以通过使用立体效果以及通过将不同虚拟物体放置在不同焦平面或焦点状态来在不同感知距离处在虚拟或增强现实场景中显示物体。虚拟物体的感知立体图像深度和位置需要伴随有对应焦点位置和虚拟物体的对焦距离，以减少由聚散/调节冲突引起的疲劳或恶心。
发明内容
根据本发明的一个方面，提供了一种头戴式显示器(HMD)，该HMD包括：用于提供图像光的显示模块；被配置为从显示模块接收图像光并且提供由图像光携带的虚拟图像的光学块，光学块具有多个焦点状态，每个焦点状态对应于虚拟图像的不同焦平面；被配置为能够在多个焦点状态中的不同焦点状态之间选择性地切换光学块的变焦模块；以及控制器，该控制器被配置为：接收用于由HMD显示的视频数据帧，该帧包括编码在该帧的第一像素中的像素数据，该像素数据指示该光学块的多个焦点状态中的一个焦点状态；并且，在使用HMD显示该帧之前：读取像素数据；以及使用变焦模块将光学块设置为由像素数据指示的焦点状态。
第一像素可以位于帧的可显示区域之外。
HMD可以包括眼睛跟踪模块，眼睛跟踪模块用于确定用户的眼睛位置或定向中的至少一项以产生眼睛跟踪数据，其中光学块的焦点状态至少部分基于眼睛跟踪数据来被确定。
变焦模块可以包括相对于显示模块可移动以改变它们之间的距离的光学元件。
变焦模块可以包括具有可控光焦度的变焦光学元件。变焦光学元件可以包括以下中的至少一项：变形聚合物透镜、液体透镜、Alvarez-Lohmann透镜、可变形膜镜、液晶(电活性)透镜、仅相位空间光调制器(SLM)或Pancharatnam-Berry(PB)可切换透镜。
根据本发明的另一方面，提供了一种控制头戴式显示器(HMD)的方法，该方法包括：获取包括用于由HMD显示的帧的视频数据；以及将第一像素数据编码到帧的第一像素中，所编码的第一像素数据指示用于显示帧的HMD的光学块的焦点状态，该焦点状态选自光学块的多个焦点状态，每个焦点状态对应于虚拟图像的不同焦平面，其中虚拟图像基于视频数据的帧。第一像素可以位于帧的可显示区域之外。
该方法可以包括获取视频数据并且将第一像素数据编码到多个视频数据帧中的每一帧的第一像素中。
该方法可以包括读取编码在帧的第一像素中的第一像素数据，并且在显示帧之前，将光学块设置为由编码在第一像素中的第一像素数据指示的焦点状态。
将光学块设置为焦点状态可以在HMD的显示模块基本不发光的时间段内执行。
编码第一像素数据可以包括设置参数，该参数包括第一像素的颜色坐标或亮度中的至少一项，其中该参数的值指示光学块的多个焦点状态中的一个焦点状态。
该方法可以包括使用眼睛跟踪器来确定用户的眼睛位置或定向中的至少一项以产生眼睛跟踪数据，其中光学块的焦点状态至少部分基于眼睛跟踪数据来确定。
将光学块设置为由第一像素数据指示的焦点状态可以包括改变光学块的光学元件与HMD的显示模块之间的距离。
将光学块设置为由第一像素数据指示的焦点状态可以包括改变光学块的变焦光学元件的光焦度。
根据本发明的另一方面，提供了一种控制头戴式显示器(HMD)的方法，该方法包括：获取用于由HMD显示的多个视频帧，其中第一数据使用位于使用HMD的可显示的区域之外的第一像素而被编码到多个视频帧中的至少一个视频帧中，第一数据指示用于显示至少一个视频帧的HMD的光学块的焦点状态；以及在显示至少一个视频帧之前，将光学块设置为由第一数据指示的焦点状态；以及通过HMD的显示模块显示至少一个视频帧，其中光学块被设置为由第一数据指示的焦点状态。
该方法可以包括使用眼睛跟踪器来确定用户的眼睛位置或定向中的至少一项以产生眼睛跟踪数据，其中光学块的焦点状态至少部分基于眼睛跟踪数据来被确定。
焦点状态可以选自光学块的多个焦点状态，并且其中第一数据被编码为包括第一像素的颜色坐标或亮度中的至少一项的参数的值，参数的值指示光学块的多个焦点状态中的一个焦点状态。
将光学块设置为由第一数据指示的焦点状态可以包括改变光学块的光学元件与HMD的显示模块之间的距离。将光学块设置为由第一像素数据指示的焦点状态可以包括改变光学块的变焦光学元件的光焦度。
根据本发明的又一方面，提供了一种控制头戴式显示器(HMD)的方法，该方法包括：提供用于由HMD显示的视频数据，该视频数据包括用于在第一焦平面上显示给用户的第N帧；确定与第一焦平面相对应的HMD的光学块的焦点状态；对第N帧施加调节以补偿由光学块引起的失真，其中调节后的第N帧的一些像素位于由HMD可显示的区域之外；在第N帧的第一像素中编码第一像素数据，第一像素在由HMD可显示的区域之外，所编码的第一像素数据定义用于在第一焦平面上显示第N帧的光学块的焦点状态；在HMD上，对来自第N帧的编码的第一像素数据进行解码；基于解码的第一像素数据将光学块设置为用于显示第N帧的所确定的焦点状态；以及在HMD的显示器上向用户显示第N帧。
应当理解，被讨论为适合包括在本文中描述的任何方面中的任何特征也将适合以任何组合包括在任何其他方面中。
附图说明
现在将仅通过示例并且参考附图来描述本发明，在附图中：
图1是根据至少一个实施例的头戴式显示器(HMD)的简化框图。
图2A和2B是根据至少一个实施例的包括可移动聚焦元件的HMD的变焦模块的示意图。
图3A和3B是根据至少一个实施例的包括变焦元件的HMD的变焦模块的示意图。
图4是根据至少一个实施例的使帧显示与光学块的焦点状态同步的方法的流程图。
图5示出了根据实施例的包括在可视区域之外的像素的图像数据的预失真帧。
图6示出了根据至少一个实施例的HMD帧焦点状态同步系统的简化功能框图。
图7是根据实施例的头戴式显示器的3D视图。
图8是根据实施例的示例虚拟现实系统的框图。
具体实施方式
以下描述旨在使得本领域技术人员能够制作和使用本发明，并且在特定应用及其要求的上下文中提供。对所公开的实施例的各种修改对于本领域技术人员来说将是很清楚的，并且在不脱离本发明的范围的情况下，本文中定义的一般原理可以应用于其他实施例和应用。因此，本发明不旨在限于所公开的实施例，而是符合与本文中公开的原理和特征一致的最宽范围。贯穿本公开，术语“HMD”包括头戴式显示器、近眼显示器、可穿戴显示器、虚拟现实(VR)显示器、增强现实(AR)显示器、混合现实(MR)显示器等。相似的附图标记在整个附图中表示相似的元素。
为了创造舒适的观看体验，HMD的焦点应当基于由HMD呈现并且由用户观看的虚拟场景内的位置来调节。例如，三维(3D)虚拟场景呈现在HMD的电子显示元件或显示模块(例如，显示面板、投影仪等)上，并且将图像光从电子显示元件引向用户眼睛的光学块的焦距基于用户正在查看的虚拟场景中的位置或物体使用变焦元件来调节(例如，机械地改变光学块中的透镜系统与电子显示元件之间的距离的元件、改变光学块中的透镜系统中的一个或多个透镜的形状的元件等)。例如，HMD跟踪用户的眼睛以近似注视线并且将包括聚散深度的注视点确定为注视线的估计交点。注视点标识由HMD呈现给用户的虚拟场景的特定帧的物体或焦点平面。变焦元件然后调节光学块的焦距以将光学块聚焦在注视点的所估计的聚散深度处，从而随着聚散和调节变化而将用户的眼睛保持在舒适的区域中。
一系列视频数据帧中的每一帧的显示必须与光学块的焦点状态的变化同步，以便提供自然感觉的观看体验。图像显示数据和光学控制数据可以经由人工现实系统的单独数据路径来提供，并且然后可以在用户眼睛处组合以产生显示场景。两个数据路径之间的不同步可能由于多种原因而发生，诸如由于图像数据路径中的丢弃或丢失帧等。由于图像数据的每一帧都应用有特定校正以显示在相应焦平面处，丢弃或丢失帧的发生可能会给用户带来不自然的观看体验。例如，丢弃一系列帧中的第N帧可能导致使用旨在用于第N帧的校正经由HMD向用户显示第N+1帧。由于两个数据路径的这种不同步，用户可能会在显示场景中注意到失真、抖动或其他伪影。
图1是根据实施例的HMD 100的简化框图。HMD 100包括用于向用户显示AR/VR内容的显示系统102、控制器104和可选的眼睛跟踪模块106。在这个特定且非限制性的示例中，显示系统102包括用于提供图像光的显示模块108，例如但不限于液晶显示器(LCD)、有机发光显示器(OLED)、无机发光显示器(ILED)、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、扫描显示器、投影仪或其组合。显示系统102还包括光学块110，光学块110的功能是从显示模块接收图像光并且提供由图像光携带的虚拟图像。光学块110具有多个焦点状态，每个焦点状态对应于所显示的虚拟图像的不同焦平面，并且光学块110可以包括各种透镜，例如折射透镜、菲涅耳透镜、衍射透镜、有源或无源Pancharatnam-Berry相位(PBP)透镜、液体透镜、液晶透镜、瞳孔复制波导、光栅结构、涂层等。在一些实施例中，光学块110中的一个或多个光学元件可以具有一个或多个涂层，诸如抗反射涂层。
光学块110对图像光的放大允许显示模块108与较大显示器相比在物理上较小、重量较轻并且消耗较少功率。此外，图像光的放大可以增加显示内容的视场。例如，显示内容的视场使得显示内容使用几乎全部(例如，150度)用户视场并且在一些情况下使用全部用户视场来呈现。
光学块110可以被构造为校正一个或多个光学误差。光学误差的示例包括桶形失真、枕形失真、纵向色差、横向色差、球面像差、彗差、场曲、像散等。在一些实施例中，提供给显示模块108用于显示的内容被预失真，并且光学块110在其从显示模块108接收基于内容而生成的图像光时校正预失真。
显示系统102还可以包括变焦模块112，变焦模块112可以是光学块110的一部分，如图1所示。变焦模块112的功能是调节光学块110的焦距，例如以补偿聚散调节冲突、校正特定用户的视觉缺陷、抵消光学块110的像差等。变焦模块112包括机械地改变光学块110中的透镜系统与显示模块108之间的距离的变焦元件(例如，参见图2A和2B)、改变光学块110中的透镜系统中的一个或多个透镜的形状的变焦元件(例如，参见图3A和3B)等。
控制器104包括焦点状态确定模块114和场景渲染模块116。控制器104可以包括执行多个软件模块的单个处理器、执行一个或多个软件模块的多个处理器、一个或多个专用集成电路(ASIC)或其组合。在一些实施例中，由控制器104执行的过程中的一些可以改为由与HMD 100分离的另一处理器执行，例如虚拟现实系统中的控制台的处理器。
焦点状态确定模块114从多个可用焦点状态中确定光学块110的哪个焦点状态将用于显示每个视频数据帧。例如，焦点状态确定模块114从各种来源接收感测信息，例如HMD100的眼睛跟踪模块106，并且可选地从附加来源接收感测信息，包括一个或多个(未示出)位置传感器、惯性测量传感器、定位器等。在显示未来帧之前，焦点状态确定模块114使用所接收的信息来确定未来帧的聚散深度。例如，未来帧是视频数据的下一帧。所确定的聚散深度用于确定用于显示未来帧的光学块110的焦点状态使得随着聚散和调节变化，用户的眼睛保持在舒适的区域中。作为特定且非限制性的示例，焦点状态确定模块114可以使用表格来查找与所确定的聚散深度相对应的光学块110的焦点状态。
对于要经由HMD 100显示的每个视频数据帧，焦点状态确定模块114将所确定的焦点状态数据提供给场景渲染模块116。场景渲染模块116可以对每个视频数据帧施加特定于要用于显示每个相应帧的所确定的焦点状态的预失真。当视频数据帧的显示与光学块110的焦点状态的设置正确同步时，由光学块110的焦点状态引起的失真校正所施加的预失真，并且经由HMD显示的所得到的虚拟场景对用户来说显得很自然。场景渲染模块116还可以基于用户的注视、聚散深度(或调节深度)等添加景深模糊。另外，场景渲染模块116基于眼睛跟踪模块106并且可选地基于一个或多个位置传感器、惯性测量传感器、定位器等来确定要在显示模块108上显示的内容的一部分。
如下文更详细地讨论的，场景渲染模块116还可以使用一些视频数据帧或可选地每个视频数据帧中的一个或多个像素(本文中称为“第一像素”)对一些像素数据(本文中称为“第一像素数据”)进行编码。本文中，术语“第一”并不暗示像素在帧中的顺序或位置，而仅用作标识符。例如，场景渲染模块116可以设置诸如第一像素的颜色坐标或亮度中的至少一项的参数的值。参数值指示用于正确显示该视频数据帧的光学块110的所确定的焦点状态。根据实施例，第一像素数据可以用于将视频数据帧的显示与光学块110的焦点状态的设置同步。有利地，每个视频数据帧包括第一像素数据，第一像素数据标识正确显示该视频数据帧所需要的光学块110的焦点状态，从而确保每一帧的显示与光学块110的焦点状态的设置同步。换言之，一些或所有帧可以包括指示该帧将在哪个焦距或深度处显示的“标记”。“标记”区域可以包括一个或多个像素，并且可以对用户不可见。作为非限制性示例，每个视频数据帧中的第一像素是位于由HMD 100可显示的帧的区域之外的像素。
变焦模块112可以以很多不同方式实现。参考进一步参考图1的图2A和2B，变焦模块112包括通过由电机200驱动的平移台202相对于显示模块108可移动的光学元件210。光学元件210可以是光学块110的一部分。在一些实施例中，整个光学块110通过平移台202可移动。变焦模块112还可以包括使得光学块110、显示模块108或这两者能够沿光轴平移的其他组件。
图2A示出了HMD 100为虚拟场景的帧N提供焦点调节的示例。在该示例中，虚拟场景包括显示在显示模块108上的物体204，用户眼睛206的注视指向(即，靠近)该物体204。物体204的虚拟图像位于显示模块108后面距出瞳208的虚拟距离di处。在图2A的示例中，光学元件210处于位置pi，这提供对距离di的适应以使得能够舒适地观察物体204。
图2B示出了HMD 100为虚拟场景的后续帧N+1提供焦点调节。在该示例中，物体208在虚拟场景中朝向用户的眼睛206移动。结果，物体208的虚拟图像位于更靠近显示模块108的位置。焦点状态确定模块114确定用于显示帧N+1的光学块110的新焦点状态。电机200将光学元件210从位置pi移动到新位置pf，以使在新深度df处的用户206适应更近物体208。在一个示例中，光学块110的每个焦点状态对应于焦距和眼睛位置和/或定向的组合，适应一定范围的聚散深度，并且与光学元件210的特定位置相关联。
为了适应新的聚散深度同时还留出时间来执行附加计算而用户不会感觉到延迟，电机200移动光学元件210的速度可以受到人眼执行调节的速率的限制。例如，假定人眼调节具有10屈光度/sec的峰值速度、100屈光度/sec2的峰值加速度，并且改变显示模块108与光学块110之间的距离使虚拟图像移动大约0.5屈光度/mm，电机200以10/0.5＝20mm/sec的最小速度和100/0.5＝200mm/sec的最小加速度驱动平移台202，以防止用户在错误的深度处感知虚拟物体204。有满足前述值的市售致动器。
图3A和3B示出了使用变焦光学元件310(例如，具有可调谐或可切换焦距的一个透镜或一组透镜)调节光学块110的焦距的替代示例过程。类似于图2A和2B的示例，图3A示出了HMD 100为虚拟场景的帧N提供焦点的示例，该虚拟场景包括显示在显示模块108上的物体300，用户眼睛302的注视指向该物体300。物体300的虚拟图像类似地位于显示模块108后面距出瞳304的虚拟距离di处。在图3A的示例中，变焦模块112改变变焦光学元件310的光学(聚焦)焦度，例如，光学块110的一个或多个透镜的形状，以提供在透镜形状S1的情况下对距离d1的适应，以使得能够舒适地观察物体300。
图3B示出了HMD 100通过改变光学块110的变焦光学元件310的光焦度来为虚拟场景的后续帧N+1提供焦点。在该示例中，用户的眼睛302可以在物体304向虚拟场景中的用户302移动时改变观看物体304的位置和/或定向。结果，物体304的虚拟图像位于显示模块108附近。响应于物体304的位置靠近显示模块108，该位置比图3A中的物体300更近，用户的眼睛302可以旋转以注视物体304。焦点状态确定模块114确定用于显示帧N+1的光学块110的新焦点状态。变焦模块114改变变焦光学元件310的光焦度，例如通过将一个或多个透镜的形状从形状S1改变为新的透镜形状S2以使在新的较近的聚散深度d2处的用户302适应。如上所述，光学块110的不同焦距状态对应于不同焦距，以适应一定范围的聚散深度，并且可以与透镜形状或影响焦距的其他可调节特性相关联。能够调节或切换焦距的变焦光学元件示例包括：变形聚合物透镜、电润湿液体透镜、Alvarez-Lohmann透镜、可变形膜镜、液晶(电活性)透镜、Pancharatnam-Berry相位(PBP)透镜、仅相位空间光调制器(SLM)和其他合适的组件。
图4是用于使视频数据帧的显示与HMD 100的光学块110的控制同步的方法的简化流程图，使得虚拟图像在正确的焦平面处显示给用户。如上所述，变焦系统可以动态地改变其焦点以将呈现给佩戴HMD 100的用户的图像聚焦，这在聚散和调节变化时将用户的眼睛保持在舒适的区域中。
HMD 100的位置、定向和/或移动可以使用定位器和传感器的组合来确定，这在下面参考图7和8更详细地描述。由HMD 100呈现的虚拟场景的部分可以被映射到HMD 100的各种位置和定向，使得用户当前正在查看的虚拟场景的一部分可以基于HMD 100的位置、方向和移动来确定。在步骤400(图4)，HMD 100可以确定朝向用户正在查看的确定部分内的位置或物体的注视方向，并且可以相应地使用该信息来调节该位置或物体的焦点，即，确定场景中的物体将在此处在一系列视频帧中的第N帧中显示的焦距。为了确定用户正在查看的虚拟场景的确定部分内的位置或物体，HMD 100跟踪用户眼睛的位置(position)和定位(location)。因此，HMD 100为用户的每只眼睛确定眼睛位置或定向以产生眼睛跟踪数据。例如，HMD 100的眼睛跟踪模块106跟踪每只眼睛的3D位置、滚动、俯仰和偏航的至少子集，并且使用这些量来确定每只眼睛的3D注视点。此外，还可以使用来自过去眼睛位置的信息、描述用户头部位置的信息和描述呈现给用户的场景的信息来确定眼睛的3D注视点。虚拟物体的3D位置也可以由要显示的3D虚拟场景来确定。
在步骤402，确定与所确定的焦距相对应的光学块110的焦距状态，其可以至少部分基于眼睛跟踪数据。例如，焦点状态确定模块114使用表格来查找与所确定的焦距相对应的光学块110的焦点状态。替代地，焦点状态以另一合适的方式确定，例如可以为要由显示模块108显示的每一帧预先确定焦点状态。
在可选步骤404中，可以由场景渲染模块116使用调节来对第N帧进行预失真，该调节在应用于第N帧时由光学块110的确定的焦点状态校正或消除，使得当显示给用户时，第N帧不会出现失真。在一些实施例中，光学块110的每个焦点状态与失真校正图相关联，失真校正图校正由光学块110的焦点状态引入的光学误差。因此，应用于第N帧的调节可以特定于当HMD 100显示第N帧时光学块110的所确定的焦点状态。因此，光学块110的控制必须与第N图像的显示同步，使得光学块110在用于显示第N帧的正确时间被设置为所确定的焦点状态。
为了确保光学块110的控制与第N帧的显示同步，在步骤406，将指示光学块110的所确定的焦点状态的数据编码在第N帧的图像数据中。还参考图5，当场景渲染模块116应用调节以对第N帧进行预失真时，结果是，在光学块110取消预失真之后，预失真帧502的一个或若干像素(例如，第一像素504)将位于由HMD 100可显示的区域506之外。换言之，每一帧的图像数据可以预失真使得一些像素不能被HMD 100显示并且因此不能被用户查看。通常，将这些不可见像素保持为暗以减少光学块110中的杂散光。相比之下，图4所示的方法使用第一像素504来编码信息，该信息定义或标识用于显示包含编码信息的视频数据帧的光学块110的确定状态。更具体地，在步骤406执行的编码包括设置参数，该参数包括第一像素504的颜色坐标或亮度中的至少一项，其中该参数的值指示光学块110的所确定的焦点状态。在这个上下文中，术语“第一”仅用作指代特定像素的标识符，而不暗示该像素在图像数据中的任何顺序或位置。
在步骤408，向HMD 100的显示界面提供第N帧的预失真图像数据，包括定义光学块110的所确定的焦点状态的编码数据。第一像素504的参数的值在步骤410从图像数据流中读取，并且在步骤412被使用以改变或以其他方式将光学块110的焦点状态设置为用于向用户显示第N帧的所确定的焦点状态。在一个实施例中，光学块110的焦点状态在显示模块108的背光不发光或仅发出非常少量的光(例如，0.01％照度)的时间段内改变，使得用户不会察觉到正在发生的变化。
最后，在步骤414，经由HMD 100向用户显示第N帧，同时将光学块110设置为用于第N帧的所确定的焦点状态。对一系列视频图像数据帧中的每一帧执行上述过程，使得用户的眼睛随着聚散和调节变化而保持在舒适的区域中。
在其中光学块110支持足够少的不同焦点状态的实施例中，可视像素可以用于对指示光学块110的所确定的焦点状态的数据进行编码，而不是对在HMD 100无法显示的帧的区域内的像素进行编码。
现在参考图6，示出了虚拟帧的显示与与所显示的虚拟图像的焦平面相对应的焦点状态的设置的同步过程的简化功能框图。根据至少一个实施例，用于向用户显示虚拟场景的数据信号和用于设置光学块110的焦点状态的数据有利地遵循单个数据路径。由于沿单个数据路径提供数据信号，因此即使视频数据帧丢失或丢弃，视频数据帧的显示与光学块110的焦点状态的设置之间的同步也得以维持。
在操作中，帧源600(例如，虚拟现实系统的控制台)提供用于经由HMD 100显示的内容。指示光学块110的焦点状态的第一数据被编码602在如上所述的每一帧的第一像素中，并且其在机载或机外HMD 100上执行。包括编码的第一数据的内容经由显示界面604提供给HMD 100的显示系统102。视频数据帧被传输到显示模块108用于由此显示，同时，编码在视频数据帧中的第一数据在HMD 100上被解码606，例如由控制器104从数据流中读取该帧的第一像素的参数的值。光学块110被设置为用于基于第一数据来正确显示视频数据帧的所确定的焦点状态，例如，表用于基于从数据流中读取的第一像素的参数的值来查找光学块110的焦点状态。视频数据帧在显示驱动器608的控制下由显示模块108显示，并且光学块110被设置为正确的焦点状态以校正视频数据帧的预失真，使得用户610查看没有失真和/或伪影等的视频数据帧。
现在参考图7，示出了适合于实现本文中公开的实施例的头戴式显示器(HMD)100的示例图。更具体地，HMD 100是增强现实/虚拟现实(AR/VR)可穿戴显示系统的一个示例，该系统封闭用户的脸部，以更大程度地沉浸在AR/VR环境中。HMD 100的功能是用计算机生成的图像来增强物理真实世界环境的视图，和/或生成完全虚拟的3D图像。HMD 100可以包括前体700和带702。前体700被配置用于以可靠和舒适的方式放置在用户的眼前，并且带702可以被拉伸以将前体700固定在用户的头部上。上述显示系统102可以设置在前体700中以向用户呈现AR/VR图像。前体700的侧面704可以是不透明的或透明的。
在一些实施例中，前体700包括用于跟踪HMD 100的加速度的定位器706和惯性测量单元(IMU)708、以及用于跟踪HMD 100的位置的位置传感器710。IMU 708是基于从位置传感器710中的一个或多个接收的测量信号来生成指示HMD 100位置的数据的电子设备，位置传感器710响应于HMD 100的运动而生成一个或多个测量信号。位置传感器710的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、用于IMU 708的纠错的一种类型的传感器、或其某种组合。位置传感器710可以位于IMU 708外部、IMU 708内部或其某种组合。
定位器706由虚拟现实系统的外部成像设备跟踪，使得虚拟现实系统可以跟踪整个HMD 100的位置和定向。由IMU 708和位置传感器710生成的信息可以与通过跟踪定位器706而获取的位置和定向进行比较，以提高HMD 100的位置和定向的跟踪精度。准确的位置和定向信息对于在用户在3D空间中移动和转动时向用户呈现适当的虚拟场景很重要。
HMD 100还可以包括深度相机组件(DCA)712，DCA 712捕获描述围绕HMD 100的一些或全部的局部区域的深度信息的数据。为此，DCA 712可以包括激光雷达(LIDAR)或类似设备。深度信息可以与来自IMU 708的信息进行比较，以更好地确定HMD 100在3D空间中的位置和定向。
HMD 100还可以包括用于实时确定用户眼睛的定向和位置的眼睛跟踪模块106。眼睛的所获取的位置和定向还允许HMD 100确定用户的注视方向并且相应地调节由显示系统102生成的图像。在一个实施例中，确定聚散，即，用户眼睛注视的会聚角。所确定的注视方向和聚散角还可以用于依赖于视角和眼睛位置的视觉伪影的实时补偿。此外，所确定的聚散角和注视角可以用于与用户交互、突出显示物体、将物体带到前景、创建附加物体或指针等。还可以提供音频系统，包括例如内置于前体700中的一组小型扬声器(未示出)。
现在参考图8，示出了AR/VR系统800，AR/VR系统800包括图7的HMD 100、存储各种AR/VR应用、设置和校准过程、3D视频等的外部控制台802、以及用于操作控制台802和/或与AR/VR环境交互的输入/输出(I/O)接口804。HMD 100可以通过物理电缆“拴”到控制台802，或者经由无线通信链路(诸如
Figure BDA0003480817480000141
Wi-Fi等)连接到控制台802。可以有多个HMD100，每个HMD 100具有相关联的I/O接口804，每个HMD 100和(多个)I/O接口804与控制台802通信。在替代配置中，不同的和/或附加的组件可以被包括在AR/VR系统800中。另外，在一些实施例中，与图7和图8所示的组件中的一个或多个相结合描述的功能可以以与结合图7和图8描述的方式不同的方式分布在组件中。例如，控制台802的一些或全部功能可以由HMD 100提供，反之亦然。HMD 100可以配备有能够实现这样的功能的处理模块。
如以上参考图7所述，HMD 100可以包括用于跟踪眼睛位置和定向、确定注视角和会聚角等的眼睛跟踪模块106、用于确定HMD 100在3D空间中的位置和定向的IMU 708、用于捕获外部环境的DCA712、用于独立地确定HMD 100的位置的(多个)位置传感器710、以及用于向用户显示AR/VR内容的显示系统102。显示系统102包括显示模块108、光学块110和变焦模块112，所有这些在以上参考图1讨论。
变焦模块112包括变焦元件，该变焦元件引起光学块110改变由HMD 100显示的虚拟图像的焦平面，以在聚散和调节变化时将用户的眼睛保持在舒适的区域中。在一个实施例中，变焦模块112通过相对于光学块110移动显示模块108来物理地改变显示模块108与光学块110之间的距离。替代地，变焦模块112通过调节一个或多个透镜的一个或多个特性来改变虚拟图像的焦平面。由变焦模块112调节的透镜的示例特性包括：光路长度、透镜介质的折射率、透镜的形状等。例如，变焦模块112使用以下各项来改变虚拟图像的焦平面：变形聚合物透镜、液体透镜的电润湿方法、Alvarez-Lohmann透镜、可变形膜镜、液晶(电活性)透镜或仅相位空间光调制器(SLM)、Pancharatnam-Berry(PB)可切换透镜或任何其他合适的组件、以及其任何组合。此外，还可以使用HMD 100的相对于彼此移动或平移两个透镜来改变虚拟图像的焦平面。在一个实施例中，包括多个PB透镜的堆叠可以被配置为具有二元光学(即，聚焦/散焦)功率值(例如，0.1、0.2、0.4、0.8、1.6屈光度等)以提供多个可选择的焦平面。变焦模块112可以包括在轨道上移动显示模块108和/或光学块110的致动器或电机，如参考图2A和2B讨论的，以改变它们之间的距离。替代地，变焦模块112可以包括用于改变光学块110中包括的一个或多个透镜的特性(例如，通过改变所应用的电信号)的致动器和其他部件或机构。在各种实施例中，变焦模块112可以与光学块110分离或集成到光学块110中。
光学块110可以在多个可用焦点状态中的不同焦点状态之间选择性地切换。光学块110的每个不同焦点状态对应于由HMD 100显示的虚拟图像的不同焦平面。可以提供任何数目的焦点状态；然而，有限数目的焦点状态适应人眼的灵敏度，以允许一些实施例包括较少的焦点状态。
I/O接口804是允许用户发送动作请求并且从控制台802接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令，或者是在应用内执行特定动作的指令。I/O接口804可以包括一个或多个未示出的输入设备，诸如键盘、鼠标、游戏控制器、或用于接收动作请求并且将动作请求传送到控制台802的任何其他合适的设备。由I/O接口804接收的动作请求被传送到控制台802，控制台802执行与动作请求相对应的动作。在一些实施例中，I/O接口804包括未示出的IMU，该IMU捕获指示I/O接口804相对于I/O接口804的初始位置的估计位置的校准数据。在一些实施例中，I/O接口804可以根据从控制台802接收的指令向用户提供触觉反馈。例如，触觉反馈可以在接收到动作请求时提供，或者控制台802向I/O接口804传送指令以引起I/O接口804在控制台802执行动作时生成触觉反馈。
控制台802可以向HMD 100提供内容以根据从以下中的一项或多项接收的信息进行处理：IMU 708、DCA 712、眼睛跟踪模块106和I/O接口804。在如图8所示的示例中，控制台802包括应用商店806、跟踪模块808和处理模块810。控制台802的一些实施例可以具有与结合图8描述的那些不同的模块或组件。类似地，下面进一步描述的功能可以以与结合图7和8描述的方式不同的方式分布在控制台802的组件之间。
应用商店806可以存储用于由控制台802执行的一个或多个应用。应用是一组指令，在由处理器执行时，该指令组生成用于呈现给用户的内容。由应用生成的内容可以响应于经由HMD 100或I/O接口804的移动从用户接收的输入。应用的示例包括游戏应用、演示和会议应用、视频回放应用或其他合适的应用。
跟踪模块808可以使用一个或多个校准参数来校准AR/VR系统800并且可以调节一个或多个校准参数以减少在确定HMD 100或I/O接口804的位置时的误差。由跟踪模块808执行的测量还考虑从HMD 100中的IMU 708和/或I/O接口804中包括的IMU(如果有的话)接收的信息。此外，如果对HMD 100的跟踪丢失，则跟踪模块808可以重新校准AR/VR系统800的一些或全部。
跟踪模块808可以跟踪HMD 100或I/O接口804、IMU 708或其某种组合的移动。例如，跟踪模块808可以基于来自HMD 100的信息在局部区域的映射中确定HMD 100的参考点的位置。跟踪模块808还可以分别使用来自IMU 708的指示HMD 100的位置的数据或使用来自I/O接口804中包括的IMU的指示I/O接口804的位置的数据确定HMD 100的参考点的位置或I/O接口804的参考点的位置。此外，在一些实施例中，跟踪模块808可以使用来自IMU 708的指示HMD 100的位置的数据的部分以及来自DCA 712的局部区域的表示来预测HMD 100的未来位置。跟踪模块808向处理模块810提供HMD 100或I/O接口804的所估计或预测的未来位置。
处理模块810可以基于从HMD 100接收的信息生成围绕HMD 100的一些或全部的区域(“局部区域”)的3D映射。在一些实施例中，处理模块810基于从DCA 712接收的与在计算深度时使用的技术相关的信息来确定用于局部区域的3D映射的深度信息。在各种实施例中，处理模块810可以使用深度信息来更新局部区域的模型并且部分地基于更新后的模型来生成内容。
处理模块810在AR/VR系统800内执行应用，并且从跟踪模块808接收HMD 100的位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于所接收的信息，处理模块810确定用于提供给HMD 100以呈现给用户的内容。例如，如果所接收的信息指示用户已经向左看，则处理模块810为HMD 100生成反映用户在虚拟环境中或在用附加内容增强局部区域的环境中的移动的内容。此外，处理模块810响应于从I/O接口804接收的动作请求而在控制台802上执行的应用内执行动作，并且向用户提供关于动作已经被执行的反馈。所提供的反馈可以是经由HMD 100的视觉或听觉反馈或者是经由I/O接口804的触觉反馈。
在一些实施例中，基于从眼睛跟踪模块106接收的眼睛跟踪信息(例如，用户眼睛的定向)，处理模块810确定提供给HMD 100以在显示模块108上呈现给用户的内容的分辨率。处理模块810可以向HMD 100提供在用户注视的中央凹区域中在显示模块108上具有最大像素分辨率的内容。处理模块810可以在显示模块108的其他区域中提供较低像素分辨率，从而减少AR/VR系统800的功耗并且节省控制台802的计算资源，而不损害用户的视觉体验。在一些实施例中，处理模块810还可以使用眼睛跟踪信息来调节物体在显示模块108上的显示位置，以防止聚散调节冲突和/或抵消光学失真和像差。
控制器104包括焦点状态确定模块114和场景渲染模块116，这两者在以上参考图1讨论。场景渲染模块116从处理模块810接收用于显示虚拟场景的内容并且提供该内容以在显示模块108上显示。另外，场景渲染模块116基于来自眼睛跟踪模块106、IMU 708和位置传感器710的信息来调节内容。场景渲染模块116基于跟踪模块808、位置传感器710或IMU 708中的一个或多个来确定要在显示模块108上显示的内容的一部分。焦点状态确定模块114从多个可用焦点状态中确定光学块110的哪个焦点状态将用于显示每个视频数据帧并且将与其相关的数据传递到场景渲染模块116。场景渲染模块116使用上述每一帧的第一像素对每个视频数据帧中的焦点状态数据进行编码。以这种方式，用于在显示模块108上显示的每个视频数据帧包括用于将光学块110设置为将导致相应帧被无失真地显示的焦点状态的数据。
在本公开中，应当理解，除非另有隐含或明确理解或说明，否则以单数形式出现的词包含其复数对应物，并且以复数形式出现的词包含其单数对应物。例如，除非上下文另有说明，否则诸如“一个(a)”或“一个(an)”等单数引用表示“一个或多个”。此外，应当理解，对于本文所述的任何给定组件或实施例，除非以其他方式隐含或明确地理解或说明，否则为该组件而列出的任何可能候选或替代方案通常可以个体地使用或彼此组合使用。此外，应当理解，除非隐含地或明确地理解或另有说明，否则这样的候选或替代方案的任何列表仅是说明性的而非限制性的。还应当理解，在适当的情况下，为了便于理解，贯穿附图的若干视图，相似的附图标记可以指代相应的部分。
在本说明书的整个描述和权利要求中，词语“包括(comprise)”、“包括(including)”、“具有(having)”和“包含(contain)”以及该词语的变体(例如，“包括(comprising)”和“包括(comprises)”等)表示“包括”但不限于”，并且不打算(也不)排除其他组件。
应当理解，可以对本发明的前述实施例进行变型，同时仍然落入如所附权利要求中限定的本发明的范围内。除非另有说明，否则本说明书中公开的每个特征可以被替换为用于相同、等效或相似目的的替代特征。因此，除非另有说明，否则所公开的每个特征仅是等效或类似特征的一般系列的一个示例。
除非另有说明，否则本文中提供的任何和所有示例或示例性语言(“例如(forinstance)”、“诸如(such as)”、“例如(for example)”、“例如(e.g.)”和类似语言)的使用仅旨在更好地说明本发明并且不表示对本发明的范围的限制。
本说明书中描述的任何步骤可以以任何顺序或同时执行，除非另有说明或上下文另有要求。
本说明书中公开的所有特征可以以任何组合进行组合，除了其中至少一些这样的特征和/或步骤是相互排斥的组合。特别地，本发明的优选特征适用于本发明的所有方面并且可以以任何组合使用。同样，在非必要组合中描述的特征可以单独使用(而不是组合使用)。

Claims (15)

1.一种头戴式显示器HMD，包括：
显示模块，用于提供图像光；
光学块，被配置为从所述显示模块接收所述图像光并且提供由所述图像光携带的虚拟图像，所述光学块具有多个焦点状态，每个焦点状态对应于所显示的虚拟图像的不同焦平面；
变焦模块，被配置为能够在所述多个焦点状态中的不同焦点状态之间选择性地切换所述光学块；以及
控制器，被配置为：
接收用于由所述HMD显示的视频数据帧，所述帧包括编码在所述帧的第一像素中的像素数据，所述像素数据指示所述光学块的所述多个焦点状态中的一个焦点状态；并且，在使用所述HMD显示所述帧之前：
读取所述像素数据；以及
使用所述变焦模块将所述光学块设置为由所述像素数据指示的所述焦点状态。
2.根据权利要求1所述的HMD，其中所述第一像素位于所述帧的可显示区域之外。
3.根据权利要求1或权利要求2所述的HMD，包括眼睛跟踪模块，所述眼睛跟踪模块用于确定用户的眼睛位置或定向中的至少一者以产生眼睛跟踪数据，其中所述光学块的所述焦点状态至少部分基于所述眼睛跟踪数据而被确定。
4.根据任一前述权利要求所述的HMD，其中所述变焦模块包括光学元件，所述光学元件能够相对于所述显示模块移动以改变所述变焦模块与所述显示模块之间的距离。
5.根据任一前述权利要求所述的HMD，其中所述变焦模块包括具有可控光焦度的变焦光学元件；
可选地，其中所述变焦光学元件包括以下中的至少一项：变形聚合物透镜、液体透镜、Alvarez-Lohmann透镜、可变形膜镜、液晶(电活性)透镜、仅相位空间光调制器(SLM)或Pancharatnam-Berry(PB)可切换透镜。
6.一种控制头戴式显示器HMD的方法，所述方法包括：
获取包括用于由所述HMD显示的帧的视频数据；以及
将第一像素数据编码到所述帧的第一像素中，所编码的第一像素数据指示用于显示所述帧的所述HMD的光学块的焦点状态，所述焦点状态选自所述光学块的多个焦点状态，每个焦点状态对应于基于所述视频数据的所述帧而生成的虚拟图像的不同焦平面。
7.根据权利要求6所述的方法，其中所述第一像素位于所述帧的可显示区域之外。
8.根据权利要求6或权利要求7所述的方法，包括获取所述视频数据并且将所述第一像素数据编码到多个视频数据帧中的每一帧的第一像素中。
9.根据权利要求6至8中任一项所述的方法，包括读取编码在所述帧的所述第一像素中的所述第一像素数据，并且在显示所述帧之前，将所述光学块设置为由编码在所述第一像素中的所述第一像素数据所指示的所述焦点状态；
可选地，其中将所述光学块设置为所述焦点状态是在所述HMD的所述显示模块基本不发光的时间段内执行的；
可选地，其中将所述光学块设置为由所述第一像素数据所指示的所述焦点状态包括：改变所述光学块的光学元件与所述HMD的显示模块之间的距离；
可选地，其中将所述光学块设置为由所述第一像素数据所指示的所述焦点状态包括：改变所述光学块的变焦光学元件的光焦度。
10.根据权利要求6至9中任一项所述的方法，其中对所述第一像素数据进行编码包括：设置包括所述第一像素的颜色坐标或亮度中的至少一项的参数，其中所述参数的值指示所述光学块的所述多个焦点状态中的一个焦点状态。
11.根据权利要求6至10中任一项所述的方法，包括使用眼睛跟踪器来确定用户的眼睛位置或定向中的至少一者以产生眼睛跟踪数据，其中所述光学块的所述焦点状态至少部分基于所述眼睛跟踪数据而被确定。
12.一种控制头戴式显示器HMD的方法，所述方法包括：
获取用于由所述HMD显示的多个视频帧，其中第一数据使用位于使用所述HMD的可显示的区域之外的第一像素而被编码到所述多个视频帧中的至少一个视频帧中，所述第一数据指示用于显示所述至少一个视频帧的所述HMD的光学块的焦点状态；以及
在显示所述至少一个视频帧之前，将所述光学块设置为由所述第一数据所指示的所述焦点状态；以及
通过所述HMD的显示模块显示所述至少一个视频帧，其中所述光学块被设置为由所述第一数据所指示的焦点状态。
13.根据权利要求12所述的方法，包括使用眼睛跟踪器来确定用户的眼睛位置或定向中的至少一者以产生眼睛跟踪数据，其中所述光学块的所述焦点状态至少部分基于所述眼睛跟踪数据而被确定。
14.根据权利要求12或权利要求13所述的方法，其中所述焦点状态选自所述光学块的多个焦点状态，并且其中所述第一数据被编码为包括所述第一像素的颜色坐标或亮度中的至少一项的参数的值，所述参数的所述值指示所述光学块的所述多个焦点状态中的一个焦点状态。
15.根据权利要求12至14中任一项所述的方法，并且有以下中的一项或多项：
其中将所述光学块设置为由所述第一数据所指示的所述焦点状态包括：改变所述光学块的光学元件与所述HMD的显示模块之间的距离；
其中将所述光学块设置为由所述第一像素数据指示的所述焦点状态包括：改变所述光学块的变焦光学元件的光焦度。
CN202080052713.6A 2019-09-19 2020-08-08 近眼显示器中的图像帧同步 Pending CN114175628A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962902538P 2019-09-19 2019-09-19
US62/902,538 2019-09-19
US16/696,135 US10989927B2 (en) 2019-09-19 2019-11-26 Image frame synchronization in a near eye display
US16/696,135 2019-11-26
PCT/US2020/045542 WO2021055117A1 (en) 2019-09-19 2020-08-08 Image frame synchronization in a near eye display

Publications (1)

Publication Number Publication Date
CN114175628A true CN114175628A (zh) 2022-03-11

Family

ID=74880791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080052713.6A Pending CN114175628A (zh) 2019-09-19 2020-08-08 近眼显示器中的图像帧同步

Country Status (5)

Country Link
US (1) US10989927B2 (zh)
EP (1) EP4031926A1 (zh)
JP (1) JP2022548346A (zh)
CN (1) CN114175628A (zh)
WO (1) WO2021055117A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024058783A (ja) * 2022-10-17 2024-04-30 キヤノン株式会社 制御装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187115A1 (en) * 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles
CN104798370A (zh) * 2012-11-27 2015-07-22 高通股份有限公司 用于产生3-d全光视频图像的系统和方法
US20170160798A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Focus adjustment method for a virtual reality headset
US20170262054A1 (en) * 2016-03-11 2017-09-14 Oculus Vr, Llc Focus adjusting headset
CN108369325A (zh) * 2015-12-08 2018-08-03 欧库勒斯虚拟现实有限责任公司 焦点调整虚拟现实耳机
WO2019072363A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. TUNABLE FOCUS OPTICAL SYSTEM AND MULTI-FOCAL DISPLAY DEVICE

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100350792C (zh) * 2004-04-14 2007-11-21 奥林巴斯株式会社 摄像装置
WO2009066465A1 (ja) * 2007-11-20 2009-05-28 Panasonic Corporation 画像表示装置、その表示方法、プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、双眼鏡、及び卓上型ディスプレイ
EP2110702B1 (en) * 2008-04-16 2012-03-14 STMicroelectronics (Research & Development) Limited Compact optical zoom with extended depth of field through wavefront coding using a phase mask
WO2014062912A1 (en) * 2012-10-18 2014-04-24 The Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
US9860537B2 (en) * 2014-12-16 2018-01-02 Intel Corporation Multi-focus image data compression
US9995857B2 (en) * 2015-04-03 2018-06-12 Avegant Corp. System, apparatus, and method for displaying an image using focal modulation
US10379356B2 (en) * 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10429647B2 (en) * 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
US10610775B1 (en) * 2017-01-04 2020-04-07 Facebook Technologies, Llc Actuation for a focus adjusting head mounted display
CA3049379A1 (en) * 2017-01-05 2018-07-12 Philipp K. Lang Improved accuracy of displayed virtual data with optical head mount displays for mixed reality
US10330936B2 (en) * 2017-01-19 2019-06-25 Facebook Technologies, Llc Focal surface display
WO2018156523A1 (en) * 2017-02-21 2018-08-30 Oculus Vr, Llc Focus adjusting multiplanar head mounted display
WO2019072360A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. VARIFOCAL OPTICAL SYSTEM
US11204491B2 (en) * 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104798370A (zh) * 2012-11-27 2015-07-22 高通股份有限公司 用于产生3-d全光视频图像的系统和方法
US20150187115A1 (en) * 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles
US20170160798A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Focus adjustment method for a virtual reality headset
CN108369325A (zh) * 2015-12-08 2018-08-03 欧库勒斯虚拟现实有限责任公司 焦点调整虚拟现实耳机
US20170262054A1 (en) * 2016-03-11 2017-09-14 Oculus Vr, Llc Focus adjusting headset
WO2019072363A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. TUNABLE FOCUS OPTICAL SYSTEM AND MULTI-FOCAL DISPLAY DEVICE

Also Published As

Publication number Publication date
EP4031926A1 (en) 2022-07-27
JP2022548346A (ja) 2022-11-18
US10989927B2 (en) 2021-04-27
WO2021055117A1 (en) 2021-03-25
US20210088787A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US10983354B2 (en) Focus adjusting multiplanar head mounted display
US11106276B2 (en) Focus adjusting headset
US11669160B2 (en) Predictive eye tracking systems and methods for foveated rendering for electronic displays
US10317680B1 (en) Optical aberration correction based on user eye position in head mounted displays
US10241569B2 (en) Focus adjustment method for a virtual reality headset
KR102038379B1 (ko) 초점 조정 가상 현실 헤드셋
US9984507B2 (en) Eye tracking for mitigating vergence and accommodation conflicts
US10871825B1 (en) Predictive eye tracking systems and methods for variable focus electronic displays
US10598941B1 (en) Dynamic control of optical axis location in head-mounted displays
EP3179289B1 (en) Focus adjusting virtual reality headset
US10819898B1 (en) Imaging device with field-of-view shift control
US11906750B1 (en) Varifocal display with actuated reflectors
US10698218B1 (en) Display system with oscillating element
US10989927B2 (en) Image frame synchronization in a near eye display
CN117957479A (zh) 使用空间定位的自由形式光学部件进行失真补偿和图像清晰度增强的紧凑型成像光学器件
US20210294119A1 (en) Display apparatus for rendering three-dimensional image and method therefor
US10859832B1 (en) Mitigating light exposure to elements of a focus adjusting head mounted display
US10623743B1 (en) Compression of captured images including light captured from locations on a device or object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC