CN117836693A - 具有光学模块校准的头戴式显示系统 - Google Patents

具有光学模块校准的头戴式显示系统 Download PDF

Info

Publication number
CN117836693A
CN117836693A CN202280054754.8A CN202280054754A CN117836693A CN 117836693 A CN117836693 A CN 117836693A CN 202280054754 A CN202280054754 A CN 202280054754A CN 117836693 A CN117836693 A CN 117836693A
Authority
CN
China
Prior art keywords
eye
image
optical assembly
optical
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280054754.8A
Other languages
English (en)
Inventor
J·L·斯卢佩克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN117836693A publication Critical patent/CN117836693A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

头戴式设备可具有光学模块(光学组件),该光学模块可滑动地耦合到导轨并使用相应的左定位器及右定位器进行定位。每个光学模块可具有显示器,该显示器被配置为通过透镜在相应的适眼区中显示图像。相机可设置在每个光学模块中。该设备的该相机可用于测量眼睛特性,诸如眼睛张开角度、眼睑张开大小、角膜直径和瞳孔距离,并且这些特性可用于测量光学模块随时间的位置变化。该设备还可具有基于电极阵列的光学模块位置传感器,该电极阵列由该光学模块上的光学模块电极接触。控制电路可执行图像扭曲操作以确保针对光学模块位置的所测量的变化来补偿所显示的图像。

Description

具有光学模块校准的头戴式显示系统
本申请要求2021年8月6日提交的美国临时专利申请63/230,625号的优先权,该申请据此以引用的方式全文并入本文。
技术领域
本公开整体涉及电子设备,并且更具体地涉及诸如头戴式设备的电子设备。
背景技术
诸如头戴式设备的电子设备可具有诸如用于向用户提供视觉内容的显示器之类的部件。
发明内容
头戴式设备可具有安装在头戴式外壳中的光学模块。每个光学模块(有时可称为光学组件)均可具有显示器,该显示器被配置为通过透镜在相应的适眼区中显示图像。该光学模块可以可滑动地耦合到导轨。左定位器和右定位器可用于沿着该导轨调整该光学模块的位置。
每个光学模块可具有一个或多个相机和/或其他传感器。光学模块相机可用于从该适眼区捕获眼睛图像以测量眼睛特性,诸如眼睛张开角度、眼睑张开大小、角膜直径和瞳孔距离。该眼睛特性可在该头戴式设备的使用期间的不同时间进行测量(例如,在诸如用户在该设备注册的第一时间和晚于该第一时间的第二时间)。
因为该用户的眼睛特性趋向于随时间推移保持恒定,所以该用户的眼睛特性可用作参考点来检测该光学模块中的未对准情况。所测量的眼睛特性可用于评估设备是否已经历光学模块位置随时间的变化。例如,所测量的眼睛张开角度的变化可用于确定光学模块是否已经相对于其原始取向变得歪斜。
如果需要,该头戴式设备可具有基于电极阵列的光学模块位置传感器,该电极阵列由该光学模块上的光学模块电极接触(例如,当该光学模块沿着该导轨滑动到其行程的极限时)。利用这些传感器的位置测量可用于确定光学模块位置是否已经发生移位。
控制电路可执行图像扭曲操作,以确保针对光学模块位置的所测量的变化(例如,使用所捕获的图像检测到的未对准和/或使用电极阵列光学模块位置传感器检测到的未对准)补偿所显示的图像。
附图说明
图1是根据实施方案的具有头戴式设备的例示性系统的示意图。
图2是根据实施方案的例示性头戴式设备的顶视图。
图3是根据实施方案的由光学模块传感器在适眼区中测量的一组例示性眼睛的前视图。
图4是根据实施方案的具有光学模块位置传感器的例示性头戴式设备的后视图。
图5是根据实施方案的例示性光学模块位置传感器电极阵列的平面图。
图6是根据实施方案的与使用电子设备相关联的例示性操作的流程图。
具体实施方式
诸如头戴式设备的电子设备可包括用于向用户呈现视觉内容的显示器。在例示性布置中,头戴式设备具有安装在左光学模块和右光学模块中的显示器和透镜。左光学模块和右光学模块分别向左适眼区和右适眼区提供左图像和右图像,以供用户的左眼和右眼观看。可调整左光学模块与右光学模块之间的距离以适应不同的用户瞳孔距离。
当头戴式设备暴露于过度应力或滥用时,诸如当头戴式设备经历不期望的掉落事件时,存在头戴式设备中的光学模块可能变得未对准的风险。为了确保满意地向用户的眼睛所在的适眼区提供图像,头戴式设备可采集眼睛图像和/或其他传感器数据,且可处理此传感器数据以检测随时间的变化。如果检测到变化,则可以扭曲和/或以其他方式调整图像以补偿任何所检测的变化。作为示例,如果确定左眼图像已经由于掉落事件引起的光学模块倾斜而在顺时针方向上倾斜了1°,则设备中的控制电路可调整提供给左显示器的图像数据,使得左图像以数字方式旋转补偿量(例如,在该示例中在顺时针方向上的1°)。通过以数字方式补偿光学模块中所检测的未对准状况,可向用户呈现满意地对准的图像。
在图1中示出了包括头戴式设备的例示性系统的示意图。如图1所示,系统8可以包括一个或多个电子设备诸如电子设备10。系统8的电子设备可以包括计算机、蜂窝电话、头戴式设备、腕表设备和其他电子设备。其中电子设备10是头戴式设备的配置有时在本文中作为示例进行描述。
如图1所示,电子设备诸如电子设备10可以具有控制电路12。控制电路12可以包括用于控制设备10的操作的存储和处理电路。电路12可以包括存储装置,诸如硬盘驱动器存储装置、非易失性存储器(例如,被配置为形成固态驱动器的电可编程只读存储器)、易失性存储器(例如,静态或动态随机存取存储器)等。控制电路12中的处理电路可以基于一个或多个微处理器、微控制器、数字信号处理器、基带处理器、功率管理单元、音频芯片、图形处理单元、专用集成电路以及其他集成电路。软件代码可存储在电路12中的存储装置上,并且在电路12中的处理电路上运行,以实现用于设备10的控制操作(例如,数据采集操作、涉及使用控制信号调节设备10的部件的操作等)。控制电路12可以包括有线和无线通信电路。例如,控制电路12可包括射频收发器电路,诸如蜂窝电话收发器电路、无线局域网收发器电路(例如,电路)、毫米波收发器电路、和/或其他无线通信电路。
在操作期间,系统8中的设备的通信电路(例如,设备10的控制电路12的通信电路)可以被用于支持电子设备之间的通信。例如,一个电子设备可以将视频数据、音频数据和/或其他数据传输给系统8中的另一电子设备。系统8中的电子设备可以使用有线和/或无线通信电路来通过一个或多个通信网络(例如,互联网、局域网等)进行通信。通信电路可以被用于允许设备10从外部装备(例如,拴系计算机、便携式设备诸如手持设备或膝上型计算机、在线计算装备诸如远程服务器或其他远程计算装备、或其他电气装备)接收数据和/或向外部装备提供数据。
设备10可以包括输入-输出设备22。输入-输出设备22可以被用于允许用户为设备10提供用户输入。输入-输出电路22可以也被用于采集有关设备10在其中操作的环境的信息。电路22中的输出部件可以允许设备10向用户提供输出,并且可以被用于与外部电气装备通信。
输入-输出设备22可包括一个或多个显示器。在一些配置中,设备10包括左显示设备和右显示设备。这些显示设备可包括扫描镜显示设备或其他图像投影仪、硅基液晶显示设备、数字镜设备或其他反射显示设备、基于发光二极管像素阵列的左显示面板和右显示面板(诸如,基于由晶体半导体发光二极管管芯形成的像素阵列的有机发光显示面板或显示设备)、液晶显示面板、和/或分别向左适眼区和右适眼区提供图像以供用户的左眼和右眼观看的其他左显示设备和右显示设备。
在操作期间,控制电路12使用显示器来向设备10的用户提供视觉内容(例如,控制电路12向显示器提供数字图像数据)。在显示器上呈现的内容有时可以被称为显示图像内容、显示图像、计算机生成的内容、计算机生成的图像、虚拟内容、虚拟图像或虚拟对象。
显示图像可在不存在现实世界内容的情况下显示,或者可与现实世界图像组合。在一些配置中,现实世界内容可由相机(例如,前向相机,有时称为前向相机)捕获,使得计算机生成的内容可以电子方式覆盖在该现实世界图像的部分上(例如,当设备10是一副具有不透明显示屏的虚拟现实护目镜的情况下)。在其他配置中,光学组合系统可用于允许计算机生成的内容光学覆盖在现实世界图像的顶部上。利用这种方法,设备10具有光学系统,该光学系统通过具有全息输出耦合器或其他光学耦合器的波导向用户提供显示图像,同时允许用户通过波导和光学耦合器观看现实世界图像。本文中有时描述设备10的例示性布置,其中设备10不包括此类光学耦合器(例如,描述设备10的例示性布置,其中左光学模块及右光学模块用于显示计算机生成的内容和/或(如果需要)来自前向相机的直通视频)。
输入-输出设备22可以包括传感器16。传感器16可包括例如三维传感器(例如,三维图像传感器,诸如发射光束并且使用二维数字图像传感器从在目标被该光束照射时生成的光点采集用于三维图像的图像数据的结构化光传感器、使用双目成像布置中的两个或更多个相机采集三维图像的双目三维图像传感器、三维激光雷达(光探测及测距)传感器、三维射频传感器、或采集三维图像数据的其他传感器)、相机(例如,红外和/或可见光数字图像传感器)、视线跟踪传感器(例如,基于图像传感器、并且如果需要的话还基于光源的视线跟踪系统,该光源发射一个或多个光束,该光束在从用户的眼睛反射之后使用图像传感器进行跟踪)、触摸传感器、电容式接近传感器、基于光的(光学)接近传感器、其他接近传感器、力传感器、诸如基于开关的接触传感器的传感器、气体传感器、压力传感器、湿度传感器、磁传感器、音频传感器(麦克风)、环境光传感器、用于采集语音命令和其他音频输入的麦克风、被配置为采集关于运动、位置和/或取向的信息的传感器(例如,加速度计、陀螺仪、罗盘、和/或包括所有这些传感器或这些传感器中一者或两者的子组的惯性测量单元)、和/或其他传感器。为了帮助确定诸如设备10中的光学模块之类的部件是否应当针对未对准进行补偿,传感器22可包括诸如视线跟踪传感器之类的眼睛传感器、面向用户的眼睛以捕获眼睛图像的视觉和/或红外图像传感器(相机)、基于可由光学模块电极接触的电极阵列的光学模块未对准(倾斜)传感器(有时称为光学模块位置传感器)、和/或采集指示设备10的光学模块是否已经改变位置的信息的其他传感器。如果检测到光学模块位置(以及因此显示器相对位置)的变化,则设备10的控制电路可调整提供给显示器的图像数据,使得由设备10的左显示器和右显示器产生的左图像和右图像与用户的右眼和左眼对准(当用户的右眼和左眼位于右适眼区和左适眼区中时)。
为了允许用户控制设备10,可使用传感器和输入-输出设备22中的其他输入设备来采集用户输入和其他信息。如果需要,输入-输出设备22可包括设备,诸如触觉输出设备(例如,振动部件)、发光二极管和其他光源、扬声器(诸如用于产生音频输出的耳用扬声器)、用于接收无线功率的电路、用于将功率无线地传输到其他设备的电路、电池和其他能量存储设备(例如,电容器)、操纵杆、按钮和/或其他部件。
电子设备10可具有外壳结构(例如,外壳壁、条带等),如图1的例示性头戴式支撑结构26所示。在电子设备10是头戴式设备(例如,一副眼镜、护目镜、头盔、帽子等)的配置中,支撑结构26可包括头戴式支撑结构(例如,头盔外壳、头带、一副眼镜中的镜腿和其他眼镜框架结构、护目镜外壳结构、和/或其他头戴式支撑结构)。头戴式支撑结构(有时可称为头戴式支撑件)可被配置为在设备10的操作期间被戴在用户的头部上,并且可支撑显示器、传感器16、其他输入-输出设备22和控制电路12。
图2是电子设备10是头戴式设备的例示性配置中电子设备10的顶视图。如图2所示,电子设备10可包括头戴式支撑结构26,以容纳设备10的部件并将设备10支撑在用户的头部上。支撑结构26可包括例如在设备10的前面形成外壳壁和其他结构的结构(例如,有时称为头戴式设备外壳或主单元)、以及帮助将主单元和主单元中的部件保持在用户面部上以使得用户的眼睛位于适眼区30内的诸如头带或其他条带、镜腿之类的附加结构或其他补充支撑结构(有时称为外壳结构)。
在设备10的操作期间,在适眼区30中向用户的眼睛呈现图像。适眼区30包括接收左图像的左适眼区和接收右图像的右适眼区。设备10可包括向左适眼区呈现左图像的具有左显示器14的左显示系统以及向右适眼区呈现右图像的具有右显示器14的右显示系统。在例示性配置中,每个显示器(有时称为像素阵列)均与相关联透镜24一起安装于相应的光学模块28中(例如,安装于由金属、聚合物和/或其他材料或其他合适的光学模块外壳形成的透镜中,有时称为光学组件或支撑结构)。诸如传感器16的部件(例如,诸如当用户的眼睛位于适眼区30中时捕获用户的眼睛的图像的可见光相机和/或红外相机的眼睛传感器、视线跟踪传感器和/或其他眼睛感测部件)也可安装在光学模块(光学组件)28中(例如,在与显示器相同的光学模块外壳中,在这些传感器可通过透镜24操作和/或在这些传感器可在从适眼区30采集数据时绕过透镜24的位置处)。如果需要,设备10还可包含安装在设备10中的其他位置处的传感器16。
如图2所示,设备10的左光学模块和右光学模块28以及安装在这些模块的外壳中的显示器和传感器16可面向设备10的后部,使得将相应的左图像和右图像提供给适眼区30,并且使得可从适眼区采集左眼测量结果和右眼测量结果。呈现给适眼区30的图像可包括计算机生成的内容(例如,虚拟图像,有时称为虚拟内容),并且可包括来自前向相机的直通图像(有时称为现实世界内容)。
用户的眼睛的特性倾向于不随时间发生变化。例如,用户的瞳孔距离趋向于保持恒定。类似地,用户的角膜直径、眼睛张开形状、眼睛张开角度和其他眼睛属性趋向于保持恒定。结果,用户面部的这些特征可被设备10用作参考点。在注册过程期间,当设备10最初与新用户相关联时或者在另一合适的时间,设备10可测量用户的眼睛特性并且可存储这些测量结果。在使用设备10期间的一个或多个稍后的时间,设备10可重新测量用户的眼睛特性。如果检测到任何变化,则可假设光学模块的位置已发生漂移(例如,由于掉落事件或其他过度应力),且可对正由设备10显示的图像执行补偿图像处理技术(例如,补偿图像扭曲)以补偿此所检测的未对准。例如,控制电路12可对提供给显示器14的图像数据应用几何变换以补偿由于显示器14相对于其标称位置的移位和/或旋转而引起的图像失真(例如,梯形失真、倾斜、图像尺寸缩小或放大、图像位置移位等)。眼睛测量和对设备10正在使用的任何补偿图像变换的更新可在设备10每次通电(和/或断电)时进行,可响应于用户输入而进行,可周期性地进行(例如,以定期的预定间隔),可响应于用传感器16中的加速度计检测到掉落事件或响应于检测到其他高应力条件而进行,和/或可响应于检测到满足其他合适的校准标准而进行。
在例示性配置中,图像传感器16(在红外和/或可见波长下操作的相机)可用于捕获眼睛图像以供控制电路12进行处理。图像传感器可安装在相应的左光学模块和右光学模块28中,并且因此可用于测量模块28相对于用户的眼睛是否已经有任何移动。眼睛图像可捕获并存储为图像数据,和/或可在已经执行图像处理以提取眼睛特性之后存储。可使用传感器16测量的眼睛特性的示例在图3中示出,并且包括瞳孔距离D2(有时称为眼睛间距)、眼睛张开角度A1、眼睑张开大小D1和角膜直径D3。眼睛图像和/或其他眼睛测量结果可揭示眼睛是否已经移位了表观位置(例如,通过在X维度、Y维度和/或Z维度上平移)和/或是否存在指示围绕X轴、Y轴和/或Z轴的旋转的眼睛图像失真(例如,梯形失真或倾斜)。因为图像传感器安装在与显示器14相同的光学模块中,所以可假设眼睛的表观位置(假设其处于用户面部上的稳定位置)的任何移位和/或旋转是光学模块(及其显示器和透镜)的实际提升位置发生不期望的移位和/或旋转的结果。作为示例,如果测量到用户的左眼已经水平移动了1mm,则可得出结论,实际上,包含进行该测量的眼睛传感器的光学模块已经水平移动了1mm。为了补偿光学模块的这种所测量的未对准(这将不仅影响由图像传感器或其他眼睛传感器检测到的图像,而且影响由该光学模块的显示器显示的图像),控制电路12可以数字方式处理提供给光学模块的显示器的图像(例如,通过对提供给显示器的图像数据应用图像扭曲,使得图像在位置上被水平地数字移位1mm,以补偿光学模块的所检测的水平移动的1mm)。以此方式,用户的眼睛充当已知参考点,这允许对呈现给用户的图像进行数字处理,以补偿通过测量用户眼睛的眼睛特性而检测到的光学模块未对准。
图4示出了可用于在设备10中维持满意的图像对准的附加传感器。在图4的示例中,每个光学模块具有位于光学模块左侧的一个或多个左电极40和位于光学模块右侧的一个或多个右电极40。这些光学模块电极(有时可称为引脚或光学模块引脚)与由设备20的外壳26的相邻部分支撑的相应的目标电极阵列42对准。
电极阵列42(其有时可称为光学模块位置传感器电极阵列)包含金属贴片阵列、同心金属环和/或电极42E的其他阵列,如图5所示。如测量电路12'所示,控制电路12可用于测量给定电极阵列42中的每个电极42E与对应的光学模块电极(引脚)40之间的电阻。光学模块28可在由控制电路12控制的电调节定位器52的控制下沿着一个或多个导轨(诸如导轨50)滑动。当需要测量光学模块28的对准度时,光学模块28朝向其内部行程极限向内移动(使得面向内的光学模块电极40在设备10的中心处接触相关联的阵列42)或者朝向其外部行程极限远离彼此向外移动(使得面向外的光学模块电极40在外壳26的左边缘和右边缘处接触相关联的阵列42)。
使用控制电路来测量给定阵列42中的电极42E中的每个电极与已接触该阵列42的相关联光学模块电极40之间的电阻,设备10可确定电极42E中的哪个电极已短接到电极40。以此方式,可测量模块28的位置变化(例如,未对准)。作为示例,考虑其中在光学模块上存在一个光学模块电极40的情形。最初,当设备10进行初始设置并且适当地对准时,光学模块电极40将在图5的位置P1处接触电极42E(作为示例)。在掉落事件之后,光学模块移动,从而导致利用使用阵列42和电极40形成的位置传感器进行后续测量,以揭示位置P2处的电极42E由电极40接触。然后由控制电路12计算由电极40从阵列42上的位置P1到位置P2的所测量的移动所表示的光学模块28的未对准量,并且对提供给未对准光学模块中的显示器的图像数据执行相应的补偿数字图像扭曲操作。可通过在每个光学模块的每一侧上使用两个或三个电极40来采集关于光学模块未对准的附加信息。作为示例,如果存在与阵列42的电极接触的两个光学模块电极40,则阵列将测量两个对应的位置P1,并且其位置将反映光学模块28围绕X轴的任何旋转。
电极阵列42可具有以行和列布置的电极42E和/或可具有其他合适的电极布局(例如,具有环形电极的配置、具有径向延伸的电极图案的配置等)。图5的例示性位置传感器电极阵列42的电极图案仅仅是例示性的。图4的电路(例如,控制电路12中的电阻测量电路12'、位置传感器电极阵列42及其电极42E以及光学模块电极40)形成能够检测光学模块移动(例如,由于掉落事件等引起的移动运)的位置传感器(有时称为光学模块位置传感器或光学模块对准传感器)。如果需要,使用该测量电路进行的光学模块对准测量可与使用用户的眼睛作为参考进行的光学模块对准测量结合使用(例如,来自光学模块相机的眼睛测量数据和来自阵列42的光学模块位置传感器测量可在传感器融合布置中组合以帮助提高测量精度)。一般来说,控制电路12可基于光学模块相机测量结果、光学模块位置传感器电极阵列测量结果和/或其他传感器数据来调整来自显示器14的所显示的图像。
图6是与使用设备10相关联的例示性操作的流程图。
在框60的操作期间,用户可在设备10注册。例如,用户可向设备10提供用户名和密码、生物识别凭证和/或其他标识信息。在该过程期间,假设光学模块的初始位置是正确的(例如,假设模块28已经在正常公差内制造,使得光学模块28满意地对准)。因此,眼相机和/或其他眼传感器可用于测量用户的眼睛以供稍后用作确定模块28是否已移动的参考点。眼睛测量结果可包括用户特定的特性,诸如角膜大小、眼睑张开大小、瞳孔距离、眼睛张开角度等,并且可存储为图像和/或可存储为经处理的数据(例如,参见图3的D1、D2、D2和A1的所测量的值,其可使用图像处理从眼睛图像中提取)。除了进行眼睛的测量以用作参考之外,设备10还可引导定位器52(图4)沿着导轨50将模块28移动到其最内侧和最外侧位置,同时使用电极阵列42和电极40作为位置传感器来测量光学模块28的位置(例如,模块28的对准),此时已知模块28满意地对准。
在一个或多个稍后的时间,在设备10已经被使用并且潜在地暴露于高应力条件和滥用(诸如掉落事件)之后,设备10可重新校准以补偿光学模块对准中的任何变化。特别地,在框62的操作期间,用户可向设备10提供用户的凭证以识别用户(例如,用户可登录到设备10)。基于用户的已知身份,设备10可检索用户的特定眼睛信息(对应于当光学模块28被适当地对准时所测量的用户的眼睛特性)。然后,可以在框64的操作期间测量用户眼睛的当前特性(例如,使用图像传感器来捕获眼睛图像等)。如果需要,还可通过使用诸如电极阵列42和电极40之类的光学模块位置传感器来评估光学模块对准情况。
在框66的操作期间,将模块28的当前所测量的对准(位置)与模块28的先前所测量的初始对准(位置)进行比较。可使用具有阵列42的用户眼睛特性测量和/或光学模块位置传感器测量。如果没有检测到偏差,则可将图像数据提供给模块28的显示器14而不进行改变。然而,如果检测到对准(位置)的变化(例如,如果检测到未对准),则可在框68的操作期间将补偿量的图像扭曲或其他数字图像处理应用于左光学模块和右光学模块的图像数据。以此方式,可补偿模块位置的变化(例如,沿X轴、Y轴和/或Z轴的移位和/或围绕X轴、Y轴和/或Z轴的旋转)(例如,通过使正显示的图像与由于所测量的对准变化而经历的图像失真相等且相反地扭曲)。仅作为一个示例,如果测量到用户的左眼的图像中的角度A1旋转2°,则用于左显示器的图像数据可相应地旋转2°以校正光学模块中的该未对准。以这种方式,即使光学模块的位置发生变化,提供给用户眼睛的图像也将保持对准。
在一些实施方案中,传感器可采集个人用户信息。为了确保保护用户的隐私,应当满足或超过所有适用的隐私规则,并且应当遵循用于处理个人用户信息的最佳实践。可以允许用户根据他们的偏好控制他们的个人信息的使用。
根据实施方案,提供了一种头戴式设备,该头戴式设备包括头戴式支撑件和光学组件,每个光学组件具有:透镜,通过该透镜能够从相关联的适眼区看到图像;传感器,该传感器被配置为测量相关联的适眼区中的眼睛特性;显示器,该显示器基于所测量的眼睛特性来调整图像。
根据另一实施方案,传感器包括图像传感器,该图像传感器被配置为捕获眼睛图像,所测量的眼睛特性是从所捕获的眼睛图像获得的,并且显示器基于来自眼睛图像的眼睛特性来调整图像以补偿光学组件的光学组件对准的变化。
根据另一实施方案,传感器包括图像传感器,该图像传感器被配置为捕获眼睛图像,所测量的眼睛特性是从所捕获的眼睛图像获得的并且包括眼睛张开角度和角膜直径。
根据另一实施方案,传感器包括图像传感器,该图像传感器被配置为通过将当光学组件正确地对准时采集的眼睛信息与当光学组件未对准时采集的眼睛信息进行比较来测量光学组件的对准变化。
根据另一实施方案,显示器被配置为扭曲图像以补偿所测量的对准变化。
根据另一实施方案,所测量的对准变化包括光学组件旋转远离期望的取向,并且显示器被配置为扭曲图像以补偿光学组件旋转。
根据另一实施方案,显示器被配置为扭曲图像,以使图像从光学组件旋转远离期望的取向旋转相等且相反的量。
根据另一实施方案,光学组件各自包括光学组件电极,该光学组件电极被配置为与相应的光学组件位置传感器电极阵列中的电极进行电接触。
根据另一实施方案,光学组件可滑动地耦合到导轨,并且头戴式设备包括定位器,该定位器被配置为移动光学组件,使得光学组件电极与位置传感器电极阵列接触。
根据另一实施方案,显示器被配置为基于来自位置传感器电极阵列的测量来调整图像。
根据另一实施方案,传感器包括图像传感器,所测量的眼睛特性包括眼睛张开角度,并且显示器被配置为通过将眼睛张开角度的当前所测量的版本与眼睛张开角度的先前所测量的版本进行比较来在扭曲图像时使用眼睛张开角度。
根据实施方案,提供了一种头戴式设备,该头戴式设备包括:头戴式支撑件;光学组件,该光学组件安装在头戴式支撑件中;光学组件位置传感器,该光学组件位置传感器具有电极阵列,该光学组件位置传感器被配置为测量光学组件的对准变化。
根据另一实施方案,光学组件具有相应的显示器和相应的左透镜和右透镜,来自左显示器和右显示器的左图像和右图像通过左透镜和右透镜分别提供给左适眼区和右适眼区。
根据另一实施方案,光学组件位置传感器包括光学组件电极,该光学组件电极被配置为与电极阵列中的电极接触。
根据另一实施方案,光学组件包括左光学组件和右光学组件,并且光学组件电极至少包括在左光学组件上的左光学组件电极和在右光学组件上的右光学组件电极,头戴式设备包括左定位器和右定位器,该左定位器被配置为移动左光学组件,使得左光学组件电极接触电极阵列中的第一电极阵列以进行左光学组件位置测量,该右定位器被配置为移动右光学组件,使得右光学组件电极接触电极阵列中的第二电极阵列以进行右光学组件位置测量。
根据另一实施方案,显示器被配置为执行图像扭曲操作。
根据另一实施方案,显示器被配置为基于所测量的对准变化而执行图像扭曲操作。
根据另一实施方案,头戴式设备包括在光学组件的第一光学组件中的被配置为捕获左眼图像的左相机和在光学组件的第二光学组件中的被配置为捕获右眼图像的右相机。
根据另一实施方案,头戴式设备包括在光学组件的第一光学组件中的被配置为捕获左眼图像的左相机和在光学组件的第二光学组件中的被配置为捕获右眼图像的右相机,左显示器和右显示器被配置为基于所测量的对准变化并且基于从所捕获的左眼图像和所捕获的右眼图像获得的眼睛特性来对准左图像和右图像。
根据实施方案,提供了一种头戴式设备,该头戴式设备包括头戴式支撑件和左光学组件和右光学组件,左光学组件和右光学组件在头戴式支撑件中,左光学组件和右光学组件具有相应的左透镜和右透镜,相应的左图像和右图像通过左透镜和右透镜提供给左适眼区和右适眼区,左相机和右相机被配置为分别从左适眼区捕获左眼图像和从右适眼区捕获右眼图像以测量对应的左眼特性和右眼特性,并且左显示器和右显示器被配置为基于在第一时间测量的左眼特性和右眼特性以及在第二时间测量的左眼特性和右眼特性之间的比较来调整左图像和右图像。
前述内容仅为例示性的并且可对所述实施方案作出各种修改。前述实施方案可独立实施或可以任意组合实施。

Claims (20)

1.一种头戴式设备,所述头戴式设备包括:
头戴式支撑件;和
光学组件,每个所述光学组件具有:透镜,通过所述透镜能够从相关联的适眼区看到图像;传感器,所述传感器被配置为测量所述相关联的适眼区中的眼睛特性;和显示器,所述显示器基于所测量的眼睛特性来调整所述图像。
2.根据权利要求1所述的头戴式设备,其中,所述传感器包括图像传感器,所述图像传感器被配置为捕获眼睛图像,其中,所测量的眼睛特性是从所捕获的眼睛图像获得的,并且其中,所述显示器基于来自所述眼睛图像的所述眼睛特性来调整所述图像以补偿所述光学组件的光学组件对准的变化。
3.根据权利要求1所述的头戴式设备,其中,所述传感器包括图像传感器,所述图像传感器被配置为捕获眼睛图像,其中,所测量的眼睛特性是从所捕获的眼睛图像获得的并且包括眼睛张开角度和角膜直径。
4.根据权利要求1所述的头戴式设备,其中,传感器包括图像传感器,所述图像传感器被配置为:通过将当所述光学组件正确地对准时采集的眼睛信息与当所述光学组件未对准时采集的眼睛信息进行比较来测量所述光学组件的对准变化。
5.根据权利要求4所述的头戴式设备,其中,所述显示器被配置为扭曲所述图像以补偿所测量的对准变化。
6.根据权利要求4所述的头戴式设备,其中,所测量的对准变化包括光学组件旋转远离期望的取向,并且其中,所述显示器被配置为扭曲所述图像以补偿所述光学组件旋转。
7.根据权利要求6所述的头戴式设备,其中,所述显示器被配置为扭曲所述图像,以使所述图像从所述光学组件旋转远离所述期望的取向旋转相等且相反的量。
8.根据权利要求1所述的头戴式设备,其中,所述光学组件各自包括光学组件电极,所述光学组件电极被配置为与相应的光学组件位置传感器电极阵列中的电极进行电接触。
9.根据权利要求8所述的头戴式设备,其中,所述光学组件可滑动地耦合到导轨,并且其中,所述头戴式设备包括定位器,所述定位器被配置为移动所述光学组件,使得所述光学组件电极与所述位置传感器电极阵列接触。
10.根据权利要求9所述的头戴式设备,其中,所述显示器被配置为基于来自所述位置传感器电极阵列的测量结果来调整所述图像。
11.根据权利要求1所述的头戴式设备,其中,所述传感器包括图像传感器,其中,所测量的眼睛特性包括眼睛张开角度,并且其中,所述显示器被配置为:通过将所述眼睛张开角度的当前所测量的版本与所述眼睛张开角度的先前所测量的版本进行比较来在扭曲所述图像时使用所述眼睛张开角度。
12.一种头戴式设备,所述头戴式设备包括:
头戴式支撑件;
光学组件,所述光学组件安装在所述头戴式支撑件中;和
光学组件位置传感器,所述光学组件位置传感器具有电极阵列,其中,所述光学组件位置传感器被配置为测量所述光学组件的对准变化。
13.根据权利要求12所述的头戴式设备,其中,所述光学组件具有相应的显示器和相应的左透镜和右透镜,来自左显示器和右显示器的左图像和右图像通过所述左透镜和所述右透镜分别提供给左适眼区和右适眼区。
14.根据权利要求13所述的头戴式设备,其中,所述光学组件位置传感器包括光学组件电极,所述光学组件电极被配置为与所述电极阵列中的电极接触。
15.根据权利要求14所述的头戴式设备,其中,所述光学组件包括左光学组件和右光学组件,并且其中,所述光学组件电极至少包括在所述左光学组件上的左光学组件电极和在所述右光学组件上的右光学组件电极,所述头戴式设备还包括:
左定位器,所述左定位器被配置为移动所述左光学组件,使得所述左光学组件电极接触所述电极阵列中的第一电极阵列以进行左光学组件位置测量;和
右定位器,所述右定位器被配置为移动所述右光学组件,使得所述右光学组件电极接触所述电极阵列中的第二电极阵列以进行右光学组件位置测量。
16.根据权利要求13所述的头戴式设备,其中,所述显示器被配置为执行图像扭曲操作。
17.根据权利要求13所述的头戴式设备,其中,所述显示器被配置为基于所测量的对准变化来执行图像扭曲操作。
18.根据权利要求13所述的头戴式设备,所述头戴式设备还包括:在所述光学组件的第一光学组件中的被配置为捕获左眼图像的左相机和在所述光学组件的第二光学组件中的被配置为捕获右眼图像的右相机。
19.根据权利要求13所述的头戴式设备,所述头戴式设备还包括在所述光学组件的第一光学组件中的被配置为捕获左眼图像的左相机和在所述光学组件的第二光学组件中的被配置为捕获右眼图像的右相机,其中,所述左显示器和所述右显示器被配置为:基于所测量的对准变化并且基于从所捕获的左眼图像和所捕获的右眼图像获得的眼睛特性来对准所述左图像和所述右图像。
20.一种头戴式设备,所述头戴式设备包括:
头戴式支撑件;和
左光学组件和右光学组件,所述左光学组件和所述右光学组件在所述头戴式支撑件中,其中,所述左光学组件和所述右光学组件具有相应的左透镜和右透镜,相应的左图像和右图像通过所述左透镜和所述右透镜提供给左适眼区和右适眼区,左相机和右相机被配置为:分别从所述左适眼区捕获左眼图像和从所述右适眼区捕获右眼图像以测量对应的左眼特性和右眼特性,并且左显示器和右显示器被配置为:基于在第一时间测量的所述左眼特性和所述右眼特性以及在第二时间测量的所述左眼特性和所述右眼特性之间的比较,调整所述左图像和所述右图像。
CN202280054754.8A 2021-08-06 2022-07-29 具有光学模块校准的头戴式显示系统 Pending CN117836693A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163230625P 2021-08-06 2021-08-06
US63/230,625 2021-08-06
PCT/US2022/038949 WO2023014617A1 (en) 2021-08-06 2022-07-29 Head-mounted display systems with optical module calibration

Publications (1)

Publication Number Publication Date
CN117836693A true CN117836693A (zh) 2024-04-05

Family

ID=83149610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280054754.8A Pending CN117836693A (zh) 2021-08-06 2022-07-29 具有光学模块校准的头戴式显示系统

Country Status (4)

Country Link
US (1) US20240168301A1 (zh)
EP (1) EP4356180A1 (zh)
CN (1) CN117836693A (zh)
WO (1) WO2023014617A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220277979A1 (en) * 2019-05-08 2022-09-01 Tokyo Electron Limited Bonding apparatus, bonding system, and bonding method
US20220223483A1 (en) * 2019-05-22 2022-07-14 Vuereal Inc. An alignment process for the transfer setup

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3049379A1 (en) * 2017-01-05 2018-07-12 Philipp K. Lang Improved accuracy of displayed virtual data with optical head mount displays for mixed reality
US10823970B2 (en) * 2018-08-23 2020-11-03 Apple Inc. Head-mounted electronic display device with lens position sensing

Also Published As

Publication number Publication date
US20240168301A1 (en) 2024-05-23
EP4356180A1 (en) 2024-04-24
WO2023014617A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US11126004B2 (en) Head-mounted electronic display device with lens position sensing
JP7480353B2 (ja) 自己混合型センサを備えたヘッドマウント電子デバイス
US20240168301A1 (en) Head-Mounted Display Systems With Optical Module Calibration
CN111971610B (zh) 具有主动光学视觉聚焦的头戴式设备
JP7332680B2 (ja) ウエハーツーウエハーボンディングのためのメサ形成
CN116209942A (zh) 具有应变仪计算的护目镜
US12061345B2 (en) Head-mounted electronic display device with lens position sensing
CN113534459A (zh) 用于头戴式设备的透镜安装结构
US11846782B1 (en) Electronic devices with deformation sensors
CN116783536A (zh) 包括推拉式透镜组的护目镜
US20230418019A1 (en) Electronic Device With Lens Position Sensing
CN113597357A (zh) 用于并行微图案化的微透镜阵列
WO2024006632A1 (en) Electronic device with lens position sensing
US20230067343A1 (en) Tunable transparent antennas implemented on lenses of augmented-reality devices
WO2022035166A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그의 촬영 방향을 제어하는 방법
CN117480470A (zh) Vr/ar界面的软跟随和俯仰角效果
CN113767272A (zh) 用于经济且简化的测试校准的摄像头支架
US12078810B2 (en) Offsetting image light aberration due to waveguide movement in display assemblies
US11703698B1 (en) Adjustable lens systems
US20240077695A1 (en) Head-Mounted Electronic Device With Alignment Sensors
US20240151882A1 (en) Integrated optical assembly including a tunable lens element
CN118020014A (zh) 设备对准系统
WO2024205781A1 (en) Electronic device with optical sensor for color detection
US20210041697A1 (en) Automatic position determination of head mounted display optics
CN117882246A (zh) 在增强现实设备的透镜上实施的可调谐透明天线

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination