CN115668034A - 具有自混传感器的头戴式电子设备 - Google Patents

具有自混传感器的头戴式电子设备 Download PDF

Info

Publication number
CN115668034A
CN115668034A CN202180036926.4A CN202180036926A CN115668034A CN 115668034 A CN115668034 A CN 115668034A CN 202180036926 A CN202180036926 A CN 202180036926A CN 115668034 A CN115668034 A CN 115668034A
Authority
CN
China
Prior art keywords
lens
optical
self
head
mixing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180036926.4A
Other languages
English (en)
Inventor
M·穆特卢
S·O·伊斯克曼
Z·A·格兰格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN115668034A publication Critical patent/CN115668034A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02092Self-mixing interferometers, i.e. feedback of light from object into laser cavity
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0161Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0161Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G02B2027/0163Electric or electronic control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种头戴式设备可具有头戴式外壳和由该头戴式外壳支撑的光学部件。该光学部件可包括相机、可移动光学模块和其他部件。每个光学模块可包括显示图像的显示器和将该图像提供到对应适眼框的透镜。光学自混传感器可被包括在该头戴式设备的光学模块和其他部分中以测量光学部件位置的变化。响应于检测到光学部件位置的变化,可调节该设备中的致动器以使该光学部件移动或者可采取其他动作来补偿该变化。

Description

具有自混传感器的头戴式电子设备
本申请要求2021年4月14日提交的美国专利申请第17/230,341号以及2020年5月21日提交的美国临时专利申请第63/028,458号的优先权,这些专利申请据此全文以引用方式并入本文。
技术领域
本公开整体涉及电子设备,并且更具体地涉及具有光学部件的电子设备,诸如头戴式设备。
背景技术
诸如头戴式设备的电子设备可具有用于显示图像的显示器,并且可具有其他光学部件。
发明内容
本发明公开了一种头戴式设备,其可具有头戴式外壳。光学部件可由该头戴式外壳支撑。该光学部件可包括诸如面向前的相机的相机和/或具有用于向适眼框(eye box)显示图像的显示器的光学模块。
可在头戴式设备中设置光学自混(self-mixing)传感器以检测头戴式设备的部分之间的位置的变化。这些变化可包括光学模块部件(诸如透镜和显示器)之间的位置的变化。这些变化还可涉及光学部件(诸如相机)的移动。
响应于使用该光学自混传感器检测到光学部件位置的变化(例如,指示部件或其他结构已从其期望位置移动的变化),可调节设备中的致动器以使光学部件移动或可采取其他动作来补偿变化。
附图说明
图1是根据一个实施方案的例示性头戴式设备的顶视图。
图2是根据一个实施方案的例示性头戴式设备的后视图。
图3是根据一个实施方案的例示性头戴式设备的示意图。
图4是根据一个实施方案的例示性自混传感器的图。
图5包含例示根据一个实施方案的图4的自混传感器的操作的曲线图。
图6是根据一个实施方案的例示性显示系统的横截面侧视图。
图7是根据一个实施方案的例示性相机系统的横截面侧视图。
图8、图9、图10、图11、图12和图13是根据实施方案的具有自混传感器的例示性光学系统的横截面侧视图。
图14是根据一个实施方案的与操作具有自混传感器的电子设备相关联的例示性操作的流程图。
具体实施方式
电子设备(诸如头戴式设备)可具有光学部件。该光学部件可包括用于向用户的眼睛提供图像的光学模块。头戴式设备还可具有其他光学部件,诸如相机。如果头戴式设备在坠落事件或其他高应力事件期间经受应力,则该设备中的部件有可能经历不对准。为了确保设备令人满意地操作,光学自混传感器可用于准确测量头戴式设备中的部件的位置。然后,致动器可使光学部件移动以补偿任何检测到的位置的变化和/或可采取其他补偿动作。
图1中示出了例示性头戴式设备的顶视图。如图1所示,头戴式设备诸如电子设备10可具有头戴式支撑结构诸如外壳12。外壳12可包括用于允许将设备10穿戴在用户的头部上的部分(例如,头戴式支撑结构12T)。支撑结构12T可由织物、聚合物、金属和/或其他材料形成。支撑结构12T可形成条带或其他头戴式支撑结构以帮助将设备10支撑在用户头部上。外壳12的主支撑结构(例如,头戴式外壳诸如主外壳部分12M)可支撑电子部件诸如显示器14。
主外壳部分12M可包括由金属、聚合物、玻璃、陶瓷和/或其他材料形成的外壳结构。例如,外壳部分12M可具有由刚性聚合物或其他刚性支撑结构形成的在正面F上的外壳壁和在相邻的顶面、底面、左侧面和右侧面上的外壳壁,并且这些刚性壁可任选地覆盖有电子部件、织物、皮革或其他软材料等。外壳部分12M还可具有内部支撑结构诸如框架和/或执行多种功能诸如控制气流和散热同时提供结构支撑的结构。外壳部分12M的壁可包封设备10的内部区域34中的内部部件38,并且可将内部区域34与设备10周围的环境(外部区域36)分开。内部部件38可包括集成电路、致动器、电池、传感器和/或用于设备10的其他电路和结构。外壳12可被配置为穿戴在用户的头部上,并且可形成眼镜、帽子、头盔、护目镜和/或其他头戴式设备。其中外壳12形成护目镜的构型在本文中有时作为示例进行描述。
外壳12的正面F可远离用户的头部和面部面向外。外壳12的相对背面R可面向用户。位于背面R上的外壳12的部分(例如,主外壳12M的部分)可形成覆盖件,诸如覆盖件12C。背面R上的覆盖件12C的存在可有助于隐藏内部外壳结构、内部部件38和内部区域34中的其他结构以免被用户看到。
设备10可具有一个或多个相机,诸如图1的相机46。例如,前向(正向)相机可允许设备10监测设备10相对于设备10周围的环境的移动(例如,相机可用于形成视觉测距系统或视觉惯性测距系统的一部分)。前向相机还可用于捕获向设备10的用户显示的环境的图像。如果需要,来自多个前向相机的图像可彼此合并和/或前向相机内容可与针对用户的计算机生成的内容合并。
设备10可具有任何合适数量的相机46。例如,设备10可具有K个相机,其中K的值为至少一、至少二、至少四、至少六、至少八、至少十、至少12、小于20、小于14、小于12、小于十、4-10或其他合适的值。相机46可在红外波长下敏感(例如,相机46可为红外相机),可在可见波长下敏感(例如,相机46可为可见相机),和/或相机46可在其他波长下敏感。如果需要,相机46可在可见波长和红外波长下都是敏感的。
安装在正面F上并且面向外(朝向设备10的前部并远离用户)的相机46在本文中有时可被称为前向或前置相机。相机46可捕获视觉测距信息、被处理以定位用户视野中的对象(例如,使得虚拟内容可相对于现实世界对象适当地注册)的图像信息、为设备10的用户实时显示的图像内容和/或其他合适的图像数据。
设备10可具有左光学模块和右光学模块40。光学模块40支撑电子部件和光学部件诸如发光部件和透镜,并且因此有时可被称为光学组件、光学系统、光学部件支撑结构、透镜和显示器支撑结构、电子部件支撑结构或外壳结构。每个光学模块可包括相应的显示器14、透镜30和支撑结构诸如支撑结构32。有时可称为透镜支撑结构、光学部件支撑结构、光学模块支撑结构、光学模块部分、或透镜镜筒的支撑结构32可包括具有开口端的中空柱状体结构或用于容纳显示器14和透镜30的其他支撑结构。支撑结构32可例如包括支撑左显示器14和左透镜30的左透镜镜筒和支撑右显示器14和右透镜30的右透镜镜筒。
显示器14可包括像素阵列或其他显示设备以产生图像。显示器14可例如包括形成在具有薄膜电路的基板上和/或形成在半导体基板上的有机发光二极管像素、由晶体半导体管芯形成的像素、液晶显示器像素、扫描显示设备和/或用于产生图像的其他显示设备。
透镜30可包括用于将图像光从显示器14提供到相应的适眼框13的一个或多个透镜元件。透镜可使用折射玻璃透镜元件、使用反射镜透镜结构(反射折射透镜)、使用菲涅耳透镜、使用全息透镜和/或其他透镜系统来实现。
当用户的眼睛位于适眼框13中时,显示器(显示面板)14一起操作以形成设备10的显示器(例如,用户的眼睛可以在适眼框13中查看相应的左右光学模块40所提供的图像,使得为用户创建立体图像)。当用户查看显示器时,来自左光学模块的左图像与来自右光学模块的右图像融合。
可能期望在用户的眼睛位于适眼框13中时监视用户的眼睛。例如,可能期望使用相机来捕获用户的虹膜(或用户眼睛的其他部分)的图像以用于用户认证。还可能期望监视用户视线的方向。视线跟踪信息可用作一种形式的用户输入和/或可用于确定在小凹成像系统中应在图像内的何处局部增强图像内容分辨率。为了确保设备10能在用户的眼睛位于适眼框13中时捕获令人满意的眼睛图像,每个光学模块40可设置有相机(诸如相机42)和一个或多个光源(诸如发光二极管44)或其他发光设备(诸如激光器、灯等)。相机42和发光二极管44可在任何合适的波长(可见光、红外光和/或紫外光)操作。例如,二极管44可发射用户不可见(或几乎不可见)的红外光。这允许连续执行眼睛监视操作,而不干扰用户查看显示器14上的图像的能力。
并非所有用户都具有相同的瞳孔间距IPD。为了向设备10提供沿侧向维度X调节模块40之间的瞳孔间距从而调节适眼框13之间的间距IPD以适应不同的用户瞳孔间距的能力,设备10可在外壳12中设置有光学模块定位系统。定位系统可具有用于将光学模块40相对于彼此定位的导向构件和致动器43。
致动器43可以是手动控制的和/或计算机控制的致动器(例如,计算机控制的电机),以用于使支撑结构32(透镜镜筒)相对于彼此移动。可使用例如相机42来采集关于用户眼睛的位置的信息。然后可相应地调节适眼框13的位置。
如图2的设备10的后视图所示,覆盖件12C可覆盖背面R,同时使光学模块40的透镜30不被覆盖(例如,覆盖件12C可具有与模块40对准并接收该模块的开口)。当模块40沿着维度X相对于彼此移动以适应不同用户的不同瞳孔间距时,模块40相对于固定外壳结构诸如主要部分12M的壁移动并且相对于彼此移动。
图3中示出了例示性电子设备诸如头戴式设备或其他可穿戴设备的示意图。图3的设备10可作为独立设备操作并且/或者设备10的资源可用于与外部电子装备进行通信。例如,设备10中的通信电路可用于将用户输入信息、传感器信息和/或其他信息传输到外部电子设备(例如,无线地或经由有线连接)。这些外部设备中的每个外部设备可包括图3的设备10所示类型的部件。
如图3所示,头戴式设备诸如设备10可包括控制电路20。控制电路20可包括用于支持设备10的操作的存储和处理电路。该存储和处理电路可包括存储装置,诸如非易失性存储器(例如,闪存存储器或被配置为形成固态驱动器的其他电可编程只读存储器)、易失性存储器(例如,静态或动态随机存取存储器)等。控制电路20中的处理电路可用于采集来自传感器和其他输入设备的输入,并且可用于控制输出设备。处理电路可基于一个或多个微处理器、微控制器、数字信号处理器、基带处理器和其他无线通信电路、电源管理单元、音频芯片、专用集成电路等。在操作期间,控制电路20可使用显示器14和其他输出设备为用户提供视觉输出和其他输出。
为了支持设备10和外部装备之间的通信,控制电路20可使用通信电路22进行通信。电路22可包括天线、射频收发器电路以及其他无线通信电路和/或有线通信电路。电路22(其有时可被称为控制电路和/或控制和通信电路)可支持设备10与外部装备(例如,配套设备诸如计算机、蜂窝电话或其他电子设备、附件诸如指向设备、计算机触笔或其他输入设备、扬声器或其他输出设备等)之间经由无线链路的双向无线通信。例如,电路22可包括射频收发器电路,诸如被配置为支持经由无线局域网链路的通信的无线局域网收发器电路、被配置为支持经由近场通信链路的通信的近场通信收发器电路、被配置为支持经由蜂窝电话链路的通信的蜂窝电话收发器电路,或者被配置为支持经由任何其他适当的有线或无线通信链路的通信的收发器电路。例如,可以经由
Figure BDA0003954797180000061
链路、
Figure BDA0003954797180000062
链路、工作于10GHz和400GHz之间频率的无线链路、60GHz链路或其他毫米波链路、蜂窝电话链路或者其他无线通信链路支持无线通信。设备10(如果需要)可包括用于传输和/或接收有线和/或无线电力的电源电路,并且可包括电池或其他能量存储设备。例如,设备10可包括线圈和整流器以接收提供给设备10中的电路的无线电力。
设备10可包括诸如设备24的输入-输出设备。输入-输出设备24可用于采集用户输入、用于采集关于用户周围环境的信息和/或向用户提供输出。设备24可包括一个或多个显示器,诸如显示器14。显示器14可包括一个或多个显示设备,诸如有机发光二极管显示面板(在包含像素控制电路的聚合物基板或硅基板上形成有有机发光二极管像素的面板)、液晶显示器面板、微机电系统显示器(例如,二维反射镜阵列或扫描镜显示设备)、具有由晶体半导体发光二极管管芯(有时被称为微LED)形成的像素阵列的显示面板和/或其他显示设备。
输入-输出设备24中的传感器16可包括力传感器(例如,应变计、电容式力传感器、电阻式力传感器等)、音频传感器(诸如麦克风)、触摸和/或接近传感器(诸如电容式传感器,诸如形成按钮、触控板或其他输入设备的触摸传感器)以及其他传感器。如果需要,传感器16可包括光学传感器(诸如发射和检测光的光学传感器)、超声波传感器、光学触摸传感器、光学接近传感器和/或其他触摸传感器和/或接近传感器、单色和彩色环境光传感器、图像传感器(例如,相机)、指纹传感器、虹膜扫描传感器、视网膜扫描传感器和其他生物特征传感器、温度传感器、用于测量三维无接触姿势(“空中姿势”)的传感器、压力传感器、用于检测位置、取向和/或运动的传感器(例如,加速度计、诸如罗盘传感器的磁性传感器、陀螺仪和/或包含这些传感器中的一些或全部的惯性测量单元)、健康传感器诸如血氧传感器、心率传感器、血流传感器和/或其他健康传感器、射频传感器、三维相机系统诸如深度传感器(例如,结构光传感器和/或基于捕获三维图像的立体成像设备的深度传感器)和/或光学传感器诸如自混传感器和采集飞行时间测量结果的光探测及测距(激光雷达)传感器(例如,飞行时间相机)、湿度传感器、潮湿传感器、视线跟踪传感器、感测肌肉活化的肌电图传感器、面部传感器、干涉型传感器、飞行时间传感器、磁传感器、电阻式传感器、距离传感器、角度传感器和/或其他传感器。在一些布置中,设备10可使用传感器16和/或其他输入-输出设备来采集用户输入。例如,按钮可用于采集按钮按压输入,与显示器重叠的触摸传感器可用于采集用户触摸屏输入,触摸板可用于采集触摸输入,麦克风可用于采集音频输入(例如,语音命令),加速度计可用于监测手指何时接触输入表面并且因此可用于采集手指按压输入等。
如果需要,电子设备10可以包括附加部件(参见例如输入-输出设备24中的其他设备18)。附加部件可包括触觉输出设备、用于使可移动外壳结构移动的致动器、音频输出设备诸如扬声器、用于状态指示器的发光二极管、照射外壳和/或显示器结构的部分的光源诸如发光二极管、其他光学输出设备以及/或者用于采集输入和/或提供输出的其他电路。设备10还可包括电池或其他能量存储设备、用于支持与辅助装备的有线通信以及用于接收有线电力的连接器端口以及其他电路。
期望设备10中的光学部件在设备10的操作期间保持处于令人满意的对准。由于坠落事件或在设备10上施加应力的其他事件,存在显示器、透镜、相机、其他光学部件和/或设备10中的其他结构的位置将相对于其初始位置移动的风险。为了确保设备10令人满意地操作,即使经受大量应力,设备10也可使用传感器来测量部件位置。响应于测量部件位置的变化,设备10(例如,控制电路20)可采取补偿动作(例如,通过使用致动器来调节部件的位置以确保部件令人满意地定位,通过扭曲与相机或显示器相关联的图像数据以进行补偿等)。在可在本文中有时作为示例进行描述的例示性配置中,一个或多个致动器可用于重新定位移动的光学部件,使得即使当设备10经受坠落事件和其他高应力事件时,光学部件也保持处于其期望位置。以下配置也可在本文中描述为示例,在这些配置中,致动器在使透镜、显示器和/或其他部件移动以调节焦点和/或以其他方式调节光学部件的操作的同时使用测量位置信息。
可能期望测量部件位置的相对小的变化,使得部件可维持处于期望位置。例如,可能期望将透镜或其他部件的位置维持处于其原始位置的小于30微米、小于20微米、小于7微米或小于3微米的容差内(作为示例)。在维持设备10中的光学部件的紧密容差时,可能期望进行对应准确的位置测量。在在本文中作为示例进行描述的例示性配置中,诸如光学自混传感器的光学位置传感器用于在这些紧密容差(例如,其中准确度优于10微米、优于2微米或优于1微米或其他合适的准确度)内测量部件位置。亚微米位置测量准确度或其他令人满意的测量精度允许透镜、显示器、相机和/或其他光学部件放置在期望位置中,而不引入显著的不对准错误。
图4中示出了例示性光学自混传感器。有时可称为光学自混位置传感器或自混取向传感器的自混传感器70可用于测量距离,并且因此确定传感器和目标结构之间的相对位置。在一些配置中,可使用一个或多个自混传感器来测量角度取向。例如,可通过测量两个或更多个距离来测量角度倾斜。例如,可使用在部件上的不同相应位置处进行的一对距离测量来测量绕一个轴的倾斜,而可使用三个此类距离测量来测量绕两个轴的倾斜。其中自混传感器称为测量距离、位移或位置的布置可在本文中有时作为示例进行描述。通常,位置、角度取向、位置和/或取向的变化和/或其他自混传感器测量结果可直接采集和/或可从距自混传感器的距离的测量结果导出。
在图4的示例中,自混传感器70正在用于测量传感器70和目标82之间的间距(距离D)。设备10中的目标结构(诸如图4的目标82)可以是透镜的部分(例如,图1的透镜30)、支撑结构的部分(例如,透镜镜筒或用于透镜和/或其他光学模块部件的其他支撑结构32)、显示器结构(例如,显示器14)、相机的部分(例如,相机46和/或相机42)和/或设备10中的其他结构(例如,部分12M中的外壳结构)。诸如传感器70的自混传感器可安装在外壳结构(例如,部分12M中的结构)上或邻近其安装,和/或传感器70可安装在透镜(例如,图1的透镜30)、支撑结构的部分(例如,透镜镜筒32)、显示器结构(例如,显示器14)、相机的部分和/或设备10中的其他结构(例如,部分12M中的外壳结构)上或邻近其安装。以这种方式,距离D可对应于显示器到透镜测量结果或外壳到透镜测量结果,其显示出关于透镜对准的信息和/或可另外用于测量透镜、相机、显示器、外壳结构等之间的距离。在利用一个或多个传感器70的测量结果显示出部件相对于其期望位置不对准的情况下,可采取补偿动作。例如,控制电路20可使用致动器来移动设备10中的透镜、显示器、相机或其他部件,以补偿部件位置的所测量的变化。如果例如透镜30距离显示器14远了30微米,则透镜30可朝向显示器14移动30微米。
如图4的例示性配置所示,自混传感器74可包括诸如垂直腔面发射激光器80的激光器(例如,自混接近传感器70可以是具有二极管激光器或者光或其他电磁辐射的其他相干或部分相干源的相干自混传感器)。激光器80可具有薄膜干涉滤镜74(有时称为布拉格反射器),其每个都由交替折射率的薄膜层堆叠形成。有源区76可在反射镜74之间形成。激光器80中的下反射镜可具有小于100%的标称反射率,以允许激光器80的一些光到达重叠光电二极管72,或者在光电二极管72位于传感器70中的其他位置(例如,横向邻近激光器80)的配置中,下反射镜可具有100%的标称反射率。激光器80中的上反射镜可具有稍低的反射率,使得激光器80朝向目标82发射光84。可通过使用控制电路20(例如,电路20中的驱动电路)向端子86施加驱动信号来控制激光器80。感测电路(例如,光电二极管72和/或电路20中的相关联的感测电路)可测量激光器80的光输出(作为示例)。
发射光46的红外波长可为850nm-1200nm、800nm至1100nm、920nm-960nm、至少800nm、至少900nm、至少1000nm、小于1200nm、小于1100nm、小于1000nm或小于900nm或其他合适的波长(例如,可见波长、紫外光波长、红外波长、近红外波长等)。当发射光84照射目标82时,发射光84中的一些发射光将作为反射光86(例如,从目标82镜面反射的光和/或从目标82中的哑光表面反向散射的光)向后反射向传感器70。
图4的传感器70包括光敏元件(例如,光检测器,诸如光电二极管72)。图4的示例中的光电二极管72位于激光器80下方,但如果需要,可使用其中光电二极管72邻近激光器80、位于激光器80之外的分开的基板上、位于有源区域76上方和/或具有其他配置的配置。光电二极管72的端子可耦接到控制电路20中的感测电路。此电路采集光电二极管输出信号,该光电二极管输出信号响应于接收到反射光(发射光84的镜面反射部分和/或反向散射部分)(诸如反射光86)而产生。除了使用光电二极管之外,还可使用激光器结电压测量(例如,如果以恒定偏置电流驱动激光器)或激光器偏置电流(例如,如果以恒定电压驱动激光器)来检测自混。
目标82位于距离接近传感器70的距离D处。光84中的作为反射光86从目标82反射或反向散射的一部分光重新进入激光器80的激光器腔(即,这种反向馈送光与激光器腔中的光混合),从而相干地扰动电场并且在激光器80中导致对载流子密度的扰动。激光器80中的这些扰动导致发射光84的功率与激光器80的关联操作特性(诸如激光器结电压和/或激光器偏置电流)的相干自混波动。可监测这些波动。例如,可使用光电二极管72监测光86的功率波动。在图4的示例中,光电二极管72是在激光器80下方形成的集成单片式光电二极管,但如果需要,可使用其他配置。
控制电路20被配置为供应激光器80的驱动电流,并且包括用于感测光电二极管72的响应的电路。所感测的光电二极管输出可包括二极管电流和/或电压的测量结果。调制方案可用于驱动激光器80,以用于诱导波长调制,并且光电二极管输出处理方案(使用光电二极管电流、结电压、偏置电流等的测量结果)可用于处理所测量的输出功率的自混波动,以允许控制电路20根据自混干涉测量的原理确定传感器70和目标82之间的距离D。
用于驱动激光器80的调制方案可例如使用三角波驱动信号,该三角波驱动信号由于输出波长对激光器80的驱动电流量值的依赖性,在三角波的每个半周期期间在第一波长WL1和第二波长WL2之间连续改变光84的波长。光84的波长变化导致激光器80的自混干涉信号呈现纹波。如果需要,其他调制方案可用于驱动激光器80(例如,正弦驱动方案等)。
用于光电二极管信号的处理方案使用频率提取变换来提取纹波的周期,可以从该周期计算出距离D。距离D可例如以优于50微米、优于20微米、优于10微米、优于5微米、优于2微米、优于1微米或其他合适的准确度的准确度确定。由于这种高准确度,可以足够的精度确定透镜或其他光学部件位于设备10内的位置的测量结果,以允许致动器使透镜和/或其他光学部件移动以补偿不期望的坠落诱导移动或采取其他合适的补偿动作。频率提取变换可具有时间分辨率(例如,小波变换)或不具有时间分辨率(例如,傅里叶变换)。
图5中示出了用于传感器70的例示性信号处理方法。
图5的第一(最上)迹线示出了可如何使用交流(AC)信号(诸如三角波)来调制激光器80的激光器驱动电流Id。这样调制了激光器80的温度并且因此调制了光84的输出波长。例如,光84的波长可在第一值WL1(在驱动信号Id最小时)和波长WL2(在驱动信号Id最大时)之间变化。根据自混干涉测量的原理,光84的波长的调制允许自混接近传感器测量目标距离D而不改变距离D。
图5的第二(第二最上)迹线示出了来自光电二极管72的所得输出信号PDout如何包含自混干涉纹波60。在测量激光器电流或激光器电压的配置中,自混干涉纹波将出现在所测量的电流或电压中。
控制电路20(例如,基于运算放大器电路或其他感测电路的感测电路)可被配置为区分信号PDout(或激光器80的所测量的电流或电压)。因此,控制电路20(例如,电路20的感测电路)可产生输出信号Vsig,如图5的第三(第三最上)迹线所示。信号Vsig理想地是纹波60施加到其的方波。为了促进后续的信号处理(例如,进行处理以执行频率提取变换),可在高周期64期间从信号Vsig中(以数字方式或使用控制电路20中的模拟电路)减去信号Vsig在高周期64期间的平均值,从而在周期62和64中均衡直流(DC)分量,如由图5的第四(最下)迹线中的信号V所示。
可将诸如快速傅里叶变换(FFT)或其他频率提取变换(例如,Hilbert变换、连续或离散小波变换、多信号分类方法等)的频率提取变换应用于信号V以确定纹波60的频率。利用一种例示性方法,可通过识别与FFT振幅曲线中的峰相关联的频率来确定纹波频率。可假设FFT输出中具有较低峰的频率与噪声相关联并且可被忽略。可通过向该曲线中的峰拟合一条曲线来进行更准确的频率评估(例如,在FFT算法的每个输出频率处处理FFT算法的输出振幅以识别纹波频率)。例如,可将诸如高斯曲线的曲线拟合到FFT过程的输出的频率峰以准确地识别纹波频率fp。频率fp可然后用于计算目标距离D。在一些例示性配置中,其他类型的解调可用于确定距离D。例如,IQ解调可用于激光器80正弦调制的场景中。如果需要,分开的相位调制器(例如,分开的电光调制器,诸如锂铌电光调制器)可用于调制灯84中。这些自混调制和信号处理布置和/或其他布置可允许在设备10中测量诸如距离D的距离,使得此距离信息可用于调节设备10中的部件。
可使用传感器70产生的类型的准确距离测量结果可用于提供对设备10内的光学部件位置的实时反馈。例如,可使用诸如传感器70的传感器来测量透镜、显示器、图像传感器和/或其他光学部件和/或用于支撑此类部件的外壳结构的位置,使得控制电路20可调节致动器以重新定位诸如部件和/或可采取其他适当的动作。
例如,考虑图6的布置。在图6的示例中,多个传感器70正在用于测量透镜30相对于光学模块40中的显示器14(例如,像素阵列)的位置。第一传感器70可(例如,沿着透镜30的右手边缘)测量显示器14和透镜30之间的距离D1,并且第二传感器70可(例如,沿着透镜30的左侧边缘)测量显示器14和透镜30之间的距离D2。如果需要,第三传感器70可测量透镜30和显示器14之间的间距(例如,使得可确定透镜30在所有维度上的角度取向)。
通过使用传感器70,可测量透镜30距显示器14的间距以及透镜30相对于显示器14的取向。使用这种类型的布置,可检测透镜30相对于显示器14的不期望移动、透镜30相对于外壳底盘或外壳部分12M中的其他结构构件的不期望移动、显示器14相对于透镜30和/或外壳部分12M的不期望移动,和/或设备10中的光学模块40的部分的其他不期望移动。
如果需要,传感器70还可用于在正在进行的透镜位置调节期间主动监测透镜30的位置,以在用户在从适眼框13查看显示器14上的内容时改变虚拟图像的距离。此类透镜位置调节可进行以例如调节模块40的焦点,并且由此调节用户查看显示器14上的图像所需的适应量。例如,控制电路20可调节透镜焦点以在与左光学模块和右光学模块40上的左图像和右图像相关联的三维内容正在呈现给用户时最小化或消除视觉辐辏调节失配(vergence-accommodation mismatch)。
在图7的例示性配置中,传感器70正在用于在相机46捕获真实世界对象90的图像时监测相机(图7的示例中的相机46)中的相机透镜30'和相机图像传感器46I之间的相对位置。第一传感器70可例如测量距离D1,而第二传感器测量距离D2。如果需要,可使用另外的传感器70。以此方式,可在设备10的操作期间测量透镜30'、图像传感器46I和/或相关联的外壳结构的位置,使得可采取适当的动作(例如,补偿透镜30'、图像传感器46I等的移动)。
图8是具有传感器70的例示性光学模块的一部分的横截面侧视图。在图8的示例中,光学模块40包括透镜30(例如,反射折射透镜或其他透镜)和显示器14(例如,具有有机发光二极管阵列的显示器)。透镜30可支撑在光学模块支撑结构32(例如,透镜镜筒)中。自混传感器70和显示器14可分别由支撑结构92和94支撑。显示器14和支撑结构94可耦接到支撑结构32(例如,结构94可以是透镜镜筒结构的一部分),或者如图8所示,结构94可以是与支撑结构32(例如,外壳部分12M中的支撑结构、与显示器14相关联的显示面板的显示基板)分开并且任选地耦接到支撑结构32的结构。
在操作期间,控制电路20可使用传感器70来测量透镜30的位置。例如,传感器70可直接安装到支撑结构,诸如图8的支撑结构92(例如,底盘或外壳部分12M中的其他外壳结构),该支撑结构与光学模块40的支撑结构32分开并且因此用于建立固定参考坐标系,可从该固定参考纵坐标系测量透镜30的位置)。在其中显示器14和支撑件94附接到支撑件92的布置中,图8的感测布置可允许传感器70测量透镜30和显示器14之间的相对位置。
响应于传感器70采集的关于透镜30的位置的信息,控制电路20可使用致动器96调节透镜30的位置(例如,透镜30相对于支撑结构92和显示器14的位置)。如果需要,致动器96可安装在支撑结构92(其用作固定参考坐标系)和透镜30之间。致动器96可以是压电致动器、电磁致动器(例如,马达)和/或其他计算机控制的定位器。两个或更多个、三个或更多个或其他合适数量的致动器96可用于定位透镜30。例如,围绕透镜30的周边彼此间隔开120°的三个致动器96可用于调节透镜30的取向。致动器96可在显示器14和透镜30之间沿着轴Z调节间距,和/或可被配置为横向地(例如,沿着维度X和/或Y)偏移透镜30。
粘合剂可用于将透镜30安装到支撑结构32。在这种类型的布置中,可能存在胶收缩以影响透镜30和支撑结构32之间的相对位置的可能性。这可影响透镜30的位置的测量,因为图8的布置涉及间接透镜位置测量(其中透镜位置通过测量透镜镜筒位置以及从所测量的透镜镜筒位置推断透镜位置来确定的测量),而不是直接透镜位置测量。
如果需要,透镜30的位置可直接(而不是通过如图8所示的支撑结构32间接)测量。图9是例示性光学模块的横截面侧视图,其中直接测量透镜30相对于结构92的位置(例如,因为光84直接从透镜30的面向内的表面反射)。
如果需要,可使用其他直接透镜位置感测布置。在图10的示例中,存在用于测量不同方向上的位移的多个传感器70(例如,一组或多组三个传感器70-1、70-2和70-3)。在此例示性配置中,每个传感器70-1可发射在X-Z平面上传播并且因此沿着此第一方向测量透镜位置的光84,每个传感器70-2可发射在Y-Z平面上传播并且因此沿着不同于第一方向的此第二方向测量透镜位置的光84,并且每个传感器70-3可发射在Z方向(例如,不同于第一方向和第二方向的方向)上传播的光84。利用此配置,传感器70-1和70-2可检测透镜30的横向运动(例如,沿着图10的X轴和Y轴的运动)。每个传感器70-3仅沿着Z维度(在此示例中)测量距离,从而将这些Z轴测量与使用传感器70-1和70-2进行的横向位置测量分离。
在图11的示例中,已在设备10中设置了自混传感器70的阵列(例如,具有至少10项、至少100项、少于1000项、少于50项或其他合适数量的项的密集阵列)。传感器70可面向透镜30的面向内的表面(例如,透镜表面98)。在操作期间,传感器70可感测表面98的位置,并由此测量表面98的形状的变形。此信息可由控制电路20动态使用(例如,以通过使表面98的形状变形和/或通过使透镜30移动来调节透镜30,调节14,和/或使用致动器来调节设备10中的其他结构,诸如通过扭曲显示器14上的所显示的图像以抵消透镜畸变来调节图像数据等)。如果需要,图11的传感器70的阵列可位于显示器14后面(例如,显示器14可以是部分透明的,使得来自传感器70的光可穿过显示器14)。
图12中示出了另一个例示性布置。如图12的配置所示,一个或多个传感器70可安装在支撑结构94(例如,外壳支撑结构、显示器14的显示面板基板和/或形成显示器14的一部分和/或直接附接到显示器14和/或支撑该显示器的其他结构)上。
图13示出了透镜30可如何设置有平面表面,诸如表面98P或偏离透镜30的内部光学表面98的其他表面。平面表面98P可通过增加来自传感器70的发射光的从透镜30的表面反射向传感器70的量来帮助增强到传感器70的光学反馈。在不存在被取向成将光84反射回到传感器70的表面(诸如表面98P)的情况下,光84可趋向于在同样不与传感器70对准的方向上反射。
传感器70可用于测量光学模块40中的透镜30和/或其他透镜(例如,相机透镜)的位置。例如,一个或多个传感器70可用于测量左透镜在左光学模块中的位置,并且一个或多个传感器70可用于测量右透镜在右光学模块中的位置。控制电路20可针对左光学模块和右光学模块40分开测量透镜位置,并且可使用可单独调节的致动器96来针对左光学模块和右光学模块分开调节透镜位置。分开控制左透镜到显示器间距和右透镜到显示器间距的能力可帮助具有视觉缺陷的用户(诸如针对其左眼和右眼具有不同光焦度(眼镜片处方)的用户),从而减少或消除提供具有用户特定的校正透镜的模块40的需要。
如果需要,致动器96可用于摇动(例如,振动)透镜(例如,透镜30)以从透镜的表面移去灰尘和/或其他碎屑。这种基于致动器的清洁布置可特别有助于清洁面向内的透镜表面(诸如透镜30的表面98),因为用户可能不容易接近这些表面。每当设备10上电时和/或在其他合适的时间处,用于清洁光学模块40中的透镜(诸如透镜30)的振动可施加到透镜。
图14中示出了与使用设备10相关联的例示性操作。
在合适的时间处(例如,在上电时,响应于利用惯性测量单元和/或设备10中的其他传感器检测到坠落事件,响应于用户命令,根据计划表等),可由控制电路20进行位置的测量(框110)。
在框110的操作期间,传感器70可测量传感器70和设备10中的相邻结构之间的距离D。距离D可对应于传感器70和一些结构之间的距离,该结构诸如透镜30的透镜表面和/或透镜镜筒、显示器14(例如,显示基板和/或其他显示器结构)、相机、设备10中的用于支撑光学模块40的部分(诸如透镜30和/或显示器14)的支撑结构、设备10中的用于支撑其他光学部件的支撑结构,和/或其他结构。传感器70可耦接到透镜30、显示器14、透镜镜筒(支撑结构32)、显示器支撑结构、外壳结构(诸如用于支撑相机的结构)、相机,和/或设备10中的其他结构。以此方式,可采集关于这些结构的相对和/或绝对位置的信息以及因此关于这些结构的平移和/或角度对准和取向的相关联信息(例如,关于这些结构相对于其期望对准的不对准的信息,诸如关于透镜对准、显示器对准、光学模块对准、透镜表面形状、相机对准、外壳结构对准的信息,和/或关于设备10中的结构可如何相对于其期望位置不对准的其他信息)。在具有可变焦点的系统(例如,其中光学模块40中的透镜30和显示器14之间的距离被调节为调节焦点以将计算机生成的内容以各种不同虚拟图像距离放置在显示器14上以帮助减少视觉辐辏调节失配的系统)中,可由传感器70采集关于由透镜30的位置和其期望调节位置之间的偏差造成的不对准的信息。
在框112的操作期间,控制电路20可基于来自传感器70的测量结果来调节设备10中的可调节部件。例如,设备10中的致动器可被调节成重新定位透镜30、显示器14、光学模块40、支撑结构32、相机46、外壳部分14M中的支撑结构和/或设备10中的其他结构。以此方式,可校正部件的位置中的检测到的不对准(例如,透镜、显示器、支撑结构、透镜的导致透镜变形的部分、图像传感器、相机透镜、相机46的其他部分和/或设备10中的其他部件和/或结构相对于彼此的不对准)。在例示性配置中,响应于检测到透镜30当前未处于其期望位置,致动器96可使透镜移动到期望位置(例如,透镜30可通过绕X轴、Y轴和/或Z轴倾斜成角度地在维度X和/或Y上横向地移动、在维度Z上竖直地移动等)。如果需要,可使用致动器(例如,通过施加使透镜30变形的力)改变透镜30的形状。这允许校正不期望的透镜形状。
除了或代替移动或以其他方式物理地调节光学模块40中的部件中的所有或一些部件、设备10中的相机、和/或设备10中的其他光学部件和/或外壳结构,响应于使用自混传感器70采集的数据,控制电路20可对图像数据和/或由设备10处理的其他数据进行调节。例如,如果来自传感器70的测量结果指示显示器14已从其期望位置向左偏移,则控制电路20可将由显示器14显示的图像的数据扭曲(偏移、旋转和/或剪切),以使图像向右往回偏移对应的量。以此方式,可以数字方式校正检测到的光学部件不对准(例如,通过处理来自相机46的所捕获的图像数据和/或通过处理供应到显示器14的图像数据以针对所测量的不对准调节图像)。
如线114所指示,框110和112的操作可(例如,根据计划表,响应于检测到坠落事件,响应于用户输入等)连续地执行。以此方式,设备10中的光学部件可保持处于令人满意的对准,即使这些设备的位置受到坠落事件或其他高应力条件的影响。
如上所述,本技术的一个方面在于采集和使用信息,诸如来自输入-输出设备的信息。本公开构想,在一些情况下,可采集包括唯一地识别或可用于联系或定位特定人员的个人信息的数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如,生命信号测量结果、药物信息、锻炼信息)、出生日期、用户名、口令、生物识别信息、或任何其他识别信息或个人信息。
本公开认识到在本公开技术中使用此类个人信息可以用于使用户受益。例如,该个人信息数据可用于递送用户较感兴趣的目标内容。因此,使用此类个人信息数据使得用户能够对所递送的内容进行有计划的控制。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,健康和健身数据可用于向用户的总体健康状况提供见解,或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问,并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,应在收到用户知情同意后进行此类采集/共享。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。另外,应当调整政策和实践,以便采集和/或访问的特定类型的个人信息数据,并适用于包括管辖范围的具体考虑的适用法律和标准。例如,在美国,某些健康数据的收集或访问可能受联邦和/或州法律诸如健康保险及责任法案(HIPAA)的管辖,而其他国家中的健康数据可能受其他法规和政策约束并且应当相应地加以处理。因此,在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,本技术可被配置为允许用户在注册服务期间或其后随时选择参与采集个人信息数据的“选择加入”或“选择退出”。又如,用户可以选择不提供特定类型的用户数据。再如,用户可以选择限制特定于用户的数据被保持的时间长度。除了提供“选择加入”和“选择退出”选项外,本公开设想提供与访问或使用个人信息相关的通知。例如,用户可以在下载应用程序(“应用”)时被告知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据收集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。在适当的情况下,可以通过移除特定标识符(例如,出生日期等)、控制存储的数据的量或特征(例如,在城市级而非地址级收集位置数据)、控制数据的存储方式(例如,在用户之间聚合数据)和/或其他方法来促进去标识。
因此,虽然本公开广泛地覆盖了使用可包括个人信息数据的信息来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。
物理环境:物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品,诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
计算机生成现实:计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中,跟踪人的物理运动的一个子集或其表示,并且作为响应,以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如,CGR系统可以检测人的头部转动,并且作为响应,以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如,出于可达性原因),对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如,声音命令)来进行。人可以利用其感觉中的任一者来感测CGR对象和/或与之交互,包括视觉、听觉、触觉、味觉和嗅觉。例如,人可以感测音频对象和/或与音频对象交互,该音频对象创建3D或空间音频环境,该3D或空间音频环境提供3D空间中点音频源的感知。又如,音频对象可以使能音频透明度,该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中,人可以感测和/或只与音频对象交互。CGR的示例包括虚拟现实和混合现实。
虚拟现实:虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实:与被设计成完全基于计算机生成的感官输入的VR环境相比,混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如,虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上,混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况,但不包括这两端。在一些MR环境中,计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外,用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向,以使虚拟对象能够与真实对象(即,来自物理环境的物理物品或其表示)交互。例如,系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。混合现实的示例包括增强现实和增强虚拟。增强现实:增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示之上的模拟环境。例如,用于呈现AR环境的电子系统可具有透明或半透明显示器,人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象,使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地,系统可以具有不透明显示器和一个或多个成像传感器,该成像传感器捕获物理环境的图像或视频,这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合,并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境,并且感知叠加在物理环境之上的虚拟对象。如本文所用,在不透明显示器上显示的物理环境的视频被称为“透传视频”,意味着系统使用一个或多个图像传感器捕获物理环境的图像,并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地,系统可以具有投影系统,该投影系统将虚拟对象投射到物理环境中,例如作为全息图或者在物理表面上,使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如,在提供透传视频中,系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如,视点)。又如,物理环境的表示可以通过图形地修改(例如,放大)其部分而进行转换,使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如,物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。增强虚拟:增强虚拟(AV)环境是指其中虚拟环境或计算机生成的环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如,AV公园可以具有虚拟树木和虚拟建筑物,但人的脸部是从对物理人拍摄的图像逼真再现的。又如,虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如,虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
硬件:有许多不同类型的电子系统使人能够感测各种CGR环境和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如,类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如,具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板计算机、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地,头戴式系统可以被配置成接受外部不透明显示器(例如,智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可以具有媒介,代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、μLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中,透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中,例如作为全息图或在物理表面上。
根据一个实施方案,提供了一种头戴式设备,该头戴式设备包括:头戴式外壳;至少一个光学模块,该至少一个光学模块位于该头戴式外壳中,该光学模块具有显示器并且具有透镜,该透镜被配置为将图像从该显示器呈现到适眼框;光学自混传感器,该光学自混传感器被配置为测量到该透镜的距离;以及致动器,该致动器被配置为基于所测量的距离来调节该透镜。
根据另一个实施方案,该致动器被配置为响应于所测量的距离而使该透镜移动。
根据另一个实施方案,该透镜具有平面部分,并且该光学自混传感器被配置为发射光束,该光束从该平面部分反射回到该光学自混传感器。
根据另一个实施方案,该光学模块包括透镜镜筒,该透镜镜筒被配置为支撑该透镜,并且该光学自混传感器被配置为通过测量该自混传感器和该透镜镜筒之间的距离来测量到该透镜的该距离。
根据另一个实施方案,该透镜具有透镜表面,并且该光学自混传感器被配置为通过发射从该表面反射的光并且检测所反射的发射的光来测量到该透镜的该距离。
根据另一个实施方案,该自混传感器包括激光二极管,该激光二极管被配置为发射波长为800nm-1100nm的光。
根据另一个实施方案,由该光学自混传感器测量的该距离是该透镜和该显示器之间的间距。
根据另一个实施方案,该光学自混传感器被配置为独立于测量该透镜和该显示器之间的间距而测量该透镜相对于该光学自混传感器的横向移动。
根据一个实施方案,提供了一种头戴式设备,该头戴式设备包括:头戴式外壳;光学模块,该光学模块支撑在该头戴式外壳中,每个光学模块具有显示器并且具有透镜,该透镜被配置为将图像从该显示器呈现到对应适眼框;光学自混传感器,该光学自混传感器被配置为测量可移动光学模块的透镜;以及致动器,每个致动器与该光学模块中的相应光学模块相关联,并且被配置为基于该透镜测量来使该光学模块的该透镜相对于该光学模块的该显示器移动。
根据另一个实施方案,针对该透镜中的每个透镜存在该光学自混传感器中的至少两个光学自混传感器。
根据另一个实施方案,每个光学模块具有该光学自混传感器的阵列。
根据另一个实施方案,每个透镜具有透镜表面,并且每个光学模块中的该光学自混传感器的阵列通过测量该阵列中的该光学自混传感器和该透镜表面之间的距离来测量该光学模块中的该透镜表面的变形。
根据另一个实施方案,每个光学自混传感器具有发射光的激光器并且具有检测器,该透镜中的每个透镜具有透镜表面,并且该光学自混传感器的检测器各自被配置为在来自该光学自混传感器的所发射的光已从该透镜表面反射之后检测所发射的光。
根据另一个实施方案,该光学自混传感器包括每个光学模块中的至少第一光学自混传感器、第二光学自混传感器和第三光学自混传感器。
根据另一个实施方案,每个光学模块的该第一光学自混传感器被配置为测量该光学模块中的该第一光学自混传感器和该透镜之间的距离。
根据另一个实施方案,每个光学模块的该第二光学自混传感器和该第三光学自混传感器被配置为测量该透镜相对于该第二光学自混传感器和该第三光学自混传感器的横向偏移。
根据一个实施方案,提供了一种头戴式设备,该头戴式设备包括:头戴式支撑结构;光学部件,该光学部件由该头戴式支撑结构支撑;光学自混传感器,该光学自混传感器被配置为测量到该光学部件的距离;以及致动器,该致动器被配置为至少部分地基于来自该光学自混传感器的信息来使该光学部件移动。
根据另一个实施方案,该光学部件包括透镜。
根据另一个实施方案,该光学部件包括相机。
根据另一个实施方案,该光学部件具有表面,并且该光学自混传感器被配置为发射从该表面反射的光,并且被配置为在所发射的光已从该表面反射之后接收所发射的光。
前述内容仅为示例性的并且可对所述实施方案作出各种修改。前述实施方案可独立实施或可以任意组合实施。

Claims (20)

1.一种头戴式设备,包括:
头戴式外壳;
至少一个光学模块,所述至少一个光学模块在所述头戴式外壳中,其中所述光学模块具有显示器并且具有透镜,所述透镜被配置为将图像从所述显示器呈现到适眼框;
光学自混传感器,所述光学自混传感器被配置为测量到所述透镜的距离;和
致动器,所述致动器被配置为基于所测量的距离来调节所述透镜。
2.根据权利要求1所述的头戴式设备,其中所述致动器被配置为响应于所测量的距离而移动所述透镜。
3.根据权利要求2所述的头戴式设备,其中所述透镜具有平面部分,并且其中所述光学自混传感器被配置为发射光束,所述光束从所述平面部分反射回到所述光学自混传感器。
4.根据权利要求2所述的头戴式设备,其中所述光学模块包括透镜镜筒,所述透镜镜筒被配置为支撑所述透镜,并且其中所述光学自混传感器被配置为通过测量所述自混传感器和所述透镜镜筒之间的距离来测量到所述透镜的所述距离。
5.根据权利要求2所述的头戴式设备,其中所述透镜具有透镜表面,并且其中所述光学自混传感器被配置为通过发射光,所述光从所述表面反射,并且检测所反射的发射的光来测量到所述透镜的所述距离。
6.根据权利要求2所述的头戴式设备,其中所述自混传感器包括激光二极管,所述激光二极管被配置为发射具有800nm-1100nm的波长的光。
7.根据权利要求2所述的头戴式设备,其中由所述光学自混传感器测量的所述距离是所述透镜和所述显示器之间的间距。
8.根据权利要求2所述的头戴式设备,其中所述光学自混传感器被配置为独立于测量所述透镜和所述显示器之间的间距而测量所述透镜相对于所述光学自混传感器的横向移动。
9.一种头戴式设备,包括:
头戴式外壳;
光学模块,所述光学模块被支撑在所述头戴式外壳中,其中每个光学模块具有显示器并且具有透镜,所述透镜被配置为将图像从所述显示器呈现到对应适眼框;
光学自混传感器,所述光学自混传感器被配置为测量所述可移动光学模块的所述透镜;和
致动器,其中每个致动器与所述光学模块中的相应一个光学模块相关联,并且被配置为基于所述透镜测量来使该光学模块的所述透镜相对于该光学模块的所述显示器移动。
10.根据权利要求9所述的头戴式设备,其中针对所述透镜中的每个透镜存在所述光学自混传感器中的至少两个光学自混传感器。
11.根据权利要求9所述的头戴式设备,其中每个光学模块具有所述光学自混传感器的阵列。
12.根据权利要求11所述的头戴式设备,其中每个透镜具有透镜表面,并且其中每个光学模块中的光学自混传感器的所述阵列通过测量所述阵列中的所述光学自混传感器和所述透镜表面之间的距离来测量该光学模块中的所述透镜表面的变形。
13.根据权利要求9所述的头戴式设备,其中每个光学自混传感器具有发射光的激光器并且具有检测器,其中所述透镜中的每个透镜具有透镜表面,并且其中所述光学自混传感器的所述检测器各自被配置为在来自该光学自混传感器的所发射的光已从所述透镜表面反射之后检测所发射的光。
14.根据权利要求9所述的头戴式设备,其中所述光学自混传感器包括每个光学模块中的至少第一光学自混传感器、第二光学自混传感器和第三光学自混传感器。
15.根据权利要求14所述的头戴式设备,其中每个光学模块的所述第一光学自混传感器被配置为测量该光学模块中的所述第一光学自混传感器和所述透镜之间的距离。
16.根据权利要求15所述的头戴式设备,其中每个光学模块的所述第二光学自混传感器和所述第三光学自混传感器被配置为测量所述透镜相对于所述第二光学自混传感器和所述第三光学自混传感器的横向偏移。
17.一种头戴式设备,包括:
头戴式支撑结构;
光学部件,所述光学部件由所述头戴式支撑结构支撑;
光学自混传感器,所述光学自混传感器被配置为测量到所述光学部件的距离;和
致动器,所述致动器被配置为至少部分地基于来自所述光学自混传感器的信息来移动所述光学部件。
18.根据权利要求17所述的头戴式设备,其中所述光学部件包括透镜。
19.根据权利要求17所述的头戴式设备,其中所述光学部件包括相机。
20.根据权利要求17所述的头戴式设备,其中所述光学部件具有表面,并且其中所述光学自混传感器被配置为发射光,所述光从所述表面反射,并且被配置为在所发射的光已从所述表面反射之后接收所发射的光。
CN202180036926.4A 2020-05-21 2021-05-11 具有自混传感器的头戴式电子设备 Pending CN115668034A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063028458P 2020-05-21 2020-05-21
US63/028,458 2020-05-21
US17/230,341 2021-04-14
US17/230,341 US11719937B2 (en) 2020-05-21 2021-04-14 Head-mounted electronic device with self-mixing sensors
PCT/US2021/031853 WO2021163713A1 (en) 2020-05-21 2021-05-11 Head-mounted electronic device with self-mixing sensors

Publications (1)

Publication Number Publication Date
CN115668034A true CN115668034A (zh) 2023-01-31

Family

ID=76197660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180036926.4A Pending CN115668034A (zh) 2020-05-21 2021-05-11 具有自混传感器的头戴式电子设备

Country Status (6)

Country Link
US (1) US11719937B2 (zh)
EP (1) EP4136495A1 (zh)
JP (1) JP7480353B2 (zh)
KR (1) KR20230005396A (zh)
CN (1) CN115668034A (zh)
WO (1) WO2021163713A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11774342B2 (en) 2019-04-05 2023-10-03 Apple Inc. Particulate matter sensors based on split beam self-mixing interferometry sensors
US11112235B2 (en) 2019-04-05 2021-09-07 Apple Inc. Handling obstructions and transmission element contamination for self-mixing particulate matter sensors
US11692809B2 (en) 2019-09-18 2023-07-04 Apple Inc. Self-mixing interferometry-based absolute distance measurement with distance reference
US11815693B2 (en) * 2020-04-20 2023-11-14 Apple Inc. Head-mounted electronic device
US11874110B2 (en) 2020-09-25 2024-01-16 Apple Inc. Self-mixing interferometry device configured for non-reciprocal sensing
US11640054B2 (en) * 2021-03-19 2023-05-02 Meta Platforms Technologies, Llc Multi-wavelength self-mixing interferometry
US11948043B2 (en) * 2021-06-02 2024-04-02 Apple Inc. Transparent insert identification
WO2023048976A1 (en) * 2021-09-21 2023-03-30 Kokanee Research Llc Device alignment systems
US11846752B1 (en) * 2022-11-11 2023-12-19 Htc Corporation Head-mounted display device with adjustable interpupillary distance
US20240203306A1 (en) * 2022-12-16 2024-06-20 Apple Inc. Electronic Devices with Dynamic Brightness Ranges for Passthrough Display Content

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11187908B2 (en) 2013-03-15 2021-11-30 Immy Inc. Head mounted display assembly with structural frame and separate outer frame
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9664982B2 (en) 2015-03-12 2017-05-30 Panasonic Intellectual Property Management Co., Ltd. Optical system driving device, lens barrel, and optical device
KR20180002387A (ko) 2016-06-29 2018-01-08 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 이의 제어방법
US10495879B1 (en) 2016-09-27 2019-12-03 Meta View, Inc. Apparatuses, methods and systems for wearable displays
DE102016226294A1 (de) 2016-12-29 2018-07-05 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung der Brechkraft einer Linse in einem Auge und Verwendung
WO2018213010A1 (en) 2017-05-17 2018-11-22 Apple Inc. Head-mounted display device with vision correction
EP3740809A4 (en) 2017-11-01 2021-12-15 Vrgineers, Inc. INTERACTIVE AUGMENTED OR VIRTUAL REALITY DEVICES
CA3084546C (en) 2017-12-03 2023-01-31 Frank Jones Enhancing the performance of near-to-eye vision systems
US10771884B2 (en) 2018-04-05 2020-09-08 Apple Inc. Electronic devices with coherent self-mixing proximity sensors
US11029442B2 (en) 2018-04-27 2021-06-08 Apple Inc. Self-mixing optical proximity sensors for electronic devices
US10838203B2 (en) 2018-07-17 2020-11-17 Apple Inc. Adjustable electronic device system with facial mapping
DE102018214637A1 (de) * 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zum Ermitteln einer Blickrichtung eines Auges
US11982809B2 (en) 2018-09-17 2024-05-14 Apple Inc. Electronic device with inner display and externally accessible input-output device
WO2021049740A1 (en) * 2019-09-12 2021-03-18 Samsung Electronics Co., Ltd. Eye accommodation distance measuring device and method, and head-mounted display
WO2021055327A1 (en) 2019-09-16 2021-03-25 NewSight Reality, Inc. Augmented reality or mixed reality system for eyewear
CN114026486B (zh) 2019-09-19 2024-06-07 苹果公司 具有眩光抑制角度滤光器的光学系统

Also Published As

Publication number Publication date
JP2023527724A (ja) 2023-06-30
WO2021163713A1 (en) 2021-08-19
EP4136495A1 (en) 2023-02-22
JP7480353B2 (ja) 2024-05-09
US11719937B2 (en) 2023-08-08
US20210302745A1 (en) 2021-09-30
KR20230005396A (ko) 2023-01-09

Similar Documents

Publication Publication Date Title
US11719937B2 (en) Head-mounted electronic device with self-mixing sensors
US11126004B2 (en) Head-mounted electronic display device with lens position sensing
CN213457536U (zh) 头戴式设备的光学模块
US11287886B1 (en) Systems for calibrating finger devices
US11815693B2 (en) Head-mounted electronic device
CN112540670A (zh) 具有手指传感器的电子设备
US11892701B2 (en) Lens mounting structures for head-mounted devices
CN209821509U (zh) 头戴式系统
CN113534462A (zh) 具有光学模块的电子设备
US20230418078A1 (en) Electronic Devices With Deformation Sensors
US20240061252A1 (en) Head-Mounted Device With Optical Module Illumination Systems
US20230314820A1 (en) Head-Mounted Electronic Display Device With Lens Position Sensing
US20240012257A1 (en) Electronic Devices with Lens Positioners
US11762422B1 (en) Electronic devices with drop protection
US11860439B1 (en) Head-mounted electronic device with alignment sensors
US11729373B1 (en) Calibration for head-mountable devices
US11763779B1 (en) Head-mounted display systems with alignment monitoring
US20230418019A1 (en) Electronic Device With Lens Position Sensing
US20240069688A1 (en) Head-Mounted Electronic Device with Magnification Tool
WO2024006632A1 (en) Electronic device with lens position sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination