CN116601541A - 具有补充照明的系统 - Google Patents
具有补充照明的系统 Download PDFInfo
- Publication number
- CN116601541A CN116601541A CN202180078150.2A CN202180078150A CN116601541A CN 116601541 A CN116601541 A CN 116601541A CN 202180078150 A CN202180078150 A CN 202180078150A CN 116601541 A CN116601541 A CN 116601541A
- Authority
- CN
- China
- Prior art keywords
- light source
- camera
- infrared light
- head
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
- G02B1/002—Optical elements characterised by the material of which they are made; Optical coatings for optical elements made of materials engineered to provide properties not available in nature, e.g. metamaterials
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/013—Head-up displays characterised by optical features comprising a combiner of particular shape, e.g. curvature
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种头戴式设备,该头戴式设备能够具有头戴式支撑结构。显示器能够将图像呈现给该头戴式支撑结构后部处的适眼区。相机和其他传感器能够由该头戴式支撑结构支撑。跟踪相机能够用于跟踪用户的手或其他外部对象的移动。在昏暗的环境照明条件下,能够激活补充照明系统以为该跟踪相机提供补充照明。能够在给定覆盖区域上发射单个补充照明光束,或者能够在该给定覆盖区域上使较小的补充照明光束转向。诸如红外发光二极管和红外激光器的发光设备能够用于形成用于该补充照明系统的红外光源。
Description
本专利申请要求于2020年9月21日提交的美国临时专利申请号63/081,204的优先权,该美国临时专利申请据此全文以引用方式并入本文。
技术领域
本公开整体涉及电子设备,并且更具体地涉及电子设备诸如头戴式设备。
背景技术
电子设备诸如头戴式设备可具有传感器。例如,头戴式设备可具有相机,该相机用于捕获头戴式设备周围环境的图像。
发明内容
头戴式设备能够具有头戴式支撑结构。显示器能够将图像呈现给该头戴式支撑结构后部处的适眼区。
相机和其他传感器能够由该头戴式支撑结构支撑。在操作期间,相机图像和其他传感器数据可由头戴式设备中的控制电路采集和处理。
一个或多个相机能够用于跟踪用户的手或其他外部对象的移动。在明亮的环境照明条件下,相机可捕获可见光图像。在昏暗的环境照明条件下,可激活补充红外照明系统以为跟踪相机提供补充照明。
补充照明系统可具有固定和/或动态可调光源。可在期望的覆盖区域上发射相对大的补充照明光束,或者可在期望的覆盖区域上使较小的补充照明光束转向。
诸如红外发光二极管和红外激光器的发光设备能够用于形成用于补充照明系统的红外光源。可调光源可具有在不同的相应方向上发射光的可单独寻址的发光部件,或者可使用电控可调光束转向器来控制发射光的方向。
附图说明
图1是根据一个实施方案的诸如头戴式设备的例示性电子设备的侧视图。
图2是根据一个实施方案的具有电子设备的例示性系统的示意图。
图3是根据一个实施方案的具有环境照明系统的例示性电子设备的一部分的横截面侧视图。
图4是根据一个实施方案的具有环境照明系统的例示性电子设备的顶视图。
图5、图6、图7和图8是根据一个实施方案的用于补充照明系统的例示性光源的横截面侧视图。
图9、图10和图11是示出根据一个实施方案的可由补充照明系统产生的例示性照明图案的图形。
图12是根据一个实施方案的使用具有补充照明系统的诸如头戴式设备的电子设备所涉及的例示性操作的流程图。
具体实施方式
头戴式设备包括允许设备穿戴在用户头部上的头戴式支撑结构。显示器可用于向用户呈现视觉内容。相机可用于捕获可见光图像和红外图像。相机可用于例如跟踪手势和其他身体移动,向用户提供实时直通视频,以及跟踪头戴式设备相对于头戴式设备周围环境的移动。
头戴式设备可用于低光情况。为了确保在这些情况下有足够的照明,可由头戴式设备中的补充照明系统提供补充照明。照明系统可提供即使在没有足够的环境光的情况下也帮助头戴式设备中的相机正常操作的照明。
为了帮助防止对头戴式设备附近的人产生视觉干扰,补充照明系统可在红外波长下操作。头戴式设备中的相机可被配置为感测可见光和红外光两者。当可见环境光水平低时,照明系统可提供红外照明,同时相机采集红外图像。如果需要,可调节红外照明的方向和/或功率水平。
图1是可提供有照明系统的类型的例示性头戴式电子设备的侧视图。如图1所示,头戴式设备10可包括头戴式支撑结构26。支撑结构26可具有将设备10的内部区域诸如内部区域42与围绕设备10的外部区域诸如外部区域44分离的壁或其他结构。电气部件40(例如,集成电路、传感器、控制电路、发光二极管、激光器和用于照明系统的其他发光设备、其他控制电路和输入-输出设备等)可安装在设备10内(例如,内部区域42中)的印刷电路和/或其他结构上。
为了向用户呈现用于从适眼区诸如适眼区34观看的图像,设备10可包括显示器诸如显示器14和透镜诸如透镜38。这些部件可安装在光学模块诸如光学模块36(例如,镜筒)中以形成相应的左光学系统和右光学系统。例如,可存在用于在左适眼区中通过左透镜向用户的左眼呈现图像的左显示器和用于在右适眼区中向用户的右眼呈现图像的右显示器。当结构26抵靠用户面部的外表面(面部表面30)时,用户的眼睛位于设备10的后侧R处的适眼区34中。
支撑结构26可包括主支撑结构,诸如主外壳部分26M(有时称为主要部分)。主外壳部分26M可形成设备10的前侧F。在后侧R上,主外壳部分26M可具有缓冲结构,以在部分26M抵靠面部表面30时提高用户舒适度。如果需要,支撑结构26可包括任选的头带,诸如带26B和/或允许设备10穿戴在用户头部上的其他结构。
在图2中示出了可包括头戴式设备的例示性系统的示意图。如图2所示,系统8可具有一个或多个电子设备10。设备10可包括头戴式设备(例如,图1的设备10)、附件诸如耳机、计算装备(例如,蜂窝电话、平板计算机、膝上型计算机、台式计算机和/或向头戴式设备供应内容的远程计算装备)和/或彼此通信的其他设备。
每个电子设备10可具有控制电路12。控制电路12可以包括用于控制设备10的操作的存储和处理电路。电路12可以包括存储装置,诸如硬盘驱动器存储装置、非易失性存储器(例如,被配置为形成固态驱动器的电可编程只读存储器)、易失性存储器(例如,静态或动态随机存取存储器)等。控制电路12中的处理电路可以基于一个或多个微处理器、微控制器、数字信号处理器、基带处理器、功率管理单元、音频芯片、图形处理单元、专用集成电路以及其它集成电路。软件代码可存储在电路12中的存储装置上,并且在电路12中的处理电路上运行,以实现用于设备10的控制操作(例如,数据采集操作、涉及使用控制信号调节设备10的部件的操作等)。控制电路12可以包括有线和无线通信电路。例如,控制电路12可包括射频收发器电路,诸如蜂窝电话收发器电路、无线局域网收发器电路(例如,电路)、毫米波收发器电路、和/或其他无线通信电路。
在操作期间,系统8中的设备的通信电路(例如,设备10的控制电路12的通信电路)可用于支持电子设备之间的通信。例如,一个电子设备可以将视频数据、音频数据和/或其他数据传输给系统8中的另一电子设备。系统8中的电子设备可以使用有线和/或无线通信电路来通过一个或多个通信网络(例如,互联网、局域网等)进行通信。通信电路可以被用于允许设备10从外部装备(例如,拴系计算机、便携式设备诸如手持设备或膝上型计算机、在线计算装备诸如远程服务器或其他远程计算装备、或其他电气装备)接收数据和/或向外部装备提供数据。
系统8中的每个设备10可包括输入-输出设备22。输入-输出设备22可以被用于允许用户为设备10提供用户输入。输入-输出电路22可以也被用于采集有关设备10在其中操作的环境的信息。电路22中的输出部件可以允许设备10向用户提供输出,并且可以被用于与外部电气装备通信。
如图2所示,输入-输出设备22可包括一个或多个显示器诸如显示器14。在一些配置中,设备10包括左显示设备和右显示设备。设备10可例如包括左部件和右部件诸如左扫描镜显示设备和右扫描镜显示设备或其他图像投影仪、硅基液晶显示设备、数字镜设备或其他反射显示设备;基于发光二极管像素阵列的左显示面板和右显示面板(例如,具有聚合物或半导体基板的有机发光显示器或基于由晶体半导体发光二极管管芯形成的像素阵列的显示设备);液晶显示面板;和/或向左适眼区和右适眼区提供图像以供用户的左眼和右眼分别观看的其他左显示设备和右显示设备。
在操作期间,显示器14可用于为设备10的用户显示视觉内容。在显示器14上呈现的内容可包括虚拟对象和由控制电路12提供给显示器14的其他内容。该虚拟内容可有时被称为计算机生成的内容。计算机生成的内容可在不存在现实世界内容的情况下显示,或者可与现实世界内容组合。在一些配置中,真实世界图像可由相机(例如,前向相机,有时称为面向前相机)捕获,使得计算机生成的内容可以电子方式覆盖在该真实世界图像的部分上(例如,当设备10是一副虚拟现实护目镜的情况下)。
输入-输出设备22可以包括传感器16。传感器16可包括例如三维传感器(例如,三维图像传感器诸如发射光束并且使用二维数字图像传感器从在目标被该光束照射时生成的光点采集用于三维图像的图像数据的结构化光传感器、使用双目成像布置中的两个或更多个相机采集三维图像的双目三维图像传感器、三维激光雷达(光检测和测距)传感器、三维射频传感器、或采集三维图像数据的其他传感器)、相机(例如,红外和/或可见光数字图像传感器)、视线跟踪传感器(例如,基于图像传感器、并且如果需要的话还基于光源的视线跟踪系统,该光源发射一个或多个光束,该光束在从用户的眼睛反射之后使用图像传感器进行跟踪)、触摸传感器、电容式接近传感器、基于光的(光学)接近传感器、其他接近传感器、力传感器(例如,应变计、电容式力传感器、电阻式力传感器等)、传感器诸如基于开关的接触传感器、气体传感器、压力传感器、湿度传感器、磁传感器、音频传感器(麦克风)、环境光传感器、用于采集语音命令和其他音频输入的麦克风、被配置为采集关于运动、位置和/或取向的信息的传感器(例如,加速度计、陀螺仪、罗盘、和/或包括所有这些传感器或者这些传感器中一者或两者的子组的惯性测量单元)、和/或其他传感器。
用户输入和其他信息可以利用传感器和输入-输出设备22中的其他输入设备来采集。如果需要,输入-输出设备22可包括其他设备24,诸如触觉输出设备(例如,振动部件)、发光二极管、激光器和其他光源(例如,当环境光水平低时发射照射设备10周围环境的光的发光设备)、扬声器诸如用于产生音频输出的耳用扬声器、用于接收无线电力的电路、用于将电力无线地传输到其他设备的电路、电池和其他能量存储设备(例如,电容器)、操纵杆、按钮和/或其他部件。
电子设备10可具有头戴式支撑结构诸如头戴式支撑结构26(例如,头戴式外壳结构诸如外壳壁、带等)。头戴式支撑结构可被配置为在设备10的操作期间穿戴在用户头部上(例如,抵靠用户面部,从而覆盖用户眼睛),并且可支撑显示器14、传感器16、其他部件24、其他输入-输出设备22和控制电路12(参见例如图1的部件40和光学模块36)。
图3是例示性配置中的头戴式设备的横截面侧视图,其中该设备包括用于提供环境照明的照明系统。图3的头戴式设备10可具有光学传感器。这些传感器可包括相机。设备10的相机可具有被配置为在紫外光波长、可见光波长和/或红外波长下捕获图像的透镜和图像传感器。
一些相机(例如,有时可被称为场景相机的类型的相机)可用于捕获用户环境的实时显示在显示器14上的图像(例如,实时直通视频)。设备10中的相机还可用于跟踪外部对象的位置和移动。作为示例,跟踪相机可跟踪用户的手(参见例如手30H)或用户的躯干或其他身体部位(参见例如用户身体部位30B)。作为示例,手势输入可用于控制设备10的操作。身体部位监测可用于允许用户的身体运动被虚拟环境中显示的内容复制。如果需要,相机也可用于跟踪外部附件的位置(例如,由用户移动以控制设备10的控制器的位置和移动)。在一些场景中,可通过将来自设备10中的一个或多个相机的数据与附加传感器数据(例如,来自惯性测量单元的数据)组合,来形成视觉惯性测距(VIO)系统或确定设备10相对于设备10周围环境的位置、移动和/或取向的其他系统。相机可执行专用功能(跟踪、视觉惯性测距功能、场景捕获、测距、用于面部识别和环境映射的三维图像捕获等),或这些操作中的两者或更多者可由共享相机执行。
可能期望允许设备10的用户在低照明条件下操作设备10。作为示例,用户可能正在黑暗的房间或黑暗的车辆内部观看显示器14上的内容。为了确保能够令人满意地执行诸如手跟踪、身体跟踪、附件跟踪的相机跟踪功能和任选的其他基于相机的功能(例如,视觉惯性测距等),设备10可提供补充照明。补充照明可由产生补充紫外光、补充可见光和/或补充红外光的光源来提供,以增强任何可用的环境光。在例示性配置中,以红外波长来提供补充照明,因为这种光可由跟踪相机或具有红外感测能力的其他相机检测并且对人眼不可见。因为补充红外照明是不可见的,所以在设备10的用户附近的人(例如,与用户处于相同房间或车辆中的人)将不被补充照明的存在干扰。
可使用任何合适的光源来形成用于设备10的补充照明系统(例如,发光二极管、激光器等)。在例示性配置中,这些发光设备是发射波长为940nm或其他红外波长(例如,诸如740nm-1500nm、至少800nm、940nm、至少900nm、800nm-1200nm、900nm-1000nm、750nm-1100nm、800nm-1100nm、小于1500nm等的一个或多个波长)的红外光的激光二极管或发光二极管。可存在使用设备10中的补充照明的N个相机和M个补充光源。N和M的值可以是1-10、至少2、至少3、至少4、至少6、至少8、2-10、4-6、2-4、小于10、小于5、小于4或其他合适的值。N的值可大于M的值,N的值可等于M的值,或者N的值可小于M的值。作为一个示例,可存在使用补充红外照明的四个相机,并且可存在发射补充照明的两个光源。
使用补充红外照明的相机可被配置为对由补充照射系统照射的波长(例如,与M个补充光源相关联的红外光波长)敏感。相机还可对可见光波长敏感,使得当存在充足的可见环境光照明时,相机可在没有任何补充照明的情况下操作。为了帮助避免正常环境照明条件期间的红外干扰,作为示例,补充照明系统可被配置为发射窄红外波段(例如,940nm)中的光,并且相机可提供有使可见光通过同时阻挡除窄红外波段中的光之外的所有红外光的滤光器。在另一例示性配置中,相机在整个可见光谱(例如,380nm至740nm)上并且在红外光谱(例如,740nm至1000nm,或其中产生红外补充照明的其他合适的较宽红外波长波段)内敏感。如果需要,可切换滤光器可用于在不使用补充红外照明时阻挡来自相机的红外光,并且在使用补充红外照明时使红外光通过。
如图3所示,设备10的右手侧可包含面向诸如方向54的方向(例如,作为示例,-Z方向和略微+Y方向)的诸如相机50的第一相机,并且可包含面向诸如方向56的向前方向(例如,作为示例,+Y方向和略微-Z方向)的诸如相机52的第二相机(有时称为前向相机)。设备10的左手侧可具有以相同方式取向的对应的一对相机。左侧和右侧上的相机的视角可被配置为在设备10的前方重叠,使得在用户前方的覆盖范围中没有间隙。如果需要,相机50和52可由单个相机(例如,相机52的位置中的相机、相机50的位置中的相机,或在从设备10的前侧F上的位置向外观看时捕获图像的另一合适前向和/或下向取向中的相机)代替。例如,可在设备10的右侧上存在单个跟踪相机(例如,相机52)并且在设备10的左侧上存在对应的单个跟踪相机。
不管在设备10的每一侧上提供的跟踪相机的数量如何,可存在诸如光源58的右手红外光源,其在方向60上提供补充照明(红外光)以照射诸如手30H、身体30B的对象以及用于设备10的右手侧上的跟踪相机的其他外部对象,并且可存在对应的左手红外光源,其为设备10的左侧上的跟踪相机提供补充红外光。在设备10的每一侧上使用单个补充红外光源来为设备10的该侧上的跟踪相机提供补充照明,可帮助节省外壳26的狭小范围内的空间。
设备10的补充照明系统可在如下区域(角度范围)中提供红外照明:大于设备10的跟踪相机所覆盖的区域(角度范围)的区域、在面积上等于相机所覆盖的区域的区域、或小于相机所覆盖的区域的区域。
作为示例,考虑图3的设备10的补充照明系统在YZ平面内的覆盖范围。如图3的侧视图所示,下向相机50可由YZ平面中的视角A1表征,并且前向相机52可由YZ平面中的视角A3表征。这些视角可重叠以提供YZ平面中的连续跟踪覆盖范围。如果需要,可使用单个跟踪相机来提供YZ平面中的相同量的覆盖范围或另一合适量的覆盖范围。图3的示例为例示性的。
来自光源58的补充照明可由YZ平面中的照明角度A2表征。A2的值可大于、等于或小于相机50和52的组合视角,或者可大于、等于或小于代替相机50和52使用的单个跟踪相机的视角。在例示性配置中,A2小于跟踪相机的总视角并且在设备10的前方在向前和向下方向上(手和身体跟踪最可能发生的位置)向外指向。针对补充照明系统使用略微减小的照明区域(例如,小于由跟踪相机系统覆盖的区域的照明区域)可有助于当在黑暗操作环境中操作延长的时间段时节省功率,同时保留在除外围区域之外的所有区域中跟踪对象的能力。
图4是设备10的顶视图,其示出了设备10可如何在支撑结构26的左侧和右侧上都包含相机。外壳部分26M的中心可包含鼻梁部分26NB。鼻梁部分26NM可具有弯曲形状的下边缘,该下边缘被配置为当设备10被穿戴在用户面部上时搁置在用户的鼻子上。鼻梁部分26NB可将右外壳部分26R联接到左外壳部分26L。光学部件62可包括侧向可见光相机、前向可见光相机、飞行时间相机(例如,面向前方的鼻梁部分26NM中的飞行时间传感器)、三维结构化光相机(例如,与鼻梁部分26NB相邻的左和右结构化光相机)、用于检测环境光波动(例如,与室内人工照明相关联的60Hz波动)的闪烁传感器、环境光传感器等。
右相机52可被支撑在右外壳部分26R中,并且对应的左相机52'可被支撑在左外壳部分26L中。类似地,诸如图3的相机50的任选的附加右相机可被支撑在右外壳部分26R中,并且对应的任选的附加左相机可被支撑在左外壳部分26L中。在这种类型的配置中,单个右侧跟踪相机或一对右侧跟踪相机的补充照明可由右补充光源58提供,并且左侧相机的补充照明可由左补充光源58'提供。
在补充照明操作期间,光源58和58'分别在方向60和60'上产生补充照明。如结合图3的相机和光源的相对覆盖区域所述,补充照明系统的照明覆盖区域不必精确地匹配相机的覆盖区域。例如,设备10的每一侧上的跟踪相机可由XY平面中比相关联的光源的覆盖角度更大的视角来表征。也可使用这样的布置,其中在与相机的视角相同的角度范围上提供来自设备10的每一侧上的补充光源的照明,或者在比相机的视角更宽的角度范围上提供照明。
可以全局方式在相对大的固定区域上提供补充照明,或者可通过朝向或跨期望的区域激活或移动较窄的照明光束来覆盖期望的区域。如果需要,具有转向的或可寻址的补充照明光束的动态照明系统可使照明光束转向或激活,使得光束跟随用户的手或其他感兴趣对象。这样,就不会不必要地消耗功率来照射不包含要跟踪的对象的区域。
图5和图6是例示性固定区域补充照明光源的侧视图。
图5的例示性光源58具有半导体发光设备70。设备70可以是固态发光设备,诸如发光二极管、超发光发光二极管、谐振腔发光二极管、边发射发光二极管或垂直腔表面发射二极管,可以是二极管泵浦激光器,诸如二极管泵浦光纤激光器或其他二极管泵浦激光器等。如图5所示,设备70可安装在任选的内插器72上(例如,使用焊料)。内插器72可安装到封装基板74(例如,印刷电路)。在操作期间,设备70可发射红外光,该红外光通过与设备70重叠的一个或多个光学结构在期望的照明区域上扩散。在图5的示例中,这些光学结构包括任选的包覆成型聚合物透镜76和诸如花生状透镜78的任选的次级光学结构。还可以在内插器76或基板74上形成弯曲的反射光学结构以增强侧光和/或背光回扫。与设备70重叠的光学结构可用于整形光强度以产生不同于固有光源强度分布的期望远场分布(例如,具有朗伯强度分布的发光二极管)。如果需要,诸如电阻性安全迹线或电容性迹线的安全增强结构可嵌入光学器件中,或者可与光学器件重叠,或者光电探测器可用于形成具有光源驱动器上的安全互锁的闭环(例如,与结合图5至图8所示类型的模块架构有关)。
在图6的例示性配置中,发光设备70(例如,激光器)已经被安装在诸如光束整形层82的光扩散结构下方。层82可被支撑在光源封装件80中。设备70可安装在印刷电路或其他基板上的任选内插器72上的封装件80中。在操作期间,图6的设备70可在向上的方向上发射红外光,该红外光被光束整形层82横向地扩散以覆盖期望的照明区域(例如,+/-60°或其他合适的角度范围)。
一般来讲,用作光扩散结构的任何合适的光学部件可与图5和图6的设备70重叠。这些光学部件可包括诸如折射光束整形光学部件、衍射光学器件、漫射光学器件、光学纳米结构(例如,薄的二维超材料层,诸如具有亚波长尺寸的透明电介质的图案化结构,其形成被配置为使发射光束扩散的超表面)、弯曲反射器等光学部件。当形成光源58时,多个设备70可安装在公共封装件中,并且/或者多个封装的设备70可安装在彼此相邻的印刷电路上。在图5和图6的示例中,在形成光源58时使用单个发光设备70是例示性的。
图7和图8是可用于设备10的照明系统中的例示性动态图案照明器的侧视图。使用图7和图8所示类型的光源,控制电路12可选择性地使发射的红外光光束激活或转向,使得可为一个或多个感兴趣对象提供目标补充照明。
在图7的示例中,光源58具有发光设备70的阵列。设备70可包括安装在诸如封装件86中的印刷电路84的基板上的多个半导体管芯,可包括多个可单独寻址的发射器,或者可包括安装在诸如封装件86中的硅、陶瓷、印刷电路板84或其他基板的基板上的发射器的多个可单独寻址的段。分区的光束整形器层或诸如层88的其他光学部件可与设备70重叠。层88可具有多个区,每个区具有相应的光束转向和光束整形光学结构。这些结构可以是折射结构、衍射结构、纳米结构等。可采用在层88和/或层88的多个层的两个表面上具有垂直对准或未对准区的结构。每个区可用于在不同的相应方向上使从相应发光设备发射的光束转向和整形。例如,第一区可将已经从第一设备70垂直发射的光束导向左侧,而第二区可将已经从第二设备70垂直发射的光束导向右侧。通过使单独受控设备70的阵列与个体化光束转向结构的对应阵列重叠,每个设备70可被配置为在不同的相应方向上发射光束(参见例如例示性光束90),从而向图7的光源58提供发射转向光束的能力。每个光束的发射区域可与相邻光束重叠以避免覆盖范围中的可能间隙。光束90可全部同时发射,或者可一次发射一个或多个选定的光束90。如果需要,光束90可按顺序发射(例如,跨感兴趣区域扫描来自光源58的发射光束)。
可用于形成设备10的补充照明系统的动态图案照明器的另一例示性光源示于图8中。图8的光源58可具有一个或多个发光设备,诸如发射诸如光束92(例如,红外光束)的一个或多个光束的设备70。设备70可安装在封装件96中的印刷电路或其他基板94上。电控光束转向器98可具有一个或多个光束转向器,诸如可转向的微电子机械系统反射镜100或由来自控制电路12的控制信号控制的其他电控可调光束转向元件。当期望在第一方向上发射光时,可在第一取向上放置反射镜100,其反射光束92以产生第一发射光束102。当期望在第二方向上发射光时,可在不同于第一取向的第二取向上放置反射镜100,从而反射光束92以产生第二发射光束104。可以任何合适数量(例如,至少2个、至少10个、至少25个、至少100个、小于5000个、小于1000个、小于500个或其他合适数量)的不同取向来放置反射镜100。反射镜100可围绕单个轴旋转(以沿着单个维度改变发射光束的角度)或者可围绕两个轴旋转(例如,以在两个维度中任意地改变发射光束的角度)。如果需要,可将光束整形光学器件(例如,光束准直透镜等)结合到光束转向器98中以有助于确保转向光束具有期望的强度分布。
如果需要,可采用混合照明器架构,使得可选择性地激活如结合图7所述的设备70或多个设备70的多个通道,以向诸如图8的反射镜100的光束转向光学器件提供动态照明的一个或多个附加维度。
发射静态宽区域光束的光源(参见例如图5和图6的例示性光源58)可被配置为发射任何合适形状的光束,以有助于为设备10的跟踪相机提供补充照明。图9是示出光源58可如何被配置为发射诸如圆形光束110的圆形光束能视场(FoG)(例如,具有由+/-60°的角展度或其他合适的覆盖区域表征的半高全宽(FWHM)强度的红外光光束)或者可被配置为发射诸如具有类似的垂直角展度和较小的水平角展度的矩形光束112的矩形光束FoG的图形。可并排产生诸如光束112的两个矩形光束,以为设备10中的左相机和右相机两者提供足够的水平照明覆盖范围(作为示例)。
在大多数一般用例中,照明系统的目标是为由一个或多个相机捕获的照明场景提供均匀的信噪比。在期望的FWHM 2D FoG内,可实现每个瞬时FoG(iFoG)处的均匀的远场密度,以为相机提供均匀的照明和工作范围。然而,存在可能期望不均匀远场强度分布的情况。例如,当照明的目标平坦时或当相机渐晕显著时,可使用对称的“蝙蝠翼”强度分布来补偿相机图像传感器的相对强度下降。另外的示例包括用于以下项的非对称强度分布:相对于照明系统以非同轴取向对准的相机、具有跨FoG的非对称出现/驻留的诸如手的目标、具有重叠FoG的多个照明器、多个非同轴相机、特定FoG区域处的不规则遮挡等。
图10和图11的图形示出了与动态可调照明系统相关联的例示性光束输出(角光束分布)。在图10的示例中,诸如图7的图58的光源58或图8的光源58的光源已经被配置为产生具有细长矩形形状(例如,具有比垂直展度大的水平展度的矩形)的光束。使用光束转向,光源58可在一个或多个垂直位置(诸如图10的例示性位置114)发射该细长矩形光束。在图7所示类型的布置中,每个发光设备70可产生各自不同的细长矩形光束,每个细长矩形光束与光源58的输出中的不同垂直位置相关联。这些光束中的一个或多个光束可通过打开一个或多个相应的发光设备70而同时发射。在图8所示类型的布置中,发光设备70可产生诸如图8的光束92的光束,该光束被光束转向器98转向到期望位置(例如,图10的例示性位置114)和/或其他位置,从而为光源58提供期望的覆盖范围。
在图10的例示性示例中,在比水平范围大的垂直角度范围上输出光。可使用附加光源(例如,设备10的相对侧上的光源)来提供附加水平覆盖范围。这样,可覆盖期望的角度输出范围(例如,在水平和垂直维度两者上+/-60°或其他合适的角度输出范围)。
在图11的例示性配置中,光源58(例如,诸如图7或图8的光源58的动态配置的光源)被配置为提供相对小的圆形或正方形输出光束,该输出光束可在水平和垂直维度两者上被转向,使得产生期望总量的覆盖范围。
在静态并且不具有可转向光束的那些光源和在具有动态图案化输出的那些光源两者中,可以二进制方式(开/关)或以模拟方式(例如,通过在多于两个的不同输出水平之间连续地或以分步方式调节输出功率)来控制光束功率。如图11所示,例如,在诸如区域116的覆盖区域的某些部分中可不输出光(例如,对于这些区域,光束功率可以是零),在诸如区域118的区域中可输出全功率光(例如,对于这些区域,光束功率可被最大化),并且当向诸如与区域118紧邻的区域120的其他区域提供输出光时,可使用中间功率水平。
仅在光源58的总覆盖区域的子组中输出全功率光的布置可有助于设备10有效地使用功率。如图11的图表所示,例如,在给定光源的覆盖区域内可存在一个或多个感兴趣外部对象,诸如对象122。作为示例,设备10可跟踪用户的手或其他外部对象。当这些对象与设备10中的相机的总视角相比相对小时,可通过将补充照明的输出限制(或至少将全功率补充照明的输出限制)到仅与所跟踪的外部对象重叠的那些区域来节省功率。
在图11的示例中,对象122(例如,用户的手或其他身体部位或用户环境中的其他对象)正被设备10主动跟踪。因此,设备10的补充照明系统正被用于向与对象122重叠的区域118提供全功率照明。在发光设备58的覆盖区域中的其他位置,光束功率被减小(参见例如中间功率区域120)或完全关闭(参见例如未照射区域116)。这种类型的方法可用于扫描光束布置(例如,使用如结合图8所述的扫描镜设备或其他光束转向器)或使用具有设备70的可寻址阵列的光源(例如,图7的光源58),每个设备可在不同的方向上提供输出。
在诸如图11的区域116的区域中,不存在补充照明,因此那些区域中的物品将不接收补充照明。然而,一旦诸如对象122的对象被跟踪,设备10就可实时监测对象122的位置和移动方向。这允许设备10向与对象122重叠的区域提供全功率的补充照明,并且向光源58的输出区域的紧邻对象122的部分(例如,对象122可能移动的区域和/或基于所跟踪的移动被预测在不久的将来占据的区域)提供中间功率(或者,如果需要,全功率)的补充照明。在对象122的位置移动到那些相邻区域中的一个区域中的情况下,设备10可将那些区域上的补充照明增加到全功率,并且可更新光束功率,使得相邻区域再次具有中间功率水平覆盖范围。
虽然已经结合来自图7和图8的光源58的二维扫描光束描述了图11的多功率水平光束方案,但此类可调功率输出方案也可与提供一维可调方向光源(例如,产生图10所示类型的补充照明的切片的光源)的光源58一起使用并且/或者可与固定区域光源一起使用。在固定区域光源方案中,例如,图5或图6所示类型的右手光源58可用于为跟踪在设备10的右手相机前方的对象122提供补充照明,而图5或图6所示类型的左手光源58可用于为跟踪在设备10的左手相机前方的对象122提供补充照明。设备10可根据对象122的当前位置和预期位置来激活右手光源或左手光源或两者。
帮助补充照明系统有效地使用功率的另一种方式涉及,仅当为其提供补充照明的相机将从补充照明获益时才使用光源58来产生补充照明。例如,在明亮的照明条件下,环境可见光将提供足够的照明,因此补充红外光光束可被关闭(或者至少将功率降低到比以其他方式使用的低的水平)以帮助节省功率。补充照明的激活可在检测到昏暗的环境照明条件时或者在检测到触发补充照明的产生的其他合适的条件时发生。
图12是使用电子设备10所涉及的例示性操作的流程图。
在框150的操作期间,设备10可用于向用户提供内容,诸如视觉内容、音频内容和其他输出。作为示例,设备10可穿戴在用户的头部上,同时呈现图像以供查看。当设备10处于具有令人满意的可见环境光水平的正常操作环境中时,可执行框150的操作。
可在显示器14上向用户呈现视觉内容。该视觉内容可包括来自设备10中的相机的相机图像(例如,直通视频)和/或其他内容。在一些场景中,计算机生成的内容(有时称为虚拟内容)可覆盖在来自设备10中的相机的真实世界内容的顶部上。在这种类型的混合现实环境中,相机数据可用于帮助跟踪用户的手和其他真实世界对象的位置并且由此帮助记录虚拟内容在真实世界图像上的覆盖。例如,通过跟踪用户的手的位置,可将计算机生成的手套的图像准确地覆盖在用户的手的真实世界图像的顶部上。通过跟踪桌子表面的位置,计算机生成的图像可被放置在桌子表面的顶部上。相机数据可用于实时跟踪用户的手、手指和/或其他身体部位的运动。这样,用作用户输入的手势、手指手势和/或其他身体部位运动(有时称为空中手势)可用于控制设备10的操作(例如,在混合现实或完全虚拟环境中)。
设备10可具有任何合适数量的相机,包括三维相机(例如,结构化光相机、飞行时间相机等);用于捕获真实世界可见光图像的相机(例如,用于视频直通);和/或执行跟踪操作、用作视觉惯性测距系统的一部分和/或以其他方式支持设备10的操作的相机。设备10的相机可面向前方、下方、侧面、上方、后方和/或多个方向。一些相机可仅在可见波长下操作。其他相机可在可见波长和红外波长下操作。
如结合图3和图4所述,作为示例,设备10可在设备10的每一侧上具有一个或多个跟踪相机。这些相机可对可见波长和红外波长敏感,并且可用于跟踪操作(例如,手和身体跟踪、空中手势输入跟踪、附件跟踪)和任选的附加功能(诸如用于视觉惯性测距系统的用户环境中的成像结构)。跟踪相机可对可见波长和红外波长敏感,诸如400nm-1000nm、400nm-740nm和940nm的波长、或其他合适的可见波长和红外波长。跟踪相机的红外灵敏度优选地与由补充照明系统中的光源58发射的一个或多个波长一致,从而允许这些相机在大多数或全部可用照明由光源58而非环境光源提供时操作。
如果需要,可连续提供补充照明。作为示例,本文描述了其中通过至少偶尔对补充照明系统断电来节省功率的布置。在其中打开和关闭补充照明的设备10的配置中,设备10可在框150的操作期间监测指示补充照明应当被开启以令人满意地操作相机(例如,跟踪相机)的条件的出现。这些监测活动可在设备10的相机(例如,跟踪相机)在没有来自补充照明系统的补充照明的情况下正常操作时发生。
可使用任何合适的触发标准来确定何时通过打开光源58来激活补充照明系统。作为示例,设备10可包含环境光传感器。环境光传感器可测量存在于设备10周围环境中的可见环境光的量。可对来自环境光传感器的环境光读数应用阈值或其他标准。响应于确定环境光水平低于预定环境光阈值或在其他方面过暗而无法使跟踪相机令人满意地操作,控制电路12可打开光源58以提供补充照明(例如,红外光)。
可用于确定何时激活补充照明的另一例示性标准涉及评估图像处理算法质量度量。在框150的操作期间,可通过一个或多个图像处理算法来处理所捕获的图像。作为示例,这些算法可包括手跟踪算法。手跟踪算法可产生质量因子或指示手跟踪算法满意地跟踪用户的手的能力的其他度量。响应于检测到跟踪算法质量度量低于期望的阈值,控制电路12可打开光源58以为相机提供补充照明。
如果需要,跟踪相机或其他图像传感器硬件可提供指示性能正受到低环境照明水平不利影响的信息。作为示例,可评估图像数据的帧以确定照明水平是否低。设备10的跟踪相机硬件的输出还可指示信噪比水平是否令人满意。如果跟踪相机仅产生暗的和/或有噪声的图像数据,则控制电路12可确定光源58应当被打开。
在一些布置中,设备10可被配置为确定用户相对于用户环境中的墙壁和其他障碍物的位置。作为示例,设备10可包含已知墙壁位置的地图(例如,从外部源获得的地图或基于当用户在整个建筑物或其他环境中行走穿戴设备10时由设备10执行的先前地图构建操作的地图)。卫星导航系统电路(例如,全球定位系统电路)可使用卫星信号来确定设备10的位置(例如,设备10相对于建筑物墙壁和其他障碍物的位置)。根据用户的已知位置和移动并且使用关于已知障碍物(诸如墙壁)的位置的信息,设备10可预测用户何时可能接近墙壁或其他障碍物。设备10中的传感器16(诸如接近传感器、飞行时间传感器、雷达、激光雷达等)也可用于监测用户相对于墙壁和其他障碍物的移动。通过结合关于设备10的操作环境的附加信息(例如,指示环境照明昏暗的环境光读数)使用该信息中的一些或全部,设备10可确定应当何时打开光源58以提供补充照明,从而有助于确保设备10的跟踪相机将令人满意地操作。这可有助于确保设备10的相机可使用光源58的红外照明来跟踪用户环境中的障碍物的位置。通过准确地跟踪障碍物的位置,可在显示器14上显示这些障碍物或关于障碍物的存在的警告,以帮助用户避免与障碍物的不期望的碰撞。
如果需要,系统8中的多个电子设备10可监测指示需要补充照明的条件。例如,多个用户可穿戴头戴式设备,并且一个设备可能先于另一个设备检测到低水平环境照明。在这种类型的系统中,检测到低水平环境照明的任何设备都可发信号通知系统中的其他设备请求提供补充照明。作为响应,其他设备中的一个或多个设备可提供补充照明以协助请求设备的相机采集图像。因此,不同设备的补充照明系统可通过贡献共享补充照明来彼此协助。这可允许壁式供电设备帮助为电池供电设备提供补充照明,或者可允许靠近被跟踪对象的电子设备比远离被跟踪对象的电子设备更有效地向该对象提供补充照明(作为示例)。
只要未检测到用于触发补充照明的条件,设备10(例如,控制电路12)就可在框150的操作期间继续监测满足补充照明触发标准的条件(例如,昏暗环境照明、跟踪相机图像处理质量的降低、相机硬件性能的降低、基于障碍物接近度的标准、来自其他设备的请求等)。
在满足触发标准的情况下,处理可前进至框152。在框152的操作期间,控制电路14可使用补充照明系统来为相机提供补充照明(例如,由照明跟踪相机的视场中的外部对象的光源58发射的红外光)。在提供补充照明时,可调节由每个光源58发射的红外光的功率和/或由每个光源58发射的光束的方向。例如,一些设备70可被打开而其他设备70保持关闭,发射光的光束可被引导到包含被跟踪对象的区域(例如,被跟踪相机跟踪的用户的手或其他感兴趣外部对象的已知位置)和/或相邻区域,可以分布方式或连续地调节发射功率水平(例如,使得提供足够的补充照明以确保令人满意的跟踪相机操作而不提供过量照明),等等。
被配置为在固定区域上提供照明的诸如图5和图6的光源58的光源可被打开以确保这些固定区域中的对象被照射。发射可转向光束的光源(诸如图7和图8的光源58)可用于在相对大的区域上发射补充照明(例如,通过在大的区域上扫描光束或者通过同时使用多个较小的光束来照射较大区域的不同的相应部分)或者可用于向特定位置(诸如包含用户的手或被跟踪的其他对象的位置)发射补充照明。
可为跟踪用户身体部位的相机、跟踪附件位置的相机、捕获直通视频的相机、形成视觉惯性测距系统的一部分的相机和/或从设备10附近的对象采集光的其他光学部件提供补充照明。如果需要,光源58可被配置为发射结构化光(例如,以伪随机图案分布的线、点、特征等)。例如,在跟踪相机采集三维图像的场景中,可使用结构化光。
在框152的操作期间,设备10可监测指示不再需要补充照明的条件。控制电路12可例如监测以确定补充照明触发条件是否不再满足。只要昏暗的环境照明条件或指示应当提供补充照明的其他条件继续存在,设备10就可继续使用光源58来提供补充照明。在昏暗的照明条件停止或者确定其中期望补充照明的其他条件不再存在的情况下,设备10可关闭补充照明系统。具体地,控制电路12可在框156的操作期间关闭光源58。如线154所指示,操作可接着返回到框150。
根据一个实施方案,提供了一种头戴式设备,所述头戴式设备包括:头戴式支撑结构;红外光源,所述红外光源被配置为发射红外光;相机,所述相机由所述头戴式设备支撑并且能够在可见波长和红外波长下操作;控制电路,所述控制电路被配置为:监测照明触发条件;响应于检测到不存在所述照明触发条件,关闭所述红外光源,同时使用所述相机在来自可见环境光的可见照明下捕获可见光图像;以及响应于检测到存在所述照明触发条件,打开所述红外光源,同时使用所述相机在来自所述红外光源的红外照明下捕获红外光图像。
根据另一个实施方案,所述控制电路被配置为:处理来自所述相机的图像数据以检测外部对象;以及控制所述红外光源以在与所述外部对象重叠的区域中提供具有第一强度的所述发射光,并且在与所述外部对象相邻的区域中提供具有小于所述第一强度的第二强度的所述发射光。
根据另一个实施方案,所述红外光源被配置为在由所述控制电路控制的输出方向上发射所述红外光。
根据另一个实施方案,所述红外光源包括电控可调光束转向器。
根据另一个实施方案,所述电控可调光束转向器具有由所述控制电路控制的反射镜。
根据另一个实施方案,所述红外光源包括发光设备的阵列,并且每个发光设备被配置为在不同的方向上发射光束。
根据另一个实施方案,所述红外光源包括与透镜重叠的红外发光二极管。
根据另一个实施方案,所述红外光源包括光束整形层和与所述光束整形层重叠的激光器。
根据另一个实施方案,光源被配置为在多个相应区域中提供可调照明量,所述控制电路被配置为使用来自所述相机的数据来跟踪对象,并且所述控制电路被配置为调节所述光源,以在所述区域的与所述对象重叠的第一区域中比在所述区域的不与所述对象重叠的第二区域中发射更多的照明。
根据另一个实施方案,所述相机被配置为跟踪对象,所述光源是在区域上发射所述红外光的光束的可调光源,并且所述控制电路被配置为使用所述光源来照射所述区域的包含所述对象的第一部分而不照射所述区域的不包含所述对象的第二部分。
根据另一个实施方案,所述对象包括手,所述头戴式设备包括环境光传感器,所述照明触发条件包括由所述环境光传感器检测到的昏暗的环境照明条件,并且所述控制电路被配置为处理来自所述相机的图像数据以跟踪所述手的移动。
根据另一个实施方案,所述控制电路被配置为实现处理来自所述相机的图像数据的图像处理算法,并且所述照明触发条件包括与所述图像处理算法相关联的质量度量下降到低于预定阈值。
根据另一个实施方案,所述控制电路被配置为基于来自所述相机的输出来打开所述红外光源。
根据另一个实施方案,所述控制电路被配置为基于位置信息来打开所述红外光源。
根据一个实施方案,提供了一种头戴式设备,所述头戴式设备包括:头戴式支撑结构;左透镜,所述左透镜位于所述头戴式支撑结构的左侧上;右透镜,所述右透镜位于所述头戴式支撑结构的右侧上;左显示器和右显示器,所述左显示器和所述右显示器被配置为提供能够通过所述左透镜和所述右透镜从左适眼区和右适眼区看到的相应的左后方图像和右后方图像;左红外光源,所述左红外光源位于所述头戴式支撑结构的左侧上;右红外光源,所述右红外光源位于所述头戴式支撑结构的右侧上;以及左相机和右相机,所述左相机和所述右相机被分别支撑在所述头戴式支撑结构的左侧和右侧上,所述左相机和所述右相机被配置为在第一环境照明条件下捕获可见光图像并且被配置为在第二环境照明条件下捕获红外图像,所述第二环境照明条件的特征在于可见环境光比所述第一环境照明条件更少,并且所述左红外光源和所述右红外光源被配置为当所述第二环境照明条件存在时提供补充红外照明。
根据另一个实施方案,所述头戴式设备包括控制电路,所述控制电路被配置为打开所述左红外光源而不打开所述右红外光源。
根据另一个实施方案,所述第一红外光源和所述第二红外光源各自被配置为以可调模式发射红外光。
根据另一个实施方案,所述头戴式设备包括附加左相机和附加右相机,所述左相机和所述右相机以及所述附加左相机和所述附加右相机被配置为跟踪对象。
根据一个实施方案,提供了一种头戴式设备,所述头戴式设备包括:头戴式支撑结构;显示器,所述显示器位于所述头戴式支撑结构中并且被配置为将图像显示到适眼区;补充照明系统,所述补充照明系统由所述头戴式支撑结构支撑并且被配置为发射红外光;跟踪相机,所述跟踪相机被配置为捕获外部对象的图像以跟踪所述外部对象;环境光传感器;和控制电路,所述控制电路被配置为:使用所述环境光传感器测量环境光水平;响应于检测到所测量的环境光水平低于阈值,打开所述补充照明系统以提供用于所述跟踪相机的补充红外照明光束;以及在跟踪所述外部对象的同时调节所述补充照明系统以使所述补充红外照明光束朝向所述外部对象转向。
根据另一个实施方案,所述补充照明系统包括选自由以下项组成的组的光源:仅具有单个红外发光部件的光源、具有红外发光部件的阵列的光源以及具有电控可调光束转向器的红外光源,每个红外发光部件被配置为在不同的方向上发射光。
前述内容仅为示例性的并且可对所述实施方案作出各种修改。前述实施方案可独立实施或可以任意组合实施。
Claims (20)
1.一种头戴式设备,包括:
头戴式支撑结构;
红外光源,所述红外光源被配置为发射红外光;
相机,所述相机由所述头戴式设备支撑并且能够以可见波长和红外波长操作;
控制电路,所述控制电路被配置为:
监测照明触发条件;
响应于检测到不存在所述照明触发条件,关闭所述红外光源,同时使用所述相机在来自可见环境光的可见照明下捕获可见光图像;以及
响应于检测到存在所述照明触发条件,打开所述红外光源,同时使用所述相机在来自所述红外光源的红外照明下捕获红外光图像。
2.根据权利要求1所述的头戴式设备,其中,所述控制电路被配置为:
处理来自所述相机的图像数据以检测外部对象;以及
控制所述红外光源以在与所述外部对象重叠的区域中提供具有第一强度的所述发射光,并且在与所述外部对象相邻的区域中提供具有小于所述第一强度的第二强度的所述发射光。
3.根据权利要求1所述的头戴式设备,其中,所述红外光源被配置为在由所述控制电路控制的输出方向上发射所述红外光。
4.根据权利要求3所述的头戴式设备,其中,所述红外光源包括电控可调光束转向器。
5.根据权利要求4所述的头戴式设备,其中,所述电控可调光束转向器具有由所述控制电路控制的反射镜。
6.根据权利要求3所述的头戴式设备,其中,所述红外光源包括发光设备的阵列,并且其中,每个发光设备被配置为在不同的方向上发射光束。
7.根据权利要求1所述的头戴式设备,其中,所述红外光源包括与透镜重叠的红外发光二极管。
8.根据权利要求1所述的头戴式设备,其中,所述红外光源包括光束整形层和与所述光束整形层重叠的激光器。
9.根据权利要求1所述的头戴式设备,其中,光源被配置为在多个相应区域中提供可调照明量,其中,所述控制电路被配置为使用来自所述相机的数据来跟踪对象,并且其中,所述控制电路被配置为调节所述光源,以在所述区域的与所述对象重叠的第一区域中发射比在所述区域的不与所述对象重叠的第二区域中更多的照明。
10.根据权利要求1所述的头戴式设备,其中,所述相机被配置为跟踪对象,其中,所述光源是在区域上发射所述红外光的光束的可调光源,并且其中,所述控制电路被配置为使用所述光源来照射所述区域的包含所述对象的第一部分而不照射所述区域的不包含所述对象的第二部分。
11.根据权利要求10所述的头戴式设备,其中,所述对象包括手,所述头戴式设备还包括环境光传感器,其中,所述照明触发条件包括由所述环境光传感器检测到的昏暗的环境照明条件,并且其中,所述控制电路被配置为处理来自所述相机的图像数据以跟踪所述手的移动。
12.根据权利要求1所述的头戴式设备,其中,所述控制电路被配置为实现处理来自所述相机的图像数据的图像处理算法,并且其中,所述照明触发条件包括与所述图像处理算法相关联的质量度量下降到低于预定阈值。
13.根据权利要求1所述的头戴式设备,其中,所述控制电路被配置为基于来自所述相机的输出来打开所述红外光源。
14.根据权利要求1所述的头戴式设备,其中,所述控制电路被配置为基于位置信息来打开所述红外光源。
15.一种头戴式设备,包括:
头戴式支撑结构;
左透镜,所述左透镜位于所述头戴式支撑结构的左侧上;
右透镜,所述右透镜位于所述头戴式支撑结构的右侧上;
左显示器和右显示器,所述左显示器和所述右显示器被配置为提供能够通过所述左透镜和所述右透镜从左适眼区和右适眼区看到的相应的左后方图像和右后方图像;
左红外光源,所述左红外光源位于所述头戴式支撑结构的左侧上;
右红外光源,所述右红外光源位于所述头戴式支撑结构的右侧上;以及
左相机和右相机,所述左相机和所述右相机被分别支撑在所述头戴式支撑结构的左侧和右侧上,其中,所述左相机和所述右相机被配置为在第一环境照明条件下捕获可见光图像并且被配置为在第二环境照明条件下捕获红外图像,其中,所述第二环境照明条件的特征在于可见环境光比所述第一环境照明条件更少,并且其中,所述左红外光源和所述右红外光源被配置为当所述第二环境照明条件存在时提供补充红外照明。
16.根据权利要求15所述的头戴式设备,还包括控制电路,所述控制电路被配置为打开所述左红外光源而不打开所述右红外光源。
17.根据权利要求15所述的头戴式设备,其中,所述第一红外光源和所述第二红外光源各自被配置为以可调模式发射红外光。
18.根据权利要求15所述的头戴式设备,还包括附加左相机和附加右相机,其中,所述左相机和所述右相机以及所述附加左相机和所述附加右相机被配置为跟踪对象。
19.一种头戴式设备,包括:
头戴式支撑结构;
显示器,所述显示器位于所述头戴式支撑结构中,被配置为将图像显示到适眼区;
补充照明系统,所述补充照明系统由所述头戴式支撑结构支撑并且被配置为发射红外光;
跟踪相机,所述跟踪相机被配置为捕获外部对象的图像以跟踪所述外部对象;
环境光传感器;以及
控制电路,所述控制电路被配置为:
使用所述环境光传感器测量环境光水平;
响应于检测到所测量的环境光水平低于阈值,打开所述补充照明系统以提供用于所述跟踪相机的补充红外照明光束;以及
在跟踪所述外部对象的同时调节所述补充照明系统以使所述补充红外照明光束朝向所述外部对象转向。
20.根据权利要求19所述的头戴式设备,其中,所述补充照明系统包括选自由以下项组成的组的光源:仅具有单个红外发光部件的光源、具有红外发光部件的阵列的光源以及具有电控可调光束转向器的红外光源,每个红外发光部件被配置为在不同的方向上发射光。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063081204P | 2020-09-21 | 2020-09-21 | |
US63/081,204 | 2020-09-21 | ||
PCT/US2021/047613 WO2022060547A1 (en) | 2020-09-21 | 2021-08-25 | Systems with supplemental illumination |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116601541A true CN116601541A (zh) | 2023-08-15 |
Family
ID=78078329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180078150.2A Pending CN116601541A (zh) | 2020-09-21 | 2021-08-25 | 具有补充照明的系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230324690A1 (zh) |
EP (1) | EP4229468A1 (zh) |
KR (1) | KR20230106591A (zh) |
CN (1) | CN116601541A (zh) |
WO (1) | WO2022060547A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024059440A1 (en) * | 2022-09-14 | 2024-03-21 | Apple Inc. | Head-mounted device with spatially aware camera adjustments |
US20240193982A1 (en) * | 2022-12-08 | 2024-06-13 | Snap Inc. | Hand-tracking with ir camera for xr systems |
US12061339B1 (en) | 2023-05-15 | 2024-08-13 | Apple Inc. | Head mountable display |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107077013B (zh) * | 2014-10-21 | 2020-07-03 | 飞利浦灯具控股公司 | 用于发光分布的不用手配置的系统、方法和计算机程序产品 |
US10728518B2 (en) * | 2018-03-22 | 2020-07-28 | Microsoft Technology Licensing, Llc | Movement detection in low light environments |
-
2021
- 2021-08-25 EP EP21786614.4A patent/EP4229468A1/en active Pending
- 2021-08-25 CN CN202180078150.2A patent/CN116601541A/zh active Pending
- 2021-08-25 KR KR1020237013495A patent/KR20230106591A/ko unknown
- 2021-08-25 WO PCT/US2021/047613 patent/WO2022060547A1/en active Application Filing
-
2023
- 2023-03-07 US US18/179,899 patent/US20230324690A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230324690A1 (en) | 2023-10-12 |
WO2022060547A1 (en) | 2022-03-24 |
KR20230106591A (ko) | 2023-07-13 |
EP4229468A1 (en) | 2023-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230324690A1 (en) | Systems With Supplemental Illumination | |
US10168531B1 (en) | Lightfield waveguide integrated eye tracking | |
US11611197B2 (en) | Addressable vertical cavity surface emitting laser array for generating structured light patterns | |
WO2016124668A1 (en) | A gaze tracker and a gaze tracking method | |
US10942349B2 (en) | Illumination assembly with in-field micro devices | |
US10935793B2 (en) | Head mounted display and using method thereof | |
US11314005B2 (en) | Electronic device with infrared transparent one-way mirror | |
US10551500B2 (en) | Infrared optical element for proximity sensor system | |
CN112639687B (zh) | 使用反向偏置发光二极管器件的眼睛跟踪 | |
EP3614193A1 (en) | Illumination assembly with in-field micro devices | |
US11442543B1 (en) | Electronic devices with monocular gaze estimation capabilities | |
EP2768224B1 (en) | Wearable display system with detached projector | |
US10952324B2 (en) | Spacer for surface mountable electronic components | |
US11838495B1 (en) | Electronic devices with vision correcting displays | |
US20210063745A1 (en) | Transparent Display System With Peripheral Illumination | |
JP2023065837A (ja) | 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 | |
US20240288699A1 (en) | Electronic Devices with Nose Tracking Sensors | |
US11435583B1 (en) | Electronic device with back-to-back displays | |
US20240219715A1 (en) | Head-Mounted Devices With Dual Gaze Tracking Systems | |
US20240077695A1 (en) | Head-Mounted Electronic Device With Alignment Sensors | |
CN117311514A (zh) | 一种具有眼动跟踪的vr交互式显示集成屏幕结构 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |