CN116529700A - 光学系统中的杂散光减轻 - Google Patents

Abstract

用于光学系统中的杂散光减轻的方法和装置，该光学系统包括：两个或更多个照明源(例如，诸如发光二极管(LED)的点光源)，该两个或更多个照明源照射要被成像的对象；和相机，该相机被配置为捕获来自该点光源的当该对象被照射时由该对象反射的光的图像。为了减轻由例如该照明源的离开该系统的其他部件的杂散光或反射引起的“遮挡”或伪影，在启用不同组照明源的情况下捕获该对象的多个图像。所捕获的图像然后可被处理和合并以生成其中由杂散光或反射引起的该遮挡或伪影被减轻或消除的输出图像。

Description

光学系统中的杂散光减轻

背景技术

眼睛或注视跟踪器是用于估计眼睛位置和眼睛运动的设备。眼睛跟踪系统已被用于视觉系统的研究、心理学、心理语言学、营销且用作用于人机交互的输入设备。在后一种应用中，通常考虑人的注视点与台式监视器的交叉点。

发明内容

描述了用于光学系统中的杂散光减轻的方法和装置的各种实施方案。光学系统可包括：两个或更多个照明源(例如，诸如发光二极管(LED)的点光源)，该两个或更多个照明源照射要被成像的对象；和相机，该相机被配置为捕获来自点光源的当对象被照射时由对象反射的光的图像。为了减轻由例如照明源的离开系统的其他部件的杂散光或反射引起的“遮挡”或伪影，在启用不同组照明源的情况下捕获对象的多个图像。所捕获的图像然后可被合并以生成其中由杂散光或反射引起的遮挡或伪影被减轻或消除的输出图像。

在一些实施方案中，可例如在工厂校准过程期间和/或包括光学系统的设备的启动过程期间生成遮挡掩模。在不同组照明源被激活或去激活的情况下并且当对象(例如，眼睛)未正在被成像时，可从使用光学系统捕获的图像生成掩模。当被激活时，对应于不同组照明器(例如，LED)的杂散光和反射伪影将在相应的图像中示出。然后，这些图像可用于生成对应于相应组照明源的遮挡掩模。当使用光学系统捕获对象的图像时，使用被激活或去激活的不同组照明源来捕获图像。将相应的遮挡掩模应用于所捕获的图像，并且然后合并经掩蔽的图像以生成其中由杂散光或反射引起的遮挡或伪影被减轻或消除的输出图像。

作为替代，在一些实施方案中，可在交错模式下使用滚动快门(RS)传感器以捕获包含奇数行的第一图像，其中第一组照明源(例如，诸如LED的点光源)被启用而第二组照明源被禁用。捕获包含偶数行的第二图像，其中第一组照明源被禁用并且第二组照明源被启用。然后可合并这两个图像。对象的闪光、杂散光反射和特征出现在输出图像的交替行上。

用于杂散光减轻的方法和装置的非限制性示例应用在于眼睛跟踪系统，该眼睛跟踪系统包括：定位在用户面部每一侧处的至少一个眼睛跟踪相机(例如，红外(IR)相机)；和朝向用户眼睛发射光的照明源(例如，诸如IR发光二极管(LED)的阵列或环的点光源)。眼睛跟踪系统可以例如是头戴式设备(HMD)的部件，例如，诸如混合或增强现实(MR)系统或虚拟现实(VR)系统的扩展现实(XR)系统的HMD。为了减轻由例如LED的离开HMD的部件的反射引起的杂散光遮挡或伪影，在启用不同组LED的情况下捕获眼睛的两个图像。所捕获的图像然后可被合并以生成其中由杂散光引起的遮挡或伪影被减轻或消除的输出图像。替代地，可在交错模式下使用RS传感器，以在第一组照明源被启用而第二组照明源被禁用的情况下捕获包含奇数行的第一图像，并且在第一组照明源被禁用而第二组照明源被启用的情况下捕获包含偶数行的第二图像。然后可合并这两个图像。

附图说明

图1A至图1C示出了根据一些实施方案的示例性眼睛跟踪系统。

图2示出了根据一些实施方案的由眼睛跟踪系统捕获的图像，该图像包括由光学系统中的反射或杂散光引起的遮挡和伪影。

图3A示出了根据一些实施方案在理想条件下的眼睛跟踪系统中捕获图像。

图3B示出了根据一些实施方案的由眼睛跟踪系统中的照明源的反射引起的遮挡。

图4示出了根据一些实施方案使用预先生成的掩模来生成没有遮挡的输出图像。

图5A和图5B示出了根据一些实施方案使用2倍帧速率滚动快门(RS)传感器从图像中去除闪光。

图6A和图6B示出了根据一些实施方案使用全局快门(GS)传感器从图像中去除闪光。

图7A至图7C示出了根据一些实施方案使用交错的RS传感器来减轻遮挡。

图8A至图8C示出了根据一些实施方案的眼睛跟踪系统中的示例性组的照明器。

图9是根据一些实施方案的用于减轻输出图像中的遮挡的方法的高级流程图。

图10是根据一些实施方案的使用预先生成的掩模来生成没有遮挡的输出图像的方法的流程图。

图11是根据一些实施方案的用于使用通过RS传感器捕获的交错图像来减轻输出图像中的遮挡的方法的流程图。

图12A和图12B示出了根据一些实施方案的示例性头戴式设备(HMD)，该示例性HMD可包括如在图1至图11中示出的部件并且实现如在所述图中示出的方法。

图13是根据一些实施方案的示出了示例性系统的框图，该示例性系统可包括如在图1至图11中示出的部件并且实现如在所述图中示出的方法。

本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

“包括”，该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。

“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。

“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。

“基于”或“取决于”，如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。

“或”，在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。

具体实施方式

描述了用于光学系统中的杂散光减轻的方法和装置的各种实施方案。光学系统可包括：两个或更多个照明源(例如，诸如发光二极管(LED)的点光源)，该两个或更多个照明源照射要被成像的对象；和相机，该相机被配置为捕获来自照明源的当对象被照射时由对象反射的光的图像。为了减轻由例如照明源的离开系统的其他部件的反射引起的杂散光“遮挡”或伪影，在启用不同组照明源的情况下捕获对象的多个图像。所捕获的图像然后可被合并以生成其中由杂散光引起的遮挡或伪影被减轻或消除的输出图像。

用于杂散光减轻的方法和装置的非限制性示例应用在于眼睛跟踪系统，该眼睛跟踪系统包括：定位在用户面部每一侧处的至少一个眼睛跟踪相机(例如，红外(IR)相机)；和朝向用户眼睛发射光的照明源(例如，诸如IR发光二极管(LED)的阵列或环的点光源)。眼睛跟踪系统可例如用于基于眼睛的三维(3D)几何模型使用闪光和眼睛特征来计算注视方向和视轴。

图1A至图1C示出了根据一些实施方案的示例性眼睛跟踪系统。图1A示出了眼睛跟踪系统，其中眼睛跟踪相机140直接对眼睛192成像。然而，在一些实施方案中，眼睛跟踪相机140可改为对眼睛192的离开热镜150的反射成像，如图1B所示。此外，在一些实施方案中，眼睛跟踪相机140可通过光学系统的透镜120对眼睛成像，例如如图1C所示。

如图1A至图1C中所示，设备(例如，头戴式设备(HMD))可包括眼睛跟踪系统，该眼睛跟踪系统包括：定位在用户面部每一侧处的至少一个眼睛跟踪相机140(例如，红外(IR)相机)；和朝向用户眼睛192发射光的照明源130(例如，诸如IR发光二极管(LED)的阵列或环的点光源)。眼睛跟踪相机140可指向眼睛192以接收来自照明源130的从眼睛192反射的光，如图1A所示。然而，在一些实施方案中，眼睛跟踪相机140可改为对眼睛192的离开热镜150的反射成像，如图1B所示。此外，在一些实施方案中，眼睛跟踪相机140可通过光学系统的透镜120对眼睛192成像，例如如图1C所示。

包括眼睛跟踪系统的设备可包括控制器160，该控制器包括一个或多个处理器和存储器。控制器160可包括各种类型的处理器、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/译码器(编码译码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。例如，在XR系统的HMD中，控制器160可被配置为渲染混合或增强现实(MR)或虚拟现实(VR)帧以进行显示。在一些实施方案中，控制器160可被集成在设备中。在一些实施方案中，控制器160的至少一些功能可由通过有线或无线连接耦接到设备的外部设备来实现。

控制器160可向照明源130和相机140发送控制信号以控制眼睛192的照明和眼睛192的图像的捕获。控制器160可使用来自眼睛跟踪相机140的输入142(例如，眼睛192的捕获图像)以用于各种目的，例如用于处理用于在XR系统中显示的帧。控制器160可实现基于输入142来估计用户的注视方向的算法。例如，控制器160可实现处理由相机140捕获的图像以识别从眼睛跟踪相机140获得的闪光(LED 130的反射)的算法。又如，控制器160可实现处理由相机140捕获的图像以识别眼睛192的特征(例如，瞳孔、虹膜和巩膜)的算法。从输入142获得的信息可例如用于确定用户当前正在观看的方向(注视方向)，并且可用于构建或调整眼睛192的3D模型。

然而，在实现眼睛跟踪系统的设备中，该设备的部件可在由相机140捕获的最终图像上形成不希望的反射和杂散光。随着光学系统变得越复杂，例如在点光源130与相机140之间的轨迹中涉及到光学表面(例如，透镜120和/或反射镜150)，在由相机140捕获的最终图像上获得不希望的反射和杂散光的可能性就越高，例如由透镜中的反射、透镜或光学表面中的缺陷或光学表面上的灰尘引起的不希望的反射和杂散光。

图2以图形方式示出了根据一些实施方案的由眼睛跟踪系统捕获的示例性图像200，该图像包括由光学系统中的反射或杂散光引起的遮挡和伪影。图像200示出了眼睛292、虹膜294和瞳孔296，并且还示出了眼睛292上的点光源(例如，八个LED的环)的反射232。然而，不希望的反射和杂散光已经在图像上形成伪影234。在眼睛跟踪算法中使用的一个或多个特征可被伪影234遮挡(例如，点光源的两个反射232至少部分地被遮挡，如图2所示)。被遮挡特征的丢失可能导致由控制器160实现的注视跟踪算法的准确性的丢失。

图3A示出了根据一些实施方案在理想条件下的眼睛跟踪系统中捕获图像。照明源330(例如，点光源，诸如发光二极管(LED)的阵列或环)照射眼睛，并且相机340的传感器在曝光时段期间捕获眼睛的图像300。在读出时段期间从相机340传感器读出所捕获的图像300。所捕获的图像300包括点光源(例如，八个LED的环)的反射(也称为闪光)332。

图3B示出了根据一些实施方案的由眼睛跟踪系统中的照明源的反射引起的遮挡。照明源330照射眼睛，并且相机340的传感器在曝光时段期间捕获眼睛的图像300。在读出时段期间从相机340传感器读出所捕获的图像300。所捕获的图像300包括点光源的反射(也称为闪光)332。然而，由不希望的反射或杂散光形成的伪影334遮挡了一些闪光332。

在图4至图11中描述了用于光学系统中的杂散光减轻的方法和装置的实施方案，其可减轻由照明源330的离开系统的其他部件的杂散光或反射引起的伪影334。在实施方案中，在启用不同组照明源的情况下捕获对象(例如，眼睛)的多个图像。所捕获的图像然后可被合并以生成其中由杂散光引起的遮挡或伪影被减轻或消除的输出图像。

图9是根据一些实施方案的用于减轻输出图像中的遮挡的方法的高级流程图。如900处所示，可在第一组LED被启用并且第二组LED被禁用的情况下捕获第一图像或子帧。如910处所示，可在第一组LED被禁用并且第二组LED被启用的情况下捕获第二图像或子帧。如930处所示，两个子帧然后可被处理和合并以生成其中遮挡已经被减轻的输出图像。

图4示出了根据一些实施方案使用预先生成的掩模来生成没有遮挡的输出图像。照明器(例如LED)被分成两个或更多个组。在该示例中，示出了两个组430A和430B，每个组中具有四个LED。

LED的第一组430A照射眼睛，并且相机440的传感器在第一曝光时段期间捕获眼睛的第一图像400A。在第一读出时段期间从相机440传感器读出所捕获的图像400A。所捕获的图像400A包括组430A中的点光源(LED)的反射(也称为闪光)432A。所捕获的图像400A还可包括由组430A中的LED的不希望的反射引起的伪影434A。在第一曝光时段期间捕获图像400A之后，LED的第一组430A被禁用并且第二组430B被启用以照射眼睛，并且相机440的传感器在第二曝光时段期间捕获眼睛的第二图像400B。在第二读出时段期间从相机440传感器读出所捕获的图像400B。所捕获的图像400B包括组430B中的点光源(LED)的反射(也称为闪光)432B。所捕获的图像400B还可包括由组430B中的LED的不希望的反射引起的伪影434B。需注意，第二曝光时段可与第一读出时段至少部分地重叠。图像400A和400B可被称为子帧。

在一些实施方案中，可例如在工厂校准过程期间和/或包括眼睛跟踪系统的设备的启动过程期间生成遮挡掩模402A和402B。在不同组照明源被激活或去激活的情况下并且当眼睛未正在被成像时，可从使用光学系统捕获的图像生成掩模402A和402B。当被激活时，对应于不同组照明器(例如，LED)的杂散光和反射伪影将在相应的图像中示出。然后，这些图像可用于生成对应于相应组430A和430B照明源的遮挡掩模420A和420B。

在捕获和读出图像400A和400B之后，将遮挡掩模402A和402B分别应用于图像400A和400B，以生成经掩蔽的图像400C和400D，它们可被临时存储到存储器中的缓冲器。经掩蔽的图像400C包括对应于组430A中的点光源(LED)的反射432A，并且经掩蔽的图像400D包括对应于组430B中的点光源(LED)的反射432B。已经通过应用相应的掩模402A和402B从图像400C和400D中去除遮挡432A和432B。然后合并或融合经掩蔽的图像400C和400D，以生成其中由杂散光或反射引起的遮挡或伪影被减轻或消除的输出图像400E。在算法上，掩蔽和合并过程可由以下伪代码宽泛地表述：

Buff 1＝Func(Mask 1,Sub-frame 1)；

Buff 2＝Func(Mask 2,Sub-frame 2)；

Output image＝Buff 1+Buff 2.

在图4所示的用于杂散光减轻的方法中，因为在每个子帧中使用一半的LED，所以LED脉冲宽度或峰值功率可能翻倍。另外，如果在每个帧上使用1/2曝光时间，则每个子帧的信噪比(SNR)可低于期望值。根据用于合并子帧的算法，输出图像可具有可与两个子帧中未被遮蔽的区域中的所需级别匹配的SNR，且可具有两个子帧中的任一者中被遮蔽的区域中的较低(例如，低6dB)SNR。

图10是根据一些实施方案的使用预先生成的掩模来生成没有遮挡的输出图像的方法的流程图。如1000处所示，可从两个或更多个所捕获的图像生成遮挡掩模。在一些实施方案中，可例如在工厂校准过程期间和/或包括光学系统的设备的启动过程期间生成遮挡掩模。在不同组照明源被激活或去激活的情况下并且当对象(例如，眼睛)未正在被成像时，可从使用光学系统捕获的图像生成掩模。当被激活时，对应于不同组照明器(例如，LED)的杂散光和反射伪影将在相应的图像中示出。然后，这些图像可用于生成对应于相应组照明源的遮挡掩模。

如1010处所示，在第一组LED被启用并且第二组LED被禁用的情况下捕获第一图像或子帧。如1020处所示，在第一组LED被禁用并且第二组LED被启用的情况下捕获第二图像或子帧。如1030处所示，将第一掩模应用于第一图像并且将第二掩模应用于第二图像以从图像中去除遮挡。如1040处所示，两个经掩蔽的图像或子帧可被合并或“融合”以生成没有遮挡的输出图像。如从要素1040返回到要素1010的箭头所示，可例如以期望的帧速率，例如以眼睛跟踪系统的帧速率重复捕获和处理图像的方法。

输出图像的非限制性示例性应用在于眼睛跟踪系统，该眼睛跟踪系统包括：定位在用户面部每一侧处的至少一个眼睛跟踪相机(例如，红外(IR)相机)；和朝向用户眼睛发射光的照明源(例如，诸如IR发光二极管(LED)的阵列或环的点光源)。由眼睛跟踪相机捕获的子帧可由控制器处理以生成输出图像，该输出图像然后可由控制器上的算法处理，例如用于基于眼睛的三维(3D)几何模型使用闪光和眼睛特征来计算注视方向和视轴。

虽然图10描述了使用两组LED来捕获随后被掩蔽和合并的两个子帧，但在一些实施方案中，可使用两组以上(N组)的LED来捕获随后被掩蔽和合并的N个子帧。

图5A和图5B示出了根据一些实施方案使用2倍帧速率滚动快门(RS)传感器从图像中去除闪光。图5A示出了对应于来自两组LED的脉冲的RS传感器的曝光和读出循环。在一些实施方案中，如图5B所示，通过以2倍速率运行帧相机，可以对LED进行占空比调整，并且处理掉来自两个帧上的其他信息的闪光/重影，以生成眼睛的灰阶图像和包含对应于LED的闪光的图像。参考图5A，对于RS传感器，LED可在垂直消隐期间被点亮，并且环境光可能需要最小化(例如，<0.1％的峰值LED光)。在一些实施方案中，RS传感器可能需要足够快地运行以允许在240fps下的～1ms垂直消隐。例如，对于1ms的LED脉冲，相机应该能够以等效的316fps运行。在一些环境中，例如室内环境，与有源照明相比，感兴趣波长的环境光可忽略不计。然而，这可能不适用于其他环境，例如在阳光下的室外。

图6A和图6B示出了根据一些实施方案使用全局快门(GS)传感器从图像中去除闪光。在一些环境中，例如在阳光下的室外，该方法可比图5A和图5B所示的方法更好地工作。图6A示出了对应于来自两组LED的脉冲的GS传感器的曝光和读出循环。如图6B所示，该方法通过以2倍速率运行帧相机以生成眼睛的灰阶图像和包含对应于LED的闪光的图像，来对LED进行占空比调整并且处理掉来自两帧之和的闪光。

图7A至图7C示出了根据一些实施方案使用交错的RS传感器来减轻遮挡。图7A示出了对应于来自两组LED的脉冲的RS传感器的曝光和读出循环。如图7B所示，作为图4所示方法的替代，在一些实施方案中，可在交错模式下使用滚动快门(RS)传感器以捕获包含奇数行的第一图像或子帧700A，其中第一组照明源(例如，诸如LED的点光源)被启用而第二组照明源被禁用。捕获包含偶数行的第二图像或子帧700B，其中第一组照明源被禁用并且第二组照明源被启用。然后可合并两个子帧700A和700B以生成输出图像700C，其包含来自子帧700A的奇数行和来自子帧700B的偶数行。如图7C所示，对象的闪光、杂散光反射和特征出现在输出图像的交替行上。使用该方法，闪光和重影将看起来像条纹，并且可能较少涉及噪声。

图11是根据一些实施方案的用于使用通过RS传感器捕获的交错图像来减轻输出图像中的遮挡的方法的流程图。如1100处所示，在第一组LED被启用并且第二组LED被禁用的情况下在交错模式下捕获第一图像或子帧。如1110处所示，在第一组LED被禁用并且第二组LED被启用的情况下在交错模式下捕获第二图像或子帧。如1120处所示，合并两个子帧以生成输出图像。闪光和伪影出现在输出图像的交替行上。如从要素1120返回到要素1100的箭头所示，可例如以期望的帧速率，例如以眼睛跟踪系统的帧速率重复捕获和处理图像的方法。

输出图像的非限制性示例性应用在于眼睛跟踪系统，该眼睛跟踪系统包括：定位在用户面部每一侧处的至少一个眼睛跟踪相机(例如，红外(IR)相机)；和朝向用户眼睛发射光的照明源(例如，诸如IR发光二极管(LED)的阵列或环的点光源)。可通过控制器上的算法来处理输出图像，例如用于基于眼睛的三维(3D)几何模型使用闪光和眼睛特征来计算注视方向和视轴。

图8A至图8C示出了根据一些实施方案的眼睛跟踪系统中的示例性组的照明器。图8A至图8C示出了包括八个点光源(例如LED)的环的照明源。然而，需注意，可使用更多或更少的点光源，并且可将点光源布置成其他形状(例如，椭圆形或正方形)。如先前所提及的，点光源(例如，LED)可被分成两个或更多个组，这些组可在曝光循环中被独立地点亮以生成然后可被处理和合并的多个子帧。图8A示出了布置在顶部组830A和底部组830B中的点光源。图8B示出了被布置成两个组830C和830D的点光源，这两个组包括点光源中的交替点光源。图8C示出了被布置成四个组830E、830F、830G和830H的点光源。

示例性系统

图12A和图12B示出了根据一些实施方案的扩展现实(XR)系统中的示例性视频直通头戴式设备(HMD)，该示例性HMD可包括如在图1至图11中示出的部件并且实现如在所述图中示出的方法。需注意，如图12A和图12B所示的HMD 1900以举例的方式给出，并且不旨在进行限制。在各种实施方案中，HMD 1900的形状、大小和其他特征可不同，并且HMD 1900的部件的位置、数量、类型和其他特征可变化。HMD 1900可包括但不限于安装在可佩戴外壳或框架中的显示器1910和两个光学透镜(目镜)1920。如图12A所示，HMD 1900可被定位在用户1990的头部上，使得显示器1910和目镜1920被设置在用户的眼睛1992的前面。用户通过目镜1920朝显示器1910看。HMD 1900还可包括收集关于用户的环境的信息(视频、深度信息、照明信息等)和关于用户的信息的传感器(例如，眼睛跟踪传感器)。传感器可包括但不限于捕获用户眼睛1992的视图的一个或多个眼睛跟踪相机1940(例如，红外(IR)相机)、捕获用户前面的视场中的真实世界环境的图像的一个或多个场景(可见光)相机1950(例如，RGB摄像机)，以及捕获环境的照明信息的一个或多个环境光传感器1954。

该MR系统的控制器1960可在HMD 1900中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到HMD 1900的外部设备(例如，计算系统)来实现。控制器1960可包括各种类型的处理器、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/译码器(编码译码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。控制器1960可以至少部分地基于从传感器1940、1950和1954获得的输入来渲染包括虚拟内容的帧(每个帧包括左图像和右图像)，并且可以将帧提供给显示器1910。图13进一步示出了根据一些实施方案的HMD和MR系统的部件。

在一些实施方案中，用于MR系统的眼睛跟踪系统可包括但不限于一个或多个眼睛跟踪相机1940和IR光源1930。IR光源1930(例如，IR LED)可被定位在HMD 1900中(例如，在如图13B所示的目镜1920周围或在HMD 1900中的其他地方)，以用IR光照射用户的眼睛1992。至少一个眼睛跟踪相机1940(例如，IR相机，例如400×400像素数相机或600×600像素数相机，其在850nm或940nm下或者在某个其他IR波长下操作，并且例如以60-120帧/秒(FPS)的速率捕获帧)位于用户1990的面部的每个侧面处。在各种实施方案中，眼睛跟踪相机1940可在HMD 1900中定位在用户1990的面部的每个侧面上，以提供眼睛1992的直接视图、眼睛1992的通过目镜1920的视图、或眼睛1992的经由从热镜或其他反射部件反射的视图。需注意，眼睛跟踪相机1940的位置和角度以举例的方式给出，并且不旨在为限制性的。虽然图12A示出了位于用户1990的面部的每个侧面上的单个眼睛跟踪相机1940，但是在一些实施方案中，在用户1990的面部的每个侧面上可存在两个或更多个眼睛跟踪相机1940。

由一个或多个光源1930发射的IR光的一部分从用户1990的眼睛反射，并且由眼睛跟踪相机1940捕获以使用户的眼睛1992成像。可由控制器1960分析由眼睛跟踪相机1940捕获的图像以检测用户的眼睛1992的特征(例如，瞳孔)、位置和运动，和/或检测关于眼睛1992的其他信息，诸如瞳孔扩张。例如，可根据眼睛跟踪来估计显示器1910上的注视点；估计的注视点可用于使得HMD 1900的场景相机1950基于对应于注视点的感兴趣区域(ROI)来曝光场景的图像。又如，估计的注视点可实现与显示器1910上显示的内容的基于注视的交互。作为另一示例，在一些实施方案中，可基于如由眼睛跟踪系统确定的用户的瞳孔扩张来调节所显示的图像的亮度。HMD 1900的眼睛跟踪系统可实现用于如图4至图11所示的杂散光减轻以捕获和处理用户的眼睛1990的图像的一种或多种方法。

如图12A和图12B所示的HMD 1900的实施方案可例如用于XR应用，以将增强或混合现实视图提供到用户1990。HMD 1900可包括例如定位于HMD 1900的外表面上的一个或多个传感器，该一个或多个传感器收集关于用户1990的外部环境的信息(视频、深度信息、照明信息等)；传感器可将所收集的信息提供给MR系统的控制器1960。传感器可包括一个或多个可见光相机1950(例如，RGB相机)，该一个或多个可见光相机捕获用户的环境的视频，该视频可用于向用户1990提供其真实环境的虚拟视图。在一些实施方案中，由可见光相机1950捕获的真实环境的视频流可由HMD 1900的控制器1960处理，以渲染包括覆在真实环境的视图上的虚拟内容的增强或混合现实帧，并且所渲染的帧可被提供给显示器1910。

图13是根据一些实施方案的示出了示例性MR系统的框图，该示例性系统可包括如在图1至图11中示出的部件并且实现如在所述图中示出的方法。在一些实施方案中，MR系统可包括HMD 2000，诸如头戴式耳机、头盔、护目镜或眼镜。HMD 2000可实施各种类型的显示技术中的任一者。例如，HMD 2000可包括显示系统，该显示系统在由用户通过目镜2220A和目镜2220B观看的屏幕或显示器2022A和显示器2022B上显示包括左图像和右图像的帧。显示系统可例如是DLP(数字光处理)、LCD(液晶显示器)或LCoS(硅基液晶)技术显示系统。为了在3D虚拟视图中创建三维(3D)效果，两个图像中不同深度或距离处的对象可作为距离的三角测量的函数向左或向右偏移，其中较近的对象比更远的对象偏移得更多。需注意，在一些实施方案中，可使用其他类型的显示系统。

在一些实施方案中，HMD 2000可包括控制器2030，控制器2030被配置为实现MR系统的功能，并且生成提供给显示器2022A和2022B的帧(每个帧包括左图像和右图像)。在一些实施方案中，HMD 2000也可包括存储器2032，存储器2032被配置为存储由控制器2030可执行的MR系统的软件(代码2034)，以及当在控制器2030上执行时可由MR系统使用的数据2038。在一些实施方案中，HMD 2000也可包括一个或多个接口(例如，蓝牙技术接口、USB接口等)，一个或多个接口(例如，蓝牙技术接口、USB接口等)被配置为经由有线或无线连接与外部设备2100通信。在一些实施方案中，针对控制器2030描述的功能中的至少一部分可由外部设备2100实现。外部设备2100可为或可包括任何类型的计算系统或计算设备，诸如台式计算机、笔记本或膝上型计算机、平板或平板设备、智能电话、手持式计算设备、游戏控制器、游戏系统等等。

在各种实施方案中，控制器2030可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一合适数量)的多处理器系统。控制器2030可包括被配置为实现任何合适的指令集架构的中央处理单元(CPU)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器2030可包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。控制器2030可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器2030可包括实现微码技术的电路。控制器2030可包括各自被配置为执行指令的一个或多个处理核心。控制器2030可包括一个或多个级别的高速缓存，该高速缓存可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器2030可包括至少一个图形处理单元(GPU)，该至少一个图形处理单元(GPU)可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器2030可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(ISP)、编码器/译码器等。

存储器2032可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可以耦合到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，设备可以与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或者多芯片模块构造中安装。

在一些实施方案中，HMD 2000可包括一个或多个传感器2050，一个或多个传感器2050收集关于用户的环境的信息(视频、深度信息、照明信息等)。传感器2050可将信息提供给MR系统的控制器2030。在一些实施方案中，传感器2050可包括但不限于可见光相机(例如，摄像机)和环境光传感器。

HMD 2000可被定位在用户的头部上，使得显示器2022A和显示器2022B以及目镜2220A和目镜2220B被设置在用户的眼睛2292A和眼睛2292B的前面。IR光源2230A和IR光源2230B(例如，IR LED)可被定位在HMD 2000中(例如，在目镜2220A和目镜2220B周围或在HMD2000中的其他地方)，以用IR光照射用户的眼睛2292A和眼睛2292B。眼睛跟踪相机2240A和眼睛跟踪相机2240B(例如，IR相机，例如在850nm或940nm或一些其他IR波长下操作并且例如以每秒60帧-120帧(FPS)的速率捕获帧的400×400像素数相机或600×600像素数相机)位于用户面部的每一侧。在各种实施方案中，眼睛跟踪相机2240可定位在HMD 2000中，以提供眼睛2292的直接视图、眼睛2292的通过目镜2220的视图、或眼睛2292的经由从热镜或其他反射部件反射的视图。需注意，眼睛跟踪相机2240A和眼睛跟踪相机2240B的位置和角度以举例的方式给出，并且不旨在为限制性的。在一些实施方案中，可存在位于用户的面部的每个侧面上的单个眼睛跟踪相机2240。在一些实施方案中，在用户的面部的每一侧上可存在两个或更多个眼睛跟踪相机2240。例如，在一些实施方案中，广角相机2240和较窄角度相机2240可用于用户的面部的每个侧面上。由光源2230A和光源2230B发射的IR光的一部分从用户的眼睛2292A和眼睛2292B反射，接收在相应的眼睛跟踪相机2240A和眼睛跟踪相机2240B处，并且由眼睛跟踪相机2240A和眼睛跟踪相机2240B捕获以使用户的眼睛2292A和眼睛2292B成像。由相机2240A和相机2240B捕获的眼睛跟踪信息可被提供给控制器2030。控制器2030可分析眼睛跟踪信息(例如，用户的眼睛2292A和眼睛2292B的图像)以确定眼睛2292A和眼睛2292B的眼睛位置和运动和/或其他特征。在一些实施方案中，为了准确地确定用户的眼睛2292A和眼睛2292B相对于眼睛跟踪相机2240A和眼睛跟踪相机2240B的位置，控制器2030可使用由眼睛跟踪相机2240A和眼睛跟踪相机2240B捕获的图像来执行3D重建，以生成用户的眼睛2292A和眼睛2292B的3D模型。眼睛2292A和眼睛2292B的3D模型指示眼睛2292A和眼睛2292B相对于眼睛跟踪相机2240A和眼睛跟踪相机2240的3D位置，这允许由控制器执行的眼睛跟踪算法准确地跟踪眼睛运动。HMD 2000的眼睛跟踪系统可实现用于如图4至图11所示的杂散光减轻以捕获和处理用户的眼睛1990的图像的一种或多种方法。

由控制器2030获得和分析的眼睛跟踪信息可由控制器用于执行各种XR系统功能。例如，可从由眼睛跟踪相机2240A和眼睛跟踪相机2240B捕获的图像估计显示器2022A和显示器2022B上的注视点；估计的注视点可用于使得HMD 2000的一个或多个场景相机基于对应于注视点的感兴趣区域(ROI)来曝光场景的图像。又如，估计的注视点可实现与显示器2022A和2022B上显示的虚拟内容的基于注视的交互。作为另一示例，在一些实施方案中，可基于如由眼睛跟踪系统确定的用户的瞳孔扩张来调节所显示的图像的亮度。

在一些实施方案中，HMD 2000可被配置为渲染和显示帧以至少部分地根据传感器2050输入为用户提供XR视图。MR视图可包括渲染用户的环境，包括基于由一个或多个摄像机捕获的视频来渲染用户的环境中的真实对象，一个或多个摄像机捕获用户的环境的高质量、高分辨率视频用于显示。MR视图也可包括虚拟内容(例如，虚拟对象、真实对象的虚拟标签、用户的化身等)，该虚拟内容由MR系统生成并与用户的真实环境的所显示视图合成。

如图13中所示的HMD 2000的实施方案也可用于XR应用中以将虚拟现实视图提供给用户。在这些实施方案中，HMD 2000的控制器2030可渲染或获得包括虚拟内容的帧，并且所渲染的帧可被显示以向用户提供虚拟现实(与增强或混合现实相对)体验。在这些系统中，帧的渲染可基于根据眼睛跟踪系统确定的注视点而受到影响。

物理环境是指某人在没有使用电子设备的情况下可与其交互和/或对其进行感测的物理世界。物理环境可包括物理特征，诸如物理对象或物理表面。例如，物理环境可包括物理城市，所述物理城市包括物理建筑物、物理街道、物理树和物理人。人们可直接与物理环境交互和/或感测物理环境，例如通过触觉、视觉、味觉、听觉和嗅觉。另一方面，扩展现实(XR)环境是指某人可使用电子设备与其交互和/或对其进行感测的完全或部分模拟的环境。例如，XR环境可包括虚拟现实(VR)内容、增强现实(AR)内容、混合现实(MR)内容等。使用XR系统，可跟踪人的身体运动的一部分或其表示。作为响应，可调整在XR环境中模拟的虚拟对象的一个或多个特征，使得其依附于一个或多个物理定律。例如，XR系统可检测用户的头部运动，并且作为响应，以与视图和声音将在物理环境中变化的方式类似的方式调整呈现给用户的图形和听觉内容。在另一示例中，XR系统可检测呈现XR环境的电子设备(例如膝上型电脑、移动电话、平板电脑等)的移动，并且作为响应，以与视图和声音将在物理环境中改变的方式类似的方式调整呈现给用户的图形和听觉内容。在一些情形中，XR系统可响应于物理运动的表示(例如语音命令)而调整XR环境中的图形内容的一个或多个特征。

各种电子系统使得某人能够与XR环境交互和/或感测XR环境。例如，可使用基于投影的系统、头戴式系统、平视显示器(HUD)、具有集成显示器的窗户、具有集成显示器的车辆挡风玻璃、被设计成放置在用户的眼睛上的显示器(例如类似于接触透镜)、扬声器阵列、头戴式耳机/听筒、输入系统(例如具有或不具有触觉反馈的可穿戴或手持式控制器)、平板电脑、智能电话和台式/膝上型电脑。一种头戴式系统可包括集成式不透明显示器和一个或多个扬声器。在其他示例中，头戴式系统可接受具有不透明显示器(例如智能电话)的外部设备。头戴式系统可包括一个或多个图像传感器和/或一个或多个麦克风以捕获物理环境的图像或视频和/或音频。在其他示例中，头戴式系统可包括透明或半透明显示器。表示图像的光被引导穿过的介质可包括在透明或半透明显示器内。显示器可利用OLED、LED、uLED、数字光投影、激光扫描光源、硅基液晶或这些技术的任何组合。介质可以是全息图介质、光学组合器、光学波导、光学反射器或它们的组合。在一些示例中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可使用视网膜投影技术以将图形图像投影到用户的视网膜上。投影系统也可被配置成将虚拟对象投影到物理环境中，例如在物理表面上或作为全息图。

在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (20)

1.一种系统，包括：

相机；

两个或更多个照明源，其中所述两个或更多个照明源被分成N组，其中所述组中的各个组包含所述照明源中的至少一个照明源，并且其中所述组中的各个组被配置为独立于其他组被激活，以朝向将由所述相机成像的对象发射光；

其中所述相机被配置为捕获所述对象的N个子帧，其中子帧中的各个子帧由在所述捕获期间被激活的所述N组照明源中的相应组照明源照射；和

控制器，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为处理和合并所述N个子帧以生成所述对象的输出图像，其中处理和合并所述N个子帧减轻或消除由所述系统中的杂散光引起的所述N个子帧中的伪影。

2.根据权利要求1所述的系统，其中所述杂散光包括由所述照明源发射的所述光离开所述系统的部件的反射。

3.根据权利要求1所述的系统，其中所述照明源是发光二极管(LED)。

4.根据权利要求1所述的系统，其中所述照明源是红外(IR)光源，并且其中所述相机是红外相机。

5.根据权利要求1所述的系统，其中，为了处理和合并所述N个子帧以生成所述对象的输出图像，所述控制器被进一步配置为：

将相应的掩模应用于所述N个子帧中的各个子帧以生成N个经掩蔽的子帧，其中将相应的掩模应用于子帧减轻或消除由所述相应组照明源引起的所述子帧中的伪影；以及

合并所述N个经掩蔽的子帧以生成所述对象的所述输出图像。

6.根据权利要求5所述的系统，其中在所述组照明源中的相应组照明源被激活的情况下并且当所述对象未正在被成像时，从由所述相机捕获的图像生成所述掩模。

7.根据权利要求1所述的系统，其中所述相机包括滚动快门(RS)传感器，其中存在两组照明源，并且

其中所述相机被配置为：

在交错模式下捕获第一子帧，其中第一组照明源被激活并且第二组照明器被去激活，其中所述第一子帧包括来自所述传感器的奇数行；

在交错模式下捕获第二子帧，其中所述第一组照明源被去激活并且所述第二组照明器被激活，其中所述第二子帧包括来自所述传感器的偶数行；并且

其中，为了处理和合并所述N个子帧以生成所述对象的输出图像，所述控制器被配置为合并所述两个子帧以生成所述输出图像。

8.根据权利要求1所述的系统，其中所述系统是眼睛跟踪系统，并且其中所述对象是眼睛。

9.根据权利要求8所述的系统，其中所述N个子帧中的各个子帧包括对应于所述相应组中的所述照明源的离开所述眼睛的反射的一个或多个闪光，并且其中所述输出图像包括来自所述N个子帧的所述闪光。

10.根据权利要求8所述的系统，其中所述眼睛跟踪系统是包括至少一个显示屏的头戴式设备(HMD)的部件。

11.根据权利要求10所述的系统，其中所述HMD还包括位于所述至少一个显示屏和用户的眼睛之间的左光学透镜和右光学透镜。

12.根据权利要求10所述的系统，其中所述HMD是扩展现实(XR)系统的部件。

13.一种方法，包括：

激活第一组照明源以照射对象，其中第二组照明源被去激活；

通过相机捕获由所述第一组照明源照射的所述对象的第一图像；

激活所述第二组照明源以照射所述对象，其中所述第一组照明源被去激活；

通过所述相机捕获由所述第二组照明源照射的所述对象的第二图像；以及

通过包括一个或多个处理器的控制器合并所述第一图像和所述第二图像以生成所述对象的输出图像，其中合并所述第一图像和所述第二图像减轻或消除由所述系统中的杂散光引起的所述第一图像和所述第二图像中的伪影。

14.根据权利要求13所述的方法，其中所述杂散光包括由所述照明源发射的所述光离开包括所述照明源和所述相机的系统的部件的反射。

15.根据权利要求13所述的方法，其中合并所述第一图像和所述第二图像以生成所述对象的输出图像包括：

将相应的掩模应用于所述第一图像和所述第二图像以生成第一经掩蔽的图像和第二经掩蔽的图像，其中将相应的掩模应用于图像减轻或消除由所述相应组照明源引起的所述图像中的伪影；以及

合并所述第一经掩蔽的图像和所述第二经掩蔽的图像以生成所述对象的所述输出图像。

16.根据权利要求15所述的方法，还包括，在所述激活和捕获之前，在所述相应组照明源被激活的情况下并且当所述对象未正在被成像时，从由所述相机捕获的图像生成所述第一掩模和所述第二掩模。

17.根据权利要求13所述的方法，其中所述相机包括滚动快门(RS)传感器，其中存在两组照明源，

其中所述相机在交错模式下捕获所述第一图像，其中所述第一组照明源被激活并且所述第二组照明器被去激活，其中所述第一图像包括来自所述传感器的奇数行；并且

其中所述相机在交错模式下捕获所述第二图像，其中所述第一组照明源被去激活并且所述第二组照明器被激活，其中所述第二图像包括来自所述传感器的偶数行。

18.根据权利要求13所述的方法，其中所述照明源和相机是眼睛跟踪系统的部件，并且其中所述对象是眼睛。

19.根据权利要求18所述的方法，其中所述第一图像包括对应于所述第一组中的所述照明源的离开所述眼睛的反射的一个或多个闪光，其中所述第二图像包括对应于所述第二组中的所述照明源的离开所述眼睛的反射的一个或多个闪光，并且其中所述输出图像包括来自所述第一图像和所述第二图像两者的所述闪光。

20.根据权利要求18所述的方法，其中所述眼睛跟踪系统是头戴式设备(HMD)的部件。