CN113661472A - 头戴式显示器的场内光源的主动控制 - Google Patents

头戴式显示器的场内光源的主动控制 Download PDF

Info

Publication number
CN113661472A
CN113661472A CN202080027913.6A CN202080027913A CN113661472A CN 113661472 A CN113661472 A CN 113661472A CN 202080027913 A CN202080027913 A CN 202080027913A CN 113661472 A CN113661472 A CN 113661472A
Authority
CN
China
Prior art keywords
eye
image
field light
hmd
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080027913.6A
Other languages
English (en)
Other versions
CN113661472B (zh
Inventor
卡罗尔·康斯坦丁·哈奇利亚斯
张绮
克里斯托弗·元庭·廖
罗宾·夏尔马
安德鲁·约翰·欧德柯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN113661472A publication Critical patent/CN113661472A/zh
Application granted granted Critical
Publication of CN113661472B publication Critical patent/CN113661472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

用于头戴式显示器(HMD)的场内光源的主动控制的方法包括接收HMD的用户的眼睛的图像，其中图像由眼睛跟踪相机响应于由多个场内光源发射的红外光而捕获。该方法还包括基于来自眼睛的图像的信息选择性地禁用至少一个场内光源。

Description

头戴式显示器的场内光源的主动控制
相关申请的交叉引用
本申请要求2019年4月16日提交的美国申请号16/386,009的优先权，出于所有目的，该美国申请的内容通过引用以其整体被并入本文。
本申请涉及2019年4月16日提交的标题为“KEEP-OUT ZONE FOR IN-FIELD LIGHTSOURCES OF A HEAD MOUNTED DISPLAY”的美国非临时专利申请。
公开领域
本公开的方面总体上涉及头戴式显示器，并且特别是但不排他地涉及头戴式显示器的场内光源。
背景
头戴式显示器(HMD)是一般戴在用户的头上的显示设备。HMD可以用在各种应用例如游戏、航空、工程、医学、娱乐等中以向用户提供人工现实内容。人工现实是一种在呈现给用户之前已经以某种方式被调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)、或它们的某种组合和/或衍生物。一些HMD执行眼睛跟踪，其可以增强用户的观看体验。在一些情况下，可以通过照射用户的眼睛来帮助眼睛跟踪。因此，一些传统的HMD可以结合眼睛跟踪系统，该眼睛跟踪系统包括照明源以及用于跟踪用户的眼睛的移动的相机。然而在一些情况下，在HMD内布置照明源可能妨碍或以其他方式干扰眼睛跟踪系统。
概述
如下面将更详细描述的，本公开涉及一种计算机实现的方法，其包括接收由眼睛跟踪相机响应于由头戴式显示器(HMD)的多个场内光源发射的红外光而捕获的HMD的用户的眼睛的图像，以及基于来自眼睛的图像的信息来选择性地禁用多个场内光源中的至少一个场内光源。
在一些实施例中，图像可以包括：(a)响应于由多个场内光源发射的红外光而产生的眼睛的镜面反射，以及(b)场内光源的直接视图。实施例还可以包括处理图像以检测镜面反射，并且确定在后续图像中至少一个场内光源的直接视图将妨碍在后续图像中的至少一个镜面反射的检测。实施例还可以包括响应于确定至少一个场内光源的直接视图在排除区域(keep-out zone)的预定半径内而禁用至少一个场内光源，其中排除区域由来自眼睛的图像的信息定义。
一些实施例还可以包括部分地基于来自图像的信息来确定在后续图像内的预计未来排除区域，并且基于预计未来排除区域来禁用至少一个场内光源。
一些实施例还可以包括从眼睛跟踪相机接收眼睛的后续图像，并且基于来自后续图像的信息来启用至少一个场内光源。
如下面还将更详细描述的，本公开还涉及用于头戴式显示器(HMD)的计算设备。该计算设备包括至少一个处理器和耦合到该至少一个处理器的至少一个存储器。至少一个存储器具有存储在其中的指令，该指令在由至少一个处理器执行时指示计算设备：接收由眼睛跟踪相机响应于由HMD的多个场内光源发射的红外光而捕获的HMD的用户的眼睛的图像；基于来自眼睛的图像的信息确定排除区域；以及基于排除区域来选择性地禁用多个场内光源中的至少一个场内光源。
在一些实施例中，图像可以包括：响应于由多个场内光源发射的红外光而产生的眼睛的镜面反射，以及场内光源的直接视图。至少一个存储器可以包括指令以指示计算设备：处理图像以检测镜面反射，并且确定在后续图像中至少一个场内光源的直接视图将妨碍在后续图像中的至少一个镜面反射的检测。至少一个存储器可以包括指令以指示计算设备：响应于确定至少一个场内光源的直接视图在排除区域的预定半径内而禁用至少一个场内光源。
在一些实施例中，至少一个存储器可以包括指令以指示计算设备：部分地基于排除区域来确定在后续图像内的预计未来排除区域，并且基于预计未来排除区域来禁用至少一个场内光源。
在一些实施例中，至少一个存储器包括指令以指示计算设备：从眼睛跟踪相机接收眼睛的后续图像，确定更新后的排除区域，并基于更新后的排除区域来启用至少一个场内光源。
如下面还将更详细描述的，本公开还涉及头戴式显示器(HMD)。HMD包括被配置为捕获HMD的用户的眼睛的图像的眼睛跟踪相机、被配置为发射红外光以照射用户的眼睛的多个场内光源以及设置在场内光源和HMD的背侧之间的光学组合器。光学组合器被配置成接收由HMD的用户的眼睛反射的反射红外光，并朝着眼睛跟踪相机引导反射红外光。HMD还包括耦合到眼睛跟踪相机的至少一个处理器以及耦合到该至少一个处理器的至少一个存储器，该至少一个存储器具有存储在其中的指令。当由至少一个处理器执行时，这些指令指示至少一个处理器：接收由眼睛跟踪相机捕获的用户的眼睛的图像，基于来自图像的信息确定排除区域，以及基于排除区域来选择性地禁用多个场内光源中的至少一个场内光源。
在一些实施例中，图像包括：响应于由多个场内光源发射的红外光而产生的眼睛的镜面反射，以及场内光源的直接视图。至少一个存储器可以包括指令以指示至少一个处理器：处理图像以检测镜面反射，并且确定在后续图像中至少一个场内光源的直接视图将妨碍在后续图像中的至少一个镜面反射的检测。镜面反射的位置可以对应于在图像内的强度峰。
在一些实施例中，至少一个存储器还包括指令以指示至少一个处理器：响应于确定至少一个场内光源的直接视图在排除区域的预定半径内来禁用至少一个场内光源。
在一些实施例中，至少一个存储器还包括指令以指示至少一个处理器：部分地基于排除区域来确定预计未来排除区域，并基于预计未来排除区域来禁用至少一个场内光源。
在一些实施例中，至少一个存储器还包括指令以指示至少一个处理器：从眼睛跟踪相机接收眼睛的后续图像，基于来自后续图像的信息确定更新后的排除区域，以及基于更新后的排除区域来启用至少一个场内光源。
在一些实施例中，场内光源可以包括垂直腔表面发射激光(VCSEL)二极管。
附图简述
参考以下附图描述了本公开的非限制性和非穷尽性方面，其中除非另有说明，否则在各个视图中相似的参考数字指相似的部件。
图1示出了根据本公开的方面的头戴式显示器(HMD)。
图2示出了接收由近眼光学元件的场内光源发射的直射光和反射光的眼睛跟踪相机。
图3A示出了根据本公开的方面的由眼睛跟踪相机捕获的图像。
图3B示出了沿着剖面线B-B截取的图3A的图像的强度分布图。
图3C示出了沿着剖面线C-C截取的图3A的图像的强度分布图。
图4A和图4B是根据本公开的方面的由眼睛跟踪相机捕获的示例图像，其示出了基于来自图像的信息的场内光源的主动控制。
图5是根据本公开的方面的由眼睛跟踪相机捕获的示例图像，其示出了基于眼睛在图像内的预计未来位置的场内光源的主动控制。
图6示出了根据本公开的方面的用于场内光源的主动控制的示例计算设备。
图7是示出根据本公开的方面的用于场内光源的主动控制的示例过程的流程图。
图8示出了根据本公开的方面的相对于头戴式显示器的场内光源的直接视图的位置的针对许多眼睛位置的镜面反射的位置。
图9示出了根据本公开的方面的包括布置在照明层内排除区域外部的多个场内光源的示例照明层。
图10示出了根据本公开的方面的包括以同心图案布置在排除区域外部的多个场内光源的示例照明层。
图11示出了根据本公开的方面的包括以网格图案布置在排除区域外部的多个场内光源的示例照明层。
详细描述
在下面的描述和相关附图中公开了各种方面和实施例以示出与头戴式显示器(HMD)的场内光源的控制和/或布置相关的特定示例。相关领域的技术人员在阅读本公开后，可替换的方面和实施例将是显而易见的，并且可以在不脱离本公开的范围或精神的情况下构建和实践这些可替换的方面和实施例。另外，众所周知的元素将不被详细描述或者可以被省略，以便不模糊本文公开的方面和实施例的相关细节。
如上面所提到的，HMD可以包括眼睛跟踪系统，该眼睛跟踪系统包括用于照射用户眼睛的照明源和用于捕获眼睛的图像的相机。传统设计可以将照明光源放置在用户的视场的边缘(即外部)(例如框架的边框)上，使得照明光源不会将明显的遮挡物引入用户的视场中。相比之下，本公开的方面提供了用于HMD的近眼光学元件，其包括用光(例如红外光)照射眼睛的多个场内光源(例如微LED和/或垂直腔表面发射激光(VCSEL)二极管)。虽然场内光源可以在HMD的用户的视场中，但是光源可以如此小(例如300微米或更小)，使得光源本身是不引人注意的或对用户造成不明显的遮挡。
图1示出了根据本公开的方面的示例HMD 100。HMD 100的图示示例被示为包括框架102、眼镜腿104A和104B以及近眼光学元件106A和106B。眼睛跟踪相机108A和108B被示为分别耦合到眼镜腿104A和104B。图1还示出了近眼光学元件106A的示例的分解图。近眼光学元件106A被示为包括光学透明层110A、照明层112A和显示层114A。照明层112A被示为包括多个场内光源116A，以及显示层114A被示为包括光学组合器118A。
如图1所示，框架102耦合到眼镜腿104A和104B用于将HMD 100固定到用户的头部。示例HMD 100还可以包括结合到框架102和/或眼镜腿104A和104B中的支持硬件。HMD 100的硬件可以包括下列项中的任一项：处理逻辑、用于发送和接收数据的有线和/或无线数据接口、图形处理器以及用于存储数据和计算机可执行指令的一个或更多个存储器。下面将关于图6描述关于HMD 100的支持硬件的另外的细节。在一个示例中，HMD 100可以被配置成接收有线电力和/或可以被配置成由一个或更多个电池供电。另外，HMD 100可以被配置成接收包括视频数据的有线和/或无线数据。
图1示出了被配置为安装到框架102的近眼光学元件106A和106B。在一些示例中，近眼光学元件106A和106B对用户来说可以看起来是透明的以促进增强现实或混合现实，使得用户可以观看来自环境的场景光(例如可见光)，同时还可以通过显示层114A接收指向他们的眼睛的显示光。在另外的示例中，近眼光学元件106A和106B中的一些或全部可以结合到虚拟现实头戴装置(headset)中，其中近眼光学元件106A和106B的透明性质允许用户观看被结合在虚拟现实头戴装置中的电子显示器(例如液晶显示器(LCD)、有机发光二极管(OLED)显示器、微LED显示器等)。
如图1所示，照明层112A包括多个场内光源116A。如下面将描述的，每个场内光源116A可以设置在透明基板上，并且可以被配置为朝着近眼光学元件106A的向眼侧109发射光。在一些方面中，场内光源116A被配置成发射近红外光(例如750nm-1.4μm)。每个场内光源116A可以是微发光二极管(微LED)、边缘发射LED或垂直腔表面发射激光(VCSEL)二极管。
如上面所提到的，传统的眼睛跟踪解决方案可以提供围绕透镜的边缘/周边设置的光源。然而，将光源放置在眼睛的视场内对于镜面反射或“闪烁(glint)”反射的计算可能是有利的，镜面反射或“闪烁”反射可以由相机例如眼睛跟踪相机108A成像，眼睛跟踪相机108A被定位成对HMD 100的佩戴者的眼睛成像。此外，使每个场内光源116A单独地(或成组地)选择性地照射的能力可以帮助节省电力并提供更快和更精确的眼睛跟踪测量。
虽然场内光源116A可能将微小遮挡物引入到近眼光学元件106A中，但是场内光源116A以及它们的相应布线(routing)可以如此小，以至于对HMD 100的佩戴者是不引起注意的或不明显的。此外，来自场内光源116A的任何遮挡物将被放置得离眼睛如此近，以至于是无法被人眼聚焦的且因此有助于使场内光源116A不引起注意或不明显。在一些实施例中，每个场内光源116A具有小于约200×200微米的覆盖区(或尺寸)。
如上面所提到的，照明层112A的场内光源116A可以被配置为朝着近眼光学元件106A的向眼侧109发射光以照射用户的眼睛。近眼光学元件106A被示为包括光学组合器118A(被包括在显示层114A中)，其中光学组合器118A设置在照明层112A和近眼光学元件106A的背侧111之间。在一些方面中，光学组合器118A被配置成接收由用户的眼睛反射的反射红外光，并朝着眼睛跟踪相机108A引导该反射红外光。在一些示例中，眼睛跟踪相机108A是被配置为基于接收到的反射红外光来对用户的眼睛成像的红外相机。在一些方面中，光学组合器118A对可见光(例如在近眼光学元件106A的背侧111入射的光)是能透射的。在一些示例中，光学组合器118A可以被配置为体全息图(volume hologram)和/或可以包括一个或更多个布拉格光栅(Bragg grating)用于朝着眼睛跟踪相机108A引导反射红外光。
根据HMD 100的设计，显示层114A可以包括一个或更多个其他光学元件。例如，显示层114A可以包括波导(在图1中未示出)以将由电子显示器产生的显示光引导到用户的眼睛。在一些实现中，电子显示器的至少一部分被包括在HMD 100的框架102中。电子显示器可以包括用于产生显示光的LCD、有机发光二极管(OLED)显示器、微LED显示器、微型投影仪(pico-projector)或硅上液晶(LCOS)显示器。
光学透明层110A被示为设置在照明层112A和近眼光学元件106A的向眼侧109之间。光学透明层110A可以接收由照明层112A发射的红外光，并使红外光通过以照射用户的眼睛。如上面所提到的，光学透明层110A也可以对可见光(例如从环境接收的场景光)或者从显示层114A接收的显示光是透明的。在一些示例中，光学透明层110A具有用于将光(例如显示光和/或场景光)聚焦到用户的眼睛的曲率。因此在一些示例中，光学透明层110A可以被称为透镜。在一些方面中，光学透明层110A具有对应于用户的规格的厚度和/或曲率。换句话说，光学透明层110A可以是处方透镜。然而在其他示例中，光学透明层110A可以是非处方透镜(也被称为平光镜片(plano lens))。
图2示出了接收由近眼光学元件106A的场内光源116A发射的直射光204和反射光202的眼睛跟踪相机108A。在图2的示例中，照明层112A被示为包括透明基板210和设置在透明基板210上的多个场内光源116A。在一些示例中，场内光源116A是连同一个或更多个透明布线(例如透明导电氧化物)一起在透明基板210(例如玻璃、蓝宝石、塑料、柔性膜等)上形成的VCSEL二极管。如上面所提到的，每个场内光源116A被配置为朝着近眼光学元件106A的向眼侧109发射红外光以照射用户的眼睛206。由场内光源116A发射的光可以顺着许多条光路前进。例如，光202被示为顺着光路前进，该光路包括穿过光学透明层110A传播，从眼睛206反射，然后传播回来穿过光学透明层110A、穿过照明层112A到达光学组合器118A，光学组合器118A然后朝着眼睛跟踪相机108A引导反射光202用于成像。
在一些示例中，反射光202是从眼睛206的角膜208反射的镜面反射(也被称为“闪烁”或“角膜”反射)。在操作中，眼睛跟踪相机108A可以捕获包括一个或更多个镜面反射的眼睛206的图像。在一些方面中，这些镜面反射在所捕获的图像中表现为强度峰，这些峰可以被HMD的眼睛跟踪模块检测到。眼睛跟踪模块然后可以定位检测到的镜面反射以确定眼睛跟踪信息(例如眼睛206的位置、取向、注视角度等)。例如，眼睛跟踪模块可以确定眼睛206是否正在直视、向左看、向右看、向上看或向下看。
然而，图2将眼睛跟踪相机108A示出为也接收也由场内光源116A发射的直射光204。也就是说，由场内光源116A发射的一些红外光(例如反射光202)可以从眼睛206反射，而由场内光源116A发射的其他红外光(例如直射光204)(例如在大角度下发射的红外光)可以入射在眼睛跟踪相机108A上而不需要从眼睛206反射。在一些示例中，场内光源116A的这个直接视图导致在由眼睛跟踪相机108A捕获的图像中的相应的强度峰。如下面将更详细描述的，在一些情况下，场内光源116A的直接视图可能妨碍眼睛跟踪模块对一个或更多个镜面反射的检测。
作为示例，图3A示出了由眼睛跟踪相机(例如图1和图2的眼睛跟踪相机108A)捕获的图像302。如图3A所示，图像302可以包括HMD的用户的眼睛304的成像，可以响应于由场内光源(例如场内光源116A)发射、从眼睛的一个或更多个漫射表面反射以及然后通过光学组合器(例如光学组合器118A)被引导至眼睛跟踪相机108A的红外光而产生该成像。图像302还包括几个镜面反射308A-308F，其中镜面反射308A-308F表示从眼睛的角膜306区域反射的红外光(例如图2的反射光202)。甚至仍然，图像302还包括场内光源(例如场内光源116A)的直接视图310A-310Y，这些直接视图可以响应于由场内光源发射的直射光(例如图2的直射光204)而产生。
在一些示例中，镜面反射308A-308F可以在图像302内被表示为强度峰。作为示例，图3B示出了沿着剖面线B-B截取的图3A的图像302的强度分布图303。如图3A所示，强度分布图303包括对应于在图像302内的镜面反射308A的位置的强度峰312。在操作中，眼睛跟踪模块可以基于相应强度峰(例如强度峰312)的检测来检测和/或定位镜面反射。然而如上面所提到的，场内光源的直接视图也可以在图像内产生强度峰。例如，图3C示出了沿着剖面线C-C截取的图3A的图像302的强度分布图305。如图3C所示，强度分布图305包括对应于场内光源的直接视图310K的强度峰314。剩余的直接视图310A-Y中的每一个也可以包括图像302内的相应强度峰。在一些实现中，在照明层(例如照明层112A)内的场内光源的位置是固定的。因此，相应的直接视图310A-Y的位置也可以被眼睛跟踪模块知道，这可以帮助眼睛跟踪模块区分开镜面反射的位置和场内光源的直接视图310A-Y的位置。然而在一些实例中，场内光源的直接视图可能妨碍镜面反射的检测，例如当镜面反射在图像302内出现在场内光源的直接视图的位置处或附近时。例如，图3C示出了与图像302内的镜面反射308F的位置对应的强度峰316和与直接视图310L的位置对应的强度峰318。在一些实例中，在图像302内镜面反射308F与直接视图310L的紧密接近可能妨碍眼睛跟踪模块检测镜面反射308F的能力。也就是说，眼睛跟踪模块可能无法区分开强度峰316和强度峰318，这可能降低准确性和/或增加确定眼睛跟踪信息的处理时间。
因此，本公开的方面提供了一种或更多种机制，用于减少或消除场内光源的直接视图的出现以免妨碍对在由HMD的眼睛跟踪相机捕获的图像中存在的镜面反射的检测。在一个方面中，提供了场内光源的主动控制，用于基于来自所捕获的图像的信息来选择性地启用/禁用一个或更多个场内光源。例如，计算设备(例如与HMD结合的计算设备)可以确定在由眼睛跟踪相机捕获的图像内的眼睛的当前位置(例如角膜、瞳孔、虹膜等的位置)，然后基于当前位置来选择性地禁用场内光源。如下面将讨论的，要禁用哪些场内光源的确定可以基于眼睛的当前位置的预定半径，或者它可以基于眼睛在后续图像内的预计未来位置。在另一方面中，照明层(例如图1的照明层112A)被配置为包括静态排除区域。排除区域可以是照明层的不包括任何场内光源的区域。也就是说，照明层可以包括设置在其中的几个场内光源，但是其中所有的场内光源设置在排除区域外部。关于场内光源的主动控制和针对场内光源的静态排除区域的另外的细节都在下面被描述。
场内光源的主动控制
在一些方面中，场内光源的主动控制包括基于来自由眼睛跟踪相机捕获的图像的信息来选择性地禁用和/或启用场内光源。确定要禁用/启用哪些场内光源可以基于从图像获得的信息，例如眼睛的当前位置、瞳孔的当前位置、虹膜的当前位置、镜面反射的位置、眼睛、瞳孔或虹膜的预计未来位置等。
例如，图4A示出了根据本公开的方面的由眼睛跟踪相机(例如眼睛跟踪相机108A)捕获的示例图像402A，其示出基于来自图像402A的信息的场内光源的主动控制。在一些示例中，从图像402A获得的信息可以表示排除区域。在一些示例中，排除区域表示图像402A的对应于眼睛304的一个或更多个特征的区域，例如由角膜306占据的区域、由瞳孔412占据的区域和/或由眼睛304的虹膜(未明确示出)占据的区域。在其他示例中，排除区域表示眼睛、瞳孔、角膜和/或虹膜的当前位置。在又一示例中，排除区域对应于出现在图像402A中的一个或更多个镜面反射的位置。
在图4A的示例中，排除区域被示为在图像402A内的眼睛304的当前位置404A。可以确定当前位置404A，其中场内光源的主动控制包括禁用出现在排除区域的预定半径406内(例如在当前位置404A的半径406内)的场内光源。在一些方面中，眼睛304的当前位置404A是角膜306的中心和/或瞳孔412的中心。在一些示例中，当前位置404A可以表示虹膜的中心。在又一示例中，当前位置404A可以表示一个或更多个镜面反射的位置。可以基于在图像402A中的一个或更多个镜面反射408的所确定的位置和/或基于在由眼睛跟踪相机捕获的先前图像中的一个或更多个镜面反射的所确定的位置来确定当前位置404A。
在一些示例中，半径406的大小被预先确定并且表示一个区域，如果相应的场内光源的直接视图出现在该区域中，则意味着相应的场内光源将被禁用。也就是说，在所示的示例中，直接视图410G、410H、410L、410M、410Q和410R都位于半径406内。因此，对应于直接视图410G、410H、410L、410M、410Q和410R的场内光源可以都被禁用，以便防止这些直接视图妨碍镜面反射408的检测。
如图4A所示，半径406大于所成像的角膜306的尺寸。在一些示例中，以预定采样率(例如200Hz)捕获和处理图像。因此，半径406的大小可以足够大以考虑在下一个图像被获取之前的所有可能的眼睛移动。例如，图4A的半径406被示为包含直接视图410R，使得如果眼睛的位置向下和向右移动，则对应于直接视图410R的场内光源被禁用。类似地，半径406还包括直接视图410Q，使得如果眼睛的位置向下和向左移动，则对应于直接视图410Q的场内光源被禁用。
图4B示出了由眼睛跟踪相机捕获的后续图像402B(例如在图4A的图像402A之后)。可以基于从后续图像402B获得的信息来确定更新的排除区域。特别地，图4B示出了排除区域，该排除区域对应于眼睛的位置404B并且可以基于对在后续图像402B中存在的镜面反射408的检测来被确定。如在图4B的示例中所示的，更新后的位置404B相对于图4A的位置404A已经向上和向右移动。因此，因为半径406基于眼睛的检测到的位置(例如更新后的位置404B)，所以半径406也已经向上和向右移动，如在图4B的图像402B中所示的。因此，对应于直接视图410G、410H、410L、410M和410R的场内光源可以保持被禁用。然而，如图4B所示，直接视图410Q不再在半径406内，且对应于直接视图410Q的场内光源因此可以被启用以恢复发射红外光。
图4A和图4B的上述示例示出了本公开的一个方面，其中如果场内照明器的对应的直接视图(例如直接视图410A-410Y)出现在排除区域(例如眼睛的当前位置404A/404B)的预定半径406内，则场内照明器被选择性地禁用。如上所述，半径406的大小可以被确定以考虑各种可能性(例如眼睛的未知的未来移动)。在另一方面中，场内光源的主动控制可以基于预计的未来排除区域(例如眼睛的预计未来位置)而不是基于距当前排除区域的预定半径。
例如，图5是根据本公开的方面的由眼睛跟踪相机(例如图1和图2的眼睛跟踪相机108A)捕获的示例图像502，其示出基于预计的未来排除区域(例如眼睛的预计未来位置504B)的场内光源的主动控制。可以基于在图像502中的镜面反射408的所确定的位置来确定眼睛的当前位置504A。在一些示例中，眼睛的当前位置504A可以被馈送到眼睛的模型以确定眼睛的预计未来位置504B。也就是说，眼睛的预计未来位置504B是眼睛将在后续图像中所位于的位置的预测。在一些方面中，该模型可以是基于眼睛的多个先前确定的位置来产生预计未来位置504B的隐马尔可夫模型(HMM)。在其他方面中，卡尔曼滤波器可以被应用于眼睛的先前确定的位置以产生预计未来位置504B。在一些示例中，所产生的预测包括眼睛的移动、取向和/或位置的预测。
基于预计未来位置504B，系统可以确定半径506，其规定要禁用哪些场内光源。在一些示例中，半径506表示角膜306被预测在后续图像中出现在哪里的区域。因此在一些方面中，半径506的大小对应于角膜306的所确定的尺寸。
关于图5的特定示例，至少基于眼睛的当前位置504A(例如，通过将当前位置504A馈送到模型中)来确定预计未来位置504B。如在图5的示例中所示的，眼睛的预计移动是向下和向右的。响应于获得预计未来位置504B，系统确定半径506。假设对应于直接视图410G、410H、410L、410M和410R的场内光源先前被禁用，系统可以然后：(1)启用对应于直接视图410G的场内光源(例如，因为直接视图410G不位于半径506内)；(2)保持对应于直接视图410H、410L和410M的场内光源被禁用(例如，因为直接视图410H、410L和410M保持在半径506内)；以及(3)禁用对应于直接视图410R的场内光源(例如，因为直接视图410R现在在半径506内)。
图6示出了根据本公开的方面的用于场内光源的主动控制的示例计算设备602。计算设备602的图示示例被示为包括通信接口604、一个或更多个处理器606、硬件608和存储器610。在一个示例中，图6所示的一个或更多个部件可以结合到图1的HMD 100的框架102和/或眼镜腿104A/104B中。在其他示例中，图6所示的一个或更多个部件可以结合到通信地耦合到HMD 100的远程计算设备中，用于执行场内光源的主动控制的一个或更多个方面。
通信接口604可以包括无线和/或有线通信部件，其使得计算设备602能够向其他联网设备发送数据和从其他联网设备接收数据。硬件608可以包括附加的硬件接口、数据通信或数据存储硬件。例如，硬件接口可以包括数据输出设备(例如，电子显示器、音频扬声器)和一个或更多个数据输入设备。
可以使用计算机可读介质(例如计算机存储介质)来实现存储器610。在一些方面中，计算机可读介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和/或非易失性、可移动和/或不可移动介质。计算机可读介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能盘(DVD)、高清晰度多媒体/数据存储盘或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备，或可用于存储信息以供计算设备访问的任何其他非传输介质。
计算设备602的处理器606和存储器610可以实现眼睛跟踪模块612和场内光源控制模块614。眼睛跟踪模块612和场内光源控制模块614可以包括执行特定任务或实现特定抽象数据类型的例程、程序指令、对象和/或数据结构。存储器610还可以包括由眼睛跟踪模块612和/或场内光源控制模块614使用的数据储存器(未示出)。
眼睛跟踪模块612可以被配置成确定眼睛跟踪信息(例如眼睛的位置、取向、注视角度等)。在一些方面中，眼睛跟踪模块612可以基于由HMD的眼睛跟踪相机(例如眼睛跟踪相机108A)捕获的一个或更多个图像来确定眼睛跟踪信息。例如，眼睛跟踪模块612可以被配置为接收由眼睛跟踪相机捕获的图像，处理该图像以检测一个或更多个镜面反射(例如，基于强度峰的检测)，并且基于从所捕获的图像获得的信息(例如镜面反射的位置)来确定当前排除区域(例如图4A和图4B的当前位置404A/404B)。在一些示例中，眼睛跟踪模块612还可以基于当前排除区域(例如图5的当前位置504A)来确定预计未来排除区域(例如图5的预计未来位置504B)。
场内光源控制模块614可以被配置为从眼睛跟踪模块612接收眼睛的当前位置和/或预计未来位置，并响应于其而执行一个或更多个场内光源的主动控制。在一些方面中，场内光源控制模块614包括用于单独地控制每个场内光源(例如场内光源116A)的接口和/或逻辑。在一个方面中，启用场内光源包括产生控制信号以使特定的场内光源发射红外光。类似地，禁用场内光源包括产生控制信号以使特定的场内光源停止发射红外光。例如，场内光源控制模块614可以响应于确定在后续图像中的至少一个场内光源的直接视图将妨碍在后续图像中的至少一个镜面反射的检测而选择性地禁用至少一个场内光源。在各种方面中，该确定可以基于距当前位置的预定半径(例如图4A和图4B的预定半径406)，或者它可以基于预计未来位置(例如图5的预计未来位置504B)。
图7是示出根据本公开的方面的用于场内光源的主动控制的示例过程700的流程图。过程700是由图6的计算设备602执行的一个可能的过程。在过程块702中，眼睛跟踪模块612接收HMD(例如HMD 100)的用户的眼睛的图像(例如图像302、402A、402B或502)。如上面所讨论的，图像可以是由眼睛跟踪相机(例如眼睛跟踪相机108A)响应于由多个场内光源(例如场内光源116A)发射的红外光而捕获的图像。此外，图像可以包括眼睛的镜面反射(例如镜面反射308A-308E)以及场内光源的直接视图(例如直接视图310A-310Y)。
在过程块704中，眼睛跟踪模块612然后基于从图像获得的信息来确定当前排除区域。在一个示例中，眼睛跟踪模块612通过检测在图像内的一个或更多个镜面反射的位置(例如通过检测强度峰的位置)基于眼睛的当前位置404A、404B或504A来确定排除区域。在一些示例中，眼睛跟踪模块612还可以被配置成部分地基于所确定的当前排除区域来确定预计未来排除区域(例如预计未来位置504B)。
在过程块704中，场内光源控制模块614还基于从图像获得的信息(例如基于眼睛在图像内的当前位置)来选择性地禁用场内光源中的至少一个。如上面所讨论的，要禁用哪个场内光源的决定可以基于场内光源的直接视图将妨碍在后续图像中的至少一个镜面反射的检测的确定。直接视图将妨碍镜面反射的检测的确定可以基于预定半径，例如图4A和图4B的预定半径406，或者它可以基于预计未来位置，例如图5的预计未来位置504B。
场内光源的排除区域
参考图4A-7讨论的上述实施例提供了场内光源的主动控制，用于减少或消除场内光源的直接视图的出现，以免妨碍在由HMD的眼睛跟踪相机捕获的图像中存在的镜面反射的检测。下面参考图8-11讨论的实施例还提供了减少妨碍镜面反射的检测的直接视图的出现，但不提供上面讨论的主动控制，示例提供了被配置为包括静态排除区域的照明层(例如图1的照明层112A)。如将进一步描述的，排除区域可以是照明层的不包括任何场内光源的区域。也就是说，照明层可以包括设置在其中的几个场内光源，但是其中所有的场内光源设置在静态排除区域外部。
图8示出了根据本公开的方面的当场内光源的直接视图会出现在由HMD的眼睛跟踪相机(例如眼睛跟踪相机108A)捕获的图像中时相对于场内光源的直接视图810的位置的针对许多眼睛位置的镜面反射808的位置。在一些方面中，图8所示的数据表示针对HMD(例如HMD 100)的用户的眼睛的各种眼睛位置和/或注视角度的场内光源的直接视图810以及镜面反射808的建模800。可以通过针对各种眼睛位置和/或注视角度的经验数据收集和/或基于计算机的模拟来获得建模800。
如图8所示，由于眼睛跟踪相机108A相对于照明层112A的位置和取向是固定的，所以出现在建模800中的直接视图810的位置保持原样。图8的建模800还示出镜面反射808的位置如何随着眼睛位置和/或注视角度的变化而改变。然而，由申请人执行的建模800揭示，尽管镜面反射808的位置改变，但是这些变化是相对小的并且被包含在区域802内。在一些示例中，建模800揭示，对于眼睛的所有眼睛位置和所有注视角度，所有得到的镜面反射808将出现在区域802内。因此，本公开的一些方面包括照明层，照明层包括设置在其上的场内光源，使得它们的相应直接视图810出现在区域802的外部，以便防止直接视图妨碍镜面反射808的检测。如下面将示出的，在一些示例中，照明层包括具有基于建模800的尺寸和/或形状的排除区域，其中所有场内光源被设置在照明层内指定排除区域的外部。
图9示出了根据本公开的方面的包括布置在照明层902内排除区域904外部的多个场内光源910的示例照明层902。照明层902是图1和图2的照明层112A的一种可能的实现。在一些方面中，排除区域904具有基于图8的建模800的尺寸和/或形状。例如，图9的排除区域904被示为具有包括半径908的圆形形状。在一些示例中，半径908是9毫米。在一些示例中，半径908大于9毫米。在一些示例中，排除区域904包括中心906，其中当眼睛在居中取向上时(例如，当HMD的用户的眼睛向前直视时)，中心906的位置将与眼睛的中心对准。在一些方面中，中心906与近眼光学元件106A的光学中心重合。
排除区域904的尺寸和形状被配置成使得当场内光源910在区域912内被设置在排除区域904外部时，它们的相应直接视图被阻止，以免妨碍眼睛的镜面反射的检测。照明层902的图示示例示出了以稀疏图案布置在照明层902的区域912内的场内光源910。然而，与本文提供的教导一致，场内光源910可以以任何图案布置在排除区域904外部。
图10示出了根据本公开的方面的包括以同心图案布置在排除区域1004外部的多个场内光源1010A和1010B的示例照明层1002。照明层1002是图1和图2的照明层112A的一种可能的实现。
在一些方面中，排除区域1004具有基于图8的建模800的尺寸和/或形状。例如，图10的排除区域1004被示为具有包括半径1008的圆形形状。在一些示例中，半径1008是9毫米。在一些示例中，半径908大于9毫米。在一些示例中，排除区域1004包括中心1006，其中当眼睛在居中取向上时(例如，当HMD的用户的眼睛向前直视时)，中心1006的位置将与眼睛的中心对准。在一些方面中，中心1006与近眼光学元件106A的光学中心重合。
排除区域1004的尺寸和形状被配置成使得当场内光源1010A和1010B在区域1012内被布置在排除区域1004外部时，它们的相应直接视图被阻止，以免妨碍眼睛的镜面反射的检测。照明层1002的图示示例示出了在排除区域1004外部并在排除区域1004的圆形形状的周边1016上布置的场内光源1010A。照明层1002还包括在排除区域1004外部并以圆形图案1018布置的场内光源1010B。在一些示例中，圆形图案1018与排除区域1004的圆形形状同心。此外，圆形图案1018可以包括18毫米的半径1014。
图11示出了根据本公开的方面的包括以网格图案设置在排除区域1104外部的多个场内光源1110A和1110B的示例照明层1102。照明层1102是图1和图2的照明层112A的一种可能的实现。
在一些方面中，排除区域1104具有基于图8的建模800的尺寸和/或形状。例如，图11的排除区域1104被示为具有包括高度/宽度1114的矩形形状。在一些示例中，高度/宽度1114是9毫米。在一些示例中，排除区域1104包括中心1106，其中当眼睛在居中取向上时(例如，当HMD的用户的眼睛向前直视时)，中心1106的位置将与眼睛的中心对准。在一些方面中，中心1106与近眼光学元件106A的光学中心重合。
排除区域1104的尺寸和形状被配置成使得当场内光源1110A和1110B在区域1112内被设置在排除区域1104外部时，它们的相应直接视图被阻止，以免妨碍眼睛的镜面反射的检测。照明层1102的图示示例示出了在排除区域1104外部并且在排除区域1104的矩形形状的周边1116上布置的场内光源1110A。场内光源1110A和1110B都被示为以网格图案设置在照明层1102内。在一些示例中，网格图案包括布置成平行的行和列的场内光源1110A和1110B。在一些示例中，场内光源1110A和1110B设置在照明层1102内，使得它们彼此分开至少9毫米。
在一些示例中，由排除区域904、1004和1104表示的区域可以与上面参考图4A-7描述的场内光源的主动控制结合使用。例如参考图6，在一些实例中，眼睛跟踪模块612可能会失去，其中眼睛跟踪模块612失去(即，无法确定)眼睛的当前位置。在这些情况下，眼睛跟踪模块612可以被配置为掩蔽或忽略出现在由排除区域表示的区域内的任何场内光源的直接视图，直到眼睛的当前位置被重新获得为止。作为另一示例，参考图4A，响应于失去眼睛的当前位置以及如果眼睛跟踪模块确定这些直接视图对应于设置在区域例如排除区域904、1004和1104内的场内光源，眼睛跟踪模块可以掩蔽对应于直接视图410G、410H、410L、410M、410Q和410R的强度峰。
本发明的实施例可以包括人工现实系统或者结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如，真实世界的)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，并且它们中的任何一个都可以在单个通道或多个通道中呈现(例如向观看者产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
包括摘要中描述的内容在内的本发明的所示实施例的上述描述并不旨在穷举或将本发明限制于所公开的精确形式。虽然本文出于说明的目的描述了本发明的具体实施例和示例，但是相关领域的技术人员将会认识到，在本发明的范围内各种修改是可能的。
根据以上详细描述，可以对本发明进行这些修改。在所附权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的特定实施例。更确切地，本发明的范围完全由所附权利要求来确定，这些权利要求将根据权利要求解释的既定原则来解释。

Claims (15)

1.一种计算机实现的方法，包括：
接收头戴式显示器(HMD)的用户的眼睛的图像，所述图像由眼睛跟踪相机响应于由所述HMD的多个场内光源发射的红外光而捕获；以及
基于来自所述眼睛的所述图像的信息来选择性地禁用所述多个场内光源中的至少一个场内光源。
2.根据权利要求1所述的计算机实现的方法，其中，所述图像包括：(a)响应于由所述多个场内光源发射的所述红外光而产生的所述眼睛的镜面反射，以及(b)所述场内光源的直接视图。
3.根据权利要求2所述的计算机实现的方法，还包括：
处理所述图像以检测所述镜面反射；以及
确定在后续图像中所述至少一个场内光源的直接视图将妨碍在所述后续图像中的至少一个镜面反射的检测。
4.根据权利要求2所述的计算机实现的方法，还包括：
响应于确定所述至少一个场内光源的直接视图在排除区域的预定半径内而禁用所述至少一个场内光源，其中，所述排除区域由来自所述眼睛的所述图像的信息定义。
5.根据权利要求1所述的计算机实现的方法，还包括：
部分地基于来自所述图像的所述信息来确定在后续图像内的预计未来排除区域；以及
基于所述预计未来排除区域来禁用所述至少一个场内光源。
6.根据权利要求1所述的计算机实现的方法，还包括：
从所述眼睛跟踪相机接收所述眼睛的后续图像；以及
基于来自所述后续图像的信息来启用所述至少一个场内光源。
7.一种用于头戴式显示器(HMD)的计算设备，所述计算设备包括：
至少一个处理器；以及
至少一个存储器，其耦合到所述至少一个处理器，所述至少一个存储器具有存储在其中的指令，所述指令在由所述至少一个处理器执行时指示所述计算设备：
接收所述HMD的用户的眼睛的图像，所述图像由眼睛跟踪相机响应于由所述HMD的多个场内光源发射的红外光而捕获；
基于来自所述眼睛的所述图像的信息确定排除区域；以及
基于所述排除区域来选择性地禁用所述多个场内光源中的至少一个场内光源。
8.一种头戴式显示器(HMD)，包括：
眼睛跟踪相机，其被配置为捕获所述HMD的用户的眼睛的图像；
多个场内光源，其被配置为发射红外光以照射所述用户的所述眼睛；
光学组合器，其被设置在所述场内光源和所述HMD的背侧之间，其中，所述光学组合器被配置成接收由所述HMD的用户的所述眼睛反射的反射红外光，并朝着所述眼睛跟踪相机引导所述反射红外光；
至少一个处理器，其耦合到所述眼睛跟踪相机；以及
至少一个存储器，其耦合到所述至少一个处理器，所述至少一个存储器具有存储在其中的指令，所述指令在由所述至少一个处理器执行时指示所述至少一个处理器：
接收由所述眼睛跟踪相机捕获的所述用户的所述眼睛的所述图像；
基于来自所述图像的信息确定排除区域；以及
基于所述排除区域来选择性地禁用所述多个场内光源中的至少一个场内光源。
9.根据权利要求7所述的计算设备或根据权利要求13所述的HMD，其中，所述图像包括：
响应于由所述多个场内光源发射的所述红外光而产生的所述眼睛的镜面反射；以及
所述场内光源的直接视图。
10.根据权利要求9所述的计算设备或HMD，其中，所述至少一个存储器还包括指令以指示所述至少一个处理器：
处理所述图像以检测所述镜面反射；以及
确定在后续图像中所述至少一个场内光源的直接视图将妨碍在所述后续图像中的至少一个镜面反射的检测。
11.根据权利要求10所述的计算设备或HMD，其中，所述镜面反射的位置对应于在所述图像内的强度峰。
12.根据权利要求9所述的计算设备或HMD，其中，所述至少一个存储器还包括指令以指示所述至少一个处理器：
响应于确定所述至少一个场内光源的直接视图在所述排除区域的预定半径内来禁用所述至少一个场内光源。
13.根据权利要求7所述的计算设备或根据权利要求8所述的HMD，其中，所述至少一个存储器还包括指令以指示所述至少一个处理器：
部分地基于所述排除区域来确定预计未来排除区域；以及
基于所述预计未来排除区域来禁用所述至少一个场内光源。
14.根据权利要求7所述的计算设备或根据权利要求13所述的HMD，其中，所述至少一个存储器还包括指令以指示所述至少一个处理器：
从所述眼睛跟踪相机接收所述眼睛的后续图像；
基于来自所述后续图像的信息确定更新后的排除区域；以及
基于所述更新后的排除区域来启用所述至少一个场内光源。
15.根据权利要求8所述的HMD，其中，所述场内光源包括垂直腔表面发射激光(VCSEL)二极管。
CN202080027913.6A 2019-04-16 2020-04-01 头戴式显示器的场内光源的主动控制 Active CN113661472B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/386,009 2019-04-16
US16/386,009 US10877268B2 (en) 2019-04-16 2019-04-16 Active control of in-field light sources of a head mounted display
PCT/US2020/026217 WO2020214420A1 (en) 2019-04-16 2020-04-01 Active control of in-field light sources of a head mounted display

Publications (2)

Publication Number Publication Date
CN113661472A true CN113661472A (zh) 2021-11-16
CN113661472B CN113661472B (zh) 2024-04-05

Family

ID=70465440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080027913.6A Active CN113661472B (zh) 2019-04-16 2020-04-01 头戴式显示器的场内光源的主动控制

Country Status (4)

Country Link
US (1) US10877268B2 (zh)
EP (1) EP3956751A1 (zh)
CN (1) CN113661472B (zh)
WO (1) WO2020214420A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114207500A (zh) * 2019-08-07 2022-03-18 脸谱科技有限责任公司 眼睛跟踪成像中的杂散光抑制

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023187780A1 (en) * 2022-03-30 2023-10-05 Jerusalem College Of Technology Eye tracking device
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
CN104903818A (zh) * 2012-12-06 2015-09-09 爱福露恩斯公司 眼睛跟踪佩戴式设备和使用方法
US20160270655A1 (en) * 2013-12-09 2016-09-22 Sensomotoric Instruments Gesellschaft Fur Innovati Ve Sensorik Mbh Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2685976C (en) * 2007-05-23 2013-02-19 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
US20090059615A1 (en) * 2007-08-31 2009-03-05 Lee Wainright Fiber optically enhanced reflective strip
FR2945434B1 (fr) 2009-05-12 2012-12-14 Essilor Int Paire de lunettes ophtalmiques adaptee pour caracteriser une convergence des yeux d'un porteur.
US9423602B1 (en) * 2009-12-31 2016-08-23 Gene Dolgoff Practical stereoscopic 3-D television display system
WO2011156195A2 (en) * 2010-06-09 2011-12-15 Dynavox Systems Llc Speech generation device with a head mounted display unit
EP2619749A4 (en) * 2010-09-21 2017-11-15 4IIII Innovations Inc. Head-mounted peripheral vision display systems and methods
US8878749B1 (en) * 2012-01-06 2014-11-04 Google Inc. Systems and methods for position estimation
US9292765B2 (en) * 2014-01-07 2016-03-22 Microsoft Technology Licensing, Llc Mapping glints to light sources
US10552675B2 (en) * 2014-03-12 2020-02-04 Seeing Machines Limited Method and apparatus for eye detection from glints
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
WO2015174163A1 (ja) * 2014-05-14 2015-11-19 ソニー株式会社 撮像装置及び撮像方法
US9874744B2 (en) * 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
WO2016103525A1 (ja) * 2014-12-27 2016-06-30 株式会社Ｆｏｖｅ ヘッドマウントディスプレイ
DK179537B1 (en) * 2015-02-04 2019-02-08 Itu Business Development A/S Tin traces and eye tracking methods
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
EP3415373B1 (en) * 2016-02-10 2020-10-07 Ricoh Company, Ltd. Information providing device
JP2017144086A (ja) * 2016-02-18 2017-08-24 ソニー株式会社 画像処理装置および方法、並びにプログラム
US10095307B2 (en) * 2016-05-13 2018-10-09 Google Llc Eye tracking systems and methods for virtual reality environments
US9854968B2 (en) * 2016-05-20 2018-01-02 International Business Machines Corporation Behind-eye monitoring using natural reflection of lenses
US10032314B2 (en) * 2016-10-11 2018-07-24 Microsoft Technology Licensing, Llc Virtual reality headset
JP7082334B2 (ja) * 2016-11-17 2022-06-08 コグニート セラピューティクス，インク． 視覚刺激を介した神経刺激のための方法およびシステム
US10459220B2 (en) * 2016-11-30 2019-10-29 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10698482B2 (en) * 2016-12-01 2020-06-30 Varjo Technologies Oy Gaze tracking using non-circular lights
JP6964250B2 (ja) * 2017-02-07 2021-11-10 パナソニックＩｐマネジメント株式会社 眼球撮影装置および眼球撮影方法
US20200012101A1 (en) * 2017-03-31 2020-01-09 Sharp Kabushiki Kaisha Head-mounted display
US11057581B2 (en) * 2018-01-24 2021-07-06 Facebook Technologies, Llc Digital pixel array with multi-stage readouts
US10867174B2 (en) * 2018-02-05 2020-12-15 Samsung Electronics Co., Ltd. System and method for tracking a focal point for a head mounted device
US10976814B2 (en) * 2018-04-16 2021-04-13 Google Llc Method and system for eye tracking with glint space recalibration on wearable heads-up display
US10705604B2 (en) * 2018-05-22 2020-07-07 Htc Corporation Eye tracking apparatus and light source control method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
CN104903818A (zh) * 2012-12-06 2015-09-09 爱福露恩斯公司 眼睛跟踪佩戴式设备和使用方法
US20160270655A1 (en) * 2013-12-09 2016-09-22 Sensomotoric Instruments Gesellschaft Fur Innovati Ve Sensorik Mbh Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114207500A (zh) * 2019-08-07 2022-03-18 脸谱科技有限责任公司 眼睛跟踪成像中的杂散光抑制

Also Published As

Publication number Publication date
WO2020214420A1 (en) 2020-10-22
EP3956751A1 (en) 2022-02-23
US10877268B2 (en) 2020-12-29
US20200333592A1 (en) 2020-10-22
CN113661472B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
US11461982B2 (en) 3D object rendering using detected features
US10948729B2 (en) Keep-out zone for in-field light sources of a head mounted display
US11340702B2 (en) In-field illumination and imaging for eye tracking
US10606071B1 (en) Lightfield waveguide integrated eye tracking
US10852817B1 (en) Eye tracking combiner having multiple perspectives
US10878594B1 (en) Boundary region glint tracking
CN113661472B (zh) 头戴式显示器的场内光源的主动控制
US10585477B1 (en) Patterned optical filter for eye tracking
US10133076B2 (en) Hybrid fresnel lens with reduced artifacts
US10725302B1 (en) Stereo imaging with Fresnel facets and Fresnel reflections
US10592739B2 (en) Gaze-tracking system and method of tracking user's gaze
US20200150425A1 (en) Inconspicuous near-eye electrical components
US10379348B2 (en) Hybrid fresnel lens with increased field of view
US11237628B1 (en) Efficient eye illumination using reflection of structured light pattern for eye tracking
US11205069B1 (en) Hybrid cornea and pupil tracking
US10416445B1 (en) Lenses with consistent distortion profile
US11867900B2 (en) Bright pupil eye-tracking system
US11709364B1 (en) Addressable crossed line projector for depth camera assembly
US20240069347A1 (en) System and method using eye tracking illumination
US20230314596A1 (en) Ear-region imaging
US20230300470A1 (en) Techniques for producing glints and iris illumination for eye tracking
CN115038376A (zh) 眼睛跟踪的眼底照明系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant