CN114730216A - 用于眼睛跟踪的显示器下的图像传感器 - Google Patents

用于眼睛跟踪的显示器下的图像传感器 Download PDF

Info

Publication number
CN114730216A
CN114730216A CN202080084396.6A CN202080084396A CN114730216A CN 114730216 A CN114730216 A CN 114730216A CN 202080084396 A CN202080084396 A CN 202080084396A CN 114730216 A CN114730216 A CN 114730216A
Authority
CN
China
Prior art keywords
display
eye
camera
light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080084396.6A
Other languages
English (en)
Inventor
K·金
博内夫 B·伊娃诺夫
A·莱克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synaptics Inc
Original Assignee
Synaptics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synaptics Inc filed Critical Synaptics Inc
Publication of CN114730216A publication Critical patent/CN114730216A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

公开了一种用于眼睛跟踪的方法。该方法可以包括接收由第一相机至少部分地基于由光源发射的光的反射而捕获的第一图像。该反射可以被设置在第一相机前面的电子显示器部分遮挡。该方法还可以包括在部分遮挡的第一图像中检测用户的眼睛以及确定眼睛相对于电子显示器的位置或取向。

Description

用于眼睛跟踪的显示器下的图像传感器
技术领域
本实施例总体上涉及用于成像的系统和方法，并且具体地涉及用于眼睛跟踪的显示器下的图像传感器。
背景技术
许多电子设备（诸如智能手机、平板电脑、膝上型电脑、头戴式显示器（HMD）和其他计算设备）在眼睛跟踪单元中包括用于眼睛跟踪的部件。眼睛跟踪单元可以包括相机、镜和透镜。通常，眼睛跟踪单元设置成邻近显示器，这可能阻碍用户对显示区域的观看并增加电子设备的体积。此外，在眼睛跟踪相机设置在用户的眼睛外围的情况下，可能需要附加部件（例如，镜和透镜）来捕获用户的眼睛的广角视图。这样的附加部件可能在用户的眼睛的捕获图像中引入几何失真，从而使眼睛位置和移动的跟踪进一步复杂化。
发明内容
提供本发明内容是为了以简化的形式介绍下面在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在限制所要求保护的主题的范围。
公开了一种用于眼睛跟踪的方法。该方法可以包括接收由第一相机至少部分地基于由光源发射的光的反射而捕获的第一图像。反射可以被设置在第一相机前面的电子显示器部分遮挡。该方法还可以包括在部分遮挡的第一图像中检测用户的眼睛并确定眼睛相对于电子显示器的位置或取向。
公开了一种设备。该设备可以包括电子显示器、设置在电子显示器后面的第一相机以及眼睛跟踪模块。第一相机可以被配置成检测由光源发射的光的反射并且至少部分地基于该反射来捕获第一图像，其中该反射被电子显示器部分遮挡。眼睛跟踪模块可以被配置成检测部分遮挡的第一图像中的用户的眼睛，并确定眼睛相对于电子显示器的位置或取向。
公开了一种处理系统。处理系统可以包括处理器和存储指令的存储器，指令在被处理器执行时使得处理系统接收由相机至少部分地基于由光源发射的光的反射而捕获的图像，其中该反射被设置在相机前面的电子显示器部分遮挡。指令在被处理器执行时可以进一步使得处理系统在部分遮挡的图像中检测用户的眼睛并确定眼睛相对于电子显示器的位置或取向。
附图说明
本实施例通过示例的方式进行说明并且不旨在受附图中的图限制。
图1A示出了根据一些实施例的示例电子系统的框图。
图1B示出了根据一些实施例的示例电子系统的框图。
图1C示出了根据一些实施例的示例电子系统的框图。
图1D示出了根据一些实施例的示例电子系统的框图。
图1E示出了根据一些实施例的示例电子系统的框图。
图2A-2E各自示出了根据一些实施例的示例电子系统的应用。
图3A和3B各自示出了根据一些实施例的示例电子系统。
图4A和4B各自示出了根据一些实施例的示例HMD。
图5示出了根据一些实施例的示例电子系统的横截面。
图6示出了根据一些实施例的示例电子系统的横截面。
图7A和7B各自示出了根据一些实施例的示例电子系统的横截面。
图8示出了根据一些实施例的电子系统的示例显示器。
图9示出了根据一些实施例的由设置在显示器下的相机捕获的示例图像。
图10示出了根据一些实施例的显示像素和/或显示子像素和光学感测元件的示例布置。
图11示出了根据一些实施例的图像处理系统的框图。
图12示出了根据一些实施例的描绘用于眼睛跟踪的示例方法的说明性流程图。
具体实施方式
在以下描述中，阐述了许多特定细节，诸如特定部件、电路和处理的示例，以提供对本公开的透彻理解。如本文中所使用的术语“耦合”意指直接连接到或通过一个或多个中间部件或电路连接。此外，在以下描述中并且出于解释的目的，阐述了具体命名以提供对本公开的方面的透彻理解。然而，对于本领域技术人员将显而易见的是，可以不需要这些特定细节来实践示例实施例。在其他实例中，以框图形式示出了公知的电路和设备，以避免使本公开难以理解。下面的详细描述的一些部分是根据对计算机存储器内的数据位的操作的过程、逻辑框、处理和其他符号表示来呈现的。电路元件或软件（SW）框之间的互连可以被示出为总线或示出为单个信号线。总线中的每一个可以可替代地是单个信号线，并且单个信号线中的每一个可以可替代地是总线，并且单个线或总线可以表示用于部件之间通信的无数物理或逻辑机制中的任何一个或多个。
除非另有具体说明，否则如从以下讨论中显而易见的那样，理解的是，在整个本申请中，利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“导出”等术语的讨论指代计算机系统或类似电子计算设备的动作和处理，该计算机系统或类似电子计算设备将表示为计算机系统的寄存器和存储器内的物理（电子）量的数据操纵和转换成类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。
本文中描述的技术可以以硬件、SW、固件或其任何组合来实现，除非具体描述为以特定方式实现。描述为模块或部件的任何特征也可以一起实现在集成逻辑设备中，或者单独地实现为分立但可互操作的逻辑设备。如果以SW实现，那么该技术可至少部分地由包括指令的非暂时性计算机可读存储介质实现，该指令在被执行时执行上述方法中的一个或多个。非暂时性计算机可读存储介质可以形成计算机程序产品的部分，计算机程序产品可以包括封装材料。
非暂时性处理器可读存储介质可以包括随机存取存储器（RAM）（诸如同步动态随机存取存储器（SDRAM））、只读存储器（ROM）、非易失性随机存取存储器（NVRAM）、电可擦除可编程只读存储器（EEPROM）、闪速存储器、其他已知的存储介质等。附加地或可替代地，技术可至少部分地由处理器可读通信介质实现，所述处理器可读通信介质承载或传送以指令或数据结构形式的代码且可由计算机或其他处理器访问、读取和/或执行。
结合本文中公开的实施例描述的各种说明性逻辑框、模块、电路和指令可以由一个或多个处理器执行。如本文中使用的术语“处理器”可指代能够执行存储在存储器中的一个或多个SW程序的脚本或指令的任何通用处理器、常规处理器、控制器、微控制器和/或状态机。
本公开的方面提供了一种用于眼睛跟踪的系统、设备和方法，其可以在电子系统或设备的显示器后面实现。本实施例的眼睛跟踪技术可用于评估用户的视觉注意力。在一些实施例中，电子系统可以包括显示器、相机和眼睛跟踪模块。显示器可以包括多孔显示器（porous display），诸如例如，有机发光二极管（OLED）显示器或微发光二极管（micro-LED）显示器。相机可以设置在显示器后面，使得当用户观看显示器时，相机可以驻留在用户的注视点中或附近，并且相机可以捕获用户的（一只或一对）眼睛的图像。眼睛跟踪模块可被配置成检测所捕获图像中的用户的（一只或一对）眼睛，并确定诸如一只眼睛的（或一对眼睛的）位置、取向、移动、注视方向（即视线）和注视点（例如，被用户正在观看的显示像素和/或显示子像素）之类的信息，以用于眼睛跟踪。
通过将相机设置在显示器下，相机的视场（FOV）可以被显示器中的显示像素和/或显示子像素部分遮挡。然而，本公开的方面认识到，显示器可以在显示像素和/或显示子像素之间包含“孔”或空的空间，以供至少一些光通过。在一些实施例中，神经网络模型（例如，卷积神经网络（CNN））或其他算法可用于从由显示像素和/或显示子像素的遮挡中滤除噪声或干扰，诸如“屏幕门效应”。所产生图像可用于眼睛跟踪或其他应用。
与设置在显示器之上或一侧相对照，将相机设置在显示器下可以提供许多优点。例如，当用户观看显示器时，相机可以定位在用户的注视点中或附近，使得相机可以具有用户的眼睛区域的全视图。然后，相机可捕获用户的眼睛的图像，该图像可用于更精确地确定眼睛各自相对于显示器的位置和/或取向。进而，这可以提高眼睛跟踪的准确性，并有助于简化执行眼睛跟踪所需的计算。例如，眼睛跟踪计算可能不需要计及由定位到显示器一侧的相机捕获的图像中的几何失真，其中，在用户的眼睛的相机的视图和用户对显示器的注视方向之间有广角。此外，通过简化计算，可以提高电子系统的计算效率以及进而提高其功率效率。此外，相对于其中在显示器之上设置眼睛跟踪相机的体积更大的系统，电子系统可需要更少的封装。
图1A示出了根据一些实施例的示例电子系统100A（也称为“系统100A”）的框图。系统100A包括显示器102、相机104和眼睛跟踪模块108。
显示器102被配置成向用户显示视觉信息、接收用户输入、和/或将来自正在被成像的对象或场景的光传送到相机104。在一些实施例中，显示器102可以是多孔显示器，诸如OLED显示器或micro-LED显示器，其在显示像素和/或显示子像素之间包含孔或间隙。在一些实施例中，显示器102可以包括透明层，该透明层被配置成将来自正在被成像的对象或场景的光传送到相机104。
相机104被配置成捕捉显示器102前面的对象或场景的图像。相机104可以包括有源像素传感器或光电传感器的阵列（例如，光电二极管、互补金属氧化物半导体（CMOS）图像传感器阵列、电荷耦合器件（CCD）阵列和/或能够检测可见光谱、IR光谱（例如，近红外（NIR）或短波红外（SWIR））或UV光谱中的波长的光的任何其他传感器）。在一些实施例中，相机104可以被配置成检测IR光谱中的光（例如，NIR或SWIR光）和/或可见光（例如，红光）。此外，相机104可以被配置成执行宽范围成像，其中对象或场景被近距离或远距离地成像。此外，相机104可以被配置成每秒捕获高达或多于2000个图像以支持眼睛跟踪。尽管在图1A的示例中描绘了一个相机，但系统100A的其他实现方式可包括两个或更多个相机。
如图1A中所示，相机104设置在显示器102后面（或靠近显示器102）。结果，当用户观看显示器102时，相机104可以定位在用户的视线内，或者在用户的注视点中或附近。因此，相机可以具有用户的眼睛区域的全视图，这可以提高眼睛跟踪的准确性并有助于简化执行眼睛跟踪所需的计算。
眼睛跟踪模块108可以被配置成在由相机104捕获的图像中检测用户的至少一只眼睛。眼睛跟踪模块108还可以被配置成确定诸如眼睛的位置、取向、移动、注视方向和注视点之类的信息，以用于眼睛跟踪。
在操作期间，显示器102可以从相机前面的对象（诸如用户的眼睛）接收光110。光110中的一些可以被显示器102中的显示像素和/或显示子像素遮挡，而光110中的其余部分通过显示像素和/或显示子像素之间的孔或间隙。通过孔的光110可由相机104检测并作为图像112捕获。然后可以将图像112转移到眼睛跟踪模块108，眼睛跟踪模块108可以分析图像112以检测用户的至少一只眼睛。眼睛跟踪模块108还可以确定并输出眼睛跟踪信息114，眼睛跟踪信息114可以包括例如眼睛的位置、取向、移动、注视方向和注视点，眼睛中的每一只可以是相对于显示器102的。眼睛跟踪模块108还可以接收后续图像（例如，静止图像和/或视频）以跟踪眼睛随时间的移动。
图1B示出了根据一些实施例的示例电子系统100B（也称为“系统100B”）的框图。系统100B可以是参考图1A描述的系统100A的实施例。如所示出的，系统100B包括显示器102、光源116、相机104、图像过滤器106和眼睛跟踪模块108。
光源116被配置成照亮正在被成像的对象或场景。光源116可以包括发光二极管（LED）或能够发射IR光谱（包括但不限于NIR或SWIR）和/或可见光谱中的波长的光的其他光源。在一些实施例中，系统100B可以包括多于一个光源116。此外，光源116可以设置在与图1B中所示的位置不同的位置中，并且光源116可以设置在显示器102下、与显示器102相同的平面中、显示器102的边框中或其任何组合中。
图像过滤器106被配置成去除由相机104捕获的图像中的噪声、模糊、浑浊（haziness）或其他类型的干扰。噪声或干扰可能由显示器102中的显示像素和/或显示子像素引起，其可阻挡一些光通过显示器102到相机104。图像过滤器106还可以被配置成全部或部分地去除图像中阻碍眼睛跟踪的特征。例如，图像过滤器106可以被配置成：如果眼睫毛或眼睑模糊了用户的瞳孔、虹膜、巩膜或用于眼睛跟踪的其他特征，则从图像中去除眼睫毛或眼睑。
在操作期间，光源116可以发射光110以照亮相机104前面的场景。在一些实施例中，光110可以被调制或编码。场景中的对象（诸如用户的眼睛）可以将光110的至少一部分例如作为反射光110（R）而反射回朝向显示器102。反射光110（R）中的一些可以被显示器102中的显示像素和/或显示子像素遮挡，而反射光110（R）的其余部分通过显示像素和/或显示子像素之间的孔或间隙。通过孔的反射光110（R）可以由相机104检测并作为图像112捕获。然后可以将图像112转移到图像过滤器106。图像过滤器106可以去除图像112中的噪声或干扰，并产生经过滤的图像112'。然后，眼睛跟踪模块108可以接收经过滤的图像112'并分析该图像以检测用户的至少一只眼睛。如参考图1A所述，眼睛跟踪模块108还可以确定并输出眼睛跟踪信息114。
图1C示出了根据一些实施例的示例电子系统100C（也称为“系统100C”）的框图。系统100C可以是分别参考图1A和1B描述的系统100A和/或100B的实施例。如所示出的，系统100C包括显示器102、相机104A和104B、图像过滤器106、深度图生成器107和眼睛跟踪模块108。
如图1C中所示，显示器102可以被配置成发射光。更具体地，显示器102中的（一个或多个）显示像素和/或（一个或多个）显示子像素可以被配置成发射光110，光110可以包括IR光谱（包括但不限于NIR或SWIR）和/或可见光谱中的波长的光。
图1C还示出了设置在显示器102后面的两个相机—相机104A和104B。相机104A和104B中的每一个可以被配置成捕捉显示器102前面的对象或场景的图像，并且可以是图1A和1B中的相机104的实施例。
深度图生成器107可以被配置成确定关于由相机104A和104B成像的（一个或多个）对象或场景的深度信息。更具体地，深度图生成器107可以被配置成接收由相机104A和104B捕获的图像，并且深度图生成器107可以使用立体视觉（stereopsis）来组合图像并从图像中提取深度信息。深度图生成器107可以将深度信息作为深度图113输出，然后可以将深度图113转移到眼睛跟踪模块108。
在操作期间，显示器102可以发射光110以照亮相机104A和104B前面的场景。场景中的对象（例如，用户的（一只或一对）眼睛）可以将光110的至少一部分例如作为反射光110（R）（1）和110（R）（2）而反射回朝向显示器102。反射光110（R）（1）和110（R）（2）中的一些可以被显示器102中的显示像素和/或显示子像素遮挡，而反射光110（R）（1）和110（R）（2）的其余部分通过显示像素和/或显示子像素之间的孔或间隙。通过孔的反射光110（R）（1）和110（R）（2）可以分别由相机104A和104B检测。相机104A可以捕获被检测为图像112A的反射光110（R）（1），并且相机104B可以捕获被检测为图像112B的反射光110（R）（2）。然后可以将图像112A和112B转移到图像过滤器106。图像过滤器106可以去除图像112A和112B中的噪声或干扰，并且然后输出相应的经过滤的图像112A'和112B'。
深度图生成器107可以接收经过滤的图像112A'和112B'，并且在一些实施例中，使用立体视觉来组合图像并提取深度信息。可以将深度信息作为深度图113输出。然后，眼睛跟踪模块108可以接收深度图113并分析深度信息以检测用户的至少一只眼睛。眼睛跟踪模块108还可以确定并输出眼睛跟踪信息114，眼睛跟踪信息114可以包括例如眼睛的位置、取向、移动、注视方向和注视点。眼睛跟踪模块108还可以接收后续深度图（例如，静止和/或动画的深度图）以跟踪眼睛随时间的移动。
图1D示出了根据一些实施例的示例电子系统100D（也称为“系统100D”）的框图。系统100D可以是参考图1A-1C描述的系统100A-100C的实施例。相机104A和104B可以是图1C的相机104A和104B的实施例。如图1D中所示，相机104B设置在显示器102的一侧（或靠近显示器102），而不是如图1C中所示的显示器102的后面。在眼睛跟踪期间，系统100D可以以类似于系统100B和100C的方式的方式操作。
图1E示出了根据一些实施例的示例电子系统100E（也称为“系统100E”）的框图。系统100E可以是参考图1A-1D描述的系统100A-100D的实施例。如图1E中所示，除了其他部件之外，系统100E包括壳体120和透镜118A及118B。在一些实施例中，系统100E可以是头戴式显示器（HMD），其是佩戴在用户的头部上或附接到用户的头部的电子显示器。
壳体120是配置成将透镜118A和118B耦合到显示器102的结构。在一些实施例中，壳体120可以包括护目镜、眼镜、头盔或配置成佩戴在用户的头部上或附接到用户的头部的类似设备。透镜118A和118B中的每一个可以是光学透镜或组装透镜，该光学透镜或组装透镜被配置成将由显示器102中的显示像素和/或显示子像素或其他光源发射的光聚焦到用户的眼睛。透镜118A和118B中的每一个可以被配置成通过IR光谱（例如，NIR和/或SWIR）和/或可见光谱中的波长的光。
为了操作系统100E，用户可以将系统100E放置在用户的头部上，使得用户的眼睛基本上与透镜118A和118B对准，并且用户可以观看显示器102。为了开始眼睛跟踪，显示器102中的显示像素和/或显示子像素（或其他光源）在某些情况下通过显示图像发射光110A和110B。光110A和110B分别通过透镜118A和118B，以照亮用户的眼睛。用户的眼睛可以将光110A和110B的至少一部分例如分别作为反射光110A（R）和110B（R）而反射回朝向显示器102。反射光110A（R）和110B（R）中的一些可以被显示器102中的显示像素和/或显示子像素遮挡，而反射光110A（R）和110B（R）的其余部分通过显示像素和/或显示子像素之间的孔或间隙，并分别被相机104A和104B检测。相机104A可以捕获被检测为图像112A的反射光110A（R），并且相机104B可以捕获被检测为图像112B的反射光110B（R）。然后可以将图像112A和112B转移到图像过滤器106，图像过滤器106可以去除图像112A和112B中的噪声、模糊、浑浊或其他类型的干扰，并且然后输出相应的经过滤的图像112A'和112B'。然后，眼睛跟踪模块108可以接收经过滤的图像112A'和112B'，并分析所述图像以检测用户的每只眼睛。眼睛跟踪模块108还可以确定并输出用于用户的眼睛中的一只或两只的眼睛跟踪信息114。
图2A示出了根据一些实施例的示例电子系统200A的应用。电子系统200A可以是图1A和1B中的电子系统100A和/或100B的实施例。如图2A中所示，电子系统200A包括显示器202、显示像素和/或显示子像素222、以及相机204。显示像素和/或显示子像素222可以设置在显示器202中，并且相机204（以虚线示出）可以设置在显示器202后面。显示器202可以是图1A-1E的显示器102的实施例。此外，相机204可以是图1A-1E的相机104、104A和/或104B的实施例。
如图2A中所示，用户的眼睛224正在观看显示器202的显示像素和/或显示子像素222'。因此，用户的注视方向226（或视线）由虚线箭头表示，并被指向注视点227。
在眼睛跟踪期间，（一个或多个）显示像素和/或（一个或多个）显示子像素222（或另一光源）发射光（例如，IR光和/或红光）以照亮用户的眼睛224。眼睛224可将光的至少一部分反射回朝向显示器202和相机204。反射光中的一些可以被显示像素和/或显示子像素222遮挡，而光的其余部分可以通过显示像素和/或显示子像素222之间的孔或间隙，并被相机204检测。相机204可以捕获检测到的光作为图像，并且可以将该图像转移到图像过滤器。图像过滤器可以去除图像中的噪声、失真或干扰，并产生经过滤的图像。然后，眼睛跟踪模块可以接收经过滤的图像并分析经过滤的图像以检测眼睛224。图像过滤器和眼睛跟踪模块可以是图1A-1E的图像过滤器106和眼睛跟踪模块108的实施例，并且为简单起见在此没有示出。因此，眼睛跟踪模块可以确定并输出眼睛跟踪信息或参数，诸如例如眼睛的位置、取向、移动、注视方向226、注视点227（即，显示像素和/或显示子像素222'和/或显示像素和/或显示子像素222'的定位）、眼睛的几何形状、瞳孔大小和/或扩张、和/或用户与电子系统200A或注视点227之间的距离。眼睛跟踪模块还可以接收后续图像（例如，静止图像和/或视频）以跟踪眼睛随时间的移动。
为了执行眼睛跟踪，可以使用任何合适的方法。例如，眼睛跟踪模块可以使用来自眼睛的光的一个或多个反射来确定眼睛的位置和/或取向。眼睛跟踪模块可以分析从用户的眼睛中的透镜背面和用户的角膜反射的光以执行眼睛跟踪。作为另一示例，眼睛跟踪模块可以分析从用户的角膜反射的光，以及用户的瞳孔中心的定位，以执行眼睛跟踪。在另一示例中，眼睛跟踪模块可以被配置成检测眼睛内侧的特征（诸如视网膜血管）以执行眼睛跟踪。此外，眼睛跟踪模块可以使用以下来执行眼睛跟踪：用户的瞳孔或虹膜的中心和/或轮廓；用户的眼球的中心；用户的（一个或多个）眼角；用户的巩膜和/或眼睑；用户的眼睛的形状和/或（一个或多个）颜色；或者甚至用户的其他面部特征。眼睛跟踪模块还可以计及在眼睛跟踪期间用户的头部的移动、用户的头部姿势或取向、和/或电子系统200A的移动。
眼睛的位置可以指眼睛上或眼睛内侧的定位，该定位对应于注视方向226和/或注视点227、与注视方向226和/或注视点227对准、或者可以用于确定注视方向226和/或注视点227。眼睛的取向可以指相对于例如用户的面部或头部的特征或显示器202的眼睛的定位。此外，该取向可用于确定注视方向226和/或注视点227（或显示像素和/或显示子像素222'），或可与注视方向226和/或注视点227（或显示像素和/或显示子像素222'）对准。注视方向226可以包括指向注视点227或感兴趣点（诸如显示像素和/或显示子像素222'）或与注视点227或感兴趣点（诸如显示像素和/或显示子像素222'）对准的矢量或视线。在一些方面，用户的眼睛位置可以被转换到（或映射到）注视点227的位置。此外，为了执行眼睛跟踪，眼睛跟踪模块可以使用2D和/或3D坐标（例如，沿X、Y和Z轴）、欧拉角或其他角、四元数（quaternion）或其他系统或参数来表征眼睛的位置、取向和/或移动、用户的注视方向226和/或注视点227。
在一些实施例中，在眼睛跟踪之前或期间，眼睛跟踪模块可以执行校准过程以确保以增加的精度执行眼睛跟踪。校准过程可以包括使用户观看显示在显示器202上的一个或多个点。当显示在显示器202上时，所述一个或多个点可以是静态的或以随机或预定的轨迹移动。校准过程还可以包括在点被显示时确定和记录用户的（一只或一对）眼睛的位置、取向和/或移动。
由眼睛跟踪模块确定的眼睛跟踪信息可用于许多不同的应用。例如，当用户观看电子系统的显示器时，眼睛跟踪信息可以帮助确定用户正在显示器上看什么、用户何时将注意力放在显示器上的某些可视元素上、用户在特定注视点处注视多长时间、可视元素按其被凝视的顺序、以及用户的注视是否返回到用户以前看过的可视元素。此外，眼睛跟踪信息可用于收集使用分析，以增强用户对显示器202上呈现的视觉信息的体验，并执行注视点渲染（foveated rendering）。
眼睛跟踪信息还可以准许用户控制电子系统。例如，当用户移动他或她的眼睛、眨眼或使用他或她的眼睛做出姿态时，用户可以能够移动光标、导航菜单和/或启动各种应用程序并与之交互。此外，眼睛跟踪信息可用于减轻用户正在观看诸如HMD的电子系统时有时可能经历的与晕动病（motion sickness）、沮丧病（doom sickness）、晕屏病（cybersickness）和/或模拟器病（simulator sickness）有关的症状。例如，眼睛跟踪信息可用于修改视觉信息（例如，FOV或图像分辨率）、用户可控制的显示器上对象的灵敏度或响应性、显示器的帧速率、显示器的刷新速率和/或由显示器或其他光源发射的光。此外，眼睛跟踪信息可用于涉及虚拟现实、增强现实和/或混合现实的应用中，并且眼睛跟踪信息可用于包括电子显示器的任何设备中，诸如移动电话、平板电脑、平板手机、膝上型计算机、汽车（例如，仪表盘）或其他消费或商业商品。
图2B示出了根据一些实施例的示例电子系统200B的应用。电子系统200B可以是图1A、1B和2A的电子系统100A、100B和/或200A的实施例。如图2B中所示，电子系统200B包括显示器202、显示像素和/或显示子像素222、以及相机204。与图2A不同，用户的眼睛224A和224B两者都指向图2B中的显示像素和/或显示子像素222'。换句话说，用户的眼睛224A经由注视方向226A指向注视点227，并且用户的眼睛224B经由注视方向226B指向注视点227。在一些实施例中，取决于用户的眼睛224A和224B与相机204之间的距离，用户的眼睛224A和224B中的一只或两只可以驻留在相机204的FOV内，并且由相机204检测以进行眼睛跟踪。此外，眼睛跟踪模块可以确定用户的眼睛224A和224B中的一只或两只的眼睛跟踪信息。
在一些实施例中，眼睛跟踪模块可以使用一只眼睛的眼睛跟踪信息来确认或验证另一只眼睛的眼睛跟踪信息。眼睛跟踪信息可以包括例如特定眼睛的位置、取向、移动、注视方向和/或注视点。例如，眼睛跟踪模块可以使用注视方向226A或用户的第一眼睛224A的取向来识别（或确定）与注视点227相关联的显示像素和/或显示子像素222'。换句话说，眼睛跟踪模块可以识别与用户的第一眼睛224A的取向对准的显示像素或子像素222'。眼睛跟踪模块还可以基于用户的第二眼睛224B的位置或取向来验证或证实用户的第一眼睛224A与和注视点227相关联的显示像素和/或显示子像素222'对准。例如，眼睛跟踪模块可以通过确定第二眼睛224B的取向也与和注视点227相关联的显示像素和/或显示子像素222'对准来验证第一眼睛224A的对准。
图2C示出了根据一些实施例的示例电子系统200C的应用。电子系统200C可以是图1A-2B中的电子系统100A-200B的任何或组合的实施例。如图2C中所示，电子系统200C包括显示器202、显示像素和/或显示子像素222、以及相机204A和204B。相机204A和204B可以是图2A-2B的相机204的实施例。此外，用户的眼睛224A经由注视方向226A指向注视点227，并且用户的眼睛224B经由注视方向226B指向注视点227。在一些实施例中，相机204A和204B之间的距离D可以与图2C中所示的距离D不同。在眼睛跟踪期间，电子系统200C可以以类似于电子系统100C-100E的方式的方式操作。
对于如参考图2B描述的眼睛中的一只或两只，眼睛跟踪模块可以确定并输出眼睛跟踪信息，诸如例如眼睛的位置、取向、移动、注视方向和注视点。眼睛跟踪模块还可以接收后续深度信息（例如，静止和/或动画的深度图）以跟踪眼睛随时间的移动。此外，在一些实施例中，眼睛跟踪模块可以确定转向（vergence）的存在，转向是指在聚焦期间用户的瞳孔朝向或远离彼此的同时移动。
图2D示出了根据一些实施例的示例电子系统200D的应用。电子系统200D可以是图1C-1E的电子系统100C-100E和图2C的电子系统200C的任何或其组合的实施例。如图2D中所示，电子系统200D包括显示器202、显示像素和/或显示子像素222、以及相机204A和204B。
在图2D中，用户的眼睛224A和224B中的每一个正在观看不同的注视点。更具体地，用户的眼睛224A正在观看注视点227A（或显示像素和/或显示子像素222''），并且用户的眼睛224B正在观看注视点227B（或显示像素和/或显示子像素222'）。此外，用户的注视方向226A和226B交叉。当眼睛跟踪模块检测到用户的注视方向交叉时，眼睛跟踪模块可以确定用户具有内斜视，内斜视是其中用户的眼睛中的一只或两只朝内转动使得用户看起来“斗鸡眼”的情况。在内斜视损害用户清楚地看到显示器202的能力的情况下，眼睛跟踪模块可以触发显示器202以修改显示在显示器202上的视觉信息，使得用户可以更清楚地看到视觉信息。换句话说，显示器202可以在向用户显示视觉信息的同时充当校正透镜。
图2E示出了根据一些实施例的示例电子系统200E的应用。电子系统200E可以是图1C-1E的电子系统100C-100E以及图2C和2D的电子系统200C和200D中的任何或其组合的实施例。如图2E中所示，电子系统200E包括显示器202、显示像素和/或显示子像素222、以及相机204A和204B。
在图2E中，用户的眼睛224A和224B中的每一个正在观看不同的注视点。更具体地，用户的眼睛224A正在观看注视点227A（或显示像素和/或显示子像素222'），并且用户的眼睛224B正在观看注视点227B（或显示像素和/或显示子像素222''）。与图2D不同，图2E中的用户的注视方向226A和226B不是交叉的，并且代替地是分叉（diverge）的。当眼睛跟踪模块检测到用户的注视方向226A和226B分叉时，眼睛跟踪模块可以确定用户具有外斜视，外斜视是其中用户的眼睛朝外偏离的情况。在一些情况下，外斜视可能导致弱视（弱视眼（lazyeye））。在外斜视损害用户清楚地看到显示器202的能力的情况下，眼睛跟踪模块可以触发显示器202以修改显示在显示器202上的视觉信息，使得用户可以更清楚地看到视觉信息。换句话说，显示器202可以在向用户显示视觉信息的同时充当校正透镜。
图3A示出了根据一些实施例的示例电子系统300A。如图3A中所示，电子系统300A包括显示器302和相机304。电子系统300A可以是图1A和1B电子系统100A和100B以及图2A和2B的电子系统200A和200B的任何或其组合的实施例。因此，显示器302可以分别是图1A-1B和图2A-2B的显示器102和202的实施例。此外，相机304可以分别是图1A-1B和图2A-2B的相机104和204的实施例。显示器302可包括多孔显示器（诸如OLED显示器或micro-LED显示器），其在显示像素和/或显示子像素（为清楚起见，未示出显示像素和显示子像素）之间包含孔或间隙。相机304设置在电子系统300A的中心附近、显示器302下。取决于相机304和用户的眼睛之间的距离，相机304可以具有足够宽的FOV来观看用户的眼睛中的一只或两只。此外，相机304可以能够支持眼睛跟踪。
在操作期间，用户可以将电子系统300A保持在用户的手中或将电子系统300A放置在支架上，同时用户看显示器302。因为相机304设置在显示器302的中心中，所以相机304可以能够观看用户的（一只或一对）眼睛的全部区域。结果，电子系统300A可以能够更准确地确定用户的（一只或一对）眼睛相对于显示器302的位置和/或取向，这可以增强眼睛跟踪。电子系统300A可以以类似于图1A和1B的电子系统100A和100B以及图2A和2B的电子系统200A和200B的任何或其组合的方式的方式执行眼睛跟踪。
图3B示出了根据一些实施例的示例电子系统300B。电子系统300B可以是电子系统100C-100E和200C-200E的任何或其组合的实施例。如图3B中所示，电子系统300B包括显示器302以及相机304A和304B，其设置在电子系统300B的相对端附近。相机304A和304B可以是图3A中的相机304的实施例。在一些方面，相机304A和304B可以设置在显示器302下，这可以在用户观看显示器302时向相机提供用户的（一只或一对）眼睛的全视图。此外，因为电子系统300B包括两个相机，所以电子系统300B可以被配置成经由立体视觉而支持深度感测。更具体地，电子系统300B可以被配置成感测关于用户的（一只或一对）眼睛的深度信息以进行眼睛跟踪。在操作期间，电子系统300B可以以类似于图1C-1E的电子系统100C-100E以及图2C-2E的电子系统200C-200E的任何或其组合的方式的方式来执行眼睛跟踪。
图4A示出了根据一些实施例的示例HMD 400A。如上所指出的，HMD是佩戴在用户的头部上或附接到用户的头部的电子显示器。如图4A中所示，HMD 400A包括壳体420、透镜418A和418B以及显示设备430。显示设备430可以是图1A和1B的电子系统100A和100B、图2A和2B的电子系统200A和200B以及图3A的电子系统300A的任何或其组合的实施例。此外，显示设备430可以包括设置在显示器402后面的相机404。显示器402可以分别是图1A-1B、2A-2B和3A的显示器102、202和302的实施例。此外，相机404可以分别是图1A-1B、2A-2B和3A的相机104、204和304的实施例。显示器402可以定位成距透镜418A和418B距离D1。距离D1可以是固定的或可调节的，并且可以准许相机404在眼睛跟踪期间观看用户的眼睛424A和424B中的任一只或两只。
如上所讨论的，本公开的方面认识到，在相机设置在电子系统（或显示设备）的显示器后面、具有用户的眼睛区域的全视图情况下，眼睛跟踪被增强。因此，将显示器和相机定位成更靠近用户的眼睛可以进一步改进眼睛跟踪。为了实现显示器和相机之间的这种关系，显示设备430可以耦合到HMD 400A，如图4A中所示。增强的眼睛跟踪可以提高用户免提地与显示设备430交互的能力，并且可以在涉及例如虚拟现实、增强现实和/或混合现实的各种应用中被利用。
在操作期间，用户428可将HMD 400A放置在用户的头部上或紧靠用户的头部，使得用户的眼睛424A和424B分别看穿（peer through）透镜418A和418。可以如上面参考图1A、1B和/或1E所描述的那样执行眼睛跟踪。
图4B示出了根据一些实施例的示例HMD 400B。HMD 400B可以分别是图1E和4A的电子系统100E和/或HMD 400A的实施例。此外，图4B的显示设备430可以是图1C-1E的电子系统100C-100E、图2C-2E的电子系统200C-200E以及图3B的电子系统300B的任何或其组合的实施例。如图4B中所示，HMD 400B包括壳体420、透镜418A和418B以及显示设备430。与图4A的HMD 400A不同，HMD 400B包括两个相机—相机404A和404B，相机404A和404B间隔距离D2，并且可以是图4A的相机404的实施例。在一些实施例中，可以选择距离D2，使得相机404A和404B分别与透镜418A和418B对准。在眼睛跟踪期间，这样的对准可分别为相机404A和404B提供用户的眼睛424A和424B的直接视图或全视图。可以如上面参考图1C-1E、2C-2E和3B所描述的那样执行眼睛跟踪。
图5示出了根据一些实施例的示例电子系统500的横截面。如图5中所示，电子系统500包括显示层502、光源516和相机模块542。电子系统500可以是图1A和1B的电子系统100A和100B、图2A和2B的电子系统200A和200B、图3A的电子系统300A和图4A的显示设备430的任何或其组合的示例实施例。
显示层502可以包括多孔显示器（诸如OLED显示器或micro-LED显示器）的多个层。如图5中所示，显示层502可以包括显示表面532和发射层522。在一些实施例中，发射层522可以包括多个显示像素和/或显示子像素，其中，在显示像素和/或显示子像素的每个之间具有孔、间隙或空的空间（示为竖直线的孔、间隙和/或空间）。在一些实施例中，显示层502中的至少一个可以包括被配置成透射来自对象或场景的光的透明层。
在一些实施例中，光源516可以定位成邻近显示层502。例如，光源516可以设置在显示层502下、与显示层502相同的平面中、电子系统500的边框中或其任何组合中。光源516可以被配置成照亮正在被成像的对象或场景。例如，光源516可以包括被配置成使用IR（例如，NIR和/或SWIR）和/或可见光（例如，红光）照亮对象或场景的LED或（一个或多个）显示像素和/或（一个或多个）显示子像素（例如，在发射层522中）。
如图5中所示，相机模块542设置在显示层502之下，并包括相机504、光学过滤器534和透镜518。相机504可以是图1A-1B、2A-2B、3A和4A的相机104、204、304和404的实施例。此外，相机504可以被配置成用于宽范围成像，其中对象或场景被近距离或远距离成像。相机504还可以被配置成快速感测诸如眼睛、手指、手部和头部之类的对象。在一些实施例中，相机504可以被配置成在多个模式下工作，诸如用以支持环境光感测（ALS）功能的低功率模式。
光学过滤器534设置在相机504和透镜518之间。光学过滤器534可以被配置成反射和/或阻挡特定波长的光（例如，UV光、可见光、中IR（mid-IR）波长、NIR和/或SWIR），使得特定波长的光不干扰相机504。在一些实施例中，光学过滤器534可以包括双波段光学过滤器，其被配置成阻挡除IR（例如，NIR和/或SWIR）和/或红光之外的所有波长的光。透镜518可以是被配置成将通过显示层502的光聚焦到相机504的光学透镜或透镜的组件。
在操作期间，光源516可以照亮电子系统500前面的对象（例如，用户的眼睛）或场景。例如，光源516可以发射IR光，并且该IR光的至少一部分可以从对象或场景反射出并作为例如反射光510（R）而行进回朝向电子系统500。如图5中所示，反射光510（R）在其通过显示表面532和发射层522时可折射或弯曲。在发射层522中，反射光510（R）中的一些可以被发射层522的显示像素和/或显示子像素遮挡，但是反射光510（R）中的至少一些可以通过显示像素和/或显示子像素之间的孔或空的空间。然后，剩余的反射光510（R）行进穿过剩余的显示层502、透镜518和光学过滤器534而到达相机504。相机504可以捕获反射光510（R）作为图像。
本公开的方面认识到，通过将相机504设置在显示层502之下，由相机504捕获的图像可以包括“屏幕门效应”、噪声、失真、干扰或由显示层502中的遮挡引起的其他伪影。此外，所捕获的图像可包括诸如眼睫毛或眼睑之类的特征，所述特征可通过模糊用户的瞳孔、虹膜或其他眼睛特征来阻碍眼睛跟踪。如下面更详细地描述的，图像过滤器（例如，神经网络模型或其他算法，为简单起见未示出）可用于对这样的干扰、失真或特征进行过滤。一旦捕获的图像被过滤，其可以被转移到例如眼睛跟踪模块（为了简单起见未示出）或其他模块以用于进一步处理。眼睛跟踪模块可以分析经过滤的图像以检测用户的至少一只眼睛。眼睛跟踪模块还可以确定并输出眼睛跟踪信息，诸如眼睛的位置、取向、移动、注视方向和注视点。眼睛跟踪模块还可以从相机504接收后续图像（例如，静止图像和/或视频），以跟踪眼睛随时间的移动。
图6示出了根据一些实施例的示例电子系统600的横截面。电子系统600可以是图1C-1E的电子系统100C-100E、图2C-2E的电子系统200C-200E、图3B的电子系统300B、图4B的显示设备430和图5的电子系统500中的任何或其组合的实施例。如图6中所示，电子系统600包括显示层602、光源616和相机模块642。显示层602可以是图5中显示层502的实施例。显示层602可以包括显示表面632和发射层622。显示表面632可以是图5中显示表面532的实施例，发射层622可以是图5中发射层522的实施例。相机模块642可以是图5中相机模块542的实施例。相机模块642可以包括透镜618A和618B、光学过滤器634A和634B、以及相机604A和604B。透镜618A和618B中的每一个可以是图5的透镜518的实施例，光学过滤器634A和634B中的每一个可以是图5的光学过滤器534的实施例。此外，相机604A和604B中的每一个可以是图5中相机504的实施例。因为电子系统600包括两个相机，所以相机604A和604B可以被配置成支持深度感测以增强眼睛跟踪。深度感测的分辨率可以取决于相机604A和604B之间的分开距离D。换句话说，距离D越大，可以从相机604A和604B导出的深度信息的量越大。光源616可以是图5的光源516的实施例。
在操作期间，光源616可以发射光以照亮相机604A和604B前面的对象或场景。在一些实施例中，由光源616发射的光可以被调制或编码。场景中的对象（例如，用户的（一只或一对）眼睛）可以将光的至少一部分例如作为反射光610（R）（1）和610（R）（2）而反射回朝向显示表面632。反射光610（R）（1）和610（R）（2）中的一些可以被发射层622中的显示像素和/或显示子像素遮挡，而反射光610（R）（1）和610（R）（2）的其余部分通过显示像素和/或显示子像素之间的孔或间隙，并分别被相机604A和604B检测（孔、间隙和/或空间示出为发射层622中的竖直线）。相机604A和604B中的每一个可以捕获其各自的反射光作为单独的图像，并且这些图像可以被转移到图像过滤器。如上文关于图5所述，图像过滤器（例如，神经网络模型或其他算法，为简单起见未示出）可以去除图像中的噪声、干扰或失真。然而，与图5不同，电子系统600可以被配置成支持深度感测。结果，经过滤的图像可被转移到深度图生成器，深度图生成器可组合图像并提取关于图像中的对象的深度信息以用于深度感测。深度信息可以作为深度图输出。随后，可以将深度图转移到眼睛跟踪模块或其他模块以进行进一步处理。眼睛跟踪模块可以分析深度图以检测用户的至少一只眼睛。眼睛跟踪模块还可以确定并输出眼睛跟踪信息，所述眼睛跟踪信息可以包括例如眼睛的位置、取向、移动、注视方向和注视点。眼睛跟踪模块还可以接收后续深度图（例如，静止和/或动画的深度图）以跟踪眼睛随时间的移动。
图7A示出了根据一些实施例的示例电子系统700A的横截面。电子系统700A可以是图1C-1E的电子系统100C-100E、图2C-2E的电子系统200C-200E、图3B的电子系统300B、图4B的显示设备430、图5的电子系统500以及图6的电子系统600中的任何或其组合的实施例。如图7A中所示，电子系统700A包括显示层702、相机模块742和相机组件750。
显示层702可以包括多孔显示器（诸如OLED显示器或micro-LED显示器）的多个层，并且显示层702包括显示表面732和发射层722。显示层702可以是图5和图6的显示层502和/或602的实施例，发射层722可以是图5和图6的发射层522和/或622的实施例，并且显示表面732可以是图5和6的显示表面532和/或632的实施例。
相机模块742包括相机704A、光学过滤器734A和透镜718A。相机模块742可以是图5和图6的相机模块542和/或642的实施例。相机704A可以是图5的相机504和/或图6的相机604A和604B的实施例。光学过滤器734A可以是图5的光学过滤器534和/或图6的光学过滤器634A和634B的实施例。透镜718A可以是图5的透镜518和/或图6的透镜618A和618B的实施例。
相机组件750包括光源716、反射器738、透镜718B、相机704B、接近传感器740和壳体720。此外，长度L1是如从第一表面746处的壳体720的顶部到接近相机704B的壳体720的基部测量的壳体720的长度。在一些实施例中，使壳体720的长度L1最小化可能是有利的。此外，虽然长度L1看起来短于长度L2（其跨越显示层702和相机模块742的长度），但L1可以是短于、等于或长于长度L2的几乎任何长度。此外，尽管相机组件750示出为邻近显示层702和相机模块742，但在实际实现方式中，部件（未示出）可将相机组件750与显示层702和相机模块742分开。
光源716设置在壳体720内侧，并且可以包括LED、垂直腔面发射激光器（VCSEL）、激光二极管或能够发射IR光谱（例如，NIR和/或SWIR）和/或可见光谱中的波长的光的其他光源。因为光源716定位在壳体720内，所以电子系统700A可以不需要在显示表面732或显示层702的边框中的额外凹槽或切口来容纳光源716。此外，因为光源716设置成靠近显示层702，所以当用户观看显示表面732时，从光源716发射的光可以完全照亮用户的眼睛区域。因此，电子系统700A中的光源716的配置可以为眼睛跟踪提供增强的照明。
反射器738被配置成将由光源716发射的光710反射离开相机704B，并将可见光744从透镜718B透射到相机704B。在一些实施例中，反射器738可以包括反射平面、二向色（dichroic）反射器和/或二向色镜。在其他实施例中，反射器738可以包括分束器。
透镜718B是光学透镜或透镜的组件。透镜718B可以被配置成将透镜718B前面（即，壳体720的外侧）的可见光744透射到相机704B，并且将可见光744聚焦到相机704B上。透镜718B还可以被配置成将透镜718B前面的IR光透射到接近传感器740。此外，透镜718B可以被配置成透射由光源716发射并由反射器738反射的光710。
相机704B可以包括有源像素传感器或光电传感器的阵列（例如，光电二极管、CMOS图像传感器阵列、CCD阵列和/或能够检测可见光谱、IR光谱或UV光谱中的波长的光的任何其他传感器）。在一些方面，相机704B可以被配置成检测可见光。在一些其他方面，相机704B可以被配置成在光源716发射IR光710的同时检测可见光744。在另外其他方面，相机704B可以被配置成执行宽范围成像，其中对象或场景被近距离或远距离成像。
光学过滤器734B设置在相机704B和透镜718B之间。光学过滤器734B可以是IR截止过滤器。光学过滤器734B可以被配置成反射和/或阻挡（例如，中IR波长、NIR和/或SWIR）波长的光，使得IR光不干扰相机704B。
接近传感器740可以包括有源像素传感器或光电传感器的阵列（例如，光电二极管、CMOS图像传感器阵列、CCD阵列和/或能够检测可见光谱、IR光谱和/或UV光谱中的波长的光的任何其他传感器）。此外，接近传感器740可以被配置成检测由光源716发射的IR光710的反射，以快速感测电子系统700A附近的对象（例如，眼睛、手指、手部和头部）。
壳体720可包括围绕透镜718B并包围光源716、反射器738、光学过滤器734B和相机704B的结构。
在操作期间，光源716可以发射例如IR光710，所述IR光710从反射器738反射出并通过透镜718B。如上所指出的，当用户观看显示表面732时，IR光710可以完全照亮用户的眼睛。用户的眼睛可以将IR光710的至少一部分例如作为反射光710（R）而反射回朝向显示层702。反射光710（R）中的一些可以通过显示层702、透镜718A和光学过滤器734A，由相机704A检测，并作为图像捕获。在一些实施例中，基本上在光源716发射IR光710的同时，相机704B可以检测从用户的眼睛或场景中的其他对象反射出的可见光744（例如，来自太阳或另一光源），并捕获图像中的可见光744。由相机704A和704B捕获的图像可用于眼睛跟踪。此外，由于在捕获图像时光源716以及相机704A和704B可以定位在用户的视线内或附近，因此图像可以以高精度描绘用户的眼睛相对于显示表面732的位置和/或取向。因此，所捕获的图像可以促进更准确的眼睛跟踪。
图7B示出了根据一些实施例的示例电子系统700B的横截面。电子系统700B可以是图1C-1E的电子系统100C-100E、图2C-2E的电子系统200C-200E、图3B的电子系统300B、图4B的显示设备430、以及图6和7A的电子系统600和700A的任何或其组合的实施例。如图7B中所示，电子系统700B包括显示层702、相机模块742和相机组件760。
相机组件760包括光源716、光导752、透镜718B、相机704B、光学过滤器734B和壳体720。在一些实施例中，相机组件760可进一步包括附加光源、漫射（diffuse）表面、微透镜、环境传感器和/或接近传感器。
光源716可以耦合到光导752并被配置成发射IR光710。光源716可以包括LED、VCSEL、激光二极管或能够发射可见光谱和/或IR光谱（包括但不限于NIR或SWIR）中的波长的光的其他光源。因为光源716定位在光导752内，所以电子系统700B可以不需要在显示表面732或显示层702的边框中的额外凹槽或切口来容纳光源716。此外，因为光源716设置成靠近显示层702，所以当用户观看显示表面732时，从光源716发射的光可以完全照亮用户的眼睛区域。因此，电子系统700B中的光源716的配置可以为眼睛跟踪提供增强的照明。
光导752可以被配置成将IR光710引导出相机组件760。在一些方面，光导752可以包括透明材料，诸如透明聚碳酸酯。此外，光导752可以被配置成反射光。例如，在一些实施例中，光导752可以被配置成反射光，其中光导752的内表面（其可以包括壳体720的外表面）具有大于壳体720的内表面的折射率的折射率。作为另一示例，光导752可以被配置成反射光，其中光导752的内表面（其可以包括壳体720的外表面）包括反射表面，而壳体720的内表面包括暗表面或能够吸收可见光或IR（例如，NIR和/或SWIR）光的表面。在一些方面，光导752可以包括镜和/或反射器。此外，光导752可以耦合（例如，经由模制）到壳体720。
透镜718B是光学透镜或透镜的组件，其被配置成将可见光744从相机组件760的外侧透射到相机704B，并将可见光744聚焦到相机704B上。在一些方面，透镜718B可以包括丙烯酸。相机704B可以是图7A的相机704B的实施例。
光学过滤器734B设置在相机704B和透镜718B之间。光学过滤器734B可以包括IR截止过滤器。光学过滤器734B可以被配置成反射和/或阻挡IR波长的光（例如，中IR波长、NIR和/或SWIR）以使得IR光不干扰相机704B。
壳体720围绕透镜718B并包围光学过滤器734B和相机704B。如上所指出的，壳体720的内表面（例如，面向相机704B的壁）可包括暗表面或配置成吸收可见光或IR（例如，NIR和/或SWIR）光的表面。如图7B中所示，第一表面746由壳体720的顶部、透镜718B的顶部和光导752的顶部形成。此外，长度L1是如从第一表面746处的壳体720的顶部到接近相机704B的壳体720的基部测量的壳体720的长度。在一些方面，使壳体720的长度L1最小化可能是有利的。此外，虽然长度L1看起来短于长度L2（其跨越显示层702和相机模块742的长度），但L1可以是短于、等于或长于长度L2的几乎任何长度。
在操作期间，光源716可以发射IR光（例如，NIR和/或SWIR）710，该IR光710被引导通过光导752和第一表面746。IR光710可以在相机704A和704B前面照亮用户的眼睛。用户的眼睛可以将IR光710的至少一部分例如作为反射IR光710（R）而反射回朝向显示层702。反射IR光710（R）中的一些可以通过显示层702、透镜718A和光学过滤器734A，由相机704A检测，并作为图像捕获。在一些实施例中，基本上在光源716发射IR光710的同时，相机704B可以检测从场景中的对象反射出的可见光744（例如，来自太阳或另一光源），并捕获图像中的可见光744。由相机704A和704B捕获的图像可用于眼睛跟踪。此外，由于在捕获图像时光源716以及相机704A和704B可以定位在用户的视线内或附近，因此图像可以以高精度描绘用户的眼睛相对于显示表面732的位置和/或取向。因此，所捕获的图像可以提供更准确的眼睛跟踪。
图8示出了根据一些实施例的电子系统800的显示器。电子系统800可以是图1A-7B中的电子系统100A-300B、显示设备430和电子系统500-700B的任何或其组合的示例实施例。
电子系统800可以包括显示器802。显示器802可以是多孔显示器，包括但不限于OLED显示器或micro-LED显示器。换句话说，显示器802可以包括由孔、间隙或空的空间分开的显示像素和/或显示子像素（在图8中描绘为灰色矩形）。如图8中所示，显示像素和/或显示子像素的图案可以在显示器802的限定区域822A上变化。然而，本公开的方面认识到，图案可以在显示器802的更大区域822B和822C上重复。本公开的方面还认识到，由于在显示像素和/或显示子像素的图案方面的变化，捕获的图像中的失真可能出现随机和/或不一致。然而，通过将显示器下的光学感测元件（例如，图10的光学感测元件1004）与重复的像素图案对准，失真方面的变化将遍及每个光学感测元件而相同或基本相似。此外，可能期望从捕获的图像中滤除这些失真以执行眼睛跟踪。显示像素和/或显示子像素可以在形状和大小方面变化，并且其可以以行和列布置、以圆形配置布置、或以另一种配置布置。
图9示出了根据一些实施例的由设置在显示器下的相机捕获的示例图像900。图像900可以由设置在多孔显示器后面或下面的相机捕获，如例如图2A中所示，其中相机204在显示器202后面。如图9中所示，图像900包括由暗线和光点组成的网格—或者“屏幕门效应”。暗线对应于显示像素和/或显示子像素的图案，类似于图8中所描绘的显示像素图案。暗线由阻挡一些IR光通过显示器的显示像素和/或显示子像素产生。相比较，更明亮的点对应于显示像素和/或显示子像素之间的间隙或孔。明亮的点是由IR光通过显示器中的孔或间隙到下面的相机而产生的。
在一些实施例中，由显示器下的相机捕获的图像可以包括网格或屏幕门效应，其看起来好像显示器下的相机通过屏幕门的多层（或屏幕门的堆叠）正在同时成像，其中每个屏幕门层具有不同的间距（即孔尺寸或密度）。在这样的实施例中，IR光可以通过屏幕门层的显示像素和/或显示子像素之间的孔（或间隙）。此外，IR光的每个点水平和竖直地扩展到不同的位置中（即，作为点扩展函数），并且IR光的每个点遍及图像以类似的方式扩展，这可能导致显著的失真。如上所指出的，可能期望从捕获的图像中滤除这样的失真，以便将图像用于眼睛跟踪。
如图9中所示，图像900的部分被显示器的显示像素和/或显示子像素遮挡。换句话说，显示像素和/或显示子像素可以减少可用于感测的IR光的量，并有效地阻隔显示器下的相机的FOV。因此，可能期望对由显示器下的相机捕获的图像进行过滤，以消除屏幕门效应、干扰、失真或可能模糊用于眼睛跟踪的特征的其他伪影。
图10示出了根据一些实施例的显示像素和/或显示子像素1022（“显示像素1022”）和光学感测元件1004的示例布置1000。显示像素1022中的每一个可以是图2A-2E中的显示像素和/或显示子像素222和/或图5-7B中的发射层522、622、722中的显示像素和/或显示子像素的示例实施例。光学感测元件1004可以单独地或集体地是本文中描述的任何显示器下的相机（诸如图2A的相机204）的实施例。
在一些实施例中，显示像素1022可以是多孔显示器（诸如例如OLED显示器或micro-LED显示器）的部分。光学感测元件1004的每个可以包括例如NIR CMOS传感器，并且每个光学感测元件1004可以具有对应的微透镜1018。尽管在图10中仅示出了六个显示像素1022，但在实际实施例中，布置1000可以包括几乎任何数量的显示像素1022（例如，数百、数千、数百万或更多），以及对应数量的光学感测元件1004和微透镜1018。
在图10的示例中，显示像素1022可以与光学感测元件1004对准。在一些实施例中，光学感测元件1004中的每个可以与显示器的包含重复像素图案的区域（诸如图8的示例区域822B或822C）对准。由于对准，屏幕门效应或其他失真可以在由光学感测元件1004捕获的图像中表现为一致的或重复的图案。本公开的方面认识到，失真的重复图案可以更容易从捕获的图像中滤除。例如，神经网络模型可以更容易地被训练以识别图像中的重复图案，并且可以在图案重复时提供对屏幕门效应的更鲁棒的过滤。因此，经过滤的图像可用于检测和跟踪用户的眼睛。
图11示出了根据一些实施例的图像处理系统1100的框图。图像处理系统1100包括设备接口1110、处理器1120和存储器1130。出于本文中讨论的目的，图11中将处理器1120示出为耦合到设备接口1110和存储器1130。对于实际实施例，设备接口1110、处理器1120和/或存储器1130可以使用一个或多个总线（为了简单起见未示出）连接在一起。在一些实施例中，图像处理系统1100可以是图1A-3B的电子系统100A-300B、图4A和4B的HMD 400A和400B以及图5-8的电子系统500-800的任何或其组合的专用集成电路（ASIC）或其他集成电路（IC）。
设备接口1110可以向输入设备传送信号以及从输入设备接收信号，输入设备包括但不限于一个或多个相机（为了简单起见未示出）和/或显示器。在一些实施例中，设备接口1110可包括相机接口1114和1116（或用于图像处理系统1100的每个相机的接口）。每个相机接口1114和1116可用于与不同的相机通信。例如，第一相机接口1114可以向第一相机传送激活信号，并从第一相机接收传感器信息，以捕获对象或场景的图像。此外，第二相机接口1116可以向第二相机传送激活信号，并从第二相机接收传感器信息，以捕获相同对象和/或场景或者不同对象和/或场景的图像。在一些实施例中，设备接口1110可进一步包括显示接口1112。显示接口1112可用于与显示器通信和/或向图像处理系统1100的用户提供可视接口（为了简单起见未示出显示器）。
存储器1130可以包括图像缓冲器1131，以存储经由相机接口1114和/或1116接收的图像。存储器1130还可以包括可存储至少以下SW模块的非暂时性计算机可读介质（例如，一个或多个非易失性存储器元件，诸如EPROM、EEPROM、闪速存储器、硬盘驱动器等）：
·图像过滤SW模块1132（在本文中也称为“图像过滤器”），用于对经由相机接口1114和/或1116接收的图像进行过滤，图像过滤SW模块1132还包括：
o 神经网络模型1133，用于过滤、减少或消除来自经由相机接口1114和/或1116接收的图像的噪声或干扰；和
·眼睛跟踪SW模块1134（在本文中也称为“眼睛跟踪模块”），用于分析经由相机接口1114和/或1116和/或图像过滤SW模块1132接收的图像，以检测图像中的用户的至少一只眼睛，并且以确定包括眼睛的位置、取向、移动、注视方向和注视点的信息。眼睛跟踪SW模块1134还包括：
o 立体视觉子模块1035，用于从经由相机接口1114和1116接收的一对图像中提取深度信息。
每个SW模块包括指令，当该指令由处理器1120执行时使得图像处理系统1100执行对应的功能。
例如，处理器1120可执行图像过滤SW模块1132以对经由相机接口1114和/或1116接收的图像进行过滤。在执行图像过滤SW模块1132时，处理器1120可以使用神经网络模型1133或其他算法来过滤、减小或消除来自经由相机接口1114和/或1116接收的图像的噪声（诸如屏幕门效应）或干扰。
处理器1120可进一步执行眼睛跟踪SW模块1134以分析来自图像过滤SW模块1132的图像（或来自相机接口1114和/或1116的未经过滤的图像）。在执行眼睛跟踪SW模块1134时，处理器1120在一些方面可以使用神经网络模型或其他算法（为了简单起见未示出）来检测和跟踪用户的至少一只眼睛。此外，在执行眼睛跟踪SW模块1134时，处理器1120在一些方面可以使用立体视觉子模块1135来从经由相机接口1114和1116接收的一对图像中提取关于用户的（一只或一对）眼睛的深度信息。如上所指出的，眼睛跟踪SW模块1134可以确定诸如一只眼睛的（或一对眼睛的）位置、取向、移动、注视方向和注视点之类的信息，以用于眼睛跟踪。
图12示出了根据一些实施例的说明性流程图，其描绘了用于使用显示器下的相机进行眼睛跟踪的示例方法1200。方法1200可以由图1A-3B的电子系统100A-300B、图4A和4B的HMD 400A和400B以及图5-8的电子系统500-800的任何或其组合来执行。
作为说明性示例，方法1200可由图1A的电子系统100A执行。电子系统100A可以接收由第一相机捕获的第一图像（例如，用户的眼睛的图像）（1210）。第一图像可以至少部分地基于由光源发射的光（例如，IR光、可见光和/或UV光）的反射。此外，反射可以被设置在第一相机前面的电子显示器部分遮挡。在一些方面，遮挡可以是电子显示器中的显示像素和/或显示子像素。在一些实施例中，电子系统100A可以通过两个或更多个相机捕获两个或更多个图像。
电子系统100A可以在部分遮挡的第一图像中检测用户的眼睛（1220）。电子系统100A可以使用例如眼睛跟踪模块来执行检测。在一些实施例中，电子系统100A可以通过图像过滤器处理来自一个或多个相机的图像，以至少部分地过滤、去除或消除来自图像的噪声或干扰。
电子系统100A可以确定眼睛相对于电子显示器的位置和/或取向（1230）。电子系统100A可以使用例如来自眼睛跟踪模块和/或图像过滤模块的数据来确定眼睛的位置和/或取向。此外，眼睛的位置和/或取向可以对应于用户的注视方向和/或注视点。在一些实施例中，电子系统100A可以使用来自两个或更多个相机的图像并针对用户的两只眼睛来确定用户的注视方向和/或注视点。
本领域技术人员将理解，信息和信号可以使用各种各样的不同技术和技艺中的任何来表示。例如，可以通过电压、电流、电磁波、磁场或磁粒子、光学场或光学粒子或其任何组合来表示可以在整个以上描述中引用的数据、指令、命令、信息、信号、比特、符号和码片（chip）。
另外，本领域技术人员将理解，结合本文中所公开的方面描述的各种说明性逻辑框、模块、电路和算法步骤可实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，上文已大体上在其功能性方面描述了各种说明性部件、框、模块、电路和步骤。这样的功能性是实现为硬件还是软件取决于特定应用及施加在整个系统上的设计约束。本领域技术人员可针对每个特定应用以变化的方式实现所描述的功能性，但这样的实现决策不应被解释为导致脱离本公开的范围。
结合本文中所公开的方面描述的方法、序列或算法可直接体现于硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可以驻留在RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中已知的任何其他形式的存储介质中。示例存储介质耦合到处理器，使得处理器可以从存储介质读取信息以及向存储介质写入信息。在备选方案中，存储介质可以与处理器构成整体。
在前述说明书中，已经参考实施例的具体示例描述了实施例。然而，将明显的是，在不脱离如所附权利要求书中阐述的本公开的更宽范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图被认为是以说明性的意义而不是限制性的意义。

Claims (24)

1.一种方法，包括：
接收由第一相机至少部分地基于由光源发射的光的反射而捕获的第一图像，其中所述反射被设置在所述第一相机前面的电子显示器部分遮挡；
在所述部分遮挡的第一图像中检测用户的第一眼睛；以及
确定所述第一眼睛相对于所述电子显示器的位置或取向。
2.根据权利要求1所述的方法，还包括：
从所述光源发射红外（IR）光，其中所述第一相机被配置成检测所述IR光。
3.根据权利要求1所述的方法，还包括：
从所述光源发射可见光，其中所述第一相机被配置成检测所述可见光。
4.根据权利要求1所述的方法，还包括：
确定所述第一眼睛的注视方向，其中所述注视方向对应于所述第一眼睛的所述位置或所述取向。
5.根据权利要求4所述的方法，还包括：
识别所述电子显示器的显示像素，其中所述显示像素与所述第一眼睛的所述注视方向或所述取向对准。
6.根据权利要求1所述的方法，还包括：
经由第一透镜聚焦由所述电子显示器发射的第一光；以及
经由第二透镜聚焦由所述电子显示器发射的第二光。
7.根据权利要求1所述的方法，还包括：
使用经训练以从所述电子显示器识别所述遮挡的神经网络模型来对所述第一图像进行过滤。
8.根据权利要求7所述的方法，还包括：
接收由靠近所述电子显示器的第二相机捕获的第二图像。
9.根据权利要求8所述的方法，还包括：
使用所述神经网络模型对所述第二图像进行过滤。
10.根据权利要求1所述的方法，还包括：
在所述部分遮挡的第一图像中检测所述用户的第二眼睛；以及
确定所述第二眼睛相对于所述电子显示器的位置或取向。
11.根据权利要求10所述的方法，还包括：
识别所述电子显示器的与所述第一眼睛的所述取向对准的第一显示像素；以及
至少部分地基于所述第二眼睛的所述取向来验证所述第一显示像素与所述第一眼睛的所述取向对准。
12.一种设备，包括：
电子显示器；
设置在所述电子显示器后面的第一相机，所述第一相机被配置成检测由光源发射的光的反射并至少部分地基于所述反射来捕获第一图像，其中所述反射被所述电子显示器部分遮挡；以及
眼睛跟踪模块，其被配置成在所述部分遮挡的第一图像中检测用户的第一眼睛，并确定所述第一眼睛相对于所述电子显示器的位置或取向。
13.根据权利要求12所述的设备，其中所述光源被配置成发射红外（IR）光，并且所述第一相机被配置成检测所述IR光。
14.根据权利要求12所述的设备，其中所述光源被配置成发射可见光，并且所述第一相机被配置成检测所述可见光。
15.根据权利要求12所述的设备，其中所述眼睛跟踪模块还被配置成确定所述第一眼睛的注视方向，所述注视方向对应于所述第一眼睛的所述位置或所述取向。
16.根据权利要求15所述的设备，其中所述眼睛跟踪模块还被配置成识别所述电子显示器的显示像素，所述显示像素与所述第一眼睛的所述注视方向或所述取向对准。
17.根据权利要求12所述的设备，还包括：
第一透镜，其被配置成聚焦由所述电子显示器发射的第一光；
第二透镜，其被配置成聚焦由所述电子显示器发射的第二光；以及
壳体，其将所述第一透镜耦合到所述第二透镜和所述电子显示器。
18.根据权利要求12所述的设备，还包括：
图像过滤器，其被配置成使用经训练以从所述电子显示器识别所述遮挡的神经网络模型来对所述第一图像进行过滤。
19.根据权利要求18所述的设备，还包括：
靠近所述电子显示器的第二相机，所述第二相机被配置成捕获第二图像。
20.根据权利要求19所述的设备，其中所述图像过滤器还被配置成使用所述神经网络模型来对所述第二图像进行过滤。
21.根据权利要求12所述的设备，其中所述眼睛跟踪模块还被配置成：
在所述部分遮挡的第一图像中检测所述用户的第二眼睛；以及
确定所述第二眼睛相对于所述电子显示器的位置或取向。
22.根据权利要求21所述的设备，其中所述眼睛跟踪模块还被配置成：
识别所述电子显示器的与所述第一眼睛的所述取向对准的第一显示像素；以及
至少部分地基于所述第二眼睛的所述取向来验证所述第一显示像素与所述第一眼睛的所述取向对准。
23.一种处理系统，包括：
处理器；以及
存储指令的存储器，所述指令在被所述处理器执行时使得所述处理系统：
接收由相机至少部分地基于由光源发射的光的反射而捕获的图像，其中所述反射被设置在所述相机前面的电子显示器部分遮挡；
在所述部分遮挡图像中检测用户的眼睛；以及
确定所述眼睛相对于所述电子显示器的位置或取向。
24.根据权利要求23所述的处理系统，其中所述指令的执行使得所述处理系统进一步：
从所述光源发射红外（IR）光，其中所述相机被配置成检测所述IR光。
CN202080084396.6A 2019-12-05 2020-11-06 用于眼睛跟踪的显示器下的图像传感器 Pending CN114730216A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/704,523 US11076080B2 (en) 2019-12-05 2019-12-05 Under-display image sensor for eye tracking
US16/704523 2019-12-05
PCT/US2020/059367 WO2021113017A1 (en) 2019-12-05 2020-11-06 Under-display image sensor for eye tracking

Publications (1)

Publication Number Publication Date
CN114730216A true CN114730216A (zh) 2022-07-08

Family

ID=76210764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080084396.6A Pending CN114730216A (zh) 2019-12-05 2020-11-06 用于眼睛跟踪的显示器下的图像传感器

Country Status (4)

Country Link
US (1) US11076080B2 (zh)
EP (1) EP4070179A4 (zh)
CN (1) CN114730216A (zh)
WO (1) WO2021113017A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11372478B2 (en) * 2020-01-14 2022-06-28 Htc Corporation Head mounted display
KR20220029310A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 이미지 센서, 이미지 센서를 포함하는 이미지 획득 장치 및 그것의 동작 방법
US11706520B2 (en) * 2020-10-12 2023-07-18 Qualcomm Incorporated Under-display camera and sensor control
US11633668B2 (en) * 2020-10-24 2023-04-25 Motorola Mobility Llc Eye contact prompting communication device
US11170540B1 (en) * 2021-03-15 2021-11-09 International Business Machines Corporation Directional based commands
JP2023016007A (ja) * 2021-07-20 2023-02-01 株式会社半導体エネルギー研究所 表示装置および電子装置
US11490035B1 (en) * 2021-11-18 2022-11-01 International Business Machines Corporation Dynamic activation of under-display camera
US20230260481A1 (en) * 2022-02-17 2023-08-17 Lenovo (Singapore) Pte. Ltd Device having a camera overlaid by display

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07246184A (ja) 1994-03-09 1995-09-26 Fuji Photo Optical Co Ltd 面順次式撮像装置
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
US7239909B2 (en) 2000-01-19 2007-07-03 Luminetx Technologies Corp. Imaging system using diffuse infrared light
US7357509B2 (en) 2003-04-28 2008-04-15 University Of Rochester Metrics to predict subjective impact of eye's wave aberration
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US20070057211A1 (en) 2005-05-25 2007-03-15 Karsten Bahlman Multifocal imaging systems and method
US8390671B2 (en) * 2006-05-25 2013-03-05 I2Ic Corporation Display with gaps for capturing images
US7714923B2 (en) 2006-11-02 2010-05-11 Eastman Kodak Company Integrated display and capture apparatus
JP5296218B2 (ja) 2009-09-28 2013-09-25 株式会社東芝 立体映像表示方法及び立体映像表示装置
WO2011047214A2 (en) 2009-10-14 2011-04-21 Optimum Technologies, Inc. Portable retinal camera and image acquisition method
US8749660B2 (en) 2010-03-24 2014-06-10 Fujifilm Corporation Image recording apparatus and image processing method
US9091903B2 (en) 2010-07-29 2015-07-28 Logitech Europe S.A. Optimized movable IR filter in cameras
US20120032875A1 (en) 2010-08-05 2012-02-09 Microvision, Inc. Scanned Image Projection System Employing Beam Folding Apparatus
KR101680762B1 (ko) 2010-10-29 2016-11-29 삼성전자주식회사 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
KR101632311B1 (ko) 2010-12-30 2016-06-22 삼성전자주식회사 패널 형태의 면 카메라, 이를 적용한 광 터치스크린 및 디스플레이 장치
KR20120080845A (ko) 2011-01-10 2012-07-18 삼성전자주식회사 광 감지 기능을 구비한 ｏｌｅｄ 디스플레이 장치
US9442346B2 (en) 2011-01-28 2016-09-13 Windy Place, Inc. Lighting and power devices and modules
CA2830492C (en) * 2011-03-31 2018-02-27 Smart Technologies Ulc Video conferencing display device
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US8842057B2 (en) 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
US8937646B1 (en) 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US10116919B2 (en) 2012-11-14 2018-10-30 Thomson Licensing Method and arrangement for estimating at least one cross-channel colour mapping model from an set of tuples of corresponding colours relative to at least two images
US9552064B2 (en) 2013-11-27 2017-01-24 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection
US9154697B2 (en) 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
US9921688B2 (en) 2014-03-04 2018-03-20 Qualcomm Incorporated Large area interactive display screen
US9454699B2 (en) 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
CN105093541A (zh) 2014-05-22 2015-11-25 华为技术有限公司 显示装置
CN105094307A (zh) 2014-05-23 2015-11-25 宇龙计算机通信科技(深圳)有限公司 一种具有前置摄像头的移动设备
US9638511B2 (en) 2014-08-08 2017-05-02 The Board Of Trustees Of The University Of Illinois Smart phone attachment for 3-D optical coherence tomography imaging
US9377623B2 (en) 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
WO2016064435A1 (en) 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
KR102309411B1 (ko) 2014-10-27 2021-10-06 엘지전자 주식회사 휴대 전자기기
US9791924B2 (en) 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
US10148918B1 (en) 2015-04-06 2018-12-04 Position Imaging, Inc. Modular shelving systems for package tracking
US10043282B2 (en) 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
EP3286914B1 (en) 2015-04-19 2019-12-25 FotoNation Limited Multi-baseline camera array system architectures for depth augmentation in vr/ar applications
CN107004130B (zh) 2015-06-18 2020-08-28 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块
US10237473B2 (en) 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
KR20180057668A (ko) * 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
US10523855B2 (en) 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
US10152121B2 (en) * 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
US10268884B2 (en) 2016-01-29 2019-04-23 Synaptics Incorporated Optical fingerprint sensor under a display
US10217439B2 (en) 2016-02-04 2019-02-26 Apple Inc. Electronic device with ambient light sensor system
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
CN109076147B (zh) 2016-03-23 2021-03-02 徐鹤菲 支持近红外光与可见光成像的复合成像系统和移动终端
US10311560B2 (en) 2016-09-07 2019-06-04 Huazhong University Of Science And Technology Method and system for estimating blur kernel size
US20180077437A1 (en) 2016-09-09 2018-03-15 Barrie Hansen Parallel Video Streaming
US20180157908A1 (en) 2016-12-01 2018-06-07 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze
US10120442B2 (en) 2016-12-21 2018-11-06 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
US10958841B2 (en) 2017-01-06 2021-03-23 Intel Corporation Integrated image sensor and display pixel
KR20180082698A (ko) * 2017-01-10 2018-07-19 삼성디스플레이 주식회사 표시 장치 및 그의 구동 방법
US10872272B2 (en) * 2017-04-13 2020-12-22 L'oreal System and method using machine learning for iris tracking, measurement, and simulation
US10567630B2 (en) 2017-05-12 2020-02-18 Microsoft Technology Licensing, Llc Image capture using a hinged device with multiple cameras
JP2018195985A (ja) 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
KR102192809B1 (ko) * 2017-07-07 2020-12-18 후아웨이 테크놀러지 컴퍼니 리미티드 카메라가 제공된 단말 및 그의 촬영 방법
WO2019045750A1 (en) 2017-09-01 2019-03-07 Magic Leap, Inc. DETAILED EYE SHAPE MODEL FOR ROBUST BIOMETRIC APPLICATIONS
US10609355B2 (en) 2017-10-27 2020-03-31 Motorola Mobility Llc Dynamically adjusting sampling of a real-time depth map
US10911656B2 (en) * 2017-11-21 2021-02-02 Microsoft Technology Licensing, Llc Optical isolation systems for displays
US11442539B2 (en) * 2018-01-24 2022-09-13 Apple Inc. Event camera-based gaze tracking using neural networks
US11514325B2 (en) 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network
US10534982B2 (en) 2018-03-30 2020-01-14 Tobii Ab Neural network training for three dimensional (3D) gaze prediction with calibration parameters
US10636340B2 (en) * 2018-04-16 2020-04-28 Facebook Technologies, Llc Display with gaze-adaptive resolution enhancement
US10776672B2 (en) 2018-04-25 2020-09-15 Avigilon Corporation Sensor fusion for monitoring an object-of-interest in a region
US10491885B1 (en) 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
US10606349B1 (en) * 2018-06-22 2020-03-31 Facebook Technologies, Llc Infrared transparent backlight device for eye tracking applications
CN109188711B (zh) 2018-09-17 2020-11-03 深圳奥比中光科技有限公司 屏下光学系统、衍射光学元件的设计方法及电子设备
US11589031B2 (en) 2018-09-26 2023-02-21 Google Llc Active stereo depth prediction based on coarse matching
US11301665B2 (en) 2019-02-20 2022-04-12 Novatek Microelectronics Corp. Fingerprint and proximity sensing apparatus and sensing process thereof
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor

Also Published As

Publication number Publication date
EP4070179A1 (en) 2022-10-12
US11076080B2 (en) 2021-07-27
WO2021113017A1 (en) 2021-06-10
US20210176383A1 (en) 2021-06-10
EP4070179A4 (en) 2023-12-20

Similar Documents

Publication Publication Date Title
US11076080B2 (en) Under-display image sensor for eye tracking
US10409057B2 (en) Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US11334154B2 (en) Eye-tracking using images having different exposure times
US10878236B2 (en) Eye tracking using time multiplexing
CN108700933B (zh) 能够进行眼睛追踪的可穿戴设备
JP2023543557A (ja) ニアアイディスプレイの光源を駆動する方法
KR102231910B1 (ko) 초점 이동에 반응하는 입체적 디스플레이
US11675432B2 (en) Systems and techniques for estimating eye pose
KR101990559B1 (ko) 고-분해능 주시 추적을 위한 시스템들 및 방법들
US11543883B2 (en) Event camera system for pupil detection and eye tracking
US10420464B2 (en) Gaze tracking system
US20140055342A1 (en) Gaze detection apparatus and gaze detection method
US11442542B2 (en) Systems and methods for eye tracking
CN113892254A (zh) 显示器下方的图像传感器
US11435577B2 (en) Foveated projection system to produce ocular resolution near-eye displays
KR20170094255A (ko) 가상 포커스 피드백
KR20240074755A (ko) 시선 방향 추적 방법 및 장치
US20210378509A1 (en) Pupil assessment using modulated on-axis illumination
US20210271317A1 (en) Bright pupil eye-tracking system
US20230393654A1 (en) Optical tracking including imaging-based angle sensitive detectors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination