CN111712781B - 具有硅光电倍增管传感器的高效的基于mems的眼睛追踪系统 - Google Patents

具有硅光电倍增管传感器的高效的基于mems的眼睛追踪系统 Download PDF

Info

Publication number
CN111712781B
CN111712781B CN201980012505.0A CN201980012505A CN111712781B CN 111712781 B CN111712781 B CN 111712781B CN 201980012505 A CN201980012505 A CN 201980012505A CN 111712781 B CN111712781 B CN 111712781B
Authority
CN
China
Prior art keywords
eye
user
tracking system
eye tracking
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980012505.0A
Other languages
English (en)
Other versions
CN111712781A (zh
Inventor
R·K·普里塞
臧凯
G·T·吉布森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN111712781A publication Critical patent/CN111712781A/zh
Application granted granted Critical
Publication of CN111712781B publication Critical patent/CN111712781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0437—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using masks, aperture plates, spatial light modulators, spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/4453—PMT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

眼睛追踪系统并入和/或使用一个或多个硅光电倍增管(SiPM)传感器和基于微机电(MEMs)的扫描仪的红外模块。该红外模块发射光子束，其中在使用该眼睛追踪系统时，光子中的至少一些光子被朝向用户的眼睛引导。(多个)SiPM传感器捕捉用户的眼睛发出的反射。

Description

具有硅光电倍增管传感器的高效的基于MEMS的眼睛追踪系统
背景技术
包括虚拟现实和增强现实系统的混合现实系统最近因其为用户创造身临其境的体验的能力而受到极大关注。传统的增强现实(AR)系统通过生成全息图，在用户的视线中绘出出现实世界的物体，从而使得创建增强现实场景。相比之下，传统的虚拟现实(VR)系统创造了更加沉浸式的体验，因为用户的整个视线被虚拟世界所遮挡。
如本文所使用的，AR和VR系统使用涵盖性术语“(多个)混合现实系统”进行互换描述和引用。除非特别说明或除非特别要求，如本领域技术人员所理解的那样，本文的描述同样适用于任何和所有类型的混合现实系统，包括AR系统、VR系统和/或能够向用户显示虚拟对象的任何其他类似系统。因此，从这点出发，本公开将使用术语混合现实系统来描述上述提到的任何系统。
值得注意的是，许多混合现实系统使用一个或多个体上设备，诸如头戴式显示器(以下简称“HMD”)，以针对用户绘出虚拟环境。硬件能力和绘出技术的不断进步极大地提高了混合现实环境中显示的虚拟对象的真实性，特别是在使用HMD的情况下。例如，当用户在混合现实会话中移动其头部时，绘出的混合现实环境会被自动更新，从而使得为用户提供混合现实环境中虚拟对象的正确视角和视图。
该技术领域的最新进展涉及使用眼睛追踪系统来追踪用户的眼睛的运动。因此，混合现实系统不仅可以响应用户的身体运动，而且还可以响应用户的眼睛运动。
然而，虽然目前这些新型的眼睛追踪技术都是可用的，但它们是严重缺乏的。特别是，现有技术的成本相当高，因为它通常需要在HMD上增加硬件(例如，专门的摄像头)来捕捉用户的眼睛运动。此外，这些摄像头被放置在离眼睛很近的地方，通常会阻挡用户的视场。而且，现有技术的不足之处在于，它消耗了大量的电池资源。因此，亟需改进HMD中使用的眼睛追踪技术。
本文所要求保护的主题并不限于解决任何缺点或仅在如上所述的环境中操作的实施例。相反，提供此背景仅是为了说明本文所述的一些实施例可在其中实践的一个示例性技术领域。
发明内容
所公开的实施例包括眼睛追踪系统和方法，例如但不限于低分辨率和低功耗的微机电(MEMs)眼睛追踪系统和使用方法，其并入硅光电倍增管(SiPM)传感器。这种MEMs眼睛追踪器可选择与可见光MEMS显示系统集成。此外，在一些实施例中，HMD眼动追踪设备被集成到显示器中，并且不会给用户提供附加的视觉障碍。
一些公开的实施例包括具有红外模块和一个或多个SiPM的眼睛追踪系统。首先，红外模块发射激光(例如，由光子束组成的光波)。当眼睛追踪系统被使用时，该激光的至少一部分(例如，至少一些光子)被朝向用户的眼睛引导。在激光被朝向用户的眼睛引导之后，然后SiPMs捕获所产生的反射。需要明确的是，反射由于激光最初照射到用户的眼睛上并从用户的眼睛上反射回来而出现。当激光在眼睛上光栅化时，每个激光位置的反射信号被SiPM接收，并可以用于生成眼睛的灰度图像。因为SiPM相对于红外模块和用户的眼睛被定位，所以它们能够充分捕获到这一反射信号。一旦该反射被捕获，用户的眼睛位置就被确定。
在一些实施例中，使用眼睛追踪系统来执行红外光的初始扫描，例如使用MEMs镜系统。然后，该红外光朝向正在使用眼睛追踪系统的用户的眼睛而被引导。随后，使用一个或多个SiPMs捕捉红外光的反射。值得注意的是，该反射由于红外光被朝向用户的眼睛引导并从用户的眼睛上反射而被生成。此后，测量SiPMs的电响应，并使用电响应生成用户的眼睛的图像。由于生成了多个眼睛图像，这些图像指示了眼睛在特定时间点的位置，因此，通过相互比较眼睛图像以确定多个图像之间的眼睛的三角位移，可以追踪用户的相对眼睛运动。
提供本概要是为了以简化的形式介绍选定的概念，这些概念将在下面的详细说明中被进一步地描述。本概要并不旨在确定所要求保护的主题的关键特征或基本特征，也不打算将其用作确定所要求保护的主题的范围的辅助工具。
附加特征和优点将在下面的描述中被阐述，并且根据描述，这些特征和优点在某种程度上是显而易见的，或者可以通过实践本文的教学而被了解到。本实施例的特征和优点可通过在所附权利要求中特别指出的仪器和组合物而被实现和获得。从下面的描述和所附权利要求书中，当前实施例的特征将变得更加完全地明显，或者可以通过实践下文所述的实施例来了解。
附图说明
为了描述可以获得上述及其他优点和特征的方式，将参照附图对各种实施例进行更具体的描述。应当理解的是，这些图示仅描述了示例性的实施例，因此不应被认为是对发明范围的限制，这些实施例将通过使用附图以附加特征和细节来描述和解释这些实施例，其中：
图1示出了用于提供包括硅光电倍增管(SiPM)传感器的、基于低分辨率和低功耗的微机电(MEMs)眼睛追踪系统的示例架构。
图2A和图2B展示了镜面反射和散射发射之间的差异。
图3示出了使用SiPM传感器来捕获从用户的眼睛发出的反射的示例数字转换器模块。
图4呈现了图形示值读数，其显示了由SiPM捕获的镜面反射和散射反射与由PIN结光电倍增管检测器捕获的镜面反射和散射反射之间的光电流相关性。
图5示出了另一示例数字转换器模块，该模块使用滤光器在该光到达SiPM传感器之前滤除不希望得到的的环境光和/或其他类型的光。
图6示出了另一示例数字转换器模块，该模块使用耦合电容器优选地锐化或增加SiPM传感器的脉冲响应。
图7示出了当使用耦合电容器和不使用耦合电容器时对SiPM传感器熄灭(quench)时间的影响的图形示值读数。
图8展示了当激光模块以脉冲模式或连续模式操作时，眼追踪系统可以操作。
图9示出了当激光模块以脉冲模式操作时，SiPM传感器的电响应可以同步采样。
图10显示当激光模块以连续模式操作时，那么可以根据确定的频率对SiPM传感器的电响应进行采样。
图11A、图11B和图11C示出了如何将SiPM传感器定位在HMD上的不同配置示例。
图12示出了可以用于追踪用户的眼睛运动的示例计算机系统。
图13提供了用于追踪用户的眼睛运动的示例方法。
图14提供了通过使用红外眼睛追踪系统来节省功率的示例方法。
图15提供了用于执行图14的示例方法中所述的节省功率的技术的附加示例。
图16示出了FOV显示的一个示例，其中FOV的一部分以较低的分辨率绘出，一部分以较高的分辨率绘出。
具体实施方式
本文所述的实施例中的至少一些实施例并入了低分辨率和低功耗的微机电(MEMs)眼睛追踪系统，该系统使用硅光电倍增管(SiPM)传感器。
所公开的实施例可以用于执行眼睛追踪。这一眼睛追踪可以针对用户的左眼、用户的右眼，或用户的左眼和右眼的组合而被执行。因此，实施例并不限于仅对单个眼睛进行追踪。然而，为了简洁起见，本公开将(从这一点出发)展示仅与单个眼睛相关的示例。这些示例仅用于说明目的，并且应当理解的是，这些原则同样可以应用于涉及一只以上眼睛的场景。
所公开的实施例可被实施以克服与追踪用户的眼睛相关的很多技术困难和计算费用。作为一个示例，所公开的实施例极大地改进了眼睛追踪技术，因为该实施例需要更少的硬件资源。举例说明，传统技术通常需要附加的和/或专门的眼睛追踪相机。因此，传统的眼睛追踪技术增加了HMD上硬件的数量。这样的硬件会消耗更多的电池资源，并给用户的头部带来更多的重量。此外，这种硬件往往回遮挡用户的一部分视场。相比之下，所公开的实施例由于使用较少的硬件而显著降低了电池消耗、生产成本、重量因素，并且可以与扫描MEMs系统的可见光显示系统集成。出于这些原因，所公开的实施例实际上改善了计算机系统的功能和操作。
所公开的实施例可以用于基于从所公开的眼睛追踪系统检测到或生成的模式执行虹膜身份认证，以及用于理解用户的目光、注意力或意图的一般性的眼睛追踪。
在刚刚描述了一些所公开的实施例的各种高级属性和优点之后，现在公开集中于图1，图1呈现了可以用于实践本文所公开原则的示例架构。在该主题之后，公开将集中于图2A至图11C。特别是，这些图说明了各种架构和支持性说明，这些架构和支持性说明展示了使用硅光电倍增管(SiPM)传感器并提供低分辨率和低功耗的MEMs眼睛追踪的多个实施例。在这些图之后，公开将转向图12，图12介绍了可以用于实践所公开的原理的示例计算机系统。最后，将介绍图13，该图说明了执行眼睛追踪的示例方法。
(多个)示例架构
图1显示了包括多个激光器105的眼睛追踪器系统100。为了说明，激光器105包括但不限于红外(IR)激光器和激光器105A、105B和105C。这些激光器105被配置为发射“激光”。所谓的“激光”，是指激光器105能够发射具有确定的波长并且由光子束组成的光波。因此，如本文所使用的，术语“激光”、“光波”和“光子束”是可互换的术语。
首先是IR激光器，IR激光器可以是发射红外光波的快速调制激光二极管。红外光波的波长从700纳米(nm)延伸至1000nm。相比之下，激光器105A、105B和105C是发射具有其他波长的光波的激光器。
作为示例，激光器105A可以是发射具有从约630nm延伸到约700nm范围之间波长的红色光波的激光二极管。激光器105B可以是发射具有从约500nm延伸至约535nm的范围之间波长的绿色光波的激光二极管。最后，激光器105C可以是发射具有从约430nm延伸至约465nm的范围之间波长的蓝色光波的激光二极管。因此，眼睛追踪器系统100可以包括如上所述的RGB(红、绿、蓝)激光二极管。还可将其他光谱的光用于RGB激光器，从而利用不同于上述所指定的范围。
尽管图1示出了将激光器105作为分离的二极管单元，但实施例并不只限于这样的配置。例如，激光器105A、105B和105C可以体现为集成二极管单元，而不是三个分离的二极管单元。该集成二极管单元也可以与分离的IR激光器组合操作。
备选地，所有的激光器105(即红外激光器、激光器105A、激光器105B和激光器105C)可以呈现出在单个集成二极管单元内，有或没有红外激光器。在此，该单个集成二极管单元能够动态调整其波长设置，从而使得改变其发射的光波的波长。因此，从这部分公开中可以看出，激光器105可以以各种不同的形式呈现。
接着，图1还示出了激光器105各自在发射激光。在图1中所示的场景中，每个激光最初通过准直光学器件(例如，准直器110)。通过介绍，准直器是一种透镜，它能减小由激光二极管发射的高度发散的光的发散角度。在这种情况下，光波的光线变得更加平行和/或彼此对齐。
图1示出了眼睛追踪系统100包括用于每个发射的光波的准直器。因此，准直器110缩小了发射的光波中的每个发射的光波的范围。在只有单个发射的光波的情况下，将只使用单个准直器。因此，在一些实施例中，准直器110的数量可以对应于发射的光波的数量。
备选地，可以使用单个准直器同时缩小多个光波。需要明确的是，在一些实施例中，图1中所示的四个准直器110实际上可以被单个准直器取代。这里，该单个准直器将被构造成能同时接收和缩小多个光波。以图1为例，单个准直器可以用于同时缩小由红外激光器、激光器105A、激光器105B和激光器105C发射的四个光波。
从红外激光器发射的光波被标记为红外光波115。类似地，从激光器105A、105B和105C发射的光波分别被标记为红色(R)、绿色(G)和蓝色(B)。如图所示，红外光波115以深色粗体格式被呈现，以强调其与本公开剩余部分中所讨论的示例特别相关。通过简单的介绍，其余的示例集中于使用红外光波115来追踪用户的眼睛。虽然剩余的示例集中于使用红外光波来追踪用户的眼睛，但实施例并不严格限于仅使用红外光波。
需要明确的是，也可以使用任何其他光波来追踪用户的眼睛。例如，红色激光、绿色激光、蓝色激光，或红外激光、红色激光、绿色激光和/或蓝色激光的各种组合也可以用于追踪用户的眼睛。然而，为了简洁起见，本公开的剩余部分着重于使用红外光波115来追踪用户的眼睛。再次重申，该实施例能够使用具有任何波长的光波来追踪用户的眼睛。它们不限于仅仅使用红外光波。
回到图1，眼睛追踪系统100与微机电(MEMs)扫描仪120集成。尽管激光器105被示出为单独的组件，但应当理解，激光器105也可以被视为MEMs扫描仪120的一部分。因此，眼睛追踪系统100能够利用MEMs扫描仪120的输出来追踪用户的眼睛。以这种方式，眼睛追踪功能与HMD的显示功能(例如，MEMs扫描仪120)被集成。因此，眼睛追踪器系统100能够使用许多现有的硬件组件，从而使得减少用于追踪用户的眼睛的硬件数量。
通过介绍，MEMs扫描仪120(即，MEMs镜系统)使用从激光器105A、105B和105C发射的RGB光来扫描应用的绘出像素。该光被从这些激光器扫描到用户的眼睛的某个区域。通过该扫描操作，MEMs扫描仪120能够绘出出用户可看到的图像。如图1中所示，该实施例还能够同时接收RGB光与红外光(如后面更详细描述的那样，对红外光进行子采样)，然后扫描RGB光以绘出一个或多个显示帧。
为此，MEMs扫描仪120可以包括振荡镜的集合。该集合中的一个或多个镜可以在第一方向上谐波振荡，以便快速扫描该第一方向上的光。当这些镜在第一方向上振荡时，一个或多个其它镜可以在与第一方向正交的第二方向上更缓慢地扫描。MEMs扫描仪120的其他实施例可以只包括一个扫描到用户的眼睛的图像的单一镜。无论其如何实现，MEMs扫描仪120利用各种光学器件来扫描从RGB激光器发射的RGB光，以便绘出的图像可供用户观看。
此时，值得注意的是，由MEMs扫描仪120生成的扫描图像的系统显示要求/设置与眼睛追踪器系统100的要求/设置有很大的不同，如下表1中包含的内容所示。首先，需要指出的是，数字转换器模块(将在后面讨论)用于生成用户的眼睛的图像。通过在一个时间段内生成多个眼睛图像，那么所公开的实施例能够检测眼睛的移动方式。以这种方式，每个图像对应于用户的眼睛在特定时间点的位置。进一步地，该实施例能够使用MEMs扫描仪120来更改其扫描，以便根据眼睛的当前位置绘出一个或多个显示帧。以这种方式，这些显示帧可以(1)包括和/或响应于眼睛的位置，并且(2)包括相对于用户的眼睛位置的显示分辨率(例如，执行视网膜凹式绘出)。需要明确的是，在某些情况下，将RGB光扫描到目标显示器包括视网膜凹式扫描/绘出。
基于这种理解，需要注意的是，用于眼睛追踪的眼睛图像的分辨率可以比MEMs扫描仪120用于图像绘出的显示图像的分辨率小得多(例如，小16倍)。因此，眼睛追踪图像的有效填充因子只是显示器填充因子的一小部分(例如，表1显示眼睛追踪器系统100的有效填充因子仅为6％，而显示器设置的填充因子为100％)。由于这种分辨率的差异，该实施例被配置为生成“子采样”的光波(例如，子采样的红外光)。
表1
需要明确的是，由于大幅度降低了眼睛追踪分辨率的要求，本实施例能够使一个或多个激光器105在未使用的水平扫描线间完全关闭和/或仅在主动成像像素时使激光器脉冲输出。因此，生成子采样的红外光的过程包括在未使用的水平扫描线间关闭红外激光器和/或使红外激光器脉冲输出(即红外光波115)。
如表1所示，所公开的实施例能够提供低功率和低分辨率的眼睛追踪系统(例如，该实施例能够实现至少85％的功率节省，并使用显著较低分辨率的眼睛图像进行操作)。因此，用于追踪用户的眼睛的图像的分辨率不必与扫描内容的分辨率相同。
基于这种理解，所公开的实施例中的一些实施例生成子采样的光波(例如，子采样的红外光)，并且使用这些子采样的光波生成用户的眼睛的较低分辨率图像，这些图像用于追踪用户的眼睛。由于该实施例使用较低分辨率的眼睛图像进行操作，因此该实施例显著降低了消耗功率。
如图1所示，眼睛追踪系统100还可以包括波导125。波导是一种限制光波传播的设备，使光波仅在一定方向上传输。波导是有用的，因为即使它们限制光波使其仅在一定方向上传播，光波也不会因为波导的结构方式而损失显著的图像质量。为了执行这一动作，波导可以使用衍射光学元件将光耦合到波导中，全内反射将信号光传输到波导的显示部分，以及衍射光学元件将光向用户的眼睛外耦合。
因此，在一些实施例中，来自激光器105的激光(即RGB光和/或红外光)从MEMs扫描仪120通过该波导125传递到对象/眼睛130。特别是，图1示出了MEMs扫描仪120以入射角θi将红外光波115(其可以是子采样的光波)传递到波导125。值得注意的是，由于MEMs扫描器120包括在各种不同方向上振荡的镜面，θi不会是一个恒定的角度。相反，为了正确地将图像扫描到用户的眼睛上，这一角度将会改变。
此外，如图1所示，波导125还可以用于将RGB光和子采样的红外光同时投射到用户的眼睛上。需要明确的是，在图1呈现的场景中，红外光波115是与RGB光同时被MEMs扫描仪120扫描的子采样的光波。然后，该RGB光和/或子采样的红外光波115通过波导125被朝向用户的眼睛(例如，对象/眼睛130)引导。
作为使用波导125的可选方案，一些实施例使用被定位在用户的眼睛前面的部分透明镜来将扫描光导到眼睛上。无论使用哪种实施方式，扫描光都可以直接照射到用户的眼睛上，而无需将扫描系统紧靠在用户的眼睛前面(这将会阻碍用户的视线)。
在此，应当理解的是，对象/眼睛130可以是任何对象，并且它不只限于眼睛。在眼睛追踪器系统100的上下文中，对象/眼睛130是用户的(多个)眼睛。然而，在其他上下文中，对象/眼睛130可以是眼睛以外的反射物体。
一旦子采样的红外光波115击中对象/眼睛130，那么将生成镜面反射和漫反射(如本文所使用的，“散射”和“漫射”是可互换的术语)。例如，将生成镜面反射(在图1中被标记为“镜面”)和一个或多个散射反射(被标记为“散射A”、“散射B”和“散射C”)。镜面反射对应于用户的眼睛的“闪光”，而散射反射对应于用户的虹膜信息。因此，这些反射也可以用来验证用户的虹膜。
暂时转到图2A和图2B，这些图展示了镜面反射和散射(也被称为“漫反射”)之间的差异。如图2A中所示，光的入射光线205可能以入射角θi击中表面(例如，眼睛)。当发生镜面反射时，那么反射的光线210将具有与θi相同的反射角θr。换句话说，对于镜面反射，θi＝θr。
相比之下，图2B显示了一种散射反射场景。这里，入射光线215以入射角(未标出)击中表面。然而，由于表面的特性，可能生成多个散射反射，其中每个散射反射具有不同于入射角的反射角。换句话说，θi≠θr，对于每个散射反射。多个可能的散射反射的一个被标记为散射反射220。
通常，镜面反射的强度将高于任何一个散射反射的强度。这方面将在后面更详细地讨论。此外，应当理解的是，镜面反射和多个散射反射的组合可以同时发生。
回到图1，在击中物体/眼睛130之后，子采样的红外光波115被反射，以这样的方式以便产生镜面反射和多个散射反射。如前所述，镜面反射的反射角θr等于红外光波115的入射角θi。值得注意的是，反射角θr也对应于红外光波115离开MEMs扫描仪120的入射角θi。该反射角也将根据MEMs扫描仪120的镜的振荡而变化。
图1还示出了由于反射的漫反射/散射光波(即散射A、散射B和散射C)在较大的角度子上扩散，镜面反射的强度高于漫反射/散射反射的红外光波的强度(即镜面线比散射A、散射B和散射C线更粗)。这是由线粗权重显示的。虽然图1只显示了三个散射反射，但我们会明白，任何数量的漫反射/散射反射都可能被生成。再次，值得一提的是，由于一些波导显示器的光对光效率可能很低，并且由于漫反射光以大角距散射，因此被呈现给SiPM探测器的总体信号功率和光子总数可能非常小。
一旦生成了镜面反射和散射反射，那么这些反射的至少一部分将被数字转换器模块135捕获。该数字转换器模块135可以以各种不同的方式配置，如后文所述。然而，不管它如何被实现，数字转换器模块135的结构是为了捕获由于红外光波115(其可以是子采样的)被引导到用户的眼睛上而从用户的眼睛上发出的一些反射。数字转换器模块135的一些实施例通过使用一个或多个硅光电倍增管(SiPM)传感器来捕获反射光(例如，光子)。
通过介绍，SiPM传感器是一种光电二极管传感器，其由于检测到光(例如，光子)而生成电响应。该电响应可以用于测量和表示检测到的光。下面将呈现关于SiPMs的更多细节。
数字转换器模块135用于捕获来自用户的眼睛的镜面反射和散射反射，以及生成电响应。该电响应被转换为数字信号。对该数字信号进行附加处理以生成用户的眼睛的图像，该图像包括该眼睛的位置信息。因此，当生成多个眼睛图像时，通过测量眼睛在多个图像的三角位移，检测用户的眼睛位置和运动。
现在注意图3，其示出了图1的数字转换器模块135的一个实施例。如图所示，数字转换器模块300用于捕获反射光波305。这些反射光波305是相对于图1而被描述的镜面反射和散射反射的示例。例如，反射光波305可以包括镜面反射、一个或多个散射反射，或者镜面反射和一个或多个散射反射的组合。值得注意的是，如前所述，这些反射光波305由于将一束光(例如，红外光束)照射到用户的眼睛上而被生成。
在图3中所示的实施例中，使用一个或多个硅光电倍增管(SiPM)传感器(例如SiPM传感器310)捕获这些反射光波305。SiPM传感器(例如，SiPM传感器310)是一种将光转化为电的电子设备。具体而言，SiPM传感器是一种能够在个体层面上检测光子的固态器件。它是建立在硅基板上的光敏PN结，并采用多个微单元以雪崩光电二极管的形式并联地电连接在一起。由于采用了雪崩光电二极管，SiPM在捕获光(例如，从用户的眼睛反射的反射光)时，能够以“雪崩模式”(更具体地说，是“盖革”模式(后面将详细介绍))操作。
SiPM传感器是模拟设备，因为尽管该设备被构造为以数字交换模式操作，但每个微单元的输出是以并行地方式读取的。SiPM传感器是特别有价值的，因为它们提供具有相对低电压输出的高增益信号。此外，它们还能提供非常快的响应。需要明确的是，SiPM传感器由于其快速雪崩过程和单个微单元的熄灭(下文将详细讨论)，无论信号强度如何，都能快速响应。这使得SiPM传感器能够以比标准大面积光电探测器高得多的调制频率和高得多的输出信号运行。此外，由于SiPM传感器包括多个检测器微单元，这些微单元并行激发(fire)/操作，因此SiPM传感器作为模拟器件，所产生的总光电流相当于以确定的频率对信号(例如，连续信号)进行采样，这就是模拟器件的操作方式。因此，以这种方式，SiPM传感器作为模拟器件操作。
由于SiPM传感器具有高增益，因此SiPM传感器的输出信号可以立即加载到柔性电路上，而不是必须首先通过附加的放大器(例如，跨阻抗放大器)。由于本实施例不需要将跨阻抗放大器紧挨着SiPM传感器放置(尽管如果需要的话，仍然可以使用跨阻抗放大器)，因此，与传统方法相比，本实施例简化了设计过程，并使眼睛追踪系统的功耗更低。由于红外激光通过波导显示器而被传输，因此整体组件对用户来说不太明显。
如上所述，光电倍增管(例如，SiPM)能够以“雪崩模式”操作。值得注意的是，雪崩模式实际上包括两种不同的模式，一种模式发生在击穿以下，另一种模式发生在击穿以上。击穿指的是光电倍增管的增益向无穷大发展的点。在大多数应用中，无限增益实际上是无法实现的。因此，定义了一个阈值(通常是一个电压值，或"电压击穿")以确定何时发生击穿。
发生在击穿之上的模式被称为“盖格模式”，这是SiPM传感器通常操作的模式。SiPM传感器能够以盖革模式操作，因为它是外部偏置的。如前所述，一个SiPM传感器包括许多并行操作的微单元。每个微单元都是一系列雪崩光电二极管和一个熄灭电阻的组合。由于这些微单元以并联方式连接，因此SiPM传感器包括阴极(例如，图3中所示的阴极315)和阳极(例如，阳极320)。由于外部偏置，雪崩光电二极管操作在击穿的上方，该击穿使SiPM传感器操作在盖革模式中。因此，作为以盖革模式操作的结果，SiPM传感器提供相对较高的增益。此外，增益与击穿之间的相关性通常是线性的。
由于SiPM传感器以盖革模式操作，因此存在与SiPM传感器的输出信号相关联的光学增益(即电响应)。该增益增加了输出信号的强度。增加信号强度可选择使用较小功率的以及制造成本较低的模数转换器(以下简称“ADC”)。因此，所公开的实施例显著降低了追踪用户的眼睛所需的功率。该实施例还显著地降低了制造成本，因为可以使用不太复杂(因此更便宜)的ADC。
回到图3，该图示出了数字转换器模块300包括如上所述的SiPM传感器310。此外，数字转换器模块300包括负载电阻325和ADC330，其测量/采样负载电阻325上的电压。换句话说，ADC330用于对SiPM传感器310的电响应进行采样。一些实施例还包括一个或多个模拟低通和/或高通滤波器，用于在ADC330对SiPM传感器310的电响应进行采样之前对该电响应进行滤波。(多个)滤波器高效地降低了信噪比并且改善了ADC330的输出。
以这种方式，所公开的实施例能够将光转换为电响应。事实上，通过测量镜面反射和散射反射，所公开的实施例能够生成电响应，然后该电响应可以用于生成用户的眼睛的图像。该图像捕获了用户的眼睛在特定时间点的位置。由于生成多个图像，那么该实施例能够通过确定眼睛在多个图像的三角位移来追踪用户的眼睛运动。
如图所示，一些实施例包括眼睛追踪系统，该系统包括红外模块(例如，图1所示的红外激光器)和一个或多个SiPM传感器(例如，图3所示的SiPM传感器310)。该红外模块能够发射光波(例如，光子束)，在某些情况下，该光波是子采样的红外光波。
该子采样的红外光波在使用眼睛追踪系统期间被朝向用户的眼睛引导。例如，可以通过使用图1中所示的波导125将该子采样的红外光波朝向用户的眼睛引导。此外，扫描子采样的光波的过程可以在包括一个或多个激光器的MEMs扫描器系统中执行。
此外，一个或多个SiPM传感器可以相对于红外模块并且相对于用户的眼睛定位，以便捕获从用户的眼睛发出的反射。在某些情况下，如前所述，由一个或多个SiPM传感器捕获的反射包括镜面反射、一个或多个漫反射/散射反射、或镜面反射和一个或多个散射反射的组合。然后，一个或多个SiPM传感器捕获这些反射并测量它们(例如，通过生成电响应)。
虽然图3示出了使用单个SiPM传感器、单个负载电阻和单个ADC的场景，但本文所公开的实施例并非限制于此。例如，该实施例能够支持多个SiPM传感器、多个负载电阻和多个ADC。每个ADC对应于一个SiPM传感器。以这种方式，单个ADC能够对来自单个SiPM传感器的电响应进行采样。此外，这种采样可以以确定的频率进行。在某些情况下，眼睛追踪系统还包括模拟低通滤波器，该模拟低通滤波器在ADC采样该响应之前对SiPM传感器的电响应进行滤波。这样的配置有利地降低了信噪比并提高了ADC的输出。
在存在多个SiPM传感器和多个ADC的情况下，每个ADC可以以唯一/不同的频率对其对应的SiPM传感器的电响应进行采样。因此，在一些实施例中，多个ADC的每个ADC以不同于其他ADC的频率对电响应进行采样。另外，ADC可以全部以相同的频率对各自的SiPM传感器进行采样。因此，图3中所示的描述仅用于说明目的，不应认为是对权利要求范围的限制。
一些实施例备选地或附加地包括PIN结检测器(以下简称“PIN PD”)。PIN PD是另一种类型的光检测设备。典型地，PIN PD不具有SiPM传感器的增益，以及检测到的光子被转换为电子。例如，由于通过波导的光强以uW级而被测量，而从眼睛反射出来并由PIN PD测量的光强在10-100nW范围内(由于PIN PD从眼睛上移开，PIN PD的面积相对较小)，来自PINPD的对应的输出电流级在10-100nA范围内，因此散射反射的光电流为nA级，镜面(即闪光)反射的光电流为μA级。当使用50欧姆的负载阻抗时(例如，为了避免大的RC电路延迟)，那么PIN PD的较小光电流可能需要放大1000倍用于散射反射，10倍用于镜面反射。进行这种放大是为了确保(PIN PD的)结果电压大于1mV，这样就可以将其正确的地加载到具有典型噪声特性的柔性电路上，从而使得ADC的采样不会出现较大的量化误差。虽然PIN PD具有较低的增益，但它们相当容易制造，并且可以以相对便宜的方式进行制造。
如前所述，散射反射的强度低于镜面反射的强度。因此，散射反射的测量光电流将低于镜面反射的测量光电流。图4提供了发生这种情况的示例。
特别是，图4示出了由SiPM传感器捕获的镜面测量和散射测量的测量光电流的图示。如图所示，散射测量比镜面测量低。此外，图4还显示了使用PIN PD时的镜面测量和散射测量的光电流。这里，该图说明了SiPM传感器和PIN PD之间的增益差异。如图所示，SiPM传感器的增益明显高于PIN PD的增益。
由于PIN PD的光电流相对较低，可使用附加的运算放大器来实现高增益带宽(例如，在18GHz范围内)，以提供70MHz范围内的大约60倍增益。然而，使用运算放大器有折衷，因为运算放大器的静态功率通常在约100mW范围内。进一步地，这些运算放大器的两个是串联的，从而使得充分放大PIN PD的nA电流水平以获得3,600倍的增益。由于所公开的实施例使用至少一些SiPM传感器操作，因此与仅使用PIN PD的系统相比，该实施例显著提高了眼睛追踪系统的电池寿命，通常如表2中所示的值。
表2
基于这种理解，所公开的一些实施例使用SiPM传感器和PIN PD的组合。在这些实施例中，PIN PD可以用于操作/测量镜面反射，其具有相对较高的强度(并且因此需要较少的增益放大)，而SiPM传感器可以用于操作散射反射，其具有相对较低的强度。因此，该实施例能够并入SiPM传感器的高增益优势来操作散射反射，以及并入PIN PD的低成本/易生产优势来操作镜面反射。
然而，应当理解的是，其他配置也是可用的。例如，一些SiPM传感器可以在镜面反射上操作，一些可以在散射反射上操作。此外，一些PIN PD可以在镜面反射和/或散射反射上操作。因此，这些实施例可导致SiPM传感器和/或PIN PD在不同类型的反射上操作。
现在转到图5，该图示出了图1的数字转换器模块135的另一示例实施例。为了说明，图5示出了数字转换器模块500，该模块包括许多与图3的数字转换器模块300相关讨论的相同组件。由于许多组件是相同的，因此将不重新标示常用组件。
与图3的数字转换器模块300相比，数字转换器模块500(其可以包括SiPM和/或PINPD)附加地包括滤波器505。该滤波器可以被构造为滤除不同波长的光波，这些光波与照明波长不同。作为第一个示例，滤波器505可以用于滤除不不需要的环境光510。当来自照明光源(或激光)的散射和镜面红外反射被允许通过滤波器505时，不不需要的环境光510被过滤掉，从而使得它不能到达SiPM传感器。以这种方式，所公开的一些实施例限制了到达SiPM传感器的光波的量。
除了过滤除不不需要的环境光510之外，滤波器505还可以附加地或备选地被构造成滤除其他光波。例如，滤波器505可以被构造成滤除来自扫描MEMs激光显示器的红光、绿光和/或蓝光。附加地或备选地，滤波器505可以被构造成滤除来自周围环境的在可见光谱中具有其他波长的光波。此外，滤波器505可以被构造成滤除具有位于红外波长光谱(或任何其他光谱)的特定部分内的波长的光波。因此，根据本公开，应当理解，滤波器505可以用于滤除任何类型的不不需要的光波。
如上所述，一些实施例包括滤波器505(例如，红外滤波器)。如图5所示，该滤波器505被布置在一个位置上，以便其能够在光到达SiPM传感器之前对光进行滤波。
现在将注意力转到图6，图6示出了数字转换器模块(例如图1的数字转换器模块135)的另一实施例。然而，在这里，数字转换器模块600包括第一负载电阻605、第一ADC610、耦合电容器615、与第一负载电阻605被并联放置的第二负载电阻620以及第二ADC625。当激光器以脉冲模式操作时，这样的配置是特别有益的，将在后面对此作更详细地描述。
SiPM传感器的一个优点是，它具有极窄的脉冲响应(例如，在15ns范围内)。该窄脉冲响应相当于发射像素的“熄灭时间”。如本文所使用的，“熄灭时间”是指重新充电和恢复SiPM传感器的单光子灵敏度所需的时间。
这里，如果SiPM传感器的电响应通过小电容(例如，耦合电容615)耦合，则可以实现更窄的脉冲(约1ns)，尽管在下一个脉冲之前具有与标准负载电阻相似的恢复时间。通过这种配置，第一负载电阻605上的信号(如由第一ADC610采样)和第二负载电阻620上的信号(如由第二ADC625采样)可以很容易地被集成和采样，这在检测脉冲激光时是有益的。
图7显示了两个负载电阻(即第一负载电阻605和第二负载电阻620)的熄灭时间的图示。这里，上图显示了第一负载电阻605的熄灭时间(即跨被放置在耦合电容器之前的负载电阻的响应)。底部图形显示了第二负载电阻620的熄灭时间(即跨被放置在耦合电容器之后的负载电阻的响应)。如上所述，虽然SiPM传感器的脉冲相当快(如上图所示)，但如果使用耦合电容器，则脉冲将更窄。这样一来，“复位”SiPM传感器所需的时间将被大大缩短。
现在将注意力集中到在脉冲模式和连续波模式下可选择性操作的实施例。参照图1，在某些情况下，所公开的实施例能够调整激光器105发射光波的方式，以能在脉冲模式或连续波模式下进行操作。因此，图8示出了一种眼睛追踪系统800，该系统被配置为以脉冲模式805或连续波模式810操作。
当在脉冲模式805中操作时，该实施例使激光器(例如，图1中所示的激光器105)发出光波脉冲，而不是发出连续波。图9示出了当激光器被配置为在脉冲模式805中操作时数字转换器模块的电响应图示。特别是，图9显示了三个周期(周期1、周期2和周期3)。椭圆905表明，该实施例能够在任何数量的周期内操作。
在周期1期间，激光器发出光波，数字转换器模块能够检测到第一个振幅峰值。在周期2期间，激光器不发射光波。因此，数字转换器模块不检测振幅峰值。最后，在周期3期间，激光器再次发出光波，并且数字转换器模块能够检测到第二个振幅峰值。
通过操作数字转换器模块与脉冲激光器相结合，数字转换器模块能够生成与激光器的脉冲对应的脉冲响应(例如，参见图9所示的脉冲响应)。通过将激光器的时钟与数字转换器模块(例如，具体地由ADC)执行的采样频率同步，本实施例能够获得特定位置的反射光波的强度。该位置对应于光波被MEMs扫描仪引导的位置。由于数字转换器模块采样的速率降低(例如，仅在周期1和3期间，而不是所有的周期)，那么，实施例能够保护系统的电池寿命。因此，一些实施例使激光器以脉冲模式运行，并且还使得数字转换器模块与激光器的脉冲频率被同步。
需要明确的是，从上述公开中应当理解，一些实施例使红外模块发射脉冲光子束，并使检测器和数字转换器模块(其包括一个或多个SiPM传感器)捕获脉冲光束反射。换句话说，因为入射光束是脉冲的，所以反射光束也将是脉冲的。当在脉冲模式下操作时，该实施例使用一个或多个ADC对SiPM传感器的电响应进行采样。进一步地，一个或多个ADC的采样频率与生成脉冲光波的频率同步。以这种方式，该实施例限制了ADC的带宽(如果使用了跨阻抗放大器，那么其带宽也是有限的)，以匹配激光器的调制频率。
因此，通过(1)生成子采样的光波，(2)在脉冲模式下操作激光器，使其仅在主动成像像素时发射光，以及(3)限制ADC(和跨阻抗放大器)的带宽以匹配激光器的调制频率，那么，与使用标准硅光电倍增管探测器的脉冲方式相比，该实施例能够将每个SiPM传感器的功耗降低多达200mW。此外，通过使用具有高增益的元件在脉冲模式下操作，该实施例降低了对ADC的操作要求。由于SiPM传感器提供了这种高增益，因此，当在脉冲模式下操作时，该实施例可以利用窄带ADC(以及跨阻抗放大器，如果需要的话)，从而使得提高系统的电池寿命。
一些实施例使激光器仅对应用所需的图像分辨率(例如，也许是250x250像素)而不是显示器的全分辨率/FOV(视场)进行脉冲。这样的配置可以节省激光器、ADC和SiPM的功率(因为当激光器不发光时，这些设备可以关闭，从而使得也节省了它们端的功率)。此外，激光器可以只对需要的像素列进行脉冲，而不是对所有的像素进行脉冲。
在一可选的实施方式中，眼睛追踪系统可以被配置为在图像的大区域中使用较低的分辨率和较低的功率技术的状态，而在图像FOV的其他部分中，使用全分辨率扫描技术，但仅用于图像中最重要的部分(例如，打开激光器并仅对那些重要的图像区域的SiPM输出进行过采样)(通常如图16中所示)。
在另一实施方式中，当激光器在脉冲期间被关闭或断电时，那么激光器、SiPMs和/或ADC的电源也被关闭或断电。在某些情况下，在不需要水平/垂直扫描消隐期，这些设备也被关闭或断电。通过关闭这些设备或使其断电，那么可以实现附加的功率节省。此外，ADC的示值读数和采样可以与激光脉冲同步。更进一步地，在消隐期(例如，垂直消隐期)期间，可以关闭ADC(或使其处于低功率状态)。
在一可选实施例中和/或在一可选时间，激光器可被配置为发射连续光子波(例如，在图8中示出的连续模式810中操作时)。如前所述，SiPM传感器作为模拟设备操作。因此，SiPM传感器也能够在连续光波上操作。这样的配置(1)提高了信号水平，降低了对电信号完整性问题的敏感性，并且(2)降低了功耗，因为SiPM传感器由于其具有高增益特性而提供了更高的信号强度。图10所示为一个操作示例。
这里，该图示出了以连续模式1000操作的数字转换器模块。虽然SiPM传感器的每个发射探测器单元具有与上述类似的熄灭时间，但由于SiPM传感器使用多个发射探测器单元，该SiPM传感器仍然可以作为模拟设备操作。这就出来了一个可以连续地以一定的频率对信号进行采样的设备，以便生成平滑的电响应1005线。值得注意的是，当实施例以连续模式1000操作时，ADC采样可以与眼睛追踪摄像机帧的分辨率成比例。因此，图10示出了SiPM传感器的电响应1005。这里，采样位置由多个点显示(例如，点1010是一个采样位置)。进一步地，划线箭头1015显示了ADC在对电响应1005进行采样时的采样频率。为了清楚起见，ADC在电响应1005上执行采样。
当SiPM传感器被用作模拟设备时，实施例还可以改善信噪比以解决高频采样峰值。例如，在某些情况下，该实施例对来自SiPM传感器的输出信号(由ADC)执行双频或多频采样(即过采样)。当输出信号被过采样时，那么该实施例还可以执行运行平均平滑操作以避免高频噪声的影响。附加地或备选地，一些实施例(如前面所讨论的)包括一个模拟低通滤波器，该滤波器在被ADC采样之前对SiPM传感器的电响应进行滤波。以这种方式，这些实施例为ADC提供高质量的信号以进行采样。因此，如上所述，该实施例还能够以连续模式操作。
在该理解的基础上，使用低通滤波器来对眼睛追踪图像进行滤波可以通过多种方式实现。例如，可以执行硬件滤波，其中附加的硬件滤波器与ADC一起使用。在这样的场景下，可以将附加的电容加到ADC的输入上，以平滑前面讨论的高频噪声的响应。附加地或备选地，可以执行软件滤波(例如，用相机图像信号处理单元)。为了说明，在执行眼睛位置计算之前，实施例能够运行“边缘保持滤波器”(例如，联合双边滤波器)以改善系统的信噪比。考虑到眼睛图像具有较低的图像分辨率，任何延迟都应该是非常低的，并且可以实时执行。
从上述公开可以明显看出，所公开的实施例能够使激光器发出连续光子光波，该光波在预定的持续时间内(例如，多微秒、多秒等)是连续的。该连续光波可以被引导，使其照亮人的眼睛。由于这种照明，也生成了连续波反射。然后，一个或多个SiPM传感器能够在使用眼睛追踪系统期间捕获该连续波反射。如前所述，该实施例能够使用MEMs扫描仪(包括激光器)扫描连续的子采样的光波。需要明确的是，当实施例以连续模式操作时，那么连续光波也可以是连续子采样的光波。
现在将注意力转到图11A至11C。特别是，这些图示出了可将SiPM传感器和PIN PD定位在HMD上的各种示例配置。
首先转到图11A，该图显示了HMD1100。在一些情况下，HMD1100是包括目标显示器的系统，在使用HMD1100期间，该目标显示器具有用户的眼睛可见的视场(FOV)。在一些情况下，HMD1100另外被配置为在目标显示器上生成绘出的图像，并且还对用户的眼睛进行成像。
图11A示出了HMD(例如，HMD1100A)的内部配置模式的第一实施例。特别是HMD1100A可以包括左眼显示器1105和右眼显示器1110。位于左眼显示器1105和右眼显示器1110周围的是多个SiPM传感器，这些传感器由圆圈表示。三角形代表PIN PD。在此示例配置中，共有16个光电倍增管(8个SiPM传感器和8个PIN PD)，它们以1:1的相互关系定位在眼睛显示器周围(即，一个SiPM传感器之后是一个PIN PD，之后是SiPM传感器，等等)。
图11B示出了另一具有不同配置的HMD1100B。这里，SiPM传感器与PIN PD是2:1的模式，即两个SiPM传感器之后是一个PIN PD，然后是两个SiPM传感器，等等。
图11C示出了另一种配置的HMD1100C。这里，SiPM传感器与PIN PD是3:1的模式，即三个SiPM传感器之后是一个PIN PD，然后是三个SiPM传感器，等等。
其他非限制性配置包括4:1、5:1、6:1的模式或任何其他类型的配置。此外，尽管上述配置是一些侧重于SiPM传感器数量较多的情况，但一些实施例可以包括更多的PIN PD。例如，一些实施例可以是每1个SiPM传感器对应2个PIN PD，而不是1个PIN PD对应2个SiPM传感器。进一步地，一些实施例可以是每1个SiPM传感器对应3个PIN PD。因此，从本公开中应当理解，这些实施例能够支持SiPM传感器和PIN PD的任何配置或模式。
值得注意的是，上述实施例重点关注的场景中，眼睛显示器的形状一般为平行四边形。因为这种形状，SiPM传感器和PIN PD也被组织为一般的平行四边形。然而，还设想了其他的实施例。例如，在某些情况下，SiPM传感器和PIN PD可以围绕平行四边形的眼睛显示器被组织为椭圆形状。在其他实施例中，眼睛显示器可以具有椭圆形状，并且SiPM传感器和PIN PD可以相对于彼此以椭圆形状被放置在眼睛显示器周围。因此，所公开的实施例支持SiPM传感器和PIN PD的任何类型的配置。
甚至进一步地，一些实施例仅包括SiPM传感器，从而使得不包括任何PIN PD。在这些实施例中，SiPM传感器被放置在眼睛显示器周围。此外，这些实施例能够支持任意数量的SiPM传感器和任意数量的PIN PD。作为第一示例，HMD可以包括单个SiPM传感器和零个、一个或任意数量的PIN PD。备选地，HMD可以包括两个SiPM传感器和零个、一个、两个或任意数量的PIN PD。备选地，HMD可以包括三个SiPM传感器和零、一、二、三或任何数量的PIN PD。
如图11A至11C所示，SiPM传感器和PIN PD被定位在眼睛显示器周围。由于该定位，SiPM传感器和PIN PD被放置在与用户的眼睛对应的平面(即“眼睛平面”)的确定距离上。值得注意的是，光电倍增管(即SiPM传感器和PIN PD)与用户的眼睛平面之间的距离可以是任何距离。例如，该距离可以是1毫米(mm)、2毫米、3毫米、4毫米、5毫米、6毫米、7毫米、8毫米、9毫米、10毫米、11毫米、12毫米、13毫米、14毫米、15毫米等。
因此，可将多个SiPM传感器与每个眼睛一起使用。这样的配置(即多个SiPM传感器)至少出于以下原因是有益的。首先，多个SiPM传感器允许检测散射和/或镜面反射(即闪光)，以正确呈现眼睛平面。此外，多个SiPM传感器允许改进反射红外光的收集。这也提高了检测方案的均匀性。因此，当使用多个SiPM传感器时，所公开的实施例提供的功率节省是特别有益的。
示例计算机系统
现在将注意力转向图12，该图示出了能够并入和/或用于所公开的实施例的示例性计算系统。如本文所使用的，“计算机系统”、“计算系统”和简单的“计算机”是可相互换的类似术语。进一步地，计算机系统1200可以采取任何形式。仅作为示例，图12示出了计算机系统1200可以采取HMD1205A、台式机/笔记本电脑1205B或任何其他计算形式(例如，独立或分布式计算系统)的形式。因此，省略号1205C表明，计算机系统1200可以以任何形式实现，因此它并不仅仅限于图12中所示的形式。
计算机系统1200还包括至少一个硬件处理单元1210(也被称为“处理器”)、输入/输出(I/O)接口1215、图形绘出引擎1220、一个或多个传感器1225(例如，眼睛追踪传感器)和存储装置1230。计算机系统1200还包括用于追踪用户的眼睛的各种不同组件。为了说明，计算机系统1200包括控制模块1235、MEMs模块1240，其可以包括红外模块1240A和数字转换器模块1245。关于这些组件的更多细节将在后面进行讨论。
存储装置1230可以是物理系统存储器，其可以是易失性的、非易失性的或两者的某种组合。因此，存储装置1230可以被认为是能够存储计算机可执行指令的计算机可读硬件存储设备。
术语“存储器”在此也可以用于指非易失性大容量存储，例如物理存储介质。如果计算机系统1200是分布式的，则处理、存储器和/或存储能力也可以是分布式的。如本文所使用的，术语“可执行模块”、“可执行组件”、甚至“组件”可以指可在计算机系统1200上执行的软件对象、例程或方法。本文所述的不同组件、模块、引擎和服务可以被实现为在计算机系统1200上执行的对象或处理器(例如作为分离的线程)。
所公开的实施例可以包括或利用包括计算机硬件的特殊用途或通用计算机，例如，一个或多个处理器(如硬件处理单元1210)和系统存储器(如存储装置1230)，如下文更详细讨论的。实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其它计算机可读介质。这样的计算机可读介质是可由通用或特殊用途计算机系统访问的任何可用介质。以数据形式存储计算机可执行指令的计算机可读介质是物理计算机存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，通过举例而非限制，当前的实施例可以包括至少两种不同类型的计算机可读介质：计算机存储介质和传输介质。
计算机存储介质是指硬件存储设备，如RAM、ROM、EEPROM、CD-ROM、基于RAM的固态驱动器(SSD)、闪存、相变存储器(PCM)或其他类型的存储器，或其他光盘存储、磁盘存储或其他磁性存储设备，或任何其他可以用于存储所需的以计算机可执行指令、数据或数据结构形式的程序代码，并可由通用或特殊用途计算机访问的介质。
计算机系统1200还可以(通过有线或无线连接)连接到外部传感器1255(例如，一个或多个远程摄像头、加速计、陀螺仪、声学传感器、磁力计，等等)。此外，计算机系统1200还可以通过一个或多个有线或无线网络1250连接到(多个)远程系统1260，(多个)远程系统1260被配置为执行关于计算机系统1200所述的任何处理。
在使用过程中，计算机系统1200的用户能够感知由MEMs模块1240扫描的信息(例如，混合现实场景)或在包括在(多个)I/O接口1215的显示器上呈现的信息。(多个)I/O接口1215和传感器1225/1255还包括手势检测设备、眼睛追踪器和/或其他运动检测组件(例如，相机、陀螺仪、加速度计、磁力计、声学传感器、全球定位系统(“GPS”)等)，它们能够检测一个或多个现实世界对象的定位和运动，例如用户的手、手写笔和/或用户沉浸在混合现实场景中时可能交互的任何(多个)其他对象。
在某些情况下，用户和物体(包括虚拟和实际)的定位和移动被持续监测。该监测具体检测对象的位置和运动的任何变化，例如检测到的位置、速度、方向或加速度的变化。这些运动可以是绝对运动和/或相对运动，例如与HMD的相对定位相比较，并且HMD的运动/定位将被计算成物体在场景中呈现的相对运动/定位。
图形绘出引擎1220与硬件处理单元1210被配置为绘出场景内的一个或多个虚拟对象。因此，虚拟对象准确地响应用户的移动和/或响应用户与虚拟对象交互时的用户输入而移动。
"网络"，如图12中所示的网络1250，被定义为一个或多个数据链路和/或数据交换机，其能够在计算机系统、模块和/或其他电子设备之间传输电子数据。当信息通过网络(硬接线、无线或硬接线和无线的组合)传输或提供给计算机时，计算机正确地将连接视为传输介质。计算机系统1200将包括一个或多个通信通道(例如，TCP端口、UDP端口等)，用于与网络1250通信。传输介质包括以计算机可执行指令形式或以数据结构形式携带数据或所需程序代码手段的网络。进一步地，这些计算机可执行指令可以由通用计算机或特殊用途计算机访问。上述内容的组合也应被包括在计算机可读介质的范围内。
在到达各种计算机系统组件时，以计算机可执行指令或数据结构形式的程序代码手段可以从传输介质自动转移到计算机存储介质(或反之亦然)。例如，通过网络或数据链路接收到的计算机可执行指令或数据结构可以被缓冲在网络接口模块(例如，网络接口卡或"NIC")内的RAM中，然后最终传输到计算机系统RAM和/或计算机系统的低易失性的计算机存储介质。因此，应当理解，计算机存储介质也可以被包括在(甚至主要)利用传输介质的计算机系统组件中。
计算机可执行(或计算机可解释)指令包括，例如，使通用计算机、特殊用途计算机或特殊用途处理设备执行某种功能或一组功能的指令。例如，计算机可执行的指令可以是二进制文件、中间格式指令如汇编语言、甚至源代码。尽管已经用特定于结构特征和/或方法行为的语言描述了主题事项，但应当理解的是，在所附权利要求中定义的主题事项不一定限于上述描述的特征或行为。相反，所描述的特征和行为被公开为实施权利要求的示例形式。
本领域的技术人员应当理解，本实施例可在具有许多类型的计算机系统配置的网络计算环境中实践，这些计算机系统配置包括个人计算机、台式计算机、便携计算机、信息处理器、手持设备、多处理器系统、基于微处理器或可编程消费电子产品、网络PC、微型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等。本实施例还可以在分布式系统环境中实践，其中通过网络连接(通过硬接线数据链路、无线数据链路或通过硬接线和无线数据链路的组合)的本地和远程计算机系统各自执行任务(例如云计算、云服务等)。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备中。
附加地或备选地，本文所述的功能可以至少部分地由一个或多个硬件逻辑组件执行。例如，但不限于此，可使用的硬件逻辑组件的示例性类型包括现场可编程门阵列(FPGA)、特定于程序或特定于应用的集成电路(ASIC)、特定于程序的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)、中央处理单元(CPU)和其他类型的可编程硬件。
如上所述，计算机系统能够提供多种多样的不同功能。根据所公开的原理，本实施例进一步提供了与具有硅光电倍增管(SiPM)传感器的低分辨率和低功耗的MEMs眼睛追踪系统相关的功能。因此，现在将注意力转到图13，该图示出了执行眼睛追踪的示例方法。
(多个)示例方法
现在下面的讨论涉及可执行的一些方法和方法行为。虽然可以按一定的顺序讨论该方法行为，或者在流程图中图示出按照特定的顺序发生，但除非特别说明否则不需要特定的顺序，除非因为一个行为的执行依赖于另一行为执行完成。这些方法由计算机系统(例如图12的计算机系统1200)的一个或多个处理器实现。举例来说，计算机系统包括一个或多个存储计算机可执行代码的计算机可读硬件存储介质。该计算机可执行代码由一个或多个处理器执行，使得计算机系统执行这些方法。
图13示出了用于生成用户的眼睛的图像的示例方法1300。值得注意的是，方法1300可以由图12中所示的计算机系统1200执行。
如图所示，首先，扫描子采样的红外光(行为1305)。这里，包括红外模块1240A的MEMs模块1240可以用于生成和扫描子采样的红外光。
接下来，将子采样的红外光朝向使用眼睛追踪系统的用户的眼睛引导(行为1310)。这里，该行为可以由控制模块1235执行。
随后，使用一个或多个硅光电倍增管(SiPM)(行为1315)捕获子采样的红外光的反射。值得注意的是，该反射由于将子采样的红外光朝向用户的眼睛引导而被生成。该行为可由数字转换器模块1245执行。
此后，测量一个或多个SiPM的电响应(行为1320)。该行为也可由数字转换器模块1245执行。
最后，使用电响应(行为1325)生成用户的眼睛的图像。在一些实例中，该行为由图12中所示的控制模块1235执行。通过生成多个图像，该实施例能够追踪用户的眼睛在一个时间段内的运动。
本公开范围内的其他方法包括，根据来自特定用户的眼睛的散射反射生成虹膜图案，并将生成的虹膜图案映射到存储的与经认证用户相关联虹膜图案(该图案存储在本地或远程)来执行虹膜认证的方法。然后，在找到匹配后，对用户进行认证，或者，在找不到匹配后，不对用户进行认证。
现在转到图14，图中示出了通过使用可以被并入可见光显示器的红外眼睛追踪系统(例如，也许是图1的眼睛追踪器100或图11A中所示的HMD1100)来节省功率的示例方法1400。在此，应当理解，红外眼睛追踪系统可以包含在HMD内，或者它可以是与HMD不同且独立于HMD的系统。这种过程的优点包括但不限于：(1)以较低分辨率操作的激光器，(2)脉冲的激光器，从而使得周期性地在低功率或无功率状态下操作，以及(3)包括与高分辨率/低分辨率模式相结合操作的眼睛追踪红外照明器和红外探测器的系统。关于该第三个特征，这些模式可以是RGB显示区域的一个子集(如图16中一般所示)。此外，一些实施例使用眼睛追踪信息来调整/追踪眼睛图像位置的区域。
如图14所示，RGB激光模块(例如，图1中所示的激光器105A、105B和105C)用于发射RGB光(行为1405)。无论是与RGB光并行发射，还是在RGB光发射之后，都使用IR激光模块(例如，图1中所示的IR激光器)来发射IR光(行为1410)。图14显示了彼此相邻的行为1405和1410，以说明这两个行为在时间上并不相互依赖。此外，行为1410可以在不执行行为1405的情况下执行。
]接下来，使用扫描系统(例如，来自图1的MEMs扫描仪120)将RGB光扫描到目标显示器或对象(例如，也许是图1中所示的对象/眼睛130)，并将红外光扫描到用户的眼睛(行为1415)。在该过程之后，眼睛追踪传感器(例如，图1的数字转换器模块135)使用在红外光的扫描期间从用户的眼睛反射的反射光对用户的眼睛进行成像(行为1420)。接着，在RGB光和/或IR光的扫描期间，使眼睛追踪系统(例如，图1的眼睛追踪器100)节省功率(行为1425)。
现在转到图15，提供了关于行为1425所述的节省功率的附加细节。特别是，如图15所示，节省功率可以通过多种方式实现。值得注意的是，图15中概述的过程可以单独执行，也可以与任何其他所述过程组合执行。因此，在这些图示的过程之间没有必要的依赖性。
如图所示，节省功率的过程(即图14的行为1425)可以包括以下任何一种。首先，可以通过选择性地使RGB激光模块(例如，图1的激光器105A、105B和105C)进行脉冲，以在目标显示器(例如，也许是图1的对象/眼睛130)上绘出不规则的和/或小于整个视场(FOV)的全分辨率的图像分辨率来节省功率。第二，可以通过选择性地修改RGB光的扫描，以在目标显示器上绘出不规则的和/或小于整个FOV的全分辨率的图像分辨率来节省功率。第三，可以通过修改红外光的扫描，使扫描到目标显示器上的红外光为不规则的分辨率，该分辨率小于整个FOV的全分辨率，以这种方式来节省功率。第四，可以通过在RGB光或IR光的扫描期间选择性地修改被供应给RGB模块、IR模块或眼睛追踪传感器(例如，图1的数字转换器模块135)的功率来节省功率。第五，可以通过选择性地改变RGB激光模块、IR模块(例如，图1的IR激光器)和/或眼睛追踪传感器的功率状态来节省功率。以这种方式，执行本公开的原理可以提供一种低功耗的眼睛追踪系统。
除了上述方法，还提供了头戴式显示器(HMD)系统(例如，图11A的HMD1100)。在此，该HMD系统包括目标显示器，该目标显示器具有在使用HMD系统期间对用户的眼睛可见的视场(FOV)。该HMD系统可以被配置为生成在目标显示器上绘出的图像，并且还可以对用户的眼睛进行成像。在一些情况下，该HMD系统可以被实现为红外眼睛追踪系统。在这样的情况下，红外眼睛追踪系统可以与具有目标显示器的可见光显示设备一起使用，该可见光显示设备具有在使用可见光显示设备期间对用户的眼睛可见的FOV。
该HMD系统可包括发射RGB光的RGB(红、绿、蓝)激光模块(例如，图1的激光器105A、105B和105C)。该系统还可以包括发射IR光的IR(红外)模块(例如，图1的IR激光器)。此外，系统可以包括扫描系统(例如，来自图1的MEMs扫描器120)，该扫描系统可以执行(a)将RGB光扫描到目标显示器或(b)将IR光扫描到用户的眼睛的一种或多种。在某些情况下，可以对目标显示器的有限部分进行IR光的扫描。此外，至少一些IR光将被反射到用户的眼睛上。
更进一步地，该系统可以包括眼睛追踪传感器(例如，数字化模块135)，该传感器在扫描红外光期间用从用户的眼睛反射的反射光对用户的眼睛进行成像。该传感器可以包括一个或多个传感器(例如，SiPMs)，其生成与反射光对应的电响应。此外，该系统可以包括控制模块，该控制模块通过执行图15中概述的任何过程，在RGB光或IR光的扫描期间节约能量。
在某些情况下，上述一个或多个传感器可包括一个或多个SiPM。此外，该系统还可包括用于一个或多个SiPM的ADC。如前面一些图中所述，这些ADC的每一个可以被配置为针对对应的一个SiPM对电响应进行采样。此外，上述控制模块还可以被配置为在扫描过程中选择性地修改提供给一个或多个SiPM和/或ADC的功率。
在某些情况下，控制模块在RGB光的扫描过程中通过选择性地对RGB激光模块进行脉冲以在目标显示器上绘出图像分辨率，来节约能量。此外，一些实施例还对红外模块进行脉冲。当发生这种脉冲时，这种脉冲可使RGB激光模块或IR模块以脉冲频率进行脉冲，该脉冲频率被确定为生成具有预先确定的图像分辨率的图像。
通过仅对子集像素的红外激光器和/或RGB激光器进行脉冲，而不是对所有(或整个阵列)像素进行脉冲，可以实现附加的省电效益。关于通过选择性地修改提供给眼睛跟踪传感器的功率来节省功率，这可以通过关闭传感器的电源或暂时关闭电源而被实现。
为了便于生成较低分辨率的图像，一些实施例使扫描系统仅将红外光扫描到目标显示器的FOV的一个或多个选定的子部分，而不将红外光扫描到目标显示器的FOV的其他子部分。图16中示出了这样的场景(例如，视网膜凹式扫描/绘出)。因此，扫描系统能够将不同分辨率的RGB光和/或IR光扫描到目标显示器的FOV的不同部分。
通过实践本文所公开的原则，可以实现显著的优势。例如，由于对用户的眼睛进行成像，IR眼睛跟踪系统能够确定用户的眼睛的光轴(即用户聚焦其眼睛的位置)。通过对用户的眼睛进行成像，可以根据确定的光轴调整目标显示图像(可由RGB光创建)的分辨率。以这种方式，对用户的眼睛进行成像有助于促进视网膜凹式绘出的性能。
因此，所公开的实施例提供了用于跟踪用户的眼睛运动和用于执行虹膜认证的新架构和方法。在一些实施例中，眼睛跟踪系统包括红外模块(例如，作为MEMs扫描仪的一部分)和一个或多个SiPM传感器。这些组件一起操作，通过测量从用户的眼睛发出的反射来跟踪用户的眼睛运动。该反射使用至少一个SiPM传感器而被测量。因此，该实施例能够利用该测量生成用户的眼睛的图像。以这种方式，该实施例能够以需要低分辨率眼睛图像的方式跟踪用户的眼睛运动，并且能够显著地降低功率消耗。
本发明可在不背离其精神或基本特征的情况下以其他具体形式实现。所描述的实施例的所有方面应仅被认为是说明性的，而不是限制性的。因此，本发明的范围由所附的权利要求书而不是由前述的描述来表明。在权利要求的含义和等同范围内的所有变化，都应被包含在其范围内。

Claims (18)

1.一种眼睛追踪系统，包括：
红外模块，所述红外模块发射光子束，其中在所述眼睛追踪系统的使用期间，发射的所述光子中的至少一些光子被朝向用户的眼睛引导；以及
一个或多个硅光电倍增管SiPM，所述一个或多个硅光电倍增管SiPM相对于所述红外模块被定位，并且捕获由于在所述光子束内至少一些光子朝向所述用户的眼睛被引导，而从所述用户的眼睛反射的至少一些光子的反射，
其中所述眼睛追踪系统还被配置为：
基于所述用户的眼睛的图像，来使得绘出的显示帧的分辨率被修改以对应于由所述图像确定的所述用户的眼睛的位置，所述图像从所述一个或多个SiPM的电响应被生成，并且所述图像标识所述用户的眼睛的所述位置。
2.根据权利要求1所述的眼睛追踪系统，其中所述红外模块被配置为发射脉冲光子束或在确定的持续时间连续的连续光子波中的至少一种，由此所述反射也是脉冲束反射或连续波反射，并且其中所述一个或多个SiPM在所述眼睛追踪系统的使用期间捕获所述脉冲束反射或所述连续波反射。
3.根据权利要求1所述的眼睛追踪系统，其中所述眼睛追踪系统还包括带通滤波器，所述带通滤波器对环境光进行滤波，从而使得所述环境光不被所述一个或多个SiPM捕获。
4.根据权利要求1所述的眼睛追踪系统，其中所述眼睛追踪系统还针对所述一个或多个的SiPM中的每个SiPM包括模数转换器ADC，每个ADC被配置为针对对应的一个SiPM对电响应进行采样。
5.根据权利要求1所述的眼睛追踪系统，其中所述眼睛追踪系统还包括模拟低通滤波器，并且其中第一SiPM的电响应通过所述模拟低通滤波器而被滤波。
6.根据权利要求1所述的眼睛追踪系统，其中所述眼睛追踪系统还包括波导，并且其中朝向所述用户的眼睛被引导的发射的所述光子中的至少一些光子穿过所述波导。
7.根据权利要求1所述的眼睛追踪系统，其中所述眼睛追踪系统包括至少三个SiPM，所述至少三个SiPM以关于彼此椭圆的配置被布置在头戴式设备上。
8.根据权利要求1所述的眼睛追踪系统，其中所述眼睛追踪系统还包括：
与所述红外模块被集成的RGB(红，绿，蓝)激光模块；以及
微机电MEM扫描仪，所述微机电MEM扫描仪被用于利用从所述RGB激光模块发射的RGB光对针对应用的像素进行成像。
9.一种眼睛追踪系统，包括：
一个或多个处理器；以及
一个或多个计算机可读硬件存储设备，所述一个或多个计算机可读硬件存储设备具有存储于其上的计算机可执行指令，所述计算机可执行指令由所述一个或多个处理器可执行以使得所述眼睛追踪系统：
与子采样的红外光同时地接收红，绿，蓝(RGB)光；
扫描所述子采样的红外光；
扫描所述RGB光以绘出一个或多个显示帧；
将所述子采样的红外光朝向正在使用所述眼睛追踪系统的用户的眼睛引导；
使用一个或多个硅光电倍增管SiPM来捕获所述子采样的红外光的反射，所述反射由于将所述子采样的红外光朝向所述用户的眼睛引导而被生成；
测量所述一个或多个SiPM的电响应；
使用所述电响应来生成所述用户的眼睛的图像；以及
基于所述用户的眼睛的所述图像，来修改所述一个或多个显示帧的绘出，以包括与所述用户的眼睛位置有关的分辨率和位置内容，所述图像对应于所述用户的眼睛的位置。
10.根据权利要求9所述的眼睛追踪系统，其中所述反射是镜面反射或散射反射中的至少一种，并且其中所述子采样的红外光在包括红外激光器的微机电MEMS扫描仪系统处被生成。
11.根据权利要求9所述的眼睛追踪系统，其中所述子采样的红外光是脉冲光发射或在确定的持续时间连续的连续波光发射中的一种。
12.根据权利要求9所述的眼睛追踪系统，其中所述子采样的红外光是脉冲光发射，并且其中所述计算机可执行指令的执行还使得所述眼睛追踪系统：
使用一个或多个模数转换器ADC对所述一个或多个SiPM的电响应进行采样，其中所述一个或多个ADC的采样频率与所述脉冲光发射被生成的频率被同步。
13.根据权利要求9所述的眼睛追踪系统，其中所述子采样的红外光是在预定持续时间连续的连续波光发射，并且其中所述连续波光发射的扫描角度变化。
14.一种用于生成用户的眼睛的图像的方法，所述方法由包括一个或多个处理器的计算机系统实现，所述方法包括：
在微机电MEMS系统处，扫描子采样的红外光；
将所述子采样的红外光朝向所述用户的眼睛引导；
使用一个或多个硅光电倍增管SiPM来捕获所述子采样的红外光的一个或多个反射，所述一个或多个反射由于将所述子采样的红外光朝向所述用户的眼睛引导而被生成；
测量所述一个或多个SiPM的至少一个电响应；
使用所述至少一个电响应来生成所述用户的眼睛的至少一个图像；以及
基于所述用户的眼睛的所述至少一个图像，来修改绘出的显示帧，以使得所述绘出的显示帧的分辨率对应于由所述至少一个图像确定的所述用户的眼睛的位置，所述至少一个图像标识所述用户的眼睛的所述位置。
15.根据权利要求14所述的方法，其中所述方法还包括使用一个或多个PIN结光电探测器以捕获所述一个或多个反射。
16.根据权利要求15所述的方法，其中所述一个或多个反射包括镜面反射和至少一个散射反射，并且其中所述一个或多个SiPM捕获和测量所述至少一个散射反射，并且所述一个或多个PIN结光电探测器捕获和测量所述镜面反射。
17.根据权利要求14所述的方法，其中所述一个或多个SiPM的所述至少一个电响应被耦合到电容器。
18.根据权利要求14所述的方法，其中所述方法还包括使用模数转换器ADC对所述一个或多个SiPM的所述至少一个电响应进行采样。
CN201980012505.0A 2018-02-09 2019-01-25 具有硅光电倍增管传感器的高效的基于mems的眼睛追踪系统 Active CN111712781B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/893,320 2018-02-09
US15/893,320 US10551914B2 (en) 2018-02-09 2018-02-09 Efficient MEMs-based eye tracking system with a silicon photomultiplier sensor
PCT/US2019/015052 WO2019156824A1 (en) 2018-02-09 2019-01-25 Efficient mems-based eye tracking system with a silicon photomultiplier sensor

Publications (2)

Publication Number Publication Date
CN111712781A CN111712781A (zh) 2020-09-25
CN111712781B true CN111712781B (zh) 2023-08-25

Family

ID=66380119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980012505.0A Active CN111712781B (zh) 2018-02-09 2019-01-25 具有硅光电倍增管传感器的高效的基于mems的眼睛追踪系统

Country Status (4)

Country Link
US (1) US10551914B2 (zh)
EP (1) EP3750031B1 (zh)
CN (1) CN111712781B (zh)
WO (1) WO2019156824A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110095867B (zh) * 2018-01-31 2021-01-22 京东方科技集团股份有限公司 显示装置及方法、平视显示系统、交通工具和存储介质
US10627899B2 (en) * 2018-02-09 2020-04-21 Microsoft Technology Licensing, Llc Eye tracking system for use in a visible light display device
WO2021140177A1 (en) 2020-01-09 2021-07-15 Osram Opto Semiconductors Gmbh Improvements in light detection with semiconductor photodiodes
US11537201B1 (en) 2021-06-30 2022-12-27 Microsoft Technology Licensing, Llc Eye tracking imager with gated detectors receiving a specular reflection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示系统
CN105373218A (zh) * 2014-08-13 2016-03-02 英派尔科技开发有限公司 用于改进眼睛跟踪的场景分析
CN105425967A (zh) * 2015-12-16 2016-03-23 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位系统
CN106030660A (zh) * 2014-03-28 2016-10-12 英特尔公司 具有动态光照以用于眼睛追踪的计算阵列相机
WO2016174659A1 (en) * 2015-04-27 2016-11-03 Snapaid Ltd. Estimating and using relative head pose and camera field-of-view

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6959102B2 (en) * 2001-05-29 2005-10-25 International Business Machines Corporation Method for increasing the signal-to-noise in IR-based eye gaze trackers
US7547866B2 (en) * 2004-04-28 2009-06-16 Semiconductor Energy Laboratory Co., Ltd. Laser irradiation method and method for manufacturing semiconductor device including an autofocusing mechanism using the same
US20120206334A1 (en) 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and user action capture device control of external applications
US9529191B2 (en) 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
US9549682B2 (en) 2012-08-24 2017-01-24 Life Detection Technologies, Inc. Systems and methods for monitoring vital signs based on sensed changes in a target
US20170188822A1 (en) * 2014-07-14 2017-07-06 University Of Rochester System And Method For Real-Time Eye Tracking For A Scanning Laser Ophthalmoscope
US10371573B2 (en) 2015-01-12 2019-08-06 Finisar Corporation Electromagnetic power measurement and reporting
US9961258B2 (en) 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
AU2016267275B2 (en) 2015-05-28 2021-07-01 Google Llc Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
US20170285343A1 (en) 2015-07-13 2017-10-05 Mikhail Belenkii Head worn display with foveal and retinal display
KR102523377B1 (ko) 2016-07-15 2023-04-20 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이를 포함하는 두부 장착 표시 시스템
US10373592B2 (en) 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
KR102548199B1 (ko) * 2016-08-03 2023-06-28 삼성전자주식회사 전자 장치 및 전자 장치의 시선 추적 방법
US10890649B2 (en) 2016-08-11 2021-01-12 Qualcomm Incorporated System and method for measuring reference and returned light beams in an optical system
US10459220B2 (en) * 2016-11-30 2019-10-29 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10043318B2 (en) * 2016-12-09 2018-08-07 Qualcomm Incorporated Display synchronized image warping
US20180164412A1 (en) * 2016-12-13 2018-06-14 Sensl Technologies Ltd. LiDAR Apparatus
US10585174B2 (en) * 2017-03-10 2020-03-10 Sensl Technologies Ltd. LiDAR readout circuit
US10185393B2 (en) * 2017-04-03 2019-01-22 Facebook Technologies, Llc Waveguide display with spatially switchable grating
US11016180B2 (en) * 2017-09-25 2021-05-25 Waymo Llc Combination photodetector arrays for extended dynamic range
US10591605B2 (en) * 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
US10311584B1 (en) * 2017-11-09 2019-06-04 Facebook Technologies, Llc Estimation of absolute depth from polarization measurements
US10627899B2 (en) 2018-02-09 2020-04-21 Microsoft Technology Licensing, Llc Eye tracking system for use in a visible light display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示系统
CN106030660A (zh) * 2014-03-28 2016-10-12 英特尔公司 具有动态光照以用于眼睛追踪的计算阵列相机
CN105373218A (zh) * 2014-08-13 2016-03-02 英派尔科技开发有限公司 用于改进眼睛跟踪的场景分析
WO2016174659A1 (en) * 2015-04-27 2016-11-03 Snapaid Ltd. Estimating and using relative head pose and camera field-of-view
CN105425967A (zh) * 2015-12-16 2016-03-23 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位系统

Also Published As

Publication number Publication date
US10551914B2 (en) 2020-02-04
WO2019156824A1 (en) 2019-08-15
US20190250703A1 (en) 2019-08-15
CN111712781A (zh) 2020-09-25
EP3750031A1 (en) 2020-12-16
EP3750031B1 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
CN111712781B (zh) 具有硅光电倍增管传感器的高效的基于mems的眼睛追踪系统
US11924396B2 (en) Non-mechanical beam steering assembly
JP7329444B2 (ja) 機械知覚のためのシステム及び方法
EP3729244B1 (en) Eye tracking system for use in a visible light display device
CN110520827B (zh) 使用扫描束和多个检测器的眼睛跟踪
US10962764B2 (en) Laser projector and camera
EP3935559B1 (en) Ir illumination module for mems-based eye tracking
US20130142383A1 (en) Scanned Image Projection System with Gesture Control Input
US10838489B2 (en) IR illumination module for MEMS-based eye tracking
Osorio Quero et al. Single-pixel imaging: An overview of different methods to be used for 3D space reconstruction in harsh environments
US20240041321A1 (en) Multi-laser eye tracking system
KR20230025861A (ko) 차분 비행 시간 센서 픽셀의 저전력 동작
WO2021050329A1 (en) Glint-based gaze tracking using directional light sources
WO2020180542A1 (en) Ir illumination module for mems-based eye tracking
US11393183B2 (en) Integrated electronic module for 3D sensing applications, and 3D scanning device including the integrated electronic module
US11075503B2 (en) Integrated inter-cavity photodetector for laser power and threshold estimation
CN116097298A (zh) 用于使用结构光进行深度图构建的红外和非红外通道混合器
US20240127401A1 (en) Active depth sensing
WO2024081491A1 (en) Active depth sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant