CN111214205B - 控制发光器以获得最佳闪光 - Google Patents

控制发光器以获得最佳闪光 Download PDF

Info

Publication number
CN111214205B
CN111214205B CN201911045499.7A CN201911045499A CN111214205B CN 111214205 B CN111214205 B CN 111214205B CN 201911045499 A CN201911045499 A CN 201911045499A CN 111214205 B CN111214205 B CN 111214205B
Authority
CN
China
Prior art keywords
image
location
flash
light emitters
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911045499.7A
Other languages
English (en)
Other versions
CN111214205A (zh
Inventor
丹尼尔·约翰森·托尼尔斯
安德烈亚斯·科林斯特姆
马丁·斯科贝克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN111214205A publication Critical patent/CN111214205A/zh
Application granted granted Critical
Publication of CN111214205B publication Critical patent/CN111214205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Studio Devices (AREA)

Abstract

本发明描述了控制用于眼睛跟踪的光源的技术。在一示例中，眼睛跟踪系统产生第一图像和第二图像，这些图像展示由眼睛跟踪系统的预定组的发光器照射的用户眼睛的至少一部分。眼睛跟踪系统确定闪光在第一图像中的第一位置和闪光在第二图像中的第二位置。第一位置和第二位置中的每一个是相对于瞳孔边缘的。眼睛跟踪系统基于第一位置和第二位置预测闪光相对于瞳孔边缘的第三位置。此外，眼睛跟踪系统从预定组的发光器中确定与闪光对应的发光器，并基于第三位置确定是否要将该闪光器断电以产生用户眼睛的至少该部分的第三图像。

Description

控制发光器以获得最佳闪光
技术领域
本公开涉及眼睛跟踪，并且尤其涉及控制用于眼睛跟踪的光源的技术。
背景技术
与计算设备交互是当今世界的基本动作。计算设备——例如，个人计算机、平板电脑和智能电话——是日常生活中随处可见的。另外，可佩戴的计算设备——例如，可佩戴的头戴式设备(例如，虚拟现实(VR)头戴式设备和增强现实(AR)头戴式设备)正变得越来越流行。用于与这些设备交互的系统和方法定义了这些设备的使用方式和这些设备的用途。
眼睛跟踪技术的发展使得利用个人注视信息与计算设备交互变得可能，所述个人注视信息例如为用户在显示器上注视着的位置。该信息可单独用于交互，或与基于接触的交互技术(例如，使用用户输入设备，例如键盘、鼠标、触摸屏或其它输入/输出接口)一起用于交互。
之前提出的使用注视信息的交互技术可在美国专利6,204,828、美国专利申请公布2013/0169560、美国专利7,113,170、美国专利申请公布2014/0247232和美国专利9,619,020中找到。这些专利和申请的全部内容通过援引包含于此。
在例如可佩戴设备的计算设备中，眼睛图像可被产生和处理以检测瞳孔和闪光，并由此对眼睛进行跟踪。在许多实施方式中，光源——例如，包括发光二极管(LED)的光源——被加电以照射眼睛并用于成像。
附图简述
可通过参照下面的附图来实现对各个实施例的本质和优势的进一步理解。在所附附图中，相似的部件或特征可具有相同的附图标记。此外，相同类型的各个部件可通过如下方式来区分：在附图标记后面加上横线以及在相似部件之间作出区分的第二附图标记。要是在说明书中仅使用第一附图标记，则说明书可适用于具有相同第一附图标记的相似部件中的任一部件，而不管第二附图标记为何。
图1示出根据本公开的实施例的眼睛跟踪系统。
图2示出根据本公开的实施例的由图像传感器捕捉的眼睛图像的示例。
图3示出根据本公开的实施例的专用计算机系统的框图。
图4示出根据本公开的实施例的可佩戴计算设备的示例，该可佩戴计算设备实现眼睛跟踪系统的多个部件。
图5A、5B和5C示出根据本公开的实施例的用于照射眼睛的多个光源的示例。
图6示出根据本公开的实施例的可用于检测闪光和瞳孔边缘的图像的示例。
图7示出根据本公开的实施例的在图像之间作出闪光匹配的示例。
图8示出根据本公开的实施例的预测闪光相对于瞳孔边缘的位置和确定是否应当移除闪光的示例。
图9示出根据本公开的实施例的基于闪光相对于瞳孔边缘的预测位置来控制光源的流程的示例。
发明内容
本申请公开了用于控制眼睛跟踪中所使用的光源的实施例。在一个示例中，在不知晓角膜中心的三维位置的情况下，眼睛跟踪系统直接确定在连续的二维图像中的闪光是否将要落在瞳孔边缘上。如果一个或多个闪光满足这种条件，则与这些闪光相关联的发光器被断电并置在这些发光器处于断电状态的情况下产生至少下一图像。
具体地，眼睛跟踪系统产生多个图像，这些图像展示由眼睛跟踪系统的一组预定发光器照射的用户眼睛的至少一部分。对于一些或全部的闪光，眼睛跟踪系统确定这些闪光中的每一个闪光在图像中的位置。这些位置可以是相对于瞳孔边缘的。对于这些闪光中的每一个，眼睛跟踪系统也可基于对该闪光确定的位置来预测闪光相对于瞳孔边缘的下一位置。此外，并对于这些闪光中的每一个，眼睛跟踪系统从这组预定发光器确定与闪光对应的发光器，并基于闪光的下一位置确定是否要将发光器断电以产生额外的图像，其中该额外的图像被进一步用于眼睛跟踪。
提到这些解说性特征并不是为了对本公开进行限制或限定，而是为了提供有助于理解本公开的示例。这些和额外的特征在多个实施例中可独立地实现，或者在其它多个实施例中可组合在一起，其进一步的细节可以参照下面的描述和图示而被知晓。由各个实施例中的一个或多个实施例给予的优点可通过细阅说明书或通过实践各个实施例中的一个或多个实施例来被进一步理解。
具体实施方式
本公开的实施例尤其涉及控制用于眼睛跟踪的光源。在一示例中，多个光源被用于照射用户的眼睛。这些光源在这里被称为发光器。一组预定的光源可被加电并且多个图像被产生，每个图像展示眼睛的至少一部分。图像被处理以识别闪光和瞳孔边缘，其中每个闪光对应于来自从光源发出的光从眼睛的反射。确定每个图像中闪光相对于瞳孔边缘的位置，并将不同图像上的这些位置用于预测下一闪光位置。如果闪光将要落在瞳孔边缘上或与瞳孔边缘的接近程度达到某一阈值距离，则选择对应的光源并将其断电。这种预测性地识别移动至瞳孔边缘或移动超出瞳孔边缘的闪光并选择性地将光源断电的方法相比已有的眼睛跟踪系统提供了许多技术优势。
具体地说，诸如VR或AR头戴式设备的可佩戴计算设备可整合有眼睛跟踪系统，该眼睛跟踪系统使用针对用户的每只眼睛的多个发光器。不同的技术可使用发光器用于眼睛跟踪。在一种现有技术中，所有发光器被加电，由此在用户眼睛上导致大量的闪光。然而，这种技术可能具有多种缺陷。例如，一些闪光可能出现在瞳孔边缘上并因此可能遮掩瞳孔边缘并使眼睛跟踪的准确性降低，这是因为可能无法准确地检测到瞳孔边缘。另外，眼睛跟踪可能也涉及将闪光映射到发光器。然而，由于大数量的闪光和等同地大数量的发光器，眼睛跟踪的复杂性增加，由此可能导致处理延时。在另一种技术中，将一子集的发光器加电，由此节省电力消耗并总体上提高准确性。然而，这种技术总体上涉及确定角膜中心的三维位置，这可能增加复杂性并增加处理延时。
相比而言，本公开的实施例涉及选择性地对发光器(例如，可用光源的子集)加电和断电，由此节省电力消耗并提高准确性。为了降低复杂性并改善处理延时，这些实施例也涉及使用二维图像来预测闪光的位置而不需要确定角膜中心的三维位置。
图1示出根据一实施例的眼睛跟踪系统100(其也可被称为注视跟踪系统)。系统100包括：发光器111和112，用来照射用户的眼睛；以及图像传感器113，用来捕捉用户眼睛的图像。发光器111、112可例如是以红外频段或以近红外频段发光的发光二极管。图像传感器113可例如是相机，例如互补金属氧化物半导体(CMOS)相机或电荷耦合器件(CCD)相机。相机不局限地是IR(红外)相机、深度相机或光场相机。图像传感器113的快门机构可以是滚动快门或全局快门。
第一发光器111与图像传感器113同轴地(或靠近图像传感器113)布置，以使图像传感器113可捕捉用户眼睛的亮瞳图像。在第一发光器111照射眼睛的情况下，由于第一发光器111与图像传感器113的同轴布置，从眼睛的视网膜反射的光朝向图像传感器113通过瞳孔回射出，以使瞳孔在图像中比其周围的虹膜看上去更亮。第二发光器112与图像传感器113非同轴(或远离图像传感器113)布置，以使图像传感器113捕捉暗瞳图像。在第二发光器112照射眼睛的情况下，由于第二发光器112与图像传感器113的非同轴布置，从眼睛的视网膜反射的光不到达图像传感器113，并且瞳孔在图像中比其周围的虹膜看上去更暗。发光器111、112可例如轮流照射眼睛，以使每个第一图像是亮瞳(BP)图像，而每个第二图像是暗瞳(DP)图像。
眼睛跟踪系统100也包括电路120(例如包括一个或多个处理器)，用于处理由图像传感器113捕捉的图像。电路120可例如经由有线或无线连接而连接至图像传感器113和发光器111、112。在另一示例中，一个或多个处理器形式的电路120可以一个或多个层叠的层而被设置在图像传感器113的光敏表面下面。
图2示出由图像传感器113捕捉的眼睛200的图像的示例。电路120可例如利用图像处理(例如，数字图像处理)以提取图像中的特征。电路120可例如利用瞳孔中心角膜反射(PCCR)眼睛跟踪来确定眼睛200正看向哪里。在PCCR眼睛跟踪中，处理器120估算瞳孔210的中心和闪光220的中心在眼睛200的位置。闪光220是由来自发光器111、112之一的光的反射造成的。处理器120使用闪光220计算用户在空间内的什么位置并使用瞳孔210计算用户眼睛200正朝向什么位置。由于在眼睛200的光学中心与中央凹之间通常存在偏移，因此处理器120执行对中央凹偏移的校准以能够确定用户正看向哪里。然后可将从左眼和从右眼获得的注视方向组合起来以形成组合估算的注视方向(或观察方向)。如下文中描述的那样，在形成这种组合时，许多不同的因素可能影响应当如何对左眼和右眼的注视方向相对彼此进行加权。
在参照图1描述的实施例中，发光器111、112被布置在眼睛跟踪模块110内，该眼睛跟踪模块110被布置在由用户观看的显示器之下。这种布置仅作为示例。将理解，可采用更多或更少的任何数量的发光器111、112和图像传感器113以进行眼睛跟踪，并且这些发光器111、112和图像传感器113可相对于由用户观看的显示器以许多不同方式分布。将理解，本公开中描述的眼睛跟踪方案可例如被利用以进行远程眼睛跟踪(例如，在个人计算机、智能电话中或整合在车辆内)，或进行可佩戴眼睛跟踪(例如，在虚拟现实眼镜或增强现实眼镜中)。
图3是示出其中可实现本公开的实施例的专用计算机系统300的框图。该示例示出了专用计算机系统300，其例如可整体地、部分地或通过各种修改而用来提供本文描述的部件的功能。
专用计算机系统300被图示为包括可经由总线390电耦接的硬件元件。硬件元件可包括一个或多个中央处理单元310、一个或多个输入设备320(例如，鼠标、键盘、眼睛跟踪设备等)以及一个或多个输出设备330(例如，显示设备、打印机等)。专用计算机系统300也可包括一个或多个存储设备340。例如，存储设备340可以是盘驱动器、光存储设备、诸如随机存取存储器(RAM)和/或只读存储器(ROM)的固态存储设备，它们是可编程的、可闪速更新的和/或诸如此类的。
专门的计算机系统300可另外包括计算机可读存储介质读取器350、通信系统360(例如，调制解调器、网卡(无线或有线的)、红外通信设备、蓝牙TM设备、蜂窝通信设备等)、工作存储器380(其可包括上文描述的RAM和ROM设备)。在一些实施例中，专用计算机系统300也可包括处理加速单元370，该处理加速单元370可包括数字信号处理器、专用处理器和/或类似物。
图4示出可佩戴计算设备400的示例，该可佩戴计算设备400实现结合图1-2描述的眼睛跟踪系统100的上述部件的一些或全部。可佩戴计算设备400可以是可由用户佩戴的VR头戴设备或AR头戴设备。如图所示，可佩戴计算设备400包括例如菲涅尔透镜的一组透镜410、一组相机420、一组热反射镜430和一组显示器440。相机420可包括图1的图像传感器113。尽管图4未示出，可佩戴计算设备400也可包括一组发光器和处理电路。这些和其它部件可被整合在可佩戴计算设备400的壳体450内。如此，一旦用户将可佩戴计算设备400安装在他或她的头上，这组透镜410将相对靠近用户的眼睛并且这组显示器将相对远离用户的眼睛，并且剩下的部件可位于这组透镜和这组显示器之间。这些部件的布置允许检测检测在三维虚拟空间或真实空间内的用户注视点。
图5A示出根据本公开的实施例的用于照射眼睛的多个光源的示例。在该实施例中，可佩戴计算设备可包括光源和热反射镜(例如，类似于图4的热反射镜430)以及本文接下来描述的其它部件。总的来说，多个发光器可用于跟踪每个用户眼睛的注视。这些发光器可能分布在眼睛跟踪系统内的一些已知位置处。此外，眼睛跟踪系统可选择地控制一些或全部发光器的功率，由此将发光器加电或断电以产生适于准确的眼睛跟踪的闪光并且带来改善的延时和功耗。在包括例如透镜的可佩戴计算设备的背景下，发光器可根据期望的安装图案被安装在透镜上或透镜内。作为附加或替代，发光器可根据期望的图案围绕显示器的边缘(例如，边框)而被安装。当然其它安装位置也是可能的。眼睛跟踪系统可包括一组电源、一组开关、一组控制器、一组接线和用于控制发光器的功率状态的其它部件。
如图5A所示，透镜500被设置在可佩戴计算设备内。透镜500的位置被设置成使得设备的佩戴者可透过透镜500观察显示器550。热反射镜涂层或薄膜510被固定在透镜500之上、之内或之下，并且多个发光器520被固定在热反射镜薄膜510之上、之内或之下。每个发光器520可以是可单独控制的(例如，加电和断电)并且这些发光器520可一起形成矩阵。薄膜510在朝向透镜500中心的位置具有切去部分530以允许眼睛跟踪相机透过透镜500进行观察。
热反射镜涂层或薄膜510可被直接施加到透镜500上，或为了易于制造，热反射镜涂层或薄膜510也可以是不起到透镜作用的单独零件的形式。此外，同样为了易于制造，单独零件的玻璃或塑料可被置于热反射镜的顶部上，并且发光器520可被固定至该单独零件。
在一示例中，发光器520的数目在二十个至五十个之间。每个发光器520可包括在大约200um×200um的芯片上的LED灯。发光器520可朝向佩戴者的眼睛540向外发出红外光或近红外光，并且该光随后通过佩戴者的眼睛540朝向透镜500向回反射。薄膜510具有热反射镜的性质。换句话说，薄膜510允许可见光谱内的光穿过并同时防止红外光谱内的光穿过。如此，由透镜500后面的显示器550发出的可见光可传达到佩戴者的眼睛，同时大多数红外光被阻止到达佩戴者的眼睛。
位于透镜后面并透过切去部分530进行观察的图像传感器捕捉佩戴者眼睛的图像，该图像包含由发光器520发出的红外光的反射，被连接至图像传感器的处理设备然后分析那些图像以基于红外光的反射来确定用户注视的方向。
发光器520可以多种方式被施加至薄膜510，首先简单地通过胶水而被施加，或者替代地，一种可能的施加方式是将电子器件直接印刷在薄膜510上。发光器520进一步将不得不具有被施加至薄膜510的通信线路以使发光器可接收功率以被导通和断开。
在一示例中，可佩戴设备包括两个透镜500，所述透镜500具有相关的薄膜510和发光器520。薄膜510可通过胶水或某些其它半永久物质被施加至透镜。在具有两个透镜的系统中，光可从用户皮肤反射到透镜中，由此透镜具有波导效应并使光远离可佩戴设备传输。热反射镜510的存在用来减少这种光的出现。
在另一示例中，发光器520可被布置在透镜500(或如前所述的额外零件)侧。来自发光器520的光然后可穿过透镜500行进以发射在用户眼睛前面。这种光的引导发生在透镜的已施加热反射镜510的区域内，由此防止光朝向显示器550发射。
此外，可在显示器510前方增设成角度的热反射镜510，并将图像传感器布置成观察热反射镜。透镜500则被布置在用户眼睛的前方而发光器520位于与之相邻的位置。发光器520照射用户的眼睛，并且由于透镜500具有热反射镜薄膜或涂层，如之前已描述的那样，来自发光器520的杂散光被减少。热反射镜薄膜或涂层中的切去部分允许图像传感器透过成角度的热反射镜捕捉用户眼睛的图像。
在另一示例中，可佩戴计算设备不是使用图4的热反射镜430，而是包括全息光学元件(HOE)，例如，涂层或薄膜。HOE优选地布置在眼睛和可佩戴设备的显示器(例如，图4的显示器440)或向用户的眼睛显示图像投影的观察平面之间。在此示例中，相机(例如，图4的相机420)适于捕捉HOE的图像，并且HOE适于沿朝向相机的第一角度至少引导从眼睛反射的入射光的第一部分。此第一角度不同于入射光的入射角。
观察平面是用户观看的图像所在的平面。HOE的全息图不需要直接被布置在用户的观察平面上。特别对于VR头戴设备，透镜可被布置在眼睛和屏幕之间，该屏幕将虚拟图像布置在几米开外的舒适距离上。在这种情况下，HOE可以被布置在透镜上。
在AR设备中，投影仪可被布置在HOE或棱镜侧，以使投影光束朝向眼睛被引导。HOE则应当被布置在任何物理部件与眼睛之间。
图5B示出了根据本公开的实施例的用于跟踪眼睛2的移动的眼睛跟踪设备1，该眼睛跟踪设备1包括用于将图像投影显示给用户的眼睛2的观察平面3。图像模块4和眼睛2被布置在观察平面的相同的一侧上。至少一个发光器5被提供用以照射眼睛2，并且适于接收由相机捕捉的图像并计算眼睛的观察角的控制单元被设置成连接于相机4。全息光学元件HOE 7被布置在眼睛2和观察平面3之间。在一示例中，相机适于捕捉HOE 7的图像，并且HOE7适于沿朝向相机的第一角度9至少引导从眼睛反射的入射光的第一部分8。在该示例中，第一角度9不同于入射光的入射角10。发光器5可被布置在相机附近，由此经由HOE 7照射眼睛2，如图5B所示，或者发光器5可紧挨着HOE 7布置，从而直接地照射眼睛。
在一些示例中，第一HOE适于沿朝向相机的第二角度引导从眼睛反射的入射光的第二部分。这将由相机感测到的图像分割成两个重叠的图像。这通过使用图像分析分离重叠图像来允许立体成像，以使图像中的物体的深度可被确定。
图5C示出本公开的实施例，其中第一发光器5被布置在相机4附近并且眼睛跟踪设备包括第一HOE 7和第二HOE 27，第一HOE 7和第二HOE 27彼此相邻地布置在基板3上。第一HOE 7将来自发光器并在眼睛中反射的光沿朝向相机的第一角度9引导，并且第二HOE 27将来自发光器并在眼睛中反射的光沿朝向相机的第二角度15引导。
图6示出根据本公开的实施例的可用于检测闪光和瞳孔边缘的图像的示例。一组发光器可被加电，并且在这些发光器处于加电状态时多个图像可随时间被捕捉。每个图像展示用户眼睛的包括瞳孔和闪光的至少一部分。每个闪光对应于加电的发光器之一。对于每个闪光，可随时间从图像跟踪其相对于瞳孔的边缘(例如，瞳孔边缘)的位置。这种跟踪被用来预测闪光是否将要落在瞳孔边缘上或者移动到瞳孔边缘附近一阈值内。如果闪光的预测位置满足这些条件中的任一个，则对应的发光器可被识别并被断电。因此随时间流逝，不同的发光器被选择并断电。为了维持准确的眼睛跟踪，一旦将一个或多个发光器断电，则可将一个或多个其它的发光器加电。具体地，可确定可接受的最小的一组加电的发光器以用于眼睛跟踪。
如图所示，第一图像610和第二图像650在不同的时间点产生，其中对于图像610和650两者，相同的一组发光器被加电。第一图像610展示用户眼睛612，包括虹膜614、瞳孔616、瞳孔边缘618以及与四个加电的发光器对应的闪光620a、620b、620c和620d。
在一示例中，每个闪光620a、620b、620c和620d相对于瞳孔边缘的位置是从第一图像610计算出的。例如，定义了X、Y坐标系。此坐标系的原点可以在图像610的左下角、在具体瞳孔基准点630(例如，在瞳孔边缘618上的右极点，如图6中用×所表示的那样)或者在第一图像610中的某个其它点。图像610中的每个闪光的X、Y位置是基于相对于原点的像素数目来计算的。如果原点不同于瞳孔基准点630，则闪光与瞳孔边缘618的相对位置可被计算为闪光的X、Y位置与瞳孔基准点630的X、Y位置之间的差。因此，相对位置可被表达为闪光至瞳孔边缘向量(或，距离与方向)。图6用闪光至瞳孔边缘向量640示出闪光620c与瞳孔边缘618之间的相对位置。
第二图像650也可展示用户眼睛612，包括虹膜614、瞳孔616、瞳孔边缘618以及与相同的四个加电的发光器对应的闪光620a、620b、620c和620d。然而，由于第二图像650在与第一图像610不同的时间产生，因此用户眼睛612可能已相对于发光器和/或相机移动。因此，闪光620a、620b、620c和620d的至少一些或全部的位置可能已经偏移。如图6所示，闪光620c在第二图像650中可能已经相比第一图像610向右移动并且该闪光620c此时更加靠近瞳孔边缘618(如图所示具有更短的闪光至瞳孔边缘向量660)。这些闪光620a、620b、620c和620d的位置以及瞳孔基准点630的位置(根据需要)也可以从第二图像650被计算出，以随后推导出第二图像650中每个闪光620a、620b、620c和620d相对于瞳孔边缘618的相对位置。
基于两个图像610、650(和可选择地基于以相似方式产生的其它图像)，可对闪光620a、620b、620c和620d相对于瞳孔边缘618的接下来的位置作出预测690。换句话说，如果要用相同的一组加电的发光器来产生第三图像，则第三图像中的闪光620a、620b、620c和620d的位置以及瞳孔基准点630的位置(根据需要)根据它们在第一图像610和第二图像650(和可选择地以相似方式产生的其它图像)中的相应位置被预测。图6用元素692a、692b、692c和692d展示预测的闪光位置，并用元素694展示预测的瞳孔基准点位置。对于每个闪光，其相对于瞳孔边缘618的相对位置可从这些预测的位置中推导出，并用来预测闪光是否将要落在瞳孔边缘上或移动到瞳孔边缘附近一阈值内。
因此，可在不同时间点产生的不同图像中检测闪光。该检测可包括匹配不同图像中的闪光，如图7中进一步展示的那样，并且跟踪这些闪光相对于瞳孔边缘的相对位置，如图8中进一步展示的那样。根据在这些图像中的闪光的相对位置，产生预测的相对位置，以随后确定闪光是否将要落在瞳孔边缘上、移动到瞳孔边缘附近一阈值内，并控制发光器的加电状态。
图7示出根据本公开的实施例的在图像之间进行闪光匹配的示例。总的来说，第一多个闪光被展示在第一图像中而第二多个闪光被展示在第二图像中。可使用图案匹配来识别图像中所示的闪光图案并基于闪光图案来确定各个闪光之间的对应性。
如图7所示，图案匹配可涉及将图像中的闪光的各个位置进行比较。具体地说，第一闪光710可被图示在第一图像中并可计算其在该图像中的位置。第二图像可展示第二闪光750a、750b、750c和750d并且也可计算它们的位置。为了使第一闪光710与第二闪光750a、750b、750c和750d中的一个匹配，每个第二闪光可被设置为潜在匹配。根据从两个图像计算出的对应位置，测量第一闪光710与每个潜在匹配之间的距离。与最小距离或比阈值更小的距离对应的潜在匹配被选为第二图像中第一闪光710的匹配。
为了说明，从第一图像中所展示的第一多个闪光中选择第一闪光710。从第二图像中所展示的第二多个闪光中选择第二闪光750a和第三闪光750b，作为对该闪光的潜在匹配。基于第一图像和第二图像(例如，基于在相应图像中所选择的闪光的相对位置)，计算第一闪光710与第二闪光750a之间的第一距离720以及第一闪光与第三闪光750b之间的第二距离730。基于第一距离720与第二距离730的比较，第二闪光750a被选择为匹配第一闪光710(例如，由于第一距离720是两个距离720、730中最小的一个)。
图8示出根据本公开的实施例的预测闪光相对于瞳孔边缘的位置并确定是否应当移除该闪光的示例。在展示在图8左侧的第一示例810中，使用向量和阈值距离。在展示在图8右侧的第二示例850中，使用向量和准确余量(margin)。这两个示例810、850中的每一个接下来在本文中进一步描述。
在第一示例810中，根据从第一图像和第二图像确定的闪光的第一位置与第二位置之间的距离和方向来确定闪光的预测位置。这可包括产生开始于第一位置并终止在第二位置的闪光向量，并随后重新定位该向量以使其开始于第二位置。预测的位置将会是开始于第二位置的闪光向量的终点。
如图所示，闪光的第一位置820是从第一图像计算出的。闪光的第二位置830是从第二图像计算出的。闪光的第一位置820与第二位置850之间的距离和方向被确定并可被表达为闪光向量812。基于该距离和方向来估算闪光的第三位置840，其中该第三位置840对应于闪光的预测位置(例如，该闪光在第三图像中的估算位置，第三图像中的该闪光是用与该闪光对应的加电的发光器产生的)。具体地说，第三位置840被设为相对于第二位置830处于相同的相等距离和方向上(或者，距离和方向的一些其它函数，这例如取决于眼睛跳视速度)。例如，闪光向量812可被重新定位以开始于第二位置830(图8用闪光向量814示出此重新定位)。闪光向量814的终点是第三位置840。
为了确定是否应当将与闪光对应的发光器断开，可将第三位置840与瞳孔边缘进行比较，例如，与瞳孔边缘上的某个点(例如，具体的瞳孔边缘基准点或瞳孔边缘上的最接近的点)进行比较。该点也可能已基于从第一图像和第二图像计算出的其位置被预测出。该相对位置可包括第三位置与瞳孔边缘之间的预测距离816。如果第三位置与瞳孔边缘相距阈值距离以内(例如，闪光与瞳孔边缘之间的预测的相对位置或类似地闪光与瞳孔边缘上的点之间的预测距离816小于或等于阈值距离)，则作出发光器应当被断电的判断。否则，可以不改变发光器的加电状态。
在一示例中，阈值距离是从存储器可获得的预定义值。在另一示例中，该阈值距离包括基于闪光的第一位置820和第二位置830之间的距离定义的动态值。例如，该距离越大，则眼睛移动越多并且可能越快(例如，眼睛跳视的速度越高)，并且动态值变得越大，以避免闪光到达或越过瞳孔边缘的可能。
在第二示例850中，闪光的预测位置是通过考虑准确余量而确定的。具体地，闪光的第三位置如本文前面结合第一示例810所述的那样被预测。不是使用第三位置与瞳孔边缘之间的距离和阈值距离，而是产生一个圆852。该圆852的中心处于第三位置。其半径是基于第一位置与第二位置之间的距离而定义的(例如，被设为等于该距离或作为该距离的函数)。如果该圆与瞳孔边缘相交，则作出发光器应当被断电的判断。否则，发光器可被保持在加电状态。
图9示出根据本公开的实施例的基于相对于瞳孔边缘的预测闪光位置来控制光源的流程的示例。为了清楚解释，结合单个闪光和两个图像来描述该示例流程。然而，该示例流程同样适用于跟踪和预测多个图像中所展示的多个闪光的相对位置。该示例流程可在眼睛跟踪系统上实施，例如，结合图1-5描述的眼睛跟踪系统。用于执行该流程的操作的指令可作为计算可读指令被存储在眼睛跟踪系统的一个或非暂时性计算机可读介质上。一旦被存储，指令代表可编程模块，该可编程模块包括可由眼睛跟踪系统的一个或多个处理器执行的代码或数据。执行这样的指令对眼睛跟踪系统进行配置以使其执行附图所示和本文描述的具体操作。每个可编程模块与一个或多个处理器中的至少一个处理器一起代表用于执行相应操作的装置。尽管这些操作以具体顺序被图示，但应当理解，不需要具体的顺序并且一个或多个操作可被省去、跳过和/或重新排序。
示例流程开始于操作902，其中眼睛跟踪系统选择预定的一组发光器。在一示例中，可使用不同的因素来进行选择并且这组发光器可以是可用的发光器的子集。这些因素包括优选的最小和最大数量的发光器(例如，至少两个发光器和不超过十个发光器)、来自可用的发光器的发光器的某种分布(例如，选择彼此不过分靠近的发光器——两个相邻的发光器之间的距离大于或等于优选的距离)、发光器的具体图案(例如，形成正方形或某些其它几何形状的边角/顶点的发光器)以及其它因素。如结合示例流程的其余操作进一步阐述的，预定的一组发光器可被更新以基于闪光跟踪来移除和增加发光器。因此，其它有用的因素可关联于闪光跟踪，如本文下面进一步描述的那样。
在操作904，眼睛跟踪系统将预定的一组发光器加电。在一示例中，眼睛跟踪系统的控制器控制发光器的加电状态，并可接通从一个或多个电源到发光器的电力。根据需要，控制器也可对不属于预定的一组发光器的其余发光器切断其电力。
在操作906，眼睛跟踪系统产生第一图像和第二图像，它们展示由预定的一组发光器照射的用户眼睛的至少一部分。在一示例中，第一图像在第二图像之前产生，并且这两个图像中的每一个都是在预定的一组发光器被加电时产生的。
在操作908，眼睛跟踪系统确定两个图像中的闪光之间的对应性。在一示例中，眼睛跟踪系统识别第一图像中的闪光并将此闪光与第二图像中所展示的闪光相匹配。该匹配可使用前面结合图7所描述的闪光图案。
在操作910，眼睛跟踪系统确定第一图像中的闪光的第一位置和第二图像中的闪光的第二位置。在一示例中，第一位置和第二位置中的每个位置是相对于瞳孔边缘而言的。可通过在两个图像中使用同一坐标系来计算这些位置。另外，可确定两个图像中的瞳孔边缘的位置以推导出第一相对位置和第二相对位置。
在操作912，眼睛跟踪系统基于第一位置和第二位置预测闪光相对于瞳孔边缘的第三位置。在一示例中，闪光的下一位置和瞳孔边缘的下一位置是根据它们在两个图像中的位置而被预测的。第三位置可基于闪光和瞳孔边缘的预测位置而作为闪光和瞳孔边缘之间的预测相对位置被推导出。
在操作914，眼睛跟踪系统从预定的一组发光器中确定与闪光对应的发光器。在一示例中，预定的一组发光器中的多个发光器形成发光器图案。第一图像或第二图像中所检测到的闪光或者这两个图像之间的闪光的平均(例如，如果闪光在两个图像之间在两个位置之间移动，则对于该闪光使用这两个位置的平均值；对于其余的闪光也可使用类似的平均位置)形成闪光图案。眼睛跟踪系统可匹配发光器图案和闪光图案以识别来自预定组的发光器与闪光之间的对应性，并因此识别与该闪光对应的具体发光器。
在操作916，眼睛跟踪系统基于第三位置确定是否将发光器断电。在一示例中，使用第三位置来确定闪光的预测的下一位置与瞳孔边缘的预测的下一位置之间的预测距离。该预测距离可与阈值距离进行比较，如图8的第一示例810中所示。如果预测距离小于阈值距离，则确定发光器应当被断电，并且示例流程进至操作918。否则，发光器不应被断电，并且可对于在图像中检测到的其余闪光执行示例流程的一些先前操作。在另一示例中，基于该预测距离产生圆并且该圆的中心位于闪光的预测的下一位置。如图8的第二示例850中所示，判断该圆是否与瞳孔边缘(例如，也是预测的)相交。这里同样的，如果存在相交，则确定发光器应当被断电，并且示例流程进至操作918。否则，发光器不应当被断电，并且可对于图像中检测到的其余闪光执行示例流程的一些先前操作。
在操作918，眼睛跟踪系统已确定与闪光对应的发光器应当被断电。眼睛跟踪系统基于将发光器断电的确定而移除来自预定的一组的发光器的该发光器的标识。以这种方式，眼睛跟踪系统可跟踪哪个(哪些)发光器应当被断电。
在操作920，眼睛跟踪系统基于将发光器断电的确定和/或移除来自预定的一组发光器中的该发光器的标识而将发光器断电。在一示例中，眼睛跟踪系统的控制器控制发光器的加电状态，并将从一个或多个电源至发光器的功率切断。可以对于发光器单独地执行该操作。替代地，眼睛跟踪系统可确定是否应当将其它发光器断电并且另外一些发光器是否应当被加电，如结合接下来的操作进一步描述的那样，以随后共同地控制至这些发光器的功率。
在操作922，眼睛跟踪系统确定剩余的一组已加电发光器是否可接受。在一示例中，眼睛跟踪系统在移除发光器的标识之后和可选择地在移除也应当被断电的其它发光器的标识之后确定来自预定的一组发光器中的剩余的一组发光器。眼睛跟踪系统可使用不同的因素来确定该剩余的一组发光器是否可接受。这些因素包括例如剩余的一组发光器的规模(例如，剩余发光器的总数，如果该总数小于最小数，则确定该剩余的一组发光器是不可接受的)、来自剩余组的发光器的分布(例如，来自剩余组的发光器之间的距离；如果两相邻剩余发光器之间的距离过大，则确定该剩余的一组发光器是不可接受的)、或者发光器的图案(例如，如果该图案形成的几何形状过于复杂而不能与闪光图案匹配或者该图案无法准确地与闪光图案匹配，则确定剩余的一组发光器是不可接受的)。如果确定剩余的一组发光器是可接受的，则操作924可在操作922之后发生。否则，操作926可在操作922之后发生。
在操作924，眼睛跟踪系统产生第三图像。在一示例中，该图像是在发光器断电的情况下产生的，以使得闪光不再被显示在第三图像上。另外，如果来自预定一组的发光器中的其它发光器被断电，则它们的闪光也将不再被显示。相反，如果额外的发光器被加电(以根据操作926调整预定组的发光器)，它们的闪光将被显示在第三图像内。该示例流程将被重复以继续跟踪闪光和控制发光器。
在操作926，眼睛跟踪系统调整预定的一组发光器。在一示例中，除了将应当被断电的发光器的标识去除以外，还可以将其它发光器的标识添加至预定的一组发光器。一旦调整结束，眼睛跟踪系统的控制器控制经调整的一组发光器中的发光器的加电状态，并且如果合适的话将从一个或多个电源至这些发光器的功率接通(并将未在经调整的一组发光器中被识别的发光器的功率切断)。在一示例中，眼睛跟踪系统确定排除在预定的一组发光器之外的额外发光器，选择这些额外发光器中的一个或多个，将它们的标识添加至经调整的一组发光器，并将这些发光器加电。可基于闪光的第一位置与第二位置之间的距离或方向中的至少一个或多个来选择额外的发光器。例如，如果闪光在第二图像中相对于第一图像向右移动，则将额外的发光器选择为(与闪光对应并被确定为断开的)发光器左侧的那个发光器，以使与额外的发光器对应的新的闪光将很可能落在瞳孔内。在另一示例中，与其调整预定的一组发光器，倒不如将该组发光器清空，并且在上文中结合操作902描述的因素被重新使用以选择新的预定组的发光器。在该示例中，被确定为应当断开的任何发光器可在新的预定组的发光器的选择中被排除。
为了清楚和便于理解，已详细描述了本公开。然而，将理解，某些变化和修改可在所附权利要求书的范围内被实践。
上面的描述仅给出示例性实施例，并且不旨在对本公开的范围、适用性或配置构成限制。相反，示例性实施例的上面的描述将为本领域内技术人员提供实施一个或多个示例性实施例的可行性说明。要理解，可在不脱离本文描述的本公开的精神和范围的情况下对各要素的功能和布局作出多种改变。
例如，针对一个实施例描述的任何细节可以出现在或者可以不出现在该实施例的所有预想版本内。同样，针对一个实施例描述的任何细节可以出现在或者可以不出现在本文描述的其它实施例的所有预想版本内。最终，针对本文实施例的任何细节的讨论的缺失应当是含蓄表示这样的细节可以出现在或者可以不出现在本文描述的任何实施例的任何版本中。
下面的说明中给出具体细节以提供对实施例的透彻理解。然而，本领域技术人员将理解，这些实施例没有这些具体细节也可以实施。例如，为了不以不必要的细节来使实施例变得晦涩难懂，本公开中的电路、系统、网络、过程和其它要素可以被图示为框图形式的部分。在其它情况下，为了避免使实施例变得晦涩难懂，公知的电路、过程、算法、结构和技术可以被示出而没有不必要的细节。
另外要注意，各实施例可以被描述为过程，所述过程被描述为流程表、流程图、数据流程图、结构图或方框图。尽管流程图可将操作描述为依序的过程，但许多这样的操作可以并行或同时地执行。另外，可以重新安排操作的顺序。当过程的操作结束时，过程可以终止，但过程可以具有附图中未讨论或未包括的额外步骤。此外，不是任何具体描述的过程中的所有操作都可出现在所有实施例中。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时，过程的终止对应于函数返回到调用函数或主函数。
术语“机器可读介质”包括但不限于，暂时性和非暂时性、便携或固定的存储设备，光学存储设备、无线信道和能够存储、容纳或携带指令和/或数据的各种其它介质。代码段或机器可执行指令可表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或指令、数据结构或程序语句的任意组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容，一代码段可以耦接到另一代码段或硬件电路。信息、自变量、参数、数据等可经由包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的手段被传递、前送或传输。
此外，本公开的实施例可至少部分手动或自动地实施。可通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合来执行手动或自动实施或至少辅助手动或自动实施。当以软件、固件、中间件或微代码实施时，执行必要任务的程序代码或代码段可被存储在机器可读介质中。一个或多个处理器可执行必要的任务。
如本文中所使用的，术语“基于第二物的第一物”等可表示第一物仅基于第二物，或者第一物基于第二物以及一个或多个额外的物。

Claims (20)

1.一种用于跟踪用户眼睛的方法，所述方法由眼睛跟踪系统实现并包括：
产生第一图像和第二图像，所述第一图像和所述第二图像展示在不同的时间点由预定的一组发光器照射的用户眼睛的至少一部分；
确定在所述第一图像中的闪光的第一位置和在所述第二图像中的所述闪光的第二位置，其中所述第一位置和所述第二位置中的每一个都是相对于瞳孔边缘的；
基于所述第一位置和所述第二位置预测所述闪光相对于所述瞳孔边缘的第三位置；
从所述预定的一组发光器中确定与所述闪光对应的发光器；以及基于所述第三位置确定是否对所述发光器进行断电以产生所述用户眼睛的至少所述部分的第三图像。
2.如权利要求1所述的方法，其中所述第一图像展示第一多个闪光而所述第二图像展示第二多个闪光，其中所述第一多个闪光中的每一个相对于所述瞳孔边缘的位置被在所述第一图像中确定，并且其中所述第二多个闪光中的每一个相对于所述瞳孔边缘的位置被在所述第二图像中确定。
3.如权利要求2所述的方法，还包括：基于所述第一图像和所述第二图像中的闪光图案将来自所述第一图像中所展示的所述第一多个闪光的所述闪光与来自所述第二图像中所展示的所述第二多个闪光的第二闪光进行匹配。
4.如权利要求2所述的方法，还包括：
从所述第一图像中所展示的所述第一多个闪光中选择所述闪光；
从所述第二图像中所展示的所述第二多个闪光中选择第二闪光和第三闪光作为针对所述闪光的潜在匹配；
基于所述第一图像和所述第二图像来计算所述闪光与所述第二闪光之间的第一距离以及所述闪光与所述第三闪光之间的第二距离；
基于所述第一距离与所述第二距离的比较而从所述第二多个闪光中选择所述第二闪光，作为与来自所述第一多个闪光的所述闪光的匹配。
5.如权利要求1所述的方法，其中预测所述第三位置包括：
确定所述闪光的所述第一位置与所述第二位置之间的距离和方向；以及
基于所述距离和所述方向来估算所述闪光的所述第三位置，并且其中确定是否对所述发光器进行断电，包括：
基于所述第三位置与所述瞳孔边缘相距阈值距离以内来确定所述发光器应当被断电。
6.如权利要求1所述的方法，其中预测所述第三位置包括：
确定所述闪光的所述第一位置和所述第二位置之间的距离；以及产生圆，所述圆的中心位于所述第三位置并具有基于所述距离的半径，并且其中确定是否对所述发光器进行断电包括：
确定所述圆与所述瞳孔边缘相交；以及
基于所述圆与所述瞳孔边缘相交而确定所述发光器应当被断电。
7.如权利要求1所述的方法，其中确定是否对所述发光器进行断电包括：
基于阈值距离与所述闪光相对于所述瞳孔边缘的所述第三位置之间的比较来确定所述发光器应当被断电。
8.如权利要求7所述的方法，其中所述阈值距离包括基于所述闪光的所述第一位置与所述第二位置之间的距离而定义的动态值。
9.如权利要求1所述的方法，还包括：
基于确定所述发光器应当被断电而移除来自所述预定的一组发光器的所述发光器的标识；
基于来自所述预定的一组发光器的所述发光器的所述标识的移除，而确定来自所述预定的一组发光器的剩余一组发光器；以及
确定所述剩余一组发光器是否可接受用于眼睛跟踪。
10.如权利要求9所述的方法，其中确定所述剩余一组发光器是否可接受是基于下面各项中的至少一个或多个：所述剩余一组发光器的规模、来自所述剩余一组发光器的发光器的分布、或来自所述剩余一组发光器的发光器之间的距离。
11.如权利要求9所述的方法，还包括：
基于确定所述剩余一组发光器是不可接受的，确定排除在所述预定的一组发光器之外的多个额外发光器；
从所述多个额外发光器中选择额外发光器；以及
对所述额外发光器加电。
12.如权利要求11所述的方法，其中所述额外发光器是基于所述闪光的所述第一位置与所述第二位置之间的距离或方向中的至少一个或多个而被选择的。
13.如权利要求9所述的方法，还包括：
基于确定所述剩余一组发光器是不可接受的，选择新的预定的一组发光器，所述新的预定的一组发光器排除所述发光器；以及
将所述新的预定的一组发光器加电以产生所述第三图像。
14.如权利要求1所述的方法，还包括：
基于所述第一图像和所述第二图像预测所述第三图像中的所述瞳孔边缘，其中所述闪光的所述第三位置是相对于预测的所述第三图像中的瞳孔边缘来预测的。
15.一种眼睛跟踪系统，包括：
一个或多个处理器；以及
一个或多个非暂时性计算机可读介质，其存储指令，所述指令在由所述一个或多个处理器执行时，使所述眼睛跟踪系统执行操作，所述操作包括：
产生第一图像和第二图像，所述第一图像和所述第二图像展示在不同的时间点由预定的一组发光器照射的用户眼睛的至少一部分；
确定在所述第一图像中的闪光的第一位置和在所述第二图像中的所述闪光的第二位置，其中所述第一位置和所述第二位置中的每一个是相对于瞳孔边缘的；
基于所述第一位置和所述第二位置预测所述闪光相对于所述瞳孔边缘的第三位置；
从所述预定的一组发光器中确定与所述闪光对应的发光器；以及
基于所述第三位置确定是否对所述发光器进行断电以产生所述用户眼睛的至少所述部分的第三图像。
16.如权利要求15所述的眼睛跟踪系统，其中确定是否对所述发光器进行断电包括：
基于阈值距离与所述闪光相对于所述瞳孔边缘的所述第三位置之间的比较来确定所述发光器应当被断电。
17.如权利要求16所述的眼睛跟踪系统，其中所述阈值距离包括基于所述闪光的所述第一位置与所述第二位置之间的距离而定义的动态值。
18.一个或多个非暂时性计算机可读介质，其存储指令，所述指令在由一个或多个处理器执行时，使眼睛跟踪系统执行操作，所述操作包括：
产生第一图像和第二图像，所述第一图像和所述第二图像展示在不同的时间点由预定的一组发光器照射的用户眼睛的至少一部分；
确定在所述第一图像中的闪光的第一位置和在所述第二图像中的所述闪光的第二位置，其中所述第一位置和所述第二位置中的每一个是相对于瞳孔边缘的；
基于所述第一位置和所述第二位置预测所述闪光相对于所述瞳孔边缘的第三位置；
从所述预定的一组发光器中确定与所述闪光对应的发光器；以及基于所述第三位置确定是否对所述发光器进行断电以产生所述用户眼睛的至少所述部分的第三图像。
19.如权利要求18所述的一个或多个非暂时性计算机可读介质，其中确定是否对所述发光器进行断电包括：
基于阈值距离与所述闪光相对于所述瞳孔边缘的所述第三位置之间的比较来确定所述发光器应当被断电，其中所述阈值距离包括基于所述闪光的所述第一位置与所述第二位置之间的距离而定义的动态值。
20.如权利要求18所述的一个或多个非暂时性计算机可读介质，其中预测所述第三位置包括：
确定所述闪光的所述第一位置与所述第二位置之间的距离和方向；以及
基于所述距离和所述方向来估算所述闪光在所述第三图像中的所述第三位置。
CN201911045499.7A 2018-11-26 2019-10-30 控制发光器以获得最佳闪光 Active CN111214205B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/200,248 US11353952B2 (en) 2018-11-26 2018-11-26 Controlling illuminators for optimal glints
US16/200,248 2018-11-26

Publications (2)

Publication Number Publication Date
CN111214205A CN111214205A (zh) 2020-06-02
CN111214205B true CN111214205B (zh) 2023-11-03

Family

ID=70770339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911045499.7A Active CN111214205B (zh) 2018-11-26 2019-10-30 控制发光器以获得最佳闪光

Country Status (2)

Country Link
US (2) US11353952B2 (zh)
CN (1) CN111214205B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11860371B1 (en) * 2019-05-30 2024-01-02 Snap Inc. Eyewear with eye-tracking reflective element
EP4261662A3 (en) * 2020-06-30 2023-11-29 Apple Inc. Stray light mitigation in optical systems
US11953941B2 (en) * 2021-10-25 2024-04-09 Universal City Studios Llc Interactive device of an attraction system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1725976A (zh) * 2002-11-21 2006-01-25 托比伊科技公司 用于检测和跟踪眼睛及其注视方向的方法和装置
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
CN105900141A (zh) * 2014-01-07 2016-08-24 微软技术许可有限责任公司 将闪光映射到光源
CN106030660A (zh) * 2014-03-28 2016-10-12 英特尔公司 具有动态光照以用于眼睛追踪的计算阵列相机
US9940518B1 (en) * 2017-09-11 2018-04-10 Tobii Ab Reliability of gaze tracking data for left and right eye

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126142A1 (en) 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US6351273B1 (en) 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US20040108971A1 (en) 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
US6424410B1 (en) 1999-08-27 2002-07-23 Maui Innovative Peripherals, Inc. 3D navigation system using complementary head-mounted and stationary infrared beam detection units
US6675001B2 (en) 2000-02-08 2004-01-06 Rosetta Laboratories Pty Ltd. Two-dimensional tuning system for computer-controlled radio equipment
DE50012364D1 (de) 2000-05-16 2006-05-04 Swisscom Mobile Ag Verfahren und terminal zur eingabe von instruktionen
US7380938B2 (en) 2003-03-25 2008-06-03 Sarnoff Corporation Apparatus to detect and measure saccade and pupilary changes
US7164423B1 (en) 2003-04-30 2007-01-16 Apple Computer, Inc. Method and apparatus for providing an animated representation of a reorder operation
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US8386928B1 (en) 2004-03-18 2013-02-26 Adobe Systems Incorporated Method and system for automatically captioning actions in a recorded electronic demonstration
KR100704622B1 (ko) 2004-09-24 2007-04-10 삼성전자주식회사 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스제공방법 및 장치
US7952535B2 (en) 2005-02-20 2011-05-31 Mediatek Singapore Pte Ltd Electronic visual jockey file
GB0508045D0 (en) 2005-04-21 2005-05-25 Univ Newcastle Apparatus and method for monitoring the position of an object
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP5072553B2 (ja) 2007-11-29 2012-11-14 浜松ホトニクス株式会社 眼球運動計測装置
JP5363043B2 (ja) 2008-07-11 2013-12-11 浜松ホトニクス株式会社 眼球運動計測装置
US8644565B2 (en) * 2008-07-23 2014-02-04 Indiana University Research And Technology Corp. System and method for non-cooperative iris image acquisition
US8398239B2 (en) 2009-03-02 2013-03-19 Honeywell International Inc. Wearable eye tracking system
EP2238889B1 (en) 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
US8912023B2 (en) 2009-04-08 2014-12-16 Ledengin, Inc. Method and system for forming LED light emitters
US9071834B2 (en) 2009-04-25 2015-06-30 James Yett Array of individually angled mirrors reflecting disparate color sources toward one or more viewing positions to construct images and visual effects
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
WO2011156195A2 (en) 2010-06-09 2011-12-15 Dynavox Systems Llc Speech generation device with a head mounted display unit
US9285840B2 (en) 2010-08-19 2016-03-15 Michael S. Stamer Detachable sensory-interface device for a wireless personal communication device and method
US20120188148A1 (en) 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US9248309B2 (en) 2011-02-04 2016-02-02 Johnson & Johnson Vision Care, Inc. Light therapy system including spectacle frames and contact lenses
US8570372B2 (en) 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US9069164B2 (en) 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
WO2013033842A1 (en) 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US10394320B2 (en) 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10025381B2 (en) 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US8643951B1 (en) 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
FR2989482B1 (fr) 2012-04-12 2022-12-23 Marc Massonneau Procede de determination de la direction du regard d'un utilisateur.
WO2013168171A1 (en) 2012-05-10 2013-11-14 Umoove Services Ltd. Method for gesture-based operation control
JP5689850B2 (ja) 2012-05-25 2015-03-25 株式会社ソニー・コンピュータエンタテインメント 映像解析装置、映像解析方法、および注視点表示システム
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
EP2926179A1 (en) 2012-11-30 2015-10-07 Essilor International (Compagnie Générale d'Optique) Fresnel lens and optical device
US9039180B2 (en) 2012-12-11 2015-05-26 Elwah LLC Self-aligning unobtrusive active eye interrogation
CN105339866B (zh) 2013-03-01 2018-09-07 托比股份公司 延迟扭曲凝视交互
EP2790126B1 (en) 2013-04-08 2016-06-01 Cogisen SRL Method for gaze tracking
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
JP6070833B2 (ja) 2013-05-08 2017-02-01 富士通株式会社 入力装置及び入力プログラム
US9737209B2 (en) 2013-05-15 2017-08-22 The Johns Hopkins University Eye tracking and gaze fixation detection systems, components and methods using polarized light
JP6048673B2 (ja) 2013-05-22 2016-12-21 パナソニックＩｐマネジメント株式会社 多焦点レンズを有するビューア、および、ビューアの焦点距離変更方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
DE102013013698A1 (de) 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
KR101882594B1 (ko) 2013-09-03 2018-07-26 토비 에이비 휴대용 눈 추적 디바이스
US9383816B2 (en) 2013-11-15 2016-07-05 Kopin Corporation Text selection using HMD head-tracker and voice-command
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US20150138244A1 (en) 2013-11-18 2015-05-21 Tobii Technology Ab Component determination and gaze provoked interaction
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US9201578B2 (en) 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
WO2015117023A1 (en) 2014-01-31 2015-08-06 Mack Corey Augmented reality eyewear and methods for using same
US20150331240A1 (en) 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
US9490119B2 (en) 2014-05-21 2016-11-08 Palo Alto Research Center Incorporated Fabrication of thin-film devices using selective area epitaxy
US10409361B2 (en) 2014-06-03 2019-09-10 Otoy, Inc. Generating and providing immersive experiences to users isolated from external stimuli
CN105511846B (zh) * 2014-09-24 2018-12-14 联想(北京)有限公司 电子设备和显示控制方法
US9778814B2 (en) 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US20160191576A1 (en) 2014-12-31 2016-06-30 Smart Technologies Ulc Method for conducting a collaborative event and system employing same
US9830513B2 (en) 2015-09-24 2017-11-28 Tobii Ab Systems and methods for panning a display of a wearable device
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
US9726896B2 (en) 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
US10489648B2 (en) * 2017-08-04 2019-11-26 Facebook Technologies, Llc Eye tracking using time multiplexing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1725976A (zh) * 2002-11-21 2006-01-25 托比伊科技公司 用于检测和跟踪眼睛及其注视方向的方法和装置
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
CN105900141A (zh) * 2014-01-07 2016-08-24 微软技术许可有限责任公司 将闪光映射到光源
CN106030660A (zh) * 2014-03-28 2016-10-12 英特尔公司 具有动态光照以用于眼睛追踪的计算阵列相机
US9940518B1 (en) * 2017-09-11 2018-04-10 Tobii Ab Reliability of gaze tracking data for left and right eye

Also Published As

Publication number Publication date
US11353952B2 (en) 2022-06-07
US20200166994A1 (en) 2020-05-28
US20220261079A1 (en) 2022-08-18
CN111214205A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN108700932B (zh) 能够进行眼睛追踪的可穿戴设备
US10565446B2 (en) Eye-tracking enabled wearable devices
CN113729611B (zh) 使用眼球中心位置的眼睛追踪
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
US9536354B2 (en) Object outlining to initiate a visual search
CN116368448A (zh) 驱动近眼显示器中光源的方法
CN111214205B (zh) 控制发光器以获得最佳闪光
CN114127610A (zh) 用于估计眼睛姿势的系统和技术
US20150242414A1 (en) Object Occlusion to Initiate a Visual Search
CN109658904A (zh) 一种屏幕亮度调节方法及装置
US9934583B2 (en) Expectation maximization to determine position of ambient glints
CN116724548A (zh) 用于显示内容的电子装置及其操作方法
KR20220033924A (ko) 증강 현실 장치 및 그 제어 방법
KR20200120466A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
WO2019018365A1 (en) CLOTHING DEVICES FOR EYE FOLLOW-UP
KR20220096115A (ko) 전자 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant