CN106132284B - 光学眼动追踪 - Google Patents

光学眼动追踪 Download PDF

Info

Publication number
CN106132284B
CN106132284B CN201480072610.0A CN201480072610A CN106132284B CN 106132284 B CN106132284 B CN 106132284B CN 201480072610 A CN201480072610 A CN 201480072610A CN 106132284 B CN106132284 B CN 106132284B
Authority
CN
China
Prior art keywords
light
eyeball
user
light source
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480072610.0A
Other languages
English (en)
Other versions
CN106132284A (zh
Inventor
何毅
皮波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Huiding Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huiding Technology Co Ltd filed Critical Shenzhen Huiding Technology Co Ltd
Publication of CN106132284A publication Critical patent/CN106132284A/zh
Application granted granted Critical
Publication of CN106132284B publication Critical patent/CN106132284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明揭示了用于眼球移动的光学感测和追踪的方法、系统和装置。在一个方面中，用于追踪眼球移动的方法包括：向用户的眼球发射第一经调制光和第二经调制光，其中所述第一经调制光和所述第二经调制光具有大体上相同的调制频率，但所述两种经调制光的调制相位大体上彼此相反；在光电检测器模块处接收回光，包含来自用户眼球的基于第一和第二经调制光的至少部分回向反射光(retroreflected light)；以及处理来自光电检测器模块的输出信号，以至少基于与第一和第二经调制光相对应的部分回向反射光来确定用户眼球的位置参数和尺寸参数。

Description

光学眼动追踪
相关申请案的交叉引用
本专利文件主张2013年11月9日提交的第61/902,222号美国临时专利申请案和2014年8月13日提交的第62/037,035号美国临时专利申请案的优先权权益。前面提到的专利申请案的全部内容以引用的方式并入作为本文件的揭示内容的一部分。
技术领域
本专利文件涉及眼动追踪和眼球反应感测技术。
背景技术
电子装置依赖于作为输入的各种用户移动来执行不同功能且在各种模式或状态中操作。例如，可以检测到手部移动等用户手势且将其转化成对菜单项或游戏功能的用户控制。类似于手势，可以检测到眼球移动以执行滚动操作、保持屏幕接通或操作抬头显示器。
发明内容
本发明描述了用于对来自眼球的反射光的光学感测和对眼球移动的追踪以映射眼球移动的位置来与某一装置交互的技术、系统和装置。例如，在一些实施方案中，将光学感测和追踪功能整合到所述装置中。
在此专利文件中描述的标的物可以提供以下特征中的一个或多个的特定方式来实施。例如，所揭示的眼球映射技术可以与移动装置(例如智能电话和平板计算机)和计算装置(例如计算机监视器等)整合以追踪操作人员的眼球注视位置、移动以及眨眼状态。例如，所揭示的技术可以基于凝视和眼急动眼球移动将光从眼球的回向反射用于光学感测和眼球映射。所揭示的眼球映射装置和方法可以用作对头部移动不敏感且也对视网膜光反射系数波动不敏感的绝对传感器。
本发明揭示用于眼球移动的光学感测和追踪以在各种应用中执行操作的方法、系统和装置。所描述的方法、系统和装置可以用于实时地追踪用户的眼球相对于装置的显示屏(例如触摸感测屏)的注视点或焦点。可以基于所追踪的用户的眼球的注视点或焦点而在显示屏上产生光标或焦点指示符。所产生的光标或焦点指示符可以用于选择、激活软件应用程序、文件、图形用户界面(GUI)或在GUI上的图标或对象或者与之交互，以产生所希望的动作、操作或效果。所产生的光标或焦点指示符可以与一个或多个另外的用户输入机制组合使用，所述用户输入机制例如装置上的操作按钮、开关或触发器。基于在此文件中描述的眼动追踪的光标或焦点指示符控制可以实施为“眼控鼠标”，以取代物理鼠标或指示器装置来控制光标在显示屏上的移动或位置。在移动或手持式装置中，此“眼控鼠标”可以用于经由显示屏实现单手操作或控制各种操作和功能。
在一个方面中，用于基于用户的注视来控制光标的方法包含向用户呈现显示界面。第一组光源可以用于发射第一经调制光。光电检测器模块可以用于从来自用户的眼球的与来自第一组光源的所发射第一经调制光相对应的回向反射光产生眼动追踪信号。第二组光源可以用于发射第二经调制光。相机等视觉传感器可以用于捕获用户的眼球的图像，包含来自第二组光源的所发射第二经调制光的反射图像。所产生的眼动追踪信号可以用于确定用户的眼球的眼瞳中心坐标，所捕获的用户的眼球的图像可以用于确定显示界面的屏幕中心坐标。所确定的眼瞳中心坐标和所确定的屏幕中心坐标可以用于确定用户的眼球在显示屏上的注视点。光标可以基于所确定的注视点而显示在显示界面上。
在此专利文件中描述的标的物可以提供以下特征中的一个或多个的特定方式来实施。例如，所揭示的眼动追踪技术可以与移动装置(例如智能电话和平板计算机)和计算装置(例如计算机监视器等)整合以追踪且检测操作人员的眼球在移动装置上的注视的位置、以及操作人员的眼球的位置、移动和瞳孔大小。所揭示的技术可以使用基于回向反射光的眼动追踪信息来在移动装置的显示器上实施光标，且基于用户的注视点来调整光标的位置，以用作“眼控鼠标”。眼控鼠标的眼球注视检测功能可以用于按注视收费广告。眼控鼠标的瞳孔大小检测可以用于收集客户反应数据，所述数据可用于广告管理、游戏开发者等。
附图说明
图1为人眼的解剖结构的图示。
图2为视野的图示。
图3A和3B为眼球的图示和图像，显示了眼球被光源照射时的三个反射。
图4A为所揭示的追踪眼球移动的技术的示例性方法的流程图。
图4B为用于眼动追踪方法的用户装置的示例性界面的示意图。
图5A示出在用户装置中实施的所揭示技术的示例性眼动追踪单元的框图。
图5B示出图4A中描述的使用眼球的回向反射和示例性移动装置的多个光源和一个相机的示例性方法的操作的图式。
图6A示出在移动智能电话装置上实施的所揭示技术的示例性眼动追踪装置的图式。
图6B示出在计算机监视器或电视装置上实施的所揭示技术的示例性眼动追踪装置的图式。
图7A示出用于校准的所揭示技术的示例性眼动追踪装置的图式。
图7B示出用于通过检测眼球移动和/或眨眼以控制装置的功能而操作用户装置的所揭示技术的示例性眼动追踪装置的图式。
图8示出使用顺序发光来追踪眼球的移动和使用所揭示技术的示例性跟踪单元来捕获的示例性方法的流程图。
图9示出用于检测眼球移动和/或眨眼以控制装置的功能的所揭示技术的示例性眼动追踪装置的图式。
图10示出包含具有光阻断屏障的单一传感器组且用于检测眼球移动和/或眨眼以控制装置的功能的所揭示技术的示例性眼动追踪装置的图式。
图11A示出描绘从通过示例性装置的用户的眼球产生的回向反射光检测到的在示例性眼控鼠标装置的示例性传感器表面上的示例性回向反射图像的图式。
图11B示出描绘在用户的眼球移动时在示例性传感器表面上的示例性回向反射图像的图式。
图12示出用于追踪眼球的移动且使用所追踪的眼球移动来控制显示屏上的鼠标标记的示例性方法的过程图。
图13示出具有经调制照明光发射器和检测模块的所揭示技术的示例性眼动追踪传感器装置的图式。
图14示出用于检测经调制眼动追踪传感器信号的示例性方法的流程图。
图15示出具有多个经调制照明光发射器和检测模块的所揭示技术的另一示例性眼动追踪传感器装置的图式。
图16示出用于检测多个经调制眼动追踪传感器信号的示例性方法的流程图。
图17示出用于同时检测多个经调制眼动追踪传感器信号的示例性方法的流程图。
图18A示出包含眼球传感器机制和自抵消结构的示例性眼控鼠标模块的图式。
图18B示出与智能电话整合的示例性眼控鼠标装置的图式。
图19A示出在两组光源完全匹配时使用自抵消结构的示例性眼控鼠标模块的模拟结果。
图19B示出在两组光源以少量差异匹配时使用自抵消结构的示例性眼控鼠标模块的模拟结果。
图20A示出在共轴光源和图18A中的参考光源接通时的眼球图像的示意图。
图20B示出在仅检测到图18A中的参考光源时的眼球图像的示意图。
图20C呈现说明追踪眼球注视点的示例性过程的流程图。
图21示出所提出的眼控鼠标模块的测距功能。
图22A示出在移动装置上的免校准眼控鼠标模块的示例性实施方案。
图22B示出所揭示技术的示例性眼球映射装置的图式，所述眼球映射装置包含多个光学成像器和多个光源，所述光学成像器和光源整合在移动通信和/或计算装置中且用于检测眼球移动和/或眨眼以控制移动通信/计算机装置的功能。
图23A示出描绘例如在查看移动通信/计算机装置的监视器时追踪且映射用户的眼球的位置和/或移动的装置的示例性实施方案的图式。
图23B示出人眼的各种光轴的图式以说明所揭示的屏幕中心坐标检测技术的概念。
图24示出说明将角膜表面用作反射透镜的概念的图式。
图25A示出包含四个参考光源的图像的所捕获的用户的眼球图像，以用于检测显示屏的屏幕中心坐标。
图25B示出包含三个参考光源的图像的所捕获的用户的眼球图像，以用于检测显示屏的屏幕中心坐标。
图25C示出证实所提出的免校准眼控鼠标的所确定的眼球注视点对头部移动不敏感的实验结果。
图25D和25E示出来自确定用户的眼球的注视点的示例性眼球映射装置的示例性实施方案的图式和相对应的图像。
图26示出用于使用用户装置通过来自眼球的回向反射来映射眼球移动的示例性方法的过程图。
图27示出包含具有多个显示区域的显示屏和所揭示技术的示例性眼球映射装置的用户装置的图式。
图28示出使用所确定的用户的眼球的注视点来优化利用显示器装置提供给用户的内容的示例性方法的图式。
图29呈现说明确定用户在装置的显示屏上的眼球注视点的示例性过程的流程图。
图30示出在用户移动装置上的示例性眼控鼠标功能按钮设计的图式。
图31说明使用移动装置A上的光源和多元件光学传感器来与站点B(例如第二移动装置)交流数据信息的示意图，所述站点B还包含光源和多元件光学传感器。
图32说明将移动装置上的光源和多元件光学传感器用于用户的视网膜扫描以用于安全性授权的示意图。
图33示出所提出的眼控鼠标技术的目标应用的图式。
具体实施方式
下文提供的实例说明：用于实时地监视和追踪眼球在显示屏上的瞄准的位置和移动的技术；用于使用显示屏上的眼球瞄准来在显示屏上放置和移动光标的技术；以及用于使用装置上的物理触发器来使用光标来选择、激活显示屏上的对象、文件、软件或图标或者与之介接的技术。
在一个方面中，描述具有眼动追踪特征的用户装置。此用户装置包含：前面板，其包含显示屏；第一组光源，其定位在前面板的第一区域处；光电检测器模块，其在前面板上定位在第一组光源附近，以用于从来自用户的眼球的与来自第一组光源的发射光相对应的回向反射光产生眼动追踪信号；第二组光源，其定位在前面板的第二区域处；以及传感器相机，其定位在前面板上以用于捕获用户的眼球的图像，包含来自第二组光源的发射光的反射图像。用户装置还包含耦合到光电检测器模块和传感器相机的处理器，所述处理器可操作以：处理眼动追踪信号以确定用户的眼球的眼瞳中心坐标；处理所捕获的用户的眼球的图像以确定显示屏的屏幕中心坐标；以及比较所确定的眼瞳中心坐标和所确定的屏幕中心坐标以确定用户的眼球在显示屏上的注视点。显示屏经配置以在所确定的注视点处显示光标。
在一个方面中，用于基于用户的注视来控制光标的技术包含以下步骤：向用户呈现显示界面；使用第一组光源来发射第一经调制光；使用光电检测器模块来从来自用户的眼球的与来自第一组光源的所发射第一经调制光相对应的回向反射光产生眼动追踪信号；使用第二组光源来发射第二经调制光；使用传感器相机来捕获用户的眼球的图像，包含来自第二组光源的所发射第二经调制光的反射图像。所述技术进一步包含：处理眼动追踪信号以确定用户的眼球的眼瞳中心坐标；处理所捕获的用户的眼球的图像以确定显示界面的屏幕中心坐标；比较所确定的眼瞳中心坐标和所确定的屏幕中心坐标以确定用户的眼球在显示屏上的注视点；以及在显示界面上基于所确定的注视点显示光标。
在另一方面，用于基于用户的注视来控制光标的过程包含以下步骤：向用户呈现显示界面；使用第一组光源来朝向用户的眼球发射第一经调制光且使用第二组光源来朝向用户的眼球发射第二经调制光，其中第一经调制光和第二经调制光具有大体上相同的调制频率，并且其中第一经调制光和第二经调制光的调制相位大体上彼此相反；在光电检测器模块处接收回光，包含来自用户的眼球的基于来自第一和第二组光源的第一和第二经调制光的至少部分回向反射光；对所接收的光进行滤波以丢弃基于第一和第二经调制光的背景光和散射光；至少基于与第一和第二经调制光相对应的部分回向反射光来处理来自光电检测器模块的输出信号以确定用户的眼球在显示界面上的注视的位置；以及在显示界面上在所确定的注视位置处显示光标。
在另一方面，描述能够与另一便携式装置进行高速通信的便携式装置。便携式装置包含：前面板，其包含显示屏；以及至少一个光源，其在所述前面板上定位在显示屏外部，其中至少一个光源可操作以通过朝向另一个便携式装置发射携载数据信号的光束来向另一个便携式装置发送数据。便携式装置还包含在前面板上定位在显示屏外部的多元件传感器，其中所述多元件传感器可操作以接收通过另一个便携式装置发射的携载数据信号的光束。
图1示出人眼的解剖结构的图式。眼球的外壁包含三个同心层。外层包含：角膜，所述角膜是覆盖用作眼球的聚焦系统的虹膜和晶状体的透明结构；以及巩膜，所述巩膜是形成眼球的纤维保护外层的不透明结构，所述外层包含胶原蛋白和弹性纤维并且还被称作‘眼白’。虹膜是眼球中的薄圆形结构，其包含色素(例如，确定某人的‘眼睛颜色’)且控制瞳孔的直径和大小。瞳孔是在虹膜的中心处的可调整开口，其允许改变通过晶状体进入眼球的光的量。晶状体是透明的双凸面结构，其可以折射光以将其聚焦在视网膜上。视网膜是在眼球的背部中的分层结构，其具有通过突触互连的若干层神经元(感光细胞)，以接收经聚焦光作为图像且将图像转换成电化学神经学信号。视网膜的感光细胞包含视锥细胞(例如，感光细胞的约6％)和视杆细胞(例如，感光细胞的约94％)，所述视杆细胞主要沿着视网膜的外围定位。视锥细胞集中在视网膜的中心区域中，所述中心区域被称为中央窝。黄斑是靠近视网膜的中心且包含中央窝、副中央窝、中央窝周的椭圆形高度着黄色的斑点。中央窝是眼球中包含最大浓度的视锥细胞且负责中心高分辨率视觉的小凹陷。脉络膜是眼球中富含血管的区域，其向视网膜的外层供血。眼球还包含液体，例如位于角膜与虹膜之间的前部区域的水状液，以及位于晶状体后方的后部区域中的玻璃体液。
视野大体上划分成三个区域：中央窝视觉区域、副中央窝视觉区域、外围视觉区域。中央窝区域提供最敏锐的视觉；副中央窝区域预览中央窝信息；且外围视觉对闪光的物体和突然的移动做出反应。例如，外围视觉包含中央窝的敏锐度的大致15％到50％且还是对颜色不敏感的。
图2示出包含中央窝视觉区域、副中央窝视觉区域以及外围视觉区域的视野的图式，其具有所述区域可以看见的视野的示例性范围。在人眼中，这三个视野区域是不对称的。例如，在阅读时，所谓的感知跨度(例如，有效视觉的大小)是向左3到4个字母的凝视空间和向右14到15个字母的空间。并且例如，1°视角大致与3到4个字母的空间等效。
眼球一直在移动，例如，即使在睡眠期间也是如此。存在若干不同类型的眼球移动，所述眼球移动可以包含追逐、震颤、旋转、缓缓移动以及眼急动。在人类中，眼球在注视某一景象时四处移动，而不是固定不变的，从而定位所述景象的所关注部分以在脑海中产生与所述景象相对应的三维图。例如，当扫描某一景象时或当阅读某一页上的文字时，眼球进行急动扫视性移动且停止若干次，在每次停止之间非常快速地移动。眼急动是眼球的快速移动或‘跳跃’，其连接凝视。
眼急动可以是两个眼球在相同的方向上的快速同时的移动。眼急动快速地发生，例如，持续时间为40到120ms；快速地移动，例如高达600°/s；且是冲击式的，其中眼急动的端点在移动期间不能改变。人眼的急动性移动可能是由于在视觉中检测到的在分辨中的物体的作用导致，例如，使得通过移动眼球，使得可以使用神经系统的视觉处理功能性以较大分辨率更有效地感测到景象的较小部分。另一方面，视觉凝视是眼球保持对单一位置的注视的情况。在凝视中，眼球相对静止且‘固定’到某一点，例如，当阅读单一的文字时等。在视觉中，来自景象的信息主要在凝视期间获取。例如，凝视的持续时间可以在120到1000ms之间改变，例如，通常为200到600ms，且典型的凝视频率小于3Hz。
图3A和3B示出说明在眼球被光源照射时的三个反射的眼球的图像和图式。三种类型的眼球反射包含从角膜反射回来的光的角膜反射、从虹膜反射回来的光的虹膜反射以及从视网膜反射回来的光的回向反射。例如，如图3A中示出，角膜反射形成微小斑点；虹膜反射可能看起来较暗但为多彩的；且回向反射可以明亮的且具有较强方向依赖性。图3B的图式示出基于入射到眼球的角膜的入射光束310通过角膜反射而反射的反射光束311；基于已经经过眼球的角膜且入射到虹膜上的入射光束310通过虹膜反射而反射的反射光束312；以及基于已经经过眼球的角膜和晶状体且入射到视网膜的入射光束310通过回向反射而反射的反射光束313。
眼动追踪是测量(某人正注视的)注视点或眼球相对于头部的运动的过程。眼动追踪器装置和系统测量眼球位置和眼球移动。眼动追踪已经在临床上和研究中用于在医疗和认知研究中、以及在心理学中、在认知语言学中和在产品设计中的视觉系统上。
现有眼动追踪模式的一个实例包含基于视频的眼动追踪技术，例如被称作单点方法。单点方法中的此类技术包含追踪眼球的一个可见特征，例如角膜缘(巩膜和虹膜的边界)和/或瞳孔等。例如，摄像机可以观察用户的眼球中的一个。图像处理软件分析视频图像且描绘所追踪的特征。基于校准，系统确定用户当前注视之处。在此类系统中，不允许头部移动，且通常需要咬杆或头枕。在基于视频的眼动追踪技术的替代的但相关的实例中，实施与单点方法的先前描述的实例大体上相同的想法，除了追踪眼球的两个特征，例如，角膜反射和瞳孔。此类方法使用红外光(对人眼不可见)来产生角膜反射且产生明亮或较暗的瞳孔，这有助于系统从视频图像识别瞳孔。
这些示例性现有方法中的每一个都具有相当大的限制和不足。例如，两者都需要安装在底部或头部上的额外装置。并且，此类方法需要眼动追踪系统或装置，所述眼动追踪系统或装置不能合并到智能电话或平板计算机等移动装置中。另外，这些现有方法提供可以被提取的非常有限的信息，例如，不管是使用亮瞳测量还是暗瞳测量，且相关联的软件可能是相当复杂且不可靠的。
揭示用于使用用户接口来与某一装置交互而对眼球移动进行光学感测和追踪的技术、系统和装置。例如，在一些实施方案中，将光学感测和追踪功能整合到所述装置中。
所揭示的眼动追踪技术可以与移动装置(例如，智能电话和平板计算机)和计算装置(例如，计算机监视器等)整合以追踪操作人员的眼球位置、移动以及眨眼状态。例如，所揭示的技术可以基于凝视和眼急动眼球移动将光从眼球的回向反射用于光学感测和眼动追踪。
在一个方面中，用于追踪眼球的移动的方法包含：使用与装置的光电检测器模块(例如，相机)等间隔的多个(例如，三个)光源朝向用户的眼球发射光；在光电检测器模块处接收通过多个光源中的每一个发射的从眼球回向反射的光的至少部分回向反射；以及基于与多个光源相对应的至少部分回向反射的微分值来确定眼球的位置参数。例如，所述装置可包含但不限于，智能电话、平板计算机、照相机或摄像机、计算机监视器或膝上型计算机。例如，在一些实施方案中，所述方法可以在用户的头部在运动中(例如，相对于装置的运动)时实施。例如，在所述方法的一些实施方案中，多个(例如，三个)光源可以发射不同颜色的彩色光，例如，其中彩色光可以包含红光、绿光、蓝光以及黄光或其任何组合；不同波长的彩色光；和/或不同调制频率的彩色光。例如，在所述方法的一些实施方案中，发射光可以包含红外光。并且，例如，发射光可以包含在与光电检测器模块(例如，相机)的帧速率相关的频率处的闪光。例如，在一些实施方案中，所述方法进一步包含使用在示例性相机处所接收的至少部分回向反射，检测眼球的眨眼移动。另外，所述方法可以进一步包含处理所检测到的眨眼移动以作为数据，且在某一实施方案中，所述方法还可以将所述数据用作装置的至少一个功能的输入数据。
图4A示出描绘用于追踪眼球的移动的所揭示技术的示例性方法的过程图。所述方法包含朝向用户的眼球发射来自多个对应的光源的多种(例如，三种)类型的光的过程，其中所述三个光源与用户的装置的光电检测器模块(例如，相机)等间隔。例如，所述过程可以使用一个相机实施，其中三个光源从相机偏移相等的距离。
所述方法包含使用示例性相机接收通过三个光源中的每一个发射的从眼球回向反射的三种类型的光的至少部分回向反射的过程。例如，所述距离经配置使得相机可以接收来自所有光源的回向反射的至少部分。例如，三个光源可以发射相同或不同颜色的彩色光，或在其它实例中，发射红外光，以避免刺激用户。在一些实例中，光源可以是彩色发光二极管(LED)，如图4B中举例说明，所述图4B示出用户的装置的实施示例性眼动追踪方法的示例性界面的说明图。可以选择示例性LED来发射特定的RGB颜色，例如，以匹配相机传感器上的彩色滤波器。示例性LED可以是红外线LED。示例性彩色或红外线LED可以与相机视频帧同步的顺序接通。并且，例如，三个光源可以在时域中发射闪光，但应注意，闪光可能减少数据速率。
返回参考图4A，所述方法包含确定眼球的位置参数的过程，所述位置参数例如眼球正注视的方向或眼球在空间中的位置等。例如，通过计算三个回向反射(例如，与三个光源相对应的至少部分回向反射)的微分值，可以确定眼球移动的方向和其它参数。
在一些实例中，确定眼球和眼球移动的方向、位置和/或其它位置参数的过程可以包含以下内容。
所揭示的方法对眼球距离和头部移动不敏感，例如，提供可靠的眼动追踪解决方案。此眼动追踪器还可以容易地可靠地检测操作人员眨眼，其中眨眼信息可以经处理作为数据且用作装置的输入。例如，智能电话操作往往会相隔1到2英尺的距离。所揭示的方法在多种距离和角度(例如，包含0.1°到0.25°)，且不限制头部运动的情况下起作用，并包含0.02°rms的头部自由分辨率。
所揭示的方法可以顺序地或同时地实施追踪用户的两个眼球的移动。
图5A示出在用户的装置599中实施的眼动追踪单元500的框图，例如，所述用户的装置可以是但不限于，智能电话、平板计算机、照相机或摄像机、计算机监视器或膝上型计算机。眼动追踪单元500包含相对于装置599的相机504彼此等间隔的三个光源501、502和503。眼动追踪单元500包含耦合到存储器单元506的处理单元505。存储器单元506可以例如包含处理器可执行代码，所述代码在被处理单元505执行时配置眼动追踪单元500以执行各种操作，例如，(例如)从相机504接收信息、命令和/或数据，处理信息和数据，且向另一实体(例如，光源501、502和503和/或相机504等)或向用户装置599发送或提供信息/数据或命令。例如，在一些实施方案中，存储器单元506可以配置为磁盘或固态装置(SSD)存储单元。
在眼动追踪单元500的一些实施方案中，眼动追踪单元500可以利用用户装置599的处理单元和/或存储器单元。
图5B示出在图4A中描述的使用眼球的回向反射和用户装置599(例如，智能电话等)的多个光源和一个相机的示例性方法的操作的图式。图5B的图式示出对应地基于通过光源501和502产生的入射光束510a和510b通过回向反射而反射的反射光束513a和513b。入射光束510a和510b的光路径包含经过眼球的角膜和晶状体且变得入射到视网膜。入射到视网膜上的光可以被视网膜回向反射，使得回向反射光的光路径再次经过晶状体和角膜且朝向其来源，如通过回向反射光束513a和513b所示。回向反射光束513a和513b可以通过相机504捕获。例如，一些回向反射光可能朝向远离用户的装置599，如图5B的示例性图式中的回向反射光560所说明。并且例如，一些发射光可以从虹膜反射，如在图式中表示为虹膜反射570。
图6A示出在移动智能电话装置698上实施的眼动追踪装置500的图式。
图6B示出在计算机监视器或电视装置699上实施的眼动追踪装置500的图式。
在其它实例中，所揭示的眼动追踪技术可以在头戴式显示器(HUD)装置(例如，谷歌眼镜等)上实施。
例如，在一些实施方案中，眼动追踪单元500包含显示屏515，所述显示屏配置在用户装置599的外部的与光源501、502和503以及相机504所位于的侧面相同的侧面上。显示屏515可以通信方式耦合到处理单元505和/或存储器单元506。例如，显示屏515可以是用户装置599固有的显示屏。
图7A示出眼动追踪单元500的显示屏515的可以用于眼动追踪单元500的校准的示例性配置的图式。例如，显示固定位置标记516，其中，校准操作包含用户在某一时间处集中观看一个突出标记且按下用户装置599的选择按钮。固定位置标记516可以移动到显示屏515上的若干位置，以屏幕的四个拐角和中心来举例说明，其中活动标记用红色指示。例如，固定位置标记516可以示出若干次且在待显示的若干位置中以执行校准操作。
图7B示出包含显示屏515且在多种应用中的任一个中操作的眼动追踪单元500，在所述应用中，眼球移动被用作其中实施眼动追踪单元500的用户装置599的输入数据。例如，眼动追踪单元500可以在用户执行的操作中检测用户的眼球的位置参数，所述操作包含但不限于，用眼睛选择显示屏515上的按钮、图标或文本517以实施用户装置599(例如，尤其是智能电话或平板计算机等)的程序。另外，例如，所揭示的眼动追踪技术可以使用通过眼动追踪单元500检测到的眨眼，且利用眨眼数据(正如眼球移动数据一样)来激活用户装置599的应用功能。
图8示出使用顺序发光来追踪眼球的移动和使用跟踪单元500来捕获的示例性方法的过程图。所述方法包含从光源501(例如，LED 1等)发射第一光，且使用相机504来捕获在第一视频帧中通过眼球回向反射的第一发射光的回向反射的图像。所述方法包含从光源502(例如，LED 2等)发射第二光，且使用相机504来捕获在第二视频帧中通过眼球回向反射的第二发射光的回向反射的图像。所述方法包含从光源503(例如，LED 2等)发射第三光，且使用相机504来捕获在第三视频帧中通过眼球回向反射的第三发射光的回向反射的图像。第一、第二以及第三视频帧可以包含于帧集(例如帧集数据1或{S1})中。所述方法包含使用{S1}的第一、第二以及第三视频帧数据来计算眼球的与发射三种光且捕获三个视频帧的时间的实例相对应的位置。所述方法包含重复此过程(例如n次)以产生多个顺序帧集{S}n。
所述方法还可以包含检测眼球的眨眼且将所检测到的眨眼用作用于管理跟踪单元500的装置的数据。例如，当用户的眼球已经眨眼时，回向反射光消失，这将在多帧数据集上检测到，且这是用于检测眨眼的特征。例如，可以处理多帧集数据{Sn}以确定眨眼事件的发生、眨眼事件的频率、眨眼的速度、眨眼的持续时间(例如，闭眼的时间)，以及哪只眼睛眨眼(例如，左眼或右眼眨眼或两者均眨眼)。这些可以全都用作影响装置的功能(例如，智能电话或计算机的机器状态)的输入数据。
图9示出包含具有棱镜的单一传感器组且用于检测眼球移动和/或眨眼以控制装置的功能的所揭示技术的示例性眼动追踪装置的图式。在一些实施方案中，示例性眼动追踪装置可以用作高分辨率‘眼控鼠标’。在此实例中，示例性眼动追踪装置可以包含以光学方式耦合到微透镜3的偏振光束分光器1，其中微透镜3定位在偏振光束分光器1和带通滤波器35之间，所述带通滤波器以光学方式对进入光电检测器模块33的光进行滤波。示例性眼动追踪装置可以包含光源(例如近红外LED 11)，所述光源可以特定频率调制，其中光源11以光学方式耦合到线偏振器13(其以光学方式耦合到偏振光束分光器1)以从装置发送可以通过用户的眼球回向反射的探测光(例如，LED照射的光束15)。光电检测器模块33可以经构造以包含光电检测器敏感阵列25以检测到模块33中的输入光，所述输入光可以包含来自用户的眼球的回向反射光，例如，所述回向反射光被带通滤波器35滤波。例如，如图9中示出，光电检测器敏感阵列25在图像光斑29处检测与用户的右眼18的回向反射光束21相对应的光，且在图像光斑27处检测与用户的左眼19的回向反射光束23相对应的光。示例性眼动追踪装置可以包含处理单元，其以通信方式耦合到光电检测器模块33以处理光电检测器敏感阵列25上的经光电检测信号以作为数据。处理单元可以包含通用处理器，其耦合到存储器单元以存储原始和经处理数据。处理单元可以经配置以执行基于所检测到的回向反射光信号数据来追踪眼球移动且控制用户装置的功能(例如，包含改变用户装置的显示器)的方法。在示例性眼动追踪装置的一些实施方案中，用户装置的包含处理器的处理单元和存储器单元用于实施所揭示技术的数据处理方法。
图10示出包含具有光阻断屏障的单一传感器组且用于检测眼球移动和/或眨眼以控制装置的功能的所揭示技术的示例性眼动追踪(眼控鼠标)装置的图式。在此实例中，示例性眼动追踪装置可以包含光源(例如，近红外LED 11)，所述光源可以特定频率调制，其中光源11以光学方式耦合到线偏振器13以从装置发送可以通过用户的眼球回向反射的探测光(例如，LED照射的光束15)。示例性眼动追踪装置可以包含线(接收)偏振器41，其以光学方式耦合到微透镜3且配置成靠近光源11和线(发送)偏振器13但通过光阻断器壁或屏障45而与光源11和线(发送)偏振器13分离。示例性光追踪装置带通滤波器35，所述带通滤波器配置在微透镜3后方以便以光学方式对进入光电检测器模块33的光进行滤波。光电检测器模块33可以经构造以包含光电检测器敏感阵列25以检测到模块33中的输入光，所述输入光可以包含来自用户的眼球的回向反射光，例如，所述回向反射被带通滤波器35滤波。例如，如图9中示出，光电检测器敏感阵列25在图像光斑29处检测与用户的右眼18的回向反射光束21相对应的光，且在图像光斑27处检测与用户的左眼19的回向反射光束23相对应的光。示例性眼动追踪装置可以包含处理单元，其以通信方式耦合到光电检测器模块33以处理光电检测器敏感阵列25上的经光电检测信号以作为数据。处理单元可以包含通用处理器，其耦合到存储器单元以存储原始和经处理数据。处理单元可以经配置以执行基于所检测到的回向反射光信号数据来追踪眼球移动且控制用户装置的功能(例如，包含改变用户装置的显示器)的方法。在示例性眼动追踪装置的一些实施方案中，用户装置的包含处理器的处理单元和存储器单元用于实施所揭示技术的数据处理方法。
图11A示出描绘在示例性眼控鼠标装置(例如图9和10中示出的那些眼控鼠标装置)的示例性传感器表面(例如，光电检测器敏感阵列25)上的示例性回向反射图像的图式，其中图像从来自示例性装置的用户的眼球的回向反射光检测到。图11B示出描绘在用户的眼球移动时在示例性传感器表面上的示例性回向反射图像的图式，使得图像微分可以使用示例性装置的处理单元产生追踪信号。
图12示出用于追踪眼球的移动且使用所追踪的眼球移动来控制显示屏上的鼠标标记的示例性方法的过程图。示例性方法可以包含从一个或多个光源朝向用户的眼球发射光的过程，所述光源配置在包含所揭示技术的眼动追踪装置的用户的装置中。例如，用户的装置可包含但不限于，智能电话、平板计算机、照相机或摄像机、计算机监视器或膝上型计算机。所述方法可包含在用户的装置中的所揭示技术的眼动追踪装置的光电检测器模块处接收通过一个或多个光源发射的光的回向反射的过程，其中回向反射光通过用户的眼球(例如，左眼、右眼和/或两个眼球)回向反射。所述方法可包含使用所揭示技术的眼动追踪装置的处理单元或用户装置上存在的处理单元来基于所接收的/所检测到的回向反射光来确定眼球的位置和/或移动方向。在一些实施方案中，确定眼球的位置和/或移动方向的过程可以包含控制用户装置的功能，例如，包含拖动用户装置的显示屏上的标记(例如，鼠标标记)或根据所确定的位置和/或移动方向而改变显示屏。例如，当视点不与鼠标标记重叠时，所述方法可包含经由执行逻辑操作来重新对准视点与鼠标标记。
图13示出具有经调制照明光和检测单元的所揭示技术的示例性眼动追踪传感器的图式。示例性眼动追踪传感器装置可以包含光源单元(例如，LED光源)来朝向用户发射经调制光。示例性眼动追踪传感器装置可以包含配置成接近光源的一个或多个光阻断壁或屏障，以阻止来自光源的光照射/照明在示例性眼动追踪传感器装置的图像传感器上。示例性眼动追踪传感器装置可以包含成像光学器件(例如，一个或多个微透镜)以接收光并将其输入到装置中，其中成像光学器件可以配置成接近光阻断壁(所述光阻断壁防止来自光源单元的发射光直接地进入成像光学器件)。示例性眼动追踪传感器装置可以包含光电检测器阵列以检测通过成像光学器件发送的光。在示例性眼动追踪传感器装置的实施方案中，光源经配置以发射经调制光(例如，在一个或多个频率处)，所述经调制光可以从眼球回向反射且经由示例性眼动追踪传感器装置的成像光学器件通过光电检测器阵列接收。例如，光电检测器阵列可以经配置以包含像素和解调电路，以辨别通过光源发射的经调制频率的光与未经此类调制的其它光(例如，周围环境中的环境光)。在一些实施方案中，示例性眼动追踪传感器装置可以通信方式与用户装置的处理单元耦合。
图14示出用于检测经调制眼动追踪传感器信号的示例性方法的过程图。示例性方法可以包含从所揭示技术的眼动追踪传感器装置(例如，图13中的眼动追踪传感器装置等)的发光单元发射具有固定调制的光(例如，LED光)的过程。示例性方法可以包含在光电检测器阵列处检测经调制光的过程，所述光电检测器阵列包含包含像素的解调电路。所述方法可包含对所检测到的经调制光解调的过程，其中仅记录和存储经解调信号(例如，存储在存储器中，所述存储器可以配置在解调电路中)，且丢弃不具有调制频率的光。所述方法可包含读出每一像素的所存储信号的过程，例如，使用耦合到解调电路或包含于解调电路中的扫描读出电路。
图15示出具有经调制照明光和检测单元的所揭示技术的另一示例性眼动追踪传感器的图式。图15的示例性眼动追踪传感器装置可以包含多个光源单元(例如，LED光源#1和LED源#2)以朝向用户发射多种经调制光(例如，经调制光#1和经调制光#2)。示例性眼动追踪传感器装置可以包含配置成接近光源的一个或多个光阻断壁或屏障，以阻止来自光源的光照射/照明在示例性眼动追踪传感器装置的图像传感器上。示例性眼动追踪传感器装置可以包含成像光学器件(例如，一个或多个微透镜)以接收光并将光输入到装置中，其中成像光学器件可以配置成接近光阻断壁以防止来自多个光源的发射光直接地进入成像光学器件。示例性眼动追踪传感器装置可以包含光电检测器阵列以检测通过成像光学器件发送的输入光。在示例性眼动追踪传感器装置的实施方案中，多个光源经配置以发射多个经调制光束(例如，在不同调制频率处)，所述经调制光束可以从眼球回向反射且经由示例性眼动追踪传感器装置的成像光学器件通过光电检测器阵列接收。例如，光电检测器阵列可以经配置以包含像素和解调电路，以辨别通过多个光源单元发射的经调制频率的光与未经此类调制的其它光(例如，周围环境中的环境光)。在一些实施方案中，示例性眼动追踪传感器装置可以通信方式与用户装置的处理单元耦合。
图16示出用于检测多个经调制眼动追踪传感器信号的示例性方法的过程图。示例性方法可以包含从所揭示技术的眼动追踪传感器装置(例如，图15中的眼动追踪传感器装置等)的第一光发射源(例如，LED光源)发射具有固定调制的第一光束(例如，LED光)的过程。示例性方法可以包含在光电检测器阵列处检测第一经调制光束的过程，所述光电检测器阵列包含包含像素的解调电路。所述方法可包含对所检测到的第一经调制光解调的过程，其中仅记录和存储经解调信号(例如，存储在存储器中，所述存储器可以配置在解调电路中)，且丢弃不具有第一调制频率的光。所述方法可包含读出每一像素的与第一经调制光相对应的所存储信号的过程，例如，使用耦合到解调电路或包含于解调电路中的扫描读出电路。示例性方法可以包含从所揭示技术的眼动追踪传感器装置(例如，图15中的眼动追踪传感器装置等)的第二光发射源(例如，LED光源)发射具有固定调制的第二光束(例如，LED光)的过程。示例性方法可以包含在光电检测器阵列处检测第二经调制光束的过程，所述光电检测器阵列包含包含像素的解调电路。所述方法可包含对所检测到的第二经调制光解调的过程，其中仅记录和存储经解调信号(例如，存储在存储器中，所述存储器可以配置在解调电路中)，且丢弃不具有第二调制频率的光。所述方法可包含读出每一像素的与第二经调制光相对应的所存储信号的过程，例如，使用耦合到解调电路或包含于解调电路中的扫描读出电路。所述方法可包含如图16中所示顺序地或如图17中所示同时地实施示例性第一和第二经调制光的发射、检测和解调以及读出过程。
图17示出用于同时检测多个经调制眼动追踪传感器信号的示例性方法的过程图。例如，可以使用波长不同的两个不同光源，例如，其中第一光源发射波长>850nm的光，例如，在一些实例中波长为940nm，并且其中第二光源发射波长<850nm的光，例如，波长为780nm。例如，可以使用示例性波长，因为眼球晶体对两个不同波长可能具有不同的吸收率，而人的皮肤和其它背景对这两个波长具有极小的差异。通过比较S1和S2信号，人们可以进一步丢弃背景信号。在其它实施方案中，两个光源还可以具有相同的波长和/或相同的调制频率但具有良好界定的相位差，例如相位差π，因此处理器可以处理信号以提取关于眼球位置或移动的信息。
如常规的鼠标一样起作用，所提出的“眼控鼠标”模块通过追踪和检测用户的眼球注视来控制显示器上的计算机光标。在一些实施方案中，当用户略微旋转或移动某一移动装置或者旋转或移动他的/她的头部或者旋转/移动移动装置且同时旋转/移动头部时，光标持续地移动到用户的所希望的位置。因此，用户可以在此类应用中将移动装置视为常规鼠标。
当操作与移动装置整合的眼控鼠标模块时，移动装置上的光源(其为眼控鼠标模块的部分)可以朝向用户投射光。来自用户的眼球的回向反射光以少量发散返回到光源。然而，用户的脸部和其它表面可以散射来自光源的光且散射光可以返回到光源。假设眼瞳孔口的直径是3mm，那么脸部和其它表面具有约为眼瞳面积的5000倍的总面积。此实例意味着仅返回到光源的1/5000光可能有用，这表示检测有用信号的严重问题。在一些实施例中，眼控鼠标模块配置有自抵消结构以丢弃由于从脸部和其它物体表面的散射而导致的背景信号，因此在操作眼控鼠标时仅可以追踪眼球或类似光学器件。
图18A示出包含眼球传感器机制和自抵消结构的示例性眼控鼠标模块1800的图式。注意，眼控鼠标模块1800通常位于包含显示屏的装置上。在此示例性实施方案中，眼控鼠标模块1800中的两组光源用于促进检测眼瞳。更具体地说，第一组光源701接近接收传感器707和透镜705的轴线放置。光源701可以被称作“共轴光源”。另一组光源703远离透镜705的轴线而放置。光源703可以被称作“参考光源”。通常，参考光源703和透镜705之间的距离可以设定为约5mm。随后朝向用户投射来自光源701和703的光束。在一些实施例中，第一和第二组光源701和703中的每一个包括单一光源，例如LED。
在用户通过手抓握包含眼控鼠标模块的装置的典型的情况下，投射在眼瞳700上的光功率大大小于投射在用户的脸部708和例如用户的肩部等其它表面上的光功率(例如，仅约为其1/5000)。来自用户的眼球的回向反射光可以在有限区域(例如，相距600mm的距离处的约10mm直径孔口区域)内分布，其中光源在所述孔口的中心处。从脸部和其它表面散射的光通常分布到大得多的区域中，如果使用朗伯散射模型，那么所述区域可以通过半球描述(例如，约2πR2或251000到2262000mm2)。注意，如果接收透镜705具有小于回向反射光束大小的孔口，那么回向反射光和散射光之间的对比度通常是仅0.64到5.8。此低比值意味着传感器707必须具有多个元件。例如，如果传感器具有N个检测器元件，那么对比度可以在眼球图像位置处提高N倍。
图18A中所说明的设计提供在不需要增加传感器元件的情况下提高眼球检测对比度的技术。在特定实施方案中，两组光源701和703可以具有类似波长和大体上相同的空间功率分布。这可以通过调整光源701和703的驱动电流来实现。两组光源可以大体上相同的频率和相同的调制深度来调制。然而，对两个光源执行的调制具有相位差约180°。注意，来自人脸和其它散射表面的所接收的散射光包含光源701和光源703两者的散射光。由于约180°的调制相位差，来自这两个来源的散射光大体上彼此抵消，且散射光的其余部分构成产生DC信号的稳定电源。在一些实施方案中，阻DC滤波电路用于对这些高DC比信号进行滤波。此外，来自光源701和703的回向反射光通常具有极小发散角，且图18A中所说明的配置允许传感器707从共轴光源701接收多得多的回向反射光。因此，所接收的AC信号主要来自共轴光源701的回向反射光。此结果被称作“自抵消”。
进一步参考图18A，来自传感器707的输出信号耦合到眼控鼠标模块的处理单元710，所述处理单元可操作以运行程序以处理通过传感器707产生的AC信号以确定用户的眼球在显示器720上的注视点。更具体地说，处理单元可以基于与共轴光源701和参考光源703相对应的回向反射光来确定注视点。在一些实施例中，处理单元可以主要基于与共轴光源701相对应的回向反射光来确定注视点。处理单元710随后可以基于所确定的注视点来在显示器720上显示光标或更新光标的显示。注意，当眼控鼠标模块持续追踪显示器720和用户700的眼球之间的相对移动(线性的和旋转的两者)时，处理单元基于改变的眼球的注视点持续地更新光标在显示器720上的位置。
图18B示出与智能电话1804整合的示例性眼控鼠标模块1802的图式，所述示例性眼控鼠标模块基于所确定的用户1810的注视点来在显示屏1808上显示光标1806。
图19A示出在两组光源完全匹配时使用自抵消结构的示例性眼控鼠标模块的模拟结果。在此实施例中，两个完全匹配的光源具有相同的强度、相同的调制特征曲线和相反相位。此外，来自脸部和其它表面的散射光大多具有DC输出，所述DC输出被滤波电路丢弃。因此，所检测到的AC信号分量大体上与眼球相对应。可以观察到，脸部和其它散射表面造成探测光噪声的41％的增加。与来自环境背景光的噪声相比，上述增加是大体上可忽略的。
图19B示出在两组光源以少量差异匹配时使用自抵消结构的示例性眼控鼠标模块的模拟结果。在此实例中，两个光源在强度上具有2％的差异，且调制相位差是178°而非180°。模拟结果显示，此设计实现约25倍的信号与背景对比度提高，或约18倍的SNR提高。
注意，使用图19A和图19B中示出的设计，通过相对于光源的输出和环境光强度来校准所接收的AC信号分量，可以方便地且可靠地检测到瞳孔大小改变。更具体地说，回向反射信号强度改变可以用于通过测量所接收的回向反射信号强度改变或通过直接地对瞳孔图像占用的传感器元件的数目计数来确定瞳孔大小改变。此外，所接收的回向反射信号还可以用于确定某人是否正注视屏幕和此人正注视屏幕上的哪个区域。
注意，系统不需要在两个帧之间比较以丢弃背景以便产生眼动追踪信号。替代地，眼动追踪信号通过传感器707实时地产生。这是非常有用的，尤其是在缓慢帧速率感测期间。另外，所提出的眼控鼠标结构可以将对检测器元件的数目的需求减少约18或更多的因子。例如，自抵消眼控鼠标模块的10×20传感器可以比没有自抵消设计的使用直接检测的40×80传感器实现更好的结果。
图20A示出在共轴光源和图18A中的参考光源接通时的眼球图像的示意图。注意，瞳孔333是明亮的。瞳孔333内在右侧的亮斑7013表示图18A中的共轴光源701的角膜反射图像，且在左侧的亮斑7033表示图18A中的参考光源703的角膜反射图像。因为来自角膜表面331的反射光具有宽发散角且共轴光源701和参考光源703接近彼此，所以图18A中的传感器707在共轴光源701照明下和在参考光源703照明下接收通过角膜表面331反射的相同比值的光功率。换句话说，除非传感器分辨率极其高，否则眼控鼠标传感器不区分两个光源的角膜反射。由于其中两个角膜反射具有相反相位的自抵消设计，角膜反射作用可以消除。类似于角膜反射抵消，还可以去除来自其它平滑表面(例如眼镜框架表面)的反射的影响。因此，图18A中所说明的眼控鼠标的自抵消设计大大改进了眼瞳检测。在良好校准的眼控鼠标传感器模块中，AC信号强度直接地反应与眼瞳大小成比例的眼球的回向反射强度。
图20B示出在仅检测到图18A中的参考光源时的眼球图像的示意图。在此情况下，瞳孔区域333较暗。图18A中的参考光源703的角膜反射图像7033变得可检测。此情况可以通过断开共轴光源701或通过以不同频率调制两组光源使得在不同频带中进行检测来实现。
图20C呈现说明追踪眼球注视点的示例性过程的流程图。所述过程在图18A和图20A和20B的情形中描述。所述过程可以通过接通共轴光源和参考光源两者而开始，其中这两个光源以相同特征曲线(例如，相同频率和深度)但以大体上相反的相位调制。接着，测量眼瞳位置和大小。一旦测量到眼瞳位置，眼控鼠标传感器就可以聚焦于附近的检测器元件以检测参考光源703的角膜反射图像7033。更具体地说，所述过程可以断开共轴光源或以不同频率调制两组光源。所述过程随后测量参考光源的角膜反射图像光斑位置。所述过程随后可以比较参考光源的角膜反射图像光斑位置和眼瞳中心的位置。眼瞳中心和角膜反射图像光斑之间的偏移提供关于眼球注视方向的信息。所述过程还可以分析眼球注视点。图18A中的传感器707上的两个眼球的两个图像之间的距离提供校准眼球注视方向的测量尺度。
图21示出所提出的眼控鼠标模块的测距功能。利用眼球的回向反射光，所提出的眼控鼠标模块可以实现3D检测功能。更具体地说，光传感器和用户的眼球之间的范围或距离可以通过比较相移来测得。注意，所接收的回向反射光具有相对于朝向用户的眼球发送的探测光的时延。眼控鼠标模块中的处理器可以通过测量所发送的光信号和所接收的光信号之间的相位延迟来测量从传感器到用户的眼球的距离。注意，所确定的范围或距离信息可以在显示器的2-D平面中与所确定的注视点组合以产生3D眼动追踪数据。
图22A示出在移动装置上的免校准眼控鼠标模块的示例性实施方案。更具体地说，图22A示出示例性移动装置2200，其包括前面板2202、示出为前面板2202内的矩形区域的显示屏200，以及多个传感器和光源。免校准眼控鼠标模块包含光源701、703以及传感器组合件702，所述光源和传感器组合件位于移动装置2202的前面板2202上但在显示屏200外部。根据上述技术，光源701、703以及传感器组合件702以自抵消设计配置以检测眼瞳中心坐标。换句话说，传感器组合件702可以执行结合图18A描述的传感器707的所有功能，包含检测眼瞳位置。在一个实施例中，光源701是共轴光源，光源703是离轴参考光源，且传感器组合件702是多元件传感器，例如，传感器组合件702可以包含高清光电二极管阵列。
免校准眼控鼠标模块还包含一组参考光源101、103、105和107。在一个实施例中，参考光源101、103、105和107在显示屏200内位于显示屏200的四个拐角处(即，每个角落存在一个参考光源)，且放置在显示屏200的防护玻璃罩下。此布置对具有有限框架界限的移动装置实用。在其它实施例中，参考光源101、103、105和107可以定位在显示屏200的略外部且靠近显示屏200的四个拐角(即，一个参考光源靠近每一角落)，或所述参考光源可以定位在显示屏200的每个角落的右侧。在所示出的实施例中，四个参考光源101、103、105和107对称地定位到显示屏200的四个拐角以界定矩形区域，其中所界定的矩形区域的中心与显示屏200的中心重合，所述中心被称作“屏幕中心”2208。
在一些实施例中，为确定屏幕中心2208坐标，参考光源101、103、105和107发射光且发射光的光束可以朝向用户的眼球。来自眼球的角膜反射光在传感器组合件702上形成参考光源101、103、105和107中的每一个的图像。为调整到移动装置和用户的眼球或头部之间的相对移动，传感器组合件702可以在给定时间间隔中获取用户的眼球图像的帧。另外，传感器组合件702可以获取用户的眼球的视频以用于屏幕中心坐标检测。
在一个实施例中，参考光源101、103、105和107以不同频率调制。此外，传感器组合件702可以高帧速率或以在高频率检测经调制光。因此，通过区分多个传感器信号的频率，传感器组合件702和相关联的电路可以确定个别的参考光源101、103、105和107的位置。类似于使用光源701、703的眼瞳坐标检测，使用调制/解调技术的屏幕中心坐标检测促进抑制背景光的影响。
免校准眼控鼠标模块还可以包含相机2206，其经配置以检测显示屏200的屏幕中心坐标。在所示出的实施例中，传感器相机2206位于前面板2202的边缘区域处但在移动装置2200的显示屏200外部。在一个实施例中，传感器相机2206是移动装置2200的原始摄像机。在另一实施例中，传感器相机2206是用于屏幕中心检测的专用相机。在另一实施例中，传感器相机2206是高清(HD)相机。为确定屏幕中心2208坐标，参考光源101、103、105和107可以朝向用户的眼球发射光，且传感器相机2206可以获取包含眼瞳的用户的眼球的图像的帧，所述眼瞳具有参考光源101、103、105和107的反射图像。为调整到移动装置和用户的眼球或头部之间的相对移动，传感器相机2206可以在给定时间间隔中获取用户的眼球图像的帧。传感器相机2206可以获取用户的眼球的视频以用于屏幕中心坐标检测。
免校准眼控鼠标模块还包含处理单元(未示出)，其耦合到传感器组合件702和传感器相机2206并且还可选地耦合到参考光源101、103、105和107。处理单元经配置以处理通过传感器组合件702或通过传感器相机2206捕获的用户的眼球图像，包含光源101、103、105和107的反射图像，以确定显示屏200的屏幕中心2208坐标。在一个实施例中，用于确定屏幕中心2208坐标的处理单元是用于检测眼瞳中心坐标的相同处理单元，例如，在图18A中的眼控鼠标模块1800中示出的处理单元710。处理单元还经配置以基于所确定的眼瞳中心坐标和屏幕中心坐标来确定显示屏200上的眼球注视点坐标，且随后在显示屏200上产生眼控鼠标光标。下文结合图23A到25E提供免校准眼控鼠标模块的更多细节。
在一些实施方案中，眼球注视点坐标可以通过比较瞳孔中心坐标和屏幕中心坐标来确定，所述瞳孔中心坐标由光源701、703和传感器组合件702确定，所述屏幕中心坐标由参考光源101、103、105和107以及传感器组合件702或传感器相机2206来确定。随后可以将眼球注视点信息用作“免校准”眼控鼠标光标以显示在移动装置的屏幕上，其中此光标对装置移动和头部移动不敏感。注意，多个光源和检测器在移动装置上的整合提供在此类移动装置之间和在站点与移动装置之间的高速通信(下文结合图31提供此通信的更多细节)的能力。此外，眼控鼠标模块的瞳孔检测功能可以用于扫描用户的眼球的视网膜以用于安全性，且下文结合图32提供其细节。
图22B示出所揭示技术的示例性眼球映射装置100的图式，所述眼球映射装置包含多个光学成像器11和22以及多个光源1101、2201、101、103和105，所述光学成像器和光源整合在移动通信、电视和/或计算装置201中且用于检测眼球移动和/或眨眼以控制移动通信、电视和/或计算机装置201的功能。眼球映射装置100的多个光源包含光源1101和2201，所述光源经配置以发射光，所述光造成来自装置201的用户的眼球(例如视网膜)的发射光的回向反射。例如，光源1101和2201可以配置为对应地接近于成像器模块11和22(例如，相距10mm或更短距离)或对应地在所述成像器模块内的共轴发光模块，使得通过共轴光发射器发射的光与通过对应的成像器模块所接收的光共用轴线。例如，来自光源1101和2201的发射光可以包含可见光和/或近红外光以产生来自用户的眼球的回向反射。
眼球映射装置100的多个光源还包含参考光源101、103和105，所述参考光源经配置以发射光，所述光造成来自用户的眼球的角膜的发射光的反射。例如，来自参考光源101、103和105的发射光可以包含可见光和/或近红外(NIR)光以产生来自用户的眼球的角膜反射。在一些实例中，示例性眼球映射装置100的参考光源可以包含垂直于彼此而配置的两个或两个以上光源的两个线性阵列。如图22B中示出，例如，第一线性阵列水平地布置且与装置201上的监视器屏幕200相邻，并包含参考光源101和103。例如，第二线性阵列竖直地布置，例如垂直于第一阵列，且与装置201上的监视器屏幕200相邻，并包含参考光源103和105。光学成像器11在装置201上配置成沿着平行于参考光源101和103的第一阵列的侧面与监视器屏幕200相邻，以检测到成像器11中的输入光，包含通过光源1101产生的来自用户的眼球的回向反射，以及通过参考光源101和103产生的来自用户的眼球的角膜反射。光学成像器22在装置201上配置成沿着平行于参考光源103和105的第二阵列的侧面与监视器屏幕200相邻，以检测到成像器22中的输入光，包含通过光源2201产生的来自用户的眼球的回向反射，以及通过参考光源103和105产生的来自用户的眼球的角膜反射。
在一些实例中，示例性眼球映射装置100的成像器11和22可以经构造以包含光电检测器敏感阵列以检测到成像器中的输入光，并包含带通滤波器以对通过光电检测器敏感阵列产生的信号进行滤波。在一些实例中，示例性眼球映射装置100的光源(例如，近红外LED)可以特定频率调制，其中所述光源以光学方式耦合到光学成像器11和/或22的线偏振器以从装置100发送可以通过用户的眼球反射的经调制探测光。
示例性眼球映射装置100可以包含处理单元，其以通信方式耦合到光学成像器11和12和/或光源1101、2201、101、103和105以处理所捕获图像和/或经光电检测的信号以作为数据。处理单元可以包含通用处理器，其耦合到存储器单元以存储原始和经处理数据。处理单元可以经配置以执行基于所检测到的视网膜回向反射和角膜反射光信号数据来追踪眼球移动且控制用户装置的功能(例如，包含改变用户装置201的显示屏200)的方法。在示例性眼动追踪装置100的一些实施方案中，用户装置201的包含处理器的处理单元和存储器单元用于实施所揭示技术的数据处理方法。
图23A示出描绘追踪且映射用户的眼球的位置和/或移动的装置100而不管用户的头部44的移动的示例性实施方案的图式，例如，当查看装置201的监视器200时。例如，如图10的图式中所描绘，通过参考光源101产生的光束1011和通过参考光源103产生的光束1031可以在用户的眼球33上产生角膜反射，所述角膜反射可以通过成像器11(例如离轴的)经由其部分视野112而检测到。类似地，例如，通过参考光源105产生的光束1051和通过参考光源103产生的光束1031还可以在用户的眼球33上产生不同的角膜反射，所述不同的角膜反射可以通过成像器22(例如离轴的)经由其部分视野222而检测到。还例如，通过光源1101产生的光束1103可以在用户的眼球33上产生回向反射，所述回向反射可以通过成像器11(例如共轴的)经由其部分视野112而检测到。类似地，例如通过光源2201产生的光束2203可以在用户的眼球33上产生回向反射，所述回向反射可以通过成像器22(例如共轴的)经由其部分视野222而检测到。
图23B示出人眼2300的各种光轴的图式以说明所揭示的屏幕中心坐标检测技术的概念。如图23B中示出，人眼2300的视轴2302与光轴2304不同，因为中央窝2306大体上不位于光轴2304上。通常，在平行于视轴2302的视距2308和光轴2304之间存在3°到8°的角度，而中央窝覆盖约5°的视角。此外，由于人眼视觉系统的不对称结构，入射光瞳的中心实际上朝向鼻侧移位。在角膜表面上，点C和点S可以具有约0.2到0.55mm的距离。
图24示出说明将角膜表面用作反射透镜的概念的图式。照射到眼球角膜表面上的光部分反射到恰当方向。在眼球角膜表面的前方的物体(例如障碍2402)形成反射图像2404。在一些实施方案中，反射图像2404位置可以通过传感器透镜轴线(例如，图18A中的接收透镜705的轴线)、眼球观察方向和物体位置来确定。当传感器和物体位置固定时，眼球观察方向可以基于反射图像位置来确定。如图24中所示，人眼角膜具有约11.5mm的直径和约7.86mm的半径，以及约3.93mm的等效焦距。因此，在600mm的距离处，120mm×60mm屏幕可以形成约0.8mm×0.4mm的反射图像。
图25A示出包含四个参考光源的图像的所捕获的用户的眼球图像，以用于检测显示屏的屏幕中心坐标。如上文结合图22所描述，参考光源101、103、105和107可以用于测量屏幕中心2208。这些光源的反射图像在图25A中对应地示出为光斑1013、1033、1053、1073。在一个实施例中，这些参考光源以与图22A中的瞳孔检测光源701和703的调制频率不同的频率来调制。因此，可以同时执行瞳孔中心检测和屏幕中心检测。在一个实施例中，这些参考光源以不同的调制频率来调制。注意，对于较小移动装置，例如智能电话，屏幕尺寸较小。参考光源可以定位在屏幕的四个拐角处，如图22A中示出，以提供屏幕尺寸信息。其反射图像可以在所捕获的眼球图像中非常接近彼此，且图像的总大小通常小于瞳孔大小。
如图25A中示出，使用参考光源101、103、105和107的反射图像，屏幕中心坐标可以确定在靠近图25A中的线1100和1102的交点的位置1000处，所述位置是通过光斑1013、1033、1053和1073形成的矩形的中心位置。注意，使用此技术，不需要区分反射图像1013、1033、1053和1073。此外，眼瞳中心坐标可以确定为靠近图25A中的线1100和1104的交点的位置1002，所述位置在屏幕中心位置1000下方。通过比较位置1000和1002，眼球注视位置可以确定为在水平方向上在显示屏的中间且在竖直方向上在显示屏的下半部中。
注意，只要使用四个拐角中的三个拐角，屏幕中心坐标还可以使用仅三个参考光源(例如101、103和105，或者103、105和107)来确定。在使用光源101、103和105的情况下，光斑1013、1033、1053可以用于确定屏幕中心。在使用光源103、105和107的情况下，光斑1033、1053和1073可以用于确定屏幕中心。尽管有可能放置仅三个参考光源而非如图22A中示出的四个，但当在测量期间四个参考光源中的一个被意外地阻断时，例如被用户的手指意外地阻断，那么使用四个参考光源可以提供有用的冗余，且在此类情况下，其余的三个参考光源可以用于检测屏幕中心坐标。
图25B示出包含三个参考光源101、103和105的图像的所捕获的用户的眼球图像，以用于检测显示屏的屏幕中心坐标。在一个方面中，图25B中的左侧图像示出监视器屏幕200和三个参考光源101、103和105，所述参考光源定位在靠近监视器屏幕200的三个拐角处且在所述拐角的略外部。虚线AB和GH的交点界定屏幕中心位置。HD传感器相机11靠近点A定位在屏幕200的略外部，且经配置以捕获眼球图像。在此实施方案中，屏幕中心的竖坐标需要校准，因为传感器相机11并未放置在光源103和105中间。图25B中的右侧图像示出所捕获的眼球图像，其包含用户的眼角膜图像331、眼瞳图像333以及光源的反射图像，所述反射图像为对应地与参考光源101、103和105相对应的光斑1013、1033和1053。
在此实例中，屏幕中心坐标可以确定在靠近线1110和1112的交点的位置1004处。眼瞳中心坐标可以确定为靠近图25A中的线1110和1114的交点的位置1006，所述位置在屏幕中心位置1004下方。通过比较位置1004和1006，眼球注视位置可以确定为在水平方向上在屏幕200当中且在竖直方向上靠近屏幕200的底部。在确定注视点坐标之后，眼球注视点1200可以靠近点A显示在屏幕200上。
图25C示出证实所提出的免校准眼控鼠标的所确定的眼球注视点对头部移动不敏感的实验结果。更具体地说，图25C的上部部分示出用户转动眼球且注视在某一点处而不转动头部的效果。在右侧的相对应的相机图像示出多个参考光源的多个反射图像以及其相对于瞳孔中心位置的位置关系。图25C的下部部分示出同意用户转动眼球且注视在同一点处同时转动头部的效果。在右侧的相对应的相机图像示出相同参考光源的多个反射图像以及其相对于瞳孔中心位置的位置关系。如可以观察到，在上部和下部图像中的位置关系是相同的，这意味着头部移动对眼球注视点确定没有明显的影响。
一旦精确地测得眼瞳中心坐标和屏幕中心坐标，就能绝对地测得观察方向。因为此技术自动地组合屏幕信号和瞳孔信号，所以所述感测对头部移动和/或装置移动不敏感。还因为眼睛的光轴和视距之间的角度在不同用户之间可能不同，所以眼控鼠标系统的一般校准可以促进消除系统错误。换句话说，应该校准结合图23B描述的瞳孔中心移位。在一些实施方案中，屏幕中心坐标校准可以通过略微调整参考光源的亮度来执行。注意，用于给定用户的眼睛的光轴和视距之间的差异的一般校准可以执行一次且被存储。除非在装置上检测到新用户，否则不需要新校准。此外，在使用眼控鼠标系统的开始，系统可以简单地检索用于装置的常规用户的所存储的校准配置文件，而不需要新校准。
图25D示出来自示例性眼球映射装置1300的示例性实施方案的图式和相对应的图像，以确定在第一实例处的用户的眼球的注视点1401。图25E示出来自示例性眼球映射装置1300的示例性实施方案的图式和相对应的图像，以确定在第二实例处的用户的眼球的第二注视点1402，其中用户已将其注视从用户装置上的上部注视位置(例如，示例性注视点1401)移动到用户装置上的中心注视位置。
图26示出用于使用用户装置通过来自眼球的视网膜回向反射和角膜反射来映射眼球移动的示例性方法的过程图。所述方法可包含接通一个或多个光源(例如，共轴光源1101和/或共轴光源2201)以产生一个或多个视网膜回向反射的过程。所述方法可包含例如使用用户装置的一个或多个光学成像器(例如，相机)来捕获眼球的图像或图像(例如，HD图像)的帧(包含视频)的过程。所述方法可包含例如使用所捕获图像中的一个或多个视网膜回向反射来找到眼球的瞳孔的位置且确定瞳孔中心坐标的过程。例如，在所述方法的一些实施方案中，所述方法可包含界定所关注的成像器/相机像素且抑制其它像素的过程。所述方法可包含断开一个或多个光源(例如，共轴光源1101和2201)的过程。所述方法可包含接通光源(例如参考光源101、103和105)以产生角膜反射的过程，所述光源例如配置为在用户装置上距一个或多个相机特定距离的两个或两个以上光源的两个或两个以上垂直线性阵列。所述方法可包含使用具有所关注的成像器/相机像素的一个或多个相机来捕获眼球的第二图像或图像(例如，HD图像)的帧(包含视频)以检测经由参考光源从眼球反射光作为角膜反射的过程。所述方法可包含测量参考光源坐标的过程。例如，在所述方法的一些实施方案中，可以同时地而非顺序地实施用于角膜反射的视网膜回向反射光源和参考光源的接通和断开。在此类实例中，单一图像和/或图像的帧可以用于确定瞳孔中心坐标和角膜反射的参考光源坐标。所述方法可包含比较瞳孔中心位置与参考点位置的过程。所述方法可包含基于所比较的位置来确定眼球的注视点的过程。
在另一方面，所揭示技术可以包含使用所确定的用户的眼球的注视点来优化提供给用户装置201的用户的内容的方法，如图28中示出。例如，在一些实施方案中，所述方法可包含在用户装置的显示屏的第一区域中显示第一内容消息且例如同时地在显示屏的第二区域中显示与第一内容消息不同的第二内容消息的过程。例如，内容消息可以包含由图像、文本、音频和/或视频形成的广告、娱乐、信息和/或新闻等内容。图27示出包含具有多个显示区域的显示屏200的用户装置201的图式，例如，两个显示区域包含第一区域200A和第二区域200B。图27中示出的用户装置201包含示例性眼球映射装置100或1300中的一个。应理解，用户装置可以包含同时显示多种不同内容的超过两个内容显示区域。
所述方法包含确定在用户装置的显示屏(例如，图27中示出的用户装置201的显示屏200)上的用户的眼球注视的位置的过程，其中所述过程使用所揭示的眼球映射技术(例如，图26中描述的眼球映射技术等)使用通过示例性眼球映射装置(例如，装置100或1300等)的一个或多个光电检测器捕获的视网膜回向反射和角膜反射来确定眼球注视位置，所述视网膜回向反射和角膜反射通过用户的眼球从对应地通过探测光源和参考光源发射的光反射。所述方法包含分析与在对应的第一和/或第二区域中的第一和/或第二内容消息相关联的用户的眼球注视的所确定的位置的时间参数(例如，注视的时间和/或频率的持续时间)的过程。例如，所分析的时间参数可以包含用户注视着显示屏的第一和/或第二区域的时间，以及，用户在改变他的/她的注视的位置之后重复返回注视第一和/或第二区域的频率。例如，所分析的与用户的注视的所确定的位置相关联的时间参数可以归因于用户对在显示区域中所显示的内容的关注度。
所述方法可包含使用所分析的时间参数来确定新内容以经由装置的显示屏提供给用户的过程。例如，所述方法可包含基于在对应的内容消息中的用户的所分析时间参数来评估关注度以提供新内容的过程。在说明性实例中，第一内容消息可以包含用于运动型多用途车(SUV)的广告，而第二内容消息可以包含用于紧凑型汽车的广告。所描述的方法可以用于基于用户注视着对应的广告的时间和/或频率来确定在广告中的一个、两个或零广告中的整体关注度。所述方法可以进一步包含基于所评估的关注度来确定偏好程度的过程。例如，所描述的方法可以用于(例如，使用与用户的眼球注视相关联的时间参数)评估广告的吸引最长时间和/或最频繁的注意力的部分，例如，空间部分和/或时间部分。例如，用户可能已较长时间和/或更频繁地观看SUV广告，其中他/她更加聚精会神地注视SUV的正面而非SUV的背面。还例如，用户可能已较长时间和/或更频繁地观看SUV广告的显示或论述SUV的价格而非例如SUV的性能的部分。
图29呈现说明确定用户在装置的显示屏上的眼球注视点的示例性过程的流程图。示例性过程可以通过接通光源开始，所述光源包含用于显示屏中心检测的多个参考光源以及用于眼瞳检测的共轴光源和相关联参考光源两者(2602)。所述过程随后使用传感器相机捕获用户的眼球图像的帧，且使用多元件光电检测器产生眼动追踪信号(2604)。接着，所述过程基于在眼动追踪信号中的共轴光源和相关联参考光源的回向反射来确定瞳孔中心坐标(2606)。所述过程还在过程2606期间确定瞳孔大小。所述过程还基于在捕获眼球图像中的多个参考光源的反射图像来确定屏幕中心坐标(2608)。所述过程随后比较瞳孔中心坐标与屏幕中心坐标以确定眼球注视方向(2610)。接着，所述过程基于所确定的眼球注视方向和瞳孔大小信息来确定显示屏上的眼球注视点坐标(2612)。
图30示出在用户移动装置上的示例性眼控鼠标功能按钮设计的图式。在示出的实例中，眼控鼠标功能按钮741、743、745设计在用户移动装置777的左侧上。这些按钮可以对应地指定有常规鼠标的左击、右击和中键点击的功能。作为另一个实例，眼控鼠标功能按钮747、749、751设计在移动装置777的右侧上且对应地指定有常规鼠标的左击、右击和中键点击的功能。在又另一实例中，眼控鼠标功能按钮736和738设计在移动装置777的前屏幕766上。在再一实例中，眼控鼠标功能按钮753、755、757设计在移动装置777的背面上且对应地指定有常规鼠标的左击、右击和中键点击的功能。然而，在一些实施方案中，眼控鼠标按钮与移动装置的现有按钮共用。
我们现在考虑示例性眼控鼠标设计的可达分辨率。假设移动装置的屏幕和用户的眼球之间的距离是600mm，那么相对于屏幕的角膜打开角度将是约1°。还假设移动装置上的传感器相机视野(FOV)是30°。如果传感器相机具有1.2M像素分辨率，那么角分辨率将是约0.43°。如果传感器相机具有8M像素分辨率，那么角分辨率将是约0.16°。因此，通过限制传感器相机的FOV或通过缩短监视器屏幕到眼球的距离，可以改进眼球图像的分辨率。注意，在600mm距离处，人的头部与约13°开角相对应，且两个眼球的间隔与6°开角相对应。由此，甚至约15°传感器相机FOV将是两个眼球可接受的。这样做，分辨率可以加倍。此外，如果用传感器相机追踪仅一个眼球，那么可以大大改进分辨率。
图31说明使用移动装置A上的光源和多元件光学传感器来与站点B(例如第二移动装置)交流数据信息的示意图，所述站点B还包含光源和多元件光学传感器。如在图31中可见，包含多元件传感器702A和至少一个光源2802的移动装置A通过朝向状态B发射携载数据信号的光束1073A而向站点B发送数据。多元件传感器702A可以用于接收在通过站点B上的光源(未示出)发射的光束999B上携载的数据。在一些实施方案中，当多个光源存在于装置A和B中的每一个上时，不同的光源可以用作不同的通信信道。此外，每个多元件传感器中的不同传感器元件可以用作用于不同通信信道的检测器。因为光载波频率极其高，所以可以实现在移动装置A和站点B(例如另一移动装置)之间的高速通信。
图32说明将移动装置888上的光源和多元件光学传感器用于用户44的视网膜扫描以用于安全性授权的示意图。如图32中可见，移动装置888包含多个光源701和多元件传感器702，所述多元件传感器是上文所描述的眼控鼠标的眼瞳检测模块的部分。在视网膜扫描操作期间，通过移动装置888或通过移动用户44的头部来跨越用户88的眼球33扫描光源701，使得多个光源701扫描跨越用户44的眼球。因此，还跨越视网膜扫描眼球33的视网膜上的光源的图像光斑。这在图32中的插入图像2902中说明，其中两个亮线是在扫描两个光源时的光斑轨迹66。来自不同视网膜位置的反射系数值通常不同。例如，人的视网膜图像2902中的血管55通常具有与视网膜区域的其余部分不同的反射系数。因此，装置888的传感器701可以用于检测反射系数差异以形成用户44的视网膜签名/代码。因为每个人具有唯一的视网膜结构，所以所获得的给定用户的视网膜签名/代码可以用作所述用户的安全密钥以与所存储的视网膜签名/代码比较以用于用户验证。
图33示出所提出的眼控鼠标技术的目标应用的图式。所提出的眼控鼠标设计具有极小的大小、高分辨率、低成本以及低功耗。例如，示例性眼控鼠标设计可以具有如此小的尺寸，其宽度为约2mm，厚度为约4mm且长度为约6mm。例如，所提出的眼控鼠标模块可以容易地整合到较小移动终端中，例如，尤其是智能电话、平板计算机、膝上型计算机。此外，所提出的眼控鼠标易于使用，因为：(1)用户不需要在他的/她的头部上穿戴任何额外的工具；(1)所述眼控鼠标允许单手操作；以及(3)使眨眼操作(作为确认/选择)变得可能。所提出的眼控鼠标通过比较瞳孔中心坐标与屏幕中心坐标来提供绝对眼球注视点检测技术。因此，所提出的眼控鼠标可以是免校准的，因此感觉像常规光学鼠标。所提出的眼控鼠标还是对进一步研发友好的。例如，眼控鼠标还可以研发出高速数据通信功能，使得它可以在多个移动终端之间发送和接收数据，而没有到非相关用户的信号泄漏。由于上述唯一特征，所提出的眼控鼠标技术适合于广泛范围的应用。
例如，眼控鼠标可以用作常规鼠标，且可以用于玩计算机游戏。眼控鼠标的眼球注视检测功能可以用于按注视收费广告。作为另一个实例，眼控鼠标的瞳孔大小检测可以用于收集客户反应数据，所述数据可用于广告管理、游戏开发者等。
在一个实例中，眼控鼠标可以用于安全访问，包含作为视网膜扫描仪。更具体地说，当用户跨越他的/她的眼球移动眼控鼠标时，光源和传感器检测器获取用户的眼球视网膜反射特性，所述特性可以用于产生密码。在另一个实例中，眼控鼠标用于安全键入。更具体地说，当用户用眼球键入字母时，附近的人不能知道用户所选择的字母。眼控鼠标还可以用于心理学研究。更具体地说，可以将经设计的一系列问题、图片或视频呈现给用户，且眼控鼠标传感器测量用户的眼球响应于所述问题、图片或视频的反应。所收集的信息可以帮助心理学家研究用户的真正想法。
作为另一个实例，眼控鼠标可以用于娱乐，例如，间谍相机寻找。在另一个实例中，利用所配备的光源和传感器检测器，所提出的眼控鼠标可以用于在配备有相同类型的眼控鼠标的其它移动装置之间发送和接收数据。此外，此提出的眼控鼠标技术还可以应用于为不能控制常规鼠标和键盘的残疾人提供控制计算机光标的替代方案。
在此专利文件中描述的标的物和功能操作的实施方案可以在各种系统、数字电子电路中或在计算机软件、固件或硬件(包含在此说明书中揭示的结构和其结构等效物或这些结构中的一个或多个的组合)中实施。此说明书中所描述的标的物的实施方案可以实施为一个或多个计算机程序产品，即，计算机程序指令的一个或多个模块，所述计算机程序指令在有形的且非暂时性的计算机可读媒体上编码以用于通过数据处理设备执行或控制数据处理设备的操作。计算机可读媒体可为机器可读存储装置、机器可读存储装置衬底、存储器装置、实行机器可读传播信号的物质组成，或其中的一个或多个的组合。术语“数据处理设备”涵盖用于处理数据的所有设备、装置和机器，作为举例，包含可编程处理器、计算机或多个处理器或计算机。所述设备除硬件之外还可包含产生用于所讨论的计算机程序的执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其中的一个或多个的组合的代码。
计算机程序(也被称作程序、软件、软件应用程序、脚本或代码)可以任何形式的编程语言编写，包含经编译或解译语言，且其可以任何形式部署，包含作为独立程序或作为适合于在计算环境中使用的模块、组件、子例程或其它单元。计算机程序不一定与文件系统中的文件相对应。程序可存储在保持其它程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中、存储在专用于所讨论的程序的单个文件中，或存储在多个经协调文件(例如，存储一个或多个模块、子程序或代码的部分的文件)中。计算机程序可经部署以在一个计算机上或在位于一个位点或跨越多个位点分布并由通信网络互连的多个计算机上执行。
此说明书中描述的过程和逻辑流可由一个或多个可编程处理器执行，所述可编程处理器执行一个或多个计算机程序以通过对输入数据操作且产生输出而执行功能。还可通过例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)的专用逻辑电路来执行过程和逻辑流，且设备还可实施为所述专用逻辑电路。
适合于执行计算机程序的处理器包含例如通用和专用微处理器两者，以及任何种类的数字计算机的任何一个或多个处理器。一般来说，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器装置。通常，计算机将还包含用于存储数据的一个或多个大容量存储装置，或以操作方式耦合以从所述大容量存储装置接收数据或向其传送数据或进行这两种操作，所述大容量存储装置例如磁盘、磁光盘或光盘。然而，计算机未必具有此类装置。适合于存储计算机程序指令和数据的计算机可读媒体包含所有形式的非易失性存储器、媒体和存储器装置(作为举例，包含半导体存储器装置)，例如，EPROM、EEPROM和闪存存储器装置。处理器和存储器可由专用逻辑电路补充或并入在专用逻辑电路中。
尽管此专利文件包含许多具体细节，但这些具体细节不应当解释为对任何发明的范围或可要求的内容的限制，而是作为可能特定于特定发明的特定实施例的特征的描述。此专利文件中在单独的实施例的情形中描述的某些特征也可在单个实施例中组合地实施。相反地，在单个实施例的情形中描述的各种特征也可单独地在多个实施例中实施或以任何适合子组合来实施。此外，尽管上文可将特征描述为以某些组合起作用或甚至最初如此主张，但在一些情况下，可将来自所主张的组合的一个或多个特征从组合中删除，并且所主张的组合可针对子组合或子组合的变化。
类似地，尽管在图式中按特定次序描绘操作，但此情形不应被理解为要求按所示出的特定次序或按顺序次序执行此类操作，或执行所有所说明的操作，以实现所期望的结果。此外，此专利文件中描述的实施例中的各种系统组件的分离不应理解为在所有实施例中都要求此分离。
仅描述几个实施方案和实例，且可基于此专利文件中描述和说明的内容而做出其它实施方案、增强和变化。

Claims (18)

1.一种具有眼动追踪特征的用户装置，其包括：
前面板，其包括显示屏；
第一组光源，其定位在所述前面板的第一区域处，所述第一组光源用于发射光；
光电检测器模块，其在所述前面板上定位在所述第一组光源附近，以用于基于从用户的眼球检测到的回向反射光而产生眼动追踪信号，所述回向反射光与来自所述第一组光源的所述发射光相对应；
第二组光源，其定位在所述前面板的第二区域处，所述第二组光源用于发射光；
其中所述光电检测器模块用于捕获用户眼球的图像，包括来自所述第二组光源的所述发射光的反射图像；以及
处理器，其以通信方式耦合到所述光电检测器模块，所述处理器用于：
处理所述眼动追踪信号以确定所述用户的眼球的眼瞳中心坐标；
处理所述捕获的所述用户眼球的图像以确定所述显示屏的屏幕中心坐标；和，
比较所述确定的眼瞳中心坐标和所述确定的屏幕中心坐标以确定所述用户眼球在所述显示屏上的注视点。
2.根据权利要求1所述的用户装置，其中所述第二组光源包含四个光源，其中所述四个光源中的每一个位于所述显示屏的对应拐角处以在所述显示屏的略内部、略外部或在所述显示屏的边界上，并且其中所述四个光源的中心与所述显示屏的所述屏幕中心坐标重合。
3.根据权利要求1所述的用户装置，其中所述第二组光源包含三个光源，其中所述三个光源中的每一个位于所述显示屏的三个拐角中的一个处以在所述显示屏的略内部、略外部或在所述显示屏的边界上，并且其中位于所述显示屏的两个对角拐角处的所述三个光源中的两个光源的中点与所述显示屏的所述屏幕中心坐标重合。
4.根据权利要求1所述的用户装置，其中所述处理器经配置以处理所述捕获的所述用户眼球的图像以确定所述显示屏的屏幕中心坐标，包含确定所述第二组光源的所述反射图像的中心点。
5.根据权利要求1所述的用户装置，其中所述光电检测器模块用于以特定的时间间隔捕获所述用户的眼球图像的连续帧。
6.根据权利要求1所述的用户装置，其中所述光电检测器模块用于捕获所述用户的眼球的与一个眼球或两个眼球相对应的图像。
7.根据权利要求1所述的用户装置，其中所述第一组光源进一步包括：
第一光源，其放置在相对于所述光电检测器模块的第一位置处且经配置以发射第一经调制光；
第二光源，其放置在相对于所述光电检测器模块的第二位置处且经配置以发射第二经调制光；以及
其中所述第一经调制光和所述第二经调制光具有大体上相同的调制频率，并且其中所述第一经调制光和所述第二经调制光的调制相位大体上彼此相反。
8.根据权利要求7所述的用户装置，其中所述第一光源和所述第二光源经配置以朝向用户的眼球发射所述第一和第二经调制光；以及
其中所述光电检测器模块用于接收回光，包含来自所述用户的眼球的基于来自所述第一和第二光源的所述第一和第二经调制光的至少部分回向反射光，以及；
其中所述处理器用于处理来自所述光电检测器模块的所述眼动追踪信号，以至少基于与所述第一和第二经调制光相对应的所述部分回向反射光来确定所述用户的眼球的位置和尺寸参数。
9.根据权利要求7所述的用户装置，其中所述第一位置相对于所述光电检测器模块的所述第二位置更靠近所述光电检测器模块。
10.根据权利要求7所述的用户装置，其进一步包括滤波电路，所述滤波电路以通信方式耦合到所述光电检测器模块的输出以对所述光电检测器模块输出进行滤波，以丢弃基于所述第一和第二经调制光的背景光和散射光。
11.根据权利要求7所述的用户装置，其中当所述第一和第二经调制光从所述用户的脸部和靠近用户的脸部的其它表面散射时，产生第一和第二散射光，并且其中所述第一散射光相对于所述第二散射光大体上180°反相，由此所述第一和第二散射光大体上彼此抵消。
12.根据权利要求1所述的用户装置，其中以与来自所述第一组光源的所述发射光的调制频率不同的频率调制来自所述第二组光源的所述发射光，由此可以同时确定所述眼瞳中心坐标和所述屏幕中心坐标。
13.根据权利要求1所述的用户装置，其中所述显示屏用于在所述注视点处显示光标以实现眼控鼠标功能。
14.根据权利要求1所述的用户装置，其中所述处理器进一步用于处理所述眼动追踪信号以确定所述用户的眼球的瞳孔大小。
15.根据权利要求13所述的用户装置，其进一步包括：
装置外部；以及
位于所述用户装置的所述装置外部上的一个或多个按钮，所述一个或多个按钮经配置以在所述显示的光标的位置处激活且执行鼠标功能。
16.根据权利要求15所述的用户装置，其中所述一个或多个按钮显示在显示界面上。
17.一种用于至少部分地基于对用户的眼球注视的检测来控制光标的方法，其包括：
向所述用户呈现显示界面；
使用第一组光源来发射第一经调制光；
使用光电检测器模块来从来自用户眼球的回向反射光产生眼动追踪信号，所述回向反射光与所述第一组光源所发射的第一经调制光相对应；
使用第二组光源来发射第二经调制光；
使用所述光电检测器模块来捕获所述用户眼球的图像，所述图像包括所述第二组光源所发射的第二经调制光的反射图像；
处理所述眼动追踪信号以确定所述用户眼球的眼瞳中心坐标；
处理所述捕获的所述用户眼球的图像以确定所述显示界面的屏幕中心坐标；
比较所述确定的眼瞳中心坐标和所述确定的屏幕中心坐标以确定所述用户眼球在所述显示界面上的注视点；以及
基于所述确定的注视点，在所述显示界面上显示光标。
18.根据权利要求17所述的方法，其中所述第二组光源的所述发射光的调制频率不同于所述第一组光源的所述发射光的调制频率，以大体上同时确定所述眼瞳中心坐标和所述屏幕中心坐标。
CN201480072610.0A 2013-11-09 2014-11-10 光学眼动追踪 Active CN106132284B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361902222P 2013-11-09 2013-11-09
US61/902,222 2013-11-09
US201462037035P 2014-08-13 2014-08-13
US62/037,035 2014-08-13
PCT/US2014/064884 WO2015070182A2 (en) 2013-11-09 2014-11-10 Optical eye tracking

Publications (2)

Publication Number Publication Date
CN106132284A CN106132284A (zh) 2016-11-16
CN106132284B true CN106132284B (zh) 2019-03-22

Family

ID=53042350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480072610.0A Active CN106132284B (zh) 2013-11-09 2014-11-10 光学眼动追踪

Country Status (5)

Country Link
US (1) US11740692B2 (zh)
EP (1) EP3065623B1 (zh)
KR (1) KR101847756B1 (zh)
CN (1) CN106132284B (zh)
WO (1) WO2015070182A2 (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008131201A1 (en) * 2007-04-19 2008-10-30 Global Rainmakers, Inc. Method and system for biometric recognition
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
WO2015038810A2 (en) 2013-09-11 2015-03-19 Firima Inc. User interface based on optical sensing and tracking of user's eye movement and position
US9552064B2 (en) 2013-11-27 2017-01-24 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection
CN103870805B (zh) * 2014-02-17 2017-08-15 北京释码大华科技有限公司 一种移动终端生物特征成像方法和装置
US9454699B2 (en) 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US10701426B1 (en) 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
US10186301B1 (en) 2014-07-28 2019-01-22 Jaunt Inc. Camera array including camera modules
US9774887B1 (en) 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US9363569B1 (en) 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
US10621431B2 (en) * 2015-03-27 2020-04-14 Lenovo (Singapore) Pte. Ltd. Camera that uses light from plural light sources disposed on a device
AU2016261487B2 (en) 2015-05-11 2020-11-05 Magic Leap, Inc. Devices, methods and systems for biometric user recognition utilizing neural networks
US20160358181A1 (en) * 2015-05-14 2016-12-08 Magic Leap, Inc. Augmented reality systems and methods for tracking biometric data
WO2017072412A1 (en) * 2015-10-27 2017-05-04 Teknologian Tutkimuskeskus Vtt Oy Method and system for retina imaging
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
CN105867603A (zh) * 2015-12-08 2016-08-17 乐视致新电子科技（天津）有限公司 一种眼控方法及装置
US9785234B2 (en) * 2015-12-26 2017-10-10 Intel Corporation Analysis of ambient light for gaze tracking
JP2017151565A (ja) * 2016-02-22 2017-08-31 富士通株式会社 検出システム、検出方法、および検出プログラム
US11380008B2 (en) * 2016-05-06 2022-07-05 Innovega Inc. Gaze tracking system with contact lens fiducial
CN205657058U (zh) * 2016-06-03 2016-10-19 京东方科技集团股份有限公司 显示基板、显示面板
US9990524B2 (en) 2016-06-16 2018-06-05 Hand Held Products, Inc. Eye gaze detection controlled indicia scanning system and method
US9795294B1 (en) 2016-07-01 2017-10-24 Canon Kabushiki Kaisha System and method for eye tracking during retinal imaging
CN106339085B (zh) * 2016-08-22 2020-04-21 华为技术有限公司 具有视线追踪功能的终端、确定使用者视点的方法及装置
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
CN108663806A (zh) * 2017-03-31 2018-10-16 及至微机电股份有限公司 具有瞳孔追踪功能的影像投影装置及其瞳孔位置追踪装置
CN107085680B (zh) * 2017-04-18 2019-10-11 宇龙计算机通信科技(深圳)有限公司 一种操作终端的方法及装置
CN107223276B (zh) * 2017-04-26 2020-03-20 深圳市汇顶科技股份有限公司 眼球遥控系统及电子装置
US10303248B2 (en) 2017-04-28 2019-05-28 Microsoft Technology Licensing, Llc Eye tracking using scanned beam and multiple detectors
TWI642030B (zh) * 2017-08-09 2018-11-21 宏碁股份有限公司 視覺效用分析方法及相關眼球追蹤裝置與系統
CN111263925B (zh) * 2017-09-28 2022-06-14 苹果公司 用于使用事件相机数据的眼动跟踪的方法和设备
FI20175960A1 (en) * 2017-10-30 2019-05-01 Univ Of Eastern Finland Procedure and apparatus for gaze detection
KR102476757B1 (ko) 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법
CN108158555A (zh) * 2017-12-31 2018-06-15 执鼎医疗科技（杭州）有限公司 一种通过虹膜识别加速oct设备与人眼对准的系统及方法
US10564429B2 (en) * 2018-02-01 2020-02-18 Varjo Technologies Oy Gaze-tracking system using illuminators emitting different wavelengths
CN108510542B (zh) * 2018-02-12 2020-09-11 北京七鑫易维信息技术有限公司 匹配光源与光斑的方法和装置
US20190265787A1 (en) * 2018-02-26 2019-08-29 Tobii Ab Real world interaction utilizing gaze
US10417784B1 (en) * 2018-06-29 2019-09-17 Facebook Technologies, Llc Boundary region glint tracking
TWI676459B (zh) * 2018-08-14 2019-11-11 晉弘科技股份有限公司 眼底相機
CN110603513B (zh) * 2018-08-27 2023-08-29 深圳市汇顶科技股份有限公司 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法
CN109189222B (zh) * 2018-08-28 2022-01-11 广东工业大学 一种基于检测瞳孔直径变化的人机交互方法及装置
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
WO2020140893A1 (en) * 2019-01-04 2020-07-09 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing live face sensing for enhancing security of facial recognition
CN110248024B (zh) * 2019-06-11 2020-12-18 Oppo广东移动通信有限公司 解锁方法及其装置、电子设备、计算机可读存储介质
TWI748857B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI716959B (zh) * 2019-08-07 2021-01-21 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748858B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
CN112578903A (zh) * 2019-09-30 2021-03-30 托比股份公司 眼动追踪方法、眼动追踪器以及计算机程序
CN114616533A (zh) * 2019-10-30 2022-06-10 艾梅崔克斯持株公司株式会社 目光交流检测装置
CN112748798B (zh) * 2019-10-31 2023-05-26 Oppo广东移动通信有限公司 一种眼球追踪校准方法及相关设备
US20230045580A1 (en) * 2020-01-06 2023-02-09 Eyeway Vision Ltd. An eye tracking device and method thereof
CN115243603A (zh) * 2020-02-21 2022-10-25 伊里斯通讯股份有限公司 视觉特性检查方法、决定光学滤波片特性的方法、光学滤波片、视觉特性检查用的光学元件组和视觉特性检查用图像
RU2744548C1 (ru) * 2020-04-29 2021-03-11 федеральное государственное бюджетное образовательное учреждение высшего образования "Алтайский государственный университет" Устройство определения зрачковых реакций на визуальный стимул
CN111781723A (zh) * 2020-07-01 2020-10-16 业成科技（成都）有限公司 眼球追踪结构、电子装置及智能眼镜
US20220067744A1 (en) * 2020-09-02 2022-03-03 Kyndryl, Inc. Transaction authorization
US20230333640A1 (en) * 2020-09-22 2023-10-19 Sterling Labs Llc Multiple gaze dependent illumination sources for retinal eye tracking
CN112232255B (zh) * 2020-10-26 2022-11-01 北京鹰瞳科技发展股份有限公司 基于多模态数据的身份认证方法及设备
GB2608789B (en) * 2021-06-14 2024-02-07 Trulife Optics Ltd Optical system for eye tracking
CN113359292B (zh) * 2021-06-30 2022-08-30 京东方科技集团股份有限公司 一种显示模组及其制作方法、头戴式显示设备
CN113655886A (zh) * 2021-08-18 2021-11-16 统信软件技术有限公司 一种输入方法、输入系统、计算设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5861940A (en) * 1996-08-01 1999-01-19 Sharp Kabushiki Kaisha Eye detection system for providing eye gaze tracking
CN1937956A (zh) * 2004-05-06 2007-03-28 日本电信电话株式会社 成分浓度测定装置和成分浓度测定装置控制方法

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3864030A (en) * 1972-07-11 1975-02-04 Acuity Syst Eye position measuring technique
JP3324295B2 (ja) * 1994-09-26 2002-09-17 日産自動車株式会社 車両用視線方向計測装置
US5610673A (en) 1995-09-14 1997-03-11 Pulse Medical Instruments, Inc. Pupil detection system
US6373961B1 (en) 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
US5956124A (en) 1997-10-23 1999-09-21 Dan; Jacob Automated threshold-related objective perimetry
JP3315648B2 (ja) 1998-07-17 2002-08-19 沖電気工業株式会社 アイリスコード生成装置およびアイリス認識システム
US6396461B1 (en) 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
GB9823977D0 (en) 1998-11-02 1998-12-30 Scient Generics Ltd Eye tracking method and apparatus
US7224822B2 (en) 2000-11-02 2007-05-29 Retinal Technologies, L.L.C. System for capturing an image of the retina for identification
US20030038754A1 (en) * 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
US7408576B2 (en) 2002-08-16 2008-08-05 Zoran Corporation Techniques for modifying image field data as a function of radius across the image field
US7460940B2 (en) 2002-10-15 2008-12-02 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
US7280678B2 (en) 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7380938B2 (en) 2003-03-25 2008-06-03 Sarnoff Corporation Apparatus to detect and measure saccade and pupilary changes
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US7091471B2 (en) * 2004-03-15 2006-08-15 Agilent Technologies, Inc. Using eye detection for providing control and power management of electronic devices
JP4536060B2 (ja) * 2004-05-06 2010-09-01 日本電信電話株式会社 成分濃度測定装置及び成分濃度測定装置制御方法
WO2006013755A1 (ja) 2004-08-05 2006-02-09 Japan Science And Technology Agency 空間光通信を用いた情報処理システム及び空間光通信システム
JP4608996B2 (ja) 2004-08-19 2011-01-12 ブラザー工業株式会社 瞳孔検出装置およびそれを備えた画像表示装置
US7418115B2 (en) 2004-12-07 2008-08-26 Aoptix Technologies, Inc. Iris imaging using reflection from the eye
US7773111B2 (en) * 2005-03-16 2010-08-10 Lc Technologies, Inc. System and method for perceived image processing in a gaze tracking system
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US8360578B2 (en) 2006-01-26 2013-01-29 Nokia Corporation Eye tracker device
WO2008092156A1 (en) 2007-01-26 2008-07-31 Aoptix Technologies, Inc. Combined iris imager and wavefront sensor
US20090103048A1 (en) * 2007-10-17 2009-04-23 Omron Silicon Valley Method and system for pupil detection
KR20090057819A (ko) 2007-12-03 2009-06-08 삼성전기주식회사 광변조기, 광변조기 모듈 및 이를 포함하는 스캐닝디스플레이 장치
US8005776B2 (en) 2008-01-25 2011-08-23 International Business Machines Corporation Adapting media storage based on user interest as determined by biometric feedback
WO2010003410A1 (en) * 2008-07-08 2010-01-14 It-University Of Copenhagen Eye gaze tracking
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
US7819525B2 (en) * 2009-02-15 2010-10-26 International Business Machines Corporation Automatic direct gaze detection based on pupil symmetry
ES2880475T3 (es) 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US8414124B2 (en) 2009-10-21 2013-04-09 Sis Ag, Surgical Instrument Systems Device and method for measuring a cornea
US20110170060A1 (en) * 2010-01-08 2011-07-14 Gordon Gary B Gaze Tracking Using Polarized Light
CN101779960B (zh) 2010-02-24 2011-12-14 沃建中 刺激信息认知能力值测试系统及其方法
KR101213596B1 (ko) 2010-04-19 2012-12-24 국방과학연구소 헤드 트랙커 및 아이 트랙커가 통합된 시선 추적 시스템 및 그 방법
US8878773B1 (en) * 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
WO2012008966A1 (en) 2010-07-16 2012-01-19 Hewlett-Packard Development Company, L.P. Systems and methods for eye tracking using retroreflector-encoded information
TWI421752B (zh) * 2010-08-06 2014-01-01 Quanta Comp Inc 光學觸控系統
US9135708B2 (en) * 2010-08-09 2015-09-15 National University Corporation Shizuoka University Gaze point detection method and gaze point detection device
CN101901485B (zh) 2010-08-11 2014-12-03 华中科技大学 3d自由头动式视线跟踪系统
US9405364B2 (en) * 2010-10-29 2016-08-02 IT-Universitetet i København Method of determining reflections of light
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
KR101355895B1 (ko) 2011-10-20 2014-02-05 경북대학교 산학협력단 사용자 의도 판단 장치 및 그 방법
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
US8955973B2 (en) 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
CN104204904B (zh) 2012-01-24 2018-05-18 亚利桑那大学评议会 紧凑式眼睛跟踪头戴式显示器
EP2812775A1 (en) 2012-02-06 2014-12-17 Sony Mobile Communications AB Gaze tracking with projector
JP2013215549A (ja) 2012-03-16 2013-10-24 Fujitsu Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
US10155121B2 (en) * 2012-08-25 2018-12-18 National Chiao Tung University Stimuli generating methods, devices and control systems to induce visual evoked potentials using imperceptible flickering multi-color lights
KR102047494B1 (ko) 2012-09-10 2019-11-21 삼성전자주식회사 투명 디스플레이 장치 및 그 객체 선택 방법
US9426447B2 (en) 2012-10-09 2016-08-23 Electronics And Telecommunications Research Institute Apparatus and method for eye tracking
WO2015038810A2 (en) 2013-09-11 2015-03-19 Firima Inc. User interface based on optical sensing and tracking of user's eye movement and position
US9552064B2 (en) 2013-11-27 2017-01-24 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5861940A (en) * 1996-08-01 1999-01-19 Sharp Kabushiki Kaisha Eye detection system for providing eye gaze tracking
CN1937956A (zh) * 2004-05-06 2007-03-28 日本电信电话株式会社 成分浓度测定装置和成分浓度测定装置控制方法

Also Published As

Publication number Publication date
EP3065623A4 (en) 2017-08-09
EP3065623A2 (en) 2016-09-14
WO2015070182A3 (en) 2015-11-05
CN106132284A (zh) 2016-11-16
US20150199006A1 (en) 2015-07-16
KR101847756B1 (ko) 2018-04-10
KR20160088885A (ko) 2016-07-26
EP3065623B1 (en) 2020-04-22
US11740692B2 (en) 2023-08-29
WO2015070182A2 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
CN106132284B (zh) 光学眼动追踪
US10416763B2 (en) Eye tracking and user reaction detection
US9652034B2 (en) User interface based on optical sensing and tracking of user&#39;s eye movement and position
CN104603673B (zh) 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
JP4783018B2 (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
Morimoto et al. Eye gaze tracking techniques for interactive applications
JP6308940B2 (ja) 視線追跡シーン参照位置を識別するシステム及び方法
KR102376854B1 (ko) 검출 장치 및 방법
CN103458770B (zh) 照射特性能够调节的用于捕获至少一个眼睛的至少一个参数的光学测量装置和方法
US20170092007A1 (en) Methods and Devices for Providing Enhanced Visual Acuity
US20170023793A1 (en) Smart Contact Lens with Embedded Display and Image Focusing System
EP3488282A1 (en) Systems and methods for predictive visual rendering
CN106714663A (zh) 带眼镜不适减轻的显示器
CN103648366A (zh) 用于远程测量光学焦点的系统和方法
US11333902B2 (en) Smart contact lens with embedded display and image focusing system
Singh Near-field depth perception in optical see-though augmented reality
CN111700586A (zh) 眼动追踪装置及应用其的电子装置
Munn Three-dimensional head motion, point-of-regard and encoded gaze fixations in real scenes: Next-Generation portable video-based monocular eye tracking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant