CN110114739B - 具有低延迟和低功率的眼睛跟踪系统 - Google Patents

具有低延迟和低功率的眼睛跟踪系统 Download PDF

Info

Publication number
CN110114739B
CN110114739B CN201780079986.8A CN201780079986A CN110114739B CN 110114739 B CN110114739 B CN 110114739B CN 201780079986 A CN201780079986 A CN 201780079986A CN 110114739 B CN110114739 B CN 110114739B
Authority
CN
China
Prior art keywords
sensor
eye
vog
eog
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780079986.8A
Other languages
English (en)
Other versions
CN110114739A (zh
Inventor
V·萨克拉尔
C·阿霍尔特
C·M·梅
B·周
N·巴赫
L·彻卡欣
J·金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110114739A publication Critical patent/CN110114739A/zh
Application granted granted Critical
Publication of CN110114739B publication Critical patent/CN110114739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开了一种低延迟、低功率眼睛跟踪的装置和方法。在一些实施例中，眼睛跟踪方法操作具有第一功耗水平的、跟踪用户的眼睛的位置的第一传感器。响应于检测到眼睛在一段时间内没有改变位置，该方法停止第一传感器的操作，而替代地操作检测眼睛的位置的改变的第二传感器。第二传感器的功耗水平低于第一传感器的功耗水平。一旦眼睛位置改变，第一传感器恢复操作。

Description

具有低延迟和低功率的眼睛跟踪系统
背景技术
眼睛跟踪是跟踪人的一只或两只眼睛相对于人的头部的运动的过程。基于所获取的眼睛位置信息，可以将眼睛跟踪用作人机交互的一种输入。一种眼睛跟踪的方法基于视频眼电位计测(VOG)。VOG是一种基于视频的无创的测量眼睛动作的方法。光(例如，红外光)照射眼睛并从眼睛反射。摄像机感测所反射的光并记录眼睛的图像。基于眼睛的图像，眼睛跟踪系统识别瞳孔并跟踪瞳孔中心随时间的位置。然而，跟踪图像中的瞳孔所需的计算能力通常会引起延迟。此外，眼睛跟踪系统的光源、摄像机和处理器消耗显著的功率量。
发明内容
这里介绍的是低延迟、低功率的眼睛跟踪的装置和方法(共同地以及单独地为“这里介绍的技术”)。在一些实施例中，该方法操作跟踪用户眼睛的位置的第一传感器。响应于检测到眼睛在一段时间内没有改变位置，该方法停止第一传感器的操作，而代替地操作检测眼睛的位置的变化的第二传感器。第二传感器具有的功耗水平低于第一传感器的功耗水平。一旦眼睛位置改变，第二传感器恢复操作。由于第一传感器不需要一直运行，因此降低了总功耗。
在一些其他实施例中，一种方法操作跟踪用户眼睛的位置的第一传感器和第二传感器。第二传感器具有第二功耗水平，其低于第一传感器的第一功耗水平。第一传感器还按照第一帧速率操作，该第一帧速率低于第二传感器操作的第二帧速率。该方法基于按照第一帧速率从第一传感器收集的信号来确定眼睛在关键帧处的位置。该方法还基于按照第二帧速率从第二传感器收集的信号，来确定眼睛在常规帧处的位置。由于第一传感器仅需要在关键帧处操作，因此降低了总功耗。
根据附图和详细描述，所公开实施例的其他方面将是清楚的。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步解释。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来限制所要求保护的主题的范围。
附图说明
通过示例而非限制的方式在附图中示出了本公开的一个或多个实施例，其中相同的附图标记指示类似的元件。
图1示出了在其中可以使用虚拟现实(VR)或增强现实(AR)使能的头戴式显示设备(下文中的“HMD设备”)的环境的示例。
图2图示出了HMD设备的示例的透视图。
图3图示出了包括不同眼睛跟踪传感器的HMD设备的示例。
图4图示出了使用基于触发的机制的眼睛跟踪的示例过程。
图5图示出了在图4的过程期间正在眼睛跟踪设备的部件之间交换的信息。
图6图示出了使用基于关键帧的机制的眼睛跟踪的示例过程。
图7图示出了在图6的过程期间正在眼睛跟踪设备的部件之间交换的信息。
图8图示出了可以被用来实现本文描述的任何一个或多个功能部件的系统的硬件架构的高级示例。
具体实施方式
在本说明书中，对“实施例”、“一个实施例”等的引用意指所描述的特定特征、功能、结构或特性被包括在这里介绍的至少一个实施例中。这些短语在本说明书中的出现并不一定都指同一个实施例。另一方面，所提及的实施例也不一定是相互排斥的。
以下描述通常假设显示设备的“用户”是人。然而，注意，根据所公开实施例的显示设备可以潜在地由不是人类的用户使用，诸如机器或动物。因此，术语“用户”可以指代那些可能性中的任何可能性，除非可以从上下文中显而易见或另有说明。此外，术语“光学接收器”在此被用作通用术语，指人眼、动物眼睛或机器实现的光学传感器，其被设计来以类似于人眼的方式检测图像。因此，术语“眼睛跟踪”在本说明书中此后被用作一般术语，指代跟踪诸如人眼、动物眼睛或机器实现的光学传感器之类的光学接收器的移动或位置的过程。
头戴式显示器(HMD)设备和其他近眼显示器(NED)系统可以包括跟踪用户的眼睛的运动的部件。如本文所公开的设备可以包括用于眼睛跟踪的两个不同传感器，例如第一传感器和第二传感器。第一传感器的功耗水平高于第二传感器的功耗水平。备选地，第一传感器可以具有高于第二传感器的延迟等级的延迟等级。通过在传感器之间动态切换并组合由传感器收集的信号，所公开的设备可以实现与传统眼睛跟踪系统相比具有更低功耗和更低延迟的准确眼睛跟踪。
在一些实施例中，第一传感器是用于实施视频眼电位计测(VOG)的相机，并且第二传感器是用于收集眼电图(EOG)信号的EOG传感器。为了将功耗最小化，设备在指定的时间量内操作相机。在剩下的时间内，设备仅使用EOG信号来预测注视点(即，眼睛方向)。EOG传感器比VOG相机更节能，并且EOG信号的处理比VOG数据的处理需要更少的计算资源。如果需要眼睛位置的校准，则设备可以恢复相机的操作。
图1至图7和相关文本描述了使用具有不同功耗水平的传感器进行眼睛跟踪的技术的某些实施例。然而，所公开的实施例不限于NED系统或HMD设备，并且具有各种可能的应用，诸如在计算机监视器系统、平视显示器(HUD)系统和视频游戏系统中。例如，设备可以基于检测到的眼睛位置执行中央凹形绘制(foveated rendering)。对于中央凹形绘制，基于眼睛跟踪确定凝视点(也被称为注视点)。然后，可以以比用于图像其余部分的分辨率更高的分辨率绘制凝视点处的图像部分。备选地，可以模糊除了凝视点之外的其余图像。所有这些应用、改进或修改都被认为是在此公开的概念的范围内。
图1示意性地示出了在其中可以使用HMD设备的环境的示例。在所图示的示例中，HMD设备10被配置为通过连接14向外部处理系统12传递数据并且从外部处理系统12传递数据，连接14可以是有线连接、无线连接或其组合。然而，在其他使用情况中，HMD设备10可以作为独立设备操作。连接14可以被配置为携带任何类型的数据，诸如图像数据(例如，静止图像和/或全动态视频，包括2D和3D图像)、音频、多媒体、语音和/或任何(多个)其他类型的数据。处理系统12可以是例如游戏机、个人计算机、平板计算机、智能电话或其他类型的处理设备。连接14可以是例如通用串行总线(USB)连接、Wi-Fi连接、蓝牙或蓝牙低功耗(BLE)连接、以太网连接、电缆连接、数字用户线(DSL)连接、蜂窝连接(例如3G、LTE/4G或5G)等、或其组合。另外，处理系统12可以经由网络18来与一个或多个其他处理系统16通信，网络18可以是或包括例如局域网(LAN)、广域网(WAN)、内联网、城域网(MAN)、全球互联网或其组合。
图2示出了根据某些实施例的HMD设备20的透视图，该HMD设备20可以结合这里介绍的特征。HMD设备20可以是图1的HMD设备10的实施例。HMD设备20具有包括底盘24的保护性密封遮阳板组件22(下文中的“遮阳板组件22”)。底盘24是结构部件，显示元件、光学器件、传感器和电子器件通过该底盘被耦合到HMD设备20的其余部分。例如，底盘24可以由模制塑料、轻质金属合金或聚合物形成。
遮阳板组件22分别包括左AR显示器26-1和右AR显示器26-2。AR显示器26-1和26-2被配置为例如通过将光投射到用户的眼睛中，来显示被覆盖在用户的真实世界环境的视图上的图像。左侧臂28-1和右侧臂28-2分别是经由柔性或刚性紧固机构(包括一个或多个夹具、铰链等)分别在底盘24的左右开口端处附接到底盘24的结构。HMD设备20包括被附接到侧臂28-1和28-2的可调节头带(或其他类型的头部组件)30，HMD设备20可以通过该头带而被佩戴在用户的头上。
底盘24可以包括各种固定件(例如，螺钉孔、凸起的平坦表面等)，传感器组件32和其他部件可附接到该固定件。在一些实施例中，将传感器组件32包含在遮阳板组件22内并经由轻质金属框架(未示出)将其安装到底盘24的内表面。也可以将承载HMD 20的电子部件(例如，微处理器、存储器)的电路板(图2中未示出)安装在遮阳板组件22内的底盘24上。
传感器组件32包括深度成像系统的深度相机34和照明模块36。照明模块36发光以照亮场景。一些光从场景中的物体的表面反射，并返回到成像相机34。在诸如有源立体声系统的一些实施例中，该组件可以包括两个或更多相机。深度相机34捕获包括来自照明模块36的至少一部分光的反射光。
从照明模块36发出的“光”是适合于进行深度感测的电磁辐射，并且不应直接干扰用户对现实世界的观察。因此，从照明模块36发出的光通常不是人类可见光谱的一部分。发射光的示例包括红外(IR)光以使照明不引人注目。由照明模块36发出的光的源可以包括诸如超发光LED之类的LED、激光二极管、或具有足够功率输出的任何其他基于半导体的光源。
深度相机34可以是或包括被配置为捕获由照明模块36发出的光的任何图像传感器。深度相机34可以包括聚集反射光并将环境成像到图像传感器上的透镜。光学带通滤波器可以被用来仅通过与照明模块36发出的光具有相同波长的光。例如，在结构化光深度成像系统中，深度相机34的每个像素可以使用三角测量来确定到场景中的物体的距离。可以使用本领域技术人员已知的各种方法中的任何一种方法来确定对应的深度计算。
HMD设备20包括电子电路(图2中未示出)以控制深度相机34和照明模块36的操作，并执行相关联的数据处理功能。该电路可以包括例如一个或多个处理器和一个或多个存储器。因此，HMD设备20可以提供表面重建以对用户的环境进行建模，或者被用作接收人类交互信息的传感器。利用这样的配置，由HMD设备20生成的图像可以被适当地覆盖在用户的现实世界的3D视图上，以提供所谓的增强现实。注意，在其他实施例中，前述部件可以位于HMD设备20上的不同位置中。另外，一些实施例可以省略一些前述部件和/或可以包括上面未讨论或图2中未示出的附加部件。在一些备选实施例中，可以将前述深度成像系统包括在不是HMD设备的设备中。例如，可以将深度成像系统使用在用于计算机或游戏控制台、汽车传感设备、地形探测器，机器人等的运动传感输入设备中。
HMD设备20可以包括用于与基于深度信息而创建的用户界面交互的各种用户输入机制。例如，HMD设备20可以包括一个或多个传感器，用于跟踪用户眼睛的位置并确定注视点。然后，HMD设备20标识由HMD设备20创建的与注视点相对应的虚拟环境中的点。识别到用户正在注视该点，HMD设备20可以相应地更新虚拟环境中的用户界面。因此，用户可以通过仅注视用户界面的某个点，或者通过结合某些其他形式的输入(例如，口头命令或手势)注视某个点，来与用户界面交互。
图3示出了根据某些实施例的包括眼睛跟踪传感器的HMD设备的示例。HMD设备320包括用于捕获用户的左眼和右眼的视频序列的相机316和相机318(也称为VOG传感器)。在一些备选实施例中，设备可以仅包括用于捕获一只眼睛的视频序列的一个相机。HMD设备320可以包括一个或多个光源(例如，红外发光二极管)326和328，以提供眼睛的照明，使得相机316和相机318可以捕获眼睛的视频序列(或图像)。
相机316和相机318以某些操作周期(例如，每秒30帧)进行操作。HMD设备320可以控制相机316和相机318的操作。例如，HMD设备320的处理器可以向控制电路发送指令，以暂停和恢复相机316和相机318的操作。HMD设备320的处理器接收并处理视频序列，以标识瞳孔的位置。然后，HMD设备320可以跟踪和记录眼睛在X-Y平面中的移动。在X-Y平面中，X轴坐标表示竖直方向上的眼睛移动(相对于头部向上和向下)；Y轴坐标表示水平方向上的眼睛移动(相对于头部向左和向右)。
HMD设备320还包括用于眼睛跟踪的两个EOG传感器336和EOG传感器338。每个EOG传感器可以包括例如两个接触点，如图3中所图示。当用户佩戴HMD设备320时，EOG传感器336和EOG传感器338的接触点与用户的皮肤接触。在一些实施例中，EOG传感器的两个接触点位于眼睛的上方和下方。在一些其他实施例中，两个接触点位于眼睛的左方和右方。在其他一些实施例中，每个EOG传感器可以具有超过两个的接触点。
通过接触，EOG传感器336和EOG传感器338可以测量眼睛的前部和后部之间的角膜-视网膜静止(standing)电位。如果眼睛从中心位置向两个电极中的一个移动，则在电极之间产生电位差。导致的潜在信号被称为眼电图。假设静息电位(当眼睛静息于中间时)保持不变，则记录的电位是眼睛位置的量度。
VOG传感器316和VOG传感器318比EOG传感器336和EOG传感器338消耗更多功率。此外，由于处理视频序列所需的计算时间，对于眼睛跟踪而言，VOG传感器316和VOG传感器318具有比EOG传感器336和EOG传感器338更高的延迟。一方面，VOG传感器316和VOG传感器318比EOG传感器336和EOG传感器338具有更好的用于眼睛跟踪的准确度。
基于触发的机制
为了在保持准确眼睛跟踪的同时实现较低水平的功耗，HMD设备320可以使用VOG信号和EOG信号的组合。在眼睛跟踪期间，HMD设备320仅在一段时间段内开启VOG传感器316和VOG传感器318。在一些实施例中，HMD设备320使用基于触发的机制来控制VOG传感器316和VOG传感器318的操作。当眼睛不移动时，HMD设备320关闭VOG传感器316和VOG传感器318。
EOG传感器336和EOG传感器338保持操作以监视眼睛移动。基于EOG信号，HMD设备320可以实时确定眼睛是否移动。换句话说，EOG传感器336和EOG传感器338用作运动检测器。例如，HMD设备320的处理器可以计算基于两个附近帧之间的EOG信号的估计的眼睛位置之间的差异。如果估计的眼睛位置的差异在指定范围内(或小于阈值)，则处理器确定眼睛位置尚未改变。否则，处理器检测到眼睛移动。一旦眼睛开始移动，HMD设备320开启(触发)VOG传感器316和VOG传感器318，以标识眼睛的新位置。如果眼睛停止移动，则HMD设备320再次关闭VOG传感器316和VOG传感器318。EOG传感器336和EOG传感器338继续用作运动检测器。
图4图示出了根据某些实施例的使用基于触发的机制的眼睛跟踪的示例过程。另外，图5图示出了根据某些实施例的、在图4的过程期间正在眼睛跟踪设备的部件之间交换的信息。在如图4中所图示的过程400的步骤405处，眼睛跟踪设备的处理器501(例如，如图3中所图示的HMD设备320)向控制电路502发送指令510，以用于开启(515)VOG传感器503以收集用户的眼睛的视频流。在VOG传感器530开启的时间段期间，眼睛跟踪设备以比VOG传感器503关闭时更高的功耗水平操作。当VOG传感器503收集视频流时，VOG传感器503实时地将视频流520反馈到处理器501。
在一些备选实施例中，除了来自VOG传感器503的视频流520之外，处理器501还继续地从EOG传感器504接收EOG信号525。处理器可以基于视频流520和EOG信号525的组合来跟踪眼睛位置。
在步骤410处，处理器501分析视频流520以标识用户的眼睛的当前位置。在步骤415处，处理器501确定在一段时间内用户的眼睛的位置是否保持固定。在一些实施例中，处理器501在该时间段期间比较眼睛位置。如果在该时间段期间的眼睛位置之间的差异在指定范围内(或小于阈值)，则处理器501确定在该时间段期间眼睛位置保持固定。否则，处理器501确定眼睛位置已经移动。换句话说，已经发生了眼睛移动。
如果在该时间段期间用户的眼睛的位置没有保持固定，则在步骤420处，处理器501继续检索和分析视频流。如果在该时间段期间用户的眼睛的位置保持固定，则眼睛位置可能将继续保持固定一段附加的时间。在那种情况下，VOG传感器503不需要继续操作来以高准确度跟踪眼睛位置，因为具有相对低准确度的EOG传感器504足以用于监视眼睛移动。在步骤425处，处理器501向控制电路502发送指令530，以关闭(535)VOG传感器503。一旦VOG传感器503关闭，眼睛跟踪设备就以比当VOG传感器503开启时更低的功耗水平进行操作。
在步骤430处，处理器501从EOG传感器504接收EOG信号540。在步骤435处，处理器501分析EOG信号540以标识用户的眼睛的当前位置。EOG传感器504用作针对眼睛的运动检测器。在步骤440处，处理器501确定在当前时间点(当前帧)处眼睛是否已经移动。在一些实施例中，处理器501可以计算当前眼睛位置和先前眼睛位置(例如，紧接在当前帧之前的帧处的眼睛位置)之间的差异。如果眼睛位置之间的差异在指定范围内(或小于阈值)，则处理器501确定眼睛位置未改变。
如果眼睛尚未移动，则在步骤445处，处理器501继续接收并分析从EOG传感器504收集的EOG信号540。如果眼睛已移动，则设备需要更准确的眼睛跟踪部件(例如，VOG传感器503)，来准确地标识眼睛移动。因此，在步骤450处，处理器501再次向控制电路502发送指令545，以用于开启(550)VOG传感器503以收集用户的眼睛的视频流。眼睛跟踪设备取决于眼睛移动状态继续，来开启和关闭VOG传感器503。
在处理器501发送用于开启VOG传感器503的指令510和545的时间点之间的时间段590期间，VOG传感器503仅操作达一段特定时间量595。在剩余的时间内，设备仅使用EOG传感器504作为眼睛的运动传感器。执行过程400的设备比在整个操作期间保持VOG传感器开启的传统眼睛跟踪设备消耗更少的功率。另外，处理器501仅在VOG传感器503开启时分析VOG信号。由于分析来自EOG传感器504的EOG信号比分析来自VOG传感器503的视频流花费更少的计算时间，因此，与在整个操作期间保持VOG传感器开启的传统过程相比，过程400具有用于眼睛跟踪的低延迟的优点。
基于关键帧的机制
回到图3，在一些实施例中，HMD设备320可以使用基于关键帧的机制来控制VOG传感器316和VOG传感器318的操作。VOG传感器316和VOG传感器318以低帧速率(例如，5Hz)操作。换句话说，对于每0.2f秒，VOG传感器316和VOG传感器318仅需要开启一次以拍摄每只眼睛的一张照片。VOG传感器可以在其余时间保持关闭。低帧速率降低了VOG传感器316和VOG传感器318的功耗水平。VOG传感器316和VOG传感器318操作时的时间点被称为关键帧。对照而言，低功率传感器，EOG传感器336和EOG传感器338，以较高帧速率(例如，200Hz)操作。换句话说，EOG传感器336和EOG传感器338每秒收集200次EOG信号。EOG传感器336和EOG传感器338收集EOG信号时的时间点被称为常规帧。
VOG传感器以5Hz收集VOG信号，以确定在每个关键帧处的眼睛移动(例如，每秒5个关键帧)。对于关键帧之间的眼睛位置，HMD设备使用EOG信号来估计眼睛位置。因为EOG信号不如VOG信号准确，所以基于EOG信号的估计眼睛位置可能是有偏差的。通过使用关键帧处的VOG信号作为校准参考，可以移除偏差。例如，处理器可以计算基于EOG信号估计的眼睛位置与在相同关键帧处基于VOG信号计算出的另一眼睛位置之间的差异。注意，如果在整个设备操作过程中开启EOG传感器，则VOG传感器和EOG传感器两者都可以在关键帧处收集信号。即使在关键帧处没有可用的EOG信号，处理器仍然可以基于在关键帧处的VOG信号和在靠近关键帧的常规帧处的EOG信号来计算差异。眼睛位置之间的差异被视为偏差。然后，处理器可以通过从那些眼睛位置减去偏差来校准基于EOG信号估计的眼睛位置。
图6图示出了根据某些实施例的使用基于关键帧的机制的眼睛跟踪的示例过程。另外，图7图示出了根据某些实施例的在图6的过程期间正在眼睛跟踪设备的部件之间交换的信息。在如图6中所图示的过程600的步骤605处，眼睛跟踪设备的处理器701(例如，如图3中所图示的HMD设备320)指定低帧速率和高帧速率，VOG传感器703按照该低帧速率操作，EOG传感器704按照该高帧速率操作。在一些实施例中，处理器701基于用户输入指定低帧速率和高帧速率。在一些备选实施例中，处理器701基于VOG传感器703和EOG传感器704的硬件规范，来指定低帧速率和高帧速率。
VOG传感器703开启和操作时的时间点被称为关键帧。例如，以5Hz的低帧速率操作的VOG传感器以每秒5个关键帧开启。EOG传感器704开启和操作时的时间点被称为常规帧。例如，以200Hz的高帧速率操作的EOG传感器以每秒200个常规帧开启。
在步骤610处，处理器701将当前帧标识为关键帧，并为了VOG信号而将关键帧指令710发送给控制电路702。基于关键帧指令710，控制电路702请求(715)来自VOG传感器703的VOG信号。VOG传感器703从关闭阶段(或休眠阶段)恢复，并收集VOG信号。
在步骤615处，处理器701从VOG传感器703接收VOG信号720。VOG信号720包括例如用户的眼睛的图像。在步骤620处，处理器701向控制电路702发送确认725。在接收到确认725时，控制电路702向VOG传感器703发送信号730以关闭VOG传感器703。在步骤625处，处理器701分析VOG信号720，以标识用户的眼睛的当前位置。
在一些备选实施例中，除了在关键帧处从VOG传感器703接收的VOG信号720之外，处理器701还在关键帧处继续地从EOG传感器704接收EOG信号。处理器可以基于VOG信号和EOG信号的组合来跟踪眼睛位置。
在步骤625处，处理器701确定当前帧是关键帧还是常规帧。如果当前帧是关键帧，则过程600前进到步骤610以请求VOG信号。如果当前帧是常规帧，则在步骤630处，处理器701向EOG传感器704发送针对EOG信号的请求(735)。在步骤635处，处理器701从EOG传感器704接收EOG信号740。
在步骤640处，处理器701确定EOG信号740是否需要校准。在一些实施例中，处理器701计算基于在当前帧处的EOG信号740估计的眼睛位置与在靠近当前帧的关键帧处基于VOG信号计算的另一眼睛位置之间的差异。如果眼睛位置之间的差异大于阈值，则处理器701确定存在EOG信号的偏差并且EOG信号740需要校准。如果需要校准，则在步骤645处，处理器701通过从EOG信号740减去偏差来校准EOG信号740。在步骤650处，处理器701分析EOG信号以标识用户的眼睛的当前位置。然后，过程600返回到步骤625，以确定下一帧是常规帧还是关键帧。
VOG传感器703仅开启并操作一段特定时间量(在关键帧处)。在其余时间，眼睛跟踪设备仅使用EOG传感器704以用于眼睛跟踪。执行过程600的设备比在整个操作过程中保持VOG传感器开启的传统眼睛跟踪设备消耗更少的功率。另外，处理器701仅在VOG传感器703开启时分析VOG信号。由于分析来自EOG传感器704的EOG信号所花费的计算时间少于分析来自VOG传感器703的VOG信号，因此与在整个操作过程中保持VOG传感器开启的传统过程相比，该过程600具有低延迟的优点。
在一些备选实施例中，代替使用处理器701来跟踪VOG传感器703和EOG传感器704的帧速率，VOG传感器703和EOG传感器704可以跟踪它们自己的帧速率。例如，VOG传感器703可以跟踪其帧速率并在每个关键帧处自动地开启它。类似地，EOG传感器704可以跟踪其自己的帧速率，并在每个常规帧处自动地操作。一些常规帧可以在某些时间点处与关键帧重叠。
在一些实施例中，眼睛跟踪设备可以使用其他类型的低功率传感器而不是EOG传感器。例如，眼睛跟踪设备可以使用一个或多个光电二极管(或(多个)其他类型的光电传感器)来标识由眼睛反射的光的平均强度。平均强度值足以用于使眼睛跟踪设备确定眼睛是保持静止还是移动。可以训练机器学习模型(例如，神经网络模型)以用于确定。换句话说，如果眼睛的平均强度值改变到一定程度，则眼睛跟踪设备识别出对应的眼睛移动。
备选地，眼睛跟踪设备可以使用低功率相机作为低功率传感器。例如，具有低分辨率的1mm×1mm相机传感器(例如，互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器)可以是低功率传感器，并且具有远低于典型VOG传感器相机的功耗水平的功耗水平。此外，由于低分辨率，低功率相机需要较少的时间来处理低功率相机的视频序列，并实现用于眼睛跟踪的低延迟。
图8示出了可以被用来实现所公开的功能的处理系统的硬件架构的高级示例。图8中所图示的处理系统可以是例如HMD设备的子系统或其他眼睛跟踪设备。可以使用诸如图8中所示的架构的一个或多个实例(例如，多个计算机)来实现本文描述的技术，其中多个这样的实例可以经由一个或多个网络而被彼此耦合。
所图示的处理系统800包括一个或多个处理器810、一个或多个存储器811、一个或多个通信设备812、一个或多个输入/输出(I/O)设备813、以及一个或多个大容量储存设备814，全部这些通过互连件815而彼此耦合。互连件815可以是或包括一个或多个导电迹线、总线、点对点连接、控制器、适配器和/或其他传统连接设备。每个处理器810至少部分地控制处理设备800的整体操作，并且可以是或包括例如一个或多个通用可编程微处理器、数字信号处理器(DSP)、移动应用处理器、微控制器、专用集成电路(ASIC)、可编程门阵列(PGA)等，或这些设备的组合。
每个存储器811可以是或包括一个或多个物理储存设备，其可以是随机存取存储器(RAM)、只读存储器(ROM)(其可以是可擦除的和可编程的)、闪存、微型硬盘驱动器、或其他合适类型的储存设备的形式，或是这些设备的组合。每个大容量储存设备814可以是或包括一个或多个硬盘驱动器、数字通用盘(DVD)、闪存等。每个存储器811和/或大容量储存器814可以(单独地或共同地)存储数据和指令，所述数据和指令配置(多个)处理器810以执行操作来实现上述技术。每个通信设备812可以是或包括例如以太网适配器、电缆调制解调器、Wi-Fi适配器、蜂窝收发器、基带处理器、蓝牙或蓝牙低功耗(BLE)收发器等或其组合。取决于处理系统800的具体性质和目的，每个I/O设备813可以是或包括诸如显示器(其可以是触摸屏显示器)、音频扬声器、键盘、鼠标或其他指示设备麦克风、相机等等之类的设备。然而，注意，如果处理设备800仅被实现为服务器计算机，则可能不需要这样的I/O设备。
在用户设备的情况下，通信设备812可以是或包括例如蜂窝电信收发器(例如3G、LTE/4G、5G)、Wi-Fi收发器、基带处理器、蓝牙或BLE收发器等或其组合。在服务器的情况下，通信设备812可以是或包括例如任何上述类型的通信设备、有线以太网适配器、电缆调制解调器、DSL调制解调器等，或这些设备的组合。
上述机器实现的操作可以至少部分地由通过软件和/或固件编程/配置的可编程电路、或者完全通过专用电路或通过这些形式的组合来实现。这种专用电路(如果有的话)可以是例如一个或多个专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、片上系统的系统(SOC)等。
用于实现这里介绍的实施例的软件或固件可以存储在机器可读储存介质上，并且可以由一个或多个通用或专用可编程微处理器执行。本文使用的术语“机器可读介质”包括可以以机器可访问的形式存储信息的任何机制(机器可以是例如计算机、网络设备、蜂窝电话、个人数字助理(PDA)、制造工具、具有一个或多个处理器的任何设备等)。例如，机器可访问介质包括可记录/不可记录介质(例如只读存储器(ROM)；随机存取存储器(RAM)；磁盘储存介质；光储存介质；闪存设备；等等)，等等。
某些实施例的示例
将本文介绍的技术的某些实施例总结在以下编号的示例中：
1.一种眼睛跟踪的装置，包括：用于操作第一传感器的器件，所述第一传感器具有第一功耗水平，以跟踪用户的眼睛的位置；用于响应于检测到所述眼睛在一段时间内没有改变位置而停止所述第一传感器的操作的器件；用于操作具有第二功耗水平以检测眼睛的位置的改变的第二传感器的器件，所述第二功耗水平低于所述第一功耗水平；以及用于响应于由所述第二传感器检测到所述眼睛的所述位置的所述改变而恢复所述第一传感器的操作的器件。
2.根据示例1所述的装置，其中所述第一传感器具有第一信号处理延迟，所述第一信号处理延迟高于所述第二传感器的第二信号处理延迟。
3.根据示例1或2所述的装置，其中所述第一传感器具有第一眼睛跟踪准确度，所述第一眼睛跟踪准确度大于所述第二传感器的第二眼睛跟踪准确度。
4.根据前述示例1至3中任一项所述的装置，其中所述第一传感器包括捕获所述用户的所述眼睛的图像的相机。
5.根据前述示例1至4中任一项所述的装置，其中所述第二传感器包括眼电图传感器、光电二极管或低功率相机传感器。
6.如前述示例1至5中任一项所述的装置，还包括：用于基于所述第二传感器在两帧处的信号来估计眼睛位置并计算两个眼睛位置之间的差异的器件；以及用于当所述两个眼睛位置之间的所述差异超过阈值时识别所述眼睛的所述位置的所述改变的器件。
7.根据前述示例1至6中任一项所述的装置，还包括：用于当所述第一传感器的所述操作恢复时继续所述第二传感器的操作的器件。
8.一种用于眼睛跟踪的电子设备，包括：具有第一功耗水平的、跟踪用户的眼睛的位置的第一传感器；具有第二功耗水平的、跟踪所述用户的眼睛的位置的第二传感器，所述第二功耗水平低于所述第一功耗水平；以及处理器，所述处理器被配置为执行包括以下的过程：基于来自所述第一传感器的信号，检测所述眼睛在一段时间内没有改变位置；停止所述第一传感器的操作；触发所述第二传感器，以检测所述眼睛的位置的改变；并且响应于所述眼睛的所述位置的所述改变而恢复所述第一传感器的操作。
9.根据示例8所述的电子设备，还包括：具有所述第一功耗水平的、跟踪所述用户的另一只眼睛的位置的第三传感器，所述第三传感器和所述第一传感器是相同类型的；以及具有所述第二功耗水平的、跟踪所述用户的另一只眼睛的位置的第四传感器，所述第四传感器和所述第二传感器是相同类型的。
10.根据示例8或9所述的电子设备，还包括：光源，所述光源生成由所述眼睛反射并由所述第一传感器或所述第二传感器捕获的光。
11.根据前述示例8至10中任一项所述的电子设备，还包括：控制电路，所述控制电路基于来自所述处理器的指令来控制所述第一传感器的所述操作。
12.根据前述示例8至11中任一项所述的电子设备，其中所述处理器还被配置为：基于所述第二传感器在两帧处的信号来估计眼睛位置并计算两个眼睛位置之间的差异；并且如果所述两个眼睛位置之间的所述差异超过阈值，则识别所述眼睛的位置的所述改变。
13.根据前述示例8至12中任一项所述的电子设备，其中所述第一传感器具有第一信号处理延迟，所述第一信号处理延迟高于所述第二传感器的第二信号处理延迟，或者所述第一传感器具有第一眼睛跟踪准确度，所述第一眼睛跟踪准确度优于所述第二传感器的第二眼睛跟踪准确度。
14.根据前述示例8至13中任一项所述的电子设备，其中所述第一传感器是视频眼电位计测传感器，并且所述第二传感器是眼电图传感器、光电二极管或低功率相机传感器。
15.一种眼睛跟踪的装置，包括：用于操作第一传感器的器件，所述第一传感器具有第一功耗水平，按照第一帧速率跟踪用户眼睛的位置；用于基于以所述第一帧速率从所述第一传感器收集的信号来确定所述眼睛在关键帧处的位置的器件；用于操作第二传感器的器件，所述第二传感器具有第二功耗水平，按照第二帧速率跟踪所述用户的眼睛的位置，所述第二功耗水平低于所述第一功耗水平，所述第一帧速率低于所述第二帧速率；和用于基于以所述第二帧速率从所述第二传感器收集的信号来确定所述眼睛在常规帧处的位置的器件。
16.根据示例15所述的装置，还包括：用于生成在基于在关键帧处从所述第一传感器收集的信号所确定的眼睛位置与基于在常规帧处从所述第二传感器收集的信号所确定的另一个眼睛位置之间的偏差的器件；和用于通过从多个眼睛位置减去所述偏差来校准基于来自所述第二传感器的信号所确定的所述多个眼睛位置的器件。
17.根据示例15或16所述的装置，其中所述第一传感器具有第一信号处理延迟，所述第一信号处理延迟高于所述第二传感器的第二信号处理延迟。
18.根据前述示例15至17中任一项所述的装置，其中第一传感器具有第一眼睛跟踪准确度，所述第一眼睛跟踪准确度优于所述第二传感器的第二眼睛跟踪准确度。
19.根据前述示例15至18中任一项所述的装置，其中所述第二传感器包括眼电图传感器、光电二极管或低功率相机传感器。
20.根据前述示例15至19中任一项所述的装置，还包括：用于基于正被跟踪的所述眼睛的所述位置来确定用户界面处的凝视点的器件；以及用于基于所述凝视点来实施所述用户界面的中央凹形绘制的器件。
如对于本领域普通技术人员来说是清楚的，除非在上文中另外说明的程度或者任何这样的实施例由于其功能或结构而可能不相容的程度，否则上述任何或所有特征和功能可以彼此组合。除非与物理可能性相反，否则设想(i)可以以任何顺序和/或以任何组合来执行本文描述的方法/步骤，并且(ii)可以以任何方式组合相应实施例的部件。
尽管用结构特征和/或动作专用的语言描述了本主题，但应理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上面描述的具体特征和动作是作为实现权利要求的示例而公开的，并且其他等同特征和动作旨在落入权利要求的范围内。

Claims (19)

1.一种眼睛跟踪的方法，包括：
操作视频眼电位计测(VOG)传感器，以跟踪用户的眼睛的位置；
响应于基于来自所述VOG传感器的VOG信号的、所述眼睛在一段时间内没有改变位置的第一检测，停止所述VOG传感器的操作；
操作眼电图(EOG)传感器，以响应于停止所述VOG传感器的所述操作来跟踪所述眼睛的所述位置，其中所述EOG传感器具有低于所述VOG传感器的功耗；以及
响应于基于来自所述EOG传感器的EOG信号的、所述眼睛的所述位置的改变的第二检测，恢复所述VOG传感器的操作。
2.根据权利要求1所述的方法，其中所述VOG传感器具有第一信号处理延迟，所述第一信号处理延迟高于所述EOG传感器的第二信号处理延迟。
3.根据权利要求1所述的方法，其中所述VOG传感器具有第一眼睛跟踪准确度，所述第一眼睛跟踪准确度大于所述EOG传感器的第二眼睛跟踪准确度。
4.根据权利要求1所述的方法，其中所述VOG传感器包括捕获所述用户的所述眼睛的图像的相机。
5.根据权利要求1所述的方法，其中所述EOG传感器包括低功率相机。
6.根据权利要求1所述的方法，还包括：
基于所述EOG传感器在两帧处的所述EOG信号来估计两个眼睛位置，并计算所述两个眼睛位置之间的差异；以及
当所述两个眼睛位置之间的所述差异超过阈值时，识别所述眼睛的所述位置的所述改变。
7.根据权利要求1所述的方法，还包括：
当所述EOG传感器的所述操作恢复时，继续所述EOG传感器的操作。
8.一种用于眼睛跟踪的电子设备，包括：
视频眼电位计测(VOG)传感器，用以跟踪用户的眼睛的位置；
眼电图(EOG)传感器，用以跟踪所述用户的所述眼睛的所述位置，其中所述EOG传感器具有低于所述VOG传感器的功耗；以及
处理器，所述处理器被配置为执行包括以下的过程：
基于来自所述VOG传感器的VOG信号，检测所述眼睛在一段时间内没有改变位置；
响应于检测到所述眼睛在所述一段时间内没有改变位置，停止所述VOG传感器的操作；
响应于停止所述VOG传感器的所述操作，触发所述EOG传感器，以跟踪所述眼睛的所述位置；以及
响应于基于所述EOG传感器的EOG信号检测到所述眼睛的所述位置的改变，恢复所述VOG传感器的操作。
9.根据权利要求8所述的电子设备，还包括：
另一个VOG传感器，所述另一个VOG传感器跟踪所述用户的另一只眼睛的位置；以及
另一个EOG传感器，所述另一个EOG传感器跟踪所述用户的所述另一只眼睛的位置。
10.根据权利要求8所述的电子设备，还包括：
光源，所述光源生成由所述眼睛反射并由所述VOG传感器或所述EOG传感器捕获的光。
11.根据权利要求8所述的电子设备，还包括：
控制电路，所述控制电路基于来自所述处理器的指令来控制所述VOG传感器的所述操作。
12.根据权利要求8所述的电子设备，其中所述处理器还被配置为：
基于所述EOG传感器在两帧处的所述EOG信号来估计两个眼睛位置；
计算所述两个眼睛位置之间的差异；以及
当所述两个眼睛位置之间的所述差异超过阈值，识别所述眼睛的所述位置的所述改变。
13.根据权利要求8所述的电子设备，其中所述VOG传感器具有第一信号处理延迟，所述第一信号处理延迟高于所述EOG传感器的第二信号处理延迟，或者所述VOG传感器具有第一眼睛跟踪准确度，所述第一眼睛跟踪准确度优于所述EOG传感器的第二眼睛跟踪准确度。
14.根据权利要求8所述的电子设备，其中所述VOG传感器是相机，并且所述EOG传感器是低功率相机。
15.一种眼睛跟踪的方法，包括：
操作视频眼电位计测(VOG)传感器，以按照第一帧速率跟踪用户的眼睛的位置；
基于按照所述第一帧速率从所述VOG传感器收集的VOG信号，来确定所述眼睛在关键帧处的所述位置，其中所述VOG传感器基于所述眼睛在一段时间内保持在固定的位置中而停止操作；
操作眼电图(EOG)传感器，以当所述VOG传感器一停止操作时按照第二帧速率跟踪所述用户的所述眼睛的所述位置，其中所述EOG传感器具有低于所述VOG传感器的功耗，其中所述第一帧速率低于所述第二帧速率；
基于按照所述第二帧速率从所述EOG传感器收集的EOG信号，来确定所述眼睛在常规帧处的位置；
基于不同于正被跟踪的所述眼睛的所述固定的位置的当前位置，来确定用户界面处的凝视点；
基于所述凝视点来实施所述用户界面的中央凹形绘制；以及
响应于基于来自所述EOG传感器的所述EOG信号检测到所述眼睛的位置的改变，恢复所述VOG传感器的操作。
16.根据权利要求15所述的方法，还包括：
生成在基于在关键帧处从所述VOG传感器收集的所述VOG信号所确定的眼睛位置与基于在常规帧处从所述EOG传感器收集的所述EOG信号所确定的另一眼睛位置之间的偏差；以及
通过从多个眼睛位置减去所述偏差，来校准基于来自所述EOG传感器的所述EOG信号所确定的所述多个眼睛位置。
17.根据权利要求15所述的方法，其中所述VOG传感器具有第一信号处理延迟，所述第一信号处理延迟高于所述EOG传感器的第二信号处理延迟。
18.根据权利要求15所述的方法，其中所述VOG传感器具有第一眼睛跟踪准确度，所述第一眼睛跟踪准确度优于所述EOG传感器的第二眼睛跟踪准确度。
19.根据权利要求15所述的方法，其中所述EOG传感器包括低功率相机。
CN201780079986.8A 2016-12-23 2017-12-18 具有低延迟和低功率的眼睛跟踪系统 Active CN110114739B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/390,410 US10757328B2 (en) 2016-12-23 2016-12-23 Eye tracking using video information and electrooculography information
US15/390,410 2016-12-23
PCT/US2017/066910 WO2018118731A1 (en) 2016-12-23 2017-12-18 Eye tracking system with low-latency and low-power

Publications (2)

Publication Number Publication Date
CN110114739A CN110114739A (zh) 2019-08-09
CN110114739B true CN110114739B (zh) 2022-07-08

Family

ID=61750477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780079986.8A Active CN110114739B (zh) 2016-12-23 2017-12-18 具有低延迟和低功率的眼睛跟踪系统

Country Status (4)

Country Link
US (1) US10757328B2 (zh)
EP (1) EP3559788B1 (zh)
CN (1) CN110114739B (zh)
WO (1) WO2018118731A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11262837B2 (en) * 2017-08-21 2022-03-01 Alibaba Technology (Israel) Ltd. Dual-precision sensor system using high-precision sensor data to train low-precision sensor data for object localization in a virtual environment
JP7162020B2 (ja) * 2017-09-20 2022-10-27 マジック リープ， インコーポレイテッド 眼追跡のための個人化されたニューラルネットワーク
US11202006B2 (en) * 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110171427B (zh) * 2019-05-30 2020-10-27 北京七鑫易维信息技术有限公司 视线追踪的方法、装置及系统
US11442540B2 (en) * 2019-09-18 2022-09-13 Apple Inc. Eye tracking using low resolution images
CN112749600B (zh) * 2019-10-31 2024-03-12 Oppo广东移动通信有限公司 人眼位置确定方法及相关产品
US11626127B2 (en) * 2020-01-20 2023-04-11 Orcam Technologies Ltd. Systems and methods for processing audio based on changes in active speaker
US11426116B2 (en) 2020-06-15 2022-08-30 Bank Of America Corporation System using eye tracking data for analysis and validation of data
US11954249B1 (en) * 2020-06-26 2024-04-09 Apple Inc. Head-mounted systems with sensor for eye monitoring
US20220022805A1 (en) * 2020-07-22 2022-01-27 Eysz Inc. Seizure detection via electrooculography (eog)
US11803237B2 (en) * 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
US11874958B2 (en) * 2021-09-24 2024-01-16 Apple Inc. Eye detection methods and devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101802725A (zh) * 2007-05-16 2010-08-11 视瑞尔技术公司 全息显示装置
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
EP2587341A1 (en) * 2011-10-27 2013-05-01 Tobii Technology AB Power management in an eye-tracking system
CN103576857A (zh) * 2012-08-09 2014-02-12 托比技术股份公司 凝视跟踪系统的快速唤醒
CN104394755A (zh) * 2012-04-30 2015-03-04 透明医疗体系公司 在并行采样和锁定检测模式中操作的眼科波前传感器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7731360B2 (en) 2003-11-07 2010-06-08 Neuro Kinetics Portable video oculography system
WO2005094667A2 (en) 2004-04-01 2005-10-13 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
WO2010062479A1 (en) * 2008-11-02 2010-06-03 David Chaum System and apparatus for eyeglass appliance platform
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP5613528B2 (ja) 2009-11-12 2014-10-22 パナソニック株式会社 眼電位計測装置、眼科診断装置、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね、眼電位計測方法、及びプログラム
JP5490664B2 (ja) 2009-11-18 2014-05-14 パナソニック株式会社 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
JP5613025B2 (ja) 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
JP5613533B2 (ja) 2009-11-19 2014-10-22 パナソニック株式会社 ノイズ低減装置、眼電位計測装置、眼科診断装置、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね、及びプログラム
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
WO2013140725A1 (ja) 2012-03-21 2013-09-26 パナソニック株式会社 眼球疲労判定装置および眼球疲労判定方法
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
JPWO2014084224A1 (ja) * 2012-11-27 2017-01-05 京セラ株式会社 電子機器および視線入力方法
CN105247447B (zh) 2013-02-14 2017-11-10 脸谱公司 眼睛跟踪校准系统及方法
WO2015026203A1 (en) * 2013-08-23 2015-02-26 Samsung Electronics Co., Ltd. Mode switching method and apparatus of terminal
CN105765558A (zh) * 2013-09-03 2016-07-13 醒眸行有限公司 低功率眼睛跟踪系统和方法
WO2015038810A2 (en) * 2013-09-11 2015-03-19 Firima Inc. User interface based on optical sensing and tracking of user's eye movement and position
US9955895B2 (en) 2013-11-05 2018-05-01 The Research Foundation For The State University Of New York Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces
US20150223683A1 (en) * 2014-02-10 2015-08-13 Labyrinth Devices, Llc System For Synchronously Sampled Binocular Video-Oculography Using A Single Head-Mounted Camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101802725A (zh) * 2007-05-16 2010-08-11 视瑞尔技术公司 全息显示装置
EP2587341A1 (en) * 2011-10-27 2013-05-01 Tobii Technology AB Power management in an eye-tracking system
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
CN104394755A (zh) * 2012-04-30 2015-03-04 透明医疗体系公司 在并行采样和锁定检测模式中操作的眼科波前传感器
CN103576857A (zh) * 2012-08-09 2014-02-12 托比技术股份公司 凝视跟踪系统的快速唤醒

Also Published As

Publication number Publication date
US10757328B2 (en) 2020-08-25
EP3559788B1 (en) 2024-03-06
WO2018118731A1 (en) 2018-06-28
US20180184002A1 (en) 2018-06-28
CN110114739A (zh) 2019-08-09
EP3559788A1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
CN110114739B (zh) 具有低延迟和低功率的眼睛跟踪系统
CN110352364B (zh) 多光谱照射和传感器模块
US20180342066A1 (en) Apparatus and method for hybrid eye tracking
US10503973B2 (en) Pupil detection device
US9961258B2 (en) Illumination system synchronized with image sensor
US11366519B2 (en) Relative position based eye-tracking system
CN109715047B (zh) 用于眼动追踪应用的传感器融合系统和方法
JP4452833B2 (ja) 視線移動検出方法及び視線移動検出装置
JP2019506768A (ja) レンジゲート式デプスカメラ部品
US10528131B2 (en) Method to reliably detect correlations between gaze and stimuli
US20140192206A1 (en) Power consumption in motion-capture systems
US20150199559A1 (en) Systems and methods of light modulation in eye tracking devices
US7106204B2 (en) Shared attention detection system and method
CN108170279A (zh) 头显设备的眼动和头动交互方法
US10192147B2 (en) Foreign substance detection in a depth sensing system
KR20120057033A (ko) Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
Hennessey et al. Fixation precision in high-speed noncontact eye-gaze tracking
US10682270B2 (en) Seat, motion control method thereof and motion control system thereof
KR102405118B1 (ko) 조명 패턴을 겪은 물체의 이미지 취득을 최적화하기 위한 방법 및 장치
JPWO2016027627A1 (ja) 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
CN113316755A (zh) 使用基于事件的视觉传感器的环境模型保持
TW201709022A (zh) 非接觸式控制系統及方法
US20230133579A1 (en) Visual attention tracking using gaze and visual content analysis
JP2022131345A (ja) 瞳孔検出装置及び瞳孔検出方法
Huang et al. A human-computer interface design using automatic gaze tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant