CN117389420A - 多模式眼睛跟踪 - Google Patents

多模式眼睛跟踪 Download PDF

Info

Publication number
CN117389420A
CN117389420A CN202311570595.XA CN202311570595A CN117389420A CN 117389420 A CN117389420 A CN 117389420A CN 202311570595 A CN202311570595 A CN 202311570595A CN 117389420 A CN117389420 A CN 117389420A
Authority
CN
China
Prior art keywords
eye
rate
sensor
data
examples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311570595.XA
Other languages
English (en)
Inventor
E·J·塞尔克尔
I·约
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN117389420A publication Critical patent/CN117389420A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Pathology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开了一种方法，该方法包括以下步骤：在第一时间间隔从第一传感器接收第一数据，该第一传感器被配置为输出指示眼睛的第一位置的数据；在第二时间间隔从第二传感器接收第二数据，该第二传感器被配置为输出指示眼睛的增量位置的数据；基于第一数据确定眼睛的第一位置；基于第二数据确定眼睛的增量位置；使用眼睛的第一位置和眼睛的增量位置，确定眼睛的第二绝对位置；以及响应于确定眼睛的第二位置，生成指示眼睛的第二位置的输出信号。

Description

多模式眼睛跟踪
本申请是申请号为201880024458.7的中国专利申请“多模式眼睛跟踪”(申请日为2018年4月13日)的分案申请。
相关申请的交叉引用
本申请要求2017年4月14日提交的美国专利申请第62/485,820号第35U.S.C.119(e)节的权益，出于所有目的，通过引用将其全部内容合并于此。
技术领域
本公开的示例涉及用于跟踪人眼并且更具体地用于确定和/或表征人眼的位置、运动和/或行为的系统和方法。
背景技术
一般而言，眼睛跟踪系统生成与用户眼睛的位置和/或运动对应的一个或多个信号。(贯穿本公开，“位置”应理解为包括位置和/或取向(orientation)，以及“运动”应理解为包括眼睛的运动和/或旋转。)这些信号可以用作各种计算机系统的输入，并用于游戏、导航、运动训练、通信和医学研究等各种应用中；或者用于了解用户正在观看的位置很有帮助的其他情况下。尤其是，眼睛跟踪系统可以用于3D虚拟环境中，例如某些“增强现实”(AR)系统所采用的，其中，用户眼睛运动的知识可以增强沉浸在虚拟环境中的感觉。在某些示例中，眼睛跟踪系统涉及一种移动装置，例如具有朝向佩戴者眼睛取向的传感器的头戴式设备。
即使在动态或不可预测的情况下(例如变化的天气和照明情况下)，也希望眼睛跟踪系统准确地反映眼睛位置和运动。此外，与大多数计算机系统一样，希望减少眼睛跟踪系统消耗的功率，例如以保留移动系统中的电池寿命。这些目标并不总是兼容的：例如，高分辨率光学扫描可能会产生准确的眼睛跟踪结果，但以高功率消耗为代价。以低刷新率更新传感器数据可以节省功率，但无法准确捕获高频率眼睛运动。本公开涉及用于组合传感器(例如光学传感器和眼电电压传感器(electro-ocular voltage sensor))以增强眼睛跟踪系统的准确性和/或功率消耗的多模式系统和方法。本公开进一步涉及用于使用这样的传感器来表征眼睛的行为(该信息可以用于进一步增强眼睛跟踪准确性和/或功率消耗)的系统和方法。
发明内容
本公开的示例描述了用于跟踪人眼的系统和方法。根据本公开的示例，诸如光学传感器和眼电电压传感器之类的传感器可以被组合以例如通过提高准确性和功耗来增强眼睛跟踪。例如，可以在第一时间间隔从第一传感器接收指示眼睛的第一位置(例如，绝对位置)的第一数据。可以在第二时间间隔从第二传感器接收指示眼睛的增量(delta)位置的第二数据。可以使用第一位置和增量位置来确定眼睛的第二位置(例如，绝对位置)。传感器可以被进一步使用(例如，通过机器学习技术)来表征眼睛的各种行为，该信息可以用于进一步增强眼睛跟踪。
附图说明
图1示出了人眼的横截面。
图2A示出了根据本公开的示例的被配置为检测眼睛运动的电极的示例。
图2B示出了根据本公开的示例的示例头戴式设备。
图3A和图3B示出了根据本公开的示例的示例眼睛跟踪系统，该示例眼睛跟踪系统使用多个传感器来输出与眼睛的位置和/或运动对应的信号。
图4示出了根据本公开的示例的可以体现在任何便携式或非便携式设备内的系统架构的示例。
具体实施方式
在以下示例的描述中，参考形成其一部分的附图，并且在附图中通过图示的方式示出了可以实践的特定示例。应当理解，在不脱离所公开示例的范围的情况下，可以使用其他示例并且可以进行结构改变。
眼睛跟踪系统必须应对从最活泼且多变的身体部位之一可靠地获得准确数据的挑战。此外，可以使这类系统毫不干扰地、在不可预测的照明情况下、以及在糟糕的物理环境中且功率消耗最小地执行任务。本公开的示例涉及用于组合传感器(例如，光学传感器和眼电电压传感器)以解决这些挑战的多模式系统和方法，如下所述。
眼科学
图1是人眼(100)的截面图，并且被描绘为包括角膜(102)、虹膜(104)、晶状体(106)、巩膜(108)、脉络膜层(110)、黄斑(112)、视网膜(114)和到大脑的视神经(116)。光在角膜(102)处进入眼睛(100)的前部。虹膜(104)调节在视网膜(114)上容纳的光量，并且晶状体(106)可以在视网膜(114)处调节并聚焦图像。继而，视网膜(114)将视觉刺激转换为电信号(例如，受体电势)，该电信号经由视神经(116)发送至视觉皮层。黄斑(112)是视网膜(114)的中心，其被用来看到适度的细节。在黄斑(112)的中心是相对较小的中央凹，该中央凹被用来看到细微的细节，并且与视网膜(114)的任何其他部分相比包含更多的感光受体(每视度约120个视锥)。眼睛(100)可以通过两对直接肌肉和一对斜肌(未示出)来旋转以提供六个自由度。视神经(116)被眼睛的肌肉包围。
人的视觉系统被配置为通过耦合到眼睛的肌肉的活动来主动地扫描环境，其包括响应于入射在视网膜上的光而生成神经信号的感光受体。眼睛能够利用这些肌肉做出许多不同的运动。这些至少包括小运动(例如，震颤)、较快的跟踪运动(例如，平稳追踪(smoothpursuit))和非常快的运动(例如，扫视、颤搐(ballistic))。有些运动可能是自主的，大部分运动是非自愿的，而另一些运动可能是自愿的。如本文所讨论的，眼睛运动可以至少指的是眼睛围绕水平轴、与球体一起围绕水平轴旋转的(初始)垂直轴以及沿着凝视角的扭转轴的旋转。
一些眼睛运动可被描述为扫视眼睛运动。扫视是眼睛的快速共轭(conjugate)颤搐运动，会突然改变注视点。扫视可以涉及到眼睛以每秒900度的速度的运动。通常，扫视眼睛运动会把关注对象带入视野。例如，当看书时，眼睛会出现急促的扫视运动并停止几次，在每个注视点之间快速运动。在另一个示例中，车辆驾驶员将进行扫视眼睛运动以注视道路上的其他汽车、交通标志、汽车内饰等。快速运动眼睛可以使中央凹对对象的不同部分成像。扫视眼睛运动可以是自愿的、作为对视觉刺激的响应而反射的、和/或诸如对视动或前庭运动的响应而矫正的。例如，反射性扫视可以由外部刺激或注视刺激的消失触发。反向扫视可以自动使眼睛远离视觉刺激。扫描扫视可以是自愿的，并允许检查视觉环境的不同部分。记忆扫视可以使眼睛移向记忆点。预测扫视可以预期关注对象的运动。在睡眠的快速眼睛运动阶段也可以发生扫视。
一些眼睛运动可以被描述为平稳追踪运动，其是共轭眼睛运动，在大约每秒1度到大约每秒100度的范围内平稳地跟踪关注的运动视觉对象，以保持该对象的图像在视网膜上稳定。平稳追踪运动通常不受自愿控制。
某些眼睛运动可被描述为注视，其是眼睛的静止状态，其中，眼睛将关注对象的图像保持在视网膜上。注视可能会持续大约100毫秒至大约1000毫秒。
一些眼睛运动可被描述为眼球震颤。眼球震颤是一种非自愿的眼睛运动的形式，包括在慢速阶段和快速阶段之间交替。眼球震颤的眼睛运动可描述为视动或前庭运动。视动性眼球震颤是指静止的视觉受体和快速运动的关注对象。视动性眼球震颤可以具有特征性的锯齿模式的眼睛运动；它包括慢速阶段和快速阶段(即，返回扫视(saccadic jump))，在慢速阶段中眼睛注视在运动场(field)的一部分上，然后进行追踪运动，在快速阶段中眼睛注视在该场的新的部分上。前庭眼球震颤可响应于头部的运动而发生，以刺激内耳的半圆形管。来自半圆形管的感官信息可以引导眼睛沿与头部运动相反的方向运动，从而大致将关注对象的图像保持在视网膜上。
一些眼睛运动可被描述为前庭眼睛运动。前庭眼睛运动是指头部和/或身体(例如，颈部)的运动与眼睛的运动相结合。前庭眼睛运动可以通过允许头部和颈部的大肌肉辅助大规模或快速运动来减轻眼睛的压力，例如，在观看视野周围中的对象或在跟踪跨视野快速运动的对象时。例如，当人们的视线需要偏离中心超过大约20度以聚焦在特定的关注对象上时，大多数人都喜欢移动他们的头部。头部运动还使人类视觉系统受益于头部运动视差的深度提示，这可以帮助识别对象在视野中的相对深度。使用前庭眼动反射来协调头部和眼睛运动，从而在头部旋转期间相对于视网膜稳定图像信息。
眼睛可以从事各种类型的眼睛运动(例如上述类型的眼睛运动)的组合。为了以下公开的目的，眼睛行为是一个或多个眼睛运动(或一个或多个眼睛运动的模式)，并且可以包括头部运动，例如在前庭眼睛运动的情况下。人的眼睛从事哪种眼睛行为受例如以下的几个外部因素的影响：该人从事的活动(例如，阅读、驾驶)；该人的位置和周围环境(例如，在安静的图书馆中、在繁忙的车辆交通中)；以及环境因素(例如，环境照明情况、温度)。了解这些外部因素可以有助于预测人眼睛行为。例如，知道某人正在读书，则可以表明该人的眼睛在进行扫视运动。相反，对人眼睛行为的了解可以表明各种外部因素。例如，知道某人的眼睛正在进行扫视运动，则可以表明该人正在读书。
眼睛跟踪
存在用于获得与用户的眼睛的位置有关的测量的几种技术。
一些这样的技术包括光学传感器，例如照相机。例如，光可以从眼睛反射并由光学传感器感测以检测眼睛位置和运动。其他此类技术可以涉及测量人眼的两个位置之间可以存在的电势。例如，参考图1，眼睛(100)的角膜(102)相对于视网膜(114)是电正性的，并且形成稳定的电势场，其可以被描述为具有角膜(102)处的正极和视网膜(114)处的负极的固定偶极子。当眼睛旋转时，静电偶极子随之旋转。该角膜视网膜电势典型地具有0.4mV至1.0mV的范围，并且与光刺激无关。
眼动电图描记术(electrooculography)是一种利用眼动电图描记术(EOG)传感器检测眼睛的两个位置(例如，角膜和布鲁赫膜)之间的电势的技术。感测电路可以包括一个或多个电极，并且在一些示例中，包括被配置为测量电极之间的电势差的一个或多个电组件。可以将感测电路放置在头部和/或面部上，以记录电势差。图2A示出了示例感测电路中的示例电极配置。眼睛的电势的幅度通常在μV/度的范围内，并且可以在例如约5μV/度至约20μV/度的范围内。电极电势变化的符号可以指示眼睛运动的方向(例如左、右、上、下)。眼睛的相对位置可以从测得的电势推断出来。面部肌肉活跃时可以影响面部表面上的电势。面部上的电极对上看到的电压可以表示为对应于面部特征(例如眨双眼(blink)、眨一只眼(wink)或面部皱缩)的眼睛肌肉运动和面部肌肉运动的卷积。例如，眨眼具有在眼睛运动电图上观察到的特征性信号模式和持续时间。休息时的平均眨眼速率可以在每分钟大约12到19次眨眼之间变化，平均持续时间在大约100毫秒到大约400毫秒之间。眼睛的电势可以进一步提供对用户心态的洞察，包括例如情绪状态。(在本公开的示例中，虽然参考了检测电势，但是在一些示例中，代替电势或除电势之外，为了眼睛跟踪的目的，还可以检测其他合适的电特性(例如，电容、电感、电阻、阻抗)。)
多模式眼睛跟踪系统
EOG传感器和光学传感器各自可以具有相对于彼此的某些优点。例如，EOG传感器通常比光学传感器具有更高的功率效率。此外，EOG传感器可以不如光学传感器那么突出，可以不损害用户的视力，并且可以与诸如眼镜和接触镜之类的矫正透镜更加兼容。使用电极的信号测量可以具有高的时间分辨率，并允许连续的信号。与光学传感器不同，EOG传感器通常不受亮光或黑暗的影响，并且可以在没有受控照明的情况下操作。此外，与光学跟踪器不同，即使眼睛闭上或在眼睛被视线遮挡(例如被眼睑、睫毛等)的其他情况下，也可以跟踪眼睛运动。另外，产生代表电势的输出的EOG传感器可以没有光学传感器那么带宽密集，光学传感器可以输出相对大的图像数据。而且，与光学传感器数据相比，处理EOG数据可以更快且计算效率更高。然而，这种光学传感器数据(例如，2D图像)也可以提供具有增强的分辨率和/或准确性的眼睛跟踪。即，与使用EOG传感器(即，通过从电势推断出眼睛位置)相比，使用光学传感器(即，通过从图像数据提取眼睛位置)可以更可靠地测量眼睛的位置。同样，与EOG传感器相比，光学传感器可以受益于校准值的有限漂移。
鉴于光学眼睛跟踪和EOG眼睛跟踪的相对优势，对于眼睛跟踪系统而言，合并多种类型的传感器(例如，光学传感器和EOG传感器)可以是有益的。如下面进一步详细描述的，这种多模式眼睛跟踪方法例如在具有眼睛跟踪功能的系统中可以特别有益，该系统可以例行消耗相对大量的功率和/或例行执行计算密集操作。这样的系统可以包括例如增强现实系统、虚拟现实系统等。
图2B示出了包括多模式眼睛跟踪系统的示例性头戴设备200。更具体地，在图2B的示例中，示例性头戴式设备200包括感测电路，该感测电路包括被配置为接触佩戴者的头部和/或面部(例如，以提供EOG感测功能)的电极和/或被配置为监控佩戴者的一个或两个眼睛的至少一个光学传感器。示例设备200可以用于增强现实系统中，并且可以例如合并被配置为向佩戴者呈现增强现实显示的显示器。在美国专利申请No.15/072,290中提供了关于用于提供眼动电图描记术(EOG)、光学眼睛跟踪和增强现实功能的系统和技术的附加细节，该专利申请通过引用整体并入本文。
在一些示例中，可以根据图2A中所示的示例性电极配置来布置示例性头戴式设备200的感测电路的至少一些电极。在图2A的示例中，第一对电极(210和212)被配置为检测眼睛的水平轴运动，而第二对电极(220和222)被配置为接触皮肤以检测眼睛的垂直运动。在所示的示例中，电极210和212被配置为分别接触左眼的内眦和外眦的皮肤，并且电极220和222被配置为分别接触左眼的上方和下方的皮肤。电极应尽可能靠近眼睛来放置，以减少干扰。在示例设备200中，电极210和212被示为被配置为分别围绕右眼和左眼的外眦接触佩戴者的面部，以如上所述检测水平眼睛运动。在示例设备200中，电极220被示为被配置为在右眼眉上方接触佩戴者面部，并且电极222被示为被配置为在右眼睑下方接触佩戴者面部，以如上所述检测垂直眼睛运动。再次参考图2A，在一些示例中，电极210和212以及220和222分别耦合到差分放大器232和234，以放大由电极产生的信号。因此，在一些示例中，示例设备200或可操作地耦合到示例设备200的另一设备可以包括差分放大器232和234和/或用于调节结合图2B中所示的两个或多个电极产生的信号的其他电路。
另外，感测电路可以包括接地电极以提供参考电势。可能希望将接地电极放置在响应于眼睛运动(如果有的话)而电势变化很小的头部或面部的区域上。例如，在示例设备200中，电极240代表被配置为接触佩戴者头部后部的接地电极。在一些示例中，接地电极240或另一接地电极可被配置为接触包括耳垂、前额或与耳垂或前额相邻的一个或多个解剖区域的头部或面部的区域。在示例设备200中，示出了第三电极250和第四电极252，其被配置为接触鼻梁和/或眼睛的内眦。来自电极250和252的EOG数据可以补充由电极210、212、220和/或222提供的数据，这可以简化来自这些电极的数据的处理、可以提供数据冗余、和/或可以提高系统的鲁棒性。还可以合并其他电极以提供类似的好处。电极可以是湿电极和/或干电极。在一些示例中，电极可以由银-氯化银制成和/或镀金。在一些示例中，可以使用屏蔽和/或噪声消除技术，例如并入共模抑制前置放大器，以减少电磁干扰。
在一些示例中，诸如图2B中所示的示例设备200，光学传感器(例如图2B中的光学传感器260)可以被安装到头戴式设备，诸如可以用于增强现实系统中。这可以提供如下优点：光学传感器相对于眼睛相对固定，这最小化了对校准传感器的需要，并且可以简化分析光学传感器的输出的过程。在一些示例中，光学传感器可以伴随有光源(例如，图2B中的光源270)以照亮眼睛并在光学传感器样本上提供受控的、一致的照明。在一些示例中，头戴式设备可以包括显示器，通过该显示器例如可以将增强现实内容呈现给用户。如下面参考图3A-3B更详细描述的，在包括光学和EOG传感器(例如示例设备200的光学和EOG传感器)的多模式眼睛跟踪系统中，可以以利用光学和EOG传感器的上述相对优点来改善系统的总功率效率和/或计算效率的方式来利用光学和EOG传感器。
图3A和3B示出了根据本公开的示例的示例性多模式眼睛跟踪系统300，其使用多个传感器来输出与眼睛100的位置和/或运动对应的信号390。在一些示例中，多模式眼睛跟踪系统300可以包括或可以被包括为具有被配置为输出与眼睛100有关的数据的传感器(例如，EOG传感器和/或光学传感器)的头戴式设备(诸如图2B所示的示例设备200)的一部分。在一些示例中，这种头戴式设备可以被配置为与被配置为执行与跟踪眼睛100有关的一个或多个功能的一个或多个处理器一起操作，如下所述。在一些示例中，这样的处理器可以位于头戴式设备本身中。在一些示例中，这样的处理器可以位于与头戴式设备分开的可穿戴单元(例如腰包)中或者位于用户携带的单元中。在一些示例中，这样的处理器可以位于用户外部，例如在用户未佩戴或携带的设备中。在一些示例中，多模式眼睛跟踪系统300可以被合并在增强现实系统中，并且可以包括被配置为向用户呈现增强现实内容的显示器。
在示例系统300中，可以通过控制进行眼睛100的传感器测量的速率来实现功率和计算资源的效率。一般而言，增加传感器测量速率可以提高眼睛跟踪准确性，但以消耗更多功率为代价；相反，降低传感器测量速率可以使用较少的功率，但会损害眼睛跟踪准确性。传感器测量速率影响准确性与功耗之间折衷的程度会在系统运行期间发生变化。在一些示例(例如示例系统300)中，可以在系统操作期间连续实时地计算和调整传感器测量速率，以维持准确性和功耗之间的期望折衷。例如，示例系统300包括可以执行这样的计算和调整的眼睛数据分析器340。示例性多模式眼睛跟踪系统300包括光学传感器和EOG传感器。然而，在一些示例中，可以使用其他传感器。此外，在一些示例中，可以使用两个以上的传感器。例如，加速度计可以与光学传感器和EOG传感器结合使用，以检测头部运动，如下所述。可以扩展以下示例以容纳附加传感器。
图3A示出了图3A和3B的示例系统300的高层概述。在该示例中，光学传感器回路310A和EOG传感器回路310B从眼睛100获得相应的传感器数据，并分别输出光学信号320A和EOG信号320B。眼睛信号处理器330将光学信号320A和EOG信号320B用作输入，基于从信号320A和320B确定的眼睛位置输出输出信号390。在本公开的一些示例(例如示例系统300)中，眼睛数据分析器340从信号处理器330输入眼睛位置数据，并使用该数据来确定影响光学传感器回路310A和EOG传感器回路310B的操作的参数。在本公开的一些示例(例如示例系统300)中，眼睛数据分析器340接收附加传感器数据350，并使用该数据来确定影响光学传感器回路310A和EOG传感器回路310B的操作的参数。例如，附加传感器数据350可以是来自加速度计(例如被配置为感测用户头部的运动)、GPS传感器或另一设备的数据。下面进一步描述可以生成附加传感器数据350的设备的示例。在本公开的一些示例(例如示例系统300)中，眼睛数据分析器340接收预测数据360，并使用该数据来确定影响光学传感器回路310A和EOG传感器回路310B的操作的参数。例如，预测数据360可以是被配置为帮助眼睛数据分析器340确定与一个或多个输入信号对应的眼睛行为的神经网络的输出。
本文关于示例系统300所描述的一个或多个过程(例如可以由眼睛信号处理器330和/或眼睛数据分析器340执行的过程)可以使用任何适合的逻辑电路在计算机系统中实现。适合的逻辑电路可以包括一个或多个计算机处理器(例如，CPU、GPU等)，其在执行以软件程序实现的指令时执行这样的过程。另外，还可以通过在硬件逻辑电路中实现的对应逻辑设计来实现这样的过程，该硬件逻辑电路例如是可编程逻辑(例如，PLD、FPGA等)或实现提供这种过程的逻辑设计的定制逻辑(例如，ASIC等)。此外，可以通过组合运行软件的一个或多个处理器和硬件逻辑电路两者的实现来提供这样的过程。在一些示例中，示例系统300的组件(例如眼睛信号处理器330和/或眼睛数据分析器340)可以对应于专用硬件单元，例如被配置为执行眼睛信号处理器330的功能的计算机处理器。在一些示例中，示例系统300的组件可以对应于跨一个或多个硬件单元实现的逻辑单元。在一些示例中，单个硬件单元(例如计算机处理器)可以执行本文关于示例系统300的多个组件(例如眼睛信号处理器330和眼睛数据分析器340)描述的所有功能。在一些示例中，多个硬件单元(例如多个计算机处理器)可以共同地执行本文关于示例系统300的单个组件(例如眼睛信号处理器330)描述的功能。本公开不限于任何特定的实现。
图3B更详细地示出了图3A的示例系统300。在所示的示例中，光学传感器回路310A包括控制光学传感器何时从眼睛100获得更新的测量(318A)的逻辑。如上所述，由于获得光学传感器测量可以是功率密集型操作，因此可以希望通过限制执行这样更新的速率来节省功率。在该示例中，在光学传感器回路310A中，可以至少部分地通过间隔值intopt(312A)来控制获得光学传感器测量的速率。在一些示例中，intopt的值可以是固定的，例如固定在特定的时间值或光学传感器回路310A的特定迭代次数。在一些示例中，intopt的值可以例如根据函数fopt而变化。如下面更详细地描述的，函数fopt可以反映标识何时以及如何期望调整光学传感器测量的更新速率的各种参数(例如参数x和y)。在intopt是时间值的一些示例中，intopt可以在系统操作期间随着时间流逝而减小(图3B中未示出)，使得intopt表示直到应当更新光学传感器测量为止的剩余时间。在该示例的阶段314A，光学传感器回路310A可以读取intopt的当前值，并且使用该值来确定是否应该更新光学传感器测量。例如，如果intopt等于或低于阈值(例如，零)，则光学传感器回路310A可以在314A确定应当获得更新的光学传感器测量(318A)，并且可以将intopt重置为高于阈值的值。同时，如果intopt高于阈值，则在314A处光学传感器回路310A可以不继续获取光学传感器测量，而是可以等待intopt达到阈值。在一些示例中，如果intopt高于阈值，则光学传感器回路310A可以进入低功率模式(316A)，而不是获取光学传感器测量，直到intopt达到阈值或降至阈值以下。低功率模式可以导致节能行为，例如悬置与光学传感器有关的处理器线程。在一些示例中，可以在事件(例如，用户输入)发生时获得光学传感器测量，无论intopt的状态如何。可以获得这种光学传感器测量，替代或除一旦intopt达到阈值而获得的任何光学传感器测量之外。在其中获得光学传感器测量的光学传感器回路310A的迭代中，该测量作为光学信号320A输出。
在图3B所示的示例系统300中，EOG传感器回路310B包括控制EOG传感器何时从眼睛100获得更新的测量(318B)的逻辑。在所示的示例中，EOG传感器回路310B在很大程度上镜像光学传感器回路310A。如上所述，光学传感器回路310A可以有意地限制获得光学传感器测量的速率，以减少功耗。在没有获得光学传感器测量的时间段期间，可以希望获得功率效率相对较高的EOG传感器测量，而不是光学测量。此外，一些示例可以检测与光学传感器有关的测量问题(例如，如果由于遮挡诸如眼睑之类的对象或受到极端照明状况而损害了测量)，并通过调整更新EOG传感器测量的速率来进行补偿。在该示例中，在EOG传感器回路310B中，类似于光学传感器回路310A，可以至少部分地通过间隔值inteog(312B)来控制获得EOG传感器测量的速率。在一些示例中，inteog的值可以是固定的，例如，固定在特定的时间值或EOG传感器回路310B的特定迭代次数。在一些示例中，inteog的值可以例如根据函数feog而变化。如下面更详细地描述的，函数feog可以反映标识何时以及如何希望调整更新EOG传感器测量的速率的各种参数(例如参数x和y)。在inteog是时间值的一些示例中，inteog可以在系统操作期间随着时间的流逝而减小(图3B中未示出)，以使inteog表示直到应该更新EOG传感器测量为止的剩余时间。在该示例的阶段314B，EOG传感器回路310B可以读取inteog的当前值，并使用该值来确定是否应该更新EOG传感器测量。例如，如果inteog等于或低于阈值(例如，零)，则EOG传感器回路310B可以在314B确定应当获得更新的EOG传感器测量(318B)，并且可以将inteog重置为高于阈值的值。同时，如果inteog高于阈值，则EOG传感器回路310B在314B处可以不继续获取EOG传感器测量，而是可以等待inteog达到阈值。在一些示例中，如果inteog高于阈值，则光学传感器回路310B可以进入低功率模式(316B)，而不是获得EOG传感器测量，直到inteog达到阈值或降至阈值以下。低功耗模式可以导致节能行为，例如悬置与EOG传感器有关的处理器线程。在一些示例中，可以在事件(例如，用户输入)发生时获得EOG传感器测量，无论inteog的状态如何。可以获取此类EOG传感器测量，代替或除一旦inteog达到阈值就获得任何EOG传感器测量之外。在获得EOG传感器测量的EOG传感器回路310B的迭代中，该测量作为EOG信号320B输出。
在一些示例中，inteog的最大值可以小于intopt的最大值，这反映出EOG传感器测量可以比光学传感器测量更频繁地更新。例如，在包括比所包括的EOG传感器的功率效率低的光学传感器的示例性系统中，更频繁地更新EOG传感器和不那么频繁地更新光学传感器可以帮助优化示例性系统的整体功耗。在一些示例中，可以将inteog和/或feog配置为使得以大约500Hz的频率更新EOG传感器，并且可以将intopt和/或fopt配置为使得以大约60Hz的频率更新光学传感器。在一些示例中，可以需要inteog和intopt信号之间的其他关系。例如，保持inteog信号和intopt信号之间的相位偏移以使光学传感器和EOG传感器不会同时更新会有益于避免不可预测的排序(例如，由于竞争情况)、提高眼睛信号处理器330的吞吐量、或促进负载平衡。
在一些示例中，除了或代替计时器(例如，具有inteog或intopt周期的计时器)达到阈值之外，事件的发生还可以触发获得EOG传感器测量和/或光学传感器测量。一个这样的事件可以是检测到EOG传感器或光学传感器测量值发生足够大的变化，这可以表明用户眼睛的状态发生了变化。作为一个示例，诸如眼睛跟踪相机的光学传感器可以进入低功率模式(例如，关于图3B的316A)，并且保持在低功率模式直到EOG传感器的输出改变足够大的量(例如，在阶段318B)。在检测到这种变化时，光学传感器可以退出低功率模式，并且可以从光学传感器读取测量(例如，可以捕获图像)。这可以通过当未检测到EOG传感器足够大的变化(这可以对应于用户的眼睛位置保持静止，一种可以在其中减少对用于眼睛的更新光学传感器测量的需要的情况)时允许光学传感器保持在低功率模式来优化功耗。在预计眼睛在长时间段内保持大体静止的情况下(例如，在用户睡觉或眼睛固定在特定点(例如，看电视屏幕时)时，因为在这种情况下对光学传感器测量的需要非常有限)，节省功率尤其明显。
当EOG传感器输出表明眼睛位置保持静止时，可以通过放弃计算上昂贵的操作(例如对光学传感器的输出执行图像处理)来进一步实现节省功率。例如，如果EOG传感器的输出保持恒定，则表明眼睛是静止的，并且该眼睛的图像的图像处理可以不会比先前的图像处理产生新的信息。因此，在被配置为将图像处理应用于光学传感器(例如眼睛跟踪相机)的输出的示例系统中，该系统可以被配置为响应于确定EOG传感器的输出改变了足够大的量(例如在阶段318B)来执行图像处理。在一些示例中，包括眼睛跟踪相机的系统可以被配置为捕获图像，并响应于确定EOG传感器的输出已经改变了足够大的量而对该图像执行图像处理(例如，确定眼睛视线)。
在图3B所示的示例系统300中，光学信号320A和EOG信号320B被输入到眼睛信号处理器330。眼睛信号处理器还可以输入与获得信号320A和320B下面的传感器测量的时间对应的时间值(图3B中未示出)。在所示示例中，眼睛信号处理器330的作用是基于信号320A和320B确定更新的眼睛位置。
在一些示例(例如示例系统300)中，光学信号320A(代表眼睛100相对于成像设备的位置)对应于眼睛100的基本位置，即，独立于眼睛100的先前位置的眼睛100的当前位置。在阶段332，眼睛信号处理器330可以根据光学信号320A确定眼睛100的基本位置。例如，眼睛信号处理器330可以例如通过将光学信号320A与各种系统参数(诸如与光学传感器的放置、环境状况和/或用户眼睛的外观有关的参数)相关来识别光学信号320A的值与眼睛100的位置之间的相关性，并基于该相关性确定眼睛100的位置。因为光学传感器经受例如由于异物(例如，眼睑或睫毛)的遮挡或有问题的照明状况导致的错误测量，所以眼睛信号处理器330可以包括用于校正错误的光学测量的逻辑。例如，眼睛信号处理器330可以拒绝与邻近测量不一致的离群测量。如下所述，信号处理器330还可以利用眼睛数据分析器340的输出来根据EOG信号更准确地确定基本眼睛位置。
同样，在一些示例中，EOG信号320B(表示由移动眼部肌肉生成的电信号)对应于眼睛100的位置的增量，即，眼睛100的位置自眼睛100的先前位置改变的程度。眼睛信号处理器330可以在阶段334根据EOG信号320B确定眼睛100的位置增量。例如，眼睛信号处理器330可以使用EOG信号与眼睛肌肉活动之间的已知相关性来确定描述与EOG信号320B的值相对应的肌肉运动的矩阵。眼睛信号处理器330然后可以累加与EOG信号320B的连续值相对应的矩阵(每个代表各个眼睛运动)，以确定由那些连续值表示的眼睛100的净位置增量。因为累加器系统(例如用于从微分运动中获得净位移)可能会发生漂移，所以眼睛信号处理器330可以包括用于校正漂移的逻辑，例如，通过比较位置增量的逐渐变化与在阶段332计算的基本位置的逐渐变化，并消除偏差。另外，由于EOG传感器测量可能会受到电子噪声和/或干扰(例如串扰)的影响，因此信号处理器330可以包括用于校正此类噪声和/或干扰的机制(例如串扰消除滤波器)。如下所述，信号处理器330还可以利用眼睛数据分析器340的输出来更准确地根据EOG信号确定眼睛位置增量。
在一些示例中，眼睛信号处理器330然后可以计算(336)眼睛位置，作为基本位置(如上所述，在阶段332根据光学信号320A确定的)和增量位置(如上所述，在阶段334根据EOG信号320B确定的)的总和。该计算的输出可以产生表示眼睛位置的输出信号390，其可以在如上所述的各种应用中使用。
在包括显示器(例如头戴式显示器)的一些示例中，眼睛位置可用于使显示器在用户的视线内或以其他方式可视的显示器区域上呈现信息给用户。例如，头戴式显示器可以在距用户眼睛已知距离处固定到用户的头部。可以结合眼睛到显示器的已知距离来使用眼睛的位置以识别用户当前正在看的显示器区域。然后，可以在知道用户基于他或她当前的眼睛位置可能立即注意到显示状态的改变的情况下改变该区域的显示状态。例如，重要的消息可以被直接显示在用户的视线内。在例如显示器在虚拟现实或增强现实系统中呈现3D环境的示例中，虚拟对象可以出现在用户当前正在看的3D环境中的精确位置处，从而增强用户的沉浸感或控制。
类似地，眼睛的位置可以与从眼睛到显示器的距离一起使用，以识别用户当前不在观看的显示器的区域。然后，可以在知道用户基于他或她当前的眼睛位置不可能立即注意到显示状态的改变的情况下改变该区域的显示状态。在显示器例如在虚拟现实或增强现实系统中呈现3D环境的示例中，可以希望虚拟对象不显眼地进入或退出环境，或改变虚拟对象的状态(例如用来渲染对象的资产的分辨率)，而无需用户注意。这样的行为可以增强用户在3D环境中的沉浸感。这可以通过识别显示器中用户没有看的区域并改变该区域中的显示状态来实现。
一些示例可以包括眼睛数据分析器(诸如图3B中所示的眼睛数据分析器340)来精炼和改进示例系统300的操作。在示例系统300中，可以将来自眼睛信号处理器330的眼睛位置数据(例如在阶段332确定的基本位置数据和/或在阶段334确定的增量位置数据)输入到眼睛数据处理器340，其可以由眼睛数据处理器收集和存储。在一些示例(例如示例系统300)中，还将附加传感器数据350和/或预测数据360输入到眼睛数据处理器340。在阶段342，眼睛数据处理器340可以分析来自眼睛信号处理器330的眼睛位置数据，以及在一些示例中附加传感器数据350和/或预测数据360，以识别眼睛100随时间的运动和行为的模式和特征。这样的模式和特征可以揭示示例系统300可以更有效地操作的方式。
在一些示例中，眼睛信号处理器330和/或眼睛数据分析器340可以确定眼睛行为发生的概率而不是确定性。这些概率可以使用统计方法确定。在一些示例中，眼睛信号处理器330和/或眼睛数据分析器340可以在给定各种输入(例如，眼睛位置测量)的状态的情况下，生成和/或应用预测系统的输出(例如，眼睛行为的类型)的统计模型。在一些示例中，眼睛信号处理器330和/或眼睛数据分析器340可以通过识别或调整影响概率的一个或多个因子的权重或影响来确定该概率。例如，眼睛信号处理器330和/或眼睛数据分析器340可以确定在给定各种加权因子的当前值的情况下，在几种可能眼睛行为中，一种特定眼睛行为最有可能发生(即使该行为不必一定发生)。类似地，即使不能肯定地确定这种未来行为，眼睛信号处理器330和/或眼睛数据分析器340也可以基于各种加权因子来对未来行为进行预测。这反映出在许多情况下，很难或不可能肯定地得出眼睛从事特定行为的结论；此外，很难或不可能预测未来的眼睛行为。但是，对于许多应用而言，不一定必须绝对确定发生眼睛行为；可以通过确定某些眼睛行为的相对可能性，或者通过对未来眼睛行为的可能性的有根据的猜测来传达优点(例如，功率效率和计算效率)。
可以采用统计方法来确定眼睛行为发生的概率。例如，可以将置信度分数分配给特定行为发生的可能性。可以将置信度分数与阈值进行比较，并且在确定置信度分数超过阈值时，眼睛信号处理器330和/或眼睛数据分析器340可以确定与置信度分数相关联的行为有足够的可能性会发生。也可以采用其他统计方法。
作为识别眼睛行为的一个示例，在阶段342，眼睛数据分析器340可以根据来自眼睛信号处理器330的眼睛位置数据确定眼睛100注视在静止焦点目标上。例如，眼睛数据处理器可以基于指示眼睛仅执行小的高频运动(眼睛注视在静止目标上的情况特征)的数据做出这种确定。在如此注视的情况下，如果发生的话，可以期望眼睛100的位置几乎没有变化。在这种状况下，降低光学和/或EOG传感器获得新测量的速率(例如通过增加intopt和/或inteog)是可以接受的，因为可以预期每个新测量几乎不会提供新的重要位置信息。眼睛信号处理器330还可以调整其对眼睛位置的计算，以反映出在眼睛100进行注视时信号320A和320B不太可能呈现明显的位置变化，可能会导致更高的眼睛跟踪准确性。
作为另一个示例，在阶段342，来自眼睛信号处理器330的眼睛位置数据可以指示眼睛100的运动正在迅速改变方向，一种表明眼睛100正在从事扫视行为的情况。当眼睛从事扫视行为时，描述眼睛位置的信号可以包含大量的高频信息。响应于识别出这种扫视行为，眼睛数据处理器340可以增加EOG传感器被更新的速率(诸如通过减小inteog)，使得可以准确地捕获眼睛位置信号中的高频信息而不会发生混叠(aliasing)。
在一些示例中，眼睛数据处理器340可以利用诸如来自除光学传感器和EOG传感器之外的传感器的附加传感器数据350，以比可能的其他方式更有效地识别眼睛行为。在一些示例中，可以采用机器学习技术来改善对眼睛行为的识别。作为一个示例，可以使用与单个用户相关联的附加传感器数据350来训练神经网络，以基于附加传感器数据350来识别用户的眼睛行为。作为另一示例，可以使用与用户组相关联的而不是针对单个用户的附加传感器数据350来训练广义神经网络。可以使用来自示例系统300的数据(例如输出信号390)来递归地训练此类神经网络。作为另一个示例，可以使用遗传算法来识别输入数据(包括附加传感器数据350)与眼睛行为之间的关系。可以类似地采用其他机器学习技术，诸如支持向量机、贝叶斯网络、基于规则的系统和学习分类器系统，以及包括深度学习技术。在一些示例中，这些技术在眼睛数据处理器340内实现。在一些示例中，这些技术在示例系统300的其他组件中实现。在一些示例中，这些技术至少部分地在示例系统300外部的系统中实现。例如，远程服务器可以在大量数据集上训练神经网络，并通过计算机网络将该神经网络的参数或输出传达给示例系统300。
作为利用附加传感器数据350的一个示例，附加传感器数据350可以包括来自被配置为检测头部运动的加速度计的数据。加速度计输出对应于该加速度计相对于惯性系的加速度的值；因此，如果将加速度计固定到人的头部，则加速度计的输出可以对应于头部的加速度。这种加速度计的高输出值可以指示存在明显的头部运动，例如因为一个人正在观察快速运动对象或者伸长他或她的颈部以在视力外围观察对象。相反，加速度计的低输出值可以指示头部相对没有动作，例如在读书时。如果加速度计数据指示存在明显的头部运动，则眼睛数据处理器340可以得出眼睛100从事前庭眼运动(诸如如上所述，眼睛与头部或颈部肌肉一起运动的地方)的结论。因为前庭眼运动可以与幅度相对较小的眼睛运动相关联(例如因为头部运动使大的眼睛运动不必要)，所以眼睛数据处理器340可以降低更新光学传感器的速率(例如通过增加intopt，从而相应地减少了光学传感器消耗的功率)，以反映出眼睛的基本位置可能预期不会突然发生大的移位。相反，如果附加传感器数据350包括指示没有明显头部运动的加速度计数据，则眼睛数据处理器可以得出与其他情况相比眼睛100更可能从事扫视运动(例如在阅读时，其中头部运动最少)的结论。在利用机器学习技术的示例中，可以采用这样的技术来识别加速度计数据和眼睛行为之间的关联。例如，可以训练神经网络以将加速度计数据的特定模式(例如对应于简单谐波运动的正弦输出)与与那些模式相关的特定眼睛行为相关联。此外，在一些示例中，代替加速度计或者除了加速度计之外还可以使用陀螺仪、电罗盘、磁力计、惯性测量单元或其他设备。
也可以使用其他类型的附加传感器数据350以达到有益效果。在一些示例中，附加传感器数据350可以包括来自环境光传感器的数据。眼睛数据处理器340可以使用该数据来识别与某些照明情况相关联的眼睛行为，或者帮助眼睛信号处理器330校正照明情况的变化。例如，由于眼睛100的瞳孔可以响应于暴露于增加的光水平而收缩，因此指示增加的光水平的附加传感器数据350可以指示将要预期瞳孔尺寸的收缩；作为响应，光学传感器可以准备重新校准以用于较小的瞳孔。眼睛信号处理器330还可以采用不同的眼睛跟踪算法来适应较小的瞳孔尺寸。作为另一个示例，附加传感器数据350可以包括环境光数据，该环境光数据指示对于光学传感器而言太暗而不能正常工作。眼睛数据处理器340可以在这种情况下使用该信息来减慢或停止更新光学传感器(例如，通过增加intopt)。在一些示例中，附加传感器数据350可以提供也可以从诸如光学传感器的传感器确定的信息。在这样的示例中，可以通过使用相对省电的传感器(例如环境光传感器)来执行本来可以由照相机或其他效率较低的传感器执行的工作来获得效率。在利用机器学习技术的示例中，可以采用这样的技术来识别诸如环境光传感器之类的传感器与眼睛行为之间的关联。例如，可以训练神经网络以将环境光的变化与与这些变化相关的特定眼睛行为(例如瞳孔扩张和收缩)相关联。
在一些示例中，附加传感器数据350可以包括例如来自GPS传感器的时间和/或位置数据。眼睛数据处理器340可以使用该数据来识别与特定时间和位置相关联的眼睛行为。作为一个示例，附加传感器数据350可以包括位置数据，该位置数据指示用户在晚上在建筑物内处于静止状态，并且因此可以比其他方式更可能从事阅读和扫视眼睛运动。作为另一个示例，附加传感器数据350可以包括时间数据，眼睛数据处理器340可以使用该时间数据来识别例行行为(例如从6:00到7:00的日常通勤)，并基于该行为预测眼睛运动。作为另一个示例，附加传感器数据350可以包括位置数据，该位置数据指示用户正在驾驶车辆并且用户的眼睛比其他情况更可能从事扫视运动。在利用机器学习技术的示例中，可以采用这样的技术来识别时间和/或位置数据与眼睛行为之间的关联。例如，可以训练神经网络将一天中的时间与与特定时间相关的特定眼睛行为相关联。
在一些示例中，眼睛数据处理器340可以由地图数据辅助，例如将地理坐标(例如来自GPS传感器)与特定建筑物、企业或地标相关联的商业地图数据。例如，附加传感器数据350可以包括位置数据，该位置数据可以与地图数据结合使用以指示用户正在健身房并且因此比其他情况起更可能从事锻炼并因此发生前庭眼运动。同样，附加传感器数据350可以包括位置数据，该位置数据可以与地图数据结合使用以指示用户在电影院并且用户的眼睛可能从事注视行为(例如在观看电影屏幕时)持续几个小时。在利用机器学习技术的示例中，可以采用这样的技术来识别地图数据和眼睛行为之间的关联。例如，可以训练神经网络将用户的位置与倾向于在该位置发生的特定眼睛行为相关联。
在一些示例中，附加传感器数据350可以包括与医学情况有关的数据，该医学情况有关的数据可以与与该情况相关联的眼睛行为有关。例如，如果附加传感器数据350指示用户患有弱视(弱视眼)(一种可以导致眼睛跟踪系统中出现异常大量的噪声的情况)，则眼睛数据处理器340可以使用此信息来预测并减少高噪声水平。此外，眼睛数据处理器可以调整光学传感器和/或EOG传感器的更新速率，以适应用户的眼睛由于医学情况可能无法从事正常运动的事实。在利用机器学习技术的示例中，可以采用这样的技术来识别医学信息和眼睛行为之间的关联。例如，可以训练神经网络以将某些医学情况与伴随那些医学情况的特定眼睛行为相关联。
在一些示例中，附加传感器数据350可以包括与用户对计算机系统的使用有关的数据；特别地，在眼睛跟踪系统与计算机系统集成(例如，向该计算机系统提供输入)的示例中，计算机系统可以指示用户正在使用可以指示某些眼睛行为的特定软件。例如，附加传感器数据350可以指示用户正在使用电子书阅读器程序来阅读文本；眼睛数据处理器340可以使用该信息来预测用户正在从事与阅读相关联的扫视运动。作为另一个示例，附加传感器数据350可以包括指示对象在用户的显示器上出现在何处的数据。因为可以期望用户看这些对象，所以眼睛数据处理器340可以使用该信息来预测用户的眼睛可能聚焦的内容。例如，这样的信息可以被用来预测眼睛100将从事对象跟踪行为，被跟踪对象的显示坐标由附加传感器数据350指示。在利用机器学习技术的示例中，可以采用这样的技术来识别计算机系统使用和眼睛行为之间的关联。例如，可以训练神经网络以将某些计算机使用情况(例如特定软件应用程序的操作)与伴随这些使用情况的特定眼睛行为相关联。
在一些示例中，眼睛数据处理器340可以结合眼睛位置数据(例如来自眼睛信号处理器330)和/或附加传感器数据350来使用预测数据360，以更准确地识别或预测眼睛行为。预测数据360可以包括将输入数据(例如眼睛位置数据)与某些输出眼睛行为(例如，扫视运动)的可能性相关的信息。可以采用各种机器学习技术来生成预测数据360。在一些示例中，可以使用已知的来自单个用户的眼睛位置数据和眼睛行为来训练神经网络，以生成将眼睛行为与来自该用户的眼睛位置数据相关的预测数据360。在一些示例中，可以训练广义神经网络以用于用户组，而不是单个用户。在一些示例中，从无监督学习技术生成的预测数据360可以用于识别输入数据和眼睛行为之间的关系，这可以提高眼睛数据处理器340的准确性，并且可以使示例系统300对大型和多样化的用户组更有用。在一些示例中，从深度学习技术生成的预测数据360可以用于识别输入数据和眼睛行为之间的关系，特别是在关于输入数据的先验知识很少的情况下。在一些示例中，遗传算法可以用于识别输入数据(包括附加传感器数据350)与眼睛行为之间的关系。可以类似地采用其他机器学习技术，诸如支持向量机、贝叶斯网络、基于规则的系统以及学习分类器系统。
在一些示例中，预测数据360可以通过外部源被传达到示例系统300。例如，可以在远程服务器上训练神经网络，将该神经网络的参数或输出作为预测数据360传达给示例系统300。在对其在本地应用的机器学习技术可能会在计算上受到限制的使用大量眼睛数据集(例如来自大量用户)的示例中，这种配置可以特别有益。但是，在一些示例(例如那些涉及机器学习技术的“轻型”实现的示例)中，可以在示例系统300本地生成预测数据。
在诸如图3B所示的一些示例中，在眼睛数据处理器340在阶段342表征眼睛100的行为之后，眼睛数据处理器340可以在阶段344确定一个或多个光学传感器参数和/或感测电路参数。光学传感器参数或感测电路参数可以包括间隔参数，该间隔参数定义了光学传感器回路318A和EOG传感器回路318B更新其各自回路的速率。例如，如果眼睛数据处理器340基于当前的眼睛行为(例如如由光学传感器输出的眼睛的图像所检测到的那样)确定可以通过降低光学传感器更新速率来安全地降低功耗，眼睛数据处理器340可以直接或间接地增加intopt的值，以如上所述增加光学传感器更新之间的时间(从而降低光学传感器更新速率)。眼睛数据处理器340可以类似地调节inteog的值，以如上所述调节EOG传感器更新之间的时间。在一些示例中，眼睛数据处理器340可以基于关于眼睛行为的确定来调整其他系统参数，诸如用于过滤来自光学信号320A和/或EOG信号320B的噪声的参数。在一些示例中，眼睛数据处理器340可以基于关于眼睛行为的确定来执行其他操作，诸如灌注(priming)光学传感器或校准光学传感器或EOG传感器。
在图3B所示的示例系统300中，可以将intopt和inteog分别设置为函数fopt和feog的输出，这些函数可以在阶段346从眼睛数据处理器340接受一个或多个参数(例如，x、y)。例如，这样的参数可以对应高级眼睛行为、眼睛运动的频率分量以及眼睛运动的其他方面的类别。这样的参数还可以对应于与眼睛运动不直接相关的信息，例如当前的电池寿命(电量低时，其可能需要不那么频繁的传感器测量)。在这样的示例系统中，fopt和feog可以被配置为允许眼睛数据处理器340经由fopt和feog的参数连续地调整传感器更新速率，以在眼睛跟踪准确性和功率消耗之间维持最佳折衷。
图4示出了示例系统400，其可以用于实现任何或所有以上示例。示例系统400可以被包括在便携式设备(包括可穿戴设备)或非便携式设备中，例如通信设备(例如，移动电话、智能电话)、多媒体设备(例如，MP3播放器、电视、收音机)、便携式或手持式计算机(例如，平板电脑、上网本、笔记本电脑)、台式计算机、多合一台式计算机、外围设备、头戴式设备(例如可以包括集成式显示器)、或适用于包括示例系统400的任何其他系统或设备，包括这些类型的设备中的两种或多种的组合。以上示例可以体现在两个或更多个物理上分离的设备中，例如两个或更多个经由无线网络进行通信的计算机。以上示例可以体现在两个或更多个物理上不同的设备中，例如将数据传达到头戴式显示器和/或从头戴式显示器传达数据的腰包。示例系统400包括一个或多个计算机可读介质401、处理系统404、I/O子系统406、无线通信电路(例如，RF电路)408、音频设备(例如，扬声器、麦克风)410和传感器411。这些组件可以通过一个或多个通信总线或信号线403耦合。
图4所示的架构仅是示例系统400的一个示例架构，并且示例系统400可以具有比所示的更多或更少的组件或者具有组件的不同配置。图4中所示的各种组件可以在包括一个或多个数字信号处理器(DSP)和/或专用集成电路(ASIC)的硬件、软件、固件或其任何组合来实现。
参考图4中的示例系统400，无线通信电路408可以用于通过无线(例如，RF)链路或网络向一个或多个其他设备发送和接收信息，并且可以包括用于执行该功能的电路。无线通信电路408和音频设备410可以经由外围设备接口416耦合到处理系统404。外围设备接口416可以包括用于在外围设备(例如，无线通信电路408、音频设备410和传感器411)和处理系统404之间建立和维持通信的各种已知组件。音频设备410可以包括用于处理从外围设备接口416接收的语音信号的电路，以使用户能够与其他用户实时通信。音频设备410可以包括例如一个或多个扬声器和/或一个或多个麦克风。在一些示例中，音频设备410可以包括耳机插孔(未示出)。
传感器411可以包括各种传感器，包括但不限于一个或多个发光二极管(LED)或其他发光器、一个或多个光电二极管或其他光传感器、一个或多个光热传感器、磁力计、加速度计、陀螺仪、气压计、罗盘、近距离传感器、照相机、环境光传感器、温度计、GPS传感器、眼动电图描记术(EOG)传感器以及可以感测剩余的电池寿命、功耗、处理器速度、CPU负载等的各种系统传感器。在例如涉及头戴式设备(其可以包括显示器)的示例中，可以结合与用户的眼睛有关的功能来采用一个或多个传感器，诸如跟踪用户的眼睛运动，或基于他或她的眼睛的图像来识别用户。
外围设备接口416可以将系统400的输入和输出外围设备耦合到一个或多个处理器418和一个或多个计算机可读介质401。一个或多个处理器418可以经由控制器420与一个或多个计算机可读介质401通信。计算机可读介质401可以是可以存储供一个或多个处理器418使用的代码和/或数据的任何设备或介质(信号除外)。在一些示例中，计算机可读介质401可以是非暂时性计算机可读存储介质。计算机可读介质401可以包括存储器层次结构，包括但不限于高速缓存、主存储器和辅存储器。可以使用RAM(例如，SRAM、DRAM、DDRAM)、ROM、FLASH、磁和/或光学存储设备(例如磁盘驱动器、磁带、CD(光盘)和DVD(数字视频光盘))的任意组合来实现这种存储器层次结构。计算机可读介质401还可以包括用于承载指示计算机指令或数据的信息承载信号的传输介质(但不包括信号并且不包括在其上调制信号的载波)。例如，传输介质可以包括通信网络，包括但不限于因特网(包括万维网)、内联网、局域网(LAN)、广域网(WLAN)、存储区域网络(SAN)、城域网(MAN)等。
一个或多个处理器418可以运行存储在计算机可读介质401中的各种软件组件，以执行示例系统400的各种功能。在一些示例中，软件组件可以包括操作系统422、通信模块(或指令集)424、I/O处理模块(或指令集)426、图形模块(或指令集)428和一个或多个应用程序(或指令集)430。这些模块中的每一个以及上面提到的应用程序都可以对应于用于执行上述一个或多个功能和本申请中描述的方法(例如，本文所述的计算机实现的方法和其他信息处理方法)的指令集。这些模块(即，指令集)不需要被实现为单独的软件程序、过程或模块，并且因此在各种示例中，这些模块的各种子集可以被组合或以其他方式重新布置。在一些示例中，计算机可读介质401可以存储以上标识的模块和数据结构的子集。此外，计算机可读介质401可以存储以上未描述的附加模块和数据结构。
操作系统422可以包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种过程、指令集、软件组件和/或驱动程序，并促进各种硬件和软件组件之间的通信。
通信模块424可以促进通过一个或多个外部端口436或经由无线通信电路408与其他设备的通信，并且可以包括用于处理从无线通信电路408和/或外部端口436接收的数据的各种软件组件。
图形模块428可以包括各种已知的用于在一个或多个显示表面上渲染、动画化和显示图形对象的软件组件。显示表面可以包括2D或3D显示器。显示表面可以直接或间接耦合到示例系统400的一个或多个组件。在涉及触摸感测显示器(例如，触摸屏)的示例中，图形模块428可以包括用于在触摸感测显示器上渲染、显示和动画化对象的组件。在一些示例中，图形模块428可以包括用于向远程显示器渲染的组件。在一些示例中，例如那些装有照相机的示例，图形模块428可以包括用于创建和/或显示通过将相机数据(例如从头戴式相机捕获的)或摄影数据(例如卫星捕获的图像)与渲染的图形对象合成而形成的图像的组件。在一些示例中，图形模块428可以包括用于将图像渲染到头戴式显示器的组件。在一些示例中，图像可以包括虚拟内容的元素(例如，三维虚拟环境中的对象)的视图，和/或物理世界的视图(例如，指示用户的物理环境的相机输入)。在一些示例中，显示器可以呈现虚拟内容和物理世界的视图的组合。在一些示例中，物理世界的视图可以是渲染的图像；在一些示例中，物理世界的视图可以是来自照相机的图像。
一个或多个应用程序430可以包括示例系统400上安装的任何应用程序，包括但不限于浏览器、地址簿、联系人列表、电子邮件、即时消息、文字处理、键盘仿真、小部件、支持JAVA的应用程序、加密、数字版权管理、语音识别、语音复制、位置确定功能(例如全球定位系统(GPS)提供的功能)、音乐播放器等。
I/O子系统406可以耦合到用于控制或执行各种功能的一个或多个I/O设备414。在涉及眼睛数据的处理的示例(例如包括眼睛跟踪或虹膜识别功能的示例)中，I/O子系统406可以耦合到专用于处理与眼睛有关的输入和输出的一个或多个I/O设备412。一个或多个眼睛I/O设备412可以经由眼睛I/O设备控制器432与处理系统404通信，可以包括用于处理眼睛输入(例如，用于眼睛跟踪的传感器)或用户手势输入(例如，光学传感器)的各种组件。一个或多个其他I/O控制器434可以向其他I/O设备414发送电信号，也可以从其他I/O设备414接收电信号。这种I/O设备414可以包括物理按钮、拨盘、滑块开关、操纵杆、键盘、触摸板、附加显示屏、或其任何组合。
I/O处理模块426可以包括用于执行与一个或多个眼睛I/O设备412和/或一个或多个其他I/O设备414相关联的各种任务的各种软件组件，包括但不限于接收和处理通过眼睛I/O设备控制器432从眼睛I/O设备412或通过I/O控制器434从其他I/O设备414接收的输入。在一些示例中，I/O设备414和/或I/O处理模块426可以执行与可以通过触觉或非触觉手段提供的手势输入相关联的各种任务。在一些示例中，手势输入可以由照相机或另一传感器提供，另一传感器用于检测例如用户的眼睛、手臂、手和/或手指的运动。在一些示例中，一个或多个I/O设备414和/或I/O处理模块426可以被配置为识别用户希望与之交互的显示器上的对象，例如用户所指向的GUI元素。在一些示例中，一个或多个眼睛I/O设备412和/或I/O处理模块426可以被配置为(例如借助光学或EOG传感器)执行眼睛跟踪任务，例如识别用户正在观看的对象或显示器上的区域。在一些示例中，设备(例如硬件“信标”)可以由用户穿戴或握持，以协助一个或多个I/O设备414和/或I/O处理模块426完成与手势有关的任务，例如识别用户的手相对于2D或3D环境的位置。在一些示例中，一个或多个眼睛I/O设备412和/或I/O处理模块426可以被配置为基于传感器输入(例如来自相机传感器的与用户的眼睛有关的数据)来识别用户。
在一些示例中，图形模块428可以在图形用户界面(GUI)中向用户显示视觉输出。视觉输出可以包括文本、图形、视频及其任何组合。视觉输出中的一些或全部可以对应于用户界面对象。在一些示例中，一个或多个I/O设备412和/或414和/或控制器432和/或434(以及介质401中的任何相关联模块和/或指令集)可以检测和跟踪手势和/或眼睛运动，并且可以将检测到的手势和/或眼睛运动转换为与图形对象(例如一个或多个用户界面对象)的交互。在一个或多个眼睛I/O设备412和/或眼睛I/O设备控制器432被配置为跟踪用户的眼睛运动的示例中，用户可以通过观看它们直接与图形对象进行交互。
可以例如通过一个或多个眼睛I/O设备412或一个或多个其他I/O设备414基于所显示的和/或示例系统400的一个或多个状态来提供反馈。可以光学地(例如，光信号或显示的图像)、机械地(例如，触觉反馈、触摸反馈、力反馈等)、电地(例如，电刺激)、嗅觉地、听觉地(例如，蜂鸣声等)或其任何组合并且以可变或不变的方式发送反馈。
示例系统400还可以包括用于向各种硬件组件供电的功率系统444，并且可以包括功率管理系统、一个或多个电源、充电系统、功率故障检测电路、功率转换器或逆变器、功率状态指示器、以及通常与便携式设备中功率的生成、管理和分配相关联的任何其他组件。
在一些示例中，外围设备接口416、一个或多个处理器418和控制器420可以在诸如处理系统404的单个芯片上实现。在一些其他示例中，它们可以在单独的芯片上实现。
在一些示例中，公开了一种方法。该方法可以包括：在第一时间间隔从第一传感器接收第一数据，该第一传感器被配置为输出指示眼睛的第一位置的数据；在第二时间间隔从第二传感器接收第二数据，该第二传感器被配置为输出指示眼睛的增量位置的数据；基于第一数据确定眼睛的第一位置；基于第二数据确定眼睛的增量位置；使用眼睛的第一位置和眼睛的增量位置，确定眼睛的第二位置；以及响应于确定眼睛的第二位置，生成指示眼睛的第二位置的输出信号。作为上述示例中的一个或多个的附加或替代，第一传感器可以包括光学传感器。作为上述示例中的一个或多个的附加或替代，第二传感器可以包括眼动电图描记术传感器。作为上述示例中的一个或多个的附加或替代，第一时间间隔可以大于第二时间间隔。作为上述示例中的一个或多个的附加或替代，第一传感器可以在第一时间间隔期间以低功率模式操作。作为上述示例中的一个或多个的附加或替代，第二传感器可以在第二时间间隔期间以低功率模式操作。作为上述示例中的一个或多个的附加或替代，该方法还可包括使用眼睛的第二位置确定第一眼睛运动行为。作为上述示例中的一个或多个的附加或替代，第一眼睛运动行为可以包括扫视运动、平稳追踪、注视、眼球震颤或前庭眼运动。作为上述示例中的一个或多个的附加或替代，该方法还可以包括：响应于确定第一眼睛运动行为：确定从第一传感器接收数据的第三时间间隔，以及确定从第二传感器接收数据的第四时间间隔。作为上述示例中的一个或多个的附加或替代，确定第一眼睛运动行为可以包括：生成与第一眼睛运动行为的可能性相对应的置信度分数；将置信度分数与阈值进行比较；以及确定置信度分数超过阈值。作为上述示例中的一个或多个的附加或替代，该方法可以进一步包括：从第三传感器接收第三数据，以及可以使用第三数据来确定第一眼睛运动行为。作为上述示例中的一个或多个的附加或替代，第三传感器可以包括加速度计、陀螺仪、电子罗盘、磁力计或惯性测量单元。作为上述示例中的一个或多个的附加或替代，第三传感器可以包括GPS传感器。作为上述示例中的一个或多个的附加或替代，第三传感器可以包括环境光传感器。作为上述示例中的一个或多个的附加或替代，可以使用神经网络来确定第一眼睛运动行为。作为上述示例中的一个或多个的附加或替代，该方法还可以包括使用包括第一数据、第二数据、第三数据、眼睛的第二位置或第一眼睛运动行为的信息来训练神经网络。作为上述示例中的一个或多个的附加或替代，该方法还可包括使用神经网络确定第二眼睛运动行为。作为上述示例中的一个或多个的附加或替代，第一传感器和第二传感器可以附接到包括显示器的头戴式设备。作为上述示例中的一个或多个的附加或替代，该方法还可以包括响应于确定眼睛的第二位置：确定显示器的与眼睛的第二位置相对应的区域，该区域具有等于第一显示状态的显示状态；以及将该区域的显示状态从第一显示状态改变为第二显示状态。
在一些示例中，公开了一种方法。该方法可以包括：在第一时间间隔从与包括头戴式显示器的增强现实系统的用户相关联的传感器接收第一数据，该第一数据指示用户的眼睛的位置；基于第一数据和增强现实系统的属性，确定与眼睛相关联的眼睛运动行为；以及响应于确定与眼睛相关联的眼睛运动行为，确定从传感器接收数据的第二时间间隔。作为上述示例中的一个或多个的附加或替代，确定眼睛运动行为可以包括：生成与眼睛运动行为的可能性相对应的置信度分数；将置信度分数与阈值进行比较；以及确定置信度分数超过阈值。作为上述示例中的一个或多个的附加或替代，增强现实系统可以被配置为执行软件应用程序，并且增强现实系统的属性可以指示软件应用程序的状态。作为上述示例中的一个或多个的附加或替代，传感器可以在第二时间间隔期间以低功率模式操作。作为上述示例中的一个或多个的附加或替代，眼睛运动行为可以包括扫视运动、平缓追踪、注视、眼球震颤或前庭眼运动。作为上述示例中的一个或多个的附加或替代，增强现实系统可以包括加速度计、陀螺仪、电子罗盘、磁力计或惯性测量单元，并且增强现实系统的属性包括加速度计、陀螺仪、电子罗盘、磁力计或惯性测量单元的输出。作为上述示例中的一个或多个的附加或替代，增强现实系统可以包括GPS传感器，并且增强现实系统的属性可以包括GPS传感器的输出。作为上述示例中的一个或多个的附加或替代，增强现实系统可以包括环境光传感器，并且增强现实系统的属性可以包括环境光传感器的输出。作为上述示例中的一个或多个的附加或替代，可以使用神经网络来确定眼睛运动行为。作为上述示例中的一个或多个的附加或替代，传感器可以包括光学传感器。作为上述示例中的一个或多个的附加或替代，传感器可以包括眼动电图描记术传感器。
在一些示例中，公开了一种可穿戴计算系统。可穿戴计算系统可以包括：框架，其被配置为佩戴在用户的头部周围；包括至少一个附接到框架的电极的感测电路，该感测电路被配置为测量用户的眼睛的电势；光学传感器，其附接到框架并被配置为根据光学传感器参数检测用户的眼睛的图像；以及可操作地耦合至感测电路和光学传感器的处理器，其中，处理器被配置为：从感测电路获得第一数据，该第一数据指示用户的眼睛的电势；以及基于第一数据调整光学传感器参数。作为上述示例中的一个或多个的附加或替代，光学传感器参数可以确定光学传感器检测眼睛的图像的速率。作为上述示例中的一个或多个的附加或替代，光学传感器参数可以确定光学传感器的功耗模式。作为上述示例中的一个或多个的附加或替代，处理器可以进一步被配置为基于第一数据选择性地激活和去激活光学传感器。作为上述示例中的一个或多个的附加或替代，处理器可以进一步被配置为基于由光学传感器检测到的图像来确定眼睛的位置。作为上述示例中的一个或多个的附加或替代，处理器可以进一步被配置为基于第一数据来检测眼睛的运动。作为上述示例中的一个或多个的附加或替代，处理器可以进一步被配置为基于所检测的运动来调整光学传感器参数。作为上述示例中的一个或多个的附加或替代，处理器可以进一步被配置为确定眼睛是否从事多个预定的眼睛运动行为中的眼睛运动行为，该确定基于至少第一数据。作为上述示例中的一个或多个的附加或替代，处理器可以进一步被配置为基于该确定来调整光学传感器参数。作为上述示例中的一个或多个的附加或替代，感测电路可以被配置为根据感测电路参数来测量用户的眼睛的电势，并且处理器可以被进一步配置为基于光学传感器输出的眼睛的图像调整感测电路参数。作为上述示例中的一个或多个的附加或替代，感测电路参数可以确定感测电路向处理器输出指示眼睛的电势的数据的速率。作为上述示例中的一个或多个的附加或替代，感测电路可以包括两个电极和被配置为测量两个电极之间的电势差的至少一个电组件。
虽然已经参考本公开的示例具体示出和描述了本公开，但是本领域技术人员将理解，在不脱离本公开的范围的情况下，可以在形式和细节上进行各种改变。

Claims (19)

1.一种方法，包括：
接收指示眼睛的第一位置的第一数据，所述第一数据以第一速率从第一传感器接收；
接收指示所述眼睛的第二位置的第二数据，所述第二数据以第二速率从与所述第一传感器不同的第二传感器接收，其中，所述第一传感器被配置为以第一频率检测眼睛数据，并且其中，所述第二传感器被配置为以高于所述第一频率的第二频率检测眼睛数据；
基于光学传感器参数，确定所述第一速率是否将相对于所述第二速率增加；
根据确定所述第一速率将相对于所述第二速率增加，调整系统参数以相对于所述第二速率增加所述第一速率；以及
根据确定所述第一速率将相对于所述第二速率不增加，放弃调整所述系统参数。
2.根据权利要求1所述的方法，其中，所述第一传感器包括光学传感器。
3.根据权利要求1所述的方法，其中，所述第二传感器包括眼动电图传感器。
4.根据权利要求1所述的方法，其中，在以所述第一速率接收所述第一数据的同时，所述第一传感器以低功率模式操作。
5.根据权利要求1所述的方法，其中，在以所述第二速率接收所述第二数据的同时，所述第二传感器以低功率模式操作。
6.根据权利要求1所述的方法，还包括：
基于所述眼睛的所述第一位置和所述眼睛的所述第二位置，确定所述眼睛的第三位置；以及
基于所述眼睛的所述第三位置，确定第一眼睛运动行为。
7.根据权利要求6所述的方法，其中，所述光学传感器参数是基于所述第一眼睛运动行为。
8.根据权利要求6所述的方法，其中，确定所述第一眼睛运动行为包括：
生成与所述第一眼睛运动行为的可能性对应的置信度分数；
将所述置信度分数与阈值进行比较；以及
确定所述置信度分数超过所述阈值。
9.根据权利要求6所述的方法，其中：
所述第一传感器和所述第二传感器与包括显示器的头戴式设备相关联，以及
所述方法还包括：根据确定所述眼睛的所述第三位置，
确定所述显示器的与所述眼睛的所述第二位置对应的区域，所述区域具有等于第一显示状态的显示状态；以及
将所述区域的所述显示状态从所述第一显示状态改变为第二显示状态。
10.根据权利要求1所述的方法，还包括：
从第三传感器接收第三数据；以及
基于所述第三数据，确定第一眼睛运动行为。
11.根据权利要求1所述的方法，其中，所述光学传感器参数是基于来自神经网络的输出。
12.根据权利要求1所述的方法，还包括：使用包括所述第一数据、所述第二数据、或两者的信息来训练神经网络。
13.根据权利要求1所述的方法，其中：
所述第二数据指示所述眼睛的增量位置，以及
所述方法还包括确定所述眼睛的所述增量位置是否小于阈值，其中：
根据确定所述增量位置大于所述阈值，所述光学传感器参数指示所述第一速率将相对于所述第二速率增加，以及
根据确定所述增量位置不大于所述阈值，所述光学传感器参数指示所述系统参数将不被调整。
14.根据权利要求1所述的方法，还包括：
基于所述光学传感器参数，确定所述第一速率是否将相对于所述第二速率减小；
根据确定所述第一速率将相对于所述第二速率减小，调整所述系统参数以相对于所述第二速率减小所述第一速率；以及
根据确定所述第一速率将相对于所述第二速率不减小，放弃调整所述系统参数。
15.根据权利要求14所述的方法，其中，确定所述第一速率将相对于所述第二速率减小包括：确定所述光学传感器参数包括减少所述第一传感器的功耗的指示。
16.根据权利要求14所述的方法，其中，确定所述第一速率将相对于所述第二速率增加包括：确定所述光学传感器参数包括增加所述第一传感器的准确度的指示。
17.根据权利要求1所述的方法，还包括：
基于第二传感器参数，确定所述第二速率是否将相对于所述第一速率增加；
根据确定所述第二速率将相对于所述第一速率增加，调整第二系统参数以相对于所述第一速率增加所述第二速率；以及
根据确定所述第二速率将相对于所述第一速率不增加，放弃调整所述第二系统参数。
18.一种系统，包括：
第一传感器，被配置为以第一频率检测眼睛数据；
第二传感器，被配置为以高于所述第一频率的第二频率检测眼睛数据；
一个或多个处理器，可操作地耦合到所述第一传感器和所述第二传感器，所述一个或多个处理器被配置为执行包括以下步骤的方法：
接收指示眼睛的第一位置的第一数据，所述第一数据以第一速率从第一传感器接收；
接收指示所述眼睛的第二位置的第二数据，所述第二数据以第二速率从与所述第一传感器不同的第二传感器接收；
基于光学传感器参数，确定所述第一速率是否将相对于所述第二速率增加；
根据确定所述第一速率将相对于所述第二速率增加，调整系统参数以相对于所述第二速率增加所述第一速率；以及
根据确定所述第一速率将相对于所述第二速率不增加，放弃调整所述系统参数。
19.一种存储指令的非暂时性计算机可读介质，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行一种方法，所述方法包括：
接收指示眼睛的第一位置的第一数据，所述第一数据以第一速率从第一传感器接收；
接收指示所述眼睛的第二位置的第二数据，所述第二数据以第二速率从与所述第一传感器不同的第二传感器接收，其中，所述第一传感器被配置为以第一频率检测眼睛数据，并且其中，所述第二传感器被配置为以高于所述第一频率的第二频率检测眼睛数据；
基于光学传感器参数，确定所述第一速率是否将相对于所述第二速率增加；
根据确定所述第一速率将相对于所述第二速率增加，调整系统参数以相对于所述第二速率增加所述第一速率；以及
根据确定所述第一速率将相对于所述第二速率不增加，放弃调整所述系统参数。
CN202311570595.XA 2017-04-14 2018-04-13 多模式眼睛跟踪 Pending CN117389420A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762485820P 2017-04-14 2017-04-14
US62/485,820 2017-04-14
PCT/US2018/027679 WO2018191731A1 (en) 2017-04-14 2018-04-13 Multimodal eye tracking
CN201880024458.7A CN110520824B (zh) 2017-04-14 2018-04-13 多模式眼睛跟踪

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880024458.7A Division CN110520824B (zh) 2017-04-14 2018-04-13 多模式眼睛跟踪

Publications (1)

Publication Number Publication Date
CN117389420A true CN117389420A (zh) 2024-01-12

Family

ID=63789985

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880024458.7A Active CN110520824B (zh) 2017-04-14 2018-04-13 多模式眼睛跟踪
CN202311570595.XA Pending CN117389420A (zh) 2017-04-14 2018-04-13 多模式眼睛跟踪

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880024458.7A Active CN110520824B (zh) 2017-04-14 2018-04-13 多模式眼睛跟踪

Country Status (9)

Country Link
US (4) US11016561B2 (zh)
EP (1) EP3610359B1 (zh)
JP (3) JP7211966B2 (zh)
KR (2) KR20240014589A (zh)
CN (2) CN110520824B (zh)
AU (1) AU2018252665A1 (zh)
CA (1) CA3058669A1 (zh)
IL (1) IL269861B2 (zh)
WO (1) WO2018191731A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110520824B (zh) 2017-04-14 2023-11-24 奇跃公司 多模式眼睛跟踪
CN111511318B (zh) 2017-09-27 2023-09-15 迈阿密大学 数字治疗矫正眼镜
US10531795B1 (en) 2017-09-27 2020-01-14 University Of Miami Vision defect determination via a dynamic eye-characteristic-based fixation point
US10742944B1 (en) 2017-09-27 2020-08-11 University Of Miami Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations
US10409071B2 (en) 2017-09-27 2019-09-10 University Of Miami Visual enhancement for dynamic vision defects
US10389989B2 (en) 2017-09-27 2019-08-20 University Of Miami Vision defect determination and enhancement using a prediction model
WO2020028193A1 (en) * 2018-07-30 2020-02-06 Hi Llc Non-invasive systems and methods for detecting mental impairment
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
DE102019207803A1 (de) * 2019-05-28 2020-12-03 Friedrich-Alexander-Universität Erlangen-Nürnberg Registrierungseinrichtung, Verfahren zum Registrieren, entsprechendes Computerprogramm und computerlesbares Speichermedium
CN110441912B (zh) * 2019-08-27 2024-04-19 高维度（深圳）生物信息智能应用有限公司 一种便携眼镜智能穿戴设备及其控制方法
US11119580B2 (en) 2019-10-08 2021-09-14 Nextsense, Inc. Head and eye-based gesture recognition
US11860501B2 (en) * 2019-11-29 2024-01-02 Boe Technology Group Co., Ltd. Optical switch and control method thereof, and display apparatus
CA3162928A1 (en) * 2019-11-29 2021-06-03 Electric Puppets Incorporated System and method for virtual reality based human biological metrics collection and stimulus presentation
US10860098B1 (en) 2019-12-30 2020-12-08 Hulu, LLC Gesture-based eye tracking
CN112168636B (zh) * 2020-09-24 2023-02-03 华人运通(上海)云计算科技有限公司 车内视力改善装置、设备及系统
KR102434188B1 (ko) * 2020-10-19 2022-08-19 부산대학교 산학협력단 머신러닝을 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 방법 및 이를 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 시스템
US11659266B2 (en) 2020-10-21 2023-05-23 Qualcomm Incorporated Power control based at least in part on user eye movement
US11803237B2 (en) 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
CN113283354B (zh) * 2021-05-31 2023-08-18 中国航天科工集团第二研究院 一种分析眼动信号行为的方法、系统及存储介质
WO2023278716A1 (en) * 2021-07-01 2023-01-05 Massachusetts Institute Of Technology System and method for calibrating electrooculography signals based on head movement
US20230065296A1 (en) * 2021-08-30 2023-03-02 Facebook Technologies, Llc Eye-tracking using embedded electrodes in a wearable device
US11914093B2 (en) * 2021-12-07 2024-02-27 Microsoft Technology Licensing, Llc RF antenna scanning for human movement classification
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system
US11994675B2 (en) * 2022-05-16 2024-05-28 Google Llc Head-mounted device for tracking screen time
US20230418372A1 (en) * 2022-06-28 2023-12-28 Apple Inc. Gaze behavior detection

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
ZA200608191B (en) 2004-04-01 2008-07-30 William C Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7922330B2 (en) * 2005-05-13 2011-04-12 Customvis Plc Fast response eye tracking
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
JP2008003816A (ja) 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd 操作誘導装置及び操作誘導方法
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
JP5570386B2 (ja) 2010-10-18 2014-08-13 パナソニック株式会社 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
EP2469654B1 (en) * 2010-12-21 2014-08-27 Siemens Aktiengesellschaft Horn antenna for a radar device
EP2499964B1 (en) * 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US8913789B1 (en) * 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
JP5947170B2 (ja) 2012-09-14 2016-07-06 京セラ株式会社 表示装置ならびに視線入力制御プログラムおよび方法
US20150309568A1 (en) * 2012-11-27 2015-10-29 Kyocera Corporation Electronic apparatus and eye-gaze input method
US20140218281A1 (en) 2012-12-06 2014-08-07 Eyefluence, Inc. Systems and methods for eye gaze determination
AU2014204252B2 (en) 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US20190265802A1 (en) * 2013-06-20 2019-08-29 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US9955895B2 (en) 2013-11-05 2018-05-01 The Research Foundation For The State University Of New York Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces
CN106537290B (zh) * 2014-05-09 2019-08-27 谷歌有限责任公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
KR102244222B1 (ko) * 2014-09-02 2021-04-26 삼성전자주식회사 가상 현실 서비스를 제공하기 위한 방법 및 이를 위한 장치들
CN105574471B (zh) * 2014-10-10 2019-02-05 中国移动通信集团公司 用户行为数据的上传方法、用户行为的识别方法及装置
JP2017227941A (ja) 2014-11-05 2017-12-28 株式会社ジンズ プログラム、情報処理装置、及びアイウエア
CN107530034A (zh) 2015-03-16 2018-01-02 奇跃公司 增强现实脉冲血氧定量法
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
US10043281B2 (en) * 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
WO2017196879A1 (en) * 2016-05-09 2017-11-16 Magic Leap, Inc. Augmented reality systems and methods for user health analysis
US10534954B2 (en) * 2016-06-03 2020-01-14 Magic Leap, Inc. Augmented reality identity verification
EP4202840A1 (en) * 2016-11-11 2023-06-28 Magic Leap, Inc. Periocular and audio synthesis of a full face image
CN110520824B (zh) * 2017-04-14 2023-11-24 奇跃公司 多模式眼睛跟踪
EP3407164A1 (en) * 2017-05-23 2018-11-28 Stichting IMEC Nederland A method and a system for monitoring an eye position
EP3760115A1 (en) * 2017-06-22 2021-01-06 Oticon A/s A system for capturing electrooculography signals
WO2019071166A1 (en) * 2017-10-05 2019-04-11 VRHealth Ltd MULTIDISCIPLINARY CLINICAL EVALUATION IN VIRTUAL OR INCREASED REALITY
US20190320891A1 (en) * 2018-04-19 2019-10-24 Stichting Imec Nederland System, Device and Method for Eye Activity Monitoring
US11176757B2 (en) * 2019-10-02 2021-11-16 Magic Leap, Inc. Mission driven virtual character for user interaction

Also Published As

Publication number Publication date
JP2022132349A (ja) 2022-09-08
US11016561B2 (en) 2021-05-25
EP3610359A1 (en) 2020-02-19
US20180299953A1 (en) 2018-10-18
JP2023014151A (ja) 2023-01-26
WO2018191731A1 (en) 2018-10-18
EP3610359B1 (en) 2023-09-20
CN110520824A (zh) 2019-11-29
US11561615B2 (en) 2023-01-24
IL269861A (zh) 2019-11-28
CA3058669A1 (en) 2018-10-18
AU2018252665A1 (en) 2019-10-17
IL269861B2 (en) 2023-11-01
JP7211966B2 (ja) 2023-01-24
KR102627452B1 (ko) 2024-01-18
US11294462B2 (en) 2022-04-05
JP7291841B2 (ja) 2023-06-15
IL269861B1 (en) 2023-07-01
US20220179488A1 (en) 2022-06-09
JP7455905B2 (ja) 2024-03-26
JP2020517012A (ja) 2020-06-11
KR20240014589A (ko) 2024-02-01
US20220382371A1 (en) 2022-12-01
US20210333872A1 (en) 2021-10-28
EP3610359A4 (en) 2020-04-22
CN110520824B (zh) 2023-11-24
KR20190138852A (ko) 2019-12-16
US11449140B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
CN110520824B (zh) 多模式眼睛跟踪
Majaranta et al. Eye tracking and eye-based human–computer interaction
US11340461B2 (en) Devices, systems and methods for predicting gaze-related parameters
US11803237B2 (en) Controlling an eye tracking camera according to eye movement velocity
TW201837550A (zh) 電容式感測電路及使用該電路測定眼瞼位置的方法
KR101638095B1 (ko) 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
WO2016194581A1 (ja) 姿勢検出装置、眼鏡型電子機器、姿勢検出方法およびプログラム
US20220293241A1 (en) Systems and methods for signaling cognitive-state transitions
CN115844427A (zh) 眼睛检测方法和设备
CN116964545A (zh) 用于信号传递认知状态转换的系统和方法
Kharadea et al. EyePhone Technology: A Smart Wearable Device
EP4305511A1 (en) Systems and methods for signaling cognitive-state transitions
Chan Development of a wearable eye tracker to control an autonomous wheelchair
CN116830064A (zh) 用于预测交互意图的系统和方法
DESIGN PROSTHETIC EYE FOR NATURAL EYE MOVEMENT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination