CN110352033A - 用眼睛追踪装置确定眼睛睁开度 - Google Patents

用眼睛追踪装置确定眼睛睁开度 Download PDF

Info

Publication number
CN110352033A
CN110352033A CN201880013360.1A CN201880013360A CN110352033A CN 110352033 A CN110352033 A CN 110352033A CN 201880013360 A CN201880013360 A CN 201880013360A CN 110352033 A CN110352033 A CN 110352033A
Authority
CN
China
Prior art keywords
eyes
user
opening
eye tracks
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880013360.1A
Other languages
English (en)
Other versions
CN110352033B (zh
Inventor
马克·莱恩
托尔比约恩·桑德伯格
普拉文·拉娜
王一木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toby Joint-Stock Co
Original Assignee
Toby Joint-Stock Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toby Joint-Stock Co filed Critical Toby Joint-Stock Co
Priority to CN202310509108.2A priority Critical patent/CN116687336A/zh
Publication of CN110352033A publication Critical patent/CN110352033A/zh
Application granted granted Critical
Publication of CN110352033B publication Critical patent/CN110352033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0083—Apparatus for testing the eyes; Instruments for examining the eyes provided with means for patient positioning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开一种用眼睛追踪装置确定眼睛睁开度的方法。所述方法可包含在用户的眼睛睁开的第一时间段期间针对眼睛追踪装置的图像传感器的像素而确定像素的强度的第一总和。所述方法可还包含在用户的眼睛闭上的第二时间段期间确定像素的强度的第二总和。所述方法可还包含在第三时间段期间确定像素的强度的第三总和。所述方法可另外包含确定在第三总和超过第一总和加上阈值量所得到的第四总和之后用户的眼睛是闭上的，该阈值量等于阈值分数乘以第一总和与第二总和之间的差。

Description

用眼睛追踪装置确定眼睛睁开度
相关申请的交叉引用
本申请主张2017年2月27日申请的第62/464,235号美国临时专利申请的优先权和权益，所述美国临时专利申请的全部内容出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。
发明内容
在一个实施例中，提供一种用于调整可穿戴装置中的透镜的位置的系统。系统可包含可穿戴装置和一个或更多个处理器。可穿戴装置可包含：显示器；至少一个透镜，设置在显示器之前；以及眼睛追踪装置，包含至少一个发光器和至少一个图像传感器。一个或更多个处理器可被配置成从眼睛追踪装置接收数据，并至少基于所述数据而确定穿戴可穿戴装置的用户的至少一只眼睛的第一位置，其中所述位置是相对于第二位置而言，所述第二位置相对于至少一个透镜是固定的。一个或更多个处理器可还被配置成确定第一位置与第二位置之间的距离，并且如果所述距离大于第一值，那么导致信息被呈现给用户，所述信息指示一个或更多个透镜应移动到较优选的位置。
在另一实施例中，提供一种用于调整可穿戴装置中的透镜的位置的方法。所述方法可包含从可穿戴装置中的眼睛追踪装置接收数据，其中所述可穿戴装置包含显示器以及可移动地设置在显示器之前的至少一个透镜。所述方法可还包含从眼睛追踪装置接收数据。所述方法可还包含至少基于所述数据而确定穿戴可穿戴装置的用户的至少一只眼睛的第一位置，其中所述位置是相对于第二位置而言，所述第二位置相对于至少一个透镜是固定的。所述方法可另外包含确定第一位置与第二位置之间的距离。所述方法可另外包含如果所述距离大于第一值或小于第二值，那么导致信息被呈现给用户，所述信息指示一个或更多个透镜应移动到较优选的位置。
在另一实施例中，提供一种非暂时性机器可读介质。非暂时性机器可读介质上可存储有用于调整可穿戴装置中的透镜的位置的指令。所述指令可由一个或更多个处理器执行以执行一种方法。所述方法可包含从可穿戴装置中的眼睛追踪装置接收数据，其中所述可穿戴装置包含显示器以及可移动地设置在显示器之前的至少一个透镜。所述方法可还包含从眼睛追踪装置接收数据。所述方法可还包含至少基于所述数据而确定穿戴可穿戴装置的用户的至少一只眼睛的第一位置，其中所述位置是相对于第二位置而言，所述第二位置相对于至少一个透镜是固定的。所述方法可另外包含确定第一位置与第二位置之间的距离。所述方法可另外包含如果所述距离大于第一值或小于第二值，那么导致至少一个透镜移动直到所述距离小于第一值并大于第二值为止。
在其它实施例中，提供用眼睛追踪装置确定眼睛睁开度的系统和方法。这些实施例可包含在用户的眼睛睁开的第一时间段期间针对眼睛追踪装置的图像传感器的像素的至少一部分而确定像素的强度的第一总和。所述实施例可还包含在用户的眼睛闭上的第二时间段期间针对眼睛追踪装置的图像传感器的像素的至少一部分而确定像素的强度的第二总和。所述实施例可还包含在第三时间段期间针对眼睛追踪装置的图像传感器的像素的至少一部分而确定像素的强度的第三总和。所述实施例可另外包含用处理器确定在第三总和超过第一总和加上阈值量而得到的第四总和之后用户的眼睛是闭上的，其中所述阈值量等于阈值分数乘以第一总和与第二总和之间的差。
在其它实施例中，提供用眼睛追踪装置确定眼睛睁开度的系统和方法。这些实施例可包含激活眼睛追踪装置的多个发光器，其中多个发光器朝向用户的眼睛。所述实施例可还包含用眼睛追踪装置的图像传感器确定所激活的发光器的多少反射出现在用户的眼睛上。所述实施例可还包含用至少一个处理器基于出现小于第一预定义数量的反射而确定用户的眼睛闭上。
在其它实施例中，提供用于用眼睛追踪装置确定眼睛睁开度的系统和方法。这些实施例可包含在一个或更多个处理器处从眼睛追踪装置的图像传感器接收用户的眼睛的图像。所述实施例可还包含用一个或更多个处理器基于眼睛的图像而确定瞳孔的半径。所述实施例可还包含用一个或更多个处理器基于瞳孔的半径而确定瞳孔的总面积。所述实施例可另外包含用一个或更多个处理器基于眼睛的图像和瞳孔的半径而确定未被任一眼睑遮挡的瞳孔的总面积的量。所述实施例可另外包含用一个或更多个处理器基于未被眼睑遮挡的瞳孔的总面积的量和瞳孔的总面积而确定用户的眼睛是否闭上。
附图说明
结合附图来描述本发明的实施例：
图1是示出根据一个实施例的眼睛睁开度的确定中所使用的数据的曲线图；
图1A示出具有发光器闪烁点的用户眼睛的图像，所述闪光点指示工作的发光器的反射，其中闪烁点在用户瞳孔周围基本规则地且圆形地间隔开；
图2是示出根据一个实施例的眼睛睁开度的确定中所使用的数据的曲线图；
图3到图7是与根据一个实施例的眼睛图像和眼睛图像上的各个测量点，它们与确定眼睛睁开度的方法相关；
图8示出两个视觉导引，其中所述两个视觉导引表示图像传感器的位置以及用户眼睛相对于所述图像传感器的位置，并且所述两个视觉导引可在一些实施例中呈现以辅助用户定位眼睛追踪装置或包含眼睛追踪装置的可穿戴装置；
图9示出本发明的一个实施例的可穿戴装置，其中所述可穿戴装置能够检测透镜在其中透镜的位置并至少辅助用户调整透镜的位置；
图10示出用于检测并调整可穿戴装置的透镜的位置的本发明的一个方法实施例的框图；以及
图11是能够用于本发明的设备或系统的至少某一部分中或实施本发明的方法的至少某一部分的专用计算机系统的框图。
在附图中，类似部件和/或特征可具有相同附图标记。此外，相同类型的各种部件可通过在附图标记之后加上在类似部件和/或特征之间进行区分的字母来区分。如果在本说明书中仅使用第一数值附图标记，那么这种描述适用于具有相同的第一数值附图标记的类似部件和/或特征中的任一个，不管字母后缀为何。
具体实施方式
下文描述仅提供示范性实施例，并且不希望限制本公开的范围、适用性或配置。实际上，示范性实施例的下文描述将向本领域的技术人员提供用于实施一个或更多个示范性实施例的可行描述。应理解，可对各个要素的功能和布置进行各种改变而不偏离随附权利要求书所阐述的本发明的精神和范围。
例如，针对一个实施例论述的任何细节可存在于或可不存在于此实施例的所有预期版本中。同样，针对一个实施例论述的任何细节可存在于或可不存在于本文所论述的其它实施例的所有预期版本中。最终，针对本文中任何实施例的任何细节的论述的缺失应当是隐含地表示此细节可存在于或可不存在于本文所论述的任何实施例的任何版本中。
在下文描述中给出了具体细节以提供对实施例的深入理解。然而，本领域的技术人员应理解，可在不存在这些具体细节的情况下实践实施例。举例来说，本发明中的电路、系统、网络、过程和其它要素可被图示为框图形式的组成部分，以免以不必要的细节使实施例变得晦涩难懂。在其它情形下，可在没有不必要的细节的情况下示出熟知的电路、过程、算法、结构和技术，以便避免使实施例变得晦涩难懂。
另外，应注意，各个实施例可被描述为一种过程，所述过程被描绘为流程图表、流程图、数据流程图、结构图或框图。虽然流程图可将操作描述为依序过程，但许多所述操作可并行地或同时地执行。此外，操作的次序可被重新布置。过程可在其操作完成时终止，但可具有图中未论述或包含的额外步骤。此外，不是任何具体描述的过程中的所有操作都可能在所有实施例中出现。过程可对应于方法、函数、进程、子例程、子程序等。当过程对应于函数时，其终止对应于函数返回到调用函数或主函数。
术语“机器可读介质”包含(但不限于)暂时性和非暂时性、便携或固定的存储装置、光学存储装置、无线信道以及能够存储、含有或携载指令和/或数据的各种其它介质。代码段或机器可执行指令可代表进程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任何组合。一代码段可通过传递和/或接收信息、数据、变元、参数或存储器内容而耦接到另一代码段或硬件电路。信息、变元、参数、数据等可经由包括存储器共享、消息传递、令牌传递、网络传输等任何适当手段来传递、转发或传输。
此外，可至少部分手动地或自动地实施本发明的实施例。可通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合执行手动或自动实施方案或至少对其作出辅助。当以软件、固件、中间件或微代码实施时，用于执行必要任务的程序代码或代码段可存储在机器可读介质中。处理器可执行必要的任务。
本发明总的来说涉及用于眼睛追踪的系统和方法及其用途，明确地说，涉及用于可穿戴装置中的眼睛追踪的系统和方法。可穿戴装置近年来已备受关注，这些装置通常含有至少一个显示器并常用于虚拟现实(VR)或增强现实(AR)应用中。
眼睛追踪是确定人的注视方向的过程。这通常使用基于图像传感器的眼睛追踪装置来进行，其中发光器将红外光投射到用户的眼睛上，并且图像传感器捕捉图像，该图像含有从眼睛反射的红外光。从眼睛上的反射位置，可确定眼睛的注视方向。如本领域的技术人员容易理解的是，眼睛追踪装置具有各种配置的图像传感器、发光器和处理结构。
将眼睛追踪技术用于可穿戴装置中可具有某些优点。例如，这可实现虚拟或增强现实环境中的较自然的互动。
在一个实施例中，提供一种用于穿戴在用户头部上的可穿戴装置。可穿戴装置可包含至少一个显示器和眼睛追踪装置。眼睛追踪装置可例如包含至少一个图像传感器和至少一个红外发光器，如先前所论述的那样。如本领域的技术人员容易理解的是，图像传感器可以是含有多个像素的任何传统的互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)图像传感器。
眼睛追踪装置可布置在可穿戴装置内以便在可穿戴装置由用户穿戴时靠近用户眼睛。处理单元可与图像传感器和发光器操作性地耦接，以处理由图像传感器捕捉的图像来确定注视方向。
如所论述，在一些实施例中，红外发光器可将红外发光朝向用户眼睛投射，并且图像传感器捕捉用户眼睛区域的图像。传感器和/或处理器可接着将来自所捕捉的图像的所有像素的所接收的值或强度(其中较高值/强度是闭上的眼睛的特性)求和，从而得到总和X。针对由图像传感器捕捉的每一图像而重复这个动作。此重复监视的实例示出在图1的曲线图中，其中图1示出强度总和(Y轴)与时间(X轴)的关系。这实现最高和最低Y轴值下的眼睛睁开度的二元确定(即，闭上(0)或睁开(1))，但也能实现闭上与睁开之间的各种睁开度状态的较模拟的确定，即，四分之一睁开、二分之一睁开、四分之三睁开以及其间的所有变更形式。
在图1的实例中，X的值随着时间变化，从而具有三个不同的波峰。这些波峰表示图像传感器的像素的强度之和已从先前时间(图1的波谷)改变并且增大，这在用户闭上其眼睑(例如，眨眼)时发生。这些波峰可由处理单元确定，并且因此籍此将用户正在眨眼的指示提供给另一应用程序。
图1中的Y数据是基线，其中所述基线可根据各种实施例被调整，并且针对每一用户可以是不同的。一种调整基线Y的方法是在特定用户眼睛睁开时针对用户眼睛的图像而确定一种类型的低通滤波的值(例如，移动平均滤波值)。
图1中的Z数据是眼睛被认为大致闭上时的阈值，其中所述阈值与X的值比较以便确定用户是否正进行眨眼。如果X超过阈值Z，那么可确定用户眼睛正进行闭上运动，直到X的值返回到阈值Z以下为止。在一些实施例中，也可基于在本文所公开的方法的操作期间收集的数据而调整阈值Z。
接着，在一个实施例中，可使用下式来分析像素X的总和以确定用户是否正在眨眼：
X＝像素的当前总和；
Y＝基线；
A＝眨眼幅度；
f＝眨眼阈值分数(在一些实施例中，介于约1/8与约1/2之间)；
如果X>＝Y+f*A，那么C＝0；
如果X<Y+f*A，那么C＝1；并且
其中C＝0是闭上的眼睛，C＝1是睁开的眼睛。
简单地说：
Z＝Y+f*A；
如果X>＝Z，那么眼睛闭上；并且
如果X<Z，那么眼睛睁开。
A仅在C＝0(眼睛闭上)的时间期间用X的值的移动平均滤波值来更新。
Y仅在C＝1(眼睛睁开)的时间期间用X的值的移动平均滤波值来更新。更具体来说，Y的值将基于所捕捉的用户眼睛中的至少一只眼睛的图像(该图像指示眼睛睁开)来更新。Y的值在系统初始化开始时或在另一时间被设定为预定默认值。并且，Y的值被设定成基于每个所捕捉用户眼睛的图像帧而更新，或被设定为根据预定时间序列并基于在具体时间点捕捉的用户眼睛的图像来更新。优选地，Y的值在预定闪烁点图案被检测到时被设定为具体值，这适应于导致可能闪烁点的发光器的数量。预定闪烁点图案指示，闪烁点的数量符合预定阈值并且闪烁点的形状实质上是圆形的，并且闪烁点的位置处于预定义的区域中(例如，闪烁点处于瞳孔附近)。邻近闪烁点之间的距离也可以是基本相同的。并且闪烁点可按类似圆形的图案分别在瞳孔的两侧对准。参见图1A以了解上述特性的实例。
图2示出关于图1的实例数据的这些计算的结果，其中Y轴表示眼睛睁开度(1＝睁开，0＝闭上)，并且X轴表示时间。通过在睁开眼睛状况(C＝1)期间基于X的值将基线Y归一化，本文中的实施例可消除在监视比如头部移动的过程中的干扰，其中在此期间，像素X的总和因例如环境光、可穿戴装置的位置的移动等外部因素而变化。
在另一实施例中，与其使用像素X的总和来确定眼睛是睁开还是闭上，倒不如分析红外发光的反射的较特定的特性。例如，在多个红外发光器朝向用户眼睛的系统(例如，眼睛追踪系统)中，可分析所捕捉的眼睛的图像以确定在眼睛上是否存在来自红外发光器的任何反射。若如此，则可使用反射的量、反射的位置等来推断眼睛是睁开还是闭上。
例如，考虑布置成圆形的八个发光器朝向用户眼睛的情况。如果眼睛的图像显露出由所有八个当前发光器导致的闪烁点，那么可确定用户眼睛是睁开的。如果图像未显露出任何闪烁点，那么可确定用户眼睛是闭上的。如果图像显露出由发光器导致的1到7个闪烁点，那么可确定用户眼睛处于睁开或闭上的过程中。取决于实施例，在睁开或闭上期间发生的这些中间状况可被分类为睁开或闭上的状态以出于分析目的而使数据是二元的。
在一些实施例中，还提供用于确定眼睛的睁开度的方法，其中所述方法可适应不同形状和大小的眼睛以及眼睛在睁开时可能不如其他用户眼睛睁开那样大的人。这些方法可基于以下事实：在眨眼期间，无论人的正常眼睛睁开度特性如何，瞳孔的大部分可被眼睑遮挡。相比之下，当用户生来具有眯眯眼或正眯眼时，无论总体眼睑位置是否看上去像是眨眼运动，其瞳孔的大部分都将未被遮挡。
关于这些实施例，如下文参照图3所述，各种信息可以是相关的：
ptop＝上眼睑最大程度睁开的点；
pbotttom＝下眼睑最大程度睁开的点；
cpupil＝瞳孔中心；并且
rpupil＝瞳孔半径。
此信息可使用眼睛追踪装置的图像传感器而收集，并且可用于估计用户的上下眼睑之间的距离。反过来，为了适应天生眯眯眼，可随着时间追踪最大睁开度，并且可采用本文所述的方法相对于此最大睁开度来确定眼睛是睁开还是闭上。
上述信息也可用于确定瞳孔的可见度分数的估计值。参照图4，一种方法可通过用水平线近似表示眼睑来估计有多少瞳孔是可见的：
并且
areabottom是按照相同的方式从pbotttom计算出的。
参照图5到图8，通过追踪用户的可见瞳孔面积的最大分数(fvisible,max)，可按下式计算眼睛睁开度：
睁开度＝fvisible/fvisible,max；并且
fvisible＝areavisible/areapupil。
或者，在眼睛睁开度的二元确定中，进一步有利的是确定瞳孔中心是否位于dtop与dbottom之间。
一旦确定用户眼睛的睁开度或睁开程度，所述信息便可由能够显示在可穿戴装置上的应用程序或其它应用程序使用。例如，在显示虚拟形象(某人的计算机表示)的应用程序中，可更新虚拟形象上的单眼或双眼以反映用户单眼或双眼的现实生活状况。应用程序可在含有眼睛追踪装置的局部可穿戴装置上运行，或在与用户的可穿戴装置通信的远程可穿戴装置上运行。
在其它实施例中，当确定用户眼睛是睁开的、闭上的或处于睁开和闭上之间的某一状态时，可由处理器或其它装置发起具体动作。例如，如果用户眼睛被检测为睁开的，那么眼睛追踪装置可开启到较高功率和/或较高活跃度/就绪的状态。如果用户眼睛被检测为闭上的，那么眼睛追踪装置可关断或进入到较低功率和/或较低活跃度/就绪的状态。与管理眼睛追踪装置(或处于追踪装置内)的处理器耦接的任何其它资源、输入装置、输出装置或其它装置可也通过本文所公开的任一方法基于眼睛睁开度的确定而按类似方式操作。
因此，在一些实施例中，提供用眼睛追踪装置确定眼睛睁开度的系统和方法。这些实施例可包含在用户的眼睛睁开的第一时间段期间针对眼睛追踪装置的图像传感器的像素的至少一部分而确定像素的强度的第一总和。在一些实施例中，所述第一总和可以是图像传感器的像素的强度的移动平均值。所述实施例可还包含在用户的眼睛闭上的第二时间段期间针对眼睛追踪装置的图像传感器的像素的至少一部分而确定像素的强度的第二总和。所述实施例可还包含在第三时间段期间针对眼睛追踪装置的图像传感器的像素的至少一部分而确定像素的强度的第三总和。所述实施例可另外包含用处理器确定在第三总和超过第一总和加上阈值量所得到的第四总和之后用户的眼睛是闭上的，其中阈值量等于阈值分数乘以第一总和与第二总和之间的差。阈值分数可介于约1/8与约1/2之间。
在一些实施例中，所述方法和系统可还包含在第一时间段、第二时间段和第三时间段中的每一个时间段期间激活眼睛追踪装置的发光器。并且在各种实施例中，第一时间段可以是动态的，并且领先于第三时间段。
在其它实施例中，提供用眼睛追踪装置确定眼睛睁开度的系统和方法。这些实施例可包含激活眼睛追踪装置的多个发光器，其中多个发光器朝向用户的眼睛。所述实施例可还包含用眼睛追踪装置的图像传感器确定所激活的发光器的多少个反射出现在用户的眼睛上。所述实施例可还包含用至少一个处理器基于出现小于第一预定义数量的反射而确定用户的眼睛是闭上的。在一些实施例中，第一预定义数量可以是一。在各种实施例中，第一预定义数量可选自由介于零与多个发光器的总数之间的所有整数组成的群组。在各种实施例中，所述方法和系统可还包含用至少一个处理器基于反射的数量大于零但小于多个发光器的总数而确定用户的眼睛处于睁开或闭上的过程中。
在其它实施例中，提供用眼睛追踪装置确定眼睛睁开度的系统和方法。这些实施例可包含在一个或更多个处理器处从眼睛追踪装置的图像传感器接收用户的眼睛的图像。所述实施例可还包含用一个或更多个处理器基于眼睛的图像而确定瞳孔的半径。所述实施例可还包含用一个或更多个处理器基于瞳孔的半径而确定瞳孔的总面积。所述实施例可另外包含用一个或更多个处理器基于眼睛的图像和瞳孔的半径而确定未被任一眼睑遮挡的瞳孔的总面积的量。所述实施例可另外包含用一个或更多个处理器基于未被眼睑遮挡的瞳孔的总面积的量和瞳孔的总面积而确定用户的眼睛是否闭上。
因此，在一些实施例中，当未被遮挡的瞳孔的总面积大于瞳孔的剩余部分时，用户的眼睛是睁开的。在这些或其它实施例中，当未被遮挡的瞳孔的总面积小于瞳孔的剩余部分时，用户的眼睛是闭上的。
在一些实施例中，所述系统和方法可还包含用一个或更多个处理器基于眼睛的图像而确定瞳孔的中心被任一眼睑遮挡，并且用一个或更多个处理器基于瞳孔的中心被任一眼睑遮挡而确定用户的眼睛是闭上的。在这些或其它实施例中，所述系统和方法可还包含用一个或更多个处理器基于眼睛的图像而确定任一上下眼睑之间随着时间的最大睁开度，并且用一个或更多个处理器基于随着时间的最大睁开度而确定用户的眼睛是否闭上。基于随着时间的最大睁开度而确定用户的眼睛是否闭上可包含基于眼睛的图像而确定眼睛的睁开度小于随着时间的最大睁开度的预定义比例。
在上述或其它实施例中，可还提供用于指示用户将可穿戴装置适当地定位在其头部上的系统和方法，其中所述可穿戴装置含有眼睛追踪装置。可穿戴装置可以是VR或AR头盔的形式，其具有至少一个显示器。可穿戴装置可包含眼睛追踪装置，其具有至少一个图像传感器和至少一个红外发光器，其中图像传感器可被布置成能够捕捉穿戴者眼睛的至少一部分的图像，并且红外发光器可被布置成将红外发光投射到穿戴者眼睛上。
根据这些实施例，应用程序由处理器执行，从而导致项目显示在可穿戴装置的显示器上。这些项目可以是穿戴可穿戴装置的用户的图形导引，用于辅助用户以一种方式将可穿戴装置定位在用户头部上以便通过眼睛追踪装置实现功能性眼睛追踪。
如图8所示，这些图形导引可以是第一图形导引810和第二图形导引820的形式。第一图形导引810可表示并入到眼睛追踪装置中的图像传感器中的透镜的近似形式，并且第二图形导引820可表示如由眼睛追踪装置检测到的用户眼睛的近似形式。
在实践中，当第二图形导引820覆盖在第一图形导引810上时，这向用户提供其单眼或双眼相对于将其双眼成像的图像传感器的透镜的位置的视觉表示。
为了使眼睛追踪正确地发挥作用，有利的是，用户的单眼或双眼的位置尽可能接近透镜的中心。随着用户重定位或移动可穿戴装置，其单眼或双眼相对于透镜的位置将改变，并且因此，第二图形导引820相对于第一图形导引810的位置也将改变。
图形导引810、820中的一个或两个可改变颜色以指示用户的单眼或双眼的当前位置对眼睛追踪的适用性。例如，绿色可用于指示极相关的位置，而红色可指示不充分相关的位置。其它颜色(例如，橙色)可用于指示充分相关的位置(即，并非完全相关，但对于有用的眼睛追踪是足够的)。
在一些实施例中，文字也可显示在显示器上以向用户指示如何重定位可穿戴装置。或者，文字可响应于当前确定的用户单眼或双眼的位置而调适。
可穿戴装置的位置可通过移动整个单元来调整，或两个透镜可相对于彼此而调整。这可通过机械装置来执行(例如，使连接到齿轮的旋钮旋转以使得两个透镜彼此靠近或彼此分开地滑动)或经由控制电机等的电子装置来执行。
在一些实施例中，可穿戴装置的透镜相对于用户双眼的位置可从下文所述的自动化过程确定并且此后由用户通过来自自动化过程的辅助/指令来优化。在这些实施例中的一些中，自动化过程可还甚至在确定透镜相对于用户双眼的位置之后自动优化位置。
一种此类系统可包含可穿戴装置和一个或更多个处理器。系统和/或用户可执行各种方法，和/或执行存储在机器可读介质上的各种方法。在一些实施例中，处理器中的一个、多个或全部将被设置在可穿戴装置内。在这些实施例中，处理器中的一个、多个或全部将被设置在可穿戴装置的眼睛追踪装置内。在一些实施例中，处理器中的一个、多个或全部将被设置在独立但通信地耦接的计算装置(例如，移动装置、平板、笔记本、膝上型计算机、台式计算机或远程/云计算装置)内。
可穿戴装置可包含：显示器；至少一个透镜，可移动地设置在显示器前方；以及眼睛追踪装置，包含至少一个发光器和至少一个图像传感器。显示器可以是VR头盔特有的LCD和/或LED显示器、例如视网膜扫描显示器和/或视网膜投影仪等显示模块，并且透镜可以是菲涅耳透镜和/或旨在辅助可穿戴装置为观看显示器的用户提供三维沉浸效果的其它透镜。在一些实施例中，串联的多个菲涅耳透镜或其它透镜可组合为透镜叠层并且代替单个透镜而使用。虽然显示器与透镜之间的距离在许多实施例中可以是固定的，但透镜与用户眼睛之间的距离在可穿戴装置中是可调整的。此距离的优化可改进显示器对用户的呈现，以使得改进的三维沉浸效果被提供给用户。
眼睛追踪装置可以是本领域中已知的能够确定与用户眼睛相关的各种数据的眼睛追踪装置，这些数据包含指示注视方向的数据以及指示眼睛或其某一部分相对于眼睛追踪装置的图像传感器(或位置相对于图像传感器固定的某一其它部件)的位置的数据。
一个或更多个处理器可被配置成从眼睛追踪装置接收数据，并至少基于所述数据而确定穿戴可穿戴装置的用户的至少一只眼睛的第一位置，其中所述位置是相对于第二位置而言的，所述第二位置相对于至少一个透镜是固定的。如上所述，来自眼睛追踪装置的数据可由处理器评估以确定用户的眼睛的第一位置。然而，在其它实施例中，眼睛追踪装置可确定用户的眼睛的第一位置，并且将其直接报告给处理器。
在一些实施例中，来自眼睛追踪装置的数据可以是来自单个时间点的数据代表，在所述单个时间点期间，眼睛追踪装置的图像传感器捕捉单个图像帧。在其它实施例中，来自眼睛追踪装置的数据可以是多个连续图像帧的数据代表，而在其它实施例中，多个图像帧是以不同时间间隔或相同时间间隔拍摄的。在上述情形中的任一个中，所述数据可用于确定用户的眼睛的位置。使用多个图像以得出平均/均值数据的实施例可能是有利的以确保消除由眼睛追踪装置的测量值中的波动/误差、可穿戴装置在正常使用期间相对于用户眼睛的少量移动等所导致的少量波动。
第一位置可以是用户眼睛上的任何一致地定位的位置。仅举例来说，第一位置可表示用户的一只眼睛的瞳孔的位置。在另一实例中，第一位置可表示用户的一只眼睛的角膜球形区域的位置。用户眼睛上的任何其它一致的特征位置可也用作第一位置。
第一位置和第二位置可具有三轴分量中的任一个或多个。仅举例来说，任一位置可具有X轴位置、Y轴位置和Z轴位置。在一些实施例中，X轴和Y轴可与显示器(以及设置在显示器之前的透镜)共面，而Z轴可垂直于X轴和Y轴(例如，当用户观看显示器时朝向用户和远离用户；也称为透镜起伏方向)。
在任一情况下，用户的眼睛的第一位置可相对于固定的第二位置来确定。固定的位置可位于空间内的任何一致点处，并且可例如是本文所论述的任何部件的位置或相对于这些部件固定的任何位置。在一些实施例中，第二位置可固定在可穿戴装置的两个透镜之间的某一位置处。在一些增强现实或其它类型的无显示器式头戴设备中，可采用光导或波导将视频显示传递给用户。在这些实施例中，第二位置可以是被配置成将视频投影传递到用户的单眼或双眼的光导或波导上的某一点或相对于多个光导或波导(可能在它们之间的)的某一点处的固定位置。
一个或更多个处理器可也被配置成确定第一位置与第二位置之间的距离。因为第一位置是相对于第二位置确定的，所以所述距离可由处理器和/或眼睛追踪装置确定。如上所述，第一位置与第二位置两者可具有X轴、Y轴和Z轴，并且因此两个位置之间的距离可被确定成在这些方向中的每一个方向上具有向量。
一旦确定了所述距离，便将其与一个或更多个阈值比较。阈值可表示透镜相对于用户眼睛的优选定位的最小距离、透镜相对于用户眼睛的优选定位的最大距离或上述两者。在任一给定实施例中，可将所述距离的上述方向向量(即，x轴、y轴和/或z轴)中的全部或一些与阈值的方向向量(即，x轴、y轴和/或z轴)中的全部或一些比较。因此，仅举例来说，可仅将所述距离的z轴向量与一个或更多个阈值的z轴向量比较以确定透镜是过于远离用户眼睛还是过于接近用户眼睛。在其它实施例中，也将x轴和/或y轴考虑在内。
此外，在一些实施例中，可使用多个阈值。例如，上限阈值可表示一最大距离，对于该最大距离，本文中的方法定义相对于用户眼睛的优选透镜位置，而下限阈值可表示一最小距离，对于该最小距离，本文中的方法定义相对于用户眼睛的优选透镜位置。
在一些实施例中，阈值可以是动态的，并且基于其它变量随着时间改变。仅举例来说，处理器可被通知或能够分析正在显示器上提供给用户的内容，并且确定一个或多个不同的阈值在此时间期间是优选的(例如，可能不同的阈值代表某内容所需的不同凸现距离)，视觉特性(例如，亮度、对比度、显示像素改变的百分比等)、护目镜存在(即，眼镜)和/或其它因素可促使阈值的改变。
例如，如果所述距离大于第一值，那么各种实施例的方法可导致指示一个或更多个透镜应移动到较优选的位置的信息被呈现给用户。此信息可在听觉上、视觉上或触觉上呈现。在各种实例中：所述方法可导致内容呈现在显示器上，其中所述内容向用户通知透镜过于接近用户眼睛或过于远离用户眼睛。所述内容也向用户通知如何手动导致透镜据此重新定位。例如，用户可穿戴装置上可具有控件以如本文所述机械地或机电地移动透镜。所显示的内容可指示用户此控件的位置和详情。在一些实施例中，听觉信息可经由扬声器等而呈现给用户。在一些实施例中，触觉反馈被呈现给用户，这可能通过自动机电移动系统的间隙性/脉冲式操作而进行，所述自动机电移动系统可重定位透镜而不需要手动用户输入。
因此，在一些实施例中，可提供机电移动系统以基于较早作出(并此后与阈值比较)的距离确定而相对于用户眼睛自动重定位透镜。此自动重定位可在确定的距离与阈值的比较结束之后发生。关于距离的确定以及与阈值的比较，此过程可随着时间自动重复和/或在用户的指导下重复(通过从用户发向处理器的指令等)。在一些实施例中，也可存在自动机电移动系统以可能在x轴方向上(即相对于用户在左右方向上)将可穿戴装置中的两个透镜中的每一个透镜较接近彼此或远离彼此移动。这些自动移动系统可用于实施本发明的其它实施例(例如，上文所论述的实施例)以考虑眼睛间或瞳孔间距离所需的改变。
图9示出具有上文所述的部件的可穿戴装置900。可穿戴装置900包含显示器905(一些实施例可具有针对每只眼睛的独立显示器)、两个透镜910和眼睛追踪装置915。眼睛追踪装置915的每一部分可具有至少一个发光器920和至少一个图像传感器925。处理器930可从如上所述的装置900的部件接收数据并将指令发布到装置900的部件。
第一机电移动系统935可提供使透镜910相对于彼此移动的装置，而第二机电移动系统940可提供使透镜910相对于用户眼睛(未示出，但在使用期间可存在于装置900的左侧上)移动的装置。在一些实施例中，两个移动系统935、940可仅由用户手动操作(即，经由旋钮等)。还示出如上文所论述处于X、Y和Z方向上的取向轴945。
图10是如所述的用于调整可穿戴装置中的透镜的位置的方法1000的框图。在框1010中，确定或按其它方式标识参考位置(可以是预定义的)。在框1020中，从眼睛追踪装置接收数据。
在框1030中，从所述数据确定眼睛位置。在框1040中，确定从参考位置到眼睛位置的距离。在框1050中，将所述距离与阈值比较。
在框1060中，如果所述距离处于所述阈值内，那么方法1000在框1080处结束。如果在框1060中所述距离不处于所述阈值内，那么在框1070中，将移动导引提供给用户，或在框1075中自动地致动移动系统以使所述距离处于所述阈值内。每当系统重置时，在可穿戴装置上的应用程序执行时间之间，或者以规则的间隔或不规则的间隔，方法1000可重复，以便确保优选透镜距离。
图11是图示可实施本发明的实施例的专用计算机系统1100的框图。此实例图示专用计算机系统1100，其中计算机系统1100例如可整体地、部分地或经过各种修改而用于提供例如上文所论述的显示器905、眼睛追踪装置915、处理器930、移动系统935、940和/或本发明的其它部件的功能。例如，处理器930的各种功能可由专用计算机系统1100控制，包含(仅举例来说)确定眼睛特征到参考点的距离、将距离与预定义阈值进行比较等。
专用计算机系统1100被示出为包括可经由总线1190而电耦接的硬件元件。硬件元件可包含一个或更多个中央处理单元1110、一个或更多个输入装置1120(例如，鼠标、键盘、触摸板、眼睛追踪装置等)和一个或更多个输出装置1130(例如，显示装置、打印机等)。专用计算机系统1100可还包含一个或更多个存储装置1140。举例来说，存储装置1140可以是盘驱动器、光学存储装置、固态存储装置，例如，随机存取存储器(RAM)和/或只读存储器(ROM)，它们可以是可编程的、可闪速更新的，等等。
专用计算机系统1100可另外包含计算机可读存储介质读取器1150、通信系统1160(例如，调制解调器、网络卡(无线或有线)、红外通信装置、BluetoothTM装置、蜂窝式通信装置等)以及工作存储器1180，其中工作存储器1180可包含如上所述的RAM和ROM装置。在一些实施例中，专用计算机系统1100可还包含处理加速单元1170，其中处理加速单元1170可包含数字信号处理器、专用处理器等。
计算机可读存储介质读取器1150可进一步连接到计算机可读存储介质，所述计算机可读存储介质一起(并且，视情况结合存储装置1140)广泛地表示用于暂时和/或较永久地保存计算机可读的信息的远程、本地、固定和/或可移除的存储装置加存储介质。通信系统1160可允许与网络、系统、计算机和/或上文所述的其它部件交换数据。
专用计算机系统1100可还包括被示出为当前位于工作存储器1180内的软件元件，包含操作系统1184和/或其它代码1188。应了解，专用计算机系统1100的替代实施例可具有相对于上文所述的内容的各种变化。例如，也可使用定制硬件，和/或可将特定元件实施在硬件、软件(包含便携式软件，例如，小程序等)或硬件与软件两者中。此外，也可出现与例如网络输入/输出和数据获取装置等其它计算装置的连接。
专用计算机系统1100的软件可包含用于实施如本文所述的架构的各种要素的功能中的任一个或全部的代码1188。例如，存储在例如专用计算机系统1100等专用计算机系统上和/或由其执行的软件可提供例如上文所论述的显示器905、眼睛追踪装置915、移动系统935、940、处理器930和/或本发明的其它部件的功能。上文已更详细地论述可由软件在这些部件中的一些上实施的方法。
已为了清楚起见和便于理解而详细描述本发明。然而，应了解，可在随附权利要求书的范围内实践某些改变和修改。

Claims (16)

1.一种用眼睛追踪装置确定眼睛睁开度的方法，其中所述方法包括：
在用户的眼睛睁开的第一时间段期间针对眼睛追踪装置的图像传感器的像素的至少一部分而确定所述像素的强度的第一总和；
在所述用户的所述眼睛闭上的第二时间段期间针对所述眼睛追踪装置的所述图像传感器的像素的所述至少一部分而确定所述像素的强度的第二总和；
在第三时间段期间针对所述眼睛追踪装置的所述图像传感器的像素的所述至少一部分而确定所述像素的强度的第三总和；以及
用处理器确定在所述第三总和超过所述第一总和加上阈值量所得到的第四总和之后所述用户的所述眼睛是闭上的，其中所述阈值量等于阈值分数乘以所述第一总和与所述第二总和之间的差。
2.根据权利要求1所述的用眼睛追踪装置确定眼睛睁开度的方法，其中所述方法还包括：
在所述第一时间段、所述第二时间段和所述第三时间段中的每一个时间段期间激活所述眼睛追踪装置的发光器。
3.根据权利要求1所述的用眼睛追踪装置确定眼睛睁开度的方法，其中：
所述阈值分数介于约1/8与约1/2之间。
4.根据权利要求1所述的用眼睛追踪装置确定眼睛睁开度的方法，其中：
所述第一时间段是动态的，并且领先于所述第三时间段。
5.根据权利要求3所述的用眼睛追踪装置确定眼睛睁开度的方法，其中：
所述第一总和是所述图像传感器的所述像素的强度的移动平均值。
6.一种用眼睛追踪装置确定眼睛睁开度的方法，其中所述方法包括：
激活眼睛追踪装置的多个发光器，其中所述多个发光器朝向用户的眼睛；
用眼睛追踪装置的图像传感器确定所激活的发光器的多少个反射出现在所述用户的所述眼睛上；以及
用至少一个处理器基于出现小于第一预定义数量的反射而确定所述用户的所述眼睛是闭上的。
7.根据权利要求6所述的用眼睛追踪装置确定眼睛睁开度的方法，其中所述方法还包括：
用所述至少一个处理器基于所述反射的数量等于所述多个发光器的总数而确定所述用户的所述眼睛是睁开的。
8.根据权利要求6所述的用眼睛追踪装置确定眼睛睁开度的方法，其中：
所述第一预定义数量是一。
9.根据权利要求6所述的用眼睛追踪装置确定眼睛睁开度的方法，其中所述方法还包括：
用所述至少一个处理器基于反射的所述数量大于零但小于所述多个发光器的总数而确定所述用户的所述眼睛处于睁开或闭上的过程中。
10.根据权利要求6所述的用眼睛追踪装置确定眼睛睁开度的方法，其中所述第一预定义数量选自：
介于零与所述多个发光器的总数之间的所有整数。
11.一种用眼睛追踪装置确定眼睛睁开度的方法，其中所述方法包括：
在一个或更多个处理器处从眼睛追踪装置的图像传感器接收用户的眼睛的图像；
用所述一个或更多个处理器基于所述眼睛的所述图像而确定瞳孔的半径；
用所述一个或更多个处理器基于所述瞳孔的所述半径而确定所述瞳孔的总面积；
用所述一个或更多个处理器基于所述眼睛的所述图像和所述瞳孔的所述半径而确定所述瞳孔未被任一眼睑遮挡的所述总面积的量；以及
用所述一个或更多个处理器基于所述瞳孔未被所述眼睑遮挡的所述总面积的量和所述瞳孔的所述总面积而确定所述用户的所述眼睛是否闭上。
12.根据权利要求11所述的用眼睛追踪装置确定眼睛睁开度的方法，其中：
当所述瞳孔未被遮挡的所述总面积大于所述瞳孔的剩余部分时，所述用户的所述眼睛是睁开的。
13.根据权利要求11所述的用眼睛追踪装置确定眼睛睁开度的方法，其中：
当所述瞳孔未被遮挡的所述总面积小于所述瞳孔的剩余部分时，所述用户的所述眼睛是闭上的。
14.根据权利要求11所述的用眼睛追踪装置确定眼睛睁开度的方法，其中所述方法还包括：
用所述一个或更多个处理器基于所述眼睛的所述图像而确定所述瞳孔的中心被任一眼睑遮挡；以及
用所述一个或更多个处理器基于所述瞳孔的所述中心被任一眼睑遮挡而确定所述用户的所述眼睛是闭上的。
15.根据权利要求11所述的用眼睛追踪装置确定眼睛睁开度的方法，其中所述方法还包括：
用所述一个或更多个处理器基于所述眼睛的所述图像而确定任一上下眼睑之间随着时间的最大睁开度；以及
用所述一个或更多个处理器基于随着时间的所述最大睁开度而确定所述用户的所述眼睛是否闭上。
16.根据权利要求15所述的用眼睛追踪装置确定眼睛睁开度的方法，其中基于随着时间的所述最大睁开度而确定所述用户的所述眼睛是否闭上包括：
基于所述眼睛的所述图像而确定所述眼睛的睁开度小于随着时间的所述最大睁开度的预定义比例。
CN201880013360.1A 2017-02-27 2018-02-09 用眼睛追踪装置确定眼睛睁开度 Active CN110352033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310509108.2A CN116687336A (zh) 2017-02-27 2018-02-09 用眼睛追踪装置确定眼睛睁开度

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762464235P 2017-02-27 2017-02-27
US62/464,235 2017-02-27
PCT/US2018/017612 WO2018156366A1 (en) 2017-02-27 2018-02-09 Determining eye openness with an eye tracking device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310509108.2A Division CN116687336A (zh) 2017-02-27 2018-02-09 用眼睛追踪装置确定眼睛睁开度

Publications (2)

Publication Number Publication Date
CN110352033A true CN110352033A (zh) 2019-10-18
CN110352033B CN110352033B (zh) 2023-04-28

Family

ID=61283321

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310509108.2A Pending CN116687336A (zh) 2017-02-27 2018-02-09 用眼睛追踪装置确定眼睛睁开度
CN201880013360.1A Active CN110352033B (zh) 2017-02-27 2018-02-09 用眼睛追踪装置确定眼睛睁开度

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310509108.2A Pending CN116687336A (zh) 2017-02-27 2018-02-09 用眼睛追踪装置确定眼睛睁开度

Country Status (5)

Country Link
US (3) US10394019B2 (zh)
EP (3) EP4016489A1 (zh)
CN (2) CN116687336A (zh)
ES (1) ES2922136T3 (zh)
WO (1) WO2018156366A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112401887A (zh) * 2020-11-10 2021-02-26 恒大新能源汽车投资控股集团有限公司 一种驾驶员注意力监测方法、装置及电子设备
WO2023001007A1 (zh) * 2021-07-23 2023-01-26 京东方科技集团股份有限公司 成像调整装置及方法、可穿戴设备、存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10394019B2 (en) 2017-02-27 2019-08-27 Tobii Ab Determining eye openness with an eye tracking device
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
WO2019173106A1 (en) * 2018-03-09 2019-09-12 Children’S Hospital & Research Center At Oakland Method of detecting and/or predicting seizures
EP3931666A4 (en) * 2019-03-22 2022-10-12 Hewlett-Packard Development Company, L.P. COLLECTION OF EYE MEASUREMENTS
WO2020236827A1 (en) * 2019-05-20 2020-11-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
CN115668106A (zh) 2020-06-05 2023-01-31 奇跃公司 基于图像的神经网络分析的增强眼睛跟踪技术
US11998275B2 (en) 2020-07-15 2024-06-04 Magic Leap, Inc. Eye tracking using aspheric cornea model
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
SE2250299A1 (en) * 2022-03-04 2023-09-05 Tobii Ab Eye openness

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015094191A1 (en) * 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
CN105224285A (zh) * 2014-05-27 2016-01-06 北京三星通信技术研究有限公司 眼睛开闭状态检测装置和方法
CN105407791A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 经由深度相机的眼睛追踪
CN106030660A (zh) * 2014-03-28 2016-10-12 英特尔公司 具有动态光照以用于眼睛追踪的计算阵列相机
US20170031435A1 (en) * 2015-07-31 2017-02-02 Google Inc. Unique Reflective Lenses to Auto-Calibrate a Wearable Eye Tracking System

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US6702809B1 (en) * 1989-02-06 2004-03-09 Visx, Inc. System for detecting, measuring and compensating for lateral movements of a target
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6299307B1 (en) * 1997-10-10 2001-10-09 Visx, Incorporated Eye tracking device for laser eye surgery using corneal margin detection
AUPP048097A0 (en) * 1997-11-21 1997-12-18 Xenotech Research Pty Ltd Eye tracking apparatus
US6087941A (en) * 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
JP3768735B2 (ja) * 1999-07-07 2006-04-19 三菱電機株式会社 顔画像処理装置
US6322216B1 (en) * 1999-10-07 2001-11-27 Visx, Inc Two camera off-axis eye tracker for laser eye surgery
JP3769442B2 (ja) 2000-02-15 2006-04-26 ナイルス株式会社 眼の状態検出装置
US6980691B2 (en) 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
JP2004329879A (ja) * 2003-02-07 2004-11-25 Nippon Syst Design Kk 眼球検査装置及び眼球検査方法
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US8064647B2 (en) * 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
CA2545202C (en) 2003-11-14 2014-01-14 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
JP4899059B2 (ja) * 2007-03-30 2012-03-21 国立大学法人静岡大学 眠気検知装置
WO2009102940A1 (en) 2008-02-14 2009-08-20 The International Performance Registry, Llc System and method for animal identification using iris images
WO2010011785A1 (en) * 2008-07-23 2010-01-28 Indiana University Research & Technology Corporation System and method for a non-cooperative iris image acquisition system
JP5078815B2 (ja) * 2008-09-12 2012-11-21 株式会社豊田中央研究所 開眼度推定装置
TWI398796B (zh) * 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
US8594374B1 (en) * 2011-03-30 2013-11-26 Amazon Technologies, Inc. Secure device unlock with gaze calibration
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US9025830B2 (en) 2012-01-20 2015-05-05 Cyberlink Corp. Liveness detection system based on face behavior
US8437513B1 (en) 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
US20140375540A1 (en) * 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
US20160140390A1 (en) 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
US10401625B2 (en) 2015-12-28 2019-09-03 Facebook Technologies, Llc Determining interpupillary distance and eye relief of a user wearing a head-mounted display
US10394019B2 (en) 2017-02-27 2019-08-27 Tobii Ab Determining eye openness with an eye tracking device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407791A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 经由深度相机的眼睛追踪
WO2015094191A1 (en) * 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
CN106030660A (zh) * 2014-03-28 2016-10-12 英特尔公司 具有动态光照以用于眼睛追踪的计算阵列相机
CN105224285A (zh) * 2014-05-27 2016-01-06 北京三星通信技术研究有限公司 眼睛开闭状态检测装置和方法
US20170031435A1 (en) * 2015-07-31 2017-02-02 Google Inc. Unique Reflective Lenses to Auto-Calibrate a Wearable Eye Tracking System

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112401887A (zh) * 2020-11-10 2021-02-26 恒大新能源汽车投资控股集团有限公司 一种驾驶员注意力监测方法、装置及电子设备
CN112401887B (zh) * 2020-11-10 2023-12-12 恒大新能源汽车投资控股集团有限公司 一种驾驶员注意力监测方法、装置及电子设备
WO2023001007A1 (zh) * 2021-07-23 2023-01-26 京东方科技集团股份有限公司 成像调整装置及方法、可穿戴设备、存储介质

Also Published As

Publication number Publication date
EP3641624A1 (en) 2020-04-29
CN116687336A (zh) 2023-09-05
CN110352033B (zh) 2023-04-28
US10394019B2 (en) 2019-08-27
EP3641624B1 (en) 2022-06-01
US20180246320A1 (en) 2018-08-30
WO2018156366A1 (en) 2018-08-30
ES2922136T3 (es) 2022-09-08
EP4014835A1 (en) 2022-06-22
US20200026068A1 (en) 2020-01-23
US10852531B2 (en) 2020-12-01
US20180247119A1 (en) 2018-08-30
US10642028B2 (en) 2020-05-05
EP4016489A1 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
CN110352033A (zh) 用眼睛追踪装置确定眼睛睁开度
US10593088B2 (en) System and method for enabling mirror video chat using a wearable display device
US9720238B2 (en) Method and apparatus for a dynamic “region of interest” in a display system
US20200004052A1 (en) Apparatus and Method for Improving, Augmenting or Enhancing Vision
TWI545947B (zh) 具有影像擷取及分析模組之顯示裝置
US10617301B2 (en) Information processing device and information processing method
US11715231B2 (en) Head pose estimation from local eye region
RU2672502C1 (ru) Устройство и способ для формирования изображения роговицы
JP7459798B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN108763394A (zh) 面向协同交互的多用户眼动跟踪数据可视化方法和系统
JP7156264B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113132642A (zh) 图像显示的方法及装置、电子设备
CN109683707A (zh) 一种使ar眼镜投影颜色自适应的方法及系统
US20240122469A1 (en) Virtual reality techniques for characterizing visual capabilities
US20230419623A1 (en) Systems for augmented reality visual aids and tools
Kambale et al. Eyeball Movement Based Cursor Control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant