CN113576398A - 便携式眼睛追踪设备 - Google Patents

便携式眼睛追踪设备 Download PDF

Info

Publication number
CN113576398A
CN113576398A CN202110698396.1A CN202110698396A CN113576398A CN 113576398 A CN113576398 A CN 113576398A CN 202110698396 A CN202110698396 A CN 202110698396A CN 113576398 A CN113576398 A CN 113576398A
Authority
CN
China
Prior art keywords
user
eye
image sensor
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110698396.1A
Other languages
English (en)
Inventor
J.安德森
S.古斯塔夫森
E.恩格瓦尔
R.海恩斯尔
A.克劳森
J.诺尔登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN113576398A publication Critical patent/CN113576398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

公开了一种便携式眼睛追踪器设备，其包括框架、至少一个光学器件保持构件、运动传感器和控制单元。框架可以是适于由用户佩戴的框架。至少一个光学器件保持构件可以包括配置成选择性地光照用户的至少一个眼睛的至少部分的至少一个光照器、以及配置成捕获表示用户的至少一个眼睛的至少部分的图像的图像数据的至少一个图像传感器。运动传感器可以配置成检测框架的运动。控制单元可以配置成控制至少一个光照器以用于选择性光照用户的至少一个眼睛的至少部分，从图像传感器接收图像数据，并且从运动传感器接收信息。

Description

便携式眼睛追踪设备
本申请是申请日为2014年5月19日，国际申请号为PCT/US2014/038653，国家申请号为201480060817.6，发明名称为“便携式眼睛追踪设备”的发明专利的分案申请。
相关申请的交叉引用
本申请要求2013年9月3日提交的题为“PORTABLE EYE TRACKING DEVICE”的美国临时专利申请号61/873,154的优先权，该美国临时专利申请的整个公开内容据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。
本申请还涉及与其同时提交的题为“PORTABLE EYE TRACKING DEVICE”的美国专利申请号14/281,599、与其同时提交的题为“PORTABLE EYE TRACKING DEVICE”的美国专利申请号14/281,616、与其同时提交的题为“PORTABLE EYE TRACKING DEVICE”的美国专利申请号14/281,587，以及与其同时提交的题为“PORTABLE EYE TRACKING DEVICE”的美国专利申请号14/281,676，这些美国专利申请的整个公开内容据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。
背景技术
在现有技术中已知用于确定用户在看的点的方法。该技术通常称为眼睛追踪或凝视(gaze)检测技术。眼睛追踪系统典型地以两个主要形式见到。在一种形式中，传感器或者其他眼睛追踪设备定位成远离用户的眼睛，诸如在计算机、显示器或类似设备中或者在其上。
一种已知的眼睛追踪方法包括使用红外光和图像传感器。朝向用户的瞳孔引导红外光并且光的反射由图像传感器捕获。通过对反射点的分析，可以计算用户的凝视方向。一个这样的系统在转让给Tobii Technology AB,Sweden的美国专利号7,572,008(“'008专利”)中描述。'008专利的整个公开内容据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。
便携式或者可佩戴的眼睛追踪设备也在之前已经描述并且可用于商业购买。一个这样的眼睛追踪系统在转让给Tobii Technology AB,Sweden的美国专利申请公开号2011/0279666(“'666申请”)中描述。'666申请的整个公开内容据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。'666申请描述了一种可佩戴的眼睛追踪设备，其要求将外部红外光源放置在场景中作为参考点，以帮助确定用户的凝视方向。
当仪器相对于佩戴者的头部运动时，现有的便携式眼睛追踪系统可能遭受严重的性能降级。例如，眼镜可能相对于佩戴者的鼻子滑动；另外，佩戴者可能在佩戴眼镜时手动地调节眼镜。对于要求校准的设计，眼镜相对于佩戴者的头部的这样的运动可能使校准无效并且使读取的精度显著降级。作为另一示例，单摄像机便携式眼睛追踪系统可能在某些条件下提供相当大地降级的读数，包括当佩戴者处于强光源存在中时；暴露于直射太阳光；或者当单个摄像机的视野受到诸如由眼睫毛阻挡时。此外，这样的单摄像机系统可能不能够检测用户的视场的末端处的凝视方向。
发明内容
在一个实施例中，提供一种便携式眼睛追踪器设备。便携式眼睛追踪器设备可以包括框架、至少一个光学器件保持构件、运动传感器和控制单元。框架可以是适于由用户佩戴的框架。至少一个光学器件保持构件可以包括配置成选择性地光照用户的至少一个眼睛的至少部分的至少一个光照器、以及配置成捕获表示用户的至少一个眼睛的至少部分的图像的图像数据的至少一个图像传感器。运动传感器可以配置成检测框架的运动。控制单元可以配置成控制至少一个光照器以用于选择性光照用户的至少一个眼睛的至少部分，从图像传感器接收图像数据，并且从运动传感器接收信息。
在另一实施例中，提供一种确定用户的凝视方向的方法。方法可以包括激活由用户所佩戴的框架上的至少一个光照器以选择性地光照用户的至少一个眼睛的至少部分。方法还可以包括从框架上的至少一个图像传感器接收表示用户的至少一个眼睛的至少部分的图像的图像数据。方法可以进一步包括从配置成检测框架的运动的运动传感器接收信息。方法可以附加地包括至少部分地基于来自运动传感器的信息和图像数据来确定用户的凝视目标区域。
在另一实施例中，提供一种在其上具有指令以用于确定用户的凝视方向的非暂时性机器可读介质。指令可以由处理器可执行以用于激活由用户所佩戴的框架上的至少一个光照器以选择性地光照用户的至少一个眼睛的至少部分。指令还可以可执行以用于从框架上的至少一个图像传感器接收表示用户的至少一个眼睛的至少部分的图像的图像数据。指令可以进一步可执行以用于从配置成检测框架的运动的运动传感器接收信息。指令可以附加地可执行以用于至少部分地基于来自运动传感器的信息和图像数据来确定用户的凝视目标区域。
附图说明
结合随附各图来描述本发明：
图1A示出根据本发明的一些实施例的眼睛追踪设备；
图1B示出根据本发明的其他实施例的可替换的眼睛追踪设备；
图2A示出根据本发明的一些实施例的眼睛追踪设备的后视图；
图2B示出根据本发明的其他实施例的眼睛追踪设备的后视图；
图3示出根据本发明的一些实施例的光学器件保持构件的第一视图；
图4示出根据本发明的一些实施例的光学器件保持构件的第二视图；
图5示出由本发明的各种实施例所采用的一种可能的方法；以及
图6是能够在本发明的装置或系统的至少一些部分中使用或者实现本发明的方法的至少一些部分的示例性计算机系统的框图。
在随附各图中，类似的组件和/或特征可以具有相同的数字参考标记。另外，相同类型的各种组件可以通过由字母跟随参考标记来区分，该字母在类似的组件和/或特征之间进行区分。如果在说明书中仅使用第一数字参考标记，则描述适用于具有相同第一数字参考标记的任何一个类似的组件和/或特征而不管字母后缀如何。
具体实施方式
随后的描述仅提供示例性实施例，并且不意图限制本公开的范围、适用性或配置。相反，示例性实施例的随后描述将为本领域技术人员提供用于实现一个或多个示例性实施例的实现描述。应当理解到，可以在元件的功能和布置方面做出各种改变而不脱离如在随附权利要求中阐述的本发明的精神和范围。例如，本文讨论的一个实施例的任何细节可以或者可以不存在于该实施例的所有可能变形中，并且可以或者可以不存在于本文讨论的其他实施例的所有可能变形中。
在以下描述中给出具体细节以提供对实施例的透彻理解。然而，本领域普通技术人员将理解到，可以在没有这些具体细节的情况下实践实施例。例如，本发明中的电路、系统、网络、过程和其他元件可以以框图形式被示出为组件以便使实施例在非必要细节中模糊。在其他实例中，可以在没有非必要细节的情况下示出公知的电路、过程、算法、结构和技术以便避免使实施例模糊。
而且，要指出的是各个实施例可以描述为过程，其被描绘为流程图、流程示图、数据流图、结构图或框图。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行地或者同时执行。此外，操作的次序可以重新布置。过程可以在其操作完成时终止，但是可以具有未在图中讨论或包括的附加步骤。此外，并非任何特定描述的过程中的所有操作都可以在所有实施例中发生。过程可以对应于方法、功能、进程、子例程、子程序等。当过程对应于功能时，其终止对应于功能返回到调用功能或主功能。
术语“机器可读介质”包括但不限于便携式或固定的存储设备、光学存储设备、无线信道、以及能够存储、包含或承载(多个)指令和/或数据的各种其他介质。代码片段或者机器可执行指令可以表示进程、功能、子程序、程序、例程、子例程、模块、软件包、分类、或者指令、数据结构或程序声明的任何组合。代码片段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码片段或者硬件电路。信息、自变量、参数、数据等可以经由任何适当的装置来传递、转发或传送，包括存储器共享、消息传递、令牌传递、网络传送等。
此外，本发明的实施例可以至少部分地手动或自动实现。手动或自动实现可以通过使用机器、硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来执行或者至少辅助。当实现在软件、固件、中间件或微码中时，执行必要任务的程序代码或代码片段可以存储在机器可读介质中。(多个)处理器可以执行必要任务。
现在参照图1A，示出根据本发明的一个实施例的便携式眼睛追踪设备10。眼睛追踪设备10包括框架12，所述框架12具有以与传统的眼镜对或太阳镜对相似的这样的方式与它耦合的眼镜透镜(或透镜对)14。框架12可以包括中心部段(piece)15，眼镜透镜14附接到中心部段15并且两个臂部17(即边撑(temple))从中心部段15延伸。臂部17可以以传统眼镜透镜对或太阳镜对的方式适配在用户耳朵上方。
在一些实施例中，鼻子部段16可以提供用于舒适性并且帮助将设备10适配到用户鼻子。场景摄像机18(其可以捕获静止和/或视频图像和/或其他图像数据)可以设置在眼镜透镜14的中部，或者分离的眼镜透镜之间、鼻子部段16上方。麦克风20也可以放置成邻近或者靠近场景摄像机18。
控制单元22可以位于一个或两个臂部17内，在其前部、中部或者端部中。本文描述的任何处理器功能可以在控制单元22和/或与控制单元22通信的外部处理器处执行。控制单元22可以包括用于执行计算任务的元件，诸如印刷电路板(PCB)和其他电子器件，如将在本文中进一步详细描述的。控制单元22还可以包含设计成与外部计算设备通信的通信端口或组件。该通信端口或设备可以支持任何一个或多个形式的已知通信。例如，通信端口可以包括通用串行总线(USB)端口、火线端口、高清晰度多媒体接口(HDMI)端口、以太网端口等。通信设备可以包括Wi-Fi收发器、蓝牙收发器、或者任何其他近场或较长范围的通信设备。在其他实施例中，通信端口或设备还可以具有专有类型，其尤其设计用于在便携式眼睛追踪设备中使用。通信端口或设备可以例如包括低供电无线通信装置。
图1B示出不同位置中的具有某些组件的可替换的眼睛追踪设备10A。在该实施例中，控制单元22可以位于臂部17的侧面上并且包括HDMI接口19。
图2A示出当从后方观看时的根据本发明的某些实施例的眼睛追踪设备10。出于说明目的，已经从图中移除中心部段12的部分以示出可以包含诸如弯折连接器52和麦克风20之类的电子组件的电路板50的放置。电路板50还可以包含处理架构，诸如数字信号处理器、现场可编程门阵列和/或另一片上处理器系统。电路板50可以通过诸如螺丝54、粘合剂和/或其他装置之类的常规紧固装置而附接到中心部段12。中心部段12可以包括一个或多个部分，其适配在电路板50之上，使得电路板50设置在中心部段12内，并且在正常使用期间不可见。
设备10还可以包括两个光学器件保持构件70。在其他实施例中，可以提供仅一个连续的光学器件保持构件，其提供在图2A中示出的两个光学器件保持构件70的功能性。每一个光学器件保持构件70可以包括一个或多个图像传感器和一个或多个光照器，如将在下文进一步解释的。因而，光学器件保持构件70可以包括光照用户眼睛或其某一子部分(例如虹膜)以及捕获包括用户眼睛或其某一子部分上的光照的反射点的图像的组件。图2B示出图1B的可替换的眼睛追踪设备10A。
图3和4进一步详细地示出根据本发明的实施例的光学器件保持构件70。每一个光学器件保持构件70可以包括两个主要组件：覆盖物72和柔性构件74。覆盖物72可以在恰当地耦合于一起时覆盖柔性构件74，如通过光学器件保持构件70B所示出的。光学器件保持构件70A被示出为具有分开的柔性构件74和覆盖物72以便示出这两个组件之间的相互作用。柔性构件74和覆盖物72可以配置成使得柔性构件74卡扣(snap)到覆盖物72中。作为另一示例，柔性构件74和覆盖物72可以使用粘合剂、螺丝和/或其他常规紧固装置而连接到彼此。
柔性构件74可以包括弯折电路并且已经在其上安装一个或多个间隔的光照器76和/或一个或多个图像传感器78。可以在每一个光学器件保持构件70中采用任何数目的光照器76(例如，1、2、3、4、5、6等)和图像传感器(例如，1、2、3、4、5、6等)。光照器76可以包括能够发射红外光的红外光照器，如本领域技术人员将容易理解的，但是也可以使用其他光照器，包括发射紫外和/或可见光的光照器。图像传感器78可以对由光照器76所发射的光以及可见光和可能存在于使用区域中的其他光是灵敏的。例如，当在外部使用设备10时，可能存在可见和非可见光谱中的环境光(例如来自太阳的可见和紫外光)，并且图像传感器78可以配置成检测和区分(例如过滤出或者以其他方式补偿)环境光的不同波长。柔性构件74可以包括电源(例如电池、太阳能电池等)以便以本领域普通技术人员将良好理解的方式向光照器76和图像传感器78提供功率。柔性构件74的上端可以包括连接到安装于中心部段12上的电路板50的接触元件80。柔性电路和电子器件的使用是公知的，并且本领域技术人员将领会到它们可以在本发明中使用的方式。
在本发明的一些实施例中，覆盖物72可以由光学透明材料形成，使得来自光照器76的光可以基本上不受妨碍地穿过覆盖物72。在一些实施例中，覆盖物72可以成形为将由光照器76所发射的光传送到适当位置。覆盖物72的部分或区域可以例如成形为透镜，其使来自一个或多个光照器76(或者甚至环境照明源)的光发散以光照包括用户眼睛的较大区域。覆盖物72的部分或区域还可以成形为使光会聚或聚焦在特定区域或位置上。覆盖物72可以从单件材料模塑而成，其中材料的区域像透镜那样成形或者以其他方式成形为如上文所述那样传送光。在其他实施例中，覆盖物可以包括多个部分，其通过胶合、焊接、螺丝和/或其他常规紧固装置而固设在一起，其中一些部分传送光并且一些不传送，或者其中不同部分以不同方式传送光。在一些实施例中，柔性构件74和/或覆盖物72可以是双重模塑的并且包括滤波器，其防止光通过覆盖物72从光照器76更直接地传送到图像传感器78。光学窗口可以由覆盖物72提供或者以其他方式提供在每一个图像传感器78处。
眼睛追踪设备10可以从光照器76发射光，该光照器76光照用户的至少一个眼睛的至少部分。一个或多个图像传感器78然后可以捕获包括如由光照器76所光照的眼睛的至少部分的图像。该捕获图像可以经由柔性构件74传送到处理设备(例如控制单元22或其他处理器，也许处于与框架12分离的设备中)，其中可以通过分析图像数据来确定用户的凝视方向。
为了确定用户的凝视方向，可以确定用户的一个或两个眼睛的角膜位置。用户的(一个或两个)眼睛的角膜位置可以通过检测从光照器76发射到用户的(一个或两个)眼睛上的光的反射或闪烁来分析。为了获得示出用户眼睛上的闪烁的高质量图像，可以使用多个光照器76的各种组合来发射光。例如，一个光照器76可以使用红外光进行光照，而另一个使用另一波长的光进行光照。图像传感器78然后可以在仅利用环境光来光照眼睛时、在通过每一个光照器76单独地光照眼睛时、或者在通过两个(或更多)光照器76同时光照眼睛时捕获图像。在这样的实施例中，图像传感器78可以准备用户眼睛的差分图像。
闪烁的检测可以利用图像差分技术(即将第一图像与第二图像相比较以检测改变)和/或标准图像分析算法来完成。例如，通过接通和关断光照器76并且在每一个状态下捕获用户眼睛的图像，可以经由图像的比较检测结果所得的闪烁。然而，在一些实施例中，闪烁可以通过分析一个或多个图像以标识对应于闪烁的强度的区域来检测。一种闪烁检测的方法在Yoshinobu Ebisawa于1998年8月4日公布的文章“Improved Video-Based Eye-Gaze Detection Method”中概述，该文章据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。另外的闪烁检测的方法在题为“Method and system for relevantfeedback through gaze tracking and ticker interfaces”的美国专利6,577,329和题为“Method and apparatus for communication between humans and devices”的美国专利8,292,433中讨论。前述专利的整个公开内容据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。本领域技术人员将意识到根据从用户眼睛反射的光确定凝视方向的数种方式，并且本发明不限于上文记载的示例。
在本发明的一些实施例中，给定数目的红外光照器76可以用于光照用户的每一个眼睛。如所讨论的，可以在其他实施例中使用其他数目和/或类型的光照器76。在这样的实施例中，将预期到对应于每一个光照器76的一个或多个闪烁。因为还可以存在由诸如聚光灯或太阳光等之类的环境照明引起的其他闪烁，所以可以使用不同技术来标识哪些闪烁对应于光照器76并且哪些不对应。在一些实施例中，在光照器76未接通的情况下拍摄的用户眼睛的图像可以与在光照器76接通的情况下拍摄的图像相比较，以过滤出由环境光所造成的闪烁。然而，在其他实施例中，可以使用闪烁的大小、形状、预期强度和预期位置来确定哪些闪烁对应于哪些光照器。
在其他实施例中，可以与图像传感器78结合地使用波长滤波器以过滤出与由光照器76所发射的波长不对应的光波长。例如，在光照器76发射红外光的情况下，可以使用仅使红外光穿过至图像传感器78的滤波器。以此方式，图像传感器78可以仅检测由光照器76所发射的光引起的闪烁。相反地，可以采用过滤由光照器76发射的红外光而使环境光通过的滤波器。这样的滤波器可以关于各种人造环境光源良好地工作。在一些实施例中，透镜14还可以配置成阻挡环境红外或某种其他波长的光。然而，在包括包含红外和紫外二者的光谱的直射太阳光的情况下，滤波器可能不能够充分地阻挡所有环境光并且仅使由光照器76所发射的光通过。因此，由环境光引起的闪烁可能不可与由光照器76在光照器点亮时所发射的光引起的闪烁区分。
用于可佩戴眼睛追踪器设备10的用户的环境光条件可以随时间急剧改变。例如，如果用户面对太阳，则他或她的眼睛可能经受由太阳光的大量光照，而如果用户背对太阳，则他/她的眼睛可能明显较少地受光照。类似地，如果用户处于室内环境中，则光照可以基于各种光源的接近而显著变化。例如，如果用户站立在天花板灯的正下方，则他/她的面部和眼睛可能比他/她站立成邻近天花板灯的情况明显更多地受光照。此外，在一些实施例中，取决于光源的放置和类型，环境光水平可以在所追踪的两个眼睛之间不同。例如，用户可能定位成使得他/她的左侧处于直射太阳光中而他/她的右侧处于阴影中。
如所讨论的，可以可能的是通过使用内置式光照器76来补偿环境光水平的一些改变。还可以可能的是通过使用环境照明设置中可用的光的光谱范围之外的光来抵消环境光变化的影响。例如在室内设置中，可以使用紫外光照器76来以不存在或者以较低水平存在于室内照明中的紫外光对用户眼睛进行光照。类似地，红外光照器76可以使用在一些实施例上，假定红外光典型地以低水平存在于室内设置中。在一些实施例中，可以使用能够发射波长的范围之上的光的光照器76。在这样的实施例中，设备10可以编程为动态地分析环境光谱，并且将要由光照器76发射的波长选择成高于或低于所检测的光谱或者以其他方式限制到所检测的光谱的某一部分，在该情况下，传感器78还可以由设备10动态地调节。可替换地，可以提供与不同波长合调的不同类型的多于一个传感器78。
在另一实施例中，可以采用具有高水中吸收水平的光波长，诸如940nm。该概念在欧洲专利申请号12192370.0中讨论，其整个公开内容据此出于所有目的通过引用并入本文，就像在本文中完整阐述的那样。在该波长处，眼睛的暗瞳效应可以处于其最大状态，因为进入眼睛的大多数光将被吸收。附加地，该波长处的大气中的环境光水平相对低。另外，环境光可以通过以适当材料或配置提供眼镜透镜14来阻挡对于传感器78可见的波长处的光而被寻址。在功能上，这改进信号质量，因为光被阻挡而不能穿过眼镜透镜14。
在一些实施例中，可以使用差分照明应用。例如，(多个)图像传感器78可以每秒捕获60次用户眼睛的图像，并且光照器76可以配置成与(多个)传感器78的曝光异相地每秒改变60次状态(开/关)。在这样的情况下，图像数据的每一个其他帧表示如由光照器76光照的用户眼睛，其中交替帧表示如由环境光所光照的用户眼睛。当分析图像数据时，可以采用图像处理来确定两个相邻帧之间的差异，并且因此将由来自光照器76的反射所导致的闪烁与由来自环境光的反射所导致的闪烁区分。光照器76的强度或曝光时间可以在一些实施例中动态地调节，例如基于佩戴者周围的环境光的水平。例如，当存在更多环境光时，可以应用较高水平的光照或者较长的曝光时间，或者如果来自环境光的闪烁由传感器有利地使用，则可以应用较少水平的光照或者较短的曝光时间。此外，可以成组控制光照器76以允许图像传感器78和图像处理算法检测并且补偿来自环境光的噪声。
环境光可以用于检测所捕获的图像数据中的反差(contrast)以确定用户瞳孔和/或虹膜的位置。该信息可以与基于与光照器76相关联的闪烁的信息一起使用以确定用户所看的方向。针对从光照器76所发射的光照的脉冲长度和强度以及图像传感器78的曝光时间的不同设置可以用于补偿环境光的明亮度，并且可以特别地改进黑暗或明亮环境光条件下的性能。
例如，当存在高水平的环境光时，可以禁用光照器76并且用户瞳孔的位置可以基于闪烁或者作为环境光的结果而检测的其他图像数据来进行三角测量。因而，可以分析图像数据以仅使用环境光来确定角膜的位置。在一些情况下，光照器76可以用于帮助反差检测，其中与由图像传感器78的图像捕获协调的光照的简短闪光可以足以检测用户瞳孔的位置。具有较短曝光时间的短强光照脉冲的使用可以帮助避免诸如过度曝光、运动模糊和滚动快门效应之类的效应。例如，在购物研究情况下，移动眼睛追踪器用户可以快速地四处运动他/她的头部而同时为了期望产品而扫描商店货架。类似地，当在环境中存在太少环境光时，光照器76可以用于帮助产生光以使得有可能获得眼睛的反差。光照器76因而可以配置成以较长曝光时间发射较低强度的较长脉冲和/或恒定地发射低强度光。在本发明的一个实施例中，所有光照器76可以同时激活使得所发射的光在角膜上的多个反射可以由传感器78捕获。设备10然后可以使用所测量的瞳孔位置来确定凝视方向、方位数据、角膜位置和瞳孔大小中的一个或多个。
在一些实施例中，多个光照器76中的至少一个、多个图像传感器78中的至少一个或者控制单元22的算法的校准可以在受控制的照明条件下进行以确定瞳孔和/或角膜的位置。在又其他实施例中，虹膜的位置可以单独基于环境光来追踪；例如虹膜线可以被标识以确定眼睛的方位。仅依赖于环境光的各种模式可以基于数个条件而激活。例如，这样的模式可以在电池功率低时激活以便通过禁用光照器76来节省功率。此外，模式可以在环境照明达到其中基于闪烁的追踪的精度至少相当于另一可用模式的精度的水平时激活。本领域技术人员将领会到，可以使用数个不同配置来获得图像数据，并且本发明不限于以上所记载的示例。将在本文中进一步讨论附加校准方法。
可以通过确保闪烁具有最佳大小来最大化便携式眼睛追踪器设备10的精度。太小的闪烁可能难以检测并且因此减小精度。另一方面，太大的闪烁可能难以准确地放置并且因此可能类似地通过干扰瞳孔检测或以其他方式减小性能。闪烁的大小可能受由光照器76所发射的光的强度所影响。闪烁的大小可能进一步受图像传感器78的灵敏度设置、孔径和/或曝光时间所影响。图像传感器78的(多个)设置可以调节成补偿环境光，并且光照器76的强度继而可以调节成获得最佳闪烁大小。此外，光照器76的强度以及图像传感器78的设置可以平衡以获得闪烁的最佳反差水平使得它们可以容易地检测。本领域技术人员将领会到，闪烁的大小、反差和其他特性可以以数个方式优化，并且本发明不限于以上所记载的示例。
针对每一个眼睛的光条件可以通过分析由图像传感器78所捕获的图像或者使用外部光传感器或二者的组合来确定。该分析结果可以用于实时地控制针对每一个眼睛的眼睛追踪器设置。在本发明的一些实施例中，可以通过嵌入在便携式眼睛追踪器设备10中的光传感器来确定相关光水平。在其他实施例中，光水平可以使用一个或多个场景摄像机18来确定。通过基于针对每一个眼睛的当前光条件实时地单独控制光照器，眼睛追踪器设备10的总体性能可以相比于其中设置仅基于一个眼睛或者两个眼睛的平均的情况而改进。
在由图像传感器78捕获的图像数据中已经标识对应于光照器76的闪烁之后，使用已知的图像处理技术来确定这样的闪烁相对于用户眼睛的位置。一旦确定闪烁位置，就可以分析它们以确定用户角膜的位置。在一些实施例中，闪烁的位置可以映射到人类眼睛的三维模型上。例如，闪烁可以映射到角膜上。在一些实施例中，角膜可以假定为完美球体；闪烁的位置可以用于确定角膜相对于瞳孔的位置。角膜相对于瞳孔的该位置可以继而用于确定凝视方向以及由此眼睛的光轴。基于闪烁确定凝视方向的各种装置在现有技术中是已知的，并且本领域技术人员将领会到，本发明不限于以上所记载的示例。
在本发明的一些实施例中，提供多于一个图像传感器78以用于捕获每一个眼睛的图像。在两个图像传感器78被用于每一个眼睛的情况下，这可以被称为“立体模式”。通过从多个视点捕获眼睛的图像，可以通过诸如控制单元22或其他处理器之类的处理器来确定附加信息，诸如眼睛离每一个图像传感器78的距离。另外，通过操作多于一个图像传感器78而在系统中存在冗余水平，由此即便在一个或多个图像传感器78停止作用的情况下，它仍可以起作用。
任何数目的图像传感器和/或其配置可以与多个光照器76组合以在各种配置中操作来优化系统的可靠性。例如，设备10可以配置成尝试光照器76的各种配置(例如循环通过各种光照图案和/或顺序)以确定光照器76的哪个配置创建每一个图像传感器78处的最佳图像。光照器76然后可以配置成以使得每一个图像传感器78在最佳光照中拍摄图片的频率改变状态(开/关)。例如，如果针对每一个眼睛存在三个图像传感器78，并且每一个图像传感器78每秒捕获30个图像，则光照器76可以配置成每秒改变90次状态使得每一个图像传感器78可以在专用光照设置中捕获图像。这可以进一步用于提供用于凝视数据的增大的帧速率。另外，针对眼睛使用多于一个图像传感器78减少设备10与用户之间的校准的必要性，即，可以有可能的是在一些实例中在没有用户校准的情况下操作设备10，这是由于通过具有多于一个图像传感器78所搜集的额外数据的缘故。
多于一个图像传感器78还可以虑及补偿设备10的物理运动。例如，当配置为一对透镜时，设备10可以滑下用户的鼻子，并且用户继而可以将它向上推回。在用户头部的快速运动之后，或者出于任何其他原因，设备10也可以相对于用户头部运动。设备10相对于用户头部的该类型的运动可能减少或消除从现有校准所得到的任何精度。使用多个图像传感器78可以在不需要重新校准的情况下改进精度。例如，当两个图像传感器78被用于每一个眼睛时，从两个视角检测每一个闪烁并且有可能以较大精度估计角膜的位置，甚至在其中设备10在任何初始校准之后已经相对于用户头部运动的情况下。
在本发明的一些实施例中，设备10还包括一个或多个运动传感器或定位设备25。运动传感器或位置设备25可以包括以下中的一个或多个：陀螺仪；加速度计；罗盘、GPS或其他卫星接收器；GLONASS罗盘；或者任何其他位置、定位或方向传感器。运动传感器或定位设备25可以使得能够追踪设备10本身的位置和/或方位以及继而追踪用户头部的位置或定位。这可以允许设备10计及头部运动并且基于关于头部运动的信息来调节凝视方向数据以提供对凝视方向的更好估计。基于用户眼睛的方位所确定的凝视方向可以是相对于用户头部的方位。关于基于用户眼睛的凝视方向的信息可以因此扩增有关于用户头部的方位的信息。对于短暂时刻而言，该扩增可以使用加速度计或陀螺仪执行。然而，这些设备的不准确性可能引起漂移，如果它们用于随时间确定方位的话。在一些实施例中，关于基于用户眼睛的凝视方向的信息和/或关于用户头部的方位的信息可以使用来自罗盘的信息进一步扩增，所述罗盘提供相对于绝对参考点的方位信息。另外，当进行凝视数据的固定滤波时，关于设备方位的改变的信息可能是有帮助的。假定周围的对象保持相对静止，则确定佩戴设备的用户固定在静止对象处而同时运动其头部可能容易得多，如果设备方位数据可用的话。
在其他实施例中，运动传感器或定位设备25可以嵌入在与设备10或设备10的任何部分连接的装置中。例如，运动传感器或定位设备25可以与设备10或设备10的任何部分无线连接或者利用线缆连接。在一些实施例中，这样的运动传感器或定位设备25可以携带在由用户所佩戴的背包中，或者以其他方式由用户携带。当运动传感器或定位设备25嵌入在设备10中时，其可能能够提供关于用户的凝视位置的更准确信息。数个不同的系统可以提供或计及所要求的延迟和精度。特别地，陀螺仪和罗盘可以提供更准确的信息，如果嵌入在设备10本身中的话。
此外，来自运动传感器或定位设备25的信息可以用于稳定来自(多个)场景摄像机18的图像数据。例如，场景摄像机18可以捕获接近由用户所看到的视野的图像数据。来自运动传感器或定位设备25的信息可以用于稳定该图像数据。关于用户的凝视的信息可以进一步用于裁剪或以其他方式调节该图像数据以更准确地表示用户的凝视方向。图像稳定或补偿可以包括视频数据的线位移(line-shifting)。存在涉及使用陀螺仪或加速度计的数个公知的图像稳定方法，并且本领域技术人员将领会到，这些方法可以如何与本发明的实施例组合。此外，基于时间的补偿可以应用于图像数据以计及场景摄像机18中所固有的图像捕获延迟。特别地，由视频摄像机、滚动快门摄像机以及CCD类型摄像机所捕获的图像可能由于图像捕获延迟而未示出针对获得凝视点时的正确视野。时间补偿可以取决于场景摄像机18的类型和/或凝视点定位在图像中何处而不同。
图像处理和稳定在一些实施例中可以在捕获数据时实时地在设备10上或外部设备上执行。在其他实施例中，图像数据可以仅存储在设备10上或者传输给外部设备(未示出)，并且图像稳定或其他处理可以基于所捕获的数据而随后执行。所采取的方法可以取决于设备10中可用的处理能力，以及从机载或以其他方式连接的(多个)电源可用的能量。特别地，某些类型的处理可能要求大量计算能力，其继而消耗很多电池容量。在一些实施例中，设备10可以是可配置的以优化电池容量或者针对实时处理进行优化。
此外，可以分析来自场景摄像机18的所捕获的图像或视频中的元素以确定用户头部的方位以及用户头部的运动速度。通过分析接连图像或视频中的元素的相对位置，可以做出对凝视方向的计算的调节以补偿运动。在另外的实施例中，图像传感器78和/或场景摄像机18可以利用滚动快门来进一步改进确定用户头部的方位的精度的精度。通过与图像传感器78和场景摄像机18的行的读出信息组合地确定用户头部的方位和运动，所确定的凝视方向可以以使得凝视方向可以被校正成反映在计算凝视方向时存在于用户视场中的实际场景的这样的方式重叠在由场景摄像机18所捕获的图像上。
例如，设备10可以利用从传感器78导出的凝视数据来校准来自场景摄像机18的所捕获数据以便更正确地反映在与来自场景摄像机18的所捕获数据有关的特定时间用户看向何处以及何时看向。在本发明的实施例中，该方法可以在以下情况下采用：由场景摄像机18捕获的图像数据已经由于例如滚动快门失真或振动而失真。另外的实施例包括考虑设备的瞬时运动数据并且相应地通过利用运动传感器和/或其他传感器进行校准。
可以分析来自场景摄像机18的视频以标识用户视场中的对象。通过标识对象以及对象离用户的距离，可以确定关于凝视方向和目标的更准确信息。可以使用计算机视觉算法来从图像数据检测对象。在一些实施例中，多个场景摄像机18可以用于提供立体视觉以及更准确的计算机视觉算法。如同图像稳定和其他处理那样，对象标识可以取决于设备10上可用的计算能力和功率容量而实时地或者作为后处理完成。可替换地或者附加地，场景摄像机18可以是测量到佩戴设备10的人的视场内的对象的距离的深度摄像机。深度摄像机还可以确定对象的强度水平，因而也提供灰度等级图像。
此外，图像分析可以用于基于在用户的视场内所检测的对象的标识来确定用户的位置。换言之，用户的视场内的对象(例如已知为与给定地点或地点类型相关联的地标或对象)可以揭示用户的位置。例如，对象或其他标记(诸如标志、产品类型、定价标签产品等等)可以指示用户存在于特定零售商店或者至少某一类型零售商店内。作为另一示例，场景摄像机18或连接到设备10的另一扫描设备可以配置成扫描出现在用户的视场内的条形码，其可以揭示用户存在于零售商店或者其他已知位置或已知类型的位置内。这样的位置信息可以与来自位置传感器和运动传感器的信息复合，以确定用户到达他/她的存在位置所采取的路径和/或在该位置周围导航。在用户处于电视或显示器(例如显示计算机游戏)附近的情况下，游戏可能能够处理由设备10提供的眼睛追踪输入；可以使用图像分析来确定相对于电视或显示器的用户凝视的方向。
此外，来自场景摄像机18的图像的图像分析可以用于同时定位和映射(SLAM)。SLAM是构建位置地图而同时在该地图内映射设备的位置的过程。SLAM由机器人及类似器械频繁使用并且可以包括用于捕获机器人的环境的图像以用于映射的图像传感器。根据本发明的实施例的设备也可以与SLAM一起使用。
在运动传感器被用于检测运动的情况下，当在较长的时间段内依赖于它们时，可能存在数据内的显著漂移。来自这些运动传感器的信息因此可以通过基于从(多个)场景摄像机18所检测的对象而确定的位置信息来校正。使用(多个)场景摄像机18所检测的对象可以包括特性结构或对象以及条形码。在其他实施例中，经由麦克风20所检测的声音信息可以用于确定位置。例如，超声发射器可以放置在遍及特定位置(诸如零售商店)的各点处，并且麦克风20可以用于确定最靠近的发射器。可替换地，超声源可以安装在设备10上并且麦克风被用于确定在超声源的方向上到最靠近的对象的距离。另外或者可替换地，麦克风20可以被用于检测其他环境声音，并且这样的信息可以至少部分地用于确定其中存在用户的位置或位置类型。在一些实施例中，RFID标签读取器可以包括在设备10中使得RFID标签可以被用于确定用户的位置。作为附加示例，Wi-Fi信号和/或其他通信信号可以通过适当的收发器和设备10上所机载的逻辑来接收并进行三角测量，以确定用户的位置。本领域技术人员将领会到，本发明不限于上文所记载的示例并且可以使用数个位置标识装置来聚合或确定关于佩戴者的位置信息。
在一些实施例中，一个或多个附加的设备可以嵌入在设备10中或者与设备10耦合。例如，场景摄像机18可以被用于记录用户可能在其中运动和/或观看的区域中的图像。陀螺仪可以被用于罗盘类特征以标识设备10指向哪个方向以及因而用户看向哪个方向。设备中的图像传感器78然后可以基于头部所指向的地方的方向来标识用户的凝视点的角度和距离。来自这些多个传感器的信息组合起来可以用于计算表示佩戴者的凝视的向量。该向量可以变换和可视化在场景摄像机18的视野中。向量可以在一些实施例中用于基于关于用户的凝视聚焦在哪里的信息而提供热图。提供在设备10上的显示器30可以允许用户观看由设备10所提供的该视觉数据或其他视觉数据。仅仅作为示例，这样的显示器30可以包括LCD屏幕、LED屏幕、棱镜投影仪和/或其他显示技术。
在本发明的一些实施例中，凝视向量可以用于模拟沿着凝视方向从用户的视点的视角。如上所述，凝视向量可以用于稳定来自附接到设备10的场景摄像机18的图像。然而，场景摄像机18可能不捕获充分质量的视频或者具有以充分质量传送视频的能力。凝视向量因此可以连同来自其他摄像机(诸如静止或追踪摄像机)的视频数据一起用于准备仿效从场景摄像机18的视野的合成视野。类似地，针对一个或多个用户的凝视向量可以显示在概观视角中。本发明的该应用可以尤其与体育赛事有关。例如在足球比赛中，单独球员的凝视向量可以连同一些或所有其他球员的凝视向量一起显示。此外，可以针对具有球的球员显示场景摄像机视野或所近似的场景摄像机视野的画中画。类似的应用可以用在大型协调警察行动中。本领域技术人员将领会到，本发明不限于以上记载的示例，并且在不同赛事的情况下以及在其他情形下的应用可以是有用的。
凝视向量还可以用于以数个方式优化来自一个或多个场景摄像机18的视频数据。在本发明的一个实施例中，凝视向量可以用于确定针对场景摄像机18的聚焦和光设置。例如，场景摄像机18可以聚焦在凝视向量的目标上。此外，场景摄像机18的照明水平可以针对所确定的凝视方向的目标区域而优化。在其中计算机视觉用于检测由场景摄像机18捕获的对象的本发明的实施例中，关于对象离用户的距离的信息可以被确定并且用于进一步改进场景摄像机18的曝光或照明设置。在一些实施例中，凝视目标区域可以在表示用户的视场的至少部分的图像的图像数据内确定。在这些实施例中的一些中，他凝视目标区域可以包括来自场景摄像机的图像中的图像数据的少于5％、少于10％、少于15％、少于20％、少于25％、少于30％、少于35％、少于40％、少于45％或者少于50％。控制单元22然后可以控制场景摄像机以基于凝视目标区域和/或在凝视目标区域内调节聚焦或光敏度中的至少一个。
然而，在其他实施例中，场景摄像机18的调节可能不是必要的。例如，当用户在明亮日光下驾驶车辆时，场景摄像机18可以捕获车辆的仪表盘和通过挡风玻璃的视野。通过挡风玻璃所看到的对象可以以比仪表盘高得多的水平受光照，并且自然地遥远得多。使用标准自动聚焦和光检测，场景摄像机18可以基于所检测的图像中的平均明亮度来调节并且聚焦到摄像机视野的中心中的对象。然而，当使用凝视向量时，图像可以在用户看向仪表盘时聚焦在仪表盘上，并且在用户看向道路时聚焦在道路上。类似地，所捕获的视频的照明水平可以在用户看向仪表盘时调节成针对仪表盘是适当的并且在用户看向道路时调节成针对道路是适当的。
在一些实施例中，凝视数据可以用于优先化图像的区域以得到更多细节。基于所使用的视频压缩，可以给予由凝视作为目标的图像的区域优先权。在其他实施例中，视频流可以划分成两个或更多馈送。一个低质量的馈送可以包括场景摄像机的整个视场，而高质量的馈送可以包括凝视向量的目标周围的小的区域。在另一实施例中，可以使用视频馈送的矩阵，并且其比特率可以基于凝视向量的位置而动态地适配。本领域技术人员将领会到，视频质量可以以数个不同方式来调节，并且本发明不限于以上记载的示例。
在另外的实施例中，设备10可以包括用于向用户发射声音的扬声器。扬声器可以放置在设备10上靠近用户的耳朵。
在其中处理器用于检测由场景摄像机18所捕获的图像中的对象的实施例中，凝视向量可以用于仅选择凝视目标周围的图像数据的子集来处理并且因而减少处理工作量以改进反馈时间、电池时间等。
本发明的实施例可以采用动作触发，其使得动作由设备10、其某一子组件、或者诸如计算机、平板电脑、电视和/或游戏机之类的所连接的系统来执行。根据一些实施例，动作触发可以由设备10以许多可能的方式制定，包括：
·由传感器78捕获并且由设备10或所连接的系统处理的图像，从而导致以预确定的图案检测存在眼睛、不存在眼睛、眨眼、注视、扫视、用户的凝视方向或者用户的凝视运动。
·由场景摄像机18捕获并且由设备10或所连接的系统处理的图像，从而导致使用计算机视觉算法检测光、(多个)所标识的对象、(多个)所标识的模式和(多个)所标识的手势的改变。
·基于开关或按钮的触发。例如，设备10或另一设备上的物理按钮。
·基于音频的触发。例如，由用户说出并且由麦克风20检测的声音、词语或命令。
·加速度计或陀螺仪检测的动作触发，诸如点头或其他头部运动。
·以上描述的动作的组合。
本发明的实施例包括校准技术，由此外部对象可以用于促进设备10的校准过程。仅仅以示例的方式，光照器76、图像传感器78和/或控制单元22的算法可以在这样的校准期间调节。在一些实施例中，诸如打印介质、电视或其他显示器之类的外部设备可以包含可由设备10容易标识的特征。在一些实施例中，特征可以是特定帧、QR代码、不可见特征(即红外特征)和/或其他可见特征。特征可以包含标识代码，其在由设备10识别时允许设备10通过诸如因特网、蓝牙、wi-fi或其他通信协议之类的通信协议而连接到外部设备。外部设备然后可以进入校准模式，由此用于校准的图标显示在屏幕上并且通过扬声器发射或示出校准指令。具体校准过程是公知的，但是典型地包括在屏幕上有序显示图标，用户然后凝视其，并且设备10确定相对于每一个所显示的图标的凝视方向。
通过具体示例的方式，一些实施例可以执行校准方法，由此当设备10由用户佩戴并且图案放置在用户前方使得图案处于场景摄像机18的视场内时。场景摄像机18记录图案的图像，而图像传感器78捕获用户的(多个)眼睛的图像。处理设备分析图案并且确定图案的已知分量。处理设备利用由图像传感器78所捕获的图像来分析用户的凝视方向并且将凝视方向针对图案的已知分量进行匹配。因为分量已知，所以处理设备可以确定分量位置与所确定的用户凝视方向之间的偏差。通过知晓该偏差，设备针对特定用户校准并且可以在确定用户相对于其他对象的凝视方向时考虑该偏差。
另外，设备10可以在算法或数学模型中利用从分析用户的凝视方向与模式或类似物的已知分量之间的关系所获得的信息。以示例的方式，设备10可以设定用于确定凝视方向的算法或眼睛模型中所使用的参数的值，如本领域技术人员将容易理解的。
在一些实施例中，当设备10用在诸如超市之类的零售或消费者购买环境的上下文中时，可以提供附加功能性。设备可以预加载诸如个人校准数据之类的信息以匹配用户的简档。一旦设备10由用户佩戴，则其可以从低功率模式改变到正常功率模式并且进入操作模式。设备10可以允许用户通过添加和移除来自虚拟购物车的物品而交互地管理其购物账单。例如，当用户将物品放置到其购物车中时，他们可以看物品上的条形码并且利用其手指从右向左滑动条形码以指示物品应当被添加到列表。设备10可以识别手势并且将物品添加到设备10上或者与设备10通信的远程位置处的虚拟列表。该虚拟列表可以由用户例如通过如下操作控制：通过从左向右跨条形码滑动来移除物品、从顶向底滑动以获得关于物品的另外信息、以及凝视购物车并触碰预确定的位置以听到关于列表的反馈或其他信息。在从商店结账时，虚拟列表可以由收银员或自动机器检索并且用户可以直接针对购物车中的物品进行支付。在另外的实施例中，用户可以直接离开商店并且在离开商店时，列表的价值可以从诸如信用卡或账户之类的货币源扣除。
在另一实施例中，设备10可以对包括由用户所读取的文本的图像数据执行光学字符识别(OCR)。例如，场景摄像机18可以记录如由用户的凝视方向确定的用户所读取的文本的图像。设备10或与设备10通信的计算设备可以对文本的图像执行OCR以确定包括文本的词语。OCR技术在本领域中是良好理解且已知的。一旦已经使用OCR技术分析文本，其就可以被发送给文本向言语功能性，其大声读出文本、将其翻译成实时呈现给用户的结果、和/或作为计算设备可以容易操控和理解的文本数据或字符串而保存。文本可以被保存以供用户检索，或者由计算设备或服务利用以理解用户的习惯。例如，文本可以指示用户特别期望的产品或服务。在实施例中，文本数据可以用于定制要显示给用户的广告等。
在本发明的实施例中，设备10可以考虑诸如条形码或标准对象的大小之类的已知信息。例如，商店中的产品可以包括数个条形码，一个较大的条形码包含产品标识符或SKU，并且一个较小的条形码包含该盒中的特定物品的序列号。设备10可以配置成引导图像传感器78以仅在准备购物列表时读取较大的码。这可以基于凝视聚焦距离以得到更好的精度。另外，诸如对象识别库之类的许多软件解决方案要求标准大小的视频。因而，设备10可以捕获仅具有所要求的大小的图像或视频，或者对所捕获的图像或视频进行剪裁使得它们符合所要求的大小。
图5示出用于使用如本文所描述的可佩戴框架确定用户的凝视方向的本发明的一个可能方法500的框图。在框510处，如上文所讨论的，设备10可以在初始使用之前校准。在框520处，诸如来自运动传感器或定位设备25之类的信息的非图像信息可以由控制单元22获得。如本文所描述的，也可以接收其他类型的非图像信息(例如来自麦克风20的信息)。在框530处，来自场景摄像机18的图像信息可以由控制单元22接收。
在框540处，控制单元22可以根据在步骤510处的校准期间所建立的设置来激活光照器76。在框550处，图像数据可以由控制单元22从图像传感器78接收。在框560处，控制单元22可以从其已经接收的信息确定是否是否可以如上文所述那样确定凝视方向。如果否，则在框570处，光照器76、图像传感器78和/或设备10的其他组件可以如本文所述的那样调节，并且然后方法500返回到框520。在一些实施例中，方法500可以返回到另一步骤，诸如框530或框540，如果不能确定凝视方向的话。如果控制单元22可以从其已经接收的信息确定凝视方向，则在框580处确定凝视方向。方法500可以以规律或非规律间隔重复以在需要的情况下重新确定凝视方向。
图6是图示了其中可以实现本发明的实施例的示例性计算机系统600的框图。该示例图示了计算机系统600，诸如可以整体地、部分地或者以各种修改使用，以提供和/或控制控制单元22、光照器76、图像传感器78和/或本发明的其他组件的功能，诸如以上所讨论的那些。例如，控制单元22的各种功能可以由计算机系统600控制，仅仅以示例的方式包括控制光照器76、从图像传感器78接收图像、处理来自图像传感器78的数据等。
示出了包括可以经由总线690电耦合的硬件元件的计算机系统600。硬件元件可以包括一个或多个中央处理单元610、一个或多个输入设备620(例如鼠标、键盘等)、以及一个或多个输出设备630(例如显示设备、打印机等)。计算机系统600还可以包括一个或多个存储设备640。以示例的方式，(多个)存储设备640可以是盘驱动器、光学存储设备、固态存储设备，诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，其可以是可编程的、闪速可更新的等等。
计算机系统600可以附加地包括计算机可读存储介质读取器650、通信系统660(例如调制解调器、网络卡(无线或有线)、红外通信设备、BluetoothTM设备、蜂窝通信设备等)、以及工作存储器680，其可以包括如上文所描述的RAM和ROM。在一些实施例中，计算机系统600还可以包括处理加速单元670，其可以包括数字信号处理器、专用处理器等。
计算机可读存储介质读取器650还可以连接到计算机可读存储介质，从而一起(并且可选地，与(多个)存储设备640组合)广泛地表示远程、本地、固定和/或可移除的存储设备加上存储介质以用于临时和/或更持久地包含计算机可读信息。通信系统660可以准许与网络、系统、计算机和/或以上所述的其他组件交换数据。
计算机系统600还可以包括软件元件，其被示出为当前位于工作存储器680内，包括操作系统684和/或其他代码688。应当领会到，计算机系统600的可替换实施例可以具有从以上所述那些的众多变型。例如，还可以使用定制的硬件和/或可以以硬件、软件(包括便携式软件，诸如小应用程序)或这二者实现特定元件。此外，到诸如网络输入/输出和数据获取设备之类的其他计算设备的连接也可以发生。
计算机系统600的软件可以包括用于实现如本文所述的架构的各种元件的任何或所有功能的代码688。例如，存储在诸如系统600之类的计算机系统上和/或由其执行的软件可以提供控制单元22、光照器76、图像传感器78和/或本发明的其他组件(诸如以上所讨论的那些)的功能。已经在上文讨论了可由软件在这些组件中的一些上实现的方法。
现在已经出于清楚和理解的目的而详细描述了本发明。然而，将领会到，某些改变和修改可以在随附权利要求的范围内实施。

Claims (20)

1.一种可佩戴设备，包括：
第一光照器，所述第一光照器用于选择性地光照用户的第一个眼睛的至少部分；
第二光照器，所述第二光照器用于选择性地光照所述用户的第二个眼睛的至少部分；
第一图像传感器，所述第一图像传感器用于捕获表示所述用户的所述第一个眼睛的至少部分的图像的图像数据；
第二图像传感器，所述第二图像传感器用于捕获表示所述用户的所述第二个眼睛的至少部分的图像的图像数据；以及
控制设备，所述控制设备用于：
控制所述第一光照器和所述第二光照器以用于选择性光照所述用户的所述第一个眼睛的至少部分和所述用户的所述第二个眼睛的至少部分；
从所述第一图像传感器接收图像数据，所述图像数据包括所述第一光照器的光照在所述用户的所述第一个眼睛的角膜上的反射；
从所述第二图像传感器接收图像数据，所述图像数据包括所述第二光照器的光照在所述用户的所述第二个眼睛的角膜上的反射；
至少部分地基于所述光照在所述第一个眼睛的所述角膜上的所述反射的位置和所述光照在所述第二个眼睛的所述角膜上的所述反射的位置来确定所述用户的凝视目标区域。
2.根据权利要求1所述的可佩戴设备，还包括用于由用户佩戴的框架。
3.根据权利要求1所述的可佩戴设备，其中所述可佩戴设备是可佩戴眼睛追踪器设备。
4.根据权利要求1所述的可佩戴设备，还包括至少一个光学器件保持构件。
5.根据权利要求1所述的可佩戴设备，还包括：
第三图像传感器，所述第三图像传感器用于捕获表示所述用户的所述第一个眼睛的至少部分的图像的图像数据。
6.根据权利要求5所述的可佩戴设备，其中所述控制设备进一步配置成：
将来自所述第一图像传感器的图像数据与来自所述第三图像传感器的图像数据交错。
7.根据权利要求5所述的可佩戴设备，其中所述控制设备进一步配置成：
通过使用来自所述第三图像传感器的数据来补偿来自所述第一图像传感器的不充足的数据。
8.根据权利要求5所述的可佩戴设备，还包括：
场景摄像机，所述场景摄像机背对用户并且用于捕获表示所述用户的视野的至少部分的图像的图像数据。
9.根据权利要求8所述的可佩戴设备，其中所述控制设备进一步配置成：
将来自所述第一图像传感器的图像数据与来自所述第三图像传感器的图像数据合并。
10.根据权利要求9所述的可佩戴设备，其中至少部分地基于所述光照在所述第一个眼睛的所述角膜上的所述反射的位置和所述光照在所述第二个眼睛的所述角膜上的所述反射的位置来确定所述用户的凝视目标区域包括：
至少部分地基于所述合并的图像数据来确定所述用户的凝视目标区域。
11.根据权利要求10所述的可佩戴设备，其中所述控制设备进一步用于：
控制所述场景摄像机基于所述凝视目标区域来调节聚焦和/或光敏度。
12.根据权利要求9所述的可佩戴设备，其中所述控制设备进一步用于：
将所述合并的图像数据与来自所述场景摄像机的图像数据合并成单个数据流。
13.根据权利要求1所述的可佩戴设备，还包括：
第三光照器，所述第三光照器用于选择性地光照所述用户的所述第一个眼睛的至少部分。
14.根据权利要求1所述的可佩戴设备，还包括：
第三图像传感器，所述第三图像传感器用于捕获表示所述用户的所述第一个眼睛的至少部分的图像的图像数据；以及
第四图像传感器，所述第四图像传感器用于捕获表示所述用户的所述第二个眼睛的至少部分的图像的图像数据。
15.根据权利要求14所述的可佩戴设备，其中所述控制设备进一步配置成：
将来自所述第一图像传感器的图像数据与来自所述第二图像传感器的图像数据交错，以及将来自所述第三图像传感器的图像数据与来自所述第四图像传感器的图像数据交错；
将来自所述第一图像传感器的图像数据与来自所述第二图像传感器、所述第三图像传感器和所述第四图像传感器的图像数据交错。
16.根据权利要求15所述的可佩戴设备，其中所述交错的图像数据包括：
交替来自所述第一图像传感器、所述第二图像传感器、所述第三图像传感器和所述第四图像传感器的图像。
17.根据权利要求1所述的可佩戴设备，其中控制所述第一光照器和所述第二光照器包括选自由以下项构成的组：
同时激活所述第一光照器和所述第二光照器；以及
在不同的时间，单独地激活所述第一光照器和所述第二光照器。
18.根据权利要求1所述的可佩戴设备，其中控制所述第一光照器和所述第三光照器包括选自由以下项构成的组：
同时激活所述第一光照器和所述第三光照器；以及
在不同的时间，单独地激活所述第一光照器和所述第三光照器。
19.一种确定用户的凝视方向的方法，包括：
由控制设备激活由所述用户所佩戴的框架上的第一光照器以选择性地光照所述用户的第一个眼睛的至少部分；
由所述控制设备激活由所述用户所佩戴的框架上的第二光照器以选择性地光照所述用户的第二个眼睛的至少部分；
由所述控制设备从所述框架上的第一图像传感器接收包括所述第一光照器的光照在所述用户的所述第一个眼睛的角膜上的反射的图像数据；
由所述控制设备从所述框架上的第二图像传感器接收包括所述第二光照器的光照在所述用户的所述第二个眼睛的角膜上的反射的图像数据；以及
由所述控制设备至少部分地基于所述光照在所述第一个眼睛的所述角膜上的所述反射的位置和所述光照在所述第二个眼睛的所述角膜上的所述反射的位置来确定所述用户的凝视目标区域。
20.一种非暂时性机器可读介质，在其上具有指令以用于确定用户的凝视方向，所述指令可由处理器执行以用于至少：
激活由所述用户所佩戴的框架上的第一光照器以选择性地光照所述用户的第一个眼睛的至少部分；
激活由所述用户所佩戴的框架上的第二光照器以选择性地光照所述用户的第二个眼睛的至少部分；
从所述框架上的第一图像传感器接收包括所述第一光照器的光照在所述用户的所述第一个眼睛的角膜上的反射的图像数据；
从所述框架上的第二图像传感器接收包括所述第二光照器的光照在所述用户的所述第二个眼睛的角膜上的反射的图像数据；以及
至少部分地基于所述光照在所述第一个眼睛的所述角膜上的所述反射的位置和所述光照在所述第二个眼睛的所述角膜上的所述反射的位置来确定所述用户的凝视目标区域。
CN202110698396.1A 2013-09-03 2014-05-19 便携式眼睛追踪设备 Pending CN113576398A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361873154P 2013-09-03 2013-09-03
US61/873,154 2013-09-03
CN201480060817.6A CN105960193A (zh) 2013-09-03 2014-05-19 便携式眼睛追踪设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480060817.6A Division CN105960193A (zh) 2013-09-03 2014-05-19 便携式眼睛追踪设备

Publications (1)

Publication Number Publication Date
CN113576398A true CN113576398A (zh) 2021-11-02

Family

ID=52582484

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201480060821.2A Active CN105682539B (zh) 2013-09-03 2014-05-19 便携式眼睛追踪设备
CN201810144734.5A Active CN108209857B (zh) 2013-09-03 2014-05-19 便携式眼睛追踪设备
CN202110698396.1A Pending CN113576398A (zh) 2013-09-03 2014-05-19 便携式眼睛追踪设备
CN201480060817.6A Pending CN105960193A (zh) 2013-09-03 2014-05-19 便携式眼睛追踪设备

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201480060821.2A Active CN105682539B (zh) 2013-09-03 2014-05-19 便携式眼睛追踪设备
CN201810144734.5A Active CN108209857B (zh) 2013-09-03 2014-05-19 便携式眼睛追踪设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480060817.6A Pending CN105960193A (zh) 2013-09-03 2014-05-19 便携式眼睛追踪设备

Country Status (5)

Country Link
US (13) US9710058B2 (zh)
EP (2) EP3041400A1 (zh)
KR (3) KR101882594B1 (zh)
CN (4) CN105682539B (zh)
WO (2) WO2015034560A1 (zh)

Families Citing this family (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10528130B2 (en) 2010-07-23 2020-01-07 Telepatheye Inc. Unitized eye-tracking wireless eyeglasses system
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
WO2015034560A1 (en) 2013-09-03 2015-03-12 Tobii Technology Ab Portable eye tracking device
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US10082664B2 (en) * 2013-09-23 2018-09-25 Samsung Electronics Co., Ltd. Tracking optics for a mobile device
US9836639B2 (en) * 2014-01-10 2017-12-05 Facebook, Inc. Systems and methods of light modulation in eye tracking devices
KR20150126189A (ko) * 2014-05-02 2015-11-11 엘지전자 주식회사 조명 시스템 및 그 동작 방법
KR20150126501A (ko) * 2014-05-02 2015-11-12 엘지전자 주식회사 조명 시스템 및 그 동작 방법
US9600069B2 (en) * 2014-05-09 2017-03-21 Google Inc. Systems and methods for discerning eye signals and continuous biometric identification
US9727136B2 (en) 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US20170186236A1 (en) * 2014-07-22 2017-06-29 Sony Corporation Image display device, image display method, and computer program
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
KR102281149B1 (ko) * 2014-10-22 2021-07-23 삼성전자주식회사 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법
KR20160059406A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
WO2016130533A1 (en) * 2015-02-10 2016-08-18 Brian Mullins Dynamic lighting for head mounted device
CN107995979B (zh) * 2015-04-16 2021-12-07 托比股份公司 用于对用户进行认证的系统、方法和机器可读介质
NZ737343A (en) * 2015-05-20 2023-06-30 Magic Leap Inc Tilt shift iris imaging
US9724562B2 (en) * 2015-05-28 2017-08-08 Nike, Inc. Wearable USB device assembly
EP3112922A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing A gaze tracking device and a head mounted device embedding said gaze tracking device
US9870051B2 (en) 2015-08-07 2018-01-16 Tobii Ab Gaze direction mapping
US9829976B2 (en) 2015-08-07 2017-11-28 Tobii Ab Gaze direction mapping
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
WO2017053871A2 (en) * 2015-09-24 2017-03-30 Supereye, Inc. Methods and devices for providing enhanced visual acuity
US9977960B2 (en) 2015-09-24 2018-05-22 Tobii Ab Eye-tracking enabled wearable devices
KR20170049996A (ko) * 2015-10-29 2017-05-11 에스케이플래닛 주식회사 디바이스를 이용한 상품 결제 방법 및 서버
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
CN107016270A (zh) * 2015-12-01 2017-08-04 由田新技股份有限公司 结合脸部认证或手部认证的动态图形眼动认证系统、方法
US9924866B2 (en) 2016-01-11 2018-03-27 Heptagon Micro Optics Pte. Ltd. Compact remote eye tracking system including depth sensing capacity
NL2016085B1 (en) 2016-01-13 2017-07-24 Stichting Vu-Vumc Method, system and computer readable medium to determine a strabismus angle between the eyes of an individual.
CA3011637A1 (en) 2016-01-19 2017-07-27 Magic Leap, Inc. Eye image collection, selection, and combination
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
CN114189793B (zh) * 2016-02-04 2024-03-19 奇跃公司 增强现实系统中定向音频的技术
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
CN105676456A (zh) * 2016-04-06 2016-06-15 众景视界（北京）科技有限公司 模块化头戴式电子设备
US10088140B2 (en) 2016-06-07 2018-10-02 Heptagon Micro Optics Pte. Ltd. Eye-safe optoelectronic module
FR3053235A1 (fr) 2016-06-29 2018-01-05 Institut Mines Telecom Dispositif de mesure oculaire equipe d'un systeme optiquement aligne sur l'axe de vision de l'utilisateur
US10805592B2 (en) 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
US10152122B2 (en) 2016-07-18 2018-12-11 Tobii Ab Foveated rendering
US10416725B2 (en) 2016-07-27 2019-09-17 Tobii Ab Wearable device having a display, lens, illuminator, and image sensor
US10529135B2 (en) * 2016-07-27 2020-01-07 Google Llc Low-power mode feature identification at a head mounted display
US11032457B2 (en) 2016-08-15 2021-06-08 The Regents Of The University Of California Bio-sensing and eye-tracking system
US10044925B2 (en) 2016-08-18 2018-08-07 Microsoft Technology Licensing, Llc Techniques for setting focus in mixed reality applications
WO2018064141A1 (en) 2016-09-27 2018-04-05 Tobii Ab Portable eye tracking device
DE102016221123A1 (de) * 2016-10-26 2018-04-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
CN106405843A (zh) * 2016-11-24 2017-02-15 天津临境科技有限公司 投射型vr眼镜
WO2018100589A1 (en) * 2016-11-30 2018-06-07 Secretary, Department Of Biotechnology Ocular screening
US10122990B2 (en) * 2016-12-01 2018-11-06 Varjo Technologies Oy Imaging system and method of producing context and focus images
CN112578911B (zh) * 2016-12-06 2024-07-26 美国景书公司 跟踪头部和眼睛的运动的装置和方法
TWI725097B (zh) * 2016-12-27 2021-04-21 原相科技股份有限公司 偵測生理資訊之穿戴式裝置
TWI632395B (zh) * 2016-12-27 2018-08-11 廣達電腦股份有限公司 虛擬實境裝置以及其畫面產生方法
CN110114777B (zh) * 2016-12-30 2023-10-20 托比股份公司 使用注视信息进行的用户的识别、认证和/或导引
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
CN110325113A (zh) * 2017-01-06 2019-10-11 耐克创新有限合伙公司 使用自动购物助手进行个性化购物的系统、平台和方法
US10841724B1 (en) * 2017-01-24 2020-11-17 Ha Tran Enhanced hearing system
CN118873933A (zh) 2017-02-28 2024-11-01 奇跃公司 混合现实装置中的虚拟和真实对象记录
US20180267604A1 (en) * 2017-03-20 2018-09-20 Neil Bhattacharya Computer pointer device
US10401956B2 (en) 2017-05-11 2019-09-03 Microsoft Technology Licensing, Llc Infrared eye-tracking in high ambient light conditions
US10634921B2 (en) 2017-06-01 2020-04-28 NewSight Reality, Inc. See-through near eye optical display
US10634912B2 (en) 2017-06-01 2020-04-28 NewSight Reality, Inc. See-through near eye optical module
US11119353B2 (en) 2017-06-01 2021-09-14 E-Vision Smart Optics, Inc. Switchable micro-lens array for augmented reality and mixed reality
US10466487B2 (en) 2017-06-01 2019-11-05 PogoTec, Inc. Releasably attachable augmented reality system for eyewear
WO2018222892A1 (en) 2017-06-01 2018-12-06 Pogotec Inc. Releasably attachable augmented reality system for eyewear
WO2019018365A1 (en) 2017-07-17 2019-01-24 Tobii Ab CLOTHING DEVICES FOR EYE FOLLOW-UP
WO2019045719A1 (en) 2017-08-31 2019-03-07 Tobii Ab CARTOGRAPHY OF DIRECTION OF LOOK
US11129530B2 (en) 2017-09-08 2021-09-28 Tobii Ab Eye tracking using eyeball center position
US20190079591A1 (en) * 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
FI20175960A1 (en) 2017-10-30 2019-05-01 Univ Of Eastern Finland Procedure and apparatus for gaze detection
AU2018267553B2 (en) * 2017-11-20 2019-08-22 Ashok Krishnan Systems and methods to train vehicles
US10474916B2 (en) 2017-11-20 2019-11-12 Ashok Krishnan Training of vehicles to improve autonomous capabilities
CN108089326B (zh) * 2018-02-01 2023-12-26 北京七鑫易维信息技术有限公司 一种适配于与眼镜使用的装置
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US10845872B2 (en) * 2018-02-09 2020-11-24 Ricoh Company, Ltd. Eye-gaze tracker, eye-gaze tracking method, and recording medium
EP3750028B1 (en) * 2018-02-09 2022-10-19 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
EP3750029A1 (en) 2018-02-09 2020-12-16 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters using a neural network
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
EP3531243B1 (en) * 2018-02-23 2021-12-29 Rohde & Schwarz GmbH & Co. KG Measurement instrument identification system as well as method for finding a particular measurement instrument
US20190265787A1 (en) * 2018-02-26 2019-08-29 Tobii Ab Real world interaction utilizing gaze
US10521013B2 (en) * 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
US10674305B2 (en) 2018-03-15 2020-06-02 Microsoft Technology Licensing, Llc Remote multi-dimensional audio
JP6774975B2 (ja) * 2018-03-19 2020-10-28 株式会社東芝 眼球回転検出装置、電子機器及びシステム
WO2019185136A1 (en) 2018-03-28 2019-10-03 Tobii Ab Method and system for controlling illuminators
US10342425B1 (en) 2018-03-28 2019-07-09 Tobii Ab Method and system for controlling illuminators
JP2021520517A (ja) * 2018-04-06 2021-08-19 エシロール・アンテルナシオナル 仮想画像を生成するように適合されたヘッドマウントデバイスをカスタマイズするための方法
US10788892B2 (en) 2018-05-23 2020-09-29 Facebook Technologies, Llc In-field illumination and imaging for eye tracking
US10288879B1 (en) 2018-05-31 2019-05-14 Tobii Ab Method and system for glint/reflection identification
US10324529B1 (en) 2018-05-31 2019-06-18 Tobii Ab Method and system for glint/reflection identification
WO2019228634A1 (en) 2018-05-31 2019-12-05 Tobii Ab Method and system for glint/reflection identification
US11455031B1 (en) 2018-06-04 2022-09-27 Meta Platforms Technologies, Llc In-field illumination for eye tracking
CN108732764B (zh) * 2018-06-06 2024-05-31 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
CN110596889A (zh) * 2018-06-13 2019-12-20 托比股份公司 眼睛跟踪装置和制造眼睛跟踪装置的方法
EP3594847A1 (de) * 2018-07-12 2020-01-15 Siemens Aktiengesellschaft Benutzerunterstütztes automatisches texterkennungsverfahren bei logistikprozessen
EP3852606A4 (en) * 2018-09-19 2022-06-22 Avedro Inc. SYSTEMS AND METHODS OF OCULOMETRY DURING OCULAR TREATMENT
CN109254420A (zh) * 2018-10-26 2019-01-22 北京七鑫易维信息技术有限公司 一种头戴装置的适配装置
US10914945B2 (en) 2018-11-09 2021-02-09 Facebook Technologies, Llc Inconspicuous near-eye electrical circuits
US20200150425A1 (en) * 2018-11-09 2020-05-14 Facebook Technologies, Llc Inconspicuous near-eye electrical components
CN109725714B (zh) 2018-11-14 2022-06-14 北京七鑫易维信息技术有限公司 视线确定方法、装置、系统、以及头戴式眼动设备
EP3657909A1 (en) * 2018-11-21 2020-05-27 BrainLit AB Head worn electronic device
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
WO2020111861A1 (ko) * 2018-11-29 2020-06-04 엘지전자 주식회사 광학 장치, 및 이를 구비하는 카메라 장치와 전자기기
WO2020147948A1 (en) 2019-01-16 2020-07-23 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
SE542964C2 (en) 2019-01-31 2020-09-22 Tobii Ab Lens for eye-tracking comprising an electrical component and a head-worn device with such a lens
SE543065C2 (en) 2019-01-31 2020-09-29 Tobii Ab Head-worn device and lens for eye-tracking applications that includes a refractive element
SE543066C2 (en) 2019-01-31 2020-09-29 Tobii Ab Head-worn device and lens for eye-tracking applications that includes an absorptive layer
US11176367B1 (en) * 2019-05-01 2021-11-16 Facebook Technologies, Llc Apparatuses, systems, and methods for mapping a surface of an eye via an event camera
US11650426B2 (en) 2019-05-09 2023-05-16 Meta Platforms Technologies, Llc Holographic optical elements for eye-tracking illumination
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11003936B2 (en) * 2019-06-14 2021-05-11 Tobii Ab Method and system for controlling an eye tracking system
US11181978B2 (en) 2019-06-17 2021-11-23 Hemy8 Sa System and method for gaze estimation
CN110537895A (zh) * 2019-09-06 2019-12-06 杨容 一种基于虚拟现实技术的视网膜检测系统
CN112578556B (zh) 2019-09-27 2023-02-21 托比股份公司 用于减少来自光学装置的不合需的反射的眼睛跟踪系统
IL269809B (en) * 2019-10-03 2021-12-01 Eyejets Ltd A compact retinal scanning device for tracking pupil movements of a user's eye and its applications
US11205069B1 (en) * 2020-02-20 2021-12-21 Facebook Technologies, Llc Hybrid cornea and pupil tracking
FI130748B1 (en) * 2020-02-21 2024-02-26 Seetrue Tech Oy Gaze tracking
CN111399658B (zh) * 2020-04-24 2022-03-15 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质
US11768368B2 (en) 2020-05-14 2023-09-26 Viewpointsystem Gmbh Spectacles and method for determining the pupil center
US11990129B2 (en) 2020-06-29 2024-05-21 Innovega, Inc. Display eyewear with auditory enhancement
US11995774B2 (en) * 2020-06-29 2024-05-28 Snap Inc. Augmented reality experiences using speech and text captions
CN111714081A (zh) * 2020-07-08 2020-09-29 岭南师范学院 基于多波长led光学无损特殊儿童检测仪及检测方法
SE544921C2 (en) 2020-08-27 2023-01-03 Tobii Ab Eye tracking system
JP2023550699A (ja) * 2020-10-28 2023-12-05 ユニバーシティー オブ マイアミ ヘッドマウントディスプレイにおける視野検査のためのシステムおよび方法
US20230418373A1 (en) 2020-11-13 2023-12-28 Tobii Ab Video processing systems, computing systems and methods
EP4202531A4 (en) 2020-11-24 2024-03-20 Samsung Electronics Co., Ltd. WEARABLE ELECTRONIC DEVICE WITH AUGMENTED REALITY INCLUDING A CAMERA
KR102562420B1 (ko) * 2020-11-27 2023-08-02 가온그룹 주식회사 5g 통신 기능을 가지는 슬림형 xr 디바이스
KR20220074648A (ko) * 2020-11-27 2022-06-03 가온미디어 주식회사 가변형 투과도를 가지는 슬림형 xr 디바이스 및 그 제어 방법
SE2051433A1 (en) 2020-12-08 2022-06-09 Tobii Ab Method and system for glint classification
US11593962B2 (en) 2020-12-29 2023-02-28 Tobii Ab Eye gaze tracking system, associated methods and computer programs
CN116848957A (zh) * 2021-02-03 2023-10-03 三星电子株式会社 包括散热结构的可穿戴电子装置
US11867915B2 (en) * 2021-03-31 2024-01-09 Microsoft Technology Licensing, Llc Head mounted display with obscured light emitting diodes
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US12093106B2 (en) 2021-05-19 2024-09-17 International Business Machines Corporation Augmented reality based power management
US11711860B2 (en) 2021-06-06 2023-07-25 Kyndryl, Inc. Device pairing by cognitive computing
EP4113464A1 (en) 2021-06-30 2023-01-04 Tobii AB An eye tracking system
EP4398200A3 (en) 2021-06-30 2024-09-11 Tobii AB An eye tracking system
US20230062433A1 (en) * 2021-08-30 2023-03-02 Terek Judi Eyewear controlling an uav
US11651404B2 (en) 2021-08-31 2023-05-16 Kyndryl, Inc. Virtual shopping assistant
US11967335B2 (en) * 2021-09-03 2024-04-23 Google Llc Foveated beamforming for augmented reality devices and wearables
US20230097774A1 (en) * 2021-09-29 2023-03-30 Pixieray Oy Eyeglass lens with eye-tracking components
SE2151198A1 (en) 2021-09-30 2023-03-31 Tobii Ab Gaze defect compensation
US11778366B2 (en) * 2021-11-08 2023-10-03 Meta Platforms Technologies, Llc Gaze-guided audio
US20230239586A1 (en) * 2022-01-26 2023-07-27 Apple Inc. Eye tracking using efficient image capture and vergence and inter-pupillary distance history
US20230259199A1 (en) * 2022-02-15 2023-08-17 Google Llc Selection of real-world objects using a wearable device
SE2250299A1 (en) 2022-03-04 2023-09-05 Tobii Ab Eye openness
US20230314797A1 (en) * 2022-03-31 2023-10-05 Tobii Ab Assembly for an eye tracking system and a corresponding head-mounted device utilizing the same
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system
CN114783067B (zh) * 2022-06-14 2022-11-08 荣耀终端有限公司 基于手势的识别方法、设备及系统
SE2250765A1 (en) 2022-06-22 2023-12-23 Tobii Ab An eye tracking system
KR20240094968A (ko) 2022-12-16 2024-06-25 고려대학교 산학협력단 시선 추적 데이터 및 영상 분석을 이용한 간헐외사시 발현 시각화 방법 및 장치
SE2350007A1 (en) 2023-01-10 2024-07-11 Tobii Ab High-attention feature detection
SE2350237A1 (en) * 2023-03-02 2024-09-03 Tobii Ab Eye tracking glasses
SE2350314A1 (en) 2023-03-21 2024-09-22 Tobii Ab An eye tracking system and methods of using an eye tracking system
EP4459433A1 (en) 2023-05-03 2024-11-06 Tobii AB Iris detection and eye gaze tracking
CN117814794B (zh) * 2023-12-13 2024-08-27 山东省体育科学研究中心 一种运动心理素质监测评估眼动反馈仪

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120230547A1 (en) * 2009-11-27 2012-09-13 Qinetiq Limited Eye tracking
KR101255219B1 (ko) * 2011-10-13 2013-04-24 상명대학교 산학협력단 시선 추적 방법 및 이를 적용한 장치
CN103091843A (zh) * 2011-11-04 2013-05-08 微软公司 透视显示器亮度控制
WO2013117727A1 (en) * 2012-02-09 2013-08-15 Universität Zürich System for examining eye movements, particularly the vestibulo-ocular reflex and dynamic visual acuity

Family Cites Families (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3676641A (en) 1971-01-15 1972-07-11 Wallace A Olson Apparatus for assisting in the curing of concrete and for heating
JPH02164335A (ja) 1988-12-16 1990-06-25 Konan Camera Kenkyusho:Kk 眼球運動解析装置
US8730129B2 (en) 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
JPH0749744A (ja) 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
KR100470034B1 (ko) 1995-12-15 2005-07-11 파마시아 코포레이션 시멘타이트 시스템의 개선된 흐름성 조절방법
US6320610B1 (en) 1998-12-31 2001-11-20 Sensar, Inc. Compact imaging device incorporating rotatably mounted cameras
US6204974B1 (en) * 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
US6577329B1 (en) 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
US6592223B1 (en) 1999-10-07 2003-07-15 Panaseca, Inc. System and method for optimal viewing of computer monitors to minimize eyestrain
US6353422B1 (en) 2000-03-31 2002-03-05 Stephen G. Perlman Virtual display system and method
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP4469476B2 (ja) 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US7206022B2 (en) 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US7306337B2 (en) 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US8292433B2 (en) 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7380938B2 (en) 2003-03-25 2008-06-03 Sarnoff Corporation Apparatus to detect and measure saccade and pupilary changes
US7922321B2 (en) * 2003-10-09 2011-04-12 Ipventure, Inc. Eyewear supporting after-market electrical components
US7806525B2 (en) * 2003-10-09 2010-10-05 Ipventure, Inc. Eyeglasses having a camera
EP1691670B1 (en) 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7561143B1 (en) 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US7500752B2 (en) 2004-04-28 2009-03-10 Natus Medical Incorporated Diagnosing and training the gaze stabilization system
US8427538B2 (en) 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US20060044461A1 (en) 2004-08-30 2006-03-02 Popescu-Stanesti Vlad M Digital camera with photoflash controller
US7549743B2 (en) 2005-01-06 2009-06-23 University Of Rochester Systems and methods for improving visual discrimination
US8358337B2 (en) * 2005-08-23 2013-01-22 National University Corporation Shizuoka University Pupil detection device and pupil detection method
WO2007043954A1 (en) * 2005-10-10 2007-04-19 Tobii Technology Ab Eye tracker having an extended span of operating distances
US9344612B2 (en) 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
CN103823556B (zh) 2006-07-28 2017-07-04 飞利浦灯具控股公司 用于被凝视物品的信息显示的凝视交互
SE0602545L (en) 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
US20090044482A1 (en) 2007-01-30 2009-02-19 Tooman Norman L Wind turbine installation comprising an apparatus for protection of anchor bolts and method of installation
US7584791B2 (en) 2007-02-08 2009-09-08 Halliburton Energy Services, Inc. Methods for reducing the viscosity of treatment fluids comprising diutan
US8519091B2 (en) 2007-04-10 2013-08-27 Air Products And Chemicals, Inc. Polyalkyleneamine adducts as curing agents for thick layer water-based epoxy systems
US20100271587A1 (en) 2007-06-07 2010-10-28 Panagiotis Pavlopoulos eyewear comprising at least one display device
US7556377B2 (en) 2007-09-28 2009-07-07 International Business Machines Corporation System and method of detecting eye fixations using adaptive thresholds
US20090122161A1 (en) 2007-11-08 2009-05-14 Technical Vision Inc. Image to sound conversion device
US8390533B2 (en) 2007-11-20 2013-03-05 Panasonic Corporation Beam-scan display apparatus, display method, and vehicle
US8922672B2 (en) 2008-01-03 2014-12-30 Apple Inc. Illumination systems and methods for imagers
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
WO2009129222A2 (en) 2008-04-14 2009-10-22 The Johns Hopking University Systems and methods for testing vestibular and oculomotor function
EP2164295A1 (fr) 2008-09-16 2010-03-17 Deleage SA Dispositif de câble chauffant électrique
US20100074460A1 (en) 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
US8589034B2 (en) 2008-10-09 2013-11-19 Angela Karen Kwok System and methods for an automated sun glare block area and sunshield in a vehicular windshield
WO2010062479A1 (en) 2008-11-02 2010-06-03 David Chaum System and apparatus for eyeglass appliance platform
EP2389095B1 (en) * 2009-01-26 2014-10-01 Tobii Technology AB Detection of gaze point assisted by optical reference signals
EP2398377A1 (en) 2009-01-30 2011-12-28 Universita' Degli Studi Di Pavia Head impulse testing device for assessing the functionality of the semicircular canals and for the rehabilitation of vestibular loss
US9782068B2 (en) 2009-02-02 2017-10-10 The Johns Hopkins University System for diagnosis and therapy of gaze stability
JP5305999B2 (ja) 2009-03-16 2013-10-02 キヤノン株式会社 情報処理装置、その制御方法、及びプログラム
ES2880475T3 (es) 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
ATE527934T1 (de) 2009-04-01 2011-10-15 Tobii Technology Ab Adaptive kamera und illuminator-eyetracker
WO2010149823A1 (en) 2009-06-23 2010-12-29 Nokia Corporation Method and apparatus for processing audio signals
US8514097B2 (en) 2009-08-14 2013-08-20 Michael William Boise Glasses with sound activated lights
US20110096941A1 (en) 2009-10-28 2011-04-28 Alcatel-Lucent Usa, Incorporated Self-steering directional loudspeakers and a method of operation thereof
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
JP5653634B2 (ja) * 2010-02-24 2015-01-14 三菱航空機株式会社 繊維強化樹脂からなる部材の補修方法
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8488246B2 (en) * 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9229227B2 (en) * 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
CN102860041A (zh) 2010-04-26 2013-01-02 剑桥机电有限公司 对收听者进行位置跟踪的扬声器
US9760123B2 (en) 2010-08-06 2017-09-12 Dynavox Systems Llc Speech generation device with a projected display and optical inputs
EP2499961B1 (en) * 2011-03-18 2016-09-21 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Spectacle device with an adjustable field of view and method
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
CN103782251A (zh) 2011-06-24 2014-05-07 汤姆逊许可公司 利用用户的眼球运动可操作的计算机设备和操作该计算机设备的方法
US20130011404A1 (en) * 2011-07-07 2013-01-10 Board Of Trustees Of The University Of Arkansas Methods and Compositions for Regulating Musashi Function
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US20130028443A1 (en) 2011-07-28 2013-01-31 Apple Inc. Devices with enhanced audio
US9285592B2 (en) * 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
EP2751609B1 (en) 2011-08-30 2017-08-16 Microsoft Technology Licensing, LLC Head mounted display with iris scan profiling
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US8917453B2 (en) 2011-12-23 2014-12-23 Microsoft Corporation Reflective array waveguide
US8982014B2 (en) 2012-02-06 2015-03-17 Battelle Memorial Institute Image generation systems and image generation methods
US9128522B2 (en) 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
US9746916B2 (en) * 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US9304584B2 (en) 2012-05-31 2016-04-05 Ca, Inc. System, apparatus, and method for identifying related content based on eye movements
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US9046738B2 (en) 2012-06-28 2015-06-02 International Business Machines Corporation Digital image capture under conditions of varying light intensity
US9317971B2 (en) 2012-06-29 2016-04-19 Microsoft Technology Licensing, Llc Mechanism to give holographic objects saliency in multiple spaces
US9854159B2 (en) 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
US9697649B1 (en) * 2012-09-04 2017-07-04 Amazon Technologies, Inc. Controlling access to a device
FI125445B (fi) * 2012-09-12 2015-10-15 Trividi Oy Katseenohjausjärjestely
EP2731049A1 (en) 2012-11-13 2014-05-14 Tobii Technology AB Eye-tracker
US20140154651A1 (en) * 2012-12-04 2014-06-05 Sync-Think, Inc. Quantifying peak cognitive performance using graduated difficulty
US9977492B2 (en) 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US10025379B2 (en) * 2012-12-06 2018-07-17 Google Llc Eye tracking wearable devices and methods for use
KR20140090552A (ko) 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
CN105073073B (zh) 2013-01-25 2018-12-07 胡海 用于声音可视化及声源定位的设备与方法
EP4027222A1 (en) 2013-03-15 2022-07-13 Magic Leap, Inc. Display system and method
DE102014109079A1 (de) 2013-06-28 2014-12-31 Harman International Industries, Inc. Vorrichtung und verfahren zur erfassung des interesses eines fahrers an einer werbeanzeige durch die verfolgung der blickrichtung des fahrers
US20140129207A1 (en) * 2013-07-19 2014-05-08 Apex Technology Ventures, LLC Augmented Reality Language Translation
US9143880B2 (en) 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
ES2633016T3 (es) 2013-08-23 2017-09-18 Tobii Ab Sistemas y métodos para proveer audio a un usuario según una entrada de mirada
US9196239B1 (en) 2013-08-30 2015-11-24 Amazon Technologies, Inc. Distracted browsing modes
WO2015030797A1 (en) 2013-08-30 2015-03-05 Intel Corporation Nausea and seizure detection, prediction, and mitigation for head-mounted displays
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
WO2015034560A1 (en) 2013-09-03 2015-03-12 Tobii Technology Ab Portable eye tracking device
KR102083596B1 (ko) 2013-09-05 2020-03-02 엘지전자 주식회사 디스플레이장치 및 디스플레이장치의 동작방법
IL291010B2 (en) * 2013-11-27 2024-01-01 Magic Leap Inc Virtual and augmented reality systems and methods
EP3090322A4 (en) * 2013-12-31 2017-07-19 Eyefluence, Inc. Systems and methods for gaze-based media selection and editing
KR20150126189A (ko) 2014-05-02 2015-11-11 엘지전자 주식회사 조명 시스템 및 그 동작 방법
US9600069B2 (en) 2014-05-09 2017-03-21 Google Inc. Systems and methods for discerning eye signals and continuous biometric identification
US9727136B2 (en) 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
US9355315B2 (en) * 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
DE102014116665B4 (de) * 2014-09-22 2024-07-25 Carl Zeiss Ag Verfahren und Vorrichtungen zur Bestimmung der Augenrefraktion
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US10852913B2 (en) 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
WO2018064141A1 (en) 2016-09-27 2018-04-05 Tobii Ab Portable eye tracking device
US10416769B2 (en) 2017-02-14 2019-09-17 Microsoft Technology Licensing, Llc Physical haptic feedback system with spatial warping
TWI781404B (zh) * 2019-05-28 2022-10-21 見臻科技股份有限公司 可依據使用情境切換運作模式的眼動追蹤模組

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120230547A1 (en) * 2009-11-27 2012-09-13 Qinetiq Limited Eye tracking
KR101255219B1 (ko) * 2011-10-13 2013-04-24 상명대학교 산학협력단 시선 추적 방법 및 이를 적용한 장치
CN103091843A (zh) * 2011-11-04 2013-05-08 微软公司 透视显示器亮度控制
WO2013117727A1 (en) * 2012-02-09 2013-08-15 Universität Zürich System for examining eye movements, particularly the vestibulo-ocular reflex and dynamic visual acuity

Also Published As

Publication number Publication date
US20170272627A1 (en) 2017-09-21
KR20180086511A (ko) 2018-07-31
US20180020137A1 (en) 2018-01-18
CN105682539A (zh) 2016-06-15
KR20160111018A (ko) 2016-09-23
US9665172B2 (en) 2017-05-30
EP3041400A1 (en) 2016-07-13
EP3041401A1 (en) 2016-07-13
US11344196B2 (en) 2022-05-31
CN108209857B (zh) 2020-09-11
WO2015034560A1 (en) 2015-03-12
US10375283B2 (en) 2019-08-06
US20150063603A1 (en) 2015-03-05
US20150061995A1 (en) 2015-03-05
US10277787B2 (en) 2019-04-30
US9596391B2 (en) 2017-03-14
US20150062323A1 (en) 2015-03-05
CN105960193A (zh) 2016-09-21
KR101926942B1 (ko) 2019-03-07
CN105682539B (zh) 2018-03-16
CN108209857A (zh) 2018-06-29
US20160328016A1 (en) 2016-11-10
US20150061996A1 (en) 2015-03-05
US20200076998A1 (en) 2020-03-05
US9710058B2 (en) 2017-07-18
US20150062322A1 (en) 2015-03-05
KR20160111019A (ko) 2016-09-23
KR101882594B1 (ko) 2018-07-26
US20190327399A1 (en) 2019-10-24
US10389924B2 (en) 2019-08-20
US20180131850A1 (en) 2018-05-10
US9041787B2 (en) 2015-05-26
US10116846B2 (en) 2018-10-30
US20210038072A1 (en) 2021-02-11
US10708477B2 (en) 2020-07-07
US20220265142A1 (en) 2022-08-25
WO2015034561A1 (en) 2015-03-12
KR101968455B1 (ko) 2019-04-11

Similar Documents

Publication Publication Date Title
US11344196B2 (en) Portable eye tracking device
US10310597B2 (en) Portable eye tracking device
US10686972B2 (en) Gaze assisted field of view control
CN109923499B (zh) 便携式眼睛追踪装置
CN103501406B (zh) 图像采集系统及图像采集方法
US20140022371A1 (en) Pupil detection device
CN107077593A (zh) 用于显示屏增强的系统和方法
JP6903998B2 (ja) ヘッドマウントディスプレイ
KR101467529B1 (ko) 착용형 정보 제공 시스템
KR20130059827A (ko) 동공인식을 이용한 안경 카메라
CN117597622A (zh) 用于提供视力测量和视力校正的增强现实设备和方法
WO2016121049A1 (ja) 情報表示端末および情報表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211102

WD01 Invention patent application deemed withdrawn after publication