CN103748598B - 用于识别视线跟踪场景参考位置的系统和方法 - Google Patents

用于识别视线跟踪场景参考位置的系统和方法 Download PDF

Info

Publication number
CN103748598B
CN103748598B CN201280034239.XA CN201280034239A CN103748598B CN 103748598 B CN103748598 B CN 103748598B CN 201280034239 A CN201280034239 A CN 201280034239A CN 103748598 B CN103748598 B CN 103748598B
Authority
CN
China
Prior art keywords
scene
wearer
eye tracking
camera
processors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280034239.XA
Other languages
English (en)
Other versions
CN103748598A (zh
Inventor
N·G·普布卡福尔
W·C·陶池
G·阿马娅
D·勒布朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Eyefluence Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyefluence Inc filed Critical Eyefluence Inc
Publication of CN103748598A publication Critical patent/CN103748598A/zh
Application granted granted Critical
Publication of CN103748598B publication Critical patent/CN103748598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明提供一种用于识别设备佩戴者的环境内的参考位置的系统。该系统包括安装在眼睛佩戴物或头部佩戴物并连接到处理单元的场景摄像机。该系统可以识别在佩戴者环境内自然出现的具有已知几何形状的对象或被有意地放置在佩戴者环境内的已知位置上的对象。一个或多个光源可以安装在头部佩戴物上，以按照选择的时刻和波长来照亮反射表面，从而帮助识别场景参考位置和从已知位置投射到眼睛表面上的闪烁。处理单元可以控制光源以调节照明等级，从而帮助识别环境内的参考位置和眼睛表面上的相应闪烁。对象可以在来自场景摄像机的视频图像内被基本连续地识别，以提供参考位置的连续数据流。

Description

用于识别视线跟踪场景参考位置的系统和方法
技术领域
本发明涉及为视线跟踪和其他应用不引人注意地识别设备佩戴者的环境内的参考位置的装置、系统和方法。
背景技术
本文的装置、系统和方法利用机器视觉技术来跟踪由观察者所观察的位置和对象。视线跟踪算法可以被认为需要两个连续数据流来产生精确的跟踪结果：1）眼睛跟踪方法，以检测瞳孔边缘或眼睛内的其他可识别参考点来计算眼睛的旋转角和观察方向，和2）头部跟踪方法，以将头部的位置和取向定位在我们的三维世界中。
一般地，头部跟踪可以包括识别附连到头部的刚性对象的位置（与头部本身相对）。在这种情况下，附连到头部的头部佩戴物或眼睛佩戴物已经知道几何形状和相对于头部或可以计算的头部上的参考点的位移。更具体地，为精确视线跟踪，头部跟踪装置应当距离观察者的一个或两个眼球的旋转点具有已知位移。此外，对于大部分应用，相对于设备佩戴者的环境内的参考点或对象（例如，显示监视器、移动计算设备、手表、光源、窗户等）来确定视线跟踪位置。
涉及机器视觉的应用变得越来越普遍。部分地，这是由于电子和软件研发行业的技术进步，和摄像机、信息处理单元和其他电子器件的成本降低。特别地，视线跟踪越来越多地用在多种诊断、人的表现和控制应用中。一小部分示例包括监测一个个体的疲劳度、评估驾驶员或飞行员的意识、评估药物或酒精的效果、诊断创伤后应激障碍、跟踪随着年老的人的表现、确定训练或练习的效果、通过测量眼睛停留时间来评估广告和网页设计的效果、放大或改变受到观察的特定对象或图像（包括文字）的亮度、控制游戏的各种方面、获取基础临床数据以评估神经或认知障碍、诊断和监测退行性眼部状况、和允许在颈部下方具有有限的可动性或没有可动性的个体通过使用一个或多个眼睛和眼睑来控制计算机光标而进行通信。利用视线跟踪的部门和行业包括军事、医药、安全、人的表现、运动医药、康复工程、警察、研究实验室和玩具。
在几乎所有情况下，视线跟踪精度的增加引起大部分应用性能和便利性的增加。例如，随着精度增加，可以更精确地测量用来量化在更小对象或对象的部件上的固定时间的眼睛停留时间。视线跟踪可以更有效地应用于利用更小屏幕的便携设备，包括移动电话和手持显示装置。当视线跟踪用于控制对于在屏幕内的多个虚拟对象或图标的光标参与的选择时，由于使用更小的虚拟对象或图标的能力，可以被同时显示的可选择对象的数量增多。每一级选择处理中的数量增加的对象对于虚拟对象和相关动作可以被选择的效率具有巨大影响（即，减少选择等级的数量和/或减少时间）。类似地，增大或增加受到观察的对象和文字的亮度等级可以显著地增加受损伤个体的识别率和阅读速率。
很多视线跟踪系统使用距离眼睛位于相当远距离处（例如大于十厘米（10cm））的摄像机和眼睛照射器。随着离眼睛的距离增大，眼睛跟踪装置一般变得不突出；但是，眼镜跟踪装置变得越来越难以精确地测量眼睛的位置，这是由于需要摄像机具有更高空间分辨率，并且由于范围宽的头部运动会引起跟踪眼睛的能力完全丧失。很多视线跟踪系统还利用定位成离开头部一定距离处的明亮的（可见或不可见）“点”光源来在眼睛的表面上产生闪烁或亮点。这些闪烁可以用于产生从眼睛表面上的闪烁位置到环境中的已知位置（例如光源）的参考矢量。再次，头部的范围宽的运动会引起丧失跟踪闪烁的能力和/或使闪烁与具体光源关联的能力。
随着现代微电子器件和微光学器件的到来，可以不显眼地将用于视线跟踪的部件安装在眼睛佩戴物（例如，眼镜框）或头部佩戴物（例如，头盔、面罩、护目镜、虚拟现实显示装置）上，包括美国专利6,163,281、6,542,081、7,488,294或7,515,054中公开的那些装置。在眼睛佩戴物或头部佩戴物内使用高精度光学器件，可以更精确地分辨眼睛和附近区域内的结构和反射、以及由设备佩戴者所观察的场景。使用低功率微型摄像机和电子器件通过使用电池电源而使得头部安装系统能够不被束缚。此外，无线通信的最新进展允许视线跟踪结果被实时地传送到其他计算、数据存储或控制装置。由于很多领域中的技术进步，基于眼睛佩戴物或头部佩戴物的视线跟踪系统可以不引人注意、重量轻、便携且便于使用。
发明内容
视线跟踪包括基本连续地识别被观察者观察的位置和/或对象。精确的视线跟踪起因于在我们的三维世界中相对于识别的参考位置的眼睛跟踪和头部跟踪的组合。本文的装置、系统和方法利用安装在眼睛佩戴物或头部佩戴物上的不引人注意的场景摄像机来识别佩戴者环境中自然出现或有意放置的参考位置。
更具体地，本文的装置、系统和方法可以促进为视线跟踪和其他应用不引人注意地识别在设备佩戴者的环境内的参考位置。在一个实施例中，用于确定场景参考位置的系统和方法可以包括设备，该设备被构造成被佩戴在人的头上；场景摄像机，该场景摄像机连接到所述设备并定位成捕捉佩戴者的环境的图像；场景处理器，该场景处理器可操作地连接到场景摄像机以确定在场景摄像机图像内的场景参考位置；眼睛跟踪摄像机，该眼睛跟踪摄像机连接到所述设备并定位成捕捉佩戴者的至少一个眼睛的眼睛跟踪位置；和处理器，该处理器使用场景参考位置和眼睛跟踪位置来确定被佩戴者观察的位置。
可以使用对象的一个或多个特征（包括对象的形状、尺寸或颜色）来识别场景内的参考位置。各种几何形状之间的空间关系（例如，如在一维和二维条形码、QR（即，快速响应）码、矩阵（即，二维）码等上发现的）也可以用于位置识别和定向。限定参考位置的对象可以被有意地放置在佩戴者的环境内；例如，彩色纸张或塑料件、着色（例如，涂料或墨水）斑点、显示屏内的彩色（或黑白）区域、光源、和/或反射表面。可替换地，参考位置可以使用对象识别技术从未改变的佩戴者环境取出，例如显示屏的角部、移动电话或阅读器（例如，或设备）的角部、更大对象的中心位置、显示监视器上的彩色的图标或贴片、按钮、对象上的标记、彩色图案的边缘等等。参考位置可以通过可见或不可见光来识别。这些识别可以基于所有对象或对象子集的位置，例如，角部、空位、点或边缘。来自参考位置的光可以利用环境光、从眼睛佩戴物或头部佩戴物投射出的光、由参考位置自身产生的光、和/或来自其他来源的光。还可以是这两种一般方法的组合（即，识别自然出现的对象和有意放置的对象两者）。
根据前面的背景技术，本文的装置、系统和方法可以提供用于各种应用的改进的视线跟踪方法和系统。
在示例性实施例中，一种方法包括使用“场景摄像机”，该场景摄像机附连到眼睛佩戴物或头部佩戴物并且相对于佩戴眼睛佩戴物或头部佩戴物的个体向外看。场景摄像机将图像传递到经编程的处理器以识别场景摄像机图像内的多个参考位置。可选地，处理器可以连接到“模板”（即，已知对象的图像、参考位置的构造等）的数据库、可以与该数据库通信、或者可以以其他方式访问该数据库以识别参考位置。
根据一个实施例，系统和方法设置成使用识别具有已知几何形状和颜色的对象或对象的组成部分的图像识别技术来识别参考位置。使用该方法的一般构造是识别计算机显示监视器或移动计算/电话设备或其他电子对象的四个角部。这可以通过识别设备框架相对于背景场景的边缘、显示屏相对于显示画面的边缘（即，对于基于LCD的设备或对象来说是背光区域）、或以上两者来实现。角部和/或边缘可以基于颜色、纹理、相对于圆角几何形状的尖锐部、相对于其他可识别组成部分的尺寸、标记等等来识别。
根据另一实施例，系统和方法设置成产生参考位置，其中可识别的对象或表面已经在已知位置处被增加到场景。例如，系统和方法可以使用方便地附连到（例如，使用粘结剂、螺钉、夹子或其他紧固件等）对象上的纸张或塑料件，其可以基于颜色和/或形状来识别。类似地，墨水或其他染色物质可以施加到对象以产生具有可识别颜色或形状的参考位置。施加的参考表面的颜色和/或形状可以基于测量反射的可见或不可见的荧光、磷光或冷光。
根据另一实施例，系统和方法设置成使用可以附连到（例如使用粘结剂、紧固件等）任意表面（例如，由涂料、织物、塑料、纸等构造的）反射贴片来产生明亮的反射点。这些反射表面可以基于棱镜或平面反射镜表面。这些反射表面可以使用位于眼睛佩戴物或头部佩戴物上的一个或多个光源、通过环境光、和/或其他光源来照亮。光源的一个示例是定位成邻近或远离眼睛佩戴物或头部佩戴物上的场景摄像机的单个或多个发光二极管（LED）。光源可以使用可见或不可见的电磁辐射波长，例如处于可见光谱以外的红外或其他光，以避免干扰佩戴者和/或其他人的正常活动。在这种构造中，照明的定时可以由眼睛佩戴物或头部佩戴物控制，可以不需要对眼睛佩戴物或头部佩戴物外部的照明源进行供电。
根据另一实施例，系统和方法可以设置成不仅提供由眼睛佩戴物或头部佩戴物照亮的明亮参考位置，还通过从参考点反射到眼球上的光产生参考闪烁。通过相对于视频图像获取的定时来控制照亮的定时，可以在照亮和没有照亮反射参考点和闪烁的情况下获取图像。从照明关闭时的图像减去照明打开时的图像，可以促进隔离反射源的位置的能力，反射源包括由场景摄像机获取的图像内的参考点的位置和由（多个）眼睛跟踪摄像机收集的图像内的相应闪烁的位置。
控制器可以连接到（多个）摄像机和/或光源，控制器构造成使用（多个）摄像机对在光源的各个反射的参考位置中的亮度进行采样并且基于采样的亮度来调制（多个）光源以在摄像机图像内提供期望的亮度等级。
可操作地连接到场景摄像机的处理单元可以获取设备佩戴者的环境的图像，以例如监测和/或进一步分析场景的特征。场景处理单元和眼睛跟踪处理单元可以是一个或多个单独的处理器，或者可以是单个处理器和/或可以包括照明控制器以调节环境对于设备佩戴者的照明强度。
在一个实施例中，照明控制器可以构造成对光源的电流和/或电压中的至少一个进行幅度调制，以在场景摄像机图像的相应区域中提供期望的亮度等级。附加地或可替换地，控制器可以构造成对光源的电流和/或电压进行脉宽调制以提供期望的亮度等级。
在这些示例中的任一个中，照明、参考位置跟踪、眼睛跟踪和视线跟踪可以基本连续地或间歇地操作。例如，当场景摄像机未操作时，可以停用场景光源。这包括获取摄像机图像之间的时间。处理器、摄像机和照明还可以在不使用时被停用，以例如节约电力。照明源和其他电子器件还可以减小功率或关闭以增加设备佩戴者的安全性。
在示例性实施例中，系统包括眼睛佩戴物或头部佩戴物框架、被导向为观察设备佩戴者周围的环境的场景摄像机、指向佩戴者的眼睛的至少一个摄像机、定位成朝向佩戴者的至少一个眼睛的一个或多个照明源、和一个或多个处理器，例如连接到场景摄像机以识别场景摄像机图像内的参考位置的场景处理单元和用于眼睛跟踪的处理单元。该系统还可以包括位于框架上定位成远离佩戴者的一个或多个光源，以例如当利用反射参考位置时提供场景照明。机器视觉技术被用在（多个）处理单元中以确定参考位置。在场景处理单元和眼睛跟踪处理单元内识别的参考位置然后可以用于视线跟踪计算。
结合附图考虑下列描述，本发明的其他方面和特征将更加显而易见。
附图说明
附图示出本发明的示例性实施例，其中：
图1是用于参考位置跟踪和眼睛跟踪的安装在眼镜框上的系统的示例的透视图。
图2是图1的系统的部分剖视侧视图，示出场景摄像机和眼睛跟踪摄像机之间的空间关系，和处理单元、场景摄像机、眼睛跟踪摄像机和其他部件之间的连接。
图3示出在包括移动计算/电话设备的未改变场景内使用对象识别来检测参考位置的示例性方法。
图4示出包括提供参考对象的检测参考位置的另一示例性方法，参考对象例如是位于显示监视器的四个（4）角部上的四个（4）可识别的彩色圆形纸张。
图5示出包括提供“虚拟”可识别参考对象的检测参考位置的另一示例性方法，“虚拟”可识别参考对象例如是在显示监视器的四个（4）角部上显示的四个（4）彩色区域。
图6是示出可以被场景摄像机检测到作为参考位置的反射表面和可以被眼睛跟踪摄像机检测到的眼睛表面上的闪烁的照射路径的示例。
具体实施方式
参考附图，图1示出系统10的示例性实施例，系统10包括具有场景摄像机12、两个眼睛跟踪摄像机13a、13b和处理单元14的眼镜框架11。场景摄像机12在眼镜框架11上取向为观察远离设备佩戴者的头部15的区域，以跟踪设备佩戴者的环境内的一个或多个参考位置16a、16b。眼睛跟踪摄像机13a和13b在眼镜框架11上朝向头部15取向，以跟踪佩戴者的瞳孔、佩戴者的一个或两个眼睛上的闪烁和/或其他参考点的位置。
在本实施例中，单个处理单元14可以由框架11承载，以例如获取来自场景摄像机12以及眼睛跟踪摄像机13a、13b的图像，尽管应当领会可以将分开的处理器（未示出）设置在框架11上或与框架11通信的远程位置（未示出）。电源（例如电池）17可以由框架11承载，例如被包封在框架11的柄部中与容纳处理单元14的位置相对。场景照射光源18a、18b可以可选地定位在场景摄像机12附近或者更远离场景摄像机12。
在示例性实施例中，场景摄像机12可以包括CCD或CMOS或者包括有效区域（例如具有矩形或其他阵列的像素）的其他检测器，以拍摄图像并产生表示该图像的视频信号。场景摄像机12的有效区域可以具有任意期望形状，例如方形或矩形等。此外，如有必要，摄像机12可以包括一个或多个滤镜、透镜等（例如，如图6所示的滤镜67和/或透镜66），以将图像会聚在有效区域上、滤除不期望的光的强度和/或波长等。
在图1所示的实施例中，场景摄像机12不显眼地位于框架11的鼻梁25（图2）上，从而使得对佩戴者正常视觉的干扰最小。用于（多个）场景摄像机的其他位置还可以包括框架11的外边缘附近。可替换地，对于头部佩戴物的情况，一个或多个场景摄像机可以例如位于头部（未示出）的顶上。可以结合反射和/或折射光学部件，以例如将来自环境的不同区域的光朝向（多个）场景摄像机引导。
附加地或可替换地，多个场景摄像机19a、19b可以设置成彼此间隔开和/或指向多个参考位置16a、16b，以例如提供分开或重叠的视场。除了场景摄像机12外或代替场景摄像机12，多个场景摄像机16a、16b可以提供更高的分辨率、增加在不同光条件下的灵敏度和/或提供更宽的视场。使用多个场景摄像机的另一可能的优点是对于每个摄像机使用不同的光学滤镜（例如，参见图6中的滤镜67），以例如隔离开颜色不同或优先使用不同电磁辐射波长照射的参考源。
如果使用两个（2）场景摄像机，这些场景摄像机可以例如被方便地定位在框架11的每个外部拐角附近（例如，图1中表示为19a和19b的位置附近）或者头部佩戴物（未示出）的横向侧。参考位置和相应的场景摄像机取向可以在佩戴者的正常视场内或者该范围外部（包括朝向旁边或头部后方）。可以可选地通过反射表面和折射透镜在尺寸和/或位置方面控制（多个）视场。
图2示出图1所示的系统10的剖视图和后侧。从该透视图可以看出安装在眼镜框架11内的场景摄像机12和眼睛跟踪摄像机13b之间沿着X、Y和Z方向的固定空间位移。图2还示出可以将用于参考位置跟踪和眼睛跟踪的单个处理单元14嵌入在框架11的柄部内的位置。在本示例性实施例中，处理单元14是现场可编程逻辑阵列（FPGA）。
处理单元14可以包括一个或多个控制器或处理器，例如用于操作系统10的各种部件的一个或多个硬件部件和/或软件模块。例如，处理单元14可以包括单独的（未示出）或集成的控制器，以控制光源或摄像机、接收和/或处理来自摄像机12、13b的信号等。可选的，处理单元14的一个或多个部件可以被承载于耳朵支架24上、框架11的透镜支撑件上、鼻梁25、和/或眼睛佩戴物或头部佩戴物内的其他位置上，类似于利用本文中其他地方标识的附图标记所描述的实施例。在图1和图2所示的示例性实施例中，单个处理单元14用于图像获取和用于处理参考位置与眼睛跟踪功能两者。
（多个）线缆26可以包括连接到摄像机12、13b、电池17（图1）、光源18a、18b（图1）和/或框架11上的其他部件和/或处理单元14的单独的线缆或线组。例如，单独的线缆或线组（未示出）可以从摄像机12、13b等例如沿着边缘嵌入在框架11中，直到被捕获到线缆26内，以例如根据需要减少框架11的整体轮廓和/或将信号绕过任意铰接区域或角部27引导至眼睛佩戴物或头部佩戴物内。
处理单元14还可以包括用于存储来自（多个）摄像机12、13b的图像信号的存储器（未示出）、用于编辑和/或处理图像信号的滤波器、用于测量值计算的元件（也未示出）等等。可选地，框架11和/或处理单元14可以包括用于传输数据、接收指令等的一个或多个发送器和/或接收器（未示出）。附加地或可替换地，至少某些处理可以由远离框架11的部件和/或机载处理单元14执行，类似于利用本文中其他地方标识的附图标记所公开的实施例。例如，数据采集系统可以包括位于远离处理单元14和/或框架11的一个或多个远程位置的（例如在同一房间中、在监测站附近、或更远处的位置的）一个或多个接收器、处理器和/或显示器（未示出）。这些显示器可以包括由（多个）场景摄像机12和/或（多个）眼睛跟踪摄像机13b产生的视图、以及视线跟踪测量结果和相关计算结果。
图3是在涉及对象识别的机器视觉技术被用于在“未改变场景”（即，为建立参考位置，场景没有由佩戴者/观察者或观察中涉及的任意其他人有意改变）内利用已知几何形状和/或颜色来定位对象的情况下的参考位置跟踪的示例。在本示例中，可以使用场景摄像机31来跟踪常规移动电话或手持计算设备30的尺寸、取向和/或位置。图像可以例如使用一个或多个透镜33被聚焦在场景摄像机31上（场景摄像机31可以类似于图1和图2所示的场景摄像机12），透镜33可以由（多个）场景摄像机31（未示出）承载或以其他方式连接到（多个）场景摄像机31。
在由场景摄像机31获取的图像内，处理单元（未示出）可以扫描来自场景摄像机31的图像的视场32，以找寻与移动计算设备的对象模板在形状和颜色方面类似的对象。例如，处理单元可以包括或以其他方式访问已知模板的数据库，例如，将已知对象与识别它们的形状和/或颜色的数据相关联的表。数据库可以包括已知对象的竖直和水平参考点36、37、与映射到具体物理对象的参考对象等有关的详细颜色和/或形状信息，从而向处理单元提供足够的信息来识别遇到的对象。如果找到具有适当属性的对象，四边形34（在本示例中为矩形移动电话的四边形）可以用于限定来自场景摄像机31的图像内的设备的边界。四边形34的侧边的尺寸可以用于相对于移动计算设备30内的参考点来计算场景摄像机31的位置的取向。来自场景摄像机31的图像内的四边形34的整体尺寸可以用于计算场景摄像机31（即，固定到眼睛佩戴物或头部佩戴物11）和移动计算设备30内的参考点之间的距离。
参考对象内的参考位置的示例包括与移动计算设备30的四（4）个角35a、35b、35c、35d相对应的四边形34的四（4）个角。参考对象的竖直真实尺寸36和水平真实尺寸37是场景摄像机处理单元已知的，并且与场景摄像机图像中进行的测量一起，可以用于将从来自场景摄像机31的图像内测量的尺寸转变成真实尺寸。
图4是在参考对象已经被有意地放置在佩戴者的环境内的情况下参考位置跟踪的示例。涉及对象识别的机器视觉技术用于利用已知的几何形状和/或颜色将这些对象定位在场景摄像机图像内。在这种情况下，具有已知的（多个）尺寸和（多个）颜色的四个（4）圆盘45a、45b、45c、45d已经例如通过利用粘结剂进行连接而被附连到显示监视器40的四个（4）角部。可替换地，监视器40或其他装置可以包括在期望的位置处永久地附接到或以其他方式结合到该装置的参考对象。
根据需要，任意数量的参考对象可以增加到佩戴者的环境，例如，两个或三个、或者多于四个（未示出）。参考对象可以具有任意尺寸、形状或颜色。参考对象可以都具有基本相同的尺寸、形状和/或颜色；或者一个或多个参考对象可以具有不同的尺寸、形状和/或颜色。在后一种示例中，尺寸、形状或颜色的不同可以有助于明确地确定参考位置和相关对象的精确取向以例如唯一地识别移动计算设备30的每个角部。
进一步参考图4，图像可以例如使用透镜43被聚焦在场景摄像机41（场景摄像机41可以类似于场景摄像机12）上。采用由场景摄像机41获取的图像，处理单元（未示出）可以扫描场景摄像机41的视场42，以找寻与用于有意放置的参考对象的对象识别模板（例如访问用于模板的数据库）在形状和/或颜色方面类似的对象，如本文中其他地方所述。当找到具有适当属性的对象时，可以沿着竖直46和水平47方向测量参考对象45a、45b、45c、45d的中心或边缘之间的距离。这些距离然后可以用于计算场景摄像机41相对于场景内的参考点45a、45b、45c、45d的位置的取向。由参考对象45a、45b、45c、45d的四个（4）角部限定的四边形的整体尺寸也可以用于计算场景摄像机41和场景内的位置之间的距离。竖直46和水平47参考点之间的已知真实世界距离可以用于将在来自场景摄像机41的图像内测量的距离转换成真实世界尺寸。
使用这些技术的头部跟踪和视线跟踪的一个应用是控制在监视器40上显示的计算机光标44的位置。使用视线跟踪对光标的精确控制可以产生范围广泛的应用，包括计算机浏览互联网、控制游戏、产生文语转换、在家庭或工业环境中打开/关闭灯光或其他环境控制等等。在观察者被指令紧密地跟踪对象（例如光标44）的同时跟踪头部和眼睛移动还可以在校正过程中使用，例如，该校正过程可以用于解释(account for)视场42内的空间像差，例如由大部分透镜43产生的空间像差。
图5示出在“虚拟”参考对象被有意地显示在位于场景摄像机51的视场52内的监视器或屏幕50上的情况下参考位置的另一示例。“虚拟”参考对象可以例如是色块、图标、QR码和/或不同于屏幕的背景的其他视觉图案。例如，用于监视器50的驱动器可以被改变或更换，以使得虚拟对象叠加在以其他方式显示在监视器50上的任意图像。因此，即使当监视器用于显示图像和/或以其他方式操作各种程序时，也可以存在虚拟对象。虚拟对象可以在监视器50呈现的图像中基本静止，或者可以在例如本文其他地方描述的期间移动。
机器视觉技术可以用于利用场景内的已知几何形状、空间关系和/或颜色定位这些“虚拟”对象。在图5所示的示例中，四个（4）“虚拟”对象55a、55b、55c、55d被显示在显示监视器50的四个（4）角部上。任意数量的“虚拟”参考对象可以被增加到场景摄像机51的场景52。“虚拟”参考对象可以具有任意尺寸、形状或颜色。“虚拟”参考对象可以都具有基本相同的尺寸、形状、几何形状的空间分布和/或颜色；或者一个或多个“虚拟”参考对象可以具有不同的尺寸、形状和/或颜色。在后一种示例中，尺寸、形状、几何形状的空间分布和/或颜色的不同可以有助于明确地确定参考位置的旋转取向，类似于本文的其他实施例。
当例如通过分析来自场景摄像机51的图像的处理单元找到具有适当属性的虚拟对象时，可以沿着竖直56和水平57方向测量参考对象55a、55b、55c、55d的中心之间的距离。这些距离可以用于计算场景摄像机51相对于设备佩戴者的环境内的参考点55a、55b、55c、55d的位置的取向。由位于显示屏的四个（4）角部的参考对象55a、55b、55c、55d限定的四边形的整体尺寸可以用于计算场景摄像机51和场景内的位置之间的距离。竖直56和水平57参考点之间的已知真实世界距离可以用于将在来自场景摄像机51的图像内测量的距离转换成真实世界尺寸。例如，处理单元可以包括或访问模板的数据库，该数据库包括足够的信息来识别实际遇到的对象，类似于本文的其他实施例。使用这些技术的头部跟踪和视线跟踪的可以用于例如控制在计算机监视器50上显示的光标54的位置和/或以其他方式与遇到的对象和/或其他附近的对象交互。
使用参考图5所示的“虚拟”参考对象的优点是在不需要对真实世界对象任意（硬件）修改的情况下产生可识别的参考对象的能力。例如，如果计算机（未示出）由图1的系统10的佩戴者使用，则在使用系统10期间，软件可以被加载到计算机上，以例如修改或更换（多个）监视器驱动器和/或以其他方式使得虚拟参考对象被包括在计算机监视器50上显示的图像中。相反，使用例如在如图4所示的放置在计算机监视器40的边缘上的物理参考对象，消除了在监视器40的可显示区域内进行任何叠加显示（和相关软件修改）的需要。
进一步参考图4和图5，可以将任意数量的真实参考对象与任意数量的“虚拟”参考对象组合在场景内。使用来自一个或多个场景摄像机的图像的机器视觉技术可以用于跟踪任意数量的这些对象。例如，当沿着特定取向和方向观察参考对象以识别由系统（例如图1的系统10）操作或与系统通信的屏幕或设备时，可以使用对物理对象的跟踪。然后，在物理对象已经被用于识别监视器或屏幕之后，当呈现出适当的屏幕观察角度时，可以使用“虚拟”对象的识别。为了在屏幕上的局部区域内产生高度精确的视线跟踪，例如一旦视线跟踪已经确定佩戴者正观察监视器或屏幕上的位置，例如，期望的是动态地改变“虚拟”参考对象的位置或其他跟踪特性。例如，当注意力集中到监视器或屏幕的特定子集或区域时，可以使用更紧密间隔的更小的“虚拟”参考对象。处理单元然后可以弃用监视器或屏幕上的虚拟对象区域外的图像数据，以例如增强视线跟踪的精度，减小存储和/或处理的图像数据的尺寸等等。
图6示出利用反射参考贴片和相关位置的照明和光路的示例。在本示例中，照明源（例如一个或多个LED）60被包括在眼睛佩戴物或头部佩戴物（未示出，例如图1和图2的框架11）内或者以其他方式由眼睛佩戴物或头部佩戴物承载。来自照明源60的电磁辐射被反射离开一个或多个反射贴片或表面61，所述一个或多个反射贴片或表面61已经在已知位置处被增加到或嵌入在场景内的一个或多个对象内。在本示例性实施例中，光从附接到显示监视器或移动计算设备62的角部的圆盘61被反射。场景中的该反射表面和其他参考表面的位置可以从使用场景摄像机（图6未示出，参见例如图1和图2中的场景摄像机12）收集的图像来确定。
附加地参考图6，从反射参考表面反射的光可以在眼睛64的表面上产生闪烁63。闪烁可以在使用（多个）眼睛跟踪摄像机65收集的图像内作为高强度亮斑被检测到。在眼睛佩戴物或头部佩戴物内，短工作距离透镜66一般被要求将来自眼睛64的图像聚焦在眼睛跟踪摄像机65上，滤镜67可以可选地被包括在光路中以隔离由反射（荧光、磷光或冷光）参考位置表面产生的光波长。
闪烁63的中心和相应参考位置61的中心之间的线段产生矢量68，矢量68可以用作视线跟踪计算的输入。这个参考矢量68与瞳孔69的中心的位置一起然后可以被用于相对于参考矢量68来计算视线跟踪矢量70。计算视线跟踪矢量70时的其他考虑还包括眼窝（即，视网膜的图像感应区域）中心相对于瞳孔69的测量中心的略偏移位置和在穿过角膜（未示出）的光路内的折射。视线跟踪矢量70指向由观察者（即，眼睛佩戴物或头部佩戴物的佩戴者）观察的位置71。
参考图1和图6，相比于由场景摄像机12和眼睛跟踪13a、13b摄像机的图像获取，在眼睛佩戴物或头部佩戴物（例如框架11）上具有（多个）照明源的优点是能够方便地控制照明的定时和/或强度。通过从照明关闭时的图像减去照明打开时的场景图像和/或眼睛跟踪摄像机图像，来自参考位置16a、16b的反射可以更容易地在场景摄像机图像中隔离，来自闪烁63的反射可以被更容易地在眼睛跟踪摄像机图像中隔离。此外，该方案消除了定位成远离或束缚到位于眼睛佩戴物或头部佩戴物内的控制器或电源17的任意光源或其他被供电部件的需要。因此，如果参考对象附连到或被结合于设备的监视器或屏幕中，这些参考对象不需要具有电源和/或控制器来产生光，但是可以仅反射来自（多个）照明源60的光。
任意数量的反射表面61可以用作参考位置和/或用于产生闪烁63的来源。任意数量的电磁辐射源可以产生可见光或不可见光。使用不可见光来产生在参考位置处的反射和眼睛上的闪烁特别方便，这是由于这种方案在设备佩戴者的部分上产生很少或不产生注意力分散（由于存在可能明亮的反射光）。具体地，CMOS摄像机能够检测对人眼不可见的近红外光谱中的电磁辐射。CMOS摄像机还特别适合于期望低功率和/或小型化的应用。
如本文其他地方所述并参考图6，使用眼睛跟踪摄像机65测量的闪烁63的亮度级别和使用（多个）场景摄像机12（未示出，参见图1）测量的从参考位置61的反射可以用在反馈模式中，以控制（多个）照明源60的强度。一个或多个照明源60可以用于照亮参考位置，例如安装在整个眼睛佩戴物或头部佩戴物的多个位置处的多个照明源60（未示出）。使用多个照明源60从不同角度照亮设备佩戴者的环境可以帮助在不同的观察角度在摄像机图像中保持高强度反射。
在一个实施例中，驱动每个照明源60的电压或电流的幅度可以用于控制光强度。这一般称为“幅度调制”。在另一实施例中，控制电压或电流的持续时间或“停留时间”可以被改变以控制光强度。这一般称为“脉宽调制”。可选地，还可以同时使用这两个方案。
在示例性实施例中，每个照明源60可以包括LED（发光二极管），LED构造成发射相对窄或宽带宽的光，例如约640-700纳米之间的一个或多个波长的近红外光、宽带可见光、白光等。可选地，一个或多个照明源60可以包括透镜、滤光器、扩散器、反射器或其他特征（未示出），以例如促进和/或控制设备佩戴者的环境的照明均匀性。（多个）照明源60可以基本连续地、周期性地或以其他方式间歇地操作，例如以使得由（多个）源60照亮期望场景图像，然后图像可以使用本文其他地方描述的系统和方法来处理。
为举例和说明的目的已经呈现了对示例性实施例的上述公开。这不期望是穷举的，也不是要将本发明限制为公开的精确形式。根据上述公开内容，本文描述的实施例的很多变化和修改对于本领域技术人员是显而易见的。
此外，在描述代表性实施例时，说明书已经将方法和/或处理按照特定的步骤顺序呈现。但是，这些方法或处理不应当限于所述的步骤的具体顺序，而是要达到这些方法或处理不依赖于本文阐述的步骤的具体顺序的程度。本领域技术人员将领会，可以存在步骤的其他顺序。因此，说明书中阐述的步骤的具体顺序不应当理解为限制权利要求书。
尽管本发明容许有各种修改和替换形式，但是本发明的特定示例已经在附图中示出并且详细地在本文中描述。但是，应当理解，本发明不限于公开的具体形式或方法，相反，本发明将覆盖落入所附权利要求书的范围内的所有修改、等同和替换形式。

Claims (6)

1.一种用于确定参考位置的系统，所述系统包括：
设备，所述设备构造成被佩戴在佩戴者的头上；
场景摄像机，所述场景摄像机安装在所述设备上远离所述佩戴者取向，以捕捉所述佩戴者的环境的场景摄像机图像；
眼睛跟踪摄像机，所述眼睛跟踪摄像机安装在所述设备上朝向所述佩戴者的眼睛取向，以捕捉所述佩戴者的至少一个眼睛的眼睛跟踪位置；
一个或多个处理器，所述一个或多个处理器连接到所述场景摄像机以确定所述场景摄像机图像内的场景参考位置并且连接到所述眼睛跟踪摄像机，所述一个或多个处理器使用所述场景参考位置和所述眼睛跟踪位置来确定被所述佩戴者观察的位置；和
模板的数据库，所述模板的数据库将已知对象映射到与各个已知对象关联的场景参考位置，所述一个或多个处理器连接到所述数据库以识别与从场景图像获取的所述场景参考位置关联的对象。
2.根据权利要求1所述的系统，其中，所述对象包括电子设备的显示装置，所述场景参考位置识别相对于所述显示装置固定的参考对象。
3.一种用于视线跟踪的系统，所述系统包括：
电子对象，所述电子对象包括显示装置和位于所述显示装置周围的多个反射参考对象；和
设备，所述设备构造成被佩戴在佩戴者的头上，所述设备包括：
a)场景摄像机，所述场景摄像机安装在所述设备上远离所述佩戴者取向，以捕捉所述佩戴者的环境的场景摄像机图像；
b)眼睛跟踪摄像机，所述眼睛跟踪摄像机安装在所述设备上朝向所述佩戴者的眼睛取向，以捕捉所述佩戴者的至少一个眼睛的眼睛跟踪位置；
c)一个或多个处理器，所述一个或多个处理器连接到所述场景摄像机以识别所述场景摄像机图像内的参考对象并且连接到所述眼睛跟踪摄像机，所述一个或多个处理器使用所述场景摄像机图像中的所述参考对象的位置和所述眼睛跟踪位置来确定所述显示装置上被所述佩戴者观察的位置；和
d)所述设备上的一个或多个光源，所述一个或多个光源远离所述佩戴者取向以照亮所述参考对象，从而增强对所述场景摄像机图像中的所述参考对象的识别，
其中所述一个或多个处理器包括控制器，所述控制器连接到所述一个或多个光源以间歇性地操作所述一个或多个光源，以使得所述参考对象在所述场景摄像机图像中被交替地照亮和未照亮，所述一个或多个处理器构造成从所述场景摄像机图像中减去照亮的和未照亮的图像以增强对所述参考对象的识别。
4.一种用于视线跟踪的系统，所述系统包括：
电子对象，所述电子对象包括显示装置和位于所述显示装置周围的多个反射参考对象；
设备，所述设备构造成被佩戴在佩戴者的头上，所述设备包括：
a)场景摄像机，所述场景摄像机安装在所述设备上远离所述佩戴者取向，以捕捉所述佩戴者的环境的场景摄像机图像；
b)眼睛跟踪摄像机，所述眼睛跟踪摄像机安装在所述设备上朝向所述佩戴者的眼睛取向，以捕捉所述佩戴者的至少一个眼睛的眼睛跟踪位置；和
c)一个或多个处理器，所述一个或多个处理器连接到所述场景摄像机以识别所述场景摄像机图像内的参考对象并且连接到所述眼睛跟踪摄像机，所述一个或多个处理器使用所述场景摄像机图像中的所述参考对象的位置和所述眼睛跟踪位置来确定所述显示装置上被所述佩戴者观察的位置；和
模板的数据库，所述模板的数据库将已知对象映射到与各个已知对象关联的参考对象，所述一个或多个处理器连接到所述数据库以基于在所述场景摄像机图像中识别的所述参考对象来识别所述电子对象。
5.一种用于视线跟踪的系统，所述系统包括：
电子对象，所述电子对象包括显示装置，所述电子对象构造成包括在所述显示装置上呈现的图像中的多个虚拟参考对象；
设备，所述设备构造成被佩戴在佩戴者的头上，所述设备包括：
a)场景摄像机，所述场景摄像机安装在所述设备上远离所述佩戴者取向，以捕捉所述佩戴者的环境的场景摄像机图像；
b)眼睛跟踪摄像机，所述眼睛跟踪摄像机安装在所述设备上朝向所述佩戴者的眼睛取向，以捕捉所述佩戴者的至少一个眼睛的眼睛跟踪位置；和
c)一个或多个处理器，所述一个或多个处理器连接到所述场景摄像机以识别所述场景摄像机图像内的虚拟参考对象并且连接到所述眼睛跟踪摄像机，所述一个或多个处理器使用所述场景摄像机图像中的所述虚拟参考对象的位置和所述眼睛跟踪位置来确定所述显示装置上被所述佩戴者观察的位置；和
模板的数据库，所述模板的数据库将已知对象映射到与各个已知对象关联的参考对象，所述一个或多个处理器连接到所述数据库以基于在所述场景摄像机图像中识别的所述虚拟参考对象来识别所述电子对象。
6.一种用于识别对象的系统，所述系统包括：
设备，所述设备构造成被佩戴在佩戴者的头上；
场景摄像机，所述场景摄像机安装在所述设备上远离所述佩戴者取向，以捕捉所述佩戴者的环境的场景摄像机图像；
眼睛跟踪摄像机，所述眼睛跟踪摄像机安装在所述设备上朝向所述佩戴者的眼睛取向，以捕捉所述佩戴者的至少一个眼睛的眼睛跟踪位置；
一个或多个处理器，所述一个或多个处理器连接到所述场景摄像机以确定所述场景摄像机图像内的场景参考位置并且连接到所述眼睛跟踪摄像机；和
模板的数据库，所述模板的数据库将已知对象映射到与各个已知对象关联的场景参考位置，所述一个或多个处理器连接到所述数据库以识别与从场景图像获取的所述场景参考位置相关联的对象。
CN201280034239.XA 2011-05-20 2012-05-19 用于识别视线跟踪场景参考位置的系统和方法 Active CN103748598B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/113,003 2011-05-20
US13/113,003 US8885877B2 (en) 2011-05-20 2011-05-20 Systems and methods for identifying gaze tracking scene reference locations
PCT/US2012/038743 WO2012162204A2 (en) 2011-05-20 2012-05-19 Systems and methods for identifying gaze tracking scene reference locations

Publications (2)

Publication Number Publication Date
CN103748598A CN103748598A (zh) 2014-04-23
CN103748598B true CN103748598B (zh) 2017-06-09

Family

ID=47174944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280034239.XA Active CN103748598B (zh) 2011-05-20 2012-05-19 用于识别视线跟踪场景参考位置的系统和方法

Country Status (6)

Country Link
US (2) US8885877B2 (zh)
EP (1) EP2710516B1 (zh)
JP (1) JP6308940B2 (zh)
CN (1) CN103748598B (zh)
CA (2) CA3081251C (zh)
WO (1) WO2012162204A2 (zh)

Families Citing this family (187)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081123A1 (en) * 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8781162B2 (en) * 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
CN102292017B (zh) * 2009-01-26 2015-08-05 托比股份公司 由光学基准信号辅助的对凝视点的检测
KR101114993B1 (ko) * 2011-02-28 2012-03-06 (재)예수병원유지재단 눈 위치를 추적하는 의료용 헤드램프
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
US9785835B2 (en) * 2011-03-22 2017-10-10 Rochester Institute Of Technology Methods for assisting with object recognition in image sequences and devices thereof
US8787666B2 (en) * 2011-11-21 2014-07-22 Tandent Vision Science, Inc. Color analytics for a digital image
US8864310B2 (en) 2012-05-01 2014-10-21 RightEye, LLC Systems and methods for evaluating human eye tracking
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US9398229B2 (en) * 2012-06-18 2016-07-19 Microsoft Technology Licensing, Llc Selective illumination of a region within a field of view
US9674436B2 (en) 2012-06-18 2017-06-06 Microsoft Technology Licensing, Llc Selective imaging zones of an imaging sensor
CA2870751C (en) * 2012-07-31 2015-08-18 Japan Science And Technology Agency Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium
US9443414B2 (en) * 2012-08-07 2016-09-13 Microsoft Technology Licensing, Llc Object tracking
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
EP2929413B1 (en) 2012-12-06 2020-06-03 Google LLC Eye tracking wearable devices and methods for use
JP6105953B2 (ja) * 2013-01-25 2017-03-29 京セラ株式会社 電子機器、視線入力プログラムおよび視線入力方法
JP6199038B2 (ja) * 2013-02-04 2017-09-20 学校法人東海大学 視線分析装置
US20140240226A1 (en) * 2013-02-27 2014-08-28 Robert Bosch Gmbh User Interface Apparatus
WO2014133166A1 (ja) 2013-02-28 2014-09-04 Hoya株式会社 眼鏡レンズの設計システム、供給システム、設計方法及び製造方法
ES2877350T3 (es) * 2013-03-11 2021-11-16 Childrens Healthcare Atlanta Inc Procedimientos para la detección de afecciones cognitivas y del desarrollo
US9335547B2 (en) 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
US10341611B2 (en) 2013-04-30 2019-07-02 Inuitive Ltd. System and method for video conferencing
WO2014188727A1 (ja) 2013-05-22 2014-11-27 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
US20140358009A1 (en) * 2013-05-30 2014-12-04 Michael O'Leary System and Method for Collecting Eye-Movement Data
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
AT513987B1 (de) * 2013-08-23 2014-09-15 Ernst Dipl Ing Dr Pfleger Brille und Verfahren zur Bestimmung von Pupillenmittelpunkten beider Augen eines Menschen
CN103630116B (zh) * 2013-10-10 2016-03-23 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位装置
CN103557859B (zh) * 2013-10-10 2015-12-23 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
WO2015060869A1 (en) * 2013-10-25 2015-04-30 Intel Corporation Dynamic optimization of light source power
CN103617432B (zh) * 2013-11-12 2017-10-03 华为技术有限公司 一种场景识别方法及装置
DE102013224962A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Anordnung zum Erstellen eines Bildes einer Szene
US9292765B2 (en) * 2014-01-07 2016-03-22 Microsoft Technology Licensing, Llc Mapping glints to light sources
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160048019A1 (en) * 2014-08-12 2016-02-18 Osterhout Group, Inc. Content presentation in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US11265534B2 (en) 2014-02-08 2022-03-01 Microsoft Technology Licensing, Llc Environment-dependent active illumination for stereo matching
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9442292B1 (en) * 2014-02-18 2016-09-13 Google Inc. Directional array sensing module
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
KR101557152B1 (ko) 2014-04-02 2015-10-05 서울시립대학교 산학협력단 광고노출 측정 장치, 방법 및 기록매체
US20150302252A1 (en) * 2014-04-16 2015-10-22 Lucas A. Herrera Authentication method using multi-factor eye gaze
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9766715B2 (en) * 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
JP6550460B2 (ja) 2014-05-09 2019-07-24 グーグル エルエルシー 眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証
JP6311461B2 (ja) * 2014-06-05 2018-04-18 大日本印刷株式会社 視線分析システムおよび視線分析装置
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
KR101606726B1 (ko) * 2014-06-13 2016-03-28 엘지전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스를 포함하는 조명 시스템
TWI645230B (zh) 2014-08-03 2018-12-21 帕戈技術股份有限公司 穿戴式照相機系統與用於將照相機系統或其他電子裝置附接至穿戴式製品之設備及方法
US9635222B2 (en) * 2014-08-03 2017-04-25 PogoTec, Inc. Wearable camera systems and apparatus for aligning an eyewear camera
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9798143B2 (en) * 2014-08-11 2017-10-24 Seiko Epson Corporation Head mounted display, information system, control method for head mounted display, and computer program
US9489739B2 (en) * 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
US9703119B2 (en) * 2014-08-13 2017-07-11 Google Inc. Compact folding architecture for head mounted device
US9829708B1 (en) * 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
KR20160051411A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 외부의 물체를 제어하는 전자 장치 및 그 방법
US9936195B2 (en) * 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
EP3236338B1 (en) * 2014-12-17 2019-12-18 Sony Corporation Information processing apparatus, information processing method and program
MX2017008519A (es) 2014-12-23 2018-06-27 Pogotec Inc Sistema y metodos de camara inalambrica.
US9911395B1 (en) * 2014-12-23 2018-03-06 Amazon Technologies, Inc. Glare correction via pixel processing
US20160189341A1 (en) * 2014-12-29 2016-06-30 Sling Media Pvt Ltd Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
WO2016110451A1 (en) * 2015-01-07 2016-07-14 The Eye Tribe Aps Dynamic camera or light operation
EP3051386A1 (en) * 2015-01-30 2016-08-03 4tiitoo GmbH Eye tracking system and method
DK179537B1 (en) * 2015-02-04 2019-02-08 Itu Business Development A/S Tin traces and eye tracking methods
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
CN107533634A (zh) * 2015-03-23 2018-01-02 控制辐射系统有限公司 眼睛跟踪系统
CN106155459B (zh) * 2015-04-01 2019-06-14 北京智谷睿拓技术服务有限公司 交互方法、交互装置及用户设备
CN106155288B (zh) 2015-04-10 2019-02-12 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
AU2016265703B2 (en) * 2015-05-15 2021-06-17 Vertical Optics, LLC Wearable vision redirecting devices
US9690119B2 (en) 2015-05-15 2017-06-27 Vertical Optics, LLC Wearable vision redirecting devices
IL244255A (en) 2016-02-23 2017-04-30 Vertical Optics Llc Wearable devices for deflecting vision
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
GB2539009A (en) * 2015-06-03 2016-12-07 Tobii Ab Gaze detection method and apparatus
CN104905764B (zh) * 2015-06-08 2017-09-12 四川大学华西医院 一种基于fpga的高速视线跟踪方法
US10481417B2 (en) 2015-06-10 2019-11-19 PogoTec, Inc. Magnetic attachment mechanism for electronic wearable device
AU2016274951A1 (en) 2015-06-10 2018-01-04 PogoTec, Inc. Eyewear with magnetic track for electronic wearable device
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
CN105007424A (zh) * 2015-07-22 2015-10-28 深圳市万姓宗祠网络科技股份有限公司 一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备
KR101734287B1 (ko) * 2015-08-04 2017-05-11 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어방법
DE112016003719T5 (de) * 2015-08-15 2018-05-09 Google LLC (n.d.Ges.d. Staates Delaware) System und Verfahren für Biomechanik-basierte Augensignale zur Interaktion mit realen und virtuellen Objekten
JP6641122B2 (ja) * 2015-08-27 2020-02-05 キヤノン株式会社 表示装置及び情報処理装置及びその制御方法
WO2017075405A1 (en) 2015-10-29 2017-05-04 PogoTec, Inc. Hearing aid adapted for wireless power reception
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
CN112667190A (zh) * 2015-12-18 2021-04-16 麦克赛尔株式会社 头戴式显示器装置
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US11558538B2 (en) 2016-03-18 2023-01-17 Opkix, Inc. Portable camera system
WO2017191631A1 (en) * 2016-05-02 2017-11-09 Waves Audio Ltd. Head tracking with adaptive reference
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10261328B2 (en) 2016-09-02 2019-04-16 Microsoft Technology Licensing, Llc Enhanced illumination system
CN107844734B (zh) * 2016-09-19 2020-07-07 杭州海康威视数字技术股份有限公司 监控目标确定方法及装置、视频监控方法及装置
US10623628B2 (en) * 2016-09-27 2020-04-14 Snap Inc. Eyewear device input mechanism
EP3539285A4 (en) 2016-11-08 2020-09-02 Pogotec, Inc. PORTABLE ELECTRONIC DEVICE INTELLIGENT BOX
US10517520B2 (en) * 2016-11-10 2019-12-31 Neurotrack Technologies, Inc. Method and system for correlating an image capturing device to a human user for analysis of cognitive performance
US10726257B2 (en) * 2016-12-01 2020-07-28 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
EP3401899B1 (en) * 2017-05-11 2021-09-08 ams International AG Method for controlling a display parameter of a mobile device and computer program product
CN109145684B (zh) * 2017-06-19 2022-02-18 西南科技大学 基于区域最匹配特征点的头部状态监测方法
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
GR20170100473A (el) * 2017-10-16 2019-05-24 Στυλιανος Γεωργιος Τσαπακης Σετ εικονικης πραγματικοτητας με δυο καμερες για παρακολουθηση των οφθαλμων του χρηστη, με χρηση διορθωτικων γυαλιων, δοκιμαστικων φακων και εξωτερικου μπουτον ή/ και ανοιγματων για τον ελεγχο της εσωτερικης υπολογιστικης συσκευης
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
KR20190078475A (ko) * 2017-12-26 2019-07-04 (주)스코넥엔터테인먼트 가상 환경 제어 시스템
EP3750029A1 (en) 2018-02-09 2020-12-16 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154510A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US10564716B2 (en) 2018-02-12 2020-02-18 Hong Kong Applied Science and Technology Research Institute Company Limited 3D gazing point detection by binocular homography mapping
US10775616B1 (en) 2018-03-21 2020-09-15 Facebook Technologies, Llc Lenses integrated with micro-light emitting diodes
US11010646B2 (en) * 2018-04-10 2021-05-18 Facebook Technologies, Llc Object tracking assisted with hand or eye tracking
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
CN110488489B (zh) * 2018-05-15 2022-10-11 苹果公司 用于头戴式壳体的眼睛登记
US10863812B2 (en) 2018-07-18 2020-12-15 L'oreal Makeup compact with eye tracking for guidance of makeup application
US11269402B1 (en) * 2018-08-03 2022-03-08 Snap Inc. User interface interaction paradigms for eyewear device with limited field of view
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法
US10706281B2 (en) * 2018-08-10 2020-07-07 Microsoft Technology Licensing, Llc Controlling focal parameters of a head mounted display based on estimated user age
US10942349B2 (en) 2018-08-21 2021-03-09 Facebook Technologies, Llc Illumination assembly with in-field micro devices
US11300857B2 (en) 2018-11-13 2022-04-12 Opkix, Inc. Wearable mounts for portable camera
JP7143736B2 (ja) 2018-11-20 2022-09-29 トヨタ自動車株式会社 運転支援装置、ウェアラブル装置、運転支援方法およびプログラム
WO2020147948A1 (en) * 2019-01-16 2020-07-23 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11430414B2 (en) * 2019-10-17 2022-08-30 Microsoft Technology Licensing, Llc Eye gaze control of magnification user interface
EP3826432A1 (en) 2019-11-22 2021-05-26 Oberalp Spa Headlamp with an ai unit
EP3839411B1 (fr) * 2019-12-17 2023-08-23 John Cockerill Defense SA Système intelligent pour le contrôle de fonctions dans une tourelle de véhicule de combat
CN111950462B (zh) * 2020-08-13 2022-03-25 深圳市商汤科技有限公司 亮度调节方法及装置、电子设备及存储介质
US11350506B1 (en) 2021-05-03 2022-05-31 Ober Alp S.P.A. Adaptive illumination control via activity classification
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5092669A (en) * 1990-03-16 1992-03-03 Migra Limited Optical device and method for using same
WO1999066490A1 (en) * 1998-06-17 1999-12-23 Eye Control Technologies, Inc. Video processing methods and apparatus for gaze point tracking
US6373961B1 (en) * 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
WO2004066097A2 (en) * 2003-01-23 2004-08-05 Tengshe Vishwas V Gaze tracking system and method
CN1960670A (zh) * 2004-04-01 2007-05-09 威廉·C·托奇 用于监控眼睛运动的生物传感器、通信器、和控制器及其使用方法
US7439940B1 (en) * 1993-01-07 2008-10-21 Maguire Jr Francis J Passive virtual reality
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals

Family Cites Families (163)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4595990A (en) 1980-12-31 1986-06-17 International Business Machines Corporation Eye controlled information transfer
US4439157A (en) 1982-05-03 1984-03-27 The United States Of America As Represented By The Secretary Of The Navy Helmet mounted display projector
US4568159A (en) 1982-11-26 1986-02-04 The United States Of America As Represented By The Secretary Of The Navy CCD Head and eye position indicator
EP0125808A3 (en) 1983-04-18 1986-01-29 Lee S. Weinblatt Eye movement monitoring technique
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US4950069A (en) 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
US5231674A (en) 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
JPH03109030A (ja) 1989-09-22 1991-05-09 Canon Inc 注視点検出装置
US5367315A (en) 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
US5331149A (en) 1990-12-31 1994-07-19 Kopin Corporation Eye tracking system having an array of photodetectors aligned respectively with an array of pixels
US5739912A (en) * 1991-04-26 1998-04-14 Nippon Telegraph And Telephone Corporation Object profile measuring method and apparatus
US5270748A (en) 1992-01-30 1993-12-14 Mak Technologies, Inc. High-speed eye tracking device and method
US5583590A (en) 1992-05-04 1996-12-10 Wabash Scientific Corp. Alert monitoring system
US5345281A (en) 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
US5517021A (en) 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5471542A (en) 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
GB9323970D0 (en) 1993-11-22 1994-01-12 Toad Innovations Ltd Safety device
JPH07184089A (ja) * 1993-12-21 1995-07-21 Canon Inc ビデオカメラ
US5481622A (en) 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
US5583795A (en) 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US5689241A (en) 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5585871A (en) 1995-05-26 1996-12-17 Linden; Harry Multi-function display apparatus
US5861936A (en) 1996-07-26 1999-01-19 Gillan Holdings Limited Regulating focus in accordance with relationship of features of a person's eyes
US6163281A (en) 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6070098A (en) 1997-01-11 2000-05-30 Circadian Technologies, Inc. Method of and apparatus for evaluation and mitigation of microsleep events
WO1998049028A1 (en) 1997-04-25 1998-11-05 Applied Science Group, Inc. An alertness monitor
WO1999005988A2 (en) 1997-07-30 1999-02-11 Applied Science Laboratories An eye tracker using an off-axis, ring illumination source
CA2307877C (en) 1997-10-30 2005-08-30 The Microoptical Corporation Eyeglass interface system
US6055322A (en) 1997-12-01 2000-04-25 Sensor, Inc. Method and apparatus for illuminating and imaging eyes through eyeglasses using multiple sources of illumination
US6088470A (en) 1998-01-27 2000-07-11 Sensar, Inc. Method and apparatus for removal of bright or dark spots by the fusion of multiple images
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6614408B1 (en) 1998-03-25 2003-09-02 W. Stephen G. Mann Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6184863B1 (en) * 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
US6282553B1 (en) 1998-11-04 2001-08-28 International Business Machines Corporation Gaze-based secure keypad entry system
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6577329B1 (en) 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
US7120880B1 (en) 1999-02-25 2006-10-10 International Business Machines Corporation Method and system for real-time determination of a subject's interest level to media content
US6952198B2 (en) * 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US20010010514A1 (en) * 1999-09-07 2001-08-02 Yukinobu Ishino Position detector and attitude detector
US6346887B1 (en) 1999-09-14 2002-02-12 The United States Of America As Represented By The Secretary Of The Navy Eye activity monitor
US6330356B1 (en) * 1999-09-29 2001-12-11 Rockwell Science Center Llc Dynamic visual registration of a 3-D object with a graphical model
US6864912B1 (en) 1999-12-16 2005-03-08 International Business Machines Corp. Computer system providing hands free user input via optical means for navigation or zooming
JP2001183735A (ja) * 1999-12-27 2001-07-06 Fuji Photo Film Co Ltd 撮像装置および方法
US6758563B2 (en) 1999-12-30 2004-07-06 Nokia Corporation Eye-gaze tracking
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US6873314B1 (en) 2000-08-29 2005-03-29 International Business Machines Corporation Method and system for the recognition of reading skimming and scanning from eye-gaze patterns
US6608615B1 (en) * 2000-09-19 2003-08-19 Intel Corporation Passive gaze-driven browsing
GB0023172D0 (en) 2000-09-20 2000-11-01 Minter Kemp Martin J Wakeup vizor
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
JP2002143094A (ja) 2000-11-07 2002-05-21 Nac Image Technology Inc 視線検出装置
EP1357831A2 (en) 2001-02-09 2003-11-05 Sensomotoric Instruments GmbH Multidimensional eye tracking and position measurement system
DE10108064A1 (de) 2001-02-20 2002-09-05 Siemens Ag Verknüpfte Eye-Tracking-Information innerhalb eines Augmented-Reality-Systems
GB2372683A (en) 2001-02-23 2002-08-28 Ibm Eye tracking display apparatus
US6959102B2 (en) 2001-05-29 2005-10-25 International Business Machines Corporation Method for increasing the signal-to-noise in IR-based eye gaze trackers
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
GB0113533D0 (en) 2001-06-05 2001-07-25 Brigantia Software Ltd Apparatus and method for testing visual response
US20030043268A1 (en) 2001-06-26 2003-03-06 Mann W. Stephen G. EyeTap vehicle or vehicle controlled by headworn camera, or the like
GB0119859D0 (en) 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US6997556B2 (en) 2001-10-01 2006-02-14 Ernst Pfleger Method for detecting, evaluating, and analyzing look sequences
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
AU2002361210A1 (en) 2001-12-21 2003-07-09 Sensomotoric Instruments Gmbh Method and apparatus for eye registration
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US7197165B2 (en) 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
US7206435B2 (en) 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
US6919907B2 (en) 2002-06-20 2005-07-19 International Business Machines Corporation Anticipatory image capture for stereoscopic remote viewing with foveal priority
US20150150455A9 (en) 2002-07-03 2015-06-04 Epley Research, Llc Stimulus-evoked vestibular evaluation system, method and apparatus
US20040061680A1 (en) 2002-07-10 2004-04-01 John Taboada Method and apparatus for computer control
NL1021496C2 (nl) 2002-09-19 2004-03-22 Joannes Hermanus Heiligers Signaleringsinrichting en werkwijze voor het monitoren van alertheid van personen.
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US7206022B2 (en) * 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
US7306337B2 (en) 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
AU2003901528A0 (en) 2003-03-31 2003-05-01 Seeing Machines Pty Ltd Eye tracking system and method
JP2004310470A (ja) 2003-04-07 2004-11-04 Advanced Telecommunication Research Institute International 視線位置を判定し組合わせるためのシステム及びコンピュータで実行可能なプログラム
US7259785B2 (en) * 2003-04-28 2007-08-21 Hewlett-Packard Development Company, L.P. Digital imaging method and apparatus using eye-tracking control
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US7391888B2 (en) 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
US7068815B2 (en) * 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
US7145550B2 (en) 2003-08-08 2006-12-05 Lucent Technologies Inc. Method and apparatus for reducing repetitive motion injuries in a computer user
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
KR20050025927A (ko) 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
WO2005046465A1 (en) 2003-11-14 2005-05-26 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7365738B2 (en) 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US7561143B1 (en) 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
GB2412431B (en) 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
US7331671B2 (en) 2004-03-29 2008-02-19 Delphi Technologies, Inc. Eye tracking method based on correlation and detected eye movement
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US20110077548A1 (en) 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
ES2568506T3 (es) 2004-06-18 2016-04-29 Tobii Ab Control ocular de aparato computador
JP4560368B2 (ja) 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
JP4632417B2 (ja) * 2004-10-26 2011-02-16 キヤノン株式会社 撮像装置、及びその制御方法
US20060209013A1 (en) * 2005-03-17 2006-09-21 Mr. Dirk Fengels Method of controlling a machine connected to a display by line of vision
US7676063B2 (en) 2005-03-22 2010-03-09 Microsoft Corp. System and method for eye-tracking and blink detection
DE602006016961D1 (de) 2005-08-11 2010-10-28 Sleep Diagnostics Pty Ltd Wachheit erfassende brillen
US7580545B2 (en) 2005-10-03 2009-08-25 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for determining gaze direction in a pupil detection system
US8602791B2 (en) 2005-11-04 2013-12-10 Eye Tracking, Inc. Generation of test stimuli in visual media
EP1977374A4 (en) 2005-11-30 2012-09-05 Seeing Machines Pty Ltd VISUAL TRACKING OF GLASSES IN VISUAL HEAD AND EYE TRACKING SYSTEMS
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
DE102006002001B4 (de) 2006-01-16 2009-07-23 Sensomotoric Instruments Gmbh Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
US7747068B1 (en) 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
US8360578B2 (en) 2006-01-26 2013-01-29 Nokia Corporation Eye tracker device
US9213404B2 (en) 2006-02-01 2015-12-15 Tobii Technology Ab Generation of graphical feedback in a computer system
WO2007092512A2 (en) 2006-02-07 2007-08-16 Attention Technologies, Inc. Driver drowsiness and distraction monitor
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US7986816B1 (en) 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
US7646422B2 (en) 2006-10-04 2010-01-12 Branislav Kisacanin Illumination and imaging system with glare reduction and method therefor
US8225229B2 (en) 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
SE0602545L (en) 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
US7783077B2 (en) 2006-12-01 2010-08-24 The Boeing Company Eye gaze tracker system and method
KR100850357B1 (ko) 2006-12-06 2008-08-04 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
US20080166052A1 (en) 2007-01-10 2008-07-10 Toshinobu Hatano Face condition determining device and imaging device
US8457352B2 (en) 2007-05-23 2013-06-04 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
US7556377B2 (en) 2007-09-28 2009-07-07 International Business Machines Corporation System and method of detecting eye fixations using adaptive thresholds
ITRM20070526A1 (it) * 2007-10-05 2009-04-06 Univ Roma Apparato di acquisizione ed elaborazione delle informazioni relative ad attivita oculari umane
US20090196460A1 (en) 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
US8494229B2 (en) 2008-02-14 2013-07-23 Nokia Corporation Device and method for determining gaze direction
TW200947262A (en) 2008-05-05 2009-11-16 Utechzone Co Ltd Non-contact type cursor control method using human eye, pupil tracking system and storage media
EP2306891A1 (en) 2008-07-08 2011-04-13 IT University of Copenhagen Eye gaze tracking
CA2729183C (en) 2008-07-18 2016-04-26 Optalert Pty Ltd Alertness sensing device
US7736000B2 (en) * 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
TWI432172B (zh) 2008-10-27 2014-04-01 Utechzone Co Ltd Pupil location method, pupil positioning system and storage media
US8730266B2 (en) 2008-11-13 2014-05-20 Queen's University At Kingston System and method for integrating gaze tracking with virtual reality or augmented reality
US20100128118A1 (en) 2008-11-26 2010-05-27 Locarna Systems, Inc. Identification of visual fixations in a video stream
WO2010071928A1 (en) 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
US8401248B1 (en) * 2008-12-30 2013-03-19 Videomining Corporation Method and system for measuring emotional and attentional response to dynamic digital media content
DE102009005565A1 (de) * 2009-01-21 2010-07-22 Eads Deutschland Gmbh Verfahren zur Erkennung von Objekten
US7819525B2 (en) 2009-02-15 2010-10-26 International Business Machines Corporation Automatic direct gaze detection based on pupil symmetry
CN101807110B (zh) 2009-02-17 2012-07-04 由田新技股份有限公司 瞳孔定位方法及系统
WO2010102037A2 (en) 2009-03-03 2010-09-10 The Ohio State University Gaze tracking measurement and training system and method
WO2010106414A1 (en) 2009-03-16 2010-09-23 Nokia Corporation A controller for a directional antenna and associated apparatus and methods
TWI398796B (zh) 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
EP2237237B1 (en) 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
ES2880475T3 (es) 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US20100295774A1 (en) 2009-05-19 2010-11-25 Mirametrix Research Incorporated Method for Automatic Mapping of Eye Tracker Data to Hypermedia Content
GB0909126D0 (en) 2009-05-27 2009-07-01 Qinetiq Ltd Eye tracking apparatus
US20100321482A1 (en) 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
EP3338621B1 (en) 2009-07-16 2019-08-07 Tobii AB Eye detection unit using parallel data flow
TWI397865B (zh) 2009-08-12 2013-06-01 Utechzone Co Ltd Security personnel to monitor the degree of focus monitoring system
EP2470061A1 (en) 2009-08-26 2012-07-04 Ecole Polytechnique Fédérale de Lausanne (EPFL) Wearable systems for audio, visual and gaze monitoring
IL200627A (en) * 2009-08-27 2014-05-28 Erez Berkovich A method for dynamically changing visual indication on a display device
US8323216B2 (en) 2009-09-29 2012-12-04 William Fabian System and method for applied kinesiology feedback
EP2309307B1 (en) 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
CA3043204C (en) * 2009-11-19 2021-08-31 Esight Corp. Apparatus and method for a dynamic "region of interest" in a display system
US20110170061A1 (en) 2010-01-08 2011-07-14 Gordon Gary B Gaze Point Tracking Using Polarized Light
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8552850B2 (en) 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
US20110262887A1 (en) 2010-04-21 2011-10-27 Lc Technologies Inc. Systems and methods for gaze based attention training
CN101901485B (zh) 2010-08-11 2014-12-03 华中科技大学 3d自由头动式视线跟踪系统
WO2012021967A1 (en) 2010-08-16 2012-02-23 Tandemlaunch Technologies Inc. System and method for analyzing three-dimensional (3d) media content
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5092669A (en) * 1990-03-16 1992-03-03 Migra Limited Optical device and method for using same
US7439940B1 (en) * 1993-01-07 2008-10-21 Maguire Jr Francis J Passive virtual reality
US6373961B1 (en) * 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
WO1999066490A1 (en) * 1998-06-17 1999-12-23 Eye Control Technologies, Inc. Video processing methods and apparatus for gaze point tracking
WO2004066097A2 (en) * 2003-01-23 2004-08-05 Tengshe Vishwas V Gaze tracking system and method
CN1960670A (zh) * 2004-04-01 2007-05-09 威廉·C·托奇 用于监控眼睛运动的生物传感器、通信器、和控制器及其使用方法
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
头部自由运动的视线跟踪方法;赵新灿等;《南京航空航天大学学报》;20100815(第04期);第435-439页 *

Also Published As

Publication number Publication date
WO2012162204A3 (en) 2013-03-14
JP2014520314A (ja) 2014-08-21
US20120294478A1 (en) 2012-11-22
JP6308940B2 (ja) 2018-04-11
CN103748598A (zh) 2014-04-23
CA2836777C (en) 2020-08-04
US20150169050A1 (en) 2015-06-18
EP2710516B1 (en) 2020-05-06
CA3081251A1 (en) 2012-11-29
CA2836777A1 (en) 2012-11-29
EP2710516A4 (en) 2014-10-15
US8885877B2 (en) 2014-11-11
WO2012162204A2 (en) 2012-11-29
US9405365B2 (en) 2016-08-02
EP2710516A2 (en) 2014-03-26
CA3081251C (en) 2022-09-20

Similar Documents

Publication Publication Date Title
CN103748598B (zh) 用于识别视线跟踪场景参考位置的系统和方法
US10032074B2 (en) Systems and methods for high-resolution gaze tracking
JP6498606B2 (ja) ウエアラブル視線計測デバイス及び使用方法
EP2805671B1 (en) Ocular videography system
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
CN102918834B (zh) 用于空间控制的景物照明的系统和方法
US7845797B2 (en) Custom eyeglass manufacturing method
EP2549914B1 (en) System and method for tracking the point of gaze of an observer
KR100342159B1 (ko) 홍채영상 포착장치 및 홍채영상 포착방법
CN107368774A (zh) 注视检测设备和注视检测方法
CN105324794A (zh) 头部和眼睛跟踪
CN105955465A (zh) 一种桌面便携式视线跟踪方法及装置
JPH0782539B2 (ja) 瞳孔画像撮影装置
WO2005071468A1 (en) Custom eyeglass manufacturing method
CN107077593A (zh) 用于显示屏增强的系统和方法
US20170263017A1 (en) System and method for tracking gaze position
CN103429141B (zh) 用于确定优势眼的方法
CN110398830A (zh) 显微系统以及用于操作显微系统的方法
KR20110038568A (ko) 시선 위치 추적 장치 및 방법
WO2009043927A1 (en) Apparatus for acquiring and processing information relating to human eye movements
Tatler et al. Eye movement recordings in natural settings
CN109964230A (zh) 用于眼睛度量采集的方法和设备
US20220365354A1 (en) Segmented illumination display
Parada et al. ExpertEyes: Open-source, high-definition eyetracking
Ebisawa Realtime 3D position detection of human pupil

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20181102

Address after: American California

Patentee after: Google limited liability company

Address before: Nevada

Patentee before: EYEFLUENCE INC