CN105247447B - 眼睛跟踪校准系统及方法 - Google Patents

眼睛跟踪校准系统及方法 Download PDF

Info

Publication number
CN105247447B
CN105247447B CN201480020096.6A CN201480020096A CN105247447B CN 105247447 B CN105247447 B CN 105247447B CN 201480020096 A CN201480020096 A CN 201480020096A CN 105247447 B CN105247447 B CN 105247447B
Authority
CN
China
Prior art keywords
user
path
eye
mobile object
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480020096.6A
Other languages
English (en)
Other versions
CN105247447A (zh
Inventor
哈维尔·圣阿古斯丁·洛佩斯
约翰·保林·汉森
塞巴斯蒂安·什图克
马丁·亨里克·塔尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN105247447A publication Critical patent/CN105247447A/zh
Application granted granted Critical
Publication of CN105247447B publication Critical patent/CN105247447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Abstract

本发明提供了一种便于眼睛跟踪控制校准的方法和系统。一个或多个对象显示在装置的显示器上，其中，一个或多个对象与一个函数相关联，所述函数与一个或多个校准参数的计算无关。一个或多个校准参数与所述装置的用户的视线信息的计算的校准相关，其中，所述视线信息指示了用户正在观看的地方。当一个或多个对象显示时，确定了与用户有关的眼睛运动信息，其指示了一只或两只眼睛特征的眼睛运动，所述眼睛特征与用户的至少一只眼睛相关联。所述眼睛运动信息与一个或多个对象的第一对象的位置相关联。基于与所述眼睛运动信息相关联的所述第一对象位置计算一个或多个校准参数。

Description

眼睛跟踪校准系统及方法
相关申请的交叉引用
本申请要求2013年2月14日提交的申请号为61/764939，名称为“眼睛跟踪校准系统和方法”的美国临时申请的优先权，该临时申请的全部内容通过引用并入本文。
技术领域
本发明一般涉及眼睛跟踪控制，更具体地，涉及便于眼睛跟踪控制校准的系统和方法。
背景技术
采用眼睛跟踪技术可确定用户的视线，根据视线被追踪的特定用户可校准所述眼睛跟踪技术。眼睛跟踪技术的校准包括在显示器上显示校准点。在所述校准过程中，用户可注视该校准点，基于所述校准点的已知位置和通过在校准过程中捕获的图像呈现的眼睛信息校准所述眼睛跟踪技术。
哈钦森在美国专利4950069中描述了校准技术的一个实施例，该实施例记载了在显示器的已知位置上显示的一系列校准点。用户注视每个校准点，同时该系统收集与用户瞳孔中心和闪烁中心有关的信息。一旦校准过程完成，该系统计算一组线性方程的系数，所述线性方程将瞳孔-闪烁(pupil-glint)位移映射到屏幕的坐标上。
美国专利申请US2011254865A1公开了一种配备有触摸屏用户界面/显示器和数码相机的计算装置的用户界面，所述用户界面使用户视线内的显示图像的一部分增强。用户可通过用一根或多根手指触摸部分所述触摸屏并用它们的眼睛跟随所述显示器上的移动图像校准移动装置。所述移动装置可跟踪用户正在观看的地方，且如果所述用户正在看所述移动装置的显示器，那么在用户的视线附近的部分所述显示器的尺寸增加。在一个实施例中，如果所述用户正在看虚拟键盘，在用户视线附近的键盘图标的尺寸可增加，增加的尺寸与用户指尖的尺寸相当。以这种方式，用户可在虚拟键盘上选择单个键盘，所述虚拟键盘适合于移动装置的显示器。
这种校准技术提高了眼睛跟踪技术的准确性，但是它们明确涉及用户的参与，这可能复杂和费时。另外，如果校准丢失(例如，由于环境中照明的改变)，用户需要停止当前的活动重新运行校准过程调整校准参数。
附图说明
通过举例的方式说明某些实施例但不限于附图。
图1为与对接装置耦合的计算装置的一个实施例的装置示意图，所述对接装置能便于眼睛跟踪控制；
图2为与对接装置耦合的计算装置的另一个实施例的装置示意图，所述对接装置能便于眼睛跟踪控制；
图3A-3C为计算装置的实施例的装置示意图，所述计算装置能便于眼睛跟踪控制。
图4为便于眼睛跟踪控制的软件架构(software architecture)的一个实施例的框图。
图5为便于眼睛跟踪控制的数据流的一个实施例的框图。
图6A-6C为界面示意图，该示意图描述了显示了对象的用户界面的实施例，该用户界面便于眼睛跟踪校准。
图7为在输入个人识别号码的过程中，便于眼睛跟踪校准的方法的一个实施例的流程图。
图8A和8B为便于眼睛跟踪校准的方法的实施例的流程图。
图9为计算系统形式的机器的框图，该计算系统中的一组指令用于使该机器执行在此讨论的一个或多个方法。
发明内容
对便于眼睛跟踪控制校准的系统和方法的实施例进行了说明。在下面的描述中，出于解释的目的，详细描述了许多具体的细节以便充分理解实施例。然而，很明显，无需这些具体的细节本领域技术人员也可实施本技术。
计算装置的用户可与对象交互和控制对象，且通过用户的眼睛运动，应用显示在所述计算装置上。由所述计算装置或与所述计算装置耦合的对接装置上的相机捕获的用户的眼睛和/或面部图像可采用计算机视觉算法如眼睛跟踪和视线检测算法分析。例如，捕获的图像可被处理以提取与用户的眼睛和/或面部特征有关的信息。然后，所述计算装置使用提取的信息确定用户眼睛的位置并估算与用户有关的视线信息。用户的视线信息可估算用户正在观看的地方并包括如用户视线、注视信息的点(如，用户正在观看的在所述显示器上的位置)、用户注视的方向等信息。例如，所述计算装置能估算用户正在观看的显示器上的图标。对用户正在观看的估算可用于指示一个或多个对象、应用程序等，以执行特定操作。例如，根据用户正在观看的位于所述计算装置的所述显示器上的地方，用户可指示和控制所述显示器上的对象的运动，包括控制滚动功能、虚拟游戏中对象的运动、控制指针和光标的位置等。对用户正在观看的估算还可用于分析显示在吸引用户注意力的屏幕上的区域或对象，或者，所述估算还可用于研究用户注视的图形用户界面上的对象。例如，通过吸引用户注意力的眼睛跟踪信息指示区域或对象可改进应用程序用户界面的设计，因而当与应用程序交互时，用户有更好的经验。
当用户开始使用所述计算装置时，可进行校准过程，以计算与所述用户有关的校准参数。可考虑这些校准参数以准确地确定使用者眼睛的位置并估算用户正在观看的所述显示器上的位置。还可考虑所述校准参数以确定三维(3-D)空间(如，视线)中用户眼睛视线的方向。当调节与用户有关的独特的特性时，通过显示所述显示器上的已知位置上的一系列一个或多个显示对象，所述计算装置可校准眼睛控制计算并确定用户正在观看的所述显示器上的位置。该校准过程可以用户不知道正在校准的方式执行。例如，用户可以玩包括显示游戏对象的游戏，因而它们可在所述计算装置的所述显示器上移动。所述游戏对象可用于隐蔽地校准所述眼睛控制计算，以更准确地反映用户的眼睛特性。该系统的这种校准是连续的，且可发生在所述用户以不被用户发觉的校准的方式玩游戏的时候。在应用程序不直接由用户控制的情况下(如，当广告在屏幕上显示时收集视线数据)，所述校准参数可基于检测到的所述眼睛运动模式离线计算。
具体实施例
图1为计算装置102的一个实施例的装置示意图100，所述计算装置102与对接装置104耦合，所述对接装置104能方便眼睛跟踪控制。所述计算装置102可以是任何类型的计算装置，包括但不限于智能电话、掌上电脑(PDA)、移动电话、平板电脑、电子阅读器、电视机、笔记本电脑、台式计算机、显示装置、头盔式显示器等。在眼睛跟踪控制的过程中，用户可用一只手、两只手握住所述计算装置102并使用所述计算装置102，或当所述计算装置102放置在支架上或支撑在表面上时，用户可使用所述计算装置102。
对接装置104可与所述计算装置102以任何方式耦合，例如通过所述计算装置102上的通用串行总线(USB)接口、所述计算装置102上的微型USB接口等。虽然图1中的所述对接装置104设置在所述计算装置102的底部，但是本领域技术人员可理解所述对接装置104可位于与所述计算装置102相关的任何合适位置上。所述对接装置104可包括相机模块108和一个或多个发光二极管(LED)106。出于解释的目的，整个本发明描述和记载了发光二极管106。然而，本领域的普通技术人员可理解可使用任何合适的发光源(例如，红外线激光器)。另外，虽然本发明描述了一个或多个LED，但是本领域的普通技术人员能理解没有LED也可以实现眼睛跟踪功能。
所述对接装置104包括任何数量的红外线LED 106，所述红外线LED可以任何方式放置在所述对接装置104中的合适位置(例如，倾斜一定的角度使它指向用户的面部)。在一个具体的实施方案中，一个或多个LED 106与一个或多个相机同步。当一个或多个相机抓帧时，一个或多个LED打开，否则关闭。在某些实施例中，如果没有检测到运动或者如果所述对接设备104和/或计算设备102进入睡眠模式，可关闭LED。
在某些实施例中，所述对接装置104还包括适合类型的红外通过滤光片(infraredpass filter)(例如，有源、机械、高通、带通等)。在某些实施例中使用了能阻止800nm以下的光并允许800nm以上的光通过的高通滤光片。在某些实施例中，所述红外带通滤光片只能允许800-900nm之间的光进入所述相机模块108的一个或多个相机中。
所述相机模块108包括一个或多个面向前的相机，所述相机以任何方式设置在所述对接装置104(如，倾斜一定的角度以指向用户的面部)中的任何合适位置，且用于捕获用户的眼睛和/或面部图像。一个或多个相机与LED 106以适当的距离设置，以优化红外光的适当捕获。在某些实施例中，所述计算装置102上的相机与立体声模式的相机模块108结合使用。在某些实施例中，所述相机模块108包括以下中任何一个或多个：以合适的每秒帧速度(frame-per-second rate)(如，每秒30帧的高清)运行的黑白(例如，单色)或彩色(例如，RGB)的互补金属氧化物半导体(CMOS)传感器、无红外阻断滤光片且具有适当视野(如，约35°)和景深(depth of field)的镜头(如，约30-80cm的移动设备和约2-5m的电视机)等。所述相机模块108中的一个或多个相机倾斜朝向用户的面部。
相机捕获的图像可以旋转。所述眼睛跟踪软件可使用所述计算装置102(如，加速度计、磁力计等)上的传感器检测所述计算装置102的朝向并使所述图像相应地旋转，从而使它能够被适当地处理。
LED 106发出的光可朝向用户的眼睛聚焦并集中。来自LED 106的红外光在瞳孔中和用户的眼角膜上反射并由所述相机模块108中的相机记录。在某些实施例中，所述LED106与一个或多个相机同步，因而当一个或多个相机抓取图像时，所述LED 106只是打开。在某些实施例中，为了提高图像的质量，采用红外通过滤光片过滤掉800nm以下的可见光。所述相机模块108中的一个或多个相机的镜头的视野和景深允许用户走来走去，从而适应用户的头部姿势变化。所述眼睛跟踪控制软件可以分析所述相机模块108捕获的图像，以提供用户正在观看的所述计算装置102的所述显示器上的位置的屏幕坐标(x，y)。这些坐标可用于很多应用(如，滚动、移动对象、选择图标、玩游戏等)。
LED 106和相机模块108可以任何方式打开和/或关闭，例如通过利用外部滑块、所述计算装置102或所述对接装置104的侧面或背后上的专用开关按钮，或由屏幕上的应用程序或数字按钮控制、由所述计算装置102和/或所述对接装置104的运动或震动控制、由语音命令、屏幕上的电容式按钮、触摸板、生物信号(例如，EMG、EEG等)、远程控制、手势和/或人物姿势控制等。这样，在某些实施例中，只有当LED和所述相机打开时(例如，当用户正在使用眼睛跟踪功能时)，所述眼睛跟踪组件才会消耗功率。
在某些实施例中，当所述相机位于所述计算装置102(如，与用户的视角有关)的底部时，所述眼睛跟踪功能被优化。用户可使与所述对接装置104耦合的所述计算装置102旋转以正确地定向所述相机模块108，因此其位于所述计算装置102的底部。在某些实施方案中，通过采用所述计算装置102的所述加速计和/或磁力计，LED、通过滤波片和/或相机可根据所述计算装置102和所述对接装置104的方向(如，当所述计算装置102和所述对接装置104旋转时，关闭LED和所述相机，因而就用户的视角而言，所述相机模块108位于所述计算装置102的顶部)打开和/或关闭。
当用户的面部在设定时间(如，5-10秒)内不能被识别时，LED和相机可关闭，且当用户的面部或用户的部分面部(如，用户的虹膜)被检测和识别时，LED和相机可再次打开。
图2为与对接装置204耦合的计算装置202的另一个实施例的装置示意图200，所述对接装置能便于眼睛跟踪控制。图2所示的实施例的操作与图1所示的实施例的操作类似且可与图1中的任何一个特征结合或与图1描述的特征组合结合。然而，如图2所示，所述对接装置204可与LED 206集成，且可使用所述计算装置202的相机模块208(而不是所述相机模块与所述对接装置204集成)。在某些实施例中，采用USB、微型USB接口或专用端口耦合所述计算装置202和所述对接装置204。由于所述计算装置202的所述相机用于捕获所述图像，因而图2描述的配置可更快地传送来自所述相机的所述图像。在同时使用一个或多个面向背后的相机时，可使用用于眼睛跟踪控制的面向前的相机。
图3A-3C为计算装置的实施例的装置示意图，所述计算装置便于所述眼睛跟踪控制。图3A-3C所示的实施例的操作与图1所示的实施例的操作类似且可与图1中的任何一个特征结合或与图1描述的特征组合结合。然而，LED和相机模块可集成在所述计算装置中(而不是成为对接装置的一部分)。图3A-3C分别描述了计算装置300、310、320，所述计算装置300、310、320具有集成在所述计算装置300、310和320中具有不同实施配置(考虑到用户的视角)的LED 302、312、322和相机模块304、314、324。
所述计算装置300、310、320上的LED 302、312、322和相机模块304、314、324可位于任何一个所述计算装置的多个配置中。图3A图示了LED 302和所述相机模块304位于所述计算装置300的底部。图3B图示了LED 312位于所述计算装置310的一侧上，而所述相机模块314位于所述计算装置310的相对一侧。图3C图示了LED 322和所述相机模块324位于所述计算装置320的同一侧。
图4为便于眼睛跟踪控制的软件架构(software architecture)的一个实施例的框图。任何一个或多个软件架构400的组件可在所述计算装置的中央处理器(CPU)上运行或在所述计算装置的CPU和图形处理器(GPU)的组合上运行。在某些实施例中，所述软件架构400的任何一个或多个所述组件可在专用芯片上运行。所述软件可作为后台进程(例如，作为操作系统(OS)的一部分，在网页浏览器等)运行，且可以提供其他应用程序可以访问的应用程序编程接口(API)。所述API可产生事件或采用一些其他类似的机制将用户正在观看的所述屏幕上的所述信息发送给其他应用程序。
所述软件架构400可划分为不同的层。底层包括相机模块414和红外照明模块416，其对应于各自的硬件(例如，相机、红外照明装置等)。相机层包括相机控制模块410，其负责与相机通信以执行相机操作，例如启动相机、抓取图像、控制相机性能等。该层还包括相机和光同步模块412，其可使一个或多个相机和所述红外发射源同步，因而所述光由所述眼睛跟踪软件开启，以改进用户的眼睛跟踪和使能耗最小化。在某些实施例中，通过根据眼睛跟踪引擎(eye tracking engine)发出的参数降低或增加光的数量采用眼睛跟踪算法优化优化红外照明。在某些实施例中，所述相机层可被配置为在相机触发输出的频率上过滤(strobe)所述红外线LED。
相机层可将所述图像传送给所述眼睛跟踪层或眼睛跟踪引擎。在所述眼睛跟踪层中，视线估算模块406可处理所述图像以找到特征，如面部位置、眼睛区域位置、瞳孔中心、瞳孔大小、角膜反射位置、眼角、虹膜中心、虹膜的大小等。在视线估算阶段，所述眼睛检测和跟踪模块408可使用这些特征，这些特征负责计算用户的注视点，所述注视点为用户正在观看的所述显示器上的位置。所述视线估算模块406还可计算用户眼睛的光学和视轴线(visual axes)并基于用户的具体特征校准所述计算。
所述API层用于所述眼睛跟踪层和使用眼睛视线信息(例如，操作系统API、利用眼睛注视信息的游戏等)的应用之间的通信。API模块404发送由所述眼睛跟踪层计算的数据，如注视点的坐标、用户眼睛的三维(3D)位置、瞳孔大小、眼睛之间的距离、头部方向、头部运动等。所述API模块404还可接受来自所述眼睛跟踪层的应用程序的命令(例如，启动和/或停止所述眼睛跟踪引擎、查询特定信息等)。应用模块402可与所述眼睛跟踪API模块404连接并为了合适的目的使用眼睛视线信息(例如，控制应用程序(app)或游戏、为了研究视觉行为记录眼睛数据等)。
图5为便于眼睛跟踪控制的数据流的一个实施例的框图。一个或多个相机和红外线LED照明模块502可捕获用户的图像。所述眼睛特征检测模块504可利用捕获的数据检测眼部特征(例如，眼睛、瞳孔、虹膜、角膜反射的位置等)。使用检测到的眼部特征，所述视线估算模块506可估算用户的注视点和/或视线，然后通过所述眼睛控制模块508，所述视线估算模块506可用于控制应用的各个方面。
当用户刚开始使用所述眼睛跟踪功能时可进行校准过程以计算特定于用户的校准参数(例如，光学和视轴线之间的水平和垂直偏移)和/或计算映射函数(mappingfunction)的参数，所述映射函数将所述图像坐标系统上的眼睛特征映射到所述屏幕坐标系统上。然后通过视线估算算法，这些校准参数以及面部和眼部信息可用于估算用户正在观看所述屏幕上的位置。任何适合的校准过程可用于计算特定于用户的校准参数。
在某些实施例中，通过将由所述计算装置的显示器上显示的移动目标的路径与由眼睛信息描述的路径的匹配可校准(或者重新校准)所述眼睛跟踪系统，所述眼睛信息如瞳孔、虹膜、注视点、光学轴线、视轴线、由所述一个或多个红外光源产生的一个或多个角膜反射，或它们的组合。
在某些实施例中，使用眼睛跟踪信息的应用可显示一系列静止或移动的对象，所述静止或移动的对象与所述屏幕的不同位置的校准过程无关。例如，在游戏(如，一系列敌人)的初始阶段，游戏可显示一系列图像对象。用户查看显示的图像对象且可与它们交互(例如，通过按下一个按钮拍摄所述对象)。当用户玩该阶段的游戏时，应用会收集眼睛信息并计算校准参数，而该过程不会被用户发现。一旦一个或多个校准参数已被确定，所述系统可计算与用户有关的视线数据，包括指示了用户正在观看的所述屏幕的位置的注视点和/或指示了三维空间中用户注视方向的视线。在任何时候，所述应用可将与屏幕上图形对象的位置所对应的坐标发送给所述眼睛跟踪引擎，以使所述校准参数生效和/或更新所述校准参数。在某些实施例中，所述应用可以识别所述屏幕的一部分，在该处一个或多个校准参数不正确，并在用于调整一个或多个校准参数的区域中显示对象。
在某些实施例中，应用程序可将一个或多个对象呈现为显示在已知位置上的用于校准的文本。例如，一组指令可显示在所述屏幕上描述如何使用所述眼睛跟踪软件。当用户读取所述指令的文本时，所述眼睛跟踪系统可收集与用户相关联的眼睛信息。所述眼睛跟踪系统可确定用户何时从收集的眼睛信息中读取所述文本。当用户读取时，指令中的所述文本按顺序出现，以在任何给定时间帮助所述系统确定用户正在读取何种文本。收集的所述眼信息可与所述文本的位置相关联，并用于计算所述校准参数，一旦用户已经读完所述文本，用户的所述眼睛跟踪软件被校准。
在某些实施例中，在新装置(如，平板、智能电话、PC、TV等)的初始启动的过程中，提示用户读取和输入不同的信息。这方面的例子包括读取与所述设备有关的信息、设定所述装置的时区、设置网络、输入用户名、建立配置文件(profile)、进入下一个页面等。所述系统在用户经过这个过程时收集眼睛信息并将选择的事件(如，屏幕上具体元素的用户选择)与事件发生之前发生在时间窗口过程中的注视相匹配。以这样方式收集的所述眼睛信息可用于计算所述校准参数，因而一旦安装过程完成，所述眼睛跟踪软件被校准。
在某些实施例中，一个或多个对象(例如，移动装置上的多个个人识别号码(PIN)、对象和/或游戏中的字符等)可在所述计算装置的显示器上显示，因而它们以恒定的或可变的速度在一个路径上移动，所述速度在某个点上的值大于零。用户可看到显示的其中一个对象且用户的眼睛跟随所述对象。如果所述系统已经被校准，通过将所述对象的路径与所述用户眼睛描述的所述路径匹配，或所述计算的注视点、视轴线、光学轴线或它们的组合计算用户的校准参数。如果两个或多个对象之间存在不确定性，所述应用程序可修改路径和/或这些对象的速度，以确定用户正在观看的对象。在某些实施例中，在所述校准过程中，用户可能不知道该过程正在发生。在某些实施例中，所述校准过程可以在后台持续运行以持续改善校准质量。
在任何给定时刻，用户界面包含一组N个对象Oi(其中i＝1，...，N)，所述对象以速度Vi在路径Pi上移动。所述路径和速度可随时间改变。对于由一个或多个相机捕获的每帧，在尺寸W的窗口上，所述系统可将所述路径Pi和速度Vi与用户的一只或两只眼睛的路径E和速度Ve匹配。根据一个或多个眼睛特征(eye feature)(如，瞳孔、虹膜、一个或多个角膜反射等)的位置和运动计算所述路径E和所述速度Ve。如果所述系统已经预先校准，根据所述注视点、光学轴线、视轴线或任何其它合适的因素计算所述路径E和速度Ve。通过测量Pi和Vi以及E和Ve之间的相似性可在最后的W帧上进行比较。所述对象的坐标可标准化，因而它们在相同的坐标系中。
匹配算法可计算匹配系数Mi，所述系统指示了对象Pi的路径与一只或两只眼睛E的路径之间的相似度。在某些实施例中，所述匹配系数可以是皮尔逊积差相关系数。如果所述匹配系数Mi大于阈值T，那么轨迹被认为是匹配的。
对于每一个比较，多个对象可具有大于所述阈值的匹配系数。所述系统要么忽略该比较并继续下一帧，要么修改有争议的所述对象的路径和/或速度(且也许还有其它对象)，以确保在下一帧的匹配正确。
例如，考虑移动装置上呈现数字0-9的登录屏幕。典型地，用户不得不输入用户的PIN的正确数字，以解锁所述装置。然而，采用所述眼睛跟踪系统，用户可看到PIN的每一个数字。在某些实施例中，所述数字可在不同的方向以不同的速度移动。对于每一个由相机捕获的新图像，所述系统将所述数字的轨迹与眼睛跟踪的轨迹(例如，瞳孔中心)比较。当多于一个数字具有大于阈值的匹配系数，所述系统可修改这些对象的轨迹(且也许还有其它对象)以确保匹配正确。在该特殊的应用程序中，由于所述系统知道为了解锁所述装置用户应当观看的数字，因而可修改所述路径/速度以使所述数字的匹配系数最大化。如果正确的数字被确定为匹配的，那么所述系统处理下一个数字(或如果它是最后一个数字，那么解锁所述装置)。
在另一个实施例中，当用户玩游戏时，所述算法可在后台运行。而在用户玩游戏时，角色和对象在屏幕上移动。对于每一个新的帧，所述系统计算所述屏幕上显示的所述对象的路径和一只或两只眼睛的路径或注视点(如果所述系统已经校准)的路径之间的相似性。当所述系统找到一个匹配时，它使用产生匹配的所述图像的所述眼睛信息重新校准所述校准参数。该过程在后台发生且对用户是不可见的，并有助于随时提高准确性。所述游戏可检测整个重新校准是否必要，在这种情况下，所述游戏可插入适合于重新校准所述系统的一系列事件，所述过程对用户是不可见的。
在另一个实施例中，用户在超市收银台可看到显示在屏幕(例如，平板电脑或计算机监视器)上的商品。所述商品包括在不同方向上在所述屏幕上移动的元素。所述系统计算所述对象的路径和速度与一只或两只眼睛的路径和速度之间的相似性并找到匹配。当匹配时，所述系统使用收集的眼睛信息校准所述系统。一旦所述系统被校准，它会通知用户，然后用户用他或她的眼睛与所述屏幕上显示的所述信息互动。在某些实施例中，在所述商品显示之后，可进行所述校准过程，且所述校准参数可在云中计算。这可通过建立包含移动元素的商品来执行，然后所述移动元素与用户的所述眼睛运动模式匹配。
图6A-6C为界面示意图，该示意图描述了显示对象的用户界面600、610和620的实施例，该用户界面便于眼睛跟踪校准。在图6A中，所述用户界面600可显示用户读取的文本。所述文本在所述用户界面600的已知位置。当用户读取所述文本时，所述眼睛跟踪系统使一系列发生的眼睛运动匹配，且使用收集的所述眼睛信息计算一个或多个校准参数。例如，当所述用户开始读取单词“READ”时，所述眼睛跟踪系统可检测位置602处用户的视线，并相似地检测所述文本中的每一个字，因而可相应校准所述眼睛跟踪系统。
图6B的所述用户界面610图示了对象(如，对象612)在不同的方向上移动，每个对象遵循一个特定的路径。对象可以是用户正在访问的应用程序中的对象。例如，所述对象可为用户在计算装置上玩的游戏对象。当一个或多个对象在所述用户界面610上移动时，所述眼睛跟踪系统可跟踪用户的眼睛运动并收集眼睛信息(如，关于瞳孔、虹膜、角膜反射、光学轴线、视轴线等信息)。所述眼睛跟踪系统可测量所述对象的路径与用户眼睛特征的路径的相似性，以确定用户正在观看的对象。收集的所述眼睛信息与所述显示器上的对象的位置有关，以计算一个或多个校准参数。
图6C的用户界面620图示了对象0-9，该对象代表了包含在用户PIN中的数字，所述PIN用于访问计算装置的功能，包括解锁所述计算装置，访问所述计算装置上的应用程序等。每个对象0-9可以特定的速度移动到任何特定的方向。当用户希望输入PIN时，用户可观看和/或跟着表示PIN中的第一个数字的对象。如果用户已经注视正确的第一个数字，那么可通知用户看PIN中的下一个数字。该通知可以任何形式提供给用户。例如，当用户观看所述正确数字时，所述计算装置可振动，或该通知显示在所述用户界面620上等。在某些实施例中，在正确进入每一个PIN的数字之后，对象0-9可改变方向。当用户通过注视所述正确数字已经正确进入PIN，可授权访问。此外，当用户输入PIN时，可校准所述眼睛跟踪系统。
所述对象的运动图案可以动态地改变，以允许所述系统明确地将眼睛的运动与所述数字的移动相匹配。当唯一性建立时，所述系统可识别所述屏幕的还未获得校准数据的某个区域并在该区域显示下一个数字。通过重复该操作特定次数，所述系统将获得足够的校准数据，以准确地估算眼睛视线并控制用户身份，其安全性与物理输入PIN的安全性相同。再者，由于用户不用手键入数字，对观察者而言很难猜测PIN码。在某些实施例中，访问控制可进一步与虹膜和/或脸部识别结合，从而获得更高程度的确定性。在某些实施例中，可采用所述图像识别虹膜和/或脸部，所述图像用于跟踪用户眼睛的运动、所述计算装置的其它相机等。在某些实施例中，也可用语音识别获得访问。
图7为在PIN进入过程中，便于眼睛跟踪校准的方法的实施例700的流程图。通过观看一组形成用户PIN的每个数字，所述方法700可允许用户解锁计算装置或所述计算装置上的应用程序。与数字0-9对应的对象可在所述屏幕上以看似随机的方式移动。所述系统可包括眼睛跟踪系统，所述眼睛跟踪系统跟踪用户眼睛的运动并将所述眼睛运动的路径与用户正在观看的字符的路径相匹配。在某些实施例中，该路径可以动态地改变以确保匹配正确。在屏幕解锁期间捕获的所述眼睛跟踪信息用于计算所述视线估算子系统的所述用户专用校准参数。
在操作702中，显示数字0-9可在所述计算系统的显示器上显示。当用户试图登录入用户的计算装置、所述计算装置上的应用程序等时，可显示所述数字。
在操作704中，所述眼睛跟踪层可确定所述计算装置的用户的校准数据是否存在。
在操作706中，如果校准数据存在，所述眼睛跟踪层确定用户的注视点是否位于用户的PIN的正确数字上。
在操作708中，如果用户的注视点不在正确的数字上，所述眼睛跟踪层可将用户的眼睛运动与用户正在观察的对应数字的运动相匹配。
在操作710中，所述眼睛跟踪层可确定用户的眼睛运动是否与对应的数字的运动相匹配。
在操作712中，如果用户眼睛的运动与其中一个显示的数字的运动不匹配，那么所述眼睛跟踪层可返回错误并可通知用户登录不成功。
在操作714中，如果用户眼睛的运动与显示的数字的运动不匹配，那么所述数据被保存以重新校准所述眼睛跟踪系统。
在操作716中，一旦数据为了重新校准被保存，或者如果用户的注视点位于正确的数字上，那么所述眼睛跟踪层可确认被注视的号码是否是要输入的PIN的正确号码。
在操作718中，所述眼睛跟踪层可根据PIN中的正确号码是否被注视向用户返回反馈。所述反馈可以是任何通知用户被注视的数字已经被处理的反馈(例如，所述计算设备的振动、计算装置上的视觉通知、声音等)。
在操作720中，所述眼睛跟踪层确定刚处理的数字是否是PIN的最后一个数字。
在操作722中，如果刚处理的数字不是PIN中的最后一个数字，那么所述眼睛跟踪层可移动到下一个数字。在某些实施例中，这包括改变操作702中显示的数字的方向和速度。
在操作724中，如果刚处理的数字是在PIN中最后一个数字，那么所述眼睛跟踪层可根据从用户的眼睛运动与数字运动的匹配过程中获得的数据，重新校准所述眼睛跟踪系统。
在操作726中，所述眼睛跟踪层可以使用户登录到所述计算设备或所述计算设备上的应用程序。
在操作728中，如果操作704中不存在校准数据，那么所述眼睛跟踪层可根据数字的运动使用户的眼睛运动与对应的数字相匹配。
在操作730中，所述眼睛跟踪层确定用户的眼睛运动和显示的一个所述数字的运动是否相匹配。在操作712中，如果存在不匹配，那么眼睛跟踪层可返回错误且通知用户登录不成功。
在操作732中，如果存在匹配，那么所述眼睛跟踪层可存储从用户眼睛运动和相应的校准数据的匹配过程中获得的所述数据。
在操作734中，所述眼睛跟踪层可以确认用户注视的该数字为PIN中的正确数字。
在操作736中，所述眼睛跟踪层可根据PIN中的正确号码是否被注视向用户返回反馈。所述反馈可以是任何通知用户被注视的数字已经被处理的反馈(例如，所述计算设备的振动、计算装置上的视觉通知、声音等)。
在操作738中，所述眼睛跟踪层可确定刚处理的数字是否是PIN中的最后一个数字。
在操作740中，如果刚处理的数字不是PIN中的最后一个数字，那么所述眼睛跟踪层可移动到下一个数字。在某些实施例中，这包括改变操作702中显示的数字的方向和速度。
在操作742中，如果刚处理的数字是在PIN中最后一个数字，那么所述眼睛跟踪层可根据从用户的眼睛运动与数字运动的匹配过程中获得的数据校准所述眼睛跟踪系统。
在操作744中，所述眼睛跟踪层可以使用户登录到所述计算设备或所述计算设备上的应用程序。
图8A和8B分别为便于眼睛跟踪校准的方法800和850的实施例的流程图。图8A的方法800用于通过计算所述系统采用的一个或多个校准参数，校准基于用户特征和/或特性的眼睛跟踪系统，以计算用户的注视点。图8B的方法850用于再校准事先已经校准的眼睛跟踪系统。图8A和8B的实施例描述了用户校准的方法，然而本领域的普通技术人员可理解，所述校准方法可在给定时间用于多个使用了所述眼睛跟踪系统的用户。
在操作802中，硬件实现的显示模块显示了用户的所述计算装置的所述显示器上的对象。所述对象与一个函数(function)相关联，所述函数与眼睛运动信息、校准参数或视线信息(如，游戏功能、登录功能等)的计算无关。
在操作804中，硬件实现的眼睛跟踪模块可确定与用户相关联的眼睛运动信息。如上所述，所述眼睛运动信息包括任何与用户的特征和/或特性相关联的信息(例如，面部位置、眼睛区域位置、瞳孔中心、瞳孔大小、角膜反射位置、眼角、虹膜中心、虹膜大小、虹膜图案、眼睛运动模式等)。
在操作806中，硬件实现的眼睛跟踪模块可将所述眼睛运动信息与所述计算装置上显示的一个或多个对象的位置相关联。在某些实施例中，当所述对象移动跨过(moveacross)所述显示器时，所述眼睛运动信息与对象的位置相关。在某些实施例中，所述眼睛运动信息与在所述显示器上的不同地方出现的对象相关联。在某些实施例中，所述眼睛运动信息与静态对象相关联。
在操作808中，通过根据所述眼睛运动信息和一个或多个显示对象的位置的关联性计算校准参数，硬件实现的眼睛跟踪模块可校准(或重新校准)所述眼睛跟踪系统。
一旦校准用户的所述眼睛跟踪系统，所述眼睛跟踪系统可基于特定于用户的校准参数开始确定用户视线信息(如采用图8A的方法800计算)。图8B图示了确定用户视线信息的方法850。
在操作852中，硬件实现的眼睛跟踪模块显示了在用户的所述计算装置的所述显示器上的对象。所述对象与一个函数相关联，所述函数与眼睛运动信息、校准参数或视线信息(例如，游戏功能、登录功能等)无关。
在操作854中，硬件实现的眼睛跟踪模块可确定与用户相关联的视线信息。如上所述，所述视线信息可指示与用户正在观看的地方有关的信息，其包括注视点信息、视线信息、与用户注视方向有关的信息等。采用为用户计算的所述校准参数计算所述视线信息。
在操作856中，硬件实现的眼睛跟踪模块可将所述注视信息与现实在所述计算装置上的一个或多个对象的位置相关联。在某些实施例中，当所述对象移动跨过所述显示器时，所述注视信息可与对象的位置相关。在某些实施例中，所述注视信息可与在所述显示器的不同位置上出现的对象相关联。在某些实施例中，所述注视信息与静态对象相关联。
在操作858中，根据所述注视信息和显示的一个或多个对象的位置的关联性，硬件实现的眼睛跟踪模块可调节所述校准参数。
在这里将某些实施例描述为包括逻辑电路或许多组件、模块或机制。模块构成软件模块(如，嵌入机器可读媒介中的代码或传输信号中的代码)或硬件模块。硬件模块为可执行确定操作的有形单元(tangible unit)，且可以某种方式配置或布置。在实施例中，一个或多个计算机系统(如，单机、计算机系统客户端或服务器)或计算机系统(例如，一个处理器或一组处理器)的一个或多个硬件模块可通过软件(例如，应用程序或应用程序部分)配置为执行本文描述的某些操作的硬件模块。
在各种实施例中，硬件模块可以机械地或电子地实现。例如，硬件模块可以包括永久配置(例如，作为专用处理器，如现场可编程门阵列(FPGA)或特定用途集成电路(ASIC))的专用电路或逻辑电路以执行某些操作。硬件模块还包括可编程逻辑或电路(例如，包含在通用处理器或其它可编程处理器内)，其由软件临时配置以执行某些操作。应该理解的是，在专用且永久配置的电路中或在临时配置的电路(例如，由软件配置)中，成本和时间决定了硬件模块的机械实施。
因此，术语“硬件模块”应被理解为包含有形实体，即一种物理构造的、永久配置的(如，硬连线)或临时配置(例如，编程)的以特定方式操作的和/或执行本文中描述的特定操作的实体。考虑临时配置(如，编程)的硬件模块的实施例，不需要配置每个所述硬件模块或在任何一个实施例中举例说明。例如，所述硬件模块包括用软件配置的通用处理器，所述通用处理器可配置为在不同时间各自不同的硬件模块。相应地，例如，软件可配置处理器以构成特定的硬件模块并在不同的时间构成不同的硬件模块。
硬件模块可将信息提供给其他硬件模块并从其他硬件模块接收信息。因此，所述硬件模块可认为是通信耦合。当多个该硬件模块同时存在时，通过与所述硬件模块连接的信号传输(如，通过合适的电路和总线)实现通信。在实施例中，多个硬件模块在不同的时间配置或具体化，可实现所述硬件模块之间的通信，例如，通过多个所述硬件模块已经访问的存储结构中信息的存储和提取。例如，一个硬件模块可执行操作，并在存储装置中存储所述操作的输出，所述存储装置通信地耦合。然后，过一段时间，另一个硬件模块访问所述存储装置以取回和处理存储的输出。硬件模块还可激发输入或输出装置的通信，并可对资源进行操作(如，收集信息)。
通过一个或多个处理器可进行本文中描述的方法实施例中的各种操作，至少部分操作，所述处理器被临时配置(例如，通过软件)或永久地配置以执行相关操作。不论是暂时配置还是永久配置，该处理器可构成处理器实现模块，所述处理器实现模块执行一个或多个操作或功能。在某些实施例中，这里所指的所述模块包括处理器实现模块。
类似地，本文描述的方法可至少部分由处理器实现。例如，所述方法的至少某些操作可由一个或多个处理器或处理器实现模块执行。特定操作的性能可在一个或多个处理器之间分布，不仅存在于单个机器中，而且部署为跨过多个机器。在某些实施例中，所述处理器可位于一个位置(如，在家庭环境中、办公室环境中或作为服务器群)，而在其他实施例中，所述处理器可跨过多个位置进行分布。
也可以控制一个或多个处理器以在“云计算”环境中支持相关操作的性能或者用作“软件即服务”(SaaS)。例如，通过一组计算机(如包括处理器的机器)可执行至少某些操作，可通过网络(例如，因特网)和一个或多个合适的界面(例如，API)访问这些操作。
实施例可在数字电子电路或在计算机硬件、固件、软件或它们的组合中实现。采用计算机程序产品可实现所述实施例以控制数据处理装置，所述计算机程序产品如有形地嵌入在信息载体中的计算机程序，所述信息载体如机器可读的媒介，所述数据处理装置如可编程处理器、计算机或多个计算机。
计算机程序可以用任何形式的编程语言编写，包括汇编语言或解释型语言，且它可以任何形式部署，包括作为独立程序或作为模块、子程序或其它适用于计算环境中的其它单元。计算机程序可部署为位于一个地点的一台或多台计算机上执行或被分布在多个地点且通过通信网络互相连接。
在实施例中，通过一个或多个可编程处理器执行操作，所述可编程处理器通过输入数据和生成输出执行计算机程序以实现多个功能。通过专用逻辑电路电路(例如，FPGA或ASIC)也可实现方法操作和实施例的装置。
所述计算系统包括客户端和服务器。客户端和服务器通常通过通信网络彼此远程交互。客户端和服务器的关系由在各自计算机上运行且彼此具有客户端-服务器关系的计算机程序产生。在部署可编程计算系统的实施例中，可以理解的是，需要考虑硬件和软件架构。具体地，可以理解的是，是否在永久配置的硬件(如，ASIC)中、在临时配置的硬件(如，软件和可编程处理器的结合)中或永久和临时配置相组合的硬件中实施特定功能的选择为设计选择。在各种实施例中，硬件(如，机器)和软件架构的部署如下。
图9为计算系统900形式的机器的框图，该计算系统中的一组指令用于使该机器执行在此讨论的一个或多个方法。在替代的实施例中，所述机器为一个独立的设备或者与其它机器连接(例如，网络连接)。在联网部署中，所述机器可为服务器-客户端网络环境中的服务器或客户端机器，或者为对等(peer-to-peer)(或分布式)网络环境中的对等机。所述机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、PDA、移动电话、网络设备、网络路由器、交换机或桥接器、或任何能够执行指令的机器(按顺序或其他方式)，所述指令使由该机器采取的行动具体化。另外，虽然仅仅描述了单个机器，但是术语“机器”也包括机器的任何集合，所述机器单独地或联合地执行一组指令(或多组)以执行本文讨论的任一个或多个方法。
实施例计算机系统900包括处理器902(例如，CPU、GPU，或两者)、主存储器904和静态存储器906，其通过总线908彼此通信。计算机系统900还包括视频显示装置910(例如，液晶显示器(LCD)或阴极射线管(CRT))。计算机系统900还包括字母数字输入设备912(例如，键盘)、用户界面(UI)导航设备914(例如，鼠标或触控式显示器)、磁盘驱动单元916、信号生成设备918(例如，扬声器)以及网络接口设备920。
磁盘驱动器单元916包括机器可读媒介922，在所述机器可读媒介922上存储了一组或多组指令和数据结构(如，软件)924，所述数据结构由任一个方法或多个方法或功能具体化或利用。通过主存储器904和构成机器可读媒介的处理器902，在计算机系统900的执行期间，指令924还可完全或至少部分存储在主存储器904、静态存储器906和/或在处理器902中。
虽然实施例中图示了机器可读媒介922为单媒介(single medium)，但是术语“机器可读媒介”包括单媒介或存储一个或多个指令或数据结构的多媒介(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“机器可读媒介”还应被理解为包括能够存储、编码或执行机器执行指令的有形媒介，所述有形媒介使所述机器执行一个或多个本发明技术的方法，或能够存储、编码或执行此类指令使用的数据结构或与此类指令相关联的数据结构的有形媒介。术语“机器可读媒介”应相应地理解为包括，但不限于，固态存储器、光学和磁媒介。机器可读媒介的具体实施例包括非易失性存储器，例如包括半导体存储设备，如，可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存设备、磁盘如内部硬盘和移动磁盘、磁光盘和CD-ROM和DVD-ROM盘。
指令924可以进一步通过通信网络926采用传输媒介发送或接收。指令924用网络接口装置920和任何一个公知的传输协议(例如，HTTP)传输。通信网络的实施例包括局域网(LAN)、广域网(WAN)、互联网、移动电话网、模拟电话业务(POTS)网络以及无线数据网络(例如，WiFi和WiMAX网络)。术语“传输媒介”应被理解为包括能够存储、编码或执行由机器执行的指令的无形媒介，并包括数字或模拟通信信号或其它无形媒介，以便于此类软件的通信。
虽然已经描述了具体实施例，但是明显的是，对这些实施例的各种修改和改变并不脱离该技术的更广泛的精神和范围。因此，说明书和附图应被认为是说明性的而不是限制性的。附图形成本发明的实施主题的具体实施例的一部分，其是为了说明而不是限制。实施例足够详细地描述以使本领域的技术人员能够实施本发明。其他实施例可以使用和衍生，因而结构和逻辑电路的替代和改变并不脱离本发明公开的范围。因此，该详细的描述不应被认为是限制性的，且各种实施例的范围由权利要求和等同于所述权利要求的全部范围一同限定。
本发明主题的实施例在这里单独地和/或共同地提及，如果实际上公开了多于一个发明或发明概念，通过术语“发明”仅仅为了方便，而不是想主动将本申请的范围限定为任何单个发明或发明概念，因此，虽然这里说明和描述了具体实施例，但是应当理解的是，任何实现相同目的的布置可替代图示的具体实施例。本发明目的在于涵盖任何和所有的各种实施例的修改或变型。通过阅读上面的说明，没有在这里具体地描述的上述实施例的组合以及其他实施例对本领域技术人员而言是显而易见的。

Claims (25)

1.一种用于眼睛跟踪校准的方法，其特征在于，包括：
在计算装置(102、202、300、310、320)的显示器上显示第一移动对象(612)，所述第一移动对象沿第一路径移动，所述第一移动对象(612)与第一函数相关联，所述第一函数与一个或多个校准参数的计算无关，一个或多个所述校准参数与所述计算装置(102、202、300、310、320)的用户的视线信息的计算的校准有关，所述视线信息指示与用户正在观看的地方有关的信息；
在所述计算装置的所述显示器上显示第二移动对象，所述第二移动对象沿第二路径移动；
当所述第一和第二移动对象(612)显示时，确定与用户相关联的眼睛运动信息，所述眼睛运动信息指示了一个或多个眼睛特征的眼睛运动，所述眼睛特征与用户的至少一只眼睛相关联；
确定所述第一路径和所述第二路径中哪一个与所述眼睛运动信息匹配；
将所述眼睛运动信息与匹配路径相关联；以及
根据与所述眼睛运动信息相关联的所述匹配路径计算一个或多个所述校准参数。
2.根据权利要求1所述的方法，其特征在于，还包括：
根据所述眼睛运动信息和一个或多个所述校准参数计算所述视线信息。
3.根据权利要求1所述的方法，其特征在于，与一个或多个所述校准参数的计算无关的所述第一函数包括与访问用户账户有关的函数，所述访问基于与所述第一移动对象(612)有关的用户输入。
4.根据权利要求1所述的方法，其特征在于，与一个或多个所述校准参数的计算无关的所述第一函数包括与用户输入相关联的游戏函数，所述用户输入与所述第一移动对象(612)有关。
5.根据权利要求1所述的方法，其特征在于，与一个或多个所述校准参数的计算无关的所述第一函数包括与用户输入有关的函数，所述用户输入由所述计算装置(102、202、300、310、320)接收。
6.根据权利要求1所述的方法，其特征在于，还包括：
在所述显示器的第一位置显示第一对象；
在所述第一对象在所述第一位置显示之后，在所述显示器的第二位置显示第二对象；
当所述第一对象和所述第二对象显示时，确定与所述用户相关联的所述视线信息；
将所述视线信息与所述第一位置和所述第二位置相关联；以及
根据与所述第一位置和所述第二位置相关联的所述视线信息调整一个或多个所述校准参数。
7.根据权利要求1所述的方法，还包括：
由于一个或多个校准参数中的校准参数不准确，识别所述计算装置(102、202、300、310、320)的部分显示器；
其特征在于，所述第一移动对象(612)显示在所述部分显示器中；以及
根据与所述眼睛运动信息相关联的所述第一移动对象(612)的所述路径调整一个或多个所述校准参数。
8.根据权利要求7所述的方法，其特征在于，与一个或多个所述校准参数的计算无关的所述第一函数包括与访问用户账户有关的函数，所述访问基于与所述第一移动对象(612)有关的用户输入。
9.根据权利要求7所述的方法，其特征在于，与一个或多个所述校准参数的计算无关的所述第一函数包括与用户输入相关联的游戏函数，所述用户输入与所述第一移动对象(612)有关。
10.根据权利要求7所述的方法，其特征在于，还包括：
根据所述眼睛运动信息和一个或多个所述校准参数确定所述视线信息。
11.根据权利要求3所述的方法，还包括：
对所述眼睛运动信息和所述匹配路径的关联性进行响应；
将所述第一移动对象(612)的所述第一路径更改为第三路径；以及
将所述第二移动对象的所述第二路径更改为第四路径。
12.根据权利要求11所述的方法，其特征在于，还包括：
确定与用户的PIN中的数字对应的所述匹配路径；
在更改所述第一路径和所述第二路径之后，确定第二眼睛运动信息，所述第二眼睛运动信息指示了一个或多个所述眼睛特征的第二眼睛运动，所述眼睛特征与用户的至少一只眼睛相关联；
确定所述第三路径和所述第四路径中哪一个更好地与一个或多个所述眼睛特征的所述第二眼睛运动匹配，所述眼睛特征与用户的至少一只眼睛相关联；
将所述第二眼睛运动信息与确定的路径相关联；
确定与所述用户的PIN中的最后一个数字对应的所述确定的路径；以及
根据与所述用户的PIN中的最后一个数字对应的所述确定的路径的决定，授权访问所述用户的账户。
13.根据权利要求1所述的方法，其特征在于：
确定与用户相关联的所述眼睛运动信息的步骤包括：
确定多个帧的所述眼睛运动的路径；
确定多个帧的所述眼睛运动的速度；
所述第一移动对象以第一速度沿所述第一路径移动；
所述第二移动对象以第二速度沿所述第二路径移动；
确定所述第一路径和所述第二路径中哪一个与所述眼睛运动信息匹配的步骤包括：
测量所述眼睛运动的所述路径与每个所述第一路径和所述第二路径的相似性；
测量所述眼睛运动的所述速度与每个所述第一速度和所述第二速度的相似性。
14.一种存储指令的非暂时性机器可读存储媒介，当由一个或多个处理器(902)执行时，使一个或多个所述处理器(902)执行操作，其包括：
在计算装置(102、202、300、310、320)的显示器上显示第一移动对象(612)，所述第一移动对象沿第一路径移动，所述第一移动对象(612)与第一函数相关联，所述第一函数与一个或多个校准参数的计算无关，一个或多个所述校准参数与所述计算装置(102、202、300、310、320)的用户的视线信息的计算的校准有关，所述视线信息指示与用户正在观看的地方有关的信息；
在所述计算装置的所述显示器上显示第二移动对象，所述第二移动对象沿第二路径移动；
当所述第一和第二移动对象(612)显示时，确定与用户相关联的眼睛运动信息，所述眼睛运动信息指示了一个或多个眼睛特征的眼睛运动，所述眼睛特征与用户的至少一只眼睛相关联；
确定所述第一路径和所述第二路径中哪一个更好地与一个或多个所述眼睛特征的所述眼睛运动信息匹配，一个或多个所述眼睛特征与用户的至少一只眼睛相关联；
将所述眼睛运动信息与匹配路径相关联；以及
根据所述匹配路径计算所述一个或多个校准参数。
15.根据权利要求14所述的非暂时性机器可读存储媒介，其特征在于，所述指令使一个或多个所述处理器(902)执行进一步操作，包括：
根据所述眼睛运动信息和一个或多个所述校准参数计算所述视线信息。
16.根据权利要求14所述的非暂时性机器可读存储媒介，其特征在于，与一个或多个所述校准参数的计算无关的所述第一函数包括与访问用户账户有关的函数，所述访问基于与所述第一移动对象(612)有关的用户输入。
17.根据权利要求14所述的非暂时性机器可读存储媒介，其特征在于，与一个或多个所述校准参数的计算无关的所述第一函数包括与用户输入相关联的游戏函数，所述用户输入与所述第一移动对象(612)有关。
18.根据权利要求14所述的非暂时性机器可读存储媒介，其特征在于，与一个或多个所述校准参数的计算无关的所述第一函数包括与用户输入有关的函数，所述用户输入由所述计算装置(102、202、300、310、320)接收。
19.根据权利要求14所述的机器可读存储媒介，其特征在于，所述操作还包括：
对所述眼睛运动信息和所述匹配路径的关联性进行响应；
将所述第一移动对象(612)的所述第一路径更改为第三路径；以及
将所述第二移动对象的所述第二路径更改为第四路径。
20.根据权利要求19所述的机器可读存储媒介，其特征在于，所述操作还包括：
确定与用户的PIN中的数字对应的所述匹配路径；
在更改所述第一路径和所述第二路径之后，确定第二眼睛运动信息，所述第二眼睛运动信息指示了一个或多个所述眼睛特征的第二眼睛运动，所述眼睛特征与用户的至少一只眼睛相关联；
确定所述第三路径和所述第四路径中哪一个更好地与一个或多个所述眼睛特征的所述第二眼睛运动匹配，所述眼睛特征与用户的至少一只眼睛相关联；
将所述第二眼睛运动信息与确定的路径相关联；以及
根据与所述用户的PIN中的最后一个数字对应的所述确定的路径的决定，授权访问所述用户的账户。
21.一种用于眼睛跟踪校准的装置，其特征在于，包括：
硬件实现显示模块，所述硬件实现显示模块被配置为：
在计算装置(102、202、300、310、320)的显示器上显示第一移动对象(612)，所述第一移动对象沿第一路径移动，所述第一移动对象(612)与第一函数相关联，所述第一函数与一个或多个校准参数的计算无关，一个或多个所述校准参数与所述计算装置(102、202、300、310、320)的用户的视线信息的计算的校准相关，所述视线信息指示了与用户正在观看的地方有关的信息；以及
在所述计算装置的所述显示器上显示第二移动对象，所述第二移动对象沿第二路径移动；
硬件实现眼睛跟踪模块，所述硬件实现眼睛跟踪模块被配置为：
当所述第一和第二移动对象(612)显示时，确定与所述用户相关联的眼睛运动信息(804)，所述眼睛运动信息指示了一个或多个眼睛特征的眼睛运动，所述眼睛特征与用户的至少一只眼睛相关联；
确定所述第一路径和所述第二路径中哪一个更好地与一个或多个所述眼睛特征的所述眼睛运动信息匹配，一个或多个所述眼睛特征与用户的至少一只眼睛相关联；
根据与所述眼睛运动信息相关联的第一匹配路径计算一个或多个所述校准参数。
22.根据权利要求21所述的装置，其特征在于，所述硬件实现眼睛跟踪模块还被配置为根据所述眼睛运动信息和一个或多个所述校准参数计算所述视线信息。
23.根据权利要求21所述的装置，其特征在于，与一个或多个所述校准参数的计算无关的所述第一函数包括与访问用户账户有关的函数，所述访问基于与所述第一移动对象(612)有关的用户输入。
24.根据权利要求21的所述的装置，其特征在于，与一个或多个所述校准参数的计算无关的所述第一函数包括与用户输入相关联的游戏函数，所述用户的输入与所述第一移动对象(612)有关。
25.根据权利要求21所述的装置，其特征在于，与一个或多个所述校准参数的计算无关的所述第一函数包括与用户输入有关的函数，所述用户输入由所述计算装置(102、202、300、310、320)接收。
CN201480020096.6A 2013-02-14 2014-02-14 眼睛跟踪校准系统及方法 Active CN105247447B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361764939P 2013-02-14 2013-02-14
US61/764939 2013-02-14
PCT/IB2014/000772 WO2014125380A2 (en) 2013-02-14 2014-02-14 Systems and methods of eye tracking calibration

Publications (2)

Publication Number Publication Date
CN105247447A CN105247447A (zh) 2016-01-13
CN105247447B true CN105247447B (zh) 2017-11-10

Family

ID=50981577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480020096.6A Active CN105247447B (zh) 2013-02-14 2014-02-14 眼睛跟踪校准系统及方法

Country Status (4)

Country Link
US (2) US9693684B2 (zh)
EP (1) EP2956844B1 (zh)
CN (1) CN105247447B (zh)
WO (1) WO2014125380A2 (zh)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9693684B2 (en) 2013-02-14 2017-07-04 Facebook, Inc. Systems and methods of eye tracking calibration
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
KR102130797B1 (ko) * 2013-09-17 2020-07-03 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US10055562B2 (en) * 2013-10-23 2018-08-21 Intel Corporation Techniques for identifying a change in users
KR102254169B1 (ko) * 2014-01-16 2021-05-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
USD745169S1 (en) 2014-01-28 2015-12-08 The Eye Tribe Aps Eye tracking apparatus
JP2015153302A (ja) * 2014-02-18 2015-08-24 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
CN106662917B (zh) 2014-04-11 2020-06-12 脸谱科技有限责任公司 眼睛跟踪校准系统和方法
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US9696801B2 (en) * 2014-06-26 2017-07-04 Thomas Alan Donaldson Eye-controlled user interface to control an electronic device
CN107111355B (zh) * 2014-11-03 2021-03-12 宝马股份公司 用于校准眼睛跟踪系统的方法和系统
CN107077258B (zh) * 2014-11-13 2019-12-17 麦克赛尔株式会社 投射型影像显示装置以及影像显示方法
WO2016075532A1 (en) 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration
US11223381B2 (en) 2015-02-12 2022-01-11 Seeing Machines Limited Phone docking station mounted on a vehicle for enhanced driving safety
US9961258B2 (en) 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
WO2016146488A1 (en) * 2015-03-13 2016-09-22 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for automatically identifying at least one user of an eye tracking device and eye tracking device
US20180239442A1 (en) * 2015-03-17 2018-08-23 Sony Corporation Information processing apparatus, information processing method, and program
JP6456003B2 (ja) * 2015-09-16 2019-01-23 富士フイルム株式会社 視線操作装置及び方法、並びに医療機器
CN105279948B (zh) * 2015-10-28 2018-01-26 广东欧珀移动通信有限公司 红外信号发送装置
CN108476311B (zh) * 2015-11-04 2021-04-27 奇跃公司 可穿戴显示系统和用于校准可穿戴显示器的方法
US11064881B2 (en) * 2015-11-13 2021-07-20 Hennepin Healthcare System, Inc Method for predicting convergence disorders caused by concussion or other neuropathology
US20170139475A1 (en) * 2015-11-13 2017-05-18 Viomba Oy Method and apparatus for tracking user gaze and adapting content
US10481786B2 (en) * 2016-01-15 2019-11-19 Qualcomm Incorporated User interface for enabling access to data of a mobile device
US10007771B2 (en) * 2016-01-15 2018-06-26 Qualcomm Incorporated User interface for a mobile device
JP2017134558A (ja) * 2016-01-27 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2017163180A (ja) * 2016-03-07 2017-09-14 富士通株式会社 ずれ判定プログラム、ずれ判定方法、及び、情報処理装置
CN205514530U (zh) * 2016-03-09 2016-08-31 北京七鑫易维信息技术有限公司 一种可配套智能终端的眼球追踪装置
US10772561B2 (en) 2016-04-01 2020-09-15 Thomas Alan Donaldson Sensors to determine neuronal activity of an organism to facilitate a human-machine interface
KR101825450B1 (ko) * 2016-04-01 2018-02-05 엘지전자 주식회사 차량 제어 장치 및 그 장치의 제어 방법
JP6604271B2 (ja) * 2016-06-06 2019-11-13 富士通株式会社 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム
DE102016210288A1 (de) * 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
CN106125926B (zh) * 2016-06-22 2019-10-29 联想(北京)有限公司 一种信息处理方法及电子设备
EP3563217A1 (en) * 2016-09-27 2019-11-06 Tobii AB Portable eye tracking device
US11544359B2 (en) * 2016-11-08 2023-01-03 Proprius Technolgies S.A.R.L Unique patterns extracted from involuntary eye motions to identify individuals
US11249548B2 (en) * 2016-11-10 2022-02-15 Neurotrack Technologies, Inc. Method and system for correlating an image capturing device to a human user for analyzing gaze information associated with cognitive performance
US10379612B1 (en) * 2016-12-16 2019-08-13 Apple Inc. Electronic device with gaze tracking system
US10757328B2 (en) 2016-12-23 2020-08-25 Microsoft Technology Licensing, Llc Eye tracking using video information and electrooculography information
CN106598258B (zh) * 2016-12-28 2019-04-16 北京七鑫易维信息技术有限公司 注视点映射函数确定方法及装置、注视点确定方法及装置
US10304209B2 (en) 2017-04-19 2019-05-28 The Nielsen Company (Us), Llc Methods and systems to increase accuracy of eye tracking
US10902104B2 (en) * 2017-07-26 2021-01-26 Princeton Identity, Inc. Biometric security systems and methods
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US10650545B2 (en) * 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
US10768696B2 (en) * 2017-10-05 2020-09-08 Microsoft Technology Licensing, Llc Eye gaze correction using pursuit vector
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US11478603B2 (en) 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
US10739861B2 (en) * 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface
US10521662B2 (en) 2018-01-12 2019-12-31 Microsoft Technology Licensing, Llc Unguided passive biometric enrollment
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3750029A1 (en) 2018-02-09 2020-12-16 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters using a neural network
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
WO2019221724A1 (en) * 2018-05-16 2019-11-21 Tobii Ab Method to reliably detect correlations between gaze and stimuli
US10528131B2 (en) 2018-05-16 2020-01-07 Tobii Ab Method to reliably detect correlations between gaze and stimuli
CN113382683A (zh) 2018-09-14 2021-09-10 纽罗因恒思蒙特实验有限责任公司 改善睡眠的系统和方法
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
US20200089855A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Password Authentication by Eye Tracking in Virtual Reality System
SG10201809937PA (en) * 2018-11-08 2020-06-29 Mastercard International Inc Method and system for authenticating users
CN111479104A (zh) * 2018-12-21 2020-07-31 托比股份公司 用于计算视线会聚距离的方法
EP3912013A1 (en) * 2019-01-16 2021-11-24 Pupil Labs GmbH Methods for generating calibration data for head-wearable devices and eye tracking system
CN110135143B (zh) * 2019-01-18 2022-07-26 北京车和家信息技术有限公司 验证方法、验证装置、终端设备及计算机可读存储介质
US10936057B2 (en) 2019-04-09 2021-03-02 Samsung Electronics Co., Ltd. System and method for natural three-dimensional calibration for robust eye tracking
CN110174937A (zh) * 2019-04-09 2019-08-27 北京七鑫易维信息技术有限公司 注视信息控制操作的实现方法及装置
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
CN113491502A (zh) * 2020-04-03 2021-10-12 北京七鑫易维信息技术有限公司 一种眼球追踪校准检验方法、装置、设备及存储介质
JP7367637B2 (ja) * 2020-08-26 2023-10-24 トヨタ自動車株式会社 顔情報取得装置および顔情報取得方法
CN112022641A (zh) * 2020-09-10 2020-12-04 深圳职业技术学院 一种辅助转眼运动的方法及系统
SE545129C2 (en) * 2021-03-31 2023-04-11 Tobii Ab Method and system for eye-tracker calibration
CN112799518B (zh) * 2021-04-15 2021-06-25 南昌虚拟现实研究院股份有限公司 眼球追踪数据处理方法及系统
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
EP4113251A1 (en) * 2021-06-30 2023-01-04 Eyeware Tech SA Calibration method of a system comprising an eye tracking device and a computing device comprising one or multiple screens
EP4350706A1 (en) * 2022-10-07 2024-04-10 BIC Violex Single Member S.A. Writing system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7986816B1 (en) * 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
CN102221883A (zh) * 2010-05-27 2011-10-19 微软公司 自然用户界面的主动校准

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4950069A (en) 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
DE19953835C1 (de) 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
WO2005046465A1 (en) 2003-11-14 2005-05-26 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7577925B2 (en) 2005-04-08 2009-08-18 Microsoft Corporation Processing for distinguishing pen gestures and dynamic self-calibration of pen-based computing systems
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
WO2010071928A1 (en) * 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
US8982160B2 (en) 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
WO2012052061A1 (en) 2010-10-22 2012-04-26 Institut für Rundfunktechnik GmbH Method and system for calibrating a gaze detector system
US20150084864A1 (en) * 2012-01-09 2015-03-26 Google Inc. Input Method
US20140085198A1 (en) 2012-09-26 2014-03-27 Grinbath, Llc Correlating Pupil Position to Gaze Location Within a Scene
US9693684B2 (en) 2013-02-14 2017-07-04 Facebook, Inc. Systems and methods of eye tracking calibration
CN106662917B (zh) 2014-04-11 2020-06-12 脸谱科技有限责任公司 眼睛跟踪校准系统和方法
WO2016075532A1 (en) 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7986816B1 (en) * 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
CN102221883A (zh) * 2010-05-27 2011-10-19 微软公司 自然用户界面的主动校准

Also Published As

Publication number Publication date
EP2956844B1 (en) 2017-05-24
US9693684B2 (en) 2017-07-04
WO2014125380A3 (en) 2014-11-06
US20170212586A1 (en) 2017-07-27
EP2956844A2 (en) 2015-12-23
WO2014125380A2 (en) 2014-08-21
US9791927B2 (en) 2017-10-17
US20140226131A1 (en) 2014-08-14
CN105247447A (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN105247447B (zh) 眼睛跟踪校准系统及方法
CN106662917B (zh) 眼睛跟踪校准系统和方法
US8988350B2 (en) Method and system of user authentication with bioresponse data
CN116348836A (zh) 增强现实中用于交互式游戏控制的手势跟踪
US8947351B1 (en) Point of view determinations for finger tracking
CN106125921B (zh) 3d映射环境中的凝视检测
CN104272218B (zh) 基于联合数据的虚拟手
US10186018B2 (en) Determining display orientations for portable devices
US9798382B2 (en) Systems and methods of eye tracking data analysis
US20150135309A1 (en) Method and system of user authentication with eye-tracking data
KR20160016955A (ko) 의도를 통한 증강 현실에서의 가상 객체의 조작
US20220269333A1 (en) User interfaces and device settings based on user identification
KR20150116897A (ko) Ｎｕｉ 관여의 검출
US11463533B1 (en) Action-based content filtering
KR20160096392A (ko) 직관적인 상호작용 장치 및 방법
US9377866B1 (en) Depth-based position mapping
CN108475114A (zh) 用于对象姿势跟踪器的反馈
Lim et al. Development of gaze tracking interface for controlling 3D contents
US20130120361A1 (en) Spatial 3d interactive instrument
US20240078846A1 (en) Grid-Based Enrollment for Face Authentication
US20230273985A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
US20220103745A1 (en) Image capture eyewear with context-based sending
WO2022178132A1 (en) User interfaces and device settings based on user identification
Koskela et al. User experiences in throwit: A natural ui for sharing objects between mobile devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170511

Address after: California, USA

Applicant after: Facebook, Inc.

Address before: Copenhagen

Applicant before: Eyeball Control Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190327

Address after: California, USA

Patentee after: Facebook Technologies, LLC

Address before: California, USA

Patentee before: Facebook, Inc.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Javier Saint Agustin Lopez

Inventor after: John Pauline Hansen

Inventor after: Sebastian Stuck

Inventor after: Martin Henrik Tall

Inventor before: Javier Sanagustin Lopez

Inventor before: John Pauline Hansen

Inventor before: Sebastian Stuck

Inventor before: Martin Henrik Tall