CN102822771A - 基于眼球跟踪器的上下文动作 - Google Patents

基于眼球跟踪器的上下文动作 Download PDF

Info

Publication number
CN102822771A
CN102822771A CN2011800149896A CN201180014989A CN102822771A CN 102822771 A CN102822771 A CN 102822771A CN 2011800149896 A CN2011800149896 A CN 2011800149896A CN 201180014989 A CN201180014989 A CN 201180014989A CN 102822771 A CN102822771 A CN 102822771A
Authority
CN
China
Prior art keywords
input
user
interested
display
eye tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800149896A
Other languages
English (en)
Other versions
CN102822771B (zh
Inventor
亚伦·友
约翰·迈克尔·霍尔茨埃尔韦舍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii Technology AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii Technology AB filed Critical Tobii Technology AB
Publication of CN102822771A publication Critical patent/CN102822771A/zh
Application granted granted Critical
Publication of CN102822771B publication Critical patent/CN102822771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及多种系统和方法，用于在用户与图形用户接口进行交互时通过将基于眼球的输入与输入相结合来帮助用户例如选择和激活对象或对象部分并且帮助用户执行与对象或对象部分相关的上下文动作。本发明还涉及这样的系统或方法，其中用户可以配置和定制将引起特定上下文动作的眼球数据输入和其它输入的特定组合。

Description

基于眼球跟踪器的上下文动作
技术领域
本发明总体上涉及一种计算机实现的系统和方法，用于利用结合交互式图形用户接口的眼球运动检测。具体地，本发明涉及多种系统和方法，用于在用户与图形用户接口进行交互时通过将基于眼球的输入与例如机械输入、来自IR传感器的输入、语音激活输入、身体手势检测或基于邻近的输入相结合来帮助用户例如选择和激活对象或对象部分并且帮助用户执行与对象或对象部分相关的上下文动作。本发明还涉及这样的系统或方法，其中用户可以配置和定制会引起特定上下文动作的眼球数据输入和其它输入(例如，机械输入、来自IR传感器的输入、语音激活输入、身体手势检测或基于邻近的输入)的特定组合。
背景技术
图形用户界面(GUI)的引入使人机交互发生了巨大的变化。因此，提供了一种有效装置，用于以远远超出任何现有通道的带宽向用户呈现信息。多年以来，能够呈现信息的速度已经由于彩色屏幕、放大的显示器、智能图形对象(例如，弹出窗口)、窗口选项卡、菜单、工具条等而变快。然而，在此期间，输入设备基本上保持不变，即，键盘和指向设备(例如，鼠标、跟踪球或触摸板)。近年来，引入了手写设备(例如，以触控笔或绘画笔形式)。然而，尽管输出带宽增加了若干倍，但是输入带宽却实质上没有改变。结果，人机交互的通信带宽的严重不对称逐渐显现出来。
为了减少这种带宽不对称并且为了改善和便于用户交互，为此已经对使用眼球跟踪进行了多种尝试。在分析人的行为或意识时，监视或跟踪眼球运动和检测人的凝视点(如本文使用的，即空间中的人注视的点)可能是重要信息源。这不仅能够用于评估人所注视的对象，而且还能够用于评估相应的人。通过在例如膝上型电脑上实现眼球跟踪设备，可以极大地提高用户与计算机上运行的不同软件应用程序之间的交互可能性。
因此，一种用于改善和便于用户交互并且用于消除带宽不对称的引人关注的构思是使用眼球凝视跟踪，或者将眼球凝视跟踪用作鼠标输入的补充。正常情况下，根据计算得出的用户凝视点，将光标置于显示器上。已经开发了许多不同技术，用于选择和激活这些系统中的目标对象。在一个实施例中，在检测到用户已凝视了特定对象特定时间段时，系统激活该对象。另一方法是当用户眨眼时检测对象的激活。
然而，存在与使用眼球跟踪的这些解决方案相关联的问题。例如，人们在感知动作而非控制上用眼。因此，可能令人有压力的是，小心谨慎地使用眼球运动与计算机进行交互以例如激活和选择计算机的显示器上呈现的对象。还难以控制眨眼或凝视来与显示器上呈现的对象进行交互。
因此，在针对改进技术的现有技术中，需要实现与配备眼球跟踪设备的计算机的用户交互，允许用户以更直觉和自然的方式使用他或她的眼睛，从而控制、选择和激活计算机的显示器上呈现的对象和对象部分。此外，在针对改进技术的现有技术中，还需要按照更有效的方式对使用眼球跟踪的潜力加以利用，以改善和促进用户与计算机的交互。
在Beymer等人的US专利申请No.2005/0243054中示出了一个这样的尝试，其中公开了一种技术，用于使用眼球凝视和按键按压的组合来选择和激活目标对象。更具体地，用户盯着目标对象(例如，图形用户界面上的按钮)，然后按压键盘的选择键。一旦按压了选择按键，则使用概率推理来确定最可能的目标。然后，将确定的目标对象进行高亮，用户可以通过再次按压选择件来选择所述确定的目标对象。如果高亮的对象不是目标对象，则用户可以使用附加按键来选择另一目标对象，以定位期望的目标对象。
然而，这种技术被限制于基于眼球凝视和一个专用选择按钮的两次顺序按压这二者的组合进行对象选择和激活。
因此，在针对改进技术的现有技术中，仍然需要以更有效的方式来利用在使用眼球跟踪方面的潜力，以改善和便于用户与计算机的交互，以及更具体的，用户与图形用户界面的交互。
发明内容
根据本发明的目的在于，提供一种改进方法和系统，用于在用户与图形用户界面进行交互时通过将基于眼球的输入与诸如机械输入、来自IR传感器的输入、语音激活输入、身体手势检测或基于邻近的输入等其他输入相结合来帮助用户选择和激活屏幕的区域或显示器的区域、显示器上呈现的对象或对象部分，以及帮助用户执行与这些区域、对象或对象部分相关的上下文动作。
本发明的另一目的在于，提供一种方法和系统，用于用户与图形用户界面进行友好而直观的交互。
在本发明的上下文中，术语“GUI”(图形用户界面)指的是显示器上具有图片或图像以及文字(包括例如符号和图形)的基于图形的用户界面，其并入了例如可移动窗口和图标。
此外，在本发明的上下文中，术语“感兴趣的对象”或“感兴趣的对象部分”指的是交互式图形对象或GUI对象(例如按钮或滚动条超级链接)或者非交互式对象(例如文本或文本中用户期望通过眼球凝视来选择或激活的文字)。
在本发明的上下文中，术语“上下文动作”指的是一个动作，能够基于眼球数据输入与来自例如机械输入设备(比如鼠标或按键或按钮)的输入、来自IR传感器的输入、语音激活输入、或身体手势检测或基于邻近的输入而相对于对象或对象部分来执行这个动作。例如，用户凝视显示器上显示的特定窗口并且按压特定按键，这可以引起最大化特定窗口的上下文动作。另一实例是，当用户凝视窗口中的网页链接并且用手作出特定手势时，打开链接的网页。
根据本发明的一个方面，提供了一种方法，用于操控对象或对象部分并且执行与关联于眼球跟踪系统的计算机设备的显示器上呈现的对象相关的上下文动作。所述方法包括：在计算机设备的显示器上显示对象并且提供对显示器上的用户凝视点和/或相对于显示器的用户凝视点加以描述的眼球跟踪数据信号。可以从输入设备接收激活输入(例如，按压键盘的按键或者按压与计算机设备相关联的操纵杆按钮)。此外，可以从IR传感器接收激活输入，或者激活输入可以是语音激活输入，或者可以是身体手势检测或基于邻近的输入。此后，使用确定的凝视点和/或激活输入来确定用户所凝视的对象或对象部分。如果当前凝视条件满足预定凝视条件和/或激活输入满足预定条件，则确定对象或对象部分是感兴趣的对象或对象部分。基于接收的激活输入和感兴趣的对象或对象部分来确定特定上下文动作。最后，执行所述特定上下文动作。
根据本发明的第二方面，提供了一种系统，用于帮助用户操控对象或对象部分且执行与关联于眼球跟踪系统的计算机设备的显示器上呈现的对象相关的上下文动作。所述系统包括显示器，适于显示对象。输入模块适于从例如与计算机设备相关联的键盘的至少一个按键、脚踏板、机械开关、操纵杆、游戏键盘等接收激活输入。备选地，可以从例如IR传感器接收激活输入，或者激活输入可以是语音激活输入，或者可以是身体手势检测或基于邻近的输入。此外，对象识别器适于接收对显示器上的用户凝视点和/或相对于所述显示器的用户凝视点加以描述的眼球跟踪数据信号，以使用确定的凝视点和/或激活输入来识别用户所凝视的对象或对象部分，以及如果当前凝视条件满足预定凝视条件和/或如果所述激活输入满足预定条件，则确定所述对象是感兴趣的对象。动作确定模块适于基于接收的激活输入和感兴趣的对象或对象部分来确定特定上下文动作并且提供指令，用于执行特定上下文动作。
对于已知技术，本发明提供了若干优势。例如，由于本发明的直观功能，用户可以以用户友好、可靠和精确的方式来选择和激活对象并且执行与这些对象相关的上下文动作。现在可以基于用户眼球运动和定制输入来高效而容易地实施上下文动作的命令和执行(传统上，这需要一系列的手操控和/或手指操控)。这非常有用，并且例如工作或家庭中的普通计算机用户对此非常感兴趣。此外，在大范围的更特定应用中，比如呼叫中心环境中的(当在客户关系管理应用中输入/编辑数据时)支持操作员和高级计算机辅助设计(CAD)工具的用户，这也是令人满意的。本发明还可以有益于提高人类工程学并且降低例如重复性劳损的风险。
此外，根据优选实施例，因为用户可以定义或配置应该由眼球数据输入(例如，特定对象的选择和凝视停留时间的检测)和输入(例如，特定按键的按压)的特定组合产生的那些特定动作，所以可以创建基于用户偏好和需求的用户极其友好和直观的交互环境。
根据本发明的另一方面，眼球凝视数据和输入的组合用于使得用户能够选择、缩放和激活感兴趣的对象和对象部分。用户可以通过凝视对象或对象部分或者屏幕或显示器上的区域并且传输输入(例如，按压键盘的特定按键)，来扩大或放大感兴趣的对象或对象部分或者围绕凝视点的区域。在保持的机械输入信号(例如，对按键保持按压)期间，逐渐放大对象或对象部分，从而实现缩放效果。通过传送第二机械输入信号，例如，通过释放按键的按压，用户可以操控、点击或激活放大的对象或对象部分。如果有必要例如调整眼球跟踪器的不精确度，则用户可以调整凝视。可以充分放大对象或对象部分的放大，以迎合眼球跟踪器的平均不精确度或偏移误差。
在一个示例中，最有可能的对象或对象部分可以被缩放或放大并且以确定的凝视点为中心。如果最有可能的对象或对象部分是正确对象或对象部分，则用户可以通过传送第二输入(例如，释放按键的按压)来激活对象或对象部分。为了帮助用户，可以示出视觉提示，指示用户凝视哪个对象或对象部分。备选地，可以示出确定的凝视点，用于向用户指示在放大之后将对哪个对象或对象部分执行上下文动作(或缩放动作)，例如，将执行点击的地方。
将通过示例性实施例来讨论本发明另外的目的和优势。
附图说明
以下将参考附图来描述本发明示例性实施例，其中：
图1示出了实现本发明的用户控制计算装置的概略图；
图2是说明了根据本发明的布置的实施例的框图；
图3是示出了根据本发明的方法的一般原理的流程图。
图4是说明了根据本发明的布置的另一实施例的框图；
图5是说明了根据本发明的布置的又一实施例的框图；
图6是示出了根据本发明的方法的一般原理的流程图。
具体实施方式
下文是根据本发明的示例性实施例的描述。这个描述不应当作限制，而只是用于描述本发明的一般原理的目的。应理解，可以利用其它实施例，并且可以在不背离本发明的范围的情况下进行结构和逻辑上的改变。
首先将参照图1、2和4来描述根据本发明的计算机系统的实施例。图1示出了根据本发明的具有集中凝视(integrated gaze)和手动控制的计算机系统的实施例。用户110能够至少部分地基于眼球跟踪信号DEYE来控制计算机系统10，其中，眼球跟踪信号DEYE描述了显示器20上的用户注视点x、y。显示器20可以是任何类型的已知计算机屏幕或监视器以及两种或更多种单独显示器的组合。例如，显示器20可以组成一对立体屏幕、平面显示器(HUD)或者头戴式显示器(HM)。
此外，还可以在具有小键盘和显示器的手持设备上实现本发明，手持设备例如是个人数字处理、蜂窝电话、便携式音乐播放器(例如，iPods)、膝上型计算机、计算机游戏、电子书和类似其它设备。也可以在“智能环境”中实现本发明，在“智能环境”中，例如，可以选择和激活在多个显示器上呈现的对象。
为了产生眼球跟踪信号DEYE，眼球跟踪单元40包括在显示器20或计算机30中，或者与显示器20或计算机30相关联。本发明的申请人在题为“Method and Installation for detecting and following an eye and thegaze direction thereof”的美国专利No.7572008中描述了一种适合的眼球跟踪器，在此并入其全部以供参考。
与眼球跟踪单元40相关联的软件程序可以与眼球跟踪单元40包括在一起。图2示出的特定示例说明了在眼球跟踪模块中实现的关联软件，根据特定应用，可以只在计算机30、眼球跟踪单元40中或者在二者的组合中包括所述关联软件。
对象识别器34适于基于从眼球跟踪单元40接收到的眼球跟踪信号DEYE来确定用户110所凝视的显示器20上显示的多个对象中的一个对象或一部分对象。
通过注视GUI部件120(例如，诸如按钮等交互式对象)的表示，用户可以向计算机30产生命令。这种操控是可行的，原因在于GUI部件适于受到眼球跟踪信号DEYE的至少间接影响。根据本发明，用户110能够通过(由用户的凝视产生的)眼球跟踪信号DEYE和使用用户输入设备50的(例如，通过按压键盘51上的一个按键或按键组合产生的)用户输入或手动用户动作的组合来进行操控，例如选择和激活显示器20上呈现的对象、对象部分。
因此，计算机系统10包括计算机30、眼球跟踪单元40、显示器20和用户输入设备50。计算机30可以例如是个人计算机、计算机工作站、大型计算机、或者手持式设备(例如，蜂窝电话、便携式音乐播放器(例如，ipod)或者膝上型电脑)组中的任何一项。这种计算机包括除了图2所示的那些部件之外的若干其它部件，但是为了说明目的，从图2中省略了这些部件。
用户输入设备50包括对压力、物理接触或用户的其它手动控制敏感的元件，例如，计算机键盘、鼠标、“跟踪球”、触摸屏或任何其它设备，可以使用例如来自IR传感器的输入、语音激活输入或者基于身体手势检测或邻近检测的输入。然而，在图2所示的特定实施例中，在用户输入设备50中包括键盘51和鼠标52。
输入模块32适于从表示手动用户动作(例如，按压键盘51的按钮)的用户输入设备50接收信号，其中输入模块32可以是只在计算机30中或者只在用户输入设备50中或者在二者中包括的软件模块。输入模块32还适于解译接收的信号。例如，从键盘51接收电信号，以及输入模块32在显示器20上提供是特定文字的输出。作为另一特定示例，输入模块32提供一种输出，用于确定要执行的特定上下文动作。输出表示手动激活输入(例如，预定键的按压、键组合的按压、或者一个按键的多次按压)所引起的接收到的电信号。如下文将更详细说明的，在动作确定模块35中，基于对用户凝视对象或对象部分的确定及经由用户输入设备50的手动激活输入来确定要执行的特定上下文动作。这种上下文动作可以例如是将窗口置前并聚焦，这将在下文进行进一步的讨论。因此，用户能够通过凝视未聚焦窗口以及按压特定按键或按键组合来选择未聚焦窗口。
动作确定模块35适于基于感兴趣的对象或者感兴趣的对象部分与手动激活输入的结合来确定上下文动作。例如，动作确定模块34可以包括库，该库包括对于对象或对象部分与手动激活输入的每种组合所要执行的上下文动作列表。
在图4所示的本发明的一个示例性实施例中，用户110可以对手动激活输入和对象或对象部分的组合加以手动配置。利用相同参考数字表示图2和4所示的相同部件、模块和组件，下文将省略其描述。通过允许用户手动定制或配置所述组合，能够确定手动激活输入和感兴趣的对象或者感兴趣的对象部分这二者的哪个特定组合会引起上下文动作。手动激活输入可以包括任何种类的输入或者任何输入组合，例如，如果有两个眼球跟踪功能按钮，则每个按钮可以与单独的动作相关联(结合对对象或对象部分的凝视)，但是两个按钮的同时按压可以与第三动作相关联。也可以通过多次点击眼球跟踪功能按钮来触发动作。例如，双击或单击，其中，与单击相比，双击可以通过与用户注视相同对象或对象部分相结合而触发不同动作。如上所述，一个眼球跟踪功能按钮或多个眼球跟踪功能按钮可以是可配置的。因此，即使它们依赖于用户所注视的相同对象或对象部分，但是能够将不同动作与对象或对象部分相关联。例如，通过凝视窗口标题栏，用户可以配置眼球跟踪功能按钮，以最大化窗口。但是，眼球跟踪功能按钮也可以被配置为利用凝视来拖动窗口。为此，系统100包括配置模块37，配置模块37可以是计算机300中包括的软件模块，被配置为从用户输入设备50接收输入信号并且向动作确定模块35传送输出，其中输入信号包括与眼球跟踪功能按钮的用户配置相关的指令，输出包括眼球跟踪功能按钮的用户定义配置。
动作确定模块35也可以适于在确定要执行的上下文动作中使用对象的当前状态，例如，如果对象被禁用了，则上下文动作也可以被禁止。此外，当确定要执行的上下文动作时，动作确定模块35可以使用计算机30的操作系统的历史状态和/或计算机30的当前状态和/或用户的当前状态。
GUI组件模块38适于基于用户产生的命令和/或来自动作确定模块35的指令来进行操控。GUI组件模块38可以包括视频单元，视频单元产生对在显示器20上呈现的图像加以表示的信号。
此外，硬件单元39(例如包括扬声器和网络摄像头)包括在计算机30中或者与计算机30相关联。可以基于用户产生的命令和/或来自动作确定模块35的指令来操控硬件单元。此外，诸如印刷机等其它设备和部件(未示出)可以与计算机30相连，并且可以基于用户产生的命令和/或来自动作确定模块35的指令来操控这些设备和部件。
现在将给出基于输入和眼球数据的组合来执行的可能上下文动作的如下非穷举列表：
-通过凝视背景窗口同时按压眼球跟踪功能按钮，用户可以将窗口置前。在这种情况下，手动激活输入是对眼球跟踪按钮的按压。感兴趣的对象是用户想要置前的窗口。在接收到用户输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定的上下文动作来显示、选择或激活对象，即将窗口在显示器20中置前。
-通过凝视前景中聚焦的窗口，用户可以通过压住眼球跟踪功能按钮来利用头部移动拖动窗口。在这种情况下，手动激活输入是眼球跟踪按钮的按压和保持按压。感兴趣的对象是前景中聚焦的窗口。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定的上下文动作来显示、选择或激活对象，即在显示器20上拖动窗口。
-通过凝视窗口标题栏并且按压眼球跟踪功能按钮，用户可以最大化窗口。在这种情况下，手动激活输入是对眼球跟踪按钮的按压，感兴趣的对象是窗口标题栏。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定的上下文动作来显示、选择或激活对象，即最大化在显示器20上呈现的窗口。
-在本发明的一个实施例中，眼球跟踪功能按钮可以被配置为充当左鼠标点击。通过凝视显示器20上的GUI部件，眼球跟踪功能按钮的按压可以引起凝视点处对GUI部件的点击。在这种情况下，手动激活输入是按键按压，感兴趣的对象是GUI部件。在接收到手动输入和限定了感兴趣的GUI部件的凝视数据时，动作确定模块35可以输出指令，用于执行对GUI部件的鼠标点击。
-在本发明的一个实施例中，眼球跟踪功能按钮可以被配置为充当GUI部件选择器。通过凝视显示器20上的GUI部件，对眼球跟踪功能按钮的按压可以高亮或选择凝视点处的GUI部件。在这种情况下，手动激活输入是按键按压，感兴趣的对象是GUI部件。在接收到手动输入和限定了感兴趣的GUI部件的凝视数据时，动作确定模块35可以输出指令，用于高亮/选择GUI部件。
-在显示电影期间，用户可以利用眼球跟踪功能按钮来暂停或继续电影。在这种情况下，手动激活输入是对眼球跟踪按钮的按压，以及感兴趣的对象是电影。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定的上下文动作来显示、选择或激活对象，即暂停或继续电影在显示器20上的显示。
-通过凝视垂直音量控制的上部并且按压眼球跟踪按钮，用户可以增大音量，替换地，通过凝视音量控制的下部并且按压按钮，可以降低音量。手动激活输入是按键按压，感兴趣的对象部分是音量控制的上部或下部。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向硬件单元39输出指令，以根据确定的上下文动作来显示、选择或激活对象，即增大或降低音量。-通过凝视大图像，用户可以通过按压眼球跟踪功能按钮而集中于凝视点处的图像的一部分来平滑地扫视(pan)图像。手动激活输入是按键按压，感兴趣的对象是图像。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定地上下文动作来显示、选择或激活对象，即在显示器上20平滑地扫视图像。
-通过凝视大图像，用户可以通过凝视图像来平滑地扫视图像，并且将利用诸如手移动等身体手势来扫视图像。手动激活输入是手移动。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定的上下文动作来显示、选择或激活对象，即在显示器20上平滑地扫视图像。
-通过凝视图像，用户可以通过按压一个眼球跟踪功能按钮来放大凝视点处的图像，通过按压另一眼球跟踪功能按钮来缩小凝视点处的图像。手动激活输入是按键按压，感兴趣的对象是图像。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定上下文动作来显示、选择或激活对象，即在显示器20上进行放大或缩小。备选地，眼睛距离显示器20的(实质上是头距离显示器20)的位置(position)可以用于确定一个眼球跟踪功能按钮是否应该缩放。如果到显示器20的距离在给定阈值以下，则可以以特定速度将其放大。如果到显示器20的距离在给定阈值以上，则可以以特定速度将其缩小。
-通过凝视网页链接并且按压眼球跟踪功能按钮，可以向用户提供网页的预览，而不用离开当前页面。可以在弹出窗口中示出预览。手动激活输入是按键按压，感兴趣的对象是网页链接。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定上下文动作来显示、选择或激活对象，即在显示器20上的弹出窗口中显示网页的预览。
-通过凝视网页链接并且按压眼球跟踪功能按钮，用户可以导航至网页链接的页面。手动激活输入是按键按压，感兴趣的对象是网页链接。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定上下文动作来显示、选择或激活对象，即定位网页链接所链接的页面并且在显示器20上示出所述页面。
-通过凝视文本中的外来词并且按压眼球跟踪功能按钮，可以在弹出窗口中示出所述词的译文。手动激活输入是按键按压，感兴趣的对象是外来词。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定上下文动作来显示、选择或激活对象，即在显示器20上的弹出窗口中示出单词的译文。
-通过凝视显示器20上显示的桌面上的应用程序图标，用户可以通过还按压眼球跟踪功能按钮来启动所述应用程序。手动激活输入是按键按压，感兴趣的对象是图标。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定上下文动作来显示、选择或激活对象，即启动应用程序并且在显示器20上示出应用程序窗口。
-通过凝视联系人列表并且按压眼球跟踪功能按钮，用户可以按照例如一个完整联系人的方式(与普通的鼠标轮或传统的鼠标轮逐线滚动相反)来滚动联系人列表。这也不同于可能发生无意滚动的自动滚动方法。激活输入是按键按压，感兴趣的对象是联系人列表。在接收到手动输入和限定了感兴趣的对象或对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据确定的上下文动作来显示、选择或激活对象，即在显示器20上滚动联系人列表。
-如果确定没有对象或者没有发现感兴趣的对象，则对眼球跟踪功能按钮的按压可以将鼠标光标移至显示器20上的凝视点。手动激活输入是按键按压，在这种情况下，没有感兴趣的对象。在接收到手动输入和限定了没有感兴趣的对象的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以在显示器上的凝视点处显示鼠标光标。
-通过凝视数字输入域，并且按压第一眼球跟踪功能按钮可以使域中的数字增大，而按压第二按钮可以使域中的数字减小。手动激活输入是按键按压，感兴趣的对象是数字输入域。在接收到手动输入和限定了感兴趣的对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据特定按键按压来使域中的数字增大或减小。
-通过凝视提醒窗口或警报并且按压眼球跟踪按钮，用户可以使警报响闹或静音。手动激活输入是按键按压，感兴趣的对象部分是提醒窗口或警报。在接收到手动输入和限定了感兴趣的对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以根据凝视数据来使警报静音或响闹。
-通过将凝视移开计算机显示器并且按压眼球跟踪功能按钮，用户可以关闭显示器。手动激活输入是按键按压，以及在这种情况下，没有感兴趣的对象。在接收到手动输入和限定了没有感兴趣的对象的凝视数据时，动作确定模块35输出指令，以关闭显示器20或使显示器20进入节电模式。
-在3D应用中，用户可以通过按压眼球跟踪功能按钮来旋转用户所凝视的对象。用户可以通过按压另一眼球跟踪功能按钮来沿着相反方向旋转对象。手动激活输入是按键按压，感兴趣的对象部分是用户所凝视的对象。在接收到手动输入和限定了感兴趣的对象部分的凝视数据时，动作确定模块35向GUI组件模块38输出指令，以旋转感兴趣的对象。
如上所述，这只是能够通过眼球凝视和其它输入的组合来执行的可想象的上下文动作的非穷举列表，当然，存在本发明能够执行的许多其它上下文动作。
现在将参考图3讨论根据本发明的方法的实施例。优选地，例如，通过使用根据参考图1、2和4来描述的系统的计算机系统，来执行用于操控对象和对象部分并且执行关于对象的上下文动作的方法。在显示器20上呈现了许多对象，在步骤S100中，眼球跟踪单元40提供对显示器20上的用户注视点x，y加以描述的眼球跟踪数据信号DEYE，并且DEYE可以被传送至计算机30。在图1中，用户注视点是对象120的一点。还可以从用户输入设备50接收输入，例如，可以按压键盘51的至少一个按键或者可以按压按键组合。
此后，在步骤S110中，使用眼球跟踪数据来确定用户在显示器20上的凝视点。这可以在眼球跟踪单元40或者对象识别器34中执行。在步骤S120中，使用确定的凝视点和/或来自例如键盘的输入来识别用户凝视的对象或对象部分，参见图1，确定用户凝视落在对象120上。即，确定眼球跟踪数据信号DEYE是否指示用户注视点落在显示器120上的GUI部件表示上。在实施例中，来自例如键盘的输入也用于确定感兴趣的对象或对象部分，例如，特定眼球功能按钮可以与窗口相关联(即，对窗口的凝视和关联于窗口的按键的按压这二者的组合将所述窗口识别为感兴趣的对象)。另一按键可以与图像相关联，以及对窗口中的图像的凝视和关联于窗口的按键的按压这二者的组合将所述窗口识别为感兴趣的对象，即使用户正凝视所述图像。
此后，在步骤S130中，检查对象或对象部分是否是感兴趣的对象或对象部分。这通过检查当前凝视条件是否满足预定凝视条件和/或来自例如键盘的输入是否满足预定条件来进行。例如，可以检查用户凝视是否已落在对象或对象部分上预定时间段，或者换句话说，所谓的停留时间是否超过了预定限制。停留时间被定义为凝视进入时间点与凝视离开时间点之差，其中凝视进入时间点是眼球跟踪数据信号DEYE指示用户注视点落在显示器20上的GUI部件表示上的时刻，而凝视离开时间点是眼球跟踪数据信号DEYE指示用户注视点落在显示器20上的GUI部件表示之外的时刻。因此，如果凝视在足够长的时间内落在对象或对象部分上，则判定用户对所述特定对象或对象部分感兴趣。如上所述，来自例如键盘的输入也可以用于确定对象或对象部分是否是感兴趣的对象或对象部分。
如果判定用户对所述特定对象或对象部分感兴趣，则在步骤S140中，检查是否已经接收到来自用户输入设备50的激活输入，例如，检查是否已经按压了键盘的至少一个按键或者已经按压了按键组合。可以在输入模块32或动作确定模块35中对此进行检查。也可以检查已经结合对对象或对象部分的用户选择(即，已确定了用户凝视对象或对象部分)接收到该手动输入还是在与用户选择足够近时间接收该手动输入。因此，可以验证接收到的手动用户输入实际上应用于与特定对象或对象部分相关的上下文动作的用户选择还是激活。
然后，在步骤S150中，在动作确定模块35中，基于接收到的激活输入和感兴趣的对象或对象部分来确定要执行的特定上下文动作。以上，由来自例如键盘的输入和眼球数据输入的不同组合产生非穷举的可能上下文动作。此外，要执行哪个上下文动作的判定还可以基于感兴趣的对象的状态和/或操作系统的历史状态和/或当前状态，和/或确定计算机30的历史状态和/或当前状态。实质上，这还包括当前用户的状态，原因在于例如眼球跟踪器或EMG检测设备可以用于向计算机输入用户状态。例如，眼球凝视移动或眨眼可以用于检测用户是否感觉疲倦，是否即将入睡或者是否分神。用户可以配置手动激活输入，包括选择哪个输入或哪个输入组合来与哪个眼球跟踪数据输入相结合，以在选择了感兴趣的特定对象或感兴趣对象部分时，引起特定上下文动作。例如，用户可以选择的是：凝视未聚焦窗口处背景中的窗口和按压眼球跟踪功能按钮(用户可以将其选作例如“R”按键或者其可以是键盘的专用“眼球功能”按钮或按键)的组合会引起这个窗口置前。此外，用户可以配置预定凝视条件，包括选择要满足的哪个凝视条件来引起特定上下文动作。例如，用户可以确定需要特定的停留时间，以便确定用户凝视落在了对象上并且该对象是感兴趣的对象。在步骤S160中，动作确定模块35向GUI组件模块38发送指令，用于执行确定的上下文动作。
将参考图5和6讨论本发明的其它方面和实施例。在原理上，眼球凝视数据和来自例如键盘的输入的组合用于使得用户能够选择、缩放和激活感兴趣的对象或对象部分。
用户可以通过凝视显示器20上呈现的对象或对象部分或区域并且传送用户输入(例如，按压键盘的特定按键)，来放大或扩大感兴趣对象或对象部分或者围绕凝视点的区域。在保持的用户输入信号(例如，保持的按键按压)期间，逐渐放大对象或对象部分，从而实现缩放效果。通过传送第二输入信号(例如，通过释放按键按压)，用户可以操控、点击或者激活扩大的对象或对象部分。如果有必要调整例如眼球跟踪器的不精确度，则用户可以调整凝视。可以充分放大对象或对象部分的放大部分以迎合眼球跟踪器的平均不精确度(average inaccuracy)或偏移误差(offset error)。
在一个示例中，最有可能的对象或对象部分可以被缩放或放大且以确定的凝视点为中心。如果最有可能的对象或对象部分是正确的对象或对象部分，则用户可以通过传送第二输入(例如，释放按键上的按压)来激活对象或对象部分。为了帮助用户，可以示出视觉提示，指示用户所凝视的那个对象或对象部分。备选地，可以示出确定的凝视点，用于向用户指示将在放大(或缩放动作)之后将执行上下文动作的那个对象或对象部分，例如，在将执行点击的地方。
将参考图5描述根据本发明的计算机系统的实施例。将利用相同参考数字表示图2、4和5所示的相同或相似部件、模块和组件，在下文中，将省略其描述。
根据本实施例的系统200包括计算机310，计算机310包括动作确定模块350，其适于经由输入模块32从输入设备50接收第一激活输入。第一输入可以是对键盘51的特定按键的保持按压。动作确定模块350适于基于接收到的输入和凝视点来确定是否应该执行缩放动作，在这种情况下，即应该放大哪个区域、对象或对象部分。在一个实施例中，放大以凝视点为中心的区域。在另一实施例中，放大感兴趣的对象或对象部分，其中，这个感兴趣的对象或对象部分选作用户凝视所在的对象或对象部分。因此，动作确定模块350可以从眼球跟踪单元40接收凝视点或者可以从对象识别器34接收感兴趣的对象或对象部分。动作确定模块350向GUI组件模块38发送指令，即应该放大显示器20上显示的哪个区域、对象或对象部分。可以按照顺序步骤或者按照连续的方式来以预定放大速率执行放大。动作确定模块350还适于，在经由输入模块50从输入设备50接收第二激活输入时，基于接收到的第二激活输入和所述放大的区域或所述放大的感兴趣的对象或对象部分来确定特定上下文动作。在一个实施例中，第二输入是按压的按键的释放，上下文动作例如是对感兴趣的对象或对象部分的点击。动作确定模块350适于向GUI组件模块38发送指令，以执行特定上下文动作。
现在将参考图6讨论根据本发明的方法的实施例。优选地，使用根据参考图1和5来描述的系统的计算机系统来执行一种用于操控对象或对象部分并且执行与对象相关的上下文动作的方法。在显示器20上呈现许多对象，在步骤S200中，眼球跟踪单元40提供对显示器20上的用户注视点x、y加以描述的眼球跟踪信号DEYE，并且可以将眼球跟踪信号DEYE传送至计算机30。在图1中，用户注视点是对象120的一点。在步骤S210中，从用户输入设备50接收输入。在优选实施例中，按压键盘51的一个按键，并且保持按压。此后，在步骤S220中，执行缩放动作，其中，逐渐放大围绕凝视点的区域或者感兴趣的对象或对象部分。用户110可以通过来回移动用户凝视或头来调整眼球跟踪单元的不精确度。因为逐渐放大围绕凝视点的区域或感兴趣的对象或对象部分，所以容易调整凝视点。在备选实施例中，感兴趣的最有可能的对象或对象部分可以被放大并且以凝视点为中心。可以通过概率计算来确定要放大哪个对象或对象部分，例如，可以选择在几何上距离凝视点最近的对象或对象部分。还可以基于存储的用户模式来选择对象或对象部分，例如可以选择环绕凝视点的区域内的先前最常用的对象或对象部分。此外，可以基于感兴趣的对象或对象部分的状态、和/或操作系统的历史和/或当期状态、和/或计算机的历史和/或当前状态来进行选择。如果放大的对象或对象部分是正确的对象或对象部分(即，用户实际上期望激活的对象或对象部分)，则用户可以释放按键按压，以激活对象(步骤S230和S240，参见下文)。然而，如果放大的对象或对象部分不是正确的对象或对象部分，则用户可以调整其凝视。可以示出视觉提示，以帮助用户指示在调整之后要选择来放大的对象。备选地，可以指示或示出凝视点，以示出凝视点在哪里。
当已放大正确的对象、对象部分或区域时，在步骤S230中，用户可以通过使用输入设备50传送第二激活输入，来激活或点击对象、对象部分或区域。优选地，激活输入是键盘51的按键的按压的释放。在步骤S240中，在动作确定模块350中，基于接收到的激活输入和放大的区域或放大的感兴趣对象或对象部分来确定特定上下文动作。在一个实施例中，上下文动作是对象或对象部分的激活或点击，例如web链接上的点击。在步骤S250中，向GUI组件模块38发送指令，以执行上下文动作，例如定位web链接所链接的页面，并且在显示器20上显示页面。
尽管已经通过本发明的特定实施例和应用描述了本文公开的发明，但是本领域技术人员可以在不背离由所附权利要求限定的本发明的范围的情况下对本发明进行多种修改和改变。

Claims (7)

1.一种操控对象或对象部分并且执行与关联于眼球跟踪系统的计算机设备的显示器上呈现的对象相关的上下文动作的方法，所述方法包括：
i)在所述计算机设备的所述显示器上显示多个对象；
ii)提供对显示器上的用户凝视点和/或相对于显示器的用户凝视点加以描述的眼球跟踪数据信号；
iii)接收激活输入；
iv)使用所述确定的凝视点和/或所述激活输入来识别所述用户凝视的对象或对象部分；
v)如果当前凝视条件满足预定凝视条件和/或所述激活输入满足预定条件，则确定所述对象或所述对象部分是感兴趣的对象或对象部分；
vi)基于接收到的激活输入和感兴趣的对象或对象部分来确定特定上下文动作，以及
vii)执行所述特定上下文动作。
2.根据权利要求1所述的方法，其中，确定特定上下文动作的步骤包括：
确定激活输入与眼球跟踪数据信号的组合；以及
基于预定配置来确定特定上下文动作，其中预定配置用于针对感兴趣的特定对象或对象部分的特定激活输入和眼球跟踪数据信号的组合。
3.根据权利要求1或2所述的方法，其中，确定特定上下文动作的步骤包括：
确定感兴趣的对象的状态；和/或
确定操作系统的历史状态和/或当前状态；和/或
确定计算机的历史状态和/或当前状态。
4.根据前述权利要求中任一项所述的方法，还包括：
配置激活输入，包括选择哪个输入或输入组合来与哪个眼球跟踪数据信号相结合，使得在确定对特定对象感兴趣或对对象部分感兴趣时，引起特定上下文动作。
5.根据前述权利要求中任一项所述的方法，还包括：
配置所述预定凝视条件，包括选择要满足的哪些凝视条件来引起特定上下文动作。
6.一种系统，用于帮助用户操控对象或对象部分且执行与关联于眼球跟踪系统的计算机设备的显示器上呈现的对象相关的上下文动作，所述系统包括：
输入模块，适于从与所述计算机设备相关联的输入设备接收激活输入；
对象识别器，适于：
接收对显示器上的用户凝视点和/或相对于所述显示器的用户凝视点加以描述的眼球跟踪数据信号；
使用所述确定的凝视点和/或所述激活输入来识别所述用户凝视的对象或对象部分；以及
如果当前凝视条件满足预定凝视条件和/或如果所述激活输入满足预定条件，则确定所述对象是感兴趣的对象；
基于接收到的激活输入和感兴趣的对象或对象部分来确定特定上下文动作，以及
提供指令，用于执行所述特定上下文动作。
7.一种操控对象或对象部分并且执行与关联于眼球跟踪系统的计算机设备的显示器上呈现的对象相关的上下文动作的方法，所述方法包括：
i)提供对显示器上的用户凝视点加以描述的眼球跟踪数据；
ii)接收第一激活输入；
iii)执行缩放动作，其中，逐渐放大围绕所述凝视点的区域或感兴趣的对象或对象部分；
iv)从所述输入设备接收第二激活输入；
v)基于接收到的激活输入和所述放大的区域或感兴趣的对象或对象部分来确定特定上下文动作；以及
vi)执行所述特定上下文动作。
CN201180014989.6A 2010-01-21 2011-01-20 基于眼球跟踪器的上下文动作 Active CN102822771B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/691,289 2010-01-21
US12/691,289 US9507418B2 (en) 2010-01-21 2010-01-21 Eye tracker based contextual action
PCT/EP2011/050786 WO2011089199A1 (en) 2010-01-21 2011-01-20 Eye tracker based contextual action

Publications (2)

Publication Number Publication Date
CN102822771A true CN102822771A (zh) 2012-12-12
CN102822771B CN102822771B (zh) 2016-04-13

Family

ID=44022882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180014989.6A Active CN102822771B (zh) 2010-01-21 2011-01-20 基于眼球跟踪器的上下文动作

Country Status (8)

Country Link
US (3) US9507418B2 (zh)
EP (2) EP2526469B1 (zh)
JP (1) JP5944326B2 (zh)
CN (1) CN102822771B (zh)
DK (1) DK2526469T3 (zh)
ES (1) ES2657948T3 (zh)
PT (1) PT2526469T (zh)
WO (1) WO2011089199A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207676A (zh) * 2013-04-09 2013-07-17 上海斐讯数据通信技术有限公司 计算机图像扫描控制系统及方法
CN103838372A (zh) * 2013-11-22 2014-06-04 北京智谷睿拓技术服务有限公司 智能眼镜的智能功能开启/关闭方法和开启/关闭系统
CN103885592A (zh) * 2014-03-13 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
CN104007909A (zh) * 2013-02-25 2014-08-27 腾讯科技（深圳）有限公司 页面自动调整方法和装置
CN104182046A (zh) * 2014-08-22 2014-12-03 京东方科技集团股份有限公司 眼控提醒方法、眼控图像显示方法及显示系统
CN104317392A (zh) * 2014-09-25 2015-01-28 联想(北京)有限公司 一种信息控制方法及电子设备
CN104360733A (zh) * 2014-10-27 2015-02-18 西北工业大学 基于眼控操作的翻译辅助方法
CN104571488A (zh) * 2013-10-25 2015-04-29 由田新技股份有限公司 电子文件标记方法及装置
CN105009034A (zh) * 2013-03-08 2015-10-28 索尼公司 信息处理设备、信息处理方法和程序
CN105320261A (zh) * 2015-01-07 2016-02-10 维沃移动通信有限公司 移动终端的控制方法及移动终端
CN105359076A (zh) * 2013-06-18 2016-02-24 微软技术许可有限责任公司 多步骤虚拟对象选择
CN105929932A (zh) * 2015-02-27 2016-09-07 联想（新加坡）私人有限公司 基于凝视的通知响应
CN106293040A (zh) * 2015-06-17 2017-01-04 北京智谷睿拓技术服务有限公司 设备间的交互方法以及近眼设备
CN106293039A (zh) * 2015-06-17 2017-01-04 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
CN106325468A (zh) * 2015-06-17 2017-01-11 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
CN106456148A (zh) * 2014-03-19 2017-02-22 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
CN106463119A (zh) * 2014-06-06 2017-02-22 微软技术许可有限责任公司 用于支持改进语音识别的对视觉内容的修改
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
CN107771342A (zh) * 2016-06-20 2018-03-06 华为技术有限公司 一种增强现实显示方法及头戴式显示设备
CN108733214A (zh) * 2018-05-15 2018-11-02 宇龙计算机通信科技(深圳)有限公司 阅读器控制方法、装置、阅读器及计算机可读存储介质
CN109389619A (zh) * 2017-08-09 2019-02-26 宏碁股份有限公司 视觉范围映射方法及相关眼球追踪装置与系统
CN109542217A (zh) * 2018-10-12 2019-03-29 深圳市元征科技股份有限公司 一种眼球追踪显示方法以及装置
CN110673724A (zh) * 2019-09-16 2020-01-10 Tcl移动通信科技（宁波）有限公司 界面切换方法、装置、存储介质和终端
US10754490B2 (en) 2013-10-14 2020-08-25 Microsoft Technology Licensing, Llc User interface for collaborative efforts
TWI796883B (zh) * 2021-12-20 2023-03-21 荷蘭商荷蘭移動驅動器公司 使用者介面控制方法、電子裝置及使用者介面

Families Citing this family (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
JP4600548B2 (ja) * 2008-08-27 2010-12-15 ソニー株式会社 再生装置、再生方法、およびプログラム
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
KR101651430B1 (ko) * 2009-12-18 2016-08-26 삼성전자주식회사 휴대용 단말기에서 출력 데이터의 사이즈를 조절하기 위한 장치 및 방법
CN102893236B (zh) 2010-07-20 2015-11-25 英派尔科技开发有限公司 增强现实临近检测
KR101726849B1 (ko) * 2010-08-06 2017-04-13 삼성전자주식회사 휴대 단말, 휴대 단말을 이용한 위험 감지 장치 및 방법
EP2431895B1 (en) * 2010-09-16 2017-07-26 LG Electronics Inc. Transparent display device and method for providing information using the same
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US8892578B2 (en) * 2010-10-29 2014-11-18 Microsoft Corporation Visual preview of search results
US10042516B2 (en) * 2010-12-02 2018-08-07 Instavid Llc Lithe clip survey facilitation systems and methods
CN103348312A (zh) * 2010-12-02 2013-10-09 戴斯帕克有限公司 用于流化数字容器中多个不同媒体内容的系统、装置和方法
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8766936B2 (en) 2011-03-25 2014-07-01 Honeywell International Inc. Touch screen and method for providing stable touches
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US20120302206A1 (en) * 2011-05-27 2012-11-29 Vock Curtis A Surface software and associated methods
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US8379981B1 (en) * 2011-08-26 2013-02-19 Toyota Motor Engineering & Manufacturing North America, Inc. Segmenting spatiotemporal data based on user gaze data
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
EP2783269B1 (en) 2011-11-23 2018-10-31 Intel Corporation GESTURE INPUT WITH MULTIPLE VIEWS and DISPLAYS
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
WO2013085193A1 (ko) * 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법
DE112011105917T5 (de) * 2011-12-27 2014-09-18 Hewlett Packard Development Company, L.P. Benutzerschnittstellenvorrichtung
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20130215250A1 (en) * 2012-02-16 2013-08-22 Research In Motion Limited Portable electronic device and method
DE102012003283A1 (de) 2012-02-20 2013-08-22 4tiitoo AG Verfahren und Vorrichtung zur blickgestützten Steuerung
KR101919009B1 (ko) 2012-03-06 2018-11-16 삼성전자주식회사 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
KR101919010B1 (ko) 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US9733707B2 (en) 2012-03-22 2017-08-15 Honeywell International Inc. Touch screen display user interface and method for improving touch interface utility on the same employing a rules-based masking system
US9785619B1 (en) * 2012-03-23 2017-10-10 Amazon Technologies, Inc. Interaction based display of visual effects
US10331769B1 (en) 2012-03-23 2019-06-25 Amazon Technologies, Inc. Interaction based prioritized retrieval of embedded resources
KR101620777B1 (ko) 2012-03-26 2016-05-12 애플 인크. 증강된 가상 터치패드 및 터치스크린
DE102012206030A1 (de) * 2012-04-13 2013-10-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern zumindest einer Funktion zumindest eines Anzeigegerätes für einen Innenraum eines Fahrzeugs
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP2847648A4 (en) * 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
US8810604B2 (en) * 2012-06-19 2014-08-19 Mastercard International Incorporated System and method for activating, actioning and providing feedback on interactive objects within line of sight
US9098111B2 (en) * 2012-06-22 2015-08-04 Microsoft Technology Licensing, Llc Focus guidance within a three-dimensional interface
JP5783957B2 (ja) * 2012-06-22 2015-09-24 株式会社Ｎｔｔドコモ 表示装置、表示方法及びプログラム
JP6131540B2 (ja) * 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
US9423871B2 (en) 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
DE102012215407A1 (de) * 2012-08-30 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen einer Eingabe für ein Bedienelement
US9575960B1 (en) * 2012-09-17 2017-02-21 Amazon Technologies, Inc. Auditory enhancement using word analysis
US9152227B2 (en) * 2012-10-10 2015-10-06 At&T Intellectual Property I, Lp Method and apparatus for controlling presentation of media content
US9746915B1 (en) * 2012-10-22 2017-08-29 Google Inc. Methods and systems for calibrating a device
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US20140139556A1 (en) * 2012-11-22 2014-05-22 Shanghai Powermo Information Tech. Co. Ltd. Apparatus and method for displaying software keyboards thereof
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US20140218281A1 (en) 2012-12-06 2014-08-07 Eyefluence, Inc. Systems and methods for eye gaze determination
US9128580B2 (en) 2012-12-07 2015-09-08 Honeywell International Inc. System and method for interacting with a touch screen interface utilizing an intelligent stencil mask
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
US20140164366A1 (en) * 2012-12-12 2014-06-12 Microsoft Corporation Flat book to rich book conversion in e-readers
US20140172579A1 (en) * 2012-12-17 2014-06-19 United Video Properties, Inc. Systems and methods for monitoring users viewing media assets
US8571851B1 (en) * 2012-12-31 2013-10-29 Google Inc. Semantic interpretation using user gaze order
US9829971B2 (en) * 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
WO2014115387A1 (ja) * 2013-01-28 2014-07-31 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20140210702A1 (en) * 2013-01-31 2014-07-31 United Video Properties, Inc. Systems and methods for presenting messages based on user engagement with a user device
US9576316B2 (en) * 2013-02-09 2017-02-21 Todd Christopher Adelmann Dynamic menus
US20140247210A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Zonal gaze driven interaction
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
AU2014249335B2 (en) * 2013-03-13 2018-03-22 The Henry M. Jackson Foundation For The Advancement Of Military Medicine, Inc. Enhanced neuropsychological assessment with eye tracking
JP6577454B2 (ja) 2013-03-18 2019-09-18 ミラメトリックス インコーポレイテッド 軸上視線追跡システム及び方法
CN103294194B (zh) * 2013-04-28 2016-12-28 小米科技有限责任公司 一种基于眼球跟踪的翻译方法及系统
US20140347363A1 (en) * 2013-05-22 2014-11-27 Nikos Kaburlasos Localized Graphics Processing Based on User Interest
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20140368432A1 (en) * 2013-06-17 2014-12-18 Tencent Technology (Shenzhen) Company Limited Wearable smart glasses as well as device and method for controlling the same
US8988344B2 (en) 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc User interface navigation
US20160147300A1 (en) * 2013-06-28 2016-05-26 Nokia Technologies Oy Supporting Activation of Function of Device
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
DE102013013698B4 (de) * 2013-08-16 2024-10-02 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille
KR102101741B1 (ko) * 2013-08-16 2020-05-29 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR102160650B1 (ko) * 2013-08-26 2020-09-28 삼성전자주식회사 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법
KR20150027614A (ko) * 2013-09-04 2015-03-12 엘지전자 주식회사 이동 단말기
US9400553B2 (en) * 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
US10146299B2 (en) * 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US20150138244A1 (en) * 2013-11-18 2015-05-21 Tobii Technology Ab Component determination and gaze provoked interaction
WO2015081334A1 (en) * 2013-12-01 2015-06-04 Athey James Leighton Systems and methods for providing a virtual menu
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
DE102013022035B4 (de) * 2013-12-20 2015-11-12 Audi Ag Kraftfahrzeug-Bedienvorrichtung mit graphischer Benutzerschnittstelle, sowie Kraftfahrzeug und Verfahren
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
CN104751152B (zh) * 2013-12-30 2019-03-15 腾讯科技（深圳）有限公司 一种翻译方法及装置
EP3092544A1 (en) * 2014-01-10 2016-11-16 Nokia Technologies Oy Display of a visual representation of a view
US9817474B2 (en) * 2014-01-24 2017-11-14 Tobii Ab Gaze driven interaction for a vehicle
US9325938B2 (en) 2014-03-13 2016-04-26 Google Inc. Video chat picture-in-picture
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
WO2015178571A1 (ko) * 2014-05-20 2015-11-26 주식회사 비주얼캠프 시선 추적형 입력 장치
KR101671837B1 (ko) * 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
RU2578516C2 (ru) * 2014-06-02 2016-03-27 Владимир Леонтьевич Крапивин Очки с электронным изменением фокуса для водителей транспортных средств (оэиф)
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
DE102014009299A1 (de) 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102014009301A1 (de) * 2014-06-26 2016-03-03 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102014009302A1 (de) 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102014009304A1 (de) * 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
KR101848475B1 (ko) 2014-06-30 2018-04-13 주식회사 퓨처플레이 문맥 정보에 기초하여 스크롤을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN105260369B (zh) * 2014-07-15 2019-05-31 联想(北京)有限公司 一种辅助阅读的方法和电子设备
US9659482B2 (en) * 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
DE112014007127T5 (de) * 2014-11-03 2017-09-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Kalibrieren eines Eye-Tracking-Systems
EP3018558B1 (en) * 2014-11-04 2019-08-14 4tiitoo GmbH Method and system for detecting objects of interest
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
WO2016112531A1 (en) * 2015-01-16 2016-07-21 Hewlett-Packard Development Company, L.P. User gaze detection
US10242379B2 (en) 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
US9911037B2 (en) * 2015-02-23 2018-03-06 Umoove Services Ltd. System and method of feedback for attention and concentration
CN112667069A (zh) * 2015-03-13 2021-04-16 苹果公司 用于自动识别眼睛追踪设备的至少一个用户的方法以及眼睛追踪设备
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
KR101671838B1 (ko) * 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
US10409443B2 (en) 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
CN106293444B (zh) * 2015-06-25 2020-07-03 小米科技有限责任公司 移动终端、显示控制方法及装置
EP3353630B1 (en) 2015-09-24 2021-05-26 Tobii AB Eye-tracking enabled wearable devices
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
CN105338192A (zh) * 2015-11-25 2016-02-17 努比亚技术有限公司 移动终端及其操作处理方法
US10372289B2 (en) * 2015-12-31 2019-08-06 Beijing Pico Technology Co., Ltd. Wraparound interface layout method, content switching method under three-dimensional immersive environment, and list switching method
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
CN109416572A (zh) 2016-04-29 2019-03-01 托比股份公司 启用眼睛跟踪的可穿戴设备
KR101671839B1 (ko) * 2016-09-01 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
US10345898B2 (en) 2016-09-22 2019-07-09 International Business Machines Corporation Context selection based on user eye focus
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
JP2018120521A (ja) * 2017-01-27 2018-08-02 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US10417827B2 (en) 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10481856B2 (en) 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
DK201770411A1 (en) * 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DE102017210599A1 (de) * 2017-06-23 2018-12-27 Audi Ag Verfahren zum Positionieren eines digitalen Anzeigeinhalts auf einer Anzeigeeinrichtung eines Kraftfahrzeugs, Steuervorrichtung und Kraftfahrzeug mit Steuervorrichtung
TWI638281B (zh) * 2017-07-25 2018-10-11 國立臺北科技大學 Providing a method for patients to visually request assistance information
US11079899B2 (en) * 2017-07-26 2021-08-03 Microsoft Technology Licensing, Llc Dynamic eye-gaze dwell times
US10496162B2 (en) * 2017-07-26 2019-12-03 Microsoft Technology Licensing, Llc Controlling a computer using eyegaze and dwell
US11237691B2 (en) * 2017-07-26 2022-02-01 Microsoft Technology Licensing, Llc Intelligent response using eye gaze
WO2019040665A1 (en) 2017-08-23 2019-02-28 Neurable Inc. BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS
JP6962079B2 (ja) * 2017-09-04 2021-11-05 株式会社Ｊｖｃケンウッド 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム
US11351453B2 (en) * 2017-09-12 2022-06-07 Sony Interactive Entertainment LLC Attention-based AI determination of player choices
US10678116B1 (en) * 2017-11-09 2020-06-09 Facebook Technologies, Llc Active multi-color PBP elements
CN111542800B (zh) 2017-11-13 2024-09-17 神经股份有限公司 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
JP2019113928A (ja) * 2017-12-21 2019-07-11 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
CN111712192B (zh) 2018-01-18 2024-07-02 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
EP3547079B1 (en) * 2018-03-27 2021-08-25 Nokia Technologies Oy Presenting images on a display device
JP6911809B2 (ja) * 2018-05-09 2021-07-28 日本電信電話株式会社 推定方法、推定プログラム及び推定装置
CN113238651A (zh) * 2018-07-02 2021-08-10 苹果公司 用于显示系统的基于聚焦的调试和检查
DE102018215597A1 (de) * 2018-09-13 2020-03-19 Audi Ag Verfahren zum Unterstützen eines Benutzers beim Durchführen eines Scroll-Vorgangs, Vorrichtung und Kraftfahrzeug
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
DE112019007085T5 (de) 2019-03-27 2022-01-20 Intel Corporation Intelligente Anzeigetafeleinrichtung und verwandte Verfahren
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
WO2021028018A1 (en) * 2019-08-12 2021-02-18 Smart Reporting Gmbh System and method for reporting on medical images
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
CN111770371B (zh) * 2020-06-24 2023-01-24 维沃移动通信有限公司 参数调节方法及装置
CN116438510A (zh) 2020-06-26 2023-07-14 苹果公司 用于内容应用程序的设备、方法和图形用户界面
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
KR20230050466A (ko) 2020-09-25 2023-04-14 애플 인크. 사용자 인터페이스들을 내비게이팅하기 위한 방법들
US11113893B1 (en) * 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
US11880504B2 (en) * 2021-09-28 2024-01-23 Ramot At Tel-Aviv University Ltd. Automatic preference quantification of displayed objects based on eye tracker data
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US11775061B1 (en) * 2022-04-22 2023-10-03 Microsoft Technology Licensing, Llc Detecting computer input based upon gaze tracking with manually triggered content enlargement
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US20240211034A1 (en) * 2022-12-23 2024-06-27 Juntao Ye Methods and systems for gaze assisted interaction
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694043A (zh) * 2004-04-29 2005-11-09 国际商业机器公司 用眼睛凝视和按键按压组合选择和激活对象的系统和方法
US20060033762A1 (en) * 2000-12-21 2006-02-16 Xerox Corporation Magnification methods, systems, and computer program products for virtual three-dimensional books
US7013258B1 (en) * 2001-03-07 2006-03-14 Lenovo (Singapore) Pte. Ltd. System and method for accelerating Chinese text input
US20090273562A1 (en) * 2008-05-02 2009-11-05 International Business Machines Corporation Enhancing computer screen security using customized control of displayed content area

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04372012A (ja) 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
JP3363283B2 (ja) 1995-03-23 2003-01-08 株式会社日立製作所 入力装置、入力方法、情報処理システムおよび入力情報の管理方法
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH10207615A (ja) 1997-01-22 1998-08-07 Tec Corp ネットワークシステム
JPH11167644A (ja) 1997-12-03 1999-06-22 Sharp Corp 設計支援装置
JP3822357B2 (ja) 1998-02-09 2006-09-20 株式会社東芝 マルチモーダル入出力装置のインタフェース装置及びその方法
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
JP2000231427A (ja) 1999-02-08 2000-08-22 Nec Corp マルチモーダル情報解析装置
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US7486302B2 (en) * 2004-04-14 2009-02-03 Noregin Assets N.V., L.L.C. Fisheye lens graphical user interfaces
ES2535364T3 (es) * 2004-06-18 2015-05-08 Tobii Ab Control ocular de aparato informático
JP2006240368A (ja) 2005-03-01 2006-09-14 Toyota Motor Corp 車両用運転支援装置
JP2006244038A (ja) 2005-03-02 2006-09-14 Nec Corp 携帯電話機
US7719520B2 (en) * 2005-08-18 2010-05-18 Scenera Technologies, Llc Systems and methods for processing data entered using an eye-tracking system
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
EP2002322B1 (en) * 2006-03-23 2009-07-15 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
JP5207513B2 (ja) 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2009081309A (ja) 2007-09-26 2009-04-16 Fujifilm Corp 有機半導体組成物、及びそれを用いた有機電子デバイス
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US7983579B2 (en) 2009-03-06 2011-07-19 Xerox Corporation System and method for determining an amount of toner mass on a photoreceptor
US8537181B2 (en) * 2009-03-09 2013-09-17 Ventana Medical Systems, Inc. Modes and interfaces for observation, and manipulation of digital images on computer screen in support of pathologist's workflow
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US20100283722A1 (en) 2009-05-08 2010-11-11 Sony Ericsson Mobile Communications Ab Electronic apparatus including a coordinate input surface and method for controlling such an electronic apparatus
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
CA3043204C (en) * 2009-11-19 2021-08-31 Esight Corp. Apparatus and method for a dynamic "region of interest" in a display system
US8977972B2 (en) * 2009-12-31 2015-03-10 Intel Corporation Using multi-modal input to control multiple objects on a display
US10503359B2 (en) * 2012-11-15 2019-12-10 Quantum Interface, Llc Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same
US9244527B2 (en) * 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
US10254844B2 (en) * 2013-06-20 2019-04-09 Uday Parshionikar Systems, methods, apparatuses, computer readable medium for controlling electronic devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060033762A1 (en) * 2000-12-21 2006-02-16 Xerox Corporation Magnification methods, systems, and computer program products for virtual three-dimensional books
US7013258B1 (en) * 2001-03-07 2006-03-14 Lenovo (Singapore) Pte. Ltd. System and method for accelerating Chinese text input
CN1694043A (zh) * 2004-04-29 2005-11-09 国际商业机器公司 用眼睛凝视和按键按压组合选择和激活对象的系统和方法
US20090273562A1 (en) * 2008-05-02 2009-11-05 International Business Machines Corporation Enhancing computer screen security using customized control of displayed content area

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007909A (zh) * 2013-02-25 2014-08-27 腾讯科技（深圳）有限公司 页面自动调整方法和装置
CN104007909B (zh) * 2013-02-25 2019-03-01 腾讯科技（深圳）有限公司 页面自动调整方法和装置
CN105009034B (zh) * 2013-03-08 2018-05-08 索尼公司 信息处理设备、信息处理方法和程序
CN105009034A (zh) * 2013-03-08 2015-10-28 索尼公司 信息处理设备、信息处理方法和程序
CN103207676A (zh) * 2013-04-09 2013-07-17 上海斐讯数据通信技术有限公司 计算机图像扫描控制系统及方法
CN103207676B (zh) * 2013-04-09 2017-08-04 上海斐讯数据通信技术有限公司 计算机图像扫描控制系统及方法
CN105359076B (zh) * 2013-06-18 2019-06-18 微软技术许可有限责任公司 多步骤虚拟对象选择方法和装置
CN105359076A (zh) * 2013-06-18 2016-02-24 微软技术许可有限责任公司 多步骤虚拟对象选择
US10754490B2 (en) 2013-10-14 2020-08-25 Microsoft Technology Licensing, Llc User interface for collaborative efforts
CN104571488A (zh) * 2013-10-25 2015-04-29 由田新技股份有限公司 电子文件标记方法及装置
CN104571488B (zh) * 2013-10-25 2018-03-23 由田新技股份有限公司 电子文件标记方法及装置
CN103838372A (zh) * 2013-11-22 2014-06-04 北京智谷睿拓技术服务有限公司 智能眼镜的智能功能开启/关闭方法和开启/关闭系统
CN103885592B (zh) * 2014-03-13 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
CN103885592A (zh) * 2014-03-13 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
CN106456148A (zh) * 2014-03-19 2017-02-22 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
CN106537290B (zh) * 2014-05-09 2019-08-27 谷歌有限责任公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
CN106463119A (zh) * 2014-06-06 2017-02-22 微软技术许可有限责任公司 用于支持改进语音识别的对视觉内容的修改
CN104182046A (zh) * 2014-08-22 2014-12-03 京东方科技集团股份有限公司 眼控提醒方法、眼控图像显示方法及显示系统
CN104317392B (zh) * 2014-09-25 2018-02-27 联想(北京)有限公司 一种信息控制方法及电子设备
CN104317392A (zh) * 2014-09-25 2015-01-28 联想(北京)有限公司 一种信息控制方法及电子设备
CN104360733A (zh) * 2014-10-27 2015-02-18 西北工业大学 基于眼控操作的翻译辅助方法
CN105320261A (zh) * 2015-01-07 2016-02-10 维沃移动通信有限公司 移动终端的控制方法及移动终端
CN105929932A (zh) * 2015-02-27 2016-09-07 联想（新加坡）私人有限公司 基于凝视的通知响应
CN106325468B (zh) * 2015-06-17 2019-09-10 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
CN106293039B (zh) * 2015-06-17 2019-04-12 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
CN106293040B (zh) * 2015-06-17 2019-04-16 北京智谷睿拓技术服务有限公司 设备间的交互方法以及近眼设备
CN106293039A (zh) * 2015-06-17 2017-01-04 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
CN106293040A (zh) * 2015-06-17 2017-01-04 北京智谷睿拓技术服务有限公司 设备间的交互方法以及近眼设备
US10114457B2 (en) 2015-06-17 2018-10-30 Beijing Zhigu Rui Tuo Tech Co., Ltd Interaction method between pieces of equipment and near-to-eye equipment
CN106325468A (zh) * 2015-06-17 2017-01-11 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
CN107771342A (zh) * 2016-06-20 2018-03-06 华为技术有限公司 一种增强现实显示方法及头戴式显示设备
CN109389619A (zh) * 2017-08-09 2019-02-26 宏碁股份有限公司 视觉范围映射方法及相关眼球追踪装置与系统
CN108733214A (zh) * 2018-05-15 2018-11-02 宇龙计算机通信科技(深圳)有限公司 阅读器控制方法、装置、阅读器及计算机可读存储介质
CN109542217A (zh) * 2018-10-12 2019-03-29 深圳市元征科技股份有限公司 一种眼球追踪显示方法以及装置
CN110673724A (zh) * 2019-09-16 2020-01-10 Tcl移动通信科技（宁波）有限公司 界面切换方法、装置、存储介质和终端
TWI796883B (zh) * 2021-12-20 2023-03-21 荷蘭商荷蘭移動驅動器公司 使用者介面控制方法、電子裝置及使用者介面

Also Published As

Publication number Publication date
ES2657948T3 (es) 2018-03-07
JP2013518316A (ja) 2013-05-20
US20200159316A1 (en) 2020-05-21
US20170075420A1 (en) 2017-03-16
CN102822771B (zh) 2016-04-13
JP5944326B2 (ja) 2016-07-05
EP2526469B1 (en) 2017-11-01
EP2526469A1 (en) 2012-11-28
WO2011089199A1 (en) 2011-07-28
DK2526469T3 (da) 2018-01-29
PT2526469T (pt) 2018-02-07
US10353462B2 (en) 2019-07-16
US20110175932A1 (en) 2011-07-21
US9507418B2 (en) 2016-11-29
EP3293613A1 (en) 2018-03-14

Similar Documents

Publication Publication Date Title
CN102822771B (zh) 基于眼球跟踪器的上下文动作
US11461397B2 (en) Column interface for navigating in a user interface
US11550447B2 (en) Application menu for video system
US10156967B2 (en) Device, method, and graphical user interface for tabbed and private browsing
US20180067617A1 (en) Music now playing user interface
EP1986081A1 (en) Device for user interface using rotatable input device and method of operating user interface
CN103729156A (zh) 显示控制装置以及显示控制方法
US20150015483A1 (en) Method of controlling at least one function of device by using eye action and device for performing the method
CN111201512A (zh) 滚动显示通知消息的方法及设备
EP2557491A2 (en) Hand-held devices and methods of inputting data
EP2605116A1 (en) Method of controlling pointer in mobile terminal having pointing device
WO2015082211A1 (en) Method of operating a multi-touch device and multi-touch device therefore

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Swedish Carlsberg Vaughan

Applicant after: Toby joint-stock company

Address before: Swedish Carlsberg Vaughan

Applicant before: Tobii Technology AB

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: TOBII TECHNOLOGY AB TO: TOBY AG

C14 Grant of patent or utility model
GR01 Patent grant