CN103518172B - 凝视辅助的计算机界面 - Google Patents

凝视辅助的计算机界面 Download PDF

Info

Publication number
CN103518172B
CN103518172B CN201280022042.4A CN201280022042A CN103518172B CN 103518172 B CN103518172 B CN 103518172B CN 201280022042 A CN201280022042 A CN 201280022042A CN 103518172 B CN103518172 B CN 103518172B
Authority
CN
China
Prior art keywords
cursor
user
pog
display
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280022042.4A
Other languages
English (en)
Other versions
CN103518172A (zh
Inventor
J.R.斯塔福德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN103518172A publication Critical patent/CN103518172A/zh
Application granted granted Critical
Publication of CN103518172B publication Critical patent/CN103518172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了使用户与图形用户界面（GUI）相连接的方法、系统和计算机程序。一种方法包括用于识别所述用户的凝视点（POG）的操作。在光标限定出与执行所述GUI的计算机程序相关的聚焦区域处检测到所述用户开始进行移动所述光标在显示器上位置的身体动作。进一步，所述方法包括用于确定在所述光标的当前位置与所述POG之间的距离是否大于阈值距离的操作。所述光标从所述当前位置移至邻近所述POG的区域以响应对所述POG的确定和对所述身体动作开始的检测。

Description

凝视辅助的计算机界面
技术领域
本发明涉及图形用户界面（GUI），且尤其涉及用于与提供凝视辅助导航的GUI相连接的方法、系统和计算机程序。
背景技术
在当前计算机界面中，鼠标控制的屏幕光标在显示器所提供桌面的虚拟实际使用面积上游走，且其速度由手速和鼠标灵敏度所确定。多年来，由于更大屏幕尺寸、更高的屏幕分辨率、多个屏幕等的出现，虚拟桌面的实际使用面积的大小已经增加。然而，控制光标的人体输入装置和鼠标的传动仍未改变。例如，在640×480的桌面上移动鼠标至多仅需要几英寸的手部运动，这通常仅涉及手腕运动。然而，对于分辨率为2560×1600的桌面或在使用多个屏幕时分辨率更大的桌面而言，用户不能仅使用手腕将鼠标光标从桌面的一侧移至相反侧或从一个显示器移至另一个。在这种情况下，有时会需要“用手拖动鼠标”，即用户在鼠标脱离鼠标垫前将鼠标移至尽可能远的地方，然后向上抬起鼠标，将鼠标移回，并再次将鼠标落下以及再次在鼠标垫上移动鼠标。这是一个繁琐的操作，且会使与大显示器的连接很累人。
在这种背景下，产生了实施方案。
发明内容
本发明的实施方案提供了使用户与图形用户界面（GUI）相连接的方法、系统和计算机程序。应理解的是可通过多种方式，如计算机可读介质上的进程、设备、系统、装置或方法实施本发明。下面将描述本发明的几个发明性实施方案。
在一个实施方案中，一种方法包括用于识别用户的凝视点（POG）的操作。在光标限定出与执行GUI的计算机程序相关的聚焦区域处检测到用户开始进行移动光标在显示器上位置的身体动作。进一步，该方法包括用于确定在光标的当前位置与POG之间的距离是否大于阈值距离的操作。光标从当前位置移至邻近POG的区域以响应对POG的确定和对身体动作开始的检测。
在另一实施方案中，一种具有GUI的系统包括处理器、输入装置和凝视检测模块。处理器执行提供GUI的计算机程序，且在一个或多个显示器中提供有GUI。输入设备可操作以当用户在输入装置上开始进行身体动作时移动光标在一个或多个显示器上的位置。另外，凝视检测模块可操作以识别用户的POG，且计算机程序确定在光标的当前位置与POG之间的距离是否大于阈值距离。计算机程序将光标从当前位置移至邻近POG的区域以响应对距离的确定和对身体动作的检测。
在另一实施方案中，提供了一种具有程序指令的非临时性计算机可读介质，当计算机执行程序指令时，实施一种使用户与计算机程序相连接的方法。该方法包括用于识别用户的凝视点（POG）的操作。在光标限定出与执行GUI的计算机程序相关的聚焦区域处检测到用户开始进行移动光标在显示器上位置的身体动作。进一步，该方法包括用于确定在光标的当前位置与POG之间的距离是否大于阈值距离的操作。光标从当前位置移至邻近POG的区域以响应对POG的确定和对身体动作开始的检测。
根据下面的详细描述并结合附图可使其它方面变得显而易见。
附图说明
可参考下列描述并结合附图以最好地理解本发明。
图1示出根据一个实施方案的用户将光标移动很长距离所需的努力。
图2A-2B示出减少将光标移动很长距离所需努力的凝视辅助的计算机系统的实施方案。
图3示出根据一个实施方案对凝视点（POG）与光标的当前位置之间的距离的估算。
图4A示出用于使用角膜反射的POG检测的实施方案。
图4B示出根据一个实施方案的用于使用图像分析和人脸跟踪的POG检测的方法。
图5示出根据一个实施方案的用于使用凝视检测以在手持装置中快速滚动的方法。
图6示出根据一个实施方案的用于使用凝视检测和用户输入以进行快速光标移动的方法。
图7示出根据一个实施方案的凝视辅助的游戏界面。
图8示出根据一个实施方案的响应于手势的窗口的图形用户界面。
图9示出根据一个实施方案的利用凝视检测、语音识别以及一个或多个计算机外围设备的界面。
图10为实施本发明的实施方案的计算机系统的简化示意图。
图11示出说明根据本发明的一个实施方案的使用户与在计算装置中执行的计算机程序相连接的算法的流程图。
具体实施方式
本发明的实施方案利用凝视跟踪以帮助在显示器中移动光标以及使用较少的努力达到目标光标位置。在一个实施方案中，凝视检测与表现为身体动作的用户意图相结合，从而加强用户与计算装置之间的界面。
将显而易见的是，本实施方案可在缺少一些或所有这些具体细节的情况下进行实践。在其它情况下，未详细描述众所周知的操作以避免使本实施方案产生不必要的费解。
图1示出根据一个实施方案的用户将光标移动很长距离所需的努力。三个显示器110a、110b和110c被连接至计算机108上。在三个显示器中显示有窗口环境，使得窗口环境的桌面包含三个显示器，每个显示器呈现桌面的一部分。三个部分均逻辑性的相互连接以模拟出区域形成连续的桌面。换句话说，三个显示器如单一显示器一样运行，但是在单一显示器上的呈像被划分成三个部分，且每个部分均被显示在显示器110a、110b和110c的一个中。
当用户102移动鼠标时，鼠标可越过三个显示器，但仅存在于一个显示器中。例如，当显示器110a中的鼠标被移至显示器110a的右侧时，鼠标出现在显示器110b的左侧，这是因为三个显示器表示单一的桌面。
三个显示器为用户提供大桌面并为希望同时显示多个窗口的用户提供一个有用的功能。然而，在大桌面中移动鼠标可以是非常繁琐的，特别是当鼠标的灵敏度高时（即，对于桌面上相同量的光标位移而言，具有高灵敏度的鼠标比具有低灵敏度的鼠标需要更多的鼠标运行）。因此，高的鼠标灵敏度有利于需要精确鼠标运动和对象选择的行为（例如，图形创建和编辑），但是高的鼠标灵敏度不利于快速地越过桌面移动鼠标。例如，如果用户102要将鼠标光标从窗口112中的位置116移至显示器110a上的位置118时，必须将鼠标104从右向左移动很大的距离。由于鼠标运动的范围通常是有限的，鼠标光标的大位移通常需要用户将鼠标移至左侧、抬起鼠标、将鼠标放在右侧，然后将鼠标再移至左侧，重复该操作106数次以将光标移至位置118。在移动过程中，由于“用手拖动鼠标”，鼠标光标会移过轨迹120，其包括几个停顿。
本文所使用的“光标”是指与计算机程序相关的且为计算机程序指示焦点形式的指针或指示器。光标可指鼠标光标，其指示由鼠标控制的指针的当前位置且显示于显示器上；或指文本光标（例如，垂直线），其指示在文本字段（例如，文字处理器和网页中的字段）中输入文本的位置；或指页面光标，其指示用于页面（例如，网页）上所进行操作（例如，向上翻页、向下翻页、向上滚动等）的参考点；等等。光标可能在屏幕上以不同形式表示出来，如箭头、手、手指、竖线、滚动条等，或有时可隐藏起来以使光标为隐式，但仍可用于进行一些界面操作，如“向下翻页”。光标在本文中可被称为“聚焦区域”、“鼠标光标”、“页面光标”、“窗口光标”、“文本插入点”等。虽然实施方案是使用特定形式的光标进行表述的，但也可利用任何类型的光标，因此所表述的实施方案不应被解释为排他性或限制性的，而是示例性或说明性的。
通常，用户102是看着光标所需的目的地，而不是鼠标光标的当前位置。本发明的实施方案利用凝视检测以加强用户与计算机系统相连接的方式。例如，使用凝视检测以确定用户想要移动光标的位置，并随后较快地且使用较少努力地将光标移至所需位置。有时，用户可能甚至不知道鼠标在显示器上，且用户必须在用户实际开始移动鼠标光标前花时间寻找光标。然而，通过使用凝视检测，无需定位鼠标，这是因为所需了解的是光标要去的地方，而不是光标碰巧所在的位置。
应注意的是尽管在一些实施方案中仅使用凝视以与计算机系统相连接，但是其它实施方案需要用户进行相关的身体运动。用户的POG可能是不稳定的，因此，仅使用POG可能会产生问题，需要用户的确认或需要用较长时间才能完成的操作（例如，需要将一点上的凝视设置为2秒）。通过结合凝视和其它动作（如，一旦光标在POG的普通区域中，则使用鼠标移动光标），提供了一种易于使用的界面。
图2A-2B示出减少将光标移动很长距离所需努力的凝视辅助的计算机系统的实施方案。在一个实施方案中，通过用户的凝视辅助的光标控制。为了简单起见，本发明的实施方案所描述的区域利用典型图形用户界面（GUI）上的鼠标光标的操作以用于显示器所提供的桌面。其它实施方案可以利用光标或化身控制的不同形式、不同输入机构（例如，键盘、小键盘、触摸屏、踏板等），或指不同显示机构（例如，大显示器、多个显示器、分节的显示器等）。因此，示出的实施方案不应被解释为排他性或限制性的，而是示例性或说明性的。
眼睛跟踪或眼睛凝视跟踪为测量凝视点（POG）（即用户正在观看的点）或测量眼睛相对于头部的运动的过程。POG为人凝视所指向的空间中的点且已被定义为在每只眼睛的视网膜（中央小窝）的最高敏锐度区域中心上所成像的空间中的点。下面将参照图3和图4提供有关凝视检测的更多细节。
参照图2A，用户102想将鼠标光标从显示器110c中的位置204移至显示器110a中的位置208。在计算机108上执行的凝视检测系统确定用户在包括有GUI桌面的显示器中的POG。用户将凝视210固定在鼠标光标的所需目的地上（即，看向光标的目标的方向），且凝视检测系统确定大概的位置206。当用户102的凝视210位于目标上时，用户102移动202鼠标104以将光标移至目标处。当计算机系统108检测到鼠标移动的开始时，使用凝视检测移动光标以接近目的地（即，鼠标光标“跳”至接近目的地的地方或至目的地）。应注意的是，当利用凝视辅助移动光标时，将光标从第一位置移至第二位置，而无需用户拖动鼠标以进行凝视辅助的运动。凝视检测是基于对摄像头214拍摄的图像进行图像分析，但其它类型的凝视检测也是可能的。
系统将鼠标光标移至位置206，其为凝视检测系统所计算出的POG，且随后系统仅依赖鼠标移动而找到光标的最终目的地。用户甚至无需知道鼠标目前处在何处，这是因为目的地才是要完成鼠标光标的移动而所需了解的事情。通过这种方式，用户不需要搜寻鼠标光标以找到光标当前在桌面上的位置。
在一个实施方案中，光标移动的速度是可变的，使得在光标接近POG的过程中使光标移动的速度变慢。通过这种方式，当光标远离POG时，光标移动速度快，但是当光标开始接近目的地时，光标会减慢并增加鼠标的灵敏度，从而允许用户更好地控制鼠标光标接近目的地。在光标远离目标时不需要精细的灵敏度，这是因为用户想要的是快速地到达目标，而且鼠标所遵循的到达目的地的轨迹也并不重要。
通过使用凝视检测，系统能够在需要的时候提供更高级别的鼠标灵敏度，即当用户在感兴趣的区域中进行操作时。其它加速方案是基于用户移动鼠标的速度的有多快，但这些方案往往会提供意想不到的结果且很难进行适当的调整以在灵敏度与快速将鼠标移动很长距离的能力之间提供平衡。在另一实施方案中，鼠标光标提供磁效应，使得鼠标光标被附接至显示器上的POG处。
在一个实施方案中，通过凝视检测和POG区域中显示对象的背景辅助鼠标运动。通过这种方式，如果在包含多个屏幕对象中的一个或多个对象的区域中设置POG，则将光标位置改至多个屏幕对象中最接近所估计POG的屏幕对象。例如，如果用户凝视的目标区域似乎接近位于Windows桌面左下方的快速启动图标，则将光标位置改至最接近POG的快速启动图标。
在另一实施方案中，凝视检测用于辅助在一个窗口中字段间的导航。如果用户使用键盘导航，页面光标则基于键盘输入和POG的组合进行移动，使得POG可用于加速导航，而导航在不使用凝视辅助的其它情况下会使用更多的键击。页面光标在本文中被称为页面中的指针，其指示页面的焦点，如在文字处理器中打字时的插入点，或在包含多个可能的输入字段的形式中的活动字段。因此，页面光标是不同于鼠标光标的，这是因为鼠标光标是基于鼠标移动的且与移动的鼠标相关的指针。例如，在具有多个录入字段且具有位于页面上顶部字段的页面光标的页面中，用户希望移至页面底部的字段。在不使用凝视检测的情况下，典型的顺序为用户按下Tab键或向下箭头键、多次从顶部字段移至底部字段通过所有的中间字段（或当然也可使用鼠标）。然而，在使用凝视检测的情况下，用户看向底部字段，然后用户按下Tab键（或其它键）、接着页面光标立即跳至底部字段，从而节省了用户的键击且无需使用鼠标。
一些基于Windows的GUI具有窗口焦点的概念。在一个时间点，只有一个窗口被选中以与用户进行交互，即所选中的窗口为“焦点对准”，除非选中了桌面且无窗口处于焦点对准中。在另一实施方案中，凝视检测用于改变桌面中焦点对准的窗口。当用户看向桌面中的窗口且开始移动鼠标时，用户所看的窗口则变为具有GUI焦点的窗口。光标也被定位于窗口中的某个位置上，如窗口的中心、顶部、底部、窗口上的POG等。
由于时常会出现眼睛的不稳定移动，因此很难仅使用凝视而控制鼠标光标，这是因为鼠标光标有时会表现不稳定且难于让用户所跟随。此外，有时用户可能只是想阅读一些东西，因此使光标沿POG移动是令人分心和恼人的。这就是为什么一些实施方案需要显示用户要移动光标的意图，且该意图是经除改变凝视以外的身体动作而进行表现的，如移动鼠标或按下一个键。
在一个实施方案中，阈值定时器被定义为在凝视检测被激活前用于待置于一个目标上的凝视所需的最小时间量。定时器能够过滤凝视中的潜在不稳定的变化。例如，当用户开始移动鼠标时，在使用凝视检测前用户必须看向屏幕窗口至少一秒。
图2B示出根据一个实施方案的使用户与计算机系统相连接的环境。大显示器252被分成三个相邻的面板。窗口260与计算机应用程序相关并横越三个不同面板而扩展。计算机应用程序包括可位于窗口260中不同区域的屏幕对象（例如，工具箱262a）。在一个实施方案中，屏幕对象262a位于鼠标光标所在显示器的面板中，或在使用多个显示器的情况下，位于鼠标光标所在的显示器中。
最初，鼠标光标（在位置204上）和工具箱262a位于显示器252的左面板上。用户102将凝视210设置在POG256上并开始移动202鼠标104。如前所述，当系统检测到用户经身体动作所表现的移动鼠标的意图时，鼠标光标跳至位置258，其位于POG256上或邻近POG256。由于鼠标光标已跳至左面板，与鼠标光标的当前位置相关的屏幕对象也被移至左面板上的位置262b。因此，用户得益于凝视辅助的光标运动，以及屏幕对象凝视辅助的运动。
在一个实施方案中，系统在使用凝视辅助的光标导航前确定POG256是否位于源自鼠标光标的阈值距离中。在一个实施方案中，阈值距离（例如，100个屏幕像素）限定出环绕POG256的圆254。当要使用凝视辅助时，也可使用环绕POG的其它类型的区域，如正方形、矩形、椭圆形、八边形、任何正多边形等来进行确定。如果在光标的当前位置与POG之间的距离大于阈值距离（或如果当前位置位于环绕POG的限定区域外），则对鼠标光标运动进行凝视辅助。然而，如果距离小于阈值距离（或当前鼠标光标位于区域中），则不使用凝视辅助，这是因为用户可容易地将鼠标移至目的地附近。通过这种方式，凝视辅助仅用于较大的光标移动，从而在用户进行小光标移动时避免混乱。
在另一实施方案中，触发确定是否使用凝视辅助的情况为POG是否处于与当前鼠标光标相同的窗口中。在这种情况下，图2B中所描绘的情况不会触发凝视辅助，这是因为鼠标是在同一窗口中进行移动的。
在图2B所示的实施方案中，鼠标运动的开始为触发凝视辅助的用户的身体动作。其它实施方案可利用其它类型的用户的身体动作作为触发，如按键盘、按下按钮、触摸屏幕、说话、弹手指、拍手等。
在一个实施方案中，用户移动鼠标而不想在屏幕上移动鼠标光标。例如，用户在按住鼠标时可阅读网页，并且由于小的手部运动，用户可将鼠标移动几毫米。在一个实施方案中，为了过滤随机的小鼠标运动，在触发凝视辅助前要设置用于鼠标运动的阈值。因此，仅在至少将鼠标移动阈值鼠标距离时才开始进行凝视辅助。在一个实施方案中，阈值距离为约0.5-5厘米的鼠标运动，且在另一实施方案中，其为0.5-4厘米，而在另一实施方案中，其大于1厘米，但也可根据连接环境使用其它阈值。在另一实施方案中，可参照鼠标光标在屏幕上的运动测量阈值距离。例如，可将阈值设置为鼠标光标在屏幕上至少移动2、5、10、20、25或多于20个像素，然而其它数值也是可能的。
此外，可通过多个方式将鼠标光标从初始位置204移至接近POG258的位置。例如，光标可从原来的位置消失并重新出现在目的地位置（即，光标跳跃），或光标可快速地通过原来的位置与目的地之间的桌面进行移动，或光标可短暂地在原来的位置闪烁并随后在目的地位置上重新出现和闪烁，或可快速地移过桌面并随光标接近目的地而减速，或光标可在原来的位置与目的地之间的轨迹中的桌面上的几个位点中短暂地出现（即，离开鼠标踪迹）等。因此，有许多方法用于向用户指示鼠标光标是使用凝视辅助而进行移动的。
图3示出根据一个实施方案对POG与光标的当前位置之间的距离的估计。不同方法使用不同距离度量以测量在POG与当前光标之间的距离，该距离用于确定是否要利用凝视辅助的光标移动。
在一个实施方案中，距离是按像素进行测量的。通常情况下，显示器具有用于像素的水平和垂直分辨率。一旦估计出POG在桌面上的位置，距离312则被计算为包括位于相对顶点上的POG和当前光标的矩形的对角线的以像素为单位的尺寸。如果POG与光标水平对齐或垂直对齐，那么距离则分别等于两点之间的水平或垂直像素的数量。
在另一实施方案中，将距离测量为POG与光标之间的实际物理距离。POG限定在显示器上的第一点，且光标限定在显示器上的第二点。将距离计算为第一点与第二点之间的距离（例如，以英寸为单位进行测量）。
在另一实施方案中，将距离测量为顶点在用户102处（例如，在眼睛之间、在鼻尖处等）的角Ф308，第一光线302从顶点发出到达POG256处，且第二光线310从顶点发出到达光标的当前位置204。因此，角Ф308越宽，鼠标到达POG所要经过的路线越长。用于凝视激活的阈值是以度进行限定的（例如，当角Ф308大于30度时使用凝视辅助运动，但是其它值也是可能的）。在另一实施方案中，基于角Ф308和用户的深度304触发凝视辅助，其中深度为用户至显示器中某个位置的距离。例如，当用户进一步远离显示器时，以度为单位测得的阈值可以更小，这是因为用户进一步远离显示器将比用户更接近显示器的情况下对同样的距离限定出更小的角度。
图4A示出用于使用角膜反射的POG检测的实施方案。眼动仪是用于测量眼位和眼睛移动的装置。有很多用于测量眼睛移动和凝视方向的方法。有些方法使用提取眼位的视频图像，而其它方法则基于眼电图使用搜索线圈，或使用红外光线以进行凝视检测。通过利用凝视检测，装置可向用户提供更直观的交互和改进的经验。
图4A示出用于凝视检测的一个实施方案，其中对朝向用户的光线所进行的角膜反射进行了分析。如图4A所示，红外光源404发射红外光线，并通过红外摄像头406捕捉从用户402的角膜所反射的红外光线。然后，分析该反射以确定用户402的POG。红外光源404也可嵌在摄像头406里。在另一实施方案中，使用可见光谱中的光线代替红外光线，且也可结合可见光线和红外光线使用。
使用虹膜-巩膜边界（边缘）的透视投影估计空间中眼睛的位置和方向，以便计算POG。POG估计确定瞳孔中心的位置以及一个或多个角膜反射。角膜反射为照射眼睛的光源（例如，红外）的虚拟图像且是通过作为凸面镜的角膜前表面所创建的。更多有关使用角膜反射的凝视检测的细节请参见2006年E.Guestrin和M.Eizenman所著的《IEEETransactionsonBiomedicalEngineering》中的“Generaltheoryofremotegazeestimationusingthepupilcenterandcornealreflections”，其以引用方式并入本文。
图4B示出根据一个实施方案的用于使用图像分析和人脸跟踪的POG检测的方法。在一个实施方案中，利用对用户区域410的视频图像412的图像分析确定凝视检测，其包括对用户特征，如眼睛416和418、脸、鼻子422、嘴巴420、躯干414等进行检测和跟踪。在图4B所示的实施方案中，跟踪脸部特征以估计头部的三维位置并获得眼睛旋转中心的位置。所跟踪的特征越多，凝视检测则越可靠。例如，如果用户转动其头部使其远离摄像头，则只有一只眼睛对于摄像头而言是可见的。通过了解鼻子和嘴巴的位置，系统确定用户已转动其头部，而不是假设眼睛检测失败。一旦确定了用户特征的位置，则可计算POG。头部与脸部跟踪可用于提高凝视检测的精确度。通常，头部跟踪比凝视跟踪更准确，这是因为头部不会像眼睛一样不时地进行不稳定的移动。
从用户的凝视方向和摄像头相对于显示器的位置，可确定在显示器上用户凝视所聚焦的地方。由于摄像头和显示器可彼此相分开，因此也可进行校准操作以确定显示器的位置。请用户看着显示器，且系统估计显示器的位置。在另一实施方案中，校准操作可包括使用户朝显示器或多个显示器中的一个或多个目标看，从而进一步地改进对显示器位置以及对显示器中GUI对象的位置的估计。
在一个实施方案中，当基于图像分析使用凝视检测时，桌面上一批凝视位置都聚集在一起。由于人视觉系统的不稳定性，这些位置可能会是特定区域中的一个随机系列的点。可使用算法从一批点中获得中央聚焦位置，该算法利用统计分析确定POG。对一个时间段内从多个图像中获得的聚焦位置进行平均以过滤不稳定的凝视移动。
聚焦位置限定出“目标区域”的中心。也可根据凝视位置流以及之前的聚焦位置确定目标区域的大小。一种算法包括找到每个凝视位置至目标区域中心（聚集位置）的距离以及使用这些距离的平均值或总和估计质心，其限定出目标区域的中心。
使用凝视焦点的目标区域，应用改变光标的移动方式以更有效地达到目标。如前所述，这包括基于距目标区域的距离改变鼠标光标的速度、将光标吸引至目标聚焦区域或使光标的位置跳至目标区域。
在一个实施方案中，跟踪可被分为几个阶段，第一阶段由头部跟踪所限定，且第二阶段则由凝视检测所限定。当头部移动时，使用头部跟踪确定目标区域，这是因为头部跟踪通常比凝视跟踪更可靠。一旦头部运动基本上停下来时，利用凝视跟踪对目标区域的位置进行细调，然后进行鼠标运动以获得更精细的分辨率，从而将光标移至其目的地。在另一实施方案中，跟踪的阶段至少包括使用头部跟踪以从多个显示器选择一个显示器的第一阶段，以及使用凝视跟踪在所选择的显示器中限定目标的第二阶段。
图5示出根据一个实施方案的用于使用凝视检测以在手持装置中快速滚动的方法。便携装置506包括用于进行凝视检测的前置摄像头。然而，由于显示区域小，当与独立显示器的区域相比时，很难仅使用凝视检测以在显示器中选择小的对象。然而，本发明的实施方案通过检测屏幕中或屏幕外的POG而在使用便携装置506时提供导航辅助以加速导航。
用户502使凝视504对着位于便携装置506的显示器外部的区域以向计算机程序提供命令或暗示以进行导航。例如，如果用户502正在阅读较长的文件且一次仅显示文件的一部分，那么用户在使用另一输入（例如，按钮或触摸屏）时凝视屏幕的上方、下方、左侧或右侧以指示用户希望对导航加速。因此，如果用户在触摸屏上向下滑动手指且同时保持凝视在屏幕上，程序则将向上滚动显示。然而，如果用户使凝视504位于显示器上方，这指示用户想到达文件的顶部，所以当用户开始在显示器上滑动手指时，程序将跳至文件的顶部，且不管正在显示的是文件的哪一部分。同样，用户可以看着显示器的下方以跳至页面的底部。这在一些在电子邮件底部显示附件图标的电子邮件客户端中则特别有用。如果电子邮件很长，则需要大量的手指滚动以到达附件图标。通过使用凝视，可以跳至底部，从而节约精力和时间。
在另一实施方案中，向正在阅读智能手机或平板装置中的书籍或杂志的用户提供凝视辅助导航。当用户想翻页时，用户看向屏幕左侧或右侧的远方，然后则在屏幕上进行轻点以进行翻页。在另一实施方案中，用户仅看向显示器的左边缘或右边缘，并结合在屏幕上的轻点，从而促使翻页，而不需要用户看向屏幕外侧。平板装置具有更大的显示器，且凝视检测可以具有足够的精确度以确定用户是看向左侧还是右侧。例如，角膜分析将指示瞳孔是向左还是向右。
图6示出根据一个实施方案的用于使用凝视检测和用户输入以进行快速光标移动的方法。在一个实施方案中，与身体动作相关的预定输入可使计算机程序将凝视用作补充输入。例如，用户602正使用包括触控板612、显示器610和面向用户的摄像头的笔记本电脑604进行工作。基于用户的凝视，两个手指轻点触控板以触发鼠标光标的移动。
在图6所示的实施方案中，鼠标光标在位置614上。当用户执行两手指轻点触控板612时，在将用户的凝视608引向POG620时，鼠标光标跳至位置618，其紧邻POG620或正好位于POG620处。选择窗口616，这是因为鼠标光标现正处于窗口616中。
应注意的是图6所示的实施方案为示例性的。其它实施方案可利用不同的输入（例如，双击鼠标、在触控板上进行两次连续轻点、在键盘上按下一个键等）触发凝视辅助导航，或其它实施方案可通过不同方式（例如，选择窗口、改变浏览器的活动标签、滚动窗口等）辅助导航。因此，图6所示的实施方案不应被解释为排他性或限制性的，而是示例性或说明性的。
在一个实施方案中，当检测到用户的凝视时，GUI在显示器上提供反馈。例如，近似位于POG上中心的区域在显示器中进行放大，GUI上的一些窗口变得透明，图标或窗口进行重排，或显示弹出式菜单，等等。
图7示出根据一个实施方案的凝视辅助的游戏界面。用户702正在玩在游戏控制台704上所执行的游戏，且该游戏控制台704被连接至用于凝视检测的摄像头706。当用户702按下控制器708上的一个按钮时，游戏根据按下按钮时用户的凝视而以不同动作进行响应。在图7所示的实施方案中，用户正控制与敌人角色714进行战斗的游戏角色712。游戏根据用户的POG做出不同反应。
当用户的POG716a位于边缘或显示器上或位于显示器外时，按下控制器708上的X按钮710将会使游戏执行第一个动作（例如，角色712对枪进行重载）。当用户的POG716b位于用户702所控制的角色712上时，按下X按钮710将会使游戏执行第二个动作（例如，提高游戏角色的健康水平）。当用户的POG716c位于敌人角色714上时，按下X按钮710将会促使游戏执行第三个动作（例如，使角色712在POG716c的位置进行射击）。
应注意的是图7所示的实施方案为示例性的。其它实施方案可利用不同的按钮、不同类型的输入装置，或使游戏做出不同的反应（例如，选择一个对象、打开门、使角色移动等等）。因此，图7所示的实施方案不应被解释为排他性或限制性的，而是示例性或说明性的。
图8示出根据一个实施方案的响应于手势的窗口的图形用户界面。GUI使用凝视和手势作为输入以加强用户与GUI的交互。当用户执行预定手势时，在与用户凝视相关或经用户凝视选择的对象上执行动作。
例如，用户814希望将窗口810从显示器802移至显示器806。为了进行移动，用户看着窗口810、抬起手818并将手818从左侧移动816至右侧，指示用户814想将窗口810从左侧移向右侧。由于桌面显示在两个显示器上，将窗口从左侧移动804至右侧将使窗口810在显示器806中的位置812中终止。从摄像头820获得的图像用于凝视检测和手势检测，然而也可使用任何进行凝视检测或手势检测的方法。在这种情况下，以使用手所进行的手势的身体动作表现用户的意图。
在另一实施方案中，用户的手势用于操作呈现在显示器上且通过凝视所选择的对象。例如，在游戏环境中，用户看着游戏中的对象（例如，武器、宝藏、硬币、梯子等），且当用户移动手时，游戏通过在对象上进行相关的动作而响应手的运动。例如，用户可通过凝视选择地面上的硬币，然后用户移动手就好像要捡起硬币一样，从而使用户所控制的化身或游戏角色捡起硬币。
图9示出根据一个实施方案的利用凝视检测、语音识别以及一个或多个计算机外围设备的界面。在一个实施方案中，凝视用于选择显示器中的一个区域或一个对象，用户输入指示对象的选择（例如，移动鼠标或按键），且语音识别用于在对象上执行一个动作。
例如，用户912在窗口环境中工作且想要打开在桌面上以文件夹图标所表示的文件夹904。鼠标位于桌面中远离文件夹904的位置908处。用户912使凝视对着文件夹904并开始移动914鼠标916。当检测到鼠标运动时，系统检查用户的凝视并确定POG为接近文件夹图标904的目标区域906。然后，系统使鼠标光标移动或跳至在文件夹904上或接近文件夹904的位置902。如果光标位置不在文件夹上，用户进行小的鼠标运动以将光标定位在文件夹904的顶部。一旦鼠标位于文件夹904上，用户则说出910通过语音识别程序所检测的命令（例如，“打开”、“复制”、“删除”、“移动”）。一旦检测到语音命令，则进行所要求的操作（例如，打开窗口以显示文件夹904的内容）。
图10为实施本发明的实施方案的计算机系统的简化示意图。应理解的是，可使用数字处理系统，如传统的通用计算机系统执行本文所述的方法。在替代方案中也可使用专用计算机，其被设计或编程为仅执行一个功能。计算装置1012包括处理器1032，其被耦合到存储器1034、永久存储装置1058以及内部的其它模块，或被连接至计算装置1012。GUI计算机程序1036存在于存储器1034中，但也可存在于永久存储装置1058中。
计算装置1012与声音捕获装置1008、图像捕获装置1020和显示器1026进行通信。在一个实施方案中，声音捕获装置1008、图像捕获装置1020和显示器1026可嵌入计算装置1012中，或可被组合至一个或多个装置，如视频记录器中。在一个实施方案中，声音捕获装置包括麦克风，在另一实施方案中，声音捕获装置包括麦克风阵列。
如前所述，在显示器中限定出凝视目标1028，然而也可在显示器外部设置凝视目标1028，如在计算装置1012上，或在显示器周围的区域1028上。凝视检测模块1024确定用户的POG，并确定用户1002的凝视1006是否朝向凝视目标1028。在语音方面，语音识别模块1016处理从声音捕获装置1008接收到的声音1004，并进行语音识别以确定是否已发出有效的用户口头命令。GUI计算机程序1036从凝视检测1024、语音识别模块1016和头部跟踪模块1038接收输入以实现上述本发明的实施方案。
永久存储装置1058表示持久性数据存储装置，如软盘驱动器或固定盘驱动器，其可以是本地的或远程的。网络接口1046提供网络连接，允许与其它装置进行通信。应理解的是，处理器1032可以嵌入通用处理器、专用处理器或专门的编程逻辑装置中。输入/输出（I/O）接口1042提供与不同外围设备，如显示器1026、键盘1052、鼠标1050、声音捕获装置1008、图像捕获装置1020、扬声器1054、按钮、传感器、触摸屏1056等等的通信。通用串行总线（USB）模块1044提供了与USB装置的连接。
显示器1026被配置来显示本文所述的用户界面。键盘1052、鼠标1050和其它外围设备被耦合至I/O接口1042，以便将信息传送给处理器1032。应理解的是，可通过I/O接口1042传送到达和源自外部装置的数据。本发明也可在分布式计算环境中予以实践，该分布式计算环境通过经基于有线的或无线网络而链接的远程处理装置执行任务。
应注意的是图10所示的实施方案为示例性的。其它实施方案可利用不同模块或具有通过一个模块所执行的多个功能等。因此，图10所示的实施方案不应被解释为排他性或限制性的，而是示例性或说明性的。
图11示出说明根据本发明的一个实施方案的使用户与在计算装置中执行的计算机程序相连接的算法的流程图。在操作1102中，识别了用户的POG，且在操作1104中，进行检查以确定用户是否已发起身体动作以移动光标。如果用户已发起身体动作，方法前进至操作1106，且如果用户还未发起身体动作，则返回至操作1102。
在操作1106中，进行检查以确定在光标的当前位置与POG之间的距离是否大于阈值距离。如果距离大于阈值距离，该方法前进至操作1108，其中光标被移至紧邻POG的区域。如果距离不大于阈值距离，该方法流回至操作1102。
可使用各种计算机系统配置，包括手持装置、微处理器系统、基于微处理器或可编程的消费电子产品、微型计算机、大型计算机等实践本发明的实施方案。本发明也可在分布式计算环境中予以实践，该分布式计算环境通过经网络链接的远程处理装置执行任务。
考虑到上述实施方案，应理解的是，本发明可采用各种涉及存储在计算机系统中数据的由计算机所实现的操作。这些操作是需要对物理量进行物理操作的那些。形成本发明一部分的本文所描述的任何操作均为有用的机器操作。本发明还涉及用于执行这些操作的装置或设备。可对设备进行专门构造以用于所需目的，如专用计算机。当限定为专用计算机时，计算机还可进行不构成特殊用途一部分的其它处理、程序执行或例程，其同时还能够进行操作以用于特殊用途。可替代地，可通过选择性激活的通用计算机处理或通过存储于计算机存储器和缓存器中的一个或多个计算机程序配置或经网络获得该操作。当经网络获得数据时，可通过网络上的其它计算机，例如，计算资源云处理数据。
本发明的一个或多个实施方案也可被制造为计算机可读介质上的计算机可读编码。计算机可读介质是为任何可存储数据的数据存储装置，其随后可通过计算机系统进行阅读。计算机可读介质的实例包括硬盘驱动器、网络附加存储（NAS）、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其它光学和非光学数据存储装置。计算机可读介质可包括分布在网络耦合的计算机系统中的计算机可读有形介质，以便通过分布方式存储和执行计算机可读编码。
尽管该方法的操作是以特定顺序进行描述的，应理解的是，其它内务操作可在操作之间执行，或可对操作进行调整以使其发生的时间略有不同，或操作可分布在一个系统中，只要按所需方式进行叠置操作的处理，则该系统允许与处理相关的处理操作以不同间隔发生。
虽然前面已对本发明的一些细节进行描述以使人们清楚地理解本发明，但显而易见的是可在所附权利要求的范围内实施某些变化和修改。相应地，本实施方案被认为是说明性而非限制性的，且本发明并不限于本文所给出的细节，但可在所附权利要求的范围和等同范围内进行修改。

Claims (21)

1.一种使用户与在计算装置中所执行的计算机程序相连接的方法，所述方法包括：
识别显示器上所述用户的凝视点POG；
检测所述用户开始进行的用于移动光标在所述显示器上位置的身体动作，所述光标限定出与所述计算机程序相关的聚焦区域；
确定在所述光标的当前位置与所述POG之间的距离是否大于阈值距离；以及
当所述距离大于所述阈值距离时，将所述光标从所述当前位置移至邻近所述POG的区域，其中移动所述光标还包括
基于所述光标的当前位置与所述POG之间的距离，改变控制所述光标的鼠标的光标位移速度，其中随着所述光标的当前位置与所述POG之间的距离变得更小，所述光标移动更慢。
2.根据权利要求1所述的方法，其中所述身体动作为移动鼠标、按下键、按下按钮、触摸屏幕、触摸触控板、做出手势或说话中的一个。
3.根据权利要求1所述的方法，其中确定所述距离还包括：
确定在所述当前位置与所述POG之间的屏幕像素中测得的距离值。
4.根据权利要求1所述的方法，其中确定所述距离还包括：
确定所述当前位置和所述POG是否位于GUI中的不同窗口中。
5.根据权利要求1所述的方法，其中所述光标为鼠标光标、文本光标、字段选择光标或页面光标中的一个。
6.根据权利要求1所述的方法，其中移动所述光标还包括：
将所述光标从所述当前位置移除并将所述光标置于所述POG上。
7.根据权利要求1所述的方法，其中移动所述光标还包括：
检测网页中的多个录入字段；以及
当用户按下键盘键时，将所述光标置于最接近所述POG的多个录入字段中的录入字段上。
8.根据权利要求1所述的方法，其还包括：
跟踪所述用户的头部位置。
9.根据权利要求1所述的方法，其还包括：
检测所述用户触发立即凝视辅助导航的输入；以及
在检测到输入后将所述光标移至所述POG。
10.一种具有图形用户界面(GUI)的系统，所述系统包括：
处理器，其执行提供所述GUI的计算机程序，在一个或多个显示器中提供有所述GUI；
输入装置，其可操作以当所述用户在所述输入装置上开始进行身体动作时移动光标在所述一个或多个显示器上的位置；和
凝视检测模块，其可操作用于识别所述用户的凝视点POG，其中所述计算机程序确定在所述光标的当前位置与所述POG之间的距离是否大于阈值距离，且其中当所述距离大于所述阈值距离时，所述计算机程序将光标从所述当前位置移至邻近所述POG的区域，其中所述光标的移动还包括检测网页中的多个录入字段，并且响应于用户输入将页面光标移动到最接近所述POG的录入字段，其中所述页面光标指示哪个录入字段是活动的。
11.根据权利要求10所述的系统，其中所述凝视检测模块使用角膜反射分析或对摄像头拍摄的用户图像的分析中的一个。
12.根据权利要求11所述的系统，其中所述凝视检测模块分析若干用户图像以确定所述用户的多个身体特征中的一个的位置。
13.根据权利要求10所述的系统，其中所述GUI在所述POG被置于所述GUI中的对象上时向所述用户提供提示。
14.根据权利要求10所述的系统，其还包括：
语音识别模块，其可操作以基于所述POG执行语音命令。
15.一种用于使用户与在计算设备中执行的计算机程序相连接的方法，所述方法包括：
识别显示器上所述用户的凝视点POG；
检测所述用户开始进行的用于移动光标在所述显示器上位置的身体动作，所述光标限定出与所述计算机程序相关的聚焦区域；
确定在所述光标的当前位置与所述POG之间的距离是否大于阈值距离；
当所述距离大于所述阈值距离时，将所述光标从所述当前位置移至邻近所述POG的区域，其中基于所述光标的当前位置与所述POG之间的距离，改变控制所述光标的鼠标的光标位移速度，并且随着所述光标的当前位置与所述POG之间的距离变得更小，所述光标移动更慢；以及
在移动所述光标之后，放大围绕以所述光标为中心的区域用于在所述显示器上呈现。
16.根据权利要求15所述的方法，还包括：
确定其中检测到所述POG的所述显示器上的第一窗口，所述窗口属于支持所述显示器上多个窗口的显示的图形用户界面(GUI)。
17.根据权利要求16所述的方法，还包括：
在所述显示器上提供透明表现给除了所述第一窗口外的GUI的窗口。
18.根据权利要求16所述的方法，还包括：
使得所述第一窗口为具有所述GUI的窗口焦点，其中所述窗口焦点实现用户与和所述窗口焦点相关联的程序的交互，同时禁止与不具有窗口焦点的窗口的交互。
19.根据权利要求16所述的方法，还包括：
在所述显示器上基于所述POG重排打开的窗口。
20.根据权利要求1所述的方法，还包括：
在移动所述光标之后，放大围绕以所述光标为中心的区域用于在所述显示器上呈现；以及
确定其中检测到所述POG的所述显示器上的第一窗口，所述窗口属于支持所述显示器上多个窗口的显示的图形用户界面(GUI)。
21.根据权利要求20所述的方法，还包括：
在所述显示器上提供透明表现给除了所述第一窗口外的GUI的窗口。
CN201280022042.4A 2011-04-21 2012-04-06 凝视辅助的计算机界面 Active CN103518172B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/092,115 2011-04-21
US13/092,115 US8793620B2 (en) 2011-04-21 2011-04-21 Gaze-assisted computer interface
PCT/US2012/032613 WO2012145180A1 (en) 2011-04-21 2012-04-06 Gaze-assisted computer interface

Publications (2)

Publication Number Publication Date
CN103518172A CN103518172A (zh) 2014-01-15
CN103518172B true CN103518172B (zh) 2016-04-20

Family

ID=45977063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280022042.4A Active CN103518172B (zh) 2011-04-21 2012-04-06 凝视辅助的计算机界面

Country Status (6)

Country Link
US (2) US8793620B2 (zh)
EP (1) EP2699993B1 (zh)
JP (1) JP5807989B2 (zh)
KR (1) KR101541881B1 (zh)
CN (1) CN103518172B (zh)
WO (1) WO2012145180A1 (zh)

Families Citing this family (296)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8640047B2 (en) * 2011-06-01 2014-01-28 Micorsoft Corporation Asynchronous handling of a user interface manipulation
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US9829970B2 (en) * 2011-06-27 2017-11-28 International Business Machines Corporation System for switching displays based on the viewing direction of a user
US9318129B2 (en) * 2011-07-18 2016-04-19 At&T Intellectual Property I, Lp System and method for enhancing speech activity detection using facial feature detection
US20130055143A1 (en) * 2011-08-31 2013-02-28 Smart Technologies Ulc Method for manipulating a graphical user interface and interactive input system employing the same
US9612670B2 (en) * 2011-09-12 2017-04-04 Microsoft Technology Licensing, Llc Explicit touch selection and cursor placement
US9377852B1 (en) * 2013-08-29 2016-06-28 Rockwell Collins, Inc. Eye tracking as a method to improve the user interface
US9658687B2 (en) * 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays
US8976110B2 (en) 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
JP5539945B2 (ja) * 2011-11-01 2014-07-02 株式会社コナミデジタルエンタテインメント ゲーム装置、及びプログラム
US9098069B2 (en) 2011-11-16 2015-08-04 Google Technology Holdings LLC Display device, corresponding systems, and methods for orienting output on a display
KR101692323B1 (ko) * 2011-12-14 2017-01-04 인텔 코포레이션 시선 활성화 콘텐츠 전송 시스템
US20130169532A1 (en) * 2011-12-29 2013-07-04 Grinbath, Llc System and Method of Moving a Cursor Based on Changes in Pupil Position
US9910490B2 (en) 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US8860660B2 (en) 2011-12-29 2014-10-14 Grinbath, Llc System and method of determining pupil center position
US10394320B2 (en) * 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US10025381B2 (en) * 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US10540008B2 (en) * 2012-01-04 2020-01-21 Tobii Ab System for gaze interaction
US10488919B2 (en) 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
KR101515629B1 (ko) 2012-01-07 2015-04-27 삼성전자주식회사 플렉서블 표시부를 갖는 휴대단말의 이벤트 제공 방법 및 장치
WO2013111388A1 (ja) * 2012-01-23 2013-08-01 三菱電機株式会社 情報表示装置
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
KR101922589B1 (ko) * 2012-02-15 2018-11-27 삼성전자주식회사 디스플레이장치 및 그 시선추적방법
US10379695B2 (en) * 2012-02-21 2019-08-13 Prysm, Inc. Locking interactive assets on large gesture-sensitive screen displays
US8988349B2 (en) 2012-02-28 2015-03-24 Google Technology Holdings LLC Methods and apparatuses for operating a display in an electronic device
US8947382B2 (en) * 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
US9035878B1 (en) * 2012-02-29 2015-05-19 Google Inc. Input system
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
JP5982956B2 (ja) * 2012-03-30 2016-08-31 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP2847648A4 (en) * 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
JP5783957B2 (ja) * 2012-06-22 2015-09-24 株式会社Ｎｔｔドコモ 表示装置、表示方法及びプログラム
JP6131540B2 (ja) * 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
KR20140011203A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템
GB2504492A (en) * 2012-07-30 2014-02-05 John Haddon Gaze detection and physical input for cursor symbol
DE102012215407A1 (de) * 2012-08-30 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen einer Eingabe für ein Bedienelement
US9292086B2 (en) 2012-09-26 2016-03-22 Grinbath, Llc Correlating pupil position to gaze location within a scene
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
JP6139118B2 (ja) * 2012-12-06 2017-05-31 東芝メディカルシステムズ株式会社 Ｘ線診断装置及び制御プログラム
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
KR102205374B1 (ko) 2012-12-06 2021-01-21 아이플루언스, 인크. 아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
WO2014115387A1 (ja) * 2013-01-28 2014-07-31 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR102080896B1 (ko) * 2013-01-29 2020-02-25 삼성디스플레이 주식회사 모바일 장치 및 이의 구동 방법
CN105247447B (zh) 2013-02-14 2017-11-10 脸谱公司 眼睛跟踪校准系统及方法
US20140247210A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Zonal gaze driven interaction
US20140247208A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US9244527B2 (en) * 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
CN107264283B (zh) * 2013-03-29 2019-07-19 株式会社斯巴鲁 运输设备用显示装置
US20150277699A1 (en) * 2013-04-02 2015-10-01 Cherif Atia Algreatly Interaction method for optical head-mounted display
CN103207676B (zh) * 2013-04-09 2017-08-04 上海斐讯数据通信技术有限公司 计算机图像扫描控制系统及方法
CN103257707B (zh) * 2013-04-12 2016-01-20 中国科学院电子学研究所 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法
KR20140126492A (ko) 2013-04-23 2014-10-31 엘지전자 주식회사 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법
JP6070833B2 (ja) * 2013-05-08 2017-02-01 富士通株式会社 入力装置及び入力プログラム
US9117120B2 (en) 2013-05-24 2015-08-25 Honda Motor Co., Ltd. Field of vision capture
TWI509463B (zh) * 2013-06-03 2015-11-21 Utechzone Co Ltd 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品
GB201310376D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
WO2014205422A2 (en) 2013-06-20 2014-12-24 Parshionikar Uday Systems, methods, apparatuses, computer readable medium for controlling electronic devices
JP5939581B2 (ja) 2013-07-08 2016-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 表示画面上に表示された移動対象であるオブジェクトを移動する方法、並びに、その電子装置及び電子装置プログラム
KR20150007910A (ko) 2013-07-11 2015-01-21 삼성전자주식회사 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US9261966B2 (en) * 2013-08-22 2016-02-16 Sony Corporation Close range natural user interface system and method of operation thereof
WO2015038138A1 (en) * 2013-09-13 2015-03-19 Intel Corporation Motion data based focus strength metric to facilitate image processing
WO2015040608A1 (en) * 2013-09-22 2015-03-26 Inuitive Ltd. A peripheral electronic device and method for using same
US9483112B2 (en) * 2013-09-26 2016-11-01 Vmware, Inc. Eye tracking in remote desktop client
JP5945969B2 (ja) * 2013-09-27 2016-07-05 コニカミノルタ株式会社 操作表示装置、画像処理装置、およびそのプログラム、操作表示方法
WO2015050545A1 (en) * 2013-10-03 2015-04-09 Thomson Licensing Improved multi-screen management
KR101503159B1 (ko) * 2013-10-15 2015-03-16 (주)이스트소프트 시선의 위치를 감지하여 터치스크린을 제어하는 방법
TWI532377B (zh) * 2013-10-18 2016-05-01 原相科技股份有限公司 影像感測系統、影像感測方法以及眼球追蹤系統、眼球追蹤方法
US9876966B2 (en) 2013-10-18 2018-01-23 Pixart Imaging Inc. System and method for determining image variation tendency and controlling image resolution
WO2015057845A1 (en) * 2013-10-18 2015-04-23 Cornell University Eye tracking system and methods for developing content
CN104580943B (zh) * 2013-10-28 2019-10-18 原相科技股份有限公司 影像感测系统和方法以及眼球追踪系统和方法
WO2015065478A1 (en) * 2013-11-01 2015-05-07 Intel Corporation Gaze-assisted touchscreen inputs
US20150135133A1 (en) * 2013-11-11 2015-05-14 Lenovo (Singapore) Pte. Ltd. Adjustable smooth scrolling
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) * 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
DE102013226244A1 (de) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Medizintechnische Steuerung
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
US10180716B2 (en) * 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
DE102013021814A1 (de) * 2013-12-20 2015-06-25 Audi Ag Bedienvorrichtung mit Eyetracker
US20150185831A1 (en) * 2013-12-26 2015-07-02 Dinu Petre Madau Switching between gaze tracking and head tracking
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
EP3093738A4 (en) * 2014-01-08 2017-06-21 Sony Corporation Information processing system, information processing method, and program
US10372202B1 (en) * 2014-01-20 2019-08-06 Ca, Inc. Positioning a cursor on a display monitor based on a user's eye-gaze position
US9442631B1 (en) 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US9412363B2 (en) 2014-03-03 2016-08-09 Microsoft Technology Licensing, Llc Model based approach for on-screen item selection and disambiguation
JP6153487B2 (ja) * 2014-03-14 2017-06-28 株式会社Ｎｔｔドコモ 端末及び制御方法
US9733788B2 (en) * 2014-03-17 2017-08-15 Microsoft Technology Licensing, Llc Multi-stage cursor control
WO2015143067A1 (en) * 2014-03-19 2015-09-24 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking
US9804753B2 (en) 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
EP2924540B1 (de) 2014-03-27 2019-04-24 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und System zum Betreiben einer Anzeigevorrichtung
US9342147B2 (en) 2014-04-10 2016-05-17 Microsoft Technology Licensing, Llc Non-visual feedback of visual change
CN106662917B (zh) * 2014-04-11 2020-06-12 脸谱科技有限责任公司 眼睛跟踪校准系统和方法
EP3134847A1 (en) * 2014-04-23 2017-03-01 Google, Inc. User interface control using gaze tracking
US20150310651A1 (en) * 2014-04-29 2015-10-29 Verizon Patent And Licensing Inc. Detecting a read line of text and displaying an indicator for a following line of text
WO2016018487A2 (en) 2014-05-09 2016-02-04 Eyefluene, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9727136B2 (en) 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
WO2015183208A1 (en) * 2014-05-30 2015-12-03 Koç Üniversitesi Gaze based prediction device and method
KR102135373B1 (ko) * 2014-05-30 2020-07-17 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9583105B2 (en) 2014-06-06 2017-02-28 Microsoft Technology Licensing, Llc Modification of visual content to facilitate improved speech recognition
US20220171530A1 (en) * 2014-06-11 2022-06-02 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
US9958947B2 (en) * 2014-06-25 2018-05-01 Comcast Cable Communications, Llc Ocular focus sharing for digital content
CN104049779A (zh) * 2014-06-25 2014-09-17 华东理工大学 在多个显示器之间实现鼠标指针快速切换
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9940757B2 (en) * 2014-08-01 2018-04-10 Electronic Arts Inc. Modifying a simulated character by direct manipulation
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
CN104216521B (zh) * 2014-09-10 2017-11-28 苏州德品医疗科技股份有限公司 用于病房的眼动呼叫方法及系统
JP6038089B2 (ja) * 2014-09-22 2016-12-07 京セラドキュメントソリューションズ株式会社 文書閲覧装置、文書閲覧装置の制御方法
US10317992B2 (en) 2014-09-25 2019-06-11 Microsoft Technology Licensing, Llc Eye gaze for spoken language understanding in multi-modal conversational interactions
US9715781B2 (en) * 2014-09-26 2017-07-25 Bally Gaming, Inc. System and method for automatic eye tracking calibration
KR20160051411A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 외부의 물체를 제어하는 전자 장치 및 그 방법
DE102014222752A1 (de) * 2014-11-07 2016-05-12 Bayerische Motoren Werke Aktiengesellschaft Bedienung über Kopfrichtung als Ersatz zur Blickrichtung
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
US9851791B2 (en) * 2014-11-14 2017-12-26 Facebook, Inc. Dynamic eye tracking calibration
KR102326489B1 (ko) * 2014-11-24 2021-11-16 삼성전자주식회사 디스플레이를 제어하는 전자 장치 및 방법
JP6346547B2 (ja) * 2014-11-26 2018-06-20 公立大学法人広島市立大学 方向指示装置及び方向指示方法
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US10146303B2 (en) 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
JP6603024B2 (ja) 2015-02-10 2019-11-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6519075B2 (ja) * 2015-02-10 2019-05-29 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6534011B2 (ja) 2015-02-10 2019-06-26 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
WO2016147499A1 (ja) * 2015-03-17 2016-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2016147498A1 (ja) * 2015-03-17 2016-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10761601B2 (en) * 2015-03-23 2020-09-01 Controlrad Systems Inc. Eye tracking system including an eye tracker camera and a positioning camera
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US9804733B2 (en) * 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9983717B2 (en) 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US20160313813A1 (en) * 2015-04-22 2016-10-27 Henge Docks Llc Method for Determining the Position of a Cursor on a Display Screen
DE102015210430A1 (de) * 2015-06-08 2016-12-08 Robert Bosch Gmbh Verfahren zum Erkennen eines Sprachkontexts für eine Sprachsteuerung, Verfahren zum Ermitteln eines Sprachsteuersignals für eine Sprachsteuerung und Vorrichtung zum Ausführen der Verfahren
US9898865B2 (en) 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US10452134B2 (en) * 2015-06-25 2019-10-22 Intel Corporation Automated peripheral device handoff based on eye tracking
EP3118722B1 (en) * 2015-07-14 2020-07-01 Nokia Technologies Oy Mediated reality
TWI570638B (zh) * 2015-07-29 2017-02-11 財團法人資訊工業策進會 凝視分析方法與裝置
KR20170025400A (ko) * 2015-08-28 2017-03-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN105630324A (zh) * 2015-08-31 2016-06-01 宇龙计算机通信科技(深圳)有限公司 一种显示器之间的切换方法、装置及系统
US10186086B2 (en) 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US10037724B2 (en) * 2015-09-04 2018-07-31 Dell Products L.P. Information handling system selective color illumination
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US9990113B2 (en) * 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
WO2017053966A1 (en) * 2015-09-24 2017-03-30 Tobii Ab Eye-tracking enabled wearable devices
WO2017051944A1 (ko) * 2015-09-24 2017-03-30 주식회사 뷰노코리아 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
EP3156879A1 (en) * 2015-10-14 2017-04-19 Ecole Nationale de l'Aviation Civile Historical representation in gaze tracking interface
TWI670625B (zh) * 2015-10-19 2019-09-01 日商鷗利硏究所股份有限公司 視線輸入裝置、視線輸入方法、及程式
JP6273243B2 (ja) * 2015-10-19 2018-01-31 株式会社コロプラ 仮想現実空間のオブジェクトと対話するための装置、方法、及びプログラム
US9886958B2 (en) 2015-12-11 2018-02-06 Microsoft Technology Licensing, Llc Language and domain independent model based approach for on-screen item selection
KR102534963B1 (ko) * 2016-02-23 2023-05-23 삼성전자주식회사 전자 장치 및 그 제어 방법
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10739851B2 (en) 2016-04-29 2020-08-11 Tobii Ab Eye-tracking enabled wearable devices
DE102016108885A1 (de) 2016-05-13 2017-11-16 Visteon Global Technologies, Inc. Verfahren zum berührungslosen Verschieben von visuellen Informationen
US10055186B2 (en) 2016-06-01 2018-08-21 Dell Products, Lp Mitigation of image degradation in displays
JP6729069B2 (ja) * 2016-06-28 2020-07-22 富士ゼロックス株式会社 情報処理装置
JP2018010584A (ja) * 2016-07-15 2018-01-18 アイシン・エィ・ダブリュ株式会社 操作支援装置及びコンピュータプログラム
JP2018010583A (ja) * 2016-07-15 2018-01-18 アイシン・エィ・ダブリュ株式会社 操作支援装置及びコンピュータプログラム
JP6799063B2 (ja) * 2016-07-20 2020-12-09 富士フイルム株式会社 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム
US10678327B2 (en) * 2016-08-01 2020-06-09 Microsoft Technology Licensing, Llc Split control focus during a sustained user interaction
US10506221B2 (en) 2016-08-03 2019-12-10 Adobe Inc. Field of view rendering control of digital content
US20180046363A1 (en) * 2016-08-10 2018-02-15 Adobe Systems Incorporated Digital Content View Control
US11461820B2 (en) 2016-08-16 2022-10-04 Adobe Inc. Navigation and rewards involving physical goods and services
JP2018041354A (ja) * 2016-09-09 2018-03-15 アイシン・エィ・ダブリュ株式会社 ポインタ制御システムおよびポインタ制御プログラム
US10068378B2 (en) 2016-09-12 2018-09-04 Adobe Systems Incorporated Digital content interaction and navigation in virtual and augmented reality
JP2018061666A (ja) * 2016-10-12 2018-04-19 株式会社カプコン ゲームプログラム及びゲーム装置
KR102662708B1 (ko) * 2016-10-17 2024-05-03 엘지전자 주식회사 Hmd 디바이스
US10430559B2 (en) 2016-10-18 2019-10-01 Adobe Inc. Digital rights management in virtual and augmented reality
CN106445461B (zh) * 2016-10-25 2022-02-15 北京小米移动软件有限公司 文字信息处理方法及装置
EP3316075B1 (en) * 2016-10-26 2021-04-07 Harman Becker Automotive Systems GmbH Combined eye and gesture tracking
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
CN106681509A (zh) * 2016-12-29 2017-05-17 北京七鑫易维信息技术有限公司 界面操作的方法和系统
KR102324680B1 (ko) * 2017-03-13 2021-11-10 삼성전자주식회사 전원공급장치, 이를 구비한 디스플레이 장치 및 전원 공급 방법
US10627900B2 (en) * 2017-03-23 2020-04-21 Google Llc Eye-signal augmented control
WO2018186888A1 (en) * 2017-04-07 2018-10-11 Hewlett-Packard Development Company, L.P. Cursor positioning adjustments
WO2018186889A1 (en) * 2017-04-07 2018-10-11 Hewlett-Packard Development Company, L.P. Cursor adjustments
DE102017113763B4 (de) * 2017-06-21 2022-03-17 SMR Patents S.à.r.l. Verfahren zum Betreiben einer Anzeigevorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug
KR102203720B1 (ko) * 2017-06-26 2021-01-15 에스케이텔레콤 주식회사 음성 인식 방법 및 장치
US10496162B2 (en) * 2017-07-26 2019-12-03 Microsoft Technology Licensing, Llc Controlling a computer using eyegaze and dwell
US10155166B1 (en) * 2017-09-08 2018-12-18 Sony Interactive Entertainment Inc. Spatially and user aware second screen projection from a companion robot or device
JP6755843B2 (ja) 2017-09-14 2020-09-16 株式会社東芝 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム
US10678116B1 (en) * 2017-11-09 2020-06-09 Facebook Technologies, Llc Active multi-color PBP elements
US10671238B2 (en) * 2017-11-17 2020-06-02 Adobe Inc. Position-dependent modification of descriptive content in a virtual reality environment
JP2019105678A (ja) * 2017-12-11 2019-06-27 京セラドキュメントソリューションズ株式会社 表示装置、及び画像表示方法
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
US10831265B2 (en) 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
US10871874B2 (en) * 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
JP6911809B2 (ja) * 2018-05-09 2021-07-28 日本電信電話株式会社 推定方法、推定プログラム及び推定装置
KR20190130770A (ko) * 2018-05-15 2019-11-25 삼성전자주식회사 Vr/ar 콘텐트를 제공하는 전자 장치
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US20190361521A1 (en) * 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
CA3104375A1 (en) * 2018-05-30 2019-12-05 Clearvoxel Imaging Inc. System, method and/or computer readable medium for enhanced presentation and/or interpretation of images with visual feedback
US11684305B2 (en) 2018-06-02 2023-06-27 Seyedhesam Sadeghian-Motahar Electrode array configuration on a flexible substrate for electro-oculogram recording
WO2019238209A1 (en) * 2018-06-11 2019-12-19 Brainlab Ag Gesture control of medical displays
JP6731016B2 (ja) * 2018-06-12 2020-07-29 矢崎総業株式会社 車両用表示システム
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US20200064912A1 (en) * 2018-08-22 2020-02-27 Ford Global Technologies, Llc Eye gaze tracking of a vehicle passenger
US10776073B2 (en) 2018-10-08 2020-09-15 Nuance Communications, Inc. System and method for managing a mute button setting for a conference call
US11010013B2 (en) 2018-10-29 2021-05-18 International Business Machines Corporation Providing visual control guidance on a display
TWI726252B (zh) * 2018-10-31 2021-05-01 宏碁股份有限公司 多螢幕操作方法與使用此方法的電子系統
CN111176425A (zh) * 2018-11-12 2020-05-19 宏碁股份有限公司 多屏幕操作方法与使用此方法的电子系统
US10901570B2 (en) * 2018-11-26 2021-01-26 International Business Machines Corporation Input placement control guidance on a display
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
CN109683705A (zh) * 2018-11-30 2019-04-26 北京七鑫易维信息技术有限公司 眼球注视控制交互控件的方法、装置和系统
CN111309142A (zh) 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
US11188148B2 (en) * 2018-12-27 2021-11-30 Facebook Technologies, Llc User interaction in head-mounted display with eye tracking
BE1026977B1 (nl) * 2019-01-20 2020-08-24 Inventrans Bvba Werkwijze en inrichting en systeem voor het verschaffen van dubbele muis ondersteuning
JP7263857B2 (ja) * 2019-03-14 2023-04-25 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム
JP7491300B2 (ja) * 2019-03-15 2024-05-28 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
US11256342B2 (en) 2019-04-03 2022-02-22 Facebook Technologies, Llc Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality
KR102198867B1 (ko) * 2019-04-25 2021-01-05 주식회사 비주얼캠프 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치
US10969863B2 (en) * 2019-05-08 2021-04-06 International Business Machines Corporation Configurable sensor array for a multi-target environment
EP3742308A1 (en) * 2019-05-21 2020-11-25 Siemens Healthcare GmbH Computer-implemented method for providing cross-linking between cloud-based webapplications
US10871875B2 (en) * 2019-05-24 2020-12-22 Dell Products, L.P. Cursor identification on an IHS display
JP7321786B2 (ja) * 2019-06-17 2023-08-07 キヤノン株式会社 電子機器およびその制御方法
US11106279B2 (en) * 2019-06-21 2021-08-31 Verb Surgical Inc. Eye tracking calibration for a surgical robotic system
CN110300225A (zh) * 2019-06-28 2019-10-01 联想(北京)有限公司 一种信息处理方法及电子设备
US11114060B2 (en) * 2019-08-08 2021-09-07 Adlink Technology Inc. Cursor image detection comparison and feedback status determination method
US11106929B2 (en) * 2019-08-29 2021-08-31 Sony Interactive Entertainment Inc. Foveated optimization of TV streaming and rendering content assisted by personal devices
KR20210048725A (ko) 2019-10-24 2021-05-04 삼성전자주식회사 카메라 제어를 위한 방법 및 이를 위한 전자 장치
JP7383471B2 (ja) * 2019-12-20 2023-11-20 キヤノン株式会社 電子機器およびその制御方法
US11232366B2 (en) * 2019-12-23 2022-01-25 Dell Products L.P. System and method for managing information handling systems
KR20210101027A (ko) 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 그 동작 방법
KR102417257B1 (ko) * 2020-04-03 2022-07-06 주식회사 포시에스 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법
KR20210136623A (ko) * 2020-05-08 2021-11-17 한국전자통신연구원 시선 추적 장치 및 방법
RU2738070C1 (ru) * 2020-05-13 2020-12-07 Общество С Ограниченной Ответственностью «Тотал Вижен» (Ооо "Тотал Вижен") Устройство определения координат линии взора наблюдателя в режиме реального времени
CN111601129B (zh) * 2020-06-05 2022-04-01 北京字节跳动网络技术有限公司 控制方法、装置、终端及存储介质
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
CN111782098A (zh) 2020-07-02 2020-10-16 三星电子（中国）研发中心 一种页面导航方法、装置和智能设备
US11599239B2 (en) 2020-09-15 2023-03-07 Apple Inc. Devices, methods, and graphical user interfaces for providing computer-generated experiences
CN112148142B (zh) * 2020-10-06 2021-12-10 东莞美泰电子有限公司 一种分时控制多台电脑的鼠标及控制方法
JP7346375B2 (ja) * 2020-10-22 2023-09-19 キヤノン株式会社 電子機器及びその制御方法及びプログラム及び記録媒体
WO2022103741A1 (en) * 2020-11-13 2022-05-19 Sterling Labs Llc Method and device for processing user input for multiple devices
US11644902B2 (en) * 2020-11-30 2023-05-09 Google Llc Gesture-based content transfer
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
KR20220081136A (ko) * 2020-12-08 2022-06-15 삼성전자주식회사 복수의 센서를 이용한 전자 장치의 제어 방법 및 그 전자 장치
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
CA3212746A1 (en) * 2021-03-31 2022-10-06 Klaes BERGEN A method for integrated gaze interaction with a virtual environment, a data processing system, and computer program
GB2606182B (en) * 2021-04-28 2023-08-23 Sony Interactive Entertainment Inc System and method of error logging
CN113391746B (zh) * 2021-06-17 2023-05-09 Vidaa(荷兰)国际控股有限公司 一种显示设备及多窗口焦点控制方法
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230069764A1 (en) * 2021-08-24 2023-03-02 Meta Platforms Technologies, Llc Systems and methods for using natural gaze dynamics to detect input recognition errors
WO2023044352A1 (en) * 2021-09-15 2023-03-23 Neural Lab, Inc. Touchless image-based input interface
WO2023049876A1 (en) * 2021-09-25 2023-03-30 Apple Inc. Methods for interacting with an electronic device
WO2023141535A1 (en) * 2022-01-19 2023-07-27 Apple Inc. Methods for displaying and repositioning objects in an environment
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
WO2023172272A1 (en) * 2022-03-11 2023-09-14 Hewlett-Packard Development Company, L.P. Display devices focus indicators
DE102022110291B3 (de) 2022-04-27 2023-11-02 Universität Stuttgart, Körperschaft Des Öffentlichen Rechts Computerimplementiertes Verfahren und System zur freihändigen Auswahl eines Bedienelements auf einem Bildschirm
US20240036794A1 (en) * 2022-07-26 2024-02-01 Lenovo (Singapore) Pte. Ltd. Movement of cursor between displays based on motion vectors
CN115963953A (zh) * 2022-09-30 2023-04-14 联想(北京)有限公司 一种显示界面控制方法及装置
US11836328B1 (en) 2022-10-18 2023-12-05 Dean Olliphant System to translate a cursor between multiple displays
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
CN1613057A (zh) * 2002-09-06 2005-05-04 索尼株式会社 Gui应用程序开发支持装置、gui显示装置、方法和计算机程序
CN1694043A (zh) * 2004-04-29 2005-11-09 国际商业机器公司 用眼睛凝视和按键按压组合选择和激活对象的系统和方法
CN1740951A (zh) * 2004-08-25 2006-03-01 西门子公司 用于利用人眼进行设备控制的装置
GB2440348A (en) * 2006-06-30 2008-01-30 Motorola Inc Positioning a cursor on a computer device user interface in response to images of an operator
CN101297259A (zh) * 2005-10-28 2008-10-29 托比技术有限公司 具有视觉反馈的眼跟踪器
CN101379456A (zh) * 2006-02-01 2009-03-04 托比伊科技公司 在计算机系统中图形反馈的产生
CN101430617A (zh) * 2007-10-30 2009-05-13 晶翔微系统股份有限公司 控制光标移动的加速度计数据处理方法及光标控制装置
CN101854492A (zh) * 2009-03-30 2010-10-06 日立民用电子株式会社 电视操作方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2151016T3 (es) 1994-12-23 2000-12-16 Siemens Ag Procedimiento para la conversion de informaciones introducidas por voz en datos legibles por maquina.
GB9606791D0 (en) * 1996-03-29 1996-06-05 British Telecomm Control interface
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6282553B1 (en) 1998-11-04 2001-08-28 International Business Machines Corporation Gaze-based secure keypad entry system
JP2003256128A (ja) * 2002-02-27 2003-09-10 Akio Nakamura パソコンモニター画面上で視線先の視点位置に眼の位置を検出してカーソルを自動的に表示させる一連のコンピューターシステム
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US6859144B2 (en) 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
US9652032B2 (en) * 2004-03-02 2017-05-16 Brian T. Mitchell Simulated training environments based upon fixated objects in specified regions
JP4088282B2 (ja) * 2004-08-20 2008-05-21 清実 中村 コンピュータ入力方法と装置
US7396129B2 (en) 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
US7747965B2 (en) * 2005-01-18 2010-06-29 Microsoft Corporation System and method for controlling the opacity of multiple windows while browsing
DE102005003535A1 (de) 2005-01-25 2006-08-03 Daimlerchrysler Ag Optische und akustische Informationsausgabe
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
US7721225B2 (en) * 2005-05-03 2010-05-18 Novell, Inc. System and method for creating and presenting modal dialog boxes in server-side component web applications
US7598941B2 (en) * 2005-07-01 2009-10-06 Microsoft Corporation Pointer for a large display
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US8381127B2 (en) * 2006-02-02 2013-02-19 Scenera Technologies, Llc Methods, systems, and computer program products for displaying windows on a graphical user interface based on relative priorities associated with the windows
US20090146953A1 (en) * 2006-10-30 2009-06-11 Imu Solutions, Inc. Methods for processing data from accelerometer in anticipating real-time cursor control movements
US8225229B2 (en) 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
US10437459B2 (en) * 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
US8717292B2 (en) * 2007-08-07 2014-05-06 Osaka Electro-Communication University Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
ITFI20080049A1 (it) * 2008-03-12 2009-09-13 Sr Labs Srl Apparato per la creazione, il salvataggio e la formattazione di documenti testuali tramite controllo oculare e metodo associato basato sul posizionamento ottimizzato del cursore.
JP2010004118A (ja) 2008-06-18 2010-01-07 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
US20110128223A1 (en) * 2008-08-07 2011-06-02 Koninklijke Phillips Electronics N.V. Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
US8700332B2 (en) 2008-11-10 2014-04-15 Volkswagen Ag Operating device for a motor vehicle
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8581838B2 (en) 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20110320978A1 (en) * 2010-06-29 2011-12-29 Horodezky Samuel J Method and apparatus for touchscreen gesture recognition overlay
US20120029302A1 (en) * 2010-07-29 2012-02-02 Shih-Chung Hsu Apparatus and method for dynamic detection of electrophysiological signals for stillness feedback
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
CN1613057A (zh) * 2002-09-06 2005-05-04 索尼株式会社 Gui应用程序开发支持装置、gui显示装置、方法和计算机程序
CN1694043A (zh) * 2004-04-29 2005-11-09 国际商业机器公司 用眼睛凝视和按键按压组合选择和激活对象的系统和方法
CN1740951A (zh) * 2004-08-25 2006-03-01 西门子公司 用于利用人眼进行设备控制的装置
CN101297259A (zh) * 2005-10-28 2008-10-29 托比技术有限公司 具有视觉反馈的眼跟踪器
CN101379456A (zh) * 2006-02-01 2009-03-04 托比伊科技公司 在计算机系统中图形反馈的产生
GB2440348A (en) * 2006-06-30 2008-01-30 Motorola Inc Positioning a cursor on a computer device user interface in response to images of an operator
CN101430617A (zh) * 2007-10-30 2009-05-13 晶翔微系统股份有限公司 控制光标移动的加速度计数据处理方法及光标控制装置
CN101854492A (zh) * 2009-03-30 2010-10-06 日立民用电子株式会社 电视操作方法

Also Published As

Publication number Publication date
US20120272179A1 (en) 2012-10-25
CN103518172A (zh) 2014-01-15
US20140333535A1 (en) 2014-11-13
US9971401B2 (en) 2018-05-15
KR20140035358A (ko) 2014-03-21
US8793620B2 (en) 2014-07-29
JP5807989B2 (ja) 2015-11-10
EP2699993A1 (en) 2014-02-26
EP2699993B1 (en) 2019-03-06
JP2014514661A (ja) 2014-06-19
KR101541881B1 (ko) 2015-08-04
WO2012145180A1 (en) 2012-10-26

Similar Documents

Publication Publication Date Title
CN103518172B (zh) 凝视辅助的计算机界面
JP6348211B2 (ja) コンピュータ装置の遠隔制御
US10592050B2 (en) Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency
US9477324B2 (en) Gesture processing
US8959013B2 (en) Virtual keyboard for a non-tactile three dimensional user interface
EP2672880B1 (en) Gaze detection in a 3d mapping environment
US20170228138A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
KR20210038619A (ko) 심도 기반 주석을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
KR101919009B1 (ko) 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
CN105339866A (zh) 延迟扭曲凝视交互
CN104246682A (zh) 增强的虚拟触摸板和触摸屏
KR102326489B1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
CN104077013B (zh) 指令识别方法和电子设备
US9940900B2 (en) Peripheral electronic device and method for using same
US20130120361A1 (en) Spatial 3d interactive instrument
Tochihara et al. A remote pointing method with dynamic cd ratio during a pinching gesture for large tabletop systems
Chen et al. Unobtrusive touch‐free interaction on mobile devices in dirty working environments
US12032803B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20220091722A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant