CN102292690A - 电子数据输入系统 - Google Patents

电子数据输入系统 Download PDF

Info

Publication number
CN102292690A
CN102292690A CN2010800052985A CN201080005298A CN102292690A CN 102292690 A CN102292690 A CN 102292690A CN 2010800052985 A CN2010800052985 A CN 2010800052985A CN 201080005298 A CN201080005298 A CN 201080005298A CN 102292690 A CN102292690 A CN 102292690A
Authority
CN
China
Prior art keywords
cursor
instruction
mouse
display device
visualization display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800052985A
Other languages
English (en)
Other versions
CN102292690B (zh
Inventor
纳兹·玛尔塔·扎莫伊斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia of America Corp
Original Assignee
Alcatel Lucent USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent USA Inc filed Critical Alcatel Lucent USA Inc
Publication of CN102292690A publication Critical patent/CN102292690A/zh
Application granted granted Critical
Publication of CN102292690B publication Critical patent/CN102292690B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

系统包括可视化显示装置、眼动追踪装置和处理器。眼动追踪装置能够检测眼球朝向所述可视化显示装置的方向。处理器与可视化显示装置及眼球跟踪装置进行通信。处理器能够使得光标显示于可视化显示装置。处理器能够从多个光标指令中执行光标指令，以响应所检测到的眼球朝向所显示光标的部分的方向。方法包括提供可视化显示装置、眼动追踪装置和与可视化显示装置及眼动追踪装置进行通信的处理器。该方法还包括使得光标显示于可视化显示装置。进一步地，该方法还包括检测眼球朝向所显示光标的部分的方向。此外，该方法还包括使得多个光标指令中的光标指令被执行，以响应所检测到的眼球方向。本发明还包括一种计算机可读介质。

Description

电子数据输入系统
技术领域
本发明涉及用于输入电子数据的系统和方法。
背景技术
该部分介绍了有助于更好的理解本发明的内容。因此，该部分的内容应在此种意义上被阅读，并且不应理解为对什么是现有技术或什么不是现有技术的承认。
现有多种类型的电子数据输入系统。采用打字键盘、计算机鼠标硬件设备、声音识别系统、触摸感应屏幕、光学字符识别设备、光学扫描设备、以太网、USB或其他电路连接装置、无线接收机，或者诸如硬盘、闪存盘或磁带等存储设备的计算机数据输入系统均已出现。尽管有了这些发展，对于电子数据输入系统的性能提升仍有持续性需求。
发明内容
根据本发明的一个实施例，提供了一种系统。该系统包括可视化显示装置(visual display)、眼动追踪装置(eye-tracking arrangement)和处理器。所述眼动追踪装置能够检测眼球朝向所述可视化显示装置的方向。所述处理器与所述可视化显示装置及所述眼动追踪装置进行通信。所述处理器能够使得光标显示于所述可视化显示装置。所述处理器能够从多个光标指令中执行一个光标指令，以响应所检测到的眼球朝向所显示光标的部分的方向。
根据本发明的另一个实施例，提供了一种方法。该方法包括提供可视化显示装置、眼动追踪装置和与所述可视化显示装置及所述眼动追踪装置进行通信的处理器。该方法还包括使得光标显示于所述可视化显示装置。进一步地，该方法包括使得眼球朝向所显示光标的部分的方向被检测。此外，该方法包括使得多个光标指令中的一个光标指令被执行，以响应所检测到的眼球的方向。
根据本发明的再一个实施例，提供一种计算机可读介质。该计算机可读介质包括由系统执行的计算机代码，其中，该系统包括可视化显示装置、眼动追踪装置和与所述可视化显示装置及所述眼动追踪装置进行通信的处理器。所述计算机代码是可执行的，使得该系统执行步骤，包括：使得光标显示于所述可视化显示装置；使得眼球朝向所显示光标的部分的方向被检测；以及使得多个光标指令中的一个光标指令被执行，以响应所检测到的眼球的方向。
对本领域技术人员来说，在阅读下述附图和具体实施例后，本发明的其他系统、方法、特征和优点将是或将成为显而易见的。所有该等其他的系统、方法、特征和优点均应包括在本发明的实施例中，均应属于本发明的范围，均应受本发明权利要求的保护。
附图说明
通过参照以下附图，本发明可以更容易理解。附图中的组成部件未必按比例，实际重点在于说明本发明的原理。此外，附图中相似的标记代表不同附图中对应的部件。
图1示出系统的一个实施例的示意图；
图2示出系统的另一个实施例的示意图；
图3示出系统的再一个实施例的示意图；
图4示出系统的又一个实施例的示意图；
图5示出方法的一个实施例的流程图。
具体实施方式
图1示出系统100的一个实施例的示意图。该系统100包括可视化显示装置102、眼动追踪装置104和处理器106。眼动追踪装置104能够检测眼球E朝向该可视化显示装置102的方向。如虚线108所示，处理器106与可视化显示装置102进行通信。如虚线110所示，处理器106也与眼动追踪装置104进行通信。处理器106能够使得光标112显示于可视化显示装置102。例如，光标112可以是一个屏幕计算机鼠标光标(on-screen computer mouse cursor)。例如，该屏幕计算机鼠标光标112可以实现多个功能，该多个功能可包括代替传统的计算机鼠标硬件设备。处理器106能够从多个光标指令(未示出)中，执行一个光标指令，以响应所检测到的一只眼球E朝向所显示光标112的部分的方向。例如，一个所显示光标，如光标112，其“部分”可以是该光标的一个设定区域，该设定区域可以包括该光标的部分外围边界，或该光标的部分内部区域，或这两者的组合。又如，一个所显示光标，如光标112，其“部分”可以是该光标内的一个点，该点可以位于该光标的外围边界，或位于该光标的内部区域。该多个光标指令的示例可以包括：鼠标光标采集指令(a mouse cursor pickup command)、鼠标光标指向指令(a point the mousecursor command)、向左拖拽光标指令(a drag cursor left command)、双击鼠标左键指令(a double mouse left click command)、单击鼠标左键指令(a single mouse left click command)、显示鼠标光标菜单指令(a showmouse cursor menu command)、向上拖拽光标指令(a drag cursor upcommand)、向下拖拽光标指令(a drag cursor down command)、隐藏鼠标光标菜单指令(a hide mouse cursor menu command)、单击鼠标右键指令(a single mouse right click command)、双击鼠标右键指令(a doublemouse right click command)、向右拖拽光标指令(a drag cursor rightcommand)、鼠标光标停留指令(a mouse cursor drop command)、鼠标光标拖放指令(a mouse cursor drag-drop command)、巡航控制开启指令(a cruise-control-on command)和巡航控制关闭指令(a cruise-control-offcommand)。例如，巡航控制开启指令可以使得光标112以预设的或用户设置的速度在可视化显示装置102上移动，或者使得数据输入区域(未示出)，诸如同样被显示于可视化显示装置102的Word、Excel、PowerPoint或PDF文档等，，以预设的或用户设置的速度在该可视化显示装置102上垂直或水平地滚动。光标112以及本文中涉及的其他光标，可以具有任何选定的形状与外观。例如，光标112可以是箭头形、竖线、十字形、几何图形，或者真实或抽象的图像或符号。
在系统100的一个实施例中，一个作为系统100的操作员的人(未示出)可以处于看到可视化显示装置102的合适位置。例如，系统操作员的眼球E的方向可以如图中虚线箭头114所示。例如，眼球E的瞳孔P可以凝视于可视化显示装置102所显示的光标112内的第一点116。例如，可对处理器106进行配置，使其为可视化显示装置102的整个像素矩阵(未示出)分配沿两轴向的二维像素坐标，该两轴由箭头x、y表示。例如，第一点116可具有沿着该x轴的水平像素坐标H和沿着该y轴的垂直像素坐标V。眼动追踪装置104能够检测眼球E朝向可视化显示装置102的方向。例如，系统100可以能够根据眼动追踪装置104采集的数据生成凝视点信息，该凝视点信息由像素坐标(H，V)表示，并代表与眼球E的方向114相对应的可视化显示装置102上第一点116。
在另一个实施例中，系统100可使得光标112的箭尖最初位于可视化显示装置102的一个点118。例如，光标112可以是一个如前述的屏幕计算机鼠标光标。进一步地，又如，系统100起初将光标112显示于可视化显示装置102上“鼠标光标停留”静止(stationary)位置。如果系统操作员保持眼球E的方向114，如朝向光标112的一部分或朝向光标112内的第一点116，超过预设时间区间(a predetermined elapsed timeperiod)，处理器106将可执行“鼠标光标采集”指令。进一步地，例如，系统100随后可将眼球E转向朝向第二点122的另一方向的运动，解释为“鼠标光标指向”指令，该另一方向如虚线箭头120所示。接着，例如，系统100可使得光标112的箭尖沿着虚线箭头123的方向被移动至第二点122。然后，如果系统操作员在预设时间区间内保持眼球E朝向光标112内第二点122的方向120，处理器106将可执行“鼠标光标停留”指令。在另一实施例中，一个预设的眨眼动作可以代替该预设时间区间。例如，系统100可以被配置为检测慢速眨眼动作、快速重复眨眼动作，或其他由系统100预设的或系统操作员设定的眨眼动作。例如，预设眨眼动作可以是一个预定义的眨眼动作，该预定义的眨眼动作不仅与系统操作员的正常眨眼动作基本不同，而且可被系统100与该正常眨眼动作相区分。接着，如果系统操作员通过预设眨眼动作，保持眼球E朝向光标112的一部分或朝向光标112内第一点116的方向114，处理器106将可执行“鼠标光标采集”指令。进一步地，例如，系统100随后可将眼球E转向朝向第二点122的另一方向的运动，解释为“鼠标光标指向”指令，该另一方向如虚线箭头120所示。例如，系统100可接着使得光标112的箭尖沿着虚线箭头123的方向被移动至第二点122。如果系统操作员然后通过预设眨眼动作，保持眼球E朝向光标112内第二点122的方向120，处理器106将可执行“鼠标光标停留”指令。
在又一个实施例中，如果系统操作员在预设时间区间内或通过预设眨眼动作，保持眼球E朝向光标112的一部分的方向114，如朝向光标112内第一点116，处理器106从多个光标指令(未示出)中，在一个光标指令上执行“鼠标点击”，以响应所检测到的眼球E的方向。作为示例，处理器106可以执行向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、巡航控制开启指令或巡航控制关闭指令。例如，系统操作员可以使得处理器106相继执行多个该等光标指令。作为示例，不同光标指令的执行可通过一个或多个语音、视觉或震动信号进行确认。例如，光标112可以包括一个部分，如点118，该部分专用于根据眼球E朝向该点118的方向如前述方式执行“鼠标光标指向”指令。进一步地，例如，光标112中的其他点或部分(未示出)可分别专用于该多个其他光标指令中的每一个光标指令，根据眼球E朝向这些点或部分的方向如前述方式执行相应的光标指令。
在一个实施例中，系统操作员可以利用系统100在数据输入区域的部分区域126执行文本扫选操作(a text sweeping and selectingoperation)，该数据输入区域如可视化显示装置102上所显示的Word、Excel、PDF或PowerPoint文档(未示出)等。例如，系统操作员可以使得处理器106如前述方式相继执行“鼠标光标采集”和“鼠标光标指向”光标指令，将光标112的箭尖置于点118，作为数据输入区域的部分区域126中开始文本扫选操作的选定位置。接着，例如，系统操作员可以使得处理器106利用屏幕计算机鼠标光标112相继执行“单击鼠标左键”和“向左拖拽光标”光标指令。随后，例如，系统操作员可以转动眼球E至朝向第二点122的方向120。接着，例如，系统操作员可以执行“鼠标光标拖放”或“鼠标光标停留”光标指令。此时，例如，该数据输入区域的部分区域126中，点118和122之间的文本可被处理器106指定为“被选中”。
接着，系统管理员可以使得处理器106生成被选中文本的副本，以用于随后的文本粘贴操作。例如，系统操作员可以根据眼球E朝向光标112内一个点或部分的方向，执行“单击鼠标右键指令”。例如，该单击鼠标右键指令可以使得鼠标右键指令菜单128显示于可视化显示装置102。接着，例如，系统操作员可以将眼球E移动至朝向该鼠标右键指令菜单128中“复制”指令(未示出)的方向，然后如前述方式执行“单击鼠标左键”指令。此时，例如，该数据输入区域的部分区域126中，点118和122之间的文本可被处理器106指定为“被复制”。
在另一个实施例中，系统操作员可以操控系统100，使得处理器106在可视化显示装置102的带有滚动按钮(未示出)的滚动条上执行拖拽操作。首先，例如，系统操作员可以操控系统100执行“鼠标光标指向”指令，移动光标112至该滚动按钮。然后，例如，系统操作员可以操控系统100，使得处理器106执行相应的指令：“向下拖拽光标”、“向上拖拽光标”、“向左拖拽光标”或“向右拖拽光标”光标指令。又如，系统操作员可以操控系统100，使得处理器106对可视化显示装置102所显示的数据输入区域(未示出)，诸如Word、Excel、PDF或PowerPoint文档等，进行滚动操作。首先，例如，系统操作员可以操控系统100执行“鼠标光标指向”指令，移动光标112至该数据输入区域的选定位置。接着，例如，系统操作员可以操控系统100，使得处理器106执行“向下拖拽光标”、“向上拖拽光标”、“向左拖拽光标”或“向右拖拽光标”光标指令，以使得该数据输入区域向相应的方向滚动。随后，例如，系统操作员可以执行“鼠标光标拖放”或“鼠标光标停留”光标指令。
在又一实施例中，系统100可以被配置为根据眼球E相对于可视化显示装置102的方向，激活或休眠该系统100，也即，“开启”或“关闭”该系统100。例如，眼动追踪装置104可以能够检测眼球E未朝向可视化显示装置102的方向。例如，如果系统操作员将他或她的双眼视线E从可视化显示装置102移开，经过预设时间区间，系统100可以使得处理器106休眠或“关闭”该系统100。随后，例如，如果系统操作员保持眼球E朝向可视化显示装置102的方向，经过预设时间区间，系统100可以使得处理器106激活或“开启”该系统100。例如，当系统100的其他部分休眠时，眼动追踪装置104可以保持工作状态，以便于再次如此激活该系统100。例如，用于“关闭”系统100的预设时间区间可以是一个相对长的时间区间，以便系统操作员可以在正常情况下暂时将他或她的视线从可视化显示装置102移开，而不会导致过早“关闭”该系统100。在进一步的实施例中，系统100可以被配置为根据眼球E朝向可视化显示装置102的其他方向，以类似方式激活或休眠该系统100。例如，系统100可以被配置为根据预设的朝向可视化显示装置102的眨眼动作，以类似方式激活或休眠该系统100。
图2示出系统200的另一实施例的示意图。该系统200包括可视化显示装置202、眼动追踪装置204和处理器206。眼动追踪装置204能够检测眼球E朝向可视化显示装置202的方向。如虚线208所示，处理器206与可视化显示装置202进行通信。如虚线210所示，处理器206也与眼动追踪装置204进行通信。处理器206能够使得光标212显示于可视化显示装置202。例如，光标212可以包括一个部分，如点218，该部分专用于根据眼球E朝向该点218的方向执行“鼠标光标指向”指令，其执行方式与前述系统100中相关指令执行方式相同。例如，处理器206可以被配置为使得所显示光标212包括多个光标指令执行单元226、228、230、232、234、236、238、240、242、244、246、248、250、252、254，每个光标指令执行单元显示于可视化显示装置202的不同部分，其中，该等光标指令执行单元226-254中的每一个对应于多个光标指令(未示出)中之一。例如，光标指令执行单元226、228、230、232、234、236、238、240、242、244、246、248、250、252、254可以分别对应于以下光标指令：鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令和巡航控制开启/关闭切换指令。例如，光标指令执行单元226-254中的每一个，可以包括一个标识其对应光标指令的标签(未示出)。例如，该等标签(未示出)中的每一个可以在光标212上总是可见的；或可被隐藏，除非当检测到眼球E朝向光标212中一部分内第一点216的方向为214时，其中，该一部分包括对应的该等光标指令执行单元226-254中之一。处理器206能够从多个光标指令(未示出)中，执行一个光标指令，以响应所检测到的眼球E朝向光标212内一个点或部分的方向，该点或部分如所显示光标212内该等光标指令执行单元226-254之一。
在系统200的一个实施例中，一个作为系统200的操作员的人(未示出)可以处于看到可视化显示装置202的合适位置。例如，系统操作员的眼球E的方向可以如图中虚线箭头214所示。例如，眼球E的瞳孔P可以凝视于可视化显示装置202所显示的光标212内的第一点216。例如，可对处理器206进行配置，使其为可视化显示装置202的整个像素矩阵(未示出)分配沿两轴向的二维像素坐标，该两轴由箭头x、y表示。例如，第一点216可具有沿着该x轴的水平像素坐标H和沿着该y轴的垂直像素坐标V。眼动追踪装置204能够检测眼球E朝向可视化显示装置202的方向。例如，系统200能够根据眼动追踪装置204采集的数据生成凝视点信息，该凝视点信息由像素坐标(H，V)表示，并代表与眼球E的方向214相对应的可视化显示装置202上光标212内的第一点216。例如，可视化显示装置202上的第一点216可以位于该等光标指令执行单元226-254中之一，每个光标指令执行单元显示于该光标212的不同部分，其中，该等光标指令执行单元226-254中的每一个对应于多个光标指令(未示出)中之一。例如，处理器206能够从多个光标指令(未示出)中，选择执行与该等光标指令执行单元226-254中之一相对应的光标指令。如图2所示的实施例中，所显示光标212中包括光标指令执行单元236，该光标指令执行单元对应“显示鼠标光标菜单”指令，当检测到眼球E朝向光标指令执行单元236上的第一点216的方向214时，处理器206可执行“显示鼠标光标菜单”指令。例如，处理器206可随后使得可视化显示装置202显示鼠标光标菜单256，该鼠标光标菜单256包括多个标识光标指令的标签(未示出)，这些光标指令分别对应于光标指令执行单元226-254。又如，光标指令执行单元226-254中的每一个包括一个标识其相应光标指令的标签(未示出)。在另一实施例中，该等标签(未示出)中的每一个可被隐藏，除非当检测到眼球E朝向第一点216的方向为214时，其中，该第一点216位于该等光标指令执行单元226-254中之一内。又如，光标指令执行单元226-254中的每一个可以不同颜色编码，以标识其对应的光标指令。
图3示出系统300的再一实施例的示意图。该系统300包括可视化显示装置302、眼动追踪装置304和处理器306。眼动追踪装置304能够检测眼球E朝向可视化显示装置302的方向。如虚线308所示，处理器306与可视化显示装置302进行通信。如虚线310所示，处理器306也与眼动追踪装置304进行通信。处理器306能够使得光标312显示于可视化显示装置302。例如，光标312可以包括一个外围边界313。例如，光标312可以包括一个部分，如点318，该部分专用于根据眼球E朝向该点318的方向执行“鼠标光标指向”指令，其执行方式与前述系统100中相关指令执行方式相同。例如，光标312可以包括多个光标指令执行单元326、328、330、332、334、336、338、340、342、344、346、348、350、352、354，每个光标指令执行单元显示于可视化显示装置302上光标312的外围边界313的不同部分，其中，光标指令执行单元326-354中的每一个对应于多个光标指令(未示出)中之一。例如，光标指令执行单元326、328、330、332、334、336、338、340、342、344、346、348、350、352、354可以分别对应于以下光标指令：鼠标光标采集指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。处理器306能够从多个光标指令(未示出)中，执行一个光标指令，以响应所检测到的眼球朝向光标312中的一个点或部分的方向，该点或部分如所显示光标312的外围边界313周围的该等光标指令执行单元326-354中之一。
例如，光标指令执行单元326-354中的每一个，可以包括一个标识其对应光标指令的标签(未示出)。例如，该等标签(未示出)中的每一个可被隐藏，除非当检测到眼球E朝向沿着光标312的外围边界313中一部分的第一点316的方向为314时，其中，该一部分包括对应的该等光标指令执行单元326-354中之一。又如，“显示鼠标光标菜单”指令的执行可以使得处理器306显示鼠标光标菜单356。例如，光标指令执行单元326-354中的每一个可以不同颜色编码，以标识其对应的光标指令。在一个进一步的实施例中，该多个光标指令执行单元326-354中的每一个可以位于光标312的外围边界313的被选定部分，以使该位置适合指明该光标指令执行单元所对应的光标指令。例如，多个光标指令执行单元326-354中的每一个可以位于光标312的外围边界313的一部分，其分布方式与传统计算机鼠标硬件设备中手动光标指令执行单元的布局相一致。例如，“左侧”和“右侧”指令执行单元可以分别位于外围边界313的左侧315和右侧317。又如，“双击”指令可以与其相应的“单击”指令毗邻。此外，例如，“向上”和“向下”指令可以分别位于外围边界313的顶端319和底端321。
在系统300的一个实施例中，一个作为系统300的操作员的人(未示出)可以处于看到可视化显示装置302的合适位置。例如，系统操作员的眼球E的方向可以如图中虚线箭头314所示。例如，眼球E的瞳孔P可以凝视于可视化显示装置302所显示的光标312的外围边界313内第一点316。例如，对处理器306进行配置，使其为可视化显示装置302的整个像素矩阵(未示出)分配沿两轴向的二维像素坐标，该两轴由箭头x、y表示。例如，第一点316可具有沿着该x轴的水平像素坐标H和沿着该y轴的垂直像素坐标V。眼动追踪装置304能够检测眼球E朝向可视化显示装置302的方向。例如，系统300能够根据眼动追踪装置304采集的数据生成凝视点信息，该凝视点信息由像素坐标(H，V)表示，并代表与眼球E的方向314相对应的可视化显示装置302上光标312的外围边界313内第一点316。例如，可视化显示装置302上的第一点316可以位于该等光标指令执行单元326-354中之一内，每个光标指令执行单元显示于光标312的外围边界313的不同部分，其中，光标指令执行单元326-354中的每一个对应于多个光标指令(未示出)中之一。例如，处理器306能够从多个光标指令(未示出)中，选择执行与该等光标指令执行单元326-354中之一相对应的光标指令。如图3所示的实施例中，所显示光标312的外围边界313上的光标指令执行单元342表示“单击鼠标右键”指令，当检测到眼球E朝向光标指令执行单元342上第一点316的方向314时，处理器306执行“单击鼠标右键”指令。
图4示出系统400的又一实施例的示意图。该系统400包括可视化显示装置402、眼动追踪装置404和处理器406。眼动追踪装置404能够检测眼球E朝向可视化显示装置402的方向。如虚线408所示，处理器406与可视化显示装置402进行通信。如虚线410所示，处理器406也与眼动追踪装置404进行通信。处理器406能够使得光标412显示于可视化显示装置402。例如，处理器406能够响应于所检测到的眼球E朝向光标412的一个点或部分的方向，使得可视化显示装置402显示包括光标412和鼠标光标菜单415的扩展光标413，该鼠标光标菜单415包括多个光标指令执行单元426、428、430、432、434、436、438、440、442、444、446、448、450、452，每个光标指令执行单元对应于多个光标指令中之一。例如，光标指令执行单元426、428、430、432、434、436、438、440、442、444、446、448、450、452可以分别对应于以下光标指令：鼠标光标采集指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。例如，光标指令执行单元426-452的菜单415可以隐藏于可视化显示装置402，除非当检测到眼球E朝向光标412的方向为414时。又如，光标指令执行单元426-452的菜单415可以隐藏于可视化显示装置402，除非当检测到眼球E朝向光标412的第一部分416的方向为414时。作为示例，光标412的第一部分416可通过与光标412的其他部分不同的外观进行标记，如指定颜色或做阴影处理。进一步地，例如，光标指令执行单元426-452的菜单415可以在可视化显示装置402上毗邻光标412进行显示，或者在可视化显示装置402的其他位置(未示出)进行显示。当系统400检测到眼球E朝向光标412的部分的方向，或朝向扩展光标413的部分的方向时，处理器406能够从多个光标指令(未示出)中，执行一个光标指令，以响应所检测到的眼球E朝向可视化显示装置402所显示的多个光标指令执行单元426-452中之一的方向。
在系统400的一个实施例中，一个作为系统400的操作员的人(未示出)可以处于看到可视化显示装置402的合适位置。例如，系统操作员的眼球E的方向可以如图中虚线箭头414所示。例如，眼球E的瞳孔P可以凝视于可视化显示装置402所显示的光标412内第一部分416。例如，对处理器406进行配置，使其为可视化显示装置402的整个像素矩阵(未示出)分配沿两轴向的二维像素坐标，该两轴由箭头x、y表示。例如，第一部分416沿着该x轴的水平像素坐标区域为H至I，沿着该y轴的垂直像素坐标区域为V至W。眼动追踪装置404能够检测眼球E朝向可视化显示装置402的方向。例如，系统400能够根据眼动追踪装置404采集的数据生成凝视点信息，该凝视点信息由像素坐标(H，V)至(I，W)表示的矩阵区域，并代表与眼球E的方向414相对应的可视化显示装置402上光标412内第一部分416。例如，当系统400检测眼球E朝向光标412内第一部分416的方向414时，处理器406可以使得扩展光标413显示于可视化显示装置402，该扩展光标413包括光标指令执行单元426-452的菜单415，并且该菜单415毗邻光标412或显示于可视化显示装置402的其他位置。例如，系统操作员(未示出)可以使得眼球E移动至朝向扩展光标413的第二部分419的方向417，该第二部分419包括被显示菜单415中光标指令执行单元426-452之一。随后，例如，处理器406从多个光标指令(未示出)选择执行一个光标指令，该光标指令与该等光标指令执行单元426-452中之一相对应。如图4所示的实施例中，处理器406可以执行与检测到的眼球E朝向菜单415的第二部分419的方向417相对应的“鼠标光标拖放”指令，该第二部分419包括代表“鼠标光标拖放”指令的光标指令执行单元448。
例如，系统100、200、300、400能够检测眼球E保持朝向可视化显示装置102、202、302、402上光标112、212、312、412内点或部分116、216、316、416、419的方向114、214、314、414、417的持续时间。例如，眼动追踪装置104、204、304、404持续采样关于眼球E朝向可视化显示装置102、202、302、402的方向的凝视点数据，该方向可以朝向光标112、212、312、412，或者朝向可视化显示装置102、202、302、402的其他部分，或者偏离可视化显示装置102、202、302、402。进一步地，例如，处理器106、206、306、406能够对预设时间区间值与所检测到的眼球E朝向可视化显示装置102、202、302、402内点或部分116、216、316、416、419的方向114、214、314、414、417的持续时间进行比较。例如，当所检测到的持续时间达到预设时间区间值，处理器106、206、306、406能够执行光标指令。例如，该预设时间区间值可以由系统操作员设定，并编程写入系统100、200、300、400。例如，系统100、200、300、400可以存储多个不同的预设时间区间值，分别对应不同的功能。例如，处理器106、206、306、406可以设定和存储一个最短的预设时间区间值，以对应于每一个“鼠标光标采集”和“鼠标光标停留”指令。又如，系统100、200、300、400存储一个用于“开启”系统100、200、300、400的预设时间区间值，和一个用于“关闭”系统100、200、300、400的预设时间区间值。
进一步地，在另一实施例中，系统100、200、300、400能够检测眼球E朝向可视化显示装置102、202、302、402上第一点或部分116、216、316、416的方向114、214、314、414的初始位置。在该另一实施例中，系统100、200、300、400还能够检测眼球E转向朝向可视化显示装置102、202、302、402上第二点或部分122、222、322、422的另一方向的后续位置的运动，该另一方向如虚线箭头120、220、320、420所示。又如，处理器106、206、306、406能够根据所检测到的眼球E从朝向可视化显示装置102、202、302、402的第一点或部分116、216、316、416的一个方向114、214、314、414转至朝向可视化显示装置102、202、302、402的第二点或部分122、222、322、422的另一方向120、220、320、420的运动，使得光标112、212、312、412在可视化显示装置102、202、302、402上被移动。进一步地，例如，处理器106、206、306、406能够使得可视化显示装置102、202、302、402显示数据区域输入光标(data filed input cursor)124、224、324、424，并能够使得数据区域输入光标124、224、324、424沿着虚线箭头123、223、323、423的方向，被移动至可视化显示装置102、202、302、402的第二点或部分122、222、322、422。此外，例如，系统100、200、300、400还能够检测眼球E在方向114、214、314、414上大于角度阈值theta(θ)的变化。例如，一旦检测到眼球E在方向114、214、314、414的变化大于角度阈值θ，系统100、200、300、400使得处理器106、206、306、406根据眼球E相对于可视化显示装置102、202、302、402在方向114、214、314、414的方向和幅度的变化，在可视化显示装置102、202、302、402上将光标112、212、312、412沿一定方向移动一定比例的距离。
图5示出方法500的一个实施例的流程图。该方法开始于步骤505，随后步骤510包括提供可视化显示装置102、202、302、402，眼动追踪装置104、204、304、404和与可视化显示装置102、202、302、402及眼动追踪装置104、204、304、404进行通信的处理器106、206、306、406。例如，步骤510可以包括配置处理器106、206、306、406，使其为可视化显示装置102、202、302、402的整个像素矩阵(未示出)分配沿两轴向的二维像素坐标，该两轴由箭头x、y表示。步骤515包括使得光标112、212、312、412显示于可视化显示装置102、202、302、402。
在一个实施例中，系统操作员(未示出)可以处于看到可视化显示装置102、202、302、402的合适位置。例如，系统操作员的眼球E的方向可以如图中虚线箭头114、214、314、414所示。例如，眼球E的瞳孔P可以凝视于可视化显示装置102、202、302、402所显示的光标112、212、312、412内第一点或部分116、216、316、416。例如，第一点或部分116、216、316、416可以包括凝视点，该凝视点沿着该x轴的水平像素坐标为H，沿着该y轴的垂直像素坐标为V。在步骤520中，可检测眼球E朝向可视化显示装置102、202、302、402所显示的光标112、212、312、412内第一点或部分116、216、316、416的方向。例如，可使眼动追踪装置104、204、304、404检测眼球E的方向。在步骤520中，进一步地，例如，眼动追踪装置104、204、304、404可采集数据；该数据可用于生成凝视点信息，该凝视点信息由像素坐标(H，V)表示，并代表与眼球E的方向114、214、314、414相对应的可视化显示装置102、202、302、402上第一点或部分116、216、316、416。
在步骤530中，从多个光标指令(未示出)中，执行一个光标指令，以响应所检测到的眼球E朝向所显示光标112、212、312、412的一个点或部分的方向。例如，处理器106、206、306、406可以执行该光标指令。作为示例，该多个光标指令可以包括：鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。随后，例如，方法500结束于步骤540。
在另一实施例中，步骤515可以包括使得光标212显示于可视化显示装置202，光标212包括多个光标指令执行单元226、228、230、232、234、236、238、240、242、244、246、248、250、252、254，每个光标指令执行单元显示于可视化显示装置202的不同部分，其中，光标指令执行单元226-254中的每一个对应于多个光标指令(未示出)中之一。进一步地，在该另一实施例中，步骤515可以包括对处理器206进行编程，以使得光标指令执行单元226、228、230、232、234、236、238、240、242、244、246、248、250、252、254可以分别对应于以下光标指令：鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。例如，步骤515还可以包括对处理器206进行编程，以使得可视化显示装置202以适合标识对应光标指令的方式，显示光标指令执行单元226-254中的每一个。例如，步骤515可以包括对处理器206进行编程，以使得可视化显示装置202显示用于标识光标指令的标签，该光标指令与光标指令执行单元226-254中的每一个相对应。例如，步骤515可以包括对处理器206进行编程，以使得该等标签总是显示于光标212。又如，步骤515可以包括对处理器206进行编程，以隐藏该等标签，除非当检测到眼球E朝向光标212内第一点或部分216的方向为214时，其中，该第一点或部分216包括对应的光标指令执行单元226-254中之一。进一步地，例如，步骤530可以包括使处理器206从多个光标指令(未示出)中，执行一个光标指令，以响应所检测到的眼球E朝向所显示光标212的多个光标指令执行单元226-254之一的方向。
在又一实施例中，步骤515可以包括使得带有光标外围边界313的光标312显示于可视化显示装置302，该光标312包括多个光标指令执行单元326、328、330、332、334、336、338、340、342、344、346、348、350、352、354，每个光标指令执行单元显示于可视化显示装置302的光标312的外围边界313的不同部分，其中，光标指令执行单元326-354中的每一个对应于多个光标指令(未示出)中之一。在该又一实施例中，步骤515可以包括对处理器306进行编程，使得光标指令执行单元326、328、330、332、334、336、338、340、342、344、346、348、350、352、354可以分别对应于以下光标指令：鼠标光标采集指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。进一步地，例如，步骤515可以包括对处理器306进行编程，使得可视化显示装置302以适合标识对应光标指令的方式，显示光标指令执行单元326-354中的每一个。例如，步骤515可以包括对处理器306进行编程，使得可视化显示装置302显示用于标识光标指令的标签，该光标指令与光标指令执行单元326-354中的每一个相对应。在另一实施例中，步骤515可以包括对处理器306进行编程，以隐藏该等标签，除非当检测到眼球E朝向光标312的外围边界313中一部分内第一点316的方向为314时，其中，该一部分包括对应的光标指令执行单元326-354之一。又如，步骤515可以包括对处理器306进行编程，使得光标指令执行单元326-354中的每一个以不同颜色编码显示于可视化显示装置302，以标识其对应的光标指令。在一个进一步的实施例中，步骤515可以包括对处理器306进行编程，使得多个光标指令执行单元326-354中的每一个显示于可视化显示装置302中光标312的外围边界313的被选定位置或部分，以使该位置适合指明与该光标指令执行单元相对应的光标指令。例如，“左侧”和“右侧”光标指令执行单元可以分别位于外围边界313的左侧315和右侧317。又如，“双击”指令可以与其相应的“单击”指令毗邻。此外，例如，“向上”和“向下”指令可以分别位于外围边界313的顶端319和底端321。进一步地，步骤530可以包括使处理器306从多个光标指令(未示出)中，执行一个光标指令，以响应所检测到的眼球E朝向所显示光标312的外围边界313周围的多个光标指令执行单元326-354之一的方向。
在又一实施例中，步骤515可以包括对处理器406进行编程，使得处理器406能够显示光标412和额外显示菜单415，以响应所检测到的眼球E朝向光标412的部分的方向，该菜单415包括多个光标指令执行单元426、428、430、432、434、436、438、440、442、444、446、448、450、452，每个光标指令执行单元分别对应多个光标指令中之一。在该又一实施例中，进一步地，步骤515可以包括使得可视化显示装置402显示光标412，以使菜单415最初未显示并被隐藏。例如，步骤515还可以进一步包括当检测到眼球E朝向光标412的方向为414时，在可视化显示装置402显示菜单415，该菜单415包括多个光标指令执行单元426-452。又如，步骤515可以包括当检测到眼球E朝向光标412内第一部分416的方向为414时，在可视化显示装置402显示菜单415，该菜单415包括多个光标指令执行单元426-452。作为示例，步骤515可以包括显示光标412的第一部分416，该第一部分416以与光标412的其他部分不同的展现方式进行标记，如标记为指定颜色或做阴影处理。进一步地，例如，步骤515可以包括在可视化显示装置402上毗邻光标412显示光标指令执行单元426-452的菜单415，或者在可视化显示装置402的其他位置(未示出)显示。例如，步骤515可以包括对处理器406进行编程，使得光标指令执行单元426、428、430、432、434、436、438、440、442、444、446、448、450、452可以分别对应于以下光标指令：鼠标光标采集指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。在步骤520，眼动追踪装置404可以检测眼球E朝向可视化显示装置402所显示光标412内第一点或部分416的方向。在步骤525，眼动追踪装置404可以检测眼球E朝向可视化显示装置402所显示的第二点或部分419的方向，该第二点或部分419位于光标菜单415中多个光标指令执行单元426-452之一。进一步地，例如，步骤530可以包括使得处理器406从多个光标指令(未示出)中，执行一个光标指令，以响应所检测到的眼球E朝向所显示光标412中多个光标指令执行单元426-452之一的方向。
在一个实施例中，步骤520、525可以包括检测眼球E保持朝向可视化显示装置102、202、302、402所显示的光标112、212、312、412内第一点或部分116、216、316、416的方向114、214、314、414的持续时间。进一步地，例如，步骤520、525可以包括对预设时间区间值与所检测到的眼球E朝向可视化显示装置102、202、302、402上第一点或部分116、216、316、416的方向114、214、314、414、417的持续时间进行比较。作为对该实施例的补充，步骤530可以包括当检测到的持续时间达到预设时间区间值时，使得处理器106、206、306、406执行光标指令。例如，步骤510还可以包括将预设时间区间值编程写入处理器106、206、306、406，作为系统操作员设定的时间区间。
在另一实施例中，步骤520、525可以包括检测眼球E朝向如虚线箭头114、214、314、414所指的可视化显示装置102、202、302、402上第一点或部分116、216、316、416的一个方向的初始位置。进一步地，在该另一实施例中，步骤520、525可以包括检测眼球E转向如虚线箭头120、220、320、420所指的可视化显示装置102、202、302、402上第二点或部分122、222、322、422的另一方向的后续位置的运动。作为对该另一实施例的补充，方法500在步骤530可以包括根据所检测到的眼球E从朝向可视化显示装置102、202、302、402上第一点或部分116、216、316、416的一个方向转至朝向可视化显示装置102、202、302、402上第二点或部分122、222、322、422的另一方向的运动，使得光标112、212、312、412在可视化显示装置102、202、302、402上被移动。例如，光标112、212、312、412的箭尖可以在可视化显示装置102、202、302、402上从第一点118、218、318、418被移动至第二点122、222、322、422。进一步地，方法500在步骤515可以包括显示数据区域输入光标124、224、324、424；并在步骤535通过处理器106、206、306、406使得数据区域输入光标124、224、324、424被重定位，从位于第一点118、218、318、418，到位于第二点122、222、322、422。
在再一个实施例中，步骤520、525可以包括根据角度阈值theta(θ)，检测眼球E朝向可视化显示装置102、202、302、402的方向114、214、314、414上的变化。进一步地，在该再一实施例中，随后，方法500在步骤530可以包括：使得处理器106、206、306、406根据眼球E的方向114、214、314、414相对于可视化显示装置102、202、302、402的方向变化与幅度变化比例，在可视化显示装置102、202、302、402上将光标112、212、312、412沿一定方向移动一定距离。
在此，被选择用于系统100、200、300、400中的可视化显示装置102、202、302、402可以是，例如，任何适应于图形用户界面的显示设备，诸如液晶显示器(“LCD”)、等离子显示器、光投影设备、或阴极射线管等。系统100、200、300、400可以包括一个或多个可视化显示装置102、202、302、402。
在此，被选择用于系统100、200、300、400中的眼动追踪装置104、204、304、404包括，例如，任何一种能够检测眼球朝向可视化显示装置102、202、302、402的方向114、214、314、414的眼动追踪装置。例如，眼动追踪装置104、204、304、404可以包括一个或多个摄像头(未示出)。进一步地，例如，这些摄像头(未示出)可以安装于可视化显示装置102、202、302、402。例如，眼动追踪装置104、204、304、404可以生成由坐标(H，V)表示的凝视点信息，该凝视点信息用于定位朝向可视化显示装置102、202、302、402的眼球E的瞳孔P。例如，系统100、200、300、400可以利用坐标(H，V)数据设定光标112、212、312、412在可视化显示装置102、202、302、402上的显示位置。例如，眼动追踪装置104、204、304、404可以通过以下方式进行校准：将摄像头对准眼球E的瞳孔P，并且当盯着可视化显示装置102、202、302、402上位于不同的空间分离的一系列已知坐标(H，V)的点时，人需保持不动。通过对处理器106、206、306、406进行编程，眼动追踪装置104、204、304、404可以按照如前述预设时间区间或预设眨眼动作的方式被操控。例如，该时间区间用于将眼球E朝向可视化显示装置102、202、302、402中一个点或一部分的方向转化为“鼠标点击”指令，以使得处理器106、206、306、406在系统100、200、300、400中执行一个操作；可通过提示用户使眼球E在方向114、214、314、414上保持用户定义的时长，设置该时间区间，然后，该用户定义的时长可由处理器106、206、306、406存储，以作为预设时间区间。又如，该预设眨眼动作用于将眼球E朝向可视化显示装置102、202、302、402的一个点或一部分的方向转化为“鼠标点击”指令，或用于控制处理器106、206、306、406在系统100、200、300、400中执行另一个操作；可通过提示用户在进行用户设定的眨眼动作的过程中保持眼球E方向114、214、314、414，设置该预设眨眼动作，然后，该用户设定的眨眼动作可由处理器106、206、306、406存储，以作为预设眨眼动作，用于使得系统100、200、300、400的一个预设操作被执行。
在另一实施例中，眼动追踪装置104、204、304、404可以包括(未示出)：头戴式光学装置、摄像头、反光单片镜和控制器。例如，包括电荷耦合器件的摄像头可以被采用。眼动追踪装置104、204、304、404的控制器可由处理器106、206、306、406充当，或者可为一个分离的控制器(未示出)。例如，头戴式光学装置可以包括一个头带，该头带与可在足球或自行车头盔里发现的内部支撑结构相仿。例如，摄像头可以带有近距离红外照明灯。例如，选择一个小型摄像头并安装于头带上的合适位置，使得该头带被戴上时，该摄像头位于佩戴者的眼球上方。该单片镜的尺寸约3英寸*2英寸，可以置于头带佩戴者的眼球下方。在一个实施例中，眼动追踪装置104、204、304、404还可以包括一个磁式头部追踪单元(未示出)。例如，该磁式头部追踪单元可以包括一个磁发射器、一个万向指向装置和一个传感器。例如，该磁发射器和该万向指向装置可以置于固定支架上，该固定支架位于眼动追踪装置104、204、304、404使用状态下头带佩戴者头部的正后方；该头带上可以装有一个小型传感器。在眼动追踪装置104、204、304、404的操作过程中，佩戴者的眼球E可以由头带上的近距离红外照明灯照亮。随后，该眼球E的图像可以反射至反光单片镜。接着，例如，摄像头可以接收该反射的图像，并将该图像发送至处理器106、206、306、406。进一步地，例如，该磁式头部追踪单元还可以将头部位置数据坐标(x，y)发送至处理器106、206、306、406。随后，处理器106、206、306、406根据从摄像头和磁式头部追踪单元接收的数据生成凝视点数据坐标(H，V)。作为示例，对于人的凝视点的精确标定，可能取决于人的眼球E与可视化显示装置102、202、302、402的距离，以及磁式头部追踪单元与可视化显示装置102、202、302、402的距离。上述眼动追踪装置104、204、304、404可以通过商业购买获得，例如，根据贸易名录(the tradedesignation)CU4000或SU4000，从美国马萨诸塞州贝德福德的应用科学实验室购买。
在又一实施例中，眼动追踪装置104、204、304、404可以包括(未示出)一个装有一个或多个摄像头的头带。例如，在头带上安装两个摄像头，使得佩戴者佩戴头带时，这两个摄像头位于佩戴者眼球E的下方。在本实施例中，左眼和右眼的两个眼球E的眼球追踪数据坐标(x，y)均被记录。例如，这两个摄像头可以以60赫兹(“Hz”)至250赫兹之间的采样率采集眼球追踪数据。例如，该头带还可以安装第三个摄像头，使得佩戴者佩戴头带时，该第三个摄像头靠近佩戴者前额的中部。例如，该第三个摄像头的方向可以由安装于可视化显示装置102、202、302、402上的红外传感器进行检测。进一步地，例如，该第三个摄像头还可以记录佩戴者的头部相对于可视化显示装置102、202、302、402的运动。例如，眼动追踪装置104、204、304、404可以通过以下方式进行校准：将每个摄像头对准眼球E的瞳孔P，并且当盯着可视化显示装置102、202、302、402上位于不同的分隔空间的一系列已知坐标(H，V)的点时，人需保持不动。上述眼动追踪装置104、204、304、404可以通过商业购买获得，例如，从德国的肌肉运动传感仪器公司(SensoriMotorics Instrumentation，简称SMI)购买，商品名称为“眼球连接系统(EyeLink System)”。
应能理解，其他眼动追踪装置104、204、304、404也可以适用于本发明。例如，眼动追踪装置104、204、304、404可以通过测量靠近人眼球E的皮肤表面的生理电极，推断眼球E的方向。此外，眼动追踪装置104、204、304、404还可以通过商业购买获得，例如，从眼动追踪公司(EyeTracking，Inc.)购买，其地址为美国92120加利福尼亚的圣地亚哥阿尔瓦拉多路6475号132室。系统100、200、300、400可以包括一个或多个眼动追踪装置104、204、304、404。关于眼动追踪装置104、204、304、404的进一步背景信息，包括在下述文档中：美国专利6090051，发明人Marshall，公告日2000年7月18日；美国专利6102870，发明人Edwards，公告日2000年8月15日；美国专利公开号2007/0291232A1，发明人Marshall，公开日2007年12月20日，其中，这些文档中的全部内容均应通过援引方式，包括在本发明的系统100、200、300、400中的每一个和本发明的方法500中。
被选择用于系统100、200、300、400中的处理器106、206、306、406可以是，例如，任何适用于从眼动追踪装置104、204、304、404接收数据和控制可视化显示装置102、202、302、402的电子处理器。例如，处理器106、206、306、406还可以选择适用于控制眼动追踪装置104、204、304、404的操作的电子处理器。应能理解，系统100、200、300、400和方法500中描述的一个或多个功能或方法步骤可以由处理器106、206、306、406执行，处理器106、206、306、406由硬件和/或软件组成。此外，方法500的全部步骤可以由在处理器106、206、306、406内执行的软件实现。进一步地，例如，处理器106、206、306、406还可以执行适用于配置系统100、200、300、400或方法500的算法。处理器106、206、306、406的示例包括：微处理器、通用处理器、数字信号处理器，或特定应用的数字集成电路。例如，处理器106、206、306、406还可以包括额外的部件，诸如有源存储设备(active memorydevice)、硬盘、总线，和输入/输出接口等。例如，用于系统100、200、300、400的可视化显示装置102、202、302、402和处理器106、206、306、406可以集中为个人计算机。如果方法500由软件实现，该软件可以存储于软件内存(未示出)和/或用于执行该软件的处理器106、206、306、406。在软件内存中的软件可以包括实现逻辑功能的可执行指令的有序列表，并且可以包括在任何数字的机器可读和/或计算机可读的介质中，以供如包括处理器的系统的指令执行系统使用，或与指令执行系统相连接。系统100、200、300、400可以包括一个或多个处理器106、206、306、406。
在本发明的再一个实施例中，提供一种计算机可读介质(未示出)。该计算机可读介质包括用于系统100、200、300、400执行的计算机代码，系统100、200、300、400包括可视化显示装置102、202、302、402，眼动追踪装置104、204、304、404和与可视化显示装置102、202、302、402及眼动追踪装置104、204、304、404进行通信的处理器106、206、306、406。该计算机代码是可执行的，使得系统100、200、300、400执行方法500的步骤，包括：使得光标112、212、312、412显示于可视化显示装置102、202、302、402；使得眼球朝向所显示光标112、212、312、412的部分的方向被检测；从多个光标指令中执行一个光标指令，以响应所被检测到的眼球的方向。进一步地，该计算机可读介质还包括计算机代码，当由系统100、200、300、400执行时，可以实现前述方法500的其他变形方法。计算机可读介质的示例包括如下：有一个或多个电线的电气连接(电子介质)、便携式计算机软盘(磁性介质)、随机存取存储器(RAM，电子介质)、只读存储器“ROM”(电子介质)、可擦除可编程只读存储器(EPROM或闪存)(电子介质)、光纤(光介质)和便携式光盘只读存储器“CDROM”“DVD”(光介质)。进一步地，该计算机可读介质还可以是其上打印有计算机程序的纸或其他合适介质，该计算机程序可通过电子捕获，如通过光学扫描该纸或其他合适介质，并在必要的情况下以合适的方式对该计算机程序进行编译、解释或其他处理，然后存储于计算机存储设备。
在一个实施例中，系统100、200、300、400可以用于代替传统的计算机鼠标硬件设备。例如，系统100、200、300、400在可视化显示装置102、202、302、402上产生一个屏幕计算机鼠标光标112、212、312、412。例如，系统100、200、300、400还可以采用与传统的计算机鼠标硬件设备相同的硬件接口和软件接口。例如，系统100、200、300、400还使得在可视化显示装置102、202、302、402上对屏幕计算机鼠标光标112、212、312、412的免手持控制更为方便。屏幕计算机鼠标光标112、212、312、412的该等免手持控制对于有些人是很有用的，例如，残疾人士、希望避免其手和胳膊因重复动作造成劳损的人，或者进行某项活动且对屏幕计算机鼠标光标112、212、312、412的免手持控制有利于该活动。进一步地，例如，屏幕计算机鼠标光标112、212、312、412的该等免手持控制，与传统的计算机鼠标硬件设备相比，更快或更有效率。例如，系统100、200、300、400还可以和免手持键盘或传统的计算机鼠标硬件设备一起使用。进一步地，系统100、200、300、400可以部分或选择性的代替传统的计算机鼠标硬件设备的功能。例如，系统100、200、300、400能够执行传统的计算机鼠标硬件设备或键盘执行的部分操作，而其他操作仍由传统的计算机鼠标硬件设备或键盘执行。例如，方法500和计算机可读介质的实现方式，可与系统100、200、300、400中所讨论的相关部分相似。应能理解，系统100、200、300、400的各种示例中的每一个特征，均可以被选择用于既定最终应用的特定系统100、200、300、400所包括或排除，其与本文中关于每一个和所有系统100、200、300、400的教导是一致的。还应能理解，系统100、200、300、400的各种示例说明了方法500的类似变形示例，因此，系统100、200、300、400的全部内容应认为被方法500和前述计算机可读介质所包括。同样地，还应能理解，方法500的各种示例说明了系统100、200、300、400的类似变形示例，因此，方法500的全部内容应认为被系统100、200、300、400和前述计算机可读介质所包括。
进一步地，应能理解，前述数量示例的描述仅用于阐述和说明本发明的目的。该等描述不是穷尽的，也不能构成对要求保护的发明内容的精确公开形式的限制。根据上述描述或使用该发明的实践，其他修改和变化都是可能的。本发明的范围由权利要求和他们的等同方式确定。

Claims (10)

1.一种系统，包括：
可视化显示装置；
眼动追踪装置，能够检测眼球朝向所述可视化显示装置的方向；
处理器，与所述可视化显示装置及所述眼动追踪装置进行通信；
其中，所述处理器能够使得光标显示于所述可视化显示装置；以及
其中，所述处理器能够从多个光标指令中执行一个光标指令，以响应所检测到的眼球朝向所显示光标的部分的方向。
2.根据权利要求1所述的系统，其中，所述处理器被配置为使得所述光标包括与一光标指令相对应的被显示的光标指令执行单元，该光标指令为一光标指令集合中元素之一，该光标指令集合包括鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令、巡航控制关闭指令、以及两项或两项以上前述光标指令的组合。
3.根据权利要求1所述的系统，其中，所述处理器被配置为使得所述光标包括多个光标指令执行单元，每个光标指令执行单元显示于所述可视化显示装置的不同部分，其中，每个光标指令执行单元对应于所述多个光标指令之一。
4.根据权利要求1所述的系统，其中，所述处理器被配置为使得一扩展光标被显示，以响应所检测到的眼球朝向所述光标的部分的方向，所述扩展光标包括所述光标并显示鼠标光标菜单，所述鼠标光标菜单包括多个光标指令执行单元，每个光标指令执行单元与所述多个光标指令之一相对应。
5.根据权利要求1所述的系统，其中，所述处理器能够使得所述光标在所述可视化显示装置上被移动，以响应对眼球从朝向所述可视化显示装置的第一部分的一方向到该眼球朝向所述可视化显示装置的第二部分的另一方向的运动的检测。
6.根据权利要求1所述的系统，其中，所述处理器能够对预设时间区间值与所检测到的眼球朝向所述可视化显示装置的部分的方向的持续时间进行比较，其中，所述处理器能够在所检测到的持续时间达到所述预设时间区间值时，执行所述光标指令。
7.一种方法，包括：
提供可视化显示装置、眼动追踪装置，和与所述可视化显示装置及所述眼动追踪装置进行通信的处理器；
使得光标显示于所述可视化显示装置；
使得眼球朝向所显示光标的部分的方向被检测；以及
使得多个光标指令中的一个光标指令被执行，以响应所检测到的眼球的方向。
8.根据权利要求7所述的方法，其中，使得所述光标显示的步骤包括在所述可视化显示装置上显示与一光标指令相对应的光标指令执行单元，该光标指令为一光标指令集合中元素之一，该光标指令集合包括包括鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令、巡航控制关闭指令、以及两项或两项以上前述光标指令的组合。
9.一种计算机可读介质，所述计算机可读介质包括计算机代码，当所述计算机代码由系统执行时，所述系统包括可视化显示装置、眼动追踪装置和与所述可视化显示装置及所述眼动追踪装置进行通信的处理器，所述计算机代码是可执行的，使得所述系统执行步骤，包括：
使得光标显示于所述可视化显示装置；
使得眼球朝向所显示光标的部分的方向被检测；以及
使得多个光标指令中的一个光标指令被执行，以响应所检测到的眼球的方向。
10.根据权利要求9所述的计算机可读介质，还包括可执行计算机代码，使得所述系统执行步骤，包括：
在所述可视化显示装置上显示与一光标指令相对应的光标指令执行单元，该光标指令为一光标指令集合中元素之一，该光标指令集合包括包括鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令、巡航控制关闭指令、以及两项或两项以上前述光标指令的组合。
CN201080005298.5A 2009-01-22 2010-01-21 电子数据输入系统 Expired - Fee Related CN102292690B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/321,545 US20100182232A1 (en) 2009-01-22 2009-01-22 Electronic Data Input System
US12/321,545 2009-01-22
PCT/US2010/021585 WO2010085527A2 (en) 2009-01-22 2010-01-21 Electronic data input system

Publications (2)

Publication Number Publication Date
CN102292690A true CN102292690A (zh) 2011-12-21
CN102292690B CN102292690B (zh) 2017-07-14

Family

ID=42336540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080005298.5A Expired - Fee Related CN102292690B (zh) 2009-01-22 2010-01-21 电子数据输入系统

Country Status (6)

Country Link
US (1) US20100182232A1 (zh)
EP (1) EP2389619A4 (zh)
JP (1) JP5528476B2 (zh)
KR (1) KR101331655B1 (zh)
CN (1) CN102292690B (zh)
WO (1) WO2010085527A2 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103257707A (zh) * 2013-04-12 2013-08-21 中国科学院电子学研究所 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法
CN103376896A (zh) * 2012-04-13 2013-10-30 邝景熙 一种利用眼睛进行电子画码的方法和电子付款验证方法
CN103383596A (zh) * 2012-05-02 2013-11-06 Lg电子株式会社 移动终端及其控制方法
CN103529933A (zh) * 2012-07-05 2014-01-22 华硕电脑股份有限公司 眼动操控方法及系统
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法
CN104391572A (zh) * 2014-11-10 2015-03-04 苏州佳世达电通有限公司 具有眼球追踪功能的电子装置及其控制方法
CN104571488A (zh) * 2013-10-25 2015-04-29 由田新技股份有限公司 电子文件标记方法及装置
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
CN105630148A (zh) * 2015-08-07 2016-06-01 宇龙计算机通信科技(深圳)有限公司 终端的显示方法、终端的显示装置和终端
CN105899996A (zh) * 2013-12-06 2016-08-24 瑞典爱立信有限公司 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
CN106095111A (zh) * 2016-06-24 2016-11-09 北京奇思信息技术有限公司 根据用户眼部动作控制虚拟现实交互的方法
CN107066085A (zh) * 2017-01-12 2017-08-18 惠州Tcl移动通信有限公司 一种基于眼球追踪控制终端的方法及装置
TWI644260B (zh) * 2017-11-07 2018-12-11 佳世達科技股份有限公司 顯示裝置
CN109646784A (zh) * 2018-12-21 2019-04-19 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于沉浸式vr的失眠障碍心理治疗系统和方法
WO2021004413A1 (zh) * 2019-07-05 2021-01-14 深圳市格上格创新科技有限公司 一种手持输入设备及其指示图标的消隐控制方法和装置
CN113326849A (zh) * 2021-07-20 2021-08-31 广东魅视科技股份有限公司 一种可视化数据采集方法及系统

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1399456B1 (it) * 2009-09-11 2013-04-19 Sr Labs S R L Metodo e apparato per l'utilizzo di generiche applicazioni software attraverso controllo oculare e opportune metodologie di interazione.
US8922493B2 (en) * 2010-09-19 2014-12-30 Christine Hana Kim Apparatus and method for automatic enablement of a rear-face entry in a mobile device
JP5278461B2 (ja) * 2011-02-03 2013-09-04 株式会社デンソー 視線検出装置および視線検出方法
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
KR101773845B1 (ko) * 2011-05-16 2017-09-01 삼성전자주식회사 휴대용 단말기에서 입력 처리 방법 및 장치
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
KR20140041570A (ko) * 2011-06-24 2014-04-04 톰슨 라이센싱 사용자의 눈 이동으로 동작가능한 컴퓨터 장치 및 컴퓨터 장치를 동작하는 방법
JP2013069211A (ja) * 2011-09-26 2013-04-18 Nec Casio Mobile Communications Ltd 表示装置、表示方法およびプログラム
US9766700B2 (en) * 2011-12-14 2017-09-19 Intel Corporation Gaze activated content transfer system
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
JP2013225226A (ja) * 2012-04-23 2013-10-31 Kyocera Corp 情報端末、表示制御プログラムおよび表示制御方法
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
US20140009395A1 (en) * 2012-07-05 2014-01-09 Asustek Computer Inc. Method and system for controlling eye tracking
CN102842301B (zh) * 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
FR2995120B1 (fr) * 2012-09-05 2015-09-18 Dassault Aviat Systeme et procede de commande de la position d'un objet deplacable sur un dispositif de visualisation
US9746915B1 (en) * 2012-10-22 2017-08-29 Google Inc. Methods and systems for calibrating a device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
DE102013003047A1 (de) 2013-02-22 2014-08-28 Audi Ag Verfahren und System zum blickrichtungsabhängigen Steuern einer Funktionseinheit
CN105339866B (zh) 2013-03-01 2018-09-07 托比股份公司 延迟扭曲凝视交互
US20140247208A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
KR101540358B1 (ko) * 2013-06-27 2015-07-29 정인애 안구마우스 구현을 위한 키보드 유저 인터페이스 화면 제공 방법 및 제공 시스템
US9251333B2 (en) * 2013-08-29 2016-02-02 Paypal, Inc. Wearable user device authentication system
US10055016B2 (en) 2013-09-16 2018-08-21 Lg Electronics Inc. Image display apparatus and method for operating the same
US20150127505A1 (en) * 2013-10-11 2015-05-07 Capital One Financial Corporation System and method for generating and transforming data presentation
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
CN103885592B (zh) * 2014-03-13 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
WO2016003100A1 (en) * 2014-06-30 2016-01-07 Alticast Corporation Method for displaying information and displaying device thereof
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
JP6367673B2 (ja) * 2014-09-29 2018-08-01 京セラ株式会社 電子機器
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
US20180239442A1 (en) * 2015-03-17 2018-08-23 Sony Corporation Information processing apparatus, information processing method, and program
US20160331592A1 (en) * 2015-05-11 2016-11-17 Lincoln Global, Inc. Interactive helmet with display of welding parameters
CN105078404B (zh) * 2015-09-02 2017-05-10 北京津发科技股份有限公司 基于激光算法的全自动眼动追踪测距定标仪及其使用方法
SK289010B6 (sk) 2016-10-17 2022-11-24 Ústav experimentálnej fyziky SAV, v. v. i. Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov pomocou kamery snímajúcej pohľad
KR102518404B1 (ko) 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
US20210132689A1 (en) * 2019-11-05 2021-05-06 Micron Technology, Inc. User interface based in part on eye movement
US20230015224A1 (en) * 2020-01-14 2023-01-19 Hewlett-Packard Development Company, L.P. Face orientation-based cursor positioning on display screens

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993020499A1 (en) * 1992-03-31 1993-10-14 The Research Foundation Of State University Of New York Apparatus and method for eye tracking interface
EP0816982A2 (en) * 1996-06-25 1998-01-07 Sun Microsystems, Inc. Method and apparatus for eyetrack-mediated downloading
US5844544A (en) * 1994-06-17 1998-12-01 H. K. Eyecan Ltd. Visual communications apparatus employing eye-position monitoring
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999018842A1 (en) * 1997-10-16 1999-04-22 The Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
US6090051A (en) * 1999-03-03 2000-07-18 Marshall; Sandra P. Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
JP3810012B2 (ja) * 2003-08-11 2006-08-16 株式会社日立ケーイーシステムズ 障害者用パソコン入力装置
JP3673834B2 (ja) * 2003-08-18 2005-07-20 国立大学法人山口大学 眼球運動を用いた視線入力コミュニケーション方法
US7438418B2 (en) * 2005-02-23 2008-10-21 Eyetracking, Inc. Mental alertness and mental proficiency level determination
US8120577B2 (en) * 2005-10-28 2012-02-21 Tobii Technology Ab Eye tracker with visual feedback
GB0618979D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Cursor control method
US8245156B2 (en) * 2008-06-28 2012-08-14 Apple Inc. Radial menu selection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993020499A1 (en) * 1992-03-31 1993-10-14 The Research Foundation Of State University Of New York Apparatus and method for eye tracking interface
US5844544A (en) * 1994-06-17 1998-12-01 H. K. Eyecan Ltd. Visual communications apparatus employing eye-position monitoring
EP0816982A2 (en) * 1996-06-25 1998-01-07 Sun Microsystems, Inc. Method and apparatus for eyetrack-mediated downloading
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103376896A (zh) * 2012-04-13 2013-10-30 邝景熙 一种利用眼睛进行电子画码的方法和电子付款验证方法
CN103383596A (zh) * 2012-05-02 2013-11-06 Lg电子株式会社 移动终端及其控制方法
CN103529933A (zh) * 2012-07-05 2014-01-22 华硕电脑股份有限公司 眼动操控方法及系统
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
US9582074B2 (en) 2012-12-07 2017-02-28 Pixart Imaging Inc. Controlling method and electronic apparatus utilizing the controlling method
CN103257707A (zh) * 2013-04-12 2013-08-21 中国科学院电子学研究所 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法
CN103257707B (zh) * 2013-04-12 2016-01-20 中国科学院电子学研究所 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法
CN104571488B (zh) * 2013-10-25 2018-03-23 由田新技股份有限公司 电子文件标记方法及装置
CN104571488A (zh) * 2013-10-25 2015-04-29 由田新技股份有限公司 电子文件标记方法及装置
CN105899996A (zh) * 2013-12-06 2016-08-24 瑞典爱立信有限公司 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
CN105899996B (zh) * 2013-12-06 2019-04-23 瑞典爱立信有限公司 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
CN104391572B (zh) * 2014-11-10 2017-08-22 苏州佳世达电通有限公司 具有眼球追踪功能的电子装置及其控制方法
CN104391572A (zh) * 2014-11-10 2015-03-04 苏州佳世达电通有限公司 具有眼球追踪功能的电子装置及其控制方法
CN105630148A (zh) * 2015-08-07 2016-06-01 宇龙计算机通信科技(深圳)有限公司 终端的显示方法、终端的显示装置和终端
CN106095111A (zh) * 2016-06-24 2016-11-09 北京奇思信息技术有限公司 根据用户眼部动作控制虚拟现实交互的方法
CN107066085A (zh) * 2017-01-12 2017-08-18 惠州Tcl移动通信有限公司 一种基于眼球追踪控制终端的方法及装置
CN107066085B (zh) * 2017-01-12 2020-07-10 惠州Tcl移动通信有限公司 一种基于眼球追踪控制终端的方法及装置
TWI644260B (zh) * 2017-11-07 2018-12-11 佳世達科技股份有限公司 顯示裝置
CN109646784A (zh) * 2018-12-21 2019-04-19 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于沉浸式vr的失眠障碍心理治疗系统和方法
WO2021004413A1 (zh) * 2019-07-05 2021-01-14 深圳市格上格创新科技有限公司 一种手持输入设备及其指示图标的消隐控制方法和装置
CN113326849A (zh) * 2021-07-20 2021-08-31 广东魅视科技股份有限公司 一种可视化数据采集方法及系统
CN113326849B (zh) * 2021-07-20 2022-01-11 广东魅视科技股份有限公司 一种可视化数据采集方法及系统

Also Published As

Publication number Publication date
US20100182232A1 (en) 2010-07-22
WO2010085527A2 (en) 2010-07-29
KR101331655B1 (ko) 2013-11-20
EP2389619A4 (en) 2014-07-16
JP2012515986A (ja) 2012-07-12
WO2010085527A3 (en) 2010-11-04
CN102292690B (zh) 2017-07-14
EP2389619A2 (en) 2011-11-30
KR20110098966A (ko) 2011-09-02
JP5528476B2 (ja) 2014-06-25

Similar Documents

Publication Publication Date Title
CN102292690A (zh) 电子数据输入系统
JP7465952B2 (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US20220091722A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US10121063B2 (en) Wink gesture based control system
CN105706028B (zh) 投影型影像显示装置
JP5900393B2 (ja) 情報処理装置、操作制御方法及びプログラム
CN108399010B (zh) 增强的基于相机的输入
RU2439653C2 (ru) Виртуальный контроллер для визуальных отображений
CN106843498B (zh) 基于虚拟现实的动态界面交互方法及装置
US20090153468A1 (en) Virtual Interface System
US20120192121A1 (en) Breath-sensitive digital interface
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
JP2003280805A (ja) データ入力装置
CN115657848A (zh) 用于基于注视的导航的设备、方法和图形用户界面
CN115598842A (zh) 提升用户体验和注视互动准确度的光学系统和相关方法
Taaban et al. Eye tracking based mobile application
US20200341607A1 (en) Scrolling interface control for computer display
JP2005352580A (ja) ポインタ制御信号発生方法及び装置
TW201925989A (zh) 互動系統
Montanini et al. Real time message composition through head movements on portable Android devices
US20240104873A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240152245A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
CN109144235B (zh) 基于头手协同动作的人机交互方法与系统
CA3212746A1 (en) A method for integrated gaze interaction with a virtual environment, a data processing system, and computer program
JP6723086B2 (ja) タッチパネル付き表示装置、描画方法及びタッチパネル付き表示装置用プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170714

Termination date: 20200121