CN114461071B - 通过眼球追踪改进的计算设备可访问性 - Google Patents

通过眼球追踪改进的计算设备可访问性 Download PDF

Info

Publication number
CN114461071B
CN114461071B CN202210122869.8A CN202210122869A CN114461071B CN 114461071 B CN114461071 B CN 114461071B CN 202210122869 A CN202210122869 A CN 202210122869A CN 114461071 B CN114461071 B CN 114461071B
Authority
CN
China
Prior art keywords
interactable
computing device
user
display
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210122869.8A
Other languages
English (en)
Other versions
CN114461071A (zh
Inventor
安德斯·博奇
安娜·贝拉诺瓦
奇艾尔·万·德·鲁伊特
克里斯·埃德森
克里斯托弗·巴德曼
德米特里·苏霍鲁科夫
乔尔·阿尔格伦
奥尔·亚历山大·姆勒
拉格纳·麦杰尔德
斯文农·图恩斯
陈小虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toby Danawos
Original Assignee
Toby Danawos
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toby Danawos filed Critical Toby Danawos
Priority to CN202210122869.8A priority Critical patent/CN114461071B/zh
Publication of CN114461071A publication Critical patent/CN114461071A/zh
Application granted granted Critical
Publication of CN114461071B publication Critical patent/CN114461071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

公开了一种给用户提供提升了的计算设备的可访问性的方法。该方法可以包括分析在显示设备上的内容，以识别最有可能进行交互的多个交互元素。该方法还可以包括使得多个交互元素中的每一个以不同的方式进行突出显示。该方法可以额外地包括使得多个图形元素被显示，其中多个图形元素中的每一个可以与不同的交互元素相关联并且可以在视觉上与其相关联的交互元素的突出显示相对应。此外，该方法还可以包括确定用户视线在显示设备上的位置，并且至少部分地基于用户注视着与特定交互元素相关联的图形元素来使得特定交互元素被激活，其中特定交互元素的激活使得显示新内容。

Description

通过眼球追踪改进的计算设备可访问性
分案申请声明
本申请是2018年10月16日提交的、申请号为201811204987.3、发明名称为“通过眼球追踪改进的计算设备可访问性”的中国发明专利申请的分案申请。
相关申请的交叉引用
本申请请求于2017年10月16日提交的、第62/572905号美国临时专利申请的优先权及其权益。
发明内容
在一个实施例中，公开了一种方法，其用于给用户提供在计算设备上的交互显示内容增加的提升了的可访问性，并且用于在所述计算设备上执行来自该用户的指令。该方法可以包括利用一个或多个处理器分析显示在显示设备上的内容，以识别与用户最有可能进行交互的多个交互元素。该方法还可以包括利用一个或多个处理器使得多个交互元素中的每一个以不同的方式进行突出显示。该方法可以额外地包括利用一个或多个处理器使得多个图形元素显示在显示设备上。多个图形元素中的每一个可以与不同的交互元素相关联。多个图形元素中的每一个可以在视觉上与其相关联的交互元素的突出显示相对应。此外，该方法可以包括利用至少一个眼球追踪设备，确定用户视线在显示设备上的位置。另外，该方法可以包括利用一个或多个处理器，至少部分地基于用户注视着与特定交互元素相关联的图形元素来使得该特定交互元素被激活，其中，该特定交互元素的激活使得显示设备显示新内容。
在另一个实施例中，公开了一种系统，其用于给用户提供在计算设备上的交互显示内容的提升了的可访问性，并且用于在所述计算设备上执行来自该用户的指令。该系统可以包括显示设备、眼球追踪设备以及一个或多个处理器。该显示设备可以被配置为向用户显示内容。眼球追踪设备可以被配置为确定用户视线在显示设备上的位置。一个或多个处理器可以被配置为实施方法。该方法可以包括分析显示在显示设备上的内容，以识别与用户最有可能进行交互的多个交互元素。该方法还可以包括使得多个交互元素中的每一个以不同的方式进行突出显示。该方法进一步可以包括使得多个图形元素被显示在显示设备上。多个图形元素中的每一个可以与不同的交互元素相关联。多个图形元素中的每一个可以在视觉上与其相关联的交互元素的突出显示相对应。该方法可以额外地包括至少部分地基于注视着与特定交互元素相关联的图形元素的用户来使得该特定交互元素被激活，其中，该特定交互元素的激活使得显示设备显示新内容。
在另一个实施例中，提供了一种非暂时性机器可读介质，其存储有指令，用于给用户提供在计算设备上的交互显示内容的提升了的可访问性，并且用于在所述计算设备上执行来自该用户的指令。该指令可以由一个或多个处理器执行以实施方法。该方法可以包括分析显示在显示设备上的内容，以识别与用户最有可能进行交互的多个交互元素。该方法还可以包括使得多个交互元素中的每一个以不同的方式进行突出显示。该方法进一步可以包括使得多个图形元素被显示在显示设备上。多个图形元素中的每一个可以与不同的交互元素相关联。多个图形元素中的每一个可以在视觉上与其相关联的交互元素的突出显示相对应。该方法额外地可以包括利用眼球追踪设备，确定用户的视线在显示设备上的位置。此外，该方法可以包括至少部分地基于用户注视着与特定交互元素相关联的图形元素来使得该特定交互元素被激活，其中，该特定交互元素的激活使得显示设备显示新内容。
附图说明
结合附图对本发明的实施例进行说明：
图1示出了实施本发明的一个实施例的浏览器；
图2示出了实施本发明的另一个实施例的网站内容的页面；
图3示出了实施本发明的另一个实施例的网站内容的另一个页面；
图4示出了实施本发明的实施例的FacebookTM页面；
图5示出了实施本发明的实施例的文本信息显示；以及
图6为专用计算机系统的方框图，该计算机系统能够被使用在本发明的装置或系统中的至少某个部分，或者能够实施本发明的方法的至少某个部分。
在附图中，相似部件和/或特征可以具有相同的附图标记。另外，相同类型的多种部件可以通过在附图标记后接字母来进行区分，从而区分相似部件和/或特征。如果在说明书中仅仅使用了前面的附图标记，则该描述适用于具有相同前面的附图标记的任何一个相似部件和/或特征，而不用考虑字母后缀。
具体实施方式
随后的描述仅仅为提供示例性的实施例，并且并不旨在限制本公开的范围、适用性或者配置。而是说，下述的这些示例性实施例的描述给本领域的普通技术人员提供用于实施一个或多个示例性实施例的可行的描述。需要理解的是，在不偏离本文中所阐述的本发明的构思和范围的情况下，可以对元件的功能和布局进行各种改变。
例如，对于一个实施例而言所讨论的任何细节可以存在或可以不存在于该实施例的所有可想到的方案中。类似地，对于一个实施例而言所讨论的任何细节可以存在或可以不存在于本文所讨论的其他实施例所有可想到的方案中。最后，本文没有讨论的实施例的细节，应当默认理解为，这些细节可以存在或可以不存在于本文所讨论的任何实施例任何方案中。
在下面的描述中给出了具体细节，以提供对实施例的全面理解。然而，本领域的普通技术人员应当理解得是，即使没有这些具体细节这些实施例也是可以实施的。例如，在本发明中，常用或公知的电路、系统、设备、网络、技术、工艺以及其他元件可以省去不需要的细节或者以方框图形式作为部件来被示出，从而不在不必要的细节上混淆实施例。
还需要指出得是，单个实施例可以被描述为以流程框图、流程图、数据流程图、结构图或方框图来描绘的过程。虽然流程框图可以将操作描述为顺序过程，但是多个操作可以是并列或同时地被实施的。此外，操作的顺序是可以重新被排列的。当过程的操作完成时，过程可以被终止，但也可以具有未讨论或未包含在附图中的额外步骤。另外，不是在任何具体描述的过程中的所有步骤都会出现在所有的实施例中。过程可以对应于方法、函数、进程、子例程、子程序等。当过程对应于函数时，它的终止对应于返回到调用函数或主函数的函数返回。
术语“机器可读介质”包括但不限于暂时性与非暂时性的存储装置、便携或固定的存储装置、光学存储装置、无线通道以及能够存储、包含或执行(一个或多个)指令和/或数据的各种其他介质。代码段或机器可执行指令可以表示为进程、函数、子程序、程序、例程、子例程、模块、软件包、类或指令、数据结构或程序语句的任意组合。通过对信息、数据、变量、参数或存储内容的传递和/或接收，可以将一个代码段连接到另一个代码段或者硬件电路。可以通过包括内存共享、消息传递、令牌传递、网络传输等的合适方法来传递、转发或传送信息、变量、参数、数据等。
另外，可以至少部分地、或手动或自动地来实施本发明的实施例。可以通过使用机器、硬件、软件、固件、中间件、微码、硬件描述语言或其任意的组合来执行(或至少协助)手动或自动的实施。当在软件、固件、中间件或微码中实施时，用于执行需要任务的该程序代码或代码段可以存储在机器可读介质中。(一个或多个)处理器可以实施必要的任务。
本发明的实施例涉及用于向用户提供在计算设备上的浏览器或其他软件的提高了的和/或增强了的易可访问性的系统、方法以及在其上具有指令的计算机可读介质。用于向用户提供浏览器的可访问性的特定系统和方法在由彭卡尔·阿卜杜勒·莫兹(Penkar,Abdul Moiz)著的“Eyes Only:Navigating Hypertext with Gaze”中(计算机科学系，奥克兰大学，INTERACT，2-6 9月2013首次发表)已经公开(在www.interact2013.org/programme/pre-publication-versions-of-all-contributions as of at leastDecember 26,2013可获取)。
本文所公开的改进的系统、方法和计算机可读介质应当被理解为，包括与浏览器相似以及不相似的软件，其在显示设备上向用户显示交互内容，并且允许用于与该内容进行交互。该内容包括交互超链接以及与该内容相关联、并且位于该内容中的其他交互元素。例如，由浏览器或其他软件所呈现的特定内容可以提供可调用及可释放的弹出窗口，该弹出窗口可以在由浏览器所显示的内容内显示关于特定具体内容的额外信息。尽管本文所讨论的方法和系统可以与任何显示交互内容的软件一起工作，但是本文将以示例性的方式引用浏览器来讨论各种实施例。
虽然一般或者通常用户可以使用传统的非视线导向输入设备(例如，键盘、鼠标、麦克风或者触摸板/触摸屏)来与浏览器进行交互，但是在本发明的实施例中，用户可以单独地或者由非视线输入补充地来利用他们的视线，以操控他们对浏览器内的内容的查看以及与其进行交互。这可以允许具有生理和/或精神缺陷和/或残疾的个人更加容易地控制他们与由浏览器提供的内容的交互等，否则通过传统的非视线导向的输入设备的控制对于用户来说可能是更加低效的、尤其是对于用户来说是有挑战的，或者对于用户来说根本不可能使用，无论用户是什么原因或者什么样的具体的偏好。
在一个实施例中，设置有显示器，其与处理器(例如，个人电脑、膝上电脑、笔记本电脑、平板电脑、移动设备或其他计算设备)进行通信。计算设备可以基于用户与计算设备的交互来指示显示器向用户显示内容，和/或计算设备要么已经被配置为显示内容。
还设置有眼球追踪设备。这可以包括能够至少辅助计算设备确定用户相对于显示器的视线方向的任何设备。在一些实施例中，眼球追踪设备可以能够独立地确定用户的视线方向，并且可以在当时或者在之后向计算设备简单地通知视线方向。
在一些实施例中，网页可以通过计算设备呈现在显示器上的浏览器中。例如，如图1中所示的本发明的一个浏览器界面中的示例网页(即，WikipediaTM)。由浏览器调用的内容可以向设备进行呈现，并且该内容可以包括可交互元素110(即，在该情况中为超链接可交互元素)。在一些实施例中，计算设备(和/或本文具体描述或未具体描述的系统的其他部件)可以识别在显示内容内的若干交互元素，并可以修改这些元素的显示/呈现以从所显示的内容中突出出来。将这些交互元素识别/选择出来以用于修改的显示将在下面进行讨论。图2示出了另一个示例，其中可交互元素210(在该情况下为文本超链接)位于文本内的多行中。
仅作举例来说，取决于实施例，一个、两个、三个、四个或者更多的特定数量的交互元素可以如所述地不同地进行显示(也被称为“突出显示”)。参见图1的突出显示的可交互元素110。进一步举例来说，特定数量的交互元素(即，四个)可以加有(默认颜色或其他颜色的)下划线和/或显示为与内容的其他部分的正常颜色或者默认颜色所不同的其他颜色(例如，文本颜色或者背景填充色)。四个交互元素可以被选择作为上述若干元素以调整或突出显示其显示，因为其平衡了由于增加的视觉扰乱所增加的效率降低的机会，而依然提供有效增加的易可访问性。突出显示的元素的数量可以根据实施例而变化，并且取决于具体的实施例，所选择的元素的数量可以是静态的或者是动态的。当具体信息显示为具有更疏或更密的交互元素时，突出显示的元素的数量可以更少。当具体信息显示为具有更疏或更密的交互元素时，突出显示的元素的数量可以更多。
下划线、颜色和/或其他视觉改变/突出显示可以取决于具体的实施例，并且在一些实施例中，所采用的具体视觉改变/突出显示可以基于交互元素正显示的内容，或者将在其激活后将显示的内容而确定。虽然在一些实施例中，在具体的单个文件/源中的所有带有视觉改变地显示的交互元素是相似地被改变的，但是在其他的实施例中是在相同的文件/源中的不同的交互元素。
被选择用于特定突出显示的颜色可以取决于可交互元素在突出显示前的默认或者正常颜色。例如，如果背景突出显示被用于文本或图形可交互元素，则该元素的主颜色可以由系统/方法来确定，并且随后可以基于此来选择适合的对比颜色。仅仅举例而言，在图1中，已经被突出显示的可交互元素将其文本颜色从蓝色转化为白色，并且具有应用在该元素上的背景色方框。
除了已经描述的突出显示方法之外，在一些实施例中，圆圈、方框、其他几何形状或者其他非几何形状也可以被显示在如此突出显示的元素周围或者在如此突出显示的元素的附近，其中每个被突出显示的元素对应于或者关联于几何/非几何形状中的一种。在一些实施例中，这些形状还可以或者可替换地出现在网页的顶部或侧方(由此较少地干扰原始内容照原来的样子的呈现)或者被显示在可交互元素的附近，并且可以关联于浏览器的内容主体中的不同的颜色/下划线突出显示(通过显示相同形状或颜色的形状(即，图形元素)作为与其配合的交互元素)。如图1中所示，与可交互元素110相关联的圆圈120(即，图形元素)位于屏幕的顶部。应当注意的是，可交互元素110的突出显示颜色以及其垂直顺序，与形状120(即，图形元素)的颜色以及其水平顺序相匹配。因此，在许多实施例中，图形元素可以在视觉上以多个方式对应于与其关联的交互元素。
在显示器或者浏览器的顶部或者底部显示形状可以是优选于在显示器或者浏览器的侧边显示形状的，因为在屏幕的顶部和底部的视线交互比在显示器的左侧和右侧的视线交互更加明显。因此，如果从左到右以及从上到下突出显示的元素出现具有红、绿、蓝和橙的突出显示，则显示在内容的顶部、底部或者侧边的形状将会呈现为红、绿、蓝和橙的顺序。在其他实施例中，形状可以看起来更靠近突出显示内容，并且通过虚线、实线或某些其他视觉元素可以或者可以不在视觉上连接至突出显示内容。参见用于展示该构思的图3，其中可交互元素310加有下划线，并且对于每个可交互元素显示有圆圈形状320(即，图形元素)，该可交互元素通过引向可交互元素的线被连接。
指示器330可以表明用户何时注视圆圈形状320，并且还可以是动态地，并且可以从大变小、从小变大或者某些其他的动画，由此向用户发出信号：在相关联的突出显示的可交互元素310被激活前他们的视线必须在形状320上停留多久(即，当指示器330消失时，当它变得和形状320同样尺寸时或者某些其他事件发生时，可以发生激活)。例如，在圆圈形状320中的指示器330可以原本是与它所在的圆圈形状320相同或者几乎相同尺寸大小，并且连续地或者分步骤地变小直到其消失并且关联的交互元素被激活。
可替换地，圆圈形状320本身可以是动态的，并且在持续被注视时，以上述相同的方式变得越来越小，直到当圆圈形状320消失时发生交互元素的激活。如果用户在圆圈形状320变化的动态期间从圆圈形状320上移开他们的视线，则圆圈形状320可以恢复到其原本的尺寸大小/形状，以向用户发出信号：除非用户重新注视一段必要的预定时间，否则相关联的交互元素不会被激活。在一些实施例中，圆圈形状320返回到其原本大小的恢复会以特定速率进行，其表示如果用户在圆圈形状320返回到其原本尺寸大小之前将其视线返回到圆圈形状320上，则视线只需要在圆圈形状320上停留预定时间长度的剩余部分时间长度，该剩余部分时间长度与圆圈形状320当前的尺寸大小相对于圆圈形状320的原本尺寸大小的比率成比例。
图形元素在显示器或浏览器的侧边或顶部上的位置可以是以可交互元素在内容中的自然呈现顺序，或者是以与交互元素被呈现的位置方式相对应的任何其他相对位置方式来被呈现的。例如，在所显示的内容的最左上的突出显示的可交互元素将以这种方式来被突出显示：其相关联于定位匹配的相关形状的序列/列表的最左侧和最上侧的形状，该定位匹配的相关形状位于相对于内容的显示的顶部、底部、左侧和右侧。对于该示例，进一步地，在所显示的内容的最右下的突出显示的可交互元素可以以这种方式来被突出显示：其相关联于定位匹配的相关形状的序列/列表的最右侧和最下侧的形状。相关联的/对应的图形元素/交互元素对的呈现的其他对应位置方式也是可以的。
取决于实施例，无论有或者没有额外的视线或非视线输入，用户可以利用其视线的停留(发生至少一段预设定/预定义时间)，以激活突出显示的交互元素。视线在显示设备上的位置可以通过采用本领域已知的眼球追踪设备来确定。视线交互可以在与突出显示的内容(即，交互元素)、与突出显示的内容相关联的形状(即，图形元素)、和/或将突出显示的内容和形状相联系的任何视觉元素之间发生。与突出显示的内容相关联的形状对于用户来说可以是特别容易激活的，因为相关联的形状的尺寸大小和形状可以是被设计为加强了用户选择它的能力，因为其要比突出显示内容本身更大并且更容易地进行视觉获取。可以采用逻辑算法，来确保将突出显示的内容与形状相联接的线条或其他视觉元素不会相互交叉和/或引起视觉扰乱或者搞错可用的、视线可交互的、可突出显示的元素。
基于本领域已知的多个可能的算法可以确定在浏览器上的内容的原本呈现处哪些元素是被突出显示了的，这些本领域已知的多个可能的算法用于确定在用户会想要进行交互的内容组中最可能的内容。仅仅举例而言，在一些实施例中，本发明的系统和方法可以基于过往的使用和/或兴趣历史来确定特定用户最有可能进行交互的四个可交互元素是什么(需要注意的是，取决于实施例，可以识别更多或更少的交互元素)。在这些或其他实施例中，本发明的系统和方法还可以考虑到更大用户群组的过往的使用或者兴趣历史，其中，不可在显示器上获取特定用户的更具体的数据。登录或注册过程可以在这里允许系统和方法来识别并追踪/确定用户的过往使用和/或兴趣历史。
在许多实施例中，被选来用于突出显示的四个(或其他数量)交互元素将仅仅或主要地取决于用户当前视线落点的接近度。换言之，与用户的视线落点最接近的四个可交互元素可以被突出显示(包括视觉联接或未联接的形状的呈现，该形状潜在地通过颜色等与内容相关联)。如上所讨论的，在这种情况下，可以从正常/默认的颜色改变突出显示的文本的背景和前景。在一些实例中，当色盲用户在使用系统时，可以使用对具有该种状况的用户可接受的特定颜色，而不是使用对没有色盲用户所采用的颜色。在这些实施例中，用户可以选择“色盲”模式。
在一些实施例中，所使用的颜色还可以取决于在显示器或者浏览器内的突出显示的内容的位置。例如，在显示器的一个象限中可以对交互内容使用第一颜色集合或者其他突出显示的模式，而在显示器的另一个象限或者部分中可以对交互内容使用第二颜色集合或其他突出显示的模式。在这些实施例中，与每个交互元素相关联的图形元素可以呈现在相对应的位置上(即，在象限/位置的给定边缘内)。在其他实施例中，限定突出显示的颜色或方式的象限或位置不会影响图形元素的呈现的位置。在这些或其他实施例中，突出显示的第一颜色集合或其他模式可以被用于被其他显示的内容密集地围绕的交互内容，而突出显示的第二颜色集合或其他模式可以被用于被其他显示的内容不太密集地围绕的交互内容。
虽然上述系统和方法可以适合于许多交互元素，尤其是文本元素，但是系统和方法还是被设置为利用其他文本/图形类型的可交互元素来突出显示并辅助用户。例如，更大的图片或图形、图形化呈现的文本(即，BMP、GIF或者JPG格式的文本)、或者具有相似尺寸属性的任何其他可交互元素可以通过显示边界围绕元素的颜色来进行突出显示。该颜色可以或可以不与着色的形状相协调，该着色形状如上所述地，也可以显示在靠近或不靠近元素处。这可以允许规则成形的可交互对象(正方形、圆形、矩形等)以及不规则成形的可交互对象(不规则形状轮廓，例如侧影轮廓等)通过本发明的实施例均变得更加可访问。
本发明的系统和方法还可以被用在通过浏览器查看的具体的或自定义的网页，和/或直接由用于在相关联的显示器上显示的计算设备来直接打开的其他应用程序，其中以相似、但与浏览器相比或多或少不寻常或不同的方式来呈现可交互元素和控件。例如，当进入FacebookTM和/或相似的网页和/或应用程序时，当用户希望选择在主显示器中的某些可互动元素时，还可以希望执行与之关联的命令并且影响这些元素。图4示出具有界面的浏览器，其中，通过视线激活的FacebookTM命令按钮420可访问一般的FacebookTM命令410。在用户停留在命令按钮420上后，命令410可以出现在靠近命令按钮420处。当浏览具体应用程序或者所涉及的页面时(这里为FacebookTM)，命令按钮420可以关联于通常所使用的命令/动作。
YouTubeTM是另一个网站，其中，该系统和方法还可以被用于选择大的或小的交互元素，例如视频播放元素，并且还提供快速访问可交互元素的能力，该可交互元素为大交互元素的控件或外设。例如，能够利用本文所述的系统和方法来访问暂停、播放、跳过、音量、显示模式以及评论控件。如本文所讨论的可以与主要内容一起显示在显示器的顶部、底部、侧边或者中心部分的形状一样，这些形状以及额外的视线停留激活按钮也可以设置在这里，该视线停留激活按钮被设置用以复制内容中可交互元素的功能，这些内容中的可交互元素对于利用视线停留来有效或方便地进行激活来说太小。例如，较小的播放或暂停按钮可以被复制为在显示器的顶部、底部或侧边的较大视线可交互“按钮”(即，图形元素)等。
虽然与这些元素相关联的命令或控件可以或可以不在内容的旁边正常的显示，但本发明的系统和方法可以提供在显示器的左侧、右侧、顶部或底部上的相匹配的视线激活控件。额外地，它们可以是以重要性或者用户可能采用的顺序来呈现，和/或以提升了的方便性的顺序来呈现，该控件/命令以该方便性辅助完成由FacebookTM或其他相似页面/应用程序所呈现的默认指令。在内容中的单个可交互元素可以也或可替换地被着色或者要么被突出显示，以与所提供的指令/控件相协调。在一些实施例中，仅提供有控件/指令，而在其他元素中，仅可以提供内容中的突出显示。在其他实施例中，提供什么是取决于用户的偏好和/或对象的内容或与对象相关联的链接的内容。
在另一个实施例中，提供了具有通过视线输入来捕捉，并且随后激活可交互元素的能力的系统和方法。在这些实施例中，显示器的用户的视线方向的所确定位置被确定，并且随后在该位置上设置指示器。因为视线确定并不总是提供视线落点在显示器上的始终较小和/或特定/一致的位置，所以指示器可以是有显著尺寸大小的，以包括所确定视线落点周围的区域。这样，指示器可以是几何或非几何的形状，例如正方形、矩形、三角形、圆形、椭圆形、多边形或具有相连接的直线或曲线的其他形状。在该形状内的区域因此包括离预计视线落点足够的误差，以考虑围绕用户在显示器上的真实视线落点周围的较大可能性地确定的视线落点。
在提供了近似于用户在显示器上的视线落点的形状后，因为用户将他们的视线围绕显示器进行移动，形状将继续跟随并且近似他们的视线位置。参见图5，图5示出了由浏览器显示的文本部分，其中，视线指示器形状510覆盖了交互元素520(即，“United States”，超链接)。当用户用视线跟随形状靠近交互元素，并且将该形状至少部分地定位在可交互元素上后，方框或其他主要指示器530可以示出系统/方法旨在激活哪个元素，以及用户应当继续停留在那个位置上。随后，可以使得次级指示器出现在可交互元素上。该次级指示器通知用户，如果他们的视线位置(即，近似于他们视线位置的形状)保持在该交互元素上，则该交互元素将被激活。次级指示器可以改变尺寸大小，例如变小直到其消失，以向用户发出信号，有多少时间可以用来决定通过将他们的视线从可交互元素上移开而不激活该可交互元素。在超过给定时间/停留期间之后，可交互元素可以被激活。例如，次级指示器可以是一个点，并开始变大，并且随后当用于激活可交互元素的停留时间到达时变小。
在一些实施例中，跟随/反映用户视线的捕捉指示器形状还可以是可缩放的，使得在捕捉指示器形状内的内容的尺寸大小对于用户来说可更加容易地查看。在该模式中，捕捉指示器形状的尺寸大小可以被放得更大，以允许被放大的内容更加完整地被显示(即，被放大的内容将要求更多的空间以显示相对于未放大内容相同量的信息)。如本文中对于其他功能所讨论的那样，用户可以通过在屏幕的顶部、底部或者侧边的视线停留激活的按钮来选择特定的缩放模式(即，放大、缩小、百分比等)，以激活、选择和/或调整缩放模式。
在一些实施例中，其他类型的次级指示器可以是动态图形条，其显示当用户的视线刚落在可交互元素上后所要求的总的停留时间(或者之后的一定时间周期)，并且随后基于对于要激活的可交互元素来说必要的剩余停留时间总量，从左到右缓慢地改变颜色。当该条从左到右地完全从一种颜色转换到下一个颜色后，可交互元素将被激活。换言之，当条在改变颜色时，用户可以从可交互元素上移开他们的视线，由此阻止可交互元素的激活。然而，一旦该条完全地改变了颜色，可交互元素可以被激活。
向用户提供的中止激活可交互元素的时间可以取决于多个因子，包括基于可交互元素的特性、交互元素的激活动作/内容、用户的历史等。例如，执行复杂或非常规动作、或调用/显示用于显示的至少特定数据量的可交互元素可以具有比其他执行简单或常规动作、或调用/显示用于显示的少于特定数据量的可交互元素具有更长的停留要求周期。进一步地举例来说，如果使用本文的系统/方法的用户对系统/方法而言是已知的，并且该用户常常可能由于太频繁地在元素上停留时间过久而常常意外地选择了元素，则基于用户的视线激活指令历史，中止时间周期可以相比于寻求与相似的可交互元素进行交互的其他用户而言自动地被延长。
图6为示出专用计算机系统600的方框图，在该专用计算机系统600中可实施本发明的实施例。该示例示出了专用计算机系统600，例如可以整个、部分或具有各种改进地被使用，以提供如上所述的那些本发明的眼球追踪设备、计算系统和/或其他部件的功能。
专用计算机系统600被示出包括可以通过总线690电气连接的硬件元件。硬件元件可以包括一个或多个中央处理器610、一个或多个输入设备620(例如，鼠标、键盘、眼球追踪设备等)，以及一个或多个输出设备630(例如，显示设备、打印机等)。计算机系统600还可以包括一个或多个存储设备640。举例来说，(一个或多个)存储设备540可以是硬盘、光学存储设备、固态存储设备(例如，随机存储器(“RAM”)和/或只读存储器(“ROM”))，其能够为可编程、可刷写更新和/或类似的等。
专用计算机系统600可以额外地包括计算机可读的存储介质读取器650、通信系统660(例如，调制解调器、网卡(无线或有线)、红外通讯设备、蓝牙设备、蜂窝通讯设备等)，以及工作内存680，其可以包括如上所述的RAM和ROM设备。在一些实施例中，计算机系统600还可以包括处理加速单元670，该处理加速单元670可以包括数字信号处理器、专用用途处理器和/或类似的等。
计算机可读存储介质读取器650能进一步连接到计算机可读存储介质，其一起(并且，可选择地，与(一个或多个)存储设备640相结合)广泛地代表远程、本地、固定、和/或可移动的存储设备以及临时和/或永久性地包含计算机可读信息的存储介质。通信系统660可以允许数据利用网络、系统、计算机和/或上述其他部件来进行交换。
专用计算机系统600还可以包括软件元件，其被示出为当前正位于工作内存680中，包括操作系统684和/或其他代码688。应当理解的是，专用计算机系统600的替代实施例可以具有上述实施例的多个变体。例如，还可以使用自定义的硬件和/或用硬件、软件(包括便携式软件，例如，Applet)或两者均使用来实施特定的元件。此外，也可以存在与例如网络输入/输出和数据采集设备等其他计算设备的连接。
专用计算机系统600的软件可以包括用于实施如本文所述的结构的各种元件的任何或者所有功能的代码688。例如，存储在专用计算机系统上和/或由专用计算机系统(例如，专用计算机系统600)执行的软件，可以提供眼球跟踪设备、计算系统、和/或如上所讨论的本发明的其他部件的功能。在这些部件中的其中某些上可通过软件实施的方法已经在上面更详细地讨论过了。
为了说明和理解的目的，本发明现在已经进行了详细地描述。然而，应当要理解的是，在本公开的范围内，某些改变和修改是可以实施的。

Claims (17)

1.一种用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的方法，所述方法包括：
利用至少一个眼球跟踪设备确定所述用户在所述显示器上的视线落点；
利用一个或多个处理器使视线指示器形状（510）显示在所述用户的视线落点处；
在所述用户以所述视线指示器形状（510）靠近可交互元素（520）之后，利用所述一个或多个处理器使主要指示器（530）显示在所述显示器上，并且将所述视线指示器形状（510）定位为至少部分地在所述可交互元素（520）上方，其中，所述主要指示器在所述用户的视线保持于所述视线落点的情况下，指示所述可交互元素要被激活；以及
利用所述一个或多个处理器使次级指示器出现在所述可交互元素（520）上，其中，所述次级指示器通知所述用户如果所述视线指示器形状（510）保持在所述可交互元素（520）上，则所述可交互元素（520）将被激活。
2.根据权利要求1所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的方法，其中，所述主要指示器（530）显示为：（i）所述可交互元素（520）的突出显示，和/或（ii）围绕所述可交互元素（520）的几何形状或非几何形状。
3.根据权利要求1所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的方法，其中，所述次级指示器改变尺寸大小以向所述用户发出信号有多少时间能够用来决定通过将他们的视线从所述可交互元素（520）上移开而不激活所述可交互元素（520），并且其中，在超过给定时间之后，所述可交互元素（520）被激活。
4.根据权利要求1所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的方法，其中，所述次级指示器是动态图形条，所述动态图形条显示在用户的视线最初落在所述可交互元素（520）上之后所要求的总的停留时间，并且随后基于对于要激活的可交互元素（520）所必要的剩余停留时间的量，从左到右缓慢地改变颜色，并且其中，在所述动态图形条从左到右地完全从一个颜色转换到下一个颜色之后，所述可交互元素（520）将被激活。
5.根据权利要求1所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的方法，其中，所述视线指示器形状（510）是几何形状或非几何形状。
6.根据权利要求5所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的方法，其中，所述视线指示器形状（510）包括正方形、矩形、三角形、圆形或椭圆形。
7.根据权利要求1所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的方法，其中，所述视线指示器形状（510）是有显著尺寸大小的，以包括所确定的用户的视线落点周围的区域，并且其中，在所述视线指示器形状（510）内的所述区域包括离预计的用户的视线落点足够的误差，以考虑围绕所述用户在所述显示器上的真实视线落点周围的较大可能性地确定的视线落点。
8.根据权利要求1所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的方法，其中，所述视线指示器形状（510）是可缩放的，使得在所述视线指示器形状（510）内的内容的尺寸大小对于用户来说能够更加容易地查看，其中，所述视线指示器形状（510）的尺寸大小被增大，以允许被放大的内容更加完整地被显示，并且其中，通过在屏幕的顶部、底部或者侧边的视线停留激活的按钮来选择特定的缩放模式，以激活、选择和/或调整缩放模式。
9.一种用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的系统，所述系统包括：
显示器，其配置为向用户显示内容；
眼球跟踪设备，其配置为在所述显示器上确定用户的视线落点；
一个或多个处理器，其配置为：
使视线指示器形状（510）显示在所述用户的视线落点处；
在所述用户以所述视线指示器形状（510）靠近可交互元素（520）之后，使主要指示器（530）显示在所述显示器上，并且将所述视线指示器形状（510）定位为至少部分地在所述可交互元素（520）上方，其中，所述主要指示器在所述用户的视线保持于所述视线落点的情况下，指示所述可交互元素要被激活；以及
使次级指示器出现在所述可交互元素（520）上，其中，所述次级指示器通知所述用户如果所述视线指示器形状（510）保持在所述可交互元素（520）上，则所述可交互元素（520）将被激活。
10.根据权利要求9所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的系统，其中，所述主要指示器（530）配置为显示为：（i）所述可交互元素（520）的突出显示，和/或（ii）围绕所述可交互元素（520）的几何形状或非几何形状。
11.根据权利要求9所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的系统，其中，所述次级指示器的尺寸大小的改变配置为向所述用户发出信号有多少时间能够用来决定通过将他们的视线从所述可交互元素（520）上移开而不激活所述可交互元素（520），并且其中，在超过给定时间之后，所述可交互元素（520）被激活。
12.根据权利要求9所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的系统，其中，所述次级指示器配置为是动态图形条，所述动态图形条显示在用户的视线最初落在所述可交互元素（520）上之后所要求的总的停留时间，并且随后基于对于要激活的可交互元素（520）所必要的剩余停留时间的量，从左到右缓慢地改变颜色，并且其中，在所述动态图形条从左到右地完全从一个颜色转换到下一个颜色之后，所述可交互元素（520）将被激活。
13.根据权利要求9所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的系统，其中，所述视线指示器形状（510）是几何形状或非几何形状。
14.根据权利要求13所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的系统，其中，所述视线指示器形状（510）包括正方形、矩形、三角形、圆形或椭圆形。
15.根据权利要求9所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的系统，其中，所述视线指示器形状（510）配置为有显著尺寸大小的，以包括所确定的用户的视线落点周围的区域，并且其中，在所述视线指示器形状（510）内的所述区域包括离预计的用户的视线落点足够的误差，以考虑围绕所述用户在所述显示器上的真实视线落点周围的较大可能性地确定的视线落点。
16.根据权利要求9所述的用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令的系统，其中，所述视线指示器形状（510）配置为是可缩放的，使得在所述视线指示器形状（510）内的内容的尺寸大小对于用户来说能够更加容易地查看，其中，所述视线指示器形状（510）的尺寸大小被增大，以允许被放大的内容更加完整地被显示，并且其中，特定的缩放模式配置为通过在屏幕的顶部、底部或者侧边的视线停留激活的按钮来选择，以激活、选择和/或调整缩放模式。
17.一种非暂时性机器可读介质，其存储有指令，用于为显示在计算设备的显示器上的可交互元素的用户提供提升的可访问性并在所述计算设备上执行来自这些用户的命令，其中，所述指令能够由一个或多个处理器执行以实施操作，所述操作包括：
在显示器上确定用户的视线落点；
一个或多个处理器，其配置为：
使视线指示器形状（510）显示在所述用户的视线落点处；
在所述用户以所述视线指示器形状（510）靠近可交互元素（520）之后，使主要指示器（530）显示在所述显示器上，并且将所述视线指示器形状（510）定位为至少部分地在所述可交互元素（520）上方，其中，所述主要指示器在所述用户的视线保持于所述视线落点的情况下，指示所述可交互元素要被激活；以及
使次级指示器出现在所述可交互元素（520）上，其中，所述次级指示器通知所述用户如果所述视线指示器形状（510）保持在所述可交互元素（520）上，则所述可交互元素（520）将被激活。
CN202210122869.8A 2017-10-16 2018-10-16 通过眼球追踪改进的计算设备可访问性 Active CN114461071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210122869.8A CN114461071B (zh) 2017-10-16 2018-10-16 通过眼球追踪改进的计算设备可访问性

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762572905P 2017-10-16 2017-10-16
US62/572,905 2017-10-16
CN201811204987.3A CN109669531A (zh) 2017-10-16 2018-10-16 通过眼球追踪改进的计算设备可访问性
CN202210122869.8A CN114461071B (zh) 2017-10-16 2018-10-16 通过眼球追踪改进的计算设备可访问性

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811204987.3A Division CN109669531A (zh) 2017-10-16 2018-10-16 通过眼球追踪改进的计算设备可访问性

Publications (2)

Publication Number Publication Date
CN114461071A CN114461071A (zh) 2022-05-10
CN114461071B true CN114461071B (zh) 2024-04-05

Family

ID=63878384

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210122869.8A Active CN114461071B (zh) 2017-10-16 2018-10-16 通过眼球追踪改进的计算设备可访问性
CN201811204987.3A Pending CN109669531A (zh) 2017-10-16 2018-10-16 通过眼球追踪改进的计算设备可访问性

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811204987.3A Pending CN109669531A (zh) 2017-10-16 2018-10-16 通过眼球追踪改进的计算设备可访问性

Country Status (5)

Country Link
US (1) US10761603B2 (zh)
EP (2) EP3654148B1 (zh)
CN (2) CN114461071B (zh)
ES (1) ES2953562T3 (zh)
PL (1) PL3654148T3 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654148B1 (en) 2017-10-16 2023-06-14 Tobii Dynavox AB Improved computing device accessibility via eye tracking
US11726559B2 (en) * 2018-04-24 2023-08-15 Intuitive Surgical Operations, Inc. Gaze-initiated communications
US10983591B1 (en) * 2019-02-25 2021-04-20 Facebook Technologies, Llc Eye rank
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010141403A1 (en) * 2009-06-01 2010-12-09 Dynavox Systems, Llc Separately portable device for implementing eye gaze control of a speech generation device
CN102439537A (zh) * 2009-05-21 2012-05-02 索尼电脑娱乐公司 基于在先辅助触摸输入的触摸屏歧义消除
CN106104417A (zh) * 2013-10-21 2016-11-09 谷歌技术控股有限责任公司 使用眼动跟踪技术改进向计算设备提供场境数据
CN106462231A (zh) * 2014-03-17 2017-02-22 Itu 商业发展公司 计算机实现的视线交互方法和装置
CN107003738A (zh) * 2014-12-03 2017-08-01 微软技术许可有限责任公司 注视目标应用启动器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US8166412B2 (en) * 2006-01-13 2012-04-24 Adobe Systems Incorporated Visual cue discernment on scattered data
US20080155037A1 (en) * 2006-12-20 2008-06-26 Yahoo! Inc. Providing real time information in a visual information unit
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US20170235360A1 (en) * 2012-01-04 2017-08-17 Tobii Ab System for gaze interaction
WO2015030607A1 (en) * 2013-08-27 2015-03-05 Auckland Uniservices Limited Gaze-controlled interface method and system
US9483112B2 (en) * 2013-09-26 2016-11-01 Vmware, Inc. Eye tracking in remote desktop client
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US20170293402A1 (en) * 2016-04-12 2017-10-12 Microsoft Technology Licensing, Llc Variable dwell time keyboard
EP3654148B1 (en) 2017-10-16 2023-06-14 Tobii Dynavox AB Improved computing device accessibility via eye tracking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102439537A (zh) * 2009-05-21 2012-05-02 索尼电脑娱乐公司 基于在先辅助触摸输入的触摸屏歧义消除
CN102439657A (zh) * 2009-05-21 2012-05-02 索尼电脑娱乐公司 具有活动元素的辅助触摸激活变焦或变换的手持式设备
WO2010141403A1 (en) * 2009-06-01 2010-12-09 Dynavox Systems, Llc Separately portable device for implementing eye gaze control of a speech generation device
CN106104417A (zh) * 2013-10-21 2016-11-09 谷歌技术控股有限责任公司 使用眼动跟踪技术改进向计算设备提供场境数据
CN106462231A (zh) * 2014-03-17 2017-02-22 Itu 商业发展公司 计算机实现的视线交互方法和装置
CN107003738A (zh) * 2014-12-03 2017-08-01 微软技术许可有限责任公司 注视目标应用启动器

Also Published As

Publication number Publication date
EP3654148A1 (en) 2020-05-20
EP3470962A2 (en) 2019-04-17
ES2953562T3 (es) 2023-11-14
US10761603B2 (en) 2020-09-01
EP3654148C0 (en) 2023-06-14
PL3654148T3 (pl) 2023-11-06
CN109669531A (zh) 2019-04-23
EP3654148B1 (en) 2023-06-14
CN114461071A (zh) 2022-05-10
EP3470962A3 (en) 2019-06-26
US20190113969A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
CN114461071B (zh) 通过眼球追踪改进的计算设备可访问性
US10558262B2 (en) Component determination and gaze provoked interaction
US10120529B2 (en) Touch-activated and expandable visual navigation of a mobile device via a graphic selection element
CN107077274B (zh) 用于移动条带中的上下文标签的方法和装置
RU2014136806A (ru) Иерархически организованные галереи управляющих элементов
US10317995B2 (en) Component determination and gaze provoked interaction
US10878175B2 (en) Portlet display on portable computing devices
CN103365552B (zh) 电子书的书签设置方法及其装置
US20150138244A1 (en) Component determination and gaze provoked interaction
EP3195099A1 (en) Display-efficient text entry and editing
KR20150001596A (ko) 웹 브라우저를 위한 몰입 모드
US10599214B2 (en) Systems and methods for gaze input based dismissal of information on a display
EP2690881A1 (en) Online video distribution
US20130002714A1 (en) Display control apparatus and method for controlling display
US20140195900A1 (en) Computer readable medium for enhanced display of digital text
KR20220045121A (ko) 현재 게시글의 다른 reader들에 대한 정보의 표시 및 상호 인터랙션 방법 및 장치
CN107678637A (zh) 切换选项卡的方法、设备、浏览器和电子设备
CN108108417A (zh) 跨平台自适应控制的交互方法、系统、设备及存储介质
JP2019040333A (ja) 情報処理装置、情報処理方法、コンピュータプログラム及び表示制御用の時系列データ
CN108762618B (zh) 控件显示方法及装置
CN107335218A (zh) 游戏场景移动方法及装置、存储介质、处理器和终端
JP2015230716A (ja) 表示端末装置、プログラム及び表示方法
KR20220004746A (ko) 눈 추적 맵을 사용하는 동적 눈 추적 카메라 정렬
CN107424216B (zh) 显示控制方法和显示设备
WO2023210352A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230328

Address after: Sweden Danderyd

Applicant after: Toby Danawos

Address before: Sweden Danderyd

Applicant before: TOBII AB

GR01 Patent grant
GR01 Patent grant