CN106164818A - 使用随着时间的眼睛注视评估进行选择 - Google Patents

使用随着时间的眼睛注视评估进行选择 Download PDF

Info

Publication number
CN106164818A
CN106164818A CN201580015097.6A CN201580015097A CN106164818A CN 106164818 A CN106164818 A CN 106164818A CN 201580015097 A CN201580015097 A CN 201580015097A CN 106164818 A CN106164818 A CN 106164818A
Authority
CN
China
Prior art keywords
eye gaze
user interface
input
time
time window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580015097.6A
Other languages
English (en)
Other versions
CN106164818B (zh
Inventor
S·雷姆斯比
T·安布鲁斯
M·斯卡维泽
A·L·李
B·芒特
I·D·麦金帝雷
A·M·伯恩斯
R·麦克麦金
K·E·多兰
G·施奈德
Q·S·C·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106164818A publication Critical patent/CN106164818A/zh
Application granted granted Critical
Publication of CN106164818B publication Critical patent/CN106164818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Abstract

公开了涉及基于眼睛注视来对在图形用户界面上显示的用户界面对象进行选择的各个实施例。在一个实施例中，可接收选择输入。可以评估在一时间窗口内的不同时间的多个眼睛注视样本。该时间窗口可以基于选择输入被检测到的时间来选择。用户界面对象可以基于多个眼睛注视样本来选择。

Description

使用随着时间的眼睛注视评估进行选择
背景
眼睛注视跟踪可以被用作与图形用户界面交互的一种机制。例如，被确定为与图形用户界面相交的注视位置可被用作图形用户界面的定位信号，类似于由计算机鼠标或类似物控制的传统光标所提供的。
概述
公开了涉及基于眼睛注视检测来对在图形用户界面上显示的用户界面对象进行选择的各个实施例。例如，一个公开的实施例提供了一种方法，该方法包括：在计算设备上接收选择输入，并且响应于该选择输入来评估在一时间窗口内的不同时间的多个眼睛注视样本，其中该时间窗口可基于选择输入被检测到的时间来选择。该方法进一步包括基于多个眼睛注视样本来选择用户界面对象。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1示出根据本公开的一实施例的头戴式显示设备的示例。
图2-3示出了根据本公开的各实施例的示例眼睛注视样本评估的图形描绘。
图4-6示出了根据本公开的一实施例的基于眼睛注视评估可以在图形用户界面上呈现的反馈的示例。
图7A-7B示出了根据本公开的一实施例的用于基于眼睛注视评估选择在图形用户界面上显示的用户界面对象的示例方法。
图8示意性地示出根据本公开的一实施例的计算系统的示例。
详细描述
用于使用眼睛注视跟踪来选择用户界面对象的一些办法可基于在接收到选择输入(例如，按钮致动、身体部位姿势等)的时间的眼睛注视位置来确定要选择的图形用户界面对象。然而，这种办法可能导致对要选择哪个图形用户界面对象的不准确判断。例如，当在用户界面(UI)对象之间快速移动时，诸如当使用眼睛注视跟踪来在虚拟键盘上打字时，用户可能在用户的眼睛注视已经稳定在预期UI对象位置处之前执行选择输入。同样地，用户的眼睛注视可稳定于预期UI对象并且接着在执行选择输入之前被移开。因而，基于执行选择输入时注视的位置来选择用户界面对象可能导致用户界面行为不匹配用户意图。系统等待时间也可能对此类不确定性作出贡献。例如，与确定眼睛注视位置相比，可能花费更长的时间量来处理对选择输入的接收，或者相反。由此，在眼睛注视检测与选择检测之间可能产生独立于任何用户行为的滞后。
相应地，本文公开了涉及通过评估多个眼睛注视样本来控制对图形用户界面对象的选择的各实施例。例如，在一些实施例中，眼睛注视定位测量可以被周期性地采样并且被存储达一时间量。在接收到被配置成选择UI对象的输入之际，一时间窗口内的多个眼睛注视样本可以被评估以确定用户期望选择哪个UI对象。通过评估在检测到选择输入时间附近的多个眼睛注视样本，在确定预期UI对象时与只考虑单个样本相比可以将更多输入纳入考虑。这可以有助于即便在预期眼睛注视位置不与选择输入同步的情况下确定预期UI元素。
本文所描述的各实施例可以与任何合适的注视跟踪系统联用。例如，在一些实施例中，眼睛注视跟踪可被用于控制在头戴式显示(HMD)设备上显示的图形用户界面。图1示出具有透明显示器102的一副可佩戴眼镜形式的HMD设备100的非限制性示例。将明白，HMD设备可以采取任何其他合适的形式，其中透明、半透明和/或不透明显示器被支撑在查看者的一只或两只眼睛前方。此外，本文所描述的各实施例可以与任何其它合适的眼睛跟踪系统联用，包括但不限于，用于移动计算设备、膝上型计算机、台式计算机、平板计算机、其它可穿戴计算机等的眼睛跟踪系统。
HMD设备100包括透视显示器102和控制器104。透视显示器102可以使得图像(诸如全息对象)被递送到HMD设备佩戴者的眼睛。透视显示器102可被配置成向通过该透明显示器查看物理环境的佩戴者在视觉上增强现实世界物理环境的外观。例如，物理环境的外观可以由经由透明显示器102来呈现以创建混合现实环境的图形内容来增强。在一个示例中，该显示器可被配置成在图形用户界面上显示一个或多个UI对象。在一些实施例中，在图形用户界面上呈现的UI对象可以是覆盖在现实世界环境前方的虚拟对象。同样地，在一些实施例中，在图形用户界面上呈现的UI对象可以纳入通过透明显示器102被看到的现实世界环境的现实世界对象的元素。在任一情形中，UI对象可以经由眼睛注视跟踪来选择。
任何合适的机制可被用于经由透明显示器102来显示图像。例如，透明显示器102可包括位于透镜106内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器102可包括位于HMD设备100框架内的光调制器。在这一示例中，透镜106可以担当用于将光从光调制器递送到佩戴者的眼睛的光导。这样的光导可使得佩戴者能够感知位于物理环境内的佩戴者正在查看的3D全息图像，同时还允许佩戴者查看物理环境中的物理对象，由此创建混合现实环境。
HMD设备100还可包括用于向控制器104提供信息的各种传感器和相关系统。此类传感器可包括但不限于，一个或多个面向内的图像传感器108、一个或多个面向外的图像传感器110、以及惯性测量单元(IMU)112。一个或多个面向内的图像传感器108可被配置成获取来自佩戴者眼睛的注视跟踪数据形式的图像数据。HMD设备可被配置成基于接收自图像传感器108的信息用任何合适的方式来确定佩戴者眼睛中的每一只眼睛的注视方向。例如，一个或多个光源114(诸如红外光源)被配置成使得从佩戴者的每一只眼睛的角膜反射闪光。一个或多个图像传感器108然后可被配置成捕捉佩戴者眼睛的图像。如从收集自图像传感器108的图像数据确定的闪烁和瞳孔的图像可被控制器104用于确定每一只眼睛的光轴。使用这一信息，控制器104可被配置成确定佩戴者的注视方向。控制器104可被配置成附加地或替换地确定佩戴者注视什么物理或虚拟对象。
一个或多个面向外的图像传感器110可被配置成接收来自HMD设备100位于的物理环境的物理环境数据。例如，面向外的传感器110可被配置成检测显示器102视野内的移动，诸如视野内的佩戴者或人或物理对象所执行的基于姿势的输入或其他移动。在一个示例中，面向外的传感器110可以检测由HMD设备的佩戴者执行的指示对在显示设备上显示的UI对象的选择的选择输入，诸如姿势(例如，捏合手指、闭紧拳头等)。面向外的传感器还可从物理环境和该环境内的物理对象捕捉2D图像信息和深度信息。控制器104可被配置成使用此类环境信息来确定方向/位置和取向数据，该方向/位置和取向数据实现HMD设备100在现实世界环境中的定位/运动跟踪。
IMU 112可被配置成将HMD设备100的定位和/或取向数据提供给控制器104。在一个实施例中，IMU 112可被配置为三轴或三自由度定位传感器系统。这一示例定位传感器系统可以例如包括用于指示或测量HMD设备100在3D空间内绕三个正交轴(例如，x、y、z)(例如，滚转、俯仰、偏航)的定向变化的三个陀螺仪。从IMU的传感器信号导出的取向可被用于经由透视显示器用三自由度来显示一个或多个虚拟UI对象。
在另一示例中，IMU 112可被配置为六轴或六自由度定位传感器系统。这一配置可以包括三个加速度计和三个陀螺仪以指示或测量HMD设备100沿三个正交轴的位置变化和绕该三个正交轴的设备取向变化。在一些实施例中，来自图像传感器110和IMU 112的定位和取向数据可以被结合使用以确定HMD设备100的定位和取向。
HMD设备100还可以支持其他合适的定位技术，诸如GPS或其他全球导航系统。此外，尽管描述了位置传感器系统的具体示例，但将明白，可以使用任何其他合适的位置传感器系统。例如，头部姿态和/或移动数据可以基于来自安装者佩戴者上和/或佩戴者外部的传感器的任何组合的传感器信息来确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机，等等)、通信设备(例如，WIFI天线/接口)，等等。
继续图1，控制器104可被配置成基于由一个或多个面向内的图像传感器108检测到的信息记录随着时间的多个眼睛注视样本。对于每一眼睛注视样本，眼睛跟踪信息以及在一些实施例中的头部跟踪信息(来自图像传感器110和/或IMU 112)可被用于估计该眼睛注视样本的原点和方向向量以产生眼睛注视与透视显示器相交的估计位置。用于确定眼睛注视样本的眼睛跟踪信息和头部跟踪信息的非限制性示例可包括眼睛注视方向、头部取向、眼睛注视速度、眼睛注视加速度、眼睛注视方向角改变、以及任何其它合适的跟踪信息。在一些实施例中，眼睛注视跟踪可以独立于HMD设备100佩戴者的两只眼睛来记录。
此外，在一些实施例中，控制器104可被配置成与稳定性度量相比来评估眼睛注视样本。例如，稳定性度量可考虑各种参数，包括速度、加速度、以及其它眼睛注视跟踪信息。样本稳定性可以例如基于一时间窗口内样本的眼睛注视方向的统计方差来评估。时间窗口可以基于选择输入被检测到的时间来选择。不满足稳定性度量的样本可具有提供眼睛注视位置的不准确表示的更高可能，并且因而可以从用于UI对象选择的眼睛注视样本的评估中被排除。例如，具有高速度和/或加速度的眼睛注视样本可指示眼睛注视是不稳定的或者未稳定于特定位置，并且因而该样本在选择UI对象的评估中可以不被考虑。
附加地，在一些实施例中，可以指示用户意图的上下文信息可以在稳定性试探法的计算中被考虑。例如，在选择虚拟键盘上的字符时，过去选择的字符可以被考虑以获得有效单词前缀。在另一示例中，编辑功能可以被认为是上下文信息。例如，如果虚拟键盘上的字符被选择并且接着被删除，则下一选择事件可以不考虑该字符。
将理解，时间窗口可以被设置于相对于选择输入时间的任何合适的位置，并且可具有任何合适的历时，而不背离本公开的范围。例如，在一些实施例中，时间窗口可具有相对有限的历时，并且包括选择输入时间周围的有限数目的眼睛注视样本。在其它实施例中，时间窗口可包括HMD设备被打开并且收集眼睛注视样本的整个时间历时。例如，这一时间窗口中的眼睛注视样本可以根据指数平滑化办法来评估。
多个眼睛注视样本可以用任何合适的方式来评估以确定旨在选择的UI对象。例如，在一些实施例中，眼睛注视样本评估可遵循迭代试探法，该迭代试探法开始于最接近检测到选择输入的时间的眼睛注视样本。各个样本可以被迭代地评估，并且在时间上从检测到选择输入的时间既向前又向后地向外移动。在一个示例中，如果正被评估的样本与时间窗口中的注视样本的平均方向不同超过一阈值，诸如特定百分比差异，则在该时间方向上的样本评估可以被停止。在另一示例中，如果一个方向上的多个连贯样本变化达显著的量，则在该时间方向上的样本评估可以被停止。此类方差可指示离散用户动作之间的边界。
选择输入可包括由HMD设备100佩带者执行的用于指示对在透视显示器102上显示的UI对象的选择的任何合适的动作。例如，在一些实施例中，选择输入可以经由除了眼睛注视之外的输入模式来作出。作为更具体的示例，选择输入可以经由位于HMD设备100上的选择输入按钮118来作出。在另一示例中，选择输入按钮可位于另一设备上，诸如与HMD设备100处于通信的远程控制器。在又一示例中，选择输入可以经由由HMD设备佩戴者执行的姿势来作出，其中该姿势可经由光学传感器系统、头部跟踪系统、和/或任何其它合适的一个或多个传感器来检测。例如，姿势可包括并拢一个手上的手指以作出拳头。作为另一示例，姿势可包括头部移动的突然改变。具体地，HMD设备佩戴者可以在一个方向上移动他/她的头，并且接着突然停止或改变方向。该停止和/或方向改变可以被识别为选择输入。在又一示例中，选择输入可以经由眼睛移动或眼睛眨眼来作出。在又一示例中，选择输入可以经由语音来作出。将理解，选择输入可包括任何合适的动作，并且可以用任何合适的方式来检测而不背离本公开的范围。
HMD设备100还可包括捕捉语音数据的一个或多个话筒，诸如话筒120。此外，音频输出可以经由一个或多个扬声器(诸如扬声器122)被呈现给佩戴者。在一些实施例中，话筒系统可被配置成提供指示对在透视显示器上显示的图形用户界面上呈现的UI对象的选择的音频反馈。
控制器104可包括可与HMD设备的各个传感器和显示器处于通信的逻辑机和存储机，如下文参考图8更详细地讨论的。在一个示例中，存储机可包括可由逻辑机执行以执行以下操作的指令：接收选择输入、评估在基于检测到选择输入的时间选择的一时间窗口内的不同时间的多个眼睛注视样本、以及基于多个眼睛注视样本来选择在透视显示器上显示的UI对象。
如上所讨论的，当用户提供指示选择UI对象的意图的选择输入时，所选时间窗口内的多个眼睛注视样本可以被评估以确定用户期望选择哪个UI对象。该时间窗口可以例如基于选择输入被接收到的时间来选择。
图2-3示出了评估时间窗口内的眼睛注视样本的示例方法的图形表示。眼睛注视样本可以表示用于跟踪眼睛注视的任何合适的信息，包括但不限于注视方向数据。首先参考图2，当选择事件202被检测到时，时间窗口204基于选择输入被检测到的时间来定义。在这一示例中，时间窗口包括在选择输入202被检测到的时间之前和之后获得的眼睛注视样本，但将理解，时间窗口可包括任何合适的时间范围。
在一些实施例中，时间窗口204的中心206可以被设置为接收到选择输入202之前的时间。在图2中，这一偏移在208处被解说。例如，偏移208可基于用户开始选择输入(例如，发起姿势、推动按钮等)的时间与选择输入被系统接收到的时间之间的所确定的时间量(例如，来自历史数据)或所估计的时间量来调整。在偏移经由历史数据被确定的情况下，该偏移可以随着时间例如随着用户变得越来越有技巧而被调整。在其它实施例中，时间窗口的中心可以被设置为在接收到选择输入的时间。
在检测到选择输入202之际，可以执行对多个眼睛注视样本的第一评估210以确定最有可能是选择输入的目标的UI对象。第一评估210可利用具有在时间窗口中心206之前的时间的多个眼睛注视样本。多个眼睛注视样本可以被评估以例如确定多个眼睛注视样本与图形用户界面相交的组合位置。术语“组合位置”可指示利用多个眼睛注视样本经由任何合适的计算所确定的位置。在一个非限制性示例中，组合位置可以是多个眼睛注视样本与图形用户界面相交的平均位置。
基于第一评估，图形用户界面上的UI对象可以基于例如由HMD设备所应用的一个或多个选择规则而被选择。作为一个示例，选择规则可以将权重应用于每一UI对象，并且具有最高权重的UI对象可以被选择。作为更具体的示例，作为同多个眼睛注视样本与图形用户界面相交的组合位置最接近的UI对象的UI对象可具有最高权重并且因此可以被选择。换言之，加权可以基于从UI对象到眼睛注视样本的组合位置的距离。
作为另一示例，加权可基于从UI对象到眼睛注视样本的组合位置的距离乘以UI元素大小的对数。此类选择规则可以提供朝向可增加选择准确性的较小UI对象的偏向。作为另一示例，加权可基于从UI对象到眼睛注视样本的组合位置的距离除以语音识别置信等级。例如，可以将语音输入与多个候选UI对象作比较以产生语音识别置信等级。作为又一示例，选择规则可包括佩戴者最近与其交互的UI对象的权重分量。由此，受欢迎的UI对象可以被赋予更多的权重。
在一些实施例中，选择规则可包括当多个UI具有相同权重时的打破平局供应。例如，上述示例中的任一者可以被用作选择规则中的次要考量或打破平局者考量。
在一些实施例中，每一UI对象可具有动态改变的“命中目标”——出于确定选择的目的而与UI对象相关联的图形用户界面的面积。命中目标的面积可取决于UI对象的预期选择而动态地改变。例如，预期选择可基于应用的上下文被确定。在其中UI对象是虚拟键盘的按键的一个示例中，预期选择可基于要完成单词的估计字母或其它基于语法或拼写的估计。
通过评估导致检测到选择输入的多个眼睛注视样本，对UI对象的准确选择可以达成，即便是在提供选择输入之前用户眼睛注视离开预期UI对象的情形中。
在检测到选择输入之后的一个时间可以执行对不同的多个眼睛注视样本的第二评估212。第二评估可包括在检测到选择输入的时间之后获得的眼睛注视样本。第二评估可以被执行以确认对第一评估的选择，或者基于在检测到选择输入之后取得的附加眼睛注视样本对来自第一评估的选择解除选择并且选择另一UI对象。具体地，在检测到选择输入之后取得的眼睛注视样本可有助于标识其中眼睛注视不稳定于预期UI对象直到执行选择输入之后的情景。相应地，对UI对象的准确选择可以达成，即便在用户的眼睛注视不稳定于预期UI对象直到提供选择输入之后的情形中。
在一些实施例中，第二评估的不同的多个眼睛注视样本可包括在检测到选择输入之前和之后取得的眼睛注视样本。在一个示例中，第二评估可包括该时间窗口内的所有样本。换言之，第一窗口中的眼睛注视样本在同一评估事件的第二窗口中可以被再次考虑。在其它实施例中，第二评估可排除第一窗口中的一些或全部时间样本。
第二评估可确认由第一评估确定的初始选择，或者撤销该初始选择并得到对不同UI对象的选择。例如，如果一不同的UI对象最接近不同的多个眼睛注视样本与图形用户界面相交的组合位置，则对UI对象的初始选择可以被撤销并且该不同UI对象可以被选择。
在一些实施例中，在完成第二评估之际，第一评估和第二评估所评估的所有眼睛注视样本都可能没有资格进行眼睛注视样本的将来评估。这可以避免当在时间上靠近在一起提供选择输入时对相同UI对象的意外重复选择。在其它实施例中，眼睛注视样本可以在多个评估事件中被考虑。
在一些实施例中，第一评估可以评估以第一时间为中心的第一时间窗口中的眼睛注视样本，而第二评估可以评估以晚于第一时间的一个时间为中心的第二时间窗口中的眼睛注视样本。第二窗口可包括与第一窗口不同的多个眼睛注视样本。
在一些实例中，选择输入可以在针对先前选择输入的评估完成之前被接收到。图3示出了其中在第一选择输入202的第二评估要执行的时间216之前接收到第二选择输入214的情景。在这一情景中，第一选择输入202的第一评估210按照上述相同的方式来进行。然而，因为第二选择输入212在第一选择输入202之后并且在第一选择输入202的第二评估之前被检测到，所以第一选择输入202的第二评估212的时间窗口被调整为在第二选择输入214被接收到的时间之前结束。例如，第一时间窗口204的中心206与第二选择输入214之间的历时可以被减小(例如，减半或减少其它合适的量)。以此方式，第二评估的时间窗口被缩短。
在缩短第一选择事件的第二评估之际，第二选择输入212的第一评估220可以利用来自第二窗口218的眼睛注视样本来执行。具体地，眼睛注视样本可以从起始于中点(或其它合适的点)并且结束于检测到第二选择输入214的时间的时间窗口中取得。第二选择输入214的第二评估222可包括由虚线所指示的第二窗口218中的眼睛注视样本。第二评估220可以如上所述地被执行，除非在执行第二评估222之前检测到另一选择输入。
当用户经由眼睛注视与用户界面交互时，任何合适的反馈可以被提供给用户。图4-6示出了根据本文公开的实施例当用户经由眼睛注视选择UI对象时经由图形用户界面400提供给用户的反馈的非限制性示例。图形用户界面400被描绘为包括多个UI对象(例如，虚拟键盘的按键)。图4-6中示出的反馈是视觉上的，但将理解，用户反馈也可以用其它形式来提供(例如，音频、触觉等)。
首先，在图4中，基于对与多个眼睛注视样本的第一评估选择虚拟‘Q’键用户界面对象，该多个眼睛注视样本具有与图形用户界面相交的最接近‘Q’键的组合位置402。响应于该选择，‘Q’键在视觉上与其它用户界面对象相区分，诸如通过突出显示、使其更亮或更暗、使其更大或更小等。在图4中，这一视觉区分被示为交叉影线。要理解，对选择的任何合适的视觉反馈可以被提供而不背离本公开的范围。
此外，对星号的选择的音频反馈以播放陈述“Q被选择”的音频剪辑的形式来提供。要理解，对选择的任何合适的音频反馈可以被提供而不背离本公开的范围。
图5-6示出了对星号UI对象的选择的示例二次评估的结果。在图5中，第二评估确认了对‘Q’键的选择，因为在选择输入之后取得的眼睛注视样本确认眼睛注视样本的组合位置402最接近‘Q’键。响应于对选择的确认，对‘Q’键的选择的确认的视觉反馈以从对角线影线转变成交叉影线的形式来提供，但将理解任何合适的视觉反馈可以被提供。此外，音频、触觉、和/或其它反馈可以被提供以向用户通知对选择的确认。
作为对比，图6示出了当第二评估得到对‘Q’键的解除选择以及对‘W’键的选择时提供的反馈，因为在选择输入之后取得的眼睛注视样本指示眼睛注视样本的组合位置402移动到了‘W’键。响应于对‘W’键的选择，对‘Q’键的选择被撤销并且突出显示从‘Q’键移除并且被置于‘W’键上。由于第二评估完成了选择事件，所以‘W’键被交叉影线以指示最终选择。
图7A-7B示出了根据本公开的一实施例的用于基于眼睛注视评估选择在图形用户界面上显示的UI对象的示例方法700。方法700可以例如由图1中示出的HMD设备100或者由包括眼睛跟踪系统的任何其它合适的计算设备来执行。
在702，方法700包括接收选择输入。在一些实施例中，选择输入可以经由除了眼睛注视之外的输入模式来被接收。各示例包括但不限于，对物理按钮或其它用户界面设备的致动、由来自图像传感器和/或其它运动传感器的数据检测到的用户姿势、音频数据(例如，语音数据)等。
在704，方法700包括评估在基于检测到选择输入的时间而选择的一时间窗口内的不同时间的多个眼睛注视样本。在一些实施例中，如在706指示的，方法700可包括将时间窗口的中心设置为检测到选择输入之前的时间。例如，时间窗口的中心可以被设置成补偿眼睛注视和选择输入之间的定时差异以及系统等待时间。此外，在一些实施例中，如在708指示的，方法700可包括相比于稳定性度量来评估多个眼睛注视样本。不满足稳定性度量的任何眼睛注视样本可以不被包括在多个眼睛注视样本的评估中。
在710，方法700包括选择作为离多个眼睛注视样本与图形用户界面相交的组合位置最接近的UI对象的UI对象。在一些实施例中，组合位置是多个眼睛注视样本与图形用户界面相交的平均位置。在其它实施例中，组合位置可以用任何其它合适的方式来确定。
在选择对象之际，可以提供用户反馈。例如，在712，方法700可包括提供对UI对象的选择的视觉反馈。此外，在714，方法700可包括提供对UI对象的选择的音频反馈。将理解，这些类型的反馈是出于示例的目的而呈现的，且不旨在以任何方式进行限制。
在716，方法700可包括确定是否接收到第二选择输入。如果接收到第二选择输入，则方法700移动到718。否则，方法700移至720。在718，方法700包括将包括要在选择输入的第二评估中被评估的不同的多个眼睛注视样本的第二时间窗口缩短。第二时间窗口可以被缩短以允许不与第二评估的时间窗口交叠的用于第二选择输入的评估的眼睛注视样本的时间窗口。在720，方法700可包括评估在以晚于第一时间窗口为中心的第二时间窗口中的不同的多个眼睛注视样本。如果接收到第二输入选择，则该第二时间窗口被缩短(例如，短于第一时间窗口)。如果未接收到第二输入选择，则第二时间窗口不被缩短。该第二评估可包括在检测到选择输入的时间之前和之后的眼睛注视样本。
在722，方法700可包括确定一不同的UI对象是否最接近不同的多个眼睛注视样本与用户界面相交的位置。如果一不同的UI对象最接近不同的多个眼睛注视样本与用户界面相交的位置，则方法700移动到724，其中最初被选择的UI对象被解除选择，并且一不同的UI对象被选择，并且接着移动到726。否则，方法700移动到726而不执行724处的过程。
在726，方法700可包括将第一窗口和第二窗口中的所有经评估的眼睛注视样本移除以免于用于眼睛注视样本的将来评估。
通过评估在检测到选择输入时间附近的多个眼睛注视样本，在确定预期UI对象时与只考虑单个样本相比可以将更多输入纳入考虑。这可以有助于即便在预期眼睛注视位置不与选择输入同步的情况下确定预期UI对象。例如，上述方法可以准确地检测对UI对象的选择，即便在眼睛注视在执行选择输入之后才稳定于预期UI对象上的情况下。此外，上述方法可以准确地检测对UI对象的选择，即便在眼睛注视在执行选择输入之前离开预期UI对象的情况下。
在一些实施例中，在此描述的方法和过程可以与一个或多个计算设备的计算系统绑定。尤其地，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图8示意性地示出可以执行上述方法和过程中的一个或多个的计算系统800的非限制性实施例。以简化形式示出了计算系统800。计算系统800可以采用以下形式：一个或多个头戴式显示设备、与头戴式显示设备协作的一个或多个设备、和/或采用眼睛跟踪作为用户输入机制的任何其它合适的计算设备。各示例包括但不限于：个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。
计算系统800包括逻辑机802和存储机804。计算系统800可任选地包括显示子系统806、输入子系统808、通信子系统810和/或在图8中未示出的其他组件。
逻辑机802包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其它方式得到期望结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机804包括被配置成保存可由逻辑机执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机804的状态(例如，保存不同的数据)。
存储机804可以包括可移动和/或内置设备。存储机804可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机804可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储机804包括一个或多个物理设备。然而，本文所述的指令的各方面替代地可由通信介质(如电磁信号、光学信号等)来传播，而不是存储在存储设备上。
逻辑机802和存储机804的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
在被包括时，显示子系统806可用于呈现由存储机804保存的数据的视觉表示。该视觉表示可采用图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统806的状态以视觉地表示底层数据的改变。显示子系统806可包括实际上利用任何类型的技术的一个或多个显示设备，诸如图1中所示的HMD设备100的显示器102。可将此类显示设备与逻辑机802和/或存储机804组合在共享封装中，或者此类显示设备可以是外围显示设备。
在包括输入子系统808时，输入子系统808可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；以上参考图1的眼睛注视跟踪系统108和头部跟踪系统110描述的传感器中的任一者；和/或任何其他合适的传感器。
当包括通信子系统810时，通信子系统810可以被配置成将计算系统800与一个或多个其它计算设备可通信地耦合。通信子系统810可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统800经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其它顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (10)

1.一种在计算设备上用于基于眼睛注视来选择在图形用户界面上显示的用户界面对象的方法，所述方法包括：
接收选择输入；
评估在基于检测到所述选择输入的时间所选择的一时间窗口内的不同时间获取的多个眼睛注视样本；
基于所述多个眼睛注视样本来选择用户界面对象；以及
输出对所述用户界面对象的选择的反馈。
2.如权利要求1所述的方法，其特征在于，所述用户界面对象根据选择规则基于具有最高权重来被选择。
3.如权利要求1所述的方法，其特征在于，所述时间窗口包括在接收到所述选择输入的时间之前和之后取得的眼睛注视样本。
4.如权利要求1所述的方法，其特征在于，进一步包括：
将所述时间窗口的中心设置为在所述选择输入的检测之前的时间。
5.如权利要求1所述的方法，其特征在于，进一步包括：
相比于稳定性度量来评估所述多个眼睛注视样本，并且不将不满足所述稳定性度量的任何眼睛注视样本包括在所述多个眼睛注视样本的评估中。
6.如权利要求1所述的方法，其特征在于，进一步包括：
响应于选择所述用户界面对象，在所述图形用户界面上提供对所述用户界面对象的选择的视觉反馈。
7.如权利要求1所述的方法，其特征在于，所述时间窗口是第一时间窗口，并且所述方法进一步包括：
在所述用户界面对象被选择之后，评估在以晚于所述第一时间窗口的时间为中心的第二时间窗口中的不同的多个眼睛注视样本；以及
如果不同的用户界面对象最接近所述不同的多个眼睛注视样本与所述图形用户界面相交的平均位置，则撤销对所述用户界面对象的选择并且选择所述不同的用户界面对象。
8.如权利要求7所述的方法，其特征在于，进一步包括：
在对所述第二时间窗口中的不同的多个眼睛注视样本进行评估之际，将所述第一时间窗口和所述第二时间窗口中经评估的眼睛注视样本移除以免于用于眼睛注视样本的将来评估。
9.如权利要求7所述的方法，其特征在于，所述选择输入是第一选择输入，并且所述方法进一步包括：
在接收到所述第一选择输入之后接收第二选择输入；以及
如果所述第二选择输入在所述不同的多个眼睛注视样本被评估之前被检测到，则缩短所述第二时间窗口。
10.一种包括眼睛跟踪系统、逻辑设备、以及保持能由所述逻辑设备执行的指令的数据保持设备的头戴式显示系统，所述指令被执行以用于：
检测选择输入，所述选择输入经由除眼睛注视之外的输入模式来作出；
评估经由所述眼睛跟踪系统在基于检测到所述选择输入的时间所选择的一时间窗口内的不同时间获取的多个眼睛注视样本；
根据选择规则基于具有最高权重的用户界面对象来选择所述用户界面对象；以及
输出对所述用户界面对象的选择的反馈。
CN201580015097.6A 2014-03-20 2015-03-18 使用随着时间的眼睛注视评估进行选择 Active CN106164818B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/221,147 US9804753B2 (en) 2014-03-20 2014-03-20 Selection using eye gaze evaluation over time
US14/221,147 2014-03-20
PCT/US2015/021121 WO2015142966A1 (en) 2014-03-20 2015-03-18 Selection using eye gaze evaluation over time

Publications (2)

Publication Number Publication Date
CN106164818A true CN106164818A (zh) 2016-11-23
CN106164818B CN106164818B (zh) 2019-04-26

Family

ID=52829326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580015097.6A Active CN106164818B (zh) 2014-03-20 2015-03-18 使用随着时间的眼睛注视评估进行选择

Country Status (4)

Country Link
US (1) US9804753B2 (zh)
EP (1) EP3120224B1 (zh)
CN (1) CN106164818B (zh)
WO (1) WO2015142966A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111052042A (zh) * 2017-09-29 2020-04-21 苹果公司 基于注视的用户交互
CN111585943A (zh) * 2018-12-12 2020-08-25 托比股份公司 用于流式传输注视数据包的方法、计算机程序和驱动器单元
CN112368669A (zh) * 2018-06-26 2021-02-12 爱尔康公司 用于输入命令的双目系统
US11314396B2 (en) 2018-05-09 2022-04-26 Apple Inc. Selecting a text input field using eye gaze

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015170175A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、および情報処理方法
US20150302422A1 (en) * 2014-04-16 2015-10-22 2020 Ip Llc Systems and methods for multi-user behavioral research
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
JP6769974B2 (ja) 2015-02-17 2020-10-14 ノース インコーポレイテッドＮｏｒｔｈ Ｉｎｃ． ウェアラブルヘッドアップディスプレイにおけるアイボックス拡張のためのシステム、機器、及び方法
US10175488B2 (en) 2015-05-04 2019-01-08 North Inc. Systems, devices, and methods for spatially-multiplexed holographic optical elements
EP3304172A4 (en) 2015-05-28 2019-01-02 North Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
EP3345021A4 (en) 2015-09-04 2019-05-08 North Inc. SYSTEMS, ARTICLES AND METHOD FOR INTEGRATING HOLOGRAPHIC OPTICAL ELEMENTS IN GLASS GLASSES
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
WO2017059285A1 (en) * 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
JP2019518979A (ja) 2016-04-13 2019-07-04 ノース インコーポレイテッドＮｏｒｔｈ Ｉｎｃ． レーザプロジェクタの焦点を合わせるためのシステム、デバイス、及び方法
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
CN106155326A (zh) * 2016-07-26 2016-11-23 北京小米移动软件有限公司 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
US10572005B2 (en) 2016-07-29 2020-02-25 Microsoft Technology Licensing, Llc Private communication with gazing
US10459221B2 (en) 2016-08-12 2019-10-29 North Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
JP2018530016A (ja) * 2016-08-30 2018-10-11 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． Ｖｒ制御方法、装置及び電子機器、プログラム、及び記録媒体
US10353475B2 (en) 2016-10-03 2019-07-16 Microsoft Technology Licensing, Llc Automated E-tran application
US10345596B2 (en) 2016-11-10 2019-07-09 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
WO2018098579A1 (en) 2016-11-30 2018-06-07 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10482648B2 (en) 2016-12-13 2019-11-19 Qualcomm Incorporated Scene-based foveated rendering of graphics content
US10663732B2 (en) 2016-12-23 2020-05-26 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10718951B2 (en) 2017-01-25 2020-07-21 North Inc. Systems, devices, and methods for beam combining in laser projectors
US20180239422A1 (en) * 2017-02-17 2018-08-23 International Business Machines Corporation Tracking eye movements with a smart device
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
US10417827B2 (en) 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
WO2018237172A1 (en) * 2017-06-21 2018-12-27 Quantum Interface, Llc SYSTEMS, APPARATUSES, INTERFACES AND METHODS FOR VIRTUAL CONTROL CONSTRUCTIONS, OCULAR MOTION OBJECT CONTROL DEVICES, AND VIRTUAL TRAINING
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
US11237691B2 (en) * 2017-07-26 2022-02-01 Microsoft Technology Licensing, Llc Intelligent response using eye gaze
KR102518404B1 (ko) 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
WO2019079894A1 (en) 2017-10-23 2019-05-02 North Inc. MULTIPLE LASER DIODE MODULES WITH FREE SPACES
WO2019135313A1 (ja) * 2018-01-04 2019-07-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10748021B2 (en) 2018-05-11 2020-08-18 Samsung Electronics Co., Ltd. Method of analyzing objects in images recorded by a camera of a head mounted device
US10397519B1 (en) 2018-06-12 2019-08-27 Cisco Technology, Inc. Defining content of interest for video conference endpoints with multiple pieces of content
CN109683705A (zh) * 2018-11-30 2019-04-26 北京七鑫易维信息技术有限公司 眼球注视控制交互控件的方法、装置和系统
US11137875B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Mixed reality intelligent tether for dynamic attention direction
US20220360847A1 (en) * 2019-06-25 2022-11-10 The Regents Of The University Of California Systems and methods for characterizing joint attention during real world interaction
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US20070040799A1 (en) * 2005-08-18 2007-02-22 Mona Singh Systems and methods for procesing data entered using an eye-tracking system
CN102483650A (zh) * 2009-09-11 2012-05-30 Sr兰博斯有限责任公司 通过眼睛控制和合适的交互方法使用通用软件应用的方法及装置
CN102842301A (zh) * 2012-08-21 2012-12-26 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
CN103076876A (zh) * 2012-11-22 2013-05-01 西安电子科技大学 基于视线跟踪与语音识别的字符输入装置和方法
CN103559006A (zh) * 2010-12-08 2014-02-05 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN103649988A (zh) * 2011-05-11 2014-03-19 谷歌公司 视点物体选择

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126142A1 (en) * 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US20070135982A1 (en) * 1995-06-07 2007-06-14 Automotive Technologies International, Inc. Methods for Sensing Weight of an Occupying Item in a Vehicular Seat
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US7438414B2 (en) * 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8830164B2 (en) * 2009-12-14 2014-09-09 Panasonic Intellectual Property Corporation Of America User interface device and input method
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
US10031576B2 (en) * 2010-06-09 2018-07-24 Dynavox Systems Llc Speech generation device with a head mounted display unit
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
CN103999018B (zh) 2011-12-06 2016-12-28 汤姆逊许可公司 响应三维显示对象的用户选择姿势的方法和系统
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8894484B2 (en) 2012-01-30 2014-11-25 Microsoft Corporation Multiplayer game invitation system
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
US20140002352A1 (en) * 2012-05-09 2014-01-02 Michal Jacob Eye tracking based selective accentuation of portions of a display
JP5949319B2 (ja) * 2012-08-21 2016-07-06 富士通株式会社 視線検出装置及び視線検出方法
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
CN109124657B (zh) * 2013-03-11 2021-11-23 亚特兰大儿童医疗保健公司 用于认知和发育状况的检测的系统和方法
JP6214752B2 (ja) * 2014-02-19 2017-10-18 三菱電機株式会社 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US20070040799A1 (en) * 2005-08-18 2007-02-22 Mona Singh Systems and methods for procesing data entered using an eye-tracking system
CN102483650A (zh) * 2009-09-11 2012-05-30 Sr兰博斯有限责任公司 通过眼睛控制和合适的交互方法使用通用软件应用的方法及装置
CN103559006A (zh) * 2010-12-08 2014-02-05 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN103649988A (zh) * 2011-05-11 2014-03-19 谷歌公司 视点物体选择
CN102842301A (zh) * 2012-08-21 2012-12-26 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
CN103076876A (zh) * 2012-11-22 2013-05-01 西安电子科技大学 基于视线跟踪与语音识别的字符输入装置和方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111052042A (zh) * 2017-09-29 2020-04-21 苹果公司 基于注视的用户交互
CN111052042B (zh) * 2017-09-29 2022-06-07 苹果公司 基于注视的用户交互
US11714592B2 (en) 2017-09-29 2023-08-01 Apple Inc. Gaze-based user interactions
US11762619B2 (en) 2017-09-29 2023-09-19 Apple Inc. Controlling external devices using reality interfaces
US11762620B2 (en) 2017-09-29 2023-09-19 Apple Inc. Accessing functions of external devices using reality interfaces
US11314396B2 (en) 2018-05-09 2022-04-26 Apple Inc. Selecting a text input field using eye gaze
CN112368669A (zh) * 2018-06-26 2021-02-12 爱尔康公司 用于输入命令的双目系统
CN111585943A (zh) * 2018-12-12 2020-08-25 托比股份公司 用于流式传输注视数据包的方法、计算机程序和驱动器单元
CN111585943B (zh) * 2018-12-12 2022-03-25 托比股份公司 用于将注视数据包从眼睛跟踪器流式传输到客户端的方法、非易失性数据载体、驱动器单元和计算机系统
US11716365B2 (en) 2018-12-12 2023-08-01 Tobii Ab Method computer program and driver unit for streaming gaze data packets

Also Published As

Publication number Publication date
CN106164818B (zh) 2019-04-26
EP3120224B1 (en) 2017-06-28
WO2015142966A1 (en) 2015-09-24
EP3120224A1 (en) 2017-01-25
US9804753B2 (en) 2017-10-31
US20150268821A1 (en) 2015-09-24

Similar Documents

Publication Publication Date Title
CN106164818A (zh) 使用随着时间的眼睛注视评估进行选择
CN106104423B (zh) 姿势参数调节
CN105009031B (zh) 增强现实设备以及在其上操作用户界面的方法
US10510190B2 (en) Mixed reality interactions
CN105518575B (zh) 与自然用户界面的双手交互
KR102473259B1 (ko) 시선 타겟 애플리케이션 런처
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
RU2684189C2 (ru) Адаптивное распознавание событий
CN108475120A (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
CN110536665A (zh) 使用虚拟回声定位来仿真空间感知
CN106255943A (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
US11017257B2 (en) Information processing device, information processing method, and program
KR20220088962A (ko) 혼합 현실 환경의 가상 사용자 입력 콘트롤들
CN108027657A (zh) 增强和/或虚拟现实环境中的场境敏感用户界面激活
CN106575152B (zh) 可对准的用户界面
CN107810465A (zh) 用于产生绘制表面的系统和方法
CN106462733A (zh) 视线检测校准
CN103761460B (zh) 显示设备上的用户认证
CN107850953A (zh) 用于在虚拟现实环境中引导用户的感官反馈系统和方法
CN106575153A (zh) 虚拟现实环境内基于注视的对象放置
EP2994912A1 (en) Speech to text conversion
CN105393192A (zh) 用于近眼显示器的网状分层菜单显示配置
US11803233B2 (en) IMU for touch detection
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
US20220261085A1 (en) Measurement based on point selection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant