CN104731316B - 基于眼睛跟踪在设备上呈现信息的系统及方法 - Google Patents

基于眼睛跟踪在设备上呈现信息的系统及方法 Download PDF

Info

Publication number
CN104731316B
CN104731316B CN201410534851.4A CN201410534851A CN104731316B CN 104731316 B CN104731316 B CN 104731316B CN 201410534851 A CN201410534851 A CN 201410534851A CN 104731316 B CN104731316 B CN 104731316B
Authority
CN
China
Prior art keywords
user
information
project
threshold time
presented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410534851.4A
Other languages
English (en)
Other versions
CN104731316A (zh
Inventor
纳森·J·彼得森
约翰·卡尔·梅谢
拉塞尔·斯佩格特·范布恩
阿诺德·S·韦克斯勒
罗德·D·沃特曼
冯鑫
霍华德·J·洛克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN104731316A publication Critical patent/CN104731316A/zh
Application granted granted Critical
Publication of CN104731316B publication Critical patent/CN104731316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

本发明提供了基于眼睛跟踪在设备上呈现信息的系统及方法。在一个方面中，一种设备包括：显示器、处理器以及能够由处理器访问的存储器。存储器承载指令，该指令能够由处理器执行以：从与设备通信的至少一个摄像装置接收至少一个信号；至少部分地基于该信号来确定设备的用户正观看显示器的部分；以及响应于确定用户正观看该部分来呈现与呈现在该部分上的项目相关联的信息。

Description

基于眼睛跟踪在设备上呈现信息的系统及方法
技术领域
本申请一般地涉及利用眼睛跟踪在设备上呈现信息。
背景技术
目前，为了在设备上呈现与其上呈现的例如图标或图像有关的信息，用户通常必须采取一系列动作以使该信息被呈现。这不是直观的，而且可能确实是费力的。
发明内容
因此，在第一方面中，一种设备包括：显示器、处理器以及能够由处理器访问的存储器。存储器承载指令，该指令能够由处理器执行以：从与设备通信的至少一个摄像装置接收至少一个信号；至少部分地基于该信号来确定设备的用户正观看显示器的部分；以及响应于确定用户正观看该部分来呈现与呈现在该部分上的项目相关联的信息。
在另一方面中，一种方法包括：在设备处接收来自摄像装置的数据；至少部分地基于该数据来确定该设备的用户观看该设备的显示器的特定区域达至少阈值时间；以及响应于确定用户观看该区域达阈值时间来呈现与呈现在该区域上的特征相关联的元数据。
在又一方面中，一种装置包括：第一处理器、网络适配器以及存储装置，存储装置承载指令，该指令由第二处理器执行以：在显示器上呈现第一图像；从与设备通信的至少一个摄像装置接收至少一个信号，该设备与第二处理器相关联；以及至少部分地基于该信号来确定设备的用户观看第一图像的部分达至少阈值时间。由第二处理器执行的指令还包括：响应于确定用户观看该部分达阈值时间来确定有人的图像是第一图像的所述部分；从第一图像提取关于该人的数据；使用该数据的至少一部分来执行关于该人的信息的搜索；以及在显示器的至少一部分上呈现该信息。第一处理器经由网络适配器通过网络将该指令传递给设备。
可以参照附图来最好地理解本原理的细节(关于其结构和操作)，其中，类似的附图标记表示类似的部分，并且其中：
附图说明
图1是根据本原理的系统的框图；
图2和图3是根据本原理的要由系统执行的逻辑的示例性流程图；
图4至图8是本原理的示例性图示；以及
图9是根据本原理的能够呈现在系统上的示例性设置用户界面(UI)。
具体实施方式
本公开内容一般地涉及基于(例如，消费电子(CE))设备的用户信息。关于本文中所讨论的任何计算机系统，系统可以包括通过网络连接的服务器部件和客户端部件，使得数据可以在客户端部件与服务器部件之间交换。客户端部件可以包括一个或多个计算设备，包括电视机(例如，智能电视机、支持因特网的电视机)、计算机(诸如笔记本电脑和平板电脑)、以及包括智能电话的其他移动设备。作为非限制性示例，这些客户端设备可以使用来自苹果、谷歌或微软的操作系统。可以使用Unix操作系统。这些操作系统可以运行一个或多个浏览器，诸如由微软或谷歌或摩斯拉(Mozilla)或其他浏览器程序得到的浏览器，其可以通过网络(诸如因特网、本地内联网或虚拟专用网)访问由因特网服务器提供的网络应用程序。
如本文中所使用的，指令指的是用于处理系统中的信息的计算机实施的步骤。指令可以以软件、固件或硬件来实现；因此，根据它们的功能来阐述说明性的部件、块、模块、电路以及步骤。
处理器可以是任何常规的通用单芯片或多芯片处理器，其可以借助于各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器来执行逻辑。此外，除了通用处理器以外，本文中所描述的任何逻辑块、模块以及电路可以在以下中来实现或执行或通过以下来实现或执行：数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其他可编程逻辑器件，诸如被设计成执行本文中所描述的功能的专用集成电路(ASIC)、分立门或晶体管逻辑、分立硬件部件或其任何组合。处理器可以由控制器或状态机或计算设备的组合来实现。
借助于本文中的流程图和/或用户界面所描述的任何软件和/或应用程序可以包括各种子例程、过程等。应当理解的是，被公开为由例如某个模块执行的逻辑可以被重新分配给其他软件模块以及或者在单个模块中组合在一起以及/或者使得能够在可共享的库中得到。
逻辑当以软件实现时可以用适合的语言(诸如但不限于C#或C++)来编写，并且可以存储在计算机可读存储介质(例如，可以不是载波)上或者通过计算机可读存储介质(例如，可以不是载波)来传送，计算机可读存储介质诸如为随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储(诸如数字多功能光盘(DVD))、磁盘存储或包括可拆卸的拇指驱动器的其他磁存储设备等。连接可以建立计算机可读介质。作为示例，这样的连接可以包括硬线线缆，其包括光纤、同轴线以及双绞线。这样的连接可以包括无线通信连接，包括红外和无线电。
在一个示例中，处理器可以通过其输入线从数据存储装置(诸如计算机可读存储介质)来访问信息，和/或处理器可以通过激活无线收发机发送和接收数据来从因特网服务器无线地访问信息。数据在被接收时通常通过处理器的寄存器与天线之间的电路系统而从模拟信号转换成数字信号，并且在被发送时从数字信号转换成模拟信号。然后处理器通过其移位寄存器来处理数据以在输出线上输出经计算的数据，用于在设备上呈现经计算的数据。
包括在一个实施例中的部件可以以任何适当组合用于其他实施例中。例如，本文中所描述的和/或附图中所描绘的各种部件中的任何部件可以与其他实施例结合、互换或从其他实施例中排除。
“具有A、B和C至少之一的系统”(同样地，“具有A、B或C至少之一的系统”和“具有A、B、C至少之一的系统”)包括只有A的系统、只有B的系统、只有C的系统、具有A和B的系统、具有A和C的系统、具有B和C的系统以及/或者具有A、B和C的系统等。
在发明内容、具体实施方式和/或权利要求中使用术语“电路”或“电路系统”。如本领域所熟知的，术语“电路系统”包括所有级别的可得到的集成，例如，从分立逻辑电路到最高级别的电路集成(诸如VLSI)，并且包括被编程以执行实施例的功能的可编程逻辑部件和以指令编程以执行这些功能的通用或专用处理器。
现在具体地参照图1，其示出了计算机系统100(诸如，例如，支持因特网的计算机化电话(例如智能电话)、平板电脑、笔记本电脑或台式计算机、支持因特网的计算机化可佩戴设备(诸如智能手表)、计算机化电视机(TV)(诸如智能TV)等)的示例性框图。由此，在一些实施例中，系统100可以是台式计算机系统，诸如北卡罗来纳州的莫里斯维尔市的联想(美国)股份有限公司所售的或系列的个人计算机之一，或者是工作站计算机，诸如北卡罗来纳州的莫里斯维尔市的联想(美国)有限公司所售的然而，如从本文的说明中明显看出，根据本原理的客户端设备、服务器或其他机器可以包括系统100的其他特征或仅一些特征。
如图1中所示，系统100包括所谓的芯片集110。芯片集指：被设计成一起工作的一组集成电路或芯片。芯片集通常作为单个产品被销售(例如，考虑以品牌等销售的芯片集)。
在图1的示例中，芯片集110具有特定的架构，其可以在一定程度上根据品牌或制造商而有所变化。芯片集110的架构包括经由例如直接管理接口或直接媒体接口(DMI)142或链路控制器144来交换信息(例如，数据、信号、命令等)的内核与存储器控制组120和I/O集线器控制器150。在图1的示例中，DMI142是芯片到芯片接口(有时被称为“北桥”与“南桥”之间的链路)。
内核与存储器控制组120包括经由前端总线(FSB)124来交换信息的一个或多个处理器122(例如，单核或多核等)和存储器控制器集线器126。如本文中所描述的，内核与存储器控制组120的各种部件可以被集成到例如单个处理器裸片上以制造取代常规“北桥”类型架构的芯片。
存储器控制器集线器126与存储器140接口。例如，存储器控制器集线器126可以提供对DDR SDRAM存储器(例如，DDR、DDR2、DDR3等)的支持。一般来说，存储器140是一种随机存取存储器(RAM)。其通常被称为“系统存储器”。
存储器控制器集线器126还包括低压差分信号接口(LVDS)132。LVDS132可以是用于支持显示设备192(例如，CRT、平板、投影仪、支持触摸的显示器等)的所谓的LVDS显示接口(LDI)。块138包括可以经由LVDS接口132(例如，串行数字视频、HDMI/DVI、显示端口)支持的技术的一些示例。存储器控制器集线器126还包括例如用于支持独立显卡136的一个或多个PCI-express(快速)接口(PCI-E)134。使用PCI-E接口的独立显卡已成为加速图形端口(AGP)的替代方式。例如，存储器控制器集线器126可以包括用于外部的基于PCI-E的显卡(包括例如一个或多个GPU)的16通道(x16)PCI-E端口。示例性系统可以包括用于支持图形的AGP或PCI-E。
I/O集线器控制器150包括各种接口。图1的示例包括SATA接口151、一个或多个PCI-E接口152(可选地，一个或多个传统的PCI接口)、一个或多个USB接口153、LAN接口154(更一般地，用于在处理器122的指导下通过至少一个网络(诸如因特网、WAN、LAN等)进行通信的网络接口)、通用I/O接口(GPIO)155、低引脚数(LPC)接口170、电源管理接口161、时钟发生器接口162、音频接口163(例如，用于扬声器194输出音频)、总操作成本(TCO)接口164、系统管理总线接口(例如，多主串行计算机总线接口)165以及在图1的示例中包括BIOS168和引导代码190的串行外围闪存/控制器接口(SPI闪存)166。关于网络连接，I/O集线器控制器150可以包括与PCI-E接口端口多路复用的集成吉比特以太网控制器线。其他网络特征可以独立于PCI-E接口而进行操作。
I/O集线器控制器150的接口提供用于与各种设备、网络等的通信。例如，SATA接口151提供用于在一个或多个驱动器180(诸如HDD、SDD或其组合)上读取信息、写入信息或读取和写入信息，但在任何情况下，驱动器180被理解成例如为可以不是载波的有形计算机可读存储介质。I/O集线器控制器150还可以包括支持一个或多个驱动器180的高级主机控制器接口(AHCI)。PCI-E接口152允许与设备、网络等的无线连接182。USB接口153提供用于输入设备184，诸如键盘(KB)、鼠标以及各种其他设备(例如，摄像装置、电话、存储装置、媒体播放器等)。
在图1的示例中，LPC接口170提供用于一个或多个ASIC171、可信平台模块(TPM)172、超级I/O173、固件集线器174、BIOS支持175以及各种类型的存储器176(诸如ROM177、闪存178以及非易失性RAM(NVRAM)179)的使用。关于TPM172，该模块可以是可以用于对软件设备和硬件设备进行认证的芯片的形式。例如，TPM可以能够执行平台认证并且可以用来验证寻求访问的系统是所期望的系统。
系统100可以被配置成：在接通电源时执行存储在SPI闪存166中的用于BIOS168的引导代码190，此后在一个或多个操作系统和应用程序软件(例如，存储在系统存储器140中)的控制下处理数据。操作系统可以被存储在各个位置中的任何位置中并且例如根据BIOS168的指令被访问。
此外，在一些实施例中，系统100可以包括向处理器122提供输入的一个或多个摄像装置196。摄像装置196可以是例如热成像摄像装置、数字摄像装置(诸如网络摄像装置)和/或集成在系统100中并且能够由处理器122控制以根据本原理搜集图片、图像和/或视频(例如，搜集用户的一个或多个图像和/或跟踪用户的眼睛移动等)的摄像装置。另外，系统100可以包括根据本原理向处理器122提供输入的一个或多个运动传感器197(例如，用于感测手势和/或手势命令的手势传感器)。
在继续进行至图2之前并且如本文中所描述的，应理解的是，根据本原理的系统和设备可以包括比图1的系统100所示的特征较少或较多的特征。在任何情况下，至少基于前述应理解的是，系统100被配置成采用本原理。
现在参照图2，示出了要由设备(诸如系统100)执行的逻辑的示例流程图。在块200处开始，逻辑在采用图2的逻辑的设备的显示器上呈现至少一个项目(例如，文件、日历条目、滚动新闻馈送、来自用户的联系人列表的联系人等)、图标(例如，启动软件应用程序的快捷方式图标)、特征(例如，软件特征)、元素(例如，选择器元素)_、平铺(例如，在平板环境下)、图像(例如，照片)等。简言之，项目、图标、特征、元素、图像等在下面将被称为“项目等”。然后逻辑进行至块202，在块202处，逻辑从与设备通信的至少一个摄像装置接收例如关于用户(例如，用户的脸和/或眼睛移动)的至少一个信号和/或图像数据。然后逻辑进行至判定菱形块204，在判定菱形块204处，逻辑确定用户是否观看显示器的包括项目等(例如，在对象的阈值(例如，显示)距离内的)的部分和/或区域达至少第一阈值时间(例如，没有还通过与设备通信的键盘、鼠标等的操作提供另外的输入)。注意，在一些实施例中，在菱形块204处，逻辑不仅可以确定用户正在观看该部分和/或区域，而且还可以确定用户正在具体观看该项目或至少接近该项目。
在任何情况下，菱形块204处的否定确定使逻辑返回至块202并且从其继续进行。然而，菱形块204处的肯定确定使逻辑进行至块206，在块206处，逻辑定位和/或访问与项目等相关联的第一信息，第一信息可以是例如本地存储在采用图2的逻辑的设备的存储介质上的元数据，可以是通过访问与该项目等相关联的网站(例如，提供与呈现在显示器上的图标相关联的软件的公司的公司网站)在因特网上搜集的信息，在采用图2的逻辑之前由用户提供的和/或由用户输入到设备的关于该项目的信息等。
在块206之后，逻辑进行至块208，在块208处，逻辑响应于确定用户正在具体观看该部分和/或项目等而将第一信息呈现给用户。第一信息可以例如以听觉方式(通过设备上的和/或与设备通信的扬声器)和/或以视觉方式(例如，在设备的显示器上)被呈现。此外，在一些实施例中，第一信息可以在项目等上被呈现，而在其他实施例中，第一信息可以在显示器的除了呈现项目等以外的部分上被呈现。在又一些实施例中，第一信息可以在例如显示器的呈现项目等的至少一部分上和其他部分上被呈现。然而，还应注意的是，第一信息可以在交叠窗口(overlay window)和/或弹出窗口中被呈现。
仍参照块208，还应注意的是，在块208处，诸如在例如项目等是通过观看该项目的用户的眼睛检测其输入的快捷方式图标时，逻辑可以拒绝启动与用户观看的项目相关联的软件应用程序(和/或如果例如已启动的话，拒绝执行软件应用程序的另外的功能)等。在该示例中，当逻辑可以因此确定用户正在观看该图标时，从而向设备提供关于该图标的输入，但与其相关联的基本软件应用程序将不被启动。然而，逻辑可以搜集与图标相关联的元数据，并且将其呈现在正被观看的图标旁的弹出窗口中。
仍参照图2，在块208之后，逻辑进行至判定菱形块210。在判定菱形块210处，逻辑确定用户是否观看(例如，当在菱形块204处做出肯定确定时继续观看而没有将他们的眼睛转向显示器的其他部分)该部分和/或具体地观看该项目等(例如，对象的阈值(例如，显示)距离内)达至少第二阈值时间(例如，没有还通过与设备通信的键盘、鼠标等的操作提供另外的输入)。在一些实施例中，在描述第二阈值时间时，其可以具有与第一阈值时间相同的时间长度，而在其他实施例中，其可以具有不同的时间长度。此外，当例如第二阈值时间从逻辑确定用户初始观看项目等时开始(即使其早于第一阈值时间的截止时间)时，逻辑可以确定用户是否观看项目等达第二阈值时间。然而，在其他实施例中，第二阈值时间可以从当逻辑在菱形块204处确定用户至少基本上观看该项目达第一阈值时间时开始。
仍参照菱形块210，菱形块210处的肯定确定使逻辑进行至块212，稍后将描述块212。然而，菱形块210处的否定确定使逻辑进行至判定菱形块214。在判定菱形块214处，逻辑基于例如来自摄像装置和/或来自运动传感器(诸如上述传感器197)的输入来确定用户是否做出能够由设备识别、辨别和/或检测的(例如，预定义的)手势。
菱形块214处的否定确定使逻辑进行至判定菱形块218，稍后将描述判定菱形块218。然而，菱形块214处的肯定确定使逻辑进行至块212。在块212处，逻辑定位和/或访问与项目等相关联的第二信息，第二信息可以是例如本地存储在采用图2的逻辑的设备的存储介质上的另外的元数据，可以是通过访问与项目等相关联的网站在因特网上搜集的另外的信息，可以是在采用图2的逻辑之前由用户提供给设备的关于项目的另外的信息等。由此，应理解的是，第二信息可以不同于第一信息，和/或第二信息可以包括至少一些第一信息还有另外的信息。
逻辑从块212进行至块216，在块216处，逻辑响应于确定用户具体观看该部分和/或项目等达第二阈值时间而将第二信息呈现给用户。第二信息可以例如以听觉方式(通过设备上的和/或与设备通信的扬声器)和/或以视觉方式(例如，在设备的显示器上)被呈现。此外，在一些实施例中，第二信息可以在项目等上被呈现，而在其他实施例中，第二信息可以在显示器的除了呈现项目等以外的部分上被呈现。在又一些实施例中，第二信息可以在例如显示器的呈现项目等的至少一部分上和其他部分上被呈现。然而，还应注意的是，第二信息可以在交叠窗口和/或弹出窗口中被呈现。
仍参照块216，还应注意的是，在块216处，诸如当检测到在菱形块214处确定由用户做出的手势并且该手势与启动软件应用程序和/或正具体地观看的软件应用程序相关联时，逻辑可以启动与用户所观看的项目等相关联的软件应用程序(和/或如果例如已启动的话，执行软件应用程序的另外的功能)。
在块216之后，逻辑进行至判定菱形块218。在菱形块218处，逻辑确定第三阈值时间是否已达到和/或过去，其中，第三阈值时间与第一信息和/或第二信息是否应被移除有关。在一些实施例中，第三阈值时间可以具有与第一阈值时间和第二阈值时间相同的时间长度，而在其他实施例中，可以具有与第一阈值时间和第二阈值时间之一或两者不同的时间长度。此外，在第三阈值时间从当逻辑确定用户初始观看项目等时开始(即使早于第一阈值时间和/或第二阈值时间的截止时间)时，逻辑可以确定用户是否观看项目等达第三阈值时间。然而，在其他实施例中，第三阈值时间可以从当逻辑在菱形块204处确定用户至少基本上观看项目等达第一阈值时间时开始以及/或者从当逻辑在菱形块210处确定用户至少基本上观看项目等达第二阈值时间时开始。
在任何情况下，菱形块218处的否定确定使逻辑继续在其处进行确定直到诸如做出肯定确定时为止。在菱形块218处做出肯定确定时，逻辑进行至块220。在块220处，逻辑从显示器移除第一信息和/或第二信息(如果被呈现于其上)以及或者停止以听觉方式将其呈现。
参照图3继续详细描述，其示出了可以与图2的逻辑结合使用的和/或并入图2的逻辑中的和/或可以独立采用的逻辑。然而，在块222处，逻辑根据本原理在采用图3的逻辑的设备的显示器上呈现图像。然后，在块224处，逻辑从与设备通信的至少一个摄像装置接收与例如用户的眼睛移动和/或指向图像的用户注视有关的至少一个信号和/或数据。然后，逻辑进行至判定菱形块226，在判定菱形块226处，逻辑至少部分地基于该信号来确定用户是否观看第一图像的具体的和/或特定的部分达至少阈值时间(例如，连续地而用户的眼睛没有转向图像的另外的部分和/或其他地方)。菱形块226处的否定确定使逻辑在其处继续进行确定直到做出肯定确定为止。
一旦在菱形块226处做出肯定确定，则逻辑进行至判定菱形块228。在菱形块228处，逻辑确定有人的图像是否是图像的一部分，并且甚至可以确定例如该部分是否具体包括脸的图像。在菱形块228处的否定确定使逻辑返回至块224并且从其继续进行。在菱形块228处的肯定确定使逻辑进行至块230，在块230处，逻辑从图像中提取关于该部分中的人的数据(例如，识别图像自身中的图像的对象提取)。还是在块230处，逻辑可以将图像的正被观看的这部分例如绿化或灰化以向用户传达设备已检测到用户眼睛的注意力指向这里并且因此设备在获取关于该部分中所示内容的信息的处理中。然后，逻辑进行至块232，在块232处，逻辑使用在块230处提取的数据的至少一部分，通过例如搜索存储在设备的计算机可读存储介质上的关于人的信息来在设备上本地执行关于人的信息的搜索。例如，可以访问用户的联系人列表以使用脸部识别来搜索联系人列表中与此人的图像(用户的注意力已指向该人的图像至少阈值时间)匹配的图像，由此识别联系人列表中的人并且提供关于此人的信息。注意，尽管如此，本地信息和从远程源获取的信息可以用于诸如例如搜索用户的联系人列表和/或使用个人本地存储的登录信息来搜索社交网络账号以确定具有与提取的数据匹配的脸的用户的朋友。
逻辑从块232进行至判定菱形块234，在判定菱形块234处，逻辑基于本地搜索确定是否已定位关于人的至少一些信息。菱形块234处的肯定确定使逻辑进行至块242，稍后将描述块242。然而，菱形块234处的否定确定使逻辑进行至块236。
在块236处，逻辑使用在块230处提取的数据的至少一部分，通过例如使用搜索引擎(诸如基于图像的因特网搜索引擎和/或脸部识别搜索引擎)来执行关于人的信息的因特网搜索。然后，逻辑进行至判定菱形块238。在菱形块238处，逻辑基于例如因特网搜索确定是否已从图像的部分定位关于人的至少一些信息。在菱形块238处的肯定确定使逻辑进行至块242，在块242处，逻辑呈现已定位的至少一部分信息。然而，在菱形块238处的否定确定使逻辑进行至块240，在块240处，逻辑可以例如以听觉方式表明和/或在设备的显示器上表明对于被观看了阈值时间的图像部分中的人无信息可以被定位。
在继续进行至图4之前，应理解的是，虽然在图3所示的示例逻辑中逻辑响应于确定本地存储在设备上的信息无法被定位来执行因特网搜索，但是在一些实施例中，可以在搜索其他信息之前不考虑例如从一个来源定位的信息来执行本地搜索和因特网搜索。由此，在一些实施例中，在块242处，逻辑可以呈现来自两个搜索的信息。
现在参照图4，其示出了根据本原理的呈现在显示器上的项目等及其相关信息的示例图示250。应理解的是，可以例如在根据本原理的设备检测到用户观看特定项目等达如本文所述的至少一个阈值时间时呈现图4中所示的内容。图示250示出了显示器和/或其上可呈现的用户界面(UI)，其包括设备能够访问的和/或存储在设备上的用户的联系人的多个联系人项目252。由此，联系人项目252包括关于特定的人的联系人项目254，应理解的是，项目254是至少部分使用设备的摄像装置所检测的被用户观看了阈值时间的项目。由此，交叠窗口256响应于用户观看联系人项目254达阈值时间而被呈现，并且除了已被呈现的关于联系人项目254的任何信息之外，包括窗口256中的至少一些信息和/或元数据。
现在参照图5，其示出了能够由设备264(诸如系统100)检测的人260在自由空间内做出竖起拇指的手势的示例性图示258。如图示258中所示，根据本原理，信息266(例如，在一些实施例中，根据图2的第二信息)呈现在设备264的显示器268上(例如，响应于在用户继续观看项目254时达到阈值时间)。由此，应理解的是，例如，可以响应于达到参照图2所讨论的第一阈值来呈现图4中所示内容，而可以响应于达到参照图2所讨论的第二阈值来呈现图5中所示内容。
参照图6继续进行详细描述，其还示出了示例图示270，该图示270与根据本原理呈现在显示器上的音频视频相关(AV)项目等以及与其相关的信息有关。应理解的是，例如，可以在根据本原理的设备检测到用户观看特定项目等达如本文中所描述的至少一个阈值时间时呈现图6中所示内容。
图示270示出了显示器和/或其上能够呈现的用户界面(UI)，其包括用于能够由设备访问的和/或存储在设备上的AV内容、视频内容和/或音频内容的多个AV项目272。由此，应理解的是，在一些实施例中，所示的UI可以是电子节目指南。在任何情况下，项目272可以包括关于特定电影的电影项目274，应理解的是，项目274是至少部分使用设备的摄像装置所检测的用户观看了阈值时间的项目。由此，根据本原理，交叠窗口276响应于用户观看项目274达阈值时间而被呈现，并且包括窗口276中的至少一些信息和/或元数据。如图所示，窗口276包括电影的标题以及其放映信息、收视率、剧情简介以及涉及其制作的人员的列表。
转到图7，其还示出了根据本原理的人280观看设备283(诸如上述系统100)上的图像282的示例图示278。应理解的是，可以在例如设备检测到用户观看图像282的一部分(在该情况下为如图像中所表示的布雷特·法弗(Brett Favre)的脸)达如本文所描述的至少一个阈值时间时呈现图7中所示的内容。根据本原理，交叠窗口284响应于用户观看布雷特·法弗的脸的至少一部分达阈值时间而被呈现，并且包括(例如，一般地)与布雷特·法弗有关的窗口284中的至少一些信息和/或元数据。如图所示，窗口284包括以下的表示：布雷特·法弗以什么为生(例如，踢足球)，表示他的出生全名和关于他的足球生涯的信息以及他的生日、身高、配偶、教育和/或学校以及他的孩子。应当理解的是，窗口284中示出的信息可以是例如通过从包括布雷特·法弗的脸的图像的一部分提取数据然后使用基于图像的因特网搜索引擎来使用该数据对于与布雷特·法弗有关的信息进行搜索而通过因特网访问的信息。
现在参照图8，其示出了根据本原理的人288正观看设备292(诸如上述系统100)上的图像290的又一示例图示286。应理解的是，可以在例如设备检测到用户观看图像290的一部分(在该情况下为集体照中的特定的人)达如本文中所描述的至少一个阈值时间时呈现图8中所示内容。根据本原理，交叠窗口294响应于用户观看该特定的人的至少一部分达阈值时间而被呈现，并且包括窗口294中的与此人有关的至少一些信息和/或元数据。如图所示，窗口294包括以下的表示：此人在什么公司部门工作、他们在什么办公地点工作、他们的联系信息是什么、以及他们的日历表示他们现在和/或近期将做什么。
参照图9继续进行详细描述，其示出了根据本原理的能够在设备(诸如系统100)上呈现以对与如本文中所阐述的检测用户的眼睛注视并且响应于此而呈现信息相关联的设置进行配置的示例性设置用户界面(UI)。UI300包括第一设置302，其用于用户提供输入(例如，使用所示的无线电按钮)，用于选择例如在观看项目达阈值时间之后(例如，而不是在用户观看显示器的一部分时总是和到处呈现信息，这可能在例如在设备上观看完整长度的影片时分心)呈现其信息的一个或多个类型的项目。由此，还示出了第二设置304，其用于对设备进行配置，以在一些实例中即使当例如用户的注视可以被检测为如本文中所阐述的观看部分/项目达阈值时间时也不具体呈现信息。
示出了用于用户定义如本文中所描述的第一阈值时间的时间长度的又一设置305，连同用于输入所期望的特定时间(例如，在该实例中，五秒)的输入框和时间单位框。注意，秒的时间单位可以不是由用户输入的唯一的时间单位，而是也可以是例如分钟或小时。在任何情况下，示出了用于用户定义如本文中所描述的第二阈值时间的时间长度的设置306，连同用于输入所期望的特定时间(例如，在该实例中，十秒)的输入框和时间单位框。示出了用于用户定义如本文中所描述的第三阈值时间的时间长度以移除可能已呈现的信息的又一设置308，连同用于输入所期望的特定时间(例如，在该示例中，二十五秒)的输入框和时间单位框。
设置UI300还可以包括设置310，其用于用户提供输入以限制如上所述(例如，参照图2)的响应于用户观看项目达第一阈值时间而呈现的第一信息的量，在这种情况下，如图所示，两百个字符被输入到输入框。示出了设置312，其用于如果期望的话由用户提供是否限制如上所述的(例如，参照图2)响应于用户观看项目达第二阈值时间而呈现的第二信息的量的输入。由此，示出了用于设置312的是选择器元素和否选择器元素，其能够被选择用于分别将设备配置成或不将设备配置成限制呈现的第二信息的量。还示出了用于设置312的输入框，其用于将第二信息限制为特定数目的字符，在该情况下，例如为八百个字符。
除前述以外，UI300包括设置314，其用于基于对设置314所示的是选择器元素或否选择器元素的相应选择而将设备配置成以听觉方式呈现或不呈现第一信息和/或第二信息。注意，虽然仅示出了用于以听觉方式呈现信息的一个设置，但是可以对于第一信息和第二信息配置单独的设置(例如，不以听觉方式呈现第一信息，但是以听觉方式呈现第二信息)。
还示出了设置316，其用于基于对所示的设置316的是选择器元素或否选择器元素的相应选择，确定如本文中所描述的第二阈值时间届满时是否启动可以与正被观看的项目相关联的应用程序。示出了又一设置318，其用于出于本文中所公开的目的将设备配置成接收、识别和/或关联一个或多个预定义手势。由此，示出了定义选择器元素320，其能够被选择以例如输入到设备并且根据用户偏好定义一个或多个手势(例如，通过呈现用于将设备配置成识别出于当前目的而输入的手势的一系列配置提示)。
在没有参照任何特定附图的情况下，应理解的是，可以根据本原理呈现屏幕上的光标。例如，由于设备随用户的注意力遍历显示器的各个部分而跟踪用户的眼睛，所以设备的光标(例如，其还可以通过操作与设备通信的鼠标来操作)可以移动到与在任何特定时刻的用户的注意力位置对应的位置。尽管如此，光标可以也基于用户的注意力指向的位置而从一个地方“略过”或“跳”到另一个地方。例如，如果用户观看显示器屏幕的右上角而光标在左下角，则光标可以保持在那里直到例如达到上述第一阈值时间为止，在此点，光标可以在没有另外的用户输入的情况下自动地停止出现在左下角中并且相反地出现在右上角中位于或至少接近用户的注意力指向的地方。
还是在没有参照任何特定附图的情况下，应理解的是，在一些实施例中，上面参照图2所描述的第一信息可以例如是与可以响应于例如使用鼠标在无论什么项目上右击和/或光标在项目上方悬停而呈现的信息相同类型的信息。还应理解的是，在一些实施例中，上面参照图2所描述的第二信息可以例如是与可以响应于例如使用鼠标在无论什么项目上左击而呈现的信息相同类型的信息。
还应注意的是，虽然在上面已经针对关于是否呈现第一信息和第二信息和/或图像信息的确定描述了时间阈值，但是可以根据本原理采用进行这样的确定的其他方式。例如，可以根据本原理使用眼睛跟踪软件来基于眼睛运动学进行这样的确定，包括高于或低于加速度阈值加速到对象或离开对象，高于或低于加速度阈值减速到对象，抖动识别和阈值，以及速度和/或速率识别和阈值。
此外，本原理认识到指向特定项目等的用户的注意力可以无需在整个时间完全不动直到达到第一阈值和第二阈值为止。在这样的实例中，诸如在判定菱形块204、210和226处做出的确定可以是例如在相应的阈值时间内用户的眼睛移动小于阈值量和/或阈值距离(例如，从指向项目等的初始眼睛位置开始)的确定。
由此，在一些实施例中，可以使用移动定向眼睛数据来确定眼睛移动和/或位置值，然后可以将其与多个阈值相比较以解释用户的意图(例如，用户是否继续观看显示器上的项目或已将其注意力转到显示器上的其他地方)。例如，在用户的眼睛超过加速度阈值并且超过抖动(也称为摇动)阈值时，可以确定用户的眼睛移动表明用户将注意力从正被观看的对象转开的分心移动。另外，在一些实施例中，可以将移动值和/或位置值与多个(例如，用户)简档(profile)进行比较以解释用户的意图。例如，在速率值匹配钟形曲线的情况下，可以将用户的眼睛移动解释为短程移动，由此确定用户仍意图观看呈现在屏幕上的在眼睛移动之前观看的特定对象。在一些实施例中，可以将移动值和/或位置值与阈值和简档进行比较以解释用户的意图。例如，在速率值匹配钟形曲线并且加速度值超过阈值的情况下，可以将用户的移动解释为远程移动(例如，离开正观看的项目)。
此外，根据本原理的设备可以将生物测量数据值的量限制为预定的“窗口”尺寸，其中窗口尺寸与用户的反应时间对应。使用大于用户的反应时间的窗口尺寸可以提高可靠度，这是由于其保证所检测到的移动是有意识的移动(即，将注意力从正被观看的对象移开的反应)，而不是用户例如仍意图观看该对象(例如，阈值时间)的因噪声导致的假象或误报、被动移动等。
还应理解的是，根据本原理的设备可以根据眼睛移动定向数据确定移动(例如，加速度)值。例如，在眼睛数据包括位置值和时间值的情况下，设备可以得到与时间值对应的加速度值。在一些实施例中，设备可以根据眼睛数据确定位置值、速率值和/或抖动值。设备可以包括用于计算积分和/或导数以根据眼睛数据获得移动值的电路系统。例如，设备可以包括用于计算位置数据的二阶导数的电路系统。
由此，设备可以基于已确定的移动值来解释用户的移动意图。例如，设备可以确定用户是否意图执行短程动作(例如，在仍在观看与之前呈现在显示器上相同的项目时)或远程动作(例如，将目光从呈现在显示器上的项目转向别处)。在一些实施例中，可以将加速度值、速率值、位置值和/或抖动值与阈值和/或简档相比较以解释用户意图。例如，设备可以在速率值匹配钟形曲线分布的情况下确定用户意图进行短程移动。在一些实施例中，可以将移动值(例如，加速度值、速率值、位置值和/或抖动值)与阈值和简档的组合相比较以解释用户的意图。例如，在速度值匹配钟形曲线并且加速度值超过阈值的情况下，用户的移动可以被解释为远程移动(例如，离开正观看的对象)。
由此，应理解的是，在一些实施例中，设备可以存储用于对用户移动进行分类的一个或多个位置简档。例如，设备可以存储与设备的显示器内短程移动对应的位置简档。
此外，可以基于确定是否满足一个或多个触发根据本原理来(例如，初始)检验移动值。触发可以基于例如位置、速率和/或加速度，并且向设备指示出现了需要解释的移动(例如，所检测到的眼睛移动是否表明用户正将目光从观看的项目转向别处或者甚至在给出眼睛移动的情况下也继续观看)。一旦满足触发，则可以解释移动值以确定用户的意图。
在总结之前，还要注意的是，例如，虽然图3和本文中讨论的一些图示涉及确定人是否在图像的特定区域中，但是相同的原理和/或确定以及其他逻辑步骤作必要修改后适用于在图像的特定部分中除人和/或脸之外的对象。例如，响应于设备确定用户正在观看图像的特定区域，逻辑可以确定用户正在观看包括在其中的特定对象，提取关于该对象的数据，以及使用所提取的数据来执行搜索以返回关于该对象的信息。
现在基于本原理应当理解的是，可以使用眼睛跟踪软件来检测用户感兴趣的项目，由此提供关于该项目或与其相关联的基本特征的信息。例如，关注于日历上的特定日子的用户可以使关于该日子的详情(诸如，例如在日历中注释的生日、周年、约会等)被呈现。作为另一示例，观看文件或照片达阈值时间可以使关于该项目的附加详情(诸如，例如照片数据和/或位置、设置等)被呈现。作为又一示例，观看动态平铺或新闻馈送滚动达阈值时间可以使关于该文章或新闻的更多的详情被呈现，包括例如文章本身的节选。
本原理还认识到：例如，上述逻辑步骤可以被采用用于触屏设备和非触屏设备。
本原理进一步认识到：虽然例如用于采用本原理的软件应用程序可以与设备(诸如系统100)一起出售，但是应理解的是，本原理适用于这样的实例：其中，这样的应用程序例如通过诸如因特网的网络从服务器下载到设备。
虽然在本文中示出并且详细描述了具体的“基于眼睛跟踪在设备上呈现信息的系统和方法”，但是应理解的是，本申请所包含的主题由权利要求来限定。

Claims (15)

1.一种设备，包括：
显示器；
处理器；
存储器，能够由所述处理器访问并且承载指令，所述指令能够由所述处理器执行以：
从与所述设备通信的至少一个摄像装置接收至少一个信号；
至少部分地基于所述信号，确定所述设备的用户正观看所述显示器的部分；以及
响应于确定所述用户正观看所述部分，呈现与呈现在所述部分上的项目相关联的信息；
其中，所述信息响应于确定所述用户至少基本上观看所述项目达阈值时间而被呈现；所述信息是第一信息，并且所述阈值时间是第一阈值时间，并且其中，所述指令还能够由所述处理器执行以：
判断所述用户至少基本上观看所述项目是否达到第二时间阈值；
若确定未达到所述第二时间阈值，判断所述用户是否正在作出预定手势，
当确定所述用户正在作出所述预定手势时，响应于确定所述用户正在做出所述预定手势来呈现与所述项目相关联的第二信息，所述第二信息与所述第一信息不同；
其中，若所述预定手势与启动软件应用程序和/或与所述用户正在观看的软件应用程序相关联时，则响应于启动与所述用户正在观看的项目相关联的软件应用程序。
2.根据权利要求1所述的设备，其中，所述指令还能够由所述处理器执行以：
确定所述用户至少基本上观看所述项目达第二阈值时间；以及
响应于确定所述用户至少基本上观看所述项目达所述第二阈值时间来呈现与所述项目相关联的第二信息，所述第二信息与所述第一信息不同。
3.根据权利要求1所述的设备，其中，所述指令还能够由所述处理器执行以：
确定所述用户至少基本上观看所述项目达第二阈值时间；以及
响应于确定所述用户至少基本上观看所述项目达所述第二阈值时间来呈现与所述项目相关联的第二信息，所述第二信息包括所述第一信息以及与所述项目相关联的附加信息。
4.根据权利要求1所述的设备，其中，所述指令还能够由所述处理器执行以：
确定所述用户至少基本上观看所述项目达第二阈值时间，所述用户至少基本上观看所述项目达所述第二阈值时间的确定是在所述用户观看所述部分达所述第一阈值时间的确定之后的确定，所述第二阈值时间的长度与所述第一阈值时间的长度不同；以及
响应于确定所述用户至少基本上观看所述项目达所述第二阈值时间来呈现与所述项目相关联的第二信息。
5.根据权利要求4所述的设备，其中，所述第二阈值时间从当所述处理器确定所述用户初始至少基本上观看所述项目时开始。
6.根据权利要求4所述的设备，其中，所述第二阈值时间从当所述处理器确定所述用户至少基本上观看所述项目达所述第一阈值时间时开始。
7.根据权利要求1所述的设备，其中，所述部分是第一部分，并且所述信息呈现在所述显示器上，并且其中，所述信息呈现在所述显示器的不包括所述第一部分的第二部分上。
8.根据权利要求7所述的设备，其中，所述信息呈现在所述第二部分上的窗口中。
9.根据权利要求7所述的设备，其中，所述信息响应于确定所述用户至少基本上观看所述项目达第一阈值时间而被呈现，并且其中，所述指令还能够由所述处理器执行以在第二阈值时间之后从所述显示器的所述第二部分移除所述信息。
10.根据权利要求1所述的设备，其中，所述信息至少通过与所述设备通信的扬声器以听觉方式被呈现给所述用户。
11.根据权利要求1所述的设备，其中，所述信息在无需启动与所述项目相关联的软件应用程序的情况下被呈现。
12.根据权利要求1所述的设备，其中，所述信息在除了所述用户观看所述部分以外无需用户输入的情况下被呈现在所述部分上。
13.一种方法，包括：
在设备处接收来自摄像装置的数据；
至少部分地基于所述数据，确定所述设备的用户观看所述设备的显示器的特定区域达至少阈值时间；以及
响应于确定所述用户观看所述区域达所述阈值时间，呈现与呈现在所述区域上的特征相关联的元数据；
所述元数据是第一元数据，并且所述阈值时间是第一阈值时间，并且其中，所述方法还包括：
呈现与所述特征相关联的第二元数据，所述第二元数据与所述第一元数据不同，所述第二元数据响应于确定所述用户正在进行选自包括下述的组的动作而被呈现：
判断所述用户至少基本上观看所述区域是否达到第二时间阈值，若确定未达到所述第二时间阈值，判断所述用户是否正在作出预定手势；
其中，若作出的所述预定手势与启动软件应用程序和/或与所述用户正在观看的软件应用程序相关联时，则启动与所述用户正在观看的项目相关联的软件应用程序。
14.根据权利要求13所述的方法，
所述第二元数据还响应于确定所述用户正在进行选自包括下述的组的动作而被呈现：观看所述特定区域达第二阈值时间。
15.根据权利要求13所述的方法，其中，在无需启动与所述特征相关联的软件应用程序的情况下呈现所述元数据。
CN201410534851.4A 2013-12-18 2014-10-11 基于眼睛跟踪在设备上呈现信息的系统及方法 Active CN104731316B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/132,663 US20150169048A1 (en) 2013-12-18 2013-12-18 Systems and methods to present information on device based on eye tracking
US14/132,663 2013-12-18

Publications (2)

Publication Number Publication Date
CN104731316A CN104731316A (zh) 2015-06-24
CN104731316B true CN104731316B (zh) 2019-04-23

Family

ID=53192783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410534851.4A Active CN104731316B (zh) 2013-12-18 2014-10-11 基于眼睛跟踪在设备上呈现信息的系统及方法

Country Status (3)

Country Link
US (1) US20150169048A1 (zh)
CN (1) CN104731316B (zh)
DE (1) DE102014118109A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US10317994B2 (en) * 2015-06-05 2019-06-11 International Business Machines Corporation Initiating actions responsive to user expressions of a user while reading media content
CN105094604A (zh) * 2015-06-30 2015-11-25 联想(北京)有限公司 一种信息处理方法及电子设备
US10444972B2 (en) * 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
DE102016224246A1 (de) * 2016-12-06 2018-06-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Interaktion mit einer grafischen Benutzerschnittstelle
CN110114752B (zh) * 2016-12-28 2023-04-04 雷蛇(亚太)私人有限公司 显示文本的字符串的方法和可穿戴装置
DE102017107447A1 (de) * 2017-04-06 2018-10-11 Eveline Kladov Anzeigevorrichtung und Verfahren zum Betrieb einer Anzeigevorrichtung
US20180357670A1 (en) * 2017-06-07 2018-12-13 International Business Machines Corporation Dynamically capturing, transmitting and displaying images based on real-time visual identification of object
US10332378B2 (en) * 2017-10-11 2019-06-25 Lenovo (Singapore) Pte. Ltd. Determining user risk
ES2717526A1 (es) * 2017-12-20 2019-06-21 Seat Sa Método para gestionar una representación gráfica de al menos un mensaje en un vehículo
CN109151176A (zh) * 2018-07-25 2019-01-04 维沃移动通信有限公司 一种信息获取方法及终端
CN109815409B (zh) * 2019-02-02 2021-01-01 北京七鑫易维信息技术有限公司 一种信息的推送方法、装置、穿戴设备及存储介质
CN115762739B (zh) * 2022-11-23 2023-08-04 广东德鑫医疗科技有限公司 一种基于物联网的医疗设备故障报备平台及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101379456A (zh) * 2006-02-01 2009-03-04 托比伊科技公司 在计算机系统中图形反馈的产生
CN103329163A (zh) * 2011-01-07 2013-09-25 三星电子株式会社 用于收集内容的方法及装置

Family Cites Families (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
JP3025173B2 (ja) * 1995-04-13 2000-03-27 シャープ株式会社 データベース検索システム
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
US5886683A (en) * 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
US5898423A (en) * 1996-06-25 1999-04-27 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven captioning
US6437758B1 (en) * 1996-06-25 2002-08-20 Sun Microsystems, Inc. Method and apparatus for eyetrack—mediated downloading
US5831594A (en) * 1996-06-25 1998-11-03 Sun Microsystems, Inc. Method and apparatus for eyetrack derived backtrack
US5731805A (en) * 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6758755B2 (en) * 1996-11-14 2004-07-06 Arcade Planet, Inc. Prize redemption system for games executed over a wide area network
US8944909B2 (en) * 1996-11-14 2015-02-03 Bally Gaming, Inc. Gaming system having a plurality of players and randomly incremented progressive prize
US8821258B2 (en) * 1996-11-14 2014-09-02 Agincourt Gaming, Llc Method for providing games over a wide area network
WO2000018287A1 (en) * 1998-09-25 2000-04-06 Case Western Reserve University Acquired pendular nystagmus treatment device
US6577329B1 (en) * 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
US6120461A (en) * 1999-08-09 2000-09-19 The United States Of America As Represented By The Secretary Of The Army Apparatus for tracking the human eye with a retinal scanning display, and method thereof
GB2372859B (en) * 1999-12-01 2004-07-21 Amicus Software Pty Ltd Method and apparatus for network access
JP4235340B2 (ja) * 2000-04-04 2009-03-11 キヤノン株式会社 情報処理装置及び情報処理方法
US20070078552A1 (en) * 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
US6873314B1 (en) * 2000-08-29 2005-03-29 International Business Machines Corporation Method and system for the recognition of reading skimming and scanning from eye-gaze patterns
US7197165B2 (en) * 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US7206022B2 (en) * 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US8307296B2 (en) * 2003-10-17 2012-11-06 Palo Alto Research Center, Incorporated Systems and methods for effective attention shifting
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
DK2202609T3 (en) * 2004-06-18 2016-04-25 Tobii Ab Eye control of computer equipment
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US7738684B2 (en) * 2004-11-24 2010-06-15 General Electric Company System and method for displaying images on a PACS workstation based on level of significance
US7573439B2 (en) * 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
US7576757B2 (en) * 2004-11-24 2009-08-18 General Electric Company System and method for generating most read images in a PACS workstation
JP4645299B2 (ja) * 2005-05-16 2011-03-09 株式会社デンソー 車載用表示装置
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8725729B2 (en) * 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
US9606621B2 (en) * 2006-07-28 2017-03-28 Philips Lighting Holding B.V. Gaze interaction for information display of gazed items
EP2042969A1 (en) * 2007-09-28 2009-04-01 Alcatel Lucent Method for determining user reaction with specific content of a displayed page.
US8077915B2 (en) * 2007-10-12 2011-12-13 Sony Ericsson Mobile Communications Ab Obtaining information by tracking a user
US8693737B1 (en) * 2008-02-05 2014-04-08 Bank Of America Corporation Authentication systems, operations, processing, and interactions
US8166034B2 (en) * 2008-03-26 2012-04-24 Fujifilm Corporation Saving device for image sharing, image sharing system, and image sharing method
US20100045596A1 (en) * 2008-08-21 2010-02-25 Sony Ericsson Mobile Communications Ab Discreet feature highlighting
WO2010026520A2 (en) * 2008-09-03 2010-03-11 Koninklijke Philips Electronics N.V. Method of performing a gaze-based interaction between a user and an interactive display system
US8160311B1 (en) * 2008-09-26 2012-04-17 Philip Raymond Schaefer System and method for detecting facial gestures for control of an electronic device
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
EP2371110A4 (en) * 2008-12-29 2017-04-19 IDTP Holdings, Inc. Method and device for installing applications on nfc-enabled devices
US8732623B2 (en) * 2009-02-17 2014-05-20 Microsoft Corporation Web cam based user interaction
JP5208810B2 (ja) * 2009-02-27 2013-06-12 株式会社東芝 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
KR101596890B1 (ko) * 2009-07-29 2016-03-07 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8922480B1 (en) * 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
JP2012008686A (ja) * 2010-06-23 2012-01-12 Sony Corp 情報処理装置および方法、並びにプログラム
US8489150B2 (en) * 2010-09-13 2013-07-16 Lg Electronics Inc. Mobile terminal and operation control method thereof
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US8957847B1 (en) * 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
US20120169582A1 (en) * 2011-01-05 2012-07-05 Visteon Global Technologies System ready switch for eye tracking human machine interaction control system
JP5278461B2 (ja) * 2011-02-03 2013-09-04 株式会社デンソー 視線検出装置および視線検出方法
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8594374B1 (en) * 2011-03-30 2013-11-26 Amazon Technologies, Inc. Secure device unlock with gaze calibration
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
US8881051B2 (en) * 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
US8719278B2 (en) * 2011-08-29 2014-05-06 Buckyball Mobile Inc. Method and system of scoring documents based on attributes obtained from a digital document by eye-tracking data analysis
EP2587342A1 (en) * 2011-10-28 2013-05-01 Tobii Technology AB Method and system for user initiated query searches based on gaze data
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
DE112011105941B4 (de) * 2011-12-12 2022-10-20 Intel Corporation Scoring der Interessantheit von interessanten Bereichen in einem Anzeigeelement
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US8941722B2 (en) * 2012-01-03 2015-01-27 Sony Corporation Automatic intelligent focus control of video
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
US9684374B2 (en) * 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
US20150084864A1 (en) * 2012-01-09 2015-03-26 Google Inc. Input Method
US20130198056A1 (en) * 2012-01-27 2013-08-01 Verizon Patent And Licensing Inc. Near field communication transaction management and application systems and methods
US20130201305A1 (en) * 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
US9207843B2 (en) * 2012-03-26 2015-12-08 Nokia Technologies Oy Method and apparatus for presenting content via social networking messages
US20130260360A1 (en) * 2012-03-27 2013-10-03 Sony Corporation Method and system of providing interactive information
JP6096276B2 (ja) * 2012-04-12 2017-03-15 インテル コーポレイション 視線追跡に基づくディスプレイの選択的バックライト
CN104395857A (zh) * 2012-05-09 2015-03-04 英特尔公司 显示器的部分的基于眼球追踪的选择性强调
US8893164B1 (en) * 2012-05-16 2014-11-18 Google Inc. Audio system
US9046917B2 (en) * 2012-05-17 2015-06-02 Sri International Device, method and system for monitoring, predicting, and accelerating interactions with a computing device
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
WO2013183811A1 (en) * 2012-06-08 2013-12-12 Lg Electronics Inc. Portable device and method for controlling the same
US20130340006A1 (en) * 2012-06-14 2013-12-19 Mobitv, Inc. Eye-tracking navigation
US20130340005A1 (en) * 2012-06-14 2013-12-19 Mobitv, Inc. Eye-tracking program guides
US20140071163A1 (en) * 2012-09-11 2014-03-13 Peter Tobias Kinnebrew Augmented reality information detail
US10139937B2 (en) * 2012-10-12 2018-11-27 Microsoft Technology Licensing, Llc Multi-modal user expressions and user intensity as interactions with an application
US9477993B2 (en) * 2012-10-14 2016-10-25 Ari M Frank Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention
US9626072B2 (en) * 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
US20140168054A1 (en) * 2012-12-14 2014-06-19 Echostar Technologies L.L.C. Automatic page turning of electronically displayed content based on captured eye position data
US8930269B2 (en) * 2012-12-17 2015-01-06 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
US8981942B2 (en) * 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US8854447B2 (en) * 2012-12-21 2014-10-07 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
US20140195918A1 (en) * 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US9829971B2 (en) * 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US9864498B2 (en) * 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
CN105339866B (zh) * 2013-03-01 2018-09-07 托比股份公司 延迟扭曲凝视交互
US9035874B1 (en) * 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US20140267094A1 (en) * 2013-03-13 2014-09-18 Microsoft Corporation Performing an action on a touch-enabled device based on a gesture
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US9405771B2 (en) * 2013-03-14 2016-08-02 Microsoft Technology Licensing, Llc Associating metadata with images in a personal image collection
US8876535B2 (en) * 2013-03-15 2014-11-04 State Farm Mutual Automobile Insurance Company Real-time driver observation and scoring for driver's education
US20140266702A1 (en) * 2013-03-15 2014-09-18 South East Water Corporation Safety Monitor Application
US9244527B2 (en) * 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
US20140310277A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Suspending user profile modification based on user context
US20140315531A1 (en) * 2013-04-17 2014-10-23 Donald Joong System & method for enabling or restricting features based on an attention challenge
CN105190515A (zh) * 2013-05-08 2015-12-23 富士通株式会社 输入装置以及输入程序
US20140354533A1 (en) * 2013-06-03 2014-12-04 Shivkumar Swaminathan Tagging using eye gaze detection
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9563283B2 (en) * 2013-08-06 2017-02-07 Inuitive Ltd. Device having gaze detection capabilities and a method for using same
KR20150027614A (ko) * 2013-09-04 2015-03-12 엘지전자 주식회사 이동 단말기
US10108258B2 (en) * 2013-09-06 2018-10-23 Intel Corporation Multiple viewpoint image capture of a display user
US10210761B2 (en) * 2013-09-30 2019-02-19 Sackett Solutions & Innovations, LLC Driving assistance systems and methods
US9451062B2 (en) * 2013-09-30 2016-09-20 Verizon Patent And Licensing Inc. Mobile device edge view display insert
US20150113454A1 (en) * 2013-10-21 2015-04-23 Motorola Mobility Llc Delivery of Contextual Data to a Computing Device Using Eye Tracking Technology
US9530067B2 (en) * 2013-11-20 2016-12-27 Ulsee Inc. Method and apparatus for storing and retrieving personal contact information
US20150156028A1 (en) * 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for sharing information between users of augmented reality devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101379456A (zh) * 2006-02-01 2009-03-04 托比伊科技公司 在计算机系统中图形反馈的产生
CN103329163A (zh) * 2011-01-07 2013-09-25 三星电子株式会社 用于收集内容的方法及装置

Also Published As

Publication number Publication date
DE102014118109A1 (de) 2015-06-18
CN104731316A (zh) 2015-06-24
US20150169048A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
CN104731316B (zh) 基于眼睛跟踪在设备上呈现信息的系统及方法
US11087538B2 (en) Presentation of augmented reality images at display locations that do not obstruct user's view
US11003327B2 (en) Systems and methods for displaying an image capturing mode and a content viewing mode
US10387570B2 (en) Enhanced e-reader experience
US10895961B2 (en) Progressive information panels in a graphical user interface
US10921979B2 (en) Display and processing methods and related apparatus
CN105408847B (zh) 用户终端和及其显示锁定屏幕的方法
US9329678B2 (en) Augmented reality overlay for control devices
US10922862B2 (en) Presentation of content on headset display based on one or more condition(s)
US20110154233A1 (en) Projected display to enhance computer device use
US11934640B2 (en) User interfaces for record labels
US9317486B1 (en) Synchronizing playback of digital content with captured physical content
CN103703438A (zh) 基于注视的内容显示器
JP7099444B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016126773A (ja) 視線追跡に基づく触覚効果を生成するシステム及び方法
TW201531917A (zh) 控制裝置、控制方法及電腦程式
CN111314759B (zh) 视频处理方法、装置、电子设备及存储介质
US9875075B1 (en) Presentation of content on a video display and a headset display
US10622017B1 (en) Apparatus, a system, and a method of dynamically generating video data
CN104735517B (zh) 一种信息显示方法及电子设备
US20140132725A1 (en) Electronic device and method for determining depth of 3d object image in a 3d environment image
US20210051245A1 (en) Techniques for presenting video stream next to camera
US10248306B1 (en) Systems and methods for end-users to link objects from images with digital content
US20150347364A1 (en) Highlighting input area based on user input
US9990117B2 (en) Zooming and panning within a user interface

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant