CN105630439A - 基于用户聚焦的在至少部分透明的显示器上的数据呈现 - Google Patents

基于用户聚焦的在至少部分透明的显示器上的数据呈现 Download PDF

Info

Publication number
CN105630439A
CN105630439A CN201510551321.5A CN201510551321A CN105630439A CN 105630439 A CN105630439 A CN 105630439A CN 201510551321 A CN201510551321 A CN 201510551321A CN 105630439 A CN105630439 A CN 105630439A
Authority
CN
China
Prior art keywords
user
transparent display
processor
data
partly transparent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510551321.5A
Other languages
English (en)
Other versions
CN105630439B (zh
Inventor
埃米·利·罗斯
纳森·J·彼得森
约翰·斯科特·克罗
布赖恩·劳埃德·扬
詹尼弗·利-巴龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN105630439A publication Critical patent/CN105630439A/zh
Application granted granted Critical
Publication of CN105630439B publication Critical patent/CN105630439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于用户聚焦的在至少部分透明的显示器上的数据呈现。在一个方面，一种装置包括处理器、对于处理器可访问的至少一个至少部分透明的显示器、对于处理器可访问的至少一个眼睛传感器以及对于处理器可访问的存储器。该存储器载有指令，所述指令可由处理器执行，以在至少部分透明的显示器上的第一位置处呈现内容，以及至少部分地基于来自眼睛传感器的数据，确定用户是正在观看至少基本上第一位置处还是略过第一位置观看。指令还可执行，以响应于确定用户正在略过第一位置观看，从第一位置处的呈现中去除内容。

Description

基于用户聚焦的在至少部分透明的显示器上的数据呈现
技术领域
本申请总体上涉及基于用户聚焦的在至少部分透明的显示器上的数据呈现。
背景技术
数据有时呈现在至少部分透明的显示器上。然而，如本文所认识到的，当试图看穿这种显示器而不是看着这种显示器时，这种数据会阻碍用户的视野。这是令人沮丧的、恼人的，并且甚至是不安全的。
发明内容
因此，在一个方面，一种装置包括处理器、对于处理器可访问的至少一个至少部分透明的显示器、对于处理器可访问的至少一个眼睛传感器以及对于处理器可访问的存储器。该存储器载有指令，所述指令可由处理器执行，以在至少部分透明的显示器上的第一位置处呈现内容，以及至少部分地基于来自眼睛传感器的数据来确定用户是正在观看至少基本上第一位置处还是略过第一位置观看。指令还可执行，以响应于确定用户正在略过第一位置观看而从第一位置处的呈现中去除内容。
在另一方面，一种方法包括在至少部分透明的显示器上呈现信息，确定用户是聚焦到信息上还是略过信息聚焦，以及响应于确定用户略过信息聚焦而从用户的聚焦的方向中去除信息。
在又一方面，一种眼镜包括处理器、对于处理器可访问的至少一个至少部分透明的镜片显示器、对于处理器可访问的至少一个眼睛传感器以及对于处理器可访问的存储器。该存储器载有指令，所述指令可由处理器执行，以在至少一个至少部分透明的镜片显示器上呈现数据，确定眼镜的佩戴者是聚焦到数据上还是聚焦到别处，以及响应于确定佩戴者聚焦到别处而从佩戴者聚焦的方向中去除数据。
附图说明
参照附图可以最佳地理解本原理的细节(关于本原理的结构和操作两者)，在附图中，相同的附图标记指代相同的部分，并且在附图中：
图1是根据本原理的示例系统的框图；
图2是根据本原理的装置的网络的框图；
图3是根据本原理的示例眼镜的透视图；
图4A是根据本原理的车辆的示例主视图，而图4B是可布置在图4A的车辆上的至少部分透明的挡风玻璃显示器的示例框图；
图5是示出根据本原理的示例算法的流程图；
图6和图7是根据本原理的呈现内容和选择器单元的至少部分透明的显示器的示例框图；以及
图8是根据本原理的示例用户接口(UI)。
具体实施方式
本公开总体上涉及基于装置的信息。关于本文所论述的任何计算机系统，系统可以包括服务器组件和客户端组件，服务器组件和客户端组件通过网络连接以使得可以在客户端组件与服务器组件之间交换数据。客户端组件可以包括一个或更多个计算装置，其包括电视(如智能TV、启动互联网TV)、计算机(如桌面计算机、膝上型计算机和平板计算机)、所谓的可变换式装置(例如具有平板配置和膝上型配置)以及包括智能电话的其它移动装置。作为非限制性示例，这些客户端装置可以使用来自Apple、Google或Microsoft的操作系统。可以使用Unix或类似的如Linux操作系统。这些操作系统可以执行一个或更多个浏览器，如由Microsoft或Google或Mozilla或其它浏览器程序得到的浏览器，该其它浏览器程序可以通过网络如因特网、本地内联网或虚拟专用网来访问由因特网服务器所容纳的网络应用程序。
如本文所使用的，指令指代用于处理系统中的信息的计算机实现步骤。可以用软件、固件或硬件来实现指令；因此，可以根据它们的功能来阐明说明性组件、块、模块、电路和步骤。
处理器可以是任何常规的通用单芯片处理器或多芯片处理器，上述单芯片处理器或多芯片处理器可以借助于各种线如地址线、数据线和控制线以及寄存器和移位寄存器来执行逻辑。此外，除了通用处理器以外，本文所描述的任何逻辑块、模块以及电路可以在以下中来实现或执行，或者通过以下来实现或执行：数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其它可编程逻辑器件，如被设计成执行本文中所描述的功能的专用集成电路(ASIC)、分立门或晶体管逻辑、分立硬件组件或其任何组合。处理器可以由控制器或状态机或计算装置的组合来实现。
通过本文的流程图和/或用户接口的方式所描述的任何软件和/或应用程序可以包括各种子例程、程序等。要理解的是，被宣布为由例如模块执行的逻辑可以被重新分配给其它软件模块、和/或一起被组合在单个模块中、和/或在可共享库中变得可用。
当用软件实现逻辑时，可以用适当的语言(例如但不限于C#或C++)来编写逻辑，并且可以将逻辑存储在计算机可读存储介质(例如，其可以不是载波)上，或者通过所述计算机可读存储介质来传输逻辑，所述计算机可读存储介质例如：随机存取储存器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其它光盘存储装置如数字多功能光盘(DVD)、磁盘存储器或包括可移除拇指驱动器的其它磁存储装置等。连接可以建立计算机可读介质。作为示例，这样的连接可以包括：包括光纤和同轴线以及双绞线的硬连线电缆。这样的连接可以包括含红外线和无线电的无线通信连接。
在示例中，处理器可以通过它的输入线从数据存储器如计算机可读存储介质来访问信息，和/或处理器可以通过激活用于发送和接收数据的无线收发器从因特网服务器无线地访问信息。通常通过天线与处理器的寄存器之间的电路系统执行以下：当被接收时，数据从模拟信号转换成数字信号；以及当被发送时，数据从数字信号转换成模拟信号。然后，处理器通过其移位寄存器处理数据以在输出线上输出计算数据，用于计算数据在装置上的呈现。
可以以任何适当的组合将包括在一个实施例中的组件用于其它实施方式中。例如，可以将本文所描述的和/或附图中所示出的各种组件中的任意组件进行组合、互换或者将其从其它实施方式中去除。
“具有A、B和C中的至少一个的系统”(同样地“具有A、B或C中的至少一个的系统”以及“具有A、B、C中的至少一个的系统”)包括以下系统：该系统仅具有A、仅具有B、仅具有C、同时具有A和B、同时具有A和C、同时具有B和C，和/或同时具有A、B和C等。
“具有A、B和C中的一个或更多个的系统”(同样地“具有A、B或C中的一个或更多个的系统”以及“具有A、B、C中的一个或更多个的系统”)包括以下系统：该系统仅具有A、仅具有B、仅具有C、同时具有A和B、同时具有A和C、同时具有B和C，和/或同时具有A、B和C等。
在摘要、说明书和/或权利要求中使用了术语“电路”或“电路系统”。如本领域所已知的，术语“电路系统”包括了例如从分立逻辑电路到最高级别的电路集成如VLSI的所有级别的可用集成，并且包括被编程以执行实施方式的功能的可编程逻辑组件，以及通过指令被编程来执行那些功能的通用处理器或专用处理器。
现在具体参照图1，图1示出了信息处理系统和/或计算机系统100的示例框图。注意，在一些实施方式中，系统100可以是台式计算机系统或工作站计算机，台式计算机系统如由北卡罗来纳州莫里斯维尔的联想(美国)股份有限公司销售的或系列的个人计算机中的一个，工作站计算机如由北卡罗来纳州莫里斯维尔的联想(美国)股份有限公司销售的然而，根据本文的描述明显的是，根据本原理的客户端装置、服务器或其它机器可以包括系统100的仅一些特征或其它特征。此外，系统100例如可以是游戏机如或
如图1中所示，系统100包括所谓的芯片组110。芯片组是指被设计成一起工作的一组集成电路或芯片。芯片组通常作为单个产品销售(例如，考虑在等品牌下销售的芯片组)。
在图1的示例中，芯片组110具有在某种程度上取决于品牌或制造商而变化的特定架构。芯片组110的架构包括经由例如直接管理接口或直接媒体接口(DMI)142或者链路控制器144交换信息(例如数据、信号、命令等)的核和存储器控制组120以及I/O控制器集线器150。在图1的示例中，DMI142是芯片到芯片的接口(有时被称为“北桥”与“南桥”之间的链路)。
核和存储器控制组120包括经由前端总线(FSB)124交换信息的一个或多个处理器122(例如单核或多核等)和存储器控制器集线器126。如本文所描述的，例如，核和存储器控制组120的各种组件可以被集成在单个处理器芯片上，以制造代替传统的“北桥”式架构的芯片。
存储器控制器集线器126与存储器140对接。例如，存储器控制器集线器126可以为DDRSDRAM存储器(例如DDR、DDR2、DDR3等)提供支持。通常，存储器140是一种随机存取存储器(RAM)。存储器140通常被称为“系统存储器”。
存储器控制器集线器126还包括低压差分信号接口(LVDS)132。LVDS132可以是用于支持显示装置192(例如CRT、平板、投影仪、可触控显示器、至少部分透明的显示器等)的所谓的LVDS显示接口(LDI)。块138包括可以经由LVDS接口132(例如串行数字视频、HDMI/DVI、显示端口)来支持的技术的一些示例。存储器控制器集线器126还包括例如用于支持独立显卡136的一个或更多个PCI-快速接口(PCI-E)134。使用PCI-E接口的独立显卡已经成为加速图形端口(AGP)的替选方法。例如，存储器控制器集线器126可以包括用于外部的基于PCI-E的显卡(包括例如多个GPU中的一个)的16路(x16)PCI-E端口。示例系统可以包括用于图形支持的AGP或PCI-E。
I/O集线器控制器150包括多种接口。图1的示例包括SATA接口151、一个或更多个PCI-E接口152(可选地一个或更多个传统的PCI接口)、一个或更多个USB接口153、LAN接口154(更普遍地，在一个或多个处理器122的指示下，用于通过至少一个网络例如因特网、WAN、LAN等进行通信的网络接口)、通用I/O接口(GPIO)155、低引脚数(LPC)接口170、电源管理接口161、时钟发生器接口162、音频接口163(例如用于扬声器194，以输出音频)、总操作成本(TCO)接口164、系统管理总线接口(例如多主机串行计算机总线接口)165以及在图1的示例中包括BIOS168和开机代码190的串行外围闪存/控制器接口(SPI闪存)166。关于网络连接，I/O集线器控制器150可以包括集成的与PCI-E接口端口复用的吉比特以太网控制器线。其它网络特征可以独立于PCI-E接口进行操作。
I/O集线器控制器150的接口提供了与各种装置、网络等的通信。例如，SATA接口151提供了在一个或多个驱动器180如HDD、SDD或其组合上读取信息、写入信息，或读取和写入信息，但是在任何情况下驱动器180都被理解成为例如可以不是载波的有形计算机可读存储介质。I/O集线器控制器150还可以包括高级主机控制器接口(AHCI)，以支持一个或更多个驱动器180。PCI-E接口152允许无线连接182至装置、网络等。USB接口153提供用于输入装置184如键盘(KB)、鼠标和各种其它装置(例如摄像头、电话、存储器、媒体播放器等)。
在图1的示例中，LPC接口170提供用于一个或更多个ASIC171、可信平台模块(TPM)172、超级I/O173、固件集线器174、BIOS支持件175以及各种类型的存储器176如ROM177、闪存178和非易失性RAM(NVRAM)179的使用。关于TPM172，该模块可以采用可用于认证软件和硬件装置的芯片的形式。例如，TPM可以能够执行平台认证，并且可以用于验证寻求访问的系统是预期的系统。
系统100可以被配置成：在接通电源时执行存储在SPI闪存166中的用于BIOS168的开机代码190，并且此后在一个或更多个操作系统和应用程序软件(例如，存储在系统存储器140中)的控制下处理数据。例如可以根据BIOS168的指令，将操作系统存储在多个位置中的任意位置中并且对其进行访问。
例如，图1还示出了系统100包括用于收集一个或更多个图像并且将与其有关的输入提供给处理器122的至少一个以及可选的多个眼睛传感器如摄像头191。例如，摄像头191可以是热成像摄像头、数字摄像头如网络摄像头、和/或集成在系统100中并且可由处理器122控制的摄像头，以收集如用户的面部和眼睛(和/或眼球运动、聚焦和/或焦距等)的图片/图像和/或视频。注意，除了摄像头以外或替代摄像头，根据本原理还可以使用用于向处理器122提供输入的其它眼睛传感器，如光学传感器、红外收发器、超声收发器、发光二极管(LED)收发器等。
此外，虽然为了清楚起见而未示出，但是在一些实施方式中，系统100可以包括：用于例如感测和/或测量系统100的方位并且将与其有关的输入提供给处理器122的陀螺仪，用于例如感测系统100的加速度和/或移动并且将与其有关的输入提供给处理器122的加速度计，和/或例如基于将声音输入提供给麦克风的用户而将输入提供给处理器122的音频接收器/麦克风。另外，虽然同样地为了清楚起见而未示出，但是系统100可以包括：被配置成例如从至少一个卫星接收地理位置信息并且将信息提供给处理器122的GPS收发器。然而，要理解的是，根据本原理可以使用除了GPS接收器以外的另一合适的位置接收器，以例如确定系统100的位置。
在转换到图2之前，要理解的是，示例客户端装置或其它机器/计算机可以包括比图1的系统100中所示的更少或更多的特征。在任何情况下，至少基于前述要理解的是，系统100被配置成实现本原理。
现在转到图2，图2示出了根据本原理的通过网络200如因特网进行通信的示例装置。要理解的是，例如参照图2所描述的装置中的每个可以包括上述的系统100的特征、组件和/或单元中的至少一些。在任何情况下，图2示出了笔记本型计算机202，台式计算机204，可佩带装置206例如智能手表、智能电视(TV)208、智能电话210、平板计算机212，以及根据本原理的可以例如提供可访问装置202至212的云存储的服务器214例如因特网服务器。要理解的是，装置202至装置214被配置成彼此通过网络200进行通信，以实现本原理。
参照图3，图3示出了可以根据本原理使用的示例眼镜300的透视图(例如基于用户聚焦的方向和/或深度使用眼镜来呈现或不呈现内容)，将理解的是，系统100可以例如被实现在眼镜300中，并且因此眼镜300可以包括上述系统100的一些或全部单元。在任何情况下，眼镜300包括框架302，框架302可以包括：用于定位在人的耳朵上的长形臂；以及长形臂之间的分别在臂的第一端处连接臂、和/或接合和/或耦接一个或更多个镜片显示器以及将在下面描述的眼镜300的其它组件的中心部。
因此，眼镜300包括一个或更多个至少部分透明的镜片显示器304，当用户在其面部佩戴眼镜300时，用户通过镜片显示器304可以查看在用户视线中的对象。注意，至少部分透明的镜片显示器304还被配置成用于在其上呈现用户查看的信息，如天气信息、方向、比赛比分、互联网搜索结果等。因此，在一个方面，至少部分透明的镜片显示器304可以被认为是所谓的“平视”显示器和/或“头戴式”显示器。
除了上述情况以外，眼镜300还可以包括处理器310和存储器312，存储器312可以访问处理器310并且存储数据如由处理器310执行的指令(例如存储参照下面图5所论述的逻辑的指令)以实现本原理。另外，如图3中所示，眼镜300可以包括一个或更多个摄像头314，如数字摄像头和/或被配置和/或适应于当佩戴眼镜300时收集用户的至少一个和可选的多个眼睛(例如，以及具体是他们的瞳孔)的图像的摄像头，和/或当佩戴眼镜时跟踪用户的眼部的眼睛运动的摄像头。因此，根据本原理，使用眼睛跟踪原理和/或软件，处理器310可以确定用户在看哪个方向和/或看向哪些对象，以及确定用户的聚焦的深度。
在转换到图4的描述之前，还要理解的是，参照图3的眼镜300，眼镜300可以包括用于在一个或多个处理器310的指示下通过至少一个网络如因特网、WAN、LAN等与另一装置如智能电话和/或如下面将要描述的车辆进行通信的网络接口，并且此外，眼镜300可以包括例如向眼镜300的一个或更多个元件提供电力的电池，其中电池是通过与电池电连通的眼镜300上的充电端口可充电的。
现在交叉参照图4A和图4B，图4A和图4B示出了根据本原理的示例车辆400，其中，挡风玻璃402如果没有完全包括至少部分透明的显示器，则至少部分地包括至少部分透明的显示器(例如可触控透明显示器)。车辆400还包括至少一个摄像头404，根据本原理，摄像头404适应于当位于至少一个座位406(例如，驾驶员的座位和/或一个或多个乘客的座位)时收集用户的眼睛的图像，以确定用户的聚焦的方向和深度。此外，在一些实施方式中，后视镜组件408可以包括布置在其上的摄像头410，根据本原理，摄像头410还适应于收集用户的眼睛的图像。如从图4B中可以了解，至少部分透明的显示器挡风玻璃402在显示器挡风玻璃402的中心位置上呈现比赛比分信息412。
在继续对其它附图的描述的详细描述之前，要理解的是，系统100可以例如被实现在车辆400中，并且因此，尽管为了简单起见而未在图4A和图4B中示出，但是车辆400可以包括上述的系统100的一些或全部元件(例如，至少一个处理器、存储器、网络接口等)。还要理解的是，在一些实施方式中，摄像头404中的至少一个可以并入和/或集成在显示器挡风玻璃402上。
参照图5，图5示出了根据本原理的通过装置如系统100、眼镜300和/或车辆400实现的示例逻辑。在块500处开始，逻辑初始化和/或执行实现本原理的软件和/或眼睛跟踪应用程序。然后，逻辑继续行进到块502，在块502处，逻辑在至少部分透明的显示器上的第一位置处呈现(例如，响应于来自用户的请求和/或命令的)信息和/或内容，如文字、图形、窗口(例如因特网浏览器窗口、字处理器窗口等)、用户接口(UI)、图标、通知、小部件、平铺显示、照片、音频视频呈现、文件等。例如，内容和/或信息可以呈现在例如相对于至少部分透明的显示器的上边界、下边界和/或侧边界的至少部分中心的位置处。
在块502之后，逻辑移动到块504，在块504处，逻辑从已由逻辑启动的一个或更多个摄像头接收用户的面部并且具体是用户的眼睛的数据(例如图像)。此后，逻辑移动到判断菱形506，在判断菱形506处，响应于接收到的来自摄像头的数据，逻辑将眼睛跟踪应用程序应用于数据，以确定用户是否正在沿第一位置的方向看。在菱形506处的否定的确定使逻辑移动到块508，在块508处，逻辑继续呈现在块502处首次呈现的信息和/或内容。然而，在菱形506处的肯定的确定使逻辑改为移动到判断菱形510。
在菱形510处，逻辑基于来自摄像头的数据来确定用户是否在看第一位置的至少一部分(如在第一位置的阈值距离和/或阈值深度内，其中，这些阈值可以由用户通过使用设置用户接口(UI)如将在下面描述的UI800来设置)，或者确定用户是否略过第一位置看。逻辑可以基于用户的眼睛的聚焦和/或与从用户的眼睛到至少部分透明的显示器的距离相比所识别的用户的视线的焦距(例如，如由逻辑至少部分地使用来自摄像头的数据所确定和/或评估的)来确定用户是否在看第一位置或者略过第一位置看，以确定用户是否在看例如第一位置或穿过第一位置看。如果在菱形510处逻辑确定用户在看第一位置的至少一部分，则逻辑移动到块508，并且继续呈现信息和/或内容。然而，如果在菱形510处逻辑确定用户略过第一位置的至少一部分看，则逻辑改为从菱形510移动到块512。
在块512处，逻辑从第一位置处的呈现中去除信息和/或内容。例如，逻辑可以从显示器中完全去除信息和/或内容，以使其不在任何地方呈现。作为另一示例，逻辑可以从第一位置去除信息和/或内容，并且改为将其呈现在不是沿所识别的用户在看的方向的第二位置处。例如，如果用户穿过第一位置看，其中第一位置是在显示器的中心处的位置或朝向显示器的中心的位置，则逻辑可以将信息和/或内容朝向显示器的至少一个边缘或边界移动到第二位置(例如，如果用户正在驾驶车辆并且略过中心布置的第一位置看，那么在显示器挡风玻璃最靠近驾驶员座位的情况下，信息和/或内容可以被移动到透明的显示器挡风玻璃的相对该侧的一侧的阈值距离内)。
仍参照图5，在块512之后，逻辑移动到判断菱形514。在菱形514处，逻辑确定用户是否再次在看第一个位置的至少一部分(例如，可以通过装置来识别，因为提供的命令使用眼睛输入来再次呈现从第一位置去除的信息和/或内容)。在菱形514处，响应于肯定的确定，逻辑移动到块508，在块508处，在第一位置处再次呈现信息和/或内容。在菱形514处，响应于否定的确定，逻辑改为移动到块516，在块516处，逻辑可以结束和/或等待来自用户的针对信息和/或内容的另一请求。
现在参照图6，图6示出了根据本原理的在第一位置处呈现内容602的至少部分透明的显示器600。在本示例中，内容602包括互联网浏览器搜索结果。注意，示出了去除选择器单元604，其是在无需另外的用户输入的情况下用户可选择的从第一位置处的呈现中去除内容602(例如从显示器600中完全去除内容602，和/或将内容602呈现在第二位置处和/或小于当前所呈现的，以使其不包括沿用户的聚焦方向的区域)。注意，可以基于例如用户发出的语音命令来选择选择器单元604，和/或基于也是来自用户的眼睛输入来选择单元604，如基于来自一个或更多个摄像头的提供用户的眼睛运动、方向和/或聚焦的深度的图像的输入通过装置控制显示器600来识别用户在阈值时间内盯着单元604。在转换话题之前，还应注意，单元604是以其它方式如使用键盘命令、使用鼠标等可选择的。
如图7所示，内容602已经从显示器600中去除。然而，注意，示出了两个选择器单元702和704。单元702是例如基于语音命令、眼睛输入(例如在阈值时间内盯着单元)或其它种类的输入可选择的，以在无需另外的用户输入的情况下在第一位置处再次呈现如之前所呈现的内容602(例如，如图6中所示)。根据本原理，单元704是例如基于语音命令、眼睛输入(例如在阈值时间内盯着单元)或其它种类的输入可选择的，以在无需另外的用户输入的情况下在不同于第一位置的位置处再次呈现内容602。
继续参照图8的详细描述，图8示出了用于配置实现本原理的应用程序和/或软件的一个或更多个设置的示例设置用户接口(UI)800。UI800包括关于在其上呈现信息和/或内容(为了简单起见以下仅称为“内容”)的至少部分透明的显示器的位置的第一设置802。示出了第一选择器单元802，在无需另外的用户输入的情况下，第一选择器单元802是可选择的，以自动地配置实现本原理的装置，以在显示器的中心呈现内容。示出了第二选择器单元804，在无需另外的用户输入的情况下，针对给定时间帧和/或会话，第二选择器单元804是可选择的，以使用实现本原理的应用程序基于用户略过显示器的聚焦的平均方向来自动地配置装置，使其在不同位置处动态地呈现内容。应当注意，虽然为了简单起见而未在UI800上示出，但是时间帧和/或会话还可以由用户建立。在任何情况下，这样的位置可以动态地改变，以使得无论位于透明显示器上的任何位置，至少部分地没有位于显示器的包含略过显示器的用户的平均聚焦方向和/或主聚焦方向的区域内。
例如，如果用户处于车辆的驾驶员的座位处，并且装置确定用户的平均聚焦的方向是直接从驾驶员的座位前方的挡风玻璃显示器的左部出去，则内容可以呈现在乘客的座位前方的挡风玻璃显示器的右部。
作为另一示例，如果针对具有一个或更多个镜片显示器的眼镜对，用户的平均聚焦方向通常由于用户阅读在他们膝上的书而向下，则镜片显示器的下部可以被识别为沿用户的平均聚焦方向，并且因此内容改为可以被呈现在镜片显示器的上部。如果用户随后穿过镜片显示器向上看以开始与人讲话，则现在镜片显示器的上部可以被识别为在最近的时间阈值量内沿用户的平均聚焦方向略过镜片显示器，并且因此那时内容可以被呈现在镜片显示器的下部。
继续但是仍参照图8，设置UI800还包括第二设置806，其用于在透明显示器上的内容的呈现位置与在用户聚焦的显示器上(例如，相对于由显示器建立的平面)的实际位置之间建立阈值距离，尽管装置识别到用户不直接看着内容呈现的位置处，但是当用户仍然在看着内容时，可以通过实现本原理的装置来识别该实际位置。因此，示出了数字输入框808，其用于使用户输入数字，同时可以选择增量选择器810来建立与输入到框808的数字相关联的增量(例如，使用呈现多种选择的下拉框)。增量可以包括但不限于如毫米、厘米、英寸等。
虽然在示例图8中未示出，但是还应当注意，还可以将用于建立阈值深度的另一设置连同类似于上述的用于建立深度阈值的数字输入框和增量选择器一起设置在UI800上，该阈值深度用于识别用户在看呈现在透明显示器上的位置处的内容而不是略过呈现在透明显示器上的位置处的内容看。
UI800还可以包括第三设置812，第三设置812关于如何处理沿用户的聚焦方向但是在用户略过该位置聚焦而不是聚焦在该位置的情况下呈现在显示器的位置处的内容。示出了第一选择器单元814，其是可选择的，以在无需另外的用户输入的情况下配置装置，以从(一个或多个)显示器中完全去除内容。还示出了第二选择器单元816，其是可选择的，以在无需另外的用户输入的情况下配置装置，以在显示器的位置处呈现内容，所述位置不同于用户的聚焦方向内的位置。
不参照任何特定的图，结合本原理的示例将如下。假定用户佩戴眼镜如上述的眼镜300，并且用户在与两个人讲话，一个人在用户的左前方，而另一个人在用户的右前方。当穿过显示器镜片看向用户左前方的人时，响应于来自用户的信息的请求并且通过用户的眼镜的识别，当用户准备这样做时，眼镜可以在用于在其上查看的用户的右镜片显示器上呈现信息。如果用户随后看向用户右前方的人，则眼镜可以识别到用户略过信息看并且在焦距超过从用户的眼睛到右镜片显示器的距离时穿过右镜片显示器，进而因此朝向用户右前方的人，并且对其作出响应，眼镜可以从右镜片显示器中去除信息，并且不将信息呈现在别处，或者将信息呈现在左镜片显示器上(例如取决于由用户建立的眼镜的配置)。
另外，不参照任何特定的图，要理解的是，在一些实施方式中，确定用户是否在看至少基本上呈现在至少部分透明的显示器上(例如，沿信息的方向)的信息的一部分可以包括例如以下：基于来自摄像头的图像来确定用户是否在看信息周围和/或(例如，阈值距离内)朝向信息看，该摄像头与执行眼睛跟踪软件和对图像应用眼睛跟踪软件的装置进行通信；基于来自摄像头的图像并且对图像应用眼睛跟踪软件来确定用户是否在直视信息的一部分；和/或基于向量确定用户是否在看信息的一部分的阈值角度数内看，该向量例如由用户朝向显示器上的位置的实际视线来建立以及基于呈现在显示器上的部分相对于用户的至少一个眼睛(例如，使用来自摄像头的图像并且对图像应用眼睛跟踪软件)的实际位置来建立。
现在可以理解的是，当在平视和/或头戴式显示器上显示数据时，本原理提供了当用户希望这样做时在用户的视野中呈现信息同时也不阻碍用户能够略过信息看到东西。例如，根据本原理对于呈现在装置的显示器上的文本，装置可以识别用户是在阅读文本还是在文本行之间看以越过文本看人脸。如果装置识别到用户聚焦到其它东西(如人脸)而不是装置正在显示的文本上，则装置可以致动显示器为透明的、和/或使文本消失或移出用户聚焦的路线等。
总结之前，要理解的是，尽管例如实现本原理的软件应用程序可以与装置例如系统100一起出售，但是本原理适用于例如以下情况：这样的应用程序例如是通过网络如因特网从服务器下载至装置。此外，本原理适用于例如以下情况：这样的应用程序包括在被出售和/或设置的计算机可读存储介质中，其中计算机可读存储介质不是载波和/或信号本身。
虽然本文示出并且详细描述了特定的“基于用户聚焦的在至少部分透明的显示器上的数据呈现”，但是要理解的是，由本申请所包含的主题仅由权利要求书进行限定。

Claims (20)

1.一种装置，包括：
处理器；
对于所述处理器可访问的至少一个至少部分透明的显示器；
对于所述处理器可访问的至少一个眼睛传感器；以及
对于所述处理器可访问并且载有指令的存储器，所述指令可由所述处理器执行以：
在所述至少部分透明的显示器上的第一位置处呈现内容；
至少部分地基于来自所述眼睛传感器的数据，确定用户是正在观看至少基本上所述第一位置处还是略过所述第一位置观看；以及
响应于确定所述用户正在略过所述第一位置观看，从所述第一位置处的呈现中去除所述内容。
2.根据权利要求1所述的装置，其中，所述指令可进一步执行以：
响应于确定所述用户正在观看至少基本上所述第一位置处，继续在所述第一位置处呈现所述内容。
3.根据权利要求1所述的装置，其中，确定所述用户正在略过所述第一位置观看至少部分地基于所述用户的至少一个眼睛的聚焦。
4.根据权利要求1所述的装置，其中，确定所述用户正在略过所述第一位置观看至少部分地基于用户的聚焦的焦距，所述焦距至少部分地基于来自所述眼睛传感器的数据来识别。
5.根据权利要求1所述的装置，其中，至少基本上在所述第一位置处是在所述第一位置的至少一部分处。
6.根据权利要求1所述的装置，其中，至少基本上在所述第一位置处是在所述第一位置相对于由所述至少部分透明的显示器所建立的平面的阈值距离内。
7.根据权利要求1所述的装置，其中，至少基本上在所述第一位置处是在所述第一位置的阈值深度内。
8.根据权利要求1所述的装置，其中，所述指令可执行以：
响应于确定所述用户正在略过所述第一位置观看，从所述至少部分透明的显示器上的呈现中去除所述内容。
9.根据权利要求1所述的装置，其中，所述指令可执行以：
响应于确定所述用户正在略过所述第一位置观看，从所述第一位置处的呈现中去除所述内容，并且将所述内容的至少一部分呈现在所述至少部分透明的显示器上不同于所述第一位置的第二位置处。
10.根据权利要求9所述的装置，其中，所述第一位置是所述至少部分透明的显示器相对于所述至少部分透明的显示器的边界的至少基本上中心位置，并且其中，所述第二位置是在所述至少部分透明的显示器的边界中的至少一个的阈值距离内的位置。
11.根据权利要求1所述的装置，其包括车辆，其中，所述车辆的挡风玻璃包括所述至少部分透明的显示器。
12.根据权利要求1所述的装置，其包括眼镜，其中，所述眼镜的至少一个镜片包括所述至少部分透明的显示器。
13.根据权利要求1所述的装置，其中，所述指令可执行以：
使用来自所述眼睛传感器的数据，至少部分地基于眼睛跟踪软件的执行，确定所述用户是正在观看至少基本上所述第一位置处还是略过所述第一位置观看。
14.根据权利要求1所述的装置，其中，所述内容选自由文本、至少一个图形组成的组。
15.根据权利要求1所述的装置，其中，所述指令可执行以：
在所述至少部分透明的显示器上的所述第一位置处呈现所述内容，并且在至少靠近所述第一位置处呈现选择器单元，所述选择器单元是可选择的，以从所述第一位置处的呈现中去除所述内容。
16.根据权利要求15所述的装置，其中，所述选择器单元至少部分地基于眼睛输入可选择。
17.一种方法，包括：
在至少部分透明的显示器上呈现信息；
确定用户是聚焦到所述信息上还是略过所述信息聚焦；以及
响应于确定所述用户略过所述信息聚焦，从所述用户的聚焦的方向去除所述信息。
18.根据权利要求17所述的方法，其中，确定用户是聚焦到所述信息上还是略过所述信息聚焦至少部分地基于来自至少一个眼睛传感器的数据，并且其中，所述数据还用于确定所述用户的聚焦的方向。
19.一种眼镜，包括：
处理器；
对于所述处理器可访问的至少一个至少部分透明的镜片显示器；
对于所述处理器可访问的至少一个眼睛传感器；以及
对于所述处理器可访问并且载有指令的存储器，所述指令可由所述处理器执行以：
在所述至少一个至少部分透明的镜片显示器上呈现数据；
确定所述眼镜的佩戴者是聚焦到所述数据上还是聚焦到别处；以及
响应于确定所述佩戴者聚焦到别处，从所述佩戴者的聚焦的方向去除所述数据。
20.根据权利要求19所述的眼镜，其中，所述指令可执行以：
响应于确定所述佩戴者聚焦到别处，从在其上呈现所述数据的所述至少一个至少部分透明的镜片显示器上去除所述数据；以及
响应于确定所述佩戴者聚焦到在去除之前在其上呈现所述数据的至少一部分的所述至少一个部分透明的镜片显示器的位置上，呈现所述数据。
CN201510551321.5A 2014-11-20 2015-09-01 在至少部分透明的显示器上的数据呈现装置、方法及眼镜 Active CN105630439B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/548,938 US9535497B2 (en) 2014-11-20 2014-11-20 Presentation of data on an at least partially transparent display based on user focus
US14/548,938 2014-11-20

Publications (2)

Publication Number Publication Date
CN105630439A true CN105630439A (zh) 2016-06-01
CN105630439B CN105630439B (zh) 2018-09-28

Family

ID=55133098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510551321.5A Active CN105630439B (zh) 2014-11-20 2015-09-01 在至少部分透明的显示器上的数据呈现装置、方法及眼镜

Country Status (4)

Country Link
US (1) US9535497B2 (zh)
CN (1) CN105630439B (zh)
DE (1) DE102015120188A1 (zh)
GB (1) GB2534976C (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
JP6439052B2 (ja) * 2015-08-26 2018-12-19 富士フイルム株式会社 投写型表示装置
CN105892375A (zh) * 2016-06-08 2016-08-24 京东方科技集团股份有限公司 车载儿童安全座椅及其控制器、以及车载儿童安全座椅系统
JP6801274B2 (ja) * 2016-07-11 2020-12-16 株式会社デンソー 運転支援装置、及び運転支援方法
JP2018105737A (ja) * 2016-12-27 2018-07-05 トヨタ紡織株式会社 アイポイント測定装置、及びアイポイント測定方法
US11029834B2 (en) 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
US10908419B2 (en) 2018-06-28 2021-02-02 Lucyd Ltd. Smartglasses and methods and systems for using artificial intelligence to control mobile devices used for displaying and presenting tasks and applications and enhancing presentation and display of augmented reality information
USD899499S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900920S1 (en) 2019-03-22 2020-11-03 Lucyd Ltd. Smart glasses
USD899497S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899498S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900206S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD899495S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900205S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD900203S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD899494S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899500S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899493S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899496S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900204S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD955467S1 (en) 2019-12-12 2022-06-21 Lucyd Ltd. Sport smartglasses having flat connector hinges
USD958234S1 (en) 2019-12-12 2022-07-19 Lucyd Ltd. Round smartglasses having pivot connector hinges
USD954136S1 (en) 2019-12-12 2022-06-07 Lucyd Ltd. Smartglasses having pivot connector hinges
USD954135S1 (en) 2019-12-12 2022-06-07 Lucyd Ltd. Round smartglasses having flat connector hinges
USD954137S1 (en) 2019-12-19 2022-06-07 Lucyd Ltd. Flat connector hinges for smartglasses temples
USD974456S1 (en) 2019-12-19 2023-01-03 Lucyd Ltd. Pivot hinges and smartglasses temples
KR20210113485A (ko) 2020-03-05 2021-09-16 삼성전자주식회사 투명 스크린을 포함하는 디스플레이 장치를 제어하기 위한 방법 및 그 디스플레이 장치
US11282523B2 (en) 2020-03-25 2022-03-22 Lucyd Ltd Voice assistant management

Family Cites Families (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2510344A (en) 1945-03-17 1950-06-06 Rca Corp Viewing screen
US2567654A (en) 1947-08-21 1951-09-11 Hartford Nat Bank & Trust Co Screen for television projection
DE1164465B (de) 1962-12-07 1964-03-05 Telefunken Patent Transportabler Fernsehempfaenger
US3628854A (en) 1969-12-08 1971-12-21 Optical Sciences Group Inc Flexible fresnel refracting membrane adhered to ophthalmic lens
US3972593A (en) 1974-07-01 1976-08-03 Minnesota Mining And Manufacturing Company Louvered echelon lens
US4190330A (en) 1977-12-27 1980-02-26 Bell Telephone Laboratories, Incorporated Variable focus liquid crystal lens system
US4577928A (en) 1983-04-21 1986-03-25 Data Vu Company CRT magnifying lens attachment and glare reduction system
FR2649799B1 (fr) 1989-07-12 1993-05-28 Cintra Daniel Systeme optique pour l'agrandissement d'images
JP2648558B2 (ja) 1993-06-29 1997-09-03 インターナショナル・ビジネス・マシーンズ・コーポレイション 情報選択装置及び情報選択方法
FR2731896B1 (fr) 1995-03-24 1997-08-29 Commissariat Energie Atomique Dispositif de mesure de la position du point de fixation d'un oeil sur une cible, procede d'eclairage de l'oeil et application a l'affichage d'images dont les images changent en fonction des mouvements de l'oeil
JP3025173B2 (ja) 1995-04-13 2000-03-27 シャープ株式会社 データベース検索システム
US5886683A (en) 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
US6437758B1 (en) 1996-06-25 2002-08-20 Sun Microsystems, Inc. Method and apparatus for eyetrack—mediated downloading
US5831594A (en) 1996-06-25 1998-11-03 Sun Microsystems, Inc. Method and apparatus for eyetrack derived backtrack
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US5898423A (en) 1996-06-25 1999-04-27 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven captioning
US20080227538A1 (en) 1996-11-14 2008-09-18 Bally Gaming Inc. Game prize controller and system
US6758755B2 (en) 1996-11-14 2004-07-06 Arcade Planet, Inc. Prize redemption system for games executed over a wide area network
US8821258B2 (en) 1996-11-14 2014-09-02 Agincourt Gaming, Llc Method for providing games over a wide area network
JPH10282310A (ja) 1997-04-11 1998-10-23 Dainippon Printing Co Ltd フレネルレンズシート及び透過型スクリーン
US6073036A (en) 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
JPH11110120A (ja) 1997-10-07 1999-04-23 Canon Inc 視線情報入力装置及び視線情報入力方法
US6169538B1 (en) 1998-08-13 2001-01-02 Motorola, Inc. Method and apparatus for implementing a graphical user interface keyboard and a text buffer on electronic devices
US6577329B1 (en) 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
WO2001040964A1 (en) 1999-12-01 2001-06-07 Amicus Software Pty Ltd Method and apparatus for network access
JP4235340B2 (ja) 2000-04-04 2009-03-11 キヤノン株式会社 情報処理装置及び情報処理方法
US20070078552A1 (en) 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
US6873314B1 (en) 2000-08-29 2005-03-29 International Business Machines Corporation Method and system for the recognition of reading skimming and scanning from eye-gaze patterns
WO2004051392A2 (en) 2002-11-29 2004-06-17 Koninklijke Philips Electronics N.V. User interface with displaced representation of touch area
US20040160419A1 (en) 2003-02-11 2004-08-19 Terradigital Systems Llc. Method for entering alphanumeric characters into a graphical user interface
DE10310794B4 (de) 2003-03-12 2012-10-18 Hewlett-Packard Development Co., L.P. Bedieneinrichtung und Kommunikationsgerät
US8292433B2 (en) 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7762665B2 (en) 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US8307296B2 (en) 2003-10-17 2012-11-06 Palo Alto Research Center, Incorporated Systems and methods for effective attention shifting
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
ES2568506T3 (es) 2004-06-18 2016-04-29 Tobii Ab Control ocular de aparato computador
US7573439B2 (en) 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
US7501995B2 (en) 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US7738684B2 (en) 2004-11-24 2010-06-15 General Electric Company System and method for displaying images on a PACS workstation based on level of significance
US7576757B2 (en) 2004-11-24 2009-08-18 General Electric Company System and method for generating most read images in a PACS workstation
JP4645299B2 (ja) 2005-05-16 2011-03-09 株式会社デンソー 車載用表示装置
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US20060256133A1 (en) 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US8725729B2 (en) 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
CN101495945A (zh) 2006-07-28 2009-07-29 皇家飞利浦电子股份有限公司 用于被凝视物品的信息显示的凝视交互
US20080030466A1 (en) 2006-08-03 2008-02-07 Leigh Simeon Keates System and method for correcting positioning and triggering errors for aim-and-trigger devices
US9244455B2 (en) 2007-09-10 2016-01-26 Fisher-Rosemount Systems, Inc. Location dependent control access in a process control system
EP2042969A1 (en) 2007-09-28 2009-04-01 Alcatel Lucent Method for determining user reaction with specific content of a displayed page.
US8077915B2 (en) 2007-10-12 2011-12-13 Sony Ericsson Mobile Communications Ab Obtaining information by tracking a user
US8693737B1 (en) 2008-02-05 2014-04-08 Bank Of America Corporation Authentication systems, operations, processing, and interactions
US8099289B2 (en) 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
JP2009259238A (ja) 2008-03-26 2009-11-05 Fujifilm Corp 画像シェアリング用保存装置、画像シェアリングシステムおよび方法
US20090258642A1 (en) 2008-04-11 2009-10-15 Ease Diagnostics Vehicle communication system
US8514251B2 (en) 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
US20100045596A1 (en) 2008-08-21 2010-02-25 Sony Ericsson Mobile Communications Ab Discreet feature highlighting
CN102144201A (zh) 2008-09-03 2011-08-03 皇家飞利浦电子股份有限公司 在用户与交互式显示系统之间执行基于目光的交互的方法
US8160311B1 (en) 2008-09-26 2012-04-17 Philip Raymond Schaefer System and method for detecting facial gestures for control of an electronic device
US20100079508A1 (en) 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
US8527987B2 (en) 2008-12-29 2013-09-03 Telefonaktiebolaget L M Ericsson (Publ) Method and device for installing applications on NFC-enabled devices
WO2010078596A1 (en) 2009-01-05 2010-07-08 Tactus Technology, Inc. User interface system
US8732623B2 (en) 2009-02-17 2014-05-20 Microsoft Corporation Web cam based user interaction
JP5208810B2 (ja) 2009-02-27 2013-06-12 株式会社東芝 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
US20120105486A1 (en) 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US20110065451A1 (en) 2009-09-17 2011-03-17 Ydreams-Informatica, S.A. Context-triggered systems and methods for information and services
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8922480B1 (en) 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
JP2012008686A (ja) 2010-06-23 2012-01-12 Sony Corp 情報処理装置および方法、並びにプログラム
US9035803B2 (en) 2010-08-03 2015-05-19 Lc Technologies, Inc. Systems and methods for aiding traffic controllers and/or pilots
CN102402368B (zh) * 2010-09-10 2017-05-24 联想(北京)有限公司 一种显示控制方法及显示控制装置
EP2616993A4 (en) 2010-09-13 2017-04-19 Hewlett-Packard Development Company, L.P. Smile detection systems and methods
US8489150B2 (en) 2010-09-13 2013-07-16 Lg Electronics Inc. Mobile terminal and operation control method thereof
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US8886128B2 (en) 2010-12-10 2014-11-11 Verizon Patent And Licensing Inc. Method and system for providing proximity-relationship group creation
US8957847B1 (en) 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
US20120169582A1 (en) 2011-01-05 2012-07-05 Visteon Global Technologies System ready switch for eye tracking human machine interaction control system
JP5278461B2 (ja) 2011-02-03 2013-09-04 株式会社デンソー 視線検出装置および視線検出方法
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US8594374B1 (en) 2011-03-30 2013-11-26 Amazon Technologies, Inc. Secure device unlock with gaze calibration
US20130057573A1 (en) 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US20120268268A1 (en) 2011-04-19 2012-10-25 John Eugene Bargero Mobile sensory device
US8203502B1 (en) * 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US9318129B2 (en) 2011-07-18 2016-04-19 At&T Intellectual Property I, Lp System and method for enhancing speech activity detection using facial feature detection
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
JP5785015B2 (ja) 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US8719278B2 (en) 2011-08-29 2014-05-06 Buckyball Mobile Inc. Method and system of scoring documents based on attributes obtained from a digital document by eye-tracking data analysis
EP2587342A1 (en) 2011-10-28 2013-05-01 Tobii Technology AB Method and system for user initiated query searches based on gaze data
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
KR101891786B1 (ko) 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US10395263B2 (en) 2011-12-12 2019-08-27 Intel Corporation Interestingness scoring of areas of interest included in a display element
US8941722B2 (en) 2012-01-03 2015-01-27 Sony Corporation Automatic intelligent focus control of video
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
JP5945417B2 (ja) 2012-01-06 2016-07-05 京セラ株式会社 電子機器
US20130198056A1 (en) 2012-01-27 2013-08-01 Verizon Patent And Licensing Inc. Near field communication transaction management and application systems and methods
US20130201305A1 (en) 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
US8812983B2 (en) 2012-02-17 2014-08-19 Lenovo (Singapore) Pte. Ltd. Automatic magnification and selection confirmation
US20140247286A1 (en) * 2012-02-20 2014-09-04 Google Inc. Active Stabilization for Heads-Up Displays
US8832328B2 (en) 2012-03-13 2014-09-09 Qualcomm Incorporated Data redirection for universal serial bus devices
US20140309852A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic vehicle diagnostic detection and communication
US9096920B1 (en) 2012-03-22 2015-08-04 Google Inc. User interface method
US9207843B2 (en) 2012-03-26 2015-12-08 Nokia Technologies Oy Method and apparatus for presenting content via social networking messages
US20130260360A1 (en) 2012-03-27 2013-10-03 Sony Corporation Method and system of providing interactive information
WO2013154561A1 (en) 2012-04-12 2013-10-17 Intel Corporation Eye tracking based selectively backlighting a display
US8552847B1 (en) * 2012-05-01 2013-10-08 Racing Incident Pty Ltd. Tactile based performance enhancement system
EP2847648A4 (en) 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
US8893164B1 (en) 2012-05-16 2014-11-18 Google Inc. Audio system
US9030505B2 (en) 2012-05-17 2015-05-12 Nokia Technologies Oy Method and apparatus for attracting a user's gaze to information in a non-intrusive manner
US9046917B2 (en) 2012-05-17 2015-06-02 Sri International Device, method and system for monitoring, predicting, and accelerating interactions with a computing device
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
WO2013183811A1 (en) 2012-06-08 2013-12-12 Lg Electronics Inc. Portable device and method for controlling the same
US20130340005A1 (en) 2012-06-14 2013-12-19 Mobitv, Inc. Eye-tracking program guides
US20130340006A1 (en) 2012-06-14 2013-12-19 Mobitv, Inc. Eye-tracking navigation
US9477993B2 (en) 2012-10-14 2016-10-25 Ari M Frank Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention
US9626072B2 (en) 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
JP2014106445A (ja) 2012-11-29 2014-06-09 Toshiba Corp 電子機器および表示制御方法
US20140168054A1 (en) 2012-12-14 2014-06-19 Echostar Technologies L.L.C. Automatic page turning of electronically displayed content based on captured eye position data
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US8854447B2 (en) 2012-12-21 2014-10-07 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
US20140195918A1 (en) * 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US9829971B2 (en) 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
ES2731560T3 (es) 2013-03-01 2019-11-15 Tobii Ab Interacción de mirada con deformación retardada
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US10216266B2 (en) 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US9405771B2 (en) 2013-03-14 2016-08-02 Microsoft Technology Licensing, Llc Associating metadata with images in a personal image collection
US8876535B2 (en) 2013-03-15 2014-11-04 State Farm Mutual Automobile Insurance Company Real-time driver observation and scoring for driver's education
US20140266702A1 (en) 2013-03-15 2014-09-18 South East Water Corporation Safety Monitor Application
US9244527B2 (en) 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
US20140298257A1 (en) 2013-04-01 2014-10-02 Cosmic Eagle, Llc User interfaces and associated processes for information resources
US9965062B2 (en) 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9563283B2 (en) 2013-08-06 2017-02-07 Inuitive Ltd. Device having gaze detection capabilities and a method for using same
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
KR20150027614A (ko) 2013-09-04 2015-03-12 엘지전자 주식회사 이동 단말기
US10108258B2 (en) 2013-09-06 2018-10-23 Intel Corporation Multiple viewpoint image capture of a display user
US9451062B2 (en) 2013-09-30 2016-09-20 Verizon Patent And Licensing Inc. Mobile device edge view display insert
US20150113454A1 (en) 2013-10-21 2015-04-23 Motorola Mobility Llc Delivery of Contextual Data to a Computing Device Using Eye Tracking Technology
US9530067B2 (en) 2013-11-20 2016-12-27 Ulsee Inc. Method and apparatus for storing and retrieving personal contact information
US20150169048A1 (en) 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
CN103885592B (zh) * 2014-03-13 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
US10067561B2 (en) 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence

Also Published As

Publication number Publication date
GB2534976B (en) 2019-05-29
US9535497B2 (en) 2017-01-03
GB2534976C (en) 2019-06-19
GB2534976A (en) 2016-08-10
CN105630439B (zh) 2018-09-28
DE102015120188A1 (de) 2016-05-25
US20160147297A1 (en) 2016-05-26
GB201520491D0 (en) 2016-01-06

Similar Documents

Publication Publication Date Title
CN105630439A (zh) 基于用户聚焦的在至少部分透明的显示器上的数据呈现
US11087538B2 (en) Presentation of augmented reality images at display locations that do not obstruct user's view
US10922862B2 (en) Presentation of content on headset display based on one or more condition(s)
US10282908B2 (en) Systems and methods for presenting indication(s) of whether virtual object presented at first device is also presented at second device
US10262446B2 (en) Systems and methods to alter presentation of virtual rendition based on real world object
CN105393159A (zh) 调整近眼显示设备
CN105408802A (zh) 用于头戴式显示器的眼睛跟踪系统
US9875075B1 (en) Presentation of content on a video display and a headset display
US20180374501A1 (en) Detecting pause in audible input to device
US11694574B2 (en) Alteration of accessibility settings of device based on characteristics of users
US10252154B2 (en) Systems and methods for presentation of content at headset based on rating
US10499164B2 (en) Presentation of audio based on source
US10515270B2 (en) Systems and methods to enable and disable scrolling using camera input
US10048514B2 (en) Eye glasses with polarizers for controlling light passing through at least one lens of the eye glasses
US20200312268A1 (en) Systems and methods to change setting related to presentation of content based on user squinting and/or user blink rate
US20160273908A1 (en) Prevention of light from exterior to a device having a camera from being used to generate an image using the camera based on the distance of a user to the device
US20190311541A1 (en) Presentation of content at headset display based on other display not being viewable
US11076112B2 (en) Systems and methods to present closed captioning using augmented reality
US10770036B2 (en) Presentation of content on left and right eye portions of headset
US9860452B2 (en) Usage of first camera to determine parameter for action associated with second camera
US9829325B2 (en) Disablement of global positioning system transceiver while providing directions
CN110134228B (zh) 信息处理方法、信息处理设备及用于信息处理的产品
US9594970B2 (en) Device with camera at or near junction of first panel and second panel
US20150205350A1 (en) Skin mounted input device
US20220019450A1 (en) Techniques to switch between different types of virtual assistance based on threshold being met

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant