CN114585990A - 部分地基于眼睛跟踪的呈现增强 - Google Patents

部分地基于眼睛跟踪的呈现增强 Download PDF

Info

Publication number
CN114585990A
CN114585990A CN202080072704.3A CN202080072704A CN114585990A CN 114585990 A CN114585990 A CN 114585990A CN 202080072704 A CN202080072704 A CN 202080072704A CN 114585990 A CN114585990 A CN 114585990A
Authority
CN
China
Prior art keywords
user
processor
display
identified
eye movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080072704.3A
Other languages
English (en)
Inventor
D·尤达诺夫
S·E·布拉德绍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN114585990A publication Critical patent/CN114585990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种具有计算装置和用户接口的设备，所述用户接口例如具有可提供图形用户接口(GUI)的显示器的用户接口。所述设备还包含相机，以及处于所述计算装置中的处理器。所述相机可连接到所述计算装置和/或所述用户接口，且所述相机可被配置成捕获用户的瞳孔方位和/或眼睛移动。所述处理器可被配置成：基于所述所捕获的瞳孔方位识别相对于所述用户接口的用户视觉焦点，和/或基于所述所捕获的眼睛移动识别所述用户的眼睛移动的类型(例如眼急动)。所述处理器还可被配置成至少部分地基于所述所识别的视觉焦点和/或所述所识别的眼睛移动的类型控制所述用户接口的参数。

Description

部分地基于眼睛跟踪的呈现增强
相关申请案
本申请案主张2019年11月5日申请的标题为“部分地基于眼睛跟踪的呈现增强(RENDERING ENHANCEMENT BASED IN PART ON EYE TRACKING)”的美国专利申请案序列号16/675,171的优先权，其全部公开内容由此以引用的方式并入本文中。
技术领域
本文中所公开的至少一些实施例涉及部分地基于眼睛跟踪的用户接口控制。举例来说，本文中所公开的至少一些实施例涉及部分地基于眼睛跟踪的图形用户接口呈现增强。
背景技术
姿势辨识和基于姿势辨识对计算机软件和硬件的控制变得日益重要。姿势通常来源于人的脸部或手部。姿势辨识的优点是用户可在无需物理触摸计算装置的情况下使用姿势控制计算装置或与计算装置交互。目前有大量这类技术，例如使用相机和计算机视觉算法的方法。
而且，非接触式用户接口正变得越来越普遍，且这类接口可取决于姿势辨识。非接触式用户接口是在无通过触摸键盘、鼠标、触摸屏等等的用户输入的情况下依赖于身体部位运动、姿势和/或语音的接口。存在利用非接触式用户接口的多种应用程序和装置，例如多媒体应用程序、游戏、智能扬声器、智能手机、平板计算机、笔记型计算机和物联网(IoT)。
复杂相机布置和较简单相机配置可用于捕获身体部位移动或方位以用作经由计算机视觉算法的姿势辨识的输入。复杂相机布置可包含深度感知相机和立体相机。深度感知相机可产生通过相机看见的内容的深度图，并且可使用此数据估算移动的身体部位的三维(3D)表示。在估算移动的身体部位的3D表示时还可使用立体相机。而且，可使用较简单的单相机布置以便捕获移动的身体部位的二维(2D)表示。随着更复杂的基于软件的姿势辨识的开发，即使使用2D数码相机也可捕获用于姿势稳健检测的图像。
一种越来越普遍的姿势辨识类型是眼睛姿势辨识。可通过眼睛跟踪实施眼睛姿势辨识。眼睛跟踪可包含测量注视点(人看向的地方)或眼睛相对于头部的运动。眼睛跟踪器可使用相机捕获眼睛移动或方位的图像，是用于测量眼睛位置和眼睛移动或方位的装置。眼睛跟踪器可用于眼睛生理和机能、心理学和营销方面的研究。而且，眼睛跟踪器一般可用作人机交互的输入装置。近年来，随着眼睛跟踪技术的先进性和可用性提高，在商业领域引起关注。而且，眼睛跟踪的应用程序包含供互联网、汽车信息系统和免提接入多媒体使用的人机交互。
存在多种测量眼睛移动或方位的方式。一种通用方式是使用从中提取眼睛位置或取向的静态或视频图像。并且，可以统计方式分析并且以图形方式呈现来自图像分析的所得数据以提供特定视觉图案的证据。通过识别专注、眼急动、瞳孔扩张、眨眼和多种其它眼睛行为，可实施人机交互。并且，通过检查这类图案，研究人员可确定媒体或产品的有效性。
附图说明
根据下文提供的具体实施方式和本公开的各种实施例的附图将更加充分地理解本公开。
图1说明根据本公开的一些实施例的被配置成部分地基于眼睛跟踪实施用户接口控制(例如呈现增强)的实例计算装置。
图2和3说明根据本公开的一些实施例的各自被配置成部分地基于眼睛跟踪实施用户接口控制(例如呈现增强)的实例联网系统。
图4和5说明根据本公开的一些实施例的各自具有可由图1中所描绘的计算装置的方面、图2中描绘的联网系统的方面或图3中所描绘的联网系统的方面执行的实例操作的流程图。
具体实施方式
本文中所公开的至少一些实施例涉及部分地基于眼睛跟踪的用户接口控制，例如图形用户接口(GUI)呈现增强。更具体地说，本文中所公开的至少一些实施例涉及部分地基于眼睛跟踪控制显示器和/或GUI的一或多个参数。而且，应理解，本文中所公开的一些实施例大体涉及部分地基于眼睛跟踪控制一或多个用户接口的一或多个参数。举例来说，本文中所公开的一些实施例涉及控制听觉用户接口或触觉用户接口的参数。听觉用户接口的参数可包含音量、重放速度等。触觉用户接口的参数可包含振动模式、振动强度、输出温度、输出气味等。本文中所描述的实施例可包含控制任何类型的用户接口(UI)的参数，包含触觉UI(触摸)、视觉UI(视野)、听觉UI(声音)、嗅觉UI(气味)、均衡UI(平衡)和味觉UI(味道)。
至少一些实施例针对于具有计算装置和用户接口(例如具有可提供GUI的显示器的用户接口)的设备。所述设备还包含相机，以及处于计算装置中的处理器。相机可连接到计算装置、用户接口或其组合中的至少一个，且相机可被配置成捕获用户的瞳孔方位和/或眼睛移动。并且，处理器可被配置成基于所捕获的瞳孔方位识别用户相对于用户接口的视觉焦点。处理器还可被配置成基于所捕获的用户眼睛移动识别用户的眼睛移动的类型(例如眼急动)。处理器还可被配置成至少部分地基于所识别的用户视觉焦点和/或所识别的眼睛移动类型来控制用户接口的一或多个参数。
至少一些实施例针对于用以跟踪用户的眼睛以确定用户相对于用户接口的屏幕的视觉焦点的相机。屏幕可位于相对于用户的视觉焦点的特定角度和/或距离处。所述角度和/或距离可随着用户在空间上移动装置而改变。一旦连接到相机的计算装置定位到用户眼睛并确定了所述角度和/或距离，装置便可确定用户何时眼急动且眼睛何时从一个屏幕点移动到另一个屏幕点。而且，相机可捕获其它眼睛移动，且所述其它眼睛移动可供装置用以确定用户眼急动或其它类型的眼睛移动。
当使用观看角度和距离时，装置可呈现用户接口的屏幕以最佳呈现和展现图像或视频进而增强用户体验。举例来说，装置可将屏幕输出偏斜和/或不均匀地分布屏幕分辨率、显色、明暗度、亮度、对比度等等以适应用户眼睛相对于屏幕的观看角度和距离。另外，装置可应用滤光片。并且，装置可调整用户接口的其它用户接口元件，例如调整触觉UI、视觉UI、听觉UI、嗅觉UI、均衡UI和/或味觉UI元件。此外，在一些实施例中，对显示器的一或多个参数的控制可包含在存在干扰时将用户图片质量的不变性最大化的情况下呈现图像或视频。不变性可包含对任何干扰的不变性，所述干扰例如摇动、振动、噪声以及使眼睛与屏幕之间的视觉连接变弱或断开的其它事项。而且，举例来说，装置的屏幕输出可通过调适和增强眼睛与屏幕之间的视觉连接，通过使屏幕输出相对于对屏幕的任何干扰为稳定的，以此对外部干扰不变。以此方式，用户可以持续不断地接收不受干扰或受到较少干扰的内容。举例来说，这可通过在相对于用户眼睛的坐标系中使屏幕输出至少部分地保持恒定来实现。这可能尤其适用于带帽舌式帽子(cap and visor)实施例，其中帽舌提供屏幕。遮阳帽预期在佩戴时(尤其当用户参与某一形式的锻炼或运动时)振动并移动。
一般来说，至少一些实施例针对于捕获眼睛移动、方位和/或取向并且将这类事项解译为应用程序或计算装置(例如移动装置或IoT装置)的用户接口的控制操作。
在一些实施例中，设备可包含计算装置、显示器、相机以及处于计算装置中的处理器。显示器可连接到计算装置，且显示器可被配置成提供GUI。相机可连接到计算装置、显示器或其组合中的至少一个，且相机可被配置成捕获用户的瞳孔方位。计算装置中的处理器可被配置成基于所捕获的瞳孔方位识别用户相对于GUI的视觉焦点。处理器还可被配置成至少部分地基于所识别的用户视觉焦点来控制显示器、GUI或其组合的一或多个参数。
处理器可被配置成至少部分地基于用户的至少一个瞳孔相对于GUI的观看角度和距离来识别用户的视觉焦点。在这类实施例中，处理器还可被配置成至少部分地基于所识别的用户视觉焦点来控制显示器的输出的偏斜或角度。而且，处理器可被配置成至少部分地基于所识别的用户视觉焦点控制显示器的屏幕分辨率的分布。而且，处理器可被配置成至少部分地基于所识别的用户视觉焦点控制显示器的屏幕显色的分布。而且，处理器可被配置成至少部分地基于所识别的用户视觉焦点控制显示器的屏幕亮度的分布。而且，处理器可被配置成至少部分地基于所识别的用户视觉焦点控制显示器的屏幕明暗度的分布。而且，处理器可被配置成至少部分地基于所识别的用户视觉焦点控制显示器的屏幕对比度的分布。
而且，相机可被配置成捕获用户的眼睛移动，且处理器可被配置成基于所捕获的用户眼睛移动识别眼急动，并且至少部分地基于所识别的眼急动进一步控制显示器、GUI或其组合的一或多个参数。在这类实施例中，处理器可被配置成根据所识别的眼急动估算用户的从一个焦点到另一焦点的眼睛移动。并且，处理器可被配置成至少部分地基于所识别的估算眼睛移动进一步控制显示器、GUI或其组合的一或多个参数。而且，处理器可被配置成至少部分地基于所识别的眼急动进一步改变显示器的输出偏斜或角度。而且，处理器可被配置成至少部分地基于所识别的眼急动进一步不均匀地分布显示器的屏幕分辨率。而且，处理器可被配置成至少部分地基于所识别的眼急动进一步不均匀地分布显示器的显色。而且，处理器可被配置成至少部分地基于所识别的眼急动进一步不均匀地分布显示器的亮度或明暗度。而且，处理器可被配置成至少部分地基于所识别的眼急动进一步不均匀地分布显示器的对比度。
所述设备还可包含可佩戴结构。所述可佩戴结构可包含或连接到计算装置、显示器、相机或其组合中的至少一个。可佩戴结构可被配置成佩戴在用户的头部、环绕颈部或环绕腕部或前臂。可佩戴结构可包含带盖帽、腕带、领带、项链或隐形眼镜。而且，应理解，所述设备可包含除可佩戴结构以外的其它结构。举例来说，所述设备可包含电器(例如具有显示器的智能电器)或电视机(例如增强型LCD或OLED TV)或为所述电器或电视机的部分。而且，具有较高屏幕分辨率的4K TV或TV可受益于呈现增强。而且，提供游戏高端装置的GPU供应商可受益于呈现增强。
在一些实施例中，所述设备可包含计算装置，其具有被配置成提供GUI的显示器；相机，其处于计算装置中或附接到计算装置，所述相机被配置成捕获用户的瞳孔方位和眼睛移动；和处理器，其处于计算装置。在此类实例中，处理器可被配置成基于用户的至少一个瞳孔相对于屏幕的观看角度和距离识别相对于显示器的屏幕的用户视觉焦点。而且，在此类实例中，处理器可被配置成基于所捕获的用户眼睛移动识别眼急动。处理器还可被配置成基于所识别的眼急动、所识别的视觉焦点或其组合来控制显示器、GUI或其组合的一或多个参数。
在一些实施例中，所述设备可包含计算装置，其具有被配置成提供GUI的显示器；相机，其处于计算装置中或附接到计算装置，所述相机被配置成捕获用户的瞳孔方位和眼睛移动；和处理器，其处于计算装置。处理器可被配置成基于所捕获的瞳孔方位识别相对于显示器的屏幕的用户视觉焦点。处理器还可被配置成基于所捕获的用户眼睛移动识别眼急动，并且基于所识别的眼急动、所识别的视觉焦点或其组合控制显示器、GUI或其组合的一或多个参数。
在一些实施例中，相机可与可穿戴装置或结构(例如，智能手表或是帽子的部分的头戴式装置)集成在一起。并且，对于这类实例，用户可通过移动眼睛的焦点远离特定对象(例如用户接口)来控制用户接口的一或多个参数(例如，控制显示器的调暗或关断或控制用户接口的音频或触觉输出)。而且，举例来说，用户可注视显示器中的点；且如果用户眨眼或做出另一眼睛姿势，那么可通过显示器中的GUI放大或聚焦所述点。或者，举例来说，在用户眨眼或做出另一眼睛姿势之后，可将关于所述点处的信息的更多音频信息提供给用户。并且，这些仅为经由本文中所公开的眼睛移动跟踪的人机交互的多种实例中的一些实例。而且，可穿戴装置可与用户的平板计算机或智能手机或IoT装置交互。在一些实施例中，相机、计算装置和显示器或其它类型的用户接口可为单独的并且经由通信网络(例如本地无线网络或广域网，或装置本地的网络，例如蓝牙等等)经连接。
至少一些实施例可包含用以捕获用户的眼睛移动(例如，眼急动、平稳追随移动、异向移动、前庭眼移动、眼睛注意力、角度、视角等)。眼睛移动可被解译为处理器(例如CPU)做出的用以控制连接到处理器的用户接口的操作的眼睛姿势。举例来说，显示或投影的屏幕上的内容呈现可受眼睛姿势控制。
相机可集成于可安放在头部的用户接口(例如可在头部安放的显示器)内。用户接口可将内容递送到用户眼睛和耳部，例如具有音频的3D虚拟现实内容，或具有视觉(例如，图形)、触觉和/或听觉内容的扩增现实内容。用户可通过移动眼睛焦点远离提供的关注点来控制显示器的调暗或关断或内容的展现。举例来说，当用户眼睛转移目光或看向别处时，装置可调暗，降低音量，排除触觉或触觉反馈，或关断以节约用电。举例来说，用户可注视一点；且随后如果用户眨眼或做出另一眼睛姿势，那么可放大所述点。
举例来说，用户接口和相机可与手表或带盖帽(或帽子)包含在一起。带盖帽或手表可包含小的嵌入式相机，其可监测用户的眼睛并且可与智能手机或另一类型的装置通信。对于带盖帽，带盖帽可具有嵌入于带盖帽的帽舌中的柔性屏幕，或可具有可从帽舌向上或向下移动的透明屏幕。这类实例仅为计算装置、用户接口、相机和可佩戴结构的组合的多种实施例和实施方案中的数种实施例和实施方案。
在本文中所公开的一些实施例中，所述设备可具有可佩戴结构、计算装置、用户接口和相机。可佩戴结构可被配置成由用户佩戴并且可连接到计算装置、用户接口、相机或其组合中的至少一个。可佩戴结构可为以下各项、包含以下各项或为以下各项的部分：帽子、带盖帽、腕带、领带、项链、隐形眼镜、眼镜或另一类型的护目镜。在一些实施例中，可佩戴结构可为带盖帽、包含带盖帽或为带盖帽的部分且带盖帽可具有帽舌，且显示器可为具有帽舌的带盖帽的部分。
虽然许多实例涉及对显示器或GUI的控制，但存在许多方式来实施本文中所描述的实施例，包含许多不同方式来控制许多不同类型的用户接口。
一些实施例可为或包含具有带盖帽的设备且带盖帽可具有帽舌。显示器可被定位成从帽舌的底部表面面向下或定位在帽舌中以从帽舌的底部表面向下和向上移动。计算装置可附接到带盖帽。并且，相机可在计算装置中或连接到计算装置，并且被配置成在相机面向用户的脸部时或在眼睛在相机的检测范围中时捕获用户的眼睛移动。计算装置中的处理器可被配置成从所捕获的眼睛移动识别一或多个眼睛姿势。处理器还可被配置成基于所识别的一或多个眼睛姿势来控制无线地连接到计算装置的第二计算装置的显示器或GUI的一或多个参数。而且，处理器可被配置成基于所识别的一或多个眼睛姿势来控制计算装置的显示器或GUI的一或多个参数。
多种实施例中的一些的另一实例可包含具有腕带的设备。计算装置可包含显示器。并且，计算装置可附接到腕带。显示器可被配置成提供GUI。计算装置中的相机可被配置成在显示器面向用户的脸部时捕获用户的眼睛移动。计算装置中的处理器可被配置成从所捕获的眼睛移动识别一或多个眼睛姿势，并且基于所识别的一或多个眼睛姿势来控制显示器或GUI的一或多个参数。
图1说明包含处理器、存储器(例如，参见处理器和存储器104)、用户接口106和相机108的实例计算装置102。计算装置102可被配置成根据本公开的一些实施例部分地基于眼睛跟踪实施用户接口控制(例如GUI呈现增强)。如所示出，计算装置102包含处理器和存储器104、用户接口106和相机108。处理器和存储器104、用户接口106和相机108经由计算装置102内的总线110以通信方式耦合。
虽然图1中未描绘，但计算装置102可为被配置成由用户佩戴的可佩戴结构(例如，参见图3中示出的可佩戴结构302)的部分或包含所述可佩戴结构。包含计算装置102的设备还可包含可佩戴结构。可佩戴结构可包含以下各项中的至少一个或连接到以下各项中的至少一个：计算装置102、处理器和存储器104、用户接口106(其可为或包含显示器)、相机108或其组合。可佩戴结构可被配置成佩戴在用户的头部、环绕颈部或环绕腕部或前臂。可佩戴结构可包含带盖帽、腕带、领带、项链或隐形眼镜。
用户接口106可被配置成提供视觉用户接口(例如GUI)、触觉用户接口、听觉用户接口、任何其它类型的用户接口，或其任何组合。举例来说，用户接口106可为或包含连接到处理器和存储器104、相机108或其组合中的至少一个的显示器，且显示器可被配置成提供GUI。而且，用户接口106可为或可包含投影仪、例如扬声器的一或多个音频输出装置和/或例如振动装置的一或多个触觉输出装置。并且，此类组件可连接到处理器和存储器104、相机108或其组合中的至少一个。并且，本文所描述的实施例可包含任何类型的一或多个用户接口，包含触觉UI(触摸)、视觉UI(视线)、听觉UI(声音)、嗅觉UI(气味)、均衡UI(平衡)和味觉UI(味道)。本文中所描述的实施例还可包含神经-或脑-计算机接口，其中神经元与人体内部或外部的电极连线，并且其中接口无线地或以有线方式连接到外部装置。
相机108可连接到处理器和存储器104、用户接口106或其组合中的至少一个，且相机可被配置成捕获用户的瞳孔方位和/或用户的眼睛移动。相机108还可被配置成捕获眼睛的其它部分的方位。在一些实例中，在其中用户接口为或包含显示器的实施例中，相机可在计算装置和/或显示器中或连接到计算装置和/或显示器，并且可被配置成在显示器面向用户的脸部时或在眼睛在相机的检测范围中时捕获用户的瞳孔方位和/或用户的眼睛移动。
相机108可为、可包含复杂相机布置或较简单相机配置，或可为其部分。并且，相机108可捕获眼睛移动以用作用于经由一或多个计算机视觉算法识别视觉焦点、识别眼睛移动的类型和/或姿势辨识的输入。复杂相机布置可包含一或多个深度感知相机和两个或更多个立体相机。深度感知相机可产生通过相机看见的内容的深度图，并且可使用此数据估算用户的眼睛或脸部的移动部分的3D表示。立体相机还可用于估算眼睛或脸部的移动部分的3D表示。而且，可使用例如单数码相机的较简单的单相机布置以便捕获用户的眼睛或脸部的移动部分的2D表示。
在一些实施例中，相机108可被配置成捕获眼睛移动、方位和/或取向，且处理器和存储器104中的处理器可被配置成执行存储于处理器和存储器104的存储器中的指令以解译所捕获的眼睛移动、方位和/或取向以此控制用户接口106的操作。在这类实施例中，计算装置102可为以下各项的部分或包含以下各项：移动装置、IoT装置，或任何其它类型的可包含如图1中所示的这类相机、用户接口以及处理器和存储器的装置。
在一些实施例中，设备可包含计算装置102、显示器(其为用户接口106的部分)、相机108以及处于计算装置中的处理器(例如，参见处理器和存储器104)。显示器可在一些情况下连接到计算装置102，或为计算装置的部分，或在一些实例中甚至包含计算装置。并且，显示器可被配置成提供GUI。相机108可连接到计算装置102、显示器或其组合中的至少一个，且相机可被配置成捕获用户的瞳孔方位。
处于计算装置102中的处理器和存储器104中的处理器可被配置成基于由相机108捕获的所捕获瞳孔方位识别相对于GUI的用户视觉焦点。处理器可被配置成执行包含在存储于处理器和存储器104中的存储器中的指令中的视觉焦点模块112。视觉焦点模块112的执行可致使处理器基于由相机捕获的所捕获瞳孔方位识别相对于GUI的用户视觉焦点。
处理器和存储器104中的处理器可被配置成至少部分地基于用户的至少一个瞳孔相对于GUI的观看角度和距离来识别用户视觉焦点。用户的至少一个瞳孔相对于GUI的观看角度和距离可由相机108捕获。处理器可被配置成执行视觉焦点模块112以致使处理器至少部分地基于用户的至少一个瞳孔相对于GUI的观看角度和距离来识别用户视觉焦点。而且，在这类实施例中，处理器还可被配置成至少部分地基于所识别的用户视觉焦点来控制显示器的输出的偏斜或角度。
处理器和存储器104中的处理器可被配置成至少部分地基于所识别的用户视觉焦点来控制显示器、GUI或其组合的一或多个参数。处理器可被配置成执行包含在存储于处理器和存储器104中的存储器中的指令中的呈现增强模块114。呈现增强模块114的执行可致使处理器至少部分地基于所识别的用户视觉焦点来控制显示器、GUI或其组合的一或多个参数。在一些实施例中，本文所描述的呈现增强可供操作系统和/或应用程序用于控制和增强型用户体验。举例来说，游戏应用程序可受益于其自身的额外呈现增强。
而且，处理器和存储器104中的处理器可被配置成至少部分地基于所识别的用户视觉焦点来控制显示器的屏幕分辨率的分布。处理器可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的用户视觉焦点来控制显示器的屏幕分辨率的分布。在一些实施例中，处理器可在用户的眼睛看向屏幕中的光点处呈现较细分辨率并且提供朝向屏幕的其它区域的平滑梯度。在此类实例中，当眼睛移动其在屏幕上的视点时，分布的中心也随视点移动，从而提供极好的视觉感知经历。这类分布自然地配合人类视觉设备。这样做的益处不仅是增强视觉经历并且还减少电力和资源占用，原因是处理器根据梯度呈现得越来越少。而且，处理器和存储器104中的处理器可被配置成至少部分地基于所识别的用户视觉焦点控制显示器的屏幕显色的分布。处理器可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的用户视觉焦点控制显示器的屏幕显色的分布。而且，处理器和存储器104的处理器可被配置成至少部分地基于所识别的用户视觉焦点控制显示器的屏幕亮度的分布。处理器可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的用户视觉焦点控制显示器的屏幕亮度的分布。而且，处理器和存储器104的处理器可被配置成至少部分地基于所识别的用户视觉焦点控制显示器的屏幕明暗度的分布。处理器可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的用户视觉焦点控制显示器的屏幕明暗度的分布。而且，处理器和存储器104的处理器可被配置成至少部分地基于所识别的用户视觉焦点控制显示器的屏幕对比度的分布。处理器可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的用户视觉焦点控制显示器的屏幕对比度的分布。
在一些实施例中，相机108可被配置成捕获用户的眼睛移动，且处理器和存储器104的处理器可被配置成基于用户的所捕获眼睛移动来识别眼睛移动的类型(例如，眼急动)并且至少部分地基于所识别的眼睛移动类型进一步控制显示器、GUI或其组合的一或多个参数。处理器可被配置成执行包含在存储于处理器和存储器104的存储器中的指令中的眼睛移动模块116。眼睛移动模块116的执行可致使处理器基于所捕获的用户眼睛移动识别眼睛移动的类型(例如，眼急动)。并且，处理器可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的眼睛移动类型控制显示器、GUI或其组合的一或多个参数。
在这类实施例中，处理器和存储器104的处理器可被配置成根据所识别的眼睛移动类型(例如，所识别的眼急动)估算用户的从一个焦点到另一焦点的眼睛移动。而且，处理器可被配置成执行眼睛移动模块116以致使处理器根据所识别的眼睛移动类型估算用的户从一个焦点到另一焦点的眼睛移动。并且，处理器可被配置成至少部分地基于所识别的经估算眼睛移动控制显示器、GUI或其组合的一或多个参数。处理器还可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的经估算眼睛移动进一步控制显示器、GUI或其组合的一或多个参数。在一些实施例中，在具有所估算的轨迹的眼睛移动期间，呈现增强模块114可减小眼睛不易察觉的屏幕分辨率，这可以减少处理资源和存储器资源的使用并且节约用于移动可穿戴装置的电力。在这类眼睛移动完成之后，呈现增强模块114即刻恢复分辨率。
而且，处理器和存储器104的处理器可被配置成至少部分地基于所识别的眼睛移动类型(例如，所识别的眼急动)进一步改变显示器的输出的偏斜或角度。处理器可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的眼睛移动类型改变显示器的输出的偏斜或角度。处理器可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的眼睛移动类型进一步不均匀地分布显示器的屏幕分辨率。而且，处理器可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的眼睛移动类型进一步不均匀地分布显示器的显色。而且，处理器可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的眼睛移动类型进一步不均匀地分布显示器的亮度或明暗度。而且，处理器可被配置成执行呈现增强模块114以致使处理器至少部分地基于所识别的眼睛移动类型进一步不均匀地分布显示器的对比度。
一般来说，可通过装置的操作系统、另一软件应用程序和/或固件以及例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)的可编程逻辑实施本文所描述的识别视觉焦点或眼睛移动的实例以及接下来的本文所描述的根据所识别的视觉焦点或所识别的眼睛移动对用户接口的一或多个参数的后续控制的实例。在一些实施例中，可通过计算装置102的操作系统、可在计算装置中运行的另一软件应用程序和/或计算装置中的固件各自实施视觉焦点模块112、呈现增强模块114和眼睛移动模块116。
一般来说，本文所描述的可佩戴结构可各自被视为多个可佩戴结构。本文所描述的计算装置可各自被视为多个计算装置。本文所描述的用户接口可各自被视为多个用户接口，且本文所描述的相机可各自被视为多个相机。这类组件可以是通过眼睛跟踪，例如通过所识别的视觉焦点和/或所识别的眼睛移动可控的生态系统的部分。
而且，一般来说，本文中所描述的计算装置和设备的部分可无线地或通过电线或其它类型的通信耦合彼此连接。
图2和3说明根据本公开的一些实施例的各自被配置成部分地基于眼睛跟踪实施用户接口控制(例如GUI呈现增强)的实例联网系统200和300。联网系统200和300两者都经由一或多个通信网络联网。本文中所描述的通信网络可至少包含装置本地的网络(例如蓝牙等等)、广域网(WAN)、局域网(LAN)、内联网、例如4G或5G的移动无线网络、外联网、因特网和/或其任何组合。联网系统200和300可各自为对等网络、客户端-服务器网络、云计算环境等的部分。而且，本文中所描述的设备、计算装置、可穿戴结构、相机和/或用户接口中的任一个可包含某一类别的计算机系统。并且，此类计算机系统可包含通到LAN、内联网、外联网和/或因特网(例如，参见网络210和315)中的其它装置的网络接口。计算机系统还可作为对等(或分布式)网络环境中的对等机器或作为云计算基础架构或环境中的服务器或客户端机器在客户端-服务器网络环境中的服务器或客户端机器的容量中操作。
而且，图2和3的所说明组件中的至少一些可在功能上和/或结构上类似于图1的所说明组件，并且图1的所说明组件中的至少一些可在功能上和/或结构上类似于图2和3的所说明组件。举例来说，在很大程度上，计算装置202和304可各自具有与计算装置102类似的特征和/或功能性，且反之亦然。用户接口206和其它组件316的用户接口可具有与用户接口106类似的特征和/或功能性，且反之亦然。相机204和其它组件316的相机各自可具有与相机108类似的特征和/或功能性，且反之亦然。控制器308可具有与处理器和存储器104的处理器类似的特征和/或功能性。总线306可各自具有与总线110类似的特征和/或功能性，且反之亦然。并且，网络接口312可具有与网络接口208a、208b和208c类似的特征和/或功能性，且反之亦然。
如图2所示，联网系统200包含计算装置202、相机204和用户接口206。联网系统200还包含处理器和存储器104(其为计算装置202的部分)。计算装置202的总线未在图2中示出，但其至少将装置202中的处理器和存储器104连接到网络接口208a。而且，应理解，虽然计算装置202、相机204和用户接口206未在可佩戴结构中示出或不附接到可佩戴结构，但所述组件或其组合中的每一个可为可佩戴结构的部分或附接到可佩戴结构。本文所描述的可佩戴结构可被配置成由用户佩戴。可佩戴结构可为以下各项、包含以下各项或为以下各项的部分：帽子、带盖帽、腕带、领带、项链、其它类型的珠宝(例如戒指)、隐形眼镜、眼镜、另一类型的护目镜、任何类型的服装(例如衬衫、裤子、皮带、鞋子、裙子、连衣裙或夹克)，以及指环、穿孔佩戴饰品、人工指甲和睫毛、纹身、化妆等。在一些实施例中，可佩戴结构可为人体的部分或植入于人体中，与神经系统介接以提供所有类别的用户经历。
网络接口208a(包含在计算装置202中)将计算装置分别经由一或多个计算机网络210和网络接口208b和208c连接到相机204和用户接口206。网络接口208b(包含在相机204中)将相机分别经由网络210和网络接口208a和208c连接到计算装置202和用户接口206。网络接口208c(包含在用户接口206中)将用户接口分别经由网络210和网络接口208a和208b连接到计算装置202和相机204。
用户接口206可被配置成提供GUI、触觉用户接口、听觉用户接口或其任何组合。举例来说，用户接口206可为或包含经由网络210连接到可佩戴结构(未描绘)、计算装置202、相机204或其组合中的至少一个的显示器，且显示器可被配置成提供GUI。并且，本文所描述的实施例可包含任何类型的一或多个用户接口，包含触觉UI(触摸)、视觉UI(视线)、听觉UI(声音)、嗅觉UI(气味)、均衡UI(平衡)和味觉UI(味道)。
相机204可经由网络210连接到可佩戴结构(未描绘)、计算装置202、用户接口206或其组合中的至少一个，且相机可被配置成捕获用户的眼睛移动和/或用户的瞳孔方位。相机204还可被配置成捕获眼睛的其它部分的方位。关于捕获用户的眼睛移动，相机204(以及图1中示出的相机108)可被配置成捕获眼急动、平稳追随移动、异向移动、前庭眼移动、眼睛注意力、角度、视角等。
如图2所示的计算装置202中的处理器和存储器104的处理器可被配置成基于由相机204捕获的所捕获瞳孔方位来识别相对于GUI的用户视觉焦点。处理器还可被配置成至少部分地基于所识别的用户视觉焦点控制显示器、GUI或其组合的一或多个参数。处理器还可被配置成从由相机204捕获的所捕获眼睛移动识别一或多个眼睛姿势。处理器还可被配置成基于所识别的一或多个眼睛姿势和/或所识别的用户视觉焦点控制用户接口206的一或多个参数。举例来说，处理器还可被配置成基于所识别的一或多个眼睛姿势和/或所识别的视觉焦点控制用户接口206的显示器或用户接口的GUI或其组合的一或多个参数。而且，本文中所描述的实施例可包含处理器基于所识别的一或多个眼睛姿势控制任何类型的用户接口(UI)(包含触觉UI(触摸)、视觉UI(视线)、听觉UI(声音)、嗅觉UI(气味)、均衡UI(平衡)和味觉UI(味道))的参数。
图3说明根据本公开的一些实施例的可部分地基于用于多个可穿戴结构和计算装置(例如，参见可穿戴结构302和330以及计算装置304、320和340)的多个用户接口的眼睛跟踪来实施用户接口控制(例如呈现增强)的实例联网系统300。
可佩戴结构302以及本文所描述的其它可佩戴结构可为以下各项、包含以下各项或为以下各项的部分：帽子、带盖帽、腕带、领带、项链、隐形眼镜、眼镜或另一类型的护目镜。举例来说，可佩戴结构可包含具有帽舌的带盖帽，且用户接口可为具有帽舌的带盖帽的部分。在此类实例中，用户接口可包含为帽舌的部分的显示器。并且，带盖帽中的用户接口可包含音频输出，例如扬声器，或音频输入，例如麦克风。显示器可定位成从帽舌的底部表面面向下或定位在帽舌中以从帽舌的底部表面向下和向上移动，以当戴上带盖帽且帽舌相对于用户面向前时在用户的眼睛前方显示所述显示器。当带盖帽面向前且帽舌在用户前方时，扬声器可定位于带盖帽中靠近用户的耳部。当包含麦克风时，麦克风可位于带盖帽中的任何位置。
而且，举例来说，可佩戴结构302可为或包含护目镜(例如眼镜或隐形眼镜)，当用户佩戴着护目镜时可向用户提供内容，例如经由护目镜的镜片提供内容。所述内容可无线传送到护目镜并且被护目镜中的一或多个天线接收到。在其中护目镜包含隐形眼镜的实例中，隐形眼镜可各自包含微观天线，其可接收与将在隐形眼镜内显示的内容的传送以用于对所述内容的用户感知。在其中护目镜包含眼镜的实例中，眼镜的框架可包含小扬声器和麦克风。而且，小振动装置可包含在眼镜中以用于触觉输出。传送内容的另一方式是经由光波导，所述光波导是在波导输入处投影视频光流，并且使用纳米波导在护目镜内部分布所述视频光流。
存在可用于实施例中的许多类型的可佩戴结构。举例来说，计算装置的组件304中的任一个可集成到假发或发饰中而非帽子或带盖帽中。换句话说，可佩戴结构302可为假发或发饰或者包含假发或发饰。而且，可佩戴结构302可包含腕带、领带、项链或任何类型的珠宝或者为腕带、领带、项链或任何类型的珠宝。可佩戴结构302还可包含任何类型的服装或为任何类型的服装，例如衬衫、裤子、皮带、鞋子、裙子、连衣裙或夹克。
图3还说明计算装置304的若干组件。计算装置304还可包含类似于本文中针对计算装置102和202所描述的组件的组件。并且，图3还示出包含计算装置304的实例可穿戴结构302。如所示出，多个可穿戴结构和计算装置(例如，参见可穿戴结构302和330以及计算装置304、320和340)可通过一或多个通信网络315彼此通信。
包含在可穿戴结构302中的计算装置304可为或可包含图1中所示的计算装置102中的组件或任何类型的在某种程度上类似于本文中所描述的计算装置的计算装置，或可为其部分。计算装置304可为或可包含移动装置等或可为其部分，所述移动装置例如智能手机、平板计算机、IoT装置、智能电视、智能手表、眼镜或其它智能家用电器、车内信息系统、可穿戴智能装置、游戏控制台、PC、数码相机，或其任何组合。如所示出，计算装置304可连接到通信网络315，所述通信网络315至少包含装置本地的网络(例如蓝牙等等)、广域网(WAN)、局域网(LAN)、内联网、例如4G或5G的移动无线网络、外联网、因特网和/或其任何组合。
本文中所描述的计算或移动装置(例如计算装置102、202和304)中的每一个可为以下各项或可替换为以下各项：个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝式电话、网络器具、服务器、网络路由器、交换机或网桥，或能够执行指定待由所述机器采取的动作的指令集(依序或以其它方式)的任何机器。
而且，虽然针对图3中所展示的计算装置304以及图1和2中分别所展示的计算装置102和202说明单个机器，但术语“机器”还应被认为包含个别地或联合地执行一(或多个)指令集以执行本文中所论述的方法或操作中的任一或多个的机器的任何集合。而且，所说明的计算装置或移动装置中的每一个可各自至少包含总线和/或母板、一或多个控制器(例如，一或多个CPU)、可包含暂时性数据存储装置的主存储器、至少一种类型的网络接口、可包含永久性数据存储装置的存储系统，以及/或其任何组合。在一些多装置实施例中，一个装置可完成本文所描述的方法的一些部分，接着通过网络将完成的结果发送到另一装置，使得另一装置可继续本文所描述的方法的其它步骤。
图3还说明根据本公开的一些实施例的实例计算装置304的实例部分。如所示，计算装置304可以通信方式耦合到网络315。计算装置304至少包含总线306、控制器308(例如CPU)、存储器310、网络接口312、数据存储系统314和其它组件316(其可为移动或计算装置中所见的任何类型的组件，例如GPS组件、I/O组件(例如各种类型的用户接口组件)和传感器以及相机)。其它组件316可包含一或多个用户接口(例如，GUI、听觉用户接口、触觉用户接口等)、显示器、不同类型的传感器、触觉、音频和/或视觉输入/输出装置、额外专用存储器、一或多个额外控制器(例如，GPU)，或其任何组合。总线306以通信方式耦合控制器308、存储器310、网络接口312、数据存储系统314和其它组件316。计算装置304包含计算机系统，所述计算机系统至少包含经由总线306(其可包含多个总线)彼此通信的控制器308、存储器310(例如，只读存储器(ROM)、快闪存储器、动态随机存取存储器(DRAM)(例如同步DRAM(SDRAM)或Rambus DRAM(RDRAM))、静态随机存取存储器(SRAM)、交叉点存储器、交叉开关存储器等)，以及数据存储系统314。
换句话说，图3为具有计算机系统的计算装置304的框图，本公开的实施例可在所述计算机系统中操作。在一些实施例中，计算机系统可包含指令集，用于在被执行时致使机器执行本文所论述的方法中的任何一种或多种。在此类实施例中，机器可连接(例如，经由网络接口312联网)到LAN、内联网、外联网和/或因特网(例如，网络315)中的其它机器。机器可作为对等(或分布式)网络环境中的对等机器或作为云计算基础设施或环境中的服务器或客户端机器而以客户端-服务器网络环境中的服务器或客户端机器的容量进行操作。
控制器308表示一或多个通用处理装置，例如微处理器、中央处理单元等。更确切地说，处理装置可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、单指令多数据(SIMD)、多指令多数据(MIMD)，或实施其它指令集的处理器，或实施指令集的组合的处理器。控制器308还可以是一或多个专用处理装置(例如ASIC)、可编程逻辑(例如FPGA)、数字信号处理器(DSP)、网络处理器等。控制器308被配置成执行指令以用于执行本文中所论述的操作和步骤。控制器308可另外包含例如网络接口312的网络接口装置以经由一或多个通信网络(例如一或多个网络315)通信。
数据存储系统314可包含机器可读存储媒体(也称为计算机可读媒体)，其上存储有体现本文中所描述的任何一或多种方法或功能的一或多个指令集或软件。存储系统314可具有执行能力，例如其可至少部分地执行驻留于存储系统中的指令。指令也可以在其通过计算机系统执行的期间完全地或至少部分地驻存于存储器310内和/或控制器308内，所述存储器310和控制器308也构成机器可读存储媒体。存储器310可为或可包含装置304的主存储器。存储器310可具有执行能力，例如其可至少部分地执行驻留于存储器中的指令。
虽然存储器、控制器和数据存储装置部分在实例实施例中展示为各自是单个部分，但每一部分应被认为包含可以存储指令并且执行它们的相应操作的单个部分或多个部分。术语“机器可读存储媒体”还应被认为包含能够存储或编码供机器执行的指令集合且致使机器执行本公开的方法中的任何一种或多种的任何媒体。术语“机器可读存储媒体”因此应被视为包含但不限于固态存储器、光学媒体和磁性媒体。
图4和5说明根据本公开的一些实施例的各自具有可由图1中所描绘的计算装置102的方面、图2中描绘的联网系统200的方面或图3中所描绘的联网系统300的方面执行的实例方法400和500的流程图。
在图4中，方法400开始于步骤402，其中提供GUI(例如，参见用户接口106和206以及其它组件316)。步骤402可包含提供GUI以及听觉用户接口、触觉用户接口、任何其它类型的UI，或其组合。GUI可包含处理器和/或用户输入/输出组件(例如显示器和/或投影屏幕)，且/或由处理器和/或用户输入/输出组件(例如显示器和/或投影屏幕)提供。其它用户接口元件可包含以下各项且/或由以下各项提供：处理器和/或用户输入/输出组件(例如显示器、投影屏幕)、音频输出装置(例如扬声器)和/或触觉输出装置(例如振动装置)。GUI和/或其它用户接口元件还可由可佩戴结构(例如，参见可佩戴结构302)提供、连接到所述可佩戴结构或为所述可佩戴结构的部分。
在步骤404处，方法400继续通过相机(例如，参见相机108和204和其它组件316)捕获用户的瞳孔方位。在步骤404处，方法还可继续通过相机捕获眼睛的其它部分的方位。相机可连接到可佩戴结构(例如，参见可佩戴结构302)或为所述可佩戴结构的部分。瞳孔方位的捕获可关于GUI和/或其它用户接口元件中的一或多个。应理解，对于此步骤和本文中所描述的其它相关过程，瞳孔方位的捕获可替换为以下操作或通过以下操作进行增强：捕获眼睛的其它方面，例如虹膜或瞳孔大小、眼睛闪烁、眼睛的血管、从眼睛的光反射等。所捕获的眼睛的这类其它方面可在识别视觉焦点和/或对视觉焦点的注意力期间为有用的。应理解，对于此步骤和本文中所描述的其它相关过程，瞳孔方位的捕获可替换为以下操作或通过以下操作进行增强：捕获用户的脸部的可与视觉焦点和用户对焦点的关注度相关联的其它方面。
在步骤406处，方法400继续通过处理器(例如，参见处理器和存储器104和控制器308)识别相对于GUI的用户视觉焦点。替代地，在步骤406处，方法400可继续通过处理器(例如，参见处理器和存储器104和控制器308)识别相对于GUI、显示器和/或另一用户接口的用户视觉焦点。步骤406还可包含通过处理器至少部分地基于用户的至少一个瞳孔相对于GUI、显示器和/或另一用户接口的观看角度和距离来识别用户视觉焦点。
在步骤408处，方法400继续通过处理器至少部分地基于所识别的用户视觉焦点控制GUI的一或多个参数。替代地，在步骤408处，方法400可继续通过处理器至少部分地基于所识别的用户视觉焦点控制显示器、GUI、另一用户接口或其组合的一或多个参数。
步骤408还可包含至少部分地基于所识别的用户视觉焦点控制GUI和/或显示器的输出的偏斜或角度。步骤408还可包含至少部分地基于所识别的用户视觉焦点控制GUI和/或显示器的屏幕分辨率的分布。步骤408还可包含至少部分地基于所识别的用户视觉焦点控制GUI或显示器的屏幕显色的分布。步骤408还可包含至少部分地基于所识别的用户视觉焦点控制GUI或显示器的屏幕亮度的分布。步骤408还可包含至少部分地基于所识别的用户视觉焦点控制GUI或显示器的屏幕明暗度的分布。步骤408还可包含至少部分地基于所识别的用户视觉焦点控制GUI或显示器的屏幕对比度的分布。
而且，处理器可连接到可穿戴结构(例如，参见可穿戴结构302)或可为所述可穿戴结构的部分。
在步骤410处，方法400重复步骤404到408，直到发生特定动作，例如GUI、相机、处理器或其组合中的至少一个关闭为止。
在一些实施例中，应理解，步骤404到408可实施为连续过程，例如每个步骤可通过监测输入数据、执行操作并且将数据输出到后一步骤来独立地运行。替代地，步骤404到408可实施为离散事件过程，例如每个步骤可在应触发的事件上被触发并且产生特定输出。还应理解，图4表示比在图1到3中部分地展现的计算机系统更复杂的计算机系统的可能较大方法内的最小方法。因此，图4中所描绘的步骤可与其它步骤交错，所述其它步骤进出与更复杂系统的较大方法相关联的其它步骤。
在图5中，方法500开始于步骤502，即提供GUI(例如，参见用户接口106和206和其它组件316)。步骤502可包含提供GUI以及听觉用户接口、触觉用户接口、任何其它类型的UI或其组合。GUI可包含处理器和/或用户输入/输出组件(例如显示器和/或投影屏幕)和/或由其提供。其它用户接口元件可包含处理器和/或用户输入/输出组件(例如显示器、投影屏幕、投影到用户的视网膜中)、音频输出装置(例如扬声器)和/或触觉输出装置(例如振动装置)和/或由其提供。GUI和/或其它用户接口元件也可由可佩戴结构(例如，参见可佩戴结构302)提供、连接到所述可佩戴结构或为所述可佩戴结构的部分。
在步骤504处，方法500继续通过相机(例如，参见相机108和204和其它组件316)捕获用户的瞳孔方位。在步骤504处，方法还可继续通过相机捕获眼睛的其它部分的方位。相机可连接到可佩戴结构(例如，参见可佩戴结构302)或为所述可佩戴结构的部分。瞳孔方位的捕获可关于GUI和/或其它用户接口元件中的一或多个。应理解，对于此步骤和本文中所描述的其它相关过程，瞳孔方位的捕获可替换为以下操作或通过以下操作进行增强：捕获眼睛的其它方面，例如虹膜或瞳孔大小、眼睛闪烁、眼睛的血管、从眼睛的光反射等。所捕获的眼睛的这类其它方面可在识别视觉焦点和/或对视觉焦点的注意力期间为有用的。应理解，对于此步骤和本文中所描述的其它相关过程，瞳孔方位的捕获可替换为以下操作或通过以下操作进行增强：捕获用户的脸部的可与视觉焦点和用户对焦点的关注度相关联的其它方面。
在步骤505处，方法500继续通过相机捕获用户的眼睛移动。眼睛移动可包含眉毛移动、眼睑移动、眼睛的眼急动、眼睛的平稳追随移动、两个眼睛的异向移动或任何其它类型的眼睛移动或其组合中的至少一个。
在步骤506处，方法500继续通过处理器(例如，参见处理器和存储器104和控制器308)识别相对于GUI的用户视觉焦点。替代地，在步骤506处，方法500可继续通过处理器识别相对于GUI、显示器和/或另一用户接口的用户视觉焦点。步骤506还可包含通过处理器至少部分地基于用户的至少一个瞳孔相对于GUI、显示器和/或另一用户接口的观看角度和距离来识别用户视觉焦点。
在步骤507处，方法500继续通过处理器识别用户的眼睛移动的类型。用户的眼睛移动的类型可为来自所捕获的眼睛移动的一或多个眼睛姿势。步骤507可包含至少部分地从眉毛移动、眼睑移动或其组合中的至少一个识别一或多个眼睛姿势。步骤507可包含至少部分地从所捕获用户眼睛的眼急动识别一或多个眼睛姿势。步骤507可包含至少部分地从所捕获的用户眼睛的平稳追随移动识别一或多个眼睛姿势。步骤507可包含至少部分地从所捕获的用户两个眼睛的异向移动识别一或多个眼睛姿势。换句话说，步骤507可包含从所捕获的眼睛移动识别一或多个眼睛姿势，可包含至少部分地从眉毛移动、眼睑移动、眼睛的眼急动、眼睛的平稳追随移动、两个眼睛的异向移动或任何其它类型的眼睛移动或其组合识别一或多个眼睛姿势。
在步骤508处，方法500继续通过处理器至少部分地基于所识别的用户视觉焦点和所识别的用户的眼睛移动类型(例如，所识别的用户的一或多个姿势)控制GUI的一或多个参数。替代地，在步骤508处，方法500可继续通过处理器至少部分地基于所识别的用户视觉焦点和所识别的用户眼睛移动的类型(例如，所识别的用户的一或多个姿势)控制显示器、GUI、另一用户接口或其组合的一或多个参数。
步骤508还可包含至少部分地基于所识别的用户视觉焦点和所识别的用户眼睛移动的类型控制GUI和/或显示器的输出的偏斜或角度。步骤508还可包含至少部分地基于所识别的用户视觉焦点和所识别的用户眼睛移动的类型控制GUI和/或显示器的屏幕分辨率的分布。步骤508还可包含至少部分地基于所识别的用户视觉焦点和所识别的用户眼睛移动的类型控制GUI或显示器的屏幕显色的分布。步骤508还可包含至少部分地基于所识别的用户视觉焦点和所识别的用户眼睛移动的类型控制GUI或显示器的屏幕亮度的分布。步骤508还可包含至少部分地基于所识别的用户视觉焦点和所识别的用户眼睛移动的类型控制GUI或显示器的屏幕明暗度的分布。步骤508还可包含至少部分地基于所识别的用户视觉焦点和所识别的用户眼睛移动的类型控制GUI或显示器的屏幕对比度的分布。
而且，步骤508可包含通过处理器基于所识别的一或多个眼睛姿势控制GUI的一或多个参数。其中GUI可包含显示器、是显示器的部分或是显示器，且步骤508可包含根据所识别的一或多个眼睛姿势增加或减小至少显示器的部分中的亮度。而且，步骤508可包含根据所识别的一或多个眼睛姿势增加或减小至少显示器的部分中的对比度、分辨率或其组合中的至少一个。而且，步骤508可包含根据所识别的一或多个眼睛姿势激活或解除激活显示器的至少一部分。步骤508还可包含当用户的眼睛将目光从显示器移开时将显示器的至少一部分调暗。步骤508还可包含当用户的眼睛将目光从显示器移开超过预定量的时间时关断显示器。所述预定量的时间可至少部分地可由用户选择。而且，步骤508可包含当用户的眼睛将目光从显示器移开超过预定量的时间时将计算装置至少部分地置于省电模式中。与省电模式选择和省电程度相关的预定量的时间可为可由用户选择的。
而且，处理器可连接到可穿戴结构(例如，参见可穿戴结构302)或可为所述可穿戴结构的部分。
在步骤510处，方法500重复步骤504到508，直到发生特定动作，例如GUI、相机、处理器或其组合中的至少一个关闭为止。
在一些实施例中，应理解，步骤504到508可实施为连续过程，例如每个步骤可通过监测输入数据、执行操作并且将数据输出到后一步骤来独立地运行。替代地，步骤504到508可实施为离散事件过程，例如每个步骤可在应触发的事件上被触发并且产生特定输出。还应理解，图5表示比在图1到3中部分地展现的计算机系统更复杂的计算机系统的可能较大方法内的最小方法。因此，图5中所描绘的步骤可与其它步骤交错，所述其它步骤进出与更复杂系统的较大方法相关联的其它步骤。举例来说，在游戏系统(例如与PC、监视器和操纵杆等耦合的游戏控制台或GPU卡)的情况下，上述方法可为图形呈现管线的部分，在所述图形呈现管线中，本文所描述的增强可应用于游戏经历增强、呈现的字符和纹理、游戏控制等。
已在针对计算机存储器内的数据位的操作的算法和符号表示方面呈现了先前详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用以将其工作的主旨最有效地传达给所属领域的其他技术人员的方式。在本文中，且一般将算法构想为产生所要结果的操作的自洽序列。操作是要求对物理量进行物理操纵的操作。通常(但未必)，这些量采用能够存储、组合、比较以及以其它方式操纵的电或磁信号的形式。已经证实，主要出于常用的原因，将这些信号称为位、值、元素、符号、字符、项、编号等等有时是便利的。
然而，应牢记，所有这些和类似术语将与适当物理量相关联，且仅仅为应用于这些量的便利标记。本公开可以指操控和变换计算机系统的寄存器和存储器内的表示为物理(电子)数量的数据为计算机系统存储器或寄存器或其它这类信息存储系统内的类似地表示为物理量的其它数据的计算机系统或类似电子计算装置的动作和过程。
本公开还涉及用于执行本文中的操作的设备。此设备可以出于所需目的而专门构造，或其可以包含通过存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。此类计算机程序可存储于计算机可读存储媒体中，例如包含软盘、光盘、只读光盘存储器(CD-ROM)和磁性光盘的任何类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、磁卡或光卡或适合于存储电子指令的任何类型的媒体，其各自联接到计算机系统总线。
本文中呈现的算法和显示器在本质上并不与任何特定计算机或其它设备相关。各种通用系统可以与根据本文中的教示的程序一起使用，或所述通用系统可以证明为便于构造以用以执行所述方法更加专用的设备。将如下文描述中所阐述的那样来呈现各种这些系统的结构。另外，未参考任何特定编程语言来描述本公开。应了解，可使用各种编程语言来实施如本文中所描述的本公开的教示内容。
本公开可提供为计算机程序产品或软件，其可包含在其上存储有可用于编程计算机系统(或其它电子装置)以进行根据本公开的过程的指令的机器可读媒体。机器可读媒体包含用于以机器(例如，计算机)可读的形式存储信息的任何机构。在一些实施例中，机器可读(例如计算机可读)媒体包含机器(例如计算机)可读存储媒体，例如只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储媒体、光学存储媒体、闪存存储器组件等。
在前述说明书中，本公开的实施例已经参照其特定实例实施例进行描述。将显而易见的是，可在不脱离如所附权利要求书中阐述的本公开的实施例的更广精神和范围的情况下对本公开进行各种修改。因此，应在说明性意义上而非限制性意义上看待说明书和图式。

Claims (20)

1.一种设备，其包括：
计算装置；
显示器，所述显示器连接到所述计算装置，所述显示器被配置成提供图形用户接口(GUI)；
相机，其连接到所述计算装置、所述显示器或其组合中的至少一个，所述相机被配置成捕获用户的瞳孔方位；和
处理器，其处于所述计算装置中，所述处理器被配置成：
基于所述所捕获的瞳孔方位，识别相对于所述GUI的用户视觉焦点；和
至少部分地基于所述所识别的用户视觉焦点，控制所述显示器、所述GUI或其组合的一或多个参数。
2.根据权利要求1所述的设备，其中所述处理器被配置成至少部分地基于所述用户的至少一个瞳孔相对于所述GUI的观看角度和距离，识别所述用户视觉焦点。
3.根据权利要求2所述的设备，其中所述处理器被配置成至少部分地基于所述所识别的用户视觉焦点，控制所述显示器的输出的偏斜或角度。
4.根据权利要求2所述的设备，其中所述处理器被配置成至少部分地基于所述所识别的用户视觉焦点，控制所述显示器的屏幕分辨率的分布。
5.根据权利要求2所述的设备，其中所述处理器被配置成至少部分地基于所述所识别的用户视觉焦点，控制所述显示器的屏幕显色的分布。
6.根据权利要求2所述的设备，其中所述处理器被配置成至少部分地基于所述所识别的用户视觉焦点，控制所述显示器的屏幕亮度的分布。
7.根据权利要求2所述的设备，其中所述处理器被配置成至少部分地基于所述所识别的用户视觉焦点，控制所述显示器的屏幕明暗度的分布。
8.根据权利要求2所述的设备，其中所述处理器被配置成至少部分地基于所述所识别的用户视觉焦点，控制所述显示器的屏幕对比度的分布。
9.根据权利要求1所述的设备，其中所述相机被配置成：
捕获所述用户的眼睛移动；和
其中所述处理器被配置成：
基于所述用户的所述所捕获的眼睛移动来识别眼急动；和
至少部分地基于所述所识别的眼急动，进一步控制所述显示器、所述GUI或其组合的所述一或多个参数。
10.根据权利要求9所述的设备，其中所述处理器被配置成：
根据所述所识别的眼急动估算所述用户的从一个焦点到另一焦点的眼睛移动；和
至少部分地基于所述所识别的经估算眼睛移动，进一步控制所述显示器、所述GUI或其组合的所述一或多个参数。
11.根据权利要求9所述的设备，其中所述处理器被配置成至少部分地基于所述所识别的眼急动，进一步改变所述显示器的输出的偏斜或角度。
12.根据权利要求9所述的设备，其中所述处理器被配置成至少部分地基于所述所识别的眼急动，进一步不均匀地分布所述显示器的屏幕分辨率。
13.根据权利要求9所述的设备，其中所述处理器被配置成至少部分地基于所述所识别的眼急动，进一步不均匀地分布所述显示器的显色。
14.根据权利要求9所述的设备，其中所述处理器被配置成至少部分地基于所述所识别的眼急动，进一步不均匀地分布所述显示器的亮度或明暗度。
15.根据权利要求9所述的设备，其中所述处理器被配置成至少部分地基于所述所识别的眼急动，进一步不均匀地分布所述显示器的对比度。
16.根据权利要求1所述的设备，其包括可佩戴结构，所述可佩戴结构包括或连接到所述计算装置、所述显示器、所述相机或其组合中的至少一个。
17.根据权利要求16所述的设备，其中所述可佩戴结构被配置成佩戴在所述用户的头部、环绕颈部或环绕腕部或前臂。
18.根据权利要求17所述的设备，其中所述可佩戴结构包括带盖帽、腕带、领带、项链或隐形眼镜。
19.一种设备，其包括：
计算装置，其具有被配置成提供图形用户接口(GUI)的显示器；
相机，其处于所述计算装置中或附接到所述计算装置，所述相机被配置成捕获用户的瞳孔方位和眼睛移动；
处理器，其处于所述计算装置中，所述处理器被配置成：
基于所述用户的至少一个瞳孔相对于所述屏幕的观看角度和距离，识别相对于所述显示器的屏幕的用户视觉焦点；
基于所述用户的所述所捕获的眼睛移动来识别眼急动；和
基于所述所识别的眼急动、所述所识别的视觉焦点或其组合，控制所述显示器、所述GUI或其组合的一或多个参数。
20.一种设备，其包括：
计算装置，其具有被配置成提供图形用户接口(GUI)的显示器；
相机，其处于所述计算装置中或附接到所述计算装置，所述相机被配置成捕获用户的瞳孔方位和眼睛移动；和
处理器，其处于所述计算装置中，所述处理器被配置成：
基于所述所捕获的瞳孔方位，识别相对于所述显示器的屏幕的用户视觉焦点；
基于所述用户的所述所捕获的眼睛移动来识别眼睛移动的类型；和
基于所述所识别的眼睛移动的类型、所述所识别的视觉焦点或其组合，控制所述显示器、所述GUI或其组合的一或多个参数。
CN202080072704.3A 2019-11-05 2020-11-03 部分地基于眼睛跟踪的呈现增强 Pending CN114585990A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/675,171 2019-11-05
US16/675,171 US11614797B2 (en) 2019-11-05 2019-11-05 Rendering enhancement based in part on eye tracking
PCT/US2020/058692 WO2021091889A1 (en) 2019-11-05 2020-11-03 Rendering enhancement based in part on eye tracking

Publications (1)

Publication Number Publication Date
CN114585990A true CN114585990A (zh) 2022-06-03

Family

ID=75687471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080072704.3A Pending CN114585990A (zh) 2019-11-05 2020-11-03 部分地基于眼睛跟踪的呈现增强

Country Status (6)

Country Link
US (2) US11614797B2 (zh)
EP (1) EP4055466A1 (zh)
JP (1) JP2022553582A (zh)
KR (1) KR20220062062A (zh)
CN (1) CN114585990A (zh)
WO (1) WO2021091889A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220404621A1 (en) * 2020-12-22 2022-12-22 Telefonaktiebolaget Lm Ericsson (Publ) Moderating a user?s sensory experience with respect to an extended reality
US12007561B2 (en) 2020-12-22 2024-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11360554B2 (en) * 2020-04-04 2022-06-14 Lenovo (Singapore) Pte. Ltd. Device action based on pupil dilation
JP7490286B2 (ja) 2021-02-25 2024-05-27 ルーマス リミテッド 矩形導波路を有する光学アパーチャ増倍器
CN113633257B (zh) * 2021-07-29 2023-12-05 佛山市第一人民医院（中山大学附属佛山医院） 基于虚拟现实的前庭功能检查方法、系统、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090313584A1 (en) * 2008-06-17 2009-12-17 Apple Inc. Systems and methods for adjusting a display based on the user's position
US20100231504A1 (en) * 2006-03-23 2010-09-16 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
JP2011125692A (ja) * 2009-11-18 2011-06-30 Panasonic Corp 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
CN102176191A (zh) * 2011-03-23 2011-09-07 山东大学 一种基于视线跟踪的电视机操控方法
US20140333521A1 (en) * 2013-05-07 2014-11-13 Korea Advanced Institute Of Science And Technology Display property determination
US20150116203A1 (en) * 2012-06-07 2015-04-30 Sony Corporation Image processing apparatus, image processing method, and program
US20150269907A1 (en) * 2013-05-16 2015-09-24 Empire Technology Development Llc Adjustment of display intensity
CN109271914A (zh) * 2018-09-07 2019-01-25 百度在线网络技术（北京）有限公司 检测视线落点的方法、装置、存储介质和终端设备

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US7591558B2 (en) * 2006-05-31 2009-09-22 Sony Ericsson Mobile Communications Ab Display based on eye information
US8423076B2 (en) * 2008-02-01 2013-04-16 Lg Electronics Inc. User interface for a mobile device
KR101602363B1 (ko) * 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
US10019634B2 (en) 2010-06-04 2018-07-10 Masoud Vaziri Method and apparatus for an eye tracking wearable computer
JP5423183B2 (ja) * 2009-07-03 2014-02-19 ソニー株式会社 表示制御装置および表示制御方法
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
KR20110125358A (ko) 2010-05-13 2011-11-21 삼성전자주식회사 휴대 단말기의 표시부 제어 방법 및 장치
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
JP5263355B2 (ja) 2010-09-22 2013-08-14 株式会社ニコン 画像表示装置及び撮像装置
EP2672880B1 (en) 2011-02-09 2019-05-22 Apple Inc. Gaze detection in a 3d mapping environment
KR101899269B1 (ko) 2011-04-28 2018-10-29 가부시키가이샤 유야마 세이사쿠쇼 약제 감사 장치 및 약제 분포 장치
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US8754831B2 (en) * 2011-08-02 2014-06-17 Microsoft Corporation Changing between display device viewing modes
US9335888B2 (en) * 2011-12-27 2016-05-10 Intel Corporation Full 3D interaction on mobile devices
US10488919B2 (en) * 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
US10394320B2 (en) * 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
KR101916416B1 (ko) 2012-07-30 2018-11-08 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 디스플레이 방법
US8854447B2 (en) * 2012-12-21 2014-10-07 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
US10231614B2 (en) 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US20140267003A1 (en) 2013-03-14 2014-09-18 Fresenius Medical Care Holdings, Inc. Wireless controller to navigate and activate screens on a medical device
US20140267005A1 (en) 2013-03-14 2014-09-18 Julian M. Urbach Eye piece for augmented and virtual reality
EP2972678A4 (en) * 2013-03-15 2016-11-02 Interaxon Inc CLOTHING COMPUTER APPARATUS AND ASSOCIATED METHOD
WO2015094276A1 (en) 2013-12-19 2015-06-25 Intel Corporation Multi-user eye tracking using multiple displays
US20150221064A1 (en) * 2014-02-03 2015-08-06 Nvidia Corporation User distance based modification of a resolution of a display unit interfaced with a data processing device and/or a display area size thereon
US10409366B2 (en) * 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
KR102361025B1 (ko) * 2014-07-31 2022-02-08 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
US9965030B2 (en) 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
US9939644B2 (en) * 2015-06-25 2018-04-10 Intel Corporation Technologies for controlling vision correction of a wearable computing device
US10031577B2 (en) * 2015-10-05 2018-07-24 International Business Machines Corporation Gaze-aware control of multi-screen experience
KR20170055908A (ko) 2015-11-12 2017-05-22 최해용 모자형 가상현실 디스플레이 영상시스템
US9703374B1 (en) 2015-12-16 2017-07-11 Google, Inc. In-cell gaze tracking for near-eye display
US10599980B2 (en) 2015-12-21 2020-03-24 Intel Corporation Technologies for cognitive cuing based on knowledge and context
US10127706B2 (en) 2016-01-12 2018-11-13 Esight Corp. Language element vision augmentation methods and devices
US10303341B2 (en) * 2016-05-25 2019-05-28 International Business Machines Corporation Modifying screen content based on gaze tracking and user distance from the screen
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
WO2018183405A1 (en) * 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
US10783681B2 (en) * 2017-09-13 2020-09-22 International Business Machines Corporation Artificially tiltable image display
US10512839B2 (en) * 2017-09-28 2019-12-24 Igt Interacting with three-dimensional game elements using gaze detection
WO2019246044A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Head-mounted display systems with power saving functionality
WO2020047486A1 (en) 2018-08-31 2020-03-05 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
US11099384B2 (en) 2019-03-27 2021-08-24 Lenovo (Singapore) Pte. Ltd. Adjusting display settings of a head-mounted display
US10976816B2 (en) * 2019-06-25 2021-04-13 Microsoft Technology Licensing, Llc Using eye tracking to hide virtual reality scene changes in plain sight
US20210041953A1 (en) 2019-08-06 2021-02-11 Neuroenhancement Lab, LLC System and method for communicating brain activity to an imaging device
US11144091B2 (en) 2019-10-21 2021-10-12 Lenovo (Singapore) Pte. Ltd. Power save mode for wearable device
US20210132689A1 (en) 2019-11-05 2021-05-06 Micron Technology, Inc. User interface based in part on eye movement

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231504A1 (en) * 2006-03-23 2010-09-16 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
US20090313584A1 (en) * 2008-06-17 2009-12-17 Apple Inc. Systems and methods for adjusting a display based on the user's position
JP2011125692A (ja) * 2009-11-18 2011-06-30 Panasonic Corp 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
CN102176191A (zh) * 2011-03-23 2011-09-07 山东大学 一种基于视线跟踪的电视机操控方法
US20150116203A1 (en) * 2012-06-07 2015-04-30 Sony Corporation Image processing apparatus, image processing method, and program
US20140333521A1 (en) * 2013-05-07 2014-11-13 Korea Advanced Institute Of Science And Technology Display property determination
US20150269907A1 (en) * 2013-05-16 2015-09-24 Empire Technology Development Llc Adjustment of display intensity
CN109271914A (zh) * 2018-09-07 2019-01-25 百度在线网络技术（北京）有限公司 检测视线落点的方法、装置、存储介质和终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵曙光: "《幻影注意力 基于眼动实验的植入式广告效果研究》", 30 September 2024, 复旦大学出版社, pages: 52 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220404621A1 (en) * 2020-12-22 2022-12-22 Telefonaktiebolaget Lm Ericsson (Publ) Moderating a user?s sensory experience with respect to an extended reality
US12007561B2 (en) 2020-12-22 2024-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality

Also Published As

Publication number Publication date
KR20220062062A (ko) 2022-05-13
US20230229234A1 (en) 2023-07-20
US11614797B2 (en) 2023-03-28
EP4055466A1 (en) 2022-09-14
JP2022553582A (ja) 2022-12-23
US20210132690A1 (en) 2021-05-06
WO2021091889A1 (en) 2021-05-14

Similar Documents

Publication Publication Date Title
US11287884B2 (en) Eye tracking to adjust region-of-interest (ROI) for compressing images for transmission
US11614797B2 (en) Rendering enhancement based in part on eye tracking
US10169846B2 (en) Selective peripheral vision filtering in a foveated rendering system
US10192528B2 (en) Real-time user adaptive foveated rendering
CN112567287A (zh) 具有帧调制功能的增强现实显示
CN110968189B (zh) 作为认知控制信号的瞳孔调制
US10901505B1 (en) Eye-based activation and tool selection systems and methods
AU2024200190A1 (en) Presenting avatars in three-dimensional environments
US11579693B2 (en) Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
US20230290014A1 (en) Attention-driven rendering for computer-generated objects
CN111670001A (zh) 用于眼睛跟踪系统的图像调整
CN114585991A (zh) 部分地基于眼睛移动的用户接口
CN115698989A (zh) 用于认证头戴式显示器的用户的系统和方法
KR20220067964A (ko) 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
CN114730214A (zh) 人机接口设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination