CN101536077A - 基于眼睛跟踪来调整显示亮度和/或刷新率 - Google Patents

基于眼睛跟踪来调整显示亮度和/或刷新率 Download PDF

Info

Publication number
CN101536077A
CN101536077A CNA2007800415718A CN200780041571A CN101536077A CN 101536077 A CN101536077 A CN 101536077A CN A2007800415718 A CNA2007800415718 A CN A2007800415718A CN 200780041571 A CN200780041571 A CN 200780041571A CN 101536077 A CN101536077 A CN 101536077A
Authority
CN
China
Prior art keywords
screen
display screen
scope
screen area
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800415718A
Other languages
English (en)
Inventor
O·K·索恩
S·莱辛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN101536077A publication Critical patent/CN101536077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一种设备可以确定显示屏上用户所注视的范围。该设备可以识别显示屏上不与该范围重叠的屏幕区域，可以使所识别的屏幕区域变暗，和/或可以通过更新与该范围重叠的屏幕区域以及不更新所识别的屏幕区域来刷新显示屏。

Description

基于眼睛跟踪来调整显示亮度和/或刷新率
技术领域
本文描述的实施方式涉及调整电子显示器，而且特别地涉及用于基于与显示器上用户正在观看的位置相关联的信息来调整显示区域(region)中的亮度和/或刷新率的方法和设备。
背景技术
存在许多用于调整显示屏的亮度的技术。例如，屏幕保护程序(screen saver)可以暂时用移动图形来替换显示屏上固定的明亮图像从而防止屏幕烧坏(burnout)以及提高屏幕寿命。节能装置(energysaver)可以关掉点亮的屏幕或使其变暗淡(dim)以便节约能量。然而，这些用于控制显示亮度的技术取决于键盘、鼠标和/或接收输入的设备处的用户休止状态，因而如果用户长期不用键盘、鼠标和/或设备，则可能不恰当地擦除屏幕上的所有图像。另外，这些技术不能适当地处理双稳态显示屏，所述双稳态显示屏要求很少的能量来维持所显示的图像但要求大量的能量来刷新图像。
发明内容
根据一个方面，一种方法可以包括：在显示屏上确定用户所注视的范围(area)；和在该显示屏上基于该位置识别不与该范围重叠的屏幕区域。该方法还包括使所识别的屏幕区域变暗(darken)。
另外，该方法还可以包括确定所识别的屏幕区域的大小和位置以及与该范围重叠的屏幕区域的大小和位置。
另外，该方法还可以包括确定从所识别的屏幕区域到该范围的距离。
另外，该方法还可以包括确定所识别的屏幕区域的亮度等级。
另外，该方法还可以包括确定所识别的屏幕区域中的像素的颜色。
另外，使所识别的屏幕区域变暗可以包括显示所确定的颜色。
另外，确定用户所注视的范围可以包括基于眼睛跟踪数据确定该位置。
另外，该方法还可以包括监视用户的眼睛的位置以及基于所监视的位置生成眼睛跟踪数据。
另外，确定用户所注视的范围可以包括基于用户输入来估计该位置。
根据另一个方面，一种设备可以包括一个或多个处理器，以便：获取显示屏上用户所注视的范围；识别该显示屏的一个或多个部分；选择包括至少部分该范围的至少一个识别的部分；以及使未被选择的且不包括至少部分该范围的至少一个部分变暗淡。
另外，所述范围可以在显示屏上覆盖用户的视野的视觉敏锐部分。
另外，一个或多个所识别的屏幕部分可以是连续的。
另外，一个或多个所识别的屏幕部分可以是不连续的。
另外，该设备还可以包括眼睛跟踪逻辑，以便监视用户的眼睛的位置以及基于所监视的位置确定眼睛跟踪数据。
另外，所述一个或多个处理器可以被进一步配置成确定一个或多个所识别的部分中的至少一个的大小和位置。
另外，所述一个或多个处理器可以被进一步配置成确定从所述范围到一个或多个所识别的部分之一的距离。
另外，所述一个或多个处理器可以被进一步配置成为未被选择的且不包括至少部分该范围的至少一个部分生成辉度(luminance)值。
另外，所述一个或多个处理器可以被进一步配置成为未被选择的且不包括至少部分该范围的至少一个部分中的像素产生颜色。
另外，一个所识别的部分包括显示屏的整个范围。
根据再一个方面，一种设备可以包括：用于在显示屏上确定用户所注视的范围的装置；用于检测包括该范围的一个或多个屏幕分部(division)的装置；和用于减少除了所检测的一个或多个屏幕分部之外的显示屏的部分的亮度的装置。
根据又一个方面，一种设备可以包括一个或多个处理器以便：定位显示屏上用户所注视的范围；识别该显示屏的一个或多个部分；选择包括至少部分该范围的至少一个识别的部分；和通过更新所选择的部分以及不更新包括至少部分该范围的至少一个识别的部分来刷新显示屏。
另外，所述范围可以在显示屏上覆盖用户的视野的视觉敏锐部分。
根据又一个方面，一种方法可以包括：在显示屏上确定用户所注视的范围；在该显示屏上识别重叠该范围的屏幕区域；和通过更新所识别的屏幕区域以及不更新重叠该范围的屏幕区域来刷新显示屏。
另外，确定用户所注视的范围可以包括基于眼睛跟踪数据定位该范围。
另外，该方法还可以包括跟踪用户的眼睛的方向以及基于所跟踪的方向生成眼睛跟踪数据。
根据又一个方面，一种方法可以包括：定位显示屏上用户所注视的范围；在显示屏上识别不重叠该范围的屏幕区域；使所识别的屏幕区域变暗；和通过更新与该范围重叠的屏幕区域以及不更新所识别的屏幕区域来刷新显示屏。
附图说明
这些附图被包含在本说明书中并构成本说明书的一部分，所述附图连同说明书一起说明了本文所描述的教导的实施例并且对这些教导进行了解释。在附图中：
图1描绘了能够在其中实施本文所描述的系统和方法的示例性设备；
图2示出了图1的示例性设备的功能框图；
图3A说明了显示屏的示例性实施方式的功能透视图；
图3B说明了图3A的显示屏的截面视图；
图4示出了用于调整显示屏的亮度的示例性过程；
图5A示出了人眼和与其视野相关联的参数的功能图；
图5B示出了随离视网膜中央凹视(foveal)点的距离而变的人眼视敏度；
图6A示出了被分成两个垂直屏幕区域的显示屏；
图6B示出了被分成m×n个屏幕区域的显示屏；和
图7示出了用于调整双稳态显示屏的屏幕刷新率的示例性过程。
具体实施方式
以下详细描述参考附图。不同附图中的相同附图标记可以表示相同或类似的元件。
示例性设备
图1描绘了能够在其中实施本文所描述的系统和方法的示例性设备。设备100可以包括包含或适于包含一个或多个显示屏的以下设备中的任一个：无线电话；个人通信系统(PCS)终端，其可以将蜂窝无线电话和数据处理、传真以及数据通信能力进行组合；移动电话；电子笔记本；膝上型电脑；个人计算机(PC)；个人数字助理(PDA)，其能够包括无线电话、寻呼机、因特网/内联网访问、网页浏览器、管理器、日历和/或全球定位系统(GPS)接收器；或者任何具有足够计算能力和存储器以支持本文所描述的功能的设备。
图2示出了图1的示例性设备100的功能框图。设备100可以包括存储器202、中央处理器(CPU)204、图形处理单元(GPU)206、输入/输出设备208、眼睛跟踪逻辑210、显示屏212和通信接口214。存储器202可以包括静态存储器比如只读存储器(ROM)和/或动态存储器比如随机存取存储器(RAM)、视频RAM或机载高速缓存，以用于存储数据和机器可读指令。存储器202还可以包括存储设备，比如软盘、CDROM、CD读/写(R/W)磁盘和/或闪存以及其他类型的存储设备。
CPU 204可以包括一个或多个能够控制设备100的处理器、微处理器和/或处理逻辑。GPU 206可以包括图形渲染(graphic render)设备，比如专用图形卡和/或可以使用部分存储器202的集成图形处理器。无论CPU 204是否参与，GPU 206都可以执行图形的计算、操控和显示并可以控制显示屏212的亮度和刷新率。输入/输出设备208可以包括打印机、键盘、鼠标、扬声器、麦克风、数字照相机、数字摄像机和/或其他类型的用于把物理事件或现象转换成适合设备100的数字信号或者根据适合设备100的数字信号对物理事件或现象进行转换的设备。
眼睛跟踪逻辑210可以包括用于确定用户正在观看的显示屏212上的位置的硬件和/或软件。眼睛跟踪逻辑210可以使用各种用于确定显示屏212上的位置的技术。例如，眼睛跟踪逻辑210可以跟踪用户的眼睛运动。在这种情况下，眼睛跟踪逻辑210能够包括摄像机或与其结合工作以确定用户眼睛的运动。在另一个实施方式中，眼睛跟踪逻辑210可以使用光标运动或文本输入来估计用户正在观看的位置。在这种情况下，可以假设：如果用户移动光标至显示屏212上的特定位置或者在显示屏212上的特定位置输入文本，则用户很可能在观看显示屏212的这个位置。
显示屏212可以包括能够把由设备100生成的信号显示为屏幕上的图像的设备。显示屏的实例包括液晶显示(LCD)屏、阴极射线管(CRT)显示屏、有机发光二极管(OLED)显示屏、表面传导电子发射显示(SED)屏、等离子体显示屏、场发射显示(FED)屏和双稳态显示屏。实际上，设备100可以包括一个或多个显示屏。
通信接口214可以提供设备100的各部件能够经其而彼此通信的接口。
图3A说明了显示屏212的示例性实施方式的功能透视图。图3B说明了显示屏212在X平面302处的截面视图。在这个特定实施方式中，显示屏212可以采用液晶显示器的形式。
显示屏212可以包括液晶显示器304、光导306和光源308。液晶显示器304可以包括像素矩阵，每个像素包括红、蓝和绿子像素。当光310通过子像素时，该光照亮子像素至特定亮度(即，辉度)，其可以是两个因素的函数：光310的强度和影响色彩浓淡(colorshading)的子像素驱动器/控制信号(未示出)。光导306可以包括用于接收来自光源308的光线以及用于在其内漫射所述光线的设备。光导306可以均匀地照亮液晶显示器304。光源308可以包括用于照亮液晶显示器304的设备。在图3A和3B中，所示的光源308为圆柱形设备，其纵轴与光导306的底部水平边缘平行。然而，光源308可以用位于光导306周围的不同位置处的多个灯来实施。
在可选的实施方式中，显示屏212可以包括双稳态显示屏(未示出)。双稳态显示屏要求很少的能量来维持所显示的图像但要求大量的能量来更新或刷新图像。
屏幕亮度的示例性调整
图4示出了用于调整显示屏212的亮度的示例性过程。在方框402，程序可以被自动地或当由设备100处的用户命令时而启动。程序可以是设备驱动程序、存在于存储器202中的守护程序或者任何可以执行与调整屏幕亮度相关联的一个或多个任务的程序。在程序启动之后，可以从眼睛跟踪逻辑210中获取眼睛跟踪数据(方框404)。眼睛跟踪数据可以含有导出用户所注视的屏幕位置所需的信息，并且另外还能够含有关于用户眼睛离显示屏212的距离的信息。
在方框406，可以确定显示屏212内的屏幕区域。本文所用的“屏幕区域”可以被定义为可视为一种用于调整屏幕亮度的单元的屏幕范围。确定屏幕区域可以包括确定每个屏幕区域的大小和位置。
屏幕区域可以依据特定的策略来确定。例如，如果该策略是当用户的眼睛不注视在显示屏212上时降低整个显示屏212的亮度或者把整个显示屏212完全设成暗的，则屏幕区域可以被确定为整个显示屏。
在另一个实例中，屏幕区域可以基于图5A所示的人眼的一般属性来确定。更具体而言，图5A示出了人眼502和与其视野相关联的参数的功能图。视野包括视网膜中央凹视野和外围视野。视网膜中央凹视野围绕视域的直线504并且由高视敏度表征。视网膜中央凹视野投影到显示屏212上，会覆盖由视网膜中央凹视点508和直径510表征的视网膜中央凹视区506。外围视野覆盖视野的其余部分，并且在外围视野中图像可被感知的视敏度随着图像远离视域的直线504而降低。这示于图5B中，其说明了随离视网膜中央凹视点508的距离而变的视敏度曲线512。因为外围视野中的视敏度不如其在视网膜中央凹视野中的那样大，所以处于外围视野中的屏幕区域的辉度(即，亮度)可以被降低而不会减少所感知的视觉信息。
图6A示出了基于人眼的一般属性而被确定为两个矩形的示例性屏幕区域。每个屏幕区域602和604包括可以作为单元进行重新调节(rescale)的屏幕范围。虽然所示的屏幕区域602和604为矩形，但是屏幕区域通常可以具有圆形、六角形、椭圆形或任何合适的几何形状。该几何形状还可以包括各边由直线段构成的多边形或者通过把多边形的任意数量的边替换为曲线而导出的图。屏幕区域可以不必是连续的而是可以彼此部分地重叠。如图6A所示，屏幕区域602/604的大小是显示屏大小的一半，并且它们的位置可以由显示屏边界以及由划分显示屏212的线606来定义。在外围视野中的屏幕区域的亮度可以被降低而不会减少所感知的视觉信息。
在另一个实例中，图6B示出了其屏幕区域被确定为m×n个矩形的显示屏212，其中m和n中的每个表示大于或等于1的任意整数。图6B中每个屏幕区域的大小由显示屏大小/(m·n)给出，而它们的位置可以由线Y1，Y2，...，Ym以及划分显示屏212的线Z1，Z2，...，Zn来定义。在外围视野中的屏幕区域的亮度可以被降低而不会减少所感知的视觉信息。
将如图6B中那样的具有小屏幕区域的显示屏和如图6A中那样的具有较大屏幕区域的显示屏进行比较，表明了多个设计和实施方式考虑因素。
一个考虑因素可能在于：与具有较大屏幕区域相比，具有较小屏幕区域可以使更大百分比的显示屏范围变暗淡。例如，在图6A中，如果视网膜中央凹视点处在点608因而在屏幕区域602内，则最好可以只使屏幕区域604变暗淡，因为使屏幕区域602变暗淡会损害视网膜中央凹视区610中的视觉信息的感知。在图6B中，视网膜中央凹视点处在点612因而在屏幕区域R1，1内。因而，其余的屏幕区域R2，1，...Rn，1，R1，2，...Rn，2，R2，2，...Rn，2，...和Rn，m可以变暗淡。屏幕区域R2，1，...Rn，1，R1，2，...Rn，2，R2，2，...Rn，2，...和Rn，m覆盖了比屏幕区域604更大百分比的显示屏范围。
在把显示屏212分割成小屏幕区域时的另一个考虑因素可能在于：利用小屏幕区域，可以把不同的屏幕区域变暗淡至一个以上亮度等级。例如，在图6A中，如果视网膜中央凹视点处在点608因而在屏幕区域602内，那么屏幕区域604可以通过把屏幕区域604内的像素辉度重新校准至一个亮度等级而变暗淡。在图6B中，如果视网膜中央凹视点处在点612因而在屏幕区域R1，1内，则屏幕区域R1，2、R2，2和R2，1能够通过把屏幕区域R1，2、R2，2和R2，1内的像素辉度重新校准至第一亮度等级而变暗淡。除了R1，1、R1，2、R2，2和R2，1的所有其他屏幕区域能够通过把它们的像素辉度重新校准至第一或任意更暗的亮度等级而变暗。远离在点612处的视网膜中央凹视点的屏幕区域能够被重新校准至比在屏幕区域R1，1更暗的亮度等级，因为与在位置处所感知的图像相关联的视敏度随着该位置远离点612而下降。
在把显示屏212分割成小屏幕区域时的另一个考虑因素可能在于：利用小屏幕区域，当视网膜中央凹视区506(图5)重叠一个以上屏幕区域时，可以调整显示屏212的亮度。在图6A中，与视网膜中央凹视点616相关联的视网膜中央凹视区614重叠屏幕区域602和604。因而，使屏幕区域602或屏幕区域604变暗淡会损害视网膜中央凹视区614中的视觉信息的感知。在这种情况下，可能有利的是不使任一个屏幕区域602和604变暗淡。在图6B中，与视网膜中央凹视点620相关联的视网膜中央凹视区618中重叠屏幕区域R1，1、R2，1、R2，1和R2，2。因而，使屏幕区域R1，1、R2，1、R2，1和R2，2中的任一个变暗淡都会损害视网膜中央凹视区618中的视觉信息的感知。在这种情况下，可能有利的是不使任一个屏幕区域R1，1、R2，1、R2，1和R2，2变暗淡。然而，可以仍然使图6B中的其余屏幕区域变暗淡而不会引起所感知的视觉信息的任何降低。
上面描述的考虑因素表明了这样的实施方式，即在其中确定屏幕区域可以包括确定含有作为其中心的视网膜中央凹视点508的第一屏幕区域以及接着确定其他屏幕区域，以使得视网膜中央凹视区506最多与一个屏幕区域重叠。在这样的实施方式中，需要视网膜中央凹视点508的位置以确定含有视网膜中央凹视点508的屏幕区域。
在把显示屏212分割成小屏幕区域时的再一个考虑因素可能在于：提高屏幕区域的数量会增大与调整显示屏212的亮度相关联的计算成本。例如，如果确定图6A或图6B所示的单个屏幕区域要求50次乘法和50次加法运算，则确定图6B中的屏幕区域可能比确定图6A中的屏幕区域需要更大的计算量，因为图6B中的显示屏212包括比图6A中的显示屏更多的屏幕区域。
在实施本实施例时，可以通过对屏幕区域的大小设定一个下限来给计算成本制定一个上限(cap)。通常，下限能够被设定为大致在视网膜中央凹视区506的直径510量级的值，因为直径510提供近似屏幕区域大小的估计，在这个大小处，使屏幕区域的大小更小不大可能显著提高可以变暗淡的显示屏范围的百分数。然而，如果直径510小于眼睛跟踪逻辑210的图像分辨距离，则下限能够被设定为该分辨距离。
如果计算成本不会给CPU 204和/或GPU 206带来很大负担，则可以确定比视网膜中央凹视区506小得多的屏幕区域。在这样的情况下，显示屏212的亮度能够被调节以使得像素被校准至的亮度等级紧密地跟踪图5B中的视敏度曲线512。
回头参照图4，在方框408处，视网膜中央凹视区506或视网膜中央凹视点508的屏幕位置可以基于来自眼睛跟踪逻辑210的眼睛跟踪数据来识别。眼睛跟踪数据的准确度可以取决于眼睛跟踪逻辑210，进而可以识别屏幕位置的精度可以取决于眼睛跟踪逻辑210。例如，如果眼睛跟踪逻辑210使用dual-Purkinje图像技术，则当显示屏212离用户的眼睛约为1米时，视网膜中央凹视点508的位置可以在±0.5cm内得以识别。
在方框410处，基于屏幕位置，含有视网膜中央凹视区506或视网膜中央凹视点508的屏幕区域可以被识别。例如，通过测试视网膜中央凹视点622的位置是否在每个屏幕区域602和604内部，图6A中的屏幕区域604可以被识别为含有视网膜中央凹视点622。
另外，取决于包括在设备100中的显示屏212的类型，重叠视网膜中央凹视区506的屏幕区域中的每个像素的总亮度可以被确定。如果设备100包括液晶显示器，则当减少光源308的辉度时，能够使整个显示屏变暗淡。为了补偿视网膜中央凹视区506中的亮度损失，视网膜中央凹视区506中的子像素的色度(color shade)可以被重新计算并且使子像素重新渐变(re-shaded)，以使得视网膜中央凹视区506中的每个像素的颜色和亮度可以维持相对恒定。这样的操纵可能要求确定每个像素或每组像素的总亮度并且将其保存在存储器202中作为参考。如果设备100不是包括液晶显示屏而是包括另一类型的显示屏212，则可能就不必确定每个像素的总亮度。
在方框412，可以获取每个屏幕区域离视网膜中央凹视区506的有效距离。有效距离可以是通过函数而映射为实数的符号或数字，所述实数与从屏幕区域的质心到视网膜中央凹视区506的质心的距离近似相关。如本文所用的术语“质心”可以指代可以代表屏幕区域的中心的任何点，并且该术语可能与或可能不与质心的数学定义相一致。例如，在图6A中，屏幕区域604的质心622是在屏幕区域604的中心。如果在Y-Z平面中质心622的位置被标记为坐标(y1，z1)而作为视网膜中央凹视区610的质心的视网膜中央凹视点608的位置被标记为坐标(y2，z2)，则从屏幕区域604到视网膜中央凹视区610的距离能够通过表达式((y1-y2)2+(z1-z2)2)1/2来确定。虽然距离的表达式合乎代数几何学，但是可以使用距离的任何表达式。
在方框414，暗度等级可以被分配给每个屏幕区域。给屏幕区域分配暗度等级可以包括基于屏幕区域的有效距离来给屏幕区域分配指示减小的亮度等级的数值。该数值还可以指示远离视网膜中央凹视点508的视敏度的下降水平。
在方框416，对屏幕区域施加暗度等级可以包括使用所分配的数值来确定每个像素的颜色。使用所分配的数值来确定颜色的方式可以取决于该数值代表的是什么以及为获得反映暗度等级的颜色而采用的特定策略、方法、步骤或过程。所确定的颜色可以被保存在存储器202中的一个或多个缓冲区中。
如果设备100包括液晶显示器，则在确定颜色时结合与所分配的数值来使用每个像素的总亮度可能是必要的。而且，如果液晶显示器包括在灯附近发出更多光的光导之下的许多灯，则用户不在观看的屏幕区域中的背光可以通过降低那些屏幕区域中的灯的亮度来减少。
如果设备100包括OLED显示屏，则当确定颜色时，绿色可以给予更大的权重。对于OLED显示屏，发射绿色比发射其他颜色消耗更少的能量。
在方框418，使用所确定的颜色，显示屏212可以被重新绘图以反映亮度调整。
方框404-418可以被周期性地重复，以反映视网膜中央凹视点508的位置变化，尽管不必按上面已描述的方框404-418的顺序。
屏幕刷新率的示例性调整
图7示出了用于调整双稳态显示屏的屏幕刷新率的示例性过程。在方框702，程序可以被自动地或当由设备100处的用户命令时而启动。程序可以是设备驱动程序、存在于存储器202中的守护程序或者任何可以执行与调整屏幕刷新率相关联的一个或多个任务的程序。在程序启动之后，可以从眼睛跟踪逻辑210中获取眼睛跟踪数据(方框704)。
在方框706，可以依据特定策略和实施方式考虑因素来确定显示屏212内的屏幕区域。与上面关于图4中的方框406讨论的类似的策略和实施方式考虑因素可以应用于方框706。
在方框708，视网膜中央凹视区506或视网膜中央凹视点508的屏幕位置可以按与上面关于方框408描述的类似的方式基于眼睛跟踪数据来产生。在方框710，基于屏幕位置，含有视网膜中央凹视区506或视网膜中央凹视点508的屏幕区域可以按与关于方框410描述的类似的方式来识别。在方框712，可以按与关于方框712描述的类似的方式获取每个屏幕区域离视网膜中央凹视区506的有效距离。
在方框714，指示减小的屏幕刷新率的数值可以被分配给不重叠视网膜中央凹视区506的每个屏幕区域。该数值还可以反映远离视网膜中央凹视点508的视敏度的下降水平。
在方框716，当刷新显示屏212时，所分配的数值可以用来确定是否更新每个屏幕区域内的像素。
在方框718，显示屏212基于方框716的结果来刷新。当刷新显示屏212时，可以只更新重叠视网膜中央凹视区506的屏幕区域。不重叠视网膜中央凹视区506的屏幕区域可以不被更新。防止对不重叠视网膜中央凹视区506的屏幕区域的更新可以具有降低相同屏幕区域中的刷新率的效果。
方框704-716可以被周期性地重复，以反映视网膜中央凹视点508的位置变化，尽管不必按上面已描述的方框704-716的顺序。
可替换的实施方式
可以对上面针对屏幕亮度和针对屏幕刷新率所描述的调整过程实施许多变化。在亮度调整过程的可替换实施方式中，在图4中的方框406，确定屏幕区域可以只执行一次而其结果可以在执行方框404和408-418的任一个之前进行保存。附加的参数比如质心可以连同与屏幕区域有关的信息一起被计算和保存。在这样的实施方式中，方框404和408-418可以被重复地执行。
可以对图7所示的用于调整屏幕刷新率的过程实施类似变化。
在又一个实施方式中，如果设备100包括双稳态显示屏和带有内部光源的显示屏或者可替换地包括双稳态显示屏和带有内部光源的显示屏的混合体，那么屏幕刷新率和屏幕亮度可以被调整。对于该混合体，针对屏幕亮度和针对屏幕刷新率的调整过程可以被组合成一个。组合后的过程可以包括方框402-418和方框714-718。
在其他实施方式中，在方框406或方框706，确定屏幕区域可以包括确定含有作为其中心的视网膜中央凹视点508的屏幕区域以及接着确定其他剩余屏幕区域。在这样的实施方式中，方框408/708可以先于方框406/706，因为视网膜中央凹视点508的位置可以用来确定含有视网膜中央凹视点508的屏幕区域。
而且，每个方框内的许多计算可以被并行地执行，这取决于包括在CPU 204和/或GPU 206中的处理器、微处理器、处理逻辑和/或图形处理器的数量。例如，CPU 204和/或GPU 206中的两个处理器可以同时执行方框414或方框714的计算。每个处理器可以处理不同组的屏幕区域。类似的并行处理可以针对每个方框406/706和410/710-418/718来执行。
在一个实施方式中，设备100可以提供专门的硬件和软件支持以用于调整显示屏212的亮度。例如，GPU 206可以包括用于执行显示屏区域的亮度转换的专门硬件/软件元件。另外，软件部件可以为快速图形运算提供不同的缓冲方案。
实例
以下实例说明了在依据关于图1和4所描述的实施方式来调整显示屏亮度中所涉及的过程。
假设设备100包括1280×1024CRT显示屏。在上电之后，在设备100上自动启动程序。该程序实施把显示屏分成两个相等面积的屏幕确定策略。
当用户把她的眼睛固定到按像素测量的屏幕坐标(320，512)时，眼睛跟踪逻辑210提供眼睛跟踪数据。基于眼睛跟踪数据，视网膜中央凹视点在显示屏上的位置被计算为屏幕坐标(320，512)。
在该实例中，屏幕区域被确定为1×2个矩形，如图6A所示。而且，含有处于屏幕坐标(320，512)的视网膜中央凹视点的特定屏幕区域被识别为屏幕区域602。
针对每个屏幕区域602和604，计算有效距离。例如，基于屏幕区域602的中心位于屏幕坐标(320，512)的事实，从屏幕区域602到视网膜中央凹视区的有效距离d被计算为0。类似地，从屏幕区域604到视网膜中央凹视区的有效距离d被计算为640。
该有效距离然后用来给屏幕区域602分配亮度等级1.0以及给屏幕区域604分配亮度等级0.5。在这个实例中，亮度等级是红、绿和蓝(RGB)值的所希望的颜色强度与没有任何亮度调整的颜色强度的比。
假设屏幕区域602和604中没有任何亮度调整的所有像素具有(255，0，0)的RGB颜色值，则对屏幕区域602施加亮度等级1.0产生用于屏幕区域602的所有像素的RGB值(255，0，0)。对屏幕区域604施加亮度等级0.5产生用于屏幕区域604的所有像素的RGB值(128，0，0)。
在CRT显示屏上，颜色(255，0，0)和(128，0，0)是分别针对屏幕区域602和604显示的。当用户将其眼睛从显示屏上的屏幕坐标(320，512)移动到(960，512)时，眼睛跟踪逻辑检测该变化并且程序重启屏幕亮度调整过程。
结论
前面描述的各实施例提供了说明，而不是意欲穷举或者把这些实施例限制为所公开的精确形式。鉴于上面教导可以进行修改和变更，或者从这些教导的实践中获得这些修改和变更。
例如，虽然关于图4和图7所示的过程描述了一系列方框，但是这些方框的顺序可以在其他实施方式中进行修改。而且，非从属性方框可以代表能够并行执行的动作。
清楚的是，本文所描述的各方面可以用图中所示的实施方式中的许多不同形式的软件、固件和硬件来实施。用于实施各个方面的实际软件代码或专门控制硬件不限制该发明。因而，这些方面的工作和行为不用参照特定软件代码来描述-可以理解软件和控制硬件能够被设计为实施基于本文描述的这些方面。
本申请中所用的元件、动作或指令不应当解释为是该发明关键的或必需的，除非有明确的这样描述。还有，如本文所用的，冠词“一”旨在包括一项或多项。当意指仅一项时，使用术语“一个”或类似语言。而且，短语“基于”旨在意指“至少部分地基于”，除非另有明确说明。
应当强调的是，术语“包含/包括”当用于本说明书时用来指定存在所述特征、整数、步骤或部件但不排除存在或添加一个或多个其他特征、整数、步骤、部件或其组群。
而且，该发明的某些部分已被描述为执行一个或多个功能的“逻辑”。这种逻辑可以包括硬件比如处理器、专用集成电路或现场可编程门阵列、软件或硬件和软件的组合。

Claims (26)

1.一种方法，包括：
在显示屏上确定用户所注视的范围；
在该显示屏上基于该位置识别没有重叠所述范围的屏幕区域；和
使所识别的屏幕区域变暗。
2.如权利要求1所述的方法，还包括：
确定所识别的屏幕区域的大小和位置以及重叠所述范围的屏幕区域的大小和位置。
3.如权利要求1所述的方法，还包括：
确定从所识别的屏幕区域到所述范围的距离。
4.如权利要求1所述的方法，还包括：
确定所识别的屏幕区域的亮度等级。
5.如权利要求1所述的方法，还包括：
确定所识别的屏幕区域中的像素的颜色。
6.如权利要求5所述的方法，其中使所识别的屏幕区域变暗包括显示所确定的颜色。
7.如权利要求1所述的方法，其中确定用户所注视的范围包括基于眼睛跟踪数据确定所述位置。
8.如权利要求7所述的方法，还包括：
监视用户的眼睛的位置；和
基于所监视的位置生成眼睛跟踪数据。
9.如权利要求1所述的方法，其中确定用户所注视的范围包括基于用户输入来估计所述位置。
10.一种设备，包括：
一个或多个处理器，以便：
在显示屏上获取用户所注视的范围；
识别该显示屏的一个或多个部分；
选择包括至少部分所述范围的至少一个识别的部分；和
使未被选择的且不包括至少部分所述范围的至少一个部分变暗淡。
11.如权利要求10所述的设备，其中所述范围在显示屏上覆盖用户的视野的视觉敏锐部分。
12.如权利要求10所述的设备，其中一个或多个所识别的屏幕部分是连续的。
13.如权利要求10所述的设备，其中一个或多个所识别的屏幕部分是不连续的。
14.如权利要求10所述的设备，还包括眼睛跟踪逻辑，以便：
监视用户的眼睛的位置；和
基于所监视的位置确定眼睛跟踪数据。
15.如权利要求10所述的设备，其中所述一个或多个处理器被进一步配置成：
确定一个或多个所识别的部分中的至少一个的大小和位置。
16.如权利要求10所述的设备，其中所述一个或多个处理器被进一步配置成：
确定从所述范围到一个或多个所识别的部分之一的距离。
17.如权利要求10所述的设备，其中所述一个或多个处理器被进一步配置成：
为未被选择的且不包括至少部分该范围的至少一个部分生成辉度值。
18.如权利要求10所述的设备，其中所述一个或多个处理器被进一步配置成：
为未被选择的且不包括至少部分该范围的至少一个部分中的像素产生颜色。
19.如权利要求10所述的设备，其中一个所识别的部分包括显示屏的整个范围。
20.一种设备，包括：
用于在显示屏上确定用户所注视的范围的装置；
用于检测包括该范围的一个或多个屏幕分部的装置；和
用于减少除了所检测的一个或多个屏幕分部之外的显示屏的部分的亮度的装置。
21.一种设备，包括：
一个或多个处理器，以便：
在显示屏上定位用户所注视的范围；
识别该显示屏的一个或多个部分；
选择包括至少部分该范围的至少一个识别的部分；和
通过更新所选择的部分以及不更新不包括至少部分该范围的至少一个识别的部分来刷新显示屏。
22.如权利要求21所述的设备，其中所述范围在显示屏上覆盖用户的视野的视觉敏锐部分。
23.一种方法，包括：
在显示屏上确定用户所注视的范围；
在所述显示屏上识别重叠所述范围的屏幕区域；和
通过更新所识别的屏幕区域以及不更新不重叠该范围的屏幕区域来刷新显示屏。
24.如权利要求23所述的方法，其中确定用户所注视的范围包括基于眼睛跟踪数据定位所述范围。
25.如权利要求24所述的方法，还包括：
跟踪用户的眼睛的方向；和
基于所跟踪的方向生成眼睛跟踪数据。
26.一种方法，包括：
在显示屏上定位用户所注视的范围；
在显示屏上识别不重叠该范围的屏幕区域；
使所识别的屏幕区域变暗；和
降低所识别的屏幕区域中的显示屏刷新率。
CNA2007800415718A 2006-11-09 2007-05-09 基于眼睛跟踪来调整显示亮度和/或刷新率 Pending CN101536077A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/558,361 US8225229B2 (en) 2006-11-09 2006-11-09 Adjusting display brightness and/or refresh rates based on eye tracking
US11/558,361 2006-11-09

Publications (1)

Publication Number Publication Date
CN101536077A true CN101536077A (zh) 2009-09-16

Family

ID=38353087

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800415718A Pending CN101536077A (zh) 2006-11-09 2007-05-09 基于眼睛跟踪来调整显示亮度和/或刷新率

Country Status (4)

Country Link
US (1) US8225229B2 (zh)
EP (1) EP2092508A1 (zh)
CN (1) CN101536077A (zh)
WO (1) WO2008056274A1 (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447858A (zh) * 2011-12-28 2012-05-09 彩虹集团公司 一种基于红外眼球跟踪技术的led背光控制方法
WO2013029493A1 (zh) * 2011-08-31 2013-03-07 联想(北京)有限公司 一种显示刷新率的控制方法及装置
CN103176584A (zh) * 2011-12-26 2013-06-26 联想(北京)有限公司 电源管理系统和电源管理方法
CN103208269A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种调整屏幕亮度的方法及装置
CN104133548A (zh) * 2013-05-03 2014-11-05 中国移动通信集团公司 确定视点区域及控制屏幕亮度的方法及装置
CN104484043A (zh) * 2014-12-25 2015-04-01 广东欧珀移动通信有限公司 屏幕亮度调节方法及装置
CN104583899A (zh) * 2012-08-03 2015-04-29 谷歌公司 自适应键盘照明
CN104885036A (zh) * 2013-07-11 2015-09-02 三星电子株式会社 用于显示应用的用户终端设备及其方法
CN105279459A (zh) * 2014-11-20 2016-01-27 维沃移动通信有限公司 一种终端防偷窥方法及移动终端
CN105408838A (zh) * 2013-08-09 2016-03-16 辉达公司 基于用户观察的屏幕区域动态调整gpu特征
CN105511846A (zh) * 2014-09-24 2016-04-20 联想(北京)有限公司 电子设备和显示控制方法
CN105759959A (zh) * 2016-01-29 2016-07-13 广东欧珀移动通信有限公司 一种用户终端的控制方法及用户终端
CN105955600A (zh) * 2016-05-30 2016-09-21 维沃移动通信有限公司 一种调节移动终端显示界面的方法和移动终端
CN106920532A (zh) * 2015-12-25 2017-07-04 深圳超多维光电子有限公司 医疗图像显示系统及方法
CN104169838B (zh) * 2012-04-12 2017-07-21 英特尔公司 基于人眼追踪而选择性地使显示器背光
CN107077593A (zh) * 2014-07-14 2017-08-18 华为技术有限公司 用于显示屏增强的系统和方法
CN108140262A (zh) * 2015-12-22 2018-06-08 谷歌有限责任公司 调整虚拟现实内容的视频渲染速率和立体图像的处理
US10178208B2 (en) 2012-01-07 2019-01-08 Samsung Electronics Co., Ltd. Method and apparatus for providing event of portable device having flexible display unit
CN109885176A (zh) * 2019-03-27 2019-06-14 京东方科技集团股份有限公司 显示控制方法、装置、介质及电子设备
CN110023881A (zh) * 2016-12-01 2019-07-16 上海云英谷科技有限公司 基于区域的显示数据处理和传输
CN110867172A (zh) * 2019-11-19 2020-03-06 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备
CN111179880A (zh) * 2019-12-26 2020-05-19 恒大新能源汽车科技(广东)有限公司 一种显示屏幕的亮度调节方法、装置、电子设备及系统
CN111816139A (zh) * 2020-06-17 2020-10-23 维沃移动通信有限公司 屏幕刷新率切换方法和电子设备
CN113255476A (zh) * 2021-05-08 2021-08-13 西北大学 一种基于眼动追踪的目标跟踪方法、系统及存储介质
CN113348419A (zh) * 2019-01-29 2021-09-03 Abb瑞士股份有限公司 用于促进操作者专注于多个操作者工作站屏幕之一的方法和系统
CN114690909A (zh) * 2022-06-01 2022-07-01 润芯微科技(江苏)有限公司 一种ai视觉自适应的方法、装置、系统、计算机可读介质
CN115547264A (zh) * 2022-11-07 2022-12-30 北京显芯科技有限公司 一种基于人眼追踪的背光调光方法及系统

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
ES2535364T3 (es) 2004-06-18 2015-05-08 Tobii Ab Control ocular de aparato informático
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
US20120005587A1 (en) * 2009-03-24 2012-01-05 Robert P Martin Performing Remoting Operations For Different Regions Of A Display Surface At Different Rates
WO2010144096A1 (en) * 2009-06-12 2010-12-16 Displaylink Corporation Data processing system and method
KR101620465B1 (ko) * 2009-08-14 2016-05-12 엘지전자 주식회사 휴대용 전자기기 및 그 조명 제어 방법
IT1399456B1 (it) * 2009-09-11 2013-04-19 Sr Labs S R L Metodo e apparato per l'utilizzo di generiche applicazioni software attraverso controllo oculare e opportune metodologie di interazione.
US8786581B2 (en) * 2009-09-16 2014-07-22 Nec Corporation Mobile information apparatus and display control method
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8922480B1 (en) 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US20130194244A1 (en) * 2010-10-12 2013-08-01 Zeev Tamir Methods and apparatuses of eye adaptation support
US8717393B2 (en) * 2010-11-03 2014-05-06 Blackberry Limited System and method for controlling a display of a mobile device
JP2012182527A (ja) * 2011-02-28 2012-09-20 Toshiba Corp 電子機器およびインジケータの制御方法
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US8806235B2 (en) 2011-06-14 2014-08-12 International Business Machines Corporation Display management for multi-screen computing environments
CN103635952B (zh) * 2011-06-22 2016-06-15 加拿大准视有限公司 基于时域心理视觉调制的图像／信息显示系统及方法
ES2620762T3 (es) 2011-10-27 2017-06-29 Tobii Ab Gestión de potencia en un sistema de rastreo ocular
US8976110B2 (en) 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US9588652B2 (en) 2011-12-12 2017-03-07 International Business Machines Corporation Providing feedback for screen sharing
US20130151624A1 (en) 2011-12-12 2013-06-13 International Business Machines Corporation Context-Sensitive Collaboration Channels
US9852432B2 (en) 2011-12-12 2017-12-26 International Business Machines Corporation Customizing a presentation based on preferences of an audience
US9124657B2 (en) 2011-12-14 2015-09-01 International Business Machines Corporation Dynamic screen sharing for optimal performance
US9141264B2 (en) * 2011-12-14 2015-09-22 International Business Machines Corporation Variable refresh rates for portions of shared screens
US9704220B1 (en) 2012-02-29 2017-07-11 Google Inc. Systems, methods, and media for adjusting one or more images displayed to a viewer
JP6145966B2 (ja) 2012-05-09 2017-06-14 ソニー株式会社 表示装置
JP6007600B2 (ja) * 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
CN103578430B (zh) * 2012-07-18 2015-10-07 中国移动通信集团公司 一种自动调节液晶屏的亮度的方法和电子设备
US9854159B2 (en) 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
US20140092006A1 (en) * 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
US20140111558A1 (en) * 2012-10-23 2014-04-24 Semiconductor Energy Laboratory Co., Ltd. Display device and program
US8990843B2 (en) * 2012-10-26 2015-03-24 Mobitv, Inc. Eye tracking based defocusing
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
JP6073664B2 (ja) 2012-12-07 2017-02-01 株式会社東芝 コンテンツ再生装置及びコンテンツ再生プログラム
JP6123342B2 (ja) 2013-02-20 2017-05-10 ソニー株式会社 表示装置
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
US9665171B1 (en) * 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
US10082870B2 (en) 2013-03-04 2018-09-25 Tobii Ab Gaze and saccade based graphical manipulation
US11714487B2 (en) 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
GB2513579A (en) 2013-04-29 2014-11-05 Tobii Technology Ab Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system
CN104216151B (zh) 2013-05-31 2017-11-14 国际商业机器公司 液晶显示器的自动调焦装置和方法
CN104345876B (zh) * 2013-08-07 2017-07-25 联想(北京)有限公司 一种信息处理方法及电子设备
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
CN103400568B (zh) * 2013-08-21 2016-09-28 魅族科技（中国）有限公司 一种屏幕亮度的控制方法及终端
ES2633016T3 (es) 2013-08-23 2017-09-18 Tobii Ab Sistemas y métodos para proveer audio a un usuario según una entrada de mirada
US9367117B2 (en) 2013-08-29 2016-06-14 Sony Interactive Entertainment America Llc Attention-based rendering and fidelity
US9374872B2 (en) 2013-08-30 2016-06-21 Universal Display Corporation Intelligent dimming lighting
KR20150028374A (ko) * 2013-09-03 2015-03-16 삼성전자주식회사 이미지 변환 방법 및 장치
KR102097637B1 (ko) * 2013-10-21 2020-04-06 엘지전자 주식회사 이동 단말기의 제어 장치 및 그 방법
US9390649B2 (en) 2013-11-27 2016-07-12 Universal Display Corporation Ruggedized wearable display
US9569883B2 (en) * 2013-12-12 2017-02-14 Intel Corporation Decoupled shading pipeline
WO2015116160A1 (en) * 2014-01-31 2015-08-06 Hewlett-Packard Development Company, L.P. Optical pointer illumination
JP6391952B2 (ja) 2014-03-17 2018-09-19 ソニー株式会社 表示装置及び光学装置
CA2943602C (en) * 2014-03-31 2023-01-03 Bombardier Inc. Cursor control for aircraft display device
WO2015178707A1 (en) * 2014-05-22 2015-11-26 Samsung Electronics Co., Ltd. Display device and method for controlling the same
WO2015183259A1 (en) * 2014-05-28 2015-12-03 Hewlett-Packard Development Company, L.P. Changing screen brightness of a computing device
KR20160025143A (ko) * 2014-08-26 2016-03-08 삼성디스플레이 주식회사 표시 장치의 구동 방법 및 이를 수행하기 위한 표시 장치
CN105469773B (zh) * 2014-09-03 2018-03-09 富泰华工业（深圳）有限公司 显示屏亮度调节方法及系统
US9830888B2 (en) * 2014-11-10 2017-11-28 Dell Products, Lp Gaze driven display front of screen performance
US9898076B1 (en) 2015-02-02 2018-02-20 Amazon Technologies, Inc. Adjusting electronic displays based on user viewing position
CN104717365B (zh) 2015-03-30 2017-05-10 京东方科技集团股份有限公司 亮度调节系统及方法、移动终端
WO2016175825A1 (en) * 2015-04-30 2016-11-03 Hewlett-Packard Development Company, L.P. Electronic display illumination
US10452135B2 (en) 2015-07-30 2019-10-22 Dell Products L.P. Display device viewing angel compensation system
US10248280B2 (en) 2015-08-18 2019-04-02 International Business Machines Corporation Controlling input to a plurality of computer windows
US10205994B2 (en) * 2015-12-17 2019-02-12 The Nielsen Company (Us), Llc Methods and apparatus to collect distributed user information for media impressions
US9841813B2 (en) * 2015-12-22 2017-12-12 Delphi Technologies, Inc. Automated vehicle human-machine interface system based on glance-direction
US11284109B2 (en) 2016-01-29 2022-03-22 Cable Television Laboratories, Inc. Visual coding for sensitivities to light, color and spatial resolution in human visual system
US10110935B2 (en) 2016-01-29 2018-10-23 Cable Television Laboratories, Inc Systems and methods for video delivery based upon saccadic eye motion
KR102448919B1 (ko) * 2016-03-16 2022-10-04 삼성디스플레이 주식회사 표시 장치
US20180003961A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Gaze detection in head worn display
JP6851745B2 (ja) * 2016-08-04 2021-03-31 富士通株式会社 画像制御方法、装置、及びプログラム
KR20180072910A (ko) 2016-12-21 2018-07-02 삼성디스플레이 주식회사 표시장치 및 그의 구동방법
CN106504722B (zh) * 2017-01-12 2019-10-01 京东方科技集团股份有限公司 一种goa分区驱动方法和装置、goa单元
WO2018168781A1 (ja) * 2017-03-17 2018-09-20 シャープ株式会社 表示装置の表示方法、表示装置、ヘッドマウントディスプレイデバイス
KR102309296B1 (ko) 2017-03-17 2021-10-06 엘지전자 주식회사 이동단말기 및 그 제어 방법
US11054886B2 (en) * 2017-04-01 2021-07-06 Intel Corporation Supporting multiple refresh rates in different regions of panel display
US11853469B2 (en) * 2017-06-21 2023-12-26 SMR Patents S.à.r.l. Optimize power consumption of display and projection devices by tracing passenger's trajectory in car cabin
CN110032271B (zh) 2018-01-12 2020-07-24 京东方科技集团股份有限公司 对比度调节装置及其方法、虚拟现实设备及存储介质
US10802585B2 (en) 2018-07-12 2020-10-13 Apple Inc. Electronic devices with display operation based on eye activity
CN109379489A (zh) * 2018-09-29 2019-02-22 努比亚技术有限公司 一种移动终端的屏幕控制方法、移动终端及存储介质
JP7314501B2 (ja) * 2018-11-27 2023-07-26 ソニーグループ株式会社 表示制御装置、表示制御方法及び表示制御プログラム
US10694262B1 (en) * 2019-03-12 2020-06-23 Ambarella International Lp Overlaying ads on camera feed in automotive viewing applications
US11435821B2 (en) * 2019-09-26 2022-09-06 Apple Inc. Gaze-independent dithering for dynamically foveated displays
US11011109B1 (en) 2019-10-24 2021-05-18 Dell Products L.P. Organic light emitting diode display power management based on usage scaling
US10997893B1 (en) 2019-10-24 2021-05-04 Dell Products L.P. Organic light emitting diode display compensation tool
US11011110B1 (en) 2019-10-24 2021-05-18 Dell Products L.P. Organic light emitting diode display thermal management
US11506890B2 (en) * 2020-02-24 2022-11-22 Lenovo (Singapore) Pte. Ltd. Adjustment of luminance within an augmented reality scene
CN111883070B (zh) * 2020-07-30 2021-09-10 重庆惠科金渝光电科技有限公司 一种显示面板的驱动方法、驱动模块和显示装置
JP2022070719A (ja) * 2020-10-27 2022-05-13 シャープ株式会社 コンテンツ表示システム、コンテンツ表示方法、及びコンテンツ表示プログラム
US11881143B2 (en) * 2021-10-12 2024-01-23 Meta Platforms Technologies, Llc Display peak power management for artificial reality systems
CN114398019B (zh) * 2022-01-24 2024-02-23 广州文石信息科技有限公司 屏幕更新请求的处理方法、装置及电子墨水屏设备
US11783789B1 (en) * 2022-05-13 2023-10-10 Meta Platforms Technologies, Llc Dynamic brightness compensation in display assembly
KR20240023335A (ko) * 2022-08-12 2024-02-21 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
US12113955B2 (en) 2022-09-12 2024-10-08 Apple Inc. Head-mounted electronic device with adjustable frame rate
US20240153125A1 (en) * 2022-11-09 2024-05-09 Cbs Interactive Inc. Method and system for optimizing a viewer position with respect to a display device

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US5185597A (en) * 1988-06-29 1993-02-09 Digital Equipment Corporation Sprite cursor with edge extension and clipping
US4950069A (en) * 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
US5186629A (en) * 1991-08-22 1993-02-16 International Business Machines Corporation Virtual graphics display capable of presenting icons and windows to the blind computer user and method
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
US5598565A (en) 1993-12-29 1997-01-28 Intel Corporation Method and apparatus for screen power saving
US5559533A (en) * 1994-04-02 1996-09-24 Vlsi Technology, Inc. Virtual memory hardware cusor and method
CA2126142A1 (en) * 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US5668571A (en) * 1994-09-30 1997-09-16 Cirrus Logic, Inc. Method and apparatus for generating hardware icons and cursors
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US5835083A (en) * 1996-05-30 1998-11-10 Sun Microsystems, Inc. Eyetrack-driven illumination and information display
US5898423A (en) * 1996-06-25 1999-04-27 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven captioning
US6067069A (en) * 1997-03-14 2000-05-23 Krause; Philip R. User interface for dynamic presentation of text with a variable speed based on a cursor location in relation to a neutral, deceleration, and acceleration zone
JPH1173290A (ja) * 1997-07-03 1999-03-16 Funai Electric Co Ltd メニュー表示装置
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
GB2348520B (en) * 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US6791531B1 (en) * 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
US6731315B1 (en) * 1999-11-30 2004-05-04 International Business Machines Corporation Method for selecting display parameters of a magnifiable cursor
IL133698A0 (en) * 1999-12-23 2001-04-30 Metzger Ram Pointing device
US6664955B1 (en) * 2000-03-15 2003-12-16 Sun Microsystems, Inc. Graphics system configured to interpolate pixel values
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US7509592B1 (en) * 2000-09-07 2009-03-24 International Business Machines Corporation Spotlight cursor
EP1357831A2 (en) * 2001-02-09 2003-11-05 Sensomotoric Instruments GmbH Multidimensional eye tracking and position measurement system
US20030052903A1 (en) 2001-09-20 2003-03-20 Weast John C. Method and apparatus for focus based lighting
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
US6801811B2 (en) 2001-12-27 2004-10-05 Hewlett-Packard Development Company, L.P. Software-directed, energy-aware control of display
US7082577B1 (en) * 2002-01-30 2006-07-25 Freedom Scientific, Inc. Method for displaying an internet web page with an area of focus
US7036025B2 (en) * 2002-02-07 2006-04-25 Intel Corporation Method and apparatus to reduce power consumption of a computer system display screen
US6925122B2 (en) * 2002-07-25 2005-08-02 National Research Council Method for video-based nose location tracking and hands-free computer input devices based thereon
US20040056900A1 (en) 2002-09-23 2004-03-25 Blume Leo R System and method for window priority rendering
CA2426512A1 (en) * 2003-04-22 2004-10-22 Garth Shoemaker Positioning and manipulating detail-in-context lenses in 2d and 3d data through the application of eye tracking or position tracking
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20040233146A1 (en) 2003-05-21 2004-11-25 Nguyen Don J. Selective window display
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US7389432B2 (en) * 2004-11-10 2008-06-17 Microsoft Corporation Advanced power management for computer displays
US20060109242A1 (en) * 2004-11-19 2006-05-25 Simpkins Daniel S User interface for impaired users
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US7605794B2 (en) * 2005-12-22 2009-10-20 Nokia Corporation Adjusting the refresh rate of a display
US20070146344A1 (en) * 2005-12-22 2007-06-28 Research In Motion Limited Method and apparatus for reducing power consumption in a display for an electronic device
US7656413B2 (en) * 2006-03-29 2010-02-02 Autodesk, Inc. Large display attention focus system

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013029493A1 (zh) * 2011-08-31 2013-03-07 联想(北京)有限公司 一种显示刷新率的控制方法及装置
CN102968978A (zh) * 2011-08-31 2013-03-13 联想(北京)有限公司 一种显示刷新率的控制方法及装置
US9336754B2 (en) 2011-08-31 2016-05-10 Lenovo (Beijing) Limited Methods and apparatuses for controlling display refresh rate
CN102968978B (zh) * 2011-08-31 2016-01-27 联想(北京)有限公司 一种显示刷新率的控制方法及装置
CN103176584A (zh) * 2011-12-26 2013-06-26 联想(北京)有限公司 电源管理系统和电源管理方法
CN102447858A (zh) * 2011-12-28 2012-05-09 彩虹集团公司 一种基于红外眼球跟踪技术的led背光控制方法
US11165896B2 (en) 2012-01-07 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for providing event of portable device having flexible display unit
US10244091B2 (en) 2012-01-07 2019-03-26 Samsung Electronics Co., Ltd. Method and apparatus for providing event of portable device having flexible display unit
US10178208B2 (en) 2012-01-07 2019-01-08 Samsung Electronics Co., Ltd. Method and apparatus for providing event of portable device having flexible display unit
CN103208269B (zh) * 2012-01-16 2015-12-09 联想(北京)有限公司 一种调整屏幕亮度的方法及装置
CN103208269A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种调整屏幕亮度的方法及装置
CN104169838B (zh) * 2012-04-12 2017-07-21 英特尔公司 基于人眼追踪而选择性地使显示器背光
CN104583899A (zh) * 2012-08-03 2015-04-29 谷歌公司 自适应键盘照明
CN104583899B (zh) * 2012-08-03 2019-02-12 谷歌有限责任公司 自适应键盘照明
CN104133548A (zh) * 2013-05-03 2014-11-05 中国移动通信集团公司 确定视点区域及控制屏幕亮度的方法及装置
US12066859B2 (en) 2013-07-11 2024-08-20 Samsung Electronics Co., Ltd. User terminal device for displaying contents and methods thereof
US10691313B2 (en) 2013-07-11 2020-06-23 Samsung Electronics Co., Ltd. User terminal device for displaying contents and methods thereof
US10318120B2 (en) 2013-07-11 2019-06-11 Samsung Electronics Co., Ltd. User terminal device for displaying contents and methods thereof
US11409327B2 (en) 2013-07-11 2022-08-09 Samsung Electronics Co., Ltd. User terminal device for displaying contents and methods thereof
US9817486B2 (en) 2013-07-11 2017-11-14 Samsung Electronics Co., Ltd. User terminal device for displaying contents and methods thereof
US9823756B2 (en) 2013-07-11 2017-11-21 Samsung Electronics Co., Ltd. User terminal device for supporting user interaction and methods thereof
US9977516B2 (en) 2013-07-11 2018-05-22 Samsung Electronics Co., Ltd. User terminal device for displaying application and methods thereof
US11675391B2 (en) 2013-07-11 2023-06-13 Samsung Electronics Co., Ltd. User terminal device for displaying contents and methods thereof
CN104885036A (zh) * 2013-07-11 2015-09-02 三星电子株式会社 用于显示应用的用户终端设备及其方法
CN105408838A (zh) * 2013-08-09 2016-03-16 辉达公司 基于用户观察的屏幕区域动态调整gpu特征
CN107077593A (zh) * 2014-07-14 2017-08-18 华为技术有限公司 用于显示屏增强的系统和方法
CN105511846B (zh) * 2014-09-24 2018-12-14 联想(北京)有限公司 电子设备和显示控制方法
CN105511846A (zh) * 2014-09-24 2016-04-20 联想(北京)有限公司 电子设备和显示控制方法
CN105279459A (zh) * 2014-11-20 2016-01-27 维沃移动通信有限公司 一种终端防偷窥方法及移动终端
CN105279459B (zh) * 2014-11-20 2019-01-29 维沃移动通信有限公司 一种终端防偷窥方法及移动终端
CN104484043A (zh) * 2014-12-25 2015-04-01 广东欧珀移动通信有限公司 屏幕亮度调节方法及装置
US11100714B2 (en) 2015-12-22 2021-08-24 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
CN108140262A (zh) * 2015-12-22 2018-06-08 谷歌有限责任公司 调整虚拟现实内容的视频渲染速率和立体图像的处理
CN106920532A (zh) * 2015-12-25 2017-07-04 深圳超多维光电子有限公司 医疗图像显示系统及方法
CN106920532B (zh) * 2015-12-25 2019-07-09 深圳超多维光电子有限公司 医疗图像显示系统及方法
CN105759959A (zh) * 2016-01-29 2016-07-13 广东欧珀移动通信有限公司 一种用户终端的控制方法及用户终端
CN105955600B (zh) * 2016-05-30 2019-03-05 维沃移动通信有限公司 一种调节移动终端显示界面的方法和移动终端
CN105955600A (zh) * 2016-05-30 2016-09-21 维沃移动通信有限公司 一种调节移动终端显示界面的方法和移动终端
CN110023881B (zh) * 2016-12-01 2022-07-08 昆山云英谷电子科技有限公司 基于区域的显示数据处理和传输
CN110023881A (zh) * 2016-12-01 2019-07-16 上海云英谷科技有限公司 基于区域的显示数据处理和传输
CN113348419A (zh) * 2019-01-29 2021-09-03 Abb瑞士股份有限公司 用于促进操作者专注于多个操作者工作站屏幕之一的方法和系统
CN109885176A (zh) * 2019-03-27 2019-06-14 京东方科技集团股份有限公司 显示控制方法、装置、介质及电子设备
US10963998B1 (en) 2019-11-19 2021-03-30 Apple Inc. Electronic devices with dynamic control of standard dynamic range and high dynamic range content
CN110867172A (zh) * 2019-11-19 2020-03-06 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备
CN111179880A (zh) * 2019-12-26 2020-05-19 恒大新能源汽车科技(广东)有限公司 一种显示屏幕的亮度调节方法、装置、电子设备及系统
CN111816139A (zh) * 2020-06-17 2020-10-23 维沃移动通信有限公司 屏幕刷新率切换方法和电子设备
CN111816139B (zh) * 2020-06-17 2022-05-17 维沃移动通信有限公司 屏幕刷新率切换方法和电子设备
CN113255476A (zh) * 2021-05-08 2021-08-13 西北大学 一种基于眼动追踪的目标跟踪方法、系统及存储介质
CN113255476B (zh) * 2021-05-08 2023-05-19 西北大学 一种基于眼动追踪的目标跟踪方法、系统及存储介质
CN114690909A (zh) * 2022-06-01 2022-07-01 润芯微科技(江苏)有限公司 一种ai视觉自适应的方法、装置、系统、计算机可读介质
CN115547264A (zh) * 2022-11-07 2022-12-30 北京显芯科技有限公司 一种基于人眼追踪的背光调光方法及系统

Also Published As

Publication number Publication date
EP2092508A1 (en) 2009-08-26
US8225229B2 (en) 2012-07-17
WO2008056274A1 (en) 2008-05-15
US20080111833A1 (en) 2008-05-15

Similar Documents

Publication Publication Date Title
CN101536077A (zh) 基于眼睛跟踪来调整显示亮度和/或刷新率
CN110634434B (zh) 一种显示面板的驱动方法、其驱动装置及显示装置
US10276108B2 (en) Methods for adjusting backlight brightness levels, related backlight adjusting device, and related display device
US9412318B2 (en) Display device for adjusting gray-level of image frame depending on environment illumination
CN102194423B (zh) 用于启动平板显示器的功率管理的方法和装置
US9251752B2 (en) Gamma compensation method and display device using the same
KR101958870B1 (ko) 소비 전력을 절감하기 위한 표시 제어 방법 및 장치
US10043457B2 (en) Variable brightness LCD backlight
US9348502B2 (en) Dimming method and display apparatus using the same
CN104813392A (zh) 控制装置、显示装置以及显示装置的控制方法
CN109256076B (zh) 边缘像素显示方法、系统、存储设备和显示装置
KR102533616B1 (ko) 롤러블 표시 장치 및 이를 포함하는 전자 기기
US7505034B2 (en) Method and apparatus for reducing display power consumption by controlling pixel color
CN105122340A (zh) 控制装置、显示装置以及显示装置的控制方法
US20010026285A1 (en) Display system with latent image reduction
CN101751843A (zh) 补偿平板显示器的显示缺陷
KR20140048701A (ko) 디스플레이 장치의 소모 전력을 감소시키기 위한 방법 및 그 전자 장치
CN112750399A (zh) 显示面板的驱动方法、装置、显示装置、设备及存储介质
US20170206862A1 (en) Method of regulating brightness of a display screen
KR20110107025A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US20040233146A1 (en) Selective window display
CN108573678B (zh) 一种显示方法及装置
US10037724B2 (en) Information handling system selective color illumination
JP5483477B2 (ja) ディスプレイ装置および其の表示制御方法と表示制御プログラム
CN108597435B (zh) 用于控制显示面板的显示的方法及其装置、显示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090916